AI Botlarını Sitenize Nasıl Erişime Açar/Kapatırsınız?

Web sitenizi yapay zeka botlarına açmak veya kapatmak, modern dijital varlık yönetiminin ve teknik SEO mimarisinin en kritik stratejik kararlarından biridir. Arama motorlarının yerini almaya başlayan büyük dil modelleri (LLM) ve üretken arama motorları, sitenizdeki verileri tarayarak kendi modellerini eğitmekte ya da kullanıcılara doğrudan yanıt üretirken kaynak olarak kullanmaktadır. Bu rehberde, robots.txt dosyasına ekleyeceğiniz GPTBot ve ClaudeBot gibi kullanıcı aracı (user-agent) kurallarıyla sitenizin yapay zeka botlarına karşı erişim politikalarını nasıl yapılandıracağınızı teknik detaylarıyla ele alıyoruz. Doğru yapılandırılmış kurallarla telif haklarınızı koruyabilir, sunucu yükünü optimize edebilir ve yapay zeka destekli arama motorlarında kontrollü bir şekilde görünürlük kazanabilirsiniz.

Web Siteleri İçin Yapay Zeka Botları Ne Anlama Geliyor?

AI Botlarının Çalışma Mantığı ve Veri Kazıma (Scraping) Süreçleri

Yapay zeka botları, geleneksel arama motoru tarayıcılarına benzer şekilde interneti sürekli olarak tarayan otomatik yazılımlardır. Ancak bu botların temel amacı, verileri sadece bir arama dizinine (index) eklemek değil, büyük dil modellerinin (LLM) eğitimi için devasa veri setleri (corpus) oluşturmaktır. GPTBot, ClaudeBot ve benzeri kullanıcı araçları (user-agents), web sitenizin HTML yapısını, metin içeriklerini, makalelerini ve yapılandırılmış verilerini tarayarak kendi veri havuzlarına aktarır. Bu işlem, web kazıma (web scraping) ve semantik analiz yöntemleri kullanılarak gerçekleştirilir.

Tarama süreci, botun sitenizin robots.txt dosyasını talep etmesiyle başlar. Dosyadaki yönergeleri analiz eden bot, izin verilen dizinlerdeki sayfaları HTTP protokolleri üzerinden indirir. İndirilen veriler doğal dil işleme (NLP) aşamalarından geçirilerek kelime ilişkileri, kavramsal ağlar ve bilgi haritaları çıkartılmak üzere işlenir. Bu süreçte sitenizin bant genişliği ve sunucu kaynakları (CPU, RAM) yoğun şekilde tüketilebilir. Özellikle zengin içeriğe ve derin sayfa mimarisine sahip platformlar, bu botların hedefi haline gelerek ciddi bir tarama yükü ile karşılaşabilir.

Geleneksel Arama Motoru Botları ile AI Botları Arasındaki Farklar

Geleneksel arama motoru botları (örneğin Googlebot veya Bingbot), sitenizi tarayarak kullanıcıları doğrudan sizin web sitenize yönlendirecek bir köprü kurmayı hedefler. Siteniz arama motoru dizinine eklenir ve kullanıcılar ilgili sorguları arattığında sitenizin bağlantısına tıklayarak doğrudan trafik oluşturur. Bu durum, web siteleri için net bir trafik ve dönüşüm kazanımı anlamına gelir.

Yapay zeka botlarının çalışma prensibi ise iki farklı kategoriye ayrılır: Model eğitimi (pre-training) ve gerçek zamanlı arama/atıf (Retrieval-Augmented Generation - RAG). Eğitim amaçlı tarama yapan botlar, sitenizden aldıkları bilgileri kendi modellerini geliştirmek için kullanırlar ve bu süreçte web sitenize doğrudan geri dönüş trafiği sağlamazlar. Diğer yandan, PerplexityBot veya ChatGPT-User gibi gerçek zamanlı RAG botları, kullanıcının o an sorduğu soruya yanıt ararken sitenizi tarar, cevabı derler ve içeriğinizden alıntılanabilir parçalar kullanarak sitenize kaynak gösterir (atıf yapma). Bu iki bot türü arasındaki ayrım, kurumsal veri ve trafik stratejinizin temelini oluşturmalıdır.

AI Botlarına İzin Vermek veya Engellemek: Kurumsal Karar Süreci

Botları Engellemenin Avantajları (Telif Hakkı ve Sunucu Yükü Kontrolü)

Kurumsal veri güvenliği ve fikri mülkiyetin korunması, yapay zeka botlarını engellemenin en öncelikli nedenleri arasında yer alır. Sitenizdeki özgün araştırmalar, sektörel raporlar, tescilli analizler ve özel veriler, yapay zeka modelleri tarafından ücretsiz bir şekilde soğurularak rakiplerinize veya genel kullanıcılara sunulabilir. Bu durum, dijital mülkiyet haklarının ihlaline ve içerik üretim yatırımlarınızın değer kaybetmesine yol açar. Engelleme kuralları uygulayarak, verilerinizin izinsiz olarak ticari yapay zeka modellerinin eğitim setlerine dahil edilmesini önleyebilirsiniz.

Bir diğer önemli avantaj ise teknik altyapı maliyetlerinin ve sunucu performansının korunmasıdır. Kontrolsüz bot taramaları, web sitenizin tarama bütçesini (crawl budget) tüketerek gerçek kullanıcıların siteye erişimini yavaşlatabilir ve hatta sunucunun aşırı yüklenme nedeniyle yanıt vermemesine (HTTP 503) sebep olabilir. Özellikle eş zamanlı yüzlerce istek gönderen agresif tarayıcıların engellenmesi, bant genişliği tüketimini optimize eder ve kurumsal sunucu maliyetlerinizi düşürür.

Erişim İzni Vermenin Stratejik Faydaları (Görünürlük ve SGE Uyumluluğu)

Yapay zeka botlarına kontrollü erişim izni vermek, geleceğin arama ekosistemi olan Üretken Yapay Zeka Araması (SGE - Search Generative Experience) ve GEO (Generative Engine Optimization) süreçlerinde yer alabilmeniz için gereklidir. Perplexity, ChatGPT Search ve Google Gemini gibi platformlar, kullanıcıların karmaşık sorularına yanıt verirken internet üzerindeki canlı kaynaklardan beslenir. Eğer sitenizin tarayıcılara erişimi tamamen kapalıysa, bu sistemler sizin ürünlerinizi, hizmetlerinizi veya uzmanlık içeriklerinizi kaynak gösteremez (atıf yapma / kaynak gösterme).

Özellikle B2B hizmet veren işletmeler, teknoloji sağlayıcıları ve dijital ürün geliştiricileri için yapay zeka yanıtlarında "tavsiye edilen kaynak" veya "güvenilir çözüm ortağı" olarak listelenmek, yüksek dönüşüm oranına sahip organik trafik getirebilir. Yapay zeka motorları, geleneksel arama motorlarına kıyasla kullanıcı niyetini daha derin analiz ettiği için, buradan gelen ziyaretçilerin dönüşüm potansiyeli oldukça yüksektir. Stratejik olarak belirlenmiş alanları botlara açık tutmak, marka bilinirliğinizi yapay zeka çağında sürdürmenizi sağlar.

Önemli Uyarı: Yanlış Konfigürasyonun Genel SEO Üzerindeki Riskleri

Robots.txt üzerinde yapılan hatalı engelleme işlemleri, web sitenizin organik arama performansında telafi edilmesi güç kayıplara yol açabilir. En sık karşılaşılan hata, yapay zeka botlarını engellemek isterken, bu botların kullandığı veya ilişkilendirildiği ana arama motoru botlarının (örneğin Googlebot) da yanlışlıkla engellenmesidir. robots.txt standartlarında yer alan her kuralın hedeflediği kullanıcı aracı (user-agent) çok spesifik tanımlanmalıdır.

Örneğin, Google'ın yapay zeka modeli eğitimini engellemek için tasarlanan @@CODE0@@ aracını engellemek geleneksel Googlebot aramalarını etkilemezken, tüm Google kullanıcı aracını (@@CODE1@@) kapsayan hatalı bir Disallow yönergesi sitenizin Google dizininden tamamen silinmesine neden olabilir. Bu nedenle, teknik yapılandırmaların her bir adımı test edilmeli, kurumsal SEO mimarları ve sistem yöneticileriyle koordineli bir şekilde yürütülmelidir.

Robots.txt Kullanarak AI Botlarını Yönetme Rehberi

OpenAI (ChatGPT) Botlarını Yönetmek: GPTBot ve ChatGPT-User

OpenAI, web kaynaklarını taramak için iki ana kullanıcı aracı (user-agent) kullanır: @@CODE0@@ ve @@CODE1@@. Bu iki botun görevleri birbirinden tamamen farklıdır ve yönetim biçimleri de bu doğrultuda şekillenmelidir.

GPTBot, gelecekteki ChatGPT modellerini eğitmek amacıyla kullanılan genel bir web tarayıcısıdır. Bu botun sitenizdeki içerikleri veri seti olarak kullanmasını istemiyorsanız, robots.txt dosyanıza aşağıdaki kuralları eklemeniz gerekir:

User-agent: GPTBot
Disallow: /

Eğer sadece belirli dizinlerin taranmasını engellemek, diğer alanları eğitime açmak istiyorsanız kuralı şu şekilde özelleştirebilirsiniz:

User-agent: GPTBot
Allow: /blog/
Disallow: /private-data/

ChatGPT-User ise ChatGPT içerisindeki özel eklentiler (plugins) veya kullanıcının doğrudan talep ettiği web tarama (browsing) isteklerini gerçekleştirmek için kullanılır. Bu botun engellenmesi, kullanıcıların ChatGPT ekranında sitenizin linkini doğrudan sorgulamasını veya özetlemesini engeller. Bu botu yönetmek için şu kurallar uygulanır:

User-agent: ChatGPT-User
Disallow: /

Anthropic (Claude) Botlarını Yönetmek: ClaudeBot ve Claude-Web

Anthropic firması tarafından geliştirilen Claude modeli, internet verilerini taramak için @@CODE0@@ ve kullanıcı odaklı gerçek zamanlı işlemler için @@CODE1@@ araçlarını kullanır. Claude modellerinin, sitenizdeki verileri fikri mülkiyet sınırları dahilinde işlemesini engellemek istiyorsanız aşağıdaki robots.txt yönergelerini kullanabilirsiniz.

ClaudeBot'un sitenizi genel olarak taramasını ve eğitim verisi toplamasını tamamen engellemek için uygulanması gereken standart blok:

User-agent: ClaudeBot
Disallow: /

Sadece belirli raporlama veya API dokümantasyonu gibi alanlara erişim izni verip, ana siteyi korumak için semantik izin hiyerarşisi kurulabilir:

User-agent: ClaudeBot
Allow: /docs/
Disallow: /

Bu yönergeler, sunucunuzun kök dizininde yer alan https://siteniz.com/robots.txt dosyasında bulunmalıdır. Anthropic botları bu dosyadaki standartları düzenli olarak kontrol eder ve kurallara uyar.

Perplexity AI Botlarını Yönetmek: PerplexityBot

Perplexity AI, geleneksel arama ile yapay zekayı birleştiren ve kullanıcılara doğrudan kaynak atıflı yanıtlar sunan bir platformdur. Sitenizi taramak için PerplexityBot kullanıcı aracını kullanır. Perplexity'nin sitenizi kaynak göstermesini istiyorsanız bu bota erişim izni vermeniz önerilir. Ancak verilerinizin kazınmasını engellemek istiyorsanız aşağıdaki kuralı uygulamalısınız:

User-agent: PerplexityBot
Disallow: /

Eğer sitenizin sadece belirli ticari sayfalarını Perplexity aramalarından gizlemek istiyorsanız, spesifik dizin engellemeleri yapabilirsiniz:

User-agent: PerplexityBot
Disallow: /checkout/
Disallow: /admin/

PerplexityBot'un engellenmesi, markanızın yapay zeka arama motorlarındaki görünürlüğünü doğrudan etkileyecektir. Bu nedenle engelleme kararı verilmeden önce marka sorgularındaki trafik hacimleri analiz edilmelidir.

Google Yapay Zeka Modellerini Yönetmek: Google-Extended

Google, geleneksel Googlebot tarama kuralları ile yapay zeka eğitim kurallarını birbirinden ayırmıştır. Google'ın Gemini, Vertex AI ve gelecekteki yapay zeka modellerini eğitmek amacıyla web sitenizdeki içerikleri kullanmasını engellemek istiyorsanız Google-Extended aracını hedeflemelisiniz.

Google-Extended kontrolü, web sitenizin Google Arama sonuçlarında (Google Search) çıkmasını engellemez. Yani siteniz Google'da listelenmeye devam ederken, içeriğiniz yapay zeka eğitim süreçlerinden muaf tutulur. robots.txt içerisindeki kural şu şekildedir:

User-agent: Google-Extended
Disallow: /

Bu kuralın eklenmesi, Google'ın sitenizi geleneksel arama sonuçları için indekslemesini (Googlebot) hiçbir şekilde olumsuz etkilemez. Kurumsal veri gizliliğini korurken organik trafiği sürdürmenin en güvenli yollarından biri budur.

Tüm Yapay Zeka Botlarını Tek Seferde Engellemek Mümkün mü?

Genel Kapsamlı Tarama Kuralları ve Sınırlamalar

Web yöneticileri sıklıkla tüm yapay zeka botlarını tek bir satırla engellemenin yollarını ararlar. Teorik olarak, robots.txt dosyasında User-agent: * (yıldız) karakteri kullanarak tüm tarayıcılara genel bir engelleme getirmek mümkündür:

# ÖNERİLMEYEN GENEL ENGELLEME
User-agent: *
Disallow: /

Ancak bu kural, Googlebot, Bingbot, Yandex Bot ve DuckDuckGo gibi sitenize hayati derecede organik trafik sağlayan tüm arama motoru tarayıcılarını da tamamen engelleyecektir. Bu durum sitenizin dijital varlığını arama motorlarından tamamen siler. robots.txt standardında henüz "tüm yapay zeka botlarını engelle ama arama motoru botlarına izin ver" şeklinde evrensel, tek bir grup tanımlayıcı komut bulunmamaktadır. Dolayısıyla, genel bir yıldız karakteriyle körü körüne engelleme yapmak teknik bir felaketle sonuçlanabilir.

Neden Her AI Botu Ayrı Ayrı Tanımlanmalıdır?

Yapay zeka botları farklı altyapılar, IP adresleri ve kullanıcı aracısı (user-agent) dizgileri kullanır. Her şirketin (OpenAI, Anthropic, Google, Meta, Baidu, Perplexity) kendi bot protokolü bulunur ve bu protokoller bağımsız olarak çalışır. Bir botu engellemek diğerlerini durdurmaz. Bu nedenle, her bir botu robots.txt dosyanızda bağımsız bir blok olarak tanımlamanız zorunludur.

Aşağıdaki örnekte, sitenizin SEO performansını korurken en popüler yapay zeka botlarını ayrı ayrı hedefleyerek nasıl devre dışı bırakacağınız gösterilmiştir:

# robots.txt - AI Bot Engelleme Matrisi
User-agent: GPTBot
Disallow: /

User-agent: ClaudeBot
Disallow: /

User-agent: PerplexityBot
Disallow: /

User-agent: Google-Extended
Disallow: /

User-agent: facebookexternalhit
Disallow: /

User-agent: Om頻iBot
Disallow: /

Her botun davranış kurallarına uyup uymadığı da değişkenlik gösterebilir. robots.txt dosyası yasal bir yaptırım değil, gönüllü bir protokol (gentlemen's agreement) esasına dayanır. Saygın teknoloji şirketleri bu kurallara kesinlikle uyarken, bazı kötü niyetli veya merdiven altı yapay zeka girişimleri robots.txt kurallarını yok sayabilir. Bu tip durumlar için sunucu düzeyinde veya CDN (Content Delivery Network) filtrelemeleriyle ek güvenlik katmanları oluşturulmalıdır.

Botların Sitenize Erişimini Denetleme ve Doğrulama Yöntemleri

Sunucu Log (Kayıt) Dosyalarının Analizi

robots.txt dosyanızda yaptığınız değişikliklerin fiilen hayata geçip geçmediğini anlamanın en kesin yolu sunucu log kayıtlarını (server logs) analiz etmektir. Apache, Nginx veya IIS gibi web sunucuları, sitenize gelen her HTTP isteğini kaydeder. Bu kayıtlarda istekte bulunan istemcinin IP adresi, istek zamanı, talep edilen URL, HTTP durum kodu (örneğin 200, 301, 403, 404) ve User-Agent bilgisi yer alır.

Komut satırı üzerinden log dosyalarınızda yapay zeka botlarının izini sürmek için aşağıdaki terminal komutlarından yararlanabilirsiniz. Örneğin, Nginx erişim loglarında GPTBot kelimesini aratmak için:

grep -i "GPTBot" /var/log/nginx/access.log

Eğer yaptığınız engelleme başarılı olduysa, botun yaptığı isteklerin karşılığında HTTP @@CODE0@@ veya robots.txt kurallarını okuduktan sonra istek göndermeyi bıraktığını görmeniz gerekir. Eğer bot hala sitenizdeki sayfalardan HTTP @@CODE1@@ durum koduyla başarılı veri çekiyorsa, robots.txt dosyanızın yeri, adı veya sözdizimi hatalı olabilir ya da bot kuralları yoksayıyor olabilir. Bu durumda Cloudflare, AWS WAF veya benzeri ağ güvenlik katmanları üzerinden IP ve User-Agent bazlı dinamik bloklama kuralları devreye alınmalıdır.

Search Console ve Tarama İstatistikleri Üzerinden Kontrol

Google Search Console, teknik SEO mimarlarının en önemli denetim mekanizmalarından biridir. Google'ın sitenizi ne sıklıkla taradığını, hangi bot varyasyonlarını kullandığını ve tarama bütçenizi nasıl harcadığını izlemek için Search Console paneline giriş yaptıktan sonra Ayarlar > Tarama İstatistikleri bölümünü ziyaret etmelisiniz.

Burada, Google'ın sitenizi tararken kullandığı botların dağılımını görebilirsiniz. Google-Extended kuralını robots.txt dosyanıza ekledikten sonra, Google'ın yapay zeka eğitim modelleri için yaptığı veri taleplerinin azaldığını bu grafiklerden doğrulayabilirsiniz. Ayrıca, Googlebot'un robots.txt dosyanızı son okuma tarihini ve başarılı bir şekilde ayrıştırıp ayrıştıramadığını da "robots.txt Raporu" aracı üzerinden kontrol etmeniz hayati önem taşır.

Dijital Varlık Yönetiminde Yapay Zeka Botlarının Geleceği ve Stratejik Yaklaşımlar

Yapay zeka modellerinin internet ekosistemini hızla dönüştürmesiyle birlikte, dijital mülkiyet kavramı ve veri paylaşım politikaları yeni bir boyut kazanmıştır. Sadece robots.txt dosyasına bağlı kalarak pasif koruma sağlamak, uzun vadede büyük ölçekli markalar ve içerik üreticileri için yeterli olmayabilir. Dünya genelinde birçok medya kuruluşu ve teknoloji şirketi, LLM üreticileriyle doğrudan veri lisanslama anlaşmaları imzalayarak içeriklerinin kullanımını finansal bir modele bağlamaktadır. Bu durum, gelecekte web sitelerinin bot yönetimini sadece teknik bir SEO görevi olarak değil, aynı zamanda finansal ve hukuki bir varlık yönetimi kararı olarak ele alacağını göstermektedir.

Sitenizi yapay zeka dünyasından tamamen izole etmek kısa vadede kurumsal verilerinizi ve telif haklarınızı korusa da, uzun vadede markanızın yapay zeka asistanları, sesli aramalar ve akıllı cihazların yanıt havuzlarından silinmesine yol açabilir. Bu nedenle, katı engelleme politikaları yerine "seçici erişim kontrolü" (selective access) uygulanmalıdır. Hassas kurumsal verilerin, özel kullanıcı yorumlarının ve ticari sırların bulunduğu dizinleri sıkı kurallarla korurken; bilgilendirici makalelerinizi, ürün tanıtımlarınızı ve sektörel rehberlerinizi yapay zeka botlarının taramasına açarak GEO (Üretken Motor Optimizasyonu) çalışmalarınızı desteklemeniz dengeli bir büyüme stratejisi sunacaktır.

Yapay zeka botlarının kontrolü konusunda atacağınız her adımda, teknolojik gelişmelerin ve protokol standartlarının sürekli güncellendiğini unutmamanız gerekir. W3C konsorsiyumu ve büyük teknoloji şirketleri, robots.txt protokolünün yerine geçebilecek veya onu tamamlayacak daha esnek izin mekanizmaları üzerinde çalışmaktadır. Dijital varlıklarınızı bu yeni protokollere uyumlu hale getirmek, teknik altyapınızı esnek tutmak ve düzenli olarak erişim denetimleri gerçekleştirmek, yapay zeka çağında dijital görünürlüğünüzü ve verilerinizi güvende tutmanın tek yoludur.