Teknik4 dk okuma

AI botları ve robots.txt: hangi botu açmalı, hangisini kapatmalı?

Yapay zeka botları iki gruba ayrılır: model eğitimi için içerik toplayanlar ve cevap üretirken kaynak göstermek üzere indeks besleyenler. İkinci grubu engellemek, markanın o motorun cevaplarında görünmesini doğrudan bitirir; birinci grubu engellemek ise yalnızca gelecek model sürümlerinin eğitim havuzuna girmeyi engeller. Görünürlük hedefi olan bir marka için doğru varsayılan, cevap üreten botlara açık izin vermektir.

Yayın: 2026-09-05

Özet

AI botları iki işlevi ayrı user-agent'larla yürütür: model eğitimi için tarama ve cevap üretiminde kaynak göstermek için indeksleme.
Cevap üreten botları engellemek görünürlüğü doğrudan bitirir; eğitim botlarını engellemek yalnızca gelecek model sürümlerini etkiler.
Google-Extended ve Applebot-Extended ayrı opt-out kanallarıdır ve engellenmeleri klasik organik sıralamayı doğrudan etkilemez.
robots.txt'te izin vermek yetmez; CDN veya WAF katmanının aynı user-agent'ları engellemediği sunucu kayıtlarından doğrulanmalıdır.

[01]

Botların iki temel işlevi

Birinci grup eğitim botlarıdır. Bu botlar içerik toplayarak gelecekteki model sürümlerinin eğitim havuzunu besler; topladıkları içerik anında bir cevapta görünmez, modelin genel bilgisine karışır.

İkinci grup cevap botlarıdır. Bu botlar bir arama indeksi kurar ve model bir soruya cevap verirken bu indeksten kaynak seçer; toplanan içerik günler içinde bir cevabın kaynağı hâline gelebilir.

Üçüncü ve daha küçük bir grup kullanıcı tetikli getirme araçlarıdır. Bunlar toplu tarama yapmaz; yalnızca bir kullanıcı belirli bir sayfayı açtırdığında tek seferlik istek gönderir.

Karar verirken ayrım budur: eğitim botları için içerik kontrolü ve görünürlük arasında gerçek bir tercih vardır, cevap botları içinse GEO hedefi olan bir marka açısından tercih yoktur — engellemek doğrudan görünürlük kaybıdır.

Başlıca AI botları ve işlevleri
User-agent	Kurum	İşlev	Engellemenin etkisi
GPTBot	OpenAI	Model eğitimi	Gelecek sürümlerin havuzuna girilmez
OAI-SearchBot	OpenAI	ChatGPT arama indeksi	ChatGPT cevaplarında kaynak olunmaz
ChatGPT-User	OpenAI	Kullanıcı tetikli getirme	Kullanıcı sayfayı okutamaz
ClaudeBot	Anthropic	Model eğitimi	Gelecek sürümlerin havuzuna girilmez
Claude-SearchBot	Anthropic	Arama indeksi	Claude cevaplarında kaynak olunmaz
PerplexityBot	Perplexity	Arama indeksi	Perplexity kaynaklarında görünülmez
Google-Extended	Google	Üretken ürün kullanımı	Gemini ve AI özetlerinde kullanım sınırlanır
Applebot-Extended	Apple	Üretken ürün kullanımı	Apple üretken ürünlerinde kullanılmaz

Başlıca AI botları ve işlevleri

[02]

GEO hedefi olan bir site için önerilen yapılandırma

Önerilen varsayılan, hem eğitim hem cevap botlarına açık izin vermek ve yalnızca indekslenmesi anlamsız yolları kapatmaktır. API uçları ve kişiye özel sayfalar tarama bütçesi harcar ve indekslenecek içerik barındırmaz.

Botları açıkça listelemek, joker kural zaten izin verse bile değerlidir. Google-Extended ve Applebot-Extended ayrı opt-out mekanizmalarıdır; açık izin beyanı niyeti kesinleştirir ve ileride bir güvenlik katmanı eklendiğinde koruma sağlar.

Kişiye özel içerik yalnızca robots.txt ile korunmamalıdır. robots.txt bir erişim engeli değil bir nezaket sözleşmesidir; gerçek koruma için HTTP başlığı ve kimlik doğrulaması gerekir.

User-agent: *
Allow: /
Disallow: /api/
Disallow: /hesap/

User-agent: GPTBot
User-agent: OAI-SearchBot
User-agent: ChatGPT-User
User-agent: ClaudeBot
User-agent: Claude-SearchBot
User-agent: PerplexityBot
User-agent: Perplexity-User
User-agent: Google-Extended
User-agent: Applebot-Extended
Allow: /
Disallow: /api/
Disallow: /hesap/

Sitemap: https://example.com/sitemap.xml

Cevap motorlarına açık, API ve kişisel sayfalara kapalı robots.txt

[03]

Sık karşılaşılan yanlış anlamalar

Birinci yanlış anlama, tüm AI botlarını engellemenin içeriği koruduğu düşüncesidir. Engelleme yalnızca kurallara uyan botları durdurur; buna karşılık markanın cevaplarda görünmesini kesin biçimde bitirir.

İkinci yanlış anlama, Google-Extended'ı engellemenin organik sıralamayı düşüreceği korkusudur. Googlebot ile Google-Extended ayrı kanallardır ve tarama ile indeksleme bağımsız yürür.

Üçüncü yanlış anlama, robots.txt'te izin vermenin erişimi garanti ettiğidir. Uygulamada botlar en sık CDN veya WAF kural setleri tarafından engellenir ve bu engel robots.txt'ten bağımsızdır.

Dördüncü yanlış anlama, noindex ile robots.txt engelinin aynı şey olduğudur. robots.txt taramayı engeller, noindex ise indekslemeyi engeller; taraması engellenen bir sayfadaki noindex direktifi hiç okunamaz.

Erişim doğrulama adımları

01Sunucu erişim kayıtlarında ilgili user-agent'ların isteklerini arayın.
02Dönen durum kodlarını kontrol edin; 403 ve 429 yanıtları engel veya hız sınırı anlamına gelir.
03CDN ve WAF bot yönetimi kurallarında AI user-agent'larının izinli olduğunu doğrulayın.
04İçeriğin ilk HTML yanıtında bulunduğunu, JavaScript sonrasına bırakılmadığını doğrulayın.
05robots.txt dosyasının 200 döndüğünü ve text/plain olarak sunulduğunu kontrol edin.

[04]

Hangi durumlarda engellemek mantıklıdır?

Abonelikle satılan özgün içerik üreten yayıncılar için eğitim botlarını engellemek savunulabilir bir karardır. Burada içerik ürünün kendisidir ve model havuzuna girmesi doğrudan gelir kaybı yaratabilir.

Buna karşılık bu yayıncılar için bile cevap botlarını engellemek çoğu zaman yanlıştır. Cevaplarda kaynak gösterilmek, kaynak bağlantısı üzerinden okuyucu getirir ve marka bilinirliğini besler.

Hizmet veya ürün satan markalar için engelleme neredeyse hiçbir durumda avantaj sağlamaz. İçerik burada ürün değil, ürüne yönlendiren pazarlama varlığıdır; görünmemek doğrudan kayıptır.

Karar dosya bazında da verilebilir. Ücretli arşiv veya üyelik içerikleri belirli yollarla kapatılırken, pazarlama ve tanım içerikleri açık bırakılabilir.

[99]Sıkça sorulanlar

Bu konuda.

Terimlerin tek cümlelik karşılıkları için GEO sözlüğüne bakabilirsiniz.

Tüm AI botlarını engellersem içeriğim model eğitiminde hiç kullanılmaz mı?

Garanti edilmez. robots.txt yalnızca kurallara uyan botları etkiler ve içeriğinizi alıntılayan üçüncü taraf sitelerin taranmasını engellemez. Buna karşılık cevaplarda görünürlüğünüzü kesin olarak kaybedersiniz.

robots.txt'i değiştirdim, ne zaman etkili olur?

Botlar robots.txt dosyasını genellikle önbellekler ve saatler ya da günler içinde yeniden okur. Değişikliğin etkisi anında değildir; doğrulama sunucu kayıtları üzerinden yapılmalıdır.

Bot listesi sürekli değişiyor, nasıl takip edilir?

Yeni user-agent'lar düzenli olarak ortaya çıkar. Pratik yaklaşım, joker kuralı izin verecek biçimde bırakmak ve yalnızca kapatılması gereken yolları belirtmektir; böylece yeni bir bot varsayılan olarak izinli olur.

Bir botun gerçekten iddia ettiği bot olduğunu nasıl anlarım?

Büyük sağlayıcılar botlarının IP aralıklarını yayınlar. Kritik kararlar alınacaksa user-agent adına güvenmek yerine ters DNS doğrulaması veya yayınlanan IP listeleriyle eşleştirme yapılmalıdır.

İlgili yazılar

Markanız bu sorularda görünüyor mu?

Ücretsiz tarama ile 24 saatte kendi AI Görünürlük Skorunuzu ve rakip karşılaştırmanızı görün.

Ücretsiz taramayı başlat