İçeriğinin yapay zekâ eğitiminde kullanılmasını istemeyen site sahipleri için işler kolaylaşıyor. OpenAI, Google, Microsoft ve Anthropic, 30 Ekim 2026'da robots.txt dosyasına yazılacak tek ve ortak bir satıra uyacaklarını açıkladı. Şimdiye kadar her şirketin botu (OpenAI için GPTBot, Google için Google-Extended gibi) ayrı ayrı engellenmek zorundaydı. Yeni yöntemde tek bir "politika etiketi" bütün katılımcı şirketlere aynı mesajı veriyor. Teknik taslağı internet standartlarını yürüten IETF'ye Anthropic sundu.
robots.txt'e ne yazılacak?
Yeni yöntem robots.txt'e yeni bir komut eklemiyor; bildiğimiz User-Agent satırını kullanıyor. Farkı, bot adı yerine __usage_ai-training etiketinin yazılması. Sitenizin tamamını yapay zekâ eğitiminin dışında tutmak için şu iki satır yeterli:
User-Agent: __usage_ai-training
Disallow: /Bazı bölümlere izin vermek isterseniz (örneğin basın sayfası) Allow satırı ekleniyor:
User-Agent: __usage_ai-training
Disallow: /
Allow: /basin/Taslakta gözden kaçmaması gereken iki kural var. User-Agent: * ile yazılmış genel engeller eğitim tercihi sayılmıyor; yani "bütün botları zaten engelledim" diyen site sahibinin yine de bu satırı ayrıca eklemesi gerekiyor. Dosyada bu etiket hiç yoksa da "tercih belirtilmedi" kabul ediliyor.
Taslağa göre kapsam yalnız üretken yapay zekâ modellerinin eğitimi. Etiket bir tarama yasağı değil: Sayfanın botlarca okunmasını engellemiyor, okunan içeriğin modele öğretilmemesini istiyor. Lisans anlaşması gibi özel sözleşmeler bu tercihin önüne geçebiliyor.
Hangi şirket ne zaman uygulayacak?
Takvim şirketten şirkete değişiyor. OpenAI ve Microsoft önümüzdeki aylarda uygulamaya geçeceğini söylüyor. OpenAI, GPTBot ve OAI-SearchBot ayarlarının geçerliliğini koruyacağını da belirtiyor. Google ise desteği 2027'de getirmeyi hedefliyor. Şirketin Search Central blogundaki açıklamaya göre bu etiketle eğitimi reddeden bir site, dosyada Google-Extended için ayrıca kural yoksa Google-Extended'ı engellemiş sayılacak. Meta fikri desteklediğini söylese de uygulama sözü vermedi.
Microsoft bir adım daha atıyor ve AI Grounding adında ayrı bir ayar getiriyor. Bu ayarla site sahipleri, sayfalarının Copilot gibi asistanların yanıtlarında anlık olarak kullanılıp kullanılmayacağını ayrıca seçebilecek. Bing aramasındaki görünürlük bundan etkilenmeyecek.
Türk site sahipleri için bu ne anlama geliyor?
Biz de bir içerik sitesiyiz ve aynı soruyu kendimize soruyoruz: Eğitimi kapatmak, yapay zekâ aramalarından da düşmek demek mi? Kısa cevap: Hayır. Yeni etiket yalnız eğitimi hedefliyor. Google'a göre Googlebot ile normal dizine eklenme sürüyor, Microsoft da Bing sonuçlarının değişmeyeceğini söylüyor. Yani "modelime öğretme ama aramada beni göster" ayrımı artık daha net yapılabiliyor.
Pratikte şunlara dikkat etmekte fayda var:
- Eski kuralları silmeyin. Google'ın desteği 2027'de geleceği için GPTBot ve Google-Extended satırları şimdilik işini görmeye devam ediyor.
- Geçmişi geri almaz. Modellere zaten öğretilmiş içerik bu satırla geri çekilmiyor.
- Gönüllü bir taahhüt. Şirketlerin kurala uyup uymadığını bağımsız olarak denetleyen bir mekanizma yok.
Yapay zekâ sohbet botlarına verdiğiniz kişisel verileri sınırlamak istiyorsanız sohbet botlarının gizlilik ayarları rehberimize göz atabilirsiniz.
Arka plan
Yayıncılar, sanatçılar ve platformlar uzun süredir yapay zekâ şirketlerinin içerikleri izinsiz topladığından şikâyetçi. Reddit de eylül sonunda RSS ve açık API'sini kapatacağını açıkladı. Bu taslak, IETF'deki AIPREF çalışma grubunun yapay zekâ eğitimi tanımına dayanıyor. Henüz resmi standart değil, 3 Mayıs 2027'ye kadar geçerli bir bireysel taslak. Google, önerinin AB Yapay Zekâ Yasası kapsamındaki uygulama kurallarıyla da uyumlu olduğunu vurguluyor.
Sık sorulan sorular
Bu satırı eklersem Google'da sıralamam düşer mi?
Google'ın açıklamasına göre hayır. Etiket Google-Extended engeli gibi işleniyor ve normal arama dizinini etkilemiyor.
"User-Agent: *" ile her şeyi engellemek yeterli mi?
Hayır. Taslağa göre genel engel eğitim tercihi sayılmıyor, __usage_ai-training için ayrı bir grup yazmak gerekiyor.
Şimdiden eklemeli miyim?
Eklemekte sakınca yok. Şirketler desteği devreye aldıkça satır kendiliğinden geçerlilik kazanacak.
