Google, Anthropic, OpenAI ve Microsoft, internet standartları tarafında değerlendirilen yeni bir robots.txt yönergesine destek vereceklerini açıkladı. Yeni kural, site sahiplerinin içeriklerinin üretken yapay zeka modellerinin eğitimi için taranıp taranamayacağını daha kolay biçimde belirtmesini amaçlıyor.
Bugün kullanılan yöntemde yayıncıların, farklı şirketlerin farklı tarayıcılarını tek tek tanımlayıp her biri için ayrı kural yazması gerekiyor. Yeni öneri ise bu süreci sadeleştiriyor. Ortak sinyal, AI eğitimi için kullanılan tarayıcılar adına tek bir kullanıcı aracısı tanımı üzerinden çalışıyor:
User-Agent: __usage_ai-training
Disallow: /
Allow: /press-kit/
biçimindeki yapı ile, sitenin tamamı veya belirli bölümleri için izin ya da engel verilebiliyor.
Buradaki temel nokta, bu yönergenin genel web taramasını tamamen durdurmaması. Yani bir sitenin arama motorlarında görünmesini otomatik olarak engellemiyor. Kural, özellikle üretken AI eğitimi amacıyla veri toplayan tarayıcıları hedef alıyor. Google tarafında bu sinyalin, Gemini modellerinin eğitimi için materyal toplayan “Google-Extended” kullanıcı aracısı için bir engel olarak yorumlanacağı belirtiliyor.
Önerideki “Allow” bölümü de dikkat çekiyor. Site işletmecileri, isterlerse AI eğitimi için yalnızca belirli dizinlere veya sayfalara izin verebilecek. Örneğin bir basın kiti klasörü açık bırakılırken sitenin geri kalanı kapatılabilecek. Bu da yayıncılara ya hep ya hiç yaklaşımı yerine daha ayrıntılı bir kontrol sunuyor.
Öte yandan yeni yönerge geçmişte yapılmış taramaları geri almıyor. Şirketler daha önce bir sayfayı taradıysa, o içerik zaten ellerinde bulunuyor. Dolayısıyla değişiklik, yalnızca gelecekte yapılacak taramaları ve veri toplamayı sınırlayabilecek.
Desteğin devreye giriş takvimi şirketlere göre değişiyor. Anthropic yeni yönergeyi şimdiden desteklemeye başladı. Microsoft, desteğin 1 Şubat 2027’de geleceğini söyledi. Google da 2027’nin başlarında desteği devreye alacağını belirtti. OpenAI ise yeni sinyali önümüzdeki aylarda uygulamaya koymayı planlıyor.
