Google, Microsoft, OpenAI ve Anthropic tek robots.txt satırında anlaştı: Yapay zekâ eğitimi için ortak ‘opt-out’ sinyali geliyor.
Google, Microsoft, OpenAI ve Anthropic, robots.txt dosyasına eklenecek tek bir belirteci AI eğitiminden çıkış tercihi olarak okuyacaklarını açıkladı; uygulama takvimi ve kapsam şirketten şirkete değişiyor.
Google, Microsoft, OpenAI ve Anthropic, web sitelerinin robots.txt dosyasına eklenecek tek bir satırı, üretken yapay zekâ eğitiminden çıkış tercihi olarak kabul edeceğini duyurdu. Dört şirket, ayrı ayrı tarayıcı kuralları yazma zorunluluğunu tek bir girişle azaltmayı amaçlıyor.
Bu ne değiştiriyor?
Şimdiye kadar bir site yöneticisi, her şirketin tarayıcısı için ayrı ayrı kural yazmak zorundaydı. Yeni yaklaşımda ise tek bir grup, katılımcı tüm sağlayıcılar tarafından aynı biçimde okunacak. Bu da emek ve hata payını azaltıyor; ancak kapsamı sınırlı.
“Hâlâ masada olma ihtimali var.” — Sam Quigley, News/Media Alliance
Üzerinde uzlaşılan satır, içeriğin nasıl kullanılabileceğine dair bir tercih bildiriyor; botların sayfayı taramasını engellemiyor. Zaten toplanmış veriler için de geriye dönük bir etkisi yok. Ayrıca dört büyük oyuncunun hiçbiri bu tercihi bugün tam kapsamıyla uygulamıyor.
Teknik temel: Hangi belirteç, kim tanımladı?
Mekanizma, Anthropic mühendisi Kevin Kelley’nin aynı gün yayımlanan bir Internet‑Draft’ında yer alıyor. Taslak, sıradan bir robots.txt grubunun User‑Agent bölümünde “__usage_ai-training” adlı bir politika belirtecini tanımlıyor. IETF’nin AI Preferences (AIPREF) çalışma grubu, “eğitim”i bir üretken modelin öğrenilmiş parametrelerini değiştirme süreci olarak tanımlıyor; yalnız sınıflandırma veya sıralama gibi saf görevler bu kapsamın dışında.
OpenAI ise onurlandıracağını söylediği alanı “temel (foundational) üretken AI eğitimi” olarak tanımlıyor. Bu ifade, taslaktaki genel tanıma göre daha dar bir yoruma işaret ediyor ve şirketler arası uyumun ayrıntılarda değişebileceğini gösteriyor.
‘Standart’ demek için erken mi?
IETF izleyicisi belgeyi “bireysel taslak” olarak listeliyor; resmi onay yok ve taslak, 3 Mayıs 2027’de gözden geçirilmezse kendiliğinden geçersiz olacak. Bugün için ortada bağlayıcı bir standart değil, yalnızca gönüllü bir uygulama taahhüdü var.
Anthropic: Uygulamaya başladığını söylüyor.
OpenAI: “Önümüzdeki aylarda” devreye alacak; kesin tarih vermedi.
Microsoft: Ortak tercihi 1 Şubat 2027’den itibaren taramalarında onurlandıracak.
Google: 2027 hedefini paylaşıyor.
Meta: “Önemli bir adım” diyerek ılımlı bir destek verdi; fakat onurlandırma taahhüdü açıklamadı.
Google ve Microsoft ayrışıyor: Eğitim ile kaynak gösterme aynı sepet mi?
Google, paylaşılan belirteç ile “opt‑out” yapan bir site ayrıca Google‑Extended’ı açıkça devre dışı bırakmadıysa, bunu “Google‑Extended yasaklanmış gibi” yorumlamayı planlıyor. Google‑Extended, Gemini uygulamalarında yanıtları belgelere dayandırma (grounding) davranışını da etkiliyor.
Bu nedenle yalnız eğitimden çıkmak isteyen bir yayıncı, istemeden Gemini yanıtlarındaki atıfları ve olası tıklamaları da kaybedebilir. Şirketin yayıncı belgelerinde iki davranışı ayrı ayrı yönetmenin net bir yolu tanımlanmıyor.
Microsoft ise ters yönde ilerliyor. Eğitim için ortak belirteci benimsiyor ama sayfa düzeyinde ayrı bir “AI Grounding” tercihi ekliyor. “DisallowExtended” seçeneği, içeriğin Copilot gibi Microsoft’a ait ürünlerde kullanılmasına izin verip şirketin diğer işletmelere sattığı grounding hizmetlerinden hariç tutulmasını mümkün kılıyor.
Meta’nın zamanlaması ve geri adımı
Meta, iş hesaplarına bağlı siteleri taramasına imkân verecek güncellenmiş ticari koşullarını gelen tepkiler sonrası revize etti ve eğitim kullanımını listedeki amaçlardan çıkardı. Şirket, bu koşulları 20 Kasım’a erteledi.
Eğitim açıkça yasaklanmadığı için, News/Media Alliance’tan Sam Quigley, bunun hâlâ mümkün olabileceği konusunda temkinli bir uyarı yaptı.
Bu gerçekten taramadan ‘çıkış’ mı?
Taslak açık: “Bu politika belirteci, tarama davranışına yönelik bir direktif değildir.” Yani botlar sayfayı çekmeye devam edebilir; yalnızca içeriği eğitim amacıyla toplayan bir tarayıcı, kullanamayacağı sayfaları atlayabilir.
Tarayıcıların bizzat engellenmesi hâlâ bugün kullanılan bot‑bazlı robots.txt kurallarına, gerekirse daha sert yöntemlere bağlı.
Microsoft bunu en net biçimde özetliyor: “Bu ayarlar içerik kullanımını yönetir, tarama erişimini değil.” Dolayısıyla bu hamle, dürüst davranan botlar için bir rehber; ihlâl edenleri durduracak bir kilit değil.
Hukuk ve pazar baskısı masada
Hukuki cephede risk büyüyor. The New York Times, Aralık 2023’te OpenAI ve Microsoft’a dava açtı; iki şirket “adil kullanım” savunmasına dayanıyor. Anthropic, yazarların korsan kitapların eğitimde kullanıldığı iddialarını 1,5 milyar dolar ödeyerek sulh yoluyla çözdü.
Penske Media, 2025’te Google’a AI Overviews nedeniyle dava açtı.
Uygulamada ise uyum gönüllülüğe bağlı. Taslak, taraflar arasındaki özel anlaşmaların tercihin önüne geçmesine izin veriyor. 2025’te Cloudflare, Perplexity’yi engellenen siteleri maskeleyerek kazıdığı iddiasıyla suçladı; Perplexity bunu reddetti.
Kurumsal söylem de parçalı. Microsoft’un 2024’teki yapay zekâ lideri Mustafa Suleyman, açık web içeriğini, itiraz etmeyenler için “eğitimde serbestçe kullanılabilir” bir “freeware” gibi tanımlamıştı.
Times davasında ortaya çıkan belgelerde Microsoft yöneticisi Brent Hecht, 2023’te AI kazımayı “insan emeğinin tarihteki en büyük hırsızlığı olabilir” diye nitelemişti.
Peki bundan sonra ne olacak?
Piyasa, söze değil uygulamaya yöneliyor. Cloudflare, Temmuz 2025’ten bu yana yeni müşteriler için AI tarayıcılarını varsayılan olarak engelliyor ve katılan sitelere bot başına tarama ücreti çıkarma seçeneği sunuyor.
Google, paylaşılan belirtecin AB’de genel amaçlı yapay zekâ için uygulama kodlarıyla uyumlu olduğunu belirtiyor; bu çerçeveler, robots.txt’yi yayıncıların makinece okunabilir ana “opt‑out” aracı sayıyor.
Robots.txt’yi hiçe sayan botlar için ise oturum açma duvarları ve IP kısıtlama gibi “ağır” yöntemler hâlâ gündemde.
En büyük laboratuvarların aynı satırı okuyacağını taahhüt etmesi, dürüst tarayıcılar ve site yöneticileri için gerçek bir kolaylık. Ancak bu bir rica; geriye dönük işlemiyor, taramayı durdurmuyor ve yayıncıların yıllardır talep ettiği ödemeye kapı açmıyor.
Şimdiye kadar, bir site “hayır” demek istediğinde her şirketin tarayıcısı için ayrı bir kural yazmak zorundaydı; bazı durumlarda aynı şirketin birkaç tarayıcısı için de ayrı ayrı kural gerekiyordu. Ortak sinyal, bu dağınıklığın yerine, katılımcı tüm sağlayıcıların aynı şekilde okuyacağı tek bir giriş getirmeyi amaçlıyor.
Google, bir sitenin ortak token ile çıkış yapıp Google-Extended’ı ayrıca belirtmemesi halinde bunu, yayıncının Google-Extended’ı da engellemiş gibi değerlendireceğini söylüyor. Çünkü Google-Extended, Gemini Apps’teki grounding’i de yönetiyor; bu nedenle yalnızca eğitimi durdurmak isteyen bir site, Gemini yanıtlarındaki alıntılarını ve tıklamalarını da kaybedebilir. Search Engine Journal, Google’ın belgelerinde bu ikisini ayırmanın bir yolunun tanımlanmadığını belirtiyor.
Sık Sorulan Sorular
Ortak sinyalin adı ne, nereye yazılıyor?
“__usage_ai-training” politikası, robots.txt’de ilgili User‑Agent grubunda yer alıyor ve AI eğitiminden çıkış tercihinin okunmasını sağlıyor.
Hangi şirketler ne zaman uygulayacak?
Anthropic başladı; OpenAI “önümüzdeki aylarda” diyor; Microsoft 1 Şubat 2027’de başlıyor; Google 2027’yi hedefliyor.
Bu sinyal taramayı engelliyor mu?
Hayır. Taslağa göre bu bir kullanım tercihi; bot erişimini durdurmaz. Erişimi engellemek için bot‑bazlı kurallar ve teknik önlemler gerekiyor.
Meta’nın durumu ne?
Şirket sinyali “önemli bir adım” diye nitelese de onurlandırma sözü vermedi. İş hesaplarına yönelik tarama koşullarını 20 Kasım’a erteledi ve eğitim kullanımını listeden çıkardı.
Bu habere tepkiniz
Bu haber işinize yaradı mı?
İlgili haberler Tümünü gör
