Yapay Zeka Metinlerini Ele Veren Kelimeler: Araştırma Sonuçları

Yapay zeka şirketleri bile, büyük dil modelleri (LLM’ler) kullanılarak oluşturulmuş yazıları tespit etmekte zorlanıyor. Ancak Almanya’daki Tübingen Üniversitesi ve ABD’deki Northwestern Üniversitesi’nden dört araştırmacı, büyük dil modellerinin kullanımını tahmin etmek için yeni bir yöntem geliştirdi. Bu yöntem, 2023 ve 2024 yıllarında “fazladan kullanılan kelimelere” odaklanıyor ve araştırmacılara göre bu yıllarda yayımlanan özetlerin en az yüzde 10’u büyük dil modelleriyle yazılmış.

Araştırma Nasıl Yapıldı?

Araştırmacılar, 2010-2024 yılları arasında PubMed’de yayınlanan 14 milyon makale özetini inceledi. Her yıl kullanılan kelimelerin sıklığını takip ederek, 2023 ve 2024 özetlerindeki kelimelerin sıklığını, 2023 öncesi yıllardaki eğilimlerle karşılaştırdılar. Bu karşılaştırma sonucunda, 2023’ten önce nadiren kullanılan birçok kelimenin, büyük dil modellerinin tanıtılmasından sonra aniden popüler hale geldiği görüldü.

Örneğin, “incelemek” kelimesi, 2024 makalelerinde büyük dil modelleri öncesi döneme göre 25 kat daha fazla kullanılmış. “Sergilemek” ve “vurgulamak” kelimeleri de dokuz kat artış göstermiş. Diğer yaygın kelimeler de büyük dil modelleri sonrası özetlerde daha sık kullanılmış: “Potansiyel” kelimesi 4,1 puan, “bulgular” 2,7 puan ve “kritik” 2,6 puan artmış.

Dil Değişimleri ve Büyük Dil Modellerinin Etkisi

Kelimelerin kullanımı, büyük dil modelleri kullanımından bağımsız olarak da değişebilir. Dilin doğal evrimiyle kelimeler moda olabilir. Ancak araştırmacılar, büyük dil modelleri öncesi dönemde böyle büyük ve ani artışların sadece büyük dünya sağlık olaylarına bağlı kelimelerde görüldüğünü belirledi. Örneğin, 2015’te “ebola”, 2017’de “zika” ve 2020-2022 döneminde “koronavirüs”, “karantina” ve “pandemi” kelimeleri bu duruma örnek.

Büyük dil modelleri sonrası dönemde ise, dünya olaylarıyla bağlantısı olmayan kelimelerde ani artışlar görüldü. Covid pandemisi sırasında aşırı kullanılan kelimeler genellikle isimlerken, büyük dil modelleri sonrası dönemde artış gösteren kelimeler ağırlıklı olarak “stil kelimeleri” (fiiller, sıfatlar ve zarflar) oldu. Örneğin, “boyunca, ayrıca, kapsamlı, kritik, artıran, sergilendi, içgörüler, özellikle” gibi kelimeler.

Araştırmanın Bulguları

Araştırmacılar, 2022 sonrası PubMed’deki makalelerin en az yüzde 10’unun büyük dil modelleri yardımıyla yazıldığını tahmin ediyor. Belirledikleri kelimeleri içermeyen büyük dil modeli destekli özetlerin eksik olabileceğini, bu yüzden sayının daha yüksek olabileceğini söylüyorlar. Bu oran, farklı ülkelerde yazılan makalelerde değişiklik gösteriyor. Örneğin, Çin, Güney Kore ve Tayvan gibi ülkelerde yazılan makalelerde büyük dil modeli işaretleyici kelimeler yüzde 15 oranında bulunmuş. Bu durum, büyük dil modellerinin İngilizce yazma konusunda zorlanan kişilere yardımcı olabileceğini gösteriyor. Ana dili İngilizce olanlar ise büyük dil modelleri çıktılarını fark etme ve düzenleme konusunda daha iyi olabilirler.

Neden Önemli?

Büyük dil modelleri kullanımını tespit etmek önemli çünkü büyük dil modelleri, referansları uydurma, yanlış özetler sunma ve ikna edici görünen yanlış iddialar yapma konusunda kötü bir üne sahip. Ancak büyük dil modellerinin belirgin kelimelerine dair bilgi yayılmaya başladıkça, editörler bu kelimeleri oluşturulan metinlerden çıkarma konusunda daha iyi olabilirler. Gelecekte büyük dil modelleri, insan benzeri yazıları daha iyi gizlemek için bu tür kelimeleri kullanmamaya özen gösterebilirler. Bu nedenle, aramızda gizlenen yapay zeka metinlerini tespit etmek için daha dikkatli olmamız gerekecek.