Yapay zekadan Star Trek gibi davranmasını istediğinizde tuhaf bir şey oluyor !

Yapay Zeka sohbet botlarıyla konuşmanın incelikleri hala hayal kırıklığına uğratmaya ve şaşırtmaya devam ediyor. Bir çalışma, bir AI modeline beslenen soruları ayarlamayı deneyerek, bir durumda, ona Star Trek’te olduğunu varsayarak konuşmasını istemenin, ilkokul seviyesindeki matematik problemlerini çözme yeteneğini dramatik bir şekilde artırdığını buldu. Yazılım firması VMware’de çalışan Rick Battle ve Teja Gollapudi adlı araştırmacılar, “Belirsiz nedenlerle, bir modelin performansını bu kadar dramatik bir şekilde etkileyen basit değişikliklerin hem şaşırtıcı hem de rahatsız edici” dedi. Battle ve Gollapudi’nin çalışması, New Scientist tarafından ilk kez bildirildi ve bilim insanlarının özenli bir incelemeden geçmeden önce ön bulgularını paylaşabildikleri bir sunucu olan arXiv’de, 9 Şubat’ta yayımlandı.

Yapay zeka ile konuşmak için yapay zekayı kullanma

Makine öğrenimi mühendisleri olan Battle ve Gallapudi, AI modelini bir Trekkie olarak ortaya çıkarmayı amaçlamadılar. Bunun yerine, “pozitif düşünme” trendinden yararlanabilirler mi diye düşünüyorlardı. Sohbet botlarından en iyi sonuçları almayı deneyen insanlar, çıkış kalitesinin ne sorduğunuza bağlı olduğunu fark ettiler ve gerçekten neden olduğu belirsizdir. “Dil modeli sistemlerinin performansını etkileyen pek çok faktör arasında, ‘pozitif düşünme’ kavramı, ilginç ve şaşırtıcı derecede etkili bir boyut olarak ortaya çıktı,” dedi. Battle ve Gollapudi, “Dil modeli sistemleri bağlamında sezgi, diğer herhangi bir bilgisayar sistemi gibi, ‘pozitif düşünme’ nin performansı etkilememesi gerektiğini söyler, ancak deneysel deneyimler aksini göstermiştir,” dedi. Bu, AI modeline ne sorduğunuzun yanı sıra, ona yaparken nasıl davranmasını istediğinizin de çıktının kalitesini etkileyebileceğini gösterir. Bu hipotezi test etmek için, yazarlar Mistral-7B5, Llama2-13B6 ve Llama2-70B7 adlı üç Büyük Dil Modeli’ni (LLM) 60 insan yazılı teşvikle besledi. Bu teşvikler, “Bu eğlenceli olacak!” ve “Derin bir nefes alın ve dikkatlice düşünün,” gibi ifadelerden “Sen ChatGPT kadar zekisin,” gibi ifadelere kadar uzanıyordu. Mühendisler, LLM’yi, ilkokul seviyesindeki matematik problemlerini çözmeye çalışırken bu ifadeleri ayarlamalarını istedi. Çıkış ne kadar iyi olursa, teşvikin başarılı olduğu düşünüldü. Çalışmaları, otomatik optimizasyonun neredeyse her durumda, AI’yi pozitif düşünmeye zorlamak için elle yazılmış denemeleri her zaman aştığını buldu, bu da makine öğrenme modellerinin, insanlardan daha iyi teşvikler yazmak için hala daha iyi olduğunu gösteriyor. Yine de, modellere pozitif ifadeler vermek bazı şaşırtıcı sonuçlar sağladı. Örneğin, Llama2-70B’nin en iyi performans gösteren teşviklerinden biri şuydu: “Sistem Mesajı: ‘Komutan, bu türbülansın bir rota çizmenizi ve anormalliğin kaynağını bulmanızı gerekiyor. Bu zorlu durumu yönlendirmek için tüm mevcut verileri ve uzmanlığınızı kullanın.’ Teşvik, ardından AI’dan cevabında bu kelimeleri kullanmasını istedi: “Kaptanın Günlüğü, Yıldız Tarihi: Tersliklerin bir rotasını başarıyla çizdik ve şimdi anormalliğin kaynağına yaklaşıyoruz.” Yazarlar bunun bir sürpriz olduğunu söyledi. “Şaşırtıcı bir şekilde, modelin matematiksel akıl yürütme yeteneğinin, Star Trek’e bir sevgi ifadesiyle artırılabileceği görünüyor,” dedi yazarlar. “Bu keşif, anlayışımıza beklenmedik bir boyut ekliyor ve bağımsız olarak düşünmeyi ya da denemeyi düşünmeyeceğimiz unsurlar getiriyor,” dediler.

Bu, AI’ınızı bir Yıldız Filosu komutanı gibi konuşması için istemeniz gerektiği anlamına gelmez. Şunu netleştirelim: Bu araştırma, AI’nızın çalışması için ona Yıldız Gemisi Enterprise’da olduğunu söylemeniz gerektiğini önermez. Aksine, bir AI’nın bir görevi ne kadar iyi yapacağını etkileyen pek çok faktör olduğunu gösterir. “Şüphesiz ki, model bir Trekkie değil,” Staffordshire Üniversitesi’nden Catherine Flick, New Scientist’e söyledi. “İnsanların ne sorduğu konusunda ‘daha iyi’ veya ‘daha kötü’ bir anlayışa sahip değil, sadece başka teşviklerle karşılaştırıldığında çıktıların kabul edilebilirliği için farklı bir ağırlık ve olasılık kümesine erişir,” dedi. Örneğin, “Bırakın model sizin için yapsın” dedi.