Paylaş
Yapay Zeka Nedir?
Herkes bildiğini sanıyor ama kimse hemfikir değil. Bu da bir sorun. Yapay zeka çekici, yapay zeka havalı. Yapay zeka eşitsizliği pekiştiriyor, iş piyasasını altüst ediyor ve eğitimi mahvediyor. Yapay zeka bir tema parkı gezisi, yapay zeka bir sihir numarası. Yapay zeka bizim son icadımız, yapay zeka ahlaki bir zorunluluk. Yapay zeka on yılın moda kelimesi, yapay zeka 1955’ten pazarlama jargonudur. Yapay zeka insana benzer, yapay zeka yabancıdır. Yapay zeka süper zeki ve aptal gibi. Yapay zeka patlaması ekonomiyi canlandıracak, yapay zeka balonu patlamak üzere. Yapay zeka bolluğu artıracak ve insanlığı evrende en üst düzeyde geliştirecek. Yapay zeka hepimizi öldürecek.
Herkes ne hakkında konuşuyor?
Yapay zeka, zamanımızın en sıcak teknolojisi. Ama nedir bu? Aptalca bir soru gibi geliyor, ancak hiçbir zaman bu kadar acil olmamıştı. İşte kısa cevap: Yapay zeka, insanların zeka gerektirdiğini düşündüğü şeyleri bilgisayarlara yaptıran bir dizi teknolojiyi kapsayan bir terimdir. Yüz tanımayı, konuşmayı anlamayı, araba sürmeyi, cümle yazmayı, soruları cevaplamayı, resim yapmayı düşünün. Ama bu tanım bile birçok anlam içeriyor.
Ve işte sorun burada. Makinelerin konuşmayı anlaması veya bir cümle yazması ne anlama gelir? Böyle makinelerden ne tür görevler isteyebiliriz? Ve bu görevleri yapmaları için onlara ne kadar güvenmeliyiz? Bu teknoloji prototipten ürüne daha hızlı geçtiğinde, bunlar hepimiz için sorular haline geliyor. Ama cevap yok. Size yapay zekânın ne olduğunu bile söyleyemem. Yapan insanlar da yapay zekânın ne olduğunu bilmiyor. Gerçekten bilmiyorlar. “Bunlar herkesin bir görüş sahibi olabileceğini düşündüğü kadar önemli sorular,” diyor San Francisco merkezli yapay zekâ laboratuvarı Anthropic’in baş bilim insanı Chris Olah. “Ayrıca bu konuda istediğiniz kadar tartışabilirsiniz ve şu anda size karşı çıkacak bir kanıt yok.”
Ama kemerlerinizi bağlayıp bu yolculuğa çıkmaya hazırsanız, size kimsenin gerçekten neden bilmediğini, herkesin neden hemfikir olmadığını ve neden bununla ilgilenmekte haklı olduğunuzu anlatabilirim.
Bir espriyle başlayalım.
2022 yılında, “Mystery AI Hype Theater 3000” adlı podcastin ilk bölümünde, sinirli sunucuları Alex Hanna ve Emily Bender, Silikon Vadisi’nin en şişirilmiş kutsal ineklerine “en keskin iğneleri” batırarak eğlenceli vakit geçirdiler. Ancak eğlencelerini bozan bir öneride bulundular: Google mühendislik başkan yardımcısı Blaise Agüera y Arcas tarafından yazılan, “Makineler Davranış Şekillerini Öğrenebilir mi?” başlıklı 12.500 kelimelik bir Medium yazısını nefretle okuyarak, yapay zekânın insanlar gibi kavramları anlama şeklindeki savunmasını eleştirdiler.
Hanna ve Bender bu fikri kabul etmediler. “Yapay zeka” terimini “matematiksel matematik” ile değiştirmeye karar verdiler—sadece çok fazla matematik olduğunu düşündüler.
Bu saygısız ifade, alıntılanan cümlelerde gördükleri abartıyı ve insanlaştırmayı yıkmak amacıyla kullanıldı. Kısa süre içinde Hanna, Dağıtılmış Yapay Zeka Araştırma Enstitüsü’nde sosyolog ve araştırma direktörü, ve Bender, Washington Üniversitesi’nde hesaplamalı dilbilimci, Agüera y Arcas’ın ifade ettiği konular arasındaki uçurumu vurguladılar.
“Yapay zekalar, yaratıcıları ve kullanıcıları nasıl ahlaki olarak sorumlu tutulmalı?” diye soran Agüera y Arcas’a karşılık, Bender “Matematiksel matematik nasıl ahlaki olarak sorumlu tutulabilir?” diye sordu.
“Haklısınız, burada bir kategori hatası var,” diye yanıtladı Hanna ve Bender. Onlar sadece Agüera y Arcas’ın söylediklerini reddetmekle kalmadılar, aynı zamanda mantıksız olduklarını iddia ettiler. “Lütfen yapay zekayı veya yapay zekaları sanki bireylermiş gibi anmaktan vazgeçebilir miyiz?” diye ekledi Bender.
Farklı şeylerden bahsediyorlarmış gibi gelebilir, ama aslında öyle değil. Her iki taraf da, mevcut yapay zekâ patlamasının arkasındaki teknoloji olan büyük dil modellerinden bahsediyor. Sadece yapay zekâ hakkında konuşma biçimimiz her zamankinden daha kutuplaşmış durumda. Mayıs ayında, OpenAI CEO’su Sam Altman, şirketinin amiral gemisi modeli GPT-4’ün son güncellemesini “Bana sihir gibi geliyor” diyerek tweet attı.
Matematik ile sihir arasında uzun bir yol var. Yapay zekânın, teknolojinin mevcut gücüne ve kaçınılmaz gelecekteki gelişimine inanç benzeri bir inançla bağlı olan hayranları var. Yapay genel zekâ ufukta, diyorlar; süper zekâ da arkasından geliyor. Ve mistik saçmalık olarak nitelendiren eleştirmenler de var.
Popüler anlatı, Sundar Pichai ve Satya Nadella gibi Büyük Teknoloji’nin pazarlamacılarından, Elon Musk ve Altman gibi sektörün uç isimlerine ve Geoffrey Hinton gibi ünlü bilgisayar bilimcilerine kadar büyük isimlerin yer aldığı bir panteon tarafından şekillendiriliyor. Bu destekçiler ve felaket tellalları bazen aynı kişiler, bize teknolojinin o kadar iyi olduğunu, bunun kötü olduğunu söylüyorlar. Yapay zekâ abartısı büyüdükçe, bu iddiaların abartılı, hatta çoğu zaman vahşi olduğunu düşünen güçlü bir anti-abartı lobisi de ortaya çıktı. Bu yönde çaba gösterenler arasında Hanna ve Bender gibi bir dizi araştırmacı ile etkili bilgisayar bilimcisi ve eski Google çalışanı Timnit Gebru ve NYU bilişsel bilimci Gary Marcus gibi açık sözlü sektör eleştirmenleri yer alıyor. Hepsinin, yanıtlarında kavga eden bir takipçi korosu var.
Kısacası, yapay zekâ herkes için her şeyi ifade eder hale geldi ve alanı hayran gruplarına böldü. Farklı kampların birbirleriyle konuşuyormuş gibi hissetmek, her zaman iyi niyetli olmamakla birlikte, mümkündür.
Belki tüm bunları saçma veya sıkıcı buluyorsunuz. Ancak, bu teknolojilerin gücü ve karmaşıklığı göz önüne alındığında—ki bu teknolojiler zaten sigorta için ne kadar ödediğimizi, nasıl bilgi aradığımızı, işlerimizi nasıl yaptığımızı vb. belirlemek için kullanılıyor—ne hakkında konuştuğumuz konusunda en azından anlaşma zamanımız geldi.
Ancak, bu teknolojinin ön saflarındaki insanlarla yaptığım tüm konuşmalarda, ne inşa ettiklerine dair kesin bir cevap veren kimse olmadı. (Kısa bir yan not: Bu parça, büyük ölçüde en iyi finanse edilen, en ileri yapay zekâ laboratuvarlarının bulunduğu ABD ve Avrupa’daki yapay zekâ tartışmalarına odaklanıyor. Ancak, elbette başka yerlerde de önemli araştırmalar yapılıyor, özellikle Çin gibi kendi yapay zekâ konusundaki farklı bakış açılarına sahip ülkelerde.) Bu kısmen gelişim hızından kaynaklanıyor. Ama bilim de tamamen açık değil. Bugünün büyük dil modelleri inanılmaz şeyler yapabiliyor. Alan sadece kaputun altında gerçekten ne olduğunu konusunda ortak bir zemin bulamıyor.
Bu modeller cümleleri tamamlamak için eğitiliyorlar. Ancak çok daha fazlasını yapabiliyor gibi görünüyorlar—lise matematik problemlerini çözmekten bilgisayar kodu yazmaya, hukuk sınavlarını geçmekten şiirler yazmaya kadar. Bir insan bunları yaptığında, bunu zekâ belirtisi olarak kabul ederiz. Peki, bir bilgisayar yaptığında ne olacak? Zekâ izlenimi yeterli mi?
Bu sorular, “yapay zekâ” terimiyle ne demek istediğimizin kalbine iniyor; aslında insanlar bu konuda onlarca yıldır tartışıyorlar. Ancak yapay zekâ hakkında yapılan tartışmalar, büyük dil modellerinin yükselişiyle birlikte daha da sertleşti, çünkü bu modeller insan benzeri davranışları taklit edebilen yetenekte.
İnsan benzeri davranışlara sahip makineler yaptık, ancak arkasında insan benzeri bir zihin hayal etme alışkanlığından kurtulamadık. Bu da yapay zekânın neler yapabileceği konusunda abartılı değerlendirmelere yol açıyor; bu içgüdüsel tepkileri dogmatik pozisyonlara dönüştürüyor ve teknoloji iyimserleri ile teknoloji şüphecileri arasındaki kültür savaşlarına katkıda bulunuyor.
Bu belirsizlik karışımına, sektördekilerin çoğunun yetiştiği bilim kurgudan, geleceği düşünme şeklimizi etkileyen çok daha zararlı ideolojilere kadar bir kamyon dolusu kültürel yük ekleyin. Bu yoğun karışım göz önüne alındığında, yapay zekâ hakkındaki tartışmalar artık sadece akademik değil (ve belki de hiçbir zaman değildi). Yapay zekâ insanların tutkularını ateşliyor ve yetişkinlerin birbirine isim takmasına neden oluyor. “Şu anda entelektüel olarak sağlıklı bir yerde değil,” diyor Marcus tartışma hakkında. Yıllardır Marcus, büyük dil modellerinden görüntü tanımaya ve sürücüsüz arabalara kadar her şeyi güçlendiren ve yapay zekâyı ana akıma taşıyan teknoloji olan derin öğrenmenin kusurlarını ve sınırlamalarını işaret ediyor. 2001 tarihli kitabı The Algebraic Mind, derin öğrenmenin üzerine inşa edildiği sinir ağlarının, kendi başlarına akıl yürütemediğini savunuyordu.
Marcus, geçen yıl icat etmeye yardımcı olduğu teknoloji hakkında varoluşsal korkularını kamuoyuna açıklayan Hinton ile büyük dil modellerinin ne kadar iyi olduğu konusunda düzgün bir tartışma yapmaya çalıştığını söylüyor. “Bunu yapmayacak,” diyor Marcus. “Beni aptal olarak nitelendiriyor.” (Geçmişte Hinton ile Marcus hakkında konuştuğumda bunu doğrulayabilirim. “ChatGPT, sinir ağlarını ondan daha iyi anlıyor,” demişti Hinton bana geçen yıl.) Marcus ayrıca “Derin öğrenme bir duvara çarpıyor” başlıklı bir makale yazdığında tepki topladı.
Aynı zamanda, Marcus’un bu konuda sürekli çaba sarf etmesi, onu tek kişilik bir marka haline getirdi ve geçen yıl ABD Senatosu’nun yapay zekâ denetim komitesinde Altman’ın yanında oturup ifade verme daveti kazandırdı.
Ve işte bu yüzden tüm bu kavgalar ortalama internet çirkinliğinden daha önemli. Elbette, büyük egolar ve büyük paralar söz konusu. Ama daha da önemlisi, bu anlaşmazlıklar, sektör liderleri ve görüş sahibi bilim insanları, devlet başkanları ve yasa koyucular tarafından bu teknolojinin ne olduğunu ve ne yapabileceğini (ve ne kadar korkmamız gerektiğini) açıklamak için çağrıldıklarında önemlidir. Bu teknolojinin her gün kullandığımız yazılımlara, arama motorlarından kelime işlemcilere ve telefonunuzdaki asistanlara kadar entegre edildiği zaman önemlidir. Yapay zekâ yok olmuyor. Ama bize neyin satıldığını bilmiyorsak, kandırılan kim olur? “Tarihte, hakkında böyle bir tartışmanın yapılabileceği başka bir teknoloji düşünmek zor,” diyor Stephen Cave ve Kanta Dihal, insanların yapay zekâ hakkındaki görüşlerini şekillendiren farklı kültürel inançlar hakkında 2023’te yazdıkları Imagining AI adlı makaleler derlemesinde. “Bu tartışmanın yapay zekâ hakkında yapılabilmesi, onun efsanevi niteliğinin bir kanıtıdır.”
Her şeyden önce, yapay zekâ bir fikir—bir ideal—dünyayı görüş açılarımız ve bilim kurgu klişeleri kadar matematik ve bilgisayar bilimi tarafından da şekillendirilmiş bir kavramdır. Yapay zekâ hakkında konuşurken ne hakkında konuştuğumuzu anlamak birçok şeyi netleştirecektir. Bu konularda hemfikir olmayacağız, ancak yapay zekânın ne olduğu konusunda ortak bir zemin bulmak, yapay zekânın ne olması gerektiği konusunda konuşmaya başlamak için harika bir yer olurdu.
İnsanlar gerçekten ne hakkında kavga ediyor?
2022’nin sonlarında, OpenAI’nin ChatGPT’yi piyasaya sürmesinden kısa bir süre sonra, bu teknolojinin tuhaflığını en iyi şekilde yakalayan yeni bir meme internette dolaşmaya başladı.
Dihal, yıllardır pop kültürde yapay zekâ için en bilinen referans noktalarından birinin The Terminator olduğunu söylüyor. Ancak OpenAI, ChatGPT’yi ücretsiz olarak çevrimiçi sunduğunda, milyonlarca insana farklı bir şeyle doğrudan deneyimleme fırsatı verdi. “Yapay zekâ her zaman her türlü fikri kapsayacak şekilde sonsuz genişleyebilen gerçekten belirsiz bir kavram olmuştur,” diyor. Ancak ChatGPT, bu fikirleri somut hale getirdi: “Bir anda herkesin referans alabileceği somut bir şey oldu.” Yapay zekâ nedir? Milyonlarca insan için artık cevap: ChatGPT.
Yapay zekâ endüstrisi bu gülen yüzü sert bir şekilde satıyor. The Daily Show’un, endüstri liderleri tarafından ifade edilen hype’ı nasıl eleştirdiğine bakın. Silicon Valley’nin baş yatırımcısı Marc Andreessen: “Bu, hayatı çok daha iyi hale getirme potansiyeline sahip … Dürüst olmak gerekirse, bu kolay bir iş.” Altman: “Burada ütopyacı bir teknoloji kardeşi gibi ses çıkarmak istemem, ama yapay zekânın sağlayabileceği yaşam kalitesindeki artış olağanüstü.” Pichai: “Yapay zekâ, insanlığın üzerinde çalıştığı en derin teknoloji. Ateşten daha derin.”
Bu matematik—cehennem gibi çok matematik. Bunu kimse tartışmıyor. Ama sadece bu mu, yoksa bu karmaşık matematik, insan akıl yürütmesine veya kavramların oluşumuna benzer bir şey yapabilen algoritmalar mı kodluyor?
Bu soruya evet diyen birçok insan, yapay genel zekâ (AGI) adı verilen bir şeyin kilidini açmaya yakın olduğumuza inanıyor, bu da insanlara kadar geniş bir yelpazede görevleri yerine getirebilecek hipotetik bir gelecekteki teknoloji. Birkaçı, insanların yapabileceğinden çok daha iyi şeyler yapabilen bilim kurgu teknolojisi olan süper zekâyı hedefliyor. Bu grup, AGI’nin dünyayı kökten değiştireceğine inanıyor—ama hangi amaçla? Bu da başka bir gerilim noktası. Dünyanın tüm sorunlarını çözebilir—ya da dünyanın sonunu getirebilir. Bugün AGI, dünyanın en iyi yapay zekâ laboratuvarlarının misyon beyanlarında yer alıyor. Ancak bu terim, o zamanlar en iyi banka havale fişlerindeki el yazısını okuma veya bir sonraki satın almanız gereken kitabı önerme uygulamalarıyla tanınan bir alana biraz çekicilik katmak amacıyla 2007 yılında icat edildi. Amaç, insan benzeri şeyler yapabilen bir yapay zekâya yönelik orijinal vizyonu geri kazanmaktı (bu konuya daha sonra daha fazla değineceğiz).
Sektördeki diğerleri böyle iddialara alayla bakıyor. Aschenbrenner, son birkaç yılda ne kadar hızlı geliştiğine göre AI’nin nasıl devam edeceğini göstermek için bir grafik tweetlediğinde, teknoloji yatırımcısı Christian Keil’in, onun 10 yaşına geldiğinde 7.5 trilyon ton ağırlığında olacağını söyledi.
Kıvılcımlar AGI’nın’ aşırı heyecan için bir eşanlamı haline gelmesi şaşırtıcı değil. ‘Bence taşındılar,’ diyor Marcus, Microsoft ekibinden bahsederken. ‘Hey, bir şey bulduk! Bu inanılmaz!’ Bilimsel toplulukla onaylamadılar.
Sparks makalesinin GPT-4’ün davranışının AGI işaretleri gösterdiğini iddia etmek provokatif olmanın ötesine geçmişti, ancak OpenAI ve Microsoft tarafından dış dünyaya sunulmayan bir GPT-4 versiyonundan gelen kanıtlarının metodolojisinin hatalı olduğunu düşünenler de vardı. Bubeck’in kabul ettiği gibi, halka açık versiyonu modelin yeteneklerini sınırlayan koruma kalkanları vardı. Bu, diğer araştırmacıların deneylerini yeniden oluşturmasını imkansız hale getirdi.
Bir grup, GPT-4’ün Processing adlı bir kodlama dili ile tek boynuzlu at resmi üretebileceği, ancak bu resmi 90 derece çeviremeyeceği ortaya çıkan unicorn örneğini yeniden oluşturmayı denedi. Bu küçük bir fark gibi görünebilir, ancak bir unicorn çizmenin AGI’nin bir işareti olduğunu iddia ediyorsanız, bu tür şeyler gerçekten önemlidir.
Sparks makalesindeki örneklerin anahtar noktası, Bubeck ve meslektaşlarının bu görevlerin, OpenAI’in modelini eğitmek için topladığı geniş veri setlerinde hiçbir yerde bulunmadığından emin olmaları gerektiğini düşünmeleriydi. Aksi takdirde, sonuçlar GPT-4’ün zaten gördüğü desenleri tekrar ettiği örnekler olarak yorumlanabilirdi.
Bubeck, sadece internet üzerinde bulunmayan görevlerle ilgili olduklarını ısrarla belirtiyor. Bir LaTeX forumunda tek boynuzlu at çizmek gibi belirli bir görevin bu kapsamda yer aldığını öne sürüyor. Ancak internet geniş bir yerdir. Diğer araştırmacılar hızla, LaTeX’te hayvan çizimlerine adanmış çevrimiçi forumların varlığını belirttiler. Bubeck, bunu bilmiş olabileceklerini ama yine de bilgi paylaşmak istediğini ifade etti. ‘Sparks makalesindeki her tek sorgu internet üzerinde ayrıntılı olarak araştırıldı.
Bubeck, çalışmanın iyi niyetle yapıldığını vurgulamaktan geri durmuyor, ancak kendisi ve diğer yazarlar, yaklaşımlarının sıkı olmadığını, defter gözlemleri yerine tam kanıtlı deneylerin tercih edilmesi gerektiğini makalede itiraf ediyorlar.Yine de pişmanlık duymuyor: ‘Makale bir yıldan fazla süredir yayımlandı ve örneğin tek boynuzlu atın gerçek bir örneğini kanıtlayacak bana ikna edici bir argüman duymadım.
Ancak, büyük bir soruya düz bir cevap verememek, cevap vermek istediği türden bir yanıtı ortaya koymaktır. ‘AI nedir?’ diye soran Bubeck, geri dönüş yaparak şunları söylüyor: ‘Net olmak istiyorum. Soru basit olabilir, ancak cevap karmaşık olabilir.’
Hala cevabını bilmediğimiz birçok basit soru var. Ve bu basit soruların bazıları en derin olanlardır,’ diyor. ‘Bunu, yaşamın kökeni nedir? Evrenin kökeni nedir? Nereden geldik? Bu gibi büyük, derin sorularla aynı düzlemde değerlendiriyorum.
Makine sadece matematiği görüyor. Bender, AI’nin destekçilerinden biri olarak ün kazanmadan önce, AI dünyasına iki etkili makalenin ortak yazarı olarak damgasını vurdu. (Her ikisi de hakemli, belirtmek önemlidir—Sparks makalesi gibi ve dikkat çeken diğer birçok makale gibi değil.) İlk olarak, Almanya’daki Saarland Üniversitesi’nde bir bilgisayar dilbilimci olan Alexander Koller ile birlikte 2020 yılında yayımlanan ‘NLU’ya Doğru Yükseliş’ adlı makalelerdi (NLU, doğal dil anlayışı anlamına gelir).
Benim için tüm bunların başlangıcı, dil modellerinin gerçekte bir şeyler anlayıp anlamadıkları konusunda hesaplaşmamızdı,’ diyor. (Anlam, tipik olarak insan zekasının temel bileşeni olarak kabul edilen anlama ve akıl yürütme gibi şeylerdir.)
Bender ve Koller, yalnızca metin üzerine eğitilmiş bir modelin bir dilin biçimini öğrenebileceğini, ancak anlamını değil, düşüncesini anlamak için daha fazlasına ihtiyaç olduğunu savunuyorlar. Anlamın, kelimelerin yanı sıra bu kelimelerin neden kullanıldığını içerdiğini iddia ediyorlar. İnsanlar, bilgi paylaşma, şaka yapma, flört etme, birinin geri çekilmesi gerektiğini uyarı etme gibi pek çok nedenle dil kullanırlar. Bu bağlamdan yoksun olarak, GPT-4 gibi dil ve yazılım modelleri, insanların yazdığı cümlelere çok benzeyen cümleler üretebilir, ancak arkalarında gerçek anlamı taşımazlar. Bu, dikkate değer bir istatistiksel hüner olabilir, ancak tamamen anlamsızdır.
Bu düşünce deneyini açıklamak için, iki İngilizce konuşan insanın terkedilmiş adalarda mahsur kaldığını hayal edin. Aralarında bir denizaltı kablo olduğu için metin mesajları gönderebilirler. Şimdi, İngilizce bilmeyen ancak istatistiksel desen eşleştirmede mükemmel olan bir ahtapot hayal edin. Ahtapot, kabloya sarılıp mesajları dinlemeye başlar. Ahtapot, hangi kelimelerin diğer kelimeleri takip ettiğini tahmin etmekte çok iyidir. Bu deneyde, ahtapot bir sohbet botu gibi davranır.
Ahtapotla konuşan kişi, bir süre için aldatılmış hissedebilir miydi? Ahtapot kabloları gerçekten anladı mı?
Şimdi hayal edin ki adadaki bir kişi, bir hindistancevizi fırlatıcı inşa ettiğini söylüyor ve ahtapota da bir tane yapmasını ve ne düşündüğünü söylemesini istiyor. Ahtapot bunu yapamaz çünkü mesajlardaki kelimelerin dünyada ne anlama geldiğini bilmiyor. Muhtemelen bir cevap tahmin eder: ‘Tamam, harika fikir!’ Adadaki kişi, bu cevabı, kendisine anlayan biri olarak alır. Ancak bu durumda, anlam olmayan bir yerde anlam arıyor oluyoruz. Son olarak, adadaki kişinin bir ayı tarafından saldırıya uğradığını ve yardım çağrıları yolladığını hayal edin. Ahtapot bu kelimelerle ne yapacak?
Bender ve Koller, büyük dil modellerinin nasıl öğrendiğini ve neden sınırlı olduklarını bu şekilde öğreniyorlar. Bender, ‘Bu düşünce deneyi, bize hiçbir şey anlamayan bir makineye götürmeyecek bir yol olduğunu gösteriyor,’ diyor. ‘Ahtapotla olan anlaşma, ona eğitim veri setini verdik, iki kişi arasındaki konuşmaları, ve bu kadar. Ama sonra ansızın gelen bir şey var ve anlamadığı için onunla başa çıkamayacak.
Bender’ın diğer bilinen makalesi, ‘Stokastik Papağanların Tehlikeleri Üzerine,’ büyük dil modelleri üreten şirketlerin göz ardı ettiği bir dizi zararı vurguluyor. Bunlar, modellerin büyük hesaplama maliyetleri ve çevresel etkileri; ırkçı, cinsiyetçi ve diğer kötüye kullanımlı dil; ve insanları ‘rastgele dil yapılarının dizilerini nasıl birleştirdikleri’ hakkında olasılıksal bilgilere dayanarak, ancak hiçbir anlam gözetmeden aldatma tehlikesi gibi.
Google üst yönetimi makaleden memnun olmadı ve sonuçta Bender’ın ortak yazarlarından Timnit Gebru ve Margaret Mitchell’in, AI Etik ekibini yönettiği şirketten ayrılmasına yol açtı. Ayrıca ‘stokastik papağan’ terimi büyük dil modelleri için popüler bir aşağılama haline geldi ve Bender’ı hakaret etme döngüsünün tam ortasına yerleştirdi.
Bender ve benzer düşünen diğer araştırmacılar için temel mesaj, alandaki göz boyama ve yetersizlik: ‘Otonom düşünen varlıkların, kendileri için kararlar verebilecekleri ve bu kararlar için sorumlu olabilecekleri şeylerle ilgili düşünmeye yönlendirildiğimizi düşünüyorum.’
Dilbilimci olan Bender, ‘AI’ terimini bile kullanmamakta kararlı olduğunu söylüyor. Onun için bu, çeşitli ilişkilendirilmiş zararların dikkatini dağıtan bir Big Tech klişesi. ‘Artık bu işte bir payım var,’ diyor. ‘Bu konuları önemsiyorum ve hype engel oluyor.’
“Olağanüstü iddialar için olağanüstü kanıtlar gerektiğine inanan Bender’ın tutumu, bu tür kanıtların olmadığı sürece savunmayı reddeden ‘AI inkarcıları’ olarak adlandırılıyor.”
“Ancak bazı insanlar bu kanıtları arıyor ve ‘sparks’ veya ‘stokastik papağanlar’ gibi kavramlar üzerinden tartışmalara girmek yerine, bu konuları mümkün olduğunca kaçınmayı tercih ediyorlar. Brown Üniversitesi’nde sinir ağları üzerine çalışan Ellie Pavlick, ‘İnsan zekasının bu tür mekanizmalar aracılığıyla yeniden yaratılabileceğini öne sürmek, bazı insanlar için incitici olabilir,’ diyor.”
“Pavlick, ‘İnsanlar bu konuda güçlü inançlara sahipler—neredeyse dini hissettiriyor. Aynı zamanda, bir tür Tanrı kompleksi olan insanlar da var. Bu nedenle, bunu yapamayacaklarını önermek, onlar için de incitici olabilir,’ diye ekliyor.”
“Pavlick, sonuçta agnostik. Bir bilim insanı olduğunu ve bilimin nereye gideceğini takip edeceğini söylüyor. Vahşi iddialara göz kırptığında gözlerini deviriyor, ancak heyecan verici potansiyeller olduğuna inanıyor. ‘Bender ve Koller ile aynı fikirde değilim,’ diyor. ‘Ancak belki AGI’nin değil, ama içinde beklenmedik şeyler var.'”
“Sorun, bu heyecan verici şeylerin ne olduğu ve neden heyecan verici oldukları konusunda anlaşamamaktır. Herkesin çok konuştuğu zaman, şüpheci olmak normaldir.
Bubeck gibi araştırmacılar, daha sakin görünmektedirler. Detaylara dikkat etmeden çekişmeyi göz ardı ettiğimizi düşünüyorlar. “Farklı insanların farklı görüşleri var,” diyor. “Bazıları büyük dil modellerinin çeşitli becerilerine inanıyor, bazıları ise daha temkinli.”
“Bu konuları açıklamak için yeni terimlere ihtiyacımız var,” diyor. “Büyük dil modellerinin mantık yürütme yeteneklerini tartışırken, insanların bunu insan mantığıyla karıştırmaması gerektiğini düşünüyorlar. Ancak mantık yürütme dediğimizde bunun önemli olduğunu belirtmek gerekiyor.”
Anthropic’in Olah’ı, büyük dil modellerinde gördüğü şeyler konusunda dikkatli olmayı tercih ediyor. Ancak bu yılın başlarında piyasaya sürülen ve GPT-4 kadar (hatta daha fazla) övgü alan Claude 3 gibi modelleri inşa eden bir şirket olarak, onlar da bu teknolojinin potansiyelinden bahsediyorlar.
“Bu modeller hakkında yapılan tartışmalar biraz abartılı olabilir,” diyor. “İnsanlar genellikle zaten bir düşünceye sahip oluyor ve kanıtlara dayanmaksızın fikirlerini savunuyorlar. Bu da internet tartışmalarını bazen duygusal hale getiriyor.”
Olah, kendi subjektif görüşünü paylaşıyor. “Benim izlenimime göre, bu konular oldukça karmaşık,” diyor. “Büyük modellerin çalışma şekli hakkında tam bir hikayemiz yok, ancak gözlemlediğimiz şeyler bazen basit ‘papağan’ resmini aşabilir.”
“Ben gerçekten güçlü kanıtlar görmek istiyorum,” diyor.
Geçen ay, Anthropic, bir sinir ağı MRI kullanarak Claude 3’ün iç yapısını inceledikleri bir çalışmanın sonuçlarını yayınladı. Model belirli girdilerle çalıştırıldığında, modelin hangi bölümlerinin etkin olduğunu gözlemlediler ve belirli girdilerle ilişkilendirilen nöron desenlerini belirlediler. Anthropic, bu desenlerin soyut kavramları işlemeye veya göstermeye çalışan girdilerle ilişkili olduğunu iddia ediyor. Olah şunları söylüyor: “Örneğin, güvenlikle ilgili özellikler veya ön yargılar gibi bazı özellikler görüyoruz.”
Bu sonuçlar, büyük dil modellerinin iç yapısı hakkında sunulan en net bilgilerden birini sağlıyor. İnsan benzeri özelliklere dair ilginç bir bakış sunuyor, ancak gerçekte ne anlama geldiğini anlamak zor. Olah, modelin bu desenleri nasıl kullandığını bilmediğini de belirtiyor.
Olah, Claude 3 gibi büyük dil modellerinin iç yapısını tam olarak anlamasalar da, bu konunun neden önemli olduğunu anlamak gerektiğini söylüyor. Anthropic’in AI güvenliği üzerine yaptığı çalışmalarla tanındığını ve gelecekteki güçlü modellerin istenilen şekilde hareket etmesini sağlama amacını taşıdığını belirtiyor. “Eğer modellerin çok yetenekli olacağına inanmıyorsanız,” diyor Olah, “muhtemelen çok tehlikeli olmayacaklardır.”
Bölüm 3: Neden Hepimiz Anlaşamıyoruz
2014 yılında BBC’ye verdiği bir röportajda, etkili bilişsel bilimci Margaret Boden’a, bilgisayarların insanların yapabildiği şeyleri yapmasını engelleyecek bir sınır olup olmadığı soruldu. Boden, “Ben kesinlikle prensip olarak böyle bir sınırın olmadığını düşünmüyorum,” dedi. “Çünkü bunu reddetmek, insan düşüncesinin sihirle gerçekleştiğini söylemek demektir ve buna inanmıyorum.” Ancak güçlü bilgisayarların bunun için yeterli olmayabileceği uyarısında bulundu: AI alanının “güçlü fikirler”e ve düşünmenin nasıl gerçekleştiğine dair yeni teorilere ihtiyacı olacak. “Ancak bu şeyler çok zor ve bu soruların hepsinin bir gün cevaplanacağını düşünmek için hiçbir neden görmüyorum. Belki olur, belki olmaz.”
Boden, yapay zeka alanındaki belirsizliği düşünüyordu, bu da onun ve meslektaşlarının onlarca yıldır karşılaştığı zor sorularla boğuştuğunu gösteriyor. Yapay zeka, 70 yıl önce iddialı bir hedef olarak başladı ve bugün neyin mümkün neyin değil olduğu hakkında hala anlaşamıyoruz, hatta bunu nasıl bileceğimizi bile bilmiyoruz. Bu anlaşmazlıkların çoğu, zeka kavramının ve onun tanımının belirsizliğinden kaynaklanıyor. Alan, ileriye dönük sezgilerle dolu olsa da, net bir tanım yok.
Bu noktaya nasıl geldiğimizi anlamak için geçmişe bakmamız gerekiyor. Yani yapay zekanın köken hikayesine bir göz atalım—bu hikaye aynı zamanda para kazanma arzusuyla şişirilmişti.
Yapay Zeka’nın Kısa Bir Tarihi
Bilgisayar bilimcisi John McCarthy, 1955 yılında Dartmouth Koleji’nde bir yaz araştırma programı için fon başvurusu yaparken “yapay zeka” terimini ortaya attı ve takdir topladı.
Plan, McCarthy ve bir grup araştırmacının, savaş sonrası ABD matematikçi ve bilgisayar bilimcileri kimliği taşıyan, veya “John McCarthy ve çocukları” olarak adlandırılan, bir araya gelip iki ay boyunca ciddi ilerlemeler kaydetmeleriydi. Yeni bir araştırma sorununa odaklanmışlardı.
McCarthy ve ortak yazarları şöyle yazdı: “Öğrenmenin ve zekanın her yönünün prensip olarak açıkça tanımlanabileceğine ve bir makine tarafından simüle edilebileceğine dair bir tahmin üzerine çalışma yapılacaktır.” Makinelerin dil kullanımı, soyutlamalar yapabilme yetisi, insanlar için zor problemleri çözebilme yeteneği ve kendilerini nasıl geliştirebilecekleri konularında denemeler yapacaklardı.
Bu hedefler, günümüzde yapay zekanın temel amaçları olarak kalmıştır: Dil kullanımı, soyut kavramlar oluşturma ve problemleri çözme. Ancak, bu hedeflere ulaşmak o kadar kolay olmadı: “Bu problemlerin bir veya birkaçında önemli bir ilerleme kaydedilebileceğine inanıyoruz, eğer dikkatle seçilmiş bir grup bilim insanı bunun üzerinde birlikte çalışırsa,” diye yazdılar. Ancak bu yolculuk, planlandığı yedi on yıldan daha uzun sürdü ve hala çözülmemiş sorular var.
Ancak, bu klasik hikayede genellikle atlanan bir şey, yapay zekanın başlangıçta neredeyse hiç “yapay zeka” olarak adlandırılmamış olmasıydı.
McCarthy’nin bazı meslektaşları terimi sevmezdi. “Yapay” kelimesi, onlara biraz sahte bir şey çağrıştırıyordu. Örneğin, ilk oynatılan bilgisayar programını yaratan ve Dartmouth’ta bir katılımcı olan Arthur Samuel, tarihçi Pamela McCorduck’ın 2004 tarihli “Makine Düşünen Makineler” adlı kitabında şöyle demişti: “Bilgisayarların öğrenmelerini ve nasıl oynamalarını sağlamak sadece bir çanta kelime olarak nitelendirilebilir çünkü o kadar farklı yorumlar yapılabilir.” Claude Shannon gibi başka bir Dartmouth katılımcısı, tercihini “otomat çalışmaları” teriminden yana kullanmıştı. AI’nin diğer öncüleri Herbert Simon ve Allen Newell, çalışmalarını yıllarca “karmaşık bilgi işleme” olarak adlandırmaya devam ettiler.
Aslında, “yapay zeka” terimi, Dartmouth grubunun çeşitli fikirleri bir araya getirmek için kullandığı bir terimdi. Tarihçi Jonnie Penn, o zamanlar mevcut olan olası alternatifleri tanımladı; bunlar arasında “mühendislik psikolojisi,” “uygulamalı epistemoloji,” “sinir sibernetiği,” “sayısal olmayan hesaplama,” “sinir dinamikleri,” “ileri düzey otomatik programlama,” ve “hipotetik otomatlar” bulunuyordu. Marvin Minsky, başka bir Dartmouth katılımcısı, AI’yi “bir çanta kelime” olarak tanımladı, çünkü bu kadar farklı yorumları içerebilirdi.
McCarthy ise, iddialı vizyonunu yansıtan bir isim arıyordu ve bu yeni alanın dikkatini çekmek için “yapay zeka” terimini kullandı. Unutmayın: AI çekiciydi, AI havalıydı.
Terimlerin yanı sıra, Dartmouth teklifi, yapay zeka yaklaşımları arasında bir bölünmeye yol açan bir çatışmayı da yansıttı, ki bu çatışma Law’ın “AI’deki temel gerilim” olarak adlandırdığı şeydi.
McCarthy ve meslektaşları, bilgisayar kodunda ‘öğrenmenin her yönü veya zeka’nın herhangi bir özelliğini’ tanımlamak istediler, böylece makineler onları taklit edebilirlerdi. Diğer bir deyişle, düşünmenin nasıl çalıştığını anlamaları ve tarif etmeleri durumunda, bilgisayarları buna uygun şekilde programlayabilirlerdi. Bu, kurallara dayalı veya sembolik AI olarak bilinen ve bazen şimdi GOFAI olarak adlandırılan şeyin temelini oluşturdu. Ancak gerçek, önemli olmayan problemlerin çözüm süreçlerini yakalayan sert kodlanmış kurallar oluşturmak çok zor oldu.
Diğer bir yaklaşım ise sinir ağlarını tercih etti. Bu, istatistiksel desenler şeklinde kendi kendine bu kuralları öğrenmeye çalışan bilgisayar programlarıydı. Dartmouth teklifi, bunu hemen hemen bir kenara not ederken, başlangıçta daha az umut verici görünse de, bazı araştırmacılar sembolik AI yanında sinir ağlarının versiyonlarında çalışmaya devam ettiler. Ancak bunun gerçekten atılım yapması yıllar ve büyük miktarda hesaplama gücü ve internet verisinin çoğalması gerekti. Bugüne geldiğimizde, bu yaklaşım, yapay zeka patlamasının temelini oluşturuyor.
Buradan çıkarılacak büyük ders, bugünkü araştırmacılar gibi, AI’in yenilikçilerinin temel kavramlar hakkında kavga ettikleri ve kendi tanıtım döngülerine kapıldıklarıdır. Hatta GOFAI ekibi bile kavgalarla uğraşıyordu. Felsefeci ve AI öncüsü olan Aaron Sloman, şimdilerde 80’li yaşlarında, 70’lerde onları tanıdığında “eski arkadaşlar” Minsky ve McCarthy’nin “keskin bir şekilde anlaşamadıklarını” hatırlıyor: “Minsky, McCarthy’nin mantık hakkındaki iddialarının çalışamayacağını düşünüyordu ve McCarthy, Minsky’nin mekanizmalarının mantık kullanılarak yapılacak işleri yapamayacağını düşünüyordu. Ben her ikisiyle de iyi geçiniyordum ama ben de ‘Hiçbiriniz doğruyu bulamadınız.’ diyordum.”
Teknolojinin servetleri yükseldi ve düştüğünde, “AI” terimi modaya girdi ve modadan çıktı. Erken 70’lerde, İngiliz hükümeti, AI rüyasının hiçbir yere gitmediğini ve finanse edilmeye değmeyeceğini savunan bir rapor yayınladıktan sonra, her iki araştırma yolu da etkili bir şekilde askıya alındı. Bu etkili bir şekilde, tüm hype bir hiçe döndü. Araştırma projeleri kapatıldı ve bilgisayar bilimcileri “yapay zeka” terimlerini hibe tekliflerinden çıkardılar.
2008 yılında bir bilgisayar bilimleri doktorasını bitirirken, bölümde sadece bir kişi sinir ağları üzerinde çalışıyordu. Bender’ın benzer bir anısı var: “Kolejdeyken, bir koşu şakası, AI’ın bilgisayarlarla henüz ne yapacağını bulamadığımız her şey olduğu idi. Hemen yapabildiğiniz an, sihir olmaktan çıkardığınız an, AI olmamıştı.”
Ancak bu sihir, Dartmouth teklifinde ortaya konulan büyük vizyon, hayatta kaldı ve şimdi görebildiğimiz gibi, AGI rüyasının temellerini attı.
İyi ve kötü davranış
1950’de, McCarthy yapay zeka hakkında konuşmaya başlamadan beş yıl önce, Alan Turing, makineler düşünebilir mi? diye sorduğu bir makale yayınladı. Ünlü matematikçi bu soruyu cevaplamak için hipotetik bir test önerdi, ona taklit oyunu adını verdi. Kurulum, bir insan ve bir bilgisayarın bir perde arkasında ve ikinci bir insanın herkese sorular sormak için yazması düşünülmüş. Soru soranın insan ve bilgisayarın hangi cevapların insan ve hangilerinin bilgisayar tarafından verildiğini anlayamadığı durumlarda, bilgisayar düşünebilir denilebilir, Turing iddia etti.
Turing’in gördüğü—McCarthy’nin ekibinden farklı olarak—düşünmenin gerçekten tanımlanması çok zor bir şey olduğu. Turing testi, bu sorunu atlamak için bir yoluydu. “O temelde şunu söyledi: Zekanın doğası üzerinde odaklanmak yerine, ben onun dünyada tezahürünü arayacağım. Ben gölgesini arayacağım,” diyor Law.
1952’de, BBC Radyosu, Turing’in fikirlerini daha da keşfetmek için bir panel topladı. Turing’in yanında stüdyoda Manchester Üniversitesi’nden iki meslektaşı—matematik profesörü Maxwell Newman ve nörocerrahi profesörü Geoffrey Jefferson—ve Cambridge Üniversitesi’nden bilim, etik ve din felsefecisi Richard Braithwaite vardı.
Braithwaite konuşmaları başlattı: “Düşünmek genellikle insanın uzmanlık alanı olarak kabul edilir ve belki de diğer daha yüksek hayvanların, bu soru komik görünse de, tartışılacak kadar saçma olabilir. Ancak, ‘düşünmek’ ifadesinde neyin bulunacağına bağlıdır.””
Geçen yılın gişe rekorları kıran The Creator filmi, AI’nin nükleer bomba patlatarak yasaklandığı bir gelecek dünyasını hayal eder; bazı felaketçiler bunu en azından mümkün bir durum olarak değerlendirir.
Cave ve Dihal, 2014 yapımı Transcendence filminin, Johnny Depp’in canlandırdığı bir AI uzmanının zihnini bir bilgisayara yüklettiği bir hikayenin, Stephen Hawking, fizikçi Max Tegmark ve AI araştırmacısı Stuart Russell tarafından desteklenen bir anlatı olduğunu anlatır. Filmin açılış hafta sonunda Huffington Post’ta yayımlanan bir makalede, üçlü şunları yazdı: ‘Hollywood’un blockbuster’ı Transcendence, … insanlığın geleceği için çatışan vizyonlarla bu hafta sonu prömiyer yapıyor. Yüksek zekalı makinelerin kavramını sadece bilim kurgu olarak görmezden gelmek cazip olabilir. Ancak bu bir hata olur ve belki de tarihimizin en kötü hatası olabilir.’
Aynı zamanda Tegmark, AI güvenliğini incelemek ve teşvik etmek amacıyla Future of Life Institute’yi kurdu. Filmin oyuncularından biri olan Morgan Freeman, enstitünün yönetim kurulundaydı ve Elon Musk, ilk yılında 10 milyon dolar bağışladı. Cave ve Dihal için, Transcendence, popüler kültür, akademik araştırma, endüstriyel üretim ve ‘geleceği şekillendirmek için milyarderler tarafından finanse edilen mücadele’ arasındaki çoklu dolanmaların mükemmel bir örneğidir.
Geçen yıl dünya turunun Londra ayağında, Altman’a ‘AI dünyanın her zaman istediği teknoloji mi?’ diye sordular. O gün odaya arkada yüzlerce izleyicinin önünde duran ben, onun kendi köken hikayesini sunmasını dinledim: ‘Ben, çok endişeli bir çocuktum. Çok bilim kurgu okudum. Cuma gecelerini evde, bilgisayarla oynayarak geçirdim. Ama AI’ya her zaman çok ilgiliydim ve çok havalı olacağını düşündüm.’ Üniversiteye gittim, zengin oldum ve sinir ağlarının giderek daha da iyi hale gelmesini izledim. ‘Bu çok büyük olabilir ama aynı zamanda gerçekten kötü olabilir. Buna ne yapacağız?’ diye düşündüm 2015’te. ‘Sonunda OpenAI’yi başlattım.’
Öyleyse, kimin için, nasıl test edeceğiz, ne kadar iyi çalışıyor? ‘Ancak eğer inşa etmek için yaptığımız şey, sadece onu yaptığımızı söylemekse, o zaman benim arkamda duracak bir hedef değil. Bu milyar dolar değerinde bir hedef değil.’
Bender, TESCREAL ideolojileri arasındaki bağlantıları görmesinin, bu tartışmalarda daha fazla şey olduğunu fark etmesine yol açtığını söylüyor. ‘Bu insanlarla başa çıkmak zordu,’ diyor. ‘Tamam, burada sadece akademik fikirler yok. Aynı zamanda ahlaki bir kod var.’
Elbette, bu şekilde döşenmiş ve derinlikten yoksun olarak, toplum olarak, bireyler olarak en iyi anlaşmayı almadığımız görünmüyor. Aynı zamanda oldukça aptalca geliyor. Gebru, geçen yıl bir konuşmasında TESCREAL paketinin bazı bölümlerini tanımlarken, izleyiciler güldü. Ayrıca, bu okulların öğrencilerini kimse tanımlamaz.
Ancak bu teknolojiyi inşa edenlerin yaklaşımını anlamazsak, hangi anlaşmaları yapacağımızı nasıl karar verebiliriz? Hangi uygulamaları kullanmak istediğimize, hangi sohbet botlarına kişisel bilgilerimizi vermek istediğimize, hangi veri merkezlerini mahallemizde desteklemek istediğimize, hangi politikacılara oy vermek istediğimize?
Eskiden böyleydi: Dünyada bir sorun vardı ve bunu çözmek için bir şeyler inşa ettik. Burada her şey ters: Amaç, her şeyi yapabilen bir makine inşa etmek ve çözümü inşa etmeden önce problemi anlamanın yavaş ve zor işini atlamak gibi görünüyor.
Ve Gebru’nun aynı konuşmasında söylediği gibi, ‘Tüm problemleri çözen bir makine: Eğer bu sihir değilse, o zaman nedir?’ Söz oyunları, söz oyunları … söz oyunları?
AI’nın ne olduğu açıkça sorulduğunda, birçok insan soruyu kaçınıyor. Suleyman değil. Nisan ayında, Microsoft AI CEO’su TED sahnesinde durdu ve altı yaşındaki yeğenine bu soruya yanıt olarak ne söylediğini anlattı. Verebileceği en iyi cevabın, Suleyman açıkladı, AI’ın ‘yeni bir dijital tür’ olduğu olduğunu belirtti.
‘Geçerli yolumuzda, anlamakta zorlandığımız bir şeyin ortaya çıkışı için gidiyoruz ve kontrol edemiyoruz,’ dedi. ‘Ve bu nedenle, metaforlar, zihinsel modeller, isimler—bunlar hepsi, AI’dan en iyi şekilde yararlanmak için önemlidirken potansiyel dezavantajlarını sınırlamak için gereklidir.’
Dil önemli! Umarım bu, bu noktaya gelmek için geçirdiğimiz dönüşlerden ve turlardan anlaşılırdır. Ancak aynı zamanda umuyorum ki, şu soruyu soruyorsunuzdur: Hangi dil? Ve hangi dezavantajlar?
Suleyman, AI ürünlerinden milyarlarca dolar kazanma potansiyeline sahip olan bir teknoloji devi endüstri lideridir. Bu ürünlerin arkasındaki teknolojiyi, yeni bir tür tür olarak tanımlamak, daha önce hiç görmediğimiz bir şeyi temsil ediyor gibi görünüyor.
2020’de GPT-3 hakkında yazarken, AI’ın yaptığı en büyük numaranın dünyayı var olduğuna ikna etmek olduğunu söyledim. Hala öyle düşünüyorum: Belirli şekillerde davranan şeylere zekâ görmeye programlıyız, var olsa da olmasa da. Son birkaç yılda, teknoloji endüstrisi, kendi nedenleriyle AI’nın da var olduğuna bizi ikna etti. Bu durum beni bu teknoloji için yapılan birçok iddiaya karşı şüpheci yapıyor.
Büyük dil modelleriyle karşı karşıya kaldığımız şey, daha önce düşünmek zorunda kalmadığımız bir şeyi gerçekleştirmek: ‘Bir dil parçasının zekâ gerekip gerekmediğini düşünmemişimdir çünkü sadece hiç işlemiş değilim.’ diyor Pavlick. ‘Dilin, zeka, akıl yürütme, anlama ve daha fazlası gibi bu kelimeler’in “varlığı” yoksa evet ya da hayır olup olmadığı’na dönüşmesini gerçekten sevmem.’
Ne düşünüyorsunuz?
Fikrini bilmek güzel. Yorum bırakın.