Şans eseri tanıştılar, bir fikre kapıldılar ve yakın tarihin en önemli teknolojik atılımı olan "Transformers" makalesini yazdılar.
“Attention Is All You Need” başlıklı bilimsel bir makalede sekiz isim yazar olarak yer alıyor. Bu isimlerin hepsi Google araştırmacılarıydı, ancak o zamana kadar biri şirketi terk etmişti. En deneyimli katkıda bulunan kişi:
Noam Shazeer :
Noam Shazeer, erken bir taslağı gördüğünde isminin ilk sırada yer aldığını görmek onu şaşırttı, çünkü katkısının en önemli olduğunu düşünmüyordu. “Bunu düşünmemiştim,” diyor. İsimleri nasıl listeleyeceklerine dair her zaman ince bir denge kurmak zordur—kim önemli ilk pozisyonu alacak, kim arka sıralara itilecek. Her katılımcının gerçek bir grup çabası içinde belirgin bir iz bıraktığı bu durum gibi özellikle de. Araştırmacılar makalelerini bitirmek için acele ederken, sonunda katkıda bulunanları sıralamak konusundaki geleneksel kuralı “sabote etmeye” karar verdiler. Her ismin yanına bir yıldız eklediler ve bir dipnot: “Eşit katkıda bulunan” diye yazıyordu. “Liste sırası rastgeledir.” Yazarlar, makalelerini son teslim tarihinden hemen önce bir prestijli yapay zeka konferansına gönderdiler ve bir devrim başlattılar.
Yedinci yıl dönümüne yaklaşan “Attention” makalesi efsanevi bir statü kazandı. Yazarlar, gelişmekte olan ve gelişen bir yapay zeka türü olan sinir ağlarıyla başladılar ve onu başka bir şeye dönüştürdüler: bir dijital sistem, çıktısı bir yabancı zekanın ürünü gibi hissedebilecek kadar güçlü. Bu mimariye “transformerlar” denir ve bu, ChatGPT ve Dall-E gibi grafik üreticileri de dahil olmak üzere olağanüstü yapay zeka ürünlerinin arkasındaki sır değil. Shazeer artık makalenin ne kadar ünlü olacağını bilseydi, “muhtemelen yazar sırasıyla ilgili daha fazla endişelenirdim” diye espri yapıyor. Tüm sekiz imzacı artık mikro ünlüler. “Benimle selfie çektirmek isteyen insanlar var—çünkü bir makaledeyim!” diyor, (tabii ki rastgele olarak)
Llion Jones :
Beş numaralı isim olan Llion Jones. “Transformerlar olmasaydı, şu anda burada olmayacağımızı düşünmüyorum,” diyor, yazarlardan biri olmayan ama belki de dünyanın en önde gelen yapay zeka bilimcisi olan Geoffrey Hinton. Bu, OpenAI ve diğer şirketlerin, insan çıktısını rakip hale getiren ve bazı durumlarda aşan sistemler inşa ettiği yer değiştiren zamanlara atıfta bulunuyor.
Tüm sekiz yazar Google’dan ayrıldı. Milyonlarca insan gibi, şimdi 2017’de yarattıkları şeylerle çalışıyorlar. ” Bir makinanın, son sözü belki de kendisine bırakacak şekilde insan zekasını bir araya getirerek bir yeniliğin anatomisini oluşturmak için Transformer Sekiz’le konuştum. “
Jakob Uszkoreit :
Transformers’un hikayesi sekiz isimden dördüncüsü olan Jakob Uszkoreit ile başlar.
Jakob Uszkoreit, ünlü bir hesaplamalı dil bilimci olan Hans Uszkoreit’in oğludur. Hans, 1960’ların sonlarında lise öğrencisi olarak Doğu Almanya’da Sovyetler Birliği’nin Çekoslovakya’yı işgaline karşı protesto ettiği için 15 ay hapis cezasına çarptırılmıştı. Serbest bırakıldıktan sonra Batı Almanya’ya kaçtı ve Berlin’de bilgisayarlar ve dil bilimi üzerine eğitim aldı. ABD’ye gitti ve Jakob doğduğunda Menlo Park, Kaliforniya’daki SRI araştırma enstitüsünde yapay zeka laboratuvarında çalışıyordu. Aile sonunda Almanya’ya döndü ve Jakob üniversiteye gitti. Dil üzerine odaklanmayı düşünmüyordu, ancak yüksek lisans çalışmalarına başladığında, Google’ın Mountain View ofisindeki çeviri grubunda staj yapmaya başladı ve böylelikle aile işine girmiş oldu. Doktora planlarını terk etti ve 2012’de, Google’da, kullanıcıların arama sayfasında başka web sitelerine yönlendirmeden sorularına yanıt verebilecek bir sistem üzerinde çalışan bir ekibe katılmaya karar verdi. Apple, sıradan bir konuşmada tek bir cevap vereceğini vaat eden sanal asistanı Siri’yi yeni duyurmuştu ve Google yöneticileri büyük bir rekabet tehdidi sezdiler: Siri, arama trafiğini tırtıklayabilirdi. Bu nedenle, Uszkoreit’in yeni grubuna çok daha fazla dikkat vermeye başladılar.
“Bu aslında yanlış bir panikti,” diyor Uszkoreit. Siri asla gerçekten Google’ı tehdit etmedi. Ancak, bilgisayarların bizimle bir tür diyalog kurabileceği sistemlere dalma fırsatını memnuniyetle karşıladı. O sırada, tekrarlayan sinir ağları – bir zamanlar akademik bir gölge olan – birden diğer yapay zeka mühendisliği yöntemlerini geride bırakmaya başlamıştı. Bu ağlar çok katmanlıdır ve bilgiler bu katmanlardan geçerek en iyi yanıtları belirlemek için tekrar tekrar işlenir. Sinir ağları, görüntü tanıma gibi alanlarda büyük başarılar elde ediyordu ve bir yapay zeka rönesansı aniden başlamıştı. Google, teknikleri benimsemek için iş gücünü çırpındı. Şirket, insan gibi yanıtlar üretebilen sistemler istiyordu – e-postalardaki cümleleri otomatik tamamlayabilen veya nispeten basit müşteri hizmetleri sohbet botları oluşturan sistemler.
Rekürrent sinir ağları uzun metin parçalarını analiz etmekte zorlanıyordu. “Joe bir beyzbol oyuncusudur ve iyi bir kahvaltının ardından parka gitti ve iki vuruş yaptı” gibi bir geçişi ele alalım. “İki vuruş” ifadesini anlamlandırmak için bir dil modelinin beyzbol kısmını hatırlaması gerekiyor. İnsan terimlerinde, dikkatli olması gerekiyor. Kabul edilen çözüm, “uzun kısa süreli bellek” (LSTM) adı verilen bir şeydi. Bu yenilik, dil modellerinin daha büyük ve karmaşık metin dizilerini işlemesine olanak tanıdı. Ancak bilgisayar hala bu dizileri katı bir şekilde sırayla ele alıyor – kelime kelime – ve metnin daha sonra ortaya çıkabilecek bağlam ipuçlarını gözden kaçırıyordu. “Uyguladığımız yöntemler temelde yama çözümleriydi,” diyor Uszkoreit. “Gerçekten ölçekte işe yarayan doğru şeyleri yapamıyorduk.”
2014 civarında, farklı bir yaklaşım olan kendi dikkatini çeken bir şeyi düşünmeye başladı. Bu tür bir ağ, bir kelimeyi geçişin herhangi bir başka kısmına başvurarak çevirebilir. Diğer kısımlar, bir kelimenin niyetini netleştirebilir ve sistemin iyi bir çeviri üretmesine yardımcı olabilir. “Aslında her şeyi dikkate alır ve birçok girişi aynı anda bakabilecek ve sonra oldukça seçici bir şekilde bir şeyi çıkarabilecek bir etkili bir şekilde bakmanın yolunu verir,” diyor. AI bilim insanları, sinir ağlarının metaforunu biyolojik beynin gerçek çalışma şekliyle karıştırmamaya dikkat ederken, Uszkoreit kendi dikkatini insanların dil işleme şekline biraz benzetiyormuş gibi görünüyor.
Uszkoreit, kendi dikkatini çeken bir modelin muhtemelen rekürrent sinir ağlarından daha hızlı ve daha etkili olabileceğini düşündü. Bilgiyi nasıl işlediği, makine öğrenme patlamasını desteklemek için kitlesel olarak üretilen güçlü paralel işlem çiplerine tamamen uygundu. Bir lineer yaklaşım yerine (her kelimeyi sırayla inceleyin), daha paralel bir yaklaşım benimser (bir araya getirilmiş bir grup kelimeye bakın). Doğru şekilde yapıldığında, Uszkoreit’in tahminine göre, daha iyi sonuçlar elde etmek için kendi dikkatini çeken bir yaklaşımı yalnızca kullanabilirdiniz.
Bu fikrin dünyayı sallayacağını düşünen herkes değildi, bunlardan biri de Uszkoreit’in, oğlu şirkette çalışırken iki Google Faculte araştırma ödülü kazanan babasıydı. “İnsanlar kaşlarını kaldırdı, çünkü mevcut tüm sinir mimarilerini dışarı attı,” diyor Jakob Uszkoreit. Rekürrent sinir ağlarına veda mı? Kafirlik! “Babamla yaptığım akşam yemeği sohbetlerinden, tam olarak aynı fikirde değildik.”
Uszkoreit, kendi dikkatini çeken deneyler yapmaları için birkaç meslektaşını ikna etti. Çalışmaları umut vaat etti ve 2016’da bununla ilgili bir makale yayınladılar. Uszkoreit, araştırmalarını daha da ileri götürmek istedi – takımın deneyleri sadece küçük metin parçalarını kullanmıştı – ama işbirlikçilerinden hiçbiri ilgilenmedi. Kazançları sınırlı olan kumarbazlar gibi, öğrendikleri dersleri uygulamak için gittiler. “İşte bu işe yaradı,” diyor. “Makalenin yazarlarındaki insanlar, ödüllerini toplamak ve bunu Google’da arama ve sonunda reklamlar dahil olmak üzere çeşitli alanlarda uygulamak konusunda heyecanlandılar. Bu birçok açıdan müthiş bir başarıydı, ama bununla yetinmek istemedim.”
2016 yılında, Google’un kuzeyindeki Charleston Road üzerindeki adresine dayanan 1945 binasında, Uszkoreit, kendi dikkatini çekebilecek çok daha büyük görevler üstlenebileceğini düşünüyordu. Bu fikrini dinlemek isteyenlere ve istemeyenlere bile savunurdu, ve bu vizyonunu beyaz tahtalara yazarak ortaya koyardı.
Illia Polosukhin :
Bir gün, Ukrayna doğumlu bilim adamı Illia Polosukhin ile birlikte Google’un bir kafesinde öğle yemeği yemekteydi. Polosukhin, Google’da neredeyse üç yıldır çalışıyordu. Arama alanına yöneltilen doğrudan sorulara cevap veren ekibe atanmıştı. Ancak işler pek de yolunda gitmiyordu. Polosukhin, “Google.com’da bir şeyi yanıtlamak için çok ucuz ve yüksek performanslı bir şeye ihtiyacınız var, çünkü saniyeleriniz var” diyor. Polosukhin şikayetlerini dile getirdiğinde, Uszkoreit bir çözüm önerisinde bulunmakta hiç zorlanmadı. Polosukhin’in anlatımına göre, “O, neden kendi dikkatini kullanmayalım?” dedi.
Ashish Vaswani :
Polosukhin bazen bir meslektaşı olan Ashish Vaswani ile işbirliği yapıyordu. Hindistan’da doğup çoğunlukla Orta Doğu’da büyümüştü ve doktorasını Güney Kaliforniya Üniversitesi’nde okulunun seçkin makine çevirisi grubunda yapmıştı. Sonrasında, Google’a katılmak için Mountain View’e taşındı – özellikle de Google Brain adlı yeni bir organizasyona. Brain’i “radikal bir grup” olarak tanımlıyor ve “sinir ağlarının insan anlayışını ilerleteceğine inanıyordu.” Ancak hala üzerinde çalışabileceği büyük bir proje arıyordu. Ekibi, Polosukhin’in dil ekibinin yanındaki 1945 binasının yanındaki 1965 binasında çalışıyordu ve kendi dikkatini kullanma fikrini duydu. Acaba bu proje olabilir miydi? İşte bu projede çalışmayı kabul etti.
Dolayısıyla, Google’un araştırma ve geliştirme ekibi, hızlı ve etkili bir şekilde cevap vermek için kendi dikkatini kullanma fikrini keşfetti. Bu, arama sorgularına daha hızlı ve daha hassas yanıtlar sağlamak için büyük bir adım olarak görülüyordu.
Üç araştırmacı bir araya gelerek “Dönüşümcüler: Çeşitli Görevler için İteratif Öz-Dikkat ve İşleme” adlı bir tasarım belgesi hazırladılar. Uszkoreit, “dönüşümcüler” adını “sıfır noktası”ndan seçtiklerini söylüyor. Fikir, bu mekanizmanın aldığı bilgiyi dönüştüreceği ve sistemin insan kadar çok anlayış çıkarabilmesine izin vereceğiydi – ya da en azından böyle bir illüzyon yaratacağıydı. Ayrıca, Uszkoreit’in Hasbro aksiyon figürleriyle ilgili güzel çocukluk anıları vardı. “Çok küçükken iki tane Transformer oyuncakları vardı,” diyor. Belge, dağlık bir arazide altı Transformer’ın karton bir görüntüsüyle sona erdi, birbirlerine lazerler fırlatıyorlardı.
Belgenin başlayan cümlesinde de biraz kendilerine güvendiklerini belirtmişler: “Biz harikayız.”
Erken 2017’de, Polosukhin Google’dan ayrılarak kendi şirketini kurdu. O zamana kadar yeni işbirlikçileri katılıyordu.
Niki Parmar :
Hindistanlı bir mühendis olan Niki Parmar, Hindistan’da bir Amerikan yazılım şirketinde çalışıyordu ve ABD’ye taşındı. 2015 yılında USC’den yüksek lisans derecesi aldı ve tüm Büyük Teknoloji şirketleri tarafından işe alındı. Google’ı seçti. Başladığında, Uszkoreit’e katıldı ve Google arama için model varyantları üzerinde çalıştı. Başka bir yeni üye ise Llion Jones’du. Galler’de doğup büyüdü, bilgisayarları seviyordu çünkü “normal değildi.” Birmingham Üniversitesi’nde bir yapay zeka kursuna katıldı ve nöral ağlara merak sardı, tarihî bir merak olarak sunulmuşlardı. 2009’da yüksek lisansını aldı ve resesyon sırasında iş bulamadığı için aylarca işsizlik maaşı aldı. Yerel bir şirkette iş buldu ve ardından Google’a bir “son çare” olarak başvurdu. İşi aldı ve sonunda Google Araştırma’da, yöneticisi Polosukhin’in olduğu yere yerleşti. Bir gün, Jones, bir iş arkadaşı olan Mat Kelcey’den öz-dikkat kavramını duydu ve daha sonra Dönüşümcüler Takımı’na katıldı. (Daha sonra, Jones, Kelcey’le dönüşümcü projesini anlattı. Kelcey, “Bunu çalışacağından emin değilim,” dedi. “Hayatımdaki en büyük yanlış tahminlerden biri,” diyor Kelcey şimdi.)
Dönüşümcü çalışma, büyük dil modellerini geliştirmeye çalışan diğer Google Brain araştırmacılarını da içine çekti. Bu üçüncü dalgada, Polonyalı teorik bilgisayar bilimcisi Łukasz Kaiser ve stajyeri Aidan Gomez de vardı. Gomez, ailesinin her ilkbahar kızılağaçları şurup için musluk taktığı küçük bir çiftlik köyünde Ontario, Kanada’da büyüdü. Toronto Üniversitesi’nde birinci sınıf öğrencisi olarak yapay zeka ile “aşık” oldu ve Geoffrey Hinton’un laboratuvarına katıldı. İlginç makaleler yazan Google’daki insanlarla iletişime geçmeye başladı ve fikirlerini genişletmek için. Kaiser, onu stajyer olarak davet etti. Gomez, o stajyerliklerin doktora öğrencileri için olduğunu aylar sonra öğrendi, onun gibi lisans öğrencileri için değil.
Kaiser ve Gomez hızla, kendi ele aldıkları soruna yönelik umut verici ve daha radikal bir çözüm olan öz-dikkat (self-attention) yönteminin olduğunu anladılar. “İki projei birleştirmek isteyip istemediğimiz konusunda bilinçli bir konuşma yaptık,” diyor Gomez. Cevap evetti.
Transformer ekibi, metni bir dilden diğerine çevirmek için öz-dikkat modeli oluşturmaya başladı. Performanslarını, bir makinenin çıktısını bir insan çevirmenin çalışmasıyla karşılaştıran BLEU adlı bir kıyaslama ölçütü kullanarak ölçtüler. Yeni modeliyle başarıya ulaşmışlardı. “Hiçbir kanıt olmadan en azından LSTM’lerin o zamana kadar en iyi alternatif yaklaşımlarıyla aynı seviyeye gelmiştik,” diyor Uszkoreit. Ancak uzun kısa süreli bellek (LSTM) yöntemine göre “daha iyi değildi.”
Bir gün, 2017’de, Noam Shazeer tesadüfen projelerinden haberdar oldu. Shazeer, Google’da 2000 yılında katılan ve şirketin erken reklam sistemine yönelik çalışmalarıyla ünlü bir veterandi. Shazeer, beş yıldır derin öğrenme üzerinde çalışıyordu ve son zamanlarda büyük dil modellerine ilgi duymaya başlamıştı. Ancak bu modellerin, mümkün olduğuna inandığı akıcı konuşmaları üretecek kadar ileri gitmediğini düşünüyordu.
Shazeer, anımsadığına göre, Binası 1965’teki koridorda yürürken Kaiser’ın çalışma alanından geçiyordu. Canlı bir konuşmaya kulak misafiri oldu. “Ashish’in öz-dikkat kullanma fikrinden bahsettiğini ve Niki’nin bundan çok heyecan duyduğunu hatırlıyorum. ‘Vay be, harika bir fikir gibi görünüyor. Bu, çok eğlenceli, zeki bir grup insanın umut verici bir şey yaptığı gibi.’ dedim.” Shazeer, mevcut tekrarlayan sinir ağlarını “rahatsız edici” buluyordu ve şöyle düşündü: “Haydi, onları değiştirelim!”
Shazeer’ın gruba katılması kritikti. “Bu tür teorik veya sezgisel mekanizmalar, öz-dikkat gibi, genellikle birkaç deneyimli ‘sihirbaz’ tarafından çok dikkatli bir şekilde uygulanmalıdır, hatta hayat belirtisi göstermek için,” diyor Uszkoreit. Shazeer hemen büyüsünü yapmaya başladı. Transformer ekibinin kodunun kendi versiyonunu yazmaya karar verdi. “Temel fikri aldım ve kendim uyguladım,” diyor. Ara sıra Kaiser’a sorular sordu, ama çoğunlukla, “bir süre üzerinde çalıştım ve geri döndüm ve ‘Bak, işe yaradığını söyledim,'” diyor. Takım üyeleri daha sonra “büyü” ve “simya” gibi kelimelerle tanımladıkları ve “bunlar çılgınca detaylara, geliştirmelere” işaret ettikleri bir şekilde, sistemi yeni bir seviyeye taşıdı.
“Güçlü bir başlangıçtı,” diyor Gomez. Motive olmuşlardı ve ayrıca yaklaşan bir son tarih olan yılın en büyük yapay zeka etkinliği olan Aralık ayındaki Neural Information Processing Systems konferansına sunulacak belgelere yönelik bir hedefe ulaşmak istiyorlardı. Silicon Vadisi’nde kışın yerini ilkbahara bıraktığı bir dönemde deneylerin temposu arttı. İki transformer modelini test ettiler: biri 12 saatlik eğitimle üretilen bir model ve diğeri üç buçuk gün boyunca eğitilen daha güçlü bir sürüm olan Big. İngilizceden Almancaya çeviri için onları işe koydular.
Temel model, tüm rakiplerini geride bıraktı – ve Big, önceki rekorları kırarak BLEU puanı kazandı ve aynı zamanda daha hesaplama açısından daha verimliydi. “Herkesten daha az zamanda başardık,” diyor Parmar. “Ve bu sadece başlangıçtı, çünkü rakam sürekli olarak artıyordu.” Uszkoreit bunu duyduğunda, etrafta bulunan eski bir şampanya şişesini açtı.
Son iki hafta, son teslim tarihine kadar oldukça yoğun geçti. Resmi olarak takımın bazı üyelerinin 1945 Numaralı Bina’da masaları olmasına rağmen, çoğunlukla 1965’te çalışıyorlardı çünkü mikro-mutfakta daha iyi bir espresso makinesi vardı. Stajyer olarak sürekli bir hata ayıklama çılgınlığı içinde yaşayan ve aynı zamanda makalenin görselleştirmelerini ve diyagramlarını üreten Gomez, “İnsanlar uyumuyordu,” diyor. “Her olası hile ve modül kombinasyonu vardı – hangisi işe yarıyor, hangisi işe yaramıyor. Onu söküp alalım. Bunu bununla değiştirelim,” diyor Gomez. “Model niçin bu karşıtıntuitif şekilde davranıyor? Ah, doğru masking’i yapmayı unuttuk. Hala çalışıyor mu? Tamam, bir sonrakine geçelim. Şimdi ‘transformer’ olarak adlandırdığımız tüm bu bileşenler, bu son derece hızlı, tekrarlı deneme yanılma sürecinin bir ürünüydü.” Ablasyonlar, Shazeer’ın uygulamalarıyla desteklenerek, Jones’a göre “minimalist bir şey” üretti. “Noam bir büyücü.”
Vaswani, ekip makaleyi yazarken bir gece ofis koltuğunda çöktüğünde hatırlıyor. Koltuğun geri kalanından ayrılan perdelere baktığında, ona sinaps ve nöronları hatırlatan bir desen olduğunu fark etti. Gomez oradaydı ve Vaswani’ye üzerinde çalıştıkları şeyin makine çevirisini aşacağını söyledi. “Sonuçta, insan beyninde olduğu gibi, tüm bu modaliteleri – konuşma, ses, görüntü – tek bir mimari altında birleştirmeniz gerekiyor,” diyor. “Daha genel bir şeye doğru gittiğimize dair güçlü bir sezgim vardı.”
Ancak Google’ın üst düzey yöneticilerinin gözünde, bu çalışma sadece başka ilginç bir yapay zeka projesi olarak görülüyordu. Transformer ekibinden birkaç kişiye proje hakkında güncellemeler için patronlarının onları çağırıp çağırmadığını sordum. Pek fazla değil. Ancak “bu potansiyel olarak büyük bir iş olabileceğini anladık,” diyor Uszkoreit. “Ve bu bizi aslında makalenin sonuna doğru gelecekteki çalışmalar hakkında yorum yaptığımız cümle üzerinde takıntılı hale getirdi.”
O cümle, bir sonraki adımın ne olabileceğini önceden tahmin ediyordu – transformer modellerinin temelde tüm insan ifade biçimlerine uygulanması. “Dikkat tabanlı modellere gelecekteki çalışmalardan heyecan duyuyoruz,” yazmışlardı. “Transformer’ı metin dışındaki giriş ve çıkış modalitelerini içeren problemlere genişletmeyi planlıyoruz” ve “görüntüler, ses ve video”yu araştırmayı düşünüyoruz.
Teslim tarihinden birkaç gece önce, Uszkoreit’in bir başlık bulmaları gerektiğini fark etti. Jones, takımın kabul edilen en iyi uygulamalara radikal bir reddetme üzerine geldiğini, en dikkate değer olarak LSTMs için bir tekniği: dikkati. Jones, Beatles’ın bir şarkıya “All You Need Is Love” adını verdiğini hatırladı. Neden makaleye “Dikkat Gereken Tek Şey” demesinlerdi?
Beatles mı?
“Ben İngiliz’im,” diyor Jones. “Kelimenin tam anlamıyla beş saniye düşündüm. Kullanacaklarını düşünmemiştim.”
Deneylerinden gelen sonuçları son teslim tarihine kadar toplamaya devam ettiler. “İngiliz-Fransız rakamları, makaleyi göndermeden beş dakika önce geldi,” diyor Parmar. “1965’teki mikro-mutfakta otururken, son numarayı aldım.” Sadece iki dakika kala, makaleyi gönderdiler.
Google, neredeyse tüm teknoloji şirketleri gibi, hızla iş üzerine geçici patentler dosyaladı. Bunun nedeni, fikirleri kullanmak isteyenleri engellemek değil, savunma amacıyla patent portföyünü güçlendirmekti. (Şirketin bir felsefesi var: “Eğer teknoloji ilerlerse, Google faydalarını kazanır.”)
Transformer ekibi konferans hakemlerinden geri dönüş aldığında, tepki karışıktı. “Biri olumlu, biri son derece olumlu ve biri, ‘Bu iyidir,'” diyor Parmar. Makale, akşam poster oturumlarından biri için kabul edildi.
Aralık ayına gelindiğinde, makale gündem oluşturmaya başlamıştı. 6 Aralık’taki dört saatlik oturumları, daha fazlasını öğrenmek isteyen bilim insanlarıyla dolup taştı. Yazarlar, sesleri kısılana kadar konuştular. Oturum kapanana kadar, saat 22:30’da, hâlâ bir kalabalık vardı. “Güvenlik bizi çıkmamız için uyardı,” diyor Uszkoreit. Onun için belki de en tatmin edici an, bilgisayar bilimcisi Sepp Hochreiter’in gelip çalışmayı övmesiydi – çünkü Hochreiter, uzun kısa süreli belleğin ortak mucidiydi ve o sıralarda yapay zekâ araç çantasındaki en güçlü silah olarak kabul ediliyordu.
TRANSFORMER’lar anında dünyayı ele geçirmedi, hatta Google’ı bile. Kaiser, makalenin yayımlandığı dönemlerde, Shazeer’ın Google yöneticilerine şirketin tüm arama indeksini terk edip transformer’larla büyük bir ağ eğitmesini önerdiğini hatırlıyor. O noktada, Kaiser bile fikrin saçma olduğunu düşünüyordu. Şimdi ise genel kanı, bunun bir zaman meselesi olduğu yönünde.
OpenAI adında bir girişim çok daha hızlı davrandı. Makale yayımlandıktan kısa bir süre sonra, OpenAI’ın baş araştırmacısı Ilya Sutskever—Google’daki zamanında transformer ekibiyle tanışmıştı—fikir üzerinde çalışması için bir bilim insanı olan Alex Radford’ı önerdi. Sonuçlar ilk GPT ürünleriydi. OpenAI CEO’su Sam Altman geçen yıl bana şunu söyledi: “Transformer makalesi yayımlandığında, Google’da kimse bunun ne anlama geldiğini fark etmedi.”
İçerideki resim daha karmaşıktır. “Bizim için transformer’ların gerçekten sihirli şeyler yapabileceği açıktı,” diyor Uszkoreit. “Şimdi sorabilirsiniz, neden 2018’de Google’da ChatGPT yoktu? Gerçekçi olarak, 2019’da GPT-3 veya hatta 3.5’e sahip olabilirdik, belki 2020’de. Büyük soru şu değil, onu gördüler mi? Soru şu, gördüklerini neden değerlendirmedik? Cevap karmaşıktır.”
Aıdan Gomez :
Teknoloji eleştirmenleri, Google’ın inovasyon odaklı bir oyun alanından kâr odaklı bir bürokrasiye geçişini eleştiriyor. Gomez, Financial Times’a verdiği röportajda, “Modernleşmiyorlardı. Bu teknolojiyi benimsemiyorlardı.” dedi. Ancak, bu devasa bir şirket için cesur bir adım olurdu. Google’ın teknolojisi endüstriyi yönlendiriyordu ve onlarca yıldır büyük kârlar elde ediyordu. Google, 2018’de çeviri aracına başlayarak ürünlere dönüşümcüleri entegre etmeye başladı. Aynı yıl, arama için BERT adlı yeni bir dönüşümcü tabanlı dil modeli tanıttı ve bir sonraki yıl aramada kullanmaya başladı.
Ancak, bu arka plandaki değişiklikler, OpenAI’nın kuantum sıçraması ve Microsoft’un ürün yelpazesine dönüşümcü tabanlı sistemleri cesurca entegre etmesiyle karşılaştırıldığında çekingen görünüyor. Geçen yıl CEO Sundar Pichai’ye şirketinin neden ChatGPT gibi büyük bir dil modelini ilk başlatmadığını sorduğumda, bu durumda Google’ın başkalarının öncülük etmesinin avantajlı olduğunu savundu. “Bu kadar iyi işleyip işlemediği tam olarak belli değil. Gerçek şu ki, insanlar nasıl çalıştığını gördükten sonra daha fazlasını yapabiliriz,” dedi. Kağıdın tüm sekiz yazarının Google’dan ayrıldığı kesin bir gerçek var. Polosukhin’in şirketi Near, piyasa değeri yaklaşık 4 milyar dolar olan bir blok zinciri oluşturdu. Parmar ve Vaswani, 2021’de iş ortakları olarak Adept’i başlatmak için bir araya geldi (tahmini değerlemesi 1 milyar dolar) ve şimdi ikinci şirketleri olan Essential AI’yi kurdu ($8 milyon fon). Llion Jones’un Tokyo merkezli Sakana AI’sının değeri 200 milyon dolar. Ekim 2021’de ayrılan Shazeer, Character AI’yi kurdu (tahmini değerlemesi 5 milyar dolar). Grubun stajyeri Aidan Gomez, 2019’da Toronto’da Cohere’i kurdu (tahmini değerlemesi 2.2 milyar dolar). Jakob Uszkoreit’in biyoteknoloji şirketi Inceptive’in değeri 300 milyon dolar. Tüm bu şirketler (Near hariç), dönüşümcü teknolojisine dayanmaktadır.
Lukasz Kasıer :
Kaiser, OpenAI’ye katılan ve Q* adlı yeni bir teknolojinin mucitlerinden biri olan tek kişidir. Geçen yıl Altman’ın “çıkıp bilinmeyeni ileriye ve keşiflerin sınırlarını iten” dediği bu teknoloji hakkında Kaiser’i röportajda sorgulamaya çalıştığımda, OpenAI PR görevlisi neredeyse masanın üzerine atlayarak onu susturdu.
Google kaçan bu kişileri özler mi? Elbette, şirketten yeni yapay zeka girişimlerine göç eden diğer kişilerin yanı sıra. (Pichai’e dönüşüm kaçakları hakkında sorduğumda, endüstri favorisi OpenAI’ın da kaçışlar yaşadığını hatırlattı: “Yapay zeka alanı çok, çok dinamik,” dedi.) Ancak Google, sıradışı fikirlerin takibini destekleyen bir ortam yarattığını öne sürebilir. “Google birçok açıdan çok önde oldu – doğru zihinlere yatırım yaptı ve sınırları keşfetmemize izin veren bir ortam yarattı,” diyor Parmar. “Bu kadar uzun süre benimsemesi deli değil. Google’ın çok daha fazla riski vardı.”
Bu ortam olmadan: hiçbir dönüştürücü olmazdı. Yazarlar sadece Google çalışanları değildi, aynı zamanda aynı ofislerde çalışıyorlardı. Koridorda karşılaşmalar ve duyulan öğle yemeği konuşmaları büyük anlara yol açtı. Grup aynı zamanda kültürel olarak çeşitli. Sekiz yazarın altısı ABD dışında doğmuş; diğer ikisi geçici olarak Kaliforniya’da bulunan iki yeşil kart taşıyan Almanın çocukları ve zulümden kaçan birinci nesil Amerikalı’nın çocukları.
Berlin’deki ofisinden konuşan Uszkoreit, yeniliğin doğru koşullarla ilgili olduğunu söylüyor. “Bir şeylere çok heyecanlı olan ve hayatlarında doğru noktada olan insanları bulmak,” diyor. “Eğer bu varsa ve bunu yaparken eğleniyorsanız, doğru problemler üzerinde çalışıyorsanız – ve şanslıysanız – sihir oluşur.”
Uszkoreit ve ünlü babası arasında da sihirli bir şeyler oldu. Tüm o akşam yemeği tartışmalarından sonra, Hans Uszkoreit’in oğlu, büyük dil modelleri inşa eden bir şirket kurduğunu bildiriyor. Tabii ki dönüştürücüler kullanılarak.
Etiketlendi:
- Yapay Zeka
Ne düşünüyorsunuz?
Fikrini bilmek güzel. Yorum bırakın.