Apple, sanal asistanı Siri’ye “dudak okuma” gibi özel bir yetenek kazandırmayı hedefliyor. Şirketin yeni patent başvurusu, hareket verilerini bir kelime veya cümleyle eşleşip eşleşmediğini belirleyen bir sistem tasarlıyor.

Bu patent, Apple’ın muhtemelen bu teknolojiyi başarmak için bir makine öğrenimi modeli geliştirmesi gerekeceğini ortaya koyuyor. Dudak okuma yeteneğini aktif hale getirebilmek için, Apple’ın bir “makine öğrenimi modeli” üzerinde çalışması gerekecek.

 Apple, tescilli bir dudak okuma programı üzerinde çalıştığını gösteren yeni bir patent başvurusu yapmıştır. Ocak ayında yapılan bu başvuru, hareket verilerinin kelime veya cümlelerle eşleşip eşleşmediğini belirleyen bir sistemi tanımlamaktadır. Patent, Siri gibi mevcut ses tanıma sistemlerinde yaşanan bazı zorluklara değinerek, seslerin arka plan gürültüsüyle bozulabileceğini ve sürekli olarak sesleri izleyen diğer sensörlerin fazla pil ve işlem gücü tüketeceğini ifade etmektedir.

Bu dudak okuma programının, cihazın kamerasını kullanmak yerine, telefonun hareket sensörlerinden birini kullanarak ağız, boynuz veya başın kaydedilmesini önermektedir. Ardından, insan konuşmasına işaret edip etmediğini belirlemek için bu hareketler analiz edilecektir. Özellikle “Hey Siri”, “go to” veya “next song” gibi basit sesli komutların bu algoritma sayesinde kullanıcıların ağız hareketleriyle nasıl geliştirilebileceği patentte ele alınan konular arasında yer almaktadır.

Apple’ın belirttiği gibi, bu hareket sensörleri sayesinde mikrofona kıyasla istenmeyen uyaranlarla bozulma olasılığı daha düşük olacaktır. Ayrıca, bu teknolojinin sadece telefonlarda değil, AirPods ve potansiyel olarak akıllı gözlükler gibi diğer cihazlarda da kullanılabileceği belirtilmektedir. Patentte, cihazların ince yüz kaslarını, titreşimleri veya baş hareketlerini algılayabileceği vurgulanmaktadır. Bu bağlamda, Apple’ın akıllı Vision Pro gözlüğünün bu alanda dikkate değer bir aday olabileceği ifade edilmektedir.

Bu yeni teknolojiyi başaralı kılmak için Apple’ın, muhtemelen bir makine öğrenimi modeli geliştirmesi gerekecektir. Patent, modelin eğitilmesi için örnek veri kümelerine ihtiyaç duyulduğunu ve bir “ilk dil modeli” üzerinde çalışılması gerektiğini belirtmektedir. Bu sayede, kullanıcı deneyimini daha da geliştirerek, ses tanıma sistemlerindeki mevcut sorunları aşmayı hedeflemektedir. Ancak, patentin ne zaman uygulanabilir bir ürün olarak piyasaya çıkacağı ve başvurulduğu tarihten bu yana yaşanan gelişmeler hakkında elimizdeki bilgiler sınırlıdır.