Sohbet Botları: Daha Akıllı Olmaları İçin Daha Fazla Zaman mı Gerekiyor?
Teknoloji trendleri genellikle hızı önceliklendirirken, yapay zeka alanındaki son trend, sohbet botlarının bilinçli bir şekilde yavaşlatılmasını içeriyor. Makine öğrenimi araştırmacıları ve OpenAI, Google gibi büyük teknoloji şirketleri, giderek daha büyük model boyutları ve eğitim veri setleri yerine “test zamanı hesaplama” adı verilen bir şeye odaklanarak stratejilerini değiştiriyorlar. Bu strateji, yapay zekaya daha fazla “düşünme” veya “akıl yürütme” için zaman tanıdığı şeklinde sıklıkla tanımlanıyor, ancak bu modeller insan beyni gibi esnek çalışmıyor. Bir yapay zeka modeline bir problem üzerinde düşünme özgürlüğü verilmiyor. Bunun yerine test zamanı hesaplama, bilgisayar sistemlerinin, yanıtlarını ara sonuçlar üzerinden çift kontrol edecekleri veya son yanıtlarına uygulanan ek algoritmalarla yapılandırılmış müdahalelerle tanıştırdığı yapılandırılmış müdahaleler getiriyor. Bu daha çok bir sınavı açık kitap yapmaya benziyor, sadece bir süreyi uzatmaktan çok farklıdır.
### Yavaşlama Stratejisi: “İkna Ölçekleme”
Yeni popülerleşen yapay zeka geliştirme stratejisinin başka bir adı da “tümevarım ölçekleme”dir. Bu strateji, daha önce eğitilmiş bir yapay zekanın yeni verileri işleyerek taze bir şekilde yönlendirilmesi sürecidir, o verinin metin oluşturmak veya spam e-postaları belirlemek gibi bir işlem gerçekleştirmesinin hızlandırılması için ek saniyelere veya dakikalara izin vererek ve programın tümevarım anındaki kritik anında ek hesaplama gücü sağlayarak, bazı yapay zeka geliştiricilerinin sohbet botu yanıtlarının doğruluğunda dramatik bir artış gördüğü gözlemlenmiştir.
### Quantitative Sorular için Önemli Bir Yardımcı
Yakın zamanda piyasaya sürülen OpenAI’nin o1 modeli, ChatGPT tarzı botları çalıştıran en son genel modeli olarak, şirketin iddiasına göre, programlama yarışmalarında kullanılan sorulara yanıt vermede ve doktora düzeyindeki fizik, biyoloji ve kimya sorularına yanıt vermede önceki modellerinden sekiz kat daha doğru yanıt veriyor. Bu iyileştirmelerin test zamanı hesaplama ve ilgili stratejilerle ilişkilendirildiği belirtiliyor. Ve henüz güvenlik testlerinden geçen ve bu ayın sonlarında piyasaya sürülmesi planlanan bir o3 adlı takip modeli, OpenAI’daki bir iletişim memuru olan Lindsay McCallum Rémy’e göre, belirli mantık sorularına yanıt vermede o1’den neredeyse üç kat daha doğru.
### Test Zamanı Hesaplama: Sürdürülebilir Bir Alternatif
Amanda Bertsch, Carnegie Mellon Üniversitesi’nde doğal dil işleme üzerine çalışan dördüncü sınıf bilgisayar bilimleri doktora öğrencisi, “En heyecan verici iyileştirmeleri gördüğümüz yerler, kod ve matematik gibi şeylerdir,” diyor. Test zamanı hesaplamanın, “daha iyi” veya “daha kötü” olarak belirtilebilen bir nesnel doğru yanıtın veya karşılaştırmanın olduğu durumlarda en çok fayda sağladığını açıklıyor. Bu strateji, büyük dil modellerini geliştirmenin yaygın yöntemlerine pratik bir alternatif sunar.
### Test Zamanı Hesaplama: Yavaşlama ve Fırsat Maliyeti
Jacob Andreas, Massachusetts Teknoloji Enstitüsü’nde bilgisayar bilimleri profesörü, “Şu anda ekstra hesaplama yapıyorsunuz ve başka hiçbir teknik özelliği paylaşmıyorlar gibi görünüyor,” diyor. “Modelleri biraz daha iyi hale getiriyor gibi görünüyorlar. Ve gerçekten bu aralarındaki ilişkileri anlamıyoruz.” Bu yöntemlerin, yavaş üretim hızları ve daha fazla hesaplama kaynağı, su ve enerji gerektirdiği ortak sınırlamaları paylaştığını belirtiyor.
### Test Zamanı Hesaplama: Enerji ve Maliyet Bakımından Dikkat Edilmesi Gerekenler
Ekin Akyürek, Massachusetts Teknoloji Enstitüsü’nde bilgisayar bilimleri doktora öğrencisi, “Belirli uygulamalar ve sorular için, çözümün ne kadar süreceğini artırmak anlamlı olmayabilir,” diyor. Karmaşık etkileşimler için bir kullanıcının, bir botun yanıtı için birkaç saniyelik bir duraksamayı umursamayabileceğini ancak temel bir diyalog için bir insanın yapay olarak uzun süre beklemek zorunda kalması durumunda bağlantısını kesebileceğini belirtiyor.
