Google Research, yapay zekâ modellerinde sürekli öğrenme sırasında ortaya çıkan katastrofik (yıkıcı) unutma sorununu çözmek için yenilikçi bir yöntem geliştirdi. Nested Learning adı verilen bu yöntem, insan beynindeki nöroplastisite (sinir esnekliği) özelliğinden ilham alıyor. Sistem mevcut büyük dil modelleri ile insan beyni arasındaki unutkanlık farkını kapatmayı hedefliyor.
Nested Learning Mimarisi ile Yapay Zekâda Öğrenme Yaklaşımı Değişiyor
Yıkıcı boyutta unutma sorunu, bir yapay zeka modeline yeni bilgiler eklendiğinde önceki öğrendiklerini unutması olarak tanımlanıyor. Bu durum modelin sürekli öğrenme yeteneğini önemli ölçüde kısıtlıyor. Google’ın yeni yaklaşımı, model mimarisi ve optimizasyon algoritmasını ayrı varlıklar yerine tek bir bütün olarak ele alıyor.
Nested Learning tekniği, yapay zeka modellerini daha küçük ve birbirine bağlı optimizasyon problemleri serisi olarak değerlendiriyor. Çoklu zaman ölçeği güncellemeleri adı verilen yöntemle her alt problem kendi hızında öğrenme ve bilgi güncelleme imkanı buluyor.
Bu sistem insan beynindeki nöroplastisiteyi taklit ediyor. Beynin belirli bölümleri yeni deneyimlere uyum sağlarken eski anılar silinmiyor. Tüm model tekdüze şekilde güncellenmek yerine, katmanlı ve dinamik bir sistem oluşturuluyor. Eski bilgiler korunurken yeni bilgiler entegre ediliyor.
Google Research bu prensipleri test etmek için Hope adında bir konsept modeli tasarladı. Model kendi kendini değiştirebilen tekrarlayan bir mimariye sahip. Sürekli Bellek Sistemlerini kullanan Hope, hafızayı basit kısa ve uzun vadeli depolar yerine katmanlı bir spektrum olarak ele alıyor.
Hope modeli, uzun bağlam bellek zorluklarında mevcut en iyi modelleri tutarlı şekilde geride bıraktı. İğneyi samanlıkta bulma görevlerinde büyük bir belge içine gizlenmiş küçük ayrıntıları hatırlama konusunda başarılı sonuçlar elde etti. Model genel dil modelleme görevlerinde de daha doğru ve verimli performans göstererek bu alandaki yeteneklerini kanıtladı.
Google bu gelişmelerin gelecek Gemini sürümlerinde yer almasını umuyor. Şirket bu teknolojinin bayrak taşıyan yapay zeka modeline ne zaman entegre edileceğine dair bir zaman çizelgesi paylaşmadı. Araştırmacılar Nested Learning yönteminin yapay zeka sistemlerinde sürekli öğrenmenin önündeki temel engellerden birini aşma potansiyeli taşıdığını belirtiyor. Bu gelişme özellikle dinamik veri akışlarıyla çalışan sistemler için önemli avantajlar sunabilir.
