Dil Modelleri Kendi Ağırlıklarını Yeniden Yazıyor ~ İbrahim Kaya
×
Yapay Zeka

Dil Modelleri Kendi Ağırlıklarını Yeniden Yazıyor

İbrahim Kaya Yayınlanma: Güncelleme: 3 dk okuma
Dil Modelleri Kendi Ağırlıklarını Yeniden Yazıyor
İçindekiler

Standart derin öğrenme iş akışlarında dil modelleri büyük veri kümeleriyle eğitilir ve parametreleri dondurulur. Modelin mantık yürütme performansını artırmak için genellikle ince ayar (fine-tuning) yapılır veya çıkarım anında ek hesaplama gücü harcanır. arXiv üzerinde yayımlanan yeni bir çalışma ise farklı bir yöntemi sınıyor: self-rewriting (kendi ağırlıklarını yeniden yazma).

Gradyansız optimizasyon ve modelin parametre düzenlemesi

Bu yaklaşımda model, geriye yayılım (backpropagation) veya gradyan hesaplamalarına girmeden doğrudan kendi ağırlık matrislerini inceliyor. Açık ağırlıklı 27 milyar parametreli bir modelle yapılan testlerde sistem, ürettiği hatalı yanıtları analiz etti ve bu hatalara yol açan parametreleri mantıksal çıkarım adımlarıyla güncelledi.

Deneylerde öne çıkan sonuçlar şunlar:

  • Model, daha önce görmediği test kümelerindeki doğruluk oranını 6.6 puan artırdı.
  • Ağırlık değişikliklerini önce deneme sorularında çalıştırdı ve yalnızca performansı artıran düzenlemeleri kaydetti.
  • Sekiz ardışık düzenleme turu boyunca modelin başarımında gerileme görülmedi.
Python Mantıksal Akış Özeti
# Modelin kendi ağırlıklarını doğrudan güncelleme döngüsü
weights = model.get_parameters()
failure_analysis = model.diagnose(task_output, ground_truth=False)
updated_weights = model.reason_and_rewrite(weights, failure_analysis)

# Doğrulama ve kalıcı yazım
if model.evaluate_candidate(updated_weights):
    model.apply_weights(updated_weights)

Hasarlı ağırlıkları onarma ve model ölçeği

Araştırmacılar yöntemi test etmek için modelin ağırlıklarını kasıtlı olarak bozdu. Temel görevleri yerine getiremeyecek hale gelen bu kopya, orijinal ağırlık dosyalarına erişimi olmadan ve sıfırdan eğitilmeden parametrelerini düzenledi. Sonuçta orijinal doğruluğunun %80'inden fazlasını geri kazandı.

Bu onarım davranışı parametre sayısı yüksek modellerde görüldü; modelin parametre boyutu küçüldükçe ortaya çıkan bir emergent property (beliren yetenek) niteliği taşıyor. Aynı model ailesinin küçük sürümleri ağırlıklarını değiştirmeyi denediğinde ya hiçbir etki elde edemedi ya da çalışma yapısını tamamen bozdu. Yalnızca 27 milyar parametreli sürüm parametre matrislerini tutarlı şekilde düzenleyebildi.

Eğitim ve çıkarım ayrımı

Çıkarım anında ek mantık yürütme adımları kullanan yöntemler her sorguda tekrar hesaplama maliyeti çıkarır. Bu teknikte yapılan düzenlemeler ise doğrudan ağırlıklara işleniyor. Bütün süreç standart ileri beslemeli geçişlerle (forward pass) yürütüldüğü için standart çıkarım sunucularında çalıştırılabiliyor.

Araştırma, eğitim ile çıkarım arasındaki kesin ayrımın mimari bir zorunluluktan çok mevcut araçların getirdiği bir alışkanlık olduğunu öne sürüyor. Doğrudan parametre düzenleme, sistemlerin kendi yapısını dışarıdan müdahale olmadan iyileştirdiği özyinelemeli kendini geliştirme (recursive self-improvement) çalışmaları için somut bir veri sunuyor.