Simultaneous perturbation method for multi-task weight optimization in one-shot meta-learning
11 Ekim, 2023
A. Boiarov, K. Khabarlak ve I. Yastrebov., Uluslararası sinirsel bilgi işleme konferansı, 2023
Meta-öğrenme yöntemleri, düşük veri rejiminde yeni görevlere hızla uyum sağlayabilen öğrenme algoritmaları oluşturmayı amaçlar. Bu tür algoritmaların en zorlayıcı kıyaslamalarından biri tek örnekli öğrenme problemidir. Bu durumda birçok algoritma, sınırlı sayıda eğitim örneği ile ilişkili belirsizliklerle karşılaşır, bu da aşırı uyumlanmaya neden olabilir. Bu sorun, modele ek bilgi sağlanarak çözülebilir. Bunu yapmanın en etkili yollarından biri çoklu görev öğrenmesidir.
Bild
Bu makalede, standart bir meta-öğrenme hattının modifikasyonunu inceliyoruz. Önerilen yöntem, ortak bir kayıp fonksiyonunda birkaç meta-eğitim görevinden gelen bilgiyi eşzamanlı olarak kullanır. Kayıp fonksiyonundaki bu görevlerin etkisi, görev başına bir ağırlık ile kontrol edilir. Ağırlıkların doğru optimizasyonu, eğitime ve modelin nihai kalitesine büyük etki yapabilir. Meta-eğitim görev ağırlıklarının optimizasyonu için Eşzamanlı Pertürbasyon Stokastik Yaklaşım (SPSA) ailesinden yöntemlerin kullanımını öneriyor ve inceliyoruz. Ayrıca stokastik yaklaşımın, gradyan tabanlı yöntemle karşılaştırıldığında üstünlüğünü gösteriyoruz.
Önerilen Çoklu Görev Modifikasyonu, neredeyse tüm meta-öğrenme yöntemlerine uygulanabilir. Bu modifikasyonun Model-Agnostik Meta-Öğrenme ve Prototipik Ağ algoritmaları üzerindeki uygulamalarını CIFAR-FS, FC100, miniImageNet ve tieredImageNet tek örnekli öğrenme kıyaslamalarında inceliyoruz. Bu deneyler sırasında Çoklu Görev Modifikasyonu, orijinal yöntemlere göre iyileşme göstermiştir. Bu makalede ilk kez çoklu görev ağırlık optimizasyonu için uyarlanan SPSA-İzleme algoritması, en büyük doğruluk artışını göstererek en son meta-öğrenme yöntemleriyle rekabetçi bir hale gelmiştir.
