A. Boiarov, K. Khabarlak und I. Yastrebov, International conference on neural information processing, 2023
Meta-Lernmethoden zielen darauf ab, Lernalgorithmen zu entwickeln, die in der Lage sind, sich schnell an neue Aufgaben mit geringen Datenmengen anzupassen. Einer der schwierigsten Benchmarks für solche Algorithmen ist ein One-Shot-Lernproblem. In diesem Umfeld sind viele Algorithmen mit Unsicherheiten konfrontiert, die mit einer begrenzten Anzahl von Trainingsbeispielen zusammenhängen, was zu einer Überanpassung führen kann. Dieses Problem kann durch die Bereitstellung zusätzlicher Informationen für das Modell behoben werden. Eine der effizientesten Methoden hierfür ist das Multi-Task-Lernen.
In diesem Papier untersuchen wir die Modifikation einer Standard-Meta-Learning-Pipeline. Bei der vorgeschlagenen Methode werden Informationen aus mehreren Meta-Trainingsaufgaben gleichzeitig in einer gemeinsamen Verlustfunktion verwendet. Der Einfluss dieser Aufgaben auf die Verlustfunktion wird durch eine Gewichtung pro Aufgabe gesteuert. Die richtige Optimierung der Gewichte kann einen großen Einfluss auf das Training und die endgültige Qualität des Modells haben. Wir schlagen Methoden aus der Familie der Simultanen Stochastischen Approximation (SPSA) zur Optimierung der Gewichte der Meta-Trainingsaufgaben vor und untersuchen sie. Wir zeigen auch die Überlegenheit der stochastischen Approximation im Vergleich zu gradientenbasierten Methoden.
Die vorgeschlagene Multi-Task-Modifikation kann auf fast alle Meta-Learning-Methoden angewendet werden. Wir untersuchen die Anwendung dieser Modifikation auf Model-Agnostic Meta-Learning und Prototypical Network Algorithmen auf CIFAR-FS, FC100, miniImageNet und tieredImageNet one-shot learning benchmarks. Bei diesen Experimenten hat die Multi-Task-Modifikation Verbesserungen gegenüber den ursprünglichen Methoden gezeigt. Der SPSA-Tracking-Algorithmus, der in dieser Arbeit erstmals für die Multi-Task-Gewichtsoptimierung angepasst wurde, zeigt den größten Genauigkeitszuwachs, der mit den modernsten Meta-Lernmethoden konkurrenzfähig ist.