A. Boiarov, K. Khabarlak et I. Yastrebov, International conference on neural information processing, 2023
Les méthodes de méta-apprentissage visent à construire des algorithmes d'apprentissage capables de s'adapter rapidement à de nouvelles tâches dans un régime de faibles données. L'un des points de référence les plus difficiles pour ces algorithmes est le problème de l'apprentissage à un coup. Dans ce contexte, de nombreux algorithmes sont confrontés à des incertitudes associées à une quantité limitée d'échantillons d'apprentissage, ce qui peut entraîner un surajustement. Ce problème peut être résolu en fournissant des informations supplémentaires au modèle. L'apprentissage multitâche est l'une des méthodes les plus efficaces pour y parvenir.
Dans cet article, nous étudions la modification d'un pipeline de méta-apprentissage standard. La méthode proposée utilise simultanément des informations provenant de plusieurs tâches de méta-apprentissage dans une fonction de perte commune. L'impact de ces tâches dans la fonction de perte est contrôlé par un poids par tâche. L'optimisation correcte des poids peut avoir une grande influence sur la formation et la qualité finale du modèle. Nous proposons et étudions l'utilisation de méthodes de la famille de l'approximation stochastique à perturbation simultanée (SPSA) pour l'optimisation des poids des tâches de méta-entraînement. Nous démontrons également la supériorité de l'approximation stochastique par rapport à la méthode basée sur le gradient.
La modification multitâche proposée peut être appliquée à presque toutes les méthodes de méta-apprentissage. Nous étudions les applications de cette modification aux algorithmes de méta-apprentissage agnostique et de réseau prototypique sur les benchmarks d'apprentissage one-shot CIFAR-FS, FC100, miniImageNet et tieredImageNet. Au cours de ces expériences, la modification multitâche a démontré une amélioration par rapport aux méthodes originales. L'algorithme SPSA-Tracking, adapté pour la première fois dans cet article pour l'optimisation des poids multi-tâches, présente l'augmentation de précision la plus importante, compétitive par rapport aux méthodes de méta-apprentissage les plus récentes.