A. Boiarov, K. Khabarlak e I. Yastrebov, Conferencia Internacional sobre Procesamiento Neuronal de la Información, 2023
Los métodos de metaaprendizaje tienen como objetivo construir algoritmos de aprendizaje capaces de adaptarse rápidamente a nuevas tareas en régimen de bajos datos. Uno de los puntos de referencia más difíciles de este tipo de algoritmos es el problema de aprendizaje de una sola vez. En este contexto, muchos algoritmos se enfrentan a incertidumbres asociadas a una cantidad limitada de muestras de entrenamiento, lo que puede dar lugar a un sobreajuste. Este problema puede resolverse proporcionando información adicional al modelo. Una de las formas más eficaces de hacerlo es el aprendizaje multitarea.
En este artículo investigamos la modificación de un proceso estándar de metaaprendizaje. El método propuesto utiliza simultáneamente información de varias tareas de metaformación en una función de pérdida común. El impacto de estas tareas en la función de pérdidas se controla mediante un peso por tarea. Una optimización adecuada de los pesos puede tener una gran influencia en el entrenamiento y en la calidad final del modelo. Proponemos e investigamos el uso de métodos de la familia de la Aproximación Estocástica por Perturbación Simultánea (SPSA) para la optimización de los pesos de las tareas de meta-entrenamiento. También demostramos la superioridad de la aproximación estocástica en comparación con el método basado en el gradiente.
La Modificación Multitarea propuesta puede aplicarse a casi todos los métodos de meta-aprendizaje. Estudiamos las aplicaciones de esta modificación en los algoritmos de Meta-Aprendizaje Diagnóstico por Modelos y Redes Prototípicas en los benchmarks de aprendizaje one-shot CIFAR-FS, FC100, miniImageNet y tieredImageNet. Durante estos experimentos, la Modificación Multitarea ha demostrado una mejora con respecto a los métodos originales. El algoritmo SPSA-Tracking, adaptado por primera vez en este artículo para la optimización de pesos multitarea, muestra el mayor aumento de precisión, competitivo con los métodos de metaaprendizaje más avanzados.