A. Boiarov, K. Khabarlak e I. Yastrebov, Conferenza internazionale sull'elaborazione dell'informazione neurale, 2023.
I metodi di meta-apprendimento mirano a costruire algoritmi di apprendimento in grado di adattarsi rapidamente a nuovi compiti in un regime di dati ridotto. Uno dei benchmark più difficili per tali algoritmi è il problema dell'apprendimento one-shot. In questo contesto, molti algoritmi devono affrontare le incertezze associate a una quantità limitata di campioni di addestramento, che possono portare a un overfitting. Questo problema può essere risolto fornendo informazioni aggiuntive al modello. Uno dei modi più efficienti per farlo è l'apprendimento multi-task.
In questo lavoro studiamo la modifica di una pipeline di meta-apprendimento standard. Il metodo proposto utilizza simultaneamente le informazioni provenienti da diversi compiti di meta-apprendimento in una funzione di perdita comune. L'impatto di questi compiti nella funzione di perdita è controllato da un peso per compito. La corretta ottimizzazione dei pesi può avere una grande influenza sulla formazione e sulla qualità finale del modello. Proponiamo e studiamo l'uso di metodi della famiglia della Simultaneous Perturbation Stochastic Approximation (SPSA) per l'ottimizzazione dei pesi dei compiti di metatraining. Dimostriamo inoltre la superiorità dell'approssimazione stocastica rispetto al metodo basato sul gradiente.
La modifica Multi-Task proposta può essere applicata a quasi tutti i metodi di meta-apprendimento. Abbiamo studiato le applicazioni di questa modifica agli algoritmi Model-Agnostic Meta-Learning e Prototypical Network su benchmark di apprendimento one-shot CIFAR-FS, FC100, miniImageNet e tieredImageNet. Durante questi esperimenti, la Multi-Task Modification ha dimostrato un miglioramento rispetto ai metodi originali. L'algoritmo SPSA-Tracking, adattato per la prima volta in questo lavoro per l'ottimizzazione dei pesi multi-task, mostra il maggiore incremento di accuratezza, competitivo con i metodi di meta-apprendimento più avanzati.