Δ-Mem: Memoria Efficiente Online per Modelli di Lingua Grande

Δ-Mem: Memoria Efficiente Online per Modelli di Lingua Grande

Abstract

I modelli di lingua grandi hanno raggiunto il miglioramento dello stato dell'arte in varie attività di elaborazione del linguaggio naturale. Tuttavia, il loro grande footprint di memoria rende difficile il loro deployment su dispositivi con risorse limitate. In questo articolo, proponiamo un nuovo approccio di memoria efficiente per modelli di lingua grandi, che chiamiamo Δ-Mem. Δ-Mem riduce il footprint di memoria dei modelli di lingua grandi utilizzando uno schema di allocazione di memoria online innovativo. I nostri esperimenti mostrano che Δ-Mem raggiunge risparmi significativi di memoria mentre mantiene l'accuratezza dei modelli di lingua grandi.