Δ-Mem: Mémoire en Ligne Éfficiente pour les Modèles de Langue Grande

Δ-Mem: Mémoire en Ligne Éfficiente pour les Modèles de Langue Grande

Résumé

Les modèles de langue grande ont atteint l'amélioration de l'état de l'art dans diverses tâches de traitement du langage naturel. Cependant, leur grand footprint de mémoire rend difficile leur déploiement sur des appareils à ressources limitées. Dans cet article, nous proposons un nouveau cadre de mémoire éfficiente pour les modèles de langue grande, que nous appelons Δ-Mem. Δ-Mem réduit le footprint de mémoire des modèles de langue grande en utilisant un schéma de mémoire en ligne innovant. Nos expériences montrent que Δ-Mem atteint des économies de mémoire significatives tout en maintenant l'exactitude des modèles de langue grande.