Δ-Mem: Memoria en Línea Eficiente para Modelos de Lenguaje Grande

Δ-Mem: Memoria en Línea Eficiente para Modelos de Lenguaje Grande

Resumen

Los modelos de lenguaje grandes han alcanzado el mejoramiento del estado del arte en diversas tareas de procesamiento de lenguaje natural. Sin embargo, su gran footprint de memoria hace que sean difíciles de desplegar en dispositivos con recursos limitados. En este artículo, proponemos un nuevo enfoque de memoria eficiente para modelos de lenguaje grandes, que llamamos Δ-Mem. Δ-Mem reduce el footprint de memoria de los modelos de lenguaje grandes utilizando un esquema de asignación de memoria en línea innovativo. Nuestros experimentos muestran que Δ-Mem alcanza ahorros significativos de memoria mientras mantiene la precisión de los modelos de lenguaje grandes.