Δ-Mem: Effiziente Online-Speicher für große Sprachmodelle

Δ-Mem: Effiziente Online-Speicher für große Sprachmodelle

Zusammenfassung

Große Sprachmodelle haben den Stand der Technik in verschiedenen Aufgaben der natürlichen Sprachverarbeitung erreicht. Allerdings macht ihr großer Speicherbedarf es schwierig, sie auf Ressourcenbeschränkten Geräten zu deployen. In diesem Artikel schlagen wir ein neues Ansatz für effiziente Online-Speicher für große Sprachmodelle vor, das wir Δ-Mem nennen. Δ-Mem reduziert den Speicherbedarf von großen Sprachmodellen, indem es ein innovatives Online-Speicheralgorithmus verwendet. Unsere Experimente zeigen, dass Δ-Mem signifikante Speicherersparnisse erreicht, während die Genauigkeit von großen Sprachmodellen erhalten bleibt.