Klimafreundliche KI senkt den Energieverbrauch von Sprachmodellen

Sprachmodelle verbrauchen enorme Mengen an Energie. Das KI-Leuchtturmprojekt RESCALE hat gezeigt: Automatische Spracherkennung kann auch mit über 90 Prozent weniger Energie die gleiche Leistung erbringen. Ein Interview mit Projektleiter Ralf Schlüter

Herr Schlüter, was hat Sie zu der Projektidee motiviert?

Große KI-Modelle wie ChatGPT, die natürliche Sprache automatisch verarbeiten, brauchen sowohl viel Energie für Rechenleistung, Training und Einsatz der Systeme als auch für die sehr großen Sprach- und Textdaten, mit denen sie trainiert werden. Weil solche Modelle heute in sehr vielen Bereichen genutzt werden, wollten wir dafür ressourcenschonende Ansätze entwickeln, um den Energieverbrauch zu senken.

Was war das Ziel dieses Leuchtturmprojektes?

RESCALE sollte zeigen, dass automatische Spracherkennung und maschinelle Übersetzung auch mit deutlich weniger Energie auskommen können. Unser konkretes Ziel war, den Verbrauch beim Training der Modelle und beim Einsatz im Alltag mindestens um mehr als 90 Prozent zu senken. Dafür wollten wir die Modelle sparsamer machen, das heißt, neue Lernmethoden entwickeln und die Abläufe beim Erkennen und Übersetzen optimieren. Außerdem wollten wir speziell für solche Aufgaben entworfene Hardware nutzen. All das sollte gelingen, ohne dass die Qualität der Ergebnisse spürbare Einbußen erleidet. 

Welche Ergebnisse konnten Sie erreichen?

Sowohl bei der Spracherkennung als auch bei der Übersetzung konnten wir den Energiebedarf um mehr als 90 Prozent senken. Bei der maschinellen Übersetzung gelang uns sogar eine noch stärkere Reduktion. Gleichzeitig blieb die Qualität stabil: Die Leistung der Energie-optimierten Systeme verringerte sich um höchstens 10 Prozent. Mit der von uns speziell entwickelten Hardware sinkt der Energieverbrauch noch weiter. Erste Prototypen werden bereits angefertigt.

Welche Herausforderungen gab es? 

Die technische Entwicklung im Bereich neuronaler Netze ist rasant. Neue Netzarchitekturen und Dekodiermodelle entstehen, alte Systeme werden besser. Und plötzlich gibt es große Sprachmodelle, die noch einmal viel mehr Ressourcen benötigen. Wir mussten also Methoden entwickeln, die mit dieser Dynamik umgehen. Wir setzten daher auf Verfahren, die Modelle automatisch verkleinern und dabei möglichst wenig Leistung verlieren. Wir haben viele Varianten getestet, klassische Systeme ebenso wie moderne End-to-End-Modelle. Diese Ansätze lassen sich auch auf große Sprachmodelle übertragen und werden nach Projektende weiterverfolgt.

Welchen Beitrag leistet RESCALE zum Umwelt- und Klimaschutz?

Automatische Sprachverarbeitung ist mittlerweile überall im Einsatz: von Smartphones bis zu professionellen Anwendungen. Damit steigen Energiebedarf und Rechenkosten stark an, weil Sprachmodelle großer Unternehmen (BigTech) den Markt dominieren. RESCALE hat gezeigt, wie man diese Technik deutlich sparsamer gestalten kann. Das ist wichtig, damit solche Systeme auch auf Geräten laufen können, die nur begrenzte Energie zur Verfügung haben, und ihr Einsatz damit klimafreundlicher wird. Das KI-Leuchtturmprojekt hat somit auch gezeigt, wie der Energieverbrauch von Consumer-AI-Apps drastisch verringert werden kann.

Können die Ergebnisse in anderen Bereichen genutzt werden?

Ja. Auch wenn wir uns auf Spracherkennung und Übersetzung konzentriert haben, lassen sich die Ansätze auf viele andere Herausforderungen der Sprachverarbeitung sowie deren Vereinheitlichung in Form großer Sprachmodelle übertragen, bei denen man Datenfolgen analysiert oder klassifiziert. Die Methoden eignen sich zudem für große, mehrere Medienarten gleichzeitig verstehende und mehrsprachige Modelle. Unsere Ergebnisse wurden international veröffentlicht und aufgegriffen. Die Community treibt damit die Entwicklung guter, effizienter Methoden gemeinsam voran.