Destillation
Bei der Destillation dient ein großes Modell als Lehrer. Ein kleineres Modell, der Schüler, wird darauf trainiert, die Ausgaben des Lehrers nachzubilden. Das kleine Modell erreicht so einen großen Teil der Leistung, braucht aber deutlich weniger Rechenleistung.
Das Verfahren wurde 2015 von Geoffrey Hinton und Kollegen beschrieben. Es erklärt, warum es heute zu fast jedem großen Modell schnelle und günstige Varianten gibt, etwa mit den Namenszusätzen Mini, Flash oder Small.
Grenze: Das kleine Modell kann nur lernen, was der Lehrer zeigt. Bei seltenen oder sehr anspruchsvollen Aufgaben bleibt es meist hinter dem großen Modell zurück.
Beispiel
Ein Unternehmen nutzt für die Sortierung eingehender E-Mails ein Mini-Modell statt des großen Modells. Die Ergebnisse sind fast gleich gut, die Kosten liegen bei einem Bruchteil.