Prompt-Engineering für generative KI

LLMs lernen aus riesigen Datenmengen, Texte wie menschengemacht aussehen zu lassen.

In den letzten Jahren lag der Schwerpunkt der KI-Forschung auf sogenannten Large Language Models, kurz LLMs. Diese Modelle, zu denen auch ChatGPT gehört, werden mit riesigen Datenmengen trainiert. Dafür komprimieren die Modelle linguistische Elemente unterschiedlicher Länge, also zum Beispiel Silben, Wörter oder ganze Sätze, zu sogenannten Tokens. Je mehr Daten eine KI bei ihrem Training erhält, desto mehr Tokens kennt sie.

Die KI verbindet die Bedeutung und die Struktur der Tokens und verwandelt sie in sogenannte Vektoren – mathematische Werte, die angeben, wie und wo das Token typischerweise verwendet wird. So entsteht das, was man Transformationsarchitektur nennt. LLM-Modelle wie ChatGPT werden dabei zuerst mit riesigen Datenmengen trainiert, um ein breites und flexibles Verständnis von Sprache zu erzeugen. Anschließend erfolgt die Feinabstimmung, bei der das Modell auf spezifischere Aufgaben und Bereiche spezialisiert wird.

Eine KI erhält zuerst eine Art Allgemeinbildung. Dann muss sie auf einen bestimmten Job spezialisiert...