GPT steht für Generative Pre-Trained Transformer. Die Abkürzung ist den meisten sicher bekannt aus dem Namen des KI-Bots ChatGPT von OpenAI, wobei Chat nichts anderes als Gespräch bedeutet. “Generativ” meint in diesem Zusammenhang, dass der KI-Engine selbständig Texte, Programm Code, und anderen, textbasierten Output erzeugen kann. Manche dieser Engines, wie Dall-E, Midjourney oder NightCafe, sind spezialisiert auf die Erzeugung von Bildern auf Basis von Texteingaben. In diesem Falle spricht man von Text-to-Image Tools, im Gegensatz zu Text-to-Text.
Der Begriff “Pre-Trained” bezieht sich darauf, dass die KI mittels sehr großer Datenmengen vortrainiert wurde. Diese Daten entstammen z.B. Webseiten (s. dazu Common Crawl), Büchern und anderen Texten. Einen Direktzugriff in Echtzeit auf Internetdaten gibt es aus einer Reihe von guten Gründen, wie z.B. Qualitätssicherung oder Datenschutz, in der Regel nicht. Das Ziel ist, der Software ein möglichst gutes Verständnis von menschlicher Sprache beizubringen. Im Anschluss an dieses allgemeine Training kann sie weiter für spezielle Fachanwendungen, wie etwa Medizin, Literatur oder Recht mit Daten ausgestattet und geschult werden.
“Transformer” bezieht sich auf einen bestimmten Typus von neuronaler Netzwerkarchitektur. Vereinfacht ausgedrückt sorgt er dafür, dass die Inhalte der Datenbasis einer KI in sinnvolle Antworten auf die Anfragen der Nutzer transformiert werden. Die Hauptkomponente eines Transformers besteht darin, dass er die einzelnen Knoten des Netzwerkes im Hinblick auf ihre Relevanz für die Antwort gewichtet und mit einer statistischen “Voreingenommenheit” (engl. Bias) versieht. Die Knoten sind also nichts anderes als komplexe mathematische Konstrukte.