Zur Messung von Sprachverständnis gibt es den sogenannten General Language Understanding Evaluation (GLUE) Benchmark: Der Ausgangswert für den Menschen liegt bei 87, und zwischen Mai 2018 und August 2020 haben sich KI-Systeme zur Verarbeitung natürlicher Sprache von 60 auf 90,6 verbessert und damit bereits den Menschen übertroffen. Der SuperGLUE-Benchmark ist eine neue Messung mit schwierigeren Aufgaben zum Sprachverständnis. Ende 2021 Jahr haben KI-Modelle auch hier die menschliche Leistung übertroffen! – Vergleiche dazu den Blogpost Der „Tech Trend Report 2022“ des Future Today Instituts.
Für die Tech-Szene waren also die Fähigkeiten des Chats ChatGPT, der am 30. November 2022 gestartet ist, keine Überraschung. Wohl aber für all diejenigen, die mit diesem Chat erstmals die ganze Wucht der Veränderung durch KI direkt erfahren konnten; denn hier kann jeder (kostenlos) mit KI interagieren und deren Grenzen austesten. Das Programm formuliert auf Deutsch und Englisch korrekt, fasst Dokumente zusammen und schreibt Gedichte ebenso wie Literaturanalysen. Hier kann man sofort loslegen: https://chat.openai.com/auth/login
Hinweis: Alle Passagen in diesem Blogpost, die in ROTER Schrift formatiert sind, wurden von ChatGPT selbst verfasst
ChatGPT: Was heute schon alles geht – Textgenerierung
Was geht heute schon alles, was kann ChatGPT? Fragt man ChatGPT selbst, dann erhält man folgende Antwort:
ChatGPT ist ein leistungsfähiges Sprachmodell, das von OpenAI entwickelt wurde. Es wurde speziell für Chat- und Dialogsysteme entwickelt und kann daher gut darin sein, menschenähnliche Konversationen zu führen und auf Benutzereingaben zu antworten. ChatGPT kann auch dazu verwendet werden, Texte zu generieren, die natürlich klingen und sich gut lesen lassen. Es kann ebenfalls verwendet werden, um Fragen zu beantworten und Informationen zu liefern.
Allerdings gibt es noch viele andere Dinge, die ChatGPT tun kann, da es ein leistungsfähiges Sprachmodell ist. Es kann zum Beispiel dazu verwendet werden, Text zu analysieren und zu verstehen, um so Prozesse wie Sentimentanalyse, Themenerkennung und andere Textverarbeitungsaufgaben durchzuführen. Es könnte auch dazu verwendet werden, um menschenähnliche Übersetzungen von Texten in andere Sprachen zu erstellen. Es gibt also viele Möglichkeiten, wie ChatGPT eingesetzt werden kann.
ChatGPT drängt auch in die Domäne der Kreativität vor, die noch vor einiger Zeit als dem Menschen vorbehalten schien. ChatGPT – so lässt sich in einem Artikel in www.zeit.de nachlesen – wurde etwa vom Lernforscher Peter Gerjets (Leibniz-Institut für Wissensmedien in Tübingen) mit Gedichten von Rilke und Celan gefüttert und produzierte schließlich Gedichte in vergleichbarem Stil. Hier wiederholt sich hier, was bereits aus der Musikwelt bekannt ist: Die Electronic Musical Intelligence von David Cope wurde mit Musikstücken von Eric Satie, Vivaldi, Johann Sebastian Bach, Debussy und anderen Komponisten trainiert und produzierte schließlich eigene Kompositionen, die etwa von Bach-Kennern nicht mehr als maschinen-generiert erkennbar waren: Vgl. dazu den Blogpost Über den Mega Big Bang von Digitalisierung bei Musikproduktion und im Musikmarkt (inkl. Hörerlebnis)
ChatGPT: Was heute schon alles geht – Programmiercode
ChatGPT wurde nicht nur mit Unmengen an Textmaterial aus dem Internet (u.a. Wikipedia) trainiert, sondern auch mit dem Code Repository von GitHub, also: mit Computerprogrammen, die ja ebenfalls mit (Programmier)Sprachen geschrieben werden. ChatGPT kann folglich auch programmieren.
Es wäre übertrieben zu erwarten, dass man mithilfe von ChatGPT komplexe Software entwickeln kann; es ist aber ebenso richtig, dass sich kleinere Programme (etwa Webseiten) mithilfe von ChatGPT erstellen lassen. Und ich kenne den ein oder anderen Programmierer, der sich kleinere Programmier-Routinen bereits mithilfe von ChatGPT entwickeln lässt. Öffentlichkeitswirksam ausprobiert hat dies übrigens Keno bzw. c’t 3003 (YouTube-Video, deutsch, 10 min):
Welche Ängste löst ChatGPT aus? Wo erfordert ChatGPT ein Umdenken?
Ich habe zunächst einmal ChatGPT selbst gefragt, warum vielleicht einige Menschen Angst vor den Fähigkeiten eines solchen leistungsfähigen Sprachmodells haben könnten:
Es gibt einige Gründe, warum manche Menschen möglicherweise Angst vor den Fähigkeiten von leistungsfähigen Sprachmodellen haben. Ein Grund könnte sein, dass sie befürchten, dass solche Systeme menschenähnliche Konversationen so gut führen könnten, dass es schwer zu erkennen wäre, ob man mit einem Menschen oder einer Maschine spricht. Dies könnte dazu führen, dass Menschen das Gefühl haben, dass ihre Privatsphäre verletzt wird, wenn sie nicht wissen, mit wem sie tatsächlich sprechen.
Ein weiterer Grund könnte sein, dass Menschen sich Sorgen darüber machen, dass solche Systeme irgendwann in der Lage sein könnten, Aufgaben so gut zu erledigen, dass sie menschliche Arbeitsplätze ersetzen könnten. Dies könnte dazu führen, dass Menschen ihre Arbeitsplätze verlieren und es schwieriger wird, eine neue Arbeit zu finden.
Schließlich gibt es auch die Sorge, dass leistungsfähige Sprachmodelle missbraucht werden könnten, um Falschinformationen zu verbreiten oder Menschen zu manipulieren. Dies könnte dazu führen, dass Menschen das Vertrauen in die Informationen verlieren, die sie online finden, und dass es schwieriger wird, die Wahrheit von Lügen zu unterscheiden.
ChatGPT spricht hier einige zentrale Sorgen an, darunter das vieldiskutierte Szenario einer Wegrationalisierung von Arbeitsplätzen, die spätestens seit der Veröffentlichung von The Future of Employment vor nunmehr fast 10 Jahren (September 2013) den öffentlichen Diskurs erreicht hat: Der Buchautor, Ökonom und Wirtschaftshistoriker Carl Benedikt Frey von der Universität Oxford hatte seinerzeit mit seiner Veröffentlichung (zusammen mit Michael Osborne) die Weltöffentlichkeit aufgeschreckt; in der Studie untersucht er etwa 700 Jobprofile und kam zu dem Schluss, dass 47 Prozent der Jobs in absehbarer Zukunft automatisiert werden könnten. Es folgten Dutzende weitere Studien anderer Institutionen und Beratungshäuser.
Eine weitere Sorge: Mit wem interagieren wir eigentlich in Zukunft, wenn wir per Email, Chat, Social Media und Ähnlichem kommunizieren? Im Blogpost Die Zukunft der Computerlingustistik: Dialogautomaten, Contentflut und Social Bots Ende 2021 hatte ich bereits das Szenario skizziert, in dem Politiker oder Influencer künftig mithilfe eines digitalen Assistenten Dialoge führen lassen könnten; denn wenn es möglich ist, das Sprachmodell mit dem Stil und Argumentationslinien von Rainer Maria Rilke oder Paul Celan zu trainieren, dann ist das natürlich auch für einen Influencer oder Politiker möglich. Der persönliche, gesprochene (und persönliche) Dialog dürfte vor diesem Hintergrund in Zukunft eine ganz neue Bedeutung erlangen.
Robert Lepenies, Präsident der Karlshochschule in Karlsruhe, erklärte zudem jüngst in einem Twitter-Beitrag, dass “viele Prüfungsformen ab heute undenkbar“ würden. Die generierten Texte seien “qualitativ in den Sozialwissenschaften nicht unterscheidbar von der Arbeit der Studierenden“. Man kann erahnen, was dieses Instrument in den Händen von Schülern und Studierenden für den Unterricht und Prüfungsmethoden bedeutet, hierauf werden sich Institutionen wie Schulen und Universitäten einstellen müssen.
Wo liegen die Grenzen von ChatGPT?
Nach wie vor gilt, dass die Sprachmodelle natürlich rein gar nichts von dem verstehen, was sie produzieren. Der zugrunde liegende Mechanismus ist reine Statistik, vgl. dazu auch den Blogpost Natural Language Processing: Status Quo & Ausblick
Die produzierten Ergebnisse sind zum ganz überwiegenden Teil verwertbar, hin und wieder schleicht sich allerdings ein Lapsus ein. Ein Artikel in www.zeit.de fasst das sehr schön zusammen: “In einem Interview behauptete das Programm etwa steif und fest, eine Tonne Stahl wiege mehr als eine Tonne Nudeln. Das Programm lieferte auch gleich eine wohlklingende Begründung dafür („Stahl ist ein sehr dichtes Medium und wiegt daher mehr als Nudeln“), die aber völliger Kokoleres ist (eine Tonne wiegt schließlich immer eine Tonne). Doch um den Unterschied zwischen wahr und falsch zu erkennen, müsste das Programm den Sinn einer Texte verstehen; der aber lässt sich mithilfe statistischer Wahrscheinlichkeiten gerade nicht entschlüsseln.“
Von welcher Quelle ChatGPT sein Wissen exakt nimmt, ist nicht nachvollziehbar, dafür ist viel zu komplex, was sich im Innern des Algorithmus abspielt – eine generelle Herausforderung mit Deep Learning Modellen. Unbrauchbar wird das Tool darum aber nicht, wohl aber ist ein Schritt zur Qualitätskontrolle noch erforderlich. Die Entwickler arbeiten übrigens bereits am nächsten Release (ChatGPT 4), das in wenigen Monaten veröffentlicht werden soll.
