Eine Analyse der Modellierungsfähigkeiten von ChatGPT
Oliver Straser und Chrissi Fischer
Seit der Veröffentlichung von ChatGPT-3 im November 2022 hat sich unsere Welt grundlegend verändert. Eine künstliche Intelligenz, die scheinbar die menschliche Sprache versteht, erstellt auf Anfrage selbstständig Texte und Bilder. Aber ist ChatGPT auch ein*e gute*r Mathematiker*in?
Dieser Frage sind vier mit ICSE assoziierte Wissenschaftler*innen, Carina Spreitzer, Stephan Zehetmeier (beide Universität Klagenfurt), Oliver Straser und Katja Maaß (beide Pädagogische Hochschule Freiburg), in ihrem kürzlich veröffentlichten Artikel „Mathematical Modelling Abilities of Artificial Intelligence Tools: The Case of ChatGPT“ nachgegangen.
Foto: Oliver Straser
Ist Chat GPT ein*e gute*r Mathematiker*in?
Ihre Antwort auf diese Frage lautet: im Allgemeinen nein. Aber ganz so einfach ist es nicht. ChatGPT schneidet im Mathe-SAT, einem Teil des amerikanischen Zulassungstests für Universitäten, außergewöhnlich gut ab (89. Perzentil im Vergleich zu den Lösungen der Student*innen). Dennoch sollte dieses Ergebnis nicht überbewertet werden (zum Vergleich: Student*innen an der Eliteuniversität Harvard beginnen in der Regel mit dem 90sten Perzentil).
Selbst bei einfachen Modellierungsaufgaben scheint ChatGPT Schwierigkeiten zu haben. Der Kontext der Aufgabe wird oft nicht verstanden, vor allem, wenn der Aufgabentext keine allgemeinen Informationen enthält (z. B. wie viele Fahrspuren eine Autobahn hat). Außerdem scheint die Lösung auf der Grundlage von prägnanten Begriffen im Aufgabentext und nicht auf der Grundlage des Aufgabeninhalts ausgewählt zu werden. Bestimmte Wörter im Aufgabentext können daher ChatGPT dazu „verleiten“, falsche Lösungswege auszuwählen. Beispiele dafür finden Sie im vollständigen Artikel unter https://www.mdpi.com/2227-7102/14/7/698.
Die Schwächen der KI für den Mathematikunterricht nutzen
Im Großen und Ganzen gilt, dass komplexe mathematische Probleme, insbesondere Argumentieren und Beweisen, für ChatGPT eine große Herausforderung darstellen. Zwar zeigen neuere Versionen von ChatGPT deutlich bessere mathematische Fähigkeiten als die älteren, allerdings weisen alle Versionen bisher ähnliche Fehlermuster auf. Diese Schwächen bieten aber auch Chancen für den Unterricht: Schüler*innen können die von ChatGPT erstellten Lösungen analysieren. Die typischen Fehlermuster bieten nicht nur die Gelegenheit, die Möglichkeiten und Grenzen dieser Technologie zu verstehen, sondern auch zu lernen, wie große Sprachmodelle im Allgemeinen funktionieren.
Es ist unmöglich, vorherzusagen, wie sich diese oder ähnliche Technologien in Zukunft weiter entwickeln werden. OpenAI, das Unternehmen hinter ChatGPT, hat bereits angekündigt, dass die nächste Generation über eine Intelligenz verfügen wird, die mit der eines promovierten Menschen vergleichbar ist. Was das im Einzelnen bedeutet, bleibt jedoch abzuwarten.
Wenn Sie mit uns im Gespräch bleiben und weiterhin lernen und bewerten möchten, was ChatGPT für die MINT-Bildung zu bieten hat, melden Sie sich für unseren Newsletter an. In verschiedenen Formaten, wie 1h4teachers, beschäftigen wir uns immer wieder mit dem faszinierenden Potenzial von KI.
Foto: ChatGPT
Quelle
Spreitzer C, Straser O, Zehetmeier S, Maaß K. (2024). Mathematical Modelling Abilities of Artificial Intelligence Tools: The Case of ChatGPT. Education Sciences; 14(7):698. https://doi.org/10.3390/educsci14070698
