Deutschtest: So schlägt sich die Künstliche Intelligenz bei der Zürcher Gymi-Prüfung

Das Forschungsunternehmen Open AI sorgt mit seinem neusten Chat-Bot für viel Aufsehen. Der ChatGPT 3.0 kann Liedtexte schreiben oder Programmiersprache analysieren und auch in den Klassenzimmern hält er Einzug. Ist er auch fähig, die Gymi-Prüfung mit einer genügenden Note abzuschliessen? Wir möchten die aktuellen Grenzen des KI-Systems testen und lassen es zum Deutschtest antreten.

Als Vorlage dient die Sprachprüfung für Langzeitgymnasien des Kantons Zürich aus dem Jahr 2022. In diesem Teil der Prüfung müssen ein Text analysiert und Fragen dazu beantwortet werden. Einige beziehen sich auf den Inhalt, andere sind grammatikalischer Natur. Der Text erzählt die Geschichte eines geizigen Kaufmanns und eines knausrigen Doktors. Wir stellen der KI jeweils eine Frage und kopieren den gesamten Text unter die Fragestellung. 

Die KI braucht etwa drei Sekunden, um die, in diesem Fall, korrekte Antwort zu generieren. Solche Fragen sind für die KI kein Problem. Auch die Gemeinsamkeit oder den Unterschied zwischen den Begriffen «Geiz» und «Sparsamkeit» kann die KI innert Sekunden perfekt erläutern: «Geiz und Sparsamkeit haben beide das gemeinsame Ziel, Geld und andere Ressourcen zu sparen.» Ihre Stärke zeigt sich auch bei der Umwandlung von Wortbausteinen, um die gegenteilige Bedeutung auszudrücken. Sogar dann, wenn man Teile der Fragestellung und Beispiele entfernt.

Etwas schwieriger wird es, wenn die KI Verben konjugieren oder Bezugswörter finden soll. So zumindest beim ersten Versuch. Anstatt die gefragten Verben zu konjugieren, macht sie Beispielsätze. In der Prüfung muss eine Tabelle ausgefüllt werden. In der ersten Spalte steht die Grundform, in der zweiten und dritten Spalte eine konjugierte Form des Verbs. Die Tabelle kann sie nicht korrekt ausfüllen, deshalb ändern wir die Fragestellung, wie auf dem Screenshot unten zu sehen ist. Das Ergebnis: Die KI erstellt eine fehlerlose Tabelle.

Die Antworten der KI lassen wir im Anschluss von Philippe Wampfler, Deutschlehrer und Experte für Lernen mit Neuen Medien, korrigieren. Das Ergebnis ist ernüchternd: 18 Punkte, Note 2,25.  Für dieses Ergebnis gibt es laut Wampfler einen klaren Grund: «Man muss sich überlegen, wie man der KI die Aufgaben füttert. Versteht sie die Aufgabe, kann sie deutlich besser abschneiden.»

Ein zweiter Versuch, nur ein paar Stunden später, fällt schon deutlich besser aus. Und bei weiteren Prüfungsaufgaben wie dem Deutsch-Aufsatz würde die KI laut Philipp Wampfler bessere Noten erzielen: «Ich habe sie Aufsätze schreiben lassen, dort kann sie bei der richtigen Themenwahl eine 5,5 oder sogar eine 6 erzielen.» Bei einem weiteren Versuch würde die KI mit der richtigen Eingabe der Fragen wohl auch die Sprachprüfung bestehen.

Philippe Wampfler ist beeindruckt von den Fähigkeiten der KI. Er nutzt sie bereits in einer Testphase, um Aufsätze seiner Schüler und Schülerinnen korrigieren lassen: «Sie gibt sehr gutes Feedback und kann sogar sinnvoll Punkte verteilen.» 

An Unis und Gymnasien ist die KI bereits omnipräsent. Philippe Wampfler legt Lehrpersonen ans Herz, sie spielerisch und sinnvoll zu adaptieren und Schüler und Schülerinnen zu sensibilisieren. Bereits jetzt bestehen Überlegungen, Prüfungen wieder von Hand schreiben zu lassen oder zusätzliche mündliche Prüfungen durchzuführen, um sicherzustellen, dass sie nicht von einer KI verfasst wurden.