Schachmatt

ChatGPT verliert Schachduell gegen Retro-Computer aus dem Jahr 1977

ChatGPT und andere Large Language Models (LLMs) scheinen heutzutage beinahe alles zu können – zumindest auf den ersten Blick. Doch wie ein aktuelles Experiment des Citrix-Entwicklers Robert J.R. Caruso zeigt, kommt selbst moderne Künstliche Intelligenz (KI) schnell an ihre Grenzen – etwa wenn es um ein komplexes Strategiespiel wie Schach geht. Und unterliegt dabei einem fast 50 Jahre alten Computer.

ChatGPT verwechselte Figuren und verlor Überblick

Konkret hat Caruso für sein Experiment ChatGPT gegen eine emulierte Version des Schachcomputers auf dem Atari 2600 antreten lassen – dabei handelt es sich um einen Computer aus dem Jahr 1977. Der Entwickler präsentierte dem KI-Modell jeweils ein Bild des Schachprogramms, anhand dessen es seine nächsten Züge planen sollte. Nach rund 90 Minuten musste sich ChatGPT aber schließlich geschlagen geben: Die KI war dem fast 50 Jahre alten Schachcomputer haushoch unterlegen – und das, obwohl der Atari 2600 lediglich ein bis zwei Züge vorausdenken kann.

"90 Minuten lang musste ich ihn davon abhalten, schreckliche Züge zu machen, und seine Brettwahrnehmung mehrmals pro Runde korrigieren", schrieb der Entwickler in einem LinkedIn-Post. "Obwohl ChatGPT ein grundlegendes Brettlayout zur Identifizierung von Figuren erhielt, verwechselte die KI Türme mit Läufern, übersah Bauerngabeln und verlor wiederholt den Überblick darüber, wo sich Figuren befanden – zuerst wurden die Atari-Symbole als zu abstrakt beschuldigt, um sie zu erkennen, und erging es dann auch nach der Umstellung auf die Standard-Schachnotation nicht besser. Er machte genug Fehler, um von einem Schachclub der 3. Klasse ausgelacht zu werden." Dabei habe die KI immer wieder versprochen, sich zu verbessern, "wenn wir einfach von vorne anfangen würden", so Caruso. Schließlich habe ChatGPT aber selbst eingesehen, dass es geschlagen wurde, und habe "mit gesenktem Kopf" aufgegeben. 

LLMs nicht fürs Schachspielen ausgelegt

Aber warum schlug sich die KI derart schlecht im Duell mit dem Retro-Computer? Nun ja, LLMs können zwar Informationen zusammenfassen, Texte generieren und vieles mehr, aber im Schachspiel oder etwa auch beim Berechnen von Mathematikaufgaben sind sie nicht sonderlich zuverlässig. Während ein dezidiertes Schachprogramm, wie jenes des Atari 2600, ein internes Modell des Spielbretts hat und die Regeln haargenau kennt, weiß ein LLM nicht wirklich, wo welche Figur steht – vielmehr halluziniert es den Zustand des Spiels basierend auf dem Textverlauf und generiert den nächsten Zug auf Basis vorheriger Wörter (Tokens). Das ist wie Schachspielen, indem man sich daran erinnert, was andere in ähnlicher Lage gemacht haben – statt selbst zu berechnen, was klug wäre. Dies kann oftmals zu illegalen Zügen, Figurenverwechslungen oder Ähnlichem führen.