Grenzen von Machine-Learning-Agenten

Das Urgestein NetHack gilt als eines der anspruchsvollsten Spiele aller Zeiten. Wie andere komplexe Spiele kann es ein Benchmark sein, der zeigt, wie schlau Computer im Vergleich zum Menschen schon sind. Bei der NetHack Challenge traten Machine-Learning-Agenten gegen das Spiel an. Im Interview erfährt iX, was diese Herausforderung für den Stand von Reinforcement Learning bedeutet hat.

Von Philipp Steevens

iX-tract

Bei der NetHack Challenge 2021 traten Machine-Learning-Agenten gegeneinander und gegen traditionelle, von Hand programmierte Bots an. Kein einziger Agent konnte das Spiel schlagen.
Im Interview erklären die KI-Forscher Tim Rocktäschel und Heinrich Küttler, Mitorganisatoren der letzten NetHack Challenge, warum NetHack so ein guter Maßstab für den aktuellen Stand von künstlicher Intelligenz und Deep Reinforcement Learning ist.
Bei der zweiten Siegbedingung, dem Punktesammeln, schlugen sich die von Hand programmierten Bots besser als ihre Machine-Learning-Konkurrenten.
Trotz großer Fortschritte im KI-Bereich sind die beiden Forscher überzeugt, dass es ganz neuer Ansätze bedarf, um KI zu entwicklen, die zu selbstmotiviertem Lernen und Transferleistungen imstande ist. Und in der Lage, NetHack zu schlagen.

Im Computerspiel NetHack erkunden Spieler seit 1987 in einer von dreizehn Rollen ein zufallsgeneriertes Dungeon, finden Items und bekämpfen Monster. Das Ziel dabei ist das Aufsteigen der Spielfigur. Dafür muss man ein bestimmtes Amulett finden und an einem Hochaltar der Gottheit der Spielfigur opfern. Auf dem Weg zum Aufstieg sammelt der Spieler Level und Punkte.

NetHack ist sehr komplex und bietet sich daher als Test für Fortschritte bei der KI-Entwicklung an. Das geschah bei der NetHack Challenge im vergangenen Jahr. Dort ließen Entwickler ihre von Hand programmierten Symbolic Bots und mit Deep Reinforcement Learning (Deep RL) trainierte Agenten antreten. Ziel von Bots und Agenten war es aufzusteigen. Die erreichte Punktzahl diente dabei als Tiebreak.