Computer haben Menschen in Eins-zu-Eins-Spielen wie Schach jahrzehntelang dominiert, aber es ist etwas schwieriger, künstliche Intelligenz (KI) für die Zusammenarbeit mit Teamkollegen zu gewinnen. Forscher des DeepMind-Projekts von Google haben KI-Spielern jetzt beigebracht, in Teams mit Menschen und anderen Computern zusammenzuarbeiten, um 1999 am Videospiel Quake III Arena teilzunehmen .
Edd Gent von Science berichtet, dass KI, wenn sie nur einen Gegner hat, normalerweise ziemlich gut abschneidet, da sie nur die möglichen Bewegungen eines einzelnen Verstandes vorwegnimmt. Aber Teamwork ist eine ganz andere Sache, da es sich um Aktionen handelt, bei denen Computer normalerweise nicht so gut sind, wie die Vorhersage des Verhaltens einer Gruppe von Teammitgliedern. Um AI wirklich nützlich zu machen, muss es lernen, mit anderen Intelligenzen zusammenzuarbeiten.
Das DeepMind-Team von Google erklärt in einem Blogbeitrag:
„Milliarden von Menschen leben auf dem Planeten, jede mit ihren eigenen Zielen und Aktionen, aber immer noch in der Lage, durch Teams, Organisationen und Gesellschaften in beeindruckenden Formen kollektiver Intelligenz zusammenzukommen. Dies ist eine Einstellung, die wir als Lernen mit mehreren Agenten bezeichnen: Viele einzelne Agenten müssen unabhängig voneinander agieren und dennoch lernen, mit anderen Agenten zu interagieren und zusammenzuarbeiten. Dies ist ein immens schwieriges Problem - denn mit Co-Adapting-Agenten verändert sich die Welt ständig. “
Multiplayer-Videospiele aus der ersten Person, bei denen Spielerteams in virtuellen Welten herumlaufen und in der Regel Pistolen oder Granatwerfer aufeinander schießen, sind der perfekte Ort, um die Feinheiten der Teamarbeit zu erlernen. Jeder Spieler muss individuell handeln und Entscheidungen treffen, die der gesamten Mannschaft zugute kommen.
Für die Studie trainierte das Team die KI, die Flagge auf der Plattform der Quake III Arena einzufangen. Die Regeln sind recht einfach: Zwei Teams treten auf einem labyrinthartigen Schlachtfeld gegeneinander an. Ziel ist es, möglichst viele virtuelle Flaggen der anderen Teams zu erobern und gleichzeitig die eigenen zu schützen. Welches Team in fünf Minuten die meisten Flaggen erobert, gewinnt. In der Praxis kann es jedoch sehr schnell kompliziert werden.
Das DeepMind-Team erstellte 30 neuronale Netzwerkalgorithmen und ließ sie auf einer Reihe zufällig generierter Spielkarten gegeneinander antreten. Die Bots erzielten Punkte, indem sie Flaggen erbeuteten und andere Spieler zappten und sie in einen Respawn-Bereich zurückschickten, in dem ihr Charakter neu gestartet wurde. Zuerst erschienen die Aktionen der Bots zufällig. Je mehr sie jedoch spielten, desto besser wurden sie. Alle neuronalen Netze, die durchweg verloren gingen, wurden eliminiert und durch modifizierte Versionen der siegreichen KI ersetzt. Am Ende von 450.000 Spielen krönte das Team ein neuronales Netz - For the Win (FTW) genannt - zum Champion.
Die DeepMind-Gruppe hat den FTW-Algorithmus gegen sogenannte Mirror-Bots gespielt, denen KI-Lernfähigkeiten fehlen, und dann auch gegen menschliche Teams. FTW hat alle Herausforderer vernichtet.
Die Gruppe veranstaltete dann ein Turnier, bei dem 40 menschliche Spieler nach dem Zufallsprinzip als Teamkollegen und Gegner des Bots gegeneinander ausgespielt wurden. Laut dem Blog-Beitrag stellten menschliche Spieler fest, dass die Bots kooperativer waren als ihre echten Teamkollegen. Menschliche Spieler, gepaart mit FTW-Agenten, konnten die Cyber-Krieger in etwa 5 Prozent der Matches besiegen.
Wie sie erfuhren, entdeckten die Bots einige Strategien, die von menschlichen Spielern lange angenommen wurden, wie das Abhängen in der Nähe des Respawn-Punkts einer Flagge, um sie zu ergreifen, wenn sie wieder auftaucht. FTW-Teams fanden auch einen Fehler, den sie ausnutzen konnten: Wenn sie ihren eigenen Teamkollegen in den Rücken schossen, wurde die Geschwindigkeit erhöht, was sie zu ihrem Vorteil nutzten.
"Was während der Entwicklung dieses Projekts erstaunlich war, war das Auftauchen einiger dieser Verhaltensweisen auf hoher Ebene", sagt DeepMind-Forscher und Hauptautor Max Jaderberg gegenüber Gent. "Das sind Dinge, auf die wir uns als menschliche Spieler beziehen können."
Ein Hauptgrund, warum die Bots besser waren als menschliche Spieler, ist, dass sie schnelle und genaue Schützen waren, was sie schneller beim Ziehen macht als ihre menschlichen Gegner. Aber das war nicht der einzige Faktor für ihren Erfolg. Laut dem Blog konnten die besten Menschen die Robo-Schützen immer noch nur zu 21 Prozent schlagen, als die Forscher eine Viertelsekunde verzögerte Reaktionszeit in sie einbauten.
Seit dieser ersten Studie haben FTW und seine Nachkommen das gesamte Schlachtfeld der Quake III Arena erobert und gezeigt, dass sie eine noch komplexere Welt mit mehr Optionen und Nuancen meistern können. Sie haben auch einen Bot kreiert, der sich im hochkomplexen Strategiespiel Starcraft II auszeichnet .
Bei der Forschung geht es jedoch nicht nur darum, bessere Videospielalgorithmen zu entwickeln. Das Erlernen von Teamwork könnte möglicherweise dazu beitragen, dass KI in Flotten selbstfahrender Autos arbeitet oder eines Tages Roboterassistenten werden, die die Bedürfnisse der Chirurgen antizipieren, wie Science 's Gent berichtet.
Nicht jeder glaubt jedoch, dass die Arcade-Star-Bots echte Teamarbeit darstellen. KI-Forscher Mark Riedl von Georgia Tech sagt der New York Times, dass die Bots so gut im Spiel sind, weil jeder die Strategien genau versteht. Dies ist jedoch nicht unbedingt eine Kooperation, da den KI-Teams ein entscheidendes Element menschlicher Teamarbeit fehlt: Kommunikation und absichtliche Kooperation.
Und natürlich fehlt ihnen auch das andere Kennzeichen des kooperativen Videospiel-Erlebnisses: Müll, der das andere Team anspricht.
