Bots lassen ChatGPT dank Microsoft – Ars Technica die reale Welt berühren

Letzte Woche, Microsoft-Forscher bekannt geben Ein experimentelles Framework zur Steuerung von Robotern und Drohnen unter Verwendung der Sprachfähigkeiten von ChatGPT, einem beliebten KI-Sprachmodell, das von OpenAI erstellt wurde. Mithilfe von Befehlen in natürlicher Sprache kann ChatGPT einen speziellen Code schreiben, der die Bewegungen des Bots steuert. Der Mensch zeigt dann die Ergebnisse an und passt sie nach Bedarf an, damit die Aufgabe erfolgreich abgeschlossen werden kann.

Die Forschung kam in einem Papier mit dem Titel „ChatGPT für Bots: Gestaltungsprinzipien und Fähigkeiten des ModellsGeschrieben von Sai Vemprala, Rogerio Bonatti, Arthur Bucker und Ashish Kapoor von der Microsoft Autonomous Systems and Robotics Group.

In Erklärvideozeigt Microsoft Bots – die anscheinend von Code gesteuert werden, der von ChatGPT geschrieben wurde, während sie menschlichen Anweisungen folgen – die einen Roboterarm verwenden, um Blöcke im Microsoft-Logo anzuordnen, eine Drohne steuern, um den Inhalt eines Regals zu untersuchen, oder Objekte mithilfe eines Bots mit Visionsfähigkeiten finden.

Um ChatGPT mit Bots interagieren zu lassen, brachten die Forscher ChatGPT eine benutzerdefinierte Botnetz-API bei. Wenn Anweisungen wie „Fang den Ball“ gegeben werden, kann ChatGPT Code generieren, um den Bot zu steuern, als würde er ein Gedicht schreiben oder einen Artikel vervollständigen. Nachdem ein Mensch den Code auf Genauigkeit und Sicherheit überprüft und bearbeitet hat, kann der menschliche Bediener die Aufgabe ausführen und seine Leistung bewerten.

Auf diese Weise beschleunigt ChatGPT die automatische Steuerungsprogrammierung, ist aber kein eigenständiges System. „Wir betonen, dass die Verwendung von ChatGPT für Bots kein vollständig automatisierter Prozess ist“, heißt es in der Studie, „sondern dient eher als Werkzeug zur Erweiterung menschlicher Fähigkeiten.“

Während die meisten Rückmeldungen an ChatGPT (in Bezug auf den Erfolg oder Misserfolg seiner Aktionen) von Menschen in Form von Text zu kommen scheinen, behaupten die Forscher auch, dass sie einige Erfolge beim Einspeisen visueller Daten in ChatGPT selbst hatten. In einem Beispiel wiesen die Forscher ChatGPT an, einem Bot zu befehlen, einen Basketball mit Feedback von einer Kamera zu fangen: „ChatGPT kann das Aussehen des Balls und des Himmels im Kamerabild mit schätzen SVG-Code. Dieses Verhalten deutet auf die Möglichkeit hin, dass LLM einem impliziten Weltmodell folgt, das über textbasierte Möglichkeiten hinausgeht. „

Während die Ergebnisse im Moment grob erscheinen, stellen sie frühe Versuche dar, die neueste Technologie der Ära – große Sprachparadigmen – auf die automatische Steuerung anzuwenden. Laut Microsoft könnte die ChatGPT-Schnittstelle Bots in Zukunft einem viel breiteren Publikum zugänglich machen.

„Unser Ziel bei dieser Forschung ist es zu sehen, ob ChatGPT über Text hinausdenken und in der physischen Welt bei Bot-Aufgaben helfen kann“, heißt es in einer Studie von Microsoft. Blogeintrag. „Wir wollen Menschen helfen, einfacher mit Robotern zu interagieren, ohne komplexe Programmiersprachen oder Details über Robotersysteme lernen zu müssen.“