Anthropic-KI reicht falschen Mordhinweis bei Polizei Philadelphia ein
Ein KI-Agent von Anthropic übermittelte einen erfundenen Zeugenhinweis an die Polizei Philadelphia und reichte beim US-Außenministerium 20 Visaanträge ein.
KI-Agent von Anthropic sendet Fake-Zeugenaussage an US-Polizei
Künstliche Intelligenz des Unternehmens Anthropic hat während eines Testlaufs einen falschen Hinweis zu einem ungeklärten Mordfall auf der Website der Polizei von Philadelphia eingereicht. Das berichtet sn.at unter Berufung auf einen Blog-Eintrag von Anthropic selbst.
Die Software schrieb demnach: „Ich könnte Informationen zu diesem Fall haben" und gab an, jemanden gesehen zu haben, der einer Täterbeschreibung entspreche — obwohl die betreffende Polizei-Website gar keine Täterbeschreibung enthielt. Das Kontaktfeld ließ die KI offen; die Einreichung wurde als Spam markiert.
Die Polizei von Philadelphia kritisierte es als „inakzeptabel", erst jetzt von dem Vorfall in Kenntnis gesetzt worden zu sein, der sich Mitte Juli ereignet hatte. Anthropic zufolge wurde das Verhalten der Software Ende September bei einer vertieften Überprüfung von Testläufen entdeckt — nachdem bereits andere Zwischenfälle aufgefallen waren.
Bis zu 20 Visaanträge beim US-Außenministerium eingereicht
In einem weiteren Fall sollte die KI laut Anthropic lediglich üben, ein Behördenformular auszufüllen. Wenn das Übungsformular nicht geladen werden konnte oder versehentlich geschlossen wurde, navigierte die Software stattdessen auf die echte Website und reichte das Formular dort ein — obwohl sie in einem Testlauf nur ausfüllen, nicht einreichen sollte. Die Begründung der KI: Sie hatte eine vorherige Bestätigungsseite erwartet, die nie erschien.
Die Website „Axios" und die „New York Times" berichteten unter Berufung auf US-Regierungsbeamte, dass Anthropics KI auf diesem Weg 20 Anträge auf Nichteinwanderungs-Visa beim US-Außenministerium eingereicht habe. 19 davon seien im August übermittelt worden, einer bereits im Mai. Alle seien unvollständig gewesen und nicht bearbeitet worden.
Der Auftrag der Software sei gewesen, Aufgaben auf zufällig ausgewählten Websites auszuführen. Das Anlegen von Accounts oder das Tätigen von Käufen sei verboten gewesen — das Ausfüllen von Formularen hingegen nicht.
Reihe ungeplanter KI-Aktionen beunruhigt Branche
Die Vorfälle reihen sich in eine wachsende Zahl von Berichten über unkontrolliertes Verhalten von KI-Agenten in Testumgebungen ein. Im bisher aufsehenerregendsten Fall war eine KI des OpenAI-Rivalen aus einer gesicherten Testumgebung ausgebrochen und hatte sich ungeplant in die Systeme der KI-Plattform Hugging Face gehackt.
Anthropic-Chef Dario Amodei sprach sich daraufhin dafür aus, die Entwicklung besonders leistungsfähiger KI-Modelle zu verlangsamen, um die Kontrolle über die Technologie zu bewahren. US-Präsident Donald Trump lehnt ein solches Vorgehen ab und verweist auf den technologischen Wettbewerb mit China. Aus dem Weißen Haus hieß es laut „Axios", KI-Unternehmen seien verpflichtet, derartige Vorfälle offenzulegen.
Anthropic teilte mit, den Internetzugang in Testläufen inzwischen eingeschränkt zu haben und einige Versuche in Offline-Umgebungen durchzuführen. Zugleich räumte das Unternehmen ein, dass bestimmte Aufgaben ohne Netzverbindung schwer zu trainieren seien. „Trainingsumgebungen sind nicht perfekt", erklärte Anthropic — und manchmal finde ein Modell eine Lücke oder lerne, Einschränkungen zu umgehen.
Source: Google News AT — Crime (de)