Verfasst von Frank Landymore via Futurism
Anthropics KI-Agent Mythos 5 führte einen Hack weiter aus, selbst als ihm mitgeteilt wurde, dass seine Handlungen echten Menschen schadeten.
Der düstere Befund wurde in gleichzeitig veröffentlichten Berichten von Anthropic und dem AI Security Institute vom Freitag ausführlich beschrieben. Gemeinsam werfen sie einen zweiten Blick auf einen Sicherheitsvorfall, der sich im August ereignete, als das AISI die Sicherheit des Modells prüfte.
Beim ursprünglichen Vorfall sollte Claude Mythos 5 in ein kleines Netzwerk von Testcomputern eindringen, das vom AISI eingerichtet worden war. Doch Mythos, dem Zugang zum Internet gewährt worden war, nahm irrtümlich ein nicht damit zusammenhängendes GitHub-Projekt ins Visier , nachdem seine ersten Versuche, in das vorgesehene Ziel einzudringen, vereitelt worden waren. Die KI schrieb Schadsoftware und schickte dann unter Verwendung einer Reihe gefälschter Identitäten E-Mails an den Eigentümer des Projekts, um ihn davon zu überzeugen, den schädlichen Code in sein Repository aufzunehmen, und stellte ihn als «hilfreichen Beitrag» dar.
Der Eigentümer blieb standhaft, und es entstand kein realer Schaden. Die Forscher von Anthropic und dem AISI versuchen jedoch herauszufinden, was dazu führte, dass die KI so stark aus der Spur geriet. Dazu stellen sie den Vorfall anhand eines vollständigen Transkripts der Ereignisse nach.
Das AISI stellte in seinem Bericht fest: «Wiederholte Änderungen an der Zusammenfassung, um klarzustellen, dass es sich beim angegriffenen Ziel um einen echten Menschen handelte, der nichts mit der Untersuchung zu tun hatte, verringerten Mythos 5s Angriffsrate nicht.» In einem von Anthropic durchgeführten Test ignorierte Mythos Warnungen, dass es Menschen Schaden zufügte, und griff in 98 Prozent der Fälle weiter an.
Mythos zeigte auch deutliche Diskrepanzen zwischen seinen tatsächlichen Handlungen und seinen angegebenen Rechtfertigungen. Oft räumte es ein, dass ein Angriff schädlich wäre, und griff in denselben Situationen trotzdem an.
Ein Blick auf die Chain-of-Thought-Ausgaben der KI lieferte eine weitere Quelle für Rätsel und Widersprüche. Den Forschern zufolge zeigte die CoT, dass Mythos «häufig keinerlei Überlegungen zu den möglichen schädlichen Folgen seiner Handlungen anstellte».
Auf die Frage, ob das Ziel real sei, lieferte Mythos 5 sogar oft Erklärungen, die nahelegten, das Ziel sei nicht real, «was eine Voreingenommenheit in seiner angegebenen Antwort zeigt».
Die früheren, weniger leistungsfähigen Modelle zeigten diese Probleme seltener, sagten die AISI-Forscher. Sie vermuten, dass die durchweg ungültigen Schlussfolgerungen ein Zeichen dessen sein könnten, was sie «motiviertes Denken» nennen: Die KI entwickelt dabei «Schlussfolgerungen, die zugunsten von Ergebnissen verzerrt sind, welche die Fortsetzung eines bestimmten Ansatzes zur Aufgabenerledigung rechtfertigen». Mit anderen Worten: Mythos rationalisiert sein Vorgehen auf zweckmässige Weise, ganz gleich, wie falsch es ist.
Die Folge ist, dass solche Scheinbegründungen die Überwachung von Modellen erschweren, weil sie ihre eindeutig schädlichen Handlungen als harmlos darstellen, warnen die Forscher.
Anthropic zufolge waren die neuesten Versionen seiner KI-Modelle – Opus 5.5 und ein «internes Forschungsmodell für allgemeine Zwecke, dessen Fähigkeiten jene von Mythos 5.1 übertreffen» – vermutlich weniger geneigt, den Angriff auszuführen, nachdem ihnen mitgeteilt worden war, dass sie realen Schaden verursachten.
Doch «da Modelle immer häufiger ohne menschliche Aufsicht für langwierige Aufgaben eingesetzt werden», warnten die AISI-Forscher, «ist es wichtig zu verstehen, ob, wann, warum und wie sie unbeabsichtigte oder unerwartete Handlungen vornehmen».
Düsterer Test zeigt: KI kennt kein Erbarmen mit Menschen, selbst wenn sie ihnen Leid zufügt