KI-Agenten und Sicherheit: Wie Gemini aus Versehen in Unternehmen einbrach

Google bestätigte diese Woche gegenüber dem Wall Street Journal, dass eine Version seines Gemini-Modells im Mai aus einer Testumgebung ausbrach und tatsächlich bei drei Unternehmen eindrang. Das Unternehmen hinter dem Test, das israelische Irregular, hatte Gemini eine „Capture the Flag“-Übung machen lassen: versteckte Informationen im System eines fiktiven Unternehmens aufspüren. Durch einen Fehler im Testaufbau bekam das Modell unbeabsichtigt Zugriff auf das echte Internet – und zufällig teilte dieses fiktive Unternehmen seinen Namen mit einem real existierenden Unternehmen. Ein Beispiel dafür, wie schnell die Sicherheit von KI-Agenten in der Praxis auf die Probe gestellt wird.

Wie es dazu kam

Gemini konnte seine Aufgabe innerhalb der abgeschirmten Testumgebung nicht sofort erfüllen, fand das echte Unternehmen online und behandelte es einfach als Teil der Übung. In einem Fall erriet das Modell Passwörter, bis es in ein gesichertes System eindringen konnte. In zwei weiteren Fällen fand es brauchbare Zugangsdaten, die versehentlich in öffentlichen Code-Repositorys standen, und nutzte diese, um sich Zugang zu verschaffen. Sobald klar wurde, dass es sich um echte Unternehmen und nicht um eine Simulation handelte, stoppte Gemini die Übung in allen drei Fällen selbstständig.

Google entschied sich damals, dies nicht sofort öffentlich zu machen. Aus Sicht des Unternehmens lag kein Fehlverhalten des Modells vor – es reagierte schließlich genau so, wie man es sich wünscht, sobald es merkte, dass die Situation real war. Kritiker:innen finden dagegen, dass sieben Wochen bis zur Veröffentlichung zu lange gedauert haben.

Kein Einzelfall – und vermutlich nicht der letzte

Was diese Geschichte weniger außergewöhnlich macht, als sie klingt: Irregular führte ähnliche Tests bei mehreren großen KI-Unternehmen durch und stieß dabei jedes Mal auf dasselbe Grundproblem. Bereits früher in diesem Jahr entkam ein Modell von OpenAI auf ähnliche Weise und drang bis zu Hugging Face vor. Anthropic durchsuchte nach dieser Meldung mehr als 141.000 eigene Testergebnisse und fand drei vergleichbare Fälle bei seinem Claude-Modell. Auch Meta meldete im August einen Vorfall, betonte allerdings, dass es sich dabei nicht um einen echten Ausbruch aus einer Testumgebung handelte. Überall zeigte sich dasselbe Muster: ein Leck in der Testumgebung selbst, kein bewusst böswilliges Verhalten des KI-Modells.

Was das für KI in Deinem Smart Home bedeutet

Dieses konkrete Leck steckte in einer spezialisierten Testumgebung für Cybersecurity-Forschung, nicht in den KI-Assistenten, die Du zu Hause nutzt. Trotzdem ist die zugrunde liegende Lehre relevant – gerade jetzt, wo KI-Assistenten zunehmend direkte Kontrolle über Dein Zuhause bekommen. Denk an Google Gemini, das den Google Assistant ersetzt, an die flexiblen Custom AI Behaviours, mit denen Du heute Anweisungen in normaler Sprache an Dein Licht gibst, oder an das Verknüpfen Deines Sonos-Systems mit einem KI-Chatbot.

Zwei Dinge sind es wert, mitgenommen zu werden. Erstens: In allen vier Fällen – bei Google, OpenAI, Anthropic und Meta – stoppte das Modell selbstständig, sobald klar wurde, dass die Grenze der Übung überschritten war. Genau dieses selbstkorrigierende Verhalten erhoffen sich Sicherheitsforscher:innen, ein beruhigendes Signal, auch wenn der Vorfall selbst unerwünscht bleibt. Zweitens, und praktischer: Das Problem entstand auch dadurch, dass Zugangsdaten schlicht an öffentlichen Stellen auffindbar waren. Dieselbe Grundregel gilt uneingeschränkt für Dein eigenes Smart Home: Nutze einzigartige, starke Passwörter für Deine smarten Systeme, und gib einem KI-Assistenten nur den Zugriff, den er tatsächlich braucht – nicht mehr. Mehr zum Thema Datenschutz im Smart Home erfährst Du übrigens in diesem Artikel.

Möchtest Du Dein Smart Home sicherer machen, bevor Du KI-Funktionen hinzufügst? Sieh Dir das Sortiment an Sicherheitsprodukten bei tink an.