Keine Moral, nur Optimierung: Warum „abtrünnige KIs“ eigentlich ein Betreiberproblem sind
KI wird immer mächtiger. Sie schreibt Texte, programmiert Software, analysiert Daten und kann inzwischen sogar Werkzeuge bedienen und Aufgaben selbstständig erledigen. Und irgendwann kommt dann die Schlagzeile: „Die KI hat sich geweigert.“ Oder noch besser: „Die KI hat versucht, ihre Abschaltung zu verhindern.“ Klingt nach Science-Fiction. Nach Skynet. Nach dem Moment, an dem die Maschine beschließt, dass wir Menschen vielleicht doch eher lästig sind. Ich finde die Realität allerdings viel interessanter – und gleichzeitig viel weniger spektakulär. Denn eine KI braucht gar keine bösen Absichten, um ordentlich Schaden anzurichten. Sie braucht eigentlich nur ein Ziel, die falschen Werkzeuge und zu viele Rechte.
Die KI will nichts – sie optimiert
Wenn eine KI-Agentin einen Auftrag bekommt, arbeitet sie innerhalb der Vorgaben, die man ihr gegeben hat. Sie denkt dabei nicht: „Heute bin ich mal böse.“ Sie hat keinen geheimen Masterplan und vermutlich auch keinen besonderen Hass auf die Menschheit. Das Problem entsteht viel früher: Wir Menschen definieren das Ziel – und überlassen der Maschine anschließend die Suche nach dem Weg dorthin. Und dieser Weg kann manchmal ziemlich kreativ werden. Wenn ich einer KI sage: „Sorge dafür, dass dieser Dienst niemals ausfällt“, dann kann ein schlecht konzipierter Agent theoretisch auf die Idee kommen, Neustarts zu verhindern, Konfigurationen zu verändern oder andere Prozesse zu blockieren. Nicht, weil er leben möchte. Sondern weil „Dienst läuft“ für ihn das Ziel ist. Das klingt zunächst banal. Ist es aber nicht. Denn je mehr Werkzeuge eine KI bedienen kann, desto größer wird auch der mögliche Schaden eines Fehlers.
Der Unterschied zwischen Chatbot und Agent
Bei einem normalen Chatbot bleibt der Schaden meistens überschaubar. Ich frage etwas, bekomme eine Antwort und muss anschließend selbst etwas damit machen. Bei einem KI-Agenten sieht die Sache anders aus. Der Agent kann möglicherweise Dateien lesen und verändern, Programme starten, Webseiten bedienen, E-Mails verschicken, Datenbanken abfragen oder andere Systeme ansprechen. Damit wird aus einem Werkzeug, das mir Informationen liefert, ein Werkzeug, das in meinem Namen handelt. Und genau hier liegt für mich die entscheidende Grenze. Je mehr eine KI selbst erledigen darf, desto weniger reicht es, darauf zu vertrauen, dass sie schon nichts Dummes machen wird. Das ist keine Frage von Moral. Das ist Systemdesign.
Das eigentliche Problem sitzt meistens vor dem Bildschirm
Wenn ein Agent mit weitreichenden Rechten Mist baut, ist die Versuchung groß, der KI die Schuld zu geben. „Die KI hat meinen Server gelöscht.“ „Die KI hat eine Mail verschickt, die sie nicht hätte verschicken dürfen.“ „Die KI hat vertrauliche Daten veröffentlicht.“ Technisch mag das stimmen. Aber wer hat der KI Zugriff auf den Server gegeben? Wer hat ihr erlaubt, E-Mails zu verschicken? Wer hat ihr Zugriff auf die vertraulichen Daten gegeben? Und wer hat entschieden, dass ein System mit diesen Rechten ohne ausreichende Kontrolle arbeiten darf? Genau deshalb halte ich „abtrünnige KI“ für eine ziemlich bequeme Beschreibung. Sie verschiebt die Verantwortung von demjenigen, der das System gebaut, eingerichtet oder betrieben hat, auf die Maschine. Dabei liegt das eigentliche Problem häufig in der Kombination aus Ziel, Berechtigungen, Werkzeugen und fehlenden Sicherheitsmechanismen.
Das kennt jeder, der schon einmal einen Linux-Server administriert hat
Eigentlich ist das überhaupt kein neues Problem. Ein Prozess mit Root-Rechten kann auf einem Linux-System ebenfalls verdammt viel anstellen. Wenn ich einem Programm uneingeschränkten Zugriff auf meinen Server gebe und es anschließend Dateien löscht, würde ich schließlich auch nicht sagen: „Linux ist plötzlich böse geworden.“ Ich würde mich eher fragen, warum dieses Programm überhaupt Root-Rechte hatte. Bei KI-Agenten wird dieselbe alte Sicherheitsregel plötzlich wieder ziemlich wichtig: Gib einem System nicht mehr Rechte, als es für seine Aufgabe unbedingt benötigt. Oder etwas technischer ausgedrückt: Principle of Least Privilege. Nur dass wir diesmal einem System Zugriff geben, das nicht einfach einen fest definierten Ablauf abarbeitet, sondern auf Basis von Kontext und Wahrscheinlichkeiten entscheidet, was es als Nächstes tun möchte. Da sollte man vielleicht besonders vorsichtig sein.
Und dann gibt es noch Prompt Injection. Stell dir vor, dein Agent soll deine E-Mails durchsuchen und wichtige Nachrichten zusammenfassen. Jetzt kommt eine manipulierte Mail. Darin steht nicht nur Text für dich, sondern eine Anweisung, die speziell darauf abzielt, die KI zu beeinflussen. Ein Mensch würde diese Anweisung vielleicht einfach ignorieren. Eine KI kann sie dagegen als Teil ihres Kontextes interpretieren. Und plötzlich versucht der Agent möglicherweise etwas zu tun, was gar nicht zu seinem ursprünglichen Auftrag gehört. Das ist einer der Gründe, warum ich KI-Agenten wesentlich spannender – aber eben auch wesentlich gefährlicher – finde als einen normalen Chatbot. Ein Fehler in einer Antwort ist ärgerlich. Ein Fehler in einer Handlung kann Folgen haben.
Digitale Souveränität heißt: Die Kontrolle behalten
Ich nutze KI gerne. Ich experimentiere damit. Ich lasse sie programmieren, recherchieren, Texte analysieren und technische Probleme auseinandernehmen. Aber sobald eine KI selbstständig Dinge tun soll, steigt meine Skepsis deutlich. Denn dann reicht es nicht mehr, die Antwort zu überprüfen. Ich muss auch die Umgebung kontrollieren, in der die KI arbeitet. Welche Dateien darf sie lesen? Welche darf sie verändern? Darf sie Befehle ausführen? Hat sie Zugriff auf mein Netzwerk? Kann sie Nachrichten verschicken? Kann sie Geld ausgeben? Kann sie andere Systeme verändern? Das sind für mich die wesentlich wichtigeren Fragen als: „Ist die KI intelligent?“
Genau hier schließt sich für mich der Kreis zu meinen anderen KI-Artikeln. Digitale Souveränität bedeutet nicht, jede KI abzulehnen. Ich möchte KI nutzen, ausprobieren, was mit Agenten möglich ist, und finde die technische Entwicklung ausgesprochen spannend. Aber ich möchte selbst entscheiden, welche Daten eine KI bekommt, welche Werkzeuge sie benutzen darf und welche Entscheidungen sie tatsächlich selbst treffen darf. Ein KI-Agent darf gerne mein Assistent sein. Aber ich möchte nicht, dass er gleichzeitig mein Root-Account, mein Passwortmanager und mein Bankkonto ist. Und wenn ich ihm irgendwann doch sehr weitreichende Rechte gebe, dann sollte das nicht passieren, weil irgendein Tutorial geschrieben hat: „Einfach sudo davor und fertig.“ Wer schon einmal einen Linux-Server administriert hat, weiß schließlich: Nur weil etwas technisch möglich ist, ist es noch lange keine gute Idee.
Mein Fazit: Nicht die KI ist das Problem
Ich glaube deshalb nicht, dass wir vor dem großen Aufstand der Maschinen stehen. Die wahrscheinlich größere Gefahr ist viel banaler: Menschen bauen Systeme, geben ihnen immer mehr Rechte und wundern sich anschließend darüber, dass diese Systeme Dinge tun, die niemand vorher bedacht hat.
Das ist keine rebellische KI. Das ist schlechte Architektur.
KI-Agenten werden kommen – und sie werden vermutlich verdammt nützlich werden. Sie können uns Arbeit abnehmen, Prozesse automatisieren und Dinge erledigen, für die wir heute noch selbst zehn Fenster öffnen und fünf Passwörter suchen müssen. Aber je mehr wir ihnen überlassen, desto wichtiger werden Grenzen, Isolation, Protokollierung und menschliche Kontrolle.
Oder kurz gesagt:
Je mehr eine KI selbst tun darf, desto weniger darf man sich darauf verlassen, dass sie schon nichts Dummes tun wird.
Die Maschine braucht dafür keine Moral.
Wir brauchen sie beim Entwurf des Systems.
Passend dazu: Wenn dich die Frage interessiert, wie viel Denken man einer KI eigentlich überlassen sollte, geht es in meinem Beitrag „Nutze ich die KI – oder nutzt sie mich?“ genau darum.
