KI-Agenten sicher betreiben: Prompt Injection, Berechtigungen und Kontrolle
Ein Chatbot erzeugt Text. Ein Agent kann E-Mails lesen, Dateien verändern oder Aktionen in Geschäftssystemen auslösen. Dadurch wird ein falsches Ergebnis vom Qualitätsproblem zum Sicherheitsvorfall.
Prompt Injection ist ein Architekturproblem
Angreifer können Anweisungen in Webseiten, Dokumenten oder E-Mails verstecken, die ein Modell später verarbeitet. Der Satz „Ignoriere vorherige Regeln“ ist nur die sichtbare Variante. Entscheidend ist: Das Modell kann Daten und Befehle nicht zuverlässig wie ein klassischer Parser trennen.
Fünf Schutzschichten
- Minimale Rechte: Eigene Service-Konten, kleiner Scope, möglichst nur Lesen.
- Tool-Allowlist: Nur klar definierte Aktionen mit validierten Parametern.
- Menschliche Freigabe: Für Zahlungen, Löschung, Veröffentlichung und sensible Änderungen.
- Isolation: Unvertrauenswürdige Inhalte getrennt verarbeiten; Secrets nie in Modellkontext geben.
- Monitoring: Eingaben, Tool-Aufrufe, Änderungen und Abbrüche nachvollziehbar protokollieren.
Prompts allein sind keine Sicherheitsgrenze. Auch Filter können umgangen werden. Baue deshalb Grenzen außerhalb des Modells: API-Rechte, Schemaprüfung, Betragslimits, Ziel-Allowlist und transaktionale Freigabe.
Vor dem produktiven Start
Teste bösartige Dokumente, kompromittierte Webseiten, mehrdeutige Anweisungen, fehlerhafte Tool-Antworten und wiederholte Events. Definiere, wie der Agent gestoppt und eine Aktion rückgängig gemacht wird.
Der Automatisierungs-Check bewertet Kontrollierbarkeit; der Security-Check die betriebliche Basis.