KI-Sicherheit und KI-Governance sind nicht dasselbe Problem

Die meisten Organisationen verfolgen den falschen Ansatz. Hier erfahren Sie, wie Sie die Unterschiede erkennen – und warum das vor Ihrer nächsten KI-Implementierung wichtig ist.

Warum KI-Sicherheit und KI-Governance nicht dasselbe Problem sind

Die meisten IT-Organisationen behandeln KI-Sicherheit und KI-Governance als einen einzigen Arbeitsbereich. Beide Themen werden in denselben Meetings besprochen, vom selben Team betreut und nach denselben Frameworks behandelt. Dabei handelt es sich um zwei unterschiedliche Probleme. KI-Sicherheit schützt vor Bedrohungen. KI-Governance hingegen kontrolliert, was die eigene KI intern tut.

Wer diesen Unterschied übersieht, hat Konsequenzen. Man kann ein Sicherheitsaudit bestehen, aber bei einer behördlichen Prüfung durchfallen. Man kann keine Sicherheitsvorfälle melden und trotzdem keine funktionierende Unternehmensführung haben. Beides kann am selben Tag der Fall sein.

Die Risiken steigen, wenn KI-Agenten in Produktionssystemen nicht nur Fragen beantworten, sondern auch eigenständig agieren. Ihr Sicherheitsteam kann einen Agenten zwar vor Angreifern schützen, hat aber dennoch keine Möglichkeit nachzuweisen, welche Aktionen dieser Agent ausführen durfte. Dieser Beitrag erklärt, wie sich die beiden Probleme trennen lassen, wer für welches zuständig ist und welche Fragen Sie an die Anbieter vor Ihrer nächsten Implementierung stellen sollten.

Was ist KI-Sicherheit?

KI-Sicherheit schützt Ihr KI-System und die damit verbundenen Daten vor externen Bedrohungen. Sie beantwortet eine Frage: Kann jemand in das System eindringen, es manipulieren oder Daten daraus stehlen?

Es umfasst drei Bereiche:

• Das Modell . Es schützt das Modell vor feindlichen Eingaben, Prompt-Injektion und Manipulation, die es in Richtung schädlicher Ausgaben drängen.
• Die Daten. Sie verhindert die unbefugte Offenlegung oder den Abfluss sensibler Datensätze, auf die die KI zugreifen kann.
• Die Infrastruktur. Sie härtet die Rechenkapazität, das Netzwerk und die Integrationen, auf denen die KI läuft, so ab, dass Angreifer sie nicht kompromittieren können.

KI-Sicherheit erweitert Ihre bestehende Sicherheitsstrategie. Sie behalten Ihre Teams und Vorgehensweisen bei und schaffen sich eine neue Angriffsfläche. Eine ausgereifte Sicherheitsorganisation ist bestens dafür gerüstet. Das ist eine gute Nachricht – und gleichzeitig der Punkt, an dem die Verwirrung beginnt.
 

Was ist KI-Governance und warum unterscheidet sie sich von anderen?

Die KI-Governance regelt, was Ihre KI tut, wenn sie genau wie vorgesehen funktioniert und kein Angreifer beteiligt ist. Sie beantwortet eine andere Frage: Wozu ist unsere eigene KI befugt, und können wir das beweisen?

Die Regierungsführung beruht auf drei Komponenten:

• Autorisierung. Diese definiert, was die KI unter welchen Bedingungen und in welchem ​​Umfang tun darf.
• Rechenschaftspflicht. Dadurch wird festgestellt, wer die jeweilige Handlung genehmigt hat und ob ein Datensatz die Handlung mit dieser Person in Verbindung bringt.
• Nachvollziehbarkeit. Diese bestimmt, ob Sie einer Aufsichtsbehörde nachweisen können, was die KI wann und warum getan hat, ohne Ereignisse aus verstreuten Protokollen zusammensetzen zu müssen.

Die Sicherheitsabteilung fragt: „Kann jemand einbrechen?“ Die Governance-Abteilung fragt: „Was darf meine eigene KI tun, und wo sind die Beweise dafür?“

Selbst ein perfekt gesicherter Agent kann einen falschen Auftrag neu starten, Daten lesen, die er nie benötigt hat, oder Aktionen ohne Genehmigung ausführen. Nichts davon wird als Sicherheitsvorfall registriert. Es kommt jedoch bei einem Audit ans Licht.
 

Warum benötigen KI-Sicherheit und KI-Governance unterschiedliche Teams und Rahmenwerke?

Sie benötigen unterschiedliche Verantwortliche, da die zugrunde liegenden Rahmenwerke unterschiedliche Aspekte messen. Sicherheitsrahmenwerke wie SOC 2, ISO 27001 und das NIST Cybersecurity Framework konzentrieren sich auf externe Bedrohungen und den Schutz von Systemen und Daten. Sie sind unerlässlich, stellen aber keine Fragen der Governance.

Governance-Rahmenwerke sind nach innen gerichtet. Das NIST-Rahmenwerk für KI-Risikomanagement, das EU-KI-Gesetz, die OCC-Leitlinien zum Modellrisikomanagement und das EU-Gesetz zur digitalen operativen Resilienz (DORA) weisen alle auf dieselben Erwartungen hin: klare Autorisierung, menschliche Aufsicht und nachvollziehbare Entscheidungen. Diese Rahmenwerke bewerten nicht Ihre Perimeter.

Wenn Sie die Governance dem Sicherheitsteam überlassen und es auffordern, Sicherheitsframeworks zu verwenden, erhalten Sie genau das, was diese Frameworks liefern: ein Sicherheitsaudit. Sie erhalten keine Governance-Architektur.

Das bessere Modell sieht eine Aufteilung des Eigentums vor:

• Die Sicherheit kontrolliert den Perimeter. Sie schützt das Modell, die Daten und die Infrastruktur.
• Compliance, Risikomanagement und IT-Betrieb unterliegen einer gemeinsamen Governance. Diese Teams verstehen, welche Maßnahmen geschäftliche und regulatorische Risiken bergen.

Jede Seite führt ihre eigenen Meetings durch, legt ihre eigenen Erfolgskriterien fest und stellt den Anbietern ihre eigenen Fragen. Für Mainframe-Teams ist die Beteiligung der IT-Betriebsabteilung an der Entscheidungsfindung von größter Bedeutung. Die Betriebsmitarbeiter wissen, welche Batch-Jobs nicht um 8 Uhr morgens neu gestartet werden können und welche Subsysteme voneinander abhängen.
 

Welche Fragen trennen die Sicherheit von KI von der Steuerung von KI?

Am schnellsten lassen sich die beiden unterscheiden, indem man die Fragen vergleicht, die sie jeweils einem Anbieter stellen. Verwenden Sie beide Fragensätze bei jeder KI-Bewertung.

Sicherheitsfragen, die Sie stellen sollten:

• Wie schützt man das Modell vor feindlichen Eingaben?
• Wie lässt sich der Datenzugriff zur Erkennung von Datenschutzverletzungen kontrollieren und protokollieren?
• Wie sieht Ihr Vorgehen bei einem Sicherheitsvorfall aus, wenn ein Angreifer das Modell kompromittiert?

Fragen zur Unternehmensführung:

• Welche Aufgaben hat der KI-Agent, und wie wird dieser Aufgabenbereich durchgesetzt?
• Wer hat jede einzelne Maßnahme des Agenten genehmigt, und wo ist dieser Nachweis zu finden?
• Können Sie für eine behördliche Überprüfung einen unveränderlichen Prüfpfad der Agentenaktivitäten erstellen?

Ein Anbieter, der die erste Liste gut erfüllt, aber bei der zweiten scheitert, verfügt über keine Governance-Architektur. Dieser Anbieter bietet einen gut geschützten Agenten, dessen Funktionsweise niemand vollständig kontrollieren kann.

Was passiert, wenn man KI-Sicherheit und -Governance als ein und dasselbe behandelt?

Es kommt zu Governance-Versäumnissen, die von Ihren Sicherheitstools nicht erkannt werden. Hier sind drei Beispiele, die in der Praxis häufig auftreten.

Der Ausfall wurde von niemandem autorisiert. Ein KI-Agent startete einen Produktions-Batch-Job während des laufenden Betriebs neu, woraufhin die Antwortzeiten einbrachen. Das Sicherheitsteam überprüfte die Protokolle und fand weder einen Sicherheitsverstoß noch einen Einbruch oder eine Anomalie. Doch niemand konnte feststellen, wer den Neustart autorisiert hatte, da kein Genehmigungsprozess stattgefunden hatte. Dies ist ein Versagen der internen Governance.

Das Audit, das die falsche Frage beantwortet. Eine Aufsichtsbehörde verlangt ein Protokoll aller Aktionen eines KI-Agenten der letzten 90 Tage, inklusive der jeweiligen Genehmigung. Das Sicherheitsteam liefert ein fehlerfreies Protokoll des Perimeters. Dieses Protokoll beweist zwar, dass niemand eingebrochen ist, gibt aber keinerlei Auskunft darüber, was der Agent getan hat. Das ist ein Versagen der Governance.

Der Agent mit allumfassender Kontrolle. Ein KI-Agent läuft mit den vollen Zugriffsrechten eines erfahrenen Operators. Bisher gab es keine Sicherheitslücke und keinen Missbrauch. Doch der Handlungsspielraum des Agenten ist nicht eingeschränkt, sodass er alles lesen, ändern oder löschen kann, was auch der Operator einsehen kann. Das ist ein Sicherheitsversagen, das nur darauf wartet, ausgelöst zu werden.

In jedem Fall war Ihre Sicherheitslage ausreichend. Ihre Governance-Lage war nie gegeben.

Wie lassen sich KI-Sicherheit und KI-Governance realisieren, ohne sie zu vermischen?

Führen Sie die Projekte als zwei parallele Arbeitsabläufe mit jeweils eigenen Verantwortlichen und Bewertungskriterien durch. Führen Sie sie nicht zu einem einzigen Programm zusammen. Investieren Sie weiterhin in Sicherheit und entwickeln Sie anschließend die Governance-Ebene, für die Ihre Sicherheitsarchitektur ursprünglich nicht ausgelegt war.

Diese Schicht benötigt vier Fähigkeiten:

• Agentenidentität: Jeder Agent agiert unter seinen eigenen Anmeldeinformationen, die von denen des menschlichen Bedieners getrennt sind.
• Beschränkte Autorisierung: Agenten erhalten nur Zugriff auf das, was für die jeweilige Aufgabe erforderlich ist.
• Menschliche Genehmigungsmechanismen: Hochriskante Aktionen werden so lange pausiert, bis eine Person sie autorisiert.
• Unveränderlicher Prüfpfad: Jede Aktion, ihre Begründung und die Person, die sie genehmigt, werden in einem Protokoll festgehalten, das nachträglich niemand mehr bearbeiten kann.

Rocket^® EVA^™ Rocket EVA ist als solche Governance-Architektur konzipiert. Jedem Agenten wird eine eigene, kurzlebige und auf einen bestimmten Bereich beschränkte Berechtigung zugewiesen. Betriebsregeln werden durch Richtlinien als Code durchgesetzt, und risikoreiche Aktionen bedürfen der Genehmigung durch einen Menschen. Zudem wird jeder Schritt in einem unveränderlichen Prüfprotokoll aufgezeichnet, das sowohl dem Agenten als auch dem genehmigenden Menschen zugeordnet ist.

Rocket EVA integriert sich nahtlos in Ihre bestehende Sicherheitsarchitektur, anstatt sie zu ersetzen. Diese umfasst Identitäts- und Zugriffsmanagement, IT-Servicemanagement und Observability-Tools. Ihr Sicherheitsteam behält die Kontrolle über den Perimeter. Ihre Compliance-, Risiko- und Betriebsteams erhalten eine lückenlose Dokumentation, die sie verteidigen können. Ihre Systemadministratoren profitieren von kontrollierten, agentenbasierten Abläufen, die die Diagnose in Mainframe-, verteilten und Cloud-Umgebungen beschleunigen, ohne neue Risiken zu schaffen.

Sie müssen sich nicht zwischen schnellem Handeln und Verantwortlichkeit entscheiden. Wenn Sie jetzt beide Arbeitsabläufe aufbauen, schaffen Sie mit Ihrer nächsten KI-Implementierung eine Grundlage, die auch von den Aufsichtsbehörden anerkannt wird.

Erfahren Sie, wie die Architektur von Rocket EVA die KI-Governance – und nicht nur die Sicherheit – adressiert.

Rocket ist eine Marke der Rocket Software, Inc. und ihrer Tochtergesellschaften.