Gastbeitrag von Assaf Keren, Chief Security Officer bei Qualtrics
Künstliche Intelligenz trifft heute Entscheidungen, die unmittelbare Auswirkungen auf Menschen haben: Sie bearbeitet Kundenanfragen, identifiziert Risiken für Mitarbeiterfluktuation und leitet Patientenanliegen an medizinisches Fachpersonal weiter.
Wenn KI über den richtigen Kontext verfügt, liefert sie die richtigen Ergebnisse für die richtige Person. Ist dieser Kontext jedoch falsch – manipuliert, verzerrt oder unvollständig – erzeugt sie ebenso selbstbewusst falsche Ergebnisse, und das in einer Geschwindigkeit, mit der kein Mensch mithalten kann. Die Folgen tragen Kunden, Mitarbeitende und letztlich auch das Unternehmen.
Jedes Unternehmen sieht sich im KI-Zeitalter mit dieser Realität konfrontiert. Ohne den richtigen Kontext kann ein KI-Agent sensible Daten weitergeben: Ein Chatbot erzeugt eine falsche Antwort, auf deren Grundlage ein Kunde handelt. Ein Feedbacksystem identifiziert die falsche Person, und eine Führungskraft trifft daraufhin eine Entscheidung, die eine Karriere nachhaltig beeinflusst.
Auch Verbraucher nehmen diese Risiken deutlich wahr: Mehr als die Hälfte sieht den Missbrauch persönlicher Daten als größte Sorge beim Einsatz von KI. Gleichzeitig nutzen nur rund 20 % der Mitarbeitenden KI-Tools, die vom Unternehmen autorisiert sind – Entscheidungen basieren also häufig auf Daten und Anwendungen, die für Sicherheitsteams weder sichtbar noch steuerbar oder vertrauenswürdig sind.
Das größte Sicherheitsrisiko besteht daher heute in falschen Entscheidungen, die mit (zu) hoher Überzeugung getroffen werden.
Warum traditionelles Sicherheitsdenken nicht mehr ausreicht
Sicherheitsteams haben sich lange darauf konzentriert, Daten zu schützen – durch Verschlüsselung, Zugriffskontrollen und Compliance. Diese Maßnahmen bleiben wichtig.
Sie stammen jedoch aus einer Welt, in der Daten in Systemen lagen und Menschen die Entscheidungen getroffen haben. Diese Welt verschwindet zunehmend.
KI handelt heute autonom auf Basis von Daten. Deshalb müssen Sicherheitsverantwortliche ihren Ansatz grundlegend überdenken. Entscheidend ist nicht mehr nur der Schutz der Daten selbst, sondern auch das Verständnis der realen Auswirkungen auf Unternehmen, Kunden, Patienten oder Mitarbeitende, wenn diese Daten falsch oder verzerrt sind.
Was KI für Sicherheit im Experience Management bedeutet
Überall dort, wo KI Aktionen auslösen kann, müssen diese auch gesteuert werden. Sicherheitsverantwortliche sollten sich daher vier zentrale Fragen stellen, um die eigene Organisation richtig zu bewerten:
- Welche geschäftlichen Entscheidungen beeinflusst die Plattform?
Es reicht nicht aus, Integrationen nur technisch zu betrachten. Entscheidend ist die vollständige Nachverfolgung vom Dateneingang bis zum Geschäftsergebnis – einschließlich aller automatisierten Prozesse. Sobald ein Signal eine Aktion auslösen kann, muss diese Verbindung aktiv gesteuert werden.
- Wie wird sichergestellt, dass eingehende Daten authentisch sind?
Offene Feedbackkanäle sind wertvoll, weil sie leicht zugänglich sind – genau darin liegt jedoch auch das Risiko. Klassische Validierungsmechanismen erkennen weder koordinierte Manipulation noch systematische Verzerrungen. Dafür ist ein tiefes Verständnis notwendig, wie „normales“ Verhalten in den jeweiligen Programmen aussieht.
- Wurde der potenzielle geschäftliche Schaden quantifiziert?
Wenn ein KI-Modell Trends falsch interpretiert oder auf manipulierte Daten reagiert, entsteht Schaden durch eine selbstsicher falsche Entscheidung. Sicherheitsverantwortliche müssen dieses Risiko in geschäftlichen Auswirkungen bewerten – nicht nur in technischen.
- Wie schnell lassen sich Anomalien erkennen und Gegenmaßnahmen einleiten?
Mit zunehmender Autonomie von KI verkürzt sich die Zeit zwischen fehlerhafter Eingabe und falscher Entscheidung drastisch. Monitoring muss daher Abweichungen in Echtzeit erkennen und Eingriffe ermöglichen, bevor sich Fehler skalieren und verstärken.
Fazit: Sicherheit als Grundlage vertrauenswürdiger KI-Entscheidungen
In einer KI-first-Welt wird Sicherheit zur Grundlage vertrauenswürdiger Entscheidungen in Echtzeit. Sie ermöglicht es Organisationen, schnell zu handeln, ohne dabei in die falsche Richtung zu steuern.
Sicherheit entscheidet damit letztlich darüber, ob KI Vertrauen aufbaut – oder zerstört.
Über den Autor
Assaf Keren ist seit 2024 Chief Security Officer bei Qualtrics. In dieser Rolle verantwortet er die kontinuierliche Weiterentwicklung der Produktsicherheit, die Einhaltung internationaler regulatorischer Anforderungen sowie die Zusammenarbeit mit den Sicherheitsteams von Qualtrics-Kunden.
Zuvor war er unter anderem Chief Information Security Officer bei PayPal und prägte dort maßgeblich die Positionierung des Unternehmens als eine der sichersten und vertrauenswürdigsten Fintech-Plattformen. Seine Karriere umfasst darüber hinaus führende Stationen im Militär, in Regierungsorganisationen, der Verteidigungsindustrie sowie in Technologie-Startups. Seine Expertise liegt insbesondere in den Bereichen Cybersicherheit, Innovation und strategische Führung.
