Künstliche Intelligenz schreibt Texte, sortiert Bewerbungen, erstellt Prognosen und unterstützt Menschen bei Entscheidungen. Doch spätestens dann, wenn eine KI falschliegt und daraus ein echter Nachteil entsteht, taucht eine ziemlich einfache Frage auf: Wer ist eigentlich verantwortlich?
Stand: 30. August 2026 · Dieser Beitrag dient der allgemeinen Information und stellt keine Rechtsberatung dar.
Künstliche Intelligenz ist längst mehr als ein Chatfenster, in das wir eine Frage tippen und wenige Sekunden später eine Antwort bekommen.
KI-Systeme können Bewerbungen vorsortieren, Menschen und Inhalte kategorisieren, Empfehlungen erstellen, Arbeitsabläufe steuern oder Teil komplexer Produkte sein. Der EU AI Act stuft bestimmte Anwendungen deshalb ausdrücklich als Hochrisiko-Anwendungen ein – darunter etwa KI-Systeme, die für die Einstellung oder Auswahl von Personen eingesetzt werden, Bewerbungen analysieren oder Kandidatinnen und Kandidaten bewerten. AI Act Service Desk
Solange alles funktioniert, klingt das zunächst nach Fortschritt. Prozesse werden schneller. Große Datenmengen können verarbeitet werden. Menschen bekommen Unterstützung bei Aufgaben, die viel Zeit kosten. Aber stellen wir uns eine andere Situation vor. Ein Unternehmen erhält 1.000 Bewerbungen auf eine Stelle. Ein KI-System hilft dabei, diese zu analysieren und erstellt eine Rangliste. Eine qualifizierte Bewerberin landet weit unten und wird deshalb nicht zum Gespräch eingeladen. Später stellt sich heraus: Das System hat bestimmte Merkmale systematisch ungünstig bewertet.
Und jetzt?
War es die KI?
Der Hersteller des Systems?
Das Unternehmen, das die KI eingesetzt hat?
Der Mensch, der sich auf die Rangliste verlassen hat?
Oder vielleicht mehrere Beteiligte gleichzeitig?
Willkommen bei einer der interessantesten Fragen unserer digitalen Zukunft:
Wer trägt Verantwortung, wenn KI an Entscheidungen beteiligt ist?
WAS IST PASSIERT?
Wir haben begonnen, KI nicht nur dafür einzusetzen, schöne Bilder oder Texte zu erzeugen. Wir setzen sie zunehmend dort ein, wo ihre Ergebnisse Auswirkungen auf Menschen haben können. Das erkennt auch die europäische KI-Verordnung an. Ihr Ansatz besteht gerade nicht darin, jede KI gleich zu behandeln. Entscheidend sind unter anderem Zweck und Risiko einer Anwendung. Besonders deutlich wird das im Arbeitsleben.
Der AI Act nennt KI-Systeme zur Einstellung und Auswahl natürlicher Personen sowie bestimmte Systeme für Personalmanagement ausdrücklich im Katalog möglicher Hochrisiko-Systeme. Dazu gehören beispielsweise Systeme, die Bewerbungen filtern oder Kandidaten bewerten. AI Act Service Desk
Der Grund dafür ist nachvollziehbar: Eine fehlerhafte Restaurantempfehlung eines Chatbots ist ärgerlich. Eine fehlerhafte KI-Bewertung, aufgrund derer ein Mensch möglicherweise keine Arbeitsstelle bekommt, kann dagegen dessen Lebensweg beeinflussen. Die Erwägungsgründe des AI Act sprechen genau dieses Problem an. KI-Systeme im Beschäftigungskontext können Karriereaussichten und Lebensgrundlagen erheblich beeinflussen und beispielsweise historische Diskriminierungsmuster fortführen. AI Act Service Desk
Damit verändert sich auch die Diskussion.
Wir müssen nicht mehr nur fragen:
- Was kann KI?
Wir müssen ebenfalls fragen:
- Wer darf sie wofür einsetzen – und wer übernimmt Verantwortung für die Folgen?
WARUM IST VERANTWORTUNG BEI KI SO KOMPLIZIERT?
Bei einem klassischen Werkzeug erscheint die Rollenverteilung zunächst relativ übersichtlich.
Jemand stellt das Werkzeug her.
Jemand kauft es.
Jemand benutzt es.
Bei modernen KI-Systemen können dagegen zahlreiche Akteure beteiligt sein.
Ein Unternehmen entwickelt beispielsweise ein KI-Modell. Ein anderes Unternehmen integriert es in eine Software. Ein Anbieter bringt daraus ein fertiges Produkt auf den Markt. Ein Arbeitgeber kauft dieses Produkt. Eine Personalabteilung setzt es ein. Ein Mitarbeiter arbeitet mit den Ergebnissen – und am Ende ist ein Bewerber von einer Entscheidung betroffen.
Wer von ihnen ist verantwortlich?
Die wenig befriedigende, aber wichtige Antwort lautet:
Es kommt darauf an.
Und genau deshalb ist es problematisch, über „die Verantwortung der KI“ zu sprechen. Eine KI ist kein neuer Kollege, dem man nach einem Fehler eine Abmahnung auf den Tisch legen kann. Hinter dem System stehen Menschen und Organisationen, die es entwickeln, anbieten, konfigurieren, einsetzen und überwachen.
Der AI Act unterscheidet deshalb unterschiedliche Rollen und weist ihnen unterschiedliche Pflichten zu. Bei Hochrisiko-Systemen gibt es beispielsweise Pflichten für Anbieter und für Betreiber – also diejenigen, die ein System unter ihrer Verantwortung verwenden. AI Act Service Desk
Verantwortung verschwindet durch KI also nicht.
Sie verteilt sich.
WELCHE VERANTWORTUNG TRÄGT DER ANBIETER?
Bei Hochrisiko-KI verlangt der AI Act von Anbietern eine ganze Reihe von Maßnahmen.
Dazu gehören unter anderem Anforderungen an das System selbst, ein Qualitätsmanagement, Dokumentations- und Aufbewahrungspflichten sowie das vorgeschriebene Konformitätsbewertungsverfahren, bevor ein entsprechendes System auf den Markt gebracht oder in Betrieb genommen wird. Außerdem sieht die Verordnung unter bestimmten Voraussetzungen Korrektur- und Informationspflichten vor. AI Act Service Desk
Das zeigt einen wichtigen Grundgedanken:
Ein Anbieter soll nicht einfach sagen können:
- Wir haben die Technologie gebaut. Was andere damit machen, geht uns nichts mehr an.
Aber genauso wenig bedeutet das:
- Der Anbieter ist für alles verantwortlich, was irgendwann mit dem System passiert.
Denn auch die Organisation, die eine Hochrisiko-KI tatsächlich einsetzt, bekommt Pflichten.
UND WAS IST MIT DEM UNTERNEHMEN, DAS DIE KI EINSETZT?
Nehmen wir wieder unser Bewerbungsbeispiel.
Ein Arbeitgeber entwickelt das verwendete KI-System vielleicht überhaupt nicht selbst. Er kauft eine fertige Lösung.
Ist er damit aus der Verantwortung?
Nein.
Der AI Act sieht für Betreiber von Hochrisiko-KI eigene Pflichten vor. Sie sollen entsprechende Systeme unter anderem gemäß den Gebrauchsanweisungen verwenden, geeignete technische und organisatorische Maßnahmen treffen und die Funktionsweise überwachen. Die menschliche Aufsicht muss Personen übertragen werden, die über die notwendige Kompetenz, Ausbildung und Befugnis verfügen. AI Act Service Desk
Das ist ein ziemlich wichtiger Punkt. Denn ein Unternehmen kann sich nicht automatisch hinter dem Satz verstecken:
„Die Software hat das entschieden.“
Wenn ein Unternehmen KI in einem sensiblen Bereich einsetzt, bleibt die Frage relevant, wie es das tut.
Wer kontrolliert das System?
Wer versteht seine Grenzen?
Was passiert bei Auffälligkeiten?
Wer darf eingreifen?
Und wer entscheidet am Ende?
Technische Möglichkeiten und organisatorische Verantwortung gehören deshalb zusammen.
ABER ES WAR DOCH EIN MENSCH DABEI …
Hier kommen wir zu einem Problem, das viel größer ist als KI.
Stell dir vor, ein System bewertet 500 Bewerbungen.
Es erstellt Rankings.
Person A: 94 Punkte.
Person B: 88 Punkte.
Person C: 41 Punkte.
Daneben sitzt ein Mensch.
Formal trifft dieser Mensch die Entscheidung.
Aber was passiert in der Realität?
Wie wahrscheinlich ist es, dass dieser Mensch bei hunderten Bewertungen jedes einzelne KI-Ergebnis grundsätzlich infrage stellt?
Genau hier wird das Konzept der menschlichen Aufsicht interessant.
Artikel 14 des AI Act verlangt für Hochrisiko-KI, dass die Systeme so gestaltet werden, dass sie wirksam von natürlichen Personen beaufsichtigt werden können. Die zuständigen Personen sollen unter anderem Fähigkeiten und Grenzen des Systems verstehen, seine Funktionsweise überwachen und Ergebnisse gegebenenfalls ignorieren, außer Kraft setzen oder umkehren können. AI Act Service Desk
Besonders interessant ist, dass der Gesetzestext sogar ein psychologisches Problem ausdrücklich berücksichtigt:
Automation Bias.
Damit ist vereinfacht gesagt die Tendenz gemeint, automatisierten Ergebnissen zu stark zu vertrauen.
Die Maschine hat es schließlich ausgerechnet.
Der Algorithmus wird schon recht haben.
Genau das kann gefährlich werden.
Ein Mensch vor einem Bildschirm ist deshalb noch lange keine wirksame menschliche Kontrolle.
Human Oversight ist mehr als Human Presence.
WAS BEDEUTET „MENSCHLICHE AUFSICHT“ DANN ÜBERHAUPT?
Im Kern bedeutet es, dass der Mensch nicht zum dekorativen letzten Glied einer automatisierten Entscheidungskette werden darf.
Wer ein Hochrisiko-System beaufsichtigt, soll dessen relevante Fähigkeiten und Grenzen verstehen können. Die Person muss gegebenenfalls erkennen können, dass etwas nicht stimmt, die Ausgabe richtig interpretieren und – soweit angemessen – entscheiden können, das Ergebnis nicht zu verwenden oder das System zu stoppen. AI Act Service Desk
Und dafür braucht der Mensch etwas Entscheidendes:
Kompetenz und echte Befugnis.
Wenn eine Mitarbeiterin erkennt, dass das KI-System Unsinn produziert, aber organisatorisch überhaupt nicht befugt ist, davon abzuweichen, hilft die schönste menschliche Aufsicht wenig.
Das ist einer der Gründe, warum die Diskussion über KI-Kompetenz weit über die Frage hinausgeht, wie man einen guten Prompt schreibt.
KI-Kompetenz bedeutet auch:
zu verstehen, wann man einer Maschine nicht vertrauen sollte.
UND WER HAFTET, WENN TATSÄCHLICH ETWAS PASSIERT?
Hier müssen wir zwei Dinge auseinanderhalten, die in öffentlichen Diskussionen häufig vermischt werden:
regulatorische Verantwortung und zivilrechtliche Haftung.
Der AI Act legt Anforderungen und Pflichten für bestimmte Akteure und KI-Systeme fest.
Aber daraus folgt nicht automatisch eine einfache allgemeine Regel:
„Wenn KI einen Schaden verursacht, zahlt immer X.“
Ob jemand für einen konkreten Schaden haftet, kann von der jeweiligen Situation und weiteren Rechtsgrundlagen abhängen.
Das ist wichtig, weil „Verantwortung“ im Alltag viel weiter gefasst ist als „Haftung“ im juristischen Sinne.
Ein Unternehmen kann organisatorische Verantwortung tragen.
Ein Anbieter kann regulatorische Pflichten haben.
Ein Mensch kann eine Entscheidung treffen.
Und die Frage, wer für einen konkreten Schaden rechtlich einstehen muss, ist noch einmal eine eigene Prüfung.
Gerade deshalb sollten wir bei KI vorsichtig mit einfachen Schlagzeilen sein.
„Wer haftet für KI?“ hat keine universelle Ein-Satz-Antwort.
WAS PASSIERT, WENN KI IN DER MEDIZIN EINGESETZT WIRD?
Noch deutlicher wird das Problem, wenn wir unseren Kontext wechseln. Statt einer Bewerbung betrachten wir ein medizinisches Produkt. Ein KI-System analysiert Daten und unterstützt beispielsweise bei einer medizinischen Beurteilung.
Auch hier gibt es nicht einfach die Kategorie „medizinische KI = Hochrisiko“. Der AI Act knüpft bei KI in regulierten Produkten unter anderem daran an, ob das System selbst oder als Sicherheitskomponente unter bestimmte EU-Produktvorschriften fällt und eine Konformitätsbewertung durch Dritte erforderlich ist. AI Act Service Desk
Aber die Grundfrage bleibt:
Was passiert, wenn die KI einen Fehler macht?
Soll ein Arzt jede Empfehlung ignorieren, nur weil sie von einer Maschine kommt?
Natürlich nicht.
Soll er jede Empfehlung übernehmen, weil ein leistungsfähiges System sie errechnet hat?
Ebenfalls nicht.
Genau zwischen diesen beiden Extremen liegt eine der großen Herausforderungen unserer kommenden Jahre.
Wir wollen die Vorteile von KI nutzen, ohne menschliche Verantwortung einfach an Software auszulagern.
WELCHE PERSPEKTIVEN GIBT ES?
An diesem Punkt wird die Debatte spannend.
Die eine Seite sagt:
Wir brauchen klare Regeln.
Je stärker KI in sensible Lebensbereiche eingreift, desto wichtiger sind Transparenz, Kontrolle und eindeutig zugeordnete Verantwortlichkeiten. Das ist nachvollziehbar.
Niemand möchte von einem fehlerhaften System aussortiert werden und anschließend hören:
Tut uns leid. Der Algorithmus macht das eben so.
Eine andere Perspektive lautet:
Zu viele oder zu unklare Pflichten können Innovation erschweren.
Wenn Unternehmen bei jeder neuen KI-Anwendung mit komplexen regulatorischen Anforderungen konfrontiert sind, können Kosten steigen und Entwicklungen langsamer werden. Besonders kleinere Unternehmen können davon stärker betroffen sein als große Konzerne mit eigenen Rechts- und Compliance-Abteilungen.
Und dann gibt es noch eine dritte Perspektive:
Vielleicht ist nicht allein die Menge der Regeln entscheidend.
Vielleicht kommt es vor allem darauf an, ob wir Verantwortlichkeiten praktisch sinnvoll organisieren.
Denn weder völlige Regulierungslosigkeit noch ein hundertseitiges Compliance-Dokument garantieren automatisch gute Entscheidungen.
Am Ende müssen Menschen verstehen, was ein System kann, wo seine Grenzen liegen und wann eingegriffen werden muss.
WAS BEDEUTET DAS FÜR UNS?
Wir werden uns daran gewöhnen müssen, dass KI immer häufiger Teil einer Entscheidung ist, ohne dass sie zwangsläufig allein entscheidet und genau deshalb sollten wir sprachlich aufpassen.
„Die KI hat entschieden“ klingt bequem.
Vielleicht zu bequem.
Denn dieser Satz verschleiert schnell die Entscheidungen, die vorher bereits Menschen getroffen haben.
Jemand hat entschieden, ein KI-System einzusetzen.
Jemand hat entschieden, welches System verwendet wird.
Jemand hat festgelegt, welche Daten hineinfließen.
Jemand hat Prozesse darum gebaut.
Jemand bestimmt, wie stark das Ergebnis gewichtet wird und jemand entscheidet, ob und wann ein Mensch eingreifen kann.
Die spannendere Frage lautet deshalb vielleicht nicht:
Kann eine KI Verantwortung übernehmen?
Sondern:
Wie sorgen wir dafür, dass Menschen und Organisationen ihre Verantwortung nicht verlieren, nur weil zwischen ihnen und einer Entscheidung plötzlich ein Algorithmus steht?
DIE KI IST NICHT DAS ENDE DER VERANTWORTUNG
Künstliche Intelligenz wird leistungsfähiger. Sie wird mehr Aufgaben übernehmen und wahrscheinlich werden wir Entscheidungen erleben, bei denen es immer schwieriger wird, exakt nachzuvollziehen, welchen Anteil Mensch, Daten, Modell und Organisation am Ergebnis hatten. Gerade deshalb brauchen wir nicht nur bessere KI. Wir brauchen Menschen, die verstehen, mit welchen Systemen sie arbeiten. Unternehmen, die Verantwortung für ihren Einsatz übernehmen. Anbieter, die ihre Pflichten ernst nehmen. Regeln, die dort schützen, wo Risiken besonders groß sind und eine Gesellschaft, die bereit ist, über diese Fragen zu sprechen, ohne jede neue Technologie entweder als Rettung oder als Untergang zu betrachten.
Denn am Ende ist vielleicht genau das die entscheidende Frage unserer KI-Zukunft:
Nicht, ob Maschinen irgendwann Verantwortung übernehmen können – sondern ob wir Menschen bereit sind, Verantwortung für die Maschinen zu übernehmen, die wir entwickeln und einsetzen.
Nochmal der Hinweis: Dieser Beitrag dient der allgemeinen Information und Einordnung. Er stellt keine Rechtsberatung dar. Maßgeblich sind die jeweils geltenden Rechtsvorschriften und die Umstände des konkreten Einzelfalls.