Nachricht | Digitaler Wandel - Digitalisierung der Arbeit - Digitalisierung und Demokratie Die letzte Entscheidung trifft der Mensch?

Wie menschliche Verantwortung im Umgang mit KI gestaltet werden muss

Information

«Robot» , der künstliche Maschinenmensch «frühstückt» 1930 in den Strassen Berlins mit seinem Erfinder, dem englischen Ingenieur Kapitän W.H. Richards.
  CC BY-SA 3.0, Bundesarchiv, Bild 102-09312 via Wikimedia Commons

«Künstliche Intelligenz» (KI) gehört zu den Begriffen der digitalen Welt, die ganz verschiedene Vorstellungen, Erwartungen, Hoffnungen und Sorgen auslösen. Das Meinungsbild zu den Möglichkeiten und dem Nutzen von KI ist gespalten: Können Roboter tatsächlich Menschen entlasten oder sollen sie nicht eher Menschen ablösen? Wie sicher sind autonom fahrende Autos? Helfen KI-Systeme Ärztinnen und Ärzten bei der Diagnose oder sind die Risiken der Falscherkennung und Diskriminierung zu hoch dafür? Kein Wunder: In Utopien wird KI als sinnvolle Assistenz für die menschliche Entscheidungsfähigkeit und Urteilskraft gepriesen und in Dystopien gilt die gleiche Technologie als Ersatz für die Menschen und ihre Fähigkeiten. Die Entwicklungen sind noch am Anfang, daher können viele Hoffnungen und Sorgen in Bezug auf KI noch nicht endgültig bewertet werden. Allerdings werden heute die Weichen gestellt und deshalb muss jetzt entschieden werden, welche KI wir haben wollen und welche KI tatsächlich entsteht: ob sie die Lebensqualität der Menschen verbessert oder allein Verwertungs- und Machtinteressen dient.

Wir verstehen KI als sozio-technisches System1 und als eine weitere digitale Technologie in einer freien und solidarischen Gesellschaft, die Menschen helfen kann, Daten auszuwerten, Informationen zu gewinnen, Wissen zu generieren, in der Arbeit zu entlasten, Zugänge zu schaffen und Teilhabe zu erleichtern. Um das gesellschaftliche Potenzial einer gemeinwohlorientierten KI zu entfalten, braucht KI neben ethischen Standards, mehr interdisziplinärer Forschung und einem klar abgestimmten Rechtsrahmen eine Debatte um Fragen der Autonomie. Was darf und kann automatisiert entschieden werden und welche Handlungsfreiheiten haben Menschen eigentlich genau, wenn es heißt, die letzte Entscheidung trifft immer ein Mensch?

Die Debatte, wie Menschen die Fähigkeiten von KI verantwortungsvoll einsetzen sollten und wo Grenzen liegen, wird meist im Rahmen der Ethik geführt – dabei wird Ethik jedoch für nicht mehr als ein Schlagwort genutzt, eine Auseinandersetzung mit ethischen Werten findet kaum statt. Es gibt mittlerweile mehr als 80 Leitfäden und Kataloge auf allen möglichen Ebenen, von der Enquete-Kommission KI des Deutschen Bundestags, der Datenethik-Kommission und der EU-Kommission über zivilgesellschaftliche Organisationen bis hin zu Unternehmen, die anstelle von ethischen Betrachtungen jedoch vielmehr Anforderungen an die Gestaltung und Regulierung von KI enthalten. Die Empfehlungen und Begriffe ähneln sich meist. Die Ziele und vor allem die Verbindlichkeit der Papiere sind jedoch mal mehr, mal weniger in Frage zu stellen und wirken daher eher als Feigenblatt.

In diesem Beitrag soll kein weiterer Ethik-Katalog vorgestellt werden, vielmehr werden einige zentrale linke Werte und Anforderungen hervorgehoben, die für den Umgang mit KI Bedeutung haben - unter der Voraussetzung, dass rechtliche Grundlagen wie beispielsweise zum Datenschutz, der allgemeinen Gleichbehandlung und der Grund- und Menschenrechte als selbstverständlich erachtet sowie natürliche Lebensgrundlagen geschützt werden. Dieses Papier legt einen Schwerpunkt auf die Bedeutung und Grenzen von menschlicher Entscheidungsfähigkeit, -freiheit und Verantwortung, und soll als Grundlage für eine gesellschaftliche Debatte und auch Ausgangspunkt für eine mögliche Regulierung der Anwendung von KI im sozialen Kontext dienen.

Wie Menschen mit KI-Systemen umgehen: Entscheidungsfähigkeit und Verantwortung

«Der Mensch trifft die letzte Entscheidung» – dies ist ein oft verwendeter Satz, wenn auf die Risiken hingewiesen wird, die KI-Systeme in sensiblen Kontexten mit sich bringen. Damit dieser Satz keine Beruhigungspille bleibt, muss konkretisiert werden, wie Menschen als Individuen oder als Teil einer Organisation mit KI umgehen sollten. Dabei differenzieren wir zwischen der menschlichen Entscheidungsfähigkeit als Voraussetzung dafür, Entscheidungen überhaupt und freiwillig treffen zu können, und der Verantwortung, die nur zugeschrieben werden kann, wenn Entscheidungsfähigkeit vorliegt. Verantwortung wiederum entscheidet über Regulierungsoptionen und Haftung. Was derzeit fehlt, ist eine wissenschaftliche und politische Debatte, um besser zu verstehen, wie Menschen in der konkreten Anwendung auf KI-Systeme reagieren, um Regulierung optimieren oder neu entwickeln zu können, die Entscheidende, Anwendende und Betroffene vor Risiken von KI schützen und Chancen nutzbar machen. Um Ansätze zu entwerfen, wie diese Regulierungsmaßnahmen optimiert oder neu entwickelt werden können, wird im Folgenden zunächst hergeleitet, wie Verantwortlichkeit im Entscheidungsprozess entsteht.

Entscheidungsfähigkeit ist die Voraussetzung für Verantwortung

In vielen Lebensbereichen unserer Gesellschaft ist es üblich, dass Menschen (individuell und als Teil von Organisationen) Entscheidungen treffen, die positiven und negativen Einfluss auf das Leben von anderen Menschen haben können: Eine Personalerin lehnt die Bewerbung einer Person ab, ein Richter spricht eine Angeklagte frei oder eine Bankangestellte vergibt einen Kredit an einen Selbstständigen. Wir sprechen den Entscheidenden in diesen Fällen für ihre Entscheidung, wenn auch nicht immer im juristischen Sinne, Verantwortung zu. Um Verantwortung in diesem Sinne für eine Entscheidung haben zu können, muss die entscheidende Person zunächst entscheidungsfähig im Sinne einer freien Entscheidung sein: Wer eine Entscheidung unfreiwillig oder ohne die Möglichkeit, die eigene Entscheidung zu überblicken und zu erfassen, trifft, kann keine Verantwortung für sie übernehmen. Entscheiden Menschen als Teil einer Organisation, ist die Organisation dafür verantwortlich, sicherzustellen, dass das gewünschte Maß an Entscheidungsfähigkeit gewährleistet ist2. Denn in der Außenwirkung sind nicht die Beschäftigten, sondern ist es die Organisation, die für Entscheidungen und ihre Folgen verantwortlich und haftbar gemacht wird.

In Bezug auf KI-Anwendungen wird bei der Entscheidungsfähigkeit vor allem an Bereiche gedacht, in denen Menschenleben direkt betroffen oder gar bedroht sind, wie beispielsweise bei Überwachung, dem autonomen Fahren oder in der Medizin. Es ergeben sich folgende Fragestellungen:

  1. Wollen wir, dass KI-Systeme ohne menschliches Zutun oder Aufsicht Entscheidungen treffen?
  2. Wenn ein KI-System einen Menschen bei einer Entscheidung oder Problemlösung unterstützt, sind Menschen in diesen Situationen tatsächlich entscheidungsfähig, so dass sie in maschinelle Prozesse eingreifen können?
  3. Müssen Menschen einen maschinellen Vorschlag annehmen oder soll gleichzeitig auch eine Option zum Ablehnen bestehen?

Wer bei der Anwendung von KI Verantwortung übernehmen soll, muss entscheidungsfähig sein. Jedoch ist je nach Anwendungsbereich ein menschlicher Eingriff in einen maschinellen Prozess erwünscht oder auch nicht. Entscheidungsfähigkeit geht dabei auch mit einer Zuweisung von Verantwortung über die Folgen der Entscheidung einher, so dass Entscheidungsfähigkeit von den einzelnen Entscheidenden auch als Zwang und Last empfunden werden kann.

Mensch oder Maschine: Wer entscheidet besser und was macht Entscheidungen aus?

In der Debatte stehen sich oftmals zwei Positionen gegenüber: Menschen wird eine höhere Fähigkeit zugeschrieben, verschiedene Faktoren und Kontexte in eine Entscheidung einzubeziehen und empathisch zu sein oder moralisch handeln zu können. Maschinen werden dagegen oft als zuverlässiger und objektiver betrachtet, weil sie nicht aus Emotionen, Vorurteilen oder individuellen Werten motiviert entscheiden, sondern Ergebnisse lediglich mathematisch berechnen. Welche ist nun die bessere Entscheidungsgrundlage und treffen diese Vorurteile überhaupt zu?

Um diskutieren zu können, wer oder was «bessere» Entscheidungen trifft, muss zunächst geklärt sein, was eine «gute» Entscheidung überhaupt ausmacht:

Die Güte einer Entscheidung bemisst sich unter anderem nach einem erzielten Nutzen oder Vorteilen durch eben diese Entscheidung für etwas, aber auch nach einem entgangenen Vorteil durch eine Entscheidung gegen etwas. In der KI-Debatte wird derzeit vor allem nach dem Schadenspotenzial einer Entscheidung auf Menschen, Systeme oder Umwelt differenziert: Schäden können entstehen, wenn Fehlentscheidungen durch Mensch oder Maschine getroffen werden oder technisch korrekte Entscheidungen (bei korrektem Funktionieren eines KI-Systems und richtigem Verhalten eines Menschen) schädliche Folgen haben. Dabei ist auch zu unterscheiden, wie hoch ein materieller oder immaterieller Schaden sein kann und ob Menschen diesem potenziellen Schaden ausweichen können.

So kann ein KI-System durchaus unüberwacht oder ohne menschliche Mitarbeit die Post in einem Unternehmen oder einer Behörde sortieren, hierzu sind weder Empathie noch individuelle Kontexte nötig. Das Schadenspotenzial eines Fehlers ist üblicherweise eher gering3.

Ein größeres Schadenspotenzial für Menschen besteht hingegen, wenn durch Entscheidungen großer Einfluss auf die Lebensgestaltung genommen wird, Teilhabe oder Gesundheit betroffen sind, oder auch Entscheidungen nicht ausgewichen werden kann oder aus anderen Perspektiven neu bewertet werden können. Dies kann der Fall sein, wenn Richtlinien oder Systeme vorgeben, dass unter bestimmten Umständen immer die gleiche Entscheidung getroffen wird und keine Entscheidungs- oder Ermessensspielräume mehr bestehen. Was durchaus sinnvoll sein kann, um Diskriminierungen zu vermeiden, kann bei Fehlentscheidungen gleichzeitig Schäden manifestieren.

Werden Systeme nicht nur in einem Kontext oder in einem Einzelfall eingesetzt, sondern in verschiedenen Kontexten oder Organisationen, wird eine Ausweichmöglichkeit immer geringer. Eine einmal getroffene Entscheidung wiederholt sich dann in verschiedenen Umgebungen und das kann sich für Einzelne als schädlich erweisen.

Wird beispielsweise ein KI-System mit Sprachcomputer in einem Unternehmen zur Auswahl von Bewerberinnen und Bewerbern eingesetzt, wird die Möglichkeit für diese, in einem persönlichen Gespräch menschliche Entscheiderinnen oder Entscheider zu überzeugen, eingeschränkt. Wird dieses System von einer ganzen Branche genutzt, würden sich die Entscheidungen für oder gegen Kandidatinnen und Kandidaten wahrscheinlich angleichen. Das ist in etwa so, als würde eine Personal-verantwortliche Person für die ganze Branchen auswählen. Menschliche Analysen und Bewertungen haben zwar auch ihre Schwächen – Menschen haben daher aber auch die Chance, von verschiedenen Entscheidenden mit unterschiedlichen Persönlichkeiten und Ansprüchen unter Umständen positiver beurteilt zu werden.

Dass auch die Bewertung eines entgangenen Nutzens oder Vorteils einbezogen werden muss, wird bei einem Beispiel aus dem Gesundheitsbereich deutlich: Wird beispielsweise die Durchführung einer Operation nur danach entschieden, welcher Schaden entstehen könnte, würden viele lebensrettende Eingriffe ausfallen. Diese Abwägung muss auch für KI-Systeme vorgenommen werden – teilweise gesellschaftlich, teilweise individuell.

Ob und an welcher Stelle Menschen oder KI für Entscheidungen eingesetzt werden sollten und wie viel Entscheidungsfähigkeit Menschen auch in Organisationen behalten oder auf Maschinen übertragen sollten, hängt also sowohl davon ab, wie viel Schaden durch diese Entscheidung entstehen kann, falls sie nicht zum erwünschten Ergebnis führt, als auch wie viel Vorteil entgeht, wenn der mögliche Schaden höher bewertet wird als der mögliche Nutzen. Vor diesem Hintergrund kann es sinnvoll sein, bestimmte Entscheidungen gar nicht oder nicht vollständig einer KI oder auch gar nicht oder nicht vollständig einem Menschen zu überlassen.

Diese Abwägung hängt auch mit Vertrauen in Maschinen, Systeme und Menschen zusammen.

Welches Vertrauen wir in welchem Anwendungskontext wem entgegenbringen, ist nicht nur eine individuelle Angelegenheit, sondern auch eine politische Gestaltungsfrage: Zuverlässiges, transparentes Handeln, Mitbestimmung und -gestaltung sowie eine starke Orientierung an Gemeinwohl im Rahmen einer sozial-ökologischen Transformation stärkt die Vertrauenswürdigkeit von Menschen in andere Menschen, Systeme und Organisationen – diese Vertrauenswürdigkeit ist die Voraussetzung dafür, dass Teilhabe und Gerechtigkeit durch und mit KI überhaupt möglich werden können.

Menschliche Entscheidungsfähigkeiten im Umgang mit Maschinen

Im sozialen Anwendungskontext von KI verhält sich die menschliche Entscheidungsfähigkeit in Relation zur Autonomie der Maschine – je autonomer die Maschine, desto weniger Entscheidung liegt beim Menschen und umgekehrt. Eine hohe Autonomie beim KI-System kann positiv sein, wenn das System durch diese hohe Autonomie Menschen die gewünschte Entlastung bietet. Hohe Autonomie kann umgekehrt aber auch belasten, wenn Menschen bei der Anwendung des KI-Systems erfahren, dass sie keinen Einfluss auf unerwünschte Prozesse nehmen können. Der Autonomiegrad ist also je nach Anwendungskontext zu gestalten.

Im Umgang mit KI-Systemen unterscheiden Forschende bis zu zehn «Autonomiegrade». Diese geben an wie autonom Maschinen funktionieren können: Von der vollständigen Steuerung des Systems durch Menschen bis hin zur vollständig selbstständigen Ausführung einer Aufgabe durch ein maschinelles System. Andere Betrachtungsweisen gehen etwas reduzierter von algorithmenbasierten (stützenden), algorithmengetriebenen (wesentlich prägenden) oder algorithmendeterminierten (autonomen) Entscheidungen aus oder sprechen von «Human in the loop», «Human on the loop» oder «Human in command».

Erste wissenschaftliche Untersuchungen dazu, wie Menschen mit automatisierten Entscheidungen oder Vorschlägen umgehen, ergeben, dass Fähigkeiten und Erfahrungswissen durch mangelnde Praxis verloren gehen und beispielsweise eine reine menschliche Überwachung eines automatisierten Prozesses nur für etwa 30 Minuten konzentriert erfolgen kann. Weiterhin ist die menschliche Fähigkeit, die Richtigkeit des maschinellen Handelns jederzeit korrekt einschätzen zu können, aufgrund der Komplexität und fehlenden Nachvollziehbarkeit von KI-Systemen begrenzt. Auch die Gestaltung des Systems hat darauf Einfluss, wie einfach oder kompliziert es ist, Fehler zu entdecken und zu korrigieren. Wird die Anwendung eines Systems zu schwierig und die Fehlerkennung und -korrektur zu aufwändig, neigen Menschen dazu, aufgrund von Bequemlichkeit oder Überforderung den maschinellen Empfehlungen und Vorschlägen zu folgen oder diese auch gänzlich abzulehnen4.

In solchen Fällen kann davon ausgegangen werden, dass die menschliche Entscheidungsfähigkeit nur eingeschränkt oder gar nicht vorhanden ist, obwohl ein Mensch oberflächlich betrachtet mindestens die letzte Entscheidung trifft. Sollen Menschen also eine Aufgabe mit Hilfe eines KI-Systems lösen und wird ihnen davon ausgehend Verantwortung für diese Aufgabe zugesprochen, müssen KI-Systeme und der Kontext ihres Einsatzes bestimmte Anforderungen erfüllen, die die menschliche Entscheidungsfähigkeit insofern sichern, dass sie dafür auch Verantwortung übernehmen können. Insbesondere in abhängigen Arbeitsverhältnissen ist es von hoher Bedeutung, dass Menschen wissen, über welche Entscheidungsfähigkeit sie verfügen, also ob sie Entscheidungen treffen können und dürfen und wissen, für was sie verantwortlich sind oder gemacht werden können.

Damit definiert und reguliert werden kann, bei welchen Anwendungen wie viel Entscheidungsfähigkeit erwünscht und erforderlich ist und folglich Menschen Verantwortung für den Umgang mit einer KI-Anwendung zugeschrieben werden kann, könnte es sinnvoll sein, das Verhältnis von maschineller Autonomie und menschlicher Entscheidungsfähigkeit verschiedenen Anwendungsarten zuzuordnen, wie es aktuell bei Schadensrisiko und -wahrscheinlichkeit erfolgt.

Sensible Anwendungsfelder: Risikoklassen- oder Kritikalitätssysteme

Es gibt derzeit bereits Modellansätze, wie ein Schadensrisiko (Kritikalität) eines KI-Systems in verschiedene Risikoklassen eingestuft werden kann, um daraus Bedarfe für Regulierung und Kontrolle von KI-Systemen abzuleiten. Es sollte geprüft werden, ob es sinnvoll ist, das Verhältnis von maschineller Autonomie und menschliche Entscheidungsfreiheiten daran anzuknüpfen.

Die bekanntesten Modelle sind derzeit der kritikalitätsbasierte Ansatz von Prof. Dr. Katharina Zweig der TU Kaiserlautern und die Kritikalitätspyramide für ein risikoadaptiertes Regulierungssystem der Datenethik-Kommission. Beide Modelle gehen davon aus, dass KI-Systeme in fünf Risikoklassen einzuordnen sind, wobei die 5. Klasse ein solch hohes Risiko bedeutet, dass das System verboten werden muss.

Ebenfalls eint beide Modelle, dass zahlreiche Anwendungen der untersten Stufe zugeordnet werden und danach ein geringes oder gar kein Schadenspotenzial haben und daher wenig strenge oder gar keine Anforderungen an Regulierung benötigen (z.B. algorithmische Musik- oder Film-Vorschläge). Mittleres Risiko der Stufen 2 bis 45 haben Anwendungen, die unter gewissen Umständen bei Fehlerhaftigkeit ein Risiko für Einzelne, soziale Systeme oder die Umwelt darstellen können und daher mehr oder weniger umfangreiche gesetzliche Anforderungen erfüllen müssen (z.B. Scoring-Anwendungen in Behörden oder Nachrichtenauswahl auf Plattformen). Die Grenzen zwischen den Risikoklassen können verschwimmen – so ist es denkbar, dass in Musik-Apps stereotyp geschlechtlich codierte Informationen an Nutzerinnen und Nutzer ausgespielt werden (beispielsweise mögen viele als «weiblich» angemeldete Menschen Popmusik und in der Folge erhalten alle, die als weiblich gelistet sind, Vorschläge für Popmusik). Hierin liegt das gesellschaftliche Risiko, dass Algorithmen Spezifika einer demographischen Gruppe lernen und damit dazu beitragen, Stereotype zu bestimmten demographischen Gruppen zu manifestieren. Die wenigsten Anwendungen haben ein besonders hohes und unvertretbares Risiko für Einzelne und auf die Gesellschaft. In beiden Modellen werden solche Anwendungen in die höchste Risikoklasse eingeordnet und würden auch mit strengster Regulierung und Aufsicht nicht erlaubt werden dürfen (z.B. letale automatische Waffensysteme oder auch Überwachung durch Gesichtserkennung im öffentlichen Raum). Je nach Modell wird das Risiko danach bemessen, wie wahrscheinlich ein möglicher Schadenseintritt ist (Datenethik-Kommission) oder wie hoch oder gering die Möglichkeit für Einzelne ist, einer KI-Anwendung auszuweichen (Zweig).

Ein erster Regulierungsentwurf der EU-Kommission, der im April 2021 veröffentlich wurde, geht von vier Klassen für KI-Systeme aus. Unbeachtet bleibt auch hier, dass es innerhalb eines Prozesses verschiedene Risiken geben kann, wie beispielsweise in einem Bewerbungsprozess, der verschiedene Stufen beinhaltet, an denen Entscheidungen automatisiert oder manuell getroffen werden können. Um KI-Systeme beurteilen zu können, müssen ihre Chancen und Risiken in jedem Fall in ihrem sektoralen Anwendungskontext bewertet werden. Auf dieser Basis muss eine Regulierung bereits vor ihrem Einsatz erfolgen und nicht nachträglich. Gesellschaftliche Experimente mit KI-Systemen sind für uns keine Option.

Bestehende Modelle und auch der Entwurf der EU-Kommission sind unter anderem aufgrund ihrer Eindimensionalität durch die Betrachtung von Schadensrisiko (ohne Bewertung von entgangenem Vorteil oder Mehrwert) noch nicht geeignet, um eine endgültige und umfassende Regulierung aus ihnen abzuleiten. Folglich können sie auch nicht mit dem Verhältnis von maschineller Autonomie und menschlicher Entscheidungsfähigkeit und Verantwortlichkeit verbunden werden.

Wie viel menschliche Entscheidungsfähigkeit und wie viel maschinelle Autonomie wollen wir?

Das Verhältnis von maschineller Autonomie und menschlicher Entscheidungsfähigkeit sollte Teil der nötigen Regulierungen von KI-Systemen sein und daher bedarf es zunächst einer Debatte, wie diese Regulierung erfolgen kann. Hierzu sind folgende Fragen zu klären:

  1. Wodurch kann Risiko entstehen: Durch fehlerhafte Anwendung oder Fehlfunktionen eines KI-Systems oder durch schädliche Auswirkung des Systems bei fehlerfreiem Anwenden und Funktionieren?

  2. Welche Entscheidungen sollen in welchen Bereichen durch Menschen, welche durch Maschinen getroffen werden?

Grundsätzlich wäre es sinnvoll, ein spezifisches Stufenmodell für die Regulierung des Verhältnisses von maschineller Autonomie und der menschlichen Entscheidungsfähigkeit und Verantwortung zu entwickeln. Dabei ist die gewünschte Entscheidungsfähigkeit für den Anwendungsbereich, Anwendungsschritt und die Organisation zu definieren und in der Folge für das KI-System zu bestimmen, welche Entscheidungsfähigkeit in welchem sozialen Kontext überhaupt ermöglicht wird. Die Anforderungen an das KI-System könnten sich dabei an den bisher bekannten Automatisierungsgraden für Maschinen anlehnen und mindestens vier Grade unterscheiden:

  1. Grad: Keine oder geringe menschliche Entscheidungsfähigkeit
    KI-System führt Aufgabe vollständig autonom aus, informiert Menschen über Ergebnis, Mensch kann Ausführung stoppen

  2. Grad: Eingeschränkte Entscheidungsfähigkeit
    KI-System schlägt eine Aufgabenausführung vor, Mensch muss bestätigen und Ausführung starten

  3. Grad: Erweiterte Entscheidungsfähigkeit
    KI-System schlägt mindestens zwei Optionen zur Aufgabenausführung vor, Mensch muss auswählen

  4. Grad: Hohe Entscheidungsfähigkeit
    KI-System schlägt mindestens zwei Optionen zur Aufgabenausführung vor, Prämissen und Nebenfolgen können von Menschen modifiziert werden, um dann zu sehen, ob sich dadurch eine andere Handlungsempfehlung ergibt. Die Zielsetzungen kann variiert werden, z.B. Handlungserfolgswahrscheinlichkeit maximieren vs. Nebenfolgen minimieren etc.

In der Debatte um das Verhältnis von maschineller Autonomie und menschlicher Entscheidungsfähigkeit und Verantwortung könnte diese Zuordnung die Entwicklung und Regulierung von KI-Systemen auch insofern erleichtern, als das gewünschte Verhältnis schon bei der Entwicklung von KI-Systemen mitgedacht und Rechte für Betroffene und Beschäftigte entsprechend erweitert werden können. Auch die weitere Erforschung und Entwicklung von Verfahren zur Nachvollziehbarkeit von KI-systembasierten Problemlösungsprozessen kann sich daran orientieren. Gleichzeitig schafft eine klare Zuordnung der Entscheidungsfähigkeit und der Verantwortung Vertrauen in Anwendungen und Organisationen, und kann Orientierung geben, welche Fort- und Weiterbildungen für welche Berufsgruppen und welche Informationsangebote für die betroffenen Menschen nötig sind.

KI-Systeme sind mehr und mehr im Einsatz – anstelle immer neue Ethik-Leitlinien zu entwickeln, die letztendlich mehr als Feigenblatt denn als Regulierungsansatz dienen, halten wir es für dringend geboten, die entscheidende Debatte zu führen, wie viel menschliche Entscheidungsfähigkeit und Verantwortung wir in welchen Bereichen unseres Lebens haben wollen und welche Rolle Menschen und Maschinen dabei in den konkreten Anwendungsfällen spielen sollten.


1 Sozio-technische Systeme zeichnen sich dadurch aus, dass technische, organisationale und personelle Aspekte/Systeme eine funktionale Einheit bilden und einander beeinflussen.

2 Hierbei ist zu unterscheiden, in welchen Organisationen Freiwilligkeit überhaupt juristisch möglich und gesellschaftlich erwünscht ist; so entscheiden einige Menschen freiwillig, bei Eintritt in eine Organisation auf ein gewisses Maß an Freiwilligkeit zu verzichten (z.B. Beamte), von anderen wird erwartet, dass sie beispielsweise einen Teilbereich der Organisation oder ihrer Aufgaben eigenverantwortlich steuern (mittlere Führungsebene in Wirtschaft und Industrie, Ärzte im Krankenhaus)

3 «üblicherweise» räumt hier die Ausnahme ein, dass ein hoher Schaden entstehen kann, wenn eine fehlerhafte Zustellung dazu führt, dass eine wichtige Frist versäumt wird.

4 Parasuraman & Manzey (2010): «Complacency and bias in human use of automation: An attentional integration»; Human Factors, 52(3), 381-410, und Parasuraman & Riley (1997): «Humans and automation: Use, misuse, disuse, abuse»; Human Factors; 39(2), 230-253

5 Bei Zweig: Stufen 1-3