Eine Ärztin blickt auf zwei Informationen.
Auf dem Bildschirm empfiehlt ein KI-System den nächsten Schritt. Die Empfehlung ist klar formuliert. Daneben sitzt eine Patientin, deren Schilderung nicht recht zu diesem Vorschlag passt.
Die Ärztin hält inne.
Folgt sie dem System? Fragt sie nach? Holt sie weitere Befunde ein? Und hat sie in ihrem Arbeitsalltag überhaupt die Zeit und die Freiheit, dem scheinbar eindeutigen Vorschlag zu widersprechen?
Dies ist kein berichteter Behandlungsfall, sondern ein Gedankenbeispiel. Es zeigt den Moment, um den es in diesem Beitrag geht: Ein System kann eine Entscheidung vorbereiten. Treffen und verantworten muss sie jemand in einer konkreten Situation.
Über künstliche Intelligenz im Gesundheitswesen wird häufig anhand ihrer Leistungsfähigkeit gesprochen. Kann sie Muster erkennen, Hinweise geben, Texte zusammenfassen oder Arbeitsabläufe beschleunigen? Das sind wichtige Fragen. Sie entscheiden darüber, ob eine Anwendung nützlich sein kann.
Die Szene mit der Ärztin stellt eine weitere Frage: Was geschieht mit einer Organisation, wenn sie sich zunehmend darauf verlässt, dass Systeme Entscheidungen vorbereiten? Wie sorgt sie dafür, dass Menschen nicht nur formal beteiligt sind, sondern tatsächlich verstehen, prüfen und entscheiden können?
Die eigentliche Transformation besteht nicht allein darin, neue Technik einzuführen. Sie besteht darin, Verantwortung unter veränderten Bedingungen verlässlich wahrzunehmen.
Zwischen Vorschlag und Entscheidung
Wir wissen nicht, ob die Empfehlung auf dem Bildschirm richtig ist. Vielleicht hat das System eine Auffälligkeit erkannt, die der Ärztin sonst entgangen wäre. Vielleicht fehlt ihm eine entscheidende Information aus dem Gespräch. Vielleicht sind beide Hinweise wichtig und müssen erst miteinander in Beziehung gesetzt werden.
Gerade deshalb wäre es falsch, die Geschichte als Gegensatz von „guter Mensch“ und „schlechter Maschine“ zu erzählen. Der Wert eines unterstützenden Systems liegt darin, menschliche Arbeit zu verbessern – nicht darin, dass seine Ergebnisse grundsätzlich bestätigt oder grundsätzlich verworfen werden.
Zwischen einem Vorschlag und einer verantwortbaren Entscheidung liegt jedoch ein Schritt, der leicht unsichtbar wird: die eigenständige Beurteilung.
Ein Mensch wird nicht schon dadurch zur verantwortlichen Instanz, dass am Ende sein Name im System steht oder er auf „Freigeben“ klickt. Er muss wissen, was der Vorschlag bedeutet und was er nicht bedeutet. Er muss erkennen können, welche Informationen fehlen könnten. Und er muss die Möglichkeit haben, aus guten Gründen anders zu handeln.
Für die Ärztin bedeutet das zunächst eine fachliche Aufgabe. Für ihre Einrichtung ist es eine organisatorische. Wer hat festgelegt, wofür das System eingesetzt werden darf? Wurde seine Eignung für den vorgesehenen Zweck geprüft? Welche Hinweise zu seinen Grenzen erhalten die Beschäftigten? Wie werden auffällige Ergebnisse gemeldet? Wer entscheidet, ob die Anwendung nach wiederkehrenden Problemen weiterverwendet wird?
Entwicklung, Beschaffung, Einführung, Betrieb und fachliche Nutzung sind unterschiedliche Verantwortungsbereiche. Ihre Grenzen lösen sich nicht dadurch auf, dass man allgemein von „menschlicher Kontrolle“ spricht. Im Gegenteil: Dieser Ausdruck ist nur dann hilfreich, wenn klar ist, wer was kontrollieren kann.
Der europäische AI Act verlangt bei Hochrisiko-KI-Systemen eine wirksame menschliche Aufsicht, die Risiken für Gesundheit, Sicherheit und Grundrechte verhindern oder verringern soll. Welche konkreten Anforderungen für eine Anwendung gelten, hängt von ihrer Einordnung und ihrem Einsatz ab. Der leitende Gedanke reicht weiter: Aufsicht darf nicht mit bloßer Anwesenheit verwechselt werden. Sie benötigt Informationen, Kompetenz und tatsächliche Eingriffsmöglichkeiten. Verordnung (EU) 2024/1689, insbesondere Art. 14 und 26
Die Ärztin in unserem Beispiel hält inne. Ob daraus eine sorgfältige Prüfung wird, entscheidet nicht allein ihre persönliche Haltung. Es entscheidet sich auch daran, ob die Organisation sie dazu befähigt.
Die stille Abgabe von Verantwortung
Die Gefahr liegt nicht darin, dass Beschäftigte technische Unterstützung annehmen. Eine gute Unterstützung kann entlasten, Fehler sichtbar machen und Zeit für Patientinnen und Patienten schaffen.
Die Gefahr beginnt dort, wo aus einer Unterstützung unbemerkt eine Vorgabe wird.
Wenn ein System häufig plausible Ergebnisse liefert, fällt es zunehmend schwer, den nächsten Vorschlag noch einmal unabhängig zu betrachten. Unter Zeitdruck wird aus „Das System empfiehlt …“ schnell „Das System hat festgestellt …“. Eine Unsicherheit verschwindet nicht, aber sie erhält die Form einer eindeutigen Anzeige.
Das muss kein bewusster Entschluss sein. Niemand erklärt ausdrücklich: „Ab heute geben wir die Verantwortung ab.“ Der Arbeitsablauf verändert sich Schritt für Schritt. Ein Feld wird standardmäßig übernommen. Ein Vorschlag wird kaum noch hinterfragt. Eine Abweichung muss zusätzlich begründet werden, während Zustimmung nur einen Klick benötigt.
Auf dem Papier bleibt die Entscheidung beim Menschen. Im Alltag wird sein Handlungsspielraum enger.
Genau hier lohnt die Rückkehr zu unserer Ärztin. Was passiert, wenn sie dem System widerspricht? Muss sie diesen Schritt umständlich dokumentieren, während die Übernahme des Vorschlags mühelos ist? Wird ihre Beobachtung als wichtiger Hinweis behandelt? Oder gilt sie als jemand, der einen effizienten Prozess aufhält?
Solche Details entscheiden darüber, wie Verantwortung tatsächlich ausgeübt wird. Sie sind keine Nebensache der Benutzeroberfläche. Sie prägen Verhalten.
Der Satz „Der Mensch entscheidet“ reicht daher nicht aus. Die Organisation muss fragen: Unter welchen Bedingungen kann er begründet anders entscheiden?
Informationssicherheit schützt die Voraussetzungen guter Entscheidungen
In der Eingangsszene sehen wir eine Empfehlung und eine abweichende Schilderung. Wir wissen aber noch nicht, welche Informationen dem System überhaupt vorlagen.
Sind die Daten vollständig? Gehören sie sicher zur richtigen Person? Sind sie aktuell? Wurde eine wichtige Beobachtung nur mündlich mitgeteilt? Könnte eine Schnittstelle Informationen anders übertragen haben, als Beschäftigte annehmen?
Damit wird Informationssicherheit unmittelbar Teil der Entscheidungssituation. Sie betrifft nicht nur den Schutz eines Servers oder die Abwehr eines Angriffs. Im Gesundheitswesen geht es auch darum, dass Informationen richtig, vertraulich und im benötigten Moment verfügbar sind. Fehlt eine dieser Voraussetzungen, verändert sich die Grundlage des Handelns.
Eine Patienteninformation ist kein beliebiger Datensatz. Sie steht für einen Menschen, der sich darauf verlässt, dass Angaben nicht verwechselt werden, dass Vertrauliches vertraulich bleibt und dass die behandelnden Personen im entscheidenden Moment auf das Richtige zugreifen können.
KI-gestützte Anwendungen können bestehende Abhängigkeiten vergrößern oder neue hinzufügen. Ihre Ergebnisse hängen von Eingaben, Datenqualität, technischen Schnittstellen, vorgesehenem Verwendungszweck und Betriebsbedingungen ab. Ein System mag innerhalb eines geprüften Rahmens zuverlässig helfen. Daraus folgt nicht, dass jede Ausgabe in jedem Einzelfall dieselbe Aussagekraft besitzt.
Informationssicherheit beginnt deshalb vor einem sichtbaren Vorfall. Sie beginnt, wenn eine Einrichtung ihre Informationswege versteht, Abhängigkeiten prüft und festlegt, wie Menschen bei Unklarheiten weiterarbeiten können.
Was soll die Ärztin tun, wenn relevante Angaben fehlen? Was, wenn sie einen Fehler vermutet, ihn aber nicht selbst beheben kann? Gibt es einen sicheren Weg, die Entscheidung zu vertagen oder eine weitere fachliche Einschätzung einzuholen? Und erreicht ihre Beobachtung die Personen, die das System überprüfen können?
Ein Informationssicherheitsmanagementsystem kann dafür Zuständigkeiten, Risiken und Verfahren ordnen. Wirksam wird es erst, wenn diese Ordnung im Arbeitsalltag ankommt. Ein dokumentierter Ablauf, den unter Druck niemand versteht oder anwenden kann, schützt nur begrenzt. Ebenso wenig hilft eine KI-Nutzungsregel, die alle unterschrieben haben, aber niemand in eine konkrete Situation übersetzen kann.
Sicherheit braucht deshalb mehr als Kontrolle. Sie braucht Verständlichkeit. Sie muss Menschen befähigen, im richtigen Moment die richtige Frage zu stellen.
Vertrauen entsteht nicht auf dem Bildschirm
Für die Patientin ist die Lage eine andere. Sie sieht vielleicht die Ärztin vor sich, möglicherweise einen Bildschirm, aber nicht die Prüfberichte, Zuständigkeiten und technischen Prozesse im Hintergrund. Sie muss darauf vertrauen können, dass die Einrichtung diese Dinge beherrscht.
Gesundheitseinrichtungen sind besondere Vertrauensräume. Menschen teilen dort Informationen, die sie außerhalb einer Behandlung oft niemandem anvertrauen würden. Sie lassen Eingriffe zu und folgen Empfehlungen in Situationen, die sie selbst nur teilweise beurteilen können.
Dieses Vertrauen entsteht nicht allein durch eine Zertifizierung oder eine Datenschutzerklärung. Beides kann wichtig sein. Erlebt wird Vertrauen aber in Begegnungen: Wird eine Sorge ernst genommen? Kann eine Entscheidung verständlich erklärt werden? Gibt es jemanden, der auch dann Verantwortung übernimmt, wenn ein Prozess nicht wie vorgesehen funktioniert?
Stellen wir uns vor, die Patientin fragt: „Hat der Computer entschieden, was jetzt mit mir passiert?“
Eine ausweichende Antwort würde möglicherweise mehr Vertrauen zerstören als die ehrliche Erklärung, dass ein System einen Hinweis geliefert hat. Die Ärztin muss dafür nicht jedes technische Detail vortragen. Sie sollte aber erklären können, welche Rolle der Hinweis spielte, was sie selbst geprüft hat und weshalb sie nun eine bestimmte Entscheidung empfiehlt.
Dafür braucht sie Unterstützung durch ihre Einrichtung. Wer Beschäftigten nicht vermittelt, wie eine Anwendung funktioniert und wo ihre Grenzen liegen, kann von ihnen keine verständliche Erklärung gegenüber Patientinnen und Patienten erwarten.
Vertrauen verlangt also keine Behauptung von Fehlerfreiheit. Es verlangt einen erkennbar verantwortlichen Umgang mit Möglichkeiten und Grenzen.
Die Weltgesundheitsorganisation betont beim Einsatz von KI für Gesundheit unter anderem menschliche Autonomie, Sicherheit, Transparenz und Rechenschaft. Diese Prinzipien beantworten noch nicht, ob ein bestimmtes System für eine bestimmte Aufgabe geeignet ist. Sie benennen aber den Maßstab, an dem sein Einsatz gemessen werden muss: die Folgen für die betroffenen Menschen. WHO, Ethics and governance of artificial intelligence for health
Führung beginnt vor der Technikentscheidung
Die Ärztin steht am Ende einer langen Folge organisatorischer Entscheidungen. Andere haben den Bedarf beschrieben, eine Lösung ausgewählt, ihre Einführung beschlossen, Arbeitsabläufe gestaltet und Schulungen vorgesehen. All das beeinflusst den Moment vor dem Bildschirm.
Führung beginnt deshalb nicht erst, wenn eine Anwendung freigegeben wird. Sie beginnt mit der Frage, welches Problem eine Einrichtung lösen will.
„Wir müssen KI einsetzen“ ist noch kein Ziel. „Wir wollen Beschäftigte bei einer klar definierten Aufgabe entlasten, ohne fachliche Prüfung zu schwächen“ kann eines sein. Vielleicht ist KI dafür geeignet. Vielleicht braucht es zunächst bessere Daten, eine verständlichere Dokumentation oder einen einfacheren Prozess.
Eine verantwortliche Leitung muss auch unterschiedliche Perspektiven zusammenbringen. Eine Anwendung kann technisch funktionieren und im Versorgungsalltag dennoch unpraktisch sein. Sie kann einen Ablauf beschleunigen, während sie an anderer Stelle zusätzliche Prüfungen erzeugt. Sie kann für eine Aufgabe sinnvoll und für eine benachbarte Aufgabe ungeeignet sein.
Deshalb gehören fachliche Anwenderinnen und Anwender, IT, Informationssicherheit, Datenschutz, Qualitätsmanagement und Leitung frühzeitig in die Betrachtung. Je nach Vorhaben kommen weitere Funktionen hinzu. Keine einzelne Perspektive kann die gesamte Entscheidung allein tragen.
Besonders wichtig ist die Frage nach Ressourcen. Die Ärztin soll einen Systemhinweis prüfen. Hat sie dafür Zeit? Weiß sie, was sie prüfen soll? Stehen ihr die nötigen Informationen zur Verfügung? Gibt es Unterstützung, wenn sie Zweifel hat?
Eine Einrichtung kann ihre Beschäftigten nicht zur kritischen Prüfung auffordern und zugleich jeden dafür benötigten Moment als vermeidbare Verzögerung behandeln. Sie kann nicht Eigenverantwortung verlangen und begründeten Widerspruch als Störung bewerten.
Führung zeigt sich darin, solche Widersprüche nicht nur zuzulassen, sondern in der Gestaltung der Arbeit zu berücksichtigen.
Die Kultur hinter den Regeln
Regeln, Zuständigkeiten und Prüfverfahren sind notwendig. Sie helfen, Risiken nicht allein dem Zufall oder persönlichem Engagement zu überlassen. Doch keine Richtlinie kann jede Situation vorwegnehmen.
Eine Kultur wird sichtbar, wenn etwas nicht passt.
Unsere Ärztin bemerkt den Widerspruch zwischen Systemvorschlag und Schilderung der Patientin. Was geschieht mit dieser Beobachtung? Bleibt sie ein isolierter Einzelfall? Kann sie unkompliziert weitergegeben werden? Prüft jemand, ob andere Beschäftigte Ähnliches erlebt haben? Erfahren die Meldenden, was daraus geworden ist?
In einer verantwortungsfähigen Organisation sind Zweifel nicht automatisch ein Zeichen mangelnder Akzeptanz. Sie können wertvolle Informationen über das System, seine Anwendung oder den Arbeitsprozess liefern.
Das bedeutet nicht, jeden Systemvorschlag unter Generalverdacht zu stellen. Es bedeutet, zwischen einer begründeten fachlichen Abweichung und bloßer Gewohnheit zu unterscheiden. Beide können vorkommen. Beide müssen auf unterschiedliche Weise bearbeitet werden.
Auch nach einem Fehler zeigt sich Kultur. Sucht die Organisation nur nach der Person, die zuletzt geklickt hat? Oder untersucht sie ebenso, welche Informationen fehlten, welche Erwartungen unklar waren und warum ein problematischer Ablauf plausibel erschien?
Verantwortung bleibt persönlich und organisatorisch zugleich. Beschäftigte müssen ihre Aufgaben sorgfältig erfüllen. Die Einrichtung muss Bedingungen schaffen, unter denen sorgfältiges Handeln möglich ist.
Eine gute Governance verbindet beides: klare Strukturen und eine gelebte Bereitschaft hinzusehen. Haltung ohne Zuständigkeit bleibt folgenlos. Zuständigkeit ohne offene Rückmeldungen bleibt formal.
Was menschlich bleiben soll
Die Digitalisierung verändert, welche Tätigkeiten Menschen selbst ausführen müssen. Das kann gut sein. Nicht jede Routine sollte erhalten bleiben, nur weil sie vertraut ist. Technik kann Beschäftigte entlasten und Raum für Aufgaben schaffen, die menschliche Aufmerksamkeit benötigen.
Aber die Frage, was technisch möglich ist, darf nicht die einzige Frage sein. Ebenso wichtig ist: Welche Fähigkeiten wollen wir durch den Einsatz von Technik stärken – und welche dürfen nicht verkümmern?
Die Ärztin benötigt Wissen. Doch sie benötigt mehr als abrufbares Wissen. Sie muss die Bedeutung widersprüchlicher Informationen für diesen Menschen in dieser Situation beurteilen. Sie muss Unsicherheit erkennen, möglicherweise aushalten und den nächsten Schritt begründen.
Urteilskraft verbindet Wissen mit Kontext und der Bereitschaft, eine naheliegende Antwort noch einmal zu prüfen. Fürsorge nimmt wahr, dass eine Entscheidung nicht nur einen Datensatz betrifft, sondern einen verletzlichen Menschen. Gewissen fragt, ob das eigene Handeln einer Person auch dann gerecht wird, wenn ein effizienter Ablauf etwas anderes nahelegt.
Das sind keine romantischen Gegenbegriffe zur Technik. Sie sind Fähigkeiten, für deren Ausübung eine gute Technik sogar Freiräume schaffen könnte.
Ein System kann Hinweise liefern, die eine Ärztin ohne Unterstützung übersehen hätte. Es kann ihr bei Routinearbeit Zeit sparen. Es kann Zusammenhänge sichtbar machen. Entscheidend ist, ob seine Einführung die menschliche Aufmerksamkeit verbessert – oder ob sie aus einer fachlichen Begegnung einen Vorgang macht, in dem nur noch Vorschläge bestätigt werden.
Vielleicht ist das die stillste und zugleich wichtigste Frage der Digitalisierung: Nicht nur, welche Arbeit künftig automatisiert werden kann, sondern welche Art von menschlicher Arbeit eine Einrichtung erhalten und fördern will.
