eHealth-Interview: KI-Verordnung und DSGVO, Risiken und Co.

Inhaltsverzeichnis

Der Einsatz von Künstlicher Intelligenz (KI) im Gesundheitswesen ist kein Novum. In der Radiologie sind KI-gestützte bildgebende Verfahren inzwischen an der Tagesordnung, wodurch Tumore und andere Auffälligkeiten von einer KI-Software automatisch erkannt und markiert werden. Die menschliche Diagnostik wird so effizient unterstützt. Neu ist allerdings die organisationsübergreifende Integration von KI-Systemen in Arztpraxen, die derzeit großes Interesse erfährt. Hierzu gehören beispielsweise intelligente Anrufbeantworter, die Praxisteams entlasten, indem sie gezielt relevante Informationen erfragen und anschließend übersichtlich aufbereiten.

Zum aktuellen Stand von KI im Gesundheitswesen und künftigen Regelungen haben wir mit Philipp Müller-Peltzer gesprochen, Rechtsanwalt und Partner bei der Technologiekanzlei Schürmann Rosenthal Dreyer Rechtsanwälte.

Dies ist der erste Teil einer dreiteiligen Interview-Serie.

heise online: Können Sie umreißen, wie die aktuelle Gesetzgebung bezüglich KI im Gesundheitswesen aussieht?

Müller-Peltzer: Es gibt kein spezielles (sektorspezifisches) Gesetz für KI im Gesundheitswesen. Regelungen für KI im Gesundheitsbereich finden sich bruchstückhaft in vielen nationalen und europäischen Regelungen. Bereits im Bürgerlichen Gesetzbuch (BGB) lassen sich verschiedene Anknüpfungspunkte ermitteln: § 630a BGB regelt die vertragstypischen Pflichten beim Behandlungsvertrag. Nach dessen Absatz 2 hat die Behandlung nach den zum Zeitpunkt der Behandlung bestehenden, allgemein anerkannten, fachlichen Standards zu erfolgen, soweit nicht etwas anderes vereinbart ist.

Zu diesen Standards gehört es beim Einsatz von KI, dass diese als Medizinprodukt im Sinne von Artikel 2 Nr. 1 Medical Device Regulation (MDR) zugelassen ist. Nach § 630c Abs. 2 BGB ist der Behandelnde verpflichtet, dem Patienten in verständlicher Weise zu Beginn der Behandlung und, soweit erforderlich, in deren Verlauf sämtliche für die Behandlung wesentlichen Umstände zu erläutern. Hierzu gehört zum Beispiel auch der Einsatz von KI-Systemen.

Behandlungsvertrag zwischen Patient und Arzt

Der Behandlungsvertrag gemäß § 630a des Bürgerlichen Gesetzbuchs (BGB) in Deutschland regelt die rechtlichen Aspekte zwischen einem Patienten und einem Gesundheitsdienstleister, wie beispielsweise einem Arzt, Zahnarzt oder Krankenhaus.

• Behandlungsziel: Der Vertrag muss das Ziel der Behandlung oder des Eingriffs klar definieren. Dies kann die Diagnose, Therapie oder Prävention einer Krankheit oder Verletzung sein.
• Aufklärungspflicht: Der Gesundheitsdienstleister hat die Pflicht, den Patienten umfassend über die geplante Behandlung, mögliche Risiken, Alternativen und Konsequenzen aufzuklären. Der Patient muss seine Einwilligung auf der Grundlage dieser Informationen geben.
• Einwilligung: Der Patient muss seine ausdrückliche Einwilligung zur Behandlung geben. Diese Einwilligung sollte schriftlich dokumentiert werden, vorzugsweise in Form einer Einverständniserklärung.
• Verschwiegenheitspflicht: Der Gesundheitsdienstleister ist zur Verschwiegenheit über alle ihm im Zusammenhang mit der Behandlung bekannt gewordenen Informationen verpflichtet. Dies gilt auch nach Beendigung des Vertragsverhältnisses.
• Dokumentation: Der Gesundheitsdienstleister ist verpflichtet, die Behandlung und den Verlauf angemessen zu dokumentieren.
• Honorar und Kosten: Die Vereinbarung über die Vergütung der erbrachten Leistungen sollte im Vertrag festgehalten werden. Hierbei können gesetzliche Regelungen und Gebührenordnungen relevant sein.
• Aufklärung bei Weiterverweisung: Falls der Gesundheitsdienstleister den Patienten an einen anderen Spezialisten überweist, muss er den Patienten über die Gründe und den Zweck der Überweisung aufklären.
• Haftung und Schadensersatz: Der Vertrag kann Regelungen zur Haftung und zum Schadensersatz im Falle von Behandlungsfehlern oder unzureichender Leistung enthalten.
• Vertragsabschluss: Der Behandlungsvertrag kommt durch das Einverständnis des Patienten und die Annahme des Auftrags durch den Gesundheitsdienstleister zustande. Dies kann in mündlicher oder schriftlicher Form erfolgen.
• Kündigung und Beendigung: Die Bedingungen für die Kündigung des Vertrags sollten im Behandlungsvertrag festgehalten werden.

Wie stehen DSGVO und KI-Verordnung zueinander?

Auch die Datenschutzgrundverordnung (DSGVO) als Querschnittmaterie und allgemeines Datenschutzgesetz ist technologieneutral und insofern für KI-Anwendungen anwendbar, solange personenbezogene Daten verarbeitet werden. Gleichwohl entstehen bei strenger Lesart der DSGVO diverse Reibungen zwischen den datenschutzrechtlichen Grundsätzen und der Produktivsetzung von KI-Systemen, weshalb in der Praxis eine pragmatische und risikoorientierte Herangehensweise unabdingbar ist.

Ein Stück weit austariert werden sollen datenschutzrechtliche Spannungen durch die KI-Verordnung. Die KI-Verordnung möchte branchen- beziehungsweise produktartübergreifend das Inverkehrbringen, die Inbetriebnahme und Nutzung von KI-Systemen mit besonderer Grundrechtsrelevanz regeln. Damit ist die KI-Verordnung auch für KI-Anwendungen im Gesundheitsbereich einschlägig. Sektorspezifische Regelungen für KI im Gesundheitsbereich, also Regelungen, die sich ausdrücklich an KI im Gesundheitssektor richten, werden derzeit von der EU nicht in Erwägung gezogen.

Könnte es passieren, dass Ärzte künftig zum Einsatz von KI-Systemen verpflichtet werden?

Grundsätzlich könnte das passieren. Wenn es für bestimmte Diagnostiken beispielsweise Verfahren gibt, die sich bewährt haben, dann kann es zum Beispiel sein, dass der Arzt an der Stelle auch bestimmte Medizinprodukte einsetzen muss. Denn wenn er das mit Methoden machen würde, die vor 50 Jahren zum Stand der fachlichen Standards gehörten, dann wäre das möglicherweise nicht mehr sachgerecht und könnte zu einem Behandlungsfehler führen. Voraussetzung ist dabei aber auch, wie bereits erwähnt, dass die eingesetzten KI-Systeme nach MDR als Medizinprodukt zugelassen sind.

Wer haftet dann beim Einsatz von KI-Systemen im Fall eines Behandlungsfehlers?

Die KI verdrängt Ärztinnen und Ärzte nicht aus der haftungsrechtlichen Verantwortung. Gegen eine Verlagerung von der Arzthaftung hin zu einer Herstellerhaftung muss man einwenden, dass es auch beim Einsatz von KI-Systemen weiterhin das ärztliche Personal ist, das die Entscheidung für eine bestimmte Behandlung und deren Durchführung trifft. Das ist auch als sogenannter Arztvorbehalt bekannt.

Ärzte müssen auch bei KI-Systemen laienverständlich über Risiken aufklären

Welche Pflichten kommen denn dann auf den Arzt oder die Ärztin zu?

Ärztinnen und Ärzte müssen die wesentlichen Umstände der Behandlung erläutern. Er muss der Patientin und dem Patienten klarmachen, was passieren wird: Was sind die Risiken des Einsatzes? Wie wird die Behandlung im Großen und Ganzen ablaufen? Die Erläuterung muss auch ein medizinischer Laie verstehen können. Zu den allgemein anerkannten medizinischen Behandlungsstandards gehört die Zulassung der KI-Software als Medizinprodukt gemäß Artikel 2 Nr. 1 der MDR.

EU-Verordnung über Medizinprodukte (MDR)

Die europäische Medizinprodukte-Verordnung (Medical Device Regulation, MDR) gilt seit 2021 und hat das bis dahin geltende Medizinproduktegesetz (MPG) abgelöst. Die Verordnung betrifft vor allem Hersteller von Medizinprodukten, aber auch weitere, wie Medizinprodukte nutzende Krankenhäuser, Praxen, Händler und Importeure.

Die MDR ist eine europäische Verordnung. Das bedeutet, dass sie unmittelbar in allen europäischen Mitgliedstaaten gilt. Die MDR regelt – vereinfacht dargestellt – unter welchen Umständen derartige Produkte eingesetzt beziehungsweise auf den Markt gebracht werden können. In den USA ist für derartige Zulassungen die Food and Drug Administration (FDA) zuständig, in Deutschland maßgeblich das Bundesinstitut für Arzneimittel und Medizinprodukte (BfArM). Software fällt unter die Definition eines Medizinproduktes, wenn sie für einen medizinischen Zweck verwendet wird. Für KI-basierte Software gilt hierbei nichts anderes als für traditionell programmierte Software. Damit ist auch die „intelligente“ Software ein Medizinprodukt, wenn sie zu medizinischen Zwecken eingesetzt wird. Für die Qualifikation einer KI-Software als Medizinprodukt ist die subjektive Zweckbestimmung (Widmung) des Herstellers, also zum Beispiel die des Medical-App-Anbieters, maßgeblich.

Wie werden KI-Systeme im Gesundheitsbereich aktuell eingestuft?

Wir betrachten die meisten KI-Systeme im Gesundheitsbereich aktuell als Hochrisiko-Anwendungen. Anhang II Abschnitt A der KI-Verordnung enthält einen Katalog von einschlägigen EU-Rechtsakten. Dabei handelt es sich vorrangig um Richtlinien und Verordnungen, welche das Inverkehrbringen oder die Inbetriebnahme von besonderen Produkten regeln, bei denen es auf die Produktsicherheit in besonderem Maße ankommt (zum Beispiel Maschinen, Spielzeug oder medizinische Geräte). KI-Systeme, die als Produkt oder Produktbestandteil eines in diesen Rechtsakten geregelten Produktes einer Konformitätsbewertung durch Dritte unterliegen, gelten automatisch als Hochrisiko-KI-System. So verhält es sich auch bei Medizinprodukten:

Die MDR ist als Nr. 11 in Anhang II der KI-Verordnung (PDF) ausdrücklich genannt. Nach Art. 6 Absatz 1 in Verbindung mit Anhang II, Abschnitt A Nr. 11 und 12 KI-Verordnung ist die KI-basierte Medizinprodukte-Software im Sinne der MDR regelmäßig als Hochrisiko-KI-System eingestuft. Problematisch hieran ist, dass die Einstufung als Hochrisikosystem unabhängig vom tatsächlichen Risiko erfolgt, das bei der Verwendung besteht.

Gibt es Ausnahmen?

Produkte, die zwar KI-Komponenten enthalten, aber keine Medizinprodukte im Sinne der MDR sind, sind KI-basierte Produkte im Rahmen der Arzneimittelentwicklung und -herstellung. Diese unterfallen zurzeit keinem für KI eigenständigen expliziten Rechtsrahmen und sind folglich auch keine Hochrisiko-Anwendungen nach der KI-Verordnung. Sie müssen allerdings verschiedene ISO-Normen erfüllen. Der Gesetzgebungsprozess zur KI-Verordnung befindet sich derzeit auf der Zielgeraden. Die Verordnung wird umfangreiche Verpflichtungen für Hersteller und Nutzer mit sich bringen.

Viele Gesundheitsapps – in der Regel ab der mittleren Risikostufe IIa nach der MDR – werden als Hochrisikosysteme nach der KI-Verordnung eingestuft, da diese eine mittlere Gefahr für die Gesundheit der Anwender bergen können. Deshalb müssen Dritte in das Konformitätsbewertungsverfahren mit einbezogen werden. Das bringt für App-Entwickler einen enormen Compliance-Aufwand und Mehrbelastungen im Zulassungsprozess mit sich, da der umfangreiche Voraussetzungskatalog der Art. 8–15 KI-Verordnung für Hochrisiko-Systeme beachtet werden muss. Daher werden Hersteller von Medizinprodukte-Software strategisch versuchen, sich aus der Hochrisiko-Klassifikation herauszuwinden.

KI nicht unfehlbar

Wird es möglich sein, dass hierzulande Daten aus den elektronischen Patientenakten mithilfe von KI-gestützten Tools analysiert werden?

Aus rechtlicher Sicht dürfte das möglich sein. Die Datenexploration selbst ist noch kein Medizinprodukt und würde daher nicht unter die MDR fallen. Datenschutzrechtlich ist das natürlich eine Herausforderung, weil wir die Zwecke erst einmal formulieren müssten. Es bedarf einer Rechtsgrundlage für die Datenverarbeitung. Interessant ist hierbei die Frage, wer als technischer Dienstleister die Daten verarbeitet. Für die Verarbeitung von Gesundheitsdaten gelten allgemein sehr strenge datenschutzrechtliche Vorgaben.

Welche Änderungen wären für die KI-gestützte Verarbeitung von Daten aus der Patientenakte denn notwendig?

Im nationalen Recht können gesetzliche Grundlagen für die Verarbeitung von Gesundheitsdaten geschaffen werden, wenn die besondere Gefährdungslage und die Anforderungen an die technisch-organisatorische Sicherheit berücksichtigt und beachtet werden. Da stellt sich die Frage, inwiefern der Patientenwille dabei noch berücksichtigt werden kann, ob Versicherte sich da aus dieser Exploration ausnehmen könnten und ob ein Widerspruchsverfahren möglich ist und weitere Fragen. Auf der Basis ist es denkbar, eine groß angelegte Datenverarbeitung zu realisieren.

In Zukunft kommen die Anforderungen der KI-Verordnung hinzu. Dabei ist zum Beispiel wichtig, wie robust die Ergebnisse sind. Es ist möglich, dass es hier zum Bias kommt, weil bestimmte Muster in bestimmten Konstellationen auftauchen.

Ebenso müssen Vorgaben an die menschliche Aufsicht berücksichtigt werden. Eine grundlegende Herausforderung ist dabei, wie der Mensch das KI-Ergebnis auswertet. Die Mensch-Maschine-Kommunikation haben wir sowohl in diesem Beispiel als auch bei ganz anderen KI-Anwendungen wie beispielsweise in der Radiologie.

Die Herausforderung ist, wie sie einem behandelnden Arzt dauerhaft nahebringen, dass das KI-Ergebnis in der Regel sehr verlässlich und treffsicher ist. Gleichwohl gibt es dann aber einzelne Fälle, in denen die KI falsch liegt. Dabei besteht die Gefahr, dass Ärzte sich auf die KI verlassen, weil sie in den meisten Fällen richtig liegt (sogenannter "automation bias").

(mack)