eHealth: KI-Verordnung, EU-Gesundheitsdatenraum und Co. aus rechtlicher Sicht
(Bild: greenbutterfly/Shutterstock.com)
Wie KI-Verordnung, der europäische Gesundheitsdatenraum und das Gesundheitsdatennutzungsgesetz zusammenhängen, erklärt Rechtsanwalt Philipp Müller-Peltzer.
(Bild: Schürmann Rosenthal Dreyer Rechtsanwälte / Robert Recker)
Die KI-Verordnung befindet sich gerade in den letzten Zügen und könnte noch dieses Jahr, wahrscheinlich aber eher 2024 in Kraft treten, anschließend folgt eine dreijährige Umsetzungsfrist für die Nutzer und Hersteller der KI-Anwendungen. Die KI-Verordnung soll auch den Einsatz von KI im Gesundheitswesen regeln. Was weitere Gesetze wie der europäische Gesundheitsdatenraum (European Health Data Space, EHDS) und das Gesundheitsdatennutzungsgesetz (GDNG) damit zu tun haben, klären wir im Gespräch mit Philipp Müller-Peltzer.
Dies ist der zweite Teil einer dreiteiligen Interview-Serie, hier finden sie den ersten Teil [1].
Was sollen EHDS und KI-Verordnung künftig regeln?
Die "European Health Data Space [5]"-Verordnung wird im Wesentlichen den Zugang zu medizinischen Daten auf europäischer Ebene sicherstellen. Das hat inhaltlich wiederum sehr viel mit dem Thema KI zu tun und steht auch so im Entwurf der KI-Verordnung in der Begründung. Diese Datenmengen müssen eine hohe Qualität zu spezifischen Gesundheitsfragen haben und sind die Voraussetzung, um KI-Systeme zu trainieren.
Die Daten sind hier das Vehikel, beziehungsweise nicht alle Daten, sondern die hochqualitativen Daten. Die Daten sollen nicht in der Hand weniger Anwender oder weniger Hersteller bleiben, die sich dann beispielsweise schon Fortschritte oder Vorteile verschaffen konnten, weil sie schon einige Zeit das Feedback aus ihren Anwendungen bekommen.
Gesundheitsdaten sollen möglichst einer breiten Anzahl von Entwicklern, von Unternehmen, von Anwenderinnen zur Verfügung gestellt werden. Das ist umstritten und auch nicht ganz einfach, weil es bestimmte Prämissen festlegt, die technisch und faktisch gar nicht so ganz einfach zu erfüllen sind.
So werden bestimmte Einrichtungen etwa in großem Umfang verpflichtet, Daten in anonymisierter Form zur Verfügung zu stellen. Die Anonymisierung von Daten, insbesondere von sehr feingranularen Datensätzen mit sehr vielen einzelnen Datenpunkten, ist alles andere als trivial. Dazu gibt es noch keine Rechtsklarheit. Das Recht setzt voraus, dass derjenige, der die Daten liefern und zur Verfügung stellen muss, auch die Anonymisierung regelt. In diesem Zusammenspiel mit der EHDS-Verordnung und dem Ziel, diese Daten dann allen zur Verfügung zu stellen, ergeben sich dann auch weitere Spannungsverhältnisse.
Wie spielen Gesundheitsdatennutzungsgesetz und EHDS zusammen?
Mit dem im August 2023 vom Bundesgesundheitsministerium vorgelegten "Entwurf eines Gesetzes zur verbesserten Nutzung von Gesundheitsdaten [6]" ist eine bessere Zugänglichmachung von Daten für die Forschung intendiert. Durch das Gesetz soll das Spannungsverhältnis zwischen der Vertraulichkeit ärztlicher Heilbehandlungen und den Anforderungen an eine moderne Gesundheitsforschung datenschutzkonform gelöst werden.
Der EHDS soll europaweit den Zugang und die Übermittlung personenbezogener elektronischer Gesundheitsdaten innerhalb der Gesundheitsversorgung verbessern. Mit dem Gesundheitsdatennutzungsgesetz (GDNG) möchte der deutsche Gesetzgeber erste Schritte zur Anbindung an den EHDS tätigen. Hierzu gehört etwa die Einrichtung von Datenzugangsstellen, die auch der EHDS vorsieht.
Welche Schnittmengen gibt es zwischen dem EHDS und der KI-Verordnung?
Die große Schnittmenge ist der diskriminierungsfreie Zugang zu Daten und insofern auch die Sicherstellung entsprechend geeigneter Daten für die KI-Modellierung. Anonymisierte Gesundheitsdaten sollen aus dem EHDS heruntergeladen werden können, um damit KI-Systeme im Gesundheitsbereich zu trainieren. Durch den EHDS können hoffentlich datenschutzrechtliche Probleme der KI-Anbieter in Bezug auf das Training und die Weiterentwicklung von KI-Anwendungen im Gesundheitsbereich gelöst werden.
Also Echte-Welt-Daten?
Genau, im Grunde genommen ein Sandboxing, in dem dann Daten verwendet werden können. Die Reallabore (Regulatory Sandboxes) könnten dann Anwendern und Herstellern synthetische Daten zur Verfügung stellen. Ziel soll ein innovationsfreundliches Umfeld für KI-Anwendungen sein. Aber letztlich geht es ja vor allem immer darum, ob Daten von Menschen verarbeitet werden. Es gibt da auch noch unterschiedliche Aspekte wie die Zugänglichkeit der Daten auch in Hinblick auf Open Data. Welche Daten müssen nicht geheim gehalten werden, sondern sollen allen zur Verfügung gestellt werden? Der Staat soll die Daten nicht nur für sich beanspruchen, sondern der Allgemeinheit zur Verfügung stellen, so denn die Rechte Dritter dadurch nicht tangiert werden.
Können generative KIs bedenkenlos mit synthetischen Daten trainiert werden?
Das Training einer KI ist üblicherweise auf große Mengen Daten angewiesen. Zumeist werden hierfür auch personenbezogene Daten benötigt. Das widerspricht auf den ersten Blick verschiedenen datenschutzrechtlichen Grundsätzen, wie etwa dem Grundsatz der Datenminimierung, der besagt, dass die Verarbeitung personenbezogener Daten auf ein Minimum reduziert werden sollte. In der Praxis wird dieses Spannungsverhältnis pragmatisch durch den Einsatz sogenannten Privacy Enhancing Technologies (PET) gelöst. Hierunter versteht man Konzepte, die die Nutzung von Daten unter Beachtung der Privatsphäre ermöglichen. Probate PET-Tools können sowohl anonymisierte als auch synthetische Daten sein. Beide Begriffe müssen aber sauber differenziert werden.
Der Umfang der genutzten personenbezogenen Trainingsdaten für eine KI lässt sich reduzieren, indem nicht relevante Daten mit erheblichem Aufwand anonymisiert werden. Hierdurch wird i.d.R. auch nicht die Qualität der KI-Systeme beeinträchtigt. Daten sind eindeutig anonym, wenn unabhängig vom Aufwand weder das für die Datenverarbeitung verantwortliche Unternehmen noch ein Dritter die Daten einer einzelnen Person zuordnen kann ("absolut anonyme Daten"). In der Praxis ist aber eine absolute Anonymisierung schwierig zu realisieren und nach Maßgabe der DSGVO auch nicht erforderlich, um dem Kriterium der Anonymisierung zu entsprechen. Es genügt, wenn der Personenbezug so aufgehoben wird, dass eine Re-Identifizierung praktisch nicht in Betracht kommt, da der hierfür notwendige Arbeits- und Kostenaufwand unverhältnismäßig hoch wäre.
Es kann aber auch auf synthetische Trainingsdaten zurückgegriffen werden, die über Drittanbieter zugekauft werden können. Bislang sind jedoch synthetische Daten für den Medizinsektor noch nicht umfassend vorhanden und die Verfahren nicht flächendeckend für alle Anwendungsfelder hinreichend ausgereift. Synthetische Daten werden erstellt, indem reale Daten durch einen KI-Algorithmus laufen, der sie in einer ähnlichen, aber nicht identischen Form neu konzipiert. Je näher die synthetischen Daten an den ursprünglichen Daten liegen, desto besser sind sie einsetzbar. Bei der Synthetisierung können aber auch entscheidende Parameter unbemerkt verloren gehen. Patientendaten bestehen aus vielen einzelnen Variablen, wie z.B. der Anzahl der einzunehmenden Medikamente, Raucher oder Nichtraucher, Herzschrittmacher etc. Wird die kumulative Zusammensetzung der einzelnen Patienten-Variablen der Originaldaten inkorrekt in den synthetischen Daten wiedergegeben, entstehen verfälschte Datensets, die wiederum zu einem unpräzisen KI-Output führen.
Deshalb ist es bislang technisch schwierig, repräsentative, synthetische Datensätze zu erzeugen. In der Praxis entsprechen die synthetischen Datensets häufig leider noch nicht hinreichend den Originaldaten.
Informationsfreiheit reibt sich an informationeller Selbstbestimmung
Die Informationsfreiheit reibt sich an der informationellen Selbstbestimmung der betroffenen Personen, um die es möglicherweise gehen kann. Wenn die Daten nicht unmittelbar personenbezogen sind, dürfen sie verwendet werden.
Der Umstand, dass personenbezogene Daten verfügbar sind, ändert grundsätzlich nichts an der Frage, ob diese Daten rechtmäßig weiterverarbeitet werden dürfen. Wenn soziale Netze nach Bildern gecrawlt werden, weil das technisch möglich ist, und sie Gesichtserkennungssoftware damit anlernen, dann ist das kompliziert, weil sehr unterschiedliche Regelungsmaterien ineinandergreifen, die thematisch sehr nah beieinander liegen.
In vielen Einzelaspekten ist das Verhältnis von den heute angesprochenen Regulierungen alles andere als glasklar. Bestimmte Fragestellungen sind nicht ganz ausdefiniert, weil die Begriffsüberschneidungen noch nicht ausdefiniert und Unklarheiten da noch nicht ausgeräumt sind. An der Widerspruchsfreiheit und Kompatibilität der verschiedenen Regularien muss der EU-Gesetzgeber noch arbeiten.
Wir haben da noch keine umfassenden Rechtsklarheiten. Selbst, wenn die Gesetzgebungsprozesse für die angesprochenen Verordnungen abgeschlossen sein werden, was mit Blick auf die Wahlen in Europa relativ bald der Fall sein wird, werden wir erst in den nächsten Jahren Konkretisierungen durch die Rechtsprechung des EuGH in relevanten Aspekten bekommen.
Wird es bei manchen Rechtssachen dann erst Präzedenzfälle geben (müssen)?
Das hat das Recht immer so an sich: Wenn Sie es abstrakt formulieren und versuchen, die Gesetzgebung technikneutral und zukunftsoffen zu gestalten, können sich Anwendungsunklarheiten ergeben, die dann erst durch die höchsten Gerichte geklärt werden können. Für bestimmte Anwendungsfälle in konkreten Konstellation wird es auf jeden Fall Rechtsklarheit geben.
Ärzte werden in Zukunft viele Daten liefern müssen und das Gesetz sagt relativ nonchalant, dass diese Daten anonymisiert werden müssen. Das ist gerade bei bestimmten Datenkategorien oder Datenarten alles andere als trivial. Auch Bilddaten sorgfältig zu anonymisieren, ist je nach Kontext und vielleicht auch Sichtweise nicht ohne weiteres möglich. Das Restrisiko einer unzulässigen oder unzureichenden Anonymisierung würde wiederum der primär Verantwortliche vor Ort – der Arzt – tragen.
Dass da ein gewisser Unmut herrscht über eine Verpflichtung, die sehr stark zu Lasten der datenschutzrechtlich Verantwortlichen gehen soll, ist verständlich. In letzter Konsequenz wird hierdurch auch das Vertrauensverhältnis zwischen Arzt und Patient erschüttert.
Aktuell fordern ja beispielsweise die privaten Krankenkassen, dass es nicht für alle KI-Systeme eine derartige Strenge bei der Zulassung geben muss, also dass beispielsweise bei KI-Systemen für die Verwaltung von Versicherten nicht so strenge Regularien wie bei Hochrisiko-Anwendungen gelten sollen. Wie bewerten Sie das?
Dieser Ansatz ist zu begrüßen, da die KI-Verordnung nur besonders grundrechtsintensive Anwendungen regeln sollte. Anwendungen, die besonders stark von den Grundrechten beeinflusst sind, etwa das Datenschutzrecht.
Welchen Unterschied gibt es zu den verbotenen KI-Praktiken?
Es gibt die höchste Risikoklasse beziehungsweise Totalverbote bei KI-Systemen. Diese KI-Kategorie ist nicht mit dem Wertesystem der EU vereinbar. Das sind Systeme, die beispielsweise gezielt darauf ausgerichtet sind, die Vulnerabilität bestimmter schutzbedürftiger Gruppen auszunutzen – KIs, die wirklich auf Manipulation und Schädigung ausgerichtet sind.
Welche sind das zum Beispiel?
In diesem Verbotskatalog befindet sich eine sehr klare Beschreibung eines verbotenen Social-Scoring-Systems, das die Lebensaspekte und einzelne Aspekte von Personen bewerten und überwachen soll. So etwas ist in der EU zukünftig gänzlich untersagt. Das EU-Parlament hat kürzlich den Katalog von verbotenen KI -Systemen deutlich dahingehend erweitert, dass auch der KI-Einsatz für das Predictive Policing und für die sog. Risk Assessment Tools genauso verboten sein sollen, wie etwa biometrische Kategorisierungssysteme, die Emotionserkennung in bestimmten Bereichen wie Strafverfolgung und Grenzkontrolle oder die Erstellung von Gesichtserkennungsdatenbanken mithilfe von Web-Scraping [7].
Die EU-Kommission möchte für die Risiken, die sich aus dem KI-Einsatz ergeben können, klare Vorgaben formulieren. Der Schwerpunkt dieses Entwurfs ist die Beschreibung der Pflichten und Folgen des Einsatzes von Hochrisiko-KI-Systemen. Hierzu zählen solche Systeme, die einen potenziellen Einfluss auf die Grundrechte und Freiheiten natürlicher Personen haben können. Und dazu gehören nach gegenwärtiger Lesart insbesondere auch solche KI-Systeme, die sich im Gesundheitsbereich bewegen.
Zum einen müssen die sogenannten Anhang-II-Systeme der KI-Verordnung beachtet werden. Das KI-System ist Produkt oder Sicherheitskomponente eines Produkts und unterliegt einer EU-Sicherheitsregulierung. Hierzu zählen also KI-Systeme, die aufgrund anderer regulatorischer Vorgaben der EU bereits ein anderes Zulassungsverfahren durchlaufen müssen. Hierzu zählen, wie bereits umfassend dargelegt, etwa Medizinprodukte nach der MDR.
Zum anderen muss der Sektorenkatalog aus Annex III der KI-Verordnung untersucht werden. Dieser regelt den Einsatz von KI in besonders Grundrechts-sensiblen Bereichen. KI-Systeme gelten nach Annex III als hochriskant, wenn sie in einem der in Annex III aufgeführten Bereiche eingesetzt werden sollen. Hierzu gehört etwa der Einsatz von KI in kritischen Infrastrukturen, in den Bereichen Bildung, Beschäftigung, Strafverfolgung, Migration und Rechtspflege. Von einem hohen Risiko ist regelmäßig auszugehen, wenn der Output des KI-Systems mit einem faktischen Risiko für die Gesundheit, Sicherheit oder Grundrechte von Personen verbunden ist.
Was halten Sie von dem Vorschlag der Deutschen Gesellschaft für Biomedizinische Technik [8], kontinuierlich lernende Medizinprodukte ebenfalls mit einer CE-Kennzeichnung zu versehen? Bisher ist es so, dass der Lernprozess des hinter der KI stehenden Modells abgeschlossen sein muss.
Ich halte es für einen guten Vorschlag, auch Medizinprodukte mit dynamischen KI-Systemen durch eine sogenannte "antizipierende CE-Konformitätsbewertung" auf den Markt zu bringen. KI-basierte Produkte, die den Begriff des "Medizinprodukts" im Sinne des Art. 2 Nr. 1 MDR erfüllen – ausdrücklich genannt ist hier die "Software" als potentielle Produktkategorie –, müssen sich in der EU primär an den Regelungen der MDR (Medical Device Regulation) messen lassen. In diese Produktkategorie fallen beispielsweise diagnostische Entscheidungsunterstützungssoftware für Ärztinnen und Ärzte oder bestimmte Gesundheits-Apps.
Bei solchen KI-gestützten Medizinprodukten ist es allerdings problematisch, dass die Software so konzipiert sein muss, dass "Wiederholbarkeit, Zuverlässigkeit und Leistung" garantiert sind. Dies ist etwa beim Einsatz von generativer KI schwierig zu realisieren. Diese zielt als autonomes und adaptives System auf ein kontinuierliches Hinzulernen und damit auf eine andauernde Verbesserung und Anpassung der erzeugten Ergebnisse ab. Daher sind Medizinprodukte, die dynamische KI-Komponenten enthalten, derzeit nicht nach der MDR zertifizierbar. Das bedeutet etwa, dass generative KI-Chatbots wie Med-PaLM 2 [9], die als Medizinprodukt im Sinne der MDR klassifiziert werden müssten, aufgrund ihrer dynamischen Architektur keine Zulassung nach der MDR erhalten könnten.
Allein für sogenannte statische "Blackbox-KI" sieht die MDR die Notwendigkeit einer Überprüfung durch eine benannte Stelle und eine Einzelfallentscheidung vor. Wenn die EU die Potenziale der kontinuierlich lernenden, also dynamischen KI sektorenübergreifend nutzen will, ist hier eine Ergänzung durch den europäischen Gesetzgeber dringend erforderlich.
Die europäische Medizinprodukte-Verordnung (Medical Device Regulation, MDR) gilt seit 2021 und hat das bis dahin geltende Medizinproduktegesetz (MPG) abgelöst. Die Verordnung betrifft vor allem Hersteller von Medizinprodukten, aber auch weitere, wie Medizinprodukte nutzende Krankenhäuser, Praxen, Händler und Importeure.
Die MDR ist eine europäische Verordnung. Das bedeutet, dass sie unmittelbar in allen europäischen Mitgliedstaaten gilt. Die MDR regelt – vereinfacht dargestellt – unter welchen Umständen derartige Produkte eingesetzt beziehungsweise auf den Markt gebracht werden können. In den USA ist für derartige Zulassungen die Food and Drug Administration (FDA) zuständig, in Deutschland maßgeblich das Bundesinstitut für Arzneimittel und Medizinprodukte (BfArM). Software fällt unter die Definition eines Medizinproduktes, wenn sie für einen medizinischen Zweck verwendet wird. Für KI-basierte Software gilt hierbei nichts anderes als für traditionell programmierte Software. Damit ist auch die „intelligente“ Software ein Medizinprodukt, wenn sie zu medizinischen Zwecken eingesetzt wird. Für die Qualifikation einer KI-Software als Medizinprodukt ist die subjektive Zweckbestimmung (Widmung) des Herstellers, also zum Beispiel die des Medical-App-Anbieters, maßgeblich.
URL dieses Artikels:
https://www.heise.de/-9328037
Links in diesem Artikel:
[1] https://www.heise.de/hintergrund/eHealth-Interview-KI-Verordnung-und-DSGVO-Risiken-und-Co-9327885.html
[2] https://www.heise.de/hintergrund/eHealth-Interview-KI-Verordnung-und-DSGVO-Risiken-und-Co-9327885.html
[3] https://www.heise.de/hintergrund/eHealth-KI-Verordnung-EU-Gesundheitsdatenraum-und-Co-aus-rechtlicher-Sicht-9328037.html
[4] https://www.heise.de/hintergrund/eHealth-Interview-KI-Verordnung-und-DSGVO-Risiken-und-Co-9327885.html
[5] https://www.heise.de/news/World-Health-Summit-Von-Gesundheitsclouds-IDs-Record-Linkage-und-Co-9336007.html
[6] https://www.heise.de/news/Datengesetz-sieht-100-jaehrige-Speicherfrist-fuer-Gesundheitsdaten-vor-9290652.html
[7] https://www.heise.de/news/Gesichtserkennung-nur-fuer-Staaten-Clearview-AI-wendet-britische-Geldstrafe-ab-9339417.html
[8] https://www.vde.com/de/dgbmt/publikationen/dgbmt-positionspapiere/empfehlung-marktzugang-ki-systeme
[9] https://www.heise.de/news/Sprachmodell-fuer-medizinische-Fragen-von-Google-veroeffentlicht-9216479.html
[10] mailto:mack@heise.de
Copyright © 2023 Heise Medien