Was ist Künstliche Intelligenz (KI)?
Die KI-Definition in Art. 3 Nr. 1 der Verordnung (EU) 2024/1689 (KI-VO) ist an die Definition der OECD angepasst und setzt folgende (teils optionale) Merkmale voraus:
- Maschinengestütztes System
- Für einen in unterschiedlichem Grade autonomen Betrieb ausgelegt
- Anpassungsfähigkeit nach Betriebsaufnahme (optional)
- Ableitung von Output aus den erhaltenen Eingaben
- Für explizite oder implizite Ziele
- Beeinflussung von physischen oder virtuellen Umgebungen (optional).
Diese doch recht unbestimmte Definition wird von (unverbindlichen) Auslegungsleitlinien der EU-Kommission flankiert. Bereits bei der Frage, ob ein System überhaupt in den Anwendungsbereich der KI-VO fällt, stehen Versicherer somit vor einer ersten Herausforderung. Letztlich ist hier ein weiter Anwendungsbereich beabsichtigt, weshalb dieser oftmals bejaht werden wird. Gerade bei Verwendung der derzeit im öffentlichen Fokus stehenden generativen KI-Modelle (GPT etc.) ist die KI-VO regelmäßig anwendbar.
Was regelt die KI-VO?
Die KI-VO regelt die Pflichten von Anbietern und Betreibern von KI abgestuft nach bestimmten Risikokategorien. Dabei geht es – jedenfalls im Vordergrund – nicht um eine Ausgestaltung von Haftungsrecht, sondern um eine produktsicherheitsrechtliche Perspektive der Regulierung.
Dabei sind zunächst bestimmte KI-Systeme verboten. Dies betrifft z.B. manipulierende und bewusstseinstäuschende KI, Emotionserkennung am Arbeitsplatz und auch das sog. Social Scoring. Für sämtliche nicht verbotene KI-Systeme ist unabhängig von ihrer Risikostufe die entsprechende Kompetenz aller damit befassten Mitarbeiter und Dienstleister sicherzustellen. Das kann etwa durch regelmäßige Schulungen, interne Leitlinien und die Benennung eines KI-Beauftragten geschehen. KI-Systeme, die im direkten Kundenkontakt eingesetzt werden sollen, generative Systeme zur Erzeugung von Audio-, Bild-, Video- oder Textinhalten sowie Emotionserkennungssysteme müssen darüber hinaus bestimmte Transparenzanforderungen einhalten.
Am stärksten reguliert sind sog. Hochrisiko-KI-Systeme. Dies sind zum einen Systeme, die in bestimmten Produkten als Sicherheitsbausteine integriert sind, z.B. Land-, Luft- und Wasserfahrzeuge, Aufzüge, Spielzeug und Medizinprodukte. Zum anderen werden als hohes Risiko bestimmte Einsatzzwecke eingestuft, z.B. die Bonitätsprüfung, Arbeitnehmerangelegenheiten sowie die Risikobewertung und Preisbildung in Bezug auf natürliche Personen im Fall von Lebens- und Krankenversicherungen. Je nach konkretem Anwendungsfall gibt es aber auch Ausnahmetatbestände, nach denen bestimmte Systeme dann doch nicht unter den Hochrisiko-Katalog fallen sollen.
Welche Pflichten gelten für Versicherer nach der KI-VO?
Je nach dem, ob ein Versicherer Anbieter oder Betreiber einer KI im Sinne der KI-VO ist, gelten für ihn unterschiedliche Pflichten. Kurz gesagt sind Anbieter Unternehmen, die KI selbst entwickeln oder in Verkehr bringen, während Betreiber KI für ihr Unternehmen nutzen. In der Regel werden Versicherer vor allem als Betreiber einzustufen sein, wenn sie ein KI-System nicht ausschließlich für sich selbst entwickeln oder entwickeln lassen. Die KI-Verbote betreffen sowohl Anbieter als auch Betreiber, genau wie die Pflicht zur Einrichtung einer ausreichenden KI-Kompetenz. Die oben beschriebenen Transparenzpflichten treffen dagegen teils die Anbieter, teils die Betreiber. So müssen z.B. Betreiber eines Emotionserkennungssystems die betroffenen Personen (vorher) über den Betrieb informieren.
Die für Hochrisiko-Systeme geltenden umfangreichen Compliance-Anforderungen sind vor allem durch die Anbieter zu erfüllen, u.a.:
- Risikomanagement
- Daten-Governance
- Technische Dokumentation
- Transparenz
- Genauigkeit, Robustheit und Cybersicherheit
Darüber hinaus sind die Betreiber insbesondere für die Etablierung einer menschlichen Aufsicht, die Einhaltung der Betriebsanleitung und die Durchführung einer Grundrechte-Folgenabschätzung verantwortlich.
Welche Korrelationen bestehen zu anderen Rechtsakten?
Diese Pflichten kennen wir teilweise bereits aus anderen europäischen Rechtsakten, auf welche die KI-VO teils auch ausdrücklich Bezug nimmt. So sind daneben auch weiterhin die Vorgaben der DSGVO zu erfüllen (technisch-organisatorische Maßnahmen, Datenschutz-Folgeabschätzung, zulässige und sichere Datenverarbeitung). Auch die DORA-Verordnung setzt Anforderungen z.B. an das Risikomanagement technischer Systeme von Versicherern. Soweit mit diesen und weiteren Rechtsakten Überschneidungen bestehen, können Versicherer für die Umsetzung der KI-VO bestehende Strukturen und Erfahrungen nutzen und so Ressourcen sparen, Fehler vermeiden und KI rechtssicher einsetzen.
Daneben bleiben für Versicherer selbstverständlich auch alle sonstigen Vorschriften, die für den Betrieb des Versicherungsgeschäfts gelten, anwendbar. So ist im Zusammenhang mit dem Einsatz von KI vor allem bei der Konkretisierung unbestimmter Rechtsbegriffe und Generalklauseln stets zu fragen, inwieweit sich aus dem jeweiligen Rechtsbereich weitere KI-spezifische Besonderheiten ergeben. So stellt sich beim Einsatz von KI im Rahmen der vorvertraglichen Risikoprüfung bspw. die – im Ergebnis zu bejahende – Frage, ob das vom Versicherer zu übernehmende Risiko auch ohne eine Risikoprüfung nach dem Vorbild der §§ 19 ff. VVG determiniert werden kann (s. § 32 S. 1 VVG). Insbesondere ist auch davon auszugehen, dass die BaFin mit Blick auf die Wahrung der Belange der Versicherten (§ 294 Abs. 2 S. 2 Var. 2 VAG) „versicherungsspezifische“ Anforderungen an den Einsatz von KI durch Versicherer stellt.
