KI-Verordnung der EU in Kraft KI wird für Finanzdienstleister zum Governance-Thema
Am 1. August ist die EU-Verordnung über künstliche Intelligenz (KI-Verordnung) in Kraft getreten. Sie soll dafür sorgen, dass in den Mitgliedstaaten eingesetzte Systeme der künstlichen Intelligenz und des maschinellen Lernens (KI und ML) auch wirklich im Interesse von Menschen arbeiten und dass sie vertrauenswürdig sind. Anwendungen der künstlichen Intelligenz sollten transparent und nachvollziehbar arbeiten und niemanden diskriminieren, fordert das EU-Parlament. Die Regeln der neuen Verordnung sollen im Zeitrahmen von zwei Jahren nach Inkrafttreten wirksam werden, also ab sofort bis Ende Juli 2026.
Vier Risikostufen von KI
Die KI-Verordnung will einen Gesetzesrahmen für Entwicklung, Einsatz und Nutzung von KI-Systemen schaffen – ohne dabei Innovationen abzuwürgen, wie man gleichzeitig auf EU-Ebene anpeilt. Dabei sollen KI-Anwendungen abgestuft reguliert werden – je nach dem Risiko, das ihnen beigemessen wird. Die Verordnung definiert insgesamt vier Risikostufen:
- KI-Systeme mit unannehmbarem Risiko (zum Beispiel soziale Bewertungssysteme/Social Scoring)
- Hochrisiko-KI-Systeme (hohes Risiko für die Gesundheit, Sicherheit oder Grundrechte natürlicher Personen, zum Beispiel Bonitätsbewertungen, Risikobewertung in der Krankenversicherung)
- KI-Systeme mit begrenztem Risiko (zum Beispiel Chatbots oder generative KI, die Texte und Bilder erzeugen kann)
- KI-Systeme ohne Regulierungsbedarf (zum Beispiel Spamfilter, KI-gestützte Videospiele)
Diskriminierung ausschließen
Die Regeln betreffen auch den Finanzsektor, wie die Bafin in einem aktuellen Beitrag auf ihrer Internetseite erläutert. Ein Beispiel: „KI-Systeme, die zur Kreditwürdigkeitsprüfung oder Bonitätsbewertung natürlicher Personen und zur Risikobewertung und Preisbildung in Bezug auf natürliche Personen in der Lebens- und Krankenversicherungen eingesetzt werden, gelten als Hochrisiko-KI (HRKI)-Systeme“, heißt es dort. Denn sie können sich erheblich auf die Lebensgrundlagen von Menschen auswirken und deren Grundrechte berühren.
Solche Anwendungen werden qua KI-Verordnung zukünftig einen bestimmten Rahmen erfüllen müssen. Vor ihrem Einsatz werden sie zudem einen Prüfungsprozess hinsichtlich ihrer Zulässigkeit durchlaufen müssen.
Ein Schlüsselbegriff in diesem Zusammenhang laute Fairness, erläutern die Bafin-Autoren. Algorithmische Fairness soll sicherstellen, dass KI-Algorithmen einzelne Personen und Personengruppen gleichförmig behandeln. Zweitens soll Fairness auf rechtlicher Ebene die Anti-Diskriminierungsregeln der jeweiligen Gesetzgebungen in den Mittelpunkt rücken. In Deutschland etwa müssen die Regeln des allgemeinen Gleichbehandlungsgesetzes befolgt werden. Drittens dürfen Ergebnisse, die Algorithmen auswerfen, nicht im Sinne bestimmter „Biases“ – Vorurteile und Einseitigkeiten – verzerrt sein.
KI wird Governance-Thema
Die Bafin will in ihrer Aufsichtstätigkeit nun ihrerseits überprüfen, ob automatisierte Prozesse innerhalb der Finanzindustrie möglicherweise zu Diskriminierungen führen. Dies sei auch ein Thema der ordnungsgemäßen Geschäftsführung, der Governance von Unternehmen. „Die Unternehmen haben insofern ihre Governance-Prozesse auch in Bezug auf KI/ML anzupassen beziehungsweise zu ergänzen“, fordert die Bafin.
1.200% Rendite in 20 Jahren?
Zunächst einmal sollten Finanzunternehmen die Verantwortlichkeiten für den Bereich klären, fordert die Bafin. Mitarbeiter, die KI- oder ML-Systeme entwickeln oder mit ihnen arbeiten, sollten für das Thema sensibilisiert und geschult werden. „Darüber hinaus legt die Datenschutzgrundverordnung fest, inwiefern Personen einer automatisierten Entscheidung, dem Profiling, unterworfen werden dürfen“, erinnern die Finanzaufseher mit Blick auf Artikel 22 der deutschen Datenschutzgrundverordnung (DSGVO).
Gerade dort, wo Hochrisiko-KI-Systeme eingesetzt würden – die Bafin zählt hier etwa Kreditwürdigkeitsprüfung und Bonitätsbewertung sowie „einige Anwendungen in der Lebens- und Krankenversicherung“ auf – müssten Unternehmen ein entsprechendes Risiko- und Qualitätsmanagement vorhalten, Prozesse detailliert dokumentieren und dafür sorgen, dass die verwendeten Daten auch qualitativ hochwertig seien.
Finanzdienstleister sollen Prozesse überprüfen
„Die Unternehmen müssen Überprüfungsprozesse einrichten, um mögliche Diskriminierungsquellen zu identifizieren und Maßnahmen zu deren Beseitigung zu ergreifen“, fordert die Bafin. In dem Zusammenhang sei eine „zuverlässige und transparente Daten-Governance und Datenverwaltung“ entscheidend.
Wenn auf KI-Systeme zurückgegriffen wird, sollten bei gleicher Eignung einfache, transparentere Modelle den Vorzug vor komplexen Blackbox-Modellen haben, raten die Finanzaufseher.
Wo die Finanzaufseher zukünftig auf Diskriminierung durch KI beziehungsweise ML-Prozesse stoßen, wolle man „geeignete Maßnahmen ergreifen, beispielsweise im Rahmen der Missstandsaufsicht“.
Die Hinweise, die die Bafin in ihrem aktuellen Beitrag zur KI-Verordnung gibt, sind vorerst nur in Ansätzen als eine konkrete Handlungsanweisung für Finanzunternehmen zu verstehen. Sie geben jedoch bereits den Takt für zukünftige Aufsichtstätigkeit mit Bezug zu KI im Finanzbereich vor. Finanzdienstleister, die von der Bafin reguliert sind, sollten das Thema auf dem Schirm haben.
