Die Bafin erhält vom Gesetzgeber ein neues Mandat: Zukünftig überwacht sie auch KI-Systeme von Kreditinstituten, Versicherern und anderen regulierten Finanzunternehmen. Entsprechende KI-Systeme sind etwa Chatbots, die Kunden bei Kontoanfragen oder Versicherungsschäden beraten, Algorithmen zur automatisierten Kreditwürdigkeitsprüfung oder KI-gestützte Systeme zur Betrugserkennung im Zahlungsverkehr.
Grundlage ist das Gesetz zur Durchführung der europäischen Verordnung über Künstliche Intelligenz, das Ende Juli in Kraft trat. Das Aufsichtsmandat der Bafin beschränkt sich dabei auf KI-Systeme im direkten Zusammenhang mit einer regulierten Finanztätigkeit. Setzt eine Bank dagegen KI ein, um etwa Bewerbungen im Recruiting vorzusortieren oder interne Arbeitsabläufe zu automatisieren, bleibt dafür die Bundesnetzagentur zuständig.
„Beim Einsatz von KI sind Transparenz, Diskriminierungsfreiheit und ein wirksames Risikomanagement zentral“, sagt Mark Branson, Präsident der Bafin. Im Rahmen der KI-Verordnung sollen Unternehmen Innovationen verantwortungsvoll vorantreiben können.
Die Bafin kontrolliert, dass alle Menschen einen fairen Zugang zu Finanzdienstleistungen haben und niemand durch KI diskriminiert wird. Die Menschen müssten sich darauf verlassen können, dass ihre Grundrechte beim Einsatz von KI geschützt würden.
„Die Verantwortung für den Einsatz von KI liegt bei den beaufsichtigten Unternehmen und ihren Geschäftsleitungen“, so Branson. Entscheidungen müssten weiterhin von Menschen korrigiert und rückgängig gemacht werden können. Bei Verstößen gegen die KI-Verordnung kann die Bafin Bußgelder verhängen.
Verbotene KI-Praktiken von Chatbots
Die Bafin stellt die Transparenz von KI-Systemen sicher, die unmittelbar mit Menschen interagieren, wie Chatbots in der Kundenkommunikation. Die betreffenden natürlichen Personen müssen darüber informiert werden, dass sie mit einer KI interagieren (Artikel 50 EU-KI-Verordnung). Auch Ergebnisse generativer KI-Systeme, müssen maschinenlesbar als KI-generiert gekennzeichnet werden.
Die Behörde prüft, ob die beaufsichtigten Unternehmen die Regelungen zu verbotenen KI-Praktiken einhalten. Verboten sind unter anderem:
- KI-Chatagenten, die Menschen manipulieren und täuschen
- KI, die Vulnerabilitäten schädlich ausnutzt, wie erhöhte Naivität im Kindesalter oder in sehr hohem Alter
- Individuelle Risikobewertung durch KI auf Basis biometrischer Daten
- Biometrische Kategorisierung für „sensible“ Merkmale zur Werbeschaltung in den sozialen Medien
Die Bafin kontrolliert zum Beispiel, ob Banken Hochrisiko-KI-Systeme nutzen und diese etwa in der Kreditwürdigkeitsprüfung einsetzen. Versicherern ist untersagt, diese für die Risikobewertung in der Lebens- und Krankenversicherung zu nutzen.
KI-Vorschriften gelten in Etappen ab August 2026 und ab Dezember 2027
Die Vorgaben der KI-Verordnung greifen nicht auf einmal, sondern zu unterschiedlichen Zeitpunkten.
- Ab 2. August 2026 gelten die untenstehenden Transparenzpflichten der Verordnung.
- Ab 2. Dezember 2027 gelten die Anforderungen an Hochrisiko-KI-Systeme.
Transparenzpflichten von Artikel 50 der EU-KI-Verordnung
Die ab August greifenden Transparenzpflichten gehen auf Artikel 50 der EU-KI-Verordnung zurück und betreffen vier Situationen:
- Die direkte Interaktion von KI mit Menschen
- Einsatz von Emotionserkennung oder biometrischer Kategorisierung
- Deepfakes
- KI-generierte Texte zu Themen von öffentlichem Interesse
„Wir erwarten von den Unternehmen, dass sie sich ausführlich mit der KI-Verordnung auseinandersetzen“, sagte Branson.
