Der „AI Act“ steht in den Startlöchern – Welche Herausforderungen kommen auf Unternehmen zu?

Kürzlich haben sich Europäischer Rat und Europäisches Parlament auf einen finalen Text des Artificial Intelligence Act („AI Act“) verständigt. In diesem Beitrag geben wir einen Überblick zu den wesentlichen Neuerungen des finalen Entwurfs und zeigen, welche Herausforderungen auf Unternehmen zukommen.

Nachdem die Europäische Kommission erstmals im April 2021 einen Vorschlag für eine EU-Verordnung zur Künstlichen Intelligenz vorgelegt hatte, stimmte das EU-Parlament im Juni 2023 über den damaligen Entwurf der Kommission ab und brachte einen ergänzten Gesetzesentwurf in das weitere Gesetzgebungsverfahren ein (vgl. zum Gang des Gesetzgebungsverfahrens auch hier und an dieser Stelle auf unserem Blog). Im Dezember 2023 haben sich Europäischer Rat und Europäisches Parlament auf eine finale Fassung des AI-Act (KI-Verordnung) verständigt. Obwohl die formale Bestätigung durch die Mitgliedstaaten noch aussteht, ist wahrscheinlich, dass der AI Act so in Kraft treten und (bis auf wenige Ausnahmen) nach einer Übergangsfrist von zwei Jahren nach seinem Inkrafttreten – also voraussichtlich im Sommer 2026 – zur Anwendung kommen wird.

Risikobasierter Ansatz

Der AI Act verfolgt einen risikobasierten Ansatz, d.h. die Vorschriften sind umso strenger, je höher das Risiko für Gesundheit, Sicherheit und Grundrechte ist. KI-Systeme mit einem unannehmbaren bzw. inakzeptablen Risiko (Art. 5 AI Act), also solche, die den Menschen unterdrücken können, sind verboten. Unter das Verbot fallen insbesondere kognitive Verhaltensmanipulationen, ungezieltes Auslesen von Gesichtsbildern aus dem Internet, Emotionserkennung am Arbeitsplatz, KI-Systeme zur Bewertung des sozialen Verhaltens sowie biometrische Echtzeit-Fernidentifizierungssysteme. Umfangreiche Verpflichtungen enthält der AI Act für Hochrisiko-KI-Systeme (Art. 6 AI Act), also für KI-Systeme, bei denen ein erhebliches Risiko für eine Gefährdung von Gesundheit, Sicherheit und Grundrechten besteht. Hier gelten u.a. spezifische Dokumentations- und Transparenzpflichten, die Pflicht zur Etablierung eines Risikomanagements sowie des Einsatzes einer menschlichen Aufsicht etc. Für KI-Systeme mit einem begrenzten Risiko sind (lediglich) bestimmte Transparenzverpflichtungen zu beachten. Derartige KI-Systeme sind beispielsweise Chatbots (etwa in Telefonhotlines).

Die wichtigsten Neuerungen im Überblick

Verglichen mit dem vorherigen Gesetzesentwurf des EU-Parlaments aus Juni 2023 bringt die finale Fassung insbesondere die nachfolgenden Modifikationen mit sich:

• Ergänzungen für Hochrisiko-KI-Systeme: In der Praxis wird sich oftmals das Problem stellen, dass nicht rechtssicher bestimmt werden kann, ob es sich bei einem KI-System um ein Hochrisiko-KI-System handelt oder nicht. Um diese Einstufung zu erleichtern, soll die EU-Kommission spätestens 18 Monate nach Inkrafttreten des AI Act eine Liste mit Beispielen zur Verfügung stellen.
• Regelungen mit Blick auf KI-Systeme mit allgemeinem Verwendungszweck (general purpose artificial intelligence systems – „GPAI“): GPAI treten letztlich an die Stelle der im vorherigen Entwurf vorgesehenen Basismodelle (foundation models). GPAI ist KI, die mit einer großen Datenmenge trainiert wurde und in der Lage ist, ein großes Spektrum an unterschiedlichen Aufgaben durchzuführen. Sie zeichnet sich ferner dadurch aus, dass sie in eine Vielzahl nachgelagerter Systeme oder Anwendungen integriert werden kann. GPAI sind beispielsweise ChatGPT, Bard (Google), LLaMA (Meta) etc. Spezielle Regelungen betreffend GPAI finden sich in Art. 52 ff. AI Act. Anbieter von GPAI sind insbesondere verpflichtet, eine technische Dokumentation vorzuhalten sowie über Trainingsdaten zu informieren. Für GPAI mit hohem systemischem Risiko gelten (noch) strengere Vorgaben.
• KI-Systeme, die unter freien oder Open-Source-Lizenzen bereitgestellt werden, unterliegen der Verordnung grundsätzlich nicht. Etwas anderes gilt allerdings dann, wenn sie als Hochrisiko-KI-System in den Verkehr gebracht bzw. in ein solches eingebunden werden oder wenn sie als systemrelevant i.S.d. Titel II und IV des AI Act zu qualifizieren sind (vgl. Artikel 2 Ziffer 5g. AI Act)
• Anwendungs- bzw. Übergangsfristen: Der AI Act wird grundsätzlich 24 Monate nach seinem Inkrafttreten zur Anwendung kommen. Kürzere Übergangsfristen gelten insbesondere mit Blick auf die Verbote sowie die Vorschriften für KI-Systeme mit allgemeinem Verwendungszweck: Diese gelten bereits sechs Monate (Verbote) bzw. 12 Monate (KI-Systeme mit allgemeinem Verwendungszweck) nach dem Inkrafttreten des AI Act. Spezielle Anforderungen an bestimmte Hochrisiko-KI-Systeme nach Annex II gelten hingegen erst 36 Monate nach dem Inkrafttreten.

Herausforderungen für Unternehmen

Viele der in Unternehmen und vor allem im Bereich HR eingesetzten KI-Systeme (z.B. im Zusammenhang mit Training und Weiterbildung, Talent Management und Recruiting) dürften als Hochrisiko-KI-Systeme i.S.d. AI Act gelten. Denn nach Annex III (Ziffer 4) gelten insbesondere die nachfolgenden KI-Systeme als Hochrisiko-KI-Systeme:

• KI-Systeme, die für die Einstellung oder Auswahl natürlicher Personen verwendet werden sollen, insbesondere zur Schaltung gezielter Stellenanzeigen, zur Analyse und zum Filtern von Bewerbungen sowie zur Bewertung von Bewerbern;
• KI, die dazu bestimmt ist, Entscheidungen zu treffen, die sich auf die Bedingungen von Arbeitsverhältnissen, die Beförderung und die Beendigung von Arbeitsverhältnissen auswirken, Aufgaben auf der Grundlage von individuellem Verhalten oder persönlichen Merkmalen oder Eigenschaften zuzuweisen sowie die Leistung und das Verhalten von Personen zu überwachen und zu bewerten.

Da sich die im AI Act normierten Pflichten nicht nur an die Hersteller/Anbieter, sondern auch an die Anwender von KI-Systemen richten, haben Unternehmen beim Einsatz von Hochrisiko-KI-Systemen u.a. die nachfolgenden Pflichten zu beachten und umzusetzen (vgl. insbesondere Art. 29 AI Act):

• Vor Einführung des KI-Systems ist eine Risikoanalyse durchzuführen.
• Die Mitarbeiter sind vorab über Hochrisiko-KI-Systeme am Arbeitsplatz zu informieren und (fortlaufend) zu schulen.
• Der bestimmungsgemäße Gebrauch des KI-Systems ist durch entsprechende technische und organisatorische Maßnahmen sicherzustellen.
• Es ist eine kompetente und entsprechend ausgebildete Aufsichtsperson zu implementieren.
• Der Betrieb des KI-Systems ist fortlaufend zu überwachen.
• Die Sorgfaltspflichten im Zusammenhang mit der Datenauswahl sind zu beachten, insbesondere mit Blick auf die Vermeidung von Diskriminierungen.
• Die Aufbewahrungspflichten müssen eingehalten werden. So sind insbesondere automatisch erzeugte Protokolle mindestens sechs Monate aufzubewahren.

Hinweise für die Praxis

Obwohl der AI Act (bis auf die aufgezeigten Ausnahmen) voraussichtlich erst im Sommer 2026 zur Anwendung kommen wird, sollten Unternehmen sich bereits jetzt mit den Regelungen auseinandersetzen und entsprechende Vorkehrungen treffen. Dies gilt insbesondere, wenn Hochrisiko-KI-Systeme eingesetzt werden – was auf die meisten HR-Systeme zutreffen dürfte. In diesem Fall sieht der AI Act zahlreiche Pflichten vor, die von den Unternehmen künftig zu beachten sind.

Die derzeit eingesetzten HR-Systeme sollten frühzeitig im Rahmen eines „Compliance Check“ auf ihre Vereinbarkeit mit den Vorgaben des AI Acts überprüft werden. Außerdem kann bereits jetzt mit der nach dem AI Act vorgeschriebenen Risikoanalyse begonnen werden.

Eine Herausforderung dürfte auch darin bestehen, eine kompetente und entsprechend ausgebildete Aufsichtsperson zu implementieren, die den Anforderungen des AI Act gerecht wird. Bei Bedarf können Mitarbeiter bereits jetzt entsprechend geschult werden, um einen reibungslosen Übergang zu gewährleisten.