Der EU AI ACT – wer ist betroffen?

Verabschiedet wurde der EU AI Act am 21. Mai 2024. Ziel ist es, Risiken zu minimieren und gleichzeitig Innovationen zu fördern – sei es in der Medizin, im Verkehr oder in anderen kritischen Bereichen. Die Verordnung ist die erste ihrer Art weltweit, die EU möchte damit ein Fundament für die Regulierung von Künstlicher Intelligenz schaffen, um Vertrauen und Akzeptanz zu stärken. Die Säulen des EU AI Act sind:

Risikobasierter Ansatz: Künstliche Intelligenz darf nicht missbraucht werden und die Grundrechte müssen gewährleistet werden. Je höher das Risiko einer Anwendung, desto strenger sind die Vorgaben

Transparenzpflicht: Künstlich erzeugte oder bearbeitete Inhalte, Audios, Bilder und Videos müssen eindeutig als solche gekennzeichnet werden.

Black Box Algorithmen und intransparente Entscheidungsfindung
Künstliche Intelligenz soll dem Menschen dienlich sein und das Leben erleichtern. Aber nicht nur dystopische Filme und Bücher schüren die Angst vor einer Superintelligenz, einem Algorithmus, der dem Menschen überlegen ist.
An diesem literarischen Motiv ist etwas Wahres dran: Schon jetzt sind viele Algorithmen eine Black-Box: Ihre Entscheidungsfindung ist nicht nachzuvollziehen – auch für ihre Entwickler nicht. Und auch wenn die Superintelligenz ein derzeit noch hypothetisches Modell ist, warnen Experten bereits, dass sie eines Tages Realität werden könnte.

Schutz von Grundrechten und Verbrauchern
KI-Systeme werden zunehmend in sensiblen Bereichen wie der Strafverfolgung, der Kreditvergabe oder der Personalauswahl eingesetzt. Ohne Regulierung besteht die Gefahr von Diskriminierung, unfairen Entscheidungen oder Überwachung, beispielsweise durch fehlerhafte Algorithmen oder intransparente Entscheidungsprozesse. Der AI Act soll sicherstellen, dass KI-Systeme fair, nachvollziehbar und sicher arbeiten.

Missbrauch und unethische Nutzung verhindern
Der Einsatz von Künstlicher Intelligenz kann gezielte Manipulation ermöglichen, etwa durch Deepfakes oder Algorithmen, die menschliches Verhalten beeinflussen. Zudem gibt es Bedenken bezüglich Massenüberwachung, insbesondere durch biometrische Systeme. Der AI Act setzt hier klare Grenzen und verbietet KI-Anwendungen, die ein inakzeptables Risiko darstellen, wie Social Scoring oder manipulative Technologien.

Innovation fördern
Einheitliche Regeln schaffen Rechtssicherheit für Unternehmen und fördern die vertrauenswürdige Entwicklung von Künstlicher Intelligenz in Europa. Durch klare Anforderungen an Hochrisiko-KI wird sichergestellt, dass Innovationen ethisch vertretbar und gesellschaftlich akzeptiert sind. Dies soll verhindern, dass sich Unternehmen in einem regulatorischen Graubereich bewegen oder Kunden und Investoren das Vertrauen in KI verlieren.

Wettbewerbsfähigkeit Europas stärken
Bisher haben vor allem die USA und China den globalen KI-Markt dominiert. Europa will mit dem AI Act eine Vorreiterrolle in der KI-Regulierung einnehmen und einen internationalen Standard setzen. Dies könnte langfristig zu einem Wettbewerbsvorteil führen, da europäische KI-Produkte als sicher und vertrauenswürdig gelten.

Die wichtigsten Gruppen:

• Entwickler und Anbieter von Hochrisiko-KI-Systemen
• Nutzer von KI-Lösungen in sensiblen Branchen wie Gesundheitswesen, Transport oder Energie
• Unternehmen, die automatisierte Entscheidungsfindung einsetzen
• Organisationen, die KI-Anwendungen in kritischen Infrastrukturen integrieren

Auch wenn dein Unternehmen bislang keine eigenen KI-Lösungen anbietet, kann der Einsatz von externen KI-Diensten relevant werden. Ergänzend dazu hat die EU eine Reihe von Leitfäden veröffentlicht, die dir dabei helfen, den Compliance-Status deines Unternehmens zu überprüfen und zu optimieren.

1. Unannehmbares Risiko (verbotene KI-Praktiken): Der EU AI Act verbietet bestimmte KI-Systeme, die als unannehmbares Risiko eingestuft werden. Dazu gehören Systeme, die das Verhalten von Personen durch manipulative oder täuschende Techniken beeinflussen und dadurch informierte Entscheidungen beeinträchtigen. Ebenso untersagt sind KI-gestützte Social-Scoring-Methoden, die Menschen basierend auf ihrem sozialen Verhalten oder persönlichen Merkmalen bewerten und diskriminierende Folgen haben können. Weitere verbotene Anwendungen sind die ungezielte Erstellung von Gesichtserkennungsdatenbanken durch das Scraping von Internetbildern oder Überwachungsaufnahmen sowie die emotionale Analyse in Arbeits- und Bildungskontexten – es sei denn, sie dient medizinischen oder sicherheitsrelevanten Zwecken. Auch die Echtzeit-Fernbiometrie in öffentlichen Räumen ist grundsätzlich verboten, mit wenigen Ausnahmen für Strafverfolgungsbehörden, etwa zur Suche nach vermissten Personen oder zur Verhinderung schwerer Straftaten.
2. Hohes Risiko: Diese Kategorie umfasst KI-Systeme, die erhebliche Auswirkungen auf die Gesundheit, Sicherheit oder Grundrechte von Einzelpersonen haben können. Beispiele hierfür sind KI-Anwendungen in kritischen Infrastrukturen, im Bildungswesen oder im Personalwesen, wie etwa bei der Bewertung von Bewerbungen. Solche Systeme unterliegen strengen Anforderungen, einschließlich eines umfassenden Risikomanagements und einer genauen Dokumentation.
3. Begrenztes Risiko: KI-Systeme mit begrenztem Risiko erfordern spezifische Transparenzpflichten. Wenn solche Systeme für die Interaktion mit natürlichen Personen bestimmt sind, müssen die Nutzer darüber informiert werden, dass sie mit einer Künstlichen Intelligenz interagieren.
4. Minimales oder kein Risiko: Diese Kategorie umfasst alle anderen KI-Systeme, die keine signifikanten Risiken darstellen. Für sie gelten keine spezifischen gesetzlichen Anforderungen, wobei freiwillige Verhaltenskodizes zur Förderung der verantwortungsvollen Nutzung ermutigt werden.

Dabei stehen technische Sicherheit, ethische Verantwortung und rechtliche Compliance gleichermaßen im Fokus.

Die im EU AI Act geforderten Maßnahmen beinhalten neben technischen und organisatorischen Vorkehrungen auch die Verpflichtung zu regelmäßigen Risiko- und Ethikbewertungen. Eine strukturierte Herangehensweise erleichtert es, den Überblick zu behalten und frühzeitig zu reagieren, wenn sich Rahmenbedingungen ändern.

Anforderungen des EU AI Act an Hochrisikosysteme
Hochrisiko-KI-Systeme unterliegen im EU AI Act strengen regulatorischen Anforderungen, da sie erhebliche Auswirkungen auf Sicherheit und Grundrechte haben können. Solche Systeme kommen beispielsweise in kritischen Infrastrukturen, der Strafverfolgung, dem Bildungswesen oder dem Personalwesen zum Einsatz.

Unternehmen, die Hochrisiko-KI einsetzen oder entwickeln, müssen sicherstellen, dass ihre Systeme bestimmten Anforderungen entsprechen. Dazu gehören:

• Risikomanagement und Transparenz: Anbieter müssen ein umfassendes Risikomanagementsystem implementieren, das potenzielle Gefahren frühzeitig erkennt und minimiert. Zudem müssen sie detaillierte Dokumentationen führen, um die Nachvollziehbarkeit der Entscheidungen des Systems zu gewährleisten.
• Datenqualität und Robustheit: Die verwendeten Datensätze müssen repräsentativ, fehlerfrei und für den jeweiligen Einsatzzweck geeignet sein, um Diskriminierung und Verzerrungen zu vermeiden.
• Menschliche Aufsicht: Hochrisiko-KI darf keine autonomen Entscheidungen ohne menschliche Kontrollmechanismen treffen, insbesondere wenn es um sicherheitskritische oder ethisch sensible Bereiche geht.
• Cybersicherheit und Zuverlässigkeit: Systeme müssen gegen Manipulation und Angriffe abgesichert sein und in verschiedenen Szenarien zuverlässig funktionieren.
• Erklärungspflichten: Nutzer müssen über den KI-Einsatz informiert werden, insbesondere wenn dieser direkte Auswirkungen auf sie hat, etwa bei automatisierten Bewerbungsprozessen oder Kreditentscheidungen.

Vor der Markteinführung müssen Hochrisiko-KI-Systeme eine Konformitätsbewertung durchlaufen, um sicherzustellen, dass sie die regulatorischen Anforderungen erfüllen. Zudem sind regelmäßige Audits und Überwachungsmaßnahmen erforderlich, um die Einhaltung der Vorschriften sicherzustellen.

Anforderungen an weniger risikoreiche KI-Systeme im EU AI Act
Für KI-Systeme, die nicht als Hochrisiko eingestuft werden, gelten weniger strenge, aber dennoch wichtige Anforderungen. Der EU AI Act teilt diese in zwei Kategorien ein: Begrenztes Risiko und Minimales Risiko.

Begrenztes Risiko: Transparenzpflichten für bestimmte KI-Anwendungen

KI-Systeme mit begrenztem Risiko müssen vor allem Transparenzanforderungen erfüllen. Dazu gehören:

• Kennzeichnungspflicht: Nutzer müssen darüber informiert werden, dass sie mit einer KI interagieren – etwa bei Chatbots oder KI-generierten Inhalten.
• Erklärbarkeit: Systeme sollten nachvollziehbare Ergebnisse liefern, damit Nutzer die Funktionsweise und Grenzen der Künstlichen Intelligenz verstehen.
• Deepfake-Erkennung: Inhalte, die durch KI erzeugt oder verändert wurden, insbesondere Deepfakes, müssen als solche gekennzeichnet werden.

Minimales Risiko: Keine spezifischen Vorschriften

KI-Systeme mit minimalem Risiko, wie Empfehlungsalgorithmen oder automatische Rechtschreibkorrekturen, unterliegen keinen besonderen Auflagen. Die EU setzt hier auf freiwillige Selbstregulierung und Best Practices für eine verantwortungsvolle Nutzung. Unternehmen können sich jedoch an freiwilligen Verhaltenskodizes orientieren, um ethische Standards einzuhalten.

Insgesamt zielt der EU AI Act darauf ab, ein Gleichgewicht zwischen Innovation und Schutz der Verbraucherrechte zu schaffen. Während Hochrisiko-Systeme strengen Vorgaben unterliegen, bleiben die Anforderungen für weniger risikoreiche Künstliche Intelligenz flexibel, um die technologische Entwicklung nicht unnötig einzuschränken.

Wie bei jeder umfassenden Regulierung gibt es auch beim EU AI Act Ausnahmen. Anwendungen, die beispielsweise ausschließlich zu Forschungszwecken eingesetzt werden oder in denen bereits etablierte ethische Standards greifen, können von den strengen Auflagen ausgenommen sein.
Diese Ausnahmeregelungen sollen den Innovationsfluss nicht behindern, sondern einen flexiblen Umgang mit weniger risikobehafteten KI-Anwendungen ermöglichen – stets im Einklang mit dem Schutz der Nutzer und der Gesellschaft

Der EU AI Act befindet sich derzeit im Gesetzgebungsverfahren. Ein Inkrafttreten wird für das Jahr 2025 erwartet – ein guter Zeitpunkt, um bereits jetzt alle notwendigen Maßnahmen in die Wege zu leiten.

Tipp 1: Klare Verantwortlichkeiten definieren
Bestimme ein engagiertes Team oder eine:n Ansprechpartner:in für alle Fragen rund um KI-Compliance und -Ethik.

Tipp 2: Umfassende Risikoanalyse durchführen
Analysiere potenzielle Risiken deiner KI-Systeme systematisch, um frühzeitig Schwachstellen zu erkennen und zu beheben.

Tipp 3: Transparenz schaffen
Stelle sicher, dass die Funktionsweise deiner KI nachvollziehbar dokumentiert wird – das stärkt das Vertrauen deiner Kund:innen.

Tipp 4: Datenschutz und ethische Richtlinien integrieren
Beziehe Datenschutzbestimmungen (wie die DSGVO) und ethische Leitlinien in die Entwicklung und Anwendung ein.

Tipp 5: Regelmäßige Schulungen anbieten
Schule deine Mitarbeiter:innen kontinuierlich im sicheren und verantwortungsvollen Umgang mit Künstlicher Intelligenz.

Tipp 6: Compliance-Checks und Audits etablieren
Führe regelmäßige Überprüfungen durch, um sicherzustellen, dass alle KI-Anwendungen den gesetzlichen Vorgaben entsprechen.

Tipp 7: Notfallpläne entwickeln
Erstelle detaillierte Pläne, um im Falle von Fehlfunktionen oder unvorhergesehenen Ereignissen schnell reagieren zu können.

Tipp 8: Interdisziplinäre Zusammenarbeit fördern
Binde Expert:innen aus Technik, Recht und Ethik in den Entwicklungsprozess ein – so profitierst du von vielfältigen Perspektiven.

Tipp 9: Kontinuierliche Optimierung
Optimiere deine KI-Systeme regelmäßig auf Basis aktueller Erkenntnisse und Rückmeldungen.

Ziehe bei Bedarf spezialisierte KI-Berater:innen hinzu, um sicherzustellen, dass alle Anforderungen des EU AI Act erfüllt werden.

Benötigst du Unterstützung bei der Umsetzung? Wir begleiten dich auf deinem Weg zu mehr Transparenz und Sicherheit im Umgang mit Künstlicher Intelligenz!

1. Zu strenge oder zu unklare Regeln für Unternehmen
Viele Unternehmen befürchten, dass die strengen Vorschriften, insbesondere für Hochrisiko-KI, Innovation hemmen und Europa im internationalen Wettbewerb zurückwerfen könnten. Besonders Start-ups und kleine Unternehmen sehen sich mit hohen Compliance-Kosten konfrontiert, die sie schwerer tragen können als große Konzerne. Zudem wird kritisiert, dass einige Regelungen unklar formuliert sind, sodass Unternehmen unsicher sind, ob ihre KI-Systeme als Hochrisiko eingestuft werden oder nicht.

2. Unzureichende Durchsetzung und Schlupflöcher
Bürgerrechtsorganisationen bemängeln, dass der AI Act in einigen Bereichen nicht weit genug geht. Beispielsweise sind Echtzeit-Biometrieüberwachung und Gesichtserkennung im öffentlichen Raum für Strafverfolgungsbehörden unter bestimmten Bedingungen weiterhin erlaubt – ein Punkt, der als potenzielles Risiko für die Privatsphäre gesehen wird. Kritiker befürchten, dass Staaten diese Ausnahmen nutzen könnten, um eine umfassende Massenüberwachung zu etablieren.

3. Belastung für KI-Forschung in Europa
Forscher warnen davor, dass der AI Act zu einem Wettbewerbsnachteil für die europäische KI-Forschung führen könnte. Während die USA und China weiterhin weitgehend unreguliert entwickeln können, müssen europäische Institutionen und Unternehmen neue bürokratische Hürden bewältigen. Dies könnte dazu führen, dass vielversprechende KI-Projekte ins Ausland abwandern.

4. Herausforderungen bei der Umsetzung
Ein weiteres Problem ist die praktische Umsetzung des Gesetzes. Die Einstufung von KI-Systemen in verschiedene Risikoklassen ist teilweise komplex, und es wird befürchtet, dass Unternehmen versuchen könnten, Regulierungen zu umgehen oder auf weniger überwachte Märkte auszuweichen. Zudem stellt sich die Frage, ob Behörden über ausreichend Ressourcen und technisches Wissen verfügen, um die Einhaltung der Vorschriften wirksam zu kontrollieren.

Die Auflagen treten schrittweise in Kraft:

• Für KI-Systeme mit unannehmbarem Risiko bereits im Februar 2025
• Für KI-Modelle mit allgemeinem Verwendungszweck nach zwölf Monaten
• Für die meisten aber erst in zwei Jahren

Bis dahin fordert die Kommission im KI-Pakt die Entwickler auf, die wichtigsten Verpflichtungen freiwillig in die Tat umzusetzen. Die Kommission arbeitet weitere Leitlinien aus, wie das Gesetz umgesetzt werden soll.

Bis zum 2. August 2025 müssen die EU-Mitgliedsstaaten die zuständigen nationalen Behörden benennen, die die Anwendung der Vorschriften überwachen sollen. Das AI Office der EU-Kommission soll die Regeln auf EU-Ebene durchsetzen. Es soll 140 Mitarbeiter haben, davon werden 80 neu eingestellt.