Blog

KI-Kompetenzpflicht für Unternehmen ab Februar 2025

Ab dem 2. Februar 2025 sind Unternehmen, die Künstliche Intelligenz (KI) entwickeln, betreiben oder einsetzen, gesetzlich dazu verpflichtet, eine angemessene KI-Kompetenz innerhalb ihrer Belegschaft sicherzustellen. Dies bedeutet, dass Mitarbeiter:innen ein Grundverständnis über die Funktionsweise, Risiken und rechtlichen Anforderungen von KI-Systemen erhalten müssen. Diese Anforderung richtet sich in erster Linie an Anbieter und Betreiber von KI-Systemen, nicht jedoch an Händler oder Einführer. Durch diese Schulungspflicht will die Europäische Union sicherstellen, dass KI sicher und verantwortungsvoll eingesetzt wird.

Das Ziel der Schulungspflicht besteht darin, das Wissen über KI in der gesamten Wertschöpfungskette zu stärken und eine sichere Nutzung der Technologie zu gewährleisten. Unternehmen müssen dafür sorgen, dass alle Mitarbeitenden, die mit KI-Systemen arbeiten, umfassend informiert sind. Dies umfasst neben den Funktionen und Einsatzmöglichkeiten auch die potenziellen Risiken und Nebenwirkungen der Technologie. Die Vorgabe basiert auf Artikel 113 des AI Act und muss bis Februar 2025 umgesetzt werden. Danach sind regelmäßige Auffrischungen geplant, um Mitarbeiter:innen auf dem neuesten Stand zu halten.

• Pflicht zur Schulung für alle Mitarbeitenden, die mit KI-Systemen arbeiten
• Grundkenntnisse über KI-Funktionen und Risiken erforderlich
• Regelmäßige Aktualisierung des Schulungsstandes

Die Umsetzung der Schulungen liegt in der Verantwortung der Geschäftsführung, die entsprechende Programme einrichten und durchsetzen muss. Dazu gehört auch die Schulung externer Dienstleister:innen, falls diese Zugriff auf die Systeme haben. Um die Anforderungen zu erfüllen, bieten viele Organisationen und Datenschutzberatungen bereits spezialisierte Schulungen an, die die notwendigen Inhalte praxisnah vermitteln. Unternehmen sind gut beraten, frühzeitig Schulungskonzepte zu entwickeln und umzusetzen, um die rechtlichen Vorgaben fristgerecht zu erfüllen.

In der Praxis könnte die Einführung dieser Schulungen so gestaltet werden, dass Mitarbeitende je nach Rolle und Verantwortung unterschiedliche Module durchlaufen. Verantwortliche für KI-Projekte sollten zum Beispiel ein detailliertes Wissen über die rechtlichen Anforderungen besitzen, während Anwender:innen grundlegende Schulungen erhalten, die auf die Funktionsweise und den sicheren Umgang fokussiert sind. Diese Struktur kann Unternehmen helfen, den Schulungsaufwand effizient zu gestalten und dennoch die Anforderungen des Gesetzes zu erfüllen.

Schulungsbereich	Zielgruppe	Inhalte
Grundlagen der KI	Alle Mitarbeitenden	Basiswissen über KI und deren Anwendungsbereiche
Rechtliche Vorgaben	Führungskräfte, KI-Projektverantwortliche	Detaillierte Schulungen zu rechtlichen Anforderungen
Datenschutz und Ethik	Datenschutzbeauftragte, Fachbereiche	Umgang mit KI und personenbezogenen Daten, ethische Richtlinien

Da KI-Systeme sich fortlaufend weiterentwickeln, müssen auch die Schulungen regelmäßig aktualisiert werden, um den Mitarbeitenden die neuesten Entwicklungen und potenziellen Risiken zu vermitteln. Diese Pflicht zur kontinuierlichen Weiterbildung stellt eine besondere Herausforderung dar, denn sie verlangt von Unternehmen einen strukturierten Plan zur Schulungsverwaltung und -überwachung. Verstöße gegen die Vorgaben können mit erheblichen Bußgeldern geahndet werden.

Die Schulungspflicht umfasst nicht nur die technischen Grundlagen von KI, sondern auch die gesellschaftlichen und datenschutzrechtlichen Risiken, die mit der Nutzung von KI-Systemen einhergehen. Besonders beim Einsatz sogenannter Hochrisiko-KI-Systeme, die in sensiblen Bereichen wie der Gesundheit, dem Arbeitsmarkt oder dem Finanzwesen eingesetzt werden, wird von Unternehmen ein hohes Maß an Sorgfalt erwartet. Mitarbeiter:innen sollten die ethischen und rechtlichen Implikationen von KI-Verfahren kennen.

• Verpflichtende Aktualisierungen bei Weiterentwicklungen der Technologie
• Fokussierung auf gesellschaftliche und datenschutzrechtliche Auswirkungen
• Spezielle Schulungen für Hochrisiko-KI-Anwendungen

Damit Unternehmen den Überblick über die erforderlichen Kompetenzen behalten, ist es sinnvoll, ein internes Schulungssystem oder eine Plattform zu etablieren, über die Mitarbeitende ihre Qualifikationen nachweisen und aktualisieren können. Solche Systeme könnten auch genutzt werden, um neue gesetzliche Vorgaben oder Änderungen in der Technologie zeitnah an alle Mitarbeitenden weiterzugeben. So können Unternehmen sicherstellen, dass alle Mitarbeitenden stets auf dem neuesten Stand sind.

Verbotene KI-Systeme: Einschränkungen und Risikovermeidung

Ab Februar 2025 gilt in der EU ein umfassendes Verbot für bestimmte Hochrisiko-KI-Systeme, die potenziell schädliche oder unethische Auswirkungen auf Einzelpersonen und die Gesellschaft haben könnten. Diese Regelung umfasst eine Liste verbotener Anwendungen, die auf Artikel 5 des AI Act basieren. Beispiele sind KI-Systeme, die Menschen manipulieren oder deren Schwächen bewusst ausnutzen. Ein besonders kritischer Fall sind KI-Technologien, die subtil das Verhalten von Menschen beeinflussen, etwa durch unterschwellige Werbung oder gezielte Beeinflussung des Konsumverhaltens.

Die gesetzliche Einschränkung verbietet außerdem KI-Systeme, die Schwächen oder Schutzbedürftigkeit bestimmter Gruppen ausnutzen, etwa Menschen mit Behinderungen oder Minderjährige. Hier soll verhindert werden, dass diese Technologien durch psychologische oder wirtschaftliche Manipulation missbraucht werden. Ziel ist es, vulnerablen Gruppen gezielten Schutz vor unethischem Einsatz von KI-Systemen zu bieten und negative soziale oder gesundheitliche Auswirkungen zu vermeiden.

• Verbot von manipulativen KI-Systemen
• Schutz vulnerabler Personengruppen
• Verhinderung unethischer Nutzungen von KI

Ein weiteres Anwendungsgebiet, das strengen Verboten unterliegt, sind KI-Systeme zur sozialen Bewertung oder Überwachung. KI-Technologien, die Menschen anhand ihres Verhaltens oder sozialer Merkmale bewerten und so beispielsweise Zugang zu sozialen oder wirtschaftlichen Ressourcen beeinflussen, gelten als gefährlich. Solche Systeme können zu Diskriminierung und ungerechten Benachteiligungen führen und sind daher ab Februar 2025 grundsätzlich untersagt.

Auch sogenannte ?Predictive Policing?-Systeme, die zukünftige Verbrechen oder Straftaten auf Basis von Verhaltensmustern und Profilen vorhersagen, werden verboten. Solche Systeme können zu einer Vorverurteilung führen und das Vertrauen in die Unparteilichkeit von Justiz und Strafverfolgung untergraben. Die EU sieht hier einen potenziellen Missbrauch der Technologie, da Einzelpersonen oder Gruppen durch ein solches ?Profiling? benachteiligt werden könnten.

Verbotene KI-Systeme	Beschreibung	Rechtliche Grundlage
Manipulative Systeme	Beeinflussen unbewusst das Verhalten	Artikel 5 Abs. 1 lit. a AI Act
Ausbeuterische Systeme	Nutzung von Schwächen oder Schutzbedürftigkeit	Artikel 5 Abs. 1 lit. b AI Act
Soziale Bewertung	Bewertung von Personen nach sozialen Merkmalen	Artikel 5 Abs. 1 lit. c AI Act
Predictive Policing	Vorhersage von Verbrechen durch Profiling	Artikel 5 Abs. 1 lit. d AI Act

Ebenso wird die ungezielte Erfassung und Speicherung biometrischer Daten durch KI eingeschränkt. Systeme, die etwa aus Überwachungskameras Gesichtsdaten sammeln und damit Identitäten ohne Zustimmung erfassen, sind von dieser Regelung betroffen. Ein solcher Eingriff in die Privatsphäre ist nach europäischem Recht unzulässig, da die Gefahr des Missbrauchs erheblich ist. Unternehmen und öffentliche Institutionen, die solche Technologien einsetzen, müssen ab Februar 2025 sicherstellen, dass sie den neuen Vorschriften entsprechen.

Die unzulässige Nutzung von Gesichtserkennungstechnologien im öffentlichen Raum wird als Eingriff in die Grundrechte betrachtet. Insbesondere geht es hier um den Schutz der Privatsphäre und die Vermeidung von unzulässiger Überwachung. Mit der Einführung dieser Regelungen setzt die EU ein klares Zeichen gegen Missbrauch und Überwachungstechnologien, die ohne klare Zustimmung der Betroffenen betrieben werden.

• Verbot der ungezielten biometrischen Datenerfassung
• Gesichtserkennung nur unter strengen Auflagen
• Wahrung der Grundrechte und Schutz der Privatsphäre

Abschließend werden auch Emotionserkennungssysteme, die beispielsweise am Arbeitsplatz oder in Bildungseinrichtungen eingesetzt werden, verboten. Diese Systeme könnten Einfluss auf die Verhaltens- und Leistungsbewertung von Personen haben und führen oft zu Eingriffen in die Persönlichkeitsrechte. Die neue Verordnung stellt daher sicher, dass KI-Systeme keine unkontrollierte Macht über das persönliche Verhalten oder die emotionale Reaktion von Individuen ausüben.

Dokumentations- und Transparenzpflichten für KI-Systeme

Zusätzlich zu den Schulungs- und Verbotspflichten fordert die EU-Verordnung ab Februar 2025 eine umfassende Dokumentation und Nachvollziehbarkeit für alle KI-Systeme. Diese Transparenzpflicht stellt sicher, dass die Funktionsweise und Entscheidungen eines KI-Systems für externe Prüfer:innen, Behörden und Nutzer:innen nachvollziehbar sind. Anbieter und Betreiber von KI-Anwendungen müssen Informationen bereitstellen, die das System, seine Trainingsmethoden, die genutzten Daten sowie die Entscheidungsprozesse dokumentieren. Dadurch soll das Vertrauen in KI-Technologien gestärkt und deren Missbrauch verhindert werden.

Jedes KI-System muss daher mit einer detaillierten technischen Dokumentation ausgestattet sein, die Auskunft über die Algorithmen, Datensätze und verwendeten Verfahren gibt. Diese Dokumentation muss aktuell gehalten werden und ist bei jeder bedeutenden Änderung des Systems zu aktualisieren. Für Hochrisiko-KI-Systeme, die beispielsweise im Gesundheitswesen, in der Strafverfolgung oder im Finanzsektor eingesetzt werden, gelten besonders hohe Anforderungen. Fehlerhafte oder unvollständige Dokumentationen können empfindliche Bußgelder nach sich ziehen.

• Umfassende Dokumentation von Algorithmen und Prozessen
• Regelmäßige Aktualisierung bei Änderungen des Systems
• Sicherstellung der Nachvollziehbarkeit für Behörden und Nutzer:innen

Für Anbieter bedeutet die Transparenzpflicht zudem, dass alle relevanten Informationen zu möglichen Risiken und Einschränkungen eines KI-Systems offengelegt werden müssen. Unternehmen, die ihre Systeme in der EU einsetzen, sind verpflichtet, potenzielle Fehlerquellen und Bias im System zu identifizieren und zu dokumentieren. Dadurch soll verhindert werden, dass Entscheidungen, die auf diesen Systemen basieren, unreflektiert oder voreingenommen getroffen werden, was in Bereichen wie Personalentscheidungen oder der Kreditvergabe besonders kritisch ist.

Die Dokumentationspflicht betrifft nicht nur die technische Seite eines KI-Systems, sondern auch die ethischen und sozialen Risiken, die mit dem Einsatz verbunden sind. Hierbei ist es erforderlich, dass Unternehmen Maßnahmen ergreifen, um gesellschaftliche Nachteile durch das System zu minimieren. Dazu zählen Analysen zu Diskriminierungsrisiken und die Dokumentation von Maßnahmen, die diesen Risiken entgegenwirken. Die Nachvollziehbarkeit dient dazu, dass alle relevanten Akteure ? von Mitarbeitenden über Kund:innen bis hin zu Aufsichtsbehörden ? Einblicke in die Funktionsweise und die ethischen Standards eines KI-Systems erhalten.

Dokumentationsinhalt	Beschreibung	Anforderungen
Algorithmenbeschreibung	Erklärung der Funktionsweise und Logik	Detailgenaue Offenlegung
Datenquellen	Herkunft und Verarbeitung der Daten	Nachvollziehbare Datenherkunft
Bias-Analyse	Prüfung auf Vorurteile und Diskriminierung	Laufende Aktualisierung und Offenlegung

Betreiber und Anbieter von KI-Systemen müssen zudem sicherstellen, dass die Dokumentation für alle relevanten Interessengruppen zugänglich ist. In der Praxis bedeutet dies, dass sowohl interne Fachabteilungen als auch externe Prüfer:innen Zugriff auf alle notwendigen Informationen haben müssen. Auch Benutzer:innen, die direkt mit einem KI-System interagieren, sollen grundlegende Informationen über das System erhalten, wie etwa den Zweck des Systems und mögliche Risiken bei dessen Nutzung.

Eine besonders wichtige Anforderung besteht darin, dass Unternehmen sicherstellen, dass Dokumentationen in verständlicher und zugänglicher Sprache verfasst sind. So wird gewährleistet, dass nicht nur technische Fachkräfte, sondern auch Menschen ohne spezialisierte Kenntnisse die Funktionsweise eines KI-Systems verstehen können. Das Ziel der EU-Verordnung ist es, Transparenz zu schaffen und die Verantwortlichkeit beim Einsatz von KI zu erhöhen. Gleichzeitig wird verhindert, dass Unternehmen technische Details verschleiern, die potenziell problematische Elemente eines KI-Systems verdecken könnten.

• Zugang zu Dokumentationen für interne und externe Akteure
• Verständliche Sprache und Erklärungen
• Erhöhung der Transparenz und Verantwortlichkeit

Abschließend sind Unternehmen dazu verpflichtet, regelmäßig Audits und Risikoanalysen ihrer KI-Systeme durchzuführen, um deren Einhaltung der Dokumentationsanforderungen sicherzustellen. Diese Audits umfassen Überprüfungen der Systemfunktionalitäten und eine Bewertung der Effizienz aller Sicherheits- und Datenschutzmaßnahmen. Die Ergebnisse dieser Prüfungen sollten in der Dokumentation festgehalten werden, sodass bei externen Kontrollen der Nachweis über die Rechtskonformität erbracht werden kann. So wird sichergestellt, dass alle KI-Anwendungen den höchsten Standards entsprechen und potenzielle Risiken minimiert werden.

Compliance-Anforderungen und Bußgelder bei Verstößen

Ab Februar 2025 treten für Anbieter und Betreiber von KI-Systemen umfangreiche Compliance-Pflichten in Kraft. Unternehmen müssen sicherstellen, dass alle gesetzlichen Vorgaben eingehalten werden, um den rechtmäßigen Einsatz ihrer KI-Technologien zu gewährleisten. Besonders im Hinblick auf Datenschutz und Transparenz sind die Anforderungen hoch. Die Vorgaben richten sich dabei auch nach der Datenschutz-Grundverordnung (DSGVO), was bedeutet, dass personenbezogene Daten in KI-Anwendungen nur unter strengen Bedingungen verarbeitet werden dürfen.

Die KI-Verordnung sieht hohe Bußgelder für Unternehmen vor, die gegen die Regelungen verstoßen. Besonders schwerwiegende Verstöße, wie etwa der Einsatz verbotener oder manipulativer KI-Systeme, können zu Strafen in Höhe von bis zu 35 Millionen Euro führen. Auch die Nichteinhaltung der Schulungs- und Dokumentationspflichten kann empfindliche Sanktionen nach sich ziehen. Diese Bußgelder sollen abschreckend wirken und sicherstellen, dass Unternehmen sich an die hohen Sicherheitsstandards halten.

• Pflicht zur Einhaltung der DSGVO bei KI-Systemen
• Strenge Transparenzanforderungen
• Bußgelder bei schwerwiegenden Verstößen bis zu 35 Millionen Euro

Um die Compliance sicherzustellen, sind Unternehmen angehalten, interne Kontrollmechanismen und Audits einzuführen. Dabei sollen regelmäßige Überprüfungen gewährleisten, dass alle Vorschriften korrekt umgesetzt und die rechtlichen Anforderungen erfüllt werden. Die Kontrolle durch externe Prüfer:innen wird ebenfalls erwartet, sodass Unternehmen entsprechende Nachweise über die Einhaltung ihrer Verpflichtungen bereitstellen müssen.

Ein weiterer Aspekt der Compliance betrifft die Verpflichtung, sicherzustellen, dass KI-Systeme fair und diskriminierungsfrei funktionieren. Dazu gehört unter anderem die Überprüfung der eingesetzten Algorithmen auf mögliche Verzerrungen, um Diskriminierungen zu vermeiden. Dies ist insbesondere in Bereichen wie dem Arbeitsmarkt, der Finanzwirtschaft und bei öffentlich eingesetzten KI-Anwendungen relevant.

Compliance-Anforderung	Beschreibung	Bußgelder bei Verstoß
Datenschutz	Einhaltung der DSGVO bei personenbezogenen Daten	Bis zu 35 Mio. Euro
Transparenz	Nachvollziehbarkeit der KI-Entscheidungen	Bußgelder je nach Schwere
Diskriminierungsfreiheit	Vermeidung von Bias in Algorithmen	Strenge Überwachung und Sanktionen

Compliance im Bereich KI bedeutet auch, dass Unternehmen klare Informationspflichten gegenüber den Nutzer:innen ihrer Systeme haben. Wenn ein KI-System für entscheidende Bewertungen ? wie etwa bei Kreditvergaben oder Bewerbungsverfahren ? eingesetzt wird, muss die betroffene Person transparent über die Systemnutzung und deren Einfluss auf die Entscheidung informiert werden. Die Verpflichtung zur Transparenz gilt als einer der zentralen Bestandteile der Compliance-Anforderungen im AI Act.

Risikomanagement und Sicherheitsvorgaben für KI-Systeme

Die KI-Verordnung verlangt von Unternehmen, ein umfassendes Risikomanagement für KI-Systeme einzuführen. Ziel ist es, die potenziellen Risiken und Gefahren, die mit KI-Technologien verbunden sind, zu minimieren und den Schutz der Nutzer:innen und der Gesellschaft zu gewährleisten. Unternehmen müssen identifizieren, welche Risiken mit dem Einsatz ihrer KI-Systeme verbunden sind, und entsprechende Maßnahmen zur Risikominimierung ergreifen. Dies gilt insbesondere für Hochrisiko-KI-Systeme.

Das Risikomanagement umfasst dabei technische und organisatorische Maßnahmen, die sicherstellen, dass die KI-Anwendungen zuverlässig und sicher sind. Unternehmen müssen Maßnahmen zur Fehlerprävention und -kontrolle implementieren, um Risiken wie Fehlentscheidungen oder Diskriminierungen zu vermeiden. Darüber hinaus müssen Prozesse zur laufenden Überwachung und Bewertung der Risiken etabliert werden, um auf neue Herausforderungen reagieren zu können.

• Identifikation von Risiken durch KI-Systeme
• Implementierung von Fehlerpräventionsmaßnahmen
• Regelmäßige Überwachung der Systeme

Ein zentraler Bestandteil des Risikomanagements ist die Risikoanalyse, die bei der Einführung und Weiterentwicklung eines KI-Systems durchgeführt werden muss. Diese Analyse umfasst die Bewertung potenzieller Gefahren und deren Auswirkungen auf die Nutzer:innen und die Gesellschaft. Durch die Risikoanalyse sollen Schwachstellen im System frühzeitig erkannt und durch geeignete Maßnahmen behoben werden.

Darüber hinaus verlangt die KI-Verordnung von Unternehmen, spezifische Notfall- und Sicherheitspläne für Hochrisiko-KI-Systeme zu erstellen. Diese Pläne sollen es ermöglichen, dass die Systeme im Falle eines sicherheitsrelevanten Vorfalls schnell abgeschaltet oder angepasst werden können. Unternehmen müssen somit in der Lage sein, auf sicherheitskritische Ereignisse proaktiv zu reagieren und Schäden zu vermeiden.

Risikomanagement-Maßnahme	Beschreibung	Ziel
Risikobewertung	Identifikation und Analyse potenzieller Risiken	Minimierung von Fehlentscheidungen und Schäden
Fehlerprävention	Implementierung von Maßnahmen zur Fehlerkontrolle	Reduzierung von Risikoquellen
Notfallpläne	Maßnahmen zur Sicherung bei Zwischenfällen	Gewährleistung der Betriebssicherheit

Die KI-Verordnung fordert, dass Unternehmen zur regelmäßigen Überprüfung und Verbesserung der Sicherheit ihrer KI-Systeme verpflichtet sind. Dies umfasst interne Audits und Tests, die sicherstellen, dass die Sicherheitsstandards laufend eingehalten werden. Die laufende Überprüfung der Systeme ist essenziell, um den steigenden technischen Anforderungen gerecht zu werden und die Risiken im KI-Bereich nachhaltig zu verringern.

Vorgaben zur Nutzung von Daten in KI-Anwendungen

Der Einsatz von Künstlicher Intelligenz ist stark abhängig von der Nutzung und Verarbeitung großer Datenmengen. Ab Februar 2025 müssen Unternehmen in der EU strikte Vorgaben einhalten, die die Datenqualität und den Umgang mit Daten in KI-Systemen betreffen. Diese Regelungen zielen darauf ab, die Nutzung von personenbezogenen Daten auf ein Minimum zu beschränken und sicherzustellen, dass nur rechtmäßige und qualitativ hochwertige Daten verarbeitet werden. Die Anforderungen sind eng an die Datenschutz-Grundverordnung (DSGVO) angelehnt.

Unternehmen sind verpflichtet, die Herkunft und Qualität der verwendeten Daten zu prüfen und sicherzustellen, dass keine unzulässigen Informationen in die KI-Modelle einfließen. Dies bedeutet, dass Datenquellen transparent dokumentiert und regelmäßig überprüft werden müssen. Vor allem bei Hochrisiko-KI-Systemen, die in sensiblen Bereichen wie Gesundheit oder Finanzen eingesetzt werden, ist eine besonders sorgfältige Datenprüfung erforderlich.

• Transparenz der Datenquellen
• Regelmäßige Datenqualitätsprüfung
• Einhaltung der DSGVO bei personenbezogenen Daten

Eine der zentralen Anforderungen ist die Anonymisierung personenbezogener Daten, um die Privatsphäre der betroffenen Personen zu schützen. Nur in Ausnahmefällen, und wenn es unbedingt erforderlich ist, dürfen personenbezogene Daten in KI-Systemen verarbeitet werden. Unternehmen müssen in solchen Fällen sicherstellen, dass diese Daten ausreichend anonymisiert oder pseudonymisiert sind, um Rückschlüsse auf einzelne Personen zu verhindern.

Ein weiteres Ziel der Verordnung ist es, Verzerrungen (Bias) in den verwendeten Daten zu minimieren. Daten, die Vorurteile oder einseitige Ansichten widerspiegeln, können dazu führen, dass KI-Systeme diskriminierende Entscheidungen treffen. Daher sind Unternehmen verpflichtet, die verwendeten Daten sorgfältig zu prüfen und Maßnahmen zur Bias-Reduzierung zu ergreifen. Dies ist besonders wichtig in Bereichen wie der Kreditvergabe oder Personalauswahl, in denen verzerrte Daten schwerwiegende Folgen haben können.

Datenanforderung	Beschreibung	Ziel
Anonymisierung	Schutz personenbezogener Daten durch Anonymisierung	Wahrung der Privatsphäre
Bias-Reduzierung	Minimierung von Verzerrungen in den Daten	Vermeidung von Diskriminierung
Datenquellen-Transparenz	Nachvollziehbare Dokumentation der Datenherkunft	Erhöhung der Systemverantwortlichkeit

Unternehmen sind ebenfalls dazu angehalten, regelmäßige Audits zur Datenqualität und -verwendung durchzuführen. Diese Überprüfungen sollen sicherstellen, dass die verwendeten Daten aktuell, korrekt und relevant für die KI-Anwendung sind. Fehlerhafte oder veraltete Daten könnten zu falschen oder schädlichen Entscheidungen führen, weshalb ein aktives Datenmanagement notwendig ist.

Im Rahmen der Transparenzpflichten müssen Unternehmen offenlegen, welche Daten für ihre KI-Systeme verwendet werden und zu welchen Zwecken. Diese Offenlegung schafft Vertrauen und ermöglicht es Nutzern und Aufsichtsbehörden, die Datenverwendung zu überprüfen. So wird gewährleistet, dass KI-Anwendungen auf fairen und korrekten Daten basieren und keine schädlichen Auswirkungen auf Einzelpersonen oder Gesellschaftsgruppen haben.

Ethikrichtlinien und gesellschaftliche Verantwortung im KI-Einsatz

Mit dem Inkrafttreten der KI-Verordnung müssen Unternehmen nicht nur technische und rechtliche Vorgaben einhalten, sondern auch ethische Standards berücksichtigen. Die EU fordert von Unternehmen, die Auswirkungen ihrer KI-Systeme auf die Gesellschaft und auf die Rechte der Menschen zu reflektieren und Maßnahmen zu ergreifen, um potenziell negative Effekte zu verhindern. Unternehmen, die KI-Systeme entwickeln oder einsetzen, sind somit auch gesellschaftlich in der Verantwortung.

Ein wichtiger Aspekt der Ethikrichtlinien ist die Wahrung der Menschenwürde und die Einhaltung von Grundrechten. KI-Anwendungen dürfen nicht dazu führen, dass Personen diskriminiert, ausgebeutet oder ungerecht behandelt werden. Systeme, die aufgrund von Algorithmusentscheidungen ungerechtfertigt Personen benachteiligen, wie z. B. beim Zugang zu Finanzdienstleistungen oder zu Arbeitsmöglichkeiten, stehen im Widerspruch zu diesen ethischen Standards.

• Achtung der Menschenwürde
• Vermeidung von Diskriminierung
• Transparente Kommunikation über KI-Entscheidungen

Die gesellschaftliche Verantwortung beim Einsatz von KI bedeutet auch, dass Unternehmen transparent über die Funktionsweise und Grenzen ihrer Systeme kommunizieren. Benutzer:innen und betroffene Personen müssen verstehen, wie ein KI-System Entscheidungen trifft und in welchen Bereichen es Einschränkungen gibt. Diese Aufklärungspflicht soll verhindern, dass Menschen Entscheidungen blind vertrauen, ohne deren Konsequenzen zu verstehen.

Die EU erwartet von Unternehmen außerdem, dass sie Maßnahmen zur ethischen Überwachung ihrer KI-Systeme implementieren. Dies bedeutet, dass regelmäßige ethische Audits durchgeführt werden, um die Systeme auf gesellschaftlich bedenkliche Auswirkungen zu prüfen. Beispielsweise könnte ein KI-System, das zur Personalauswahl verwendet wird, regelmäßig überprüft werden, um unfaire Einstellungspraktiken oder Diskriminierungen zu verhindern.

Ethikanforderung	Beschreibung	Ziel
Menschenwürde	Schutz der Grundrechte und Würde	Vermeidung von Diskriminierung
Transparenz	Aufklärung der Nutzer:innen über KI-Entscheidungen	Förderung des Vertrauens
Ethik-Audits	Regelmäßige Überprüfung auf gesellschaftliche Risiken	Minimierung negativer Auswirkungen

Ethikrichtlinien verpflichten Unternehmen, alle Stakeholder in den Entwicklungs- und Einsatzprozess von KI-Systemen einzubeziehen. Dies bedeutet, dass bei der Entwicklung von KI-Anwendungen auch mögliche gesellschaftliche Auswirkungen und ethische Fragen von Anfang an berücksichtigt werden müssen. Ein proaktiver Ansatz in Bezug auf Ethik und gesellschaftliche Verantwortung hilft Unternehmen, ihre KI-Systeme zukunftssicher zu gestalten.

Die Ethikvorgaben der EU-Verordnung tragen zur allgemeinen Akzeptanz und Vertrauensbildung bei. Durch die Verpflichtung zur ethischen Reflexion wird sichergestellt, dass KI-Technologien im Einklang mit gesellschaftlichen Werten stehen und dass mögliche negative Auswirkungen rechtzeitig erkannt und vermieden werden. Die Berücksichtigung ethischer Standards fördert zudem den verantwortungsvollen Umgang mit KI und unterstützt eine faire Entwicklung der Technologie.

Transparenz- und Erklärungsanforderungen für KI-Entscheidungen

Die Transparenzpflichten für KI-Systeme, die ab Februar 2025 in der EU gelten, verlangen von Unternehmen, dass ihre KI-Entscheidungen für Nutzer:innen und betroffene Personen nachvollziehbar sind. Das bedeutet, dass die Entscheidungsfindung eines KI-Systems erklärt werden muss, insbesondere bei Anwendungen, die sich direkt auf Einzelpersonen auswirken, wie etwa im Bereich Kreditentscheidungen, Bewerbungsprozesse oder Strafjustiz. Diese Transparenzvorgaben sollen sicherstellen, dass alle Beteiligten die Funktionsweise und Grenzen eines KI-Systems verstehen.

Um die Transparenz zu gewährleisten, sind Unternehmen verpflichtet, den Entscheidungsprozess und die dahinter liegenden Algorithmen offenzulegen, ohne Geschäftsgeheimnisse zu gefährden. Dies schließt auch Informationen zu den Datenquellen und Trainingsmethoden ein, die für die Entwicklung der KI verwendet wurden. Die Offenlegung der Entscheidungsgrundlagen soll vermeiden, dass Nutzer:innen Entscheidungen akzeptieren müssen, die sie nicht nachvollziehen können.

• Erklärung der Entscheidungsprozesse von KI-Systemen
• Offenlegung von Algorithmen und Trainingsmethoden
• Transparenz über verwendete Datenquellen

Ein besonderer Schwerpunkt der Transparenzpflicht liegt auf der sogenannten ?Erklärbarkeit? der KI-Entscheidungen. Die Erklärbarkeit bezieht sich darauf, dass Unternehmen in der Lage sein müssen, die Entscheidungslogik ihrer Systeme in verständlicher Weise darzulegen. Dadurch sollen Nutzer:innen besser verstehen, warum eine bestimmte Entscheidung getroffen wurde und welche Faktoren dabei eine Rolle gespielt haben. Bei komplexen KI-Systemen, wie neuronalen Netzwerken, stellt dies jedoch eine besondere Herausforderung dar.

Die EU-Verordnung fordert Unternehmen auf, bei Entscheidungen, die auf Hochrisiko-KI-Systemen basieren, klare und verständliche Erläuterungen für die betroffenen Personen bereitzustellen. Diese Erläuterungen umfassen Informationen darüber, welche Daten zur Entscheidungsfindung herangezogen wurden, wie die Gewichtung erfolgte und welche Parameter in den Algorithmus eingeflossen sind. Dadurch soll verhindert werden, dass KI-Systeme ohne menschliche Kontrolle Entscheidungen treffen, die sich erheblich auf das Leben von Menschen auswirken.

Transparenzanforderung	Beschreibung	Ziel
Erklärbarkeit	Nachvollziehbare Erklärung der KI-Entscheidungen	Verständnis für die Entscheidungslogik
Offenlegung von Algorithmen	Transparenz der Entscheidungsprozesse	Vermeidung von ?Black Box?-Effekten
Information der Betroffenen	Klarheit über verwendete Daten und Parameter	Schutz der Nutzerrechte

Die Transparenzvorgaben gelten nicht nur für Endnutzer:innen, sondern auch für Aufsichtsbehörden und Prüfstellen, die Zugang zu den technischen Details eines KI-Systems erhalten müssen. Behörden können so sicherstellen, dass Unternehmen die gesetzlichen Vorgaben einhalten und die KI-Systeme im Einklang mit ethischen und rechtlichen Standards betrieben werden. Diese Offenlegungspflicht ist ein zentrales Element zur Förderung der Vertrauenswürdigkeit und der gesellschaftlichen Akzeptanz von KI-Technologien.

Eine verständliche Dokumentation ist ebenfalls erforderlich, um Transparenz sicherzustellen. Unternehmen sind verpflichtet, benutzerfreundliche Informationen bereitzustellen, die sich an die jeweiligen Zielgruppen richten. Nutzer:innen, die direkt von KI-Entscheidungen betroffen sind, haben Anspruch auf verständliche und umfassende Erläuterungen. Dies gilt insbesondere, wenn die Entscheidung erhebliche Auswirkungen auf sie hat.

Anforderungen an den Einsatz von KI in sensiblen Bereichen

Für den Einsatz von Künstlicher Intelligenz in besonders sensiblen Bereichen gelten ab Februar 2025 zusätzliche Anforderungen. Der AI Act unterscheidet hier zwischen ?normalen? und ?Hochrisiko-KI-Systemen?, wobei Letztere strenger reguliert werden. Hochrisiko-KI-Systeme kommen in Bereichen zum Einsatz, die direkt das Leben oder die Rechte von Menschen betreffen, wie etwa das Gesundheitswesen, die Strafverfolgung oder das Finanzwesen. Diese Systeme müssen besonders hohe Sicherheits- und Transparenzanforderungen erfüllen.

Im Gesundheitswesen können KI-Systeme beispielsweise zur Diagnose von Krankheiten oder zur Planung von Behandlungen eingesetzt werden. Um sicherzustellen, dass die Systeme verlässlich und sicher arbeiten, fordert die EU, dass derartige KI-Anwendungen sorgfältig getestet und dokumentiert werden. Fehler in diesen Systemen könnten schwerwiegende Folgen haben, weshalb strenge Qualitäts- und Sicherheitsanforderungen gelten. Die Transparenz bei medizinischen KI-Systemen ist ebenfalls entscheidend, um Vertrauen bei Patient:innen und medizinischem Personal zu schaffen.

• Erhöhte Sicherheitsanforderungen für Hochrisiko-KI-Systeme
• Pflicht zur sorgfältigen Testung und Dokumentation
• Transparenzpflicht zur Förderung des Vertrauens

Im Bereich der Strafverfolgung unterliegen KI-Systeme besonders strengen Vorschriften, um sicherzustellen, dass sie weder zu Diskriminierungen führen noch die Grundrechte verletzen. So dürfen Systeme, die zur Vorhersage von Straftaten (Predictive Policing) eingesetzt werden, keine personenbezogenen Profile verwenden, die auf unbegründeten Annahmen basieren. Die Nutzung von KI in der Strafverfolgung ist daher streng reglementiert und bedarf detaillierter Dokumentationen und Überprüfungen durch Aufsichtsbehörden.

Ähnlich hohe Anforderungen gelten für KI-Systeme im Finanzsektor, die z. B. bei Kreditwürdigkeitsprüfungen oder im Zahlungsverkehr eingesetzt werden. Die Transparenz und Fairness dieser Systeme sind entscheidend, um die Rechte der Kund:innen zu schützen und Diskriminierungen zu vermeiden. Unternehmen müssen hier sicherstellen, dass alle Entscheidungen, die auf KI-Systemen basieren, nachvollziehbar und diskriminierungsfrei getroffen werden.

Sensibler Bereich	Beispiele für KI-Einsatz	Besondere Anforderungen
Gesundheitswesen	Diagnose, Behandlungsplanung	Sicherheits- und Transparenztests
Strafverfolgung	Predictive Policing	Vermeidung von Diskriminierung
Finanzsektor	Kreditvergabe, Zahlungsverkehr	Fairness und Nachvollziehbarkeit

Für Hochrisiko-KI-Systeme besteht zudem die Pflicht zur regelmäßigen Überprüfung und Neuzertifizierung, um sicherzustellen, dass die Systeme über ihre gesamte Nutzungsdauer hinweg die Anforderungen erfüllen. Dies ist besonders wichtig in Bereichen, in denen sich Gesetze, Technologien oder gesellschaftliche Erwartungen ändern. Unternehmen müssen auch Notfallpläne entwickeln, um im Fall eines Systemausfalls oder Fehlers schnell und effektiv reagieren zu können.

Der Einsatz von KI in sensiblen Bereichen wird künftig verstärkt durch Behörden kontrolliert. Um die Einhaltung der gesetzlichen Vorgaben sicherzustellen, sind regelmäßige Audits und Inspektionen geplant. Durch diese Maßnahmen möchte die EU sicherstellen, dass KI-Technologien verantwortungsvoll und im Einklang mit gesellschaftlichen Erwartungen genutzt werden. Die hohen Standards für KI-Systeme in diesen Bereichen sollen Vertrauen aufbauen und gleichzeitig Missbrauch verhindern.

Mitbestimmungsrechte und Arbeitnehmerrechte im Kontext von KI

Der Einsatz von KI-Systemen am Arbeitsplatz bringt neue Herausforderungen für den Arbeits- und Datenschutz. Ab Februar 2025 gelten in der EU klare Regelungen, die den Schutz der Arbeitnehmerrechte im Umgang mit KI-Systemen gewährleisten sollen. Unternehmen müssen sicherstellen, dass die Einführung und Nutzung von KI-Systemen nicht gegen bestehende Mitbestimmungsrechte der Arbeitnehmer:innen verstößt. Diese Rechte sind vor allem durch das Betriebsverfassungsgesetz (BetrVG) geregelt, das Mitbestimmungspflichten für technische Systeme vorsieht, die zur Überwachung oder Leistungsbewertung eingesetzt werden.

Insbesondere der Betriebsrat hat bei der Einführung von KI-Systemen, die das Verhalten oder die Leistung der Beschäftigten überwachen können, ein Mitspracherecht. Unternehmen sind daher verpflichtet, den Betriebsrat frühzeitig einzubeziehen und über die geplante Nutzung von KI am Arbeitsplatz zu informieren. Der Betriebsrat kann, falls erforderlich, Maßnahmen fordern, die sicherstellen, dass die Technologie nicht zur Überwachung oder Leistungsbewertung der Arbeitnehmer:innen missbraucht wird.

• Mitbestimmungsrecht des Betriebsrats bei Überwachungssystemen
• Pflicht zur frühzeitigen Einbindung des Betriebsrats
• Einhaltung des Datenschutzes und der Arbeitnehmerrechte

Für Arbeitnehmer:innen besteht der Anspruch, informiert zu werden, wenn KI-Systeme bei der Entscheidungsfindung in Bereichen wie Personalplanung, Beförderungen oder Arbeitszeitregelungen eingesetzt werden. Der AI Act sieht vor, dass Beschäftigte das Recht haben, zu erfahren, wie und in welchem Umfang KI-Systeme Entscheidungen beeinflussen. Insbesondere bei vollautomatisierten Entscheidungen muss der Arbeitgeber sicherstellen, dass die Rechte der Beschäftigten gewahrt bleiben und eine transparente Kommunikation stattfindet.

Ein weiterer Aspekt ist der Schutz vor Diskriminierung und die Gewährleistung von Fairness bei der Nutzung von KI. KI-Systeme, die für Personalentscheidungen oder die Verwaltung von Arbeitszeiten eingesetzt werden, müssen diskriminierungsfrei gestaltet sein. Um dies zu gewährleisten, verlangt die Verordnung von Unternehmen, dass sie Bias-Analysen durchführen und sicherstellen, dass keine voreingenommenen Entscheidungen getroffen werden, die Arbeitnehmer:innen benachteiligen könnten.

Arbeitnehmerrecht	Beschreibung	Rechtliche Grundlage
Mitbestimmung	Beteiligung des Betriebsrats bei KI-Einführung	§ 87 BetrVG
Transparenz	Information der Arbeitnehmer über KI-Einsatz	AI Act, Art. 12
Diskriminierungsfreiheit	Vermeidung von Bias in Personalentscheidungen	DSGVO, AI Act

Ein zentraler Punkt der Verordnung ist die Sicherstellung, dass Entscheidungen, die durch KI-Systeme unterstützt werden, immer von einer menschlichen Instanz überprüfbar sind. Dies bedeutet, dass bei wichtigen Personalentscheidungen die finale Entscheidung nicht ausschließlich durch KI getroffen werden darf. Die Einbindung des Betriebsrats hilft dabei, dieses Prinzip durchzusetzen und sicherzustellen, dass die Arbeitnehmerrechte gewahrt bleiben.

Die Verordnung gibt zudem vor, dass Unternehmen klar festlegen müssen, welche Daten durch die KI-Systeme verarbeitet werden dürfen. Die DSGVO schützt die personenbezogenen Daten der Arbeitnehmer:innen und schreibt vor, dass Daten nur im erforderlichen Umfang verwendet werden dürfen. Der Betriebsrat kann dies ebenfalls überwachen, um den Datenschutz der Beschäftigten zu gewährleisten und Missbrauch zu verhindern.

• Pflicht zur menschlichen Überprüfung wichtiger Entscheidungen
• Einhaltung des Datenschutzes durch begrenzte Datennutzung
• Stärkung der Arbeitnehmerrechte im KI-Kontext

Abschließend haben Arbeitnehmer:innen das Recht, jederzeit Informationen über ihre durch KI-Systeme gespeicherten Daten einzuholen. Dies umfasst auch das Recht auf Korrektur oder Löschung, falls die Daten fehlerhaft oder unrechtmäßig erhoben wurden. Unternehmen müssen sicherstellen, dass die eingesetzten KI-Systeme so gestaltet sind, dass diese Rechte gewahrt bleiben und die Beschäftigten jederzeit auf ihre Daten zugreifen können.

Zukünftige Entwicklungen und Anpassungen im KI-Recht

Der AI Act ist ein dynamisches Regelwerk, das sich mit der technischen Entwicklung der KI weiterentwickeln soll. Die EU-Kommission plant, die Verordnung regelmäßig zu überprüfen und an neue Technologien und gesellschaftliche Anforderungen anzupassen. Diese Anpassungen sollen sicherstellen, dass das KI-Recht auch in Zukunft die notwendigen Sicherheits- und Ethikstandards gewährleistet und den technischen Fortschritt begleitet. Unternehmen müssen sich auf diese Veränderungen einstellen und bereit sein, ihre Systeme bei neuen gesetzlichen Vorgaben anzupassen.

Ein wichtiges Ziel der künftigen Anpassungen ist es, den Anwendungsbereich der Verordnung auszuweiten. Derzeit gilt die Verordnung für bestimmte Hochrisiko-KI-Systeme und allgemeine KI-Anwendungen. In Zukunft könnte der Geltungsbereich auch auf weitere Bereiche ausgedehnt werden, in denen KI-Systeme potenziell schädliche Auswirkungen haben könnten. Dies erfordert eine laufende Beobachtung durch Unternehmen und die Bereitschaft, ihre KI-Systeme auf neue Anforderungen hin anzupassen.

• Regelmäßige Überprüfung und Aktualisierung des AI Acts
• Anpassung an technologische und gesellschaftliche Entwicklungen
• Mögliche Erweiterung auf neue KI-Anwendungsfelder

Die EU plant außerdem, die Zusammenarbeit mit internationalen Partnern auszubauen, um globale Standards für Künstliche Intelligenz zu entwickeln. Eine internationale Harmonisierung könnte in Zukunft helfen, einheitliche Regelungen für KI-Systeme zu schaffen und globale Standards für Sicherheit und Ethik festzulegen. Dies ist besonders relevant für international tätige Unternehmen, die ihre Systeme an unterschiedliche rechtliche Vorgaben anpassen müssen.

Mit den kommenden Anpassungen des AI Acts könnten auch neue Technologien wie das ?Explainable AI? (XAI) oder das ?Green AI? eine größere Rolle spielen. Explainable AI ist darauf ausgerichtet, die Entscheidungen von KI-Systemen besser nachvollziehbar zu machen, während Green AI umweltfreundliche KI-Anwendungen fördert. Diese Entwicklungen könnten zukünftig in die Gesetzgebung einfließen und Unternehmen dazu verpflichten, in nachhaltige und transparente Technologien zu investieren.

Zukünftige Anpassungen	Beschreibung	Mögliche Auswirkungen
Erweiterung des Anwendungsbereichs	Aufnahme neuer KI-Systeme in den AI Act	Erhöhte Anforderungen für Unternehmen
Internationale Harmonisierung	Schaffung globaler Standards für KI	Erleichterung für international tätige Firmen
Nachhaltige KI (Green AI)	Förderung umweltfreundlicher KI-Systeme	Potenzielle Anforderungen an Ressourceneffizienz

Um den Überblick über zukünftige Entwicklungen und gesetzliche Anforderungen zu behalten, sollten Unternehmen regelmäßige Schulungen und Informationsveranstaltungen für ihre Mitarbeiter:innen anbieten. Auch die Einführung eines Compliance-Teams, das die Entwicklungen im KI-Recht überwacht und notwendige Anpassungen im Unternehmen umsetzt, könnte ein sinnvoller Schritt sein. So können Unternehmen sicherstellen, dass sie stets den aktuellen rechtlichen und technischen Anforderungen entsprechen.

Die KI-Verordnung der EU wird voraussichtlich als Blaupause für andere Länder dienen, die ebenfalls gesetzliche Regelungen für KI-Systeme einführen möchten. Unternehmen, die frühzeitig auf die Anforderungen des AI Acts reagieren, werden langfristig von diesen Standards profitieren, da sie bereits an die hohen europäischen Anforderungen angepasst sind und sich international behaupten können.

Durch die proaktive Anpassung an zukünftige Entwicklungen im KI-Recht können Unternehmen einen Wettbewerbsvorteil erzielen und sich als Vorreiter in Sachen Compliance und Ethik positionieren. Diese Innovationskraft und das Vertrauen in KI-Systeme tragen dazu bei, dass KI-Technologien nachhaltig und verantwortungsvoll weiterentwickelt und eingesetzt werden.