Personenbezogene Daten in KI-Funktionen: Prüfung nach DSGVO (EU)

KI-Funktionen im ERP verarbeiten personenbezogene Daten, sobald sie Kundennamen, E-Mail-Adressen, Bestellhistorie oder Mitarbeiterdaten auslesen. Für diese Verarbeitung ist Ihr Unternehmen Verantwortlicher im Sinn der Datenschutz-Grundverordnung (DSGVO). Der KI-Anbieter, der die Funktion für Sie betreibt, ist Auftragsverarbeiter, soweit er die Daten im Auftrag des Unternehmens verarbeitet; bestimmt er eigene Zwecke, ist er für diese Verarbeitung Verantwortlicher. Die Prüfung läuft je Einsatzfall, nicht einmalig für das gesamte System: Zweck, Rechtsgrundlage, Rolle des Anbieters, Vertrag, Folgenabschätzung, Speicherfrist und Transparenz müssen für jede Funktion einzeln stehen.

Für wen gilt die Prüfung

Die DSGVO gilt in allen Mitgliedstaaten unmittelbar, in Deutschland und Österreich seit 25. Mai 2018 (Art. 99 Abs. 2 DSGVO). Sie erfasst jedes Unternehmen, das personenbezogene Daten im Zusammenhang mit einer Tätigkeit verarbeitet, unabhängig von der eingesetzten Technik. Auch ein KI-Anbieter ohne Sitz in der Union unterliegt der Verordnung, wenn die Verarbeitung damit zusammenhängt, betroffenen Personen in der Union Waren oder Dienstleistungen anzubieten (Art. 3 Abs. 2 DSGVO).

Betroffen sind zwei Datenkreise. Kundenstamm: Namen, E-Mail-Adressen, Bestellhistorie, Zahlungsdaten, die die KI-Funktion aus dem ERP liest. Mitarbeiterdaten: Namen, Abteilungen, Leistungs- und Verhaltensdaten, die eine KI-Funktion für Personalentscheidungen oder -vorschläge verarbeitet. Für beide Kreise gilt dieselbe Prüfung; bei Mitarbeiterdaten können in Deutschland und Österreich zusätzlich Mitbestimmungs- bzw. Zustimmungsrechte des Betriebsrats greifen – in Deutschland bei der Einführung und Anwendung von technischen Einrichtungen, die dazu bestimmt sind, das Verhalten oder die Leistung der Arbeitnehmer zu überwachen (§ 87 Abs. 1 Nr. 6 BetrVG), in Österreich bei der Einführung von Systemen zur automatisierten Ermittlung, Verarbeitung und Übermittlung von Arbeitnehmerdaten, die über allgemeine Personenangaben und fachliche Voraussetzungen hinausgehen (§ 96a Abs. 1 ArbVG) –; diese prüft dieser Artikel nicht.

Die Prüfung je Einsatzfall

Prüfpunkt	Frage	Rechtsgrundlage
Zweck	Ist der Zweck der KI-Funktion festgelegt und dokumentiert?	Art. 5 Abs. 1 lit. b DSGVO
Rechtsgrundlage	Liegt eine der sechs Bedingungen des Art. 6 Abs. 1 DSGVO vor?	Art. 6 Abs. 1 DSGVO
Rolle des Anbieters	Verarbeitet der Anbieter im Auftrag (Auftragsverarbeiter) oder mit eigenen Zwecken (Verantwortlicher)?	Art. 4 Nr. 7 und 8 DSGVO
Auftragsvertrag	Ist der Anbieter als Auftragsverarbeiter vertraglich an Zweck, Datenkategorien und Weisungen gebunden?	Art. 28 Abs. 3 DSGVO
Folgenabschätzung	Löst die Funktion eine DSFA aus (hohes Risiko, neue Technologie, Profiling, besondere Kategorien)?	Art. 35 DSGVO
Speicherfrist	Ist festgelegt, wie lange Eingabedaten und KI-Ergebnisse aufbewahrt werden?	Art. 5 Abs. 1 lit. e DSGVO
Transparenz	Sind Kunden und Mitarbeiter über die Verarbeitung informiert?	Art. 13 und 14 DSGVO

Zweck und Rechtsgrundlage

Der Zweck der KI-Funktion muss festgelegt und dokumentiert sein (Art. 5 Abs. 1 lit. b DSGVO). Eine Funktion, die „Kundenanalysen“ liefert, ist kein Zweck; „Absatzprognose für die Lagerplanung“ ist einer.

Als Rechtsgrundlage kommen die sechs Bedingungen des Art. 6 Abs. 1 DSGVO in Betracht. Ist die betroffene Person Vertragspartei und ist die Verarbeitung für die Erfüllung des Vertrags erforderlich, kann die Erfüllung des Vertrags (lit. b) die Grundlage sein – etwa die Verarbeitung von Kundendaten zur Abwicklung eines Kaufvertrags. Für die Absatzprognose und für Verarbeitungen, bei denen die betroffene Person nicht Vertragspartei ist, kommt das berechtigte Interesse (lit. f) mit dokumentierter Abwägung in Betracht. Die Stellungnahme 28/2024 des Europäischen Datenschutzausschusses (EDPB) zu KI-Modellen, verabschiedet am 17. Dezember 2024, erinnert daran, dass es keine Hierarchie zwischen den Rechtsgrundlagen gibt und das berechtigte Interesse an einem dreistufigen Test gemessen wird: Identifikation des Interesses, Notwendigkeit der Verarbeitung, Abwägung mit den Interessen der betroffenen Person.

Auftragsverarbeitungsvertrag mit dem KI-Anbieter

Verarbeitet der Anbieter die Daten im Auftrag des Unternehmens, ist er Auftragsverarbeiter; bestimmt er eigene Zwecke, etwa für das Training eigener Modelle, ist er für diese Verarbeitung Verantwortlicher (Art. 4 Nr. 7 und 8, Art. 28 Abs. 10 DSGVO). Für die Auftragsverarbeitung gilt: Sie dürfen nur Anbieter einsetzen, die hinreichende Garantien für geeignete technische und organisatorische Maßnahmen bieten (Art. 28 Abs. 1 DSGVO). Der Vertrag muss Gegenstand und Dauer der Verarbeitung, Art und Zweck, die Arten personenbezogener Daten, die Kategorien betroffener Personen sowie Ihre Pflichten und Rechte festlegen (Art. 28 Abs. 3 DSGVO).

Zwei Punkte sind für KI-Funktionen entscheidend. Der Anbieter verarbeitet die Daten nur auf Ihre dokumentierte Weisung (Art. 28 Abs. 3 lit. a DSGVO) – das schließt ein, dass er Ihre Kundendaten nicht für das Training eigener Modelle verwendet, wenn Sie das nicht wollen. Und er darf weitere Auftragsverarbeiter, etwa einen Cloud-Betreiber, nur mit Ihrer vorherigen schriftlichen Genehmigung hinzuziehen (Art. 28 Abs. 2 DSGVO).

Wann eine Datenschutz-Folgenabschätzung nötig ist

Eine Datenschutz-Folgenabschätzung (DSFA) führen Sie vorab durch, wenn eine Form der Verarbeitung, insbesondere bei Verwendung neuer Technologien, voraussichtlich ein hohes Risiko für die Rechte und Freiheiten natürlicher Personen zur Folge hat (Art. 35 Abs. 1 DSGVO). KI-Funktionen sind neue Technologie, und je nach Einsatzfall verarbeiten sie umfangreich – beides sind Faktoren, die ein hohes Risiko begründen können.

Erforderlich ist die DSFA insbesondere in drei Fällen (Art. 35 Abs. 3 DSGVO): bei systematischer und umfassender Bewertung persönlicher Aspekte, die auf automatisierter Verarbeitung einschließlich Profiling beruht und Grundlage für Entscheidungen mit Rechtswirkung ist – etwa eine KI, die Kreditentscheidungen vorbereitet; bei umfangreicher Verarbeitung besonderer Kategorien von Daten nach Art. 9 Abs. 1 DSGVO; und bei systematischer umfangreicher Überwachung öffentlich zugänglicher Bereiche. Die DSFA enthält die systematische Beschreibung der Verarbeitung, die Bewertung von Notwendigkeit und Verhältnismäßigkeit, die Risikobewertung und die geplanten Abhilfemaßnahmen (Art. 35 Abs. 7 DSGVO).

Automatisierte Entscheidungen

Art. 22 DSGVO schützt die betroffene Person davor, einer Entscheidung unterworfen zu werden, die ausschließlich auf automatisierter Verarbeitung – einschließlich Profiling – beruht und ihr gegenüber rechtliche Wirkung entfaltet oder sie in ähnlicher Weise erheblich beeinträchtigt. Eine KI-Funktion, die nur Vorschläge macht, die ein Mensch prüft, fällt nicht darunter – aber nur, wenn die menschliche Prüfung mehr als eine formale Kontrolle ist: Sie muss von einer Person mit Befugnis und Kompetenz durchgeführt werden, das Ergebnis zu ändern, und dabei alle relevanten Daten berücksichtigen; eine bloß formale Prüfung genügt nicht (WP251rev.01, S. 21).

Die Ausnahmen sind eng: Die Entscheidung darf für den Abschluss oder die Erfüllung eines Vertrags erforderlich sein, aufgrund von Rechtsvorschriften zulässig sein – die Rechtsvorschriften müssen dabei angemessene Maßnahmen zur Wahrung der Rechte und Freiheiten sowie der berechtigten Interessen der betroffenen Person enthalten – oder auf ausdrücklicher Einwilligung beruhen (Art. 22 Abs. 2 DSGVO). In den Fällen von Vertrag und Einwilligung müssen Sie angemessene Maßnahmen treffen, mindestens das Recht auf Erwirkung des Eingreifens einer Person, auf Darlegung des eigenen Standpunkts und auf Anfechtung (Art. 22 Abs. 3 DSGVO). Entscheidungen nach Abs. 2 dürfen nicht auf besonderen Kategorien personenbezogener Daten nach Art. 9 Abs. 1 DSGVO beruhen, sofern nicht Art. 9 Abs. 2 lit. a oder g gilt und angemessene Maßnahmen zum Schutz der Rechte und Freiheiten sowie der berechtigten Interessen der betroffenen Person getroffen wurden (Art. 22 Abs. 4 DSGVO).

Transparenz und Speicherfrist

Kunden und Mitarbeiter müssen über die Verarbeitung informiert werden. Art. 13 DSGVO gilt, wenn Sie die Daten bei der betroffenen Person erheben, Art. 14 DSGVO, wenn Sie sie nicht bei der betroffenen Person, sondern aus anderen Quellen erhalten – etwa von einem Dritten, der Ihnen Kundendaten überlässt. Ein interner ERP-Export von Daten, die Sie ursprünglich direkt bei der Person erhoben haben, ändert daran nichts; ändert sich der Zweck der Verarbeitung, sind die zusätzlichen Informationen nach Art. 13 Abs. 3 DSGVO zu erteilen. Die Information nennt Zweck, Rechtsgrundlage, Datenkategorien und Speicherfrist. Bei automatisierter Entscheidungsfindung einschließlich Profiling, die unter Art. 22 Abs. 1 und 4 DSGVO fällt, müssen Sie zusätzlich aussagekräftige Informationen über die involvierte Logik sowie die Tragweite und die angestrebten Auswirkungen geben (Art. 13 Abs. 2 lit. f, Art. 14 Abs. 2 lit. g DSGVO). Eine weitergehende Beschreibung der Funktionsweise der KI-Funktion ist keine gesetzliche Pflicht; sie kann die Transparenz für die betroffenen Personen erhöhen (redaktionelle Empfehlung).

Die Speicherfrist folgt aus der Speicherbegrenzung (Art. 5 Abs. 1 lit. e DSGVO): Die Daten dürfen nur so lange speicherbar bleiben, wie es für die Zwecke erforderlich ist. Für KI-Funktionen heißt das konkret: Sie legen fest, wie lange die Eingabedaten und die Ergebnisse der Funktion aufbewahrt werden, und löschen sie danach, soweit keine gesetzliche Aufbewahrungspflicht oder die Geltendmachung, Ausübung oder Verteidigung von Rechtsansprüchen eine weitere Speicherung erfordert (Art. 17 Abs. 3 lit. b und e DSGVO). Das Recht auf Löschung (Art. 17 DSGVO) greift, wenn die Daten für die Zwecke nicht mehr notwendig sind.

Was bei einem Verstoß droht

Bei Verstößen gegen die Grundsätze der Verarbeitung, die Rechte der betroffenen Person oder die Übermittlungsregeln drohen Geldbußen bis 20.000.000 Euro oder, bei einem Unternehmen, bis 4 % des gesamten weltweit erzielten Jahresumsatzes des vorangegangenen Geschäftsjahrs, je nachdem, welcher Betrag höher ist (Art. 83 Abs. 5 DSGVO). Bei Verstößen gegen die Pflichten der Verantwortlichen und Auftragsverarbeiter, darunter die Pflichten aus Art. 25, 28 und 35 DSGVO, drohen bis 10.000.000 Euro oder 2 % des Weltjahresumsatzes (Art. 83 Abs. 4 DSGVO).

Checkliste für Ihren Betrieb

• Je Einsatzfall den Zweck festlegen und dokumentieren, bevor die Funktion live geht.
• Die Rechtsgrundlage je Einsatzfall benennen; bei berechtigtem Interesse die Abwägung dokumentieren.
• Die Rolle des Anbieters bestimmen: Auftragsverarbeiter bei Verarbeitung im Auftrag, Verantwortlicher bei eigenen Zwecken (etwa Training eigener Modelle).
• Den Auftragsverarbeitungsvertrag mit dem KI-Anbieter prüfen: Weisungsbindung, Datenkategorien, Sub-Verarbeiter.
• Prüfen, ob die Funktion eine DSFA auslöst – neue Technologie, Profiling, besondere Kategorien.
• Speicherfrist für Eingabedaten und KI-Ergebnisse festlegen und die Löschung einrichten.
• Kunden und Mitarbeiter über die Verarbeitung informieren, bei automatisierter Entscheidungsfindung einschließlich Profiling nach Art. 22 Abs. 1 und 4 DSGVO auch über die Logik.