Fragen an das ERP per KI-Assistent: Risiken und Kontrollen

Die Frage nach der Sprachabfrage hat zwei Hälften. Die erste beantwortet die Herstellerdokumentation: Sie nennt, ob die Assistenzfunktion Ihres ERP Spracheingabe verarbeitet und welche Kennzahlen sie abdecken darf. Die zweite, wie verlässlich die Antworten sind, hängt nicht am Hersteller allein, sondern an Ihren Kontrollen: Jede Antwort lässt sich an Frage, Filter, Zeitraum und Summen prüfen. Dieser Artikel liefert die Prüfschritte und die Fehlermuster, nach denen Sie suchen.

Wie eine KI-Abfrage im ERP abläuft

Ein KI-Assistent im ERP ist eine Funktion, die eine Frage in natürlicher Sprache entgegennimmt, daraus eine Abfrage an die ERP-Daten ableitet und das Ergebnis als formulierten Text zurückgibt. Vereinfachtes Ablaufmodell: Zwischen Frage und Antwort liegen drei Schritte, und jeder kann das Ergebnis verändern: die Erkennung der gesprochenen Worte, die Übersetzung der Frage in eine Abfrage mit Filtern und Zeitraum sowie die Formulierung der Antwort aus dem Abfrageergebnis.

Für die Bewertung dieser Schritte gibt es zwei offene Referenzen, die beide nicht durch Gesetz binden. Die OWASP Top 10 for LLM & Generative AI Security (Fassung 2025) des Open Worldwide Application Security Project (OWASP) führen unter LLM09 (Misinformation) Inhalte, die glaubwürdig wirken, aber erfunden sind: Das Modell füllt Lücken mit statistischen Mustern, ohne den Inhalt zu verstehen. Als eigenen Verschärfungsfaktor nennt die Seite die Übernahme ungeprüfter Antworten in Entscheidungen. Das US-National Institute of Standards and Technology beschreibt im AI Risk Management Framework 1.0 (NIST AI 100-1, Januar 2023) Validität und Zuverlässigkeit als notwendige Bedingung von Vertrauenswürdigkeit und bestimmt, dass beides bei eingesetzten Systemen durch laufende Tests und Überwachung festgestellt wird, notfalls mit Eingriff von Menschen, wo das System eigene Fehler nicht erkennen oder korrigieren kann. Das Rahmenwerk ist ausdrücklich freiwillig.

Welche Fehlermuster Antworten haben können

Die Tabelle führt die drei Fehlermuster, auf die Sie jede Kennzahl prüfen, um zwei ergänzende Muster. Keines davon ist behoben, weil eine Funktion „KI“ im Namen trägt; jedes lässt sich mit den Schritten des nächsten Abschnitts erkennen.

Fehlermuster	Wie es entsteht	Woran Sie es erkennen
Falscher Filter	die erzeugte Abfrage filtert auf ein anderes Merkmal als gemeint, etwa eine andere Warengruppe, Kundengruppe, Filiale oder Gesellschaft	die Antwort passt zu einer Teil- oder Gesamtmenge; die Zahl der durchsuchten Datensätze oder die Filteranzeige weicht ab
Falscher Zeitraum	„letztes Quartal“ wird anders ausgelegt, etwa als Kalender- statt Geschäftsjahr, oder es wird auf Belegdatum statt Lieferdatum gefiltert	der Zeitraum der angezeigten Abfrage deckt sich nicht mit dem geplanten Zeitraum; der Abgleich mit einem festen Bericht ergibt eine Differenz
Erfundene Felder und Werte	der Antworttext nennt Felder, die es im ERP nicht gibt, oder Zahlen, die aus keiner Abfrage stammen (Misinformation nach OWASP LLM09)	das genannte Feld existiert im Datenverzeichnis oder Stammdatenbild nicht und lässt sich auch nicht als Berechnung aus Ihren Daten nachvollziehen; zur Zahl lassen sich keine Belege oder Positionen auflisten
Vertauschte Einheiten und Begriffe	Zahl und Bezeichnung passen nicht zusammen, etwa Netto statt Brutto, Stück statt Gebinde, eine Währung statt einer anderen	die Einheit in der Antwort deckt sich nicht mit der Einheit des Referenzberichts oder der Belege
Abweichend erkannte Frage	der erkannte Fragetext stimmt mit der gesprochenen Frage nicht überein, etwa bei Namen und Ziffern	die angezeigte Frage enthält ein anderes Wort als das Gesagte; die Antwort bezieht sich auf ein anderes Objekt

So prüfen Sie jede Antwort: Checkliste

Die Nummern sind eine Reihenfolge: Lesen Sie zuerst die Frage, dann die Abfrage, danach die Zahl. Für Zahlen, die in Termine, Reports oder Entscheidungen einfließen, führen Sie alle Schritte aus.

1. Lesen Sie die erkannte Frage gegen: Weicht der erfasste Text von Ihrer gesprochenen Frage ab, stellen Sie die Frage neu, statt die Antwort zu deuten.
2. Blenden Sie die verwendete Abfrage ein und notieren Sie Datenbereich, Filter mit Werten, Zeitraum mit exakten Daten und die abgefragten Felder. Kann die Funktion die Abfrage nicht anzeigen, lässt sich die interne Abfragelogik nicht prüfen; die Zahl bleibt dann nur über den Abgleich mit einem Referenzbericht, dessen Zustandekommen Sie kennen, prüfbar.
3. Ersetzen Sie relative Angaben durch Daten: Fragen Sie „Umsatz vom 1. bis 31. März 2026“ statt „Umsatz im letzten Quartal“, damit der Zeitraum nicht ausgelegt werden muss.
4. Gleichen Sie mit einem Referenzbericht ab, dessen Zustandekommen Sie kennen: dieselbe Kennzahl, derselbe Zeitraum, dieselbe Filterung. Beide Werte müssen in Einheit und Betrag übereinstimmen; eine Differenz klären Sie ab, bevor Sie die Zahl übernehmen.
5. Rechnen Sie eine Stichprobe nach: Wählen Sie einen kleinen Ausschnitt, etwa alle Aufträge eines Kunden in einem Monat, und summieren Sie die Positionen aus den Belegen selbst nach.
6. Prüfen Sie jedes genannte Feld gegen das Datenverzeichnis oder den Stammdatenbildschirm des ERP: Ein Feld, das dort nicht existiert, ist nicht automatisch erfunden, denn Abfragen können berechnete Ergebnisfelder und frei benannte Spalten erzeugen. Erfunden ist das Feld erst, wenn sich weder ein Bezug auf ein Stammdatenfeld noch eine Berechnung aus Ihren Daten nachweisen lässt.
7. Fragen Sie Datenstand und Einheit ab: Welchen Stand (live oder Schnappschuss), welche Währung und ob netto oder brutto die Zahl hat.
8. Protokollieren Sie Frage, Abfrage und Ergebnis mit Datum, damit dieselbe Frage später vergleichbar bleibt und Abweichungen auffallen.

Ein Rechenbeispiel für Schritt 5 (erfundene Werte): Die Frage lautet „Umsatz der Kundengruppe Handel vom 1. bis 31. März 2026“, die Antwort nennt 214 Aufträge und 148.220,00 Euro. Für die Stichprobe nehmen Sie einen Kunden der Gruppe mit drei Aufträgen über 1.240,50, 890,00 und 2.180,00 Euro. Die Summe 4.310,50 Euro muss mit der Auftragsliste im ERP für genau diesen Kunden und Zeitraum übereinstimmen; tut sie das, prüft der Schritt die Verknüpfung von Filter und Summe, nicht die Gesamtzahl selbst.

Welche Kontrollen das ERP mitgeben muss

Die Prüfschritte greifen nur, wenn das System die dafür nötigen Anzeigen und Protokolle liefert. Zwei Einträge der OWASP-Liste 2025 nennen die zugehörigen Risiken. Unter LLM06 (Excessive Agency) beschreibt die Liste, dass eine Funktion mehr Funktionalität, Berechtigungen oder Autonomität erhält, als ihr Einsatz erfordert; ein Beispiel ist ein Werkzeug, das nur lesen soll, sich aber mit Schreibrechten verbindet. Als Gegenmaßnahmen nennt die Seite neben minimalen Berechtigungen die Freigabe kritischer Aktionen durch Menschen und die Protokollierung der Zugriffe. Unter LLM05 (Improper Output Handling) beschreibt sie die ungenügende Prüfung von Ausgaben, bevor sie an nachgelagerte Systeme weitergegeben werden.

Daraus ergeben sich vier Prüffragen an die Herstellerdokumentation, die Sie schriftlich beantwortet bekommen:

• Greift der Assistent auf die ERP-Daten ausschließlich lesend zu, und ist das über die Berechtigung des zugrunde liegenden Zugangs technisch erzwungen, nicht nur versprochen?
• Werden Frage, erzeugte Abfrage und Antwort mit Zeitstempel protokolliert, und können Sie das Protokoll auswerten?
• Können Sie die erzeugte Abfrage zu jeder Antwort einblenden, einschließlich Filter, Zeitraum und Feldern?
• Können Antworten automatisch an andere Systeme übergeben werden, und wenn ja, welche Prüfung durchläuft der Inhalt davor?

Für die Rechte, die Sie einem Assistenten mit weitergehenden Befugnissen einräumen, siehe KI-Agenten absichern: Rechte, Freigaben, Protokoll.

So führen Sie den Assistenten schrittweise ein

1. Geben Sie zuerst ausschließlich lesende Abfragen frei und lassen Sie schreibende Aktionen gesperrt, bis ein Bedarf dokumentiert ist.
2. Legen Sie einen Festfragekatalog an, etwa zehn Fragen, deren Antworten Sie aus bestehenden Berichten kennen, und gleichen Sie jede Antwort nach der Checkliste ab.
3. Begrenzen Sie den Kreis der Nutzenden zunächst auf Personen, die die Referenzberichte lesen können; sie können Abweichungen einordnen.
4. Weiten Sie die Nutzung erst aus, wenn die Prüfungen aus Schritt 2 bei wiederholten Durchläufen ohne Befund waren, und wiederholen Sie den Katalog nach jedem Update der Assistenzfunktion.
5. Behalten Sie für Zahlen, die Sie nach außen oder in Gremien verwenden, den Bericht als Quelle und den Assistenten als Schnellzugriff.

Welche Einsatzfelder von KI im ERP überhaupt tragen, entscheidet sich am Fehler- und Prüfaufwand je Fall, beschrieben in KI im ERP: Welche Einsatzfelder bringen etwas?.