Explainability und Traceability sind nicht dasselbe
Explainability liefert eine verständliche, zweckgerechte Erklärung von Ergebnis, Einflussfaktoren und Grenzen. Traceability dokumentiert den technischen und organisatorischen Weg: Input, Quellen, Modell, Prompt, Tools, Policies, Output und Human Review.
Warum Ergebnisse rückverfolgbar sein müssen
Prüfung
Fehlerursachen, Quellen und Verantwortlichkeiten werden untersuchbar.
Korrektur
Betroffene Ergebnisse können gefunden, zurückgenommen und verbessert werden.
Reproduzierbarkeit
Versionen und Konfiguration ermöglichen belastbare Wiederholung.
Vertrauen
Menschen erhalten passende Gründe statt Blackbox- oder Marketingaussagen.
Typisches Praxisbild
Ein RAG-Assistent gibt eine falsche Richtlinienauskunft. Der Chat ist vorhanden, aber verwendete Dokumente, Chunk-Version, Modell, System Prompt und Retrieval-Ergebnis fehlen. Niemand kann klären, ob veraltete Quelle, Retrieval oder Modellantwort die Ursache war.
Was BAIS für Nachvollziehbarkeit klärt
- Welche Erklärung braucht Nutzer, Reviewer, Auditor oder Betroffener?
- Welche Inputs, Quellen und Metadaten beeinflussen das Ergebnis?
- Welche Modell-, Prompt-, Policy- und Tool-Version wurde verwendet?
- Wie wird Retrieval inklusive Dokument- und Chunk-Version erfasst?
- Welche automatischen und menschlichen Entscheidungen liegen im Pfad?
- Kann ein relevanter Fall technisch reproduziert werden?
- Wie werden Unsicherheit und Erklärungsgrenzen dargestellt?
- Welche Logs sind nötig, zulässig und wie lange aufzubewahren?
- Wie werden Korrekturen und nachgelagerte Auswirkungen verknüpft?
- Wer darf Decision Records einsehen, exportieren oder löschen?
Belegbare Erklärung statt Modellbehauptung
„Die AI hat wegen Ihrer Angaben so entschieden.“
- Keine Faktoren
- Keine Quellen
- Keine Version
- Keine Grenze
„Der Entwurf basiert auf den freigegebenen Dokumenten A v3.2 und B v1.4. Modell- und Prompt-Version sind im Decision Record erfasst. Eine qualifizierte Person hat Abschnitt 2 geändert und final freigegeben. Das System bewertet keine Rechtsansprüche.“
Fünf Qualitätsdimensionen
Severity: 0–2 vollständig reproduzierbar · 3–5 wesentliche Quellen/Versionen erfasst · 6–8 nur Teil-Logs · 9–10 keine belastbare Nachvollziehbarkeit.
Was eingerichtet und nachgewiesen wird
Wer trägt welche Verantwortung?
Welche Regelwerke berührt R-009?
- EU AI Act: Technische Dokumentation, Logging, Transparenz, Human Oversight und Nachweisfähigkeit können je nach Systemrolle relevant sein.
- DSGVO: Transparenz, Nachweis, Betroffenenrechte und gegebenenfalls Informationen über automatisierte Entscheidungen.
- ISO/IEC 42001: Dokumentierte Information, AI-Lebenszyklus, Daten, Monitoring und kontinuierliche Verbesserung.
- ISO/IEC 27001-orientiert: Logging, Zeitsynchronisation, Schutz von Aufzeichnungen, Zugriff, Change Management und Incident Investigation.
Wie Traceability technisch aufgebaut wird
- Für jeden relevanten Vorgang eine eindeutige Correlation-/Decision-ID vergeben.
- Modell, Prompt, Policy, Tool und Retrieval-Konfiguration versionieren.
- Quellen mit Dokument-, Freigabe- und Chunk-Version referenzieren.
- Human Review, Änderungen, Overrides und Freigabegründe erfassen.
- Security-, Privacy- und Betriebslogs über Zeitstempel korrelieren.
- Records vor unbefugter Änderung schützen und Zugriffe protokollieren.
- Datensparsame Retention, Export, Legal Hold und Löschung definieren.
- Impact-Suche, Reproduktion, Korrektur und Rücknahme regelmäßig testen.
Was Nachvollziehbarkeit zerstört
Erklärbarkeit ohne falsches Versprechen
„R-009 verbindet verständliche Erklärung mit technischem Nachweis. Wir erfassen Quellen, Modell-, Prompt-, Policy- und Tool-Versionen sowie menschliche Änderungen, damit relevante Ergebnisse untersucht, reproduziert, korrigiert und auditiert werden können.“
„Eine AI kann eine plausibel klingende Begründung erzeugen, die nicht dem realen Systemweg entspricht. Deshalb trennen wir Erklärung und Traceability. Der Decision Record enthält tatsächliche Inputs, Quellen, Versionen, Policies, Tools und Human Review. Die Erklärung wird daraus zielgruppengerecht abgeleitet und nennt ihre Grenzen.“
„Das Modell kann seine Entscheidung selbst erklären.“
Eine generierte Erklärung kann hilfreich sein, gilt aber nicht automatisch als faithful. Sie muss mit tatsächlichen Daten und Systemereignissen abgeglichen werden.
„Vollständiges Logging ist zu teuer.“
Logging wird risikobasiert und datensparsam gestaltet. Kritische Vorgänge brauchen tiefere Records als harmlose Assistenzfälle.
„Wir können denselben Output nicht exakt reproduzieren.“
Probabilistische Systeme können abweichen. Trotzdem müssen Konfiguration, Quellen, Versionen und ursprünglicher Record rekonstruierbar sein.
R-009 ist vollständig, wenn …
- Zielgruppen und Zweck der Erklärung definiert sind.
- Decision-ID, Input-, Output- und Quellenreferenzen erfasst sind.
- Modell-, Prompt-, Policy-, Tool- und Retrieval-Versionen vorliegen.
- Human Review, Änderung, Override und Freigabe nachvollziehbar sind.
- Erklärungen auf tatsächlichen Daten beruhen und Grenzen nennen.
- Records geschützt, zugriffskontrolliert und zeitlich korrelierbar sind.
- Retention, Datenschutz, Export, Korrektur und Löschung geregelt sind.
- Reproduktion, Impact-Suche und Rücknahme erfolgreich getestet wurden.