Legal AI und das Verification-Value Paradox

Im vielzitierten Artikel «The Verification-Value Paradox: A Normative Critique of Gen AI in Legal Practice» vertritt Joshua Yuvaraj die These, dass der Nutzen generativer KI erheblich schrumpft, wenn die eingesparte Arbeitszeit durch den notwendigen Verifikationsaufwand wieder aufgezehrt wird.

Für die Entwicklung und den Einsatz von Legal AI folgt daraus eine wichtige Konsequenz: Entscheidend ist nicht nur, wie schnell ein System Antworten erzeugt. Entscheidend ist auch, wie schnell und zuverlässig diese Antworten überprüft werden können.

Das Verification-Value Paradox

Das von Yuvaraj beschriebene Paradox lässt sich auf eine einfache Formel reduzieren:

Je stärker KI juristische Arbeit beschleunigt, desto wichtiger wird die Überprüfung ihrer Ergebnisse. Wird diese Überprüfung zu aufwendig, reduziert sich der tatsächliche Effizienzgewinn.

Für die juristische Arbeit ist dieser Punkt besonders relevant. Juristinnen und Juristen können sich nicht darauf beschränken, dass ein Ergebnis plausibel klingt. Aussagen über den Inhalt eines Dokuments, die Rechtslage, eine Gerichtsentscheidung oder einen konkreten Sachverhalt müssen belastbar sein.

Die Verantwortung für das Ergebnis bleibt dabei beim Menschen.

Ein KI-System kann deshalb zwar einen ersten Entwurf in wenigen Sekunden erzeugen. Wenn anschliessend jedoch sämtliche Quellen, Zitate und Tatsachenbehauptungen manuell kontrolliert werden müssen, kann der vermeintliche Produktivitätsgewinn erheblich kleiner ausfallen als zunächst angenommen.

Das Problem ist nicht nur die Halluzination

Die Diskussion über die Risiken generativer KI konzentriert sich häufig auf sogenannte Halluzinationen – also erfundene oder falsche Informationen.

Yuvaraj geht jedoch einen Schritt weiter. Er beschreibt zwei grundlegendere Probleme.

Das erste ist der Reality Flaw. Sprachmodelle erzeugen Antworten auf Grundlage statistischer Wahrscheinlichkeiten. Sie optimieren darauf, welche sprachliche Fortsetzung wahrscheinlich ist und nicht darauf, ob eine Aussage in der realen Welt tatsächlich richtig ist.

Das zweite Problem ist der Transparency Flaw. Bei vielen KI-Systemen bleibt für die Nutzerinnen und Nutzer weitgehend verborgen, wie genau eine bestimmte Aussage zustande gekommen ist und welche Quellen oder Informationen dafür ausschlaggebend waren.

Gerade in der juristischen Arbeit ist das problematisch. Denn dort genügt ein überzeugend formulierter Output nicht. Eine Aussage muss sich auf eine nachvollziehbare Grundlage zurückführen lassen.

Plausibilität ist nicht dasselbe wie Richtigkeit

Eine besondere Herausforderung generativer KI besteht darin, dass Fehler häufig nicht offensichtlich sind.

Eine frei erfundene Gerichtsentscheidung lässt sich möglicherweise relativ schnell erkennen. Schwieriger wird es bei einer Zusammenfassung von mehreren hundert Seiten Akten, bei der einzelne Sachverhaltselemente falsch zugeordnet, Aussagen verkürzt oder wichtige Einschränkungen übersehen wurden.

Gerade hochwertige Sprachmodelle erzeugen Texte, die sprachlich sehr überzeugend wirken. Dadurch entsteht ein zusätzliches Risiko: Je professioneller ein Ergebnis erscheint, desto grösser kann die Versuchung sein, es weniger kritisch zu hinterfragen.

Für Legal AI bedeutet das: Gute Sprache ist nicht gleichbedeutend mit guter juristischer Arbeit.

Der tatsächliche ROI von Legal AI

Auch wirtschaftlich führt das Verification-Value Paradox zu einer wichtigen Korrektur.

Die Produktivität eines KI-Systems sollte nicht lediglich danach beurteilt werden, wie viel schneller ein erster Output entsteht.

Eine realistischere Betrachtung lautet:

Nettonutzen = eingesparte Arbeitszeit minus Verifikationsaufwand minus Fehler- und Risikokosten.

Ein System, das in wenigen Sekunden einen umfangreichen juristischen Text generiert, aber eine halbe Stunde Kontrolle verlangt, kann weniger wertvoll sein als ein System, das etwas länger benötigt, dafür aber jede relevante Aussage unmittelbar mit einer überprüfbaren Fundstelle verbindet.

Nicht jeder Use Case ist gleich

Das Verification-Value Paradox trifft juristische Anwendungsfälle unterschiedlich stark.

Besonders relevant ist es dort, wo Fehler erhebliche Folgen haben können oder die inhaltliche Richtigkeit vollständig überprüft werden muss. Dazu gehören beispielsweise:

• juristische Recherche und Rechtsprechungsanalyse,

• Schriftsätze und Eingaben an Gerichte,

• rechtliche Schlussfolgerungen,

• die Analyse grosser Aktenbestände,

• Tatsachenbehauptungen,

• Fundstellen und Zitate.

Bei anderen Tätigkeiten kann der Verifikationsaufwand deutlich geringer sein – etwa bei sprachlichen Verbesserungen, beim Strukturieren eigener Texte oder bei bestimmten administrativen Aufgaben.

Deshalb ist es wenig sinnvoll, pauschal von «der Produktivität von KI» zu sprechen. Entscheidend ist immer der konkrete Arbeitsprozess.

«Human in the Loop» reicht nicht

Häufig wird das Risiko generativer KI mit dem Hinweis adressiert, dass am Ende ohnehin ein Mensch die Ergebnisse kontrolliert. Das ist zwar richtig, löst das Problem aber nicht automatisch.

Wenn eine Juristin oder ein Jurist jedes Ergebnis noch einmal vollständig mit den Ausgangsdokumenten vergleichen muss, wurde die Verantwortung zwar beim Menschen belassen – der Effizienzgewinn kann aber trotzdem verloren gehen.

Ein gutes Legal-AI-System sollte deshalb nicht lediglich einen Menschen in den Prozess einbauen. Es sollte die menschliche Verifikation aktiv unterstützen. Genau hier liegt aus unserer Sicht einer der wichtigsten Entwicklungsschritte für Legal AI.

Verification by Design

Legal AI sollte nicht nur auf möglichst gute Generierung optimiert werden. Ebenso wichtig ist eine Architektur, die Ergebnisse nachvollziehbar und schnell überprüfbar macht. Man könnte von Verification by Design sprechen. Für juristische KI bedeutet das unter anderem:

• Aussagen müssen auf ihre Quelle zurückgeführt werden können.

• Fundstellen sollten unmittelbar einsehbar sein.

• Zitate müssen überprüfbar sein.

• Bei Aktenanalysen sollte erkennbar sein, aus welchem Dokument und welcher Passage eine Information stammt.

• Zwischen Quelleninhalt und KI-generierter Schlussfolgerung sollte klar unterschieden werden.

• Nutzerinnen und Nutzer sollten relevante Ausgangsdokumente ohne Umwege öffnen können.

Von der Generierung zur Verifikation

Die erste Generation von GenAI-Produkten wurde vor allem danach beurteilt, wie beeindruckend die erzeugten Antworten waren.

Für professionelle Anwendungen dürfte künftig ein anderer Faktor mindestens ebenso wichtig werden: Wie effizient lässt sich Vertrauen herstellen?

Gerade in der juristischen Arbeit ist Vertrauen kein abstraktes Qualitätsmerkmal. Es entsteht durch Nachvollziehbarkeit, Quellenbezug und Kontrolle.

Das bedeutet auch, dass die nächste grosse Produktivitätssteigerung bei Legal AI möglicherweise nicht allein aus besseren Modellen entsteht.

Sie entsteht dadurch, dass die Verifikation selbst schneller wird. Dieser Gedanke ist ein zentraler Bestandteil der Produktphilosophie von Sereos.

Bei der Analyse umfangreicher Akten genügt es beispielsweise nicht, einen Sachverhalt zusammenzufassen. Nutzerinnen und Nutzer müssen nachvollziehen können, auf welche Dokumente und Fundstellen sich eine Aussage stützt.

Der Smart Reader von Sereos erschliesst deshalb Dossiers nicht nur inhaltlich, sondern verbindet Erkenntnisse mit den zugrunde liegenden Quellen. Aussagen, Sachverhaltselemente, Widersprüche oder offene Punkte sollen dort überprüft werden können, wo sie entstanden sind: im Originaldokument.

Dasselbe Prinzip gilt für weitere juristische Arbeitsschritte.

Die Aufgabe von Legal AI besteht aus unserer Sicht nicht darin, die professionelle Beurteilung zu ersetzen. Sie soll Juristinnen und Juristen ermöglichen, schneller zu den relevanten Informationen zu gelangen, Zusammenhänge besser zu erkennen und ihre eigene Beurteilung auf einer transparenten Grundlage vorzunehmen.

Die entscheidende Frage für Legal AI

Das Verification-Value Paradox ist deshalb weniger ein Argument gegen den Einsatz generativer KI als eine wichtige Anforderung an ihre Gestaltung.

Legal AI schafft nicht bereits dadurch Wert, dass sie Texte schneller produziert. Sie schafft Wert, wenn sie den gesamten juristischen Arbeitsprozess verbessert – einschliesslich der notwendigen Kontrolle.

Die entscheidende Frage lautet damit nicht mehr: Wie viel Arbeit kann KI übernehmen? Sondern: Wie viel schneller kann ein Mensch mit KI zu einem verlässlichen Ergebnis gelangen?

Genau daran sollte sich gute Legal AI messen lassen.