Ansichten eines Informatikers

Wie Fake-Rechtsmeinungen eingeimpft und verbreitet werden

Hadmut
21.11.2025 22:38

Ich sehe ein ganz großes Problem.

Ein Riesen-Problem.

Ich habe das jetzt zum dritten Mal als Thema gehabt, dass die KI juristische Begründungen halluziniert.

  • Es gab ja diesen Fall der Kanzlei in den USA (war das nicht in New York?), die vom Gericht mächtig eine aufs Dach bekam, weil sie in einem – wohl recht gut wirkenden – Schriftsatz als Begründung Gerichtsurteile angab, die es gar nicht gab. Es stellte sich heraus, dass die den Schriftsatz von der KI erstellen lassen und ungeprüft vorgelegt hatten.
  • Ich hatte gerade berichtet, dass ich gestern eine Strafrechtssache recherchiert hatte,
  • Auf meine Frage, wo das steht, dass es in einer Demokratie das Recht gibt, die Regierung abzuwählen, bekam ich viele Antworten, darunter auch einige von KI-Systemen, die die Leser befragt hatten, die sich allesamt sehr gut, sehr begründet, sehr professionell, allerdings zu geleckt, lasen, und zu perfekt Gerichtsurteile parat hatten und daraus zitierten.

Es scheint so zu sein, dass die Juristen- oder Geisteswissenschaftlersprache mit ihren „Beweisen durch Zitat“ zu anfällig dafür ist, dass die KI nicht versteht, dass ein Zitat, eine Quellangabe auf etwas verweist, was es wirklich gibt (und worauf die KI auch keinen Zugriff hat), und nicht einfach nur eine Sitte ist, am Ende des Satzes zur Bekräftigung ein paar Zahlen in typischen Mustern hinzuschreiben. Würde man der KI Sätze vorlegen wie „Herr Ober, ein Bier! 93!“ oder „Morgen wird es regnen. 42.“ , dann würde die KI sehr schnell damit anfangen, Zahlen an die Satzenden zu schreiben. So, wie man in Malaysia gerne hinter fast jedem Wort ein -la anhängt, und in den USA in jeden Satz mindestens drei „fucking“ einbindet. So schreiben die Juristen – aus Sicht der KI – halt gerne Kürzel und Zahlen in ihre Sätze.

Informatikersprache scheint dabei wesentlich weniger anfällig zu sein, denn in Informatik habe ich dazu sehr viel weniger Probleme und bisher gar keine Voll-Fakes erlebt. Das kann verschiedene Gründe haben.

  • KI wird von Informatikern gemacht. Vielleicht trainieren Informatiker sie eher mit Texten aus dem eigenen Bereich.
  • Informatiker schreiben in Foren und auf Webseiten, Juristen in Journalen. Vielleicht gibt es einfach mehr Trainingsmaterial in IT, das online und kostenlos als Trainingsmaterial verfügbar ist.
  • Informatiker reden nicht so referentiell, begründen entweder mehr gleich selbst, oder verwenden URLs als Referenzen. URLs sind aber syntaktisch nicht nur viel einheitlicher und einfacher zu erkennen als juristische Quellenangaben, man wird sie mit Sicherheit in der KI als Sonderfall behandelt haben, damit sich die KI nicht URLs ausdenkt oder die „durchdekliniert“ wie juristische Aktenzeichen und Fundstellen.
  • URLs sind viel schneller und einfacher zu prüfen. Da klickt man drauf und weiß dann in Sekunden, ob das stimmt, ob es die Seite gibt und das da steht. Juristische Quellen sind viel schwerer zu überprüfen. Da muss man in die Bibliothek oder braucht einen Zugang zu Juris oder Beck. Gut, seit etwa 20 Jahren sind viele Entscheidungen online – aber nicht Aufsätze und nicht alte Entscheidungen, und eine juristische Fundstelle erlaubt es auch nicht, sofort darauf zuzugreifen, da muss man auch erst suchen.
  • Informatikersprache ist „internationaler“, einheitlicher. Ein amerikanischer Informatiker redet – abgesehen von englisch/deutsch – nicht anders als ein deutscher Informatiker. Die Juristen unterscheiden sich aber sehr stark.
  • Informatiker „glauben“ nicht, und nehmen etwas nicht hin, weil es schön und überzeugend klingt, sondern verwenden das, setzen das technisch ein, und dann fällt sehr schnell auf, wenn das Humbug ist.
  • Informatiker haben kein „noch nicht veröffentlicht“. In weiten, vor allem den technischen Teilen gilt: Es ist öffentlich oder es existiert nicht. Fertig.

Was mir aber auch auffällt:

Die KI hat mir da juristisch keinen Blödsinn erzählt. Das las sich alles sehr gut und flüssig, schien alles richtig, logisch, plausibel, konsistent, fehlerfrei – nur dass die Quellenangaben oft nicht stimmten und es die Entscheidung entweder gar nicht gab, die zitierten Stellen da nicht drin standen, oder es um etwas völlig anderes ging.

Und was ich jetzt schon bemerke, und worauf ich sogar selbst schon fast reingefallen wäre (oder es unbemerkt vielleicht schon mal bin, obwohl ich fast immer sehr sorgfältig darin bin, die Urteile im Volltext nachzulesen): Man glaubt das. Es liest sich so professionell, so überzeugend, so gut begründet.

Einsickern in die Rechtsmeinung

Das Problem daran: Es ist schon dabei, in die Rechtsmeinung einzusickern, weil ja auch schon die Suchmaschinen Leuten KI-Antworten geben, obwohl die nicht die KI gefragt hatten.

Was bei Geisteswissenschaftlern einmal in den Zitatestrudel geraten ist, das gilt, das wird für wahr gehalten. Das ist ja schon einige Male passiert, dass sich da Falschzitate tausendfach weiterverbreitet haben und alle sie für wahr hielten, obwohl sie das nicht sind.

Nun muss man sagen, dass das keine qualitative Verschlechterung wäre, weil die „KI-Rechtsprechung“ auch nicht schlechter als der Schrott ist, den viele Gerichte produzieren, im Gegenteil eher deutlich besser. Aber es stimmt halt einfach nicht, wenn man eine (KI-)Rechtsmeinung so wiedergibt, als hätte ein Gericht das so entschieden.

Ich bin mir ziemlich sicher, dass die Juristerei – und wohl alle Bereiche der Geisteswissenschaften, aber bei den anderen ist es egal, was sie faseln – sehr schnell, sehr steil eine KI-Vergiftung erleiden werden, schlimmer als die Plagiate und Ghostwriter-Arbeiten.

So, wie wir bisher Plagiatsjäger haben, werden wir bald KI-Jäger haben (und brauchen), vielleicht selbst in KI/Software, die zum Beispiel einfach nachprüfen, ob es die vielen Quellenangaben überhaupt gibt und ob das da überhaupt drinsteht, was sie behaupten. Oder schwieriger, ob die Argumentationsmuster KI-typisch sind.

Das heißt aber auch, dass – viel schlimmer als Wikipedia – die, die die KI füttern und trainieren, enorme und nicht rückverfolgbare Macht über die öffentliche Meinung bekommen.

Und damit kann man dann auch die öffentliche und zweifellos auch die juristische Rechtsmeinung steuern, manipulieren.