ARTIKEL

Wie ich prüfe, was eine KI behauptet.

Einer KI-Antwort sieht man nicht an, ob sie stimmt. Ich baue Systeme deshalb so, dass sie eine Aussage nur zeigen, wenn ihr Zitat wörtlich in der Quelle steht.

Das Risiko

Eine KI, die ein langes Dokument liest, antwortet in guten Sätzen. Ein Teil davon steht im Dokument, ein Teil klingt nur so. An der Antwort lässt sich nicht erkennen, welcher.

Darauf können Sie sich nicht verlassen, wenn das Dokument ein Vertrag, eine Ausschreibung oder eine Verordnung ist.

Ein Zitat für jede Tatsache

Das Modell muss jede Tatsache, die es nennt, mit einem wörtlichen Zitat aus einer Quelle belegen. Ein eigener Schritt ohne KI sucht danach im gespeicherten Text der Quelle nach dem genauen Zitat. Das Ergebnis zeigt jede Aussage mit ihrem Zitat.

Eine Schlussfolgerung, die das Modell aus mehreren Tatsachen zieht, bleibt nur, wenn jede dieser Tatsachen die Prüfung bestanden hat.

Was mit dem Rest passiert

Eine Aussage, deren Zitat nicht in der Quelle steht, wird weggelassen. Eine Aussage, die sich weder bestätigen noch ausschliessen lässt, wird separat aufgeführt. Das Ergebnis führt auch auf, was die Frage gebraucht hätte und die Quellen nicht gezeigt haben.

Welche Quellen zählen

Ihre eigenen Dokumente und amtliche Quellen, etwa ein Register oder eine Aufsichtsbehörde, kommen zuerst. Alles andere aus dem Web kommt danach und ist im Ergebnis so gekennzeichnet.

Ein Beispiel: ThesisCheck

ThesisCheck ist mein Produkt, das eine Anlagethese anhand der Unterlagen eines Unternehmens prüft. Es prüft jede Aussage auf diese Weise, mit Unterlagen aus den USA, Grossbritannien, Australien und Japan. Ein Bericht liegt in der Regel nach rund 5 Minuten vor. Eine Analystin oder ein Analyst braucht Stunden, um dieselben Unterlagen zu lesen.

Was Sie übernehmen können

Dieselben Schritte funktionieren für jede KI, die lange Dokumente für Sie liest, etwa Verträge, Ausschreibungen, Verordnungen oder Handbücher.

  • Speichern Sie den Quelltext selbst, damit es etwas gibt, woran sich prüfen lässt
  • Lassen Sie das Modell jede Tatsache wörtlich zitieren
  • Prüfen Sie jedes Zitat per Code an der Quelle
  • Führen Sie auf, was sich nicht bestätigen liess