Wie ein KI-Assistent aus Ihren eigenen Dokumenten antwortet.
Ein KI-Assistent, der aus Ihren Dokumenten antwortet, wird nicht mit ihnen trainiert. Die Dokumente werden in Abschnitte zerlegt und indexiert. Bei jeder Frage durchsucht das System diesen Index und gibt die gefundenen Stellen zusammen mit der Frage ans Modell. Dafür braucht es lesbare, aktuelle Dokumente, eine Person, die sie pflegt, und eine Regel, wer was sehen darf.
So funktioniert es
Das Sprachmodell wird nicht verändert. Ihre Handbücher, Verträge und Offerten werden in einem Suchindex gespeichert. Das Verfahren heisst Retrieval-Augmented Generation, kurz RAG. Der Begriff stammt aus einer Forschungsarbeit von Patrick Lewis und Kollegen aus dem Jahr 2020. Sie gaben einem Sprachmodell einen durchsuchbaren Index von Wikipedia.
OpenAI beschreibt die Schritte für die Suche in hochgeladenen Dateien so.
- Jede Datei wird in Stücke geteilt, voreingestellt zu 800 Token, der Einheit, in der Modelle Text zählen. Benachbarte Stücke überlappen sich um 400 Token
- Jedes Stück wird nach seiner Bedeutung indexiert. Die Suche findet deshalb auch Text, der kaum ein Wort mit der Frage teilt
- Eine Frage wird im Index gesucht. Er liefert die am besten passenden Stücke, voreingestellt 10, jeweils mit ihrer Datei
- Stücke und Frage gehen ans Modell, und das Modell schreibt daraus die Antwort
Was über die Qualität entscheidet
Das Modell sieht nur die Stellen, die ihm die Suche übergibt. Fehlt die richtige Stelle im Index oder findet die Suche sie nicht, ist die Antwort falsch oder leer. Aktuelle Dokumente und eine gute Suche sind wichtiger als die Wahl des Modells.
Jede Antwort sollte die Stelle zeigen, aus der sie stammt, damit man sie nachprüfen kann. ThesisCheck, mein Rechercheprodukt, zeigt eine Aussage nur, wenn ihr Zitat wörtlich im gespeicherten Text der Quelle steht.
Ein Assistent muss auch sagen, wenn er nichts gefunden hat. ThesisCheck nennt, wozu die Unterlagen nichts sagen, und einen Firmenassistenten richte ich gleich ein.
Was es von Ihnen braucht
- Die Dokumente als Text, den ein Computer lesen kann: Word-Dateien, Präsentationen, Textdateien oder PDFs mit echtem Text
- Eine Person, die für die Inhalte zuständig ist, alte Versionen entfernt und neue ergänzt
- Einen Entscheid, wer welche Dokumente sehen darf, bevor etwas indexiert wird
Wo es schiefgeht
- Veraltete Dokumente. Liegen zwei Versionen einer Preisliste im Index, kann die Suche die alte liefern
- Gescannte PDFs. Ein Scan ist ein Bild einer Seite. ChatGPT liest ausserhalb des Enterprise-Abos den digitalen Text einer Datei und nicht die Bilder darin. Ein Scan braucht deshalb zuerst eine Texterkennung
- Tabellen. Wird eine Tabelle in Stücke geteilt, können die Spaltentitel verloren gehen. Der Leitfaden von Microsoft für den Bau solcher Systeme nennt das Umformatieren von Tabellen als Vorbereitungsschritt
- Fragen, die eine Rechnung brauchen. Die Suche liefert nur die besten Stellen. Wer die Verträge zählen will, die dieses Jahr auslaufen, braucht aber jeden Vertrag. Auch das Rechnen gehört in den Code. In InkDraft liest das Modell die Beträge aus dem Gespräch, und der Code rechnet sie zusammen
- Lücken bei den Berechtigungen. Microsoft Copilot zeigt einer Person nur Inhalte, die sie mindestens ansehen darf. Ein Ordner, der versehentlich für alle freigegeben ist, kann damit in jeder Antwort auftauchen
Fertiges Werkzeug oder eigenes System
ChatGPT, Claude und Microsoft Copilot können das bereits mit Dokumenten, die Sie ihnen geben. ChatGPT arbeitet mit Dateien, die Sie an einen Chat anhängen oder einem Projekt hinzufügen. In Claude stellt ein Projekt in einem bezahlten Abo von selbst auf Suche um, sobald seine Dokumente nicht mehr in das passen, was das Modell auf einmal lesen kann. Microsoft Copilot durchsucht die Dokumente, E-Mails und Chats in Ihrem Microsoft 365, die die fragende Person sehen darf.
Ein Team mit einigen Dutzend Dokumenten kann dort anfangen.
Ein eigenes System lohnt sich, wenn die Dokumente in Systemen liegen, die diese Werkzeuge nicht erreichen, wenn Ihre Kundschaft die Antworten liest oder wenn jede Antwort eine Prüfung bestehen muss, bevor sie angezeigt wird. InkDraft ist ein Beispiel: Es schreibt Offerten aus den eigenen Unterlagen und Referenzen eines Unternehmens.
Was Sie jetzt tun können
Fangen Sie klein an, mit den Werkzeugen, die Sie schon bezahlen.
- Wählen Sie eine Dokumentensammlung und eine Gruppe, etwa das Servicehandbuch für den Kundendienst
- Bestimmen Sie eine Person, die diese Dokumente aktuell hält
- Entfernen Sie alte Versionen, machen Sie aus Scans Text und legen Sie fest, wer welchen Ordner sehen darf
- Schreiben Sie 20 Fragen mit den richtigen Antworten auf und testen Sie damit
- Verlangen Sie zu jeder Antwort die Fundstelle, und «nicht gefunden», wenn es keine gibt
Fragen
Wie viele Dokumente verträgt ein solcher Assistent?
ChatGPT erlaubt pro Projekt 5 Dateien im Gratis-Abo, 25 in Go und Plus und 40 in Edu, Pro, Business und Enterprise. Laut Anthropic fasst ein Claude-Projekt im Suchmodus bis zu zehnmal mehr Inhalt als zuvor. Ein Index, der auf der API von OpenAI gebaut ist, wird nach Grösse verrechnet: bis 1 GB kostenlos, darüber 0.10 US-Dollar pro GB und Tag.
Wäre es besser, ein Modell mit unseren Dokumenten zu trainieren?
Nein. Die Arbeit von 2020 nennt zwei offene Probleme eines Modells, das sein Wissen in sich trägt: zu zeigen, woher eine Aussage stammt, und sein Wissen zu aktualisieren. Ein Suchindex geht beides an. Ein geändertes Dokument wird neu indexiert, und die Antwort kann ihre Fundstelle zeigen.
Können auch unsere Kundinnen und Kunden den Assistenten nutzen?
Ja, die Technik ist dieselbe. Microsoft schreibt zu Copilot, die Antworten seien nicht garantiert zu 100% richtig, und man solle sie prüfen. Ihr Team kann das, Ihre Kundschaft oft nicht. Indexieren Sie für sie nur Dokumente, die für die Öffentlichkeit gedacht sind, und zeigen Sie zu jeder Antwort die Quelle.
Verlassen unsere Dokumente das Unternehmen?
Bei einem Cloud-Werkzeug geht der Text beim Indexieren und mit jeder Frage an den Anbieter, sofern er nicht schon dort liegt wie bei Microsoft 365. OpenAI schreibt, Inhalte aus den Geschäftsangeboten wie der API und ChatGPT Enterprise würden nicht zur Verbesserung der Modelle verwendet, und bei den Angeboten für Private hänge das von den Dateneinstellungen ab. Microsoft schreibt, Prompts, Antworten und die Daten, auf die Copilot zugreift, würden nicht zum Training der Basismodelle verwendet. Wo kein öffentlicher KI-Dienst erlaubt ist, kann ein System mit einem selbst betriebenen Modell laufen, wie es InkDraft kann.