Sie ändern etwas an der Wissensbasis, am Ton oder am Modell und wollen wissen, ob die Antworten besser geworden sind oder schlechter. Unter Antworten Antworten testen stellen Sie Ihrem Assistenten dafür einen festen Satz Fragen und vergleichen seine Antworten mit den Antworten, die Sie erwartet hätten.
Antworten testen gehört ab dem Professional-Tarif dazu
In den Tarifen Free und Starter steht die Seite in der Navigation und zeigt einen Hinweis auf den Tarif. Testläufe anlegen und starten können Sie ab Professional.
Wofür ein Testlauf gut ist
Einzelne Fragen können Sie jederzeit selbst im Chat ausprobieren. Das Problem daran: Sie merken sich nicht, wie die Antwort letzte Woche lautete, und Sie fragen jedes Mal etwas andere Dinge. Ein Testlauf hält beides fest. Derselbe Satz Fragen, zweimal gestellt, ergibt zwei Zahlen, die man nebeneinanderlegen kann.
Typische Anlässe: Sie haben neue Seiten in die Wissensbasis geholt, den Ton des Assistenten geändert oder wollen wissen, ob ein anderes Modell die kniffligen Fragen besser trifft.
Fragensatz anlegen und ersten Lauf starten
Der erste Lauf legt den Fragensatz gleich mit an. Über Neuer Run öffnet sich ein Fenster:
- Name des Laufs, nur zur Wiedererkennung in der Liste. Lassen Sie ihn leer, steht dort der Name des Fragensatzes.
- Fragensatz: entweder einen bestehenden auswählen oder Neuen Fragensatz anlegen.
- Bei einem neuen Satz: der Name des Satzes, der Pflicht ist, und die Fragen selbst. Je Zeile eine Frage, die Antwort, die Sie erwarten, und wahlweise ein Label, mit dem Sie Fragen gruppieren.
Wer die Fragen bereits als JSON-Liste vorliegen hat, füllt die Tabelle über JSON importieren, statt sie einzeln einzutippen.
Run starten bleibt gesperrt, solange eine Zeile halb gefüllt ist, und das Fenster sagt, wie viele es sind. Eine Frage ohne erwartete Antwort ließe sich gegen nichts vergleichen und zöge die Quote nach unten, ohne dass jemand daran etwas ablesen könnte. Ergänzen Sie also die Antwort oder löschen Sie die Zeile.
Schreiben Sie die erwartete Antwort so, wie ein Mitarbeiter sie geben würde: es geht darum, ob die Aussage gedeckt ist, nicht ob der Wortlaut übereinstimmt. Zwei Dutzend Fragen sind ein guter Umfang für einen Satz. Nehmen Sie das, was Kunden wirklich fragen, und mischen Sie ein paar Fälle darunter, bei denen Sie sich nicht sicher sind.
Der Fragensatz bleibt gespeichert. Beim nächsten Lauf wählen Sie ihn in derselben Liste wieder aus, statt die Fragen erneut einzugeben.
Wie ein Lauf durchläuft
Ein Lauf durchläuft die Status ausstehend, läuft und abgeschlossen, oder fehlgeschlagen, wenn er nicht durchkommt.
Ein abgeschlossener Lauf meldet sich über die Glocke oben rechts. Kommt er nicht durch, bekommen Sie zusätzlich eine E-Mail mit dem Grund, damit ein abgebrochener Lauf nicht unbemerkt bleibt. Beides stellen Sie unter Benachrichtigungen in der Gruppe Inhalte ein.
Was die Quote sagt
Jeder Lauf bekommt eine Quote: wie viele der Antworten von den erwarteten gedeckt waren. In der Liste steht sie als Balken neben dem Lauf, der beste Lauf je Fragensatz ist hervorgehoben.
Quoten aus verschiedenen Sätzen sind nicht vergleichbar
Eine niedrigere Zahl kann schlicht an schwereren Fragen liegen. Wenn Sie zwei Modelle oder zwei Stände Ihrer Wissensbasis vergleichen wollen, lassen Sie denselben Satz zweimal laufen und vergleichen Sie die beiden Quoten.
Starten Sie nach jeder größeren Änderung an Prompt oder Wissensbasis einen neuen Lauf über demselben Fragensatz. So sehen Sie an der Quote sofort, ob die Änderung geholfen hat.
Einzelne Antworten ansehen
Die Quote sagt Ihnen, dass etwas nicht stimmt, aber nicht was. Öffnen Sie deshalb den Lauf: dort steht jede Frage mit der Antwort des Assistenten, der erwarteten Antwort und der Bewertung dieser einen Zeile.
Die schwachen Zeilen sind die Arbeitsliste. Meistens fehlt der Wissensbasis eine Information, seltener steht sie dort und wird nicht gefunden. Was Sie dagegen tun können, steht unter Präzisere Antworten.
Nächste Schritte
- Präzisere Antworten für die Stellschrauben, wenn eine Frage schlecht beantwortet wurde
- KI-Einstellungen für Ton, Verhalten und die Wahl des Modells
- Benachrichtigungen für die Meldung, wenn ein Lauf durch ist