Selina Gaertner Consulting Zur Hauptseite

Aus dem Vortrag "Compliance as Competitive Advantage", Pharma Commercial & SFE Summit, Budapest 2026

Gibt Ihre KI zweimal dieselbe Antwort?

Der 20-Run-Test ist der günstigste Validierungsschritt, den es gibt. Ein Anwendungsfall, zwanzig Durchläufe, ein Nachmittag, ohne IT-Projekt. Hier steht, wie er geht, ein Prüfer läuft direkt auf dieser Seite, und die Excel-Vorlage hält das Ergebnis fest.

Zwanzig Durchläufe derselben Aufgabe. Gefüllte Felder stimmen mit der häufigsten Antwort überein.

Warum das zählt

Sprachmodelle arbeiten mit Wahrscheinlichkeiten. Stellen Sie dieselbe Frage zweimal, können zwei verschiedene Antworten herauskommen. In einer Verbraucher-App ist das eine Marotte. In Pharma, wo aus einer Ausgabe ein Besuchsplan, eine CRM-Notiz oder eine E-Mail an eine Ärztin wird, ist es eine Frage, die Sie später nicht mehr beantworten können: Wie kam das System zu diesem Ergebnis?

Was sich nicht wiederholen lässt, können Sie nicht messen, nicht verbessern und nicht verteidigen. Fachleute bei Genmab und Ipsen sagen dasselbe in einem Branchen-White-Paper von 2026: Skills werden vor dem Einsatz auf Konvergenz geprüft, und messen lässt sich nur, was stabil genug für eine Messung ist.

Stabil ist nicht dasselbe wie richtig

Ein System kann zwanzigmal denselben Fehler machen. Konvergenz zeigt Stabilität. Zusammen mit einer Stichprobe zur Richtigkeit und der Zahl kritischer Fehler haben Sie eine einfache Validierungsgrundlage.

So führen Sie ihn durch

  1. Einen echten Anwendungsfall mit klarem Ergebnis wählen

    Eine Einordnung, eine Extraktion, eine strukturierte Zusammenfassung. Freier Fließtext lässt sich schlecht vergleichen. Entsteht bei Ihnen Fließtext, prüfen Sie die Felder, auf die es ankommt, etwa nächste Schritte oder Empfänger.

  2. Eingabe und Version einfrieren

    Gleicher Eingabetext, gleicher Prompt oder Skill, gleiches Modell, gleiche Einstellungen. Notieren Sie die Version, Sie brauchen sie im Protokoll.

  3. Zwanzigmal laufen lassen

    Jeder Durchlauf in einer frischen Sitzung, damit frühere Antworten die späteren nicht beeinflussen. Jede Ausgabe kopieren.

  4. Konvergenz prüfen

    Fügen Sie die Ausgaben unten in den Prüfer ein. Er gruppiert gleiche Antworten und zeigt, wie viele Durchläufe übereinstimmen.

  5. Richtigkeit prüfen, dann ablegen

    Halten Sie die Antworten an einer kleinen Stichprobe gegen das, was tatsächlich richtig ist, zählen Sie kritische Fehler und legen Sie ein datiertes Protokoll ab. Das ist Ihr erster Validierungsnachweis.

Jetzt prüfen

Der Prüfer läuft in Ihrem Browser. Was Sie hier einfügen, verlässt Ihr Gerät nicht, es wird weder an mich noch an jemand anderen übertragen. Auf diesem Gerät bleiben Ihre Eingaben nur, wenn Sie den Haken unten setzen.

Validierungsprotokoll

So lesen Sie das Ergebnis: 18 von 20 übereinstimmenden Durchläufen oder mehr gelten als stabil, 14 bis 17 heißt, Eingabe oder Ausgabeformat genauer ansehen, unter 14 ist es noch kein Arbeitsablauf. Legen Sie die Schwellen passend zu Ihrem Risiko selbst fest.

Excel-Vorlage für das Protokoll

Eine Arbeitsmappe für Ihre Durchläufe: die zwanzig Ausgaben einfügen, Übereinstimmung, Richtigkeit und kritische Fehler markieren, und sie rechnet Konvergenz und Trefferquote für Ihr Protokoll aus. Die Vorlage ist auf Englisch.

Der nächste Schritt: den Rollout proben

Ein stabiles Modell ist nur eine von drei Ebenen. Ob ein Werkzeug den Kontakt mit Außendienst, Betriebsrat und Compliance übersteht, hängt an Entscheidungen, die vorher niemand testet. Eine Multi-Agenten-Simulation probt den Rollout, bevor Sie bauen.

Wenn Sie über eines von beidem sprechen möchten, für Ihren eigenen Anwendungsfall, melden Sie sich.

30 Minuten mit Selina Gaertner buchen