Mehrfach-Sampling und normale Schwankung

Wer dieselbe Frage zweimal an ein KI-System stellt, bekommt zwei verschiedene Antworten. Mal nennt die KI drei Anbieter, mal fünf, mal in anderer Reihenfolge. Für eine Messung ist das eine Schwierigkeit, denn ein einzelner Versuch zeigt nur einen Zufallstreffer. Deshalb arbeitet Agent Franz mit Mehrfach-Sampling.

Warum sich die Messung der Sichtbarkeit in KI-Antworten von der klassischen SEO-Messung unterscheidet, steht im Praxis-Handbuch in Kapitel 9, Umdenken.

Das Verfahren

Jede Frage wird bei jeder Messung mehrfach an jedes KI-System geschickt. In der Fußnote unter dem Verlauf der Übersicht steht die Zahl: In der Regel sind es drei Abfragen je Messung und KI-System. Der Wert, den Sie sehen, ist der Anteil der Antworten, in denen Ihre Marke vorkommt. Null heißt, dass sie nie genannt wurde, hundert heißt, dass sie immer genannt wurde. Er ist also ein Mittelwert über viele Antworten und keine Momentaufnahme.

Wird eine Frage in mehreren Varianten gestellt, zählen alle Varianten für die Sichtbarkeit, und die Frage zählt einmal. Unterschiede zwischen den Varianten sind normal und sagen nichts über die Qualität Ihrer Marke.

Warum Schwankung normal ist

Drei Dinge bewegen die Werte, ohne dass sich an Ihrer Website etwas geändert hätte:

• Die Antworten einer KI sind nie ganz gleich. Auch drei Abfragen decken nur einen Ausschnitt der möglichen Antworten ab.
• Die KI-Systeme ändern sich selbst. Anbieter passen ihre Modelle und deren Quellen laufend an.
• Bei einzelnen KI-Systemen schwanken bestimmte Größen besonders stark. In der KI-Übersicht ändert sich zum Beispiel die Zahl der genannten Quellen von Abfrage zu Abfrage deutlich stärker als in den Chat-Systemen, und die App weist darauf hin.

Ein Sprung nach oben oder unten innerhalb einer Woche ist deshalb kein Grund zur Freude oder zur Sorge. Alle Zahlen sind ein Indikator für Trends und kein Absolutwert.

Eine echte Veränderung erkennen

KI-Sichtbarkeit bewegt sich über Wochen, weil sich Inhalte, Erwähnungen im Netz und Quellen nur langsam ändern. Aussagekräftig ist daher die Entwicklung über mehrere Messungen. Drei Hinweise helfen:

• Schauen Sie auf die Wochenansicht des Verlaufs statt auf einzelne Tage. Sie fasst die Messtage einer Kalenderwoche zum Mittelwert zusammen.
• Vergleichen Sie mit Ihren Wettbewerbern. Bewegen sich alle in dieselbe Richtung, kann die Ursache beim KI-System liegen.
• Suchen Sie in den Prompt-Ergebnissen nach einem Muster über mehrere Prompts. Eine einzelne auffällige Antwort reicht nicht als Beleg.

Wie oft gemessen wird, ist je Arbeitsbereich unter Erweitert eingestellt. Die Erklärung auf der Seite Übersicht nennt den Takt, der für Sie gerade gilt. Ein häufigerer Takt ersetzt das Mehrfach-Sampling nicht, er kommt zusätzlich dazu.

Wenn sich die Messgrundlage ändert

Einzelne Werte sind nur eingeschränkt vergleichbar, wenn sich die Grundlage ändert. Die App sagt das an der betroffenen Stelle. Das passiert zum Beispiel, wenn wir ein neues KI-System aufnehmen oder ein KI-System über einen anderen Weg erheben. Die Werte vor und nach so einem Wechsel zeigen dann dieselbe Marke, aber nicht ganz dieselbe Messung. Am Hinweis unter dem Verlauf sehen Sie, ab wann.

Hat ein Wert nur sehr wenige Antworten hinter sich, steht statt einer Prozentzahl „zu wenig Daten“. Wie sicher die Messung insgesamt ist, steht unter Genauigkeit der Messung.