Stichprobe und Signifikanz eines A/B-Tests prüfen

Zudem prüft er, ob beide Varianten genügend Konversionen und Nichtkonversionen für eine vertretbare Normalapproximation enthalten. Nutzen Sie das Ergebnis als schnelles, transparentes Signal vor einer Entscheidung. Beachten Sie jedoch, dass statistische Kennzahlen weder ein sauberes Versuchsdesign noch die Prüfung der Traffic-Qualität oder eine vorab festgelegte Abbruchregel ersetzen.

Geben Sie konsistente Summen desselben Experiments ein

Tragen Sie die Besucher- und Konversionszahlen der Varianten A und B ein. Die Besucherzahl umfasst die Personen oder geeigneten Sitzungen, die der jeweiligen Version zugewiesen wurden; die Konversionszahl bezeichnet diejenigen, die dasselbe vorab definierte Ziel erreicht haben. Verwenden Sie für beide Varianten dasselbe Attributionsfenster, dieselben Zielgruppenregeln, dieselbe Bot-Filterung und dieselbe Konversionsdefinition. Der Rechner weist eine Variante ohne Besucher zurück, weil keine Rate beobachtet werden kann. Ebenso werden mehr Konversionen als Besucher abgelehnt, da dies kein binomiales Ergebnis mit höchstens einer Konversion pro Person beschreibt. Falls Ihre Kennzahl Wiederholungskäufe oder mehrere Ereignisse je Besucher zulässt, führen Sie sie zuerst auf ein personenbezogenes Ja-Nein-Ergebnis zurück. Vermischen Sie keine Summen aus unterschiedlichen Zeiträumen, Kampagnen, Geräten oder Zuweisungsregeln, sofern solche Unterschiede nicht ausdrücklich zum Versuchsplan gehören. Zufällige Zuweisung und gleichzeitige Ausspielung sind entscheidend: Ein rechnerisch genauer z-Wert behebt weder Wochentagseffekte noch eine fehlerhafte Aufteilung, doppelte Besucher oder abweichendes Tracking zwischen den Versionen.

Betrachten Sie Raten, Differenz und z-Wert gemeinsam

Die beobachtete Rate einer Variante ergibt sich aus ihren Konversionen geteilt durch ihre Besucher. Die absolute Differenz ist die Rate von B abzüglich der Rate von A; ein positiver Wert spricht somit für B, ein negativer für A. Die Differenz in Prozentpunkten drückt denselben Abstand auf einer vertrauten Skala von 0 bis 100 aus und ist kein relativer Zuwachs. Anschließend fasst der Rechner die Konversionen beider Gruppen zusammen, um den unter der Nullhypothese gleicher Grundraten erwarteten Standardfehler zu schätzen. Die beobachtete Differenz geteilt durch diesen Fehler ergibt den z-Wert. Ein Ergebnis gilt als statistisch auffällig, wenn der Betrag mindestens 1.96 erreicht, also den üblichen zweiseitigen Schwellenwert von 5%. Diese einfache Prüfregel verspricht nicht, dass die siegreiche Seite denselben Zuwachs erneut erzielt. Sie liefert keine bayessche Wahrscheinlichkeit, korrigiert weder wiederholte Zwischenprüfungen noch mehrere Varianten und berücksichtigt keinen Umsatzwert. Beurteilen Sie Richtung, praktische Größe und statistisches Signal gemeinsam, statt nur die günstigste Einzelzahl hervorzuheben.

Beachten Sie vor der Entscheidung den Stichprobenhinweis

Das z-Verfahren für zwei Anteile beruht auf einer Normalapproximation. Dieses Werkzeug stuft die Stichprobe nur dann als geeignet ein, wenn jede Variante mindestens fünf Konversionen und fünf Nichtkonversionen aufweist. Diese Regel ist eine praktische Untergrenze und keine Garantie für hohe Teststärke. Wird sie nicht erfüllt, bleibt der z-Wert aus Transparenzgründen sichtbar; die Schwellenmarkierung ist dann jedoch vorsichtig zu deuten. Ein exaktes Verfahren oder weitere Beobachtungen können geeigneter sein. Prüfen Sie auch bei erfüllter Bedingung, ob das Experiment den kleinsten wirtschaftlich relevanten Effekt erkennen könnte. Ein winziger, aber statistisch auffälliger Gewinn mag die Umsetzungskosten nicht rechtfertigen, während ein großer beobachteter Abstand bei wenig Traffic weiterhin unsicher sein kann. Beenden Sie den Test nicht sofort, sobald der Wert 1.96 überschreitet, denn wiederholtes Nachsehen erhöht ohne sequenzielles Design die Falsch-Positiv-Rate. Legen Sie Zielkennzahl, minimal erkennbaren Effekt, Laufzeit, Ausschlüsse und Abbruchregel vor dem Start fest. Kontrollieren Sie außerdem Schutzkennzahlen und die Segmentbalance. Der Rechner fasst nur ein binäres Ergebnis zusammen und erkennt weder langsamere Seiten noch geänderte Erstattungen, ein falsches Zuteilungsverhältnis oder einen allein auf verdächtigen Traffic begrenzten Zuwachs.