Verifichi campione e significatività del test A/B

Controlla inoltre se ogni variante contiene abbastanza conversioni e mancate conversioni da sostenere ragionevolmente l’approssimazione normale. Può usarlo come indicazione rapida e trasparente prima di decidere, ricordando che la notazione statistica non sostituisce la progettazione dell’esperimento, i controlli sulla qualità del traffico o una regola di arresto stabilita in anticipo.

Inserisca totali coerenti provenienti dallo stesso esperimento

Indichi il numero di visitatori e conversioni delle varianti A e B. Il conteggio dei visitatori rappresenta le persone o sessioni idonee assegnate a ciascuna versione, mentre le conversioni rappresentano coloro che hanno completato lo stesso obiettivo predefinito. Mantenga identici per entrambe le varianti la finestra di attribuzione, le regole del pubblico, il filtro dei bot e la definizione della conversione. Il calcolatore rifiuta una variante senza visitatori perché non consente di osservare alcun tasso, e rifiuta conversioni superiori ai visitatori perché non descrivono un esito binomiale con una conversione per persona. Se la Sua metrica ammette acquisti ripetuti o più eventi per visitatore, la trasformi prima in un esito individuale di conversione o mancata conversione. Non combini totali di date, campagne, dispositivi o regole di assegnazione diversi, salvo che tali differenze facciano parte dell’esperimento pianificato. L’assegnazione casuale e l’esposizione simultanea sono essenziali: un punteggio z matematicamente preciso non corregge effetti del calendario, ripartizioni errate, duplicati o tracciamenti diversi tra le versioni.

Legga insieme tassi, differenza e punteggio z

Il tasso osservato di ogni variante è dato dalle conversioni divise per i visitatori. La differenza assoluta sottrae il tasso di A da quello di B; un risultato positivo favorisce quindi B, mentre uno negativo favorisce A. La differenza in punti percentuali esprime lo stesso divario su una scala familiare da 0 a 100 e non rappresenta l’incremento relativo. Il calcolatore combina poi le conversioni dei due gruppi per stimare l’errore standard atteso sotto l’ipotesi nulla che i tassi reali siano uguali. Dividendo la differenza osservata per tale errore si ottiene il punteggio z. Il risultato viene segnalato come statisticamente rilevante quando il valore assoluto raggiunge almeno 1.96, la consueta soglia bilaterale del 5%. È una semplice regola di valutazione, non una promessa che la pagina vincente ripeterà lo stesso aumento. Non restituisce probabilità bayesiane, non corregge controlli ripetuti o varianti multiple e non include il valore dei ricavi. Consideri insieme direzione, entità pratica e segnale statistico, anziché scegliere il singolo numero più favorevole.

Rispetti l’avvertenza sull’adeguatezza prima di decidere

La procedura z per due proporzioni si basa su un’approssimazione normale. Questo strumento considera adeguato il campione solo quando ciascuna variante presenta almeno cinque conversioni e cinque mancate conversioni. È un minimo pratico, non una garanzia di potenza elevata. Quando la verifica fallisce, il punteggio z resta visibile per trasparenza, ma la segnalazione della soglia va interpretata con cautela; potrebbe essere più appropriato un metodo esatto o raccogliere altre osservazioni. Anche quando la verifica riesce, valuti se l’esperimento potrebbe rilevare il più piccolo effetto commercialmente importante. Un guadagno minimo ma statisticamente rilevante potrebbe non giustificare l’implementazione, mentre una grande differenza promettente può restare incerta con poco traffico. Eviti di fermare il test appena il punteggio supera 1.96, perché i controlli ripetuti aumentano i falsi positivi senza un disegno sequenziale. Definisca prima del lancio la metrica obiettivo, l’effetto minimo rilevabile, la durata, le esclusioni e la regola di arresto. Infine controlli le metriche di salvaguardia e l’equilibrio dei segmenti. Il calcolatore riassume un solo esito binario e non rivela pagine più lente, variazioni dei rimborsi, squilibri di assegnazione o aumenti limitati a traffico sospetto.