Verifique a amostra e a significância do teste A/B

Ele também verifica se cada variante contém conversões e não conversões suficientes para sustentar razoavelmente a aproximação normal. Use-o como um sinal rápido e transparente antes de decidir, lembrando que a notação estatística não substitui o planejamento experimental, a análise da qualidade do tráfego nem uma regra de encerramento definida antecipadamente.

Informe totais consistentes do mesmo experimento

Informe o número de visitantes e conversões das variantes A e B. Visitantes representam as pessoas ou sessões elegíveis designadas para cada versão, enquanto conversões representam quem concluiu a mesma meta predefinida. Mantenha iguais entre as variantes a janela de atribuição, as regras de público, a filtragem de robôs e a definição da conversão. A calculadora rejeita uma variante sem visitantes porque não há taxa observável e rejeita conversões acima do número de visitantes porque isso não corresponde a um resultado binomial de uma conversão por pessoa. Se a sua métrica permitir compras repetidas ou vários eventos por visitante, primeiro converta-a em um resultado individual de conversão ou não conversão. Não misture totais de datas, campanhas, dispositivos ou regras de alocação diferentes, a menos que essas diferenças façam parte do experimento planejado. A distribuição aleatória e a exposição simultânea são essenciais: um escore z matematicamente preciso não corrige efeitos de dias da semana, divisão defeituosa, visitantes duplicados ou rastreamento diferente entre versões. Confira esses fundamentos antes de atribuir o resultado à landing page.

Analise taxas, diferença e escore z em conjunto

A taxa observada de cada variante é o número de conversões dividido pelo total de visitantes. A diferença absoluta é a taxa de B menos a taxa de A; portanto, um valor positivo favorece B e um valor negativo favorece A. A diferença em pontos percentuais apresenta a mesma distância em uma escala conhecida de 0 a 100 e não representa o aumento relativo. Em seguida, a calculadora combina as conversões dos dois grupos para estimar o erro padrão esperado sob a hipótese nula de que as taxas reais são iguais. A divisão da diferença observada por esse erro produz o escore z. O resultado é marcado como estatisticamente notável quando o valor absoluto chega a pelo menos 1.96, o limite bilateral conhecido de 5%. Trata-se de uma regra simples de triagem, não de uma promessa de que a página vencedora repetirá o mesmo ganho. O cálculo não fornece probabilidade bayesiana, não corrige consultas repetidas ou várias variantes e não incorpora o valor da receita. Considere juntos a direção, o tamanho prático e o sinal estatístico, sem privilegiar apenas o número mais favorável.

Respeite a ressalva de suficiência antes da decisão

O procedimento z para duas proporções depende de uma aproximação normal. Este verificador considera a amostra adequada somente quando cada variante possui pelo menos cinco conversões e cinco não conversões. Essa regra é um mínimo prático, não uma garantia de potência elevada. Quando ela falha, o escore z continua visível por transparência, mas a indicação do limite deve ser interpretada com cautela; um método exato ou mais observações pode ser mais apropriado. Mesmo quando a verificação é aprovada, avalie se o experimento conseguiria detectar o menor efeito comercialmente relevante. Um ganho pequeno, embora estatisticamente notável, talvez não pague a implementação, enquanto uma grande diferença observada pode continuar incerta com pouco tráfego. Evite encerrar o teste assim que o escore superar 1.96, pois consultas repetidas aumentam os falsos positivos sem um desenho sequencial. Defina antes do lançamento a métrica principal, o efeito mínimo detectável, a duração, as exclusões e a regra de encerramento. Por fim, examine métricas de proteção e o equilíbrio dos segmentos. Esta calculadora resume um único resultado binário; ela não revela páginas mais lentas, mudanças em reembolsos, desequilíbrio amostral ou ganho restrito a tráfego suspeito.