Avant chaque A/B
Vérifier que le test peut atteindre la significativité dans un délai réaliste.
Estimez le nombre de visiteurs nécessaires pour détecter un écart relatif donné (Minimum Detectable Effect) entre contrôle et variante. Test z bilatéral sur deux proportions.
Taux actuel du contrôle. Ex : 4% = 4.0.
Plus petit écart relatif que vous voulez détecter. 10% = passer de 4% à 4,4%.
Somme des deux groupes. Pour estimer la durée.
Recommandé : alpha 5%, puissance 80%. Standard de l'industrie pour un A/B B2B.
Formule : taille d'échantillon par variante pour un test z bilatéral sur deux proportions, avec puissance 1−β et significativité α. L'approximation normale est valide quand np ≥ 5 et n(1−p) ≥ 5.
Le calculateur applique la formule classique de taille d'échantillon pour deux proportions indépendantes, utilisée par tous les outils statistiques sérieux (Optimizely, AB Tasty, Evan Miller, etc.).
Le taux de conversion actuel du contrôle (ex : 4%).
Le plus petit écart relatif que vous voulez détecter (ex : 10%).
Standard : alpha 5% (confiance 95%), puissance 80%.
Renseignez le trafic quotidien pour obtenir le nombre de jours de test.
n = (Zα/2 · √(2 · p̄ · (1−p̄)) + Zβ · √(p₁(1−p₁) + p₂(1−p₂)))² / (p₂ − p₁)²
Avec p₁ = baseline, p₂ = baseline · (1 + MDE relatif), p̄ = (p₁ + p₂) / 2. Zα/2 et Zβ issus de la loi normale standard.
Vérifier que le test peut atteindre la significativité dans un délai réaliste.
Prioriser les tests faisables vs. tests qui demanderaient des mois de trafic.
Aligner Product, Growth et Data sur les attentes en termes de durée et d'uplift.
Justifier que tel uplift demande tel volume | ou inversement.
On audite votre stack A/B, votre tracking et votre roadmap. 5 jours, 0 € pour les scale-ups B2B.