Conclusion d'un A/B test
Statuer si l'écart observé est significatif ou peut relever du hasard.
← Tous les outils gratuits
Outil gratuit · A/B Test
Calculateur A/B Test | significativité
Vérifiez si l'écart entre votre contrôle et votre variante est statistiquement significatif. Test z sur deux proportions, p-value, z-score, uplift et intervalle de confiance.
Contrôle (A)
Taux
4.20%
Variante (B)
Taux
4.80%
Résultat significatif
L'écart observé est significatif au seuil 5%.
p-value
0.0407
z-score
2.047
Uplift
+14.29%
IC variante
4.38% – 5.22%
Test z bilatéral (ou unilatéral) sur deux proportions indépendantes. Ne remplace pas une analyse approfondie ni un test bayésien pour des A/B longs ou multi-variants.
Comment ça marche
Test z sur deux proportions, en 4 étapes
Le calculateur compare deux taux de conversion observés et calcule la probabilité que l'écart soit dû au hasard.
01
Saisissez le contrôle (A)
Visiteurs et conversions du groupe contrôle observés sur la période du test.
02
Saisissez la variante (B)
Visiteurs et conversions du groupe variante exposés au changement testé.
03
Choisissez l'alpha
5% est le standard. 1% pour des décisions très critiques. 10% pour des tests itératifs.
04
Lisez le verdict
Si p-value < alpha, l'écart est statistiquement significatif. Sinon, continuez à collecter.
Formule
z = (pv − pc) / √(p̄ · (1−p̄) · (1/nc + 1/nv))
Avec pc, pv les taux observés, p̄ le taux poolé, nc et nv les visiteurs. p-value = 2 · (1 − Φ(|z|)) en bilatéral. IC variante : pv ± Zα/2 · √(pv(1−pv)/nv).
Quand l'utiliser
4 cas d'usage typiques
Reporting CRO mensuel
Documenter la p-value, l'uplift et l'IC pour chaque test publié au COPIL.
Audit de tests passés
Vérifier la robustesse statistique de tests réalisés en interne.
Décision pricing / refonte
Avant de pousser une variante en prod, valider qu'elle bat le contrôle.
FAQ
Questions fréquentes
Qu'est-ce que la signification statistique ?
Elle indique si l'écart observé entre vos variantes est probablement réel ou peut être dû au hasard. Un résultat est considéré significatif lorsque la p-value est inférieure au seuil alpha choisi (5% par défaut).
Comment interpréter la p-value ?
La p-value représente la probabilité d'observer un écart au moins aussi grand que celui observé, dans l'hypothèse où il n'y a en réalité aucune différence. Plus elle est petite, plus le résultat est statistiquement significatif. Une p-value de 0,03 signifie 3% de chances de faux positif.
Test bilatéral ou unilatéral ?
Bilatéral est le standard recommandé : on cherche à savoir si la variante est différente du contrôle (mieux ou moins bien). Unilatéral suppose qu'on s'attend uniquement à une amélioration et ne détecte pas une dégradation. Risque : sous-estimer un effet négatif.
Que signifie l'intervalle de confiance (IC) ?
L'IC à 95% donne la plage dans laquelle se trouve très probablement le vrai taux de conversion de la variante. S'il ne chevauche pas le taux du contrôle, c'est un signal fort de significativité.
Mon résultat n'est pas significatif, que faire ?
Trois options : (1) continuer à collecter du trafic si la durée prévue n'est pas atteinte, (2) accepter que l'écart est faible et arrêter le test, (3) re-formuler une hypothèse plus ambitieuse pour viser un MDE plus large. Notre calculateur MDE complète bien cette analyse.
Le calculateur gère-t-il plusieurs variantes ?
Cet outil compare 2 groupes (A vs B). Pour 3+ variantes, il faut appliquer une correction de Bonferroni (alpha / nombre de comparaisons) et traiter chaque paire séparément.
Puis-je arrêter le test dès que c'est significatif ?
Non, c'est le piège du peeking : regarder les résultats trop tôt augmente le taux de faux positifs. Définissez une durée et un sample size en amont (avec notre calculateur MDE) et tenez-vous-y.
Besoin d'un avis senior sur vos A/B tests ?
Audit CRO complet : roadmap, hypothèses, tracking et exécution. 5 jours, 0 € pour les scale-ups B2B.