Écart significatif d'un test A/B
Deux objets, deux taux différents : est-ce un vrai écart ou de la chance ? L'outil applique le test classique de comparaison de deux proportions.
Par Jimenez Julien, éditeur d'Atelier Bouclage · mis à jour le
Comment ça se calcule
On calcule les deux taux, puis le taux commun aux deux groupes. L'erreur type vaut la racine de p commun fois un moins p commun, fois la somme des inverses des effectifs. La valeur z est l'écart des taux divisé par cette erreur : au-delà de 1,96 en valeur absolue, l'écart est distinct à 95 %.
Questions fréquentes
Que signifie « distinct à 95 % » ?
Que si les deux objets étaient en réalité équivalents, un tel écart serait rare, environ une fois sur vingt.
Un test suffit-il pour décider ?
Rarement. Répétez-le sur plusieurs envois : un objet gagnant une fois peut perdre ensuite.
Cas fréquents
Des exemples déjà remplis, avec leur explication :
- Test A/B : 39 % contre 43 % d'ouverture
- Test A/B : 40 % contre 41,5 % d'ouverture
- Test A/B avec des groupes de taille différente
- Test A/B avec deux taux identiques
Intégrer cet outil sur votre site
Les résultats sont fournis à titre indicatif. Pour aller plus loin, découvrez les sites de la rubrique Cartes, notes et pinceaux de l'annuaire et lisez le guide de cette rubrique.
Autres outils
- 🚪Désabonnements par numéroTaux par envoi et érosion de la liste sur l'année
- 💰Revenu par abonnéRecettes par abonné, par millier et par numéro
- 📣Prix d'un encart sponsoriséTarif d'un encart au coût pour mille ouvertures
- 🪙Recettes des abonnés payantsPayants, recettes brutes et nettes de commission
- 🎯Seuil de rentabilité d'une lettrePayants nécessaires pour couvrir les coûts
- 🧲Coût d'acquisition d'un abonnéCoût par abonné, valeur sur la durée et remboursement