Le juge de l’A/B test
Deux versions d’une page d’atterrissage ont tourné quatorze jours. Vous tranchez : la différence est-elle réelle, et surtout, vaut-elle de l’argent ?
Contexte
L’équipe marketing a testé deux versions d’une page d’atterrissage pendant quatorze jours, le trafic étant partagé au hasard entre elles.
- Version A : bouton vert « Découvrir nos offres ».
- Version B : bouton orange « Profiter maintenant -20 % ».
Le designer est convaincu que B est meilleure. Le développeur pense que c’est du bruit statistique. Le directeur vous demande de trancher.
Votre mission
- Lisez les résultats jour par jour. Quelle version semble gagner les trois premiers jours ? Et à la fin ?
- Calculez le taux de conversion global de chaque version (conversions / visiteurs), l’écart en points et l’écart relatif.
- Tracez le taux de conversion cumulé jour par jour pour A et B. Quand la courbe de B passe-t-elle au-dessus de celle de A ?
- Testez la significativité avec un assistant IA (carte-prompt ci-dessous), puis vérifiez à la main avec la formule.
- Rendez votre verdict en trois phrases : déployer B, prolonger le test ou abandonner. Que change le « -20 % » dans votre verdict ?
Test z de deux proportions. pA = conversions A / visiteurs A ; pB de même ; p = conversions totales / visiteurs totaux.
z = (pB − pA) / √( p × (1 − p) × (1/nA + 1/nB) ).
Si |z| dépasse 1,96, l’écart est significatif au seuil de 5 %. Au tableur : p-value = 2*(1-LOI.NORMALE.STANDARD.N(ABS(z);VRAI)).
Livrable
Le tableau des totaux, la courbe cumulée, le calcul de z vérifié à la main, et le verdict en trois phrases.
Données
- Télécharger
ab-test-landing-page.csv28 lignes · CSV, séparateur virgule
Quatorze jours d’un test A/B de page d’atterrissage : visiteurs, clics sur le bouton et conversions, jour par jour et par version.
Jeu pédagogique du cours, données simulées
Grille d’évaluation
| Critère | Points |
|---|---|
| Totaux et taux justes (conversions / visiteurs) | 4 |
| Lecture jour par jour et courbe cumulée | 3 |
| Test calculé et vérifié à la main | 5 |
| Verdict nuancé : remise, double changement, valeur | 5 |
| Usage critique de l’assistant IA | 3 |
| Total | 20 points |
Avec un assistant IA
Claude, ChatGPT, Gemini ou Copilot : peu importe l’outil. Copiez la carte, joignez le fichier, puis faites la vérification à la main avant de croire la réponse. N’y collez jamais de données personnelles de vrais clients.
Faire calculer le test, étape par étape
Je joins un fichier CSV de 28 lignes (14 jours × 2 versions d’une page), colonnes : jour, version, visiteurs, clics, conversions, taux_conversion. Tâche : 1. Totalisez visiteurs et conversions par version, sur les 28 lignes. 2. Calculez le taux de conversion global de chaque version (conversions / visiteurs). N’utilisez pas la colonne clics. 3. Réalisez un test z de deux proportions (variance poolée) : donnez p_A, p_B, p, z et la p-value bilatérale, avec le détail de chaque étape. 4. Indiquez les hypothèses du test et ce qu’il ne dit pas. Format : un tableau des totaux, puis les calculs ligne par ligne.
Vérification à la main
Refaites vous-même les totaux (somme des visiteurs et des conversions par version) et le calcul de z avec la formule de l’énoncé : vous devez retrouver le même z à la deuxième décimale. Vérifiez que l’assistant a bien lu 28 lignes, et qu’il n’a pas pris les clics pour des conversions.
Correction sur le feuillet rose, réservée à l’enseignant. Elle sera commentée en séance.