Les 5 biais qui rendent une étude fausse
Biais 1 — Corrélation ≠ Causalité (l'erreur la plus fréquente)
Deux variables sont corrélées = elles évoluent ensemble. Mais ça ne veut PAS dire que l'une cause l'autre.
Exemple classique :
Corrélation entre ventes de glaces et noyades en piscine (chiffre illustratif) : r = 0,94, très forte corrélation.
Conclusion stupide : "Les glaces causent les noyades ! Interdisons les glaces pour sauver des vies !"
Réalité : facteur de confusion = température. Quand il fait chaud, les gens achètent des glaces ET se baignent davantage. La température cause les deux. Les glaces ne causent pas les noyades.
Exemple marketing réel :
"Les entreprises qui utilisent LinkedIn génèrent 340% de CA en plus que celles qui ne l'utilisent pas."
Corrélation vraie. Causalité fausse.
Facteur de confusion = taille de l'entreprise. Les grandes entreprises (a) utilisent LinkedIn ET (b) génèrent plus de CA. Pas parce que LinkedIn cause le CA, mais parce que les grandes entreprises font les deux.
Biais 2 — Facteur de confusion (la variable cachée)
Un facteur de confusion = variable non mesurée qui influence les deux variables observées, créant une corrélation illusoire.
Exemple célèbre (paradoxe de Simpson) :
Université X accepte 30% des candidats hommes et 20% des candidates femmes. Discrimination ?
On regarde département par département :
- Département A : 10% hommes acceptés, 15% femmes acceptées
- Département B : 80% hommes acceptés, 90% femmes acceptées
Les femmes sont MIEUX acceptées dans chaque département. Mais globalement, elles semblent discriminées.
Facteur de confusion : les femmes postulent bien plus souvent que les hommes au département A (très sélectif, 10-15% acceptés). Les hommes, eux, se tournent davantage vers le département B (peu sélectif, 80-90% acceptés).
Résultat : taux global trompeur.
Exemple marketing :
"Les clients qui ouvrent nos emails achètent 5,3x plus que ceux qui ne les ouvrent pas."
Facteur de confusion : intention d'achat. Les gens qui VEULENT acheter ouvrent les emails. Pas l'inverse. L'email ne CAUSE pas l'achat. L'intention d'achat cause l'ouverture ET l'achat.
Biais 3 — Survivorship bias (biais du survivant)
On étudie uniquement les cas de succès, en ignorant les échecs. Résultat : conclusions totalement fausses.
Exemple historique (Seconde Guerre mondiale) :
Les avions qui revenaient de mission avaient des impacts de balles sur les ailes et la queue. Conclusion militaire : "Renforçons les ailes et la queue !"
Abraham Wald (statisticien) : "Non. Renforcez le moteur et le cockpit."
Pourquoi ? Parce qu'on observe uniquement les avions qui REVIENNENT. Ceux touchés au moteur ou au cockpit ne reviennent pas. Donc les zones sans impacts sur les survivants = zones critiques.
Exemple startup :
"95% des startups qui ont levé 5M€+ ont fait du personal branding intensif sur LinkedIn. Donc le personal branding cause le succès !"
Biais du survivant : on étudie uniquement les startups qui ont RÉUSSI à lever. On ignore les 200 startups qui ont fait du personal branding intensif et ont échoué.
Réalité probable : le personal branding ne cause pas la levée. Mais les fondateurs qui réussissent à lever (a) ont du temps/argent pour faire du personal branding ET (b) attirent l'attention des médias.
Biais 4 — Échantillon biaisé
L'échantillon étudié ne représente pas la population générale.
Exemple classique :
Sondage : "87% des lecteurs de ce magazine gagnent >100K€/an. Donc les Français gagnent en moyenne >100K€/an."
Faux. Les lecteurs de ce magazine SPÉCIFIQUE (probablement un magazine business haut de gamme) ne représentent pas "les Français".
Exemple LinkedIn :
"Étude sur 500 entreprises : celles qui utilisent l'IA générative économisent 12h/semaine."
Échantillon : 500 entreprises qui ONT RÉPONDU à un sondage LinkedIn sur l'IA.
Biais : les entreprises qui utilisent effectivement l'IA (et sont satisfaites) répondent au sondage. Celles qui ont essayé et abandonné (ou n'utilisent pas) ne répondent pas.
Résultat : échantillon biaisé = conclusion fausse.
Biais 5 — P-hacking (torturer les données jusqu'à ce qu'elles avouent)
On teste 50 hypothèses différentes jusqu'à trouver une corrélation statistiquement significative (p<0,05). Puis on publie UNIQUEMENT celle-là, en ignorant les 49 autres qui n'ont rien donné.
Exemple technique :
Test 1 : "Le personal branding augmente le CA" → p=0,23 (non significatif)
Test 2 : "Le personal branding augmente le CA des entreprises B2B" → p=0,17 (non significatif)
Test 3 : "Le personal branding augmente le CA des entreprises B2B de 10-50 personnes" → p=0,09 (non significatif)
Test 4 : "Le personal branding augmente le CA des entreprises B2B SaaS de 10-50 personnes dans la région Île-de-France" → p=0,04 (significatif !)
Publication : "Étude : le personal branding augmente le CA de 340% (p=0,04)."
Problème : avec 20 tests, on a déjà 64% de chances, et avec 50 tests plus de 92%, de trouver AU MOINS UNE corrélation significative par pur hasard, même si aucune relation causale n'existe.
Corrélations spurieuses hilarantes (mais vraies)
Le site tylervigen.com recense des milliers de corrélations absurdes mais statistiquement réelles. Quelques exemples :
Exemple 1 — Films de Nicolas Cage et morts par noyade en piscine
Corrélation : r = 0,666 (forte corrélation)
Plus Nicolas Cage tourne de films dans une année, plus il y a de morts par noyade en piscine cette année-là.
Causalité ? Évidemment non. Hasard, ou simple tendance commune aux deux séries.
Exemple 2 — Consommation de fromage et morts étouffés dans leurs draps
Corrélation : r = 0,947 (très forte corrélation)
Plus les Américains mangent de fromage, plus il y a de gens qui meurent étouffés dans leurs draps.
Causalité ? Non. Corrélation spurieuse.
Exemple 3 — Dépenses spatiales américaines et suicides par pendaison
Corrélation : r = 0,998 (quasi-parfaite)
Les dépenses fédérales américaines en science, espace et technologie sont quasi-parfaitement corrélées avec les suicides par pendaison aux États-Unis.
Causalité ? Évidemment non.
Pourquoi ces corrélations existent ?
Avec des milliers de variables disponibles, on peut TOUJOURS trouver des corrélations par pur hasard. C'est mathématiquement garanti.
Si vous testez 1 000 paires de variables aléatoires avec un seuil de p<0,05, vous trouverez environ 50 corrélations "statistiquement significatives" qui n'ont AUCUN sens causal.
Trois études types (cas composites)
Cas 1 — "Les entreprises agiles sont 2,7x plus rentables"
Source : étude d'un cabinet de conseil, échantillon de 300 entreprises (cas composite).
Problème 1 : Échantillon biaisé. Les 300 entreprises sont des CLIENTS du cabinet (qui vend des formations agiles). Elles ont payé pour devenir agiles. Elles ne vont pas dire que ça n'a pas marché.
Problème 2 : Facteur de confusion. Les entreprises qui adoptent l'agilité sont généralement des entreprises tech/software en croissance. Elles sont plus rentables PARCE QU'ELLES SONT EN CROISSANCE, pas parce qu'elles sont agiles.
Problème 3 : Survivorship bias. On étudie les entreprises qui ont réussi leur transformation agile. On ignore celles qui ont essayé et échoué (et ne répondent pas au sondage).
Cas 2 — "L'IA générative fait gagner 12h/semaine"
Source : sondage en ligne, 1 200 répondants (cas composite).
Problème 1 : Échantillon auto-sélectionné. Seuls les gens qui UTILISENT l'IA répondent au sondage "Combien de temps gagnez-vous avec l'IA ?". Ceux qui ont essayé et abandonné ne répondent pas.
Problème 2 : Biais de désirabilité sociale. Les répondants VEULENT croire qu'ils gagnent du temps (sinon ils auraient gaspillé leur argent). Ils surestiment les gains.
Problème 3 : Pas de groupe témoin. On ne compare pas avec un groupe qui N'utilise PAS l'IA. Donc impossible de dire si le gain est réel ou imaginé.
Cas 3 — "Le personal branding augmente le CA de 340%"
Source : étude non référencée, échantillon non précisé (cas composite).
Problème 1 : Corrélation ≠ causalité. Les entreprises qui ont du CA ont les MOYENS de faire du personal branding (budget marketing, temps). Le CA ne vient pas du personal branding, le personal branding vient du CA.
Problème 2 : Facteur de confusion = taille entreprise, secteur, maturité. Une startup SaaS de 50 personnes fait naturellement plus de personal branding qu'une PME industrielle de 15 personnes. Et génère naturellement plus de CA.
Problème 3 : Pas de taille d'échantillon donnée, pas de p-value, pas de méthodologie = étude invérifiable = probablement fausse.
Les 3 questions pour détecter le bullshit statistique
Question 1 — Quelle est la taille de l'échantillon ? (n=?)
Repère grossier (la taille nécessaire dépend de l'effet mesuré) :
- n < 30 : trop petit, résultats non fiables
- n = 30-100 : exploratoire, à prendre avec précaution
- n = 100-500 : correct pour des tendances générales
- n > 500 : robuste
Si l'étude ne donne PAS la taille de l'échantillon → automatiquement suspect.
Question 2 — Les facteurs de confusion sont-ils contrôlés ?
Une vraie étude scientifique ISOLE les variables.
Exemple : "Les gens qui méditent 20 min/jour sont 34% moins stressés."
Facteurs de confusion possibles :
- Les gens qui PEUVENT méditer 20 min/jour ont probablement moins de stress au départ (temps libre, stabilité financière)
- Les gens qui méditent font probablement aussi du sport, mangent mieux, dorment mieux
- L'effet placebo : croire que la méditation aide réduit le stress
Pour contrôler : groupe témoin (qui ne médite pas) + randomisation + mesure avant/après.
Si l'étude ne mentionne PAS de groupe témoin → automatiquement suspect.
Question 3 — Quelle est la p-value ? Le résultat est-il statistiquement significatif ?
P-value = probabilité que le résultat soit dû au hasard.
Standard scientifique : p < 0,05. Attention au contresens courant : la p-value n'est pas la probabilité que le résultat soit dû au hasard. C'est la probabilité d'observer un écart au moins aussi grand si l'effet n'existait pas.
Si p = 0,23 → sans aucun effet réel, on observerait un tel écart près d'une fois sur quatre → résultat NON significatif → on ne peut rien conclure.
Si l'étude ne donne PAS de p-value → automatiquement suspect.
Règle simple : si une "étude" ne donne ni n, ni p-value, ni méthodologie, c'est du bullshit jusqu'à preuve du contraire.
Méthode pour faire (ou lire) une vraie étude
Règle 1 — Définir l'hypothèse AVANT de collecter les données
Pas : "Je collecte 50 variables et je vois lesquelles sont corrélées" (= p-hacking).
Mais : "Mon hypothèse : le personal branding augmente le CA. Je vais tester ça avec n=500 entreprises."
Règle 2 — Échantillon représentatif (pas auto-sélectionné)
Randomiser l'échantillon. Ne pas demander uniquement aux gens qui utilisent déjà le produit.
Règle 3 — Groupe témoin (pour isoler la causalité)
Groupe A : utilise la méthode X.
Groupe B : n'utilise pas la méthode X (mais est similaire en tout autre point).
Comparer les résultats.
Règle 4 — Contrôler les facteurs de confusion
Identifier les variables qui pourraient influencer les deux côtés (âge, taille entreprise, secteur, etc.).
Soit randomiser (pour que ces variables soient équilibrées entre groupe A et B).
Soit ajuster statistiquement (régression multiple).
Règle 5 — Mesure avant/après
Mesurer AVANT l'intervention ET APRÈS.
Pas : "Les gens qui méditent sont moins stressés" (impossible de savoir si c'était déjà le cas avant).
Mais : "Groupe A a commencé à méditer. Stress mesuré avant = 7/10. Stress mesuré après 3 mois = 4/10. Groupe B (témoin) : stress avant = 7/10, après = 6,8/10."
Règle 6 — Calculer et publier la p-value
Si p > 0,05 → résultat non significatif → on ne peut PAS conclure.
Si p < 0,05 → résultat statistiquement significatif → on PEUT (prudemment) conclure.
Règle 7 — Transparence totale sur la méthodologie
Publier : taille échantillon (n), méthodologie (randomisation ? groupe témoin ?), p-value, limites de l'étude.
Sinon, l'étude est invérifiable = non scientifique.
Conclusion : la majorité des études marketing sont invérifiables
Scrollez LinkedIn. Comptez les "études" que vous voyez.
Appliquez les 3 questions :
- Taille échantillon donnée ? (la grande majorité ne la donnent pas)
- Facteurs de confusion contrôlés ? (quasi aucune ne les contrôle)
- P-value donnée ? (presque aucune ne la donne)
Résultat : la vaste majorité des "études" LinkedIn sont invérifiables, et donc statistiquement douteuses. Ioannidis l'a documenté en 2005 pour la recherche académique ("Why Most Published Research Findings Are False"). Le problème touche aussi le business et le marketing, où les standards méthodologiques sont encore plus faibles.
Pourquoi les gens publient du bullshit statistique ?
Pas par malveillance. Par ignorance.
Ils voient une corrélation (vraie) et concluent une causalité (fausse). Ils ne connaissent pas les facteurs de confusion. Ils ne savent pas ce qu'est une p-value. Ils pensent que "étude sur 100 personnes" = science.
Comment éviter de tomber dans le piège ?
Appliquez les 3 questions. Si n, p-value, et méthodologie sont absents → ignorez l'étude.
Cherchez les facteurs de confusion. Demandez-vous : "Y a-t-il une variable cachée qui explique les deux ?"
Rappelez-vous : corrélation ≠ causalité. TOUJOURS.
Et si vous faites une étude, suivez les 7 règles. Sinon, vous produirez du bullshit statistique comme la majorité des autres.
Ce texte a d’abord paru sur boris-foucaud.com. Il a été relu pour SemiosX en octobre 2026 : les chiffres dont la source n’a pu être établie ont été retirés ou présentés comme des exemples.