En réfléchissant à l’usage de méthodes quantitatives par certaines sciences sociales et humaines, Thierry Foucart¹ met en place un problème en forme de chiasme : les spécialistes des sciences de la nature connaissent les propriétés des méthodes quantitatives mais ignorent la nature des objets des sciences sociales ; les spécialistes des sciences sociales ignorent les propriétés des méthodes statistiques qu’ils prétendent appliquer aux objets qu’ils connaissent. Souligner cet aveuglement croisé, c’est rappeler que l’usage de la raison n’est pas uniforme puisqu’on ne peut pas recourir indifféremment aux mêmes outils selon la nature des objets qu’on examine, c’est aussi inviter à distinguer la recherche d’un militantisme qui se prévaut trop souvent d’arguments pseudo-quantitatifs.

Sciences exactes et sciences sociales

Les sciences exactes et appliquées diffèrent des sciences sociales par la nature des réalités qu’elles observent (Feldman, 2001). Le langage est précis dans les premières : les “objets” sont des choses inertes dans le monde matériel, que l’on peut définir, manipuler et mesurer assez exactement, alors que, dans les secondes, ce sont des hommes dont le comportement, rationnel ou non, est par nature imprévisible et des concepts psychologiques, économiques et sociaux dont les définitions sont imprécises et variables dans le temps et dans l’espace.

Dès que les observations sont numériques ou numérisées, elles sont analysées par les mêmes méthodes mathématiques et informatiques. Les chimistes, physiciens, ingénieurs, agronomes etc. connaissent ces méthodes et les conditions nécessaires pour qu’elles donnent des informations fiables sur les données numériques analysées, mais ignorent les règles des sciences sociales nécessaires à l’interprétation des faits sociaux observés. Inversement, les sociologues, psychologues, historiens, etc. connaissent les conditions de la scientificité dans les sciences humaines et possèdent les capacités de décentration et d’objectivation et les références indispensables à leurs analyses, mais ignorent les fondements théoriques des méthodes mathématiques qu’ils appliquent dans leurs travaux, n’en connaissent guère les limites et dépassent souvent ces dernières sans s’en rendre compte.

Les probabilités

La théorie axiomatique des probabilités de Kolmogorov (1903-1987) donne un exemple typique de ces difficultés. La définition mathématique de la probabilité dans les programmes des classes préparatoires scientifiques, économiques et commerciales fixés par le ministère de l’Éducation nationale est celle du mathématicien russe Kolmogorov (1903-1987) : « Une probabilité P est une application définie sur une tribu A d’un ensemble Ω et à valeurs dans [ 0 ; 1 ], σ-additive et telle que P(Ω) = 1. »

Cette définition intègre les probabilités dans la théorie des ensembles et, plus précisément, dans la théorie de la mesure. Elle est d’un intérêt mathématique considérable. Par contre, son abstraction écarte toute référence intuitive au hasard. Elle permet, avec la rigueur des mathématiques, de démontrer des propriétés et des théorèmes utilisés dans la pratique, comme les convergences vers une loi de probabilité théorique et le théorème fondamental “central-limit”, mais elle n’est d’aucune utilité aux spécialistes des sciences sociales et humaines.

L’approche historique, “fréquentiste”, est celle des jeux de hasard. Elle est fondée sur l’expérimentation : en lançant un grand nombre de fois un dé à six faces, de façon indépendante, on calcule les proportions dans lesquelles les faces sont observées. Plus le nombre de lancers est élevé, plus chaque proportion se rapproche, de façon plus ou moins régulière, d’une limite. Cette constatation est confirmée par toutes les expériences menées rigoureusement.

On définit la probabilité de chaque face par la limite vers laquelle tendent les pourcentages d’observations de cette face lorsque le nombre de jets tend vers l’infini. Dans le cas d’un dé parfait, les faces ont la même probabilité égale à 1 / 6 au cours d’un tirage.

Présentée ainsi, la probabilité est une mesure quantitative du hasard considéré comme un phénomène naturel, physique, et les résultats qu’elle produit sont alors interprétables dans les sciences de l’homme et de la société. Mais cette démarche ne précise pas les conditions théoriques nécessaires pour que les méthodes théoriques soient applicables dans la réalité.

Des erreurs classiques d’interprétation

Supposons qu’au cours de 1 200 jets d’un dé parfait, on a observé 197 fois la face six (proportion 197 / 1200 = 0,1642). Si le lancer suivant donne un six, la proportion devient 198 / 1201 (=0,1648). Sinon, elle est égale à 197 / 1201 (0,1640). La différence entre ces deux proportions est égale à 1 / 1201 (=0,0008). Plus le nombre de jets est élevé, plus elle est faible puisque l’effectif augmente. On peut donc penser que cette proportion tend vers 1 / 6, mais ce n’est pas mathématiquement suffisant : l’existence d’une limite est une hypothèse nécessaire. Le philosophe David Hume (1711-1776) a perçu cette nécessité : « si nous n’admettons pas qu’il y a certaines causes pour faire retomber le dé, lui conserver sa forme dans sa chute, et le faire reposer sur une de ses faces, nous ne pouvons faire aucun calcul sur les lois du hasard » (Landemore, 2004). La constitution physique du dé doit être la même au cours de l’expérience et la seule cause du résultat du jet. Il y a donc deux conditions fondamentales lorsque l’on considère une suite de lancers du dé : l’indépendance des lancers et la stabilité de la constitution physique du dé.

Contrairement à ce que l’on croit souvent, la convergence des proportions n’implique pas celle des effectifs. Dans l’exemple numérique ci-dessous, la proportion p converge vers 1 / 6, lorsque n tend vers l’infini, mais l’écart entre l’effectif théorique moyen n / 6 et l’effectif observé n p tend vers l’infini puisque le terme √n tend vers l’infini.

Tableau 1 : convergence des proportions, divergence des effectifs.

La méconnaissance de cette propriété est à l’origine d’erreurs classiques comme “la théorie des séries”. Cette “théorie” est fondée sur un raisonnement erroné qui consiste à dire que, si le six a été tiré plusieurs fois de suite, il a de fortes chances de l’être encore : cela signifie que l’on considère que la probabilité d’obtenir la face six augmente du fait des jets antérieurs, et donc que le dé a été modifié. Une autre “théorie des séries” est l’inverse de la précédente : la face six a moins de chances d’être tirée une fois de plus pour rétablir l’équilibre des effectifs. La première remet en cause l’hypothèse d’un équilibre parfait, la seconde suppose la convergence des effectifs.

Une autre erreur fréquente apparaît lorsque le nombre de jets est important. Un résultat de très faible probabilité devient probable dans une suite de tirages en grand nombre. Par exemple, la probabilité d’une série de six résultats successifs identiques en lançant un dé parfaitement équilibré a pour probabilité (1 / 6)⁵ (après le premier jet, les cinq suivants donnent le même résultat que le premier), soit 0,000128. La probabilité de ne pas observer cette série en lançant six fois le dé est donc :

p =1 – 0,000128 = 0,999871

La probabilité de ne jamais observer une série de six faces identiques en lançant dix mille fois le dé (ce qui fait 9995 séries de six lancers) est :

p⁹⁹⁹⁵ = 0,293

Celle de l’observer au moins une fois est donc égale à 0,707 : la présence d’une telle série dans un échantillon de taille 10 000 est très vraisemblable. Évidemment, plus le nombre de jets est élevé, plus la probabilité d’une présence d’une série de six jets donnant le même résultat est élevée. Détecter un résultat rare dans un grand nombre d’observations, des numéros des boules tirées du loto qui se suivent par exemple, ne remet pas en cause l’indépendance des tirages ni l’équilibre des boules.

D’une façon générale, dès que les données ne sont pas obtenues par des tirages indépendants et équiprobables, ce que l’on appelle en mathématiques « une suite de variables aléatoires indépendantes et de même loi », les probabilités ne peuvent être utilisées pour analyser les séries d’observations.

L’intervalle de confiance

Les sondages électoraux sont bien connus du grand public, Ils donnent des estimations des pourcentages obtenus par les candidats dont la précision dépend des échantillons d’électeurs observés.

Parmi les deux méthodes classiques possibles pour constituer un échantillon, l’une consiste à tirer les électeurs au hasard dans les listes électorales, de façon que chaque électeur ait la même probabilité d’être tiré indépendamment des autres (c’est l’indépendance et l’équiprobabilité), et l’autre à les choisir en respectant des quotas de façon que l’échantillon soit “représentatif” de l’électorat, c’est-à-dire que les proportions suivant un certain nombre de critères soient les mêmes dans la population et dans l’échantillon.

Dans le premier cas, les probabilités montrent que les répartitions d’électeurs dans l’échantillon suivant n’importe quel critère sont à peu près les mêmes que dans la population. L’échantillon est approximativement représentatif de la population. En particulier, les pourcentages de voix entre les candidats sont à peu près les mêmes dans l’échantillon et dans l’ensemble des électeurs.

Dans le second cas, la représentativité est assurée sur les critères choisis, en général le sexe, l’âge, la catégorie socio-professionnelle etc. Le choix de chaque électeur étant lié à ces critères, on en déduit que la répartition des voix entre les candidats est à peu près la même dans l’échantillon que dans la population.

Une des hypothèses du théorème “central limit” démontré dans la théorie des probabilités de Kolmogorov consiste à supposer que les données sont tirées au hasard de façon indépendante et équiprobable.  Ce théorème donne, pour chaque candidat, un intervalle contenant 95 % des valeurs possibles de son pourcentage réel dans l’ensemble des électeurs. La marge d’erreur est la différence entre le centre de l’intervalle et ses extrémités.

Cet intervalle est lui-même aléatoire et la probabilité qu’il contienne la valeur “certaine et inconnue” du pourcentage de voix d’un candidat dans l’ensemble des électeurs est de 95 %.

Cet intervalle n’existe pas si l’échantillon a été constitué par la méthode des quotas puisque l’hypothèse précédente n’est pas vérifiée. Évaluer la part du hasard dans les résultats numériques établis sur des données qui ne sont pas aléatoires est évidemment une erreur. L’argument qui consiste à dire qu’on peut le faire “comme si l’échantillon était aléatoire” est insuffisant, de même que calculer le carré du plus grand côté d’un triangle par la somme des carrés des deux autres (c’est le théorème de Pythagore) en faisant “comme s’il était rectangle” C’est la même erreur de logique. On ne peut appliquer un théorème que si les hypothèses nécessaires à sa conclusion sont vérifiées.

Cette erreur est présente dans tous les sondages préélectoraux utilisant la méthode des quotas. La réglementation impose en effet aux instituts de sondage de publier, avec les estimations des pourcentages de chaque candidat, la méthode utilisée pour constituer l’échantillon, le nombre de personnes interrogées et la marge d’erreur de ces estimations.

Elle ne se limite pas à l’exemple précédent. La comparaison de deux moyennes consiste approximativement à calculer l’intervalle de confiance de leur différence, et à considérer que cette différence est significative si ce dernier ne contient pas la valeur 0. Si les données ne sont pas aléatoires, on ne dispose d’aucune règle permettant de considérer que la différence observée est trop grande pour n’être que le résultat du hasard.

La corrélation entre deux facteurs

Lorsque l’on étudie l’effet d’un facteur sur un autre, par exemple celui de l’âge sur le revenu, on calcule le coefficient de corrélation sur des données observées et on le compare à la valeur 0 qu’il prendrait théoriquement en cas d’indépendance des deux facteurs. Dans ce cas, on peut déterminer une valeur maximale, un “seuil”, acceptable de ce coefficient, en fixant la probabilité, souvent 5 %, qu’elle soit dépassée en cas d’indépendance : si les deux facteurs sont indépendants, il est peu vraisemblable que leur coefficient de corrélation soit supérieur à ce seuil. Dans ce dernier cas, on dit qu’il est “statistiquement significatif”, et on en déduit que la relation n’est pas due seulement au simple hasard : les deux facteurs ne sont pas indépendants. C’est un raisonnement “presque par l’absurde”. Le risque de déclarer qu’ils ne sont pas indépendants alors qu’ils le sont est fixé à 5 %, mais on ne peut pas calculer la probabilité d’admettre qu’ils sont indépendants alors qu’ils ne le sont pas.

Les résultats de ce calcul sont utilisés par certaines revues scientifiques pour sélectionner les articles qu’elles publient. Elles commettent une autre erreur scientifique : « Plusieurs études ont ainsi montré que certaines revues académiques avaient tendance à un certain degré de publication sélective en ne retenant à la publication qu’un certain type d’études, notamment celles qui présentent des résultats statistiquement significatifs. Dès lors, une synthèse de la littérature qui s’appuierait uniquement sur les études publiées pourrait s’avérer biaisée en faveur d’études présentant des effets empiriques plus larges qu’ils ne sont réellement » (Laroche, 2007).

Cette procédure de sélection a deux conséquences importantes :

• Si les observations sont tirées au hasard, elle peut conduire à rejeter des études très pertinentes qui ne mettent pas de relation en évidence, et à détecter des phénomènes qui ne sont dus qu’au hasard. Daniel Schwartz (1984) explique : « supposons qu’un phénomène [l’effet biochimique d’un médicament ] n’existe pas. Sur 100 expériences, on trouvera en moyenne 5 fois qu’il existe [l’effet placebo]. Si les chercheurs, ou les revues, ne considèrent, ne publient que les résultats positifs, on verra surgir une première publication, puis d’autres – de l’ordre de 4 – apparaissant comme des confirmations, entraînant la crédibilité, ce qui ne se serait pas produit si on avait publié les 100 résultats. » Ces revues présentent des résultats biaisés. C’est le “biais de publication”.
• Si les observations ne sont pas tirées au hasard, le critère de sélection est statistiquement faux. Par suite, les travaux publiés sont fondés sur des analyses scientifiquement incorrectes, ce qui aggrave le biais de publication.
• D’autres hypothèses statistiques que le tirage au hasard des données sont nécessaires pour que le raisonnement sur le coefficient de corrélation soit correct. Elles sont très rarement contrôlées dans la pratique.

Deux exemples

Deux études concernant l’apprentissage de la lecture, suivant deux pédagogies différentes (méthode syllabique et méthode mixte) ont été menées récemment par Dehaene (2013) et Goigoux (2013). Pour savoir quelle est la meilleure des deux méthodes pédagogiques, on compare leurs résultats sur deux échantillons d’élèves ayant appris à lire dans le premier échantillon par la méthode syllabique, dans le second par la méthode mixte. On effectue donc un test de comparaison des moyennes qui semble montrer que la meilleure approche est très vraisemblablement la première. Que va-t-on déduire de ces analyses ?

• Les données n’ayant pas été tirées au hasard, le test n’est pas valide scientifiquement, et ne permet pas de dire que la première est plus efficace que le seconde sur l’ensemble des élèves de cours préparatoire.
• Ce ne sont ni les mêmes élèves, ni les mêmes enseignants, et on ne peut en comparer les résultats que si l’on suppose que l’aptitude des premiers à apprendre et la compétence pédagogique des seconds sont les mêmes dans les deux échantillons.
• Gentaz (2022) a critiqué sur d’autres points la méthodologie suivie, en particulier la mise à l’écart de certains résultats considérés, à tort selon lui, comme trop particuliers pour être vraisemblables (Cédelle, 2023).

Cette comparaison est plus celle des deux échantillons que celle des deux méthodes.

Ce genre d’erreur est très fréquent, surtout dans les méta-enquêtes qui consistent à analyser de façon globale une sélection d’articles traitant d’un même sujet. Dans celle que l’Inserm a effectuée pour comparer les efficacités des différentes psychothérapies (Inserm 2004), de nombreuses analyses statistiques sont effectuées pour comparer celle des techniques psychodynamiques (TP) d’une part à celle des techniques cognitivo-comportementalistes (TCC) d’autre part. Aucun des échantillons n’est tiré au hasard : les patients observés sont des étudiants volontaires, des patients parfois rémunérés, … et leurs effectifs sont souvent faibles.

Un autre problème apparaît immédiatement : les articles américains, très souvent d’orientation TCC, sont bien plus nombreux que les articles européens. Il y a ici un double biais de publication, le premier par la sélection opérée par les experts, et le second par l’orientation scientifique des revues qui ont publié les articles.

Certaines études utilisent un protocole “randomisé”. Les patients observés sont répartis au hasard dans trois groupes : le premier regroupe ceux qui suivent une thérapie comportementale (désensibilisation systématique), le second ceux qui suivent une thérapie psychodynamique, et le troisième ceux qui ne bénéficient que d’une pseudo-thérapie n’apportant qu’un soutien relationnel. Le hasard est donc introduit dans les données et on peut utiliser la statistique inférentielle pour comparer les résultats. Cependant, cette analyse ne montre que les résultats des psychothérapies sur les quarante-cinq étudiants observés, ce qui semble bien peu pour la comparaison des résultats. Ces résultats sont d’autant moins généralisables à l’ensemble de la population que l’échantillon n’est pas du tout représentatif, et que, comme dans le cas de l’apprentissage de la lecture, l’efficacité des thérapies dépend de la compétence des psychothérapeutes et des profils des patients.

Le dernier exemple est complètement différent des précédents. Il s’agit de l’ouvrage Visible learning (John Hattie, 2008), qui a rencontré un très grand succès auprès du public anglo-saxon et été très contesté peu après sa publication. C’est « une méta-méta-analyse de 800 méta-analyses portant sur plus de 50 000 études conduites sur 250 millions d’élèves ». Les critiques de nombreux scientifiques, statisticiens ou spécialistes des sciences de l’éducation, sont extrêmement sévères, et citent des calculs théoriques donnant des probabilités dont certaines peuvent être supérieures à 1 et d’autres inférieures à 0 (Bergeron Pierre-Jérôme, 2016). Ces erreurs mathématiques grossières n’ont pas empêché le succès mondial de cet essai, et une présentation très élogieuse du magazine Times Educational Supplement qui l’a présenté comme le « Saint-Graal de l’enseignement » sans mentionner ces erreurs que le journaliste n’avait donc pas vues.

C’est une situation très particulière de la démarche critique : la preuve statistique de l’efficacité de méthodes pédagogiques est complètement erronée, mais cela ne suffit pas pour invalider ces méthodes comme le montre l’avis très positif (semble-t-il) des enseignants. Les erreurs scientifiques n’empêchent pas l’intérêt des explications et interprétations contenues dans ce livre, mais simplement les privent de l’argumentation statistique.

Toutes ces études ne sont pas dépourvues d’intérêt. C’est l’utilisation qui en est faite par l’administration qui risque d’être dangereuse. L’application à chaque élève d’une règle collective établie de façon optimale sur un échantillon peut aboutir à une insatisfaction générale (Foucart, 2002). Imposer la “meilleure” solution collective à tous les enseignants et à tous les psychothérapeutes, c’est les empêcher de choisir la “meilleure” solution pour chacun de leurs élèves et patients. « Le législateur […] ne deviendra jamais capable, alors que ses prescriptions s’adressent à la totalité de ses sujets ensemble, d’attribuer avec exactitude à chacun d’eux individuellement ce qui convient. » (Platon)

La logique floue

La théorie des probabilités est une théorie mathématique qui donne des résultats théoriques “scientifiquement vrais” mais dont l’interprétation obéit à une logique “floue” puisqu’elle analyse des propriétés en fonction de la vraisemblance d’un résultat numérique établie sous certaines hypothèses.

Il y a donc une différence entre la logique des sciences exactes et celle des sciences sociales. La logique est binaire (“booléenne”) dans les sciences premières : une théorie est vraie ou fausse, une valeur numérique exacte ou pas, et floue dans les secondes : une théorie est vraisemblable ou non, une valeur est vraisemblable ou “presque impossible“.

En logique booléenne, l’implication entre deux faits est transitive : si A implique B, si B implique C, alors A implique C. Les implications sont certaines et se retournent : si A implique B, alors non B implique non A. En logique floue, on évalue la vraisemblance de l’implication en lui attribuant subjectivement une valeur comprise entre 0 et 1. Plus elle est proche de 1, plus elle est forte, et plus elle est proche de 0, plus elle est faible. Il n’existe pas de règle fixant une valeur séparant ces deux interprétations.

On ne peut appliquer que très approximativement le raisonnement presque par l’absurde, parce que la vraisemblance du contraire d’une hypothèse n’est pas mesurable.

Les implications sont incertaines et leur transitivité très discutable. C’est un modèle qui n’est pas fondé sur la théorie des probabilités, mais sur l’appréciation de la vraisemblance par le chercheur. C’est la procédure suivie par un juge qui décide de la culpabilité ou de l’innocence d’un accusé. Ce dernier est présumé innocent, de la même façon que deux facteurs sont présumés indépendants. La décision du juge résulte d’un débat et n’apporte aucune certitude sur la culpabilité de l’accusé. Un sociologue qui détecte un coefficient de corrélation significatif est dans une situation analogue à celle du juge. Les résultats statistiques n’apportent qu’une information incertaine sur le sujet analysé, même lorsque les analyses sont effectuées correctement, et ne sont que des éléments du débat. Lorsqu’ils sont fondés sur la théorie des probabilités, ils sont plus crédibles, mais n’évitent pas le doute.

Cette logique floue concerne aussi la transitivité de la corrélation. Croire que si A est fortement corrélé à B et B à C, alors A est corrélé à C est une erreur classique.

Voici un exemple numérique : les coefficients de corrélation entre X, Y et entre Y et Z sont égaux à 0,6. On démontre, par un calcul mathématique, que le coefficient de corrélation entre X et Z est compris entre 1 et -0,280. Ce calcul est indépendant du nombre d’observations, et le coefficient de corrélation entre X et Z peut être significativement négatif, c’est-à-dire que la relation entre X et Z peut être l’inverse de celle que l’on obtient en supposant la transitivité de la corrélation.

Lorsque plus de trois variables sont considérées, X, Y, T, Z par exemple, le calcul est encore plus compliqué, parce que le coefficient de corrélation entre X et Z varie dans un intervalle qui dépend de tous les autres coefficients, y compris du coefficient de corrélation entre Y et T (Foucart, 1991).

Vérité scientifique des sciences sociales

La différence de nature entre sciences exactes et sciences sociales implique une différence dans les concepts de vérité que l’on peut expliquer à partir du critère de scientificité de Popper. Pour ce dernier, une théorie est scientifique si elle est réfutable, c’est-à-dire si l’on peut la contrôler par une expérience réalisée dans les conditions prévues par la théorie. Une vérité scientifique est considérée comme vraie tant qu’aucune expérience ne l’a contredite.

Ce critère dénie cette scientificité à toutes les théories des sciences sociales fondées sur la modélisation et les probabilités qui consiste à simplifier les mécanismes sociaux pour mieux les comprendre : il existera toujours une expérience contredisant les résultats prévus de ces théories. La vérité scientifique dans les sciences sociales n’est pas de même nature que dans les sciences exactes.

La vérité “floue” dans les sciences sociales peut avoir comme conséquence l’existence de plusieurs interprétations d’un même fait économique, social, ou historique, toutes aussi rationnelles les unes que les autres. Il est difficile de comprendre que, partant des mêmes hypothèses et parfois des mêmes données, deux chercheurs en sciences de l’homme et de la société peuvent proposer des explications complètement différentes, éventuellement opposées, sans que l’on puisse les départager. Il y a quelques années, des statisticiens ont “montré” que certaines pièces de Molière étaient en réalité de Corneille comme l’avait affirmé Pierre Louÿs au début du XX^e siècle. Des spécialistes de stylométrie ont choisi récemment d’autres critères de comparaison et affirment maintenant le contraire. Les deux démarches sont rationnelles, argumentées, validées par des experts et la seule conclusion possible, dans cette situation, est qu’on ne sait pas en l’état actuel de nos connaissances. Dans la morale de la fable Les médecins, La Fontaine se garde bien de dire qui avait raison, du médecin Tant-pis qui, soignant un malade, avait prévu sa mort, ou du médecin Tant-mieux qui affirmait qu’il l’aurait guéri. Il faut examiner de façon critique les arguments des uns et des autres avant toute décision, tout choix, et ne jamais espérer de certitude dès que le hasard se mêle des résultats.

« L’homme est donc si heureusement fabriqué qu’il n’a aucun principe juste du vrai et plusieurs excellents du faux » (Pascal, 1670).

Références bibliographiques

• Bergeron, Pierre-Jérôme, 2016. « Comment faire de la pseudoscience avec des données réelles : une critique des arguments statistiques de John Hattie dans Visible Learning par un statisticien. », McGill Journal of Education / Revue des sciences de Mcgill, 51(2), 935–945.
• Cédelle Luc, 2023, « Les neurosciences à l’école : leur véritable apport », et leurs limites, Le Monde du 5 janvier 2023.
• Dehaene Stanislas., 2013, « Enseigner est une science », Lemonde.fr, 20 décembre [en ligne].
• Feldman Jacqueline, 2001, « Pour continuer le débat sur la scientificité des sciences sociales », Revue européenne des sciences sociales, XXXIX-120, p.191-222.
• Foucart Thierry, 1991, « Transitivité du produit scalaire », Revue de statistique appliquée, tome 39, no 3, p. 57-68.
• Foucart Thierry, 2002, « L’argumentation statistique dans la politique sociale, Mathématiques et Sciences Humaines, n° 156, p. 33-42.
• Gentaz Édouard, 2022, Les Neurosciences à l’école : leur véritable apport, Odile Jacob
• Goigoux Roland., 2013, « Apprentissage de la lecture, opposer méthode syllabique et méthode globale est archaïque », Lemonde.fr, 31 décembre [en ligne].
• Hattie John, 2009, Visible learning, Routledge 2 Park Square, Milton Park, Abingdon, Oxon OX14 4RN.
• Inserm, 2004, Psychothérapies–Trois approches évaluées, https://presse.inserm.fr/wp-content/uploads/2017/01/2004_02_26_CP_ExpCol_Psychoterapies.pdf
• Landemore Hélène, 2004, Hume, probabilité et choix raisonnable, PUF, Paris, p. 23-24.
• Laroche Patrice., 2007, « L’exploration statistique du biais de publication », Journal de la Société Française de Statistique, tome 148, n◦4, p. 29-55.
• Pascal Blaise, 1670, Pensées, Misère de l’homme, folio 379, La Pléiade, p. 1113.
• Platon, Le Politique, La Pléiade, t. II, p. 401.
• Schwartz Daniel, 1984, « Statistique et vérité », Journal de la société statistique de Paris, tome 125, no 2, p. 82.