Déjà bien installée dans les pays anglo-saxons, la « politique fondée sur les preuves » (evidence-based policy) s’implante de plus en plus structurellement à travers le monde, et notamment en Europe, à un rythme certes variable selon les États, fonction de la détermination des dirigeants politiques locaux. Cette expansion n’est d’ailleurs pas uniquement géographique : d’abord circonscrite au domaine de la médecine, cette nouvelle façon de concevoir les politiques entend à présent guider de plus larges pans de l’action publique, avec une attention particulière pour l’enseignement. Selon les promoteurs de cette approche, il s’agirait de s’extirper de l’idéologie pour enfin consacrer le règne du pragmatisme, en fondant les réformes sur les résultats de la recherche scientifique, instrument privilégié pour révéler aux gouvernants « ce qui marche » (« what works »). Aurait-on enfin découvert le secret de fabrication des politiques publiques efficaces, ou n’est-ce là qu’un mirage technocratique ? Il parait utile de faire le point sur la question à l’heure où « les données probantes » sont de plus en plus souvent invoquées pour légitimer les politiques éducatives.
Cet article initialement publié dans L’École démocratique, n°91, septembre 2022 (pp. 4-8) est la première partie d’un dossier consacré à l’evidence-based education. Voir le second article (PISA, TIMSS…) ou le troisième article (« Pédagogie ‘evidence-based’) de ce dossier.
L’evidence-based medicine à la recherche de gold standard…
Comme le font remarquer Draelants et Revaz (2022, p. 99), « l’idée de fonder la politique et la pratique sur des connaissances solides est aussi ancienne que les Lumières » et « n’a pas attendu l’essor de l’evidence-based ». C’est néanmoins à partir des années 1990 que se systématise cette volonté de modeler les réformes politiques à partir des « données probantes » issues de la recherche scientifique. Au Royaume-Uni et aux États-Unis, les décideurs entendent alors transcrire en politiques et en pratiques de santé les données issues de l’evidence-based medicine, apparue quant à elle au cours de la décennie précédente (Baron, 2018 ; Draelants & Revaz, 2022).
L’evidence-based medicine (EBM) nait de la volonté de façonner la pratique médicale sur base des résultats des recherches quantitatives en la matière. Son objectif est d’aider les acteurs de la santé à prendre « les meilleures décisions » pour les patients en leur fournissant « la meilleure information scientifique » possible, ceci en comparant l’efficacité de différents dispositifs de soin en concurrence pour soigner telle ou telle affection. Pour mesurer l’efficacité des politiques et pratiques de santé, l’evidence–based medicine s’appuie sur une hiérarchisation des éléments de preuve (Draelants & Revaz, 2022 ; Woolf, 1989). Tout en bas de la pyramide figurent ainsi les opinions et jugements intuitifs, en situation, des professionnels de santé, jugés peu fiables par cette nouvelle approche. On trouve aux échelons supérieurs les études qualitatives (études descriptives, études de cas, etc.), puis les études statistiques « imparfaites » (non-randomisées, etc.). Les essais contrôlés randomisés (ECR)[1], constituant les études statistiques les plus rigoureuses, sont considérés comme les preuves les plus fiables (le « gold standard »). La réplication des études statistiques rigoureuses portant sur une même intervention permet le cas échéant de réaliser des méta-analyses. Celles-ci synthétisent l’état de la recherche sur cet objet précis et permettent de quantifier plus rigoureusement l’intensité des effets d’une intervention : cette grandeur statistique caractérisant la « puissance » d’une intervention est la « taille d’effet » (« effect size »). La comparaison des tailles d’effets d’interventions concurrentes permet d’identifier celles qui semblent être les plus efficaces.
Des partisans hétérogènes…
Dans une perspective de New Public Management chère aux néolibéraux, les décideurs politiques se sont rapidement saisis de l’evidence-based medicine parce qu’ils ont vu en elle un moyen de mener des politiques de santé efficientes, minimisant les dépenses publiques tout en optimisant les résultats. Elle constituait, d’après eux, un instrument de rationalisation de l’action publique permettant de venir à bout de l’inefficience et des « lourdeurs bureaucratiques » attribuées à l’État (Draelants & Revaz, 2022). D’autres acteurs politiques, situés un peu plus à gauche sur l’échiquier politique, ont également adoubé cette nouvelle approche, en espérant qu’elle permettrait de redorer le blason de l’État en le rendant plus performant, et d’ainsi le prémunir des offensives les plus virulentes à son encontre, tout en restaurant la confiance des citoyens-usagers vis-à-vis de la puissance publique et des responsables politiques (Chatterjee, 2022; Draelants & Revaz, 2022; Ozga, 2009). On peut enfin identifier une troisième catégorie de partisans de cette approche, très attachés à la rationalité scientifique, que l’on peut cette fois trouver sur toute la largeur du spectre politique, jusqu’à la gauche de gauche[2] : ceux-ci estiment que les politiques evidence-based, en promouvant les interventions les plus efficaces, vont contribuer à offrir à tous les citoyens — en ce compris aux plus fragiles — des services publics de meilleure qualité[3].
Du champ de la médecine à celui de l’enseignement…
Dans la foulée de leur mise en place dans le secteur médical, les politiques evidence-based vont ensuite se développer, mutatis mutandis, dans le secteur de l’éducation, et ce dès le début des années 2000 dans des pays pionniers comme le Royaume-Uni (Draelants & Revaz, 2022 ; Wiseman, 2010). Il y aura bien quelques variations dans le processus de conception et de mise en œuvre : il est par exemple rarement possible, pour des raisons pratiques ou éthiques[4], de réaliser des études contrôlées randomisées (ECR) dans l’enseignement, et on privilégiera alors les recherches quasi-expérimentales, sans randomisation. Lorsque ces recherches quasi-expérimentales ne sont pas disponibles ou pas réalisables, les décideurs politiques se réfèreront plutôt à de grandes études internationales (PISA, PIRLS, TIMSS…) évaluant les acquis des élèves. Comparant les systèmes éducatifs, ces grandes enquêtes sont censées permettre l’identification de dispositifs éducatifs performants et la constitution de « benchmarks », c’est-à-dire de standards internationaux dont les politiques nationales sont appelées à s’inspirer. A noter le rôle important joué par certains économistes acquis à la « théorie du capital humain » dans la mise en oeuvre politique de cette evidence-based education (EBE) : avant tout soucieux d’un « retour sur investissement » en matière d’enseignement, ces économistes encourageront les responsables politiques à mobiliser l’EBE dans la conception des politiques éducatives, escomptant que cette rationalisation de l’enseignement permette de développer efficacement chez les individus les compétences requises par l’ « économie de la connaissance » tout en minimalisant la dépense publique (Draelants & Revaz, 2022). Dans cette perspective fondée sur une logique de rendement, les données de la recherche scientifique sont donc avant tout considérées comme un levier au service de l’efficience, qui doit guider les réformes éducatives et les pratiques pédagogiques de manière à assurer la compétitivité des individus et des États.
Dès le début des années 2000, l’evidence-based education se concrétise aux États-Unis par la mise en œuvre de grandes réformes. Ainsi le programme No Child Left Behind (NCLB) consiste-t-il en une réforme hybride articulant dispositifs de reddition de comptes (introduction d’objectifs chiffrés à atteindre par les établissements scolaires, avec sanctions à la clé) et incitations à développer des recherches quantitatives puis à mettre en application leurs préconisations dans les écoles. Le programme Success for All (SFA) se caractérise quant à lui par la mise en œuvre, dans les classes, de scripts pédagogiques très précis dont la performance a été démontrée par des « études statistiques rigoureuses » et « répliquées » (Slavin & al., 1996). En France, le Ministre Blanquer institue en 2018 un Conseil scientifique de l’Éducation nationale (CSEN) chargé de « développer une pédagogie fondée sur les preuves » (Rosier, 2018), ces dernières n’étant toutefois pas strictement circonscrites aux recherches quantitatives; un « guide orange » sur l’enseignement de la lecture et de l’écriture au CP est également publié sous la même égide ministérielle, préconisant aux enseignants des méthodes pédagogiques « fondées sur l’état actuel de la recherche ». En Flandre, le récent rapport de la Commission Beter Onderwijs (Brinckman & Versluys, 2021) recommande notamment la mise en œuvre de l’ « instruction directe », une approche pédagogique que les recherches quantitatives internationales ont identifiée comme étant efficace, par opposition aux méthodes axées sur la découverte des savoirs par les élèves. En Fédération Wallonie-Bruxelles, on peut considérer la réforme de 1994 instituant la « promotion automatique » au sein du 1er degré de l’enseignement secondaire comme l’une des premières initiatives d’evidence-based education : la suppression du redoublement s’opérait en effet à l’époque en invoquant les résultats de la recherche[5] (Draelants & Revaz, 2022). Le Pacte pour un Enseignement d’Excellence contient lui aussi des références explicites à la perspective evidence-based, tandis que, de leur côté, des chercheurs de l’Université de Mons et le réseau de l’enseignement catholique proposent des formations à l’enseignement explicite « s’inscrivant dans le cadre de l’éducation fondée sur les preuves »[6]. Une équipe de l’Université de Liège met quant à elle en place le Positive Behavioral Interventions and Supports (PBIS)[7] , un programme issu de l’evidence-based education et déjà implanté dans de nombreux pays (États-Unis, Royaume-Uni, Australie, Nouvelle-Zélande, Espagne, Danemark…) ; comme son nom l’indique, ce programme vise à installer les « comportements positifs » des élèves en veillant à la systématisation des interventions les plus « performantes » en la matière.
Premiers résultats mitigés : quand le ‘what works’ ne fonctionne pas…
Sur le terrain, malgré d’incontestables réussites, l’application de l’evidence-based medicine n’a pas toujours été couronnée de succès; les résultats décevants sont principalement apparus lorsqu’elle a été appliquée de manière très rigide, excluant la prise en compte des singularités des patients (Draelants & Revaz, 2022; Krauss, 2018; Rogers, 2004; Timmermans & Mauck, 2005). Comme l’observent Draelants et Revaz (2022, p. 56), « il est piquant de remarquer que ce type de politique, qui invoque la rhétorique de ‘ce qui marche’, ne fonctionne pas forcément et se heurte souvent à des difficultés de mise en œuvre ». L’état des lieux est nettement moins brillant dans le champ de l’éducation que dans celui de la médecine, sans doute en partie parce que les tierces variables parasitant la mesure quantitative y sont plus nombreuses et plus difficilement quantifiable (comment en effet contrôler ou quantifier des variables telles que l’humour ou le charisme du prof, ou encore la rigueur et le goût de la connaissance qu’il instille parmi ses élèves ?). Ainsi Bressoux (2017, p. 125) écrit-il que « les doutes (…) sur un modèle top-down allant de la recherche au terrain ne sont pas infondés. Marc Gurgand rappelle par exemple un constat édifiant établi par l’économiste Brian Jacob. Relatant la généralisation de 77 interventions menées depuis 2002 et jugées efficaces par l’Institute of Education Sciences (USA) selon des critères scientifiques (randomisation, etc.), Jacob a relevé que, une fois mises en place et évaluées en contexte écologique, seules 7 d’entre elles ont obtenu des effets positifs ». Des hypothèses diverses (Biesta, 2007, 2010 ; Draelants & Revaz, 2022) peuvent expliquer cet écart entre les promesses des politiques evidence-based et leurs résultats effectifs ; elles sont bien résumées par Bressoux (2017, p. 125) : « un défaut d’implémentation (mauvaise compréhension des programmes, réticence à leur mise en place, défaut d’accompagnement, etc.), ou bien le fait que, implémentés correctement, beaucoup de programmes étaient en fait mal adaptés à certaines des conditions rencontrées dans la phase de généralisation ». Draelants et Revaz (2022, p. 31) en concluent que « la preuve de la supériorité des approches de type evidence-based reste à fournir ».
Face à ce constat, il ne s’est évidemment pas agi, en médecine, de disqualifier les recherches scientifiques quantitatives, incontournables pour évaluer rigoureusement l’efficacité des traitements. Mais on a assisté à une refondation plus humble de l’evidence-based medecine, en se rappelant que le raisonnement statistique, outil puissant pour établir des « lois générales » et identifier des mesures « efficaces en probabilité », a par nature ses angles morts, relatifs aux singularités, à la complexité et aux relations causales (Draelants & Revaz, 2022). En effet, si une étude statistique peut établir de manière très fiable qu’une intervention I produit tel effet moyen E sur une population P, elle ne peut parvenir à cette conclusion qu’en agrégeant les individus, les situations particulières et les contextes, donc en réduisant la complexité, en « ignorant volontairement » les spécificités (Draelants & Revaz, 2022 ; Weisberg, 2014). Elle ne peut donc pas expliquer pourquoi cette même intervention I produit des effets contrastés voire contraires (appelons-les E1 et E2) sur les individus P1 et P2. Elle est également aveugle à la nature qualitative des chaines causales qui expliquent pourquoi une intervention I produit cet effet E : des essais contrôlés randomisés ont par exemple établi que les sels de lithium pouvaient soigner certains troubles psychiatriques, sans que l’on puisse expliquer par quels mécanismes biochimiques ils agissent. Or la compréhension de ces mécanismes pourrait peut-être permettre de mieux individualiser, de mieux implémenter, de mieux réguler les traitements, d’en accroitre l’efficacité dans certaines situations spécifiques et/ou pour certains patients.
De la même manière, dans le champ de l’enseignement, Draelants & Revaz (2022) estiment que les préconisations en faveur du non-redoublement ont parfois manqué de nuances, en ne prenant pas en compte les singularités et la complexité des situations. En effet, si les études statistiques permettent de montrer qu’en général, le redoublement est inefficace, il est néanmoins possible que, dans certains cas précis, cette mesure puisse être favorable aux apprentissages ultérieurs d’un élève, même s’il est entendu qu’elle doit demeurer l’instrument de dernier recours. En ce sens, s’il y a bien une « loi générale statistique » qui affirme le caractère peu efficace du redoublement, celle-ci pourrait cacher en les moyennisant une diversité de situations, faite de redoublements favorables ou non aux apprentissages. Cette prise en compte insuffisante de la complexité, associée au fait qu’aucune proposition claire et efficace permettant de se passer du redoublement ne soit mise en œuvre — nous pensons prioritairement à des politiques de mixité scolaire permettant de réduire les inégalités entre élèves — a sans doute largement alimenté la « résistance » des enseignants vis-à-vis de la « promotion automatique ».
Vers une réhabilitation de l’expérience professionnelle et des approches qualitatives ?
En conséquence de cela, l’evidence-based medicine s’est en quelque sorte amendée, comme l’expliquent bien Draelants & Revaz (2022) en évoquant une evidence-based medicine 2.0. Les affirmations tonitruantes quant à légitimité quasi exclusive des recherches expérimentales (ECR, etc.) ont fait place à la réhabilitation du jugement des professionnels de la santé, précieux complément pour saisir les singularités des individus et des situations et s’y adapter. La prise en compte du jugement des professionnels présente en outre l’avantage de favoriser une meilleure réception et, partant, une meilleure implémentation par les professionnels des réformes éclairées par les recherches quantitatives : ceci n’a rien d’étonnant lorsque l’on sait que « plusieurs enquêtes empiriques montrent que c’est souvent lorsque les acteurs de terrain sont considérés comme des récepteurs passifs des réformes que celles-ci échouent » (Draelants & Revaz, 2022, p.95). L’EBM 2.0. a également revalorisé les recherches qualitatives qui apportent des informations complémentaires à celles issues des études statistiques. Elles peuvent par exemple contribuer à mieux saisir la complexité des processus en jeu, à mieux saisir aussi la nature des chaînes causales qui se nouent entre une intervention et ses effets observés, à comprendre les efficacités contrastées des interventions en fonction des situations.
Dans le champ de l’evidence-based education, de telles tendances de réhabilitation raisonnée de l’expérience professionnelle (des enseignants, des directions, etc.) commencent à poindre timidement, même si l’on peut encore lire, sous la plume de certains chercheurs affiliés à l’EBE, un certain mépris pour toute remarque ou tout jugement émanant du terrain, rapidement balayés au titre qu’ « ils ne sont pas fondés scientifiquement ». La revalorisation des méthodes de recherches mixtes, associant études quantitatives et qualitatives, est également observée, et ses effets se font ressentir positivement çà et là. Ainsi la mise en œuvre du programme « Language skills » dans des écoles maternelles françaises — destiné, via un dispositif de lecture, à développer les compétences langagières des élèves de milieux populaires — s’est nourrie de l’articulation entre approche quantitative et qualitative, l’étude qualitative permettant de comprendre pourquoi le dispositif fonctionnait moins bien avec certains élèves qu’avec d’autres, et de réguler le dispositif en conséquence (Draelants & Revaz, 2022 ; Pin & Barone, 2021).
Ces premières inflexions observées dans le déploiement de l’evidence-based education sont encourageantes… S’il ne s’agit nullement de nier l’inconstestable apport des recherches expérimentales et autres études statistiques pour faire apparaitre des lignes de force en matière d’enseignement, il semble qu’une plus grande considération portée aux jugements des professionnels et aux études qualitatives favoriserait une mise en œuvre des résultats de la recherche qui tienne davantage compte de la complexité et de la diversité des situations « de terrain ».
Références
Baron, J. (2018). A Brief History of Evidence-Based Policy. The Annals of the American Academy of Political and Social Science. 678 (1), 40-50.
Biesta, G. J. J. (2007). Why ‘What Works’ Won’t Work: Evidence-Based Practice and the Democratic Deficit of Educational Research. Educational Theory, 57 (1), 1–22.
Biesta, G. J. J. (2010). Why ‘What Works’ Still Won’t Work: From Evidence-Based Education to Value-Based Education. Studies in Philosophy & Education, 29 (5), 491-503.
Bressoux, P. (2017). Practice-Based Research : une aporie et des espoirs : Une revue critique de l’article d’Anthony S. Bryk. Education et didactique, 11 (3), 123-134.
Brinckman, P. & Versluys, K. (Eds.) (2021). Naar de kern: de leerlingen en hun leer-kracht. Rapport van de Commissie Beter Onderwijs, Oktober 2021.
Bryk, A. S. (2015). Accelerating How We Learn to Improve. Educational Researcher, 44 (9), 467-477.
Chatterjee, E. (2022). Numbers Without Experts: The Populist Politics of Quantification. In C. Newfield, A. Alexandrova & S. John (Eds.), Limits of the Numerical : The Abuses and Uses of Quantification (pp. 21-46). Chicago : University of Chicago Press.
Draelants, H. & Revaz, S. (2022). L’évidence des faits : La politique des preuves en éducation. Paris : PUF.
Krauss, A. (2018). Why all randomised controlled trials produce biased results ? Annals of Medicine, 50 (4), 312-322.
Ozga, J. (2009). Governing Education Through Data in England: From Regulation to Self‐Evaluation. Journal of Education Policy, 24 (2), 149-162.
Pin, C. & Barone, C. (2021). L’apport des méthodes mixtes à l’évaluation : Une expérimentation randomisée dans le champ des politiques éducatives. Revue française de science politique, 71 (3), 391-412.
Rogers, W. (2004). Evidence based medicine and justice: a framework for looking at the impact of EBM upon vulnerable or disadvantaged groups. Journal of Medical Ethics, 30 (2), 141-145.
Rosier, L. (2018). Un conseil scientifique pluridisciplinaire pour l’école. En ligne sur le site du journal Le Monde : https://www.lemonde.fr/education/article/2018/01/09/un-conseil-scientifique-pluridisciplinaire-pour-l-ecole_5239234_1473685.html
Timmermans, S. & Mauck, A. (2005). The Promises and Pitfall of Evidence-Based Medicine. Health Affairs, 24 (1), 18-28.
Weisberg, H. I. (2014). Willfull Ignorance : The Mismeasure of Uncertainty. Hoboken, NJ : Wiley.
Wiseman, A. W. (2010). The Uses of Evidence for Educational Policymaking: Global Contexts and International Trends. Review of Research in Education, 34 (1), 1–24.
Woolf, S. H. (Ed.) (1989). Guide to Clinical Preventive Services: Report of the U.S. Preventive Services Task Force. Darby, PA : DIANE Publishing.
Notes
- Les ECR sont un type d’étude scientifique quantitative dans lequel les participants sont aléatoirement répartis parmi les groupes correspondant à chaque traitement (médical, pédagogique…) testé : cette « randomisation » garantit la répartition homogène des sujets avant qu’ils ne subissent l’intervention. L’efficacité de l’intervention est mesurée par comparaison avec un groupe-contrôle qui reçoit un placebo ou un traitement dont l’efficacité est déjà connue. ↑
- Dans le domaine de l’éducation, on peut citer à titre d’exemple le cas de Normand Baillargeon, philosophe de l’éducation proche de l’anarcho-syndicalisme et ardent défenseur d’une culture de la rationalité, qui a à plusieurs reprises défendu le principe d’une éducation fondée sur les preuves. ↑
- On peut par exemple rattacher à ce point de vue rationaliste les dénonciations des « mythes » et pseudo-sciences parfois très populaires dans les champs médical (ex: homéopathie, naturopathie, etc.) et éducatif (ex: théories sur les styles d’apprentissage, effet Mozart, neuromythes divers, etc.). ↑
- En médecine comme en éducation, il n’est par exemple pas acceptable de mener des recherches expérimentales (dont les ECR) lorsque tout porte à croire que les bénéfices attendus de l’intervention sont quasi certains et majeurs : on ne peut alors pas décider de priver les individus du groupe-contrôle de ces bénéfices très probables (cf. concept d’ « équipoise clinique »). En matière d’enseignement, la randomisation est par ailleurs souvent impossible puisqu’elle impliquerait de constituer des classes « artificiellement » pour les seuls besoins de l’expérimentation. ↑
- Parmi les recherches invoquées à l’époque, on retiendra surtout celle de Marcel Crahay, dont les conclusions affirmaient l’inefficacité du redoublement. Elles furent d’autant mieux accueillies par les décideurs politiques qu’elles étaient énoncées dans un contexte d’austérité budgétaire, où la réduction des coûts liés au redoublement était vue d’un œil favorable (Draelants & Revaz, 2022). ↑
- Voir par exemple : http://lenseignement.catholique.be/cecafoc/formation.html?mid=7033 ↑
- Souvent traduit en français par « Soutien au Comportement Positif » (SCP) ↑
