PISA ? C’est toujours la catastrophe !

Marie-Dominique Simonet (CDH) et Rudy Demotte (PS) «se félicitent» et «ne cachent pas leur satisfaction» après la publication des résultats de l’enquête PISA 2009. Tout au plus disent-ils vouloir s’abstenir de tout «triomphalisme» et «rester modestes». Voilà bien le discours convenu de la vedette qui sait pavoiser comme il faut : sans en avoir l’air. Mais y a-t-il vraiment de quoi ? Y aurait-il ne fut-ce qu’une seule raison d’être satisfait des résultats de l’enquête internationale sur les performances des élèves ?

L’enquête PISA est un thermomètre. Avant d’en tirer des leçons, il faut s’interroger : qui l’a fabriqué et pour quoi faire ? Que mesure exactement ce thermomètre ? L’initiative des enquêtes PISA provient de l’Organisation pour la Coopération et le Développement économique (OCDE), un organisme international qui regroupe les pays les plus riches de la planète et qui formule des analyses et des recommandations sur la manière de faire fonctionner au mieux le capitalisme mondial. Comment privatiser les services publics ? Comment renflouer les banques sans faire mal à leurs actionnaires ? Comment orienter la recherche universitaire pour soutenir le bénéfice des entreprises ? Comment réduire la pression fiscale sur le capital et les riches ? Comment libéraliser les marchés mondiaux ? Comment diminuer les salaires sans provoquer de révolte sociale ? Voilà le genre de questions que se posent les experts de l’OCDE et auxquelles ils trouvent généralement des réponses bien inquiétantes pour les simples mortels que nous sommes.

L’OCDE et l’école

Depuis une vingtaine d’années, l’OCDE a aussi commencé à s’intéresser de près à l’enseignement. Avec l’exacerbation de la concurrence, l’accélération et l’aggravation des crises du capitalisme mondial, il s’agissait de faire en sorte que les dépenses de l’Etat pour l’éducation répondent le mieux possible aux «besoins» de l’économie, entendez : qu’elles servent le mieux possible la compétitivité et le profit. Il faut freiner la croissance des dépenses d’enseignement et réorienter les systèmes éducatifs sur les besoins nouveaux du marché du travail : voilà la recommandation que formule depuis vingt ans l’OCDE. Or, que réclame-t-il ce marché du travail ? Non pas une croissance générale des niveaux de formation, mais leur polarisation : d’un côté, beaucoup d’emplois hautement qualifiés, de l’autre, une masse de «petits boulots» dans les secteurs de services. Dans un rapport publié en 2001, l’OCDE écrit : «tous (les élèves) n’embrasseront pas une carrière dans le dynamique secteur de la “nouvelle économie” – en fait, la plupart ne le feront pas – de sorte que les programmes scolaires ne peuvent être conçus comme si tous devaient aller loin» [[OECD, What future for our schools, Paris, 2001]]. Il ne faut donc surtout pas aller trop loin dans la démocratisation de l’enseignement. Pas besoin d’avoir étudié beaucoup d’histoire, de géographie, des maths et des sciences de haut niveau pour travailler dans un McDo ou pour conduire une camionnette de Coca-Cola. En revanche, insiste l’OCDE, même dans ces emplois faiblement qualifiés il faudra que les travailleurs soient capables de s’adapter à un environnement en changement rapide et il faudra qu’ils puissent facilement passer d’un poste de travail à un autre, d’une fonction à une autre. Cette «adaptabilité», cette «employabilité» sans qualification, devraient être acquises avant l’âge de 15 ans, par l’exercice de «compétences de base» en lecture, langues, mathématiques, sciences, informatique, etc. Ensuite, à partir de 15 ans, on fera le tri de ceux qui «iront loin» (et qui pourront alors dépasser les compétences de base), ceux qui apprendront un métier (dans une formation professionnelle étroite) et ceux qui iront très vite travailler dans les emplois précaires.

Il y a dix ans, l’OCDE a donc lancé l’initiative PISA, dans le double but d’encadrer et d’encourager la réforme de l’enseignement dans ce sens. PISA c’est une batterie de tests standardisés qui mesurent à quel point les élèves de 15 ans ont atteint ces compétences de base et rien d’autre. Comme l’explique clairement le rapport que vient de publier l’unité de l’Université de Liège, qui coordonne l’étude PISA en Communauté française : «La question est moins de savoir ce que les élèves de telle année peuvent faire, mais bien comment les élèves de 15 ans sont préparés à entrer dans la vie adulte. C’est pour cette raison que PISA évalue la culture mathématique ou scientifique, et pas les mathématiques ou les sciences. Ce qui pourrait sembler être un détail terminologique traduit la volonté de l’OCDE de voir si la culture des jeunes en mathématiques et sciences est suffisante par rapport aux demandes des sociétés industrialisées»[[Baye, A. et all., La lecture à 15 ans, Premiers résultats de PISA 2009, in «Les cahiers des sciences de l’Education» n°31, 2010, ASPE-ULg, p 1.]]. En langue maternelle, par exemple, on n’évalue ni les techniques de base, ni l’orthographe, ni la vitesse de lecture, ni la maîtrise d’un vaste vocabulaire, ni bien sûr le plaisir que l’on prend à lire, ni la qualité de ce qu’on lit, ni l’imagination dont on fait preuve dans la rédaction d’un texte… mais principalement la capacité de comprendre un texte dans un contexte directement opérationnel. Car c’est cela qui est demandé par les marchés du travail, particulièrement dans les emplois à faible niveau de qualification.

Si je prends toutes ces précautions, ce n’est pas pour dire que les données PISA ne valent rien ou que le travail des scientifiques qui ont préparé l’enquête aurait été mal effectué. Au contraire : jamais une étude de ce type n’aura été conduite avec de tels moyens et un tel souci de rigueur scientifique. Mais il faut comprendre que le thermomètre PISA ne peut pas nous apprendre autre chose que ce pour quoi il a été conçu : mesurer des compétences basiques en lecture, en mathématique et en sciences. PISA ne nous révélera pas si les élèves connaissent l’histoire de la colonisation belge au Congo, s’ils savent écrire sans faute, s’ils savent concevoir et développer le plan d’un texte à rédiger, s’ils parviennent à mémoriser des textes ou des formules, s’ils ont entendu parler de Victor Hugo, de la traite des nègres, de la Saint-Barthélémy ou de l’athéisme, s’ils savent danser, chanter, dessiner, cuisiner, raconter des histoires, engager une discussion sérieuse ou banale, s’ils ont un vocabulaire riche ou pauvre, s’ils peuvent utiliser une formule mathématique en physique ou en économie, s’ils distinguent communisme et fascisme, s’ils savent que les éoliennes produisent une fraction infime de notre électricité,… Tout ce savoir-là, toute cette ignorance-là, ne sont pas mesurés par PISA. Aussi, quand un quotidien titre que «notre école progresse» parce que l’un des trois indicateurs PISA (lecture) est en hausse, on reste perplexe. Et si l’on avait mesuré autre chose que ces compétences de base-là, aurait-on aussi progressé ? Et notre classement aurait-il été le même ?

Des classements qui ne disent pas grand chose

Nous en arrivons ainsi aux résultats de l’enquête 2009, qui viennent d’être publiés, et à ce qu’ils nous apprennent réellement pour l’enseignement en Communauté française.

Il y a quelques années, quand furent publiés les tout premiers résultats PISA et qu’ils montrèrent le très mauvais positionnement moyen des élèves de la Communauté française, nous avons écrit qu’il fallait être très prudent avec ce type de classements. Qu’ils ne dévoilaient qu’une toute petite partie de la réalité de l’école. Que les comparaisons internationales en la matière étaient difficiles car elles privilégiaient forcément les pays dont les programmes et les méthodes d’enseignement étaient davantage axés sur les compétences de base en lecture, math et sciences (fut-ce au détriment des connaissances et des compétences dans d’autres domaines) comme c’est le cas en Finlande par exemple. N’en déplaise à ceux qui aujourd’hui poussent des cris de joie, nous n’allons pas changer notre discours parce qu’un indicateur moyen de lecture a eu la bonne idée de monter de 476 à 490 points.

Que représentent ces 14 points ? Certes, il s’agit d’un progrès, mais son ampleur doit être relativisée, pour trois raisons.

Premièrement, on se souviendra que dans ce genre d’étude on n’est jamais à l’abri des aléas de l’échantillonnage, des conditions de test, etc. Ce n’est que lorsqu’une évolution se confirme sur plusieurs enquêtes successives que l’on peut réellement la considérer comme acquise. Rien de tel ici. Dans les quatre enquêtes PISA successives (2000, 2003, 2006, 2009), les points en lecture de la Communauté française ont été les suivants : 476, 477, 473, 490. Il ne s’agit donc pas d’une croissance régulière, qui pourrait témoigner d’une évolution lente mais solide de la qualité de notre enseignement, mais d’une hausse subite et légère, dans un domaine seulement et qui demande donc encore à être confirmée.

Deuxièmement, on doit se demander dans quelle mesure ce progrès, s’il se confirme, témoigne uniquement d’un progrès dans les compétences des élèves. Je m’explique : le type de questions posé dans les tests PISA (questions ouvertes ou fermées faisant suite à la lecture d’un petit texte) peut être un peu désarçonnant au début, pour des élèves qui n’ont pas l’habitude de ce type d’évaluation. C’était le cas de nos élèves en 2000. Depuis lors, on a introduit toute une panoplie d’outils d’évaluation que les enseignants sont chargés d’utiliser et qui sont très largement inspirés des tests PISA. Dans son essence, la réforme des compétences consiste même à soumettre en permanence les étudiants à des épreuves d’évaluation de ce type. On peut donc s’interroger : nos élèves lisent-ils réellement mieux ou sont-ils simplement mieux préparés par rapport à la nature particulière de ces tests ? Bien sûr, les deux réalités se recouvrent largement. Mais pas entièrement. Indépendamment de ses compétences objectives en lecture, un élève qui a l’habitude des tests de type PISA s’en sortira forcément mieux que celui qui les affronte pour la première fois.

Troisièmement, il faut rappeler que les performances des élèves aux tests PISA sont mesurées sur une échelle de 0 à 1000, dont la valeur moyenne est d’environ 500 et dont l’écart type est de 100 points. Cela signifie que deux tiers des élèves se situent quelque part entre 400 et 600 points et qu’un tiers se situe au-dessus de 600 ou en dessous de 400 points. C’est par rapport à cette échelle qu’il faut mesurer l’exploit des 14 points de croissance. Les enseignants, parents et élèves nous comprendront mieux si l’on traduit cela dans le style d’une évaluation scolaire traditionnelle : l’élève Communauté française vient de passer de 9,5 sur 20 à 9,8 sur 20. Pas vraiment de quoi le noyer sous les louanges et les félicitations ! D’autant moins qu’ailleurs il continue de chuter, passant de 10/20 à 9,8/20 en mathématiques (de 498 à 488) et de 9,7/20 à 9,6/20 en sciences (de 486 à 482).

Arrêtons là ces comparaisons scabreuses. Elles avaient pour seul objectif de montrer ceci : prétendre tirer des enseignements généraux sur notre système éducatif à partir d’un glissement d’une dizaine de points sur une échelle PISA est aussi ridicule que de prétendre évaluer un élève au dixième de point près sur une unique échelle d’évaluation de 0 à 20.

Une machine à reproduire les inégalités

A vrai dire, les points moyen et leur classement international sont vraiment la leçon la moins intéressante que l’on puisse tirer des enquêtes PISA. Beaucoup plus instructifs et révélateurs, sont les écarts entre élèves d’un même pays. En fait, si l’on considère les résultats de PISA 2009 pour l’ensemble des élèves des pays de l’OCDE, on voit que seulement 11 % des différences se situent entre pays, contre près de 90 % à l’intérieur de ceux-ci.

D’autre part, les écarts de performance entre élèves d’un même pays constituent sans doute une donnée beaucoup plus significative : si les moyennes nationales peuvent être influencées par les spécificités des programmes d’enseignement, ou par l’entrainement des élèves face à ce genre de tests, en revanche on devrait pouvoir supposer que les élèves d’un même pays sont égaux face aux tests PISA. Et que les écarts entre eux mesurent donc réellement des différences dans les niveaux de maîtrise des compétences.

Enfin, si l’on examine le système éducatif, non pas avec le souci d’efficacité économique de l’OCDE, mais avec le souci d’équité de celui qui voit en l’école un outil d’émancipation, c’est bien l’indicateur d’inégalité des performances qui est le plus important.

Or, dans ce domaine, c’est toujours la même catastrophe, que nous dénoncions déjà après la publication de l’enquête 2000. Les écarts sont immenses. Alors que 10% de nos élèves sont de très bons lecteurs (niveaux PISA 5 et 6), ce qui nous situe dans une honorable moyenne, on constate également que 23% sont de très faibles lecteurs (sous le niveau 2). C’est presque le plus mauvais score de toute l’OCDE, à l’exception du Mexique. Y a-t-il vraiment de quoi pavoiser lorsqu’un élève sur quatre ne parvient même pas à comprendre de façon rudimentaire un texte très simple ? Pour ne rien dire des compétences et connaissances de plus haut niveau, que PISA ne mesure pas…

Et le pire reste à venir. En 2010, comme en 2001, PISA nous apprend que nous avons le triste record mondial du système éducatif où l’influence de l’origine sociale sur les performances des élèves est la plus forte. Le graphique ci-dessous indique l’écart entre le niveau moyen des 25% d’élèves les plus riches et les 25% les plus pauvres. Non seulement nous obtenons le plus mauvais classement, mais en plus, avec 136 points d’écart, nous devançons largement les autres pays figurant en queue de classement. Dans ce domaine, la Flandre fait un peu mieux que la Communauté française, même si là aussi on enregistre des écarts de 100 points, pour une moyenne OCDE de 89 points.



Et les résultats de PISA 2009 permettent d’aller encore plus loin. L’inégalité ne se creuse pas seulement entre élèves, mais surtout entre écoles. Il y a en Communauté française un établissement sur trois où les scores moyens sont supérieurs à ceux de la Corée et de la Finlande (le TOP-2 du classement des scores moyens). Chouette ? Pas du tout, car il y a aussi plein d’écoles où les résultats sont désastreux : entre les 25% d’écoles les plus «fortes» et les 25% d’écoles les plus «faibles», nous affichons un écart de niveaux de performance en lecture qui s’élève à 151 points, l’un des plus élevés au monde !


Le rapport officiel publié par l’Université de Liège, tout en reconnaissant que «tout n’est pas gagné», conclut néanmoins que «les résultats de la Communauté française en lecture sont encourageants» (p.17). Les auteurs y voient le signe d’une «mobilisation générale des acteurs de terrain» (dont nous, qui sommes sur le terrain, n’avons pourtant rien remarqué) et le succès «des dispositifs décrétaux (décret Missions, décret D+, décret Ecole de la réussite, décret 1er degré) et des référentiels (Socles de compétences et nouveaux programmes) qui ont été développés de manière concomitante ou dans la foulée des résultats de PISA 2000». Certes, les chercheurs liégeois pointent aussi très justement les grandes inégalités relevées ci-dessus. Mais c’est bien une vision excessivement optimiste, suscitée par les seuls «progrès» en lecture, qui s’est trouvée relayée dans la plupart des grands titres de la presse au lendemain de la présentation de l’étude.

La ministre Simonet souhaite manifestement profiter de la croissance marginale des scores PISA en lecture pour glorifier une politique éducative pourtant marquée par des programmes illisibles et incohérents, une absence dramatique de moyens dans les premières années d’école, le refus de s’attaquer sérieusement aux vrais tabous (marché scolaire, réseaux, filières) et un appauvrissement constant du corps enseignant et des écoles par rapport au reste de la société. Sans doute s’agit-il, au moment où les négociations sociales dans l’enseignement redonnent un peu de voix aux enseignants et à leurs organisations syndicales, de donner le change par une tentative de vigoureux cocorico !

Mais nous ne serons pas dupes. Pour nous, à peu près rien n’a changé depuis 2000. L’école francophone belge continue d’être, avant tout, le plus efficace système de reproduction des inégalités sociales qui soit au monde. Ceux qui y trouvent des raisons de se réjouir n’ont sans doute pas les mêmes conceptions que nous de ce que signifient les mots «éduquer», «instruire» et «émanciper».