Charles Hadji, Université Grenoble Alpes

lecture-pisa — Evaluation des élèves de 15 ans

Sur The Conversation, Marie Duru-Bellat a consacré une analyse très pertinente aux problèmes de « lecture » des résultats des enquêtes PISA. Un lecteur a cru y déceler une « hâte » suspecte à « désamorcer » les résultats annoncés ce mardi 6 décembre 2016.

Cette hâte manifesterait la crainte de la vérité, et le désir de cacher le fait « qu’en France on ne sait plus enseigner ». Marie Duru-Bellat dénonçait un risque de « dérapage » dans une interprétation précipitée. Monsieur Jeanneret dénonce un risque d’affadissement, voire de déni, des résultats eux-mêmes. Ces deux risques sont-ils réels ? Qu’y a-t-il le plus à craindre ?

Des données pleines d’enseignement

Il est clair que la politique de l’autruche est condamnable. Quels qu’ils soient, bons ou mauvais, il n’est pas possible d’ignorer superbement les résultats d’une enquête telle que PISA. Certes, celle-ci souffre de quelques imperfections, que Marie-Duru-Bellat rappelle à juste titre, et qui avaient déjà été pointées, entre autres, par Julien Grenet dans Le Monde en 2013.

On peut retenir l’existence de biais culturels (familiarité avec le type d’exercices et de questions) ; l’importance des marges d’erreur inhérentes à une enquête portant sur des échantillons ; et enfin le fait que tous les jeunes de 15 ans ne sont pas concernés, alors que les situations scolaires des jeunes touchés varient selon les pays.

Cela fragilise le palmarès, mais n’enlève rien à la richesse des données recueillies, ni à l’intérêt de la périodicité régulière du recueil d’informations, qui rend possible le constat d’évolutions.

À cet égard, il faut bien reconnaître que, de 2000 à 2012, la courbe (descendante) des résultats des jeunes Français ne s’est pas inversée, bien au contraire ! Tous les 3 ans, on peut faire le même, et très préoccupant, constat : la France décroche, et s’enfonce, tandis que les inégalités scolaires s’accroissent. Refuser de voir cette réalité constituerait bien un inadmissible déni, pouvant faire suspecter que l’on veut cacher quelque chose. Par exemple, sa part de responsabilité dans les mauvais résultats…

Comparaison n’est pas raison

Que peuvent faire d’utile ceux qui voudraient dépasser le stade des lamentations ?

Deux voies, complémentaires, se présentent : essayer de comprendre comment on en est arrivé là (repérage et analyse des erreurs commises) ; identifier d’éventuels facteurs d’amélioration. La première voie conduit à approfondir l’analyse de la situation française, pour voir ce qui « cloche » ; la seconde, à rechercher ce qui marche ailleurs, dans les pays les mieux classés. Dans les deux cas, il faudrait pouvoir établir des relations de causalité.

Dans le second cas, par exemple, comme Marie Duru-Bellat l’a souligné, il est vain de vouloir emprunter des éléments isolés, qui perdent de leur sens hors de leur contexte. Car il faudrait tenir compte de la globalité et de la complexité des situations.

De plus, les pays obtenant les meilleurs résultats (exemples, la Corée du Sud et la Finlande en 2009), peuvent avoir des « politiques éducatives » très différentes, voire opposées (pression et sélection d’un côté, patient accompagnement de tous de l’autre). Que choisir : régime sévère et rythme d’enfer, ou bien vision positive et responsabilisation de l’élève ? Et quand Shanghaï prend la tête en 2012, faut-il vouloir transformer les écoliers français en bourreaux de travail, et les soumettre à une « ubuesque docilité » de type chinois ?

Comment fonctionne l’enquête PISA ? (OCDE, 2016).

La tentation du patchwork

Ce qui est à craindre est donc bien, ici, la précipitation naïve qui conduirait à faire son marché en piochant dans le magasin universel de ce qui semble avoir réussi, comme si toutes les pratiques étaient interchangeables. Une mise en garde contre le risque d’une recherche superficielle et précipitée de pratiques efficaces était salutaire.

Emprunter la première voie place devant le même problème. Il faudrait pouvoir repérer, sinon, dans l’idéal, des réseaux, du moins quelques lignes indiscutables, de causalité. Une première étape sera la mise en évidence de corrélations entre deux variables. Par exemple, les résultats des élèves, et : leur origine socio-économique ; l’implication des parents ; le type de logement occupé par la famille ; la durée de la journée d’école ; le niveau des dépenses consacrées à l’éducation ; la qualité des enseignants ; la durée et le niveau de leur formation.

Mais, pour que la corrélation prenne du sens, il faudrait la situer dans un contexte politique et social concret. En observant, par exemple, que le salaire des enseignants est en recul, en France, depuis 1995. Ou que leur formation a été supprimée sous le quinquennat Sarkozy !

Mais, pour intéressante qu’elle soit, la recherche de corrélations n’est qu’un premier pas, très insuffisant, vers l’imputation causale. Car d’une part elle ne relie le plus souvent que deux variables seulement. Et, d’autre part, elle n’est nullement gage de causalité.

Une troisième variable, ou (plus vraisemblablement) un réseau de variables, peuvent être à l’œuvre derrière la corrélation mise en évidence. Ce qui est à craindre à ce stade est donc la croyance selon laquelle une variable reliée par corrélation à une autre est ipso facto cause de cette autre. Et de conclure trop vite (autre précipitation coupable) que l’on a trouvé la cause de ce qui cloche.

Relier le transversal et le longitudinal

La recherche des causes exigerait une identification des dynamiques éducatives à l’œuvre dans la durée. Il faudrait pour cela, comme l’écrit Duru-Bellat, pouvoir relier le transversal – les résultats d’une enquête – et le longitudinal – des séquences temporelles entre les variables. Ce qui est d’autant plus grave que cette recherche s’effectue le plus souvent en tenant pour causes possibles des réalités aussi larges que floues, comme l’école, les « politiques éducatives », le « savoir enseigner (« on ne sait plus enseigner…), voire l’action (à coup sûr néfaste) des « pédagogistes ».

Ce que l’on peut redouter le plus est donc bien finalement que l’on tombe dans une lecture partisane des résultats de l’enquête. Ce risque devient majeur quand l’on veut interpréter les données produites en recherchant des causes dans l’axe d’un questionnement sur les responsabilités. C’est alors la porte ouverte à tous les raccourcis, et à toutes les interprétations sauvages, dans des grilles de lecture imprégnées d’idéologie.

Personne n’est à l’abri. Ni, certes, ceux qui voudraient gommer leur part de responsabilité. Ni, plus encore, ceux qui verraient là une occasion de terrasser leurs ennemis intimes. Comme, par exemple, ceux qui entonneront à pleins poumons le petit air que fredonnent déjà les pourfendeurs des « assassins » de l’école (qui, soyons-en sûrs, se sentiront revigorés par les résultats de l’enquête PISA) :