On corrige mal

L'évaluation, c'est un sujet hyper vaste et hyper tendu dans l'enseignement.

Aujourd'hui, je voudrais aborder un petit point sur l'évaluation qui sont les biais de correction. Car pour pouvoir faire une évaluation, il faut à un moment passer par une correction de ce que l'élève a produit, en tout cas dans une vision assez classique de l'évaluation. Et malheureusement, les biais de correction sont énormes. Si tu ne sais pas du tout ça veut dire quoi un biais de correction c'est quelque chose qui peut influencer la note qu'on va donner à une copie.

Le premier biais, c'est en fait l'instabilité du correcteur. Le correcteur, il peut avoir pendant sa correction des moments de fatigue. Il peut être distrait par certaines choses, ou bien simplement le hasard peut faire qu’un même correcteur ne va pas corriger une copie de la même façon à différents moments.

Donc pour mettre ça en évidence, on va donner à un prof la même copie plusieurs fois. Et on va regarder si la note qu'il donne à cette copie est la même. Dans une expérience qui a été faite là-dessus, un même prof a corrigé une même copie avec 12 à 19 mois d'écart, donc très longtemps, et on va demander à ce prof simplement de dire est-ce que c'est une copie en réussite ou une copie en échec. Donc on ne parle même pas de points précisément. Est-ce que cet élève a réussi ou est-ce qu'il a raté? Et on se rend compte que dans 50% des cas, le résultat que donne le prof va être différent, simplement en termes d'échec ou de réussite. Je trouve ça assez hallucinant comme résultat.

Ensuite, on peut aussi étudier la différence entre correcteurs. Donc on prend une même copie, mais on va la donner à des profs différents. Une étude a été réalisée avec 6 correcteurs, donc on donne la même copie, les mêmes copies à 6 correcteurs différents. Et là on a regardé en fonction des différentes matières enseignées par les correcteurs, à quel point est-ce que la copie peut être évaluée de manière différente par différents correcteurs.

C'est en maths qu'il y a le moins de différences, mais il y a quand même 36% d'avis différents simplement sur la réussite ou l'échec d'une copie. Et on peut aller jusqu'à 81% de différences entre correcteurs pour des matières telles que la philosophie.

Un autre facteur qui est lié au correcteur c'est la réputation que voudrait avoir le prof. Donc quand les résultats d'une évaluation vont être publiés ou visibles d'une certaine manière, soit dans des bulletins, soit parce que simplement les parents vont le voir, ou simplement parce que la classe va être au courant des résultats, un professeur pourrait avoir “peur” de sa réputation si toute la classe rate une évaluation, ou au contraire si toute la classe réussit une évaluation. Qu'est-ce qu'on va penser d'un prof où tous les élèves réussissent parfaitement une évaluation? Ou au contraire, qu'est-ce qu'on va penser d'un prof qui met tous ses élèves en échec? Et du coup, le prof il va adapter, parfois de manière consciente mais parfois de manière inconsciente, les résultats à une évaluation.

Un autre facteur qui peut aussi influencer cette adaptation des résultats, c'est le fait que le nombre d'élèves qui va réussir quelque chose, qui va réussir une évaluation, ou qui va réussir à passer dans l'année suivante, ça peut influencer l'ouverture d'une classe pour l'année suivante, ou le nombre de groupes d'options, ou l'ouverture d'une option dans l'année suivante. Et donc, le fait de donner de meilleurs résultats, ça va peut-être permettre à un enseignant d'avoir plus de cours ou d'avoir un horaire complet l'année d'après.

Un dernier facteur lié au correcteur, c'est qu'en général, un professeur va être plus exigeant en début de carrière qu'en fin de carrière.

Donc ça c'est simplement des effets qui sont liés purement au correcteur.

Les deuxièmes types d'effets, ce sont les biais qui sont liés au système scolaire, et pour commencer, les biais liés au groupe classe. Par exemple, un élève qui est “moyen” va paraître meilleur quand il est dans une classe où les élèves sont très très faibles. Par contre, si ce même élève était placé dans une classe où tous les élèves sont très très bons, il paraîtrait moins bon.

En fait, on se rend compte qu'un prof va toujours avoir tendance à ajuster le niveau de ses notes de façon à conserver, année après année, à peu près la même distribution de notes. Cette distribution, tu la connais sûrement, c'est la courbe de Gauss. Dans une courbe de Gauss, on a très très peu d'élèves très mauvais, très très peu d'élèves très bons, et une énorme quantité d'élèves moyens.

Pour mettre ça en évidence, on a donné 100 copies à corriger à 5 profs d'une même discipline. Il y a eu des disparités parmi ces 5 profs, et on a sélectionné uniquement les copies qui ont été notées comme étant bonnes par les 5 profs, ce qui fait qu'on a gardé 15 copies. Ces 15 copies que 5 profs ont noté comme bonnes, on les a redonnées à corriger à d'autres professeurs. Et on s'est rendu compte qu'on retrouve, parmi ces nouveaux correcteurs, de nouveau une distribution de Gauss. Il y a très peu de copies très mauvaises, très peu de copies très bonnes, et une majorité de copies qui sont moyennes. Alors que parmi le tas de 100 copies originales, toutes ces copies-là étaient toutes considérées comme bonnes par les 5 professeurs qui les avaient corrigées. C'est un effet qui est assez intéressant et je me rends compte qu'en fait dans mes classes, j'ai aussi toujours plus ou moins la même distribution d'année en année.

Un autre effet, c'est l'effet dû à l'établissement scolaire. Il est en général moins important que l'effet dû à la classe, mais il y a des écoles qui se disent, ou qui se veulent élitistes, et qui peuvent monter volontairement les exigences pour garder leur “bonne réputation”, alors qu'une autre école pourrait au contraire avoir des exigences moindres, ce qui peut avoir une influence sur la note qu'on reçoit pour une même copie.

Et un dernier biais lié au système, c'est l'ordre de correction. Quand une copie va être au début ou à la fin de la pile, ou si elle suit une très bonne copie ou une très mauvaise copie, la note va être différente.

Les professeurs sont en général plus exigeants quand ils commencent leur correction et ils vont devenir de moins en moins exigeants à la fin de la pile. Mais il y a aussi d'autres biais qui vont rentrer en compte : si une copie moyenne arrive après une série de très bonnes copies, elle va avoir tendance à être vue comme mauvaise. Et à l'inverse, cette copie moyenne, si elle suit 4-5 copies très mauvaises, la copie moyenne va être surévaluée. Et ça, les élèves l'ont très bien compris aussi. Il y a des élèves qui essayent toujours de rendre leur copie ou de passer juste après tel ou tel élève.

Il y a aussi les biais qui sont liés directement à la copie ou à l'élève en question.

Il y a une différence entre les copies de filles ou de garçons. Les filles semblent globalement mieux notées que les garçons, en tout cas dans les études en maths et en français qui ont été faites, à cause d'un comportement qui serait plus scolaire, plus studieux. Les filles, en général, ça fait moins de bordel dans la classe, c'est plus attentif, c'est plus sage, et du coup, les enseignants auraient un biais positif de notation quand ils sont sur des copies féminines.

L'origine sociale des élèves peut aussi influencer la note, mais pas toujours de la même façon. Les élèves qui viennent de milieux favorisés peuvent voir leurs notes augmenter. Mais on constate aussi que parfois ce sont des élèves qui viennent de milieux défavorisés qui voient leur note augmenter. En fait, ça ne dépend pas juste du milieu social de l'élève, ça dépend aussi du milieu social du professeur. Si le prof a le même niveau social que l'élève, il a tendance à surévaluer la note de l'élève. Alors que si leurs milieux sociaux sont différents entre le prof et l'élève, alors la note va être en général sous-évaluée.

Le genre des élèves et leur apparence physique peut influencer aussi. De nouveau, ça peut influencer en bien ou en mal selon les circonstances. Les élèves qui vont être plus proches des idéaux du prof vont être mieux notés, alors que les élèves plus éloignés des idéaux du prof seront moins bien notés. On a observé par exemple dans une étude une connotation liée au nom de famille. Des correcteurs français vont surévaluer les copies qui auraient un nom d'origine étrangère. Certains enseignants vont avoir des comportements qui visent à compenser les biais dont ils ont conscience. Comme les enseignants savent qu'ils ont tendance à sous-évaluer des élèves qui seraient étrangers ou qui viendraient de milieux défavorisés, ils ont cette tendance à surévaluer ceux-là pour essayer de contrer un biais dont ils ont conscience.

Mais on peut aussi observer des résultats inverses dans une autre étude où on a utilisé des noms allemands et turcs et ce sont des correcteurs allemands qui corrigeaient les copies. Les correcteurs allemands ont attribué des notes plus basses aux copies qui avaient des noms turcs. Donc il y a vraiment un effet de base où les profs ont tendance à sous-évaluer les copies des élèves qui viennent d'origine étrangère, mais quand les profs en sont conscients, alors ils peuvent inverser cet effet et ils se retrouvent à surévaluer les copies des élèves étrangers.

Tout ça, on peut aussi l'amalgamer dans ce qu'on appelle l'effet de halo. L'effet de halo, c'est le fait qu'un profil globalement favorable, donc si on a un élève qui présente bien, parle bien, est beau physiquement, vient d'une “bonne famille”, on va généraliser le fait que ses résultats devraient être bons aussi et on va avoir tendance à surévaluer cette copie-là. À l'inverse, l'effet de halo va dans l'autre sens aussi, un profil qui serait plutôt défavorable, donc un élève qu'on trouverait moche ou moins bien habillé, qui viendrait d'une “mauvaise famille”, on aurait tendance à sous-évaluer ces notes.

Ensuite, il y a aussi la présentation de la copie qui va influencer. Une copie qui est bien présentée va avoir tendance à avoir de meilleures notes. Et une copie où le début est très bon, donc si au début c'est excellent et il y a plein de bonnes réponses, on va avoir tendance à corriger la suite plus vite et donc à laisser passer plus d'erreurs. Donc la présentation de la copie est très importante aussi.

Et enfin, on peut aussi parler de ce qu'on appelle l'effet d'inertie ou l'effet de paralysie. Ça c'est le fait que connaître les résultats antérieurs des élèves peut influencer leur notation future. Donc pour un élève dont on sait qu'il est très bon, on va corriger très vite et on va avoir tendance à laisser passer certaines petites erreurs. Alors qu'un élève où on sait qu'il est médiocre ou moyen, on va prendre plus de temps à corriger et donc on va moins laisser passer d'erreurs. Et du coup, des élèves qui sont très bons d'habitude. vont avoir tendance à continuer à avoir de meilleurs résultats, alors que des élèves qui sont moins bons vont avoir tendance à continuer à avoir de moins bons résultats.

Voilà, ça c'est tous les biais de correction par lesquels je suis passée quand j'ai fait mes recherches pour préparer cet article.

Alors c'est bien de parler de tous ces biais de correction, mais l'idéal serait de savoir comment les éviter.

C'est impossible à éviter.

On a tous ces biais de correction, et du coup la première chose à faire, c'est d'avoir conscience que ces biais existent.

Je vais quand même essayer de te donner quelques pistes pour essayer de minimiser ces biais quand tu corriges.

Certains pays ont fait le choix de faire des QCM pour essayer justement de minimiser les biais. Par exemple aux États-Unis, il y a énormément d'examens qui sont sous forme de QCM et qui sont corrigés automatiquement. Du coup, ça dépend plus ni du correcteur, ni de la présentation de la copie, ni du nom de l'élève sur la copie. Mais il y a d'autres problèmes parce qu'on ne peut évidemment pas tout évaluer sous forme de QCM.

Et donc un autre moyen de faire, c'est déjà d'anonymiser les copies, d'essayer de ne pas regarder les noms qui sont sur les copies. Quand j'enseignais à l'université, je sais qu'on ne regardait pas le nom qui était sur les copies. L'élève mettait son nom sur la première face de son examen et puis c'était un code pour chacune des copies. Et donc, quand on corrigeait une question, on avait juste un numéro et on ne savait pas qui était l'élève. C'est plus compliqué à faire en secondaire parce que même si on ne regarde pas le nom, on a vite tendance à reconnaître certaines écritures et donc on sait quelle élève écrit juste en lisant sa copie.

Une deuxième chose qu'on peut faire, c'est d'arrêter de corriger copie par copie, mais de corriger exercice par exercice. Donc quand ce sont des longues évaluations, plutôt que de corriger toute l'évaluation de l'élève A, et puis toute l'évaluation de l'élève B, on va corriger tous les exercices 1 de tous les élèves, et puis tous les exercices 2 de tous les élèves. Ça permet d'être plus juste aussi, de mieux respecter son barème de cotation, et aussi d'aller plus vite, vu qu'on connaît par cœur la résolution.

De faire ça, ça permet aussi de mettre en place autre chose, c'est de changer l'ordre quand on corrige. Donc la première question on va corriger les copies de A à Z par exemple, et puis la deuxième question on peut le faire dans le sens inverse. Et puis si on a une troisième question on peut remélanger les feuilles pour essayer de ne pas toujours avoir les copies qui arrivent dans le même ordre. Comme ça, une copie qui suivait des bonnes copies peut dans l'ordre inverse être devant ces bonnes copies et potentiellement suivre des moins bonnes copies.

Ensuite, on peut aussi faire tout ce qu'on peut pour établir un barème le plus précis possible des critères de réussite d'une copie. Il y a certains enseignants qui corrigent d'abord une ou deux copies et c'est après ces corrections qu'ils vont mettre en place leur barème de cotation pour toute l'évaluation. Et ça, c'est pas idéal.

Ce qu'il faudrait plutôt faire, c'est vraiment avant de corriger quoi que ce soit, voir même avant de donner l'évaluation aux élèves, c'est encore mieux, d'établir son barème de cotations précis. On va établir des critères de réussite, et si dans une copie on trouve tous ces critères de réussite, c'est bon, c'est réussi. Par contre s'il en manque un, cet élève n'aura pas réussi. Donc ça c'est un travail à faire en amont, avant la correction.

Une autre chose très intéressante à faire aussi c'est de diminuer le nombre de notes possibles. Quand on a conscience de tous ces biais de correction, ça n'a plus beaucoup de sens de se torturer sur le demi-point qu'on va rajouter à cet élève ou qu'on va lui enlever. Quand un élève à 13 ou 13,25, ça ne change absolument rien. Parce que si tu corriges la même copie à un autre moment, ou si tu la mets dans un autre ordre dans ta pile, ou si tu la donnes à quelqu'un d'autre, la copie, elle n'aura pas la même valeur. Donc, de diminuer le nombre de choix de points possibles, ça va te faciliter ta correction et ça va permettre aussi d'être plus équitable entre tes élèves.

Donc, tu peux par exemple, si tu travailles en points dans ton école, avec 20 possibilités si tu cotes sur 20 par exemple, te limiter à dire qu’une copie parfaite c'est 20 sur 20, une très bonne copie c'est 16 sur 20, une copie en réussite mais pas exceptionnelle c'est 12 sur 20, une copie ratée c'est 8 sur 20, une copie vraiment catastrophique c'est 4 sur 20. Et si vraiment il n’y a rien, tu peux mettre 0 sur 20 mais je sais pas si ça arrive beaucoup ça. Et du coup tu vas pouvoir corriger aussi beaucoup plus vite, puisque tu ne dois plus penser à chaque demi-point à mettre à tous tes élèves.

Ensuite, autre chose à mettre en place, c'est de ne pas hésiter à revenir sur une copie. Quand tu as fini ta pile de correction et que tu dis tiens “c'est bizarre en fait j'avais l'impression que cette copie là était meilleure que cette copie là ou que ces deux là ils ont fait la même chose mais je vois que j'ai pas mis la même note”, tu reviens et tu compares les deux copies pour voir si tu n'as pas été distrait à un moment donné, tu n'as pas oublié une faute quelque part ou tu n'as pas donné des points en plus à une copie alors que l'autre le méritait aussi. De même, j'invite toujours mes élèves à regarder la correction de leur copie et je leur dis que je suis humaine, donc si j'ai fait des fautes et que tu as l'impression que je n'ai pas bien corrigé, tu viens me le dire et on regardera ensemble si c'est correct ou pas.

Et la dernière chose à mettre en place si tu fais des corrections très longues : fais des pauses. Comme je viens de le dire, on est humain et quand on corrige, on va faire des fautes. Si on reste concentré pendant des heures et des heures sur la même chose, on va forcément fatiguer et donc nos corrections seront moins équitables et moins efficaces. Donc quand tu corriges, tu te mets un chrono et après un certain temps, tu t'arrêtes, tu fais une petite pause et tu reviendras dessus plus tard.

Voilà, ça c'était toutes mes astuces pour essayer de contrer ces biais de correction. Mais je pense que ce que tu dois absolument garder en tête et aussi faire comprendre aux élèves, c'est qu'en fait une copie, ce n'est pas vraiment une mesure de ce que les élèves savent. Une copie, c'est un message qu'un élève va envoyer à un correcteur. Comme un correcteur c'est un humain, ce correcteur a des biais. Et donc il faudrait inverser le paradigme actuel : il faut apprendre aux élèves à faire des copies qui vont respecter les biais cognitifs des correcteurs. Si les élèves sont au courant de ces biais cognitifs, ils peuvent arriver à en minimiser certains. Ils peuvent présenter correctement leur copie, ils peuvent bien mettre en évidence leur réponse et écrire clairement leurs calculs. Et du coup, on peut essayer de retourner les plaintes des élèves qui disent « Oh mais c'est la faute du prof, il a pas vu que j'avais écrit la réponse là ! » en « Non non non, c'est la faute de l'élève en fait. Il n’a pas bien rédigé sa copie, il n’a pas mis en évidence ce que le correcteur voulait voir. Et du coup, tant pis pour lui ! » Ça permet de responsabiliser les élèves, et puis en plus ça va te permettre à toi de corriger plus vite.