IA Générative en classe : Enjeux pédagogiques et défis de l'évaluation.
Évaluer la qualité des productions de ChatGPT : une démarche critique avec les élèves
Un premier point consista, avec les élèves, à examiner la qualité des travaux produit par ChatGPT lorsqu'on lui demande de réaliser une dissertation en philosophie ou bien une explication de texte. En effet, les élèves ont vite intégré comme un automatisme d'interroger les IA génératives avant même de chercher à faire l'exercice par eux-mêmes, pensant que ce qui est rendu par ces dispositifs est d'une qualité suffisante à ce qui est demandé. Il a été demandé aux élèves de demander explicitement à ChatGPT de réaliser le devoir à leur place, puis de se mettre dans le rôle de l'enseignant qui corrige la copie rendue, afin de trouver ce qui ne va pas, par rapport aux attendus méthodologiques de forme et de connaissances sur le contenu. Les élèves ont pu s'apercevoir par eux-mêmes que ce qui était produit était, pour l'heure, insuffisant. Dans le cas de la dissertation, le propos est souvent trop relativiste, incapable de dépasser une confrontation de points de vue ; dans celui de l'explication, les textes sont paraphrasés, survolés, les détails sont omis au profit d'un propos général. Dans les deux cas, des carences méthodologiques importantes sont présentes. Il a été ensuite demandé aux élèves d'interroger ChatGPT pour lui demander de revoir sa copie en corrigeant les défauts vus par les élèves, afin de parvenir à un résultat le plus en accord avec les exigences, puis de comparer les résultats respectifs de chaque élève. Le constat fut que la technologie est pour l'instant incapable de satisfaire totalement aux exigences, et que, par ailleurs, son utilisation efficace réclame tout de même un travail réfléchi de la part de l'élève, ce qui contribue à dépasser l'idée qu'il suffirait de s'en remettre à ces outils pour parvenir à faire ce qui est demandé.
Lutter contre la fraude à l'ère de l’IA : enjeux, limites et pistes pédagogiques
Un autre point concerne la question de la fraude lorsque les élèves ont recours à ces outils. Que cela soit dans les devoirs maison (pratique de moins en moins répandue du fait des possibilités de triche) ou même sur table, le recours aux IA génératives tend à se répandre, selon des modalités diverses, allant de l'usage grossier consistant à recopier mot à mot ce qu'elle propose, qu'à des utilisations plus subtiles où l'IA propose des problèmes, idées, arguments, références, exemples, citations qui sont ensuite utilisés comme matériau par les élèves pour composer leur devoir. L'idée fut de réfléchir à un protocole sur ces questions de fraude, pour lesquelles, d'un point de vue juridique, aucune preuve indubitable de triche ne peut être donnée pour incriminer les élèves, qui invoquent souvent la présomption d'innocence et le bénéfice du doute : en effet, n'existe sur ces suspicions de fraude que des indices concordants conduisant à une intime conviction de la part des correcteurs, qui peut être facilement remise en cause en cas de conflit. Ce protocole, encore en cours d'ébauche, s'intéresse à ce qui peut être fait avant en termes préventifs (dont participe ce qui est évoqué comme premier point plus haut, mais pas seulement : disposition des élèves dans la classe, matériel autorisé, etc.) qu'après lorsque la fraude est suspectée. Comment déterminer la triche ? Sur quels indices se baser pour renforcer le contrôle sur certaines copies et élèves ? Comment étayer l'accusation de fraude ? Quelle sanction appliquer ? Une voie esquissée serait celle de soutenance orale de copie. En effet, un indice relativement probant de fraude est tout simplement l'incapacité pour l'élève, la plupart du temps, de maîtriser ce qu'il indique dans sa copie, quelle que soit la matière. Les enseignants pourraient se réserver le droit, d'une manière plus ou moins aléatoire, d'interroger certains élèves (dont certains pourraient être ciblés plus particulièrement, comme c'est le cas par exemple dans la lutte antidopage) oralement afin de refaire ce qu'ils sont parvenus à faire dans leur copie, pouvant s'appuyer, pourquoi pas, sur l'usage du tableau. Une note serait attribuée à l'élève, allant de 0 à 20, qui sanctionnerait ainsi la moyenne en cas de défaut de maîtrise des connaissances, ou qui au contraire la conforterait si l'élève s'en sort convenablement (ceci pouvant indiquer que l'accusation de fraude n'était pas entièrement fondée). D'autres pistes sont bien entendu à l'étude.
