Évaluation des productions issues de l'intégration pédagogique d'outils du web social

Évaluation

En éducation, l’évaluation des apprentissages est souvent perçue comme un mal plus ou moins nécessaire. Pendant que certains professionnels de l’éducation affirment que l’évaluation devrait être radicalement différente ou même abolie, les institutions considèrent les résultats scolaires afin de donner accès ou non à des programmes particuliers, que ce soit au secondaire, au collégial ou à l’université.

Dans sa politique d’évaluation des apprentissages, le ministère de l’Éducation (Gouvernement du Québec, 2003) définit l’évaluation comme étant le « processus qui consiste à porter un jugement sur les apprentissages, à partir de données recueillies, analysées et interprétées en vue de décisions pédagogiques et administratives ». Le Ministère soutient que processus a deux principales fonctions :

• Aide à l’apprentissage : évaluation diagnostique pour vérifier l’état des apprentissages au début d’une séquence ou régulation de la démarche pour soutenir la progression de l’étudiant.
• Reconnaissance des compétences : évaluation du développement des compétences aux fins de bilans et de sanction des études.

Dans la même lignée, Scallon (2011) propose de distinguer le processus du produit dans le cadre de l’évaluation : « Le suivi de la progression des élèves en vue d’assurer le plus possible leur réussite éducative a été proposé sans hésitation comme fil directeur, comme principe intégrateur ».

L’American Association for Higher Education (AAHE) propose neuf principes devant guider l’évaluation  :

1. L’évaluation de l’apprentissage débute par des valeurs éducatives
2. L’évaluation est la plus efficace quand elle reflète une compréhension de l’apprentissage comme multidimensionnel, intégré et démontré par une performance dans le temps
3. L’évaluation fonctionne le mieux quand le programme qu’elle veut améliorer a des buts clairs et explicites
4. L’évaluation demande de porter attention à la fois aux résultats et aux expériences menant à ces résultats
5. L’évaluation fonctionne le mieux quand elle est continue plutôt qu’épisodique
6. L’évaluation mène à des améliorations plus larges quand des représentants des diverses composantes de la communauté éducative y participent
7. L’évaluation fait une différence quand elle débute par les enjeux liés à l’utilisation de l’information et éclaire les questions dont les gens se soucient vraiment
8. L’évaluation est plus susceptible de mener à des améliorations quand elle est partie d’un ensemble plus vaste de conditions faisant la promotion du changement
9. Par l’évaluation, les éducateurs s’acquittent de leurs responsabilités envers les étudiants et le public

Swearingen (2002) définit quant à lui les facteurs à considérer pour maximiser l’efficacité de l’évaluation sommative et formative :

• Authenticité et validité. Une évaluation authentique est cohérente avec les objectifs du cours (concept de validité) et reflète des applications du monde réel. De plus, dans la trousse du Carrefour de la réussite au collégial portant sur l’évaluation des apprentissages (2004), on peut lire que l’évaluation est authentique quand :

• elle permet de juger l’habileté de l’élève à réaliser des tâches intellectuellement significatives
• l’élève a la chance de démontrer ce qu’il sait faire, ce qu’il a appris
• l’élève est soumis à un large éventail de situations qui traduisent les meilleures activités d’apprentissage, des situations riches et stimulantes : des projets, des essais, des discussions, etc.
• on permet à l’élève de travailler, d’améliorer et de peaufiner sa réponse (produit ou processus)
• on utilise des critères pour apprécier la qualité de la réponse

• Variété. Pour obtenir un portrait complet de la progression des étudiants, il faudrait utiliser une variété de techniques d’évaluation (portfolios, projets de recherche coopératifs, etc.).
• Volume. Le nombre d’évaluations sommatives devrait être réduit au minimum permettant d’assurer un résultat valide.
• Fiabilité. Un instrument d’évaluation est fiable lorsqu’il mène à des résultats similaires à partir de productions identiques, dans les mêmes circonstances et ce, peu importe l’évaluateur.

La fiabilité d’un instrument d’évaluation devrait exclure l’aspect subjectif d’une évaluation. Comme le soutiennent Berthiaume et Daele (2011, p. 8) :

La subjectivité souvent décriée de l’évaluation peut être atténuée grâce au respect d’une certaine procédure : identification d’objectifs, choix adéquat d’une stratégie, élaboration de critères et de niveaux de performance et conception d’une grille d’évaluation. Sans prétendre à l’objectivité totale, on se prémunit ainsi de certains biais liés à l’évaluation qualitative de performances parfois très complexes.

Enfin, le Carrefour de la réussite au collégial (2004) propose quatre règles favorisant un processus d’évaluation juste :

1. Cohérence évaluation-formation
   L’évaluation des apprentissages, dans ses objets et ses modalités, doit être cohérente avec les orientations (objectifs) et la réalité de l’apprentissage (activité d’enseignement et d’apprentissage).
2. Respect du caractère terminal de l’évaluation sommative
   Le jugement d’évaluation sommative ne doit pas être définitif avant la fin de la période allouée à l’apprentissage; le résultat d’évaluation doit refléter le degré de maitrise obtenu au terme du processus.
3. Utilisation des résultats attendus comme point de comparaison
   Dans le cadre de l’évaluation sommative, les apprentissages d’un élève doivent être évalués par comparaison avec les résultats d’apprentissage attendus (définis à l’avance).
4. Respect du caractère personnel des apprentissages
   Les résultats de l’évaluation des apprentissages d’un élève doivent lui être propres; les indicateurs utilisés doivent permettre de poser un jugement sur les acquis de chaque individu.

Quelques instruments d’évaluation

La liste de vérification

La liste de vérification permet une évaluation formative de la part de l’enseignant ou de l’étudiant qui peut procéder à une autoévaluation. La liste est composée d’une série d’énoncés que l’évaluateur observe ou non dans la production. Ces énoncés sont idéalement de nature factuelle, mais ils peuvent aussi nécessiter un jugement. Par exemple, dans le cas de la diffusion d’un article sur un blogue, on pourrait trouver dans une liste de vérification des énoncés tels que ceux présentés dans l’exemple ci-dessous :

	Oui	Non
L’article respecte la longueur prévue (entre 350 et 450 mots)	☐	☐
L’article contient au moins un hyperlien vers une référence externe	☐	☐

La grille d’évaluation

Lavoie et C.-Larochelle (2010) définissent la grille d’évaluation comme étant un instrument permettant d’apprécier la valeur d’un apprentissage à partir d’une échelle  qui peut être uniforme (mêmes degrés d’évaluation pour tous les critères – chiffres, lettres, figure) ou descriptive (les degrés varient selon les critères – description d’un comportement ou d’une fréquence d’apparition pour chaque échelon). Selon Scallon (2001), cette dernière serait plus appropriée dans le cas d’une évaluation formative puisqu’elle permet à l’étudiant de mieux comprendre la nature de ses erreurs et d’en tenir compte au moment de l’évaluation sommative.

Dans une optique d’approche programme, on considère que les apprentissages faits au moment d’un cours seront réutilisés dans les sessions subséquentes. Ainsi, il serait sans doute tout aussi pertinent et recommandé que l’évaluation sommative, en fin de cours, soit réalisée à l’aide d’une échelle descriptive plutôt que d’une échelle uniforme. L’étudiant pourrait alors remédier aux faiblesses qu’il a connues et tabler sur des bases plus solides pour le reste de sa formation.

Scallon (2010) suggère de limiter le nombre de critères à quatre ou cinq. Chaque critère est associé à une échelle d’appréciation composée de « trois ou quatre échelons explicités clairement, en fonction des différents niveaux de performance qu’une démarche ou un produit peut présenter ». Dans le cas de la rédaction d’un article sur un wiki, on pourrait avoir le critère et les échelons précisés dans l’exemple suivant :

La qualité de la langue
L’article contient 15 fautes ou plus	L’article contient entre 9 et 14 fautes	L’article contient entre 3 et 8 fautes	L’article contient 2 fautes ou moins
0 ☐	3 ☐	7 ☐	10 ☐

La grille d’autoévaluation et la grille d’observation

Cet outil d’évaluation est destiné à l’étudiant en vue de le responsabiliser face à ses apprentissages afin qu’il puisse les réguler lui-même, ce qui en fait d’abord un outil d’évaluation formative. Si l’enseignant souhaite utiliser la grille d’autoévaluation de façon sommative, il devra valider les observations notées par les étudiants en les comparant aux siennes. Il pourra utiliser une grille d’observation dont les indicateurs d’évaluation sont les mêmes que ceux présents dans la grille d’autoévaluation, mais rédigés autrement (voir l’exemple ci-dessous qui présente une grille d’autoévaluation et une grille d’observation correspondante).

Dans le cas de la rédaction collaborative d’un article de wiki, on pourrait souhaiter que les étudiants autoévaluent leur processus de travail d’équipe. Ainsi, on pourrait leur demander, à différentes étapes du projet, de faire une autoévaluation à partir de divers critères en utilisant en utilisant une échelle d’appréciation à quatre niveaux (voir les exemple ci-dessous).

Grille d’autoévaluation de l’étudiant

Grille d’observation de l’enseignant

Au collégial

Comme il a été mentionné dans la problématique, l’évaluation des apprentissages au collégial est d’abord régie par le Règlement sur le régime des études collégiales, puis par la politique institutionnelle d’évaluation des apprentissages adoptée par chaque établissement d’enseignement. Dans certains cas, des comités départementaux y ajoutent aussi des règles de régie interne.

Le contexte collégial est particulier : les enseignants sont en contact avec les étudiants seulement quelques heures par semaine, pendant une quinzaine de semaines, et les modalités d’évaluation doivent être clairement définies dans les plans de cours distribués en début de session. Sauf dans des situations exceptionnelles, ces modalités ne peuvent être modifiées. L’évaluation des apprentissages au collégial exige donc une planification rigoureuse.

La Commission d’évaluation de l’enseignement collégial (2006) a le mandat « d'évaluer, pour tous les établissements auxquels s'applique le régime des études collégiales, la qualité de la mise en œuvre de leurs programmes d'études, leurs politiques institutionnelles d'évaluation des apprentissages et leur application ainsi que leurs politiques institutionnelles d'évaluation des programmes et leur application ».

En 2008, la Commission a publié un rapport synthèse faisant état de l’évaluation des programmes pour l’ensemble des collèges publics et des établissements privés subventionnés. Les observations ont entre autres porté sur la mise en œuvre des programmes par les collèges selon plusieurs critères, notamment l’évaluation des apprentissages. La Commission (2008, p. 28) a considéré les sujets suivants :

• l’évaluation de chacune des compétences des programmes
• l’attestation de la maitrise de ces compétences telles qu’elles sont déterminées par le devis ministériel (ou la description du programme, pour les attestations d’études collégiales)
• l’équivalence des évaluations lorsqu’un même cours est donné par plus d’un enseignant
• la conformité des modes et instruments d’évaluation à la politique institutionnelle d’évaluation des apprentissages

Comme il a été mentionné dans la problématique, l’évaluation des apprentissages est le sujet sur lequel la Commission a produit le plus grand nombre de recommandations, de suggestions ou d’invitations. L’évaluation de productions réalisées à l’aide des outils du web social devra tenir compte de ces recommandations, notamment en ce qui a trait à « l’atteinte d’un objectif ou la maitrise d’une compétence par chacun des élèves, et ce, de façon individuelle » (Commission de l’évaluation de l’enseignement collégial, 2008).

La nature des outils du web social étant entre autres caractérisée par le fait qu’ils facilitent, favorisent et supportent la collaboration et la participation, il peut être difficile de reconnaitre le rôle de chacun des intervenants dans l’élaboration d’un produit collectif. En effet, « certains outils évacuent l’aspect individuel de la production au bénéfice d’une négociation des décisions, des actions et de l’élaboration collective du produit final » (Deschênes et Parent, 2010a, p. 11).

De plus, des enseignants de différents ordres d’enseignement ayant expérimenté des activités d’apprentissages impliquant les outils du web social ont mentionné qu’ils avaient évalué la participation afin d’augmenter la motivation des étudiants à contribuer, ce dont fait état le rapport de la Commission (2008, p. 30) :

Tout mode d’attribution de points qui permet à l’élève d’en cumuler un certain nombre sans qu’il y ait eu évaluation des objectifs du cours est incompatible avec l’évaluation des apprentissages dans une approche par compétences (ex. : points bonis, valeur doublée de l’examen le mieux réussi, évaluation formative transformée en évaluation sommative ; ce peut aussi être le cas des points attribués pour la présence en classe ou pour la participation aux activités d’apprentissage si l’une ou l’autre n’est pas liée à un objectif).

En ce sens,  d’autres enseignants soutiennent qu’il n’est pas nécessaire d’accorder des points pour la participation. À ce propos, Audet (2010) cite Martin Bélanger, un enseignant au secondaire :

Contrairement aux idées reçues selon lesquelles les élèves ne feront que les travaux qui seront formellement évalués, l’absence de contraintes rigides relatives au blogue (contenu à y déposer, nombre de billets, nature de ceux-ci) incite les élèves à bloguer encore plus.

Enfin, la Commission s’est prononcée sur l’équivalence des évaluations, ce qui réfère au concept de fiabilité, et plus particulièrement dans ce contexte à la « comparabilité de l'évaluation des apprentissages lorsqu’un même cours est donné par plusieurs enseignants ». Un des moyens relevés par la Commission pour favoriser l’équivalence des évaluations est « l’utilisation, par les enseignants donnant un même cours, d’instruments d’évaluation communs, de grilles d’évaluation ou de critères de correction communs ».