Concevoir une situation d'évaluation des compétences complexes

Ce cours se concentre sur l’évaluation des compétences complexes. Ce type d’évaluation est généralement désigné comme évaluation sommative ou certificative. 

L’évaluation dite « sommative »  se distingue de l’évaluation dans un contexte de formation dite « évaluation formative » au regard de son objet : 

- l’évaluation formative a une finalité pédagogique en ce sens qu’elle s’inscrit dans la dynamique d’apprentissage et permet de situer la situation de l’apprenant dans ce processus (le moyen) ; 

- l’évaluation certificative, elle, a pour objet d’attester la maîtrise de la mise en oeuvre de compétences (la finalité). 

Il existe plusieurs manières d'évaluer les compétences complexes, qui doivent être aussi proches que possible de la réalité de l'action et du travail. Elles doivent être cohérentes avec le niveau de maîtrise attendu de la mise en œuvre de ces compétences. Ainsi, l'évaluation de la compétence peut se faire par des mises en situation professionnelles (dans une situation de travail réelle ou simulée) ou par des ressources (pour s'assurer que le candidat possède les connaissances, les modes de raisonnement et les aptitudes physiques nécessaires). La conception d'un référentiel d'évaluation, en particulier pour ce qui concerne les modalités d'évaluation, doit nécessairement prendre en compte les compromis entre la cible d'un optimum d'évaluation et l'intégration des contraintes, notamment matérielles. 

 Cependant, dans tous les cas, le projet d’évaluation doit rester convaincant quant à sa capacité à présenter un compromis satisfaisant : par exemple, pour les évaluations impliquant l'utilisation d'outils physiques, une évaluation entièrement en ligne ou théorique serait inadéquate et remettrait en question la validité du dispositif d’évaluation.

 

Il est possible d'évaluer les compétences de manière collective, mais il est recommandé de ne pas se baser uniquement sur cette modalité d'évaluation, ni même sur un groupe de compétences, et d'associer une évaluation individuelle à la situation collective. Il convient toutefois pour les évaluateurs d'être attentifs aux biais liés à cette modalité d'évaluation (caractère artificiel de la situation collective, analyse de l'action et de la réalisation sans tenir compte de la réflexivité du candidat et de sa capacité à corriger ultérieurement une situation).

 

Les référentiels d’évaluation sont des guides précieux pour construire des situations d’évaluation des compétences complexes. 

Ils décrivent ce qui est évalué et par quels moyens en indiquant : 

• les situations dans lesquelles les compétences et éventuellement les connaissances associées peuvent être appréciées : les modalités de l'évaluation ; 

• les critères de réussite ou les niveaux à atteindre permettant de situer la performance du candidat : les attendus observables. 

 

Méthode pour concevoir une situation d'évaluation des compétences complexes

Définir l'objectif de l'évaluation 

 il est important de définir clairement l'objectif de l'évaluation afin de pouvoir choisir les compétences à évaluer et le format de l'évaluation. Prenez en compte les objectifs de formation, les besoins de l'organisation et les attentes des parties prenantes. 

En 1988, Jean-Marie de Ketele*, professeur de psychopédagogie à l’université de Louvain, propose 4 niveaux d’évaluation pour les objectifs d’évaluation.

• Le niveau 1 est le niveau de la pure restitution. C’est la mémoire qui est mise en action. C’est à ce niveau-là que sont évalués tous les savoirs. Par exemple, ce sont les interrogations de cours de l’école ou les QCM.

• Le niveau 2 est le niveau de l’application. C’est à ce niveau-là que sont évalués les procédures, les automatismes. Ce sont par exemple les exercices d’application dans des cours de bureautique.

• Le niveau 3 est le niveau de la résolution de problème. On met en œuvre une nouvelle démarche, ou une démarche connue dans une situation complètement nouvelle. À partir de ce niveau-là, on peut parler d’évaluation par compétences. C’est l’exemple des pédagogies par projet où les apprenants ont un dossier à monter, puis une soutenance orale, ou encore des évaluations sur simulateur.

• Le niveau 4 est le niveau de la réalisation. Contrairement au niveau 3, le contexte est réel. C’est par exemple la formation en alternance ou l’internat de médecine. L’apprenant est placé dans un contexte authentique de pratique, dans toute sa complexité. Dans la plupart des formations, ce niveau n’est pas accessible, car l’apprenant n’est pas en situation réelle.

 *Jean-Marie De Ketele (né le 15 août 1943) est un universitaire et écrivain belge spécialisé dans l'éducation . En plus du milieu universitaire, il a occupé des postes au sein d' agences des Nations Unies.
Wikipedia

Identifier les compétences à évaluer

Une fois l'objectif de l'évaluation défini, vous pouvez identifier les compétences à évaluer. 

L'évaluation consiste à collecter des informations pertinentes, valides et fiables pour déterminer la valeur d'un objet, d'une situation ou d'un comportement en comparant ces informations à un ensemble de critères établis à l'avance.

Ainsi, la définition du référentiel est une étape cruciale dans la conception d’une évaluation sommative.

Cela peut être fait en utilisant des outils tels que les grilles de compétences ou les référentiels de compétences. Assurez-vous que les compétences sélectionnées sont liées de manière cohérente à l'objectif de l'évaluation. Vous pouvez vous référer au cour sur le CDC.

Choisir le format de l'évaluation

Il existe plusieurs formats d'évaluation, tels que les questionnaires, les tests, les observations ou les entretiens. Chaque format a ses propres avantages et inconvénients, il est important de choisir celui qui convient le mieux à votre objectif et à votre contexte.

Les modalités d’évaluation peuvent être diverses et variées mais doivent avant tout s’approcher le plus possible de l’action et de la situation réel de la mise en œuvre de la compétence. Elles doivent être cohérentes avec le niveau attendu de maîtrise de la mise en œuvre des compétences (CF taxonomie d’Anderson et Krathwold). 

 

Focus sur les questionnaires : 

Les questionnaires ont principalement pour objectif d'évaluer les connaissances ou les savoirs et ne permettent pas, en général, l'évaluation directe des compétences professionnelles. C'est notamment le cas des questionnaires à choix multiples. Cependant, il est important de considérer non seulement la forme, mais aussi le contenu du questionnaire. Ainsi, certains questionnaires, qui se présentent sous la forme de cas pratiques, peuvent être utilisés pour évaluer les compétences. Certaines compétences, qui mobilisent principalement des savoirs plutôt que des savoir-faire ou des savoirs-être, peuvent être évaluées par questionnaire. En revanche, les compétences nécessitant la maîtrise de gestes techniques ou de compétences comportementales ne peuvent être correctement évaluées par questionnaire. Habituellement, les questionnaires ne sont pas adaptés pour évaluer les compétences complexes, mais peuvent être utiles comme modalité complémentaire de leur évaluation.

Élaborer les critères de l'évaluation

Il est important de déterminer les critères sur lesquels les évaluateurs vont. Pour chaque compétence identifiée, réfléchissez à des items qui permettront de mesurer cette compétence de manière précise et objective. Assurez-vous que chaque item est clair et facile à comprendre, et qu'il est lié de manière cohérente à l'objectif de l'évaluation. Vous pouvez également utiliser des items pré-établis dans des référentiels.

Exemple pour le référentiel d’évaluation du Titre FPA :

Les critères sont généralement composés de deux éléments : une qualité générale attendue (qui ne peut pas être observée directement) et un ou plusieurs indicateurs (éléments observables et objectifs) qui, comme un instrument de mesure, permettent d'apprécier qualitativement ou quantitativement la satisfaction du critère. Ils doivent être formulés de manière cohérente avec l'objet de l'évaluation (par exemple : conformité, efficacité). Dans le cadre de l'évaluation des compétences, il sera souvent nécessaire de combiner plusieurs critères qui reflètent les composantes de la compétence considérées comme indispensables pour exercer l'activité professionnelle évaluée. Ces critères doivent explicitement préciser dans leur formulation les informations, les gestes et les comportements à présenter par l'individu lors de son évaluation. Ils doivent être cohérents avec le niveau de maîtrise identifié dans le référentiel de compétences. Plus ils sont précis, plus ils permettent à la fois d'harmoniser les pratiques d'évaluation et de garantir la qualité de l’évaluation.

Établir une procédure d'évaluation claire

Définissez comment l'évaluation sera administrée, qui la réalisera et comment les résultats seront utilisés. Assurez-vous que tous les détails de l'évaluation sont clairement définis et que tout le monde comprend la procédure.

Dans ce cadre, l’évaluateur doit s'assurer de l'égalité de traitement entre les candidats et éviter toute discrimination à leur égard, conformément à l'article L.1132-1 du code du travail. Cela inclut notamment l'origine, le sexe, les mœurs, l'orientation sexuelle, l'identité de genre, l'âge, la situation de famille ou la grossesse, l'appartenance ou non à une ethnie, une nation ou une race, les opinions politiques ou l'exercice d'un mandat électif, les convictions religieuses et la perte d'autonomie ou le handicap. L’évaluateur ne doit disposer que des informations nécessaires pour identifier correctement le candidat et évaluer ses compétences professionnelles, en se basant sur le référentiel de compétences. La sécurité des candidats doit également être prise en compte pendant l'évaluation, en particulier lorsque celle-ci implique des gestes professionnels pouvant être dangereux. Le certificateur doit également protéger les données à caractère personnel des membres du jury et des candidats, conformément à la loi sur l'informatique, aux fichiers et aux libertés et au règlement général sur la protection des données. Il doit mettre en place une politique de protection des données à caractère personnel et informer les candidats et les membres du jury de la nature et de la finalité des données collectées, de leurs droits, des destinataires des données, de la durée de conservation des données et de l'adresse du délégué à la protection des données. Le candidat a le droit de contester la décision de non-délivrance de la certification professionnelle en faisant appel au jury ou à l'organisme certificateur, selon des modalités précises. L'organisme certificateur doit également s'assurer de la qualité de l'évaluation et de la transparence de la procédure, en informant les candidats des modalités de l'évaluation et de la décision finale.

Communiquez sur l'évaluation

Assurez-vous que toutes les parties concernées sont informées de l'évaluation et de son objectif. Communiquez sur les modalités de l'évaluation, les compétences qui seront évaluées et les conséquences des résultats obtenus.

 Il est important de communiquer efficacement sur l'évaluation, afin de garantir sa transparence et son intégrité, mais aussi pour informer les personnes concernées et susciter leur engagement.

Voici quelques points à prendre en compte lorsque vous communiquerez sur l'évaluation :

• Communiquer clairement l'objectif de l'évaluation : pourquoi faites-vous cette évaluation ? Qu'espérez-vous en tirer ? Que souhaitez-vous mesurez et à quelle hauteur ?

• Précisez les modalités de l'évaluation : qui va être évalué ? Quels seront les critères d'évaluation ? Comment les résultats seront-ils collectés et analysés ?

• Communiquer les règles de l'évaluation : comment les évaluations seront-elles menées ? Qui sera responsable de l'évaluation ? Quels seront les droits et obligations des personnes concernées ?

• Informer sur les résultats de l'évaluation : comment seront présentés les résultats ? Qui sera destinataire de ces résultats ? Comment seront utilisés les résultats ?

Focus dans le contexte d’une certification professionnelle

Dans le contexte d’une certification professionnelle, l’évaluation a pour objet de s’assurer qu’un candidat soit en capacité à mettre en oeuvre des compétences dans un contexte prédéfini dans les référentiels d’activités et de compétences de la certification. Elle revient à analyser par mesure l’écart entre compétences requises et compétences acquises par le postulant à la certification. La validation de ces compétences au moyen de l’évaluation entraine la possibilité pour le certificateur de délivrer la certification, matérialisée par le parchemin, au postulant à la certification (le candidat). 

L’évaluation dans le contexte d’une certification professionnelle porte une double finalité : 

- permettre de décider selon des modalités adéquates et sur le fondement de constats objectifs si un candidat peut à la fin du processus d’évaluation, se voir délivrer la certification ; 

- attester auprès de tous, notamment auprès de futurs employeurs, de la maîtrise d’un ensemble de compétences pouvant générer des droits associés pour le titulaire de la certification. 

Au-delà de la préservation de l’indépendance et de l’impartialité du jury, le certificateur doit constituer un jury disposant des compétences pour apprécier celles des candidats. Il est ainsi recommandé pour les jurys visant un métier ou une activité professionnelle déterminée que des professionnels composent principalement le jury (qu’ils exercent le métier ou qu’ils supervisent des personnes l’exerçant). Il est aussi rappelé qu’à ce titre, les jurys de VAE doivent prévoir une présence systématique d’au moins 2 professionnels représentant au moins 25% des membres du jury..