Un quart des questions des épreuves classantes nationales informatisées (ECNi) 2016 étaient « discutables ou non pertinentes », selon une étude publiée fin août par le Dr Étienne Rivière et le Pr André Quinton, du centre de recherche appliquée aux méthodes éducatives de l'Université de Bordeaux.
Leur travail combiné à celui d'enseignants de la faculté girondine a conduit à la première analyse docimologique des ECNi et du classement des 8 124 candidats.
Résultat : il y a encore du pain sur la planche.
Peu de part au raisonnement
Selon les auteurs de l'étude, sur les 387 questions étudiées des dossiers cliniques progressifs (DCP) et des questions isolées (QI), un quart d'entre elles nécessitaient des connaissances de spécialiste. Plus de la moitié des questions étaient du niveau cognitif qualifié de « mémoire simple » et 9 % nécessitaient un raisonnement complexe. Enfin 70 % étaient considérées comme faciles.
Sur les 70 % de questions jugées pertinentes, seules 6 % demandaient un « raisonnement complexe », 47 % une « réflexion simple » ou faisaient appel à la « mémoire seule ». « Ce constat n'est pas satisfaisant pour un examen devant tester des connaissances solides et rustiques devant servir de base à la future pratique médicale des futurs internes et praticiens dans quelque domaine que ce soit », notent les auteurs.
Écart moyen très faible pour le gros du peloton
Ces résultats font écho à une autre étude du groupe de travail bordelais. En juillet 2016, les chercheurs avaient analysé les notes des étudiants et observé que les ECNi demeurent peu discriminantes Les carabins sont notés sur un total de 10 800 points. Chacun des 18 DCP est noté sur 420 points, les 120 QI sur 2 160 points et la lecture critique d'article (LCA) compte pour 1 080 points.
Globalement, l'écart moyen entre deux copies consécutives est de 3,18 points entre le major et le 200e candidat mais il est de 0,72 point entre le 200 et le 500e et surtout de 0,26 point entre le 1 000e et le 7 000e. Autrement dit, les notes de 6 000 étudiants s'échelonnent sur 1 500 points.
Le Dr Étienne Rivière et le Pr André Quinton émettent deux propositions pour améliorer la qualité des épreuves et les rendre plus discriminantes. Selon eux, il serait judicieux de réduire de 15 à 10 le nombre de questions de chaque dossier clinique et d'ajouter 6 nouveaux DCP afin de « maintenir une évaluation des connaissances des étudiants la plus transversale et la plus globale possible ». Ils suggèrent également de transformer les questions isolées en mini-cas clinique de quelques lignes qui « demandent un effort de raisonnement de la part de l'étudiant ».
Des épreuves vidéos à l'étude
Contactée par « le Quotidien », l'Association nationale des étudiants en médecine de France (ANEMF) appelle à se mobiliser « pour une réussite docimologique » des ECNi 2017. Selon les étudiants, il serait intéressant d'intégrer aux épreuves de l'imagerie médicale complète, des vidéos simples et courtes (symptômes) ou plus complexes (consultation avec un patient). Ils souhaiteraient également diversifier les examens avec des questions à réponse unique, des questions à réponse ouverte courte mais aussi des tests à concordance de script. Ces derniers permettent d’évaluer le raisonnement clinique et la capacité à prendre des décisions pertinentes dans des cas complexes, ou en situations d’incertitude.
Les étudiants et les doyens envisagent de tester des supports vidéos lors d'ECNi blanches au mois de mars mais cette évolution ne devrait pas être soumise aux candidats des épreuves en 2017, étant « trop précoce » selon l'ANEMF.
« L’accès au secteur 2 pour tous, meilleur moyen de préserver la convention », juge la nouvelle présidente de Jeunes Médecins
Jeu concours
Internes et jeunes généralistes, gagnez votre place pour le congrès CMGF 2025 et un abonnement au Quotidien !
« Non à une réforme bâclée » : grève des internes le 29 janvier contre la 4e année de médecine générale
Suspension de l’interne de Tours condamné pour agressions sexuelles : décision fin novembre