- Publication
- Mise à jour
Lorsqu’un critère de jugement repose sur un jugement humain, les différents évaluateurs doivent en appliquer les règles de façon cohérente. Une simple attestation de présence à une formation ne montre pas qu’ils interprètent et réalisent la mesure de la même manière.
Définir la question et les hypothèses
Identifiez les points de jugement laissant place à l’interprétation. Utilisez des exemples de référence pour étudier les désaccords, au lieu de rapporter uniquement un pourcentage global de concordance. Discutez de l’adéquation de la statistique de concordance à la structure des catégories et à la distribution des événements. Le calibrage doit enseigner l’application des règles de mesure, sans favoriser une interprétation allant dans le sens d’un résultat de traitement particulier.
Exemple d’étude hypothétique
Dans un essai hypothétique, deux évaluateurs attribuent des catégories de gravité différentes à des dossiers identiques. Les désaccords se concentrent autour d’une limite entre catégories. L’équipe clarifie les consignes et teste de nouveaux exemples ; mémoriser les réponses de l’exercice initial n’est pas considéré comme une preuve d’amélioration de la concordance en pratique réelle.
Points de contrôle de la conception
- Incluez des exemples limites et des catégories fréquemment confondues dans les exercices de calibrage.
- Conservez les cotations initiales pour que les points et les causes de désaccord restent visibles.
- Prévoyez des contrôles adaptés de la dérive des pratiques d’évaluation pendant l’étude.
Consigner la décision et ses limites
L’acceptation repose sur des preuves d’application compétente à la tâche précise, et non sur un seuil universel de concordance supposé. Documentez la nouvelle formation et la réévaluation. Une meilleure concordance n’établit pas automatiquement la validité clinique : exactitude, cohérence et signification scientifique sont des questions différentes, qui doivent rester distinctes dans la présentation des résultats.
Questions fréquentes
- Une forte concordance établit-elle l’exactitude ?
- Non. Des évaluateurs peuvent appliquer systématiquement la même interprétation incorrecte.
- Un exercice de formation suffit-il pour toute l’étude ?
- Pas toujours. Des changements de méthode et des signaux de dérive peuvent justifier une réévaluation.