- Publicación
- Actualización
Cuando una variable de valoración depende del juicio humano, los distintos evaluadores deben aplicar sus reglas de manera uniforme. Un registro de asistencia a la formación no demuestra por sí solo que interpreten y realicen la medición del mismo modo.
Definir la pregunta y los supuestos
Identifique los puntos de juicio que permiten distintas interpretaciones. Utilice ejemplos de referencia para investigar los desacuerdos, en vez de comunicar únicamente un porcentaje global de concordancia. Analice si el estadístico de concordancia se ajusta a la estructura de categorías y a la distribución de eventos. La calibración debe enseñar a aplicar las reglas de medición, no una interpretación que favorezca un resultado de tratamiento determinado.
Ejemplo de estudio hipotético
En un ensayo hipotético, dos evaluadores asignan categorías de gravedad diferentes a registros idénticos. Los desacuerdos se concentran en el límite de una categoría. El equipo aclara las instrucciones y prueba ejemplos nuevos; memorizar las respuestas del ejercicio original no se considera evidencia de una mejora de la concordancia en la práctica real.
Comprobaciones para la revisión del diseño
- Incluya ejemplos límite y categorías que se confunden con frecuencia en los ejercicios de calibración.
- Conserve las valoraciones iniciales para que sigan siendo visibles la localización y las causas del desacuerdo.
- Planifique comprobaciones adecuadas para detectar una deriva en la práctica de evaluación durante el estudio.
Registrar la decisión y sus límites
La aceptación se basa en evidencia de una aplicación competente para la tarea concreta, no en un umbral de concordancia supuestamente universal. Documente la nueva formación y la reevaluación. Mejorar la concordancia no establece automáticamente la validez clínica: la exactitud, la consistencia y el significado científico son preguntas diferentes y deben distinguirse al comunicar los resultados.
Preguntas frecuentes
- ¿Demuestra una concordancia alta la exactitud?
- No. Los evaluadores pueden aplicar sistemáticamente la misma interpretación incorrecta.
- ¿Basta un ejercicio de formación para todo el estudio?
- No siempre. Los cambios de método y las señales de deriva pueden justificar una reevaluación.