CliniGA CRO

Blog CliniGA CRO

Evaluar los cambios de umbral del algoritmo del producto en su contexto de decisión

Haga visibles los cambios en el equilibrio de errores y las acciones del usuario cuando cambie un umbral de decisión.

Fotografía representativa de la categoría: Evaluar los cambios de umbral del algoritmo del producto en su contexto de decisión
Foto: Official Navy Page from United States of America Jasmine Sheard/U.S. Navy · Licencia: Public domain · Imagen recortada y redimensionada.
Publicación
Actualización

Cambiar un umbral de decisión puede alterar las acciones del usuario aunque el modelo subyacente siga siendo el mismo. Más resultados positivos o menos alertas no significan automáticamente un mejor rendimiento clínico. Evalúe el umbral dentro del contexto de decisión previsto.

Definir la evaluación

Explique qué resultado produce el umbral y quién lo utiliza para qué acción. Separe la exactitud técnica de las consecuencias de los resultados falsos positivos y falsos negativos. Seleccionar un umbral y presentar una validación definitiva con los mismos datos puede producir una evaluación optimista.

Ejemplo desarrollado

Por ejemplo, se ajusta un software de cribado para generar más alertas. Los ejemplos retrospectivos muestran menos casos no detectados, pero una mayor carga de revisión. El equipo comunica algo más que la mejora de sensibilidad: explica los datos de selección del umbral, el alcance de la evaluación independiente y los efectos de la carga adicional sobre el flujo de trabajo.

Comprobaciones prácticas

  • Compare los cambios de resultados con los umbrales anterior y nuevo mediante ejemplos trazables.
  • Documente la separación de los datos de desarrollo del umbral y los datos de evaluación independiente.
  • Evalúe los cambios en la presentación, la formación del usuario y la actuación posterior.

Decisión y limitaciones

La aceptación debe explicar la justificación y la incertidumbre para la decisión prevista. No extienda la mejora de una métrica a todos los beneficios clínicos. Los revisores autorizados evalúan los efectos sobre las disposiciones regulatorias y de investigación; un ajuste modificable no otorga autoridad ilimitada para cambiar las condiciones de investigación.

Preguntas frecuentes

¿Un cambio de umbral es menor si el modelo no cambia?
No necesariamente. Los cambios en los resultados y las acciones del usuario pueden alterar la interpretación clínica.
¿La máxima exactitud es el único objetivo?
No. Considere conjuntamente los tipos de error, la finalidad prevista y las posibles consecuencias de la decisión.

Fuentes

  1. MDCG 2020-1 — Evaluación clínica del software
  2. MDCG 2024-3 — Plan de investigación clínica