CliniGA CRO

Blog CliniGA CRO

Évaluer les changements de seuil algorithmique du dispositif dans leur contexte décisionnel

Modifier un seuil change l’équilibre des erreurs et les actions utilisateur : l’évaluation doit en montrer les conséquences.

Photographie représentative de la catégorie : Évaluer les changements de seuil algorithmique du dispositif dans leur contexte décisionnel
Photo: Official Navy Page from United States of America Jasmine Sheard/U.S. Navy · Licence: Public domain · Image recadrée et redimensionnée.
Publication
Mise à jour

Modifier un seuil de décision peut changer les actions des utilisateurs même si le modèle sous-jacent reste le même. Davantage de résultats positifs ou moins d’alertes ne signifient pas automatiquement de meilleures performances cliniques. Évaluer le seuil dans le contexte décisionnel prévu.

Définir l’évaluation

Expliquer quel résultat le seuil produit et qui l’utilise pour quelle action. Distinguer l’exactitude technique des conséquences des résultats faux positifs et faux négatifs. Choisir un seuil et présenter une validation définitive sur les mêmes données peut produire une évaluation optimiste.

Exemple pratique

Par exemple, un logiciel de dépistage est ajusté pour générer davantage d’alertes. Les exemples rétrospectifs montrent moins de cas manqués, mais une charge d’examen accrue. L’équipe ne rapporte pas seulement la sensibilité améliorée : elle explique les données de sélection du seuil, le périmètre d’évaluation indépendante et les effets de la charge supplémentaire sur le processus.

Vérifications pratiques

  • Comparer les changements de résultats entre anciens et nouveaux seuils à l’aide d’exemples traçables.
  • Documenter la séparation entre données de développement du seuil et données d’évaluation indépendante.
  • Évaluer les changements de présentation, de formation utilisateur et d’action ultérieure.

Décision et limites

L’acceptation doit expliquer la justification et l’incertitude pour la décision prévue. Ne pas étendre l’amélioration d’un indicateur à tous les bénéfices cliniques. Les examinateurs habilités évaluent les effets sur les dispositions réglementaires et d’investigation ; un réglage modifiable ne confère pas une autorité illimitée pour changer les conditions de recherche.

Questions fréquentes

Un changement de seuil est-il mineur si le modèle ne change pas ?
Pas nécessairement. Les résultats et actions utilisateur modifiés peuvent changer l’interprétation clinique.
L’exactitude maximale est-elle le seul objectif ?
Non. Considérer ensemble les types d’erreurs, l’utilisation prévue et les conséquences possibles de la décision.

Sources

  1. MDCG 2020-1 — Évaluation clinique des logiciels
  2. MDCG 2024-3 — Plan d’investigation clinique