CliniGA CRO

Blog CliniGA CRO

Échantillonnage pour l’examen humain des résultats automatisés

Choisir des exemples selon le risque décisionnel évite de limiter l’examen humain aux résultats automatisés les plus faciles.

Photographie représentative de la catégorie : Échantillonnage pour l’examen humain des résultats automatisés
Photo: Kim Dornic (IFREMER, Pôle média & web, Centre Bretagne - ZI de la Pointe du Diable - CS 10070 - 29280 Plouzané) Kim Dornic (IFREMER, Pôle média & web, Centre Bretagne - ZI de la Pointe du Diable - CS 10070 - 29280 Plouzané) · Licence: CC BY 4.0 · Image recadrée et redimensionnée.
Publication
Mise à jour

Lorsque l’automatisation produit des centaines d’enregistrements, l’examen humain peut ne couvrir que quelques exemples. Choisir des cas pratiques et sans problème peut laisser invisibles des erreurs importantes. La conception de l’examen doit préciser à quelle décision l’automatisation contribue et les conséquences d’un résultat incorrect.

Périmètre de la décision

Un échantillon peut inclure des situations courantes ainsi que des exemples ambigus, aux limites et d’entrées en échec. Toutefois, une sélection ciblée ne fournit pas un taux d’erreur statistique pour tous les enregistrements. Définir à l’avance les compétences de l’examinateur, les sources de comparaison et une voie d’arrêt de l’utilisation des résultats problématiques.

Exemple d’examen

Par exemple, une automatisation classe les notes de monitoring. Les premières vérifications ne couvrent que des notes courtes et manquent la mauvaise classification de textes plus longs comportant plusieurs problèmes. L’équipe ajoute à l’examen des notes longues, contradictoires et incomplètes, en évaluant si des préoccupations importantes disparaissent lorsque le système les force dans une seule catégorie.

Vérifications pratiques

  • Relier la sélection à l’utilisation prévue et à l’effet d’une mauvaise décision.
  • Inclure des exemples appropriés comportant ambiguïté, informations manquantes et sujets multiples.
  • Expliquer comment les résultats similaires affectés seront examinés après la découverte d’une erreur.

Acceptation et limites

L’acceptation exige des preuves d’examen suffisantes pour l’utilisation définie et des limites explicites. Quelques exemples corrects n’approuvent pas tous les résultats. Réévaluer si la même approche de sélection détecte encore les erreurs importantes lorsque le comportement du système ou les caractéristiques des entrées changent.

Questions fréquentes

L’approbation humaine rend-elle l’automatisation fiable ?
Pas à elle seule. Ce que l’examen vérifie et les preuves qui l’étayent sont essentiels.
Faut-il recréer manuellement tous les résultats ?
Les usages nécessitent des périmètres différents. Le risque décisionnel et une évaluation autorisée appropriée déterminent la profondeur de l’examen.

Sources

  1. FDA — Systèmes, enregistrements et signatures électroniques
  2. EMA — ICH E6 Bonnes pratiques cliniques