.jpg){kind=link}
- Publication
- Mise à jour
La performance globale d’un dispositif intégrant l’IA peut masquer des difficultés dans des groupes sous-représentés. L’évaluation par sous-groupe peut aider, mais des estimations instables sur de petits échantillons ne doivent pas être présentées comme des différences définitives. Expliquer la finalité et les limites de l’évaluation.
Définir l’évaluation
Choisir les groupes selon un raisonnement clinique et technique, plutôt que toutes les variables disponibles. Les utilisateurs, la qualité des entrées, le matériel et les caractéristiques cliniques représentent des questions différentes. Évaluer séparément la confidentialité et l’utilisation autorisée des attributs sensibles, et signaler les informations de groupe manquantes.
Exemple pratique
Par exemple, une investigation d’imagerie présente des résultats globaux favorables, mais peu d’observations d’un groupe de matériel. L’équipe ne présente pas sa proportion d’échecs comme un effet définitif du dispositif. Elle examine l’incertitude, la qualité des enregistrements et les autres différences, en reliant les besoins de preuves complémentaires aux conditions d’utilisation peu représentées.
Vérifications pratiques
- Montrer la justification du choix des groupes importants avec leurs effectifs disponibles.
- Vérifier les différences de qualité d’image et d’évaluation de référence entre les groupes.
- Distinguer clairement les constatations exploratoires des allégations établies de performance.
Décision et limites
Le rapport doit expliquer quels groupes contribuent au résultat global et où les preuves restent limitées. Ne pas généraliser un résultat favorable de sous-groupe à tous les groupes non représentés. Les examinateurs qualifiés considèrent la pertinence clinique et les investigations supplémentaires ; un tableau de classement seul n’établit pas une performance équitable.
Questions fréquentes
- Un mauvais résultat dans un petit groupe prouve-t-il un échec ?
- Non. Examiner l’incertitude, la qualité des données et les facteurs de confusion possibles avant de tirer des conclusions définitives.
- Les sous-groupes sont-ils inutiles lorsque les résultats globaux sont favorables ?
- Non. Ils peuvent aider à évaluer la représentation des utilisateurs et des conditions d’utilisation prévus.