.jpg){kind=link}
- Publication
- Mise à jour
Le triage automatisé peut bien fonctionner sur les premiers exemples, sans que le même résultat puisse être présumé lorsque les enregistrements entrants changent. Une nouvelle langue, un texte plus long ou une autre pratique de centre peut modifier les profils d’erreur. La supervision doit examiner les entrées utilisées ainsi que la version du système.
Périmètre de la décision
Un changement d’entrée ne signifie pas nécessairement que le modèle lui-même a changé. Des situations absentes de l’évaluation initiale peuvent constituer un autre périmètre d’utilisation. Relier les caractéristiques pertinentes des entrées et les examens humains déclenchés par leur évolution à la décision prévue.
Exemple d’examen
Par exemple, un système de triage a été évalué avec de courtes notes en anglais. De nouveaux centres commencent à fournir de longs documents bilingues. L’exactitude globale paraît inchangée, mais certains problèmes importants reçoivent une faible priorité. L’équipe examine ce sous-groupe séparément et définit une limite d’utilisation appropriée et un contrôle supplémentaire.
Vérifications pratiques
- Comparer les nouvelles entrées aux caractéristiques représentées dans l’évaluation antérieure.
- Examiner les erreurs importantes par langue, longueur ou groupe de sources lorsque c’est pertinent.
- Maintenir visible une orientation humaine appropriée pour les entrées hors du périmètre pris en charge.
Acceptation et limites
L’acceptation exige des preuves suffisantes pour le groupe actuel d’entrées et des limites explicites. Des tests historiques réussis n’apportent pas une assurance illimitée pour des enregistrements différents. Définir à l’avance la responsabilité et l’autorité pour restreindre ou arrêter l’aide automatisée à la décision lorsque le monitoring identifie un problème.
Questions fréquentes
- Une réévaluation est-elle nécessaire si le système n’a pas changé ?
- Elle peut l’être. Les caractéristiques des entrées et le contexte d’utilisation peuvent aussi affecter la fiabilité.
- Un pourcentage global d’exactitude suffit-il ?
- Pas à lui seul. Des erreurs importantes de priorisation peuvent rester cachées dans un sous-groupe.