.jpg){kind=link}
- Опубликовано
- Обновлено
Автоматическая первичная оценка может хорошо работать на начальных примерах, но тот же результат нельзя предполагать при изменении поступающих записей. Новый язык, более длинный текст или иная практика центра могут менять закономерности ошибок. Надзор должен изучать используемые входные данные наряду с версией системы.
Область принятия решения
Изменение входных данных необязательно означает изменение самой модели. Ситуации, отсутствовавшие в первоначальной оценке, могут представлять иную область использования. Связывайте соответствующие характеристики входных данных и проверки человеком, запускаемые их изменением, с предполагаемым решением.
Пример проверки
Например, систему первичной оценки проверяли на коротких английских заметках. Новые центры начинают предоставлять длинные двуязычные записи. Общая точность выглядит неизменной, но некоторые важные вопросы получают низкий приоритет. Группа отдельно изучает эту подгруппу и определяет подходящую границу использования и дополнительный контроль.
Практические проверки
- Сравнивайте новые входные данные с характеристиками, представленными в прежней оценке.
- При необходимости изучайте важные ошибки по языку, длине или группе источников.
- Сохраняйте видимость подходящей передачи человеку входных данных за пределами поддерживаемой области.
Критерии приемки и ограничения
Приемка требует достаточных свидетельств для текущей группы входных данных и явных ограничений. Успешное историческое тестирование не дает неограниченной уверенности для иных записей. Заранее определите ответственность и полномочия ограничивать или прекращать автоматическую поддержку решений, когда мониторинг выявляет проблему.
Частые вопросы
- Нужна ли повторная оценка, если система не менялась?
- Она может потребоваться. Характеристики входных данных и условия использования тоже способны влиять на надежность.
- Достаточно ли общего процента точности?
- Самого по себе — нет. В одной подгруппе может оставаться скрытой важная неверная расстановка приоритетов.