.jpg){kind=link}
- Опубликовано
- Обновлено
Когда автоматизация создает сотни записей, проверка человеком может охватывать лишь несколько примеров. Выбор удобных беспроблемных случаев способен оставить важные ошибки невидимыми. Проект проверки должен указывать, какое решение поддерживает автоматизация и каковы последствия неверного результата.
Область принятия решения
Выборка может включать обычные ситуации наряду с неоднозначными, пограничными примерами и примерами ошибочных входных данных. Однако целевой отбор не дает статистической частоты ошибок для всех записей. Заранее определите компетентность проверяющих, источники сравнения и путь прекращения использования проблемных результатов.
Пример проверки
Например, автоматизация категоризирует заметки мониторинга. Первые проверки охватывают только короткие заметки и пропускают неверную классификацию длинных текстов с несколькими вопросами. Группа добавляет в проверку длинные, противоречивые и неполные заметки, оценивая, не исчезают ли важные проблемы, когда система принудительно относит их к одной категории.
Практические проверки
- Связывайте отбор с предполагаемым использованием и влиянием неверного решения.
- Включайте подходящие примеры с неоднозначностью, недостающей информацией и несколькими темами.
- Объясняйте, как после обнаружения ошибки будут исследоваться сходные затронутые результаты.
Критерии приемки и ограничения
Приемка требует достаточных свидетельств проверки для определенного использования и явных ограничений. Несколько правильных примеров не означают одобрения каждого результата. Повторно оценивайте, обнаруживает ли прежний подход отбора важные ошибки при изменении поведения системы или характеристик входных данных.
Частые вопросы
- Делает ли одобрение человеком автоматизацию надежной?
- Само по себе — нет. Существенно, что именно проверяется и какие свидетельства поддерживают проверку.
- Нужно ли воссоздавать каждый результат вручную?
- Разные применения требуют разного объема. Глубину проверки определяют риск решения и подходящая уполномоченная оценка.