.jpg){kind=link}
- 发布
- 更新
自动化生成数百条记录时，人工复核可能只覆盖少数示例。选择方便获取且无问题的案例，可能使重要错误不可见。复核设计应说明自动化支持哪项决定，以及输出错误的后果。
决策范围
样本可以同时包含常见情形，以及模糊、临界及输入失败示例。然而，定向选择不能提供所有记录的统计错误率。应预先定义复核人员能力、比较来源，以及停止使用有问题输出的路径。
复核示例
例如，自动化对监查注释分类。初始检查只覆盖短注释，遗漏了包含多个问题的长文本的错误分类。团队将长篇、冲突及不完整注释纳入复核，评估系统强制归为单一类别时，重要问题是否消失。
实用核查
- 将选择关联至预期用途及错误决定的影响。
- 纳入适当的模糊、信息缺失及多主题示例。
- 解释发现错误后，如何调查同类受影响输出。
验收与局限
验收需要针对既定用途的充分复核证据及明确局限。少数正确示例不能批准每项输出。系统行为或输入特征改变时，应重新评估相同选择方法是否仍能发现重要错误。
常见问题
- 人工批准是否使自动化可靠？
- 本身不能。复核检查什么，以及哪些证据支持复核，是关键所在。
- 是否必须手动重建每项输出？
- 不同用途需要不同范围。决策风险及适当授权评估决定复核深度。