.jpg){kind=link}
- 发布
- 更新
自动分流可能在初始示例中表现良好，但传入记录改变时，不应假定仍有相同结果。新语言、更长文本或不同研究中心做法，可能改变错误模式。监督应同时检查所用输入及系统版本。
决策范围
输入变化并不一定意味着模型本身改变。原始评估未包含的情形，可能构成不同使用范围。应将相关输入特征及其变化触发的人工复核，与预期决定关联。
复核示例
例如，分流系统使用简短英语注释进行评估。新研究中心开始提供长篇双语记录。整体准确率看似未变，但部分重要问题被赋予低优先级。团队单独检查该亚组，并定义适当使用边界及额外控制。
实用核查
- 将新输入与早期评估所代表的特征比较。
- 在相关时，按语言、长度或来源组检查重要错误。
- 为支持范围之外的输入，保留可见的适当人工转介路径。
验收与局限
验收需要针对当前输入组的充分证据及明确局限。历史测试成功，不能为不同记录提供无限保证。应预先定义监测发现问题时，限制或停止自动决策支持的责任及权限。
常见问题
- 系统未变时是否仍需重新评估？
- 可能需要。输入特征及使用环境也会影响可靠性。
- 整体准确率百分比是否足够？
- 本身不够。重要优先级误判可能隐藏在某个亚组中。