.jpg){kind=link}
- 发布
- 更新
即使器械算法输出正确，也可能被误解或不恰当地信任。人与软件的互动，是不同于独立算法性能的研究问题。应明确定义预期决策角色。
定义评估
规定软件是提出建议、确定优先级，还是独立作出决定。能否获取额外信息及能否拒绝输出，会影响评估。决策支持标签，并不会自动消除实际使用中的过度依赖或忽视。
示例分析
例如，阅片人员看到软件标记后改变初始决定。部分改变有益，另一些引入错误。团队不只报告最终准确率，而是检查初始判断、软件输出及最终判断之间的转变，并调查与分歧相关的数据和用户条件。
实用核查
- 通过适当设计，区分接触输出前后的决定。
- 在安全研究条件下，评估对错误或不确定输出的回应。
- 考虑经验、培训及呈现对判断变化的影响。
决定与局限
报告应解释用户与器械协作时的表现。不要将独立算法性能描述为人工流程的结局。应区分探索性观察与已确立的获益主张，并将重要误解关联至设计、培训或进一步证据需求。
常见问题
- 算法准确率高是否足够？
- 预期用途依赖人的决定时，人与系统互动也很重要。应评估正确输出如何被理解。
- 拒绝建议是否属于失败？
- 不自动属于。应根据可用信息及预期决策角色，评估拒绝是否适当。