
- 发布
- 更新
即使底层模型相同,改变决策阈值也可能改变用户动作。更多阳性输出或更少警报,不自动意味着临床性能更好。应在预期决策背景下评估阈值。
定义评估
解释阈值产生何种输出,以及由谁用于何种动作。区分技术准确性与假阳性及假阴性结果的后果。在同一数据上选择阈值并呈现确定性验证,可能产生乐观评估。
示例分析
例如,筛查软件调整后生成更多警报。回顾性示例显示漏检减少,但复核工作量增加。团队不只报告敏感度提高,还解释阈值选择数据、独立评估范围,以及额外工作量对流程的影响。
实用核查
- 以可追溯示例比较新旧阈值下的结局变化。
- 记录阈值开发数据与独立评价数据的分离。
- 评估呈现、用户培训及后续动作的变化。
决定与局限
验收应解释预期决定的理由及不确定性。不要将一个指标的改善扩展至每种临床获益。授权复核人员评估对监管及研究安排的影响;设置可调整,不意味着可无限改变研究条件。
常见问题
- 模型未变时,阈值变更是否属轻微变更?
- 不一定。输出及用户动作改变,可能改变临床解释。
- 最高准确率是否是唯一目标?
- 不是。应一并考虑错误类型、预期用途及决定的潜在后果。