CliniGA CRO

CliniGA CRO 博客

在决策背景下评估器械算法阈值变更

阈值改变时,分别评估错误类型、用户行动及工作量,说明开发与独立评价数据的区分以及预期决定的局限。

类别代表性照片:在决策背景下评估器械算法阈值变更
摄影: Official Navy Page from United States of America Jasmine Sheard/U.S. Navy · 许可: Public domain · 图片已裁剪并调整尺寸。
发布
更新

即使底层模型相同,改变决策阈值也可能改变用户动作。更多阳性输出或更少警报,不自动意味着临床性能更好。应在预期决策背景下评估阈值。

定义评估

解释阈值产生何种输出,以及由谁用于何种动作。区分技术准确性与假阳性及假阴性结果的后果。在同一数据上选择阈值并呈现确定性验证,可能产生乐观评估。

示例分析

例如,筛查软件调整后生成更多警报。回顾性示例显示漏检减少,但复核工作量增加。团队不只报告敏感度提高,还解释阈值选择数据、独立评估范围,以及额外工作量对流程的影响。

实用核查

  • 以可追溯示例比较新旧阈值下的结局变化。
  • 记录阈值开发数据与独立评价数据的分离。
  • 评估呈现、用户培训及后续动作的变化。

决定与局限

验收应解释预期决定的理由及不确定性。不要将一个指标的改善扩展至每种临床获益。授权复核人员评估对监管及研究安排的影响;设置可调整,不意味着可无限改变研究条件。

常见问题

模型未变时,阈值变更是否属轻微变更?
不一定。输出及用户动作改变,可能改变临床解释。
最高准确率是否是唯一目标?
不是。应一并考虑错误类型、预期用途及决定的潜在后果。

来源

  1. MDCG 2020-1 — 软件临床评价
  2. MDCG 2024-3 — 临床试验方案