
- 发布
- 更新
AI器械的整体性能可能掩盖代表不足群体中的困难。亚组评估可以有帮助,但不应将小样本的不稳定估计呈现为确定差异。应解释评估目的及局限。
定义评估
应通过临床及技术推理选择群体,而不是使用所有可用变量。用户、输入质量、硬件及临床特征代表不同问题。应另行评估隐私及敏感属性的允许用途,并披露缺失的群体信息。
示例分析
例如,某影像研究整体结果良好,但一个硬件组的观测很少。团队不将其失败比例呈现为确定的器械效应,而是检查不确定性、记录质量及其他差异,并将进一步证据需求关联至代表不足的使用条件。
实用核查
- 同时显示选择重要群体的理由及其可用样本量。
- 核查各组图像质量及参考评估的差异。
- 清楚区分探索性发现与已确立的性能主张。
决定与局限
报告应解释哪些群体对整体结果作出贡献,以及哪些方面证据仍有限。不要将有利亚组发现推广至每个未代表群体。合格复核人员应考虑临床相关性及进一步调查;仅有排名表不能证明性能公平。
常见问题
- 小群体的较差结果是否证明失败?
- 不能。作出确定结论前,应检查不确定性、数据质量及潜在混杂。
- 整体结果良好时,亚组是否不再必要?
- 不是。亚组有助于评估预期用户及使用条件是否被代表。