CliniGA CRO

CliniGA CRO 博客

校准评估者间的一致性

通过参考和边界案例定位评估分歧,校准规则应用并监测评估漂移,同时区分一致性、准确性与临床有效性。

类别代表性照片:校准评估者间的一致性
摄影: Max MBAKOP · 许可: CC BY-SA 4.0 · 图片已裁剪并调整尺寸。
发布
更新

终点依赖人工判断时,不同评估者应一致地应用其规则。仅有培训出勤记录,不能证明评估者以同样方式理解和开展测量。

明确问题与假设

识别允许主观解释的判断环节。利用参考案例调查分歧,而不只是报告总体一致百分比。讨论一致性统计量是否适合类别结构和事件分布。校准应教会评估者如何应用测量规则,而不是采用有利于特定治疗结局的解释。

假设性研究示例

在一项假设试验中,两名评估者对相同记录给出了不同严重程度类别。分歧集中在某一类别边界。团队澄清说明,并使用新案例测试;背熟原练习的答案,不能作为实际评估一致性已经改善的证据。

设计审查核查要点

  • 在校准练习中纳入边界案例和容易混淆的类别。
  • 保留初始评分,使分歧的位置和原因保持可见。
  • 规划适当核查,监测研究实施期间评估实践的漂移。

记录决策及其局限

验收应依据能够胜任特定任务的应用证据,而不是假定存在普适的一致性阈值。记录再培训和重新评估。一致性提高并不自动证明临床有效性:准确性、一致性和科学意义是不同问题,在报告结果时应始终加以区分。

常见问题

高度一致能证明准确吗?
不能。评估者可能始终一致地采用同一种错误解释。
一次培训练习足以覆盖整个研究吗?
未必。方法变更和漂移信号可能需要重新评估。

来源

  1. EMA — ICH E9统计原则及估计目标附录
  2. EMA — ICH E6药物临床试验质量管理规范