CliniGA CRO

Blog CliniGA CRO

Validare gli algoritmi degli esiti nei dati ordinari

Validare gli algoritmi degli esiti rispetto a definizioni cliniche, campionamento e processi locali di registrazione.

Fotografia rappresentativa della categoria: Validare gli algoritmi degli esiti nei dati ordinari
Foto: axventura · Licenza: CC BY 4.0 · Immagine ritagliata e ridimensionata.
Pubblicazione
Aggiornamento

Un codice di diagnosi o procedura usato come endpoint non dimostra automaticamente una rilevazione accurata di un evento clinico. Scopo della registrazione, pratiche di codifica e copertura della banca dati possono influenzare la sensibilità e il rischio di classificazione errata dell’algoritmo degli esiti risultante.

Definire il quesito e le ipotesi

Scrivere la definizione dell’evento clinico prima dell’elenco dei codici. Identificare documenti originali, revisione esperta e approccio di campionamento per la validazione. Esaminare soltanto registrazioni positive all’algoritmo non può rispondere a ogni quesito sulle prestazioni. Valutare se la stessa revisione di riferimento possa essere incompleta o distorta e riportare le misure di prestazione insieme all’ambito effettivo della validazione eseguita.

Esempio di studio ipotetico

In uno studio ipotetico, un codice rappresenta un sospetto in alcuni centri e una diagnosi confermata in altri. Il gruppo esamina registrazioni campionate per centro e valuta l’algoritmo. Non trasferisce direttamente un’affermazione di elevata accuratezza da una fonte a ogni contesto con un diverso processo di registrazione.

Verifiche di revisione del disegno

  • Registrare la definizione clinica e la versione dell’elenco dei codici dell’algoritmo.
  • Spiegare il campionamento di validazione e la fonte usata come valutazione di riferimento.
  • Valutare la possibile classificazione errata per centro, periodo e gruppo di confronto terapeutico.

Documentare la decisione e i suoi limiti

La valutazione accettata presenta stime delle prestazioni con incertezza e mantiene espliciti popolazione e periodo in cui è avvenuta la validazione. Non modificare un algoritmo per aumentare una differenza fra trattamenti. Registrare motivazione e impatto delle modifiche giustificate. Usare una definizione dell’esito opportunamente limitata quando la banca dati non può sostenere un’affermazione definitiva su un evento clinico.

Domande frequenti

Un codice dimostra un evento clinico confermato?
Non sempre. Esaminare lo scopo della registrazione e le evidenze di validazione.
È sufficiente la validazione di un’altra fonte?
Valutarne la trasferibilità quando i processi locali di registrazione o le popolazioni differiscono.

Fonti

  1. FDA — Cartelle cliniche elettroniche e dati delle richieste di rimborso sanitario
  2. FDA — Valutare i registri come fonti di dati del mondo reale