- Pubblicazione
- Aggiornamento
Quando un endpoint si basa sul giudizio umano, valutatori diversi devono applicarne le regole in modo coerente. Un registro delle presenze alla formazione non dimostra da solo che i valutatori interpretino ed eseguano la misurazione allo stesso modo.
Definire il quesito e le ipotesi
Identificare i punti decisionali che lasciano spazio all’interpretazione. Usare esempi di riferimento per indagare il disaccordo, anziché riportare soltanto una percentuale complessiva di concordanza. Discutere se la statistica di concordanza sia adatta alla struttura delle categorie e alla distribuzione degli eventi. La calibrazione deve insegnare ad applicare le regole di misurazione, non un’interpretazione favorevole a un particolare esito di trattamento.
Esempio di studio ipotetico
In uno studio ipotetico, due valutatori assegnano categorie di gravità diverse a registrazioni identiche. Il disaccordo si concentra intorno al confine di una categoria. Il gruppo chiarisce le istruzioni e verifica nuovi esempi; memorizzare le risposte dell’esercizio originale non viene considerato una prova di miglioramento della concordanza nella pratica reale.
Verifiche di revisione del disegno
- Includere negli esercizi di calibrazione esempi ai limiti e categorie spesso confuse.
- Conservare le valutazioni iniziali affinché restino visibili i punti e le cause di disaccordo.
- Pianificare controlli adeguati della deriva nelle pratiche di valutazione durante la conduzione dello studio.
Documentare la decisione e i suoi limiti
L’accettazione si basa su evidenze di applicazione competente per il compito specifico, non su una presunta soglia universale di concordanza. Documentare nuova formazione e rivalutazione. Una concordanza migliore non dimostra automaticamente validità clinica: accuratezza, coerenza e significato scientifico sono quesiti diversi e devono restare distinguibili nella presentazione dei risultati.
Domande frequenti
- Una concordanza elevata dimostra l’accuratezza?
- No. I valutatori possono applicare in modo coerente la stessa interpretazione errata.
- Un solo esercizio formativo basta per tutto lo studio?
- Non sempre. Cambiamenti del metodo e segnali di deriva possono giustificare una rivalutazione.