- Veröffentlicht
- Aktualisiert
Beruht ein Endpunkt auf menschlichem Urteil, sollten verschiedene Beurteilende seine Regeln einheitlich anwenden. Ein Nachweis der Schulungsteilnahme allein zeigt nicht, dass Beurteilende die Messung auf dieselbe Weise interpretieren und durchführen.
Fragestellung und Annahmen festlegen
Identifizieren Sie Beurteilungsschritte, die Interpretationsspielraum lassen. Verwenden Sie Referenzbeispiele, um Abweichungen zu untersuchen, statt nur einen Gesamtprozentsatz der Übereinstimmung anzugeben. Besprechen Sie, ob das Übereinstimmungsmaß zur Kategorienstruktur und Ereignisverteilung passt. Die Kalibrierung sollte die Anwendung der Messregeln vermitteln und keine Interpretation, die ein bestimmtes Behandlungsergebnis begünstigt.
Hypothetisches Studienbeispiel
In einer hypothetischen Studie ordnen zwei Beurteilende identischen Unterlagen unterschiedliche Schweregradkategorien zu. Die Abweichungen häufen sich an einer Kategoriegrenze. Das Team präzisiert die Anweisungen und testet neue Beispiele; das Auswendiglernen der Antworten aus der ursprünglichen Übung gilt nicht als Beleg dafür, dass sich die Übereinstimmung in der Praxis verbessert hat.
Prüfpunkte für die Designbewertung
- Nehmen Sie Grenzfälle und häufig verwechselte Kategorien in Kalibrierungsübungen auf.
- Bewahren Sie die Erstbewertungen auf, damit Ort und Ursachen von Abweichungen sichtbar bleiben.
- Planen Sie geeignete Kontrollen für schleichende Änderungen der Beurteilungspraxis im Studienverlauf.
Entscheidung und ihre Grenzen dokumentieren
Die Abnahme stützt sich auf Belege für eine kompetente Anwendung bei der konkreten Aufgabe und nicht auf einen angenommenen universellen Schwellenwert der Übereinstimmung. Dokumentieren Sie Nachschulungen und erneute Bewertungen. Verbesserte Übereinstimmung belegt nicht automatisch klinische Validität: Genauigkeit, Konsistenz und wissenschaftliche Bedeutung sind unterschiedliche Fragen und sollten bei der Ergebnisberichterstattung unterscheidbar bleiben.
Häufig gestellte Fragen
- Belegt hohe Übereinstimmung die Genauigkeit?
- Nein. Beurteilende können dieselbe falsche Interpretation einheitlich anwenden.
- Reicht eine Schulungsübung für die gesamte Studie?
- Nicht immer. Methodenänderungen und Anzeichen einer schleichenden Veränderung können eine erneute Bewertung rechtfertigen.