CliniGA CRO

CliniGA CRO Blog

Änderungen von Algorithmusschwellenwerten im Entscheidungskontext bewerten

Änderungen bei Fehlerverteilung und Anwenderhandlungen nach Anpassung eines Entscheidungsschwellenwerts sichtbar machen.

Repräsentatives Kategoriefoto: Änderungen von Algorithmusschwellenwerten im Entscheidungskontext bewerten
Foto: Official Navy Page from United States of America Jasmine Sheard/U.S. Navy · Lizenz: Public domain · Zugeschnitten und skaliert.
Veröffentlicht
Aktualisiert

Die Änderung eines Entscheidungsschwellenwerts kann Anwenderhandlungen verändern, auch wenn das zugrunde liegende Modell gleich bleibt. Mehr positive Ausgaben oder weniger Warnungen bedeuten nicht automatisch bessere klinische Leistung. Bewerten Sie den Schwellenwert im vorgesehenen Entscheidungskontext.

Bewertung definieren

Erläutern Sie, welche Ausgabe der Schwellenwert erzeugt und wer sie für welche Handlung verwendet. Trennen Sie technische Genauigkeit von den Folgen falsch positiver und falsch negativer Ergebnisse. Die Auswahl eines Schwellenwerts und die Darstellung einer abschließenden Validierung auf denselben Daten kann zu einer optimistischen Bewertung führen.

Praxisbeispiel

Beispielsweise wird Screeningsoftware so angepasst, dass sie mehr Warnungen erzeugt. Retrospektive Beispiele zeigen weniger übersehene Fälle, aber einen höheren Prüfaufwand. Das Team berichtet mehr als die verbesserte Sensitivität: Es erläutert die Daten zur Schwellenwertauswahl, den Umfang der unabhängigen Bewertung und die Auswirkungen der zusätzlichen Arbeitslast auf den Ablauf.

Praktische Prüfpunkte

  • Vergleichen Sie Ergebnisänderungen bei altem und neuem Schwellenwert anhand rückverfolgbarer Beispiele.
  • Dokumentieren Sie die Trennung von Daten zur Schwellenwertentwicklung und Daten zur unabhängigen Bewertung.
  • Bewerten Sie Änderungen an Darstellung, Anwenderschulung und anschließender Handlung.

Entscheidung und Grenzen

Die Akzeptanz sollte Begründung und Unsicherheit für die vorgesehene Entscheidung erläutern. Übertragen Sie die Verbesserung einer Kennzahl nicht auf jeden klinischen Nutzen. Autorisierte Prüfende bewerten Auswirkungen auf regulatorische und prüfungsbezogene Regelungen; eine verstellbare Einstellung verleiht keine unbegrenzte Befugnis, Forschungsbedingungen zu ändern.

Häufig gestellte Fragen

Ist eine Schwellenwertänderung geringfügig, wenn das Modell unverändert bleibt?
Nicht unbedingt. Geänderte Ausgaben und Anwenderhandlungen können die klinische Interpretation verändern.
Ist maximale Genauigkeit das einzige Ziel?
Nein. Betrachten Sie Fehlerarten, vorgesehenen Gebrauch und mögliche Folgen der Entscheidung gemeinsam.

Quellen

  1. MDCG 2020-1 — Klinische Bewertung von Software
  2. MDCG 2024-3 — Klinischer Prüfplan