CliniGA CRO

CliniGA CRO Blog

Unsicherheit von Untergruppen bei KI-gestützten Medizinprodukten darstellen

Die Gruppen hinter der Gesamtleistung mit angemessenem Umfang und unter Berücksichtigung der Unsicherheit bewerten.

Repräsentatives Kategoriefoto: Unsicherheit von Untergruppen bei KI-gestützten Medizinprodukten darstellen
Foto: Víctor Santa María from Buenos Aires, Argentina · Lizenz: CC BY 2.0 · Zugeschnitten und skaliert.
Veröffentlicht
Aktualisiert

Die Gesamtleistung eines KI-gestützten Medizinprodukts kann Schwierigkeiten unterrepräsentierter Gruppen verbergen. Untergruppenbewertungen können helfen; instabile Schätzungen aus kleinen Stichproben sollten jedoch nicht als gesicherte Unterschiede dargestellt werden. Erläutern Sie Zweck und Grenzen der Bewertung.

Bewertung definieren

Wählen Sie Gruppen anhand klinischer und technischer Überlegungen statt anhand jeder verfügbaren Variablen aus. Anwender, Eingabequalität, Hardware und klinische Merkmale bilden unterschiedliche Fragen ab. Bewerten Sie Datenschutz und erlaubte Nutzung sensibler Merkmale gesondert und legen Sie fehlende Gruppeninformationen offen.

Praxisbeispiel

Eine Bildgebungsprüfung hat beispielsweise günstige Gesamtergebnisse, aber wenige Beobachtungen aus einer Hardwaregruppe. Das Team stellt deren Fehleranteil nicht als gesicherten Produkteffekt dar. Es untersucht Unsicherheit, Qualität der Aufzeichnungen und andere Unterschiede und verknüpft weiteren Evidenzbedarf mit den schlecht vertretenen Anwendungsbedingungen.

Praktische Prüfpunkte

  • Zeigen Sie die Begründung für die Auswahl wichtiger Gruppen zusammen mit deren verfügbaren Stichprobengrößen.
  • Prüfen Sie Unterschiede bei Bildqualität und Referenzbewertung zwischen Gruppen.
  • Unterscheiden Sie explorative Befunde klar von gesicherten Leistungsaussagen.

Entscheidung und Grenzen

Der Bericht sollte erklären, welche Gruppen zum Gesamtergebnis beitragen und wo die Evidenz begrenzt bleibt. Verallgemeinern Sie einen günstigen Untergruppenbefund nicht auf jede unvertretene Gruppe. Qualifizierte Prüfende betrachten klinische Relevanz und weiteren Untersuchungsbedarf; eine Ranglistentabelle allein belegt keine gerechte Leistung.

Häufig gestellte Fragen

Beweist ein schlechtes Ergebnis in einer kleinen Gruppe ein Versagen?
Nein. Prüfen Sie Unsicherheit, Datenqualität und mögliche Störfaktoren, bevor Sie abschließende Schlussfolgerungen ziehen.
Sind Untergruppen bei günstigen Gesamtergebnissen überflüssig?
Nein. Sie können helfen, die Repräsentation vorgesehener Anwender und Anwendungsbedingungen zu bewerten.

Quellen

  1. MDCG 2020-1 — Klinische Bewertung von Software
  2. MDCG 2024-3 — Klinischer Prüfplan