CliniGA CRO

CliniGA CRO Blog

Die menschliche Interaktion mit Ausgaben KI-gestützter Produkte untersuchen

Algorithmusgenauigkeit von Nachweisen darüber trennen, wie Anwender auf die Ausgabe reagieren.

Repräsentatives Kategoriefoto: Die menschliche Interaktion mit Ausgaben KI-gestützter Produkte untersuchen
Foto: Adoscam · Lizenz: CC BY-SA 4.0 · Zugeschnitten und skaliert.
Veröffentlicht
Aktualisiert

Selbst eine korrekte Ausgabe eines Produktalgorithmus kann missverstanden werden oder unangemessenes Vertrauen erhalten. Die Interaktion zwischen Menschen und Software ist eine andere Forschungsfrage als die eigenständige Algorithmusleistung. Definieren Sie die vorgesehene Entscheidungsrolle klar.

Bewertung definieren

Geben Sie an, ob Software Empfehlungen ausspricht, priorisiert oder selbstständig eine Entscheidung trifft. Zugang zu zusätzlichen Informationen und die Möglichkeit, Ausgaben abzulehnen, beeinflussen die Bewertung. Die Bezeichnung als Entscheidungsunterstützung beseitigt nicht automatisch übermäßiges Vertrauen oder Missachtung bei tatsächlicher Anwendung.

Praxisbeispiel

Beispielsweise ändern Bildbefundende ihre anfänglichen Entscheidungen nach Betrachtung von Softwaremarkierungen. Manche Änderungen helfen, andere führen Fehler ein. Statt nur die endgültige Genauigkeit zu berichten, untersucht das Team Übergänge zwischen ursprünglichem Urteil, Softwareausgabe und endgültigem Urteil. Es untersucht die mit Meinungsverschiedenheiten verbundenen Daten- und Anwenderbedingungen.

Praktische Prüfpunkte

  • Unterscheiden Sie durch ein geeignetes Design Entscheidungen vor und nach Sichtung der Ausgabe.
  • Bewerten Sie Reaktionen auf falsche oder unsichere Ausgaben unter sicheren Forschungsbedingungen.
  • Berücksichtigen Sie die Auswirkungen von Erfahrung, Schulung und Darstellung auf Urteilsänderungen.

Entscheidung und Grenzen

Der Bericht sollte die Leistung des mit dem Produkt arbeitenden Anwenders erläutern. Beschreiben Sie die eigenständige Algorithmusleistung nicht als Ergebnis des menschlichen Arbeitsablaufs. Trennen Sie explorative Beobachtungen von gesicherten Nutzenaussagen und verknüpfen Sie wichtige Missverständnisse mit Design, Schulung oder weiterem Evidenzbedarf.

Häufig gestellte Fragen

Reicht hohe Algorithmusgenauigkeit aus?
Auch die menschliche Interaktion zählt, wenn der vorgesehene Gebrauch von einer menschlichen Entscheidung abhängt. Bewerten Sie, wie korrekte Ausgaben verstanden werden.
Ist die Ablehnung einer Empfehlung ein Fehler?
Nicht automatisch. Bewerten Sie, ob die Ablehnung angesichts verfügbarer Informationen und der vorgesehenen Entscheidungsrolle angemessen ist.

Quellen

  1. MDCG 2020-1 — Klinische Bewertung von Software
  2. MDCG 2024-3 — Klinischer Prüfplan