CliniGA CRO

CliniGA CRO Blog

Code für Designsimulationen reproduzierbar machen

Simulationscode, Szenarien und Ausgaben versionieren und mit nachvollziehbaren Tests auf rechnerische Korrektheit und Reproduzierbarkeit prüfen.

Repräsentatives Kategoriefoto: Code für Designsimulationen reproduzierbar machen
Foto: Linda Bartlett (Photographer) · Lizenz: Public domain · Zugeschnitten und skaliert.
Veröffentlicht
Aktualisiert

Wenn Simulationsergebnisse eine Designentscheidung unterstützen, muss auch der Rechenprozess geprüft werden. Eine Leistungstabelle in einer Präsentation reicht nicht aus, wenn Prüfende nicht erkennen können, welcher Code und welche Annahmen die Zahlen für die vorgeschlagene Studie erzeugt haben.

Fragestellung und Annahmen festlegen

Trennen Sie Szenariendefinitionen von der Programmlogik und dokumentieren Sie Softwareversionen. Verknüpfen Sie Zufallszahlensteuerung, Wiederholungszahlen und fehlgeschlagene Läufe mit der Berichterstattung. Validierung anhand einfacher bekannter Situationen und unabhängige Prüfung können Fehler in komplexer Anpassungslogik aufdecken. Schnelle Ausführung und plausibel erscheinende Zusammenfassungsstatistiken belegen keine rechnerische Korrektheit.

Hypothetisches Studienbeispiel

In einem hypothetischen Design zählt ein Programm nach einer Zwischenentscheidung die verbleibenden Teilnehmenden falsch. Die Schätzung der Gesamtteststärke sieht dennoch plausibel aus. Das Team findet den Fehler durch kleine, manuell nachvollziehbare Szenarien und Grenztests, statt eine große Zahl von Simulationswiederholungen als Genauigkeitsbeweis zu behandeln.

Prüfpunkte für die Designbewertung

  • Kennzeichnen Sie Codeversion, Szenarieneingaben und zugehörige Ausgabedateien gemeinsam.
  • Testen Sie Grenzfälle wie null Ereignisse und Werte genau auf Schwellen.
  • Berichten Sie fehlgeschlagene und nicht konvergente Wiederholungen, statt sie stillschweigend zu entfernen.

Entscheidung und ihre Grenzen dokumentieren

Die Abnahme ermöglicht einer unabhängigen Person, ein ausgewähltes Szenario unter den dokumentierten Bedingungen erneut auszuführen. Erläutern Sie numerische Unsicherheit und Ergebnistoleranzen. Bewerten Sie nach einer Codekorrektur betroffene Tabellen und Entscheidungen erneut und bewahren Sie frühere Ausgabenachweise auf. Nur eine für das bevorzugte Design günstige Version auszuwählen, ist weder wissenschaftliche Versionskontrolle noch angemessene rechnerische Validierung.

Häufig gestellte Fragen

Reicht ein identischer Startwert des Zufallszahlengenerators aus?
Nicht allein. Auch Code-, Software- und Szenarienversionen sind relevant.
Beheben viele Wiederholungen einen Programmierfehler?
Nein. Die Wiederholung fehlerhafter Logik kann weiterhin eine falsche Schätzung erzeugen.

Quellen

  1. FDA — Leitlinie zu adaptiven Studiendesigns für Arzneimittel und Biologika
  2. EMA — ICH E9: Statistische Grundsätze und Estimand-Addendum