- Yayın
- Güncelleme
Bir algoritmanın karar eşiğini değiştirmek, temel model aynı kalsa bile farklı kullanıcı eylemleri doğurabilir. Daha fazla pozitif çıktı veya daha az uyarı, kendi başına daha iyi klinik performans anlamına gelmez. Eşiği araştırmanın karar bağlamıyla değerlendirin.
Değerlendirme kapsamı
Eşiğin hangi sonucu ürettiğini ve bu sonucun kim tarafından nasıl kullanıldığını açıklayın. Teknik doğruluk ölçütleri ile yanlış pozitif ve yanlış negatif sonuçların kullanım bağlamındaki etkisini ayırın. Aynı veride eşik seçip sonucu nihai doğrulama diye sunmak iyimser değerlendirme riski yaratabilir.
Uygulama örneği
Örneğin bir tarama yazılımı daha çok uyarı üretmek üzere ayarlanır. Geriye dönük örneklerde kaçırılan olgular azalır; ancak kullanıcı inceleme yükü artar. Ekip yalnız duyarlılıktaki artışı raporlamaz. Hangi veriyle eşik seçildiğini, bağımsız değerlendirme kapsamını ve artan iş yükünün iş akışına etkisini birlikte açıklar.
Çalışma kontrolleri
- Eski ve yeni eşikteki sonuç değişimlerini aynı örnekler üzerinde izlenebilir karşılaştırın.
- Eşik geliştirme verisiyle bağımsız değerlendirme verisinin ayrımını belgeleyin.
- Kullanıcıya gösterim, eğitim ve sonraki eylem üzerindeki değişikliği değerlendirin.
Karar ve sınırlar
Kabul, seçilen eşiğin amaçlanan karar için gerekçesini ve belirsizliğini göstermelidir. Bir ölçütteki iyileşmeyi bütün klinik faydalara genişletmeyin. Değişikliğin düzenleyici ve araştırma planı etkisi yetkili değerlendirmeden geçer; yazılımın ayarlanabilir olması sınırsız araştırma değişikliği yetkisi oluşturmaz.
Sık sorulan sorular
- Model aynıysa eşik değişikliği önemsiz mi?
- Hayır. Çıktı dağılımı ve kullanıcı eylemi değiştiğinde klinik yorum da etkilenebilir.
- En yüksek doğruluk tek hedef midir?
- Hayır. Hata türleri, kullanım amacı ve kararın olası sonuçları birlikte ele alınmalıdır.