- प्रकाशन
- अद्यतन
प्रतिभागी के उत्तर अपरिवर्तित रहते हुए प्रश्नावली की स्कोरिंग का एल्गोरिद्म बदल सकता है। केवल संख्यात्मक स्कोर रखने पर समीक्षक प्रयुक्त नियम या अलग समय बनी रिपोर्टों की विसंगतियाँ नहीं समझा पाएँगे।
डेटा का अर्थ सुरक्षित रखें
स्रोत उत्तर, अनुपस्थित प्रश्नों का प्रबंधन, उलटे कोड वाले प्रश्न और स्कोरिंग संस्करण जोड़ें। सॉफ्टवेयर टीम गणना सही लागू कर सकती है, जबकि वैज्ञानिक उपयुक्तता विशेषज्ञ का अलग निर्णय बनी रहती है। स्पष्ट रूप से तय करें कि अद्यतन के बाद पुराने स्कोर फिर गणना किए जाएँगे या नहीं। अलग परिभाषाओं से बने परिणामों को ऐसे न मिलाएँ मानो उनका अर्थ अपने-आप एक जैसा हो।
उदाहरण द्वारा समझें
उदाहरण के लिए, एल्गोरिद्म एक अनुपस्थित प्रश्न का प्रबंधन बदलता है। जिन रिकॉर्ड में पहले स्कोर नहीं बनता था, उनमें अब संख्यात्मक परिणाम आते हैं। टीम अलग स्थानों पर अनुपस्थित उत्तरों वाले उदाहरणों की स्वतंत्र रूप से अपेक्षित गणनाओं से तुलना करती है। वह दर्ज करती है कि संशोधित स्कोर रिपोर्टों में कहाँ आते हैं और नियम पुराने डेटा पर लागू है या नहीं। अनुप्रयोग की काम करती स्क्रीन स्वीकृति का पर्याप्त साक्ष्य नहीं है।
समीक्षा जाँच
- उलटी कोडिंग और अनुपस्थित प्रश्नों को लक्षित करते छोटे उदाहरण उपयोग करें।
- हर स्कोर का संबंध स्रोत उत्तरों और एल्गोरिद्म संस्करण तक खोजें।
- पुनर्गणित परिणामों को पुराने नियमों से बने परिणामों से अलग रखें।
स्वीकृति और सीमाएँ
स्वीकृति का अर्थ है कि स्कोर की परिभाषा और उसके इनपुट फिर स्थापित किए जा सकें। केवल तकनीकी शुद्धता माप की नैदानिक वैधता स्थापित नहीं करती। प्रामाणिक स्कोरिंग सामग्री की उपयुक्तता और उपयोग की शर्तें अलग आँकें। संस्करण बदलाव को बग सुधार कहने से प्रभावित अध्ययन परिणामों पर वैज्ञानिक और विश्लेषण संबंधी प्रभाव पर विचार करने की आवश्यकता समाप्त नहीं होती।
अक्सर पूछे जाने वाले प्रश्न
- क्या समान उत्तरों से समान स्कोर बनना चाहिए?
- एक ही स्वीकृत नियम के अंतर्गत हाँ; नियम बदलने पर अंतर और उसका लक्षित उपयोग समझाएँ।
- क्या पुराना स्कोर अधिलेखित किया जा सकता है?
- पिछला परिणाम बिना स्पष्टीकरण गायब होने देने के बजाय पुनर्गणना का तर्क और संस्करण संबंध बनाए रखें।