- प्रकाशन
- अद्यतन
जब समापन बिंदु मानवीय निर्णय पर निर्भर हो, तो अलग-अलग मूल्यांकनकर्ताओं को उसके नियम एकसमान लागू करने चाहिए। केवल प्रशिक्षण में उपस्थिति का अभिलेख यह नहीं दिखाता कि मूल्यांकनकर्ता मापन की व्याख्या और उसे करने का तरीका समान रखते हैं।
प्रश्न और मान्यताएँ परिभाषित करें
निर्णय के उन बिंदुओं की पहचान करें जिनमें व्याख्या की गुंजाइश है। केवल सहमति का समग्र प्रतिशत बताने के बजाय, संदर्भ उदाहरणों से असहमति की जाँच करें। चर्चा करें कि सहमति का सांख्यिकीय माप श्रेणियों की संरचना और घटना वितरण के अनुरूप है या नहीं। अंशांकन में मापन नियम लागू करना सिखाना चाहिए, किसी विशेष उपचार परिणाम के पक्ष में व्याख्या करना नहीं।
काल्पनिक अध्ययन का उदाहरण
एक काल्पनिक परीक्षण में दो मूल्यांकनकर्ता समान अभिलेखों को अलग गंभीरता श्रेणियाँ देते हैं। असहमति एक श्रेणी की सीमा के आसपास केंद्रित है। टीम निर्देश स्पष्ट करती है और नए उदाहरणों पर परीक्षण करती है; मूल अभ्यास के उत्तर याद कर लेना वास्तविक परिस्थितियों में सहमति सुधरने का साक्ष्य नहीं माना जाता।
डिज़ाइन समीक्षा के जाँच बिंदु
- अंशांकन अभ्यासों में सीमा पर स्थित उदाहरण और अक्सर भ्रम पैदा करने वाली श्रेणियाँ शामिल करें।
- प्रारंभिक रेटिंग सुरक्षित रखें ताकि असहमति का स्थान और उसके कारण दिखाई देते रहें।
- अध्ययन के संचालन के दौरान आकलन की पद्धति में धीरे-धीरे होने वाले बदलाव की उपयुक्त जाँचों की योजना बनाएँ।
निर्णय और उसकी सीमाएँ दर्ज करें
स्वीकृति किसी सार्वभौमिक सहमति सीमा की मान्यता पर नहीं, बल्कि विशिष्ट कार्य के लिए नियम सक्षम ढंग से लागू करने के साक्ष्य पर निर्भर करती है। पुनःप्रशिक्षण और पुनर्मूल्यांकन दस्तावेज़ित करें। सहमति सुधरना अपने आप नैदानिक वैधता स्थापित नहीं करता: सटीकता, संगति और वैज्ञानिक अर्थ अलग प्रश्न हैं और परिणाम रिपोर्ट करते समय उनका अंतर बना रहना चाहिए।
अक्सर पूछे जाने वाले प्रश्न
- क्या उच्च सहमति सटीकता स्थापित करती है?
- नहीं। मूल्यांकनकर्ता एक ही गलत व्याख्या को लगातार लागू कर सकते हैं।
- क्या एक प्रशिक्षण अभ्यास पूरे अध्ययन के लिए पर्याप्त है?
- हमेशा नहीं। विधि में बदलाव और आकलन के व्यवहार में खिसकाव के संकेत पुनर्मूल्यांकन को उचित ठहरा सकते हैं।