반복측정의 관점에서 본 분류일치도 계수의 유형

분류일치도는 피험자의 특성을 위계적 범주로 구분하고자 하는 검사의 신뢰도로서 종종 간주된다. 분류일치도를 측정하기 위해서는 적어도 두 개 이상의 반복측정 자료가 필요한데, 연구의 목적에 부합하는 반복측정 자료를 얻기 위해서 검사개발자는 검사과정의 반복을 통해 변화시키고자 하는 요인과 변화시키지 않고자 하는 요인을 정의해야 하며, 이에 따라 자료 수집의 설계와 측정방법이 결정되어야 한다. 검사개발자가 이러한 요인들을 어떻게 개념화하는가에 따라 분류일치도의 유형이 달라진다. 본 연구에서는 분류일치도의 유형을 검사－재검사 분류일치도, 동형검사 분류일치도, 검사내적 분류일치도 등의 세 가지로 구분하고, 문헌에서 제시된 분류일치도 측정방법 중 세 가지를 선택하여 반복측정의 관점에서 재조명하였다. 또한 분류일치도를 어떻게 개념화하는가에 따라 분류일치도 계수의 측정치가 얼마나 달라지는지를 보기 위해 본 연구에서 소개된 세 가지 방법을 실제 자료에 적용한 결과를 예시하였다.

Classification consistency is often considered as reliability of a measurement procedure involving classifications of examinees into a set of ordered categories. In order to quantify classification consistency, an investigator should define the universe of intended replications, and determine data collection designs as well as methods for estimating classification consistency that would be the most suitable for the intended replications. This process is important because classification consistency estimated from different conceptualizations about replications may produce different types of classification consistency estimates. This paper differentiates three types of classification consistency from the perspective of replications (test-retest classification consistency; alternate-forms classification consistency; and internal classification consistency), and introduces three model-based approaches to estimating classification consistency based on each conceptualization, with focuses being given to the intended universe of replications. An empirical analysis will be provided at the end to illustrate differences in estimation according to different conceptualizations about the universe of replications.