주관식 시험을 포함하고 있는 A국가고사의 채점자 효과에 대한 일반화가능도 연구

일반화가능도 이론은 고전검사 이론에서 설명할 수 없었던 다중 오차원을 분석하여 검사점수의 변동요인의 상대적 영향력을 비교할 수 있는 분석 틀을 제공하며, 특히 주관식 채점 상황에서 채점자에 기인된 검사점수의 영향 정도를 파악할 수 있다는 장점이 있다. 이 연구에서는 객관식과 주관식 시험을 포함하고 있는 A국가고사를 선택하여, 주관식 시험의 채점자 요인이 검사점수의 일반화가능도에 미치는 영향을 분석하였다. 분석 결과 공통적으로 나타난 현상은 채점자 및 채점자와 관련된 효과가 거의 0에 가깝게 나타났다는 점으로 채점자를 포함하는 다른 선행 연구와는 상당히 다른 결과를 나타낸 것이다. 극히 작게 나타난 채점자 효과가 정선된 채점 기준표와 구조화된 채점자 훈련의 효과 때문이라면 현재의 측정구조를 유지하는 것이 타당하지만, 그렇지 않았다면 이를 극복할 수 있는 더 적합한 채점 체계에 대한 후속 연구가 이루어져야 할 것이다.