Accuracy of estimating expected probability for MAP in standard setting

Park, In-Yong; Song, Mi-Young; Kim, Sungsook

doi:10.29221/jce.2014.17.3.223

J. Curric. Eval. 2014; 17(3):223-245

pISSN: 1229-1544

DOI: https://doi.org/10.29221/jce.2014.17.3.223

Article

수준설정의 타당성 검증을 위한 평정자 기대 정답률의 예측오차 분석

박인용¹, 송미영²^,^†, 김성숙³^,^†

Accuracy of estimating expected probability for MAP in standard setting

In-Yong Park¹, Mi-Young Song²^,^†, Sungsook Kim³^,^†

Author Information & Copyright ▼

¹한국교육과정평가원

²한국교육과정평가원

³한국교육과정평가원

¹Associate Research Fellow, Korea Institute for Curriculum and Evaluation

²Research Fellow, Korea Institute for Curriculum and Evaluation

³Senior Research Fellow, Korea Institute for Curriculum and Evaluation

^†Corresponding Author : Mi-Young Song, E-mail : mysong@kice.re.kr

ⓒ Copyright 2014, Korea Institute for Curriculum and Evaluation. This is an Open-Access article distributed under the terms of the Creative Commons Attribution NonCommercial-ShareAlike License (http://creativecommons.org/licenses/by-nc-sa/4.0) which permits unrestricted non-commercial use, distribution, and reproduction in any medium, provided the original work is properly cited.

Received: Aug 29, 2014 ; Revised: Sep 30, 2014 ; Accepted: Oct 13, 2014

Published Online: Nov 30, 2014

요약

이 연구는 앙고프(Angoff) 방법에 의한 수준설정의 절차적 측면에서 타당성을 점검하는 연구로, 평정자의 기대 정답률 예측에 대한 라운드별 예측 정확성을 탐색하였다. 2010년 중·고등학교 학업성취도 평가의 수준설정에서 라운드별 평정자가 각 문항별로 예측한 기대 정답률 자료와 문항 응답 자료를 활용하여 기대 정답률 예측의 정확성 지수를 문항 난이도, 문항 유형별로 산출한 결과, 수준설정 라운드가 진행됨에 따라 평정자들의 기대 정답률과 실제 정답률간 오차가 점차 감소하여 절차적 측면에서의 타당성 증거를 확인하였다. 평정자들은 문항이 쉬울 경우 기대 정답률을 과소 추정하였고, 문항이 어려울 경우 과대 추정하는 경향을 보였으며, 문항 유형에 따라서는 학교급, 교과, 성취수준별로 라운드에 따른 오차 경향이 다양하게 산출되었다. 이러한 결과에 기반하여 내용 전문가의 문항 정답률 예측을 필요로 하는 수준설정 방법을 적용할 때 기대 정답률 예측에 대한 평정자 훈련의 고려사항을 제언하였다.

Keywords: 수준설정; 앙고프 방법; 기대 정답률; 절차적 타당성