The comparison of performances of the automated scoring algorithms: the maximum entropy and support vector regression method

Lee, Yong-Sang; Si, Ki-Ja; Park, Do-Young; Yoon, Kyuing-A; Koo, Seul-Ki; Lim, Hwang-Kyu

doi:10.29221/jce.2013.16.3.147

J. Curric. Eval. 2013; 16(3):147-165

pISSN: 1229-1544

DOI: https://doi.org/10.29221/jce.2013.16.3.147

Article

쓰기 자동채점 알고리듬의 성능 비교: 최대 엔트로피 기법과 서포트 벡터 회귀 기법

이용상¹^,^†, 시기자², 박도영¹, 윤경아³, 구슬기⁴, 임황규⁴

The comparison of performances of the automated scoring algorithms: the maximum entropy and support vector regression method

Yong-Sang Lee¹^,^†, Ki-Ja Si², Do-Young Park¹, Kyuing-A Yoon³, Seul-Ki Koo⁴, Hwang-Kyu Lim⁴

Author Information & Copyright ▼

¹한국교육과정평가원 부연구위원

²한국교육과정평가원 연구위원

³SK 텔레콤 매니저

⁴한국교육과정평가원 전문연구원

¹Korea Institute for Curriculum and Evaluation

²Korea Institute for Curriculum and Evaluation

³SK Telecom

⁴Korea Institute for Curriculum and Evaluation

^†Corresponding Author : Yong-Sang Lee, E-mail : yong21c@kice.re.kr

ⓒ Copyright 2013, Korea Institute for Curriculum and Evaluation. This is an Open-Access article distributed under the terms of the Creative Commons Attribution NonCommercial-ShareAlike License (http://creativecommons.org/licenses/by-nc-sa/4.0) which permits unrestricted non-commercial use, distribution, and reproduction in any medium, provided the original work is properly cited.

Received: Aug 27, 2013 ; Revised: Sep 30, 2013 ; Accepted: Oct 16, 2013

Published Online: Nov 30, 2013

요약

한국교육과정평가원에서는 국가영어능력평가시험에 최적화된 쓰기 자동채점 프로그램을 개발 중에 있다. 자동채점 프로그램의 성능은 기계학습에 적용되는 알고리듬에 의해 많은 영향을 받으며, 현재 국가영어능력평가시험 쓰기 자동채점 프로그램에서는 가장 일반적으로 사용되고 있는 알고리듬인 최대 엔트로피 기법과 서포트 벡터 회귀 기법을 적용하고 있다. 본 논문에서는 쓰기 자동채점 프로그램에 적용된 두 가지 알고리듬에 따른 채점 성능을 비교·분석하였다. 이를 위해 n-fold 방식을 이용한 모의실험과 실제 채점자료를 이용한 실증 연구를 통하여 두 가지 알고리듬의 성능을 비교하였다. 분석 결과, 모의실험 및 실증 분석 모두에서 서포트 벡터 회귀 기법이 최대 엔트로피 기법보다 국가영어능력평가시험 쓰기 영역 채점에 더 적합한 알고리듬인 것으로 확인되었다.

Keywords: 자동채점 알고리듬; 최대 엔트로피 기법; 서포트 벡터 회귀 기법; n-fold 모의실험