국가수준 학업성취도 평가 서답형 문항에 대한 자동채점의 실용성 분석¹⁾

I. 서론

유럽과 북미 국가들을 중심으로 초·중등 학생들의 미래사회 핵심역량을 강화하기 위한 교육이 강조되면서, 고차원적 핵심역량을 평가하기 위해 선택형 문항에서 벗어나 서답형 문항과 수 행형 문항의 비중을 확대하기 위해 노력하고 있다(이상하 외, 2014). 선택형 문항은 학생들이 주어진 답안 중에서 정답을 선택하도록 요구하지만, 서답형 문항은 학생들이 스스로 답안을 작 성하도록 요구한다. 즉, 서답형 문항은 선택형 문항에 비하여 학생들의 답안 작성이 자유롭다는 측면에서 고차원적 사고를 측정하는 데 유리한 점이 있다. 학교 교육이 지향하는 고차원적 사고를 평가하기 위해서는 다양한 형식의 서답형 문항들을 사용하는 것이 바람직하지만, 지필평가 형식으로 시행되는 대규모 학업성취도 평가의 경우 서답형 문항의 채점에 소요되는 시간과 비용 등은 현실적으로 큰 부담이 된다. 예를 들어, 우리나라 국가수준 학업성취도 평가에 포함되는 서답형 문항의 형식과 비중은 매우 제한적이지만 채점에 참여하는 인력과 채점에 소요되는 시간과 비용은 적지 않다. 대규모 학업성취도 평가에서 다양한 형태의 서답형과 수행형 문항을 부담 없이 사용하기 위해서는, 서답형 문항과 수행형 문항을 효율적으로 시행하고 채점할 수 있는 컴퓨터 기반 평가와 자동채점을 도입할 필요가 있다.

미국의 NAEP(National Assessment of Educational Progress), 영국의 NCA(National Curriculum Assessment), 호주의 NAPLAN (National Assessment Program - Literacy and Numeracy), 국제 학업성취도 평가인 PISA(Programme for International Student Assessment)와 TIMSS (Trends in International Mathematics and Science Study) 등의 경우에, 전체 문항 수 중 서답형 문항의 비율이 30%〜60%정도이다(노은희 외, 2012). 그런데 현재 우리나라 중등학교 학생들을 대상으로 시행되는 국가수준 학업성취도 평가의 경우, 서답형 문항의 비중이 약 20%정도로 외국에 비하여 다소 낮은 편이다. 한편, 국제 수준의 대규 모 학업성취도 평가인 PISA에서도 2006년 과학 소양, 2009년 디지털 읽기 소양, 2012년문제해결능력 평가 등에서 컴퓨터 기반의 평가 방식을 통해 학생들의 기본 소양을 측정하였고 2015년에는 컴퓨터 기반 평가를 모든 영역으로 확대할 예정이다(송미영 외, 2013). 이러한 국 제적인 교육평가 동향에 힘입어 우리나라도 국가수준 교육평가에서 컴퓨터 기반 평가 체제의 도입 가능성을 타진한 바 있다(김경희 외, 2013). 이에 노은희 외(2012, 2013, 2014)는 국가 수준 학업성취도 평가를 지필평가에서 컴퓨터 기반 평가로 전환하고 서답형 문항의 비중을 확대 하면서도 채점 부담을 크게 줄일 수 있도록, 2012년부터 한국어 서답형 문항 자동채점 프로그램을 개발하는 연구를 진행하였다.

미국은 차세대 학력평가 2.0을 통해, 2015년부터 단순지식을 측정하는 선택형 문항의 지필 평가를 지양하고 고차원적 핵심역량을 평가할 수 있는 서답형 및 수행형 문항이 강화된 컴퓨터 기반 평가로 전환하는 계획을 주진하였다(Educational Testing Service, 2012). 미국 교육 부는 차세대 학력평가를 개발하기 위해 46개 주정부가 참여하는 PARCC (Partnership for the Assessment of Readiness for College and Careers)과 SBAC(Smarter Balanced Assessment Consortium) 협력체에 모두 3억 3천만 달러를 지원하였다(U.S. Department of Education, 2010). 컴퓨터 기반 평가에서 서답형 및 수행형 문항의 비중을 확대하면서 비용을 크게 증가시키지 않는 방법 중의 하나는 인간 채점자 대신에 공학 도구를 활용하여 서답형 및 수행형 문항을 채점하는 것이다. 미국의 차세대 학력평가 개발 및 시행을 위한 비용분석의 결과는 서답형 및 수행형 문항을 채점하기 위해 인간 채점자를 활용할 경우 채점 비용이 전체 예산의 60% 이상을 차지하는 것으로 나타났으며, 서답형 문항의 특성 및 채점 환경 등과 같은 제반 조건에 따라 차이가 있지만 자동채점의 비용은 인간 채점 비용의 25%〜80% 정도인 것으로 추정되었다(Topol, Olson, & Roeber, 2014). 즉, 컴퓨터 기반 평가로 시행된 서답형 문항에 대한 자동채점은 서답형 문항에 대한 채점의 부담을 획기적으로 줄임으로써 대규모 교육 평가에서 서답형 문항의 비중을 확대할 수 있는 가장 현실적인 수단이 될 수 있다.

한국어 서답형 자동채점 프로그램은 컴퓨터 기반 평가 환경에서 서답형 문항을 효율적으로 처리하기 위한 목적으로 개발되기 시작하였다. 현재 단어·구 수준의 서답형 답안을 처리할 수 있는 자동채점 프로그램 개발이 어느 정도 완료되었고, 문장 수준의 서답형 답안을 처리할 수 있는 자동채점 프로그램을 개발하는 연구가 진행될 예정이다. 그런데 국가수준 학업성취도 평가는 여전히 지필평가로 시행되고 있으며, 가까운 시일 내에 지필평가에서 컴퓨터 기반 평가로 전환할 것이라는 구체적인 계획이 아직은 없다. 따라서 이미 개발되어 있는 한국어 서답형 자동채 점 프로그램의 활용성을 높이기 위해, 지필평가로 시행되고 있는 국가수준 학업성취도 평가의 서답형 답안을 채점하는 방안을 고려할 수 있다. 자동채점 프로그램의 장점이 지필평가 환경에서 많이 반감되지만, 자동채점 프로그램을 활용하여 지필평가의 서답형 문항을 채점하는 것이 기존의 합숙채점 방식보다는 많은 장점이 있을 수 있다.

대규모 교육평가의 서답형 문항에 대한 자동채점 방식의 도입 여부를 결정하기 위해서는 크게 채점 비용의 효율성과 채점 결과의 정확성 측면으로 실용성을 판단할 필요가 있다. 교육평가의 관점에서 서답형 문항은 선택형 문항에 비해 많은 장점을 가지고 있지만, 답안을 채점하는 데 소요되는 비용으로 인해 대규모 평가에서 사용하기 어려운 점이 있다. 따라서 자동채점 도입 여부를 판단할 때 채점 비용의 효율성은 중요한 고려사항이 되어야 한다. 또한, 평가의 결과가 학생 개인에게 미치는 영향을 고려할 때, 채점 비용의 효율성을 이유로 채점 결과의 정확성을 포기할 수는 없다. 특히, 고부담 시험의 경우 자동채점 프로그램이 갖는 채점의 효율성으로 채점 결과의 부정확성을 정당화할 수는 없다. 따라서 채점 결과의 정확성은 자동채점 도입 여부를 판단하는 또 다른 중요한 고려사항이 되어야 한다.

이 연구의 목적은 단어·구 수준의 한국어 답안을 처리할 수 있는 자동채점 프로그램을 활용 하여 국가수준 학업성취도 평가의 서답형 답안을 채점하는 방식이 채점 비용의 효율성 측면과 채점 결과의 정확성 측면에서 실용성이 있는지를 확인하는 것이다.

II. 단어·구 수준 서답형 문항 자동채점 프로그램

서답형 문항에 대한 ‘자동채점’이라는 용어는 서답형 문항을 선택형 문항만큼 기계가 자동으로 정확하게 채점할 수 있을 것 같은 오해를 불러일으키는 경우가 많다. 서답형 문항에 대한 자 동채점은 기계가 채점할 수 있도록 인간이 채점 기준에 해당하는 정답 템플릿을 작성하고, 기계가 처리하지 못하는 답안의 경우 인간이 직접 채점하는 과정 등을 포함한다. WCAL(n.d)에 따르면, 다양한 자동채점 프로그램의 시스템이 있지만, 대개 ①채점 기준표 제공, ② 샘플 답안을 이용하여 모범 답안 템플릿 생성, ③샘플 답안과 비교하여 학생 답안 분석 및 채점, ④채점 과정을 확인하기 위한 수작업 조정 등의 과정을 거친다. 이러한 절차 속에서 채점 관 리자가 개입하여 정답 템플릿을 생성하거나 조정하는 것이며, 프로그램은 이를 보다 간단하고 효율적으로 진행할 수 있도록 지원한다. 즉, 기본적으로 자동채점 프로그램이라고 해서 컴퓨터가 완전하게 100% 처리하는 것이 아니라 채점 관리자가 주요 단계마다 개입하여 채점과 정을 진행하는 것이고, 이러한 인간 개입 과정을 최소화하는 과정이 곧 자동화 과정인 것이다 (노은희, 2014).

〔그림 1〕은 2013년에 개발한 단어·구 수준 자동채점 시스템을 토대로 2014년에 수정·보 완한 자동채점 프로그램의 구조도이다. 2013년에 개발한 자동채점 프로그램은 단어·구 수준의 답안은 95% 이상 자동채점 처리가 가능하도록 단계별 시스템을 갖추고, 문항별로 채점의 정확성과 효율성이 제고되도록 지원 도구들을 보강·개발하였다. 그런데 자동채점 프로그램이 실제성을 갖고 운영되기 위해서는, 단일 교과의 전체 서답형 문항을 대상으로 일련의 통합된 채점 처리 과정을 지원하고 학생별로 최종 채점 결과를 보고하여 교수·학습 과정에 실질적인 피드백을 제공할 수 있는 시스템을 구축할 필요가 있다. 따라서 학생별로 작성된 답안 파일(입력 파 일)을 문항별로 분리하고 각 문항에 대한 채점이 완료된 후에 다시 각 학생에 대한 답안 파일 (출력 파일)로 작성하는 과정이 별도로 필요하다.

그림 1. 2014년 단어ㆍ구 수준 자동채점 시스템 구조도

Download Original Figure

한편, 2013년 개발한 시스템은 채점 전문가가 개입해야 하는 과정이 자동채점 전(前) 정답 템플릿 준비 단계, 자동채점 단계, 후(後)처리 과정인 수작업 채점 단계로 분산되어 있었다. 이러한 개입 과정은 채점 옵션을 전문가의 판단에 따라 결정하는 단계에서 나타나는데, 보통 특수 기호와 불용어²⁾ 제거, 철자 및 띄어쓰기 오류의 교정, 유의어를 적용한 유사 답안 채점과 같이 학생 답안을 정규화하는 과정과 연관되어 있다. 예를 들어, 자동채점 과정에서 실수로 띄어쓰기 무시 옵션을 잘못 설정하거나 정답 템플릿을 구축할 때 유의어 적용 오류가 있었다면 자동채점 및 후처리 과정에서 철자 오류 교정 확인이라는 수작업을 반복해야 하는 비효율성이 발생한다. 이에 인간 개입을 최소화하는 방식으로 자동채점 프로그램의 효율성을 제고할 필요가 있다.

따라서 [그림 1〕의 좌측에 기술한 시스템 개요도에서 나타난 바와 같이, 2014년에 수정·보 완한 자동채점 프로그램은 학생 답안 파일을 문항별로 분리하여 답안 정규화 모듈을 전처리과 정으로 독립시켰다. 또한 [그림 1]의 우측 그림은 전체 시스템의 각 모듈을 상세하게 표현한 것이다. 자동채점 시스템은 크게 ‘답안 분석 및 정규화’ 과정, ‘자동채점’ 과정, 후처리 수작업 채 점’의 과정으로 구성된다.

먼저 ‘답안 분석 및 정규화’과정에서는 문항의 채점 요건에 맞게 학생 답안을 정규화 (normalization)하는 작업을 수행한다.문장부호 및 기호, 띄어쓰기, 맞춤법 사용의 오류를 점검해야 하는 문항이 있는 반면, 그렇지 않은 문항도 존재한다. 채점자가 문항의 특성에 맞게 정규화 옵션을 설정하고 학생 답안을 불러오도록 하면 시스템은 불러온 학생 답안을 대상으로 정규화 작업을 수행한다.

다음으로 ‘자동채점’ 과정에서는 채점기준표에 따라 작성된 정답 템플릿을 통해 초기 일부 학생 답안에 대하여 채점을 수행하고, 정답과 오답으로 판정하기 어려운 답안은 미판단 답안으로 보류하여 후처리 작업으로 넘겨진다.³⁾ 모범 답안 일치 채점, 고빈도 답안 일치 채점, 개념 기반 채점, 단서어 기반 오답 처리의 순서로 진행되며 각 과정에서 모든 답안을 처리하고 미채점된 답안들만 다음 단계로 넘어간다. 모범 답안과 고빈도 답안 일치 채점은 정답 템플릿의 해당 정보와 학생 답안이 완전하게 일치하는 경우에 점수를 부여한다. 가령, 모범 답안인 “아름이를 생포하였다:”와 완전 일치하거나, 다수의 학생들이 작성한 것으로 정답으로 인정되는 답안인 “아름 이를 산 채로 붙잡았다.”와 완전 일치하는 경우 점수가 부여된다. 개념 기반 채점은 학생 답안의 일부 혹은 전체가 정답으로 인정할 수 있는 개념과의 일치 및 유사성 여부 정도를 판단하여 점 수를 부여하는 단계이다. 예를 들어, “반달가슴곰을 생포하였다：”라는 답안에서 ‘아름아’와 ‘반달 가슴곰’을 동일 개념으로 보고 점수를 부여하게 된다. 개념 기반 채점으로 걸러지지 않는 답안에 대해서는 ‘단서어 목록’을 작성하고 답안에 단서어가 출현하지 않으면 오답으로 처 리하는 과정이 추가된다. 단서어는 정답 또는 부분 정답이 될 수 있는 단어이다. 단서어 기반 오답 처리는 정 답 템플릿에 단서어가 존재하는 경우에만 수행되며 학생 답안에 단서어 목록의 단어가 하나도 존재하지 않으면 오답으로 처리한다. 즉, ‘아름이’, ‘반달가슴곰’, ‘반달곰’ 등의 단어가 출현하게 되면 수작업 채점을 할 수 있도록 미판단 답안으로 남겨두고, 출현하지 않게 되면 오답으로 처 리한다. 이는 수작업 채점을 최소화할 뿐만 아니라 자동채점의 오류 가능성을 줄이기 위한 단계 라 할 수 있다.

마지막으로 ‘후처리 수작업 채점’ 과정에서는 자동채점 프로그램으로 채점이 되지 않은 미판단 답안에 대해 수작업으로 채점을 수행한다. 이때, 수작업 채점 도구를 지원하여 유사한 답안들을 모아서 한꺼번에 채점할 수 있도록, 클러스터링 작업을 수행하여 정답 템플릿을 갱신하거나 빈도가 낮은 답안 유형들을 수작업으로 채점한다.

III. 분석 방법

현행 국가수준 학업성취도 평가는 지필평가의 형식으로 시행되고 있으며 선택형 문항과 서답 형 문항으로 구성되어 있다. 자동채점 프로그램을 활용하여 국가수준 학업성취도 평가의 서답형 답안을 채점하는 것이 어느 정도 유용한지를 분석하기 위해 합숙채점과 자동채점의 비용을 비교하고, 자동채점의 결과와 인간채점 결과가 일치하는 정도를 추정하는 분석 방법을 사용하였다.

IV. 분석 결과

자동채점 프로그램을 활용하여 국가수준 학업성취도 평가의 서답형 문항을 채점하는 것이 현 행 합숙채점 방식에 비하여 어느 정도 유용한지를 분석하였다. 합숙채점 방식과 자동채점 방식의 채점 과정을 비교하여 비용 차이를 산출하였고, 인간채점 결과와 자동채점 결과의 상관관계와 일치도를 추정하였다.

V. 결론 및 제언

본 연구는 2012년부터 개발하기 시작한 단어·구 수준 자동채점 프로그램을 활용하여 지필 평가 서답형 문항을 채점하는 방식의 실용성을 확인하기 위해 채점 비용의 효율성과 채점 결과의 정확성 측면으로 나누어 분석하였다. 이를 위하여, 2014년 중학교 국가수준 학업성취도 평가의 사회 교과서답형 문항을 대상으로 기존의 합숙채점 방식과 자동채점 방식을 적용하여 채점하고 그 결과를 비교하였다.

자동채점 프로그램을 이용한 채점 방식은 기존의 합숙채점 방식에 비하여 인력은 약 $\frac{1}{3}$ 수준으로 절감할 수 있었으며, 채점에 필요한 인력의 수준도 채점이 가능한 전문성보다는 답안을 정확하고 빠르게 입력할 수 있는 능력 정도를 요구하였다. 또한, 자동채점 방식과 기존 합숙채점 방식의 인건비와 숙식비를 비교하였을 때, 자동채점은 합숙채점 비용의 60% 이상을 절감할 수 있는 것으로 나타났으며 자동채점에 최적화된 채점 방식을 적용할 경우 합숙채점 비용의 80% 이상을 절감할 수 있는 것으로 나타났다. 따라서 단어·구 수준의 지필평가 답안에 대한 자동채점 방식은 기존의 합숙채점 방식에 비하여 채점 비용의 효율성이 있는 것으로 확인되었다. 또한, 합숙채점 최종점수와 자동채점 점수 간의 상관계수와 일치도가 매우 높게 나타났다. 2014 년 학업성취도 평가 중3 사회 서답형 문항 14개에 대한 최종점수와 자동채점 점수 간 상관계수는 0.97〜1.00, 완전일치도는 97.76%〜99.99%, 카파계수는 0.94〜1.00인 것으로 나타났 고, 5개 문항에 대한 최종점수와 자동채점 점수 간 근사일치도는 98.29%〜100%, 일차가중카 파계수와 이차가중카파계수는 0.96〜1.00인 것으로 나타났다. 이것은 자동채점의 결과가 채점 전문가들이 부여한 점수와 매우 유사하다는 것을 의미하며, 단어·구 수준 서답형 문항의 자동 채점 결과가 채점 전문가만큼 정확하다는 것을 확인할 수 있었다. 결론적으로, 단어·구 수준의 답안을 요구하는 지필평가의 서답형 문항에 대해서 자동채점 프로그램을 활용하여 채점하는 것이 채점 비용의 효율성과 채점 결과의 정확성 측면에서 실용성이 있는 것으로 확인되었다.

한국어 서답형 문항 자동채점 프로그램의 실용성을 확인하는 과정에서 향후 보완이 필요한 부분을 발견할 수 있었다. 첫째, 자동채점의 경우 인간채점 점수와 비교하여 문항 특성에 따라 채점 비율과 채점 오류에 편차를 보였다. 물론 채점자들도 문항 특성에 따라 채점 비율과 오류에 차이가 나타났지만 그 편차는 자동채점에 비해 크지 않았다. 즉, 자동채점은 특정 문항에 대 해서는 오류가 거의 없이 완벽하게 기능했지만 문항의 답안 복잡성, 답안 유형 수, 배점 분포 등에 따라 채점 비율이 떨어지기도 한다. 따라서 자동채점에 적용하고자 하는 평가 도구별, 교 과별, 문항별 특성을 살펴 프로그램의 기능을 보강할 필요가 있었다. 둘째, 현재의 한국어 자연 언어처리 기술의 한계에 따라 채점 오류 가능성은 언제나 수반되어 나타날 수 있다. 먼저, 개념 기반 채점 단계나 의미 유사도에 의한 군집화 과정에서 형태소 분석, 유사어 처리, 언어 관계 처리, 각종 사전 등이 동원되는데 현재의 자연언어처리 및 지식베이스의 한계로 채점 오류가 나 타날 개연성이 있다. 따라서 자연언어처리 기술을 고도화하고 지식베이스를 풍부하게 구축하면서 자동채점의 오류 가능성을 줄여가는 것과 함께, 프로그램 진행 과정 내에서 채점 전문가가 개입하여 자동채점 결과를 모니터링하고 피드백해 주는 현재의 반복적 순환 흐름을 보다 강화할 필요가 있다. 마지막으로, 컴퓨터 기반 평가가 시행되지 않고 있는 상황에서 학생 답안 입력의 오류가 채점 오류로 나타날 수 있다. 사람이 수기 답안을 입력하는 과정에서 답안 판독이나 타이핑 오류가 발생할 수 있는데, 이러한 문제는 현재 지필평가 체제에서 자동채점 프로그램을 활용하는 데 가장 큰 제약 사항이라고 할 수 있다. 따라서 지필평가 상황에서 자동채점 프로그램을 활용하려면 학생이 답안을 보조 단말기 등으로 직접 입력하거나 또는 복수의 개별 입력자가 학생 답안을 입력하고 교차 검토하는 방식 등을 통해 입력 오류를 최소화하는 방안을 강구해야 한다. 물론 이보다는 서답형 답안을 자동으로 인식할 수 있는 별도의 프로그램 개발 노력을 병 행하는 것이 좀 더 적극적인 대처 방안일 것이다.

인간채점 점수와 자동채점 점수의 불일치는 상당 부분 채점자의 채점 오류에 기인하기도 한다. 채점자들도 자동채점과는 다른 이유로 채점 오류를 발생시킨다. 즉, 채점자 간 및 채점자 내 일관성 문제, 채점 피로 누적에 따른 채점 실수 등이 종종 발견된다. 이러한 문제에 대해 자 동채점 프로그램은 복수의 채점자 중 하나로 대체·기능할 수 있음은 물론, 채점자의 채점 일관성 및 채점 오류 문제를 검토할 수 있는 유용한 보조적 도구가 될 수 있다. 또한 자동채점 프로그램은 매회 실시되는 시험의 학생 답안과 그 채점 정보를 누적적으로 기록·저장할 수 있다. 따라서 학생에게는 맞춤형 학습 정보를 즉시 제공하고 교사들에게는 학생의 반응이나 오개념 유형을 빈도별로 파악하게 함으로써 유용한 교수·학습 지원 도구로 기능할 수 있다. 이러한 자동채점 프로그램의 부가적인 이점으로 대규모 평가는 물론 학교 단위 평가에서도 그 활용 가능성이 높고, 특히 디지털교과서를 활용한 수업, 온라인 수업, 방과후 사이버 학습 등 새로운 학습 환 경에서 더욱 유용할 것으로 판단된다.