교육평가

국가수준 학업성취도 평가 결과와 연계한 서답형 답안 반응 유형 분석1)- 2015년 고등학교 수학과 국가수준 학업성취도 평가 중심으로-

박수민1, 이광상2,
Soo Min Park1, Kwang Sang Lee2,
Author Information & Copyright
1한국교육과정평가원 전문연구원
2한국교육과정평가원 연구위원
1Researcher, Korea Institute for Curriculum and Evaluation
2Research Fellow, Korea Institute for Curriculum and Evaluation
Corresponding Author : Kwang Sang Lee, E-mail : leeks@kice.re.kr

ⓒ Copyright 2017, Korea Institute for Curriculum and Evaluation. This is an Open-Access article distributed under the terms of the Creative Commons Attribution NonCommercial-ShareAlike License (http://creativecommons.org/licenses/by-nc-sa/4.0) which permits unrestricted non-commercial use, distribution, and reproduction in any medium, provided the original work is properly cited.

Received: Apr 05, 2017 ; Revised: May 04, 2017 ; Accepted: May 17, 2017

Published Online: May 31, 2017

요약

본 연구에서는 2015년 고등학교 국가수준 학업성취도 평가의 수학과 서답형 문항에 대한 학생 답안 반응을 유형별, 성취수준별로 분석하여 고등학교 수학과 교수·학습의 시사점을 도출하고자 하였다. 분석 대상이 되는 문항은 서답형 1번과 서답형 2번 문항으로 각각 집합과 명제, 수열 단원에서 출제 되었다. 학업성취도에 응시한 452,516명의 전체 집단의 평가 결과를 제시하고, 층화 군집 방식으로 표본 추출된 7,486개의 서답형 문항 학생 답안 반응을 분석하였다. 더욱 상세한 분석을 위해 210개의 문제해결 과정 사례 조사를 시행하여 분석함으로써 답안을 유형화 하였다. 유형화 된 답안별로 학생들이 나타내고 있는 오개념을 알아보고, 학업성취도 평가 결과와 연계하여 분석함으로써 유형별 및 성취수준별 교수·학습 시사점을 도출하였다.

ABSTRACT

The purpose of this study is to indicate the implications for teaching and learning high school mathematics by analyzing the students' responses on constructed response items from 2015 National Assessment of Educational Achievement(NAEA) by category and achievement level. The test items, the constructed response item 1 and 2, were set from the range of “set and proposition” and “sequence”. The results of 452,516 students who applied for the academic achievement were presented and the responses of the 7,486 constructed response items were sampled by the stratified cluster method were analyzed. For more detailed analysis, 210 cases of problem solving procedure were conducted and categorized into meaningful responses. From the results of categorizing constructed response items, the misconceptions which students had were examined and these were interpreted for teaching and learning high school mathematics.

Keywords: 국가수준 학업성취도 평가; 성취수준; 학생 답안 유형 분석; 서답형
Keywords: National Assesment on Educational Achievement(NAEA); Achievement Level; Analysis on constructed response items; Construct Response Items

Ⅰ. 서론

서답형 문항은 문제에 대한 가장 일반적인 답을 선택하는 것이 아니라 대답을 생성하도록 요구하는 질문 형식을 말하며(Bennet, 1991) 학생들이 여러 개의 답지 가운데 하나 이상의 답지를 선택하는 선다형 문항과는 다르게 문제에 대해 자유롭게 반응 할 수 있는 형태의 문항으로 이러한 유형의 문항은 학생들에게 단순히 문제를 인식하게 하는 것에 그치는 것이 아니라 응답을 창조해 내도록 요구한다(Popham, 2006). 서답형 문항의 답안에는 학생들의 종합적인 사고흐름이나 개념에 대한 이해를 유추해볼 수 있는 요소들이 포함되어 있기 때문에 학생들의 문제에 대한 조직력, 분석력, 비판력, 종합력, 창의력 등을 측정할 수 있으며 그에 따른 다양한 교육적 효과와 시사점을 낳는다(성태제, 2009; 황정규, 1998; Nitko, 2004; Livingston, 2009).

서답형 문항에 대한 분석은 다양한 연구에서 다루어지고 있다. 서답형 문항의 학생 답안을 분석한 다수의 연구들(김지현, 2015; 박명은 2015; 성기은, 2016; 안준철, 2015; 유현영, 2016; 이용규, 2016; 이은정, 2016; 전희선, 2015)은 서답형 문항에 대한 필요성과 가치가 거듭 강조하고 있으며. 이러한 연구들은 국가수준에서 행해지는 학업성취도 평가의 서답형 문항에 대한 학생 반응을 분석하고자 하는 본 연구의 당위성을 높여 준다. 또한 서답형 문항의 다양한 오답 유형은 학생들이 지니고 있는 오개념에 대한 단서를 제공한다. 이에 서답형 문항에서 나타난 여러 가지 오류의 유형을 분석하는 것은 오개념과 관련하여 교수·학습에 대한 폭넓은 분석과 시사점을 제공하기 때문에 다양한 형태로의 연구들이 지속되어 오고 있다. Harder 외(1987)은 수학과 서술형 답안 속에서 Misused data(잘못 사용된 데이터), Misinterpreted language(잘못 해석된 언어), Logically invalid inference(논리적으로 부적절한 추론), Distorted theorem or definition(왜곡된 정리 또는 정의), Unverified solution(모호한 풀이) 그리고 Technical error(기술적 오류)의 6가지 유형의 오류가 나타난다고 제시했다. 따라서 오류유형에 따른 학생들의 사고를 다각적으로 검토하여 교육적으로 유의미한 정보를 얻을 수 있도록, 서답형 문항의 학생 답안에 대한 질적인 분석은 필연적으로 요구된다(김래영 외, 2013; 이인호 외, 2016).

최근에도 수학과의 서답형 문항에서 나타난 오류 유형의 분석이나 인식에 대한 연구나 서답형 문항의 활용 방안에 대해 다양한 연구(박주영, 2008; 정현도, 2010; 김래영, 2013; 홍승일, 2013, 정연주, 2013, 김성희, 2012, 정현미, 2011; 황강철, 2009)가 이루어지고 있다. 하지만 이러한 선행 연구들은 주로 특정 학교 단위의 소규모 연구로써 연구 대상의 규모가 작아 그 결과를 일반화 하여 도출하는 데에는 무리가 있으며, 학생이나 교사의 인식 조사에 그치는 경우가 많았다(이인호 외, 2015).

이에 국가수준 학업성취도 평가에서는 매년 선다형 문항과 더불어 서답형 문항을 출제해 오고 있으며 이에 대한 분석과 연구를 지속해 오고 있다. 국가수준 학업성취도 평가는 현재 서답형 문항 및 서술형 문항을 포함하고 있는 가장 큰 규모의 전국 단위 평가이기 때문에 우리나라 전체 학생들의 평균적인 학업성취 특성 및 성취수준별 학업성취 특성을 파악할 수 있는 장점이 있다. 즉 학업성취도 평가 서답형 문항의 학생 답안에 대한 분석을 통해 우리나라 전체 학생들의 개념과 사고 과정을 유추할 수 있다. 이러한 전국 단위의 대규모 평가에서 서답형 문항을 출제하고 평가하는 일은 채점에 많은 시간과 인력 및 비용이 소요되지만 학업성취도 평가에서는 매년 개선을 거듭하여 채점 업무의 효율성을 높이고 있다. 서답형 문항을 지속적으로 출제하여 왔음에도 불구하고, 지금까지의 학업성취도 평가의 결과 분석은 전체 집단의 평균 정답률과 변별도, 성취수준별 정답률과 변별도, 선다형 문항의 답지별 반응률 등 양화된 자료 산출에 편중되어 왔다. 질적인 정보가 담겨있는 서답형 문항에 대해서도 정답률과 변별도, 부분점수 비율과 같은 단순한 기술 통계치에 의존하여, 학생 응답에 대한 심층적인 분석은 이루어지지 못하였다. 서답형 문항은 학생의 자유로운 반응을 허용하므로, 이에 대한 학생 답안을 분석한다면 문항에 담긴 개념 및 내용의 인식 수준, 관련 사고력 수준에 대한 유용한 정보를 얻을 수 있는 기회가 된다(이인호 외, 2016).

2015년 고등학교 국가수준 학업 성취도 평가에 참여한 학생 수는 총 452,516명이며 본 연구에서는 7,486개의 고등학교 수학과 서답형 국가수준 학업 성취도평가 결과의 학생 답안을 심층 분석함으로써 성취수준별 답안 반응의 유형을 도출하고, 유형별 답안의 특징과 오류를 분석해 봄으로써 성취수준별, 유형별 교수·학습방법의 개선을 위한 시사점을 도출하고 연구 결과의 활용 방안을 제시하는 것을 목적으로 하며, 이와 같은 연구는 교수·학습 개선에 많은 도움을 줄 수 있을 것이다.

Ⅱ. 연구 방법 및 절차

본 연구에서는 2015년 고등학교 수학과 학업성취도 평가 서답형 2문항(하위문항 포함 총 3문항)의 전체집단의 평가결과2)를 분석하고 성취도 점수에 따른 부분점수별 그래프를 도출한 후 성취 수준별 학업성취 특성을 분석하였다. 또한 유형화한 답안의 성취수준별 유형별 빈도 및 반응률 그래프를 도출하고 유형별 답안의 빈도와 성취 수준별 특성을 분석을 통해 학생들의 답안 유형에 따른 성취 수준별 교수학습 시사점을 도출하고 유형별 특징을 파악한 후 그에 따른 교수·학습 방안을 제시하였다.

서답형 답안 반응을 분석하여 교수․학습 시사점을 도출한 절차는 [그림 Ⅱ-1]과 같다.

jce-20-2-85-g2_1
그림 Ⅱ-1. 서답형 문항 답안 분석 절차
Download Original Figure

첫째로, 2015년에 시행한 고등학교 2학년 수학과 학업성취도 평가에 참여한 전체 고등학교 2학년 학생집단의 평가결과를 제시하고 검사 동등화와 채점 기준 확정을 위해 추출한 표집 집단의 평가 결과를 활용하였다. 구체적으로 제시하면 학업성취도 평가에 참여한 전체 고등학교 2학년 학생집단에서 층화 군집 방식을 적용하여 표본 집단 237개 학교(7,468명)을 추출하여 학생의 답안 내용을 전산에 입력하고 성취도 점수와 연계한 데이터베이스를 구축한 후 답안을 분석하였다. 답안의 전산 입력 방법을 자세히 제시하면, 먼저 2015년 서답형 문항의 답안지가 이미지 파일로 저장되어 있는 문항들을 대상으로 학생 답안3)을 검토 한 후 표본 집단(7,486명)의 답안을 직접 전산 입력하였다. 둘째로, 각 문항별로 전산화 된 7,486개의 답안을 토대로 1차 답안 유형 분류를 하였다. 셋째로, 3회에 걸친 전문가 협의회를 통해 답안 유형 분류의 타당성을 검토하고 유형을 수정·보완 하였다. 2015년도 서답형 문항은 단답형이므로 학생들의 문제해결과정을 더 상세하게 파악하기 위해 5개 학교 210명의 학생을 대상으로 조사한 서술형 문제 해결 과정의 사례 연구를 실시하였고, 이를 토대로 최종 답안 유형을 설정하였다. 넷째로, 각 문항의 하위문항별로 분류한 답안 유형이 차지하는 인원수와 비율을 산정하여 표로 나타내고, 성취도 점수에 대한 도수와 비율 분포를 그래프로 제시하였다. 마지막으로 위의 분석을 바탕으로 서답형 문항에 대한 학생들의 학업 성취 특성을 성취수준과 반응 유형별로 다양하게 분석하였고, 이를 토대로 교수・학습에 필요한 시사점을 도출하였다.

Ⅲ. 학업성취도 평가 결과

<표 Ⅲ-1>은 2015년 고등학교 수학과 학업성취도 평가에서 출제된 서답형 2문항(하위문항3문항)에 대한 문항의 정보와 평가 내용을 정리한 것이다.

표 Ⅲ-1. 2015년 학업성취도 평가의 고등학교 서답형 1번과 2번 문항의 정보와 평가 내용(이인호 외, 2016)
문항 번호 내용영역 행동영역 평가 내용
서답형 1 집합과 명제 이해

부분집합 구하기

서답형 2-(1) 수열 계산

등차수열의 첫째항과 공차 구하기

서답형 2-(2) 수열 문제해결

등차수열의 일반항과 합 구하기

Download Excel Table
1. 서답형 1번
가. 서답형 1번 문항 정보

서답형 1번 문항은 집합과 명제의 영역에서 출제 되었다. 서답형 답안 반응을 통해 학생들이 부분집합을 알고 있는지, 교집합이나 원소의 개수와 같은 집합의 기호를 해석할 수 있는지 등을 볼 수 있었다.

jce-20-2-85-g3_1
그림 Ⅲ-1. 2015년 고등학교 수학과 서답형 1번 문항
Download Original Figure
나. 서답형 1번의 학업성취도 평가 결과

서답형 1번 문항의 전체 집단 정답률은 80.48%로 나타났으며, 우수학력, 보통학력, 기초학력, 기초미달학력의 정답률은 각각 98.15%, 89.19%, 42.02%, 6.79% 순으로 나타났다. 서답형 1번은 2점의 점수가 배정되었으며 2점을 모두 받은 학생들의 비율은 76.67%, 1점을 받은 학생들의 비율은 7.61%, 0점을 받은 경우는 15.71%로 나타났다. <표 Ⅲ-2>는 전체 집단의 학업성취도 평가 결과를 나타낸 표이고, [그림 Ⅲ-2]는 서답형 1번의 점수 빈도 분포와 비율 분포를 나타낸 그래프이다.

표 Ⅲ-2. 2015년 고등학교 수학과 서답형 1번의 전체 집단 평가 결과 (이인호 외, 2016)
문항
번호
행동
영역
변별도 정답률
(%)
성취수준별 정답률(%) 부분점수 비율(%)
우수 보통 기초 기초미달 0점 1점 2점
1 이해 0.48 80.48 98.15 89.19 42.02 6.79 15.71 7.61 76.67
Download Excel Table
jce-20-2-85-g3_2
그림 Ⅲ-2. 2015년 고등학교 수학과 서답형 1번의 점수 빈도 분포와 비율 분포 (이인호 외, 2016)
Download Original Figure
2. 서답형 2번
가. 서답형 2번 문항 정보

서답형 2번 문항은 수열 영역으로 총 4점의 점수가 배정되었으며 두 개의 하위문항으로 이루어졌다. 서답형 2-(1)번에서는 등차수열의 첫째항과 공차의 의미를 알고 구할 수 있는지, 서답형 2-(2)번에서는 등차수열의 일반항과 그 합을 구할 수 있는지를 평가하기 위해 출제되었으며, 문항은 [그림 Ⅲ-3]과 같다.

jce-20-2-85-g3_3
그림 Ⅲ-3. 2015년 고등학교 수학과 서답형 2번 문항
Download Original Figure
나. 서답형 2번의 학업성취도 평가 결과

<표 Ⅲ-3>은 전체집단에서 나타난 서답형 2번 전체와 각 하위문항별로 전체 집단이 보인 정답률과 변별도, 성취수준별 정답률 및 부분점수별 비율을 나타낸 것이다.

서답형 2번의 전체 정답률은 55.64%이고 변별도는 0.68으로 매우 높게 나타났으며, 우수학력, 보통학력, 기초학력, 기초미달학력의 정답률은 각각 91.93%, 54.84%, 7.25%, 0.74% 순으로 나타났다.

표 Ⅲ-3. 2015년 고등학교 수학과 서답형 2번의 전체 집단 평가 결과 (이인호 외, 2016)
문항
번호
행동
영역
변별도 정답률
(%)
성취수준별 정답률(%) 부분점수 비율(%)
우수 보통 기초 기초미달 0점 1점 2점 3점 4점
2 - 0.68 55.64 91.93 54.84 7.25 0.74 28.44 4.07 18.26 14.96 34.28
2-(1) 계산 0.64 69.36 99.38 75.44 13.5 1.46 28.56 4.16 67.27 - -
2-(2) 문제해결 0.69 41.92 84.48 34.24 1.01 0.02 50.52 15.11 34.36 - -
Download Excel Table
1) 서답형 2-(1)번

서답형 2-(1)번 문항의 전체집단의 정답률은 69.4%로 나타났으며, 우수학력, 보통학력, 기초학력, 기초미달학력의 정답률은 각각 99.4%, 73.4%, 13.5%, 1.46% 순으로 나타났다. 서답형 2-(2)번 문항의 전체집단의 정답률은 41.9%이며, 우수학력, 보통학력, 기초학력, 기초미달학력의 정답률은 각각 84.5%, 34.2%, 1.0%, 0.02% 순으로 나타났다. 서답형 2-(1)번은 2점의 부분점수를 가지며, 2점을 모두 받은 학생들의 비율은 67.3%이고, 1점과 0점을 받은 학생은 각각 4.2%, 28.6% 순이었다. [그림 Ⅲ-4]는 분석 대상 답안 7,468개를 대상으로 한 성취도 점수에 따른 서답형 2-(1)번의 부분점수 빈도 분포와 비율 분포를 나타낸 그래프 이다.

jce-20-2-85-g3_4
그림 Ⅲ-4. 2015년 고등학교 수학과 서답형 2-(1)번의 점수 빈도 분포와 비율 분포 (이인호 외, 2016)
Download Original Figure
2) 서답형 2-(2)번

서답형 2-(2)번 문항의 전체집단의 정답률은 41.9%이며, 우수학력, 보통학력, 기초학력, 기초미달학력의 정답률은 각각 84.5%, 34.2%, 1.0%, 0.02% 순으로 나타났다. 서답형 2-(2)번은 2점의 부분점수를 가지며, 2점을 모두 받은 학생들의 비율은 34.4%이고, 1점과 0점을 받은 학생은 각각 15.1%, 50.5% 순이었다. [그림 Ⅲ-5]는 분석 대상 답안 7,468개를 대상으로 한 성취도 점수에 따른 서답형 2-(2) 번의 부분점수 빈도 분포와 비율 분포를 나타낸 그래프이다.

jce-20-2-85-g3_5
그림 Ⅲ-5. 2015년 고등학교 수학과 서답형 2-(2)번의 점수 빈도 분포와 비율 분포 (이인호 외, 2016)
Download Original Figure

Ⅳ. 답안 유형 분석

이 장에서는 서답형 2-(1)번과 서답형 2-(2)번의 분석 대상 답안 7,468개를 유형별로 나누고 각 유형에서 나타나는 오류 유형을 분석하였다. 7,468개의 답안이 서답형 문항이었으므로 더 상세한 문제 해결 과정을 알아보기 위해, 5개 고등학교의 총 210명의 학생을 대상으로 조사한 서술형 문제해결 과정의 사례를 함께 제시하였다.

1. 서답형 1번의 답안 유형 분석

<표 Ⅳ-1>에서는 서답형 1번의 학생 답안 유형을 5개로 분류하여 각 유형의 빈도와 비율을 제시하고 있다.

표 Ⅳ-1. 2015년 고등학교 수학과 서답형 1번:유형별 빈도와 비율 (이인호 외, 2016)
문항 번호 내용영역 행동영역 평가 내용
서답형 1 집합과 명제 이해 부분집합 구하기
서답형 2-(1) 수열 계산 등차수열의 첫째항과 공차 구하기
서답형 2-(2) 수열 문제해결 등차수열의 일반항과 합 구하기
Download Excel Table

유형 1은 풀이 과정 중 간단한 집합과 원소의 포함관계에 관한 식을 이용하거나, 벤 다이어그램을 이용하여 옳게 답한 경우이다. 전체집합 U와 두 부분집합 A,B 사이의 관계를 이해하며 A={1,3,4}AB={1}을 통해 1B이고 3B, 4B라는 것을 알고, 조건 nB=2를 통해 집합 B를 모두 옳게 나타낸 경우로 5,845개(78.27%)의 답지가 해당된다. [그림 Ⅳ-1]의 문제해결 과정 사례를 보면, 각각 식을 이용해 답을 구한 경우와 벤 다이어그램을 이용해 답을 구한 경우에 해당한다. 유형 1과 같은 답안의 예로는, ‘B={1,2},B={1,5}’, ‘B={2,1},B={5,1}’등이 있다.

jce-20-2-85-g4_1
그림 Ⅳ-1. 서답형 1번의 유형 1에 대한 문제해결 과정 사례 (이인호 외, 2016)
Download Original Figure

유형 2와 유형 3은 AB={1} 또는 nB=2 의 조건을 적어도 하나는 풀이에 적용하지 못한 경우이다.

유형 2는 398개(5.33%)의 답안으로 적어도 하나의 답안이 {2,5}를 부분집합으로 갖는 경우이다. 유형 2는 1점 또는 0점을 받은 오답이지만 비교적 높은 비율로 나타나고 있다는 점에서 주목해 볼 만 하다. 유형 2의 답안을 보이는 학생들은 전체 집합U에서 집합 A={1,3,4}를 빼고 남은 원소 {2,5}를 이용하여 집합의 원소들을 구성한 것으로 보인다. [그림 Ⅳ-2]의 문제해결 과정 사례를 보면, 유형 2와 같이 답한 학생들은 AB=U 라는 오개념을 가지고 접근한 것으로 보인다. 에도 원소가 존재 할 수 있다는 사실에 다양한 문제를 풀어보며 더 익숙해질 필요가 있다.

jce-20-2-85-g4_2
그림 Ⅳ-2. 서답형 1번의 유형 2에 대한 문제해결 과정 사례 (이인호 외, 2016)
Download Original Figure

유형 3은 전체집합 U가 아닌, 문제에 주어진 집합 A={1,3,4}에서 집합 B를 찾은 경우로 306개(4.10%)의 답안이 해당된다.

jce-20-2-85-g4_3
그림 Ⅳ-3. 서답형 1번의 유형 3에 대한 문제해결 과정 사례 (이인호 외, 2016)
Download Original Figure

유형 2와 유형 3과 같은 오답의 형태로 답한 학생들이 교집합 (AB)의 개념이나 원소의 개수 (nB=2)의 개념을 전혀 모른다고 정의 할 수는 없다. 유형 2의 문제 해결 과정의 사례를 보면, 벤 다이어그램의 집합AAB의 위치에 맞게 원소를 넣었으나, nB=2의 조건을 함께 활용하지 못한 경우이다. 또, 유형 3의 문제해결 과정의 사례를 보면, AB의 개념을 옳게 적용하지는 못하였으나 nB=2의 조건은 해석할 수 있는 경우이다. 유형 2와 유형 3의 형태로 답한 학생의 대부분은 문제에서 제시한 두 조건을 적절하게 활용하지 못한 경우로 판단된다.

이 밖에 유형화가 어려운 응답은 325개(4.35%)이며, 무응답의 경우는 594개(7.95%)로 나타났다.

[그림 Ⅳ-4]는 서답형 1번의 유형별 빈도 곡선(왼쪽)와 비율 분포 곡선(오른쪽)을 나타낸 그래프이다.

jce-20-2-85-g4_4
그림 Ⅳ-4. 2015년 고등학교 수학과 서답형 1번:유형별 빈도 분포와 비율 분포
Download Original Figure

서답형 1번 문항은 80.48%의 비교적 높은 정답률을 보이고 있지만, 기초학력 수준 이하의 학생들은 여전히 문제해결에 어려움을 가지고 있다. 이는 기초학력 수준의 학생들이 연산의 정의에 따라, 집합 A와 집합 B가 주어진 경우 AB를 구하는 것은 비교적 쉽게 느끼지만 AB로부터 집합 B를 추론하는 데는 어려움을 겪는 것으로 판단된다. 또한 이 학생들은 역으로 추론하는 능력도 부족할 뿐만 아니라 집합의 기호에도 익숙하지 않는 것으로 보인다. 따라서 다양한 유형의 문제를 해결하는 상황을 제시해 주면서 추론 능력을 키울 수 있도록 지도해야 하며, 집합에서 등장하는 여러 가지 용어의 의미를 단순하게 암기하게 하는 것이 아니라 벤 다이어그램 등을 통해 수학적 기호를 시각화 하여 집합의 여러 가지 기호들의 시각적 이해가 가능하도록 하는 교수·학습 방안이 필요하다.

2. 서답형 2-(1)번의 답안 유형 분석

<표 Ⅳ-2>에서는 서답형 2-(1)번의 학생 답안 유형을 5개로 분류하여 각 유형의 빈도와 비율을 제시하고 있다.

표 Ⅳ-2. 2015년 고등학교 수학과 서답형 2-(1)번의 답안 유형별 빈도와 비율 (이인호 외, 2016)
유형 내용 빈도 비율(%)
유형 1 a=3,d=2를 모두 옳게 쓴 경우 5,191 69.51 a = 3 , d = 2
유형 2 a=3은 옳게 쓰고 d를 구하지 못한 경우 130 1.74 a = 3 , d = 4
a = 3 , d = 3
유형 3 d=2는 옳게 쓰고 a를 구하지 못한 경우 163 2.18 a = 1 , d = 2
a = 5 , d = 2
유형 4 그 외의 경우 742 9.94 a = 2 , d = 3
a = a , d = a 1
유형 5 무응답 1,242 16.63
7,468 100
Download Excel Table

유형 1은 정답으로 a=3d=2를 모두 바르게 쓴 경우이다. 문제해결 과정 사례를 보면 정답을 쓴 학생들은 크게 두 가지 방법으로 문제를 해결 한 것으로 보이는데, 등차중항을 이용하여 a값을 구한 후 주어진 문제의 각항에 대입하여 d의 값을 도출해 낸 경우와 a2a1=a3a2=d 라는 등차수열의 기본 정의로부터 ad를 연립 방정식으로 구한 경우가 있었다. [그림 Ⅳ-5]은 그 두 가지 풀이방법을 보여주는 문제해결 과정 사례이다.

jce-20-2-85-g4_5
그림 Ⅳ-5. 서답형 2-(1)번의 유형 1에 대한 문제해결 과정 사례
Download Original Figure

[그림 Ⅳ-6]의 유형 2와 유형 3은 부분점수 1점을 받은 경우로 각각 a값을 옳게 쓰거나 d값을 옳게 쓴 경우에 해당된다. 유형 2는 a=3은 옳게 쓰고 d를 구하지 못한 경우로 130개(1.74%)의 답안이 해당되며 답안의 예로는 ‘a=3,d=4’, ‘a=3,d=3’등이 있다. 유형 3은 d=2는 옳게 쓰고 a값이 옳지 않은 경우로 163개(2.18%)의 답안이 해당되며 ‘a=1,d=2’, ‘a=5,d=2’ 와 같은 예가 있다.

유형 2와 유형 3의 문제 해결 과정의 사례를 보면 등차중항의 정확한 원리나 개념을 알지 못하고, 단순히 같은 수를 더하고 뺀다는 등차수열의 기본적인 개념만을 인지하고 있다고 판단된다. 등차수열에서 다음 수를 예측하는 것은 익숙하지만, 세 항만 주어진 경우에 공차를 찾기 힘들어 하며, 숫자를 문자로 변환하기 힘들어 하는 학생들은 문자로도 등차수열이 가능하다는 것을 이해하지 못하여 어려움을 겪는 것으로 보인다.

jce-20-2-85-g4_6
그림 Ⅳ-6. 서답형 2-(1)번의 유형 2와 유형 3에 대한 문제해결 과정 사례 (이인호 외, 2016)
Download Original Figure

이 밖에 유형화가 어려운 응답은 742개(9.94%)이며, 무응답의 경우는 1,242개(16.63%)로 나타났다.

[그림 Ⅳ-7]은 서답형 2-(1)번의 유형별 빈도 곡선(왼쪽)와 비율 분포 곡선(오른쪽)을 나타낸 그래프이다.

jce-20-2-85-g4_7
그림 Ⅳ-7. 2015년 고등학교 수학과 서답형 2-(1)번의 유형별 빈도 분포와 비율 분포 (이인호 외, 2016)
Download Original Figure

서답형 2-(1)번의 오답 유형을 살펴볼 때, 등차수열의 개념을 다양한 각도로 제공할 필요가 있다고 판단된다. 여러 가지 수가 나열된 수열 뿐 만 아니라, 항의 개수가 3개인 경우에도 각 항들 간의 관계 또는 등차중항을 통해 공차를 찾을 수 있고, 역으로 공차를 통해 각 항의 값을 유추할 수 있도록 세심한 지도가 필요하다. 특별히 이 과정에서 숫자뿐만 아니라 문자로 표현된 수열도 익숙해 질 수 있도록 다양한 수열의 모양들을 제시하는 등의 교수·학습 방법의 보완이 필요하다.

3. 서답형 2-(2)번의 답안 유형 분석

<표 Ⅳ-3>에서는 서답형 2-(2)번의 학생 답안 유형을 6개로 분류하여 각 유형의 빈도와 비율을 제시하고 있다.

표 Ⅳ-3. 2015년 고등학교 수학과 서답형 2-(2)번:답안 유형별 빈도와 비율 (이인호 외, 2016)
유형 내용 빈도 비율(%)
유형 1 anS를 모두 옳게 쓴 경우 2,648 35.46 an=2n+1,S=120
an=2n+11,S=120
an=3+2n1,S=120
유형 2 an은 옳게 쓰고 S를 구하지 못한 경우 647 8.66 an=2n+1,S=110
an=2n+1,S=121
유형 3 an을 구하지 못하고 S=120만 맞은 경우 538 7.20 an=2n+1,S=120
an=2k+1,S=120
an=3,5,7,9,11...,S=120
유형 4 ann에 대한 식으로는 나타내었으나 오답인 경우 827 11.48 an=2n1,S=100
an=a+n1d,
S=10a+45d
유형 5 ann에 대한 식으로 나타내지 못한 것을 포함한 기타 오답 999 13.38 an=a+9d,S=10a+45,
S=a1+a2+a3++a10
유형 6 무응답 1,809 24.22
7,468 100
Download Excel Table

유형 1의 형태로 반응한 답안은 2,648개(35.46%)이다.

jce-20-2-85-g4_8
그림 Ⅳ-8. 서답형 2-(2)번의 유형 1에 대한 문제해결 과정 사례
Download Original Figure

유형 2는 등차수열의 일반항 an은 옳게 구했지만 등차수열의 합인 S를 구하지 못한 경우로 647개(8.66%)의 답안이 해당되며 그 예로는, ‘an=2n+1,S=110’, ‘an=2n+1,S=121’ 등이 있다. [그림 Ⅳ-9]의 문제해결 과정 사례에서는 an에 대한 공식은 잘 적용하여 맞게 풀었지만, Sn의 공식은 옳게 적용하지 못한 것으로 보인다. 유형 2의 답안을 보이는 학생들은 공식을 적용하는 과정에서 단순한 계산 실수인 경우도 존재하지만 합의 공식에 익숙하지 않아 오류를 보이는 경우도 많이 존재하였다.

jce-20-2-85-g4_9
그림 Ⅳ-9. 서답형 2-(2)번의 유형 2에 대한 문제해결 과정 사례
Download Original Figure

유형 3은 an을 바르게 구하지 못하였지만 그 합인 S=120은 옳게 쓴 경우로 538개(7.20%)의 답안이 해당된다. 유형 3에서는 5개의 답안만을 제외한 533개(99.07%)개의 답안이 서답형 2-(1)번에서 2점을 얻은 유형 1의 경우로, 많은 문제해결 과정 사례에서 일반항의 공식은 숙지하지 못해 an을 구하지는 못하였지만 서답형 2-(1)번에서 구한 a=3d=2를 토대로 제1항부터 제10항까지 모든 항을 구하여 더한 것으로 나타났다. 이와 같은 경우의 자세한 사례는 ‘4. 서답형 2-(1)번과 서답형 2-(2)번의 답안 유형 사이의 관계’ 에서 더 자세히 제시하도록 하겠다.

유형 4는 ann에 대한 식으로 나타내기는 하였으나 오답인 경우로 827개(11.48%)의 답안이 해당된다. 유형 4는 0점의 답안이지만 비교적 높은 성취수준의 학생들이 많이 분포되어 있다. 유형 4에 대해서는 다음 페이지에서 더욱 세분화하여 분류하였다.

이 밖에 유형화가 어려운 응답은 999개(13.38%)이며, 무응답의 경우는 1,809개(24.22%)로 나타났다.

[그림 Ⅳ-10]은 서답형 2-(2)번의 유형별 빈도 곡선(왼쪽)과 비율 분포 곡선(오른쪽)을 나타낸 그래프이다. [그림 Ⅳ-10]의 비율 그래프를 보면 1점을 받은 답안인 유형 3보다 0점을 받은 유형 4의 답안의 학생들이 더 높은 성취수준에 분포하고 있는 학생임을 알 수 있다. 유형 4는 보통학력 뿐만 아니라 우수학력에서도 비교적 높은 비율을 차지했다.

jce-20-2-85-g4_10
그림 Ⅳ-10. 2015년 고등학교 수학과 서답형 2-(2)번의 유형별 빈도 분포와 비율 분포(이인호외, 2016)
Download Original Figure

<표 Ⅳ-4>에서는 서답형 2-(2)번의 유형 4에 대한 학생의 답안 유형을 좀 더 세분화 하여 4개로 분류하여 제시하고, 각 세부유형의 빈도와 비율을 제시하고 있다. 유형 4는 ann에 대한 식으로 나타내기는 하였으나 오답인 경우이다. 유형 4가 총 2점의 점수 중 부분점수도 얻지 못한 0점의 답안임에도 불구하고 좀 더 유의미하게 분류하고 세분화한 이유는 유형 4의 답안이 일반항을 n에 대한 식으로 표현할 수 있거나, anS의 공식을 암기하고 있거나, 일반항을 통해 등차수열의 합까지 구할 수 있는 답안이기 때문이다.

표 Ⅳ-4. 서답형 2-(2)번 유형 4 세부유형분류:답안 유형별 빈도와 비율(이인호 외, 2016)
유형 내용 빈도 비율(%)
유형 4-1 anS를 공식을 이용하여 나타낼 수 있지만, a=3d=2를 부분적으로만 대입하거나 대입하지 않은 경우. 176 21.28 an=a+n1d,S=10a+45d
유형 4-2 an을 공식을 이용하여 나타낼 수 있지만, a=3d=2를 부분적으로만 대입하거나 대입하지 않았고 S가 옳지 못한 경우 202 24.43 an=a+n1d,S=a+9d
유형 4-3 ann에 대한 식으로 나타내는 과정에서 잘못된 식으로 나타내어 S도 오답이나, an에서 S를 구하는 과정이 옳은 경우 82 9.92 an=32n1,S=3069
an=3+2n,S=140
유형 4-4 그 외의 경우 367 44.38 an=3n1,S=160
an=2n+4,S=170
an=3n+2,S=32
an=a+n1d,S=an
827 100
Download Excel Table

유형 4-1은 등차수열의 일반항 an과 합 S의 공식을 암기하고 공식을 이용하여 나타낼 수 있지만 a=3, d=2 그리고 n=10을 부분적으로만 대입하거나 대입하지 않은 경우로 176개(21.28%)의 답안이 해당된다. 유형 4-1의 답안으로는 ‘an=a+n1d,S=10a+45d’ 와 같은 예 가 있다. 유형 4-1의 답안은 anS를 구하는 공식을 암기하고 있지만, 서답형 2-(1)번에서 얻은 정보와 제시된 조건을 활용하지 못한 경우이다. [그림 Ⅳ-11]의 문제해결 과정 사례를 보면 등차수열의 일반항 an와 합 S의 공식만 암기하고 ad의 값을 대입하지 못한 경우이다.

jce-20-2-85-g4_11
그림 Ⅳ-11. 서답형 2-(2)번의 유형 4-1에 대한 문제해결 과정 사례
Download Original Figure

유형 4-2는 ‘an=a+n1d,S=a+9d’ 와 같이 an의 공식을 나타낼 수 있지만 a=3,d=2,n=10의 값을 부분적으로만 대입하거나 대입하지 않았고, S도 옳지 못한 경우로 202개(24.43%)의 답안이 해당된다. 유형 4-2의 답안은 유형 4-1의 답안과 유사하지만 an을 이용하여 S의 값에 도달하지 못하는 경우이다.

유형 4-3은 수열 {an}의 일반항을 구하는 과정에서 n에 대한 옳지 않은 식으로 구하여 S까지 오답이나, an에서 S를 구하는 과정이 옳게 풀이 된 경우로 82개(9.92%)의 답안이 해당된다. [그림 Ⅳ-12]의 문제해결 과정 사례는 서답형 2-(1)번에서 a=3, d=2 모두 옳게 구했고 an=3n1은 옳지 않았지만, 그 an을 이용해 구한 S=155의 풀이과정은 옳은 경우이다.

이 밖에도 유형 4-3의 답안의 예로는 a=3,r=2로 갖는 등비수열의 일반항과 등비수열의 합으로 구한 ‘an=32n1,S=3069’와 같은 답안이 있었다.

이 밖에 유형화가 어려운 응답은 367개(44.38%)로 나타났다.

jce-20-2-85-g4_12
그림 Ⅳ-12. 서답형 2-(2)번의 유형 4-3에 대한 문제해결 과정 사례 (이인호 외, 2016)
Download Original Figure

[그림 Ⅳ-13]은 유형 4의 전체 답안 827개를 대상으로 한 성취도 점수에 따른 서답형 2-(2)번의 유형 4의 세부유형 빈도 곡선을 나타낸 그래프이다. 그래프를 보면 유형 4는 대부분이 보통학력 이상의 학생들로 구성되어 있음을 알 수 있고, 유형 4-1이나 유형 4-3에 비교적 높은 성취수준의 학생들이 많이 분포하는 것을 볼 수 있다.

jce-20-2-85-g4_13
그림 Ⅳ-13. 2015년 고등학교 수학과 서답형 2-(2)번의 유형 4의 세부유형별 빈도 (이인호 외, 2016)
Download Original Figure
4. 서답형 2-(1)번과 서답형 2-(2)번 답안 유형 사이의 관계
표 Ⅳ-5. 서답형 2-(1)번과 서답형 2-(2)번의 답안 유형 사이의 관계 (이인호 외, 2016)
2-(1)의 유형 빈도 비율(%) 2-(2)의 유형 2-(1)의 유형에서 차지하는
빈도 비율(%)
유형 1 5,191 69.51 유형 1 2,642 50.90
유형 2 635 12.23
유형 3 533 10.27
유형 4 628 12.10
유형 5 414 7.98
유형 6 339 6.53
유형 2 130 1.74 유형 1 3 2.31
유형 2 1 0.77
유형 3 2 1.54
유형 4 23 17.69
유형 5 69 53.08
유형 6 32 24.62
유형 3 163 2.18 유형 1 0 0
유형 2 3 1.84
유형 3 0 0
유형 4 25 15.34
유형 5 99 60.74
유형 6 36 22.09
유형 4 742 9.94 유형 1 3 0.40
유형 2 8 1.08
유형 3 2 0.27
유형 4 136 18.33
유형 5 402 54.18
유형 6 191 25.74
유형 5 1,242 16.63 유형 1 0 0
유형 2 0 0
유형 3 1 0.08
유형 4 15 1.21
유형 5 15 1.21
유형 6 1,211 97.50
7,468 100 7,468 100
Download Excel Table

<표 Ⅳ-5>에서는 서답형 2-(1)번의 각 유형에 대하여 서답형 2-(2)번에서 어떤 유형의 답을 하였는지의 빈도와 비율을 나타낸 것이다. 서답형 2-(2)번은 서답형 2-(1)번에서 구한 값을 이용해야만 올바른 답을 구할 수 있는 문제로, 서답형 2-(1)번과 서답형 2-(2)번의 답안 유형 사이의 관계에서 주목하여 볼만한 두 가지 유형을 분석해 보았다.

가. 유형 ㉮ : 서답형 2-(1)번에서 유형 1, 서답형 2-(2)번에서 유형 2로 답한 경우

서답형 2-(1)번의 유형 1은 a=3, d=2를 모두 옳게 쓴 경우이며, 서답형 2-(2)번의 유형 2는 an의 값은 옳게 구했지만 S를 구하지 못한 경우로 635개(12.23%)의 답안이 해당되며 그 예로 ‘a=3, d=2, an=2n+1, S는 무응답’, ‘a=3, d=2, an=2n+1, S=105’ 등이 있다. 문제해결 과정 사례를 보면 이와 같은 유형의 학생들은 주어진 조건을 이용하여 ad의 값을 구하였지만 등차중항을 이용하지 않고 a1+d=a2, a2+d=a3등과 같이 등차수열의 정의만을 이용해 구한 경우가 많았다. 또, ad값을 이용하여 공식을 통해 an을 구할 수 있었고 합의 공식도 이용하려고 시도했지만, 조금 더 복잡한 합의 공식까지는 정확히 학습하지 못한 것으로 보인다.

jce-20-2-85-g4_14
그림 Ⅳ-14. 서답형 2번의 유형 ㉮에 대한 문제해결 과정 사례
Download Original Figure
나. 유형 ㉯ : 서답형 2-(1)번에서 유형 1, 서답형 2-(2)번에서 유형 3으로 답한 경우

서답형 2-(1)번의 유형 1은 a=3, d=2를 모두 옳게 쓴 경우이며, 서답형 2-(2)번의 유형 3은 an을 바르게 구하지 못하였지만 그 합인 S=120은 옳게 쓴 경우로 538개(10.27%)의 답안이 해당된다. 주목할 만 한 점은 유형 3에서는 5개의 답안만을 제외한 533개(99.07%)의 답안이 서답형 2-(1)번에서 2점을 얻은 유형 1의 경우로, 많은 문제해결 과정 사례에서 일반항의 공식은 숙지하지 못해 an을 바르게 구하지는 못하였지만 [그림 Ⅳ-15]의 문제해결 과정 사례에서 보이는 바와 같이 서답형 2-(1)번에서 구한 a=3,과 d=2를 토대로 제1항부터 제10항까지 모든 항을 구하여 더한 것으로 나타났다. 이와 같은 학생들은 전체의 약 7%에 해당하는 학생으로 총 4점의 배점 중 3점을 얻었지만 수열의 일반항의 공식과 합의 공식을 제대로 알지 못하고 있다.

jce-20-2-85-g4_15
그림 Ⅳ-15. 서답형 2번의 유형 ㉯에 대한 문제해결 과정 사례 (이인호 외, 2016)
Download Original Figure

[그림 Ⅳ-16]은 서답형 2-(1)번의 유형 1에 대한 서답형 2-(2)번의 유형 2와 유형 3의 성취도 점수에 따른 빈도를 나타낸 그래프이다. 서답형 2-(2)번의 유형 2와 유형 3은 모두 1점에 해당하고, 서답형 2-(1)번의 유형 1은 2점으로 유형 ㉮와 유형 ㉯는 모두 3점으로 같다. 하지만 서답형 2-(2)번에서 항이 10개 밖에 되지 않아 S의 값을 구하는 것이 일반항인 an의 값을 구하는 것보다 비교적 쉽다는 점에 기인해 유형 ㉮의 곡선이 유형 ㉯의 곡선보다 전체적으로 성취수준이 더 높은 학생들의 범위에 분포되어 있다는 것을 볼 수 있다.

jce-20-2-85-g4_16
그림 Ⅳ-16. 2015년 고등학교 수학과 서답형 2-(2)번의 유형 ㉮와 유형 ㉯에 대한 답안 유형별 빈도 (이인호 외, 2016)
Download Original Figure

수열은 수학Ⅱ에서 많은 학생들이 어려움을 겪기 시작하는 단원이다. 그렇기 때문에 학생들의 이해를 돕기 위해 수를 차례대로 나열하고 그 안에서 규칙성을 찾아내어 다음의 수를 유추해 보는 방식의 지도를 하게 된다. 이 과정에서 수열의 문제를 수의 규칙성에만 의존하는 문제해결을 하게 되면 수열을 일반화 시키는 데에 어려움을 겪게 되며 다음 단원인 여러 가지 수열이나 수열의 극한에서 또한 어려움을 겪게 된다.

기초학력 수준의 학생들은 수열 단원에서 필요한 여러 가지 선수학습이 되어 있지 않은 경우가 많은 것으로 보인다. 예를 들어, 등차중항을 이용해 식을 세웠지만 연립방정식을 풀지 못하는 경우가 있으므로 선수학습 내용에 대한 보완이 요구되고, 등차수열에서 문자의 도입으로 혼란을 느끼는 학생의 경우에는 문자의 경우도 숫자의 경우와 동일하게 공차가 적용된다는 것을 예로 들어 설명해 줄 필요가 있다. 즉 다양한 등차수열 속에서 등차중항의 의미 및 성질을 이해하도록 지도할 필요가 있다.

보통학력 수준 이상의 학생들에게서도 문제에 제시된 문자와 일반항을 구성하는 문자를 구분하지 못하여 쓰는 경우도 많이 나타나므로, 일반항과 합의 공식에 사용된 문자의 의미를 정확하게 이해할 수 있도록 하는 교수‧학습 방안이 요구된다.

Ⅴ. 결론

서답형 답안 내용을 유형별로 분석한 결과를 토대로 교수·학습의 시사점을 성취수준별로 도출하면 다음과 같다. 우선 기초학력 수준의 교수·학습 시사점으로는 첫째, 집합 기호와 그에 따른 집합의 연산에 대한 이해를 강화할 필요가 있다. 이를 위해서는 집합의 개념과 집합의 연산을 밴 다이어그램 등을 이용하여 시각적으로 제시하여 이해도를 제고할 필요가 있다. 또한 단순하게 두 집합의 교집합을 구하는 것과 같은 집합의 연산을 적용하는 문제뿐만 아니라 집합에 관련된 조건이 제시되었을 때, 그 조건을 만족하는 경우를 복합적으로 사고하는 유형의 문제를 다룰 기회를 제공할 필요가 있다. 또한 집합의 원소의 개수에 대한 표현의 의미를 이해하지 못해 문제를 해결하지 못하는 학생들도 있는 것으로 나타나, 집합에 관련된 수학적 용어 및 표현에 대한 의미를 다양한 예들을 통해 지도할 필요가 있다.

둘째, 등차수열과 공차의 의미를 효과적으로 지도할 필요가 있다. 이를 위해, 등차수열의 의미와 더불어 공차와 등차중항이 무엇이고 어떠한 성질이 있는 지에 대한 교수·학습 보완이 필요하다. 그리고 등차수열은 숫자 외에도 문자를 이용하여 만들 수 있다는 사실과, 이와 관련된 문항을 많이 접할 수 있는 기회를 제공할 필요가 있다.

보통학력 수준의 교수·학습 시사점으로는 첫째, 등차수열의 일반항과 합의 공식의 유도 과정을 이해하게 하고, 이와 관련된 다양한 문제를 해결할 수 있는 기회를 제공할 필요가 있다. 보통학력 수준의 경우 주어진 등차수열의 일반항을 세우지 못하거나, 일반항을 구하는 식은 알고 있지만 적용을 하지 못하는 경우, 등차수열의 합의 공식을 적용하지 못하고 일일이 각 항을 더하여 합을 구하는 사례도 있는 것으로 나타났다. 이에 등차수열의 일반항과 합의 공식을 유도하는 방법 및 공식의 효율성 등에 대한 지도가 강화될 필요가 있다.

각주

1. 본 연구는 이인호 외(2016)의 2015년 국가수준 학업성취도 평가의 서답형 문항 심층 분석 –수학- 의 내용을 수정 및 보완 하였다.

2. 2015년 고등학교 국가수준 학업 성취도 평가에 참여한 학생수는 총 452,516명 이었으며 이 전체집단이 하위문항별로 보인 정답률과 변별도, 성취수준별 정답률, 부분점수별 비율을 나타내었다.

3. 국가수준 학업 성취도 평가의 학생 답안은 외부로 공개되지 않는다.

참고문헌(References)

1.

김래영, 이민희(2013). 중학교 2학년 서술형 평가 문항 반응에서 나타난 오류 분석. 수학교육학연구, 23(3), 389-406.

2.

김민경, 김서영(2014). 서술형 평가 문항에서 나타나는 초등학생의 분수 연산 능력과 오류 유형과의 관계, 한국학교수학회논문집, 17(3), 407-435.

3.

김부미(2005). 경험적 구조주의에 의한 수학적 오류의 분류 가능성 탐색, 수학교육학연구, 15(4), 461-488.

4.

김성희(2012). 서술형 평가에서 나타나는 오류 뷴석 및 채점기준 개선에 과한 연구 - 고등학교 함수의 극한과 연속성 영역을 중심으로. 석사학위 논문, 한국교원대학교.

5.

김지현(2015). 지수•로그방정식의 풀이과정에서 나타난 오류유형분석. 석사학위 논문, 고려대학교.

6.

박명은(2015). 고등학교 학생들의 받아쓰기에 나타난 철자 오류 분석. 석사학위 논문, 인하대학교.

7.

박주영(2008). 대수적 서술형 평가에서 나타난 오류와 교정에 관한 사례연구. 석사학위 논문, 한국교원대학교.

8.

성태제(2009). 교육평가의 기초. 서울: 학지사.

9.

안준철(2015). 고등학교 영어과 서술형 평가의 학생 답안 분석. 석사학위 논문, 인하대학교.

10.

유현영(2016). 실생활을 반영한 비구조화 문제 상황에서 고등학교 2학년 학생들의 수학적 사고에 대한 연구. 석사학위 논문, 이화여자대학교.

11.

이용규(2016). 수학 서술형•논술형 평가의 실제 및 학생들의 인식과 실태 조사 : 남자 고등학생을 중심으로. 석사학위 논문, 중앙대학교.

12.

이은정(2016). 동료구수법을 적용한 수준별 과학 수업에서 개념변화와 학습동기에 미치는 영향 : 중학교 2학년 일과 에너지 영역. 석사학위 논문, 한국교원대학교.

13.

이인호, 이상일, 김승현, 이정우, 서민철, 조윤동, 이광상, 김현경, 동효관, 배주경, 김성혜, 권경필, 이규호, 정기문(2015). 국가수준 학업성취도 평가의 서답형 문항 심층 분석. 한국교육과정평가원 연구자료 연구보고 RRE 2015-12-2.

14.

이인호, 이광상, 임해미, 박수민(2016). 2015년 국가수준 학업성취도 평가의 서답형 문항 심층 분석 -수학-. 한국교육과정평가원 연구보고 RRE 2016-9-3.

15.

전희선(2015). 서술형•논술형 평가 답안에서 나타나는 수학적 오류분석과 지도방안 : 중학교 2학년 확률영역을 중심으로. 석사학위 논문, 한국교원대학교.

16.

정연주(2013). 수준별 서술형 평가에 대한 학생들의 인식 분석과 효율적인 적용방안에 대한 연구. 석사학위 논문, 고려대학교.

17.

정현도(2010). 초등수학 서술형 평가에서 나타나는 오류 유형 분석. 한국초등수학교육학회지 14(3).

18.

조윤동, 고호경(2015) 문자와 식, 함수 영역에서 보이는 중학생의 수학적 오류 분석. 수학교육학연구 25(3), 281-302.

19.

홍승일(2013). 연속확률분포와 관련된 서술형 평가 답안 작성 시 나타나는 오류 분석-중위권 학생들을 중심으로. 석사학위 논문, 한국교원대학교.

20.

황정규(1998). 학교학습과 교육평가. 서울: 교육과학사.

21.

Harder, N, M., Zaslavsky, O., & Inbar, S.(1987). An empirical classification model for errors in high school mathematics. Journal for Research in Mathematics Education, 18(1), 3-14.

22.

Livingston, S. A. (2009). Constructed-Response Test Questions: Why We Use Them; How We Score Them. R & D Connections. Retrieved September 20, 2016, from http://www.ets.org/Media/Research/pdf/RD_Connections11.pdf.

23.

Nitko, A. J. (2004). Educational Assessment of Students (4th ed.). 177-198. NJ: Pearson Merrill Prentice-Hall.

24.

Popham, W.J. (2006). Assessment for educational leaders. Boston, MA: Pearson.

25.

Randy E. Bennett(1991). On the meaning of constructed response. ETS Research Report Series: Willy Online Library.