초등학교 국가수준 학업성취도 평가의 결과타당도¹⁾

국제적으로 교육의 질을 향상시키기 위한 국가수준의 대규모 평가 및 국가 간 비교 평가가 확대되고 있다. 미국의 NAEP(National Assessment of Educational Progress), 영국의 NCA(National Curriculum Assessment), 호주의 NAP(National Assessment Programme), 일본의 ‘전국학력·학습상황 조사’ 등과 같은 대규모 평가를 통하여 각 국가는 학교 교육의 성과를 확인하고, 교육과정 개정과 교수·학습 개선을 위한 교육정보를 공유하고 있다(민경석, 2010, 2013). 우리나라에서도 국가수준의 학업성취도 평가가 한국교육과정평가원을 중심으로, 1998년 기본 계획이 마련되고, 1999년(예비평가: 사회, 수학), 2000년(사회, 수학), 2001년 〜2007년(국어, 사회, 수학, 과학, 영어), 2008년〜2010년(전집평가로 전환), 2011년〜2012년(전집평가: 국어, 수학, 영어, 표집평가: 사회, 과학)에 이르기까지 13년간 시행되어왔다. 더불어 학업성취도와 관련된 배경변인 분석, 2003년 개발된 평가틀 및 검사 동등화를 기반으로 보다 체계적·실증적으로 학교와 교실의 교육 상황을 반영하려는 노력이 계속되어 왔다(김 경희 외, 2011, 2012; 김성숙 외, 2010). 이러한 노력의 결과로 우리나라 초등학교 6학년의 기초학력 미달 비율은 2008년에 2.3%, 2010년에 1.5%, 2012년에 0.7%로 꾸준한 감소세를 보이는 등 학생들의 학력 향상에 기여했다(교육과학기술부, 2012). 그러나 2013년 초등학교 전집평가는, 학생들의 시험부담, 학교 간 경쟁 등을 이유로, 그 시행이 보류되었다. 이것은 대규모 평가 도구로서 학업성취도 평가의 실효성과 가치에 대하여 전국 수준의 평가 결과뿐만 아니라, 학교 현장의 구체적인 평가 결과에 대해서도 분석적 접근이 필요함을 시사한다.

학업성취도 평가의 목적은 국가수준에서 설정하여 각 시·도교육청 및 단위학교에 제공되며, 실제 시행 단계에서 일선 교육 현장의 교육 여건에 맞게 평가 목적을 재구성하여 진술할 수 있다. 그러나 국가수준 교육과정을 근거로 시행하는 대규모 평가이기 때문에 시·도교육청 및 단 위학교 수준에서의 평가 목적 또한 국가수준의 목적을 그대로 적용하는 경향을 보인다(교육과학 기술부, 2011; 서울시교육청, 2011). 학업성취도 평가 및 평가 결과에 대한 선행 연구에서 다 루어진 목적 및 결과 활용 영역을 요약하면, <표 1>과 같다(김신영 외, 2011; 정은영 외, 2009).

학업성취도 평가의 목적은 2008년 표집평가에서 전수평가로 전환되면서, 학생 개인별 학업성취도 파악 및 기초학력 보장의 목적이 추가되었고, 그 외의 목적은 지속적으로 유지되었다. 이러한 목적을 토대로 학업성취도 평가의 결과는, 국가수준의 교육과정 내용을 구체적으로 명시한 성취기준(achievement standards)에 근거하여, 학생들의 학업성취가 어느 정도 이루어졌 는지 성취수준으로 제시된다. 평가의 근거가 되고 있는 성취기준은 이후 이루어지는 평가 결과에 담긴 정보의 질, 결과 활용의 질 그리고 최종적으로 평가 도구 자체의 목적 달성 여부에 영 향을 미친다. 따라서 학업성취도 평가의 결과타당도는 성취기준의 설정과 적용을 고려할 필요가 있다.

학업성취도 평가 결과는 국가수준 교육과정에 따라 과목별로 성취기준에 도달된 정도를 ‘우수 학력, 보통학력, 기초학력’의 성취수준으로 구분된다. 이러한 구분은 2000년 학업성취도 평가 부터 최소능력 (minimum competency)을 적용하여 설정된 3지점의 기준점을 근거로 하고 있다. 각 성취수준이 나타내는 특성은, <표 2>와 같이, 평가 대상 학생들이 성취하기를 기대하는 기본 내용에 대한 이해 정도에 따라 기술되며, 기초학력에 이르지 못한 경우는 기초학력 미달로 분류된다(박정 외, 2006).

성취수준이 교육과정의 성취기준에 대한 학업 성취 정도를 의미하는 정보로 구현되기 위해서는, <표 2>와 같이, 포괄적인 성취기준을 수준별로 세분화한 성취수준 진술문으로 재구성되어야 한다. 이렇게 성취수준 진술문은 성취기준과 그 맥락이 동일하기 때문에 국가수준 교육과정, 단 위학교 교육과정, 학업성취도 평가 등에 동등하게 적용될 수 있으며, 평가 내용의 연속성과 계열성 측면에서도 일관성이 유지되어야 한다.

결과타당도는 1989년에 Messick에 의해 제안되었다(Shepard, 1997). Messick은 타당도 개념에 대해 ‘경험적인 증거와 이론적 타당성이 검사 결과에 기반을 둔 해석 및 행위의 정당성과 적절성을 지지하는 정도’로 보다 통합적인 판단 과정으로 이해하고, 그 판단의 주요한 부분으로서 검사 결과 활용으로 나타나는 사회적 영향력까지 고려할 것을 제안하였다(Messick, 1990). Messick의 결과타당도에 대한 제안은 결과타당도 개념의 적절성과 타당도 개념의 범 위에 대한 논쟁을 촉발시켰다. 검사 결과 활용 및 사회적 영향을 고려하는 것의 당위성 자체에는 대다수의 학자들에게서 이견이 없었으나, 그러한 측면을 타당도의 한 부분으로 포함하는 것의 적절성 여부가 쟁점이 되었다(Popham, 1997).

결과타당도 개념에 제기된 비판에 대한 반박은 Shepard(1997)에 의해 구체적으로 이루어졌다. 먼저 Mehrens(1997)등이 타당도의 범위를 구인에 대한 추론의 정확성에 국한하려는 입장에 대해, 이미 1950년대부터 검사 활용에 따른 영향이 타당도 판단에서 중요하게 고려되어 왔다고 반론을 제기했다. Shepard는 이러한 선행 연구들을 통해 결과타당도가 타당도 개념에 이 미 포함되어 있으며, 검사를 개발한 의도 자체가 논리적으로 검사를 활용하는 맥락의 목적성과 결부되어 설명될 수밖에 없기 때문에 결과타당도에 대한 고려는 당연하다고 주장했다.

학업성취도 평가와 같은 대규모 평가의 결과타당도는 다음과 같은 점에서 특히 중요하게 다 루어질 필요가 있다. 먼저, 대규모 평가 및 그 결과의 사회적 영향에 대한 가치판단이 중요하다. 결과타당도는 평가 개발자 및 사용자들이 평가 결과의 활용에 따른 사회적 영향에 대해 자각함으로써, 그것을 예상하고 점검하는 책임을 갖도록 하는 데 중요한 의미가 있다(성태제, 2003; Linn 1997). 대규모 평가 결과는 학교 평가, 국가 교육의 질 관리 정책, 교육 현장 및 관련의 사결정 등의 중요한 근거로 활용된다. 이러한 점에서 대규모 평가의 경우 그 영향에 대한 사회적 가치판단의 중요성이 강조된다. 둘째, 대규모 평가의 결과타당도에서 평가 결과와 목적과의 일치 여부가 중요하다. 교육 책무성을 위한 대규모 평가의 목적은 학생들의 성취를 측정하는데 국한되는 것이 아니라, 그 결과에 기반하여 교수·학습을 개선하고 학생들의 학업성취도를 향상 시키는 데 있다. 그러므로 대규모 평가의 결과타당도에 대한 위의 두 측면을 충분히 고려하기 위해서는 결과타당도의 범위를 측정 도구와의 관련성으로 국한하기보다는 실행 과정 전반과 활용에 따른 직·간접적인 결과 및 사회적인 영향까지 넓게 포괄하는 관점이 더 적합하다고 볼 수 있다(Kane, 2006).

Lane과 Stone(2002)은 주 단위 평가(State Assessment)와 책무성 프로그램에서 확인될 수 있는 결과타당도의 증거와 구체적인 검증 방식을 제안하였다. Lane과 Stone은 먼저 주 단위 평가 및 책무성 프로그램의 결과타당도 대상으로 포함될 수 있는 의도적 결과와 비의도적이며 부정적인 결과를 <표 3>과 같이 제시하였다.

Lane과 Stone(2002)은 평가 프로그램의 결과타당도에 대한 경험적인 검증 절차를 구체화 하기 위하여 <표 4>와 같이, 평가의 목적이 교수·학습 개선과 책무성 관리일 경우, 필수적으로 확인되어야 할 내용을 진술하고 각 항목에 따른 검증 방식을 제시하였다.

<표 4>에서 보는 바와 같이 Lane과 Stone(2002)은 주 단위 평가의 결과타당도에 학생, 교사, 학교행정가 관련 내용을 모두 포함시키고 있다. 또한 교육·학습 개선과 수행 향상의 결과적 측면과 교수·학습 주체들의 동기적인 측면을 포괄하고 있다. 그리고 각 항목에 대해 결과타당도를 확인할 수 있는 증거와 자료 수집의 출처를 나열하고 있다. 예를 들어 <표 4>의 ‘학생들의 평가 참여 및 학습의 동기 부여’에 관련된 증거는 교사와 학생의 설문지를 통해 평가에 발휘되는 학생의 노력에 대해 조사함으로써 얻을 수 있음을 보여준다.

학업성취도 평가는 기본적으로 그 주요한 목적을 기초학력 보장 지원, 학업 성취수준 향상에 두고 있기 때문에 단위학교의 교수·학습 개선이 결과타당도의 주요한 관심이 된다. 이에 따라 본 연구에서는 현직 교사들을 대상으로 학업성취도 평가 결과의 해석과 활용에 대해 보다 면밀한 분석을 시도하였다. 교사는 단위학교 교수·학습 과정에서 학업성취도 평가의 목적을 달성하는 데 있어서 핵심적인 역할을 하며, 학업성취도 평가 결과에 대한 교사의 정확한 해석은 평가 도구의 목적 달성을 위한 중요한 전제조건이다. 그리고 그러한 해석의 기반은 학업성취도 평가와 단위학교 교사 간의 성취기준과 성취수준 등의 준거 공유를 통해 가능해질 수 있다. 이 연구 에서는 학업성취도 평가 결과타당도의 근거로서 성취수준 진술문에 대한 교사의 이해, 학업성취도 평가 결과와 교사의 학생 평가 결과의 일치 정도, 단위학교에서의 학업성취도 평가 결과 활용 실태 등을 분석했다.

초등학교 학업성취도 평가의 결과타당도를 확인하기 위하여 서울시 초등학교의 교사 및 학생 자료를 수집하였다. 먼저, 2012년 학업성취도 평가 결과와 학교의 사회·경제적 여건을 반영하 여 표집 대상 학교를 선정했다. 서울 지역의 공립 초등학교 545개교 중 521개교의 2011년 학업성취도 평가 결과에서 보통학력 이상 비율을 기준으로 3개 그룹으로 나눈 후, 상위그룹에서 4개교, 중위그룹에서 4개교, 하위그룹에서 6개교를 표집하였다. 자료 수집 단계에서 기초학력 미달 학생들의 표본을 충분히 확보하기 위해 하위그룹의 학교 수를 2개교 더 많게 설정하였다. 이러한 기준에 따라서울 지역 5개 교육지원청, 14개 초등학교, 70명의 6학년 담임교사 그리고 1,840명의 학생에 대한 자료를 수집하였다.

표집 대상 교사는 모두 6학년 교사들로 한정하였으며, 학생은 교사 70명의 담임반 학생들 중 에서, 학생 및 학부모가 자료 수집에 동의한 1,840명을 조사 대상으로 하였다. 표집 교사는 6학년 담임 경력을 기준으로 1년 이상 5년 미만이 약 66% 정도이며, 약 33%가 5년 이상의 경력을 가지고 있었다. 총 교육 경력을 기준으로는 1년 이상 5년 미만이 약 20%정도였으며, 약 79%가 5년 이상의 경력을 가지고 있었으며 이 중 20년 이상의 경력을 소유한 교사가 20%를 차지하고 있었다.

학생들의 학업 성취수준 관련 자료는 국어와 수학 과목으로 한정하였으며, 2012년 6월에 교사의 예측 성취수준 자료를, 9월에 학업성취도 평가 결과(성취수준)를 조사하였다. 최초 1,840 명의 학생 중 학업성취도 평가 결과 자료가 누락된 학생을 제외한 1,835명의 자료가 분석에 포함되었다. 즉, 교사가 예측한 학생의 성취수준과 학업성취도 평가 결과로 제시된 성취수준을 비교함으로써 학업 성취수준 진단이라는 평가 목표의 달성 여부를 분석하였다.

이 연구에서는 교사 설문을 통해 학업성취도 평가의 성취수준 진술문에 대한 교사의 분류 정확성과 단위학교 수준의 교육 활동 속에서 학업성취도 평가의 목적이 어느 정도 달성되고 있는지를 조사하였다.

학업성취도 평가 성취수준 진술문 관련 설문에서는 과거 3년(2009, 2010, 2011) 동안의 평가 결과표를 근거로 성취수준별 진술문 30문항(국어, 수학 과목 각 15개 성취수준 진술문)을 제시하였다. 교사는 해당 진술문을 <표 1>에 제시된 학업성취도 평가 성취수준의 일반적 정의에 기반하여 우수학력, 보통학력, 기초학력 중 가장 적절한 성취수준을 선택하였다.

학업성취도 평가 결과 활용에 대한 설문지는 선행 연구(김성숙 외, 2009; 민경석, 2010; Mertler, 2011), 그리고 학업성취도 평가의 설문지(이상하 외, 2010)등을 통하여, 학업성취도 평가 목적이 교사의 교육 활동 속에서 구현되고 있는 실태를 파악할 수 있는 문항으로 <표 7>과 같이 구성하였다.

설문지 문항은 교사의 교육 활동 중에서 학업성취도 평가의 목적이 되는 7가지 영역과 관련 되는 상황을 고려하여 현직 교사와의 협의를 통해 개발하였다. 그리고 교사의 성취수준 인식, 교사의 평가 성향, 일반적인 학업 성취 결정 요인 등의 내용을 설문에 포함하였다.

학업성취도 평가의 성취수준 진술문에 대한 교사 분류의 일관성을 분석한 결과는 <표 8>과 같다.

성취수준별로 설정된 학업성취도 평가 성취수준 진술문과 교사 분류 간의 일치율은 수학과가 국어과보다는 상대적으로 높았다. 그러나 수학과에서도 보통학력 (64.6%)을 제외하고는 높은 일치율이 관찰되지 않았다. 전반적으로 교사들은 학업성취도 평가의 성취수준 진술문을 보통학력 수준으로 분류하는 경향을 보였다. 세부적으로 살펴보면 우수학력 진술문의 경우, 국어과 9.1%, 수학과 14.7%의 교사들은 기초학력 수준으로도 분류하였다. 또한 기초학력 진술문의 경우에도 국어과 19.7%, 수학과 6.0%의 교사들이 우수학력으로 분류한 것으로 나타났다. 결과적으로 학업성취도 평가 및 교사의 분류 기준이 모두 국가수준 교육과정에 근거하고 있음에도 불구하고, 성취수준 진술문에 대한 양측의 분류 편차가 적지 않은 것으로 나타났다.

표본에 포함된 14개 학교 1,835명 학생의 2012 학업성취도 평가 결과와 교사 예측 성취수준의 일치도 분석 결과를 <표 9>와 <표 10>에 제시하였다.

먼저, <표 9>에 제시된 국어과의 ‘우수학력, 보통학력, 기초학력, 기초학력 미달’ 학업성취도 평가 결과 인원은 각각 921명(50.2%), 572명(31.2%), 323명(17.6%), 19명(1.0%)이며, 교사가 학교 교육 활동에 기반하여 예측한 성취수준은 973명(53.0%), 586명(31.9%), 194명(10.6%), 82명(4.5%)으로 나타났다. 두 가지 학생 성취수준의 전체적인 분포 경향은 성취 수준이 높아질수록 빈도가 증가하는 특성을 보인다. 학업성취도 평가 결과 대비 교사 예측 성취 수준 비율이 기초학력 미달은 4.32배, 보통학력은 1.02배, 우수학력은 1.06배로 더 높으나, 기초학력에서는 학업성취도 평가 결과보다 0.6배 낮은 비율을 보였다. 또한 학업성취도 평가 결과에서는 전체 학생 중 1.0%만을 기초학력 미달로 분류하고 있지만, 교사는 이에 비해 약 5배에 가까운 4.5%을 기초학력 미달로 예측하고 있다. 국어과에서 교사 예측과 실제 평가 결과 간의 일치 정도는 평균 56.6%로 나타났다. 그러나 구체적으로 살펴보면, 학업성취도 평가에서는 우수학력으로 평가된 921명(50.2%)에 대하여 교사는 기초학력 미달에 1명(0.1%), 기초학력에 19명 (1.0%)으로 분류하는 편차를 보였다.

<표 10>에 제시된 바와 같이, 수학과 실제 평가 결과의 ‘기초학력 미달, 기초학력, 보통학력, 우수학력’ 인원은 각각 33명(1.8%), 404명(22.0%), 694명(37.8%), 704명(38.4%), 교사 예측 성취수준은 151명(8.2%), 248명(13.5%), 560명(30.5%), 876명(47.7%)으로 나타났다. 이러한 결과는 국어과와 동일하게 성취수준이 높아질수록 빈도가 증가하는 분포 특성을 보였으며, 기초학력 미달의 경우, 학업성취도 평가 결과 대비 교사 예측 성취수준 비율 또한 약 5배의 차이가 나타났다, 수학과 학업성취도 평가 결과와 교사 예측 성취수준 간의 일치 정도는 59.2%로 나타났다. 이를 성취수준별로 살펴보면, 우수학력이 585명(31.9%), 보통학력에서 332명(18.1%), 기초학력에서 146명 (8.0%), 그리고 기초학력 미달에서 23명 (1.3%)의 분포가 나타났다.

요약하면, 국어과 및 수학과에 대한 학생 성취수준의 진단이라는 측면에서, 2012 학업성취도 평가와 비교하여 교사는 자신이 가르치는 학생에 대하여 우수학력과 기초미달을 과대하게 예측 하며, 보통학력 비율을 과소 평가하는 특성을 보인다. 특히, 기초학력 보장이라는 학업성취도 평가의 주요 목표를 고려할 때 연구 결과의 교사 예측에서 나타난 기초학력 미달 학생의 높은 비율은 학업성취도 평가 결과의 신뢰성과 교육적 활용에 부정적인 영향을 미칠 가능성이 있다.

학업성취도 평가 목적에 기반한 평가 결과 활용에 대한 교사 설문은 총 7개 영역으로 이루어져 있다. ‘학업 성취수준 파악’, ‘교수·학습 방법 개선’, ‘학업 성취 추이 분석’, ‘학업성취 배경 변인 분석’, ‘교육정책 및 장학’, ‘평가 전문성 신장’, ‘교육과정 정착’의 영역별로 교사들의 학업성취도 평가 결과 활용에 대한 실태를 조사한 결과는 <표 11>과 같다. 각 영역별로 문항들의 평균 점수는 2.8〜3.2로 뚜렷한 차이 없이 중간(보통이다) 정도로 나타났다.

학업성취도 평가 결과 활용에 대한 설문의 주요 결과는 다음과 같다. 첫째, 학생의 학업 성취 수준 파악 관련 설문에 대하여 평균 38.1%의 교사들이 학업성취도 평가 결과를 활용한다고 응 답했다. 특히 교사 자신의 평가 결과와 학업성취도 평가 결과를 통합하여 학업 성취를 진단한 다고 응답한 비율이 55.2%로 나타났다(문항 3). 또한, 학생들의 학업성취도 평가 결과와 교사의 교수·학습 능력과의 관련성에 대해서는 긍정적인 응답이 19.7%, 부정적인 응답은 38.2%로 학업성취도 평가 결과에 대한 교사 영향력을 높게 평가하지 않았다(문항 19). 둘째, 교수·학습 방법 개선에 대한 설문에 대하여 평균 34.8%의 교사들이 학업성취도 평가 결과를 활용한다고 응답했다. 특히 학업성취도 평가 결과에 대하여 동학년 수준, 또는 학교 수준에서 협의가 이루어진다고 응답한 비율이 55.3%로 나타났다(문항 27). 그리고 31.5%의 교사들이 학업성취도 평가 시행으로 인해서 교육 활동이 위축된다는 반응을 하였다(문항 1). 셋째, 학업 성취 추이 분석에 대한 정보 활용에 대한 설문에 대하여 평균 32%의 교사들이 긍정적으로 응답했다. 특히 학교별 학업성취도 평가 결과가 공시되는 ‘학교알리미’ 사이트를 통해서 38.1% 교사들이 학생들의 학업 성취 추이 파악에 관심을 두는 것으로 나타났다 (문항 6). 한편, 주변 학교들에 대한 학업 성취 추이 정보에 관심을 두는 교사는 26.3%로 비교적 낮게 나타났다(문항 20). 이는 교사들이 ‘학교알리미’ 사이트의 학교수준 성취도 정보에 관심을 가지고 있으나, 주변 학교와의 비교를 위한 정보로 활용하는 비율은 낮은 것으로 판단된다. 넷째, 학업 성취 배경변인에 대한 정보를 활용하느냐는 설문에 대하여 평균 37.5%의 교사들이 긍정적으로 응답했다. 특히 근무 여건 등 학교 특성에 대해서는 높은 관심을 보이나 (문항 9, 18), 교수·학습 관련 정보로서 배경변인의 활용도는 낮은 것으로 나타났다(문항 11, 12). 이러한 결과는 교사들이 학업성취도 평가와 병행하여 실시되는 학업 성취 배경변인 정보의 가치를 낮게 인식하고 있음을 보여준다. 다섯째, 교육정책 및 장학에 대한 정보를 활용하느냐는 설문에 대하여 평균 28.0%의 교사들이 긍정적으로 응답했다. 기초학력 보장을 위한 지원의 효과성에 대해서는 44.7%의 교사들이 긍정적인 평가를 하는 것으로 나타난(문 항 21) 반면, 학업성취도 평가 결과의 ‘학교알리미’ 사이트 공개에 대해서는 10.5%의 교사들 만이 학교의 교육력 향상에 도움이 된다고 응답했다(문항 7). 여섯째, 학업성취도 평가와 평가 전문성 신장과의 관계를 묻는 설문에 대해서는 평균적으로 25.9%의 교사들만이 긍정적으로 응답했다. 학업성취도 평가를 통해 문항 개발의 전문성이 신장되었는지에 대한 설문에 31.6%의 교사가 긍정적으로 응답했다(문항 24). 이러한 결과는 전반적으로 교사들은 자신의 평가 전문성에 대해서 주관적 자신감을 가지고 있으나, 학업성취도 평가를 통해서 평가 전문성을 개선해야 한다는 의식은 높지 않을 것으로 판단된다. 일곱째, 교육과정에 미치는 영향에 대한 설문에 대하여 42.8%의 교사들이 긍정적으로 응답했다. 특히 학업성취도 평가 시행과 무관하게 학급 교육과정을 운영하는 비율이 85.5%에 이르는 것으로(문항 10) 볼 때, 학업성취도 평가 시행으로 인해서 교사의 부담이 과중되거나 파행적인 교육과정 운영 등 부정적인 특성이 발생될 가능성은 높지 않은 것으로 나타났다.