학생성장백분위를 활용한 학생 수준 향상도 추정과 영향요인 분석¹⁾

SGP는 비슷한 사전점수를 가진 다른 학생들에 비해 특정학생의 성장정도가 어떠한지를 백분위로 나타내는 개념이다(Betebenner, 2011b). 평균이 아닌 중앙값을 사용한다는 점에서 수리적인 계산이 다소 복잡하지만(Castellano, 2011), ‘비슷한 사전점수를 가진 다른 학생들보다 그 학생이 얼마나 더 잘 했는가’를 보여준다는 점에서 교사와 학생에게 보다 친숙한 개념이다. 또한 SGP는 특정 시점에서의 성취수준이 아니라, 이전 연도에 비하여 어느 정도 성장했는지를 보여주므로, 학교평가나 교원 평가에 추가적인 정보를 제공할 수 있다.

예를 들어, 어떤 학생이 4학년 시기에 주정부 시험에서 400점 만점에 160점을 받았고, 이후 5학년 때 받은 성적은 165점이며, 이 학생이 5학년 때 받은 165점은 4학년 시기에 160점을 받은 다른 학생들(academic peer)이 5학년 시기에 받은 성적의 분포에서 상위 30%에 해당한다고 가정하자. 이 학생의 성적은 성취수준과 SGP의 두 가지 측면에서 평가할 수 있는데, 성취수준의 측면에서 이 학생은 여전히 보통 수준에 도달하지 못하였다(partially proficient). 그러나 이 학생의 SGP는 70, 즉 상위 30%에 해당하는 향상을 보인 것으로, 다른 학생들에 비하여 성장 정도가 높다고 할 수 있다. 이와 같이 SGP는 한 시점에서의 성취정도 (snapshot) 외에도 향상(progress)을 보여줄 있다는 점에서 유용하다(Betebenner, 2011b).

2개년도에 걸쳐 수집한 성취도 점수를 각각 $x_1$과 $x_2$라고 할 때, $x_1=i_1,x_2=i_2$인 학생의 SGP는 다음과 같이 정의된다(김경희 외, 2011).

이를 n 시점 자료로 일반화하면, 이전의 n-1 시점을 점수들을 조건화하여 수식(2)와 같이 SGP를 산출할 수 있다.

이 경우 일반화된 SGP는 이전 n-1 시점의 성적이 동일한 집단과 비교한 상대적 향상정도를 백분위로 나타낸 것으로 해석된다. 시점의 수가 늘어날수록 이전 점수들의 결합으로 생성되는 비교집단의 수가 늘어나므로 백분위를 안정적으로 산출하기 위해 요구되는 사례수가 급격히 늘어나므로 적용에 유의할 필요가 있다. 본 연구에서는 예시적으로 3시점 자료를 활용하여 이전 2시점을 조건화시킨 모형을 제시하였다.

사후점수의 조건부 평균을 추정하는 선형회귀 모형과 달리, 학생별 SGP의 산출을 위해서는 주어진 사전점수에 대한 사후점수 분포의 조건부 확률밀도를 분위회귀(quantile regression) 방식으로 산출하여 활용한다 (Koenker, 2005). 선형회귀 모형을 적용하여 사전점수로부터 사후점수의 분포를 추정할 경우, 각 사전점수에 대한 사후점수의 분포는 등분산성 가정으로 인해 회귀직선상의 조건부 평균을 기준으로 동일한 분산을 가지는 정규분포의 형태를 띄게 된다. 따라서 사전점수와 이로부터 추정된 사후점수의 특정 백분위 (예를 들어 백분위 70) 또한 선형적 연관성을 가진다. 분위회귀분석은 이와 달리 사전점수와 이에 대한 사후점수의 특정 백분위 간의 연관성을 비선형적으로 추정하게 되므로 등분산성의 가정이 요구되지 않고, 따라서 사전점수와 사후점수의 결합분포 양상을 보다 현실적으로 반영하여 자료와 모형의 부합도를 극적으로 높일 수 있다는 장점이 있다 (Harrell, 2001).

초6, 중3 사전점수를 통해 고2 점수의 SGP를 산출하는 구체적인 절차를 예시하면 다음과 같다. 우선 초6 및 중3 점수를 예측변인으로, 고2 점수를 산출변인으로 하여 산출변인의 각 백분위와 초6 및 중3 점수간 연관성을 추정하는 일련의 분위회귀분석을 수행한다. 예컨대 1백분위에서 99백분위까지 99개의 백분위를 추정하는 99회의 분위회귀분석을 실시하여 주어진 초6 및 중3 점수로부터 예측된 각 백분위에 해당하는 고2점수를 산출한다. 다음으로, 해당 학생이 실제로 획득한 고2점수와 일련의 분위회귀분석을 통해 산출한 각 백분위에 해당하는 고2점수를 비교하여 획득한 점수에 해당하는 백분위점수를 찾는다.

아래 <표 1>의 학생은 초6, 중3, 고2에 각 164, 195, 210을 획득했다. <표 2>의 예시와 같이 전술한 99회의 분위회귀분석의 결과를 통해 초6과 중3 성적이 각각 164, 195인 학생의 1백분위에서 99백분위에 해당하는 고2성적을 각각 추정할 수 있다. 해당 학생이 고2에 실제 획득한 점수는 210점이므로 분위회귀 결과에 비추어 이 학생의 고2 점수는 초6 및 중2 성적이 동일한 학생들의 고2 점수 분포에서 75백분위에 해당한다. 따라서 해당 학생의 SGP는 75가 된다 (Betebenner, 2011b).

미국의 경우, 20개주 이상에서 학교와 교사의 수행을 평가하기 위하여 SGP가 활용되고 있다. 예를 들어 워싱턴 주에서는 2014-2015학년도까지 학교별 학생별 SGP 자료가 홈페이지에 제시되어 있으며, 이러한 자료는 SLDS K-12 Data and Report Statistics Data Files 웹페이지에서 다운로드 받을 수 있다(http://www.k12.wa.us/default.aspx). 또한 뉴저지 주에서도 2010년 이후 학생성장을 계산하는 방법으로 SGP를 받아들인 이후 2013년과 2014년에 시범적으로 교사평가에 도입하였고, 2015년부터는 모든 평가에 SGP를 활용하고 있다(NJSPOTLIGHT, 2014-02-04). 즉 학교수행보고서(School Performance Report, SPR)에, 기존에 사용했던 ‘보통이상의 학생비율(proficient rate)’ 외에도, ‘재학생 SGP의 중앙값’을 학교별 학생 성취 값으로 활용한다. 이는 좋은 학교는 학생의 성장을 촉진한다는 믿음이 책무성 체계에 반영되어 왔기 때문이다.

우리나라의 경우 국가수준학업성취도평가 결과는 학생 개인에게 평가결과표의 형태로, 학교수준에서는 학교알리미 사이트를 통해 다음과 같은 항목이 제공된다.

전술한 바와 같이 학교별 향상도는 학교 수준에서 이전년도 성취도를 기준으로 부가가치모형을 적용하여 산출하고 있으며 (김경희 외, 2011), 산출방식의 특성상 학생수준의 향상도를 학교별로 통합(aggregate)하는 형태가 아니라 학교수준에서의 향상도가 모형을 통해 직접적으로 추정되게 된다. 따라서 학교 수준의 평가결과 공시는 현재 시점의 성취도 현황(각 성취수준별 학생의 비율)과 학생들의 전반적인 향상도에 대한 정보를 모두 포함하지만, 학생 수준의 평가결과표에는 현재 시점에서 획득한 성취수준에 대한 정보만이 제공되게 된다. 이러한 현재의 공시방식에 대해, 제공되는 향상도 개념이 복잡하여 일반인뿐만 아니라 관련 당사자들도 이해하기가 어렵고, 학생 수준에서 성취에 대한 유용한 정보가 제공되지 못하는 점 등이 문제점으로 제기되고 있다 (김수진 외, 2016).

대안적으로, SGP를 통해 학생수준의 향상도를 산출하여 학생 및 학부모에게 평가결과표의 형태로 보고하고, 이를 학교수준에서 통합하여 학교정보 공시에 활용하는 방식을 고려할 수 있을 것이다. 이 경우 학생수준에서 향상도 정보를 제공해 줄 수 있으며, 일반인에게도 익숙한 백분위의 개념으로 향상도를 설명하므로 의사소통이 용이해지는 등의 장점이 있다.

SGP의 높은 활용도에도 불구하고, SGP에 대한 비판적인 시각 역시 존재한다. Baker와 Oluwole(2013)은 SGP가 저소득층이나 소수인종, 비영어 사용자 등의 교육소외계층(disadvantaged children)에게 여전히 불리한 점수이며, 따라서 SGP를 활용하여 교사나 학교의 책무성을 평가하게 되면 교육소외계층의 비율이 높은 학교와 교사들에게 불리하게 작용할 수 있다고 주장한다. 이러한 지적들에 대해 그동안 SGP를 활용한 연구가 매우 드물었던 우리나라의 교육환경에서 학생들의 성장백분위가 어떻게 분포하는지, 학생 배경정보에 따른 영향은 어떠한지, 이에 대한 학교의 영향력은 어떠한지 등에 대한 연구가 수행될 필요가 있을 것이다. 본 연구는 이러한 문제의식에 바탕하여 학생 및 학교수준의 SGP를 산출하고 이의 학생 및 학교수준 영향요인을 탐색하기 위한 목적에서 수행되었다.

본 연구에서는 세 시점에 걸쳐 실시된 국가수준학업성취도 전수자료를 학생수준으로 연계하여 분석하였다. 구체적으로, 2009년 초등학교 6학년 자료와 2012년 중학교 3학년 자료, 그리고 2014년 고등학교 자료를 연계하여 학생 수준 향상도인 학생성장백분위(Student Growth Percentile: SGP)를 산출하고, 학생 향상도에 영향을 미치는 학생 및 학교 변인의 영향을 분석하였다. 이때 기준이 되는 자료는 2014년 고등학교 자료로, 일반계 고등학교에 한정하였고, 고등학교 미진학자나 전문계 고등학교 진학자는 분석에서 제외하였다. 본 연구에서는 전수자료의 장점을 반영하되 분석의 효율성을 높이기 위하여 전체 일반고등학교를 분석대상으로 하고 학교별로 한 학급을 표집하여 분석에 활용하였다. 최종 분석대상은 1,587개 학교에 48,274명의 학생들이다.

본 연구에서 제시하는 모형은 학생성장백분위(SGP)를 활용하여 학생수준 향상도를 산출하고, 이에 영향을 미치는 학생 및 학교변인을 탐색하는 것을 목적을 하고 있다. 연구모형을 단계별로 살펴보면 다음과 같다.

본 연구에서는 2009년 초등학교 6학년 시기와 2012년 중학교 3학년 시기, 그리고 2014년 고등학교 3학년 시기에 수집된 국가수준 학업성취도 평가의 수학성취도 자료를 바탕으로 학생별 SGP를 산출하였다. 이렇게 산출된 수학교과의 SGP가 각 주요변인들에 따라 어떻게 다른지에 대한 기초분석을 실시한 결과는 다음 <표 5> ∼ <표 6>과 같다.

<표 5>는 범주형 변인들과 수학 교과 SGP의 관계를 살펴보기 위하여 t검증과 ANOVA 분석을 실시한 결과이다. 학생성별에 따른 수학 교과의 SGP를 비교하면, 여학생이 남학생에 비하여 수학성취도 향상도가 높은 것으로 나타났다. 다음으로 수학 방과후학교에 참여한 학생들이 참여하지 않은 학생들에 비하여 수학 교과의 SGP가 유의미하게 높았다. 가족형태에 따른 SGP의 차이를 살펴보면, 부모 모두와 생활하는 학생들이 한부모와 생활하거나 부모와 동거하지 않는 학생들에 비하여 수학 SGP가 유의미하게 높았다.

다음으로 학교 수준 변인에 따른 학생들의 SGP의 차이를 살펴보면, 국공립고에 비하여 사립고에 재학하고 있는 학생들의 수학 SGP가 유의미하게 높았다. 고교유형에 따른 차이를 살펴보면, 특목고와 자율고, 그리고 일반고의 순서로 SGP가 높았다. 학교소재지에 따른 학생들의 수학 SGP의 차이를 분석한 결과, 학교소재지별로 SGP에 유의미한 차이가 존재하였다. 광역시와 읍면지역의 학교 학생들의 수학 SGP가 가장 높았고, 그다음으로 중소도시 소재 학교이 학생들의 SGP가 높았으며, 서울지역 고교 재학생들의 SGP가 가장 낮았다.

다음 <표 6>은 학생 및 학교 수준의 교육맥락변인과 SGP간의 상관을 분석한 결과이다. 학생 수준에서는 학교생활을 충실하게 수행할수록, 수학에 대한 흥미 정도가 높을수록 수학 교과의 SGP가 높은 것으로 나타났다. 학교 수준에서는 방과후학교에 참여하는 학생들의 비율이 높을수록, 학교평균 사교육시간이 길수록 학교 평균 SGP이 높은 경향이 있었다. 학생들의 전반적인 경제적 수준을 나타내는 기초수급자비율은 학교평균 SGP와 부적인 상관을 보였다. 즉 기초수급자 비율이 높을수록 학교의 평균적인 수학 향상도는 낮은 것으로 나타났다.

학생의 수학성취도 향상에 영향을 주는 학생 및 학교 변인을 분석하기 위하여 SGP를 종속변인으로 하는 다층모형을 적용한 결과는 다음과 같다. 학생 수준에서는 학생성별과 학교생활, 사교육시간, 수학방과후학교 참여여부, 양부모가정 여부, 수학흥미 등의 영향을 분석하였고, 학교 평균 향상도에 대하여 학교설립유형, 고교유형, 학교 소재지, 방과후학교참여율, 학교평균 사교육시간, 기초수급자비율의 영향을 분석하였다. 또한 수학 향상도에 대한 사교육효과에 대하여 고교유형과 학교평균 사교육시간의 영향을 분석하여 이들 간의 상호작용효과를 분석하였다. 연구결과를 제시하면 다음 <표 7>과 같다.

먼저 SGP의 학교별 분산을 살펴보기 위하여 기본모형(ANOVA 모형)을 적용한 결과, 학생 수준은 분산은 712. 98이고, 학교 수준의 분산은 121.38로, 전체 수학성취도 향상도(SGP)의 분산 중 17.06%는 학교간 분산인 것으로 나타났다. 즉 이전 성취도를 고려했을 때, 우리나라 고등학생들의 수학 성취도 향상도는 학교간 편차가 비교적 높다고 해석할 수 있다.

다음으로 학생 및 학교 수준의 변인을 투입한 연구모형을 적용한 결과를 살펴보면 다음과 같다. 먼저 학생의 수학 향상도에 대한 학생 특성과 가정배경환경 등의 영향을 살펴본 결과, 여학생들의 향상도가 남학생들에 비하여 높은 것으로 나타났다. 학교생활을 충실하게 할수록, 그리고 사교육시간이 많을수록 수학성취도의 향상도가 높았다. 수학교과의 방과후학교에 참여하는 경우, 그렇지 않은 경우보다 수학 성취도 향상도가 높았다. 다른 요인들을 고려하였을 때, 부모 모두와 생활하는 가정과 그렇지 않은 가정의 학생들 간에 수학 향상도에 유의미한 차이가 없었다. 수학흥미가 높을수록 수학 성취도 향상도가 높았다. 다음으로 SGP에 대한 학생수준 변인의 효과가 학교별로 유의미하게 다른지를 분석한 결과, 학교생활과 사교육시간, 그리고 수학 방과후학교 참여여부의 효과가 학교별로 유의미하게 다른 것으로 나타났다.

학교별 수학 향상도에 대한 학교 수준 변인의 영향을 살펴본 결과, 학교 설립유형에 따른 학교평균 SGP에 차이가 발견되었는데, 국공립고에 비하여 사립고에서 학생들의 수학향상도가 높았다. 학교유형에 따른 차이를 보면, 일반고에 비하여 특목고와 자율고 학생들의 수학 향상도가 높았다. 학교소재지에 따른 수학 향상도를 보면, 읍면지역에 비하여 서울지역과 중소도시에 소재하는 학교 학생들의 수학 성취도 향상도가 낮은 경향이 있었다. 광역시와 읍면지역 간에는 학교평균 SGP에 유의미한 차이가 발견되지 않았다. 방과후학교에 참여하는 학생들의 비율이 높을수록, 학생들의 사교육 참여 시간이 많을수록 학생들의 수학 성취도 향상도가 높은 경향이 있었다. 또한 기초수급학생의 비율이 높을수록 학교 평균 수학 향상도가 낮은 경향이 있었다.

마지막으로 수학 향상도에 대한 사교육시간의 학교별 효과가 학교 수준 변인과 어떤 관계에 있는지를 분석한 결과, 특목고와 자율고에서 학생 향상도에 대한 사교육 효과가 낮은 편인 것으로 나타났다. 또한 사교육참여 시간이 높은 학교일수록 학생 향상도에 대한 사교육의 효과가 높은 편이었다. 즉, 특목고와 자율고에서는 학교평균 수학 향상도가 높았으며, 사교육에 의한 효과가 작은 편이었다. 학교평균 사교육시간의 경우 전반적인 수학 향상도는 높이지만, 사교육에 의한 효과를 증폭시키는 한계점이 있었다. 여타의 다른 학교 수준 변인들은 사교육 효과에 영향을 주지 않았다.