I. 서론
4차 산업 혁명이 시작된 시점에서 과학교육의 중요성은 더욱 부각 되고 있으며, 과학교육의 성패 여부에 따라 국가경쟁력이 좌우된다고 해도 과언이 아니다. 과학교육 목표 중 하나는 학생들의 과학에 대한 긍정적인 태도를 길러주어 과학의 가치를 깨닫고, 과학적 소양을 함양하도록 하는 것이다(교육부, 2015). 과학에 대한 긍정적인 태도나 흥미, 동기 및 효능감과 같은 정의적 성취는 과학의 인지적 성취수준을 예측하는 가장 강력한 변인으로 알려져 있으며(이미경, 김경희, 2004), 특히 성취수준이 높은 학생일수록 그 상관이 더 높은 것으로 보고되고 있다(서혜애, 2011). 이러한 현상은 OECD에서 주관하는 학업성취도 국제 비교 연구(Programme for International Student Assessment: PISA)에서도 발견할 수 있다. PISA는 대표적인 국제 학업성취도 비교 연구로써, 국가별 비교와 동시에 개별 국가의 교육 시스템을 평가하고, 그 나라의 교육 수준을 가늠할 수 있는 잣대로 사용되고 있다. 특히 과학적 소양을 주영역으로 다루고 있는 PISA 2006과 PISA 2015의 결과를 비교해 보면, 우리나라의 경우 과학 소양은 7~13위에서 9~14위로 다소 하락한 수준이기는 하나 여전히 상위권에 속하였다. 하지만 정의적 성취인 과학에 대한 즐거움과 흥미, 도구적 동기는 PISA 2006과 2015 모두에서 OECD 평균보다 낮게 나타났다(구자옥 외, 2016). 앞서 언급한바와 같이 정의적 성취는 인지적 성취를 예측하는 요인(김경희 외, 2008)임과 동시에 과학교육의 중요한 목표임을 감안할 때, 우리나라 학생들이 보이는 낮은 과학 정의적 성취의 이유를 탐색해볼 필요가 있을 것이다.
우리나라 학생들의 낮은 정의적 성취의 원인 파악 및 개선을 위하여 기존연구들은 학생들의 과학 정의적 성취 수준의 실태를 파악하고(곽영순 외, 2006; 김수연, 김효남, 2012), 과학적 태도를 포함한 정의적 성취를 향상시키기 위해 다양한 노력을 기울여 왔다. 관련 선행연구를 살펴보면, 교사에 의해 조성되는 심리적 수업 환경(박기성 외, 2009), 교사나 학급 분위기와 같은 수업환경(권치순 외, 2004)이 학생의 과학태도에 영향을 미치며, 교사의 과학 수업 활동이나 실험(이미경, 정은영, 2004)과 탐구수업 방식(손원숙, 박정, 2017)이 학생들의 과학 정의적 성취와 관련성을 보였다. 뿐만 아니라 과학 수업시간에 제공되는 구체적인 피드백이 학생의 과학에 대한 자신감, 흥미와 동기 등에 긍정적인 효과를 준다고 보고하였다(이현주, 최경희, 남정희, 2000). 이와 같이 과학 수업환경이나 수업 및 평가 방식이 학생의 과학 정의적 성취에 어떠한 영향을 미치는지에 대한 연구는 일부 진행되어 오기는 하였으나, 과학 수업을 구성하는 수업환경, 수업방식 및 수업과 통합된 평가의 효과를 종합적으로 살펴보고 이들의 상대적인 영향력에 주목한 연구는 매우 제한적인 것으로 탐색되었다. 또한 일부 연구(권치순 외, 2004; 이미경, 정은영, 2004)에서는 개개인의 학생들이 하나의 교실 혹은 학교에 소속되어 있는 위계적 자료 구조를 고려하지 않아 학생 및 학교(학급)수준의 효과가 차별화되지 않았다는 방법론적인 한계가 파악되었다. 한편 수업환경이나 수업 및 평가실제를 측정하는 방식은 크게 두 가지로 분류될 수 있다. 우선 수업 및 평가를 시행하는 주체인 교사의 응답을 통하여 이들을 측정하는 방식(박기성 외, 2009)이 있는데, 이는 교수-학습 실제에 대한 객관적인 효과를 살펴본다는 면에서는 장점이 있다. 그러나 동일한 교수-학습 과정이 진행되더라도 개인의 가치부여에 따라서 이들의 효과는 개인별로 차이를 나타낼 것이며, 이는 Pekrun(2000)의 통제-가치(Control-Value)이론에 의해서 설명될 수 있다. 따라서 학생이 스스로 지각한 수업환경, 수업 및 평가실제를 측정하는 방안은 실제 학생에 의해 경험된 수업환경, 수업 및 평가실제의 효과를 탐색할 수 있다는 점에서 의의가 있을 것이다.
우리나라 고등학생의 경우, 입시체제로 인하여 평가에 대한 부담이 높아짐과 동시에 경쟁이 심한 학습 환경에 노출되어 있다. 이러한 학교 맥락 특성은 학생들의 자아개념이나 동기 및 교과태도에 매우 영향력이 큰 요인으로 작용할 것이다. 또한 학교급이 올라감에 따라 정의적 성취가 낮아진다는 여러 연구결과에도 불구하고(권치순 외, 2004; 김수연, 김효남, 2012), 여전히 인지적 성취와의 강한 상관관계를 보이는 점을 고려해 본다면, 우리나라 고등학생들의 과학 정의적 성취수준에 영향을 미칠 수 있는 수업환경, 과학 교수-학습변인들을 파악해 볼 필요가 있다. 특히 고등학생들이 대부분의 시간을 학교에서 보내는 상황을 고려해 볼 때, 정의적 성취를 형성하는데 있어 본인이 속한 학교의 학습 환경에 영향을 받을 가능성이 크므로, 학교 효과를 파악하기에 용이하다고 판단되었다. 따라서 PISA 2015의 자료를 활용하여 실제 우리나라 고등학생들의 과학 수업환경, 수업 및 평가실제 관련 변인들이 과학 정의적 성취 수준에 미치는 효과를 학생 및 학교수준에서 탐색함으로써 과학 교육에 있어 학교 역할의 중요성에 대한 시사점을 도출하려 한다.
요약하면, 학교교육 안에서 학생들의 인지 또는 정의적 성취를 향상시키는데 주요한 역할을 수행하는 학교 수업의 중요성에도 불구하고 이에 대한 경험적 연구는 소수에 불과하였다. 이로 인해 정의적 성취 향상을 위한 교수-학습 관점에서의 시사점 파악에 한계가 있다는 점에 주목하여, 본 연구는 우리나라 고등학생들을 대상으로 학생이 지각한 과학 수업환경, 수업 및 평가실제가 과학의 정의적 성취에 미치는 효과를 분석하고자 한다. 이러한 연구 목적을 수행하기 위하여 PISA 2015의 학생 및 학교 설문자료를 활용하고, 자료의 위계성을 고려하여 다층 자료 분석모형을 통하여 학생 및 학교수준의 효과와, 학생수준의 효과를 통제한 이후 학교수준에서 보이는 구성효과(compositional effects) 역시 탐색하였다(Dumay & Dupriez, 2008). 본 연구 결과를 통하여 정의적 성취를 증진시킬 수 있는 과학 수업에서의 교수방안에 대한 기초자료를 마련하고자 한다.
II. 이론적 배경
학교교육에서 ‘과학을 어떻게 가르치는가?’는 학생의 학업적 성과 뿐 아니라 과학에 대한 흥미 혹은 신념과 같은 정의적 특성을 형성하는데 직·간접적인 영향을 미칠 것이다(OECD, 2016). 과학 교사가 형성하는 수업환경과 수업 및 평가 유형이 학생의 과학 정의적 성취에 미치는 영향과 관련된 선행연구를 살펴보면 다음과 같다.
먼저, 과학수업에서 교사는 학생들로 하여금 수업 환경을 긍정적으로 인식할 수 있도록 수업분위기를 조성해야 하며(이재천, 김범기, 1999), 학생들에게 더 많은 기회와 선택을 주어야 한다(McGinnis et al., 2002). 학생들의 인지적·정의적 성취에 가장 크게 영향을 미치는 환경적 요인 중 하나는 물리적 환경보다는 교사가 조성하는 수업분위기일 것이며(Fraser & Fisher, 1986), 이와 더불어 학생들의 학습을 도와주는 교사의 지원적인 행동은 학생의 학습에 영향을 주는 수업 환경적 요소로 작용할 것이다(주형주, 이지애, 김영민, 2012). 따라서 과학 교사가 조성하는 수업환경은 학생 개인의 특성에 따라 과학 정의적 성취에 서로 다른 변화를 가져올 것이다.
둘째, 과학 수업실제와 학생의 정의적 성취 간의 관련성을 살펴보면, 교사중심수업이란 교사가 구조화된 내용을 전달하며, 토의 및 질의응답을 주도적으로 이끌어 가는 수업방식이다. 특히 우리나라 학생들의 경우, 강의를 경청하는 교수-학습활동의 비율이 약 50%로 상당히 많은 부분을 차지하며(김대석, 홍후조, 2010), 과학교사와의 면담에서도 “학생들이 발표나 질문 같은 자발적 수업참여 활동을 꺼렸으며, 오히려 잘 정리된 내용을 전달하여 주는 것을 좋아한다”고 밝혔다(홍미영, 2008, p. 67). 한편 PISA 2015 자료를 기반으로 한 손원숙과 박정(2017) 연구에 따르면 우리나라 학생들의 탐구중심수업 활동 중 상호작용은 활발하나, 핸즈온 활동이나 학생 연구 활동은 거의 이루어지지 않았으며, 그럼에도 불구하고 탐구중심수업을 많이 받은 학생일수록 과학에 대한 흥미 및 효능감이 더 높았다. 이러한 선행연구들은 학생들의 정의적 특성인 흥미와 동기 및 효능감을 예측할 수 있는 두 가지의 수업실제에 대한 상대적 영향력을 알아볼 필요가 있음을 시사한다.
마지막으로 과학수업에서 형성평가와 정의적 성취 간의 관련성을 살펴보면, 형성평가는 일반적으로 학생의 자기효능감과 높은 상관을 보이며(박민애, 손원숙, 2016), 학생의 내적 동기(Pat-El, Tillema, & van Koppen, 2012)를 정적으로 예측하기도 한다. 특히 본 연구에서 사용된 PISA 2015 과학 자료에서 형성평가를 피드백과 수업조정으로 개념화 하였다. 피드백은 과학 과목에서 보이는 강점이나 성취수준을 알려주고, 이를 향상시킬 수 있는 방법에 대해 정보를 제공하며, 수업 조정은 학생의 요구나 지식수준에 따른 맞춤형 수업을 제공하거나, 학습내용을 잘 이해할 수 있도록 수업방식을 조정하는 활동을 의미한다. 일부 선행연구(손원숙, 2017)에서는 형성평가가 과학에 대한 흥미 및 인식론적 신념에 미치는 영향을 탐색하기는 하였으나, 교실평가는 수업과 통합된 일부분이라는 측면에서 평가와 수업, 그리고 이들을 둘러싼 수업환경의 영향력을 함께 고려해 볼 필요성이 제안된다.
학교효과와 관련된 선행연구들을 살펴보면, 학교효과는 구성효과(compositional effects)와 맥락효과(contextual effects)가 혼재되어 있는 경우를 발견할 수 있다(Raudenbush & Willms, 1995). 구분하자면, 맥락효과는 학교에 있는 학생 개개인의 배경적 특성의 다양함을 나타내는 예측변인의 효과를 의미하며, 주로 학년, 규모, 공립/사립 등의 학교간의 차이를 설명할 때 사용한다. 반면 구성효과는 개인수준에서 예측변인의 효과를 넘어, 동일한 예측변인을 학교수준으로 통합하여 해당 변인에 의해 얻어진 추가적인 효과에 대한 통계적 추정을 의미한다(Bryk & Raudenbush, 1992). 주로 교육 분야에서 구성효과는 학생이 속한 교실환경의 효과를 파악하기 위하여 사용되었는데(Nolen, 2003), 이때 사용된 교실(학교)수준으로 통합된 자료는 단순히 자기보고식 측정으로부터 얻은 개인자료의 합을 의미하지 않는다. 다시 말해, 교실환경을 인식하는데 있어서 학생의 성향과 같은 개인적인 특성(trait)등이 개입된다고 가정해 볼 때(Spielberger, 1972), 학교 평균으로부터 떨어진 개인의 인식의 차이는 측정오차로 간주될 수 있다. 따라서 한 학교에 속한 모든 학생의 평균 점수는 실제 학교 환경을 반영한 더욱 신뢰로운 자료로 활용될 수 있음을 의미한다(Haertel, Walberg & Haertel, 1981). 결과적으로 학교수준의 예측변인이 종속변인에 미치는 효과는 학생수준의 결과와는 다르게 나타날 것이며, 이는 실제적인 교실 혹은 학교 상황을 이해하는데 있어 교사에게 직접적으로 측정한 자료 보다 더 효율적일 것이다.
학생의 정의적 성취 발달에 대한 구성효과를 살펴본 대표적인 연구로는 Marsh(1987) 높을수록 학업적 자아개념에 긍정적인 영향을 미치지만, 학교 평균 성취가 높을수록 개인의 학업적 자아개념 형성에 부정적 영향을 미친다는 것이다. 즉, 동일한 수준의 인지적 성취를 지닌 두 학생이 다른 참조집단(학교)에 속해 있을 때, 자아개념 형성에 있어서 다른 효과를 보인다는 것이다. 본 연구에서는 BFLPE를 확장하여 학생이 소속된 학교의 과학 교수-학습활동에 따라 과학의 정의적 성취 발달에 미치는 구성효과를 파악해보려 한다. 김혜숙과 함은혜(2014)는 PISA 2012 자료를 활용하여 학교유형(공립/사립), 수학교사 1인당 학생 수, 수학성취도 수준, 학생중심수업, 수업분위기, 학교 풍토 등이 수학에 대한 정의적 성취(내적 동기, 도구적 동기, 자아효능감, 자아개념)에 미치는 구성효과를 발견하였다. 이 연구는 학생이 속해 있는 수업환경 및 학교특성 등이 학생의 정의적 성취에 미치는 구성효과를 파악하였다는 점에서 의의가 있으나, 해당 교과 수업과 관련된 직접적인 교수-학습관련 변인들의 탐색이 이루어지지 않았다는 점에서 한계점을 보인다. 따라서 본 연구에서는 개인수준 뿐 아니라 학교수준에서 통합된 교수-학습 관련변인들이 과학 정의적 성취에 미치는 구성효과를 파악하는데 주안점을 두려한다.
III. 연구 방법
우리나라 PISA 2015 모집단은 정규학교에 재학중인 만 15세를 대상으로 하며, 2단계 층화표집을 통해 총 168개교(중학교 23개, 고등학교 145개)의 5,581명이 표집되었다. 교실수업 및 평가 정책 측면에서 중, 고등학교는 이질성이 존재한다고 판단하여 본 연구에서는 중학생을 제외한 고등학생 자료만을 분석에 사용하였다. 다층모형 분석 시 목록별(listwise) 결측값 제외 방법에 따라 실제 최종분석에 포함된 대상은 총 고등학교 139개교의 4,322명의 학생이었다. 이 중 10명 미만 학생을 가진 3개의 소규모 학교를 제외하고 최종적으로 136개교의 4,314명의 자료가 사용되었다. 고등학교 계열에 따른 학교 수는 인문계는 114개교, 전문계는 22개교였고, 학교 당 평균 학생 수는 31.72명 이었다. 성별 및 계열별 학생 분포를 살펴보면, 남학생 50.8%, 인문계 85.8%를 구성하였다. 본 연구에서 분석에 사용된 학교 계열 및 학생 성별에 따른 분포는 <표 III-1>과 같다.
구분 | 학생 수(명, %) | 학교 수(개교, %) | ||
---|---|---|---|---|
남 | 여 | 전체 | ||
인문계 | 1,834(49.5) | 1,869(50.5) | 3,703(85.8) | 114(83.8) |
전문계 | 356(58.3) | 255(41.7) | 611(14.2) | 22(16.2) |
합계 | 2,190(50.8) | 2,124(49.2) | 4,314(100) | 136(100) |
본 연구에서는 과학 정의적 성취를 구체적으로 내적 동기, 도구적 동기 및 자아효능감으로 정의하였다. 먼저 과학에 대한 내적 동기는 학생들이 과학을 배우고 과학에 관한 활동을 하는 것에 대하여 어느 정도 재미있고 즐거워하며 과학 공부에 흥미가 있는지에 관한 것이다. 내적 동기가 과학 자체의 흥미와 즐거움에 의한 동기라고 볼 때, 도구적 동기는 외적동기로 과학을 배우는 것이 앞으로 자신의 미래 관련 진로나 직업 수행에 유용할 것이라는 인식에 의한 동기라고 볼 수 있다. 다음으로 자아효능감은 과학과 관련된 과제를 성공적으로 수행할 수 있는 자신의 능력에 대한 신념이다. <표 III-2>에 제시된 바와 같이 과학에 대한 내적 동기, 도구적 동기, 자아효능감 척도는 4점 리커르트식 응답척도를 사용하였고, 신뢰도 수준은 모두 양호한 것으로 나타났다. 분석을 위하여 본 연구에서는 OECD에서 제공하는 표준화 지수(M=0, SD=1)를 활용하였다.
본 연구에서 사용한 과학 교수-학습 관련 예측변인은 다음과 같다(<표 III-2> 참고). 먼저, 과학 수업환경 중 수업분위기는 과학시간에 학생들이 수업에 얼마나 집중을 잘 하는지에 대한 것이며, 교사의 지지는 교사가 학습에 곤란을 겪는 학생들을 잘 도와주며, 학생 스스로 의견을 표현할 기회를 제공해 주는 것으로, 학생들의 학습에 대한 교사의 관심이라고 할 수 있다. 두 번째, 과학 수업실제는 탐구중심수업과 교사중심수업으로 구분하였고, 교사중심수업의 경우 수업의 주축은 교사로 과학적인 아이디어나 의견을 교사가 직접 제시하고 설명하며, 토론까지 이끌어 나가는 방식이다. 이와 달리, 탐구중심수업은 학생이 주축이 되어 과학에 대한 자신의 생각을 표출하고, 과학 문제에 대해 토론하거나 실험 설계 및 결론까지 도출하는 수업을 의미한다. 세 번째, 과학 수업시간에 일어나는 형성평가이다. 형성평가는 피드백과 수업조정으로 나누어졌다. 피드백은 교사가 학생에게 과학 과목의 성취수준이나, 자신의 강점이 무엇인지에 대한 피드백을 제공하며, 학습목표의 도달 방법에 대해 조언해 주는 것이다. 수업 조정은 과학 수업시간에 학생이 어려움을 겪을 때 개별적으로 도와주거나, 수업을 듣는 학생들의 요구와 지식수준에 맞춰 수업을 조정하는 것을 의미한다. 예측변인을 측정하는 문항의 신뢰도 계수는 양호한 것으로 나타나 본 연구에서는 OECD에서 제시한 표준화지수(M=0, SD=1)를 분석에 활용하였다.
과학수업에서 학생이 지각한 교수-학습 실제와 학생의 성취에 대한 관련성을 확인하기 위하여 사회경제적 지위(ESCS), 과학성취수준 및 성별을 통제변인으로 활용하였다. 먼저 ESCS는 부모의 직업, 교육수준, 가정의 자산 정도 등을 포함하는 통합지표가 사용되었다. 한편 과학성취수준은 PISA에서 제공하는 1a/1b수준부터 6수준에 이르기까지 총 7수준으로 나누어진 성취수준을 총 2개의 집단으로 구분하였다. 먼저 ‘상위집단’(38.3%)을 우수수준(5수준 이상)을 포함한 4, 5, 6수준의 학생으로 구분하고, ‘하위집단’(61.7%)을 보통수준 이하에 해당하는 1a/1b, 2, 3수준의 학생으로 구분하였다(구자옥 외, 2016). 마지막으로 성별의 경우 남학생을 1, 여학생은 0으로 더미코딩 하였다. 학생수준의 통제변인들은 학교수준으로 통합(aggregate)하여 학생수준뿐 아니라 학교수준의 통제변인으로도 투입되었다.
학생의 과학에 대한 내적 동기, 도구적 동기와 자아효능감과 관련된 개인수준 및 학교수준의 예측변인의 효과를 살펴보기 위하여, 2수준 다층모형 분석을 실시하였고, 이를 위해 통계 프로그램인 HLM 6.2(Raudenbush et al., 2004)를 사용하였다. 또한 평가 결과의 신뢰성 확보를 위하여 제공되는 PISA의 학생 표본 가중치(sampling weights)를 분석에 포함시켰다.
본 연구에서는 총 5개의 분석모형을 위계적으로 구성하였다. 먼저 설명변인을 투입하지 않은 영모형(Null Model, 모형 0)을 이용하여, 학생의 과학에 대한 정의적 성취의 전체 분산을 학교와 학생수준으로 분리하여 추정하고, 분산의 유의성을 검증하였다. 다음으로는 학생 및 학교수준 모두에 통제변인 즉, ESCS, 과학성취수준과 성별을 투입하였다(모형 1).
한편, 과학 교수-학습 관련 설명변인들은 과학 수업맥락에서 동시다발적으로 발생할 수 있으므로 그 효과성을 구분하여 파악하기 위하여, 변인들을 범주로 나누어 학생수준과 학교수준에 동시에 투입하였다. 구체화하면, 모형 2는 수업환경의 효과를 알아보기 위하여 1수준에는 개인이 지각한 수업분위기 및 교사지지 변인을, 2수준에는 학교수준에서 통합된 수업분위기 및 교사지지 변인을 투입하였다. 또한 수업실제의 효과(모형 3)를 파악하기 위하여 학생수준에 탐구중심수업과 교사중심수업이 투입되었으며, 학교수준에 동일한 변인의 평균을 투입하였다. 다음으로는 평가모형(모형 4)으로 학생수준에 형성평가(피드백, 수업조정)가 투입되었으며, 학교수준에서 통합된 평균 피드백과 수업조정이 투입되었다. 마지막으로 모형 5는 통합모형으로, 학생 및 학교수준에 통제변인과 과학 교수-학습 관련 모든 예측변인이 투입되었다.
무선절편모형(Random Intercept Model)(Bryk & Raudenbush, 1992)을 이용하여, 기울기를 고정하고 절편의 무선 효과만을 검증하였으며, 각각의 설명변인이 학생의 성취에 미치는 영향력의 크기와 유의도를 파악하였다. 또한 설명변인이 투입됨으로 인해 설명되는 학생, 학교 및 전체 분산의 비율(%)은 [(모형0분산-해당모형분산)/모형0분산]*100으로 추정되었다. 분석을 위한 연구모형의 수식은 다음과 같다.
Yij: 학교 j에 소속된 학생 i의 성취 점수(내적 동기, 도구적 동기 및 자아효능감)
Χnij: 학교 j에 소속된 학생 i의 통제변인/과학 교수-학습 관련 변인 n에서의 개인점수
β0j : 학교 j의 평균(절편)
Ζnj : 학교 j의 학교수준 통제변인/과학 교수-학습 관련 변인 n에서의 통합된 평균점수
다층모형 분석은 학생 개인의 효과와 학교의 효과를 추정함과 동시에, 집단 내 효과와 집단 간 효과를 구분할 수 있으며 변인의 중심화의 선택에 따라 절편과 계수 추정치의 의미가 달라진다. 본 연구에서 1수준 변인은 집단평균 중심화(group-mean centering), 2수준 변인은 전체평균 중심화(grand-mean centering)를 적용하였다. 한편 구성효과 계수는 해당변인의 [2수준 계수-1수준 계수]로 추정하며, 이들의 유의도를 파악하기 위해 추가적으로 1수준 변인을 전체평균 중심화를 적용하여 분석하였다.
IV. 분석 결과
본 연구의 분석에 포함된 주요변인들의 기술통계치를 <표 IV-1>에 나타내었다. 먼저 종속변인으로 사용된 3개의 성취를 살펴보면, 우리나라 고등학생의 내적 동기(–.08)는 OECD 평균보다 낮게 나타났지만, 도구적 동기(.06)와 자아효능감(.01)은 평균보다 높게 나타났다. 예측변인인 과학 교수-학습 관련 변인의 경우, 과학수업분위기(.63)는 평균보다 높아 대체로 긍정적인 편으로 나타났으며, 반면 과학교사지지(–.10)는 OECD 평균보다 낮게 나타났다. 탐구중심수업(–.67)과 교사중심수업(–.60)도 OECD 평균보다 낮게 나타났으며, 또한 피드백(–.40)과 수업조정(–.07)을 포함한 형성평가의 평균도 OECD 평균보다 낮게 나타났다.
설명변인이 투입되지 않은 무조건 모형의 분산성분 분석을 통하여 각 수준별 정의적 성취 변인들의 분산 비율을 탐색하였다. 무조건 모형 분석결과(<표 IV-2> 참고), 학교수준의 분산은 내적 동기 .077(p<.001), 도구적 동기 .046(p<.001), 자아효능감 .042(p<.001)등으로 학교 간에 유의한 차이가 있음을 알 수 있었다. 또한 전체분산에 대한 집단간 분산 비율(ICC)은 내적 동기는 5.68%, 도구적 동기는 4.52%, 자아효능감은 3.01%로 나타났다. 이는 일반적으로 알려진 인지적 성취에 대한 학교간 분산 크기보다는 작았으나(구자옥, 한정아, 김성숙, 2015; 김경희 외, 2008), 기존 PISA 관련 선행연구(김혜숙, 함은혜, 2014; 손원숙, 2008)에서 나타난 정의적 성취의 학교간 분산 크기와 비교적 유사한 수준이었다.
고정효과 | 내적 동기 | 도구적 동기 | 자아효능감 | |||
---|---|---|---|---|---|---|
계수 | S.E | 계수 | S.E | 계수 | S.E | |
2수준 절편 | −.084 | .030 | .054 | .024 | .011 | .025 |
무선효과 | 분산 | % | 분산 | % | 분산 | % |
2수준(학교) | .077 | 5.68 | .046 | 4.52 | .042 | 3.01 |
1수준(학생) | 1.276 | 94.32 | .967 | 95.48 | 1.354 | 96.99 |
과학 정의적 성취에 대한 학생 및 학교 효과의 주요 결과는 <표 IV-3>와 <표 IV-4>에 제시되어 있다. 먼저 학생 및 학교수준에 통제변인인 ESCS, 과학성취수준, 성별이 투입된 모형 1을 살펴보면, 내적 동기를 설명하는데 있어 전체분산 중 학교간 분산의 67.6%, 도구적 동기의 경우 47.7%, 자아효능감은 72.3%로 상당히 큰 부분을 설명하였고, 반면 학생간 분산은 10.0%, 3.4%, 6.1%를 설명하였다. 학생수준의 ESCS가 높을수록 학생의 과학 내적 동기(b=.185, p<.001), 도구적 동기(b=.078, p<.01), 자아효능감(b=.309, p<.001)이 높게 나타났으며, 과학성취수준이 높을수록 학생의 과학 내적 동기(b=.675, p<.001), 도구적 동기(b=.338, p<.001)와 자아효능감(b=.437, p<.001)이 높게 나타났다. 성별의 경우, 남학생일수록 내적 동기(b=.360, p<.001)와 도구적 동기(b=.205, p<.001)가 높게 나타났으며, 자아효능감은 통계적으로 유의한 관련성을 보이지 않았다. 학교수준에서, 학교 평균 ESCS가 높을수록 자아효능감(b=.217, p<.05)이 높게 나타났으며, 동기와는 통계적으로 유의한 관련성이 나타나지 않았다. 학교 평균 과학성취수준이 높을수록, 모든 과학 정의적 성취가 높게 나타났으며(b=.480~910, p<.001), 남학생 비율이 높은 학교일수록 내적 동기(b=.363, p<.001)및 도구적 동기(b=.241, p<.001) 가 높게 나타났다.
모형 2에서 수업환경(수업분위기, 교사지지)을 투입한 후 학교간 분산의 84.3%(내적 동기), 64.1%(도구적 동기), 83.7%(자아효능감)를 설명하였고, 학생간 분산의 13.2%, 6.3%, 7.8%를 설명하였다. 이는 통제변인만 포함된 모형에 비하여 수업환경 변인이 추가됨으로써 학교간 분산 11.4~16.7%, 학생간 분산 1.7~3.2%를 더 설명함으로써 상당히 영향력 있는 예측변인의 범주로 나타났다. 학생 개인이 지각한 과학수업분위기는 통계적으로 유의한 관련성이 나타나지 않았지만, 학교 평균 과학수업분위기는 모든 과학 정의적 성취(b=.205~.260,p<.01)와 통계적으로 유의한 정적 관련성을 나타내었다. 한편 과학수업분위기의 구성효과계수는 내적 동기(b=.205-.004=.201, p<.01), 도구적 동기(b=.260-.007=.253, p<.01), 자아효능감(b=.214-(-.008)=.222, p<.01)으로 나타났다. 학생이 지각한 과학교사지지가 높을수록 학생의 모든 과학 정의적 성취가 높게 나타났으며(b=.172~.224, p<.001), 과학교사의 지지를 받은 학생이 많은 학교에 속한 학생들의 과학 내적 동기(b=.331, p<.001)와 도구적 동기(b=.179, p<.05), 자아효능감(b=.161, p<.05)이 모두 높게 나타났다. 그러나 과학교사지지에 대한 구성효과는 통계적으로 유의하지 않았다.
모형 3에서는 수업실제(탐구중심수업, 교사중심수업)를 모형 1에 추가하여 투입하였고, 이는 통제변인만 투입된 모형 1에 비하여 학교간 분산의 10.4%, 7.7%, 6.2%(내적 동기, 도구적 동기, 자아효능감), 학생간 분산의 3.0%, 2.8%, 2.1%만큼 추가적으로 설명하였다. 탐구중심수업(b=.092~.118, p<.001) 및 교사중심수업(b=.071~.116, p<.01) 모두는 학생 개인수준에서 과학 정의적 성취에 정적인 효과를 보이는 것으로 나타났으며, 특히 탐구중심수업은 자아효능감(b=.118, p<.001)과, 교사중심수업은 내적 동기(b=.116, p<.001)와 상대적으로 강한 관련성을 나타냈다. 반면 학교수준에서는 오직 교사중심수업과 내적 동기와의 관련성(b=.275, p<.001)만이 통계적으로 유의하게 파악되었다. 한편, 수업실제가 정의적 성취에 미치는 구성효과는 통계적으로 유의하지 않았다.
모형 4에서는 평가실제로써 형성평가(피드백, 수업조정)가 통제모형(모형 1)에 투입되었고, 학교간 분산의 83.9%(내적 동기), 56.3%(도구적 동기), 72.0%(자아효능감), 학생간 분산의 15.7%, 7.7%, 9.12%를 설명하였다. 형성평가 변인이 추가됨으로써 학생간 분산의 내적 동기는 5.7%, 도구적 동기는 4.4%, 자아효능감은 3.1%를 더 설명함으로써 다른 연구모형에 비하여 학생간 차이에 영향력이 큰 모형으로 설명된다. 교사로부터 피드백을 많이 받은 학생일수록 학생의 모든 과학 정의적 성취(b=.100~.132, p<.001)가 높게 나타났지만, 학교 수준에서 평균 피드백의 효과는 통계적으로 유의하지 않았다. 반면, 수업조정을 많이 받은 학생일수록 학생의 과학 내적 동기(b=.200, p<.001), 도구적 동기(b=.140, p<.001)와 자아효능감(b=106, p<.001) 모두 정적 관련성을 보였으며, 학교 수준에서 평균적인 수업조정이 많이 이루어질수록 과학 내적 동기(b=.461, p<.001)와 도구적 동기(b=301, p<.01)가 높게 나타났다. 더욱이, 학생수준의 수업조정에 대한 효과를 통제한 이후에도 학교 평균 수업조정이 학생의 과학 내적 동기에 정적인 구성효과(b=.461-.200=.261, p<.01)가 나타났다.
모형 5는 학생이 지각한 수업환경과 수업 및 평가실제 변인의 효과를 종합적으로 살펴보기 위한 통합모형으로, 전체 분산 중 학교간 분산의 85.4%(내적 동기), 63.9%(도구적 동기), 84.2%(자아효능감), 학생간 분산의 16.1%, 8.4%, 9.1%로 나타났다. 이는 통제모형에 비하여 통합모형에서 과학 교수-학습 관련 예측변인에 의하여 학교간 분산의 17.8%(내적 동기), 16.17%(도구적 동기), 11.92%(자아효능감), 학생간 분산의 6.1%(내적 동기), 5.0%(도구적 동기), 3.6%(자아효능감)만큼 추가적으로 설명하였다. 먼저, 과학교사지지 변인은 모형 내 다른 변인의 효과를 통제한 이후에도 모형 2에 비하여 계수 크기가 다소 작아지기는 하였으나 학생수준에서 모두 통계적으로 유의한 효과(b=.067~.087, p<.05)를 보였다. 또한 학교 평균 과학수업분위기 변인은 모형 내 다른 변인의 효과가 통제된 이후에도 모형 2에 비하여 내적 동기(b=.175, p<.05)와 도구적 동기(b=.247, p<.01)에 미치는 효과는 다소 감소하였으나 여전히 통계적으로 유의한 효과를 보였으며, 자아효능감(b=.223, p<.01)에 미치는 효과는 모형 2에 비하여 더 큰 영향력을 보였다. 뿐만 아니라 통합모형에서도 학교 평균 과학수업분위기는 모든 정의적 성취와 통계적으로 유의한 구성효과(b=.184~.239, p<.05)를 나타내었다. 둘째, 수업실제의 경우, 유일하게 학생수준의 탐구중심수업은 자아효능감(b=.064, p<.01)과 정적 관련성을 보였다. 형성평가의 경우 학생수준의 피드백과 수업조정은 모형 내 다른 변인의 효과를 통제한 이후에도 모형 4에 비하여 계수 크기가 다소 낮아지기는 하였으나, 모든 과학 정의적 성취에 미치는 효과가 정적으로 유의하였다. 또한 모형 4(수업모형)에서 존재하지 않았던 학교 평균 피드백에 대한 구성효과가 도구적 동기(b=-.150-.077=-.227, p<.05)에 부적으로 나타났으며, 모형 4에 나타난 학교 평균 수업조정 변인이 내적 동기에 미치는 구성효과는 통합모형에서 통계적 유의성은 나타나지 않았지만 학교수준의 영향력은 유지되었다(b=.367, p<.01).
Ⅴ. 요약 및 논의
2015 과학과 교육과정의 핵심 키워드는 ‘모든 이를 위한 과학(Science for All)’으로 학생들이 과학적 소양을 함양하며, 탐구 방법을 습득하고, 그들의 적성을 고려한 진로교육이 될 수 있도록 하는 것이 목표이다. 특히 과학교과의 하위 목표 중 하나는 ‘자연현상에 대한 흥미와 호기심을 갖고 문제를 과학적으로 해결하려는 태도를 기른다’는 것이며, 이는 과학적 태도 함양의 중요성을 강조하고 있다. 따라서 학생들이 과학에 대한 흥미를 가지고, 학습에 대한 긍정적인 태도를 기르는 것은 교육적 성과에 있어 중요한 부분을 차지한다. 또한 과학에 대한 정의적 성취를 높이는 것은 장기적으로 학습을 지속시킬 뿐 아니라, 향후 진로를 선택하는데 중요한 역할을 하고, 이는 국가적으로 과학 분야를 활성화시킬 수 있는 중요한 역할을 하게 될 것이다. 그럼에도 불구하고 정의적 성취는 인지적 성취를 예측하는 변인으로 여겨져 오거나(김경희 외, 2008; 이미경, 김경희, 2004), 여전히 정의적 성취보다는 인지적 성취에 대한 연구가 활성화되어(Fortus, 2014), 학생의 정의적 성취에 대한 인식이 부족한 실정이다. 게다가 성적위주의 입시풍토 또한 학생의 정의적 특성에 부정적인 역할을 하고 있다. 따라서 과학교육에서 학생들의 정의적 성취를 증진시키기 위한 노력이 요구되며, 학교교육 활동과 교수학습이 이를 극대화시킬 수 있기를 기대한다. 본 연구의 목적은 학생들의 정의적 성취를 과학교육의 중요한 성과로 보고, 학생이 지각한 과학 수업환경, 수업 및 평가실제의 효과를 탐색함으로써, 과학에 대한 정의적 성취를 높이기 위한 학교교육의 역할에 대한 시사점을 도출하고자 하였다.
첫째, 과학 정의적 성취를 종속변인으로 한 2수준 다층모형 분석을 통하여 추정한 결과, 전체 분산 중 과학에 대한 정의적 성취에 대한 학교간의 차이를 설명하는 분산의 크기는 5% 내외로 기존 선행연구 결과(김혜숙, 함은혜, 2014; 손원숙, 2008)와 비교적 유사한 경향을 보였다. 또한 기존의 PISA 자료를 활용하여 과학 인지적 성취도의 약 34%(김경희 외, 2008; 구자옥, 한정아, 김성숙, 2015)가 학교 간 차이에 의해서 설명된다는 결과와 비교해 본다면, 정의적 성취를 설명하는 학교 간 차이는 상대적으로 작은 것으로 파악되었다. 이러한 연구결과를 통하여, 정의적 성취는 인지적 성취에 비하여 학교교육에 의해 단기간에 쉽게 변화되기는 어려운 특성을 가지고 있거나, 혹은 학생 개인의 학습 경험이 과학의 정의적 성취와 더 깊은 관련이 있을 수 있다고 추측해 볼 수 있다.
둘째, 사회경제적 지위(ESCS), 과학성취수준, 성별의 통제변인을 학생수준과 학교수준에 투입한 결과, 이들 통제변인은 전체 분산 중 학교수준 분산을 내적 동기 67.6%, 도구적 동기 47.7%, 자아효능감 72.3%를 설명하였다. 통제변인은 과학교과의 정의적 성취에서 학생간 차이보다 학교간 차이에 대한 설명력이 높은 것으로 나타났다. 특히 주목할 점은 정의적 성취 중 자아효능감의 학교수준 분산에 대한 설명력이 가장 크게 나타났는데, 이러한 차이는 측정 방법의 차이에 부분적으로 기인하는 것으로 보인다. PISA 2015에서 내적 동기와 도구적 동기는 자신의 심리적 속성에 관한 진술문에 자신이 동의하는 정도를 측정하였지만, 자아효능감의 경우 구체적인 과학 과제에 따른 자신의 능력을 직접 판단하도록 하고 있다. 또한 학생 개인의 학습 경험에 의해 영향 받을 가능성이 높은 내적 동기나 도구적 동기에 비해, 자아효능감과 같은 자아개념은 참조집단(학교)의 영향을 받을 가능성이 높다(Marsh et al., 2015)는 연구를 고려해 볼 수 있다. 통제변인 중 과학성취수준이 학생 및 학교수준의 과학 정의적 성취와의 관련성이 가장 크게 나타났다. 이 결과는 과학의 정의적 성취가 인지적 성취를 예측하는 가장 강력한 구인이라는 결과를 지지하며(김경희 외, 2008), 동시에 과학의 인지적 성취와 정의적 성취의 상호 관련성에 대한 추가적인 탐색이 요구된다. 하지만 과학성취수준에 따른 구성효과는 존재하지 않아, 우리나라는 BFLPE가 나타나지 않는 국가로 분류되고 있다는 여러 연구 결과와 일치한다(Marsh & Hau, 2003).
셋째, 수업환경 효과를 살펴보면 개인이 지각한 과학수업분위기는 과학의 정의적 성취와 유의한 관련성이 나타나지 않았지만, 학교의 평균적인 수업분위기가 긍정적일수록 해당 학교 학생의 내적 동기, 도구적 동기 및 자아효능감이 높은 것으로 나타났다. 또한 학생수준의 효과를 통제한 경우, 해당 학교의 평균적인 수업분위기는 학생 개인의 정의적 성취 발달에 추가적으로 기여하는 것으로 파악되었다. 이는 과학의 정의적 성취 발달을 위하여 수업분위기의 중요성을 나타낸 결과로써, 학업에 집중할 수 있는 수업분위기가 조성된 학교환경은 학교뿐 아니라 학생 개인의 정의적 성취발달에 긍정적인 역할을 할 수 있음을 의미한다. 한편 과학교사지지는 학생 및 학교수준에서 모든 과학 정의적 성취와 유의한 정적 관련성을 보였다. 학생들의 과학 태도를 긍정적으로 향상시키기 위해서 과학 교사가 학생을 지지하고, 학생들에게 더 많은 기회와 선택을 주어야 한다는 McGinnis 외(2002)의 연구와 일치한다. 과학 교사가 수행하는 구체적인 수업 및 평가실제 이외에도 어떻게 수업환경을 조성하느냐에 따라 학생들의 과학에 대한 정의적 성취에 긍정적인 영향을 미칠 수 있음을 시사한다. 따라서 과학수업에서 교사들은 학생들이 학업에 집중할 수 있는 물리적인 여건 마련과 더불어서 학생들의 성취수준이나 흥미 등에 주의를 기울이는 등 심리적인 지지를 제공할 필요가 있을 것이다.
넷째, 수업효과의 경우, 탐구중심수업과 교사중심수업은 학생수준에서 모든 과학 정의적 성취와 유의한 관련성을 보였으나, 학교수준에서는 교사중심수업이 내적 동기에만 유의한 정적 관련성이 파악되었다. 주목할만한 점은, 교사중심수업은 학생의 과학 내적 동기와, 탐구중심수업은 학생의 과학 자아효능감과 더 높은 정적 관련성을 보인다는 점이다. 또한 수업환경, 수업 및 평가실제 변인의 영향력이 통제된 통합모형에서도 여전히 학생수준에서 탐구중심수업은 자아효능감에 정적 관련성을 보였다. 이는 탐구중심수업을 많이 받은 학생일수록 과학에 대한 효능감과 흥미가 더 높다는 연구결과(손원숙, 박정, 2017)를 부분적으로 지지한다. 입시위주의 고등학교 수업상황을 고려해 본다면, 학생의 과학에 대한 정의적 성취수준을 높이기 위하여 교사중심수업도 중요하지만, 탐구중심수업을 적절히 활용하여 과학에 대한 심도 깊은 이해와 과학과 관련된 과제에 지속적으로 참여하도록 유도할 필요성이 제안된다.
다섯째, 형성평가를 구성하는 요소 중 수업조정은 학생 및 학교수준 모두에서 정의적 성취발달과 강한 관련성이 파악되었고, 반면 피드백의 효과는 부분적으로 지지되었다. 구체적으로 학생수준에서 수업조정을 많이 받은 학생일수록 과학 정의적 성취와 유의한 정적 관련성을 보였으며, 학교 평균 수업조정은 과학 내적 동기와 도구적 동기와 정적 관련성을 나타내었다. 더불어 학교 평균 수업조정은 학생수준의 수업조정 효과를 통제한 후에도 학생의 내적 동기와 유의한 정적 구성효과를 보였다. 한편 피드백의 효과는 학생 및 학교수준에서 차별적으로 나타났다. 즉, 학생수준에서 피드백은 모든 정의적 성취에 정적 관련성을 보였고, 이는 교사가 제공한 피드백에 따라 자신의 성취를 높게 인식하면, 학생의 정의적 성취 발달에 긍정적인 역할을 할 수 있다는 연구를 지지하였다(박민애, 손원숙, 2016; Pat-El, Tillema, & van Koppen, 2012). 반면 피드백과 도구적 동기와의 부적 구성효과가 발견되었다. 다시 말해 개인수준에서 피드백의 효과를 통제하면 피드백을 많이 제공받는다고 인식하는 학교에 소속된 학생일수록 학생 개인의 도구적 동기가 감소하는 결과가 나타났다. 이러한 현상을 Kunter, Baumert, & Köller(2007)의 연구에서도 나타났는데, 잘 구조화된 수업환경은 학생들의 인지적 성취에는 긍정적이지만, 과목에 대한 내적 동기 발달에는 부적인 관련성이 파악되었으며, 그 이유는 구조화된 수업환경은 대부분 교사주도적인 환경으로 구성되어 외적인 규제가 많아져 학생들의 동기가 저하된 것일 수도 있다고 밝혔다. 이와 마찬가지로 교사가 제공하는 피드백은 학생들이 교사로부터 외적인 규제를 받는다는 인식을 가지게 하여 도구적 동기를 저하시킬 수 있다고 해석해 볼 수 있다. 혹은 분석에서 사용된 예측 및 종속변인이 모두 학생 개인의 인식 정도를 파악한 것을 기초로 하기 때문에 학교수준 효과보다는 개인수준 효과가 더 잘 나타난 것일 수도 있다(Urdan, 2004). 기존 피드백 효과에 대한 메타연구(Black & Wiliam, 1998)를 참고해 보면, 피드백의 효과는 피드백의 내용이나 방법, 학습과제 및 학습자 특성에 따라서 차이를 갖는 것으로 알려져 있다. 따라서 피드백의 효과를 탐색하기 위해서는 수업상황에서 제공하는 피드백의 유형이나 제공방식, 내용 등 피드백의 효과를 조절하는 변인들을 좀 더 정교하게 설정할 필요가 있다. 본 연구에서 측정하는 피드백 내용은 ‘선생님은 내가 이 과학 과목에서 보이고 있는 성취수준에 대해 말씀해 주신다’, ‘선생님은 학습목표의 도달 방법에 대해 조언해 주신다’와 같은 것으로 인지적 측면에 초점을 둔 특성을 지니고 있기 때문에 학생의 정의적 측면에 대한 피드백 내용 보완을 통한 추후 연구가 제안된다. 또한 교사가 제공하는 피드백의 효과를 학교수준에서 파악한 선행연구는 현재 매우 제한적이기 때문에 이와 같은 결과는 추후 연구를 토대로 재검증이 요구된다.
본 연구결과의 시사점은 다음과 같다. 과학 정의적 성취의 발달과 관련된 선행연구는 주로 개인 특성(성별, 성취수준, 과학 활동 경험 등)이나 학교 맥락(공립/사립, 학교 위치 등)변인 등을 예측변인으로 설정하여 다층모형 분석을 통해 학교효과를 탐색해 왔다. 하지만 본 연구는 학생의 과학 정의적 성취향상을 위해 교사가 실제적으로 적용시킬 수 있는 과학 수업에서의 교수-학습 관련 변인의 효과를 학생 및 학교수준에서 파악하였다는 점에서 의의를 갖는다. 따라서 학생의 과학에 대한 동기와 자아효능감을 향상시키기 위하여 다음과 같은 교실 수업개선을 제안한다. 과학 수업시간에 교사는 소란스럽고 산만한 수업보다는 학생의 집중력을 높일 수 있는 수업분위기를 조성하며 학생들이 자신의 의견을 표현할 수 있도록 학생을 지지해주어야 한다. 또한 수업목표에 따른 탐구중심수업과 교사중심수업의 적절한 활용을 통하여 학생들의 정의적 성취를 증진시킬 수 있도록 노력을 기울여야 한다. 특히 학생들의 과학에 대한 자아효능감을 높이는데 있어 실험 실습을 하거나 과학 관련 주제에 대한 토론과 같은 탐구중심수업의 중요성을 간과해서는 안 될 것이다. 또한 교사는 결과중심평가에서 벗어나 과정중심평가의 기능을 할 수 있는 형성평가를 통하여 학생들의 동기 및 자아효능감을 극대화시켜 우리나라 고등학생들이 과학에 대한 가치를 인식하고, 긍정적인 과학 태도를 형성할 수 있도록 노력해야 한다.
마지막으로 이 연구의 제한점에 기반하여 추후 연구를 위한 제언을 추가하면 다음과 같다. 첫째, 본 연구의 자료는 실험설계에 의하여 수집된 자료가 아니므로 학생들의 과학 정의적 성취에 대한 학교 수업환경, 수업 및 평가실제의 직접적인 인과 관계를 밝히는데 한계가 있다. 따라서 추후 종단자료에 기반 하여서 과학 수업환경, 수업 및 평가실제 변인과 과학의 정의적 성취에 대한 인과관계를 추론할 수 있는 방법론이 제안된다. 또한 본 연구는 상대적으로 정의적 성취가 낮은 고등학생을 대상으로 하였지만, 다른 학교급을 대상으로 연구를 시행할 필요가 있다. 나아가 학교급에 따른 교수-학습 관련 변인들의 상대적인 영향력을 비교하여 대상 학교급에 따른 차별화된 교수 방법을 접목시켜 우리나라 학생들의 과학에 대한 정의적 성취를 향상시킬 수 있는 연구가 진행되길 기대한다. 셋째, 본 연구에서는 과학수업 요인들과 정의적 성취 간에 직접적인 관련성만을 고려함으로 인하여 이들 간의 복합적인 구조적인 관계를 파악하지 못하였다. 따라서 향후 연구에서는 다양한 교수학습 관련 변인들과 정의적 성취 간의 구조적 관계를 반영한 모형을 설정하고 이들을 심층적으로 분석할 필요가 있다. 넷째, 본 연구에 활용된 PISA 2015 자료는 학급단위 표집이 아니므로, 본 연구결과를 교실수업 상황으로 일반화하기에는 제한점이 있다. 따라서 추후 연구에서는 학교뿐 아니라 교사나 학급수준 자료를 추가하여 3수준 다층모형을 적용할 필요성이 제안된다. 마지막으로 본 연구에서 사용한 PISA의 형성평가의 측정문항은 형성평가의 모든 요소라고 할 수 없으며, 피드백 제공의 상황이나 대상 등이 구체적으로 제시되지 않았다는 한계점이 있다. 따라서 추후 측정문항을 보다 상세화하여 형성평가의 효과를 재검증해 볼 필요가 있을 것이다.