교육과정평가연구

고등학교 국어 교과서 및 문법 교과서의 평가 준거1) 개발

이경숙 1 , *
Gyeong-Suk Lee 1 , *
Author Information & Copyright
1고려대학교 박사과정
1The Doctor’s Course, Korea University
*제1저자 및 교신저자, gomangy@naver.com

© Copyright 2015, Korea Institute for Curriculum and Evaluation. This is an Open-Access article distributed under the terms of the Creative Commons Attribution NonCommercial-ShareAlike License (http://creativecommons.org/licenses/by-nc-sa/4.0) which permits unrestricted non-commercial use, distribution, and reproduction in any medium, provided the original work is properly cited.

Received: Jan 08, 2015 ; Revised: Feb 05, 2015 ; Accepted: Feb 23, 2015

Published Online: Mar 31, 2015

요약

본 연구의 목적은 고등학교 국어 교과서 및 문법 교과서의 평가 준거를 개발하는 것이다. 이를 위해 교과서 평가의 범위를 교과서 검정과 교과서 선정으로 제한하였다. 그리고 미국 캘리포니아 주의 교과서 평가 절차처럼 수업 자료 자문 패널과 내용 검토 패널 체제를 도입해 두 종류의 전문가 집단을 구분하여 연구를 진행하였다.

평가 준거 설정 절차는 다음과 같다. 우선 문헌 연구를 통해 평가 준거 설정에 필요한 이론적 근거를 마련하였다. 다음으로 1차 델파이 조사를 통해 평가 준거에 대한 인식을 조사하였다. 그리고 2차 델파이 조사를 통해 평가 준거의 적합도를 평정하였다. 끝으로 델파이 조사 결과와 심층 면담 및 최종 자문을 통해 나온 의견을 반영하여 평가 준거를 수정 보완한 후, 최종적으로 고등학교 국어 교과서와 문법 교과서에 각각 12개의 평가 준거를 개발하였다.

국어 교과 고유의 특성이 반영된 평가 준거를 설정한 본 연구는 국어 교과의 교과서 평가 도구를 개발하기 위한 기초 연구로서 의의가 있다. 그러나 더 많은 표집 집단을 대상으로 한 후속 연구를 통해 타당성을 보완해야 할 것이다.

ABSTRACT

The purpose of this study is to develop the evaluation criteria for korean and grammar textbooks in the high school. For this purpose, the study limits the range of evaluation to authorization and adoption. And just like the textbook evaluation process in California, this study adopts IMAP(Instructional Materials Advisory Panels) and CRP(Content Review Panels).

The procedures for developing evaluation criteria are as follows. First, the criteria are collected by analyzing preceding literatures. Second, perceptions for evaluation criteria are surveyed by Delphi-technique(I). Third, the validity of the evaluation criteria are evaluated by Delphi-technique(II). Finally, the evaluation are revised with data collected by Delphi, in-depth interview results, and opinions from expert consultation. The final 12 korean and 12 grammar textbook are then developed with the revised criteria.

The purpose of this study is to develop the procedures in the development of korean textbook evaluation criteria However, further studies with more data are needed for validity.

Keywords: 국어 교과서 평가 기준; 문법 교과서 평가 기준; 교과서 검정 기준; 교과서 선정 기준
Keywords: korean textbook evaluation criteria; grammar textbook evaluation criteria; textbook authorization criteria; textbook adoption criteria

I. 서론

『한글 첫걸음』을 “초등학교, 중·고등학교, 대학교 학생들뿐만 아니라, 일반 시민의 우리 글 교과서”라고 지칭한 어느 국어학자(‘EBS 스페셜-다시 읽는 교과서 50년(1998.1.25. 방송)’ 중 ‘허 웅’의 인터뷰)의 말처럼 초기에 독본 형태였던 우리나라의 교과서는 한 세기를 지나면서 빠르게 변화하는 시대만큼이나 다양해졌다.

국정제도에서부터 시작된 우리나라의 교과서 발행 체제가 검정제도로 점차 전환되면서 교과서를 평가해야 할 상황도 자주 발생하였다. 그러나 많은 종류의 교과서를 평가하는데 지나치게 짧게 주어지는 시간과 평가 주체들의 전문성 부족은 교과서 평가의 문제점으로 누누이 지적되어 왔다. 이로 인해 학교에서의 교과서 평가가 형식적으로 이루어진다는 우려도 존재하였다.

현재 교과서 검정 기준의 경우 국어 교과서와 다른 교과 교과서의 평가 기준이 크게 변별되지 않을뿐더러 국어과 선택 과목별 교과서 평가 기준은 영역 고유의 특성에 따른 차이가 나타나지 않는다. 또 학교 현장에서의 교과서 선정 기준을 다룬 기존 연구들(김지영, 2011; 김주환, 2011; 김은성 외, 2012)을 살펴보면, 단위 학교에서 교과 고유의 특성이나 학교의 특성이 반영된 선정 기준을 자체적으로 개발하지 않고 교육과학기술부나 시·도 교육청이 제시하는 선정 기준에 의존하고 있는 현실을 확인할 수 있다.

본고는 이러한 문제점에 주목하여 내실 있는 교과서 평가를 하기 위한 교과 특수적인 평가 준거를 개발하고자 하는 목적으로 연구를 수행하였다. 2011 개정 고시에 따르면 현재 고등학교 국어과 교육과정은 선택 교육과정으로 『국어 I』, 『국어 II』, 『화법과 작문』, 『독서와 문법』, 『문학』, 『고전』이 일반 과목으로 지정되어 있다. 6개의 과목이 모두 선택 과목으로 구현된 양상에 주목하면 이들의 관계는 병렬적인 것처럼 보이나, 각 과목이 지닌 특성에 주목하면 그렇지만은 않다.

고등학교 국어과 선택 과목 간 관계를 도식적으로 나타낸〔그림 1〕에서 ①은 『국어 I』, 『국 어 II』를 나타내고, ②는 『독서와 문법』, ③은 『화법과 작문』, ④는 『고전』, ⑤는 『문학』을 나 타낸다. 고등학교 국어과 선택 과목은 국어과 하위 영역이 ①과 같이 종합적으로 제시되기도 하고 ②, ③과 같이 통합적으로 제시되기도 한다. 또, ④와 같이 영역의 특정 부분이 제시되거나 ⑤와 같이 영역 자체가 독립된 과목으로 제시되기도 한다. 이처럼 현 교육과정에서 국어과 선택 과목의 위상은 대등하지 않다. 그리고 선택 과목 간에도 일련의 논리적 관계를 찾아보기가 어렵다. 그런데 선택 과목의 내용을 자세히 살펴보면, 국어과 하위 영역이 포괄적으로 제시된 과목과 국어과 하위 영역이 심화되어 제시된 과목으로 분류2)할 수 있다. 이에 따라 본고는 고등학교 국어과 선택 과목의 교과서를 국어과 하위 영역이 종합적으로 제시된 ‘고등학교 국어 교과서 (『국어 I』, 『국어 II』)’와 국어과 하위 영역 고유의 특성이 잘 드러나는 ‘고등학교 국어과 선택 과목 교과서 (『화법과 작문』, 『독서와 문법』, 『문학』, 『고전』) 로 지칭하여 구분하고자 한다. 특히, 본고에서는 고등학교 국어과 선택 과목의 교과서로 『문법』 교과서를 살펴보았는데, 이는 『독서와 문법』 교과서의 ‘문법’ 부분을 의미한다. 현행 국어과 교육과정에서 ‘문법’ 영역은 존재하나, 『문법』 교과서는 존재하지 않는다.3) 그럼에도 불구하고 본고에서 『문법』 교과서를 다룬 이유는 지식이 강조되는 내용 영역으로서의 특성이 국어 교과가 지닌 도구적 특성과 뚜렷이 변별 된다는 점에서 ‘문법’ 영역에서 교과 고유의 특성을 반영한 평가 준거를 마련하는 것이 필요하다고 판단하였기 때문이다. 또, 『독서와 문법』의 성취 기준을 살펴보면 ‘독서’ 영역과 ‘문법’ 영역이 통합되어 있지 않고 대부분 각 영역이 독립적으로 제시되어 있으며, 교과서에서도 두 영역이 병렬적으로 나열된 경우가 많다. 교과서를 구현하는 데 바탕이 되는 것이 교육과정이며, 교육과정이 본질적으로 국어과의 하위 영역을 근간으로 하고 있다는 사실을 염두에 둔다면 교과 특수적인 성격을 반영한 평가 준거를 설정하는 데 『독서와 문법』 교과서에서 따로 『문법』 만을 지칭하여 살펴보는 것도 충분히 의미가 있을 것이다. 이는 본고에서 개발하는 평가 준거가 교과서의 외형 체제가 아닌 내적 체제, 특히 그 중에서도 교과 특수적인 성격에 주목하기 때문이기도 하다. 이와 같은 맥락 속에서 본고가 설정한 연구 문제는 다음과 같다. 1) 현재 고등학교 국어 교과서의 평가 준거와 국어과 선택 과목별 교과서 평가 준거는 타당하게 설정되었는가?, 2) 고등학교 국어 교과서 및 문법 교과서의 평가 준거는 어떻게 설정할 수 있는가? 이러한 문제 해결을 위해 본고에서는 델파이 조사를 중심으로 연구를 진행하였다.

jce-18-1-1-g1
그림 1. 고등학교 국어과 선택 과목 간 관계
Download Original Figure

II. 교과서 평가를 위한 전제

1. 교과서 평가의 개념

국어교육학계에서 교과서 평가에 대한 연구가 활발하게 논의된 시기는 교과서 발행 체제가 국정제도에서 검정제도로 바뀌면서부터 였다.

중등 국어 교과서는 2007 개정 교육과정의 적용을 받는 2010년부터 기존의 국정제도에서 검정제도로 바뀌게 되었다. 검정제도에서 교과서는 교육과학기술부의 기본 계획에 의거해 출판사에서 개발한다. 개발된 검정 출원본은 한국교육과정평가원에서 심사4)를 하여 최종 합격 여부를 결정한다. 심사를 통과하여 최종 합격한 검정 교과서는 단위 학교에 전시본으로 배부되고, 모든 교사들이 직·간접적으로 참여하는 교과서 선정 과정을 거쳐 최종적으로 학교 현장에서 사용할 교과서를 채택한다. 이와 같은 우리나라의 교과서 검정제도를 고려하면, 여기서 교과서 평가란 교과서 검정과 교과서 선정을 의미한다고 볼 수 있다.

진재관 외(2008, p. 15)는 “교과서 검정은 검정 출원본 형태의 자료가 교과서로서 갖추어야 하는 본질적 기능에 비추어 형식과 내용 면에서 교과서로서의 기본적인 자격을 갖추고 있는지 여부를 평가하는 데 중점을 두는 데 비해 교과서 선정은 어떤 표준이나 요건을 전제하지만 본질 적으로 교수·학습 상황에 가장 적합한 교과서를 선별하는 데 중점을 둔다”고 하여 평가 목적의 측면에서 교과서 검정과 교과서 선정을 구분하였다.

또, 정혜승(2004, p. 435)은 “교과서를 평가한다는 것은 교과서를 분석하는 것과 다르다’고 하며, “교과서 분석은 교과서를 이해하기 위해 기술하고 설명하는 것인 반면, 교과서 평가는 ‘특정한 기준에 의거하여 그것에 가치 판단을 내림으로써 의사 결정에 유용한 정보를 제공하는 것”’이라고 구분하여 교과서 분석을 교과서 평가의 범주에 포함하지 않았다. 본고에서는 정혜승(2004)의 관점을 따라 교과서 분석은 교과서 평가에 포함하지 않고, 교과서 검정과 교과서 선정에 한하여 교과서 평가의 범주를 제한한다. 물론, 교과서 검정과 교과서 선정을 하기 위해서는 먼저 교과서 분석이 전제되어야 하므로 엄밀히 말하면 교과서 분석이 완전히 배제되는 것은 아니나, 교과서 평가는 프로그램의 일종으로, 설정된 교육 목표 달성에의 적합성을 판단하여 교과서의 질 향상을 위한 정보를 제공(김국현, 2009, pp. 25-26)하는 데 목적이 있기 때문에 여기에서는 교과서 분석에 대해 자세히 다루지 않는다.

한편, 본고에서 설정한 평가 준거는 교과서 검정의 본 심사 전 기초 조사에서 심사본의 교과 특수적인 부분을 평가하는 준거로 활용할 수 있을 것이다. 또 교과서 선정에서 교과 특수적인 평가 준거의 수나 비율에 따라 여러 종의 검정 교과서들 가운데 학교운영위원회에 추천하는 3종의 교과서를 추천하기 위한 준거로 활용하거나, 3종의 교과서 중 선정할 교과서를 최종 확정하는 준거로 활용하는 등 교과서 평가가 이루어지는 다양한 맥락 속에서 융통성있게 활용할 수 있을 것이다. 이를 고려하여, 본고에서는 교과서 검정과 교과서 선정을 교과서 평가에 포함하여 논의를 전개한다.

2. 미국 캘리포니아 주의 교과서 평가 실태 및 시사점

외국의 교과서 정책들 가운데 본고에서 자세히 살펴본 곳은 미국이다. 미국의 교과서 정책은 각 주 교육부나 지역 교육청의 정책에 따라 좌우되는데(Marcy Stein et al., 2001, p. 7), 이는 주마다 다른 특징을 보인다.

서지영 외(2011)는〔그림 2〕와 같이 미국의 주별 교과서 제도를 폐쇄형 주와 개방형 주로 나누어 설명하였다. 폐쇄형 주는 주 교육부가 직접 심의 과정과 절차, 기준을 제시하는 주를 일컬으며, 개방형 주는 타주에서 채택된 교과서 목록을 활용하거나 지역 교육청에서 직접 선정하는 방식을 의미한다(서지영 외, 2011, p. 17). 국내에서 미국의 교과서 정책에 관한 연구는 주로 폐쇄형 주와 개방형 주의 예(심재호, 권유진, 황수영, 2010: 텍사스 주와 아이오와 주, 진재관 외, 2010: 캘리포니아 주와 메릴랜드 주 몽고메리 카운티, 김재춘, 2012: 캘리포니아 주와 워싱턴 주)를 하나씩 들어 비교하거나, 특정 주(정혜승, 2004: 캘리포니아 주, 민현식, 2007: 워싱턴 주, 서지영 외, 2011: 텍사스 주)의 정책을 살펴보는 것으로 논의가 진행되어 왔다.

jce-18-1-1-g2
그림 2. 미국의 주별 교과서 제도 현황(Thomas B. Fordham Institute, p. 3: 서지영 외, 2011, p. 18 재인용)
Download Original Figure

본고에서는 미국 캘리포니아 주의 교과서 정책에 주목하였다. 캘리포니아 주는 이른바 Big 4(캘리포니아, 텍사스, 뉴욕, 플로리다)에 해당하는 주(김재춘, 2012, p. 16)로, 출판사들은 교과서의 최신판 발행을 이들 주의 채택 일정에 맞출 뿐만 아니라 이들 주의 교육과정 목표와 성취 기준에 근거해 자료를 발행(Marcy Stein et al., 2001, p. 7)하는 등 Big 4의 교과서 정책은 미국의 전체 교과서 시장에 큰 영향력을 미치고 있다.

캘리포니아 주는 헌법(Article IX, Section 7.5 of the California Consitution)에 따라 주 교육위원회 (State Board of Education)가 유치원부터 8학년(K-8)까지의 교과서 채택 권한을 가지고 있다(진재관 외, 2010, p. 11). 주 교육위원회는 교육과정위원회(The Curriculum Development and Supplemental Materials Commission: Curriculum Commission)의 추천을 받아 ‘교과서 채택 심의위원회’를 구성하며, 각각 수행해야 하는 역할에 따라 두 종류의 패널위원으로 나누어 임명한다(진재관 외, 2010, p. 13). 이 패널위원은 각 집단의 성격에 따라 교과서를 평가할 때 수행하는 역할이 각기 다르다.

수업 자료 자문 패널(IMAP5))은 교과서 채택 기준 전반에 걸쳐 평가하는 매우 중요한 역할을 수 행한다. 주로 교사로 구성하되, 교육 행정가 등 관련 전문가둘도 포함된다. 내용 검토 패널(CRP)은 심의할 교과목에 직접 관련된 학문 영역의 박사 학위를 소지한 학자둘로 구성되며 교과 내용 해당 분야에 대해서만 심의한다. 따라서 내용 검토 패널은 주로 교수 또는 해당 교과를 연구하는 전문가가 임명된다(진재관 외, 2010, p. 14).

미국 캘리포니아 주의 교과서 평가 절차에서 위와 같은 패널위원들의 구성은 우리나라의 교과서 평가 절차에 시사점을 제공한다. 여러 연구들에서 현행 교과서 검정제도의 가장 큰 문제점으로 제시한 것은 교과서를 선정하는 과정에서 여러 종의 교과서를 충분히 검토할 시간이 부족하다는 것(김주환, 2011, p. 360; 김지영, 2011, p. 62)이었다. 이와 같은 어려움은 곧 교사의 교과서 평가 전문성 결여와 교과서에 대한 형식적인 평가로 이어질 수 있다.

반면, 캘리포니아 주의 교과서 채택 심의위원들은 심의위원으로 지원할 때부터 공정한 심의를 위해 까다로운 과정을 거친 후에 최종 임명되며, 임명이 된 후에는 약 일주일 동안 교과서 채택과 관련한 집중 연수를 받는다. 그리고 집으로 배달되는 교과서(Textbook and Related Materials)를 약 3-4개월에 걸쳐 심의한다(진재관 외, 2010, pp. 13-14). 이와 같은 절차는 짧은 시간 동안 많은 수의 교과서를 평가하는 것이 교사에게 위임되어 깊이 있는 평가가 이루어 지기 어려운 우리나라의 경우와 달리, 교과서 평가 주체의 전문성을 신장하고 질 높은 교과서를 평가하는 데 기여한다. 정혜승(2004, p. 463)에서도 이와 같은 체제를 우리나라에 도입하여 교과서를 검정할 때 전문성과 능력, 관심에 따라 각 평가 주체가 평가할 내용을 달리하는 것을 고려할 만하다고 제안하였다.

본고에서는 정혜승(2004)의 제안처럼 캘리포니아 주의 체제를 따라, 고등학교 국어 교과서 및 문법 교과서의 평가 준거를 설정하는 데 두 종류의 전문가 집단을 구성하여 연구를 진행하고자 한다. 즉, 수업 자료 자문 패널(IMAP)은 수업 자료 자문 전문가로, 내용 검토 패널(CRP)은 내용 요소 검토 전문가로 정의하여 논의를 전개한다.

3. 우리나라의 교과서 평가 실태 및 개선 방안

앞서 언급한 바와 같이 교과서 평가는 교과서 검정과 교과서 선정의 2가지로 나눌 수 있다. 우리나라에서는 교과서 검정이 전적으로 한국교육과정평가원의 검정심사관리위원회에 의해 이루어지는 만큼, 교과서 평가 실태에 대한 연구는 사실상 학교 현장에서 교과서 선정을 다루는 것이 주를 이룬다.

소수이긴 하지만, 교과서 검정 실태에 대한 연구는 대개 교과서 검정 기준을 비판적으로 분석한 결과를 바탕으로 하여 논의를 전개하고 있다. 진재관 외(2008)에서는 영어 교과서의 검정 기준을 예로 들며 동일한 혹은 비슷한 심사 관점을 가지고 있는 평가 항목들이 있거나, 심사 항목에 여러 개의 심사 요소를 포함하고 있는 것들을 제시하며, 한 영역 안에서 평가되어야 할 특정 평가 항목의 일관성이 결여된 점을 지적하였다(진재관 외, 2008, pp. 87-89).

국어 교과서의 검정 기준을 비판적으로 살펴본 연구로는 정혜승(2004)최인자(2011)를 들 수 있다. 정혜승(2004)은 국어 교과서 검정 기준에서 나타나는 중요한 문제로 교과서 공통 기준과 과목별 기준이 변별되지 않는다는 점, 과목과 과목 사이의 기준이 별반 다르지 않다는 점을 들며, 이는 검정 기준의 포괄성과 추상성에서 원인을 찾을 수 있다고 하였다. 또, 점검표(checklist) 형식의 양적 평가 방법이 교과서의 질(quality)을 평가하는데 한계가 있다고 지적하였다(정혜승, 2004, pp. 441-443). 최인자(2011)는 검정 심사에 통과한 교과서를 분석한 후 역으로 평가 기준이 지닌 문제점을 살펴보았는데, 그 결과 교육과정 반영 기준의 형식성, 자기 주도 학습 기준의 추상성, 학습자 ‘흥미’와 ‘관심’ 기준의 협소함을 제시하였다.

교과서 선정 실태에 대한 연구 중 국어 교과서를 대상으로 한 연구는 정혜승(2004, 2011), 주형주(2011), 김지영(2011), 김주환(2011), 남가영 외(2011), 김은성 외(2012) 등이 있다.

정혜승(2004, pp. 443-448)은 서울의 A여고와 인천의 B고교의 사례를 통해 단위 학교의 교과서 선정 기준이 교과의 특성이나 학교의 특수한 요구 사항이 반영되지 않은 채, 교육과학기 술부에서 마련한 검정 기준이나 시·도 교육청에서 제공하는 선정 기준과 차별되지 않는 점을 지적하였다.

주형주(2011, p. 65)에서는 8개의 연구 대상 중학교 가운데 국어 교과서의 특성이 드러나 있는 선정 기준을 학교에서 자체로 마련하여 교과서 선정 과정에 참여한 학교는 2-3곳에 불과함을 확인할 수 있었다. 또, 학교 현장의 국어 교과서 선정 실태를 보다 객관적으로 살펴보기 위하여 연구의 표집 대상을 보다 확대하여 살펴본 김은성 외 (2012, p. 10)에서는 100개의 연구 대상 중학교 가운데 학교 나름의 교과서 선정 기준을 창안한 학교는 11개에 불과하였으며, 대부분이 교육과학기술부에서 제시한 선정 기준을 활용하였음을 확인할 수 있었다.

교과서를 평가하는 데 교육과학기술부의 선정 기준에 의존하는 실태는 고등학교에서도 마찬가지였다. 김지영(2011, p. 56)에 의하면, ‘각 학교별 교과서 선정 시 사용한 기준이 무엇이었는지를 묻는 질문에 교사들의 45.1%가 교육과학기술부에서 제시한 선정 기준이라고 응답하여 가장 높은 비율을 보였다. 그러나 김주환(2011)의 연구는 앞서 다룬 연구들과 다른 결과를 나타냈다. 김주환(2011, p. 361)에 따르면 교과서 선정 시 활용한 기준에 대해 설문 조사한 결과, ‘학교에서 자체로 만든 기준’과 ‘특별한 기준 없이 협의를 통해서 선정’이라는 응답이 34.5%의 동일한 비율로 가장 높게 나타났다. 이와 같은 결과가 나타난 이유는 아마도 국어 교사들 이 표면적으로 사용하였다고 응답한 교과서 선정 기준과 실제로 사용한 기준 사이에 괴리(정혜승, 2011, p. 377)가 존재하기 때문일 것이다. 따라서 교과서 선정에 직접적인 영향을 미치는 요인을 면밀히 살펴보기 위해서는 교과서 선정에 참여한 교사의 경험을 심층적으로 살펴볼 필요가 있다. 남가영 외(2011)는 이러한 경험이 반영된 질적 연구로 실제 교과서 선정 과정에서 적용된 기준과 평가표 상의 기준은 다를 수밖에 없었으며, 선정 기준에 대한 해석이 상충할 경우 이를 유의미한 방식으로 조율하기 위해서는 합리적인 절차가 마련되어야 함을 확인할 수 있었다(남가영 외, 2011, p. 74).

한편, 장은섭(2011)에서는 앞서 살펴본 연구들과는 달리, 질 높은 교과서에 대한 요구를 수요자의 관점에서 살펴보기 위해 학생들과 교사들을 대상으로 고등학교 국어 교과서를 평가하였다. 그 결과 학생들과 교사들의 만족한다는 평가(30.6%, 42.0%)는 만족스럽지 못하다는 평가(15.2%, 13.6%)에 비해 높게 나와 국정 교과서에 비해 검정 교과서의 질이 많이 개선되었으나, 학생들의 학습 동기 유발을 위한 학습 제재 및 활동거리 구성과 자기 주도적인 학습을 위한 학습 참고 자료의 유용성 측면에서는 여전히 기대와 요구를 제대로 수용하지 못하고 있음을 확 인할 수 있었다(장은섭, 2011, p. 161).

이상 살펴본 우리나라의 교과서 평가 실태를 국어 교과서를 대상으로 하여 살펴본 결과, 다음과 같은 사실을 도출할 수 있다.

첫째, 교과서 검정에 있어서는 검정 기준이 지닌 추상성이 문제점으로 지적되었다. 그러나 이에 대한 대안으로 검정 기준을 명료화하는 것이 과연 좋은지에 대해서는 숙고해 보아야 한다. 주세형 (2006, p. 128)은 “문법 교육과정 항목이 보여 주고 있는 ‘명료성’이 국어과 타 영역과는 ‘일관되게 충돌’한다”고 하며, “교육과정 진술 체계의 명료성은 교육과정 상세화 자유와 반비례하며 교재 편찬 원리가 다변화되기 어렵다’고 하였다. 교과서 평가 준거 역시 교육과정 진술과 같은 맥락에서 생각해 볼 수 있는데, “고등학교 국어 교과서와 선택 과목의 차이를 반영한 평가 기준이 지나치게 지엽적이고 세분화되면 그 기준에 맞추기 위해 교과서는 더욱 획일화될 것”이라는 고⚪⚪ 출판인의 우려를 보면, 명료화된 준거가 반드시 좋은지에 대해서는 재고해 보아야 한다.

둘째, 교과서 선정에 있어서는 학교 현장에서 교육과학기술부나 시·도 교육청에서 제시한 선정 기준에 지나치게 의존하는 것을 확인할 수 있었다. 이는 교과서 선정 기준이 제대로 된 역할을 담당하지 못한 채, 형식적으로 이루어지는 평가를 뒷받침하는 서류상의 요건 중 하나로 전락하는 결과를 초래한다.

결국, 교과서 검정과 교과서 선정에서 나타나는 교과서 평가의 문제점을 개선하기 위해서는 무엇보다도 교과 고유의 특성이 드러나는 평가 준거의 개발이 시급하다는 것을 확인할 수 있다. 검정 기준이 너무 추상적이라는 지적과 교과서를 선정할 때 교육과학기술부나 시·도 교육청이 제시하는 선정 기준에 지나치게 의존하는 현실은 교과서 평가 준거에 대한 교사들의 전문성이 부족하기 때문이다. 그러므로 교과 특성이 반영된 평가 준거가 개발되어 교과서 평가 상황에서 실제적으로 활용된다면 지금의 문제점을 어느 정도 개선할 수 있을 것이다.

Ⅲ. 평가 준거 설정

1. 평가 준거 설정 절차

고등학교 국어 교과서 및 문법 교과서의 평가 준거를 개발하기 위한 평가 준거 설정 절차를 도식화하면 <표 1>과 같다.

표 1. 평가 준거 설정 절차6)
이론적 탐색 요구 분석 수럼적 구성 논리적 구성
문헌 연구 1차 델파이조사 2차 델파이조사 심층 면담 및 최종자문
(14.9.1-14.11.19) (14.11.20-11.30) (14.12.1-12.7) (14.12.8-12.20)
Download Excel Table

우선 이론적 탐색은 고등학교 국어 교과서 및 문법 교과서의 평가 준거를 개발하기 위한 목적으로 실시되었다. 문헌 연구는 2014년 9월 1일부터 2014년 11월 19일까지 이루어졌으며, 주로 교과서 평가 준거와 관련된 국내외 자료를 그 대상으로 하였다.

요구 분석은 1차 델파이 조사를 통해 이루어졌다. 문헌 연구를 통해 개발한 2종(고등학교 국어 교과서용, 고등학교 문법 교과서용)의 1차 델파이 조사지를 2014년 11월 20일부터 2014 년 11월 30일까지 수업 자료 자문 전문가와 내용 요소 검토 전문가에게 배부하고 회수하여 고등학교 국어 교과서 및 문법 교과서 관련자들의 요구를 분석하였다.

수렴적 구성은 2차 델파이 조사를 통해 이루어졌다. 1차 델파이 조사를 통해 수집한 자료와 선행 연구를 통해 탐색한 항목을 보충하여 개발한 2종(고등학교 국어 교과서용, 고등학교 문법 교과서용)의 2차 델파이 조사지를 2014년 12월 1일부터 2014년 12월 7일까지 1차 델파이 조사와 동일한 대상인 수업 자료 자문 전문가와 내용 요소 검토 전문가에게 배부하고 회수하여 고등학교 국어 교과서 및 문법 교과서 관련자들의 의견을 수렴하였다.

논리적 구성은 심층 면담과 최종 자문을 통해 이루어졌다. 2014년 12월 8일부터 2014년 12월 20일까지 수업 자료 자문 전문가와 내용 요소 검토 전문가의 직업 집단별로 1명의 전문가에게 심층 면담을 실시하였다. 그리고 수업 자료 자문은 교육과정·교과서 연구자에게, 내용 요소 검토는 문법 교육학자에게 최종 자문을 구하였다. 이와 같은 협의 과정을 거쳐 평가 준거를 수정·보완한 뒤 최종적으로 평가 준거를 설정하였다.

델파이 조사에 참여한 전문가는 교육과정·교과서 연구자, 교사, 출판인 집단으로 구성된 수업 자료 자문 전문가 10명과 문법 교육학자, 교과서 집필진(문법 부분), 연구원 (문법 분야) 집단으로 구성된 내용 요소 검토 전문가 10명으로, 총 20명을 대상으로 하였다. 그러나 출판인 이 ⚪⚪과 연구원 김⚪⚪은 시간적인 제 약으로 조사에 참여하지 못하였다. 최종적으로 연구에 참여한 대상을 제시하면 <표 2>와 같다.

표 2. 연구에 참여한 전문가
구분 이름 소속(직업) 선정 횟수 집필 횟수 비고
수업자료 자문전문가 (IMAP) ㆍ 국어 델파이 조사지 홍⚪⚪ 고려대학교(교육과정 ㆍ 교과서 연구자) 최종자문
고⚪⚪ 두산 동아(출판인) 0 4회이 상 1차ㆍ2차 델파이, 심층 면담
황⚪⚪ 미래엔(출판인) 0 4회이 상 1차 ㆍ 2차 델파이
유⚪⚪ 비상(출판인) 1 0 2차 델파이, 기타 의견
하⚪⚪ 경기 안곡고(국어 교사) 2 0 1차ㆍ2차 델파이, 심층 면담
박⚪⚪ 명덕외고(국어 교사) 2 0 1차 ㆍ 2차 델파이
이⚪⚪ 경기 청하고(국어 교사) 1 0 1차 ㆍ 2차 델파이
김⚪⚪ 대구 경덕여고(국어 교사) 1 0 1차 ㆍ 2차 델파이
최⚪⚪ 대전 구봉고(국어 교사) 1 0 1차 ㆍ 2차 델파이
내용요소 검토전문가 (CRP) ㆍ 문법 델파이 조사지 이⚪⚪ 교원대학교(문법 교육학자) 최종 자문
김⚪⚪ 신라대학교(문법 부분 교과서 집필) 0 2 1차 ㆍ2차 델파이, 심층 면담
윤⚪⚪ 서울사대부중(문법 부분 교과서 집필) 0 1 1차 ㆍ 2차 델파이
양⚪⚪ 서울전일중(문법 부분 교과서 집필) 0 1 1차 ㆍ 2차 델파이
신⚪⚪ 고려대학교(연구원) 0 0 1차 ㆍ 2차 델파이
정1⚪⚪ 고려대학교(연구원) 0 0 1차 ㆍ 2차 델파이
이⚪⚪ 한국어문교육연구소 (연구원) 0 1 1차 ㆍ 2차 델파이
안⚪⚪ 서울당현초(연구원) 2 4 1차 ㆍ 2차 델파이
정2⚪⚪ 고려대학교(연구원) 1 0 1차ㆍ2차 델파이, 심층 면담
Download Excel Table
2. 문헌 연구를 통한 평가 준거 개발

김성익(1962)을 보면, 교과에 따른 평가 준거 개발에 대한 연구는 비교적 이른 시기에 시작되었음을 확인할 수 있다. 각 교과별로 ‘평가 영역’에 교과 특수적인 성격을 드러내고 있는 연구도 찾아볼 수 있는데, 예를 들어 김숙진(1995)에서는 과학 교과서의 특성을 드러내는 평가 영역으로 ‘실험’이 있다. 그리고 권리라, 윤인경(1998)에서는 가정 교과서의 특성을 나타내는 평가 영역을 ‘실험·실습 주제와 내용’으로, 전세경, 박정윤(1999)에서는 실과 교과서의 특성을 나타내는 평가 영역을 ‘실습 구성 및 전개의 적절성’으로 제시한 것을 살펴볼 때, 가정 교과서는 ‘실습’을 중요하게 고려한다는 것을 확인할 수 있다. 또 이성희 (2001)에서 ‘실용적 측면’과 이지 은(2009)에서 ‘학습 보조 자료’ 및 ‘교사용 전자저작물 활용 가용도’라는 평가 영역을 구성한 것으로 미루어볼 때, 영어 교과서는 다른 교과에 비해 ‘실용성’이나 ‘활용성’을 중요하게 고려한다는 것을 알 수 있다.

그렇다면, 국어 교과서가 지녀야 할 교과 특수적인 평가 준거는 무엇일까? 이는 국어 교과의 교과서 평가 준거를 다룬 선행 연구에서 찾아볼 수 있다.

<표 3>을 살펴보면 국어 교과의 특성을 반영하는 평가 준거8)를 ‘평가 영역’에서 확인할 수 있는 경우는, 고등학교 국어 교과서를 대상으로 한 김정우(2008)의 ‘언어 환경 변화 양상 반영 정도’에서이다. 일반적인 개념으로 국어 교과서나, 중학교 국어 교과서를 대상으로 한 경우에 국어 교과의 특성이 드러난 평가 준거는 <표 4>와 같이 세부적인 ‘평가 항목’에서 살펴볼 수 있다.

표 3. 국어 교과의 교과서 평가 준거
국어 중학교 국어 고등학교 국어
김창원(2000) 윤수영(2010) 김정우(2008)
9영역 27항목 7영역 46항목 4영역 4관점7)
교육과정 교육과정 반영 교육과정 반영 정도
단원 설정 학습자 고려
단원 간의 관계 내용의 정확성 및 신뢰성 제제와 활동의 학습자 지향 정도
단원 실라버스 내용의 타당성과 적절성
제재 교사의 수업 계획과 진행에 주는 정보의 정도
학습활동 교수학습의 편리성과 용이성
참고 및 보조자료 교수학습의 효율성 언어 환경 변화 양상 반영 정도
학습을 위한 보조 장치 교수학습의 실현성
평가
Download Excel Table
표 4. 국어 교과의 특성이 반영된 교과서 평가 준거
김창원(2000) 윤수영(2010) 김은성 외(2012)
• 단원 조직에서 언어 활동의 반 복 ㆍ 심화의 원리가 구현되었는가?
• 단원 목표를 중심으로 단위언어 활동들이 유기적으로 통합되었는가?
• 사고 및 언어 활동의 제국면이 중요성에 따라 고르게 배분되었는가?
• 수단 언어와 목표 언어가 서로 착종되지는 않는가?
• 다양한 국어 활동의 실천이 가능한 제재인가?
• 실제 언어 생활을 다루어 삶에 적용 가능한 방식을 학습하는 활동인가?
• 현대 사회에서 요구하는 국어 능력을 기를 수 있는 학습 내용인가?
• 언어 활동의 총체적, 통합적 구조화를 이끌어 내는 효과적 구성인가?
• 하위 영역별 학습 내용이 균형있게 선정되었는가?
• 국어의 구체적 상황 및 문학의 맥락을 이해 ㆍ 표현하는데 적절한 제재인가?
• 듣기, 말하기, 읽기, 쓰기, 문법, 문학이 각 영역을 통합적으로 구현 할 수 있도록 핵심 내용이 골고루 구성되어 있는가?
• 학습 목표와 연계하여 다양한 활동을 할 수 있도록 국어와 생활 국어가 적절하게 연계되어 있는가?
• 생활국어는 학생들이 공감할 만한 제재와 활동으로 구성되어 있으며 실생활과 밀접하게 관련되어 있는가?
• 사고력을 확장하고 올바른 가치관을 확립하는 데 용이한 제재가 선정되었는가?
• 다양한 분야의 읽을거리가 제시되어 있는가?
Download Excel Table

<표 4>를 보면 김창원(2000)은 27개의 평가 항목 중 5개의 항목을 국어 교과의 일반적인 특성을 반영한 교과서 평가 준거로 제시하였다. 윤수영(2010)은 중학교 국어 교과서 평가 준거 전체 46개의 평가 항목 중 6개의 항목을 국어 교과의 특성이 반영된 교과서 평가 준거로 제시하였다. 김은성 외(2012)는 조사한 중학교 100개교 중 국어 교과의 특성이 반영된 교과서 선정 준거를 찾아 제시하였는데, 이는 5항목에 불과하였다.

이상의 연구 결과를 종합하면, 교과 공통의 평가 준거나 다른 교과와 구별하여 개발한 국어 교과의 교과서 평가 준거의 내용과 수는 턱없이 부족한 것을 확인할 수 있다. 특히, 『문법』 교과서의 평가 준거 개발에 대한 연구는 전무후무한데 이는 ‘문법’ 영역만의 독자적인 특징이라기 보다는 학교 현장에서 국어 교과 고유의 특성을 반영한 교과서 평가 준거에 대한 관심이 지극히 적은 현실 속에서 학교급 및 국어과 선택 과목별 평가 준거의 개발까지 고려하기가 어려웠기 때문이다. 더군다나, 2007 개정 교육과정부터 『문법』 교과서는 독립된 선택 과목이 아닌, 『독서와 문법』 이라는 교과서로 통합되어 편찬되었기 때문에, 학교 현장에서는 『문법』 교과서의 평가 준거를 설정할 필요성9)에 대해 생각하지 못했을 것이다.

그러나 여러 연구들에서 교과서 평가 준거 개선에 대한 학교 현장의 가장 시급한 요구는 무엇보다도 ‘교과의 특성을 반영한 전문적인 기준’의 개발과 보급임을 확인할 수 있었다(김지영, 2011, p. 61; 김주환, 2011, p. 362; 김은성 외, 2012, p. 20). 이러한 요구를 수용하여 본 고에서는 국어 교과의 특성을 반영한 교과서 평가 준거를 개발하고자 한다. 국어 교과 고유의 특성을 추출하여 ‘평가 항목’으로 제시하는 것은 국어 교과의 정체성을 드러내는 요소를 무엇으로 정하는가와 관련된다고 볼 수 있는데, 이는 국어 교과의 하위 영역에 따라 이견이 존재하므로 여기서는 다루지 않기로 하고 ‘평가 항목’만을 제시한다. 또, 본고에서 다루는 국어 교과의 교과서 평가 준거 대상은 고등학교 국어 교과서 및 문법 교과서로 제한하여 논의를 진행하고자 한다.

3. 조사 연구를 통한 평가 준거 협의
가. 델파이 조사

델파이 조사는 1차 조사(2014년 11월 20일부터 2014년 11월 30일까지)와 2차 조사(2014년 12월 1일부터 2014년 12월 7일까지)로 나누어 실시되었다. 설문지는 전문가 집단에 따라 다르게 구성하였는데, 총 4종의 델파이 조사지10))를 개발하였다. 수업 자료 자문 전문가에게는 1차 델파이 조사지(고등학교 국어 교과서용)와 2차 델파이 조사지(고등학교 국어 교과서용)를, 내용 요소 검토 전문가에게는 1차 델파이 조사지(고등학교 문법 교과서용)와 2차 델파 이 조사지(고등학교 문법 교과서용)11)를 배부하여 회수하였다.

1차 델파이 조사지는 고등학교 국어 및 문법 교과서의 평가 준거에 관한 인식을 알아보는 것을 목적으로 하였다. 1차 델파이 조사지(고등학교 국어 교과서용)에 이론적 근거가 된 문헌은 윤수영(2010)이고, 1차 델파이 조사지(고등학교 문법 교과서용)에 이론적 근거가 된 문헌은 김정우(2008)김유범, 김부연(2012)이다.

2차 델파이 조사지는 연구자가 문헌 연구를 검토하여 고등학교 국어 교과서용과 문법 교과서용으로 달리 제시한 평가 준거의 적합성12)을 각각 수업 자료 자문 전문가와 내용 요소 검토 전 문가에게 5단계의 Likert 척도로 평정하도록 하였다. 2차 델파이 조사지(고등학교 문법 교과서 용)에 이론적 근거가 된 문헌은 정혜승(2004, 2006, 2011), 김정우(2008), 윤수영(2010), 장은섭 (2011), 교육과학기술부, 한국교육과정평가원, 국사편찬위원회(2011)이고, 2차 델파이 조사지(고등학교 문법 교과서용)에 이론적 근거가 된 문헌은 주세형(2006), 정주리(2009), 이관규(2011), 교육과학기술부, 한국교육과정평가원, 국사편찬위원회(2011), 김유범, 김부연 (2012)로 평가 준거는 모두 4영역 37항목으로 구성되어 있다. 이 중, 김은성 외(2012)에서 확인된, 현장에서 높은 선택을 받은 준거 2개(19번, 20번)와 이론의 중립성과 관련한 준거 1 개(10번), 개념의 정확성과 관련한 준거 1개(11번), 교사의 수업과 관련한 준거 1개(30번), 활동과 관련한 준거 1개(28번), 평가와 관련한 준거 1개(32번)와 표현·표기와 관련한 준거 5개(32번-37번)를 평가 영역을 고려하여 공통적으로 제시13)한 것을 제외하면, 국어 교과의 특수적인 성격을 지닌 평가 준거는 각각 25개이다. 이는 <표 5>에서 확인할 수 있다.

표 5. 2차 델파이 조사지의 평가 준거
영역 번호 고등학교 국어 교과서 평가 준거 고등학교 문법 교과서 평가 준거
교육과정 1 국어과 교육과정의 심층적 의도를 반영하여 단원을 구성하였는가? 문법 교육과정에서 문법 교육이 지향하는 바를 상세히 반영하여 단원을 창의적으로 구성하였는가?
2 학습 목표와 연계하여 다양한 언어 활동을 할 수 있도록 학습 활동을 적절하게 구현하였는가? 학습자의 통찰력과 사고력을 신장시켜 주는 데 초점을 두어 구성 방식을 다양화하였는가?
3 언어 활동의 총체적, 통합적 구조화를 이끌어 내는 효과적 구성인가? 내용적으로 규범적인 성격을 지닌 문법을 학습자가 발견하거나 계발하도록 하는 데 효과적인 구성인가?
4 듣기, 말하기, 읽기, 쓰기, 문법, 문학의 각 영역별 핵심 내용이 골고루 구성되어 있는가? 국어학적 지식을 교수학적으로 변환한 양상이 왜곡이나 파손없이 교과서에 타당하게 제시되었는가?
5 영역이 통합된 부분은 학습 효과를 높이기에 적절한가? 문법 영역과 국어과의 다른 하위 영역이 통합된 부분(화법, 작문, 독서, 문학, 고전)은 학습 효과를 높이기에 적절한가?
제재 6 국어의 구체적 상황 및 문학의 맥락을 이해 ㆍ 표현하는 데 적절한 제재인가? 한국어 공동체의 일원으로서 요구되는 언어 생활을 하는데 도움을 주는 제재인가?
7 현대 사회에서 요구하는 국어 능력을 기를 수 있는 학습 내용인가? 국어의 내적 질서가 우리의 삶과 어떻게 연관되어 있는지를 자연스럽고 흥미롭게 보여 주는가?
8 변화하는 언어 환경을 적절하고 유연하게 반영하고 있는가? 학습자의 언어 발달 단계에 따라 제재가 선정되었는가?
9 제재는 학습자의 언어 경험을 확대하는 것으로 선택하였는가? 문법 지식의 위계에 따라 단원이 배열되었는가?
10 이론이 특정 입장에 편향되지 않고 중립적이며 객관적인가? 문법 지식이 특정 이론에 편향되지 않고 중립적이며 객관적인가?
11 개념이 정확하고 검증된 자료에 근거하고 있는가? 개념이 정확하고 검증된 자료에 근거하고 있는가?
12 특정 주제, 갈래, 지역, 작가에 편중되지 않도록 내용을 균형있게 설정하였는가? 인용 자료의 유형을 다양화하여 문법 지식의 현실 접근성을 높였는가?
13 국어과 하위 영역별 학습 내용이 균형있게 선정되었는가? 언어 자료는 실제 언어 사용 맥락을 반영하였는가?
14 사고력을 확장하고 올바른 가치관을 확립하는데 적절한 제재가 선정되었는가? 다양한 자료와 일상의 소재들을 활용하는 등 읽기 자료가 실제성을 띠는가?
15 학습자의 실생활과 밀접하게 관련되어 있는 제재인가? 올바르고 정확한 언어 생활을 하는 데 필요한 제재인가?
16 다양한 국어 활동의 실천이 가능한 제재인가? 언중들의 현실 언어 실태와 양상을 반영하는 제재인가?
17 다양한 분야의 읽을거리가 제시되어 있는가? 통합과 배열 방식의 다양성을 인정하고 지식의 상대성을 수용하는가?
18 다양한 양상의 제재로 다양한 집단의 식견을 인정하는가? 문법 지식 이해의 결과와 과정에서 보여줄 수 있는 다양한 장점들을 학습자의 수준에 맞춰 쉽고 친절하게 풀어 내용을 구성하였는가?
19 학습자의 학년 수준에 맞는 학습 내용과 개념을 다루고 있는가? 학습자의 학년 수준에 맞는 학습 내용과 개념을 다루고 있는가?
20 학습자의 흥미를 유발하고 호기심을 자극할 수 있는 내용이나 소재를 다루고 있는가? 학습자의 흥미를 유발하고 호기심을 자극할 수 있는 내용이나 소재를 다루고 있는가?
교수ㆍ학습 21 언어의 총체적(미적, 이론적, 심리적, 사회적, 역사적, 기호적) 특성을 반영한 활동인가? 문장의 법칙이 아닌, 언어의 원리와 규칙인 담화를 중심으로 활동을 구현하는가?
22 학습자의 언어 문화에 대한 이해를 높이고, 그것을 향유하며 창조할 수 있는 힘을 길러주는 활동인가? 기본 개념에 대한 이해를 바탕으로 탐구 활동을 통해 문법 지식을 귀납적으로 발견해 가도록 하였는가?
23 국어과 하위 영역별 성격과 학습 목표 달성에 적절한 교수 ㆍ 학습 방법이 제시되었는가? 문법 현상이 나타나는 근본적인 원인에 대한 접근을 바탕으로 문법 규칙이나 원리를 찾아내는 활동인가?
24 수업 중에 교사와 학생, 학생과 학생 사이의 언어적 상호작용이 활발하게 일어날 수 있는 활동인가? 해석 가능성을 촉진하는 교육어를 활용하여 활동을 구성하였는가?
25 학습자의 언어 능력을 실질적으로 향상시키는 활동인가? 지식 습득 외에 활동의 구성 원리를 다양화하였는가?
26 학습자의 통합적인 언어 활동을 장려하는 활동인가? 학습자가 직접 참여하는 활동을 중심으로 교과서를 구성하였는가?
27 실제 언어 생활을 다루어 삶에 적용 가능한 방식을 학습하는 활동인가? 탐구 학습 과정의 절차에 근거를 두고 활동을 구현했는가?
28 학습자의 언어 발달 현상을 고려하여 활동을 구성하였는가? 학습자의 언어 발달 현상을 고려하여 활동을 구성하였는가?
29 언어의 사회적 사용에 초점을 둔 활동을 강조하였는가? 학습한 문법 지식을 실제 언어 생활에 적용할 수 있는가?
30 교사의 수업 계획과 진행을 효과적으로 안내하는가? 교사의 수업 계획과 진행을 효과적으로 안내하는가?
31 학습자의 학습과 일상생활에 필요한 능력 및 바른 인성을 함잉하는 것을 평가하는가? 학습자가 자신의 문법 능력의 현 위치를 스스로 파악하고 점검할 수 있는가?
32 평가 유형 및 방법이 단원 학습 내용을 평가하는 데 적합하며 용이한가? 평가 유형 및 방법이 단원 학습 내용 평가에 적합하며 용이한가?
표현ㆍ표기 33 학습자의 수준에 맞는 어휘를 활용하여 기술하였는가? 학습자의 수준에 맞는 어휘를 활용하여 기술하였는가?
34 문장이 명료하며, 어법(표준어, 외래어, 띄어쓰기 등)에 맞는가? 문장이 명료하며, 어법(표준어, 외래어, 띄어쓰기 등)에 맞는가?
35 출처가 명확하고 정확한 자료(도표, 그림, 사진, 지도 등)를 사용하고 있는가? 출처가 명확하고 정확한 자료(도표, 그림, 사진, 지도 등)를 사용하고 있는가?
36 시각 자료는 적절하게 사용되었는가? 시각 자료는 적절하게 사용되었는가?
37 편집 및 디자인은 양호한가? 편집 및 디자인은 양호한가?
Download Excel Table
나. 조사 결과 분석

1차 델파이 조사 후, 수업 자료 자문 전문가와 내용 요소 검토 전문가의 평가 준거에 관한 인식을 고등학교 국어 교과서와 문법 교과서로 나누어 분석한 결과는 다음과 같다.

1) 고등학교 국어 교과서

첫째, 검정 기준의 공통 기준과 교과 기준에 관한 인식이다. 이를 위해 중학교 국어 교과서 14)를 살펴보았는데, ‘검정 기준에서 공통 기준과 교과 기준은 검정 특성에 맞게 변별되어 제시되었는가?’라는 질문에 수업 자료 자문 전문가들은 ‘약간 그렇지 않다15)’는 의견에 가장 많이 응답(42.8%)하였다. 이에 대한 의견을 제시하면 다음과 같다.

  • 주관적인 판단에 의거할 수밖에 없는 항목이 많다. ‘교육과정의 준수’ 영역의 심사 항목에 여러번 나오는 ‘충실히 반영’이라는 기준이 모호하다(이⚪⚪ 교사).

  • 헌법 정신에 어긋나지 않거나 종교나 문화에 편견을 가지지 않는 등 교과서의 질적 수준 이외의 변인을 고려하는 데 치중되어 있어 교과서의 질적 수준에 대해 평가하는 검정 기준은 다소 미흡하다(최⚪⚪ 교사).

둘째, 고등학교 국어 교과서와 고등학교 국어과 선택 과목 교과서의 검정 기준에 관한 인식이다. ‘고등학교 국어(I, II) 교과서 및 독서와 문법 교과서의 검정 기준은 영역에 따른 특성에 맞게 변별되어 제시되었는가?’라는 질문에 수업 자료 자문 전문가들은 ‘약간 그렇지 않다16)’는 의견에 가장 많이 응답(50.0%)하였다. 이에 대한 의견을 제시하면 다음과 같다.

  • 수업에 구체적으로 적용하는 것을 고려한 항목이 부족하다(최⚪⚪ 교사)).

  • 『고등학교 국어(I, II)』나 심화 과목인『독서와 문법』의 심사 항목이 크게 차이가 없는 것 같다(박⚪⚪ 교사).

  • 각 교과가 지닌 특수성이 좀 더 명확하게 제시된 기준이 제시된다면, 평가 시에 더 도움이 될 듯하다. 현재의 기준에서는 교과별 특수성이 드러나 보이지 않는다(하⚪⚪ 교사).

보기에 응답하지 않은 기타 의견으로 “고등학교 국어 교과서와 고등학교 국어과 선택 과목 교과서의 변별을 평가 기준에 담기는 어렵다”는 의견이 있었다. “이를 반영하면 오히려 평가 기준 이 더 모호해지게 될 것 같다(고⚪⚪ 출판인)”는 이유에서였다.

셋째, 고등학교 국어과 선택 과목 교과서에서 변별되는 검정 기준의 내용과 수에 관한 인식이다. ‘현행 고등학교 국어과 선택 과목 교과서에서 변별되는 검정 기준의 내용이 적절하다고 생각 하는가?’라는 질문에 수업 자료 자문 전문가들은 ‘약간 그렇지 않다17)’는 의견에 가장 많이 응답(42.8%)하였다. 이에 대한 의견을 각 영역별로 제시하면 <표 6>과 같다.

표 6. 고등학교 국어과 선택 과목 교과서에서 수정이 필요하다는 의견이 제시된 검정 기준
화법과 작문 • 실생활에서 쓰이는 화법, 그리고 오류를 고쳐 줄 수 있는 예문이 필요하다.
• 각 영역의 통합보다는 연계선상에서의 학습 효과를 묻는 것이 적절할 듯하다.
• 화법에는 말하기와 듣기, 작문에는 쓰기 활동이 배정되어 있는데 총체적인 언어 활동인 것도 아니고, 통합 자체에 큰 의미를 둘 수 있을까 하는 생각이 든다. 따라서 14개 중 1개라는 평가 기준의 수가 적기는 하지만 이런 면에서 보면 적은 것이 당연한 일은 아닐까 싶기도 하다.
독서와 문법 • 각 영역의 통합보다는 각 영역의 연계선 상에서의 학습 효과를 묻는 것이 적절할 듯하다.
• 고전 문법의 문헌을 제시할 경우, 표기 오류가 없이 정확해야 하는 것을 묻는 평가 기준이 마련되어야 한다.
문학 • 시대나 작가에 편중되지 않는 것은 사실상 불가능할 것 같다. 문학적 가치나 교육적 가치나 더 뛰어난 작가나 작품, 보편적으로 가르쳐야하는 작품 등이 있으므로, 가치있는 작품을 잘 선정했는지가 더 중요하지 편중 자체가 중요할 것으로 보이지는 않는다.
• 균형 있는 제재 선정 항목에 치중하여 있으므로 표현 면과 방법 면의 평가 기준이 추가적으로 필요하다.
고전 • 여러가지 관점으로 해석할 수 있는 법을 길러주어야 한다. 또한 어느 정도 작가에 대한 배경 지식 이 필요할 경우에는 따로 실어주어야 한다.
Download Excel Table

위 질문에 뒤이어 제시된 ‘현행 고등학교 국어과 선택 과목 교과서에서 변별되는 평가 기준의 수(14개 중 1개, 7.14%)가 적절하다고 생각하는가?’라는 질문에 수업 자료 자문 전문가들은 ‘약간 그렇지 않다’18)는 의견에 가장 많이 응답(42.8%)하였다.

이를 보다 구체적으로 살펴보면, 현행 고등학교 국어과 선택 과목 교과서에서 제시한 평가 기준의 수는 14개인데 대체로 이 수에 대해서는 적당하다는 응답(6명, 85.7%)이 부적당하다는 응답(명, 14.3%)보다 더 많이 나왔다. 그러나 현행 고등학교 국어과 선택 과목 교과서에서 변별되는 평가 기준의 비율인 7.14%에 대해서는 부적절하다는 응답(5명, 71.4%)이 적당하다는 응답(2명, 28.6%)보다 더 많이 나왔다. 이 비율은 20%, 50% 등 대체로 확대되어야 한다는 의견이 많이 제시되었다.

넷째, 국어 교과서 평가 기준에 관한 인식이다. 고등학교 국어 교과서 평가 준거를 설정하기 위한 기초 자료로 활용하기 위해, 이미 개발된 윤수영(2010)의 중학교 국어 교과서19) 평가 기 준을 예시로 제시하였다. ‘7영역 46항목으로 구성된 평가 기준을 그대로 고등학교 국어 교과서 평가 준거로 활용한다면 적절하다고 생각하는가?’라는 질문에 수업 자료 자문 전문가들은 ‘약간 그렇지 않다’20)는 의견에 가장 많이 응답(42.8%)하였다. 이에 대한 의견을 ‘삭제, 수정, 추가’ 로 살펴보면<표 7>과 같다.

표 7. 윤수영(2010)에서 수정이 필요하다는 의견이 제시된 교과서 평가 기준
삭제 • 3. 교육과정을 창의적으로 재구성하였는가?
 수업 시간에 교과서를 재구성하지 않고 사용하는 교사가 얼마나 될까? 창의성보다는 얼마나 정확 하고 일관적이며, 전범이 될 만하며, 알기 쉽게 재현했는지가 중요하다.
• 26. 국어의 구체적 상황 및 문학의 맥락을 이해 ㆍ 표현하는 데 적절한 제재인가?
 원론적인 내용이므로 적합하지 않다.
수정 • 14. 언어 활동의 총체적, 통합적 구조화를 이끌어 내는 효과적 구성인가?
 ‘통합적’보다는 연계’로 수정하는 것이 좋다.
• 12. 현대 사회에서 요구하는 국어 능력을 기를 수 있는 학습 내용인가?
 모호한 표현이다.
• 27. 대단원, 소단원, 단위 활동 간 관계가 합리적으로 구성되었는가?
 ‘합리적’보다는 ‘일관성 있게’로 고쳐야 한다.
추가 • 읽기 제재가 타당성, 적절성, 실제성을 갖추었는가?
• 학습목표, 대단원, 소단원, 단위 활동 간 관계가 일관적으로 구성되었는가?
• 교수 ㆍ 학습에 편리하도록 학습 내용에 알맞은 다양한 학습매체(인터넷 자료, 동영상, 음성 편집자 료, 문헌자료 둥)가 제공되는가?
• 제재가 학습 내용을 구현하기 위해 적절한가?, 학습해야 할 내용이 충분히 제시되어 있는가? 등 적절성과 타당성 측면에 더 많은 평가 내용이 마련되어야 할 듯하다.
Download Excel Table

위 질문에 뒤이어 제시된 ‘중학교 국어 교과서 평가 기준을 고등학교 국어 교과서 평가 준거에 적용한다고 할 때, 그 수(46개)는 적당하다고 생각하십니까?’라는 질문에 부적당하다는 응답 (5명, 71.4%)이 적당하다는 응답(1명, 28.6%)보다 더 많이 나왔다. 이는 46개인 평가 기준의 수는 대체로 많다는 인식 때문이었다. 무응답한 기타 의견으로 “숫자 자체는 의미가 없고, 내 용상에서 변화가 있어야 할듯하다(박⚪⚪ 교사)”는 의견이 있었다.

또, ‘국어 교과의 특수성을 나타내는 준거(46개 중 6개, 13.04%)의 수는 적당하다고 생각하 십니까?’라는 질문에 부적당하다는 응답(6명, 85.7%)이 적당하다는 응답(1 명, 14.3%)보다 더 많이 나왔다. 이 비율에 대해서는 20%, 30% 등 대체로 확대되어야 한다는 의견이 많이 제시되었다.

끝으로 윤수영 (2010)에서 제시한 평가 기준 중 수업 자료 자문 전문가들이 중요하다고 생각 한 평가 기준을 제시하면 다음과 같다.

  • 교육과정을 합리적으로 상세화하여 교과서를 구성하였는가? (4번)

  • 현대 사회에서 요구하는 국어 능력을 기를 수 있는 학습 내용인가? (12번)

  • 교수·학습에 가치가 있는 학습 내용인가? (13번)

  • 하위 영역별 학습 내용이 균형있게 선정되었는가? (16번)

  • 학습 내용이 정확하고, 신뢰할 수 있는가? (18번)

  • 단원별 학습 내용이 학습 목표에 따라 적절하게 구성되었는가? (24번)

  • 대단원, 소단원, 단위 활동 간 관계가 합리적으로 구성되었는가? (27번)

2) 고등학교 문법 교과서

첫째, 『독서와 문법』 교과서의 검정 기준에 관한 인식이다. ‘『독서와 문법』 교과서의 검정 기 준이 각 영역의 특성에 맞게 변별되어 제시되고 있는가?’라는 질문에 내용 요소 검토 전문가들은 ‘약간 그렇지 않다’21)는 의견에 가장 많이 응답(50.0%)하였다. 이에 대한 의견을 제시하면 다음과 같다.

  • 교과서의 기본적인 성격은 동일할 수 있지만 각 교과서가 갖추어야 할 기본적인 내용은 각 영역별 교과서에 따라 다르다고 생각된다. 따라서 각 영역의 특성을 반영한 검정 기준이 적용되어야 한다(윤⚪⚪ 집필진).

  • 모든 교과서에 적용되는 일반적인 검정 기준 가운데 8번과 같이 약간의 내용만 달리하여 『독서와 문법』에 해당하는 검정 기준이라 제시하고 있다. 이처럼 몇 개의 항목만을 바꿔서 제시하는 것만으로는 『독서와 문법』의 성격을 충분히 보여 주지 못한다는 문제를 안고 있다(김⚪⚪ 집필진).

둘째, 고등학교 국어과 선택 과목 교과서에서 변별되는 검정 기준의 내용과 수에 관한 인식이다. ‘현행 고등학교 국어과 선택 과목 교과서에서 제시한 검정 기준의 수(14개)가 적절하다고 생각하는가?’라는 질문에 내용 요소 검토 전문가들은 적당하다는 응답(6명, 75.0%)이 부적당하다는 응답(2명, 25.0%)보다 더 많이 나왔다.

그러나 현행 고등학교 국어과 선택 과목 교과서에서 변별되는 검정 기준의 수(14개 중 1개, 7.14%)가 적절하다고 생각하는가?’라는 질문에 내용 요소 검토 전문가들은 부적당하다는 응답 (5명, 62.5%)이 적당하다는 응답(3명, 37.5%)보다 더 많이 나왔다. 이 비율은 20%, 20-30%, 50% 등 대체로 확대되어야 한다는 의견이 많이 제시되었다.

셋째, 고등학교 국어 교과서 선정 기준에 관한 인식이다. 고등학교 문법 교과서 평가 준거를 설정하기 위한 기초 자료로 활용하기 위해 이미 현장에서 활용된 서울특별시 소재 A여고와 부산광역시 소재 B고교의 선정 기준을 예시로 제시하였다. ‘현행 고등학교에서 교과서 선정에 사용되는 기준의 예시이다. 교과서 선정 기준이 교과별 특성에 맞게 변별되어 제시되고 있다고 생각하는가?’라는 질문에 내용 요소 검토 전문가들은 ‘약간 그렇지 않다’22)는 의견에 가장 많이 응답(50.0%)하였다. 이에 대한 의견을 제시하면 다음과 같다.

  • 학교 현장의 교과서 선정 기준이 각 교과목을 선정하는 데 있어 그 내용이 타 교과와 변별되지 않는다(안⚪⚪ 연구원).

  • 서울 소재 A여고 15번은 교과목의 특성을 살린 인쇄와 편집이 뭔지 모르겠다. 물론 미술 교과라면 중요하겠지만, 고등학교 국어 교과에서도 중요할까 의문이 든다. 또, 부산 표고교의 2의 4)번은 ‘종이 질’이 다른 평가 요소와 동등하다고는 볼 수 없다. 이것이 중요한 평가 요소로 작용하다면, 결국 거대 출판사만 교과서 시장에 남게 될 것이다(이⚪⚪ 연구원).

  • 교과서 선정 기준이 실질적으로 교과서 선정에 어떤 영향을 미칠 수 있는가의 문제가 더 중요 하다. 교과서의 외형적 기준보다는 실질적으로 교과서의 내용 기술에 대한 기준이 더 중요하지만 학교 현장에서는 이에 대한 평가보다 겉모습으로만 이루어진 선정 기준을 중심으로 선정하고 있다. 따라서 실제 수업 상황에서 학생들에게 적용 시 어떤 문제점이 있는지를 반영할 수 있는 선정 기준이 마련되어야 한다(윤⚪⚪ 집필진).

위 질문에 뒤이어 제시된 ‘위에 제시된 교과서 선정 기준을 고등학교 문법 교과서 평가 준거에 적용한다고 할 때, 그 수(16-20개)는 적당하다고 생각하는가?’라는 질문에 내용 요소 검토 전문가들은 적당하다는 응답(6명, 75%)이 부적당하다는 응답(2명, 25%)보다 더 많이 나왔다. 부적당하다는 의견에는 ‘30-40개로 확대되어야 한다(정2⚪⚪ 연구원)’는 의견도 있었고, ‘적당한 수가 있기보다는 필요한 내용을 보다 세분화할 필요는 있어 보인다(신⚪⚪ 연구원)’는 의견도 있었다.

또, ‘위에 제시된 교과서 선정 기준을 고등학교 문법 교과서 평가 준거에 적용한다고 할 때, 문법 교과의 특수성을 나타내는 평가 준거는 어느 정도의 비율이 적당하다고 생각하는가?’라는 질문에는 10%, 20%, 30%, 50%, 70% 등 다양한 응답이 나타났다.

넷째, 문법 교과서 평가 준거에 관한 인식이다. ‘질 높은 문법 교과서를 제작하거나 선택하기 위해 어떤 평가 준거가 반드시 포함되어야 하는가?’라는 질문에 제시된 의견은 다음과 같다.

  • 언어 자료의 실제성을 반영하는가?

  • 평가와 평가 결과의 활용이 타당한가?

  • 교육과정의 성취 기준을 달성하였는가?

  • 학습자의 수준을 고려한 내용을 선정하였는가?

  • 실제 언어 생활에 적용할 수 있는 내용으로 구성되어 있는가? [실용성 차원]

  • 읽기 자료가 다양하며 일상 언어 생활의 모습을 보여 주는(실제 담화 상황 등) 자료를 다양하게 다루고 있는가? [제재/소재 다양성]

  • 학계에서 합의되지 않는 이견을 다루고 있지는 않는가? 즉, 특정 문법학자의 이론에 치중되어 있지는 않은가? [내용의 일반성/공정성]

지금까지 제시된 조사 결과를 종합하면 다음과 같은 함의를 도출할 수 있다.

먼저, 고등학교 국어 교과서에서 수업 자료 자문 전문가들은 교과서 검정 기준에 있어 공통 기준과 교과 기준에 따른 검정 기준의 변별 및 국어 교과의 선택 과목에 따른 교과서 검정 기준의 변별이 잘 이루어지지 않고 있다는 데 의견 일치를 보였다. 이는 일부 검정 기준 가운데 진 술이 모호한 검정 기준이 있고, 변별되는 검정 기준의 수와 비율이 지나치게 적은 데 그 원인을 찾을 수 있다. 따라서 평가 준거를 개발할 때는 의미가 분명히 전달되도록 진술해야 하며, 변별 되는 평가 준거의 수와 비율을 지금보다 확대해야 할 것이다.

다음으로 고등학교 문법 교과서에서 내용 요소 검토 전문가들은 교과서 선정 기준에 있어 교 과별 특성에 따른 교과서 선정 기준의 변별이 잘 이루어지지 않고 있다는 데 의견 일치를 보였다. 이와 더불어 단위 학교의 특색이나 실제 수업 상황을 고려한 선정 기준의 제시가 미흡하다는 의견도 나타났다. 따라서 평가 준거를 개발할 때, 교과서의 현장 적용이나 수업 실행 측면을 염두에 두어야 할 것이다.

또, 고등학교 국어 교과서와 문법 교과서에서 전문가들이 생각하기에 적절하다고 생각하는 평가 준거의 수는 20개를 넘지 않는 것으로 나타났다. 이는 김은성 외 (2012)에서도 확인할 수 있었는데, 100개의 분석 대상 중학교의 선정 기준 목록의 구성 개수 평균치는 17.25개로 나 타났다. 현장에서 상대적으로 간결하게 구성된 선정 기준 목록을 선호한다는 사실(김은성 외, p. 18)은 본 연구에서도 확인할 수 있었다. 그러나 교과 특성이 드러난 평가 준거의 수와 비율은 확대되어야 한다는 의견이 지배적이었다. 본 연구에서 대상으로 한 표집의 수가 적어 일반화가 어렵기 때문에, 교과 특수적인 평가 준거의 적당한 구성 비율을 알아보기 위해서는 더 많은 표집 집단을 선정해 재조사하는 후속 연구가 필요하다.

끝으로 고등학교 국어 교과서와 문법 교과서에서 전문가들이 중요하거나 필요하다고 제시한 평가 준거를 검토해 보면 국어 교과의 특성을 반영한 평가 준거가 역시 부족함을 확인할 수 있었다. 이는 국어 교과의 특성을 반영한 평가 준거의 개발에 국어교육학의 이론적 배경을 바탕으로 학교 현장의 실태를 개선하기 위한 국어 교육 연구의 실제적 관심이 필요하다는 것을 알 수 있다.

다. 전문가 검토를 통한 수정·보완

2차 델파이 조사 후에 고등학교 국어 교과서 및 문법 교과서 평가 준거의 적합성을 전문가가 평정한 결과는 <표 8>과 같다. 그러나 평정한 평균값이 의미 있기 위해서는 표집 집단의 수가 최소한 100명 이상 정도가 되어야 하므로 이 경우에 전문가들의 동의 정도, 즉 타당성 정도가 높은 값을 보고 판단하는 것이 필요하다는 교육과정·교과서 연구자의 최종 자문 의견에 따라 CVR값23)을 구하였다. Lawshe(1975)에 따르면 유의 수준 a =.05에서 CVR 최소값은 델파 이 패널 수에 따라 다른데, 2차 델파이 조사의 경우 각 집단별로 8명씩을 대상으로 하였기 때문에 CVR값이 .75 이상이어야 평가 준거가 타당성을 갖는 것으로 판단하였다. 그리고 박혜림 (2007)에서 중요하다고 응답한 패널이 50% 미만이면 CVR값은 음수가 되고, 중요하다고 응답한 패널이 50%이면 CVR값은 0, 100%면 1이 된다고 하였는데, 이와 같은 해석에 따라 자료를 분석하였다.

표 8. 2차 델파이 조사지에 제시된 평가 준거의 적합성에 대한 전문가 평정 결과
영역 번호 고등학교 국어 교과서 평가 준거 고등학교 문법 교과서 평가 준거
M SD CVR M SD CVR
교육 과정 1 3.63 0.92 0.25 4.38 0.74 0.75
2 4.75 0.46 1.00 4.25 0.71 0.75
3 4.00 0.53 0.75 3.63 0.74 0.00
4 4.50 0.76 0.75 4.00 0.53 0.75
5 3.88 0.64 0.50 3.13 1.3 0.00
제재 6 4.13 0.64 0.75 4.00 0.53 0.75
7 3.75 1.04 0.25 4.25 0.71 0.75
8 3.50 0.93 0.00 4.25 0.71 0.75
9 4.00 0.53 0.75 3.75 0.89 0.00
10 3.63 0.74 0.50 3.75 0.46 0.50
11 4.38 0.74 0.75 4.25 0.46 1.00
12 4.00 0.53 0.5 3.88 0.99 0.50
13 4.38 0.52 1.00 4.00 1.07 0.50
14 4.25 0.71 0.5 4.13 0.64 0.5
15 3.88 0.64 0.5 4.25 0.71 0.5
16 3.75 0.71 0.25 3.63 0.92 0.25
17 3.63 1.06 0.0 3.63 0.52 0.25
18 3.63 0.74 0.0 3.88 0.99 0.50
19 4.13 0.64 0.5 4.3 0.64 0.5
20 3.88 0.64 0.50 3.75 0.89 0.50
교수ㆍ학습 21 3.13 1.13 −0.25 3.63 0.92 0.25
22 4.13 0.64 0.5 3.88 0.35 0.5
23 4.38 0.74 0.5 3.88 0.35 0.5
24 4.13 0.64 0.5 3.63 1.06 0.0
25 4.13 0.35 1.00 3.63 0.74 0.00
26 3.63 0.92 0.25 3.88 0.35 0.5
27 3.88 0.99 0.50 2.88 0.99 −0.5
28 3.88 0.64 0.50 4.3 0.64 0.5
29 3.00 1.20 −0.25 3.75 1.16 0.50
30 4.13 0.83 0.50 3.38 1.30 0.25
31 3.88 0.83 0.25 3.38 1.06 0.00
32 4.5 0.46 1.00 4.00 0.53 0.5
표현ㆍ표기 33 4.00 0.76 0.50 3.75 0.89 0.50
34 4.50 0.53 1.00 4.38 0.52 1.00
35 4.25 0.71 0.5 4.3 0.64 0.5
36 3.75 0.71 0.25 3.75 0.46 0.50
37 3.75 0.71 0.25 3.63 0.52 0.25

* 음영 처리된 부분은 값이 평균(국어 : 3.97, 문법: 3.85) 이상이거나, CVR이 .75 이상인 값

Download Excel Table

국어 교과 고유의 특성을 반영한 평가 준거의 적합성에 대한 전문가 평정 결과를 살펴보기에 앞서, 공통적으로 제시한 평가 준거(10번, 11번, 19번, 20번, 28번, 30번, 32번, 33번, 34번, 35번, 36번, 37번)의 적합성에 대한 전문가 평정 결과는 각 평가 준거에 따라 다르게 나타 났다. 즉, 11번, 19번, 32번, 34번, 35번은 평가 준거로서 적합하다는 결과(평균 이상의 값이며 .75 이상의 CVR값)가 나타났고, 10번, 20번, 30번, 33번, 36번, 37번은 평가 준거로서 적합하지 않다는 결과(평균 미만의 값이거나 .75 미만의 CVR값)가 나타났다. 특히 28번의 경우, 평가 준거로서 적합하지 않다는 고등학교 국어 교과서와 달리 고등학교 문법 교과서에서는 평가 준거로서 적합하다는 결과가 나타났다.

고등학교 국어 교과서 평가 준거의 적합성에 대한 전문가 평정 결과, CVR값이 높은 것은 대체로 평균값도 높았다. CVR값이 의미 있게 나온 2번, 3번, 4번, 6번, 9번, 12번, 13번, 14번, 22번, 23번, 24번, 25번 가운데 심층 면담에서 전문가들은 25번 평가 준거를 가장 중요하게 보았다.

또, CVR값이 음수가 나온 21번과 29번에 대해 전문가들이 협의한 결과, 삭제하자는 것에 의견 일치를 보였다. 그 이유는 심층 면담에서 “21번은 ‘언어의 총체적 특성을 반영’하지 않은 활동이 있는가에 대해 의문이 들며, 3번에 포함될 여지가 있다”는 의견과 “29번은 ‘사회적 사용’ 이라는 용어가 지니는 의미가 불명확하다”는 의견이 제시되어 평가 준거에서 삭제하기로 했다. 따라서 최종적으로 확정한 고등학교 국어 교과서 평가 준거는 2번, 3번, 4번, 6번, 9번, 12번, 13번, 14번, 22번, 23번, 24번, 25번이다.

고등학교 문법 교과서 평가 준거의 적합성에 대한 전문가 평정 결과, 역시 CVR값이 높은 것은 대체로 평균값도 높았다. CVR값이 의미 있게 나온 1번, 2번, 4번, 6번, 7번, 8번, 14번, 15 번, 22번, 23번, 26번 가운데 심층 면담에서 전문가들은 1번 평가 준거를 가장 중요하게 보았다.

또, CVR값이 음수가 나온 27번에 대해 전문가들이 협의한 결과, 삭제하자는 것에 의견 일치를 보였다. 그 이유는 최종 자문에서 “22번과 유사해 보이기도 하는데 탐구 학습 과정의 절차라는게 간단하지가 않아 교과서에서 그대로 구현하기가 쉽지 않은 듯하다”는 의견과 심층 면담에서 “활동은 교육 상황에 맞는 학습 방법을 선택하는 것이기 때문에 탐구 학습 과정에 근거를 뒀는지 안뒀는지는 중요하지 않다”는 의견이 제시되어 평가 준거에서 삭제하기로 했다. 또, CVR 값이 음수는 아니지만, 평정 평균값이 전체 평균값에 비해 현저하게 낮은 5번에 대해 최종 자문에서 “영역 간 통합이 꼭 학습 효과를 고려한 것은 아닐 수도 있기 때문에 영역 간 통합과 학습 효과의 상관성이 중요하게 작용하지 않을 수도 있다”는 의견이 제시되어 평가 준거에서 삭제하였다. 따라서 최종적으로 확정한 고등학교 문법 교과서 평가 준거는 1번, 2번, 4번, 6번, 7번, 8번, 14번, 15번, 22번, 23번, 26번, 28번이다.

Ⅳ. 평가 준거의 실제

지금까지 델파이 조사 결과를 바탕으로 수업 자료 전문가와 내용 요소 전문가의 심층 면담 및 최종 자문을 통해 여러 차례의 협의 과정을 거쳐 최종적으로 개발한 평가 준거는〈표 9〉와 같다. <표 9>에 제시된 평가 준거의 수는 모두 17개이지만, 6번, 10번, 15번, 16번, 17번이 공통적으로 제시된 평가 준거임을 고려한다면, 국어 교과 고유의 특성을 반영한 평가 준거의 수는 고등학교 국어 교과서와 고등학교 문법 교과서에 각각 12개이다.

표 9. 고등학교 국어 교과서 및 문법 교과서의 평가 준거
영역 번호 고등학교 국어 교과서 평가 준거 고등학교 문법 교과서 평가 준거
교육과정 1 학습 목표와 연계하여 다양한 언어 활동을 할 수 있도록 학습 활동을 적절하게 구현하였는가? 문법 교육과정에서 문법 교육이 지향하는 바를 상세히 반영하여 단원을 창의적으로 구성하였는가?
2 언어 활동의 총체적, 통합적 구조화를 이끌어 내는 효과적 구성인가? 학습자의 통찰력과 사고력을 신장시켜 주는 데 초점을 두어 구성 방식을 다양화하였는가?
3 듣기, 말하기, 읽기, 쓰기, 문법, 문학의 각 영역 별 핵심 내용이 골고루 구성되어 있는가? 국어학적 지식을 교수학적으로 변환한 양상이 왜곡이나 파손없이 교과서에 타당하게 제시되었는가?
제재 4 국어의 구체적 상황 및 문학의 맥락을 이해ㆍ표현하는 데 적절한 제재인가? 한국어 공동체의 일원으로서 요구되는 언어 생활을 하는데 도움을 주는 제재인가?
5 제재는 학습자의 언어 경험을 확대하는 것으로 선택하였는가? 국어의 내적 질서가 우리의 삶과 어떻게 연관되어 있는지를 자연스럽고 흥미롭게 보여 주는가?
6 특정 주제, 갈래, 지역, 작가에 편중되지 않도록 내용을 균형있게 설정하였는가? 학습자의 언어 발달 단계에 따라 제재가 선정되었는가?
7 개념이 정확하고 검증된 자료에 근거하고 있는가? 개념이 정확하고 검증된 자료에 근거하고 있는가?
8 국어과 하위 영역별 학습 내용이 균형있게 선정되었는가? 다양한 자료와 일상의 소재들을 활용하는 등 읽기 자료가 실제성을 띠는가?
9 사고력을 확장하고 올바른 가치관을 확립하는 데 적절한 제재가 선정되었는가? 올바르고 정확한 언어 생활을 하는 데 필요한 제재인가?
10 학습자의 학년 수준에 맞는 학습 내용과 개념을 다루고 있는가? 학습자의 학년 수준에 맞는 학습 내용과 개념을 다루고 있는가?
교수ㆍ학습 11 학습자의 언어 문화에 대한 이해를 높이고, 그것을 향유하며 창조할 수 있는 힘을 길러주는 활동인가? 기본 개념에 대한 이해를 바탕으로 탐구 활동을 통해 문법 지식을 귀납적으로 발견해 가도록 하였는가?
12 국어과 하위 영역별 성격과 학습 목표 달성에 적절한 교수현ㆍ학습 방법이 제시되었는가? 문법 현상이 나타나는 근본적인 원인에 대한 접근을 바탕으로 문법 규칙이나 원리를 찾아내는 활동인가?
13 수업 중에 교사와 학생, 학생과 학생 사이의 언어적 상호작용이 활발하게 일어날 수 있는 활동인가? 학습자가 직접 참여하는 활동을 중심으로 교과서를 구성하였는가?
14 학습자의 언어 능력을 실질적으로 향상시키는 활동인가? 학습자의 언어 발달 현상을 고려하여 활동을 구성하였는가?
15 평가 유형 및 방법이 단원 학습 내용을 평가하는 데 적합하며 용이한가? 평가 유형 및 방법이 단원 학습 내용을 평가하는 데 적합하며 용이한가?
표현ㆍ표기 16 문장이 명료하며, 어법(표준어, 외래어, 띄어쓰기 등)에 맞는가? 문장이 명료하며, 어법(표준어, 외래어, 띄어쓰기 등)에 맞는가?
17 출처가 명확하고 정확한 자료(도표, 그림, 사진, 지도 등)를 사용하고 있는가? 출처가 명확하고 정확한 자료(도표, 그림, 사진, 지도 등)를 사용하고 있는가?
Download Excel Table

<표 9>에서 제시한 교과 특수적인 성격의 평가 준거를 실제 교과서 평가 상황에서 활용하기 위해서는 단원 성격이나 학습 목표 등에 따라 평가 준거를 달리 적용하는 주의가 요구된다. 또, 본고에서는 국어 교과의 특성을 반영한 평가 준거를 설정하는 것을 목적으로 하므로 평가 영역 구성의 타당성이나, 영역별 평가 준거 수의 적절성에 대한 논의는 다루지 않았다. 실제로 평가 준거를 협의하는 과정에서 평가 영역 내 평가 준거의 구성 비율이나 평가 영역의 명칭에 대한 전문가의 지적도 있었다. 이는 후속 연구를 통해 보다 정치한 이론적 근거를 바탕으로 좀 더 면밀히 살펴보아야 할 것이다. 아울러, 적절하다고 생각하는 교과 특수적인 평가 준거의 수나 비 율에 대해 알아보기 위해 보다 광범위한 집단의 의견 수렴을 거치는 작업도 꼭 필요하다.

V. 결론

지금까지 고등학교 국어 교과서 및 문법 교과서의 평가 준거 설정에 관해 살펴보았다. 본 연구는 학교 현장에서 사용되는 교과서 평가 준거가 교과 고유의 특성을 반영하지 못한다는 문제 의식에 주목하여 이를 개선하기 위한 기초 연구로서 의의가 있다. 향후 교과 고유의 특성을 반 영한 교과서 평가 준거 개발의 후속 연구를 위하여 교과서 관련 주체별로 다음과 같은 3가지를 제언하고자 한다.

첫째, 교과서 평가의 전문성 제고를 위한 정부의 관리 체제 구축이 필요하다. 정부에서 교과서 평가는 교육과정이 바뀌면서 교과서를 검정하는 시기에만 중점적으로 다루는 것이 아니라, 교과서 평가 관리 체제24)를 구축하여 지속적으로 이루어져야 할 것이다.

둘째, 교과서 평가의 전문성 제고를 위한 교사의 노력이 필요하다. 학교에서 교사는 교과서 평가에 대해 선정 작업을 할 때에만 관심을 기울일 것이 아니라, 평소에 교과서의 질적인 개선을 위한 관심을 기울여야 한다. 이는 예비 교사 단계에서부터 필요하다. 교과서 평가와 관련된 과목이나 연수의 수강도 좋지만 근본적으로는 교과서에 대한 관심이 선행되어야 할 것이다.

셋째, 교과서 평가의 전문성 제고를 위한 학생과 학부모의 참여가 필요하다. 지금까지는 교과서 평가에 있어 학생과 학부모의 참여가 제한적이거나 소극적으로 이루어져 왔다. 그러나 ‘교과서가 과연 누구를 위해 존재하는가?’를 고려하면 교과서 평가에 사용 주체인 학생의 참여를 생각하지 않을 수 없다. 단, 이 경우 학생의 의견 반영 정도나 참여 절차에 대한 효과적인 방안을 마련해야 할 것이다.

정전(正傳)으로 여겨지던 교과서마저도 사회가 다원화됨에 따라 다양한 형태를 띠게 되었다. 그러나 교과서 발행의 자유는 교과서 평가의 책임을 동반하였다. 교과서 평가 과정에서 생기는 혼란은 변화에 수반되는 시행착오일 것이다. 질 높은 교과서를 위한 교과서 관련 주체들의 지속적인 관심이 실제적인 노력으로 이어진다면 자연스레 교과서 평가에 대한 전문성은 어느 정도 신장되리라 생각하며 글을 맺는다.

Notes

1) 현 교육과정에서는 ‘평가 준거’라는 용어가 아닌, ‘평가 기준’이라는 용어가 사용되고 있다. '준거 (criterion, standard, cut-off)’는 준거참조평가(criterion-referenced evaluation)에서 가장 중요한 요소로, ‘교육목표를 설정할 때 도달하여야 하는 최저 기준(minimum competency level)’이라 할 수 있다(성태제, 2007, p. 73). 본고에서 다루는 교과서 평가의 성격은 교과서 간의 상대적인 비교에 의해 서열 화를 목적으로 하는 규준참조평가(norm-referenced evaluation)가 아니라 교과서의 질적 제고를 도모하는 준거참조평가에 더 가깝기 때문에 ‘평가 기준’이라는 용어 대신, ‘평가 준거’라는 용어를 사용하였다.

2) 7차 교육과정에 비추어 본다면, 전자는 국민공통기본교과에 후자는 심화선택교과에 각각 대응해 볼 수 있다. 현 교육과정에서 고등학교 국어 교과가 모두 선택 과목으로 구성된 점에 주목하면 『국어 I』, 『국어 II』가 일반선택교과에 대응한다고 볼 수도 있지만, 『국어 I』, 『국어 II』는 일선 학교에서 대학수 학능력시험에서의 고득점을 위해 다 가르치는 경우가 일반적이고, 내용상 국어과 하위 영역이 종합적으로 제시되었다는 점에서 『국어생활』 보다 『국어 (상)』, 『국어 (하)』와 더 유사하다고 판단하여 국민공 통기본교과의 성격에 더 가까운 것으로 보았다.

3) 교과서 평가가 ‘교과서’라는 실체를 전제로 설계되어야 한다는 측면에서 접근한다면 『문법』 교과서가 독 립적으로 존재하지 않는 현 상황에서 본 연구가 지니는 실효성에 대해 의문을 가질 수 있다. 그러나 교 과서를 구현하는 데 토대가 되는 교육과정이 근본적으로 영역별로 구성되어 있기 때문에 이를 살펴 보는 것은 충분히 가치가 있을 것이다.

4) 한국교육과정평가원은 ‘수학, 과학, 역사’교과를 제외한 전 교과를 심사하며, 한국과학창의재단에서 ‘수학, 과학’ 교과를, 국사편찬위원회에서 ‘역사’ 교과를 심사한다.

5) IMAP: Instructional Materials Advisory Panels, CRP: Content Review Panels.

6) 본고에서 평가 준거를 설정한 방법은 정혜승(2004)을 따랐다. 요구 분석법은 교과서 관련자들의 교과서에 대한 요구를 조사, 분석하여 교과서 평가 기준으로 개발하는 방법이다. 수렴적 구성법은 기존의 교과서 평가 기준을 종합하여 평가 기준을 개발하는 방법이고, 논리적 구성법은 교과의 특성에 비추어 이상적인 교과서가 갖추어야 할 요건을 논리적으로 분석하고 이를 근거로 교과서 평가 기준을 개발하는 방법이다(정혜승, 2004, pp. 459-462).

7) 김정우(2008)에서는 평가 준거로 ‘평가 항목’ 대신 교과서 관련 주체들의 ‘평가 관점’을 도입해 입체적으로 7차 고등학교 국어 교과서를 평가하였다.

8) 국어 교과서 평가 연구는 ‘신헌재, 설현구(1993)’가 최초의 연구라 할 수 있겠으나, 이는 초등학교 5-6학년의 읽기 영역에만 국한되었다.

9) 전술한 바와 같이 현재 『문법』 교과서는 별도로 제작되지 않고, 『독서와 문법』 교과서에 ‘독서’영역과 함께 제시되어 있다. 이런 상황 속에서 ‘과연 문법 교과서 평가 준거를 설정하는 것이 의미가 있을까?’라는 의문이 들 수 있다. 그래서 연구자는 1차 델파이 설문지(고등학교 문법 교과서용)에 ‘문법 교과서의 평가 준거를 설정하는 것이 필요하며 가치가 있다고 생각하십니까?’라는 질문을 제일 마지막에 제시하였는데, 이에 대해 내용 요소 검토 전문가는 만장일치로 ‘문법 교과서의 평가 준거 설정이 필요도 하고 가치도 있다’고 응답하였다.

10) 본고에서 개발한 4종의 델파이 조사지는 K 대학원 박사과정에서 문법교육을 전공하고 있는 현직 고등학교 교사 3인의 협의를 통해 내용 타당도를 검증하였다.

11) 고등학교 국어 교과서의 델파이 조사지는 수업 자료 자문 전문가가, 고등학교 문법 교과서의 델파이 조사지는 내용 요소 검토 전문가가 검토하였다. 이는 본고에서 국어과 선택 과목 교과서의 성격을 영역 종합적인 것과 영역 심화적인 것으로 구분하였기 때문이다. 그러나 델파이 조사는 교과서의 성격에 따라 전문가 집단을 달리하여 실시했다 하더라도 실제로 교과서를 평가할 때는 동등한 층위의 선택 과목으로 제시된 현 국어과 교육과정의 특성상 두 집단의 전문가 평가가 모두 필요하다.

12) 이때의 ‘적합성’은 ‘내용 타당도(content validity)’를 의미한다.

13) 국어 교과의 특성을 반영한 평가 준거를 설정하는 목적으로 제작된 2차 델파이 조사지에 교과 공통 준거를 일부 넣은 이유는 평가 영역에 따라 교과 고유의 평가 준거가 불필요한 경우(예: 표현·표기 영역)가 있거나, 교과 특수적인 성격을 강조하기 위해 준거를 세분화하여 기술할 경우 지나치게 지엽적인 준거가 되는 경우(예: 평가와 관련한 준거)가 있기 때문이다.

14) 교과서 검정 기준에서 공통 기준과 교과 기준을 비교할 때, 고등학교 국어 교과서가 아닌 중학교 국어 교과서의 검정 기준을 대상으로 한 이유는 두 학교급의 검정 기준이 제시되는 순서에서만 조금 차이를 보일 뿐 그 내용은 동일한데, 중학교 검정 기준의 5번, 6번을 통합하여 5번 하나로 제시한 고등학교 검정 기준의 수(15개)가 중학교 검정 기준의 수(16개)보다 적기 때문에 중학교 국어 교과서의 검정 기준을 살펴보았다.

15) 문항 5-1 응답률:전혀 그렇지 않다(1명, 14.3%), 약간 그렇지 않다(3명, 42.8%), 보통이다(2명, 28.6%), 조금 그렇다(1명, 14.3%), 매우 그렇다(0명, 0%).

16) 문항 5-3 응답률: 전혀 그렇지 않다(0명, 0%), 약간 그렇지 않다(3명, 50.0%), 보통이다(2명, 33.3%), 조금 그렇다(1 명, 16.7%), 매우 그렇다(0명, 0%).

17) 문항 5-5 응답률:전혀 그렇지 않다(0명, 0%), 약간 그렇지 않다(3명, 42.8%), 보통이다(2명, 28.6%), 조금 그렇다(2명, 28.6%),매우 그렇다(0명, 0%).

18) 문항 5-7 응답률: 전혀 그렇지 않다(1명, 14.3%), 약간 그렇지 않다(3명, 42.8%), 보통이다(2명, 28.6%), 조금 그렇다(1명, 14.3%), 매우 그렇다(0명, 0%).

19) 현재까지 고등학교 학교급에서 수행된 연구가 전무하여 본고에서는 윤수영(2010)의 중학교 국어 교과서 평가 기준에 대한 연구를 고등학교 국어 교과서 평가 준거 설정을 위한 기초 자료로 삼았다.

20) 문항 5-10 응답률: 전혀 그렇지 않다(1명, 14.3%), 약간 그렇지 않다(3명, 42.8%), 보통이다(2명, 28.6%), 조금 그렇다(1명, 14.3%), 매우 그렇다(0명, 0%).

21) 문항 5-1 응답률: 전혀 그렇지 않다(1명, 12.5%), 약간 그렇지 않다(4명, 50.0%),보통이다(1명, 12.5%), 조금 그렇다(2명, 25.0%), 매우 그렇다(0명, 0%)

22) 문항 5-5 응답률: 전혀 그렇지 않다(0명, 0%), 약간 그렇지 않다(4명, 50.0%), 보통이다(2명, 25.0%), 조금 그렇다(2명, 25.0%), 매우 그렇다(0명, 0%).

23) CVR을 산출하는 공식은 다음과 같다(Lawshe, 1975).

C V R = n e N 2 N 2

  • N은 응답 사례 수

  • ne는 ‘중요하다’고 응답한 응답자의 빈도수(4점과 5점에 응답한 빈도수)

24) 진재관 외(2007, p. 119)에 이와 같은 교과서 질 관리 체제(안)이 제시되기도 하였다.

참고문헌

1.

강대구(1991). 실업교과의 교재 구조와 평가모형에 관한 연구. 박사학위 논문, 서울대학교..

2.

강선주, 민병곤, 김민정, 정재윤, 이림(2012). 유럽 주요국의 교과서 제도 비교 및 정책 동향 분석 연구. 한국교과서연구재단 연구보고서 2012-02..

3.

교육과학기술부, 한국교육과정평가원, 국사편찬위원회 (2011). 초·중등학교 교육과정 개정 고시 (제2011-361호, ʻ11.08.09)에 따른 초·중등학교 교과용도서 편찬 상의 유의점 및 검정 기준. 한국교육과정평가원 연구자료 ORM 211-49..

4.

권리라, 윤인경 (1998). 중학교 가정 교과서 선정 기준에 관한 연구. 한국가정과교육학희지, 10(1), 41-57..

5.

김국현(2009). 도덕과 교과서 선정 평가기준 연구. 윤리교육연구, 18, 23-46..

6.

김성익(1962). 현행 국사 교과서의 평가 연구(上): 서울특별시 중학교 역사 교육을 중심으로. 역사교육, 6, 3-49..

7.

김숙진(1995). 교과서 선정을 위한 중등학교 과학 교과서 평가틀 개발. 석사학위 논문, 이화여자 대학교..

8.

김유범, 김부연(2012). 국어 문법 교과서 개신을 위한 방향 모색. 한국어문교육, 11, 79-124..

9.

김은성, 김호정, 남가영, 박재현(2012). 중학교 국어과 교과서 선정 기준 설정 실태 연구. 교육과정평가연구, 15(3), 1-28..

10.

김재춘(2012). 미국의 교과서 인정제 동향 - 캘리포니아 주와 워싱턴 주를 중심으로-. 2012 국제교과서 심포지엄 자료집, 15-61..

11.

김정민, 김해동, 박종헌, 유재신, 이길영, 이충현, 장수현(2007). 영어 교재 분석 평가의 사례. 영 어어문교육, 13(4), 233-252..

12.

김정우(2008). 제7차 교육과정 국어 교과서 분석과 국어 교과서의 개발 방향. 우리말교육현장연구, 2(1), 95-143..

13.

김종윤(2006). 국어과 교사의 평가 문식성에 대한 연구: 읽기 영역 평가를 중심으로. 석사학위 논문. 고려대학교..

14.

김주환(2011). 국어 교과서 선정에 대한 교사들의 인식 조사. 국어교육학연구, 42, 347-378..

15.

김지영(2011). 고등학교 국어과 교사들의 검정 교과서 선정 과정에 대한 실태 분석. 석사학위 논문, 이화여자대학교..

16.

김창원(2000). 국어 교재와 사고력: 국어교육학. 서울: 소명출판..

17.

남가영, 김호정, 박재현, 김은성(2011). 국어 교사의 검정 교과서 선정 경험 연구. 교육과정평가 연구, 14(3), 53-81..

18.

민현식(2007). 문법 교육의 반성과 교과서 개발의 방향. 국어교육연구, 19, 287-258..

19.

박혜림(2007). 대학 교양교육과정의 평가 영역 및 준거 개발 연구. 박사학위 논문, 고려대학교..

20.

서수현(2008). 요인 분석을 통한 쓰기 평가의 준거 설정에 대한 연구. 박사학위 논문, 고려대학교..

21.

서지영, 김정호, 김덕근, 권유진, 장근주, 김정효(2011). 교과서 정책 국제 비교. 한국교육과정평가원 연구보고 RRO 2011-1..

22.

성태제(2007). 개정판 현대교육평가. 서울: 학지사..

23.

신헌재, 설현구(1993). 교수질 프로필에 의한 국어과 교육과정 및 교과서 평가: 국민학교 5, 6학년 읽기 영역을 중심으로. 교육과정 평가도구 개발연구, 2, 27-54..

24.

심재호, 권유진, 황수영(2010). 미국의 교과서 검정 및 선정 제도 분석 - 텍사스 & 아이오와주를 중심으로-. 한국교육과정평가원 연구자료 ORM 2010-60..

25.

윤수영 (2010). 중학교 교과서 평가 기준 설정에 관한 연구. 석사학위 논문, 고려대학교..

26.

이관규(2011). 문법 교육의 인식 변화와 문법 교재의 양상. 새국어교육, 89, 257-276..

27.

이관규(2013). 개정판 학교 문법 교육론. 서울: 고려대학교 민족문화연구원..

28.

이성희(2001). 영어 교재 평가 모형 연구. 외국어교육, 8(1), 236-268..

29.

이순영, 최숙기, 서민정(2012), 2009 개정 국어과 교육과정 ‘읽기’ 성취기준의 적합성 조사 연구: 현장 교사들의 적합성 평가 반응을 중심으로. 독서 연구, 27, 322-347..

30.

이승미, 홍후조, 민부자(2011). 교과 교육과정의 적정화 지침 개발 연구. 교육학연구, 49(2), 101-125..

31.

이종걸(2005). 국어 교과서 분석·평가에 대한 연구사적 고찰: 제 7차 교육과정 고등학교 국어 교과서를 중심으로. 석사학위 논문, 명지대학교..

32.

이종국(2008). 한국의 교과서 변천사: 근대 교과서 백년, 다시 새 세기를 넘어. 서울: 대한교과서주식 회사..

33.

이지은(2009). 중학교 영어 교과서 현장 채택기준 개발 연구. 석사학위 논문, 한국교원대학교..

34.

장은섭 (2011). 고등학교 국어교과서에 대한 학생과 교사들의 평가 연구. 국어교육학연구, 42, 141-174..

35.

전세경, 박정윤(1999), 실과 교과서 평가기준안 및 만족도 분석에 관한 연구. 한국실과교육학회지, 12(2), 921-935..

36.

정재연(2011). 한국 중등학교 일본어 교과서 평가기준 개발 연구. 박사학위 논문, 동덕여자대학교..

37.

정주리 (2009). 〈문법〉교과서 개발을 위한 제안. 문법교육, 11, 51-77..

38.

정혜승(2004). 국어 교과서 평가 방안 연구. 국어교육학연구, 21, 433-476..

39.

정혜승(2006). 좋은 국어 교과서의 요건과 단원 구성의 방향. 어문연구, 4, 379-440..

40.

정혜승(2011). 국어과 교과서 채택 기준과 채택한 교과서에 대한 교사의 반응. 독서교육, 25, 347-383..

41.

정혜승(2011). 국어과 교과서 채택 기준과 채택한 교과서에 대한 반응: 2007년 개정 교육과정에 따른 중학교 교과서를 중심으로. 독서연구, 25, 347-383..

42.

주세형 (2006). 문법 교재 개발의 모형. 문법교육, 5, 113-136..

43.

주형주(2011). 국어 교사들의 검정 교과서 선정 과정에 대한 연구. 석사학위 논문, 고려대학교..

44.

진재관, 서지영, 김국현, 이난영(2007). 교과용 도서 평가 연구( I ) -질 관리 체재 구축을 중심으로-. 한국교육과정평가원 연구보고 RRC 2007-5..

45.

진재관, 주형미, 김국현, 이난영(2008). 교과용 도서 평가 연구(II) -평가모형 개발 및 평가기준 설정-. 한국교육과정평가원 연구보고 RRC 2008-5..

46.

진재관, 조난심, 김미영, 양정실, 이경복(2010). 교과서 채택제도 개선 방안 연구. 한국검정교과서 연구보고서 2010-3..

47.

최인자(2011). 국어 교과서 평가 기준의 비판적 성찰: 2007 개정 중학교 교과서 검정을 중심으로. 한어문교육, 25, 29-53..

48.

캘리포니아주 교육청 홈페이지 http://www.cde.ca.gov/(검색일: 2014. 09. 17.).

49.

Chambliss. M. J. (1994). Evaluationg the Qulity of Textbooks for Diverse Learners. Remedial and Special education, 15(6), 348—362. .

50.

EBS 스페셜 홈페이지 http://home.ebs.co.k/home2930/(검색일: 2014. 10. 29.).

51.

Gall, M. D. (1981). Handbook For Evaluating and Selecting Curriculum Materials. Alyn aid Bacon. Inc..

52.

Hickman, H., & Porfilio. B. (2012). The New Politics of the Textbook. Boston: Sense Publishers. .

53.

Lawshe, C. H. (1975). A Qualitative Approach to Content Validity. Personal Psychology, 28(4), 563-575. .

54.

Marcy, Stein., Carol, Stuen., Douglas, Camine., & Roger, M. Long. (2001). Textbook Evaluation ad Adoption. Readnig & Writing Quarterly, 17(1), 5-23. .

55.

Zenger, W. E., & Zenger, S. K. (1976). Handbooks for Evaluating and Selecting Textbooks. Belmont, California: Fearon Publishers..