국어교사들의 쓰기 평가에서 나타난 엄격성 및 일관성 차이 분석: 논술 평가를 중심으로

쓰기 평가에서 평가의 오류나 평가의 신뢰성과 관련된 부분이 지속적으로 논의되고 있다. 언어 수행에 대한 평가가 이루어지는 쓰기 평가는 엄격성이 평가 결과에 영향을 미치는 요인으로 지적되고 있다(Engelhard, 1994; Engelhard & Myford, 2003; Lumley & McNamara, 1995). 서로 다른 엄격성을 가진 평가자가 부여한 점수는 동일한 피험자의 능력에 대해 다른 평가 결과를 초래하는 요인이 되기 때문에 엄격성을 평가 결과의 오류를 유발하는 요인으로 보기도 한다(박영민, 2012). 평가자의 엄격성에 의해 발생하는 효과는 가장 민감하면서도 심각한 오류라는 점에서 평가자의 엄격성 효과(severity effect)라고 불린다(Cronbach, 1990).

평가자의 엄격성은 점수를 부여하는 경향이 엄격한지 관대한지를 의미한다(최숙기·박영민, 2011). 평가자의 엄격성은 평가 척도 중간 이하의 점수를 부여하는 엄격성(severity)과 평가 척도 중간 이상의 점수를 부여하는 관대성(leniency)으로 분류된다(Kneeland, 1929; Ford, 1931). 엄격성이 높은 평가자는 피험자의 능력을 과소추정하며 관대성이 높은 평가자는 피험자의 능력을 과대 추정하는 결과를 초래한다(설현수, 2010). 예를 들면, 쓰기 능력이 유사한 피험자가 있을 때 엄격한 평가자는 평균 척도 이하의 낮은 점수를, 관대한 평가자는 평균 척도 이상의 높은 점수를 부여함으로써 피험자의 능력을 완전히 다르게 평가를 하게 되는 것이다.

관대한 평가자가 평가 기준에 관계없이 일관되게 관대한 평가를 하는 것은 평가자 개인의 고유하고 안정적인 인성과 관련된 것이라고 주장하기도 한다(Guilford, 1954). 평가자는 평가자가 내부에 가지고 있는 주관적인 인식을 통해 자신의 고유한 전략과 기준을 적용하여 평가한다. 그러나 평가자마다 내면적으로 가진 평가 기준이나 평가 척도에 대한 인식이 다르기 때문에 평가자의 엄격성에 차이가 나타나게 된다. 이러한 점을 해결하기 위해 평가자의 엄격성을 평가자 훈련이나 협의 등을 통해 조정하거나 기준이나 척도를 비슷한 수준으로 맞추려는 노력을 한다. 그러나 평가자의 엄격성은 완전히 없어지지 않는 것으로 제시된다(박영민, 2012). 이러한 점에서 엄격성의 차이를 인정하는 가운데 쓰기 평가를 수행할 필요가 있을 것이다.

지금까지 많은 선행 연구들은 FACETS 프로그램에 다국면 Rasch 모형을 적용하여 엄격성을 측정하였다(박찬흥, 2018; 박영민, 2012a; 박영민·최숙기, 2010b). 그러나 설현수(2010)에서 단순 총점, 표준점수, FACETS 점수를 통해 엄격성의 차이를 분석한 연구 결과를 보면, 평가자의 엄격성 정도와 관계없이 일정하게 일치를 보이는 것으로 확인되었다. 즉 평가자의 엄격성을 조정하기 위해 피험자의 능력 값을 산출하거나 표준화 공식을 통해 피험자의 능력 점수를 재산출하거나 엄격성을 모형화해서 피험자의 능력 점수를 산출하는 방법이 활용되고 있으나 이를 통해 엄격성이 통제되지 않는 것으로 밝혀졌다. 다국면 Rasch 모형은 평가자 간의 엄격성을 조정한 상태에서 능력 추정치를 확인할 수 있는 유일한 모형이라고 밝히고 있다.

평가자의 주관성이 평가 결과에 영향을 미칠 수 있다는 점에서 평가 결과의 신뢰성과 함께 제기되는 문제가 일관성이다. 한 명의 평가자가 한 집단 전체 학생에 대해, 전체 평가자는 개별 학생에 대해 일관성을 유지할 필요가 있다. 그러나 일관성은 평가 내용의 범위, 문항의 수, 문항 난이도, 평가자의 수, 평가자 훈련, 평가에 소요되는 시간, 평가 방법 등의 다양한 요인의 영향을 받기 때문에(송영미 외, 2009) 평가자 간 일관성을 유지하는 것이 쉽지 않다(김경희·송미영, 2001).

평가자의 일관성은 평가자가 부여하는 점수가 일정한 경향을 보이며 유지되는 현상을 말한다(최숙기․박영민, 2011). 쓰기 평가에서 일관성은 평가자가 피험자의 능력을 일관되게 일어내는 능력과 관련되어 있다는 점에서 평가자의 내적 신뢰도로 언급된다. 예를 들면, 일관성을 유지하는 적합한 평가자는 평가가 시작할 때부터 끝날 때까지 유사한 수준의 피험자에게 동일한 점수 척도를 부여한다. 그러나 일관성의 변동이 심하거나 일관되지 못하는 부적합, 과적합 평가자는 쓰기 능력에 비해 과도하게 낮은 점수나 과도하게 높은 점수를 부여하는 등 쓰기 능력을 정확하게 읽어내지 못하기 때문에 평가 결과에 대한 신뢰성에서 문제가 될 수 있다. 이에 따라 연수, 상세한 채점 기준의 마련, 전문성 신장 등을 통해 일관성 확보를 위해 노력하고 있다.

일관성은 평가자의 내적 신뢰도 이전에 평가자가 부여한 점수의 경향을 파악할 수 있는 지표이다. 쓰기 평가에서 평가자의 일관성의 차이가 나타나는 것은 많은 영향 요인의 개입에 따른 것이다. 그 중에서도 평가자가 내면에 인식하고 있는 평가 기준이나 척도가 변화하는 것이 평가의 일관성의 차이를 초래하는 요인이 된다(박종임․박영민, 2011; 최숙기․박영민, 2011).

다국면 Rasch 모형은 평가자의 일관성에 관한 정보를 제공한다(안수현·김정숙, 2017). 다국면 Rasch 모형에서 내적합 지수, 외적합 지수, 내적합 표준화 값, 외적합 표준화 값을 통해 일관성 유형을 적합, 과적합, 부적합으로 분류할 수 있는 수치들을 제공한다. 평가자가 일관성을 유지되면 적합, 평가자가 일관성이 매우 높으면 과적합, 평가자가 일관성이 매우 낮거나 일관성이 없으면 부적합으로 분류한다. 일관성을 분류하는 학자들마다 다양하게 제기되고 있으나 측정된 값을 통해 해석되는 결과는 적합, 과적합, 부적합으로 공통점을 가진다. 일반적으로 부적합이 과적합보다 평가의 신뢰도 부분에서 더 문제가 될 수 있다고 지적된다(Myford & Wolfe, 2003).

쓰기 평가에서 일관성 지수는 신뢰성 판단의 중요한 요인이 된다(Linacre, 1994; 지은림, 2008). 적합한 평가자는 엄격성을 일정하게 유지하며 평가를 진행하였기 때문에 신뢰할 수 있지만 과적합이나 부적합한 평가자는 엄격성을 일정하게 유지하지 못하고 채점하였다는 점에서 신뢰하지 못한다고 보는 것이다(장미·박영민, 2021).

평가자의 엄격성과 일관성은 평가자들의 주관이 반영되고 모든 평가자의 엄격성과 일관성을 같은 수준으로 유지할 수 없다는 한계가 있다. 이에 따라 평가자의 신뢰도에 관한 연구들은 엄격성과 일관성의 우연에 따른 일치보다는 신뢰성이 높게 산출된 결과를 보고하고 있다(Kortez, 1993). 따라서 쓰기 평가에서도 개별 평가자의 엄격성과 일관성을 적정한 수준에서 인정하고 최적의 신뢰도를 나타낸 결과 값을 통해 평가 결과를 해석할 필요가 있을 것이다.

쓰기 평가에서 나타난 엄격성 및 일관성의 차이를 분석하기 위해 현직 국어 교사 52명을 대상으로 쓰기 평가 및 조사를 실시하였다. 연구 대상을 구체화하면 <표 1>과 같다.

<표 1>의 연구 대상을 구체적으로 살펴보면 남교사 16명(30.77%), 여교사 36명(69.23%)를 차지하고 있는 것으로 나타났다. 상대적으로 여교사의 비율이 남교사에 비해 높게 나타났다. 학교급에 따르면 중학교 교사가 24명(46.15%), 고등학교 교사가 28명(53.85%)으로 나타났다. 교육 경력별로 구분하면 초임(1년 미만)이 2명(3.85%), 1년 이상 5년 미만이 12명(23.08%), 5년 이상 10년 미만이 3명(5.77%), 10년 이상 15년 미만이 5명(9.62%), 15년 이상 20년 미만이 9명(17.31%), 20년 이상이 21명(40.39%)으로 나타났다.

이상의 내용을 종합해 볼 때 위촉된 국어 교사들은 여교사, 고등학교, 교육 경력이 20년 이상인 교사의 비율이 높게 나타났다. 이러한 특성을 종합하여 엄격성 및 일관성 분석에 적용하였다.

이 연구에서 평가 자료는 고등학교 1학년 학생이 작성한 논술 텍스트이다. 논술 텍스트는 ‘3가지 도움 자료를 읽고 세계의 환경 문제 중 하나를 선정하여 제시하고 문제점을 해결하기 위한 방안을 서술하시오,’라는 쓰기 과제와 3가지 자료 텍스트에 의해 작성된 결과물이다. <자료 1>은 세계 위험보고서 2020에 제시된 ‘2020. 위험의 발생가능성 Top과 파급력 Top 10’이라는 보고서이다. <자료 2>는 리서치페이퍼에 제시된 ‘세계 최대 위기는 기상이변’라는 신문기사이다. <자료 3>은 기후변화행동연구소와 UN General Assmbly(2015)에 제시된 ‘2020년 주요 국제 환경 사안과 지속가능발전목표’에 대한 분석 자료이다. 다양한 자료 텍스트로 구성한 것은 2015 개정 국어과 교육과정에서 필자가 논증에 적절한 근거를 제시하도록 다양한 자료 텍스트를 제공하도록 서술하고 있기 때문이다(권영민 외 22인, 2018).

평가 자료는 쓰기 과제와 3가지 자료 텍스트에 따라 148명의 고등학생들이 작성한 논술 텍스트 중에서 작성된 분량을 기준으로 층화임의추출 방법에 의해 500자 이상이 되는 집단에서 30편을 임의 추출하여 구성하였다. 평가 자료는 2020년 2학기 1차 고사 직후 5일간 수업시간에 정기고사의 평가 목적이 아닌 세부능력 특기사항 작성을 위한 일환으로 진행되었으며 학생들에게는 1000자의 원고지 양식을 제공하였다. 이에 따라 원고지 기준 500자 이상 작성한 집단과 500자 미만의 집단으로 층을 나누어 500자 이상의 집단에서 30편을 임의추출하였다. 학생들이 작성한 분량을 기준으로 추출한 이유는 평가자들에게 분량이 평가 과정에서 후광효과로 작용하는 것을 사전에 막기 위한 조치를 하였다.

이 연구는 평가 방법에 따른 평가 특성을 분석한다는 점에서 평가자로 위촉된 국어 교사들에게는 완전 교차 설계 방식을 적용하였다. 또한 평가자로 위촉된 국어교사들에게는 평가 기준표 1부와 평가 자료 30편이 포함된 채점표가 제공되었다. 평가 기준표는 <표 2>와 같다.

이 기준표는 최숙기·박영민(2011)에서 제시된 것으로 Spandel & Culham(1996)의 평가 기준표를 우리나라 학생들의 평가에 적합하도록 수정한 것이다. 평가 요인은 내용, 조직, 표현(어조 및 태도), 단어 선택, 형식 및 어법이 포함되고 평가 척도는 5점, 3점, 1점만 평가 기준을 제시하고 2점과 4점 척도에 대해서는 자유롭게 평가하도록 하는 방식으로 설계되었다.

이 연구에서 현직 국어 교사 52명에게 고등학생들이 작성한 논술 30편, 쓰기 과제 및 자료 텍스트 3편이 포함된 쓰기 과제 제시문, 평가 기준 및 채점표가 제공되었다. 평가자로 위촉된 현직 국어교사들에게 논술의 쓰기 과제 제시문 전체를 제공함으로써 학생들이 어떠한 과제에 따라 논술을 작성하였는지 파악할 수 있도록 하였다. 평가자로 위촉된 현직 국어 교사들에게 논술 쓰기 과제 제시문, 평가 기준표 및 채점표 등을 우편, 학교 및 학교 외의 장소 등을 통해 직·간접적인 방법을 통해 평가 과제를 전달하였다. 이 연구의 목적이 쓰기 평가의 특성을 분석하는 데 있는 만큼 평가자 훈련은 따로 실시하지 않았으나 1년 미만의 평가자들은 평가에 어려움을 겪을 수 있다는 점에서 모든 평가자들에게 평가자 훈련이 가능하다는 점을 안내하고 진행하였다.

평가자 훈련을 실시하지 않은 것은 평가자 훈련이 평가자가 본연에 가진 일관성의 변화에 영향을 미칠 수 있기 때문이다. 현직 국어교사들의 논술 평가 자료는 2021년 12월 7일부터 2022년 3월 13일 동안 수집하였다. 논술 평가 자료는 COVID-19의 상황이 지속되었기에 국어 교사의 상황이나 요청에 따라 직접 또는 간접의 전달 방법을 병행하였다. 현직 국어 교사들이 손으로 하는 종이 채점에 익숙하다는 점에서 종이 채점을 시행하여 평가 결과를 수집하였다. 수집한 논술 평가지에 나타난 표지를 바탕으로 평가자들의 평가 방법을 파악하고 코딩을 한 후 FACETS 프로그램을 활용하여 분석하였다.

이 연구에서는 고등학생의 논술 평가에서 나타난 현직 국어교사들의 엄격성 및 일관성 차이를 분석하기 위해 평가자(교사), 피험자(학생), 성별, 평가 방법, 평가 요인의 5국면을 다국면 Rasch 모형을 통해 분석하였다. 구체적으로 제시하면 [그림 1]과 같다.

그림 1. 논술 평가에 대한 다국면 Rasch 모형

Download Original Figure

[그림 1]에 따르면 이 연구에서 다국면 Rasch 모형을 적용하면 성별이 c이고 경력이 d이고 평가 방법이 o인 평가자 r이 고등학생 s가 쓴 논술 텍스트의 평가 요인 e에 대한 평가 점수가 f-1이 아닌 f를 점수로 부여할 확률과 그 확률을 log로 변환한 값을 확인할 수 있다(Linacre, 1989). 각 국면의 분석 결과를 logit 척도로 변환한 값은 고등학생들의 논술 능력, 평가 요인의 엄격성의 값도 함께 산출할 수 있다. 구체적으로 살펴보면, 피험자 s가 텍스트 t에서 점수 P_sercdof(f-1)을 획득할 확률에 대한 점수 P_sercdof를 획득할 확률의 log로 변환한 값은 피험자 s의 능력(D_e)에서 쓰기과제 e의 난이도(D_e)를 빼고 평가자 r의 엄격성(C_r)와 어떠한 부분 점수(f-1)에서 다음 높은 점수(f)로 올리는 데 걸리는 어려움(G_f)을 뺀 것을 의미한다. 즉, 피험자의 능력, 쓰기과제의 난이도, 평가자의 엄격성 등 다양한 요인들을 국면으로 설정하여 평가자의 능력이나 쓰기과제의 난이도에 미치는 영향도 분석하여 통제할 수 있다.

엄격성은 원자료 데이터 7,800개(텍스트 30명×평가자 52명×평가요인 5개)를 코딩하고 성별, 교육경력, 학교급, 평가 방법에 대한 데이터도 함께 코딩하여 FACETS 프로그램에 투입한다. 측정 단면 분포도에서 첫 번째 칸의 측정 척도(scale of measurement)에 나타난 Measr와 측정치(measurement report)에서 나타난 Measure은 logit 값을 의미한다. 이들 값에서 +값일수록 평가 점수의 엄격성을, -값일수록 평가 점수의 관대성을 의미한다. 이들 logit 값은 원자료 점수 데이터가 낮은 점수로 채점되었는지, 높은 점수로 채점되었는지를 나타낸다. +값에서 가장 큰 수로 나타나는 텍스트와 집단이 가장 엄격하게 채점한 것이며, -값에서 가장 작은 수로 나타나는 텍스트와 집단이 가장 관대하게 채점한 것으로 해석한다. 내적합 지수, 외적합 지수, 내적합 표준화 값과 외적합 표준화 값은 일관성을 판별하는 지표로, 유사한 쓰기 능력을 가진 평가자가 유사한 점수를 받았는지, 채점의 시작부터 끝까지 동일한 평가자에게 일관성 있는 평가 척도를 사용하고 쓰기 능력을 적절하게 변별할 수 있는지를 나타낸다.

현직 국어교사들의 쓰기 평가 특성은 FACETS Version 3.83.6 프로그램을 활용하여 쓰기 평가 결과를 분석함으로써 확인하였다. FACETS 프로그램에 의한 다국면 Rasch 모형은 언어 수행 평가 분석에서 주로 이용되며 적합, 과적합, 부적합과 같은 적합도, 분리신뢰도를 통해 평가자를 분석할 수 있다. 또한, 평가 결과에 대한 종합적인 분석 뿐만 아니라 피험자의 능력, 텍스트, 항목, 평가자 등의 다양한 국면에서 상세한 정보를 제공해 준다(Linacre, 1996, McNamara 1996, 이영식 1998). 이에 따라 다국면 Rasch 모형을 적용한 FACETS 프로그램 논술 평가의 세부적인 관점까지 분석하려는 이 연구에 목적에 부합한다고 판단하였다.

현직 국어 교사들의 쓰기 평가 특성은 엄격성과 일관성의 관계를 중심으로 평가 기준에 대한 모형 적합도를 확인하였다. 분석 모형에 대한 적합도는 일반적으로 통용되는 내적합 지수(Infit MnSq) 및 학자들 간의 의견 차이를 보이지 않는 내적합 표준화 값(Infit ZStd)에서 공통적으로 판별되는 적합도를 적용하였다. 이 연구에서 일관성 및 엄격성의 판별 기준으로 내적합 표준화 값(Infit ZStd)을 복합적으로 설정한 것은 내적합 지수(Infit MnSq)나 외적합 지수(Outfit MnSq)를 통한 적합도 기준이 학자들마다 다르기 때문이다. 예를 들면, 내적합 표준화 값은 +2 logit 이상일 때 부적합, -2 logit 이하일 때 과적합, –2와 +2 사이의 범위에 있을 때는 적합으로 판별한다(장소영·신동일, 2009). 그러나 내적합 지수 및 외적합 지수는 0.6 이상 1.5 이하의 범위로 보기도 하고(Lunz et al., 1990), 0.6 이상 1.4 이하의 범위로 보기도 하며(Wright et al., 1994), 0.7 또는 0.75에서 1.3 이내의 좁은 범위를 주장하기도 한다(지은림 외 역, 2003; Bond & Fox, 2001). 지은림 외 역(2003), Bond & Fox(2001)의 주장에 따르면, 내적합 지수나 외적합 지수는 0.75보다 작을 때 과적합, 1.3보다 클 때 부적합으로 판별한다는 것이다. 정확하게 구분하기 위해 내적합 표준화 값(Infit ZStd)에 따른 판별과 Bond & Fox(2001)의 내적합 지수(Infit MnSq)에 따른 판별에서 적합도 양상이 다르게 나타나는 경우에는 이를 별도로 구분하여 제시하였다.

이 연구에서 평가 방법을 분석하기 위해 평가자의 평가 결과지에 나타난 표지를 바탕으로 사고논술형(thinking essay), 키워드 제시형(keyword), 오류 분석형(error analys), 무표형(nonexistence)으로 구분하였다. 사고 구술은 인간의 심리적 기제를 밝혀 내기 위해 자신의 생각을 보고하는 방법에 기반한 것이다(Kucan & Beck 1997). 이에 근거하여 사고 논술형은 평가지에 쓰기 평가에서 자신의 생각이나 견해, 글이나 평가에 대한 이유를 글로 나타내며 평가한 경우이다. 키워드 제시형은 주제나 화제가 되는 용어에 특정한 표시를 하며 평가한 경우이다. 오류 분석형은 띄어쓰기, 맞춤법, 문단 나누기 등의 학생 글에서 오류를 찾아 표시하며 평가한 경우이다. 무표형은 아무런 표시가 없이 평가가 이루어진 경우이다. 이러한 기준으로 평가지에 나타난 표지를 확인하여 분류하고 구분하였다.

교사들로부터 수집한 자료에서 평가 방법을 결정하는 것은 주관이 반영될 수 있다는 점에 기반하여 국어 교사 1인과 연구자가 협의하여 결정하였다. 평가 방법은 30개의 텍스트 중에서 다수 나타난 표지 유형을 기준으로 하였으며 분류 기준이 모호하거나 중복하여 나타나는 경우에 대해서는 협의를 거쳐 최종 결정하였다. 예를 들어 텍스트에 전체적인 부분에 표지를 나타내지 않고 극히 일부만을 표시한 경우나 표지를 모호하게 나타내어 분류가 모호한 경우 등에 대해서는 4가지 유형 분류를 두고 국어 교사 1인과 협의하고 타당도 및 신뢰도를 검증하였다.

평가자들의 평가지에 나타난 표지를 기준으로 유표형(existence)과 무표형(nonexistence) 집단으로 구분하였다. 유표형은 사고논술형, 키워드 제시형, 오류 분석형으로 세분화하고 무표형으로 구분하였다. 그 결과는 <표 3>과 같다.

<표 3>에 따르면, 평가 방법은 평가지에 나타난 표지를 기준으로 분석한 결과 4개의 집단으로 분류되었다. 사고논술형 집단은 3명, 키워드 제시형 집단은 7명, 오류 분석형 집단은 16명, 무표형 집단은 31명으로 분류되었다. 결과적으로 평가 방법을 기준으로 사고논술형, 키워드 제시형, 오류 분석형, 무표형 4개의 집단으로 구분하였다. <표 3>에 따라 분류한 평가자들을 대상으로 집단별 차이를 확인한 결과, 사고논술형, 키워드 제시형, 오류 분석형, 무표형 집단의 결과가 유의한 차이를 보이는 것으로 확인되었다. 집단 간의 문항(평가 요인)에 따른 유의한 차이가 있는지 검증하기 위하여 일원배치 분산분석을 실시한 결과, 조직, 표현, 단어 선택의 평가 요인에서는 유의한 차이가 있는 것으로 나타났으나 내용, 형식 및 어법의 평가 요인에서는 유의한 차이가 없는 것으로 나타났다.

현직 국어 교사들의 평가 결과가 다국면 Rasch 모형에 적합한지를 확인하기 위해 모형 적합도를 분석하였다. 평가자들의 평가 방법에 따른 차이를 확인하기 위해 국어 교사들을 통해 수집한 평가지에 나타난 표지 형태를 적용하여 살펴보았다. 그 결과는 [그림 2]와 같다.

그림 2. 고등학생 논술 텍스트 평가 자료의 모형 적합도

Download Original Figure

[그림 2]의 모형 적합도는 측정 모형에 기반하여 산출한 확률값인 관찰 점수로, 관찰 점수가 대체로 신뢰 구간에 있다는 것을 확인할 수 있다. 그러나 부분적으로 난도 추정치 3∼4의 범주에서 95% 신뢰 구간 밖에 소수의 관찰 점수들이 존재한다는 것을 확인할 수 있다. 대부분의 관찰 점수가 신뢰 구간 안에 있다는 점에서 다국면 Rasch 모형에 따른 분석에 적합하다고 볼 수 있다.

현직 국어 교사들의 평가 자료를 분석하기 위해 FACETS 프로그램을 활용하였다. 평가자의 주요 국면에 따라 평가자들의 채점 결과에 대한 logit 분포를 도식화해 보면 [그림 3]과 같다.

그림 3. 평가 방법 적용에 따른 측정 단면 분포도

Download Original Figure

[그림 3]은 각 국면에 따른 logit 값에 따른 모수 추정치를 나타낸 것이다. 이는 평가 방법에 따른 각 국면의 분포가 어떻게 이루어졌는지 양상을 파악하는 토대가 된다. 즉 평가자와 관련된 국면에서는 교사의 엄격성 수준을 파악할 수 있다.

[그림 3]의 측정 단면 분포도에 따르면, 현직 국어 교사들의 각 국면에 따른 logit 모수 추정 수치는 다음과 같은 결과를 나타낸다. 첫째, 평가자 국면에서 국어 교사들의 엄격성은 대체로 채점의 일관성을 유지하여 엄격하게 평가한 것으로 나타났다. 상대적으로 25번 국어 교사는 엄격하게 평가를 한 것으로 나타났으며 2번 국어 교사는 관대하게 평가를 한 것으로 나타났다. 둘째, 성별 국면에서 국어 교사들은 남교사와 여교사가 동일한 엄격성을 나타내는 것으로 확인되었다. 셋째, 경력별 국면에서 국어 교사들은 ‘1년 이상 5년 미만’의 경력을 가진 교사가 가장 엄격한 평가를 하였으며 ‘1년 미만’, ‘5년 이상 10년 미만’의 경력을 가진 교사가 가장 관대하게 평가를 한 것으로 나타났다. 넷째, 평가 방법 국면에서 국어 교사들은 ‘오류 분석형’, ‘키워드 제시형’, ‘사고 논술형’을 포함하는 유표형이 무표형에 비해 다소 엄격하게 평가하는 것으로 나타났다. 그러나 측정 단면 분포도 상에서는 유표형과 무표형 엄격성의 차이가 미미한 것으로 나타났다. 다섯째, 평가 요인 국면에서 국어 교사들은 ‘형식 및 어법’에 대한 점수가 가장 엄격한 평가를 하였으며 ‘내용’과 ‘단어 선택’은 가장 관대한 평가를 한 것으로 나타났다. 학생들의 관점에서 보면 논술에서 ‘형식 및 어법’에서 가장 점수를 받기 어려운 요인이며 ‘내용’과 ‘단어 선택’의 요인이 가장 점수를 받기 쉬운 요인라고 할 수 있다. 여섯째, 평가 척도 국면에서 국어 교사들의 평가 척도는 대체로 평가 결과가 2등급, 3등급, 4등급이 되도록 평가한 것으로 나타났다. 국어 교사들은 상대적으로 3등급이 가장 높은 빈도로 나타났으며 2등급, 4등급 순으로 많이 나타났다. 평균 척도가 평균 이하로 예측되어 대체로 엄격하게 평가한 것으로 판단된다.

다음으로, 평가자의 엄격성과 일관성은 평가자에 대한 신뢰도 뿐만 아니라 평가 체계에 대한 신뢰도를 좌우하는 중요한 요인이다. 일관성 있는 평가 자료는 평가자 간 점수 차이를 조정이 가능하지만 일관성이 없는 평가 자료는 조정이 불가능하기에 제외시키는 것이 적절하다고 본다(박종임, 2013). 이에 따라 현직 국어 교사들의 엄격성 및 일관성에 대해 구체적으로 확인하기 위해 평가자의 엄격성 수준과 적합도를 확인하였다. 그 결과는 <표 4>와 같다.

<표 4>는 현직 국어 교사들이 평가 과정에서 나타난 엄격성과 일관성이 적절한 수준에 있는지를 나타내는 지표이다(박영민, 2012). 이 지표는 엄격성이 일관성을 유지하고 있는지를 파악할 수 있는 토대가 된다. <표 4>에 따르면 평가자의 엄격성은 .97 logit(SE=.11)부터 –2.57 logit(SE=.13)까지 분포하는 것으로 나타난다. 이러한 분포는 평가자 사이에 엄격성이 차이가 있다는 것을 의미한다. 전체 엄격성의 차이에 대한 분리 신뢰도 분석 결과에서 카이제곱(Χ²)= 2283.3(p=.000), 분리 지수(Separation)=7.01, 분리 신뢰도(R)=.98로 통계적으로 유의하였다. 또한 쓰기 평가에서 평가자 r25번은 가장 엄격하게 점수를 부여하였으며(.97 logit), 평가자 r36번은 가장 관대하게 점수를 부여하였다(=-2.57 logit).

이들을 내적합 지수와 내적합 표준화 값을 기준으로 적합도를 분석하면 평가자 r11번, r48번, r19번, r20번, r42번, r16번, r43번, r44번, r1번, r34번(총 10명, logit 내림차순)은 내적합 표준화 값이 +2 이상, 내적합 지수 1.3보다 큰 부적합(misft)으로 볼 수 있다. 한편 r14번(총 1명)은 내적합 표준화 값으로는 부적합에 속하나 내적합 지수 기준으로는 적합으로 분류되었다. 평가자 r14번을 포함하여 총 11명의 평가자들은 쓰기 평가를 할 때 쓰기 능력이 높은 평가 대상자들에게 낮은 점수를 부여하거나 쓰기 능력이 낮은 평가 대상자들에게 높은 점수를 부여하였다는 것이다.

이와는 반대로, 평가자 r5번, r24번, r8번. r37번, r45번, r6번, r3번, r10번, r33번, r29번(총 10명, logit 내림차순)는 내적합 표준화 값이 –2 이하, 내적합 지수 0.75보다 작은 과적합(overfit)으로 볼 수 있다. 한편 r50번, r49번, r31번, r35번, r7번, r41번, r40번, r17번, r4번(총 9명, logit 내림차순)은 내적합 표준화 값으로는 과적합에 속하나 내적합 지수 기준으로는 적합으로 분류되었다. 평가자 9명을 포함하여 총 19명의 평가자들은 쓰기 평가를 할 때 쓰기 능력에 대한 정확한 변별을 보이지 않고 획일적이고 편향적인 양상의 점수를 부여하였다는 것이다. 점수 척도가 5점이라고 했을 때 잘 쓴 것으로 판단되는 논술 텍스트는 모두 최고점, 못 쓴 것으로 판단되는 텍스트는 모두 최저점을 부여하였다는 것이다. 중간 단위의 점수는 부여하지 않고 양 극단의 점수로 평가하는 양상을 보였다는 것을 의미한다. 그 외 평가자들의 내적합 표준화 값은 –2 이상, +2 이하, 내적합 지수의 값은 0.75 이상 1.3 이상의 범위 내에 속하여 대체로 엄격성에서 일관성을 유지했다고 볼 수 있다. 따라서 평가자 전체 52명 중 22명(42.31%)의 평가자는 쓰기 평가 점수를 부여할 때 엄격하게 일관성 있게 안정된 평가 양상을 보였다고 할 수 있다. 이러한 결과는 박영민(2012)에서 예비교사를 대상으로 일관성을 분석한 결과에서 확인된 비율과 유사하다.

성별에 따른 쓰기 평가 엄격성 및 일관성에 차이가 있는지 분석하였다. 이는 평가자의 성별 차이가 쓰기 평가의 특성 차이로 연계될 수 있고 쓰기 평가의 결과에 영향을 미칠 수 있기 때문이다.

성별에 따른 엄격성 수준과 적합도를 파악하였다. 그 결과는 <표 5>와 같다.

성별에 따른 일관성은 내적합 지수를 기준으로 볼 때 여교사들은 1.06, 남교사들은 .87으로 나타나 적합한 수준의 범위에 속하는 것으로 확인되었다. 내적합 표준화 값을 기준으로 볼 때 여교사들은 부적합 양상을, 여교사들은 과적합 양상을 보이는 것으로 확인되었다. <표 5>에 따르면 평가자들은 쓰기 평가에서 성별에 따라 엄격성이 다르다는 것을 의미한다. 성별에 따른 엄격성은 -.03 logit(SE=.02)부터 .03 logit(SE=.02)까지의 범위에서 나타났다. 여교사는 평가 대상자의 논술 텍스트를 보다 엄격하게 평가하였으며 상대적으로 남교사는 관대하게 평가한 것으로 나타났다. 평가자의 성별에 따른 모형 적합도 분석에서 외적합 지수가 .93∼1.15에 분포하는 것을 확인할 수 있다. 이는 평가자의 성별에 따른 엄격성에는 차이가 있어도 엄격성이 일관성을 유지하고 있다는 것을 의미한다.

성별에 따른 엄격성의 차이에 대한 분리 신뢰도 분석 결과에서 카이제곱(Χ²)= 4.9(p=.03), 분리 지수(Separation)= 1.99, 분리 신뢰도(R)=.80으로 통계적으로 유의하였다. 성별에 따른 엄격성은 타당도와 신뢰도가 높은 수준으로 판단할 수 있다.

경력에 따른 엄격성 수준과 적합도를 파악하였다. 그 결과는 <표 6>과 같다.

경력에 따른 일관성은 적합한 수준에 있는 것으로 나타났다. 내적합 지수를 기준으로 볼 때 최소 수치를 보이는 1년 이상 5년 미만의 경력을 가진 교사들이 .89, 최대 수치를 보이는 10년 이상 15년 미만의 경력을 가진 교사들이 1.25로 나타나 적합한 수준의 범위에 있는 것으로 확인되었다. 내적합 표준화 값을 기준으로 볼 때 1년 이상 5년 미만의 경력을 가진 교사들과 20년 이상의 경력을 가진 교사들은 과적합의 양상을, 10년 이상 15년 미만의 경력을 가진 교사들과 1년 미만의 경력을 가진 교사들은 부적합의 양상을 보이는 것으로 확인되었다. 15년 이상 20년 미만의 경력을 가진 교사들과 5년 이상 10년 미만의 경력을 가진 교사들에게서만 적합한 양상이 확인되었다. <표 6>에 따르면 평가자들은 쓰기 평가에서 경력에 따라 엄격성이 다르다는 것을 의미한다. 경력에 따른 엄격성은 -.40 logit(SE=.05)부터 .35 logit(SE=.03)까지의 범위에서 나타났다. 평가자의 경력에 따른 모형 적합도 분석에서 외적합 지수가 .88∼1.32에 분포하는 것을 확인할 수 있다. 이는 평가자의 경력에 따라 엄격성이 일관성을 유지하고 있다는 것을 의미한다.

경력에 따른 엄격성의 차이에 대한 분리 신뢰도 분석 결과에서 카이제곱(Χ²)= 225.1(p=.00), 분리 지수(Separation)= 6.77, 분리 신뢰도(R)=.98로 통계적으로 유의하였다. 따라서 경력에 따른 엄격성은 타당도와 신뢰도가 높은 수준으로 판단할 수 있다.

구체적으로 경력에 따른 평가자의 엄격성 차이를 파악해 보면 1년 이상∼5년 미만의 경력을 갖는 평가자가 가장 엄격성이 높게 나타났고 15년 이상∼20년 미만, 10년 이상∼15년 미만, 20년 이상, 1년 미만, 5년 이상∼10년 미만 순으로 엄격성이 높았다. 한편 5년 이상∼10년 미만의 경력을 가진 평가자들은 가장 관대하게 평가를 한 것으로 나타났다. 이상의 내용을 종합해 보면 대체로 경력이 낮은 집단과 경력이 많은 집단의 엄격성이 혼재되어 나타나는 것을 확인할 수 있다.

평가 방법을 적용한 주요 국면에 따른 엄격성 수준과 적합도를 파악하였다. 그 결과는 <표 7>과 같다.

평가 방법에 따른 일관성은 내적합 지수를 기준으로 볼 때 최소 수치를 보이는 키워드 제시형의 평가 방법을 사용한 교사들이 .95, 최대 수치를 보이는 사고논술형 평가 방법을 사용한 교사들이 1.13으로 나타나 적합한 수준의 범위에 있는 것으로 확인되었다. 내적합 표준화 값을 기준으로 볼 때 키워드 제시형, 무표형의 평가 방법을 사용한 교사들은 과적합의 양상을, 사고논술형의 평가 방법을 사용한 교사들은 부적합의 양상을 보이는 것으로 확인되었다. 오류 분석형의 평가 방법을 사용한 교사들에게서만 적합한 양상이 확인되었다. <표 7>에 따르면 평가자들은 평가 방법에 따라 엄격성이 다르다는 것을 의미한다. 평가 방법에 따른 엄격성은 -.05 logit(SE=.02)부터 .02 logit(SE=.06)까지의 범위에서 나타났다. 평가 방법에 따른 모형 적합도 분석에서 외적합 지수가 0.96∼1.12에 분포하는 것을 확인할 수 있다. 이는 평가자의 평가 방법에 따른 엄격성이 일관성을 유지하고 있다는 것을 의미한다.

평가 방법에 따른 엄격성의 차이에 대한 분리 신뢰도 분석 결과에서 카이제곱(Χ²)=6.1(p=.10), 분리 지수(Separation)=1.90, 분리 신뢰도(R)=.81로 통계적으로 유의한 차이가 없는 것으로 나타났다. 따라서 평가 방법에 따른 엄격성은 타당도와 신뢰도가 높은 수준으로 판단할 수 있다.

이상의 내용을 종합해 보면, 유표형이 무표형에 비해 엄격성이 높게 나타나며 유표형 간에는 동일한 엄격성이 나타났다. 이는 유표형일수록 엄격하게 평가하고 무표형일수록 관대하게 평가한다는 것을 의미한다.

평가 요인에 따른 엄격성 수준과 적합도를 파악하였다. 그 결과는 <표 8>과 같다.

평가 요인에 따른 일관성은 내적합 지수를 기준으로 볼 때 최소 수치를 보이는 단어 선택의 평가 요인이 .84, 최대 수치를 보이는 조직의 평가 요인이 1.14로 나타나 적합한 수준의 범위에 있는 것으로 확인되었다. 내적합 표준화 값을 기준으로 볼 때 단어 선택 요인은 과적합의 양상을, 조직 요인은 부적합의 양상을 보이는 것으로 확인되었다. 형식 및 어법, 표현, 내용 요인은 적합한 양상이 확인되었다. <표 8>에 따르면 평가자들은 쓰기 평가에서 평가 요인에 따른 난도는 -.30 logit(SE=.03)부터 .33 logit(SE=.03)까지의 범위에서 나타났다. 평가 요인에 따른 모형 적합도 분석에서 외적합 지수가 0.86∼1.13에 분포하는 것을 확인할 수 있다. 이는 평가 요인에 따른 엄격성이 일관성을 유지하고 있다는 것과 평가 요인의 난도 차이는 있지만 모든 평가 요인이 모형에 적합하다는 것을 의미한다.

평가 요인에 따른 엄격성의 차이에 대한 분리 신뢰도 분석 결과에서 카이제곱(Χ²)= 318.5(p=.00), 분리 지수(Separation)= 8.87, 분리 신뢰도(R)=.99로 통계적으로 유의하였다. 따라서 평가 요인에 따른 엄격성은 타당도와 신뢰도가 높은 수준으로 판단할 수 있다.

이상의 내용을 종합해 보면, 형식 및 어법에 대한 엄격성이 가장 높고 조직, 표현, 내용, 단어 선택 순으로 나타났다. 대체로 형식 및 어법의 평가 요인에 대해서는 엄격하게 평가하고 단어 선택에 대해서는 관대하게 평가한다는 것을 의미한다.