초등학교 6학년 디지털 소양 진단 도구의 성취수준 설정 연구¹⁾

KICE 디지털 소양 진단 평가는 우리나라 학생들의 디지털 소양 수준을 정확히 진단하고, 진단 결과를 활용하여 교사들이 학생의 수준에 맞는 디지털 소양 교육 내용 설정 및 교수·학습 자료를 제공할 수 있도록 지원하는 기능을 갖추어야 한다. 따라서 디지털 소양 진단 평가는 우리나라 학생들의 디지털 소양 수준이 교육목표에 도달했는지 여부를 교육과정의 교육목표 및 내용에 근거하여 판단할 수 있도록 준거참조평가(criterion-referenced assessment)로 사용하는 것이 적절하다. 준거참조평가에서는 학생이 ‘무엇을’ ‘얼마나’ 성취했는가에 초점을 맞추어 ‘무엇을’에 해당하는 교육목표와 ‘얼마나’에 해당하는 성취수준(achievement level, performance level)이 중요한 잣대가 된다(김희경, 조성민, 2013, p. 481).

IEA에서 주관하는 ICILS 2018의 경우에도 컴퓨터·정보 소양(Computer and Information Literacy; CIL)과 컴퓨팅 사고력(Computational Thinking; CT)에 대한 성취수준을 마련하여 학생들의 능력 수준을 판별하고 있다. 컴퓨터·정보 소양은 5단계의 성취수준(1수준 미만, 1수준, 2수준, 3수준, 4수준)으로 설정하고, 컴퓨팅 사고력은 3단계의 성취수준(하, 중, 상)으로 구분하고 있다(IEA, 2020, pp. 4-6). 또한 KERIS에서 주관하는 국가수준 초·중학생 디지털 리터러시 평가에서는 ‘우수’, ‘보통’, ‘기초’, ‘미흡’의 4단계의 성취수준으로 학생들의 디지털 소양을 판단하고 있다(이현숙 외, 2022, p. 31).

이상의 검사들과 같이 KICE 디지털 소양 진단 평가의 결과를 해석하고 활용하기 위해서는 우리나라 초등학교 6학년 학생들의 디지털 소양 수준을 타당하고 신뢰성 있게 판단할 수 있는 성취수준 설정(standard-setting)이 필요하다. KICE 디지털 소양 진단 평가의 결과를 활용할 때, 총점을 비교하는 방식이 아니라, 교육과정 상에 제시된 교육목표에 대한 학생의 도달 정도에 따라 학생의 성취수준을 판단할 필요가 있기 때문이다.

성취수준을 설정하는 것은 학생이 도달한 정도를 몇 개의 범주(성취수준)로 나타내고 이를 구분하는 분할점수(cut-off scores)를 결정하는 것을 의미한다. 학생이 도달한 정도는 ‘도달’과 ‘미도달’의 2개 범주로 구분하거나, 또는 2개 이상의 범주로 구분할 수 있다. [그림 1]과 같이 학생들의 성취수준을 4단계로 구분하는 경우에는 3개의 분할점수가 필요하다.

그림 1. 4단계 성취수준 분할점수

Download Original Figure

대표적인 성취수준 설정 방법은 Angoff(1971)에서 제안된 성취수준 설정 방법으로 참여한 전문가 패널(교사, 내용 전문가 등)이 개별 문항을 검토·분석한 후, 해당 성취수준에 포함된 사람들 중 하위 경계선에 겨우 걸쳐 있는 최소능력자의 문항정답률을 추정하는 절차를 통해 해당 성취수준과 그 아래의 성취수준을 구분하는 분할점수를 결정하는 방법이다. 이후 Cizek & Bunch(2007)가 제안한 ‘변형된 Angoff 방법(modified Angoff method)’에서는 1회의 문항정답률 추정 절차로 성취수준을 설정하는 것이 아니라, 반복된 라운드를 통해 전문가들의 문항정답률 추정에 대한 질을 제고한다. 두 번째 라운드부터는 다른 전문가들의 결정이 어떠했는지에 대한 요약적인 정보를 제공받고 전문가 간의 문항정답률 편차가 큰 문항을 중점으로 토의를 진행한다. 이러한 절차를 따르는 변형된 Angoff방법은 국내외의 대규모 학업성취도 평가, 자격증 시험과 같은 고부담 시험, 공인된 평가 등에서 안정적인 성취수준 설정 방법으로 활용되고 있다. 김창환(2011, p. 149)에서도 변형된 Angoff 방법은 전문가 집단이 문항 내용에 대한 검토 및 분석 절차를 거쳐 성취수준을 설정하는 방법 중에서 가장 자주 쓰이고, 안정적인 방법으로 알려져 있다고 하였다. 국가수준 학업성취도 평가에서도 2002년 변형된 Angoff 방법을 적용하여 성취수준을 설정하였고 이후 2010년, 2015년, 2019년 시점에 재차 변형된 Angoff 방법을 적용하여 성취수준을 재설정한 바 있다(김희경 외, 2019, pp. 68-72).

요약하자면 변형된 Angoff 방법은 기존의 Angoff 방법과 동일하게 각 성취수준의 최소능력자에게 기대하는 문항정답률에 근거하여 분할점수를 산출하는 방법으로, 전문가 패널들은 해당 성취수준 집단에서 분할점수를 가까스로 넘기는 정도의 최소능력 수준에 대한 논의를 거치게 된다(Cizek & Bunch, 2007, pp. 42-56). 다만, 변형된 Angoff 방법에서는 1회의 문항정답률 추정으로 성취수준을 설정하는 기존 Angoff 방법과 달리 [그림 2]와 같이 문항 평정과 성취수준 분할점수를 여러 차례 반복하는 성취수준 설정 절차를 거치게 된다.

그림 2. 변형된 Angoff 방법을 적용한 성취수준 설정 절차 ⁕ 출처: 김희경 외(2019, p. 76)에서 발췌함.

Download Original Figure

일반적으로 학습자가 무엇을 얼마나 이해하고 있는지를 중시하는 준거참조평가에서는 평가 결과를 해석할 때, 총점이나 석차로 학생의 수행을 상대적으로 비교하는 방식이 아니라, 학생의 교육목표 도달 정도에 따라 학생의 수행 수준을 판단하므로, 성취수준 설정 절차가 필요하다. Livingston & Zieky(1982)에 의하면 성취수준 설정 절차는 ‘정답’을 맞추는 것이 아니라, 전문가들이 합의 과정을 거쳐 어느 정도의 수준이 기준에 도달했다고 판단하기에 적합한지를 ‘의사결정’하여 분할점수를 만들어내는 절차라고 규정하였다. 따라서 준거참조평가에서 평가 결과를 해석하고 활용하는 데 있어서 성취수준 설정은 반드시 필요한 절차이지만, 전문가들의 합의를 이끌어내는 과정이 어렵고 까다로워 구체적인 절차에 대한 사례 연구가 다수 필요함에도 불구하고, 구체적인 절차가 공개되어 있는 선행연구는 많지 않다.

김희경·조성민(2013)은 초등학교 3학년 ‘기초수학’의 기초학력 진단평가에서 기초학력 도달 여부를 결정하는 성취수준 설정 연구를 수행하였다. 이 연구에서는 성취수준 설정을 위해 총 29문항으로 구성된 초등학교 3학년 ‘기초수학’ 기초학력 진단평가를 시행하여 1,483명의 학생 응답 자료를 수집하고, 6명의 초등학교 교사가 워크숍을 통해 Ebel 방법을 적용하여 기초학력 도달 여부를 결정하는 분할점수를 설정하였다. Ebel 방법에서는 문항을 범주화하여 최소능력자의 문항 정답률을 추정하는데, 문항의 난이도와 내용영역에 따라 문항을 15개의 범주로 묶고, 유사한 문항군에 대해 정답률을 추정하는 과정을 총 3라운드 진행한 후에 최종적인 분할점수를 산출하였다.

김현경·정진수(2018)는 2015년 중학교 3학년 국가수준 학업성취도 평가에서 과학과의 4단계 성취수준(우수/보통/기초/기초미달)을 결정하는 성취수준 설정 연구를 수행하였다. 이 연구에서는 성취수준 설정을 위해 총 40문항으로 구성된 중학교 3학년 학업성취도 평가 검사지를 28명의 전문가 패널이 워크숍을 통해 변형된 Angoff 방법으로 성취수준 설정을 진행하였다. 이 연구의 특징은 성취수준 설정 절차에서 전문가 패널이 개별 문항을 검토하며 정답률을 추정하는 1∼3라운드를 진행하기 전에 이전 학업성취도 평가의 문항들을 선별하여, 이에 대한 성취수준별 최소능력자의 정답률을 추정하는 연습을 실시함으로써 전문가들이 문항을 평정하는 데 있어서 익숙해지는 시간을 갖도록 했다는 점이다.

본 연구에서는 우리나라 교육과정을 토대로 디지털 소양 진단 평가를 개발하는 취지를 고려하여 2022 개정 교육과정에서 의도하는 디지털 소양 구성, 즉 4개 영역 및 10개 세부 요소(김자미 외, 2022)을 근거로 아래 <표 1>과 같은 디지털 소양 평가틀을 설정하였다.

디지털 소양 평가틀 하에서 KICE 디지털 소양 진단 평가는 2개의 검사 유형(가형, 나형)으로 개발되었고, 각 검사 유형은 공통문항을 50% 이상 공유하도록 하였다. 문항 형식은 주제 단위로 문항이 세트로 구성되는 모듈형 문항 형식으로 개발하였고, 총 3종의 소검사 모듈(공통 모듈, 가형 모듈, 나형 모듈)을 개발하여 [그림 3]과 같이 가형과 나형에 배치하였다. 그리고 각 모듈 내에는 선다형 외에도 서답형 및 수행형 문항이 포함되어 있다.

그림 3. KICE 디지털 소양 진단 평가(KICE DiLAP)의 검사도구 설계

Download Original Figure

KICE 디지털 소양 진단 평가는 실제 디지털 환경에서 학생들이 디지털 기기를 활용하고, 정보를 검색·저장하거나 디지털 콘텐츠를 생성하는 능력을 타당하게 평가할 수 있도록 오프라인의 지필식 평가가 아닌 온라인 평가²⁾ 문항으로 제작되었으며, 예비시행도 온라인 평가로 진행하였다. 예비시행은 1차, 2차로 구분하여 2023년 6∼7월에 걸쳐 시행하였다. 예비시행 대상 학생들은 2가지 검사 유형(가형, 나형) 중 1가지를 배분받았으며, 학교 컴퓨터실에서 검사를 시행하였다.

<표 2>에 제시된 바와 같이 1차 예비시행은 소수의 학생(약 50명)을 대상으로 진단 도구의 문항 양호도 및 최종 문항 확정을 위한 수정·보완을 목적으로 하였다. 2차 예비시행은 최종 문항 확정이 종료된 후, 학생의 문항 응답 자료를 수집하여 우리나라 초등학교 6학년 학생의 디지털 소양 성취수준 설정을 위한 기초자료로 활용하려는 목적으로 시행되었다. 따라서 2차 예비시행에서는 자료 분석에 충분한 학생 수를 얻고자 962명을 대상으로 검사를 시행하였다.

디지털 소양 진단 평가의 예비시행이 온라인 평가로 진행되었으므로 학생들의 답안은 웹 서버에 바로 저장되는 시스템이다. 이러한 학생들의 답안은 온라인 채점 시스템을 통해 채점자에게 분배되었다. 채점자들이 연습채점을 통해 채점기준이 어느 정도 숙지된 상태에서 본채점을 실시하였으며, 본채점에서는 채점의 안정성 및 신뢰성을 최대한 확보하고자 교차채점 방식으로 진행하였다. 교차채점은 동일한 답안에 대해 채점자 2명이 독립적으로 채점을 한 후, 채점자 간 부여한 점수에 차이가 있을 경우에 재채점을 실시하는 방식이다. 채점 과정을 거친 후, 결시자 등을 제외하는 데이터클리닝 작업 후 857명 사례 수에 대한 자료를 확보하였다.

성취수준 설정에 참여하는 전문가 패널은 정보교과 석사 이상의 교사 또는 초등학교에 현재 재직 중이면서 초등학교 6학년 학생을 교육한 경험이 풍부하여 학생들의 디지털 소양 수준을 가늠하기에 능력이 충분하다고 판단되는 교원으로 구성하는 것을 원칙으로 하였다. 성취수준 설정을 위한 전문가 패널 인원은 최소 20명으로 구성하는 것이 적절하나 예산을 고려하여 10명으로 섭외하였다.

성취수준 설정 워크숍의 1일차에는 디지털 소양 진단 도구의 4단계 성취수준(우수/보통/기초/노력 요망)의 개념에 대해 토의하는 것으로 시작하였다. 그리고 성취수준별 특성에 대한 이해를 돕기 위해 ICILS 2018 공개 문항을 활용하여 성취수준별 학생들의 정답률을 추정하는 연습을 실시하였다. 디지털 소양 진단 도구와 유사한 성격을 지닌 ICILS 문항을 통한 정답률 추정 연습을 통해 이후 실시할 디지털 소양 진단 도구의 문항 정답률 예측의 정확성을 높이고자 하였다. 동시에 ICILS 2018 공개 문항의 각 성취수준 집단별 정답률을 참조하여 유사한 검사에서의 성취수준 특성에 대한 내면화를 기대하였다. 또한 디지털 소양 진단 도구를 패널들이 직접 온라인으로 학생과 동일한 환경 하에서 학생의 입장이 되어 문항을 풀어보면서 가형과 나형을 구성하는 모든 문항의 내용, 채점 기준, 난이도에 대해 면밀히 검토할 수 있도록 하였다.

2일차에는 1일차에 어느 정도 형성된 성취수준의 개념을 토대로 각 성취수준에서 경계선에 위치한 최소능력자의 수행 특성을 논의하였다. 논의 과정을 통해 패널들은 성취수준별 최소능력자에 대한 개념을 공유하였다. 성취수준별 최소능력자에 대한 개념을 공유한 이후에는 변형된 Angoff 방법을 활용하여 수준설정을 시작하여 1∼2라운드를 진행하였다. 그리고 본 연구에서는 수준설정 과정에서 변형된 Angoff 방법을 좀 더 변형한 새로운 방법을 추가적으로 진행하였다. 변형된 Angoff 방법에서는 다분문항의 경우, 각 부분점수마다 성취수준별 최소능력자의 정답률을 추정해야 한다는 점에서 패널들에게 인지적 부담이 크고 평정 결과 입력에도 번거로움이 있다. 이에 본 연구에서는 이분문항에 대해서는 변형된 Angoff 방법과 동일하게 진행하지만, 다분문항에서는 성취수준별 최소능력자가 얻을 것이라 기대되는 부분점수를 소수점 첫째자리까지 추정하도록 하는 방법을 제안하였다. 그리고 이 방법을 ‘다분문항 기대점수 추정 방법’이라 명명하였다.

1라운드에서는 5명씩 2개 조를 형성하여 디지털 소양 진단 도구 가형과 나형에 포함된 문항 전체에 대해 우수/보통/기초의 성취수준별로 경계선에 위치한 최소능력자의 문항정답률을 추정하였다. <표 3>에는 1라운드에서 10명의 패널이 문항별로 4수준(우수) 최소능력자의 문항 정답률을 추정한 결과의 일부를 제시하였다. 0/1점으로 채점하는 이분점수 문항의 경우에는 문항을 맞힐 확률을 추정하고, 단계적인 부분점수를 부여하는 다분점수 문항은 각 부분점수를 받을 확률을 판정하도록 하였다. 예를 들어 2점 배점의 문항인 2번 문항의 경우에 우수학력의 최소능력자 중에서 2, 1, 0점을 받을 확률을 판정하고, 각 점수를 받을 확률의 총합은 100%가 되어야 한다. 또한 각 점수를 받을 확률은 0, 5, 10, …, 90, 95, 100%와 같이 5% 단위로 부여하도록 하였다.

<표 3>의 우측에 10명의 패널이 추정한 확률의 중앙값과 평균값이 제시되어 있고, 이를 각각의 배점 또는 부분점수로 가중하고 검사유형별로 합산하면 두 검사유형(가형, 나형)에 대한 수준별 분할점수가 산출된다. 1라운드에서 각 패널이 최초로 문항에 대해 평정한 예상 정답률은 이후에 진행되는 라운드에 비해 차이가 크게 나기 마련이다. 1라운드 결과 <표 3>에서 나타나듯이 각 패널이 부여한 예상 정답률에는 편차가 있는데, 특히 패널 간 예상 정답률의 차이가 큰 문항(50%p 이상)을 중심으로 패널들 간에 토의를 진행한 후 1라운드와 동일한 방식으로 2라운드 평정을 진행하였다.

3일차에는 3라운드를 실시하며 1∼2라운드를 통해 어느 정도 성취수준별 최소능력자의 특성에 대해 합의 및 내면화가 이루어진 문항들을 제외하고 패널 간 예상 정답률 차이가 20%p 이상인 문항에 대한 최종 논의 과정을 진행하였다.

예비시행 대상 962명 중 결시자를 제외한 857명 사례 수에 대하여 분석을 실시하였다. 예비시행 결과 분석에서는 진단 도구를 구성하는 문항의 특성 분석과 총점 및 영역별 점수에 대한 분석을 수행하였다. 예비 시행 결과 진단 도구 가형과 나형의 총점 및 평균은 <표 4>에 제시하였는데, 가형이 나형에 비해 약간 어려운 것으로 나타났으나, t검정 결과, 통계적으로 유의한 차이는 없는 것으로 나타났다.

KICE 디지털 소양 진단 평가의 가형과 나형에 배치되었던 문항의 특성을 분석하기 위해 우선 디지털 소양의 4개 영역을 구성하는 문항의 정답률과 부분점수별 비율을 <표 5>에 제시하였다. 배점이 2점 이상이고 부분점수가 있는 다분 문항의 경우, 정답률은 (평균점수)/(배점) 값을 제시하였다. 한편, 문항 1번과 가9번, 나9번은 학생이 온라인 상에서 수행형 문항 풀기에 쉽게 적응할 수 있도록 간단한 지시 사항을 따라 해보는 방식으로 평가 시작과 중간에 배치되었던 연습문제이다. 따라서 <표 5>에 제시된 문항 특성 분석에서 이러한 연습문제들은 제외하였다.

[그림 4]에는 디지털 소양 진단 평가의 가형과 나형을 구성하는 문항의 영역별 평균 정답률을 제시하였다. 4개 영역의 평균 정답률은 0.50 이상이었고, 그 가운데 가장 평균 정답률이 높은 영역은 ‘3. 디지털 의사소통과 문제해결’로 0.72의 평균 정답률을 보였다. ‘1. 디지털 기기와 소프트웨어 활용’ 영역의 정답률이 비교적 낮은 이유는 전체 문항 중 정답률이 가장 낮은 가16(정답률 = 0.28) 문항과 나17(정답률 = 0.24) 문항을 포함하고 있기 때문으로 해석된다.

그림 4. 영역별 평균 정답률

Download Original Figure

KICE 디지털 소양 진단 평가의 신뢰도와 검사 소요시간을 <표 6>에 제시하였다. 문항 간의 일관성을 평가하는 신뢰도 계수인 Cronbach’s α를 산출한 결과, 가형은 0.8, 나형은 0.7이었다. 학생들의 검사 소요 시간 평균은 가형은 약 29분, 나형은 약 26분인 것으로 조사되었다. 학생들은 40분 동안 디지털 소양 진단 도구를 시행하였으나, 약 5분 정도는 연습문제를 통해 온라인 평가 문항에 적응하는 시간을 가졌으므로 이를 제외하면 디지털 소양 진단 도구를 푸는 데 걸린 실제 평균 소요시간은 21∼24분인 것으로 파악된다.

성취수준 설정에 참여한 10명의 전문가 패널은 5명씩 2개조를 편성하여 조별 협의를 진행하였다. 먼저 1라운드에서는 조별 협의 후에 각자 독립적으로 개별 문항을 검토하며 성취수준별 최소능력자의 정답률을 추정하는 절차를 거쳤다. 1라운드 이후부터는 각자 정답률을 추정한 결과에 대한 자료(평균, 중앙값, 최댓값, 최솟값 등)를 제공하고, 조별로 논의를 진행하는 것을 반복하였다.

<표 7>에 1라운드에서 변형된 Angoff 방법과 새롭게 제안한 다분문항 기대점수 추정 방법을 통해 산출된 분할점수 평균을 제시하였다. 1라운드에서는 가형의 분할점수들이 나형의 분할점수들보다 다소 높게 추정되는 경항이 나타났다. 변형된 Angoff 방법과 다분문항 기대점수 추정 방법 간에는 큰 차이는 없었으며, 특히 전체 성취수준별 비율에서 4수준(우수)의 비율은 두 방법 간에 차이가 없었다. 구체적으로는 다분문항 기대점수 추정 방법으로 추정된 분할점수가 대체로 변형된 Angoff 방법에 비해 좀 더 낮은 결과를 보였다. 성취수준별 비율에 있어서는 4수준(우수)의 비율은 두 방법 간에 차이가 없었다. 다만, 2수준과 3수준의 경우 학생의 원점수 분포가 밀집되어 있는 점수 구간이라 분할점수의 미세한 위치에 따라 비율에 차이가 나타날 수밖에 없는데, 실제 두 가지 방식(변형된 Angoff 방법/다분문항 기대점수 추정 방법) 간의 분할점수 차이는 1점 이하로 큰 차이가 없었다.

[그림 5]에 1라운드에서 개별 패널이 예측한 정답률에 기반하여 산출된 분할점수의 분포를 가형을 예시로 제시하였다. 1라운드에서는 2수준(기초) 분할점수와 3수준(보통) 분할점수가 18점 부근에서 겹치고 있고, 3수준(보통) 분할점수와 4수준(우수) 분할점수가 21점과 22점 부근에서 겹치고 있음을 확인할 수 있다.

그림 5. 1라운드 분할점수 오버랩(가형)

Download Original Figure

이어서 <표 8>에 2라운드 결과를 제시하였다. 1라운드 이후에 패널 간에 정답률 예측이 50%p 이상 차이를 보이는 문항을 중심으로 성취수준별 최소능력자의 특성에 대해 논의를 거듭한 후에 2라운드를 진행하였다. 2라운드에서는 문항 외에는 아무런 정보가 제공되지 않았던 1라운드와는 달리 실제 예비시행 학생 데이터를 분석한 결과가 추가로 제공되었다. 추가 정보의 영향으로 2라운드부터는 가형의 분할점수가 나형의 분할점수보다 다소 낮게 나타나기 시작하였다. <표 4>에서 예비시행을 통해 조사된 실제 학생들의 평균 점수는 가형이 나형에 비해 더 낮았기 때문에 가형이 나형에 비해 난이도가 어려웠다고 볼 수 있고, 이를 감안한다면 동일한 수준에 대해 가형의 분할점수가 나형의 분할점수에 비해 다소 낮은 것이 합리적이다. 1라운드에서는 실제 학생들의 예비시행 결과에 대한 정보를 제공하지 않았기 때문에 가형의 분할점수가 더 높았던 것으로 추측되며, 1라운드 이후에 전문가들이 이러한 추가 정보를 접하고 협의를 거치면서 가형의 분할점수가 나형의 분할점수보다 다소 낮게 나타난 것으로 보인다. 또한 가형의 분할점수가 낮아짐으로써 1라운드에 비하여 4수준(우수)의 전체 비율이 17.15%에서 24.39%로 증가하였다. 반면에 1수준(노력 요망) 비율은 14.59%에서 11.44%로 감소하였다.

[그림 6]에 2라운드에서 개별 패널이 예측한 정답률에 기반하여 산출된 분할점수의 분포를 가형을 예시로 제시하였다. 2라운드에서는 성취수준별 최소능력자의 문항정답률에 대한 패널들의 의견이 1라운드에 비해 수렴되어 2수준(기초) 분할점수와 3수준(보통) 분할점수가 겹치는 현상은 해소되었으나, 아직 3수준(보통) 분할점수와 4수준(우수) 분할점수가 20점 부근에서 겹치고 있다.

그림 6. 2라운드 분할점수 오버랩(가형)

Download Original Figure

이어서 <표 9>에 3라운드 결과를 제시하였다. 2라운드 이후에 패널 간 정답률 예측이 20%p 이상 이견을 보이는 문항들에 대해 재차 논의하며, 각 패널들은 자신의 성취수준별 최소능력자의 특성에 대해 숙고하고 조정하는 시간을 거쳤다. 결과적으로 1라운드 이후 2라운드에서 증가했던 4수준(우수) 비율이 3라운드에서는 1∼2라운드의 중간 정도인 20.42%로 정착하였고, 1수준(노력 요망)비율은 2라운드와 동일한 비율로 더 이상 변화를 보이지 않았다.

1∼3라운드를 진행하는 동안 패널들은 각 문항에 대한 성취수준별 정답률에 대해 어느 정도 합의를 형성하였는데, 이러한 합의 과정은 [그림 7]에 나타난 바와 같이 최종적으로 패널들의 분할점수 분포가 수준별로 명료하게 분리된 것으로 확인할 수 있다.

그림 7. 3라운드 분할점수 오버랩(가형)

Download Original Figure

본 연구에서는 디지털 소양 진단 평가를 개발하고, 학생들의 디지털 소양 수준을 해석하기 위한 4단계 성취수준을 설정하였다. 성취수준 설정 절차를 거치기 전에 성취수준별 진술문 초안을 작성하고, 성취수준 설정 워크숍에 참여한 전문가 패널들의 최종적인 합의 사항을 참고하여 <표 10>과 같은 성취수준별 진술문 최종안으로 가다듬었다.

즉, <표 10>에 제시된 성취수준 정의를 토대로 본 연구에서는 4단계 성취수준별 분할점수를 설정하였다고 볼 수 있다. [그림 8]은 성취수준 설정 절차의 3라운드에서 얻은 평균에 기반한 분할점수를 적용하여 4단계 성취수준별 학생 비율을 산출한 결과이다. 초등학교 6학년 학생들의 디지털 소양은 4수준(우수) 비율이 20.42%로 나타났고, 1수준(노력 요망)의 비율은 11.44%인 것으로 나타났다.

그림 8. 성취수준별 학생 비율

Download Original Figure