J. Curric. Eval. 2021; 24(4):205-222

pISSN: 1229-1544

DOI: https://doi.org/10.29221/jce.2021.24.4.205

교육평가

선택형 문항에서 부분적 지식에 의한 선택지 소거가 문항 추측도에 미치는 영향1)

권보섭 1 , *
The effect of elimination of the choice by partial knowledge on the guessing parameter in the selection-type item
Boseob Kwon 1 , *
Author Information & Copyright ▼
1안동대학교 컴퓨터교육과 교수
1Dept. of Computer Education, Andong University
*제1저자 및 교신저자, bxkwon@anu.ac.kr

© Copyright 2021, Korea Institute for Curriculum and Evaluation. This is an Open-Access article distributed under the terms of the Creative Commons Attribution NonCommercial-ShareAlike License (http://creativecommons.org/licenses/by-nc-sa/4.0) which permits unrestricted non-commercial use, distribution, and reproduction in any medium, provided the original work is properly cited.

Received: Oct 05, 2021; Revised: Oct 29, 2021; Accepted: Nov 10, 2021

Published Online: Nov 30, 2021

요약

본 연구는 선택형 문항에서 부분적 지식을 활용한 선택지 소거가 문항 추측도에 미치는 영향을 조합론, 확률론 및 컴퓨터 프로그램을 이용하여 정량적으로 분석하는 데 목적이 있다. 질문지와 선택지 혹은 보기 사이에 진위를 모두 파악한 경우를 제외한 지식을 부분적 지식으로 정의하고, 이를 근거로 대학수학능력시험의 선택형 문항들을 수학형, 사회형 및 과학형 문항으로 분류하였으며, 각각의 문항에 대해 문항 추측도가 문항 난이도에 차지하는 비율을 분석하였다. 먼저 부분적 지식이 없는 수학형 문항은 고전검사이론에서 연구된 결과와 같으므로 이를 정리했다. 그다음은 사회형 문항으로 부분적 지식을 이용하여 추측 없이 정답을 맞히는 경우와 정답을 맞히기 위해서는 추측이 필요한 경우로 분류하여 문항 추측도와 문항 난이도와의 관계를 유도했다. 마지막으로는 과학형 문항에서는 보기 가운데 어떤 보기를 아는가에 따라 추측으로 정답을 맞힐 확률이 균일하게 되는 균형 잡힌 선택지의 조건을 제시하고, 판별하는 알고리즘을 개발하였다. 이를 사용하여 문항 추측도와 문항 난이도의 관계를 계산했다. 연구 결과로는 사회형이나 과학형 문항에서 문항 추측도가 문항 난이도에 차지하는 비율이 고전검사이론에서 연구된 결과에 비해 비율이 높다는 것을 보여주고 있다. 사회형이나 과학형 문항에서는 실제의 능력보다 문항 난이도가 과장되게 나타날 수 있다. 따라서 대학수학능력시험과 같은 영역별로 문항 난이도를 조절할 필요가 있는 시험에 본 연구 결과가 활용되도록 제언한다.

ABSTRACT

This study is to quantitatively analyze the effect of choice elimination using partial knowledge on the guessing parameter using combinatorics, probability theory and computer programming in the selection-type item. For this purpose, knowledge was defined as partial knowledge, except for cases in which all true-false was identified between the questionnaire and the choices or options. Based on this, the selection-type items of the college scholastic ability test were classified into mathematics-type, social-type and science-type item, and for each of them, the proportion of guessing parameter to item difficulty was analyzed.

First, the mathematical-type items without partial knowledge are the same as the results studied in the classical test theory, so they are summarized.

Next, the social-type items were classified into a case in which the correct answer was correct without guessing using partial knowledge and a case in which a guess was required to get the correct answer, and their relationship was derived by calculating the guessing parameter and item difficulty.

Lastly, in the science-types items, the condition of a balanced choice that the probability of getting the correct answer by guessing is uniform depending on what option is known, and an algorithm to determine it was developed.

This was used to calculate the relationship between guessing parameter and item difficulty. The study show that the ratio of guessing parameter to item difficulty in social-type or science-type items higher than that of classical test theory.

In social-type or science-type items, the item difficulty may be exaggerated compared to the actual ability, so it is suggested that the results of this study be used in tests that require adjustment of the item difficulty, such as the college scholastic ability test.

Keywords: 선택형 문항; 문항 난이도; 문항 추측도; 부분적 지식; 고전검사이론
Keywords: Selection-Type Item; Item Difficulty; Guessing Parameter; Partial Knowledge; Classical Test Theory

I. 서 론

교육평가 가운데 하나인 선택형 문항은 교육 현장에서 많이 사용되고 있지만, 추측에 의한 정답을 맞힐 확률을 무시할 수 없다. k개의 선택지를 가지는 문항에서 추측으로 정답을 맞힐 확률은 1/k이며, 이와 관련하여 고전검사이론(Classical Test Theory)에서 연구가 이루어졌다(김종서 외, 2003; Miles, J., 1973)

고전검사이론은 문항이 쉽고 어려운 정도를 의미하는 문항 난이도와 전체 피험자 수 가운데 문항의 답을 전혀 알지 못하고 추측으로 정답을 맞힌 피험자 수의 비율로 정의되는 문항 추측도가 교육 현장에서 사용되고 있다. 대학수학능력시험처럼 대규모 집단으로 평가가 이루어지면 선택형 문항의 여러 단점을 어느 정도 극복할 수 있다.

선택형 문항에서 추측은 피험자들이 무조건 찍기보다는 부분적 지식(권보섭, 2020; 권보섭, 2021)을 바탕으로 소거법을 사용하여 추측하는 경우가 많다. 소거법이란 제시된 선택지들이 질문지에 대한 진위에 따라 선택지 하나하나씩 소거하여 정답을 고르는 방식으로 피험자들은 정답을 맞힐 확률을 높이는 방법으로 사용하고 있다. 대학수학능력시험의 수학 영역에서는 부분적 지식이 존재하지 않으므로 문항 추측도는 기존의 고전 검사이론이 제시하는 방법으로 계산할 수 있으나, 그 외 영역은 피험자들이 획득한 점수를 기존이론으로 문항을 분석할 때 피험자들이 부분적 지식에 의한 소거법을 사용하므로 문항 추측도에서 기존이론과의 차이를 보일 수 있다. 즉 부분적 지식이 사용 가능한 영역과 전혀 사용할 수 없는 수학 영역에서는 같은 문항 난이도일지라도 추측으로 정답을 맞히는 비율이 다름을 의미이다.

이 논문은 부분적 지식을 바탕으로 소거법을 사용하여 추측으로 정답을 맞힐 문항 추측도와 무조건 찍기에 의한 문항 추측도가 문항 난이도에서 차지하는 비율을 정량적으로 계산하는 것이 목적이다.

다음은 이를 위한 연구 방법 및 세부 내용이다. 우선 선택형 유형이면서 대규모 집단의 평가가 이루어지며 점수가 절대적인 영향을 주는 대학수학능력시험의 문항들을 부분적 지식에 근거하여 추측이 주는 효과에 따라 수학 영역, 사회 영역 및 과학 영역 문항으로 분류하였다. 수학 영역 문항은 고전검사이론과 같으므로 문헌 연구를 통하여 문항 난이도와 문항 추측도의 관계를 정리하고, 사회 영역은 피험자들이 부분적 지식에 의한 소거법 사용에 따라 문항 난이도와 추측도를 조합론과 확률론을 사용하여 유도했으며, 컴퓨터 프로그램으로 이들의 관계를 계산했다. 과학 영역 문항은 보기(Option)에 의한 선택지들의 구성에 따라 추측으로 정답을 맞힐 확률이 달라지므로 이를 일반화하기 위해 선택지들을 부울 함수(Boolean Function)에서 사용되는 최소항(Minterm)으로 나타내었다. 보기의 진위를 ‘참’ 혹은 ‘거짓’을 ‘1’ 혹은 ‘0’으로 선택지를 최소항의 논리값으로 나타내고, 각 선택지를 논리값의 집합으로 표기했다. 선택지에서 어떤 순서대로 보기가 소거되더라도 추측으로 정답을 맞히는 확률이 같아야 한다는 균형 잡힌 선택지를 조건으로 제시하고 검증하는 알고리즘을 개발하였다. 이를 바탕으로 문항 난이도에 포함된 문항 추측도를 유도하여 이들의 관계를 계산했다. 마지막으로 영역별로 문항 추측도가 문항 난이도에 차지하는 비율을 분석하였다.

II. 이론적 배경

선택형 문항은 크게 정오형, 선다형으로 분류되며 선다형에는 단일 정답형과 복수 정답형으로 나누어지고, 단일 정답형은 주어진 선택지에서 정답 하나를 선택한다는 공통점이 존재하는 정답형, 부정형, 최선답형과 합답형 등으로 분류된다(Gronlund, 1989; 이태욱, 최현종, 2015). 부정형, 최선답형 등은 모두 정답형과 선택지 구성 방법은 같다. 합답형은 보기를 주고, 보기들을 조합하여 선택지를 만든다. 피험자는 제시된 선택지 내에서 ‘옳은 보기’로만 만들어진 선택지 하나를 택하는 방식이다.

피험자는 질문지에 따라 주어진 선택지를 확실히 알지 못할 때 무조건 찍기를 통해 정답을 맞히는 예도 있지만, 부분적 지식을 근거로 선택지의 진위를 판단한 후, 선택지를 소거하는 방법으로 정답을 맞히려 한다. 평가자는 추측이 최소화가 되도록 평가가 이루어져야 하지만 선택형 문항에서는 행운인 추측으로 정답을 맞히는 것을 피할 수 없다. 고전검사이론에서의 문항 추측도는 무조건 찍기만을 고려했고, 부분적 지식에 의한 소거법 사용으로 추측으로 정답을 맞히는 경우는 고려되지 않았다.

1. 추측을 최소화하는 방안

선택형 문항은 여러 개의 선택지 가운데 정답 하나를 선택하는 과정에서 정확하게 정답을 알지 못하고 정답을 맞히는 추측을 무시할 수 없다. 피험자의 능력을 정확히 파악하기 위해서는 추측으로 정답을 맞히는 경우를 최소화할 방안이 필요하다. 현재 사용되고 있는 추측을 최소화하는 방안들은 <표 1>과 같다.

표 1. 추측을 최소화하는 방안
추측을 최소화하는 방안
• 오답 감점제: k개의 선택지에서 오답인 경우 1/(k-1)비율로 감점하여, 무조건 찍기로 선택지를 택하면 평균 0점으로 한다. 이는 선택형 문항으로 당락이 결정되는 선발용 시험 등에 많이 사용하고 있으며, IIT(인도공과대학)의 입학시험, 삼성의 직무적성검사가 대표적임
• 선택지 확대: m개의 보기를 가지는 합답형에서 선택지를 2m-1개로 확대하여 추측으로 정답을 맞힐 확률을 1/(2m-1)로 한다. 대표적으로 약학대학입문자격시험(PEET)에 사용한다(한국약학교육협의회).
• 다답형: k개의 선택지에서 모든 ‘옳은 답’을 모두 고르는 방안이다. 이는 OMR카드로 채점하는 경우 문제가 있지만, 추측으로 정답을 맞힐 확률을 1/(2k-1)로 만드는 효과가 있다.
Download Excel Table

대학수학능력시험에서의 점수는 대학입시에서 당락을 결정하는 절대적인 척도이지만, 찍기로 인해 실제 능력보다 과장되게 나타날 수 있으며 높은 수준의 지적 능력을 갖춘 피험자를 평가하지 못하는 단점이 있다.

2. 부분적 지식의 활용에 따른 선택형 문항 분류

부분적 지식에 의한 선택형 문항의 분류는 부분적 지식의 개념에 비추어 특징 있는 몇 가지로 정의하였다. 여기서 사용되는 문항 분류는 이 논문에서만 부분적 지식에 의한 문항 추측도의 영향을 분석하기 위하여 편의상 임의로 분류한 문항 분류이다. 기존의 선택형 문항 분류에서의 열거형 등과 같은 유형이 이 분류에 포함되지 않는다.

첫 번째, 수학 영역에서 많이 출제되는 문항으로 질문지에 대해 결과를 구한 다음, 해당하는 결과가 있는 선택지를 고르는 형태이다. [그림 1]은 2020학년도 대학수학능력시험 수학 영역(나형) 짝수 7번 문항이다(한국교육과정평가원). 이런 문항은 선택지가 제시되지 않으면 서답형 문항과 같다. 질문지에 대해 결과를 모르면 정답을 맞히기 위해서는 무조건 찍기만 필요하다. 찍기로 정답을 맞힐 확률은 선택지의 개수에 반비례하면 이와 관련한 문항 난이도, 문항 추측도 등은 고전검사이론에서 많이 연구되었다. 이 논문에서는 이런 문항을 수학형 문항으로 분류한다.

jce-24-4-205-g1
그림 1. 선택형 문항의 예(수학형 문항)
Download Original Figure

[그림 2]는 2020년 대학수학능력시험 한국사(짝수) 18번 문항으로 사회 영역에서 많이 출제되는 선택형 문항이다(한국교육과정평가원). k개의 선택지를 질문지에 근거하여 ‘옳은 답’(부정형에서는 ‘그른 답’) 하나를 고르는 방식이다. k개의 선택지 가운데 이 선택지가 확실히 ‘옳은 답’이라고 하면 나머지 선택지의 진위와 상관없이 정답을 맞힐 수 있으며, k-1개의 ‘그른 답’을 아는 경우도 k-1개를 선택지에서 소거함으로써 정답을 맞힐 수 있다. 즉 k-2개 이하의 ‘그른 답’을 알고 있는 경우만 정답을 맞히기 위해서 추측이 필요하다. 이런 문항을 사회형 문항으로 분류한다. 사회형 문항 사회 영역에서만 사용되는 것이 아니라 다른 영역에서도 사용된다. 이런 문항은 과학 영역 등에도 있을 수 있지만, 분류의 편의상 사회형이라 정의하였다.

jce-24-4-205-g2
그림 2. 선택형 문항의 예(사회형 문항)
Download Original Figure

세 번째는 2020학년도 대학수학능력시험 과학탐구 영역(화학I) 8번 문항으로 합답형인 과학 영역에서 많이 사용되는 문항이다(한국교육과정평가원). [그림 3]과 같이 m개의 보기를 조합하여 k개의 선택지를 만드는 문항이다. 선택지를 만들 수 있는 경우의 수는 2m-1개이다. 보기 m개 중에 i(≦m)개의 진위를 아는 것으로부터 정답을 맞힐 확률은 제시된 k개의 선택지들이 어떻게 구성되었는지에 따라 달라진다. i=0이면 추측으로 정답을 맞힐 확률은 1/k이지만, i≠0이면 보기의 조합인 선택지에 따라 추측으로 정답을 맞힐 확률은 달라진다. PEET(Pharmacy Education Eligibility, 약학대학입문자격시험)에서는 m개의 보기를 가지는 합답형에서 선택지를 2m-1을 제시하여 보기의 조합인 선택지에 상관없이 추측으로 맞힐 확률을 균일하게 함과 동시에 추측의 확률을 1/(2m-1)로 최소화했다. 이 논문에서는 이런 문항을 과학형 문항으로 분류한다.

jce-24-4-205-g3
그림 3. 선택형 문항의 예(과학형 문항)
Download Original Figure
3. 부분적 지식과 진위확률

부분적 지식은 질문지와 선택지 혹은 보기에 대해 진위를 모두 파악하는 경우를 제외한 지식을 말한다. 사회형 문항에서는 k개의 선택지 가운데 k-1개 이하의 진위를 아는 경우를 의미한다. ‘옳은 답’ 하나와 k-2개 이하의 ‘그른 답’을 알고 있거나, k-1개의 ‘그른 답’을 알고 있는 경우, 비록 부분적 지식이지만 논리적 사고로 추측 없이 정답을 선택할 수 있다. 이는 높은 수준의 지적 능력을 갖춘 피험자를 평가하는데 어렵게 하는 한 요인이 된다. 보기가 m개이고 선택지가 k개면 선택지의 보기를 어떻게 구성되는가에 따라 ⌈log2k⌉ 개 이상을 알면 추측 없이 정답을 맞힐 수 있다. 따라서 문항은 비록 부분적 지식만을 이용하여 소거법을 사용하면 추측 없이 정답을 맞히는 예도 있으며 또한 추측으로만 정답을 맞히는 때도 있다. 무조건 찍기보다 부분적 지식을 활용한 소거법은 추측으로 정답을 맞히는 확률이 더 높게 한다. 정답을 정확히 알지 못하면서 추측으로 정답을 맞힘으로써 피험자들의 실제 능력보다 문항 난이도가 높게 나타난다. 이 논문은 부분적 지식으로 논리적인 판단에 따라 추측 없이 문항을 맞히는 경우는 문항 추측도에서 제외한다. <표 2>는 문항 추측도에 포함되는 부분적 지식의 범위이다.

표 2. 문항 추측도에 포함되는 부분적 지식의 범위
문항 추측도에 포함되는 부분적 지식의 범위
• 수학형 문항: 부분적 지식이 존재하지 않는다. 정답을 모르면 무조건 찍기만으로 정답을 맞힐 수 있다.
• 사회형 문항: k개의 선택지에서 k-2개 이하의 선택지에 대해 ’그른 답‘만 아는 경우, 정답을 맞히려면 추측이 필요하며 이 경우에만 문항 추측도에 포함된다.
• 과학형 문항: m개의 보기를 가지는 k개의 선택지에서 ’옳은 보기‘인지 ’그른 보기‘인지를⌊log2k⌋개 미만을 알 때는 정답을 맞히려면 추측이 필요하고,⌊log2k⌋개를 알 때도 선택지들의 보기가 어떻게 조합되는가에 따라 추측이 필요하다. 문항 추측도는 이 두 경우만 고려한다.
Download Excel Table

진위확률은 질문지와 선택지 혹은 보기에 대한 진위를 판단하는 확률이다. 선택지 혹은 보기가 맞는 ‘옳은 답(보기)’인지 ‘그른 답(보기)’인지 판단하는 확률로 n명의 피험자 중에서 진위를 완전하게 파악한 피험자의 수로 볼 수 있다.

III. 유형 분석

1. 수학형 문항

수학형 문항은 질문지에 대해 결과를 구한 다음, 그 결과가 포함된 선택지 하나를 고르는 문항으로 제시된 선택지를 제외하면 서답형 문항 된다. k개의 선택지가 있는 수학형 문항은 질문지에 대해 결과를 모르면 무조건 찍기에 의해 1/k확률로 정답을 맞힐 수 있다. 이는 기존의 고전검사이론에서 추측에 관한 영향을 분석하는 데 사용되었으며 <표 3>은 기존이론에서 연구된 결과이다(Kubinger & Gottschall, 2007). 수학형 문항에서는 부분적 지식이 존재하지 않음으로 문항 추측도와 문항 난이도는 기존의 고전검사이론과 같다. 여기서 n은 총피험자의 수이며, 선택지 개수는 k이다.

표 3. 고전 검사이론(수학형 문항)
추측으로 정답을 맞힌 피험자 수, n 2 n 2 = n − n 1 k
정확히 알고 맞힌 피험자들의 수, n 1 n 1 = 정답자 수 − 오답자 수 k − 1
문항 추측도(g), n2/n g = 1 n • 오답자 수 k − 1
문항 난이도(d), (n1+n2)/n d = 정답자 수 n
문항 난이도(d)와 문항 추측도(g)과의 관계식 g = 1 − d k − 1
Download Excel Table

문항 난이도와 문항 추측도와의 관계식은 g=(1-d)/(k-1)으로 문항 추측도는 문항 난이도에 따라 선형적으로 감소한다.

2. 사회형 문항

사회형 문항은 k개의 선택지에 대해 각각 ‘옳은 답’과 ‘그른 답’을 피험자가 판단하면 정답을 맞힐 수 있다. 하지만 제시된 선택지 중에 ‘옳은 답’하나만 확실히 판단해도 정답을 맞힐 수 있을 뿐 아니라, k-1개의 선택지에 대해 ‘그른 답’을 알아도 추측 없이 정답을 맞힐 수 있다. 이는 제시된 선택지를 완전하게 알지 못하더라도 부분적 지식을 이용하여 추측 없이 정답을 맞힐 수 있다.

k개의 선택지 가운데 i(〈k)개의 선택지에 대해 진위를 아는 경우를 부분적 지식 i라 한다. 부분적 지식 i개 중에 ‘옳은 답’ 하나와 ‘그른 답’ i-1개를 아는 경우와 k-1개의 ‘그른 답’을 아는 경우는 추측이 필요 없이 정답을 맞힐 수 있다. k개의 선택지에서 부분적 지식 i개를 알고 있는 경우, 전자인 경우일 확률은 i/k이며, 후자인 경우는 1/k이다. 문항 추측도에 포함되는 추측으로 정답을 맞히는 경우는 k-2개 이하의 ‘그른 답’만을 알고 있는 경우로 ‘옳은 답’하나를 택하기 위해서는 추측이 필요하다. 이 경우 부분적 지식인 i개에 의해 선택지 i개를 소거하고 남은 선택지 가운데 하나를 선택하므로 추측으로 ‘옳은 답’을 선택할 확률은 1/(k-i)이 된다. <표 4>는 사회형 문항의 문항 난이도와 문항 추측도를 진위확률의 함수로 계산하는 과정을 나타내었다. 여기서는 선택지의 진위확률이 모두 ps로 같다고 가정한다. k개의 선택지 중에서 선택지 i개의 진위를 아는 확률은 (ik)psi(1−ps)k−i 이다(Jay, 1990).

표 4. 문항 난이도와 문항 추측도를 계산하는 과정(사회형)
추측으로 맞힐 경우 추측 없이 맞힐 경우
부분적 지식 i개 중에 (a) ‘옳은 답’ 하나와 ‘그른 답’ i-1개를 아는 경우(1 ≤ i ≤ k)
(k−1i−1)/(ki)=ik		 (b) k-1개의 ‘그른 답’을 아는 경우
(k−1    i)/(ki)=1k		 (c) i개의 ‘그른 답’을 아는 경우(0 ≤ i ≤ k-2)
(k−1    i)/(ki)=k−ik
정답을 맞힐 확률 ∑ i = 1 k ( k i ) p s i ( 1 − p s ) k − i ⋅ i k ⋅ 1 (       k k − 1 ) p s k − 1 ( 1 − p s ) 1 ⋅ 1 k ⋅ 1 ∑ i = 0 k − 2 ( k 2 ) p s i ( 1 − p s ) k − i ⋅ k − i k ⋅ 1 k − i
∑ i = 1 k ( k i ) p s i ( 1 − p s ) k − i ⋅ i k + (     k k − 1 ) p s k − 1 ( 1 − p s ) 1 ⋅ 1 k ∑ i = 0 k − 2 ( k i ) p s i ( 1 − p s ) k − i ⋅ 1 k
문항 난이도 ∑ i = 0 k − 1 ( k i ) p s i ( 1 − p s ) k − i ⋅ i + 1 k + p k
Download Excel Table

사회형 문항의 문항 추측도와 문항 난이도는 진위확률 ps의 함수로 각각 (수식 1)과 (수식 2)와 같다.

문항 추측도 ( g ) : ∑ i = 0 k − 2 ( i k ) p s i ( 1 − p s ) k − i · 1 k
(수식 1)
문항 난이도 ( d ) : ∑ i = 0 k − 1 ( i k ) p s i ( 1 − p s ) k − i · i + 1 k + p s k
(수식 2)

선택지의 진위확률 ps의 함수인 문항 난이도와 문항 추측도에서 ps을 소거하면 이들의 관계를 구할 수 있다. 이를 위해서는 수치해석에서 적용하는 고차방정식 풀이 방법을 컴퓨터 언어인 파이썬(Python) 언어를 사용하여 해결했다.

3. 과학형 문항

최근에 조합론과 컴퓨터 과학 분야에서 오랜 난제였던 민감 추측도(Sensitivity Conjecture)가 부울 함수(Boolean function)를 이용하여 최근에 간결하게 증명되었다(Hao Huang, 2019). 부울 함수는 답이 ‘예(1)’ 또는 ‘아니오(0)’ 가운데 하나가 나오는 n개의 질문에 대해 최종적으로 ‘예’ 또는 ‘아니오’로 답을 내는 컴퓨터 프로그램이다.

m개의 보기를 각각 x1, x2, ⋯,xm이라 하면, 선택지는 부울 함수의 최소항(Minterm)으로 나타낼 수 있다(Kenneth, 2012). 최소항은 모든 논리 변수가 한 번씩 사용하여 곱의 형식을 이루고, 그 변수들은 ‘참(true)’ 혹은 ‘보수(complement)’ 형태로 나타난다.

가. 과학형 문항에서 선택지들의 수학적 모델링

k개의 선택지를 다루기 쉽게 부울 함수 개념을 사용하였다. 질문지와 보기 사이의 진위가 ‘옳은 보기(참)’을 ‘1’로 ‘그른 보기(거짓)’을 ‘0’으로 하면, 보기의 조합으로 구성된 선택지는 논리값으로 표현할 수 있다. 3개의 논리 변수 x1, x2, x3에 대해 논리값이 100이면 최소항은 x1x2x3이 된다. 보기의 개수가 m개면 m개 비트(Bit)로 표현된 k개의 최소항들로 k개 선택지를 나타낼 수 있다. 비트의 자리는 왼쪽에서 오른쪽으로 차례대로 보기의 순서가 된다. 대학수학능력시험에서 보기의 순서는 일반적으로 ㄱ, ㄴ, ㄷ 순으로 표기된다. 선택지는 최소항에서 보수(complement)는 표시하지 않으므로 ‘ㄱ’은 최소항의 논리값은 100으로 표현된다. 이는 ‘ㄱ’에 해당하는 보기가 ‘참’이고 나머지 보기가 ‘거짓’일 경우이다. <표 5>는 [그림 3]의 선택지를 최소항, 논리값 및 논리값 집합을 나타내었다.

표 5. [그림 3]의 선택지에 대한 예
제시된 선택지 ① ㄱ ② ㄴ ③ ㄱ, ㄷ ④ ㄴ, ㄷ ⑤ ㄱ, ㄴ, ㄷ
선택지 ㄱ ㄴ ㄱㄷ ㄴㄷ ㄱㄴㄷ
최소항 ㄱ ¯ㄴ ¯ㄷ ¯ㄱ ㄴ ¯ㄷ ㄱ ¯ㄴ ㄷ ¯ㄱ ㄴ ㄷ ㄱㄴㄷ
논리값 100 010 101 011 111
논리값 집합 {100,010,101,011,111}
Download Excel Table
나. 보기의 조합으로 선택지 k개를 구성할 때 고려사항

[그림 4]는 보기가 두 개인 경우 질문지와 보기 사이의 진위에 대해 ‘참’인 보기만으로 만들 수 있는 모든 선택지를 나타내었으며, 이들의 보기의 조합이 추측에 어떤 영향을 미치는지 분석하기 위한 과학형 문항의 예이다. [그림 4]의 선택지 A형인 경우는 ‘ㄱ‘은 의미가 없다. 정답은 반드시 하나 있어야 하므로 ‘ㄱ’은 항상 참이다. ‘ㄱ’을 참이라는 사실을 알고 있더라도 정답을 선택하는 데 전혀 도움이 되지 않는다. ‘ㄴ’이 진위를 알면 추측 없이 쉽게 정답을 찾을 수 있다. 이는 ‘ㄱ’을 알고 있는 것과 ‘ㄴ’을 아는 것이 정답을 맞힐 확률이 다름을 의미한다. 선택지 B형도 마찬가지다. 선택지 C형은 ‘ㄱ‘이 ‘거짓’이면 정답이 하나만 존재한다는 조건에 의해 ‘ㄴ’이 정답이 되고, ‘ㄱ’이 ‘참’이면 유일한 정답이 하나이므로 ‘ㄱ‘이 정답이 된다. 같은 방법으로 ’ㄴ‘에도 적용된다. 따라서 선택지 C형은 ‘ㄱ’을 아는 것과 ‘ㄴ’을 아는 것이 정답을 맞힐 확률이 같다. 선택형 D형은 ‘ㄱ‘이 ‘거짓’이면 ‘ㄴ’이 정답이 되고, ‘ㄱ’이 ‘참’이면 2개의 선택지에서 정답을 맞히려면 추측이 필요하다. 같은 방법으로 ’ㄴ‘에도 적용된다. 따라서 선택지 D형은 ‘ㄱ’을 아는 것과 ‘ㄴ’을 아는 것이 정답을 맞힐 확률이 같다. 이를 균형이 잡힌 선택지라 할 수 있다. 균형이 잡힌 선택지는 임의의 보기 하나를 소거한 후 남아있는 선택지에서 추측으로 정답을 맞힐 확률이 어떤 보기를 소거하든지 관계없이 같거나 최소화된다는 것이다. 즉, m개의 보기 가운데 어떤 보기를 아는가에 따라 추측으로 정답을 맞힐 확률이 균일해야 한다.

jce-24-4-205-g4
그림 4. 보기의 조합으로 구성된 선택지들의 예
Download Original Figure
다. 균형 잡힌 k-선택지

<표 6>은 m개의 보기와 k개의 선택지에서 선택지를 최소항의 집합으로 표시하여 선택지가 균형이 잡힌 선택지인지를 판별하는 알고리즘이다. 임의의 보기가 ‘참’이 될 확률과 ‘거짓’이 될 확률은 같고, 보기의 진위를 판별할 수 있는 확률은 pr로 모두 같다고 가정한다.

표 6. 균형 잡힌 k-선택지 판별 알고리즘
[균형 잡힌 k-선택지 판별 알고리즘]
k-선택지는 논리값 {b11b12...b1m, b21b22...b2m, ... bk1bk2 ...bkm}의 집합으로 다음과 같은 조건을 만족하면 균형 잡힌 k-선택지이다.
[1] 집합의 원소로 논리값 00⋯0은 존재하지 않는다.
[2] {1, 2,...,m}에서 s(=⌈log2 (k+1)⌉)개를 택하여 순열 [t1, t2, ⋯, ts],s≤m을 생성한다.
[2.1] {b11b12⋯b1m,b21b22⋯b2m,⋯ bk1bk2⋯bkm}에서 t1째 비트가 ‘0’인 원소와‘1’인 원소로 집합을 분할하고, 분리된 집합의 원소의 개수차는 1을 넘지 않아야 한다.
 [2.2] i ← 2
 [2.3] 분리된 모든 집합 각각에 대해서 ti번째 비트가‘0인 원소와 ‘1’인 원소로 각각 분할하고, 분리된 집합의 원소의 개수차는 1을 넘지 않아야 한다.
 [2.4] i ← i+1
 [2.5] i = s까지 [2.3] - [2.4]를 반복한다. i = s+1이면 [3]을 수행한다.
[3] 서로 다른 순열 mPs개를 만들고, 이 모든 순열에 대해 [2.1] - [2.5]를 반복한다.
Download Excel Table

균형 잡힌 k-선택지 판별 알고리즘에서 [1]은 선택지가 보기의 ‘참’이 적어도 하나 이상이어야 한다는 것을 의미한다. [2]는 임의의 보기가 ‘참’인지 ‘거짓’인지의 판단하여 선택지를 소거한다. 이때 소거되는 선택지와 남아있는 선택지의 개수 차가 하나 이하이어야 한다. <표 7>의 (a) 는 <표 6>의 [2] 에서 생성된 순열이 [3, 1, 2]인 경우, 처음 소거되는 3번째 비트가 ‘1’이면 {001, 011, 111} 남고, {100, 010}은 소거된다. ‘0’이면 반대가 된다. 이들의 원소의 개수 차가 1이 된다. 이 의미는 3번째 보기의 진위를 알 때 추측으로 맞힐 확률의 차이가 최소화됨을 의미한다. 두 번째 소거되는 첫 번째 비트에 대해서도, 그다음 순서인 두 번째 비트에서도 반복적으로 검사한다. 임의의 보기들은 모든 순열에 동일하게 적용된다. <표 7>은 m=3, k=5에서 이 알고리즘의 수행 과정을 도식적으로 표현한 것이다. m=3, k=5인 경우 총 6개(ㄱㄴㄷ, ㄱㄷㄴ, ㄴㄱㄷ, ㄴㄷㄱ, ㄷㄱㄴ, ㄷㄴㄱ)의 순열에 대해서 모두 <표 6>의 [2]을 만족해야 균형 잡힌 k-선택지이다. 여기서 순열(ㄱㄴㄷ, ㄱㄷㄴ, ㄴㄱㄷ, ㄴㄷㄱ, ㄷㄱㄴ, ㄷㄴㄱ)은 알고리즘에서 [1, 2, 3], [1, 3, 2], [2, 1, 3], [2, 3, 1], [3, 1, 2], [3, 2, 1]을 의미한다. <표 7>의 (b) 는 생성된 순열이 [1,3,2]라 할 때 보기의 소거 순서가 ㄱ, ㄷ, ㄴ순이 되고, 집합 {001, 011}일 때 3번째 비트가 ’0‘인지 ’1‘인지에 따라 분리된 집합의 원소의 개수의 차는 2이므로 (b)의 선택지는 균형 잡힌 k-선택지가 아니다. 이 경우는 [그림 4]의 선택형 B 같은 경우가 된다. 본 논문에서는 모든 선택지가 균형 잡힌 k-선택지라 가정하여 문항 난이도와 문항 추측도를 분석한다.

표 7. 균형 잡힌 k-선택지 판별 알고리즘의 도식적인 예
(a) 선택지: ㄱ, ㄴ, ㄷ, ㄴㄷ, ㄱㄴㄷ (b) 선택지: ㄱ, ㄷ, ㄱㄴ, ㄴㄷ, ㄱㄴㄷ
보기 소거 순서: ㄷ → ㄱ → ㄴ, [3, 1, 2] 보기 소거 순서: ㄱ → ㄷ → ㄴ, [1, 3, 2]
균형 잡힌 k-선택지 불균형을 이루는 k-선택지
jce-24-4-205-g5 jce-24-4-205-g6
Download Excel Table
라. 과학형 문항의 문항 난이도와 문항 추측도

균형 잡힌 k-선택지에서 보기 i(≤m)개를 알고 있은 경우, 정답을 맞힐 확률을 f(k, i)로 정의한다. 선택지가 하나인 경우(k=1)인 경우는 정답이 반드시 하나가 존재해야 하므로 정답을 맞힐 확률은 1이 된다. 부분적 지식이 없는 경우(i=0)는 고전검사이론에서의 추측으로 정답을 맞힐 확률 1/k과 같다. 균형 잡힌 k-선택지에서 부분적 지식 i에 의해 추측으로 정답을 맞힐 문제는 컴퓨터 과학 분야에서 많이 사용되는 분할 및 정복법(Divide-and-Conquer)을 사용한다. 분할 및 정복법은 큰 문제(Problem)를 작은 단위의 문제들로 나누어 해결하는 방법이다(Horowitz et al, 2010). 부분적 지식 i에 의해 추측으로 정답을 맞힐 문제는 부분적 지식 (i-1)개로 선택지 k/2에서 정답을 맞힐 문제로 분할 할 수 있으며, 이를 재귀식(Recurrence Equation)으로 표현하면 (수식 3)과 같다. 이는 균형 잡힌 k-선택지에서 부분적 지식 하나를 더 안다는 것은 소거법에 따라 선택할 수 있는 선택지의 개수가 1/2로 감소하므로 그만큼 추측으로 정답을 맞힐 비율이 늘어난다는 것을 의미한다. 그러므로 (수식 3)은 반드시 균형 잡힌 k-선택지일 경우에만 성립한다.

답가지 m개 중에 i개를 아는 확률은 (mi)pri(1−pr)m−i 이다(Jay, 1990). 여기서 pr는 보기 하나를 정확하게 알고 있을 진위확률이며, m개의 보기에 대한 진위확률은 모두 같다고 가정한다. 보기가 ‘옳은 보기’ 혹은 ‘그른 보기’일 확률도 같다고 가정한다.

f ( k , i ) = { 1 i f   k = 1 1 k i f   k > 1 ,   i = 0 1 2 ( f ( ⌈ k 2 ⌉ , i − 1 ) + f ( ⌈ k 2 ⌉ , i − 1 ) ) i f   1 < k ≤ 2 i   and   i ≥ 1
(수식 3)

과학형 문항에서 부분적 지식을 근거한 추측으로 정답을 맞힐 확률은 두 경우로 생각해 볼 수 있다. 선택지가 k인 경우 부분적 지식 i가⌊log2k⌋개 미만이면 정답을 맞히기 위해서는 추측이 필요하다. 만약 부분적 지식 i가⌊log2k⌋개면 선택지에 따라 추측 없이도 맞힐 경우와 그렇지 않은 경우로 나누어진다. 부분적 지식 i가⌊log2k⌋를 초과하면 추측 없이 정답을 맞힌다.

부분적 지식 i개를 아는 확률과 k개의 선택지에서 부분적 지식 i개를 이용하여 추측으로 정답을 맞힐 비율이 f(k,i)이므로 이를 서로 곱으로 나타낼 수 있다. <표 8>은 과학형 문항의 문항 난이도와 문항 추측도를 진위확률의 함수로 계산하는 과정을 나타내었다.

표 8. 문항 난이도와 문항 추측도를 계산하는 과정(과학형 문항)
추측 없이 맞힐 경우 추측으로 맞힐 경우
i개의 부분적 지식으로부터 맞힐 확률 (a) s = ⌊log2k⌋
(ms)prs(1−pr)m−s·(2·f(k,s)−f(2s,s))		 (a) 0 ≤ i < s = ⌊log2k⌋
∑i=0s−1(mi)pri(1−pr)m−i·f(k,i)
(b) s = ⌊log2k⌋ <i ≤ m
∑i=s+1m(mi)pri(1−pr)m−i·f(k,i)		 (b) s = ⌊log2k⌋
(ms)prs(1−pr)m−s·(f(2s,s)−f(k,s))
정답을 맞힐 확률 ( m s ) p r s ( 1 − p r ) m − s · ( 2 · f ( k , s ) − f ( 2 s , s ) ) + ∑ i = s + 1 m ( m i ) p r i ( 1 − p r ) m − i · f ( k , i ) ∑ i = 0 s − 1 ( m i ) p r i ( 1 − p r ) m − i · f ( k , i ) + ( m s ) p r s ( 1 − p r ) m − s · ( f ( 2 s , s ) − f ( k , s ) )
문항 난이도 ∑ i = 0 m ( m i ) p r i ( 1 − p r ) m − i · f ( k , i )
Download Excel Table

과학형 문항의 문항 난이도와 문항 추측도를 진위확률 pr의 함수로 (수식 4), (수식 5)와 같다.

문항 추측도 ( g ) : ∑ i = 0 s − 1 ( m i ) p r i ( 1 − p r ) m − i · f ( k , i ) + ( m s ) p r s ( 1 − p r ) m − s · ( f ( 2 s , s ) − f ( k , s ) ) , 여기서   s = ⌊ log 2 k ⌋   이다 .
(수식 4)
문항 난이도 ( d ) : ∑ i = 0 m ( m i ) p r i ( 1 − p r ) m − i · f ( k , i )
(수식 5)

보기의 진위확률 pr의 함수인 문항 난이도와 문항 추측도에서 pr을 소거하여 이들의 관계를 구한다. 이를 위해서는 컴퓨터 프로그램을 사용하였다.

IV. 결과분석

1. 문항별 비교분석

3가지 문항에 대하여 문항 추측도와 문항 난이도의 관계를 수학적으로 유도했다. 특히 사회형과 과학형 문항에서는 컴퓨터 프로그램을 이용하여 이들의 관계를 계산했다. 이 논문은 부분적 지식에 의한 소거법을 사용할 경우, 문항 추측도가 문항 난이도에서 차지하는 비율을 정량적으로 유도하는 것이 목적이다.

먼저 사회형 문항을 살펴보면 컴퓨터 프로그램으로 문항 난이도별로 선택지의 진위확률(ps) 값을 먼저 구한 다음, 이를 문항 추측도에 대입했다. <표 9>는 문항 난이도별 문항 추측도 이며 이를 그래프로 나타내었다. 문항 난이도가 d=0.4인 경우 문항 추측도는 선택지가 k=4이면 0.2470, k=5인 경우 0.1987이지만 고전검사이론에서의 문항 추측도는 k=4와 k=5일 때 각각 0.2, 0.15이다. 이는 문항 난이도에 문항 추측도가 차지하는 비율이 고전검사이론에서보다 각각 23.5%, 32.5% 더 높다. 문항 난이도가 d=0.8경우에는 사회형에서 k=4, k=5는 각각 문항 추측도가 0.1406, 0.1262인데 반해 고전검사이론에서는 0.0667, 0.05로 많은 피험자가 추측으로 정답을 맞히고 있다는 점을 시사해 준다. 같은 문항 난이도를 가지는 수학형과 사회형 문항에서는 사회형이 부분적 지식을 이용하여 추측으로 정답을 맞히는 비율이 높다는 것을 의미한다. 수학형과 사회형 문항에서 학생의 능력이 같다면 수학형에서 얻을 수 있는 점수가 사회형 문항보다 낮다는 의미로도 해석할 수 있다. 또한 k개의 선택지를 가지는 사회형에서 k-1개의 선택지의 진위를 판단할 수 있으면 그 문항을 추측 없이 해결할 수 있으므로 k개의 선택지의 진위를 분별할 수 있는 피험자와 같은 평가 점수를 얻게 된다. 이는 추측과 무관하게 k개 선택지를 가지는 사회형 문항의 구조적인 것이며, 이로 인해 높은 수준의 지적 능력을 평가하지 못하는 요인이다. 추측이 가능하므로 문항 난이도가 실제의 능력보다 확대되어 나타날 수 있다. 다답형인 경우는 이 문제를 해결함과 동시에 문항 추측도를 최소화하는 방안 가운데 하나이다.

표 9. 사회형 문항에서의 문항 난이도와 문항 추측도와의 관계
문항 난이도 (d) 문항 추측도(g)
k=5 (수학형) k=4 (사회형) k=5 (사회형)
0.2 0.2 - 0.20 jce-24-4-205-g7
0.3 0.175 0.2499 0.1999
0.4 0.15 0.2470 0.1987
0.5 0.125 0.2372 0.1938
0.6 0.10 0.2174 0.1851
0.7 0.075 0.1858 0.1608
0.8 0.05 0.1406 0.1262
0.9 0.025 0.0802 0.0749
1.0 0.0 0.0 0.0
Download Excel Table

두 번째로 과학형 문항인 경우는 m=3, k=5 혹은 m=4, k=5인 경우는 2개의 보기만 진위를 판별해도 추측 없이 정답을 맞힐 수도 있다. 이는 과학형 문항에서 추측으로 정답을 맞히는 부분적 지식의 개수는 보기 m에 상관없이 선택지 k에 의해 좌우된다. 선택지가 균형 잡힌 k-선택지면 부분적 지식 i의 개수가⌊log2k⌋을 초과하면 추측 없이 정답을 맞힐 수 있고, ⌊log2k⌋이면 선택지에 보기들의 조합에 따라 추측 없이 혹은 추측으로 정답을 맞히는 경우가 있다. 이는 m=4인 경우에는 보기를 2~3개만으로도 추측 없이 정답을 맞히게 되므로 m=3에 비해 같은 문항 난이도에서 문항 추측도의 비율이 크게 된다. <표 10>에서 문항 난이도가 d=0.4인 경우 m=3 에서는 문항 추측도가 0.2778이지만 m=4인 경우에는 0.3771이 된다. k=5인 경우 m에 관계없이 추측 없이 정답을 맞힐 수 있다는 의미이므로 m=3보다 m=4인 경우가 문항 난이도에 문항 추측도가 차지하는 비율이 높다. 즉, 문제가 쉬워진다는 것을 의미한다. 문항 난이도 d=0.6인 경우를 보면 m=3인 경우는 문항 추측도가 0.2408이지만 m=4인 경우에는 0.4686이 된다. 보기의 개수가 커지면 많은 피험자가 부분적 지식을 통해 추측으로 맞힐 수 있으므로 보기를 모두 아는 피험자와 평가 점수에 차이가 없어진다.

표 10. 과학형 문항에서의 문항 난이도와 문항 추측도와의 관계
문항 난이도 (d) 문항 추측도(g)
k=5 (수학형) m=3, k=5 (사회형) m=4 k=5 (과학형)
0.2 0.2 0.2 0.2 jce-24-4-205-g8
0.3 0.175 0.2603 0.2962
0.4 0.15 0.2778 0.3771
0.5 0.125 0.2681 0.4365
0.6 0.10 0.2408 0.4686
0.7 0.075 0.1998 0.4662
0.8 0.05 0.1468 0.4167
0.9 0.025 0.0822 0.2951
1.0 0.0 0 0
Download Excel Table

문항 난이도와 문항 추측도가 고전 검사이론과 같은 수학형의 오지 선다형과 비교하면 과학형은 같은 문항 난이도에서 문항 추측도의 비율이 크다는 것을 <표 10>에서 보여주고 있다. 특히 문항 난이도가 d=0.7인 경우 고전검사이론에서는 0.075이지만, m=4, k=5에서는 0.4662로 66.6%의 피험자가 부분적 지식에 의한 소거법을 고려한 결과로 볼 수 있다.

마지막으로 <표 11>은 수학형, 사회형 및 과학형(m=3) 문항인 오지 선다형 문항에서 문항 추측도가 문항 난이도에 차지하는 비율을 나타낸 것이다. 문항 난이도 d=0.4에서는 고전 검사이론과 같은 수학형 문항은 37.5%이지만 사회형 문항과 과학형 문항은 각각 49.68%, 69.45%이다. 문항 난이도가 d=0.6인 경우는 수학형 문항이 16.67%이지만 사회형과 과학형 문항에서 각각 30.76%, 40.13%이다. 모든 문항에서 문항 난이도가 높아지면 문항 추측도의 비율이 낮아지는 경향이 있지만, 고전검사이론에서보다 그 비율의 차이는 증가하고 있다. 이는 고전검사이론보다 사회형 문항과 과학형 문항에서 문항 추측도의 비율이 문항 난이도가 커짐에 따라 그 오차가 커짐을 시사한다. 이는 사회형 문항이나 과학형 문항에서 문항 난이도가 d=0.6이라면 고전 검사이론에서는 16.67%가 추측으로 정답을 맞혔다고 생각하지만, 사회형 문항일 경우는 이보다 큰 30.85%, 과학형 문항에서는 40.13%가 추측으로 정답을 맞힌 피험자다. 이는 문항 난이도에서 피험자가 수학형 문항보다 사회형 혹은 과학형 문항에서 추측으로 정답을 맞힐 기회가 많으므로 문항 추측도를 포함하는 문항 난이도가 높게 나타남을 보여준다. 즉, 고전검사이론으로 문항 난이도에서 추측으로 정답을 맞히는 문항 추측도를 비율을 계산하면 부분적 지식을 사용한 소거법으로 추측으로 정답을 높이려는 피험자들의 문항 추측도를 정확하게 측정하지 못한다. 문항 난이도가 같더라도 문항에 따라 피험자가 그 문항에 대해 정확히 알고 답하는지는 다르다는 것을 의미한다.

표 11. 문항별 문항 난이도에 차지하는 문항 추측도 비율
문항 난이도 (d) 문항 추측도 비율(%)
k=5 (수학형) k=5 (사회형) m=3 k=5 (과학형)
0.2 100 100 100 jce-24-4-205-g9
0.3 58.33 66.63 86.76
0.4 37.50 49.68 69.45
0.5 25.00 38.76 53.62
0.6 16.67 30.85 40.13
0.7 10.71 22.97 28.54
0.8 6.25 15.78 18.35
0.9 2.78 8.911 9.13
1.0 0.0 0.0 0.0
Download Excel Table
2. 균형 선택지

보기가 3개이고 선택지가 5개인 과학형 문항에서 선택지로 가능한 개수는 보기가 전부 ‘거짓’인 경우를 제외하고 최소항 7개 중에서 5개를 선택하여 순서를 고려하지 않고 나열하는 경우로 21개이다. <표 12>는 가능한 선택지 가운데 균형 잡힌 k-선택지를 판별하는 조건을 만족하는 균형 잡힌 k-선택지이다. 이외 선택지는 추측으로 정답을 맞히는 확률이 보기의 소거 순서에 따라 추측의 확률에 불균형이 발생한다.

표 12. m=3, k=5인 과학형 문항에서 균형 잡힌 k-선택지
균형 잡힌 5-선택지 ① ㄱ ② ㄴ ③ ㄷ ④ ㄱ, ㄴ ⑤ ㄱ, ㄴ, ㄷ
① ㄱ ② ㄴ ③ ㄷ ④ ㄱ, ㄷ ⑤ ㄱ, ㄴ, ㄷ
① ㄱ ② ㄴ ③ ㄷ ④ ㄴ, ㄷ ⑤ ㄱ, ㄴ, ㄷ
① ㄱ ② ㄴ ③ ㄱ, ㄴ ④ ㄱ, ㄷ ⑤ ㄴ, ㄷ
① ㄱ ② ㄷ ③ ㄱ, ㄴ ④ ㄱ, ㄷ ⑤ ㄴ, ㄷ
① ㄴ ② ㄷ ③ ㄱ, ㄴ ④ ㄱ, ㄷ ⑤ ㄴ, ㄷ
Download Excel Table

대학수학능력시험의 과학형 문항의 선택지들을 분석한 결과, 균형 잡힌 k-선택지뿐만 아니라 균형이 이루지 않는 선택지도 있다. 임의의 보기를 소거하는 순서에 따라 추측으로 정답을 맞히는 확률이 달라질 수 있다.

V. 결론 및 제언

부분적 지식에 의한 소거법을 활용하여 추측으로 정답을 맞히는 문항 추측도가 문항 난이도에 차지하는 비율을 분석하였다. 사회형 문항이나 과학형 문항에서 문항 추측도가 문항 난이도에 차지하는 비율이 고전검사이론보다 크다는 것을 알 수 있다. 특히 보기가 3개이고 선택지가 5개인 과학형 문항에서 문항 난이도가 0.6일 때, 문항 추측도가 0.2408이라는 사실은 문항 추측도가 문항 난이도에 차지하는 비율이 40% 정도이지만, 기존의 고전검사이론에서는 0.1로 그 비율이 17% 정도이다. 이는 고전검사이론에서 피험자가 부분적 지식에 의한 소거법으로 추측으로 정답을 맞히는 확률을 높이는 노력이 반영되지 않았다는 것을 보여준다. 기존 고전검사이론에서는 무조건 찍기만을 고려한 결과이다. 문항 난이도가 같더라도 문항에 따라 피험자가 그 문항에 대해 정확히 알고 답하는지는 다르다는 것을 의미한다.

연구 결과를 바탕으로 하여 부분적 지식에 의한 소거법을 사용하여 추측으로 정답을 맞히는 문항 추측도와 관련한 제언은 다음과 같다.

첫 번째로 과학형 문항에서 임의의 보기 하나를 소거한 후 남은 선택지에서 추측으로 정답을 맞힐 확률이 어떤 보기를 소거하든지 관계없이 최소화되도록 해야 한다. 보기의 조합인 선택지 구성에 따라 추측으로 정답을 맞히는 경우가 피험자가 부분적 지식으로 어떤 보기를 아는 것에 의해 그 확률이 달라지지 않도록 균형 잡힌 k-선택지로 선택지를 구성해야 할 필요가 있다. 균형 잡힌 선택지는 <표 12>에서 제시하고 있다.

두 번째로 대학수학능력시험에서 탐구영역에서 2~3문항이 출제되는 보기가 4개인 문항은 문항 난이도에서 문항 추측도가 차지하는 비율이 부분적 지식에 의한 소거법을 사용하는 피험자에게는 그 비율이 다른 문항에 비해 현저히 크다. 이는 문항 난이도가 출제자의 의도와 관계없이 정답을 맞힐 확률을 높게 할 수 있으므로 보기의 개수를 최적화할 필요가 있다.

마지막으로 다답형은 k개의 선택지를 주고 ‘옳은 답’ 모두를 고르는 것으로 과학형에서 보기가 m개이고 선택지가 2m-1개 중에서 하나를 고르는 것과 개념적으로 같다. 추측의 관점에서 보면 문항 추측도를 최소화할 수 있으며 높은 수준의 지적 능력을 갖춘 피험자를 평가에 적합하다. 선택지가 k개인 다답형에서는 문항 추측도는 1/(2m-1)으로 거의 0에 수렴한다. 단지 다답형은 정답이 여러 개 존재할 수 있으므로 OMR카드를 사용할 때 채점에 곤란하다(이창영, 2011). 이를 해결하는 방안으로 다답형이면서 OMR카드로 채점이 쉽고 문항 난이도에서 문항 추측도의 비율을 적게 할 방안을 연구할 필요가 있다. 그중 한 방법으로 초증가순서와 컴퓨터 과학 분야에서 사용하는 배낭 문제 등의 적용을 제언한다.

Notes

1) 이 논문은 안동대학교 기본 연구 지원사업에 의하여 연구되었음

참고문헌

1.

권보섭 (2020), 객관식 선다형 문항에서 추측이 정답에 미치는 영향, 컴퓨터교육학회, 23(1), 29-36

2.

권보섭(2021), 선다형 유형의 합답형 문항에서 부분적 지식이 추측에 미치는 영향, 컴퓨터교육학회, 24(1), 63-70

3.

김종서, 이영덕,이홍우, 황정규 (2003), 교육과정과 교육평가, 교육과학사.

4.

이창영(2011), 복수의 답 선택을 허용하고 오답에 감점을 주는 객관식 시험, 현장교육 5(1) 17~26.

5.

이태욱, 최현종 (2015). 정보교과교육론. 한빛아카데미.

6.

한국약학교육협의회 홈페이지 http://www.kpeet.or.kr(검색일: 2020 10. 30)

7.

한국교육과정평가원 홈페이지 http://www.kice.re.kr(검색일: 2020 11. 13.)

8.

Gronlund, N. E. (1989). How to construct achievement tests. NJ:Prentice-Hall, Inc.

9.

Hao Huang (2019), Induced subgraphs of hypercubes and a proof of the Sensitivity Conjecture, Annals of Mathematics, 190, 949-955

10.

Horowitz Ellis & Sahni Sartaj & Rajasekaran Sangu(2010), Computer Algorithms, 2e, Silicon Press

11.

Jay L. Devore (1990). Probability and Statistics for Engineering and the Science, 3rd, Brooks/cole.

12.

Kenneth H. Rosen (2012), Discrete Mathmatics and Its Applications, Mc GrawHill

13.

Kubinger, K. D., & Gottschall, C. H. (2007). Item difficulty of multiple choice tests dependant on different item response formats--An experiment in funda- mental research on psychological assessment. Psychology science, 49(4), 361-374.

14.

Miles, J. (1973). Eliminating the guessing factor in the multiple choice test. Educational and Psychological Measurement, 33(3), 637-651.

Korea Institute for Curriculum and Evaluation
Korea Institute for Curriculum and Evaluation, 8, Gyohak-ro, Deoksan-eup, Jincheon-gun, Chungcheongbuk-do 27873, Korea
Tel : +82-43-931-0616 | Fax : +82-43-931-0884 | together@kice.re.kr

Copyright © Korea Institute for Curriculum and Evaluation. 2024. Powered by Guhmok