CIPP 평가모형을 활용한 고교학점제 기반 특성화고 선택중심 교육과정 평가지표 개발 연구¹⁾

특성화고의 선택중심 교육과정은 7차 개정 교육과정부터 도입되었다. 이 당시 실업계 고등학교에서는 개별 학생의 관심과 진로에 따라 과목 선택권을 활성화하는 방향으로 설계되었으며 지역 교육청과 학교에서 계열과 전문교과목의 신설과 운영, 이수 단위 증배 등을 조정할 수 있다고 고시하였다(교육부, 1997). 하지만, 실제로는 학교가 선택한 과목에서 학생이 선택하는 형태로 진행되어 학생의 요구가 충분히 반영되지 못한 문제점을 갖고 있었다(이병욱, 2005; 이용순 외, 2005).

2009년 개정 교육과정에서는 실업계 고등학교의 공통 교육과정 기간을 줄이고 선택 교육과정의 기간을 늘려 학습자의 부담을 경감하고자 하였다(조진호, 2021). 또한, ‘학교자율과정’이라는 새로운 단위 배당 기준이 신설되어 학생의 적성과 진로에 맞춘 교육과정을 편성할 수 있도록 하였지만, 학교의 선택권이 늘어났기에 학생의 선택권은 이전보다 축소되었다고 볼 수 있다. 표면적으로 선택중심 교육과정은 학생의 진로와 적성에 맞춘 과목 선택을 목표로 하지만, 여전히 학교의 주도로 진행되어 학생의 진정한 선택권이 제한된 상황이었다.

이어서 2015 개정 교육과정 편제는 보통 교과와 전문 교과로 구분되고, 보통 교과는 다시 공통 과목과 선택 과목으로 구성되며, 선택 과목은 일반 선택과 진로 선택으로 구성되었다. 선택 과목을 이렇게 구성한 것은 ‘공통 과목’을 통해 기초 소양을 함양한 후 학생 각자의 적성과 진로에 따라 맞춤형으로 교육을 받을 수 있도록 하기 위함이다. 전문교과의 경우 2015 개정 교육과정에서부터 NCS 기반 교육과정이 직업계고에 도입되었다. 2009 개정 교육과정의 전문교과 체제에서 전문공통과목, 기초과목, 실무과목 3개의 과목체계구조로 변경되었으며(교육부, 2015) 실무과목은 NCS 기반에 근거하여 운영계획과 교수·학습이 이루어졌다(교육부, 2015). NCS 기반 교육과정은 기존 직업계고의 직업교육에 비해 현장성을 강화할 수 있었으며 교육과정과 자격 간 연계가 강화되었다는(이병욱, 안재영, 강철민, 2015) 장점을 갖고 있으나, ‘직업을 위한 교육’에 초점을 두고 있기 때문에 온전히 학생의 진로에 따른 과목 선택권을 보장하기 보단 노동시장 진입을 수월하게 하는 현장형 인재 양성을 지향하고 두고 있다는 비판이 존재한다(전영욱, 류지은, 2018; 조진호, 2021).

이외에도 특성화고 선택중심 교육과정에 영향을 미치는 다양한 제도와 프로그램이 존재한다. 일부 특성화고에서는 과정평가형 자격제도와 도제학교를 운영하고 있는데 과정평가형 자격제도는 학생들이 과정평가형 자격과 연계된 전공과정을 선택하여 이를 이수하는 형태로 교과선택권을 확보하겠다는 계획을 갖고 있다(교육부, 2017). 이는 학생들이 단위 과목이 아니라 단위 과목의 집합으로 이루어진 특정 전공 과정을 선택하는 것으로 과정평가형 자격제도 등이 교육훈련 시수 과중, 교과가 아닌 특정 전공 과정을 선택하는 방식, 자격취득 과정과 별개로 자신의 흥미에 맞는 교과 선택권이 사실상 제한되고 있다(전영욱, 류지은, 2018). 도제 학교 프로그램에서도 학생이 선택할 수 있는 교육과정이 있지만 OJT(기업에서의 현장 실습)가 전체 프로그램의 50% 이상을 차지하고 있으며 ‘학생선택능력단위’²⁾를 편성·운영하기 위한 기반이 마련되지 못한 상황이기 때문에(안재영, 2018) 학교에서 선택중심 교육과정의 취지를 온전히 이행하기는 어렵다. 즉, 2015 개정 교육과정에서 특성화고는 NCS 기반 교육과정, 과정평가형 자격제도, 산학일체형 도제학교, 현장학습, 정부부처 연계 사업 등은 복잡하고 이질적인 영역의 공공과 민간기관에서 운영에 참여하고 있기 때문에(김지영, 2023) 단위학교에서도 교육과정 편성·운영시 혼란을 느끼고 있으며 각각 정책과 프로그램이 요구하는 과도한 수업시수는 학생의 교과 선택권이 실현되기 어려운 상황이라고 볼 수 있다.

작금의 현실에서 직업계고 학점제에서의 선택중심 교육과정은 ‘과목 선택권 확대’를 중심으로 교육과정 다양화로서의 변화가 시작되었다. 교육부(2021)가 발표한 직업계고 학점제의 교육과정 운영모형은 “학교가 인력양성 유형과 학생의 진로 및 취업 경로에 따라 다양한 교육과정 운영모형을 적용할 수 있도록” 가이드라인을 제시하였다. 직업계고 학점제 교육과정 운영모형으로 명명되었지만 교육과정 모형 내용은 학교가 학생들에게 다양한 교육과정을 우선적으로 제시하고 학생들이 해당 교육과정 모형안에서 과목을 선택할 수 있다. 이 교육과정 운영모형은 연구·선도학교의 사례를 바탕으로 연구하여 정립된 상태이기 때문에 학교는 8가지의 교육과정 운영 모형(교육부, 2021)(<표 1> 참고)에서 학교의 특성, 환경과 중장기 발전계획을 고려하여 선택할 수 있다.

직업계고 학점제 교육과정 운영 모형의 현황을 살펴보면 다음과 같다. 2023학년도를 기준으로 세부전공 코스형을 계획한 직업계고 학교가 89.2%, 타학과 융합형의 경우 73.6%인 반면, 블렌디드 학습형은 1.9%, 1:1 매칭형은 3.7%, 후학습 지원형은 9.9%만 계획하고 있다(이상훈 외, 2023). 이는 8개의 세부모형이 구조적 완결성 속에서 동등한 위상을 갖는 모형으로 구성되었으나, 실제로는 학교 및 학과에 따라 운영 비율이 다르며 몇몇 세부모형의 경우 해당 모형의 도입 목적을 달성하지 못한 것으로 보인다(이상훈 외, 2023). 예를 들어 후학습 지원형의 경우 기초학력 보완과 보통교과 선택권 확대를 위한 목적으로 도입되었지만 전체적인 편성 비율이 낮고(9.9%), 특성화고(10.4%)보다 마이스터고(13.0%)의 편성 비율이 더 높은 것으로 나타났다(이상훈 외, 2023).

운영 모형에서 나타난 바와 같이 직업계고 학점제의 선택중심 교육과정은 특성화고가 학교의 특성과 인력양성 유형에 따라 교육과정을 편성한 후에 학생이 과목을 선택하는 구조로, 완전한 유연성을 제공하기에는 한계가 있다. 이러한 제약에도 불구하고, 선택중심 교육과정은 기존의 학과 체제로 정해진 교육과정보다 더 다양한 선택지를 제공하며 학생의 선택권을 보장하는 체제를 형성하고 있으며 이는 기존 교육과정 개정에 따른 선택중심 교육과정보다 더욱 구체적이고 발전된 형태로 평가될 수 있다. 그럼에도 불구하고 이수정 외(2021)의 연구는 학생의 진로와 적성을 반영한 선택중심 교육과정 모형에 대한 명확한 개념 정의와 신뢰성 문제를 제기하였다. 특히, 직업계고 학점제의 선택중심 교육과정에서 강조되는 타학과 융합 및 부전공 이수형은 특성화고 학생의 융복합 역량 개발에 기여할 수 있는 강점으로 평가되지만 새로운 교육과정에 대한 명확한 정의의 부재는 운영상의 어려움을 초래하고, 학교 현장의 변화가 소극적으로 진행될 위험을 갖고 있다. 또한 직업계고 학점제의 선택중심 교육과정 정책은 교육과정의 양적 다양화를 이루었으나, 질적 의미에 대한 논의는 부족하다. 연구·선도학교가 아닌 학교가 자율적으로 선택중심 교육과정을 운영할 것인지, 양상은 어떻게 나타나는지 구체적인 현상도 탐구할 필요가 있다.

교육과정 평가의 목적은 교육의 질 제고를 위해 교육과정 개발을 위한 필요한 정보를 종합하고, 명료하게 이해하여 교육과정의 실천 자체를 개선하고, 교육과정의 영향력과 결과를 점검하기 위함이다(Owen, 2020). 이를 위해 배호순(2000:45)은 교육과정 평가를 교육과정 자체(개발, 개선 정당화), 교육과정의 운영 및 실천(합리화 및 정당화, 개선, 책무성, 자율성 등), 교육과정의 성과 및 영향(교육목표 달성도, 의사결정 등)의 세 가지 측면을 중심으로 판단하였으며 이성호(2004:443)는 교육과정 평가의 측면을 교육과정 목표의 확인과 정당성, 교육과정 계획과 운영의 일치성, 교육내용의 범위, 교수학습 자료의 적절성, 교육과정의 사회공헌도, 비용 대비 효과성 등으로 구분 지었다. 본 연구에서는 학교 교육과정 질 제고를 위해 교육목표, 교육과정 계획 및 운영, 교수·학습 과정 및 실행, 성과 및 영향과 같은 결과를 포함한 교육과정 제 요소에 대한 체계적인 절차와 평가(박일수, 2010; 배호순, 2000; 이성호, 2004)를 교육과정 평가로 개념화하고자 한다.

현재 우리나라 맥락에서 교육과정 평가는 국가 주도로 개발 및 고시된 교육과정이 지역 교육청을 거쳐 학교와 교실 수준에서 잘 시행되고 있는지를 살펴보기 위한 체계적이고 총괄적인 활동이라 할 수 있으며, 이는 주로 국가 교육과정의 질 관리(김재춘, 1998)를 목적으로 ‘교육과정 모니터링’이라는 이름 아래에 시행되었다(김혜숙 외, 2018; 배주경 외, 2019;). 교육과정 모니터링은 국가, 시·도 교육청, 학교 수준에서 자기 점검, 면담 조사, 설문조사, 수업 관찰 및 수업 성찰을 통해 교과 교육과정이 실행되는 양상을 점검하는 방식으로(배주경 외, 2019) 실행되었는데 이는 교육과정의 질 관리를 위해 단계별 절차와 목적의 적합성과 정당성을 기반으로 체계적으로 점검하고 평가하는 과정은 이루어지지 않고 있는 것으로 보인다.

그간의 중등단계 직업교육 관련 교육과정 평가는 이병욱(2002), 신연주 외(2018), 허희옥 외(2017)의 연구로 소수의 연구만이 이루어져 왔으며 특히, 직업계고 대상 고교학점제 정책이 목표로 한 교육과정의 다양화와 선택중심 교육과정을 평가하는 연구는 부재하다고 볼 수 있다. 특성화고에 선택중심 교육과정이 2022년에 전면도입 되었기 때문에 현 시점에서 교육과정 운영시 의사결정에 도움이 되는 정보를 제공하고 교육과정의 장점과 가치를 판단하여 교육과정의 효과에 대해 체계적으로 사정해야 할 필요가 있다. 이에 의사결정 지향평가 중 대표적인 Stufflebeam의 CIPP 평가모형을 활용하고자 한다. CIPP 평가모형은 의사결정자인 학교관리자와 교사가 특정 기준에 따라 최선의 판단을 내릴 수 있도록 각 의사결정 대안의 상대적 장단점에 대해 충분한 정보를 제공하며 합리적이고 질서 있는 방식(Walberg & Haertel, 1990)으로 평가된다. CIPP의 평가의 주된 목적은 “증명”(to prove)보다는 “개선(to imporve)”이며, 의사결정을 위한 유용한 정보를 제공하는 과정으로서의 개념을 강조한다(Stufflebeam, 2000:31).

구체적으로 CIPP 평가모형은 상황평가(Context evaluation), 투입평가(Input evaluation), 과정평가(Process evaluation), 결과평가(Product evaluation)로 나누어진다. 상황평가는 “학교라는 그룹의 요구를 명확히 파악한 후, 목적을 설정하고 성과를 판단하는 지표를 제공”한다(Stufflebeam, 2000:39). 따라서 대상자(그룹)의 정의, 대상자의 요구, 방해요인, 자원, 개선 지향적인 목표설정을 위한 기준, 개선의 성과를 판단하는 기준이 될 수 있으며, 상황평가를 통해서는 목표 확인을 위한 요구, 문제, 기회 등에 대한 정보를 얻을 수 있게 된다. 두 번째 투입평가의 주요 지향점은 “필요한 변화를 만들기 위해 행동의 과정들을 묘사”하는데 있다(Stufflebeam, 2000:44). 이 모형은 구성원들이 대안을 평가하고 찾을 때 “최선의 것을 구매(best buy)”할 수 있도록 도와준다. 따라서 투입평가를 통해서는 주어진 목표달성을 위한 대안적 전략들의 장단점에 대한 정보를 얻을 수 있게 된다. 세 번째 과정평가는 “실행되고 있는 계획에 대한 계속적인 점검”을 하는 것이다(Stufflebeam, 2000:47). 학교 구성원들에게 교육과정이 계획에 따라 효율적으로 진행되는지에 대한 사항을 비롯한 효과적인 가용자원의 활용 등에 대한 정보 제공이 목표가 될 수 있다. 따라서 과정평가를 통해서 프로그램의 일정과 계획준수 사항, 효과적인 가용자원의 활용성, 진행의 원활성 등에 대한 정보와 더불어 계획이 필요하였으나 계획되지 못했던 부분이나 계획의 수정이 필요한 부분에 대한 정보를 얻을 수도 있다. 네 번째 산출평가는 “해당 교육과정의 성취도를 측정하고 해석하며, 판단하는 것”을 주목적으로 하고 있다(Stufflebeam, 2000:51). 성취 업적들이 목표와 일치하는 정도를 비롯하여 해당 교육과정의 성공 여부에 대한 정보를 수집하고 분석하게 되며, 다른 대안 교육과정의 성과와 비교할 수도 있다. 또한, 산출평가는 의도된 효과와 의도되지 않은 효과, 긍정적 효과와 부정적 효과 등 모두를 포함한 교육과정 전반의 효과를 점검할 수 있다(Stufflebeam, 2000). 이 연구는 특성화고 선택중심 교육과정의 성과를 평가하는 것이 아니라, 교육과정 전반을 포괄적인 과정 중심 평가를 통해 의사결정에 체계적인 피드백을 제공하고 학교 구성원의 요구사항에 맞게 운영되고 있는지 판단함으로써 궁극적인 특성화고 교육을 개선하는데 목적을 두고 있기에 CIPP 모형에 근거한 평가지표를 개발하고자 한다.

본 연구는 CIPP 모형을 활용한 교육과정 평가지표 개발에 대한 문헌 고찰, 그리고 전문가로 구성된 집단의 전문적 판단에 근거하여 특성화고 선택중심 교육과정 평가지표를 개발하였으며, 특성화고 고교학점제 기반 선택중심 교육과정을 운영시 의사결정에 도움이 될 수 있도록 활용하는데 목적이 있다. 이를 위해 다음과 같은 단계로 연구를 진행하였다.

첫 번째로 교육과정 및 교육프로그램 평가요소를 탐색하기 위해 CIPP 평가모형을 적용한 교육과정 또는 교육프로그램의 평가도구 및 평가지표에 대한 선행연구를 중심으로 살펴보고 교육과정 및 교육프로그램의 각 평가단계에서 공통적으로 주요하게 나타나는 평가요소를 추출하였다. 이를 위해 학술연구정보서비스(RISS)에서 ‘교육과정 평가’, ‘교육프로그램 평가’로 검색한 후, 총 40개의 연구(KCI 등재지는 23건 학위논문은 16건, 보고서 1건)를 살펴보았으며 이중 CIPP 모형을 적용하고 평가요소 및 평가지표의 설명까지 나와 있는 10개의 문헌을 중심으로 분석하였다.

두 번째로 선행연구를 통해 도출된 평가요소를 바탕으로 특성화고 선택중심 교육과정을 운영한 교사 6명으로 구성된 전문가 면담과 선행연구를 통해 평가지표를 추가 개발하거나 수정하였다. 이 단계에서는 델파이 조사지를 구성하기 위한 기초 자료로 특성화고 선택중심 교육과정에 대한 예비 평가지표까지 개발하였으며 4개의 평가단계와 17개의 평가요소를 추출하였다.

세 번째 단계에서는 델파이 조사를 활용하여 선택중심 교육과정 평가지표의 타당성을 갖추고자 하였다. 델파이 조사에서 전문가에 대한 의존도가 높은 만큼 지식, 경험, 영향력, 동일집단 혹은 이질적인 집단 등을 고려하여(Baker, Lovell, & Harris, 2006) 선택중심 교육과정에 대해 전문적인 의견을 제공해 줄 수 있는 총 13명의 전문가 패널을 구성하였다. 델파이 조사 방법은 선행연구 분석을 통해 구안한 평가요소와 지표 초안을 제시하고, 전문가 패널들에게 응답을 요청하는 형태로 진행되었으며 자유응답식 문항구조가 아닌 반구조화된 질문지를 제공하여 평가영역의 타당성을 검증받고, 새로운 의견도 자유롭게 제시할 수 있는 수정 델파이 방법(Modified Delphi Technique)을 사용하였다.

델파이 조사는 총 3차에 걸쳐 진행하였는데 1차 조사의 경우 전문가 그룹 13명 전원이 참여하였고, 2·3차 조사에서는 12명이 참여하였다. 1차 조사는 2022.11.9부터 11.18까지, 2차 조사는 2022.12.1.부터 12.6까지 3차 조사는 2022.12.12.부터 12.15까지 실시 되었으며 델파이 설문지는 전문가들에게 질문지를 이메일로 발송 및 회수하였다. 설문지는 평가지표의 적절성을 Likert 5점 척도(1: 매우 타당하지 않음, 5: 매우 타당함)로 선택할 수 있도록 구성하였고, 문항마다 부적절하거나 수정이 필요한 사항, 보완이 필요한 사항에 대해 자유롭게 의견을 기술할 수 있는 의견란을 포함하여 제작하였다. 이상의 절차를 요약하면 다음 <표 2>와 같다.

특성화고 선택중심 교육과정 평가지표 타당성을 위해 델파이 조사를 실시하였다. 전문가 그룹의 크기와 관련해서 Baker 외(2006)는 초창기 델파이 연구에서 7명 이내의 전문가 집단으로 선정하였으나 신뢰성 있는 연구를 위해 20명 이내로 구성하는 것이 오차를 최소화 할 수 있다고 주장하였다. 노승용(2006)도 델파이 조사에서의 전문가는 최소 10명 이상을 선정하는 것이 바람직하며 참여하는 전문가의 시각을 다양하게 선발함으로써 시각의 편향에 따른 왜곡현상을 막는 것이 중요하다고 하였다. 이에 따라 선택중심 교육과정 정책에 대해 전문적이고 학교현장의 의견을 제공할 수 있는 전문가 그룹을 교사 집단, 연구자 집단으로 나누었고 총 13명의 전문가를 선정하였다. 구체적으로 전문가 그룹은 <표 3>과 같이 대학원에서 교육학, 직업교육 박사학위를 가지고 있으며 선택중심 교육과정에 대한 이해가 있는 연구자 7명과 선택중심 교육과정을 주도적으로 운영했던 교사 6명을 대상으로 구성하였다. 연구자 그룹 7명 중 4명은 직업계고 대상의 고교학점제가 초창기 도입되었을 때부터 참여한 연구자로 선택중심 교육과정이 학교현장에서 어떻게 운영될 수 있을지 정책에 참여한 연구자이며 그 외 연구자 2명은 직업계고 교육정책 및 교육과정 전문가이다. 마지막 1명은 고교학점제 선택중심 교육과정을 집중적으로 연구하여 학술지 및 보고서를 작성한 연구자이다. 교사 집단은 학교의 교육과정 전문가로서 평가지표의 적절성과 현실성을 조언해 줄 수 있는 특성화고 대상 고교학점제 선택중심 교육과정 운영 경험을 주도적으로 해본 4명의 교사와 직업계고 교육과정 컨설턴트 경험이 있는 2명의 교사를 선정하여 진행하였다.

본 연구는 문헌연구와 델파이 조사 결과의 타당도를 분석하기 위해 변동계수(CV), 내용타당도 비율(CVR), 합의도, 수렴도를 구하였다. 먼저 안정도 검증은 반복되는 설문 과정에서 패널들의 설문 응답의 차이가 적어서 응답의 일치성이 높은 경우 안정도가 확보되었다고 본다. 변동계수가 05. 이상인 경우 추가적인 설문이 필요 없으며 0.5∼0.8인 경우 비교적 안정적이라 할 수 있다(노승용, 2006).

다음으로 내용타당도는 해당 검사를 구성하는 문항들이 측정하고자 하는 내용이 전체의 문항을 대표할 수 있도록 문항들이 표집이 되어 있는지 확인하는 것이다. 내용타당도 비율은 전체 응답한 패널의 비율이 50% 이상일 때 해당 문항의 내용이 타당하다고 보고 있으며 타당하다고 응답한 패널의 비율이 50-100% 사이일 때, 내용타당도는 0과 1 사이에 있게 된다. CVR 값은 Laswhe(1975)가 제시한 데이터에 의해 델파이 조사에 참여한 패널 수에 따라 최소값이 결정되며 유의도 .05 수준에서 CVR의 최소값 이상을 가진 문항만이 내용타당도가 있다고 판단할 수 있다(Laswhe, 1975:568). 본 연구의 전문가 패널을 13명이므로 CVR 값이 .54이상인 지표만이 내용타당도가 있다고 판단하였다.

또 다른 델파이 패널들의 의견 타당도를 분석하는 방법으로 전문가 패널의 의견수렴과 합의정도를 분석함으로써 제시할 수 있다(이종성, 2001). 합의도와 수렴도를 나타내는 공식은 다음과 같다.

Mdn은 중앙값이며 Q, Q₃은 각각 1사분위와 3사분위의 계수로 전체 사례 수의 누적값 중 25%, 75%를 의미한다. 이 연구에서는 델파이 1,2,3차 조사결과 합의도가 .75이상, 수렴도가 .50이하이면 전문가들의 의견이 합의점에 도달한 것으로 분석하였다(이종성, 2001). 이 외에 전문가의 주관적인 의견을 제시한 경우 전문가 두 명 이상 공통으로 지적하였거나 한 명의 의견이라도 연구자가 의미 있다고 판단될 때 그 의견을 채택하였다.

본 연구는 문헌고찰을 통해서 특성화고 고교학점제 기반 선택중심 교육과정의 평가요소, 항목과 지표를 탐색하였다. 이를 위해 CIPP 평가모형을 적용한 연구 중 평가요소 및 지표가 제시된 문헌을 중심으로 분석하였고 CIPP 평가모형을 적용하지 않은 선행연구 중 특성화고의 특성과 환경을 반영한 경우 평가지표 개발시에만 참고하였다.

직업교육 교육과정에 대한 평가는 취업률, 자격증 취득 수, 직무 역량 증진과 같은 실제적이고 측정 가능한 구체적인 결과로 이어질 수 있기 때문에 일반고의 교육과정 평가와는 다르게 진행되어야 한다. 특성화고를 포함한 직업계고 교육과정 평가지표에 관한 연구는 이병욱(2002)의 연구가 유일하며 직업계고와 관련된 다양한 평가 연구로 허희옥 외(2017)는 직업교육의 성과 분석 모형을, 신연주 외(2018)는 특성화고의 특정 프로그램에 대한 평가지표를 개발하였다. 이 세 연구는 모두 CIPP 평가 모형을 활용하였으며 이 연구를 중심으로 평가지표를 구안하였다. 그 외 중등 및 고등교육단계에서 CIPP 평가 모형을 활용한 이화진(2011), 강진아(2013), 서상완(2018), 구경호, 남수미(2019), 강지혜, 손복은(2021), 김수란, 이선경(2021), 이소영(2021), 차봉은(2021)의 선행연구들을 참고하여 CIPP 모형의 각 영역벌 프로그램 평가지표를 도출하여 내용분석법과 빈도 수를 적용한 후 각 차원별로 분류하여 공통부분을 추출하였다. 그 결과 <표 4>와 같은 평가요소가 추출되었다.

본 연구에서 선행연구 고찰과 전문가 면담을 통하여 추출된 17개의 평가요소는 다음과 같다. 상황평가에서는 ‘요구분석’, ‘교육목표’, ‘환경분석’ 순으로 주요한 평가요소가 추출되었고, 투입평가에서는 ‘교육과정 설계’, ‘교수자 지원’, ‘물적지원’, ‘지원체제’, ‘교육내용’이 추출되었으며 물적지원은 학교 교육의 특성을 부각시키기 위해 학습환경 지원으로 평가요소 명명을 변경하였다. 과정평가에서는 ‘교육과정 운영’, ‘평가과정’이 선행연구로 도출되었고, 고교학점제 선택중심 교육과정 운영을 위한 진로지도가 강조되면서 전문가 면담에서 강조된 진로지도 평가요소가 추가되었다. 산출평가의 주요 평가요소는 ‘만족도’, ‘학생변화’, ‘환류’, ‘목표달성’, ‘성취도’가 주요 평가요소로 추출되었는데 ‘성취도’ 평가요소는 ‘학생변화’의 평가요소에 포함된 관계로 요소를 합하였다. 아울러 ‘현업 활용도’, ‘취업(진학)률’의 평가요소는 직업계고 목적과 연관된 성과이기에 평가요소로 선정하였다.

CIPP 평가 모형을 지표로 각 평가영역을 평가요소와 지표(문항)로 구분하였고 이를 개발하기 위해 관련 선행연구를 참고하였다. 상황평가의 평가항목와 이에 근거한 평가지표는 다음과 같다. 요구분석은 국가 수준 요구분석, 학생 요구분석, 학교 구성원 요구분석(이병욱, 2002; 이화진, 2011; 차봉은 2021)으로 추출되었고 교육목표는 교육과정 목표 개발, 목표와 교육과정과의 연계(신연주, 2018; 이병욱, 2002)로 구성되었다. 환경분석은 학교 내·외여건 분석의 충실성(김수란, 이선경, 2021; 신연주, 2018)이 평가항목 및 지표로 구성되었다.

투입평가의 평가항목과 지표 역시 기존 선행연구와 전문가 면담을 바탕으로 추출되었다. 교육과정 설계에서는 교육과정(수업) 개발 및 체계화(구경호, 남수미, 2019; 김수란, 이선경, 2021; 이병욱, 2002; 이화진, 2011), 학습자 중심 교육과정은 선행연구(구경호·남수미, 2019; 김수란·이선경, 2021)와 전문가 면담을 중심으로 평가항목 및 지표를 제시하였다. 교수자 지원에서는 부서 권한과 역할 부여의 명확성(이소영, 2021), 교수능력 개발 지원의 적절성(이병욱, 2002; 이소영, 2021), 교원 수급 및 배치는 전문가 면담과 이병욱(2002)의 연구로 평가항목과 지표가 도출되었다. 학습환경 지원은 시설·예산지원(신연주, 2018; 차봉은, 2021)이 지원 체제는 고교학점제 선택중심 교육과정 운영을 위한 현 단계의 지원체제를 분석하는 것이 필요하여 전문가 면담을 통하여 교육과정 운영 지원 조직 및 외부 협력이라는 평가 항목과 지표를 개발하였다. 마지막으로 교육내용 구성은 강진아(2013), 이화진(2011)의 연구를 바탕으로 평가항목과 지표를 구성하였다.

과정평가의 평가항목 및 지표는 교육과정 운영과 평가과정으로 나뉜다. 교육과정 운영은 강지혜, 손복은(2021), 차봉은(2021)의 선행연구와 전문가 면담에 의해 교육과정 운영이 원활성, 교육과정 운영의 충실도, 학교 구성원 요구분석으로 평가항목과 지표가 구성되었다. 평가과정은 평가 계획 이행의 충실성(이소영, 2021), 학생 평가 운영(차봉은, 2021), 만족도 조사(구경호, 남수미, 2019)는 선행연구를 통해 도출되었으며 최소 성취수준 미도달자에 대한 보충학습 과정운영과 과정중심 평가의 항목은 고교학점제 정책에서 나온 특징적인 내용으로 전문가 면담을 통해 도출되었다. 과정평가의 진로지도 항목 역시 고교학점제 선택중심 교육과정을 운영하기 위해서 전제되어야 할 내용으로 각 단위학교에서 진로지도와 과목 선택의 연계가 각 단위학교에서 운영되는 방식을 평가할 필요성에 대해 전문가 면담에서 도출되어 대학 진로서비스 평가지표를 개발한 고재성(2006)의 논문을 참고하여 평가항목과 지표를 구성하였다.

산출평가의 평가항목 및 지표는 첫째, 학생변화는 정성적 변화, 역량 및 인식 변화, 학업성취는 구경호, 남수미(2019), 신연주(2018), 차봉은(2021)의 연구와 사전면담을 중심으로 구성하였으며 만족도는 구경호, 남수미(2019)의 연구를 통해 도출되었다. 목표달성은 강지혜, 손복은(2021), 김수란, 이선경(2021), 서상완(2018)의 문헌을 통해 교육과정 성과평가와 목표달성도로 구분하였으며 현업활용도 평가요소는 현업활용도에 대한 교사 인식(이소영, 2021; 이화진, 2011)으로 도출되었다. 취업/진학률은 전문가 면담과 이화진(2011)에서, 환류는 차봉은(2021)의 연구를 통해 환류체제 관련 평가항목과 지표가 개발되었다. 문헌연구와 면담을 통해 개발된 특성화고 선택중심 교육과정 평가 요소와 지표는 CIPP 평가 모형에 따라 상황평가에서 요구분석, 교육목표, 환경분석으로 평가지표 20개이며 투입평가에서 교육과정 설계, 교수자 지원, 물적지원, 지원체제, 교육내용으로 평가지표 38개로 도출되었다. 과정평가에서 교육과정 운영, 평가과정, 진로지도로 평가지표 21개, 산출평가에서는 학생변화, 만족도, 환류, 목표달성, 취업(진학)률, 현업활용도로 평가지표 38개가 개발되었다.

문헌연구와 면담 분석을 통하여 도출한 평가요소, 항목 및 지표의 내용타당도, 수렴도, 합의도를 살펴보기 위하여 델파이 연구를 수행하였다. “델파이 조사는 지식을 공유하는 전문가들이 지식을 구축하는 건설적인 노력의 과정”(Kennedy, 2004:505)으로 델파이 조사 기법을 교육연구의 다양한 분야 중 평가지표를 개발하는데 사용할 수 있다(이종성, 2001). 본 연구에서는 반구조화된 문항의 형태 즉, 수정 델파이 방법(Modified Delphi Technique)을 사용하였으며 총 3회의 델파이 조사 중 1차 델파이 설문지는 평가영역과 지표에 대한 각각의 타당성에 대해 리커트 5점 척도로 응답하도록 구성하였다. 평가지표 초안은 전문가 패널이 응답한 결과를 평균, 표준편차, 긍정률(%)과 같은 기술통계와 최빈값, 중앙값, 사분범위 등의 집중 경향치, CVR을 바탕으로 정리하여 수정하고 보완하였다.

1-3차 델파이 조사 결과 평가요소에 대한 타당성 정도는 모든 평가 단계에 있는 모든 평가요소의 평균 점수가 5점 척도에서 1차 4.0, 2차 4.3, 3차 4.3 이상이었으며, 표준편차는 1차 0.5-1.09, 2차 0.51-0.77, 3차는 0.38-0.52로 점차 높게 나타났다. 중앙값은 모두 5점으로 평가요소에 대한 타당도는 매우 높게 나타났다. 변이계수가 모두 0.5 이하로 모두 안정적인 수준으로 나타났으며 CVR은 0.57∼1.00으로 Lawshe(1975)이 제시한 전문가 패널 13명일 때 타당한 수준인 0.54를 넘어서는 것으로 델파이 조사시 평가요소에 제시된 사항은 모두 타당성이 있는 것으로 나타났다. 내용적인 측면에서 1차 조사 시 전문가 패널의 공통된 제안사항에 따라 과정평가에서 “진로지도“를 ”진로지도 및 상담“로 변경하였다. 산출평가의 ”현업활용도“와 ”취업/진학률”은 졸업생 대상으로 평가를 진행해야 하며, 현재 선택중심 교육과정이 운영이 현업활용도와 취업/진학률의 성과와 직접적으로 연관되지 않을 수 있다는 의견을 반영하여 삭제하였다. 2차 조사 시 패널 중 교육내용 구성은 교육과정 설계와 중복된다는 의견을 반영하여 평가요소에서 삭제하였다.

평가지표의 경우 1차 델파이 조사에서 변이계수가 모두 0.5 이하로 모두 안정적인 수준으로 나타났으며 각 평가지표 중 CVR이 0.54보다 작은 경우 문항을 삭제하거나 전문가 패널의 의견을 바탕으로 지표를 명확히 수정하는 방식으로 변경하였다. 예를 들어 투입평가에서 패널의 의견을 반영하여 수강신청 기간과 과목에 대한 안내 및 상담에 대한 문항을 추가하였으며, 교육내용 구성에서 각론내용을 선택중심 교육과정으로 편성하였는지에 대한 여부, 교사역량 개발에 대한 지원 문항을 학습공동체와 정보전달에 대한 지표로 나누어 추가하였으며 교육과정지원 조직에 대한 ‘교육과정 지원팀’ 문항과 교사간의 협력적 조직문화에 대한 지표를 추가하였다. 특히 선택중심 교육과정의 목표 달성과 성과에 대한 지표가 명확하지 않다는 의견을 수용하여 학습목표 달성, 교과목 선택 기회 확대, 교사 교육과정 편성·운영 자율권 확대, 맞춤형 교육, 융복합 인재 양성, 자기주도적 학업 설계 지원 여부에 대한 평가지표를 추가하였다.

2차 델파이 조사의 평가지표에서 하나의 지표를 제외한 모든 지표의 평균이 4.0 이상이었으며 변이계수도 모두 안정적이고 CVR 값 역시 타당성 기준에 부합했다. 합의도와 수렴도 역시 각각 0.7이상, 0.5이하의 기준에 부합하였다. 지표중 CVR값이 0.54보다 작은 지표를 삭제하였으며 투입평가의 지표 중 “학생 선택중심 교육과정 운영을 위한 교과교실(강의실)은 마련되어 있다”는 직업계고의 경우 전문교과 관련 실습실은 비교적 여유가 있는 반면, 보통교과(과학, 영어 및 수학 등)에 관한 교과교실제 운영 계획은 미흡하기에, 이에 관한 내용으로 보통교과와 전문교과로 나뉘어 문항을 수정하였다.

3차 델파이 조사로 도출된 각각의 평가지표 분석 결과는 총 71개의 평가지표 모두 평균 4.0이상을 나타냈었으며 변이계수 또한 모두 0.5이하로 안정적인 합의를 이끌어 내었다. 내용타당도, 합의도, 수렴도의 기준에 미치지 못하는 평가 문항은 없었다. 네 문항을 제외한 67개의 내용타당도는 모두 1로 높은 수준의 타당성을 확보하여 최종적으로 평가요소와 지표가 결정되었다.