중학교급 디지털 역량 수준 진술문 개발 연구¹⁾

디지털 역량의 수준 설정에 대한 대표적 연구물로 유럽연합연구센터(Joint Research Centre)에서 제시한 디지털 역량 구성 프레임워크 Digital Competence 2.2.(이하 DigComp 2.2.)가 있다. DigComp 2.2.(Vuorikari et al., 2022)는 디지털 역량의 분야를 ‘정보 및 데이터 리터러시(Information and Data Literacy)’, ‘의사소통 및 협력(Communication and Collaboration)’, ‘디지털 내용 생성(Digital Content Creation)’, ‘안전(Safety)’, ‘문제 해결(Problem Solving)’의 5가지 영역으로 설정한 후 이를 다시 21개 하위 항목으로 나누었다.

디지털 역량 수준 설정 방식을 먼저 살펴보면, 21개 하위 항목의 수준을 각각 ‘기초(Foudation)’, ‘보통(Intermediate)’, ‘우수(Advanced)’, ‘전문(Highly Specialized)’의 4개 수준으로 나눈 후, 각 수준별로 2개의 하위 수준을 다시 나눈다. 또 각 수준의 특성을 디지털 역량의 하위 요소인 ‘과제의 복잡성(complexity of tasks), 자율성(automation), 인지 영역(cognitive domain)’을 기준으로 체계화한다. 다음 <표 1>은 이를 기준으로 디지털 역량 수준 설정을 위해 제시한 핵심어들이다.

DigComp 2.2에서는 <표 1>의 핵심어들을 통해 수준별 역량을 진술한다. 예컨대, 기초 단계의 1수준은 ‘간단한 명령을 따를 수 있고, 명확히 정의된 일상적인 작업을 수행할 수 있다. 기본적인 도구와 기술에 대한 이해도가 있다.’로 제시된다. 2수준은 ‘약간의 도움을 받아 더 많은 작업을 수행할 수 있으며, 기본적인 문제 해결 능력을 갖추고 있다.’이다. 전문 단계에서 7수준은 ‘매우 복잡한 문제를 창의적으로 해결하고, 전문적인 지식을 활용하여 특정 필요에 맞는 작업을 수행할 수 있다.’이고, 8수준은 ‘디지털 기술을 혁신적으로 활용하여 매우 복잡한 문제를 해결하고, 전문적인 지식을 바탕으로 다른 사람들을 지도할 수 있다.’이다. 모든 수준 진술문은 이상의 핵심어를 기준으로 제시된 수준별 능력에 근거하여 개발되었다.

디지털 역량의 하위 항목 중 하나인 ‘1.2. 자료, 정보, 디지털 콘텐츠 평가’의 수준 진술문을 살펴보면 다음과 같다.

모든 수준의 진술문이 ‘출처의 신뢰성 평가’와 ‘콘텐츠 평가’로 이분화되어 제시된다. 또 수준이 높아질수록 평가 대상인 ‘데이터, 정보, 디지털 콘텐츠’의 성격이 구체화되고(3수준: 명확하게 정의된 → 5수준: 다양한 → 7수준: 디지털 환경에서), 디지털 이용자의 인식이나 수행이 복잡해지고 자율화된다. 디지털 역량의 수준이 높아질수록 과제의 복잡성, 자율적 수행의 정도, 인지적 수준이 높아진다는 것을 확인할 수 있다.

이와 유사한 진술문 기술 형태는 호주의 국가 수준 디지털 평가 도구(National Assessment Program, 이하 NAP)에서도 찾아볼 수 있다. NAP은 학교 차원에서의 디지털 리터러시 교육 성과를 점검하기 위해 국가 수준에서 치르는 평가로서 과학 리터러시, 시민성, ICT 리터러시의 세 가지 영역으로 구성되는데,⁴⁾ 그중 본고와 관련이 깊은 NAP-ICT 리터러시의 수준 진술문은 다음과 같다.

<표 3>에 제시된 수준 진술문을 살펴보면, 수준별로 학생들의 구체적인 수행이 달라진다는 것을 확인할 수 있다. 1수준에 해당하는 학생들은 ‘디지털을 활용한 기초 작업을 수행할 수 있으며, 일반적으로 사용되는 명령, ICT 용어와 기능을 인식할 수 있는 수준’에 있다. 2수준은 1수준에 ‘정보 검색, 기존 정보 수정, 초보적인 결과물 산출, ICT 관련 보안 인식 및 식별 항목’이 추가된다. 3수준에서는 디지털 역량의 범위가 ‘일반적인 정보 검색, 목적에 맞는 출처 선택, 기초적인 정보 산출물 편집, ICT 오용 방지 방법 제안’ 항목으로 확장된다. 최근의 결과 보고에 따르면(ACARA, 2024: 6), 6학년의 NAP-ICT 리터러시 평균 수준은 2수준과 3수준 사이, 10학년은 3수준과 4수준 사이로 보고되었다.

다음으로, 국제성인역량조사(Programme for the International Assessment of Adult Competencies, 이하 PIAAC)는 OECD에서 주도하는 성인 역량에 대한 대규모 국제 조사로, 세계 30여 개국 16~65세 성인을 대상으로 시행한다. 문해력(literacy), 수리력(numeracy), 디지털 문제 해결력(digital problem solving) 또는 테크놀로지 환경에서의 문제 해결(Problem solving in technology-rich environments)의 세 영역으로 구성되어 있다. 그중 디지털 문제 해결력은 테크놀로지의 특징(technology feature), 과제 특징(task feature), 인지적 과정(cognitive process)의 세 가지 차원으로 구성되고, 이는 앞서 살펴본 DigComp 2.2와 유사한 형태이다.

PIAAC의 결과는 500점 척도, 4개 수준으로 나뉜다. 이때 ‘수준’은 점점 복잡해지는 정보 처리 과제를 숙달하는 능력(능숙도)을 의미한다. PIAAC의 ‘디지털 문제 해결력’ 영역 수준 진술문은 다음과 같다.

PIAAC은 위와 같은 수준 진술문을 제시함으로써 각 수준에 해당하는 자들이 성공적으로 수행할 수 있는 활동이나 능력을 요약하여 제시한다. 1수준 이하의 점수 범위(241점 이하)는 가장 낮은 능숙도, 4수준은 가장 높은 능숙도를 보여준다. 수준별로 제시된 수행의 특성들은 각 수준에서 최소 능력을 보유한 자가 50%의 확률로 수행할 수 있는 활동으로 설정된다(단, 가장 낮은 수준(1수준 이하)에서는 미적용). 예컨대, 2수준의 최소 능력을 보유한 사람은 2수준 정도의 난이도로 구성된 시험에서 50점 정도의 점수를 받을 수 있다. 또한 특정 수준의 범위 내 능숙도를 지닌, 평균 능력을 보유한 자는 해당 수준에 위치한 항목을 약 3분의 2정도의 확률로 수행할 수 있다고 본다. 이 평가에서는 수준의 위계와 진술문을 통해 학습자의 수행 범위와 가능성을 예측할 수 있다는 특징이 있다.

마지막으로 스페인의 Instituto Nacional de Tecnologías Educativas y de Formación del Profesorado(이하 INTEF)는 디지털 시대의 학습자를 교육하기 위해서는 교사의 디지털 역량 함양이 필요하다고 제안한 이래(GTTA & INTEF, 2022: 9-16), 앞서 소개한 DigComp를 바탕으로 교사의 디지털 역량 함양을 위한 프레임워크 설계 연구를 진행하였다.

이에 따르면 교사의 디지털 역량은 6개 영역(1. 전문적 헌신, 2. 디지털 콘텐츠, 3. 교수･학습, 4. 평가･피드백, 5. 학생 역량 강화, 6. 학생 디지털 역량 개발)로 이루어지고, 각 영역마다 3~5개의 하위 역량으로 세분화되어 총 21개의 하위 역량으로 구성된다. 21개 하위 역량별로 제시되는 수준은 총 6개로, 기초(Foundation level A1, A2), 보통(Intermediate level B1, B2), 우수(Advanced level C1, C2) 총 3개 단계에서 각각 2개의 세부 수준으로 구분된다. 아래 예시는 ‘전문적 헌신’ 중 다섯 번째 하위 영역인 ‘개인 정보 보호’의 수준 진술문 중 기초 단계(A1, A2)를 제시한 것이다.

개인 정보 보호의 ‘기초’ 수준은 개인 정보 보호 관련 지식을 안내하고 수업에 적용하는 단계, ‘보통’ 수준은 개인 정보 보호에 대한 조치를 취하고 평가할 수 있는 단계, ‘우수’ 수준은 개인 정보 보호를 위한 기술적 조치를 계획하고 구현하며 후속 조치를 실행할 수 있는 단계이다. 이처럼 21개의 하위 역량마다 제시되는 6수준의 진술문을 합하면 총 126개로 상당히 많은 편이며, 수준 진술의 항목 또한 ‘수준, 하위 수준, 성취 지표, 수행 설명 및 예시’로 매우 세분화되어 있고 기술문도 구체적이다. 해당 프레임워크는 학생이 아닌 교사의 디지털 역량을 다루기는 하지만 수준 설정 방식이나 구체화의 정도 측면에서 참고할 만하다.

이상의 수준 진술문 개발 사례 분석을 통해 얻을 수 있는 시사점은 다음과 같다. 유럽 연합에서 제시한 DigComp 2.2.와 이를 참고하여 개발한 스페인의 디지털 역량 프레임워크(INTEF)는 상위 영역과 하위 영역을 구분하여 구체화된 수준을 기술하는 만큼, 수준 설정의 기준이 명확하고 구조적이라는 점에서 디지털 역량에 대한 세부 정보를 제공하는 데 참고할 만하다. 이를 본 연구에 적용하면 디지털 역량 전체에 대한 종합 수준의 기술뿐 아니라 하위 영역에 대한 수준 정보를 제공하는 것이 유효함을 알 수 있다.

그러나 DigComp 2.2.에서는 21개 분야별로 8수준의 진술문(총 168개)을 제시하고, 스페인의 경우 21개의 하위 역량별로 6수준의 진술문(총 126개)으로 세분화하여 제시하다보니 디지털 역량의 통합성이나 수준의 총체성을 확보하기 어렵다는 제한점이 있다. 따라서 이 연구에서는 수준 진술문의 지나친 세분화를 막고 학습자의 수행을 총체적으로 기술하기 위해 영역별 하위 요소별이 아닌, 하위 역량별 수준 기술 방식을 택하고자 한다.

다음으로는 선행 사례에서 다양한 방식으로 제시되었던 수준 명명 방식에 대한 것이다. 본고에서는 수준명을 ‘기초, 보통, 우수, 전문’과 같이 수준의 정도를 직관적으로 파악할 수 있는 이름보다는 ‘1수준, 2수준, 3수준’과 같이 수준진술문에 기술된 수행 기술을 통해 수준을 파악할 수 있도록 하는 방식을 취하도록 한다. 이는 평가 결과에 따른 낙인효과를 우려한 것으로, ‘하’ 또는 ‘미달’이라는 용어 사용에 따른 부정적 영향을 사전에 방지하고자 하는 조치이다.

마지막으로 대부분의 선행 연구에서 수준을 4단계(1~4수준)나 6단계(1~6수준)로 구분한 것을 확인할 수 있었다. 이들 사례처럼 단계를 세분화하여 제시하기 위해서는 평가도구 자체의 문항 수가 충분히 많아야 하고 기대되는 학생들의 점수 폭도 넓어야 한다. 하지만 본 연구에서 활용하는 디지털 역량 진단도구의 문항 수는 20개로 선행연구에서 살펴본 검사들의 문항 수보다 비교적 적고, 그만큼 기대되는 성취의 폭이 넓지 않을 것으로 예상되므로 수준을 3~4단계 정도로 설정하는 것이 적절할 것이라 판단된다.

수준 진술문 개발은 디지털 역량의 개념 체계를 기반으로 해야 하고, 학생들의 실제 디지털 역량 수준에 대한 정보를 참고해야 한다. 이에 수준 진술문 개발 절차를 제시하기 전에, 개발의 토대가 되는 디지털 역량의 개념 체계 및 구성 요소 개발 연구(김자영 외, 2022), 디지털 역량 진단 도구 개발 연구(김자영 외, 2023; 오은하 외, 2024)를 간략히 언급하고자 한다.

본고에서 전제로 하는 디지털 역량의 개념은 ‘디지털 사회 시민으로서 자아를 실현하고 사회 정의를 이루기 위해 갖추어야 할 기본 디지털 소양 및 실천 역량’이며(김자영 외, 2022: 62), 전체적인 디지털 역량의 개념 체계는 다음과 같다.

위의 개념 체계에 따라 수준 진술문 개발의 틀 역시 기본 소양과 실천 역량으로 구성하였다. 기본 소양(디지털 기본 역량)은 학생들의 디지털 환경에 대한 이해 및 활용 능력으로, 실천 역량의 기본이 되는 소양이다. 실천 역량(디지털 실천 역량)은 기본 소양을 토대로 실생활 맥락에서 복합적으로 발현되는 능력이다(김자영 외, 2022: 96). 기본 소양의 구성 요소는 디지털 사회의 이해와 자아정체성 확립, 디지털 기술의 이해와 활용, 정보･콘텐츠의 관리와 활용이며, 실천 역량은 디지털 의사소통과 협력, 디지털 창작 및 향유, 디지털 시민 참여로 이루어진다.

실제 학생들의 디지털 역량 현황을 분석하고 이를 반영한 수준 진술문을 개발하기 위해 본 연구에서 자체적으로 디지털 역량 진단도구를 개발하고 평가를 시행하였다(김자영 외, 2023; 오은하 외, 2024). 먼저 디지털 역량 진단도구 개발을 위해 디지털 역량 개념 체계에서 제시한 영역 및 요소, 2022 개정 교육과정 교과별 연계를 바탕으로 개발한 디지털 역량 성취기준을 근거로 기본 소양과 실천 역량 문항을 총 20개 개발하였다. 기본 소양 평가 문항은 선다형과 자기보고식으로 구성하여 기본적인 디지털 지식에 대한 이해를 평가할 수 있도록 하였으며, 실천 역량 평가 문항은 시나리오 기반의 단위 검사 형태로 개발하여 실생활 맥락에서 발현되는 복합적인 역량을 평가할 수 있도록 하였다. 사전･사후 평가 문항을 동시에 개발하여 추후 디지털 역량 교육의 효과를 살펴볼 수 있도록 하였다. 2023년도에 K지역 10개 중학교 학생을 대상으로 사전, 사후 평가를 실시하여 자료를 수집하였고, 자료 분석을 바탕으로 도출된 문항의 신뢰도, 타당도 검증 등을 통해 문항 타당화 작업을 완료하였다. 이상의 이론적 토대와 실제적 자료를 바탕으로 수준 진술문 개발을 시작하였다.

디지털 역량에 대한 수준 진술문 초안은 <표 9>에 제시하였다. 진술문의 3수준(상)을 먼저 설정 후 그에 준하여 2수준(중), 1수준(하)을 개발하였다. 3수준은 하위 영역의 요소별 정의를 종합하여 3수준의 학생이 수행할 수 있는 기본적･실천적 역량들을 기술하였다.

예를 들어 ‘정보･콘텐츠의 관리와 활용’의 3수준은 해당 하위 요소 세 개를 종합하고 연계 성취기준을 참고하여 ‘정보･콘텐츠의 유해성 예방 및 차단, 신뢰성 판단 등을 통해 자료를 비판적으로 활용하고, 저작권 보호를 기반으로 영상 자료를 관리･제작･편집할 수 있다.(3_3수준)’로 기술하였다. 2수준은 3수준 진술문의 ‘비판적 분석 및 판단’ 관련 내용을 삭제하고 영상 자료를 ‘편집’하는 것에 한정하여 ‘디지털 도구의 기술적인 작동 방식에 대한 이해를 바탕으로 정보･콘텐츠의 유해성을 차단할 수 있으며, 저작권 보호에 대한 인식을 바탕으로 영상 자료를 편집할 수 있다.(3_2수준)’로 기술하였다. 1수준은 2수준에 제시되었던 정보･콘텐츠에 대한 ‘이해’를 ‘인식’으로 수정하고 ‘특정 지침이 있을 경우’라는 한정된 맥락을 부여하였으며, 정보･콘텐츠 활용의 목적을 ‘발표’로 제한하고 정보･콘텐츠 활용의 범위를 ‘촬영’으로 축소하여 기술하였다.

수행 예시는 관련 성취기준에 나타난 사례나 용어, 디지털 역량 평가 문항의 선택지에 활용된 디지털 리터러시 활동 사례, 관련 용어를 참고하여 기술하였다. 수행 예시를 수준별로 달리 제시하기 위해 성취기준뿐 아니라 디지털 역량 평가 문항의 난이도와 정답률을 참고하였다. 3수준의 수행 예시는 관련 평가 문항 중 학생들의 정답률이 30% 이하, 난이도 ‘상’ 이상인 문항의 선택지(활동 사례), 핵심 개념, 관련 용어를 참고하였고, 2수준의 수행 예시는 정답률 50% 전후, 난이도 ‘중’인 문항을, 1수준의 수행 예시는 정답률 80% 이상, 난이도 ‘하’인 문항을 참고하여 개발하였다. 난이도가 ‘중상, 중하’인 문항 정보는 수준 간 영역의 위계와 다른 수행 요소들을 참고하여 해당 수준에 맞게 반영하였다.

수준 진술문 초안 검토는 총 두 번 이루어졌는데 첫 번째 검토 사항이 가장 중요하므로 이를 표로 제시하기로 한다. 교수 검토자들은 전반적인 방향을 중심으로 검토하였고, 교사 검토자들은 수준 진술문과 수행 예시의 문제점을 구체적으로 제시하고 그에 대한 대안을 제안하는 방식으로 검토하였다.

먼저 교수 검토자들이 제시한 의견과 그에 대한 본고의 수용 정도와 수정 방향을 제시하면 다음 <표 10>과 같다. 교수 검토자들은 역량 범주를 구분하지 않고 전체적인 방향에 대한 검토 의견을 제시하여 진술문 개발의 전체 방향을 재점검하는 데 유용하였다. 표에 제시한 [단계적 수용]은 진술문 수정 차수를 거듭하면서 순차적으로 반영한 경우, [전면 수용]은 2차 수정 시 해당 검토 의견을 전면 반영한 경우, [부분적 수용]은 검토 의견의 일부만 수용한 경우에 해당한다.

수준 진술문 개발의 1차 시기와 2차 시기 간 가장 중요한 변화는 검토 의견 1번에 해당하는 것으로, 수준 진술문이 디지털 역량의 평가틀과 성취기준을 기반으로 하는가, 아니면 디지털 역량 평가에 대한 학생들의 응답을 기반으로 하는가에 대한 것이다. 1차 시기의 진술문은 주로 문항과 그에 대한 학생들의 응답률, 문항 난이도를 바탕으로 개발하였기 때문에 디지털 역량의 틀이 제대로 반영되지 않은 경우가 있었다. 예컨대, 디지털 평가 문항 9번이 ‘디지털 도구를 활용하여 발표 자료를 만드는 방법’에 대한 것이라는 점을 고려하여 3번 역량 ‘정보･콘텐츠의 관리와 활용’의 전체 수준 진술문을 ‘영상 자료, 발표 자료’에 한정하였고(<표 9>의 기본소양 3번 참고), 그에 대한 학생들의 정답률, 문항 난이도를 고려하여 상, 중, 하 수준을 구분하여 기술하였다. 그러나 이와 관련된 방향을 더 명확히 할 필요가 있다는 검토진의 견해를 수용하여 연구진 내 추가 논의를 거친 결과, 1차 개발 시기에는 문항의 특성과 학생들의 반응이 충분히 반영되었으니 2차 개발 시기부터는 디지털 역량의 틀과 성취기준을 더 적극적으로 반영하여 구조화･체계화하는 방향으로 수정하기로 합의하였다. 검토 의견 2, 3번에 대한 반영 정도는 표의 내용을 참고할 수 있다.

다음으로 수준 진술문 초안에 대한 교사의 검토 의견은 <표 11>에 제시하였다. 기본 소양 진술문 검토에서는 상, 중, 하의 수준 조정에 대한 의견이 대부분이었다. 예컨대, 1번 영역의 1수준(1_1수준) 중 ‘디지털 사회의 소통적 특징을 이해할 수 있는 수준’을 ‘… 대략적으로 이해할 수 있는 수준’으로 수정하여 2수준(1_2수준)보다 낮다는 것을 명시할 필요가 있겠다는 의견이 있었다. 또 2번 영역의 3수준이 ‘컴퓨터의 성능 향상을 위한 조치를 취할 수 있음’이라는 것을 감안하여 2수준(2_2수준_b)의 뒷문장(‘용어 이해의 어려움’)을 삭제하고 ‘컴퓨터 성능 향상을 위한 방법을 알고 있음’만 제시하여도 수준 구분에 문제가 없겠다는 의견이 있었다. 그 밖에 어휘나 문장의 표현 수정에 대한 제안이 있었다.

실천 역량 진술문 부분에서는, ‘실천’ 역량임에도 불구하고 ‘기본’ 역량에 해당되는 내용이 있어 이를 수정･보완해야 한다는 의견이 있었다. 예컨대, 디지털 자아 성찰과 자기 조절 내용으로 구성된 4_3수준_e, 4_1수준_d, 5_3수준_b, 5_3수준_c, 5_2수준_a 등이 기본소양의 1, 2번 영역에 가까우므로 삭제하고 실천 역량에 적절한 진술문을 제시해야 한다는 의견이 있었다. 또한 1수준과 2수준의 구분을 명확하게 해야 한다는 의견이 제시되었다. 예컨대, 디지털 정보 공유와 관련되는 2수준 진술문(4_2수준_a)과 1수준 진술문(4_1수준_a)의 내용과 수준이 유사하므로 4_1수준_a를 ‘과제 수행 과정에서 찾은 자료를 공유할 수 있음.’ 등처럼 중복되지 않는 방향으로 수정할 것을 제안하였다. 그 밖에 어휘나 문장의 표현에 대한 수정 의견이 있었다.

초안에 대한 이상의 검토 의견을 반영하여 수정한 2차 진술문을 교사 2인에게 추가적으로 검토 받았고, 2차 검토 의견을 바탕으로 재수정하였다. 2차 검토에서도 일부 수준 진술문과 수행 예시에서 상, 중, 하의 수준 구분이나 학교급의 수준이 부적절할 수 있다는 의견이 있었다. 예컨대, 기본 소양의 3수준으로 기술한 3_2수준_a(저작권 제약이 없는 콘텐츠 이용 가능)는 학생들이 실제 수행하기에 어려움이 있어 오히려 2수준에 해당될 것 같다는 의견이 있었다. 또 6_3수준의 ‘온라인 활동에 적극적으로 참여한다’라는 진술문과 2수준의 차등을 두려면 ‘비판적으로’라는 수식어를 추가하는 것이 좋겠다는 의견도 제시되었다.

2차 검토의 또 다른 주요 사항으로 6번 영역인 ‘디지털 시민 참여’에서 다루는 사회 문제가 수행 예시처럼 ‘디지털 환경에서 발생할 수 있는 사회 문제’뿐 아니라 ‘일반적인 사회 문제’라면 수준 진술문을 수정해야 한다는 의견이 있었다. 그리고 디지털 기기, 디지털 도구 등의 용어들이 각 진술문에서 동일한 의미로 쓰이고 있는지에 대한 검토가 필요하다는 의견, 진술문 내에서 이해하기 어려운 문장 표현을 수정해야 한다는 의견이 있었다.

수준 진술문 초안에 대한 1, 2차 전문가 검토 의견 수렴 결과를 바탕으로 수정하여 최종 진술문을 도출하였으며, 내용은 <표 12>에 제시하였다. 앞서 제시한 전문가들의 검토 의견 중 디지털 역량 내 상, 중, 하의 수준 구분을 명확히 해야 한다는 점, 역량의 영역과 요소들을 충분히 반영해야 한다는 것에 중점을 두고 최종 수정을 진행하였다. 예컨대, 초안에서 중학교 실천 역량에 포함되어 있었던 자아 성찰, 자기 조절과 가까운 항목들을 삭제하거나 기본 소양으로 이동하였고, 실천 역량 6번 영역의 ‘사회 문제’의 개념이 디지털 환경에서 발생할 수 있는 사회 문제에 국한되지 않는다는 점을 고려하여, 수준 진술문에서 디지털 도구를 활용하여 일반적인 사회 문제를 해결할 수 있는 능력까지 포함하였다.

최종 수정 과정에서 다수의 수준 진술문에 반복해서 제시되거나 교사들에 따라 이해가 다소 달라질 수 있는 용어는 진술문 하단에 개념 정의를 하여 진술문에 대한 접근성과 이해의 수월성을 높이고자 했다. 실천 역량 부분 중 ‘디지털 문화 콘텐츠’에 대한 개념을 다음과 같이 정의하였다.