PDF Download
PubReader
Export Citation
Email the Author
Share Facebook
Share Twitter
Cited by 2 Articles
Metrics (View:5,659)
I. 서론
미래사회에서 성공적으로 살아가는 사람에게 요구되는 능력, 즉 핵심역량에 대한 중요성이 강조되면서 각국 교육체계의 공교육 교육과정은 이를 중심으로 재조직되고 있으며, 최근에는 평가 패러다임의 변화와 접목되어 역량에 대한 평가와 컴퓨터 기반 평가의 필요성이 대두되었다. 이에 만 15세 학생을 대상으로 3년마다 시행하고 있는 OECD 주관의 PISA(Programme for International Student Assessment) 연구에서는 21세기에 요구하는 역량 평가를 위하여 읽기, 수학, 과학 영역 외에 학습 및 사고전략, 문제해결 과정, 협업의 중요성을 인지하고 문제해결력(problem solving competency)을 평가영역에 포함하였다. 따라서 PISA 2003에는 지필평가로, PISA 2012에서는 컴퓨터 기반 평가로 문제해결력을 평가하였는데, 기존까지 PISA에서 측정하고자 하는 문제해결력은 공통적으로 실제 문제 상황에 직면하였을 때 상황을 이해하고 해결하기 위해 필요한 인지적 과정과 연관된 개인의 능력으로 보고 있다(김성숙, 한정아, 2016).
한편, 실생활에서 해결해야 할 과제는 개인보다 팀을 중심으로 수행되는 경우가 많으므로, 학교에서도 프로젝트 기반 학습, 탐구 학습 등이 확대되면서 협업의 중요성이 부각되고 있다. 따라서 PISA 2015에서는 협력적 상황에서 개인들이 문제를 해결해 가는 ‘협력적 문제해결력(Collaborative Problem Solving Competency; CPS)’을 미래 사회를 살아가기 위한 중요한 능력으로 간주하고, 혁신적(innovative) 평가영역으로 포함하면서 읽기, 수학, 과학 영역과 함께 컴퓨터 기반 평가로 시행하였다(OECD, 2017a, pp.26-27). PISA 2015에서의 협력적 문제해결력이란 “컴퓨터 상의 가상 팀원과 함께 문제를 해결하는 상황에서 그들의 지식, 기술, 노력을 끌어내고 이해와 노력을 공유하는 과정에 효과적으로 참여하는 한 개인의 능력”으로 정의되고 있다(OECD, 2017a, p.32).
PISA 2015 협력적 문제해결력 결과는 다른 영역 발표보다 늦은 2017년 11월에 발표하였고, 우리나라는 평균 538점으로(평균 500, 표준편차 100의 척도 점수 기준), OECD 참여국 중 2∼5위, 전체 참여국 중 3∼7위로 최상위 수준의 성취를 보였다(OECD, 2017a, p.41). 순위를 구간으로 제시하는 이유는 PISA 2006 결과부터 표본 조사임을 감안하여 95% 신뢰수준에서 각 국가의 순위에 대한 범위를 제공하고 있기 때문이다. 또한 PISA 성취에서 하위 수준인 1수준 이하의 비율은 12.9%로 OECD 평균인 28.1%보다 매우 낮고, 상위 수준인 4수준 비율은 10.4%로 상위국 중 높지 않아, 전체적으로 중상위권 비율이 높은 성취 특성을 나타내었다(교육부, 2017.11.21).
PISA 2015 결과를 보면 협력적 문제해결력은 과학(0.77), 읽기(0.74), 수학(0.70) 성취 순으로 인지영역과 높은 상관이 있는 것으로 나타나고 있다(OECD, 2017a, p.77). 개인적 문제해결력을 다룬 PISA 2012 결과에서도 문제해결력 점수와 인지영역의 성취도 간의 관계를 보았을 때 (우리나라의 경우) 수학과의 상관이 0.803으로 가장 높게 나타났으며 과학, 읽기 순으로 높은 상관을 보이고 있으므로(OECD, 2014, p.68), 해당 인지영역과 문제해결력은 매우 연관이 높은 것을 알 수 있다. 이를 고려하여 PISA 2015 결과에서는 협력적 문제해결력의 고유한 역량에 대한 성취를 파악하기 위해 과학, 읽기, 수학 성취 점수를 통계적으로 통제한 잔차점수(residual scores)를 산출하여 협력적 문제해결력에 대한 상대적 성취(relative performance)라는 개념으로 이 역량을 재해석할 수 있도록 제시하였다(OECD, 2017a, p.41, pp.79-80). 본 연구의 분석과정에서 협력적 문제해결력은 CPS로 상대적 성취, 즉 인지영역(읽기, 수학, 과학) 점수를 통제한 협력적 문제해결력은 T_CPS로 제시하였다. 우리나라의 경우 협력적 문제 해결력 상대적 성취 점수(T_CPS)가 원래 협력적 문제해결력 점수(CPS)보다 20점 높게 산출되었고, 상위 5개국(싱가포르, 일본, 홍콩, 대한민국, 캐나다) 중에서는 두 번째로 높은 점수를 기록하였다(OECD, 2017a, p.41). 이 같은 결과는 문제를 해결하는 과정에 적극적으로 협력하여 목표를 달성하는 역량은 인지능력과는 별도로 확인되어야 함을 시사한다.
그간 PISA 연구에서는 다른 핵심 평가 영역과 마찬가지로 협력적 문제해결력 성취 정도를 설명할 수 있는 교육맥락적인 요인들을 기본적인 평가틀에 의해 다양한 설문으로 시행하였다. 이에 우리나라에서도 학교장과 학생설문을 통해 해당 요인들을 수집하고, PISA 2015 경우 추가된 교사설문도 병행하였다. PISA 2015의 학생설문에서 본 연구가 주목한 것은 학생이 가진 협력에 대한 태도를 나타내는 변수로, 다른 사람과의 관계를 중요하게 생각하는 정도인 ‘관계 존중(value relationship)’과 팀워크를 중요하게 생각하는 정도인 ‘팀워크 존중(value teamwork)’ 이다(OECD, 2017a, pp.108-109). 학생의 협력적 태도와 협력적 문제해결력 성취는 높은 상관관계를 보이고 있으며, 이러한 결과는 참가국 대부분에서 공통적으로 나타나고 있다. 특히 우리나라 학생의 협력에 대한 태도 중 관계 존중 지수는 OECD 평균과 비슷하게 나타났으며, 팀워크 존중 지수는 OECD 평균보다 높게 나타났다(OECD, 2017a, p.109).
따라서 본 연구는 PISA 2015 협력적 문제해결력 성취 결과와 관련 있는 학생과 학교수준 변수들의 예측력을 알아보고자 하였으며, 특히 각 수준의 변수들이 문제해결력에 미치는 결과가 핵심 인지영역의 성취점수를 통제하기 전과 통제한 후 각각 어떻게 나타나는지 비교해 보고자 하였다. 협력적 문제해결력이라는 구인은 미래 핵심역량으로서의 중요성을 가지고 있지만, 이론적 근거들은 비교적 덜 축적되어 있다. 과학이나 수학 능력은 분명 문제해결력과 연관이 높지만(OECD, 2014; OECD, 2017a), 이것이 협력적 문제해결력의 특성을 ‘모두’ 나타낸다고는 말할 수 없으며, 따라서 인지영역의 영향력을 제거한 협력적 문제해결력 고유의 특성에 대한 탐색이 필요한 시점이다. 이미 OECD에서는 ‘상대적 성취’라는 소개를 통해 국가별로 상대적 성취가 높은 집단과 낮은 집단을 구분한 바 있으나(OECD, 2017a, pp.79-80), 이에 더하여 본 연구에서는 협 력적 문제해결력의 고유한 특성이 교육맥락 변수들과 얼마만큼의 관련성을 보이는지를 알아보고자 하였다.
이에 따라 본 연구의 구체적인 연구문제는 다음이 설정하였다.
첫째, 우리나라 학생의 성별 및 경제·사회·문화 지위(ESCS) 정도에 따라 PISA 2015 협력적 문제해결력(이하 CPS)과 인지영역(읽기, 수학, 과학) 점수를 통제한 협력적 문제해결력(이하 T_CPS)은 어떠한 결과를 보이는가?
둘째, 우리나라 학생의 협력에 대한 태도(관계존중 및 팀워크 존중)는 CPS, T_CPS 각각과 어떠한 관련성이 있는가?
셋째, 학교평균 ESCS, 학교평균 교사의 수준별 집단구성 유형은 학생의 CPS, T_CPS 각각과 어떠한 관련성이 있는가?
II. 이론적 배경
세계 각국의 교육체제는 미래 사회를 대비하면서 교육과정과 교수학습에서 학생간의 협업을 보다 강조하고 있다(Griffin & Care, 2012). 싱가포르의 경우 이미 학생들이 다양한 학습과정에서 창의력을 실생활에 적용할 수 있도록 기회를 부여하면서 지식적용, 의사소통, 독립성과 함께 협력을 학습성과로 제시한 바 있다(Tan, 2006). 그러나 아직까지 대부분의 국가에서 협력이라는 소양은 학교에서 구체적으로 가르치는 기술이나 능력이라기보다 다른 교과 영역에서 부가적으로 얻어지는 것으로 간주하고 있다. 예를 들어 주요 교과를 학습하는 과정에서 팀별로 과제를 수행하거나 체육, 음악 등 수업에서 학생들간에 상호작용을 통해 습득되어지는 태도로 보는 것이다.
이와 같은 관점은 비교적 오래된 교수학습 방식인 협동학습과 맥을 같이 하는 것으로, 협력학습 또는 협력적 문제해결은 약간의 차이를 보인다. 즉, 협동학습은 학습과제에 필요한 각 역할에 대한 개인의 책무를 중시하는 반면 협력학습은 집단의 책무를 강조하기 때문에, 전자가 개별 과제의 완수를 통합하여 공동의 목표를 성취하는 것이라면 후자는 모든 구성원의 참여와 합의, 공유된 지식을 통해 공동의 목표를 달성하는 것이다(강인구, 2003; Brewer & Klein, 2006; Panitz, 1999). 따라서 협력학습에서는 상대적으로 협동학습보다 구성원간의 상호의존성을 보다 강조하며(Graham & Barter, 1999), 구성원 전체의 리더쉽을 강조하기 때문에 과제의 진행상황이나 필요에 의해 집단의 구조가 유의미하게 변경될 가능성이 있다(남영옥, 유병민, 2016). 또한 협력학습에서 집단의 구성원들은 의사결정의 전 과정에 능동적으로 참여하며, 토론과 논쟁을 통해 합의점을 찾는데 주력한다(Graham & Barter, 1999).
따라서 PISA에서는 혁신적 평가 영역으로 읽기, 수학, 과학 등 핵심 평가 영역 외 협력학습의 결과로 나타나는 협력적 문제해결력을 추가하게 되었다. PISA 2015에서 의미하는 협력적 문제해결력이란 협력 기술과 문제를 해결하는 데 필요한 기술들의 공통부분에 해당하는 것을 정의하는 것으로부터 시작하였다. 이러한 공통부분을 보다 상세하게 몇 가지로 정리하면 다음과 같다(OECD, 2013, p.6).
첫째, 협력적 문제해결력 평가에서는 ‘한 개인의 능력’을 평가한다. 일반적으로 협력 기술은 개인, 집단 또는 기관 수준에서 평가될 수 있으며, 문제해결에 있어서 집단의 산출물은 개인으로부터의 결과물의 총합보다 더 클 수 있고 따라서 집단의 능력을 중시하게 될 수도 있으나, PISA의 협력적 문제해결력 평가에서는 협력적 상황 내에서 한 개인의 능력을 평가하는 데 초점을 두고 있다. 이러한 관점에서 PISA의 협력적 문제해결력은 엄격한 의미의 협력학습 결과를 측정한다기보다는 공동과제의 성공적인 달성을 위해 개인의 능력에 집중하는 협동학습과 유사한 맥락을 가진다고 볼 수 있다(OECD, 2013, pp.6-7).
둘째, 협력적 문제해결력에서는 ‘과정에 효과적으로 참여하는’ 한 개인의 능력을 중시한다. 이 능력은 인지적 기술과 사회적 기술을 모두 포함하는데, 개인적 문제해결 과정뿐만 아니라 다른 참여자의 인지 체계와 상호작용하는 의사소통 과정도 포함된다. 협력적 문제해결에 포함된 인지 과정은 개인 내적으로 그리고 다른 사람들과 상호작용하는 가운데 분명하게 나타난다. 따라서 협력적 문제해결력을 측정하는 것은 개인적 기술의 측정과 더불어 팀의 일원으로서 참여하는 인지 과정을 관찰할 수 있는 기회인 것이다(OECD, 2013, p.7).
셋째, 협력적 문제해결의 수준을 측정할 때에는 단지 문제의 정확한 해답을 구하는 것보다 직접 문제를 해결하기 위해 시도하는 과정에 참여하는 학생들의 협력적 행동에 초점을 두고 있다. 그 이유는 문제의 해답보다 문제를 해결하기 위해 협력하는 과정과 이를 통해 발현되는 사회적 기술이 보다 중요하기 때문이다. 이러한 협력적 과정은 집단 구성원들이 과제와 그 해결책에 대한 이해를 수립하고 공유하기 위해 노력하는 과정을 포함한다(OECD, 2013, pp.7-9).
넷째, PISA 2015는 컴퓨터 기반으로 시행되었기 때문에, 협력은 둘 이상의 가상 인물들 간의 상호작용을 요구한다. ‘가상 인물’은 사람 또는 컴퓨터 가상 참여자를 모두 지칭하며, 이 가상 인물은 목표를 생성하고, 행동을 수행하며, 메시지로 의사소통하고, 다른 참여자 메시지에 응답하며, 변화하는 환경에 적응하고 학습하는 능력을 가지고 있다(OECD, 2013, p.7).
종합하면 PISA 2015 협력적 문제해결력 평가에서 측정하고자 하는 것은 세 가지 협력적 문제해결력(<표 1>의 (1)~(3))과 네 가지 문제해결과정(<표 1>의 (A)~(D))의 교차점에 해당하는 12개의 협력적 문제해결 기술이다. 12개의 기술들을 제시한 PISA 2015 협력적 문제해결력 평가틀은 <표 1>과 같다(송미영 외, 2013; OECD, 2017a).
출처: OECD(2017a). p.50.
성별과 협력적 문제해결에 대한 연구들은 주로 집단의 구성양식(혼성집단, 동성집단)과 협동 혹은 협력학습의 효과에 대한 결과들에 근거한다. 대체로 협력적 활동이 위주가 되는 학습과정에서는 공동의 목적을 달성하기 위해 상호의존성(interdependence)이 형성되는데, 이때 중요한 것은 발전적인 상호작용을 위해 관계를 중시하는 태도가 필요하다는 것이다. 대체로 여학생은 남학생보다 상호작용적인 관계를 더 중요시하며, 집단 구조에 상관없이 이러한 상황에서 더 잘 학습하는 것으로 알려져 있다(Peltz, 1990). 협동학습에 대한 연구들에서는, 여학생이 남학생보다 협동학습을 더 잘 수행한다는 결과가 발표된 바 있고(이윤미, 유정문, 2003; Kamsler, 1992), 특히 소규모 집단 활동에서는 여학생들도 자신의 의견을 드러내고 과제에 참여하는 것에 상대적으로 적극적인 태도를 보일 수 있기 때문에(Guzzetti & Williams, 1996), 성별에 따른 협력적 문제해결의 결과를 예측할 수 있다. 일례로 Ding과 Harskamp(2006)는 고등학생을 대상으로 한 연구에서, 남녀 혼성과 동성집단을 대상으로 한 협동학습에서 여학생들로 구성된 동성집단이 다른 집단보다 효과적인 문제해결력을 나타냈다고 보고하였고, 이 결과는 남학생들로 구성된 동성집단보다도 높게 나타났다. 이윤미, 유정문(2003) 역시 중학생을 대상으로 성별에 따라 소집단을 구성하여 협동학습을 실시하였을 때, 여학생들의 수업환경에 대한 인식변화가 남학생보다 크게 나타났으며, 저자들은 이를 남학생보다 여학생들이 협력적인 활동을 통한 수업에 더 적극적으로 임하는 것을 반영한다고 해석하였다. 이는 황영란, 박윤배(2011)의 연구에서 협동학습이 남학생들보다 여학생들에게 더 긍정적인 반응을 보였고 더 잘 맞는 학습방법으로 나타났다는 결과와도 일맥상통한다.
한편, 협력적 문제해결력 또한, 다른 성취영역과 마찬가지로 가정의 사회·경제적 배경(SES)의 영향을 받는다. 높은 SES를 가진 가정일수록 풍부한 학습기회를 제공한다는 점에서 이러한 가정의 학생들은 대부분의 성취영역에서 그렇지 못한 학생들보다 높은 수준의 성취를 보인다. 이러한 학습기회는 대체로 부모의 참여(parental involvement) 수준과 맞물려서 부유한 가정의 부모일수록 자녀의 학교/학습활동에 적극적으로 참여하여 결과적으로 자녀의 학업성취를 높이는 결과로 나타난다(Alexander, Entwisle, & Olson, 2007; Hoover-Dempsey & Sandler, 1997). 이를 뒷받침하듯, 온라인 기반으로 또래와 상호작용하는 활동을 할 때 SES가 높은 가정의 학생들이 그렇지 못한 학생들보다 학습과 관련된 활동을 더 많이 한다는 연구(Khan, Wohn, & Ellison, 2014; Peter & Valkenburg, 2006)가 있다.
그러나 우리나라는 PISA 2012문제해결력 점수가 OECD 평균보다 높으면서 사회·경제적 배경의 영향력이 OECD 평균보다 낮게 나타나, 다른 국가보다 학생들에게 학습 기회가 형평성 있게 제공되고 있음을 보여주었다(송미영, 2014). 우리나라와 경향이 유사한 국가로는 일본, 홍콩-중국, 대만, 핀란드, 캐나다 등이 있다. 반면, 싱가포르, 상하이-중국의 경우 사회·경제적 배경에 따른 문제해결력 점수의 차이가 OECD 평균보다 크거나 유사한 것으로 나타났다. 같은 자료를 사용하여 구조방정식 모형을 분석한 남창우와 신수영(2014)은 가정의 사회·경제적 배경에 따라 문제해결력에 격차를 나타냈으나, 보유한 ICT 기기의 수가 많은 것 자체는 문제해결력 성취의 유의한 차이로 이어지지 않았으며, 오히려 활용 용도가 영향을 미치고 있음을 보고하였다. 즉 ICT 활용 용도가 오락용일 경우에는 문제해결력이 낮고, 학업적으로 이용하는 빈도가 높을수록 문제해결력이 상대적으로 높은 것으로 나타났다. 앞선 두 연구는 개인적 상황에서의 문제해결력과 SES의 관계를 살펴본 연구들로, 협력적 상황이 요구되는 문제해결력과 SES의 관계에서도 동일한 결과가 나타나는지 좀 더 살펴볼 필요가 있다.
협력적 문제해결력의 개념화와 과정에 관한 요인들은 주로 성인, 대학생, 회사 내에서의 조직원을 대상으로 한 연구에서 다루어 왔지만(Loughry, Moore & Ohland, 2007; Morgeson, Reider, & Campion, 2005), 최근 21세기 핵심역량을 개발하는 교육과정(ATS21s, Assessment and Teaching of 21st-Century Skills)의 맥락에서 협력적 문제해결을 연구한 학자들(Griffin, Care, & McGaw, 2012)은 여러 이론들에서 공통된 요소를 추출한 결과 협력적 문제해결은 다차원적인 능력(기술)을 필요로 한다고 제시하였다. 이는 과제조절(task regulation), 지식형성과 같은 인지적 능력 외에, 참여와 협동, 관점채택, 사회적 조절과 같은 사회적 능력을 포함한다(Griffin, Care, & McGaw, 2012). 이와 유사한 관점에서 연구자들(Hesse et al., 2015)은 구체적으로 협력적 문제해결의 요소로 과제규칙(과제분석, 목표설정, 정보수집 등)과 지식형성(관련성 파악, 가설검증 및 반성 등), 참여(행동, 상호작용, 과제완수 등), 관점채택(적절한 반응, 구성원의 상호인식 등), 사회적 규칙(자기평가, 교류기억, 책임 등)을 제시하였다. 이들에 따르면 인지적 기능인 과제규칙이나 지식형성은 당면한 과제를 관리하고 새로운 내용을 학습하고 형성하는 것으로 개인적 문제해결에 있어서도 존재하는 기능으로 간주된다. 이와는 달리 협력적 문제해결의 고유한 부분인 사회적 기능은 가지고 있는 정보를 공유하는 참여, 다른 구성원의 관점을 수용하는 관점채택, 구성원의 다양성을 조율하는 사회적 규칙을 하위요소로 포함하게 된다.
협력적 문제해결에 필요한 사회적 기술들은 크게 보면 사회적 상황에서 발생하는 타인과의 상호작용과 관련된 관계 즉 대인관계능력과 관련된 것으로, 타인과 관련된 상황에서 필요한 사회지각(social perception)과 사회인지(social cognition)로 기술된다. 이는 사회지능(social intelligence)과 밀접한 관련이 있으며 이는 사회적 관습, 기대, 문제해결과 관련된 지식을 말한다. 특히 자신과 타인의 태도나 행동을 이해하는 능력이 필수적이며, 이러한 이해를 바탕으로 사회적 상황에서 적절하게 행동하는 능력 또한 요구된다(Marlowe, 1986).
선행연구에서는 협동상황이 필요한 학습장면에서 대인관계능력과 협동이 밀접한 관련이 있다고 하였다. 구체적으로 남창우, 이현응(2010)은 컴퓨터 기반 환경에서 초등학생들을 대상으로 한 연구에서, 대인지능이 높은 학습자일수록 학습활동 내의 상호의존성에 보다 긍정적인 태도를 보였으며, 또한 이러한 긍정적인 태도를 보이는 학습자일수록 집단 활동에 보다 활발히 참여하였다고 보고하였다.
한편, 집단적으로 문제해결이 필요한 상황에서는 타인의 관점을 인식하고 존중하는 태도도 필요하지만, 학습자 자신이 개인적 활동보다는 집단적 활동을 선호하는 경우 보다 유리한 성과를 기대할 수 있다. 특히 사회적 상호작용에 있어서의 패턴이나 선호 양식에 따라서 학습자가 교사, 또래등과 의사소통, 교류하는 방식이 달라진다는 이론(Cassidy, 2004; Reichmann & Grasha, 1974)에 의하면, 학습 환경을 대하는 개인의 양식은 협동적, 경쟁적, 독립적, 의존적, 참여적, 회피적 양식으로 나뉠 수 있으며, 이중 협동적 학습양식은 수업 내의 다른 학습자들을 동료로서 인식하고 협력적인 태도를 견지하며, 집단 토의나 프로젝트 활동을 좋아하고 이러한 기회가 오면 적극적으로 참여하는 학습유형이다. Reichmann과 Grasha(1974)에 따르면 이러한 태도를 가지는 학생들은 팀 구성원들과의 공유와 협력을 통해 정보를 획득하고 학습과제를 달성하는 것을 선호하며, 자신의 지식이나 기술, 아이디어를 구성원들과 공유함으로써 더 많은 것을 배울 수 있다고 느낀다.
이처럼 협력적 활동을 선호하는 태도는 당연히 학습활동의 과정이나 결과에 영향을 미친다. 권성연(2009)은 성인학습자들 중 협동적 활동에 긍정적인 태도를 가진 학습자들은 주로 토론하기, 조별과제, 질문하기 등의 활동을 선호하였지만, 강의듣기, 검색하기는 선호하지 않는다고 보고하였고, 독립적 활동 못지않게 협동적 활동의 선호도는 학업성취와 관련이 높은 적극적이고 긍정적인 학습전략(정교화, 조직화, 초인지 등)과 정적 상관을 나타낸다고 하였다. 이용진(2016) 역시 협동적 학습에 우호적인 학생들이 팀기반 학습에 있어서도 책임감이 높고 협력활동을 선호하여 그 결과 인지적 성취에 긍정적 결과를 나타낸다고 하였다.
협력적 활동에서 일어나는 구성원들의 상호작용이나 학습결과들은 학생들의 능력과 집단의 구성에 따라 달라진다(Webb, 1982). 협동학습에서 집단의 구성이나 배치를 다룬 연구들에서는 집단의 크기, 집단의 구성방법, 집단의 조합 등이 중요한 요소로 간주된다(Johnson & Johnson, 2002). 특히 집단에 학생들을 배치하는 방법에 대한 연구(Johnson, Johnson, & Taylor, 1993)에서는 학급의 학생 수를 집단을 구성할 학생 수로 나누어 무작위로 학생들을 집단에 배치하는 방법, 학생들의 사전검사 점수를 바탕으로 상, 중, 하 수준을 나누어 유층 무선배치하는 방법(예, 각 수준별로 한명씩 뽑아 3명을 한 집단으로 구성), 교사가 학생들의 학습양식, 교우관계, 성향 등을 파악하여 집단을 구성하는 방법(예, 고립된 학생을 집단 활동에 능숙한 학생과 같은 집단에 배치), 학생들 스스로 집단을 선택하게 하는 방법 등을 제안하였다.
특히 학생들이 집단에 수준별로 배치되었을 경우 집단이 동질적 혹은 이질적 수준으로 구성되었을 경우가 발생한다(Johnson, Johnson, & Taylor, 1993). 연구자들은 동질적인 수준으로 구성된 집단에서는 공동의 학습목표를 달성하고 이에 해당하는 특정한 기술을 습득하기 용이한 반면, 이질적인 수준으로 구성된 집단에서는 수준이 다른 학습자끼리의 의사소통과 합의가 보다 중요하므로 주제에 대하여 정교하기 생각하고 자료를 보다 큰 관점에서 토의하며 깊은 이해를 하는데 도움이 된다고 하였다. Smith(1986) 또한 한 집단에서는 다양한 학생 성향(예, 활발한 학생과 조용한 학생, 비판적인 학생과 긍정적인 학생 등)을 혼합하여 배치하는 것이 좋다고 하였고, 우수한 학생들을 각 집단에 고루 배열함으로써 이질적인 집단을 구성할 것을 추천한 바 있다.
국내에서는 오경의와 김영수(2003)가 고등학교 여학생을 대상으로 한 연구에서, 사전 성취도 점수에 따라 이질적, 동질적으로 집단을 구성해 수준별 협동학습을 실시한 결과를 비교하였다. 연구자들은 심화과정에서 전체를 비롯하여 상위권, 하위권 학생들 모두 협동학습 결과 사후 성취도 점수가 높아졌다고 보고하였다. 노태희 외(1998)는 중학교 여학생을 대상으로 협동학습과 전통적 학습의 효과를 비교하였는데 협동학습의 팀 구성에 있어서 상, 중상, 중하, 하위 수준의 학습자로 된 집단(HML; High-Middle-Low)과 상, 하위 수준의 학습자와 중상, 중하 수준의 학습자로 된 집단(HL/MM)을 나누었다. 성취도에 따른 차이를 보면, 상위 수준 학생의 경우에는 HL/MM 집단에서 사후검사 점수가 가장 높았으며, 중위 수준 학생의 경우에는 HML 집단의 점수가 가장 높았으나 하위 수준 학생의 경우에는 집단별 차이가 나타나지 않았다.
III. 연구 방법
본 연구에서는 우리나라 만 15세 학생의 협력적 문제해결력과 주요 관심변수와의 관련성을 탐색하고자 OECD에서 제공하는 PISA 2015 공개자료(학생, 교사, 학교 데이터)를 활용하였다. PISA 2015는 각 PISA 평가 참여국의 만 15세 학생을 모집단으로 하여 학생의 인지 영역(읽기, 수학, 과학) 및 이에 관련된 학생-교사-학교-시스템과 관련된 교육맥락변인 자료를 수집·제공하고 있다. PISA 2015에서는 과학을 주영역으로 평가를 수행하였으며, 처음으로 컴퓨터 기반의 협력적 문제해결력에 대한 자료를 수집하여 제공하였다.
PISA 2015 평가를 위해 한국의 경우 학교급, 계열, 도시화, 학교 성별 유형을 기준으로 분류하고, 2단계 층화표집 방식을 통해 1단계에서 학교 크기에 비례하도록 체계적 표집방법을, 2단계에서 표집학교의 학생 및 교사를 무선표집하여 최종적으로 중학교 23개, 고등학교 145개교가 시행에 참여하였고(구자옥 외, 2017, p.64), 각 학교급별로 548명, 5,201명의 학생이 평가에 참여하였다. 또한 고등학교에 한정하여 교사설문을 수행하였는데, 설문에 참여한 표집교사 수는 총 3,103명으로 주영역의 과학 교사는 936명(약 30%), 그 밖의 교과 교사는 2,167명(약 70%)으로 파악되었다.
PISA 2015검사구성 중 협력적 문제해결력 평가도구는 3개의 문항군(cluster)으로 개발되었으며, 6개의 단위문항(unit), 하위과제 19개로 구성된다(구자옥 외, 2017, p.21). 협력적 문제해결력 평가에 참여한 학생들은 2개의 과학 문항군과 1-2개의 CPS 문항군 시험을 치르게 되며, 각 평가는 30분의 시험 시행 시간이 배정되었다. CPS는 컴퓨터 기반 평가로 시행되기 때문에 선다형 문항에 대해 피험자는 반드시 답지를 선택하도록 구성되었으며, 협력에 대해 컴퓨터 가상인물(agent)와의 상호작용에 따른 학생의 반응으로 채점된다.
점수는 평균 500, 표준편차 100의 척도점수로 산출되며, 5가지 성취수준(4, 3, 2, 1, 1수준 미만)을 산출한다. 참고로 한국의 평균 CPS 척도점수는 538점(95% 신뢰구간 533∼543)으로 홍콩, 캐나다, 에스토니아, 핀란드, 마카오, 뉴질랜드와 유사한 수준이다. 한국보다 통계적으로 유의한 높은 평균 점수를 보인 국가로는 일본(552점)과 싱가포르(561점)가 있으며, 72개 PISA 2015참여국/경제지역 중에서 약 3∼7위의 순위를 차지하였다(OECD, 2017a, p.71).
또한 본 연구에서는 고등학교 학생의 협력적 문제해결력에 초점을 둠으로써 교사 설문 문항의 일부를 분석에 포함하였다. 주요 관심 변수명, 내용, 척도는 아래 <표 2>에 요약되어 있다.
본 연구에서는 우리나라 고등학교 학생집단을 대상으로 협력적 문제해결력(이하 CPS) 그리고 인지영역의 성취를 통제한 협력적 문제해결력(이하 T_CPS)에 대해 학생 성별, 경제·사회·문화 지수(ESCS)와의 관련성을 탐색하고 나아가 협력에 대한 학생의 태도가 협력적 문제해결력과 어떠한 관련성이 있는지를 분석하기 위해 2수준 다층모형을 적용하였다. 2수준 다층모형은 학생이 학교에 내재된 구조를 통계모형에 적용함으로써 전체분산 중 학교간 분산과 학교내 분산을 구분하여 계량적으로 산출하고, 학교 특성 변수와 종속변수간의 관련성을 효율적으로 살펴볼 수 있으며, 나아가 학교내 학생간 비독립성을 고려하여 표준오차를 산출함으로써 통계적 추론의 정확성을 높여준다(Raudenbush & Bryk, 2002).
PISA 결과를 활용한 연구를 수행하는데 있어 PISA의 검사 구성과 표집 설계 방식을 이해할 필요가 있다. 먼저 PISA에서는 제한된 시간과 여건 하에서 학생의 시험 부담은 줄이면서도 다양하고 폭넓은 영역을 평가하고자 행렬 표집 설계를 바탕으로 검사를 구성함으로써 개별 학생이 서로 다른 검사지로 시험을 치르게 된다(OECD, 2017b, pp.37-39). 이에 개별 학생의 성취 점수를 하나의 관찰값으로 제시하는 것이 아니라 문항반응이론에 근거하여 추정된 학생 능력 점수의 사후 분포로부터 10개의 성취 가능한 유의 측정값(plausible values)을 평균 500점, 표준편차 100점의 표준화된 척도 점수로 제공함으로써 평가 도구의 불완전성을 결과 산출에 반영하고자 하였다.
또한 PISA의 표집 방식이 2단계 층화 표집 방법을 적용하고 학교 크기에 비례한 체계적 표집 방식을 적용하여 개별 학생이 표집될 확률을 동일하게 함으로써 궁극적으로 표집 자료가 만 15세 학생의 모집단 대표성을 확보하고자 노력하였다. PISA에서는 이러한 표집 설계를 반영하여 표집 가중치를 제공하고 있으며, 2차 자료 분석 시 이를 적용하도록 하고 있다(조지민, 정혜경, 2013). 이에 본 연구에서는 PISA 검사 설계와 표집 방식을 분석에 반영하여 타당하고 신뢰로운 통계 결과를 산출하기 위해 OECD에서 제공하는 SAS macro를 활용하여 10개의 잔차 유의 측정값에 대한 다층분석 결과를 통합하고 나아가 이를 반영한 표준오차를 산출하였다(OECD, 2009).
다층모형 분석 시에는 CPS와 T_CPS 각각을 종속변수로 하여 동일모형을 적용해 봄으로써 주요 관심변수들이 문제해결력에 미치는 결과가 협력적 문제해결력 점수에 인지 점수를 통제하기 전과 통제한 후의 결과를 비교해 보았다. T_CPS 점수 산출을 위해서는 10개의 협력적 문제해결력에 대한 유의 측정값 각각에 대해 이에 상응하는 10개의 인지영역(국어, 수학, 과학)을 독립변수로 하는 중다회귀분석을 수행하여 10개의 잔차점수를 산출하였다. 이는 서론에서 설명한, 인지능력을 통제하였을 때 협력적 문제해결 점수만의 고유한 측정변수를 조작적으로 산출하기 위함이었다. 따라서 10개의 CPS와 잔차점수인 T_CPS 각각을 종속변수(Yij)로 하여 2수준 다층모형을 수행하였으며, 임의 절편 모형(random intercept model)을 적용하여 결과를 비교·분석하였다. 아래 식 (1), (2)는 최종 모형 4(<표 6>, <표 7>)을 기준으로 작성한 수식이다.
1수준(학생):
β0j는 Xkj가 0일 때 j번째 학교의 절편을 나태나고, βkj는 j번째 학교 k번째 변수의 회귀계수이며, eij는 잔차를 나타낸다.
2수준(학교):
γ00는 학교변수가 0일 때의 전체평균값(grand mean)이며, γ01, γ02는 2개의 학교변수 각각에 대한 회귀계수이다. γk0는 1수준 변수(Xkj)의 종속변수에 대한 회귀계수 전체평균 모수이다.
IV. 분석 결과
<표 3>은 본 연구의 주요 관심변수의 기술통계이다. 경제·사회·문화 지수인 ESCS, 관계존중, 팀워크 존중 및 종속변수로 CPS와 인지적 성취를 제거한 잔차 CPS(T_CPS)에 대해 남녀별, 전체에 대한 평균과 표준편차를 제시하였다. 관계존중, 팀워크 존중은 평균이 0, 표준편차 1로 표준화된 척도점수이며, T_CPS는 기존의 평균 500, 표준편차 100의 CPS 척도점수를 활용하여 잔차를 산출한 점수를 사용하였다.
분석 결과 PISA에 참여한 고등학교 학생들의 협력적 태도 평균이 OECD PISA 참여국 평균을 기준으로 볼 때, 관계존중은 평균수준이며, 팀워크 존중 지수는 평균 0점 보다 다소 높은 것(0.14)으로 나타났다. 반면 남학생과 여학생의 집단간 평균을 살펴보면, 협력적 태도 지수 중에서 관계존중은 유사하였으나, 실제 문제해결이나 협업 과정에서의 팀워크에 대한 선호도나 중요도와 관련된 팀워크 존중에 대해서는 남학생이 여학생보다 좀 더 높게 나타났다(0.22 vs. 0.06). 반면 CPS 점수와 T_CPS 점수는 모두 남학생에 비해 여학생의 평균점수가 높았고, 반면 표준편차는 여학생 집단이 상대적으로 작았다.
아래 <표 4>는 본 연구의 주요 관심 변수인 ESCS, 협력적 태도 변수와 CPS, 인지적 성취를 제거한 T_CPS와의 단순 상관계수를 제시하였다. 먼저 협력적 태도 변수인 관계존중 지수와 팀워크 존중의 상관계수가 0.56으로 비교적 높은 것으로 나타났으며, 관계존중이 팀워크 존중 지수에 비해 ESCS와 상대적으로 다소 높은 것으로 확인되었다(0.15 vs. 0.06). CPS와 협력적 태도와의 관계를 살펴보면, 관계존중 변수가 팀워크 존중보다 상대적으로 높은 상관계수를 보이고 있으나(0.13), 그 크기가 크지 않으며, 팀워크 존중과 CPS와는 거의 상관이 없는 것으로 나타났다. 반면, 잔차점수인 T_CPS에서는 팀워크 존중과의 상관이 다소 높아졌으며, 관계존중과는 다소 낮아지는 경향을 보였다. 흥미로운 점은 CPS와 ESCS는 0.23으로 <표 4>의 다른 변수들보다 상관이 상대적으로 높았으나, 읽기, 과학, 수학과의 인지적 관련성을 제거한 후의 CPS 점수와는 부적인 관계를 보이는 것으로 나타났다. CPS와 인지 영역을 제거한 T_CPS와의 상관계수는 0.60으로 나타나 두 변수가 협력적 문제해결력 구인의 고유한 성분을 공유하고 있는 것을 알 수 있다.
| 관계존중 | 팀워크 존중 | CPS | T_CPS | |
|---|---|---|---|---|
| ESCS | 0.15 | 0.06 | 0.23 | −0.08 |
| 관계존중 | 0.56 | 0.13 | 0.07 | |
| 팀워크 존중 | 0.02 | 0.07 | ||
| CPS | 0.60 |
다음은 학생의 경제·사회·문화 지수의 정도에 따라 본 연구의 주요 관심변수인 협력적 태도와 협력적 문제해결력에 차이가 있는지를 기술통계값으로 살펴보았다. ESCS 분포에서 삼분위로 나누어 집단 간 평균값을 살펴본 결과, 관계존중 지수의 경우 ESCS가 높을수록 관계존중 지수가 높은 경향을 보였다. 팀워크 존중에 있어서는 ESCS가 낮은 집단이 상 또는 중 집단에 비해 상대적으로 팀워크 존중 지수가 낮았다. <표 5> 의 결과 중 주목할 점은 ESCS가 높을수록 CPS 점수는 높아지는 반면, 인지적 성취를 통제하고 난 후의 협력적 문제해결력에 대해서는 그 관계가 역전되어 ESCS가 높을수록 T_CPS 점수가 낮아지는 경향을 보였다.
기술통계 분석 결과를 바탕으로 다층분석 모형을 적용함으로써 독립변수들과 협력적 문제해결력과의 관련성 및 영향력을 좀 더 심층적으로 분석하였다. CPS와 T_CPS 각각을 종속변수로 하여 동일모형을 적용해 봄으로써 주요 관심변수들이 문제해결력에 미치는 결과가 협력적 문제해결력 점수에 인지 점수를 통제하기 전과 통제한 후의 결과를 비교해 보았다.
먼저 CPS에 대해 기본모형(unconditional model)을 통해 ICC(intra-class correlation coefficient)를 산출하여 전체 분산에서 학교간 분산이 차지하는 비율을 살펴보았다. <표 6>의 모형 1의 결과에서 보면 ICC가 약 22.7%(1593.2/7012.8)로 우리나라 고등학생의 CPS에 대한 학교 간 분산이 약 23%으로 파악되었다.
모형 2에서는 기본 모형인 모형 1에 본 연구의 학생 배경 변수인 ESCS와 성별에 대한 변수를 투입하여 T_CPS와의 관련성을 살펴보았다. 즉, 성별을 통제하고 난 후에 ESCS 집단 간 차이를 살펴본 결과, ESCS 상 집단과 하 집단 각각이 준거집단(reference group)인 하 집단에 비해 각각 18점, 7점 정도 통계적으로 유의하게 높게 나타났다. ESCS를 통제하고 난 후 여학생이 남학생에 비해 CPS 점수가 약 26점 정도 유의하게 높았다.
모형 3에서는 모형 2에서 추가적으로 협력적 태도 변수인 관계존중과 팀워크 존중 지수를 모형에 투입함으로써 학생 배경 변수를 통제하고 난 후에 협력적 태도 변수와 협력적 문제해결력과의 연관성을 살펴보았다. 그 결과 다른 변수를 통제한 후에서 관계존중과 CPS 관련성을 나타내는 회귀계수가 9.1로, 관계존중 변수가 평균 0, 표준편차 1로 표준화되어 있기 때문에 관계존중 지수가 1 표준편차 증가할 때 CPS는 약 9점 정도 증가할 것으로 기대되어진다고 해석할 수 있다. 반면 팀워크 존중의 경우 다른 변수를 통제하고 난 후 CPS와 통계적으로 유의하게 부적인 상관을 보였다. 다만 협력적 태도의 설명력을 살펴보고자 모형 2에서 모형 3 적용 시 학생수준 잔차 분산의 감소 비율을 살펴본 결과, 1% 미만으로 협력적 태도가 협력적 문제해결력에 미치는 영향력은 미미한 것으로 파악되어 진다((5318.5-5273.2)/5318.5*100).
모형 4에서는 학교평균 ESCS를 산출하여 모형에 포함하였으며, 고등학교 교사 설문 결과를 활용하여 학교평균 학생팀 협업 시 다양한 능력의 학생들을 골고루 배치하는 정도가 CPS에 유의한 관련성이 있는지를 살펴보았다. 그 결과 학교평균 ESCS는 학교평균 CPS 성적과 관련성이 매우 높은 것으로 나타났으며, 이는 모형 3과 모형 4의 학교수준 잔차분석 비교를 통해 약 51% 정도를 설명하는 것으로 통해서도 알 수 있다. 그러나 교사가 학생 협업 활동 구성 시 다양한 능력의 학생을 배치하는 정도는 통계적으로 유의한 관련성이 낮은 것으로 파악되었다.
T_CPS에 대해서도 CPS와 동일한 다층모형 분석 결과를 <표 7>에 제시하였다. 먼저 모형 1의 결과에서 보면 ICC가 약 6%(159.7/(159.7+2348.3))로 우리나라 고등학생의 T_CPS에 대한 학교 간 차이는 10% 미만으로 비교적 크지 않은 것으로 나타났다. 즉, 국어, 수학, 과학 영역을 통제하고 난 후의 협력적 문제해결력 점수에 대한 차이는 대부분 학생 특성에 의한 차이로 해석되어 진다.
학생 배경 변수인 ESCS와 성별에 대한 변수를 포함한 모형 2를 T_CPS에 적용한 결과, 성별을 통제하고 난 후 ESCS 상 집단이 준거집단인 하 집단에 비해 약 8점 정도 유의수준 0.05에서 통계적으로 유의하게 낮았고, ESCS 중 집단과 하 집단 간 통계적인 유의한 차이는 발견하지 못하였다. 이는 CPS 분석 결과와는 통계적으로 유의하게 반대되는 결과이다. ESCS를 통제하고 난 후도 여학생이 남학생에 비해 T_CPS 점수가 약 15점 정도 유의하게 높았다.
모형 3에서는 협력적 문제해결력 태도 변수인 관계존중과 팀워크 존중 변수 중 팀워크 존중 변수만이 유의수준 0.05에서 통계적으로 유의하였다. 팀워크 존중 변수에 회귀계수가 2.9로, 팀워크 존중 변수가 평균 0, 표준편차 1로 표준화되어 있기 때문에 팀워크 존중이 1표준편차 증가할 때 T_CPS는 약 3점 정도 증가할 것으로 기대되어진다고 해석할 수 있다. 비록 결과에는 제시하지 않았지만 모형 3에 투입된 학생 변수간 상호작용을 살펴보았으나 유의한 상호작용 효과는 발견하지 못하였다. 모형 3의 결과 또한 CPS 분석과 반대되는 결과로, 인지능력을 통제하고 난 후의 협력적 문제해결력에서는 CPS 결과와 달리 관계존중이 더 이상 유의한 정적인 관련성을 보이지 않은 반면, 팀워크 존중 변수가 오히려 그 크기는 크지 않지만 정적인 관련성을 나타냈다.
끝으로 모형 4에서는 비록 ICC가 6%로 T_CPS에 대한 학교 간 분산 자체가 크지 않으나 학교변수를 모형에 추가하여 학교 간 T_CPS 점수 차이를 설명하고자 시도하였다. 학교평균 ESCS와 교사설문을 통해 산출된 이질능력 집단 협업 구성 정도는 모두 통계적으로 유의한 관련성을 발견하지 못하였다. 특히 CPS 점수의 학교 간 차이에 대해 학교평균 ESCS 변수가 상당한 설명력을 가진 것과 달리 인지능력을 통제한 후 T_CPS에 대한 설명력은 거의 없는 것으로 나타났으나, 그 이유 중 하나는 T_CPS 자체가 학교 간 분산이 작고 학생 간 차이가 대부분의 T_CPS 분산을 차지하기 때문으로 해석되어 진다.
V. 결론
이 연구에서는 첫 번째 연구문제로 PISA 2015에 나타난 우리나라 학생들의 협력적 문제해결력 성취점수를 토대로, 배경변수(성별, ESCS), 협력적 태도(관계존중, 팀워크 존중), 학교특성(학교평균ESCS, 집단구성방식)과의 관계를 알아보았다. PISA의 문제해결력은 개인적 문제해결력(OECD, 2014, p.68), 협력적 문제해결력(OECD, 2017a, p.77) 모두 읽기, 수학, 과학의 인지영역과 상당히 높은 관련이 있음이 알려져 있다. 따라서 두 번째 연구문제로 이러한 영역의 성취 점수를 통제하였을 때 협력적 문제해결력 고유의 특성이 남을 것으로 가정하고, 이러한 특성과 학생 배경, 협력적 태도, 학교 특성과의 관계는 어떻게 달라지는지 비교하고자 하였다.
연구결과를 토대로 몇 가지 논의하면 다음과 같다. 첫째, 우리나라 고등학생의 경우 협력적 문제해결력 성취도는 인지적 능력의 통제 여부와 상관없이 여학생이 높았다. 즉 읽기, 수학, 과학 성취점수를 통제한 문제해결력 성취를 예측하는 성별의 효과는 약간 줄어들기는 했으나, 여전히 남학생은 협력적 문제해결력에 있어서 여학생보다 낮은 수준을 보인다. 개인적 문제해결력을 측정한 PISA 2012에서는 남학생이 여학생보다 우수하였으나, PISA 2015의 협력적 문제해결력에 있어서는 여학생 성취의 우세함이 드러났다는 것은 주지할 만한 결과이다. OECD 전체 참여 국가들을 대상으로 한 결과에서도 동일한 현상이 나타난 것으로 보아(OECD, 2017a, p.35), 성차에 대한 결과가 우리나라만의 특성은 아닌 것으로 파악된다. 이전부터 협동학습의 결과나 관련 성취에 있어서는 여학생이 남학생보다 우수하다는 보고들이 있었으며(이윤미, 유정문, 2003; Kamsler, 1992), 여학생들은 타인에게 관심이 있고 타인의 말을 잘 듣고 행동하는 등 긍정적인 상호관계를 추구하는 경향이 두드러지기 때문이라는 해석이 가능하다. 여학생들은 또 협동학습에 대한 인식 자체도 남학생들보다 긍정적으로 형성되어 있어서, 자신에게 더 잘 맞는 학습방법이라고 응답하는 경우가 많다(황영란, 박윤배, 2011). 본 연구에서 남학생의 협력적 문제해결력이 낮게 나타난 것은 위의 선행연구들을 뒷받침하는 결과이다. 특히 남학생이 여학생과 동일한 인지적 능력을 가졌다고 가정했을 때에도 여전히 이러한 성차가 나타나는 것은, 남학생들의 협력적 태도와 기술을 향상시키기 위한 교수학습 전략이 좀 더 적극적으로 이루어져야 함을 시사한다.
둘째, 협력적 문제해결력 성취에 대해서 협력적 태도 자체의 설명력은 크지는 않지만 문제해결력과 어느 정도 관련성이 있는 것으로 확인되었다. 구체적으로 본 연구에서 측정된 협력적 문제해결력의 정의적 특성은 타인과의 관계를 얼마나 존중하고 있는지(관계 존중) 그리고 집단적 문제해결을 얼마나 선호하고 이것의 가치를 얼마나 긍정적으로 인식하는지(팀워크 존중)와 관련된다. 분석 결과 인지적 성취점수를 통제하지 않은 협력적 문제해결 성취에는 관계존중이 정적으로, 팀워크 존중이 부적인 관계를 나타내었던 반면 인지적 성취점수가 통제되면 두 변수 모두 정적인 관계를 나타내지만 관계존중은 통계적으로 유의미하지 않은 것으로 나타난다. 이는 협력적 문제해결력 고유의 특성을 보여주는 중요한 단서이며, 종합하면 문제해결과 관련된 협력적 태도에서는 대인관계와 관련된 부분보다는 집단 역동 속에서의 사회적 기능 혹은 사회적 조절(Griffin, Care, & McGaw 2012; Hesse et al., 2015)이 중요함을 말해주고 있다. 사회적 조절은 협력적 문제해결 과정에서 자신의 정보를 공유하고, 다른 구성원의 관점을 수용하며, 구성원들의 다양한 관점을 조율하기 위한 규칙을 만들고 이행하는 등의 능력들을 말하며, 이는 주어진 문제를 ‘공동으로’ 해결하기 위해 보다 필수적인 능력이라 할 수 있다. 개인적으로 주어지는 문제해결 상황에서는 인지적 능력이 보다 중요한 역할을 할 수 있으나, 협동과 집단적 활동이 필요한 문제해결 상황에서는 사회적 능력이 필수적이다. 즉 협력적 문제해결이 필요로 하는 사회적 능력이란 단순히 타인과 좋은 관계를 맺거나 타인을 배려하는 수준을 넘어서, 주어진 과업을 해결하기 위해 적극적으로 참여하고 갈등을 조율하고 목표달성을 위해 협력하는 고차원적인 수준을 말한다는 것을 알 수 있다. 본 연구에서 협력적 문제해결 고유의 특성에서는 관계 존중이 아닌 팀워크 존중만이 유의한 결과를 보인 것은 집단 활동을 선호하고 그 가치를 높게 인정하는 경우 학습의 결과가 높게 나타난다는 학습양식(learning style) 연구들(Grasha & Reichmann, 1996)과 맥을 같이 한다고 볼 수 있다.
셋째, 학생과 학교 수준의 경제·사회·문화적 배경을 나타내는 지표인 ESCS에서도 인지적 성취수준을 통제하지 않았을 때와 통제했을 경우 차이를 보이고 있었다. 즉 읽기, 수학, 과학 점수를 통제하지 않은 상태에서, 학생, 학교의 ESCS가 높아질수록 협력적 문제해결력의 수준은 높게 나타났다. 이는 대부분의 연구에서 SES가 높아지면 학업성취도가 높아진다는 결과(Sirin, 2005)에서 그 원인을 추론할 수 있다. 협력적 문제해결력은 인지 영역의 점수들과 높은 상관을 보이기 때문에 ESCS의 효과도 이들 영역에서처럼 정적으로 나타나는 것인데, 반면 이러한 인지적 성취점수를 통제하면 ESCS가 높은 집단의 학생들이 낮은 집단에 비해 협력적 문제해결력이 낮게 나타났으며, 학교평균 ESCS 변수는 유의하지 않게 나타났다.
OECD 전체 보고서(2017a)에서도 ESCS와 협력적 문제해결력의 상관은 다른 영역에서 나타나는 것보다 약했고(p.35), 인지영역의 점수를 통제하면 국가별 차이가 있기는 하지만 낮은 ESCS의 학생들이 높은 학생들보다 우수한 성적을 보인다고 하였다(p. 36). 이는 본 연구에서 잔차 점수로 확인된 협력적 문제해결력이 개인수준의 문제해결력 혹은 인지적 능력과 혼재된 협력적 문제해결력과는 구분되는 성격을 가지고 있음을 암시한다. 또한 학교평균 ESCS는 보통의 인지영역 성취와는 유의한 정적상관이 있다고 알려져 있고(Sirin, 2005), 원래의 협력적 문제해결력을 예측하는 정도도 컸으나, 인지영역이 통제된 협력적 문제해결력과는 유의한 관련성을 발견하지 못하였다. 이는 T_CPS가 처음부터 학교 간 분산이 작아(6%), 학생 특성에서 인지영역을 제거한 고유한 협력적 문제해결능력을 설명하려는 노력이 필요함을 시사한다. 이러한 맥락에서 사회경제적 지위와 인지영역이 배제된 PISA에서 정의하고 있는 고유한 영역의 협력적 문제해결능력과의 상관에 대한 뚜렷한 결론을 내리기는 어렵다. 다만 본 연구 결과를 바탕으로 인지적 능력과 무관하게 ESCS가 낮은 학생들의 팀워크 존중 수준이 높았을 때 이것이 그들의 협력적 문제해결력의 수준을 더 크게 촉진한 것으로 보는 관점과 맥락을 같이한다(OECD, 2017c, p.5).
마지막으로 학교수준 변수에서 유의할 것으로 예상하였던 교사의 집단 구성방식에 대해서는 인지적 성취점수의 통제 유무와 관계없이 협력적 문제해결력이 통계적으로 유의하지 않은 것으로 나타났다. 본 연구에서 사용한 PISA에서 측정한 집단의 구성방식은 학생들이 팀으로 협업하는 경우 교사가 이질적인 능력수준을 혼합한 집단 구성을 얼마나 자주 하느냐를 묻고 있다. 이러한 결과는 교사 수준에서 집단을 구성하는 방식 자체는 협력적 태도 증진이나 문제해결력에 관련이 적은 것으로 해석할 수 있으며, 오히려 집단 내에서 또래와의 관계나 팀별로 주어지는 활동의 과정이나 상호작용의 질이 어떻게 나타나는지를 확인할 필요가 있다.
또한, OECD 전체 국가의 결과에서도 협력적 문제해결력이 높은 학교 수준의 특성은 직접적인 교수학습 관련 변수가 아니라 학교풍토와 관련된 변수들 즉 교사가 학생들을 차별없이 대하거나, 학교 안의 분위기가 안전하고 화목할 경우 등으로 나타났다(OECD, 2017c, p.4). 협력적 문제해결력 자체는 미래사회에 중요한 역량으로 간주되어 왔지만, PISA에서도 이러한 능력의 평가는 혁신적이라고 명명하고 있으며, 따라서 기존 연구들에서 나타난 협동학습이나 팀기반 문제해결 등에서 관련이 높다고 나타난 변수들(집단 크기, 집단 역동 등)과 협력적 문제해결력과의 관련성은 후속 연구에서 좀 더 깊게 살펴볼 필요가 있다.
본 연구의 한계점으로는 먼저, 연구문제에서 협력적 문제해결력과 협력적 태도 그리고 선행연구에서 중요하게 다루어진 개인, 학교수준 변수를 위주로 탐색하였기 때문에, 컴퓨터 기반으로 이루어진 협력적 문제해결력 성취에 영향을 줄 수 있는 정보통신기술(ICT) 관련 변수들을 제외하였다는 것이다. 그간 PISA에서 시행된 컴퓨터 기반의 성취결과들에서는 ICT에 대한 태도나 기술이 성취를 예측하는 주요 요인들로 보고되었다. ICT 변수들 자체는 본 연구의 관심사가 아니었지만, 이미 학생들은 온라인으로 다양한 정보를 찾는 활동에 익숙하기 때문에, 문제가 제공되고 해결되는 상황에 이러한 변수들이 관련될 수 있음을 유념해야 할 것이다. 둘째, 본 연구에서의 협력적 문제해결 상황은 컴퓨터 상의 가상인물과의 상호작용을 토대로 하기 때문에, 실제 교실에서 일어나는 학습상황에서 학생들이 보일 것으로 예상되는 협력적 태도나 문제해결력 수준은 다르게 나타날 가능성을 염두에 두어야 한다. 셋째, 인지적 성취점수를 통제하고 성별, SES나 협력적 태도의 역할을 살펴본 연구는 비교적 적기 때문에, 우리나라 학생들을 대상으로 한 본 연구의 결과가 여타의 국가에서도 일반적으로 나타날 것인지 재확인할 필요가 있다. 예컨대 SES의 효과같은 경우 인지적 성취를 통제한 협력적 문제해결력의 수준은 국가별 교육 시스템에 따라 다양할 것으로 예상되며(OECD, 2017c, p.5), 이 같은 점을 고려하여 결과를 해석할 필요가 있다.
