표 A1 수학 교과 구성형 답안 자동 채점 연구 분석 결과

저자(연도) 문헌의 유형 학교급 주제 영역 채점 방법 채점 알고리즘 모델 성능 지표 답안의 형태 & 입력 유형
1. Asakura et al. (2023) P 초등 N/A 총체적(Bi) DL(bi-LSTM, LLM) F-measure(0.9681) SE(H), MF(H), GR(H)
2. Baral et al. (2021) P N/A N/A 총체적(Mul) ML, DL (SBERT-canberra) AUC(0.856), RMSE(0.577), multi-class kappa(0.476) SE(D), MF(D)
3. Baral et al. (2022) P N/A N/A 총체적(Mul) ML, DL(SBERT-MTF) AUC(0.871), RMSE(0.524), multi-class kappa(0.508) SE(D), MF(D)
4. Botelho et al. (2023) J N/A N/A 총체적(Mul) ML, DL (SBERT-canberra) AUC(0.851), RMSE(0.591), multi-class kappa(0.469) SE(D), MF(D)
5. Chaowicharat & Dejdumrong (2023) J N/A 수와 연산 총체적(Mul), 분석적(St) DL(CNN) accuracy(0.8426~0.9168), F1-score(0.8995~0.9595) GR(H)
6. Erickson et al. (2020) P 중등 N/A 총체적(Mul) ML, DL(decision tree, random forest, LSTM) AUC(0.850), RMSE(0.615), multi-class kappa(0.430) SE(D), MF(D)
7. Fife (2013) R 중등 변화와 관계 분석적(El) T(N/A) exact agreement(0.93~0.97), Cohen’s kappa(0.86~0.95), Quadratic-weighted kappa (0.89~0.96) GR(D)
8. Kadupitiya et al. (2016) P 고등 수와 연산 분석적(St) T(N/A) accuracy(0.998) MF(D)
9. Lan et al. (2015) P 고등, 대학 변화와 관계 분석적(St) ML(MLP-S, MLP-B) MAE(약 0.18, 약 0.13) MF(D)
10. Mendis et al. (2017) P 고등 도형과 측정 분석적(El) T(N/A) accuracy(0.78) SE(D), MF(D)
11. Nakamoto et al. (2023) J N/A N/A 총체적(Mul) ML, DL(BERT) MAE(0.336~0.692) SE(D), MF(H)
12. Nguyen et al. (2012) P 대학 변화와 관계 총체적(Bi) T(N/A) Precision (1.000) MF(D)
13. Othman & Bakar (2017) P 중등 변화와 관계 분석적(St) T(N/A) Spearman Rho Correlation Coefficient(0.983~0.990), Krippendorff’s Alpha Reliability Index (0.893~0.899) MF(D)
14. Othman et al. (2010) P 중등 변화와 관계 분석적(St) T(N/A) accuracy(0.9818) MF(D)
15. Rivera-Bergollo et al. (2022) P N/A 변화와 관계 총체적(Mul) ML, DL (SBERT-canberra) AUC(avg+0.053~avg+0.073) MF(D)
16. Singley & Bennett (1998) R N/A 변화와 관계 분석적(El) T(N/A) accuracy(0.9949) MF(D)
17. Tvarožek et al. (2008) P 중등 변화와 관계 총체적(Bi) ML(N/A) accuracy(0.8830) SE(D), MF(H)
18. Wijesinghe et al. (2017) P 고등 자료와 가능성 분석적(El) T, ML(N/A) accuracy(1.0000) GR(D)
19. Wijeweera et al. (2017) P 고등 도형과 측정 분석적(El) T(N/A) accuracy(0.9700) GR(D)
20. Yang et al. (2011) J 초등 수와 연산 N/A ML(decision tree) accuracy(0.9494~0.9937) MF(D)
21. Yuhana et al. (2022) J 초등 수와 연산 총체적(Mul) ML(random forest, SVM) accuracy(0.7812) GR(H)
Note. J = 학술지 논문, P = 학술대회 발표 자료, R = 보고서, Bi = 이분형, Mul = 다분형, El = 요소형, St = 단계형, T = 전통적 알고리즘, ML = 기계학습, DL = 딥러닝, SE = 문장형, MF = 수식형, GR = 그래픽형, H = 손글씨, D = 디지털