오답을 다음 학습으로 연결하는 진단

문항 단위로 정리한 시험 자료

2022년부터 2026년까지의 모의고사와 수능을 문항 단위로 색인했다. 문제와 해설, 정답과 배점에 더해 문항 정답률과 선지별 선택률을 SQLite에 저장했으며, 시험지 165개 중 159개는 자료를 모두 갖추었다.

이 자료를 이용해 학생의 오답을 다른 시험의 문항과 연결한다. 같은 유형이면서 정답률이 비슷한 문항을 찾아 원본 PDF에서 잘라 제시하므로, 진단 뒤에 관련 문제를 다시 풀 수 있다.

계산과 문장 작성

기대 점수와 점수 손실, 선택률이 높은 오답은 서버가 계산한다. 언어 모델은 계산 결과를 받아 설명 문장을 작성하고, 검증에 실패한 문장은 제거한다. 수치를 계산하는 코드와 문장을 작성하는 모델의 역할을 명시해 결과를 확인할 수 있게 구성했다.

블라인드 채점에서 문항 정확도는 클라우드 모델이 33/34, 로컬 모델이 21/34였다. 이 값은 해당 평가 문항에서 얻은 결과이며, 모든 시험과 학생에 대한 정확도를 뜻하지 않는다.

부정 발문의 방향 오류

로컬 모델은 부정 발문을 설명할 때 문장의 방향을 자주 뒤집었다. 이 유형에 대한 진술은 서버가 만든 문장으로 고정해 오류를 줄였다. 오류가 생기는 조건을 확인한 뒤, 해당 조건의 문장 생성 방식을 수정한 사례다.