WO2018212397A1

WO2018212397A1 - 시험 점수를 추정하는 방법, 장치 및 컴퓨터 프로그램

Info

Publication number: WO2018212397A1
Application number: PCT/KR2017/005926
Authority: WO
Inventors: 차영민; 허재위; 장영준
Original assignee: 주식회사 뤼이드
Priority date: 2017-05-19
Filing date: 2017-06-08
Publication date: 2018-11-22
Also published as: JP2020521244A; CN110651294A; JP6814492B2; US20200193317A1

Abstract

본 발명은 학습 데이터 분석 서버에서, 시험 문제에 대한 사용자의 예상 점수를 추정하는 방법에 대한 것으로, 복수의 문제를 포함하는 문제 데이터베이스를 구성하고, 상기 문제에 대한 복수의 사용자의 풀이 결과 데이터를 수집하고, 상기 풀이 결과 데이터를 이용하여 임의의 문제에 대한 임의의 사용자의 정답 확률을 추정하는 a 단계; 상기 문제 데이터베이스로부터, 상기 문제 데이터베이스를 이용하지 않고 출제된 외부 시험 문제 세트와 유사한 모의고사 문제 세트를 적어도 하나 이상 구성하는 b 단계; 상기 모의고사 문제 세트를 풀어보지 않은 임의의 사용자에 대해, 상기 모의고사 문제 세트를 구성하는 각각의 문제의 상기 사용자에 대한 상기 정답 확률을 이용하여 상기 모의고사 문제 세트의 예측 점수를 추정하고, 추정된 예측 점수를 상기 외부 시험 문제에 대한 예측 점수로 제공하는 c 단계를 포함하는 것을 특징으로 한다.

Description

시험 점수를 추정하는 방법, 장치 및 컴퓨터 프로그램

본 발명은 특정 사용자에 대한 시험 점수를 추정하는 방법에 대한 것이다. 보다 구체적으로 본 발명은 대량의 사용자의 문제 풀이 결과 데이터를 분석하여, 실제 시험에 대한 특정 사용자의 예상 점수를 추정하는 방법에 대한 것이다.

지금까지 특정 시험에 대한 피시험자의 예상 점수는 전문가들의 노하우에 따라 추정되는 것이 일반적이었다. 예를 들어 대학 수학능력 시험의 경우, 전문가들의 노하우에 따라 실제 대학 수학능력 시험과 유사하게 모의고사를 구성하고, 학생들이 모의고사를 풀어본 결과를 토대로 대학 수학 능력 시험의 예상 점수가 예측되게 된다.

그러나 이와 같은 방법은 전문가들의 주관적 경험과 직관에 의존하기 때문에 실제 시험 결과와 크게 차이가 나는 경우가 적지 않다. 예를 들어 모의고사에서는 2등급을 받던 학생이 실제 수학능력 시험에서 전혀 다른 등급을 받게 되는 경우가 허다한 것이다. 나아가 학생들이 불완전한 예상 점수라도 알아보기 위해서는 다수의 모의고사를 직접 풀어보아야 하는 부담이 발생한다.

이와 같이 종래의 교육 환경에서는 실제 시험에 대한 피시험자의 예상 점수가 수학적으로 계산되지 않으며, 예상 점수를 알아보기 위해서는 다수의 모의고사에 응시해야 하고, 신뢰도가 낮은 예상 점수 정보에 따라 피시험자가 해당 시험을 준비하게 되므로 학습 능률이 떨어지는 문제가 발생한다.

본 발명은 사용자가 특정 시험에 대한 모의고사 문제를 풀어보지 않고 해당 시험의 예상 점수를 추정하는 방법을 제공하는 것을 목적으로 한다.

보다 구체적으로 본 발명은, 문제와 사용자에 대한 모델링 벡터를 구성하여, 실제 시험 문제와 유사하게 구성된 모의고사 문제 세트를 사용자가 풀어보지 않고도, 모의고사 문제 세트에 대한 예측 점수를 추정하여 이를 실제 시험 문제에 대한 예측 점수로 제공하는 방법을 제공하는 것을 목적으로 한다.

본 발명의 실시예를 따르는 학습 데이터 분석 서버에서, 시험 문제에 대한 사용자의 예상 점수를 추정하는 방법은, 복수의 문제를 포함하는 문제 데이터베이스를 구성하고, 상기 문제에 대한 복수의 사용자의 풀이 결과 데이터를 수집하고, 상기 풀이 결과 데이터를 이용하여 임의의 문제에 대한 임의의 사용자의 정답 확률을 추정하는 a 단계; 상기 문제 데이터베이스로부터, 상기 문제 데이터베이스를 이용하지 않고 출제된 외부 시험 문제 세트와 유사한 모의고사 문제 세트를 적어도 하나 이상 구성하는 b 단계; 상기 모의고사 문제 세트를 풀어보지 않은 임의의 사용자에 대해, 상기 모의고사 문제 세트를 구성하는 각각의 문제의 상기 사용자에 대한 상기 정답 확률을 이용하여 상기 모의고사 문제 세트의 예측 점수를 추정하고, 추정된 예측 점수를 상기 외부 시험 문제에 대한 예측 점수로 제공하는 c 단계를 포함하는 것을 특징으로 한다.

본 발명에 따르면, 사용자가 모의고사 문제 세트를 풀어볼 필요 없이 실제 시험 점수를 추정할 수 있는 효과가 있다.

도 1은 본 발명의 실시예를 따르는 데이터 분석 프레임워크에서 시험 점수를 추정하는 과정을 설명하기 위한 순서도

본 발명은 이하에 기재되는 실시예들의 설명 내용에 한정되는 것은 아니며, 본 발명의 기술적 요지를 벗어나지 않는 범위 내에서 다양한 변형이 가해질 수 있음은 자명하다. 그리고 실시예를 설명함에 있어서 본 발명이 속하는 기술 분야에 널리 알려져 있고 본 발명의 기술적 요지와 직접적으로 관련이 없는 기술 내용에 대해서는 설명을 생략한다.

한편, 첨부된 도면에서 동일한 구성요소는 동일한 부호로 표현된다. 그리고 첨부 도면에 있어서 일부 구성요소는 과장되거나 생략되거나 개략적으로 도시될 수도 있다. 이는 본 발명의 요지와 관련이 없는 불필요한 설명을 생략함으로써 본 발명의 요지를 명확히 설명하기 위함이다.

최근 IT 디바이스의 보급이 확대되면서, 사용자 분석을 위한 데이터 수집이 용이해지고 있다. 사용자 데이터를 충분히 수집할 수 있으면, 사용자의 분석이 보다 정밀해지고 해당 사용자에게 가장 적합한 형태의 컨텐츠를 제공할 수 있다.

이러한 흐름과 함께 특히 교육 업계에서 정밀한 사용자 분석에 대한 니즈가 높다.

간단한 예를 들어, 특정 대학 진학을 목표로 하는 어떤 학생이 수학능력시험에 대해 언어 영역 50점, 외국어 영역 80점을 맞을 것으로 높은 신뢰도로 예상할 수 있으며, 해당 학생은 대학의 모집 요강을 참고하여 어떤 과목에 주안점을 두고 공부할 것인지 판단할 수 있을 것이다.

시험 점수를 추정하기 위해서는 종래에 학생들은 전문가들이 해당 시험과 유사하게 구성한 모의고사를 여러 번 풀어보는 방식을 따랐다. 그러나 수험생들이 모의고사를 푸는 행위 자체는 능률적인 공부라고 보기 어렵다. 모의고사는 실제 시험과 유사한지를 기준으로 구성되기 때문에 응시자의 실력과는 무관하게 출제된다. 즉, 모의고사는 시험점수를 추정하여 전체 학생들 중에서 자신의 위치를 확인하는데 목적이 있을 뿐, 응시자의 학습을 위해 구성된 문제가 아니다.

따라서 개별 학생들은 모의고사를 통해 알고 있는 문제도 여러 번 풀어보게 된다. 나아가 종래의 모의고사는 전문가들의 노하우에 따라 구성되기 때문에 실제 시험과 유사한지 여부, 즉, 실제 시험과의 유사도가 수학적으로 계산될 수 없으며, 모의고사를 통해 추정된 학생의 예상 점수는 실제점수와 차이가 클 수 밖에 없는 문제가 있었다.

본 발명은 상기와 같은 문제를 해결하기 위한 것이다. 본 발명의 실시예를 따르는 데이터 분석 서버는 학습 데이터 분석에 머신 러닝 프레임워크를 적용하여 데이터 처리 과정의 사람의 개입을 배제하고 시험점수를 추정하는 방법을 제공하고자 한다.

본 발명의 실시예를 따르면, 사용자는 모의고사를 풀어보지 않고도 시험 점수를 예상할 수 있다. 보다 구체적으로, 본 발명의 실시예를 따르면 데이터 분석 시스템의 문제 데이터베이스를 통해 실제 시험과 수학적으로 유사한 모의고사가 구성될 수 있다. 나아가 사용자가 문제 데이터베이스를 통해 구성된 모의고사를 풀어보지 않더라도 사용자와 문제에 대한 모델링 벡터를 사용하여 문제에 대한 정답률을 추정할 수 있기 때문에 해당 시험의 예상 점수가 높은 신뢰도로 계산될 수 있다.

도 1은 본 발명의 실시예를 따르는 학습 데이터 분석 프레임워크에서 임의의 사용자의 실제 시험 점수를 추정하는 방법을 도시한 순서도이다.

단계 110 및 단계 120는 데이터 분석 시스템에서 개별 사용자에 대한 실제 시험 예상 점수를 추정하기 위한 전제가 되는 단계이다.

본 발명의 실시예를 따르면 단계 110에서 데이터베이스에 저장된 전체 문제의 전체 사용자에 대한 풀이 결과 데이터가 수집될 수 있다.

보다 구체적으로, 데이터 분석 서버는 문제 데이터베이스를 구성하고, 상기 문제 데이터베이스에 속하는 전체 문제들에 대한 전체 사용자의 풀이 결과 데이터를 수집할 수 있다.

예를 들어 데이터 분석 서버는 시중에 나와 있는 각종 문제들에 대한 데이터베이스를 구축하고, 사용자가 해당 문제들을 푼 결과를 수집하는 방식으로 풀이 결과 데이터를 수집할 수 있다. 상기 문제 데이터베이스는 듣기 평가 문제를 포함하고, 텍스트, 이미지, 오디오, 및/또는 동영상 형태일 수 있다.

이때 데이터 분석 서버는 수집된 문제 풀이 결과 데이터를 사용자, 문제, 결과에 대한 리스트 형태로 구성할 수 있다. 예를 들어 Y (u, i)는 사용자 u가 문제 i를 푼 결과를 의미하며, 정답인 경우 1, 오답인 경우 0의 값이 부여될 수 있다.

나아가 본 발명의 실시예를 따르는 데이터 분석 서버는 사용자와 문제로 구성된 다차원 공간을 구성하고, 사용자가 문제를 맞았는지 틀렸는지를 기준으로 상기 다차원 공간에 값을 부여하여, 각각의 사용자 및 문제에 대한 벡터를 계산할 수 있다. (단계 120) 이때 상기 사용자 벡터와 문제 벡터가 포함하는 피처는 한정되지 않는 것으로 해석되어야 한다.

한편, 도 1에 별도로 도시된 것은 아니지만, 데이터 분석 서버는 상기 사용자 벡터와 상기 문제 벡터를 이용하여 임의의 사용자가 임의의 문제를 맞출 확률, 즉 정답률을 추정할 수 있다.

이때 상기 사용자 벡터와 상기 문제 벡터에 다양한 알고리즘을 적용하여 상기 정답률을 계산할 수 있으며, 본 발명을 해석함에 있어 정답률을 계산하기 위한 알고리즘은 제한되지 않는다.

예를 들어 데이터 분석 서버는 상기 사용자의 벡터값 및 상기 문제의 벡터값에 정답률 추정을 위해 파라미터를 설정한 시그모이드 함수를 적용하여 사용자의 해당 문제에 대한 정답률을 계산할 수 있다.

또 다른 예로 데이터 분석 서버는 상기 사용자의 벡터값 및 상기 문제의 벡터값을 이용하여 특정 사용자의 특정 문제에 대한 이해도를 추정하고, 상기 이해도를 이용하여 특정 사용자가 특정 문제를 맞출 확률을 추정할 수도 있다.

예를 들어 사용자 벡터의 1번째 행의 값이 [0, 0, 1, 0.5, 1] 인 경우, 이는 제 1 사용자가 1, 2번째 개념은 전혀 이해하지 못하고, 3번째 및 5번째 개념은 완벽히 이해하고, 그리고 4번째 개념은 절반만큼 이해한 것으로 해석될 수 있다.

나아가 문제 벡터의 1번째 행의 값이 [0, 0.2, 0.5, 0.3, 0]이라 할 때, 이는 제 1 문제가 1번 개념은 전혀 포함하고 있지 않고, 2번 개념이 20% 정도 포함, 3번 개념이 50% 정도 포함, 4번 개념이 30% 정도 포함된 것으로 해석될 수 있다.

이때 제 1 사용자의 제 1 문제의 이해도를 추정하면, 0x0 + 0x0.2 + 1x0.5 + 0.5x0.5 + 1x0 = 0.75로 계산될 수 있다. 즉, 제 1 사용자는 제 1 문제를 75퍼센트 이해하는 것으로 추정될 수 있다.

그러나 사용자의 특정 문제에 대한 이해도와 특정 문제를 맞출 확률은 동일하다고 할 수 없다. 위의 예에서 제 1 사용자가 제 1 문제를 75 퍼센트 이해한다면 제 1 문제를 실제로 풀었을 때 정답일 확률은 어느 정도인 것인가

이를 위해 심리학, 인지과학, 교육학 등에서 사용되는 방법론을 도입하여 이해도와 정답률의 관계를 추정할 수 있다. 예를 들어 Reckase 및 McKinely가 고안한 M2PL (multidimensional two-parameter logistic) 잠재적 특성 이론 (Latent Trait Model) 등을 고려하여 이해도와 정답률을 추정할 수 있다.

그러나 본 발명은 합리적인 방식으로 이해도와 정답률 관계를 추정할 수 있는 종래 기술을 적용하여 사용자의 문제에 대한 정답률을 계산할 수 있으면 족하며, 본 발명은 이해도와 정답률의 관계를 추정하는 방법론에 제한되어 해석될 수 없음을 유의해야 한다.

이후 데이터 분석 서버는 시험점수를 추정하기 위한 대상 시험과 유사한 모의고사를 상기 문제 데이터베이스를 이용하여 구성할 수 있다. (단계 130) 이때 특정 시험에 대한 모의고사는 복수개 구성되는 것이 보다 적절하다.

실제 시험은 문제 데이터베이스 외부에서 생성되는 것을 원칙으로 하기 때문에, 실제 시험 문제 각각에 대한 모델링 벡터를 계산하기는 쉽지 않다. 따라서 모델링 벡터가 미리 계산된 문제 데이터베이스를 이용하여 해당 시험과 유사한 모의고사를 생성하면 모의고사의 예측 점수를 실제 시험의 예상 점수로 갈음할 수 있다.

본 발명의 실시예를 따르면 모의고사는 아래와 같은 방법으로 구성할 수 있다.

첫번째는 데이터베이스 문제 각각의 전체 사용자에 대한 평균 정답률을 이용하여 전체 사용자에 대한 모의고사의 평균 점수가 임의의 범위에 속하도록 문제 세트를 구성하는 것이다.

예를 들어, 어학 능력 시험의 통계를 참고할 때 해당 시험의 전체 응시자의 평균 점수가 67점에서 69점인 경우, 데이터 분석 서버는 모의고사도 평균 점수가 67점에서 69점 범위에 속하도록 문제 세트를 구성할 수 있다.

이때 해당 시험의 문제 유형 분포를 고려하여 모의고사의 문제 세트를 구성할 수 있다. 예를 들어 어학 능력 시험의 통계를 참고할 때, 실제 시험에 제 1 유형이 20 퍼센트, 제 2 유형이 30 퍼센트, 제 3 유형이 40 퍼센트, 제 4 유형이 10 퍼센트 내외로 출제되는 경우, 모의고사도 문제 유형 분포가 실제 시험과 유사하도록 구성할 수 있다.

이를 위해 본 발명의 실시예를 따르면 문제 유형에 대한 레이블을 미리 생성하여 문제 데이터베이스에 인덱스 정보를 추가할 수 있다.

예를 들어 데이터 분석 서버는 임의의 유형으로 분류할 수 있는 문제들의 레이블을 미리 정의하고, 해당 문제 유형을 따르는 문제 모델의 특성을 학습하여 문제들을 클러스터링하고, 클러스터링된 문제 그룹에 문제 유형에 대한 레이블을 부여하는 방식으로 인덱스 정보를 생성할 수 있다.

또 다른 예로 데이터 분석 서버는 문제 유형에 대한 레이블을 미리 정의하지 않고 문제들의 모델링 벡터를 이용하여 문제들을 클러스터링하고, 클러스터링된 문제 그룹의 의미를 해석하여 문제 유형에 대한 레이블을 부여하는 방식으로 인덱스 정보를 생성할 수도 있다.

본 발명의 실시예를 따라 모의고사를 구성하는 두번째 방법은 해당 시험에 대한 임의의 사용자들의 실제 점수 정보를 이용하는 것이다.

예를 들어, 어학 능력 시험에 대한 앞의 예에서, 해당 시험을 응시한 사용자 A, B, C 의 실제 점수가 각각 60, 70, 80점인 경우, 미리 계산된 사용자 A, B, C의 정답률을 적용하여 계산한 모의고사 추정 점수가 각각 60, 70, 80점이 되도록 모의고사 문제 세트를 구성할 수 있다.

모의 고사의 추정된 점수가 실제 점수와 근접하도록 문제 세트를 구성하는 상기 실시예를 따르면 모의고사와 실제 시험의 유사도가 실제 시험을 응시한 사용자의 점수 정보를 이용하여 수학적으로 계산될 수 있다. 따라서 모의고사의 신뢰도, 즉, 모의 고사 점수가 실제 시험 점수에 근접한다는 신뢰도를 높일 수 있다.

이때 본 발명의 실시예를 따르면 해당 시험의 문제 유형 분포 정보를 적용하여 모의고사 문제 세트를 구성할 수 있으며, 통계적으로 분석되는 다른 정보를 적용할 수도 있다.

한편, 도 1에 별도로 도시된 것은 아니지만, 데이터 분석 서버는 모의고사 문제 세트를 구성하는 과정에서 문제들의 배점을 조정할 수 있다. 이는 문제 데이터베이스에 속하는 문제들은 별도의 배점 정보가 부여되어 있지 않으나, 실제 시험은 문제들 각각에 상이한 배점이 부여되기 때문이다.

일반적으로 실제 시험은 어려운 문제에 높은 배점이 부여되고, 쉬운 문제에 낮은 배점이 부여된다. 이를 해석하면, 문제의 평균 정답률, 문제를 구성하는 개념의 개수, 문제 지문의 길이 등을 고려하여 실제 문제의 배점이 부여되며, 문제 유형에 따라 미리 특정된 배점이 부여될 수도 있다.

따라서 본 발명의 실시예를 따르는 데이터 분석 서버는 해당 문제의 평균 정답률, 문제를 구성하는 개념의 개수, 문제 지문의 길이, 및 문제 유형 정보 중 적어도 하나 이상을 반영하여 모의고사 문제 세트를 이루는 각각의 문제들의 배점을 부여할 수 있다.

이를 위해 도 1에 별도로 도시된 것은 아니지만, 데이터 분석 서버는 문제의 개념에 대한 레이블 생성을 위해 해당 과목의 학습 요소 및/또는 주제를 트리 구조로 나열하여 최소 학습 요소에 대한 메타데이터 세트를 생성하고, 상기 최소 학습 요소를 분석에 적합한 그룹 단위로 분류하여 문제를 구성하는 개념에 대한 인덱스 정보를 생성할 수도 있다.

특히 본 발명의 실시예를 따르면, 해당 시험을 실제로 응시한 사용자들의 실제 점수와 해당 사용자들의 모의고사 문제 세트에 대한 추정 점수가 근접하도록 문제 세트를 이루는 각각의 문제들의 배점을 부여할 수도 있다.

실제 시험과 유사도가 높은 모의고사 문제 세트가 구성되면, 본 발명의 실시예를 따르는 데이터 분석 서버는 사용자 각각의 모의고사에 대한 예측 점수를 추정할 수 있다. (단계 140) 실제 시험과 모의고사가 유사하다는 것을 전제로 모의고사의 점수를 실제 시험의 점수로 추정하는 것이다.

특히 본 발명의 실시예를 따르면, 사용자가 모의고사를 직접 풀어볼 필요없이 모의고사의 점수를 높은 신뢰도로 추정할 수 있는 특징이 있다.

본 발명의 실시예를 따르는 모의고사는 문제 데이터베이스에 포함된 문제로 구성되며, 데이터베이스에 속하는 각각의 문제에 대한 사용자의 정답률은 전술한 바와 같이 미리 계산되어 있다. 따라서 모의고사를 이루는 모든 문제들에 대한 개별 사용자의 정답률을 이용하여 해당 사용자의 모의고사 예상 점수를 추정할 수 있다.

이때 본 발명의 실시예를 따르면 임의의 시험 점수를 추정하기 위한 모의고사 문제 세트를 복수개 구성하고, 특정 사용자의 복수의 모의고사에 대한 추정 점수를 평균화하여 해당 사용자의 실제 시험에 대한 예측 점수를 추정할 수 있다.

본 명세서와 도면에 게시된 본 발명의 실시 예들은 본 발명의 기술 내용을 쉽게 설명하고 본 발명의 이해를 돕기 위해 특정 예를 제시한 것뿐이며, 본 발명의 범위를 한정하고자 하는 것은 아니다. 여기에 게시된 실시 예들 이외에도 본 발명의 기술적 사상에 바탕을 둔 다른 변형 예들이 실시 가능하다는 것은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 자명한 것이다.

Claims

학습 데이터 분석 서버에서, 시험 문제에 대한 사용자의 예상 점수를 추정하는 방법에 있어서,

복수의 문제를 포함하는 문제 데이터베이스를 구성하고, 상기 문제에 대한 복수의 사용자의 풀이 결과 데이터를 수집하고, 상기 풀이 결과 데이터를 이용하여 임의의 문제에 대한 임의의 사용자의 정답 확률을 추정하는 a 단계;

상기 문제 데이터베이스로부터, 상기 문제 데이터베이스를 이용하지 않고 출제된 외부 시험 문제 세트와 유사한 모의고사 문제 세트를 적어도 하나 이상 구성하는 b 단계;

상기 모의고사 문제 세트를 풀어보지 않은 임의의 사용자에 대해, 상기 모의고사 문제 세트를 구성하는 각각의 문제의 상기 사용자에 대한 상기 정답 확률을 이용하여 상기 모의고사 문제 세트의 예측 점수를 추정하고, 추정된 예측 점수를 상기 외부 시험 문제에 대한 예측 점수로 제공하는 c 단계를 포함하는 것을 특징으로 하는 예상 점수 추정 방법.
제 1항에 있어서, 상기 b 단계는

상기 모의고사 문제 세트를 구성하는 각각의 문제들의 전체 사용자에 대한 평균 정답률을 이용하여, 상기 전체 사용자들에 대한 상기 모의고사 문제 세트의 평균 점수가 미리 설정된 범위에 해당하도록 상기 모의고사 문제 세트를 구성하는 단계를 포함하는 것을 특징으로 하는 예상 점수 추정 방법.
제 2항에 있어서, 상기 b단계는,

미리 계산된 상기 외부 시험 문제 세트의 문제 유형 분포 정보를 따르도록 상기 모의고사 문제 세트를 구성하는 단계를 포함하는 것을 특징으로 하는 예상 점수 추정 방법.
제 1항에 있어서, 상기 b 단계는,

상기 외부 시험 문제 세트에 대한 적어도 하나 이상의 사용자의 실제 점수 정보를 확보하는 단계; 및

상기 사용자에 대한 상기 모의고사 문제 세트의 예측 점수가 상기 실제 점수 정보와 근접하도록 상기 모의고사 문제 세트를 구성하는 단계를 포함하는 것을 특징으로 하는 예상 점수 추정 방법.
시험 문제에 대한 사용자의 예상 점수를 추정하는 장치에 있어서,

복수의 문제를 포함하는 문제 데이터베이스; 및

상기 문제에 대한 복수의 사용자의 풀이 결과 데이터를 수집하고, 상기 풀이 결과 데이터를 이용하여 임의의 문제에 대한 임의의 사용자의 정답 확률을 추정하고, 상기 문제 데이터베이스로부터, 상기 문제 데이터베이스를 이용하지 않고 출제된 외부 시험 문제 세트와 유사한 모의고사 문제 세트를 적어도 하나 이상 구성하며, 상기 모의고사 문제 세트를 풀어보지 않은 임의의 사용자에 대해, 상기 모의고사 문제 세트를 구성하는 각각의 문제의 상기 사용자에 대한 상기 정답 확률을 이용하여 상기 모의고사 문제 세트의 예측 점수를 추정하고, 추정된 예측 점수를 상기 외부 시험 문제에 대한 예측 점수로 제공하는 제어부를 포함하는 것을 특징으로 하는 예상 점수 추정 장치.