KR101285217B1 - 큐벡터를 이용한 문항출제 시스템 및 방법 - Google Patents

Abstract

사용자 정보로부터 사용자의 과거의 성취도 확률 값을 계산하고, 상기 과거의 성취도 확률 값을 이용하여 하나 이상의 출제 문항으로부터 문항을 선택하여, 선택된 상기 문항의 큐벡터를 변형하여 사용자에게 출제하는 문항출제검사부; 시스템의 사용자가 출제 문항을 확인하고 상기 출제 문항에 대한 응답을 입력하는 사용자 입출력부; 및 사용자 정보와 출제 문항을 저장하는 데이터 베이스부; 를 포함하는 큐벡터를 이용한 문항출제 시스템은 데이터베이스에 저장된 문항을 최적의 문항으로 변형하여 출제하므로 문항은행의 구축비용을 기존의 방식에 비하여 상대적으로 줄일 수 있고 기존의 방식에 비하여 상대적으로 더 짧은 검사 시간을 투자하여도 더 정확한 결과를 얻을 수 있는 효과가 존재한다.

Description

큐벡터를 이용한 문항출제 시스템 및 방법 {System of generating problems using q vector and method thereof}

본 발명은 큐벡터를 이용한 문항출제 시스템 및 방법에 관한 것으로, 더욱 상세하게는 정보가 가장 큰 문항을 선택하고 해당 문항의 큐벡터를 변형하여 최적의 문항을 사용자에게 출제하는 시스템 및 방법에 관한 것이다.

통상적인 컴퓨터 학습능력 검사방식에는 문항은행(item bank)에 방대한 문항을 저장해두고, 저장된 문항들 중에서 무작위로 하나를 골라 수검자(examinee)에게 이를 제시한다.

그리고 제시된 문항들에 대한 수검자의 응답을 바탕으로 수검자의 점수를 계산한다.

도1을 참고하면, 종래의 컴퓨터 검사방식을 설명하고 있다.

수검자(1)는 문항출제부(2)에 수검자의 성취도 평가를 요청한다.

문항출제부(2)는 평가의 요청에 따라 문항은행(3)에 문항 출제를 요청한다.

문항은행(3)은 저장된 문항들 중에서 무작위로 문항을 선택하고 이를 문항출제부(2)로 전송한다.

문항출제부(2)는 무작위로 선택되어 전송된 문항을 수검자(1)에게 출력하고, 해당 문항에 대한 답을 입력 받는다.

문항출제부(2)는 이러한 문항 출제 과정을 반복하여 응답 문항수가 기준치 이상인지를 판단하고, 이에 따른 수검자(1)의 성취도 값을 생성한다.

이러한 종래의 컴퓨터 학습능력 검사방식은 수검자마다 서로 다른 문항을 풀게되고, 수검자들 사이에서 동등한 기준으로 비교를 하기가 어렵고, 수검자의 능력과 무관한 문항들이 제시되므로 어떤 수검자에게는 난이도가 지나치게 높고 어떤 수검자에게는 난이도가 지나치게 낮은 문제점이 존재하였다.

이러한 종래의 통상적인 컴퓨터 학습능력 검사방식을 개선하기 위해 도입된 것이 컴퓨터 적응 검사방식(CAT, computerized adaptive testing)(이하 CAT 라고도 한다.)이다.

CAT는 컴퓨터가 검사 진행 과정에서 수검자의 능력을 측정하고, 이를 토대로 수검자에 대한 정보가 가장 많은 문항을 선택하는 방식으로 진행된다.

CAT를 위해서는 수검자의 능력을 측정하기 위한 통계적 방법이 요구되는데, 이러한 통계적 방법에는 문항반응이론(IRT, Item Response Theory), 인지진단모형(CDM, Cognitive Diagnosis Model)이 있다.

다만, 이러한 CAT의 경우에도 기존의 통상적인 컴퓨터 학습능력 검사방식에 비하여 수검자에게 적합한 문항을 출제하는 것이 가능하다는 점은 개선되었지만, 문항 은행에 방대한 문항을 저장하여야 하는 문제는 여전히 존재하고 있다.

한편, CDM을 이용한 CAT는 CD-CAT라고 하며, 본 발명은 CD-CAT에 바탕을 둔 것이다.

본 발명은 기존의 CAT에서 더 발전하여 최소한의 문항은행에 저장된 문항만으로도 수검자에게 최적의 문항을 출제하는 시스템 및 방법을 구성하는 것이 목적이다.

본 발명에 따른 문항출제검사부는 사용자 정보로부터 사용자의 과거의 성취도 확률 값을 계산하고, 상기 과거의 성취도 확률 값을 이용하여 하나 이상의 출제 문항으로부터 문항을 선택하여, 선택된 상기 문항의 큐벡터를 변형하여 사용자에게 출제할 수 있다.

본 발명에 따른 큐벡터를 이용한 문항출제 시스템은 상기 문항출제검사부; 시스템의 사용자가 출제 문항을 확인하고 상기 출제 문항에 대한 응답을 입력하는 사용자 입출력부; 및 사용자 정보와 출제 문항을 저장하는 데이터 베이스부; 를 포함할 수 있다.

본 발명에 있어서 상기 문항출제검사부는, 사용자에게 출제된 문항에 대하여 상기 사용자가 입력한 응답에 따라 새로운 성취도 확률 값을 계산하는 성취도 계산부; 및 상기 데이터베이스부에 저장된 출제 문항에 대하여 상기 성취도 확률 값에 따라 문항 정보의 크기를 계산하고, 정보가 가장 큰 문항을 선택하여 사용자에게 출제하는 문항정보 계산부; 를 포함할 수 있다.

본 발명에 있어서 상기 문항출제검사부는, 상기 정보가 가장 큰 문항의 큐벡터와 상기 정보가 가장 큰 문항의 큐벡터 주변에 있는 주변 큐벡터를 탐색하여 정보가 가장 많아지는 변형 큐벡터를 선택하는 큐벡터 탐색부; 원시코드 형태로 저장된 출제 문항의 정보에 상기 변형 큐벡터를 반영하는 원시코드를 추가하거나 삭제하는 원시코드 변형부; 및 상기 원시코드 변형부에서 변형된 원시 코드를 컴파일(compile) 하는 원시코드 번역부; 를 더 포함할 수 있다.

본 발명에 있어서 상기 데이터베이스부는, 상기 사용자의 과거의 성취도 확률 값을 저장하고, 상기 문항출제검사부에 의하여 변형하여 출제된 문항에 대한 상기 사용자의 응답에 따라 개선된 성취도 확률 값으로 변경하여 저장하는 사용자정보 데이터베이스부; 를 포함할 수 있다.

본 발명에 있어서 상기 데이터베이스부는, 상기 출제 문항의 정보를 저장하는 문항 데이터베이스부; 및 상기 출제 문항의 정보를 원시코드의 형태로 저장하는 원시코드 데이터베이스부; 를 더 포함할 수 있다.

본 발명에 따른 큐벡터를 이용한 문항출제 방법은 사용자가 성취도 평가를 요청하는 단계; 데이터베이스부로부터 사용자정보를 수신하는 단계; 상기 사용자 정보로 사용자의 사전 성취도 확률 값을 계산하는 단계; 데이터베이스부로부터 문항정보를 수신하는 단계; 상기 문항정보 중에서 정보가 가장 큰 문항을 선택하는 단계; 및 선택된 상기 정보가 가장 큰 문항을 렌더링하는 단계; 를 포함할 수 있다.

본 발명에 있어서 상기 문항정보 중에서 정보가 가장 큰 문항을 선택하는 단계; 는 선택된 상기 정보가 가장 큰 문항의 큐벡터의 주변 큐벡터 정보를 계산하는 단계; 및 계산된 상기 주변 벡터 정보가 가장 큰 큐벡터를 선택하여 변형하는 단계; 를 더 포함할 수 있다.

본 발명에 있어서 상기 선택된 상기 정보가 가장 큰 문항을 렌더링하는 단계; 는 상기 정보가 가장 큰 문항의 소스를 추출하는 단계; 상기 정보가 가장 큰 문항의 큐벡터가 변형되었는지 여부를 검사하는 단계; 추출된 상기 정보가 가장 큰 문항의 소스에서 변형된 큐벡터 부분을 선택하는 단계; 및 선택된 상기 변형된 큐벡터 부분의 소스를 추가하거나 삭제하는 단계; 를 더 포함할 수 있다.

본 발명은 데이터베이스에 저장된 문항을 최적의 문항으로 변형하여 출제하므로 문항은행의 구축비용을 기존의 방식에 비하여 상대적으로 줄일 수 있는 효과가 존재한다.

본 발명은 기존의 방식에 비하여 상대적으로 더 짧은 검사 시간을 투자하여도 더 정확한 결과를 얻을 수 있는 효과가 존재한다.

도1은 종래의 컴퓨터 검사방식의 흐름도,
도2는 본 발명의 일 실시예에 따른 큐벡터를 이용한 문항출제 시스템을 구성하는 구성의 도시도.
도3은 본 발명의 일 실시예에 따른 문항출제 검사부를 구성하는 구성의 도시도.
도4는 본 발명의 일 실시예에 따른 데이터베이스부를 구성하는 구성의 도시도.
도5는 본 발명의 일 실시예에 따른 큐벡터를 이용한 문항출제 방법의 흐름도.
도6은 본 발명의 다른 일 실시예에 따른 큐벡터를 이용한 문항출제 방법의 흐름도.
도7은 본 발명의 일 실시예에 따른 문항 렌더링 방법의 흐름도.
도8은 본 발명의 일 실시예에 따른 변형되어 출제된 문항의 도시도.
도9는 본 발명의 일 실시예에 따른 변형되어 출제된 문항의 도시도.
도10은 본 발명의 일 실시예에 따른 변형되어 출제된 문항의 도시도.
도11은 본 발명의 일 실시예에 따른 큐벡터의 주변 큐벡터를 설명하는 도시도.
도12a는 본 발명의 일 실시예에 따른 원시코드의 트리구조를 설명하는 도시도.
도12b는 본 발명의 일 실시예에 따른 원시코드의 삭제를 설명하는 도시도.
도12c는 본 발명의 일 실시예에 따른 원시코드의 추가를 설명하는 도시도이다.

본 발명은 다양한 변환을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변환, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.

본 발명에서 사용한 용어는 단지 특정 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다.

이하, 본 발명의 실시예를 첨부한 도면들을 참조하여 상세히 설명하기로 한다.

도2는 본 발명의 일 실시예에 따른 큐벡터를 이용한 문항출제 시스템을 구성하는 구성의 도시도이다.

도2를 참고하면, 큐벡터를 이용한 문항출제 시스템은 사용자 입출력부(10), 문항출제검사부(20), 데이터베이스(30)를 포함하여 구성된다.

사용자 입출력부(10)를 통하여 시스템의 사용자는 출제 문항을 확인하고 상기 출제 문항에 대한 응답을 입력할 수 있다.

이를 위하여 사용자 입출력부(10)는 문항출제검사부(20)와 온라인으로 문항 출제에 관한 데이터와 응답을 송수신할 수 있는 유선 또는 무선의 통신부를 구비할 수 있다.

또한 사용자 입출력부(10)는 출제하는 문항을 사용자가 시각적으로 확인할 수 있는 출력부를 구비할 수 있다.

또한 사용자 입출력부(10)는 출제하는 문항에 대하여 사용자가 응답을 입력할 수 있는 입력부를 구비할 수 있다.

문항출제 검사부(20)는 사용자 정보로부터 사용자의 과거의 성취도 확률 값을 계산하고, 상기 과거의 성취도 확률 값을 이용하여 하나 이상의 출제 문항으로부터 문항을 선택하여, 선택된 상기 큰 문항의 큐벡터를 변형하여 사용자에게 출제할 수 있다.

도3을 참고하면, 문항출제 검사부(20)는 문항출제 검사부(20)는 성취도 계산부(210), 문항정보 계산부(220), 큐벡터 탐색부(230), 원시코드 변형부(240), 원시코드 번역부(250)를 포함하여 구성된다.

성취도 계산부(210)는 사용자에게 출제된 문항에 대하여 사용자가 입력한 응답에 따라 새로운 성취도 확률 값을 계산할 수 있다.

성취도 확률 값은 사용자가 CD-CAT 과정에서 제출된 문항별로 문항을 풀기 위하여 필요한 학습목표를 명시하고 사용자의 응답으로부터 각각의 학습목표에 대한 도달여부를 확률적으로 추론한 값이 될 수 있다.

성취도 확률 값은 문항과 학습목표의 관계를 행렬로 나타내는 큐행렬, 사용자가 학습목표에 도달한 학습목표를 나타내는 알파 벡터, 사용자가 해당 문항에 대하여 우연히 올바른 응답을 할 확률인 g(guess의 약자), 및 사용자가 해당 문항에 대하여 실수로 잘못된 응답을 할 확률인 s(slip의 약자)를 통해서 추론할 수 있다.

큐행렬은 문항과 학습목표의 관계를 행렬로 나타내는 것으로, N개의 문항과 M개의 학습목표가 있을 경우 큐행렬은 NxM 행렬이 되며 이 행렬의 i번째 문항이 j번째 학습목표를 필요로 할 경우 큐행렬의 I행, j열의 원소는 1, 필요로 하지 않을 경우는 0이 된다.

알파 벡터는 사용자가 도달한 학습목표를 나타내는 것으로, 해당 문항에 대하여 M개의 학습목표가 있을 경우 알파 벡터의 길이도 M이며, 사용자가 j번째 학습목표에 도달했을때 알파 벡터의 j번째의 원소는 1, 미달했을 때에는 0이 된다.

큐행렬, 알파 벡터, 확률 s,g를 이용하면 해당 문항에 대한 사용자의 응답으로부터 사용자가 각각의 학습목표에 도달한 성취도 확률 값을 계산할 수 있다.

예를 들어, 한 학습범위에 5개의 학습목표가 있고, 올바른 응답을 위해 3개의 학습목표 1, 2, 3에 도달할 것을 요구하는 어떤 문항이 있다고 가정하면, 큐행렬 중에서 이 문항에 해당하는 큐벡터는 (1,1,1,0,0)의 값을 갖는다. 학습목표 1, 2, 3을 필요로 하고 4, 5를 필요로 하지 않기 때문이다. 그렇다면 학습목표의 도달 상태를 나타내는 알파 벡터가 (1,1,1,0,0), (1,1,1,1,0), (1,1,1,0,1), (1,1,1,1,1)인 사용자는 실수를 하지 않는 이상 이 문항의 정답을 답할 수 있다. 따라서 이러한 사용자가 이 문항을 맞을 확률은 1-s 이고, 틀릴 확률은 s이다. 이외에 알파 백터를 가진 수검자가 맞을 확률은 g이고, 틀릴 확률은 1-g이다.

또 다른 계산 방식으로는 s와 g를 문항 전체가 아닌 학습목표 각각에 대해 적용하는 방법을 취할 수 있다. 학습목표 1에 도달했으나 적용하는데 실수할 확률은 s1, 학습목표 2에 도달했으나 적용하는데 실수할 확률은 s2와 같이 각각의 확률을 구하고, 학습목표 1, 2에는 도달했으나 학습목표 3에는 미달한 사용자가 정답을 맞출 확률은 (1-s1)(1-s2)g3이 된다.

그러나 사용자의 알파 벡터를 알 수 없으므로 사용자의 응답으로부터 확률 추론을 하여야 한다. 베이즈 정리(Bayes' theorem)를 이용하면 응답에 대한 알파 벡터의 조건부 확률을 다음과 같은 공식을 통해 계산할 수 있다.

P(알파 벡터|응답) = P(응답|알파 벡터) P(알파 벡터) / P(응답)

여기서 P(알파 벡터|응답)은 상술한 1-s, s 또는 g, 1-g에 해당한다.

P(알파 벡터)는 사용자에게 문항을 제시하고 응답을 받기 전에 추정된 각각의 알파 벡터의 확률로서 알파 벡터의 사전확률이라고 한다.

P(응답)은 모든 알파 벡터에 대해 P(응답|알파 벡터) P(알파 벡터)를 구하여 더함으로써 얻을 수 있다.

P(알파벡터|응답)은 응답을 통해 사전확률로부터 새로운 확률 추정치를 얻은 것이므로 알파백터의 사후확률이라고 한다. 알파벡터의 사후 확률은 새로운 문항에 대해서는 알파 벡터의 사전 확률이 된다.

문항정보 계산부(220)는 데이터베이스부(30)에 저장된 출제 문항에 대하여 성취도 확률 값에 따라 문항 정보의 크기를 계산하고, 정보가 가장 큰 문항을 선택하여 사용자에게 출제할 수 있다.

문항 정보의 크기는 엔트로피, KL, PWKL 또는 HKL 등에 의하여 계산이 가능하다.

알파 벡터에 대하여 잠정적으로 알고 있으므로 이를 바탕으로 사용자에 대해 더 많은 정보를 가진 문항을 선택할 수 있게 된다.

성취도 확률 값을 이용하여 문항을 선택하는 방식은 엔트로피를 최소화하는 방식과 쿨벡-라이블러 거리(Kullback-Leibler divergence)(이하 KL거리 라고도 한다.)를 최대화 하는 방식이 있다.

엔트로피란 한 확률분포가 퍼져있는 정도를 나타내는 것으로서, 엔트로피를 최소화하는 방식이란 가능한 모든 알파 벡터 중에서 소수의 알파 벡터들의 확률만 높아지게 만드는 문항을 선택하는 방식이다.

KL거리란 확률분포들 사이의 차이를 나타내는 것으로, 사용자의 응답을 확률 시행으로 보면 맞거나 틀리는 두가지 사건이 존재하고 이들은 각각 1-s와 s, 또는 g와 1-g라는 값을 갖는다. 이는 알파 벡터에 따라 결정되므로 각각의 알파 벡터는 사용자의 응답에 대해 확률분포를 가진다.

KL거리를 이용하는 방식이란 다른 모든 알파 벡터의 분포와 KL거리의 합이 가장 큰 문항을 선택하는 방식이다. KL거리가 크다는 것은 다시 말하면 다른 알파 벡터와 예측되는 결과가 크게 다르다는 것을 의미한다.

KL거리를 최대화하는 방법의 변형으로는 PWKL(사후확률 가중 KL, Posterior Weighted KL)과 HKL(혼합 KL, Hybrid KL)이 있다. 모든 알파 벡터의 사후확률은 상이하므로 단순히 KL거리를 모두 더하는 대신 사후확률로 가중치를 곱해서 더하는 방법이 PWKL이다. HKL은 PWKL에 덧붙여서 알파 벡터들 사이의 차이를 가중치로 곱한 것이다. 즉, 원소들의 값이 비슷한 알파 벡터들 사이의 KL에 가중치를 곱해서 더하는 것이다.

큐벡터 탐색부(230)는 정보가 가장 큰 문항의 큐벡터와 정보가 가장 큰 문항의 큐벡터 주변에 있는 주변 큐벡터를 탐색하여 정보가 가장 많아지는 변형 큐벡터를 선택할 수 있다.

출제 문항의 큐벡터를 변형하여 출제하는 방식은, 출제 문항을 더 많은 정보를 가진 문항으로 변형하여 출제하는 것이다.

큐벡터 탐색부(230)는 엔트로피, KL, PWKL 또는 HKL 등에 의하여 선택된 문항에서 해당 문항의 큐벡터 주변에 있는 주변 큐벡터들을 탐색한다.

주변 큐벡터란 문항의 큐벡터와 유클리드 거리(Euclidean distance) 또는 해밍 거리(Hamming distance: 두 벡터에서 서로 다른 원소의 수)가 기준 이하인 문항들을 말한다. 도11을 참고하면, 한 단원에 세 가지 학습 목표가 있고 어떤 문항이 학습목표 1과 학습목표 2를 요구한다고 하면 이 문항의 큐벡터는 (1,1,0)이 된다. 이때 (1,1,1)은 유클리드 거리와 해밍 거리가 모두 1이고, (0,0,1)은 유클리드 거리는 약 1.414, 해밍 거리는 2가 된다. 주변벡터의 기준을 유클리드 거리 1 또는 해밍거리 1로 정한다면, (0,1,0), (1,0,0), (1,1,1)은 이 범위에 포함된다. 이러한 방식으로 문항의 큐벡터에서 기준 범위 안에 있는 큐벡터들을 주변 큐벡터라고 한다.

주변 큐벡터는 문항의 큐벡터와 요구하는 학습목표가 다르므로 사용자의 알파 벡터에 대한 응답의 확률분포도 변하게 된다. 따라서 엔트로피, KL, PWKL 또는 HKL 등에서 어떠한 방법으로 계산하든 문항의 정보 또한 변하게 된다. 이렇게 각각의 주변 큐벡터에 대해 문항의 사용자에 대한 정보를 계산하여 문항의 큐벡터와 주변 큐벡터 중에서 정보가 가장 많은 큐벡터를 선택하고, 이러한 방식으로 선택된 큐벡터를 변형 큐벡터라고 한다.

결과적으로 사용자에게 해당 문항에 대하여 변형 큐벡터를 반영하여 정보가 많아지는 문항이 출제된다.

원시코드 변형부(240)는 원시코드 형태로 저장된 출제 문항의 정보에 변형 큐벡터를 반영하는 원시코드를 추가하거나 삭제할 수 있다.

출제 문항은 컴퓨터가 판독할 수 있는 XML, JSON, S-expression 등의 형태로 저장될 수 있다. 또한 문항의 각 부분이 해당하는 학습목표를 명시해 둘 수 있다.

도12a 내지 도12c는 원시 코드의 트리 구조(tree structure)를 나타낸다.

도12a를 참고하면, (a), (b)는 각각 학습목표와 관련된 노드(node)를 가리키며 (b')는 (b)가 삭제될 경우 대체될 원시 코드의 노드를 가리킨다.

변형 큐벡터에서 해당 학습목표의 값이 1에서 0으로 변형되었을 경우 선택된 문항의 원시 코드에서 해당 학습목표와 관련된 부분을 삭제하면 정보가 더 많아질 수 있다. 따라서, 이 부분을 삭제 또는 비활성화하거나 원시 코드에 미리 삭제하는 방법이나 대체할 내용을 지정해두었을 경우, 그에 따라 삭제 또는 대체할 수 있다.

도12b를 참고하면, 도12a의 트리 구조를 가진 원시 코드에서 삭제된 학습목표에 해당하는 노드 (b)를 삭제 또는 미리 지정한 (b')으로 삭제하는 경우의 변형된 트리 구조를 나타낸 것이다.

도12c를 참고하면, 변형 큐벡터에서 해당 학습목표의 값이 0에서 1로 바뀌었을 경우 새로운 학습목표를 문항에 추가해야 한다. 이때는 해당 학습목표에 맞는 원시코드를 가져와서 문항의 원시코드에 추가할 수 있다. 원시코드를 추가하는 방법이나 추가할 위치는 해당 학습목표에 맞는 원시코드에 미리 지정을 할 해둘 수 있다.

원시코드 번역부(250)는 원시코드의 형태로 저장된 출제 문항을 컴파일(compile)할 수 있다.

컴파일한 원시코드는 사용자 입출력부(10)로 전달되어 사용자가 알아볼 수 있는 형태로 출력될 수 있다.

원시코드는 컴퓨터가 이해할 수 있는 언어로 되어 있으므로, 변형된 원시코드를 사용자가 이해할 수 있는 자연어, 수식, 도형 등의 형태로 컴파일하여 사용자에게 제시할 수 있다.

데이터베이스부(30)는 사용자 정보와 출제 문항을 저장할 수 있다.

사용자 정보는 시스템 사용자의 신상정보, 사용자가 과거에 문항 출제에 대하여 응답한 기록, 응답에 따른 사용자의 성취도를 포함할 수 있다.

출제 문항은 사용자에게 질의를 통하여 사용자의 성취도를 평가하기 위한 문항을 의미한다.

도4를 참고하면, 데이터베이스부(30)는 사용자정보 데이터베이스부(310), 문항 데이터베이스부(320), 원시코드 데이터베이스부(330)를 포함하여 구성된다.

사용자정보 데이터베이스부(310)는 사용자의 과거의 성취도 확률 값을 저장하고, 문항출제검사부(20)에 의하여 변형하여 출제된 문항에 대한 사용자의 응답에 따라 개선된 성취도 확률 값으로 변경하여 저장할 수 있다.

과거의 성취도 확률 값 및 개선된 성취도 확률 값은 도3을 통하여 상술하였으며, 이를 통해 자세한 설명은 생략한다.

문항 데이터베이스부(320)는 출제 문항의 정보를 저장할 수 있다.

출제 문항의 정보는 사용자에게 출력하여 제시하는 정보와 해당 문항에 대한 학습목표 정보를 포함할 수 있다.

도8을 참고하면, 출제 문항의 정보는 자연어 문장 또는 수식을 포함하며 사용자에게 해당 문항의 정답에 대하여 질의하는 질의부(810), 수식 또는 그림을 포함하며 질의부(810)의 질의 내용을 도형화 하는 도형부(820), 자연어 문장 또는 수식을 포함하며 질의부(810) 및 도형부(820)를 통해 사용자에게 요구하는 정답을 도출하기 위해 도움이 되는 내용을 제시하는 참고부(830)를 포함할 수 있다.

원시코드 데이터베이스부(330)는 출제 문항의 정보를 원시코드의 형태로 저장할 수 있다.

원시코드 데이터베이스부(330)는 원시코드 변형부(240)에서 원시코드를 변형하는 경우 추가되는 학습목표별 원시코드 정보를 제공할 수 있다.

도5는 본 발명의 일 실시예에 따른 큐벡터를 이용한 문항출제 방법의 흐름도이다.

본 실시예는 사용자가 데이터베이스부(30)에 저장된 문항을 통한 학습을 실행하기 전에 어느 수준의 성취도를 가지고 있는지를 평가하여 새로운 성취도 확률 값을 생성하는 것을 목적으로 할 수 있다.

S100 단계는 사용자 입출력부(10)에서 문항출제검사부(20)로 성취도 평가를 요청하는 단계이다.

S200 단계는 문항출제검사부(20)에서 데이터베이스부(30)로부터 사용자정보를 수신하는 단계이다.

사용자 정보는 시스템 사용자의 신상정보, 사용자가 과거에 문항 출제에 대하여 응답한 기록, 응답에 따른 사용자의 성취도를 포함할 수 있다.

S300 단계는 데이터베이스부(30)에서 수신된 사용자 정보로 사용자의 사전 성취도 확률 값을 계산하는 단계이다.

성취도 확률 값은 문항과 학습목표의 관계를 행렬로 나타내는 큐행렬, 사용자가 학습목표에 도달한 학습목표를 나타내는 알파 벡터, 사용자가 해당 문항에 대하여 우연히 올바른 응답을 할 확률인 g(guess의 약자), 및 사용자가 해당 문항에 대하여 실수로 잘못된 응답을 할 확률인 s(slip의 약자)를 통해서 추론할 수 있다.

S400 단계는 데이터베이스부(30)로부터 문항정보를 수신하는 단계이다.

S500 단계는 수신된 문항정보 중에서 정보가 가장 큰 문항을 선택하는 단계이다.

문항 정보의 크기는 엔트로피, KL, PWKL 또는 HKL 등에 의하여 계산이 가능하다.

알파 벡터에 대하여 잠정적으로 알고 있으므로 이를 바탕으로 사용자에 대해 더 많은 정보를 가진 문항을 선택할 수 있게 된다.

S600 단계는 선택된 정보가 가장 큰 문항의 큐벡터의 주변 큐벡터 정보를 계산하는 단계이다.

주변 큐벡터는 엔트로피, KL, PWKL 또는 HKL 등에 의하여 선택된 문항에서 해당 문항의 큐벡터 주변에 있는 주변 큐벡터들을 탐색하는 것으로, 문항의 큐벡터와 유클리드 거리(Euclidean distance) 또는 해밍 거리(Hamming distance: 두 벡터에서 서로 다른 원소의 수)가 기준 이하인 문항을 탐색하는 것이다.

S700 단계는 계산된 주변 벡터 정보가 가장 큰 큐벡터를 선택하여 변형하는 단계이다.

주변 큐벡터에 대해 문항의 사용자에 대한 정보를 계산하여 문항의 큐벡터와 주변 큐벡터 중에서 정보가 가장 많은 큐벡터를 선택하고, 결과적으로 사용자에게 해당 문항에 대하여 변형 큐벡터를 반영하여 정보가 많아지는 문항이 출제된다.

S800 단계는 선택된 상기 정보가 가장 큰 문항을 렌더링하는 단계이다.

변형 큐벡터가 반영된 문항을 사용자가 알아볼 수 있는 형태로 변형할 수 있다.

S900 단계는 사용자 입출력부(10)를 통해 사용자에게 변형 큐벡터가 적용되어 렌더링된 문항을 출제하는 단계이다.

S1000 단계는 사용자로부터 출제된 문항에 대한 답을 입력받는 단계이다.

S1100 단계는 문항 출제 과정을 반복하여 응답 문항수가 기준치 이상인지인지를 판단하는 단계이다.

사용자에 의하여 제출 문항에 대한 응답 횟수가 일정 기준치 이상이 되면 S1200 단계를 통해 사용자의 개선된 사후 성취도 값을 생성할 수 있다.

도6은 본 발명의 다른 일 실시예에 따른 큐벡터를 이용한 문항출제 방법의 흐름도이다.

본 실시예는 사용자가 이미 생성한 성취도 확률을 토대로 데이터베이스부(30)에 저장된 문항을 통하여 사용자의 사용자 정보와 관련하여 가장 정보가 큰 문항을 통한 학습을 실행하는 것을 목적으로 할 수 있다.

S110 단계 내지 S210 단계는 도5의 S100 단계 내지 S200 단계와 동일하므로 상세한 설명을 생략한다.

S310 단계는 데이터베이스부(30)에서 수신된 사용자 정보로 사용자의 사후 성취도 값을 계산하는 단계이다.

성취도 확률 값은 문항과 학습목표의 관계를 행렬로 나타내는 큐행렬, 사용자가 학습목표에 도달한 학습목표를 나타내는 알파 벡터, 사용자가 해당 문항에 대하여 우연히 올바른 응답을 할 확률인 g(guess의 약자), 및 사용자가 해당 문항에 대하여 실수로 잘못된 응답을 할 확률인 s(slip의 약자)를 통해서 추론할 수 있다.

S410 단계는 도5의 S400 단계와 동일하므로 상세한 설명을 생략한다.

S510 단계는 수신된 문항정보 중에서 학습효과 값이 가장 큰 문항을 선택하는 단계이다.

본 실시예에서 언급한 학습효과의 의미는 문항을 작성할 때 각 문항별로 학습목표가 설정되고, 사용자 정보에 따라 해당 학습목표에 대한 정보의 크기가 가장 큰 것을 말한다.

S610 단계는 도5의 S600 단계와 동일하므로 상세한 설명을 생략한다.

S710 단계는 계산된 주변 벡터의 학습효과 값이 가장 큰 큐벡터를 선택하여 변형하는 단계이다.

S710 단계는 S700 단계의 정보가 가장 큰 문항으로 큐벡터를 변형하는 것과 마찬가지로 각 문항별로 설정된 학습목표 정보의 크기가 가장 큰 형태로 큐벡터를 변형하는 과정이다.

S810 단계 내지 S1010 단계는 S800 단계 내지 S1000 단계와 동일하므로 상세한 설명을 생략한다.

도7은 본 발명의 일 실시예에 따른 문항 렌더링 방법의 흐름도이다.

S8100 단계는 정보가 가장 큰 문항의 소스를 추출하는 단계이다.

변형 큐벡터의 반영을 위한 원시코드의 변형을 위하여 컴퓨터가 이해할 수 있는 언어로 저장된 문항의 소스를 추출한다.

S8200 단계는 정보가 가장 큰 문항의 큐벡터가 변형되었는지 여부를 검사하는 단계이다.

해당 문항의 큐벡터와 해당 문항 큐벡터의 주변 큐벡터 중 정보가 가장 큰 큐벡터가 선택되므로, 선택된 큐벡터가 변형된 큐벡터인지 여부를 검사하게 된다.

S8300 단계는 추출된 정보가 가장 큰 문항의 소스에서 변형된 큐벡터 부분을 선택하는 단계이다.

S8400 단계는 변형된 큐벡터 부분의 소스를 추가하는 단계이다.

S8300 단계에서 변형된 큐벡터 부분이 해당 학습목표에서 새로운 학습목표가 추가되는 경우라면, 추가되는 큐벡터 부분의 소스를 정보가 가장 큰 문항의 소스에 추가한다.

S8500 단계는 변형된 큐벡터 부분의 소스를 삭제하는 단계이다.

S8300 단계에서 변형된 큐벡터 부분이 해당 학습목표에서 일부의 학습목표가 삭제되는 경우라면, 삭제되는 큐벡터 부분의 소스를 정보가 가장 큰 문항의 소스에서 삭제한다.

S8600 단계는 변형된 원시 코드를 렌더링하는 단계이다.

원시 코드형태의 소스는 컴퓨터를 위한 언어이므로, 사용자 즉 인간이 알아볼 수 있는 형태인 자연어, 수식, 도형 등의 형태로 변형하게 된다.

도8 내지 도10은 본 발명의 일 실시예에 따른 변형되어 출제된 문항의 도시도이다.

출제된 문항은 질의부(810), 도형부(820), 참고부(830), 응답부(840), 문제생성부(850)을 포함하여 구성된다.

본 실시예는 외심과 외접원의 관계를 질의하는 문항이다.

문항출제검사부(20)는 데이터베이스부(30)에서 외심과 외접원의 관계를 학습목표로 하는 문항 중에서 사용자의 사전 성취도 값에 따라 가장 정보가 높은 문항을 제출할 수 있다.

도8을 사용자의 사전 성취도 값에 따른 가장 정보가 높은 문항이라고 가정하면, 문항출제검사부(20)는 질의부(810) 또는 도형부(820)에 새로운 학습목표가 반영되는 원시코드의 변형을 통해, 질의부(810)의 질의 내용 변경이나, 도형부(820)의 삼각형이나 수직선을 부가를 통해 변형 큐벡터를 반영한 문항을 생성할 수 있다.

즉, 데이터베이스부(300에 미리 저장되어 있는 도8의 문항이 사용자의 사전 성취도 값에 따라 도9 또는 도10의 문항으로 변경되어 출제될 수 있다.

사용자는 참고부(830)를 통해 해당 문항의 응답을 실시하는 경우 참고할 수 있다.

사용자는 응답부(840)를 클릭하여 팝업창으로 생성되는 윈도우창에 응답을 실시할 수 있다.

사용자는 문제생성부(850)의 클릭을 통해 데이터베이스부(30)에 저장된 출제 문항 중 가장 정보가 높은 문항을 호출하고, 가장 정보가 높은 문항에 변형 큐벡터를 반영한 새로운 문항을 출력할 수 있다.

상기에서는 본 발명의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술 분야에서 통상의 지식을 가진 자라면 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에 서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.

10 : 사용자 입출력부
20 : 문항출제검사부
210 : 성취도계산부
220 : 문항정보 계산부
230 : 큐벡터 탐색부
240 : 원시코드 변형부
250 : 원시코드 번역부
30 : 데이터베이스부
310 : 사용자정보 데이터베이스부
320 : 문항 데이터베이스부
330 : 원시코드 데이터베이스부

Claims (9)

1. 사용자 정보로부터 사용자의 과거의 성취도 확률 값을 계산하고, 상기 과거의 성취도 확률 값을 이용하여 하나 이상의 출제 문항으로부터 문항을 선택하여, 선택된 상기 문항의 큐벡터를 변형하여 사용자에게 출제하는 문항출제검사부.
2. 사용자 정보로부터 사용자의 과거의 성취도 확률 값을 계산하고, 상기 과거의 성취도 확률 값을 이용하여 하나 이상의 출제 문항으로부터 문항을 선택하여, 선택된 상기 문항의 큐벡터를 변형하여 사용자에게 출제하는 문항출제검사부;
   시스템의 사용자가 출제 문항을 확인하고 상기 출제 문항에 대한 응답을 입력하는 사용자 입출력부; 및
   사용자 정보와 출제 문항을 저장하는 데이터 베이스부; 를 포함하는 큐벡터를 이용한 문항출제 시스템.
3. 삭제
4. 삭제
5. 제2항에 있어서,
   상기 데이터베이스부는,
   상기 사용자의 과거의 성취도 확률 값을 저장하고, 상기 문항출제검사부에 의하여 변형하여 출제된 문항에 대한 상기 사용자의 응답에 따라 개선된 성취도 확률 값으로 변경하여 저장하는 사용자정보 데이터베이스부; 를 포함하는 큐벡터를 이용한 문항출제 시스템.
6. 삭제
7. 삭제
8. 삭제
9. 삭제

Images