KR20200012432A - 빅데이터를 이용한 학습 문항 분석 정보 제공방법 - Google Patents

Abstract

본 발명은 서비스 서버에 접속한 학습자가 이용할 수 있는 학습 문항을 포함한 학습 내용을 온라인 상으로 제공하는 학습 제공 단계, 상기 학습 문항에 대한 학습자의 답변 내용을 포함하는 학습 정보를 수신하는 학습 정보 수신 단계, 상기 학습 정보 수신 단계에 의해 수신된 정보를 데이터화하는 학습 정보 데이터화 단계, 상기 학습 정보 데이터화 단계에 의해 저장된 데이터 분석을 통해 해당 학습자가 답변한 학습 문항을 분석하는 학습 문항 분석 단계 및 상기 학습 문항 분석 단계에 의해 분석된 학습 문항에 대한 분석 정보를 제공하는 학습 문항 분석 정보 제공 단계를 포함하고, 상기 학습 문항 분석 단계는 상기 학습자의 학습 문항에 대한 답변이 정답인 경우, 찍어서 맞은 것으로 예상되는 문제 판별 단계를 포함하고, 상기 학습 문항 분석 단계는, 상기 학습자의 학습 문항에 대한 답변이 오답이고, 상기 학습자의 예측 정답률이 50% 이상 85% 미만인 경우, 풀이한 학습 문항에 대한 답변 응답시간의 정도에 따라 풀이한 학습 문항은 '맞출 수 있지만 틀린 문제' 또는 '상기 몰라서 틀린 문제'로 판별하는 것을 특징으로 하는 빅데이터를 이용한 학습 문항 분석 정보 제공방법으로서, 본 발명에 의하면, 온라인 학습을 통해서도 학습한 문항에 대한 분석 정보를 제공함으로써 학습자의 학습 습관 및 실력 향상에 도움을 줄 수 있게 한다.

Description

빅데이터를 이용한 학습 문항 분석 정보 제공방법{METHOD FOR PROVIDING AN INFORMATION OF A QUESTION ANALYSIS USING BIG DATA}

본 발명은 학습자에게 학습에 대한 정보를 제공하는 방법에 관한 것으로서, 특히 학습자가 학습한 문항의 보다 구체적인 분석 정보를 제공하는 방법에 관한 것이다.

정보통신 기술이 발달하면서 컴퓨터를 통해 데이터베이스의 관리가 용이하게 됨에 따라 학습 정보를 데이터베이스에 저장하고, 온라인 상으로 인터넷을 이용하여 학습자에게 제공하는 학습 서비스가 다양한 컨텐츠를 가지고 제공되고 있다.

학습자는 학습 프로그램을 제공하는 웹사이트나 휴대 단말기를 통해 접속이 가능한 앱(App)을 통해 제공되는 문제를 통해 학습이 가능하므로, 시간과 공간의 제약이 적은 온라인을 통한 장점 등에 따라 이러한 온라인을 이용하여 학습 정보를 제공하고, 학습을 직접 수행하며, 그에 대한 결과를 제공받는 서비스 방법이 많이 개발되고 있다.

본 발명 또한 그러한 온라인을 이용하여 학습 정보를 제공하는 방법과 관련된 것이다.

한편, 학습은 무작정 열심히만 한다고 성과가 반드시 따라오는 것은 아니다.

즉, 무작정 열심히가 아니라 어떻게 열심히 하느냐가 중요하다는 것은 익히 알려져 있는 바이다.

특히 제시되는 학습 문항을 풀이하는 학습에서 학습 후에 학습한 결과에 대해 검토하는 것이 풀이 못지 않게 학습에 큰 도움을 준다.

이를테면 풀이한 문항이 충분히 맞출 수 있는 문항임에도 불구하고 학습자의 잘못된 습관 등으로 틀린 경우에 이를 풀이 후 인지하여 미흡한 부분을 개선할 수 있고, 명백히 몰라서 틀렸거나 단순히 찍어서 맞았다는 것을 학습자 스스로 인지하여 그러한 문항을 다음 번엔 맞출 수 있도록 다른 방법을 통한 학습을 보충하는 것은 학습에 큰 도움을 줄 수 있다.

이러한 학습 문항에 대한 분석과 검토의 피드백은 오프라인 상의 학습에 의해서는 교수자가 지도해 주는 것이 용이하나, 온라인을 통한 학습의 경우에는 학습 정보 내지 문제만을 제공할 뿐 풀이 후의 학습 방법에 대한 보다 나아가는 지도는 지도교사가 방문하는 등이 아닌 한 이루어지지 못하고 있는 실정이다.

이상의 배경기술에 기재된 사항은 발명의 배경에 대한 이해를 돕기 위한 것으로서, 이 기술이 속하는 분야에서 통상의 지식을 가진 자에게 이미 알려진 종래기술이 아닌 사항을 포함할 수 있다.

한국공개특허공보 제10-2010-0127367호

본 발명은 상술한 문제점을 해결하고자 안출된 것으로서, 본 발명은 온라인 학습을 통해서도 학습한 문항에 대한 분석 정보를 제공함으로써 학습자의 학습 습관 및 실력 향상에 도움을 줄 수 있는 빅데이터를 이용한 학습 문항 분석 정보 제공방법을 제공하는 데 그 목적이 있다.

본 발명의 일 관점에 의한 빅데이터를 이용한 학습 문항 분석 정보 제공방법은, 서비스 서버에 접속한 학습자가 이용할 수 있는 학습 문항을 포함한 학습 내용을 온라인 상으로 제공하는 학습 제공 단계, 상기 학습 문항에 대한 학습자의 답변 내용을 포함하는 학습 정보를 수신하는 학습 정보 수신 단계, 상기 학습 정보 수신 단계에 의해 수신된 정보를 데이터화하는 학습 정보 데이터화 단계, 상기 학습 정보 데이터화 단계에 의해 저장된 데이터 분석을 통해 해당 학습자가 답변한 학습 문항을 분석하는 학습 문항 분석 단계 및 상기 학습 문항 분석 단계에 의해 분석된 학습 문항에 대한 분석 정보를 제공하는 학습 문항 분석 정보 제공 단계를 포함하고, 상기 학습 문항 분석 단계는, 상기 학습자의 학습 문항에 대한 답변이 오답이고, 상기 학습자의 예측 정답률이 50% 이상 85% 미만인 경우, 풀이한 학습 문항에 대한 답변 응답시간의 정도에 따라 풀이한 학습 문항은 '맞출 수 있지만 틀린 문제' 또는 '상기 몰라서 틀린 문제'로 판별하는 것을 특징으로 한다.

그리고, 상기 답변 응답시간의 정도는 상기 학습자의 학습 문항에 대한 실제 답변 응답시간을 상기 학습자의 예측 응답시간에 대한 추정치와 비교함으로써 결정하는 것을 특징으로 한다.

여기서, 상기 실제 답변 응답시간이 상기 예측 응답시간보다 표준편차 상 1.28보다 크고, 상기 학습 문항에 대한 다른 90%의 학습자보다 큰 경우, 상기 답변 응답시간의 정도를 '느림'으로 판단하고, 상기 실제 답변 응답시간이 상기 예측 응답시간보다 표준편차 상 1.28보다 작고, 상기 학습 문항에 대한 다른 90%의 학습자보다 작은 경우, 상기 답변 응답시간의 정도를 '빠름'으로 판단하며, 상기 학습 문항 분석단계는, 상기 답변 응답시간의 정도가 '느림'이 아닌 경우에는 풀이한 학습 문항은 '맞출 수 있지만 틀린 문제'로 판별하는 것을 특징으로 한다.

또한, 상기 실제 답변 응답시간이 상기 예측 응답시간보다 표준편차 상 1.28보다 크고, 상기 학습 문항에 대한 다른 90%의 학습자보다 큰 경우, 상기 답변 응답시간의 정도를 '느림'으로 판단하고, 상기 실제 답변 응답시간이 상기 예측 응답시간보다 표준편차 상 1.28보다 작고, 상기 학습 문항에 대한 다른 90%의 학습자보다 작은 경우, 상기 답변 응답시간의 정도를 '빠름'으로 판단하며, 상기 학습 문항 분석단계는, 상기 답변 응답시간의 정도가 '빠름'인 경우에는 풀이한 학습 문항은 '몰라서 틀린 문제'로 판별하는 것을 특징으로 한다.

그리고, 상기 학습 문항 분석 단계는, 상기 학습자의 예측 정답률이 85% 이상인 경우, '맞출 수 있지만 틀린 문제'로 판별하는 것을 특징으로 한다.

또한, 상기 학습 문항 분석 단계는, 상기 학습자의 예측 정답률이 50% 미만인 경우, '몰라서 틀린 문제'로 판별하는 것을 특징으로 한다.

여기서, 상기 예측 응답시간은 문항 시간 효과(question effect)와 학습자 속도(learner speed)에 의해 다음 수학식과 같이 선형복합모델(linear mixed model)에 의해 산출되는 것을 특징으로 한다.

그리고, 문항 시간 효과(question effect=question time effect)는 다른 학습자들이 해당 문항에 정답으로 응답하는 데 소요된 응답시간의 평균인 것을 특징으로 한다.

또한, 상기 학습자 속도(learner speed)는 ELO rating 방식에 의해 계산되는 것을 특징으로 한다.

한편, 상기 학습 문항 분석 단계는 상기 학습자의 학습 문항에 대한 답변이 정답인 경우, 찍어서 맞은 것으로 예상되는 문제 판별 단계를 포함하고, 상기 찍어서 맞은 것으로 예상되는 문제 판별 단계는, 상기 학습 문항에 대한 답변 응답시간이 특정 시간보다 짧은 경우 상기 찍어서 맞은 것으로 예상되는 문제로 판별하는 것을 특징으로 한다.

그리고, 상기 학습 문항 분석 단계는 해당 문항의 복수의 답변 데이터로부터 해당 문항의 정답율(%)을 응답시간의 함수로 모델링하고, 상기 특정 시간은 40% 이내의 상기 응답시간 중 응답시간 당 정답율(%)의 변화량이 최대가 되는 응답시간을 특정시간으로 산출하는 것을 특징으로 한다.

여기서, 상기 예측정답율은 상기 학습 문항의 고유 난이도와 상기 학습자의 추정 능력치를 반영하여 문항반응이론에 의해 산출하되, 상기 고유 난이도(question difficulty)는 상기 문항에 대해 타 학습자들에 의해 설정된 난이도이고, 상기 학습자의 능력치(learner ability)는 과거 타 문항에 대해 상기 타 학습자들과 비교한 상기 학습자의 능력치인 것을 특징으로 한다.

그리고, 상기 예측정답율은 다음 수학식에 의해 산출되는 것을 특징으로 한다.

본 발명의 빅데이터를 이용한 학습 문항 분석 정보 제공방법에 의하면, 학습자가 풀이한 문항에 대해서 보다 구체적으로 개선시킬 수 있는 정보를 제공함으로써 학습자가 단순한 문제 풀이에서 벗어나 학습 방법 및 습관에 대해 고민할 수 있게 하여 학습자의 진정한 실력 향상에 도움을 줄 수 있다.

도 1은 본 발명에 의한 빅데이터를 이용한 학습 문항 분석 정보 제공방법을 도시한 것이다.
도 2는 본 발명에 의한 빅데이터를 이용한 학습 문항 분석 정보 제공방법의 일 단계의 보다 구체적인 과정을 도시한 것이다.
도 3은 빅데이터를 이용한 특정시간의 산출 예를 도시한 것이다.

본 발명과 본 발명의 동작상의 이점 및 본 발명의 실시에 의하여 달성되는 목적을 충분히 이해하기 위해서는 본 발명의 바람직한 실시 예를 예시하는 첨부 도면 및 첨부 도면에 기재된 내용을 참조하여야만 한다.

본 발명의 바람직한 실시 예를 설명함에 있어서, 본 발명의 요지를 불필요하게 흐릴 수 있는 공지의 기술이나 반복적인 설명은 그 설명을 줄이거나 생략하기로 한다.

도 1은 본 발명에 의한 학습자를 위한 학습 문항 분석 정보 제공방법을 도시한 것이고, 도 2는 본 발명에 의한 학습자를 위한 학습 문항 분석 정보 제공방법의 일 단계의 보다 구체적인 과정을 도시한 것이다.

이하, 도 1 및 도 2를 참조하여 본 발명의 일 실시예에 의한 학습자를 위한 학습 문항 분석 정보 제공방법을 설명하기로 한다.

본 발명에 의한 학습 문항 분석 정보 제공방법은 온라인 상으로 학습을 위한 정보를 제공하고, 온라인 상으로 접속한 이용자가 이를 통해 학습을 진행할 수 있도록 하는 서비스 방법이다.

즉, 서비스 제공자는 인터넷 웹사이트 또는 스마트 기기를 통해 구현되는 어플리케이션을 통해서 학습 서비스를 제공하고, 해당 서비스의 이용자는 로그인 등의 절차를 통해 웹사이트나 어플리케이션에 접속하여 학습을 수행해 나갈 수 있도록 하는 것이다. 이러한 서비스 방법과 이용 방법에 대해서 널리 인식된 기술들에 대한 설명은 본 발명에서는 생략하도록 한다.

그리고, 본 발명에 의해 제공되는 학습은 일회성이기 보다는 일 단위, 주 단위, 월 단위 등의 주기에 따라 회차를 구분하여 적당한 학습량을 제공하여 학습자가 제공되는 진도에 맞게 학습을 수행해 나갈 수 있도록 제공된다.

구체적으로 살펴보면, 본 발명에 의한 학습 문항 분석 정보 제공방법은 학습 제공 단계, 학습 정보 수신 단계, 학습 정보 데이터화 단계, 학습 문항 분석 단계 및 학습 문항 분석 정보 제공 단계를 포함한다.

학습 제공 단계(S10)는 서비스에 접속한 학습자가 이용할 수 있는 학습 내용을 서비스 서버에 의해 온라인 상으로 제공한다.

학습 제공 단계(S10)에 의해 제공되는 학습 내용은 학습자가 풀이할 학습 문항이며, 그 외에 학습 컨텐츠도 포함한다.

학습 내용은 일정 주기마다 회차를 구분하여 제공될 수 있고, 각 회차에서 제공되는 학습 내용은 학습 문항과 함께 학습 컨텐츠가 포함되며, 학습 컨텐츠만 제공될 수도 있다.

학습 문항은 회차당 정해진 수와 난이도에 따른 복수의 학습 문항이 순차적으로 제공이 된다.

예를 들어, 10개의 문항이 일괄적으로 제공되어 학습자가 스크롤하며 풀이를 진행할 수도 있을 것이며, 하나 또는 둘 정도의 소량의 문항을 화면을 넘겨 가며 확인 가능하도록 제공하는 방식일 수 있다.

이에는 학습자가 문항에 대한 풀이를 위해 정답을 체크할 수 있는 수단이 함께 제공될 것이다.

그리고, 학습자가 나중에 풀기 위해서 제시된 문항을 건너뛰어 다른 문항을 먼저 풀이할 수 있도록 다음 문항의 선택이 가능한 수단도 제시가 된다. 단지 다음 페이지를 터치 입력 방식에 의해 선택되도록 할 수도 있을 것이다.

또한, 해당 회차의 전체 문항을 일괄적으로 채점할 수 있게 하거나, 한 페이지에 제공되는 문항마다 채점을 진행하도록 제공될 수도 있을 것이다.

학습 제공 단계(S10)에서는 학습자가 답변을 체크하고 채점을 선택하는 경우 채점에 의한 정답 또는 오답의 결과 또한 제공되게 한다.

한편, 오답인 경우에는 해당 문항에 대한 답변을 다시 할 수 있는 내용이 제공될 수도 있다.

그리고, 학습 컨텐츠는 해당 회차에서 알아야할 내용에 대한 강의의 텍스트나 영상 형식일 수 있으며, 각 문항에 대한 해설의 텍스트나 영상 또는 힌트 등일 수 있다.

이와 같은 학습 제공 단계(S10)에 의해 제공된 학습 내용 중 학습 문항에 대한 학습자의 답변이 있으면, 서비스 서버는 학습 정보 수신 단계(S20)에 의해 학습자의 답변을 수신하게 된다.

수신하는 학습 정보 또한 학습 문항에 대한 답변일 수 있으며, 학습 컨텐츠에 관한 결과물일 수 있다.

즉, 학습 문항에 대한 학습 정보는 해당 문항에 대한 학습자의 답변과 문항 제공시부터 답변까지의 응답시간, 그리고 학습자의 답변이 오답이어서 재차 답변을 시도한 경우에는 답변 시도 횟수도 포함될 수 있다.

그리고, 학습 컨텐츠에 관한 결과물은 S10에서 제공된 학습 컨텐츠 내용을 이용하였는지 여부에 관한 것이다.

즉, 해당 회차에서 제공되는 강의, 해설, 힌트 등을 확인하였는지, 확인하지 않았는지에 관한 정보가 된다.

이와 같이 학습 정보 수신 단계(S20)에 의해 학습자의 학습 문항에 대한 답변과 학습 컨텐츠에 관한 결과물은 학습 정보 데이터화 단계(S30)에 의해 서비스 서버가 이를 데이터화한다.

학습자의 수는 온라인 서비스의 특성상 무한한 바, 학습 데이터화 단계(S30)에서는 수많은 학습자에 의한 학습 정보를 빅 데이터화하고, 이를 분석하여 후술할 학습 문항 분석 단계(S40)를 통해 학습한 문항에 대한 구체적인 분석 정보를 학습 문항 분석 정보 제공 단계(S50)에 의해 제공하게 된다.

학습 문항 분석 정보 제공 단계(S50)에서는 S40에 의한 학습 문항 분석 정보뿐 아니라 회차당 전체 정답률, 전체 풀이 시간, 등급, 난이도, 학습자 평균과의 비교 등의 일반적인 학습 결과에 대한 정보를 포함함은 물론이다.

학습 문항 분석 단계(S40)에서는 학습 정보 수신 단계(S20)에 의해 수신한 학습자의 학습 정보와 학습 정보 데이터화 단계(S30)에 의해 빅 데이터화되어 보유하고 있는 정보에 의해 학습자가 풀이한 학습 문항을 분석하여 학습자에게 도움이 될 수 있는 피드백 정보를 분석하게 된다.

학습 문항에 대한 분석은 '맞출 수 있지만 틀린 문제 판별(S41)', '몰라서 틀린 문제 판별(S42)', '찍어서 맞은 것으로 예상되는 문제 판별(S43)'의 과정을 통해서 풀이한 각 문항이 S41 내지 S43에 해당하는지를 판별하게 되고, 이에 속하지 않는 문항은 미분류 문항으로 분류하게 된다.

S41 내지 S43의 판별 과정은 문항 분석의 순서를 의미하지는 않고, 각 프로세스에 의해서 각각 또는 전체적으로 판별이 이루어진다.

맞출 수 있지만 틀린 문제 판별(S41)과 몰라서 틀린 문제 판별(S42)은 학습 정보 수신 단계(S20)에 의해 해당 문항의 정답/오답 여부와 답변 응답시간을 수신 하여, 해당 문항이 오답인 경우에 학습자의 예측 정답률과 예측 풀이시간을 기준으로 학습자가 모를 확률이 높은 문항인지 실수 등으로 인해서 맞출 수 있으나 틀렸는지를 판별하게 된다.

S41에서는 학습자의 해당 문항에 대한 예측 정답률이 85% 이상인지를 판단하고, 예측 정답률이 85% 이상인데 오답인 경우에는 '맞출 수 있지만 틀린 문제'로 판별한다.

반면, S42에서는 학습자의 해당 문항에 대한 예측 정답률이 50% 미만인지를 판단하고, 예측 정답률이 50% 미만인데 오답인 경우에는 '몰라서 틀린 문제'로 판별한다.

다만, 학습자의 해당 문항에 대한 예측 정답률이 50% 이상 85% 미만인 경우에는 예측 정답률과 함께 답변 응답시간의 정도를 기준으로 달리 판단하게 된다.

즉, 학습자의 실제 답변 응답시간의 정도가 빠른지, 느린지, 중간 정도인지를 판단하여 판별하게 된다.

그래서, 예측 정답률이 50% 이상 85% 미만인데 답변 응답시간이 느리지 않은, 빠르거나 중간 정도인 경우에는 S41에 의해 '맞출 수 있지만 틀린 문제'로 판별하게 된다.

그리고, 예측 정답률이 50% 이상 85% 미만인데 답변 응답시간이 빠른 경우에는 S42에 의해 '몰라서 틀린 문제'로 판별하게 된다.

이상의 S41 및 S42의 판별 기준이 되는 예측 정답률과 예측 응답시간을 설명하기로 한다.

학습자의 예측 정답률은 학습자가 해당 문항을 맞힐 것으로 예상되는 확률을 이르며, 이는 문항의 고유 난이도 설정 및 학습자의 능력치의 추정을 통해 분석한다.

해당 문항의 고유 난이도(question difficulty)는 학습 정보 데이터화 단계(S30)에 의해 데이터화된 정보를 통해 해당 문항에 대한 다른 학습자들에 의해 설정된 상대적인 난이도를 추정하는 것이다.

즉, 해당 문항에 대한 전체 학습자의 정답률과 정답을 맞히기까지 소요된 답변 시도 횟수를 기준으로 하여 추정한다.

문항의 고유 난이도의 평균값은 0을 기준으로 하며, 전체 학습자의 정답률과 정답을 맞히기까지 소요된 답변 시도 횟수에 따라 (+) 또는 (-)로 보정함으로써 난이도를 추정한다.

이러한 보정(calibration)은 베이지안 알고리즘(Bayesianism)에 의해 각 응답 후 업데이트된 값에 의해 보정된다.

그리고, 학습자의 능력치(learner ability)는 과거 타 문항에 대해 타 학습자들과 비교하여 산출한다.

학습자의 능력치는 평균값을 0으로 하여, 학습자가 복수의 문항에 대해 답변할 때마다 정답인지 오답인지에 따라 타 학습자들의 정답율과 비교하여 (+) 또는 (-)의 가중치를 부여함으로써 추정된다.

이러한 가중치 또한 베이지안 능력 산정 알고리듬(Bayesianism)에 의해 각 응답 후 업데이트된 값에 의해 구해진다.

나아가, 정답 또는 오답에 따른 가중치는 가장 최근에 답변한 문항의 결과에 대해서 보다 높게 책정될 수가 있다.

문항에 대한 예측정답율은 이러한 문항의 고유 난이도(question difficulty)와 학습자 능력치(learner ability)에 의해 문항반응이론(item response theory, IRT)을 기반으로 하여 다음 수학식과 같이 산출된다.

즉, 학습자 능력치가 높을수록 또는 고유 난이도가 낮을수록 exp(question difficulty+learner ability) 값이 증가하여 P 값은 크게 나타나며 최대치는 1이 된다.

그리고, 고유 난이도가 높은 문제를 학습자 능력치가 낮은 학습자가 풀더라도 Pmax는 0.5가 되어, 예측정답율은 0.5~1의 범위로 산출된다.

한편, 학습자의 능력치와 고유 난이도에 따라 학습자의 예측정답율을 산출하기 위해, 학습자의 능력치를 2N+1(N은 정수), 고유 난이도를 2M+1(M은 정수)의 구간으로 구분할 수 있다.

가령, 문항의 고유 난이도의 범위와 학습자 능력치의 범위를 ±4(N, M은 4)로 책정하면, 문항에 대한 예측 정답율은 위 수학식에 따라 다음 표와 같이 산정될 수가 있고, 표와 같이 학습자 능력치는 등차(an arithmetic progression)로 증감하는 값을 가질 수 있으며, 나아가 학습자의 능력치에 따른 문항의 고유 난이도의 조절은 아래 표에 따라 등차로 증감시켜 조절할 수 있다.

예측정답율(%)		문항의 고유 난이도
		-4	-3	-2	-1	0	1	2	3	4
학습자 능력치	-4	50	37.5	25	12.5	0	0	0	0	0
	-3	62.5	50	37.5	25	12.5	0	0	0	0
	-2	75	62.5	50	37.5	25	12.5	0	0	0
	-1	87.5	75	62.5	50	37.5	25	12.5	0	0
	0	100	87.5	75	62.5	50	37.5	25	12.5	0
	1	100	100	87.5	75	62.5	50	37.5	25	12.5
	2	100	100	100	87.5	75	62.5	50	37.5	25
	3	100	100	100	100	87.5	75	62.5	50	37.5
	4	100	100	100	100	100	87.5	75	62.5	50

수학식에 의해 산출되는 문항에 대한 예측 정답율(P)은 0.5에서 1의 범위를 가지게 되고, 0.5 미만의 경우에는 문항의 고유 난이도에 대해 선형성을 갖는다는 가정 하에 산출함으로써 위 표와 같은 결과를 얻을 수 있다.

그리고, 표와 같이 학습자의 능력치가 증가할수록 예측정답율은 선형적으로 증가할 수 있고, 고유 난이도가 낮아질수록 예측정답율은 선형적으로 증가할 수 있다.

또한, 위 구간별 표에서 학습자의 능력치와 고유 난이도의 구간이 동일할 경우에 P는 0.5가 되며, 학습자의 능력치가 2N+1개의 구간을 따라 증가할수록 예측정답율은 선형적으로 증가할 수 있고, 고유 난이도가 2M+1개의 구간을 따라 낮아질수록 예측정답율은 선형적으로 증가할 수 있다.

이와 같이 산출되는 예측 정답률에 따라서 S41 또는 S42에서 해당 여부를 판별하게 된다.

다음으로, 예측 응답시간은 학습자의 해당 문항에 대한 답변의 스피드 정도를 빠르거나, 느리거나 중간 정도로 구분하고, 그에 따라서 S41 또는 S42에서 해당 여부를 판별하게 된다.

학습자의 해당 문항에 대한 답변의 스피드 정도는 학습자의 실제 답변 응답시간을 학습자의 예측 응답시간과 비교함으로써 결정된다.

즉, 학습자의 실제 답변 응답시간이 예측 응답시간보다 표준편차 상 1.28보다 높은 구간에 위치하면서 다른 90%의 학습자보다 긴 경우를 느림 정도로 판단한다.

그리고, 학습자의 실제 답변 응답시간이 예측 응답시간보다 표준편차 상 1.28보다 낮은 구간에 위치하면서 다른 90%의 학습자보다 짧은 경우를 빠름 정도로 판단한다.

느림과 빠름에 해당하지 않는 정도가 '예상 범주 안(as expected)'에 해당하는 스피드 정도가 된다.

이와 같이 판단되는 빠름 및 느림의 정도는 해당 학습자에 대해 학습 내용의 난이도 조정 및 분석 정보 제공 등을 위한 정보로 활용될 수 있다.

학습자의 실제 답변 응답시간은 학습자가 문항에 첫 번째로 답변하였을 때 실제로 걸린 시간이 된다.

그러나, 학습자는 해당 문항을 뷰어 등을 통해 확인하고 즉시 답변하지 않고 다른 문항에 대해 먼저 답변할 수가 있으며, 이러한 행위를 수차례 반복할 수도 있다.

그러한 경우에는 해당 문항이 제시된 화면에 머무른 시간 중 가장 긴 시간을 학습자의 실제 답변 응답시간으로 한다.

학습자의 예측 응답시간은 학습자가 해당 문항을 풀이할 때 소요될 것으로 예상되는 시간이며, 이는 문항마다 다를 수 있고, 학습자마다 다를 수 있는 시간이다.

이러한 학습자의 예측 응답시간은 해당 문항에 대해 정답을 답변한 다른 학습자들의 해당 문항에 대한 평균 답변 응답시간을 기반으로 해당 학습자가 계속적으로 문항에 대해 답변한 결과를 통한 평균 답변 시간을 조합하여 값을 추정한다.

보다 구체적으로, 예측 응답시간은 학습자가 특정 문항에 대해 답변하기까지 소요될 예측 응답시간으로서, 문항 시간 효과(question effect)와 학습자 속도(learner speed)의 과거(history) 데이터에 의해 다음 수학식과 같이 선형복합모델(linear mixed model)에 의해 결정된다.

문항 시간 효과(question effect=question time effect)는 다른 학습자들이 해당 문항에 정답으로 응답하는 데 소요된 응답시간의 평균이다.

그리고, 학습자 속도(learner speed)는 해당 학습자가 같은 문항을 풀 때 평균적으로 다른 학습자들에 비해 더 빠르거나 더 느린지를 나타내게 되는 값이다.

즉, 평균 시간값에 해당하는 문항 시간 효과 값을 학습자 능력에 따라 다르게 결정되는 학습자 속도에 의해 선형적으로 조정(calibration)하여 산출되는 것이다.

이러한 조정(calibration)은 ELO rating 방식으로 위 선형복합모델의 파라미터(학습자 속도)를 계산하는 것이다.

ELO rating 방식은 정답 또는 오답으로 결과가 구분되는 문제풀이 방식에 있어서, 학습자의 실력을 정답/오답 여부에 따라 점수화하여 순위를 매기는 방식으로, 학습자의 능력에 따라 결정이 되며, 해당 학습자가 문제풀이를 함에 따라 계속적으로 업데이트되어 학습자 속도가 갱신되게 된다.

또한, 문항 시간 효과 역시 다른 학습자의 문항 답변 데이터의 증가에 따라 계속적으로 업데이트되고, 그에 따라 예측 응답시간도 갱신되게 된다.

다음으로는, S41과 S42 외에 '찍어서 맞은 것으로 예상되는 문제 판별(S43)'의 판별 방법을 살펴본다.

비록 학습자의 답변이 정답이라 할지라도 학습자가 조금이라도 생각할 시간을 가졌으리라고 판단되지 않는 시간 안에 답한 경우에 '찍어서 맞은 것으로 예상되는 문제'로서 판별한다.

찍기 행동의 판별은 문항에 대한 답변 응답시간을 기준으로 판별하게 된다. 이는 대부분의 문항에서 답변 응답시간이 특정 시간보다 짧을 경우에는 정답률이 급격히 떨어지기 때문이고, 그 특정 시간보다 답변 응답시간이 짧은지 여부를 판단하여 그런 경우 해당 문항은 찍었을 확률이 매우 높은 것으로 판단하는 것이다.

이러한 특정 시간은 학습 정보 데이터화 단계(S30)를 통한 빅 데이터 정보를 이용하여 산출되며, 학습 문항 분석 단계(S40)에서는 산출된 특정 시간을 토대로 학습 문항에 대한 답변이 찍기 행동에 해당하는지 여부를 판단하게 된다.

도 3은 빅데이터를 이용한 특정시간의 산출 예를 도시한 것으로, 이를 참조하여 특정시간의 산출 방법을 설명하기로 한다. 도 3에서 초1 수학, 초1 국어, 초고 국어, 초고 사과는 과목명을 뜻한다.

특정시간의 산출은 문항마다 다를 수 있는 값이고, 데이터량이 증가함에 따라 능동적으로 산출값이 달라질 수 있는 값이며, 초기 설정은 1,000ms로 한다.

그리고, 해당 문항에 대한 일정 개수의 답변이 데이터화되면 초기 설정을 조정(CALIBRATION)하는 방식으로 특정시간을 갱신한다.

예를 들어, 해당 문항에 대한 답변이 50개의 정답과 50개의 오답이 획득되면 조정하도록 설정될 수 있다.

조정 산출 방법은 먼저 4개의 계수를 가진 로그 정규함수를 사용하여 각각의 정답율(%)을 ln(응답시간, response time)의 함수로 모델링한다.

모델링 결과 도 3과 같은 그래프가 도출되며, 여기서 40번째 백분위 수 이하의 응답시간(response time) 중 응답시간 당 정답율(%)의 변화량이 최대가 되는 응답시간(그래프상 기울기)을 특정시간으로 산출한다.

그래프의 예에서 이와 같이 산출 결과, 초1 수학의 경우 40번째 백분위 수 이하 중 기울기가 최대가 되는 3초가 특정시간으로 산출이 된다.

빅 데이터 분석상 응답 시간이 클수록 정답율은 높아지나 그 한계는 존재한다.

다만, 초고 사과와 같이 응답 시간이 클수록 정답율이 높아지는 것과 달리 응답시간 3초 이내의 답변이 정답율이 보다 높은 예외적인 경우도 존재한다.

이는 스피드 퀴즈의 성격과 같이 매우 친숙한 문제라서 응답시간이 짧은 것으로서, 이와 같은 경우를 배제하여 특정시간을 산출하는 것이 필요하다.

이를 위해, 백분위 중 10번째로 빠른 응답의 정답율이 (40 내지 60번째 백분위 수에 해당하는 응답시간 동안의 정답 비율×0.9) 이상인 경우를 예외로 판단하여 기준점 -1을 적용하여 특정시간을 산출한다.

다음으로, S41 내지 S43에 의해 판별되지 않고 미분류로 처리되는 문항의 경우는 해당 문항의 전체 정답자가 기준 수치에 미달하는 경우에 해당한다.

예를 들어, 정답자가 10명 미만의 문항에 대해서는 예측 정답률 및 예측 응답시간이 추정될 수 없기 때문이다.

이상에서 살펴본 바와 같이 학습 문항에 대해 분석이 되면, 이를 학습자가 확인할 수 있도록 학습 문항 정보 제공 단계(S50)를 통해 제공하게 된다.

이는 해당 회차의 학습에 대한 총평 등의 정보와 함께 제공할 수 있을 것이다.

그리고, 각각의 문항마다 표시되게 하거나, 전체 문항 중 해당 문항의 횟수와 문항 정보를 총괄하여 제시할 수도 있을 것이다.

이상과 같은 본 발명은 예시된 도면을 참조하여 설명되었지만, 기재된 실시 예에 한정되는 것이 아니고, 본 발명의 사상 및 범위를 벗어나지 않고 다양하게 수정 및 변형될 수 있음은 이 기술의 분야에서 통상의 지식을 가진 자에게 자명하다. 따라서 그러한 수정 예 또는 변형 예들은 본 발명의 특허청구범위에 속한다 하여야 할 것이며, 본 발명의 권리범위는 첨부된 특허청구범위에 기초하여 해석되어야 할 것이다.

S10 : 학습 제공 단계
S20 : 학습 정보 수신 단계
S30 : 학습 정보 데이터화 단계
S40 : 학습 문항 분석 단계
S50 : 학습 문항 분석 정보 제공 단계

Claims (13)

1. 서비스 서버에 접속한 학습자가 이용할 수 있는 학습 문항을 포함한 학습 내용을 온라인 상으로 제공하는 학습 제공 단계;
   상기 학습 문항에 대한 학습자의 답변 내용을 포함하는 학습 정보를 수신하는 학습 정보 수신 단계;
   상기 학습 정보 수신 단계에 의해 수신된 정보를 데이터화하는 학습 정보 데이터화 단계;
   상기 학습 정보 데이터화 단계에 의해 저장된 데이터 분석을 통해 해당 학습자가 답변한 학습 문항을 분석하는 학습 문항 분석 단계; 및
   상기 학습 문항 분석 단계에 의해 분석된 학습 문항에 대한 분석 정보를 제공하는 학습 문항 분석 정보 제공 단계를 포함하고,
   상기 학습 문항 분석 단계는,
   상기 학습자의 학습 문항에 대한 답변이 오답이고, 상기 학습자의 예측 정답률이 50% 이상 85% 미만인 경우, 풀이한 학습 문항에 대한 답변 응답시간의 정도에 따라 풀이한 학습 문항은 '맞출 수 있지만 틀린 문제' 또는 '상기 몰라서 틀린 문제'로 판별하는 것을 특징으로 하는,
   빅데이터를 이용한 학습 문항 분석 정보 제공방법.
2. 청구항 1에 있어서,
   상기 답변 응답시간의 정도는 상기 학습자의 학습 문항에 대한 실제 답변 응답시간을 상기 학습자의 예측 응답시간에 대한 추정치와 비교함으로써 결정하는 것을 특징으로 하는,
   빅데이터를 이용한 학습 문항 분석 정보 제공방법.
3. 청구항 2에 있어서,
   상기 실제 답변 응답시간이 상기 예측 응답시간보다 표준편차 상 1.28보다 크고, 상기 학습 문항에 대한 다른 90%의 학습자보다 큰 경우, 상기 답변 응답시간의 정도를 '느림'으로 판단하고,
   상기 실제 답변 응답시간이 상기 예측 응답시간보다 표준편차 상 1.28보다 작고, 상기 학습 문항에 대한 다른 90%의 학습자보다 작은 경우, 상기 답변 응답시간의 정도를 '빠름'으로 판단하며,
   상기 학습 문항 분석단계는, 상기 답변 응답시간의 정도가 '느림'이 아닌 경우에는 풀이한 학습 문항은 '맞출 수 있지만 틀린 문제'로 판별하는 것을 특징으로 하는,
   빅데이터를 이용한 학습 문항 분석 정보 제공방법.
4. 청구항 2에 있어서,
   상기 실제 답변 응답시간이 상기 예측 응답시간보다 표준편차 상 1.28보다 크고, 상기 학습 문항에 대한 다른 90%의 학습자보다 큰 경우, 상기 답변 응답시간의 정도를 '느림'으로 판단하고,
   상기 실제 답변 응답시간이 상기 예측 응답시간보다 표준편차 상 1.28보다 작고, 상기 학습 문항에 대한 다른 90%의 학습자보다 작은 경우, 상기 답변 응답시간의 정도를 '빠름'으로 판단하며,
   상기 학습 문항 분석단계는, 상기 답변 응답시간의 정도가 '빠름'인 경우에는 풀이한 학습 문항은 '몰라서 틀린 문제'로 판별하는 것을 특징으로 하는,
   빅데이터를 이용한 학습 문항 분석 정보 제공방법.
5. 청구항 2에 있어서,
   상기 학습 문항 분석 단계는,
   상기 학습자의 예측 정답률이 85% 이상인 경우, '맞출 수 있지만 틀린 문제'로 판별하는 것을 특징으로 하는,
   빅데이터를 이용한 학습 문항 분석 정보 제공방법.
6. 청구항 2에 있어서,
   상기 학습 문항 분석 단계는,
   상기 학습자의 예측 정답률이 50% 미만인 경우, '몰라서 틀린 문제'로 판별하는 것을 특징으로 하는,
   빅데이터를 이용한 학습 문항 분석 정보 제공방법.
7. 청구항 2에 있어서,
   상기 예측 응답시간은 문항 시간 효과(question effect)와 학습자 속도(learner speed)에 의해 다음 수학식과 같이 선형복합모델(linear mixed model)에 의해 산출되는 것을 특징으로 하는,
   빅데이터를 이용한 학습 문항 분석 정보 제공방법.
   

   
8. 청구항 7에 있어서,
   문항 시간 효과(question effect=question time effect)는 다른 학습자들이 해당 문항에 정답으로 응답하는 데 소요된 응답시간의 평균인 것을 특징으로 하는,
   빅데이터를 이용한 학습 문항 분석 정보 제공방법.
9. 청구항 8에 있어서,
   상기 학습자 속도(learner speed)는 ELO rating 방식에 의해 계산되는 것을 특징으로 하는,
   빅데이터를 이용한 학습 문항 분석 정보 제공방법.
10. 청구항 7에 있어서,
    상기 학습 문항 분석 단계는 상기 학습자의 학습 문항에 대한 답변이 정답인 경우, 찍어서 맞은 것으로 예상되는 문제 판별 단계를 포함하고,
    상기 찍어서 맞은 것으로 예상되는 문제 판별 단계는,
    상기 학습 문항에 대한 답변 응답시간이 특정 시간보다 짧은 경우 상기 찍어서 맞은 것으로 예상되는 문제로 판별하는 것을 특징으로 하는,
    빅데이터를 이용한 학습 문항 분석 정보 제공방법.
11. 청구항 10에 있어서,
    상기 학습 문항 분석 단계는 해당 문항의 복수의 답변 데이터로부터 해당 문항의 정답율(%)을 응답시간의 함수로 모델링하고, 상기 특정 시간은 40% 이내의 상기 응답시간 중 응답시간 당 정답율(%)의 변화량이 최대가 되는 응답시간을 특정시간으로 산출하는 것을 특징으로 하는,
    빅데이터를 이용한 학습 문항 분석 정보 제공방법.
12. 청구항 7에 있어서,
    상기 예측정답율은 상기 학습 문항의 고유 난이도와 상기 학습자의 추정 능력치를 반영하여 문항반응이론에 의해 산출하되,
    상기 고유 난이도(question difficulty)는 상기 문항에 대해 타 학습자들에 의해 설정된 난이도이고,
    상기 학습자의 능력치(learner ability)는 과거 타 문항에 대해 상기 타 학습자들과 비교한 상기 학습자의 능력치인 것을 특징으로 하는,
    빅데이터를 이용한 학습 문항 분석 정보 제공방법.
13. 청구항 12에 있어서,
    상기 예측정답율은 다음 수학식에 의해 산출되는 것을 특징으로 하는,
    빅데이터를 이용한 학습 문항 분석 정보 제공방법.
    

    

Images