KR20190125055A - 빅데이터를 활용한 학습 코칭 방법 - Google Patents

Abstract

본 발명은 서비스 서버에 접속한 학습자가 이용할 수 있는 학습 문항을 포함한 학습 내용을 온라인 상으로 제공하는 학습 제공 단계, 상기 학습 문항에 대한 학습자의 답변 내용을 포함하는 학습 정보를 수신하는 학습 정보 수신 단계, 상기 학습 정보 수신 단계에 의해 수신된 정보를 데이터화하는 학습 정보 데이터화 단계, 상기 학습 정보 데이터화 단계에 의해 저장된 데이터 분석을 통해 해당 학습자가 풀이하는 학습 문항의 체감난이도를 분석하는 학습 문항의 체감난이도 분석 단계 및 상기 학습 정보 데이터화 단계에 의해 저장된 데이터 분석을 통해 해당 학습자의 학습 습관에 대한 정보를 분석하는 학습 습관 분석 단계를 포함하는 빅데이터를 활용한 학습 코칭 방법으로서, 본 발명에 의하면, 온라인 학습을 통해서도 학습자의 학습 습관 및 실력 향상에 도움을 줄 수 있게 한다.

Description

빅데이터를 활용한 학습 코칭 방법{LEARNING COACHING METHOD USING BIG DATA}

본 발명은 학습자의 학습을 돕기 위한 학습 코칭 방법에 관한 것으로서, 특히 동일한 학습 내용을 학습한 학습자들의 학습 정보를 빅데이터로 활용하여 서비스하는 학습 코칭 방법에 관한 것이다.

정보통신 기술이 발달하면서 컴퓨터를 통해 데이터베이스의 관리가 용이하게 됨에 따라 학습 정보를 데이터베이스에 저장하고, 온라인 상으로 인터넷을 이용하여 학습자에게 제공하는 학습 서비스가 다양한 컨텐츠를 가지고 제공되고 있다.

학습자는 학습 프로그램을 제공하는 웹사이트나 휴대 단말기를 통해 접속이 가능한 앱(App)을 통해 제공되는 문제를 통해 학습이 가능하므로, 시간과 공간의 제약이 적은 온라인을 통한 장점 등에 따라 이러한 온라인을 이용하여 학습 정보를 제공하고, 학습을 직접 수행하며, 그에 대한 결과를 제공받는 서비스 방법이 많이 개발되고 있다.

본 발명 또한 그러한 온라인을 이용하여 학습 정보를 제공하는 방법과 관련된 것이다.

한편, 학습은 무작정 열심히만 한다고 성과가 반드시 따라오는 것은 아니다.

즉, 무작정 열심히가 아니라 어떻게 열심히 하느냐가 중요하다는 것은 익히 알려져 있는 바이다.

그러기 위해서는 학습자의 독자적인 학습 뿐 아니라 적절한 교수자의 코칭 도움을 요하게 된다.

그러나, 그러한 학습 코칭은 오프라인 상의 학습에 의해서는 교수자가 직접 지도해 주는 것이 용이하나, 온라인을 통한 학습의 경우에는 학습 정보 내지 문제만을 제공할 뿐 학습의 결과 및 방법 등에 대한 코칭이 적용되기가 어려운 한계가 있다.

또한, 학습의 결과에 대한 정보를 제공하는 서비스는 일부 공개되어 있으나, 학습자에게 실질적으로 도움을 줄 수 있고, 단기간 그리고 결과적으로 장기간에 걸쳐 학습자의 개선을 유도할 수 있는 보다 자세한 내용을 제공하는 코칭 서비스는 부재한 것이 현실이다.

이상의 배경기술에 기재된 사항은 발명의 배경에 대한 이해를 돕기 위한 것으로서, 이 기술이 속하는 분야에서 통상의 지식을 가진 자에게 이미 알려진 종래기술이 아닌 사항을 포함할 수 있다.

한국공개특허공보 제10-2010-0127367호

본 발명은 상술한 문제점을 해결하고자 안출된 것으로서, 본 발명은 온라인 학습을 통해서도 학습자의 학습 습관 및 실력 향상에 도움을 줄 수 있는 정보를 제공할 수 있는 빅데이터를 활용한 학습 코칭 방법을 제공하는 데 그 목적이 있다.

본 발명의 일 관점에 의한 빅데이터를 활용한 학습 코칭 방법은, 서비스 서버에 접속한 학습자가 이용할 수 있는 학습 문항을 포함한 학습 내용을 온라인 상으로 제공하는 학습 제공 단계, 상기 학습 문항에 대한 학습자의 답변 내용을 포함하는 학습 정보를 수신하는 학습 정보 수신 단계, 상기 학습 정보 수신 단계에 의해 수신된 정보를 데이터화하는 학습 정보 데이터화 단계, 상기 학습 정보 데이터화 단계에 의해 저장된 데이터 분석을 통해 해당 학습자가 풀이하는 학습 문항의 체감난이도를 분석하는 학습 문항의 체감난이도 분석 단계 및 상기 학습 정보 데이터화 단계에 의해 저장된 데이터 분석을 통해 해당 학습자의 학습 습관에 대한 정보를 분석하는 학습 습관 분석 단계를 포함한다.

그리고, 상기 학습 문항의 체감난이도 분석단계는, 상기 학습 문항의 고유 난이도와 상기 학습자의 추정 능력치를 비교하여 상기 체감난이도를 산출하는 것을 특징으로 한다.

또한, 상기 학습 문항의 체감난이도 분석단계에서 상기 체감난이도는 상기 해당 문항에 대한 전체 학습자의 정답률과 정답을 맞히기까지 소요된 답변 시도 횟수를 기준으로 추정하는 것을 특징으로 한다.

그리고, 상기 학습 문항의 체감난이도 분석단계의 상기 학습자의 추정 능력치는 상기 학습자가 복수의 학습 문항에 대해 답변함에 따른 정답 또는 오답에 따른 가중치를 부여함으로써 추정하는 것을 특징으로 한다.

나아가, 상기 학습 문항의 체감난이도 분석단계는, 상기 학습 문항의 고유 난이도가 상기 학습자의 추정 능력치보다 높으면 상기 학습 문항의 체감난이도가 50%보다 높은 것으로 판별하고, 상기 학습 문항의 고유 난이도가 상기 학습자의 추정 능력치보다 낮으면 상기 학습 문항의 체감난이도가 50%보다 낮은 것으로 판별하는 것을 특징으로 한다.

다음으로, 상기 학습 습관 분석 단계는 찍기 행동 판별 단계를 포함하고, 상기 찍기 행동 판별 단계는, 상기 학습 정보 수신 단계의 학습 정보 중 학습 문항에 대한 답변 소요 시간이 특정 시간보다 짧은 경우 "찍기" 행동으로 판별하는 것을 특징으로 한다.

또는, 상기 학습 제공 단계는 학습 문항에 대한 채점 결과를 제시하는 채점 수단 및 다음 문항으로 건너뛸 수 있는 수단이 제공되고, 상기 학습 습관 분석 단계는 건너뛰기 행동 판별 단계를 포함하되, 상기 건너뛰기 행동 판별 단계는, 상기 학습 정보 수신 단계의 학습 정보 중 상기 채점 수단을 사용하지 않고 다음 문항으로 넘어간 경우 "건너뛰기" 행동으로 판별하는 것을 특징으로 한다.

또한, 상기 학습 습관 분석 단계는 실패 후 건너뛰기 행동 판별 단계를 포함하되, 상기 실패 후 건너뛰기 행동 판별 단계는, 상기 학습 문항에 대한 채점 결과가 오답이며, 다음 학습 문항을 풀이 없이 건너뛴 경우 "실패 후 건너뛰기" 행동으로 판별하는 것을 특징으로 한다.

그리고, 상기 학습 제공 단계는 학습 문항에 대한 채점 결과를 제시하는 채점 수단과 상기 채점 결과 오답인 경우 답변을 다시 할 수 있는 재시도 수단이 제공되고, 상기 학습 습관 분석 단계는 재시도 안 함 행동 판별 단계를 포함하되, 상기 재시도 안 함 행동 판별 단계는, 상기 학습 문항에 대한 채점 결과가 오답이며, 상기 재시도 수단에 의한 재답변을 시도하지 않은 경우 "재시도 안 함" 행동으로 판별하는 것을 특징으로 한다.

또는, 상기 학습 내용은 학습할 내용에 대한 강의 자료를 포함하고, 상기 학습 습관 분석 단계는 강의 안 봄 행동 판별 단계를 포함하되, 상기 강의 안 봄 행동 판별 단계는, 상기 학습자가 상기 강의 자료를 확인하지 않은 경우 "강의 안 봄" 행동으로 판별하는 것을 특징으로 한다.

다음으로, 상기 학습 정보 데이터화 단계에 의해 저장된 데이터 분석을 통해 해당 학습자가 답변한 학습 문항을 분석하는 학습 문항 분석 단계를 더 포함하고, 상기 학습 문항 분석 단계는 상기 학습자의 학습 문항에 대한 답변이 오답인 경우, 맞출 수 있지만 틀린 문제 판별 단계 및 몰라서 틀린 문제 판별 단계를 포함하고, 상기 맞출 수 있지만 틀린 문제 및 상기 몰라서 틀린 문제는 학습자의 예측 정답률을 기준으로 판별하는 것을 특징으로 한다.

그리고, 상기 학습 문항 분석 단계는, 상기 학습자의 예측 정답률이 85% 이상인 경우, '맞출 수 있지만 틀린 문제'로 판별하고, 상기 학습자의 예측 정답률이 50% 미만인 경우, '몰라서 틀린 문제'로 판별하며, 상기 학습자의 예측 정답률이 50% 이상 85% 미만인 경우, 상기 학습 문항에 대한 답변 소요시간의 소요 정도에 따라 상기 '맞출 수 있지만 틀린 문제' 또는 '상기 몰라서 틀린 문제'로 판별하는 것을 특징으로 한다.

여기서, 상기 학습자의 예측 정답률은 상기 학습 문항의 고유 난이도와 상기 학습자의 추정 능력치를 비교하여 산출하는 것을 특징으로 한다.

그리고, 상기 답변 소요시간의 소요 정도는 상기 학습자의 학습 문항에 대한 실제 답변 소요시간을 상기 학습자의 예측 답변 소요시간에 대한 추정치와 비교함으로써 결정하는 것을 특징으로 한다.

또한, 상기 예측 답변 소요시간은 상기 학습 문항에 대해 정답을 답변한 다른 학습자들의 상기 학습 문항에 대한 평균 답변 소요시간과 상기 학습자의 평균 답변 시간을 기준으로 추정하는 것을 특징으로 한다.

보다 구체적으로, 상기 학습 문항 분석 단계는 찍어서 맞은 것으로 예상되는 문제 판별 단계를 포함하고, 상기 찍어서 맞은 것으로 예상되는 문제 판별 단계는, 상기 학습 문항에 대한 답변 소요시간이 특정 시간보다 짧은 경우 상기 찍어서 맞은 것으로 예상되는 문제로 판별하는 것을 특징으로 한다.

다음으로, 상기 학습 제공 단계는 상기 학습 내용을 호(號) 별로 구분하여 제공하고, 상기 학습 정보 데이터화 단계에 의해 저장된 데이터 분석을 통해 상기 학습자가 학습할 다음 호의 학습시 예측 점수를 분석하는 예측 점수 분석 단계를 더 포함하며, 상기 예측 점수 분석 단계는, 상기 학습자의 지난 호의 점수 결과 유무를 확인하여 상기 지난 호의 점수 결과가 있는 경우, 상기 예측 점수 분석 단계는 상기 지난 호의 점수, 예측할 상기 다음 호의 난이도 및 상기 학습자의 퍼포먼스 예측 결과를 조합하여 상기 다음 호의 예측 점수를 분석하는 것을 특징으로 한다.

그리고, 상기 예측 점수 분석 단계에서 상기 지난 호의 점수는 복수의 지난 호의 점수가 반영되며, 상기 지난 호의 점수는 가중치를 부여하여 반영되되, 가장 최근 지난 호의 점수의 가중치가 다른 지난 호의 점수의 가중치보다 높게 설정하는 것을 특징으로 한다.

또한, 상기 학습자의 지난 호의 점수 결과 유무를 확인하여 상기 지난 호의 점수 결과가 없는 경우, 상기 예측 점수 분석 단계는 예측할 상기 다음 호의 난이도 및 상기 학습자의 퍼포먼스 예측 결과를 조합하여 상기 다음 호의 예측 점수를 분석하는 것을 특징으로 한다.

나아가, 상기 예측 점수 분석 단계는 상기 학습 정보 수신 단계에 의해 수신되는 정보에 의해 미리 정해진 학습자의 퍼포먼스에 해당하는 정보가 판별되면, 상기 예측 점수에 상기 학습자의 퍼포먼스 결과에 해당하는 값을 부가하여 상기 예측 점수를 산출하는 것을 특징으로 한다.

다음으로, 상기 학습 정보 데이터화 단계에 의해 데이터화된 정보 및 상기 학습 문항의 체감난이도 분석 단계 또는 상기 학습 습관 분석 단계 또는 상기 학습 문항 분석 단계 또는 상기 예측 점수 분석 단계에 의한 분석 결과를 이용하여, 학습자의 학습 결과에 대한 전체적인 평가를 도출하는 총평 도출 단계를 더 포함하고, 상기 총평 도출 단계는, 상기 학습자가 획득한 점수가 정상적인 범위를 벗어나는지 여부 또는 상기 학습자가 획득한 점수가 다른 학습자가 획득한 점수와 정상적인 범위를 벗어나는 차이가 있는지 여부 또는 상기 학습자가 획득한 점수가 상기 학습자의 능력치에 비해 정상적인 범위를 벗어나는지 여부를 판단하여, 판단 결과를 인사이트 메시지(insight message) 형태로 도출하는 것을 특징으로 한다.

또는, 상기 학습 정보 데이터화 단계에 의해 데이터화된 정보 및 상기 학습 문항의 체감난이도 분석 단계 또는 상기 학습 습관 분석 단계 또는 상기 학습 문항 분석 단계 또는 상기 예측 점수 분석 단계에 의한 분석 결과를 이용하여, 학습자의 학습 결과에 대한 전체적인 평가를 도출하는 총평 도출 단계를 더 포함하고, 상기 총평 도출 단계는, 상기 학습자가 학습 습관 개선시 추가 획득이 가능한 점수를 분석하여, 분석 결과를 인사이트 메시지(insight message) 형태로 도출하는 것을 특징으로 한다.

그리고, 상기 학습 정보 데이터화 단계에 의해 데이터화된 정보 및 상기 학습 문항의 체감난이도 분석 단계 또는 상기 학습 습관 분석 단계 또는 상기 학습 문항 분석 단계 또는 상기 예측 점수 분석 단계에 의한 분석 결과를 이용하여, 학습자의 학습 결과에 대한 전체적인 평가를 도출하는 총평 도출 단계를 더 포함하고, 상기 총평 도출 단계는, 풀이시간이 일정 이상이 소요되고, 체감난이도가 일정 이상인 학습 문항에 대한 정답 또는 오답 여부의 결과를 인사이트 메시지(insight message) 형태로 도출하는 것을 특징으로 한다.

본 발명의 빅데이터를 활용한 학습 코칭 방법에 의하면, 단순한 학습 정보 및 문제만을 제공하는 것이 아니라 동일한 학습 내용을 학습한 학습자들의 학습 정보를 빅데이터로 활용하여 제공함으로써 학습자에게 보다 바람직한 학습 코칭이 가능하게 한다.

특히, 학습자가 풀이하는 문항의 체감난이도에 대한 정보를 제공함으로써 학습자가 학습한 문항의 수준을 인지하여 학습을 진행할 수 있게 하여 학습자의 능력 향상에 도움을 준다.

제공되는 체감난이도는 문항에 대한 고유한 난이도만을 제공하는 것이 아니라 학습자별로 추정되는 능력치에 따라 결정함으로써, 개개인의 학습자에 보다 적합한 분석 정보를 제공하여 학습에 도움을 줄 수 있다.

학습자는 이러한 체감난이도 분석 정보에 의해 몰라서 틀린 문항인지, 아니면 맞출 수 있는데 틀린 문항인지를 용이하게 파악할 수 있어 그에 따라 추가 학습을 진행하거나 학습 태도를 개선함으로써 보다 실질적인 실력 향상이 가능하게 한다.

그리고, 학습자가 어떤 나쁜 학습 습관을 가지고 있는지에 대한 정보의 제공이 가능하게 한다.

그러므로, 학습자는 계속적인 학습을 통해서 나쁜 학습 습관에 관해 인지하고, 이를 바르게 고쳐나갈 수 있는 데 도움을 준다.

그리고, 학습자가 풀이한 문항에 대해서 보다 구체적으로 개선시킬 수 있는 정보를 제공함으로써 학습자가 단순한 문제 풀이에서 벗어나 학습 방법 및 습관에 대해 고민할 수 있게 하여 학습자의 진정한 실력 향상에 도움을 줄 수 있다.

또한, 매 과정을 학습해 나가는 데 있어서 올바른 습관을 형성할 수 있게 하며, 학습 태도를 하나씩 고쳐나감에 따라 다음 과정에서 획득할 수 있는 예측 점수가 상향되는 것을 통해 학습자가 꾸준한 학습을 유지할 수 있는 동기를 부여하고, 학업 성취도를 고취시켜 줄 수가 있다.

도 1은 본 발명에 의한 빅데이터를 활용한 학습 코칭 방법을 도시한 것이다.
도 2 내지 도 5는 본 발명의 빅데이터를 활용한 학습 코칭 방법의 일 단계를 보다 구체적으로 도시한 것이다.

본 발명과 본 발명의 동작상의 이점 및 본 발명의 실시에 의하여 달성되는 목적을 충분히 이해하기 위해서는 본 발명의 바람직한 실시 예를 예시하는 첨부 도면 및 첨부 도면에 기재된 내용을 참조하여야만 한다.

본 발명의 바람직한 실시 예를 설명함에 있어서, 본 발명의 요지를 불필요하게 흐릴 수 있는 공지의 기술이나 반복적인 설명은 그 설명을 줄이거나 생략하기로 한다.

도 1은 본 발명에 의한 빅데이터를 활용한 학습 코칭 방법을 도시한 것이고, 도 2 내지 도 5는 본 발명의 빅데이터를 활용한 학습 코칭 방법의 일 단계를 보다 구체적으로 도시한 것이다.

이하, 도 1 내지 도 5를 참조하여 본 발명의 일 실시예에 의한 빅데이터를 활용한 학습 코칭 방법을 설명하기로 한다.

본 발명에 의한 빅데이터를 활용한 학습 코칭 방법은 온라인 상으로 학습을 위한 정보를 제공하고, 온라인 상으로 접속한 이용자가 이를 통해 학습을 진행할 수 있도록 하는 서비스 제공 방법이다.

즉, 서비스 제공자는 인터넷 웹사이트 또는 스마트 기기를 통해 구현되는 어플리케이션을 통해서 학습 서비스를 제공하고, 해당 서비스의 이용자는 로그인 등의 절차를 통해 웹사이트나 어플리케이션에 접속하여 학습을 수행해 나갈 수 있도록 하는 것이다. 이러한 서비스 방법과 이용 방법에 대해서 널리 인식된 기술들에 대한 설명은 본 발명에서는 생략하도록 한다.

그리고, 본 발명에 의해 제공되는 학습은 일회성이기 보다는 일 단위, 주 단위, 월 단위 등의 주기에 따라 회차를 구분하여 적당한 학습량을 제공하여 학습자가 제공되는 진도에 맞게 학습을 수행해 나갈 수 있도록 제공된다.

본 발명은 이러한 학습 서비스의 제공에 그치는 것이 아니라 빅데이터를 활용하고, 학습자의 학습 내용을 분석함으로써 학습자의 학습과 관련된 다양한 정보를 분석한 결과를 학습자에 제공한다.

그러기 위해서, 학습 제공 단계, 학습 정보 수신 단계 및 학습 정보 데이터화 단계를 포함하고, 이러한 단계에 의해 수집된 정보를 통해 코칭을 위한 정보를 분석하여 전체적인 총평을 포함한 구체적인 분석 정보를 학습자에게 제공하는 것이다.

학습 제공 단계(S10)는 서비스에 접속한 학습자가 이용할 수 있는 학습 내용을 서비스 서버에 의해 온라인 상으로 제공한다.

학습 제공 단계(S10)에 의해 제공되는 학습 내용은 학습자가 풀이할 학습 문항이며, 그 외에 학습 컨텐츠도 포함한다.

학습 내용은 일정 주기마다 회차를 구분하여 제공될 수 있고, 각 회차에서 제공되는 학습 내용은 학습 문항과 함께 학습 컨텐츠가 포함되며, 학습 컨텐츠만 제공될 수도 있다.

학습 문항은 회차당 정해진 수와 난이도에 따른 복수의 학습 문항이 순차적으로 제공이 된다.

예를 들어, 10개의 문항이 일괄적으로 제공되어 학습자가 스크롤하며 풀이를 진행할 수도 있을 것이며, 하나 또는 둘 정도의 소량의 문항을 화면을 넘겨 가며 확인 가능하도록 제공하는 방식일 수 있다.

이에는 학습자가 문항에 대한 풀이를 위해 정답을 체크할 수 있는 수단이 함께 제공될 것이다.

그리고, 학습자가 나중에 풀기 위해서 제시된 문항을 건너뛰어 다른 문항을 먼저 풀이할 수 있도록 다음 문항의 선택이 가능한 수단도 제시가 된다. 단지 다음 페이지를 터치 입력 방식에 의해 선택되도록 할 수도 있을 것이다.

또한, 해당 회차의 전체 문항을 일괄적으로 채점할 수 있게 하거나, 한 페이지에 제공되는 문항마다 채점을 진행하도록 제공될 수도 있을 것이다.

학습 제공 단계(S10)에서는 학습자가 답변을 체크하고 채점을 선택하는 경우 채점에 의한 정답 또는 오답의 결과 또한 제공되게 한다.

한편, 오답인 경우에는 해당 문항에 대한 답변을 다시 할 수 있는 내용이 제공될 수도 있다.

그리고, 학습 컨텐츠는 해당 회차에서 알아야할 내용에 대한 강의의 텍스트나 영상 형식일 수 있으며, 각 문항에 대한 해설의 텍스트나 영상 또는 힌트 등일 수 있다.

이와 같은 학습 제공 단계(S10)에 의해 제공된 학습 내용 중 학습 문항에 대한 학습자의 답변이 있으면, 서비스 서버는 학습 정보 수신 단계(S20)에 의해 학습자의 답변을 수신하게 된다.

수신하는 학습 정보 또한 학습 문항에 대한 답변일 수 있으며, 학습 컨텐츠에 관한 결과물일 수 있다.

즉, 학습 문항에 대한 학습 정보는 해당 문항에 대한 학습자의 답변과 문항 제공시부터 답변까지의 소요 시간, 그리고 학습자의 답변이 오답이어서 재차 답변을 시도한 경우에는 답변 시도 횟수도 포함될 수 있다.

그리고, 학습 컨텐츠에 관한 결과물은 S10에서 제공된 학습 컨텐츠 내용을 이용하였는지 여부에 관한 것이다.

즉, 해당 회차에서 제공되는 강의, 해설, 힌트 등을 확인하였는지, 확인하지 않았는지에 관한 정보가 된다.

이와 같이 학습 정보 수신 단계(S20)에 의해 학습자의 학습 문항에 대한 답변과 학습 컨텐츠에 관한 결과물은 학습 정보 데이터화 단계(S30)에 의해 서비스 서버가 이를 데이터화한다.

학습자의 수는 온라인 서비스의 특성상 무한한 바, 학습 데이터화 단계(S30)에서는 수많은 학습자에 의한 학습 정보를 빅데이터화하고, 빅데이터화된 정보를 이용하여 학습자 코칭을 위한 정보들을 분석한다.

그리고, 분석된 각종 정보를 메인 정보 제공 단계(S60) 이하의 단계를 통해 학습자에 제공하게 된다.

학습자 코칭을 위한 정보 분석은 학습 문항의 체감난이도 분석 단계(S41), 학습 습관 분석 단계(S42), 학습 문항 분석 단계(S43), 예측 점수 분석 단계(S44) 및 총평 도출 단계(S50)에 의한다.

학습자의 체감난이도 분석 단계(S41)에서는 학습 정보 수신 단계(S20)에 의해 수신한 학습자의 학습 정보와 학습 정보 데이터화 단계(S30)에 의해 빅데이터화되어 보유하고 있는 정보에 의해 학습자가 풀이하는 학습 문항을 분석하여 학습자에게 도움이 될 수 있는 체감난이도를 분석하게 되며, 이는 학습 코칭을 위한 구체적인 분석 정보 중 하나에 해당될 수 있고, 분석된 체감난이도를 토대로 역으로 학습자의 해당 문항에 대한 정답률을 예측 분석할 수 있다.

학습자가 풀이하는 문항에 대한 학습자의 체감난이도는 문항의 고유 난이도 설정 및 학습자의 능력치의 추정을 통해 분석한다.

해당 문항의 고유 난이도는 학습 정보 데이터화 단계(S30)에 의해 데이터화된 정보를 통해 해당 문항이 속한 과목의 다른 문항에 대한 상대적인 난이도를 추정하는 것이다.

즉, 각각의 문항에 대한 전체 학습자의 정답률과 정답을 맞히기까지 소요된 답변 시도 횟수를 기준으로 하여 추정한다.

문항의 고유 난이도의 평균값은 0을 기준으로 하며, 전체 학습자의 정답률과 정답을 맞히기까지 소요된 답변 시도 횟수에 따라 (+) 또는 (-)로 보정함으로써 난이도를 추정하고, 범위는 ±4일 수 있다.

그리고, 학습자의 능력치는 평균값을 0으로 하여, 학습자가 복수의 문항에 대해 답변할 때마다 정답인지 오답인지에 따라 (+) 또는 (-)의 가중치를 부여함으로써 추정되고 범위는 ±4일 수 있다.

나아가, 정답 또는 오답에 따른 가중치는 가장 최근에 답변한 문항의 결과에 대해서 보다 높게 책정될 수가 있다.

문항에 대한 체감 난이도는 이러한 문항의 고유 난이도와 학습자 능력치를 비교함으로써 학습자가 해당 문항을 맞힐 확률로서 산출된다.

맞힐 확률은 예를 들어, 0에서 100까지의 범위를 가질 수 있으며, 맞힐 확률 즉, 예측 정답률은 체감 난이도가 높으면 낮아지고 체감 난이도가 낮으면 높아지게 된다.

예를 들어, 추정된 학습자의 능력치와 문항의 고유 난이도가 동일한 경우에 문항을 맞힐 확률을 50%로 하고, 학습자의 능력치가 문항의 고유 난이도보다 높으면 문항을 맞힐 확률은 50%보다 높고 학습자의 능력치가 문항의 고유 난이도보다 낮으면 문항을 맞힐 확률은 50%보다 낮은 것이 된다.

가령, 문항의 고유 난이도의 범위와 학습자 능력치의 범위를 ±4로 책정한 경우에 문항의 예측 정답률은 다음 표와 같이 산출될 수가 있다.

예측 정답률(%)		문항의 고유 난이도
		-4	-3	-2	-1	0	1	2	3	4
학습자 능력치	-4	50	37.5	25	12.5	0	0	0	0	0
	-3	62.5	50	37.5	25	12.5	0	0	0	0
	-2	75	62.5	50	37.5	25	12.5	0	0	0
	-1	87.5	75	62.5	50	37.5	25	12.5	0	0
	0	100	87.5	75	62.5	50	37.5	25	12.5	0
	1	100	100	87.5	75	62.5	50	37.5	25	12.5
	2	100	100	100	87.5	75	62.5	50	37.5	25
	3	100	100	100	100	87.5	75	62.5	50	37.5
	4	100	100	100	100	100	87.5	75	62.5	50

학습 습관 분석 단계(S42)에서는 학습 정보 수신 단계(S20)에 의해 수신한 학습자의 학습 정보와 학습 정보 데이터화 단계(S30)에 의해 빅데이터화되어 보유하고 있는 정보에 의해 해당 학습자의 학습 습관을 분석한다.

이는 예시적으로 도 2와 같은 6개의 분석 습관 내용이 있을 수 있으며, 이러한 학습 습관의 분석은 반드시 순차적인 것은 아니다.

찍기 행동 판별(S42-1)에서는 학습자가 해당 학습 문항을 지나치게 빠르게 답변하는 소위 "찍기" 행동에 해당하는지를 판별한다.

찍기 행동의 판별은 문항에 대한 정답 여부와 답변 소요 시간을 통해 판별하게 된다. 이는 대부분의 문항에서 답변 소요 시간이 특정 시간보다 짧을 경우에는 정답률이 급격히 떨어지기 때문이고, 그 특정 시간보다 답변 소요 시간이 짧은지 여부를 판단하여 그런 경우 해당 문항은 찍었을 확률이 매우 높은 것으로 판단하는 것이다.

답변 소요 시간과 비교하는 특정 시간은 각 문항마다 다르게 설정될 수 있다.

다만, 다음과 같은 경우에는 특정 시간을 1초로 판단한다.

먼저, 1초 내로 답변한 학습자들의 정답률이 일정 기준 이상 높은 경우이며, 이 경우에는 특정 시간보다 짧더라도 찍기 행동이 아닐 수 있으므로 1초를 특정 시간으로 판단하게 한다.

그리고, 해당 문항에 대한 학습자의 답변 정보가 일정한 양보다 작을 경우에도 특정 시간을 1초로 판단하여 찍기 행동으로 과도하게 분류되지 않게 한다. 이는 위와 같이 정답률이 매우 높은 경우의 문항일 수도 있기 때문이다.

다음, 건너뛰기 행동 판별(S42-2)에서는 해당 문항에 대해서 채점 수단에 의한 채점 없이 다음 문항으로 넘어간 경우를 판별하는 것이다.

즉, 문항의 일부를 빈 칸으로 남겨 두었거나, 아예 비워둔 채로 채점하지 않은 경우이고, 이를 학습 정보 수신 단계(S20)를 통해 판단하여 "건너뛰기" 행동으로 간주하는 것이다.

그 다음으로, 실패 후 건너뛰기 행동 판별(S42-3)에서의 "실패 후 건너뛰기(fail-skips)"는 다른 문항들을 틀린 후 바로 문제를 건너뛰는 행동이며, 이는 특히 부정적인 학습 습관에 해당한다.

즉, 학습자가 이전 문항의 채점 결과 오답이 확인되고, 바로 다음으로 제시되는 문항을 풀이 없이 건너뛰는 경우가 이에 해당하게 된다.

이전 문항과 바로 다음 문항의 기준은 커리큘럼 상 순서가 아닌 실제 풀이 순서이다.

즉, 해당 회차 내에서만 적용되는 것이 아니라 예를 들어 3일차의 마지막 문항을 틀린 후 2일차로 진입하여 첫 문항을 건너뛰었다면 이 또한 실패 후 건너뛰기에 해당하는 것이다.

다만, 다음의 경우에는 예외로서 실패 후 건너뛰기 행동을 간주하지 않는다.

학습자가 이전 문항을 틀리고 일정한 시간, 예를 들어 15분 이상 경과한 후에 다음 문항을 건너뛴 경우에는 실패 후 건너뛰기 행동으로 간주하지 않는다.

네 번째로, 재시도 안 함 행동 판별(S42-4)은 학습자가 문항 풀이에 틀린 후 해당 문항에 대한 답변을 다시 할 수 있는 내용이 제공되었음에도 재시도를 하지 않는 행동이 파악되면 이를 재시도 안 함 행동으로 판별한다. 이는 답변 시도 횟수를 통해 판별하게 된다.

그 다음으로, 강의 안 봄 행동 판별(S42-5)은 S10에서 제공되는 학습 내용의 학습 컨텐츠 중에 해당 회차에서 알아야할 내용에 대한 강의를 보지 않는 행동을 판별하는 것이며, 학습 정보 수신 단계(S20)에 의해 수신되는 학습자의 학습 컨텐츠 이용 여부에 대한 정보를 통해 판별하게 된다.

마지막으로, 학습 컨텐츠 안 봄 행동 판별(S42-6)은 S10에서 제공되는 학습 내용의 학습 컨텐츠 중에 각 문항에 대한 해설의 텍스트나 영상 또는 힌트 등을 안 본 경우를 판별하는 것이다.

답변이 정답인 경우에는 이 같은 행동으로 간주할 필요가 없으며, 학습자가 해당 문항을 2회 이상 틀린 후에도 해설이나 힌트를 안 보는 행동을 학습 컨텐츠 안 봄 행동으로 간주하는 것이다.

학습 문항 분석 단계(S43)에서는 학습 정보 수신 단계(S20)에 의해 수신한 학습자의 학습 정보와 학습 정보 데이터화 단계(S30)에 의해 빅데이터화되어 보유하고 있는 정보에 의해 학습자가 풀이한 학습 문항을 분석하여 학습자에게 도움이 될 수 있는 피드백 정보를 분석하게 된다.

학습 문항에 대한 분석은 도 3에서 참조되는 바와 같이, '맞출 수 있지만 틀린 문제 판별(S43-1)', '몰라서 틀린 문제 판별(S43-2)', '찍어서 맞은 것으로 예상되는 문제 판별(S43-3)'의 과정을 통해서 풀이한 각 문항이 S43-1 내지 S43-3에 해당하는지를 판별하게 되고, 이에 속하지 않는 문항은 미분류 문항으로 분류하게 된다.

S43-1 내지 S43-3의 판별 과정은 문항 분석의 순서를 의미하지는 않고, 각 프로세스에 의해서 각각 또는 전체적으로 판별이 이루어질 수 있다.

맞출 수 있지만 틀린 문제 판별(S43-1)과 몰라서 틀린 문제 판별(S43-2)은 학습 정보 수신 단계(S20)에 의해 해당 문항의 정답/오답 여부와 답변 소요시간을 수신 하여, 해당 문항이 오답인 경우에 학습자의 예측 정답률과 예측 풀이시간을 기준으로 학습자가 모를 확률이 높은 문항인지 실수 등으로 인해서 맞출 수 있으나 틀렸는지를 판별하게 된다.

S43-1에서는 학습자의 해당 문항에 대한 예측 정답률이 85% 이상인지를 판단하고, 예측 정답률이 85% 이상인데 오답인 경우에는 '맞출 수 있지만 틀린 문제'로 판별한다.

반면, S43-2에서는 학습자의 해당 문항에 대한 예측 정답률이 50% 미만인지를 판단하고, 예측 정답률이 50% 미만인데 오답인 경우에는 '몰라서 틀린 문제'로 판별한다.

다만, 학습자의 해당 문항에 대한 예측 정답률이 50% 이상 85% 미만인 경우에는 예측 정답률과 함께 답변 소요시간의 정도를 기준으로 달리 판단하게 된다.

즉, 학습자의 실제 답변 소요시간의 정도가 빠른지, 느린지, 중간 정도인지를 판단하여 판별하게 된다.

그래서, 예측 정답률이 50% 이상 85% 미만인데 답변 소요시간이 느리지 않은, 빠르거나 중간 정도인 경우에는 S41에 의해 '맞출 수 있지만 틀린 문제'로 판별하게 된다.

그리고, 예측 정답률이 50% 이상 85% 미만인데 답변 소요시간이 빠른 경우에는 S43-2에 의해 '몰라서 틀린 문제'로 판별하게 된다.

이상의 S43-1 및 S43-2의 판별 기준이 되는 예측 정답률과 예측 답변 소요시간을 설명하기로 한다.

학습자의 예측 정답률은 학습자가 해당 문항을 맞힐 것으로 예상되는 확률을 이르며, 이는 학습 문항의 체감난이도 분석 단계(S41)에서 앞서 설명된 체감 난이도와 상반되는 개념이 된다.

결과적으로 표 1과 같이 산출되는 예측 정답률에 따라서 S43-1 또는 S43-2에서 해당 여부를 판별하게 된다.

다음으로, 예측 답변 소요시간은 학습자의 해당 문항에 대한 답변의 스피드 정도를 빠르거나, 느리거나 중간 정도로 구분하고, 그에 따라서 S43-1 또는 S43-2에서 해당 여부를 판별하게 된다.

학습자의 해당 문항에 대한 답변의 스피드 정도는 학습자의 실제 답변 소요시간을 학습자의 예측 답변 소요시간과 비교함으로써 결정된다.

즉, 학습자의 실제 답변 소요시간이 예측 답변 소요시간보다 표준편차 상 1.28보다 높은 구간에 위치하면서 다른 90%의 학습자보다 긴 경우를 느림 정도로 판단한다.

그리고, 학습자의 실제 답변 소요시간이 예측 답변 소요시간보다 표준편차 상 1.28보다 낮은 구간에 위치하면서 다른 90%의 학습자보다 짧은 경우를 빠름 정도로 판단한다.

느림과 빠름에 해당하지 않는 정도가 중간에 해당하는 스피드 정도가 된다.

학습자의 실제 답변 소요시간은 학습자가 문항에 첫 번째로 답변하였을 때 실제로 걸린 시간이 된다.

그러나, 학습자는 해당 문항을 뷰어 등을 통해 확인하고 즉시 답변하지 않고 다른 문항에 대해 먼저 답변할 수가 있으며, 이러한 행위를 수차례 반복할 수도 있다.

그러한 경우에는 해당 문항이 제시된 화면에 머무른 시간 중 가장 긴 시간을 학습자의 실제 답변 소요시간으로 한다.

학습자의 예측 답변 소요시간은 학습자가 해당 문항을 풀이할 때 소요될 것으로 예상되는 시간이며, 이는 문항마다 다를 수 있고, 학습자마다 다를 수 있는 시간이다.

이러한 학습자의 예측 답변 소요시간은 해당 문항에 대해 정답을 답변한 다른 학습자들의 해당 문항에 대한 평균 답변 소요시간을 기반으로 해당 학습자가 계속적으로 문항에 대해 답변한 결과를 통한 평균 답변 시간을 조합하여 값을 추정한다.

다음으로는, S43-1과 S43-2 외에 '찍어서 맞은 것으로 예상되는 문제 판별(S43-3)'의 판별 방법을 살펴본다.

비록 학습자의 답변이 정답이라 할지라도 학습자가 조금이라도 생각할 시간을 가졌으리라고 판단되지 않는 시간 안에 답한 경우에 '찍어서 맞은 것으로 예상되는 문제'로서 판별한다.

찍기 행동의 판별은 문항에 대한 답변 소요시간을 기준으로 판별하게 된다. 이는 대부분의 문항에서 답변 소요 시간이 특정 시간보다 짧을 경우에는 정답률이 급격히 떨어지기 때문이고, 그 특정 시간보다 답변 소요시간이 짧은지 여부를 판단하여 그런 경우 해당 문항은 찍었을 확률이 매우 높은 것으로 판단하는 것이다.

답변 소요시간과 비교하는 특정 시간은 각 문항마다 다르게 설정될 수 있다.

다만, 다음과 같은 경우에는 특정 시간을 1초로 판단한다.

먼저, 1초 내로 답변한 학습자들의 정답률이 일정 기준 이상 높은 경우이며, 이 경우에는 특정 시간보다 짧더라도 찍기 행동이 아닐 수 있으므로 1초를 특정 시간으로 판단하게 한다.

그리고, 해당 문항에 대한 학습자의 답변 정보가 일정한 양보다 작을 경우에도 특정 시간을 1초로 판단하여 찍기 행동으로 과도하게 분류되지 않게 한다. 이는 위와 같이 정답률이 매우 높은 경우의 문항일 수도 있기 때문이다.

또한, S43-1 내지 S43-3에 의해 판별되지 않고 미분류로 처리되는 문항의 경우는 해당 문항의 전체 정답자가 기준 수치에 미달하는 경우에 해당한다.

예를 들어, 정답자가 10면 미만의 문항에 대해서는 예측 정답률 및 예측 답변 소요시간이 추정될 수 없기 때문이다.

예측 점수 분석단계(S44)에서는 학습 정보 수신 단계(S20)에 의해 수신한 학습자의 학습 정보와 학습 정보 데이터화 단계(S30)에 의해 빅데이터화되어 보유하고 있는 정보에 의해 학습자가 학습한 지난 호의 정보와 현재 학습하는 해당 호의 정보를 토대로 다음에 학습할 다음 호의 학습시 예측 점수를 분석한다.

도 4는 예측 점수 분석단계(S44)의 세부적인 단계를 나타낸 것이다.

먼저, 다음 호의 예측 점수의 분석은 지난 호의 점수 결과가 있는지 없는지에 따라 분석 방법이 달라지는 바, 지난 호 점수 유무를 먼저 확인한다(S44-1).

예측 점수의 분석은 S44-1의 확인 결과, 지난 호의 점수가 있는 경우에는 학습자 퍼포먼스 예측 + 다음 호 난이도 + 절편 + 지난 호 점수*보정값 으로 산출한다(S44-2).

그리고, S44-1의 확인 결과, 지난 호의 점수가 없는 경우에는 학습자 퍼포먼스 예측 + 다음 호 난이도 + 절편으로 산출한다.

나아가, 지난 호 점수 유무의 확인은 지난 1개의 호의 점수 결과보다는 직전 복수 개의 점수일 수 있다.

본 발명의 실시예에서는 직전 3개의 혹의 점수 유무를 확인하고, 그에 따라 S44-2와 S44-3을 통해 산출하는 것을 예시한다.

지난 3개의 호의 점수가 존재하는 경우에 S44-2는 다음과 같이 수정된다.

즉, 학습자 퍼포먼스 예측 + 다음 호 난이도 + 절편 + 직전 지난 호 점수*보정값1 + 두 번째 지난 호 점수*보정값2 + 세 번째 지난 호 점수*보정값3 으로 산출하게 된다.

S44-2 및 S44-3의 산출에서 절편과 보정값1, 보정값2, 보정값3은 회귀분석에 의한 계수로서, 실제 값들의 가중치를 적절히 보정하여 원하는 결과를 산출해주는 역할을 한다.

여기서, 예측할 다음 호의 난이도의 추정값은 S30에 의해 데이터화된 해당 호를 이미 학습한 다른 학습자들의 해당 호의 점수 결과의 평균값으로 추정된다.

나아가, 본 발명의 목적에 부합할 수 있게 해당 호를 이미 학습한 다른 학습자들의 해당 호의 평균 점수 값을 낮추는 마이너스 보정을 한 값을 다음 호의 난이도로 추정할 수 있다.

그리고, 지난 호의 점수는 해당 학습자가 학습한 지난 호의 점수 결과에 해당하고, 적절한 결과의 도출을 위해 지난 각 호의 점수에 가중치를 부여하여 산출한다.

나아가, 보정값1, 보정값2, 보정값3은 각각 다르게 설정될 수 있으며, 가장 최근 호일수록 높음 비중으로 예측 점수에 반영될 수 있도록 보정값1, 보정값2, 보정값3의 순으로 크게 설정될 수 있다.

다음으로, 이상의 예측 점수에 학습자 퍼포먼스 예측 값을 추가로 반영하며, 학습자의 퍼포먼스(행동 패턴) 예측 값은 각 호의 각 일차 학습마다 파악하여 반영하는 값이다.

이는 학습자가 각 일차의 문항을 풀이하는 데 있어 학습에 좋지 않은 행동이 있는지를 파악하고, 그러한 행동이 개선되면 예측 점수가 올라갈 수 있으므로 이러한 가정 하에 (+) 점수를 보정하는 것이다.

이는 현재 학습하는 해당 학습의 각 호의 일차마다 예측 점수에 반영하여 해당 호의 학습이 종료될 때까지 계속적으로 수정될 수 있는 값이 된다.

예측 점수 분석 단계(S44)에서는 학습 정보 수신단계(S20)에 의해 수신된 학습 정보를 통해서 그러한 퍼포먼스가 있었는지를 분석하며, 분석하는 퍼포먼스는 다음과 같이 예시할 수 있다.

(1) 문제를 건너뛰었을 경우

문제를 건너뛰는 행동은 해당 학습 문항에 대해서 채점 수단에 의한 채점 없이 다음 문항으로 넘어간 경우에 해당한다.

즉, 문항의 일부를 빈 칸으로 남겨 두었거나, 아예 비워둔 채로 채점하지 않은 경우이고, 이를 학습 정보 수신 단계(S20)를 통해 문제를 건너뛰는 행동 여부를 파악하여, 그러한 행동이 없을 경우를 가정하여 그 수만큼 (+) 점수를 산출하여 예측 점수에 부가하는 것이다.

(2) 문제에 빈 칸을 남기고 채점한 경우

문제에 빈 칸을 남기고 채점한 행동은 각 일차의 학습 문항 중 답변 없이 채점 수단에 의해 채점한 경우이고, 이를 학습 정보 수신 단계(S20)를 통해 파악하여, 그러한 행동이 없을 경우를 가정하여 그 수만큼 (+) 점수를 산출하여 예측 점수에 부가하는 것이다.

(3) 앞 문제를 틀리고 뒤에 나온 문제를 틀렸을 경우

앞 문제를 틀리고 뒤에 나온 문제를 틀렸을 경우는 문항을 연속적으로 틀린 것에 해당하고, 단순히 몰라서 틀린 경우도 있으나 집중력이 부족하거나 맞추고자 하는 의지보다 대충 답변하는 경우도 있으므로, 이 같은 행동을 줄이면 다음 호의 점수가 상향될 수 있다고 보는 것이다.

그래서, 이를 학습 정보 수신 단계(S20)를 통해 파악하여, 그 수만큼 (+) 점수를 산출하여 예측 점수에 부가하는 것이다.

(4) 난이도가 높은 문제 또는 평균 답변 소요시간이 긴 문제를 너무 빨리 풀었을 경우

학습 문항에는 S30에서 데이터화된 고유의 추정된 난이도가 존재한다. 해당 문항의 고유 난이도가 일정 이상인데, 해당 문항에 대한 답변 소요 시간이 기준 시간보다 짧은 경우인지를 파악한다.

그리고, 해당 문항에 대해 전체 학습자가 답변한 평균 답변 소요시간이 존재하며, 해당 문항의 답변 소요시간이 평균 답변 소요시간보다 짧은 경우인지를 파악한다.

그래서, 그와 같이 판단되면 이러한 행동이 없는 경우에 점수가 상향된다는 가정 하에 그 수만큼 (+) 점수를 산출하여 예측 점수에 부가하는 것이다.

(5) 쉬운 문제를 너무 느리게 풀었을 경우

앞서 설명한 체감 난이도가 일정 기준보다 낮은 경우에 해당 문항에 대한 답변 소요 시간이 기준 시간보다 긴 경우를 파악하고, 이 같은 행동이 파악되면 그 수만큼 (+) 점수를 산출하여 예측 점수에 부가하는 것이다.

이 또한 단순히 몰라서 답변 소요 시간이 긴 경우보다 집중력이 부족하거나 학습 의지가 약했던 상태인 경우가 보다 많기 때문에, 이러한 행동을 줄이면 예측 점수가 상향될 수 있는 것으로 판단하는 것이다.

(6) 개념 강의나 해설 영상을 스킵한 경우

학습 내용의 학습 컨텐츠 중에는 해당 일차에서 알아야할 내용에 대한 강의가 존재한다. 또한, 학습 내용의 학습 컨텐츠 중에는 각 문항에 대한 해설의 텍스트나 영상 또는 힌트 등이 존재한다.

이러한 학습 컨텐츠의 활용 여부를 파악하고, 이를 활용하지 않고 틀린 경우를 파악하여 그 수만큼 (+) 점수를 산출하여 예측 점수에 부가하는 것이다.

그러한 학습 컨텐츠를 활용한다면 예측 점수가 상향될 수 있는 것으로 판단되기 때문이다.

(7) 어려운 문제 또는 평균 답변 소요 시간이 긴 문항을 틀리고 다시 풀지 않은 경우

이는 학습자가 문항 풀이에 틀린 후 해당 문항에 대한 답변을 다시 할 수 있는 내용이 제공되었음에도 재시도를 하지 않는 행동이 파악되는 경우이며, 이 경우에도 그 수만큼 (+) 점수를 산출하여 예측 점수에 부가하는 것이다.

이상의 S41 내지 S44에 의해 분석된 정보는 후술한 S81 내지 S84를 통해 학습자에게 제공되고, 또한 구체적인 정보 외에 보다 직관적이고 간결한 총평 또한 총평 제공 단계(S70)에 의해 메시지 형태로 제공하게 된다.

총평 도출 단계(S50)는 S41 내지 S44의 분석 결과를 종합적으로 분석하여 총평 제공 단계(S70)에서 제공하게 될 전체적인 평가 내용을 담을 총평 메시지 정보를 도출하는 것이다.

도출하는 총평은 도 5의 예시와 같이 4개의 인사이트(insight)로 분류되고, 이러한 인사이트의 분류는 반드시 순서를 의미하는 것은 아니다.

S51에서 도출하는 어치브먼트 인사이트(achievement insight)는 학습한 "호"의 점수를 분석한 해석 결과를 담고 있는 인사이트로서, 메시지 형태로 제공되는 것이다.

어치브먼트 인사이트는 학습 결과 점수를 학습자의 능력치와 비교하여 보여준다.

메시지 내용은 미리 정해진 양식에 따라 구체적인 문장으로 제시되고, 예시적으로 다음 9개의 인사이트로 분류될 수 있다.

그리고, 이렇게 분류되는 인사이트에 대해서는 아래 표와 같은 랭킹(우선순위)이 부여될 수 있고, 학습자의 어치브먼트를 분석한 결과에 대한 인사이트 중 부여된 랭킹이 높은 인사이트를 대상으로 학습자에게 제공되게 할 수 있다.

이러한 랭킹은 드물게 발생하는 것일수록 높게 책정하는 것이 바람직하다. 예를 들어, 예측범위 내의 점수를 획득한 경우는 자주 발생하게 되므로 우선순위가 낮고, 예상치 못한 점수를 획득하는 경우는 드물게 발생하는 경우이므로 우선순위가 높게 책정이 된다.

랭킹	인사이트
1	학습자가 지금까지 여러 주 동안 학습을 진행해 오면서 보여주었던 학습 패턴에 큰 폭으로 변화가 생긴 경우 (예:계속해서 회원 평균보다 높은 점수를 받다가 갑자기 최근 3주 정도 점수가 낮아졌을 때)
2	학습자가 지금까지 여러 주 동안 학습을 진행하며 예측한 만큼의 성취도를 보이고 있는 경우 (예:최근 3주 이상 예측했던 것과 비슷하게 다른 회원보다 점수가 높거나 낮았을 때)
3	학습자가 최근 몇 주간 다른 학습자에 비해 점수가 높거나 낮은 성취도를 보이는 경우
4	학습자가 문항의 난이도에 비해 예상치 못한 높거나 낮은 점수를 받았을 때 (예:이번 호에 어려운 문제가 많았음에도 불구하고 높은 점수를 받음)
5	학습자가 예상치 못한 높거나 낮은 점수를 받았을 때
6	학습자의 점수가 다른 학습자에 비해 높거나 낮을 때
7	0점 혹은 100점을 받은 경우
8	학습자가 문항의 난이도에 따른 예측 점수와 유사한 점수를 받았을 때
9	별다른 점수의 특이사항이 없을 때

다음, S52에서 도출하는 스테이터스 인사이트(status insight)는 학습자가 학습한 학습 내용을 분석한 해석 결과를 담고 있는 인사이트로서, 메시지 형태로 제공되는 것이다.

스테이터스 인사이트는 학습자가 순차적으로 지금까지 학습한 문항의 수, 학습이 완료된 일차 및 목차 정보 등을 보여준다.

메시지 내용은 미리 정해진 양식에 따라 구체적인 문장으로 제시되고, 예시적으로 다음 6개의 인사이트로 분류될 수 있다.

그리고, 이렇게 분류되는 인사이트에 대해서는 아래 표와 같은 랭킹(우선순위)이 부여될 수 있고, 학습자의 스테이터스를 분석한 결과에 대한 인사이트 중 부여된 랭킹이 높은 인사이트를 대상으로 학습자에게 제공되게 할 수 있다.

랭킹	인사이트
1	개념강의를 하나도 학습하지 않은 경우
2	2개 이상의 일차 학습을 진행했으나, 중간에 빠뜨린 일차가 있는 경우
3	2개 이상의 일차 학습을 진행했으나, 문항 학습을 하나도 하지 않은 경우
4	일차 학습을 잘 해 나가고 있는 경우
5	일차 완료 상태와 문항 목차/개념 목차 완료 상태에 따른 상태 메시지
6	학습자가 호 학습을 이제 막 시작한 경우

세 번째로, S53에서 도출하는 비해이비어 인사이트(behavior insight)는 학습자의 학습 결과 고쳐야 할 습관이 발견되었을 때 도출되는 인사이트로서, 메시지 형태로 제공되는 것이다.

비해이비어 인사이트는 학습 습관 분석 단계(S42)에 의해 분석된 결과를 대상으로 하여 각각의 나쁜 습관에 대해서 그러한 습관을 보이지 않은 다른 학습자의 점수 결과와 비교한 결과를 보여준다. 예를 들어, "문제를 건너뛰지 않은 회원들은 그렇지 않은 회원들보다 테스트 점수가 평균 13점이 더 높게 나타나고 있습니다"라는 결과를 제시하게 된다.

그러한 나쁜 습관이 분석되지 않은 경우에는 비해이비어 인사이트는 도출되지 않으며, 다른 종류의 나쁜 습관들이 복수로 발생한 경우에는 그 중 위 예시와 같이 특정한 잘못된 습관을 보이지 않았다면 더 받을 수 있었던 개선점수의 값이 가장 높은 습관에 대해 인사이트로 도출하게 된다.

개선점수는 각각의 나쁜 습관에 대해서 그러한 습관을 보이지 않은 다른 학습자의 점수의 평균과 발생한 해당 습관의 횟수의 곱으로 계산된다.

각 습관의 개선점수에 대해서는 다음과 같은 기준에 의해서 랭킹을 부여하여 이러한 랭킹에 따라 랭킹이 높은 인사이트를 도출하게 된다.

1) 최저 : 개선점수 ＜ 3.7점

2) 보통 : 3.7점 ≤ 개선점수 ＜ 9점

3) 최고 : 9점 ≤ 개선점수

마지막으로, S54에서 도출하는 콤보 인사이트(combo insight)는 문항의 난이도와 답변시간 및 정오답 여부에 따라 도출되는 인사이트로서, 메시지 형태로 제공되는 것이다.

콤보 인사이트는 학습 문항에 대한 답변 소요시간이 특정한 기준보다 오래 걸린 경우를 대상으로 하며, 다양성 및 중요도를 고려하여 다음과 같이 부여된 랭킹에 따라 랭킹이 높은 인사이트를 도출한다.

1) 드물고 특별한 케이스 (예:시간이 오래 걸렸지만 어려운 문제를 잘 맞힘)

2) 드물지는 않으나 특별한 케이스 (예:시간인 오래 걸렸지만 어려운 문제를 60% 정도 맞힘)

3) 특별하지 않은 케이스 (예:시간이 오래 걸렸지만 어려운 문제를 틀림)

나아가, 비해이비어 인사이트와 콤보 인사이트는 둘 중에 선택된 하나의 인사이트만 도출되게 할 수도 있다.

즉, 비해이비어 인사이트와 콤보 인사이트는 발생하지 않을 수 있는 인사이트이며, 둘 다 발생한 경우에는 양 자간 랭킹이 높은 경우만을 제공할 수 있다. 즉, 비해이비어 인사이트의 '최고'의 경우와 콤보 인사이트의 2)번의 경우가 도출된 경우에는 비해이비어 인사이트만 제공하고, 비해이비어 인사이트의 '보통'의 경우와 콤보 인사이트의 1)번의 경우가 도출된 경우에는 콤보 인사이트만 제공되게 할 수 있다.

그리고, 비교 결과 '최고'과 1)번이 경합하는 것과 같이 랭킹이 동일한 경우에는 각 인사이트에 해당된 문항의 수가 더 많은 인사이트를 선정하여 제공할 수도 있다.

이상에서 설명한 S41 내지 S44 및 S50에 의해 학습자의 학습에 대해 코칭할 정보의 분석이 완료되면, S60 내지 S84를 통해 분석 결과들을 학습자가 활용할 수 있도록 제공하고, 학습자는 서비스서버에 의해 제시되는 이러한 분석 정보를 화면 등의 표시장치를 통해서 인지가 가능하고, 학습을 직접 지도하는 교수자나 학부모 또한 이러한 정보에 의해 학습자를 코칭하는 데 도움을 주게 된다.

그리고, S60 내지 S84를 통한 분석 정보의 제공은 각각의 단계별로 구분되어 화면 등을 통해 제시되게 할 수 있으며, 전체 단계가 종합적으로 한 페이지의 화면을 통해 제시되게 할 수도 있을 것이며, 일부의 단계들로 구분되어 한번에 확인되도록 표시할 수 있을 것이다.

먼저, 메인 정보 제공 단계(S50)를 통해 일반적인 내용들에 대한 정보를 제공한다. 즉, 각 호별 또는 일차별 학습의 완료율 및 학습 현황에 관한 정보, 그리고 예측점수 대비 실제 획득 점수 등이 될 수 있다.

그리고, 총평 제공 단계(S70)에서는 앞서 총평 도출 단계(S50)에 의해 도출된 인사이트를 제공하게 된다.

제공되는 인사이트는 여러 타입으로 분류될 수 있으며, 각 타입별로 랭킹에 따라 제공되는 인사이트가 결정될 수 있고, 인사이트는 학습자가 인식하기 용이한 메시지 형태의 문구로 제시하게 된다.

예를 들어, 표 2의 랭킹 3에 해당하는 것으로, 학습자가 최근 완료한 2개의 과정테스트에서 다른 학습자에 비해 높은 점수를 받았을 경우에, "칭찬해주세요! 김웅진 회원이 지난 3개의 호에서 우리가 예측한 점수보다 무척 높은 점수를 받으면서 꾸준히 예상을 뛰어넘고 있어요. 최근 과정 테스트에서는 우리가 예측한 89점이 아닌 91점을 기록하였습니다."와 같은 미리 정해진 양식의 메시지가 제공될 수 있다. 이러한 메시지는 학습자에 대한 메시지와 교수자나 학부모에 대한 메시지를 다르게 설정할 수도 있다.

다음, 체감난이도 분석 정보 제공 단계(S81)에 의해 학습 문항의 체감난이도 분석 단계(S41)에 의해 분석한 결과를 통해 학습한 전체 호나 일차별 과정테스트의 전체 또는 문항별 체감난이도 정보를 제공하게 되고, 이러한 체감난이도는 단순히 문제의 고유한 난이도만을 미리 설정하여 산출되는 값이 아닌 학습자의 실제 학습 행동 및 결과가 반영이 되며, 개선되는 학습 행동 및 결과가 반영되어 계속적으로 변경되기 때문에 학습자별 보다 정확한 분석 정보가 될 수 있다.

그 결과, 학습자가 풀이한 학습 문항이 체감난이도가 낮아서 '맞출 수 있지만 틀린 문제'에 해당하는지, 체감난이도가 높아서 '몰라서 틀린 문제'에 해당하는지를 보다 정확하게 인지할 수 있어 학습자 스스로, 또는 교수자나 학부모에 의해 학습 문항의 풀이 후의 학습 방법 및 학습 태도 개선에 활용될 수가 있다.

다음의 학습 습관 정보 제공 단계(S50)에 의해서는 학습 습관 분석 단계(S42)에 의해 분석된 모든 학습 습관에 대한 정보가 제공될 수도 있을 것이며, 또는 가장 많은 횟수를 기록하는 학습 습관만을 제공하여 순차적으로 바로잡는 데 도움을 줄 수도 있을 것이다. 이 단계는 총평 제공 단계(S70)에 의해 비해이비어 인사이트의 제공과 통합될 수도 있을 것이며, 또는 학습 습관 정보 제공 단계(S50)에서는 별도로 보다 상세한 분석 정보를 제공할 수도 있을 것이다.

그리고, 습관 별로 판별된 횟수가 같은 경우에는 미리 정해진 우선 순위에 따라 우선 순위가 높은 습관이 우선하여 제공되도록 할 수 있다.

일 예로 우선 순위는 다음과 같이 정해질 수 있다.

1) 건너뛰기 행동 2) 찍기 행동 3) 재시도 안 함 행동 4) 강의 안 봄 행동 5) 학습 컨텐츠 안 봄 행동 6) 실패 후 건너뛰기 행동

그리고, 학습 문항 분석 정보 제공 단계(S83)는 학습 문항 분석 단계(S43)에 의해 분석된 학습 문항에 대해 학습한 결과를 각 문항마다 또는 전체 문항 중 해당 문항의 횟수 등이 표시되도록 제공하고, 예측점수 분석 정보 제공 단계(S84)를 통해서는 예측 점수 분석 단계(S44)의 분석 결과에 따른 학습자의 다음 학습 내용에 대한 예측 점수를 제공하게 된다.

이상과 같은 본 발명은 예시된 도면을 참조하여 설명되었지만, 기재된 실시 예에 한정되는 것이 아니고, 본 발명의 사상 및 범위를 벗어나지 않고 다양하게 수정 및 변형될 수 있음은 이 기술의 분야에서 통상의 지식을 가진 자에게 자명하다. 따라서 그러한 수정 예 또는 변형 예들은 본 발명의 특허청구범위에 속한다 하여야 할 것이며, 본 발명의 권리범위는 첨부된 특허청구범위에 기초하여 해석되어야 할 것이다.

S10 : 학습 제공 단계
S20 : 학습 정보 수신 단계
S30 : 학습 정보 데이터화 단계
S41 : 학습 문항의 체감난이도 분석 단계
S42 : 학습 습관 분석 단계
S43 : 학습 문항 분석 단계
S44 : 예측 점수 분석 단계
S50 : 총평 도출 단계
S60 : 메인 정보 제공 단계
S70 : 총평 제공 단계
S81 : 체감난이도 분석 정보 제공 단계
S82 : 학습 습관 정보 제공 단계
S83 : 학습 문항 분석 정보 제공 단계
S84 : 예측점수 분석 정보 제공 단계

Claims (49)

1. 서비스 서버에 접속한 학습자가 이용할 수 있는 학습 문항을 포함한 학습 내용을 온라인 상으로 제공하는 학습 제공 단계;
   상기 학습 문항에 대한 학습자의 답변 내용을 포함하는 학습 정보를 수신하는 학습 정보 수신 단계;
   상기 학습 정보 수신 단계에 의해 수신된 정보를 데이터화하는 학습 정보 데이터화 단계;
   상기 학습 정보 데이터화 단계에 의해 저장된 데이터 분석을 통해 해당 학습자가 풀이하는 학습 문항의 체감난이도를 분석하는 학습 문항의 체감난이도 분석 단계; 및
   상기 학습 정보 데이터화 단계에 의해 저장된 데이터 분석을 통해 해당 학습자의 학습 습관에 대한 정보를 분석하는 학습 습관 분석 단계를 포함하는,
   빅데이터를 활용한 학습 코칭 방법.
2. 청구항 1에 있어서,
   상기 학습 문항의 체감난이도 분석단계는,
   상기 학습 문항의 고유 난이도와 상기 학습자의 추정 능력치를 비교하여 상기 체감난이도를 산출하는 것을 특징으로 하는,
   빅데이터를 활용한 학습 코칭 방법.
3. 청구항 2에 있어서,
   상기 학습 문항의 체감난이도 분석단계에서 상기 고유 난이도는 상기 해당 문항에 대한 전체 학습자의 정답률과 정답을 맞히기까지 소요된 답변 시도 횟수를 기준으로 추정하는 것을 특징으로 하는,
   빅데이터를 활용한 학습 코칭 방법.
4. 청구항 3에 있어서,
   상기 학습 문항의 체감난이도 분석단계의 상기 학습자의 추정 능력치는 상기 학습자가 복수의 학습 문항에 대해 답변함에 따른 정답 또는 오답에 따른 가중치를 부여함으로써 추정하는 것을 특징으로 하는,
   빅데이터를 활용한 학습 코칭 방법.
5. 청구항 4에 있어서,
   상기 학습 문항의 체감난이도 분석단계는,
   상기 학습 문항의 고유 난이도가 상기 학습자의 추정 능력치보다 높으면 상기 학습 문항의 체감난이도가 50%보다 높은 것으로 판별하고, 상기 학습 문항의 고유 난이도가 상기 학습자의 추정 능력치보다 낮으면 상기 학습 문항의 체감난이도가 50%보다 낮은 것으로 판별하는 것을 특징으로 하는,
   빅데이터를 활용한 학습 코칭 방법.
6. 청구항 2에 있어서,
   상기 학습 습관 분석 단계는 찍기 행동 판별 단계를 포함하고,
   상기 찍기 행동 판별 단계는,
   상기 학습 정보 수신 단계의 학습 정보 중 학습 문항에 대한 답변 소요 시간이 특정 시간보다 짧은 경우 "찍기" 행동으로 판별하는 것을 특징으로 하는,
   빅데이터를 활용한 학습 코칭 방법.
7. 청구항 2에 있어서,
   상기 학습 제공 단계는 학습 문항에 대한 채점 결과를 제시하는 채점 수단 및 다음 문항으로 건너뛸 수 있는 수단이 제공되고,
   상기 학습 습관 분석 단계는 건너뛰기 행동 판별 단계를 포함하되,
   상기 건너뛰기 행동 판별 단계는,
   상기 학습 정보 수신 단계의 학습 정보 중 상기 채점 수단을 사용하지 않고 다음 문항으로 넘어간 경우 "건너뛰기" 행동으로 판별하는 것을 특징으로 하는,
   빅데이터를 활용한 학습 코칭 방법.
8. 청구항 7에 있어서,
   상기 학습 습관 분석 단계는 실패 후 건너뛰기 행동 판별 단계를 포함하되,
   상기 실패 후 건너뛰기 행동 판별 단계는,
   상기 학습 문항에 대한 채점 결과가 오답이며, 다음 학습 문항을 풀이 없이 건너뛴 경우 "실패 후 건너뛰기" 행동으로 판별하는 것을 특징으로 하는,
   빅데이터를 활용한 학습 코칭 방법.
9. 청구항 2에 있어서,
   상기 학습 제공 단계는 학습 문항에 대한 채점 결과를 제시하는 채점 수단과 상기 채점 결과 오답인 경우 답변을 다시 할 수 있는 재시도 수단이 제공되고,
   상기 학습 습관 분석 단계는 재시도 안 함 행동 판별 단계를 포함하되,
   상기 재시도 안 함 행동 판별 단계는,
   상기 학습 문항에 대한 채점 결과가 오답이며, 상기 재시도 수단에 의한 재답변을 시도하지 않은 경우 "재시도 안 함" 행동으로 판별하는 것을 특징으로 하는,
   빅데이터를 활용한 학습 코칭 방법.
10. 청구항 2에 있어서,
    상기 학습 내용은 학습할 내용에 대한 강의 자료를 포함하고,
    상기 학습 습관 분석 단계는 강의 안 봄 행동 판별 단계를 포함하되,
    상기 강의 안 봄 행동 판별 단계는,
    상기 학습자가 상기 강의 자료를 확인하지 않은 경우 "강의 안 봄" 행동으로 판별하는 것을 특징으로 하는,
    빅데이터를 활용한 학습 코칭 방법.
11. 청구항 1에 있어서,
    상기 학습 정보 데이터화 단계에 의해 저장된 데이터 분석을 통해 해당 학습자가 답변한 학습 문항을 분석하는 학습 문항 분석 단계를 더 포함하고,
    상기 학습 문항 분석 단계는 상기 학습자의 학습 문항에 대한 답변이 오답인 경우,
    맞출 수 있지만 틀린 문제 판별 단계; 및
    몰라서 틀린 문제 판별 단계를 포함하고,
    상기 맞출 수 있지만 틀린 문제 및 상기 몰라서 틀린 문제는 학습자의 예측 정답률을 기준으로 판별하는 것을 특징으로 하는,
    빅데이터를 활용한 학습 코칭 방법.
12. 청구항 11에 있어서,
    상기 학습 문항 분석 단계는,
    상기 학습자의 예측 정답률이 85% 이상인 경우, '맞출 수 있지만 틀린 문제'로 판별하고,
    상기 학습자의 예측 정답률이 50% 미만인 경우, '몰라서 틀린 문제'로 판별하며,
    상기 학습자의 예측 정답률이 50% 이상 85% 미만인 경우, 상기 학습 문항에 대한 답변 소요시간의 소요 정도에 따라 상기 '맞출 수 있지만 틀린 문제' 또는 '상기 몰라서 틀린 문제'로 판별하는 것을 특징으로 하는,
    빅데이터를 활용한 학습 코칭 방법.
13. 청구항 12에 있어서,
    상기 학습자의 예측 정답률은 상기 학습 문항의 고유 난이도와 상기 학습자의 추정 능력치를 비교하여 산출하는 것을 특징으로 하는,
    빅데이터를 활용한 학습 코칭 방법.
14. 청구항 13에 있어서,
    상기 답변 소요시간의 소요 정도는 상기 학습자의 학습 문항에 대한 실제 답변 소요시간을 상기 학습자의 예측 답변 소요시간에 대한 추정치와 비교함으로써 결정하는 것을 특징으로 하는,
    빅데이터를 활용한 학습 코칭 방법.
15. 청구항 14에 있어서,
    상기 예측 답변 소요시간은 상기 학습 문항에 대해 정답을 답변한 다른 학습자들의 상기 학습 문항에 대한 평균 답변 소요시간과 상기 학습자의 평균 답변 시간을 기준으로 추정하는 것을 특징으로 하는,
    빅데이터를 활용한 학습 코칭 방법.
16. 청구항 11에 있어서,
    상기 학습 문항 분석 단계는 찍어서 맞은 것으로 예상되는 문제 판별 단계를 포함하고,
    상기 찍어서 맞은 것으로 예상되는 문제 판별 단계는,
    상기 학습 문항에 대한 답변 소요시간이 특정 시간보다 짧은 경우 상기 찍어서 맞은 것으로 예상되는 문제로 판별하는 것을 특징으로 하는,
    빅데이터를 활용한 학습 코칭 방법.
17. 청구항 1에 있어서,
    상기 학습 제공 단계는 상기 학습 내용을 호(號) 별로 구분하여 제공하고,
    상기 학습 정보 데이터화 단계에 의해 저장된 데이터 분석을 통해 상기 학습자가 학습할 다음 호의 학습시 예측 점수를 분석하는 예측 점수 분석 단계를 더 포함하며,
    상기 예측 점수 분석 단계는,
    상기 학습자의 지난 호의 점수 결과 유무를 확인하여 상기 지난 호의 점수 결과가 있는 경우, 상기 예측 점수 분석 단계는 상기 지난 호의 점수, 예측할 상기 다음 호의 난이도 및 상기 학습자의 퍼포먼스 예측 결과를 조합하여 상기 다음 호의 예측 점수를 분석하는 것을 특징으로 하는,
    빅데이터를 활용한 학습 코칭 방법.
18. 청구항 17에 있어서,
    상기 예측 점수 분석 단계에서 상기 지난 호의 점수는 복수의 지난 호의 점수가 반영되며, 상기 지난 호의 점수는 가중치를 부여하여 반영되되, 가장 최근 지난 호의 점수의 가중치가 다른 지난 호의 점수의 가중치보다 높게 설정하는 것을 특징으로 하는,
    빅데이터를 활용한 학습 코칭 방법.
19. 청구항 17에 있어서,
    상기 학습자의 지난 호의 점수 결과 유무를 확인하여 상기 지난 호의 점수 결과가 없는 경우, 상기 예측 점수 분석 단계는 예측할 상기 다음 호의 난이도 및 상기 학습자의 퍼포먼스 예측 결과를 조합하여 상기 다음 호의 예측 점수를 분석하는 것을 특징으로 하는,
    빅데이터를 활용한 학습 코칭 방법.
20. 청구항 17에 있어서,
    상기 예측 점수 분석 단계는 상기 학습 정보 수신 단계에 의해 수신되는 정보에 의해 미리 정해진 학습자의 퍼포먼스에 해당하는 정보가 판별되면, 상기 예측 점수에 상기 학습자의 퍼포먼스 결과에 해당하는 값을 부가하여 상기 예측 점수를 산출하는 것을 특징으로 하는,
    빅데이터를 활용한 학습 코칭 방법.
21. 청구항 2 또는 청구항 11 또는 청구항 17에 있어서,
    상기 학습 정보 데이터화 단계에 의해 데이터화된 정보 및 상기 학습 문항의 체감난이도 분석 단계 또는 상기 학습 습관 분석 단계 또는 상기 학습 문항 분석 단계 또는 상기 예측 점수 분석 단계에 의한 분석 결과를 이용하여, 학습자의 학습 결과에 대한 전체적인 평가를 도출하는 총평 도출 단계를 더 포함하고,
    상기 총평 도출 단계는,
    상기 학습자가 획득한 점수가 정상적인 범위를 벗어나는지 여부 또는 상기 학습자가 획득한 점수가 다른 학습자가 획득한 점수와 정상적인 범위를 벗어나는 차이가 있는지 여부 또는 상기 학습자가 획득한 점수가 상기 학습자의 능력치에 비해 정상적인 범위를 벗어나는지 여부를 판단하여, 판단 결과를 인사이트 메시지(insight message) 형태로 도출하는 것을 특징으로 하는,
    빅데이터를 활용한 학습 코칭 방법.
22. 청구항 2 또는 청구항 11 또는 청구항 17에 있어서,
    상기 학습 정보 데이터화 단계에 의해 데이터화된 정보 및 상기 학습 문항의 체감난이도 분석 단계 또는 상기 학습 습관 분석 단계 또는 상기 학습 문항 분석 단계 또는 상기 예측 점수 분석 단계에 의한 분석 결과를 이용하여, 학습자의 학습 결과에 대한 전체적인 평가를 도출하는 총평 도출 단계를 더 포함하고,
    상기 총평 도출 단계는,
    상기 학습자가 학습 습관 개선시 추가 획득이 가능한 점수를 분석하여, 분석 결과를 인사이트 메시지(insight message) 형태로 도출하는 것을 특징으로 하는,
    빅데이터를 활용한 학습 코칭 방법.
23. 청구항 2 또는 청구항 11 또는 청구항 17에 있어서,
    상기 학습 정보 데이터화 단계에 의해 데이터화된 정보 및 상기 학습 문항의 체감난이도 분석 단계 또는 상기 학습 습관 분석 단계 또는 상기 학습 문항 분석 단계 또는 상기 예측 점수 분석 단계에 의한 분석 결과를 이용하여, 학습자의 학습 결과에 대한 전체적인 평가를 도출하는 총평 도출 단계를 더 포함하고,
    상기 총평 도출 단계는,
    풀이시간이 일정 이상이 소요되고, 체감난이도가 일정 이상인 학습 문항에 대한 정답 또는 오답 여부의 결과를 인사이트 메시지(insight message) 형태로 도출하는 것을 특징으로 하는,
    빅데이터를 활용한 학습 코칭 방법.
24. 서비스 서버에 접속한 학습자가 이용할 수 있는 학습 문항을 포함한 학습 내용을 온라인 상으로 제공하는 학습 제공 단계;
    상기 학습 문항에 대한 학습자의 답변 내용을 포함하는 학습 정보를 수신하는 학습 정보 수신 단계;
    상기 학습 정보 수신 단계에 의해 수신된 정보를 데이터화하는 학습 정보 데이터화 단계;
    상기 학습 정보 데이터화 단계에 의해 저장된 데이터 분석을 통해 해당 학습자가 풀이하는 학습 문항의 체감난이도를 분석하는 학습 문항의 체감난이도 분석 단계; 및
    상기 학습 정보 데이터화 단계에 의해 저장된 데이터 분석을 통해 해당 학습자가 답변한 학습 문항을 분석하는 학습 문항 분석 단계를 포함하고,
    상기 학습 문항 분석 단계는 상기 학습자의 학습 문항에 대한 답변이 오답인 경우,
    맞출 수 있지만 틀린 문제 판별 단계; 및
    몰라서 틀린 문제 판별 단계를 포함하고,
    상기 맞출 수 있지만 틀린 문제 및 상기 몰라서 틀린 문제는 학습자의 예측 정답률을 기준으로 판별하는 것을 특징으로 하는,
    빅데이터를 활용한 학습 코칭 방법.
25. 청구항 24에 있어서,
    상기 학습 문항 분석 단계는,
    상기 학습자의 예측 정답률이 85% 이상인 경우, '맞출 수 있지만 틀린 문제'로 판별하고,
    상기 학습자의 예측 정답률이 50% 미만인 경우, '몰라서 틀린 문제'로 판별하며,
    상기 학습자의 예측 정답률이 50% 이상 85% 미만인 경우, 상기 학습 문항에 대한 답변 소요시간의 소요 정도에 따라 상기 '맞출 수 있지만 틀린 문제' 또는 '상기 몰라서 틀린 문제'로 판별하는 것을 특징으로 하는,
    빅데이터를 활용한 학습 코칭 방법.
26. 청구항 25에 있어서,
    상기 학습자의 예측 정답률은 상기 학습 문항의 고유 난이도와 상기 학습자의 추정 능력치를 비교하여 산출하고,
    상기 답변 소요시간의 소요 정도는 상기 학습자의 학습 문항에 대한 실제 답변 소요시간을 상기 학습자의 예측 답변 소요시간에 대한 추정치와 비교함으로써 결정하며,
    상기 예측 답변 소요시간은 상기 학습 문항에 대해 정답을 답변한 다른 학습자들의 상기 학습 문항에 대한 평균 답변 소요시간과 상기 학습자의 평균 답변 시간을 기준으로 추정하는 것을 특징으로 하는,
    빅데이터를 활용한 학습 코칭 방법.
27. 청구항 25에 있어서,
    상기 학습 문항 분석 단계는 찍어서 맞은 것으로 예상되는 문제 판별 단계를 포함하고,
    상기 찍어서 맞은 것으로 예상되는 문제 판별 단계는,
    상기 학습 문항에 대한 답변 소요시간이 특정 시간보다 짧은 경우 상기 찍어서 맞은 것으로 예상되는 문제로 판별하는 것을 특징으로 하는,
    빅데이터를 활용한 학습 코칭 방법.
28. 서비스 서버에 접속한 학습자가 이용할 수 있는 학습 문항을 포함한 학습 내용을 호(號) 별로 구분하여 온라인 상으로 제공하는 학습 제공 단계;
    상기 학습 문항에 대한 학습자의 답변 내용을 포함하는 학습 정보를 수신하는 학습 정보 수신 단계;
    상기 학습 정보 수신 단계에 의해 수신된 정보를 데이터화하는 학습 정보 데이터화 단계;
    상기 학습 정보 데이터화 단계에 의해 저장된 데이터 분석을 통해 해당 학습자가 풀이하는 학습 문항의 체감난이도를 분석하는 학습 문항의 체감난이도 분석 단계; 및
    상기 학습 정보 데이터화 단계에 의해 저장된 데이터 분석을 통해 상기 학습자가 학습할 다음 호의 학습시 예측 점수를 분석하는 예측 점수 분석 단계를 포함하고,
    상기 예측 점수 분석 단계는,
    상기 학습자의 지난 호의 점수 결과 유무를 확인하여 상기 지난 호의 점수 결과가 있는 경우, 상기 예측 점수 분석 단계는 상기 지난 호의 점수, 예측할 상기 다음 호의 난이도 및 상기 학습자의 퍼포먼스 예측 결과를 조합하여 상기 다음 호의 예측 점수를 분석하는 것을 특징으로 하는,
    빅데이터를 활용한 학습 코칭 방법.
29. 청구항 28에 있어서,
    상기 예측 점수 분석 단계에서 상기 지난 호의 점수는 복수의 지난 호의 점수가 반영되며, 상기 지난 호의 점수는 가중치를 부여하여 반영되되, 가장 최근 지난 호의 점수의 가중치가 다른 지난 호의 점수의 가중치보다 높게 설정하는 것을 특징으로 하는,
    빅데이터를 활용한 학습 코칭 방법.
30. 청구항 28에 있어서,
    상기 학습자의 지난 호의 점수 결과 유무를 확인하여 상기 지난 호의 점수 결과가 없는 경우, 상기 예측 점수 분석 단계는 예측할 상기 다음 호의 난이도 및 상기 학습자의 퍼포먼스 예측 결과를 조합하여 상기 다음 호의 예측 점수를 분석하는 것을 특징으로 하는,
    빅데이터를 활용한 학습 코칭 방법.
31. 서비스 서버에 접속한 학습자가 이용할 수 있는 학습 문항을 포함한 학습 내용을 온라인 상으로 제공하는 학습 제공 단계;
    상기 학습 문항에 대한 학습자의 답변 내용을 포함하는 학습 정보를 수신하는 학습 정보 수신 단계;
    상기 학습 정보 수신 단계에 의해 수신된 정보를 데이터화하는 학습 정보 데이터화 단계;
    상기 학습 정보 데이터화 단계에 의해 저장된 데이터 분석을 통해 해당 학습자의 학습 습관에 대한 정보를 분석하는 학습 습관 분석 단계; 및
    상기 학습 정보 데이터화 단계에 의해 저장된 데이터 분석을 통해 해당 학습자가 답변한 학습 문항을 분석하는 학습 문항 분석 단계를 포함하고,
    상기 학습 문항의 체감난이도 분석단계는,
    상기 학습 문항의 고유 난이도와 상기 학습자의 추정 능력치를 비교하여 상기 체감난이도를 산출하고, 상기 고유 난이도는 상기 해당 문항에 대한 전체 학습자의 정답률과 정답을 맞히기까지 소요된 답변 시도 횟수를 기준으로 추정하며, 상기 학습자의 추정 능력치는 상기 학습자가 복수의 학습 문항에 대해 답변함에 따른 정답 또는 오답에 따른 가중치를 부여함으로써 추정하는 것을 특징으로 하는,
    빅데이터를 활용한 학습 코칭 방법.
32. 청구항 31에 있어서,
    상기 학습 습관 분석 단계는 찍기 행동 판별 단계를 포함하고,
    상기 찍기 행동 판별 단계는,
    상기 학습 정보 수신 단계의 학습 정보 중 학습 문항에 대한 답변 소요 시간이 특정 시간보다 짧은 경우 "찍기" 행동으로 판별하는 것을 특징으로 하는,
    빅데이터를 활용한 학습 코칭 방법.
33. 청구항 31에 있어서,
    상기 학습 제공 단계는 학습 문항에 대한 채점 결과를 제시하는 채점 수단 및 다음 문항으로 건너뛸 수 있는 수단이 제공되고,
    상기 학습 습관 분석 단계는 건너뛰기 행동 판별 단계를 포함하되,
    상기 건너뛰기 행동 판별 단계는,
    상기 학습 정보 수신 단계의 학습 정보 중 상기 채점 수단을 사용하지 않고 다음 문항으로 넘어간 경우 "건너뛰기" 행동으로 판별하는 것을 특징으로 하는,
    빅데이터를 활용한 학습 코칭 방법.
34. 청구항 31에 있어서,
    상기 학습 습관 분석 단계는 실패 후 건너뛰기 행동 판별 단계를 포함하되,
    상기 실패 후 건너뛰기 행동 판별 단계는,
    상기 학습 문항에 대한 채점 결과가 오답이며, 다음 학습 문항을 풀이 없이 건너뛴 경우 "실패 후 건너뛰기" 행동으로 판별하는 것을 특징으로 하는,
    빅데이터를 활용한 학습 코칭 방법.
35. 청구항 31에 있어서,
    상기 학습 제공 단계는 학습 문항에 대한 채점 결과를 제시하는 채점 수단과 상기 채점 결과 오답인 경우 답변을 다시 할 수 있는 재시도 수단이 제공되고,
    상기 학습 습관 분석 단계는 재시도 안 함 행동 판별 단계를 포함하되,
    상기 재시도 안 함 행동 판별 단계는,
    상기 학습 문항에 대한 채점 결과가 오답이며, 상기 재시도 수단에 의한 재답변을 시도하지 않은 경우 "재시도 안 함" 행동으로 판별하는 것을 특징으로 하는,
    빅데이터를 활용한 학습 코칭 방법.
36. 청구항 31에 있어서,
    상기 학습 내용은 학습할 내용에 대한 강의 자료를 포함하고,
    상기 학습 습관 분석 단계는 강의 안 봄 행동 판별 단계를 포함하되,
    상기 강의 안 봄 행동 판별 단계는,
    상기 학습자가 상기 강의 자료를 확인하지 않은 경우 "강의 안 봄" 행동으로 판별하는 것을 특징으로 하는,
    빅데이터를 활용한 학습 코칭 방법.
37. 서비스 서버에 접속한 학습자가 이용할 수 있는 학습 문항을 포함한 학습 내용을 호(號) 별로 구분하여 온라인 상으로 제공하는 학습 제공 단계;
    상기 학습 문항에 대한 학습자의 답변 내용을 포함하는 학습 정보를 수신하는 학습 정보 수신 단계;
    상기 학습 정보 수신 단계에 의해 수신된 정보를 데이터화하는 학습 정보 데이터화 단계;
    상기 학습 정보 데이터화 단계에 의해 저장된 데이터 분석을 통해 해당 학습자의 학습 습관에 대한 정보를 분석하는 학습 습관 분석 단계; 및
    상기 학습 정보 데이터화 단계에 의해 저장된 데이터 분석을 통해 상기 학습자가 학습할 다음 호의 학습시 예측 점수를 분석하는 예측 점수 분석 단계를 포함하고,
    상기 학습 문항의 체감난이도 분석단계는,
    상기 학습 문항의 고유 난이도와 상기 학습자의 추정 능력치를 비교하여 상기 체감난이도를 산출하고, 상기 고유 난이도는 상기 해당 문항에 대한 전체 학습자의 정답률과 정답을 맞히기까지 소요된 답변 시도 횟수를 기준으로 추정하며, 상기 학습자의 추정 능력치는 상기 학습자가 복수의 학습 문항에 대해 답변함에 따른 정답 또는 오답에 따른 가중치를 부여함으로써 추정하는 것을 특징으로 하는,
    빅데이터를 활용한 학습 코칭 방법.
38. 청구항 37에 있어서,
    상기 학습 습관 분석 단계는 찍기 행동 판별 단계를 포함하고,
    상기 찍기 행동 판별 단계는,
    상기 학습 정보 수신 단계의 학습 정보 중 학습 문항에 대한 답변 소요 시간이 특정 시간보다 짧은 경우 "찍기" 행동으로 판별하는 것을 특징으로 하는,
    빅데이터를 활용한 학습 코칭 방법.
39. 청구항 37에 있어서,
    상기 학습 제공 단계는 학습 문항에 대한 채점 결과를 제시하는 채점 수단 및 다음 문항으로 건너뛸 수 있는 수단이 제공되고,
    상기 학습 습관 분석 단계는 건너뛰기 행동 판별 단계를 포함하되,
    상기 건너뛰기 행동 판별 단계는,
    상기 학습 정보 수신 단계의 학습 정보 중 상기 채점 수단을 사용하지 않고 다음 문항으로 넘어간 경우 "건너뛰기" 행동으로 판별하는 것을 특징으로 하는,
    빅데이터를 활용한 학습 코칭 방법.
40. 청구항 37에 있어서,
    상기 학습 습관 분석 단계는 실패 후 건너뛰기 행동 판별 단계를 포함하되,
    상기 실패 후 건너뛰기 행동 판별 단계는,
    상기 학습 문항에 대한 채점 결과가 오답이며, 다음 학습 문항을 풀이 없이 건너뛴 경우 "실패 후 건너뛰기" 행동으로 판별하는 것을 특징으로 하는,
    빅데이터를 활용한 학습 코칭 방법.
41. 청구항 37에 있어서,
    상기 학습 제공 단계는 학습 문항에 대한 채점 결과를 제시하는 채점 수단과 상기 채점 결과 오답인 경우 답변을 다시 할 수 있는 재시도 수단이 제공되고,
    상기 학습 습관 분석 단계는 재시도 안 함 행동 판별 단계를 포함하되,
    상기 재시도 안 함 행동 판별 단계는,
    상기 학습 문항에 대한 채점 결과가 오답이며, 상기 재시도 수단에 의한 재답변을 시도하지 않은 경우 "재시도 안 함" 행동으로 판별하는 것을 특징으로 하는,
    빅데이터를 활용한 학습 코칭 방법.
42. 청구항 37에 있어서,
    상기 학습 내용은 학습할 내용에 대한 강의 자료를 포함하고,
    상기 학습 습관 분석 단계는 강의 안 봄 행동 판별 단계를 포함하되,
    상기 강의 안 봄 행동 판별 단계는,
    상기 학습자가 상기 강의 자료를 확인하지 않은 경우 "강의 안 봄" 행동으로 판별하는 것을 특징으로 하는,
    빅데이터를 활용한 학습 코칭 방법.
43. 서비스 서버에 접속한 학습자가 이용할 수 있는 학습 문항을 포함한 학습 내용을 호(號) 별로 구분하여 온라인 상으로 제공하는 학습 제공 단계;
    상기 학습 문항에 대한 학습자의 답변 내용을 포함하는 학습 정보를 수신하는 학습 정보 수신 단계;
    상기 학습 정보 수신 단계에 의해 수신된 정보를 데이터화하는 학습 정보 데이터화 단계;
    상기 학습 정보 데이터화 단계에 의해 저장된 데이터 분석을 통해 해당 학습자가 답변한 학습 문항을 분석하는 학습 문항 분석 단계; 및
    상기 학습 정보 데이터화 단계에 의해 저장된 데이터 분석을 통해 상기 학습자가 학습할 다음 호의 학습시 예측 점수를 분석하는 예측 점수 분석 단계를 포함하며,
    상기 예측 점수 분석 단계는,
    상기 학습자의 지난 호의 점수 결과 유무를 확인하여 상기 지난 호의 점수 결과가 있는 경우, 상기 예측 점수 분석 단계는 상기 지난 호의 점수, 예측할 상기 다음 호의 난이도 및 상기 학습자의 퍼포먼스 예측 결과를 조합하여 상기 다음 호의 예측 점수를 분석하고,
    상기 학습자의 지난 호의 점수 결과 유무를 확인하여 상기 지난 호의 점수 결과가 없는 경우, 상기 예측 점수 분석 단계는 예측할 상기 다음 호의 난이도 및 상기 학습자의 퍼포먼스 예측 결과를 조합하여 상기 다음 호의 예측 점수를 분석하는 것을 특징으로 하는,
    빅데이터를 활용한 학습 코칭 방법.
44. 청구항 43에 있어서,
    상기 학습 문항 분석 단계는 상기 학습자의 학습 문항에 대한 답변이 오답인 경우,
    맞출 수 있지만 틀린 문제 판별 단계; 및
    몰라서 틀린 문제 판별 단계를 포함하고,
    상기 맞출 수 있지만 틀린 문제 및 상기 몰라서 틀린 문제는 학습자의 예측 정답률을 기준으로 판별하는 것을 특징으로 하는,
    빅데이터를 활용한 학습 코칭 방법.
45. 청구항 44에 있어서,
    상기 학습 문항 분석 단계는,
    상기 학습자의 예측 정답률이 85% 이상인 경우, '맞출 수 있지만 틀린 문제'로 판별하고,
    상기 학습자의 예측 정답률이 50% 미만인 경우, '몰라서 틀린 문제'로 판별하며,
    상기 학습자의 예측 정답률이 50% 이상 85% 미만인 경우, 상기 학습 문항에 대한 답변 소요시간의 소요 정도에 따라 상기 '맞출 수 있지만 틀린 문제' 또는 '상기 몰라서 틀린 문제'로 판별하는 것을 특징으로 하는,
    빅데이터를 활용한 학습 코칭 방법.
46. 청구항 45에 있어서,
    상기 학습자의 예측 정답률은 상기 학습 문항의 고유 난이도와 상기 학습자의 추정 능력치를 비교하여 산출하는 것을 특징으로 하는,
    빅데이터를 활용한 학습 코칭 방법.
47. 청구항 46에 있어서,
    상기 답변 소요시간의 소요 정도는 상기 학습자의 학습 문항에 대한 실제 답변 소요시간을 상기 학습자의 예측 답변 소요시간에 대한 추정치와 비교함으로써 결정하는 것을 특징으로 하는,
    빅데이터를 활용한 학습 코칭 방법.
48. 청구항 47에 있어서,
    상기 예측 답변 소요시간은 상기 학습 문항에 대해 정답을 답변한 다른 학습자들의 상기 학습 문항에 대한 평균 답변 소요시간과 상기 학습자의 평균 답변 시간을 기준으로 추정하는 것을 특징으로 하는,
    빅데이터를 활용한 학습 코칭 방법.
49. 청구항 44에 있어서,
    상기 학습 문항 분석 단계는 찍어서 맞은 것으로 예상되는 문제 판별 단계를 포함하고,
    상기 찍어서 맞은 것으로 예상되는 문제 판별 단계는,
    상기 학습 문항에 대한 답변 소요시간이 특정 시간보다 짧은 경우 상기 찍어서 맞은 것으로 예상되는 문제로 판별하는 것을 특징으로 하는,
    빅데이터를 활용한 학습 코칭 방법.

Images