KR20230109510A

KR20230109510A - 개념 이해도를 추정하기 위한 방법, 시스템 및 비일시성의 컴퓨터 판독 가능 기록 매체

Info

Publication number: KR20230109510A
Application number: KR1020220005553A
Authority: KR
Inventors: 오태형; 안명훈; 정두섭; 이상훈; 안재형
Original assignee: 비트루브 주식회사
Priority date: 2022-01-13
Filing date: 2022-01-13
Publication date: 2023-07-20
Also published as: US20230237924A1

Abstract

본 발명의 일 태양에 따르면, 개념 이해도를 추정하기 위한 방법으로서, 적어도 하나의 사용자가 적어도 하나의 개념과 연관되는 적어도 하나의 문항을 풀이한 결과에 관한 데이터를 참조하여 상기 적어도 하나의 사용자에 대하여 개념별 정오 시퀀스 데이터를 생성하는 단계, 및 상기 개념별 정오 시퀀스 데이터에 기초하여 학습되는 개념별 이해도 추정 모델을 이용하여 제1 사용자의 제1 개념에 대한 이해도를 추정하는 단계를 포함하는 방법이 제공된다.

Description

개념 이해도를 추정하기 위한 방법, 시스템 및 비일시성의 컴퓨터 판독 가능 기록 매체{METHOD, SYSTEM AND NON-TRANSITORY COMPUTER-READABLE RECORDING MEDIUM FOR ESTIMATING CONCEPTUAL UNDERSTANDING}

본 발명은 개념 이해도를 추정하기 위한 방법, 시스템 및 비일시성의 컴퓨터 판독 가능 기록 매체에 관한 것이다.

인터넷과 컴퓨터 활용에 따른 다양한 주변 환경의 변화로 인하여 교육 환경은 빠르게 변화하고 있다. 또한, 교육열 및 치열한 입시 경쟁으로 인해 교육 콘텐츠 시장은 점차 커지고 있는 추세이다.

한편, 인공지능 기술의 발전에 따라 사용자의 부족한 지식을 보충하기 위한 방법으로서, 교수자 또는 교육기관의 지식이나 노하우에 근거하여 학습 솔루션을 제공하는 전통적인 방식에서 벗어나, 인공지능 기술을 기반으로 사용자의 학습을 지원하는 다양한 학습 콘텐츠 및 응용 기술들이 개발 및 출시되고 있다.

이에 관한, 종래 기술의 일 예로서, 적어도 하나 이상의 문제 섹션, 적어도 하나 이상의 문제에 대한 풀이와 정답을 포함하는 정답지 및 적어도 하나 이상의 문제들에 대한 개념이 정리된 개념 정리 섹션을 포함하는 학습지가 각각의 문제들에 대한 정답 여부를 체크하는 정답 체크 파트, 각각의 문제들에 대한 정답 여부 비율을 산정하는 정답률 산정 파트 및 출제 빈도를 포함하는 기타 파트를 포함하는 기술이 소개된 바 있다.

이에 관한, 또 다른 종래 기술의 일 예로서, 인공지능을 기반으로 한 학습 진단을 통해 사용자의 지식 수준을 추론하고, 지식 수준에 따른 난이도로 학습을 진행하게 되는 학습 시스템이 소개된 바 있다.

하지만, 위와 같은 종래 기술을 비롯하여 지금까지 소개된 기술에 의하면, 학습을 수행하는 사용자의 학습 상황 또는 학습 문맥에 대한 고려 없이, 사용자에게 제공되는 학습 문제에 대응하여 해당 학습 문제를 풀이하기 위하여 요구되는 학습 개념, 학습 문제의 유형(예를 들어, 기본 문제, 심화 문제) 등이 사용자들마다 패키지로서 동일하게 제공되었기 때문에, 해당 학습 문제에 대하여 어떤 학습 개념이 부족한 것인지, 해당 사용자에게 적합한 문제 유형인지(예를 들면, 해당 사용자의 지식에 기초할 때 기본 문제로 보아야 하는지 심화 문제로 보아야 하는지) 등이 알기가 어려운 실정이었다. 즉, 사용자의 지식 및 개념의 습득 정도를 적절하게 고려하지 않은 채 사용자의 학습이 이루어졌기 때문에, 사용자의 학습 효율이 떨어지는 문제점이 존재하였다.

한국공개특허공보 제2019-0082645호 (2019.07.10)

본 발명은 전술한 종래 기술의 문제점을 모두 해결하는 것을 그 목적으로 한다.

또한, 본 발명은 사용자에게 제공되는 학습 문제의 풀이 결과에 관한 데이터를 참조하여 개념별로 정오 시퀀스 데이터를 생성함으로써, 개념을 중심으로 시간에 따른 가중치와 여러 사용자의 학습 경험이 반영된 개념 이해도 추정 모델을 구축하고, 이를 이용하여 사용자의 개념별 이해도를 추정하는 것을 또 다른 목적으로 한다.

또한, 본 발명은 사용자에게 제공될 학습 문제에 대응하여 사용자가 접하지 않은 개념에 대한 이해도를 추정하는 것을 또 다른 목적으로 한다.

또한, 본 발명은 사용자의 개념별 이해도를 추정하여 어떠한 개념에 대한 이해가 부족한지에 대하여 사용자가 명확하게 인지하게 함으로써, 사용자가 학습 방향을 효율적으로 결정할 수 있도록 하는 것을 또 다른 목적으로 한다.

상기 목적을 달성하기 위한 본 발명의 대표적인 구성은 다음과 같다.

본 발명의 다른 태양에 따르면, 개념 이해도를 추정하기 위한 시스템으로서, 적어도 하나의 사용자가 적어도 하나의 개념과 연관되는 적어도 하나의 문항을 풀이한 결과에 관한 데이터를 참조하여 상기 적어도 하나의 사용자에 대하여 개념별 정오 시퀀스 데이터를 생성하는 시퀀스 데이터 생성부, 및 상기 개념별 정오 시퀀스 데이터에 기초하여 학습되는 개념별 이해도 추정 모델을 이용하여 제1 사용자의 제1 개념에 대한 이해도를 추정하는 개념 이해도 추정부를 포함하는 시스템이 제공된다.

이 외에도, 본 발명을 구현하기 위한 다른 방법, 다른 시스템 및 상기 방법을 실행하기 위한 컴퓨터 프로그램을 기록하는 비일시성의 컴퓨터 판독 가능한 기록 매체가 더 제공된다.

본 발명에 의하면, 사용자에게 제공되는 학습 문제의 풀이 결과에 관한 데이터를 참조하여 개념별로 정오 시퀀스 데이터를 생성함으로써, 개념을 중심으로 시간에 따른 가중치와 여러 사용자의 학습 경험이 반영된 개념 이해도 추정 모델을 구축하고, 이를 이용하여 사용자의 개념별 이해도를 추정할 수 있게 된다.

또한, 본 발명에 의하면, 사용자에게 제공될 학습 문제에 대응하여 사용자가 접하지 않은 개념에 대한 이해도를 추정할 수 있게 된다.

또한, 본 발명에 의하면, 사용자의 개념별 이해도를 추정하여 어떠한 개념에 대한 이해가 부족한지에 대하여 사용자가 명확하게 인지하게 함으로써, 사용자는 학습 방향을 효율적으로 결정할 수 있게 된다.

도 1은 본 발명의 일 실시예에 따른 개념 이해도를 추정하기 위한 전체 시스템의 개략적인 구성을 나타내는 도면이다.
도 2는 본 발명의 일 실시예에 따른 개념 이해도 추정 시스템의 내부 구성을 상세하게 도시하는 도면이다.
도 3은 본 발명의 일 실시예에 따른 개념 정오 시퀀스 데이터를 생성하는 과정을 예시적으로 나타내는 도면이다.

후술하는 본 발명에 대한 상세한 설명은, 본 발명이 실시될 수 있는 특정 실시예를 예시로서 도시하는 첨부 도면을 참조한다. 이러한 실시예는 당업자가 본 발명을 실시할 수 있기에 충분하도록 상세히 설명된다. 본 발명의 다양한 실시예는 서로 다르지만 상호 배타적일 필요는 없음이 이해되어야 한다. 예를 들어, 본 명세서에 기재되어 있는 특정 형상, 구조 및 특성은 본 발명의 정신과 범위를 벗어나지 않으면서 일 실시예로부터 다른 실시예로 변경되어 구현될 수 있다. 또한, 각각의 실시예 내의 개별 구성요소의 위치 또는 배치도 본 발명의 정신과 범위를 벗어나지 않으면서 변경될 수 있음이 이해되어야 한다. 따라서, 후술하는 상세한 설명은 한정적인 의미로서 행하여지는 것이 아니며, 본 발명의 범위는 특허청구범위의 청구항들이 청구하는 범위 및 그와 균등한 모든 범위를 포괄하는 것으로 받아들여져야 한다. 도면에서 유사한 참조부호는 여러 측면에 걸쳐서 동일하거나 유사한 구성요소를 나타낸다.

이하에서는, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있도록 하기 위하여, 본 발명의 여러 바람직한 실시예에 관하여 첨부된 도면을 참조하여 상세히 설명하기로 한다.

본 명세서에서, 콘텐츠란, 통신망을 통하여 접근 가능한, 문자, 부호, 음성, 음향, 이미지, 동영상 등으로 이루어지는 디지털 정보 또는 개별 정보 요소를 총칭하는 개념이다. 이러한 콘텐츠는, 예를 들면, 텍스트, 이미지, 동영상, 오디오, 링크(예를 들면, 웹 링크) 등의 데이터 또는 이러한 데이터 중 적어도 두 가지의 조합을 포함하여 구성될 수 있다.

또한, 본 명세서에서, 시퀀스 데이터(sequence data)란, 상호 연관된 연속의 데이터를 의미할 수 있다. 예를 들어, 시퀀스 데이터는 시간의 흐름에 따라 기록된 데이터인 시계열 데이터 및 시간에 따른 문맥적 순서가 존재하는 텍스트 데이터를 의미할 수 있다. 구체적으로, 시퀀스 데이터는 제1 시점에 생성된 제1 시퀀스 데이터 및 제1 시점을 기준으로 제1 시점보다 소정의 시간 이후의 시점인 제2 시점에 생성된 제2 시퀀스 데이터를 포함할 수 있다. 또한, 본 발명의 일 실시예에 따라 시퀀스 데이터는 앞으로 발생할 데이터의 확률 분포를 예측하는 데 기여할 수 있다.

또한, 본 명세서에서, 개념은 학습 문제를 이해하거나 풀이하는데 요구되는 지식 단위를 의미할 수 있다. 예를 들어, 이러한 지식 단위 또는 학습 개념은, 교과 과정 상의 목차, 단원 등을 포함하는 개념일 수 있다.

또한, 본 명세서에서, 문항은 적어도 하나 이상의 개념과 연관되는 문제를 의미할 수 있다. 본 발명의 일 실시예에 따른 문항은, 학습 개념을 익히기 위하여 제공되는 종래의 기본 문제뿐만 아니라 사용자의 개념 이해도에 기초하여 위의 기본 문제와 함께 추가적으로 제공될 수 있는 보충 문제를 더 포함할 수 있다. 예를 들어, 본 발명의 일 실시예에 따르면, 이러한 보충 문제의 유형에는, 사용자에게 취약하다고 판단되는 단일 학습 개념을 이용한 학습 문제인 '개념 그대로', 사용자에게 취약하다고 판단되는 학습 개념과 다른 학습 개념을 이용한 학습 문제인 '개념 더하기' 등이 포함될 수 있다.

전체 시스템의 구성

도 1은 본 발명의 일 실시예에 따른 개념 이해도를 추정하기 위한 전체 시스템의 개략적인 구성을 나타내는 도면이다.

도 1에 도시된 바와 같이, 본 발명의 일 실시예에 따른 전체 시스템은 통신망(100), 개념 이해도 추정 시스템(200) 및 사용자 디바이스(300)를 포함할 수 있다.

먼저, 본 발명의 일 실시예에 따른 통신망(100)은 유선 통신이나 무선 통신과 같은 통신 양태를 가리지 않고 구성될 수 있으며, 근거리 통신망(LAN; Local Area Network), 도시권 통신망(MAN; Metropolitan Area Network), 광역 통신망(WAN; Wide Area Network) 등 다양한 통신망으로 구성될 수 있다. 바람직하게는, 본 명세서에서 말하는 통신망(100)은 공지의 인터넷 또는 월드와이드웹(WWW; World Wide Web)일 수 있다. 그러나, 통신망(100)은, 굳이 이에 국한될 필요 없이, 공지의 유무선 데이터 통신망, 공지의 전화망 또는 공지의 유무선 텔레비전 통신망을 그 적어도 일부에 있어서 포함할 수도 있다.

예를 들면, 통신망(100)은 무선 데이터 통신망으로서, 와이파이(WiFi) 통신, 와이파이 다이렉트(WiFi-Direct) 통신, 롱텀 에볼루션(LTE; Long Term Evolution) 통신, 블루투스 통신(예를 들면, 저전력 블루투스(BLE; Bluetooth Low Energy) 통신), 적외선 통신, 초음파 통신 등과 같은 종래의 통신 방식을 적어도 그 일부분에 있어서 구현하는 것일 수 있다.

다음으로, 본 발명의 일 실시예에 따른 개념 이해도 추정 시스템(200)은 통신망(100)을 통하여 후술할 사용자 디바이스(300)와의 통신을 수행할 수 있고, 적어도 하나의 사용자가 적어도 하나의 개념과 연관되는 적어도 하나의 문항을 풀이한 결과에 관한 데이터를 참조하여 위의 적어도 하나의 사용자에 대하여 개념별 정오 시퀀스 데이터를 생성하고, 위의 개념별 정오 시퀀스 데이터에 기초하여 학습되는 개념별 이해도 추정 모델을 이용하여 제1 사용자의 제1 개념에 대한 이해도를 추정하는 기능을 수행할 수 있다.

본 발명에 따른 개념 이해도 추정 시스템(200)의 구성과 기능에 관하여는 이하의 상세한 설명을 통하여 자세하게 알아보기로 한다. 한편, 개념 이해도 추정 시스템(200)에 관하여 위와 같이 설명되었으나, 이러한 설명은 예시적인 것이고, 개념 이해도 추정 시스템(200)에 대하여 요구되는 기능이나 구성요소의 적어도 일부가 필요에 따라 후술할 사용자 디바이스(300) 또는 외부 시스템(미도시됨) 내에서 실현되거나 사용자 디바이스(300) 또는 외부 시스템(미도시됨)에 포함될 수도 있음은 당업자에게 자명하다.

다음으로, 본 발명의 일 실시예에 따르면, 사용자 디바이스(300)는 통신망(100)을 통해 개념 이해도 추정 시스템(200)에 접속한 후 통신할 수 있도록 하는 기능을 포함하는 디지털 기기로서, 스마트폰, 태블릿 PC 등과 같이 메모리 수단을 구비하고 마이크로 프로세서를 탑재하여 연산 능력을 갖춘 휴대 가능한 디지털 기기라면 얼마든지 본 발명에 따른 사용자 디바이스(300)로서 채택될 수 있다.

한편, 본 발명의 일 실시예에 따르면, 사용자 디바이스(300)에는, 개념 이해도를 추정하는 본 발명에 따른 기능이 지원되기 위한 애플리케이션이 포함되어 있을 수 있다. 이와 같은 애플리케이션은 개념 이해도 추정 시스템(200) 또는 외부의 애플리케이션 배포 서버(미도시됨)로부터 다운로드된 것일 수 있다.

개념 이해도 추정 시스템의 구성

이하에서는, 본 발명의 구현을 위하여 중요한 기능을 수행하는 개념 이해도 추정 시스템(200)의 내부 구성과 각 구성요소의 기능에 대하여 살펴보기로 한다.

도 2는 본 발명의 일 실시예에 따른 개념 이해도 추정 시스템(200)의 내부 구성을 상세하게 도시하는 도면이다.

본 발명의 일 실시예에 따른 개념 이해도 추정 시스템(200)은 메모리 수단을 구비하고 마이크로 프로세서를 탑재하여 연산 능력을 갖춘 디지털 기기일 수 있다. 도 2에 도시된 바와 같이, 개념 이해도 추정 시스템(200)은 시퀀스 데이터 생성부(210), 개념 이해도 추정부(220), 모델 평가부(230), 통신부(240) 및 제어부(250)를 포함하여 구성될 수 있다. 본 발명의 일 실시예에 따르면, 개념 이해도 추정 시스템(200)은 시퀀스 데이터 생성부(210), 개념 이해도 추정부(220), 모델 평가부(230), 통신부(240) 및 제어부(250)는 그 중 적어도 일부가 외부의 시스템과 통신하는 프로그램 모듈일 수 있다. 이러한 프로그램 모듈은 운영 시스템, 응용 프로그램 모듈 또는 기타 프로그램 모듈의 형태로 개념 이해도 추정 시스템(200)에 포함될 수 있고, 물리적으로는 여러 가지 공지의 기억 장치에 저장될 수 있다. 또한, 이러한 프로그램 모듈은 개념 이해도 추정 시스템(200)과 통신 가능한 원격 기억 장치에 저장될 수도 있다. 한편, 이러한 프로그램 모듈은 본 발명에 따라 후술할 특정 업무를 수행하거나 특정 추상 데이터 유형을 실행하는 루틴, 서브루틴, 프로그램, 오브젝트, 컴포넌트, 데이터 구조 등을 포괄하지만, 이에 제한되지는 않는다.

먼저, 본 발명의 일 실시예에 따른 시퀀스 데이터 생성부(210)는 적어도 하나의 사용자가 적어도 하나의 개념과 연관되는 적어도 하나의 문항을 풀이한 결과에 관한 데이터를 참조하여 적어도 하나의 사용자에 대하여 개념별 정오 시퀀스 데이터를 생성할 수 있다.

본 발명의 일 실시예에 따르면, 개념별 정오 시퀀스 데이터는 적어도 하나의 개념과 연관되는 적어도 하나의 문항을 풀이한 결과에 관한 데이터에 대하여 개념별로 분류를 수행하는 전처리(preprocessing)를 통해 생성될 수 있다.

예를 들어, 본 발명의 일 실시예에 따라 개념별 정오 시퀀스 데이터는 문항을 풀이한 결과에 관한 데이터에 대하여 사용자마다 시계열적으로 풀이한 문항에 포함된 개념별 정오 여부를 나타낼 수 있도록 전처리되어 생성될 수 있다. 본 발명의 일 실시예에 따라 문항에 대하여 개념별로 분류하는 작업은 해당 분야의 전문가에 의한 개념별 태깅(tagging)에 기초하여 수행될 수 있다. 또한, 본 발명의 또 다른 일 실시예에 따라 문항에 대하여 개념별로 분류하는 작업은 자연어 처리(NLP; natural language process) 알고리즘 및 클러스터링(clustering) 알고리즘을 기초로 수행될 수 있다.

구체적으로, 본 발명의 일 실시예에 따라 개념을 분류하기 위해 전문가에 의해 기제작된 룩업 테이블(예를 들어, 문항별로 개념이 기분류된 룩업 테이블을 의미할 수 있음)을 참조하여 문항에 대해 개념별 태깅(tagging)을 함으로써 문항의 개념별 분류가 수행될 수 있다. 또한, 본 발명의 일 실시예에 따라 위의 룩업 테이블을 참조하여 자연어 처리 알고리즘 및 클러스터링 알고리즘을 이용하여 문항의 개념별 분류가 수행될 수 있다.

한편, 본 발명의 일 실시예에 따른 개념별 이해도 추정 모델은 위의 개념별 정오 시퀀스에 기초하여 학습될 수 있다.

예를 들어, 본 발명의 일 실시예에 따라 개념별 이해도 추정 모델은 베이지안 지식 추적(Bayesian Knowledge Tracing) 알고리즘을 이용하여 학습될 수 있다. 여기서, 베이지안 지식 추적 알고리즘은 학습 과정에서 일어나는 학생의 인지 과정을 확률적으로 모델링하여 특정 시점에서의 학습자의 지식 획득 수준을 추적하는 알고리즘을 의미할 수 있다.

본 발명의 일 실시예에 따라 개념별 이해도 추정 모델은 위의 개념별 정오 시퀀스 데이터에 기초하여 복수의 파라미터(예를 들어, 초기 지식, 지식 획득, 추측, 실수 등)에 대해 학습될 수 있다. 본 발명의 일 실시예에 따라 초기 지식은 사용자가 사전에 지식을 알고 있을 확률을 의미하고, 지식 획득은 문제 풀이를 통해 사용자가 완전이 이해할 확률을 의미하고, 추측은 사용자가 해당 지식을 보유하지 않고 해당 문제의 정답을 추측할 확률을 의미하고, 실수는 사용자가 해당 지식을 보유한 상태에서 실수할 확률을 의미한다. 또한, 본 발명의 일 실시예에 따라 위의 복수의 파라미터는 기댓값 최대화(expectation maximization) 알고리즘에 기초하여 업데이트 될 수 있다.

한편, 본 발명의 일 실시예에 따라 개념별 이해도 추정 모델은 제1 시점에 생성된 제1 시퀀스 데이터보다 제2 시점(예를 들어, 제1 시점보다 소정의 시간 이후의 시점)에 생성된 제2 시퀀스 데이터에 높은 가중치를 부여하여 개념별 이해도를 추정하도록 학습될 수 있다.

예를 들어, 본 발명의 일 실시예에 따라 가중치 함수에 기초하여 제1 시퀀스 데이터보다 제2 시퀀스 데이터에 높은 가중치를 부여할 수 있다.

보다 구체적으로, 본 발명의 일 실시예에 따른 가중치 함수는 다음의 수학식 1과 같이 표현될 수 있다.

여기서,

는

순서 중

순서의 시퀀스 데이터에 부여하는 가중치를 의미하고,

는 사용자 정의 상수를 나타낸다. 예를 들어,

는 0.7로 설정될 수 있다. 또 다른 예를 들어,

는 후술할 모델 평가부에 의해 개념별 이해도 추정 모델을 평가하는 과정에서 오차(error)가 가장 낮게 관측되는 값으로 설정될 수 있다.

이를 통해, 최근 순서의 시퀀스 데이터에 높은 가중치를 부여함에 따라 문항을 풀이한 순서가 과거일수록 해당 개념을 잊는 정도를 반영함으로써 개념별 이해도 추정 모델은 사용자의 개념 이해도를 보다 정밀하게 추정할 수 있게 된다.

또한, 기존의 베이지안 지식 추적 알고리즘은 사용자가 한번 배운 지식은 잊지 않는다는 가정에 기초하고 있으며, 문항의 개별적 특성(예를 들어, 난이도)를 고려하지 못한다는 한계가 있다.

본 발명의 일 실시예에 따라 복수의 파라미터는 가중치가 부여된 개념별 정오 시퀀스 데이터를 참조하여 학습됨에 따라 기존의 베이지안 지식 추적 알고리즘에 비해 정밀하게 사용자의 개념 이해도를 파악할 수 있는 효과가 발생한다. 한편, 본 발명에 따른 개념별 이해도 추정 모델이 반드시 위의 알고리즘에 의해 학습되는 것으로 한정되는 것은 아니며, 본 발명의 목적을 달성할 수 있는 범위 내에서 학습 알고리즘은 다양하게 변경될 수 있다.

본 발명에 따르면, 단지 개념별 정오 시퀀스 데이터를 이용할 뿐만 아니라, 둘 이상의 사용자의 개념별 정오 시퀀스 데이터를 이용하여 둘 이상의 사용자에게 적용될 수 있는 개념 이해도 추정 모델을 구축하므로, 개념 이해도 추정 모델에 여러 학습자의 학습 경험을 반영시킬 수 있고, 이에 따라 신뢰성과 범용성이 높은 개념 이해도 추정 결과를 제공하는 것이 가능해지는 효과가 달성된다.

다음으로, 본 발명의 일 실시예에 따른 개념 이해도 추정부(220)는 개념별 정오 시퀀스 데이터에 기초하여 학습되는 개념별 이해도 추정 모델을 이용하여 제1 사용자의 제1 개념에 대한 이해도를 추정할 수 있다. 구체적으로, 본 발명의 일 실시예에 따라 사용자의 개념에 대한 이해도(또는 개념 이해도)는 개념별 정오 시퀀스 데이터(예를 들어, t 시점까지의 데이터)에 기초하여 특정 시점(예를 들어, t+1 시점)에 사용자가 해당 개념을 알고 있을 확률을 의미할 수 있다.

또한, 본 발명의 일 실시예에 따라 특정 사용자가 특정 개념에 관한 문항을 풀이한 경험이 없는 경우에는 개념에 대한 이해도는 0.5로 설정될 수 있다.

한편, 본 발명의 일 실시예에 따라 개념 이해도 추정부(220)는 사용자가 접하지 않은 개념에 대한 이해도를 추정할 수 있다.

예를 들어, 본 발명의 일 실시예에 따라 개념 이해도 추정부(220)는 제2 사용자의 제2 개념에 대한 이해도를 기초로 제1 사용자의 제2 개념에 대한 이해도를 추정할 수 있다.

보다 구체적으로, 본 발명의 일 실시예에 따라 개념 이해도 추정부(220)는 제1 사용자가 이미 접한 복수의 개념에 대하여 제1 사용자 및 제2 사용자의 개념 이해도를 비교함으로써 제1 사용자의 학습 수준 및 제2 사용자의 학습 수준에 대해 평가할 수 있다. 다음으로, 위와 같이 평가되는 제1 사용자의 학습 수준 및 제2 사용자의 학습 수준과 제2 개념에 관한 제2 사용자의 개념 정오 시퀀스 데이터에 기초하여, 제1 사용자의 제2 개념에 대한 이해도를 추정할 수 있다.

또 다른 예를 들어, 본 발명의 일 실시예에 따라 개념 이해도 추정부(220)는 사용자가 접하지 않은 개념과 사용자가 이미 풀이한 개념 간의 유사도를 평가하여 사용자가 접하지 않은 개념에 대한 이해도를 추정할 수 있다.

예를 들어, 개념 이해도 추정부(220)는 사용자가 접하지 않은 제2 개념이 포함된 제1 문항과 사용자가 접한 제1 개념이 포함된 제2 문항에 대하여 시뮬레이티드 어닐링(simulated annealing) 알고리즘을 적용함으로써 제1 개념 및 제2 개념에 관한 유사도를 평가할 수 있다. 본 발명의 일 실시예에 따르면, 위와 같이 평가되는 개념 간 유사도에 기초하여, 사용자가 접한 개념에 대한 이해도로부터 사용자가 접하지 않은 개념에 대한 이해도를 추정할 수 있다.

한편, 본 발명의 일 실시예에 따라 개념 이해도 추정부(220)는 협업 필터링(collaborative filtering) 알고리즘에 기초하여 사용자가 접하지 않은 개념에 대한 이해도를 추정할 수 있다.

예를 들어, 개념 이해도 추정부(220)는 복수의 개념(예를 들어, 사용자가 이미 접한 제1 개념 및 사용자가 접하지 않은 제2 개념일 수 있음) 및 복수의 사용자의 문항 풀이 결과에 관하여 행렬(matrix) 구조로 표현된 개념별 정오 시퀀스 데이터에 대하여 행렬 분해(matrix factorization) 알고리즘을 이용하여 사용자가 접하지 않은 개념에 대한 이해도를 추정할 수 있다. 또 다른 예를 들어, 개념 이해도 추정부(220)는 복수의 사용자별로 개념 이해도가 추정된 시점이 다르므로 시간 정보 이용(temporal dynamics) 알고리즘을 이용하여 사용자가 접하지 않은 개념에 대한 이해도를 추정할 수 있다.

다음으로, 본 발명의 일 실시예에 따라 모델 평가부(230)는 사용자의 개념 이해도 추정 결과를 이용하여 개념별 이해도 추정 모델을 평가할 수 있다.

예를 들어, 본 발명의 일 실시예에 따른 모델 평가부(230)는 K-겹 교차 검증(k-folds cross validation) 알고리즘에 기초하여 개념별 이해도 추정 모델을 평가할 수 있다. 구체적으로, 본 발명의 일 실시예에 따른 k-겹 교차 검증 알고리즘은 연속적으로 학습과 검증 단계를 교차하여 모델을 평가하는 것으로서, 모든 개념 정오 시퀀스 데이터가 평가되도록 하는 알고리즘을 의미한다. 한편, 본 발명에 따른 모델 평가부(230)가 반드시 위의 알고리즘에 의해 모델을 평가하는 것으로 한정되는 것은 아니며, 본 발명의 목적을 달성할 수 있는 범위 내에서 모델의 최적화를 위한 평가 알고리즘은 다양하게 변경될 수 있다.

다음으로, 본 발명의 일 실시예에 따른 통신부(240)는 시퀀스 데이터 생성부(210), 개념 이해도 추정부(220) 및 모델 평가부(230)로부터의/로의 데이터 송수신이 가능하도록 하는 기능을 수행할 수 있다.

마지막으로, 본 발명의 일 실시예에 따른 제어부(250)는 시퀀스 데이터 생성부(210), 개념 이해도 추정부(220), 모델 평가부(230) 및 통신부(240) 간의 데이터의 흐름을 제어하는 기능을 수행할 수 있다. 즉, 본 발명에 따른 제어부(250)는 개념 이해도 추정 시스템(200)의 외부로부터의/로의 데이터 흐름 또는 개념 이해도 추정 시스템(200)의 각 구성요소 간의 데이터 흐름을 제어함으로써, 시퀀스 데이터 생성부(210), 개념 이해도 추정부(220), 모델 평가부(230) 및 통신부(240)에서 각각 고유 기능을 수행하도록 제어할 수 있다.

도 3은 본 발명의 일 실시예에 따른 개념 정오 시퀀스 데이터를 생성하는 과정을 예시적으로 나타내는 도면이다.

도 3을 참조하면, 본 발명의 일 실시예에 따라 개념별 정오 시퀀스 데이터(330)가 생성되는 과정은 다음과 같다. 본 발명의 일 실시예에 따라 제1 사용자가 시계열적으로 5개 문항을 풀이한 경우, 그 결과에 관한 데이터(310)(예를 들어, 정답을 맞춘 경우는 1, 정답을 틀린 경우는 0이라고 표현할 수 있음)는 [1,1,0,0,1]로 표현된다고 가정해볼 수 있다.

또한, 본 발명의 일 실시예에 따라 위의 사용자의 문항 풀이 결과 데이터(310)가 개념별로 분류되는 전처리가 수행될 수 있다. 예를 들어, 룩업 테이블(320)에 참조하여 첫 번째 문항과 연관되는 학습 개념은 a이고, 두 번째 문항과 연관되는 학습 개념은 b이고, 세 번째 문항과 연관되는 학습 개념은 c이고, 네 번째 문항과 연관되는 학습 개념은 a 및 b이고, 다섯 번째 문항과 연관되는 학습 개념은 b 및 c로 분류될 수 있다. 또 다른 예를 들어, 룩업 테이블(320)을 참조하여 자연어 처리 알고리즘 및 클러스터링 알고리즘을 이용함으로써 문항의 개념별 분류가 수행될 수 있다.

또한, 본 발명의 일 실시예에 따라 사용자의 문항 풀이 결과(310) 및 문항의 개념별 분류에 기초하여 개념별 정오 시퀀스 데이터(330)가 생성될 수 있다. 예를 들어, 개념별 정오 시퀀스 데이터는 개념 a에 대하여 [1, 0], 개념 b에 대하여 [1, 0, 1], 개념 c에 대하여 [0, 1]로 나타낼 수 있다. 또 다른 예를 들어, 개념별 정오 시퀀스 데이터(330)는 개념 및 문항의 풀이 결과에 관하여 행렬(matrix) 구조로 나타낼 수 있다.

한편, 본 발명의 일 실시예에 따라 위의 개념별 정오 시퀀스 데이터(330)에서 최근 풀이한 문항에 대해 높은 가중치가 부여될 수 있다. 예를 들어, 문항 4및 문항 5와 연관되는 개념인 b에 대하여 시계열적 순서에 따라 문항 5는 문항 4보다 최근에 풀이한 문항이므로, 개념 b에 대한 정오 시퀀스 데이터(331)에서 0보다 1에 더 높은 가중치가 부여되어 개념 이해도가 추정될 수 있다.

이상 설명된 본 발명에 따른 실시예는 다양한 컴퓨터 구성요소를 통하여 실행될 수 있는 프로그램 명령어의 형태로 구현되어 컴퓨터 판독 가능한 기록 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능한 기록 매체는 프로그램 명령어, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 컴퓨터 판독 가능한 기록 매체에 기록되는 프로그램 명령어는 본 발명을 위하여 특별히 설계되고 구성된 것이거나 컴퓨터 소프트웨어 분야의 당업자에게 공지되어 사용 가능한 것일 수 있다. 컴퓨터 판독 가능한 기록 매체의 예에는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM 및 DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical medium), 및 ROM, RAM, 플래시 메모리 등과 같은, 프로그램 명령어를 저장하고 실행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령어의 예에는, 컴파일러에 의하여 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용하여 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드도 포함된다. 하드웨어 장치는 본 발명에 따른 처리를 수행하기 위하여 하나 이상의 소프트웨어 모듈로 변경될 수 있으며, 그 역도 마찬가지이다.

이상에서 본 발명이 구체적인 구성요소 등과 같은 특정 사항과 한정된 실시예 및 도면에 의하여 설명되었으나, 이는 본 발명의 보다 전반적인 이해를 돕기 위하여 제공된 것일 뿐, 본 발명이 상기 실시예에 한정되는 것은 아니며, 본 발명이 속하는 기술분야에서 통상적인 지식을 가진 자라면 이러한 기재로부터 다양한 수정과 변경을 꾀할 수 있다.

따라서, 본 발명의 사상은 상기 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등한 또는 이로부터 등가적으로 변경된 모든 범위는 본 발명의 사상의 범주에 속한다고 할 것이다.

100: 통신망
200: 개념 이해도 추정 시스템
210: 시퀀스 데이터 생성부
220: 개념 이해도 추정부
230: 모델 평가부
240: 통신부
250: 제어부
300: 사용자 디바이스

Claims

개념 이해도를 추정하기 위한 방법으로서,
적어도 하나의 사용자가 적어도 하나의 개념과 연관되는 적어도 하나의 문항을 풀이한 결과에 관한 데이터를 참조하여 상기 적어도 하나의 사용자에 대하여 개념별 정오 시퀀스 데이터를 생성하는 단계, 및
상기 개념별 정오 시퀀스 데이터에 기초하여 학습되는 개념별 이해도 추정 모델을 이용하여 제1 사용자의 제1 개념에 대한 이해도를 추정하는 단계를 포함하는
방법.
제1항에 있어서,
상기 개념별 이해도 추정 모델은 베이지안 지식 추적(Bayesian Knowledge Tracing) 알고리즘을 이용하여 학습되는
방법.
제2항에 있어서,
상기 개념별 정오 시퀀스 데이터는 제1 시점에 생성된 제1 시퀀스 데이터 및 상기 제1 시점을 기준으로 상기 제1 시점보다 소정의 시간 이후의 시점인 제2 시점에 생성된 제2 시퀀스 데이터를 포함하고,
상기 개념별 이해도 추정 모델은 상기 제1 시점에 생성된 제1 시퀀스 데이터보다 상기 제2 시점에 생성된 제2 시퀀스 데이터에 높은 가중치를 부여하여 상기 개념별 이해도를 추정하도록 학습되는
방법.
제1항에 있어서,
상기 추정 결과를 이용하여 상기 개념별 이해도 추정 모델을 평가하는 단계를 더 포함하는
방법.
제1항에 따른 방법을 실행하기 위한 컴퓨터 프로그램을 기록하는 비일시성의 컴퓨터 판독 가능 기록 매체,
개념 이해도를 추정하기 위한 시스템으로서,
적어도 하나의 사용자가 적어도 하나의 개념과 연관되는 적어도 하나의 문항을 풀이한 결과에 관한 데이터를 참조하여 상기 적어도 하나의 사용자에 대하여 개념별 정오 시퀀스 데이터를 생성하는 시퀀스 데이터 생성부, 및
상기 개념별 정오 시퀀스 데이터에 기초하여 학습되는 개념별 이해도 추정 모델을 이용하여 제1 사용자의 제1 개념에 대한 이해도를 추정하는 개념 이해도 추정부를 포함하는
시스템.
제6항에 있어서,
상기 개념별 이해도 추정 모델은 베이지안 지식 추적(Bayesian Knowledge Tracing) 알고리즘을 이용하여 학습되는
시스템.
제6항에 있어서,
상기 개념별 정오 시퀀스 데이터는 제1 시점에 생성된 제1 시퀀스 데이터 및 상기 제1 시점을 기준으로 상기 제1 시점보다 소정의 시간 이후의 시점인 제2 시점에 생성된 제2 시퀀스 데이터를 포함하고,
상기 개념별 이해도 추정 모델은 상기 제1 시점에 생성된 제1 시퀀스 데이터보다 상기 제2 시점에 생성된 제2 시퀀스 데이터에 높은 가중치를 부여하여 상기 개념별 이해도를 추정하도록 학습되는
시스템.
제6항에 있어서,
상기 추정 결과를 이용하여 상기 개념별 이해도 추정 모델을 평가하는 모델 평가부를 더 포함하는
시스템.