KR102213480B1 - 사용자를 분석하고 컨텐츠를 제공하기 위한 방법, 장치 및 컴퓨터 프로그램 - Google Patents
사용자를 분석하고 컨텐츠를 제공하기 위한 방법, 장치 및 컴퓨터 프로그램 Download PDFInfo
- Publication number
- KR102213480B1 KR102213480B1 KR1020190024269A KR20190024269A KR102213480B1 KR 102213480 B1 KR102213480 B1 KR 102213480B1 KR 1020190024269 A KR1020190024269 A KR 1020190024269A KR 20190024269 A KR20190024269 A KR 20190024269A KR 102213480 B1 KR102213480 B1 KR 102213480B1
- Authority
- KR
- South Korea
- Prior art keywords
- user
- concept
- vector
- service server
- modeling vector
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 15
- 238000004590 computer program Methods 0.000 title claims description 5
- 239000013598 vector Substances 0.000 claims description 44
- 230000006870 function Effects 0.000 claims description 4
- 238000012545 processing Methods 0.000 claims description 2
- 238000007405 data analysis Methods 0.000 description 34
- 238000004458 analytical method Methods 0.000 description 13
- 230000000694 effects Effects 0.000 description 6
- 238000004422 calculation algorithm Methods 0.000 description 3
- 238000007796 conventional method Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 230000003014 reinforcing effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
- G06Q50/20—Education
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G06N7/005—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N7/00—Computing arrangements based on specific mathematical models
- G06N7/01—Probabilistic graphical models, e.g. probabilistic networks
Landscapes
- Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- Tourism & Hospitality (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Evolutionary Computation (AREA)
- Data Mining & Analysis (AREA)
- General Health & Medical Sciences (AREA)
- Economics (AREA)
- Health & Medical Sciences (AREA)
- Educational Technology (AREA)
- Medical Informatics (AREA)
- General Business, Economics & Management (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Human Resources & Organizations (AREA)
- Strategic Management (AREA)
- Educational Administration (AREA)
- Primary Health Care (AREA)
- Marketing (AREA)
- Probability & Statistics with Applications (AREA)
- Pure & Applied Mathematics (AREA)
- Mathematical Optimization (AREA)
- Mathematical Analysis (AREA)
- Computational Mathematics (AREA)
- Algebra (AREA)
- Electrically Operated Instructional Devices (AREA)
Abstract
본 발명은 서비스 서버에서, 사용자 맞춤형 학습 컨텐츠를 제공하는 방법에 대한 것으로, 상기 서비스 서버에서, 특정 과목에 대한 객관식 문제를 적어도 하나 이상 포함하는 문제 데이터베이스를 구성하고, 상기 문제 데이터베이스에 포함된 문제들 각각에 대해, 상기 문제에 포함되어 있는 개념의 포함도를 추정하는 a 단계; 상기 서비스 서버에서, 상기 문제 데이터베이스에 포함된 상기 문제를 사용자 디바이스에 제공하고, 상기 사용자 디바이스로부터 상기 문제에 대한 상기 사용자의 보기 선택 데이터를 수집하고, 상기 문제에 포함된 보기에 대한 보기별 선택 확률을 추정하는 b 단계; 상기 서비스 서버에서, 상기 사용자의 보기 선택 데이터를 이용하여, 상기 사용자의 상기 개념의 이해도를 추정하는 c 단계; 및 상기 서비스 서버에서, 상기 사용자가 취약한 개념을 추정하고, 상기 추정된 개념을 포함하여 구성된 문제를 추천하는 d 단계를 포함하는 것을 특징으로 한다.
Description
본 발명은 문제와 사용자를 분석하는 방법에 대한 것이다. 본 발명은 문제의 분석 데이터와 사용자의 분석 데이터를 기반으로 각각의 사용자에게 맞춤형 문제를 추천하는 방법에 대한 것이다.
지금까지 교육 컨텐츠는 일반적으로 패키지로 제공되어 왔다. 예를 들어 종이에 기록되는 문제집은 권당 최소 700문제가 수록되어 있으며, 온라인 또는 오프라인 강의 역시 1-2 시간 단위로 최소 한달간 공부할 양을 묶어서 한번에 판매된다.
그러나 교육을 받는 학생들 입장에서는 개별적으로 취약한 단원과 취약한 문제 유형이 모두 상이하기 때문에 패키지 형태보다는 개인 맞춤형 컨텐츠에 대한 니즈가 존재한다. 자신이 취약한 단원의 취약한 문제 유형만을 골라서 학습하는 것이 문제집의 7백 문제 전체를 푸는 것보다 훨씬 효율적이기 때문이다.
그러나 피교육자인 학생들 스스로 자신의 취약점을 파악하는 것은 매우 어렵다. 나아가 학원, 출판사 등 종래의 교육 업계에서도 주관적 경험과 직관에 의존하여 학생 및 문제들을 분석하기 때문에 개별 학생들에게 최적화된 문제를 제공하는 것을 쉽지 않다.
이와 같이 종래의 교육 환경에서는 피교육자가 가장 효율적으로 학습 결과를 낼 수 있는 개인 맞춤형 컨텐츠를 제공하는 것이 쉽지 않으며, 학생들은 패키지 형태의 교육 컨텐츠에 대해 성취감과 흥미를 금방 잃게 되는 문제가 발생한다.
본 발명은 상기와 같은 문제를 해결하는 것을 목적으로 한다. 보다 구체적으로 본 발명은 문제를 분석하고, 사용자를 분석하는 방법 및 컴퓨터 프로그램을 제공하는 것을 목적으로 한다. 나아가 본 발명은 문제의 분석 데이터와 사용자의 분석 데이터를 기반으로 문제 데이터베이스에서 각각의 사용자의 취약점을 보강하기 위한 맞춤형 문제를 추출하는 방법을 제공하는 것을 목적으로 한다.
본 발명은 서비스 서버에서, 사용자 맞춤형 학습 컨텐츠를 제공하는 방법에 대한 것으로, 상기 서비스 서버에서, 특정 과목에 대한 객관식 문제를 적어도 하나 이상 포함하는 문제 데이터베이스를 구성하고, 상기 문제 데이터베이스에 포함된 문제들 각각에 대해, 상기 문제에 포함되어 있는 개념의 포함도를 추정하는 a 단계; 상기 서비스 서버에서, 상기 문제 데이터베이스에 포함된 상기 문제를 사용자 디바이스에 제공하고, 상기 사용자 디바이스로부터 상기 문제에 대한 상기 사용자의 보기 선택 데이터를 수집하고, 상기 문제에 포함된 보기에 대한 보기별 선택 확률을 추정하는 b 단계; 상기 서비스 서버에서, 상기 사용자의 보기 선택 데이터를 이용하여, 상기 사용자의 상기 개념의 이해도를 추정하는 c 단계; 및 상기 서비스 서버에서, 상기 사용자가 취약한 개념을 추정하고, 상기 추정된 개념을 포함하여 구성된 문제를 추천하는 d 단계를 포함하는 것을 특징으로 한다.
본 발명의 실시예를 따르면, 문제와 사용자를 보다 정밀하게 분석할 수 있는 효과가 있다. 나아가 본 발명의 실시예를 따르면, 문제 분석 데이터와 사용자 분석 데이터를 기반으로 문제 데이터베이스에서 각각의 사용자를 위한 문제가 추출될 수 있기 때문에 사용자의 학습 효율이 높아지는 효과가 있다.
도 1은 본 발명의 실시예를 따르는 데이터분석 프레임워크의 동작 내용을 설명하기 위한 도면
본 발명은 이하에 기재되는 실시예들의 설명 내용에 한정되는 것은 아니며, 본 발명의 기술적 요지를 벗어나지 않는 범위 내에서 다양한 변형이 가해질 수 있음은 자명하다. 그리고 실시예를 설명함에 있어서 본 발명이 속하는 기술 분야에 널리 알려져 있고 본 발명의 기술적 요지와 직접적으로 관련이 없는 기술 내용에 대해서는 설명을 생략한다.
한편, 첨부된 도면에서 동일한 구성요소는 동일한 부호로 표현된다. 그리고 첨부 도면에 있어서 일부 구성요소는 과장되거나 생략되거나 개략적으로 도시될 수도 있다. 이는 본 발명의 요지와 관련이 없는 불필요한 설명을 생략함으로써 본 발명의 요지를 명확히 설명하기 위함이다.
최근 IT 디바이스의 보급이 확대되면서, 사용자 분석을 위한 데이터 수집이 용이해지고 있다. 사용자 데이터를 충분히 수집할 수 있으면, 사용자의 분석이 보다 정밀해지고 해당 사용자에게 가장 적합한 형태의 컨텐츠를 제공할 수 있다.
이러한 흐름과 함께 특히 교육 업계에서 사용자 맞춤형 교육 컨텐츠 제공에 대한 니즈가 높다. 학생들은 가장 높은 학습 효과를 볼 수 있는 문제를 공부하고, 한정된 시간에 높은 효율로 공부하기를 원하기 때문이다.
간단한 예를 들어, 어떤 사용자가 영어 과목에서 <동사의 시제>에 대한 이해도가 떨어지는 경우, <동사의 시제>에 대한 개념을 포함하고 있는 문제를 추천할 수 있으면 학습 효율은 보다 높아질 것이다. 그런데 이와 같이 사용자 맞춤형 교육 컨텐츠를 제공하기 위해서는 각각의 컨텐츠 및 사용자 개개인에 대한 정밀한 분석이 필요하다.
삭제
삭제
삭제
본 발명은 상기와 같은 문제를 해결하기 위한 것으로, 본 발명의 실시예를 따르는 데이터 분석 서버는 학습 데이터 분석에 머신 러닝 프레임워크를 적용하여 학습 데이터를 정밀하게 분석할 수 있다.
예를 들어 본 발명의 실시예를 따르면, 문제 데이터베이스를 구성하고, 문제 데이터베이스로부터 문제 세트를 구성하고, 상기 문제 세트에 대한 사용자의 문제 풀이 결과 데이터를 수집하고, 사용자가 문제를 맞았는지 틀렸는지를 기준으로 사용자 모델링 벡터를 생성할 수 있다. 상기 사용자 모델링 벡터의 값은 해당 사용자의 전체 사용자들에 대한 특성을 표현한 것으로 해석될 수 있다.
삭제
나아가 상기 사용자 모델링 벡터 및/또는 문제 모델링 벡터을 이용하여 전체 사용자에서 특정 사용자의 위치, 특정 사용자와 유사한 그룹으로 클러스터링할 수 있는 다른 사용자, 다른 사용자와 해당 사용자의 유사도, 전체 문제에서 특정 문제의 위치, 상기 문제와 유사한 그룹으로 클러스터링할 수 있는 다른 문제, 다른 문제와 해당 문제의 유사도 등을 수학적으로 계산할 수 있다. 나아가 적어도 하나 이상의 속성을 기준으로 사용자 및 문제를 클러스터링할 수 있다.
이때 본 발명에서 상기 사용자 모델링 벡터, 상기 문제 모델링 벡터들이 어떤 속성, 또는 피처를 포함하고 있는지는 제한하여 해석될 수 없음을 유의해야 한다.
예를 들어 본 발명의 실시예를 따르면, 상기 사용자 모델링 벡터은 상기 사용자가 임의의 개념에 대해 이해하고 있는 정도, 즉 개념의 이해도를 포함할 수 있다. 나아가 상기 문제 모델링 벡터는 상기 문제가 어떤 개념들로 구성되어 있는지, 즉 개념 구성도를 포함할 수 있다.
그런데 학습 데이터를 분석하기 위해서는, 몇가지 해결해야 할 문제가 존재한다.
첫번째는 문제 풀이 결과로 정오답 여부만을 모델 생성을 위한 파라미터로 사용하는 경우에는 임의의 신뢰도 이상의 분석 결과를 제공하기 위해서는 문제 풀이 결과 데이터를 대량으로 수집해야 한다는 것이다.
객관식 문제는 지문뿐만 아니라 보기 요소가 포함되어 구성된다. 그런데 분석의 소스로 정오답 여부만을 반영하는 종래의 방법에 따르면 두 학생이 같은 문제를 틀렸으나 다른 선택지를 골랐을 경우, 두 학생의 사용자 모델링 벡터 계산에 해당 문제가 미치는 영향은 동일할 것이다.
다시 말하면, 어떤 학생이 어떤 문제를 <동명사>에 대한 보기를 선택하면서 틀린 경우와 <동사의 시제>에 대한 보기를 선택하면서 틀린 경우, 종래의 방식에 따르면 해당 문제의 벡터값 계산에 해당 학생의 풀이 결과 데이터가 미치는 영향은 동일하고, 해당 문제의 풀이 결과는 사용자 분석에 충분히 반영되지 못하고 실질적으로 희석될 것이다.
따라서 두 학생이 각각 동명사에 대한 이해도와 동사의 시제에 대한 이해도가 떨어진다는 것을 결과값을 얻기 위해서는 희석된 결과를 극복할 수 있을 정도의 보다 많은 양의 문제 풀이 결과 데이터의 수집이 요구될 것이다.
즉, 정오답 결과만을 데이터 분석을 위한 입력 값으로 사용하는 종래의 방식을 따르면, 문제와 사용자를 임의의 범위 이상의 신뢰도로 분석하기 위해서는 보다 많은 양의 문제 풀이 결과 데이터가 수집돼야 한다.
본 발명의 실시예를 따르면 상기와 같은 문제를 해결할 수 있다. 보다 구체적으로, 본 발명의 실시예를 따르면 문제 풀이 결과 데이터에서 사용자가 선택한 보기 파라미터를 적용하여 사용자 및/또는 문제를 분석할 수 있다. 이를 통해, 동일한 문제 풀이 결과 데이터를 해당 문제의 보기 개수만큼 확장할 수 있어, 동일한 결과 데이터를 가지고 보다 정밀하게 사용자와 문제를 분석할 수 있는 효과가 있다.
도 1은 본 발명의 실시예를 따라 문제 풀이 결과 데이터를 분석하는 방법을 설명하기 위한 순서도이다.
단계 110 및 단계 1205는 본 발명의 실시예를 따르는 데이터 분석 시스템에서 학습 데이터를 수집하고 문제 및/또는 사용자를 모델링하는 단계이다.
본 발명의 실시예를 따르면 단계 110에서 전체 문제와 전체 사용자에 대해 풀이 결과 데이터가 수집될 수 있다.
보다 구체적으로, 데이터 분석 서버는 문제 데이터베이스를 구성하고, 상기 문제 데이터베이스에 속하는 전체 문제들에 대한 전체 사용자의 풀이 결과 데이터를 수집할 수 있다.
나아가 데이터 분석 서버는 사용자가 해당 문제들을 푼 결과를 수집하는 방식으로 풀이 결과 데이터를 수집할 수 있다. 상기 문제 데이터베이스는 듣기 평가 문제를 포함하고, 텍스트, 이미지, 오디오, 및/또는 동영상 형태일 수 있다.
이때 데이터 분석 서버는 수집된 문제 풀이 결과 데이터를 사용자, 문제, 결과에 대한 리스트 형태로 구성할 수 있다. 예를 들어 Y (u, i)는 사용자 u가 문제 i를 푼 결과를 의미하며, 정답인 경우 1, 오답인 경우 0의 값이 부여될 수 있다.
나아가 본 발명의 실시예를 따르는 데이터 분석 서버는 사용자와 문제로 구성된 다차원 공간을 구성하고, 사용자가 문제를 맞았는지 틀렸는지를 기준으로 상기 다차원 공간에 값을 부여하여, 각각의 사용자 및/또는 문제에 대한 모델링 벡터를 계산할 수 있다. (단계 120) 이때 상기 사용자 모델링 벡터 및/또는 문제 모델링 벡터가 포함하는 피처는 특정되지 않는 것으로 해석되어야 한다.
본 발명의 실시예를 따르는 데이터 분석 프레임워크에서 사용자와 문제를 모델링하는 이유는 궁극적으로는 특정 사용자가 특정 문제를 맞출지 틀릴지를 정밀하게 예측하기 위한 것이다.
그런데 사용자의 문제에 대한 정답률은 전술한 바와 같이 사용자의 정오답 결과를 수집하여 분석하는 방식으로 추정할 수 있지만, 보기의 선택 확률을 이용하여 추정할 수도 있다.
예를 들어 제 1 사용자가 특정 문제에 대한 보기 선택 확률이 (0.1, 0.2, 0, 0.7)인 경우, 사용자는 높은 확률로 보기 4번을 선택할 것이고, 해당 문제의 정답이 4번인 경우, 제 1 사용자는 그 문제를 맞을 확률이 높을 것으로 예상할 수 있다.
나아가 문제의 난이도는 전체 사용자들의 정오답 결과를 수집하여 분석하는 방식으로 추정할 수도 있지만, 보기의 선택확률을 이용하여 추정할 수도 있다.
예를 들어 4지 선다형으로 구성된 특정 문제에 대해 사용자들의 보기 선택 확률이 (0.5, 0.1, 0.3, 0.6)인 경우, 사용자들이 제 2 문제에서 보기 1번을 고를 확률과 보기 4번을 고를 확률이 비슷하므로, 제 2 문제는 난이도가 높은 것으로 분류할 수 있다.
이를 위해 도 1의 예에서 데이터 분석 서버는 전체 문제와 전체 사용자에 대한 풀이 결과 데이터를 사용자가 선택한 보기 요소를 포함하여 수집할 수 있다. (단계 130) 보다 구체적으로 데이터 분석 서버는 문제 데이터베이스를 구성하고, 상기 문제 데이터베이스에 속하는 전체 문제들에 대해 전체 사용자가 어떤 보기를 선택했는지에 대한 결과 데이터를 수집할 수 있다.
예를 들어 데이터 분석 서버는 시중에 나와 있는 각종 문제들에 대한 데이터베이스를 구축하고, 사용자가 해당 문제에서 어떤 보기를 선택했는지, 보기 선택 결과를 수집하는 방식으로 풀이 결과 로그를 수집할 수 있으며, 추가적으로 해당 문제에 대한 정오답 결과를 수집할 수도 있다. 이때 데이터분석 서버는 사용자, 문제, 해당 사용자가 해당 문제에서 선택한 보기에 대한 리스트를 구성할 수 있다.
이후 데이터분석 서버는 하나의 문제를 보기 단위로 확장하여 데이터 분석 처리를 수행할 수 있다. (단계 140)
예를 들어 문제 i가 사지선다형 문제인 경우, 문제 i는 (i, 1) (i, 2) (i, 3) (i, 4)의 변수 4개로 확장되며, 각 문제-보기의 각 사용자의 선택 여부가 값으로 부여될 수 있다.
예를 들어 E (i, j)는 문제 i의 보기 j를 의미하며, Y' (u, E)는 사용자 u가 문제 i의 보기 j를 선택했는지를 의미하며, 본 발명의 실시예를 따르면 선택한 경우 1, 선택하지 않은 경우 0의 값이 부여될 수 있다.
나아가 데이터 분석 서버는 사용자 및 문제-보기를 변수로 다차원 공간을 구성하고, 사용자가 해당 문제-보기를 선택했는지를 기준으로 상기 다차원 공간에 값을 부여하여, 각각의 사용자 및/또는 문제-보기에 대한 모델을 계산할 수 있다. (단계 150)
본 발명의 실시예를 따르는 데이터 분석 서버는 상기 사용자 모델링 벡터 및/또는 상기 문제-보기 모델을 이용하여 임의의 사용자가 임의의 문제-보기를 선택할 확률, 즉 선택률을 추정할 수도 있다.
이때 상기 사용자 모델링 벡터 및/또는 문제-보기 모델링 벡터에 다양한 알고리즘을 적용하여 상기 선택률을 추정할 수 있으며, 본 발명을 해석함에 있어 선택률을 계산하기 위한 알고리즘은 제한되지 않는다. 간단한 예로는, 보기 선택률은 다른 사용자가 해당 문제의 각각의 보기를 선택한 비율을 계산하는 방식으로 추정될 수도 있다.
또 다른 예로 본 발명의 실시예를 따르면, 아래의 수학식 1과 같은 시그모이드 함수를 적용하여 사용자의 문제-보기 선택률을 추정할 수 있다. (x는 문제-보기 모델링 벡터, θ는 사용자 모델링 벡터)
[수학식 1]
hθ(x) = 1 / ( 1 + e( -θ * T * X) )
나아가 본 발명의 실시예를 따르는 데이터 분석 서버는 문제의 정답률을 추정할 수 있다. 이때 본 발명을 해석함에 있어 정답률을 계산하기 위한 알고리즘은 제한하여 해석될 수 없다. 간단한 예로는, 정답률은 다른 사용자의 해당 문제에 대한 정답 비율을 계산하는 방식으로 추정될 수도 있다.
또 다른 예로 정답률은 특정 문제에 대한 사용자의 보기 선택률을 이용하여 추정될 수도 있다.예를 들어 4지 선다형으로 구성된 특정 문제에 대해 특정 사용자의 보기 선택 확률이 (0.5, 0.1, 0.3, 0.6)이며, 정답 보기는 1번인 경우, 상기 사용자가 해당 문제를 맞출 확률은 얼마인지가 문제된다. 즉, 해당 문제에 대한 복수의 보기 선택률을 이용하여 해당 문제의 정답률을 추정하는 방법을 고려할 수 있다.
본 발명의 실시예를 따라 보기 선택률을 문제 정답률로 환원하는 간단한 방식으로는 전체 보기의 선택률 대비 정답 보기의 선택률을 비교하는 방법을 고려할 수 있다. 이 경우 앞의 예에서 해당 사용자의 해당 문제에 대한 정답률은 0.5 / (0.5+0.1+0.3+0.6)로 계산할 것이다. 그러나 사용자는 문제를 풀이할 때는 보기 단위로 구분하여 해당 문제를 이해하는 것이 아니라, 전체 보기에 대한 구성 및 문제의 출제 의도를 포함하여 문제 단위로 이해하기 때문에 보기 선택률과 정답률은 단순 연결될 수 없다.
따라서 본 발명의 실시예를 따르면, 해당 문제의 전체 보기 선택률을 평균화하고 정답 보기의 평균화된 선택률을 전체 보기의 선택률에 적용하는 방식으로 보기 선택률로부터 해당 문제의 정답률을 추정할 수 있다.
앞의 예에서 보기의 선택 확률이 (0.5, 0.1, 0.3, 0.6)인 경우, 이를 전체 보기에 대해 평균화하면 각각의 보기 선택률은 (0.33, 0.07, 0.20, 0.41)로 스케일이 변경될 수 있다. 정답 보기가 1번인 경우, 보기 1의 평균화된 선택률은 0.33으로, 해당 사용자의 해당 문제에 대한 정답률은 33%로 추정될 수 있다.
나아가 본 발명의 실시예를 따르는 데이터 분석 서버는 사용자의 문제-보기 선택 확률을 이용하여 문제의 정답률을 추정할 수 있으며, 이를 통해 특정 개념에 대한 사용자의 이해도를 추정할 수 있다.
나아가 데이터 분석 서버는 특정 사용자의 특정 문제에 대한 학습 효율을 계산할 수 있다. (단계 165)
예를 들어 데이터 분석 서버는 해당 사용자가 틀릴 확률이 높은 문제가 해당 사용자에게 학습효율이 높을 것으로 계산할 수 있다. 또 다른 예로 데이터 분석 서버는 해당 사용자가 취약한 개념을 포함하는 문제 모델링 벡터을 가지는 문제가 해당 사용자에게 학습효율이 높을 것으로 계산할 수 있다. 또 다른 예로 데이터 분석 서버는 문제의 보기별 선택률을 기반으로 해당 사용자의 특정 문제에 대한 학습 효율을 계산할 수 있다.
본 발명의 실시예를 따르는 데이터 분석 서버는 전술한 바와 같이, 문제의 보기 단위의 모델링 벡터과 사용자 모델링 벡터를 이용하여 각각의 사용자에 대해 문제의 보기 단위의 선택 확률 및 해당 사용자의 문제 단위의 정답 확률을 계산할 수 있다. 이를 바탕으로 본 발명의 실시예를 따르는 데이터 분석 서버는, 특정 사용자의 임의의 문제의 보기별 선택 확률에 상기 사용자가 해당 보기를 선택한 경우, 다른 문제의 정답률 변경값의 평균값을 적용하면 해당 문제의 학습 효율을 계산할 수 있다.
예를 들어 사용자 A의 특정 문제 a의 제 1 보기에 대한 선택률이 a1, 제 2 보기에 대한 선택률이 a2, 제 3 보기에 대한 선택률이 a3, 제 4 보기에 대한 선택률이 a4인 경우를 고려할 수 있다.
그때, 사용자 A가 해당 문제에 대해 제 1 보기를 선택한 것으로 가정하면, 사용자 A의 모델링 벡터 및 전체 문제들의 모델링 벡터는 사용자 A의 제 1 보기 선택 이벤트가 적용하여 다소 변경될 것이며, 변경된 모델링 벡터에 따라 각 문제들의 정답률이 다소 변경될 것이다. 이에 따라 데이터 분석 서버는 사용자 A의 제 1 보기 선택에 대한 가상 이벤트를 적용하여 전체 문제들의 정답률 변경 평균값 AVC_a1을 계산할 수 있다.
동일한 방법으로 데이터 분석 서버는 사용자 A가 제 2 보기를 선택한 것으로 가정하여 AVC_a2를 계산하고, 제 3 보기를 선택한 것으로 가정하여 AVC_a3를 계산하고, 제 4 보기를 선택한 것으로 가정하여 AVC_a4를 계산할 수 있다.
이후 데이터 분석 서버는 사용자 A의 문제 a를 통한 학습효율 E(A,a)를 아래의 수식을 통해 계산할 수 있다.
[수학식 2]
E(A,a)= a1* AVC_a1 + a2* AVC_a2 + a3* AVC_a3 + a4* AVC_a4
나아가 데이터 분석 서버는 전체 문제에 대해 E(A)를 계산하고, E(A)가 가장 높은 문제 순으로 학습 효율이 높은 것으로 추정할 수 있다.
나아가 본 발명의 실시예를 따르는 데이터 분석 서버는 사용자 맞춤형 컨텐츠를 추천할 수 있다. 예를 들어 데이터 분석 서버는 문제 데이터베이스에 포함된 문제를 해당 사용자에게 학습 효율이 높은 순서로 추출하여 사용자 맞춤형 문제를 제공할 수 있다. (단계 170) 즉, 본 발명의 실시예를 따르면 임의의 사용자에게 가장 학습 효율이 높은 문제를 제공할 수 있다.
또 다른 예로 데이터 분석 서버는 사용자 모델링 벡터, 문제-보기 모델링 벡터, 보기 선택률, 문제의 정답률, 사용자의 개념 이해도 및 문제의 개념 구성도 중 적어도 하나 이상을 이용하여 사용자 맞춤형 컨텐츠를 추천할 수 있다.
예를 들어 데이터 분석 서비스 서버는 특정 개념에 대한 이해도가 낮은 사용자에게 해당 개념에 대한 심화 강좌를 추천할 수 있다.
또 다른 예로 데이터 분석 서비스 서버는 복수의 개념을 모두 포함하는 문제에 대한 정답률이 낮은 사용자에게 상기 복수의 개념을 포함하도록 구성된 문제를 추천할 수 있다.
나아가 서비스 서버는 문제 데이터베이스 세트 중 사용자가 이미 풀어본 문제를 제외하고, 나머지 문제들을 특정 사용자에 대한 정답률이 낮은 순서대로 정렬하여 해당 사용자에 대한 추천 문제 리스트를 작성하고 이를 제공할 수 있다.
예를 들어 사용자-문제 정답률 P의 1번 행의 값이 [0.3, 0.4, 0.1, 0.9, 0.7]인 경우 사용자 1이 문제 1, 2, 3, 4, 5를 맞출 확률이 각각 30%, 40%, 10%, 90%, 70%인 것으로 해석될 것이다. 서비스 서버는 문제 3, 1, 2, 5, 4의 순서로 우선순위를 부여한 문제 추천 리스트를 사용자에게 제공할 수 있다. 이때 문제 5번을 사용자 1이 이미 풀었다면 서비스 서버는 문제 5번은 제외하고 문제 추천 리스트를 작성할 수 있다.
본 명세서와 도면에 게시된 본 발명의 실시 예들은 본 발명의 기술 내용을 쉽게 설명하고 본 발명의 이해를 돕기 위해 특정 예를 제시한 것뿐이며, 본 발명의 범위를 한정하고자 하는 것은 아니다. 여기에 게시된 실시 예들 이외에도 본 발명의 기술적 사상에 바탕을 둔 다른 변형 예들이 실시 가능하다는 것은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 자명한 것이다.
Claims (6)
- 서비스 서버에서, 사용자 맞춤형 학습 컨텐츠를 제공하는 방법에 있어서,
상기 서비스 서버에서, 특정 과목에 대한 객관식 문제를 적어도 하나 이상 포함하는 문제 데이터베이스를 구성하는 a 단계;
상기 서비스 서버에서, 상기 문제 데이터베이스에 포함된 상기 문제를 사용자 디바이스에 제공하고, 상기 사용자 디바이스로부터 상기 문제에 대한 상기 사용자의 보기 선택 데이터를 수집하는 b 단계;
상기 서비스 서버에서, 상기 사용자의 보기 선택 데이터를 이용하여, 상기 사용자의 개념의 이해도에 대한 정보를 포함하는 사용자 모델링 벡터를 계산하고, 상기 문제의 상기 개념의 포함도에 대한 정보를 포함하는 문제 모델링 벡터를 상기 문제의 보기별로 계산하는 c 단계; 및
상기 서비스 서버에서, 상기 문제 모델링 벡터 및 상기 사용자 모델링 벡터를 이용하여 사용자가 취약한 개념을 추정하고, 상기 추정된 개념을 포함하여 구성된 문제를 추천하는 d 단계를 포함하는 것을 특징으로 하는 학습 컨텐츠 제공 방법. - 제 1항에 있어서, 상기 c 단계는,
상기 서비스 서버에서, 상기 문제 모델링 벡터 및 상기 사용자 모델링 벡터를 이용하여 상기 사용자의 상기 문제에 대한 정답률을 계산하는 단계를 포함하는 것을 특징으로 하는 학습 컨텐츠 제공 방법. - 사용자 맞춤형 학습 컨텐츠를 제공하는 서비스 서버에 있어서,
특정 과목에 대한 객관식 문제를 적어도 하나 이상 포함하는 문제 데이터베이스; 및
상기 문제 데이터베이스에 포함된 상기 문제를 사용자 디바이스에 제공하고, 상기 사용자 디바이스로부터 상기 문제에 대한 상기 사용자의 보기 선택 데이터를 수집하고, 상기 사용자의 보기 선택 데이터를 이용하여, 상기 사용자의 개념의 이해도에 대한 정보를 포함하는 사용자 모델링 벡터를 계산하고, 상기 문제의 상기 개념의 포함도에 대한 정보를 포함하는 문제 모델링 벡터를 상기 문제의 보기별로 계산하고, 상기 문제 모델링 벡터 및 상기 사용자 모델링 벡터를 이용하여 상기 사용자가 취약한 개념을 추정하고 상기 사용자가 취약한 개념을 포함하여 구성된 문제를 추천하는 제어부를 포함하는 것을 특징으로 하는 서비스 서버. - 제 3항에 있어서, 상기 제어부는,
상기 문제 모델링 벡터 및 상기 사용자 모델링 벡터를 이용하여 상기 사용자의 상기 문제에 대한 정답률을 계산하는 것을 특징으로 하는 서비스 서버. - 서비스 서버에서, 사용자 맞춤형 학습 컨텐츠를 제공하는 처리를 수행하기 위해 컴퓨터 판독가능한 기록매체에 저장된 컴퓨터 프로그램에 있어서,
특정 과목에 대한 객관식 문제를 적어도 하나 이상 포함하는 문제 데이터베이스를 구성하는 기능;
상기 문제 데이터베이스에 포함된 상기 문제를 사용자 디바이스에 제공하고, 상기 사용자 디바이스로부터 상기 문제에 대한 상기 사용자의 보기 선택 데이터를 수집하는 기능;
상기 사용자의 보기 선택 데이터를 이용하여, 상기 사용자의 개념의 이해도에 대한 정보를 포함하는 사용자 모델링 벡터를 계산하고, 상기 문제의 상기 개념의 포함도에 대한 정보를 포함하는 문제 모델링 벡터를 상기 문제의 보기별로 계산하는기능; 및
상기 문제 모델링 벡터 및 상기 사용자 모델링 벡터를 이용하여 상기 사용자가 취약한 개념을 추정하고, 상기 추정된 개념을 포함하여 구성된 문제를 추천하는 기능을 수행하는 것을 특징으로 하는 컴퓨터 프로그램. - 제 5항에 있어서, 상기 컴퓨터 프로그램은,
상기 문제 모델링 벡터 및 상기 사용자 모델링 벡터를 이용하여 상기 사용자의 상기 문제에 대한 정답률을 계산하는 기능을 수행하는 것을 특징으로 하는 컴퓨터 프로그램.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020190024269A KR102213480B1 (ko) | 2019-02-28 | 2019-02-28 | 사용자를 분석하고 컨텐츠를 제공하기 위한 방법, 장치 및 컴퓨터 프로그램 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020190024269A KR102213480B1 (ko) | 2019-02-28 | 2019-02-28 | 사용자를 분석하고 컨텐츠를 제공하기 위한 방법, 장치 및 컴퓨터 프로그램 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020180046835A Division KR101996249B1 (ko) | 2018-04-23 | 2018-04-23 | 개인 맞춤형 교육 컨텐츠를 제공하기 위한 기계학습 프레임워크 운용 방법, 장치 및 컴퓨터 프로그램 |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20190025872A KR20190025872A (ko) | 2019-03-12 |
KR102213480B1 true KR102213480B1 (ko) | 2021-02-08 |
Family
ID=65800112
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020190024269A KR102213480B1 (ko) | 2019-02-28 | 2019-02-28 | 사용자를 분석하고 컨텐츠를 제공하기 위한 방법, 장치 및 컴퓨터 프로그램 |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR102213480B1 (ko) |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101285217B1 (ko) | 2011-10-06 | 2013-07-11 | 주식회사 퀀트랩 | 큐벡터를 이용한 문항출제 시스템 및 방법 |
JP2016109981A (ja) | 2014-12-09 | 2016-06-20 | 株式会社日立製作所 | 学習管理システムおよび学習管理方法 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20150102476A (ko) * | 2014-02-28 | 2015-09-07 | 안명훈 | 자기 완성형 학습을 위한 개인 맞춤형 스마트 교육 방법 |
KR101642577B1 (ko) * | 2014-07-15 | 2016-07-27 | 한양대학교 산학협력단 | 효과적인 학습 독려와 가이드 및 학습 전략 수립 서비스 제공을 위한 스마트 개인화 학습 가이드 방법 및 시스템 |
KR20160117097A (ko) | 2015-03-31 | 2016-10-10 | 이소열 | 추정필터를 이용한 교육 성과 예측 방법 및 시스템 |
-
2019
- 2019-02-28 KR KR1020190024269A patent/KR102213480B1/ko active IP Right Grant
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101285217B1 (ko) | 2011-10-06 | 2013-07-11 | 주식회사 퀀트랩 | 큐벡터를 이용한 문항출제 시스템 및 방법 |
JP2016109981A (ja) | 2014-12-09 | 2016-06-20 | 株式会社日立製作所 | 学習管理システムおよび学習管理方法 |
Also Published As
Publication number | Publication date |
---|---|
KR20190025872A (ko) | 2019-03-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR102213479B1 (ko) | 교육 컨텐츠를 제공하는 방법, 장치 및 컴퓨터 프로그램 | |
US11417232B2 (en) | Method, apparatus, and computer program for operating machine-learning framework | |
JP7474517B2 (ja) | 学習効率に基づいて個人カスタマイズ型教育コンテンツを提供するための機械学習方法、装置及びコンピュータプログラム | |
US11238749B2 (en) | Method, apparatus, and computer program for providing personalized educational content | |
JP7054558B2 (ja) | アクティブ学習手法を適用した機械学習フレームワークの運用方法、装置及びコンピュータプログラム | |
US20210005099A1 (en) | Educational and content recommendation management system | |
US20200193317A1 (en) | Method, device and computer program for estimating test score | |
KR102213481B1 (ko) | 사용자 맞춤형 컨텐츠를 제공하기 위한 방법, 장치 및 컴퓨터 프로그램 | |
KR101895959B1 (ko) | 기계학습 프레임워크의 분석 결과를 해석하는 방법, 장치 및 컴퓨터 프로그램 | |
KR102075936B1 (ko) | 학습 효율을 기반으로 개인 맞춤형 교육 컨텐츠를 제공하기 위한 기계학습 방법, 장치 및 컴퓨터 프로그램 | |
KR101836206B1 (ko) | 개인 맞춤형 교육 컨텐츠를 제공하는 방법, 장치 및 컴퓨터 프로그램 | |
KR101996249B1 (ko) | 개인 맞춤형 교육 컨텐츠를 제공하기 위한 기계학습 프레임워크 운용 방법, 장치 및 컴퓨터 프로그램 | |
KR102213480B1 (ko) | 사용자를 분석하고 컨텐츠를 제공하기 위한 방법, 장치 및 컴퓨터 프로그램 | |
KR101895963B1 (ko) | 신규 사용자를 분석하는 방법 | |
KR102213482B1 (ko) | 교육 컨텐츠 및 상기 컨텐츠의 사용자를 분석하는 방법, 장치 및 컴퓨터 프로그램 | |
KR20190049435A (ko) | 신규 사용자를 분석하는 방법, 장치 및 컴퓨터 프로그램 | |
JP2022163824A (ja) | 教育支援装置、教育支援方法、およびプログラム | |
Burdescu et al. | Question recommender with ML business logic |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A107 | Divisional application of patent | ||
A201 | Request for examination | ||
E902 | Notification of reason for refusal | ||
AMND | Amendment | ||
E601 | Decision to refuse application | ||
AMND | Amendment | ||
E90F | Notification of reason for final refusal | ||
AMND | Amendment | ||
X701 | Decision to grant (after re-examination) | ||
GRNT | Written decision to grant |