KR101816665B1 - 객관식 문항 학습 데이터를 분석하는 방법 - Google Patents
객관식 문항 학습 데이터를 분석하는 방법 Download PDFInfo
- Publication number
- KR101816665B1 KR101816665B1 KR1020160022615A KR20160022615A KR101816665B1 KR 101816665 B1 KR101816665 B1 KR 101816665B1 KR 1020160022615 A KR1020160022615 A KR 1020160022615A KR 20160022615 A KR20160022615 A KR 20160022615A KR 101816665 B1 KR101816665 B1 KR 101816665B1
- Authority
- KR
- South Korea
- Prior art keywords
- tag
- user
- weight
- wrong
- option
- Prior art date
Links
- 238000004458 analytical method Methods 0.000 title claims abstract description 45
- 238000000034 method Methods 0.000 title claims abstract description 29
- 238000004590 computer program Methods 0.000 title description 2
- 230000009467 reduction Effects 0.000 claims abstract description 25
- 238000012360 testing method Methods 0.000 claims abstract description 11
- 230000008859 change Effects 0.000 claims description 13
- 238000007865 diluting Methods 0.000 claims 2
- 238000007405 data analysis Methods 0.000 description 14
- 230000008569 process Effects 0.000 description 10
- 230000000694 effects Effects 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 238000010790 dilution Methods 0.000 description 3
- 239000012895 dilution Substances 0.000 description 3
- 238000007796 conventional method Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 1
- 230000004931 aggregating effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
- G09B7/00—Electrically-operated teaching apparatus or devices working with questions and answers
- G09B7/02—Electrically-operated teaching apparatus or devices working with questions and answers of the type wherein the student is expected to construct an answer to the question which is presented or wherein the machine gives an answer to the question presented by a student
- G09B7/04—Electrically-operated teaching apparatus or devices working with questions and answers of the type wherein the student is expected to construct an answer to the question which is presented or wherein the machine gives an answer to the question presented by a student characterised by modifying the teaching programme in response to a wrong answer, e.g. repeating the question, supplying a further explanation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/33—Querying
- G06F16/335—Filtering based on additional data, e.g. user or group profiles
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/901—Indexing; Data structures therefor; Storage structures
- G06F16/9027—Trees
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/95—Retrieval from the web
- G06F16/953—Querying, e.g. by the use of web search engines
- G06F16/9535—Search customisation based on user profiles and personalisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q30/00—Commerce
- G06Q30/02—Marketing; Price estimation or determination; Fundraising
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q30/00—Commerce
- G06Q30/02—Marketing; Price estimation or determination; Fundraising
- G06Q30/0207—Discounts or incentives, e.g. coupons or rebates
- G06Q30/0224—Discounts or incentives, e.g. coupons or rebates based on user history
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
- G06Q50/20—Education
Landscapes
- Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Databases & Information Systems (AREA)
- Strategic Management (AREA)
- Tourism & Hospitality (AREA)
- Data Mining & Analysis (AREA)
- Economics (AREA)
- Marketing (AREA)
- General Business, Economics & Management (AREA)
- General Engineering & Computer Science (AREA)
- Educational Technology (AREA)
- Educational Administration (AREA)
- Primary Health Care (AREA)
- Accounting & Taxation (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Human Resources & Organizations (AREA)
- Finance (AREA)
- Development Economics (AREA)
- Game Theory and Decision Science (AREA)
- Entrepreneurship & Innovation (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Electrically Operated Instructional Devices (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
본 발명의 전자 장치가 개인 맞춤형 교육 컨텐츠를 제공하는 방법에 대한 것으로, 특정 과목의 학습 요소를 트리 구조로 나열하여 세부 학습 요소에 대한 태그 세트를 생성하고, 상기 태그의 분석 그룹을 지정하는 a 단계; 문제의 오답 선택지 각각에 오답 태그를 인덱싱하여 문제의 구조 정보를 생성하는 b 단계; 사용자 테스트 결과를 조회하여, 상기 분석 그룹별로 사용자 정복률을 계산하는 c 단계; 및 상기 문제의 구조 정보 및 상기 사용자 정복률 중 적어도 하나 이상을 이용하여 사용자 맞춤형 문제를 제공하는 d 단계를 포함하는 것을 특징으로 한다.
Description
본 발명은 학습 데이터를 분석하는 방법에 대한 것이다. 보다 구체적으로 본 발명은 문제의 구조 정보를 학습 주제 또는 출제 의도에 대한 태그를 이용하여 생성하고, 문제 유형에 대한 사용자의 정복률을 고려하여 학습 효과를 높일 수 있는 컨텐츠를 추출할 수 있는 방법을 제공하기 위한 것이다.
지금까지 교육 컨텐츠는 일반적으로 패키지로 제공되어 왔다. 예를 들어 종이에 기록되는 문제집은 권당 최소 700문제가 수록되어 있으며, 온라인 또는 오프라인 강의 역시 1-2 시간 단위로 최소 한달간 공부할 양을 묶어서 한번에 판매된다.
그러나 교육을 받는 학생들 입장에서는 개별적으로 취약한 단원과 취약한 문제 유형이 모두 상이하기 때문에 패키지 형태보다는 개인 맞춤형 컨텐츠에 대한 니즈가 존재한다. 자신이 취약한 단원의 취약한 문제 유형만을 골라서 학습하는 것이 문제집의 7백 문제 전체를 푸는 것보다 훨씬 효율적이기 때문이다.
그러나 피교육자인 학생들 스스로 자신의 취약점을 파악하는 것은 매우 어렵다. 나아가 학원, 출판사 등 종래의 교육 업계에서도 주관적 경험과 직관에 의존하여 학생 및 문제들을 분석하기 때문에 개별 학생들에게 최적화된 문제를 제공하는 것을 쉽지 않다.
이와 같이 종래의 교육 환경에서는 피교육자가 가장 효율적으로 학습 결과를 낼 수 있는 개인 맞춤형 컨텐츠를 제공하는 것이 쉽지 않으며, 학생들은 패키지 형태의 교육 컨텐츠에 대해 성취감과 흥미를 금방 잃게 되는 문제가 발생한다.
본 발명은 상기와 같은 문제를 해결하는 것을 목적으로 한다. 보다 구체적으로 본 발명은, 본 발명은 문제의 주제, 출제 의도 및/또는 유형에 대한 사용자 각각의 취약 부분을 파악하여 가장 학습 효과를 높일 수 있는 사용자 맞춤형 교육 컨텐츠를 제공할 수 있는 방법 및 장치를 제공하는 것을 목적으로 한다.
본 발명의 실시예를 따르는 전자 장치가 개인 맞춤형 교육 컨텐츠를 제공하는 방법은, 특정 과목의 학습 요소를 트리 구조로 나열하여 세부 학습 요소에 대한 태그 세트를 생성하고, 상기 태그의 분석 그룹을 지정하는 a 단계; 문제의 오답 선택지 각각에 오답 태그를 인덱싱하여 문제의 구조 정보를 생성하는 b 단계; 사용자 테스트 결과를 조회하여, 상기 분석 그룹별로 사용자 정복률을 계산하는 c 단계; 및 상기 문제의 구조 정보 및 상기 사용자 정복률 중 적어도 하나 이상을 이용하여 사용자 맞춤형 문제를 제공하는 d 단계를 포함하는 것을 특징으로 한다.
한편 본 발명의 실시예를 따르는 개인 맞춤형 교육 컨텐츠를 제공하는 전자 장치는, 특정 과목의 학습 요소를 트리 구조로 나열하여 세부 학습 요소에 대한 태그 세트를 생성하는 제 1 모듈; 상기 태그의 분석 그룹을 지정하며, 문제의 오답 선택지 각각에 오답 태그를 인덱싱하여 문제의 구조 정보를 생성하는 제 2 모듈; 사용자 테스트 결과를 조회하여, 상기 분석 그룹별로 사용자 정복률을 계산하는 제 3 모듈; 및 상기 문제의 구조 정보 및 상기 사용자 정복률 중 적어도 하나 이상을 이용하여 사용자 맞춤형 문제를 제공하는 제 4 모듈을 포함하는 것을 특징으로 한다.
나아가 본 발명의 실시예를 따르는 전자 장치에서 개인 맞춤형 교육 컨텐츠를 제공하는 처리를 수행하기 위하여 컴퓨터 판독가능한 기록 매체에 기록된 컴퓨터 프로그램은, 특정 과목의 학습 요소를 트리 구조로 나열하여 세부 학습 요소에 대한 태그 세트를 생성하고, 상기 태그의 분석 그룹을 지정하는 기능; 문제의 오답 선택지 각각에 오답 태그를 인덱싱하여 문제의 구조 정보를 생성하는 기능; 사용자 테스트 결과를 조회하여, 상기 분석 그룹별로 사용자 정복률을 계산하는 기능; 및 상기 문제의 구조 정보 및 상기 사용자 정복률 중 적어도 하나 이상을 이용하여 사용자 맞춤형 문제를 제공하는 기능을 수행하는 것을 특징으로 한다.
본 발명에 따르면, 사용자가 취약한 주제, 취약한 출제 의도, 및/또는 취약한 문제 유형과 유사한 문제를 사용자 맞춤형 문제로 추천할 수 있어, 개별 사용자에게 최적화된 형태의 교육 컨텐츠를 제공할 수 있는 효과가 있다.
나아가, 본 발명에 따르면 사용자는 자신의 취약점에 대해 보다 정밀한 분석 데이터를 제공받을 수 있어, 자신의 현재 상태를 정확하게 파악하여 효율적인 학습 계획을 세울 수 있는 효과가 있다.
도 1은 본 발명의 실시예를 따르는 사용자 맞춤형 교육 컨텐츠를 제공하는 과정을 설명하기 위한 순서도
도 2는 본 발명의 실시예를 따라 문제의 주제, 출제 의도를 태깅하고, 문제 유형을 분류하여 문제 데이터베이스를 구축하는 과정을 설명하기 위한 순서도
도 3은 본 발명의 실시예를 따라 문제의 주제 및 출제 의도에 대한 사용자의 정복률을 계산하는 과정을 설명하기 위한 순서도
도 2는 본 발명의 실시예를 따라 문제의 주제, 출제 의도를 태깅하고, 문제 유형을 분류하여 문제 데이터베이스를 구축하는 과정을 설명하기 위한 순서도
도 3은 본 발명의 실시예를 따라 문제의 주제 및 출제 의도에 대한 사용자의 정복률을 계산하는 과정을 설명하기 위한 순서도
본 발명은 이하에 기재되는 실시예들의 설명 내용에 한정되는 것은 아니며, 본 발명의 기술적 요지를 벗어나지 않는 범위 내에서 다양한 변형이 가해질 수 있음은 자명하다. 그리고 실시예를 설명함에 있어서 본 발명이 속하는 기술 분야에 널리 알려져 있고 본 발명의 기술적 요지와 직접적으로 관련이 없는 기술 내용에 대해서는 설명을 생략한다.
한편, 첨부된 도면에서 동일한 구성요소는 동일한 부호로 표현된다. 그리고 첨부 도면에 있어서 일부 구성요소는 과장되거나 생략되거나 개략적으로 도시될 수도 있다. 이는 본 발명의 요지와 관련이 없는 불필요한 설명을 생략함으로써 본 발명의 요지를 명확히 설명하기 위함이다.
전술한 바와 같이 사용자 맞춤형 문제에 대한 니즈는 언제나 존재했다. 학생들은 가장 높은 학습 효과를 볼 수 있는 문제를 공부하고, 한정된 시간에 높은 효율로 공부하기를 원하기 때문이다.
이와 같은 상황에서 종래에는 문제의 정답률, 즉 학생이 특정 문제를 맞았는지 틀렸는지 만을 고려하여 학생의 수준을 평가하고 적당한 문제를 추천하는 방식을 취해왔다. 예를 들어 어떤 학생이 영어 과목에서 “동사의 시제”를 주제로 하는 문제를 자주 틀리는 경우, 해당 학생은 “동사의 시제”에 취약한 것으로 보아, 동사의 시제를 주제로 하는 다른 문제를 추천하는 방식을 따를 수 있다.
그러나 실제 시험 문제는 단순하게 출제되지 않는다. 중요한 시험에서는 해당 과목에 대한 종합적인 사고력을 평가하기 때문이다.
예를 들어 객관식 문제에서, 출제자는 출제 의도를 가지고, 학생들이 출제 의도를 파악할 수 있는지, 혼동하기 쉬운 개념들을 구별할 수 있는지 여부 등 다양한 측면을 고려하여 복수의 선택지를 구성할 수 있다. 이를 고려하면, 특정 문제를 맞았는지 틀렸는지 여부만 고려하는 것아 아니라, 문제의 출제 의도, 선택지의 구성 유형을 고려하여 사용자의 취약점이 분석되어야 한다는 결론을 낼 수 있다.
예를 들어 두 학생이 같은 문제를 틀렸으나 다른 선택지를 골랐을 경우 각각의 학생들의 취약점은 다르게 분석되어야 할 것이다. 두 학생 모두 해당 문제의 출제 의도를 파악하지 못했으나, 골라낸 선택지의 주제에 대해서도 제대로 알고 있지 못할 확률이 높기 때문이다.
또 다른 예로 어떤 학생이 “동사의 시제”와 “동명사”를 모두 잘 모르고 있는 경우를 가정하자. 학생이 “동명사”에 대한 선택지를 포함하지만 “동사의 시제”를 묻는 문제를 틀린 경우, 종래의 방식을 따르면 동명사에 대한 학습이 필요한 학생의 상태는 체크될 수 없다. 한편 “동명사”와 “동사의 시제”를 모두 알고 있는 학생이, 동일한 문제를 맞은 경우, 종래의 방식을 따르면 동명사에 대한 학습이 불필요한 학생의 상태는 역시 체크될 수 없다.
본 발명은 상기와 같은 문제를 해결하기 위해 안출된 것이다.
본 발명의 실시예를 따르면, 문제의 출제 의도 및/또는 문제의 주제를 문제 별 및/또는 문제의 선택지 별로 인덱싱할 수 있어, 문제의 구조 정보를 보다 정확하게 파악할 수 있다. 이를 통해 사용자의 취약점이 보다 정밀하게 분석되고, 가장 학습 효과를 높일 수 있는 유형의 문제를 추천할 수 있는 효과가 있다.
보다 구체적으로 본 발명의 실시예를 따르는 데이터 분석 시스템은 특정 과목의 학습 요소를 최소 단위까지 트리 구조로 나열하여, 문제의 학습 요소를 세분화하여 설명하는 메타데이터를 생성하고 이를 태그로 활용할 수 있다. 특히 본 발명의 실시예를 따르면 상기 태그를 문제의 오답 선택지에 부여하고, 문제의 출제 의도에 대한 태그는 핵심 태그로 따로 관리할 수 있다.
나아가 본 발명의 실시예를 따르는 데이터 분석 시스템은 학습 요소의 최소 단위인 태그 별로 사용자 및/또는 문제를 분석하는 것이 아니라, 분석에 적합한 단위로 상기 태그를 그룹핑하여 분석 그룹 단위로 분석하는 특징이 있다.
상기 방식을 따르면 문제의 구조 정보가 정확하게 파악되고, 사용자의 학습 상태를 파악하는 것도 용이하다. 사용자의 상태 정보가 사용자가 풀어 본 문제의 태그별로 관리될 수 있기 때문이다. 나아가 본 발명의 실시예를 따르면 사용자의 학습 상태는 특정 문제를 맞았는지 틀렸는지 여부는 물론, 어떤 패턴의 문제를 자주 틀리는지 여부 역시 고려하여 분석에 적합한 단위로 계산될 수 있다.
따라서 본 발명의 실시예를 따르면 사용자가 취약한 주제와 사용자가 취약한 문제 패턴을 고려하여 사용자 맞춤형 추천 문제가 제공될 수 있다.
이하 첨부된 도면을 참조하여 본 발명의 바람직한 실시 예들을 상세히 설명한다.
도 1은 본 발명의 실시예를 따르는 사용자 맞춤형 교육 컨텐츠를 제공하는 과정을 설명하기 위한 순서도이다.
단계 110에서 서비스 서버는 시중에 나와있는 각종 문제들을 수집하고, 분석에 적합한 형태로 구조화하고, 문제 유형을 분류하여 문제 데이터베이스를 구축할 수 있다. 상기 문제 데이터는 듣기 평가 문제를 포함하고, 텍스트, 이미지, 오디오, 및/또는 동영상 형태일 수 있다. 문제 데이터베이스에 대한 보다 구체적인 설명은 첨부된 도 2에 대한 설명과 함께 후술한다.
도 2는 본 발명의 실시예를 따라 문제의 주제, 출제 의도를 태깅하고, 문제 유형을 분류하여 문제 데이터베이스를 구축하는 과정을 설명하기 위한 순서도이다.
도 2의 단계 210에서 서비스 서버는 출판 또는 배포된 문제 또는 기출문제에 포함된 문제 및/또는 답을 텍스트 또는 이미지 등 컴퓨터가 인식할 수 있는 형태로 수집할 수 있다. 문제 데이터는 개벌적으로 입력을 받거나 또는 인터넷을 이용하여 수집할 수도 있다.
이후 서비스 서버는 각각의 해당 과목의 학습 요소 및/또는 주제를 하나 이상의 범주로 그룹핑하고, 그룹 정보를 해당 문제에 인덱싱하여 데이터베이스를 구축할 수 있다. 이때 서비스 서버는 그룹 정보 및/또는 인덱싱 정보에 대한 메타데이터를 작성할 수 있으며, 상기 메타데이터는 태그로 활용되어 각각의 문제 데이터와 함께 관리될 수 있다.
본 발명의 선호되는 실시예에 따르면 서비스 서버는 특히 해당 과목의 학습 요소를 트리 구조로 나열한 메타데이터를 생성하여 이를 문제의 선택지에 대해 인덱싱할 수 있다.
보다 구체적으로 단계 220에서 서비스 서버는 해당 과목의 학습 요소 및/또는 주제를 트리 구조로 나열하여 최소 단위 학습 요소에 대한 메타데이터 세트를 생성할 수 있다.
예를 들어 특정 과목 A의 제 1 주제를 A1-A2-A3-A4-A5… 로 분류하고, 제 1 주제 A1의 세부 주제를 제 2 주제로 하여 A11-A12-A13-A14- A15 …로 분류하고, 제 2 주제 A11의 세부 주제를 제 3 주제로 하여 A111- A112- A113- A114- A115 … 로 분류하고, 제 3주제 A111의 세부 주제를 제 4주제로 하여 동일한 방법으로 분류하는 경우, 해당 과목의 주제는 트리 구조로 나열될 수 있다.
이러한 트리 구조의 메타데이터는 문제의 주제를 설명하기 위한 태그로 활용될 수 있으며, 태그는 해당 과목의 학습 요소를 트리 구조로 분류한 최소 단위라고 할 수 있다. 앞의 예에서 태그는 {A1, A1-A11, A1-A12, A1-A11-A111, A1-A11-A12 … } 의 집합의 원소에 해당한다.
한편 본 발명의 실시예를 따르면 상기 태그는 사용자 및/또는 문제의 분석에 적합한 단위인 분석 그룹별로 관리될 수 있다. 사용자의 취약점 분석 및/또는 문제의 구성 분석을 학습 요소의 최소 단위 별로 진행하는 것보다, 분석에 적합한 그룹으로 상기 최소 단위를 분류한 소정의 그룹 단위로 진행하는 것이 보다 적절하기 때문이다.
예를 들어 영어 과목의 학습 요소를 트리 구조로 분류한 최소 단위를 {동사-시제, 동사-시제-과거완료진행, 동사-시제-현재완료진행, 동사-시제-미래완료진행, 동사-시제-과거완료, 동사-시제-현재완료, 동사-시제-미래완료, 동사-시제-과거진행, 동사-시제-현재진행, 동사-시제-미래진행, 동사-시제-과거, 동사-시제-현재, 동사-시제-미래} 으로 구성한 경우, 학습 요소의 최소 단위인 <동사-시제>, <동사-시제-과거완료진행>, <동사-시제-현재완료진행>, <동사-시제-미래완료진행> 각각에 대해 사용자의 취약점을 분석하면, 지나치게 세분화되어 유의미한 분석 결과를 도출하기 어렵다.
학습은 특정 분류 아래서 종합적, 전체적으로 진행되기 때문에 과거 완료 진행을 모르는 학생이 현재 완료 진행을 안다고 할 수 없기 때문이다. 따라서 본 발명의 실시예에 따르면 학습 요소의 최소단위, 즉 태그는 분석에 적합한 단위인 분석 그룹별로 관리될 수 있으며, 앞의 예에서 태그들의 분석 그룹은 <동사-시제>에 해당할 수 있다.
도 2 단계 230에서 서비스 서버는 수집된 문제의 선택지에 태그를 인덱싱할 수 있다.
특히 본 발명의 실시예를 따르면 객관식 문제의 모든 선택지가 아니라 오답 선택지에 태그가 인덱싱될 수 있다. 본 명세서는 이를 오답 태그로 명칭한다. 정답 선택지에 별도로 태그를 인덱싱하지 않는 이유는 문제 의도에 대한 태그는 단계 240에서 별도로 관리될 수 있기 때문이다.
단계 240에서 서비스 서버는 문제의 지문을 고려하여 출제 의도를 확인하고 출제 의도를 설명할 수 있는 태그를 해당 문제에 대한 핵심 태그로 지정할 수 있다.
예를 들어 특정 문제의 출제 의도가 “A1의 A12에서 A123”을 파악할 수 있는지 확인하기 위한 것이고, 선택지 3이 정답인 경우, 본 발명의 실시예를 따르면 오답 선택지 1, 2, 4에 오답 태그를 달수 있다.
예를 들어 선택지 1이 A1-A11-A111, 선택지 2가 A1-A12-A123, 선택지 4가 A1-A12-A123 및 A1-A11-A111에 대한 것이라면, 이들을 각각 오답 태그로 지정하고, A1-A12-A123을 핵심 태그로 지정할 수 있다. 해당 문제는 선택지 2와 선택지 4의 오답 태그가 핵심 태그와 동일한 값을 갖는 경우이다.
특히 본 발명을 구현하는 과정에서 2만여개의 문제를 분석한 결과, 객관식 문제의 선택지들 중 한 개의 오답 선택지에는 반드시 핵심 태그만으로 구성되는 현상이 발견되었다. 시험 문제 출제 과정에서 출제 의도는 매우 중요하기 때문에, 출제자들은 정답 이외의 선택지에 출제의도를 파악하지 못한 학생이 골라낼 선택지를 반드시 포함시키는 것이다. 앞의 예에서 핵심 태그와 동일한 오답 태그만을 가지는 오답 선택지는 선택지 2이다.
한편 본 발명의 다른 실시예를 따르면, 단계 240은 일부 문제에 핵심 태그를 인덱싱하지 않거나, 모든 문제에 핵심 태그를 인덱싱하지 않는 방식으로 변형될 수 있다.
예를 들어 특정 문제의 출제 의도가 하나의 태그가 아니라 여러 태그의 결합에 있는 경우, 단계 240은 일부 문제에 핵심 태그를 인덱싱하지 않는 방식으로 구현될 수 있다. 예를 들어 동사의 수, 동사의 시제, 동사의 태, 동사 자리를 혼합하여 질문하는 문제는 어느 하나의 태그에 출제 의도가 있다고 할 수 없고 모든 태그를 다 알고 있는가를 묻기 위한 것이기 때문이다.
한편, 태깅을 해당 오답 선택지의 특정 학습 요소에 대해 인덱싱하는 것이 아니라 해당 오답 선택지의 관련 학습 요소, 추천 학습 요소에 대해 인덱싱하는 경우, 단계 240은 모든 문제에 핵심 태그를 인덱싱하지 않는 방식으로 구현될 수도 있다.
한편, 도 2의 단계 250에서 데이터분석 시스템은 문제의 오답 태그 및/또는 핵심 태그의 인덱싱 정보를 이용하여 문제 구성 정보를 유형별로 분류할 수 있다.
보다 구체적으로, 데이터 분석 시스템은 특정 분석 그룹에 속하는 태그들을 가지는 문제들을 하나의 범주로 그루핑하고, 각 그룹의 문제들 중에 동일한 핵심 태그를 가지는 문제들을 다른 하나의 범주로 그룹핑할 수도 있다.
또 다른 예로, 데이터 분석 시스템은 동일한 핵심 태그를 가지는 문제들을 하나의 범주로 그루핑하고, 상기 그룹의 문제들 중에서 오답 태그의 구성이 유사한 문제들을 다시 하나의 범주로 그룹핑할 수도 있다.
이때 본 발명의 실시예를 따르면 머신 러닝 기법을 사용하여 각각의 범주별로 문제의 구조에 대한 패턴을 생성할 수 있으며, 이를 문제의 유사도를 판단하는 컨택스트로 활용할 수 있다.
예를 들어 본 발명을 따르면 A1-A11-A111를 핵심 태그로 하는 그룹의 다수의 문제들에서 A1-A12-A123의 오답 태그가 어느 정도의 확률로 발견되는 경우, A1-A11-A111에 대한 문제는 A1-A12-A123에 대한 선택지를 포함하는 패턴을 가지는 것으로 분석할 수 있다. 또다른 예로 특정 그룹의 문제들의 전체 오답 태그의 구성이 어느 정도의 확률로 유사도를 가지는지 파악하여, 오답 태그 구성이 해당 확률로 유사한 문제는 상기 그룹에 속하는 것으로 분석할 수 있다.
이를 위하여 본 발명의 실시예를 따르는 데이터 분석 시스템은 모든 오답 태그들을 벡터 메트릭스로 표현하고, 문제들의 오답 태그들에 대한 벡터 분산값을 추출하여 문제간 유사도를 구할 수도 있다. 이 경우, 문제의 오답 태그 별 가중치를 벡터화하여 매트릭스를 구축하고, 문제간 벡터값 거리가 가까운 문제들을 구루핑하여 클러스터를 형성하는 방식으로 단계 250이 구현될 수도 있다.
다시 도 1에 대한 설명으로 복귀하면, 단계 120에서 데이터 분석 시스템은 사용자 정보를 분석하기 위한 사용자 데이터베이스를 생성할 수 있다. 특히 본 발명의 실시예를 따르는 사용자 데이터베이스는 해당 과목의 학습 요소에 대한 사용자의 정복률을 태그의 분석 그룹별로 관리할 수 있다. 사용자 데이터베이스에 대한 보다 구체적인 설명은 첨부된 도 3에 대한 설명과 함께 후술한다.
도 3은 본 발명의 실시예를 따라 해당 과목의 학습 요소에 대한 사용자의 정복률을 계산하는 과정을 설명하기 위한 순서도이다.
전술한 바와 같이 특정 주제의 문제에 대한 정답률, 즉 맞았는지 틀렸는지 여부만으로는 사용자의 학습 상태를 정확하게 파악할 수 없다. 따라서 본 발명은 정답률이 아닌 정복률이라는 개념을 도입하여 학생의 학습 상태를 분석하고자 한다.
도 3의 단계 310에서, 사용자의 테스트 히스토리가 수집될 수 있다. 보다 구체적으로, 사용자가 본 발명의 실시예를 따르는 분석 시스템을 이용하여 다수의 문제들을 풀고, 이를 틀렸는지 맞았는지, 어떤 선택지를 골라서 틀렸는지 여부가 수집될 수 있다.
이를 위하여 본 발명의 실시예를 따르는 데이터 분석 시스템은 특정 과목에서 자주 출제되는 유형에 대한 소정의 문제에 대한 테스트를 사용자에게 요구할 수도 있다. 이는 본격적인 학습에 앞서 사용자의 현재 수준 및 취약한 주제를 확인하기 위한 것이다.
어느 정도 데이터 량이 축적되면 해당 과목에 대한 태그 별로 사용자의 정복률이 계산될 수 있다. 이는 단계 320 내지 단계 340를 반복하여 계산될 수 있다.
보다 구체적으로 사용자가 데이터 분석 시스템을 이용하여 특정 문제를 테스트하면, 틀린 경우와 맞은 경우가 구분되어 테스트 문제의 태그별 가중치가 계산될 수 있다. (단계 320)
사용자가 특정 문제에서 정답을 골라낸 경우 (즉, 맞은 경우) 본 발명의 실시예를 따르면, 핵심 오답 선택지와 나머지 오답 선택지의 오답 태그의 가중치들을 결합하여 태그별 가중치를 계산할 수 있다.
반면 사용자가 특정 문제에서 정답을 골라내지 못한 경우 (즉, 틀린 경우) 본 발명의 실시예를 따르면, 핵심 오답 선택지와 사용자가 골라낸 오답 선택지의 오답 태그의 가중치들을 결합하여 태그별 가중치를 계산할 수 있다.
사용자가 특정 문제를 맞은 경우 태그별 가중치를 계산하는 방법에 대해 보다 구체적으로 설명하면, 해당 문제의 핵심 태그와 동일한 오답 태그만을 가지는 핵심 오답 선택지에 대해 나머지 오답 선택지 전체와 동일한 비중으로 제 1 가중치를 부여하고, 상기 나머지 오답 선택지 각각에 대해 상기 제 1 가중치를 동일한 비율로 분배한 제 2 가중치를 부여하고, 상기 나머지 오답 선택지가 복수의 오답 태그를 가지는 경우, 상기 복수의 오답 태그 각각에 대해 상기 제 2 가중치를 동일한 비율로 분배한 제 3 가중치를 부여하며, 상기 맞은 문제의 전체 오답 태그에 대해 상기 제 1 가중치, 상기 제 2 가중치 및 상기 제 3 가중치를 결합하여 태그별 가중치를 계산할 수 있다.
예를 들어, 핵심 태그가 A이고, 선택지 4가 정답이며, 선택지 1의 오답 태그가 A / 선택지 2의 오답 태그가 A, B /선택지 3의 오답 태그가 C, D인 문제를 사용자가 맞은 경우를 예로 들어 설명한다.
핵심 태그가 A이기 때문에 핵심 태그와 동일한 오답 태그를 가지는 선택지 1는 핵심 오답 선택지로서 나머지 오답 선택지 2, 3과 동일한 비중으로 가중치가 부여될 수 있다. 예를 들어 선택지 1에 가중치 4, 선택지 2와 3 전체에 가중치 4가 부여될 수 있다. 이에 따르면 선택지 1의 오답 태그인 A에 4의 가중치가 부여될 수 있다. (제 1 가중치) 상기 가중치 4는 선택지 2와 3에 동일한 비율로 분배되어, 선택지 2와 선택지 3은 각각 가중치 2가 부여될 수 있다. (제 2 가중치).
한편 선택지 2의 오답 태그의 A, B, 선택지 3의 오답 태그 C, D에는 부여된 가중치가 각각 동일한 비율로 분배될 수 있다. 즉, 선택지 2의 오답 태그의 A에 가중치 1, 선택지 2의 오답 태그 B에 가중치 1, 선택지 3의 오답 태그 C에 가중치 1, 선택지 3의 오답 태그 D에 가중치 1이 각각 부여될 수 있다. (제 3 가중치)
이후 해당 문제의 전체 태그 A, B, C, D에 대해 제 1 가중치, 상기 제 2 가중치 및 상기 제 3 가중치를 결합하여 태그별 가중치를 계산할 수 있다. 이에 따르면 태그 A는 선택지 1의 제 1 가중치 4, 선택지 2 의 제 3 가중치 1이 결합되어 총 5의 가중치로 계산될 수 있다. 태그 B, C, D는 각각 선택지 2의 제 3 가중치 1, 선택지 3의 제 3 가중치 1, 선택지 3의 제 3 가중치 1이 할당될 수 있다.
반면 사용자가 특정 문제를 틀린 경우, 태그별 가중치를 계산하는 방법에 대해 보다 구체적으로 설명하면, 핵심 태그와 동일한 오답 태그만을 가지는 핵심 오답 선택지와 상기 사용자가 선택한 오답 선택지를 동일한 비중으로 제 1 가중치를 부여하고, 상기 사용자가 선택한 오답 선택지가 복수의 오답 태그를 가지는 경우, 상기 복수의 오답 태그 각각에 대해 상기 제 1 가중치를 동일한 비율로 분배한 제 2 가중치를 부여하여, 상기 핵심 오답 선택지와 상기 사용자가 선택한 오답 선택지의 오답 태그에 대해 상기 제 1 가중치 및 상기 제 2 가중치를 결합하여 태그별 가중치를 계산할 수 있다.
예를 들어, 앞의 예와 동일한 문제에서 사용자가 선택지 2를 골라서 해당 문제를 틀린 경우, 핵심 태그가 A이기 때문에 핵심 태그와 동일한 오답 태그를 가지는 선택지 1는 핵심 오답 선택지로서 사용자가 선택한 오답 선택지 2와 동일한 비중으로 가중치가 부여될 수 있다. 예를 들어 선택지 1에 가중치 4, 선택지 2에 가중치 4가 부여될 수 있다. (제 1 가중치)
선택지 2의 가중치 4는 선택지 2의 오답 태그 A, B에 동일한 비율로 분배되어, 선택지 2의 오답 태그의 A에 가중치 2, 선택지 2의 오답 태그 B에 가중치 2이 각각 부여될 수 있다. (제 2 가중치)
이후 핵심 오답 선택지와 상기 사용자가 선택한 오답 선택지의 태그 A, B에 대해 제 1 가중치, 제 2 가중치를 결합하여 태그별 가중치를 계산할 수 있다. 이에 따르면 태그 A는 선택지 1의 제 1 가중치 4, 선택지 2 의 제 2 가중치 2가 결합되어 총 6의 가중치로 계산될 수 있다. 태그 B, C는 각각 선택지 2의 제 2 가중치 2가 할당될 수 있다.
한편 본 발명의 다른 실시예에 따르면 단계 320은 아래와 같이 변형될 수 있다.
본 발명의 변형된 실시예에 따르면, 사용자가 특정 문제를 맞은 경우에는 모든 선택지에 미리 설정된 양(+)의 가중치를 동일하게 부여하고, 틀린 경우에는 상기 사용자가 선택한 선택지에 미리 설정된 음(-)의 가중치를 부여할 수 있다. 이 때 상기 음의 가중치는 상기 양의 가중치보다 큰 값으로 설정하는 것이 사용자 실력을 평가하기에 적절하다. 선택지가 복수의 태그를 가지는 경우, 상기 복수의 태그 각각에 대해 부여된 가중치를 동일한 비율로 분배하고, 전체 태그별 가중치를 결합하는 방식으로 가중치를 계산할 수 있다.
한편 본 발명의 변형된 다른 실시예에 따르면, 사용자가 특정 문제를 맞은 경우에는 해당 문제의 모든 태그에, 태깅 횟수를 반영하여 미리 설정된 양(+)의 가중치를 동일하게 부여하고, 틀린 경우에는 사용자가 선택한 선택지의 태그에 미리 설정된 음(-)의 가중치를 부여하는 방식으로 가중치를 계산할 수 있다. 이 때 상기 음의 가중치는 상기 양의 가중치보다 큰 값으로 설정하는 것이 사용자 실력을 평가하기에 적절하다.
단계 330에서 변경전 사용자의 정복률이 미리 설정된 비율로 희석될 수 있다. 이는 정복률을 업데이트하는 과정에서 시간의 흐름에 사용자의 학습 상태가 변경될 수 있음을 고려한 것이다.
한편, 사용자 테스트 히스토리 데이터가 충분히 수집되지 않은 초기 단계에서, 사용자의 정복율을 태그의 분석 단위별로 러프하게 계산하여 단계 330의 희석화를 진행할 수 있다.
보다 구체적으로, 분석 초기 단계에서, 특정 분석 단위의 정복률은 아래의 공식으로 계산될 수 있다.
특정 분석 단위의 정복률 = (맞은 문제에서 계산된 해당 분석 단위의 가중치) / (맞은 문제에서 계산된 해당 분석 단위의 가중치 + 틀린 문제에서 계산된 해당 분석 단위의 가중치
이후 단계 340에서 데이터 분석 시스템은 해당 문제의 태그별 가중치를 반영하여 태그의 분석 그룹별로 정복률을 업데이트할 수 있다.
보다 구제적으로, 사용자가 해당 문제를 맞은 경우, 상기 맞은 문제의 태그의 희석된 사용자 정복률에 단계 320에서 계산된 태그별 가중치를, 사용자 정복률이 증가될 수 있도록 반영하고, 반영한 태그의 정복률을 분석 그룹별로 수합하여 사용자 정복률을 업데이트할 수 있다.
예를 들어 임의의 태그에 대한 변경전 사용자 정복률이 15%이며, 문제를 맞은 경우 해당 태그에 대한 가중치가 5라면, 해당 태그의 변경후 사용자 정복률은, 변경전 사용자 정복률의 분자 및 분모에 각각 희석율 위해 0.9를 곱하고 각각 가중치 5를 더하여 증가되도록 계산될 수 있다. 이 경우 변경전 사용자 정복률은 15% (15/100)이며, 변경후 사용자 정복률은 (15*0.9+5)/(100*0.9+5)로 19.47%로, 4.47%가 증가되었다. 나아가 사용자 데이터베이스는 데이터 분석을 위하여 상기 정복률을 태그의 분석 단위별로 수합하여 관리할 수 있다.
반면 사용자가 해당 문제를 틀린 경우, 상기 틀린 문제의 핵심 오답 선택지와 상기 사용자가 선택한 오답 선택지의 태그의 희석된 사용자 정복률에 단계 320에서 계산된 메타 태그별 가중치를, 사용자 정복률이 감소할 수 있도록 반영하여 사용자 정복률을 업데이트할 수 있다.
예를 들어 임의의 태그에 대한 변경전 사용자 정복률이 15%이며, 문제를 틀린 경우 해당 태그에 대한 가중치가 6라면, 해당 태그의 변경후 사용자 정복률은, 변경전 사용자 정복률의 분자 및 분모에 각각 희석을 위해 0.9를 곱하고, 분모에만 가중치 6를 더하여 감소되도록 계산될 수 있다. 이 경우 변경전 사용자 정복률은 15% (15/100)이며, 변경후 사용자 정복률은 (15*0.9)/(100*0.9+6)로 14.06%로, 0.94%가 감소되었다. 나아가 사용자 데이터베이스는 데이터 분석을 위하여 상기 정복률을 태그의 분석 단위별로 수합하여 관리할 수 있다.
다시 도 1에 대한 설명으로 복귀하면, 단계 130 내지 단계 140은 문제 데이터베이스에서 사용자 맞춤형 문제를 결정하는 단계이다.
본 발명의 선호되는 실시예를 따르면, 사용자의 분석 그룹별 정복율 및/또는 문제의 구조 정보를 이용하여 사용자 맞춤형 문제가 추천될 수 있다.
보다 구체적으로 본 발명의 실시예를 따르는 데이터 분석 시스템은 사용자의 정복률이 낮은 분석 그룹에 속하는 태그가 문제의 오답 태그로 인덱싱된 문제를 추천 문제 그룹으로 결정할 수 있다. (단계 130)
나아가, 추천 문제 그룹에 속하는 문제 중, 사용자 정복률이 낮은 분석 그룹에 속하는 태그가 문제의 핵심 태그로 인덱싱된 문제를 핵심 추천 문제로 추출할 수 있다. (단계 140) 이때 도 2의 단계 250에서 생성한 문제 유형 분류, 즉, 문제의 구조 정보를 이용하여 추천 그룹 및/또는 핵심 추천 문제를 결정할 수도 있다. 한편 핵심 태그로 인덱싱된 문제가 없는 경우, 추천 그룹에서 랜덤하게 문제를 추천할 수도 있다. (단계 150)
예를 들어 사용자의 정복률이 낮은 분석 그룹이 A1-A11인 경우, 해당 분석 그룹에 속하는 태그들 {A1-A11-A111, A1-A11-A112, A1-A11-A113, A1-A11-A114, A1-A11-A111-A1111, A1-A11-A111-A1112 … } 중 어느 하나를 오답 태그로 인덱싱하고 있는 문제들을 추천 문제 그룹으로 결정하고, 해당 문제 그룹에 속하는 문제 중 {A1-A11-A111, A1-A11-A112, A1-A11-A113, A1-A11-A114, A1-A11-A111-A1111, A1-A11-A111-A1112 … } 중 어느 하나를 핵심 태그로 인덱싱하고 있는 문제를 핵심 추천 문제로 추출할 수 있다.
본 발명의 다른 실시예를 따르면 단계 130 내지 150은 아래와 같이 구현될 수 있다.
예를 들어 단계 130에서 데이터 분석 시스템은 사용자의 정복률이 가장 낮은 분석 그룹에 속하는 태그가 문제의 핵심 태그로 가지는 문제의 그룹을 추천 그룹으로 결정할 수 있다. 이는 사용자가 가장 취약한 주제를 출제 의도로 가지는 문제를 제공하기 위한 것이다. 이후 단계 140에서 추천 그룹에 속하는 문제 중에서, 사용자가 틀린 문제의 태그 구성과 유사한 구성을 가지는 문제를 추천 문제로 결정할 수 있다. 이는 사용자가 취약한 주제에 대한 문제 중에서도 취약한 패턴의 문제를 제공하기 위한 것이다.
예를 들어 사용자의 정복률이 낮은 분석 그룹이 A1-A11이고, 사용자가 자주 틀리는 문제의 태그 구성이 오답 태그 A1-A11-A111 2개, A1-A12-A123 1개, A1-A12-A124 1개, A1-A11-A112 1개로 구성되는 경우, 데이터 분석 시스템은 해당 분석 그룹에 속하는 태그들 {A1-A11-A111, A1-A11-A112, A1-A11-A113, A1-A11-A114, A1-A11-A111-A1111, A1-A11-A111-A1112 … } 중 어느 하나를 핵심 태그로 인덱싱하고 있는 문제들을 추천 그룹으로 지정하고, 추천 그룹에 포함된 문제 중에서, 오답 태그의 구성이 A1-A11-A111 2개, A1-A12-A123 1개, A1-A12-A124 1개, A1-A11-A112 1개와 가장 유사한 문제를 추천 문제로 지정할 수 있다.
이때 본 발명의 실시예를 따르면 도 2의 단계 250에서 생성한 문제 유형 분류, 즉, 문제의 구조 정보를 이용하여 사용자가 자주 틀리는 문제와 유사한 패턴 값을 가지는 문제를 추천 문제로 결정할 수도 있다.
한편 본 발명의 다른 실시예를 따르면, 사용자 정보가 충분히 확보되지 않은 분석 그룹에 대한 문제를 추천할 수도 있다. 다수의 분석 그룹에 대한 사용자 정보가 충분하지 않은 경우, 수집할 사용자 정보의 양이 가장 적은 태그를 핵심 태그로 하는 문제부터 추천할 수도 있다. 효과적인 문제 추천을 하기 위해서는 정확한 사용자 정보 파악이 필수적이기 때문이다.
본 명세서와 도면에 게시된 본 발명의 실시 예들은 본 발명의 기술 내용을 쉽게 설명하고 본 발명의 이해를 돕기 위해 특정 예를 제시한 것뿐이며, 본 발명의 범위를 한정하고자 하는 것은 아니다. 여기에 게시된 실시 예들 이외에도 본 발명의 기술적 사상에 바탕을 둔 다른 변형 예들이 실시 가능하다는 것은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 자명한 것이다.
Claims (7)
- 전자 장치가 개인 맞춤형 교육 컨텐츠를 제공하는 방법에 있어서,
특정 과목의 학습 요소를 트리 구조로 나열하여 최소 학습 요소의 세트를 생성하고, 상기 최소 학습 요소 중, 사용자 또는 문제의 분석 단위인 분석 그룹을 지정하고, 상기 분석 그룹을 태그로 지정하는 a 단계;
상기 문제에 상기 태그를 적어도 하나 이상 인덱싱하여 문제의 구조 정보를 생성하는 b 단계;
사용자 테스트 결과를 조회하여, 상기 태그 별로 사용자 정복률을 계산하는 c 단계; 및
상기 문제의 구조 정보 및 상기 사용자 정복률 중 적어도 하나 이상을 이용하여 사용자 맞춤형 문제를 제공하는 d 단계를 포함하며,
상기 c 단계는,
상기 사용자가 맞은 문제는 상기 문제에 인덱싱된 태그들 중, 상기 문제의 출제 의도에 대한 태그의 가중치를 상기 문제에 인덱싱된 다른 태그보다 높게 결정하며, 상기 사용자가 틀린 문제는 상기 문제에 인덱싱된 태그들 중, 상기 문제의 출제 의도에 대한 태그와 상기 사용자가 선택한 오답에 인덱싱된 태그의 가중치를 동일하게 결정하는 단계; 및
임의의 태그에 대한 사용자 정복률에, 상기 틀린 문제의 상기 태그에 대해 결정된 가중치를 증가되도록 반영하고, 상기 맞은 문제의 상기 태그에 대해 결정된 가중치를 감소되도록 반영하여, 상기 사용자 정복률을 업데이트하는 단계를 포함하며,
상기 d 단계는,
상기 사용자 정복률이 낮은 분석 그룹에 속하는 태그가 상기 문제의 오답 태그로 인덱싱된 문제를 추천 문제 그룹으로 결정하고, 상기 추천 문제 그룹에 속하는 문제 중 중, 상기 사용자 정복률이 낮은 분석 그룹에 속하는 태그가 상기 문제의 핵심 태그로 인덱싱된 문제를 핵심 추천 문제로 제공하는 단계를 포함하는 것을 특징으로 하는 맞춤형 교육 컨텐츠 제공 방법. - 제 1항에 있어서,
상기 b단계는,
상기 문제의 출제 의도에 대한 상기 핵심 태그를 상기 문제에 인덱싱하고, 상기 문제의 오답 선택지의 주제에 대한 상기 오답 태그를 상기 오답 선택지 각각에 인덱싱하는 단계를 포함하는 것을 특징으로 하는 맞춤형 교육 컨텐츠 제공 방법. - 제 2항에 있어서,
상기 c 단계는,
상기 사용자가 틀린 문제 및 맞은 문제를 분류하고, 분류한 문제에 상기 오답 태그와 상기 핵심 태그를 인덱싱하는 단계;
상기 맞은 문제의 경우, 상기 핵심 태그와 동일한 오답 태그만을 가지는 핵심 오답 선택지에 대해 나머지 오답 선택지 전체와 동일한 비중으로 제 1 가중치를 부여하고, 상기 나머지 오답 선택지 각각에 대해 상기 제 1 가중치를 동일한 비율로 분배한 제 2 가중치를 부여하고, 상기 나머지 오답 선택지가 복수의 오답 태그를 가지는 경우, 상기 복수의 오답 태그 각각에 대해 상기 제 2 가중치를 동일한 비율로 분배한 제 3 가중치를 부여하는 단계;
상기 맞은 문제의 전체 오답 태그에 대해 상기 제 1 가중치, 상기 제 2 가중치 및 상기 제 3 가중치를 결합하여 오답 태그별 가중치를 계산하는 단계; 및
상기 맞은 문제의 오답 태그에 대한 변경전 사용자 정복률을 희석하고, 계산된 오답 태그별 가중치를 반영하여 사용자 정복률을 업데이트하는 단계를 포함하는 것을 특징으로 하는 맞춤형 교육 컨텐츠 제공 방법. - 제 3항에 있어서,
상기 인덱싱하는 단계 이후에, 상기 틀린 문제의 경우, 상기 핵심 태그와 동일한 오답 태그만을 가지는 핵심 오답 선택지와 상기 사용자가 선택한 오답 선택지를 동일한 비중으로 제 4가중치를 부여하고, 상기 사용자가 선택한 오답 선택지가 복수의 오답 태그를 가지는 경우, 상기 복수의 오답 태그 각각에 대해 상기 제 4 가중치를 동일한 비율로 분배한 제 5 가중치를 부여하는 단계;
상기 핵심 오답 선택지와 상기 사용자가 선택한 오답 선택지의 오답 태그에 대해 상기 제 4 가중치 및 상기 제 5 가중치를 결합하여 오답 태그별 가중치를 계산하는 단계; 및
상기 핵심 오답 선택지와 상기 사용자가 선택한 오답 선택지의 오답 태그에 대한 변경전 사용자 정복률을 희석하고, 계산된 오답 태그별 가중치를 반영하여 사용자 정복률을 업데이트하는 단계를 포함하는 것을 특징으로 하는 맞춤형 교육 컨텐츠 제공 방법. - 제 4항에 있어서,
상기 d 단계는,
상기 문제의 구조 정보를 이용하여 상기 문제들의 패턴을 생성하는 단계;
상기 사용자 정복률을 고려하여 추천할 문제의 그룹을 결정하는 단계; 및
결정된 그룹에 포함된 문제 중, 상기 사용자의 상기 틀린 문제의 구조 정보와 미리 설정된 비율로 유사한 패턴을 가지는 문제를 추천 문제로 제공하는 단계를 더 포함하는 것을 특징으로 하는 맞춤형 교육 컨텐츠 제공 방법. - 삭제
- 삭제
Priority Applications (5)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020160022615A KR101816665B1 (ko) | 2016-02-25 | 2016-02-25 | 객관식 문항 학습 데이터를 분석하는 방법 |
| PCT/KR2016/012817 WO2017146344A1 (ko) | 2016-02-25 | 2016-11-08 | 개인 맞춤형 교육 컨텐츠를 제공하는 방법, 장치 및 컴퓨터 프로그램 |
| JP2018545229A JP6701367B2 (ja) | 2016-02-25 | 2016-11-08 | 個人オーダーメイド教育コンテンツを提供する方法、装置、及びコンピュータプログラム |
| US16/079,909 US11238749B2 (en) | 2016-02-25 | 2016-11-08 | Method, apparatus, and computer program for providing personalized educational content |
| CN201680082545.9A CN109155049B (zh) | 2016-02-25 | 2016-11-08 | 提供个人定制型教育内容的方法、设备及计算机程序 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020160022615A KR101816665B1 (ko) | 2016-02-25 | 2016-02-25 | 객관식 문항 학습 데이터를 분석하는 방법 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20170100265A KR20170100265A (ko) | 2017-09-04 |
| KR101816665B1 true KR101816665B1 (ko) | 2018-01-09 |
Family
ID=59685428
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020160022615A KR101816665B1 (ko) | 2016-02-25 | 2016-02-25 | 객관식 문항 학습 데이터를 분석하는 방법 |
Country Status (5)
| Country | Link |
|---|---|
| US (1) | US11238749B2 (ko) |
| JP (1) | JP6701367B2 (ko) |
| KR (1) | KR101816665B1 (ko) |
| CN (1) | CN109155049B (ko) |
| WO (1) | WO2017146344A1 (ko) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20210114622A (ko) * | 2020-03-11 | 2021-09-24 | 주식회사 씨엔제이브라더스 | 학습능력 강화 알고리즘을 이용한 학습 가이드 제공 방법 및 장치 |
| KR20240009604A (ko) | 2022-07-14 | 2024-01-23 | (주)웅진씽크빅 | 학습 문항 클러스터링 장치 및 방법 |
Families Citing this family (19)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101853091B1 (ko) * | 2017-05-19 | 2018-04-27 | (주)뤼이드 | 기계학습이 적용된 사용자 답변 예측 프레임워크를 통한 개인 맞춤형 교육 컨텐츠 제공 방법, 장치 및 컴퓨터 프로그램 |
| US10956822B1 (en) * | 2017-07-06 | 2021-03-23 | Wells Fargo Bank, N.A. | Identification and management of frequently asked questions |
| KR101984287B1 (ko) | 2017-12-11 | 2019-05-30 | 성상욱 | 온라인 강의 추천 시스템 및 방법 |
| KR102016819B1 (ko) * | 2017-12-28 | 2019-08-30 | 강상희 | 개인 맞춤형 문제 추천 방법 및 장치 |
| KR102117908B1 (ko) * | 2018-01-02 | 2020-06-02 | (주)뤼이드 | 기계학습 모델링을 위한 신규 학습 콘텐츠 분석 방법, 장치 및 컴퓨터 프로그램 |
| KR102290655B1 (ko) * | 2019-02-01 | 2021-08-18 | 주식회사 메디오피아테크 | 유사도에 기반한 문제 추천 방법 및 문제 추천 서버 |
| CN111723231B (zh) * | 2019-03-20 | 2023-10-17 | 北京百舸飞驰科技有限公司 | 一种题目预测方法和装置 |
| CN109977230B (zh) * | 2019-04-02 | 2020-12-18 | 上海松鼠课堂人工智能科技有限公司 | 适合自适应教学的选择题错因分析方法 |
| CN110288878B (zh) * | 2019-07-01 | 2021-10-08 | 科大讯飞股份有限公司 | 自适应学习方法及装置 |
| JP7318917B2 (ja) * | 2019-08-08 | 2023-08-01 | 国立大学法人山口大学 | 情報処理装置と情報処理プログラムと情報処理方法 |
| KR102281642B1 (ko) * | 2019-08-23 | 2021-07-26 | 주식회사 피플메이드 | 사용자 장치를 통하여 영어 학습을 위한 문제를 제공하는 시스템 |
| KR102109775B1 (ko) * | 2019-08-23 | 2020-05-12 | 유스타온 주식회사 | 영어 학습을 위한 문제 추출 및 분석을 위한 방법 및 시스템 |
| CN111062842A (zh) * | 2019-12-27 | 2020-04-24 | 小船出海教育科技（北京）有限公司 | 动态生成个性化题目的方法及装置 |
| CN112307249A (zh) * | 2020-03-05 | 2021-02-02 | 北京字节跳动网络技术有限公司 | 音频信息播放方法和装置 |
| CN112233480A (zh) * | 2020-10-23 | 2021-01-15 | 重庆海知声科技有限公司 | 一种线上互动教育系统及方法 |
| KR102274984B1 (ko) * | 2020-11-12 | 2021-07-09 | 태그하이브 주식회사 | 컨텐츠 스킬 라벨링 적합성 판단 방법 및 이를 실행하는 시스템 |
| CN112598944B (zh) * | 2020-12-18 | 2022-09-13 | 鲁巧巧 | 一种智能型英语教学系统 |
| CN112732868B (zh) * | 2020-12-30 | 2023-04-07 | 科大讯飞股份有限公司 | 解答题的答案分析方法、电子设备及存储介质 |
| CN113704455B (zh) * | 2021-09-08 | 2023-07-18 | 北京大学第三医院（北京大学第三临床医学院） | 药学标准试题库构建方法及装置 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002358000A (ja) * | 2001-03-08 | 2002-12-13 | Boostmyscore.Com | 個別に設計された診断ならびに矯正を使用するコンピュータ化された試験準備システム |
| KR101023540B1 (ko) | 2010-06-21 | 2011-03-21 | (주)오투라인 | 가변되는 메타정보를 활용한 시험결과 분석평가방법 |
Family Cites Families (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100438466B1 (ko) | 2002-10-09 | 2004-07-07 | 이영희 | 인터넷학습시스템 및 그 학습방법 |
| US20090012800A1 (en) * | 2007-07-06 | 2009-01-08 | International Business Machines Corporation | Computer-assisted information technology service design system |
| KR20110113295A (ko) | 2010-04-09 | 2011-10-17 | 생각제곱 주식회사 | 통신 네트워크를 통한 온라인 문제 제공 방법 |
| KR20140008172A (ko) | 2012-07-11 | 2014-01-21 | (주)오투라인 | 코드정보가 구비된 학습교재를 이용한 확장형 학습콘텐츠 제공방법 |
| US20140272914A1 (en) * | 2013-03-15 | 2014-09-18 | William Marsh Rice University | Sparse Factor Analysis for Learning Analytics and Content Analytics |
| US20150206441A1 (en) * | 2014-01-18 | 2015-07-23 | Invent.ly LLC | Personalized online learning management system and method |
| US20150206442A1 (en) | 2014-01-18 | 2015-07-23 | Invent.ly LLC | Student-specific adaptive personalized book creation |
| KR20150102476A (ko) | 2014-02-28 | 2015-09-07 | 안명훈 | 자기 완성형 학습을 위한 개인 맞춤형 스마트 교육 방법 |
| CN104616229A (zh) * | 2015-02-13 | 2015-05-13 | 福州中科迅格信息科技有限公司 | 用于教育培训的课程匹配系统 |
-
2016
- 2016-02-25 KR KR1020160022615A patent/KR101816665B1/ko active IP Right Grant
- 2016-11-08 US US16/079,909 patent/US11238749B2/en active Active
- 2016-11-08 CN CN201680082545.9A patent/CN109155049B/zh active Active
- 2016-11-08 JP JP2018545229A patent/JP6701367B2/ja active Active
- 2016-11-08 WO PCT/KR2016/012817 patent/WO2017146344A1/ko active Application Filing
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002358000A (ja) * | 2001-03-08 | 2002-12-13 | Boostmyscore.Com | 個別に設計された診断ならびに矯正を使用するコンピュータ化された試験準備システム |
| KR101023540B1 (ko) | 2010-06-21 | 2011-03-21 | (주)오투라인 | 가변되는 메타정보를 활용한 시험결과 분석평가방법 |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20210114622A (ko) * | 2020-03-11 | 2021-09-24 | 주식회사 씨엔제이브라더스 | 학습능력 강화 알고리즘을 이용한 학습 가이드 제공 방법 및 장치 |
| KR102464152B1 (ko) * | 2020-03-11 | 2022-11-08 | 주식회사 씨엔제이브라더스 | 학습능력 강화 알고리즘을 이용한 학습 가이드 제공 방법 및 장치 |
| KR20240009604A (ko) | 2022-07-14 | 2024-01-23 | (주)웅진씽크빅 | 학습 문항 클러스터링 장치 및 방법 |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20170100265A (ko) | 2017-09-04 |
| CN109155049A (zh) | 2019-01-04 |
| US11238749B2 (en) | 2022-02-01 |
| CN109155049B (zh) | 2022-09-27 |
| JP2019507907A (ja) | 2019-03-22 |
| JP6701367B2 (ja) | 2020-05-27 |
| WO2017146344A1 (ko) | 2017-08-31 |
| US20190051204A1 (en) | 2019-02-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR101816665B1 (ko) | 객관식 문항 학습 데이터를 분석하는 방법 | |
| Akçapınar et al. | Using learning analytics to develop early-warning system for at-risk students | |
| CN107230174B (zh) | 一种基于网络的在线互动学习系统和方法 | |
| Graf et al. | Analysis of learners' navigational behaviour and their learning styles in an online course | |
| KR101853091B1 (ko) | 기계학습이 적용된 사용자 답변 예측 프레임워크를 통한 개인 맞춤형 교육 컨텐츠 제공 방법, 장치 및 컴퓨터 프로그램 | |
| KR101170125B1 (ko) | 복수의 인성 검사의 조합에 의한 진로 상담 시스템 및 방법 | |
| KR20190025873A (ko) | 교육 컨텐츠를 제공하는 방법, 장치 및 컴퓨터 프로그램 | |
| Dimić et al. | Association analysis of moodle e‐tests in blended learning educational environment | |
| Ling et al. | English‐as‐a‐second‐language programs for matriculated students in the United States: An exploratory survey and some issues | |
| Maaliw III | Classification of learning styles in virtual learning environment using data mining: A basis for adaptive course design | |
| EP3131054A1 (en) | Concept-associated online study service method, and service system therefor | |
| KR101382132B1 (ko) | 학습 패턴 평가 시스템 | |
| Kirby et al. | Using decision tree analysis to understand foundation science student performance. Insight gained at one South African university | |
| Luchoomun et al. | A knowledge based system for automated assessment of short structured questions | |
| CN114492803A (zh) | 基于知识图谱的问答生成方法及装置、自动考题生成系统 | |
| KR102016820B1 (ko) | 오답 노트 생성 방법, 장치 | |
| Corrigan et al. | Student data: data is knowledge–putting the knowledge back in the students’ hands | |
| Gogri et al. | Evaluation of students performance based on formative assessment using data mining | |
| CN111553555A (zh) | 培训方法、装置、计算机设备和存储介质 | |
| Wesolowski | Predicting operational rater‐type classifications using rasch measurement theory and random forests: a music performance assessment perspective | |
| CN112598944B (zh) | 一种智能型英语教学系统 | |
| KR20020082161A (ko) | 독서능력지수를 이용한 독서능력 관리방법 및 시스템 | |
| CN113706025A (zh) | 一种学习报告生成方法、装置、计算机设备和存储介质 | |
| Bendjebar et al. | An improvement of a data mining technique for early detection of at-risk learners in distance learning environments | |
| Molina‐Cabello et al. | Are learning styles useful? A new software to analyze correlations with grades and a case study in engineering |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |