WO2022245009A1 - 메타인지능력 평가방법 및 이를 위한 평가시스템 - Google Patents

메타인지능력 평가방법 및 이를 위한 평가시스템 Download PDF

Info

Publication number
WO2022245009A1
WO2022245009A1 PCT/KR2022/006171 KR2022006171W WO2022245009A1 WO 2022245009 A1 WO2022245009 A1 WO 2022245009A1 KR 2022006171 W KR2022006171 W KR 2022006171W WO 2022245009 A1 WO2022245009 A1 WO 2022245009A1
Authority
WO
WIPO (PCT)
Prior art keywords
difficulty
prediction
metacognitive
question
student
Prior art date
Application number
PCT/KR2022/006171
Other languages
English (en)
French (fr)
Inventor
김성태
Original Assignee
김성태
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 김성태 filed Critical 김성태
Publication of WO2022245009A1 publication Critical patent/WO2022245009A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/20—Education
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B7/00—Electrically-operated teaching apparatus or devices working with questions and answers
    • G09B7/02—Electrically-operated teaching apparatus or devices working with questions and answers of the type wherein the student is expected to construct an answer to the question which is presented or wherein the machine gives an answer to the question presented by a student

Abstract

학생들의 문제에 대한 난이도 예측 및 풀이결과 예측에 기초하여 학생의 메타인지능력지수를 산출하여 메타인지능력을 평가할 수 있는 메타인지능력 평가방법이 제공된다. 메타인지능력 평가방법은, 학생단말기로부터 회신된 문제의 각 문항에 대한 난이도 예측값 및 풀이결과 예측값에 기초하여 문항에 대한 난이도예측 정확도와 풀이결과예측 정확도를 분석하고, 분석결과로부터 문제에 대한 학생의 메타인지능력지수를 산출하여 평가할 수 있다.

Description

메타인지능력 평가방법 및 이를 위한 평가시스템
본 발명은 메타인지(metacognition)능력 평가방법에 관한 것으로, 특히 학생들의 문제에 대한 난이도 예측 및 풀이결과 예측에 기초하여 학생의 메타인지능력지수를 산출하여 메타인지능력을 평가할 수 있는 메타인지능력 평가방법 및 이를 위한 평가시스템에 관한 것이다.
인터넷과 컴퓨터 활용에 따른 다양한 주변환경의 변화를 통하여 교육환경은 빠르게 변화하고 있다. 특히, 다양한 교육매체의 발달로 학습자는 보다 폭 넓은 학습방법을 선택하고 이용할 수 있게 되었는데, 그 중 인터넷을 통한 교육서비스는 시간적, 공간적 제약을 극복하고 저비용의 교육이 가능하다는 이점 때문에 각광받는 학습수단 중의 하나로 자리매김하게 되었다.
이러한 경향에 부응하여 e-러닝 관련 기술이 급속히 발달하게 되었고, 이제는 제한된 인적/물적 자원으로 오프라인 교육에서는 불가능했던 맞춤형 교육서비스도 가능하게 되었다. 예컨대, 학습자의 개성과 능력에 따라 세분화된 수준별 학습을 제공함으로써, 과거의 획일적인 교육방법에서 탈피하여 학습자의 개인 역량에 따른 교육 컨텐츠를 제공할 수 있게 되었다.
이와 같은 맞춤형 교육서비스에 있어서도 일방적인 주입식 교육형태에서 크게 벗어나지 못하고 있는 데, 단적인 예로, 강의가 제공되고, 학습자가 오프라인 상에서 별도의 학습과정을 거친 후, 평가과정을 통해 학습성과를 확인할 수 있는 것이 대표적인 예이며, 이와 같이 현재까지 제공되고 있는 교육서비스는 강의를 수강한 학습자의 오프라인 상에서의 노력 여하에 따라 학습성과가 좌우된다는 점에서, 종래 오프라인 상의 학습법과 별반 차이가 없었다.
최근, 메타인지(metacognition)능력의 개발을 통한 새로운 학습법이 제안되고 있다. 메타인지는 자신의 생각에 대해 판단하는 능력을 말한다. 이러한 메타인지는 상위인지라고도 한다.
이러한 메타인지능력을 통한 학습법은 다수의 학생들에게 문제의 풀이과정에서 부족한 부분을 인지하도록 하여 문제 풀이과정에서의 오답의 이유가 풀이시간의 부족 또는 불완전한 문제의 이해 등에 해당하는지를 명확하고 빠르게 파악할 수 있어 자신에게 적합한 최적의 학습법을 설정하도록 할 수 있다.
그러나, 종래의 메타인지능력을 통한 학습법은 학생의 메타인지능력에 대한 정확한 평가가 불가하여 학생별 최적의 학습법을 설정하는 데 어려움이 있었다.
본 발명은 학생들의 문제에 대한 난이도 예측 및 풀이결과 예측에 기초하여 학생의 메타인지능력지수를 산출하여 메타인지능력을 평가할 수 있는 메타인지능력 평가방법 및 이를 위한 평가시스템을 제공하고자 하는 데 있다.
본 발명의 일 실시예에 따른 메타인지능력 평가방법은, 다수의 문항으로 이루어진 문제를 추출하여 학생단말기로 전송하는 단계; 상기 학생단말기로부터 상기 문항 각각에 대한 답안, 난이도 예측값 및 풀이결과 예측값을 제공받는 단계; 상기 난이도 예측값에 기초하여 상기 문항에 대한 난이도 예측 정확도를 분석하는 단계; 상기 풀이결과 예측값에 기초하여 상기 문항에 대한 풀이결과 예측 정확도를 분석하는 단계; 및 상기 난이도 예측 정확도 및 풀이결과 예측 정확도에 기초하여 상기 학생단말기를 소지하는 학생에 대한 메타인지능력지수를 산출하는 단계를 포함한다.
본 발명의 다른 실시예에 따른 메타인지능력 평가방법은, 다수의 문항으로 이루어진 문제를 추출하여 학생단말기로 전송하는 단계; 상기 학생단말기로부터 상기 문항에 대한 난이도 예측값를 제공받아 난이도 예측 정확도를 분석하는 단계; 상기 난이도 예측 정확도의 분석결과에 기초하여 상기 다수의 문항 중 특정한 적어도 하나의 문항을 추출하고, 추출된 문항으로부터 새로운 문제를 생성하여 상기 학생단말기로 전송하는 단계; 상기 새로운 문제의 하나 이상의 문항 각각에 대한 답안 및 풀이결과 예측값을 제공받아 풀이결과 예측 정확도를 분석하는 단계; 및 상기 난이도 예측 정확도 및 풀이결과 예측 정확도에 기초하여 상기 학생단말기를 소지하는 학생에 대한 메타인지능력지수를 산출하는 단계를 포함한다.
본 발명에 따른 메타인지능력 평가방법은 학생단말기로부터 문제의 각 문항에 대한 난이도 예측값 및 풀이결과 예측값을 회신받고, 이로부터 문항에 대한 난이도예측 정확도와 풀이결과예측 정확도를 분석하여 학생에 대한 메타인지능력지수를 산출할 수 있다.
이에, 본 발명은 각 학생에 대한 메타인지 능력지수를 통해 학생별 메타인지능력의 향상을 위한 최적의 교육이 이루어지도록 할 수 있으며, 이로 인해 학생들은 향상된 메타인지능력을 통한 최적의 학습방법을 설정할 수 있다.
도 1은 본 발명의 실시예에 따른 메타인지능력 평가시스템을 나타내는 도면이다.
도 2는 도 1의 메타인지 평가서버의 구성을 나타내는 도면이다.
도 3은 도 1의 학생단말기의 구성을 나타내는 도면이다.
도 4는 본 발명의 일 실시예에 따른 메타인지능력 평가방법을 나타내는 도면이다.
도 5는 본 발명의 다른 실시예에 따른 메타인지능력 평가방법을 나타내는 도면이다.
도 6은 본 발명에 따른 메타인지능력 평가결과의 예시를 나타내는 도면이다.
본 명세서 및 청구범위에서 사용되는 용어는 본 발명의 다양한 실시 예들에서의 기능을 고려하여 일반적인 용어들을 선택하였다. 하지만, 이러한 용어들은 당 분야에 종사하는 기술자의 의도나 법률적 또는 기술적 해석 및 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 일부 용어는 출원인이 임의로 선정한 용어일 수 있다. 이러한 용어에 대해서는 본 명세서에서 정의된 의미로 해석될 수 있으며, 구체적인 용어 정의가 없으면 본 명세서의 전반적인 내용 및 당해 기술 분야의 통상적인 기술 상식을 토대로 해석될 수도 있다.
또한, 본 명세서에 첨부된 각 도면에 기재된 동일한 참조 번호 또는 부호는 실질적으로 동일한 기능을 수행하는 부품 또는 구성요소를 나타낸다. 설명 및 이해의 편의를 위해서 서로 다른 실시 예들에서도 동일한 참조번호 또는 부호를 사용하여 설명하도록 한다. 즉, 복수의 도면에서 동일한 참조 번호를 가지는 구성 요소를 모두 도시하고 있다고 하더라도, 복수의 도면들이 하나의 실시 예를 의미하는 것은 아니다.
또한, 본 명세서 및 청구범위에서는 구성요소들 간의 구별을 위하여 '제1', '제2' 등과 같이 서수를 포함하는 용어가 사용될 수 있다. 이러한 서수는 동일 또는 유사한 구성 요소들을 서로 구별하기 위하여 사용하는 것이며, 이러한 서수 사용으로 인하여 용어의 의미가 한정 해석되어서는 안될 것이다. 일 예로, 이러한 서수와 결합된 구성 요소는 그 숫자에 의해 사용 순서나 배치 순서 등이 제한 해석되어서는 안된다. 필요에 따라서는, 각 서수들은 서로 교체되어 사용될 수도 있다.
본 명세서에서 단수의 표현은 문맥상 명백하게 다름을 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, '포함하다' 또는 '구성하다' 등의 용어는 명세서 상에 기재된 특성, 숫자, 단계, 동작, 구성 요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특성들이나 숫자, 단계, 동작, 구성 요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
또한, 본 발명의 실시 예에서, 어떤 부분이 다른 부분과 연결되어 있다고 할 때, 이는 직접적인 연결뿐 아니라, 다른 매체를 통한 간접적인 연결의 경우도 포함한다. 또한 어떤 부분이 어떤 구성 요소를 포함한다는 의미는, 특별히 반대되는 기재가 없는 한 다른 구성 요소를 제외하는 것이 아니라 다른 구성 요소를 더 포함할 수 있다는 것을 의미한다.
도 1은 본 발명의 실시예에 따른 메타인지능력 평가시스템을 나타내는 도면이고, 도 2는 도 1의 메타인지 평가서버의 구성을 나타내는 도면이고, 도 3은 도 1의 학생단말기의 구성을 나타내는 도면이다.
도면을 참조하면, 본 실시예에 따른 메타인지능력 평가시스템(10)은 다수의 학생단말기(200)로부터 유/무선 네트워크(미도시)를 통해 전송되는 평가정보에 기초하여 해당 사용자, 즉 학생단말기(200)를 소지한 학생의 메타인지능력을 평가하는 메타인지 평가서버(100)를 포함할 수 있다. 메타인지 평가서버(100)는 메타인지능력 평가결과를 네트워크를 통해 교사단말기(300)로 전송할 수 있다.
메타인지 평가서버(100)는 메타인지능력 평가를 위한 다양한 문제를 학생단말기(200)로 전송하고, 상기 학생단말기(200)로부터 회신된 평가정보에 기초하여 각 학생의 메타인지능력을 평가할 수 있다.
여기서, 평가정보는 학생단말기(200)로 제공된 문제에 대한 난이도 예측값, 풀이결과 예측값 및 실제 문제풀이결과, 즉 답안에 대한 정보 등을 포함할 수 있다.
메타인지 평가서버(100)는 문제 추출부(110), 문제정보 저장부(120), 문제풀이 채점부(130), 난이도예측 평가부(140), 풀이결과예측 평가부(150) 및 메타인지 지수산출부(160)를 포함할 수 있다.
문제 추출부(110)는 메타인지능력을 평가하고자 하는 학생에 대한 정보에 기초하여 문제정보 저장부(120)에 저장된 다수의 문제들 중에서 적어도 하나의 문제를 추출하고, 추출된 문제를 해당하는 학생단말기(200)로 전송할 수 있다. 여기서, 학생단말기(200)로 전송되는 문제에는 메타인지능력 평가를 위한 다수의 문항들이 포함될 수 있다.
또한, 문제 추출부(110)는 후술될 난이도예측 평가부(140)의 평가결과에 기초하여 학생단말기(200)에 기 전송된 문제의 다수의 문항 중 적어도 하나의 문항을 추출하고, 추출된 문항을 새로운 문제로 구성하여 해당하는 학생단말기(200)로 전송할 수 있다.
문제정보 저장부(120)에는 각각이 하나 이상의 문항으로 이루어진 다수의 문제들이 저장될 수 있다. 또한, 문제정보 저장부(120)에는 각 문제의 문항에 대한 문항정보, 예컨대 각 문제의 문항별 난이도정보가 저장될 수 있다.
난이도정보는 각 문항에 대한 평균 풀이시간을 기준으로 설정될 수 있다. 난이도정보는 평균 풀이시간을 기준으로 상급 난이도정보, 중급 난이도정보 및 하급 난이도정보로 설정될 수 있다. 여기서, 상급 난이도정보는 문항의 평균 풀이시간이 3분 초과인 경우를 의미하고, 중급 난이도정보는 문항의 평균 풀이시간이 1~3분인 경우를 의미하며, 하급 난이도정보는 문항의 평균 풀이시간이 1분 미만인 경우를 의미할 수 있다.
문제풀이 채점부(130)는 학생단말기(200)로부터 문제의 각 문항에 대한 풀이결과, 즉 답안을 제공받을 수 있다. 문제풀이 채점부(130)는 학생단말기(200)에서 전송된 답안의 정답 및 오답 여부를 채점하여 최종 평가점수를 도출할 수 있다.
난이도예측 평가부(140)는 학생단말기(200)로부터 난이도 예측값을 제공받을 수 있다. 또한, 난이도예측 평가부(140)는 난이도 예측값에 기초하여 학생의 문제에 대한 난이도 인지능력을 평가할 수 있다. 난이도예측 평가부(140)는 평가된 난이도 인지능력에 따라 학생의 문제 난이도 예측의 정확도를 분석할 수 있다.
풀이결과예측 평가부(150)는 학생단말기(200)로부터 풀이결과 예측값을 제공받을 수 있다. 또한, 풀이결과예측 평가부(150)는 풀이결과 예측값에 기초하여 학생의 문제에 대한 풀이결과 인지능력을 평가할 수 있다. 풀이결과예측 평가부(150)는 평가된 풀이결과 인지능력에 기초하여 학생의 문제 풀이결과 예측의 정확도를 분석할 수 있다.
메타인지 지수산출부(160)는 난이도예측 평가부(140)의 난이도 예측정확도 및 풀이결과예측 평가부(150)의 풀이결과 예측정확도에 기초하여 각 학생에 대한 메타인지능력지수를 산출할 수 있다.
메타인지능력지수는 학생의 문제에 대한 난이도 또는 풀이결과의 인지능력을 나타내는 수치일 수 있다. 이러한 메타인지능력지수는 학생단말기(200) 또는 교사단말기(300)로 전송되어 학생의 메타인지능력 향상을 위한 참고자료로 활용될 수 있다.
학생단말기(200)는 메타인지능력의 평가를 받고자 하는 학생들 각각이 소지하는 단말장치로, 전술된 메타인지 평가서버(100)와 유/무선 네트워트를 통해 연결될 수 있다.
학생단말기(200)는 난이도예측부(210), 문제풀이부(220) 및 풀이결과예측부(230)를 포함할 수 있다. 또한, 학생단말기(200)는 메타인지 평가서버(100)에 접속하기 위한 학생정보, 예컨대 ID 또는 패스워드 등의 접속정보 또는 학생의 나이, 성별, 관심분야, 학업성취정도 등의 개인정보가 저장된 정보저장부(미도시), 메타인지 평가서버(100)에서 전송된 문제 등을 표시하는 표시부(미도시) 및 표시된 문제에 대한 평가정보 등을 입력하는 입력부(미도시)를 더 포함할 수 있다.
난이도예측부(210)는 메타인지 평가서버(100)에서 제공된 문제의 각 문항에 대한 난이도 예측값을 생성하고, 이를 메타인지 평가서버(100)로 전송할 수 있다. 난이도 예측값은 학생으로부터 입력되는 각 문항에 대한 풀이가능시간 예측값에 기초하여 생성될 수 있다.
예컨대, 메타인지 평가서버(100)로부터 전송된 문제는 학생단말기(200)의 표시부를 통해 학생에게 표시될 수 있다. 표시부를 통해 문제를 인지한 학생은 각 문항의 읽기과정, 다시 말해 실제 풀이없이 각 문항을 읽어본 후, 그에 따라 각 문항에 대한 풀이가능시간을 예측하여 입력할 수 있다. 난이도예측부(210)는 학생으로부터 입력된 각 문항의 풀이가능시간으로부터 각 문항의 난이도 예측값을 생성할 수 있다.
여기서, 난이도예측부(210)는 각 문항에 대하여 상급/중급/하급의 난이도 예측값을 생성할 수 있다. 상급 난이도 예측값은 입력된 풀이가능시간이 3분 초과인 경우에 생성될 수 있다. 중급 난이도 예측값은 풀이가능시간이 1~3분인 경우에 생성될 수 있다. 하급 난이도 예측값은 풀이가능시간이 1분 미만인 경우에 생성될 수 있다.
문제풀이부(220)는 학생으로부터 입력된 각 문항의 풀이결과에 기초하여 답안을 생성하고, 이를 메타인지 평가서버(100)로 전송할 수 있다.
풀이결과예측부(230)는 문제풀이부(220)에서 문제의 답안이 생성된 후, 다시 말해 학생으로부터 문제의 각 문항에 대한 풀이결과가 입력된 후, 각 문항에 대한 풀이결과 예측값을 생성하고, 이를 메타인지 평가서버(100)로 전송할 수 있다. 풀이결과 예측값은 학생으로부터 입력되는 각 문항에 대한 풀이시간 예측값 또는 정답가능 예측값에 기초하여 생성될 수 있다.
예컨대, 학생은 학생단말기(200)의 입력부를 통해 표시부에 표시된 문제의 각 문항에 대한 실제 풀이를 수행할 수 있다. 이어, 학생은 풀이한 문항에 대한 실제풀이시간을 예측하여 입력할 수 있다. 또한, 학생은 풀이한 문항에 대한 정답가능여부를 예측하여 입력할 수 있다. 풀이결과예측부(230)는 학생으로부터 입력된 각 문항에 대한 실제풀이시간 예측 및 정답가능여부 예측에 기초하여 각 문항에 대한 풀이결과 예측값을 생성할 수 있다.
상술한 바와 같이, 본 실시예에 따른 메타인지능력 평가시스템(10)은 학생단말기(200)로부터 메타인지 평가서버(100)로 회신되는 다수의 예측값, 즉 학생단말기(200)로 전송된 문제에 대한 난이도 또는 풀이결과에 대한 예측값에 기초하여 학생의 메타인지능력지수를 산출할 수 있다.
또한, 메타인지 평가서버(100)는 산출된 메타인지능력지수를 학생단말기(200) 또는 교사단말기(300)로 전송하여 각 학생의 메타인지능력을 향상시키는 교육이 이루어지도록 할 수 있다. 이로 인해, 학생들은 자신의 메타인지능력을 향상시킬 수 있으며, 향상된 메타인지능력을 통한 최적의 학습방법을 설정할 수 있다.
도 4는 본 발명의 일 실시예에 따른 메타인지능력 평가방법을 나타내는 도면이다.
도면을 참조하면, 메타인지 평가서버(100)의 문제추출부(110)는 다수의 문항으로 이루어진 문제를 추출하여 학생단말기(200)로 전송할 수 있다(S10).
문제추출부(110)는 학생단말기(200)로부터 전송된 학생정보에 기초하여 문제정보저장부(120)에 저장된 다수의 문제 중 해당 학생의 수준에 적합한 문제를 추출할 수 있다. 추출된 문제는 다수의 문항들을 포함할 수 있다. 문제추출부(110)는 다수의 문항으로 이루어진 문제를 해당 학생의 학생단말기(200)로 전송할 수 있다.
메타인지 평가서버(100)로부터 문제를 수신한 학생단말기(200)는 해당 문제를 표시부를 통해 학생에게 표시할 수 있다. 학생단말기(200)는 학생으로부터 입력된 문제의 각 문항에 대한 풀이가능시간 예측값에 기초하여 난이도 예측값을 생성할 수 있다. 또한, 학생단말기(200)는 학생으로부터 입력된 문제의 각 문항에 대한 풀이결과로부터 답안을 생성하고, 각 문항에 대한 풀이시간 예측값 및 정답 예측값에 기초하여 풀이결과 예측값을 생성할 수 있다. 이어, 메타인지 평가서버(100)는 학생단말기(200)로부터 회신되는 문제에 대한 난이도 예측값, 답안 및 풀이결과 예측값을 수신할 수 있다(S20).
다음으로, 메타인지 평가서버(100)의 난이도예측 평가부(140)는 학생단말기(200)로부터 전송된 난이도 예측값에 기초하여 문제에 대한 학생의 난이도 예측 정확도를 분석할 수 있다(S30).
난이도예측 평가부(140)는 학생단말기(200)를 통해 문제의 각 문항에 대한 학생의 실제풀이시간을 검출할 수 있다. 그리고, 검출된 실제 풀이시간으로부터 각 문항의 난이도 등급을 생성할 수 있다.
예컨대, 하나의 문항에 대하여 실제 풀이시간이 3분 초과인 경우에, 난이도예측 평가부(140)는 해당 문항의 난이도 등급을 상급으로 생성할 수 있다. 또한, 실제 풀이시간이 1~3분인 경우에 난이도예측 평가부(140)는 해당 문항의 난이도 등급을 중급으로 생성할 수 있다. 실제 풀이시간이 1분 미만인 경우 난이도예측 평가부(140)는 해당 문항의 난이도 등급을 하급으로 생성할 수 있다.
난이도예측 평가부(140)는 생성된 각 문항의 난이도 등급을 난이도 예측값의 등급과 비교하여 일치여부를 판단할 수 있다.
앞서 설명한 바와 같이, 난이도 예측값은 풀이가능시간의 범위에 따라 상급, 중급 및 하급 중 하나로 생성될 수 있다. 따라서, 난이도예측 평가부(140)는 하나의 문항에 대하여 난이도 예측값의 등급과 실제 풀이시간의 등급을 비교하여 일치여부를 판단할 수 있다.
그리고, 난이도예측 평가부(140)는 일치여부의 판단결과로부터 문제의 전체 문항 중에서 난이도 예측값의 등급과 실제 풀이시간의 등급이 일치하는 문항 수에 대한 난이도 예측율를 퍼센트(%)로 산출할 수 있다. 이렇게 산출된 난이도 예측율에 따라 학생의 문제에 대한 난이도 인지능력을 평가하고, 그에 따른 난이도예측의 정확도를 분석할 수 있다.
다음으로, 메타인지 평가서버(100)의 풀이결과예측 평가부(150)는 학생단말기(200)로부터 전송된 풀이결과 예측값에 기초하여 문제에 대한 학생의 풀이결과예측 정확도를 분석할 수 있다(S40).
메타인지 평가서버(100)의 문제풀이 채점부(130)는 학생단말기(200)로부터 전송된 각 문항의 답안에 대한 정답 및 오답여부를 채점할 수 있다. 풀이결과예측 평가부(150)는 학생단말기(200)로부터 풀이결과 예측값, 즉 각 문항에 대한 정답가능 예측값을 수신할 수 있다.
풀이결과예측 평가부(150)는 각 문항에 대한 문제풀이 채점부(130)의 채점결과와 학생단말기(200)에서 전송된 풀이결과 예측값의 정답가능 예측값을 비교하여 일치여부를 판단할 수 있다.
예컨대, 학생단말기(200)로부터 하나의 문항에 대한 답안과 상기 문항에 대한 O/X 형태의 정답가능 예측값이 메타인지 평가서버(100)로 전송될 수 있다. 문제풀이 채점부(130)는 전송된 답안을 채점하여 정답 또는 오답의 채점결과를 출력할 수 있다. 풀이결과예측 평가부(150)는 상기 문항에 대한 채점결과와 이에 대한 학생단말기(200)에서 전송된 정답가능 예측값을 비교하여 일치여부를 판단할 수 있다.
그리고, 풀이결과예측 평가부(150)는 일치여부의 판단결과로부터 문제의 전체 문항 중에서 채점결과와 정답가능 예측값이 일치하는 문항 수에 대한 풀이결과 예측율을 퍼센트로 산출할 수 있다. 이렇게 산출된 풀이결과 예측율에 기초하여 학생의 문제에 대한 풀이결과 인지능력을 평가하여 풀이결과 예측의 정확도를 분석할 수 있다.
다음으로, 메타인지 지수산출부(160)는 난이도예측 평가부(140)의 난이도예측 정확도와 풀이결과예측 평가부(150)의 풀이결과예측 정확도에 기초하여 학생의 메타인지능력지수를 산출할 수 있다(S50).
메타인지 지수산출부(160)는 하기의 [수학식1]에 기초하여 메타인지능력지수를 산출할 수 있다. 메타인지능력지수는 퍼센트로 산출될 수 있다.
[수학식1]
메타인지능력지수(%) = {(난이도예측율(%) x A) + 풀이결과예측율(%)} / 3
여기서, A는 가중치를 의미한다.
그리고, 메타인지 평가서버(100)는 도 6에 도시된 바와 같이, 다수의 학생 각각에 제공된 문제에 대한 난이도 예측 정확도, 풀이결과 예측 정확도 및 메타인지 능력지수가 기재된 메타인지능력 분석표를 생성하고, 이를 다수의 학생단말기(200) 또는 교사단말기(300)로 전송할 수 있다.
상술한 바와 같이, 본 실시예에 따른 메타인지능력 평가방법은 학생단말기(200)로 제공되는 문제의 각 문항에 대한 난이도 예측값 및 풀이결과 예측값을 회신받고, 이로부터 문항에 대한 난이도예측 정확도와 풀이결과예측 정확도를 분석하여 학생에 대한 메타인지능력지수를 산출할 수 있다. 본 실시예에 따라 산출되는 메타인지능력지수는 학생의 문제에 대한 난이도 인지능력과 풀이결과 인지능력에 대한 정보를 포함할 수 있다.
이에, 본 발명은 각 학생에 대한 메타인지 능력지수를 통해 학생별 메타인지능력의 향상을 위한 최적의 교육이 이루어지도록 할 수 있으며, 이로 인해 학생들은 향상된 메타인지능력을 통한 최적의 학습방법을 설정할 수 있다.
한편, 도면에 도시되지는 않았으나, 본 실시예의 메타인지능력 평가방법은 학생단말기(200)에서 전송된 풀이결과 예측값에 기초하여 문제의 각 문항에 대한 풀이시간 예측 정확도를 분석하는 단계(미도시)를 더 포함할 수 있다.
예컨대, 풀이결과예측 평가부(150)는 학생단말기(200)로부터 풀이결과 예측값, 즉 풀이시간 예측값을 제공받을 수 있다. 또한, 풀이결과예측 평가부(150)는 난이도예측 평가부(140)로부터 문제의 각 문항에 대하여 검출된 학생의 실제 풀이시간을 제공받을 수 있다.
이어, 풀이결과예측 평가부(150)는 풀이시간 예측값에서 실제 풀이시간을 차감하고, 이의 절대값을 산출하여 각 문항에 대한 풀이시간 오차값을 산출할 수 있다. 그리고, 풀이결과예측 평가부(150)는 모든 문항에 대하여 산출된 풀이시간 오차값을 합산하여 문항 수로 평균값을 산출함으로써, 해당 문제에 대한 학생의 풀이시간 인지능력을 평가하고, 그에 따른 풀이시간예측 정확도를 분석할 수 있다.
이렇게 분석된 풀이시간예측 정확도는 메타인지 지수산출부(160)에서 전술된 난이도예측 정확도 및 풀이결과에측 정확도와 함께 학생의 메타인지 능력지수를 산출하는데 활용될 수 있다.
도 5는 본 발명의 다른 실시예에 따른 메타인지능력 평가방법을 나타내는 도면이다.
먼저, 메타인지 평가서버(100)의 문제추출부(110)는 학생단말기(200)로부터 전송된 학생정보에 기초하여 문제정보저장부(120)에 저장된 다수의 문제 중 해당 학생의 수준에 적합한 문제를 추출하여 학생단말기(200)로 전송할 수 있다(S110).
이어, 메타인지 평가서버(100)의 난이도예측 평가부(140)는 학생단말기(200)로부터 문제의 각 문항에 대한 난이도 예측값을 제공받고(S120), 이로부터 문제에 대한 학생의 난이도 예측 정확도를 분석할 수 있다(S130).
난이도예측 평가부(140)는 학생단말기(200)에서 전송된 문제의 각 문항에 대한 실제 풀이시간에 기초하여 각 문항에 대한 상급, 중급 및 하급 난이도정보 중 하나를 생성할 수 있다. 난이도예측 평가부(140)는 각 문항의 난이도 등급과 난이도 예측값에 따른 등급을 비교하여 일치여부를 판단할 수 있다. 그리고, 난이도예측 평가부(140)는 판단 결과에 따라 전체 문항에 대한 난이도 예측율을 산출하여 난이도 예측 정확도를 분석할 수 있다.
본 실시예의 난이도예측 평가부(140)에 의한 난이도 예측 정확도 분석은 앞서 도 4에서 설명된 난이도 예측의 정확도 분석단계와 실질적으로 동일하므로, 이에 대한 상세한 설명은 생략한다.
다음으로, 문제추출부(110)는 난이도예측 평가부(140)의 예측 정확도 분석결과에 기초하여 학생단말기(200)로 기 전송된 문제의 다수의 문항에서 적어도 하나의 문항을 추출하고, 이로부터 새로운 문제를 생성할 수 있다(S140).
예컨대, 문제추출부(110)는 기 전송된 다수의 문항 중에서 난이도 예측이 일치한 하나 이상의 문항을 추출할 수 있다. 그리고, 문제추출부(110)는 추출된 문항을 포함하는 새로운 문제를 생성하고, 이를 학생단말기(200)로 전송할 수 있다.
또한, 문제추출부(110)는 기 전송된 다수의 문항 중에서 난이도 예측이 불일치한 하나 이상의 문항을 추출할 수 있다. 그리고, 문제추출부(110)는 추출된 문항을 포함하는 새로운 문제를 생성하고, 이를 학생단말기(200)로 전송할 수 있다.
즉, 본 실시예의 문제추출부(110)는 난이도 예측의 정확도 분석결과에 기초하여 학생단말기(200)로 전송된 문제의 다수의 문항 중에서 난이도 예측이 일치한 하나 이상의 문항 또는 난이도 예측이 불일치한 하나 이상의 문항을 추출하여 새로운 문제를 생성할 수 있다.
계속해서, 메타인지 평가서버(100)로부터 학생단말기(200)를 통해 새로운 문제를 수신한 학생은 상기 문제의 다수의 문항 각각을 풀이하여 답안을 작성하고, 상기 각 문항에 대한 풀이결과 예측값을 메타인지 평가서버(100)로 전송할 수 있다(S150).
이에, 메타인지 평가서버(100)의 풀이결과예측 평가부(150)는 학생단말기(200)로부터 전송된 풀이결과 예측값에 기초하여 문제에 대한 풀이결과예측 정확도를 분석할 수 있다(S160).
이러한 풀이결과 예측 정확도 분석은 앞서 도 4를 참조하여 설명된 풀이결과 예측 정확도 분석단계와 실질적으로 동일하므로, 이에 대한 상세한 설명은 생략하기로 한다.
다음으로, 메타인지 지수산출부(160)는 난이도예측 평가부(140)의 난이도예측 정확도와 풀이결과예측 평가부(150)의 풀이결과예측 정확도에 기초하여 전술된 [수학식1]에 따라 학생의 메타인지능력지수를 산출할 수 있다(S170).
그리고, 메타인지 평가서버(100)는 도 6에서돠 같이 학생별 메타인지능력지수가 표시된 메타인지능력 분석표를 생성하고, 이를 학생단말기(200) 또는 교사단말기(300)로 전송할 수 있다.
또한, 도 4를 참조하여 설명한 바와 같이, 본 실시예의 메타인지능력 평가방법 역시 학생단말기(200)에서 전송된 풀이결과 예측값에 기초하여 문제의 각 문항에 대한 풀이시간 예측 정확도를 분석하는 단계(미도시)를 더 포함할 수 있다.
상술한 바와 같이, 본 실시예에 따른 메타인지능력 평가방법은 학생단말기(200)로 제공되는 문제의 각 문항에 대한 난이도 예측값 및 풀이결과 예측값을 회신받고, 이로부터 문항에 대한 난이도예측 정확도와 풀이결과예측 정확도를 분석하여 학생에 대한 메타인지능력지수를 산출할 수 있다. 본 실시예에 따라 산출되는 메타인지능력지수는 학생의 문제에 대한 난이도 인지능력과 풀이결과 인지능력에 대한 정보를 포함할 수 있다.
이에, 본 발명은 각 학생에 대한 메타인지 능력지수를 통해 학생별 메타인지능력의 향상을 위한 최적의 교육이 이루어지도록 할 수 있으며, 이로 인해 학생들은 향상된 메타인지능력을 통한 최적의 학습방법을 설정할 수 있다.
또한, 본 실시예의 메타인지능력 평가방법은, 특정 문항, 즉 문항의 난이도 예측값과 문항의 실제 풀이시간에 의해 결정된 난이도 등급이 일치하거나 또는 불일치하는 문항을 추출하여 생성된 새로운 문제를 학생단말기(200)로 전송하여 메타인지능력지수를 산출할 수 있다. 이에, 본 발명은 학생의 난이도 인지능력의 평가 정확도 및 그로 인해 메타인지능력지수의 산출 정확도를 향상시킬 수 있다.
한편, 도 4 및 도 5를 참조하여 설명된 메타인지능력 평가방법은, 이를 수행하기 위한 프로그램이나 어플리케이션의 형태 또는 이들이 저장되어 컴퓨터 등의 장치에서 판독 가능한 기록매체의 형태로 구현될 수 있다.
이에, 본 발명의 메타인지능력 평가시스템(10)의 메타인지 평가서버(100) 또는 학생단말기(200)에는 전술된 메타인지능력 평가방법을 수행하기 위한 프로그램 또는 어플리케이션이 탑재되고, 이들의 구동에 따라 학생의 메타인지능력 평가동작을 수행할 수 있다.
이상, 본 발명의 일 실시 예에 대하여 설명하였으나, 해당 기술 분야에서 통상의 지식을 가진 자라면 특허청구범위에 기재된 본 발명의 사상으로부터 벗어나지 않는 범위 내에서, 구성 요소의 부가, 변경, 삭제 또는 추가 등에 의해 본 발명을 다양하게 수정 및 변경시킬 수 있을 것이며, 이 또한 본 발명의 권리범위 내에 포함된다고 할 것이다.
또한, 전술된 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례에 따라 달라질 수 있다. 그러므로, 이러한 용어들에 대한 정의는 본 명세서 전반에 걸친 내용을 토대로 하여 내려져야 할 것이다.

Claims (10)

  1. 다수의 문항으로 이루어진 문제를 추출하여 학생단말기로 전송하는 단계;
    상기 학생단말기로부터 상기 문항 각각에 대한 답안, 난이도 예측값 및 풀이결과 예측값을 제공받는 단계;
    상기 난이도 예측값에 기초하여 상기 문항에 대한 난이도 예측 정확도를 분석하는 단계;
    상기 풀이결과 예측값에 기초하여 상기 문항에 대한 풀이결과 예측 정확도를 분석하는 단계; 및
    상기 난이도 예측 정확도 및 풀이결과 예측 정확도에 기초하여 상기 학생단말기를 소지하는 학생에 대한 메타인지능력지수를 산출하는 단계를 포함하는 메타인지능력 평가방법.
  2. 다수의 문항으로 이루어진 문제를 추출하여 학생단말기로 전송하는 단계;
    상기 학생단말기로부터 상기 문항에 대한 난이도 예측값를 제공받아 난이도 예측 정확도를 분석하는 단계;
    상기 난이도 예측 정확도의 분석결과에 기초하여 상기 다수의 문항 중 특정한 적어도 하나의 문항을 추출하고, 추출된 문항으로부터 새로운 문제를 생성하여 상기 학생단말기로 전송하는 단계;
    상기 새로운 문제의 하나 이상의 문항 각각에 대한 답안 및 풀이결과 예측값을 제공받아 풀이결과 예측 정확도를 분석하는 단계; 및
    상기 난이도 예측 정확도 및 풀이결과 예측 정확도에 기초하여 상기 학생단말기를 소지하는 학생에 대한 메타인지능력지수를 산출하는 단계를 포함하는 메타인지능력 평가방법.
  3. 제2항에 있어서,
    상기 추출된 문항으로부터 새로운 문제를 생성하여 상기 학생단말기로 전송하는 단계는,
    상기 다수의 문항 중 난이도 예측이 일치하는 하나 이상의 문항 및 상기 난이도 예측이 불일치하는 하나 이상의 문항 중 적어도 하나를 추출하여 상기 새로운 문제를 생성하는 단계인 것을 특징으로 하는 메타인지능력 평가방법.
  4. 제1항 또는 제2항에 있어서,
    상기 문항에 대한 난이도 예측 정확도를 분석하는 단계는,
    상기 학생단말기로부터 각 문항에 대한 난이도 예측값을 제공받는 단계;
    상기 학생단말기로부터 각 문항의 실제 풀이시간을 검출하여 각 문항에 대한 난이도 등급을 생성하는 단계;
    각 문항에 대한 상기 난이도 예측값 및 난이도 등급을 비교하여 일치여부를 판단하는 단계; 및
    상기 문제의 다수의 문항 중 상기 난이도 예측값과 난이도 등급이 일치하는 문항의 개수에 따라 난이도 예측율을 산출하고, 상기 난이도 예측율에 기초하여 상기 문제에 대한 난이도 예측 정확도를 분석하는 단계를 포함하는 것을 특징으로 하는 메타인지능력 평가방법.
  5. 제4항에 있어서,
    상기 난이도 예측값은 각 문항의 풀이가능시간에 기초하여 상급, 중급 및 하급 중 하나의 예측값으로 생성되고,
    상기 난이도 등급은 각 문항의 실제 풀이시간에 기초하여 상급, 중급 및 하급 중 하나의 등급으로 생성되는 것을 특징으로 하는 메타인지능력 평가방법.
  6. 제1항 또는 제2항에 있어서,
    상기 문항에 대한 풀이결과 예측 정확도를 분석하는 단계는,
    상기 학생단말기로부터 상기 문제의 답안 및 풀이결과 예측값을 제공받는 단계;
    상기 답안을 채점하여 채점결과를 출력하는 단계;
    상기 문제의 각 문항에 대하여 상기 채점결과 및 풀이결과 예측값을 비교하여 일치여부를 판단하는 단계; 및
    상기 문제의 다수의 문항 중 상기 채점결과와 풀이결과 예측값이 일치하는 문항의 개수에 따라 풀이결과 예측율을 산출하고, 상기 풀이결과 예측율에 기초하여 상기 문제에 대한 풀이결과 예측 정확도를 분석하는 단계를 포함하는 것을 특징으로 하는 메타인지능력 평가방법.
  7. 제1항 또는 제2항에 있어서,
    상기 학생에 대한 메타인지능력지수를 산출하는 단계는,
    상기 난이도 예측 정확도에 따른 난이도 예측율 및 상기 풀이결과 예측 정확도에 따른 풀이결과 예측율의 평균값으로 상기 메타인지능력지수를 산출하는 것을 특징으로 하는 메타인지능력 평가방법.
  8. 제7항에 있어서,
    상기 메타인지능력지수는,
    [수학식1]
    메타인지능력지수(%) = {(난이도예측율(%) x A) + 풀이결과예측율(%)} / 3
    (여기서, A는 가중치를 의미)에 따라 산출되는 것을 특징으로 하는 메타인지능력 평가방법.
  9. 제1항 또는 제2항에 있어서,
    각 문항에 대한 상기 풀이결과 예측값과 실제 풀이시간의 차이에 따른 풀이시간 오차값의 절대값을 산출하는 단계; 및
    다수의 문항 각각의 풀이시간 오차값의 평균값을 산출하여 상기 문제에 대한 풀이시간 예측 정확도를 분석하는 단계를 더 포함하는 것을 특징으로 하는 메타인지능력 평가방법.
  10. 제1항 내지 제9항 중 어느 한 항의 메타인지능력 평가방법을 수행하기 위한 메타인지능력 평가시스템.
PCT/KR2022/006171 2021-05-17 2022-04-29 메타인지능력 평가방법 및 이를 위한 평가시스템 WO2022245009A1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020210063196A KR20220155673A (ko) 2021-05-17 2021-05-17 메타인지능력 평가방법 및 이를 위한 평가시스템
KR10-2021-0063196 2021-05-17

Publications (1)

Publication Number Publication Date
WO2022245009A1 true WO2022245009A1 (ko) 2022-11-24

Family

ID=84140657

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2022/006171 WO2022245009A1 (ko) 2021-05-17 2022-04-29 메타인지능력 평가방법 및 이를 위한 평가시스템

Country Status (2)

Country Link
KR (1) KR20220155673A (ko)
WO (1) WO2022245009A1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102614810B1 (ko) * 2023-03-30 2023-12-19 주식회사 정율 메타인지 평가방법으로 학생의 추론과 인식 및 자율의식을 유도하여 학습수행 능력을 향상시키는 메타인지 학습 수행방법

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120288845A1 (en) * 2009-11-18 2012-11-15 Kumar Gl Umesh Assessment for efficient learning and top performance in competitive exams - system, method, user interface and a computer application
KR101631374B1 (ko) * 2014-08-27 2016-06-16 김현옥 메타인지 능력 향상을 위한 수학학습 시스템 및 방법
US20180357915A1 (en) * 2017-06-13 2018-12-13 Cerego, Llc. System and method for customizing learning interactions based on a user model
KR20190006409A (ko) * 2017-07-10 2019-01-18 박윤규 암기학습 데이터를 활용한 단어 인지상태 정량화와 스마트기기 학습 및 스케줄링 장치 및 방법
KR102210687B1 (ko) * 2020-05-08 2021-02-01 최성호 메타인지를 활용한 학습 관리방법 및 학습 관리 시스템

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120288845A1 (en) * 2009-11-18 2012-11-15 Kumar Gl Umesh Assessment for efficient learning and top performance in competitive exams - system, method, user interface and a computer application
KR101631374B1 (ko) * 2014-08-27 2016-06-16 김현옥 메타인지 능력 향상을 위한 수학학습 시스템 및 방법
US20180357915A1 (en) * 2017-06-13 2018-12-13 Cerego, Llc. System and method for customizing learning interactions based on a user model
KR20190006409A (ko) * 2017-07-10 2019-01-18 박윤규 암기학습 데이터를 활용한 단어 인지상태 정량화와 스마트기기 학습 및 스케줄링 장치 및 방법
KR102210687B1 (ko) * 2020-05-08 2021-02-01 최성호 메타인지를 활용한 학습 관리방법 및 학습 관리 시스템

Also Published As

Publication number Publication date
KR20220155673A (ko) 2022-11-24

Similar Documents

Publication Publication Date Title
WO2015099385A1 (ko) 개인 맞춤형 온라인 학습 시스템
WO2011083941A2 (ko) 온라인 테스트 평가 관리 시스템 및 방법
WO2020204468A1 (ko) 액티브 러닝 기법을 적용한 머신 러닝 프레임워크 운용 방법, 장치 및 컴퓨터 프로그램
Crossley et al. Generalisability: a key to unlock professional assessment
Rowe et al. Measuring mental models: Choosing the right tools for the job
WO2017026850A1 (ko) 신체 및 인지능력 평가를 통한 고령자 맞춤형 ui/ux 출력 방법
KR20190123105A (ko) 사용자 맞춤형 학습 컨텐츠 제공 시스템 및 방법
WO2012026674A2 (ko) 학습 플랜 분석 방법, 장치 및 시스템
WO2013125861A1 (ko) 지식 유닛에 기초하여 교육 서비스를 제공하기 위한 방법, 시스템 및 컴퓨터 판독 가능한 기록 매체
WO2022211326A1 (ko) 복수의 시험 도메인에 적용되는 전이요소로 학습된 인공지능 모델을 통해 사용자의 실력을 평가하는 장치, 시스템 및 그것의 동작방법
WO2018212394A1 (ko) 기계 학습 프레임워크를 운용하는 방법, 장치 및 컴퓨터 프로그램
WO2018169115A1 (ko) 학습을 지원하는 방법, 시스템 및 비일시성의 컴퓨터 판독 가능 기록 매체
WO2014142620A1 (ko) 문항군과 관련 컨셉을 이용한 뉴럴 어댑티브 학습 장치 및 뉴럴 어댑티브 학습 방법
Hicks et al. Wonderlic, working memory capacity, and fluid intelligence
WO2019013387A1 (ko) 오프라인 및 온라인 교재 연동 학습 서비스 시스템
WO2022245009A1 (ko) 메타인지능력 평가방법 및 이를 위한 평가시스템
CN105070130A (zh) 水平测评方法和系统
Chen et al. Relationship between students’ online learning behavior and course performance: What contextual information matters?
WO2018212396A1 (ko) 데이터를 분석하는 방법, 장치 및 컴퓨터 프로그램
WO2011074714A1 (ko) 지능형 맞춤화된 학습서비스 방법
Cooley et al. Classroom behavior and the ability to decode nonverbal cues in boys with severe emotional disturbance
CN116340624A (zh) 自适应学习信息推荐方法、装置、设备及存储介质
CN111739366B (zh) 基于自洽性体系的自适应考前冲刺在线学习方法及系统
WO2018079968A1 (ko) 개인 맞춤형 교육 컨텐츠를 제공하는 방법, 장치 및 컴퓨터 프로그램
WO2023022406A1 (ko) 학습 실력 평가 방법, 학습 실력 평가 장치 및 학습 실력 평가 시스템

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22804864

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE