KR102506688B1 - 복수의 문항 중 최적의 문항을 선택하는 전자 장치의 제어 방법 - Google Patents

복수의 문항 중 최적의 문항을 선택하는 전자 장치의 제어 방법 Download PDF

Info

Publication number
KR102506688B1
KR102506688B1 KR1020220013288A KR20220013288A KR102506688B1 KR 102506688 B1 KR102506688 B1 KR 102506688B1 KR 1020220013288 A KR1020220013288 A KR 1020220013288A KR 20220013288 A KR20220013288 A KR 20220013288A KR 102506688 B1 KR102506688 B1 KR 102506688B1
Authority
KR
South Korea
Prior art keywords
user
level
electronic device
question
processor
Prior art date
Application number
KR1020220013288A
Other languages
English (en)
Inventor
김남걸
김영천
Original Assignee
주식회사 우로테스트
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 우로테스트 filed Critical 주식회사 우로테스트
Priority to KR1020220013288A priority Critical patent/KR102506688B1/ko
Priority to KR1020230027362A priority patent/KR20230116740A/ko
Application granted granted Critical
Publication of KR102506688B1 publication Critical patent/KR102506688B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/20—Education
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/18—Complex mathematical operations for evaluating statistical data, e.g. average values, frequency distributions, probability functions, regression analysis
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B7/00—Electrically-operated teaching apparatus or devices working with questions and answers
    • G09B7/02—Electrically-operated teaching apparatus or devices working with questions and answers of the type wherein the student is expected to construct an answer to the question which is presented or wherein the machine gives an answer to the question presented by a student

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Data Mining & Analysis (AREA)
  • Educational Technology (AREA)
  • Computational Mathematics (AREA)
  • Educational Administration (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Mathematical Physics (AREA)
  • Tourism & Hospitality (AREA)
  • Pure & Applied Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Probability & Statistics with Applications (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Operations Research (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Algebra (AREA)
  • Health & Medical Sciences (AREA)
  • Economics (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

전자 장치의 제어 방법이 개시된다. 본 제어 방법은, 복수의 문항 각각에 매칭되는 복수의 정보 함수를 획득하는 단계, 복수의 정보 함수를 기초로, 복수의 문항 중 사용자의 능력 수준에 적합한 제1 문항을 선택하는 단계, 선택된 제1 문항을 제공하여 제1 문항에 대한 사용자의 응답을 획득하는 단계, 제1 문항에 대한 사용자의 응답의 정답 여부에 따라 사용자의 능력 수준을 업데이트하는 단계, 복수의 정보 함수를 기초로, 복수의 문항 중 업데이트된 사용자의 능력 수준에 적합한 제2 문항을 선택하는 단계를 포함한다.

Description

복수의 문항 중 최적의 문항을 선택하는 전자 장치의 제어 방법 { CONTROL METHOD OF ELECTRONIC APPARATUS FOR SELECTING OPTIMAL QUESTION FROM AMONG PLURALITY OF QUESTIONS }
본 개시는 적어도 하나의 문항을 제공하는 전자 장치에 관한 것으로, 보다 상세하게는, 복수의 문항 중 사용자의 능력 수준을 진단하기에 가장 적합한 최적의 문항을 순차적으로 제공하는 전자 장치의 제어 방법에 관한 것이다.
종래 복수의 문항으로 구성된 테스트를 통해 학생의 능력 수준을 파악하기 위한 다양한 시도가 있었다.
다만, 이러한 테스트를 구성하는 각 문항의 경우, 전문가의 주관적/행정적/경험적 판단에 따라 선택된 문항들(개념 순서, 학습 순서, 학년 별 교과 과정 등)에 해당하는 경우가 많았고, 실제 학생의 능력 수준에 대한 각 문항의 객관적인 연관성이 명확하지 않았다.
또한, 테스트를 구성하는 복수의 문항 각각이 학생의 능력 수준 판단에 어떠한 객관적 지표를 제공하는지에 대해서도 명확하지 않은 경우가 대부분이었다.
등록 특허 공보 제10-2175451호(문항반응이론 기반의 적응검사 수행 장치 및 시스템)
본 개시는, 복수의 문항 중 사용자(응답자)의 능력 수준을 진단하기에 적합한 문항을 선택하여 순차적으로 제공하는 전자 장치의 제어 방법을 제공한다.
본 개시의 목적들은 이상에서 언급한 목적으로 제한되지 않으며, 언급되지 않은 본 개시의 다른 목적 및 장점들은 하기의 설명에 의해서 이해될 수 있고, 본 개시의 실시 예에 의해 보다 분명하게 이해될 것이다. 또한, 본 개시의 목적 및 장점들은 특허 청구 범위에 나타낸 수단 및 그 조합에 의해 실현될 수 있음을 쉽게 알 수 있을 것이다.
본 개시의 일 실시 예에 따른 전자 장치의 제어 방법은, 복수의 문항 각각에 매칭되는 복수의 정보 함수를 획득하는 단계, 상기 복수의 정보 함수를 기초로, 상기 복수의 문항 중 사용자의 능력 수준에 적합한 제1 문항을 선택하는 단계, 상기 선택된 제1 문항을 제공하여 상기 제1 문항에 대한 상기 사용자의 응답을 획득하는 단계, 상기 제1 문항에 대한 상기 사용자의 응답의 정답 여부에 따라 상기 사용자의 능력 수준을 업데이트하는 단계, 상기 복수의 정보 함수를 기초로, 상기 복수의 문항 중 상기 업데이트된 사용자의 능력 수준에 적합한 제2 문항을 선택하는 단계를 포함한다.
상기 제1 문항을 선택하는 단계는, 상기 복수의 정보 함수 각각에 상기 사용자의 능력 수준을 입력하여, 상기 복수의 정보 함수 각각의 출력 값을 획득하고, 상기 복수의 정보 함수 중 상기 출력 값이 가장 큰 정보 함수에 매칭되는 상기 제1 문항을 선택할 수 있다.
상기 전자 장치의 제어 방법은, 상기 선택된 제2 문항을 제공하여 상기 제2 문항에 대한 상기 사용자의 응답을 획득하는 단계, 상기 제2 문항에 대한 상기 사용자의 응답의 정답 여부에 따라 상기 사용자의 능력 수준을 재차 업데이트하는 단계를 포함할 수 있다.
이 경우, 상기 사용자의 능력 수준을 업데이트하는 단계는, 상기 제1 문항에 대한 상기 사용자의 응답의 정답 여부에 따라 상기 사용자의 능력 수준을 일정 수치만큼 변경하고, 상기 사용자의 능력 수준을 재차 업데이트하는 단계는, 상기 제2 문항에 대한 상기 사용자의 응답의 정답 여부에 따라 상기 사용자의 능력 수준을 상기 일정 수치의 절반만큼 변경할 수 있다.
한편, 상기 복수의 정보 함수를 획득하는 단계는, 이하 수학식에 따라 응답자의 능력 수준(θ)에 대한 각 문항의 정보 함수(I(θ))를 설정할 수 있다.
Figure 112022011394590-pat00001
. 상기 a는 문항의 변별도이고, 상기 P(θ)는 응답자의 능력 수준에 따라 상기 문항의 정답을 맞힐 확률이고, 상기 Q(θ)는 응답자의 능력 수준에 따라 상기 문항의 정답을 맞히지 못할 확률이다.
상기 전자 장치의 제어 방법은, 상기 사용자의 식별 정보를 바탕으로, 상기 사용자가 속한 그룹의 평균 능력 수준을 식별하는 단계, 상기 식별된 평균 능력 수준을 상기 사용자의 능력 수준으로 설정하는 단계를 포함할 수도 있다. 이 경우, 상기 제1 문항을 선택하는 단계는, 상기 복수의 문항 중 상기 설정된 사용자의 능력 수준에 적합한 제1 문항을 선택할 수 있다.
상기 전자 장치의 제어 방법은, 상기 복수의 정보 함수를 기초로, 능력 수준의 레벨 별로 상기 복수의 문항의 우선순위를 설정하는 단계, 상기 능력 수준의 모든 레벨에 대하여 우선순위가 일정 순위 미만인 적어도 하나의 문항을 식별하는 단계, 상기 복수의 문항 중 상기 식별된 문항을 적어도 하나의 다른 문항으로 대체하는 단계를 포함할 수 있다.
상기 전자 장치의 제어 방법은, 상기 제1 문항에 대한 상기 사용자의 응답의 정답 여부에 따라 상기 제1 문항의 난이도 및 변별도를 업데이트하는 단계, 상기 변경된 난이도 및 변별도를 기초로, 상기 제1 문항의 정보 함수를 업데이트하는 단계를 포함할 수도 있다.
본 개시에 따른 전자 장치의 제어 방법은, 복수의 문항 중 사용자의 능력 수준을 진단하기에 가장 적합한 문항을 순차적으로 제공하면서 사용자의 능력 수준을 업데이트할 수 있다는 효과가 있다.
본 개시에 따른 전자 장치의 제어 방법은, 통계적인 방법으로 난이도, 변별도를 관리하는 한편 이를 기초로 정보 함수를 정의함으로써, 최소한의 문항(ex. 5개 문항)만으로 높은 정확도(95%)로 사용자의 능력 수준을 파악할 수 있는 효과가 있다.
도 1은 본 개시의 일 실시 예에 따른 전자 장치의 구성을 설명하기 위한 블록도,
도 2는 본 개시의 일 실시 예에 따른 전자 장치의 제어 방법을 설명하기 위한 흐름도,
도 3은 본 개시의 일 실시 예에 따른 전자 장치가 능력 수준의 값마다 정보 함수의 값을 획득하는 동작을 설명하기 위한 표,
도 4는 본 개시의 일 실시 예에 따라 일 문항에 대해 설정된 정보 함수가 도시된 그래프,
도 5는 본 개시의 일 실시 예에 따른 전자 장치가 복수의 문항 각각의 정보 함수를 바탕으로 사용자의 능력 수준에 적합한 문항을 선택하는 동작을 설명하기 위한 그래프,
도 6은 본 개시의 일 실시 예에 따른 전자 장치가 각 문항에 대한 응답의 정답 여부에 따라 능력 수준을 업데이트하면서 순차적으로 문항을 제공하는 구체적인 동작을 설명하기 위한 알고리즘,
도 7은 본 개시의 일 실시 예에 따른 전자 장치가 각 문항의 정답 여부에 따라 다음 문항을 순차적으로 정하는 방식으로 5개의 문항을 제공하는 경우, 각 문항의 정답 여부를 바탕으로 한 다양한 경우의 수 별로 학생의 능력 수준 판단의 정확도를 설명하기 위한 표,
도 8은 본 개시의 다양한 실시 예에 따른 전자 장치의 구성을 설명하기 위한 블록도, 그리고
도 9는 본 개시의 일 실시 예에 따라 서버로 구현된 전자 장치가 다양한 사용자 단말과 통신을 수행하면서 능력 수준을 진단하는 동작을 설명하기 위한 블록도이다.
본 개시에 대하여 구체적으로 설명하기에 앞서, 본 명세서 및 도면의 기재 방법에 대하여 설명한다.
먼저, 본 명세서 및 청구범위에서 사용되는 용어는 본 개시의 다양한 실시 예들에서의 기능을 고려하여 일반적인 용어들을 선택하였다. 하지만, 이러한 용어들은 당해 기술 분야에 종사하는 기술자의 의도나 법률적 또는 기술적 해석 및 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 일부 용어는 출원인이 임의로 선정한 용어도 있다. 이러한 용어에 대해서는 본 명세서에서 정의된 의미로 해석될 수 있으며, 구체적인 용어 정의가 없으면 본 명세서의 전반적인 내용 및 당해 기술 분야의 통상적인 기술 상식을 토대로 해석될 수도 있다.
또한, 본 명세서에 첨부된 각 도면에 기재된 동일한 참조번호 또는 부호는 실질적으로 동일한 기능을 수행하는 부품 또는 구성요소를 나타낸다. 설명 및 이해의 편의를 위해서 서로 다른 실시 예들에서도 동일한 참조번호 또는 부호를 사용하여 설명한다. 즉, 복수의 도면에서 동일한 참조 번호를 가지는 구성요소를 모두 도시되어 있다고 하더라도, 복수의 도면들이 하나의 실시 예를 의미하는 것은 아니다.
또한, 본 명세서 및 청구범위에서는 구성요소들 간의 구별을 위하여 "제1", "제2" 등과 같이 서수를 포함하는 용어가 사용될 수 있다. 이러한 서수는 동일 또는 유사한 구성요소들을 서로 구별하기 위하여 사용하는 것이며 이러한 서수 사용으로 인하여 용어의 의미가 한정 해석되어서는 안 된다. 일 예로, 이러한 서수와 결합된 구성요소는 그 숫자에 의해 사용 순서나 배치 순서 등이 제한되어서는 안 된다. 필요에 따라서는, 각 서수들은 서로 교체되어 사용될 수도 있다.
본 명세서에서 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "구성되다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
본 개시의 실시 예에서 "모듈", "유닛", "부(part)" 등과 같은 용어는 적어도 하나의 기능이나 동작을 수행하는 구성요소를 지칭하기 위한 용어이며, 이러한 구성요소는 하드웨어 또는 소프트웨어로 구현되거나 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다. 또한, 복수의 "모듈", "유닛", "부(part)" 등은 각각이 개별적인 특정한 하드웨어로 구현될 필요가 있는 경우를 제외하고는, 적어도 하나의 모듈이나 칩으로 일체화되어 적어도 하나의 프로세서로 구현될 수 있다.
또한, 본 개시의 실시 예에서, 어떤 부분이 다른 부분과 연결되어 있다고 할 때, 이는 직접적인 연결뿐 아니라, 다른 매체를 통한 간접적인 연결의 경우도 포함한다. 또한, 어떤 부분이 어떤 구성요소를 포함한다는 의미는, 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
도 1은 본 개시의 일 실시 예에 따른 전자 장치의 구성을 설명하기 위한 블록도이다.
도 1을 참조하면, 전자 장치(100)는 메모리(110) 및 프로세서(120)를 포함할 수 있다. 전자 장치(100)는 문항을 관리하거나 제공할 수 있는 다양한 기기로 구현될 수 있다. 구체적으로, 전자 장치(100)는 스마트폰, 태블릿 PC, 데스크탑 PC, 노트북 PC, 셋탑박스, 키오스크, PDA, 콘솔 기기 등 다양한 사용자 단말로 구현될 수 있다.
또한, 전자 장치(100)는 하나 이상의 컴퓨터를 포함하는 서버로 구현될 수도 있다. 이 경우, 전자 장치(100)는 적어도 하나의 웹 페이지 또는 애플리케이션을 통해 다양한 종류의 사용자 단말과 통신을 수행하고, 사용자 단말을 통해 하나 이상의 문항을 제공할 수 있다. 전자 장치(100)가 서버로 구현된 구체적인 실시 예는, 도 9를 통해 후술한다.
메모리(110)는 전자 장치(100)의 구성요소들의 전반적인 동작을 제어하기 위한 운영체제(OS: Operating System) 및 전자 장치(100)의 구성요소와 관련된 적어도 하나의 인스트럭션 또는 데이터를 저장하기 위한 구성이다.
메모리(110)는 ROM, 플래시 메모리 등의 비휘발성 메모리를 포함할 수 있으며, DRAM 등으로 구성된 휘발성 메모리를 포함할 수 있다. 또한, 메모리(110)는 하드 디스크, SSD(Solid state drive) 등을 포함할 수도 있다.
메모리(110)는 다양한 문항에 대한 정보를 포함할 수 있다. 구체적으로, 메모리(110)는 각 문항을 구성하는 텍스트(질문, 선택지, 관련 내용 등), 그림 등을 포함할 수 있다. 또한, 메모리(110)는 각 문항의 난이도, 변별도, 정보 함수 등을 저장할 수 있으며, 각 문항에 대한 정답 정보를 저장할 수 있다.
프로세서(120)는 전자 장치(100)를 전반적으로 제어하기 위한 구성이다. 구체적으로, 프로세서(120)는 메모리(110)와 연결되는 한편 메모리(110)에 저장된 적어도 하나의 인스트럭션을 실행함으로써 본 개시의 다양한 실시 예들에 따른 동작을 수행할 수 있다.
프로세서(120)는 CPU, AP, DSP(Digital Signal Processor) 등과 같은 범용 프로세서, GPU, VPU(Vision Processing Unit) 등과 같은 그래픽 전용 프로세서 또는 NPU와 같은 인공지능 전용 프로세서 등을 포함할 수 있다. 인공지능 전용 프로세서는, 특정 인공지능 모델의 훈련 내지는 이용에 특화된 하드웨어 구조로 설계될 수 있다.
도 2는 본 개시의 일 실시 예에 따른 전자 장치의 제어 방법을 설명하기 위한 흐름도이다.
도 2를 참조하면, 전자 장치(100)는 복수의 문항 각각에 매칭되는 복수의 정보 함수를 획득할 수 있다(S210).
여기서, 복수의 문항은 적어도 하나의 과목/카테고리에 대한 문항들일 수 있으며, 메모리(110)에 저장된 문항들일 수 있다. 각 문항은, 다양한 난이도, 변별도를 가질 수 있다.
정보 함수는, 해당 문항이 응답자(사용자)의 능력을 얼마나 정확하게 추정할 수 있는지를 수치적으로 나타내는 함수로서, 능력 추정의 표준오차(σ)에 반비례하는 특징을 가질 수 있다.
구체적으로, 전자 장치(100)는 이하 수학식에 따라 정보 함수(I(θ))를 산출할 수 있다. 정보 함수(I(θ))는 응답자의 능력 수준(θ)에 따른 함수로 정의될 수 있다.
Figure 112022011394590-pat00002
Ii(θ)는 i번째 문항의 정보 함수이다. ai는 i번째 문항의 변별도이고, Pi(θ)는 응답자의 능력 수준에 따라 해당 문항의 정답을 맞힐 확률이고, Qi(θ)는 응답자의 능력 수준에 따라 해당 문항의 정답을 맞히지 못할 확률에 해당한다(Pi(θ) + Qi(θ) = 1).
문항의 변별도는, 해당 문항에 대한 전문가 등의 설정에 따라 정해지거나, 또는 해당 문항에 응답한 응답자의 수, 각 응답자의 문항 점수(: 풀이 결과) 등에 따라 산출될 수도 있다.
예를 들어, 전자 장치(100)는 이하 수학식에 따라 문항의 변별도(a)를 산출할 수 있다.
Figure 112022011394590-pat00003
여기서, ai는 i번째 문항의 변별도이고, N은 i번째 문항에 응답한 총 응답자의 수에 해당한다. X는 i번째 문항에 응답한 각 응답자의 문항 점수(: 응답이 정답인지 여부에 따라 정해짐)에 대한 지표(ex. 평균)이고, Y는 해당 문항(i번째 문항)을 포함하는 테스트에 대한 각 응답자의 시험 총점에 대한 지표(ex. 평균)이다.
문항의 정답을 맞힐 확률(P(θ))은 응답자의 능력 수준에 대한 함수로 정의될 수 있으며, 해당 문항에 대한 난이도 및 변별도에 따라 설정될 수 있다. 일 예로, 전자 장치(100)는 이하 수학식에 따라 각 문항의 정답을 맞힐 확률을 산출할 수 있다.
Figure 112022011394590-pat00004
여기서, ai는 i번째 문항의 변별도이고, bi는 i번째 문항의 난이도이다. 상기 수학식을 통해, 특정 능력 수준을 가진 사용자가 해당 문항의 정답을 맞힐 확률이 예측될 수 있다.
한편, 문항의 난이도(b)는, 해당 문항에 대한 전문가 등의 설정에 따라 정해지거나, 또는 해당 문항에 대한 응답자의 정답 비율에 따라 산출될 수도 있다.
예를 들어, 전자 장치(100)는 이하 수학식에 따라 문항의 난이도(b)를 산출할 수 있다.
Figure 112022011394590-pat00005
여기서, bi는 i번째 문항의 난이도이고, Ni는 i번째 문항에 응답한 응답자의 수이며, ni는 i번째 문항의 정답을 맞힌 응답자의 수이다.
즉, 상술한 각 문항의 정보 함수(I)는 각 문항의 난이도, 변별도 외에 사용자의 능력 수준에 따라 산출될 수 있다.
예를 들어, 문항의 변별도(a)가 1.5이고, 난이도(b)가 1인 상황을 가정한다. 그리고, 응답자의 능력 수준은 -3에서 3의 범위 내에서 유동적으로 설정될 수 있는 경우를 가정한다.
이 경우, 상기 수학식에 따른 정보 함수의 값은 도 3과 같이 계산될 수 있다. 도 3은 서로 다른 7가지 능력 수준에 대한 문항의 정보 함수 값을 나타낸다.
그리고, 상기 수학식 1은, 도 4와 같이 능력 수준에 대한 정보 함수의 값을 나타내는 그래프로 도시될 수 있다.
도 4를 참조하면, 본 문항의 경우, 능력 수준이 1에 가까운 사용자의 정보(: 능력 수준과 관련된 정보)를 더 효율적으로 가져오지만, 능력 수준이 음의 값을 갖거나 2 이상의 값을 갖는 경우에는 사용자의 정보를 효율적으로 가져오지 못하는 것이 확인된다.
즉, 본 문항은, 능력 수준이 1에 가까운 사용자의 능력 수준을 파악하기에 적합한 문항이다.
이렇듯, 복수의 문항 각각에 대해 정보 함수가 획득된 상태에서, 전자 장치(100)는 복수의 문항 중 사용자의 능력 수준에 적합한 제1 문항을 선택할 수 있다(S220).
사용자의 능력 수준은, 사용자 입력에 따라 설정되거나, 또는 사용자가 속한 그룹(ex. 특정 학교, 특정 학급, 특정 학년)의 평균 능력 수준에 따라 설정될 수 있다. 또는, 별도의 사용자 입력 내지는 사용자 정보가 없는 경우, 사용자의 능력 수준은 기설정된 값으로 설정될 수도 있다.
사용자의 능력 수준에 적합한 제1 문항을 찾는 과정에서, 전자 장치(100)는 복수의 문항 각각에 매칭되는 복수의 정보 함수 각각에 사용자의 능력 수준을 입력할 수 있다. 그리고, 전자 장치(100)는 복수의 정보 함수 중 출력 값이 가장 큰 정보 함수에 매칭되는 제1 문항을 선택할 수 있다.
관련하여, 도 5는 본 개시의 일 실시 예에 따른 전자 장치가 복수의 문항 각각의 정보 함수를 바탕으로 사용자의 능력 수준에 적합한 문항(ex. 제1 문항)을 선택하는 동작을 설명하기 위한 그래프이다.
도 5를 참조하면, 다양한 문항들에 대한 정보 함수들(510, 520, 530, 540 등)이 그래프로 도시되어 있다.
만약, 사용자의 능력 수준이 θ-1인 경우, 전자 장치(100)는 복수의 정보 함수 중 θ1에 매칭되는 정보 함수의 값이 가장 큰 적어도 하나의 문항을 선택할 수 있다.
구체적으로, 도 5를 참조하면, 정보 함수(510)에 매칭되는 문항이 선택될 수 있다. 또한, 반드시 하나의 문항만 선택되어야 할 필요는 없으므로, 두 번째로 큰 값을 가지는 정보 함수(520)에 매칭되는 문항 역시 함께 선택되어 제공될 수 있다.
한편, 전자 장치(100)는 사용자의 능력 수준(θ-1)에 따라 정보 함수의 값이 가장 큰 일정 수(ex. 5개, 10개)의 문항들을 식별하고, 식별된 문항들 중 임의의 문항을 선택하여 사용자에게 제공할 수도 있다. 매번 사용자의 능력 수준에 대한 정보 함수의 값이 가장 큰 하나의 문항만이 선택되는 경우, 특정 문항만이 반복적으로 선택되는 상황이 발생할 가능성이 있기 때문에, 상기와 같이 여러 문항들 중 임의의 문항이 선택되도록 함으로써 각 문항의 노출 빈도가 통제될 수 있다는 장점이 있다.
상술한 실시 예들 중 적어도 하나에 따라 제1 문항이 선택되면, 전자 장치(100)는 선택된 제1 문항을 제공하는 한편, 제1 문항에 대한 사용자의 응답을 획득할 수 있다(S230).
그리고, 전자 장치(100)는 제1 문항에 대한 사용자의 응답이 정답인지 여부를 판단할 수 있다.
여기서, 제1 문항에 대한 사용자의 응답의 정답 여부에 따라, 전자 장치(100)는 사용자의 능력 수준을 업데이트할 수 있다(S240).
구체적으로, 제1 문항에 대한 사용자의 응답이 정답이면, 사용자의 능력 수준이 일정 수치(σ)만큼 증가하고, 제1 문항에 대한 사용자의 응답이 정답이 아니면, 사용자의 능력 수준이 일정 수치(σ)만큼 감소할 수 있다.
다음으로, 전자 장치(100)는 업데이트된 사용자의 능력 수준에 적합한 적어도 하나의 제2 문항을 다시 선택하여 제공할 수 있다(S240).
마찬가지로, 전자 장치(100)는 제2 문항에 대한 사용자의 응답을 획득할 수 있으며, 획득된 응답의 정답 여부에 따라 사용자의 능력 수준을 재차 업데이트할 수 있다(S250).
구체적으로, 제2 문항에 대한 사용자의 응답이 정답이면, 사용자의 능력 수준이 상술한 일정 수치의 절반(0.5σ)만큼 증가하고, 제1 문항에 대한 사용자의 응답이 정답이 아니면, 사용자의 능력 수준이 상술한 일정 수치의 절반(0.5σ)만큼 감소할 수 있다.
여기서, 제2 문항과 관련된 사용자의 능력 수준의 변동 폭(0.5σ)이 상술한 제1 문항과 관련된 사용자의 능력 수준의 변동 폭(σ)의 절반인 것처럼, 순차적으로 제공되는 문항에 따른 사용자의 능력 수준의 변동 폭은 점차 감소할 수 있다.
이하 표는, 사용자의 능력 수준을 체크하기 위해 순차적으로 다섯 개의 문항이 제공되는 경우, 사용자의 능력 수준이 순차적으로 업데이트되는 변동 폭을 나타낸다.
제공 순서 θ1 θ2 θ3 θ4 θ5
능력 수준 θ1 θ1 ± 1σ θ2 ± 0.5σ θ3 ± 0.25σ θ4 ± 0.125σ
관련하여, 도 6은 본 개시의 일 실시 예에 따른 전자 장치가 각 문항에 대한 응답의 정답 여부에 따라 능력 수준을 업데이트하면서 순차적으로 문항을 제공하는 구체적인 동작을 설명하기 위한 알고리즘이다.
먼저, 최초로 설정되는 사용자의 능력 수준(θ1)은 사용자 입력에 따라 설정되거나 또는 사용자가 속한 그룹(ex. 특정 학교, 특정 학급, 특정 학년)의 평균 능력 수준에 따라 설정될 수 있다. 또는, 별도의 사용자 입력 내지는 사용자 정보가 없는 경우, 사용자의 능력 수준(θ1)은 기설정된 값으로 설정될 수도 있다. 예를 들어, 사용자의 능력 수준(θ1)은 모집단 분포의 평균값인 '0'으로 설정될 수 있다.
이때, 전자 장치(100)는 최초로 설정된 능력 수준 θ1에 적합한 제1 문항을 제공할 수 있다(S610). 그 결과, 제1 문항에 대한 사용자의 응답이 수신될 수 있다.
아직 5번째 문항이 아니기 때문에(S620 - N), 전자 장치(100)는 정답 여부(S630 - Y/N)에 따라 사용자의 능력 수준을 θ1으로부터 1σ만큼 증가시키거나(S640) 감소시킬 수 있다(S650). θ2 = θ1 ± 1σ
다음으로, 전자 장치(100)는 σ를 절반으로 감소시켜 변경 설정(S660. σ-> 0.5σ)하는 한편, 업데이트된 사용자의 능력 수준에 적합한 제2 문항을 제공할 수 있다(S610).
마찬가지로, 업데이트된 능력 수준 θ2에 적합한 제2 문항이 제공된 결과 사용자의 응답이 수신되고, 정답 여부가 판단될 수 있다(S630). 이때, 정답 여부에 따라 사용자의 능력 수준이 θ2로부터 0.5σ만큼 증가하거나 감소할 수 있다(θ3 = θ2 ± 0.5σ).
이러한 과정은, 네 번째로 제공되는 제4 문항이 제공될 때까지 반복될 수 있다. 그리고, 제4 문항에 대한 응답의 정답 여부에 따라 업데이트된 사용자의 능력 수준에 맞는 제5 문항이 제공되면(S620 - Y), 전자 장치(100)는 제5 문항에 대한 사용자의 응답의 정답 여부에 따라 사용자의 능력 수준을 최종 진단할 수 있다(S670).
관련하여, 도 7은 본 개시의 일 실시 예에 따른 전자 장치가 각 문항의 정답 여부에 따라 다음 문항을 순차적으로 정하는 방식으로 5개의 문항을 제공하는 경우, 각 문항의 정답 여부를 바탕으로 한 다양한 경우의 수 별로 학생의 능력 수준 판단의 정확도를 설명하기 위한 표이다.
도 7은, 사용자가 속한 그룹(ex. 학교, 학급, 학년 등)의 능력 수준의 평균이 0이고 표준 편차가 1이라고 가정할 때(-3 ~ +3), 문항 별로 맞힌 경우를 0으로 표기하고, 틀린 경우를 1로 표기하였으며, 각 경우에 있어 사용자의 최종적인 능력 수준을 해석함에 있어 정확도를 표시하였다.
예를 들어, 사용자가 4개 문항을 모두 맞힌 경우, 제5 문항을 제공하지 직전까지 업데이트된 사용자의 능력 수준(θ5)은 1.875가 된다.
이 경우, 사용자가 제5 문항을 맞힌다면, 전자 장치(100)는 사용자의 최종적인 능력 수준이 정규분포 상 1.875보다 큰 것으로 식별할 수 있다.
여기서, 평균이 0이고 표준 편차가 1인 정규 분포를 가정했을 때, P(X>1.875) = 0.0304 이므로, 추정된 사용자의 (최종적인) 능력 수준이 실제 사용자의 능력 수준과 일치할 확률이 0.9696(= 1 - 0.0304)으로 산출될 수 있다. 이는, 추정의 정확도로 이해될 수 있다.
다만, 사용자가 4개 문항을 모두 맞혔으나 제5 문항을 맞히지 못한 경우, 사용자의 최종적인 능력 수준은 1.875보다는 작지만, 제1 내지 제3 문항을 모두 맞힌 이후 제4 문항을 틀린 경우의 능력 수준에 매칭되는 정규분포 상 수치보다는 큰 것으로 식별될 수 있다. 구체적으로, 사용자의 실제 능력 수준은 정규 분포상 1.75 보다 크고 1.875 보다 작은 것으로 해석될 수 있다.
여기서, 평균이 0이고 표준 편차가 1인 정규 분포를 가정했을 때, P(1.75<X<1.875) = 0.0037 이므로, 추정된 사용자의 (최종적인) 능력 수준이 실제 사용자의 능력 수준과 일치할 확률이 0.9903(= 1 - 0.0037)으로 산출될 수 있다.
이렇듯, 도 7을 참조하면, 32가지 모든 경우의 수에 대해 사용자의 능력 수준을 추정하는 정확도를 산출했을 때, 모든 경우의 수에 대해 정확도가 0.95 이상으로 확인되며, 평균 정확도는 0.9687에 해당한다. 즉, 본 개시에 따른 전자 장치(100)는, 5개의 문항만으로도 정규 분포상 95 % 이상의 정확도로 사용자의 능력 수준을 추정하는 것이 가능하다고 볼 수 있다.
다만, 본 개시에 따른 전자 장치의 제어 방법에 있어, 순차적으로 제공되는 문항의 개수가 반드시 상술한 5개에 한정될 필요가 없음은 물론이다.
한편, 일 실시 예로, 전자 장치(100)는 제공된 문항에 대한 사용자의 응답의 정답 여부에 따라 해당 문항의 난이도 및 변별도를 업데이트할 수 있다. 그 결과, 복수의 문항 각각의 정보 함수 역시 상술한 수학식들에 따라 지속적으로 업데이트될 수 있다.
또한, 일 실시 예로, 전자 장치(100)는 복수의 문항 각각에 매칭되는 복수의 정보 함수를 기초로, 능력 수준의 레벨 별로 복수의 문항의 우선순위를 설정할 수 있다. 이 경우, 능력 수준의 레벨 별로, 문항의 정보 함수의 값이 높을수록 문항의 우선순위도 더 높아질 수 있다.
예를 들어, 전자 장치(100)는 일정 간격(ex. 0.1)에 따라 능력 수준을 단계 별로 변경해가면서 능력 수준의 단계(ex. -3, -2.9, -2.8, … , 0, 0.1, 0.2, … 2.9, 3.0) 마다 복수의 문항의 우선순위를 설정할 수 있다.
이때, 전자 장치(100)는 모든 단계의 능력 수준에 대하여 우선순위가 일정 순위(기설정된 순위) 밖인 적어도 하나의 문항을 식별할 수 있다. 이 경우, 전자 장치(100)는 식별된 문항을 적어도 하나의 다른 문항으로 대체할 수 있다.
일 예로, 전자 장치(100)가 100개의 문항을 관리하는 상황을 가정한다.
이 경우, 전자 장치(100)는 100개 문항 내에서 사용자 별로 능력 수준을 파악하기에 적합한 문항을 그때그때 제공할 수 있다. 예를 들어, 전자 장치(100)는, 100개 문항 내에서 사용자의 능력 수준이 입력된 정보 함수의 값이 가장 큰 10개의 문항을 식별하고, 식별된 10개의 문항 중 적어도 하나의 문항을 임의로 선택하여 제공할 수 있다.
이때, 전자 장치(100)는 100개의 문항에 대해 능력 수준 별 우선순위를 설정할 수 있고, 특정 문항(ex. 문항 A)이 모든 단계의 능력 수준에 대하여 일정 순위(ex. 10순위) 내에 들지 못할 수 있다.
이 경우, 전자 장치(100)는 문항 A를 다른 문항 B로 대체하여 다시 100개의 문항을 관리할 수 있다. 문항 B는 기존에 100개의 문항에 포함되지 않았던 다른 문항에 해당한다.
문항 B는 메모리(110)에 저장되어 있던 문항일 수 있다.
또는, 모든 단계의 능력 수준에 대하여 10순위 내에 들지 못하는 문항 A가 식별됨에 따라, 전자 장치(100)는 적어도 하나의 외부 장치로 적어도 하나의 새로운 문제를 요청할 수 있다. 이때, 외부 장치는, 문제 은행에 해당하는 데이터 베이스를 포함할 수도 있다. 이 경우, 전자 장치(100)는 외부 장치로 문항 A의 난이도 및 변별도에 대한 정보를 전송할 수 있으며, 그 결과, 외부 장치로부터 해당 난이도 및 변별도와 유사한 속성의 문항 B가 수신될 수 있다. 예를 들어, 전자 장치(100)는 문항 A의 난이도에 대하여 차이가 임계치 이하인 난이도를 가지는 문항 B를 획득할 수 있다.
그리고, 전자 장치(100)는 100개의 문항 중 문항 A를 문항 B로 대체함으로써 100개의 문항의 구성을 업데이트할 수 있다. 이 경우, 전자 장치(100)는 업데이트된 100개의 문항에 대해서도 다시금 능력 수준의 단계 별로 우선순위를 설정할 수 있으며, 역시 모든 단계의 능력 수준에 대하여 10순위 내에 들지 못하는 문항을 다른 문항으로 대체할 수 있다.
또한, 100개의 문항 중 적어도 하나의 문항이 한 명 이상의 사용자에게 제공되는 과정에서, 새로운 표본(새로운 응답자 및 풀이 결과)이 발생함에 따라 각 문항의 난이도 및/또는 변별도가 업데이트될 수 있는 바, 이러한 과정이 반복됨에 따라 100개의 문항의 구성은 계속해서 변경될 수 있다.
그 결과, 전자 장치(100)가 제공하는 각 문항의 정보 파악 능력이 효율적으로 유지될 수 있다. 특히, 상술한 바와 같이, 각 문항에 대해 새롭게 수신되는 사용자의 응답에 따라 각 문항의 난이도, 변별도가 지속적으로 업데이트되어 정보 함수 역시 계속해서 업데이트될 수 있는 바, 전자 장치(100)가 관리하는 복수의 문항의 구성은 상황에 맞게 지속적으로 업데이트될 수 있다.
한편, 도 8은 본 개시의 다양한 실시 예에 따른 전자 장치의 구성을 설명하기 위한 블록도이다.
도 7을 참조하면, 전자 장치(100)는 메모리(110) 및 프로세서(120) 외에 통신부(130), 사용자 입력부(140), 출력부(150) 등을 포함할 수 있다.
통신부(130)는 다양한 유무선 통신방식으로 적어도 하나의 외부 장치와 통신을 수행하기 위한 회로, 모듈, 칩 등을 포함할 수 있다.
통신부(130)는 다양한 네트워크를 통해 외부 장치들과 연결될 수 있다.
네트워크는 영역 또는 규모에 따라 개인 통신망(PAN; Personal Area Network), 근거리 통신망(LAN; Local Area Network), 광역 통신망(WAN; Wide Area Network) 등일 수 있으며, 네트워크의 개방성에 따라 인트라넷(Intranet), 엑스트라넷(Extranet), 또는 인터넷(Internet) 등일 수 있다.
통신부(130)는 LTE(long-term evolution), LTE-A(LTE Advance), 5G(5th Generation) 이동통신, CDMA(code division multiple access), WCDMA(wideband CDMA), UMTS(universal mobile telecommunications system), WiBro(Wireless Broadband), GSM(Global System for Mobile Communications), DMA(Time Division Multiple Access), WiFi(Wi-Fi), WiFi Direct, Bluetooth, NFC(near field communication), Zigbee 등 다양한 무선 통신 방식을 통해 외부 장치들과 연결될 수 있다.
또한, 통신부(130)는 이더넷(Ethernet), 광 네트워크(optical network), USB(Universal Serial Bus), 선더볼트(ThunderBolt) 등의 유선 통신 방식을 통해 외부 장치들과 연결될 수도 있다.
사용자 입력부(140)는 다양한 명령 또는 정보를 사용자로부터 입력 받기 위한 구성이다. 사용자 입력부(140)는 적어도 하나의 버튼, 터치 패드, 터치 스크린, 마이크, 카메라, 센서 등으로 구현될 수 있다.
예를 들어, 전자 장치(100)는 사용자 입력부(140)를 통해 수신되는 사용자 입력에 따라 사용자의 능력 수준(ex. 최초 설정 값)을 설정하거나, 사용자의 능력 수준을 파악하기에 적합한 적어도 하나의 문항을 제공할 수 있다. 또한, 전자 장치(100)는 사용자 입력부(140)를 통해 적어도 하나의 문항에 대한 사용자의 응답을 수신할 수 있다.
출력부(150)는 다양한 정보를 출력하기 위한 구성으로, 디스플레이, 스피커, 이어폰/헤드폰 단자 등을 포함할 수 있다. 예를 들어, 전자 장치(100)는 적어도 하나의 문항을 디스플레이 상에 표시할 수 있다.
도 9는 본 개시의 일 실시 예에 따라 서버로 구현된 전자 장치가 다양한 사용자 단말과 통신을 수행하면서 능력 수준을 진단(평가)하는 동작을 설명하기 위한 블록도이다.
도 9를 참조하면, 서버로 구현된 전자 장치(100)는 학생 단말(200), 교사 단말(300), 학부모 단말(400) 등 다양한 사용자 단말과 통신을 수행할 수 있다. 학생 단말(200), 교사 단말(300), 학부모 단말(400)은 각각 학생, 교사, 학부모가 사용하는 단말에 해당하며, 스마트폰, 태블릿 PC, 노트북 PC, 데스크탑 PC, 키오스크 등 다양한 단말 기기에 해당할 수 있다.
전자 장치(100)는 적어도 하나의 웹 페이지 또는 애플리케이션을 통해 상술한 단말들과 통신을 수행할 수 있다.
일 예로, 전자 장치(100)는 학생 단말(300)을 통해 능력 수준의 진단을 요청하는 사용자 입력을 수신할 수 있다. 이 경우, 전자 장치(100)는 상술한 도 2와 같이 순차적으로 문항을 제공하면서 사용자의 능력 수준을 진단할 수 있다.
그리고, 전자 장치(100)는 최종적으로 진단된 사용자의 능력 수준에 대한 정보를 학생 단말(200), 교사 단말(300), 학부모 단말(400) 중 적어도 하나로 전송할 수 있다.
진단이 시작되면, 최초로 설정된 학생의 능력 수준에 따라 첫 번째 문항부터 제공되기 시작할 수 있다. 여기서, 최초로 설정된 능력 수준은, 학생 단말(200)을 통해 수신되는 사용자 입력을 통해 설정될 수도 있고, 교사 단말(300) 또는 학부모 단말(400)을 통해 수신되는 사용자 입력에 의해 설정될 수도 있고, 학생이 속한 그룹의 평균 능력 수준으로 설정될 수도 있다.
진단이 종료(ex. 5개 문항 제공)되어 진단 결과(ex. 학생의 능력 수준)가 교사 단말(300)로 제공된 이후, 전자 장치(100)는 교사 단말(300) 또는 학부모 단말(400)로부터 재진단 요청을 수신할 수 있다. 이때, 전자 장치(100)는 교사 또는 학부모가 생각하는 학생의 능력 수준에 대한 정보를 함께 수신할 수 있다.
예를 들어, 전자 장치(100)는 교사 단말(300)을 통해 교사가 생각하는 학생의 능력 수준에 대한 정보를 입력 받을 수 있다.
여기서, 전자 장치(100)는 교사가 생각하는 학생의 능력 수준에 적합한 첫 번째 문항을 시작으로 재진단(2차 진단)을 수행할 수 있다. 이때, 최초의 진단과 재진단(2차 진단)을 통해 제공되는 문항은 서로 중복되지 않는다.
재진단이 종료된 진단 결과가 앞서 최초의 진단이 수행된 진단 결과와 일정치 이상 차이가 나는 경우, 전자 장치(100)는 교사가 생각하는 학생의 능력 수준에 적합한 첫 번째 문항을 시작으로 3차 진단을 수행할 수 있다. 이때, 최초의 진단, 재진단, 3차 진단 각각에 제공되는 문항은 서로 중복되지 않는다. 이 경우, 전자 장치(100)는 3차 진단의 진단 결과에 따라 학생의 능력 수준을 최종적으로 식별할 수 있다.
반면, 재진단이 종료된 진단 결과가 앞서 최초의 진단이 수행된 진단 결과와 일정치 이상 차이가 나지 않는 경우, 전자 장치(100)는 재진단의 진단 결과에 따라 학생의 능력 수준을 최종적으로 식별할 수 있다.
한편, 전자 장치(100)는 교사 단말(300) 또는 학부모 단말(400)을 통해 수신되는 사용자의 요청에 따라 상술한 복수의 문항을 업데이트할 수도 있다.
예를 들어, 전자 장치(100)는 교사 단말(300)로부터 새로운 문항에 대한 추가를 요청하는 사용자 입력을 수신할 수 있다. 이 경우, 전자 장치(100)는 해당 문항을 복수의 학생 단말 각각에 제공하여 복수의 학생의 응답을 획득할 수 있으며, 복수의 학생 각각의 응답의 정답 여부에 따라 해당 문항의 난이도, 변별도, 기타 항목(ex. 응답자의 능력 수준에 따라 문항의 정답을 맞힐 확률, 응답자의 능력 수준에 따라 문항의 정답을 맞히지 못할 확률) 등을 산출할 수 있다.
그리고, 전자 장치(100)는 산출된 난이도, 변별도, 기타 항목을 바탕으로 해당 문항의 정보 함수를 설정할 수 있다.
이때, 전자 장치(100)는, 능력 수준의 레벨 별로, 해당 문항의 정보 함수의 값을 기존의 복수의 문항 각각의 정보 함수의 값과 비교할 수 있다. 이때, 전자 장치(100)는 적어도 하나의 레벨에 대하여 해당 문항의 정보 함수의 값이 기설정된 수에 매칭되는 일정 순위 내에 속할 수 있는지 여부를 판단할 수 있다.
여기서, 기설정된 수는, 진단 과정에서 사용자의 능력 수준에 적합한 문항이 선택됨에 있어 랜덤으로 선택될 수 있는 후보 문항들의 수에 해당한다. 예를 들어, 기설정된 수가 10으로 설정된 경우, 진단 과정에서, 전자 장치(100)는 복수의 문항 중 사용자의 능력 수준에 가장 적합한 문항(: 정보 함수가 가장 큰 문항)을 10개 선택하고, 그 중 임의의 문항을 랜덤으로 제공할 수 있다. 이 경우, 상술한 일정 순위 역시 10순위로 설정된다. 기설정된 수는, 사용자 입력에 따라 설정되거나 또는 기설정된 값일 수 있다.
그리고, 전자 장치(100)는 해당 문항이 적어도 하나의 레벨에 대하여 일정 순위 내에 속하는지 여부에 따라 상술한 복수의 문항에 해당 문항을 추가하여 향후 진단에 활용할 수 있다.
예를 들어, 만약 적어도 하나의 레벨에 대하여 해당 문항의 정보 함수의 값이 10순위 안에 들 수 있다면, 전자 장치(100)는 해당 문항을 복수의 문항에 추가할 수 있다. 이후, 전자 장치(100)는 다양한 학생 단말의 능력 수준을 진단함에 있어, 해당 문항을 포함하는 복수의 문항을 활용하여 상술한 동작(ex. 도 2, 도 6 등)을 수행할 수 있다.
반면, 어떠한 (능력 수준의) 레벨에 대해서도 해당 문항의 정보 함수의 값이 10순위 안에 들 수 없는 경우라면, 전자 장치(100)는 해당 문항을 복수의 문항에 추가하지 않을 수 있다.
이 경우, 전자 장치(100)는 교사 단말(300)을 통해 해당 문항의 추가가 적절하지 않다는 알림을 제공할 수 있다. 이때, 전자 장치(100)는 그럼에도 불구하고 해당 문항을 추가하기 위한 적어도 하나의 UI(User Interface)를 제공할 수 있다. 여기서, 해당 UI를 통해 해당 문항을 추가하기 위한 사용자의 요청이 다시 수신되는 경우, 전자 장치(100)는 해당 문항을 복수의 문항에 추가할 수 있다.
이때, 전자 장치(100)는 능력 수준의 레벨 별로 식별된 해당 문항의 순위를 바탕으로, 상술한 기설정된 수를 업데이트할 수 있다.
구체적으로, 전자 장치(100)는 능력 수준의 레벨들 중 해당 문항의 순위가 가장 높은 경우에 대하여 해당 문항의 순위를 식별하고, 식별된 순위에 맞게 상술한 기설정된 수(= 일정 순위)를 업데이트할 수 있다.
예를 들어, 복수의 문항(: 해당 문항이 포함됨) 각각에 매칭되는 복수의 정보 함수에 능력 수준을 레벨 별로 입력한 결과 해당 문항의 순위가 가장 높은 경우가 12위라면, 전자 장치(100)는 기설정된 수를 12로 업데이트할 수 있다.
이후, 적어도 한 명의 사용자/학생의 능력 수준을 진단하는 과정에서, 전자 장치(100)는 복수의 문항(: 해당 문항이 포함됨) 중 사용자/학생의 능력 수준에 가장 적합한 문항을 12개 선택할 수 있으며, 선택된 12개의 문항 중 임의의 문항이 제공될 수 있다.
한편, 이상에서 설명된 다양한 실시 예들은 서로 저촉되거나 모순되지 않는 한 두 개 이상의 실시 예가 서로 결합되어 구현될 수 있다.
한편, 이상에서 설명된 다양한 실시 예들은 소프트웨어(software), 하드웨어(hardware) 또는 이들의 조합된 것을 이용하여 컴퓨터(computer) 또는 이와 유사한 장치로 읽을 수 있는 기록 매체 내에서 구현될 수 있다.
하드웨어적인 구현에 의하면, 본 개시에서 설명되는 실시 예들은 ASICs(Application Specific Integrated Circuits), DSPs(digital signal processors), DSPDs(digital signal processing devices), PLDs(programmable logic devices), FPGAs(field programmable gate arrays), 프로세서(processors), 제어기(controllers), 마이크로 컨트롤러(micro-controllers), 마이크로 프로세서(microprocessors), 기타 기능 수행을 위한 전기적인 유닛(unit) 중 적어도 하나를 이용하여 구현될 수 있다.
일부의 경우에 본 명세서에서 설명되는 실시 예들이 프로세서 자체로 구현될 수 있다. 소프트웨어적인 구현에 의하면, 본 명세서에서 설명되는 절차 및 기능과 같은 실시 예들은 별도의 소프트웨어 모듈들로 구현될 수 있다. 상술한 소프트웨어 모듈들 각각은 본 명세서에서 설명되는 하나 이상의 기능 및 작동을 수행할 수 있다.
한편, 상술한 본 개시의 다양한 실시 예들에 따른 전자 장치(100)에서의 처리동작을 수행하기 위한 컴퓨터 명령어(computer instructions) 또는 컴퓨터 프로그램은 비일시적 컴퓨터 판독 가능 매체(non-transitory computer-readable medium)에 저장될 수 있다. 이러한 비일시적 컴퓨터 판독 가능 매체에 저장된 컴퓨터 명령어 또는 컴퓨터 프로그램은 특정 기기의 프로세서에 의해 실행되었을 때 상술한 다양한 실시 예에 따른 전자 장치(100)에서의 처리 동작을 상술한 특정 기기가 수행하도록 한다.
비일시적 컴퓨터 판독 가능 매체란 레지스터, 캐쉬, 메모리 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라 반영구적으로 데이터를 저장하며, 기기에 의해 판독(reading)이 가능한 매체를 의미한다. 비일시적 컴퓨터 판독 가능 매체의 구체적인 예로는, CD, DVD, 하드 디스크, 블루레이 디스크, USB, 메모리카드, ROM 등이 있을 수 있다.
이상에서는 본 개시의 바람직한 실시 예에 대하여 도시하고 설명하였지만, 본 개시는 상술한 특정의 실시 예에 한정되지 아니하며, 청구범위에서 청구하는 본 개시의 요지를 벗어남이 없이 당해 개시에 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 개시의 기술적 사상이나 전망으로부터 개별적으로 이해되어서는 안될 것이다.
100: 전자 장치 110: 메모리
120: 프로세서

Claims (8)

  1. 전자 장치의 제어 방법에 있어서,
    상기 전자 장치의 프로세서가, 복수의 문항들에 각각 매칭되는 복수의 정보 함수들을 획득하는 단계;
    상기 프로세서가, 상기 전자 장치의 사용자에게 제공할 문제들의 개수 정보를 획득하는 단계;
    상기 프로세서가, 상기 제공할 문제들의 개수 정보에 기반하여, 상기 사용자에게 문제들이 제공되는 순번에 각각 대응하는 수치들을 획득하는 단계, 상기 수치들은 상기 사용자의 능력 수준의 업데이트와 관련되며 상기 수치들의 크기는 문제가 제공되는 순번에 반비례하며;
    복수의 정보 함수들을 기초로, 상기 복수의 문항들 중 사용자의 제1 능력 수준에 대응하는 제1 문항을 선택하는 단계;
    상기 프로세서가, 상기 선택된 제1 문항을 제공하여 상기 제1 문항에 대한 상기 사용자의 제1 응답을 획득하는 단계;
    상기 프로세서가, 상기 제1 문항에 대한 상기 사용자의 제1 응답의 정답 여부 및 상기 제1 문항의 제공 순번에 대응하는 제1 수치에 따라 상기 사용자의 능력 수준을 상기 제1 능력 수준으로부터 제2 능력 수준으로 업데이트하는 단계, 상기 제1 능력 수준과 상기 제2 능력 수준의 차이는 상기 제1 수치의 크기에 대응하고;
    상기 프로세서가, 상기 복수의 정보 함수들을 기초로, 상기 복수의 문항들 중 상기 제2 능력 수준에 적합한 제2 문항을 선택하는 단계;
    상기 프로세서가, 상기 선택된 제2 문항을 제공하여 상기 제2 문항에 대한 상기 사용자의 제2 응답을 획득하는 단계;
    상기 프로세서가, 상기 제2 문항에 대한 상기 사용자의 제2 응답의 정답 여부 및 상기 제2 문항의 제공 순번에 대응하는 제3 수치에 따라 상기 사용자의 능력 수준을 상기 제2 능력 수준으로부터 제3 능력 수준으로 업데이트하는 단계, 상기 제2 능력 수준과 상기 제3 능력 수준의 차이는 상기 제1 수치보다 작은 제2 수치에 대응하고;
    상기 프로세서가, 상기 복수의 정보 함수들을 기초로, 상기 복수의 문항들 중 상기 제3 능력 수준에 적합한 제3 문항을 선택하는 단계;
    상기 프로세서가, 상기 제공할 문제들의 개수 정보에 기반하여, 상기 사용자에게 제공할 문제들의 개수 만큼 문제가 제공되었는지 여부를 판단하는 단계; 및
    판단 결과에 기반하여, 상기 프로세서가, 상기 사용자의 최종 능력 수준을 결정하는 단계를 포함하는, 전자 장치의 제어 방법.
  2. 제1항에 있어서,
    상기 프로세서가 상기 제1 문항을 선택하는 단계는,
    상기 프로세서가, 상기 복수의 정보 함수들 각각에 상기 사용자의 제1 능력 수준을 입력하여, 상기 복수의 정보 함수들 각각의 출력 값을 획득하고,
    상기 프로세서가, 상기 복수의 정보 함수들 중 상기 출력 값이 가장 큰 정보 함수에 매칭되는 상기 제1 문항을 선택하는 단계;를 포함하는, 전자 장치의 제어 방법.
  3. 삭제
  4. 제1항에 있어서,
    상기 제2 수치는 상기 제1 수치의 절반이고,
    상기 사용자의 최종 능력 수준을 상기 전자 장치와 연결된 외부 전자 장치로 전달하는 단계;
    상기 외부 전자 장치로부터 상기 사용자의 최종 능력 수준에 대한 응답으로 재진단 요청을 획득하는 단계;
    상기 재진단 요청이 획득됨에 응답하여, 상기 복수의 문항들 중 적어도 하나의 문항을 통해 상기 사용자에 대한 능력 수준을 재진단하여 재진단 능력 수준을 획득하는 단계;
    상기 최종 능력 수준과 상기 재진단 능력 수준을 비교하는 단계; 및
    비교 결과에 기반하여, 상기 최종 능력 수준을 업데이트하는 단계;를 더 포함하는, 전자 장치의 제어 방법.
  5. 제1항에 있어서,
    상기 프로세서가 상기 복수의 정보 함수들을 획득하는 단계는,
    이하 수학식에 따라 응답자의 능력 수준(θ)에 대한 특정 문항의 정보 함수(I(θ))를 설정하는 단계;를 포함하고,
    Figure 112022077745288-pat00006

    상기 a는 문항의 변별도이고, 상기 P(θ)는 상기 응답자의 능력 수준(θ)에 따라 상기 특정 문항의 정답을 맞힐 확률이고, 상기 Q(θ)는 상기 응답자의 능력 수준에 따라 상기 특정 문항의 정답을 맞히지 못할 확률인, 전자 장치의 제어 방법.
  6. 제1항에 있어서,
    상기 전자 장치의 제어 방법은,
    상기 프로세서가, 상기 사용자의 식별 정보를 바탕으로, 상기 사용자가 속한 그룹의 평균 능력 수준을 식별하는 단계; 및
    상기 프로세서가, 상기 식별된 평균 능력 수준을 상기 사용자의 제1 능력 수준으로 설정하는 단계;를 더 포함하는, 전자 장치의 제어 방법.
  7. 제1항에 있어서,
    상기 전자 장치의 제어 방법은,
    상기 프로세서가, 상기 복수의 정보 함수들을 기초로, 능력 수준들의 복수의 레벨들에 기반하여 상기 복수의 문항들의 우선순위를 설정하는 단계;
    상기 프로세서가, 상기 복수의 문항들 중, 상기 능력 수준들의 복수의 레벨들에 대하여 상기 우선순위가 일정 순위 미만인 적어도 하나의 문항을 식별하는 단계; 및
    상기 프로세서가, 상기 복수의 문항들 중 상기 식별된 적어도 하나의 문항을 적어도 하나의 다른 문항으로 대체하는 단계;를 더 포함하는, 전자 장치의 제어 방법.
  8. 제1항에 있어서,
    상기 전자 장치의 제어 방법은,
    상기 프로세서가, 상기 제1 문항에 대한 상기 사용자의 제1 응답의 정답 여부에 따라 상기 제1 문항의 난이도 및 변별도를 업데이트하는 단계; 및
    상기 프로세서가, 상기 업데이트 된 난이도 및 변별도를 기초로, 상기 제1 문항의 정보 함수를 업데이트하는 단계;를 더 포함하는, 전자 장치의 제어 방법.
KR1020220013288A 2022-01-28 2022-01-28 복수의 문항 중 최적의 문항을 선택하는 전자 장치의 제어 방법 KR102506688B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020220013288A KR102506688B1 (ko) 2022-01-28 2022-01-28 복수의 문항 중 최적의 문항을 선택하는 전자 장치의 제어 방법
KR1020230027362A KR20230116740A (ko) 2022-01-28 2023-02-28 복수의 문항 중 최적의 문항을 선택하는 전자 장치의 제어 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020220013288A KR102506688B1 (ko) 2022-01-28 2022-01-28 복수의 문항 중 최적의 문항을 선택하는 전자 장치의 제어 방법

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020230027362A Division KR20230116740A (ko) 2022-01-28 2023-02-28 복수의 문항 중 최적의 문항을 선택하는 전자 장치의 제어 방법

Publications (1)

Publication Number Publication Date
KR102506688B1 true KR102506688B1 (ko) 2023-03-06

Family

ID=85509859

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020220013288A KR102506688B1 (ko) 2022-01-28 2022-01-28 복수의 문항 중 최적의 문항을 선택하는 전자 장치의 제어 방법
KR1020230027362A KR20230116740A (ko) 2022-01-28 2023-02-28 복수의 문항 중 최적의 문항을 선택하는 전자 장치의 제어 방법

Family Applications After (1)

Application Number Title Priority Date Filing Date
KR1020230027362A KR20230116740A (ko) 2022-01-28 2023-02-28 복수의 문항 중 최적의 문항을 선택하는 전자 장치의 제어 방법

Country Status (1)

Country Link
KR (2) KR102506688B1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018013916A (ja) * 2016-07-20 2018-01-25 富士通株式会社 問題作成プログラム、問題作成方法及び問題作成装置
KR101975782B1 (ko) * 2018-12-07 2019-05-08 주식회사 클래스팅 인공지능 기반 학습자 맞춤형 수준 향상 시스템
KR102175451B1 (ko) 2018-10-02 2020-11-06 한림대학교 산학협력단 문항반응이론 기반의 적응검사 수행 장치 및 시스템
KR20210070963A (ko) * 2019-11-04 2021-06-15 주식회사 튜링 개인화된 교육 서비스 제공 방법 및 장치
KR102316980B1 (ko) * 2020-11-20 2021-10-27 태그하이브 주식회사 사용자 맞춤형 문제 제공 장치 및 이의 실행 방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018013916A (ja) * 2016-07-20 2018-01-25 富士通株式会社 問題作成プログラム、問題作成方法及び問題作成装置
KR102175451B1 (ko) 2018-10-02 2020-11-06 한림대학교 산학협력단 문항반응이론 기반의 적응검사 수행 장치 및 시스템
KR101975782B1 (ko) * 2018-12-07 2019-05-08 주식회사 클래스팅 인공지능 기반 학습자 맞춤형 수준 향상 시스템
KR20210070963A (ko) * 2019-11-04 2021-06-15 주식회사 튜링 개인화된 교육 서비스 제공 방법 및 장치
KR102316980B1 (ko) * 2020-11-20 2021-10-27 태그하이브 주식회사 사용자 맞춤형 문제 제공 장치 및 이의 실행 방법

Also Published As

Publication number Publication date
KR20230116740A (ko) 2023-08-04

Similar Documents

Publication Publication Date Title
WO2021180249A1 (zh) 职业推荐方法、装置、设备和介质
CA2838210C (en) A fractal based decision engine for intervention
US20170092145A1 (en) System, method and non-transitory computer readable storage medium for truly reflecting ability of testee through online test
KR20200135892A (ko) 사용자 맞춤형 학습 커리큘럼 추천 및 교육 컨텐츠 제공 시스템 및 방법
AU2018282441A1 (en) Systems and methods for determining an optimal strategy
WO2020042584A1 (zh) 非绩优人员培训方法、系统、计算机装置及存储介质
US20230020808A1 (en) Device and method for recommending educational content
KR102240694B1 (ko) 망각곡선 함수정보 및 인공지능 학습 알고리즘을 이용한 학습관리방법 및 서버
KR20230005751A (ko) 사용자에게 교육 효과가 최대화되는 풀이 컨텐츠를 추천하는 방법, 장치, 및 시스템
KR20230005752A (ko) 사용자에게 교육 효과가 최대화되는 웹페이지를 추천하는 방법, 장치, 및 시스템
KR102412380B1 (ko) 사용자의 검색 정보를 기반으로 사용자의 학습 능력을 평가하는 방법, 장치, 및 시스템
KR102506688B1 (ko) 복수의 문항 중 최적의 문항을 선택하는 전자 장치의 제어 방법
KR20220128261A (ko) 인공지능 모델을 통해 학생의 학습을 관리하는 전자 장치, 및 학습 관리 방법
CN111932160A (zh) 知识掌握信息处理方法、装置、计算机设备及存储介质
Zhao et al. B‐value and empirical equivalence bound: A new procedure of hypothesis testing
JP2018013916A (ja) 問題作成プログラム、問題作成方法及び問題作成装置
JP6751955B1 (ja) 学習方法、評価装置、及び評価システム
JP2023536769A (ja) 使用者に教育効果が最大化される解説コンテンツを推薦する方法、装置、およびシステム
CN106126880A (zh) 目标用户的选择方法、系统和设备
JP6500142B1 (ja) 選択装置、選択方法及び選択プログラム
CN110782377A (zh) 成长管理方法、系统和计算机可读存储介质
Lukianova et al. Sten score method and cluster analysis: identifying respondents vulnerable to drug abuse
US11941999B2 (en) Techniques for diagnostic assessment
US20230144716A1 (en) Method of recommending preceding educational content and educational content recommendation device for recommending preceding educational content
JP7394518B1 (ja) 情報処理装置、情報処理方法、及び情報処理プログラム

Legal Events

Date Code Title Description
AMND Amendment
AMND Amendment
X701 Decision to grant (after re-examination)
A107 Divisional application of patent
GRNT Written decision to grant