KR102060863B1 - Apparatus and method of cognitive load measurement for using physiological psychological reaction data and recall stimulus reaction data - Google Patents

Apparatus and method of cognitive load measurement for using physiological psychological reaction data and recall stimulus reaction data Download PDF

Info

Publication number
KR102060863B1
KR102060863B1 KR1020170144498A KR20170144498A KR102060863B1 KR 102060863 B1 KR102060863 B1 KR 102060863B1 KR 1020170144498 A KR1020170144498 A KR 1020170144498A KR 20170144498 A KR20170144498 A KR 20170144498A KR 102060863 B1 KR102060863 B1 KR 102060863B1
Authority
KR
South Korea
Prior art keywords
learning
learner
cognitive load
response information
information
Prior art date
Application number
KR1020170144498A
Other languages
Korean (ko)
Other versions
KR20190049063A (en
Inventor
조일현
김연주
Original Assignee
이화여자대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 이화여자대학교 산학협력단 filed Critical 이화여자대학교 산학협력단
Priority to KR1020170144498A priority Critical patent/KR102060863B1/en
Priority to US16/059,702 priority patent/US20190051201A1/en
Priority to PCT/KR2018/009091 priority patent/WO2019031869A1/en
Publication of KR20190049063A publication Critical patent/KR20190049063A/en
Application granted granted Critical
Publication of KR102060863B1 publication Critical patent/KR102060863B1/en

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/72Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7271Specific aspects of physiological measurement analysis
    • A61B5/7275Determining trends in physiological measurement data; Predicting development of a medical condition based on physiological measurements, e.g. determining a risk factor
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/02Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/024Detecting, measuring or recording pulse rate or heart rate
    • A61B5/02405Determining heart rate variability
    • A61B5/0476
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/103Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/16Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/168Evaluating attention deficit, hyperactivity
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/24Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316Modalities, i.e. specific diagnostic methods
    • A61B5/369Electroencephalography [EEG]
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/72Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235Details of waveform analysis
    • A61B5/7264Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems

Abstract

본 발명은 생리 심리 반응 정보 및 회상 자극 반응 정보를 이용한 인지 부하 측정 방법 및 인지 부하 측정 장치에 관한 것으로 원본 학습 영상을 통해 학습자의 생리 심리 반응 정보를 수집한 후, 원본 학습 영상과 동일한 학습 내용을 포함하는 마킹 학습 영상을 통해 학습 내용에 대한 학습자의 회상 자극에 따른 회상 자극 반응 정보를 수집하고, 생리 심리 반응 정보 및 회상 자극 반응 정보를 이용하여 마킹 학습 영상을 통해 학습 구간별로 회상된 학습자의 인지 부하를 결정한다.The present invention relates to a cognitive load measuring method and a cognitive load measuring apparatus using physiological psychological response information and recall stimulus response information. After collecting the learner's physiological psychological response information through the original training image, the same content as the original training image is obtained. Collect the recall stimulus response information according to the learner's recall stimulus on the learning content through the marking learning image including, and the recognition of the learner recalled for each learning section through the marking learning image using the physiological psychological response information and the recall stimulus response information. Determine the load.

Description

생리 심리 반응 정보 및 회상 자극 반응 정보를 이용한 인지 부하 측정 방법 및 인지 부하 측정 장치{APPARATUS AND METHOD OF COGNITIVE LOAD MEASUREMENT FOR USING PHYSIOLOGICAL PSYCHOLOGICAL REACTION DATA AND RECALL STIMULUS REACTION DATA}Cognitive load measuring method and cognitive load measuring device using physiological psychological response information and recall stimulus response information TECHNICAL FIELD

본 발명은 인지 부하 측정 방법 및 인지 부하 측정 장치에 관한 것으로, 보다 구체적으로는 학습 영상에 대한 학습자의 생리 심리 반응 정보 및 학습 영상에 대한 회상 자극에 의한 회상 자극 반응 정보를 이용하여 학습 영상을 학습하는 과정에서 발생한 학습자의 인지 부하를 결정하는 방법 및 장치에 관한 것이다.The present invention relates to a cognitive load measuring method and a cognitive load measuring device, and more specifically, to learn a learning image using the learner's physiological psychological response information on the learning image and the recall stimulus response information by the recall stimulation on the learning image. The present invention relates to a method and apparatus for determining a cognitive load of a learner generated in the course of doing so.

정보통신기술의 발달과 함께 스마트 디바이스를 통한 동영상 학습이 전세계적으로 활성화되는 추세이다. 이러한 학습은 주로 짧은 동영상을 중심으로 하는 마이크로 러닝의 형태를 띄며, 기존의 면대면 학습과는 다르게 학습자가 더 이상 학습을 위해 별도의 시간을 낼 필요가 없는 것이 장점으로 대두된다. 이와 더불어 학습 컨텐츠의 접근성과 간편성에 대한 요구 또한 증대되고 있다.With the development of information and communication technology, video learning through smart devices is becoming active worldwide. Such learning takes the form of microlearning mainly focused on short videos, and unlike the existing face-to-face learning, the learner does not need to take extra time for learning. In addition, the demand for accessibility and simplicity of learning contents is increasing.

그러나, 동영상 컨텐츠를 활용한 학습이 활성화되고 있음에도 불구하고, 대부분의 동영상 학습은 기존의 교실에서 이루어졌던 전통적인 방식의 수업에 비해 컨텐츠의 절차적 구성 및 학습내용 전달 방식 등에서 교수설계적 행위가 비교적 미비하게 이루어지고 있다. 학습 장소 및 학습자 중심 학습으로의 변화로 인해 기존의 교수설계를 동영상 학습에 적용하기에는 한계가 있으므로 동영상 학습에 적합한 새로운 교수설계가 필요하다. 효과적인 교수설계를 위해서는 학습자의 인지부하가 주요하게 고려되어야 한다. However, despite the fact that learning using video contents is being activated, most video learning has relatively inadequate instructional design in the procedural composition and delivery of learning contents, compared to the traditional class in the classroom. Is done. Due to the change to the place of study and learner-centered learning, there is a limit to applying the existing teaching design to video learning. Therefore, a new teaching design suitable for video learning is needed. For effective instructional design, the cognitive load of learners should be considered.

이에 최근에는 학습자의 인지 과정을 관찰하는 회상자극 기법이 주목받고 있다. 회상자극기법은 학습과정에서 발생하는 학습자의 인지부하를 면밀히 관찰할 수 있으며, 인지 부하가 발생한 학습 구간을 파악할 수 있다. 하지만, 회상자극기법은 회상자극자를 선별하는 과정에서 연구자의 직관에 의존하므로 연구자가 대상자의 반응을 일일이 분석해야 하는 노동집약적인 연구방법이라는 한계를 보인다.Recently, attention-returning techniques for observing learners' cognitive processes have been attracting attention. The recurrence stimulation technique can closely observe the cognitive load of learners in the learning process and identify the learning section in which the cognitive load occurred. However, the box-playing technique has a limitation in that it is a labor-intensive research method in which the researcher must analyze the response of the subject because it relies on the intuition of the researcher in selecting the box.

회상자극기법의 한계를 극복하면서 학습 영상을 학습하는 학습자의 인지 부하를 보다 효율적으로 파악할 수 있는 방법이 필요하다.There is a need for a method to more effectively grasp the cognitive load of learners who learn the learning images while overcoming the limitations of the retrospective technique.

한국공개공보 제2015-0076167호 (2015.07.06 공개)Korean Laid-Open Publication No. 2015-0076167 (2015.07.06 release)

본 발명은 학습 영상을 학습하는 학습자에게 나타나는 생리 심리 반응 정보를 수집함으로써, 학습 영상을 학습하는 학습자의 생리 상태와 심리 상태 간의 관계에 따른 학습자의 인지 상태를 보장하는 방법 및 장치를 제공한다.The present invention provides a method and apparatus for guaranteeing a cognitive state of a learner according to a relationship between a physiological state and a psychological state of a learner learning a learning image by collecting physiological psychological response information appearing to a learner learning a learning image.

본 발명은 생리 심리 반응 정보를 수집하기 위해 학습자가 학습한 학습 영상과 동일한 학습 영상을 재 학습하는 과정에서 학습자의 회상 자극에 따른 회상 자극 반응 정보를 수집함으로써, 학습 영상을 구성하는 학습 내용에 따라 기 학습한 학습 영상에 대한 회상 자극을 유도하는 회상 자극자를 보다 정확하게 추적하는 방법 및 장치를 제공한다.The present invention collects recall stimulus response information according to the learner's recall stimulus in the process of re-learning the same learning image as the learner's learning image to collect physiological psychological response information, and according to the learning contents constituting the learning image. Provided are a method and apparatus for more accurately tracking a recall stimulator for inducing a recall stimulus for a previously learned learning image.

본 발명은 학습자의 생리 심리 반응 정보에 따른 학습 영상에 대한 인지 상태 및 학습자의 회상 자극 반응 정보에 따른 학습 영상에 대한 인지 상태를 비교함으로써, 학습 영상을 학습하는 과정에서 학습자의 인지부하가 발생한 학습 영상의 학습 시점을 파악하고, 학습자의 인지 수준에 적합한 학습 레벨 및 학습 지도 방법의 추가적인 설계가 가능한 방법 및 장치를 제공한다.The present invention compares the cognitive state of the learning image according to the learner's physiological psychological response information and the cognitive state of the learning image according to the learner's recall stimulus response information, thereby learning the cognitive load of the learner in the process of learning the learning image. The present invention provides a method and apparatus for identifying a learning time point of an image and further designing a learning level and a learning guidance method suitable for a learner's cognitive level.

일실시예에 따른 인지 부하 측정 방법은 원본 학습 영상을 학습하는 학습자의 생리 상태 및 심리 상태에 대한 변화를 파악하기 위한 생리 심리 반응 정보를 수집하는 단계; 상기 원본 학습 영상의 학습이 완료되면, 학습이 완료된 원본 학습 영상과 동일한 학습 내용을 포함하는 마킹 학습 영상을 재생하는 단계; 상기 마킹 학습 영상을 학습하는 학습자의 회상 자극에 대응하여 상기 마킹 학습 영상에 마킹된 회상 자극 반응 정보를 수집하는 단계; 및 상기 학습자의 생리 심리 반응 정보 및 상기 회상 자극 반응 정보를 이용하여 상기 원본 학습 영상에 대해 회상된 학습자의 인지 부하를 결정하는 단계를 포함할 수 있다.A cognitive load measuring method according to an embodiment includes collecting physiological psychological response information for identifying a change in a physiological state and a psychological state of a learner learning an original learning image; When the learning of the original learning image is completed, reproducing a marking learning image including the same learning contents as the learning original original learning image; Collecting recall recall stimulus response information marked on the marking learning image in response to a recall stimulus of a learner learning the marking learning image; And determining the cognitive load of the learner recalled with respect to the original learning image by using the learner's physiological psychological response information and the recall stimulus response information.

일실시예에 따른 생리 심리 반응 정보를 수집하는 단계는 상기 학습자의 뇌의 파동을 측정한 뇌파 정보, 상기 학습자의 동공 변화를 측정한 동공 크기 정보 및 상기 학습자의 심박 변이 정보를 포함하는 생리 심리 반응 정보를 수집할 수 있다.The collecting of physiological psychological response information according to an embodiment may include physiological psychological response including brain wave information measuring wave of the learner's brain, pupil size information measuring pupil change of the learner, and heart rate variation information of the learner Information can be collected.

일실시예에 따른 회상 자극 반응 정보를 수집하는 단계는 상기 학습자로부터 마킹 학습 영상을 학습하는 과정에서 회상된 학습 내용이 기록되는 단계; 상기 학습자에 의해 마킹된 마커의 생성 시간을 이용하여 상기 마킹 학습 영상의 학습 구간을 구분하는 단계; 및 상기 기록된 학습 내용에 기초하여 마킹 학습 영상에 마킹된 각 마커에 대한 회상 자극 특징을 분류하는 단계를 포함할 수 있다.The collecting of the recall stimulus response information according to an embodiment may include: recording the learning contents recalled in the process of learning a marking learning image from the learner; Classifying a learning section of the marking learning image by using a generation time of the marker marked by the learner; And classifying a recall stimulus feature for each marker marked on the marking learning image based on the recorded learning contents.

일실시예에 따른 인지 부하를 결정하는 단계는 상기 원본 학습 영상에 대한 생리 심리 반응 정보의 변화 정도를 측정하는 단계; 상기 학습자의 생리 심리 반응 정보의 변화 정도를 통해 추정 가능한 인지부하 및 상기 학습자의 회상 자극 반응 정보를 통해 확인한 인지부하를 비교하는 단계; 상기 비교한 결과로부터 학습 진행 과정에서의 학습자의 회상된 인지부하로 설명 가능한 학습자의 생리 심리 반응 정보의 범위 및 구간을 확인하는 단계; 및 상기 확인한 학습자의 생리 심리 반응 정보의 범위 및 구간을 기반으로 원본 학습 영상에 대해 회상된 학습자의 인지 부하를 측정하는 단계를 포함할 수 있다.The determining of the cognitive load according to an embodiment may include measuring a degree of change in physiological psychological response information on the original learning image; Comparing the cognitive load estimated through the degree of change in the physiological psychological response information of the learner and the cognitive load confirmed through the recall stimulus response information of the learner; Identifying the range and section of the learner's physiological psychological response information that can be explained by the learner's recalled cognitive load in the learning process from the comparison result; And measuring the cognitive load of the learner recalled on the original learning image based on the range and the section of the identified physiological psychological response information of the learner.

일실시예에 따른 생리 심리 반응 정보의 변화 정도를 측정하는 단계는 상기 학습자의 인지 부하로 나타나는 뇌의 지각 반응을 이용하여 상기 생리 심리 반응 정보 중 뇌파 정보의 변화 정도를 측정할 수 있다.In the measuring of the degree of change in physiological psychological response information according to an embodiment, the degree of change in brain wave information of the physiological psychological response information may be measured using the perceptual response of the brain represented by the learner's cognitive load.

일실시예에 따른 생리 심리 반응 정보의 변화 정도를 측정하는 단계는 상기 학습자의 인지 부하로 나타나는 동공의 크기 변화에 따른 확장 여부를 이용하여 상기 생리 심리 반응 정보 중 동공 크기 정보의 변화 정도를 측정할 수 있다.Measuring the degree of change in the physiological psychological response information according to an embodiment is to measure the degree of change in the pupil size information of the physiological psychological response information by using whether the expansion according to the change in the size of the pupil represented as the cognitive load of the learner Can be.

일실시예에 따른 생리 심리 반응 정보의 변화 정도를 측정하는 단계는 상기 학습자의 인지 부하로 나타나는 심장 박동 주기의 간격 변화에 따른 심박동 변화율을 이용하여 상기 생리 심리 반응 정보 중 심박 변이 정보의 변화 정도를 측정할 수 있다.Measuring the degree of change of physiological psychological response information according to an embodiment of the present invention uses the rate of change in heart rate variation according to the change in the interval of the heart rate cycle represented by the learner's cognitive load. It can be measured.

일실시예에 따른 학습자의 회상된 인지 부하를 측정하는 단계는 상기 생리 심리 반응 정보를 포함하는 뇌파 정보, 동공 크기 정보 및 심박 변이 정보의 변화 정도에 따른 각각의 피크값이 나타난 원본 학습 영상의 학습 구간과 상기 인지부하의 변화 정도에 따른 피크값이 나타난 마킹 학습 영상의 학습 구간을 비교할 수 있다.Measuring the learner's recalled cognitive load according to an embodiment of the present invention is to learn the original learning image showing each peak value according to the degree of change of brain wave information, pupil size information and heart rate variation information including the physiological psychological response information It is possible to compare the learning section of the marking learning image in which the peak and the peak value according to the degree of change in the cognitive load can be compared.

일실시예에 따른 인지 부하 측정 장치는 원본 학습 영상을 학습하는 학습자의 생리 상태 및 심리 상태에 대한 변화를 파악하기 위한 생리 심리 반응 정보를 수집하는 생리 심리 반응 정보 수집부; 상기 원본 학습 영상의 학습이 완료되면, 학습이 완료된 원본 학습 영상과 동일한 학습 내용을 포함하는 마킹 학습 영상을 재생하는 마킹 학습 영상 재생부; 상기 마킹 학습 영상을 학습하는 학습자의 회상 자극에 대응하여 상기 마킹 학습 영상에 마킹된 회상 자극 반응 정보를 수집하는 회상 자극 반응 정보 수집부; 및 상기 학습자의 생리 심리 반응 정보 및 상기 회상 자극 반응 정보를 이용하여 상기 원본 학습 영상에 대해 회상된 학습자의 인지 부하를 결정하는 인지 부하 결정부를 포함할 수 있다.A cognitive load measuring apparatus according to an embodiment may include a physiological psychological response information collecting unit configured to collect physiological psychological response information for identifying a change in a physiological state and a psychological state of a learner learning an original learning image; When the learning of the original learning image is completed, the marking learning image playback unit for reproducing the marking learning image including the same learning content as the original learning image is completed learning; A recall stimulus response information collecting unit configured to collect recall stimulus response information marked on the marking learning image in response to a recall stimulus of a learner learning the marking learning image; And a cognitive load determiner configured to determine a cognitive load of the learner recalled with respect to the original learning image by using the learner's physiological psychological response information and the recall stimulus response information.

일실시예에 따른 회상 자극 반응 정보 수집부는, 상기 학습자로부터 마킹 학습 영상을 학습하는 과정에서 회상된 학습 내용이 기록되는 학습 내용 기록부; 상기 학습자에 의해 마킹된 마커의 생성 시간을 이용하여 상기 마킹 학습 영상의 학습 구간을 구분하는 학습 구간 구분부; 및 상기 기록된 학습 내용에 기초하여 마킹 학습 영상에 마킹된 각 마커에 대한 회상 자극 특징을 분류하는 회상 자극 특징 분류부를 포함할 수 있다.The recall stimulus response information collection unit may include: a learning content recording unit in which learning contents recalled in a process of learning a marking learning image from the learner are recorded; A learning section division unit for classifying a learning section of the marking learning image by using a generation time of the marker marked by the learner; And a recall stimulus feature classifier classifying the recall stimulus feature for each marker marked on the marking learning image based on the recorded learning content.

일실시예에 따른 인지 부하 결정부는 원본 학습 영상에 대한 생리 심리 반응 정보의 변화 정도를 측정하는 변화 정보 측정부; 및 학습자의 생리 심리 반응 정보의 변화 정도를 통해 추정 가능한 인지부하 및 상기 학습자의 회상 자극 반응 정보를 통해 확인한 인지부하를 비교하고, 비교한 결과로부터 학습 진행 과정에서의 학습자의 회상된 인지부하로 설명 가능한 학습자의 생리 심리 반응 정보의 범위 및 구간을 확인하며, 상기 확인한 학습자의 생리 심리 반응 정보의 범위 및 구간을 기반으로 원본 학습 영상에 대한 학습자의 회상된 인지 부하를 측정하는 인지 부하 측정부를 포함할 수 있다.Cognitive load determination unit according to an embodiment change information measuring unit for measuring the degree of change of physiological psychological response information for the original learning image; And the cognitive load that can be estimated through the degree of change in the physiological psychological response information of the learner and the cognitive load identified through the learner's recall stimulus response information, and described as the recalled cognitive load of the learner in the learning process from the comparison result. A cognitive load measuring unit may be configured to identify ranges and sections of possible learner's physiological psychological response information and to measure the learner's recalled cognitive load on the original learning image based on the identified ranges and sections of the learner's physiological psychological response information. Can be.

일실시예에 따른 인지 부하 측정부는 상기 생리 심리 반응 정보를 포함하는 뇌파 정보, 동공 크기 정보 및 심박 변이 정보의 변화 정도에 따른 각각의 피크값이 나타난 원본 학습 영상의 학습 구간과 상기 인지부하의 변화 정도에 따른 피크값이 나타난 마킹 학습 영상의 학습 구간을 비교할 수 있다.According to an embodiment, the cognitive load measuring unit changes the learning interval and the cognitive load of the original learning image in which each peak value according to the degree of change of brain wave information, pupil size information, and heart rate variation information including the physiological psychological response information is shown. It is possible to compare the learning sections of the marking learning images in which peak values according to the degree are shown.

일실시예에 따른 인지 부하 측정 방법 및 장치는 학습 영상을 학습하는 학습자에게 나타나는 생리 심리 반응 정보를 수집함으로써, 학습 영상을 학습하는 학습자의 생리 상태와 심리 상태 간의 관계에 따른 학습자의 인지 상태를 파악할 수 있다.A method and apparatus for measuring cognitive load according to an embodiment collects physiological psychological response information appearing to a learner learning a learning image to determine a learner's cognitive state according to a relationship between a physiological state and a psychological state of the learner learning the learning image. Can be.

일실시예에 따른 인지 부하 측정 방법 및 장치는 생리 심리 반응 정보를 수집하기 위해 학습자가 학습한 학습 영상과 동일한 학습 영상을 재 학습하는 과정에서 학습자의 회상 자극에 따른 회상 자극 반응 정보를 수집함으로써, 학습 영상을 구성하는 학습 내용에 따라 기 학습한 학습 영상에 대한 회상 자극을 유도하는 회상 자극자를 보다 정확하게 추적할 수 있다.The method and apparatus for measuring cognitive load according to an embodiment collects recall stimulus response information according to a learner's recall stimulus in a process of re-learning the same learning image as the learner's learning image to collect physiological psychological response information. According to the learning contents constituting the learning image, it is possible to more accurately track the recall stimulator for inducing the recall stimulation for the previously learned learning image.

일실시예에 따른 인지 부하 측정 방법 및 장치는 학습자의 생리 심리 반응 정보에 따른 학습 영상에 대한 인지 상태 및 학습자의 회상 자극 반응 정보에 따른 학습 영상에 대한 인지 상태를 비교함으로써, 학습 영상을 학습하는 과정에서 학습자의 인지부하가 발생한 학습 영상의 학습 시점을 파악하고, 학습자의 인지 수준에 적합한 학습 레벨 및 학습 지도 방법의 추가적인 설계가 가능할 수 있다.A method and apparatus for measuring cognitive load according to an embodiment compares a cognitive state of a learning image based on learner's physiological psychological response information and a cognitive state of the learning image based on the learner's recall stimulus response information, thereby learning the learning image. In the process, it is possible to identify a learning time point of a learning image in which a learner's cognitive load is generated, and further design a learning level and a learning guidance method suitable for the learner's cognitive level.

도 1은 일실시예에 따른 인지 부하 측정 장치를 도시한 도면이다.
도 2는 일실시예에 따른 인지 부하 측정 장치의 세부 구성을 도시한 도면이다.
도 3은 일실시예에 따른 학습 영상에 대한 학습자의 생리 심리 반응 정보 및 회사 자극 반응 정보를 수집하는 과정을 설명하기 위한 도면이다.
도 4는 일실시예에 따른 학습자의 생리 심리 반응 정보를 구성하는 뇌파 정보, 동공 크기 정보 및 심박 변이 정보를 수집하는 세부적인 과정을 설명하기 위한 도면이다.
도 5는 일실시예에 따른 학습자의 생리 심리 반응 정보와 학습 구간별 자극 회상 반응 정보에 따른 인지 부하의 변화 추이를 나타낸 도면이다.
도 6은 일실시예에 따른 학습 구간별 뇌파 정보와 자극 회상 반응 정보에 따른 인지 부하에 따른 변화 추이를 나타낸 도면이다.
도 7은 일실시예에 따른 학습 구간별 동공 크기 정보와 자극 회상 반응 정보에 따른 인지 부하에 따른 변화 추이를 나타낸 도면이다.
도 8은 일실시예에 따른 학습 구간별 심박 변이 정보와 자극 회상 반응 정보에 따른 인지 부하에 따른 변화 추이를 나타낸 도면이다.
도 9는 일실시예에 따른 인지 부하 측정 방법에 관한 흐름도이다.
1 is a diagram illustrating a cognitive load measuring apparatus according to an exemplary embodiment.
2 is a diagram illustrating a detailed configuration of a cognitive load measuring apparatus according to an embodiment.
FIG. 3 is a diagram for describing a process of collecting learner's physiological psychological response information and company stimulus response information on a learning image, according to an exemplary embodiment.
FIG. 4 is a diagram for describing a detailed process of collecting brain wave information, pupil size information, and heart rate variation information constituting physiological psychological response information of a learner according to an embodiment.
FIG. 5 is a diagram illustrating a change in cognitive load according to learner's physiological psychological response information and stimulus recall response information for each learning section.
FIG. 6 is a diagram illustrating a change in cognitive load according to brain wave information and stimulus recall response information for each learning section, according to an exemplary embodiment.
FIG. 7 is a diagram illustrating a change in cognitive load according to pupil size information and stimulus recall response information for each learning section, according to an exemplary embodiment.
8 is a view showing a change in accordance with the cognitive load according to the heart rate variation information and stimulus recall response information for each learning section according to an embodiment.
9 is a flowchart illustrating a cognitive load measuring method according to an exemplary embodiment.

이하, 본 발명의 실시예를 첨부된 도면을 참조하여 상세하게 설명한다. Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the accompanying drawings.

도 1은 일실시예에 따른 인지 부하 측정 장치를 도시한 도면이다.1 is a diagram illustrating a cognitive load measuring apparatus according to an exemplary embodiment.

도 1을 참고하면, 인지 부하 측정 장치(101)는 학습 영상에 대한 학습자(102)의 회상 자극에 따른 학습 영상의 학습 내용에 대한 회상된 인지 부하를 결정할 수 있다. 이때, 인지 부하 측정 장치(101)는 학습 영상을 학습하는 과정에서 학습자(102)에게 나타나는 생리 심리 반응 정보를 수집함으로써, 회상된 인지 부하를 파악할 수 있다.Referring to FIG. 1, the cognitive load measuring apparatus 101 may determine the recalled cognitive load of the learning content of the learning image according to the recall stimulation of the learner 102 with respect to the learning image. In this case, the cognitive load measuring apparatus 101 may determine the recalled cognitive load by collecting physiological psychological response information displayed to the learner 102 in the process of learning the learning image.

보다 구체적으로, 인지 부하 측정 장치(101)는 학습자(102)로 하여금 지적 수준을 향상시키기 위한 학습 영상을 제공할 수 있다. 여기서, 학습 영상은 텍스트나 그림으로 전달하기 어려운 정보를 효과적으로 전달할 수 있으며 학습자의 집중과 몰입을 향상시킬 수 있는 효과적인 학습 매체를 의미할 수 있다. 일례로, 학습 영상은, 학습자의 독립적인 영상 정보를 포함하며, 본 발명의 경우, 수학의 명제 과목에 대한 지식전달 중심의 학습영상으로 구성될 수 있다.More specifically, the cognitive load measuring apparatus 101 may provide the learner 102 with a learning image for improving the intellectual level. Here, the learning image may effectively convey information that is difficult to deliver in text or pictures, and may mean an effective learning medium capable of improving the concentration and immersion of the learner. For example, the learning image may include independent image information of the learner. In the present invention, the learning image may be configured as a knowledge transfer-centered learning image for a proposition of mathematics.

학습 영상은 영상 컨텐츠에 포함된 내용 및 방법에 따라 학습 구간을 구분할 수 있으며, 일례로, 학습 영상의 학습 구간은 기본 개념 구간, 응용 구간 등으로 구간을 분류할 수 있으며, 본 발명의 경우, 수학의 명제 과목에 대한 영상 컨텐츠를 학습 내용 또는 제시된 방법에 따라 총 19개의 학습 구간으로 분류할 수 있다.The learning image may be divided into learning sections according to contents and methods included in the image content. For example, the learning sections of the learning images may be classified into basic concept sections, application sections, and the like. The video contents of the propositional subjects can be classified into a total of 19 learning sections according to the learning contents or the presented method.

학습 영상을 학습하는 학습자(102)는 학습 영상의 학습 내용 및 과제를 수행하는 과정에서 인지 체계에 부과되는 부하가 발생할 수 있다. 다시 말해, 학습자(102)는 학습 영상을 통해 새로운 정보를 습득하는 과정에서 기존 지식 및 새로운 지식을 장기적으로 기억하기 위한 정보의 양이 증가하면서, 인지 체계의 불균형이 생기고, 이에 따른 인지 부하가 나타날 수 있다. 이러한 인지 부하는 학습 영상을 습득하는데 방해를 주며, 학습 성과를 저해하는 결과를 초래할 수 있다.The learner 102 learning the learning image may have a load imposed on the cognitive system in the course of performing the learning content and the task of the learning image. In other words, in the process of acquiring new information through the learning image, the learner 102 increases the amount of information for long-term memory of the existing knowledge and the new knowledge, resulting in imbalance of the cognitive system and thus the cognitive load. Can be. This cognitive load may interfere with learning the learning image, and may result in a decrease in learning outcomes.

인지 부하는 학습자(102)를 기준으로 내재적 인지 부하, 외재적 인지 부하 및 본유적 인지 부하로 나뉠 수 있다. 자세하게, 내재적 인지 부하는 학습 영상에 기초한 과제의 복합성에 의해 발생하며, 과제의 복합성은 구성 요소의 상호작용 수준에 의해 결정되거나 학습자의 선수지식의 정도에 의해 결정될 수 있다. 외재적 인지 부하는 학습 영상을 통해 학습자(102)에게 제공되는 학습 자료 및 정보의 제시 형태 및 방식에 의해 발생할 수 있다. 마지막으로 본유적 인지 부하는 학습 환경 및 과제를 해결할 때 학습자에게 요구되는 부하로써, 과제 해결을 위한 인지 용량 또는 인지 자원을 나타낼 수 있다.The cognitive load may be divided into intrinsic cognitive load, external cognitive load, and intrinsic cognitive load based on the learner 102. In detail, the intrinsic cognitive load is generated by the complexity of the task based on the learning image, and the complexity of the task may be determined by the level of interaction of the components or by the degree of prerequisite knowledge of the learner. The external cognitive load may be generated by a presentation form and method of learning material and information provided to the learner 102 through the learning image. Lastly, intrinsic cognitive load is a load required by learners when solving a learning environment and a task, and may represent cognitive capacity or cognitive resources for solving a task.

그리고, 인지 부하는 학습자(102)에게 발생하는 발생 추세에 따라 순간 부하(instantaneous load), 최대 부하(peak load), 누적 부하(accumulated load), 평균 부하(average load), 전체 부하(overall load)로 분류될 수 있다. 세부적으로, 순간 부하는 학습자가 학습 영상을 학습하는 과정에서 즉각적으로 나타나는 인지 부하를 나타내고, 최대 부하는 순간 부하가 최고 수치를 나타낸 시점을 나타낼 수 있다. 누적 부하는 학습자가 학습 영상을 학습하는 과정에서 경험하게 되는 개별 부하의 총량을 나타낼 수 있다. 평균 부하는 학습자가 학습 영상을 학습하면서 발생하는 부하 강도의 평균치를 나타내며, 전체 부하는 학습 영상의 전체 과정에서 학습자가 지각한 인지 부하의 총량을 나타낼 수 있다.In addition, the cognitive load is an instantaneous load, a peak load, an accumulated load, an average load, an overall load according to a trend occurring in the learner 102. Can be classified as In detail, the instant load may indicate a cognitive load that appears immediately while a learner learns a training image, and the maximum load may indicate a point in time at which the instant load shows the highest value. The cumulative load may represent the total amount of individual loads that a learner experiences while learning a learning image. The average load may represent an average value of load intensity generated while the learner learns the learning image, and the total load may represent the total amount of cognitive load perceived by the learner in the entire process of the learning image.

이러한 인지 부하를 측정하기 위해, 본 발명은 실제적으로 학습 영상을 학습하는 학습자의 생리적 반응 측정치를 근거로 하여 학습 영상에 대한 학습자의 인지 부하를 측정할 수 있다. 다시 말해, 인지 부하 측정 장치(101)는 학습자의 인지 부하를 측정하기 위해 학습자에 생리 상태 및 심리 상태를 포함하는 생리 심리 반응 정보를 수집하고, 수집한 생리 심리 반응 정보로부터 인지부하를 설정할 수 있다.In order to measure the cognitive load, the present invention can measure the learner's cognitive load on the learning image based on the physiological response measurement of the learner who actually learns the learning image. In other words, the cognitive load measuring apparatus 101 may collect physiological psychological response information including a physiological state and a psychological state and set a cognitive load from the collected physiological psychological response information in order to measure the learner's cognitive load. .

구체적으로, 생리 심리 반응 정보는 학습자의 생리 상태 즉, 생리적 원리 및 현상을 통해 드러나는 인지적, 감정적 및 행동적 반응을 의미할 수 있다. 다시 말해, 생리 심리 반응 정보는 학습자(102)가 학습 영상을 학습하는 과정에서 변화하는 학습자의 인지적 상태 및 심리적 상태를 파악하기 위한 것으로, 해당 정보 자체로 학습자의 인지 상태를 파악하거나 또는 보완을 위한 정보로 활용될 수 있다. 여기서, 생리 심리 반응 정보는 학습 영상을 학습하는 학습자가 무의식적으로 반응하는 생체 정보로써, 이를 통해 학습자의 무의식적 심리 반응을 획득할 수 있다. 또한, 생리 심리 반응 정보는 학습 과정에서 즉각적으로 수집할 수 있기 때문에 시간의 결과에 따른 학습자의 심리적 반응의 변화를 측정할 수 있다.Specifically, the physiological psychological response information may refer to a physiological state of the learner, that is, cognitive, emotional, and behavioral responses revealed through physiological principles and phenomena. In other words, the physiological psychological response information is for grasping the cognitive state and psychological state of the learner that changes in the process of the learner 102 learning the learning image, and grasps or supplements the cognitive state of the learner with the information itself. It can be used as information for. Here, the physiological psychological response information is biometric information in which the learner who learns the learning image reacts unconsciously, thereby obtaining the unconscious psychological response of the learner. In addition, since the physiological psychological response information can be collected immediately in the learning process, it is possible to measure the change in the psychological response of the learner as a result of time.

생리 심리 반응 정보는 학습 영상을 학습하는 과정에서 학습자의 생리 상태에 기초한 학습자의 심리 상태를 파악할 수 있는 정보로써, 생리 심리 반응 정보의 유형은 크게 뇌파 정보, 동공 크기 정보, 심박 변이 정보를 포함할 수 있다. 또한, 생리 심리 반응 정보는 학습자의 얼굴에 대한 부위별 변화 정도, 학습자가 취하는 행위의 반복성 등의 정보를 포함할 수 있다. 다시 말해, 생리 심리 반응은 학습자의 신체 온도의 변화에 따른 얼굴 색상의 변화, 얼굴의 각 부위별 움직임, 크기 등을 포함할 수 있으며, 일례로, 본 발명은 학습자가 학습 영상을 학습하는 과정에서 입을 벌린 정도, 코 또는 귀를 만지는 행위, 해당 행위에 대한 반복 여부, 땀을 닦는 등의 움직임 여부 등을 통해 학습자의 생리 심리 반응 정보를 수집할 수 있다. 이하에서는 생리 심리 반응 정보의 유형에 대한 각 설명을 서술한다.The physiological psychological response information is information that can grasp the learner's psychological state based on the learner's physiological state in the process of learning the learning image, and the type of the physiological psychological response information may include EEG information, pupil size information, and heart rate variation information. Can be. In addition, the physiological psychological response information may include information, such as the degree of change for each part of the learner's face, the repeatability of the action taken by the learner. In other words, the physiological psychological response may include a change in the color of the face according to the change in the body temperature of the learner, a movement, the size, etc. of each part of the face. The learner's physiological psychological reaction information may be collected through the degree of opening the mouth, touching the nose or ear, repeating the action, and wiping the sweat. The following describes each description of the type of physiological psychological response information.

* 뇌파 정보* EEG Information

뇌파는 학습자의 대뇌피질 세포 신경계에서 뇌신경 사이에 신호가 전달될 때 생기는 생화학적 반응으로, 뇌의 활동 상황(활성 상태)을 측정하는 중요한 지표를 나타낼 수 있다. 뇌파 정보는 이러한 뇌에서 발생하는 생체 전류의 주파수 변화에 대한 정보를 나타낼 수 있다. 이때, 뇌파 정보로 활용되는 주파수는 학습 영상에 대한 학습자의 인지 상태 및 기억 저장과 관련성이 높은 감마파(30~50Hz)와 세파타 (4~8Hz)를 포함할 수 있다.EEG is a biochemical response that occurs when signals are transmitted between brain nerves in the cortical cellular nervous system of a learner, and may represent an important indicator of brain activity. The EEG information may represent information about the frequency change of the bioelectric current generated in the brain. In this case, the frequency used as the EEG information may include a gamma wave (30-50 Hz) and a sephata (4-8 Hz) highly related to the learner's cognitive state and memory storage of the learning image.

여기서, 감마파는 광범위한 감각 지각력을 포함하며, 높은 수준의 지각 반응을 요구할 경우 증가하며, 학습자의 지각행동을 나타내는 특성으로 인해 작업기억 부하 측정 시 활용되는 파장이다. 그리고, 세타파는 외부 자극으로부터 영향을 받는 작업 기억에 관련되며, 기억 수행에 따른 감마파와의 상호 작용을 수행한다.Here, the gamma wave includes a wide range of sensory perception, increases when a high level of perceptual response is required, and is a wavelength used for measuring work memory load due to characteristics representing the learner's perceptual behavior. Theta waves are related to working memory affected by external stimuli, and interact with gamma waves according to memory performance.

이후, 본 발명은 뇌파 정보에 대해, 뇌파 정보로 측정된 뇌파 데이터를 고속 푸리에 변환을 수행하여 시간에 따라 변화하는 시계열 신호의 형태로 저장할 수 있다. 여기서, 고속 푸리에 변환은 시간과 진폭이 연속적인 아날로그 형태의 뇌파 데이터를 이산적인 디지털 신호로 변화하는 작업일 수 있다. 본 발명은 학습자들 간의 개인의 뇌파 차이를 조정하기 위해 각 주파수 대역에 대한 정량화 작업을 수행함으로써, 뇌파 정보를 통한 학습자의 인지 부하에 대한 증가 여부(변화 추이)를 판단할 수 있다. 또한, 본 발명은 상태파워 스펙트럼 분석 및 절대파워 스펙트럼을 통한 뇌파의 파워 스펙트럼 분포의 편향 정도를 통해 정량화 작업을 수행함으로써, 파워 스펙트럼 분포에서 높은 주파수 성분이 많이 나올수록 인지 부하가 증가하는 것으로 판단할 수 있다.Thereafter, the present invention may store the EEG data measured by EEG information in the form of a time series signal that changes with time by performing a Fast Fourier Transform. Here, the fast Fourier transform may be a task of converting the EEG data of the analog form continuous in time and amplitude into a discrete digital signal. The present invention can determine whether an increase (change trend) of the learner's cognitive load through the EEG information is performed by performing quantification for each frequency band to adjust individual brain wave differences between learners. In addition, the present invention performs the quantification through the degree of deflection of the power spectrum distribution of the EEG through the state power spectrum analysis and the absolute power spectrum, it can be determined that the cognitive load increases as more high frequency components appear in the power spectrum distribution Can be.

* 동공 크기 정보* Pupil size information

동공은 다양한 감정과 시각적 자극에 따라 나타나는 반응이며, 동공 반응 즉, 동공의 확장이나 수축은 학습자가 무의식적으로 일어나는 인위적인 통제가 불가능한 생리적 반응으로써, 동공 크기 정보(104)는 학습자(102)의 동공 크기에 따른 동공이 확장되는 정도를 통해 학습자(102)의 감정의 강도나 인지부하의 정도를 판단하기 위한 정보일 수 있다. 여기서, 동공은 동공의 확장이나, 수축을 재는 동공 반응은 눈과 관련된 학습자(102)의 행동 반응 변수로써, 인지부하가 클수록 동공의 크기가 확장되며, 이는 학습자(102)가 특정 기억을 활성화시킬 때 또는 어려운 과제를 부여할 때에 부유되는 것으로 판단할 수 있다. 즉, 동공의 확장은 과제의 난이도에 따라 변화하며, 학습자(102)의 인지적 상태를 나타내는 지표로 활용할 수 있다.The pupil is a response that appears according to various emotions and visual stimuli, and the pupil response, ie, the expansion or contraction of the pupil, is a physiological response that is uncontrollable by the learner unconsciously, and the pupil size information 104 is the pupil size of the learner 102. It may be information for determining the intensity of the emotion of the learner 102 or the degree of cognitive load through the degree of pupil expansion. Here, the pupil is the expansion of the pupil, the pupil response is measured as a behavioral response variable of the learner 102 associated with the eye, the larger the cognitive load, the size of the pupil is expanded, which is the learner 102 to activate a specific memory It can be judged to be suspended when giving a difficult task or when. That is, the expansion of the pupil changes according to the difficulty of the task, and may be used as an index indicating the cognitive state of the learner 102.

* 심박 변이 정보* Heart Rate Variation Information

심박변이도는 심장이 수축활동을 할 때 발생하는 생체 전류인 심전도에 따른 심장 박동을 이용해 측정되는 정보이다. 심박 변이 정보(105)는 심박 변이도로써, 심장 박동 간의 시간이 변화하는 생리적 현상에서 박동 간의 변이 정도를 측정한 변수로 학습자(102)의 감성 상태의 성격을 나타내는 척도로 활용될 수 있다. 이때, 본 발명은 심박 변이 정보(105)에 따른 심박 변이도가 낮은 경우, 학습자(102)의 긴장이 완화된 상태임을 나타내고, 심박 변이도가 높은 경우, 학습자(102)가 정신적으로 스트레스를 받고 있는 상태로 예측할 수 있다. 결국, 심박 변이 정보(105)는 학습자(102)의 정서적 반응으로써, 교감 신경의 활성 정도와 정보 처리에 따른 인지적 부하를 예측하기 위한 지표로 활용할 수 있다.Heart rate variability is information measured using a heart rate according to an electrocardiogram, a biocurrent that occurs when the heart contracts. The heart rate variability information 105 is a heart rate variability, and may be used as a measure of the nature of the emotional state of the learner 102 as a variable for measuring the degree of variability between pulsations in a physiological phenomenon in which time between heart rhythms changes. In this case, when the heart rate variability according to the heart rate variability information 105 is low, it indicates that the learner 102 is in a relaxed state, and when the heart rate variability is high, the learner 102 is mentally stressed. It can be predicted as As a result, the heart rate variation information 105 may be used as an index for predicting the degree of activity of the sympathetic nerve and the cognitive load according to the information processing as the emotional response of the learner 102.

본 발명은 위에서 언급한 생리 심리 반응 정보를 기반으로 학습 영상의 학습 맥락에 따른 학습자의 주의, 정보 처리, 감정, 각성 등의 학습 심리학적 현상 즉, 학습자(102)의 인지 부하를 파악하는데 활용할 수 있다. 이는 다음의 표 1과 같이 나타낼 수 있다.The present invention can be used to grasp the cognitive load of the learner 102, that is, learning psychological phenomena such as attention, information processing, emotion, and arousal of the learner according to the learning context of the learning image based on the above-mentioned physiological psychological response information. have. This can be represented as Table 1 below.

Figure 112017108312300-pat00001
Figure 112017108312300-pat00001

여기서, 본 발명은 학습 영상에 대한 학습자(102)의 회상 자극으로부터 회상된 인지 부하에 대하여 학습자(102)의 생리 심리 반응 정보와 회상된 인지 부하를 비교하고, 이를 통해 회상된 인지 부하가 발생한 학습 구간의 시작 시점을 파악 및 이에 따른 적합한 학습 레벨 및 학습 지도 방법의 추가적인 설계가 가능할 수 있다.Here, the present invention compares the physiological psychological response information of the learner 102 and the recalled cognitive load with respect to the cognitive load recalled from the learner 102's recall stimulus on the learning image, and through this, the learned cognitive load occurred. It may be possible to determine the start time point of the section and accordingly, further design a suitable learning level and learning instruction method.

여기서, 회상 자극이란, 특정 행위 또는 과제 수행 종료 이후에 이와 관련된 시각적 또는 청각적 회상자극자를 활용하여 특정 행위 또는 과제를 수행을 하는 동안에 일어났던 생각 또는 인상을 회상하도록 유도하는 방법이다. 회상자극자는 회상 자극이 실시됨에 따라 학습자(102)가 제공받는 단서와 자극으로 학습 영상에 해당될 수 있다. 다시 말해, 본 발명은 특정 해동을 녹화한 오디오 또는 비디오 테이프를 사용하여 해당 행동이 발생했을 때 일어났던 학습자들의 인지 과정을 회상하는 회상 자극을 이용할 수 있다.Here, the recall stimulus is a method of inducing to recall a thought or impression that has occurred while performing a specific action or task by using a visual or auditory return stimulator associated with it after completion of a specific action or task. The recall stimulator may correspond to a learning image with cues and stimuli provided by the learner 102 as the recall stimulus is performed. In other words, the present invention can use a recall stimulus to recall learners' cognitive processes that took place when the action occurred using audio or video tape recording a specific thaw.

여기서, 본 발명은 학습자(102)의 기억에 대한 정확성을 보다 높이기 위해, 학습자가 기 학습한 학습 영상과 동일한 학습 내용을 포함하는 학습 영상을 이용하여 학습 영상에 따른 학습자(102)의 회상 자극에 관한 회상 자극 반응 정보를 수집할 수 있다. 이를 위해, 본 발명은 학습 영상을 학습하는 학습자(102)의 회상 자극에 따라 회상된 인지 부하를 결정하기 위해, 학습 영상을 원본 학습 영상과 마킹 학습 영상으로 구분할 수 있다. 원본 학습 영상과 마킹 학습 영상은 동일한 학습 내용을 포함하고 있으며, 학습자로 하여금 회상 자극에 대한 마킹 여부에 따라 원본 학습 영상과 마킹 학습 영상으로 구분될 수 있다.Here, in order to further improve the accuracy of the memory of the learner 102, the present invention uses a learning image including the same learning content as the learning image previously learned by the learner to the recall stimulus of the learner 102 according to the learning image. Information on recall stimulus response can be collected. To this end, the present invention may be divided into the original learning image and the marking learning image to determine the cognitive load recalled according to the recall stimulus of the learner 102 learning the learning image. The original learning image and the marking learning image include the same learning contents, and may be divided into the original learning image and the marking learning image according to whether the learner marks the recall stimulus.

본 발명은 마킹 학습 영상을 학습하는 학습자(102)의 회상 자극에 대응하여 마킹 학습 영상에 마킹된 회상 자극 반응 정보를 수집할 수 있다. 여기서, 회상 자극 반응 정보는 원본 학습 영상과 동일한 회상 자극자를 포함하는 마킹 학습 영상을 통해 각 학습 구간별로 회상된 모든 기록이 마킹된 정보로, 학습자(102)의 회상된 인지 부하에 대한 정보를 포함할 수 있다.The present invention may collect recall stimulus response information marked on the marking learning image in response to the recall stimulation of the learner 102 learning the marking learning image. Here, the recall stimulus response information is information in which all records recalled for each learning section are marked through a marking learning image including the same recall stimulator as the original learning image, and includes information on the recall cognitive load of the learner 102. can do.

본 발명은 회상 자극 반응 정보로 나타난 학습자(102)의 회상된 인지 부하에 위해, 학습자(102)의 생리 심리 반응 정보의 변화 정도와 상기 회상 자극 반응 정보를 통해 나타난 인지부하의 변화 정도를 비교하여 상기 원본 학습 영상에 대한 학습자의 회상된 인지 부하를 측정할 수 있다. The present invention compares the degree of change in physiological psychological response information of the learner 102 with the degree of change in cognitive load indicated by the recall stimulus response information for the recalled cognitive load of the learner 102 represented by the recall stimulus response information. A learner's recalled cognitive load on the original training image may be measured.

즉, 본 발명은 회상 자극을 통해 회상된 인지 부하에 관한 회상 자극 반응 정보와 생체 상태 및 심리 상태를 통한 학습자(102)의 인지 부하를 판단할 수 있는 생리 심리 반응 정보를 비교함으로써, 생리 심리 반응 정보를 통해 인지 부하가 나타난 학습 시점과 회상 자극 반응 정보를 통해 인지 부하가 나타난 학습 시점에 따른 실제 학습 영상 내 학습자(102)의 인지적 불균형이 발생한 학습 구간에 대한 회상된 인지 부하를 결정할 수 있다.That is, the present invention compares the recall stimulus response information about the cognitive load recalled through the recall stimulation with the physiological psychological response information that can determine the cognitive load of the learner 102 through the biometric state and the psychological state, Based on the information, the cognitive load may be determined based on the learning point at which the cognitive load is displayed and the recall stimulus response information. .

도 2는 일실시예에 따른 인지 부하 측정 장치의 세부 구성을 도시한 도면이다.2 is a diagram illustrating a detailed configuration of a cognitive load measuring apparatus according to an embodiment.

도 2를 참고하면, 회상 자극 측정 장치(201)는 생리 심리 반응 정보 수집부(202), 마킹 학습 영상 재생부(203), 회상 자극 반응 정보 수집부(204) 및 인지 부하 결정부(208)을 포함할 수 있다.Referring to FIG. 2, the recall stimulation measuring device 201 includes a physiological psychological response information collecting unit 202, a marking learning image reproducing unit 203, a recall stimulating response information collecting unit 204, and a cognitive load determining unit 208. It may include.

생리 심리 반응 정보 수집부(202)는 원본 학습 영상을 학습하는 학습자의 생리 상태 및 심리 상태에 대한 변화를 파악하기 위한 생리 심리 반응 정보를 수집할 수 있다. 여기서, 생리 심리 반응 정보는 학습자의 뇌의 파동을 측정한 뇌파 정보, 상기 학습자의 동공 변화를 측정한 동공 크기 정보 및 상기 학습자의 심박 변이 정보를 포함할 수 있다. 이때, 생리 심리 반응 정보 수집부(202)는 생리 심리 반응 정보를 포함하는 각각의 정보를 수집하기 위해 다음과 같은 측정 방법을 수행할 수 있다.The physiological psychological response information collecting unit 202 may collect physiological psychological response information for identifying a change in the physiological state and the psychological state of the learner learning the original learning image. Here, the physiological psychological response information may include brain wave information measuring a wave of a learner's brain, pupil size information measuring a pupil change of the learner, and heart rate variation information of the learner. In this case, the physiological psychological response information collecting unit 202 may perform the following measurement method to collect respective information including the physiological psychological response information.

* 뇌파 정보* EEG Information

생리 심리 반응 정보 수집부(202)는 학습자가 학습 영상을 학습하는 과정에서 발생하는 뇌파를 측정하며, 생리 심리 반응 정보 수집부(202)는 뇌파 중 감마파와 세타파의 주파수 대역을 포함하는 뇌파 정보를 수집할 수 있다. 여기서, 생리 심리 반응 정보 수집부(202)는 뇌파 데이터에서 기저 반응 구간의 뇌파 평균을 뺀 값을 이용해 뇌파 정보에 따른 측정값을 활용하도록 전처리 과정을 수행할 수 있다.The physiological psychological response information collecting unit 202 measures the brain waves generated in the process of the learner learning the learning image, the physiological psychological response information collecting unit 202 receives the EEG information including the frequency band of gamma wave and theta wave among the brain waves. Can be collected. Here, the physiological psychological response information collecting unit 202 may perform a preprocessing process to utilize the measured value according to the EEG information by using the value obtained by subtracting the EEG average of the basal response section from the EEG data.

일례로, 본 발명은 학습자의 이마에 부착 가능한 EEG 측정기를 이용해 학습 영상을 학습하는 과정에서 발생하는 뇌파를 측정할 수 있다. 본 발명은 EEG 측정기를 통해 전두엽 위치(FP1, FP2)에서 좌, 우 2 채널의 신호가 각 채널당 125Hz로 샘플링(low pass filter의 cut-off frequency는 32.75Hz)됨에 따른 뇌파 정보를 획득할 수 있다. 그리고, EEG 측정기를 통해 측정된 뇌파 정보는 인지 부하 측정 장치로 사용 가능한 핸드폰 또는 핸드폰에 설치된 전용 앱을 통해 기록될 수 있다. For example, the present invention may measure the EEG generated in the process of learning the learning image using an EEG measuring instrument attachable to the forehead of the learner. The present invention can obtain the EEG information according to the signal of the left and right two channels at 125Hz for each channel (cut-off frequency of the low pass filter is 32.75Hz) at the frontal lobe position (FP1, FP2) through the EEG measuring instrument. . In addition, the EEG information measured through the EEG meter may be recorded through a mobile phone or a dedicated app installed in the mobile phone that can be used as a cognitive load measuring device.

* 동공 크기 정보* Pupil size information

생리 심리 반응 정보 수집부(202)는 학습 영상에 대한 학습자의 무의식적 반응으로, 학습 영상을 진행하면서 발생하게 되는 학습자의 인지 부하의 변화를 동공 크기를 통해 확인할 수 있도록 동공 크기 정보를 수집할 수 있다. 동공 크기의 변화 값을 측정하기 위해, 생리 심리 반응 정보 수집부(202)는 학습자의 좌우 동공의 평균값을 기반으로 측정할 수 있다. 또한, 생리 심리 반응 정보 수집부(202)는 학습자의 1/30초 단위로 측정된 동공 크기 데이터에서 기저반응 구간에 대한 동공 크기의 평균을 뺀 값을 이용해 동공 크기 정보에 따른 동공 크기값을 활용하도록 전처리 과정을 수행할 수 있다. 이때, 본 발명은 학습 영상이 디스플레이되는 화면 중앙에 표시된 특정 기호(ex. 'X' )에 학습자의 시선이 고정되도록 지시한 후, 특정 시간을 간격으로 한 지점을 바라보는 학습자의 기저 반응을 측정함으로써, 눈의 조정 반응을 최소화하고, 명암 및 밝기 변화 차이에 의한 동공에의 영향을 최소화 할 수 있다.The physiological psychological response information collecting unit 202 may collect pupil size information so that the change in the cognitive load of the learner generated through the learning image may be determined through the pupil size as the learner's unconscious response to the learning image. . In order to measure the change value of the pupil size, the physiological psychological response information collector 202 may measure the average value of the left and right pupils of the learner. In addition, the physiological psychological response information collecting unit 202 utilizes the pupil size value according to the pupil size information using a value obtained by subtracting the average of the pupil size for the basal response section from the pupil size data measured in 1/30 seconds of the learner. Pretreatment may be performed. In this case, the present invention instructs the learner's gaze to be fixed to a specific symbol (ex. 'X') displayed at the center of the screen on which the learning image is displayed, and then measures the learner's base response looking at a point at a specific time interval. As a result, the eye's control response can be minimized, and the influence on the pupil due to the difference in contrast and brightness can be minimized.

일례로, 본 발명은 학습 영상의 전 학습 구간에 걸쳐 아이트래커를 통해 학습자의 양쪽 눈 각각에 대한 동공 크기 정보를 수집할 수 있다.For example, the present invention may collect pupil size information for each eye of the learner through the eye tracker over the entire learning section of the learning image.

* 심박 변이 정보* Heart Rate Variation Information

생리 심리 반응 정보 수집부(202)는 학습자의 심전도 신호와 심박수와 심전도를 이용해 측정하는 것으로 학습자가 느끼는 감정의 강도와 감정에 대한 긍정 또는 부정을 나타내는 심박 변이 정보를 수집할 수 있다.The physiological psychological response information collecting unit 202 may collect heart rate variation information indicating the strength of the emotion felt by the learner and positive or negative emotions measured by the learner's electrocardiogram signal, heart rate, and electrocardiogram.

일례로, 본 발명은 심박(heart rate, HR) 및 심박변이율(heart rate variability, HRV)은 손목의 photoplethysmogram (PPG) 신호로부터 추출할 수 있다.In one example, the heart rate (HR) and heart rate variability (HRV) can be extracted from the wrist photoplethysmogram (PPG) signal.

마킹 학습 영상 재생부(203)는 원본 학습 영상의 학습이 완료되면, 학습이 완료된 원본 학습 영상과 동일한 학습 내용을 포함하는 마킹 학습 영상을 재생할 수 있다.When the learning of the original learning image is completed, the marking learning image reproducing unit 203 may play the marking learning image including the same learning contents as the original learning image on which the learning is completed.

회상 자극 반응 정보 수집부(204)는 마킹 학습 영상을 학습하는 학습자의 회상 자극에 대응하여 마킹 학습 영상에 마킹된 회상 자극 반응 정보를 수집할 수 있다. 이를 위해, 회상 자극 반응 정보 수집부(204)는 학습 내용 기록부(205), 학습 구간 구분부(206) 및 특징 분류부(207)를 포함할 수 있다.The recall stimulus response information collecting unit 204 may collect the recall stimulus response information marked on the marking learning image in response to the recall stimulus of the learner learning the marking learning image. To this end, the recall stimulus response information collection unit 204 may include a learning content recording unit 205, a learning section division unit 206, and a feature classification unit 207.

학습 내용 기록부(205)는 학습자로부터 마킹 학습 영상을 학습하는 과정에서 회상된 학습 내용이 기록될 수 있다. 구체적으로, 학습 내용 기록부(205)는 학습 과정에서 발생했던 학습자의 인지 부하를 확인하기 위해 회상 자극 기법을 활용할 수 있으며, 회상 자극 기법은 시각적 또는 청각적 단서를 활용하여 학습자의 기억에 접근해 특정한 행위 또는 과제 수행을 하는 동안 일어났던 생각이나 전략 등을 회상하도록 돕는 사후적 내성 관찰 방법일 수 있다. 이때, 학습 내용 기록부(205)는 학습 영상에 대한 생각이나 전력 회상을 위해 학습 영상에 대한 종류 직후 학습자에게 동일한 학습 영상을 제시하여 제시된 학습 영상을 통해 회상된 생각을 기록할 수 있다.The learning content recorder 205 may record the learning content recalled in the process of learning the marking learning image from the learner. Specifically, the learning content recorder 205 may utilize a recall stimulation technique to identify a learner's cognitive load that occurred during the learning process, and the recall stimulation technique may access a learner's memory by using visual or auditory cues. It may be a post-mortem observational method that helps us to recall thoughts and strategies that occurred while performing an action or task. In this case, the learning content recording unit 205 may record the thoughts recalled through the presented learning images by presenting the same learning images to the learners immediately after the kind of the learning images for the thought or power recall of the learning images.

여기서, 학습 내용 기록부(205)는 학습자가 학습 영상을 다시 돌려보면서 해당 학습 영상에서 인지 부하가 발생했던 순간에 대한 정보를 마킹할 수 있다. 이때, 마킹은 학습자에 의한 학습 영상의 재생여부로 마커의 구분을 수행하고, 인지 부하로 선택한 학습 구간에 대한 학습자가 느꼈던 생각을 간단한 메모 형태로 기록될 수 있다. 즉, 본 발명은 마킹 학습 영상에 대해 타임 라인 이동, 배속 조절 멈춤, 재생 등 학습자가 자유롭게 영상을 제어하고, 회상된 생각을 메모(기록)할 수 있는 기능을 지원할 수 있다. Here, the learning content recorder 205 may mark the information on the moment when the learner turns back the learning image and the cognitive load on the corresponding learning image. In this case, the marking may be performed by classifying markers as to whether the learning image is played by the learner, and the thoughts felt by the learner for the learning section selected as the cognitive load may be recorded in a simple memo form. That is, the present invention may support a function that allows the learner to freely control the image and memo (record) the recalled idea such as moving the timeline, stopping the speed control, and playing the marking learning image.

학습 구간 구분부(206)는 학습자에 의해 마킹된 마커의 생성 시간을 마킹 학습 영상의 학습 구간별로 구분할 수 있다.The learning section separator 206 may classify a generation time of the marker marked by the learner for each learning section of the marking learning image.

특징 분류부(207)는 기록된 학습 내용에 기초하여 마킹 학습 영상에 마킹된 각 마커에 대한 회상 자극 특징을 분류할 수 있다. 마커는 인지 부하를 의미하는 정신적 노력으로써, 인지 상태에 따른 기록을 의미할 수 있다. 그리고, 특징 분류부(207)는 마커가 기록된 구간에 기록된 메모의 노트 내용을 기반으로 마커의 회상 자극 특징이 상승일 경우 '1', 하락일 경우 '-1', 값이 null일 경우 '0'으로 분류할 수 있다. 다시 말해, 특징 분류부(207)는 기록된 메모에 대한 각 마커의 회상 자극 특징을 각각의 값으로 분류할 수 있다. 그리고, 특징 분류부(207)는 분류된 각각의 값에 대응하여 A(긴장감), B(자신감), C(정신적 노력)에 대한 선택지 중 하나의 선택지를 선택할 수 있다. 여기서, 특징 분류부(207)는 학습자의 인지 부하를 의미하는 C(정신적 노력)으로 마커의 구분을 설정한 값을 추출하여 사용할 수 있다.The feature classifier 207 may classify the recall stimulus feature for each marker marked on the marking learning image based on the recorded learning content. The marker is a mental effort that means a cognitive load, and may mean a recording according to a cognitive state. Then, the feature classifier 207 is based on the note content of the memo recorded in the section in which the marker is recorded '1' if the marker stimulus feature is rising, '-1' if falling, if the value is null Can be classified as '0'. In other words, the feature classifier 207 may classify the recall stimulus features of each marker for the recorded memo into respective values. The feature classifier 207 may select one of the options for A (tense), B (confidence), and C (mental effort) corresponding to each classified value. Here, the feature classifier 207 may extract and use a value that sets the classification of the marker as C (mental effort), which means a cognitive load of the learner.

인지 부하 결정부(208)는 학습자의 생리 심리 반응 정보 및 상기 회상 자극 반응 정보를 이용하여 상기 원본 학습 영상에 대해 회상된 학습자의 인지 부하를 결정할 수 있다. 이를 위해, 인지 부하 결정부(208)는 변화 정도 측정부(209) 및 인지 부하 측정부(210)를 포함할 수 있다.The cognitive load determiner 208 may determine the cognitive load of the learner recalled with respect to the original learning image using the learner's physiological psychological response information and the recall stimulus response information. To this end, the cognitive load determiner 208 may include a change degree measurer 209 and a cognitive load measurer 210.

변화 정도 측정부(209)는 원본 학습 영상에 대한 학습자의 인지 부하에 따라 변화하는 상기 생리 심리 반응 정보의 변화 정도를 측정할 수 있다. 자세하게, 변화 정도 측정부(209)는 학습자의 인지 부하로 나타나는 뇌의 지각 반응을 이용하여 생리 심리 반응 정보 중 뇌파 정보의 변화 정도를 측정할 수 있다. 변화 정도 측정부(209)는 학습자의 인지 부하로 나타나는 동공의 크기 변화에 따른 확장 여부를 이용하여 생리 심리 반응 정보 중 동공 크기 정보의 변화 정도를 측정할 수 있다. 변화 정도 측정부(209)는 학습자의 인지 부하로 나타나는 심장 박동 주기의 간격 변화에 따른 심박동 변화율을 이용하여 생리 심리 반응 정보 중 심박 변이 정보의 변화 정도를 측정할 수 있다.The change degree measuring unit 209 may measure a change degree of the physiological psychological response information that changes according to the learner's cognitive load on the original learning image. In detail, the change degree measuring unit 209 may measure the degree of change in the EEG information among the physiological psychological response information by using the perceptual response of the brain represented by the learner's cognitive load. The change degree measuring unit 209 may measure the degree of change in the pupil size information in the physiological psychological response information by using the expansion according to the change in the size of the pupil represented by the learner's cognitive load. The change degree measuring unit 209 may measure the change in the heart rate variation information among the physiological psychological response information by using the rate of change of the heart rate according to the change in the interval of the heart rate shown by the learner's cognitive load.

인지 부하 측정부(210)는 학습자의 생리 심리 반응 정보의 변화 정도와 상기 회상 자극 반응 정보를 통해 나타난 인지부하의 변화 정도를 비교하여 상기 원본 학습 영상에 대한 학습자의 회상된 인지 부하를 측정할 수 있다. 자세하게, 인지 부하 측정부(210)는 학습자의 생리 심리 반응 정보의 변화 정도를 통해 추정 가능한 인지부하 및 상기 학습자의 회상 자극 반응 정보를 통해 확인한 인지부하를 비교할 수 있다. 여기서, 인지 부하 측정부(210)는 생리 심리 반응 정보로부터 추정된 인지부하와 회상 자극 반응 정보로부터 확인한 인지부하를 비교함으로써, 학습 진행 과정에서 학습자에게 발생한 인지 부하의 변화 추이를 비교할 수 있다.The cognitive load measuring unit 210 may measure the learner's recalled cognitive load on the original learning image by comparing the change of the learner's physiological psychological response information with the change of the cognitive load displayed through the recall stimulus response information. have. In detail, the cognitive load measuring unit 210 may compare the cognitive load estimated through the degree of change of the learner's physiological psychological response information and the cognitive load identified through the learner's recall stimulus response information. Here, the cognitive load measuring unit 210 may compare the change of the cognitive load generated in the learner during the learning process by comparing the cognitive load estimated from the physiological psychological response information and the cognitive load confirmed from the recall stimulus response information.

그리고, 인지 부하 측정부(210)는 비교한 결과로부터 학습 진행 과정에서의 학습자의 회상된 인지부하로 설명 가능한 학습자의 생리 심리 반응 정보의 범위 및 구간을 확인할 수 있다. 인지 부하 측정부(210)는 회상 자극 반응 정보로부터 확인한 인지부하를 기준으로 생리 심리 반응 정보의 변화 정도를 통해 추정된 인지부하에서 학습자의 회상이 발생한 범위와 구간을 구분할 수 있다. In addition, the cognitive load measuring unit 210 may check the range and the section of the learner's physiological psychological response information that can be explained by the learner's recalled cognitive load in the learning process from the comparison result. The cognitive load measuring unit 210 may distinguish a range and a section in which the learner's recall occurs in the cognitive load estimated through the change in the physiological psychological response information based on the cognitive load identified from the recall stimulus response information.

인지 부하 측정부(210)는 확인한 학습자의 생리 심리 반응 정보의 범위 및 구간을 기반으로 원본 학습 영상에 대한 학습자의 회상된 인지 부하를 측정할 수 있다. 다시 말해, 인지 부하 측정부(210)는 생리 심리 반응 정보를 포함하는 뇌파 정보, 동공 크기 정보 및 심박 변이 정보의 변화 정도에 따른 각각의 피크값이 나타난 원본 학습 영상의 학습 구간과 인지부하의 변화 정도에 따른 피크값이 나타난 마킹 학습 영상의 학습 구간을 비교하여 학습자의 회상된 인지 부하를 측정할 수 있다.The cognitive load measuring unit 210 may measure the learner's recalled cognitive load on the original learning image based on the range and the section of the identified physiological psychological response information of the learner. In other words, the cognitive load measuring unit 210 changes the learning interval and the cognitive load of the original learning image in which each peak value appears according to the degree of change in brain wave information, pupil size information, and heart rate variation information including physiological psychological response information. The recalled cognitive load of the learner can be measured by comparing the learning intervals of the marked learning images with peak values according to the degree.

도 3은 일실시예에 따른 학습 영상에 대한 학습자의 생리 심리 반응 정보 및 회사 자극 반응 정보를 수집하는 과정을 설명하기 위한 도면이다.FIG. 3 is a diagram for describing a process of collecting learner's physiological psychological response information and company stimulus response information on a learning image, according to an exemplary embodiment.

인지 부하 측정 장치는 회상 자극 반응 정보를 이용하여 학습 영상에 대한 학습자의 회상된 인지 부하를 결정할 수 있다. 이를 위해, 인지 부하 측정 장치는 동일한 학습 내용을 포함하는 원본 학습 영상(301)과 마킹 학습 영상(302)으로 학습 영상을 구분할 수 있다. 이때, 학습 영상은 학습 컨텐츠로 인한 외재적 인지 부하를 최소화하기 위하여 배경화면은 흰색으로 제공되며, 학습 내용을 판서 형태로 제시되도록 구성하였다. 또한, 학습 영상은 영상 진행 시, 학습 내용에 대한 교수자의 음성이 제공되며, 교수자의 이미지는 등장하지 않을 수 있다.The cognitive load measuring apparatus may determine the learner's recalled cognitive load on the learning image using the recall stimulus response information. To this end, the cognitive load measuring apparatus may distinguish the training image into an original training image 301 and a marking training image 302 including the same learning contents. At this time, in order to minimize the external cognitive load due to the learning content, the learning image is provided with a white screen, and the learning content is presented in writing form. In addition, the learning image is provided with the voice of the instructor for the learning content during the progress of the image, the image of the instructor may not appear.

도 3의 (a)를 살펴보며, 인지 부하 측정 장치는 학습자에게 원본 학습 영상(301)을 제공할 수 있다. 여기서, 원본 학습 영상(301)을 학습자로 하여금 새로운 정보를 제공할 수 있는 기본 영상으로, 인지 부하 측정 장치는 원본 학습 영상(301)을 학습하는 학습자의 생리 심리 반응 정보를 수집할 수 있다. 이때, 인지 부하 측정 장치는 원본 학습 영상(301)을 구성하는 학습 내용에 따라 구분된 학습 구간별로 각 생리 심리 반응 정보를 구분하여 수집할 수 있다.Referring to FIG. 3A, the cognitive load measuring apparatus may provide the learner with the original training image 301. Here, the original learning image 301 is a basic image that allows the learner to provide new information, and the cognitive load measuring apparatus may collect physiological psychological response information of the learner learning the original learning image 301. In this case, the cognitive load measuring apparatus may separately collect and collect physiological psychological response information for each learning section classified according to the learning contents constituting the original learning image 301.

이는 학습 구간별로 회상 자극 반응 정보를 통해 표출된 회상된 인지 부하에 대한 변화 추이를 설명하기 위한 생리 심리 반응 정보를 수집하는 과정일 수 있다.This may be a process of collecting physiological psychological response information for explaining a change in the recalled cognitive load expressed through the recall stimulus response information for each learning section.

도 3의 (b)를 살펴보면, 인지 부하 측정 장치는 원본 학습 영상(301)을 모두 학습한 직후, 마킹 학습 영상(302)을 학습자에게 제공할 수 있다. 인지 부하 측정 장치는 학습자가 학습 영상을 다시 돌려보면서 해당 학습 영상에서 인지 부하가 발생했던 순간에 대한 정보를 마킹할 수 있다. 이때, 마킹은 학습자에 의한 학습 영상의 재생여부로 마커의 구분을 수행하고, 인지 부하로 선택한 학습 구간에 대한 학습자가 느꼈던 생각을 간단한 메모 형태로 기록될 수 있다. 즉, 본 발명은 마킹 학습 영상에 대해 타임 라인 이동, 배속 조절 멈춤, 재생 등 학습자가 직접 영상을 제어하고, 회상된 생각을 메모(기록)할 수 있는 기능을 지원함으로써, 보다 자유롭게 학습 영상을 회상할 수 있는 학습 환경을 제공할 수 있다.Referring to FIG. 3B, the cognitive load measuring apparatus may provide the learner with the marking learning image 302 immediately after learning all the original learning images 301. The cognitive load measuring apparatus may mark information on a moment when a cognitive load occurs in the corresponding learning image while the learner turns the learning image again. In this case, the marking may be performed by classifying markers as to whether the learning image is played by the learner, and the thoughts felt by the learner for the learning section selected as the cognitive load may be recorded in a simple memo form. That is, the present invention freely recalls the learning video by supporting a function that allows the learner to directly control the video and memo (record) the recalled thoughts such as moving the timeline, stopping the speed control, and playing the marking learning video. It can provide a learning environment.

인지 부하 측정 장치는 회상된 생각이 기록된 메모 및 마킹 구간을 통해 학습자의 회상된 인지 부하를 측정한 값을 나타내는 회상 자극 반응 정보를 수집할 수 있다. 다시 말해, 회상 자극 반응 정보는 인지 부하를 의미하는 정신적 노력으로써, 인지 상태에 따른 기록을 의미할 수 있다.The cognitive load measuring apparatus may collect recall stimulus response information representing a value of a learner's recalled cognitive load through a memo and a marking section in which recalled thoughts are recorded. In other words, the recall stimulus response information is a mental effort representing a cognitive load, and may mean a recording according to a cognitive state.

그리고, 회상 자극 반응 정보는 엑셀 형태로 추출될 수 있으며, 엑셀에 포함되는 구성 요소는 학습자 ID, 영상번호, 마커 생성 시간, 마커 구분, 메모노트를 포함할 수 있다. 구체적으로, 학습자 ID는 학습 영상을 학습하는 각각의 학습자를 구분하기 위한 개인 식별 정보이며, 영상 번호는 원본 학습 영상과 마킹 학습 영상에 따른 학습자에 의해 기록된 마커를 포함하는 영상을 구분하는 번호일 수 있다. 그리고, 마커 생성 시간은 학습자에 의해 제어된 마킹 학습 영상에서의 소수점 한자리 초 단위로 나타나며, 마커 구분은 인지 부하를 의미하는 정신적 노력으로 기록되고, 메모 노트(303)는 학습자가 회상자극반응 기록 당시 선택한 마커에 대한 구체적인 설명이 기록된 내용일 수 있다.The recall stimulus response information may be extracted in an Excel form, and the components included in the Excel may include a learner ID, an image number, a marker generation time, a marker division, and a memo note. Specifically, the learner ID is personal identification information for distinguishing each learner learning the learning image, and the image number is a number for distinguishing the image including the marker recorded by the learner according to the original learning image and the marking learning image. Can be. In addition, the marker generation time is expressed in units of one decimal place in the marking learning image controlled by the learner, and the marker division is recorded as a mental effort indicating a cognitive load, and the memo note 303 indicates that the learner recorded the response of the response to the response. A detailed description of the selected marker may be recorded.

다시 말해, 학습자의 인지부하는 발생원인에 따라 내재적 부하, 외재적 부하, 본유적 부하로 구분할 수 있다. 이 중 내재적 부하는 학습과제의 복잡성에 의해 발생하며, 학습과제의 복잡성은 구성요소의 상호작용 수준 또는 학습자의 선수지식 정도에 의해 결정될 수 있다. 외재적 부하는 주로 학습 자료 및 정보의 제시 형태 또는 방식에 의해 발생할 수 있다. 본유적 부하는 학습자의 작동기억 용량 내에서 학습자가 학습과 관련해 기울이는 정신적 노력을 의미할 수 있다. 이에 따라, 본 발명에서 사용된 정신적 노력은 과제 해결 시 할당된 인지 용량이나 자원과 관련이 깊은 본유적 부하로 인한 인지 부하를 의미할 수 있다.In other words, the cognitive load of the learner can be classified into an intrinsic load, an intrinsic load, and an intrinsic load according to the cause of occurrence. Among these, the intrinsic load is generated by the complexity of the learning task, and the complexity of the learning task can be determined by the level of interaction of the components or the degree of prerequisite knowledge of the learner. External loads can occur primarily by the type or manner of presentation of learning materials and information. An inherent load can refer to the mental effort the learner makes in relation to learning within the learner's working memory capacity. Accordingly, the mental effort used in the present invention may refer to the cognitive load due to the intrinsic load deeply related to the allocated cognitive capacity or resources when solving the task.

도 4는 일실시예에 따른 학습자의 생리 심리 반응 정보를 구성하는 뇌파 정보, 동공 크기 정보 및 심박 변이 정보를 수집하는 세부적인 과정을 설명하기 위한 도면이다.FIG. 4 is a diagram for describing a detailed process of collecting brain wave information, pupil size information, and heart rate variation information constituting physiological psychological response information of a learner according to an embodiment.

도 4를 참고하면, 인지 부하 측정 장치는 학습 영상에 따른 학습자의 생리 심리 반응 정보를 수집할 수 있다. 이때, 생리 심리 반응 정보는 뇌파 정보, 동공 크기 정보 및 심박 변이 정보를 포함하며, 각각의 정보는 다음과 같은 동작을 통해 수집될 수 있다.Referring to FIG. 4, the cognitive load measuring device may collect learner's physiological psychological response information according to a learning image. In this case, the physiological psychological response information includes brain wave information, pupil size information, and heart rate variation information. Each information may be collected through the following operation.

* 뇌파 정보(401)* EEG Information (401)

인지 부하 측정 장치는 학습자의 뇌에서 발생한 생체 전류 주파수의 변화를 분석하여 추출한 뇌파를 획득할 수 있다. 인지 부하 측정 장치는 획득한 뇌파를 고속 푸리에 변환 방식에 적용하여 뇌파 정보로 수집할 수 있다. 여기서, 고속 푸리에 변환은 시간 영역의 신호를 주파수영역의 신호로 변환하여 주파수의 크기에 따라 뇌파 신호를 그래프에 배열되게 하는 방법이다.The cognitive load measuring apparatus may obtain the extracted EEG by analyzing the change of the biocurrent frequency generated in the learner's brain. The cognitive load measuring apparatus may apply the acquired EEG to a fast Fourier transform method to collect EEG information. Here, the fast Fourier transform is a method of converting a signal in the time domain into a signal in the frequency domain so that the EEG signals are arranged in a graph according to the magnitude of the frequency.

일례로, 인지 부하 측정 장치는 추출한 뇌파(뇌파 데이터0를 0.512초 마다 고속 푸리에 변환방식으로 처리하여 처리 결과로부터 학습자의 눈깜박임, 뇌파, 그 밖의 노이즈를 구분하였다. 이후, 구분한 데이터가 뇌파로 판정되면, 인지 부하 측정 장치는 판정된 신호로부터 알파파(8~12Hz), SMR파(12~15Hz), 중간 베타파(16~20Hz), 고 베타파(21~30Hz) 영역의 power spectral density(PSD)의 합으로 파라미터를 추출하였다. 이때, 인지 부하 측정 장치는 인지부하와 연관성이 있는 고 베타파값을 사용하며, 이상치를 제거하기 위해 특정 시점에서 알파파 값과 베타파 값을 더한 값을 계산한 후 해당 시점 이전 10초 동안 알파파 값과 베타파 값을 더한 값의 평균 및 표준편차를 더한 값이 해당 값보다 크게 나타난 수치를 제거하였다. For example, the cognitive load measuring apparatus processed the extracted brain waves (EEG data 0 every 0.512 seconds using a fast Fourier transform method to distinguish the student's blink, brain waves, and other noise from the processing result. When it is determined, the cognitive load measuring device determines the power spectral density of the alpha wave (8-12 Hz), SMR wave (12-15 Hz), medium beta wave (16-20 Hz) and high beta wave (21-30 Hz) region from the determined signal. The cognitive load measurement device uses the high beta wave value associated with the cognitive load and adds the alpha wave value and the beta wave value at a specific time point to remove the outliers. After the calculation, the mean and standard deviation of the sum of alpha wave and beta wave values for 10 seconds before the point in time were removed.

상술한 절차를 통해 처리된 뇌파 데이터는 생리 심리 반응 정보를 구성하는 동공 크기 정보와 심박 변이 정보와의 비교를 위해 1초당 평균으로 환산하였으며, 뇌파 데이터의 단위는 ㎶2/Hz로 나타내고, 이러한 뇌파 데이터는 생리 심리 반응 정보를 구성하는 뇌파 정보로 수집될 수 있다. 뇌파는 다음의 수학식 1을 이용할 수 있다.The EEG data processed through the above-described procedure was converted into an average per second to compare the pupil size information and the heart rate variation information constituting the physiological psychological response information, and the unit of the EEG data is expressed as 2 / Hz. The data may be collected as brain wave information constituting physiological psychological response information. EEG can use the following equation (1).

Figure 112017108312300-pat00002
Figure 112017108312300-pat00002

* 동공 크기 정보(402)* Pupil Size Information (402)

인지 부하 측정 장치는 다양한 감정과 시각적 자극에 따라 나타나는 반응으로 학습자의 좌, 우 동공 크기를 측정할 수 있다. 이때, 인지 부하 측정 장치는 동공 크기의 변화에 따른 기저 반응 구간에서의 동공 크기 평균을 빼고, 1초당으로 생성한 값으로써, 동공 크기 정보를 수집할 수 있다.The cognitive load measuring device can measure the left and right pupil size of the learner by the response that appears according to various emotions and visual stimuli. In this case, the cognitive load measuring apparatus may collect the pupil size information as a value generated per second by subtracting the average pupil size in the base reaction section according to the change of the pupil size.

일례로, 인지 부하 측정 장치는 학습자의 눈과의 아이트래커 간의 거리 정보를 확인하여 학습자와 아이트래커 간의 거리가 35cm~95cm 범위를 벗어나는 데이터를 제거하였다. 또한, 인지 부하 측정 장치는 측정된 동공 크기를 기준으로 정상 동공 크기(1.5mm~6mm)를 벗어난 이상치를 분리하였다. 이후 기저반응 구간에서의 동공크기 평균을 빼고 1초당으로 평균으로 값을 산정하였다. As an example, the cognitive load measuring apparatus checks the distance information between the eye tracker of the learner's eyes and removes data in which the distance between the learner and the eye tracker is outside the range of 35 cm to 95 cm. In addition, the cognitive load measuring device separated outliers outside the normal pupil size (1.5 mm to 6 mm) based on the measured pupil size. After that, the average pupil size in the basal reaction section was subtracted and the average value was calculated per second.

상술한 절차를 통해 처리된 동공 크기 데이터는 뇌파 데이터와의 동일한 학습 시점에서의 비교를 위해 1초당 평균으로 환산하였으며, 동공 크기 데이터의 단위는 mm로 나타내고, 이러한 동공 크기 데이터는 생리 심리 반응 정보를 구성하는 동공 크기 정보로 수집될 수 있다. 동공 크기 정보는 다음의 수학식 2를 이용할 수 있다.The pupil size data processed through the above-described procedure was converted into an average per second for comparison at the same learning time with the EEG data, and the unit of the pupil size data is expressed in mm, and the pupil size data indicates physiological psychological response information. It may be collected into the pupil size information constituting. The pupil size information may use the following equation (2).

Figure 112017108312300-pat00003
Figure 112017108312300-pat00003

* 심박 변이 정보* Heart Rate Variation Information

인지 부하 측정 장치는 학습자의 심장 박동 주기의 변화 값으로 심박변이도를 측정할 수 있다. 학습자의 심장 박동값의 단위는 bpm(beats per minute)이며, 심장 박동 주기 변화는 부착된 기기를 통해 5분 간격으로 계산되므로, liding window 방식을 적용하여 1초 간격으로 값을 측정할 수 있다.The cognitive load measuring apparatus may measure the heart rate variability as a value of the learner's heart rate cycle. The unit of the learner's heart rate value is bpm (beats per minute), and since the change in the heart rate is calculated every 5 minutes through the attached device, the value can be measured at 1 second intervals by applying the liding window method.

일례로 심박변이도는 1초 단위의 교감신경과 부교감신경의 비율(Low Frequency/High Frequency ratio)로 심장박동의 변화를 측정한 값으로 절대값이 아닌 간격 변화를 통해 도출된 상대적 값이므로 데이터 전처리 시 학습자의 기저반응을 적용하지 않으며, LF와 HF의 비율을 측정값으로 산정함으로써 측정값을 일반화하였다. 본 발명의 심박변이도 데이터는 LF와 HF의 비율에 대한 일반화된 값이므로, 별도의 단위가 존재하지 않는다. 심박 변이 정보는 다음의 수학식 3을 이용할 수 있다.For example, heart rate variability is a measure of the change in heart rhythm with the ratio of sympathetic and parasympathetic nerves in the unit of 1 second and is a relative value derived from interval change, not absolute value. The learner's baseline response was not applied, and the measured values were generalized by estimating the ratio of LF and HF as measured values. Heart rate variability data of the present invention is a generalized value for the ratio of LF and HF, so there is no separate unit. Heart rate variation information may use the following equation (3).

Figure 112017108312300-pat00004
Figure 112017108312300-pat00004

도 5는 일실시예에 따른 학습자의 생리 심리 반응 정보와 학습 구간별 자극 회상 반응 정보에 따른 인지 부하의 변화 추이를 나타낸 도면이다.FIG. 5 is a diagram illustrating a change in cognitive load according to learner's physiological psychological response information and stimulus recall response information for each learning section.

도 5를 참고하면, 인지 부하 측정 장치는 학습 영상을 학습하는 과정에서 나타난 구간별 학습자의 생리 심리 반응 정보를 기반으로 학습자의 회상된 인지 부하의 변화 추이를 확인할 수 있다. 다시 말해, 도 4에서 설명한 바와 같이 생리 심리 반응 정보 각각에 대한 데이터 단위를 1초단 평균으로 환산함으로써, 생리 심리 반응 정보 및 회상된 인지 부하에 대해 각각의 그래프로 형성할 수 있다.Referring to FIG. 5, the apparatus for measuring cognitive load may check a change in the recall of the learner's recalled cognitive load based on the learner's physiological psychological response information displayed in the course of learning the learning image. In other words, as described with reference to FIG. 4, by converting the data unit for each physiological psychological response information into an average of 1 second, the physiological psychological response information and the recalled cognitive load may be formed as respective graphs.

다시 말해, 인지 부하 측정 장치는 학습자의 생리 심리 반응 정보와 회상된 인지 부하의 값을 비교하여 회상된 인지 부하의 값에 대한 학습자의 심리상태를 확인하기 위해, 학습 영상의 학습 구간별로 각 변인의 변화 추이를 나타낼 수 있다. 이를 위해, 인지 부하 측정 장치는 변화 추이를 확인하기 위해 생리심리반응의 경우 연속적인 값을 대표하는 구간별 평균 값을 선형 그래프로 나타내었으며, 회상된 인지부하의 경우 이산적인 값의 형태이기 때문에 구간별 빈도값을 사용하여 선형 그래프로 나타내었다.In other words, the cognitive load measuring apparatus compares the physiological psychological response information of the learner with the value of the recalled cognitive load and checks the learner's psychological state with respect to the recalled cognitive load. It may indicate a change trend. For this purpose, the cognitive load measuring device displays the average value of each section representing the continuous values in the case of physiological psychological response in a linear graph to check the change trend, and in the case of recalled cognitive load in the form of discrete values, Star frequency values are shown in a linear graph.

선형 그래프의 x축은 학습 영상의 구간이고 y축은 각 생리 심리 반응 정보의 구간별 평균값 및 회상된 인지부하의 구간별 빈도를 나타내었다The x-axis of the linear graph is the interval of the learning image, and the y-axis represents the mean value of each section of the physiological psychological response information and the frequency of each of the recalled cognitive loads.

학습자가 회상된 인지부하의 학습 영상의 학습 구간별 변화 추이를 확인해보면, 각 학습 영상의 시작과 끝인 1, 10, 19 구간은 제외하고, 구간별 회상된 인지부하의 값이 높게 나타난 구간은 내림차순으로 15구간(75), 16구간(74), 5구간(65), 7구간(59)으로 나타날 수 있다. 이는 양항명제에 대해 구체적으로 설명하는 구간으로써, 새로운 정보를 습득하는 과정에서 학습 내용에 대한 높은 복잡도에 대응하여 인지 부하의 값이 높게 나타날 수 있다.When the learner checks the change of the learning section of the learning image of the cognitive load recalled, the sections in which the values of the recalled cognitive load are high are excluded except for the 1, 10, and 19 sections, which are the beginning and end of each learning image. 15 sections (75), 16 sections (74), 5 sections (65), 7 sections (59). This is a section that describes the dual term proposition in detail, and in the process of acquiring new information, the value of the cognitive load may be high in response to the high complexity of the learning content.

또한, 학습자의 회상된 인지부하가 낮게 나타난 구간은 오름차순으로 2구간(0), 11구간(3), 3구간(4), 8구간(13)으로 나타날 수 있다. 이는 학습 내용에 따른 학습 목표 또는 기본 개념을 설명하는 구간으로써, 기본적인 학습 내용에 대한 낮은 복잡도에 대응하여 인지 부하의 값이 낮게 나타날 수 있다.In addition, the section in which the learner's recalled cognitive load is low may appear in 2 sections (0), 11 sections (3), 3 sections (4), and 8 sections (13) in ascending order. This is a section for explaining a learning objective or basic concept according to the learning content, and the value of the cognitive load may be low in response to the low complexity of the basic learning content.

결국, 본 발명은 학습자의 회상된 인지 부하는 학습 영상을 구성하는 학습 내용 및 과제에 대한 복잡도에 비례하여 회상한 인지 부하의 값이 증가하거나 또는 감소하여 나타날 수 있다.As a result, in the present invention, the recalled cognitive load of the learner may appear to increase or decrease the value of the recalled cognitive load in proportion to the complexity of the learning content and the task constituting the learning image.

도 6은 일실시예에 따른 학습 구간별 뇌파 정보와 자극 회상 반응 정보에 따른 인지 부하에 따른 변화 추이를 나타낸 도면이다.FIG. 6 is a diagram illustrating a change in cognitive load according to brain wave information and stimulus recall response information for each learning section, according to an exemplary embodiment.

본 발명은 학습 구간별 뇌파 정보와 자극 회상 반응 정보의 인지 부하에 따른 변화 추이를 그래프로 나타낼 수 있다. 여기서, 뇌파 정보는 학습자의 뇌에 존재하는 신경세포의 상호 결합형태 혹은 활동에 의한 움직임이 파동의 형태로 나타난 것으로써, 학습자가 학습 영상을 학습하기 위해 사용되는 감마파와 세타파에 의한 뇌의 활성 상태를 나타낼 수 있다.According to the present invention, the trend of change according to the cognitive load of the EEG information and the stimulus recall response information for each learning section may be represented as a graph. Here, the EEG information indicates that the movement of the neuron in the learner's brain or the movement due to the activity is expressed in the form of a wave, and the active state of the brain by the gamma wave and theta wave used by the learner to learn the learning image. Can be represented.

즉, 학습자는 학습 영상을 학습하는 과정에서 학습 내용을 기억하기 위해 뇌파 중 감마파와 세타파를 집중적으로 활성화 시킴에 따라, 도 6의 그래프와 같이 학습자의 회상된 인지 부하의 변화 추이와 뇌파 정보의 변화 추이 간의 일부 구간에서의 변곡 지점이 유사하게 나타날 수 있다.That is, as the learner intensively activates gamma wave and theta wave among the EEGs in order to remember the learning contents in the process of learning the learning image, as shown in the graph of FIG. 6, the change of the recalled cognitive load and the change of EEG information. Inflection points in some intervals between transitions may appear similarly.

이는 학습 내용에 따른 뇌파의 활성화 여부 및 학습 내용에 대한 이해도를 향상시키기 위해 뇌를 자극하는 학습자의 회상된 인지 부하 간에 연관 관계에 의해 나타난 결과일 수 있다. 결국, 본 발명은 뇌파가 활성화 될 때, 학습 내용에 대한 높은 복잡도 에 따른 학습자의 회상된 인지 부하도 증가할 수 있다.This may be a result of the relationship between the activation of the EEG according to the learning content and the recalled cognitive load of the learner stimulating the brain to improve the understanding of the learning content. As a result, when the EEG is activated, the recalled cognitive load of the learner may increase according to the high complexity of the learning content.

일례로, 도 6의 그래프를 살펴보면, x축은 학습 영상의 학습 구간을 나타내고, y축은 순차적인 학습 영상의 학습 구간별 회상된 인지부하의 빈도와 구간별 뇌파의 평균값이다. 이때, 학습 영상의 학습 시작과 끝 시점인 1, 10, 19 구간을 제외하고, 학습자의 뇌파 반응과 회상된 인지부하가 유사한 변곡을 보이는 부분은 9, 13, 15, 17 구간인 것을 확인할 수 있다. 자세하게, 유사한 변곡을 보이는 학습 구간 중 학습자의 회상된 인지부하가 높게 변화한 학습 구간은 차례로 9구간(존재명제와 부정), 13구간과 15구간(양항명제의 예)이다. 반면, 유사한 변곡을 보이는 학습 구간 중 학습자의 회상된 인지부하가 낮게 변화한 학습 구간은 17구간으로 양항명제 부정의 예를 설명하는 구간이다.For example, referring to the graph of FIG. 6, the x-axis represents a learning section of a learning image, and the y-axis represents a frequency of cognitive load recalled for each learning section of a sequential learning image and an average value of brain waves for each section. In this case, except for sections 1, 10, and 19, which are the start and end points of the learning image, the sections showing similar inflections between the brain wave response of the learner and the cognitive load recalled may be 9, 13, 15, and 17 sections. . In detail, the learning intervals in which the learner's recalled cognitive load changed significantly among the learning intervals showing similar inflection were nine sections (existent and negative), 13 sections and 15 sections (example of positive term proposition). On the other hand, the learning section in which the learner's recalled cognitive load changed low among the learning sections showing similar inflections is a section for explaining the example of the positive term proposition negation.

이에, 뇌파 반응과 회상된 인지부하가 공통적으로 증가한 9구간과 13구간, 15구간에서 학습자들의 기록한 메모는 “왜 부정이 나오는 지 이해하려 했고, 예전에 부정을 통해 명제를 증명했던 기억을 되살렸다”, “예시를 통해 명제를 이해하기 위해 정신적 노력이 필요했다” 등의 마킹한 구간에 대한 설명이 기록될 수 있다. 이를 통해 본 발명은 학습자가 학습 영상에 포함된 개념 학습 시 기존에 보유한 기억과 학습한 개념을 연결 짓거나 또는 학습한 개념을 실제 사례(예시)에 적용해보는 활동을 하며 인지부하가 발생하고 이에 따른 뇌파 반응이 활성화될 수 있다.Thus, in the 9th, 13th, and 15th sections, where the EEG response and recalled cognitive loads increased in common, learners' notes recorded “an attempt to understand why negatives are occurring, and revived memories that previously proved propositions through negatives.” For example, descriptions of marked sections may be recorded, such as "a mental effort was needed to understand the proposition through examples." Through this, in the present invention, when the learner learns the concept included in the learning video, the student connects the existing memory and the learned concept or applies the learned concept to the actual case (example), and the cognitive load is generated accordingly. EEG response can be activated.

따라서, 본 발명은 학습자의 뇌파 정보에 따른 뇌의 활성 상태에 대응하여 학습자의 회상한 인지 부하에 따른 뇌파 반응이 활성화됨에 따라, 학습자가 정보처리를 수행하는 동안 작업 기억이 활성화되며, 이에 따른 목표 및 개념에 대한 설명이 이루어지는 과정에서 학습자의 인지부하가 발생함을 파악할 수 있다.Accordingly, according to the present invention, as the brain wave response according to the learner's recalled cognitive load is activated in response to the brain's active state according to the brain wave information of the learner, the work memory is activated while the learner performs the information processing, and thus the target And it can be seen that the learner's cognitive load occurs in the process of explaining the concept.

도 7은 일실시예에 따른 학습 구간별 동공 크기 정보와 자극 회상 반응 정보에 따른 인지 부하에 따른 변화 추이를 나타낸 도면이다.7 is a diagram illustrating a change in cognitive load according to pupil size information and stimulus recall response information for each learning section, according to an exemplary embodiment.

본 발명은 학습 구간별 동공 크기 정보와 생리 심리 반응 정보의 인지 부하에 따른 변화 추이를 그래프로 나타낼 수 있다. 여기서, 동공 크기 정보는 다양한 감정과 시각적 자극에 따라 나타나는 반응으로 학습자의 좌, 우 동공 크기를 측정한 결과일 수 있다.According to the present invention, a change trend according to the cognitive load of pupil size information and physiological psychological response information for each learning section may be represented as a graph. Here, the pupil size information may be a result of measuring the left and right pupil size of the learner in response to various emotions and visual stimuli.

즉, 학습자는 학습 영상을 학습하는 과정에서 학습 내용에 대한 주의, 집중 등의 무의식적 반응에 따른 동공의 크기가 확장됨에 따라 도 7의 그래프와 같이 학습자의 회상된 인지 부하의 변화 추이와 동공 크기 정보의 변화 추이의 간의 일부 구간에서의 변곡 지점이 유사하게 나타날 수 있다.That is, the learner changes the pupil's recalled cognitive load and pupil size information as shown in the graph of FIG. 7 as the pupil's size is expanded according to an unconscious response such as attention and concentration to the learning contents in the process of learning the learning image. The inflection point in some sections of the liver of the trend of change may appear similarly.

이는 학습 내용의 난이도에 따라 동공의 크기가 변화하는 특징으로써, 인지부하가 클수록 동공의 크기가 확장되며, 동공의 크기가 확장된다는 것은 학습자가 학습 영상 중 특정 기억을 활성화 시킬 때 또는 과제의 복잡도가 높을 때의 학습자의 무의식적인 인지 반응일 수 있다. 따라서, 본 발명은 학습자의 동공의 크기가 확장될 때, 이에 상응하는 인지부하가 증가한다고 할 수 있다.This is a feature that changes the pupil size according to the difficulty of the learning content. The larger the cognitive load, the larger the pupil size, and the larger pupil size means that the learner activates a specific memory in the learning image or the complexity of the task. It may be a learner's unconscious cognitive response at high. Therefore, according to the present invention, when the pupil size of the learner is expanded, the corresponding cognitive load increases.

일례로, 도 7의 그래프를 살펴보면, x축은 학습 영상의 학습 구간을 나타내고, y축은 차례로 학습 영상의 학습 구간별 회상된 인지부하의 빈도와 구간별 동공크기의 평균값이다. 이때, 학습자의 동공 크기의 변화는 학습 시작과 끝 시점인 1, 10, 19 구간을 제외하고 학습자의 동공 크기와 회상된 인지부하가 유사한 변곡을 보이는 부분은 5, 7, 11, 12, 13, 14, 15, 16구간 등에서 동공크기가 높거나 또는 낮은 방향으로 급격한 변화를 보일 때 학습자의 회상된 인지부하 역시 이와 유사한 변곡을 보였음을 알 수 있다.For example, referring to the graph of FIG. 7, the x-axis represents a learning section of the training image, and the y-axis is a mean value of the frequency of cognitive load recalled for each learning section of the learning image and the pupil size for each section. At this time, the pupil size change is similar to the inflection of the learner's pupil size and the cognitive load recalled except for the 1, 10, and 19 sections of the start and end of the learning, 5, 7, 11, 12, 13, It can be seen that the learner's recalled cognitive load also showed a similar inflection when the pupil size showed a sharp change in the high or low direction in sections 14, 15, and 16.

여기서, 학습자의 회상된 인지부하가 급격히 높아진 구간은 차례로 5구간(전칭명제, 존재명제의 개념), 7구간(전칭명제의 부정), 12와 13구간(양항명제의 개념과 예(∀,∃)), 15와 16구간(양항명제의 예(종합))과 부정이다.Here, the section in which the learner's recalled cognitive load sharply increased is divided into five sections (general propositions and the concept of existence propositions), seven sections (negative propositions), and 12 and 13 sections (concepts and examples of positive and negative propositions) (∀, ∃). ), And 15 and 16 sections (both examples of positive and negative names) and negative.

즉, 본 발명은 학습 영상을 통해 새로운 개념을 제시하는 부분에서 학습자의 회상된 인지부하가 높게 나타나고 동공크기가 변화의 정도가 낮음을 의미한다. 또한 일반 개념인 ‘양항명제’보다 이를 심화한 개념인 ‘양항명제의 부정’을 학습할 때 학습자의 회상된 인지부하가 높게 나타나거나 또는 동공크기의 변화 값이 낮게 나타났음을 알 수 있었다. 반면, 회상된 인지부하와 동공크기 변화가 유사한 변곡을 보인 구간 중 학습자의 회상된 인지부하가 급격히 낮게 변화한 구간은 차례로 11구간(학습목표), 14구간(양항명제의 예(∃,∀))이다. 이는 학습목표를 제시하거나 앞서 학습했던 내용과 유사한 사례가 제시될 때 학습자의 회상된 인지부하가 낮게 나타나며 동공크기의 변화 값이 높게 나타남을 파악할 수 있다.In other words, the present invention means that the learner's recalled cognitive load is high and the pupil size is low in the presenting new concept through the learning image. Also, when learning 'negativeness of Yanghang proposition' which is deeper than general concept 'yangyang proposition', the recalled cognitive load of learner showed high or pupil size change was low. On the other hand, among the sections where the recalled cognitive load and pupil size change showed similar inflections, the section where the recalled cognitive load rapidly changed in 11 sections (learning goals) and 14 sections (examples of positive and negative propositions (∃, ∀) )to be. This suggests that the learner's recalled cognitive load is low and the pupil size change is high when the learning goal is presented or similar cases were presented.

이에, 회상된 인지부하와 동공크기의 변화가 유사한 변곡을 보인 구간 중 회상된 인지부하가 급격히 높게 변화한 구간인 5, 7, 12, 13, 15, 16구간에서 인지부하가 발생했다고 회상한 학습자들의 추가 메모는 다음과 같다. Therefore, the learner recalled that the cognitive load occurred in the sections 5, 7, 12, 13, 15, and 16, in which the recalled cognitive load rapidly changed among the sections where the recalled cognitive load and the pupil size change were similar. Here are some additional notes.

우선 각 명제의 개념을 다룬 5, 7, 12, 16구간에서 학습자들은 “새로운 내용이 나와 정신적인 노력을 들여 학습하였다”, “새로운 문자가 나와서 긴장하였고, 더 자세히 들으려고 노력했다”와 같이 새로운 개념이 제시됨에 따라 해당 학습 내용에 따른 인지부하가 발생할 수 있다. 또한, “부정에 대한 개념이 잘 기억이 나지 않아서 정신적 노력을 기울여 들었다”, “어릴 때 배운 것과 연결시키려고 노력하였다”와 같이 과거의 기억을 떠올려 현재 학습하는 내용과 연결지으며 인지부하를 발생하였음을 파악할 수 있다.First, in sections 5, 7, 12, and 16, which dealt with the concept of each proposition, learners learned something new, such as "new content emerged and mental effort worked out", "new letters emerged, and they tried to listen in more detail." As the concept is presented, cognitive load may occur according to the learning content. In addition, “I did not remember the concept of injustice, so I tried mentally,” and “I tried to connect with what I learned when I was young”. I can figure it out.

결국, 본 발명은 동공의 크기가 확장되는 상태에 대응하여 학습자의 회상한 인지 부하가 발생함에 따라, 기 학습한 개념을 사례에 적용하고 이를 통해 심화된 개념을 이해하는 과정에서 학습자의 인지부하가 발생함을 파악할 수 있다.As a result, in the present invention, when the learner's recalled cognitive load is generated in response to the pupil's size being expanded, the learner's cognitive load is increased in the process of applying the pre-learned concept to the case and understanding the concept. It can be seen that it occurs.

도 8은 일실시예에 따른 학습 구간별 심박 변이 정보와 자극 회상 반응 정보에 따른 인지 부하에 따른 변화 추이를 나타낸 도면이다.8 is a view showing a change in accordance with the cognitive load according to the heart rate variation information and stimulus recall response information for each learning section according to an embodiment.

본 발명은 학습 구간별 심박 변이 정보와 자극 회상 반응 정보에 따른 인지 부하에 따른 변화 추이를 그래프로 나타낼 수 있다. 여기서 심박 변이 정보는 학습 영상을 학습하는 학습자의 감정의 강도에 대해 심전도 신호와 심박수와 심전도를 이용하여 측정된 심박 변이도일 수 있다.According to the present invention, a change trend according to the cognitive load according to the heart rate variation information and the stimulus recall response information for each learning interval may be represented as a graph. Here, the heart rate variability information may be heart rate variability measured using an ECG signal, a heart rate, and an electrocardiogram with respect to the intensity of the emotion of the learner learning the learning image.

이는 학습자가 학습 영상을 학습하는 과정에서 맥박 또는 심박수가 빨라짐에 따라 학습자가 긴장하거나 당황하는 등의 심리 상태에 의한 심박 간격이 변화함에 따라 도 8의 그래프와 같이 학습자의 회상된 인지 부하의 변화 추이와 심박변이 정보의 변화 추이간의 일부 구간에서의 변곡 지점이 유사하게 나타날 수 있다.This is because the change in the learner's recalled cognitive load as shown in the graph of FIG. 8 as the heartbeat interval due to the psychological state such as the learner is nervous or embarrassed as the pulse or heart rate increases as the learner learns the learning image. And inflection points in some sections between the changes in the heart rate and the heart rate variability may be similar.

일례로, 도 8의 그래프를 살펴보면, x축은 학습 영상의 학습 구간이고, y축은 차례로 학습 구간별 회상된 인지부하의 빈도와 학습 구간별 심박변이도의 평균값이다. 이때, 학습 구간별 심박 변화와 회상된 인지부하의 추이 비교에는 학습 시작과 끝 시점인 1, 10, 19구간을 제외하고, 학습자의 심박 변화와 회상된 인지부하가 유사한 변곡을 보이는 학습 구간은 7, 9, 16, 17 구간인 것을 확인할 수 있다. 모든 학습 구간은 학습자의 회상된 인지부하가 높게 변화하였다. 다시 말해, 학습 내용의 개념을 다룬 7, 9, 12, 16구간과 개념 학습 후 예시 적용을 다룬 17구간에서 학습자의 인지부하가 증가하였으며, 심박변이도 또한 증가함을 확인할 수 있다.For example, referring to the graph of FIG. 8, the x-axis is a learning interval of a learning image, and the y-axis is a mean value of frequency of cognitive load recalled for each learning interval and heart rate variability for each learning interval. At this time, the comparison of the change in heart rate and recalled cognitive load for each learning interval except for sections 1, 10, and 19, which is the beginning and end of the learning, showed that the learning interval showed similar inflection between the learner's heart rate and recalled cognitive load. , 9, 16, and 17 can be confirmed. In all learning periods, the learner's recalled cognitive load changed significantly. In other words, learners' cognitive load increased and heart rate variability also increased in 7, 9, 12, and 16 sections dealing with the concept of learning content and 17 sections dealing with the application of examples after concept learning.

이에, 학습자 내용의 개념을 다룬 구간에서 학습자가 기록한 메모는 “전칭명제라는 용어의 뜻을 이해하는데 정신적 노력을 필요로 했다”와 같이 새로 접하는 용어를 이해하기 위해 인지부하가 발생하고 심박이 증가였음을 알 수 있다. 또한 “전칭명제에 대해서는 이해가 잘 되었으나 존재명제와의 차이점을 정확히 구분해내기 위해 정신적 노력이 들었다”, “앞서 학습한 전칭명제의 부정과 구분하여 학습해야 했기 때문에 정신적 노력이 필요하였다” 등의 마킹한 구간에 대한 설명이 기록될 수 있다. 이를 통해, 본 발명은 학습자가 앞서 학습한 기억을 회상하여 새로 학습하는 내용과 연결짓는 과정에서 인지부하가 발생하였음을 확인할 수 있다. As a result, the memo recorded by the learner in the section dealing with the concept of the learner's content was a cognitive load and an increase in heart rate in order to understand the new term, such as "necessary mental effort to understand the meaning of the term proposition". It can be seen. In addition, “I understood the generic propositions, but it took a mental effort to accurately distinguish the differences from the existing propositions.” “A mental effort was required because I had to learn from the denial of the generic propositions I learned earlier.” A description of the marked section can be recorded. Through this, the present invention can recognize that the cognitive load occurred in the process of connecting the learner recalls the previously learned memory and the newly learned contents.

그러나, 전체적인 동영상 학습 구간별 변화 추이를 관찰했을 때 두 변인의 변화 추이 곡선은 상이한 패턴을 보인다. 회상된 인지부하는 구간별 변화추이의 변곡점이 많으며 변화폭이 크게 나타난 반면 학습자의 심박 변화는 원본 학습 영상과 마킹 학습 영상에서 공통적으로 각 영상이 시작하는 구간인 1구간과 10구간에서 최저점을 기록한 이후 점차 값이 상승하는 양상을 보였다.However, when the change trend of each video learning section is observed, the change trend curves of the two variables show different patterns. Recalled cognitive loads have a lot of inflection points and a wide range of changes.However, the heart rate change of the learners is recorded after the lowest point is recorded in sections 1 and 10, which are common to both the original and marking learning images. The value gradually increased.

도 9는 일실시예에 따른 인지 부하 측정 방법에 관한 흐름도이다.9 is a flowchart illustrating a cognitive load measuring method according to an exemplary embodiment.

단계(901)에서 인지 부하 측정 장치는 원본 학습 영상을 학습하는 학습자의 생리 상태 및 심리 상태에 대한 변화를 파악하기 위한 생리 심리 반응 정보를 수집할 수 있다.In operation 901, the cognitive load measuring apparatus may collect physiological psychological response information for identifying a change in the physiological state and the psychological state of the learner learning the original learning image.

단계(902)에서 인지 부하 측정 장치는 원본 학습 영상의 학습이 완료되면, 학습이 완료된 원본 학습 영상과 동일한 학습 내용을 포함하는 마킹 학습 영상을 재생할 수 있다.In operation 902, when the learning of the original learning image is completed, the cognitive load measuring apparatus may play the marking learning image including the same learning contents as the original learning image on which the learning is completed.

단계(903)에서 인지 부하 측정 장치는 마킹 학습 영상을 학습하는 학습자의 회상 자극에 대응하여 마킹 학습 영상에 마킹된 회상 자극 반응 정보를 수집할 수 있다. 자세하게, 인지 부하 측정 장치는 학습자로부터 마킹 학습 영상을 학습하는 과정에서 회상된 학습 내용이 기록할 수 있다. 그리고, 인지 부하 측정 장치는 학습자에 의해 마킹된 마커의 생성 시간을 이용하여 마킹 학습 영상의 학습 구간을 구분하고, 기록된 학습 내용에 기초하여 마킹 학습 영상에 마킹된 각 마커에 대한 회상 자극 특징을 분류할 수 있다.In operation 903, the cognitive load measuring apparatus may collect recall stimulus response information marked on the marking learning image in response to the recall stimulation of the learner learning the marking learning image. In detail, the cognitive load measuring apparatus may record the learning content recalled in the process of learning the marking learning image from the learner. In addition, the cognitive load measuring apparatus classifies the learning intervals of the marking learning image by using the generation time of the markers marked by the learner, and based on the recorded learning content, recall stimulus characteristics for each marker marked on the marking learning image. Can be classified.

단계(904)에서 인지 부하 측정 장치는 학습자의 생리 심리 반응 정보 및 회상 자극 반응 정보를 이용하여 원본 학습 영상에 대해 회상된 학습자의 인지 부하를 결정할 수 있다. 다시 말해, 인지 부하 측정 장치는 원본 학습 영상에 대한 학습자의 인지 부하에 따라 변화하는 생리 심리 반응 정보의 변화 정도를 측정할 수 있다. 이후, 인지 부하 측정 장치는 학습자의 생리 심리 반응 정보의 변화 정도와 회상 자극 반응 정보를 통해 나타난 인지부하의 변화 정도를 비교하여 원본 학습 영상에 대한 학습자의 회상된 인지 부하를 측정할 수 있다.In operation 904, the apparatus for measuring cognitive load may determine the learner's cognitive load recalled with respect to the original learning image using the learner's physiological psychological response information and the recall stimulus response information. In other words, the cognitive load measuring apparatus may measure the degree of change in physiological psychological response information that changes according to the learner's cognitive load on the original learning image. Thereafter, the cognitive load measuring apparatus may measure the learner's recalled cognitive load with respect to the original learning image by comparing the change of the learner's physiological psychological response information with the change of the cognitive load indicated through the recall stimulus response information.

본 명세서에 설명된 각종 기술들의 구현들은 디지털 전자 회로조직으로, 또는 컴퓨터 하드웨어, 펌웨어, 소프트웨어로, 또는 그들의 조합들로 구현될 수 있다. 구현들은 데이터 처리 장치, 예를 들어 프로그램가능 프로세서, 컴퓨터, 또는 다수의 컴퓨터들의 동작에 의한 처리를 위해, 또는 이 동작을 제어하기 위해, 컴퓨터 프로그램 제품, 즉 정보 캐리어, 예를 들어 기계 판독가능 저장 장치(컴퓨터 판독가능 매체)에 기록된 컴퓨터 프로그램으로서 구현될 수 있다. 상술한 컴퓨터 프로그램(들)과 같은 컴퓨터 프로그램은 컴파일된 또는 인터프리트된 언어들을 포함하는 임의의 형태의 프로그래밍 언어로 기록될 수 있고, 독립형 프로그램으로서 또는 모듈, 구성요소, 서브루틴, 또는 컴퓨팅 환경에서의 사용에 적절한 다른 유닛으로서 포함하는 임의의 형태로 전개될 수 있다. 컴퓨터 프로그램은 하나의 사이트에서 하나의 컴퓨터 또는 다수의 컴퓨터들 상에서 처리되도록 또는 다수의 사이트들에 걸쳐 분배되고 통신 네트워크에 의해 상호 연결되도록 전개될 수 있다.Implementations of the various techniques described herein may be implemented in digital electronic circuitry, or in computer hardware, firmware, software, or in combinations of them. Implementations may be implemented for processing by, or to control the operation of, a data processing device, eg, a programmable processor, a computer, or multiple computers, a computer program product, ie an information carrier, for example a machine readable storage. It may be embodied as a computer program recorded on a device (computer readable medium). Computer programs, such as the computer program (s) described above, may be written in any form of programming language, including compiled or interpreted languages, and may be written as standalone programs or in modules, components, subroutines, or computing environments. It can be deployed in any form, including as other units suitable for use. The computer program can be deployed to be processed on one computer or multiple computers at one site or distributed across multiple sites and interconnected by a communication network.

컴퓨터 프로그램의 처리에 적절한 프로세서들은 예로서, 범용 및 특수 목적 마이크로프로세서들 둘 다, 및 임의의 종류의 디지털 컴퓨터의 임의의 하나 이상의 프로세서들을 포함한다. 일반적으로, 프로세서는 판독 전용 메모리 또는 랜덤 액세스 메모리 또는 둘 다로부터 명령어들 및 데이터를 수신할 것이다. 컴퓨터의 요소들은 명령어들을 실행하는 적어도 하나의 프로세서 및 명령어들 및 데이터를 저장하는 하나 이상의 메모리 장치들을 포함할 수 있다. 일반적으로, 컴퓨터는 데이터를 저장하는 하나 이상의 대량 저장 장치들, 예를 들어 자기, 자기-광 디스크들, 또는 광 디스크들을 포함할 수 있거나, 이것들로부터 데이터를 수신하거나 이것들에 데이터를 송신하거나 또는 양쪽으로 되도록 결합될 수도 있다. 컴퓨터 프로그램 명령어들 및 데이터를 구체화하는데 적절한 정보 캐리어들은 예로서 반도체 메모리 장치들, 예를 들어, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(Magnetic Media), CD-ROM(Compact Disk Read Only Memory), DVD(Digital Video Disk)와 같은 광 기록 매체(Optical Media), 플롭티컬 디스크(Floptical Disk)와 같은 자기-광 매체(Magneto-Optical Media), 롬(ROM, Read Only Memory), 램(RAM, Random Access Memory), 플래시 메모리, EPROM(Erasable Programmable ROM), EEPROM(Electrically Erasable Programmable ROM) 등을 포함한다. 프로세서 및 메모리는 특수 목적 논리 회로조직에 의해 보충되거나, 이에 포함될 수 있다.Processors suitable for the processing of a computer program include, by way of example, both general purpose and special purpose microprocessors, and any one or more processors of any kind of digital computer. In general, a processor will receive instructions and data from a read only memory or a random access memory or both. Elements of a computer may include at least one processor that executes instructions and one or more memory devices that store instructions and data. In general, a computer may include one or more mass storage devices that store data, such as magnetic, magneto-optical disks, or optical disks, or receive data from, transmit data to, or both. It may be combined to be. Information carriers suitable for embodying computer program instructions and data include, for example, semiconductor memory devices, for example, magnetic media such as hard disks, floppy disks, and magnetic tape, compact disk read only memory. ), Optical media such as DVD (Digital Video Disk), magneto-optical media such as floppy disk, ROM (Read Only Memory), RAM , Random Access Memory, Flash Memory, Erasable Programmable ROM (EPROM), Electrically Erasable Programmable ROM (EEPROM), and the like. The processor and memory may be supplemented by or included by special purpose logic circuitry.

또한, 컴퓨터 판독가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용매체일 수 있고, 컴퓨터 저장매체 및 전송매체를 모두 포함할 수 있다.In addition, the computer readable medium may be any available medium that can be accessed by a computer, and may include both computer storage media and transmission media.

본 명세서는 다수의 특정한 구현물의 세부사항들을 포함하지만, 이들은 어떠한 발명이나 청구 가능한 것의 범위에 대해서도 제한적인 것으로서 이해되어서는 안되며, 오히려 특정한 발명의 특정한 실시형태에 특유할 수 있는 특징들에 대한 설명으로서 이해되어야 한다. 개별적인 실시형태의 문맥에서 본 명세서에 기술된 특정한 특징들은 단일 실시형태에서 조합하여 구현될 수도 있다. 반대로, 단일 실시형태의 문맥에서 기술한 다양한 특징들 역시 개별적으로 혹은 어떠한 적절한 하위 조합으로도 복수의 실시형태에서 구현 가능하다. 나아가, 특징들이 특정한 조합으로 동작하고 초기에 그와 같이 청구된 바와 같이 묘사될 수 있지만, 청구된 조합으로부터의 하나 이상의 특징들은 일부 경우에 그 조합으로부터 배제될 수 있으며, 그 청구된 조합은 하위 조합이나 하위 조합의 변형물로 변경될 수 있다.Although the specification includes numerous specific implementation details, these should not be construed as limited to any invention or the scope of the claims, but rather as a description of features that may be specific to a particular embodiment of a particular invention. It must be understood. Certain features that are described in this specification in the context of separate embodiments may be implemented in combination in a single embodiment. Conversely, various features that are described in the context of a single embodiment can also be implemented in multiple embodiments individually or in any suitable subcombination. Furthermore, while the features may operate in a particular combination and may be initially depicted as so claimed, one or more features from the claimed combination may in some cases be excluded from the combination, the claimed combination being a subcombination Or a combination of subcombinations.

마찬가지로, 특정한 순서로 도면에서 동작들을 묘사하고 있지만, 이는 바람직한 결과를 얻기 위하여 도시된 그 특정한 순서나 순차적인 순서대로 그러한 동작들을 수행하여야 한다거나 모든 도시된 동작들이 수행되어야 하는 것으로 이해되어서는 안 된다. 특정한 경우, 멀티태스킹과 병렬 프로세싱이 유리할 수 있다. 또한, 상술한 실시형태의 다양한 장치 컴포넌트의 분리는 그러한 분리를 모든 실시형태에서 요구하는 것으로 이해되어서는 안되며, 설명한 프로그램 컴포넌트와 장치들은 일반적으로 단일의 소프트웨어 제품으로 함께 통합되거나 다중 소프트웨어 제품에 패키징 될 수 있다는 점을 이해하여야 한다.Likewise, although the operations are depicted in the drawings in a specific order, it should not be understood that such operations must be performed in the specific order or sequential order shown in order to obtain desirable results or that all illustrated operations must be performed. In certain cases, multitasking and parallel processing may be advantageous. Moreover, the separation of the various device components of the above-described embodiments should not be understood as requiring such separation in all embodiments, and the described program components and devices will generally be integrated together into a single software product or packaged into multiple software products. It should be understood that it can.

한편, 본 명세서와 도면에 개시된 본 발명의 실시 예들은 이해를 돕기 위해 특정 예를 제시한 것에 지나지 않으며, 본 발명의 범위를 한정하고자 하는 것은 아니다. 여기에 개시된 실시 예들 이외에도 본 발명의 기술적 사상에 바탕을 둔 다른 변형 예들이 실시 가능하다는 것은, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 자명한 것이다.On the other hand, the embodiments of the present invention disclosed in the specification and drawings are merely presented specific examples for clarity and are not intended to limit the scope of the present invention. It is apparent to those skilled in the art that other modifications based on the technical idea of the present invention can be carried out in addition to the embodiments disclosed herein.

101: 인지 부하 측정 장치
102: 학습자
103: 뇌파 정보
104: 동공 크기 정보
105: 심박 변이 정보
101: cognitive load measuring device
102: learner
103: EEG information
104: pupil size information
105: heart rate variation information

Claims (12)

인지 부하 측정 장치에 의해 수행되는 인지 부하 측정 방법에 있어서,
상기 인지 부하 측정 방법은,
원본 학습 영상을 학습하는 학습자의 생리 상태 및 심리 상태에 대한 변화를 파악하기 위한 생리 심리 반응 정보를 수집하는 단계;
상기 원본 학습 영상의 학습이 완료되면, 학습이 완료된 원본 학습 영상과 동일한 학습 내용을 포함하는 마킹 학습 영상을 재생하는 단계;
상기 마킹 학습 영상을 학습하는 학습자의 회상 자극에 대응하여 상기 마킹 학습 영상에 마킹된 회상 자극 반응 정보를 수집하는 단계; 및
상기 학습자의 생리 심리 반응 정보 및 상기 회상 자극 반응 정보를 이용하여 상기 원본 학습 영상에 대해 회상된 학습자의 인지 부하를 결정하는 단계
를 포함하고,
상기 회상 자극 반응 정보를 수집하는 단계는,
상기 학습자로부터 마킹 학습 영상을 학습하는 과정에서 회상된 학습 내용이 기록되는 단계;
상기 학습자에 의해 마킹된 마커의 생성 시간을 이용하여 상기 마킹 학습 영상의 학습 구간을 구분하는 단계; 및
상기 기록된 학습 내용에 기초하여 마킹 학습 영상에 마킹된 각 마커에 대한 회상 자극 특징을 분류하는 단계
를 포함하는 인지 부하 측정 방법.
In the cognitive load measuring method performed by the cognitive load measuring apparatus,
The cognitive load measurement method,
Collecting physiological psychological response information for grasping a change in a physiological state and a psychological state of a learner learning the original learning image;
When the learning of the original learning image is completed, reproducing a marking learning image including the same learning contents as the learning original original learning image;
Collecting recall recall stimulus response information marked on the marking learning image in response to a recall stimulus of a learner learning the marking learning image; And
Determining the cognitive load of the learner recalled with respect to the original learning image by using the learner's physiological psychological response information and the recall stimulus response information
Including,
Collecting the recall stimulus response information,
Recording the learning contents recalled in the process of learning a marking learning image from the learner;
Classifying a learning section of the marking learning image by using a generation time of the marker marked by the learner; And
Classifying recall stimulus features for each marker marked on the marking learning image based on the recorded learning contents
Cognitive load measurement method comprising a.
제1항에 있어서,
상기 생리 심리 반응 정보를 수집하는 단계는,
상기 학습자의 뇌의 파동을 측정한 뇌파 정보, 상기 학습자의 동공 변화를 측정한 동공 크기 정보 및 상기 학습자의 심박 변이 정보를 포함하는 생리 심리 반응 정보를 수집하는 인지 부하 측정 방법.
The method of claim 1,
Collecting the physiological psychological response information,
A cognitive load measurement method of collecting physiological psychological response information including brain wave information measuring the wave of the learner brain, pupil size information measuring the pupil change of the learner and heart rate variation information of the learner.
삭제delete 제1항에 있어서,
상기 인지 부하를 결정하는 단계는,
상기 원본 학습 영상에 대한 생리 심리 반응 정보의 변화를 측정하는 단계;
상기 학습자의 생리 심리 반응 정보의 변화를 통해 추정 가능한 인지부하 및 상기 학습자의 회상 자극 반응 정보를 통해 확인한 인지부하를 비교하는 단계;
상기 비교한 결과로부터 학습 진행 과정에서의 학습자의 회상된 인지부하로 설명 가능한 학습자의 생리 심리 반응 정보의 범위 및 구간을 확인하는 단계; 및
상기 확인한 학습자의 생리 심리 반응 정보의 범위 및 구간을 기반으로 원본 학습 영상에 대해 회상된 학습자의 인지 부하를 측정하는 단계
를 포함하는 인지 부하 측정 방법.
The method of claim 1,
Determining the cognitive load,
Measuring a change in physiological psychological response information with respect to the original learning image;
Comparing the cognitive load estimated through the change of the learner's physiological psychological response information with the cognitive load identified through the learner's recall stimulus response information;
Identifying the range and section of the learner's physiological psychological response information that can be explained by the learner's recalled cognitive load in the learning process from the comparison result; And
Measuring the cognitive load of the learner recalled on the original learning image based on the range and the section of the identified physiological psychological response information of the learner
Cognitive load measurement method comprising a.
제4항에 있어서,
상기 생리 심리 반응 정보의 변화를 측정하는 단계는,
상기 학습자의 인지 부하로 나타나는 뇌의 지각 반응을 이용하여 상기 생리 심리 반응 정보 중 뇌파 정보의 변화를 측정하는 인지 부하 측정 방법.
The method of claim 4, wherein
Measuring the change in the physiological psychological response information,
A cognitive load measuring method for measuring a change in brain wave information of the physiological psychological response information using the perceptual response of the brain represented by the learner's cognitive load.
제4항에 있어서,
상기 생리 심리 반응 정보의 변화를 측정하는 단계는,
상기 학습자의 인지 부하로 나타나는 동공의 크기 변화에 따른 확장 여부를 이용하여 상기 생리 심리 반응 정보 중 동공 크기 정보의 변화를 측정하는 인지 부하 측정 방법.
The method of claim 4, wherein
Measuring the change in the physiological psychological response information,
A cognitive load measuring method for measuring a change in the pupil size information of the physiological psychological response information by using whether the expansion according to the change in the size of the pupil represented as the cognitive load of the learner.
제4항에 있어서,
상기 생리 심리 반응 정보의 변화를 측정하는 단계는,
상기 학습자의 인지 부하로 나타나는 심장 박동 주기의 간격 변화에 따른 심박동 변화율을 이용하여 상기 생리 심리 반응 정보 중 심박 변이 정보의 변화를 측정하는 인지 부하 측정 방법.
The method of claim 4, wherein
Measuring the change in the physiological psychological response information,
A cognitive load measuring method for measuring a change in the heart rate variation information of the physiological psychological response information using the heart rate change rate according to the interval change of the heart rate cycle represented by the learner's cognitive load.
제4항에 있어서,
상기 인지부하를 비교하는 단계는,
상기 생리 심리 반응 정보를 포함하는 뇌파 정보, 동공 크기 정보 및 심박 변이 정보의 변화에 따른 각각의 피크값이 나타난 원본 학습 영상의 학습 구간과 상기 인지부하의 변화에 따른 피크값이 나타난 마킹 학습 영상의 학습 구간을 비교하는 인지 부하 측정 방법.
The method of claim 4, wherein
Comparing the cognitive load,
The learning interval of the original learning image showing the peak value according to the change of the EEG information, the pupil size information, and the heart rate variation information including the physiological psychological response information and the marking learning image showing the peak value according to the change of the cognitive load. A cognitive load measurement method that compares learning intervals.
원본 학습 영상을 학습하는 학습자의 생리 상태 및 심리 상태에 대한 변화를 파악하기 위한 생리 심리 반응 정보를 수집하는 생리 심리 반응 정보 수집부;
상기 원본 학습 영상의 학습이 완료되면, 학습이 완료된 원본 학습 영상과 동일한 학습 내용을 포함하는 마킹 학습 영상을 재생하는 마킹 학습 영상 재생부;
상기 마킹 학습 영상을 학습하는 학습자의 회상 자극에 대응하여 상기 마킹 학습 영상에 마킹된 회상 자극 반응 정보를 수집하는 회상 자극 반응 정보 수집부; 및
상기 학습자의 생리 심리 반응 정보 및 상기 회상 자극 반응 정보를 이용하여 상기 원본 학습 영상에 대해 회상된 학습자의 인지 부하를 결정하는 인지 부하 결정부
를 포함하고,
상기 회상 자극 반응 정보 수집부는,
상기 학습자로부터 마킹 학습 영상을 학습하는 과정에서 회상된 학습 내용이 기록되는 학습 내용 기록부;
상기 학습자에 의해 마킹된 마커의 생성 시간을 이용하여 상기 마킹 학습 영상의 학습 구간을 구분하는 학습 구간 구분부; 및
상기 기록된 학습 내용에 기초하여 마킹 학습 영상에 마킹된 각 마커에 대한 회상 자극 특징을 분류하는 회상 자극 특징 분류부
를 포함하는 인지 부하 측정 장치.
A physiological psychological response information collection unit for collecting physiological psychological response information for grasping a change in a physiological state and a psychological state of a learner learning an original learning image;
When the learning of the original learning image is completed, the marking learning image playback unit for reproducing the marking learning image including the same learning content as the original learning image is completed learning;
A recall stimulus response information collecting unit configured to collect recall stimulus response information marked on the marking learning image in response to a recall stimulus of a learner learning the marking learning image; And
Cognitive load determination unit to determine the cognitive load of the learner recalled with respect to the original learning image by using the learner's physiological psychological response information and the recall stimulus response information
Including,
The recall stimulus response information collecting unit,
A learning contents recording unit for recording the learning contents recalled in the process of learning a marking learning image from the learner;
A learning section division unit for classifying a learning section of the marking learning image by using a generation time of the marker marked by the learner; And
A recall stimulus feature classifier for classifying recall stimulus features for each marker marked on the marked learning image based on the recorded learning content
Cognitive load measurement device comprising a.
삭제delete 제9항에 있어서,
상기 인지 부하 결정부는,
상기 원본 학습 영상에 대한 생리 심리 반응 정보의 변화를 측정하는 변화 정보 측정부; 및
상기 학습자의 생리 심리 반응 정보의 변화를 통해 추정 가능한 인지부하 및 상기 학습자의 회상 자극 반응 정보를 통해 확인한 인지부하를 비교하고, 비교한 결과로부터 학습 진행 과정에서의 학습자의 회상된 인지부하로 설명 가능한 학습자의 생리 심리 반응 정보의 범위 및 구간을 확인하며, 상기 확인한 학습자의 생리 심리 반응 정보의 범위 및 구간을 기반으로 원본 학습 영상에 대한 학습자의 회상된 인지 부하를 측정하는 인지 부하 측정부
를 포함하는 인지 부하 측정 장치.
The method of claim 9,
The cognitive load determination unit,
A change information measuring unit measuring a change in physiological psychological response information on the original learning image; And
The cognitive load that can be estimated through the change of the learner's physiological psychological response information and the cognitive load identified through the learner's recall stimulus response information are compared, and the result can be explained as the learner's recalled cognitive load in the learning process. A cognitive load measuring unit that checks the range and section of the learner's physiological psychological response information and measures the learner's recalled cognitive load on the original learning image based on the checked range and section of the learner's physiological psychological response information.
Cognitive load measurement device comprising a.
제11항에 있어서,
상기 인지 부하 측정부는,
상기 생리 심리 반응 정보를 포함하는 뇌파 정보, 동공 크기 정보 및 심박 변이 정보의 변화에 따른 각각의 피크값이 나타난 원본 학습 영상의 학습 구간과 상기 인지부하의 변화에 따른 피크값이 나타난 마킹 학습 영상의 학습 구간을 비교하여 상기 학습자의 회상된 인지 부하를 측정하는 인지 부하 측정 장치.
The method of claim 11,
The cognitive load measuring unit,
The learning interval of the original learning image showing the peak value according to the change of the EEG information, the pupil size information, and the heart rate variation information including the physiological psychological response information and the marking learning image showing the peak value according to the change of the cognitive load. A cognitive load measuring device for measuring the learner's recalled cognitive load by comparing a learning interval.
KR1020170144498A 2017-08-10 2017-11-01 Apparatus and method of cognitive load measurement for using physiological psychological reaction data and recall stimulus reaction data KR102060863B1 (en)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020170144498A KR102060863B1 (en) 2017-11-01 2017-11-01 Apparatus and method of cognitive load measurement for using physiological psychological reaction data and recall stimulus reaction data
US16/059,702 US20190051201A1 (en) 2017-08-10 2018-08-09 Learning situation determining method and apparatus for performing the method
PCT/KR2018/009091 WO2019031869A1 (en) 2017-08-10 2018-08-09 Learning situation determining method, and apparatus for performing the method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170144498A KR102060863B1 (en) 2017-11-01 2017-11-01 Apparatus and method of cognitive load measurement for using physiological psychological reaction data and recall stimulus reaction data

Publications (2)

Publication Number Publication Date
KR20190049063A KR20190049063A (en) 2019-05-09
KR102060863B1 true KR102060863B1 (en) 2019-12-30

Family

ID=66545771

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170144498A KR102060863B1 (en) 2017-08-10 2017-11-01 Apparatus and method of cognitive load measurement for using physiological psychological reaction data and recall stimulus reaction data

Country Status (1)

Country Link
KR (1) KR102060863B1 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102439690B1 (en) * 2022-01-10 2022-09-02 한국과학기술원 Method and Apparatus for Predicting a Memory Maintenance Period for a Learned Content

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110105859A1 (en) 2009-04-24 2011-05-05 Advanced Brain Monitoring, Inc. Adaptive Performance Trainer

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110105859A1 (en) 2009-04-24 2011-05-05 Advanced Brain Monitoring, Inc. Adaptive Performance Trainer

Also Published As

Publication number Publication date
KR20190049063A (en) 2019-05-09

Similar Documents

Publication Publication Date Title
Bulagang et al. A review of recent approaches for emotion classification using electrocardiography and electrodermography signals
Laganaro et al. Comparing electrophysiological correlates of word production in immediate and delayed naming through the analysis of word age of acquisition effects
Chaouachi et al. Affect and mental engagement: Towards adaptability for intelligent
KR101854812B1 (en) Psychiatric symptoms rating scale system using multiple contents and bio-signal analysis
US20150164363A1 (en) Knowledge discovery based on brainwave response to external stimulation
Alqahtani et al. Using wearable physiological sensors for affect-aware intelligent tutoring systems
Sinha et al. Dynamic assessment of learners' mental state for an improved learning experience
Liu et al. Automated classification of EEG signals for predicting students' cognitive state during learning
Ahire et al. A comprehensive review of machine learning approaches for dyslexia diagnosis
Baumgartl et al. Measuring extraversion using EEG data
Barkana et al. Analysis of working memory from EEG signals under different emotional states
Sarailoo et al. Assessment of instantaneous cognitive load imposed by educational multimedia using electroencephalography signals
KR102060863B1 (en) Apparatus and method of cognitive load measurement for using physiological psychological reaction data and recall stimulus reaction data
Aguilar-Herrera et al. Advanced Learner Assistance System's (ALAS) Recent Results
Ismail et al. Electroencephalography (EEG) physiological indices reflecting human physical performance: a systematic review using updated prisma
Murtazinaa et al. Measuring cognitive load based on EEG data in the intelligent learning systems
Christoforou et al. Single-trial FRPs: A Machine Learning Approach Towards the Study of the Neural Underpinning of Reading Disorders
Shimmura et al. Development of a versatile experimental platform for English vocabulary learning based on extended biometric information analyses
Sandhu et al. Evaluation of learning performance by quantifying user's engagement investigation through low-cost multi-modal sensors
EP3646784B1 (en) Electroencephalographic method and apparatus for measuring sensory stimulation salience
Jadhav et al. Analysis of effect of meditation on cognitive load using higher order crossing features
Gibson et al. Use of dry electrode electroencephalography (EEG) to monitor pilot workload and distraction based on P300 responses to an auditory oddball task
Sakai et al. Biological and Behavioral Information-Based Method of Predicting Listener Emotions Toward Speaker Utterances During Group Discussion
Heraz et al. Predicting Learner Answers Correctness through Brainwaves Assesment and Emotional Dimensions.
Zentall et al. Investigating Mindsets and Motivation through Eye Tracking and Other Physiological Measures

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant