KR20140046652A - Learning monitering device and method for monitering of learning - Google Patents

Learning monitering device and method for monitering of learning Download PDF

Info

Publication number
KR20140046652A
KR20140046652A KR1020120112031A KR20120112031A KR20140046652A KR 20140046652 A KR20140046652 A KR 20140046652A KR 1020120112031 A KR1020120112031 A KR 1020120112031A KR 20120112031 A KR20120112031 A KR 20120112031A KR 20140046652 A KR20140046652 A KR 20140046652A
Authority
KR
South Korea
Prior art keywords
learning
gaze
behavior
feature information
pattern
Prior art date
Application number
KR1020120112031A
Other languages
Korean (ko)
Other versions
KR101455200B1 (en
Inventor
이민호
장영민
Original Assignee
경북대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 경북대학교 산학협력단 filed Critical 경북대학교 산학협력단
Priority to KR1020120112031A priority Critical patent/KR101455200B1/en
Priority to PCT/KR2012/010025 priority patent/WO2013085193A1/en
Priority to US14/363,203 priority patent/US9489574B2/en
Publication of KR20140046652A publication Critical patent/KR20140046652A/en
Application granted granted Critical
Publication of KR101455200B1 publication Critical patent/KR101455200B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/20—Education
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Tourism & Hospitality (AREA)
  • Multimedia (AREA)
  • Economics (AREA)
  • Human Resources & Organizations (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Ophthalmology & Optometry (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • User Interface Of Digital Computer (AREA)
  • Eye Examination Apparatus (AREA)

Abstract

A learning monitoring apparatus is disclosed. The learning monitoring apparatus includes a storage unit for storing learning content, a display unit for displaying the stored learning content, an eye feature information acquisition unit for acquiring eye feature information of a user on content, an action feature information acquisition unit for acquiring action feature information of the user, and a calculation unit for calculating a learning state on the learning content by using the acquired eye feature information and action feature information. [Reference numerals] (110) Display unit; (120) Storage unit; (130) Eye feature acquisition unit; (131) Eye pattern detection unit; (132) Eye feature extraction unit; (140) Action feature acquisition unit; (141) Action pattern detection unit; (142) Action feature extraction unit; (150) Calculation unit; (160) Output unit; (170) Control unit

Description

학습 모니터링 장치 및 학습 모니터링 방법{LEARNING MONITERING DEVICE AND METHOD FOR MONITERING OF LEARNING}TECHNICAL FIELD [0001] The present invention relates to a learning monitoring apparatus and a learning monitoring method,

본 발명은 학습 모니터링 장치 및 학습 모니터링 방법에 관한 것으로, 더욱 상세하게는 학습 컨텐츠에 대한 사용자의 시선 경로 및 행동 패턴을 분석하여 사용자의 학습 상태를 분석할 수 있는 학습 모니터링 장치 및 학습 모니터링 방법에 관한 것이다. The present invention relates to a learning monitoring apparatus and a learning monitoring method, and more particularly, to a learning monitoring apparatus and a learning monitoring method capable of analyzing a learning state of a user by analyzing a user's line of sight and a behavior pattern of learning contents will be.

국내 사회의 사교육 시장의 성장으로 사회문제로 대두되고 있는데, 지속적인 사교육 시장의 성장을 억제하기 위한, 사교육을 대체할 새로운 학습 도구 개발이 필요로되고 있는 시점이다. The growth of the private education market in the domestic society is emerging as a social problem. It is time to develop new learning tools to replace the private tutoring in order to curb the growth of the private education market.

이에 따라서, 최근에는 컴퓨터 기반의 다양한 학습 도구가 개발되고 있다. 그러나 종래의 학습 도구들은 사용자의 학습 결과물에만 기초하여 컨텐츠를 제공하였을 뿐, 학습 과정에서의 사용자의 집중도, 학습 능력을 파악하지 못하였다. Accordingly, in recent years, various computer-based learning tools have been developed. However, the conventional learning tools only provide contents based on the learning result of the user, and fail to grasp the user's concentration and learning ability in the learning process.

따라서, 학습 과정에서의 사용자의 집중도, 관심도, 학습 능력 등에 따라 사용자에 맞는 학습 컨텐츠를 제공할 수 있는 학습 도구 개발이 요구되었다. Therefore, it has been required to develop a learning tool that can provide learning contents suitable for the user according to the user's concentration, interest, and learning ability in the learning process.

따라서, 본 발명의 목적은 학습 컨텐츠에 대한 사용자의 시선 경로 및 행동 패턴을 분석하여 사용자의 학습 상태를 분석할 수 있는 학습 모니터링 장치 및 학습 모니터링 방법을 제공하는 데 있다. Accordingly, an object of the present invention is to provide a learning monitoring apparatus and a learning monitoring method capable of analyzing a learning state of a user by analyzing a user's line of sight and a behavior pattern of learning contents.

이상과 같은 목적을 달성하기 위한 본 발명에 의한 학습 모니터링 장치는, 학습 컨텐츠를 저장하는 저장부, 상기 저장된 학습 컨텐츠를 표시하는 표시부. 상기 컨텐츠에 대한 사용자의 시선 특징 정보를 취득하는 시선 특징 정보 취득부, 상기 컨텐츠를 학습하는 사용자의 행동 특징 정보를 취득하는 행동 특징 정보 취득부, 상기 취득된 시선 특징 정보와 행동 특징 정보를 이용하여 상기 학습 컨텐츠에 대한 학습 상태를 산출하는 산출부를 포함한다.According to another aspect of the present invention, there is provided a learning monitoring apparatus including a storage unit for storing learning contents, and a display unit for displaying the stored learning contents. A visual feature information acquiring unit that acquires visual feature information of a user with respect to the content, an action feature information acquiring unit that acquires behavior feature information of a user who learns the content, And a calculating unit for calculating a learning state of the learning contents.

이 경우, 상기 행동 특징 정보 취득부는, 상기 컨텐츠을 학습하는 상기 사용자의 행동 패턴을 검출하는 행동 패턴 검출부 및 상기 검출된 행동 패턴에서 상기 행동 특징 정보를 추출하는 행동 특징 정보 추출부를 포함할 수 있다.In this case, the behavior feature information obtaining unit may include a behavior pattern detecting unit that detects a behavior pattern of the user that learns the content, and an behavior feature information extracting unit that extracts the behavior feature information from the detected behavior pattern.

한편, 상기 행동 특징 정보는, 신체 각 부위의 행동 경로, 행동 속도 및 행동 반경 중 적어도 하나인 정보일 수 있다.On the other hand, the behavior feature information may be at least one of a behavior path, an action speed, and a behavior radius of each part of the body.

한편, 상기 시선 특징 정보 취득부는, 상기 컨텐츠에 대한 상기 사용자의 시선 패턴를 검출하는 시선 패턴 검출부 및 상기 검출된 시선 패턴에서 상기 시선 특징 정보를 추출하는 시선 특징 정보 추출부를 포함할 수 있다.The gaze feature information obtaining unit may include a gaze pattern detecting unit for detecting the user's gaze pattern for the content and a gaze feature information extracting unit for extracting the gaze feature information from the detected gaze pattern.

한편, 상기 시선 특징 정보는, 사용자의 동공 변화, 눈 깜빡임, 시선 응시점, 시선 응시점의 경로, 학습 컨텐츠의 특정 영역에서의 시선이 머무는 시간, 상기 특정 영역 안에서 시선이 머무는 횟수 중 적어도 하나의 정보일 수 있다.On the other hand, the gaze feature information may include at least one of a pupil change of a user, a blink of an eye, a gaze point of gaze, a path of a gaze point, a time of staying in a specific area of learning contents, Information.

한편, 상기 산출부는, 상기 컨텐츠에 대한 기정의된 시선 패턴 및 행동 패턴과 상기 추출된 시선 특징 정보 및 행동 특징 정보에 대한 상관 관계를 분석하는 다중 정보 융합 분석을 통하여, 상기 컨텐츠에 대한 학습 상태를 산출할 수 있다.Meanwhile, the calculating unit may calculate a learning state of the content through a multi-information fusion analysis for analyzing a correlation between the predetermined line-of-sight pattern and behavior pattern for the content and the extracted line-of-sight feature information and behavior feature information Can be calculated.

한편, 본 실시 예에 따른, 학습 모니터링 방법은, 기 저장된 학습 컨텐츠를 표시하는 단계, 상기 컨텐츠에 대한 사용자의 시선 특징 정보를 취득하는 단계, 상기 컨텐츠를 학습하는 사용자의 행동 특징 정보를 취득하는 단계 및 상기 취득된 시선 특징 정보와 행동 특징 정보를 이용하여 상기 학습 컨텐츠에 대한 학습 상태를 산출하는 단계를 포함한다.On the other hand, the learning monitoring method according to the present embodiment includes the steps of displaying pre-stored learning contents, acquiring the user's visual characteristic information on the content, acquiring behavior feature information of the user learning the content And calculating a learning state of the learning contents using the acquired visual feature information and behavior feature information.

이 경우, 상기 행동 특징 정보 취득하는 단계는, 상기 컨텐츠를 학습하는 상기 사용자의 행동 패턴을 검출하는 단계 및 상기 검출된 행동 패턴에서 상기 행동 특징 정보를 추출하는 단계를 포함할 수 있다.In this case, the step of acquiring behavior feature information may include a step of detecting a behavior pattern of the user who learns the content, and a step of extracting the behavior feature information from the detected behavior pattern.

한편, 상기 행동 특징 정보는, 신체 각 부위의 행동 경로, 행동 속도 및 행동 반경 중 적어도 하나인 정보일 수 있다.On the other hand, the behavior feature information may be at least one of a behavior path, an action speed, and a behavior radius of each part of the body.

한편, 상기 시선 특징 정보 취득하는 단계는, 상기 컨텐츠에 대한 상기 사용자의 시선 패턴을 검출하는 단계 및 상기 검출된 시선 패턴에서 상기 시선 특징 정보를 추출하는 단계를 포함할 수 있다.Meanwhile, the step of acquiring gaze feature information may include the step of detecting the user's gaze pattern for the content and extracting the gaze feature information from the detected gaze pattern.

한편, 상기 시선 특징 정보는, 사용자의 동공 변화, 눈 깜빡임, 시선 응시점, 시선 응시점의 경로, 학습 컨텐츠의 특정 영역에서의 시선이 머무는 시간, 상기 특정 영역 안에서 시선이 머무는 횟수 중 적어도 하나의 정보일 수 있다.On the other hand, the gaze feature information may include at least one of a pupil change of a user, a blink of an eye, a gaze point of gaze, a path of a gaze point, a time of staying in a specific area of learning contents, Information.

한편, 상기 산출하는 단계는, 상기 컨텐츠에 대한 기정의된 시선 패턴 및 행동 패턴과 상기 추출된 시선 특징 정보 및 행동 특징 정보에 대한 상관 관계를 분석하는 다중 정보 융합 분석을 통하여, 상기 컨텐츠에 대한 학습 상태를 산출할 수 있다.Meanwhile, the calculating may include: a multi-information fusion analysis for analyzing a correlation between the predetermined line of sight pattern and behavior pattern for the content and the extracted line-of-sight feature information and behavior feature information; The state can be calculated.

본 발명은 이러한 사교육을 대처할 수 있는 지능형 학습도구로써, 사용자의 학습 능력을 분석하고, 개인별 학습 지표에 따라서 사용자에게 맞춤형 학습 컨텐츠를 제공할 수 있어 학업 상태를 최대화할 수 있게 된다. The present invention is an intelligent learning tool capable of coping with such private tutoring, and it is possible to analyze the learning ability of a user and to provide customized learning contents to a user according to an individual learning index, thereby maximizing an academic status.

또한, 본 발명은 태블릿(Tablet) 컴퓨터, 모바일 폰 등 어디에나 탈/부착이 가능한 장치로 구현이 가능하고, 사용자 신체에 장치를 부착할 필요가 없으므로 무(無)구속 상태에서 사용자의 학업 상태(또는 학업 집중도)를 모니터링할 수 있게 된다.Further, since the present invention can be implemented as an apparatus capable of attaching / detaching to / from a tablet computer, a mobile phone, or the like, and it is not necessary to attach a device to a user's body, School concentration).

도 1은 본 발명의 일 실시 예에 따른 학습 모니터링 장치의 구성을 나타내는 블럭도,
도 2는 본 발명의 일 실시 예에 따른 시선 특징 취득부의 동작을 설명하기 위한 도면,
도 3은 본 발명의 일 실시 예에 따른 행동 특징 취득부의 동작을 설명하기 위한 도면,
도 4는 본 발명의 일 실시 예에 따른 산출부의 동작을 설명하기 위한 도면,
도 5는 본 발명의 일 실시 예에 따른 학습 모니터링 장치의 동작을 설명하기 위한 도면, 그리고
도 6은 본 실시 예에 따른 학습 모니터링 방법의 동작을 설명하기 위한 흐름도이다.1 is a block diagram showing a configuration of a learning monitoring apparatus according to an embodiment of the present invention;
FIG. 2 is a diagram for explaining the operation of the line-of-sight characteristic acquiring unit according to an embodiment of the present invention;
3 is a diagram for explaining an action of a behavior characteristic acquiring unit according to an embodiment of the present invention,
4 is a view for explaining the operation of the calculating unit according to the embodiment of the present invention,
5 is a diagram for explaining the operation of the learning monitoring apparatus according to an embodiment of the present invention, and FIG.
6 is a flowchart for explaining the operation of the learning monitoring method according to the present embodiment.

이하 첨부된 도면들을 참조하여 본 발명에 대하여 보다 상세하게 설명한다. DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS The present invention will now be described in detail with reference to the accompanying drawings.

도 1은 본 발명의 일 실시 예에 따른 학습 모니터링 장치의 구성을 나타내는 블록도이다. 1 is a block diagram showing a configuration of a learning monitoring apparatus according to an embodiment of the present invention.

도 1을 참고하면, 본 발명의 일 실시 예에 따른 학습 모니터링 장치(100)는 표시부(110), 저장부(120), 시선 특징 취득부(130), 행동 특징 취득부(140), 산출부(150), 출력부(160) 및 제어부(170)를 포함한다.1, a learning monitoring apparatus 100 according to an exemplary embodiment of the present invention includes a display unit 110, a storage unit 120, a visual feature acquisition unit 130, a behavior feature acquisition unit 140, A display unit 150, an output unit 160, and a control unit 170.

표시부(110)는 학습 모니터링 장치(100)에서 제공되는 각종 정보를 표시할 수 있다. 구체적으로, 표시부(110)는 저장부(120)에 학습 컨텐츠를 사용자에게 표시할 수 있다. 이러한 표시부(110)는 CRT, LCD 등과 같은 디스플레이 장치로 구현할 수 있다. 한편, 본 실시 예에서는 학습 모니터링 장치(100)가 직접 학습 컨텐츠를 표시하는 것으로 설명하였으나, 이러한 학습 컨텐츠는 외부 기기에서 표시될 수도 있다. The display unit 110 may display various kinds of information provided by the learning monitoring apparatus 100. Specifically, the display unit 110 can display the learning contents to the user in the storage unit 120. [ The display unit 110 may be implemented as a display device such as a CRT or an LCD. On the other hand, in the present embodiment, the learning monitoring apparatus 100 has been described as displaying the learning contents directly, but such learning contents can also be displayed on an external device.

그리고, 표시부(110)는 산출된 학습 상태에 기초하여, 추가적인 학습 컨텐츠를 사용자에게 표시할 수 있다. 예를 들어, 산출된 학습 상태가 취약인 경우, 이전 학습 컨텐츠를 재표시할 수 있다. 또한, 산출된 학습 상태가 단어 이해 부족인 경우에는, 표시된 학습 컨텐츠와 관련된 단어장과 같은 추가 학습 컨텐츠를 사용자에게 표시할 수 있다. Then, the display unit 110 can display additional learning contents to the user based on the calculated learning state. For example, if the calculated learning state is weak, the previous learning contents can be redisplayed. Further, when the calculated learning state is insufficient for the word, additional learning contents such as a wordbook related to the displayed learning contents can be displayed to the user.

저장부(120)는 복수의 학습 컨텐츠를 저장한다. 여기서 학습 컨텐츠는 영어, 국어, 중국어, 일본어 등의 어학과 관련된 컨텐츠일 수 있다. 구체적으로, 이미지 컨텐츠일 수 있으며, 음원 컨텐츠일 수 있으며, 이미지와 음원이 결합한 동영상 컨텐츠일 수도 있다. 그리고 저장부(120)는 후술할 시선 패턴 검출부 및 행동 패턴 검출부(131, 141)에서 검출된 사용자의 시선 패턴 및 행동 패턴에 대한 정보를 저장하거나, 후술할 시선 특징 추출부 및 행동 특징 추출부(132, 142)에서 추출된 시선 특징 정보 및 행동 특징 정보를 저장할 수 있다. The storage unit 120 stores a plurality of learning contents. Here, the learning contents may be contents related to languages such as English, Korean, Chinese, and Japanese. Specifically, it may be image content, sound source content, or video content in which an image and a sound source are combined. The storage unit 120 stores information on the user's gaze patterns and behavior patterns detected by the gaze pattern detecting unit and behavior pattern detecting units 131 and 141 to be described later and also includes a gaze feature extracting unit and a behavior feature extracting unit 132, and 142, and the behavior feature information.

또한, 저장부(120)는 산출부(150)에서 다중 정보 융합 분석시 사용되는 기정의된 시선 패턴 및 행동 패턴을 저장할 수 있다. Also, the storage unit 120 may store the predetermined line pattern and the behavior pattern used in the multi-information fusion analysis in the calculation unit 150. [

그리고 저장부(120)는 학습 모니터링 장치(100) 내부에 장착된 메모리, 예를 들면 ROM, 플래시 메모리나 HDD일 수 있으며, 학습 모니터링 장치(100)와 연결된 외장형 HDD 또는 메모리 카드, 예를 들면, 플래시 메모리(Flash Memory: M/S, xD, SD 등)나 USB 메모리 등일 수도 있다. The storage unit 120 may be a memory mounted in the learning monitoring apparatus 100, for example, a ROM, a flash memory, or an HDD, and may be an external HDD or a memory card connected to the learning monitoring apparatus 100, It may be a flash memory (M / S, xD, SD, etc.) or a USB memory.

시선 특징 취득부(130)는 컨텐츠에 대한 사용자의 시선 특징 정보를 취득한다. 시선 특징 취득부(130)는 시선 패턴 검출부(131)와 시선 특징 추출부(132)를 포함할 수 있다.  The visual line feature acquiring unit 130 acquires the user's visual line feature information on the content. The line-of-sight characteristic obtaining unit 130 may include a line-of-sight pattern detecting unit 131 and a line-of-sight characteristic extracting unit 132.

시선 패턴 검출부(131)는 학습 컨텐츠에 대한 사용자의 시선 패턴를 검출한다. 구체적으로, 시선 패턴 검출부(131)는 촬상 장치(또는 촬영장치)를 이용하여 사용자의 눈을 촬상하고, 촬상된 이미지상에서 사용자의 동공을 검출하고, 검출된 사용자의 동공 위치에 기초하여 사용자의 시선을 검출하고, 이러한 시선 검출 동작을 연속적으로 수행하여 사용자의 시선 패턴(또는 시선 이동, 안구 운동, 시선 경로)를 검출할 수 있다. 검출된 시선 패턴는 저장부(120)에 저장될 수 있다. 한편, 검출된 시선 패턴에는 사용자의 동공 변화, 눈 깜박임, 시선 응시점에 대한 정보도 포함된다. 한편, 본 실시 예에서는 표시부(110)와 시선 패턴 검출부(131)가 별도의 구성인 것으로 설명하였으나, 구현시에는 아이트래킹 장치를 이용하여 하나의 구성으로 구현할 수도 있다. The line-of-sight pattern detecting section 131 detects the user's line-of-sight pattern for the learning contents. Specifically, the line-of-sight pattern detecting section 131 picks up a user's eye using an image pickup device (or photographing apparatus), detects a user's pupil on the picked-up image, And the user's gaze pattern (or gaze movement, eye movement, gaze path) can be detected by continuously performing the gaze detection operation. The detected line-of-sight pattern may be stored in the storage unit 120. On the other hand, the detected line pattern includes information on the user's pupil change, eye flicker, and gaze point. Meanwhile, although the display unit 110 and the line-of-sight pattern detecting unit 131 are described as separate components in the present embodiment, the present invention may be implemented in a single configuration using an eye tracking apparatus.

시선 특징 추출부(132)는 검출된 사용자의 시선 패턴에서 시선 특징 정보를 추출한다. 구체적으로, 시선 특징 추출부(132)는 시선 패턴 검출부(131)에서 검출된 사용자의 시선 패턴에서, '최초 고정 시간(time to first fixation)', '고정 길이(fixation length)', '고정 횟수(fixation count)', '관찰 길이(observation length)', '관찰 횟수(observation count)', '고정 비포(fixation before)', '참여율(Paricipant %)', '동공의 크기(Pupil size)', '동공의 기울기 변화(Pupil gradient)'와 같은 시선 특징 정보를 추출할 수 있다. The gaze feature extraction unit 132 extracts gaze feature information from the gaze pattern of the detected user. Specifically, the line-of-sight feature extraction unit 132 extracts, from the line-of-sight pattern detected by the line-of-sight pattern detection unit 131, the 'first time fixation time', the 'fixation length' , 'fixation count', 'observation length', 'observation count', 'fixation before', 'participation rate', 'pupil size' , 'Pupil gradient', and the like can be extracted.

여기서 '최초 고정 시간(time to first fixation)'은 자극(시각적 이미지)을 제공받은 이후에 사용자의 시선이 고정될 때까지의 시간, 즉, 사용자 시선의 첫 번째로 고정될 때까지의 시간이고, '고정 길이(fixation length)'은 학습 컨텐츠의 특정 영역(Areas of interest, AOI)에서 사용자의 시선이 머무는 시간이며, '고정 횟수(fixation count)'는 학습 컨텐츠의 특정 영역(Areas of interest, AOI)에서 사용자의 시선이 머무는 횟수이며, '관찰 길이(observation length)'는 특정 영역(AOI)에서 사용자의 시선이 머무는 총 시간이고, '관찰 횟수(observation count)'는 특정 영역(AOI)에 사용자의 시선이 다시 머무는 횟수이고, '고정 비포(fixation before)'는 특정 영역(AOI) 안에서 첫 번째로 시선이 머무르기 전까지 시선이 정지한 횟수이고, '참여율(Paricipant %)'은 특정 영역(AOI) 내에 적어도 한번 시선이 머물렀던 사용자들의 퍼선테지, 즉, 특정 영역(AOI)에 대한 사용자들의 시선 고정 빈도이다. '동공의 크기(Pupil size)'는 단위 시간당 측정된 동공의 크기이고, '동공의 기울기 변화(Pupil gradient)'는 단위 시간당 측정된 동공의 기울기 변화량이다. 이러한 시선 특징 정보 각각을 사용자의 시선 패턴에서 추출하는 방법은 널리 알려져 있는바, 각각의 시선 특징 정보를 추출하는 구체적인 방법에 대한 설명은 생략한다. Here, the 'time to first fixation' is a time until the user's gaze is fixed after the stimulus (visual image) is provided, that is, the time until the first fixed point of the user's gaze is fixed, The fixation length is a time at which the user's gaze stays in a certain area of the learning contents (AOI), and the fixation count is a specific area of the learning contents (AOI The observation length is the total time that the user's gaze stays in the specific area AOI and the observation count is the number of times the user AOI is in the specific area AOI, (AOI) is the number of times the gaze is stopped before the first gaze remains within the specific area (AOI), and the 'participation rate (%)' At least once in the eye (AOI), which is the frequency of users' gaze fixation. 'Pupil size' is the size of the pupil measured per unit time, and 'Pupil gradient' is the pupil slope change per unit time. A method of extracting each of the line-of-sight feature information from the line-of-sight pattern of the user is well-known, and a detailed description of the method of extracting each line-of-sight feature information is omitted.

행동 특징 취득부(140)는 학습하는 사용자의 행동 특징 정보를 취득한다. 행동 특징 취득부(140)는 행동 패턴 검출부(141)와 행동 특징 추출부(142)를 포함할 수 있다.The behavior feature acquisition unit 140 acquires behavior feature information of a user to be learned. The behavior feature acquisition unit 140 may include a behavior pattern detection unit 141 and a behavior feature extraction unit 142.

행동 패턴 검출부(141)는 학습 컨텐츠를 학습하는 사용자의 행동 패턴을 검출한다. 구체적으로, 행동 패턴 검출부(141)는 키넥트(Kinect) 장비를 이용하여 사용자의 스켈레톤 정보(각 관절의 좌표)를 검출하여, 이러한 스켈레톤 정보 검출 동작을 연속적으로 수행하여 행동 패턴(각 관절의 움직임 경로, 각 관절의 움직임 속도)을 검출할 수 있다. 한편, 검출된 행동 패턴은 저장부(120)에 저장될 수 있다. The behavior pattern detection unit 141 detects a behavior pattern of a user who learns learning contents. Specifically, the behavior pattern detecting unit 141 detects skeleton information (coordinate of each joint) of the user by using a Kinect apparatus, and continuously performs such a skeleton information detecting operation to detect a behavior pattern (motion of each joint Path, movement speed of each joint) can be detected. Meanwhile, the detected behavior pattern may be stored in the storage unit 120.

여기서 키넥트 장비는 뎁스(Depth) 카메라와 RGB 카메라로 구성될 수 있다. 뎁스 카메라는 적외선(IR) 프로젝터와 적외선 CMOS 카메라로 구성될 수 있다. 뎁스 카메라의 적외선 프로젝터는 적외선을 방출시키고, 방출된 적외선이 물체에 반사되어, 적외선 CMOS 카메라로 검출할 수 있다. 따라서, 키넥트 장비는 대상 물체의 깊이 정보를 산출할 수 있다. 한편, RGB카메라는 2차원의 물체 이미지를 촬영할 수 있고, 또한, 인체의 각 관절을 인식할 수 있다. 키넥트 장비는 물체의 깊이 정보와 물체의 2차원 정보를 기초로 물체의 3차원 정보를 검출할 수 있게 된다.Here, the Kinect equipment can be composed of a depth camera and an RGB camera. The depth camera can be composed of an infrared (IR) projector and an infrared CMOS camera. An infrared projector of a depth camera emits infrared rays, and the emitted infrared rays are reflected by an object and can be detected by an infrared CMOS camera. Therefore, the Kinect equipment can calculate the depth information of the object. On the other hand, the RGB camera can capture a two-dimensional object image and can recognize each joint of the human body. The Kinect equipment can detect three-dimensional information of an object based on depth information of the object and two-dimensional information of the object.

행동 특징 추출부(142)는 검출된 사용자의 행동 패턴에서 행동 특징 정보를 추출한다. 구체적으로, 행동 특징 추출부(142)는 행동 패턴 검출부(141)에서 검출된 사용자의 행동 패턴에서, 신체의 각 관절의 행동 경로, 행동 속도, 행동 반경과 같은 행동 특징 정보를 추출할 수 있다. 이러한 행동 특징 정보 각각을 사용자의 행동 패턴에서 추출하는 방법은 널리 알려져 있는바, 각각의 행동 패턴 정보를 추출하는 구체적인 방법에 대한 설명은 생략한다.The behavior feature extraction unit 142 extracts behavior feature information from the detected behavior pattern of the user. Specifically, the behavior feature extraction unit 142 can extract behavior feature information such as a behavior path, an action speed, and a behavior radius of each joint of the body in the behavior pattern of the user detected by the behavior pattern detection unit 141. [ A method of extracting each of the behavior feature information from a behavior pattern of a user is widely known, and a detailed description of a specific method of extracting each behavior pattern information is omitted.

산출부(150)는 추출된 시선 특징 정보와 행동 특징 정보를 이용하여 학습 컨텐츠에 대한 학습 상태를 산출한다. 구체적으로, 시선 특징 취득부(130) 및 행동 특징 취득부(140)에서 추출된 시선 특징 정보와 행동 특징 정보를 이용하여 학습 상태(또는 학습 태도, 학습 집중도)를 판단할 수 있다.The calculating unit 150 calculates the learning state of the learning contents using the extracted visual feature information and behavior feature information. Specifically, the learning state (or learning attitude, learning concentration) can be determined using the line-of-sight feature information and behavior feature information extracted by the line-of-sight feature acquisition unit 130 and the behavior feature acquisition unit 140. [

일 예로, 학습의 집중 상태의 경우에는, 학습 컨텐츠의 진행과 동일한 방향으로 시선이 이동한다는 점에서, 일반 상태보다 학습 컨텐츠의 특정 영역(Areas of interest, AOI)에서의 시선이 머무는 시간이 길며, 동일한 특정 영역에서의 시선이 머무는 횟수가 높고, 눈 깜박임 횟수는 적다. 그리고, 동공의 크기는 일반 상태일 때보다 증가하게 된다. 또한, 사용자의 머리, 손 및 발의 행동(또는 움직임) 반경이 크지 않고, 행동 속도도 빠르지 않다는 특징이 있다.For example, in the case of the concentrated state of learning, since the line of sight moves in the same direction as the progress of the learning contents, the time of staying in the area of interest of the learning contents (AOI) The number of times the eyes stay in the same specific area is high, and the number of eye blinks is small. The size of the pupil increases as compared to the normal state. In addition, there is a feature that the behavior (or motion) radius of the user's head, hands, and feet is not large and the behavior speed is not fast.

반면, 학습의 비 집중 상태의 경우, 학습 컨텐츠의 진행과 무관하게 시선이 이동한다는 점에서, 일반 상태보다 학습 컨텐츠의 특정 영역(Areas of interest, AOI)에서의 시선이 머무는 시간이 짧으며, 동일한 특정 영역에서의 시선이 머무는 횟수가 작다. 그리고, 동공의 크기는 일반 상태 일 때보다 작거나, 동일한 크기를 갖는다. 또한, 사용자의 머리, 손 및 발의 행동 반경이 크고, 행동 속도 또한 빠르다는 특징이 있다. 한편, 움직임이 거의 검출되지 않는 경우에도 학습의 비 집중 상태로 판단될 수 있다.On the other hand, in the non-centralized state of learning, the gaze in the area of interest (AOI) of the learning contents is shorter than the general state in that the gaze moves regardless of the progress of the learning contents, The number of times the eyes stay in a specific area is small. The size of the pupil is smaller than or equal to that of the normal state. In addition, there is a feature that the action radius of the user's head, hands and feet is large and the behavior speed is also fast. On the other hand, even when motion is hardly detected, it can be determined that the learning is in a non-concentrated state.

한편, 산출부(150)는 컨텐츠에 대한 기정의된 시선 패턴 및 행동 패턴과 추출된 시선 특징 정보 및 행동 특징 정보에 대한 상관 관계를 분석하는 다중 정보 융합 분석을 통하여, 컨텐츠에 대한 학습 상태를 산출할 수 있다.On the other hand, the calculating unit 150 calculates the learning state of the content through the multi-information fusion analysis, which analyzes the correlation between the predefined line of sight pattern and behavior pattern of the content, the extracted line feature information, and the behavior feature information can do.

여기서, 기정의된 시선 패턴 및 행동 패턴은 심리학적, 생리학적 참고 문헌 및 실험 데이터를 기반으로 사용자의 학업 성취도와 관련된 특징 지표를 반영하고 있다. Here, the predefined gaze patterns and behavior patterns reflect feature indicators related to the user's academic achievement based on psychological, physiological reference and experimental data.

구체적으로, 산출부(150)는 기정의된 시선 패턴 및 행동 패턴과 검출된 시선 특징 정보 및 행동 특징 정보를 매칭시켜서, 사용자가 어떤 학습 상태에 있는지 판단 할 수 있다.Specifically, the calculating unit 150 can determine which learning state the user is in by matching the predetermined gaze pattern and behavior pattern with the detected gaze feature information and behavior feature information.

여기서 기정의된 시선 패턴은 읽기 능력과 관련되어 정의된 패턴이다. 예를 들어, 사람이 문장을 읽을 때에는 단어 단위 또는 몇 개의 단어 단위로 끊어 읽기(청크)를 수행한다. 따라서, 산출부(150)는 현재 검출된 사용자의 시선 패턴이 능숙한 사용자의 읽기 시선 패턴와 유사한지, 보통 사용자의 읽기 시선 패턴와 유사한지, 부족한 사용자의 읽기 시선 패턴와 유사한지를 비교할 수 있다. 이때, 능숙한 사용자의 읽기 시선 패턴, 보통 사용자의 읽기 시선 패턴, 부족한 사용자의 읽기 시선 패턴은 기정의된 시선 패턴으로 저장부(120)에 저장될 수 있다. Here, the predefined line of sight is a pattern defined in relation to reading ability. For example, when a person reads a sentence, he or she reads the sentence (chunk) by word unit or several words. Accordingly, the calculating unit 150 can compare whether the currently detected user's line of sight pattern is similar to a read line-of-sight pattern of a skilled user, similar to a read line pattern of a normal user, or similar to a read line pattern of a user. At this time, a reading line pattern of a skilled user, a reading line pattern of a normal user, and a reading line pattern of an insufficient user can be stored in the storage unit 120 in a predetermined line-of-sight pattern.

그리고, 기정의된 행동 패턴은 학습 상태와 관련되어 정의된 패턴이다. 예를 들어, 머리의 움직임과 팔의 움직임을 종합하여 필기 행동 패턴, 청취 행동 패턴 및 졸음 행동 패턴 등의 행동 패턴을 정의할 수 있다. 이러한 학습 상태와 관련된 패턴은 저장부(120)에 저장될 수 있다.And, the default behavior pattern is a pattern defined in relation to the learning state. For example, behavior patterns such as handwriting behavior patterns, listening behavior patterns, and drowsiness behavior patterns can be defined by combining head movement and arm movement. The pattern associated with this learning state may be stored in the storage unit 120. [

한편, 본 실시 예에서는 학습 상태로, 학습 태도 및 학습 능력만을 산출하는 것을 설명하였지만, 구현시에는 학습 태도, 학습 능력 이외에 것도 시선 특징 정보 및 행동 특징 정보에서 알 수 있는 경우에는 적용 가능하다. 일 예로는, 업무 태도, 업무 능력 및 업무 집중도 등을 산출하는데에 사용될 수도 있다.On the other hand, in the present embodiment, only the learning attitude and the learning ability are calculated in the learning state. However, the present invention is applicable to the case where the visual attitude and learning ability other than the learning attitude and learning ability can be known from the visual feature information and behavior feature information. For example, it can be used to calculate the attitude of work, work ability and work concentration.

출력부(160)는 산출된 학습 상태를 표시할 수 있다. 구체적으로, 출력부(160)는 산출부(150)에서 산출된 학습 상태를 도 5에 도시된 바와 같은 형태로 표시할 수 있다. The output unit 160 can display the calculated learning state. Specifically, the output unit 160 can display the learning state calculated by the calculation unit 150 in the form as shown in FIG.

제어부(170)는 학습 모니터링 장치(100)의 각 구성을 제어한다. 구체적으로, 학습 컨텐츠 개시 명령이 입력되면, 제어부(170)는 저장부(120)에 기저장된 학습 컨텐츠가 표시되도록 표시부(110)를 제어할 수 있다. 그리고 제어부(170)는 표시된 학습 컨텐츠상의 사용자의 시선 패턴이 검출되도록 시선 패턴 검출부(131)를 제어하고, 검출된 시선 패턴로부터 시선 특징 정보가 추출되도록 시선 특징 정보 추출부(132)를 제어할 수 있다. 한편, 제어부(170)는 행동 특징 정보 추출의 전 과정도 시선 특징 정보 추출과 동일한 방식으로 추출되도록 제어할 수 있다.The control unit 170 controls each configuration of the learning monitoring apparatus 100. Specifically, when a learning content start command is input, the control unit 170 may control the display unit 110 to display the learning contents previously stored in the storage unit 120. [ The control unit 170 controls the visual-line pattern detecting unit 131 to detect the user's visual-line pattern on the displayed learning content, and controls the visual-feature-information extracting unit 132 so that visual characteristic information is extracted from the detected visual- have. Meanwhile, the control unit 170 may control the entire process of the behavior feature information extraction to be extracted in the same manner as the extraction of the visual feature information.

그리고 제어부(170)는 추출된 시선 특징 정보 및 행동 특징 정보로부터 학습 컨텐츠에 대한 학습 상태가 산출되도록 산출부(150)를 제어할 수 있다. 그리고 제어부(170)는 산출된 학습 상태가 표시되도록 출력부(160)를 제어할 수 있다. The control unit 170 may control the calculating unit 150 to calculate the learning state of the learning contents from the extracted visual feature information and behavior feature information. The control unit 170 may control the output unit 160 to display the calculated learning state.

본 실시 예에서는 판단 결과를 출력부(160)를 통하여 표시하는 동작만을 설명하였으나, 구현시에는 판단 결과가 저장부(120)에 저장되거나, 인쇄 장치를 통하여 인쇄되거나, 특정 장치에 전송되는 형태로도 구현될 수 있다. In the present embodiment, only the operation of displaying the determination result through the output unit 160 has been described. However, in the implementation, the determination result may be stored in the storage unit 120, printed through the printing apparatus, Can also be implemented.

따라서, 본 실시 예에 따른 학습 모니터링 장치는, 사용자의 시선 패턴를 분석하여 사용자의 학습 상태를 분석할 수 있게 된다. 이에 따라, 분석된 학습 상태에 기초하여 사용자 맞춤형 학습 컨텐츠를 제공할 수 있게 된다. Therefore, the learning monitoring apparatus according to the present embodiment can analyze the user's learning state by analyzing the user's gaze pattern. Thus, the user-customized learning contents can be provided based on the analyzed learning state.

도 2는 본 발명의 일 실시 예에 따른 시선 특징 취득부(130)의 동작을 설명하기 위한 도면이다.FIG. 2 is a diagram for explaining the operation of the line-of-sight characteristic acquiring unit 130 according to an embodiment of the present invention.

도 2를 참고하면, 먼저 표시부(110)는 학습 컨텐츠를 사용자에게 표시한다. 그리고 학습 컨텐츠가 표시되면, 시선 패턴 검출부(131)는 학습 컨텐츠에 대한 사용자의 시선 패턴을 검출한다. Referring to FIG. 2, first, the display unit 110 displays learning contents to a user. When the learning contents are displayed, the line-of-sight pattern detecting unit 131 detects the user's line-of-sight pattern with respect to the learning contents.

시선 패턴이 검출되면, 시선 특징 정보 추출부(132)는 검출된 시선 패턴에서 '최초 고정 시간(time to first fixation)', '고정 길이(fixation length)', '고정 횟수(fixation count)', '관찰 길이(observation length)', '관찰 횟수(observation count)', '고정 비포(fixation before)', '참여율(Paricipant %)', '동공의 크기(Pupil size)', '동공의 기울기 변화(Pupil gradient)'와 같은 시선 특징 정보를 추출할 수 있다. When the line-of-sight pattern is detected, the line-of-sight characteristic information extracting unit 132 extracts the line-of-sight line pattern from the detected line-of-sight pattern, such as 'time to first fixation', 'fixation length', 'fixation count' It is known that the observation length, the observation count, the fixation before, the participation rate, the pupil size, the pupil slope change, (Pupil gradient) 'can be extracted.

도 3은 본 발명의 일 실시 예에 따른 행동 특징 취득부(140)의 동작을 설명하기 위한 도면이다.3 is a diagram for explaining the operation of the behavior feature acquisition unit 140 according to an embodiment of the present invention.

도 3을 참고하면, 행동 패턴 검출부(141)는 학습 컨텐츠에 대한 사용자의 행동 패턴을 검출한다. 여기서 행동 패턴 검출부(141)은 키넥트 장비일 수 있다. 키넥트 장비는 도 1에서 자세히 설명하였으므로, 중복 설명은 생략한다.Referring to FIG. 3, the behavior pattern detection unit 141 detects a behavior pattern of the user with respect to the learning contents. Here, the behavior pattern detection unit 141 may be a key knot equipment. Since the Kinect equipment has been described in detail in Fig. 1, redundant description is omitted.

행동 패턴이 검출되면, 행동 특징 정보 추출부(142)는 검출된 행동 패턴에서, 신체의 각 관절의 행동(움직임) 경로, 행동 속도, 행동 반경과 같은 행동 특징 정보를 추출할 수 있다.When a behavior pattern is detected, the behavior feature information extracting unit 142 can extract behavior feature information such as a behavior (motion) path, an action speed, and a behavior radius of each joint of the body in the detected behavior pattern.

도 4는 본 발명의 일 실시 예에 따른 산출부(150)의 동작을 설명하기 위한 도면이다.4 is a diagram for explaining the operation of the calculation unit 150 according to an embodiment of the present invention.

산출부(150)는 추출된 시선 특징 정보와 행동 특징 정보를 이용하여 학습 컨텐츠에 대한 학습 상태를 산출한다. The calculating unit 150 calculates the learning state of the learning contents using the extracted visual feature information and behavior feature information.

산출부(150)는 컨텐츠에 대한 기정의된 시선 패턴 및 행동 패턴과 추출된 시선 특징 정보 및 행동 특징 정보에 대한 상관 관계를 분석하는 다중 정보 융합 분석(151)을 통하여, 컨텐츠에 대한 학습 상태(152)를 산출할 수 있다. The calculating unit 150 may calculate a learning state of the content (e.g., a current state of the content) through the multi-information fusion analysis 151 for analyzing a correlation between the predefined line of sight pattern and the behavior pattern of the content, 152) can be calculated.

여기서, 기정의된 시선 패턴 및 행동 패턴은 심리학적, 생리학적 참고 문헌 및 실험 데이터를 기반으로 사용자의 학업 성취도와 관련된 특징 지표를 반영하고 있다. Here, the predefined gaze patterns and behavior patterns reflect feature indicators related to the user's academic achievement based on psychological, physiological reference and experimental data.

구체적으로, 산출부(150)는 기정의된 시선 패턴 및 행동 패턴과 검출된 시선 특징 정보 및 행동 특징 정보를 매칭시켜서, 사용자가 어떤 학습 상태에 있는지 판단할 수 있다.Specifically, the calculating unit 150 can determine which learning state the user is in by matching the predetermined gaze pattern and behavior pattern with the detected gaze feature information and behavior feature information.

도 5는 본 발명의 일 실시 예에 따른 학습 모니터링 장치(100)의 동작을 설명하기 위한 도면이다.5 is a diagram for explaining the operation of the learning monitoring apparatus 100 according to an embodiment of the present invention.

도 5를 참고하면, 표시부(110)는 학습 컨텐츠를 사용자에게 표시하고, 시선 패턴 검출부(131) 및 행동 패턴 검출부(141)는 각각 사용자의 시선 패턴과 행동 패턴을 검출할 수 있다. 그리고, 시선 특징 정보 추출부(132)는 검출된 시선 패턴에서 시선 특징 정보를 추출하고, 행동 특징 정보 추출부(142)는 검출된 행동 패턴에서 행동 특징 정보를 추출할 수 있다. 5, the display unit 110 displays the learning contents to the user, and the visual line pattern detecting unit 131 and the behavior pattern detecting unit 141 can detect the user's gaze pattern and behavior pattern, respectively. The gaze feature information extracting unit 132 extracts gaze feature information from the detected gaze pattern, and the behavior feature information extracting unit 142 can extract the behavior feature information from the detected behavior pattern.

그리고, 산출부(150)는 학습 컨텐츠에 대한 기정의된 시선 패턴 및 행동 패턴과 상기 추출된 시선 특징 정보 및 행동 특징 정보에 대한 상관 관계를 분석하는 다중 정보 융합 분석(151)을 통하여, 상기 컨텐츠에 대한 학습 상태를 산출(152)할 수 있다.Then, the calculating unit 150 determines whether or not the contents (hereinafter, referred to as " contents ") are stored in the multi-information fusion analysis 151 through the multi-information fusion analysis 151 for analyzing the correlation between the predetermined line- (152) the learning state.

그 다음, 산출된 학습 상태를 표시할 수 있다.Then, the calculated learning state can be displayed.

한편, 도 5에 도시된 바와 같이, 학습 모니터링 장치는 사용자 책상 위에 고정되어 설치될 수 있다. 또한, 태블릿(Tablet) 컴퓨터, 모바일 폰 등 어디에나 탈/부착이 가능한 장치로도 구현이 가능하므로, 장소에 구애받지 않고 설치할 수 있다.Meanwhile, as shown in FIG. 5, the learning monitoring apparatus may be fixedly installed on the user's desk. In addition, since it can be implemented as a device capable of attaching / detaching to / from a tablet computer or a mobile phone, it can be installed at any place.

또한, 기존의 학업 상태 또는 학업 집중도를 모니터링하는 장치는 사용자 신체에 별도의 구성(일 예로 뇌파 측정기)을 부착하여, 사용자를 구속상태에서 모니터링을 수행한 반면, 도 5와 같은 학습 모니터링 장치는 사용자 신체에 부착할 필요가 없는 바, 무(無) 구속 상태에서 학업 상태(또는 학업 집중도)를 모니터링할 수 있다는 효과가 있다.In addition, a device for monitoring an existing academic status or a concentration of learning has a separate configuration (for example, an EEP) attached to a user's body to perform monitoring in a restrained state, while the learning monitoring apparatus shown in FIG. There is no need to attach to the body, and the effect of being able to monitor the academic status (or concentration of study) in the no constraint state is effective.

도 6은 본 실시 예에 따른 학습 모니터링 방법의 동작을 설명하기 위한 흐름도이다. 6 is a flowchart for explaining the operation of the learning monitoring method according to the present embodiment.

먼저, 기저장된 학습 컨텐츠를 표시한다(S610). 여기서 기저장된 학습 컨텐츠는 어학과 관련된 이미지 컨텐츠, 음원 컨텐츠, 동영상 컨텐츠일 수 있다. First, pre-stored learning contents are displayed (S610). Here, the previously stored learning contents may be image contents related to language, sound source contents, and moving picture contents.

그리고 컨텐츠에 대한 사용자의 시선 특징 정보를 취득한다(S620). 또한, 시선 특징 정보 취득과 동시에 행동 특징 정보를 취득한다(S630). 시선 특징 정보 및 행동 특징 정보의 추출은 도 1에서 구체적으로 설명하였는 바, 중복 설명은 생략한다.Then, the user's gaze characteristic information on the content is acquired (S620). In addition, the behavior feature information is acquired at the same time as the visual feature information is acquired (S630). The extraction of the line-of-sight feature information and the behavior feature information has been described in detail with reference to FIG. 1, and redundant description will be omitted.

여기서, 시선 특징 정보는 사용자의 동공 변화, 눈 깜박임, 시선 응시점, 시선 응시점의 경로, 학습 컨텐츠의 특정 영역에서의 시선이 머무는 시간, 특정 영역안에서 시선이 머무르는 횟수 중 적어도 하나일 수 있다 또한, 행동 특징 정보는 신체 각 부위의 행동 경로, 행동 속도 및 행동 반경 중 적어도 하나일 수 있다.Here, the gaze feature information may be at least one of a pupil change of a user, a blink of an eye, a gaze point of a gaze, a path of a gaze point, a time of a gaze in a specific area of learning contents, , The behavior feature information may be at least one of a behavior path, an action speed, and a behavior radius of each part of the body.

그리고 취득된 시선 특징 정보 및 행동 특징 정보를 이용하여 학습 컨텐츠에 대한 학습 상태를 산출한다(S640). Then, the learning state of the learning contents is calculated using the acquired line feature information and behavior feature information (S640).

그 다음, 산출된 학습 상태를 표시할 수 있으며, 산출된 학습 상태에 대응되는 다른 학습 컨텐츠를 표시할 수도 있다. Then, the calculated learning state can be displayed, and other learning contents corresponding to the calculated learning state can be displayed.

따라서, 본 실시 예에 다른 학습 모니터링 방법은, 사용자의 시선 특징 정보 및 행동 특징 정보를 분석하여 사용자의 학습 상태를 분석할 수 있게 된다. 이에 따라, 분석된 학습 상태에 기초하여 사용자 맞춤형 학습 컨텐츠를 제공할 수 있게 된다. 도 6와 같은 사용자 학습 모니터링 방법은, 도 1의 구성을 가지는 학습 모니터링 장치상에서 실행될 수 있으며, 그 밖의 다른 구성을 가지는 학습 모니터링 장치상에도 실행될 수 있다. Therefore, the learning monitoring method according to the present embodiment can analyze the user's learning state by analyzing the user's gaze feature information and behavior feature information. Thus, the user-customized learning contents can be provided based on the analyzed learning state. The user learning monitoring method as shown in Fig. 6 can be executed on the learning monitoring apparatus having the configuration of Fig. 1, and also on the learning monitoring apparatus having other configurations.

이상에서는 본 발명의 바람직한 실시 예에 대해서 도시하고, 설명하였으나, 본 발명은 상술한 특정의 실시 예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진자라면 누구든지 다양한 변형 실시할 수 있는 것은 물론이고, 그와 같은 변경은 청구범위 기재의 범위 내에 있게 된다.
While the present invention has been particularly shown and described with reference to exemplary embodiments thereof, it is to be understood that the invention is not limited to the disclosed exemplary embodiments, but, on the contrary, It will be understood by those skilled in the art that various changes in form and details may be made therein without departing from the scope of the appended claims.

100 : 학습 모니터링 장치 110 : 표시부
120 : 저장부 130 : 시선 특징 취득부
131 : 시선 패턴 검출부 132 : 시선 특징 추출부
140 : 행동 패턴 검출부 141 : 행동 특징 추출부
150 : 산출부 160 : 출력부
170 : 제어부100: learning monitoring device 110: display
120: storage unit 130: visual line characteristic acquisition unit
131: line of sight pattern detection unit 132:
140: behavior pattern detection unit 141: behavior feature extraction unit
150: Calculator 160: Output unit
170:

Claims (12)

학습 모니터링 장치에 있어서,
학습 컨텐츠를 저장하는 저장부;
상기 저장된 학습 컨텐츠를 표시하는 표시부;
상기 컨텐츠에 대한 사용자의 시선 특징 정보를 취득하는 시선 특징 정보 취득부;
상기 컨텐츠를 학습하는 사용자의 행동 특징 정보를 취득하는 행동 특징 정보 취득부; 및
상기 취득된 시선 특징 정보와 행동 특징 정보를 이용하여 상기 학습 컨텐츠에 대한 학습 상태를 산출하는 산출부;를 포함하는 학습 모니터링 장치. A learning monitoring device comprising:
A storage unit for storing learning contents;
A display unit for displaying the stored learning contents;
A gaze feature information acquisition unit which acquires gaze feature information of a user with respect to the contents;
A behavior feature information acquisition unit for obtaining behavior feature information of a user learning the content; And
And a calculator configured to calculate a learning state of the learning content by using the acquired gaze feature information and behavior feature information. 제1항에 있어서,
상기 행동 특징 정보 취득부는,
상기 컨텐츠을 학습하는 상기 사용자의 행동 패턴을 검출하는 행동 패턴 검출부; 및
상기 검출된 행동 패턴에서 상기 행동 특징 정보를 추출하는 행동 특징 정보 추출부;를 포함하는 것을 특징으로 하는 학습 모니터링 장치.The method of claim 1,
Wherein the behavior characteristic information acquisition unit
A behavior pattern detector configured to detect a behavior pattern of the user learning the content; And
And a behavior feature information extraction unit that extracts the behavior feature information from the detected behavior pattern. 제1항에 있어서,
상기 행동 특징 정보는,
신체 각 부위의 행동 경로, 행동 속도 및 행동 반경 중 적어도 하나인 정보인 것을 특징으로 하는 학습 모니터링 장치.The method of claim 1,
Wherein the behavior feature information comprises:
Wherein the information is at least one of a behavior path, an action speed, and a behavior radius of each part of the body. 제1항에 있어서,
상기 시선 특징 정보 취득부는,
상기 컨텐츠에 대한 상기 사용자의 시선 패턴를 검출하는 시선 패턴 검출부; 및
상기 검출된 시선 패턴에서 상기 시선 특징 정보를 추출하는 시선 특징 정보 추출부;를 포함하는 것을 특징으로 하는 학습 모니터링 장치.The method of claim 1,
Wherein the visual line feature information obtaining unit
A gaze pattern detector configured to detect a gaze pattern of the user with respect to the contents; And
And a visual feature information extracting unit for extracting the visual feature information from the detected visual line pattern. 제1항에 있어서,
상기 시선 특징 정보는,
사용자의 동공 변화, 눈 깜빡임, 시선 응시점, 시선 응시점의 경로, 학습 컨텐츠의 특정 영역에서의 시선이 머무는 시간, 상기 특정 영역 안에서 시선이 머무는 횟수 중 적어도 하나의 정보인 것을 특징으로 하는 학습 모니터링 장치.The method of claim 1,
The visual-
Learning monitoring, characterized in that at least one of the information of the pupil changes, blinking eyes, gaze gaze point, gaze gaze point, the time the gaze stays in a specific area of the learning content, the number of times the gaze stays in the specific area Device. 제1항에 있어서,
상기 산출부는,
상기 컨텐츠에 대한 기정의된 시선 패턴 및 행동 패턴과 상기 추출된 시선 특징 정보 및 행동 특징 정보에 대한 상관 관계를 분석하는 다중 정보 융합 분석을 통하여, 상기 컨텐츠에 대한 학습 상태를 산출하는 것을 특징으로 하는 학습 모니터링 장치.The method of claim 1,
The calculating unit calculates,
The learning state of the content is calculated through a multi-information fusion analysis that analyzes a correlation between a predetermined gaze pattern and a behavior pattern of the content and the extracted gaze feature information and behavior feature information. Learning monitoring device. 학습 모니터링 장치에 있어서의 학습 모니터링 방법에 있어서,
기 저장된 학습 컨텐츠를 표시하는 단계;
상기 컨텐츠에 대한 사용자의 시선 특징 정보를 취득하는 단계;
상기 컨텐츠를 학습하는 사용자의 행동 특징 정보를 취득하는 단계; 및
상기 취득된 시선 특징 정보와 행동 특징 정보를 이용하여 상기 학습 컨텐츠에 대한 학습 상태를 산출하는 단계;를 포함하는 학습 모니터링 방법. A learning monitoring method in a learning monitoring apparatus,
Displaying previously stored learning content;
Acquiring gaze characteristic information of a user on the content;
Acquiring behavior characteristic information of a user learning the content; And
And calculating a learning state of the learning content by using the acquired gaze feature information and behavior feature information. 제7항에 있어서,
상기 행동 특징 정보 취득하는 단계는,
상기 컨텐츠을 학습하는 상기 사용자의 행동 패턴을 검출하는 단계; 및
상기 검출된 행동 패턴에서 상기 행동 특징 정보를 추출하는 단계;를 포함하는 것을 특징으로 하는 학습 모니터링 방법.8. The method of claim 7,
Acquiring the behavior characteristic information,
Detecting a behavior pattern of the user learning the content; And
And extracting the behavior feature information from the detected behavior pattern. 제7항에 있어서,
상기 행동 특징 정보는,
신체 각 부위의 행동 경로, 행동 속도 및 행동 반경 중 적어도 하나인 정보인 것을 특징으로 하는 학습 모니터링 방법.8. The method of claim 7,
Wherein the behavior feature information comprises:
Wherein the information is at least one of a behavior path, an action velocity, and a behavior radius of each part of the body. 제7항에 있어서,
상기 시선 특징 정보 취득하는 단계는,
상기 컨텐츠에 대한 상기 사용자의 시선 패턴을 검출하는 단계; 및
상기 검출된 시선 패턴에서 상기 시선 특징 정보를 추출하는 단계;를 포함하는 것을 특징으로 하는 학습 모니터링 방법.8. The method of claim 7,
Acquiring the gaze feature information,
Detecting a gaze pattern of the user with respect to the content; And
And extracting the gaze feature information from the detected gaze pattern. 제7항에 있어서,
상기 시선 특징 정보는,
사용자의 동공 변화, 눈 깜빡임, 시선 응시점, 시선 응시점의 경로, 학습 컨텐츠의 특정 영역에서의 시선이 머무는 시간, 상기 특정 영역 안에서 시선이 머무는 횟수 중 적어도 하나의 정보인 것을 특징으로 하는 학습 모니터링 방법.8. The method of claim 7,
The visual-
Learning monitoring, characterized in that at least one of the information of the pupil changes, blinking eyes, gaze gaze point, gaze gaze point, the time the gaze stays in a specific area of the learning content, the number of times the gaze stays in the specific area Way. 제7항에 있어서,
상기 산출하는 단계는,
상기 컨텐츠에 대한 기정의된 시선 패턴 및 행동 패턴과 상기 추출된 시선 특징 정보 및 행동 특징 정보에 대한 상관 관계를 분석하는 다중 정보 융합 분석을 통하여, 상기 컨텐츠에 대한 학습 상태를 산출하는 것을 특징으로 하는 학습 모니터링 방법.

8. The method of claim 7,
Wherein the calculating step comprises:
The learning state of the content is calculated through a multi-information fusion analysis that analyzes a correlation between a predetermined gaze pattern and a behavior pattern of the content and the extracted gaze feature information and behavior feature information. Learning monitoring method.

KR1020120112031A 2011-12-06 2012-10-09 Learning monitering device and method for monitering of learning KR101455200B1 (en)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020120112031A KR101455200B1 (en) 2012-10-09 2012-10-09 Learning monitering device and method for monitering of learning
PCT/KR2012/010025 WO2013085193A1 (en) 2011-12-06 2012-11-26 Apparatus and method for enhancing user recognition
US14/363,203 US9489574B2 (en) 2011-12-06 2012-11-26 Apparatus and method for enhancing user recognition

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120112031A KR101455200B1 (en) 2012-10-09 2012-10-09 Learning monitering device and method for monitering of learning

Publications (2)

Publication Number Publication Date
KR20140046652A true KR20140046652A (en) 2014-04-21
KR101455200B1 KR101455200B1 (en) 2014-10-30

Family

ID=50653528

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120112031A KR101455200B1 (en) 2011-12-06 2012-10-09 Learning monitering device and method for monitering of learning

Country Status (1)

Country Link
KR (1) KR101455200B1 (en)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160047911A (en) * 2014-10-23 2016-05-03 (주)웅진씽크빅 User terminal, method for operating the same
KR101996039B1 (en) * 2018-09-27 2019-07-03 국립공주병원 Apparatus for constructing training template of facial emotion recognition and method thereof
KR102115486B1 (en) * 2019-06-07 2020-05-26 (주)이루미에듀테크 System, method, and apparatus of diagnosing reading ability
WO2020222350A1 (en) * 2019-04-30 2020-11-05 이화여자대학교 산학협력단 Apparatus and method for diagnosing learning type by using visual behavior of learner in online learning environment
WO2020235730A1 (en) * 2019-05-23 2020-11-26 이화여자대학교 산학협력단 Learning performance prediction method based on scan pattern of learner in video learning environment
KR20210019266A (en) * 2019-08-12 2021-02-22 주식회사 비엔알아이 Apparatus and method for diagnosis of reading ability based on machine learning using eye tracking
CN112528890A (en) * 2020-12-15 2021-03-19 北京易华录信息技术股份有限公司 Attention assessment method and device and electronic equipment
KR20220018782A (en) * 2020-08-07 2022-02-15 이화여자대학교 산학협력단 Video lesson system and method for monitoring the attention of video lessons
KR102476154B1 (en) * 2022-07-13 2022-12-09 주식회사 유핏 Online Learner Management System
KR102605945B1 (en) * 2023-02-24 2023-11-24 주식회사 하넬 Smart desk management system

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220048182A (en) * 2020-10-12 2022-04-19 주식회사 비주얼캠프 Method for detecting cheating of based eye using object recognition, computing device and system for executing the method

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007207153A (en) * 2006-02-06 2007-08-16 Sony Corp Communication terminal, information providing system, server device, information providing method, and information providing program
KR20100021702A (en) * 2008-08-18 2010-02-26 이필규 Efficient methodology, terminal and system using the information of eye tracking and multi sensor for the measurement of mobile/online advertisement effects
JP2010057710A (en) * 2008-09-04 2010-03-18 Toyota Central R&D Labs Inc Concentration computing system and program

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160047911A (en) * 2014-10-23 2016-05-03 (주)웅진씽크빅 User terminal, method for operating the same
KR101996039B1 (en) * 2018-09-27 2019-07-03 국립공주병원 Apparatus for constructing training template of facial emotion recognition and method thereof
US10699164B2 (en) 2018-09-27 2020-06-30 The Industry & Academic Cooperation In Chungnam National University (Iac) Training template construction apparatus for facial expression recognition and method thereof
KR20200126810A (en) * 2019-04-30 2020-11-09 이화여자대학교 산학협력단 Apparatus and method for learning type diagnosis using learner's visual behavior in online learning environment
WO2020222350A1 (en) * 2019-04-30 2020-11-05 이화여자대학교 산학협력단 Apparatus and method for diagnosing learning type by using visual behavior of learner in online learning environment
WO2020235730A1 (en) * 2019-05-23 2020-11-26 이화여자대학교 산학협력단 Learning performance prediction method based on scan pattern of learner in video learning environment
KR20200134751A (en) * 2019-05-23 2020-12-02 이화여자대학교 산학협력단 Learning performance prediction method based on learner's scan pattern in video learning environment
KR102115486B1 (en) * 2019-06-07 2020-05-26 (주)이루미에듀테크 System, method, and apparatus of diagnosing reading ability
KR20210019266A (en) * 2019-08-12 2021-02-22 주식회사 비엔알아이 Apparatus and method for diagnosis of reading ability based on machine learning using eye tracking
KR20220018782A (en) * 2020-08-07 2022-02-15 이화여자대학교 산학협력단 Video lesson system and method for monitoring the attention of video lessons
CN112528890A (en) * 2020-12-15 2021-03-19 北京易华录信息技术股份有限公司 Attention assessment method and device and electronic equipment
CN112528890B (en) * 2020-12-15 2024-02-13 北京易华录信息技术股份有限公司 Attention assessment method and device and electronic equipment
KR102476154B1 (en) * 2022-07-13 2022-12-09 주식회사 유핏 Online Learner Management System
KR102605945B1 (en) * 2023-02-24 2023-11-24 주식회사 하넬 Smart desk management system

Also Published As

Publication number Publication date
KR101455200B1 (en) 2014-10-30

Similar Documents

Publication Publication Date Title
KR101455200B1 (en) Learning monitering device and method for monitering of learning
US9489574B2 (en) Apparatus and method for enhancing user recognition
US20190294909A1 (en) Apparatus and method for using background change to determine context
CN109363620B (en) Vision detection method and device, electronic equipment and computer storage medium
JP6527507B2 (en) Smart Prostheses to Promote Artificial Vision Using Scene Abstraction
US20170156589A1 (en) Method of identification based on smart glasses
CN105573627B (en) It is a kind of to prompt the method and device that user carries out eyeshield by intelligent glasses
US20100128118A1 (en) Identification of visual fixations in a video stream
CN103729981A (en) Child sitting posture monitoring intelligent terminal
CN109375765B (en) Eyeball tracking interaction method and device
CN109446947A (en) The face recognition of enhancing in video
JP2010061265A (en) Person retrieval and registration system
JPWO2016059786A1 (en) Spoofing detection device, spoofing detection method, and spoofing detection program
KR20140146750A (en) Method and system for gaze-based providing education content
US11397320B2 (en) Information processing apparatus, information processing system, and non-transitory computer readable medium
US20130346060A1 (en) Translation interfacing apparatus and method using vision tracking
EP2979635A1 (en) Diagnosis supporting device, diagnosis supporting method, and computer-readable recording medium
KR101314686B1 (en) Learning monitering device and method for monitering of learning
KR20220145893A (en) Augmented Reality Guest Recognition System and Method
KR101343875B1 (en) Analysis device of user cognition and method for analysis of user cognition
KR102118505B1 (en) System and method for measurement of visual acuity based on the analysis of user eye movements
CN109508089B (en) Sight line control system and method based on hierarchical random forest
CN114740966A (en) Multi-modal image display control method and system and computer equipment
US20160062481A1 (en) Electronic equipment displaying various kinds of information available by wearing on body
JP6831228B2 (en) Information processing equipment, information processing system and information processing method

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20170922

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20180920

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20190917

Year of fee payment: 6