KR101314686B1 - Learning monitering device and method for monitering of learning - Google Patents

Learning monitering device and method for monitering of learning Download PDF

Info

Publication number
KR101314686B1
KR101314686B1 KR1020110129934A KR20110129934A KR101314686B1 KR 101314686 B1 KR101314686 B1 KR 101314686B1 KR 1020110129934 A KR1020110129934 A KR 1020110129934A KR 20110129934 A KR20110129934 A KR 20110129934A KR 101314686 B1 KR101314686 B1 KR 101314686B1
Authority
KR
South Korea
Prior art keywords
learning
gaze
content
user
path
Prior art date
Application number
KR1020110129934A
Other languages
Korean (ko)
Other versions
KR20130065880A (en
Inventor
이민호
장영민
Original Assignee
경북대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 경북대학교 산학협력단 filed Critical 경북대학교 산학협력단
Priority to KR1020110129934A priority Critical patent/KR101314686B1/en
Priority to US14/363,203 priority patent/US9489574B2/en
Priority to PCT/KR2012/010025 priority patent/WO2013085193A1/en
Publication of KR20130065880A publication Critical patent/KR20130065880A/en
Application granted granted Critical
Publication of KR101314686B1 publication Critical patent/KR101314686B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/20—Education
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/19—Sensors therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/19—Recognition using electronic means
    • G06V30/192—Recognition using electronic means using simultaneous comparisons or correlations of the image signals with a plurality of references
    • G06V30/194—References adjustable by an adaptive method, e.g. learning

Landscapes

  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Business, Economics & Management (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Ophthalmology & Optometry (AREA)
  • Human Computer Interaction (AREA)
  • Tourism & Hospitality (AREA)
  • Databases & Information Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • Economics (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • User Interface Of Digital Computer (AREA)
  • Electrically Operated Instructional Devices (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

학습 모니터링 장치가 개시된다. 본 학습 모니터링 장치는, 학습 컨텐츠를 저장하는 저장부, 저장된 학습 컨텐츠를 표시하는 표시부, 컨텐츠에 대한 사용자의 시선 경로를 검출하는 검출부, 검출된 시선 경로에서 시선 특징 정보를 추출하는 추출부, 및, 추출된 시선 특징 정보를 이용하여 학습 컨텐츠에 대한 학습 상태를 산출하는 산출부를 포함한다. A learning monitoring apparatus is disclosed. The learning monitoring apparatus includes a storage unit for storing learning content, a display unit for displaying stored learning content, a detection unit for detecting a gaze path of a user with respect to the content, an extraction unit for extracting gaze feature information from the detected gaze path, and And a calculator configured to calculate a learning state of the learning content using the extracted gaze feature information.

Description

학습 모니터링 장치 및 학습 모니터링 방법{LEARNING MONITERING DEVICE AND METHOD FOR MONITERING OF LEARNING}TECHNICAL FIELD [0001] The present invention relates to a learning monitoring apparatus and a learning monitoring method,

본 발명은 학습 모니터링 장치 및 학습 모니터링 방법에 관한 것으로, 더욱 상세하게는 학습 컨텐츠에 대한 사용자의 시선 경로를 분석하여 사용자의 학습 상태를 분석할 수 있는 학습 모니터링 장치 및 학습 모니터링 방법에 관한 것이다. The present invention relates to a learning monitoring device and a learning monitoring method, and more particularly, to a learning monitoring device and a learning monitoring method capable of analyzing a learning state of a user by analyzing a user's gaze path with respect to learning content.

국내 사회의 사교육 시장의 성장으로 사회문제로 대두되고 있는데, 지속적인 사교육 시장의 성장을 억제하기 위한, 사교육을 대체할 새로운 학습 도구 개발이 필요로되고 있는 시점이다. The growth of the private education market in the domestic society is emerging as a social problem. It is time to develop new learning tools to replace the private tutoring in order to curb the growth of the private education market.

이에 따라서, 최근에는 컴퓨터 기반의 다양한 학습 도구가 개발되고 있다. 그러나 종래의 학습 도구들은 사용자의 학습 결과물에만 기초하여 컨텐츠를 제공하였을뿐, 학습 과정에서의 사용자의 집중도, 학습 능력을 파악하지 못하였다. Accordingly, in recent years, various computer-based learning tools have been developed. However, the conventional learning tools only provided content based on the user's learning results, and did not grasp the user's concentration and learning ability in the learning process.

따라서, 학습 과정에서의 사용자의 집중도, 관심도, 학습 능력 등에 따라 사용자에 맞는 학습 컨텐츠를 제공할 수 있는 학습 도구 개발이 요구되었다. Therefore, it has been required to develop a learning tool that can provide learning contents suitable for the user according to the user's concentration, interest, and learning ability in the learning process.

따라서, 본 발명의 목적은 학습 컨텐츠에 대한 사용자의 시선 경로를 분석하여 사용자의 학습 상태를 분석할 수 있는 학습 모니터링 장치 및 학습 모니터링 방법을 제공하는 데 있다. Accordingly, an object of the present invention is to provide a learning monitoring device and a learning monitoring method capable of analyzing a learning state of a user by analyzing a user's gaze path with respect to the learning content.

이상과 같은 목적을 달성하기 위한 본 발명에 의한 학습 모니터링 장치는, 학습 컨텐츠를 저장하는 저장부, 상기 저장된 학습 컨텐츠를 표시하는 표시부, 상기 컨텐츠에 대한 사용자의 시선 경로를 검출하는 검출부, 상기 검출된 시선 경로에서 시선 특징 정보를 추출하는 추출부, 및, 상기 추출된 시선 특징 정보를 이용하여 상기 학습 컨텐츠에 대한 학습 상태를 산출하는 산출부를 포함한다. Learning monitoring apparatus according to the present invention for achieving the above object, the storage unit for storing the learning content, the display unit for displaying the stored learning content, the detection unit for detecting the user's gaze path to the content, the detected And an extractor configured to extract gaze feature information from a gaze path, and a calculator configured to calculate a learning state of the learning content using the extracted gaze feature information.

이 경우, 상기 시선 특정 정보는, 사용자의 동공 변화, 눈 깜빡임, 시선 응시점, 시선 응시점의 경로, 학습 컨텐츠의 특정 영역에서의 시선이 머무는 시간, 상기 특정 영역 안에서 시선이 머무는 횟수 중 적어도 하나의 정보인 것이 바람직하다. In this case, the gaze specific information may include at least one of a pupil change of the user, blinking eyes, a gaze gaze point, a gaze gaze point, a time at which gaze stays in a specific area of learning content, and a number of times gaze stays in the particular area. It is preferable that the information is.

한편, 상기 산출부는, 상기 컨텐츠에 대한 기정의된 시선 패턴과 상기 검출된 시선 경로에 대한 상관 관계를 분석하여 상기 컨텐츠에 대한 학습 상태를 산출하는 것이 바람직하다. The calculator may be further configured to calculate a learning state of the content by analyzing a correlation between the predefined gaze pattern of the content and the detected gaze path.

이 경우, 상기 기정의된 시선 패턴은 읽기 능력과 관련되어 정의된 패턴인 것이 바람직하다. In this case, the predefined gaze pattern is preferably a pattern defined in relation to the reading ability.

한편, 상기 산출부는, 상기 검출된 시선 경로의 학습 컨텐츠의 특정 영역에 대한 시선이 머무는 시간, 및 상기 특정 영역 안에서 시선이 머무는 횟수를 기초로 상기 컨텐츠에 대한 학습 상태를 산출할 수도 있다. The calculator may calculate a learning state of the content based on a time at which the gaze of a specific area of the detected content of the gaze path stays and a number of times that the gaze stays in the specific area.

한편, 상기 학습 컨텐츠는, 어학 컨텐츠인 것이 바람직하다. On the other hand, the learning content is preferably language content.

한편, 본 실시 예에 따른, 학습 모니터링 방법은, 기저장된 학습 컨텐츠를 표시하는 단계, 상기 컨텐츠에 대한 사용자의 시선 경로를 검출하는 단계, 상기 검출된 시선 경로에서 시선 특징 정보를 추출하는 단계, 및, 상기 추출된 시선 특징 정보를 이용하여 상기 학습 컨텐츠에 대한 학습 상태를 산출하는 단계를 포함한다. On the other hand, the learning monitoring method according to the present embodiment, displaying the previously stored learning content, detecting the user's gaze path for the content, extracting the gaze feature information from the detected gaze path, and And calculating a learning state of the learning content by using the extracted gaze feature information.

이 경우, 상기 시선 특정 정보는, 사용자의 동공 변화, 눈 깜빡임, 시선 응시점, 시선 응시점의 경로, 학습 컨텐츠의 특정 영역에서의 시선이 머무는 시간, 상기 특정 영역 안에서 시선이 머무는 횟수 중 적어도 하나의 정보인 것이 바람직하다. In this case, the gaze specific information may include at least one of a pupil change of the user, blinking eyes, a gaze gaze point, a gaze gaze point, a time at which gaze stays in a specific area of learning content, and a number of times gaze stays in the particular area. It is preferable that the information is.

한편, 상기 산출하는 단계는, 상기 컨텐츠에 대한 기정의된 시선 패턴과 상기 검출된 시선 경로에 대한 상관 관계를 분석하여 상기 컨텐츠에 대한 학습 상태를 산출하는 것이 바람직하다. On the other hand, in the calculating step, it is preferable to calculate a learning state for the content by analyzing a correlation between the predefined gaze pattern for the content and the detected gaze path.

이 경우, 상기 기정의된 시선 패턴은 읽기 능력과 관련되어 정의된 패턴인 것이 바람직하다. In this case, the predefined gaze pattern is preferably a pattern defined in relation to the reading ability.

한편, 상기 산출하는 단계는, 상기 검출된 시선 경로의 학습 컨텐츠의 특정 영역에 대한 시선이 머무는 시간, 및 상기 특정 영역 안에서 시선이 머무는 횟수를 기초로 상기 컨텐츠에 대한 학습 상태를 산출할 수도 있다. In the calculating, the learning state of the content may be calculated based on a time for the gaze of a specific area of the learning content of the detected gaze path and a number of times the gaze stays in the specific area.

한편, 상기 학습 컨텐츠는, 어학 컨텐츠인 것이 바람직하다. On the other hand, the learning content is preferably language content.

본 발명은 이러한 사교육을 대처할 수 있는 지능형 학습도구로써, 사용자의 학습 능력을 분석하고, 개인별 학습 지표에 따라서 사용자에게 맞춤형 학습 컨텐츠를 제공할 수 있어 학업 상태를 최대화할 수 있게 된다. The present invention is an intelligent learning tool capable of coping with such private tutoring, and it is possible to analyze the learning ability of a user and to provide customized learning contents to a user according to an individual learning index, thereby maximizing an academic status.

도 1은 본 발명의 일 실시 예에 따른 학습 모니터링 장치의 구성을 나타내는 블록도,
도 2는 본 발명의 일 실시 예에 따른 학습 모니터링 장치(100)의 동작을 설명하기 위한 도면,
도 3은 본 실시 예에 따른 출력부의 출력 예를 도시한 도면,
도 4는 본 실시 예에 따른 학습 모니터링 방법의 동작을 설명하기 위한 흐름도이다. 1 is a block diagram showing the configuration of a learning monitoring apparatus according to an embodiment of the present invention;
2 is a view for explaining the operation of the learning monitoring apparatus 100 according to an embodiment of the present invention;
3 is a diagram illustrating an output example of an output unit according to the present embodiment;
4 is a flowchart illustrating the operation of the learning monitoring method according to the present embodiment.

이하 첨부된 도면들을 참조하여 본 발명에 대하여 보다 상세하게 설명한다. DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS The present invention will now be described in detail with reference to the accompanying drawings.

도 1은 본 발명의 일 실시 예에 따른 학습 모니터링 장치의 구성을 나타내는 블록도이다. 1 is a block diagram showing a configuration of a learning monitoring apparatus according to an embodiment of the present invention.

도 1을 참고하면, 본 실시 예에 따른 학습 모니터링 장치(100)는 표시부(110), 검출부(120), 저장부(130), 추출부(140), 산출부(150), 출력부(160) 및 제어부(170)를 포함한다. Referring to FIG. 1, the learning monitoring apparatus 100 according to the present embodiment includes a display unit 110, a detector 120, a storage unit 130, an extractor 140, a calculator 150, and an output unit 160. ) And the controller 170.

표시부(110)는 학습 모니터링 장치(100)에서 제공되는 각종 정보를 표시할 수 있다. 구체적으로, 표시부(110)는 저장부(130)에 학습 컨텐츠를 사용자에게 표시할 수 있다. 이러한 표시부(110)는 CRT, LCD 등과 같은 디스플레이 장치로 구현할 수 있다. 한편, 본 실시 예에서는 학습 모니터링 장치(100)가 직접 학습 컨텐츠를 표시하는 것으로 설명하였으나, 이러한 학습 컨텐츠는 외부 기기에서 표시될 수도 있다. The display unit 110 may display various kinds of information provided by the learning monitoring apparatus 100. In detail, the display 110 may display the learning content to the user in the storage 130. The display unit 110 may be implemented as a display device such as a CRT or an LCD. On the other hand, in the present embodiment, the learning monitoring apparatus 100 has been described as displaying the learning contents directly, but such learning contents can also be displayed on an external device.

그리고, 표시부(110)는 산출된 학습 상태에 기초하여, 추가적인 학습 컨텐츠를 사용자에게 표시할 수 있다. 예를 들어, 산출된 학습 상태가 취약인 경우, 이전 학습 컨텐츠를 재표시할 수 있다. 또한, 산출된 학습 상태가 단어 이해 부족인 경우에는, 표시된 학습 컨텐츠와 관련된 단어장과 같은 추가 학습 컨텐츠를 사용자에게 표시할 수 있다. Then, the display unit 110 can display additional learning contents to the user based on the calculated learning state. For example, if the calculated learning state is weak, the previous learning contents can be redisplayed. Further, when the calculated learning state is insufficient for the word, additional learning contents such as a wordbook related to the displayed learning contents can be displayed to the user.

검출부(120)는 학습 컨텐츠에 대한 사용자의 시선 경로를 검출한다. 구체적으로, 검출부(120)는 촬상 장치(또는 촬영장치)를 이용하여 사용자의 눈을 촬상하고, 촬상된 이미지상에서 사용자의 동공을 검출하고, 검출된 사용자의 동공 위치에 기초하여 사용자의 시선을 검출하고, 이러한 시선 검출 동작을 연속적으로 수행하여 사용자의 시선 경로(또는 시선 이동, 안구 운동)를 검출할 수 있다. 검출된 시선 경로는 저장부(130)에 저장될 수 있다. 한편, 검출된 시선 경로에는 사용자의 동공 변화, 눈 깜박임에 대한 정보로 포함된다. 한편, 본 실시 예에서는 표시부(110)와 검출부(120)가 별도의 구성인 것으로 설명하였으나, 구현시에는 아이트래킹 장치를 이용하여 하나의 구성으로 구현할 수도 있다. The detector 120 detects a user's gaze path with respect to the learning content. Specifically, the detection unit 120 captures an image of the user's eye using an image capture device (or photographing device), detects the pupil of the user on the captured image, and detects the user's gaze based on the detected pupil position And it is possible to detect the user's gaze path (or gaze movement, eye movement) by continuously performing the gaze detection operation. The detected sight path can be stored in the storage unit 130. [ On the other hand, the detected gaze path is included as information on the pupil change and eye blink of the user. Meanwhile, although the display unit 110 and the detection unit 120 are described as separate components in the present embodiment, the present invention may be implemented in a single configuration using an eye tracking apparatus.

저장부(130)는 복수의 학습 컨텐츠를 저장한다. 여기서 학습 컨텐츠는 영어, 국어, 중국어, 일본어 등의 어학과 관련된 컨텐츠일 수 있다. 구체적으로, 이미지 컨텐츠일 수 있으며, 음원 컨텐츠일 수 있으며, 이미지와 음원이 결합한 동영상 컨텐츠일 수도 있다. 그리고 저장부(130)는 검출부(120)에서 검출된 사용자의 시선 경로에 대한 정보를 저장하거나, 후술할 추출부(140)에서 추출된 시선 특징 정보를 저장할 수 있다. The storage unit 130 stores a plurality of learning contents. Here, the learning contents may be contents related to languages such as English, Korean, Chinese, and Japanese. Specifically, it may be image content, sound source content, or video content in which an image and a sound source are combined. The storage unit 130 may store information on the user's sight path detected by the detection unit 120 or may store gaze feature information extracted by the extraction unit 140, which will be described later.

그리고 저장부(130)는 NN 학습(또는 NN 모델)기의 학습 정보를 저장할 수 있다. 그리고 저장부(130)는 학습 모니터링 장치(100) 내부에 장착된 메모리, 예를 들면 ROM, 플래시 메모리나 HDD일 수 있으며, 학습 모니터링 장치(100)와 연결된 외장형 HDD 또는 메모리 카드, 예를 들면, 플래시 메모리(Flash Memory: M/S, xD, SD 등)나 USB 메모리 등일 수도 있다. The storage unit 130 may store learning information of the NN learner (or NN model). The storage unit 130 may be a memory mounted in the learning monitoring apparatus 100, for example, a ROM, a flash memory or an HDD, and an external HDD or a memory card connected to the learning monitoring apparatus 100, for example, It may be a flash memory (M / S, xD, SD, etc.) or a USB memory.

여기서, NN 학습기는 복수의 입력항목(예를 들어, '고정 길이' 및 '고정 횟수')을 입력받으며, 뉴럴 네트워크 알고리즘을 이용하여 사용자의 학습 태도(또는 학습 집중도)를 판단하는 구성이다. 한편, 본 실시 예에서는 NN 학습기를 이용하여 학습 태도를 판단하는 것만을 설명하였지만, 다른 학습기를 이용하는 형태로도 구현될 수 있다. Here, the NN learner is configured to receive a plurality of input items (for example, 'fixed length' and 'fixed number') and determine a learning attitude (or learning concentration) of the user using a neural network algorithm. Meanwhile, in the present embodiment, only the determination of the learning attitude using the NN learner has been described, but it may be implemented in a form using the other learner.

추출부(140)는 검출된 사용자의 시선 경로에서 시선 특징 정보를 추출한다. 구체적으로, 추출부(140)는 검출부(120)에서 검출된 사용자의 시선 경로에서, 동공의 변화, 눈 깜박임, 시선 응시점, '최초 고정 시간(time to first fixation)', '고정 길이(fixation length)', '고정 횟수(fixation count)', '관찰 길이(observation length)', '관찰 횟수(observation count)', '고정 비포(fixation before)', '참여율(Paricipant %)'과 같은 시선 특징 정보를 추출할 수 있다. The extracting unit 140 extracts the line feature information from the detected eye path of the user. In detail, the extraction unit 140 includes a pupil change, eye blinking, gaze gaze point, 'time to first fixation', and 'fixation length' in the gaze path of the user detected by the detector 120. length ',' fixation count ',' observation length ',' observation count ',' fixation before ',' Paricipant% ' Feature information can be extracted.

여기서 '최초 고정 시간(time to first fixation)'은 자극(시각적 이미지)을 제공받은 이후에 사용자의 시선이 고정될 때까지의 시간, 즉, 사용자 시선의 첫 번째로 고정될 때까지의 시간이고, '고정 길이(fixation length)'은 학습 컨텐츠의 특정 영역(Areas of interest, AOI)에서 사용자의 시선이 머무는 시간이며, '고정 횟수(fixation count)'는 학습 컨텐츠의 특정 영역(Areas of interest, AOI)에서 사용자의 시선이 머무는 횟수이며, '관찰 길이(observation length)'는 특정 영역(AOI)에서 사용자의 시선이 머무는 총 시간이고, '관찰 횟수(observation count)'는 특정 영역(AOI)에 사용자의 시선이 다시 머무는 횟수이고, '고정 비포(fixation before)'는 특정 영역(AOI) 안에서 첫 번째로 시선이 머무르기 전까지 시선이 정지한 횟수이고, '참여율(Paricipant %)'은 특정 영역(AOI) 내에 적어도 한번 시선이 머물렀던 사용자들의 퍼선테지, 즉, 특정 영역(AOI)에 대한 사용자들의 시선 고정 빈도이다. 이러한 시선 특징 정보 각각을 사용자의 시선 경로에서 추출하는 방법은 널리 알려져 있는바, 각각의 시선 특징 정보를 추출하는 구체적인 방법에 대한 설명은 생략한다. Here, the 'time to first fixation' is a time until the user's gaze is fixed after the stimulus (visual image) is provided, that is, the time until the first fixed point of the user's gaze is fixed, The fixation length is a time at which the user's gaze stays in a certain area of the learning contents (AOI), and the fixation count is a specific area of the learning contents (AOI The observation length is the total time that the user's gaze stays in the specific area AOI and the observation count is the number of times the user AOI is in the specific area AOI, (AOI) is the number of times the gaze is stopped before the first gaze remains within the specific area (AOI), and the 'participation rate (%)' At least once in the eye (AOI), which is the frequency of users' gaze fixation. A method of extracting each of the line-of-sight characteristic information from the user's line of sight is widely known, and a detailed description of the method of extracting each line-of-sight characteristic information is omitted.

산출부(150)는 추출된 시선 특징 정보를 이용하여 학습 컨텐츠에 대한 학습 상태를 산출한다. 구체적으로, 산출부(150)는 추출된 시선 정보를 이용하여 학습 태도(또는 학습 집중도)를 판단할 수 있다. The calculator 150 calculates a learning state of the learning content using the extracted gaze feature information. In detail, the calculator 150 may determine a learning attitude (or learning concentration) using the extracted gaze information.

예를 들어, 학습 집중도가 낮은 경우, 학습 컨텐츠의 진행과 무관하게 시선이 이동한다는 점에서, 학습 컨텐츠의 특정 영역(Areas of interest, AOI)에서의 시선이 머무는 시간이 짧으며, 동일한 특정 영역에서의 시선이 머무는 횟수가 작다. For example, when the concentration of learning is low, the gaze is shifted regardless of the progress of the learning content, so that the gaze in a certain area of the learning content (AOI) is short, and in the same specific area The number of eyes stays small.

따라서, 산출부(150)는 추출된 시선 정보 중 '고정 길이' 및 '고정 횟수'를 NN 학습기를 이용하여, 사용자의 학습 태도를 판단할 수 있다. Therefore, the calculator 150 may determine the learning attitude of the user using the NN learner using the 'fixed length' and 'fixed number' of the extracted gaze information.

그리고, 산출부(150)는 기정의된 시선 패턴과 검출된 시선 경로에 대한 시선 경로에 대한 상관 관계를 분석하여 학습 능력을 산출할 수 있다. 여기서 기정의된 시선 패턴은 읽기 능력과 관련되어 정의된 패턴이다. 예를 들어, 사람이 문장을 읽을 때에는 단어 단위 또는 몇 개의 단어 단위로 끊어 읽기(청크)를 수행한다. 따라서, 산출부(150)는 현재 검출된 사용자의 시선 경로가 능숙한 사용자의 읽기 시선 경로와 유사한지, 보통 사용자의 읽기 시선 경로와 유사한지, 부족한 사용자의 읽기 시선 경로와 유사한지를 비교할 수 있다. 이때, 능숙한 사용자의 읽기 시선 경로, 보통 사용자의 읽기 시선 경로, 부족한 사용자의 읽기 시선 경로가 기정의된 시선 패턴으로 저장부(130)에 저장된다. The calculator 150 may calculate a learning ability by analyzing a correlation between the predefined gaze pattern and the gaze path with respect to the detected gaze path. Here, the predefined line of sight is a pattern defined in relation to reading ability. For example, when a person reads a sentence, he or she reads the sentence (chunk) by word unit or several words. Therefore, the calculator 150 may compare whether the currently detected gaze path of the user is similar to the read gaze path of the user who is skilled, similar to the read gaze path of the ordinary user, or similar to the read gaze path of the insufficient user. At this time, the read gaze path of the skilled user, the read gaze path of the ordinary user, and the read gaze path of the insufficient user are stored in the storage unit 130 in the predefined gaze pattern.

한편, 본 실시 예에서는 학습 상태로, 학습 태도 및 학습 능력만을 산출하는 것을 설명하였지만, 구현시에는 학습 태도, 학습 능력 이외에 것도 시선 특징 정보에서 알 수 있는 경우에는 적용 가능하다. 또한, 본 실시 예에서는 사용자의 시선 특징 정보만을 이용하여 학습 상태를 분석하는 것으로 설명하였지만, 구현시에는 사용자의 피드백 정보(예를 들어, 컨텐츠에 대한 선택 동작)을 반영하여 학습 상태를 분석할 수도 있다. On the other hand, in the present embodiment has been described to calculate only the learning attitude and learning ability in the learning state, in the implementation, in addition to the learning attitude and learning ability can also be applied when the gaze characteristic information can be known. In addition, in the present exemplary embodiment, the learning state is analyzed using only the gaze characteristic information of the user. However, in the implementation, the learning state may be analyzed by reflecting the user's feedback information (for example, selecting a content). have.

출력부(160)는 산출된 학습 상태를 표시할 수 있다. 구체적으로, 출력부(160)는 산출부(150)에서 산출된 학습 상태를 도 3에 도시된 바와 같은 형태로 표시할 수 있다. The output unit 160 can display the calculated learning state. In detail, the output unit 160 may display the learning state calculated by the calculator 150 in the form shown in FIG. 3.

제어부(170)는 학습 모니터링 장치(100)의 각 구성을 제어한다. 구체적으로, 학습 컨텐츠 개시 명령이 입력되면, 제어부(170)는 저장부(130)에 기저장된 학습 컨텐츠가 표시되도록 표시부(110)를 제어할 수 있다. 그리고 제어부(170)는 표시된 학습 컨텐츠상의 사용자의 시선 경로가 검출되도록 검출부(120)를 제어하고, 검출된 시선 경로로부터 시선 특징 정보가 추출되도록 추출부(140)를 제어할 수 있다. 그리고 제어부(170)는 추출된 시선 특징 정보로부터 학습 컨텐츠에 대한 학습 상태가 산출되도록 산출부(150)를 제어할 수 있다. 그리고 제어부(170)는 산출된 학습 상태가 표시되도록 출력부(160)를 제어할 수 있다. The control unit 170 controls each configuration of the learning monitoring apparatus 100. In detail, when a learning content start command is input, the controller 170 may control the display unit 110 to display the previously stored learning content in the storage 130. The controller 170 may control the detector 120 to detect the gaze path of the user on the displayed learning content, and control the extractor 140 to extract gaze feature information from the detected gaze path. The controller 170 may control the calculator 150 to calculate a learning state of the learning content from the extracted gaze feature information. The control unit 170 may control the output unit 160 to display the calculated learning state.

본 실시 예에서는 판단 결과를 출력부(160)를 통하여 표시하는 동작만을 설명하였으나, 구현시에는 판단 결과가 저장부(130)에 저장되거나, 인쇄 장치를 통하여 인쇄되거나, 특정 장치에 전송되는 형태로도 구현될 수 있다. In the present embodiment, only the operation of displaying the determination result through the output unit 160 has been described. However, in the implementation, the determination result may be stored in the storage unit 130, printed through a printing apparatus, or transmitted to a specific apparatus. May also be implemented.

따라서, 본 실시 예에 따른 학습 모니터링 장치는, 사용자의 시선 경로를 분석하여 사용자의 학습 상태를 분석할 수 있게 된다. 이에 따라, 분석된 학습 상태에 기초하여 사용자 맞춤형 학습 컨텐츠를 제공할 수 있게 된다. Accordingly, the learning monitoring apparatus according to the present embodiment may analyze the learning state of the user by analyzing the gaze path of the user. Thus, the user-customized learning contents can be provided based on the analyzed learning state.

도 2는 본 발명의 일 실시 예에 따른 학습 모니터링 장치(100)의 동작을 설명하기 위한 도면이다. 2 is a view for explaining the operation of the learning monitoring apparatus 100 according to an embodiment of the present invention.

도 2를 참고하면, 먼저 표시부(110)는 학습 컨텐츠를 사용자에게 표시한다. 그리고 학습 컨텐츠가 표시되면, 검출부(120)는 학습 컨텐츠에 대한 사용자의 시선 경로를 검출한다. Referring to FIG. 2, first, the display unit 110 displays learning contents to a user. When the learning content is displayed, the detector 120 detects a gaze path of the user with respect to the learning content.

시선 경로가 검출되면, 추출부(140)는 검출된 시선 경로에서 동공 변화, 눈 깜빡임, 시선 응시점, '최초 고정 시간(time to first fixation)', '고정 길이(fixation length)', '고정 횟수(fixation count)', '관찰 길이(observation length)', '관찰 횟수(observation count)', '고정 비포(fixation before)', '참여율(Paricipant %)'와 같은 시선 특징 정보를 추출할 수 있다. When the gaze path is detected, the extractor 140 detects a pupil change in the detected gaze path, blinking eyes, a gaze gaze point, 'time to first fixation', 'fixation length', and 'fixation'. Eye feature information such as 'fixation count', 'observation length', 'observation count', 'fixation before' and 'Paricipant%' have.

시선 특징 정보가 추출되면, 산출부(150)는 NN(Nearest neighbors) 학습기를 이용하여 사용자의 학습 태도를 산출하고, 기정의된 시선 패턴과 검출된 시선 경로에 대한 상관 관계를 분석하여 학습 능력을 산출할 수 있다. When the gaze feature information is extracted, the calculator 150 calculates a learning attitude of a user using a NN (Nearest neighbors) learner, and analyzes a correlation between a predefined gaze pattern and a detected gaze path to improve learning ability. Can be calculated.

도 3은 본 실시 예에 따른 출력부의 출력 예를 도시한 도면이다. 3 is a diagram illustrating an output example of an output unit according to an exemplary embodiment.

도 3을 참조하면, 여러 가지 학습 상태를 다이어그램을 통하여 표시할 수 있음을 확인할 수 있다. Referring to FIG. 3, it can be seen that various learning states can be displayed through a diagram.

여기서 PS(Pupil size)는 단위 시간당 측정된 동공의 크기이다. PS (Pupil size) is the size of the pupil measured per unit time.

그리고 PG(Pupil gradient)는 단위 시간당 측정된 동공의 기울기 변화량이다. And PG (Pupil gradient) is the amount of change in the gradient of the pupil measured per unit time.

그리고 FTA(Fixation Time in AOI area)는 단위 시간당 측정된 AOI 영역 안에서의 누적된 시간으로, 상술한 고정 길이에 대응되는 값이다. 여기서 AOI 영역은 컨텐츠가 표시되는 영역이다. The FTA (Fixation Time in AOI area) is a cumulative time in the AOI area measured per unit time, and corresponds to the fixed length. Here, the AOI area is an area where content is displayed.

그리고 FFA(Fixation Frequency in AOI area)는 단위 시간당 측정된 AOI 영역 안에서의 누적된 횟수, 즉, 몇 번 AOI에 시선이 진입하였는지에 대한 것으로, 상술한 고정 횟수에 대응되는 값이다. The FFA (Fixation Frequency in AOI area) is a cumulative number of times in the AOI area measured per unit time, that is, how many times the eye enters the AOI and corresponds to the fixed number of times.

그리고 FFNA(Fixation Frequency in Non AOI area)는 단위 시간당 측정된 AOI 이외의 영역 안에서의 누적된 횟수에 대한 것이다. The FFNA (Fixation Frequency in Non AOI area) is for the accumulated number of times in the area other than the AOI measured per unit time.

도 4는 본 실시 예에 따른 학습 모니터링 방법의 동작을 설명하기 위한 흐름도이다. 4 is a flowchart illustrating the operation of the learning monitoring method according to the present embodiment.

먼저, 기저장된 학습 컨텐츠를 표시한다(S410). 여기서 기저장된 학습 컨텐츠는 어학과 관련된 이미지 컨텐츠, 음원 컨텐츠, 동영상 컨텐츠일 수 있다. First, previously stored learning content is displayed (S410). Here, the previously stored learning contents may be image contents related to language, sound source contents, and moving picture contents.

그리고 컨텐츠에 대한 사용자의 시선 경로를 검출한다(S420). 구체적으로, 촬상 장치(또는 촬영장치)를 이용하여 사용자의 눈을 촬상하고, 촬상된 이미지상에서 사용자의 동공을 검출하고, 검출된 사용자의 동공 위치에 기초하여 사용자의 시선을 검출하고, 이러한 시선 검출 동작을 연속적으로 수행하여 사용자의 시선 경로(또는 시선 이동, 안구 운동)를 검출할 수 있다. The user's gaze path for the content is detected (S420). Specifically, the user's eyes are captured using an imaging device (or imaging device), the user's pupil is detected on the captured image, the user's gaze is detected based on the detected user's pupil position, and such gaze detection By performing the operation continuously, the gaze path (or gaze movement, eye movement) of the user may be detected.

그리고 검출된 시선 경로에서 시선 특징 정보를 추출한다(S430). 구체적으로, 검출된 사용자의 시선 경로에서, 동공의 변화, 눈 깜박임, 시선 응시점, '최초 고정 시간(time to first fixation)', '고정 길이(fixation length)', '고정 횟수(fixation count)', '관찰 길이(observation length)', '관찰 횟수(observation count)', '고정 비포(fixation before)', '참여율(Paricipant %)'과 같은 시선 특징 정보를 추출할 수 있다. The gaze feature information is extracted from the detected gaze path (S430). Specifically, in the detected gaze path of the user, pupil change, blinking eyes, gaze point, 'time to first fixation', 'fixation length', and 'fixation count' Eye characteristic information such as', 'observation length', 'observation count', 'fixation before' and 'Paricipant%' can be extracted.

그리고 추출된 시선 특징 정보를 이용하여 학습 컨텐츠에 대한 학습 상태를 산출한다(S440). 구체적으로, 추출된 시선 정보를 이용하여 학습 태도(또는 학습 집중도)를 판단할 수 있다. 그리고 기정의된 시선 패턴과 검출된 시선 경로에 대한 시선 경로에 대한 상관 관계를 분석하여 학습 능력을 산출할 수 있다.The learning state of the learning content is calculated using the extracted gaze feature information (S440). In detail, a learning attitude (or learning concentration) may be determined using the extracted gaze information. In addition, the learning ability may be calculated by analyzing a correlation between the predefined gaze pattern and the gaze path with respect to the detected gaze path.

그 다음, 산출된 학습 상태를 표시할 수 있으며, 산출된 학습 상태에 대응되는 다른 학습 컨텐츠를 표시할 수도 있다. Then, the calculated learning state can be displayed, and other learning contents corresponding to the calculated learning state can be displayed.

따라서, 본 실시 예에 다른 학습 모니터링 방법은, 사용자의 시선 경로를 분석하여 사용자의 학습 상태를 분석할 수 있게 된다. 이에 따라, 분석된 학습 상태에 기초하여 사용자 맞춤형 학습 컨텐츠를 제공할 수 있게 된다. 도 4와 같은 사용자 학습 모니터링 방법은, 도 1의 구성을 가지는 학습 모니터링 장치상에서 실행될 수 있으며, 그 밖의 다른 구성을 가지는 학습 모니터링 장치상에도 실행될 수 있다. Accordingly, the learning monitoring method according to the present embodiment may analyze the learning state of the user by analyzing the gaze path of the user. Thus, the user-customized learning contents can be provided based on the analyzed learning state. The user learning monitoring method as shown in FIG. 4 may be executed on the learning monitoring apparatus having the configuration of FIG. 1 or may be executed on the learning monitoring apparatus having other configurations.

이상에서는 본 발명의 바람직한 실시 예에 대해서 도시하고, 설명하였으나, 본 발명은 상술한 특정의 실시 예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진자라면 누구든지 다양한 변형 실시할 수 있는 것은 물론이고, 그와 같은 변경은 청구범위 기재의 범위 내에 있게 된다. Although the above has been illustrated and described with respect to preferred embodiments of the present invention, the present invention is not limited to the above-described specific embodiments, and the present invention belongs to the present invention without departing from the gist of the present invention as claimed in the claims. Anyone of ordinary skill in the art can make various modifications, and such changes are within the scope of the claims.

100: 학습 모니터링 장치 110: 표시부
120: 검출부 130: 저장부
140: 추출부 150: 산출부
160: 출력부 170: 제어부100: learning monitoring device 110: display unit
120: Detection unit 130:
140: extraction unit 150: calculation unit
160: output unit 170: control unit

Claims (12)

학습 모니터링 장치에 있어서,
학습 컨텐츠 및 상기 학습 컨텐츠에 대한 기 정의된 시선 패턴을 저장하는 저장부;
상기 저장된 학습 컨텐츠를 표시하는 표시부;
상기 학습 컨텐츠에 대한 사용자의 시선 경로를 검출하는 검출부;
상기 검출된 시선 경로에서 시선 특징 정보를 추출하는 추출부; 및
상기 검출된 시선 경로를 이용하여 상기 학습 컨텐츠에 대한 사용자의 학습 능력을 산출하고, 상기 추출된 시선 특징 정보를 이용하여 상기 학습 컨텐츠에 대한 학습 태도를 산출하는 산출부를 포함하고,
상기 산출부는,
상기 기 정의된 시선 패턴과 상기 검출된 시선 경로에 대한 상관 관계를 분석하여 상기 학습 컨텐츠에 대한 사용자의 학습 능력을 산출하고,
상기 검출된 시선 경로의 학습 컨텐츠의 특정 영역에서 시선이 머무는 시간 및 상기 학습 컨텐츠의 특정 영역 안에서 시선이 머무는 횟수를 기초로 상기 학습 컨텐츠에 대한 학습 태도를 산출하는 것을 특징으로 하는 학습 모니터링 장치. A learning monitoring device comprising:
A storage unit to store learning content and a predefined gaze pattern for the learning content;
A display unit for displaying the stored learning contents;
A detector configured to detect a gaze path of a user with respect to the learning content;
An extracting unit for extracting gaze feature information from the detected sight path; And
Calculating a learning ability of the user with respect to the learning content by using the detected gaze path, and calculating a learning attitude with respect to the learning content by using the extracted gaze feature information;
The calculating unit calculates,
Calculating a user's learning ability with respect to the learning content by analyzing a correlation between the predefined gaze pattern and the detected gaze path,
And a learning attitude of the learning content is calculated based on the time at which the gaze stays in the specific area of the learning content of the detected gaze path and the number of times the gaze stays in the specific area of the learning content. 제1항에 있어서,
상기 시선 특징 정보는,
사용자의 동공 변화, 눈 깜빡임, 시선 응시점, 시선 응시점의 경로, 학습 컨텐츠의 특정 영역에서의 시선이 머무는 시간, 상기 특정 영역 안에서 시선이 머무는 횟수 중 적어도 하나의 정보인 것을 특징으로 하는 학습 모니터링 장치.The method of claim 1,
The visual-
Learning monitoring, characterized in that at least one of the information of the pupil changes, blinking eyes, gaze gaze point, gaze gaze point, the time the gaze stays in a specific area of the learning content, the number of times the gaze stays in the specific area Device. 삭제delete 제1항에 있어서,
상기 기정의된 시선 패턴은,
읽기 능력과 관련되어 정의된 읽기 시선 경로인 것을 특징으로 하는 학습 모니터링 장치. The method of claim 1,
The predefined gaze pattern is,
Learning monitoring device, characterized in that the reading gaze path defined in relation to the reading ability. 삭제delete 제1항에 있어서,
상기 학습 컨텐츠는,
어학 컨텐츠인 것을 특징으로 하는 학습 모니터링 장치. The method of claim 1,
The learning content,
Learning monitoring device, characterized in that the language content. 학습 모니터링 장치에서의 학습 모니터링 방법에 있어서,
기저장된 학습 컨텐츠를 표시하는 단계;
상기 학습 컨텐츠에 대한 사용자의 시선 경로를 검출하는 단계;
상기 검출된 시선 경로에서 시선 특징 정보를 추출하는 단계;
상기 검출된 시선 경로를 이용하여 상기 학습 컨텐츠에 대한 사용자의 학습 능력을 산출하고, 상기 추출된 시선 특징 정보를 이용하여 상기 학습 컨텐츠에 대한 사용자의 학습 태도를 산출하는 단계를 포함하고,
상기 사용자의 학습 태도를 산출하는 단계는,
저장부에 저장된 상기 학습 컨텐츠에 대한 기정의된 시선 패턴과, 상기 검출된 시선 경로에 대한 상관 관계를 분석하여 상기 학습 컨텐츠에 대한 사용자의 학습 능력을 산출하고,
상기 검출된 시선 경로의 학습 컨텐츠의 특정 영역에서 시선이 머무는 시간 및 상기 학습 컨텐츠의 특정 영역 안에서 시선이 머무는 횟수를 기초로 상기 학습 컨텐츠에 대한 학습 태도를 산출하는 것을 특징으로 하는 학습 모니터링 방법.In the learning monitoring method in the learning monitoring device,
Displaying previously stored learning content;
Detecting a gaze path of a user with respect to the learning content;
Extracting gaze feature information from the detected gaze path;
Calculating a learning ability of the user with respect to the learning content using the detected gaze path, and calculating a learning attitude of the user with respect to the learning content using the extracted gaze feature information;
Computing the learning attitude of the user,
Calculating a user's learning ability with respect to the learning content by analyzing a correlation between the predefined gaze pattern stored in the storage unit and the detected gaze path;
And a learning attitude of the learning content is calculated based on the time at which the gaze stays in the specific area of the learning content of the detected gaze path and the number of times the gaze stays in the specific area of the learning content. 제7항에 있어서,
상기 시선 특징 정보는,
사용자의 동공 변화, 눈 깜빡임, 시선 응시점, 시선 응시점의 경로, 학습 컨텐츠의 특정 영역에서의 시선이 머무는 시간, 상기 특정 영역 안에서 시선이 머무는 횟수 중 적어도 하나의 정보인 것을 특징으로 하는 학습 모니터링 방법. The method of claim 7, wherein
The visual-
Learning monitoring, characterized in that at least one of the information of the pupil changes, blinking eyes, gaze gaze point, gaze gaze point, the time the gaze stays in a specific area of the learning content, the number of times the gaze stays in the specific area Way. 삭제delete 제7항에 있어서,
상기 기정의된 시선 패턴은,
읽기 능력과 관련되어 정의된 읽기 시선 경로인 것을 특징으로 하는 학습 모니터링 방법. The method of claim 7, wherein
The predefined gaze pattern is,
Learning monitoring method characterized in that the reading gaze path defined in relation to the reading ability. 삭제delete 제7항에 있어서,
상기 학습 컨텐츠는,
어학 컨텐츠인 것을 특징으로 하는 학습 모니터링 방법.The method of claim 7, wherein
The learning content,
Learning monitoring method characterized in that the language content.
KR1020110129934A 2011-12-06 2011-12-06 Learning monitering device and method for monitering of learning KR101314686B1 (en)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020110129934A KR101314686B1 (en) 2011-12-06 2011-12-06 Learning monitering device and method for monitering of learning
US14/363,203 US9489574B2 (en) 2011-12-06 2012-11-26 Apparatus and method for enhancing user recognition
PCT/KR2012/010025 WO2013085193A1 (en) 2011-12-06 2012-11-26 Apparatus and method for enhancing user recognition

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020110129934A KR101314686B1 (en) 2011-12-06 2011-12-06 Learning monitering device and method for monitering of learning

Publications (2)

Publication Number Publication Date
KR20130065880A KR20130065880A (en) 2013-06-20
KR101314686B1 true KR101314686B1 (en) 2013-10-07

Family

ID=48862287

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020110129934A KR101314686B1 (en) 2011-12-06 2011-12-06 Learning monitering device and method for monitering of learning

Country Status (1)

Country Link
KR (1) KR101314686B1 (en)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101633543B1 (en) * 2014-04-17 2016-06-27 한국과학기술원 Method and system for displaying learning contents based on learning result
KR101879229B1 (en) * 2017-04-28 2018-07-17 백석대학교산학협력단 Online lecture monitoring system and method using gaze tracking technology
KR102515987B1 (en) * 2020-11-06 2023-03-31 주식회사 쉬모스랩 Apparatus and method for detecting learners' participation in an untact online class
KR102478271B1 (en) * 2020-12-07 2022-12-16 고려대학교 산학협력단 Foreign language reading ability evaluation device based on eye movement and operation method thereof
KR102519773B1 (en) * 2021-02-15 2023-04-11 오영석 Method of measuring level of knowledge based on area of interests and computer program for performing the method

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010057710A (en) * 2008-09-04 2010-03-18 Toyota Central R&D Labs Inc Concentration computing system and program

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010057710A (en) * 2008-09-04 2010-03-18 Toyota Central R&D Labs Inc Concentration computing system and program

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
김병주 외 1명, 한국 디자인 학회, 통권 제73호, Vol. 20, No. 5 (2007. 05.31) *
김병주 외 1명, 한국 디자인 학회, 통권 제73호, Vol. 20, No. 5 (2007. 05.31)*

Also Published As

Publication number Publication date
KR20130065880A (en) 2013-06-20

Similar Documents

Publication Publication Date Title
KR101455200B1 (en) Learning monitering device and method for monitering of learning
US9489574B2 (en) Apparatus and method for enhancing user recognition
KR101314686B1 (en) Learning monitering device and method for monitering of learning
US8814357B2 (en) System and method for identifying the existence and position of text in visual media content and for determining a subject's interactions with the text
CN102149326B (en) Drowsiness determining device and program
US20140125585A1 (en) Computer device operable with user's eye movement and method for operating the computer device
CN110291478A (en) Driver's monitoring and response system
US20100128118A1 (en) Identification of visual fixations in a video stream
CN102411478A (en) Electronic device and text guiding method therefor
WO2015174118A1 (en) Information-processing system, storage medium, and content acquisition method
CN104520799A (en) User input processing with eye tracking
KR20170110350A (en) Apparatus and Method for Measuring Concentrativeness using Personalization Model
US20130346060A1 (en) Translation interfacing apparatus and method using vision tracking
CN104063041B (en) A kind of information processing method and electronic equipment
US11016295B2 (en) Eyeglasses wearable device, method of controlling the eyeglasses wearable device and data management server
KR101661811B1 (en) User terminal, method for operating the same
KR101343875B1 (en) Analysis device of user cognition and method for analysis of user cognition
WO2016131337A1 (en) Method and terminal for detecting vision
CN106155316A (en) Control method, control device and electronic installation
US20100150447A1 (en) Description based video searching system and method
KR101413558B1 (en) Analysis device of user multi-intent, method of analysis user multi-intent
JP7011569B2 (en) Skill level judgment system
Heng et al. Analysis of performance between Kinect v1 and Kinect v2 for various facial part movements
CN105469048A (en) Method of increasing face detection performance
JP2012141884A (en) Evaluation support device and evaluation support system

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20160818

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20170817

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20180822

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20190827

Year of fee payment: 7