KR20240025807A - Gaze Information Visualization Method for Online Learning and Online Learning Interaction System - Google Patents
Gaze Information Visualization Method for Online Learning and Online Learning Interaction System Download PDFInfo
- Publication number
- KR20240025807A KR20240025807A KR1020220103894A KR20220103894A KR20240025807A KR 20240025807 A KR20240025807 A KR 20240025807A KR 1020220103894 A KR1020220103894 A KR 1020220103894A KR 20220103894 A KR20220103894 A KR 20220103894A KR 20240025807 A KR20240025807 A KR 20240025807A
- Authority
- KR
- South Korea
- Prior art keywords
- gaze
- instructor
- learning
- events
- online
- Prior art date
Links
- 230000003993 interaction Effects 0.000 title claims abstract description 24
- 238000007794 visualization technique Methods 0.000 title claims description 13
- 230000004434 saccadic eye movement Effects 0.000 claims abstract description 14
- 238000000034 method Methods 0.000 claims abstract description 11
- 238000013480 data collection Methods 0.000 claims description 10
- 239000000284 extract Substances 0.000 claims description 6
- 230000000694 effects Effects 0.000 abstract description 2
- 210000001508 eye Anatomy 0.000 description 19
- 238000005516 engineering process Methods 0.000 description 12
- 238000012800 visualization Methods 0.000 description 11
- 238000004891 communication Methods 0.000 description 10
- 238000010586 diagram Methods 0.000 description 7
- 230000001755 vocal effect Effects 0.000 description 5
- 230000006870 function Effects 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 238000011160 research Methods 0.000 description 4
- 210000005252 bulbus oculi Anatomy 0.000 description 2
- 230000008092 positive effect Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 208000025721 COVID-19 Diseases 0.000 description 1
- 206010041349 Somnolence Diseases 0.000 description 1
- 238000000692 Student's t-test Methods 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000010835 comparative analysis Methods 0.000 description 1
- 239000012141 concentrate Substances 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000010195 expression analysis Methods 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 230000008921 facial expression Effects 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 238000012353 t test Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
- G06Q50/20—Education
- G06Q50/205—Education administration or guidance
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
- G09B5/00—Electrically-operated educational appliances
- G09B5/06—Electrically-operated educational appliances with both visual and audible presentation of the material to be studied
- G09B5/065—Combinations of audio and video presentations, e.g. videotapes, videodiscs, television systems
Landscapes
- Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Tourism & Hospitality (AREA)
- Educational Administration (AREA)
- General Engineering & Computer Science (AREA)
- Strategic Management (AREA)
- Educational Technology (AREA)
- Marketing (AREA)
- Primary Health Care (AREA)
- Economics (AREA)
- Human Resources & Organizations (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- General Business, Economics & Management (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Electrically Operated Instructional Devices (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
본 발명은 온라인 학습을 위한 시선정보 시각화 방법 및 온라인 학습 상호작용 시스템에 관한 것으로서, 교수자 단말에서 학습 콘텐츠의 시작 메뉴가 선택되면, 온라인 상으로 제공되는 학습 콘텐츠가 교수자 단말의 화면에 표시되는 단계와, 상기 교수자 단말에 장착된 시선 추적장치를 통해 상기 학습 콘텐츠에 대한 교수자의 시선을 인식하여 교수자의 강의 중 시선 데이터를 수집하는 단계와, 수집된 시선 데이터를 통해 시선의 이동(movement), 응시(fixation), 도약(saccades)을 포함한 다양한 시선 이벤트를 획득하는 단계와, 획득한 시선 이벤트 중 특정 중요 콘텐츠에 대한 유용한 시선 이벤트(useful gaze events)를 선별적으로 추출하는 단계와, 상기 유용한 시선 이벤트(useful gaze events)에 대한 정보를 시각화하여 시선 표시영역을 학습 콘텐츠에 융합하여 학습자에게 제공하는 단계를 포함함으로써, 온라인 학습에서 학습자의 집중도를 자연스럽게 향상시키고, 온라인 학습자와 교수자와의 상호작용을 개선할 수 있는 효과가 있다. The present invention relates to a method for visualizing gaze information for online learning and an online learning interaction system, which includes the steps of displaying learning content provided online on the screen of the instructor terminal when the start menu of learning content is selected on the instructor terminal; , collecting gaze data during the instructor's lecture by recognizing the instructor's gaze on the learning content through a gaze tracking device mounted on the instructor terminal, and measuring gaze movement and gaze through the collected gaze data ( A step of acquiring various gaze events including fixation and saccades, a step of selectively extracting useful gaze events for specific important content from among the obtained gaze events, and the useful gaze events ( By including the step of visualizing information about useful gaze events and providing it to learners by fusing the gaze display area with the learning content, we can naturally improve the learner's concentration in online learning and improve the interaction between online learners and instructors. There is a possible effect.
Description
본 발명은 온라인 학습을 위한 시선정보 시각화 방법 및 온라인 학습 상호작용 시스템에 관한 것으로서, 보다 상세하게는 교수자와 학습자 간의 주요 비언어적 커뮤니케이션 도구 중 하나인 시선을 온라인 학습 콘텐츠에 적용하여, 온라인 학습에서 학습자의 집중도를 자연스럽게 향상시키고, 온라인 학습자와 교수자와의 상호작용을 개선할 수 있는 온라인 학습을 위한 시선정보 시각화 방법 및 온라인 학습 상호작용 시스템에 관한 것이다. The present invention relates to a method for visualizing gaze information for online learning and an online learning interaction system. More specifically, the present invention relates to a method of visualizing gaze information for online learning and an online learning interaction system. More specifically, the gaze, which is one of the main non-verbal communication tools between instructors and learners, is applied to online learning content, It is about a gaze information visualization method and online learning interaction system for online learning that can naturally improve concentration and improve interaction between online learners and instructors.
최근, COVID-19로 인하여, 학습환경에서 디지털 트랜스포메이션(Digital Transformation)이 진행되면서 비디오 기반의 온라인 학습에 대한 수요가 이전에 비해 급격히 증가하고 있다. Recently, due to COVID-19, as digital transformation progresses in the learning environment, demand for video-based online learning is rapidly increasing compared to before.
그러나, 수요가 급증하는 것에 비해, 실제 학습환경에서의 디지털 전환은 철저한 분석 및 준비를 통해 진행되지 못하였기 때문에 다양한 문제점이 발생되고 있다. 예컨대, 온라인 학습을 진행하는 교수자의 경우에는 학생들과 의사소통 및 상호작용이 부족하여 강의를 온라인으로 진행하는데 어려움이 있으며, 온라인 학습을 받는 학생의 경우에도, 비디오 기반의 온라인 강의에 집중하지 못하여 집중도 및 전반적인 학습 만족도가 크게 감소했다는 연구 결과들이 보고되고 있는 실정이다.However, despite the rapid increase in demand, various problems are occurring because digital transformation in actual learning environments has not been carried out through thorough analysis and preparation. For example, professors who conduct online learning have difficulty conducting lectures online due to a lack of communication and interaction with students, and students who receive online learning also have difficulty concentrating because they are unable to concentrate on video-based online lectures. Research results are reporting that overall learning satisfaction has decreased significantly.
이를 개선하기 위해, 기존에도 온라인 강의에 대한 연구가 진행되어 왔지만, 기존의 온라인 강의 연구에서는 학습자의 얼굴 인식 및 표정 분석을 통한 온라인 콘텐츠 이해도 예측 혹은 졸음 감지 등 학습 수요자를 모니터링하기 위한 시스템을 주로 제안하고 있고, 이는 학습자가 능동적으로 학습에 참여할 수 있는 환경을 구축하는 것이 아니라 교수자의 감시하에 강의가 진행됨으로써, 학습자의 부담을 증가시킴으로써, 앞서 언급한 학습자와 교수자 간의 상호작용 부족을 개선하는데는 큰 도움이 되지 못하는 단점이 있다. To improve this, research on online lectures has been conducted previously, but existing online lecture research mainly focuses on systems for monitoring learning users, such as predicting online content comprehension through facial recognition and facial expression analysis or detecting drowsiness. This is proposed to improve the lack of interaction between learners and instructors mentioned above by increasing the burden on learners by conducting lectures under the supervision of the instructor rather than creating an environment in which learners can actively participate in learning. It has the disadvantage of not being of much help.
또한, 상당수의 학생이 교수자와의 상호작용 부족을 원격 수업에서의 주요 불만사항으로 지적하는데, 현재의 온라인 수업에서는 교수자의 시선이 어디에 위치해 있는지 알 수 없어 시선에 기반한 상호작용이 극히 제한적일 뿐만 아니라, 학생들이 수업의 흐름을 파악하는 데 많은 어려움이 존재한다. In addition, a significant number of students point out the lack of interaction with the instructor as a major complaint in remote classes. In current online classes, it is impossible to know where the instructor's gaze is located, so not only is gaze-based interaction extremely limited. There are many difficulties for students to understand the flow of class.
따라서, 본 발명에서는 온라인 강의에서 제한적인 비언어적 커뮤니케이션을 보다 원활하게 사용하여 학생들의 집중도를 자연스럽게 향상시킬 수 있고, 교수자와 함께 참여하고 있다는 느낌을 받을 수 있어 대면 강의에서만 느낄 수 있었던 현장감을 온라인 강의에 접목함으로써, 학습 만족도를 향상시킬 수 있는 방법을 제안하고자 한다. Therefore, in the present invention, students' concentration can be naturally improved by using limited non-verbal communication more smoothly in online lectures, and students can feel that they are participating with the instructor, giving the online lecture a sense of presence that could only be felt in face-to-face lectures. By incorporating this, we would like to suggest a way to improve learning satisfaction.
본 발명은 상기와 같은 종래의 문제점을 감안하여 안출한 것으로서, 학습자의 주요 불만사항 중 하나인 교수자와의 상호작용 부족을 개선하기 위해 대면수업의 교수자와 학습자 간의 주요 비언어적 커뮤니케이션 도구 중 하나인 시선을 온라인 학습 콘텐츠에 적용하여 학습자의 집중도 및 학습 만족도를 향상시킬 수 있는 온라인 학습을 위한 시선정보 시각화 방법 및 온라인 학습 상호작용 시스템을 제공하는데 그 목적이 있다.The present invention was developed in consideration of the above-described conventional problems. In order to improve the lack of interaction with the instructor, which is one of the main complaints of learners, gaze, which is one of the main non-verbal communication tools between instructors and learners in face-to-face classes, is used. The purpose is to provide a gaze information visualization method and online learning interaction system for online learning that can be applied to online learning content to improve learner concentration and learning satisfaction.
또한, 시선 추적 기술을 활용하여 교수자의 주요 시선 정보를 온라인 학습 콘텐츠에 시각화하여 제공함으로써, 온라인 수업에서도 시선을 기반으로 한 상호작용을 지원할 수 있도록 하는 온라인 학습을 위한 시선정보 시각화 방법 및 온라인 학습 상호작용 시스템을 제공하는데 그 목적이 있다. In addition, a gaze information visualization method for online learning and online learning interaction that utilizes eye tracking technology to visualize and provide the instructor's key gaze information in online learning content to support gaze-based interaction in online classes. The purpose is to provide a working system.
상기와 같은 본 발명의 목적을 달성하기 위하여, 본 발명에서는 교수자 단말에서 학습 콘텐츠의 시작 메뉴가 선택되면, 온라인 상으로 제공되는 학습 콘텐츠가 교수자 단말의 화면에 표시되는 단계와, 상기 교수자 단말에 장착된 시선 추적장치를 통해 상기 학습 콘텐츠에 대한 교수자의 시선을 인식하여 교수자의 강의 중 시선 데이터를 수집하는 단계와, 수집된 시선 데이터를 통해 시선의 이동(movement), 응시(fixation), 도약(saccades)을 포함한 다양한 시선 이벤트를 획득하는 단계와, 획득한 시선 이벤트 중 특정 중요 콘텐츠에 대한 유용한 시선 이벤트(useful gaze events)를 선별적으로 추출하는 단계와, 상기 유용한 시선 이벤트(useful gaze events)에 대한 정보를 시각화하여 시선 표시영역을 학습 콘텐츠에 융합하여 학습자에게 제공하는 단계를 포함하는 온라인 학습을 위한 시선정보 시각화 방법이 제공된다. In order to achieve the purpose of the present invention as described above, the present invention includes the steps of displaying learning content provided online on the screen of the instructor terminal when the start menu of learning content is selected on the instructor terminal, and installing the learning content on the instructor terminal. A step of collecting gaze data during the instructor's lecture by recognizing the instructor's gaze on the learning content through an eye tracking device, and detecting gaze movement, fixation, and saccades through the collected gaze data. ), a step of acquiring various gaze events including, a step of selectively extracting useful gaze events for specific important content among the obtained gaze events, and a step of extracting useful gaze events for the useful gaze events. A gaze information visualization method for online learning is provided, which includes the step of visualizing information, fusing the gaze display area with learning content, and providing it to the learner.
본 발명에 있어서, 상기 유용한 시선 이벤트(useful gaze events)를 선별적으로 추출하는 단계에서는, 교수자가 화면의 한 곳을 응시하는 고정 이벤트(fixation event), 교수자의 시선이 한 응시점에서 이와 떨어진 다른 응시점으로 신속하게 이동하는 도약 이벤트(saccades event) 또는 n번째 좌표 데이터 이벤트 중 어느 하나 이상의 이벤트가 선별적으로 추출되는 것을 특징으로 한다. In the present invention, in the step of selectively extracting the useful gaze events, a fixation event in which the instructor gazes at one point on the screen, and the instructor's gaze moves from one gaze point to another point away from the screen. It is characterized in that at least one of a saccades event or an nth coordinate data event that quickly moves to the gaze point is selectively extracted.
또한, 상기 시선 표시영역을 학습 콘텐츠에 융합하여 학습자에게 제공하는 단계에서는, 상기 교수자가 강의를 진행할 동안의 시선 데이터를 강의 영상 기록과 함께 추출하여 상기 유용한 시선 이벤트를 시각화한 시선 표시영역을 학습 콘텐츠에 융합한 시선 표시 콘텐츠를 생성하거나, 상기 유용한 시선 이벤트(useful gaze events)에 대한 ID를 부여받은 프레임의 평균 좌표를 계산한 뒤 해당 프레임이 재생되는 동안 해당 평균 좌표에 시각화를 진행하여 시선 표시영역이 융합된 학습 콘텐츠를 실시간으로 온라인 학습자에게 제공할 수 있다. In addition, in the step of fusing the gaze display area with the learning content and providing it to the learner, the gaze data while the instructor is giving the lecture is extracted together with the lecture video record, and the gaze display area visualizing the useful gaze event is used as the learning content. Create gaze display content fused to the gaze display area, or calculate the average coordinates of frames given IDs for the useful gaze events and then visualize the average coordinates while the frame is played to create a gaze display area. This converged learning content can be provided to online learners in real time.
또한, 상기 시선 표시영역은 학습 콘텐츠에 적합한 형태로 제공되며, 상기 학습 콘텐츠 내 텍스트, 수식, 표, 그래프, 이미지에 따라 언더라인, 원, 타원, 사각형, 기타 다각형을 포함하여 다양한 도형의 형상으로 표시가 가능하며, 상기 시선 표시영역은 상기 도형의 외곽선 만을 형성하거나 외곽선 없이 음영을 주어 학습 콘텐츠 내용이 보이도록 투명도를 조절하여 시각화할 수 있다. In addition, the gaze display area is provided in a form suitable for the learning content, and has various shapes including underlines, circles, ovals, squares, and other polygons depending on the text, formula, table, graph, and image in the learning content. It can be displayed, and the gaze display area can be visualized by adjusting the transparency so that the learning content is visible by forming only the outline of the shape or by giving shading without the outline.
한편, 상기와 같은 본 발명의 목적을 달성하기 위해, 온라인 상으로 제공되는 학습 콘텐츠가 화면에 표시되는 교수자 단말과, 교수자의 시선을 추적하여 시선 위치정보를 획득할 수 있도록 상기 교수자 단말의 전면에 설치되는 시선 추적장치와, 시선 추적장치를 통해 상기 학습 콘텐츠에 대한 교수자의 시선을 인식하여 교수자의 강의 중 시선 데이터를 수집하는 시선 데이터 수집부와, 상기 시선 데이터 수집부가 수집한 시선 데이터를 통해 시선의 이동(movement), 응시(fixation), 도약(saccades)을 포함한 다양한 시선 이벤트를 획득하는 시선 이벤트 획득부와, 획득한 시선 이벤트 중 특정 중요 콘텐츠에 대한 유용한 시선 이벤트를 선별적으로 추출하여, 상기 유용한 시선 이벤트에 대한 정보를 시각화하여 시선 표시영역으로 표시하고, 상기 시선 표시영역을 학습 콘텐츠에 융합하는 콘텐츠 생성부와, 상기 시선 표시영역이 융합된 학습 콘텐츠를 수신하고, 수신한 상기 학습 콘텐츠를 화면에 표시하여 교수자의 시선 정보를 통해 교수자의 시선을 따라 학습자의 시선이 매칭되어 학습을 가능케하는 하나 이상의 사용자 단말을 포함하는 온라인 학습 상호작용 시스템이 제공될 수 있다. Meanwhile, in order to achieve the purpose of the present invention as described above, an instructor terminal on which learning content provided online is displayed on the screen, and an instructor terminal on the front of the instructor terminal so that gaze location information can be obtained by tracking the instructor's gaze. An installed eye tracking device, a gaze data collection unit that recognizes the instructor's gaze on the learning content through the gaze tracking device and collects gaze data during the instructor's lecture, and a gaze data collection unit that collects gaze data collected by the gaze data collection unit. A gaze event acquisition unit that acquires various gaze events including movement, fixation, and saccades, and selectively extracts useful gaze events for specific important content from among the acquired gaze events, A content generator that visualizes information about useful gaze events and displays it as a gaze display area, fuses the gaze display area with learning content, receives learning content in which the gaze display area is fused, and stores the received learning content. An online learning interaction system can be provided that includes one or more user terminals that display on the screen and enable learning by matching the learner's gaze with the instructor's gaze through the instructor's gaze information.
이상에서 살펴본 바와 같은 본 발명에 의하면, 학습자의 주요 불만사항 중 하나인 교수자와의 상호작용 부족을 개선하기 위해 대면수업의 교수자와 학습자 간의 주요 비언어적 커뮤니케이션 도구 중 하나인 시선을 온라인 학습 콘텐츠에 적용하여 학습자의 집중도 및 학습 만족도를 향상시킬 수 있다. According to the present invention as discussed above, in order to improve the lack of interaction with the instructor, which is one of the main complaints of learners, gaze, one of the main non-verbal communication tools between instructors and learners in face-to-face classes, is applied to online learning content. It can improve learners’ concentration and learning satisfaction.
또한, 시선 추적 기술을 활용하여 교수자의 주요 시선 정보를 온라인 학습 콘텐츠에 시각화하여 제공함으로써, 온라인 수업에서도 시선을 기반으로 한 상호작용을 지원할 수 있도록 하는 효과가 있다. In addition, by using eye tracking technology to visualize and provide the instructor's key gaze information in online learning content, it is effective in supporting gaze-based interaction in online classes.
또한, 온라인 강의에서의 제한적인 부분들을 보완함으로써 학습 콘텐츠의 품질 및 학습 만족도 향상에 긍정적인 효과를 주며, 차세대 지능형 에듀테크 실현에 도움이 되는 핵심 기술로의 활용을 기대할 수 있다.In addition, by complementing the limitations of online lectures, it has a positive effect on improving the quality of learning content and learning satisfaction, and can be expected to be used as a core technology to help realize next-generation intelligent edutech.
도 1은 본 발명의 일실시예에 따른 온라인 학습 상호작용 시스템의 구성을 개략적으로 나타내는 도면이다.
도 2는 본 발명의 일실시예에 따른 시스템 장치의 개략적인 구성을 모식적으로 보여주는 블록도이다.
도 3은 본 발명의 온라인 학습을 위한 시선정보 시각화 방법을 설명하기 위한 순서도이다.
도 4는 본 발명에서 교수자의 시선 정보를 시각화한 2가지 예시를 비교하여 나타내는 도면이다.
도 5는 본 발명에서 교수자의 시선 정보 중 중요 설명에 해당하는 구간에 대해서만 교수자의 시선을 시각화한 것을 나타내는 도면이다.
도 6은 본 발명의 대한 사용성 설문 조사 결과를 도시한 그래프이다. 1 is a diagram schematically showing the configuration of an online learning interaction system according to an embodiment of the present invention.
Figure 2 is a block diagram schematically showing the schematic configuration of a system device according to an embodiment of the present invention.
Figure 3 is a flowchart for explaining the gaze information visualization method for online learning of the present invention.
Figure 4 is a diagram comparing two examples of visualizing the instructor's gaze information in the present invention.
Figure 5 is a diagram showing the visualization of the instructor's gaze only for sections corresponding to important explanations among the instructor's gaze information in the present invention.
Figure 6 is a graph showing the results of a usability survey for the present invention.
이하, 본 발명의 바람직한 실시예를 첨부된 도면들을 참조하여 상세히 설명한다. 우선 각 도면의 구성 요소들에 참조 부호를 부가함에 있어서, 동일한 구성 요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 이때 도면에 도시되고 또 이것에 의해서 설명되는 본 발명의 구성과 작용은 적어도 하나의 실시예로서 설명되는 것이며, 이것에 의해서 본 발명의 기술적 사상과 그 핵심 구성 및 작용이 제한되지는 않는다.Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the attached drawings. First, when adding reference signs to components in each drawing, it should be noted that the same components are given the same reference numerals as much as possible even if they are shown in different drawings. At this time, the configuration and operation of the present invention shown in and explained by the drawings are explained as at least one embodiment, and the technical idea of the present invention and its core configuration and operation are not limited thereto.
도 1은 본 발명의 일실시예에 따른 온라인 학습 상호작용 시스템의 구성을 개략적으로 나타내는 도면이고, 도 2는 본 발명의 일실시예에 따른 시스템 장치의 개략적인 구성을 모식적으로 보여주는 블록도이며, 도 3은 본 발명의 온라인 학습을 위한 시선정보 시각화 방법을 설명하기 위한 순서도이다.Figure 1 is a diagram schematically showing the configuration of an online learning interaction system according to an embodiment of the present invention, and Figure 2 is a block diagram schematically showing the schematic configuration of a system device according to an embodiment of the present invention. , Figure 3 is a flowchart for explaining the gaze information visualization method for online learning of the present invention.
도 1을 참조하면, 본 발명의 일실시예에 따른 시스템은 통신 네트워크를 통해 서로 통신 가능한 교수자 단말(102), 하나 이상의 사용자 단말(10)(20)(30) 및 시스템 장치(100)를 포함할 수 있다.Referring to Figure 1, the system according to an embodiment of the present invention includes an
먼저, 통신 네트워크는 유선 및 무선 등과 같이 그 통신 양태를 가리지 않고 구성될 수 있으며, 서버와 서버 간의 통신과 서버와 단말 간의 통신이 수행되도록 다양한 형태로 구현될 수 있다.First, a communication network can be configured regardless of the communication mode, such as wired or wireless, and can be implemented in various forms to enable communication between servers and between servers and terminals.
상기 교수자 단말(102)은 온라인 상으로 제공되는 학습 콘텐츠가 화면에 표시되는 것으로, 교수자 단말(102)의 전면에는 교수자의 시선을 추적하여 시선 위치정보를 획득할 수 있도록 시선 추적장치(104)가 설치된다. The
본 발명에 따른 온라인 학습 상호작용 시스템은 시선 추적 기술을 활용하여, 교수자와 학습자 간의 주요 비언어적 커뮤니케이션 도구 중 하나인 시선을 온라인 학습 콘텐츠에 적용하여 학습자의 집중도 및 학습 만족도를 향상시키고자 하는 것으로, 교수자의 시선을 추적하여 시선 위치정보를 획득할 수 있도록 시선 추적장치(104)가 포함되는 것이다. The online learning interaction system according to the present invention utilizes eye tracking technology to apply gaze, one of the main non-verbal communication tools between instructors and learners, to online learning content to improve learners' concentration and learning satisfaction. A
본 발명에서, 상기 시선 추적장치(104)의 종류에는 특별한 제한이 없으며, 카메라 영상으로부터 교수자의 시선을 인식하여 시선 정보를 출력할 수 있는 수단이면 된다. 시선 추적장치는, 예를 들면 GazePoint 사의 GP3 아이트래커(Eye Tracker)일 수 있다. GP3 아이트래커는 이미징 및 처리 시스템의 핵심에 60Hz 머신 비전 카메라를 사용하는 연구용 아이트래커이다. 하지만, 이것은 예시적인 것으로, 현재 상용화되어 사용되고 있는 다른 종류의 시선 추적장치이거나 또는 시선 추적을 위하여 추후에 새롭게 개발되어 사용되는 보다 개선된 장치이어도 된다.In the present invention, there is no particular limitation on the type of the
한편, 복수의 사용자 단말(10)(20)(30)은 데스크탑 컴퓨터, 노트북, 태블릿, 스마트폰 등이 적용될 수 있으며, 일실시예에서는 노트북으로 도시하였으나 본 발명에서는 이를 노트북으로 한정하지 않는다. 복수의 사용자 단말(10)(20)(30) 각각은 시스템 장치(100)와 유무선으로 통신하도록 구성될 수 있다.Meanwhile, the plurality of
본 발명의 시스템 장치(100)는 서비스를 제공하는 자 내지 단체가 보유한 자체 서버일 수도 있고, 클라우드 서버일 수도 있고, 분산된 노드(node)들의 p2p(peer-to-peer) 집합일 수도 있다. 시스템 장치(100)는 통상의 컴퓨터가 가지는 연산 기능, 저장/참조 기능, 입출력 기능 및 제어 기능을 전부 또는 일부 수행하도록 구성될 수 있다.The
상기 시스템 장치(100)는 온라인 학습을 위한 학습 콘텐츠가 제공될 수 있도록 플랫폼을 제공할 수 있으며, 학습 콘텐츠를 복수의 사용자 단말(10)(20)(30)로 제공할 수 있다. 여기서, 학습 콘텐츠는 강의 영상 및 교육 자료로 구성될 수 있다.The
한편, 설명의 편의를 위해 도 1에서는 복수의 사용자 단말(10)(20)(30) 중 교수자 단말(10), 제2 사용자 단말(20) 및 제3 사용자 단말(30)만을 도시하였으나, 단말들의 수는 실시예에 따라 얼마든지 증가질 수 있으며, 장치(100)의 처리 용량이 허용하는 한, 단말들의 수는 특별한 제한이 없다.Meanwhile, for convenience of explanation, only the instructor terminal 10, the second user terminal 20, and the
도 2를 참조하면, 본 발명에서의 시스템 장치(100)는 시선 데이터 수집부(110), 시선 이벤트 획득부(120) 및 콘텐츠 생성부(130)를 포함할 수 있다. 일실시예에서, 시선 데이터 수집부(110), 시선 이벤트 획득부(120) 및 콘텐츠 생성부(130)는 물리적으로 구분된 하나 이상의 장치를 이용하여 구현되거나, 하나 이상의 프로세서 또는 하나 이상의 프로세서 및 소프트웨어의 결합에 의해 구현될 수 있으며, 도시된 예와 달리 구체적 동작에 있어 명확히 구분되지 않을 수 있다.Referring to FIG. 2 , the
상기 시선 데이터 수집부(110)는 시선 추적장치(104)를 통해 상기 학습 콘텐츠에 대한 교수자의 시선을 인식하여 교수자의 강의 중 시선 데이터를 수집할 수 있다. 교수자 시선의 이동(movement), 응시(fixation), 도약(saccades) 등 여러 시선 이벤트(Gaze Event)를 파악하고 활용하기 위해 교수자의 강의 중 시선 데이터를 수집하며, 상기 시선 추적장치(104)가 대상의 안구를 감지하는 Calibration을 진행해 시선 추적장치(104)가 안정적으로 교수자의 시선을 추적할 수 있도록 설정하고, 이후 전용 프로그램을 사용해 교수자가 강의를 진행할 동안의 시선데이터를 영상 기록과 함께 추출한다. The gaze
상기 시선 이벤트 획득부(120)는 상기 시선 데이터 수집부(110)가 수집한 시선 데이터를 통해 시선의 이동(movement), 응시(fixation), 교수자의 시선이 한 응시점에서 이와 떨어진 다른 응시점으로 신속하게 이동하는 도약(saccades)을 포함한 다양한 시선 이벤트를 획득한다. The gaze
콘텐츠 생성부(130)는 획득한 시선 이벤트 중 특정 중요 콘텐츠에 대한 유용한 시선 이벤트를 선별적으로 추출하여, 상기 유용한 시선 이벤트에 대한 정보를 시각화하여 시선 표시영역으로 표시하고, 상기 시선 표시영역을 학습 콘텐츠에 융합한다. The
여기서, 콘텐츠 생성부(130)는 학습 콘텐츠에 시선 표시영역을 융합하여 시선 표시 콘텐츠를 생성할 수 있다. 즉, 상기 콘텐츠 생성부(130)는 기 저장된 각 콘텐츠 별로 유용한 시선 이벤트에 대한 정보를 시각화한 시선 표시영역을 콘텐츠와 융합하여 별도의 시선 표시 콘텐츠를 생성할 수 있다. 예를 들어, 콘텐츠가 동영상 강의인 경우, 시선 표시 콘텐츠는 동영상 강의에 교수자의 시선 정보가 표시영역으로 결합된 것일 수 있다.Here, the
여기서, 상기 시선 표시 콘텐츠는 상기 교수자가 강의를 진행할 동안의 시선 데이터를 강의 영상 기록과 함께 추출하여 상기 유용한 시선 이벤트를 시각화한 시선 표시영역을 학습 콘텐츠에 융합함으로써, 시선 표시영역이 융합된 시선 표시 콘텐츠를 녹화된 강의영상으로 학습자에게 제공할 수 있다. Here, the gaze display content extracts the gaze data while the instructor is giving the lecture along with the lecture video record and fuses the gaze display area visualizing the useful gaze event with the learning content, thereby creating a gaze display in which the gaze display areas are fused. Content can be provided to learners as recorded lecture videos.
또한, 시선 추적장치(104)에서 추출한 데이터로부터 각 프레임의 정보를 획득한 후, 같은 고정(Fixation) ID를 부여받은 프레임의 평균 좌표를 계산한 뒤 해당 프레임이 재생되는 동안 해당 평균 좌표에 시각화를 진행하여 시선 표시영역이 융합된 학습 콘텐츠를 실시간으로 온라인 학습자에게 제공할 수 있다. In addition, after obtaining the information of each frame from the data extracted from the
도 3은 본 발명의 온라인 학습을 위한 시선정보 시각화 방법을 설명하기 위한 순서도이다.Figure 3 is a flowchart for explaining the gaze information visualization method for online learning of the present invention.
도 3을 참조하면, 먼저, 교수자 단말(102)에서 학습 콘텐츠의 시작 메뉴가 선택되면, 온라인 상으로 제공되는 학습 콘텐츠가 교수자 단말(102)의 화면에 표시된다(S110).Referring to FIG. 3, first, when the start menu of learning content is selected on the
이후, 상기 교수자 단말(102)에 장착된 시선 추적장치(104)를 통해 상기 학습 콘텐츠에 대한 교수자의 시선을 인식하여 교수자의 강의 중 시선 데이터를 수집한다(S120). Thereafter, the instructor's gaze on the learning content is recognized through the
수집된 시선 데이터를 통해 시선의 이동(movement), 응시(fixation), 도약(saccades)을 포함한 다양한 시선 이벤트를 획득한다(S130). Various gaze events, including gaze movement, fixation, and saccades, are obtained through the collected gaze data (S130).
이후, 획득한 시선 이벤트 중 특정 중요 콘텐츠에 대한 유용한 시선 이벤트(useful gaze events)를 선별적으로 추출한다(S140). Afterwards, useful gaze events for specific important content are selectively extracted from the obtained gaze events (S140).
상기 유용한 시선 이벤트는 교수자가 화면의 한 곳을 응시하는 고정 이벤트(fixation event), 교수자의 시선이 한 응시점에서 이와 떨어진 다른 응시점으로 신속하게 이동하는 도약 이벤트(saccades event) 또는 n번째 좌표 데이터 이벤트 등이 될 수 있다. The useful gaze events include a fixation event in which the instructor gazes at one point on the screen, a saccades event in which the instructor's gaze quickly moves from one gaze point to another gaze point away from it, or nth coordinate data. It can be an event, etc.
본 발명에 있어서, 시선 추적장치(104)를 통해 상기 학습 콘텐츠에 대한 교수자의 시선을 인식하여 시선 데이터를 수집한 후, 시선의 이동(movement), 응시(fixation), 도약(saccades) 등의 다양한 시선 이벤트 중 의미있는 시선 이벤트, 즉, 유용한 시선 이벤트(useful gaze events)를 선별적으로 추출하는 과정을 거치는 것이 매우 중요하다. In the present invention, gaze data is collected by recognizing the instructor's gaze on the learning content through the
즉, 본 발명에서 시선 표시영역을 형성함에 있어서, 모든 시선 이벤트를 시선 표시영역으로 형성하는 것이 아니라, 획득한 시선 이벤트 중 특정 중요 콘텐츠에 대한 의미있는 시선을 추출하기 위해, 유용한 시선 이벤트(useful gaze events)를 선별적으로 추출하여 시선 표시영역을 형성할 수 있다. That is, in forming the gaze display area in the present invention, rather than forming all gaze events into the gaze display area, a useful gaze event is used to extract meaningful gaze for specific important content among the obtained gaze events. events) can be selectively extracted to form a gaze display area.
이때, 상기 유용한 시선 이벤트(useful gaze events)는 교수자가 화면의 한 곳을 응시하는 고정 이벤트(fixation event), 교수자의 시선이 한 응시점에서 이와 떨어진 다른 응시점으로 신속하게 이동하는 도약 이벤트(saccades event) 또는 n번째 좌표 데이터 이벤트가 될 수 있으며, 이중 어느 하나 이상의 이벤트가 선별적으로 추출되어 시각화가 진행된다. At this time, the useful gaze events include a fixation event in which the instructor gazes at one point on the screen, and a saccades event in which the instructor's gaze quickly moves from one gaze point to another gaze point away from it. event) or the nth coordinate data event, one or more of which are selectively extracted and visualized.
이와 같이, 상기 유용한 시선 이벤트(useful gaze events)에 대한 정보를 시각화하여 시선 표시영역을 학습 콘텐츠에 융합하여 학습자에게 제공한다(S150).In this way, information about the useful gaze events is visualized and the gaze display area is integrated into the learning content and provided to the learner (S150).
상기 시선 표시영역을 학습 콘텐츠에 융합하여 학습자에게 제공하는 단계(S150)에서는, 상기 교수자가 강의를 진행할 동안의 시선 데이터를 강의 영상 기록과 함께 추출하여 상기 유용한 시선 이벤트를 시각화한 시선 표시영역을 학습 콘텐츠에 융합한 시선 표시 콘텐츠를 생성함으로써, 시선 표시영역이 융합된 시선 표시 콘텐츠를 녹화된 강의영상으로 학습자에게 제공할 수 있다. In the step (S150) of fusing the gaze display area with learning content and providing it to the learner, gaze data while the instructor is giving a lecture is extracted together with the lecture video record to learn a gaze display area that visualizes the useful gaze event. By creating gaze display content fused with content, gaze display content with fused gaze display areas can be provided to learners as recorded lecture videos.
또는, 상기 유용한 시선 이벤트(useful gaze events)에 대한 ID를 부여받은 프레임의 평균 좌표를 계산한 뒤 해당 프레임이 재생되는 동안 해당 평균 좌표에 시각화를 진행하여 시선 표시영역이 융합된 학습 콘텐츠를 실시간으로 온라인 학습자에게 제공할 수 있다. Alternatively, calculate the average coordinates of the frames that have been given IDs for the useful gaze events, and then visualize the average coordinates while the frame is played to display learning content with a fusion of gaze display areas in real time. It can be provided to online learners.
<실시예><Example>
이하에서는, 본 발명의 온라인 학습을 위한 시선정보 시각화 방법에 대한 구체적인 실시예를 설명하도록 한다. Below, a specific embodiment of the gaze information visualization method for online learning of the present invention will be described.
본 발명의 온라인 학습을 위한 시선정보 시각화 방법은 하기의 3단계로 진행한다. The gaze information visualization method for online learning of the present invention proceeds in the following three steps.
1. 시선 데이터 수집1. Gathering gaze data
- 교수자 시선의 이동, 응시, 도약 등 여러 Gaze Event를 파악하고 활용하기 위해 교수자의 강의 중 시선 데이터를 수집한다. 교수자의 시선 데이터 수집에는 GazePoint 사의 GP3 아이트래커를 사용하였으며 아이트래커를 PC에 설치한 뒤, 아이트래커가 대상의 안구를 감지하는 Calibration을 진행해 아이트래커가 안정적으로 교수자의 시선을 추적할 수 있도록 설정한다. 이후 전용 프로그램을 사용해 교수자가 강의를 진행할 동안의 시선 데이터를 영상 기록과 함께 추출한다. - Collect gaze data during lectures to identify and utilize various gaze events such as movement of the instructor's gaze, gaze, and leaping. To collect the instructor's gaze data, GazePoint's GP3 eye tracker was used. After installing the eye tracker on the PC, calibration was performed to detect the subject's eyeballs and the eye tracker was set to stably track the instructor's gaze. . Afterwards, using a dedicated program, gaze data while the instructor is giving a lecture is extracted along with the video record.
2. 시선 이벤트 획득2. Acquire gaze event
- 아이트래커로부터 얻은 시선 데이터의 기록 빈도는 60Hz이고, 한 샘플에는 프레임 순으로 부여되는 ID, 기록 시간, 화면상의 X좌표와 Y좌표 등의 데이터를 기록한다. 이를 기반으로 시선 좌표값의 변화가 크지 않은 기간 동안의 시선은 같은 곳을 응시하는 것으로 판단되어 같은 고정(Fixation) ID가 부여된다. 이후 학습자에게 보다 정확한 시선 정보를 제공하기 위해 데이터 후처리를 진행한다.- The recording frequency of gaze data obtained from the eye tracker is 60Hz, and data such as ID, recording time, and X and Y coordinates on the screen are recorded in one sample. Based on this, the gaze during the period when the gaze coordinate value does not change significantly is judged to be gazing at the same place, and the same fixation ID is given. Afterwards, data post-processing is performed to provide more accurate gaze information to learners.
3. 의미있는 시선 추출 및 시각화3. Extract and visualize meaningful gaze
- 여러 종류의 시선 이벤트(Gaze Event) 중, 화면의 한 곳을 응시하는 event를 의미하는 Fixation Event에 대한 정보를 시각화하여 학습 콘텐츠에 융합하고 이를 학습자에게 제공한다. 아이트래커에서 추출한 데이터로부터 각 프레임의 정보를 획득한 후, 같은 Fixation ID를 부여받은 프레임의 평균 좌표를 계산한 뒤 해당 프레임이 재생되는 동안 해당 평균 좌표에 시각화를 진행한다. - Among various types of gaze events, information about the fixation event, which refers to an event of staring at one part of the screen, is visualized, integrated into learning content, and provided to learners. After obtaining information about each frame from the data extracted from the eye tracker, the average coordinates of the frames given the same Fixation ID are calculated, and visualization is performed on the average coordinates while the frame is played.
다양한 시선 이벤트 중 고정 이벤트(fixation event)와 도약 이벤트(saccades event)는 강사의 강의 흐름과 주의를 효과적으로 포착할 수 있기 때문에 의미가 있으며, 유용한 시선 이벤트로 사용할 수 있다. 먼저 GP3 아이트래커에서 원시 시선 데이터를 추출한 다음 추가 전처리 단계를 위해 저장하고, 모든 원시 시선 이벤트의 시각화는 사전 녹화된 비디오 콘텐츠의 품질을 크게 저하시키는 엄청난 수의 점과 선을 생성할 수 있으므로, 동영상 강의의 가시성과 가독성을 유지하면서 학습자에게 시선을 제공하기 위해 유용한 시선 이벤트를 추출하여 시선 시각화를 원본 콘텐츠에 통합하여 비디오 강의를 위한 시선 표시 콘텐츠를 생성한다. Among various gaze events, fixation events and saccades events are meaningful because they can effectively capture the instructor's lecture flow and attention, and can be used as useful gaze events. We first extract the raw gaze data from the GP3 eye tracker and then save it for further preprocessing steps, as visualization of all raw gaze events can generate a huge number of dots and lines that significantly degrade the quality of pre-recorded video content. To provide gaze to learners while maintaining the visibility and readability of the lecture, useful gaze events are extracted and gaze visualization is integrated into the original content to generate gaze display content for video lectures.
시각화를 진행하는 과정에서 두 가지의 표현 방식을 사용하여 학습자에게 더 나은 시스템을 제공하기 위해 비교분석을 진행하였다. In the process of visualization, a comparative analysis was conducted using two representation methods to provide a better system to learners.
도 4는 본 발명에서 교수자의 시선 정보를 시각화한 2가지 예시를 비교하여 나타내는 도면이다. Figure 4 is a diagram comparing two examples of visualizing the instructor's gaze information in the present invention.
두 방식 모두 300x150 크기의 반투명 회색 직사각형으로 교수자의 시선을 시각화하였으며, 콘텐츠에서 교수자의 시선이동 경로는 사각형들 간의 라인(Line)으로 표시되도록 하였다. In both methods, the instructor's gaze was visualized as a translucent gray rectangle measuring 300x150, and the instructor's gaze movement path in the content was displayed as a line between the squares.
도 4 (a)는 기본형 시각화의 예시로서 교수자의 시선 이벤트를 순차적으로 모두 시각화하는 기술이고, 도 4 (b)의 경우 강의의 중요 설명에 해당하는 구간에 대해서만 강의자의 시선을 시각화하는 기술이다. Figure 4 (a) is an example of basic visualization, which is a technology that sequentially visualizes all of the instructor's gaze events, and Figure 4 (b) is a technology that visualizes the instructor's gaze only for sections corresponding to important explanations of the lecture.
도 4 (a)에서는 시선 표시가 빈번하게 움직여 학습자의 집중도를 떨어뜨릴 우려가 남아있고 교수자의 경우 학습자의 학습 진행 상황을 알 수 없다는 한계점이 존재한다. 따라서, 강의의 중요한 부분을 추출하는 과정을 거쳐 유용한 시선 이벤트를 추출하는 것이 매우 중요하다. In Figure 4 (a), there is still a concern that the gaze indicator moves frequently, reducing the learner's concentration, and there is a limitation in the instructor's inability to know the learner's learning progress. Therefore, it is very important to extract useful gaze events through the process of extracting important parts of the lecture.
한편, 도 4의 (a)와 (b)에서는 300x150 크기의 반투명 회색 직사각형으로 교수자의 시선을 시각화하였으나, 본 발명에서는 다양한 형태의 시선 표시영역을 학습 콘텐츠에 융합하여 학습자에게 제공할 수 있다. 예컨대, 상기 시선 표시영역은 학습 콘텐츠에 적합한 형태로 제공되며, 상기 학습 콘텐츠 내 텍스트, 수식, 표, 그래프, 이미지에 따라 언더라인, 원, 타원, 사각형, 기타 다각형을 포함하여 다양한 도형의 형상으로 표시가 가능하며, 상기 시선 표시영역은 상기 도형의 외곽선 만을 형성하거나 외곽선 없이 음영을 주어 학습 콘텐츠 내용이 보이도록 투명도를 조절하여 시각화할 수 있다. Meanwhile, in Figures 4 (a) and (b), the instructor's gaze is visualized as a translucent gray rectangle with a size of 300x150, but in the present invention, various types of gaze display areas can be combined with learning content and provided to the learner. For example, the gaze display area is provided in a form suitable for the learning content, and has various shapes including underlines, circles, ovals, squares, and other polygons depending on the text, formula, table, graph, and image in the learning content. It can be displayed, and the gaze display area can be visualized by adjusting the transparency so that the learning content is visible by forming only the outline of the shape or by giving shading without the outline.
도 6은 본 발명의 대한 사용성 설문 조사 결과를 도시한 그래프로서, 본 발명의 시각화 기술이 온라인 학습에 도움이 되는지 검증하기 위해 통제된 환경에서 학생들을 대상으로 설문 조사를 진행한 결과를 나타낸다. Figure 6 is a graph showing the results of a usability survey for the present invention. It shows the results of a survey conducted on students in a controlled environment to verify whether the visualization technology of the present invention is helpful for online learning.
사용성 설문에서는 교수자의 시선 시각화가 슬라이드의 내용에 대한 집중도 및 이해도에 영향을 미치는지, 다른 방해요소(예: 전화 통화)로 인해 학생들이 방해를 받은 경우 강의에 다시 집중하고자 할 때 현재 교수자가 설명하고 있는 슬라이드의 부분(위치)를 쉽게 인지할 수 있었는지 등에 대하여 파악하고자 아래 다섯 가지의 질문을 토대로 평가하였다. (GazeLight: 도 4(a)의 시각화 기술, GazeLight+: 도 4(b)의 시각화 기술)The usability survey asked students whether visualization of the instructor's gaze affects their concentration and understanding of the content on the slides, and whether the current instructor explains when students are interrupted by other distractions (e.g. phone calls) and wants to refocus on the lecture. The evaluation was conducted based on the five questions below to determine whether the parts (positions) of the slide were easily recognizable. (GazeLight: visualization technology in Figure 4(a), GazeLight+: visualization technology in Figure 4(b))
·RQ1: GazeLight (GazeLight+)가 강의에 집중하는 데 도움이 됩니까? ·RQ1: Does GazeLight (GazeLight+) help me focus on lectures?
·RQ2: GazeLight (GazeLight+)는 강의 내용을 이해하는 데 도움이 됩니까? ·RQ2: Does GazeLight (GazeLight+) help you understand the lecture content?
·RQ3: GazeLight (GazeLight+)는 교수자가 현재 설명하고 있는 슬라이드의 일부(위치)를 인식하는 데 도움이 됩니까?·RQ3: Does GazeLight (GazeLight+) help instructors recognize the part (position) of the slide they are currently explaining?
·RQ4: GazeLight (GazeLight+)는 교수자와 함께 수업에 참여하는 느낌을 줍니까? ·RQ4: Does GazeLight (GazeLight+) make you feel like you are participating in the class with the instructor?
·RQ5: GazeLight (GazeLight+)는 학생의 학습 과정을 방해하지 않습니까? ·RQ5: Does GazeLight (GazeLight+) not interfere with students’ learning process?
각 설문은 7점 척도를 활용하여 평가되었으며, 결과는 도 6에서 볼 수 있듯이 모든 문항에서 과반수의 학생들이 두 접근 방식 모두 긍정적으로 응답했다. Each survey was evaluated using a 7-point scale, and as can be seen in Figure 6, the majority of students responded positively to both approaches in all questions.
또한, t-test 결과 GazeLight+(도 4(b)의 시각화 기술)가 학습에 더 도움이 되었다는 것을 확인할 수 있었으며, 추가로 실제 강의에서 본 연구의 시스템을 사용할 의향이 있는지에 대한 질문에 80%의 피험자가 의향이 있다고 밝혔다. In addition, the t-test results confirmed that GazeLight+ (visualization technology in Figure 4(b)) was more helpful for learning, and in addition, 80% answered the question of whether they were willing to use the system in this study in actual lectures. The subject indicated that he or she was willing.
따라서, 본 발명은 시선 추적 기술을 활용하여 교수자의 주요 시선 정보를 온라인 학습 콘텐츠에 시각화하여 제공함으로써, 온라인 수업에서도 시선을 기반으로 한 상호작용을 지원할 수 있도록 하는 효과가 있고, 학습자의 주요 불만사항 중 하나인 교수자와의 상호작용 부족을 개선하여 학습자의 집중도 및 학습 만족도를 향상시킬 수 있다. Therefore, the present invention utilizes eye-tracking technology to visualize and provide the instructor's main gaze information in online learning content, which has the effect of supporting gaze-based interaction even in online classes and addressing the main complaints of learners. By improving one of the problems, lack of interaction with the instructor, the learner's concentration and learning satisfaction can be improved.
또한, 온라인 강의에서의 제한적인 부분들을 보완함으로써 학습 콘텐츠의 품질 및 학습 만족도 향상에 긍정적인 효과를 주며, 차세대 지능형 에듀테크 실현에 도움이 되는 핵심 기술로의 활용을 기대할 수 있다.In addition, by complementing the limitations of online lectures, it has a positive effect on improving the quality of learning content and learning satisfaction, and can be expected to be used as a core technology to help realize next-generation intelligent edutech.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능하다. 또한, 본 발명에 개시된 실시 예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시 예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.The above description is merely an illustrative explanation of the technical idea of the present invention, and various modifications and variations can be made by those skilled in the art without departing from the essential characteristics of the present invention. In addition, the embodiments disclosed in the present invention are not intended to limit the technical idea of the present invention, but are for illustrative purposes, and the scope of the technical idea of the present invention is not limited by these embodiments. The scope of protection of the present invention should be interpreted in accordance with the claims below, and all technical ideas within the equivalent scope should be construed as being included in the scope of rights of the present invention.
10, 20, 30 : 사용자 단말
100 : 시스템 장치
102 : 교수자 단말
104 : 시선 추적장치
110 : 시선 데이터 수집부
120 : 시선 이벤트 획득부
130 : 콘텐츠 생성부10, 20, 30: User terminal
100: System device
102: Instructor terminal
104: Eye tracking device
110: Gaze data collection unit
120: Gaze event acquisition unit
130: Content creation unit
Claims (5)
상기 교수자 단말에 장착된 시선 추적장치를 통해 상기 학습 콘텐츠에 대한 교수자의 시선을 인식하여 교수자의 강의 중 시선 데이터를 수집하는 단계;
수집된 시선 데이터를 통해 시선의 이동(movement), 응시(fixation), 도약(saccades)을 포함한 다양한 시선 이벤트를 획득하는 단계;
획득한 시선 이벤트 중 특정 중요 콘텐츠에 대한 유용한 시선 이벤트(useful gaze events)를 선별적으로 추출하는 단계; 및
상기 유용한 시선 이벤트(useful gaze events)에 대한 정보를 시각화하여 시선 표시영역을 학습 콘텐츠에 융합하여 학습자에게 제공하는 단계;
를 포함하는 온라인 학습을 위한 시선정보 시각화 방법. When the start menu of learning content is selected on the instructor terminal, displaying the learning content provided online on the screen of the instructor terminal;
Recognizing the instructor's gaze on the learning content through a gaze tracking device mounted on the instructor terminal and collecting gaze data during the instructor's lecture;
Obtaining various gaze events including gaze movement, fixation, and saccades through collected gaze data;
Selectively extracting useful gaze events for specific important content from among the acquired gaze events; and
Visualizing information about the useful gaze events and fusing the gaze display area with learning content to provide the information to the learner;
A method for visualizing gaze information for online learning, including.
교수자가 화면의 한 곳을 응시하는 고정 이벤트(fixation event), 교수자의 시선이 한 응시점에서 이와 떨어진 다른 응시점으로 신속하게 이동하는 도약 이벤트(saccades event) 또는 n번째 좌표 데이터 이벤트 중 어느 하나 이상의 이벤트가 선별적으로 추출되는 것을 특징으로 하는 온라인 학습을 위한 시선정보 시각화 방법. The method of claim 1, wherein in the step of selectively extracting useful gaze events,
One or more of the following: a fixation event in which the instructor gazes at one point on the screen, a saccades event in which the instructor's gaze quickly moves from one gaze point to another gaze point away from it, or an nth coordinate data event. A gaze information visualization method for online learning in which events are selectively extracted.
상기 시선 표시영역을 학습 콘텐츠에 융합하여 학습자에게 제공하는 단계에서는,
상기 교수자가 강의를 진행할 동안의 시선 데이터를 강의 영상 기록과 함께 추출하여 상기 유용한 시선 이벤트를 시각화한 시선 표시영역을 학습 콘텐츠에 융합한 시선 표시 콘텐츠를 생성하거나,
상기 유용한 시선 이벤트(useful gaze events)에 대한 ID를 부여받은 프레임의 평균 좌표를 계산한 뒤 해당 프레임이 재생되는 동안 해당 평균 좌표에 시각화를 진행하여 시선 표시영역이 융합된 학습 콘텐츠를 실시간으로 온라인 학습자에게 제공하는 것을 특징으로 하는 온라인 학습을 위한 시선정보 시각화 방법. In claim 1,
In the step of fusing the gaze display area with learning content and providing it to the learner,
By extracting the gaze data while the instructor was giving the lecture along with the lecture video record, gaze display content is created by fusing the gaze display area visualizing the useful gaze event with the learning content, or
After calculating the average coordinates of the frames that have been given IDs for the useful gaze events, the average coordinates are visualized while the frames are played, and the learning content in which the gaze display area is fused is provided to online learners in real time. A gaze information visualization method for online learning, characterized in that it is provided to.
상기 시선 표시영역은 학습 콘텐츠에 적합한 형태로 제공되며,
상기 학습 콘텐츠 내 텍스트, 수식, 표, 그래프, 이미지에 따라 언더라인, 원, 타원, 사각형, 기타 다각형을 포함하여 다양한 도형의 형상으로 표시가 가능하며,
상기 시선 표시영역은 상기 도형의 외곽선 만을 형성하거나 외곽선 없이 음영을 주어 학습 콘텐츠 내용이 보이도록 투명도를 조절하여 시각화하는 것을 특징으로 하는 온라인 학습을 위한 시선정보 시각화 방법. In claim 1,
The gaze display area is provided in a form suitable for learning content,
Depending on the text, formulas, tables, graphs, and images in the learning content, it can be displayed in various shapes, including underlines, circles, ovals, squares, and other polygons.
The gaze information visualization method for online learning, characterized in that the gaze display area is visualized by adjusting transparency so that the learning content is visible by forming only the outline of the shape or giving shading without the outline.
교수자의 시선을 추적하여 시선 위치정보를 획득할 수 있도록 상기 교수자 단말의 전면에 설치되는 시선 추적장치;
시선 추적장치를 통해 상기 학습 콘텐츠에 대한 교수자의 시선을 인식하여 교수자의 강의 중 시선 데이터를 수집하는 시선 데이터 수집부;
상기 시선 데이터 수집부가 수집한 시선 데이터를 통해 시선의 이동(movement), 응시(fixation), 도약(saccades)을 포함한 다양한 시선 이벤트를 획득하는 시선 이벤트 획득부;
획득한 시선 이벤트 중 특정 중요 콘텐츠에 대한 유용한 시선 이벤트를 선별적으로 추출하여, 상기 유용한 시선 이벤트에 대한 정보를 시각화하여 시선 표시영역으로 표시하고, 상기 시선 표시영역을 학습 콘텐츠에 융합하는 콘텐츠 생성부; 및
상기 시선 표시영역이 융합된 학습 콘텐츠를 수신하고, 수신한 상기 학습 콘텐츠를 화면에 표시하여 교수자의 시선 정보를 통해 교수자의 시선을 따라 학습자의 시선이 매칭되어 학습을 가능케하는 하나 이상의 사용자 단말;
을 포함하는 온라인 학습 상호작용 시스템.
Instructor terminal on which learning content provided online is displayed on the screen;
A gaze tracking device installed on the front of the instructor's terminal to track the instructor's gaze and obtain gaze location information;
A gaze data collection unit that recognizes the instructor's gaze on the learning content through a gaze tracking device and collects gaze data during the instructor's lecture;
A gaze event acquisition unit that acquires various gaze events including gaze movement, fixation, and saccades through the gaze data collected by the gaze data collection unit;
A content creation unit that selectively extracts useful gaze events for specific important content among the acquired gaze events, visualizes the information on the useful gaze events, displays them as gaze display areas, and fuses the gaze display areas with learning content. ; and
One or more user terminals that receive learning content in which the gaze display area is fused, display the received learning content on a screen, and enable learning by matching the learner's gaze with the instructor's gaze through the instructor's gaze information;
An online learning interaction system comprising:
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020220103894A KR102696442B1 (en) | 2022-08-19 | 2022-08-19 | Gaze Information Visualization Method for Online Learning and Online Learning Interaction System |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020220103894A KR102696442B1 (en) | 2022-08-19 | 2022-08-19 | Gaze Information Visualization Method for Online Learning and Online Learning Interaction System |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20240025807A true KR20240025807A (en) | 2024-02-27 |
| KR102696442B1 KR102696442B1 (en) | 2024-08-22 |
Family
ID=90058637
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020220103894A KR102696442B1 (en) | 2022-08-19 | 2022-08-19 | Gaze Information Visualization Method for Online Learning and Online Learning Interaction System |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102696442B1 (en) |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20140146750A (en) | 2013-06-18 | 2014-12-29 | 장현철 | Method and system for gaze-based providing education content |
| KR20220041458A (en) * | 2020-09-25 | 2022-04-01 | 주식회사 비주얼캠프 | Gaze-based contents education method using object recognition and system for executing the method |
-
2022
- 2022-08-19 KR KR1020220103894A patent/KR102696442B1/en active IP Right Grant
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20140146750A (en) | 2013-06-18 | 2014-12-29 | 장현철 | Method and system for gaze-based providing education content |
| KR20220041458A (en) * | 2020-09-25 | 2022-04-01 | 주식회사 비주얼캠프 | Gaze-based contents education method using object recognition and system for executing the method |
Also Published As
| Publication number | Publication date |
|---|---|
| KR102696442B1 (en) | 2024-08-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Goldberg et al. | Eye tracking in usability evaluation: A practitioner's guide | |
| US11043135B2 (en) | Systems and methods for monitoring learner engagement during a learning event | |
| JP5610153B2 (en) | Inspection device and inspection method for visual and cooperative actions | |
| JP4631014B2 (en) | Electronic teaching material learning support device, electronic teaching material learning support system, electronic teaching material learning support method, and electronic learning support program | |
| Ohm et al. | Evaluating indoor pedestrian navigation interfaces using mobile eye tracking | |
| WO2023041940A1 (en) | Gaze-based behavioural monitoring system | |
| Rummukainen et al. | Audio quality evaluation in virtual reality: Multiple stimulus ranking with behavior tracking | |
| Khosravi et al. | Self-directed learning using eye-tracking: a comparison between wearable head-worn and webcam-based technologies | |
| Renawi et al. | A simplified real-time camera-based attention assessment system for classrooms: pilot study | |
| Cybulski et al. | The Role of the Magnitude of Change in Detecting Fixed Enumeration Units on Dynamic Choropleth Maps | |
| Liu et al. | A case study of using eye tracking techniques to evaluate the usability of e-learning courses | |
| Gazawy et al. | Deep learning for enhanced education quality: Assessing student engagement and emotional states | |
| Adams et al. | The inspection of very large images by eye-gaze control | |
| Ward et al. | Protocols for the investigation of information processing in human assessment of fundamental movement skills | |
| KR102696442B1 (en) | Gaze Information Visualization Method for Online Learning and Online Learning Interaction System | |
| Das et al. | I Cannot See Students Focusing on My Presentation; Are They Following Me? Continuous Monitoring of Student Engagement through “Stungage” | |
| CN112005248A (en) | Computing device attention determination | |
| Galko et al. | Tools used in ambient user interfaces | |
| Jung et al. | Mobile eye-tracking for research in diverse educational settings | |
| KR20230030683A (en) | Platform for online learning concentration improvement and method thereof | |
| Bohao et al. | User visual attention behavior analysis and experience improvement in virtual meeting | |
| De Bruin | Automated usability analysis and visualisation of eye tracking data | |
| Pinter et al. | Eye Movement Monitoring for Multimedia Content Ranking | |
| KR20140110557A (en) | E-Learning system using image feedback | |
| Lyu et al. | Optical character recognition (OCR)-based and Gaussian mixture modeling-OCR-based slide-level “with-me-ness”: Automated measurement and feedback of learners’ attention state during video lectures |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E601 | Decision to refuse application | ||
| AMND | Amendment | ||
| X701 | Decision to grant (after re-examination) |