KR101563312B1 - System for gaze-based providing education content - Google Patents
System for gaze-based providing education content Download PDFInfo
- Publication number
- KR101563312B1 KR101563312B1 KR1020130069398A KR20130069398A KR101563312B1 KR 101563312 B1 KR101563312 B1 KR 101563312B1 KR 1020130069398 A KR1020130069398 A KR 1020130069398A KR 20130069398 A KR20130069398 A KR 20130069398A KR 101563312 B1 KR101563312 B1 KR 101563312B1
- Authority
- KR
- South Korea
- Prior art keywords
- user
- content image
- image
- lecture data
- gaze
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/44—Arrangements for executing specific programs
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
- G06F3/005—Input arrangements through a video camera
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
Abstract
본 발명은 시선 기반 교육 콘텐츠 실행방법 및 교육 시스템에 관한 것이다.
본 발명은 (a)사용자가 교육 콘텐츠 영상 및 강의자료를 학습하기 위하여 교육 콘텐츠 영상을 디스플레이하는 단계; (b) 상기 교육 콘텐츠 영상 및 강의자료를 순서대로 학습하고 있는지 여부를 확인하기 위해 사용자의 눈동자 영상을 획득하는 단계; (c) 상기 사용자의 눈동자 영상으로부터 사용자의 눈과 영상촬영부까지의 거리를 거리측정부를 통해 산출하는 단계; (d) 상기 거리측정부에서 입력되는 사용자 정보를 분석하고, 눈동자의 위치변화에 따른 사용자의 눈동자 이동 방향을 추적하여 시선정보를 산출하고, 눈동자 이동 방향 추적 중, 시선이 집중되는 부분의 위치에 해당하는 시선 정보를 산출하여 사용자가 주시하는 지점의 시선 위치를 판단하는 단계; (e)상기 사용자가 주시하는 지점의 시선 위치가 교육 콘텐츠 영상을 주시한다고 판단되면 강의 콘텐츠 영상 또는 강의자료가 순서에 맞추어 계속적으로 진행이 이루어지도록 제어하고, 사용자가 주시하는 지점의 시선 위치가 교육 콘텐츠 영상 또는 강의 자료를 이탈하면, 교육 콘텐츠 영상 또는 강의자료의 진행이 정지되도록 제어하는 단계; 및 (f) 사용자가 주시하는 지점의 시선 위치가 교육 콘텐츠 영상 또는 강의자료에서 임계시간을 초과하여 이탈하면, 교육 콘텐츠 영상 또는 강의자료의 진행이 보류되고, 디스플레이부에 메세지창을 표시하도록 제어하는 단계;를 포함하여 이루어지는 시선 기반 교육 콘텐츠 실행 방법을 제공한다. The present invention relates to a method for executing eye-based education contents and an educational system.
(A) displaying an educational content image for a user to learn an educational content image and a lecture data; (b) acquiring a pupil image of a user to check whether the training content image and the lecture data are sequentially learned; (c) calculating a distance from the user's eye to the image capturing unit through a distance measuring unit; (d) analyzing the user information input from the distance measuring unit, calculating the gaze information by tracking the moving direction of the pupil of the user according to the change of the position of the pupil, and Calculating corresponding line of sight information and determining a line-of-sight position of a point to be watched by the user; (e) if it is determined that the line-of-sight position of the point viewed by the user is watching the educational content image, control is performed so that the lecture content image or the lecture data is progressed in accordance with the order, Controlling the progress of the educational content image or the lecture data to be stopped when the content image or the lecture data is deviated; And (f) controlling the display of a message window on the display unit, wherein progress of the educational content image or the lecture data is suspended when the line-of-sight position of the point viewed by the user deviates from the educational content image or the lecture data by more than the threshold time The method comprising the steps of:
Description
본 발명은 시선 기반 교육 콘텐츠 실행 시스템에 관한 것이다. 더욱 상세하게는 학습자의 시선을 이용하여 강의를 위한 교육 콘텐츠 영상 또는 강의자료를 순서대로 진행할 수 있을 뿐만 아니라, 학습자의 시선을 유도하는 다양한 이벤트를 발생시킴에 따라 강의에 대한 접근성과 참여도를 높이고 집중을 유도하며, 교육효과를 증대시키고 효율적인 학습을 하여 학습향상을 극대화하는 시선 기반 교육 콘텐츠 실행 시스템에 관한 것이다. The present invention relates to a gaze-based educational content execution system. More specifically, by using the learner's gaze, not only can the educational contents video or lecture materials for lectures be progressed in order, but also various events that induce the learner's gaze are generated, thereby enhancing accessibility and participation of the lecture Based instructional content execution system that maximizes the learning improvement by inducing concentration, enhancing the educational effect, and performing efficient learning.
아이트래킹(eye tracking), 시선 추적 기술 및 시선 방향 추출 기술은 HCI(Human Computer Interaction)분야에서 새로운 사용자 입력을 위해 각광받고 있는 기술로서, 손, 발의 움직임이 불편한 장애인이 컴퓨터를 사용할 수 있도록 개발되어 상용화되고 있다. 사람의 시선은 특별한 관심이나 생체 변화 등을 반영한다.Eye tracking, gaze tracking, and gaze direction extraction technologies are emerging for new user input in the HCI (Human Computer Interaction) field, and have been developed to enable the disabled to use the computer for the handicapped And is being commercialized. A person's gaze reflects special interest or biological change.
이러한, 시선 추적 기법은 눈 주위의 전극을 이용하는 EOG(Electrooculography)방식, 광원의 위치에 따라 동공의 밝기가 변함을 이용하는 방식, 광원이 각막에서 반사되는 점을 이용하는 방식, 광원이 굴절률이 다른 눈의 여러 층을 통과할 때 나타나는 현상을 이용하는 방식, 컨택트 렌즈(contact lens)를 사용하는 써치 코일(search coil) 방식이 있다.The eye tracking method is classified into an EOG (Electrooculography) method using an electrode around the eye, a method using a change in pupil brightness depending on a position of a light source, a method using a point where a light source is reflected from the cornea, A method using a phenomenon appearing when passing through multiple layers, and a search coil method using a contact lens.
또한, 자기 센서를 사용하여 추출된 머리 움직임 정보와 카메라를 이용하여 추출된 안구 홍채 및 동공 중심점 정보로부터 머리와 눈의 관계를 파악하여 시선을 추출하거나, 아날로그 방식으로서 발광소자와 눈으로부터의 반사되는 빛을 입력받는 수광소자를 이용하여 수광소자의 위치와 시선에 따라 입력되는 빛의 변화로부터 시선을 예측한다.In addition, it is possible to extract the gaze by grasping the relationship between the head and the eye from the hair movement information extracted using the magnetic sensor and the eye iris and the pupil center information extracted using the camera, A light receiving element that receives light is used to predict a line of sight from a change in light input according to the position and line of sight of the light receiving element.
이에 따라, 시선 추적을 이용하여 AUI (Attentive UserInterface), 다양한 분야에 접목시키는 연구가 진행되고 있다. Accordingly, researches are being conducted to apply AUI (Attentive User Interface) to various fields using eye tracking.
한편, 급속한 정보통신 기술의 발달로 인하여 유비쿼터스 컴퓨팅의 기술, 네트워크 인프라, 3D 기술, 가상현실 기술 등 미래 콘텐츠 기술을 적용한 새로운 디지털 사용자 환경이 구축됨에 따라, 기존 콘텐츠 시장은 게임, 교육, 홍보, 에니메이션 등 다양한 분야로 시장을 넓혀가고 있다.On the other hand, due to the rapid development of information and communication technology, new digital user environment applying future contents technology such as ubiquitous computing technology, network infrastructure, 3D technology, and virtual reality technology has been established, And so on.
또한, PC를 기본으로, PMP, 네비게이션, MP3, 스마트폰 등 모바일 기기 및 디지털 TV 등 다양한 기기의 플렛폼에 콘텐츠 즉, 어플리케이션이 활용되고 있다.In addition, based on the PC, contents, that is, applications are utilized in platforms of various devices such as PMP, navigation, MP3, smart phone, and mobile device and digital TV.
최근에는, 교육과 관련하여 교육에 대한 접근성을 증대시키며, 학습력을 극대화하기 위해 다양한 인터페이스 또는 시스템을 내재한 교육 콘텐츠의 개발이 확대되고 있는 추세이다. In recent years, the development of educational contents with various interfaces or systems has been expanding in order to increase access to education in terms of education and to maximize learning power.
이에 따라, 다양한 분야와 플렛폼에 대응할 수 있는 어플리케이션의 인터페이스는 상당히 중요한 요소이다.Accordingly, the interface of the application that can cope with various fields and platforms is a very important factor.
일반적으로, 교육 콘텐츠 및 이를 활용한 교육 방법은 휴대단말기에 장착된 디스플레이에 사용자가 포인터(손가락 또는 펜)로 표면을 가압(터치)하면 감압식 방식에 의하여 터치를 감지하고, 그 위치에 대응하는 정보를 입력시키는 터치 스크린을 이용하거나, 프로젝터로 영상을 외부로 디스플레이하여 학습자에게 강의를 진행한다. 2. Description of the Related Art [0002] In general, an educational content and an education method using the same are implemented by sensing a touch by a pressure sensitive method when a user touches a surface of the portable terminal with a pointer (a finger or a pen) Or a projector displays a video image to the outside and lectures to the learner.
그러나, 종래의 교육 콘텐츠 또는 어플리케이션은 주로 키보드 입력 및 터치 입력, 마우스 입력이 기반이 된 인터페이스로써 단조로운 방식이며, 강의 진행 방식이 정해진 시간에 따라 진행되는 주입식 교육으로 학습자에게 일방적이므로, 교육 또는 강의에 대한 집중이 어렵고, 학습자의 접근성과 참여도가 낮은 문제점이 있다. However, conventional educational contents or applications are mainly a monotonous method based on keyboard input, touch input, and mouse input, and since the lecture progress method is progressed according to a predetermined time, it is one-sided to the learner, It is difficult to concentrate on the subject, and the accessibility and participation of learners is low.
또한, 종래에는, 실제 환경을 가상으로 모델링하여 실 세계와 가상 세계를 일체화시키고, 실 세계의 사용자를 촬영하여 촬영한 영상을 3차원 가상 세계의 원하는 위치에 합성함으로써 실 세계의 사용자가 가상 세계에 실제로 들어가서 체험을 할 수 있도록 제공하는 스토리 기반 가상 체험 학습을 위한 혼합 현실 콘텐츠가 개시되어 있다.Conventionally, a real world is virtually modeled to integrate a real world with a virtual world, and a real world user is photographed and a captured image is synthesized at a desired position in a three-dimensional virtual world, Mixed reality contents for story-based virtual experiential learning which are provided to enable them to actually enter and experience.
그러나, 종래의 교육 콘텐츠 및 이를 활용한 교육 방법은 설치 규모가 크고 상당히 고가여서 상용화되지 못하고 있는 실정이다. However, conventional educational contents and educational methods utilizing the same have not been commercialized since they are installed in a large scale and are extremely expensive.
따라서, 교육 콘텐츠를 활용한 교육 또는 강의에 있어서, 상용화가 가능하고, 학습자의 접근성과 참여도를 높이고 교육에 대한 집중을 유도하며, 교육효과를 증대시키고, 효율적인 교육 콘텐츠 진행을 하여 학습향상을 극대화함은 물론, 보다 다양화되고 인터렉티브한 결과를 얻을 수 있는 진보한 교육 콘텐츠 실행 방법 및 교육 시스템이 요구된다.Therefore, in the education or lecture using education contents, commercialization is possible, learner's accessibility and participation are enhanced, concentration on education is promoted, education effect is enhanced, and efficient education contents are promoted to improve learning In addition, there is a need for an advanced educational contents execution method and education system that can obtain diversified and interactive results.
대한민국 공개 특허 제10-2013-0052769호(2013.05.23)
Korean Patent Publication No. 10-2013-0052769 (Feb.
이와 같은, 문제점을 해결하기 위한 본 발명의 목적은 학습자의 시선을 이용하여 강의를 위한 교육 콘텐츠 영상 또는 강의자료를 순서대로 진행할 수 있을 뿐만 아니라, 학습자의 시선을 유도하는 다양한 이벤트를 발생시킴에 따라 강의에 대한 접근성과 참여도를 높이고 집중을 유도하며, 교육효과를 증대시키고 효율적인 학습을 하여 학습향상을 극대화하는 시선 기반 교육 콘텐츠 실행 방법 및 교육 시스템을 제공하는 것에 그 목적이 있다.
It is an object of the present invention to solve such a problem by using a learner ' s gaze to not only process an instructional content image or lecture data for lectures in order, but also generate various events It is an object of the present invention to provide a method and system for executing eye-based educational contents that maximize the improvement of learning by enhancing accessibility and participation of lectures, inducing concentration, increasing educational effect, and efficient learning.
이와 같은 과제를 해결하기 위한 본 발명의 바람직한 실시예에 따른 시선 기반 교육 콘텐츠 실행방법에 따르면,본 발명은 (a)사용자가 교육 콘텐츠 영상 및 강의자료를 학습하기 위하여 교육 콘텐츠 영상을 디스플레이하는 단계; (b) 상기 교육 콘텐츠 영상 및 강의자료를 순서대로 학습하고 있는지 여부를 확인하기 위해 사용자의 눈동자 영상을 획득하는 단계; (c) 상기 사용자의 눈동자 영상으로부터 사용자의 눈과 영상촬영부까지의 거리를 거리측정부를 통해 산출하는 단계; (d) 상기 거리측정부에서 입력되는 사용자 정보를 분석하고, 눈동자의 위치변화에 따른 사용자의 눈동자 이동 방향을 추적하여 시선정보를 산출하고, 눈동자 이동 방향 추적 중, 시선이 집중되는 부분의 위치에 해당하는 시선 정보를 산출하여 사용자가 주시하는 지점의 시선 위치를 판단하는 단계; (e)상기 사용자가 주시하는 지점의 시선 위치가 교육 콘텐츠 영상을 주시한다고 판단되면 강의 콘텐츠 영상 또는 강의자료가 순서에 맞추어 계속적으로 진행이 이루어지도록 제어하고, 사용자가 주시하는 지점의 시선 위치가 교육 콘텐츠 영상 또는 강의 자료를 이탈하면, 교육 콘텐츠 영상 또는 강의자료의 진행이 정지되도록 제어하는 단계; 및 (f) 사용자가 주시하는 지점의 시선 위치가 교육 콘텐츠 영상 또는 강의자료에서 임계시간을 초과하여 이탈하면, 교육 콘텐츠 영상 또는 강의자료의 진행이 보류되고, 디스플레이부에 메세지창을 표시하도록 제어하는 단계;를 포함하여 이루어지는 시선 기반 교육 콘텐츠 실행 방법을 제공한다.According to another aspect of the present invention, there is provided a method for executing an eye-gaze-based educational content, the method comprising the steps of: (a) displaying a training content image to learn a training content image and a lecture data; (b) acquiring a pupil image of a user to check whether the training content image and the lecture data are sequentially learned; (c) calculating a distance from the eyeball image of the user to the eye of the user through the distance measuring unit; (d) analyzing the user information input from the distance measuring unit, calculating the gaze information by tracking the moving direction of the pupil of the user according to the change of the position of the pupil, and Calculating corresponding line of sight information and determining a line-of-sight position of a point to be watched by the user; (e) if it is determined that the line-of-sight position of the point viewed by the user is watching the educational content image, control is performed so that the lecture content image or the lecture data is progressed in accordance with the order, Controlling the progress of the educational content image or the lecture data to be stopped when the content image or the lecture data is deviated; And (f) controlling the display of a message window on the display unit, wherein progress of the educational content image or the lecture data is suspended when the line-of-sight position of the point viewed by the user deviates from the educational content image or the lecture data by more than the threshold time The method comprising the steps of:
또한, 상기 사용자의 시선이 교육 콘텐츠 영상 또는 강의자료에서 임계시간을 초과하여 이탈하면, 교육 콘텐츠 영상 또는 강의자료 내 정보부분이 확대 또는 축소되도록 하는 이벤트를 제공하는 단계;를 포함하여 이루어지는 시선 기반 교육 콘텐츠 실행 방법을 제공한다. And providing an event for enlarging or reducing the information portion of the educational content image or the lecture data when the user's gaze is deviated from the educational content image or lecture data beyond the threshold time, Provides a method for executing content.
또한, 상기 사용자의 시선이 교육 콘텐츠 영상 또는 강의자료에서 임계시간을 초과하여 이탈하면, 교육 콘텐츠 영상 또는 강의자료 내 정보들을 다양한 색상으로 표시하도록 하는 이벤트를 제공하는 단계;를 포함하여 이루어지는 시선 기반 교육 콘텐츠 실행 방법을 제공한다. And providing an event for displaying information in the educational content image or the lecture data in various colors when the user's gaze is deviated from the educational content image or the lecture data by more than the threshold time, Provides a method for executing content.
또한, 상기 사용자의 시선이 교육 콘텐츠 영상 또는 강의자료에서 임계시간을 초과하여 이탈하면, 교육 콘텐츠 미리 설정된 다양한 사운드를 재생하여 상기 사용자가 교육 콘텐츠 영상 또는 강의자료에 시선을 집중하도록 유도할 수 있도록 하는 이벤트를 제공하는 단계;를 포함하여 이루어지는 시선 기반 교육 콘텐츠 실행 방법을 제공한다. In addition, if the user's gaze is deviated from the educational content image or the lecture data beyond the threshold time, the user can reproduce various sounds set in advance and guide the user to focus attention on the educational image image or the lecture data And providing an event to the user.
본 발명의 바람직한 실시예에 따른 시선 기반 교육 콘텐츠 시스템에 따르면, 교육 콘텐츠 영상을 디스플레이하는 디스플레이부; 눈동자를 촬영하여 눈동자 영상을 획득하는 영상촬영부; 상기 영상촬영부가 촬영한 눈동자 영상으로부터 사용자의 눈과 상기 영상촬영부까지의 거리를 산출하고, 상기 사용자의 눈과 상기 영상촬영부간의 거리 산출에 필요한 거리정보를 포함하는 상기 사용자 정보를 출력하기 위한 거리측정부; 및 상기 사용자 정보로부터 시선 정보을 산출하고, 상기 사용자가 주시하는 시선을 판단하는 산출부와, 산출된 시선 정보에 따라 교육 콘텐츠 영상 또는 강의자료의 진행을 하도록 제어하는 진행부를 포함하는 것을 특징으로 하는 시선 기반 교육 콘텐츠 시스템를 제공한다.According to the eye-gaze-based educational content system according to the preferred embodiment of the present invention, the display unit displays the educational content image. An image capturing unit for capturing a pupil and acquiring a pupil image; Wherein the image capturing unit is configured to calculate a distance between the eye of the user and the image capturing unit from the captured pupil image and to output the user information including distance information necessary for calculating the distance between the eye of the user and the image capturing unit Distance measuring unit; A calculating unit for calculating gaze information from the user information and determining a gaze to be watched by the user; and an advancing unit for controlling the progress of the educational content image or lecture data according to the calculated gaze information, Based educational contents system.
또한, 상기 제어부는 상기 디스플레이부 내 디스플레이되는 교육 콘텐츠 영상 또는 강의자료를 주시하는 상기 사용자의 시선이 임계시간을 초과하여 이동하는 경우, 상기 사용자의 시선을 유도하도록 다양한 시·청각적 효과를 제공하는 이벤트부를 포함하는 것을 특징으로 하는 시선 기반 교육 콘텐츠 시스템을 제공한다.
Also, the controller may provide a variety of visual / auditory effects to guide the user's gaze when the gaze of the user watching the educational content image or the lecture data displayed on the display unit moves beyond the critical time And an event unit.
본 발명에 따르면 학습자의 시선을 이용하여 강의를 위한 교육 콘텐츠 영상 또는 강의자료를 순서대로 진행할 수 있을 뿐만 아니라, 학습자의 시선을 유도하는 다양한 이벤트를 발생시킴에 따라 강의에 대한 접근성과 참여도를 높이고 집중을 유도하며, 교육효과를 증대시키고 효율적인 학습을 하여 학습향상을 극대화할 수 있는 효과가 있다.According to the present invention, the learner's gaze can be used to sequentially process instructional content images or lecture materials for lectures, as well as various events that induce learner's gaze, thereby improving accessibility and participation in lectures It is possible to maximize the learning improvement by inducing concentration, increasing the educational effect, and learning efficiently.
도 1은 본 발명의 바람직한 실시예에 따른 시선 기반 교육 콘텐츠 시스템을 개략적으로 나타낸 블록 구성도,
도 2는 본 발명의 바람직한 실시예에 따른 시선 기반 교육 콘텐츠 시스템의 상세한 구성을 설명하기 위한 블록 구성도,
도 3은 본 발명의 바람직한 실시예에 따른 시선 기반 교육 콘텐츠 실행 방법을 설명하기 위한 순서도,
도 4는 본 발명의 바람직한 실시예에 따른 시선 기반 교육 콘텐츠 실행 방법을 설명하기 위한 제1예시도,
도 5는 본 발명의 바람직한 실시예에 따른 시선 기반 교육 콘텐츠 실행 방법을 설명하기 위한 제2예시도이다. 1 is a block diagram schematically illustrating a visual-based education contents system according to a preferred embodiment of the present invention.
FIG. 2 is a block diagram illustrating a detailed configuration of a line-of-sight education contents system according to a preferred embodiment of the present invention.
FIG. 3 is a flowchart illustrating a method of executing an eye-based education content according to a preferred embodiment of the present invention.
4 is a first exemplary diagram for explaining a method of executing eye-gaze-based educational contents according to a preferred embodiment of the present invention.
5 is a second exemplary view for explaining a method of executing eye-based education contents according to a preferred embodiment of the present invention.
본 발명의 목적 및 효과, 그리고 그것들을 달성하기 위한 기술적 구성들은 첨부되는 도면과 함께 상세하게 뒤에 설명이 되는 실시 예들을 참조하면 명확해질 것이다. 본 발명을 설명함에 있어서 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐를 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다. 그리고 뒤에 설명되는 용어들은 본 발명에서의 구조, 역할 및 기능 등을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다.BRIEF DESCRIPTION OF THE DRAWINGS The above and other objects, features and advantages of the present invention will be more apparent from the following detailed description taken in conjunction with the accompanying drawings, in which: FIG. In the following description of the present invention, a detailed description of known functions and configurations incorporated herein will be omitted when it may make the subject matter of the present invention rather unnecessary. The terms described below are defined in consideration of the structure, role and function of the present invention, and may be changed according to the intention of the user, the intention of the operator, or the custom.
그러나 본 발명은 이하에서 개시되는 실시 예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있다. 단지 본 실시 예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 오로지 특허청구범위에 기재된 청구항의 범주에 의하여 정의될 뿐이다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.The present invention may, however, be embodied in many different forms and should not be construed as limited to the embodiments set forth herein. These embodiments are provided so that this disclosure will be thorough and complete, and will fully convey the scope of the invention to those skilled in the art to which the present invention pertains, It is only defined by the scope of the claims. Therefore, the definition should be based on the contents throughout this specification.
이하에서는 본 발명의 바람직한 실시예에 따른 시선 기반 교육 콘텐츠 실행 시스템에 대해서 첨부된 도면을 참조하면서 더욱 구체적으로 설명하기로 한다.Hereinafter, a visual-based educational contents execution system according to a preferred embodiment of the present invention will be described in more detail with reference to the accompanying drawings.
본 발명에서 설명하는 '교육 콘텐츠'는 휴대폰, 스마트 폰(Smart Phone), 팜 피씨(Palm PC), 개인용 정보 단말기(Personal Digital Assistant; PDA), 태블릿형 컴퓨터(Tablet PC), IPTV, PC(Personal Computer) 등, 공지된 다양한 단말에서 재생할 수 있는 플래쉬 또는 동영상을 포함하여 제공되는 교육 콘텐츠 및 어플리케이션을 말함이다.The 'educational contents' described in the present invention can be used in various fields such as a mobile phone, a smart phone, a Palm PC, a personal digital assistant (PDA), a tablet PC, an IPTV, a personal computer Computer, and the like, and educational contents and applications provided with a flash or moving picture that can be played back on various known terminals.
도 1은 본 발명의 바람직한 실시예에 따른 시선 기반 교육 콘텐츠 시스템을 개략적으로 나타낸 블록 구성도, 도 2는 본 발명의 바람직한 실시예에 따른 시선 기반 교육 콘텐츠 시스템의 상세한 구성을 설명하기 위한 블록 구성도이다. FIG. 1 is a block diagram schematically showing a line-of-sight education contents system according to a preferred embodiment of the present invention. FIG. 2 is a block diagram for explaining a detailed configuration of a line- to be.
도 1 및 도 2를 참조하면, 본 발명은 교육 콘텐츠가 활성화되면, 눈동자 추적 방식으로 시선을 인식하여 교육 콘텐츠 영상 또는 강의자료를 미리 정해진 순서대로 진행할 수 있도록 제공할 수 있는 시선 기반 교육 콘텐츠 실행 방법 및 교육 시스템을 제공하는 것으로, 본 발명의 실시예에 따른 시선 기반 교육 콘텐츠 시스템은 디스플레이부(110), 영상촬영부(210), 거리측정부(310), 제어부(410)를 포함한다.Referring to FIGS. 1 and 2, the present invention provides a visual-based educational content execution method capable of recognizing a line of sight using a pupil tracking method and providing an educational content image or lecture data in a predetermined order when the education content is activated The eye-based education contents system according to the embodiment of the present invention includes a
디스플레이부(110)는 교육 콘텐츠의 제어부(410)의 제어신호에 따라 교육 콘텐츠 영상을 디스플레이하며, 교육 콘텐츠의 운용에 필요한 다양한 화면 인터페이스를 제공하도록 하는 구성요소이다. The
이러한, 디스플레이부(110)는 PDP, LCD, OLED, 플렉시블 디스플레이(flexible display), 3차원 디스플레이(3D display) 등을 이용할 수 있으며, 또는 터치 스크린으로 구성되어 출력 장치 이외에 입력 장치로 사용되는 것도 가능하다.The
영상촬영부(210)는 디지털 카메라로써, 사용자의 눈동자를 촬영하여 디스플레이부(110)에서 디스플레이되는 교육 콘텐츠 영상 및 강의자료를 순서대로 학습하기 위한 눈동자 영상을 획득하는 구성요소이다.The
이러한, 영상촬영부(210)는 디스플레이부(110)의 전면의 상·하측 및 좌·우측에 고정 설치될 수 있으며, 바람직하게는 디스플레이부(110)를 사용자가 눈으로 확인이 가능한 장소에 위치할 때, 영상촬영부(210)가 사용자의 눈동자의 움직임을 용이하게 촬영할 수 있는 위치에 설치될 수 있다. The
예를 들면, 프로젝터를 통해 디스플레이부(110)에 교육 콘텐츠 영상이 출력되어 강의 및 교육이 이루어지는 경우, 학습자는 시선을 방해하지 않고 디스플레이부(110)를 용이하게 확인할 수 있는 장소에 위치하고, 영상촬영부(210)는 학습자의 눈동자의 움직임을 촬영할 수 있도록 사용자의 눈동자와 상응하는 위치에 설치될 수 있다.For example, in the case where an instructional content image is outputted to the
또한, 영상촬영부(210)는 홍채의 미세한 이미지를 근거리에서 촬영하기 위해 접사 렌즈를 사용할 수 있고, 복수개가 디스플레이부(110)에 설치되어 사용자의 눈동자를 촬영하도록 제공될 수 있다. In addition, the
거리측정부(310)는 영상촬영부(210)가 촬영한 눈동자 영상으로부터 사용자의 눈과 영상촬영부(210)까지의 거리를 산출할 수 있도록 제공된다. The
이러한, 거리측정부(310)는 카메라, 근접 센서, 적외선 센서, RF(Radio Frequency)센서, 자이로(gyro) 센서 및 초음파 센서 중 적어도 어느 하나를 포함할 수 있다.The
이와 같은, 거리측정부(310)는 사용자를 감지하여 사용자의 눈과 영상촬영부(210)간의 거리 산출에 필요한 거리정보를 포함하는 사용자 정보를 제어부(410)로 출력하도록 제공된다. The
여기서, 거리정보는 사용자 감지에 사용된 소스로써, 적외선, 초음파 등의 조사 속도, 사용자 눈을 감지한 시간, 눈동자 영상 중에 적어도 하나를 포함할 수 있다. Here, the distance information is a source used for user detection, and may include at least one of an irradiation speed of infrared rays, an ultrasonic wave, a time of detecting the user's eyes, and a pupil image.
또한, 사용자의 눈과 영상촬영부(210)까지의 거리는 카메라 비전 방식, 적외선 방식 자이로-가속도 방식 및 초음파 방식 중 적어도 어느 하나의 방식을 이용하여 산출할 수 있다. In addition, the distance between the user's eyes and the
제어부(410)는 학습자가 시선을 이용하여 교육 콘텐츠 영상 또는 강의자료를 순서대로 진행하기 위해 실시간으로 다양한 신호 흐름 제어와 정보 수집 및 출력 등을 제어하는 구성요소이다.The
이러한, 제어부(410)는 사용자 정보로부터 시선 정보을 산출하고, 사용자가 주시하는 시선을 판단하는 산출부(411) 산출된 시선 정보에 따라 교육 콘텐츠 영상 또는 강의자료의 진행을 하도록 제어하는 진행부(412)를 포함하여 제공될 수 있다. The
여기서, 산출부(411)는 거리측정부(410)에서 입력되는 사용자 정보를 분석하여 눈동자의 위치변화에 따른 사용자의 눈동자 이동 방향을 추적하며 시선정보를 산출하고, 눈동자 이동 방향 추적 중 시선이 집중되는 부분의 위치에 해당하는 시선 정보를 산출하여 사용자가 주시하는 지점의 시선 위치를 판단하도록 제공된다.Here, the calculating
예를 들면, 사용자가 주시하는 지점 즉, 디스플레이부(110) 내에 표시된 교육 콘텐츠 영상을 주시하는 사용자의 시선 위치를 판단할 수 있다. For example, it is possible to determine the gaze position of the user watching the educational content image displayed in the
그리고, 진행부(412)는 산출부(411)로부터 판단된 시선 위치에 따라 교육 콘텐츠 영상 또는 강의자료 순서의 진행을 제어하도록 제공된다. The
즉, 진행부(412)는 산출부(411)로부터 사용자의 시선이 교육 콘텐츠 영상을 주시한다고 판단되면, 강의 콘텐츠 영상 또는 강의자료가 순서에 맞추어 계속적으로 진행이 이루어지도록 제어할 수 있다. In other words, if it is determined from the calculating
한편, 진행부(412)는 산출부(411)로부터 사용자 시선이 교육 콘텐츠 영상 또는 강의 자료를 이탈하면, 교육 콘텐츠 영상 또는 강의자료의 진행이 정지되도록 제어할 수 있다.On the other hand, the
이와 같은, 제어부(410)는 디스플레이부(110) 내 디스플레이되는 교육 콘텐츠 영상 또는 강의자료를 주시하는 사용자의 시선이 임계시간을 초과하여 교육 콘텐츠 영상 또는 강의자료를 이탈하는 경우, 사용자의 시선을 유도하도록 다양한 시·청각적 효과를 제공하는 이벤트부(413)를 포함한다. If the user's eyes watching the training content image or the lecture data displayed on the
예를 들면, 이벤트부(413)는 진행부(412)의 신호에 따라 사용자의 시선이 교육 콘텐츠 영상 또는 강의자료에서 임계시간을 초과하여 이탈하면, 교육 콘텐츠 영상 또는 강의자료의 진행이 보류되고, 디스플레이부(110)의 일영역에 시선을 유도하는 메세지창을 표시하도록 제어함에 따라 사용자의 시선을 교육 콘텐츠 영상에 집중하도록 유도하여 교육 콘텐츠 영상 또는 강의자료의 순서에 따라 학습을 계속 진행하도록 제공할 수 있다.For example, if the user's gaze deviates from the training content image or the lecture by exceeding the threshold time according to the signal of the
또한, 이벤트부(413)는 사용자의 시선이 교육 콘텐츠 영상 또는 강의자료에서 임계시간을 초과하여 이탈하면, 교육 콘텐츠 영상 또는 강의자료 내 정보부분이 확대 또는 축소되도록 하는 이벤트가 발생함에 따라 사용자의 시선을 교육 콘텐츠 영상 또는 강의자료 내 정보로 유도할 수 있도록 제공할 수 있다. In addition, when the user's gaze is deviated from the educational content image or the lecture material by more than the threshold time, the
그리고, 이벤트부(413)는 사용자의 시선이 교육 콘텐츠 영상 또는 강의자료에서 임계시간을 초과하여 이탈하면, 교육 콘텐츠 영상 또는 강의자료 내 정보들을 다양한 색상으로 표시하도록 하는 이벤트를 제공할 수 있다.The
아울러, 이벤트부(413)는 사용자의 시선이 교육 콘텐츠 영상 또는 강의자료에서 임계시간을 초과하여 이탈하면, 교육 콘텐츠 미리 설정된 다양한 사운드를 재생하여 사용자가 교육 콘텐츠 영상 또는 강의자료에 시선을 집중하도록 유도할 수 있도록 하는 이벤트를 제공할 수 있으며, 도면에 도시되지 않았으나, 본 발명은 이벤트에 의한 사운드를 재생하기 위한 사운드재생장치를 더 포함할 수도 있다. In addition, when the user's gaze deviates from the educational content image or the lecture data beyond the threshold time, the
이와 같은, 이벤트부(413)는 상술한 이벤트를 선택적으로 교육 콘텐츠 영상 또는 강의자료에 표시되도록 함에 따라 사용자가 교육 콘텐츠 영상 또는 강의자료에 시선을 집중하도록 유도할 수 있다. As such, the
다음으로, 본 발명의 바람직한 실시예에 따른 시선 기반 교육 콘텐츠 실행 방법을 설명한다. Next, a method of executing eye-based education contents according to a preferred embodiment of the present invention will be described.
도 3은 본 발명의 바람직한 실시예에 따른 시선 기반 교육 콘텐츠 실행 방법을 설명하기 위한 순서도, 도 4는 본 발명의 바람직한 실시예에 따른 시선 기반 교육 콘텐츠 실행 방법을 설명하기 위한 제1예시도, 도 5는 본 발명의 바람직한 실시예에 따른 시선 기반 교육 콘텐츠 실행 방법을 설명하기 위한 제2예시도이다. FIG. 3 is a flow chart for explaining a method of executing eye-based education contents according to a preferred embodiment of the present invention. FIG. 4 is a first exemplary view for explaining a method of executing eye-based education contents according to a preferred embodiment of the present invention. 5 is a second exemplary view for explaining a method of executing eye-based education contents according to a preferred embodiment of the present invention.
도 1 내지 도 3을 참조하면, 본 발명의 바람직한 실시예에 따른 시선 기반 교육 콘텐츠 실행방법은, 사용자가 교육 콘텐츠 영상 및 강의자료를 학습하기 위한 교육 콘텐츠 영상 실행 단계(S11), 사용자의 눈동자를 촬영하고, 촬영된 눈동자 영상을 획득하는 영상촬영단계(S12), 사용자의 눈과 영상촬영부(210)까지의 거리를 산출하고, 사용자 정보를 획득 및 출력하는 단계(S13), 사용자 정보로부터 시선정보를 산출하고, 사용자가 주시하는 시선을 판단하는 단계(S14), 사용자의 시선이 교육 콘텐츠 영상에서 이탈되는지 여부를 판단하는 단계(S15), 교육 콘텐츠 영상 순서대로 학습을 진행하는 단계(S16), 이벤트 발생 단계(S17)를 포함한다.Referring to FIGS. 1 to 3, a method for executing an eye-based education content according to a preferred embodiment of the present invention includes a step of performing an instructional content image S11 for a user to learn an instructional content image and a lecture data, (S12) calculating a distance between the user's eyes and the
교육 콘텐츠 영상 실행 단계(S11)는 사용자가 교육 콘텐츠 영상 및 강의자료를 학습하기 위하여 제어부(410)의 제어신호에 따라 교육 콘텐츠 영상을 디스플레이부(110)에 디스플레이하며, 교육 콘텐츠의 운용에 필요한 다양한 화면 인터페이스를 제공하는 단계를 수행할 수가 있다.The training content video execution step S11 displays the training content image on the
영상촬영단계(S12)는 사용자의 눈동자를 촬영하여 디스플레이부(110)에서 디스플레이되는 교육 콘텐츠 영상 강의 및 강의자료를 순서대로 학습하기 위한 눈동자 영상을 획득하는 단계를 수행할 수가 있다. In the image capturing step S12, the pupil of the user may be photographed and the pupil image for learning the instructional content image lecture and lecture data displayed on the
사용자 정보를 획득 및 출력하는 단계(S13)는 영상촬영부(210)가 촬영한 눈동자 영상으로부터 사용자의 눈과 영상촬영부(210)까지의 거리를 산출하는 단계를 수행할 수 있다. Step S13 of acquiring and outputting the user information may be performed by calculating the distance from the pupil image captured by the
또한, 사용자 정보를 획득 및 출력하는 단계(S13)는 사용자를 감지하여 사용자의 눈과 영상촬영부(210)간의 거리 산출에 필요한 거리정보를 포함하는 사용자 정보를 제어부(410)로 출력하는 단계를 수행할 수가 있다. The step S13 of acquiring and outputting the user information may include outputting user information including the distance information required for calculating the distance between the user's eyes and the
사용자 정보로부터 시선정보를 산출하고, 사용자가 주시하는 시선을 판단하는 단계(S14)는 거리측정부(310)에서 입력되는 사용자 정보를 분석하여 눈동자의 위치변화에 따른 사용자의 눈동자 이동 방향을 추적하며 시선정보를 산출하고, 눈동자 이동 방향 추적 중 시선이 집중되는 부분의 위치에 해당하는 시선 정보를 산출하여 사용자가 주시하는 지점의 시선 위치를 판단하는 단계를 수행할 수가 있다. The step of calculating the gaze information from the user information and determining the gaze to be watched by the user is performed by analyzing the user information input from the
또한, 판단 단계(S14)는 사용자가 주시하는 지점 즉, 디스플레이부(110) 내에 표시된 교육 콘텐츠 영상을 주시하는 사용자의 시선 위치를 판단하는 단계일 수가 있다. In addition, the determining step S14 may be a step of determining a gaze position of the user watching the educational content image displayed in the
사용자의 시선이 교육 콘텐츠 영상에서 이탈되는지 여부를 판단하는 단계(S15)는 산출부(411)로부터 사용자의 시선이 교육 콘텐츠 영상을 주시한다고 판단되면, 교육 콘텐츠 영상 순서대로 학습을 진행하는 단계(S16)를 수행하는 한편, 사용자 시선이 교육 콘텐츠 영상 또는 강의 자료를 이탈하면, 이벤트 발생 단계(S17)를 수행하는 단계를 수행할 수 있다. If it is determined by the calculating
여기서, 교육 콘텐츠 영상 순서대로 학습을 진행하는 단계(S16)는 사용자의 시선이 교육 콘텐츠 영상을 주시한다고 판단되면 강의 콘텐츠 영상 또는 강의자료가 순서에 맞추어 계속적으로 진행이 이루어지도록 제어하고, 사용자 시선이 교육 콘텐츠 영상 또는 강의 자료를 이탈하면, 교육 콘텐츠 영상 또는 강의자료의 진행이 정지되도록 제어하는 단계를 수행할 수가 있다.Here, if it is determined that the user's gaze is watching the educational content image, the step of performing learning in the order of the educational content image (S16) controls the progress of the lecture content image or the lecture data to be continuously performed, The step of controlling the progress of the educational content image or the lecture data to be stopped can be performed.
그리고, 이벤트 발생 단계(S17)는 사용자의 시선이 교육 콘텐츠 영상 또는 강의자료에서 임계시간을 초과하여 이탈하면, 교육 콘텐츠 영상 또는 강의자료의 진행이 보류되고, 디스플레이부(110)의 일영역에 시선을 유도하는 메세지창을 표시하도록 제어함에 따라 사용자의 시선을 교육 콘텐츠 영상에 집중하도록 유도하여 교육 콘텐츠 영상 또는 강의자료의 순서에 따라 학습을 계속 진행하는 단계를 수행할 수가 있다. When the user's gaze is deviated from the instructional content image or the lecture data beyond the threshold time, the event generation step S17 suspends the progress of the instructional content image or the lecture data, The user can be guided to concentrate his / her line of sight on the training content image and continue learning according to the order of the training content image or lecture data.
또한, 이벤트 발생 단계(S17)는 사용자의 시선이 교육 콘텐츠 영상 또는 강의자료에서 임계시간을 초과하여 이탈하면, 교육 콘텐츠 영상 또는 강의자료 내 정보부분이 확대 또는 축소되도록 하는 이벤트를 제공하는 단계를 수행할 수가 있다. In addition, the event generating step S17 is a step of providing an event for allowing the information part in the education content image or the lecture data to be enlarged or reduced when the user's gaze deviates from the education content image or the lecture material beyond the threshold time I can do it.
그리고, 이벤트 발생 단계(S17)는 사용자의 시선이 교육 콘텐츠 영상 또는 강의자료에서 임계시간을 초과하여 이탈하면, 교육 콘텐츠 영상 또는 강의자료 내 정보들을 다양한 색상으로 표시하도록 하는 이벤트를 제공하는 단계를 수행할 수가 있다.The event generating step S17 is a step of providing an event for displaying the information in the education contents image or the lecture data in various colors when the user's gaze deviates from the education contents image or lecture data beyond the threshold time I can do it.
아울러, 이벤트 발생 단계(S17) 사용자의 시선이 교육 콘텐츠 영상 또는 강의자료에서 임계시간을 초과하여 이탈하면, 교육 콘텐츠 미리 설정된 다양한 사운드를 재생하여 사용자가 교육 콘텐츠 영상 또는 강의자료에 시선을 집중하도록 유도할 수 있도록 하는 이벤트를 제공하는 단계를 수행할 수가 있다. In addition, when the user's gaze is deviated from the instructional content image or the lecture data beyond the threshold time, the user can reproduce various preset sounds to induce the user to concentrate on the instructional content image or lecture data The user can perform a step of providing an event that enables the user to perform the operation.
이에 따라, 본 발명의 실시예에 따른 시선 기반 교육 콘텐츠 실행 방법 및 시스템은 학습자의 시선을 이용하여 강의를 위한 교육 콘텐츠 영상 또는 강의자료를 순서대로 진행할 수 있을 뿐만 아니라, 학습자의 시선을 유도하는 다양한 이벤트를 발생시킴에 따라 강의에 대한 접근성과 참여도를 높이고 집중을 유도하며, 교육효과를 증대시키고 효율적인 학습을 하여 학습향상을 극대화할 수 있는 발명이다.Accordingly, the method and system for executing the line-of-sight-based educational contents according to the embodiment of the present invention can not only process the instructional content image or the lecture data for lecturing in order by using the learner's eyes, It is an invention that can maximize the improvement of learning by enhancing accessibility and participation of lecture, inducing concentration, raising educational effect, and learning efficiently by generating an event.
110. 디스플레이부 210. 영상촬영부
310. 거리측정부 410. 제어부
411. 산출부 412. 진행부
413. 이벤트부110.
310. Distance measuring
411.
413. Event Department
Claims (6)
눈동자를 촬영하여 상기 디스플레이부에서 제공되는 교육 콘텐츠 영상 및 강의자료를 순서대로 학습하기 위해 눈동자 영상을 획득할 수 있도록 디스플레이부의 전면의 상·하측 및 좌·우측에 각각 고정 설치되며, 홍채의 미세한 이미지를 근거리에서 촬영하기 위해 접사 렌즈를 사용하는 복수의 영상촬영부;
카메라, 근접 센서, 적외선 센서, RF(Radio Frequency)센서, 자이로(gyro) 센서 및 초음파 센서 중 적어도 어느 하나로 구성되며, 상기 영상촬영부가 촬영한 눈동자 영상으로부터 사용자의 눈과 상기 영상촬영부까지의 거리를 산출하고, 사용자의 눈과 상기 영상촬영부간의 거리 산출에 필요한 거리정보를 포함하는 사용자 정보를 출력하기 위한 거리측정부; 및
상기 거리측정부에서 입력되는 사용자 정보를 분석하여 눈동자의 위치변화에 따른 사용자의 눈동자 이동 방향을 추적하며 시선정보를 산출하고, 눈동자 이동 방향 추적 중 시선이 집중되는 부분의 위치에 해당하는 시선 정보를 산출하여 사용자가 주시하는 지점의 시선 위치 정보를 제공하는 산출부와,
상기 산출부에 의해 산출된 시선 정보에 따라 교육 콘텐츠 영상을 주시한다고 판단되면 강의 콘텐츠 영상 또는 강의자료가 순서에 맞추어 계속적으로 진행이 이루어지도록 제어하고, 사용자가 주시하는 지점의 시선 위치가 교육 콘텐츠 영상 또는 강의 자료를 이탈하면, 교육 콘텐츠 영상 또는 강의자료의 진행이 정지되도록 제어하는 진행부와,
상기 디스플레이부 내 디스플레이되는 교육 콘텐츠 영상 또는 강의자료를 주시하는 상기 사용자의 시선이 임계시간을 초과하여 이동하는 경우, 상기 콘텐츠 영상 또는 강의자료의 진행을 보류시키고, 상기 사용자의 시선을 유도하도록 다양한 시·청각적 효과를 제공하는 이벤트부를 포함하는 제어부를 포함하고,
상기 이벤트부는
상기 진행부의 신호에 따라 사용자의 시선이 교육 콘텐츠 영상 또는 강의자료에서 임계시간을 초과하여 이탈하면, 교육 콘텐츠 영상 또는 강의자료의 진행을 보류한 후, 디스플레이부의 일영역에 시선을 유도하는 메세지창을 표시하도록 제어하고,
상기 메세지창이 표시된 이후에도 사용자의 시선이 교육 콘텐츠 영상 또는 강의자료에서 임계시간을 초과하여 이탈하면, 교육 콘텐츠 영상 또는 강의자료 내 정보부분이 확대 또는 축소되도록 하는 이벤트를 발생하고,
상기 이벤트 발생 이후에도 사용자의 시선이 교육 콘텐츠 영상 또는 강의자료에서 임계시간을 초과하여 이탈하면, 교육 콘텐츠 영상 또는 강의자료 내 정보들을 다양한 색상으로 표시하고,
상기 색상 표시를 발생한 이후에도 사용자의 시선이 교육 콘텐츠 영상 또는 강의자료에서 임계시간을 초과하여 이탈하면, 사운드재생장치를 구동하여 교육 콘텐츠 미리 설정된 다양한 사운드를 재생하여 사용자가 교육 콘텐츠 영상 또는 강의자료에 시선을 집중하도록 유도하는 것을 특징으로 하는 시선 기반 교육 콘텐츠 실행 시스템.
A display unit which is composed of a PDP, an LCD, an OLED, a flexible display, a 3D display, or a touch screen, displays an educational content image and provides various screen interfaces necessary for operating educational contents;
And is fixed and installed on the upper and lower sides and the left and right sides of the front face of the display unit so as to acquire a pupil image in order to learn the educational content image and the lecture data provided in the display unit, A plurality of image capturing units using a close-up lens for capturing at a close distance;
A distance between the eye of the user and the image pickup unit from at least one of a camera, a proximity sensor, an infrared sensor, a radio frequency (RF) sensor, a gyro sensor and an ultrasonic sensor, A distance measuring unit for calculating user information including distance information necessary for calculating the distance between the user's eyes and the image capturing unit; And
The distance measuring unit analyzes the user information to track the moving direction of the user's pupils according to the change in the position of the pupil, calculates the gaze information, and calculates the gaze information corresponding to the position of the portion where the gaze is concentrated during the tracking of the moving direction of the pupil A calculation unit for calculating gaze position information of a point viewed by the user,
And controlling the progress of the lecture contents image or lecture data to be continuously performed in accordance with the order of the lecture contents image if the lecture contents image is watched according to the line information calculated by the calculation unit, Or an instruction to stop the progress of the instructional content image or the lecture data when the lecture data is deviated from the lecture data,
When the gaze of the user watching the educational content image or the lecture data displayed on the display unit moves beyond the critical time, the progress of the content image or the lecture data is suspended, - a control section including an event section providing an auditory effect,
The event unit
If the user's gaze is deviated from the educational content image or the lecture data in excess of the threshold time according to the signal of the progressing part, the progress of the education content image or lecture data is suspended and a message window for guiding the gaze to one area of the display part Display,
If the user's gaze is deviated from the educational content image or the lecture data beyond the threshold time even after the message window is displayed, an event is generated to enlarge or reduce the information portion in the education content image or lecture data,
If the user's gaze is deviated from the educational content image or the lecture data beyond the threshold time after the occurrence of the event, the information in the educational content image or lecture data is displayed in various colors,
If the user's eyesight deviates from the educational content image or the lecture material beyond the threshold time after the color display has been performed, the sound reproduction device is driven to reproduce various sounds preset in the education content, Based learning contents execution system.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020130069398A KR101563312B1 (en) | 2013-06-18 | 2013-06-18 | System for gaze-based providing education content |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020130069398A KR101563312B1 (en) | 2013-06-18 | 2013-06-18 | System for gaze-based providing education content |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20140146750A KR20140146750A (en) | 2014-12-29 |
| KR101563312B1 true KR101563312B1 (en) | 2015-10-26 |
Family
ID=52675819
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020130069398A KR101563312B1 (en) | 2013-06-18 | 2013-06-18 | System for gaze-based providing education content |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR101563312B1 (en) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101816070B1 (en) * | 2016-07-21 | 2018-01-08 | 경북대학교 산학협력단 | Method and device for managing pet, recording medium for performing the method |
| KR20220114849A (en) | 2021-02-09 | 2022-08-17 | (주)엔플러스에듀 | Method, device and system for monitoring learnig degree based on eye tracking |
| EP4018647A4 (en) * | 2019-08-23 | 2023-08-16 | Your Speech Factory AB | Electronic device and method for eye-contact training |
Families Citing this family (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111881830A (en) * | 2020-07-28 | 2020-11-03 | 安徽爱学堂教育科技有限公司 | Interactive prompting method based on attention concentration detection |
| KR102555922B1 (en) * | 2020-08-07 | 2023-07-17 | 이화여자대학교 산학협력단 | Video lesson system and method for monitoring the attention of video lessons |
| KR20220041458A (en) * | 2020-09-25 | 2022-04-01 | 주식회사 비주얼캠프 | Gaze-based contents education method using object recognition and system for executing the method |
| KR102515987B1 (en) | 2020-11-06 | 2023-03-31 | 주식회사 쉬모스랩 | Apparatus and method for detecting learners' participation in an untact online class |
| KR102266479B1 (en) * | 2021-01-12 | 2021-06-17 | (주)이루미에듀테크 | Method, device and system for eye tracking for analyzing ability of online learning |
| KR102266476B1 (en) * | 2021-01-12 | 2021-06-17 | (주)이루미에듀테크 | Method, device and system for improving ability of online learning using eye tracking technology |
| WO2022271994A1 (en) * | 2021-06-25 | 2022-12-29 | Vodium, Llc | Apparatus, systems, and methods for providing spatial optimized on-video content during presentations |
| CN113905191B (en) * | 2021-11-15 | 2024-02-06 | 深圳市华瑞安科技有限公司 | Intelligent interaction education tablet computer and interaction method |
| CN113936512B (en) * | 2021-12-17 | 2022-03-01 | 正方软件股份有限公司 | Remote teaching method and system for colleges and universities |
| CN114419711B (en) * | 2022-01-19 | 2022-11-04 | 成都节节高教育科技有限公司 | Concentration degree identification method based on AI (artificial intelligence) education system |
| KR20240025807A (en) | 2022-08-19 | 2024-02-27 | 서울과학기술대학교 산학협력단 | Gaze Information Visualization Method for Online Learning and Online Learning Interaction System |
-
2013
- 2013-06-18 KR KR1020130069398A patent/KR101563312B1/en active IP Right Grant
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101816070B1 (en) * | 2016-07-21 | 2018-01-08 | 경북대학교 산학협력단 | Method and device for managing pet, recording medium for performing the method |
| EP4018647A4 (en) * | 2019-08-23 | 2023-08-16 | Your Speech Factory AB | Electronic device and method for eye-contact training |
| KR20220114849A (en) | 2021-02-09 | 2022-08-17 | (주)엔플러스에듀 | Method, device and system for monitoring learnig degree based on eye tracking |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20140146750A (en) | 2014-12-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR101563312B1 (en) | System for gaze-based providing education content | |
| JP7283506B2 (en) | Information processing device, information processing method, and information processing program | |
| CN110647237B (en) | Gesture-based content sharing in an artificial reality environment | |
| US9395811B2 (en) | Automatic text scrolling on a display device | |
| WO2022022028A1 (en) | Virtual object control method and apparatus, and device and computer-readable storage medium | |
| KR20190051028A (en) | Sensory eyewear | |
| Stearns et al. | The design and preliminary evaluation of a finger-mounted camera and feedback system to enable reading of printed text for the blind | |
| JP7066115B2 (en) | Public speaking support device and program | |
| KR20190048144A (en) | Augmented reality system for presentation and interview training | |
| Kim et al. | Empath-d: Vr-based empathetic app design for accessibility | |
| KR20220127568A (en) | Method for providing home tranninig service and a display apparatus performing the same | |
| US11366631B2 (en) | Information processing device, information processing method, and program | |
| KR102216020B1 (en) | Method for providing user interface using gaze recognition and user apparatus using the same | |
| WO2022070747A1 (en) | Assist system, assist method, and assist program | |
| Manresa-Yee et al. | Mobile accessibility: natural user interface for motion-impaired users | |
| CN209895305U (en) | Gesture interaction system | |
| US20170374359A1 (en) | Image providing system | |
| KR20230049179A (en) | Virtual Reality Education Platform System and the Operation Method thereof | |
| CN113780051A (en) | Method and device for evaluating concentration degree of student | |
| CN114296627A (en) | Content display method, device, equipment and storage medium | |
| US20240050831A1 (en) | Instructor avatars for augmented reality experiences | |
| JP7034228B1 (en) | Eye tracking system, eye tracking method, and eye tracking program | |
| WO2021200284A1 (en) | Learning assistance device and learning assistance system | |
| Kanel | Sixth sense technology | |
| Peres et al. | Evolution of XR Research in Brazil according to the first 22 SVR editions |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| AMND | Amendment | ||
| E601 | Decision to refuse application | ||
| AMND | Amendment | ||
| X701 | Decision to grant (after re-examination) | ||
| GRNT | Written decision to grant | ||
| FPAY | Annual fee payment |
Payment date: 20181022 Year of fee payment: 4 |
|
| FPAY | Annual fee payment |
Payment date: 20191106 Year of fee payment: 5 |