KR20210016911A - Method for eye state inspection and computing device for executing the method - Google Patents

Method for eye state inspection and computing device for executing the method Download PDF

Info

Publication number
KR20210016911A
KR20210016911A KR1020190095308A KR20190095308A KR20210016911A KR 20210016911 A KR20210016911 A KR 20210016911A KR 1020190095308 A KR1020190095308 A KR 1020190095308A KR 20190095308 A KR20190095308 A KR 20190095308A KR 20210016911 A KR20210016911 A KR 20210016911A
Authority
KR
South Korea
Prior art keywords
user
gaze
information
content
derivative
Prior art date
Application number
KR1020190095308A
Other languages
Korean (ko)
Other versions
KR102280944B1 (en
Inventor
김경태
Original Assignee
김경태
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 김경태 filed Critical 김경태
Priority to KR1020190095308A priority Critical patent/KR102280944B1/en
Publication of KR20210016911A publication Critical patent/KR20210016911A/en
Application granted granted Critical
Publication of KR102280944B1 publication Critical patent/KR102280944B1/en

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/72Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7271Specific aspects of physiological measurement analysis
    • A61B5/7275Determining trends in physiological measurement data; Predicting development of a medical condition based on physiological measurements, e.g. determining a risk factor
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/14Arrangements specially adapted for eye photography
    • A61B3/145Arrangements specially adapted for eye photography by video means

Abstract

Disclosed are an eyeball state inspection method and a computing apparatus for performing the same. An eyeball state inspection method and a computing apparatus for performing the same according to an embodiment of the present invention are provided wherein the computing apparatus includes: one or more processors; and a memory storing one or more programs executed by the one or more processors. The computing apparatus comprises: a content providing module for generating content which includes a view inducer for inducing movement of a user′s view on the screen of the smart device; a communication module for transmitting the content to the smart device and acquiring a captured image of the user who views the content from the smart device; a view recognition module for generating view information of the user based on the captured image; and an eyeball state analysis module configured to generate eyeball state analysis information of the user by analyzing the user′s eyeball state based on the view information and the information on the movement of the view inducer. The present invention enables the smart device to perform the inspection without separate equipment such that costs can be saved and convenience can be enhanced.

Description

안구상태 검사 방법 및 이를 수행하기 위한 컴퓨팅 장치{METHOD FOR EYE STATE INSPECTION AND COMPUTING DEVICE FOR EXECUTING THE METHOD}Eye condition test method and computing device for performing the same TECHNICAL FIELD [METHOD FOR EYE STATE INSPECTION AND COMPUTING DEVICE FOR EXECUTING THE METHOD]

본 발명의 실시예들은 안구상태 검사 기술과 관련된다.Embodiments of the present invention relate to eye condition test technology.

인체에 있는 중추 기능을 관장하는 뇌(Brain)는 인체의 구성하는 모든 부분과 중추신경계 및 말초 신경계로 연결되어 있다. 이에, 의료분야에서는 피검자의 안구 움직임을 포착하여 쉽게 검진하기 어려운 뇌에 대한 건강 상태를 진단하거나 평형기관에 대한 건강 상태를 진단하고 있다. The brain, which controls central functions in the human body, is connected to all parts of the human body by the central and peripheral nervous systems. Accordingly, in the medical field, the health status of the brain that is difficult to be easily examined by capturing the movement of the eyeball of the subject is diagnosed or the health status of the balance organ is diagnosed.

안구의 운동 검사는 뇌의 기능을 평가하는 비침습적인 검사이며, 특히, 치매와 연관된 뇌의 이상을 밝혀내는데 유용한 방법이다.The eye movement test is a non-invasive test that evaluates brain function, and is a particularly useful method for detecting brain abnormalities associated with dementia.

일반적으로, 안구의 움직임을 포착하고 그것을 유용한 수준에서 분석하고자 하는 방법으로는 EOG(Electrooculogram), VOG(Videooculogram), MSCT(Magnetic Search Coil Technique) 등이 사용되고 있다. In general, EOG (Electrooculogram), VOG (Videooculogram), and MSCT (Magnetic Search Coil Technique) are used as methods to capture eye movements and analyze them at a useful level.

그러나, 이러한 방법을 사용하기 위해서는 별도의 장치가 필요하며, 안구의 상태를 검사하는 기능만을 제공하고 있는 문제점이 있다.However, in order to use this method, a separate device is required, and there is a problem in that only a function to check the state of the eye is provided.

대한민국 등록특허공보 제 10-0627929호 (2006.09.18.)Republic of Korea Patent Publication No. 10-0627929 (2006.09.18.)

본 발명의 실시예들은 특별한 장비 없이 누구나 손쉽게 안구 상태를 검사할 수 있는 수단을 제공하기 위한 것이다.Embodiments of the present invention are intended to provide a means for anyone to easily inspect an eye condition without special equipment.

본 발명의 예시적인 실시예에 따르면, 하나 이상의 프로세서들, 및 상기 하나 이상의 프로세서들에 의해 실행되는 하나 이상의 프로그램들을 저장하는 메모리를 구비한 컴퓨팅 장치로서, 스마트 기기의 화면에서 사용자의 시선 이동을 유도하기 위한 시선유도체를 포함하는 콘텐츠를 생성하는 콘텐츠 제공 모듈; 상기 콘텐츠를 상기 스마트 기기로 전송하고, 상기 스마트 기기로부터 상기 콘텐츠를 바라보는 상기 사용자의 촬영 영상을 획득하는 통신 모듈; 상기 촬영 영상을 기반으로 상기 사용자의 시선 정보를 생성하는 시선 인식 모듈; 및 상기 시선 정보와 상기 시선유도체의 이동 정보를 바탕으로 상기 사용자의 안구상태를 분석하여 상기 사용자의 안구상태 분석 정보를 생성하는 안구상태 분석 모듈을 포함하는 컴퓨팅 장치가 제공된다.According to an exemplary embodiment of the present invention, as a computing device having one or more processors, and a memory for storing one or more programs executed by the one or more processors, inducing movement of a user's gaze on a screen of a smart device A content providing module for generating content including a gaze-derived for the purpose; A communication module that transmits the content to the smart device and obtains a photographed image of the user viewing the content from the smart device; A gaze recognition module that generates gaze information of the user based on the captured image; And an eyeball state analysis module for generating the user's eyeball state analysis information by analyzing the eyeball state of the user based on the gaze information and movement information of the gaze derivative.

상기 안구상태 분석 모듈은 상기 시선 정보에 포함된 안구의 좌표값과 상기 이동 정보에 포함된 시선유도체의 좌표값을 비교하여 일치율을 산출하고, 상기 산출된 일치율을 기반으로 상기 사용자의 안구상태 분석 정보를 생성할 수 있다.The eyeball condition analysis module calculates a match rate by comparing the coordinate value of the eyeball included in the gaze information with the coordinate value of the gaze derivative included in the movement information, and analyzes the eyeball condition of the user based on the calculated match rate. Can be created.

상기 통신 모듈은 상기 스마트 기기로부터 상기 사용자의 나이를 포함하는 사용자 정보를 획득하며, 상기 콘텐츠 제공 모듈은 상기 사용자 정보를 기반으로 기 저장된 사용자들의 평균 나이와 비교하여 상기 콘텐츠 내의 상기 시선유도체의 이동 속도, 출현 빈도, 및 출현 간격 중 하나 이상을 조절할 수 있다.The communication module acquires user information including the age of the user from the smart device, and the content providing module compares the average age of the previously stored users based on the user information, and the moving speed of the gaze derivative in the content , Frequency of appearance, and interval of appearance can be adjusted.

상기 콘텐츠 제공 모듈은 상기 화면에 표시되는 시선유도체가 연속적인 형태를 가지는 제1 이동 정보를 포함하도록 제1 콘텐츠를 생성하며, 상기 제1 콘텐츠는 상기 사용자 정보를 기반으로 기 저장된 사용자들의 평균 나이와 비교하여 해당 사용자가 상기 평균 나이보다 많은 경우에는 상기 시선유도체의 이동 속도가 기 설정된 속도만큼 감소되고, 해당 사용자가 상기 평균 나이보다 적은 경우에는 상기 시선유도체의 이동 속도가 기 설정된 속도만큼 상승되도록 마련될 수 있다.The content providing module generates first content such that the gaze guide displayed on the screen includes first movement information having a continuous shape, and the first content includes an average age of pre-stored users based on the user information. In comparison, when the user is older than the average age, the movement speed of the gaze derivative is reduced by a preset speed, and when the user is less than the average age, the movement speed of the gaze derivative is increased by a preset speed. Can be.

상기 콘텐츠 제공 모듈은 상기 화면에 표시되는 시선유도체가 불연속적인 형태를 가지는 제2 이동 정보를 포함하도록 제2 콘텐츠를 생성하며, 상기 제2 콘텐츠는 상기 사용자 정보를 기반으로 기 저장된 사용자들의 평균 나이와 비교하여 해당 사용자가 상기 평균 나이보다 많은 경우에는 상기 시선유도체의 출현 빈도가 기 설정된 횟수만큼 감소되며, 상기 시선유도체의 출현 간격이 기 설정된 시간만큼 증가되도록 마련될 수 있다.The content providing module generates second content such that the gaze guide displayed on the screen includes second movement information having a discontinuous form, and the second content includes an average age of pre-stored users based on the user information. In comparison, when the corresponding user is greater than the average age, the frequency of appearance of the gaze derivative may be reduced by a preset number, and the appearance interval of the gaze derivative may be provided to increase by a preset time.

상기 콘텐츠 제공 모듈은 상기 화면에 표시되는 시선유도체가 연속적인 형태를 가지는 제1 이동 정보 및 상기 화면에 표시되는 시선유도체가 불연속적인 형태를 가지는 제2 이동 정보를 포함하도록 제3 콘텐츠를 생성하며, 상기 제3 콘텐츠는 상기 사용자 정보를 기반으로 기 저장된 사용자들의 평균 나이와 비교하여 해당 사용자가 상기 평균 나이보다 많은 경우에는 상기 시선유도체의 이동 속도가 기 설정된 속도만큼 감소되고, 상기 시선유도체의 출현 빈도가 기 설정된 횟수만큼 감소되며, 상기 시선유도체의 출현 간격이 기 설정된 시간만큼 증가되도록 마련될 수 있다.The content providing module generates third content to include first movement information in which the gaze guide displayed on the screen has a continuous shape and second movement information in which the gaze guide displayed on the screen has a discontinuous shape, The third content is compared with the average age of pre-stored users based on the user information, and if the user is greater than the average age, the moving speed of the gaze derivative is reduced by a preset speed, and the frequency of appearance of the gaze derivative Is reduced by a preset number of times, and the interval of appearance of the gaze derivative may be provided to increase by a preset time.

본 발명의 다른 예시적인 실시예에 따르면, 하나 이상의 프로세서들, 및 상기 하나 이상의 프로세서들에 의해 실행되는 하나 이상의 프로그램들을 저장하는 메모리를 구비한 컴퓨팅 장치에서 수행되는 방법으로서, 화면에서 사용자의 시선 이동을 유도하기 위한 시선유도체를 포함하는 콘텐츠를 스마트 기기로 전송하는 단계; 상기 스마트 기기로부터 상기 콘텐츠를 바라보는 상기 사용자의 촬영 영상을 획득하는 단계; 상기 촬영 영상을 기반으로 상기 사용자의 시선 정보를 생성하는 단계; 상기 시선 정보와 상기 시선유도체의 이동 정보를 바탕으로 상기 사용자의 안구상태를 분석하여 상기 사용자의 안구상태 분석 정보를 생성하는 단계; 및 상기 사용자의 안구상태 분석 정보를 상기 스마트 기기로 제공하는 단계를 포함하며, 상기 안구상태 분석 정보를 생성하는 단계는, 상기 시선 정보에 포함된 안구의 좌표값과 상기 이동 정보에 포함된 시선유도체의 좌표값을 비교하여 일치율을 산출하는 단계; 및 상기 산출된 일치율을 기반으로 상기 사용자의 안구상태 분석 정보를 생성하는 단계를 더 포함하는, 안구상태 검사 방법이 제공된다.According to another exemplary embodiment of the present invention, a method performed in a computing device having one or more processors and a memory for storing one or more programs executed by the one or more processors, wherein a user's gaze moves on a screen Transmitting content including a gaze derivative for inducing to a smart device; Obtaining a photographed image of the user viewing the content from the smart device; Generating gaze information of the user based on the captured image; Analyzing the eyeball state of the user based on the gaze information and movement information of the gaze derivative to generate the eyeball state analysis information of the user; And providing the user's eye condition analysis information to the smart device, wherein the generating the eye condition analysis information comprises: a coordinate value of the eyeball included in the gaze information and a gaze derivative included in the movement information Comparing the coordinate values of and calculating a match rate; And generating the user's eye condition analysis information based on the calculated match rate.

본 발명의 실시예들에 따르면, 스마트 기기에서 전방 카메라를 이용하여 시선 인식을 통하여 안구 상태를 검사함으로써, 별도의 장비 없이 스마트 기기로 검사가 가능하며, 비용의 절감 및 편리성을 높일 수 있다.According to embodiments of the present invention, by inspecting the eye condition through gaze recognition using a front camera in the smart device, it is possible to perform the test with a smart device without additional equipment, and reduce cost and increase convenience.

또한, 본 발명의 실시예들에 따르면, 스마트 기기를 통하여 안구 상태를 검사하고 분석된 정보를 제공하며, 분석된 정보에 따른 관련 컨텐츠를 제공함으로써, 안구 상태를 건강하게 유지할 수 있다.In addition, according to embodiments of the present invention, by examining the eye condition through a smart device, providing analyzed information, and providing related content according to the analyzed information, it is possible to maintain a healthy eye condition.

도 1은 본 발명의 일 실시예에 따른 안구상태 검사 시스템을 설명하기 위한 구성도
도 2는 본 발명의 일 실시예에 따른 안구상태 검사 시스템의 스마트 기기를 설명하기 위한 구성도
도 3은 본 발명의 일 실시예에 따른 안구상태 검사 시스템의 관리 서버를 설명하기 위한 구성도
도 4는 본 발명의 일 실시예에 따른 안구상태 검사 시스템의 스마트 기기로 표시되는 콘텐츠를 설명하기 위한 도면
도 5는 본 발명의 일 실시예에 따른 안구상태 검사 시스템의 스마트 기기로 표시되는 다른 콘텐츠를 설명하기 위한 도면
도 6은 본 발명의 일 실시예에 따른 안구상태 검사 시스템을 이용한 안구상태 검사 방법을 설명하기 위한 흐름도
도 7은 예시적인 실시예들에서 사용되기에 적합한 컴퓨팅 장치를 포함하는 컴퓨팅 환경을 예시하여 설명하기 위한 블록도
1 is a configuration diagram for explaining an eye condition inspection system according to an embodiment of the present invention
Figure 2 is a configuration diagram for explaining a smart device of the eye condition inspection system according to an embodiment of the present invention
3 is a configuration diagram for explaining a management server of the eye condition inspection system according to an embodiment of the present invention
4 is a view for explaining content displayed by a smart device of the eye condition inspection system according to an embodiment of the present invention
5 is a view for explaining another content displayed by a smart device of the eye condition inspection system according to an embodiment of the present invention
6 is a flow chart for explaining a method for testing an eye condition using an eye condition inspection system according to an embodiment of the present invention
7 is a block diagram illustrating and describing a computing environment including a computing device suitable for use in example embodiments.

이하, 도면을 참조하여 본 발명의 구체적인 실시형태를 설명하기로 한다. 이하의 상세한 설명은 본 명세서에서 기술된 방법, 장치 및/또는 시스템에 대한 포괄적인 이해를 돕기 위해 제공된다. 그러나 이는 예시에 불과하며 본 발명은 이에 제한되지 않는다.Hereinafter, a specific embodiment of the present invention will be described with reference to the drawings. The following detailed description is provided to aid in a comprehensive understanding of the methods, devices, and/or systems described herein. However, this is only an example and the present invention is not limited thereto.

본 발명의 실시예들을 설명함에 있어서, 본 발명과 관련된 공지기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략하기로 한다. 그리고, 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다. 상세한 설명에서 사용되는 용어는 단지 본 발명의 실시예들을 기술하기 위한 것이며, 결코 제한적이어서는 안 된다. 명확하게 달리 사용되지 않는 한, 단수 형태의 표현은 복수 형태의 의미를 포함한다. 본 설명에서, "포함" 또는 "구비"와 같은 표현은 어떤 특성들, 숫자들, 단계들, 동작들, 요소들, 이들의 일부 또는 조합을 가리키기 위한 것이며, 기술된 것 이외에 하나 또는 그 이상의 다른 특성, 숫자, 단계, 동작, 요소, 이들의 일부 또는 조합의 존재 또는 가능성을 배제하도록 해석되어서는 안 된다.In describing the embodiments of the present invention, when it is determined that a detailed description of a known technology related to the present invention may unnecessarily obscure the subject matter of the present invention, a detailed description thereof will be omitted. In addition, terms to be described later are terms defined in consideration of functions in the present invention, which may vary according to the intention or custom of users or operators. Therefore, the definition should be made based on the contents throughout this specification. The terms used in the detailed description are only for describing embodiments of the present invention, and should not be limiting. Unless explicitly used otherwise, expressions in the singular form include the meaning of the plural form. In this description, expressions such as "comprising" or "feature" are intended to refer to certain features, numbers, steps, actions, elements, some or combination thereof, and one or more other than those described. It should not be construed to exclude the presence or possibility of other features, numbers, steps, actions, elements, any part or combination thereof.

도 1은 본 발명의 일 실시예에 따른 안구상태 검사 시스템을 설명하기 위한 구성도이고, 도 2는 본 발명의 일 실시예에 따른 안구상태 검사 시스템의 스마트 기기를 설명하기 위한 구성도이며, 도 3은 본 발명의 일 실시예에 따른 안구상태 검사 시스템의 관리 서버를 설명하기 위한 구성도이다.1 is a configuration diagram for explaining an eye condition inspection system according to an embodiment of the present invention, Figure 2 is a configuration diagram for explaining a smart device of the eye condition inspection system according to an embodiment of the present invention, 3 is a configuration diagram illustrating a management server of an eye condition inspection system according to an embodiment of the present invention.

도 1 내지 도 3에 도시된 바와 같이, 본 발명의 일 실시예에 따른 안구상태 검사 시스템은 스마트 기기(100) 및 관리서버(300)를 포함할 수 있다.As shown in FIGS. 1 to 3, the eye condition inspection system according to an embodiment of the present invention may include a smart device 100 and a management server 300.

스마트 기기(100) 및 관리 서버(300)는 통신 네트워크(200)를 통해 통신 가능하게 연결된다. The smart device 100 and the management server 300 are communicatively connected through the communication network 200.

몇몇 실시 예들에서, 통신 네트워크(200)는 인터넷, 하나 이상의 로컬 영역 네트워크(local area networks), 광역 네트워크(wire area networks), 셀룰러 네트워크, 모바일 네트워크, 그 밖에 다른 종류의 네트워크들, 또는 이러한 네트워크들의 조합을 포함할 수 있다.In some embodiments, the communication network 200 may include the Internet, one or more local area networks, wire area networks, cellular networks, mobile networks, other types of networks, or other types of networks. Combinations can be included.

스마트 기기(100)는 무선 통신을 사용할 수 있는 스마트 폰, 태블릿 PC 등으로서, 스마트 기기(100)는 촬영부(110), 통신부(120) 및 디스플레이부(130)를 포함할 수 있다.The smart device 100 is a smart phone or a tablet PC capable of using wireless communication, and the smart device 100 may include a photographing unit 110, a communication unit 120, and a display unit 130.

촬영부(110)는 사용자의 얼굴을 촬영할 수 있다. 촬영부(110)는 스마트 기기(100) 등의 단말에 일체로 형성될 수 있다. 구체적으로, 촬영부(110)는 스마트 기기(100) 등의 단말에 일체로 형성되어 사용자의 얼굴을 촬영할 수 있다. 또한, 촬영부(110)는 사용자의 시선을 인식하기 위한 영상을 촬영할 수 있다. 촬영부(110)는 촬영된 영상을 전송부(120)를 통하여 관리 서버(300)로 제공할 수 있다. 이때, 촬영된 영상은 이미지 보정을 통하여 보정된 후 관리 서버(300)로 제공할 수 있다.The photographing unit 110 may photograph a user's face. The photographing unit 110 may be integrally formed in a terminal such as a smart device 100. Specifically, the photographing unit 110 is integrally formed in a terminal such as the smart device 100 to take a user's face. In addition, the photographing unit 110 may capture an image for recognizing a user's gaze. The photographing unit 110 may provide the captured image to the management server 300 through the transmission unit 120. In this case, the captured image may be corrected through image correction and then provided to the management server 300.

통신부(120)는 촬영된 영상을 네트워크(200)를 통하여 관리 서버(300)로 전송할 수 있다. 또한, 통신부(120)는 관리 서버(300)로부터 화면에서 움직임을 가지도록 구현된 시선유도체를 포함하는 콘텐츠를 수신할 수 있다. 통신부(120)는 관리 서버(300)로부터 시선 정보에 기초하여 분석된 사용자의 안구상태 분석 정보를 수신할 수 있다. The communication unit 120 may transmit the captured image to the management server 300 through the network 200. In addition, the communication unit 120 may receive content including a gaze derivative implemented to have a motion on the screen from the management server 300. The communication unit 120 may receive the user's eye condition analysis information analyzed based on the gaze information from the management server 300.

디스플레이부(130)는 움직임을 가지는 시선유도체를 포함하는 콘텐츠를 화면에 표시할 수 있다. 디스플레이부(130)는 스마트 기기(100)의 화면을 통하여 콘텐츠를 출력할 수 있다. 콘텐츠는 스마트 기기(100)의 화면을 통하여 콘텐츠를 바라보는 사용자의 시선 이동을 유도할 수 있다. 여기서, 시선유도체는 원의 형상으로 형성될 수 있으나, 이에 한정되는 것은 아니며, 다양한 모양, 색깔, 크기를 가질 수 있다. 예시적인 실시예에서, 콘텐츠는 시선유도체를 기 설정된 궤적을 따라 움직여서 표시하도록 마련된 것일 수 있다. 여기서, 시선 유도체가 형성하는 궤적은 도형, 글자, 퍼즐 및 캐릭터 중 어느 하나일 수 있다. 또한, 콘텐츠는 광고, 교육, 영화 및 게임 중 적어도 하나의 분야에 적용될 수 있다. The display unit 130 may display content including a gaze derivative having movement on a screen. The display unit 130 may output content through the screen of the smart device 100. The content may induce movement of a user's gaze to view the content through the screen of the smart device 100. Here, the gaze derivative may be formed in a circular shape, but is not limited thereto, and may have various shapes, colors, and sizes. In an exemplary embodiment, the content may be provided to display the gaze guide by moving it along a preset trajectory. Here, the trajectory formed by the gaze derivative may be any one of figures, letters, puzzles, and characters. In addition, the content may be applied to at least one of advertisements, education, movies, and games.

또한, 디스플레이부(130)는 사용자의 안구상태 분석 정보를 표시할 수 있다. 디스플레이부(130)는 사용자의 안구상태 분석 정보를 스마트 기기(100) 상에서 출력할 수 있도록 가공하여 스마트 기기(100)의 화면을 통하여 출력할 수 있다.In addition, the display unit 130 may display the user's eye condition analysis information. The display unit 130 may process the user's eye condition analysis information to be output on the smart device 100 and output it through the screen of the smart device 100.

이 때, 본 발명의 일 실시예에 따른 스마트 기기(100)는 안구상태 검사 서비스를 제공하기 위한 어플리케이션이 설치될 수 있다. 상기 어플리케이션은 스마트 기기(100)의 컴퓨터 판독 가능 저장 매체에 저장될 수 있다. 상기 어플리케이션은 스마트 기기(100)의 프로세서에 의해 실행 가능한 명령어의 소정의 집합을 포함한다. 상기 명령어는 스마트 기기(100)의 프로세서로 하여금 예시적인 실시예에 따른 동작을 수행하게 할 수 있다. 스마트 기기(100)의 컴퓨터 판독 가능 저장 매체는 스마트 기기(100) 상에서 상기 어플리케이션과 같은 명령어 집합을 실행하기 위한 운영 체제의 컴포넌트들을 포함한다. 예를 들어, 이러한 운영 체제는 애플(Apple) 사의 iOS 또는 구글(Google) 사의 Android 일 수 있다.In this case, in the smart device 100 according to an embodiment of the present invention, an application for providing an eye condition test service may be installed. The application may be stored in a computer-readable storage medium of the smart device 100. The application includes a predetermined set of instructions executable by the processor of the smart device 100. The command may cause the processor of the smart device 100 to perform an operation according to an exemplary embodiment. The computer-readable storage medium of the smart device 100 includes components of an operating system for executing an instruction set such as the application on the smart device 100. For example, such an operating system may be iOS of Apple (Apple) or Android of Google (Google).

여기서, 안구상태 검사 서비스를 제공하기 위한 어플리케이션은 사용자의 정보를 입력할 수 있는 입력 인터페이스를 제공할 수 있으며, 입력 인터페이스를 통하여 사용자 데이터를 입력 받을 수 있다. 예를 들어, 사용자의 성명, 성별, 나이 및 스마트 기기 번호 등을 입력할 수 있는 입력 인터페이스를 사용자에게 제공할 수 있다.Here, an application for providing an eye condition test service may provide an input interface through which user information can be input, and user data may be input through the input interface. For example, an input interface for inputting the user's name, gender, age, and smart device number may be provided to the user.

한편, 안구상태 검사 서비스를 제공하기 위한 어플리케이션은 이상에서 설명한 기능 외에도 다양한 분석 처리 및 정보 제공 동작을 수행하도록 설정될 수 있다. 예를 들어, 안구상태 검사 서비스를 제공하기 위한 어플리케이션은 안구상태 분석 정보를 기 설정된 웹 서버(예를 들어, SNS 서버)로 업로드 또는 백업하거나, 기 설정된 웹 서버로부터 사용자의 정보에 매칭되는 기 등록된 안구상태 분석 정보를 획득하여 디스플레이부(130)를 통해 표시할 수 있다. Meanwhile, an application for providing an eye condition test service may be set to perform various analysis processing and information providing operations in addition to the functions described above. For example, an application for providing an eye condition test service uploads or backs up eye condition analysis information to a preset web server (for example, an SNS server), or registers a pre-registration matching the user's information from a preset web server. The obtained eye condition analysis information may be acquired and displayed through the display unit 130.

관리 서버(300)는 통신 모듈(310), 저장 모듈(320), 콘텐츠 제공 모듈(330), 시선 인식 모듈(340) 및 안구상태 분석 모듈(350)을 포함할 수 있다.The management server 300 may include a communication module 310, a storage module 320, a content providing module 330, a gaze recognition module 340, and an eye condition analysis module 350.

통신 모듈(310)은 스마트 기기(100)로부터 촬영된 영상을 네트워크(200)를 통하여 수신할 수 있다. 통신 모듈(310)은 스마트 기기(100)로부터 사용자 정보를 네트워크(200)를 통하여 수신할 수 있다. 또한, 통신 모듈(310)은 콘텐츠를 스마트 기기(100)로 전송할 수 있다. 통신 모듈(310)은 안구상태 분석 정보를 스마트 기기(100)로 전송할 수 있다.The communication module 310 may receive an image captured from the smart device 100 through the network 200. The communication module 310 may receive user information from the smart device 100 through the network 200. In addition, the communication module 310 may transmit content to the smart device 100. The communication module 310 may transmit eye condition analysis information to the smart device 100.

저장 모듈(320)은 통신 모듈(310)을 통하여 수신한 사용자 정보, 촬영된 영상을 저장할 수 있다. 저장 모듈(320)은 안구상태 분석 모듈(350)로부터 분석된 사용자의 안구상태 분석 정보를 저장할 수 있다. 또한, 저장 모듈(320)은 콘텐츠를 저장할 수 있다.The storage module 320 may store user information and a photographed image received through the communication module 310. The storage module 320 may store the user's eye condition analysis information analyzed by the eye condition analysis module 350. Also, the storage module 320 may store content.

콘텐츠 제공 모듈(330)은 통신 모듈(310)을 통하여 움직임을 가지는 시선유도체를 포함하는 콘텐츠를 전송할 수 있다. 전송된 콘텐츠는 스마트 기기(100)의 디스플레이부(130)를 통하여 표시할 수 있다. 여기서, 시선유도체는 원의 형상으로 형성될 수 있으나, 이에 한정되는 것은 아니며, 다양한 모양, 색깔, 크기를 가질 수 있다. 예를 들어, 콘텐츠는 시선유도체를 기 설정된 궤적을 따라 움직여서 표시하도록 마련된 것일 수 있다. 그러나, 이에 한정되는 것은 아니며 시선 유도체는 화면에서 특정 궤도를 따라 움직이는 것이 아니라 화면에서 랜덤한 위치에 불연속적으로 표시되도록 마련될 수도 있다. 여기서, 시선 유도체가 형성하는 궤적은 도형, 글자, 퍼즐 및 캐릭터 중 어느 하나일 수 있다. 또한, 콘텐츠는 광고, 교육, 영화 및 게임 중 적어도 하나의 분야에 적용될 수 있다.The content providing module 330 may transmit content including a gaze derivative having motion through the communication module 310. The transmitted content may be displayed through the display unit 130 of the smart device 100. Here, the gaze derivative may be formed in a circular shape, but is not limited thereto, and may have various shapes, colors, and sizes. For example, the content may be provided to display the gaze derivative by moving along a preset trajectory. However, the present invention is not limited thereto, and the gaze derivative may be provided so as not to move along a specific trajectory on the screen but to be discontinuously displayed at a random position on the screen. Here, the trajectory formed by the gaze derivative may be any one of figures, letters, puzzles, and characters. In addition, the content may be applied to at least one of advertisements, education, movies, and games.

또한, 콘텐츠 제공 모듈(330)은 시선유도체가 상하, 좌우, 대각선으로 움직이는 형태를 가지도록 마련되는 콘텐츠를 생성하여 스마트 기기(100)로 전송할 수 있다. 콘텐츠는 시선 유도체가 화면에 표시되는 좌표값을 연속적인 형태인 연속패턴 형태를 가지도록 할 수 있으며, 시선 유도체가 화면에 표시되는 좌표값을 불연속적인 형태인 랜덤패턴 형태를 가지도록 할 수 있다. 예를 들어, 콘텐츠 제공 모듈(330)은 시선유도체가 연속패턴 형태를 형성하는 제1 이동 정보를 가지도록 마련되는 콘텐츠를 생성할 수 있다. 또한, 콘텐츠 제공 모듈(330)은 시선유도체가 랜덤패턴 형태를 형성하는 제2 이동 정보를 가지도록 마련되는 콘텐츠를 생성할 수 있다.In addition, the content providing module 330 may generate content provided to have a shape in which the gaze guide moves vertically, horizontally, and diagonally, and transmits the content to the smart device 100. In the content, the coordinate values displayed on the screen may have a continuous pattern, and the coordinate values displayed on the screen may have a random pattern, which is a discontinuous form. For example, the content providing module 330 may generate content provided so that the gaze derivative has first movement information forming a continuous pattern. In addition, the content providing module 330 may generate content provided so that the gaze derivative has second movement information forming a random pattern.

또한, 콘텐츠 제공 모듈(330)은 사용자 정보를 이용하여 시선유도체가 연속패턴 형태를 형성하는 제1 이동 정보를 가지도록 하여 제1 콘텐츠를 생성할 수 있다. 즉, 콘텐츠 제공 모듈(330)은 기 저장된 사용자들의 정보를 기반으로 해당 사용자 정보(나이, 성별 등)와 비교하여 제1 이동 정보를 따라 이동하는 시선유도체의 이동 속도를 제어하여 제1 콘텐츠를 생성할 수 있다. 예를 들어, 해당 사용자의 나이에 따라 시선유도체의 이동 속도를 제어하여 난이도를 조절할 수 있다. 해당 사용자의 나이가 기 저장된 사용자들의 평균 나이보다 많은 경우, 제1 이동 정보를 따라 이동하는 시선유도체의 이동 속도를 기 설정된 속도만큼 낮출 수 있다. 또한, 해당 사용자의 나이가 기 저장된 사용자들의 평균 나이보다 적은 경우, 제1 이동 정보를 따라 이동하는 시선유도체의 이동 속도를 기 설정된 속도만큼 높일 수 있다.In addition, the content providing module 330 may generate the first content by allowing the gaze derivative to have first movement information forming a continuous pattern using user information. That is, the content providing module 330 compares the user information (age, gender, etc.) with the user information (age, gender, etc.) based on the previously stored user information and controls the movement speed of the gaze derivative that moves along the first movement information to generate the first content. can do. For example, it is possible to adjust the difficulty level by controlling the moving speed of the gaze derivative according to the age of the user. When the age of the corresponding user is greater than the average age of the pre-stored users, the movement speed of the gaze derivative moving according to the first movement information may be lowered by a preset speed. In addition, when the age of the corresponding user is less than the average age of the pre-stored users, the movement speed of the gaze derivative moving according to the first movement information may be increased by a preset speed.

또한, 콘텐츠 제공 모듈(330)은 사용자 정보를 이용하여 시선유도체가 랜덤패턴 형태를 형성하는 제2 이동 정보를 가지도록 하여 제2 콘텐츠를 생성할 수 있다. 콘텐츠 제공 모듈(330)은 기 저장된 사용자들의 정보를 기반으로 해당 사용자 정보(나이, 성별 등)와 비교하여 제2 이동 정보를 따라 나타나는 시선유도체의 출현 빈도 또는 간격을 제어하여 제2 콘텐츠를 생성할 수 있다. 예를 들어, 해당 사용자의 나이에 따라 시선유도체의 출현 횟수 및 출현 간격을 제어하여 난이도를 조절할 수 있다. 해당 사용자의 나이가 기 저장된 사용자들의 평균 나이보다 많은 경우, 제2 이동 정보를 따라 나타나는 시선유도체의 출현 빈도를 기 설정된 횟수만큼 낮추고, 시선 유도체의 출현 간격을 기 설정된 시간만큼 늘릴 수 있다. 또한, 해당 사용자의 나이가 기 저장된 사용자들의 평균 나이보다 적은 경우, 제2 이동 정보를 따라 나타나는 시선유도체의 출현 빈도를 기 설정된 횟수만큼 높이고, 시선 유도체의 출현 간격을 기 설정된 시간만큼 줄일 수 있다.In addition, the content providing module 330 may generate the second content by allowing the gaze derivative to have second movement information forming a random pattern using user information. The content providing module 330 compares the user information (age, gender, etc.) with the user information (age, gender, etc.) based on the previously stored user information, and controls the appearance frequency or interval of the gaze derivative that appears along the second movement information to generate second content. I can. For example, the degree of difficulty may be adjusted by controlling the number of appearances and intervals of appearance of the gaze derivative according to the user's age. When the age of the corresponding user is greater than the average age of the previously stored users, the frequency of appearance of the gaze derivative appearing according to the second movement information may be reduced by a preset number of times, and the appearance interval of the gaze derivative may be increased by a preset time. In addition, when the age of the corresponding user is less than the average age of the previously stored users, the frequency of appearance of the gaze derivative appearing along the second movement information may be increased by a preset number of times, and the appearance interval of the gaze derivative may be reduced by a preset time.

이와 같이, 사용자 정보에 따라 콘텐츠의 난이도를 조절함으로써, 보다 정확한 검사 결과를 제공할 수 있다.In this way, by adjusting the difficulty of the content according to the user information, a more accurate test result can be provided.

시선 인식 모듈(340)은 통신 모듈(310)을 통하여 수신한 촬영된 영상을 이용하여 사용자의 시선을 인식할 수 있다. 시선 인식 모듈(340)은 사용자의 시선을 인식하여 시선 정보를 생성할 수 있다. 구체적으로, 시선 인식 모듈(340)은 통신 모듈(310)을 통하여 수신한 촬영된 영상으로부터 회귀분석(Regression) 알고리즘을 통하여 얼굴을 인식할 수 있다. 여기서, 회귀분석 알고리즘은 머신 러닝(machine learning) 내에서 사용되는 알고리즘 방법론 중 일부이며, 머신 러닝에 사용되는 데이터셋은 Dlib(distribution library)를 이용하여 face landmark 데이터셋을 사용하여 사람의 얼굴을 인식할 수 있다. The gaze recognition module 340 may recognize a user's gaze using a captured image received through the communication module 310. The gaze recognition module 340 may generate gaze information by recognizing a user's gaze. Specifically, the gaze recognition module 340 may recognize a face from a photographed image received through the communication module 310 through a regression algorithm. Here, the regression analysis algorithm is part of the algorithm methodology used in machine learning, and the dataset used for machine learning recognizes a human face using a face landmark dataset using Dlib (distribution library). can do.

또한, 시선 인식 모듈(340)은 인식된 얼굴 이미지로부터 시선 정보를 생성할 수 있다. 구체적으로, 시선 인식 모듈(340)은 인식된 얼굴 이미지에서 안구를 추출하고, 추출된 안구의 수평, 수직, 회선 운동에 따른 움직임을 분석하여 시선 정보를 생성할 수 있다. 즉, 시선 인식 모듈(340)은 추출된 안구의 움직임에 따른 좌표값을 인식할 수 있다. 시선 인식 모듈(340)은 좌표값을 기초로 시선 정보를 생성할 수 있다. Also, the gaze recognition module 340 may generate gaze information from the recognized face image. Specifically, the gaze recognition module 340 may generate gaze information by extracting an eyeball from the recognized face image and analyzing a movement according to the horizontal, vertical, and rotational motion of the extracted eyeball. That is, the gaze recognition module 340 may recognize a coordinate value according to the extracted eyeball movement. The gaze recognition module 340 may generate gaze information based on a coordinate value.

본 발명의 일 실시예에 따른 시선 인식 모듈(340)은 머신 러닝(machine learning) 방식에 기초한 캘리브레이션(calibration)을 수행할 수 있다. 구체적으로, 시선 인식 모듈(340)은 얼굴 이미지로부터 안구의 움직임을 분석하도록 학습된 머신 러닝을 수행하여 사용자 별로 추출된 안구의 움직임을 캘리브레이션(calibration)함으로써, 사용자 별로 안구의 움직임에 대한 인식률을 높일 수 있다.The gaze recognition module 340 according to an embodiment of the present invention may perform calibration based on a machine learning method. Specifically, the gaze recognition module 340 performs machine learning that is learned to analyze the movement of the eyeball from the face image, and calibrates the movement of the eyeball extracted for each user, thereby increasing the recognition rate for the movement of the eyeball for each user. I can.

도 4는 본 발명의 일 실시예에 따른 안구상태 검사 시스템의 스마트 기기로 표시되는 콘텐츠를 설명하기 위한 도면이다.4 is a diagram for explaining content displayed by a smart device of an eye condition inspection system according to an embodiment of the present invention.

도 4를 참조하면, 스마트 기기(100)의 디스플레이부(130)를 통해 표시되는 제1 콘텐츠는 상하, 좌우, 대각선으로 움직이는 형태를 가지는 시선유도체를 포함할 수 있다. 제1 콘텐츠는 화면에 표시되는 좌표값을 연속적인 형태인 제1 이동 정보로 표시할 수 있다. 예를 들어, 제1 이동 정보는 시선유도체가 움직이는 궤적, 즉, 도형, 글자, 퍼즐 및 캐릭터 등의 윤곽을 따라 이동하는 연속적인 움직임에 의한 연속패턴일 수 있다. 이 때, 시선 인식 모듈(340)은 시선유도체가 움직이는 궤적을 추적하는 안구의 수평, 수직, 회선 운동에 따른 움직임을 분석할 수 있다. Referring to FIG. 4, the first content displayed through the display unit 130 of the smart device 100 may include a gaze derivative having a shape that moves vertically, horizontally, and diagonally. The first content may display coordinate values displayed on the screen as first movement information in a continuous form. For example, the first movement information may be a trajectory in which the gaze derivative moves, that is, a continuous pattern based on a continuous movement moving along the outline of a figure, a letter, a puzzle, and a character. In this case, the gaze recognition module 340 may analyze a movement according to horizontal, vertical, and rotational movements of the eyeball that tracks the trajectory of the gaze derivative.

한편, 여기서는 콘텐츠가 궤적을 그리는 형태로 표시하였으나, 이에 한정되는 것은 아니며, 사용자의 시선을 인식할 수 있는 시선유도체를 표시하는 콘텐츠라면 제한이 없음을 당업자는 용이하게 이해할 수 있을 것이다. 예를 들어, 콘텐츠는 시선유도체에 대한 모양, 색깔, 크기, 궤적 등이 변경될 수 있다. 또한, 시선유도체에 대한 궤적은 도형, 글자, 퍼즐, 캐릭터 등으로 변경될 수 있다. 또한, 콘텐츠는 게임 등의 방식으로 표시될 수 있다. Meanwhile, although the content is displayed in the form of drawing a trajectory here, it is not limited thereto, and those skilled in the art will readily understand that there is no limitation as long as content that displays a gaze derivative capable of recognizing a user's gaze. For example, in the content, the shape, color, size, and trajectory of the gaze derivative may be changed. In addition, the trajectory of the gaze derivative may be changed to a figure, a letter, a puzzle, or a character. Also, the content may be displayed in a manner such as a game.

도 5는 본 발명의 일 실시예에 따른 안구상태 검사 시스템의 스마트 기기로 표시되는 다른 콘텐츠를 설명하기 위한 도면이다.5 is a view for explaining another content displayed by a smart device of the eye condition inspection system according to an embodiment of the present invention.

도 5를 참조하면, 스마트 기기(100)의 디스플레이부(130)를 통해 표시되는 제2 콘텐츠는 불특정하게 나타나는 형태를 가지는 시선 유도체를 포함할 수 있다. 제2 콘텐츠는 화면에 표시되는 좌표값을 불연속적인 형태인 제2 이동 정보로 표시할 수 있다. 예를 들어, 제2 이동 정보는 화면에 표시되는 좌표값을 불연속적으로 표시, 즉, 불특정하게 깜빡이는 시선유도체에 의한 랜덤패턴일 수 있다. 이 때, 시선 인식 모듈(340)은 시선유도체가 표시되는 좌표값을 추적하는 안구의 수평, 수직, 회선 운동에 따른 움직임 및 안구의 반응을 분석할 수 있다.Referring to FIG. 5, the second content displayed through the display unit 130 of the smart device 100 may include a gaze derivative having an unspecified appearance. The second content may display coordinate values displayed on the screen as second movement information in a discontinuous form. For example, the second movement information may be a random pattern by a gaze derivative that unspecifiedly blinks, that is, a coordinate value displayed on the screen is discontinuously displayed. In this case, the gaze recognition module 340 may analyze a movement according to a horizontal, vertical, and rotational motion of the eyeball for tracking coordinate values at which the gaze derivative is displayed, and a reaction of the eyeball.

다시 도 1 내지 도 3을 참조하면, 안구상태 분석 모듈(350)은 시선 인식 모듈(340)을 통하여 생성된 시선 정보와 콘텐츠에 포함된 이동 정보를 비교하여 사용자의 안구상태를 분석할 수 있다. 구체적으로, 안구상태 분석 모듈(350)은 시선 정보와 이동 정보를 비교하여 시선 정보와 이동 정보의 일치율을 산출할 수 있다. 안구상태 분석 모듈(350)은 산출된 일치율을 기반으로 해당 사용자의 안구상태 분석 정보를 생성할 수 있다. 즉, 안구상태 분석 모듈(350)은 시선 정보에 포함된 좌표값과 이동 정보에 포함된 좌표값을 비교하여 일치율을 산정할 수 있다. 예를 들어, 시선 정보에 포함된 안구의 좌표값과 이동 정보에 포함된 시선유도체의 좌표값을 비교하여 일치율이 90%로 산출되는 경우, 90점으로 산정된 안구상태 분석 정보를 사용자에게 제공할 수 있다. 이 때, 안구상태 분석 모듈(350)은 복수의 안구상태 분석 정보를 기반으로 기 저장된 사용자들의 평균 점수를 산출하여 해당 사용자의 안구상태 분석 정보와 함께 제공할 수 있다. Referring back to FIGS. 1 to 3, the eyeball state analysis module 350 may analyze the eyeball state of the user by comparing the gaze information generated through the gaze recognition module 340 with movement information included in the content. Specifically, the eye condition analysis module 350 may compare the gaze information and the movement information to calculate a match rate between the gaze information and the movement information. The eye condition analysis module 350 may generate eye condition analysis information of a corresponding user based on the calculated matching rate. That is, the eye condition analysis module 350 may calculate a match rate by comparing a coordinate value included in the gaze information and a coordinate value included in the movement information. For example, if the matching rate is calculated as 90% by comparing the coordinate value of the eyeball included in the gaze information and the coordinate value of the gaze derivative included in the movement information, the analysis information on the eyeball condition calculated as 90 points will be provided to the user. I can. In this case, the eye condition analysis module 350 may calculate an average score of the pre-stored users based on the plurality of eye condition analysis information and provide it together with the eye condition analysis information of the user.

예시적인 실시예에서, 안구상태 분석 모듈(350)은 시선 정보와 제1 콘텐츠에 포함된 제1 이동 정보를 비교하여 사용자의 안구상태를 분석할 수 있다. 구체적으로, 안구상태 분석 모듈(350)은 시선 정보와 제1 이동 정보를 비교하여 시선 정보와 제1 이동 정보의 일치율을 산출할 수 있다. 안구상태 분석 모듈(350)은 산출된 일치율을 기반으로 해당 사용자의 안구상태 분석 정보를 생성할 수 있다. 즉, 안구상태 분석 모듈(350)은 시선 정보가 제1 이동 정보와 대응되는 정도를 분석하여 해당 사용자의 안구상태 분석 정보를 생성할 수 있다. 이 때, 안구상태 분석 모듈(350)은 제1 이동 정보를 따라 움직이는 시선 정보로부터 안구의 수평, 수직, 회선 운동에 따른 움직임을 분석할 수 있다.In an exemplary embodiment, the eye condition analysis module 350 may analyze the eye condition of the user by comparing the gaze information and first movement information included in the first content. Specifically, the eye condition analysis module 350 may compare the gaze information and the first movement information to calculate a match rate between the gaze information and the first movement information. The eye condition analysis module 350 may generate eye condition analysis information of a corresponding user based on the calculated matching rate. That is, the eye condition analysis module 350 may generate eye condition analysis information of a corresponding user by analyzing a degree to which gaze information corresponds to the first movement information. In this case, the eyeball condition analysis module 350 may analyze movement according to horizontal, vertical, and rotational movements of the eyeball from gaze information moving according to the first movement information.

예시적인 실시예에서, 안구상태 분석 모듈(350)은 시선 정보와 제2 콘텐츠에 포함된 제2 이동 정보를 비교하여 사용자의 안구상태를 분석할 수 있다. 구체적으로, 안구상태 분석 모듈(350)은 시선 정보와 제2 이동 정보를 비교하여 시선 정보와 제2 이동 정보의 일치율을 산출할 수 있다. 안구상태 분석 모듈(350)은 산출된 일치율을 기반으로 해당 사용자의 안구상태 분석 정보를 생성할 수 있다. 즉, 안구상태 분석 모듈(350)은 시선 정보가 제2 이동 정보와 대응되는 정도를 분석하여 해당 사용자의 안구상태 분석 정보를 생성할 수 있다. 이 때, 안구상태 분석 모듈(350)은 시선 정보가 제2 이동 정보가 표시되는 좌표값과 대응되는 정도를 분석하여 안구의 수평, 수직, 회선 운동에 따른 움직임을 분석할 수 있다. 또한, 안구상태 분석 모듈(350)은 시선 정보가 제2 이동 정보가 표시되는 좌표값을 추적하는 정도를 분석하여 안구의 반응속도를 분석할 수 있다.In an exemplary embodiment, the eyeball state analysis module 350 may analyze the eyeball state of the user by comparing the gaze information and second movement information included in the second content. Specifically, the eye condition analysis module 350 may compare the gaze information and the second movement information to calculate a match rate between the gaze information and the second movement information. The eye condition analysis module 350 may generate eye condition analysis information of a corresponding user based on the calculated matching rate. That is, the eye condition analysis module 350 may generate eye condition analysis information of a corresponding user by analyzing the degree to which the gaze information corresponds to the second movement information. In this case, the eyeball condition analysis module 350 may analyze a degree to which the gaze information corresponds to a coordinate value at which the second movement information is displayed, and analyze movement according to horizontal, vertical, and rotational movements of the eyeball. In addition, the eye condition analysis module 350 may analyze a reaction speed of the eyeball by analyzing the degree to which the gaze information tracks a coordinate value at which the second movement information is displayed.

따라서, 본 발명의 일 실시예에 따른 안구상태 검사 시스템은 스마트 기기에서 전방 카메라를 이용하여 시선 인식을 통하여 안구 상태를 검사함으로써, 별도의 장비 없이 스마트 기기로 검사가 가능하며, 비용의 절감 및 편리성을 높일 수 있다.Therefore, the eye condition inspection system according to an embodiment of the present invention inspects the eye condition through gaze recognition using the front camera in the smart device, so that the inspection can be performed with a smart device without additional equipment, and cost reduction and convenience You can increase your sex.

컨텐츠 제공 모듈(360)는 안구상태 분석 정보를 기반으로 다양한 시선유도체가 포함된 콘텐츠를 게임에 적용하여 제공할 수 있다. 여기서, 시선유도체는 도형, 글자, 퍼즐 및 캐릭터 중 어느 하나일 수 있다. 또한, 게임은 2차원 배열로 배치된 다수의 블록들을 이용한 퍼즐게임일 수 있다.The content providing module 360 may apply and provide content including various gaze derivatives to the game based on the eye condition analysis information. Here, the gaze derivative may be any one of figures, letters, puzzles, and characters. In addition, the game may be a puzzle game using a plurality of blocks arranged in a two-dimensional arrangement.

따라서, 본 발명의 일 실시예에 따른 안구상태 검사 시스템은 스마트 기기를 통하여 안구 상태를 검사하고 분석된 정보를 제공하며, 분석된 정보에 따른 관련 컨텐츠를 제공함으로써, 안구 상태를 건강하게 유지할 수 있다.Accordingly, the eye condition inspection system according to an embodiment of the present invention inspects the eye condition through a smart device, provides analyzed information, and provides related content according to the analyzed information, thereby maintaining a healthy eye condition. .

도 6은 본 발명의 일 실시예에 따른 안구상태 검사 시스템을 이용한 안구상태 검사 방법을 설명하기 위한 흐름도이다. 도 6에 도시된 방법은 예를 들어, 하나 이상의 프로세서들, 및 상기 하나 이상의 프로세서들에 의해 실행되는 하나 이상의 프로그램들을 저장하는 메모리를 구비한 컴퓨팅 장치(12)에 의해 수행될 수 있다. 이를 위하여, 안구상태 검사 방법은 하나 이상의 컴퓨터 실행 가능 명령어를 포함하는 프로그램 내지 소프트웨어의 형태로 구현되어 상기 메모리상에 저장될 수 있다. 6 is a flowchart illustrating a method of testing an eyeball condition using an eyeball condition test system according to an embodiment of the present invention. The method shown in FIG. 6 may be performed, for example, by a computing device 12 having one or more processors and a memory that stores one or more programs executed by the one or more processors. To this end, the eye condition test method may be implemented in the form of a program or software including one or more computer executable instructions and stored in the memory.

또한, 도시된 흐름도에서는 상기 방법을 복수 개의 단계로 나누어 기재하였으나, 적어도 일부의 단계들은 순서를 바꾸어 수행되거나, 다른 단계와 결합되어 함께 수행되거나, 생략되거나, 세부 단계들로 나뉘어 수행되거나, 또는 도시되지 않은 하나 이상의 단계가 부가되어 수행될 수 있다.Further, in the illustrated flowchart, the method is described by dividing the method into a plurality of steps, but at least some of the steps are performed in a different order, combined with other steps, performed together, omitted, divided into detailed steps, or shown. One or more steps that have not been performed may be added and performed.

도 6을 참조하면, 컴퓨팅 장치(12)는 화면에서 사용자의 시선 이동을 유도하기 위한 시선유도체를 포함하는 콘텐츠를 스마트 기기(100)로 전송한다(S601).Referring to FIG. 6, the computing device 12 transmits a content including a gaze derivative for inducing a user's gaze movement on the screen to the smart device 100 (S601).

다음으로, 컴퓨팅 장치(12)는 스마트 기기(100)로부터 콘텐츠를 바라보는 사용자의 촬영 영상을 획득한다(S602). Next, the computing device 12 acquires a captured image of a user viewing the content from the smart device 100 (S602).

다음으로, 컴퓨팅 장치(12)는 촬영 영상을 기반으로 사용자의 시선 정보를 생성한다(S603). 구체적으로, 컴퓨팅 장치(12)는 인식된 얼굴 이미지로부터 안구를 추출하고, 추출된 안구의 움직임을 분석하여 상기 시선 정보를 생성할 수 있다. 이 때, 컴퓨팅 장치(12)는 얼굴 이미지로부터 안구 움직임을 분석하도록 학습된 머신 러닝을 수행하여 사용자의 안구 움직임을 캘리브레이션(calibration)할 수 있다.Next, the computing device 12 generates gaze information of the user based on the captured image (S603). Specifically, the computing device 12 may extract the eyeball from the recognized face image and analyze the extracted eyeball movement to generate the gaze information. In this case, the computing device 12 may calibrate the user's eye movement by performing machine learning learned to analyze the eye movement from the face image.

다음으로, 컴퓨팅 장치(12)는 시선 정보와 시선유도체의 이동 정보를 바탕으로 사용자의 안구상태를 분석하여 사용자의 안구상태 분석 정보를 생성한다(S604). 구체적으로, 컴퓨팅 장치(12)는 시선 정보에 포함된 안구 의 좌표값과 이동 정보에 포함된 시선유도체의 좌표값을 비교하여 일치율을 산출할 수 있다. 컴퓨팅 장치(12)는 산출된 일치율을 기반으로 사용자의 안구상태 분석 정보를 생성할 수 있다.Next, the computing device 12 analyzes the user's eye condition based on the gaze information and the movement information of the gaze derivative to generate the user's eye condition analysis information (S604). Specifically, the computing device 12 may calculate a match rate by comparing the coordinate value of the eyeball included in the gaze information and the coordinate value of the gaze derivative included in the movement information. The computing device 12 may generate the user's eye condition analysis information based on the calculated matching rate.

마지막으로, 컴퓨팅 장치(12)는 사용자의 안구상태 분석 정보를 사용자의 스마트 기기(100)로 제공한다(S605).Finally, the computing device 12 provides the user's eye condition analysis information to the user's smart device 100 (S605).

도 7은 예시적인 실시예들에서 사용되기에 적합한 컴퓨팅 장치를 포함하는 컴퓨팅 환경(10)을 예시하여 설명하기 위한 블록도이다. 도시된 실시예에서, 각 컴포넌트들은 이하에 기술된 것 이외에 상이한 기능 및 능력을 가질 수 있고, 이하에 기술된 것 이외에도 추가적인 컴포넌트를 포함할 수 있다.7 is a block diagram illustrating and describing a computing environment 10 including a computing device suitable for use in example embodiments. In the illustrated embodiment, each component may have different functions and capabilities in addition to those described below, and may include additional components in addition to those described below.

도시된 컴퓨팅 환경(10)은 컴퓨팅 장치(12)를 포함한다. 일 실시예에서, 컴퓨팅 장치(12)는 스마트 기기(100)일 수 있다. 또한, 컴퓨팅 장치(12)는 관리 서버(300)일 수 있다.The illustrated computing environment 10 includes a computing device 12. In one embodiment, the computing device 12 may be a smart device 100. Also, the computing device 12 may be a management server 300.

컴퓨팅 장치(12)는 적어도 하나의 프로세서(14), 컴퓨터 판독 가능 저장 매체(16) 및 통신 버스(18)를 포함한다. 프로세서(14)는 컴퓨팅 장치(12)로 하여금 앞서 언급된 예시적인 실시예에 따라 동작하도록 할 수 있다. 예컨대, 프로세서(14)는 컴퓨터 판독 가능 저장 매체(16)에 저장된 하나 이상의 프로그램들을 실행할 수 있다. 상기 하나 이상의 프로그램들은 하나 이상의 컴퓨터 실행 가능 명령어를 포함할 수 있으며, 상기 컴퓨터 실행 가능 명령어는 프로세서(14)에 의해 실행되는 경우 컴퓨팅 장치(12)로 하여금 예시적인 실시예에 따른 동작들을 수행하도록 구성될 수 있다.The computing device 12 includes at least one processor 14, a computer-readable storage medium 16 and a communication bus 18. The processor 14 may cause the computing device 12 to operate according to the exemplary embodiments mentioned above. For example, the processor 14 may execute one or more programs stored in the computer-readable storage medium 16. The one or more programs may include one or more computer-executable instructions, and the computer-executable instructions are configured to cause the computing device 12 to perform operations according to an exemplary embodiment when executed by the processor 14 Can be.

컴퓨터 판독 가능 저장 매체(16)는 컴퓨터 실행 가능 명령어 내지 프로그램 코드, 프로그램 데이터 및/또는 다른 적합한 형태의 정보를 저장하도록 구성된다. 컴퓨터 판독 가능 저장 매체(16)에 저장된 프로그램(20)은 프로세서(14)에 의해 실행 가능한 명령어의 집합을 포함한다. 일 실시예에서, 컴퓨터 판독 가능 저장 매체(16)는 메모리(랜덤 액세스 메모리와 같은 휘발성 메모리, 비휘발성 메모리, 또는 이들의 적절한 조합), 하나 이상의 자기 디스크 저장 디바이스들, 광학 디스크 저장 디바이스들, 플래시 메모리 디바이스들, 그 밖에 컴퓨팅 장치(12)에 의해 액세스되고 원하는 정보를 저장할 수 있는 다른 형태의 저장 매체, 또는 이들의 적합한 조합일 수 있다.The computer-readable storage medium 16 is configured to store computer-executable instructions or program code, program data, and/or other suitable form of information. The program 20 stored in the computer-readable storage medium 16 includes a set of instructions executable by the processor 14. In one embodiment, the computer-readable storage medium 16 includes memory (volatile memory such as random access memory, nonvolatile memory, or a suitable combination thereof), one or more magnetic disk storage devices, optical disk storage devices, flash It may be memory devices, other types of storage media that can be accessed by computing device 12 and store desired information, or a suitable combination thereof.

통신 버스(18)는 프로세서(14), 컴퓨터 판독 가능 저장 매체(16)를 포함하여 컴퓨팅 장치(12)의 다른 다양한 컴포넌트들을 상호 연결한다.The communication bus 18 interconnects the various other components of the computing device 12, including the processor 14 and computer-readable storage medium 16.

컴퓨팅 장치(12)는 또한 하나 이상의 입출력 장치(24)를 위한 인터페이스를 제공하는 하나 이상의 입출력 인터페이스(22) 및 하나 이상의 네트워크 통신 인터페이스(26)를 포함할 수 있다. 입출력 인터페이스(22) 및 네트워크 통신 인터페이스(26)는 통신 버스(18)에 연결된다. 입출력 장치(24)는 입출력 인터페이스(22)를 통해 컴퓨팅 장치(12)의 다른 컴포넌트들에 연결될 수 있다. 예시적인 입출력 장치(24)는 포인팅 장치(마우스 또는 트랙패드 등), 키보드, 터치 입력 장치(터치패드 또는 터치스크린 등), 음성 또는 소리 입력 장치, 다양한 종류의 센서 장치 및/또는 촬영 장치와 같은 입력 장치, 및/또는 디스플레이 장치, 프린터, 스피커 및/또는 네트워크 카드와 같은 출력 장치를 포함할 수 있다. 예시적인 입출력 장치(24)는 컴퓨팅 장치(12)를 구성하는 일 컴포넌트로서 컴퓨팅 장치(12)의 내부에 포함될 수도 있고, 컴퓨팅 장치(12)와는 구별되는 별개의 장치로 컴퓨팅 장치(12)와 연결될 수도 있다.Computing device 12 may also include one or more input/output interfaces 22 and one or more network communication interfaces 26 that provide interfaces for one or more input/output devices 24. The input/output interface 22 and the network communication interface 26 are connected to the communication bus 18. The input/output device 24 may be connected to other components of the computing device 12 through the input/output interface 22. The exemplary input/output device 24 includes a pointing device (such as a mouse or trackpad), a keyboard, a touch input device (such as a touch pad or a touch screen), a voice or sound input device, and various types of sensor devices and/or a photographing device. Input devices and/or output devices such as display devices, printers, speakers, and/or network cards. The exemplary input/output device 24 may be included in the computing device 12 as a component constituting the computing device 12, and may be connected to the computing device 12 as a separate device distinct from the computing device 12. May be.

이상에서 본 발명의 대표적인 실시예들을 상세하게 설명하였으나, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 상술한 실시예에 대하여 본 발명의 범주에서 벗어나지 않는 한도 내에서 다양한 변형이 가능함을 이해할 것이다. 그러므로 본 발명의 권리범위는 설명된 실시예에 국한되어 정해져서는 안 되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.Although the exemplary embodiments of the present invention have been described in detail above, those of ordinary skill in the art to which the present invention pertains will understand that various modifications may be made to the above-described embodiments without departing from the scope of the present invention. . Therefore, the scope of the present invention is limited to the described embodiments and should not be determined, and should not be determined by the claims to be described later, but also by those equivalents to the claims.

100 : 스마트 기기
110 : 촬영부
120 : 통신부
130 : 디스플레이부
200 : 네트워크
300 : 관리 서버
310 : 통신 모듈
320 : 저장 모듈
330 : 콘텐츠 제공 모듈
340 : 시선 인식 모듈
350 : 안구상태 분석 모듈
100: smart device
110: photographing department
120: communication department
130: display unit
200: network
300: management server
310: communication module
320: storage module
330: content providing module
340: gaze recognition module
350: eye condition analysis module

Claims (7)

하나 이상의 프로세서들, 및
상기 하나 이상의 프로세서들에 의해 실행되는 하나 이상의 프로그램들을 저장하는 메모리를 구비한 컴퓨팅 장치로서,
스마트 기기의 화면에서 사용자의 시선 이동을 유도하기 위한 시선유도체를 포함하는 콘텐츠를 생성하는 콘텐츠 제공 모듈;
상기 콘텐츠를 상기 스마트 기기로 전송하고, 상기 스마트 기기로부터 상기 콘텐츠를 바라보는 상기 사용자의 촬영 영상을 획득하는 통신 모듈;
상기 촬영 영상을 기반으로 상기 사용자의 시선 정보를 생성하는 시선 인식 모듈; 및
상기 시선 정보와 상기 시선유도체의 이동 정보를 바탕으로 상기 사용자의 안구상태를 분석하여 상기 사용자의 안구상태 분석 정보를 생성하는 안구상태 분석 모듈을 포함하는, 컴퓨팅 장치.
One or more processors, and
A computing device having a memory for storing one or more programs executed by the one or more processors,
A content providing module that generates content including a gaze derivative for inducing a user's gaze movement on a screen of a smart device;
A communication module that transmits the content to the smart device and obtains a photographed image of the user viewing the content from the smart device;
A gaze recognition module that generates gaze information of the user based on the captured image; And
And an eye condition analysis module for generating the user's eye condition analysis information by analyzing the user's eye condition based on the eye line information and movement information of the eye line guide.
청구항 1에 있어서,
상기 안구상태 분석 모듈은,
상기 시선 정보에 포함된 안구의 좌표값과 상기 이동 정보에 포함된 시선유도체의 좌표값을 비교하여 일치율을 산출하고, 상기 산출된 일치율을 기반으로 상기 사용자의 안구상태 분석 정보를 생성하는, 컴퓨팅 장치.
The method according to claim 1,
The eye condition analysis module,
Computing device for calculating a matching rate by comparing the coordinate value of the eyeball included in the gaze information with the coordinate value of the gaze derivative included in the movement information, and generating the eyeball state analysis information of the user based on the calculated matching rate .
청구항 1에 있어서,
상기 통신 모듈은, 상기 스마트 기기로부터 상기 사용자의 나이를 포함하는 사용자 정보를 획득하며,
상기 콘텐츠 제공 모듈은,
상기 사용자 정보를 기반으로 기 저장된 사용자들의 평균 나이와 비교하여 상기 콘텐츠 내의 상기 시선유도체의 이동 속도, 출현 빈도, 및 출현 간격 중 하나 이상을 조절하는, 컴퓨팅 장치.
The method according to claim 1,
The communication module obtains user information including the user's age from the smart device,
The content providing module,
Computing device for adjusting one or more of a movement speed, an appearance frequency, and an appearance interval of the gaze derivative in the content by comparing the average age of pre-stored users based on the user information.
청구항 3에 있어서,
상기 콘텐츠 제공 모듈은,
상기 화면에 표시되는 시선유도체가 연속적인 형태를 가지는 제1 이동 정보를 포함하도록 제1 콘텐츠를 생성하며,
상기 제1 콘텐츠는,
상기 사용자 정보를 기반으로 기 저장된 사용자들의 평균 나이와 비교하여 해당 사용자가 상기 평균 나이보다 많은 경우에는 상기 시선유도체의 이동 속도가 기 설정된 속도만큼 감소되고, 해당 사용자가 상기 평균 나이보다 적은 경우에는 상기 시선유도체의 이동 속도가 기 설정된 속도만큼 상승되도록 마련되는, 컴퓨팅 장치.
The method of claim 3,
The content providing module,
The first content is generated so that the gaze derivative displayed on the screen includes first movement information having a continuous shape,
The first content,
Based on the user information, when the user is greater than the average age, the moving speed of the gaze derivative is reduced by a preset speed when the user is greater than the average age, and when the user is less than the average age, the A computing device provided to increase the moving speed of the gaze-derived by a preset speed.
청구항 3에 있어서,
상기 콘텐츠 제공 모듈은,
상기 화면에 표시되는 시선유도체가 불연속적인 형태를 가지는 제2 이동 정보를 포함하도록 제2 콘텐츠를 생성하며,
상기 제2 콘텐츠는,
상기 사용자 정보를 기반으로 기 저장된 사용자들의 평균 나이와 비교하여 해당 사용자가 상기 평균 나이보다 많은 경우에는 상기 시선유도체의 출현 빈도가 기 설정된 횟수만큼 감소되며, 상기 시선유도체의 출현 간격이 기 설정된 시간만큼 증가되도록 마련되는, 컴퓨팅 장치.
The method of claim 3,
The content providing module,
The second content is generated so that the gaze derivative displayed on the screen includes second movement information having a discontinuous form,
The second content,
Compared with the average age of pre-stored users based on the user information, if the user is greater than the average age, the frequency of appearance of the gaze derivative is reduced by a preset number of times, and the appearance interval of the gaze derivative is reduced by a preset time. Computing device, arranged to increase.
청구항 3에 있어서,
상기 콘텐츠 제공 모듈은,
상기 화면에 표시되는 시선유도체가 연속적인 형태를 가지는 제1 이동 정보 및 상기 화면에 표시되는 시선유도체가 불연속적인 형태를 가지는 제2 이동 정보를 포함하도록 제3 콘텐츠를 생성하며,
상기 제3 콘텐츠는,
상기 사용자 정보를 기반으로 기 저장된 사용자들의 평균 나이와 비교하여 해당 사용자가 상기 평균 나이보다 많은 경우에는 상기 시선유도체의 이동 속도가 기 설정된 속도만큼 감소되고, 상기 시선유도체의 출현 빈도가 기 설정된 횟수만큼 감소되며, 상기 시선유도체의 출현 간격이 기 설정된 시간만큼 증가되도록 마련되는, 컴퓨팅 장치.
The method of claim 3,
The content providing module,
3rd content is generated so that the gaze guide displayed on the screen includes first movement information having a continuous shape and the gaze guide displayed on the screen second movement information having a discontinuous shape,
The third content,
Compared with the average age of users previously stored based on the user information, if the user is greater than the average age, the moving speed of the gaze derivative is reduced by a preset speed, and the appearance frequency of the gaze derivative is reduced by a preset number of times. It is reduced, and the appearance interval of the gaze derivative is provided to increase by a preset time.
하나 이상의 프로세서들, 및
상기 하나 이상의 프로세서들에 의해 실행되는 하나 이상의 프로그램들을 저장하는 메모리를 구비한 컴퓨팅 장치에서 수행되는 방법으로서,
화면에서 사용자의 시선 이동을 유도하기 위한 시선유도체를 포함하는 콘텐츠를 스마트 기기로 전송하는 단계;
상기 스마트 기기로부터 상기 콘텐츠를 바라보는 상기 사용자의 촬영 영상을 획득하는 단계;
상기 촬영 영상을 기반으로 상기 사용자의 시선 정보를 생성하는 단계;
상기 시선 정보와 상기 시선유도체의 이동 정보를 바탕으로 상기 사용자의 안구상태를 분석하여 상기 사용자의 안구상태 분석 정보를 생성하는 단계; 및
상기 사용자의 안구상태 분석 정보를 상기 스마트 기기로 제공하는 단계를 포함하며,
상기 안구상태 분석 정보를 생성하는 단계는,
상기 시선 정보에 포함된 안구의 좌표값과 상기 이동 정보에 포함된 시선유도체의 좌표값을 비교하여 일치율을 산출하는 단계; 및
상기 산출된 일치율을 기반으로 상기 사용자의 안구상태 분석 정보를 생성하는 단계를 더 포함하는, 안구상태 검사 방법.
One or more processors, and
A method performed in a computing device having a memory storing one or more programs executed by the one or more processors,
Transmitting content including a gaze derivative for inducing a user's gaze movement on a screen to a smart device;
Acquiring a photographed image of the user viewing the content from the smart device;
Generating gaze information of the user based on the captured image;
Analyzing the eyeball state of the user based on the gaze information and movement information of the gaze derivative to generate the eyeball state analysis information of the user; And
And providing the user's eye condition analysis information to the smart device,
Generating the eye condition analysis information,
Calculating a match rate by comparing the coordinate value of the eyeball included in the gaze information and the coordinate value of the gaze derivative included in the movement information; And
And generating the user's eye condition analysis information based on the calculated match rate.
KR1020190095308A 2019-08-06 2019-08-06 Method for eye state inspection and computing device for executing the method KR102280944B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190095308A KR102280944B1 (en) 2019-08-06 2019-08-06 Method for eye state inspection and computing device for executing the method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190095308A KR102280944B1 (en) 2019-08-06 2019-08-06 Method for eye state inspection and computing device for executing the method

Publications (2)

Publication Number Publication Date
KR20210016911A true KR20210016911A (en) 2021-02-17
KR102280944B1 KR102280944B1 (en) 2021-07-23

Family

ID=74731797

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190095308A KR102280944B1 (en) 2019-08-06 2019-08-06 Method for eye state inspection and computing device for executing the method

Country Status (1)

Country Link
KR (1) KR102280944B1 (en)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100627929B1 (en) 2004-05-07 2006-09-25 재단법인서울대학교산학협력재단 A measurement system for three-dimensional ocular movement using the magnetic contact lens sensor and a method thereof
KR20160090065A (en) * 2015-01-21 2016-07-29 동국대학교 산학협력단 Rehabilitation system based on gaze tracking
KR20180052892A (en) * 2016-11-11 2018-05-21 주식회사 3디나라 A method for implementing eyesight strengthen software based on computer and smartphone
KR20180083069A (en) * 2017-01-12 2018-07-20 고려대학교 산학협력단 System and method for ophthalmolgic test using virtual reality
KR101894536B1 (en) * 2017-10-30 2018-09-12 대한민국 Language training method for improving communication ability of patients with neuro-linguistic disorder

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100627929B1 (en) 2004-05-07 2006-09-25 재단법인서울대학교산학협력재단 A measurement system for three-dimensional ocular movement using the magnetic contact lens sensor and a method thereof
KR20160090065A (en) * 2015-01-21 2016-07-29 동국대학교 산학협력단 Rehabilitation system based on gaze tracking
KR20180052892A (en) * 2016-11-11 2018-05-21 주식회사 3디나라 A method for implementing eyesight strengthen software based on computer and smartphone
KR20180083069A (en) * 2017-01-12 2018-07-20 고려대학교 산학협력단 System and method for ophthalmolgic test using virtual reality
KR101894536B1 (en) * 2017-10-30 2018-09-12 대한민국 Language training method for improving communication ability of patients with neuro-linguistic disorder

Also Published As

Publication number Publication date
KR102280944B1 (en) 2021-07-23

Similar Documents

Publication Publication Date Title
US11366517B2 (en) Human-computer interface using high-speed and accurate tracking of user interactions
JP6900516B2 (en) Gaze point determination method and devices, electronic devices and computer storage media
US20190392587A1 (en) System for predicting articulated object feature location
EP3477589B1 (en) Method of processing medical image, and medical image processing apparatus performing the method
US10709328B2 (en) Main module, system and method for self-examination of a user's eye
US20170112373A1 (en) Visual acuity testing method and product
US11263914B2 (en) Multi-level executive functioning tasks
US9770165B2 (en) Systems and methods for displaying objects on a screen at a desired visual angle
US11249549B2 (en) Brain connectivity-based visual perception training device, method and program
KR102280944B1 (en) Method for eye state inspection and computing device for executing the method
US10755088B2 (en) Augmented reality predictions using machine learning
US20230360548A1 (en) Assist system, assist method, and assist program
Gervasi et al. A method for predicting words by interpreting labial movements
Manousos et al. Contactless detection of facial signs related to stress: A preliminary study
US20240013431A1 (en) Image capture devices, systems, and methods
CN110545386A (en) Method and apparatus for photographing image
KR20200049175A (en) Body analysis system and computing device for executing the system
US20230210364A1 (en) Eye tracking system, eye tracking method, and eye tracking program
KR102545747B1 (en) Method and apparatus for determining degree of attention of user
Ryabinin et al. Towards Mitigating the Eye Gaze Tracking Uncertainty in Virtual Reality
CN112309532B (en) Information feedback method and device
Patel et al. A mobile vision testing application based on dynamic distance determination from the human corneal limbus
Chuprina Towards Mitigating the Eye Gaze Tracking Uncertainty in Virtual Reality

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant