KR20210016911A - Method for eye state inspection and computing device for executing the method - Google Patents
Method for eye state inspection and computing device for executing the method Download PDFInfo
- Publication number
- KR20210016911A KR20210016911A KR1020190095308A KR20190095308A KR20210016911A KR 20210016911 A KR20210016911 A KR 20210016911A KR 1020190095308 A KR1020190095308 A KR 1020190095308A KR 20190095308 A KR20190095308 A KR 20190095308A KR 20210016911 A KR20210016911 A KR 20210016911A
- Authority
- KR
- South Korea
- Prior art keywords
- user
- gaze
- information
- content
- derivative
- Prior art date
Links
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7271—Specific aspects of physiological measurement analysis
- A61B5/7275—Determining trends in physiological measurement data; Predicting development of a medical condition based on physiological measurements, e.g. determining a risk factor
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
- A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
- A61B3/14—Arrangements specially adapted for eye photography
- A61B3/145—Arrangements specially adapted for eye photography by video means
Abstract
Description
본 발명의 실시예들은 안구상태 검사 기술과 관련된다.Embodiments of the present invention relate to eye condition test technology.
인체에 있는 중추 기능을 관장하는 뇌(Brain)는 인체의 구성하는 모든 부분과 중추신경계 및 말초 신경계로 연결되어 있다. 이에, 의료분야에서는 피검자의 안구 움직임을 포착하여 쉽게 검진하기 어려운 뇌에 대한 건강 상태를 진단하거나 평형기관에 대한 건강 상태를 진단하고 있다. The brain, which controls central functions in the human body, is connected to all parts of the human body by the central and peripheral nervous systems. Accordingly, in the medical field, the health status of the brain that is difficult to be easily examined by capturing the movement of the eyeball of the subject is diagnosed or the health status of the balance organ is diagnosed.
안구의 운동 검사는 뇌의 기능을 평가하는 비침습적인 검사이며, 특히, 치매와 연관된 뇌의 이상을 밝혀내는데 유용한 방법이다.The eye movement test is a non-invasive test that evaluates brain function, and is a particularly useful method for detecting brain abnormalities associated with dementia.
일반적으로, 안구의 움직임을 포착하고 그것을 유용한 수준에서 분석하고자 하는 방법으로는 EOG(Electrooculogram), VOG(Videooculogram), MSCT(Magnetic Search Coil Technique) 등이 사용되고 있다. In general, EOG (Electrooculogram), VOG (Videooculogram), and MSCT (Magnetic Search Coil Technique) are used as methods to capture eye movements and analyze them at a useful level.
그러나, 이러한 방법을 사용하기 위해서는 별도의 장치가 필요하며, 안구의 상태를 검사하는 기능만을 제공하고 있는 문제점이 있다.However, in order to use this method, a separate device is required, and there is a problem in that only a function to check the state of the eye is provided.
본 발명의 실시예들은 특별한 장비 없이 누구나 손쉽게 안구 상태를 검사할 수 있는 수단을 제공하기 위한 것이다.Embodiments of the present invention are intended to provide a means for anyone to easily inspect an eye condition without special equipment.
본 발명의 예시적인 실시예에 따르면, 하나 이상의 프로세서들, 및 상기 하나 이상의 프로세서들에 의해 실행되는 하나 이상의 프로그램들을 저장하는 메모리를 구비한 컴퓨팅 장치로서, 스마트 기기의 화면에서 사용자의 시선 이동을 유도하기 위한 시선유도체를 포함하는 콘텐츠를 생성하는 콘텐츠 제공 모듈; 상기 콘텐츠를 상기 스마트 기기로 전송하고, 상기 스마트 기기로부터 상기 콘텐츠를 바라보는 상기 사용자의 촬영 영상을 획득하는 통신 모듈; 상기 촬영 영상을 기반으로 상기 사용자의 시선 정보를 생성하는 시선 인식 모듈; 및 상기 시선 정보와 상기 시선유도체의 이동 정보를 바탕으로 상기 사용자의 안구상태를 분석하여 상기 사용자의 안구상태 분석 정보를 생성하는 안구상태 분석 모듈을 포함하는 컴퓨팅 장치가 제공된다.According to an exemplary embodiment of the present invention, as a computing device having one or more processors, and a memory for storing one or more programs executed by the one or more processors, inducing movement of a user's gaze on a screen of a smart device A content providing module for generating content including a gaze-derived for the purpose; A communication module that transmits the content to the smart device and obtains a photographed image of the user viewing the content from the smart device; A gaze recognition module that generates gaze information of the user based on the captured image; And an eyeball state analysis module for generating the user's eyeball state analysis information by analyzing the eyeball state of the user based on the gaze information and movement information of the gaze derivative.
상기 안구상태 분석 모듈은 상기 시선 정보에 포함된 안구의 좌표값과 상기 이동 정보에 포함된 시선유도체의 좌표값을 비교하여 일치율을 산출하고, 상기 산출된 일치율을 기반으로 상기 사용자의 안구상태 분석 정보를 생성할 수 있다.The eyeball condition analysis module calculates a match rate by comparing the coordinate value of the eyeball included in the gaze information with the coordinate value of the gaze derivative included in the movement information, and analyzes the eyeball condition of the user based on the calculated match rate. Can be created.
상기 통신 모듈은 상기 스마트 기기로부터 상기 사용자의 나이를 포함하는 사용자 정보를 획득하며, 상기 콘텐츠 제공 모듈은 상기 사용자 정보를 기반으로 기 저장된 사용자들의 평균 나이와 비교하여 상기 콘텐츠 내의 상기 시선유도체의 이동 속도, 출현 빈도, 및 출현 간격 중 하나 이상을 조절할 수 있다.The communication module acquires user information including the age of the user from the smart device, and the content providing module compares the average age of the previously stored users based on the user information, and the moving speed of the gaze derivative in the content , Frequency of appearance, and interval of appearance can be adjusted.
상기 콘텐츠 제공 모듈은 상기 화면에 표시되는 시선유도체가 연속적인 형태를 가지는 제1 이동 정보를 포함하도록 제1 콘텐츠를 생성하며, 상기 제1 콘텐츠는 상기 사용자 정보를 기반으로 기 저장된 사용자들의 평균 나이와 비교하여 해당 사용자가 상기 평균 나이보다 많은 경우에는 상기 시선유도체의 이동 속도가 기 설정된 속도만큼 감소되고, 해당 사용자가 상기 평균 나이보다 적은 경우에는 상기 시선유도체의 이동 속도가 기 설정된 속도만큼 상승되도록 마련될 수 있다.The content providing module generates first content such that the gaze guide displayed on the screen includes first movement information having a continuous shape, and the first content includes an average age of pre-stored users based on the user information. In comparison, when the user is older than the average age, the movement speed of the gaze derivative is reduced by a preset speed, and when the user is less than the average age, the movement speed of the gaze derivative is increased by a preset speed. Can be.
상기 콘텐츠 제공 모듈은 상기 화면에 표시되는 시선유도체가 불연속적인 형태를 가지는 제2 이동 정보를 포함하도록 제2 콘텐츠를 생성하며, 상기 제2 콘텐츠는 상기 사용자 정보를 기반으로 기 저장된 사용자들의 평균 나이와 비교하여 해당 사용자가 상기 평균 나이보다 많은 경우에는 상기 시선유도체의 출현 빈도가 기 설정된 횟수만큼 감소되며, 상기 시선유도체의 출현 간격이 기 설정된 시간만큼 증가되도록 마련될 수 있다.The content providing module generates second content such that the gaze guide displayed on the screen includes second movement information having a discontinuous form, and the second content includes an average age of pre-stored users based on the user information. In comparison, when the corresponding user is greater than the average age, the frequency of appearance of the gaze derivative may be reduced by a preset number, and the appearance interval of the gaze derivative may be provided to increase by a preset time.
상기 콘텐츠 제공 모듈은 상기 화면에 표시되는 시선유도체가 연속적인 형태를 가지는 제1 이동 정보 및 상기 화면에 표시되는 시선유도체가 불연속적인 형태를 가지는 제2 이동 정보를 포함하도록 제3 콘텐츠를 생성하며, 상기 제3 콘텐츠는 상기 사용자 정보를 기반으로 기 저장된 사용자들의 평균 나이와 비교하여 해당 사용자가 상기 평균 나이보다 많은 경우에는 상기 시선유도체의 이동 속도가 기 설정된 속도만큼 감소되고, 상기 시선유도체의 출현 빈도가 기 설정된 횟수만큼 감소되며, 상기 시선유도체의 출현 간격이 기 설정된 시간만큼 증가되도록 마련될 수 있다.The content providing module generates third content to include first movement information in which the gaze guide displayed on the screen has a continuous shape and second movement information in which the gaze guide displayed on the screen has a discontinuous shape, The third content is compared with the average age of pre-stored users based on the user information, and if the user is greater than the average age, the moving speed of the gaze derivative is reduced by a preset speed, and the frequency of appearance of the gaze derivative Is reduced by a preset number of times, and the interval of appearance of the gaze derivative may be provided to increase by a preset time.
본 발명의 다른 예시적인 실시예에 따르면, 하나 이상의 프로세서들, 및 상기 하나 이상의 프로세서들에 의해 실행되는 하나 이상의 프로그램들을 저장하는 메모리를 구비한 컴퓨팅 장치에서 수행되는 방법으로서, 화면에서 사용자의 시선 이동을 유도하기 위한 시선유도체를 포함하는 콘텐츠를 스마트 기기로 전송하는 단계; 상기 스마트 기기로부터 상기 콘텐츠를 바라보는 상기 사용자의 촬영 영상을 획득하는 단계; 상기 촬영 영상을 기반으로 상기 사용자의 시선 정보를 생성하는 단계; 상기 시선 정보와 상기 시선유도체의 이동 정보를 바탕으로 상기 사용자의 안구상태를 분석하여 상기 사용자의 안구상태 분석 정보를 생성하는 단계; 및 상기 사용자의 안구상태 분석 정보를 상기 스마트 기기로 제공하는 단계를 포함하며, 상기 안구상태 분석 정보를 생성하는 단계는, 상기 시선 정보에 포함된 안구의 좌표값과 상기 이동 정보에 포함된 시선유도체의 좌표값을 비교하여 일치율을 산출하는 단계; 및 상기 산출된 일치율을 기반으로 상기 사용자의 안구상태 분석 정보를 생성하는 단계를 더 포함하는, 안구상태 검사 방법이 제공된다.According to another exemplary embodiment of the present invention, a method performed in a computing device having one or more processors and a memory for storing one or more programs executed by the one or more processors, wherein a user's gaze moves on a screen Transmitting content including a gaze derivative for inducing to a smart device; Obtaining a photographed image of the user viewing the content from the smart device; Generating gaze information of the user based on the captured image; Analyzing the eyeball state of the user based on the gaze information and movement information of the gaze derivative to generate the eyeball state analysis information of the user; And providing the user's eye condition analysis information to the smart device, wherein the generating the eye condition analysis information comprises: a coordinate value of the eyeball included in the gaze information and a gaze derivative included in the movement information Comparing the coordinate values of and calculating a match rate; And generating the user's eye condition analysis information based on the calculated match rate.
본 발명의 실시예들에 따르면, 스마트 기기에서 전방 카메라를 이용하여 시선 인식을 통하여 안구 상태를 검사함으로써, 별도의 장비 없이 스마트 기기로 검사가 가능하며, 비용의 절감 및 편리성을 높일 수 있다.According to embodiments of the present invention, by inspecting the eye condition through gaze recognition using a front camera in the smart device, it is possible to perform the test with a smart device without additional equipment, and reduce cost and increase convenience.
또한, 본 발명의 실시예들에 따르면, 스마트 기기를 통하여 안구 상태를 검사하고 분석된 정보를 제공하며, 분석된 정보에 따른 관련 컨텐츠를 제공함으로써, 안구 상태를 건강하게 유지할 수 있다.In addition, according to embodiments of the present invention, by examining the eye condition through a smart device, providing analyzed information, and providing related content according to the analyzed information, it is possible to maintain a healthy eye condition.
도 1은 본 발명의 일 실시예에 따른 안구상태 검사 시스템을 설명하기 위한 구성도
도 2는 본 발명의 일 실시예에 따른 안구상태 검사 시스템의 스마트 기기를 설명하기 위한 구성도
도 3은 본 발명의 일 실시예에 따른 안구상태 검사 시스템의 관리 서버를 설명하기 위한 구성도
도 4는 본 발명의 일 실시예에 따른 안구상태 검사 시스템의 스마트 기기로 표시되는 콘텐츠를 설명하기 위한 도면
도 5는 본 발명의 일 실시예에 따른 안구상태 검사 시스템의 스마트 기기로 표시되는 다른 콘텐츠를 설명하기 위한 도면
도 6은 본 발명의 일 실시예에 따른 안구상태 검사 시스템을 이용한 안구상태 검사 방법을 설명하기 위한 흐름도
도 7은 예시적인 실시예들에서 사용되기에 적합한 컴퓨팅 장치를 포함하는 컴퓨팅 환경을 예시하여 설명하기 위한 블록도1 is a configuration diagram for explaining an eye condition inspection system according to an embodiment of the present invention
Figure 2 is a configuration diagram for explaining a smart device of the eye condition inspection system according to an embodiment of the present invention
3 is a configuration diagram for explaining a management server of the eye condition inspection system according to an embodiment of the present invention
4 is a view for explaining content displayed by a smart device of the eye condition inspection system according to an embodiment of the present invention
5 is a view for explaining another content displayed by a smart device of the eye condition inspection system according to an embodiment of the present invention
6 is a flow chart for explaining a method for testing an eye condition using an eye condition inspection system according to an embodiment of the present invention
7 is a block diagram illustrating and describing a computing environment including a computing device suitable for use in example embodiments.
이하, 도면을 참조하여 본 발명의 구체적인 실시형태를 설명하기로 한다. 이하의 상세한 설명은 본 명세서에서 기술된 방법, 장치 및/또는 시스템에 대한 포괄적인 이해를 돕기 위해 제공된다. 그러나 이는 예시에 불과하며 본 발명은 이에 제한되지 않는다.Hereinafter, a specific embodiment of the present invention will be described with reference to the drawings. The following detailed description is provided to aid in a comprehensive understanding of the methods, devices, and/or systems described herein. However, this is only an example and the present invention is not limited thereto.
본 발명의 실시예들을 설명함에 있어서, 본 발명과 관련된 공지기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략하기로 한다. 그리고, 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다. 상세한 설명에서 사용되는 용어는 단지 본 발명의 실시예들을 기술하기 위한 것이며, 결코 제한적이어서는 안 된다. 명확하게 달리 사용되지 않는 한, 단수 형태의 표현은 복수 형태의 의미를 포함한다. 본 설명에서, "포함" 또는 "구비"와 같은 표현은 어떤 특성들, 숫자들, 단계들, 동작들, 요소들, 이들의 일부 또는 조합을 가리키기 위한 것이며, 기술된 것 이외에 하나 또는 그 이상의 다른 특성, 숫자, 단계, 동작, 요소, 이들의 일부 또는 조합의 존재 또는 가능성을 배제하도록 해석되어서는 안 된다.In describing the embodiments of the present invention, when it is determined that a detailed description of a known technology related to the present invention may unnecessarily obscure the subject matter of the present invention, a detailed description thereof will be omitted. In addition, terms to be described later are terms defined in consideration of functions in the present invention, which may vary according to the intention or custom of users or operators. Therefore, the definition should be made based on the contents throughout this specification. The terms used in the detailed description are only for describing embodiments of the present invention, and should not be limiting. Unless explicitly used otherwise, expressions in the singular form include the meaning of the plural form. In this description, expressions such as "comprising" or "feature" are intended to refer to certain features, numbers, steps, actions, elements, some or combination thereof, and one or more other than those described. It should not be construed to exclude the presence or possibility of other features, numbers, steps, actions, elements, any part or combination thereof.
도 1은 본 발명의 일 실시예에 따른 안구상태 검사 시스템을 설명하기 위한 구성도이고, 도 2는 본 발명의 일 실시예에 따른 안구상태 검사 시스템의 스마트 기기를 설명하기 위한 구성도이며, 도 3은 본 발명의 일 실시예에 따른 안구상태 검사 시스템의 관리 서버를 설명하기 위한 구성도이다.1 is a configuration diagram for explaining an eye condition inspection system according to an embodiment of the present invention, Figure 2 is a configuration diagram for explaining a smart device of the eye condition inspection system according to an embodiment of the present invention, 3 is a configuration diagram illustrating a management server of an eye condition inspection system according to an embodiment of the present invention.
도 1 내지 도 3에 도시된 바와 같이, 본 발명의 일 실시예에 따른 안구상태 검사 시스템은 스마트 기기(100) 및 관리서버(300)를 포함할 수 있다.As shown in FIGS. 1 to 3, the eye condition inspection system according to an embodiment of the present invention may include a
스마트 기기(100) 및 관리 서버(300)는 통신 네트워크(200)를 통해 통신 가능하게 연결된다. The
몇몇 실시 예들에서, 통신 네트워크(200)는 인터넷, 하나 이상의 로컬 영역 네트워크(local area networks), 광역 네트워크(wire area networks), 셀룰러 네트워크, 모바일 네트워크, 그 밖에 다른 종류의 네트워크들, 또는 이러한 네트워크들의 조합을 포함할 수 있다.In some embodiments, the
스마트 기기(100)는 무선 통신을 사용할 수 있는 스마트 폰, 태블릿 PC 등으로서, 스마트 기기(100)는 촬영부(110), 통신부(120) 및 디스플레이부(130)를 포함할 수 있다.The
촬영부(110)는 사용자의 얼굴을 촬영할 수 있다. 촬영부(110)는 스마트 기기(100) 등의 단말에 일체로 형성될 수 있다. 구체적으로, 촬영부(110)는 스마트 기기(100) 등의 단말에 일체로 형성되어 사용자의 얼굴을 촬영할 수 있다. 또한, 촬영부(110)는 사용자의 시선을 인식하기 위한 영상을 촬영할 수 있다. 촬영부(110)는 촬영된 영상을 전송부(120)를 통하여 관리 서버(300)로 제공할 수 있다. 이때, 촬영된 영상은 이미지 보정을 통하여 보정된 후 관리 서버(300)로 제공할 수 있다.The photographing
통신부(120)는 촬영된 영상을 네트워크(200)를 통하여 관리 서버(300)로 전송할 수 있다. 또한, 통신부(120)는 관리 서버(300)로부터 화면에서 움직임을 가지도록 구현된 시선유도체를 포함하는 콘텐츠를 수신할 수 있다. 통신부(120)는 관리 서버(300)로부터 시선 정보에 기초하여 분석된 사용자의 안구상태 분석 정보를 수신할 수 있다. The
디스플레이부(130)는 움직임을 가지는 시선유도체를 포함하는 콘텐츠를 화면에 표시할 수 있다. 디스플레이부(130)는 스마트 기기(100)의 화면을 통하여 콘텐츠를 출력할 수 있다. 콘텐츠는 스마트 기기(100)의 화면을 통하여 콘텐츠를 바라보는 사용자의 시선 이동을 유도할 수 있다. 여기서, 시선유도체는 원의 형상으로 형성될 수 있으나, 이에 한정되는 것은 아니며, 다양한 모양, 색깔, 크기를 가질 수 있다. 예시적인 실시예에서, 콘텐츠는 시선유도체를 기 설정된 궤적을 따라 움직여서 표시하도록 마련된 것일 수 있다. 여기서, 시선 유도체가 형성하는 궤적은 도형, 글자, 퍼즐 및 캐릭터 중 어느 하나일 수 있다. 또한, 콘텐츠는 광고, 교육, 영화 및 게임 중 적어도 하나의 분야에 적용될 수 있다. The
또한, 디스플레이부(130)는 사용자의 안구상태 분석 정보를 표시할 수 있다. 디스플레이부(130)는 사용자의 안구상태 분석 정보를 스마트 기기(100) 상에서 출력할 수 있도록 가공하여 스마트 기기(100)의 화면을 통하여 출력할 수 있다.In addition, the
이 때, 본 발명의 일 실시예에 따른 스마트 기기(100)는 안구상태 검사 서비스를 제공하기 위한 어플리케이션이 설치될 수 있다. 상기 어플리케이션은 스마트 기기(100)의 컴퓨터 판독 가능 저장 매체에 저장될 수 있다. 상기 어플리케이션은 스마트 기기(100)의 프로세서에 의해 실행 가능한 명령어의 소정의 집합을 포함한다. 상기 명령어는 스마트 기기(100)의 프로세서로 하여금 예시적인 실시예에 따른 동작을 수행하게 할 수 있다. 스마트 기기(100)의 컴퓨터 판독 가능 저장 매체는 스마트 기기(100) 상에서 상기 어플리케이션과 같은 명령어 집합을 실행하기 위한 운영 체제의 컴포넌트들을 포함한다. 예를 들어, 이러한 운영 체제는 애플(Apple) 사의 iOS 또는 구글(Google) 사의 Android 일 수 있다.In this case, in the
여기서, 안구상태 검사 서비스를 제공하기 위한 어플리케이션은 사용자의 정보를 입력할 수 있는 입력 인터페이스를 제공할 수 있으며, 입력 인터페이스를 통하여 사용자 데이터를 입력 받을 수 있다. 예를 들어, 사용자의 성명, 성별, 나이 및 스마트 기기 번호 등을 입력할 수 있는 입력 인터페이스를 사용자에게 제공할 수 있다.Here, an application for providing an eye condition test service may provide an input interface through which user information can be input, and user data may be input through the input interface. For example, an input interface for inputting the user's name, gender, age, and smart device number may be provided to the user.
한편, 안구상태 검사 서비스를 제공하기 위한 어플리케이션은 이상에서 설명한 기능 외에도 다양한 분석 처리 및 정보 제공 동작을 수행하도록 설정될 수 있다. 예를 들어, 안구상태 검사 서비스를 제공하기 위한 어플리케이션은 안구상태 분석 정보를 기 설정된 웹 서버(예를 들어, SNS 서버)로 업로드 또는 백업하거나, 기 설정된 웹 서버로부터 사용자의 정보에 매칭되는 기 등록된 안구상태 분석 정보를 획득하여 디스플레이부(130)를 통해 표시할 수 있다. Meanwhile, an application for providing an eye condition test service may be set to perform various analysis processing and information providing operations in addition to the functions described above. For example, an application for providing an eye condition test service uploads or backs up eye condition analysis information to a preset web server (for example, an SNS server), or registers a pre-registration matching the user's information from a preset web server. The obtained eye condition analysis information may be acquired and displayed through the
관리 서버(300)는 통신 모듈(310), 저장 모듈(320), 콘텐츠 제공 모듈(330), 시선 인식 모듈(340) 및 안구상태 분석 모듈(350)을 포함할 수 있다.The
통신 모듈(310)은 스마트 기기(100)로부터 촬영된 영상을 네트워크(200)를 통하여 수신할 수 있다. 통신 모듈(310)은 스마트 기기(100)로부터 사용자 정보를 네트워크(200)를 통하여 수신할 수 있다. 또한, 통신 모듈(310)은 콘텐츠를 스마트 기기(100)로 전송할 수 있다. 통신 모듈(310)은 안구상태 분석 정보를 스마트 기기(100)로 전송할 수 있다.The
저장 모듈(320)은 통신 모듈(310)을 통하여 수신한 사용자 정보, 촬영된 영상을 저장할 수 있다. 저장 모듈(320)은 안구상태 분석 모듈(350)로부터 분석된 사용자의 안구상태 분석 정보를 저장할 수 있다. 또한, 저장 모듈(320)은 콘텐츠를 저장할 수 있다.The
콘텐츠 제공 모듈(330)은 통신 모듈(310)을 통하여 움직임을 가지는 시선유도체를 포함하는 콘텐츠를 전송할 수 있다. 전송된 콘텐츠는 스마트 기기(100)의 디스플레이부(130)를 통하여 표시할 수 있다. 여기서, 시선유도체는 원의 형상으로 형성될 수 있으나, 이에 한정되는 것은 아니며, 다양한 모양, 색깔, 크기를 가질 수 있다. 예를 들어, 콘텐츠는 시선유도체를 기 설정된 궤적을 따라 움직여서 표시하도록 마련된 것일 수 있다. 그러나, 이에 한정되는 것은 아니며 시선 유도체는 화면에서 특정 궤도를 따라 움직이는 것이 아니라 화면에서 랜덤한 위치에 불연속적으로 표시되도록 마련될 수도 있다. 여기서, 시선 유도체가 형성하는 궤적은 도형, 글자, 퍼즐 및 캐릭터 중 어느 하나일 수 있다. 또한, 콘텐츠는 광고, 교육, 영화 및 게임 중 적어도 하나의 분야에 적용될 수 있다.The
또한, 콘텐츠 제공 모듈(330)은 시선유도체가 상하, 좌우, 대각선으로 움직이는 형태를 가지도록 마련되는 콘텐츠를 생성하여 스마트 기기(100)로 전송할 수 있다. 콘텐츠는 시선 유도체가 화면에 표시되는 좌표값을 연속적인 형태인 연속패턴 형태를 가지도록 할 수 있으며, 시선 유도체가 화면에 표시되는 좌표값을 불연속적인 형태인 랜덤패턴 형태를 가지도록 할 수 있다. 예를 들어, 콘텐츠 제공 모듈(330)은 시선유도체가 연속패턴 형태를 형성하는 제1 이동 정보를 가지도록 마련되는 콘텐츠를 생성할 수 있다. 또한, 콘텐츠 제공 모듈(330)은 시선유도체가 랜덤패턴 형태를 형성하는 제2 이동 정보를 가지도록 마련되는 콘텐츠를 생성할 수 있다.In addition, the
또한, 콘텐츠 제공 모듈(330)은 사용자 정보를 이용하여 시선유도체가 연속패턴 형태를 형성하는 제1 이동 정보를 가지도록 하여 제1 콘텐츠를 생성할 수 있다. 즉, 콘텐츠 제공 모듈(330)은 기 저장된 사용자들의 정보를 기반으로 해당 사용자 정보(나이, 성별 등)와 비교하여 제1 이동 정보를 따라 이동하는 시선유도체의 이동 속도를 제어하여 제1 콘텐츠를 생성할 수 있다. 예를 들어, 해당 사용자의 나이에 따라 시선유도체의 이동 속도를 제어하여 난이도를 조절할 수 있다. 해당 사용자의 나이가 기 저장된 사용자들의 평균 나이보다 많은 경우, 제1 이동 정보를 따라 이동하는 시선유도체의 이동 속도를 기 설정된 속도만큼 낮출 수 있다. 또한, 해당 사용자의 나이가 기 저장된 사용자들의 평균 나이보다 적은 경우, 제1 이동 정보를 따라 이동하는 시선유도체의 이동 속도를 기 설정된 속도만큼 높일 수 있다.In addition, the
또한, 콘텐츠 제공 모듈(330)은 사용자 정보를 이용하여 시선유도체가 랜덤패턴 형태를 형성하는 제2 이동 정보를 가지도록 하여 제2 콘텐츠를 생성할 수 있다. 콘텐츠 제공 모듈(330)은 기 저장된 사용자들의 정보를 기반으로 해당 사용자 정보(나이, 성별 등)와 비교하여 제2 이동 정보를 따라 나타나는 시선유도체의 출현 빈도 또는 간격을 제어하여 제2 콘텐츠를 생성할 수 있다. 예를 들어, 해당 사용자의 나이에 따라 시선유도체의 출현 횟수 및 출현 간격을 제어하여 난이도를 조절할 수 있다. 해당 사용자의 나이가 기 저장된 사용자들의 평균 나이보다 많은 경우, 제2 이동 정보를 따라 나타나는 시선유도체의 출현 빈도를 기 설정된 횟수만큼 낮추고, 시선 유도체의 출현 간격을 기 설정된 시간만큼 늘릴 수 있다. 또한, 해당 사용자의 나이가 기 저장된 사용자들의 평균 나이보다 적은 경우, 제2 이동 정보를 따라 나타나는 시선유도체의 출현 빈도를 기 설정된 횟수만큼 높이고, 시선 유도체의 출현 간격을 기 설정된 시간만큼 줄일 수 있다.In addition, the
이와 같이, 사용자 정보에 따라 콘텐츠의 난이도를 조절함으로써, 보다 정확한 검사 결과를 제공할 수 있다.In this way, by adjusting the difficulty of the content according to the user information, a more accurate test result can be provided.
시선 인식 모듈(340)은 통신 모듈(310)을 통하여 수신한 촬영된 영상을 이용하여 사용자의 시선을 인식할 수 있다. 시선 인식 모듈(340)은 사용자의 시선을 인식하여 시선 정보를 생성할 수 있다. 구체적으로, 시선 인식 모듈(340)은 통신 모듈(310)을 통하여 수신한 촬영된 영상으로부터 회귀분석(Regression) 알고리즘을 통하여 얼굴을 인식할 수 있다. 여기서, 회귀분석 알고리즘은 머신 러닝(machine learning) 내에서 사용되는 알고리즘 방법론 중 일부이며, 머신 러닝에 사용되는 데이터셋은 Dlib(distribution library)를 이용하여 face landmark 데이터셋을 사용하여 사람의 얼굴을 인식할 수 있다. The
또한, 시선 인식 모듈(340)은 인식된 얼굴 이미지로부터 시선 정보를 생성할 수 있다. 구체적으로, 시선 인식 모듈(340)은 인식된 얼굴 이미지에서 안구를 추출하고, 추출된 안구의 수평, 수직, 회선 운동에 따른 움직임을 분석하여 시선 정보를 생성할 수 있다. 즉, 시선 인식 모듈(340)은 추출된 안구의 움직임에 따른 좌표값을 인식할 수 있다. 시선 인식 모듈(340)은 좌표값을 기초로 시선 정보를 생성할 수 있다. Also, the
본 발명의 일 실시예에 따른 시선 인식 모듈(340)은 머신 러닝(machine learning) 방식에 기초한 캘리브레이션(calibration)을 수행할 수 있다. 구체적으로, 시선 인식 모듈(340)은 얼굴 이미지로부터 안구의 움직임을 분석하도록 학습된 머신 러닝을 수행하여 사용자 별로 추출된 안구의 움직임을 캘리브레이션(calibration)함으로써, 사용자 별로 안구의 움직임에 대한 인식률을 높일 수 있다.The
도 4는 본 발명의 일 실시예에 따른 안구상태 검사 시스템의 스마트 기기로 표시되는 콘텐츠를 설명하기 위한 도면이다.4 is a diagram for explaining content displayed by a smart device of an eye condition inspection system according to an embodiment of the present invention.
도 4를 참조하면, 스마트 기기(100)의 디스플레이부(130)를 통해 표시되는 제1 콘텐츠는 상하, 좌우, 대각선으로 움직이는 형태를 가지는 시선유도체를 포함할 수 있다. 제1 콘텐츠는 화면에 표시되는 좌표값을 연속적인 형태인 제1 이동 정보로 표시할 수 있다. 예를 들어, 제1 이동 정보는 시선유도체가 움직이는 궤적, 즉, 도형, 글자, 퍼즐 및 캐릭터 등의 윤곽을 따라 이동하는 연속적인 움직임에 의한 연속패턴일 수 있다. 이 때, 시선 인식 모듈(340)은 시선유도체가 움직이는 궤적을 추적하는 안구의 수평, 수직, 회선 운동에 따른 움직임을 분석할 수 있다. Referring to FIG. 4, the first content displayed through the
한편, 여기서는 콘텐츠가 궤적을 그리는 형태로 표시하였으나, 이에 한정되는 것은 아니며, 사용자의 시선을 인식할 수 있는 시선유도체를 표시하는 콘텐츠라면 제한이 없음을 당업자는 용이하게 이해할 수 있을 것이다. 예를 들어, 콘텐츠는 시선유도체에 대한 모양, 색깔, 크기, 궤적 등이 변경될 수 있다. 또한, 시선유도체에 대한 궤적은 도형, 글자, 퍼즐, 캐릭터 등으로 변경될 수 있다. 또한, 콘텐츠는 게임 등의 방식으로 표시될 수 있다. Meanwhile, although the content is displayed in the form of drawing a trajectory here, it is not limited thereto, and those skilled in the art will readily understand that there is no limitation as long as content that displays a gaze derivative capable of recognizing a user's gaze. For example, in the content, the shape, color, size, and trajectory of the gaze derivative may be changed. In addition, the trajectory of the gaze derivative may be changed to a figure, a letter, a puzzle, or a character. Also, the content may be displayed in a manner such as a game.
도 5는 본 발명의 일 실시예에 따른 안구상태 검사 시스템의 스마트 기기로 표시되는 다른 콘텐츠를 설명하기 위한 도면이다.5 is a view for explaining another content displayed by a smart device of the eye condition inspection system according to an embodiment of the present invention.
도 5를 참조하면, 스마트 기기(100)의 디스플레이부(130)를 통해 표시되는 제2 콘텐츠는 불특정하게 나타나는 형태를 가지는 시선 유도체를 포함할 수 있다. 제2 콘텐츠는 화면에 표시되는 좌표값을 불연속적인 형태인 제2 이동 정보로 표시할 수 있다. 예를 들어, 제2 이동 정보는 화면에 표시되는 좌표값을 불연속적으로 표시, 즉, 불특정하게 깜빡이는 시선유도체에 의한 랜덤패턴일 수 있다. 이 때, 시선 인식 모듈(340)은 시선유도체가 표시되는 좌표값을 추적하는 안구의 수평, 수직, 회선 운동에 따른 움직임 및 안구의 반응을 분석할 수 있다.Referring to FIG. 5, the second content displayed through the
다시 도 1 내지 도 3을 참조하면, 안구상태 분석 모듈(350)은 시선 인식 모듈(340)을 통하여 생성된 시선 정보와 콘텐츠에 포함된 이동 정보를 비교하여 사용자의 안구상태를 분석할 수 있다. 구체적으로, 안구상태 분석 모듈(350)은 시선 정보와 이동 정보를 비교하여 시선 정보와 이동 정보의 일치율을 산출할 수 있다. 안구상태 분석 모듈(350)은 산출된 일치율을 기반으로 해당 사용자의 안구상태 분석 정보를 생성할 수 있다. 즉, 안구상태 분석 모듈(350)은 시선 정보에 포함된 좌표값과 이동 정보에 포함된 좌표값을 비교하여 일치율을 산정할 수 있다. 예를 들어, 시선 정보에 포함된 안구의 좌표값과 이동 정보에 포함된 시선유도체의 좌표값을 비교하여 일치율이 90%로 산출되는 경우, 90점으로 산정된 안구상태 분석 정보를 사용자에게 제공할 수 있다. 이 때, 안구상태 분석 모듈(350)은 복수의 안구상태 분석 정보를 기반으로 기 저장된 사용자들의 평균 점수를 산출하여 해당 사용자의 안구상태 분석 정보와 함께 제공할 수 있다. Referring back to FIGS. 1 to 3, the eyeball
예시적인 실시예에서, 안구상태 분석 모듈(350)은 시선 정보와 제1 콘텐츠에 포함된 제1 이동 정보를 비교하여 사용자의 안구상태를 분석할 수 있다. 구체적으로, 안구상태 분석 모듈(350)은 시선 정보와 제1 이동 정보를 비교하여 시선 정보와 제1 이동 정보의 일치율을 산출할 수 있다. 안구상태 분석 모듈(350)은 산출된 일치율을 기반으로 해당 사용자의 안구상태 분석 정보를 생성할 수 있다. 즉, 안구상태 분석 모듈(350)은 시선 정보가 제1 이동 정보와 대응되는 정도를 분석하여 해당 사용자의 안구상태 분석 정보를 생성할 수 있다. 이 때, 안구상태 분석 모듈(350)은 제1 이동 정보를 따라 움직이는 시선 정보로부터 안구의 수평, 수직, 회선 운동에 따른 움직임을 분석할 수 있다.In an exemplary embodiment, the eye
예시적인 실시예에서, 안구상태 분석 모듈(350)은 시선 정보와 제2 콘텐츠에 포함된 제2 이동 정보를 비교하여 사용자의 안구상태를 분석할 수 있다. 구체적으로, 안구상태 분석 모듈(350)은 시선 정보와 제2 이동 정보를 비교하여 시선 정보와 제2 이동 정보의 일치율을 산출할 수 있다. 안구상태 분석 모듈(350)은 산출된 일치율을 기반으로 해당 사용자의 안구상태 분석 정보를 생성할 수 있다. 즉, 안구상태 분석 모듈(350)은 시선 정보가 제2 이동 정보와 대응되는 정도를 분석하여 해당 사용자의 안구상태 분석 정보를 생성할 수 있다. 이 때, 안구상태 분석 모듈(350)은 시선 정보가 제2 이동 정보가 표시되는 좌표값과 대응되는 정도를 분석하여 안구의 수평, 수직, 회선 운동에 따른 움직임을 분석할 수 있다. 또한, 안구상태 분석 모듈(350)은 시선 정보가 제2 이동 정보가 표시되는 좌표값을 추적하는 정도를 분석하여 안구의 반응속도를 분석할 수 있다.In an exemplary embodiment, the eyeball
따라서, 본 발명의 일 실시예에 따른 안구상태 검사 시스템은 스마트 기기에서 전방 카메라를 이용하여 시선 인식을 통하여 안구 상태를 검사함으로써, 별도의 장비 없이 스마트 기기로 검사가 가능하며, 비용의 절감 및 편리성을 높일 수 있다.Therefore, the eye condition inspection system according to an embodiment of the present invention inspects the eye condition through gaze recognition using the front camera in the smart device, so that the inspection can be performed with a smart device without additional equipment, and cost reduction and convenience You can increase your sex.
컨텐츠 제공 모듈(360)는 안구상태 분석 정보를 기반으로 다양한 시선유도체가 포함된 콘텐츠를 게임에 적용하여 제공할 수 있다. 여기서, 시선유도체는 도형, 글자, 퍼즐 및 캐릭터 중 어느 하나일 수 있다. 또한, 게임은 2차원 배열로 배치된 다수의 블록들을 이용한 퍼즐게임일 수 있다.The content providing module 360 may apply and provide content including various gaze derivatives to the game based on the eye condition analysis information. Here, the gaze derivative may be any one of figures, letters, puzzles, and characters. In addition, the game may be a puzzle game using a plurality of blocks arranged in a two-dimensional arrangement.
따라서, 본 발명의 일 실시예에 따른 안구상태 검사 시스템은 스마트 기기를 통하여 안구 상태를 검사하고 분석된 정보를 제공하며, 분석된 정보에 따른 관련 컨텐츠를 제공함으로써, 안구 상태를 건강하게 유지할 수 있다.Accordingly, the eye condition inspection system according to an embodiment of the present invention inspects the eye condition through a smart device, provides analyzed information, and provides related content according to the analyzed information, thereby maintaining a healthy eye condition. .
도 6은 본 발명의 일 실시예에 따른 안구상태 검사 시스템을 이용한 안구상태 검사 방법을 설명하기 위한 흐름도이다. 도 6에 도시된 방법은 예를 들어, 하나 이상의 프로세서들, 및 상기 하나 이상의 프로세서들에 의해 실행되는 하나 이상의 프로그램들을 저장하는 메모리를 구비한 컴퓨팅 장치(12)에 의해 수행될 수 있다. 이를 위하여, 안구상태 검사 방법은 하나 이상의 컴퓨터 실행 가능 명령어를 포함하는 프로그램 내지 소프트웨어의 형태로 구현되어 상기 메모리상에 저장될 수 있다. 6 is a flowchart illustrating a method of testing an eyeball condition using an eyeball condition test system according to an embodiment of the present invention. The method shown in FIG. 6 may be performed, for example, by a
또한, 도시된 흐름도에서는 상기 방법을 복수 개의 단계로 나누어 기재하였으나, 적어도 일부의 단계들은 순서를 바꾸어 수행되거나, 다른 단계와 결합되어 함께 수행되거나, 생략되거나, 세부 단계들로 나뉘어 수행되거나, 또는 도시되지 않은 하나 이상의 단계가 부가되어 수행될 수 있다.Further, in the illustrated flowchart, the method is described by dividing the method into a plurality of steps, but at least some of the steps are performed in a different order, combined with other steps, performed together, omitted, divided into detailed steps, or shown. One or more steps that have not been performed may be added and performed.
도 6을 참조하면, 컴퓨팅 장치(12)는 화면에서 사용자의 시선 이동을 유도하기 위한 시선유도체를 포함하는 콘텐츠를 스마트 기기(100)로 전송한다(S601).Referring to FIG. 6, the
다음으로, 컴퓨팅 장치(12)는 스마트 기기(100)로부터 콘텐츠를 바라보는 사용자의 촬영 영상을 획득한다(S602). Next, the
다음으로, 컴퓨팅 장치(12)는 촬영 영상을 기반으로 사용자의 시선 정보를 생성한다(S603). 구체적으로, 컴퓨팅 장치(12)는 인식된 얼굴 이미지로부터 안구를 추출하고, 추출된 안구의 움직임을 분석하여 상기 시선 정보를 생성할 수 있다. 이 때, 컴퓨팅 장치(12)는 얼굴 이미지로부터 안구 움직임을 분석하도록 학습된 머신 러닝을 수행하여 사용자의 안구 움직임을 캘리브레이션(calibration)할 수 있다.Next, the
다음으로, 컴퓨팅 장치(12)는 시선 정보와 시선유도체의 이동 정보를 바탕으로 사용자의 안구상태를 분석하여 사용자의 안구상태 분석 정보를 생성한다(S604). 구체적으로, 컴퓨팅 장치(12)는 시선 정보에 포함된 안구 의 좌표값과 이동 정보에 포함된 시선유도체의 좌표값을 비교하여 일치율을 산출할 수 있다. 컴퓨팅 장치(12)는 산출된 일치율을 기반으로 사용자의 안구상태 분석 정보를 생성할 수 있다.Next, the
마지막으로, 컴퓨팅 장치(12)는 사용자의 안구상태 분석 정보를 사용자의 스마트 기기(100)로 제공한다(S605).Finally, the
도 7은 예시적인 실시예들에서 사용되기에 적합한 컴퓨팅 장치를 포함하는 컴퓨팅 환경(10)을 예시하여 설명하기 위한 블록도이다. 도시된 실시예에서, 각 컴포넌트들은 이하에 기술된 것 이외에 상이한 기능 및 능력을 가질 수 있고, 이하에 기술된 것 이외에도 추가적인 컴포넌트를 포함할 수 있다.7 is a block diagram illustrating and describing a
도시된 컴퓨팅 환경(10)은 컴퓨팅 장치(12)를 포함한다. 일 실시예에서, 컴퓨팅 장치(12)는 스마트 기기(100)일 수 있다. 또한, 컴퓨팅 장치(12)는 관리 서버(300)일 수 있다.The illustrated
컴퓨팅 장치(12)는 적어도 하나의 프로세서(14), 컴퓨터 판독 가능 저장 매체(16) 및 통신 버스(18)를 포함한다. 프로세서(14)는 컴퓨팅 장치(12)로 하여금 앞서 언급된 예시적인 실시예에 따라 동작하도록 할 수 있다. 예컨대, 프로세서(14)는 컴퓨터 판독 가능 저장 매체(16)에 저장된 하나 이상의 프로그램들을 실행할 수 있다. 상기 하나 이상의 프로그램들은 하나 이상의 컴퓨터 실행 가능 명령어를 포함할 수 있으며, 상기 컴퓨터 실행 가능 명령어는 프로세서(14)에 의해 실행되는 경우 컴퓨팅 장치(12)로 하여금 예시적인 실시예에 따른 동작들을 수행하도록 구성될 수 있다.The
컴퓨터 판독 가능 저장 매체(16)는 컴퓨터 실행 가능 명령어 내지 프로그램 코드, 프로그램 데이터 및/또는 다른 적합한 형태의 정보를 저장하도록 구성된다. 컴퓨터 판독 가능 저장 매체(16)에 저장된 프로그램(20)은 프로세서(14)에 의해 실행 가능한 명령어의 집합을 포함한다. 일 실시예에서, 컴퓨터 판독 가능 저장 매체(16)는 메모리(랜덤 액세스 메모리와 같은 휘발성 메모리, 비휘발성 메모리, 또는 이들의 적절한 조합), 하나 이상의 자기 디스크 저장 디바이스들, 광학 디스크 저장 디바이스들, 플래시 메모리 디바이스들, 그 밖에 컴퓨팅 장치(12)에 의해 액세스되고 원하는 정보를 저장할 수 있는 다른 형태의 저장 매체, 또는 이들의 적합한 조합일 수 있다.The computer-
통신 버스(18)는 프로세서(14), 컴퓨터 판독 가능 저장 매체(16)를 포함하여 컴퓨팅 장치(12)의 다른 다양한 컴포넌트들을 상호 연결한다.The
컴퓨팅 장치(12)는 또한 하나 이상의 입출력 장치(24)를 위한 인터페이스를 제공하는 하나 이상의 입출력 인터페이스(22) 및 하나 이상의 네트워크 통신 인터페이스(26)를 포함할 수 있다. 입출력 인터페이스(22) 및 네트워크 통신 인터페이스(26)는 통신 버스(18)에 연결된다. 입출력 장치(24)는 입출력 인터페이스(22)를 통해 컴퓨팅 장치(12)의 다른 컴포넌트들에 연결될 수 있다. 예시적인 입출력 장치(24)는 포인팅 장치(마우스 또는 트랙패드 등), 키보드, 터치 입력 장치(터치패드 또는 터치스크린 등), 음성 또는 소리 입력 장치, 다양한 종류의 센서 장치 및/또는 촬영 장치와 같은 입력 장치, 및/또는 디스플레이 장치, 프린터, 스피커 및/또는 네트워크 카드와 같은 출력 장치를 포함할 수 있다. 예시적인 입출력 장치(24)는 컴퓨팅 장치(12)를 구성하는 일 컴포넌트로서 컴퓨팅 장치(12)의 내부에 포함될 수도 있고, 컴퓨팅 장치(12)와는 구별되는 별개의 장치로 컴퓨팅 장치(12)와 연결될 수도 있다.
이상에서 본 발명의 대표적인 실시예들을 상세하게 설명하였으나, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 상술한 실시예에 대하여 본 발명의 범주에서 벗어나지 않는 한도 내에서 다양한 변형이 가능함을 이해할 것이다. 그러므로 본 발명의 권리범위는 설명된 실시예에 국한되어 정해져서는 안 되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.Although the exemplary embodiments of the present invention have been described in detail above, those of ordinary skill in the art to which the present invention pertains will understand that various modifications may be made to the above-described embodiments without departing from the scope of the present invention. . Therefore, the scope of the present invention is limited to the described embodiments and should not be determined, and should not be determined by the claims to be described later, but also by those equivalents to the claims.
100 : 스마트 기기
110 : 촬영부
120 : 통신부
130 : 디스플레이부
200 : 네트워크
300 : 관리 서버
310 : 통신 모듈
320 : 저장 모듈
330 : 콘텐츠 제공 모듈
340 : 시선 인식 모듈
350 : 안구상태 분석 모듈100: smart device
110: photographing department
120: communication department
130: display unit
200: network
300: management server
310: communication module
320: storage module
330: content providing module
340: gaze recognition module
350: eye condition analysis module
Claims (7)
상기 하나 이상의 프로세서들에 의해 실행되는 하나 이상의 프로그램들을 저장하는 메모리를 구비한 컴퓨팅 장치로서,
스마트 기기의 화면에서 사용자의 시선 이동을 유도하기 위한 시선유도체를 포함하는 콘텐츠를 생성하는 콘텐츠 제공 모듈;
상기 콘텐츠를 상기 스마트 기기로 전송하고, 상기 스마트 기기로부터 상기 콘텐츠를 바라보는 상기 사용자의 촬영 영상을 획득하는 통신 모듈;
상기 촬영 영상을 기반으로 상기 사용자의 시선 정보를 생성하는 시선 인식 모듈; 및
상기 시선 정보와 상기 시선유도체의 이동 정보를 바탕으로 상기 사용자의 안구상태를 분석하여 상기 사용자의 안구상태 분석 정보를 생성하는 안구상태 분석 모듈을 포함하는, 컴퓨팅 장치.
One or more processors, and
A computing device having a memory for storing one or more programs executed by the one or more processors,
A content providing module that generates content including a gaze derivative for inducing a user's gaze movement on a screen of a smart device;
A communication module that transmits the content to the smart device and obtains a photographed image of the user viewing the content from the smart device;
A gaze recognition module that generates gaze information of the user based on the captured image; And
And an eye condition analysis module for generating the user's eye condition analysis information by analyzing the user's eye condition based on the eye line information and movement information of the eye line guide.
상기 안구상태 분석 모듈은,
상기 시선 정보에 포함된 안구의 좌표값과 상기 이동 정보에 포함된 시선유도체의 좌표값을 비교하여 일치율을 산출하고, 상기 산출된 일치율을 기반으로 상기 사용자의 안구상태 분석 정보를 생성하는, 컴퓨팅 장치.
The method according to claim 1,
The eye condition analysis module,
Computing device for calculating a matching rate by comparing the coordinate value of the eyeball included in the gaze information with the coordinate value of the gaze derivative included in the movement information, and generating the eyeball state analysis information of the user based on the calculated matching rate .
상기 통신 모듈은, 상기 스마트 기기로부터 상기 사용자의 나이를 포함하는 사용자 정보를 획득하며,
상기 콘텐츠 제공 모듈은,
상기 사용자 정보를 기반으로 기 저장된 사용자들의 평균 나이와 비교하여 상기 콘텐츠 내의 상기 시선유도체의 이동 속도, 출현 빈도, 및 출현 간격 중 하나 이상을 조절하는, 컴퓨팅 장치.
The method according to claim 1,
The communication module obtains user information including the user's age from the smart device,
The content providing module,
Computing device for adjusting one or more of a movement speed, an appearance frequency, and an appearance interval of the gaze derivative in the content by comparing the average age of pre-stored users based on the user information.
상기 콘텐츠 제공 모듈은,
상기 화면에 표시되는 시선유도체가 연속적인 형태를 가지는 제1 이동 정보를 포함하도록 제1 콘텐츠를 생성하며,
상기 제1 콘텐츠는,
상기 사용자 정보를 기반으로 기 저장된 사용자들의 평균 나이와 비교하여 해당 사용자가 상기 평균 나이보다 많은 경우에는 상기 시선유도체의 이동 속도가 기 설정된 속도만큼 감소되고, 해당 사용자가 상기 평균 나이보다 적은 경우에는 상기 시선유도체의 이동 속도가 기 설정된 속도만큼 상승되도록 마련되는, 컴퓨팅 장치.
The method of claim 3,
The content providing module,
The first content is generated so that the gaze derivative displayed on the screen includes first movement information having a continuous shape,
The first content,
Based on the user information, when the user is greater than the average age, the moving speed of the gaze derivative is reduced by a preset speed when the user is greater than the average age, and when the user is less than the average age, the A computing device provided to increase the moving speed of the gaze-derived by a preset speed.
상기 콘텐츠 제공 모듈은,
상기 화면에 표시되는 시선유도체가 불연속적인 형태를 가지는 제2 이동 정보를 포함하도록 제2 콘텐츠를 생성하며,
상기 제2 콘텐츠는,
상기 사용자 정보를 기반으로 기 저장된 사용자들의 평균 나이와 비교하여 해당 사용자가 상기 평균 나이보다 많은 경우에는 상기 시선유도체의 출현 빈도가 기 설정된 횟수만큼 감소되며, 상기 시선유도체의 출현 간격이 기 설정된 시간만큼 증가되도록 마련되는, 컴퓨팅 장치.
The method of claim 3,
The content providing module,
The second content is generated so that the gaze derivative displayed on the screen includes second movement information having a discontinuous form,
The second content,
Compared with the average age of pre-stored users based on the user information, if the user is greater than the average age, the frequency of appearance of the gaze derivative is reduced by a preset number of times, and the appearance interval of the gaze derivative is reduced by a preset time. Computing device, arranged to increase.
상기 콘텐츠 제공 모듈은,
상기 화면에 표시되는 시선유도체가 연속적인 형태를 가지는 제1 이동 정보 및 상기 화면에 표시되는 시선유도체가 불연속적인 형태를 가지는 제2 이동 정보를 포함하도록 제3 콘텐츠를 생성하며,
상기 제3 콘텐츠는,
상기 사용자 정보를 기반으로 기 저장된 사용자들의 평균 나이와 비교하여 해당 사용자가 상기 평균 나이보다 많은 경우에는 상기 시선유도체의 이동 속도가 기 설정된 속도만큼 감소되고, 상기 시선유도체의 출현 빈도가 기 설정된 횟수만큼 감소되며, 상기 시선유도체의 출현 간격이 기 설정된 시간만큼 증가되도록 마련되는, 컴퓨팅 장치.
The method of claim 3,
The content providing module,
3rd content is generated so that the gaze guide displayed on the screen includes first movement information having a continuous shape and the gaze guide displayed on the screen second movement information having a discontinuous shape,
The third content,
Compared with the average age of users previously stored based on the user information, if the user is greater than the average age, the moving speed of the gaze derivative is reduced by a preset speed, and the appearance frequency of the gaze derivative is reduced by a preset number of times. It is reduced, and the appearance interval of the gaze derivative is provided to increase by a preset time.
상기 하나 이상의 프로세서들에 의해 실행되는 하나 이상의 프로그램들을 저장하는 메모리를 구비한 컴퓨팅 장치에서 수행되는 방법으로서,
화면에서 사용자의 시선 이동을 유도하기 위한 시선유도체를 포함하는 콘텐츠를 스마트 기기로 전송하는 단계;
상기 스마트 기기로부터 상기 콘텐츠를 바라보는 상기 사용자의 촬영 영상을 획득하는 단계;
상기 촬영 영상을 기반으로 상기 사용자의 시선 정보를 생성하는 단계;
상기 시선 정보와 상기 시선유도체의 이동 정보를 바탕으로 상기 사용자의 안구상태를 분석하여 상기 사용자의 안구상태 분석 정보를 생성하는 단계; 및
상기 사용자의 안구상태 분석 정보를 상기 스마트 기기로 제공하는 단계를 포함하며,
상기 안구상태 분석 정보를 생성하는 단계는,
상기 시선 정보에 포함된 안구의 좌표값과 상기 이동 정보에 포함된 시선유도체의 좌표값을 비교하여 일치율을 산출하는 단계; 및
상기 산출된 일치율을 기반으로 상기 사용자의 안구상태 분석 정보를 생성하는 단계를 더 포함하는, 안구상태 검사 방법.
One or more processors, and
A method performed in a computing device having a memory storing one or more programs executed by the one or more processors,
Transmitting content including a gaze derivative for inducing a user's gaze movement on a screen to a smart device;
Acquiring a photographed image of the user viewing the content from the smart device;
Generating gaze information of the user based on the captured image;
Analyzing the eyeball state of the user based on the gaze information and movement information of the gaze derivative to generate the eyeball state analysis information of the user; And
And providing the user's eye condition analysis information to the smart device,
Generating the eye condition analysis information,
Calculating a match rate by comparing the coordinate value of the eyeball included in the gaze information and the coordinate value of the gaze derivative included in the movement information; And
And generating the user's eye condition analysis information based on the calculated match rate.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020190095308A KR102280944B1 (en) | 2019-08-06 | 2019-08-06 | Method for eye state inspection and computing device for executing the method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020190095308A KR102280944B1 (en) | 2019-08-06 | 2019-08-06 | Method for eye state inspection and computing device for executing the method |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20210016911A true KR20210016911A (en) | 2021-02-17 |
KR102280944B1 KR102280944B1 (en) | 2021-07-23 |
Family
ID=74731797
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020190095308A KR102280944B1 (en) | 2019-08-06 | 2019-08-06 | Method for eye state inspection and computing device for executing the method |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR102280944B1 (en) |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100627929B1 (en) | 2004-05-07 | 2006-09-25 | 재단법인서울대학교산학협력재단 | A measurement system for three-dimensional ocular movement using the magnetic contact lens sensor and a method thereof |
KR20160090065A (en) * | 2015-01-21 | 2016-07-29 | 동국대학교 산학협력단 | Rehabilitation system based on gaze tracking |
KR20180052892A (en) * | 2016-11-11 | 2018-05-21 | 주식회사 3디나라 | A method for implementing eyesight strengthen software based on computer and smartphone |
KR20180083069A (en) * | 2017-01-12 | 2018-07-20 | 고려대학교 산학협력단 | System and method for ophthalmolgic test using virtual reality |
KR101894536B1 (en) * | 2017-10-30 | 2018-09-12 | 대한민국 | Language training method for improving communication ability of patients with neuro-linguistic disorder |
-
2019
- 2019-08-06 KR KR1020190095308A patent/KR102280944B1/en active IP Right Grant
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100627929B1 (en) | 2004-05-07 | 2006-09-25 | 재단법인서울대학교산학협력재단 | A measurement system for three-dimensional ocular movement using the magnetic contact lens sensor and a method thereof |
KR20160090065A (en) * | 2015-01-21 | 2016-07-29 | 동국대학교 산학협력단 | Rehabilitation system based on gaze tracking |
KR20180052892A (en) * | 2016-11-11 | 2018-05-21 | 주식회사 3디나라 | A method for implementing eyesight strengthen software based on computer and smartphone |
KR20180083069A (en) * | 2017-01-12 | 2018-07-20 | 고려대학교 산학협력단 | System and method for ophthalmolgic test using virtual reality |
KR101894536B1 (en) * | 2017-10-30 | 2018-09-12 | 대한민국 | Language training method for improving communication ability of patients with neuro-linguistic disorder |
Also Published As
Publication number | Publication date |
---|---|
KR102280944B1 (en) | 2021-07-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11366517B2 (en) | Human-computer interface using high-speed and accurate tracking of user interactions | |
JP6900516B2 (en) | Gaze point determination method and devices, electronic devices and computer storage media | |
US20190392587A1 (en) | System for predicting articulated object feature location | |
EP3477589B1 (en) | Method of processing medical image, and medical image processing apparatus performing the method | |
US10709328B2 (en) | Main module, system and method for self-examination of a user's eye | |
US20170112373A1 (en) | Visual acuity testing method and product | |
US11263914B2 (en) | Multi-level executive functioning tasks | |
US9770165B2 (en) | Systems and methods for displaying objects on a screen at a desired visual angle | |
US11249549B2 (en) | Brain connectivity-based visual perception training device, method and program | |
KR102280944B1 (en) | Method for eye state inspection and computing device for executing the method | |
US10755088B2 (en) | Augmented reality predictions using machine learning | |
US20230360548A1 (en) | Assist system, assist method, and assist program | |
Gervasi et al. | A method for predicting words by interpreting labial movements | |
Manousos et al. | Contactless detection of facial signs related to stress: A preliminary study | |
US20240013431A1 (en) | Image capture devices, systems, and methods | |
CN110545386A (en) | Method and apparatus for photographing image | |
KR20200049175A (en) | Body analysis system and computing device for executing the system | |
US20230210364A1 (en) | Eye tracking system, eye tracking method, and eye tracking program | |
KR102545747B1 (en) | Method and apparatus for determining degree of attention of user | |
Ryabinin et al. | Towards Mitigating the Eye Gaze Tracking Uncertainty in Virtual Reality | |
CN112309532B (en) | Information feedback method and device | |
Patel et al. | A mobile vision testing application based on dynamic distance determination from the human corneal limbus | |
Chuprina | Towards Mitigating the Eye Gaze Tracking Uncertainty in Virtual Reality |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
E902 | Notification of reason for refusal | ||
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant |