KR102443195B1

KR102443195B1 - Apparatus and method of diagnosing hepatic encephalopathy bassed on eyetracking

Info

Publication number: KR102443195B1
Application number: KR1020200115314A
Authority: KR
Inventors: 강민규
Original assignee: 영남대학교 산학협력단
Priority date: 2020-09-09
Filing date: 2020-09-09
Publication date: 2022-09-13
Also published as: KR20220033200A

Abstract

본 개시는 사용자의 안구 운동을 측정하는 방법 및 이를 수행하는 안구 운동 측정 장치에 관한 것이다. 일 실시 예에 의하면, 안구 운동 측정 장치가 사용자의 안구 운동을 측정하는 방법은 외부 디바이스로부터 상기 사용자의 안구 운동을 유도하기 위한 가이드 컨텐츠를 획득하는 단계; 상기 획득된 가이드 컨텐츠를 출력하는 단계; 상기 출력된 가이드 컨텐츠에 대한 상기 사용자 시선의 위치를 식별하는 단계; 상기 식별된 사용자 시선의 위치에 기초하여, 상기 사용자 시선의 이동 경로를 생성하는 단계; 및 상기 생성된 이동 경로에 대한 정보를 상기 외부 디바이스로 전송하는 단계; 를 포함할 수 있다.The present disclosure relates to a method for measuring a user's eye movement and an eye movement measuring apparatus for performing the same. According to one embodiment, the method for measuring the user's eye movement by the eye movement measuring apparatus includes: obtaining guide content for inducing the user's eye movement from an external device; outputting the obtained guide content; identifying the position of the user's gaze with respect to the output guide content; generating a movement path of the user's gaze based on the identified location of the user's gaze; and transmitting information on the generated movement path to the external device. may include.

Description

Gaze tracking-based hepatic encephalopathy diagnosis method and device

본 개시는 시선 추적 기반으로 사용자의 질환을 진단하는 장치 및 방법에 관한 것이다. 보다 상세하게는 시선 추적을 기반으로 사용자의 간성 뇌증을 진단하는 장치 및 방법에 관한 것이다.The present disclosure relates to an apparatus and method for diagnosing a user's disease based on eye tracking. More particularly, it relates to an apparatus and method for diagnosing a user's hepatic encephalopathy based on eye tracking.

간은 인체의 화학 공장이라 불릴 만큼 중요한 대사 작용을 수행한다. 간은 인체 내의 독성 물질을 해독할 수 있다. 신체 내에서 단백질이 분해되면 암모니아가 생성되고 암모니아는 간에서 요소로 바뀌어 몸 밖으로 배출될 수 있다. 그러나, 간경변증이 심해 간의 기능이 현저히 떨어지는 경우 암모니아가 그대로 신체 내에 남아 혈액으로 순환하며 뇌에 나쁜영향을 미치거나, 대장에 머물러 있는 대변을 통해 간성 뇌증을 유발할 수 있다. 간성 뇌증을 유발하는 원인으로는 과다한 단백질 섭취, 위장관의 출혈로 혈변과 피를 토하는 것, 변비, 심한 탈수, 복막염 등의 각종 감염증, 수분-전해질 불균형, 신기능 저하 등을 들 수 있다.The liver performs important metabolic processes that are called the chemical factory of the human body. The liver can detoxify the toxic substances in the body. When protein is broken down in the body, ammonia is produced, which is converted to urea in the liver and can be excreted from the body. However, when liver cirrhosis is severe and liver function is significantly reduced, ammonia remains in the body as it is, circulates in the blood, adversely affects the brain, or may cause hepatic encephalopathy through feces remaining in the large intestine. Causes of hepatic encephalopathy include excessive protein intake, bloody stool and vomiting due to gastrointestinal bleeding, constipation, severe dehydration, various infections such as peritonitis, water-electrolyte imbalance, and renal function decline.

일반적으로 간성 뇌증은 환자의 증상과 간단한 신체 검사로 진단하거나, 혈액을 이용하여 검사될 수 있었으며, 성격이 바뀌는 등의 증세가 나타나거나, 양팔을 쭉 펴서 손끝을 위로 향하고 손바닥을 앞으로 향하여 폈을 때 손끝이 떨리거나 아래로 떨어지는 증상이 나타나는 경우 미세 간성 뇌증으로 의심될 수 있다. 그러나, 상술한 방법에 따라 간성 뇌증을 진단하는 경우, 간성 뇌증의 판단 기준이 불명확하고 주관적이어서 정확하고 신속하게 간성 뇌증을 진단할 수 없는 한계가 있다.In general, hepatic encephalopathy can be diagnosed with the patient's symptoms and a simple physical examination, or can be tested using blood, and when symptoms such as a change in personality appear, or when the fingertips are extended with the arms outstretched and the palms facing forward If this tremor or falling down symptoms appear, microhepatic encephalopathy may be suspected. However, when diagnosing hepatic encephalopathy according to the above-described method, there is a limitation in that it is impossible to accurately and quickly diagnose hepatic encephalopathy because the criteria for determining hepatic encephalopathy are unclear and subjective.

따라서, 객관적인 기준에 근거하여 간성 뇌증을 정확하고 신속하게 진단하기 위한 기술 개발이 요구되고 있다.Therefore, there is a demand for technology development for accurately and rapidly diagnosing hepatic encephalopathy based on objective criteria.

일본공개특허 제2020-036909호Japanese Patent Laid-Open No. 2020-036909

일 실시 예에 의하면, 사용자의 안구 운동을 측정하는 방법 및 안구 운동을 측정하는 안구 운동 측정 장치가 제공될 수 있다.According to an embodiment, a method for measuring the user's eye movement and an eye movement measuring apparatus for measuring the eye movement may be provided.

보다 상세하게는, 미리 설정된 안구 운동 모델에 대한 사용자의 시선을 추적한 결과에 기초하여, 사용자의 간성 뇌증을 진단할 수 있는 장치 및 방법이 제공될 수 있다.More specifically, an apparatus and method for diagnosing a user's hepatic encephalopathy may be provided based on a result of tracking the user's gaze with respect to a preset eye movement model.

상술한 기술적 과제를 달성하기 위한 기술적 수단으로서, 일 실시 예에 의하면, 안구 운동 측정 장치가 사용자의 안구 운동을 측정하는 방법은 외부 디바이스로부터 상기 사용자의 안구 운동을 유도하기 위한 가이드 컨텐츠를 획득하는 단계; 상기 획득된 가이드 컨텐츠를 출력하는 단계; 상기 출력된 가이드 컨텐츠에 대한 상기 사용자 시선의 위치를 식별하는 단계; 상기 식별된 사용자 시선의 위치에 기초하여, 상기 사용자 시선의 이동 경로를 생성하는 단계; 및 상기 생성된 이동 경로에 대한 정보를 상기 외부 디바이스로 전송하는 단계; 를 포함할 수 있다.As a technical means for achieving the above-described technical problem, according to an embodiment, the method for the eye movement measuring apparatus to measure the user's eye movement includes: obtaining guide content for inducing the user's eye movement from an external device; ; outputting the obtained guide content; identifying the position of the user's gaze with respect to the output guide content; generating a movement path of the user's gaze based on the identified location of the user's gaze; and transmitting information on the generated movement path to the external device. may include.

또한, 일 실시 예에 의하면, 사용자의 안구 운동을 측정하는 안구 운동 측정 장치에 있어서, 광원; 적어도 하나의 렌즈; 디스플레이; 네트워크 인터페이스; 하나 이상의 인스트럭션을 저장하는 메모리; 및 상기 하나 이상의 인스트럭션을 실행하는 적어도 하나의 프로세서; 를 포함하고, 상기 적어도 하나의 프로세서는 상기 하나 이상의 인스트럭션을 실행함으로써, 외부 디바이스로부터 상기 사용자의 안구 운동을 유도하기 위한 가이드 컨텐츠를 획득하고, 상기 획득된 가이드 컨텐츠를 출력하고, 상기 출력된 가이드 컨텐츠에 대한 상기 사용자 시선의 위치를 식별하고, 상기 식별된 사용자 시선의 위치에 기초하여, 상기 사용자 시선의 이동 경로를 생성하고, 상기 생성된 이동 경로에 대한 정보를 상기 외부 디바이스로 전송하는 안구 운동 측정 장치가 제공될 수 있다.In addition, according to an embodiment, in the eye movement measuring apparatus for measuring the user's eye movement, a light source; at least one lens; display; network interface; a memory storing one or more instructions; and at least one processor executing the one or more instructions. including, wherein the at least one processor obtains guide content for inducing the user's eye movement from an external device by executing the one or more instructions, and outputs the obtained guide content, and the output guide content Eye movement measurement for identifying the position of the user's gaze on A device may be provided.

또 다른 실시 예에 의하면, 사용자의 간성 뇌증을 진단하는 전자 장치에 있어서, 네트워크 인터페이스; 하나 이상의 인스트럭션을 저장하는 메모리; 및 상기 하나 이상의 인스트럭션을 실행하는 적어도 하나의 프로세서; 를 포함하고, 상기 적어도 하나의 프로세서는 상기 하나 이상의 인스트럭션을 실행함으로써, 상기 안구 운동 측정 장치로 안구 운동 모델을 포함하는 가이드 컨텐츠를 전송하고, 상기 안구 운동 측정 장치로부터 사용자 시선 추적 결과에 기초하여 생성된 이동 경로에 대한 정보를 수신하고, 상기 이동 경로 정보 및 가이드 컨텐츠를 비교하고, 상기 비교 결과에 기초하여 사용자가 간성 뇌증 환자인지 진단하고, 상기 진단 결과를 출력하는 전자 장치가 제공될 수 있다.According to another embodiment, an electronic device for diagnosing a user's hepatic encephalopathy includes: a network interface; a memory storing one or more instructions; and at least one processor executing the one or more instructions. Including, wherein the at least one processor transmits the guide content including the eye movement model to the eye movement measurement device by executing the one or more instructions, and is generated based on the user gaze tracking result from the eye movement measurement device An electronic device may be provided that receives information on a moving path, compares the moving path information and guide contents, diagnoses whether a user is a patient with hepatic encephalopathy based on the comparison result, and outputs the diagnosis result.

또한, 일 실시 예에 의하면, 안구 운동 측정 장치가 사용자의 안구 운동을 측정하는 방법에 있어서, 외부 디바이스로부터 상기 사용자의 안구 운동을 유도하기 위한 가이드 컨텐츠를 획득하는 단계; 상기 획득된 가이드 컨텐츠를 출력하는 단계; 상기 출력된 가이드 컨텐츠에 대한 상기 사용자 시선의 위치를 식별하는 단계; 상기 식별된 사용자 시선의 위치에 기초하여, 상기 사용자 시선의 이동 경로를 생성하는 단계; 및 상기 생성된 이동 경로에 대한 정보를 상기 외부 디바이스로 전송하는 단계; 를 포함하는, 방법을 수행하도록 하는 프로그램이 저장된 컴퓨터로 읽을 수 있는 기록매체가 제공될 수 있다.In addition, according to an embodiment, there is provided a method for measuring eye movement of a user by an apparatus for measuring eye movement, the method comprising: obtaining guide content for inducing the user's eye movement from an external device; outputting the obtained guide content; identifying the position of the user's gaze with respect to the output guide content; generating a movement path of the user's gaze based on the identified location of the user's gaze; and transmitting information on the generated movement path to the external device. A computer-readable recording medium in which a program for performing the method is stored, including, may be provided.

일 실시 예에 의하면 사용자 시선을 추적함으로써 사용자의 안구 운동을 정확하게 측정할 수 있다.According to an embodiment, the user's eye movement may be accurately measured by tracking the user's gaze.

일 실시 예에 의하면, 사용자 안구 운동 측정 결과에 기초하여 사용자의 간성 뇌증을 객관적으로 진단할 수 있다.According to an embodiment, the user's hepatic encephalopathy may be objectively diagnosed based on the user's eye movement measurement result.

도 1은 일 실시 예에 따라 안구 운동 측정 장치가 사용자의 안구 운동을 측정하는 과정을 개략적으로 나타내는 도면이다.
도 2는 일 실시 예에 따라 안구 운동 측정 장치가 사용자의 안구 운동을 측정하는 방법의 흐름도이다.
도 3은 일 실시 예에 따른 안구 운동 측정 장치 및 전자 장치가 서로 연동함으로써 사용자의 간성 뇌증을 진단하는 방법을 나타내는 흐름도이다.
도 4는 또 다른 실시 예에 따른 안구 운동 측정 장치 및 전자 장치가 서로 연동함으로써 사용자의 간성 뇌증을 진단하는 방법을 나타내는 흐름도이다.
도 5는 일 실시 예에 따른 안구 운동 측정 장치가 사용자 시선의 위치를 식별하는 방법을 나타내는 흐름도이다.
도 6은 또 다른 실시 예에 따라 안구 운동 측정 장치가 사용자 시선의 위치를 식별하는 방법을 나타내는 흐름도이다.
도 7은 일 실시 예에 따른 사용자의 안구 주변에 부착되는 센서의 구성을 설명하기 위한 도면이다.
도 8은 일 실시 예에 따른 안구 운동 측정 장치가 사용자 시선의 이동 경로 및 가이드 컨텐츠상의 가이드 경로를 비교하는 과정을 설명하기 위한 도면이다.
도 9는 일 실시 예에 따른 안구 운동 측정 장치가 간성 뇌증 환자를 식별하는 방법의 흐름도이다.
도 10은 또 다른 실시 예에 따른 안구 운동 측정 장치가 간성 뇌증 환자를 식별하는 방법의 흐름도이다.
도 11은 또 다른 실시 예에 따른 안구 운동 측정 장치가 간성 뇌증 환자를 식별하는 방법의 흐름도이다.
도 12는 또 다른 실시 예에 따른 안구 운동 측정 장치가 간성 뇌증 환자를 식별하는 방법의 흐름도이다.
도 13은 일 실시 예에 따른 안구 운동 측정 장치의 블록도이다.
도 14는 일 실시 예에 따른 안구 운동 측정 장치와 연결되는 전자 장치의 블록도이다.
도 15는 일 실시 예에 따른 안구 운동 측정 장치 또는 전자 장치 중 적어도 하나와 연결되는 서버의 블록도이다.1 is a diagram schematically illustrating a process in which an eye movement measuring apparatus measures a user's eye movement according to an exemplary embodiment.
2 is a flowchart of a method for measuring, by an eye movement measuring apparatus, a user's eye movement, according to an exemplary embodiment.
3 is a flowchart illustrating a method of diagnosing a user's hepatic encephalopathy by interworking between an eye movement measuring apparatus and an electronic device according to an exemplary embodiment.
4 is a flowchart illustrating a method for diagnosing a user's hepatic encephalopathy by interworking with an eye movement measuring apparatus and an electronic device according to another embodiment.
5 is a flowchart illustrating a method for an eye movement measuring apparatus to identify a location of a user's gaze according to an exemplary embodiment.
6 is a flowchart illustrating a method for an eye movement measuring apparatus to identify a position of a user's gaze according to another embodiment.
7 is a view for explaining a configuration of a sensor attached to a user's eyeball periphery according to an embodiment.
FIG. 8 is a diagram for explaining a process of comparing a movement path of a user's gaze and a guide path on guide contents by the apparatus for measuring eye movement according to an exemplary embodiment.
9 is a flowchart of a method for identifying a patient with hepatic encephalopathy by an apparatus for measuring eye movement according to an exemplary embodiment.
10 is a flowchart of a method of identifying a patient with hepatic encephalopathy by an apparatus for measuring eye movement according to another embodiment.
11 is a flowchart of a method for identifying a patient with hepatic encephalopathy by an apparatus for measuring eye movement according to another embodiment.
12 is a flowchart of a method for identifying a patient with hepatic encephalopathy by an apparatus for measuring eye movement according to another embodiment.
13 is a block diagram of an apparatus for measuring eye movement according to an exemplary embodiment.
14 is a block diagram of an electronic device connected to an eye movement measuring apparatus according to an exemplary embodiment.
15 is a block diagram of a server connected to at least one of an eye movement measuring device and an electronic device according to an exemplary embodiment.

본 명세서에서 사용되는 용어에 대해 간략히 설명하고, 본 개시에 대해 구체적으로 설명하기로 한다. Terms used in this specification will be briefly described, and the present disclosure will be described in detail.

본 개시에서 사용되는 용어는 본 개시에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 발명의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 개시에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 개시의 전반에 걸친 내용을 토대로 정의되어야 한다. The terms used in the present disclosure have been selected as currently widely used general terms as possible while considering the functions in the present disclosure, but these may vary depending on the intention or precedent of a person skilled in the art, the emergence of new technology, and the like. In addition, in a specific case, there is a term arbitrarily selected by the applicant, and in this case, the meaning will be described in detail in the description of the corresponding invention. Therefore, the terms used in the present disclosure should be defined based on the meaning of the term and the contents of the present disclosure, rather than the simple name of the term.

명세서 전체에서 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있음을 의미한다. 또한, 명세서에 기재된 "...부", "모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다.In the entire specification, when a part "includes" a certain component, it means that other components may be further included, rather than excluding other components, unless otherwise stated. In addition, terms such as "...unit" and "module" described in the specification mean a unit that processes at least one function or operation, which may be implemented as hardware or software, or a combination of hardware and software. .

아래에서는 첨부한 도면을 참고하여 본 개시의 실시 예에 대하여 본 개시가 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 개시는 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시 예에 한정되지 않는다. 그리고 도면에서 본 개시를 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.Hereinafter, with reference to the accompanying drawings, embodiments of the present disclosure will be described in detail so that those of ordinary skill in the art to which the present disclosure pertains can easily implement them. However, the present disclosure may be implemented in several different forms and is not limited to the embodiments described herein. And in order to clearly explain the present disclosure in the drawings, parts irrelevant to the description are omitted, and similar reference numerals are attached to similar parts throughout the specification.

도 1은 일 실시 예에 따라 안구 운동 측정 장치가 사용자의 안구 운동을 측정하는 과정을 개략적으로 나타내는 도면이다.1 is a diagram schematically illustrating a process in which an eye movement measuring apparatus measures a user's eye movement according to an exemplary embodiment.

일 실시 예에 의하면, 간성 뇌증 진단 시스템(10)은 안구 운동 측정 장치(1000), 전자 장치(2000) 및 서버(3000)를 포함할 수 있다. 예를 들어, 간성 뇌증 진단 시스템(10)은 사용자의 안구 운동의 변화를 감지함으로써 사용자의 간성 뇌증을 신속하고, 객관적으로 진단할 수 있다.According to an embodiment, the hepatic encephalopathy diagnosis system 10 may include an eye movement measuring apparatus 1000 , an electronic device 2000 , and a server 3000 . For example, the hepatic encephalopathy diagnosis system 10 may rapidly and objectively diagnose a user's hepatic encephalopathy by detecting a change in the user's eye movement.

종래 간성 뇌증을 진단하는 방법들은 시각, 청각 등의 반응 속도를 통해 간경변 환자를 개략적으로 파악하거나, 사용자의 주관적인 기준에 근거하여 진단함에 따라 객관적인 간성 뇌증의 진단에 한계가 있었다. 그러나 본 개시에 따른 간성 뇌증 진단 시스템은 VR 장치와 같은 안구 운동 측정 장치(1000)를 이용함으로써 사용자의 안구 운동 변화를 측정하고 측정 결과를 전자 장치(2000)로 전송함으로써 사용자의 간성 뇌증을 효과적으로 진단할 수 있다.Conventional methods for diagnosing hepatic encephalopathy have limitations in objectively diagnosing hepatic encephalopathy as the cirrhosis patient is schematically identified through a reaction rate such as visual or auditory or based on a user's subjective criteria. However, the system for diagnosing hepatic encephalopathy according to the present disclosure measures the user's eye movement change by using the eye movement measurement device 1000 such as a VR device and transmits the measurement result to the electronic device 2000 to effectively diagnose the user's hepatic encephalopathy. can do.

일 실시 예에 의하면 안구 운동 측정 장치(1000)는 사용자(102)의 안면에 장착될 수 있다. 일 실시 예에 의하면 안구 운동 측정 장치(1000)는 가상 현실(Virtual Reality, VR) 서비스를 지원하는 기타 전자 장치일 수 있다. 본 개시의 일 실시 예에 따른 안구 운동 측정 장치(1000)는 가상 현실 서비스를 지원하는 장치로써, 헤드 마운트 디스플레이(Head Mounted Display, HMD) 장치, 헤드 업 디스플레이(Head Up Display) 장치, 또는 가상 현실 헤드셋(Virtual Reality Headset, VRH)과 같은 장치일 수 있다.According to an embodiment, the eye movement measuring apparatus 1000 may be mounted on the face of the user 102 . According to an embodiment, the eye movement measuring apparatus 1000 may be another electronic device supporting a virtual reality (VR) service. The eye movement measuring apparatus 1000 according to an embodiment of the present disclosure is a device that supports a virtual reality service, and is a head mounted display (HMD) device, a head up display device, or virtual reality. It may be a device such as a headset (Virtual Reality Headset, VRH).

본 개시의 일 실시 예에 의하면, 안구 운동 측정 장치(1000)는 스마트폰과 같은 단말들과 결합하여 가상 현실 서비스를 제공하는 결합형 가상 현실 서비스 지원 장치이거나, 자체적으로 프로세서 및 메모리를 포함하여, 단독으로 가상 현실 서비스를 지원하는 단독형 가상 현실 서비스 지원 장치일 수 있다. 일 실시 예에 의하면, 안구 운동 측정 장치(1000)는 사용자의 안면에 장착되어, 사용자의 안구 운동을 측정하기 위한 복수의 안구 운동 모델들을 가이드 컨텐츠로써 제공할 수 있다. According to an embodiment of the present disclosure, the eye movement measurement device 1000 is a combined virtual reality service support device that provides a virtual reality service in combination with terminals such as a smartphone, or includes a processor and a memory itself, It may be a standalone virtual reality service support device that solely supports the virtual reality service. According to an embodiment, the eye movement measuring apparatus 1000 may be mounted on the user's face and provide a plurality of eye movement models for measuring the user's eye movement as guide content.

또 다른 실시 예에 의하면, 안구 운동 측정 장치(1000)는 가이드 컨텐츠들을 전자 장치(2000)로부터 획득할 수도 있다. 일 실시 예에 의하면 가이드 컨텐츠들은 가상 현실 공간 내에서 상술한 안구 운동 모델들을 가상 현실 컨텐츠로써 제공할 수 있다. 예를 들어, 안구 운동 측정 장치(1000)는 증강 현실, 가상 현실 또는 혼합 현실 중 적어도 하나를 포함하는 환경 내에서, 상술한 가이드 컨텐츠들을 출력할 수 있고, 가이드 컨텐츠를 시청하는 사용자 시선의 위치를 식별할 수 있다.According to another embodiment, the eye movement measuring apparatus 1000 may obtain guide contents from the electronic apparatus 2000 . According to an embodiment, the guide contents may provide the above-described eye movement models as virtual reality contents in a virtual reality space. For example, the eye movement measuring apparatus 1000 may output the above-described guide contents in an environment including at least one of augmented reality, virtual reality, and mixed reality, and determine the position of a user's gaze viewing the guide contents. can be identified.

일 실시 예에 의하면, 본 개시에 따른 사용자(102)는 안구 운동 측정 장치들(예컨대 헤드 마운트 디스플레이 장치) 내부의 적어도 하나의 렌즈들을 이용하여, 안구 운동 측정 장치 내부의 디스플레이 또는 안구 운동 측정 장치에 결합된 스마트 단말의 디스플레이를 통해 출력되는 컨텐츠를 시청할 수 있다. 일 실시 예에 의하면 사용자(102)는 안구 운동 측정 장치(1000)를 통하여 가상 현실, 증강 현실 또는 혼합 현실 중 적어도 하나를 포함하는 컨텐츠를 시청함으로써, 완전한 가상 현실 환경에 몰입(immersed)할 수 있다.According to an embodiment, the user 102 according to the present disclosure uses at least one lens inside the eye movement measurement devices (eg, a head mounted display device) to display the inside of the eye movement measurement device or the eye movement measurement device. Content output through the display of the combined smart terminal can be viewed. According to an embodiment, the user 102 may be immersed in a complete virtual reality environment by viewing content including at least one of virtual reality, augmented reality, and mixed reality through the eye movement measuring device 1000 . .

일 실시 예에 의하면, 안구 운동 측정 장치(1000)는 디스플레이 상에 가상 현실 컨텐츠로써 가이드 경로(112)를 표시할 수 있다. 안구 운동 측정 장치(1000)의 사용자(102)는 안구 운동 측정 장치(1000) 내 적어도 하나의 렌즈를 통하여 가이드 경로(112)를 시청할 수 있다. 안구 운동 측정 장치(1000)는 가이드 경로를 시청하는 사용자 시선의 위치(122)를 식별할 수 있다. 일 실시 예에 의하면, 안구 운동 측정 장치(1000)는 사용자의 제1 안구의 시선의 위치에 기초하여 제1 안구 움직임 벡터를 결정하고, 제2 안구의 시선의 위치에 기초하여 제2 안구 움직임 벡터를 결정하며, 제1 안구 움직임 벡터 또는 제2 안구 움직임 벡터 중 적어도 하나에 기초하여 사용자 시선의 위치를 식별할 수 있다. 일 실시 예에 의하면 안구 운동 측정 장치(1000)는 식별된 사용자 시선의 위치에 기초하여 사용자 시선의 이동 경로를 생성할 수 있다.According to an embodiment, the eye movement measuring apparatus 1000 may display the guide path 112 as virtual reality content on the display. The user 102 of the eye movement measurement apparatus 1000 may view the guide path 112 through at least one lens in the eye movement measurement apparatus 1000 . The eye movement measuring apparatus 1000 may identify the position 122 of the user's gaze viewing the guide path. According to an embodiment, the eye movement measuring apparatus 1000 determines a first eye movement vector based on the position of the user's first eye gaze, and the second eye movement vector based on the position of the second eye gaze. may be determined, and the position of the user's gaze may be identified based on at least one of the first eye movement vector and the second eye movement vector. According to an embodiment, the eye movement measuring apparatus 1000 may generate a movement path of the user's gaze based on the identified location of the user's gaze.

일 실시 예에 의하면, 안구 운동 측정 장치(1000)는 생성된 이동 경로에 대한 정보를 전자 장치(2000)로 전송할 수 있다. 전자 장치(2000)는 안구 운동 측정 장치(1000)로부터 획득된 이동 경로에 대한 정보에 기초하여, 사용자 시선의 이동 경로를 출력할 수 있다. 일 실시 예에 의하면, 전자 장치(2000)는 안구 운동 측정 장치(1000)로 전송한 가이드 컨텐츠와 함께 사용자 시선의 이동 경로를 함께 출력할 수 있다. 전자 장치(1000)는 사용자 시선의 이동 경로 및 가이드 경로(112)를 비교함으로써 사용자가 간성 뇌증 환자 인지 여부를 진단할 수 있다. 전자 장치(1000)는 진단 결과를 디스플레이 상에 출력할 수 있다.According to an embodiment, the eye movement measuring apparatus 1000 may transmit information on the generated movement path to the electronic device 2000 . The electronic device 2000 may output the movement path of the user's gaze based on the information on the movement path obtained from the eye movement measurement apparatus 1000 . According to an embodiment, the electronic device 2000 may output the movement path of the user's gaze together with the guide content transmitted to the eye movement measuring apparatus 1000 . The electronic device 1000 may diagnose whether the user is a patient with hepatic encephalopathy by comparing the movement path of the user's gaze and the guide path 112 . The electronic device 1000 may output the diagnosis result on the display.

또 다른 실시 예에 의하면, 안구 운동 측정 장치(1000)는 이동 경로에 대한 정보를 전자 장치(2000)로 전송함과 함께, 사용자 시선의 이동 경로 및 가이드 경로(112)를 비교함으로써 사용자가 간성 뇌증 환자 인지 여부를 스스로 진단할 수 있다. 예를 들어, 안구 운동 측정 장치(1000)는 사용자 시선의 이동 경로 및 가이드 경로(112)를 비교함으로써 사용자의 안구가 비전형적인 안구 운동을 나타내고 있는지, 날카롭기 튀는 형상(jerk or saccadic movement)의 운동을 나타내고 있는지 식별할 수 있다. 안구 운동 측정 장치(1000)는 비전형적인 안구 운동을 나타내는 움직임이 식별되는 경우 안구 운동 측정 장치(1000) 사용자를 간성 뇌증 환자로 식별할 수 있다. 일 실시 예에 의하면 안구 운동 측정 장치(1000)는 진단 결과를 디스플레이 상에 출력할 수 있다.According to another embodiment, the eye movement measuring apparatus 1000 transmits information on the movement path to the electronic device 2000 and compares the movement path of the user's gaze with the guide path 112 , thereby causing the user to have hepatic encephalopathy. You can self-diagnose whether you are a patient or not. For example, the eye movement measuring apparatus 1000 compares the movement path of the user's gaze and the guide path 112 to determine whether the user's eyeball represents an atypical eye movement, or movement of a jerk or saccadic movement. It can be identified whether The eye movement measurement apparatus 1000 may identify the user of the eye movement measurement apparatus 1000 as a patient with hepatic encephalopathy when a motion representing an atypical eye movement is identified. According to an embodiment, the eye movement measuring apparatus 1000 may output a diagnosis result on a display.

일 실시 예에 따른 전자 장치(2000)는 다양한 형태로 구현될 수 있다. 예를 들어, 본 명세서에서 기술되는 전자 장치(1000)는, 디지털 카메라, 모바일 단말, 스마트 폰(smart phone), 노트북 컴퓨터(laptop computer), 태블릿 PC, 전자북 단말기, 디지털방송용 단말기, PDA(Personal Digital Assistants), PMP(Portable Multimedia Player), 네비게이션, MP3 플레이어 등이 있을 수 있으나, 이에 한정되는 것은 아니다. The electronic device 2000 according to an embodiment may be implemented in various forms. For example, the electronic device 1000 described herein may include a digital camera, a mobile terminal, a smart phone, a laptop computer, a tablet PC, an electronic book terminal, a digital broadcasting terminal, and a personal digital assistant (PDA). Digital Assistants), PMP (Portable Multimedia Player), navigation, MP3 player, etc. may be included, but is not limited thereto.

본 명세서에서 기술되는 전자 장치(2000)는 사용자에 의해 착용될 수 있는 장치(wearable device)일 수도 있다. 웨어러블 디바이스는 액세서리 형 장치(예컨대, 시계, 반지, 팔목 밴드, 발목 밴드, 목걸이, 안경, 콘택트 렌즈), 직물 또는 의류 일체형 장치(예: 전자 의복), 신체 부착형 장치(예컨대, 스킨 패드(skin pad)), 또는 생체 이식형 장치(예: implantable circuit) 중 적어도 하나를 포함할 수 있으나, 이에 한정되는 것은 아니다. 이하에서는, 설명의 편의상, 전자 장치(1000)가 스마트 폰인 경우를 예로 들어 설명하기로 한다.The electronic device 2000 described herein may be a wearable device that can be worn by a user. Wearable devices include accessory-type devices (eg, watches, rings, wristbands, ankle bands, necklaces, glasses, contact lenses), textile or clothing-integrated devices (eg, electronic garments), body-worn devices (eg, skins). pad), or a bioimplantable device (eg, an implantable circuit), but is not limited thereto. Hereinafter, for convenience of description, a case in which the electronic device 1000 is a smart phone will be described as an example.

일 실시 예에 의하면, 안구 운동 측정 장치(1000) 및 전자 장치(2000)는 네트워크 인터페이스를 통하여 서로 연결될 수 있다. 또한 안구 운동 측정 장치(1000) 및 전자 장치(2000)는 네트워크를 통하여 서버(3000)와 연결될 수 있다. 일 실시 예에 의하면, 안구 운동 측정 장치(1000) 및 전자 장치(2000)는 서버(3000)와 연동함으로써, 가이드 컨텐츠에 대한 사용자 시선의 위치를 식별하고, 식별된 사용자 시선의 위치에 기초하여 생성된 이동 경로 및 가이드 컨텐츠를 비교함으로써, 사용자가 간성 뇌증 환자 인지 여부를 식별할 수 있다.According to an embodiment, the eye movement measuring apparatus 1000 and the electronic device 2000 may be connected to each other through a network interface. Also, the eye movement measuring apparatus 1000 and the electronic device 2000 may be connected to the server 3000 through a network. According to an embodiment, the eye movement measuring apparatus 1000 and the electronic device 2000 interwork with the server 3000 to identify the position of the user's gaze with respect to the guide content, and generate it based on the identified position of the user's gaze. By comparing the moving route and the guide contents, it is possible to identify whether the user is a patient with hepatic encephalopathy.

일 실시 예에 의하면, 안구 운동 측정 장치(1000), 전자 장치(2000) 및 서버(3000)는 각각 네트워크 인터페이스를 포함할 수 있다. 네트워크 인터페이스(미도시)는 전자 장치(1000)가 적어도 하나의 다른 전자 장치(미도시), 안구 운동 측정 장치(1000) 및 서버(2000)와 통신을 하게 하는 하나 이상의 구성 요소를 포함할 수 있다. According to an embodiment, the eye movement measuring apparatus 1000 , the electronic device 2000 , and the server 3000 may each include a network interface. The network interface (not shown) may include one or more components that allow the electronic device 1000 to communicate with at least one other electronic device (not shown), the eye movement measurement device 1000 , and the server 2000 . .

도 2는 일 실시 예에 따라 안구 운동 측정 장치가 사용자의 안구 운동을 측정하는 방법의 흐름도이다.2 is a flowchart of a method for measuring, by an eye movement measuring apparatus, a user's eye movement, according to an exemplary embodiment.

S210에서, 안구 운동 측정 장치(1000)는 외부 디바이스로부터 사용자의 안구 운동을 유도하기 위한 가이드 컨텐츠를 획득할 수 있다. 일 실시 예에 의하면, 가이드 컨텐츠는 적어도 하나의 가이드 경로를 포함하는 가이드 경로 컨텐츠 및 적어도 하나의 가이드 형상을 포함하는 가이드 형상 컨텐츠를 포함할 수 있다. 안구 운동 측정 장치(1000)는 외부 디바이스로부터 가이드 경로 컨텐츠 또는 가이드 형상 컨텐츠 중 적어도 하나를 포함할 수 있다.In S210 , the eye movement measuring apparatus 1000 may obtain guide content for inducing the user's eye movement from an external device. According to an embodiment, the guide contents may include guide path contents including at least one guide path and guide shape contents including at least one guide shape. The eye movement measuring apparatus 1000 may include at least one of guide path content and guide shape content from an external device.

일 실시 예에 의하면, 가이드 경로 컨텐츠는 선형, 곡선형 또는 점선형 중 적어도 하나를 포함하는 가이드 경로를 포함하고, 상기 가이드 형상 컨텐츠는 점선면, 색상이 표시된 정적 가이드 형상, 색상이 표시된 동적 가이드 형상 또는 점멸하는 점멸 가이드 형상 중 적어도 하나의 가이드 형상을 포함할 수 있다. 가이드 컨텐츠의 색상, 형상, 모양은 안구 운동을 측정하기 위한 임의의 색상, 형상, 또는 모양일 수 있다.According to an embodiment, the guide path content includes a guide path including at least one of a linear, curved, or dotted line, and the guide shape content includes a dotted line surface, a colored static guide shape, and a colored dynamic guide shape. Alternatively, it may include at least one guide shape among flickering and flickering guide shapes. The color, shape, and shape of the guide content may be any color, shape, or shape for measuring eye movement.

일 실시 예에 의하면, 가이드 컨텐츠는 섞여 있는 아라비아 숫자와 글자(한글 자음 또는 알파벳)를 포함할 수 있고, (예컨대, 1-가-A 등), 1-2-3-4와 같이 아라비아 숫자를 순서대로 연결하여 생성된 컨텐츠를 포함할 수 있다. 또 다른 실시 예에 의하면, 가이드 컨텐츠는 시작점과 끈 점이 존재하는 지그재그 선형, 물결 곡선형의 컨텐츠를 포함할 수 있다. 또 다른 실시 예에 의하면, 가이드 컨텐츠는 비디오, 오디오 정보 외에, 해당 컨텐츠와 관련된 진동 또는 후각 정보를 더 포함할 수도 있다.According to an embodiment, the guide content may include mixed Arabic numerals and letters (Hangeul consonants or alphabets), (eg, 1-ga-A, etc.), and Arabic numerals such as 1-2-3-4. Content generated by connecting in order may be included. According to another embodiment, the guide content may include zigzag linear and wavy curved content having a start point and a string point. According to another embodiment, the guide content may further include vibration or olfactory information related to the corresponding content in addition to video and audio information.

일 실시 예에 의하면 점멸 가이드 형상은, 일정 시간 동안 깜빡이는 형상으로써 일정 시간 동안 안구 운동 측정 장치의 디스플레이 상에 표시된 후 사라졌다가, 다시 소정의 시간 후에 안구 운동 측정 장치의 디스플레이 상에 표시되는 동작이 반복되는 형상을 나타낼 수 있다. 상술한 가이드 경로 컨텐츠 및 가이드 형상 컨텐츠는 가상 현실, 증강 현실 또는 혼합 현실 중 적어도 하나를 포함하는 가상 환경에서 구현되는 가상 현실 컨텐츠일 수 있다.According to an embodiment, the blinking guide shape is a blinking shape for a predetermined time, and after being displayed on the display of the eye movement measurement device for a predetermined time, disappears, and is again displayed on the display of the eye movement measurement device after a predetermined time This repeating shape can be represented. The above-described guide route content and guide shape content may be virtual reality content implemented in a virtual environment including at least one of virtual reality, augmented reality, and mixed reality.

S220에서, 안구 운동 측정 장치(1000)는 전자 장치(2000)로부터 획득된 가이드 컨텐츠를 출력할 수 있다. 예를 들어, 안구 운동 측정 장치(1000)는 사용자의 안구 운동을 측정하기 위한 안내 정보 및 검사 정보를 미리 설정된 순서에 따라 더 출력할 수 있다.In S220 , the eye movement measuring apparatus 1000 may output the guide content obtained from the electronic device 2000 . For example, the eye movement measuring apparatus 1000 may further output guide information and examination information for measuring the user's eye movement according to a preset order.

S230에서, 안구 운동 측정 장치(1000)는 출력된 가이드 컨텐츠에 대한 사용자 시선의 위치를 식별할 수 있다. 예를 들어, 안구 운동 측정 장치(1000)는 적어도 하나의 광원으로부터 발생된 광이 사용자 안구의 망막에 반사됨으로써 나타나는 반사광을 센싱하고, 센싱된 반사광에 기초하여 생성된 사용자의 안구 이미지에서 식별되는 안구 위치에 기초하여 안구 움직임 벡터를 결정할 수 있다. 안구 운동 측정 장치(1000)는 안구 움직임 벡터에 기초하여 사용자 시선의 위치를 식별할 수 있다.In S230, the eye movement measuring apparatus 1000 may identify the position of the user's gaze with respect to the output guide content. For example, the eye movement measuring apparatus 1000 senses a reflected light that appears when light generated from at least one light source is reflected by a retina of the user's eyeball, and the eyeball identified in the user's eyeball image generated based on the sensed reflected light An eye motion vector may be determined based on the position. The eye movement measuring apparatus 1000 may identify the position of the user's gaze based on the eye movement vector.

또 다른 실시 예에 의하면, 안구 운동 측정 장치(1000)는 사용자 안구 주변에 위치하게 되는 적어도 하나의 센서로부터 근전도 신호를 획득하고, 획득된 근전도 신호를 이용하여 사용자 안구의 움직임 벡터를 식별할 수 있다. 안구 운동 측정 장치(1000)는 사용자 안구의 움직임 벡터를 이용하여 사용자 시선의 위치를 식별할 수 있다.According to another embodiment, the eye movement measuring apparatus 1000 may obtain an EMG signal from at least one sensor positioned around the user's eyeball, and use the obtained EMG signal to identify a motion vector of the user's eyeball. . The eye movement measuring apparatus 1000 may identify the position of the user's gaze by using the motion vector of the user's eye.

S240에서, 안구 운동 측정 장치(1000)는 사용자 시선의 위치에 기초하여 사용자 시선의 이동 경로를 생성할 수 있다. 예를 들어, 안구 운동 측정 장치(1000)는 식별된 사용자 시선의 위치를 기 설정된 시간 간격으로 저장하고, 저장된 사용자 시선의 위치를 시간 간격으로 누적하여 표시함으로써 사용자 시선의 이동 경로를 생성할 수 있다.In S240 , the eye movement measuring apparatus 1000 may generate a movement path of the user's gaze based on the location of the user's gaze. For example, the eye movement measuring apparatus 1000 may generate the movement path of the user's gaze by storing the identified position of the user's gaze at a preset time interval, and accumulating and displaying the stored position of the user's gaze at the time interval. .

S250에서, 안구 운동 측정 장치(1000)는 생성된 이동 경로에 대한 정보를 외부 디바이스로 전송할 수 있다. 예를 들어, 안구 운동 측정 장치(1000)는 생성된 이동 경로에 대한 정보를 도 1에 도시된 전자 장치(2000) 또는 서버(3000)로 전송할 수 있다. 일 실시 예에 의하면, 안구 운동 측정 장치(1000)는 이동 경로를 생성하는데 걸리는 시간 및 상기 이동 경로를 생성하는데 사용된 소정의 시간 간격에 대한 정보를 상기 외부 디바이스로 더 전송할 수도 있다.In S250 , the eye movement measuring apparatus 1000 may transmit information on the generated movement path to an external device. For example, the eye movement measuring apparatus 1000 may transmit information on the generated movement path to the electronic device 2000 or the server 3000 illustrated in FIG. 1 . According to an embodiment, the eye movement measuring apparatus 1000 may further transmit information about a time taken to generate a movement path and a predetermined time interval used to generate the movement path to the external device.

도 3은 일 실시 예에 따른 안구 운동 측정 장치 및 전자 장치가 서로 연동함으로써 사용자의 간성 뇌증을 진단하는 방법을 나타내는 흐름도이다.3 is a flowchart illustrating a method of diagnosing a user's hepatic encephalopathy by interworking between an eye movement measuring apparatus and an electronic device according to an exemplary embodiment.

S302에서, 전자 장치(2000)는 안구 운동 모델을 포함하는 가이드 컨텐츠를 전송할 수 있다. 예를 들어, 전자 장치(2000)는 적어도 하나의 가이드 경로, 또는 적어도 하나의 가이드 형상을 포함하는 가이드 컨텐츠를 안구 운동 측정 장치(1000)로 전송할 수 있다. 일 실시 예에 의하면, 전자 장치(2000)가 안구 운동 측정 장치(1000)로 전송하는 가이드 컨텐츠는 비디오, 오디오 또는 후각 데이터 중 적어도 하나를 포함할 수 있다.In S302 , the electronic device 2000 may transmit guide content including an eye movement model. For example, the electronic device 2000 may transmit at least one guide path or guide content including at least one guide shape to the eye movement measuring apparatus 1000 . According to an embodiment, the guide content transmitted by the electronic device 2000 to the eye movement measuring apparatus 1000 may include at least one of video, audio, and olfactory data.

S304에서, 안구 운동 측정 장치(1000)는 전자 장치(2000)로부터 수신된 가이드 컨텐츠를 출력할 수 있다. S306에서, 안구 운동 측정 장치(1000)는 가이드 컨텐츠에 대한 사용자 시선의 위치를 식별할 수 있다. 안구 운동 측정 장치(1000)가 사용자 시선의 위치를 식별하는 과정은 후술하는 도 5 내지 6을 참조하여 구체적으로 설명하기로 한다.In S304 , the eye movement measuring apparatus 1000 may output the guide content received from the electronic device 2000 . In S306 , the eye movement measuring apparatus 1000 may identify the location of the user's gaze with respect to the guide content. A process in which the eye movement measurement apparatus 1000 identifies the position of the user's gaze will be described in detail with reference to FIGS. 5 to 6 to be described later.

S308에서, 안구 운동 측정 장치(1000)는 식별된 사용자 시선의 위치에 기초하여 이동 경로를 생성할 수 있다. S308은 도 2의 S240에 대응될 수 있으므로 구체적인 설명은 생략하기로 한다. S310에서, 안구 운동 측정 장치(1000)는 이동 경로에 대한 정보를 전자 장치(2000)로 전송할 수 있다. S310은 도 2의 S250에 대응될 수 있다.In S308 , the eye movement measuring apparatus 1000 may generate a movement path based on the identified position of the user's gaze. Since S308 may correspond to S240 of FIG. 2 , a detailed description thereof will be omitted. In S310 , the eye movement measuring apparatus 1000 may transmit information on the movement path to the electronic device 2000 . S310 may correspond to S250 of FIG. 2 .

S312에서, 전자 장치(2000)는 획득된 이동 경로에 대한 정보 및 가이드 컨텐츠를 비교할 수 있다. 예를 들어, 전자 장치(2000)는 가이드 컨텐츠 내 가이드 경로와 이동 경로를 이용하여 가이드 경로 및 이동 경로의 접점의 수, 가이드 경로 및 이동 경로의 차이에 대응되는 차 경로의 면적, 이동 경로가 생성되는데 걸리는 시간 중 적어도 하나를 식별할 수 있다.In S312 , the electronic device 2000 may compare the obtained moving path information and guide content. For example, the electronic device 2000 generates the number of contact points between the guide path and the moving path, the area of the car path corresponding to the difference between the guide path and the moving path, and the moving path by using the guide path and the moving path in the guide content. It is possible to identify at least one of the time it takes to

S314에서, 전자 장치(1000)는 이동 경로 및 가이드 컨텐츠의 비교 결과에 기초하여 사용자가 간성 뇌증 환자 인지 여부를 식별할 수 있다. 예를 들어, 전자 장치(1000)는 가이드 경로 및 이동 경로의 접점의 수, 가이드 경로 및 이동 경로의 차이에 대응되는 차 경로의 면적, 이동 경로가 생성되는데 걸리는 시간 중 적어도 하나에 기초하여, 사용자가 간성 뇌증 환자 인지 여부를 식별할 수 있다.In S314 , the electronic device 1000 may identify whether the user is a patient with hepatic encephalopathy based on a result of comparing the moving route and the guide content. For example, the electronic device 1000 may be configured to provide a user interface based on at least one of the number of contact points between the guide path and the moving path, the area of the car path corresponding to the difference between the guide path and the moving path, and the time taken to generate the moving path. It is possible to identify whether the patient is a patient with hepatic encephalopathy.

S316에서, 전자 장치(2000)는 진단 결과를 출력할 수 있다. S318에서, 전자 장치(2000)는 진단 결과를 안구 운동 측정 장치(1000)로 전송할 수 있다. S320에서 안구 운동 측정 장치(1000)는 전자 장치(2000)로부터 전송된 진단 결과를 출력할 수 있다.In S316 , the electronic device 2000 may output a diagnosis result. In S318 , the electronic device 2000 may transmit the diagnosis result to the eye movement measuring apparatus 1000 . In S320 , the eye movement measuring apparatus 1000 may output a diagnosis result transmitted from the electronic device 2000 .

도 4는 또 다른 실시 예에 따른 안구 운동 측정 장치 및 전자 장치가 서로 연동함으로써 사용자의 간성 뇌증을 진단하는 방법을 나타내는 흐름도이다.4 is a flowchart illustrating a method for diagnosing a user's hepatic encephalopathy by interworking with an eye movement measuring apparatus and an electronic device according to another embodiment.

S402에서, 전자 장치(2000)는 안구 운동 모델을 포함하는 가이드 컨텐츠를 안구 운동 측정 장치(1000)로 전송할 수 있다. S404에서, 안구 운동 측정 장치(1000)는 전자 장치(2000)로부터 전송된 가이드 컨텐츠를 출력할 수 있다.In S402 , the electronic device 2000 may transmit guide content including the eye movement model to the eye movement measurement apparatus 1000 . In S404 , the eye movement measuring apparatus 1000 may output the guide content transmitted from the electronic device 2000 .

S406에서, 안구 운동 측정 장치(1000)는 가이드 컨텐츠에 대한 사용자 시선의 위치를 식별할 수 있다. 안구 운동 측정 장치(1000)가 사용자 시선의 위치를 식별하는 방법은 후술하는 도 5 내지 6을 참조하여 구체적으로 설명하기로 한다.In S406 , the eye movement measuring apparatus 1000 may identify the position of the user's gaze with respect to the guide content. A method for the eye movement measuring apparatus 1000 to identify the position of the user's gaze will be described in detail with reference to FIGS. 5 to 6 to be described later.

S408에서, 안구 운동 측정 장치(1000)는 식별된 사용자 시선의 위치에 기초하여 사용자 시선의 이동 경로를 생성할 수 있다. S410에서, 안구 운동 측정 장치(1000)는 이동 경로에 대한 정보를 전자 장치(2000)로 전송할 수 있다. S412에서, 안구 운동 측정 장치(1000)는 가이드 컨텐츠 및 이동 경로를 비교할 수 있다. S414에서, 안구 운동 측정 장치(1000)는 비교 결과에 기초하여 사용자가 간성 뇌증 환자 인지 진단할 수 있다. 안구 운동 측정 장치(1000)가 이동 경로 및 가이드 컨텐츠 비교 결과에 기초하여 사용자가 간성 뇌증 환자인지 진단하는 구체적인 방법은 후술하는 도 9 내지 10을 참조하여 구체적으로 설명하기로 한다.In S408 , the eye movement measuring apparatus 1000 may generate a movement path of the user's gaze based on the identified location of the user's gaze. In S410 , the eye movement measuring apparatus 1000 may transmit information on the movement path to the electronic device 2000 . In S412 , the eye movement measuring apparatus 1000 may compare the guide content and the movement path. In S414 , the eye movement measuring apparatus 1000 may diagnose whether the user is a patient with hepatic encephalopathy based on the comparison result. A detailed method for the eye movement measuring apparatus 1000 to diagnose whether a user is a patient with hepatic encephalopathy based on a result of comparing the movement path and guide contents will be described in detail with reference to FIGS. 9 to 10 to be described later.

S416에서, 안구 운동 측정 장치(1000)는 진단 결과를 출력할 수 있다. S418에서 안구 운동 측정 장치(1000)는 진단 결과를 전자 장치(2000)로 전송할 수 있다. S420에서, 전자 장치(2000)는 진단 결과를 출력할 수 있다.In S416 , the eye movement measuring apparatus 1000 may output a diagnosis result. In S418 , the eye movement measuring apparatus 1000 may transmit a diagnosis result to the electronic device 2000 . In S420, the electronic device 2000 may output a diagnosis result.

상술한 바와 같이, 도 3에서는 안구 운동 측정 장치(1000)가 이동 경로에 대한 정보를 전자 장치(2000)로 전송하면, 전자 장치(2000)가 사용자 시선의 위치를 식별하고, 식별된 사용자 시선의 위치에 기초하여 생성된 이동 경로를 가이드 컨텐츠와 비교함으로써 사용자가 간성 뇌증 환자 인지 여부를 식별하였다. 그러나 도 4에서는 안구 운동 측정 장치(1000)가 사용자 시선의 이동 경로를 가이드 컨텐츠와 비교함으로써, 사용자가 간성 뇌증 환자 인지 여부를 직접 진단하는 예를 도시하였다. As described above, in FIG. 3 , when the eye movement measuring apparatus 1000 transmits information on the movement path to the electronic device 2000 , the electronic device 2000 identifies the location of the user's gaze and It was identified whether the user was a patient with hepatic encephalopathy by comparing the movement path generated based on the location with the guide contents. However, FIG. 4 illustrates an example in which the eye movement measuring apparatus 1000 directly diagnoses whether the user is a patient with hepatic encephalopathy by comparing the movement path of the user's gaze with the guide contents.

그러나, 도 3 내지 4의 실시 예에 한정되는 것은 아니며, 사용자의 간성 뇌증 질환을 진단하기 위한 방법 중 적어도 일부는 안구 운동 측정 장치(1000) 또는 전자 장치(2000) 각각에서 수행되거나, 안구 운동 측정 장치(1000) 및 전자 장치(2000)에서 함께 수행될 수 있다.However, it is not limited to the embodiments of FIGS. 3 to 4 , and at least some of the methods for diagnosing a user's hepatic encephalopathy are performed by the eye movement measurement apparatus 1000 or the electronic apparatus 2000, respectively, or the eye movement measurement is performed. It may be performed together in the device 1000 and the electronic device 2000 .

도 5는 일 실시 예에 따른 안구 운동 측정 장치가 사용자 시선의 위치를 식별하는 방법을 나타내는 흐름도이다.5 is a flowchart illustrating a method for an eye movement measuring apparatus to identify a location of a user's gaze according to an exemplary embodiment.

S510에서, 안구 운동 측정 장치(1000)는 안구 운동 측정 장치 내 광원에서 방출된 광이 상기 사용자 안구의 망막에 반사됨으로써 반사되는 반사 광을 측정할 수 있다. 예를 들어, 안구 운동 측정 장치(1000)는 이미지 센서 또는 광검출 센서 중 적어도 하나를 포함할 수 있고, 이미지 센서 또는 광검출 센서 중 적어도 하나를 이용하여 반사 광을 센싱할 수 있다.In S510 , the eye movement measurement apparatus 1000 may measure the reflected light reflected by the light emitted from the light source in the eye movement measurement apparatus being reflected by the retina of the user's eye. For example, the eye movement measuring apparatus 1000 may include at least one of an image sensor and a photodetection sensor, and sense reflected light using at least one of the image sensor and the photodetection sensor.

S520에서, 안구 운동 측정 장치(1000)는 측정된 반사광에 기초하여 상기 사용자의 왼쪽 안구에 관한 제1 안구 이미지, 상기 사용자의 오른쪽 안구에 관한 제2 안구 이미지를 생성할 수 있다. 예를 들어, 안구 운동 측정 장치(1000)내 이미지 센서 또는 광검출 센서는 획득한 센싱 값을 안구 운동 측정 장치 내의 프로세서로 전달하고, 프로세서는 센싱 값을 이용하여 제1 안구 이미지 또는 제2 안구 이미지를 생성할 수 있다.In S520 , the eye movement measuring apparatus 1000 may generate a first eye image of the user's left eye and a second eye image of the user's right eye based on the measured reflected light. For example, the image sensor or photodetection sensor in the eye movement measuring apparatus 1000 transmits the acquired sensing value to a processor in the eye movement measuring apparatus, and the processor uses the sensed value to obtain a first eye image or a second eye image. can create

S530에서, 안구 운동 측정 장치(1000)는 제1 안구 이미지 및 제2 안구 이미지를 분석함으로써 제1 안구 움직임 벡터 및 제2 안구 움직임 벡터를 결정할 수 있다. 예를 들어, 안구 운동 측정 장치(1000)는 안구 이미지 내 안구 영역을 식별하고, 식별된 안구 영역의 경계 또는 안구 영역의 중심 픽셀의 좌표를 식별할 수 있다.In S530 , the eye movement measurement apparatus 1000 may determine the first eye movement vector and the second eye movement vector by analyzing the first eye image and the second eye image. For example, the eye movement measuring apparatus 1000 may identify an eyeball region in an eyeball image, and identify a boundary of the identified eyeball region or coordinates of a central pixel of the eyeball region.

보다 상세하게는, 안구 운동 측정 장치(1000)는 제1 안구 이미지 내 사용자 안구 영역을 식별하고, 식별된 안구 영역의 경계 또는 안구 영역의 중심 중 적어도 하나에 대한 위치 좌표를 포함하는 제1 안구 위치 정보를 결정할 수 있다. 또한, 안구 운동 측정 장치(1000)는 제2 안구 이미지 내 사용자 안구 영역을 식별하고, 식별된 안구 영역의 경계 또는 안구 영역의 중심 중 적어도 하나에 대한 위치 좌표를 포함하는 제2 안구 위치 정보를 결정할 수 있다. In more detail, the eye movement measuring apparatus 1000 identifies the user's eyeball region in the first eyeball image, and includes a first eyeball position including position coordinates for at least one of a boundary of the identified eyeball region or a center of the eyeball region. information can be determined. Also, the eye movement measuring apparatus 1000 identifies a user eye region in the second eye image, and determines second eye position information including position coordinates for at least one of a boundary of the identified eye region or a center of the eye region. can

안구 운동 측정 장치(1000)는 미리 설정된 기준 위치 정보를 저장할 수 있다. 예를 들어, 미리 설정된 기준 위치 정보는 사용자의 안면에서 양 안구의 위치 정보에 기초하여 결정되는 임의의 좌표 일 수 있다.The eye movement measuring apparatus 1000 may store preset reference position information. For example, the preset reference position information may be any coordinates determined based on the position information of both eyes on the user's face.

안구 운동 측정 장치(1000)는 기준 위치 정보 및 상기 제1 안구 위치 정보의 차이에 기초하여 제1 안구 움직임 벡터를 결정할 수 있다. 또한, 안구 운동 측정 장치(1000)는 기준 위치 정보 및 상기 제2 안구 위치 정보의 차이에 기초하여 제2 안구 움직임 벡터를 결정할 수 있다.The eye movement measuring apparatus 1000 may determine the first eye movement vector based on a difference between the reference position information and the first eye position information. Also, the eye movement measuring apparatus 1000 may determine a second eye movement vector based on a difference between the reference position information and the second eye position information.

S540에서 안구 운동 측정 장치(1000)는 제1 안구 움직임 벡터 및 제2 안구 움직임 벡터를 가중합함으로써 사용자 시선의 위치를 식별할 수 있다. 예를 들어, 안구 운동 측정 장치(1000)는 소정의 가중치를 결정하고, 결정된 가중치를 제1 안구 움직임 벡터 및 제2 안구 움직임 벡터에 적용함으로써, 가중합 벡터를 생성하고, 생성된 가중합 벡터의 시점 및 크기에 따라 결정되는 가중합 벡터의 종점을 사용자 시선의 위치로 식별할 수 있다.In S540 , the eye movement measuring apparatus 1000 may identify the position of the user's gaze by weighting the first eye movement vector and the second eye movement vector. For example, the eye motion measurement apparatus 1000 determines a predetermined weight and applies the determined weight to the first eye motion vector and the second eye motion vector to generate a weighted sum vector, and The end point of the weighted sum vector determined according to the viewpoint and the size may be identified as the position of the user's gaze.

도 6은 또 다른 실시 예에 따라 안구 운동 측정 장치가 사용자 시선의 위치를 식별하는 방법을 나타내는 흐름도이다.6 is a flowchart illustrating a method for an eye movement measuring apparatus to identify a position of a user's gaze according to another embodiment.

S610에서, 안구 운동 측정 장치(1000)는 사용자의 안구 주변에 부착되는 적어도 하나의 센서로부터 근전도 신호를 획득할 수 있다. 예를 들어, 안구 운동 측정 장치(1000)의 디스플레이 또는 디스플레이에 인접하게 배치되는 렌즈는 적어도 하나의 근전도 센서를 포함할 수 있다. 근전도 센서는 사용자 안구 주변의 근육의 활동 전위인 근전도 신호(EMG 신호)를 측정할 수 있다.In S610, the eye movement measuring apparatus 1000 may obtain an EMG signal from at least one sensor attached to the user's eyeball periphery. For example, a display of the eye movement measuring apparatus 1000 or a lens disposed adjacent to the display may include at least one EMG sensor. The EMG sensor may measure an EMG signal (EMG signal) that is an action potential of a muscle around the user's eyeball.

일 실시 예에 의하면 안구 주변의 안구 회전 근육은 총 6개의 근육들로 지지될 수 있다. 예를 들어, 안구 근육은 두쌍의 직근(rectus muscle)과 한쌍의 사근(oblique superior)로 이루어져 있고, 직근은 pitch, tilt 방향의 움직임을, 사근은 roll 방향의 움직임을 담당할 수 있다. 상술한 각 쌍의 근육의 수축과 이완을 통해 안구가 회전하게 될 수 있다. 또한, 직근 쌍은 시선 방향과 평행하게 배치되어 있지 않아 pitch, tilt 움직임 외에도 약간의 roll 움직임을 유발할 수 있고, 사근은 이를 상쇄시킬 수 있다. 안구 주변에 배치되는 적어도 하나의 근전도 센서는, 눈 주변의 근육으로부터 발생하는 근전도(EMG) 신호를 측정하고, 측정된 근전도 신호를 안구 운동 측정 장치(1000)의 프로세서로 전달할 수 있다.According to an embodiment, the eyeball rotation muscle around the eyeball may be supported by a total of six muscles. For example, the eye muscle consists of two pairs of rectus muscles and a pair of oblique superior muscles. The eyeball may be rotated through the contraction and relaxation of each pair of muscles described above. In addition, the rectus muscle pair is not arranged parallel to the gaze direction, which may cause some roll movements in addition to the pitch and tilt movements, and the oblique muscles can offset this. At least one EMG sensor disposed around the eye may measure an EMG signal generated from a muscle around the eye and transmit the measured EMG signal to the processor of the eye movement measurement apparatus 1000 .

S620에서, 안구 운동 측정 장치(1000)는 근전도 신호에 따른 안구 운동 신호 패턴 및 미리 설정된 안구 운동 신호 패턴을 비교할 수 있다. 예를 들어, 안구 운동 측정 장치(1000)는 소정의 안구 움직임 벡터에 대응되는 안구 운동 신호 패턴을 미리 저장할 수 있다. 일 실시 예에 의하면 안구 움직임 벡터의 시점, 크기 및 방향에 따라 안구 운동 신호 패턴은 달라질 수 있다. 안구 운동 신호 패턴은 근전도 신호 파형의 세기, 크기(높낮이), 진폭, 진동수 등에 대한 정보를 포함할 수 있다. 안구 운동 측정 장치(1000)는 근전도 신호가 나타내는 안구 운동 신호 패턴과 미리 메모리에 저장된 안구 운동 신호 패턴을 비교할 수 있다.In S620, the eye movement measuring apparatus 1000 may compare the eye movement signal pattern according to the EMG signal and a preset eye movement signal pattern. For example, the eye movement measurement apparatus 1000 may store in advance an eye movement signal pattern corresponding to a predetermined eye movement vector. According to an embodiment, the eye movement signal pattern may vary according to the viewpoint, magnitude, and direction of the eye movement vector. The eye movement signal pattern may include information on the strength, size (height), amplitude, and frequency of the EMG signal waveform. The eye movement measuring apparatus 1000 may compare the eye movement signal pattern indicated by the EMG signal with the eye movement signal pattern previously stored in the memory.

S630에서, 안구 운동 측정 장치(1000)는 비교 결과에 기초하여 제1 움직임 벡터 및 제2 움직임 벡터를 결정할 수 있다. 예를 들어, 안구 운동 측정 장치(1000)는 메모리에 미리 저장된 안구 운동 신호 패턴들 중, 근전도 신호가 나타내는 안구 운동 신호 패턴과 매칭되는 안구 운동 신호 패턴을 식별할 수 있다. 안구 운동 측정 장치(1000)는 식별된 안구 운동 신호 패턴에 대응되는 움직임 벡터를 사용자 안구의 움직임 벡터로 식별할 수 있다.In S630 , the eye movement measuring apparatus 1000 may determine a first motion vector and a second motion vector based on the comparison result. For example, the eye movement measuring apparatus 1000 may identify an eye movement signal pattern matching the eye movement signal pattern indicated by the EMG signal from among the eye movement signal patterns previously stored in the memory. The eye movement measuring apparatus 1000 may identify a motion vector corresponding to the identified eye movement signal pattern as a motion vector of the user's eye.

보다 상세하게는, 안구 운동 측정 장치(1000)는 사용자의 왼쪽 눈 주변의 근전도 신호에 대응되는 안구 운동 신호 패턴을 식별함으로써 제1 안구 움직임 벡터를 결정하고, 사용자의 오른쪽 눈 주변의 근전도 신호에 대응되는 안구 운동 신호 패턴을 식별함으로써 제2 안구 움직임 벡터를 결정할 수 있다. More specifically, the eye movement measuring apparatus 1000 determines the first eye movement vector by identifying an eye movement signal pattern corresponding to an EMG signal around the user's left eye, and corresponds to the EMG signal around the user's right eye. The second eye movement vector may be determined by identifying the eye movement signal pattern to be used.

S640에서, 안구 운동 측정 장치(1000)는 결정된 제1 안구 움직임 벡터 및 제2 안구 움직임 벡터를 가중합함으로써 사용자 시선의 위치를 식별할 수 있다. 예를 들어, 안구 운동 측정 장치(1000)는 소정의 가중치를 결정하고, 결정된 가중치를 제1 안구 움직임 벡터 및 제2 안구 움직임 벡터에 적용함으로써, 가중합 벡터를 생성하고, 생성된 가중합 벡터의 시점 및 크기에 따라 결정되는 가중합 벡터의 종점을 사용자 시선의 위치로 식별할 수 있다.In S640 , the eye movement measurement apparatus 1000 may identify the position of the user's gaze by weighting the determined first eye movement vector and the second eye movement vector. For example, the eye motion measurement apparatus 1000 determines a predetermined weight and applies the determined weight to the first eye motion vector and the second eye motion vector to generate a weighted sum vector, and The end point of the weighted sum vector determined according to the viewpoint and the size may be identified as the position of the user's gaze.

도 7은 일 실시 예에 따른 사용자의 안구 주변에 부착되는 센서의 구성을 설명하기 위한 도면이다.7 is a view for explaining a configuration of a sensor attached to a user's eyeball periphery according to an embodiment.

도 7을 참조하면, 사용자의 안구 주변에 위치할 수 있는 근전도 센서(732, 734, 736, 738)이 도시된다. 일 실시 예에 의하면 근전도 센서들은 안구 운동 측정 장치 내 디스플레이 또는 렌즈에 장착되고, 사용자가 안구 운동 측정 장치를 착용 시에, 사용자 안구의 주변에 위치하도록 마련될 수 있다. Referring to FIG. 7 , EMG sensors 732 , 734 , 736 , and 738 that may be located around the user's eyeball are shown. According to an embodiment, the EMG sensors may be mounted on a display or a lens in the eye movement measurement device, and may be provided to be positioned around the user's eyeball when the user wears the eye movement measurement apparatus.

일 실시 예에 의하면, 사용자의 안구(710) 및 안구(720) 각각에 상술한 근전도 센서들이 배치될 수 있다. 일 실시 예에 의하면, 적어도 하나의 센서들은 사용자의 안구(710) 및 안구(720)각각에 대하여 4개씩 배치될 수 있으나, 이에 한정되는 것은 아니다. 근전도 센서들(732, 734, 736, 738)은 사용자 안구 근육으로부터 근전도 신호를 측정하고, 측정된 근전도 신호를 안구 운동 측정 장치 내 프로세서로 전달할 수 있다.According to an embodiment, the above-described EMG sensors may be disposed on each of the user's eyes 710 and 720 . According to an embodiment, four at least one sensor may be disposed for each of the user's eyes 710 and 720, but is not limited thereto. The EMG sensors 732 , 734 , 736 , and 738 may measure an EMG signal from the user's eye muscles and transmit the measured EMG signal to a processor in the eye movement measurement device.

도 8은 일 실시 예에 따른 안구 운동 측정 장치가 사용자 시선의 이동 경로 및 가이드 컨텐츠상의 가이드 경로를 비교하는 과정을 설명하기 위한 도면이다.FIG. 8 is a diagram for explaining a process of comparing a movement path of a user's gaze and a guide path on guide contents by the apparatus for measuring eye movement according to an exemplary embodiment.

일 실시 예에 의하면, 안구 운동 측정 장치(1000)는 미리 설정된 가이드 컨텐츠를 디스플레이(810)상에 표시할 수 있다. 일 실시 예에 의하면 가이드 컨텐츠는 가이드 경로 컨텐츠 또는 가이드 형상 컨텐츠 중 적어도 하나를 포함할 수 있다. 도 8을 참조하면 가이드 경로 컨텐츠에 따른 가이드 경로(820)가 도시된다. 일 실시 예에 의하면 가이드 경로 컨텐츠는 시작점, 끝점 및 상기 시작점 및 끝점을 연결하는 곡선을 포함할 수 있다.According to an embodiment, the apparatus 1000 for measuring eye movement may display preset guide content on the display 810 . According to an embodiment, the guide content may include at least one of guide route content and guide shape content. Referring to FIG. 8 , a guide route 820 according to guide route content is shown. According to an embodiment, the guide path content may include a start point, an end point, and a curve connecting the start point and the end point.

안구 운동 측정 장치(1000)는 가이드 경로에 대한 사용자 시선의 위치(836)를 식별할 수 있다. 안구 운동 측정 장치(1000)가 제1 안구 이미지로부터 제1 안구 움직임 벡터(832)를 식별하고, 제2 안구 이미지로부터 제2 안구 움직임 벡터(834)를 식별하는 과정은 도 5 내지 도 6에 상술한 바와 같으므로 생략하기로 한다. 안구 운동 측정 장치(1000)는 사용자 시선의 위치(836)를 식별하고, 식별된 사용자 시선의 위치를 미리 설정된 시간 간격으로 저장함으로써 이동 경로(844)를 생성할 수 있다.The eye movement measuring apparatus 1000 may identify the location 836 of the user's gaze with respect to the guide path. A process in which the eye movement measuring apparatus 1000 identifies the first eye movement vector 832 from the first eye image and the second eye movement vector 834 from the second eye image is detailed in FIGS. 5 to 6 . Since it is the same as above, we will omit it. The eye movement measurement apparatus 1000 may generate a movement path 844 by identifying the position 836 of the user's gaze and storing the identified position of the user's gaze at a preset time interval.

안구 운동 측정 장치(1000)는 이동 경로(844) 및 가이드 컨텐츠 내 가이드 경로(842)를 비교하고, 비교 결과에 기초하여 사용자의 간성 뇌증 여부를 식별할 수 있다. 안구 운동 측정 장치(1000)가 이동 경로(844) 및 가이드 컨텐츠를 비교한 결과에 기초하여 사용자의 간성 뇌증을 식별하는 방법은 후술하는 도 9 내지 10을 참조하여 구체적으로 설명하기로 한다.The eye movement measuring apparatus 1000 may compare the movement path 844 with the guide path 842 in the guide content, and may identify whether the user has hepatic encephalopathy or not based on the comparison result. A method for the eye movement measuring apparatus 1000 to identify a user's hepatic encephalopathy based on a result of comparing the movement path 844 and the guide contents will be described in detail with reference to FIGS. 9 to 10 to be described later.

도 9는 일 실시 예에 따른 안구 운동 측정 장치가 간성 뇌증 환자를 식별하는 방법의 흐름도이다.9 is a flowchart of a method for identifying a patient with hepatic encephalopathy by an apparatus for measuring eye movement according to an exemplary embodiment.

S910에서, 안구 운동 측정 장치(1000)는 이동 경로 및 가이드 경로의 차 경로를 결정할 수 있다. 예를 들어, 안구 운동 측정 장치(1000)는 이동 경로 및 가이드 경로 내 각각의 경로 값들을 뺌으로써 차 경로를 결정할 수 있다.In S910 , the eye movement measuring apparatus 1000 may determine a difference path between the movement path and the guide path. For example, the eye movement measuring apparatus 1000 may determine the difference path by subtracting respective path values in the movement path and the guide path.

S920에서, 안구 운동 측정 장치(1000)는 차 경로를 적분함으로써 차 경로에 대응되는 면적을 결정할 수 있다. 일 실시 예에 의하면, 안구 운동 측정 장치(1000)는 차 경로 내 차 경로 값들의 절대 값을 식별하고, 식별된 절대 값을 적분함으로써 차 경로에 대응되는 면적을 결정할 수도 있다. 또한, 일 실시 예에 의하면, 안구 운동 측정 장치(1000)는 이동 경로 및 가이드 경로의 차이를 ROC 커브로 나타내고, ROC 커브가 나타내는 면적을 결정할 수도 있다.In S920 , the eye movement measuring apparatus 1000 may determine an area corresponding to the difference path by integrating the difference path. According to an embodiment, the eye movement measuring apparatus 1000 may determine an area corresponding to the difference path by identifying absolute values of difference values in the vehicle path and integrating the identified absolute values. Also, according to an embodiment, the eye movement measuring apparatus 1000 may represent a difference between a movement path and a guide path as an ROC curve and determine an area indicated by the ROC curve.

S930에서, 안구 운동 측정 장치(1000)는 상술한 면적이 기 설정된 임계 면적보다 큰 경우 사용자를 간성 뇌증 환자로 식별할 수 있다. 또 다른 실시 예에 의하면, 안구 운동 측정 장치(1000)는 상술한 ROC 커브의 면적을 식별하고, 식별된 ROC 커브의 면적이 기 설정된 임계 면적 보다 큰 경우 사용자를 간성 뇌증 환자로 식별할 수도 있다.In S930 , the eye movement measuring apparatus 1000 may identify the user as a patient with hepatic encephalopathy when the above-described area is greater than a preset critical area. According to another embodiment, the eye movement measuring apparatus 1000 may identify the area of the above-described ROC curve, and when the identified area of the ROC curve is greater than a preset critical area, the user may be identified as a patient with hepatic encephalopathy.

도 10은 또 다른 실시 예에 따른 안구 운동 측정 장치가 간성 뇌증 환자를 식별하는 방법의 흐름도이다.10 is a flowchart of a method of identifying a patient with hepatic encephalopathy by an apparatus for measuring eye movement according to another embodiment.

S1010에서, 안구 운동 측정 장치(1000)는 이동 경로 및 가이드 경로가 만나는 접점의 수를 식별할 수 있다. 예를 들어, 안구 운동 측정 장치(1000)는 이동 경로 및 가이드 경로가 서로 교차하는 위치에 형성되는 점을 접점으로 식별하고, 이동 경로 및 가이드 경로가 서로 교차하는 횟수를, 접점의 수로 식별할 수 있다. S1020에서, 안구 운동 측정 장치(1000)는 접점의 수가 기 설정된 임계치 이상인 경우 사용자를 간성 뇌증 환자로 식별할 수 있다. In S1010 , the eye movement measuring apparatus 1000 may identify the number of contact points where the movement path and the guide path meet. For example, the eye movement measurement apparatus 1000 may identify a point formed at a position where the movement path and the guide path intersect each other as a contact point, and identify the number of times the movement path and the guide path cross each other as the number of contact points. have. In S1020 , the eye movement measuring apparatus 1000 may identify the user as a patient with hepatic encephalopathy when the number of contacts is equal to or greater than a preset threshold.

도 11은 또 다른 실시 예에 따른 안구 운동 측정 장치가 간성 뇌증 환자를 식별하는 방법의 흐름도이다.11 is a flowchart of a method for identifying a patient with hepatic encephalopathy by an apparatus for measuring eye movement according to another embodiment.

일 실시 예에 의하면, 가이드 컨텐츠는 가이드 형상 컨텐츠를 포함할 수 있다. 또한, 가이드 형상 컨텐츠는 서로 다른 위치에서 점멸하는 점멸 가이드 형상들을 포함할 수 있다. 상술한 점멸 가이드의 형상은 안구 운동 측정 장치의 디스플레이 상 제1 위치에서 점별하는 제1 점멸 가이드 형상 및 상기 디스플레이 상 제2 위치에서 점멸하는 제2 점멸 가이드 형상을 포함할 수 있다. 일 실시 예에 의하면, 점멸 가이드 형상은 특정 물체의 형상 또는 입체적인 모양을 포함할 수 있다. 그러나, 이에 한정되는 것은 아니고, 사용자가 인지할 수 있을 정도의 점,선, 면, 문양 중 적어도 하나를 포함할 수 있다.According to an embodiment, the guide content may include guide shape content. In addition, the guide shape content may include blinking guide shapes blinking at different positions. The above-described shape of the blinking guide may include a first blinking guide shape that points at a first position on the display of the eye movement measuring device and a second blinking guide shape that blinks at a second position on the display. According to an embodiment, the blinking guide shape may include a shape of a specific object or a three-dimensional shape. However, the present invention is not limited thereto, and may include at least one of dots, lines, planes, and patterns that are recognizable by the user.

S1120에서, 안구 운동 측정 장치(1000)는 제1 점멸 가이드 형상으로부터 기 설정된 거리 내에 위치하는 사용자 시선의 위치를 식별할 수 있다. S1140에서, 안구 운동 측정 장치(1000)는 식별된 사용자의 시선의 위치가, 제2 점멸 가이드 형상으로부터 기 설정된 거리 내로 이동하는데 까지 걸리는 시간을 측정할 수 있다. S1160에서, 안구 운동 측정 장치(1000)는 측정된 시간이 소정의 임계 시간 보다 큰 경우 사용자를 간성 뇌증 환자로 식별할 수 있다.In S1120, the eye movement measuring apparatus 1000 may identify the position of the user's gaze located within a preset distance from the first blinking guide shape. In S1140 , the eye movement measuring apparatus 1000 may measure the time it takes for the identified position of the user's gaze to move within a preset distance from the shape of the second blinking guide. In S1160 , the eye movement measuring apparatus 1000 may identify the user as a patient with hepatic encephalopathy when the measured time is greater than a predetermined threshold time.

일 실시 예에 의하면, 안구 운동 측정 장치(1000)가 제공하는 점멸 가이드 형상은 안구 운동 측정 장치 내 렌즈 바탕에 잘 보이는 형상으로 제공되고, 일정 시간 이내에 사라질 수 있으며, 일정 시간 이후에 같은 또는 다른 위치에 표시될 수 있다. 안구 운동 측정 장치(1000)는 점멸하는 가이드 형상이 서로 다른 위치에서 발생할 경우, 점멸 가이드 형상을 따라가는 사용자 시선의 위치를 추적함으로써 사용자 안구 운동을 분석할 수 있다.According to an embodiment, the blinking guide shape provided by the eye movement measurement apparatus 1000 is provided as a shape that is easily visible on the lens background in the eye movement measurement apparatus, and may disappear within a predetermined time, and may be located at the same or different location after a predetermined time. can be displayed in When the blinking guide shape occurs at different positions, the eye movement measuring apparatus 1000 may analyze the user's eye movement by tracking the position of the user's gaze following the blinking guide shape.

도 12는 또 다른 실시 예에 따른 안구 운동 측정 장치가 간성 뇌증 환자를 식별하는 방법의 흐름도이다.12 is a flowchart of a method for identifying a patient with hepatic encephalopathy by an apparatus for measuring eye movement according to another embodiment.

일 실시 예에 의하면, 안구 운동 측정 장치(1000)는 도 9 내지 11에서 상술한, 이동 경로 및 가이드 경로의 차 경로가 나타내는 면적, 이동 경로 및 가이드 경로가 서로 만나는 접점의 수 중 적어도 하나를 고려함으로써 사용자가 간성 뇌증 환자 인지 여부를 식별할 수도 있다.According to an embodiment, the eye movement measuring apparatus 1000 considers at least one of the area indicated by the difference between the movement path and the guide path described above with reference to FIGS. 9 to 11 , and the number of contact points where the movement path and the guide path meet each other. By doing so, it is possible to identify whether the user is a patient with hepatic encephalopathy.

S1220에서, 안구 운동 측정 장치(1000)는 이동 경로 및 가이드 경로의 차 경로가 나타내는 면적을 결정할 수 있다. S1220은 상술한 S920에 대응될 수 있다. S1240에서, 안구 운동 측정 장치(1000)는 이동 경로 및 가이드 경로가 만나는 접점의 수를 결정할 수 있다. S1240은 도 10의 S1010에 대응될 수 있다.In S1220 , the eye movement measuring apparatus 1000 may determine an area indicated by a difference path between the movement path and the guide path. S1220 may correspond to the above-described S920. In S1240 , the eye movement measuring apparatus 1000 may determine the number of contact points where the movement path and the guide path meet. S1240 may correspond to S1010 of FIG. 10 .

S1260에서, 안구 운동 측정 장치(1000)는 S1220에서 결정된 면적이 기 설정된 임계 면적 보다 큰지 여부 또는 상술한 S1240에서 식별된 접점의 수가 기 설정된 임계치 이상인지 여부 중 적어도 하나를 고려함으로써 사용자가 간성 뇌증 환자 인지 여부를 식별할 수도 있다.In S1260, the eye movement measuring apparatus 1000 considers at least one of whether the area determined in S1220 is greater than a preset threshold area or whether the number of contacts identified in S1240 is greater than or equal to a preset threshold, thereby allowing the user to select a patient with hepatic encephalopathy. It is also possible to identify whether or not

도 13은 일 실시 예에 따른 안구 운동 측정 장치의 블록도이다.13 is a block diagram of an apparatus for measuring eye movement according to an exemplary embodiment.

일 실시 예에 따른 안구 운동 측정 장치(1000)는 광원(1800), 적어도 하나의 렌즈(1900), 디스플레이(1210), 네트워크 인터페이스(1500), 메모리(1700) 및 프로세서(1300)를 포함할 수 있다. 그러나 그러나 도시된 구성 요소가 모두 필수구성요소인 것은 아니다. 도시된 구성요소보다 많은 구성요소에 의해 전자 장치(1000)가 구현될 수도 있고, 그보다 적은 구성요소에 의해서도 전자 장치(1000)는 구현될 수 있다. 예를 들어, 도 13에 도시된 바와 같이, 일 실시 예에 따른 안구 운동 측정 장치(1000)는 사용자 입력부(1100), 출력부(1200), 센싱부(1400), A/V 입력부(1600)를 더 포함할 수도 있다.The eye movement measuring apparatus 1000 according to an embodiment may include a light source 1800 , at least one lens 1900 , a display 1210 , a network interface 1500 , a memory 1700 , and a processor 1300 . have. However, not all illustrated components are essential components. The electronic device 1000 may be implemented by more components than the illustrated components, or the electronic device 1000 may be implemented by fewer components. For example, as shown in FIG. 13 , the apparatus 1000 for measuring eye movement according to an embodiment includes a user input unit 1100 , an output unit 1200 , a sensing unit 1400 , and an A/V input unit 1600 . may further include.

사용자 입력부(1100)는, 사용자가 안구 운동 측정 장치(1000)를 제어하기 위한 데이터를 입력하는 수단을 의미한다. 예를 들어, 사용자 입력부(1100)에는 키 패드(key pad), 돔 스위치 (dome switch), 터치 패드(접촉식 정전 용량 방식, 압력식 저항막 방식, 적외선 감지 방식, 표면 초음파 전도 방식, 적분식 장력 측정 방식, 피에조 효과 방식 등), 조그 휠, 조그 스위치 등이 있을 수 있으나 이에 한정되는 것은 아니다. The user input unit 1100 means a means for the user to input data for controlling the eye movement measuring apparatus 1000 . For example, the user input unit 1100 includes a key pad, a dome switch, and a touch pad (contact capacitive method, pressure resistance film method, infrared sensing method, surface ultrasonic conduction method, integral type). There may be a tension measurement method, a piezo effect method, etc.), a jog wheel, a jog switch, and the like, but is not limited thereto.

일 실시 예에 의하면 사용자 입력부(1100)는 사용자의 모션을 캡처하기 위한 별도의 장치 또는 오디오 레코딩 장치를 더 포함할 수 있다. 일 실시 예에 의하면, 사용자 입력부(1100)는 안구 운동 측정 장치를 조작하기 위한 다양한 사용자 입력을 수신할 수 있다. 사용자 입력부(1100)는 센싱부로부터 획득된 사용자 안구 모션에 기초한 센싱값을 이용하여, 사용자 시선의 위치, 사용자 시선의 방향, 머리의 움직임, 손 또는 팔 중 적어도 하나의 제스처를 식별할 수 있다.According to an embodiment, the user input unit 1100 may further include a separate device for capturing the user's motion or an audio recording device. According to an embodiment, the user input unit 1100 may receive various user inputs for operating the eye movement measuring apparatus. The user input unit 1100 may identify a gesture of at least one of the position of the user's gaze, the direction of the user's gaze, the movement of the head, and the hand or arm by using a sensing value based on the user's eye motion obtained from the sensing unit.

출력부(1200)는, 오디오 신호 또는 비디오 신호 또는 진동 신호를 출력할 수 있으며, 출력부(1200)는 디스플레이부(1210), 음향 출력부(1220), 및 진동 모터(1230)를 포함할 수 있다.The output unit 1200 may output an audio signal, a video signal, or a vibration signal, and the output unit 1200 may include a display unit 1210 , a sound output unit 1220 , and a vibration motor 1230 . have.

디스플레이부(1210)는 안구 운동 측정 장치(1000)에서 가상 현실을 위한 컨텐츠들을 표시할 수 있다. 안구 운동 측정 장치(1000)는 가상 현실 공간 내 가이드 컨텐츠들을 표시하기 위한 화면을 포함할 수 있다. 또한, 화면은 영상을 디스플레이 할 수 있다.The display unit 1210 may display contents for virtual reality in the eye movement measuring apparatus 1000 . The eye movement measuring apparatus 1000 may include a screen for displaying guide contents in a virtual reality space. Also, the screen may display an image.

음향 출력부(1220)는 네트워크 인터페이스(1500)로부터 수신되거나 메모리(1700)에 저장된 오디오 데이터를 출력한다. 또한, 음향 출력부(1220)는 안구 운동 측정 장치(1000)에서 수행되는 기능(예를 들어, 호신호 수신음, 메시지 수신음, 알림음)과 관련된 음향 신호를 출력한다.The sound output unit 1220 outputs audio data received from the network interface 1500 or stored in the memory 1700 . Also, the sound output unit 1220 outputs a sound signal related to a function (eg, a call signal reception sound, a message reception sound, and a notification sound) performed by the eye movement measurement apparatus 1000 .

프로세서(1300)는 프로세서(1300)는, 통상적으로 안구 운동 측정 장치(1000)의 전반적인 동작을 제어한다. 예를 들어, 프로세서(1300)는, 메모리(1700)에 저장된 프로그램들을 실행함으로써, 디스플레이(1210), 네트워크 인터페이스(1500)등을 전반적으로 제어할 수 있다. 또한, 프로세서(1300)는 메모리(1700)에 저장된 프로그램들을 실행함으로써, 도 1 내지 도 12에 기재된 안구 운동 측정 장치(1000)의 기능을 수행할 수 있다.The processor 1300 generally controls the overall operation of the eye movement measuring apparatus 1000 . For example, the processor 1300 may generally control the display 1210 , the network interface 1500 , and the like by executing programs stored in the memory 1700 . In addition, the processor 1300 may execute the programs stored in the memory 1700 to perform the function of the eye movement measuring apparatus 1000 described in FIGS. 1 to 12 .

일 실시 예에 의하면, 프로세서(1300)는 외부 디바이스로부터 상기 사용자의 안구 운동을 유도하기 위한 가이드 컨텐츠를 획득하고, 상기 획득된 가이드 컨텐츠를 출력하고, 상기 출력된 가이드 컨텐츠에 대한 상기 사용자 시선의 위치를 식별하고, 상기 식별된 사용자 시선의 위치에 기초하여, 상기 사용자 시선의 이동 경로를 생성하고, 상기 생성된 이동 경로에 대한 정보를 상기 외부 디바이스로 전송할 수 있다.According to an embodiment, the processor 1300 obtains guide content for inducing the user's eye movement from an external device, outputs the obtained guide content, and the position of the user's gaze with respect to the output guide content. may be identified, and based on the identified location of the user's gaze, a movement path of the user's gaze may be generated, and information on the generated movement path may be transmitted to the external device.

일 실시 예에 의하면, 프로세서(1300)는 외부 디바이스로부터 적어도 하나의 가이드 경로를 포함하는 가이드 경로 컨텐츠를 획득하고, 외부 디바이스로부터 적어도 하나의 가이드 형상을 포함하는 가이드 형상 컨텐츠를 획득할 수 있다.According to an embodiment, the processor 1300 may obtain guide path content including at least one guide path from an external device, and obtain guide shape content including at least one guide shape from the external device.

일 실시 예에 의하면, 프로세서(1300)는 상기 사용자의 안구 운동을 측정하기 위한 안내 정보 및 검사 정보를 미리 설정된 순서에 따라 출력할 수 있다.According to an embodiment, the processor 1300 may output guide information and examination information for measuring the user's eye movement according to a preset order.

일 실시 예에 의하면, 프로세서(1300)는 안구 운동 측정 장치 내 광원에서 방출된 광이 상기 사용자 안구의 망막에 반사됨으로써 반사되는 반사 광을 측정하고, 상기 측정된 반사광에 기초하여 상기 사용자의 왼쪽 안구에 관한 제1 안구 이미지, 상기 사용자의 오른쪽 안구에 관한 제2 안구 이미지를 생성하고, 생성된 제1 안구 이미지 및 제2 안구 이미지를 분석함으로써, 제1 안구 움직임 벡터 및 제2 안구 움직임 벡터를 결정하고, 상기 결정된 제1 안구 움직임 벡터 및 제2 안구 움직임 벡터를 가중합함으로써 상기 사용자 시선의 위치를 식별할 수 있다.According to an embodiment, the processor 1300 measures the reflected light reflected by the light emitted from the light source in the eye movement measurement device being reflected by the retina of the user's eye, and based on the measured reflected light, the user's left eye By generating a first eye image for and a second eye image for the user's right eye, and analyzing the generated first eye image and second eye image, a first eye motion vector and a second eye motion vector are determined and the determined first eye motion vector and the second eye motion vector may be weighted and summed to identify the position of the user's gaze.

일 실시 예에 의하면, 프로세서(1300)는 상기 제1 안구 이미지 내 사용자 안구 영역을 식별함으로써 제1 안구 위치 정보를 결정하고, 상기 제2 안구 이미지 내 사용자 안구 영역을 식별함으로써 제2 안구 위치 정보를 결정하고, 미리 설정된 기준 위치 정보 및 상기 제1 안구 위치 정보의 차이에 기초하여 상기 제1 안구 움직임 벡터를 결정하고, 상기 기준 위치 정보 및 상기 제2 안구 위치 정보의 차이에 기초하여 상기 제2 안구 움직임 벡터를 결정할 수 있다.According to an embodiment, the processor 1300 determines the first eyeball position information by identifying the user's eyeball region in the first eye image, and obtains the second eyeball position information by identifying the user's eyeball region in the second eye image. determine, determine the first eyeball motion vector based on a difference between preset reference position information and the first eyeball position information, and determine the second eyeball based on the difference between the reference position information and the second eyeball position information A motion vector can be determined.

일 실시 예에 의하면, 프로세서(1300)는 사용자의 안구 주변에 위치하는 적어도 하나의 센서로부터 근전도 신호를 획득하고, 근전도 신호에 따른 안구 운동 신호 패턴과 기 설정된 안구 운동 신호 패턴을 비교하고, 상기 비교 결과에 기초하여 제1 안구 움직임 벡터 및 제2 안구 움직임 벡터를 결정할 수 있다.According to an embodiment, the processor 1300 obtains an EMG signal from at least one sensor positioned around the user's eyeball, compares the eye movement signal pattern according to the EMG signal with a preset eye movement signal pattern, and compares the A first eye motion vector and a second eye motion vector may be determined based on the result.

일 시릿 예에 의하면, 프로세서(1300)는 제1 안구 움직임 벡터 및 제2 안구 움직임 벡터를 가중합함으로써 상기 사용자 시선의 위치를 식별할 수 있다.According to one secret example, the processor 1300 may identify the position of the user's gaze by weighting the first eye motion vector and the second eye motion vector.

일 실시 예에 의하면, 프로세서(1300)는 사용자 시선의 위치를 기 설정된 시간 간격으로 저장하고, 상기 저장된 사용자 시선의 위치를 상기 시간 간격으로 누적하여 표시함으로써 상기 사용자 시선의 이동 경로를 생성할 수 있다.According to an embodiment, the processor 1300 may generate the movement path of the user's gaze by storing the position of the user's gaze at a preset time interval, and accumulating and displaying the stored position of the user's gaze at the time interval. .

일 실시 예에 의하면, 프로세서(1300)는 상기 이동 경로를 생성하는데 걸리는 시간 및 상기 이동 경로를 생성하는데 사용된 소정의 시간 간격에 대한 정보를 상기 외부 디바이스로 더 전송할 수 있다.According to an embodiment, the processor 1300 may further transmit information about a time taken to generate the moving path and a predetermined time interval used to generate the moving path to the external device.

일 실시 예에 의하면, 프로세서(1300)는 이동 경로 및 상기 가이드 경로의 차 경로를 결정하고, 상기 결정된 차 경로를 적분함으로써 상기 차 경로에 대응되는 면적을 결정하고, 상기 결정된 면적이 기 설정된 임계 면적보다 큰 경우, 상기 사용자를 간성 뇌증 환자로 식별할 수 있다.According to an embodiment, the processor 1300 determines a difference path between the movement path and the guide path, and determines an area corresponding to the difference path by integrating the determined difference path, and a critical area to which the determined area is preset. If greater, the user may be identified as a patient with hepatic encephalopathy.

일 실시 예에 의하면, 프로세서(1300)는 상기 생성된 이동 경로 및 상기 가이드 경로가 서로 만나는 접점의 수를 식별하고, 접점의 수가 기 설정된 임계치 이상인 경우, 상기 사용자를 간성 뇌증 환자로 식별할 수 있다.According to an embodiment, the processor 1300 may identify the number of contacts where the generated movement path and the guide path meet each other, and when the number of contacts is equal to or greater than a preset threshold, the user may be identified as a patient with hepatic encephalopathy. .

일 실시 예에 의하면, 프로세서(1300)는 제1 점멸 가이드 형상으로부터 기 설정된 거리 내에 위치하는 사용자의 시선을 식별하고, 사용자의 시선이, 상기 제2 점멸 가이드 형상으로부터 기 설정된 거리 내로 이동하는데 까지 걸리는 시간을 측정하고, 상기 측정된 시간이 소정의 임계 시간 보다 큰 경우, 상기 사용자를 간성 뇌증 환자로 식별할 수 있다.According to an embodiment, the processor 1300 identifies the user's gaze located within a preset distance from the first blinking guide shape, and the time it takes for the user's gaze to move within a preset distance from the second blinking guide shape Time is measured, and when the measured time is greater than a predetermined threshold time, the user may be identified as a patient with hepatic encephalopathy.

센싱부(1400)는, 안구 운동 측정 장치(1000)의 상태 또는 안구 운동 측정 장치(1000) 주변의 상태 또는 사용자의 움직임, 사용자 안구의 움직임 상태를 감지하고, 감지된 정보를 프로세서(1300)로 전달할 수 있다. 일 실시 예에 의하면, 센싱부(1400)는, 지자기 센서(Magnetic sensor)(1410), 가속도 센서(Acceleration sensor)(1420), 온/습도 센서(1430), 적외선 센서(1440), 자이로스코프 센서(1450), 위치 센서(예컨대, GPS)(1460), 기압 센서(1470), 근접 센서(1480), 모션 센서(미도시), RGB 센서(1490), 자이로스코프 센서(1450) 및 근전도 센서(1492) 중 적어도 하나를 포함할 수 있으나, 이에 한정되는 것은 아니다. 각 센서들의 기능은 그 명칭으로부터 당업자가 직관적으로 추론할 수 있으므로, 구체적인 설명은 생략하기로 한다.The sensing unit 1400 detects the state of the eye movement measuring apparatus 1000 or the state around the eye movement measuring apparatus 1000 , the user's movement, and the user's eye movement state, and transmits the sensed information to the processor 1300 . can transmit According to an embodiment, the sensing unit 1400 includes a magnetic sensor 1410 , an acceleration sensor 1420 , a temperature/humidity sensor 1430 , an infrared sensor 1440 , and a gyroscope sensor. 1450, a position sensor (eg, GPS) 1460, a barometric pressure sensor 1470, a proximity sensor 1480, a motion sensor (not shown), an RGB sensor 1490, a gyroscope sensor 1450, and an electromyography sensor ( 1492), but is not limited thereto. Since a function of each sensor can be intuitively inferred from a person skilled in the art from the name, a detailed description thereof will be omitted.

네트워크 인터페이스(1500)는 안구 운동 측정 장치(1000)가 전자 장치(2000), 및 서버(3000)와 통신을 하게 하는 하나 이상의 구성요소를 포함할 수 있다. 예를 들어, 네트워크 인터페이스(1500)는, 무선 통신 인터페이스(1510), 유선 통신 인터페이스(1520), 이동 통신부(1530) 및 방송 수신부(1540)를 포함할 수 있다. The network interface 1500 may include one or more components that allow the eye movement measuring apparatus 1000 to communicate with the electronic device 2000 and the server 3000 . For example, the network interface 1500 may include a wireless communication interface 1510 , a wired communication interface 1520 , a mobile communication unit 1530 , and a broadcast receiving unit 1540 .

무선 통신 인터페이스(1510)는 근거리 통신부(short-range wireless communication unit)(1510)는, 블루투스 통신부, BLE(Bluetooth Low Energy) 통신부, 근거리 무선 통신부(Near Field Communication unit), WLAN(와이파이) 통신부, 지그비(Zigbee) 통신부, 적외선(IrDA, infrared Data Association) 통신부, WFD(Wi-Fi Direct) 통신부, UWB(ultra wideband) 통신부, 등을 포함할 수 있으나, 이에 한정되는 것은 아니다. The wireless communication interface 1510 is a short-range wireless communication unit 1510, a Bluetooth communication unit, a BLE (Bluetooth Low Energy) communication unit, a short-range wireless communication unit (Near Field Communication unit), a WLAN (Wi-Fi) communication unit, Zigbee (Zigbee) may include a communication unit, an infrared (IrDA, Infrared Data Association) communication unit, a Wi-Fi Direct (WFD) communication unit, an ultra wideband (UWB) communication unit, etc., but is not limited thereto.

유선 통신 인터페이스(1520)는 USB(universal serial bus), HDMI(high definition multimedia interface), RS 232(recommended standard 232), 전력선 통신, 또는 POTS(plain old telephone service) 등 중 적어도 하나를 포함할 수 있으나, 이에 한정되는 것은 아니다.The wired communication interface 1520 may include at least one of universal serial bus (USB), high definition multimedia interface (HDMI), recommended standard 232 (RS 232), power line communication, or plain old telephone service (POTS), etc. , but is not limited thereto.

이동 통신부(1530)는, 이동 통신망 상에서 기지국, 외부의 단말, 서버 중 적어도 하나와 무선 신호를 송수신한다. 여기에서, 무선 신호는, 음성 호 신호, 화상 통화 호 신호 또는 문자/멀티미디어 메시지 송수신에 따른 다양한 형태의 데이터를 포함할 수 있다.The mobile communication unit 1530 transmits/receives a radio signal to and from at least one of a base station, an external terminal, and a server on a mobile communication network. Here, the wireless signal may include various types of data according to transmission/reception of a voice call signal, a video call signal, or a text/multimedia message.

방송 수신부(1540)는, 방송 채널을 통하여 외부로부터 방송 신호 및/또는 방송 관련된 정보를 수신한다. 방송 채널은 위성 채널, 지상파 채널을 포함할 수 있다. 구현 예에 따라서 안구 운동 측정 장치(1000)가 방송 수신부(1540)를 포함하지 않을 수도 있다. The broadcast receiver 1540 receives a broadcast signal and/or broadcast-related information from the outside through a broadcast channel. The broadcast channel may include a satellite channel and a terrestrial channel. According to an embodiment, the apparatus 1000 for measuring eye movement may not include the broadcast receiver 1540 .

일 실시 예에 의하면, 네트워크 인터페이스(1500)는 프로세서의 제어에 의해, 전자 장치로부터 수신되는 가이드 컨텐츠, 안내 정보, 비디오 정보, 오디오 정보, 후각 정보 등을 수신할 수도 있고, 사용자 시선의 위치, 사용자 시선의 이동 경로에 대한 정보, 사용자 시선의 이동 경로를 이용한 진단 결과에 대한 정보를 전자 장치(2000)로 전송할 수도 있다.According to an embodiment, the network interface 1500 may receive guide content, guide information, video information, audio information, olfactory information, etc. received from the electronic device under the control of the processor, the position of the user's gaze, the user Information on the movement path of the gaze and information on the diagnosis result using the movement path of the user's gaze may be transmitted to the electronic device 2000 .

A/V(Audio/Video) 입력부(1600)는 오디오 신호 또는 비디오 신호 입력을 위한 것으로, 이에는 카메라(1610)와 마이크로폰(1620) 등이 포함될 수 있다. 카메라(1610)는 화상 통화모드 또는 촬영 모드에서 이미지 센서, 또는 광검출 센서를 통해 정지영상 또는 동영상 등의 화상 프레임을 얻을 수 있다. 예를 들어, 카메라(1610)는 광원(1800)으로부터 방출된 광이 사용자의 안구에 반사되어 생성되는 반사광을 센싱하고, 센싱된 반사광을 이용하여 안구 운동 측정 장치(1000)를 착용한 사용자의 안구 이미지를 생성할 수 있다. The A/V (Audio/Video) input unit 1600 is for inputting an audio signal or a video signal, and may include a camera 1610 , a microphone 1620 , and the like. The camera 1610 may obtain an image frame, such as a still image or a moving picture, through an image sensor or a light detection sensor in a video call mode or a photographing mode. For example, the camera 1610 senses the reflected light generated by the light emitted from the light source 1800 being reflected by the user's eye, and the user's eye wearing the eye movement measuring apparatus 1000 using the sensed reflected light. You can create an image.

이미지 센서를 통해 캡쳐된 이미지는 프로세서(1300) 또는 별도의 이미지 처리부(미도시)를 통해 처리될 수 있다. 마이크로폰(1620)은, 외부의 음향 신호를 입력 받아 전기적인 음성 데이터로 처리한다. 예를 들어, 마이크로폰(1620)은 외부 디바이스 또는 사용자로부터 음향 신호를 수신할 수 있다. 마이크로폰(1620)은 사용자의 음성 입력을 수신할 수 있다. 마이크로폰(1620)은 외부의 음향 신호를 입력 받는 과정에서 발생 되는 잡음(noise)을 제거하기 위한 다양한 잡음 제거 알고리즘을 이용할 수 있다.The image captured through the image sensor may be processed through the processor 1300 or a separate image processing unit (not shown). The microphone 1620 receives an external sound signal and processes it as electrical voice data. For example, the microphone 1620 may receive an acoustic signal from an external device or a user. The microphone 1620 may receive a user's voice input. The microphone 1620 may use various noise removal algorithms for removing noise generated in the process of receiving an external sound signal.

메모리(1700)는, 프로세서(1300)의 처리 및 제어를 위한 명령들(Instructions)을 저장할 수 있고, 안구 운동 측정 장치(1000)로 입력 되거나 안구 운동 측정 장치(1000)로부터 출력되는 데이터를 저장할 수도 있다. 일 실시 예에 의하면 메모리(1700)는 안구 운동 측정 장치(1000)의 다양한 모듈, 애플리케이션, 프로그램, 패키지 서비스, 가상 장치 모델 등에 필요한 명령어 집합들을 포함할 수 있다. 또한, 메모리(1700)에 저장된 응용 프로그램을 위한 명령어는, 모바일 응용 프로그램, 하나 이상의 클라이언트 측 장치를 통해 실행 가능한 응용 프로그램을 위한 명령어들을 포함할 수 있다. The memory 1700 may store instructions for processing and control of the processor 1300 , and may also store data input to or output from the eye movement measurement apparatus 1000 . have. According to an embodiment, the memory 1700 may include instruction sets required for various modules, applications, programs, package services, virtual device models, and the like of the eye movement measurement apparatus 1000 . In addition, the instructions for an application program stored in the memory 1700 may include instructions for a mobile application program, an application program executable through one or more client-side devices.

또한, 메모리(1700)는 또한, 메모리(1700)는 이미지 및 메모리(1700)에 저장된 이미지를 탐색한 결과를 저장할 수 있다. 메모리(1700)는 안구 운동 측정 장치(1000)에 저장된 이미지들에 관련된 정보를 저장할 수 있다.Also, the memory 1700 may store an image and a result of searching for an image stored in the memory 1700 . The memory 1700 may store information related to images stored in the eye movement measuring apparatus 1000 .

메모리(1700)는 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램(RAM, Random Access Memory) SRAM(Static Random Access Memory), 롬(ROM, Read-Only Memory), EEPROM(Electrically Erasable Programmable Read-Only Memory), PROM(Programmable Read-Only Memory), 자기 메모리, 자기 디스크, 광디스크 중 적어도 하나의 타입의 저장매체를 포함할 수 있다. The memory 1700 may include a flash memory type, a hard disk type, a multimedia card micro type, a card type memory (eg, SD or XD memory), and a RAM. (RAM, Random Access Memory) SRAM (Static Random Access Memory), ROM (Read-Only Memory), EEPROM (Electrically Erasable Programmable Read-Only Memory), PROM (Programmable Read-Only Memory), magnetic memory, magnetic disk , may include at least one type of storage medium among optical disks.

메모리(1700)에 저장된 프로그램들은 그 기능에 따라 복수 개의 모듈들로 분류할 수 있는데, 예를 들어, UI 모듈(1710), 터치 스크린 모듈(1720), 알림 모듈(1730) 등으로 분류될 수 있다.Programs stored in the memory 1700 may be classified into a plurality of modules according to their functions, for example, may be classified into a UI module 1710 , a touch screen module 1720 , a notification module 1730 , and the like. .

UI 모듈(1710)은, 애플리케이션 별로 안구 운동 측정 장치 (1000)와 연동되는 특화된 UI, GUI 등을 제공할 수 있다. 터치 스크린 모듈(1720)은 사용자의 터치 스크린 상의 터치 제스처를 감지하고, 터치 제스처에 관한 정보를 프로세서(1300)로 전달할 수 있다. 일부 실시 예에 따른 터치 스크린 모듈(1720)은 터치 코드를 인식하고 분석할 수 있다. 터치 스크린 모듈(1720)은 컨트롤러를 포함하는 별도의 하드웨어로 구성될 수도 있다.The UI module 1710 may provide a specialized UI, GUI, and the like that is interlocked with the eye movement measuring apparatus 1000 for each application. The touch screen module 1720 may detect a touch gesture on the user's touch screen and transmit information about the touch gesture to the processor 1300 . The touch screen module 1720 according to some embodiments may recognize and analyze a touch code. The touch screen module 1720 may be configured as separate hardware including a controller.

알림 모듈(1730)은 안구 운동 측정 장치(1000)의 이벤트 발생을 알리기 위한 신호를 발생할 수 있다. 안구 운동 측정 장치(1000)에서 발생되는 이벤트의 예로는 호 신호 수신, 메시지 수신, 키 신호 입력, 일정 알림 등이 있다. 알림 모듈(1730)은 디스플레이부(1210)를 통해 비디오 신호 형태로 알림 신호를 출력할 수도 있고, 음향 출력부(1220)를 통해 오디오 신호 형태로 알림 신호를 출력할 수도 있고, 진동 모터(1230)를 통해 진동 신호 형태로 알림 신호를 출력할 수도 있다.The notification module 1730 may generate a signal for notifying the occurrence of an event of the eye movement measuring apparatus 1000 . Examples of events generated by the eye movement measuring apparatus 1000 include call signal reception, message reception, key signal input, schedule notification, and the like. The notification module 1730 may output a notification signal in the form of a video signal through the display unit 1210 , may output a notification signal in the form of an audio signal through the sound output unit 1220 , and the vibration motor 1230 . It is also possible to output a notification signal in the form of a vibration signal through

일 실시 예에 의하면, 광원(1800)는 적어도 하나의 광원을 포함할 수 있다. 예를 들어, 광원(1800)는 미리 설정된 파장의 광을 방출할 수 있다. 광원(1800)에서 생성된 광들은 사용자 안구 또는 안구의 망막에 반사되어, 카메라에서 센싱될 수 있다.According to an embodiment, the light source 1800 may include at least one light source. For example, the light source 1800 may emit light having a preset wavelength. Lights generated by the light source 1800 may be reflected by the user's eye or retina of the eye, and may be sensed by the camera.

렌즈(1900)는 안구 운동 측정 장치(1000)를 착용하는 사용자의 양안의 전면에 위치될 수 있다. 렌즈(1900)는 사용자의 양안의 전면에 위치하는 적어도 하나의 렌즈들을 통하여, 안구 운동 측정 장치(1000)의 디스플레이상 표시되는 가상 현실을 위한 컨텐츠 또는 가이드 컨텐츠를 사용자로 하여금 시청하도록 할 수 있다.The lenses 1900 may be located in front of both eyes of a user who wears the eye movement measuring apparatus 1000 . The lens 1900 may allow the user to view content for virtual reality or guide content displayed on the display of the eye movement measuring apparatus 1000 through at least one lens positioned in front of both eyes of the user.

도 14는 일 실시 예에 따른 안구 운동 측정 장치와 연결되는 전자 장치의 블록도이다.14 is a block diagram of an electronic device connected to an eye movement measuring apparatus according to an exemplary embodiment.

일 실시 예에 따른 전자 장치(2000)는 사용자 입력부(2100), 출력부(2200), 프로세서(2300), 네트워크 인터페이스(2500), A/V 입력부(2600) 및 메모리(2700)를 포함할 수 있다. 그러나 도시된 구성 요소가 모두 필수구성요소인 것은 아니다. 도시된 구성요소보다 많은 구성요소에 의해 전자 장치(2000)가 구현될 수도 있고, 그보다 적은 구성요소에 의해서도 전자 장치(2000)는 구현될 수 있다. The electronic device 2000 according to an embodiment may include a user input unit 2100 , an output unit 2200 , a processor 2300 , a network interface 2500 , an A/V input unit 2600 , and a memory 2700 . have. However, not all illustrated components are essential components. The electronic device 2000 may be implemented by more components than the illustrated components, or the electronic device 2000 may be implemented by fewer components.

사용자 입력부(2100)는, 사용자가 전자 장치(2000)를 제어하기 위한 데이터를 입력하는 수단을 의미한다. 예를 들어, 사용자 입력부(2100)에는 키 패드(key pad), 돔 스위치 (dome switch), 터치 패드(접촉식 정전 용량 방식, 압력식 저항막 방식, 적외선 감지 방식, 표면 초음파 전도 방식, 적분식 장력 측정 방식, 피에조 효과 방식 등), 조그 휠, 조그 스위치 등이 있을 수 있으나 이에 한정되는 것은 아니다. The user input unit 2100 means a means for a user to input data for controlling the electronic device 2000 . For example, the user input unit 2100 includes a key pad, a dome switch, and a touch pad (contact capacitive method, pressure resistance film method, infrared sensing method, surface ultrasonic conduction method, integral type). There may be a tension measurement method, a piezo effect method, etc.), a jog wheel, a jog switch, and the like, but is not limited thereto.

일 실시 예에 의하면 사용자 입력부(2100)는 사용자의 모션을 캡처하기 위한 별도의 장치 또는 오디오 레코딩 장치를 더 포함할 수 있다. 일 실시 예에 의하면, 사용자 입력부(2100)는 전자 장치(2000)를 조작하기 위한 다양한 사용자 입력을 수신할 수 있다. 사용자 입력부(2100)는 센싱부로부터 획득된 사용자 안구 모션에 기초한 센싱값을 이용하여, 사용자 시선의 위치, 사용자 시선의 방향, 머리의 움직임, 손 또는 팔 중 적어도 하나의 제스처를 식별할 수 있다.According to an embodiment, the user input unit 2100 may further include a separate device for capturing the user's motion or an audio recording device. According to an embodiment, the user input unit 2100 may receive various user inputs for operating the electronic device 2000 . The user input unit 2100 may identify a gesture of at least one of the position of the user's gaze, the direction of the user's gaze, the movement of the head, and the hand or arm by using a sensing value based on the user's eye motion obtained from the sensing unit.

출력부(2200)는, 오디오 신호 또는 비디오 신호 또는 진동 신호를 출력할 수 있으며, 출력부(2200)는 디스플레이부(미도시), 음향 출력부(미도시), 및 진동 모터(미도시)를 포함할 수 있다. 디스플레이부(미도시)는 사용자 시선의 이동 경로 및 가이드 형상 또는 가이드 경로에 관련된 컨텐츠들을 표시할 수 있다. The output unit 2200 may output an audio signal, a video signal, or a vibration signal, and the output unit 2200 includes a display unit (not shown), a sound output unit (not shown), and a vibration motor (not shown). may include The display unit (not shown) may display a movement path of the user's gaze and a guide shape or contents related to the guide path.

디스플레이부(미도시)는 가상 현실 공간 내 가이드 컨텐츠들을 표시하기 위한 화면을 포함할 수 있다. 또한, 화면은 영상을 디스플레이 할 수 있다.The display unit (not shown) may include a screen for displaying guide contents in the virtual reality space. Also, the screen may display an image.

음향 출력부(미도시)는 네트워크 인터페이스(2500)로부터 수신되거나 메모리(2700)에 저장된 오디오 데이터를 출력한다. 또한, 음향 출력부(미도시)는 전자 장치(2000)에서 수행되는 기능(예를 들어, 호신호 수신음, 메시지 수신음, 알림음)과 관련된 음향 신호를 출력한다.The sound output unit (not shown) outputs audio data received from the network interface 2500 or stored in the memory 2700 . Also, the sound output unit (not shown) outputs a sound signal related to a function (eg, a call signal reception sound, a message reception sound, and a notification sound) performed by the electronic device 2000 .

프로세서(2300)는 프로세서(2300)는, 통상적으로 전자 장치(2000)의 전반적인 동작을 제어한다. 예를 들어, 프로세서(2300)는, 메모리(2700)에 저장된 프로그램들을 실행함으로써, 출력부(2200), 네트워크 인터페이스(2500), A/V 입력부(2600) 및 메모리(2700)등을 전반적으로 제어할 수 있다. 또한, 프로세서(2300)는 메모리(2700)에 저장된 프로그램들을 실행함으로써, 도 1 내지 도 13에 기재된 안구 운동 측정 장치(1000)의 적어도 일부 기능들을 수행할 수 있다.The processor 2300 generally controls the overall operation of the electronic device 2000 . For example, the processor 2300 controls the output unit 2200 , the network interface 2500 , the A/V input unit 2600 , the memory 2700 , and the like by executing programs stored in the memory 2700 . can do. In addition, the processor 2300 may execute programs stored in the memory 2700 to perform at least some functions of the eye movement measuring apparatus 1000 illustrated in FIGS. 1 to 13 .

일 실시 예에 의하면, 프로세서(2300)는 안구 운동 측정 장치로 가이드 컨텐츠와 관련된, 비디오, 오디오, 후각 등의 데이터를 전송할 수 있다. 또한, 프로세서(2300)는 안구 운동 측정 장치(1000)로부터 사용자 시선의 위치에 대한 정보, 사용자 시선의 이동 경로에 대한 정보를 획득할 수도 있다.According to an embodiment, the processor 2300 may transmit data related to the guide content, such as video, audio, and smell, to the eye movement measuring device. Also, the processor 2300 may obtain information on the location of the user's gaze and information on the movement path of the user's gaze from the eye movement measuring apparatus 1000 .

일 실시 예에 의하면, 프로세서(2300)는 안구 운동 측정 장치(1000)로부터 이동 경로 및 가이드 컨텐츠를 비교하고, 비교 결과에 기초하여 사용자가 간성 뇌증 환자 인지 여부를 진단할 수 있다. According to an embodiment, the processor 2300 may compare the movement path and the guide content from the eye movement measuring apparatus 1000 and diagnose whether the user is a patient with hepatic encephalopathy based on the comparison result.

일 실시 예에 의하면, 프로세서(2300)는 진단 결과를 출력하고, 진단 결과를 안구 운동 측정 장치(1000)로 전송할 수도 있다. According to an embodiment, the processor 2300 may output a diagnosis result and transmit the diagnosis result to the eye movement measurement apparatus 1000 .

일 실시 예에 의하면, 프로세서(2300)가 이동 경로 및 가이드 컨텐츠를 비교함으로써 사용자가 간성 뇌증 환자 인지 여부를 진단하는 방법은 도 1 내지 12에 도시된 안구 운동 측정 장치가 수행하는 안구 운동 측정 방법에 대응될 수 있다.According to an embodiment, the method for the processor 2300 to diagnose whether the user is a patient with hepatic encephalopathy by comparing the movement path and the guide content is based on the eye movement measurement method performed by the eye movement measurement device shown in FIGS. 1 to 12 . can be matched.

네트워크 인터페이스(2500)는 전자 장치(2000)가 안구 운동 측정 장치(1000) 및 서버(3000)와 통신을 하게 하는 하나 이상의 구성요소를 포함할 수 있다. 예를 들어, 네트워크 인터페이스(2500)는, 무선 통신 인터페이스(미도시), 유선 통신 인터페이스(미도시), 이동 통신부(미도시) 및 방송 수신부(미도시)를 포함할 수 있다. The network interface 2500 may include one or more components that allow the electronic device 2000 to communicate with the eye movement measuring apparatus 1000 and the server 3000 . For example, the network interface 2500 may include a wireless communication interface (not shown), a wired communication interface (not shown), a mobile communication unit (not shown), and a broadcast receiving unit (not shown).

무선 통신 인터페이스(미도시)는 근거리 통신부(short-range wireless communication unit)(미도시)는, 블루투스 통신부, BLE(Bluetooth Low Energy) 통신부, 근거리 무선 통신부(Near Field Communication unit), WLAN(와이파이) 통신부, 지그비(Zigbee) 통신부, 적외선(IrDA, infrared Data Association) 통신부, WFD(Wi-Fi Direct) 통신부, UWB(ultra wideband) 통신부, 등을 포함할 수 있으나, 이에 한정되는 것은 아니다. A wireless communication interface (not shown) is a short-range wireless communication unit (not shown), a Bluetooth communication unit, a BLE (Bluetooth Low Energy) communication unit, a short-range wireless communication unit (Near Field Communication unit), a WLAN (Wi-Fi) communication unit , a Zigbee communication unit, an infrared data association (IrDA) communication unit, a Wi-Fi Direct (WFD) communication unit, an ultra wideband (UWB) communication unit, and the like, but is not limited thereto.

유선 통신 인터페이스(미도시)는 USB(universal serial bus), HDMI(high definition multimedia interface), RS 232(recommended standard 232), 전력선 통신, 또는 POTS(plain old telephone service) 등 중 적어도 하나를 포함할 수 있으나, 이에 한정되는 것은 아니다.The wired communication interface (not shown) may include at least one of universal serial bus (USB), high definition multimedia interface (HDMI), recommended standard 232 (RS 232), power line communication, or plain old telephone service (POTS). However, the present invention is not limited thereto.

이동 통신부(미도시)는, 이동 통신망 상에서 기지국, 외부의 단말, 서버 중 적어도 하나와 무선 신호를 송수신한다. 여기에서, 무선 신호는, 음성 호 신호, 화상 통화 호 신호 또는 문자/멀티미디어 메시지 송수신에 따른 다양한 형태의 데이터를 포함할 수 있다.The mobile communication unit (not shown) transmits/receives wireless signals to and from at least one of a base station, an external terminal, and a server on a mobile communication network. Here, the wireless signal may include various types of data according to transmission/reception of a voice call signal, a video call signal, or a text/multimedia message.

방송 수신부(미도시)는, 방송 채널을 통하여 외부로부터 방송 신호 및/또는 방송 관련된 정보를 수신한다. 방송 채널은 위성 채널, 지상파 채널을 포함할 수 있다. The broadcast receiver (not shown) receives a broadcast signal and/or broadcast-related information from the outside through a broadcast channel. The broadcast channel may include a satellite channel and a terrestrial channel.

일 실시 예에 의하면, 네트워크 인터페이스(2500)는 프로세서의 제어에 의해, 안구 운동 측정 장치로 가이드 컨텐츠를 전송하거나, 안구 운동 측정 장치로부터 수신되는 사용자 시선의 위치에 대한 정보, 사용자 시선의 이동 경로에 대한 정보, 진단 결과에 대한 정보를 더 수신할 수도 있다. According to an embodiment, the network interface 2500 transmits the guide content to the eye movement measuring device or information on the position of the user's gaze received from the eye movement measuring device under the control of the processor, the movement path of the user's gaze. information about the diagnosis and the diagnosis result may be further received.

A/V(Audio/Video) 입력부(2600)는 오디오 신호 또는 비디오 신호 입력을 위한 것으로, 이에는 카메라(미도시)와 마이크로폰(미도시) 등이 포함될 수 있다. 카메라는 이미지 센서를 통해 이미지를 캡처하고, 캡처된 이미지를 프로세서(2300)로 전달함으로써, 프로세서가 이미지를 처리하도록 할 수 있다. 마이크로폰(미도시)은, 외부의 음향 신호를 입력 받아 전기적인 음성 데이터로 처리한다. 예를 들어, 마이크로폰(미도시)은 외부 디바이스 또는 사용자로부터 음향 신호를 수신할 수 있다. 마이크로폰(미도시)은 사용자의 음성 입력을 수신할 수 있다. 마이크로폰(미도시)은 외부의 음향 신호를 입력 받는 과정에서 발생 되는 잡음(noise)을 제거하기 위한 다양한 잡음 제거 알고리즘을 이용할 수 있다.The A/V (Audio/Video) input unit 2600 is for inputting an audio signal or a video signal, and may include a camera (not shown) and a microphone (not shown). The camera may capture an image through an image sensor and transmit the captured image to the processor 2300 , so that the processor processes the image. A microphone (not shown) receives an external sound signal and processes it as electrical voice data. For example, a microphone (not shown) may receive an acoustic signal from an external device or a user. A microphone (not shown) may receive a user's voice input. A microphone (not shown) may use various noise removal algorithms to remove noise generated in the process of receiving an external sound signal.

메모리(2700)는, 프로세서(2300)의 처리 및 제어를 위한 명령들(Instructions)을 저장할 수 있고, 전자 장치(2000)로 입력되거나 전자 장치(2000)로부터 출력되는 데이터를 저장할 수도 있다. The memory 2700 may store instructions for processing and control of the processor 2300 , and may store data input to or output from the electronic device 2000 .

또한, 메모리(2700)는 가이드 컨텐츠에 대한 정보, 사용자 시선의 위치에 대한 정보, 사용자 시선의 이동 경로에 대한 정보, 진단 결과에 대한 정보를 저장할 수 있다.Also, the memory 2700 may store information on guide content, information on a location of a user's gaze, information on a movement path of a user's gaze, and information on a diagnosis result.

메모리(2700)는 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램(RAM, Random Access Memory) SRAM(Static Random Access Memory), 롬(ROM, Read-Only Memory), EEPROM(Electrically Erasable Programmable Read-Only Memory), PROM(Programmable Read-Only Memory), 자기 메모리, 자기 디스크, 광디스크 중 적어도 하나의 타입의 저장매체를 포함할 수 있다. The memory 2700 may include a flash memory type, a hard disk type, a multimedia card micro type, a card type memory (eg, SD or XD memory), and a RAM. (RAM, Random Access Memory) SRAM (Static Random Access Memory), ROM (Read-Only Memory), EEPROM (Electrically Erasable Programmable Read-Only Memory), PROM (Programmable Read-Only Memory), magnetic memory, magnetic disk , may include at least one type of storage medium among optical disks.

메모리(2700)에 저장된 프로그램들은 그 기능에 따라 복수 개의 모듈들로 분류할 수 있는데, 예를 들어, UI 모듈(미도시), 터치 스크린 모듈(미도시), 알림 모듈(미도시) 등으로 분류될 수 있다. UI 모듈(미도시)은, 애플리케이션 별로 전자 장치(2000)와 연동되는 특화된 UI, GUI 등을 제공할 수 있다. 터치 스크린 모듈(미도시)은 사용자의 터치 스크린 상의 터치 제스처를 감지하고, 터치 제스처에 관한 정보를 프로세서(2200)로 전달할 수 있다. 일부 실시 예에 따른 터치 스크린 모듈(미도시)은 터치 코드를 인식하고 분석할 수 있다. 터치 스크린 모듈(미도시)은 컨트롤러를 포함하는 별도의 하드웨어로 구성될 수도 있다.Programs stored in the memory 2700 may be classified into a plurality of modules according to their functions, for example, classified into a UI module (not shown), a touch screen module (not shown), a notification module (not shown), and the like. can be The UI module (not shown) may provide a specialized UI, GUI, and the like that interwork with the electronic device 2000 for each application. The touch screen module (not shown) may detect a touch gesture on the user's touch screen and transmit information about the touch gesture to the processor 2200 . A touch screen module (not shown) according to some embodiments may recognize and analyze a touch code. The touch screen module (not shown) may be configured as separate hardware including a controller.

알림 모듈(미도시)은 전자 장치(2000)의 이벤트 발생을 알리기 위한 신호를 발생할 수 있다. 전자 장치(2000)에서 발생되는 이벤트의 예로는 호 신호 수신, 메시지 수신, 키 신호 입력, 일정 알림 등이 있다. 알림 모듈(미도시)은 디스플레이부(미도시)를 통해 비디오 신호 형태로 알림 신호를 출력할 수도 있고, 음향 출력부(미도시)를 통해 오디오 신호 형태로 알림 신호를 출력할 수도 있고, 진동 모터(미도시)를 통해 진동 신호 형태로 알림 신호를 출력할 수도 있다.The notification module (not shown) may generate a signal for notifying the occurrence of an event in the electronic device 2000 . Examples of events generated in the electronic device 2000 include call signal reception, message reception, key signal input, schedule notification, and the like. The notification module (not shown) may output a notification signal in the form of a video signal through a display unit (not shown), may output a notification signal in the form of an audio signal through a sound output unit (not shown), and a vibration motor (not shown) may output a notification signal in the form of a vibration signal.

도 15는 일 실시 예에 따른 안구 운동 측정 장치 또는 전자 장치 중 적어도 하나와 연결되는 서버의 블록도이다.15 is a block diagram of a server connected to at least one of an eye movement measuring device and an electronic device according to an exemplary embodiment.

일 실시 예에 의하면, 서버(3000)는 통신부(3100), 데이터 베이스(3200) 및 프로세서(3300)를 포함할 수 있다.According to an embodiment, the server 3000 may include a communication unit 3100 , a database 3200 , and a processor 3300 .

네트워크 인터페이스(3100)는 프로세서(3300)의 제어에 의해, 전자 장치(2000) 또는 안구 운동 측정 장치(1000)과, 가이드 컨텐츠들, 사용자 시선의 위치에 대한 정보, 사용자 시선의 이동 경로에 대한 정보, 진단 결과에 대한 정보등을 송수신할 수 있다.The network interface 3100 is, under the control of the processor 3300 , the electronic device 2000 or the eye movement measurement device 1000 , guide contents, information on the location of the user's gaze, and information on the movement path of the user's gaze , information on diagnosis results can be transmitted and received.

일 실시 예에 의하면, 네트워크 인터페이스(3100)는 프로세서(3300)의 제어에 의해, 서버의 데이터 베이스(3200)에 미리 저장된 안구 운동 모델을 포함하는 가이드 컨텐츠들의 일부를 전자 장치(2000)로 전송할 수도 있고, 가이드 컨텐츠들의 일부를 안구 운동 측정 장치(1000)로 전송할 수도 있다.According to an embodiment, the network interface 3100 may transmit a part of the guide contents including the eye movement model previously stored in the database 3200 of the server to the electronic device 2000 under the control of the processor 3300 . Also, some of the guide contents may be transmitted to the eye movement measuring apparatus 1000 .

데이터 베이스(3200)는 가이드 컨텐츠들, 사용자 시선의 위치에 대한 정보, 사용자 시선의 이동 경로에 대한 정보 등을 저장할 수 있다. 또한, 데이터 베이스(3200)는 서버(3000)의 동작을 제어하기 위한 하나 이상의 인스트럭션을 저장할 수 있다.The database 3200 may store guide contents, information on a location of a user's gaze, information on a movement path of a user's gaze, and the like. Also, the database 3200 may store one or more instructions for controlling the operation of the server 3000 .

프로세서(3300)는 통상적으로 서버(3000)의 전반적인 동작을 제어한다. 예를 들어, 프로세서(3300)는 서버(3000)의 데이터 베이스에 저장된 프로그램들을 실행함으로써, 통신 인터페이스(3100) 및 데이터 베이스(3200)의 전반적인 동작들을 제어할 수 있다. 프로세서(3300)는 데이터 베이스(3200)에 저장된 프로그램들을 실행함으로써, 도 1 내지 14에 기재된 안구 운동 측정 장치(1000) 및 전자 장치(2000)의 동작의 일부를 수행할 수도 있다.The processor 3300 typically controls the overall operation of the server 3000 . For example, the processor 3300 may control overall operations of the communication interface 3100 and the database 3200 by executing programs stored in the database of the server 3000 . The processor 3300 may perform some of the operations of the eye movement measuring apparatus 1000 and the electronic apparatus 2000 described in FIGS. 1 to 14 by executing programs stored in the database 3200 .

일 실시예에 따른 안구 운동 측정 장치가 사용자의 안구 운동을 측정하는 방법, 안구 운동 측정 장치가 사용자의 안구 운동에 기초하여 사용자의 간성 뇌증을 진단하는 방법, 전자 장치가 사용자의 간성 뇌증을 진단하는 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다.A method in which an eye movement measuring apparatus measures a user's eye movement, a method in which the eye movement measurement apparatus diagnoses a user's hepatic encephalopathy based on the user's eye movement, and an electronic device diagnoses a user's hepatic encephalopathy according to an embodiment The method may be implemented in the form of program instructions that can be executed through various computer means and recorded in a computer-readable medium. The computer-readable medium may include program instructions, data files, data structures, etc. alone or in combination. The program instructions recorded on the medium may be specially designed and configured for the present invention, or may be known and available to those skilled in the art of computer software.

또한, 안구 운동 측정 장치가 사용자의 안구 운동을 측정하는 방법, 안구 운동 측정 장치가 사용자의 안구 운동에 기초하여 사용자의 간성 뇌증을 진단하는 방법 또는 전자 장치가 사용자의 간성 뇌증을 진단하는 방법을 수행하도록 하는 프로그램이 저장된 기록 매체를 포함하는 컴퓨터 프로그램 장치가 제공될 수 있다. In addition, a method in which the eye movement measurement device measures the user's eye movement, the eye movement measurement apparatus diagnoses the user's hepatic encephalopathy based on the user's eye movement, or the electronic device performs the user's hepatic encephalopathy diagnosis method A computer program device including a recording medium in which a program to be executed is stored may be provided.

컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.Examples of the computer-readable recording medium include magnetic media such as hard disks, floppy disks and magnetic tapes, optical media such as CD-ROMs and DVDs, and magnetic such as floppy disks. - includes magneto-optical media, and hardware devices specially configured to store and execute program instructions, such as ROM, RAM, flash memory, and the like. Examples of program instructions include not only machine language codes such as those generated by a compiler, but also high-level language codes that can be executed by a computer using an interpreter or the like.

일부 실시예는 컴퓨터에 의해 실행되는 프로그램 모듈과 같은 컴퓨터에 의해 실행 가능한 명령어를 포함하는 기록 매체의 형태로도 구현될 수 있다. 컴퓨터 판독 가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함한다. 또한, 컴퓨터 판독가능 매체는 컴퓨터 저장 매체 및 통신 매체를 모두 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함한다. 통신 매체는 전형적으로 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈, 또는 반송파와 같은 변조된 데이터 신호의 기타 데이터, 또는 기타 전송 메커니즘을 포함하며, 임의의 정보 전달 매체를 포함한다. 또한, 일부 실시예는 컴퓨터에 의해 실행되는 컴퓨터 프로그램과 같은 컴퓨터에 의해 실행 가능한 명령어를 포함하는 컴퓨터 프로그램 또는 컴퓨터 프로그램 제품(computer program product)으로도 구현될 수 있다.Some embodiments may also be implemented in the form of a recording medium containing instructions executable by a computer, such as program modules executed by a computer. Computer-readable media can be any available media that can be accessed by a computer and includes both volatile and nonvolatile media, removable and non-removable media. In addition, computer-readable media may include both computer storage media and communication media. Computer storage media includes both volatile and nonvolatile, removable and non-removable media implemented in any method or technology for storage of information such as computer readable instructions, data structures, program modules or other data. Communication media typically includes computer readable instructions, data structures, program modules, or other data in a modulated data signal such as a carrier wave, or other transport mechanism, and includes any information delivery media. Also, some embodiments may be implemented as a computer program or computer program product comprising instructions executable by a computer, such as a computer program executed by a computer.

이상에서 본 발명의 실시예에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속한다.Although the embodiments of the present invention have been described in detail above, the scope of the present invention is not limited thereto. belong to the scope of the right.

Claims

In the method for the eye movement measurement device to measure the user's eye movement,
obtaining guide contents for inducing the user's eye movement from an external device;
outputting the obtained guide content;
identifying the position of the user's gaze with respect to the output guide content;
generating a movement path of the user's gaze based on the identified location of the user's gaze; and
transmitting information on the generated movement path to the external device; including,
The step of acquiring the guide content is
obtaining guide route contents including at least one guide route from the external device; and
obtaining guide shape contents including at least one guide shape from the external device; includes,
The guide shape content includes a blinking guide shape that blinks for a certain time,
The guide route content and the guide shape content are virtual reality content,
the method
When acquiring the guide route content as the guide content,
determining a difference path between the generated moving path and the guide path; and
determining an area corresponding to the difference path by integrating the determined difference path; further comprising,
the method
identifying the number of contact points where the generated movement path and the guide path meet each other; further comprising,
the method
identifying the user as a patient with hepatic encephalopathy in consideration of whether the determined area is greater than a preset critical area and whether the number of contacts is greater than or equal to a preset threshold; A method further comprising:

delete

According to claim 1,
The guide path content includes a guide path including at least one of a linear, curved, or dotted line, and the guide-shaped content includes at least one guide among a dotted surface, a colored static guide shape, and a colored dynamic guide shape. A method comprising a shape.

According to claim 1,
The method, characterized in that the guide route content and the guide shape content are virtual reality content implemented in a virtual environment including at least one of virtual reality, augmented reality, and mixed reality.

The method of claim 1, wherein the outputting of the guide content comprises:
outputting guide information and examination information for measuring the user's eye movement according to a preset order; A method further comprising:

According to claim 1, wherein the step of identifying the position of the user's gaze
measuring the reflected light by obtaining a sensing value of the reflected light reflected by the light emitted from the light source being reflected by the retina of the user's eye using a light detection sensor in the eye movement measuring device;
generating a first eye image of the user's left eye and a second eye image of the user's right eye;
By using the boundary of the user's eye region in the first eye image and the second eye image identified based on pixel values of the generated first eye image and the second eye image, and preset reference position information, the first eye determining a motion vector and a second eye motion vector; and
identifying the position of the user's gaze by weighting the determined first eye motion vector and the second eye motion vector; A method comprising

The method of claim 6, wherein the determining of the first eye motion vector and the second eye motion vector comprises:
determining position coordinates on the first eyeball image of a boundary of the user eye region identified based on pixel values in the first eyeball image as first eyeball position information;
determining, as second eye position information, a position coordinate on the second eye image of a boundary of the user eye region identified based on a pixel value in the second eye image;
determining, as the first eye movement vector, a difference between preset reference position information, which is a coordinate value determined based on the position information of both eyes on the user's face, and the first eye position information; and
determining a difference between the preset reference position information and the second eye position information as the second eye movement vector; A method comprising

delete

The method of claim 1, wherein generating the movement path of the user's gaze comprises:
storing the identified position of the user's gaze at a preset time interval; and
generating a movement path of the user's gaze by accumulating and displaying the stored location of the user's gaze at the time interval; A method comprising

delete

In the eye movement measuring device for measuring the user's eye movement,
light source;
at least one lens;
display;
network interface;
a memory storing one or more instructions; and
at least one processor executing the one or more instructions; including,
The at least one processor by executing the one or more instructions,
Obtaining guide contents, including guide path contents including at least one guide path for inducing the user's eye movement from an external device, and guide shape contents including at least one guide shape,
output the obtained guide content,
Identifies the position of the user's gaze with respect to the output guide content,
Based on the identified location of the user's gaze, generating a movement path of the user's gaze,
Transmitting information on the generated movement path to the external device,
The guide shape content includes a blinking guide shape that blinks for a certain time,
The guide route content and the guide shape content are virtual reality content,
the at least one processor
determining a difference path between the generated moving path and the guide path,
By integrating the determined difference path, an area corresponding to the difference path is determined,
Identifies the number of contact points where the generated movement path and the guide path meet each other,
An eye movement measuring apparatus for identifying the user as a patient with hepatic encephalopathy in consideration of whether the determined area is greater than a preset threshold area and whether the number of contacts is equal to or greater than a preset threshold.

In the method for the eye movement measurement device to measure the user's eye movement,
obtaining guide contents for inducing the user's eye movement from an external device;
outputting the obtained guide content;
identifying the position of the user's gaze with respect to the output guide content;
generating a movement path of the user's gaze based on the identified location of the user's gaze; and
transmitting information on the generated movement path to the external device; including,
The step of acquiring the guide content is
obtaining guide route contents including at least one guide route from the external device; and
obtaining guide shape contents including at least one guide shape from the external device; includes,
The guide shape content includes a blinking guide shape that blinks for a certain time,
The guide route content and the guide shape content are virtual reality content,
the method
When acquiring the guide route content as the guide content,
determining a difference path between the generated moving path and the guide path; and
determining an area corresponding to the difference path by integrating the determined difference path; further comprising,
the method
identifying the number of contact points where the generated movement path and the guide path meet each other; further comprising,
the method
identifying the user as a patient with hepatic encephalopathy in consideration of whether the determined area is greater than a preset critical area and whether the number of contacts is greater than or equal to a preset threshold; A computer-readable recording medium in which a program for performing the method is stored, further comprising a.