KR20200108721A - Apparatus and method for measuring angle of strabismus - Google Patents

Apparatus and method for measuring angle of strabismus Download PDF

Info

Publication number
KR20200108721A
KR20200108721A KR1020190027754A KR20190027754A KR20200108721A KR 20200108721 A KR20200108721 A KR 20200108721A KR 1020190027754 A KR1020190027754 A KR 1020190027754A KR 20190027754 A KR20190027754 A KR 20190027754A KR 20200108721 A KR20200108721 A KR 20200108721A
Authority
KR
South Korea
Prior art keywords
image
eyeball
target
eye
gaze
Prior art date
Application number
KR1020190027754A
Other languages
Korean (ko)
Other versions
KR102224209B1 (en
Inventor
허환
박규해
미아오이난
전준영
Original Assignee
전남대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 전남대학교산학협력단 filed Critical 전남대학교산학협력단
Priority to KR1020190027754A priority Critical patent/KR102224209B1/en
Priority to PCT/KR2019/004103 priority patent/WO2020184775A1/en
Publication of KR20200108721A publication Critical patent/KR20200108721A/en
Application granted granted Critical
Publication of KR102224209B1 publication Critical patent/KR102224209B1/en

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/113—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for determining or recording eye movement

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Ophthalmology & Optometry (AREA)
  • Biomedical Technology (AREA)
  • Human Computer Interaction (AREA)
  • Medical Informatics (AREA)
  • Physics & Mathematics (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Eye Examination Apparatus (AREA)

Abstract

Disclosed are a strabismus angle measurement apparatus using a three-dimensional (3D) image displaying a virtual target and a strabismus angle measurement method thereof. According to one embodiment of the present invention, the strabismus angle measurement apparatus comprises: an image display unit displaying a 3D target image including a target; an eyeball photographing unit capturing the eyeball of a patient who stares the 3D target image; a gaze tracking unit determining the gaze position of a first eyeball in a reference image capturing the first eyeball of the patient when a second image displayed to a second eyeball of the patient is blocked in the 3D target image and a comparative image capturing the first eyeball of a patient when a first image displayed to the first eyeball of the patient is blocked in the 3D target image; an image control unit determining whether the gaze position of the first eyeball in the comparative image is matched with the same in the reference image and, when the gaze positions are not matched, moving the position of the target until the gaze position of the first eyeball in the comparative image is matched with the same in the reference image; and a strabismus angle determination unit determining a strabismus angle based on the initial position and final positions of the target when the gaze position of the first eyeball in the comparative image is matched with the same in the reference image.

Description

사시각 측정 장치 및 방법{APPARATUS AND METHOD FOR MEASURING ANGLE OF STRABISMUS}Apparatus and method for measuring oblique angle {APPARATUS AND METHOD FOR MEASURING ANGLE OF STRABISMUS}

본 발명의 실시예들은 사시각 측정 기술과 관련된다.Embodiments of the present invention relate to a deviation angle measurement technique.

사시는 양쪽 눈의 시선이 똑바로 한 물체를 향하지 못하는 질환으로 정확한 원인은 아직 밝혀지지 않고 있다. 사시는 소아기에 흔히 나타나는 질환으로 약 100명당 4명의 비율로 나타나고 있으며, 동공이 안쪽으로 돌아가는 내사시, 바깥쪽으로 돌아가는 외사시, 동공이 위로 올라가는 상사시, 동공이 아래로 내려가는 하사시 등으로 구분된다. Strabismus is a disease in which the eyes of both eyes cannot point straight at an object, and the exact cause has not yet been identified. Strabismus is a common disease in childhood and appears at a rate of about 4 people per 100 people, and is divided into esotropia in which the pupil returns to the inside, exotropia that returns to the outside, superior strabismus in which the pupil rises, and inferior strabismus in which the pupil descends.

한편, 사시는 조기에 치료되지 않으면, 사시인 눈이 거의 쓰이지 않는 약시 상태가 될 수 있으므로 사시를 조기에 진단하고 교정하는 것은 매우 중요하다. 사시 수술에 있어서, 정확한 사시각 측정이 수술의 성패를 좌우하므로 안구의 움직임을 분석하여 객관적이고 정확한 사시각 도출이 필수적이다. On the other hand, if strabismus is not treated early, it is very important to diagnose and correct strabismus early because it can lead to amblyopia in which strabismus eyes are rarely used. In strabismus surgery, since accurate measurement of the deviation angle determines the success or failure of the operation, it is essential to derive an objective and accurate deviation angle by analyzing the movement of the eyeball.

대한민국 등록특허공보 제10-0612586호 (2007.12.04. 공고)Republic of Korea Patent Publication No. 10-0612586 (2007.12.04. Announcement)

본 발명의 실시예들은 가상의 표적을 표시하는 3차원 입체 영상을 이용한 사시각 측정 장치 및 방법을 제공하기 위한 것이다.Embodiments of the present invention are to provide an apparatus and method for measuring a perspective angle using a 3D stereoscopic image displaying a virtual target.

본 발명의 일 실시예에 따른 사시각 측정 장치는, 표적을 포함하는 3차원 표적 영상을 표시하는 영상 표시부; 상기 3차원 표적 영상을 응시하는 피 검사자의 안구를 촬영하는 안구 촬영부; 상기 3차원 표적 영상 중 상기 피 검사자의 제2 안구에 대해 표시되는 제2 영상을 차단한 상태에서 상기 피 검사자의 제1 안구를 촬영한 기준 영상 및 상기 3차원 표적 영상 중 상기 제1 안구에 대해 표시되는 제1 영상을 차단한 상태에서 상기 제1 안구를 촬영한 비교 영상 각각에서 상기 제1 안구의 시선 위치를 결정하는 시선 추적부; 상기 비교 영상과 상기 기준 영상에서 상기 제1 안구의 시선 위치가 일치하는지 여부를 판단하고, 일치하지 않는 경우 상기 비교 영상에서 상기 제1 안구의 시선 위치가 상기 기준 영상에서 상기 제1 안구의 시선 위치와 일치할 때까지 상기 표적의 위치를 이동시키는 영상 제어부; 및 상기 비교 영상에서 상기 제1 안구의 시선 위치가 상기 기준 영상에서 상기 제1 안구의 시선 위치와 일치된 경우, 상기 표적의 초기 위치 및 최종 위치에 기초하여 사시각을 결정하는 사시각 결정부를 포함한다.An apparatus for measuring a deviation angle according to an embodiment of the present invention includes: an image display unit that displays a 3D target image including a target; An eye photographing unit for photographing an eyeball of a subject gazing at the 3D target image; The first eyeball of the 3D target image and a reference image photographing the first eye of the test subject while blocking the second image displayed for the second eye of the test subject among the 3D target images A gaze tracking unit configured to determine a gaze position of the first eyeball in each of the comparison images taken of the first eyeball while blocking the displayed first image; It is determined whether the gaze position of the first eyeball in the comparison image and the reference image coincide, and if not, the gaze position of the first eyeball in the comparison image is the gaze position of the first eyeball in the reference image An image control unit for moving the position of the target until it coincides with; And a deviation angle determining unit for determining a deviation angle based on an initial position and a final position of the target when the position of the first eyeball in the comparison image coincides with the position of the first eyeball in the reference image. do.

상기 제1 안구의 시선 위치는, 상기 제1 안구의 동공 중심 위치일 수 있다.The gaze position of the first eyeball may be a pupil center position of the first eyeball.

상기 시선 추적부는, 상기 제1 영상을 차단한 상태에서 상기 제1 안구를 촬영한 영상 중 기 설정된 크기 이상 눈을 뜨고 있는 영상을 상기 비교 영상으로 결정할 수 있다.The gaze tracker may determine an image of the first eyeball photographed while the first image is blocked as the comparison image.

상기 시선 추적부는, 상기 제1 영상을 차단한 상태에서 상기 제1 안구를 촬영한 각 영상과 상기 기준 영상 사이의 차이에 기초하여 상기 비교 영상을 결정할 수 있다.The gaze tracker may determine the comparison image based on a difference between each image of the first eyeball and the reference image in a state in which the first image is blocked.

상기 영상 제어부는, 퍼지 논리(Fuzzy logic)에 기초하여 상기 표적의 위치를 이동시킬 수 있다.The image controller may move the position of the target based on fuzzy logic.

상기 사시각 결정부는, 상기 초기 위치 및 상기 최종 위치에 기초하여 상기 표적의 이동 거리를 산출하고, 상기 이동 거리를 이용하여 상기 사시각을 결정할 수 있다.The deviation angle determination unit may calculate a movement distance of the target based on the initial position and the final position, and determine the deviation angle using the movement distance.

본 발명의 일 실시예에 따른 사시각 측정 방법은, (a) 표적을 포함하는 3차원 표적 영상을 표시하는 단계; (b) 상기 3차원 표적 영상 중 피 검사자의 제2 안구에 대해 표시되는 상기 제2 영상을 차단한 상태에서 상기 피 검사자의 제1 안구를 촬영한 기준 영상을 획득하는 단계; (c) 상기 기준 영상에서 상기 제1 안구의 시선 위치를 결정하는 단계; (d) 상기 제2 영상에 대한 차단을 해제하고, 상기 3차원 표적 영상 중 상기 제1 안구에 대해 표시되는 제1 영상을 차단한 상태에서 상기 제1 안구를 촬영한 비교 영상을 획득하는 단계; (e) 상기 비교 영상에서 상기 제1 안구의 시선 위치를 결정하는 단계; (f) 상기 비교 영상과 상기 기준 영상에서 상기 제1 안구의 시선 위치가 일치하는지 여부를 판단하는 단계; (g) 상기 비교 영상과 상기 기준 영상에서 상기 제1 안구의 시선 위치가 일치하지 않는 경우, 상기 표적의 위치를 이동시키는 단계; 및 (h) 상기 비교 영상과 상기 기준 영상에서 상기 제1 안구의 시선 위치가 일치된 경우, 상기 표적의 초기 위치 및 최종 위치에 기초하여 사시각을 결정하는 단계를 포함하되, 상기 (d) 단계 내지 상기 (g) 단계는 상기 비교 영상과 상기 기준 영상에서 상기 제1 안구의 시선 위치가 일치할 때까지 반복 수행된다.A method for measuring a deviation angle according to an embodiment of the present invention includes the steps of: (a) displaying a 3D target image including a target; (b) acquiring a reference image photographing the first eye of the test subject while blocking the second image displayed for the second eye of the test subject among the 3D target images; (c) determining a gaze position of the first eyeball in the reference image; (d) releasing the blocking of the second image and obtaining a comparison image of the first eyeball while blocking the first image displayed for the first eyeball among the 3D target images; (e) determining a gaze position of the first eyeball in the comparison image; (f) determining whether the line of sight positions of the first eyeball in the comparison image and the reference image coincide; (g) moving the position of the target when the position of the first eyeball gaze does not match in the comparison image and the reference image; And (h) determining a bevel angle based on an initial position and a final position of the target when the position of the eyeball of the first eyeball in the comparison image and the reference image match, wherein step (d) To the step (g) is repeatedly performed until the position of the first eyeball in the comparison image and the reference image coincide.

상기 제1 안구의 시선 위치는, 상기 제1 안구의 동공 중심 위치일 수 있다.The gaze position of the first eyeball may be a pupil center position of the first eyeball.

상기 (d) 단계는, 상기 제1 영상을 차단한 상태에서 상기 제1 안구를 촬영한 영상 중 기 설정된 크기 이상 눈을 뜨고 있는 영상을 상기 비교 영상으로 결정할 수 있다.In the step (d), an image of the first eyeball being photographed while the first image is blocked may be determined as the comparison image.

상기 (d) 단계는, 상기 제1 영상을 차단한 상태에서 상기 제1 안구를 촬영한 각 영상과 상기 기준 영상 사이의 차이에 기초하여 상기 비교 영상을 결정할 수 있다.In the step (d), the comparison image may be determined based on a difference between each image of the first eyeball and the reference image in a state in which the first image is blocked.

상기 (g) 단계는, 퍼지 논리(Fuzzy logic)에 기초하여 상기 표적의 위치를 이동시킬 수 있다.In the step (g), the position of the target may be moved based on a fuzzy logic.

상기 (h) 단계는, 상기 초기 위치 및 상기 최종 위치에 기초하여 상기 표적의 이동 거리를 산출하는 단계; 및 상기 이동 거리를 이용하여 상기 사시각을 결정하는 단계를 포함할 수 있다.The step (h) may include calculating a moving distance of the target based on the initial position and the final position; And determining the bevel angle using the moving distance.

본 발명의 실시예들에 따르면, 가상의 표적을 표시하는 3차원 표적 영상의 좌안용 영상과 우안용 영상을 교대로 차단하면서 피 검사자의 안구를 촬영하여 시선 위치를 결정하되, 표적의 위치 변화에 따른 안구의 시선 위치 변화를 이용하여 사시각을 결정함으로써 정확하고 신속한 사시각 측정이 가능하게 된다.According to embodiments of the present invention, while alternately blocking the left-eye image and the right-eye image of a three-dimensional target image displaying a virtual target, the eyeball of the test subject is photographed to determine the gaze position, It is possible to accurately and quickly measure the angle of view by determining the angle of view using the change in the position of the eyeball's line of sight.

도 1은 본 발명의 일 실시예에 따른 사시각 측정 장치의 구성도
도 2는 본 발명의 일 실시예에 따른 영상 표시부의 일 형태를 나타낸 예시도
도 3은 본 발명의 일 실시예에 따른 비교 영상 결정 과정을 설명하기 위한 도면
도 4 내지 도 7은 시선 위치에 따른 표적 이동 과정을 설명하기 위한 예시도
도 8은 본 발명의 일 실시예에 따른 사시각 결정을 설명하기 위한 예시도
도 9는 본 발명의 일 실시예에 따른 사시각 측정 방법의 순서도
도 10은 예시적인 실시예들에서 사용되기에 적합한 컴퓨팅 장치를 포함하는 컴퓨팅 환경을 예시하여 설명하기 위한 블록도1 is a configuration diagram of a perspective angle measuring apparatus according to an embodiment of the present invention
2 is an exemplary view showing a form of an image display unit according to an embodiment of the present invention
3 is a diagram for explaining a comparison image determination process according to an embodiment of the present invention
4 to 7 are exemplary diagrams for explaining a process of moving a target according to a gaze position
8 is an exemplary view for explaining a deviation angle determination according to an embodiment of the present invention
9 is a flowchart of a method for measuring a bevel angle according to an embodiment of the present invention
10 is a block diagram illustrating and describing a computing environment including a computing device suitable for use in example embodiments.

이하, 도면을 참조하여 본 발명의 구체적인 실시형태를 설명하기로 한다. 이하의 상세한 설명은 본 명세서에서 기술된 방법, 장치 및/또는 시스템에 대한 포괄적인 이해를 돕기 위해 제공된다. 그러나 이는 예시에 불과하며 본 발명은 이에 제한되지 않는다.Hereinafter, a specific embodiment of the present invention will be described with reference to the drawings. The following detailed description is provided to aid in a comprehensive understanding of the methods, devices, and/or systems described herein. However, this is only an example and the present invention is not limited thereto.

본 발명의 실시예들을 설명함에 있어서, 본 발명과 관련된 공지기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략하기로 한다. 그리고, 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다. 상세한 설명에서 사용되는 용어는 단지 본 발명의 실시예들을 기술하기 위한 것이며, 결코 제한적이어서는 안 된다. 명확하게 달리 사용되지 않는 한, 단수 형태의 표현은 복수 형태의 의미를 포함한다. 본 설명에서, "포함" 또는 "구비"와 같은 표현은 어떤 특성들, 숫자들, 단계들, 동작들, 요소들, 이들의 일부 또는 조합을 가리키기 위한 것이며, 기술된 것 이외에 하나 또는 그 이상의 다른 특성, 숫자, 단계, 동작, 요소, 이들의 일부 또는 조합의 존재 또는 가능성을 배제하도록 해석되어서는 안 된다.In describing the embodiments of the present invention, when it is determined that a detailed description of known technologies related to the present invention may unnecessarily obscure the subject matter of the present invention, detailed description thereof will be omitted. In addition, terms to be described later are terms defined in consideration of functions in the present invention and may vary according to the intention or custom of users or operators. Therefore, the definition should be made based on the contents throughout this specification. The terms used in the detailed description are only for describing embodiments of the present invention, and should not be limiting. Unless explicitly used otherwise, expressions in the singular form include the meaning of the plural form. In this description, expressions such as "comprising" or "feature" are intended to refer to certain features, numbers, steps, actions, elements, some or combination thereof, and one or more other than those described. It should not be construed to exclude the presence or possibility of other features, numbers, steps, actions, elements, any part or combination thereof.

도 1은 본 발명의 일 실시예에 따른 사시각 측정 장치의 구성도이다. 1 is a block diagram of an apparatus for measuring a perspective angle according to an embodiment of the present invention.

도 1을 참조하면, 본 발명의 일 실시예에 따른 사시각 측정 장치(100)는 영상 표시부(110), 안구 촬영부(120), 시선 추적부(130), 영상 제어부(140) 및 사시각 결정부(150)를 포함한다. Referring to FIG. 1, a deviation angle measuring apparatus 100 according to an embodiment of the present invention includes an image display unit 110, an eye photographing unit 120, a gaze tracking unit 130, an image control unit 140, and a deviation angle. It includes a determination unit 150.

영상 표시부(110)는 표적을 포함하는 3차원 표적 영상을 표시한다. The image display unit 110 displays a 3D target image including a target.

본 발명의 일 실시예에 따르면, 3차원 표적 영상은 피 검사자의 좌안에 대해 표시되는 좌안용 영상과 피 검사자의 우안에 대해 표시되는 우안용 영상을 이용하여 피 검사자가 응시해야 할 가상의 표적을 3차원적으로 표시하도록 구성된 3차원 입체 영상일 수 있다. According to an embodiment of the present invention, the 3D target image uses an image for the left eye displayed for the left eye of the test subject and an image for the right eye displayed for the right eye of the test subject. It may be a 3D stereoscopic image configured to be displayed in 3D.

구체적으로, 영상 표시부(110)는 도 2에 도시된 예와 같이 좌안용 영상과 우안용 영상을 이용하여 3차원 입체 영상을 디스플레이하도록 구성된 HMD(Head Mounted Display)(210)의 형태로 구현될 수 있다. 이 경우, 영상 표시부(110)는 피 검사자의 좌안에 대해 좌안용 영상을 표시하는 디스플레이 화면(220)과 피 검사자의 우안에 대해 우안용 영상을 표시하는 디스플레이 화면(230)을 포함하는 2개의 디스플레이 화면을 통해 3차원 입체 영상을 디스플레이할 수 있다.Specifically, the image display unit 110 may be implemented in the form of a Head Mounted Display (HMD) 210 configured to display a 3D stereoscopic image using an image for the left eye and an image for the right eye, as shown in FIG. 2. have. In this case, the image display unit 110 includes two displays including a display screen 220 that displays an image for the left eye of the test subject's left eye and a display screen 230 that displays an image for the right eye of the test subject's right eye. A three-dimensional image can be displayed through the screen.

한편, 영상 표시부(110)의 형태는 반드시 도 2에 도시된 예에 한정되는 것은 아니며, 도 2에 도시된 예 외에도 3차원 입체 영상을 표시할 수 있는 다양한 형태로 구현될 수 있다. Meanwhile, the shape of the image display unit 110 is not necessarily limited to the example illustrated in FIG. 2, and may be implemented in various forms capable of displaying a 3D stereoscopic image in addition to the example illustrated in FIG. 2.

안구 촬영부(120)는 3차원 표적 영상을 응시하는 피 검사자의 안구를 촬영한다. The eye photographing unit 120 photographs the eyeball of the test subject gazing at the 3D target image.

구체적으로, 본 발명의 일 실시예에 따르면, 안구 촬영부(120)는 피 검사자의 좌안을 연속적으로 촬영하기 위한 하나 이상의 카메라 및 피 검사자의 우안을 연속적으로 촬영하기 위한 하나 이상의 카메라를 포함할 수 있다. 이때, 각 카메라는 예를 들어, 적외선 카메라일 수 있으나, 반드시 특정한 형태의 카메라로 한정되는 것은 아니다.Specifically, according to an embodiment of the present invention, the eye photographing unit 120 may include one or more cameras for continuously photographing the left eye of the test subject and one or more cameras for continuously photographing the right eye of the test subject. have. In this case, each camera may be, for example, an infrared camera, but is not necessarily limited to a specific type of camera.

한편, 각 카메라는 좌안 또는 우안의 전방에 배치되어 각 안구에 대한 안구 촬영 영상을 생성할 수 있다. 구체적으로, 본 발명의 일 실시예에 따르면, 영상 표시부(110)가 예를 들어, 도 2에 도시된 HMD(210)의 형태로 구현된 경우, 우안을 촬영하기 위한 카메라는 HMD(210) 내에서 우안용 영상을 표시하는 디스플레이 화면(220)과 피 검자자의 우안 사이에 배치될 수 있으며, 좌안을 촬영하기 위한 카메라는 HMD(210) 내에서 좌안용 영상을 표시하는 디스플레이 화면(230)과 피 검사자의 좌안 사이에 배치될 수 있다. 그러나, 본 발명의 실시예에 있어서, 카메라의 위치는 반드시 특정한 위치로 한정되는 것은 아니며, 영상 표시부(110)의 형태 등을 고려하여 실시예에 따라 다양한 위치에 배치될 수 있다.Meanwhile, each camera may be disposed in front of the left eye or the right eye to generate an eye photographing image for each eye. Specifically, according to an embodiment of the present invention, when the image display unit 110 is implemented in the form of, for example, the HMD 210 shown in FIG. 2, the camera for photographing the right eye is within the HMD 210 It may be disposed between the display screen 220 displaying the image for the right eye and the right eye of the subject, and the camera for photographing the left eye is the display screen 230 and the display screen 230 displaying the image for the left eye in the HMD 210. It can be placed between the examiner's left eye. However, in the exemplary embodiment of the present invention, the position of the camera is not necessarily limited to a specific position, and may be disposed at various positions according to exemplary embodiments in consideration of the shape of the image display unit 110.

시선 추적부(130)는 영상 표시부(110)에 의해 표시되는 3차원 표적 영상의 좌안용 영상 및 우안용 영상 중 하나를 교대로 차단하면서 연속적으로 촬영된 각 안구에 대한 안구 촬영 영상에서 안구의 시선 위치를 결정한다. The gaze tracking unit 130 alternately blocks one of the left eye image and the right eye image of the 3D target image displayed by the image display unit 110, and the eye gaze in the eyeball photographed image for each eyeball continuously photographed. Determine the location.

이때, 본 발명의 일 실시예에 따르면, 좌안용 영상 및 우안용 영상 중 하나에 대한 차단은 예를 들어, 차단할 영상 대신 검정색 영상을 표시함으로써 수행될 수 있다. 예를 들어, 좌안용 영상에 대한 차단은 좌안용 영상 대신 검정색 영상을 표시함으로써 수행될 수 있다.In this case, according to an embodiment of the present invention, blocking of one of the left-eye image and the right-eye image may be performed by, for example, displaying a black image instead of an image to be blocked. For example, blocking of the left-eye image may be performed by displaying a black image instead of the left-eye image.

또한, 본 발명의 다른 실시예에 따르면, 좌안용 영상 및 우안용 영상 중 하나에 대한 차단은 차단할 영상을 표시하는 디스플레이 화면과 피 검사자의 안구 사이에서 개폐되는 별도의 차폐막을 통해 수행될 수 잇다. 예를 들어, 좌안용 영상에 대한 차단은 좌안용 영상을 표시하는 디스플레이 화면과 피 검사자의 좌안 사이에서 피 검사자의 좌안의 시선을 차단하는 차폐막을 통해 수행될 수 있다.In addition, according to another embodiment of the present invention, blocking of one of the left-eye image and the right-eye image may be performed through a separate shielding film that opens and closes between a display screen displaying an image to be blocked and an eye of a subject. For example, blocking of the left eye image may be performed through a shielding film that blocks the gaze of the left eye of the examinee between the display screen displaying the left eye image and the left eye of the examinee.

한편, 좌안용 영상 및 우안용 영상에 대한 차단 방식은 상술한 예 외에도 실시예에 따라 다양한 방식으로 수행될 수 있으며, 반드시 특정한 방식으로 한정되는 것은 아니다.Meanwhile, the blocking method for the left-eye image and the right-eye image may be performed in various ways according to embodiments in addition to the above-described examples, and is not necessarily limited to a specific method.

한편, 본 발명의 일 실시예에 따르면, 시선 추적부(130)는 3차원 표적 영상을 구성하는 좌안용 영상 및 우안용 영상 중 피 검사자의 제2 안구에 대해 표시되는 영상만을 차단한 상태에서 제1 안구를 연속적으로 촬영한 영상들 중에서 기준 영상을 결정하고, 결정된 기준 영상에서 제1 안구의 시선 위치를 결정할 수 있다. 이후, 시선 추적부(130)는 좌안용 영상 및 우안용 영상 중 제1 안구에 대해 표시되는 영상만을 차단한 상태에서 제1 안구를 연속적으로 촬영한 영상들 중 하나 이상을 비교 영상으로 결정하고, 결정된 각 비교 영상에서 제1 안구의 시선 위치를 결정할 수 있다.Meanwhile, according to an embodiment of the present invention, the gaze tracking unit 130 blocks only the image displayed for the second eye of the test subject among the left eye image and the right eye image constituting the 3D target image. 1 A reference image may be determined among images continuously photographed of the eyeball, and a gaze position of the first eye may be determined from the determined reference image. Thereafter, the gaze tracker 130 determines one or more of the images continuously photographed of the first eyeball while blocking only the image displayed for the first eye among the left-eye image and the right-eye image as a comparison image, In each of the determined comparison images, a gaze position of the first eye may be determined.

이때, 시선 추적부(130)는 예를 들어, 좌안용 영상 및 우안용 영상 중 제2 안구에 대해 표시되는 영상만을 차단한 상태에서 제1 안구를 연속적으로 촬영한 영상들 중 제1 안구의 크기가 최대(즉, 눈을 완전히 뜬 상태)인 영상을 기준 영상으로 결정할 수 있다. At this time, the gaze tracking unit 130 is, for example, the size of the first eyeball among images continuously photographed with the first eyeball while blocking only the image displayed for the second eyeball among the left-eye image and the right-eye image The image with the largest (that is, the eye completely open) may be determined as the reference image.

또한, 시선 추적부(130)는 좌안용 영상 및 우안용 영상 중 제1 안구에 대해 표시되는 영상만을 차단한 상태에서 제1 안구를 연속적으로 촬영한 영상들 중 기 설정된 크기 이상 눈을 뜨고 있는 하나 이상의 영상을 비교 영상으로 결정할 수 있다. 구체적으로, 시선 추적부(130)는 제1 안구에 대해 표시되는 영상만을 차단한 상태에서 제1 안구를 연속적으로 촬영한 영상들 각각과 기준 영상 사이의 차이에 기초하여 비교 영상을 결정할 수 있다.In addition, the gaze tracking unit 130 is one of the images continuously photographed of the first eyeball while blocking only the image displayed for the first eye among the left-eye image and the right-eye image. The above image may be determined as a comparison image. Specifically, the eye tracker 130 may determine a comparison image based on a difference between each of the images continuously photographed of the first eyeball and the reference image while only the image displayed for the first eyeball is blocked.

구체적인 예로, 도 3은 본 발명의 일 실시예에 따른 비교 영상 결정 과정을 설명하기 위한 도면이다.As a specific example, FIG. 3 is a diagram illustrating a process of determining a comparison image according to an embodiment of the present invention.

도 3을 참조하면, 우선, 시선 추적부(130)는 기준 영상(310)과 제1 안구에 대해 표시되는 영상만을 차단한 상태에서 제1 안구를 연속적으로 촬영한 각 프레임의 영상들(320, 330) 사이의 차이 영상(340, 350)을 생성할 수 있다. Referring to FIG. 3, first, the gaze tracking unit 130 blocks images 320 of each frame continuously photographing the first eye while only blocking the reference image 310 and the image displayed for the first eye. Difference images 340 and 350 between 330 may be generated.

이후, 시선 추적부(130)는 생성된 각 차이 영상(340, 350)에서 전체 픽셀의 강도 값의 합(또는 평균)을 산출하고, 산출된 값이 기 설정된 임계값 이하인 프레임의 영상을 비교 영상으로 결정할 수 있다. Thereafter, the gaze tracker 130 calculates the sum (or average) of intensity values of all pixels from the generated difference images 340 and 350, and compares the image of the frame whose calculated value is less than a preset threshold. Can be determined by

구체적으로, 도시된 예에서, 제1 안구가 완전히 감겨진 상태에서 촬영된 영상(320)과 기준 영상(310) 사이의 차이 영상(340)에서 산출된 전체 픽셀의 강도 값의 합이 임계 값을 초과하므로, 해당 영상(320)은 노이즈로서 제거될 수 있다. 반면, 제1 안구가 완전히 떠진 상태에서 촬영된 영상(330)과 기준 영상(310) 사이의 차이 영상(350)에서 산출된 전체 픽셀의 강도 값의 합이 임계 값 미만이므로, 해당 영상(330)은 비교 영상으로 결정될 수 있다.Specifically, in the illustrated example, the sum of the intensity values of all pixels calculated in the difference image 340 between the image 320 and the reference image 310 taken while the first eyeball is completely closed is the threshold value. Therefore, the image 320 may be removed as noise. On the other hand, since the sum of the intensity values of all pixels calculated from the difference image 350 between the image 330 and the reference image 310 taken while the first eyeball is completely open is less than the threshold value, the corresponding image 330 May be determined as a comparison image.

한편, 본 발명의 일 실시예에 따르면, 시선 추적부(130)는 기준 영상 및 비교 영상 각각에서 동공의 중심을 시선 위치로 결정할 수 있다.Meanwhile, according to an embodiment of the present invention, the gaze tracking unit 130 may determine the center of the pupil as the gaze position in each of the reference image and the comparison image.

구체적으로, 시선 추적부(130)는 예를 들어, 고속 방사상 대칭 변환(Fast Radial Symmetry Transform) 기법을 이용하여 기준 영상 및 비교 영상 각각에서 홍채 후보 영역을 추정할 수 있다. 이후, 시선 추적부(130)는 예를 들어, 캐니 에지 검출기(Canny Edge Detector)와 같은 에지 검출 기법을 이용하여 각 영상의 외곽선을 추출한 후, 예를 들어, 들로네 삼각분할(Delaunay Triangulation) 기법을 통해 외곽선의 점들을 연결한 복수의 삼각형을 생성할 수 있다. 이후, 시선 추적부(130)는 생성된 각 삼각형을 이루는 선들 중 타원 형태를 지닌 부분을 검출하고, 검출된 부분을 홍채 위치로 추정할 수 있다. 한편, 홍채 위치가 추정된 경우, 시선 추적부(130)는 예를 들어, 추정된 홍채 위치를 중심으로 타원 정합(ellipse fitting) 기법을 적용하여 동공 영역을 결정하고, 결정된 동공 영역의 중심을 시선 위치로 결정할 수 있다.Specifically, the gaze tracker 130 may estimate an iris candidate region from each of the reference image and the comparison image using, for example, a fast radial symmetric transformation technique. Thereafter, the gaze tracker 130 extracts the outline of each image using an edge detection technique such as a Canny Edge Detector, and then, for example, uses a Delaunay Triangulation technique. Through this, it is possible to create a plurality of triangles connecting the points of the outline. Thereafter, the gaze tracking unit 130 may detect a portion having an ellipse shape among the generated lines constituting each triangle, and estimate the detected portion as the iris position. On the other hand, when the iris position is estimated, the gaze tracking unit 130 determines the pupil region by applying an ellipse fitting technique based on the estimated iris position, and gazes at the center of the determined pupil region. Can be determined by location.

다시 도 1을 참조하면, 영상 제어부(140)는 제1 안구에 대한 기준 영상과 비교 영상에서 제1 안구의 시선 위치가 일치하는지 여부를 파단하고, 일치하지 않는 경우, 비교 영상에서 제1 안구의 시선 위치가 기준 영상에서 제1 안구의 시선 위치와 일치할 때가지 표적의 위치를 이동시킨다.Referring back to FIG. 1, the image controller 140 breaks whether or not the gaze position of the first eyeball in the reference image for the first eye and the comparison image coincide, and if they do not match, the first eyeball in the comparison image The position of the target is moved until the gaze position coincides with the gaze position of the first eyeball in the reference image.

도 4 내지 도 7은 시선 위치에 따른 표적 이동 과정을 설명하기 위한 예시도이다.4 to 7 are exemplary diagrams for explaining a process of moving a target according to a gaze position.

도 4를 참조하면, 우선, 시선 추적부(130)는 3차원 표적 영상에서 표적(410)이 초기 위치(예를 들어, 피 검사자의 정면)에 위치한 상태에서 우안용 영상(420)을 차단한 후 획득된 좌안에 대한 기준 영상(440)에서 좌안의 시선 위치(441)를 결정한다.Referring to FIG. 4, first, the gaze tracking unit 130 blocks the image 420 for the right eye in a state in which the target 410 is located at an initial position (eg, in front of the test subject) in the 3D target image. Then, the gaze position 441 of the left eye is determined from the acquired reference image 440 for the left eye.

이후, 시선 추정부(130)는 도 5에 도시된 예와 같이 표적(410)이 초기 위치에 위치한 상태에서 좌안용 영상(430)을 차단한 후 획득된 좌안에 대한 비교 영상(450)에서 좌안의 시선 위치(451)를 결정한다. 이때, 피 검사자가 사시 환자가 아닌 경우, 좌안용 영상(430)이 차단되더라도 좌안의 시선 위치가 변경되지 않으나, 사시 환자의 경우, 좌안용 영상(430)이 차단된 경우, 도 5에 도시된 비교 영상(450)의 시선 위치(451)와 같이 좌안의 시선 위치가 변경되어 안구 편위가 발생하게 된다.Thereafter, the gaze estimating unit 130 blocks the left eye image 430 while the target 410 is located at the initial position, as shown in FIG. 5, and the left eye in the obtained comparison image 450 for the left eye. The gaze position 451 is determined. At this time, if the subject is not a strabismus patient, the position of the gaze of the left eye does not change even if the left eye image 430 is blocked, but in the case of a strabismus patient, when the left eye image 430 is blocked, as shown in FIG. Like the gaze location 451 of the comparison image 450, the gaze location of the left eye is changed, resulting in an eyeball deviation.

한편, 안구 편위가 발생한 경우, 영상 제어부(140)는 도 6에 도시된 예와 같이 표적(410)의 위치를 이동시킨다. 이때, 시선 추정부(130)는 표적(410)의 위치를 이동시킨 상태에서 획득된 좌안에 대한 비교 영상(460)에서 좌안의 시선 위치(461)를 결정한다. 또한, 영상 제어부(140)는 결정된 시선 위치(461)가 기준 영상(440)의 시선 위치(441)와 일치하지 않는 경우, 표적(410)의 위치를 추가적으로 이동시킨다.On the other hand, when an eyeball deviation occurs, the image controller 140 moves the position of the target 410 as in the example shown in FIG. 6. At this time, the gaze estimating unit 130 determines the gaze position 461 of the left eye from the comparison image 460 for the left eye obtained while the target 410 is moved. In addition, when the determined gaze position 461 does not coincide with the gaze position 441 of the reference image 440, the image controller 140 additionally moves the position of the target 410.

이후, 영상 제어부(140)는 도 7에 도시된 예와 같이 비교 영상(470)에서 좌안의 시선 위치(471)와 기준 영상(440)의 시선 위치(441)가 일치할 때까지 표적(410)의 위치를 이동시킨다.Thereafter, as in the example shown in FIG. 7, the image controller 140 controls the target 410 until the left eye gaze position 471 and the gaze position 441 of the reference image 440 match. Move the position of.

한편, 본 발명의 일 실시예에 따르면, 영상 제어부(140)는 퍼지 논리(Fuzzy logic)에 기초하여 비교 영상에서 제1 안구의 시선 위치가 기준 영상에서 제1 안구의 시선 위치와 일치할 때가지 표적의 위치를 반복적으로 이동시킬 수 있다. On the other hand, according to an embodiment of the present invention, the image control unit 140 is based on a fuzzy logic until the position of the first eyeball in the comparison image coincides with the position of the first eyeball in the reference image. The position of the target can be moved repeatedly.

구체적으로, 영상 제어부(140)는 우선 사전 설정된 안구 편위 정보(예를 들어, 남자 또는 영유아의 평균 안구 지름에 근거한 안구 편위 각도)에 기초하여 표적을 이동시킨 후, 기준 영상과 비교 영상에서 시선 위치의 차이(예를 들어, 동공 중심 사이의 거리)가 0으로 수렴할 때까지 이동거리를 줄여가면서 표적의 위치를 상하좌우로 변경하는 과정을 반복 수행할 수 있다. Specifically, the image controller 140 first moves the target based on pre-set eyeball deviation information (for example, the eyeball deviation angle based on the average eyeball diameter of a male or infant), and then the gaze position in the reference image and the comparison image. It is possible to repeatedly perform the process of changing the position of the target up, down, left, and right while reducing the moving distance until the difference (for example, the distance between the pupil centers) converges to 0.

다시 도 1을 참조하면, 사시각 측정부(150)는 제1 안구에 대한 비교 영상과 기준 영상에서 제1 안구의 시선 위치가 일치하는 경우, 표적의 초기 위치 및 최종 위치에 기초하여 사시각을 결정한다.Referring to FIG. 1 again, the deviation angle measurement unit 150 determines the deviation angle based on the initial position and the final position of the target when the position of the first eyeball in the comparison image and the reference image for the first eye coincide. Decide.

구체적으로, 상술한 바와 같이 안구 편위가 발생한 경우, 영상 제어부(140)는 기준 영상과 비교 영상에서 시선 위치가 일치할 때까지 표적의 위치를 반복적으로 이동시키게 된다. 이때, 표적의 초기 위치는 위치 이동을 시작하기 전 표적의 최초 위치를 의미하며, 최종 위치는 위치 이동을 시작한 이후 기준 영상과 비교 영상에서 시선 위치가 일치할 때 표적의 위치를 의미할 수 있다.Specifically, as described above, when an eyeball deviation occurs, the image controller 140 repeatedly moves the position of the target until the position of the gaze in the reference image and the comparison image coincide. In this case, the initial position of the target refers to the initial position of the target before starting the position movement, and the final position may refer to the position of the target when the gaze position in the reference image and the comparison image coincide with the reference image after starting the position movement.

한편, 본 발명의 일 실시예에 따르면, 사시각 측정부(150)는 표적의 초기 위치와 최종 위치에 기초하여 표적의 이동 거리를 산출하고, 산출된 이동 거리에 기초하여 사시각을 결정할 수 있다. Meanwhile, according to an embodiment of the present invention, the bevel angle measurement unit 150 may calculate a moving distance of the target based on the initial position and the final position of the target, and determine the bevel angle based on the calculated moving distance. .

구체적으로, 도 8은 본 발명의 일 실시예에 따른 사시각 결정을 설명하기 위한 예시도이다.Specifically, FIG. 8 is an exemplary diagram for explaining determination of a deviation angle according to an embodiment of the present invention.

도 8에 도시된 예에서, d1은 표적의 초기 위치와 최종 위치 사이의 좌우 이동 거리, d2는 두 눈 사이의 중심점과 표적의 초기 위치 사이의 거리, PD는 두 눈 사이의 거리, α는 사시각을 나타내며, 사시각은 예를 들어, 아래의 수학식 1을 이용하여 산출될 수 있다.In the example shown in FIG. 8, d 1 is the left and right movement distance between the initial position and the final position of the target, d 2 is the distance between the center point between the two eyes and the initial position of the target, PD is the distance between the two eyes, α Denotes a deviation angle, and the deviation angle may be calculated using, for example, Equation 1 below.

[수학식 1][Equation 1]

Figure pat00001
Figure pat00001

한편, 수학식 1에서 d2는 및 PD는 미리 설정된 값을 이용할 수 있다. 예를 들어, d2는 성인의 평균 수치로 설정될 수 있으며, PD는 보편적으로 수행되는 사시 진단 매뉴얼에 근거하여 6m 또는 0.33m로 설정될 수 있다.Meanwhile, in Equation 1, d 2 and PD may use preset values. For example, d 2 may be set as the average value of an adult, and PD may be set to 6 m or 0.33 m based on a commonly performed strabismus diagnosis manual.

한편, 도 8에 도시된 예는 좌우 사시에 대한 좌우 사시각의 예를 설명하기 위한 것이나, 좌우 사시 외에도 상사시 및 하사시에 대한 상하 사시각도 유사한 방식으로 결정될 수 있다.Meanwhile, the example shown in FIG. 8 is for explaining an example of the left and right strabismus angles for left and right strabismus, but in addition to the left and right strabismus, the vertical angles for upper and lower strabismus may be determined in a similar manner.

도 9는 본 발명의 일 실시예에 따른 사시각 측정 방법의 순서도이다.9 is a flowchart of a method for measuring a deviation angle according to an embodiment of the present invention.

도 9에 도시된 방법은 예를 들어, 도 1에 도시된 사시각 측정 장치(100)에 의해 수행될 수 있다.The method shown in FIG. 9 may be performed, for example, by the perspective angle measuring apparatus 100 shown in FIG. 1.

도 9를 참조하면, 사시각 측정 장치(100)는 우선, 표적을 포함하는 3차원 표적 영상을 표시한다(910).Referring to FIG. 9, the apparatus 100 for measuring a deviation angle first displays a 3D target image including a target (910).

이후, 사시각 측정 장치(100)는 3차원 표적 영상 중 피 검사자의 제2 안구에 대해 표시되는 제2 영상을 차단한 상태에서 피 검사자의 제1 안구를 촬영한 기준 영상을 획득한다(920).Thereafter, the deviation angle measurement apparatus 100 acquires a reference image photographing the first eye of the test subject while blocking the second image displayed for the second eye of the test subject among the 3D target images (920). .

이후, 사시각 측정 장치(100)는 기준 영상에서 제1 안구의 시선 위치를 결정한다(930).Thereafter, the deviation angle measuring apparatus 100 determines the position of the first eyeball in the reference image (930 ).

이후, 사시각 측정 장치(100)는 제2 영상에 대한 차단을 해제하고, 3차원 표적 영상 중 피 검사자의 제1 안구에 대해 표시되는 제1 영상을 차단한 상태에서 제1 안구를 촬영한 비교 영상을 획득한다(940).Thereafter, the deviation angle measurement apparatus 100 releases the blocking of the second image, and the first eyeball is photographed in a state in which the first image displayed for the first eye of the test subject among the 3D target images is blocked. An image is acquired (940).

이후, 사시각 측정 장치(100)는 획득된 비교 영상에서 제1 안구의 시선 위치를 결정한다(950).Thereafter, the deviation angle measuring apparatus 100 determines the position of the first eyeball in the obtained comparison image (950).

이후, 사시각 측정 장치(100)는 비교 영상과 기준 영상에서 제1 안구의 시선 위치가 일치하는지 여부를 판단한다(960).Thereafter, the deviation angle measuring apparatus 100 determines whether the position of the first eyeball in the comparison image and the reference image coincide (960 ).

이때, 제1 안구의 시선 위치가 일치하지 않는 경우, 사시각 측정 장치(100)는 표적의 위치를 이동시키고(970), 시선 위치가 일치할 때까지 940 내지 970단계를 반복 수행한다. In this case, when the position of the first eyeball does not match, the deviation angle measurement apparatus 100 moves the position of the target (970) and repeats steps 940 to 970 until the position of the eyeball matches.

이후, 사시각 측정 장치(100)는 비교 영상과 기준 영상에서 제1 안구의 시선 위치가 일치된 경우, 표적의 초기 위치 및 최종 위치에 기초하여 사시각을 결정한다(980).Thereafter, when the position of the first eyeball is matched in the comparison image and the reference image, the deviation angle measurement apparatus 100 determines the deviation angle based on the initial position and the final position of the target (980 ).

한편, 도 9에 도시된 순서도에서는 상기 방법을 복수 개의 단계로 나누어 기재하였으나, 적어도 일부의 단계들은 순서를 바꾸어 수행되거나, 다른 단계와 결합되어 함께 수행되거나, 생략되거나, 세부 단계들로 나뉘어 수행되거나, 또는 도시되지 않은 하나 이상의 단계가 부가되어 수행될 수 있다.Meanwhile, in the flowchart illustrated in FIG. 9, the method is described by dividing the method into a plurality of steps, but at least some of the steps are performed in a different order, combined with other steps, performed together, omitted, or divided into detailed steps. Or, one or more steps not shown may be added and performed.

도 10은 예시적인 실시예들에서 사용되기에 적합한 컴퓨팅 장치를 포함하는 컴퓨팅 환경을 예시하여 설명하기 위한 블록도이다. 도시된 실시예에서, 각 컴포넌트들은 이하에 기술된 것 이외에 상이한 기능 및 능력을 가질 수 있고, 이하에 기술되지 것 이외에도 추가적인 컴포넌트를 포함할 수 있다.10 is a block diagram illustrating and describing a computing environment including a computing device suitable for use in example embodiments. In the illustrated embodiment, each component may have different functions and capabilities in addition to those described below, and may include additional components in addition to those described below.

도시된 컴퓨팅 환경(10)은 컴퓨팅 장치(12)를 포함한다. 일 실시예에서, 컴퓨팅 장치(12)는 사시각 측정 장치(100)에 포함되는 하나 이상의 컴포넌트일 수 있다.The illustrated computing environment 10 includes a computing device 12. In one embodiment, the computing device 12 may be one or more components included in the oblique angle measurement device 100.

컴퓨팅 장치(12)는 적어도 하나의 프로세서(14), 컴퓨터 판독 가능 저장 매체(16) 및 통신 버스(18)를 포함한다. 프로세서(14)는 컴퓨팅 장치(12)로 하여금 앞서 언급된 예시적인 실시예에 따라 동작하도록 할 수 있다. 예컨대, 프로세서(14)는 컴퓨터 판독 가능 저장 매체(16)에 저장된 하나 이상의 프로그램들을 실행할 수 있다. 상기 하나 이상의 프로그램들은 하나 이상의 컴퓨터 실행 가능 명령어를 포함할 수 있으며, 상기 컴퓨터 실행 가능 명령어는 프로세서(14)에 의해 실행되는 경우 컴퓨팅 장치(12)로 하여금 예시적인 실시예에 따른 동작들을 수행하도록 구성될 수 있다.The computing device 12 includes at least one processor 14, a computer-readable storage medium 16 and a communication bus 18. The processor 14 may cause the computing device 12 to operate according to the exemplary embodiments mentioned above. For example, the processor 14 may execute one or more programs stored in the computer-readable storage medium 16. The one or more programs may include one or more computer-executable instructions, and the computer-executable instructions are configured to cause the computing device 12 to perform operations according to an exemplary embodiment when executed by the processor 14 Can be.

컴퓨터 판독 가능 저장 매체(16)는 컴퓨터 실행 가능 명령어 내지 프로그램 코드, 프로그램 데이터 및/또는 다른 적합한 형태의 정보를 저장하도록 구성된다. 컴퓨터 판독 가능 저장 매체(16)에 저장된 프로그램(20)은 프로세서(14)에 의해 실행 가능한 명령어의 집합을 포함한다. 일 실시예에서, 컴퓨터 판독 가능 저장 매체(16)는 메모리(랜덤 액세스 메모리와 같은 휘발성 메모리, 비휘발성 메모리, 또는 이들의 적절한 조합), 하나 이상의 자기 디스크 저장 디바이스들, 광학 디스크 저장 디바이스들, 플래시 메모리 디바이스들, 그 밖에 컴퓨팅 장치(12)에 의해 액세스되고 원하는 정보를 저장할 수 있는 다른 형태의 저장 매체, 또는 이들의 적합한 조합일 수 있다.The computer-readable storage medium 16 is configured to store computer-executable instructions or program code, program data, and/or other suitable form of information. The program 20 stored in the computer-readable storage medium 16 includes a set of instructions executable by the processor 14. In one embodiment, the computer-readable storage medium 16 includes memory (volatile memory such as random access memory, nonvolatile memory, or a suitable combination thereof), one or more magnetic disk storage devices, optical disk storage devices, flash It may be memory devices, other types of storage media that can be accessed by computing device 12 and store desired information, or a suitable combination thereof.

통신 버스(18)는 프로세서(14), 컴퓨터 판독 가능 저장 매체(16)를 포함하여 컴퓨팅 장치(12)의 다른 다양한 컴포넌트들을 상호 연결한다.The communication bus 18 interconnects the various other components of the computing device 12, including the processor 14 and computer readable storage medium 16.

컴퓨팅 장치(12)는 또한 하나 이상의 입출력 장치(24)를 위한 인터페이스를 제공하는 하나 이상의 입출력 인터페이스(22) 및 하나 이상의 네트워크 통신 인터페이스(26)를 포함할 수 있다. 입출력 인터페이스(22) 및 네트워크 통신 인터페이스(26)는 통신 버스(18)에 연결된다. 입출력 장치(24)는 입출력 인터페이스(22)를 통해 컴퓨팅 장치(12)의 다른 컴포넌트들에 연결될 수 있다. 예시적인 입출력 장치(24)는 포인팅 장치(마우스 또는 트랙패드 등), 키보드, 터치 입력 장치(터치패드 또는 터치스크린 등), 음성 또는 소리 입력 장치, 다양한 종류의 센서 장치 및/또는 촬영 장치와 같은 입력 장치, 및/또는 디스플레이 장치, 프린터, 스피커 및/또는 네트워크 카드와 같은 출력 장치를 포함할 수 있다. 예시적인 입출력 장치(24)는 컴퓨팅 장치(12)를 구성하는 일 컴포넌트로서 컴퓨팅 장치(12)의 내부에 포함될 수도 있고, 컴퓨팅 장치(12)와는 구별되는 별개의 장치로 컴퓨팅 장치(12)와 연결될 수도 있다.Computing device 12 may also include one or more input/output interfaces 22 and one or more network communication interfaces 26 that provide interfaces for one or more input/output devices 24. The input/output interface 22 and the network communication interface 26 are connected to the communication bus 18. The input/output device 24 may be connected to other components of the computing device 12 through the input/output interface 22. The exemplary input/output device 24 includes a pointing device (such as a mouse or trackpad), a keyboard, a touch input device (such as a touch pad or a touch screen), a voice or sound input device, and various types of sensor devices and/or a photographing device. Input devices and/or output devices such as display devices, printers, speakers, and/or network cards. The exemplary input/output device 24 may be included in the computing device 12 as a component constituting the computing device 12, and may be connected to the computing device 12 as a separate device distinct from the computing device 12. May be.

이상에서 대표적인 실시예를 통하여 본 발명에 대하여 상세하게 설명하였으나, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 전술한 실시예에 대하여 본 발명의 범주에서 벗어나지 않는 한도 내에서 다양한 변형이 가능함을 이해할 것이다. 그러므로 본 발명의 권리범위는 설명된 실시예에 국한되어 정해져서는 안 되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.Although the present invention has been described in detail through the exemplary embodiments above, those of ordinary skill in the art to which the present invention pertains have found that various modifications can be made to the above embodiments without departing from the scope of the present invention. I will understand. Therefore, the scope of the present invention is limited to the described embodiments and should not be determined, and should not be determined by the claims to be described later, but also by those equivalents to the claims.

10: 컴퓨팅 환경
12: 컴퓨팅 장치
14: 프로세서
16: 컴퓨터 판독 가능 저장 매체
18: 통신 버스
20: 프로그램
22: 입출력 인터페이스
24: 입출력 장치
26: 네트워크 통신 인터페이스
100: 사시각 측정 장치
110: 영상 표시부
120: 안구 촬영부
130: 시선 추적부
140: 영상 제어부
150; 사시각 결정부10: computing environment
12: computing device
14: processor
16: computer readable storage medium
18: communication bus
20: program
22: input/output interface
24: input/output device
26: network communication interface
100: oblique angle measuring device
110: video display unit
120: eye photographing unit
130: gaze tracking unit
140: image control unit
150; Angle decision

Claims (12)

표적을 포함하는 3차원 표적 영상을 표시하는 영상 표시부;
상기 3차원 표적 영상을 응시하는 피 검사자의 안구를 촬영하는 안구 촬영부;
상기 3차원 표적 영상 중 상기 피 검사자의 제2 안구에 대해 표시되는 제2 영상을 차단한 상태에서 상기 피 검사자의 제1 안구를 촬영한 기준 영상 및 상기 3차원 표적 영상 중 상기 제1 안구에 대해 표시되는 제1 영상을 차단한 상태에서 상기 제1 안구를 촬영한 비교 영상 각각에서 상기 제1 안구의 시선 위치를 결정하는 시선 추적부;
상기 비교 영상과 상기 기준 영상에서 상기 제1 안구의 시선 위치가 일치하는지 여부를 판단하고, 일치하지 않는 경우 상기 비교 영상에서 상기 제1 안구의 시선 위치가 상기 기준 영상에서 상기 제1 안구의 시선 위치와 일치할 때까지 상기 표적의 위치를 이동시키는 영상 제어부; 및
상기 비교 영상에서 상기 제1 안구의 시선 위치가 상기 기준 영상에서 상기 제1 안구의 시선 위치와 일치된 경우, 상기 표적의 초기 위치 및 최종 위치에 기초하여 사시각을 결정하는 사시각 결정부를 포함하는 사시각 측정 장치.
An image display unit that displays a 3D target image including a target;
An eye photographing unit for photographing an eyeball of a subject gazing at the 3D target image;
The first eyeball of the 3D target image and a reference image photographing the first eye of the test subject while blocking the second image displayed for the second eye of the test subject among the 3D target images A gaze tracking unit configured to determine a gaze position of the first eyeball in each of the comparison images taken of the first eyeball while blocking the displayed first image;
It is determined whether the gaze position of the first eyeball in the comparison image and the reference image coincide, and if not, the gaze position of the first eyeball in the comparison image is the gaze position of the first eyeball in the reference image An image control unit for moving the position of the target until it matches with; And
In the case where the gaze position of the first eyeball in the comparison image coincides with the gaze position of the first eyeball in the reference image, including a bevel angle determining unit for determining a bevel angle based on an initial position and a final position of the target Oblique angle measuring device.
청구항 1에 있어서,
상기 제1 안구의 시선 위치는, 상기 제1 안구의 동공 중심 위치인 사시각 측정 장치.
The method according to claim 1,
The position of the eye line of the first eyeball is a strabismus angle measurement device that is the center of the pupil of the first eyeball.
청구항 1에 있어서,
상기 시선 추적부는, 상기 제1 영상을 차단한 상태에서 상기 제1 안구를 촬영한 영상 중 기 설정된 크기 이상 눈을 뜨고 있는 영상을 상기 비교 영상으로 결정하는 사시각 측정 장치.
The method according to claim 1,
The eye-gaze tracking unit determines, as the comparison image, an image of the first eyeball photographed while the first image is blocked, with an eye open greater than or equal to a preset size.
청구항 1에 있어서,
상기 시선 추적부는, 상기 제1 영상을 차단한 상태에서 상기 제1 안구를 촬영한 각 영상과 상기 기준 영상 사이의 차이에 기초하여 상기 비교 영상을 결정하는 사시각 측정 장치.
The method according to claim 1,
The eye-gaze tracking unit determines the comparison image based on a difference between each image of the first eyeball and the reference image in a state in which the first image is blocked.
청구항 1에 있어서,
상기 영상 제어부는, 퍼지 논리(Fuzzy logic)에 기초하여 상기 표적의 위치를 이동시키는 사시각 측정 장치.
The method according to claim 1,
The image control unit is a deviation angle measuring device for moving the position of the target based on fuzzy logic.
청구항 1에 있어서,
상기 사시각 결정부는, 상기 초기 위치 및 상기 최종 위치에 기초하여 상기 표적의 이동 거리를 산출하고, 상기 이동 거리를 이용하여 상기 사시각을 결정하는 사시각 측정 장치.
The method according to claim 1,
The deviation angle determination unit calculates a moving distance of the target based on the initial position and the final position, and determines the deviation angle using the moving distance.
(a) 표적을 포함하는 3차원 표적 영상을 표시하는 단계;
(b) 상기 3차원 표적 영상 중 피 검사자의 제2 안구에 대해 표시되는 상기 제2 영상을 차단한 상태에서 상기 피 검사자의 제1 안구를 촬영한 기준 영상을 획득하는 단계;
(c) 상기 기준 영상에서 상기 제1 안구의 시선 위치를 결정하는 단계;
(d) 상기 제2 영상에 대한 차단을 해제하고, 상기 3차원 표적 영상 중 상기 제1 안구에 대해 표시되는 제1 영상을 차단한 상태에서 상기 제1 안구를 촬영한 비교 영상을 획득하는 단계;
(e) 상기 비교 영상에서 상기 제1 안구의 시선 위치를 결정하는 단계;
(f) 상기 비교 영상과 상기 기준 영상에서 상기 제1 안구의 시선 위치가 일치하는지 여부를 판단하는 단계;
(g) 상기 비교 영상과 상기 기준 영상에서 상기 제1 안구의 시선 위치가 일치하지 않는 경우, 상기 표적의 위치를 이동시키는 단계; 및
(h) 상기 비교 영상과 상기 기준 영상에서 상기 제1 안구의 시선 위치가 일치된 경우, 상기 표적의 초기 위치 및 최종 위치에 기초하여 사시각을 결정하는 단계를 포함하되,
상기 (d) 단계 내지 상기 (g) 단계는 상기 비교 영상과 상기 기준 영상에서 상기 제1 안구의 시선 위치가 일치할 때까지 반복 수행되는 사시각 측정 방법.
(a) displaying a 3D target image including a target;
(b) acquiring a reference image photographing the first eye of the test subject while blocking the second image displayed for the second eye of the test subject among the 3D target images;
(c) determining a gaze position of the first eyeball in the reference image;
(d) releasing the blocking of the second image and obtaining a comparison image of the first eyeball while blocking the first image displayed for the first eyeball among the 3D target images;
(e) determining a gaze position of the first eyeball in the comparison image;
(f) determining whether the position of the first eyeball in the comparison image and the reference image match;
(g) moving the position of the target when the position of the first eyeball gaze does not match in the comparison image and the reference image; And
(h) when the line of sight position of the first eyeball in the comparison image and the reference image match, determining a deviation angle based on the initial position and the final position of the target,
Steps (d) to (g) are repeatedly performed until the position of the first eyeball in the comparison image and the reference image coincide with each other.
청구항 7에 있어서,
상기 제1 안구의 시선 위치는, 상기 제1 안구의 동공 중심 위치인 사시각 측정 방법.
The method of claim 7,
The position of the eye line of the first eyeball is a position of the center of the pupil of the first eyeball.
청구항 7에 있어서,
상기 (d) 단계는, 상기 제1 영상을 차단한 상태에서 상기 제1 안구를 촬영한 영상 중 기 설정된 크기 이상 눈을 뜨고 있는 영상을 상기 비교 영상으로 결정하는 사시각 측정 방법.
The method of claim 7,
In the step (d), a deviation angle measurement method of determining, as the comparison image, an image of the first eyeball photographed while the first image is blocked, with the eyes open more than a preset size.
청구항 7에 있어서,
상기 (d) 단계는, 상기 제1 영상을 차단한 상태에서 상기 제1 안구를 촬영한 각 영상과 상기 기준 영상 사이의 차이에 기초하여 상기 비교 영상을 결정하는 사시각 측정 방법.
The method of claim 7,
In the step (d), the comparison image is determined based on a difference between each image of the first eyeball and the reference image in a state in which the first image is blocked.
청구항 7에 있어서,
상기 (g) 단계는, 퍼지 논리(Fuzzy logic)에 기초하여 상기 표적의 위치를 이동시키는 사시 진단 방법.
The method of claim 7,
The step (g) is a strabismus diagnosis method of moving the position of the target based on fuzzy logic.
청구항 7에 있어서,
상기 (h) 단계는, 상기 초기 위치 및 상기 최종 위치에 기초하여 상기 표적의 이동 거리를 산출하는 단계; 및
상기 이동 거리를 이용하여 상기 사시각을 결정하는 단계를 포함하는 사시 진단 방법.
The method of claim 7,
The step (h) may include calculating a moving distance of the target based on the initial position and the final position; And
And determining the deviation angle using the moving distance.
KR1020190027754A 2019-03-11 2019-03-11 Apparatus and method for measuring angle of strabismus KR102224209B1 (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020190027754A KR102224209B1 (en) 2019-03-11 2019-03-11 Apparatus and method for measuring angle of strabismus
PCT/KR2019/004103 WO2020184775A1 (en) 2019-03-11 2019-04-05 Device and method for measuring strabismus angle

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190027754A KR102224209B1 (en) 2019-03-11 2019-03-11 Apparatus and method for measuring angle of strabismus

Publications (2)

Publication Number Publication Date
KR20200108721A true KR20200108721A (en) 2020-09-21
KR102224209B1 KR102224209B1 (en) 2021-03-05

Family

ID=72427641

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190027754A KR102224209B1 (en) 2019-03-11 2019-03-11 Apparatus and method for measuring angle of strabismus

Country Status (2)

Country Link
KR (1) KR102224209B1 (en)
WO (1) WO2020184775A1 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20230116287A (en) 2022-01-28 2023-08-04 (주)뉴로니어 Instrument set for strabismus measurement

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100612586B1 (en) 1998-07-21 2007-12-04 엘지전자 주식회사 Apparatus For Testing Squint in Head Mounted Display
KR101825830B1 (en) * 2016-08-26 2018-02-05 한양대학교 산학협력단 System and method for measuring the angle of strabismus and computer readable stroage medium
KR20180083069A (en) * 2017-01-12 2018-07-20 고려대학교 산학협력단 System and method for ophthalmolgic test using virtual reality

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2845567C (en) * 2011-09-07 2019-05-21 Improved Vision Systems (I.V.S.) Ltd. Method and system for treatment of visual impairment
EA033741B1 (en) * 2015-03-01 2019-11-21 Novasight Ltd System and method for measuring ocular motility
KR101761635B1 (en) * 2015-04-27 2017-08-04 한양대학교 산학협력단 Method and apparatus for measuring strabismus deviation

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100612586B1 (en) 1998-07-21 2007-12-04 엘지전자 주식회사 Apparatus For Testing Squint in Head Mounted Display
KR101825830B1 (en) * 2016-08-26 2018-02-05 한양대학교 산학협력단 System and method for measuring the angle of strabismus and computer readable stroage medium
KR20180083069A (en) * 2017-01-12 2018-07-20 고려대학교 산학협력단 System and method for ophthalmolgic test using virtual reality

Also Published As

Publication number Publication date
KR102224209B1 (en) 2021-03-05
WO2020184775A1 (en) 2020-09-17

Similar Documents

Publication Publication Date Title
US10893801B2 (en) Eye tracking system and method to detect the dominant eye
US10878237B2 (en) Systems and methods for performing eye gaze tracking
EP3453316B1 (en) Eye tracking using eyeball center position
US10976813B2 (en) Interactive motion-based eye tracking calibration
JP6601417B2 (en) Information processing apparatus, information processing method, and program
CN107533362B (en) Eye tracking device and method for operating an eye tracking device
JP4649319B2 (en) Gaze detection device, gaze detection method, and gaze detection program
CN105094300B (en) A kind of sight line tracking system and method based on standardization eye image
KR101769177B1 (en) Apparatus and method for eye tracking
JP2016512765A (en) On-axis gaze tracking system and method
US20170112378A1 (en) Photorefraction method and product
US20140085189A1 (en) Line-of-sight detection apparatus, line-of-sight detection method, and program therefor
JP7168953B2 (en) Gaze measurement device for automatic calibration, Gaze measurement method and Gaze measurement program
KR101272811B1 (en) System and method for interface
Cho et al. Gaze Detection by Wearable Eye‐Tracking and NIR LED‐Based Head‐Tracking Device Based on SVR
US20160210497A1 (en) Method and apparatus for eye detection from glints
CN114391117A (en) Eye tracking delay enhancement
US9374574B2 (en) Three-dimensional video display apparatus and three-dimensional video display method
KR20190062023A (en) System and method for diagnosing for strabismus, aparratus for acquiring gaze image, computer program
JP2016532217A (en) Method and apparatus for detecting eyes with glint
KR102224209B1 (en) Apparatus and method for measuring angle of strabismus
US11281893B2 (en) Method and device for modifying the affective visual information in the field of vision of an user
JP2003079577A (en) Visual axis measuring apparatus and method, visual axis measuring program, and recording medium recording the same
CN112528714A (en) Single light source-based gaze point estimation method, system, processor and equipment
Kim et al. Resolution estimation technique in gaze tracking system for HCI

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant