WO2020184775A1 - 사시각 측정 장치 및 방법 - Google Patents

사시각 측정 장치 및 방법 Download PDF

Info

Publication number
WO2020184775A1
WO2020184775A1 PCT/KR2019/004103 KR2019004103W WO2020184775A1 WO 2020184775 A1 WO2020184775 A1 WO 2020184775A1 KR 2019004103 W KR2019004103 W KR 2019004103W WO 2020184775 A1 WO2020184775 A1 WO 2020184775A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
eyeball
target
eye
gaze
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/KR2019/004103
Other languages
English (en)
French (fr)
Inventor
허환
박규해
이난미아오
전준영
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Industry Foundation of Chonnam National University
Original Assignee
Industry Foundation of Chonnam National University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Industry Foundation of Chonnam National University filed Critical Industry Foundation of Chonnam National University
Publication of WO2020184775A1 publication Critical patent/WO2020184775A1/ko
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/113—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for determining or recording eye movement

Definitions

  • Embodiments of the present invention relate to a deviation angle measurement technique.
  • Strabismus is a disease in which the eyes of both eyes cannot point straight at an object, and the exact cause has not yet been identified. Strabismus is a common disease in childhood and appears at a rate of about 4 people per 100 people, and is divided into esotropia in which the pupil returns to the inside, exotropia that returns to the outside, superior strabismus in which the pupil rises, and inferior strabismus in which the pupil descends.
  • strabismus is not treated early, it is very important to diagnose and correct strabismus early because it can lead to amblyopia in which strabismus eyes are rarely used.
  • strabismus surgery since accurate measurement of the deviation angle determines the success or failure of the operation, it is essential to derive an objective and accurate deviation angle by analyzing the movement of the eyeball.
  • Embodiments of the present invention are to provide an apparatus and method for measuring a perspective angle using a 3D stereoscopic image displaying a virtual target.
  • An apparatus for measuring a deviation angle includes: an image display unit that displays a 3D target image including a target; An eye photographing unit for photographing an eyeball of a subject gazing at the 3D target image; The first eyeball of the 3D target image and a reference image photographing the first eye of the test subject while blocking the second image displayed for the second eye of the test subject among the 3D target images
  • a gaze tracking unit configured to determine a gaze position of the first eyeball in each of the comparison images taken of the first eyeball while blocking the displayed first image; It is determined whether the gaze position of the first eyeball in the comparison image and the reference image coincide, and if not, the gaze position of the first eyeball in the comparison image is the gaze position of the first eyeball in the reference image
  • An image control unit for moving the position of the target until it coincides with; And a deviation angle determining unit for determining a deviation angle based on an initial position and a final position of the target when the position of the first eyeball in the comparison image coincides with the position of the
  • the gaze position of the first eyeball may be a pupil center position of the first eyeball.
  • the gaze tracker may determine an image of the first eyeball photographed while the first image is blocked as the comparison image.
  • the gaze tracker may determine the comparison image based on a difference between each image of the first eyeball and the reference image in a state in which the first image is blocked.
  • the image controller may move the position of the target based on fuzzy logic.
  • the deviation angle determination unit may calculate a movement distance of the target based on the initial position and the final position, and determine the deviation angle using the movement distance.
  • a method for measuring a deviation angle includes the steps of: (a) displaying a 3D target image including a target; (b) acquiring a reference image photographing the first eye of the test subject while blocking the second image displayed for the second eye of the test subject among the 3D target images; (c) determining a gaze position of the first eyeball in the reference image; (d) releasing the blocking of the second image and obtaining a comparison image of the first eyeball while blocking the first image displayed for the first eyeball among the 3D target images; (e) determining a gaze position of the first eyeball in the comparison image; (f) determining whether the line of sight positions of the first eyeball in the comparison image and the reference image coincide; (g) moving the position of the target when the position of the first eyeball gaze does not match in the comparison image and the reference image; And (h) determining a bevel angle based on an initial position and a final position of the target when the position of the eyeball of the first eyeball in the comparison image and the reference image and the reference
  • the gaze position of the first eyeball may be a pupil center position of the first eyeball.
  • an image of the first eyeball being photographed while the first image is blocked may be determined as the comparison image.
  • the comparison image may be determined based on a difference between each image of the first eyeball and the reference image in a state in which the first image is blocked.
  • the position of the target may be moved based on a fuzzy logic.
  • the step (h) may include calculating a moving distance of the target based on the initial position and the final position; And determining the bevel angle using the moving distance.
  • the eyeball of the test subject while alternately blocking the left-eye image and the right-eye image of a three-dimensional target image displaying a virtual target, the eyeball of the test subject is photographed to determine the gaze position, It is possible to accurately and quickly measure the angle of view by determining the angle of view using the change in the position of the eyeball's line of sight.
  • FIG. 1 is a configuration diagram of a perspective angle measuring apparatus according to an embodiment of the present invention
  • FIG. 2 is an exemplary view showing a form of an image display unit according to an embodiment of the present invention
  • FIG. 3 is a diagram for explaining a comparison image determination process according to an embodiment of the present invention
  • 4 to 7 are exemplary diagrams for explaining a process of moving a target according to a gaze position
  • FIG. 9 is a flowchart of a method for measuring a bevel angle according to an embodiment of the present invention
  • FIG. 10 is a block diagram illustrating and describing a computing environment including a computing device suitable for use in example embodiments.
  • FIG. 1 is a block diagram of an apparatus for measuring a perspective angle according to an embodiment of the present invention.
  • a deviation angle measuring apparatus 100 includes an image display unit 110, an eye photographing unit 120, a gaze tracking unit 130, an image control unit 140, and a deviation angle. It includes a determination unit 150.
  • the image display unit 110 displays a 3D target image including a target.
  • the 3D target image uses an image for the left eye displayed for the left eye of the test subject and an image for the right eye displayed for the right eye of the test subject. It may be a 3D stereoscopic image configured to be displayed in 3D.
  • the image display unit 110 may be implemented in the form of a Head Mounted Display (HMD) 210 configured to display a 3D stereoscopic image using an image for the left eye and an image for the right eye, as shown in FIG. 2.
  • HMD Head Mounted Display
  • the image display unit 110 includes two displays including a display screen 220 that displays an image for the left eye of the test subject's left eye and a display screen 230 that displays an image for the right eye of the test subject's right eye.
  • a three-dimensional image can be displayed through the screen.
  • the shape of the image display unit 110 is not necessarily limited to the example illustrated in FIG. 2, and may be implemented in various forms capable of displaying a 3D stereoscopic image in addition to the example illustrated in FIG. 2.
  • the eye photographing unit 120 photographs the eyeball of the test subject gazing at the 3D target image.
  • the eye photographing unit 120 may include one or more cameras for continuously photographing the left eye of the test subject and one or more cameras for continuously photographing the right eye of the test subject. have.
  • each camera may be, for example, an infrared camera, but is not necessarily limited to a specific type of camera.
  • each camera may be disposed in front of the left eye or the right eye to generate an eye photographing image for each eye.
  • the camera for photographing the right eye is within the HMD 210 It may be disposed between the display screen 220 displaying the image for the right eye and the right eye of the subject, and the camera for photographing the left eye is the display screen 230 and the display screen 230 displaying the image for the left eye in the HMD 210. It can be placed between the examiner's left eye.
  • the position of the camera is not necessarily limited to a specific position, and may be disposed at various positions according to exemplary embodiments in consideration of the shape of the image display unit 110.
  • the gaze tracking unit 130 alternately blocks one of the left eye image and the right eye image of the 3D target image displayed by the image display unit 110, and the eye gaze in the eyeball photographed image for each eyeball continuously photographed. Determine the location.
  • blocking of one of the left-eye image and the right-eye image may be performed by, for example, displaying a black image instead of an image to be blocked.
  • blocking of the left-eye image may be performed by displaying a black image instead of the left-eye image.
  • blocking of one of the left-eye image and the right-eye image may be performed through a separate shielding film that opens and closes between a display screen displaying an image to be blocked and an eye of a subject.
  • blocking of the left eye image may be performed through a shielding film that blocks the gaze of the left eye of the examinee between the display screen displaying the left eye image and the left eye of the examinee.
  • the blocking method for the left-eye image and the right-eye image may be performed in various ways according to embodiments in addition to the above-described examples, and is not necessarily limited to a specific method.
  • the gaze tracking unit 130 blocks only the image displayed for the second eye of the test subject among the left eye image and the right eye image constituting the 3D target image.
  • a reference image may be determined from among images continuously photographed of the eyeball, and a gaze position of the first eye may be determined from the determined reference image.
  • the gaze tracker 130 determines one or more of the images continuously photographed of the first eyeball while blocking only the image displayed for the first eye among the left-eye image and the right-eye image as a comparison image, In each of the determined comparison images, a gaze position of the first eye may be determined.
  • the gaze tracking unit 130 is, for example, the size of the first eyeball among images continuously photographed with the first eyeball while blocking only the image displayed for the second eyeball among the left-eye image and the right-eye image
  • the image with the largest may be determined as the reference image.
  • the gaze tracking unit 130 is one of the images continuously photographed of the first eyeball while blocking only the image displayed for the first eye among the left-eye image and the right-eye image.
  • the above image may be determined as a comparison image.
  • the eye tracker 130 may determine a comparison image based on a difference between each of the images continuously photographed of the first eyeball and the reference image while only the image displayed for the first eyeball is blocked.
  • FIG. 3 is a diagram illustrating a process of determining a comparison image according to an embodiment of the present invention.
  • the gaze tracking unit 130 blocks images 320 of each frame continuously photographing the first eye while only blocking the reference image 310 and the image displayed for the first eye. Difference images 340 and 350 between 330 may be generated.
  • the gaze tracker 130 calculates the sum (or average) of intensity values of all pixels from the generated difference images 340 and 350, and compares the image of the frame whose calculated value is less than a preset threshold. Can be determined by
  • the sum of the intensity values of all pixels calculated in the difference image 340 between the image 320 and the reference image 310 taken while the first eyeball is completely closed is the threshold value. Therefore, the image 320 may be removed as noise.
  • the corresponding image 330 May be determined as a comparison image.
  • the gaze tracking unit 130 may determine the center of the pupil as the gaze position in each of the reference image and the comparison image.
  • the gaze tracker 130 may estimate an iris candidate region from each of the reference image and the comparison image using, for example, a fast radial symmetric transformation technique. Thereafter, the gaze tracker 130 extracts the outline of each image using an edge detection technique such as a Canny Edge Detector, and then, for example, uses a Delaunay Triangulation technique. Through this, it is possible to create a plurality of triangles connecting the points of the outline. Thereafter, the gaze tracking unit 130 may detect a portion having an ellipse shape among the generated lines constituting each triangle, and estimate the detected portion as the iris position. On the other hand, when the iris position is estimated, the gaze tracking unit 130 determines the pupil region by applying an ellipse fitting technique based on the estimated iris position, and gazes at the center of the determined pupil region. Can be determined by location.
  • an edge detection technique such as a Canny Edge Detector
  • the image controller 140 breaks whether or not the gaze position of the first eyeball in the reference image for the first eye and the comparison image coincide, and if they do not match, the first eyeball in the comparison image The position of the target is moved until the gaze position coincides with the gaze position of the first eyeball in the reference image.
  • 4 to 7 are exemplary diagrams for explaining a process of moving a target according to a gaze position.
  • the gaze tracking unit 130 blocks the image 420 for the right eye in a state in which the target 410 is located at an initial position (eg, in front of the test subject) in the 3D target image. Then, the gaze position 441 of the left eye is determined from the acquired reference image 440 for the left eye.
  • the gaze estimating unit 130 blocks the left eye image 430 while the target 410 is located at the initial position, as shown in FIG. 5, and the left eye in the obtained comparison image 450 for the left eye.
  • the position of the gaze of the left eye does not change even if the left eye image 430 is blocked, but in the case of a strabismus patient, when the left eye image 430 is blocked, as shown in FIG.
  • the gaze location of the left eye is changed, resulting in an eyeball deviation.
  • the image controller 140 moves the position of the target 410 as in the example shown in FIG. 6.
  • the gaze estimating unit 130 determines the gaze position 461 of the left eye from the comparison image 460 for the left eye obtained while the target 410 is moved.
  • the image controller 140 additionally moves the position of the target 410.
  • the image controller 140 controls the target 410 until the left eye gaze position 471 and the gaze position 441 of the reference image 440 match. Move the position of.
  • the image control unit 140 is based on a fuzzy logic until the position of the first eyeball in the comparison image coincides with the position of the first eyeball in the reference image.
  • the position of the target can be moved repeatedly.
  • the image control unit 140 first moves the target based on pre-set eyeball deviation information (for example, the eyeball deviation angle based on the average eyeball diameter of a male or infant), and then the gaze position in the reference image and the comparison image. It is possible to repeatedly perform the process of changing the position of the target up, down, left, and right while reducing the moving distance until the difference (for example, the distance between the pupil centers) converges to 0.
  • pre-set eyeball deviation information for example, the eyeball deviation angle based on the average eyeball diameter of a male or infant
  • the deviation angle measurement unit 150 determines the deviation angle based on the initial position and the final position of the target when the position of the first eyeball in the comparison image and the reference image for the first eye coincide. Decide.
  • the image controller 140 when an eyeball deviation occurs, the image controller 140 repeatedly moves the position of the target until the position of the gaze in the reference image and the comparison image coincide.
  • the initial position of the target refers to the initial position of the target before starting the position movement
  • the final position may refer to the position of the target when the gaze position in the reference image and the comparison image coincide with the reference image after starting the position movement.
  • the bevel angle measurement unit 150 may calculate a moving distance of the target based on the initial position and the final position of the target, and determine the bevel angle based on the calculated moving distance. .
  • FIG. 8 is an exemplary diagram for explaining determination of a deviation angle according to an embodiment of the present invention.
  • d 1 is the left and right movement distance between the initial position and the final position of the target
  • d 2 is the distance between the center point between the two eyes and the initial position of the target
  • PD is the distance between the two eyes
  • ⁇ Denotes a deviation angle, and the deviation angle may be calculated using, for example, Equation 1 below.
  • d 2 and PD may use preset values.
  • d 2 may be set as the average value of an adult
  • PD may be set to 6 m or 0.33 m based on a commonly performed strabismus diagnosis manual.
  • FIG. 8 is for explaining an example of the left and right strabismus angles for left and right strabismus, but in addition to the left and right strabismus, the vertical angles for upper and lower strabismus may be determined in a similar manner.
  • FIG. 9 is a flowchart of a method for measuring a deviation angle according to an embodiment of the present invention.
  • the method shown in FIG. 9 may be performed, for example, by the perspective angle measuring apparatus 100 shown in FIG. 1.
  • the apparatus 100 for measuring a deviation angle first displays a 3D target image including a target (910).
  • the deviation angle measurement apparatus 100 acquires a reference image photographing the first eye of the test subject while blocking the second image displayed for the second eye of the test subject among the 3D target images (920). .
  • the deviation angle measuring apparatus 100 determines the position of the first eyeball in the reference image (930 ).
  • the deviation angle measurement apparatus 100 releases the blocking of the second image, and the first eyeball is photographed in a state in which the first image displayed for the first eye of the test subject among the 3D target images is blocked. An image is acquired (940).
  • the deviation angle measuring apparatus 100 determines the position of the first eyeball in the obtained comparison image (950).
  • the deviation angle measuring apparatus 100 determines whether the position of the first eyeball in the comparison image and the reference image coincide (960 ).
  • the deviation angle measurement apparatus 100 moves the position of the target (970) and repeats steps 940 to 970 until the position of the eyeball matches.
  • the deviation angle measurement apparatus 100 determines the deviation angle based on the initial position and the final position of the target (980 ).
  • the method is described by dividing the method into a plurality of steps, but at least some of the steps are performed in a different order, combined with other steps, performed together, omitted, or divided into detailed steps. Or, one or more steps not shown may be added and performed.
  • each component may have different functions and capabilities in addition to those described below, and may include additional components in addition to those not described below.
  • the illustrated computing environment 10 includes a computing device 12.
  • the computing device 12 may be one or more components included in the oblique angle measurement device 100.
  • the computing device 12 includes at least one processor 14, a computer-readable storage medium 16 and a communication bus 18.
  • the processor 14 may cause the computing device 12 to operate according to the exemplary embodiments mentioned above.
  • the processor 14 may execute one or more programs stored in the computer-readable storage medium 16.
  • the one or more programs may include one or more computer-executable instructions, and the computer-executable instructions are configured to cause the computing device 12 to perform operations according to an exemplary embodiment when executed by the processor 14 Can be.
  • the computer-readable storage medium 16 is configured to store computer-executable instructions or program code, program data, and/or other suitable form of information.
  • the program 20 stored in the computer-readable storage medium 16 includes a set of instructions executable by the processor 14.
  • the computer-readable storage medium 16 includes memory (volatile memory such as random access memory, nonvolatile memory, or a suitable combination thereof), one or more magnetic disk storage devices, optical disk storage devices, flash It may be memory devices, other types of storage media that can be accessed by computing device 12 and store desired information, or a suitable combination thereof.
  • the communication bus 18 interconnects the various other components of the computing device 12, including the processor 14 and computer-readable storage medium 16.
  • Computing device 12 may also include one or more input/output interfaces 22 and one or more network communication interfaces 26 that provide interfaces for one or more input/output devices 24.
  • the input/output interface 22 and the network communication interface 26 are connected to the communication bus 18.
  • the input/output device 24 may be connected to other components of the computing device 12 through the input/output interface 22.
  • the exemplary input/output device 24 includes a pointing device (such as a mouse or trackpad), a keyboard, a touch input device (such as a touch pad or a touch screen), a voice or sound input device, and various types of sensor devices and/or a photographing device.
  • Input devices and/or output devices such as display devices, printers, speakers, and/or network cards.
  • the exemplary input/output device 24 may be included in the computing device 12 as a component constituting the computing device 12, and may be connected to the computing device 12 as a separate device distinct from the computing device 12. May be.

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Ophthalmology & Optometry (AREA)
  • Biomedical Technology (AREA)
  • Human Computer Interaction (AREA)
  • Medical Informatics (AREA)
  • Physics & Mathematics (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Eye Examination Apparatus (AREA)

Abstract

본 발명의 사시각 측정 장치는 표적을 포함하는 3차원 표적 영상을 표시하는 영상 표시부; 상기 3차원 표적 영상을 응시하는 피 검사자의 안구를 촬영하는 안구 촬영부; 상기 3차원 표적 영상 중 상기 피검사자의 제2 안구에 대해 표시되는 제2 영상을 차단한 상태에서 상기 피 검사자의 제1 안구를 촬영한 기준 영상 및 상기 3차원 표적 영상 중 상기 제1 안구에 대해 표시되는 제1 영상을 차단한 상태에서 상기 제1 안구를 촬영한 비교 영상 각각에서 상기 제1 안구의 시선 위치를 결정하는 시선 추적부; 상기 비교 영상과 상기 기준 영상에서 상기 제1 안구의 시선 위치가 일치하는지 여부를 판단하고, 일치하지 않는 경우 상기 비교영상에서 상기 제1 안구의 시선 위치가 상기 기준 영상에서 상기 제1 안구의 시선 위치와 일치할 때까지 상기 표적의 위치를 이동시키는 영상 제어부; 및 상기 비교 영상에서 상기 제1 안구의 시선 위치가 상기 기준 영상에서 상기 제1 안구의 시선 위치와 일치된 경우, 상기 표적의 초기 위치 및 최종 위치에 기초하여 사시각을 결정하는 사시각 결정부를 포함한다.

Description

사시각 측정 장치 및 방법
본 발명의 실시예들은 사시각 측정 기술과 관련된다.
사시는 양쪽 눈의 시선이 똑바로 한 물체를 향하지 못하는 질환으로 정확한 원인은 아직 밝혀지지 않고 있다. 사시는 소아기에 흔히 나타나는 질환으로 약 100명당 4명의 비율로 나타나고 있으며, 동공이 안쪽으로 돌아가는 내사시, 바깥쪽으로 돌아가는 외사시, 동공이 위로 올라가는 상사시, 동공이 아래로 내려가는 하사시 등으로 구분된다.
한편, 사시는 조기에 치료되지 않으면, 사시인 눈이 거의 쓰이지 않는 약시 상태가 될 수 있으므로 사시를 조기에 진단하고 교정하는 것은 매우 중요하다. 사시 수술에 있어서, 정확한 사시각 측정이 수술의 성패를 좌우하므로 안구의 움직임을 분석하여 객관적이고 정확한 사시각 도출이 필수적이다.
본 발명의 실시예들은 가상의 표적을 표시하는 3차원 입체 영상을 이용한 사시각 측정 장치 및 방법을 제공하기 위한 것이다.
본 발명의 일 실시예에 따른 사시각 측정 장치는, 표적을 포함하는 3차원 표적 영상을 표시하는 영상 표시부; 상기 3차원 표적 영상을 응시하는 피 검사자의 안구를 촬영하는 안구 촬영부; 상기 3차원 표적 영상 중 상기 피 검사자의 제2 안구에 대해 표시되는 제2 영상을 차단한 상태에서 상기 피 검사자의 제1 안구를 촬영한 기준 영상 및 상기 3차원 표적 영상 중 상기 제1 안구에 대해 표시되는 제1 영상을 차단한 상태에서 상기 제1 안구를 촬영한 비교 영상 각각에서 상기 제1 안구의 시선 위치를 결정하는 시선 추적부; 상기 비교 영상과 상기 기준 영상에서 상기 제1 안구의 시선 위치가 일치하는지 여부를 판단하고, 일치하지 않는 경우 상기 비교 영상에서 상기 제1 안구의 시선 위치가 상기 기준 영상에서 상기 제1 안구의 시선 위치와 일치할 때까지 상기 표적의 위치를 이동시키는 영상 제어부; 및 상기 비교 영상에서 상기 제1 안구의 시선 위치가 상기 기준 영상에서 상기 제1 안구의 시선 위치와 일치된 경우, 상기 표적의 초기 위치 및 최종 위치에 기초하여 사시각을 결정하는 사시각 결정부를 포함한다.
상기 제1 안구의 시선 위치는, 상기 제1 안구의 동공 중심 위치일 수 있다.
상기 시선 추적부는, 상기 제1 영상을 차단한 상태에서 상기 제1 안구를 촬영한 영상 중 기 설정된 크기 이상 눈을 뜨고 있는 영상을 상기 비교 영상으로 결정할 수 있다.
상기 시선 추적부는, 상기 제1 영상을 차단한 상태에서 상기 제1 안구를 촬영한 각 영상과 상기 기준 영상 사이의 차이에 기초하여 상기 비교 영상을 결정할 수 있다.
상기 영상 제어부는, 퍼지 논리(Fuzzy logic)에 기초하여 상기 표적의 위치를 이동시킬 수 있다.
상기 사시각 결정부는, 상기 초기 위치 및 상기 최종 위치에 기초하여 상기 표적의 이동 거리를 산출하고, 상기 이동 거리를 이용하여 상기 사시각을 결정할 수 있다.
본 발명의 일 실시예에 따른 사시각 측정 방법은, (a) 표적을 포함하는 3차원 표적 영상을 표시하는 단계; (b) 상기 3차원 표적 영상 중 피 검사자의 제2 안구에 대해 표시되는 상기 제2 영상을 차단한 상태에서 상기 피 검사자의 제1 안구를 촬영한 기준 영상을 획득하는 단계; (c) 상기 기준 영상에서 상기 제1 안구의 시선 위치를 결정하는 단계; (d) 상기 제2 영상에 대한 차단을 해제하고, 상기 3차원 표적 영상 중 상기 제1 안구에 대해 표시되는 제1 영상을 차단한 상태에서 상기 제1 안구를 촬영한 비교 영상을 획득하는 단계; (e) 상기 비교 영상에서 상기 제1 안구의 시선 위치를 결정하는 단계; (f) 상기 비교 영상과 상기 기준 영상에서 상기 제1 안구의 시선 위치가 일치하는지 여부를 판단하는 단계; (g) 상기 비교 영상과 상기 기준 영상에서 상기 제1 안구의 시선 위치가 일치하지 않는 경우, 상기 표적의 위치를 이동시키는 단계; 및 (h) 상기 비교 영상과 상기 기준 영상에서 상기 제1 안구의 시선 위치가 일치된 경우, 상기 표적의 초기 위치 및 최종 위치에 기초하여 사시각을 결정하는 단계를 포함하되, 상기 (d) 단계 내지 상기 (g) 단계는 상기 비교 영상과 상기 기준 영상에서 상기 제1 안구의 시선 위치가 일치할 때까지 반복 수행된다.
상기 제1 안구의 시선 위치는, 상기 제1 안구의 동공 중심 위치일 수 있다.
상기 (d) 단계는, 상기 제1 영상을 차단한 상태에서 상기 제1 안구를 촬영한 영상 중 기 설정된 크기 이상 눈을 뜨고 있는 영상을 상기 비교 영상으로 결정할 수 있다.
상기 (d) 단계는, 상기 제1 영상을 차단한 상태에서 상기 제1 안구를 촬영한 각 영상과 상기 기준 영상 사이의 차이에 기초하여 상기 비교 영상을 결정할 수 있다.
상기 (g) 단계는, 퍼지 논리(Fuzzy logic)에 기초하여 상기 표적의 위치를 이동시킬 수 있다.
상기 (h) 단계는, 상기 초기 위치 및 상기 최종 위치에 기초하여 상기 표적의 이동 거리를 산출하는 단계; 및 상기 이동 거리를 이용하여 상기 사시각을 결정하는 단계를 포함할 수 있다.
본 발명의 실시예들에 따르면, 가상의 표적을 표시하는 3차원 표적 영상의 좌안용 영상과 우안용 영상을 교대로 차단하면서 피 검사자의 안구를 촬영하여 시선 위치를 결정하되, 표적의 위치 변화에 따른 안구의 시선 위치 변화를 이용하여 사시각을 결정함으로써 정확하고 신속한 사시각 측정이 가능하게 된다.
도 1은 본 발명의 일 실시예에 따른 사시각 측정 장치의 구성도
도 2는 본 발명의 일 실시예에 따른 영상 표시부의 일 형태를 나타낸 예시도
도 3은 본 발명의 일 실시예에 따른 비교 영상 결정 과정을 설명하기 위한 도면
도 4 내지 도 7은 시선 위치에 따른 표적 이동 과정을 설명하기 위한 예시도
도 8은 본 발명의 일 실시예에 따른 사시각 결정을 설명하기 위한 예시도
도 9는 본 발명의 일 실시예에 따른 사시각 측정 방법의 순서도
도 10은 예시적인 실시예들에서 사용되기에 적합한 컴퓨팅 장치를 포함하는 컴퓨팅 환경을 예시하여 설명하기 위한 블록도
이하, 도면을 참조하여 본 발명의 구체적인 실시형태를 설명하기로 한다. 이하의 상세한 설명은 본 명세서에서 기술된 방법, 장치 및/또는 시스템에 대한 포괄적인 이해를 돕기 위해 제공된다. 그러나 이는 예시에 불과하며 본 발명은 이에 제한되지 않는다.
본 발명의 실시예들을 설명함에 있어서, 본 발명과 관련된 공지기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략하기로 한다. 그리고, 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다. 상세한 설명에서 사용되는 용어는 단지 본 발명의 실시예들을 기술하기 위한 것이며, 결코 제한적이어서는 안 된다. 명확하게 달리 사용되지 않는 한, 단수 형태의 표현은 복수 형태의 의미를 포함한다. 본 설명에서, "포함" 또는 "구비"와 같은 표현은 어떤 특성들, 숫자들, 단계들, 동작들, 요소들, 이들의 일부 또는 조합을 가리키기 위한 것이며, 기술된 것 이외에 하나 또는 그 이상의 다른 특성, 숫자, 단계, 동작, 요소, 이들의 일부 또는 조합의 존재 또는 가능성을 배제하도록 해석되어서는 안 된다.
도 1은 본 발명의 일 실시예에 따른 사시각 측정 장치의 구성도이다.
도 1을 참조하면, 본 발명의 일 실시예에 따른 사시각 측정 장치(100)는 영상 표시부(110), 안구 촬영부(120), 시선 추적부(130), 영상 제어부(140) 및 사시각 결정부(150)를 포함한다.
영상 표시부(110)는 표적을 포함하는 3차원 표적 영상을 표시한다.
본 발명의 일 실시예에 따르면, 3차원 표적 영상은 피 검사자의 좌안에 대해 표시되는 좌안용 영상과 피 검사자의 우안에 대해 표시되는 우안용 영상을 이용하여 피 검사자가 응시해야 할 가상의 표적을 3차원적으로 표시하도록 구성된 3차원 입체 영상일 수 있다.
구체적으로, 영상 표시부(110)는 도 2에 도시된 예와 같이 좌안용 영상과 우안용 영상을 이용하여 3차원 입체 영상을 디스플레이하도록 구성된 HMD(Head Mounted Display)(210)의 형태로 구현될 수 있다. 이 경우, 영상 표시부(110)는 피 검사자의 좌안에 대해 좌안용 영상을 표시하는 디스플레이 화면(220)과 피 검사자의 우안에 대해 우안용 영상을 표시하는 디스플레이 화면(230)을 포함하는 2개의 디스플레이 화면을 통해 3차원 입체 영상을 디스플레이할 수 있다.
한편, 영상 표시부(110)의 형태는 반드시 도 2에 도시된 예에 한정되는 것은 아니며, 도 2에 도시된 예 외에도 3차원 입체 영상을 표시할 수 있는 다양한 형태로 구현될 수 있다.
안구 촬영부(120)는 3차원 표적 영상을 응시하는 피 검사자의 안구를 촬영한다.
구체적으로, 본 발명의 일 실시예에 따르면, 안구 촬영부(120)는 피 검사자의 좌안을 연속적으로 촬영하기 위한 하나 이상의 카메라 및 피 검사자의 우안을 연속적으로 촬영하기 위한 하나 이상의 카메라를 포함할 수 있다. 이때, 각 카메라는 예를 들어, 적외선 카메라일 수 있으나, 반드시 특정한 형태의 카메라로 한정되는 것은 아니다.
한편, 각 카메라는 좌안 또는 우안의 전방에 배치되어 각 안구에 대한 안구 촬영 영상을 생성할 수 있다. 구체적으로, 본 발명의 일 실시예에 따르면, 영상 표시부(110)가 예를 들어, 도 2에 도시된 HMD(210)의 형태로 구현된 경우, 우안을 촬영하기 위한 카메라는 HMD(210) 내에서 우안용 영상을 표시하는 디스플레이 화면(220)과 피 검자자의 우안 사이에 배치될 수 있으며, 좌안을 촬영하기 위한 카메라는 HMD(210) 내에서 좌안용 영상을 표시하는 디스플레이 화면(230)과 피 검사자의 좌안 사이에 배치될 수 있다. 그러나, 본 발명의 실시예에 있어서, 카메라의 위치는 반드시 특정한 위치로 한정되는 것은 아니며, 영상 표시부(110)의 형태 등을 고려하여 실시예에 따라 다양한 위치에 배치될 수 있다.
시선 추적부(130)는 영상 표시부(110)에 의해 표시되는 3차원 표적 영상의 좌안용 영상 및 우안용 영상 중 하나를 교대로 차단하면서 연속적으로 촬영된 각 안구에 대한 안구 촬영 영상에서 안구의 시선 위치를 결정한다.
이때, 본 발명의 일 실시예에 따르면, 좌안용 영상 및 우안용 영상 중 하나에 대한 차단은 예를 들어, 차단할 영상 대신 검정색 영상을 표시함으로써 수행될 수 있다. 예를 들어, 좌안용 영상에 대한 차단은 좌안용 영상 대신 검정색 영상을 표시함으로써 수행될 수 있다.
또한, 본 발명의 다른 실시예에 따르면, 좌안용 영상 및 우안용 영상 중 하나에 대한 차단은 차단할 영상을 표시하는 디스플레이 화면과 피 검사자의 안구 사이에서 개폐되는 별도의 차폐막을 통해 수행될 수 잇다. 예를 들어, 좌안용 영상에 대한 차단은 좌안용 영상을 표시하는 디스플레이 화면과 피 검사자의 좌안 사이에서 피 검사자의 좌안의 시선을 차단하는 차폐막을 통해 수행될 수 있다.
한편, 좌안용 영상 및 우안용 영상에 대한 차단 방식은 상술한 예 외에도 실시예에 따라 다양한 방식으로 수행될 수 있으며, 반드시 특정한 방식으로 한정되는 것은 아니다.
한편, 본 발명의 일 실시예에 따르면, 시선 추적부(130)는 3차원 표적 영상을 구성하는 좌안용 영상 및 우안용 영상 중 피 검사자의 제2 안구에 대해 표시되는 영상만을 차단한 상태에서 제1 안구를 연속적으로 촬영한 영상들 중에서 기준 영상을 결정하고, 결정된 기준 영상에서 제1 안구의 시선 위치를 결정할 수 있다. 이후, 시선 추적부(130)는 좌안용 영상 및 우안용 영상 중 제1 안구에 대해 표시되는 영상만을 차단한 상태에서 제1 안구를 연속적으로 촬영한 영상들 중 하나 이상을 비교 영상으로 결정하고, 결정된 각 비교 영상에서 제1 안구의 시선 위치를 결정할 수 있다.
이때, 시선 추적부(130)는 예를 들어, 좌안용 영상 및 우안용 영상 중 제2 안구에 대해 표시되는 영상만을 차단한 상태에서 제1 안구를 연속적으로 촬영한 영상들 중 제1 안구의 크기가 최대(즉, 눈을 완전히 뜬 상태)인 영상을 기준 영상으로 결정할 수 있다.
또한, 시선 추적부(130)는 좌안용 영상 및 우안용 영상 중 제1 안구에 대해 표시되는 영상만을 차단한 상태에서 제1 안구를 연속적으로 촬영한 영상들 중 기 설정된 크기 이상 눈을 뜨고 있는 하나 이상의 영상을 비교 영상으로 결정할 수 있다. 구체적으로, 시선 추적부(130)는 제1 안구에 대해 표시되는 영상만을 차단한 상태에서 제1 안구를 연속적으로 촬영한 영상들 각각과 기준 영상 사이의 차이에 기초하여 비교 영상을 결정할 수 있다.
구체적인 예로, 도 3은 본 발명의 일 실시예에 따른 비교 영상 결정 과정을 설명하기 위한 도면이다.
도 3을 참조하면, 우선, 시선 추적부(130)는 기준 영상(310)과 제1 안구에 대해 표시되는 영상만을 차단한 상태에서 제1 안구를 연속적으로 촬영한 각 프레임의 영상들(320, 330) 사이의 차이 영상(340, 350)을 생성할 수 있다.
이후, 시선 추적부(130)는 생성된 각 차이 영상(340, 350)에서 전체 픽셀의 강도 값의 합(또는 평균)을 산출하고, 산출된 값이 기 설정된 임계값 이하인 프레임의 영상을 비교 영상으로 결정할 수 있다.
구체적으로, 도시된 예에서, 제1 안구가 완전히 감겨진 상태에서 촬영된 영상(320)과 기준 영상(310) 사이의 차이 영상(340)에서 산출된 전체 픽셀의 강도 값의 합이 임계 값을 초과하므로, 해당 영상(320)은 노이즈로서 제거될 수 있다. 반면, 제1 안구가 완전히 떠진 상태에서 촬영된 영상(330)과 기준 영상(310) 사이의 차이 영상(350)에서 산출된 전체 픽셀의 강도 값의 합이 임계 값 미만이므로, 해당 영상(330)은 비교 영상으로 결정될 수 있다.
한편, 본 발명의 일 실시예에 따르면, 시선 추적부(130)는 기준 영상 및 비교 영상 각각에서 동공의 중심을 시선 위치로 결정할 수 있다.
구체적으로, 시선 추적부(130)는 예를 들어, 고속 방사상 대칭 변환(Fast Radial Symmetry Transform) 기법을 이용하여 기준 영상 및 비교 영상 각각에서 홍채 후보 영역을 추정할 수 있다. 이후, 시선 추적부(130)는 예를 들어, 캐니 에지 검출기(Canny Edge Detector)와 같은 에지 검출 기법을 이용하여 각 영상의 외곽선을 추출한 후, 예를 들어, 들로네 삼각분할(Delaunay Triangulation) 기법을 통해 외곽선의 점들을 연결한 복수의 삼각형을 생성할 수 있다. 이후, 시선 추적부(130)는 생성된 각 삼각형을 이루는 선들 중 타원 형태를 지닌 부분을 검출하고, 검출된 부분을 홍채 위치로 추정할 수 있다. 한편, 홍채 위치가 추정된 경우, 시선 추적부(130)는 예를 들어, 추정된 홍채 위치를 중심으로 타원 정합(ellipse fitting) 기법을 적용하여 동공 영역을 결정하고, 결정된 동공 영역의 중심을 시선 위치로 결정할 수 있다.
다시 도 1을 참조하면, 영상 제어부(140)는 제1 안구에 대한 기준 영상과 비교 영상에서 제1 안구의 시선 위치가 일치하는지 여부를 파단하고, 일치하지 않는 경우, 비교 영상에서 제1 안구의 시선 위치가 기준 영상에서 제1 안구의 시선 위치와 일치할 때가지 표적의 위치를 이동시킨다.
도 4 내지 도 7은 시선 위치에 따른 표적 이동 과정을 설명하기 위한 예시도이다.
도 4를 참조하면, 우선, 시선 추적부(130)는 3차원 표적 영상에서 표적(410)이 초기 위치(예를 들어, 피 검사자의 정면)에 위치한 상태에서 우안용 영상(420)을 차단한 후 획득된 좌안에 대한 기준 영상(440)에서 좌안의 시선 위치(441)를 결정한다.
이후, 시선 추정부(130)는 도 5에 도시된 예와 같이 표적(410)이 초기 위치에 위치한 상태에서 좌안용 영상(430)을 차단한 후 획득된 좌안에 대한 비교 영상(450)에서 좌안의 시선 위치(451)를 결정한다. 이때, 피 검사자가 사시 환자가 아닌 경우, 좌안용 영상(430)이 차단되더라도 좌안의 시선 위치가 변경되지 않으나, 사시 환자의 경우, 좌안용 영상(430)이 차단된 경우, 도 5에 도시된 비교 영상(450)의 시선 위치(451)와 같이 좌안의 시선 위치가 변경되어 안구 편위가 발생하게 된다.
한편, 안구 편위가 발생한 경우, 영상 제어부(140)는 도 6에 도시된 예와 같이 표적(410)의 위치를 이동시킨다. 이때, 시선 추정부(130)는 표적(410)의 위치를 이동시킨 상태에서 획득된 좌안에 대한 비교 영상(460)에서 좌안의 시선 위치(461)를 결정한다. 또한, 영상 제어부(140)는 결정된 시선 위치(461)가 기준 영상(440)의 시선 위치(441)와 일치하지 않는 경우, 표적(410)의 위치를 추가적으로 이동시킨다.
이후, 영상 제어부(140)는 도 7에 도시된 예와 같이 비교 영상(470)에서 좌안의 시선 위치(471)와 기준 영상(440)의 시선 위치(441)가 일치할 때까지 표적(410)의 위치를 이동시킨다.
한편, 본 발명의 일 실시예에 따르면, 영상 제어부(140)는 퍼지 논리(Fuzzy logic)에 기초하여 비교 영상에서 제1 안구의 시선 위치가 기준 영상에서 제1 안구의 시선 위치와 일치할 때가지 표적의 위치를 반복적으로 이동시킬 수 있다.
구체적으로, 영상 제어부(140)는 우선 사전 설정된 안구 편위 정보(예를 들어, 남자 또는 영유아의 평균 안구 지름에 근거한 안구 편위 각도)에 기초하여 표적을 이동시킨 후, 기준 영상과 비교 영상에서 시선 위치의 차이(예를 들어, 동공 중심 사이의 거리)가 0으로 수렴할 때까지 이동거리를 줄여가면서 표적의 위치를 상하좌우로 변경하는 과정을 반복 수행할 수 있다.
다시 도 1을 참조하면, 사시각 측정부(150)는 제1 안구에 대한 비교 영상과 기준 영상에서 제1 안구의 시선 위치가 일치하는 경우, 표적의 초기 위치 및 최종 위치에 기초하여 사시각을 결정한다.
구체적으로, 상술한 바와 같이 안구 편위가 발생한 경우, 영상 제어부(140)는 기준 영상과 비교 영상에서 시선 위치가 일치할 때까지 표적의 위치를 반복적으로 이동시키게 된다. 이때, 표적의 초기 위치는 위치 이동을 시작하기 전 표적의 최초 위치를 의미하며, 최종 위치는 위치 이동을 시작한 이후 기준 영상과 비교 영상에서 시선 위치가 일치할 때 표적의 위치를 의미할 수 있다.
한편, 본 발명의 일 실시예에 따르면, 사시각 측정부(150)는 표적의 초기 위치와 최종 위치에 기초하여 표적의 이동 거리를 산출하고, 산출된 이동 거리에 기초하여 사시각을 결정할 수 있다.
구체적으로, 도 8은 본 발명의 일 실시예에 따른 사시각 결정을 설명하기 위한 예시도이다.
도 8에 도시된 예에서, d1은 표적의 초기 위치와 최종 위치 사이의 좌우 이동 거리, d2는 두 눈 사이의 중심점과 표적의 초기 위치 사이의 거리, PD는 두 눈 사이의 거리, α는 사시각을 나타내며, 사시각은 예를 들어, 아래의 수학식 1을 이용하여 산출될 수 있다.
[수학식 1]
Figure PCTKR2019004103-appb-I000001
한편, 수학식 1에서 d2는 및 PD는 미리 설정된 값을 이용할 수 있다. 예를 들어, d2는 성인의 평균 수치로 설정될 수 있으며, PD는 보편적으로 수행되는 사시 진단 매뉴얼에 근거하여 6m 또는 0.33m로 설정될 수 있다.
한편, 도 8에 도시된 예는 좌우 사시에 대한 좌우 사시각의 예를 설명하기 위한 것이나, 좌우 사시 외에도 상사시 및 하사시에 대한 상하 사시각도 유사한 방식으로 결정될 수 있다.
도 9는 본 발명의 일 실시예에 따른 사시각 측정 방법의 순서도이다.
도 9에 도시된 방법은 예를 들어, 도 1에 도시된 사시각 측정 장치(100)에 의해 수행될 수 있다.
도 9를 참조하면, 사시각 측정 장치(100)는 우선, 표적을 포함하는 3차원 표적 영상을 표시한다(910).
이후, 사시각 측정 장치(100)는 3차원 표적 영상 중 피 검사자의 제2 안구에 대해 표시되는 제2 영상을 차단한 상태에서 피 검사자의 제1 안구를 촬영한 기준 영상을 획득한다(920).
이후, 사시각 측정 장치(100)는 기준 영상에서 제1 안구의 시선 위치를 결정한다(930).
이후, 사시각 측정 장치(100)는 제2 영상에 대한 차단을 해제하고, 3차원 표적 영상 중 피 검사자의 제1 안구에 대해 표시되는 제1 영상을 차단한 상태에서 제1 안구를 촬영한 비교 영상을 획득한다(940).
이후, 사시각 측정 장치(100)는 획득된 비교 영상에서 제1 안구의 시선 위치를 결정한다(950).
이후, 사시각 측정 장치(100)는 비교 영상과 기준 영상에서 제1 안구의 시선 위치가 일치하는지 여부를 판단한다(960).
이때, 제1 안구의 시선 위치가 일치하지 않는 경우, 사시각 측정 장치(100)는 표적의 위치를 이동시키고(970), 시선 위치가 일치할 때까지 940 내지 970단계를 반복 수행한다.
이후, 사시각 측정 장치(100)는 비교 영상과 기준 영상에서 제1 안구의 시선 위치가 일치된 경우, 표적의 초기 위치 및 최종 위치에 기초하여 사시각을 결정한다(980).
한편, 도 9에 도시된 순서도에서는 상기 방법을 복수 개의 단계로 나누어 기재하였으나, 적어도 일부의 단계들은 순서를 바꾸어 수행되거나, 다른 단계와 결합되어 함께 수행되거나, 생략되거나, 세부 단계들로 나뉘어 수행되거나, 또는 도시되지 않은 하나 이상의 단계가 부가되어 수행될 수 있다.
도 10은 예시적인 실시예들에서 사용되기에 적합한 컴퓨팅 장치를 포함하는 컴퓨팅 환경을 예시하여 설명하기 위한 블록도이다. 도시된 실시예에서, 각 컴포넌트들은 이하에 기술된 것 이외에 상이한 기능 및 능력을 가질 수 있고, 이하에 기술되지 것 이외에도 추가적인 컴포넌트를 포함할 수 있다.
도시된 컴퓨팅 환경(10)은 컴퓨팅 장치(12)를 포함한다. 일 실시예에서, 컴퓨팅 장치(12)는 사시각 측정 장치(100)에 포함되는 하나 이상의 컴포넌트일 수 있다.
컴퓨팅 장치(12)는 적어도 하나의 프로세서(14), 컴퓨터 판독 가능 저장 매체(16) 및 통신 버스(18)를 포함한다. 프로세서(14)는 컴퓨팅 장치(12)로 하여금 앞서 언급된 예시적인 실시예에 따라 동작하도록 할 수 있다. 예컨대, 프로세서(14)는 컴퓨터 판독 가능 저장 매체(16)에 저장된 하나 이상의 프로그램들을 실행할 수 있다. 상기 하나 이상의 프로그램들은 하나 이상의 컴퓨터 실행 가능 명령어를 포함할 수 있으며, 상기 컴퓨터 실행 가능 명령어는 프로세서(14)에 의해 실행되는 경우 컴퓨팅 장치(12)로 하여금 예시적인 실시예에 따른 동작들을 수행하도록 구성될 수 있다.
컴퓨터 판독 가능 저장 매체(16)는 컴퓨터 실행 가능 명령어 내지 프로그램 코드, 프로그램 데이터 및/또는 다른 적합한 형태의 정보를 저장하도록 구성된다. 컴퓨터 판독 가능 저장 매체(16)에 저장된 프로그램(20)은 프로세서(14)에 의해 실행 가능한 명령어의 집합을 포함한다. 일 실시예에서, 컴퓨터 판독 가능 저장 매체(16)는 메모리(랜덤 액세스 메모리와 같은 휘발성 메모리, 비휘발성 메모리, 또는 이들의 적절한 조합), 하나 이상의 자기 디스크 저장 디바이스들, 광학 디스크 저장 디바이스들, 플래시 메모리 디바이스들, 그 밖에 컴퓨팅 장치(12)에 의해 액세스되고 원하는 정보를 저장할 수 있는 다른 형태의 저장 매체, 또는 이들의 적합한 조합일 수 있다.
통신 버스(18)는 프로세서(14), 컴퓨터 판독 가능 저장 매체(16)를 포함하여 컴퓨팅 장치(12)의 다른 다양한 컴포넌트들을 상호 연결한다.
컴퓨팅 장치(12)는 또한 하나 이상의 입출력 장치(24)를 위한 인터페이스를 제공하는 하나 이상의 입출력 인터페이스(22) 및 하나 이상의 네트워크 통신 인터페이스(26)를 포함할 수 있다. 입출력 인터페이스(22) 및 네트워크 통신 인터페이스(26)는 통신 버스(18)에 연결된다. 입출력 장치(24)는 입출력 인터페이스(22)를 통해 컴퓨팅 장치(12)의 다른 컴포넌트들에 연결될 수 있다. 예시적인 입출력 장치(24)는 포인팅 장치(마우스 또는 트랙패드 등), 키보드, 터치 입력 장치(터치패드 또는 터치스크린 등), 음성 또는 소리 입력 장치, 다양한 종류의 센서 장치 및/또는 촬영 장치와 같은 입력 장치, 및/또는 디스플레이 장치, 프린터, 스피커 및/또는 네트워크 카드와 같은 출력 장치를 포함할 수 있다. 예시적인 입출력 장치(24)는 컴퓨팅 장치(12)를 구성하는 일 컴포넌트로서 컴퓨팅 장치(12)의 내부에 포함될 수도 있고, 컴퓨팅 장치(12)와는 구별되는 별개의 장치로 컴퓨팅 장치(12)와 연결될 수도 있다.
이상에서 대표적인 실시예를 통하여 본 발명에 대하여 상세하게 설명하였으나, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 전술한 실시예에 대하여 본 발명의 범주에서 벗어나지 않는 한도 내에서 다양한 변형이 가능함을 이해할 것이다. 그러므로 본 발명의 권리범위는 설명된 실시예에 국한되어 정해져서는 안 되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.

Claims (12)

  1. 표적을 포함하는 3차원 표적 영상을 표시하는 영상 표시부;
    상기 3차원 표적 영상을 응시하는 피 검사자의 안구를 촬영하는 안구 촬영부;
    상기 3차원 표적 영상 중 상기 피 검사자의 제2 안구에 대해 표시되는 제2 영상을 차단한 상태에서 상기 피 검사자의 제1 안구를 촬영한 기준 영상 및 상기 3차원 표적 영상 중 상기 제1 안구에 대해 표시되는 제1 영상을 차단한 상태에서 상기 제1 안구를 촬영한 비교 영상 각각에서 상기 제1 안구의 시선 위치를 결정하는 시선 추적부;
    상기 비교 영상과 상기 기준 영상에서 상기 제1 안구의 시선 위치가 일치하는지 여부를 판단하고, 일치하지 않는 경우 상기 비교 영상에서 상기 제1 안구의 시선 위치가 상기 기준 영상에서 상기 제1 안구의 시선 위치와 일치할 때까지 상기 표적의 위치를 이동시키는 영상 제어부; 및
    상기 비교 영상에서 상기 제1 안구의 시선 위치가 상기 기준 영상에서 상기 제1 안구의 시선 위치와 일치된 경우, 상기 표적의 초기 위치 및 최종 위치에 기초하여 사시각을 결정하는 사시각 결정부를 포함하는 사시각 측정 장치.
  2. 청구항 1에 있어서,
    상기 제1 안구의 시선 위치는, 상기 제1 안구의 동공 중심 위치인 사시각 측정 장치.
  3. 청구항 1에 있어서,
    상기 시선 추적부는, 상기 제1 영상을 차단한 상태에서 상기 제1 안구를 촬영한 영상 중 기 설정된 크기 이상 눈을 뜨고 있는 영상을 상기 비교 영상으로 결정하는 사시각 측정 장치.
  4. 청구항 1에 있어서,
    상기 시선 추적부는, 상기 제1 영상을 차단한 상태에서 상기 제1 안구를 촬영한 각 영상과 상기 기준 영상 사이의 차이에 기초하여 상기 비교 영상을 결정하는 사시각 측정 장치.
  5. 청구항 1에 있어서,
    상기 영상 제어부는, 퍼지 논리(Fuzzy logic)에 기초하여 상기 표적의 위치를 이동시키는 사시각 측정 장치.
  6. 청구항 1에 있어서,
    상기 사시각 결정부는, 상기 초기 위치 및 상기 최종 위치에 기초하여 상기 표적의 이동 거리를 산출하고, 상기 이동 거리를 이용하여 상기 사시각을 결정하는 사시각 측정 장치.
  7. (a) 표적을 포함하는 3차원 표적 영상을 표시하는 단계;
    (b) 상기 3차원 표적 영상 중 피 검사자의 제2 안구에 대해 표시되는 상기 제2 영상을 차단한 상태에서 상기 피 검사자의 제1 안구를 촬영한 기준 영상을 획득하는 단계;
    (c) 상기 기준 영상에서 상기 제1 안구의 시선 위치를 결정하는 단계;
    (d) 상기 제2 영상에 대한 차단을 해제하고, 상기 3차원 표적 영상 중 상기 제1 안구에 대해 표시되는 제1 영상을 차단한 상태에서 상기 제1 안구를 촬영한 비교 영상을 획득하는 단계;
    (e) 상기 비교 영상에서 상기 제1 안구의 시선 위치를 결정하는 단계;
    (f) 상기 비교 영상과 상기 기준 영상에서 상기 제1 안구의 시선 위치가 일치하는지 여부를 판단하는 단계;
    (g) 상기 비교 영상과 상기 기준 영상에서 상기 제1 안구의 시선 위치가 일치하지 않는 경우, 상기 표적의 위치를 이동시키는 단계; 및
    (h) 상기 비교 영상과 상기 기준 영상에서 상기 제1 안구의 시선 위치가 일치된 경우, 상기 표적의 초기 위치 및 최종 위치에 기초하여 사시각을 결정하는 단계를 포함하되,
    상기 (d) 단계 내지 상기 (g) 단계는 상기 비교 영상과 상기 기준 영상에서 상기 제1 안구의 시선 위치가 일치할 때까지 반복 수행되는 사시각 측정 방법.
  8. 청구항 7에 있어서,
    상기 제1 안구의 시선 위치는, 상기 제1 안구의 동공 중심 위치인 사시각 측정 방법.
  9. 청구항 7에 있어서,
    상기 (d) 단계는, 상기 제1 영상을 차단한 상태에서 상기 제1 안구를 촬영한 영상 중 기 설정된 크기 이상 눈을 뜨고 있는 영상을 상기 비교 영상으로 결정하는 사시각 측정 방법.
  10. 청구항 7에 있어서,
    상기 (d) 단계는, 상기 제1 영상을 차단한 상태에서 상기 제1 안구를 촬영한 각 영상과 상기 기준 영상 사이의 차이에 기초하여 상기 비교 영상을 결정하는 사시각 측정 방법.
  11. 청구항 7에 있어서,
    상기 (g) 단계는, 퍼지 논리(Fuzzy logic)에 기초하여 상기 표적의 위치를 이동시키는 사시 진단 방법.
  12. 청구항 7에 있어서,
    상기 (h) 단계는, 상기 초기 위치 및 상기 최종 위치에 기초하여 상기 표적의 이동 거리를 산출하는 단계; 및
    상기 이동 거리를 이용하여 상기 사시각을 결정하는 단계를 포함하는 사시 진단 방법.
PCT/KR2019/004103 2019-03-11 2019-04-05 사시각 측정 장치 및 방법 Ceased WO2020184775A1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2019-0027754 2019-03-11
KR1020190027754A KR102224209B1 (ko) 2019-03-11 2019-03-11 사시각 측정 장치 및 방법

Publications (1)

Publication Number Publication Date
WO2020184775A1 true WO2020184775A1 (ko) 2020-09-17

Family

ID=72427641

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2019/004103 Ceased WO2020184775A1 (ko) 2019-03-11 2019-04-05 사시각 측정 장치 및 방법

Country Status (2)

Country Link
KR (1) KR102224209B1 (ko)
WO (1) WO2020184775A1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116407082A (zh) * 2021-12-31 2023-07-11 上海晨兴希姆通电子科技有限公司 基于ar眼镜的斜视角度确定装置和斜视角度确定系统
EP4370012A1 (en) 2021-07-13 2024-05-22 Universität Bern Computer program, method, and apparatus for determining a plurality of functional ocular parameters

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102683166B1 (ko) 2022-01-28 2024-07-09 (주)뉴로니어 사시 측정용 기구 세트

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013035086A1 (en) * 2011-09-07 2013-03-14 Improved Vision Systems (I.V.S.) Ltd. Method and system for treatment of visual impairment
WO2016139662A1 (en) * 2015-03-01 2016-09-09 Improved Vision Systems (I.V.S.) Ltd. A system and method for measuring ocular motility
KR101761635B1 (ko) * 2015-04-27 2017-08-04 한양대학교 산학협력단 사시각 측정 방법 및 장치
KR101825830B1 (ko) * 2016-08-26 2018-02-05 한양대학교 산학협력단 사시각 측정 시스템 및 방법, 그리고 컴퓨터로 읽을 수 있는 저장매체
KR20180083069A (ko) * 2017-01-12 2018-07-20 고려대학교 산학협력단 가상현실을 이용한 안과 검사 시스템 및 방법

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100612586B1 (ko) 1998-07-21 2007-12-04 엘지전자 주식회사 헤드마운트디스플레이의사시테스트장치

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013035086A1 (en) * 2011-09-07 2013-03-14 Improved Vision Systems (I.V.S.) Ltd. Method and system for treatment of visual impairment
WO2016139662A1 (en) * 2015-03-01 2016-09-09 Improved Vision Systems (I.V.S.) Ltd. A system and method for measuring ocular motility
KR101761635B1 (ko) * 2015-04-27 2017-08-04 한양대학교 산학협력단 사시각 측정 방법 및 장치
KR101825830B1 (ko) * 2016-08-26 2018-02-05 한양대학교 산학협력단 사시각 측정 시스템 및 방법, 그리고 컴퓨터로 읽을 수 있는 저장매체
KR20180083069A (ko) * 2017-01-12 2018-07-20 고려대학교 산학협력단 가상현실을 이용한 안과 검사 시스템 및 방법

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
P(E-POSTER)-144, Retrieved from the Internet <URL:http://www.ophthalmology.org/abstract/2018_119/green/view.html?exp=%ED%8F%AC%EC%8A%A4%ED%84%BO%28e-poster%29no=1190287&en=> *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4370012A1 (en) 2021-07-13 2024-05-22 Universität Bern Computer program, method, and apparatus for determining a plurality of functional ocular parameters
CN116407082A (zh) * 2021-12-31 2023-07-11 上海晨兴希姆通电子科技有限公司 基于ar眼镜的斜视角度确定装置和斜视角度确定系统

Also Published As

Publication number Publication date
KR20200108721A (ko) 2020-09-21
KR102224209B1 (ko) 2021-03-05

Similar Documents

Publication Publication Date Title
KR102099223B1 (ko) 사시 진단 시스템 및 방법, 시선 영상 획득 시스템, 컴퓨터 프로그램
EP3651457B1 (en) Pupillary distance measurement method, wearable eye equipment and storage medium
CN109690553A (zh) 执行眼睛注视跟踪的系统和方法
WO2020230908A1 (ko) 사시진단어플리케이션 및 이를 갖는 사시진단장치
WO2016114496A1 (ko) 시선 인식 및 생체 신호를 이용한 헤드 마운트 디스플레이를 통해 사용자 인터페이스를 제공하는 방법, 이를 이용한 장치 및 컴퓨터 판독 가능한 기록 매체
US20140085189A1 (en) Line-of-sight detection apparatus, line-of-sight detection method, and program therefor
JP2016173313A (ja) 視線方向推定システム、視線方向推定方法及び視線方向推定プログラム
WO2020184775A1 (ko) 사시각 측정 장치 및 방법
WO2019156485A1 (en) Method for determining refractory power of eye using immersive system and electronic device thereof
WO2020235940A1 (ko) 3d 심도 카메라를 이용한 안구 돌출 측정 장치, 방법 및 시스템
WO2019190076A1 (ko) 시선 추적 방법 및 이를 수행하기 위한 단말
KR101526557B1 (ko) 다중 카메라 기반 시선 추적 장치 및 방법
CN115590462A (zh) 一种基于摄像头的视力检测方法和装置
CN113662506B (zh) 一种角膜表面形态的测量方法、装置、介质及电子设备
CN112712059B (zh) 基于红外热图像和rgb图像的活体人脸识别方法
JP6950644B2 (ja) 注意対象推定装置及び注意対象推定方法
TW201705041A (zh) 凝視分析方法與裝置
JP3726122B2 (ja) 視線検出システム
WO2012002601A1 (ko) 3차원 영상 정보를 이용하는 사람 인식 방법 및 장치
WO2024014623A1 (ko) 사용자 맞춤용 누진렌즈 설계 장치 및 그의 누진렌즈 설계 방법
JP4354067B2 (ja) 虹彩画像入力装置
Sun et al. An auxiliary gaze point estimation method based on facial normal
WO2010095770A1 (ko) 입체영상 가시화를 위한 자동 피사계심도 조절 방법
WO2014204126A2 (ko) 3차원 초음파 촬영장치 및 그 운영방법
JP3834636B2 (ja) 視線位置計測における頭部の動きのズレを補正する方法及びシステム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19919218

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19919218

Country of ref document: EP

Kind code of ref document: A1