WO2021150055A1 - 양안 촬영 장치 - Google Patents

양안 촬영 장치 Download PDF

Info

Publication number
WO2021150055A1
WO2021150055A1 PCT/KR2021/000899 KR2021000899W WO2021150055A1 WO 2021150055 A1 WO2021150055 A1 WO 2021150055A1 KR 2021000899 W KR2021000899 W KR 2021000899W WO 2021150055 A1 WO2021150055 A1 WO 2021150055A1
Authority
WO
WIPO (PCT)
Prior art keywords
photographing unit
left eye
eye
optical axis
image
Prior art date
Application number
PCT/KR2021/000899
Other languages
English (en)
French (fr)
Inventor
하태호
장성환
안준모
손원준
조동기
김성진
Original Assignee
주식회사 씨엠랩
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020200009071A external-priority patent/KR102306241B1/ko
Application filed by 주식회사 씨엠랩 filed Critical 주식회사 씨엠랩
Publication of WO2021150055A1 publication Critical patent/WO2021150055A1/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/11—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for measuring interpupillary distance or diameter of pupils
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/14—Arrangements specially adapted for eye photography
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B15/00—Optical objectives with means for varying the magnification
    • G02B15/14—Optical objectives with means for varying the magnification by axial movement of one or more lenses or groups of lenses relative to the image plane for continuously varying the equivalent focal length of the objective

Definitions

  • the present invention relates to a binocular imaging device.
  • the retina is the inner wall that surrounds the innermost part of the eye.
  • the macula is located in the portion corresponding to the visual axis, and is the region with the best resolution.
  • the blind spot optical disc
  • the visual axis is inclined at a slight angle from an optical axis, which is a path of light entering vertically through the pupil. For this reason, the conventional retinal imaging apparatus was able to photograph the retina after inducing the patient's gaze to be distorted at a slight angle from the front.
  • An object of the present invention is to provide a binocular imaging apparatus capable of simultaneously photographing the retinas of both eyes while guiding a patient's gaze to a specific direction and/or distance.
  • the binocular photographing apparatus has a first optical axis that is twisted at a first angle with respect to the optical axis of the left eye, a left eye photographing unit that captures the pupil and retina of the left eye, and a second that is distorted at a second angle with respect to the optical axis of the right eye.
  • the right eye photographing unit It has two optical axes and moves the right eye photographing unit, the left eye photographing unit, and the right eye photographing unit for photographing the pupil and retina of the right eye in a first direction, so that the optical axis of the left eye photographing unit is aligned with the pupil of the left eye, and the right eye photographing It may include a first direction movement mechanism for aligning the negative optical axis with the pupil of the right eye, and a second direction movement mechanism for moving the left eye photographing unit and the right eye photographing unit in a second direction toward both eyes of the subject.
  • the left eye photographing unit and the right eye photographing unit may be arranged to be focused toward both eyes of the examinee.
  • the left eye photographing unit and the right eye photographing unit may simultaneously photograph the left eye and the right eye to generate a retinal image.
  • the left eye photographing unit optically couples the ring-shaped white polarized light to the retina illumination system and the retina illumination system incident to the left eye along the first optical axis, and photographing the pupil of the left eye to obtain a first tracking image Optically coupled to the pupil tracking optical system that generates a, and the retinal illumination system, generates a second tracking image by photographing the retina, and detects white polarized light reflected from the retina of the left eye Retina tracking / to generate a retinal image It may include an imaging optical system.
  • the second tracking image is used to track the position of the optical disk in the retina, and the second tracking image may be blurred.
  • the focal position for photographing the optical disk in the retina may be determined by a focal value that is a sum total of pixel value differences between pixels belonging to a corresponding area of the optical disk tracked by the left eye photographing unit.
  • the focus value may be calculated after blurring the optical disc corresponding area.
  • the focus position may be determined by a maximum value among focus values calculated from a plurality of optical disc corresponding regions obtained by photographing at a constant focal interval in one focus section.
  • the focus position may be determined by a maximum value among focus values calculated from a plurality of optical disc corresponding regions obtained by photographing at different focal intervals in a plurality of focus sections in which some sections overlap.
  • a binocular photographing apparatus having a virtual image alignment function includes a left eye photographing unit configured to have a first optical axis shifted at a first angle with respect to an optical axis of the left eye, and output a left eye image to the left eye, and a first optical axis for the right eye.
  • a right eye photographing unit having a second optical axis twisted at two angles and outputting a right eye image to the right eye, the left eye photographing unit, and the right eye photographing unit are moved in a first direction to align the optical axis of the left eye photographing unit with the pupil of the left eye and a first directional movement mechanism for aligning the optical axis of the right eye photographing unit with the pupil of the right eye, and a second directional movement mechanism for moving the left eye photographing unit and the right eye photographing unit in a second direction toward both eyes of the subject,
  • the first direction movement mechanism and the second direction movement mechanism align the left eye photographing unit and the right eye photographing unit to an initial position, and in the initial position, according to a distance between the left eye photographing unit and the left eye, the left eye
  • the photographing unit and the right eye photographing unit may be rearranged.
  • the left eye photographing unit and the right eye photographing unit include lights disposed to face the left eye and the right eye, and the distance between the left eye photographing unit and the left eye is at a position of the reflection area by the illumination. can be determined by
  • an intersection point of the first optical axis and the optical axis of the left eye image may be located in the pupil of the left eye by the rearrangement.
  • the left eye photographing unit and the right eye photographing unit may simultaneously photograph the left eye and the right eye to generate a retinal image.
  • the left-eye photographing unit includes a left-eye image display system having an optical axis shifted at a third angle with respect to the first optical axis and outputting the left-eye image
  • the right-eye photographing unit includes the second optical axis with respect to the second optical axis.
  • a right eye image display system having an optical axis shifted at three angles and outputting the right eye image.
  • the left-eye image display system includes a beam splitter positioned on the first optical axis and disposed to be deviated from the first optical axis at the third angle to face the front of the left eye, and the beam splitter toward the beam splitter. It may include a display for outputting the left eye image.
  • the left eye photographing unit optically couples the ring-shaped white polarized light to the retina illumination system and the retina illumination system incident to the left eye along the first optical axis, and the left eye along at least a part of the first optical axis
  • It may include a retinal imaging optical system for generating a, and a left-eye image display system coupled to the retinal illumination system and outputting a left-eye image to the left eye.
  • the left eye image and the right eye image may be 2D or 3D images recognized as a single virtual image by the examinee.
  • the left eye photographing unit may track an optical disk on the pupil of the left eye and the retina of the left eye
  • the right eye photographing unit may track a specific target on the pupil of the right eye and the retina of the right eye.
  • the left-eye image and the right-eye image are two-dimensional or three-dimensional images recognized as a single virtual image by the examinee, and the virtual image includes a first object indicating an optimal pupil position and a It may include a second object indicating the position of the pupil according to the gaze.
  • the left-eye image and the right-eye image are two-dimensional or three-dimensional images recognized as a single virtual image by the examinee, and the virtual image includes: It may include a second object indicating the position of the pupil according to the gaze.
  • the binocular photographing apparatus includes a left eye photographing unit having a first optical axis that is twisted at a first angle with respect to the optical axis of the left eye, a left eye photographing unit that outputs a left eye image to the left eye, and a second optical axis that is twisted at a second angle with respect to the optical axis of the right eye
  • a right eye photographing unit having two optical axes and outputting a right eye image to the right eye, the left eye photographing unit and the right eye photographing unit are moved in a first direction to align the optical axis of the left eye photographing unit with the pupil of the left eye, and the right eye photographing unit
  • the left eye photographing unit and the right eye photographing unit are arranged to be focused toward both eyes of
  • FIG. 1 is a diagram schematically illustrating a binocular photographing apparatus according to an exemplary embodiment.
  • FIG. 2 is an exemplary view illustrating a state in which a photographing unit of the binocular photographing apparatus illustrated in FIG. 1 is viewed from above.
  • FIG. 3 is a view exemplarily showing a cross-section of a photographing unit of the binocular photographing apparatus illustrated in FIG. 2 .
  • FIG. 4 is a diagram schematically illustrating a binocular photographing apparatus according to another exemplary embodiment.
  • FIG. 5 is a diagram exemplarily illustrating gaze guidance using a virtual image.
  • FIG. 6 is a view exemplarily illustrating a state in which a photographing unit of the binocular photographing apparatus illustrated in FIG. 4 is viewed from above.
  • FIG. 7 is a view exemplarily showing a cross-section of a photographing unit of the binocular photographing apparatus illustrated in FIG. 6 .
  • FIG. 8 is a flowchart exemplarily illustrating an operation of a binocular photographing apparatus.
  • FIG. 9 is a flowchart exemplarily illustrating the pupil tracking operation illustrated in FIG. 8 .
  • FIG. 10 is a diagram exemplarily illustrating a process of tracking a pupil in a first tracking image.
  • FIG. 11 is a diagram for exemplarily explaining an operation used in a tracking process.
  • FIG. 12 is a diagram exemplarily illustrating a process of tracking a near-infrared reflective region in a first tracking image.
  • FIG. 13 is a diagram exemplarily illustrating an effect of a distance between a subject and a binocular imaging device on a virtual image viewed by the subject.
  • FIG. 14 is a flowchart exemplarily illustrating a process of aligning an optical axis of a photographing unit and an optical axis of an image display system to a pupil.
  • 15 is a diagram exemplarily illustrating the characteristics of a reflection area when a distance between the photographing unit and the pupil is close.
  • 16 is a diagram exemplarily illustrating an alignment process when a distance between the photographing unit and the pupil is close.
  • 17 is a diagram exemplarily illustrating the characteristics of a reflection area when the distance between the photographing unit and the pupil is long.
  • 18 is a diagram exemplarily illustrating an alignment process in the case where the distance between the photographing unit and the pupil is long.
  • FIG. 19 is a flowchart exemplarily illustrating the retina tracking operation illustrated in FIG. 8 .
  • 20 is a diagram exemplarily illustrating a process of tracking an optical disk in a second tracking image.
  • FIG. 21 is a flowchart exemplarily illustrating the auto-focusing operation illustrated in FIG. 8 .
  • 22 is a flowchart exemplarily illustrating an embodiment of performing retinal tracking and auto-focusing together.
  • 23 is a diagram for exemplarily explaining blur processing for accurately calculating a focus value.
  • 24 is a flowchart exemplarily illustrating auto-focusing that can reduce a time for calculating a focus value.
  • 25 is a diagram for exemplarily explaining auto-focusing that can reduce a time for calculating a focus value.
  • 26 is a functional diagram illustrating a binocular photographing apparatus.
  • FIG. 1 is a diagram schematically illustrating a binocular photographing apparatus according to an exemplary embodiment.
  • the binocular imaging apparatus 100 simultaneously photographs the retinas of both eyes.
  • the binocular photographing apparatus 100 includes a left eye photographing unit 110L for photographing the retina of the left eye among both eyes of the subject and a right eye photographing unit 110R for photographing the retina of the right eye.
  • the left eye photographing unit 110L is arranged so that the optical axis OA cam of the left eye photographing unit 110L is deviated by a first angle ⁇ 1 in a direction perpendicular to the left eye, for example, with respect to an optical axis OA eye of the left eye. .
  • the optical axis is disposed in a direction perpendicular to the right eye, for example, the optical axis of the right eye photographing unit 110R is deviated by the second angle ⁇ 2 with respect to the optical axis of the right eye.
  • the absolute values of the first angle ⁇ 1 and the second angle ⁇ 2 may be substantially the same. That is, the left-eye photographing unit 110L and the right-eye photographing unit 110R may be arranged in such a way that they are gathered closer to the subject.
  • the pupil of the left eye is located on the optical axis of the left eye photographing unit 110L
  • the pupil of the right eye is located on the optical axis of the right eye photographing unit 110R. Accordingly, the left eye photographing unit 110L photographs the retina of the left eye through the pupil of the left eye, and the right eye photographing unit 110R photographs the retina of the right eye through the pupil of the right eye.
  • the left eye photographing unit 110L and the right eye photographing unit 110R may move in a first direction, for example, in the x-axis direction, respectively.
  • the distance d eye between both eyes of the subject for example, the distance between the pupils, may be different for each subject. In the case of the existing equipment that photographed both eyes separately, the distance d eye between both eyes did not need to be considered. However, in order to simultaneously photograph both eyes, the optical axes of the left eye photographing unit 110L and the right eye photographing unit 110R must be aligned with the pupils of both eyes, respectively.
  • the binocular photographing apparatus 100 includes a left eye movement mechanism 130L for moving the left eye photographing unit 110L in the first direction and a right eye movement mechanism 130R for moving the right eye photographing unit 110R in the first direction. It may include at least one.
  • the left eye movement mechanism 130L and the right eye movement mechanism 130R are collectively referred to as a first direction movement mechanism 130 .
  • the first direction movement mechanism may be implemented by a known device such as a motor, an actuator, or the like.
  • the binocular photographing apparatus 100 includes a housing 150 accommodating a left eye photographing unit 110L, a right eye photographing unit 110R, and a first direction movement mechanism therein.
  • the left eye photographing unit 110L and the right eye photographing unit 110R may move forward or backward in the second direction inside the housing 150 .
  • the left eye photographing unit 110L and the right eye photographing unit 110R may advance toward or backward from the eye of the subject.
  • the second direction movement mechanism moves the left eye photographing unit 110L and the right eye photographing unit 110R in the second direction by covering both embodiments.
  • the second direction movement mechanism may be implemented by a known device such as a motor, an actuator, or the like.
  • the second directional movement mechanism 140 may move at a different speed depending on the distance from the subject. Between the initial position H and the constant position p 1 of the left eye photographing unit 110L and the right eye photographing unit 110R furthest from the subject, the movement distance per unit time of the second direction movement mechanism 140, that is, the movement speed, is the largest. . Between p 1 and a position p 2 suitable for retinal imaging, the movement speed decreases. Finally, when the left eye photographing unit 110L and the right eye photographing unit 110R reach p 2 , the second direction movement mechanism 140 stops the movement of the left eye photographing unit 110L and the right eye photographing unit 110R. .
  • the left eye photographing unit 110L and the right eye photographing unit 110R may be moved in the first direction by the first direction moving mechanism 130 .
  • the position of the pupil may be detected to align the optical axes.
  • the left eye photographing unit 110L and the right eye photographing unit 110R may move forward or backward while photographing the retinas of both eyes.
  • the moving speed By varying the moving speed, the moving time for the binocular imaging apparatus 100 to a position suitable for retinal imaging may be reduced.
  • the human eye tends to be easily fatigued by light, so if the retina is photographed while moving, the effect of fatigue on the eye can be minimized.
  • FIG. 2 is a view exemplarily illustrating a state in which a photographing unit of the binocular photographing apparatus illustrated in FIG. 1 is viewed from above
  • FIG. 3 is a diagram exemplarily illustrating a cross-section of the photographing unit of the binocular photographing apparatus illustrated in FIG. 2 . Since the left eye photographing unit 110L and the right eye photographing unit 110R have the same structure except for a state in which they are arranged to be focused toward both eyes, hereinafter, they will be collectively referred to as photographing units 110L and 110R without distinguishing them.
  • the maculas 12L and 12R and blind spots 13L and 13R are located in the retinas of both eyes 10L and 10R. Looking at the photographs 10La and 10Ra of the retinas of both eyes, it can be seen that the structures of the binocular eyes 10L and 10R are substantially symmetrical. The distance between the blind spots 13L and 13R is shorter than the distance between the maculas 12L and 12R.
  • the optical axis OA eye which is a path of light that has passed through the pupils 11L and 11R vertically, extends between the maculas 12L and 12R and the blind spots 13L and 13R.
  • the visual axis which is the path through which the light passing through the pupils 11L and 11R reaches the macula 12L, 12R, is deviated by a predetermined angle with respect to the optical axis OA eye, and the visual axis of both eyes 10L and 10R intersect in front of the subject.
  • the photographing units 110L and 110R include a retinal illumination system in which a pupil tracking optical system and a retinal photographing optical system are optically coupled.
  • the retinal illumination system may be implemented in various structures.
  • the optical axis of the retina illumination system is the optical axis OA cam of the photographing units 110L and 110R, and the pupil tracking optical system composed of the first illumination 200 and the first camera 210 is optically coupled to the retina illumination system by a beam splitter.
  • the retinal imaging optical system includes a mirror 230 , a polarizing plate 231 , and a second camera 232 , and is also optically coupled to the retinal illumination system by a beam splitter 203 .
  • the illustrated structure is only an example, and the positions of the camera and the light may be arranged differently.
  • the retinal illumination system injects ring-shaped white polarized light for retinal imaging into the eyes 10L and 10R.
  • the retinal illumination system is optically coupled to the pupil tracking optical system and the retinal imaging optical system. For this reason, the pupil tracking optical system and the retinal photographing optical system may irradiate light to the outside along at least a part of the optical axis OA cam of the photographing units 110L and 110R, or receive light reflected from the cornea or retina.
  • the retinal illumination system includes a white light illumination 220, a filter 222, an annular aperture 223, a polarizer 224, a plurality of beam splitters 201, 202, 203, arranged along the optical axis OA cam, and a plurality of collimating lenses 204 and 221 .
  • a white light illumination 220 generating white light is disposed at one end farthest from the eye along the optical axis OA cam .
  • the other end of the retinal illumination system is open, so that light may be incident on the eye or light reflected from the eye may be incident on the inside.
  • the straightness of the white light generated by the white light illumination 220 may be improved by the first collimating lens 221 .
  • the filter 222 , the annular aperture 223 and the polarizing plate 224 are disposed in front of the first collimating lens 221 . Due to the annular aperture 223 , white light has a ring shape, and passes through the polarizing plate 224 to become ring-shaped white polarized light.
  • the ring-shaped white polarization minimizes reflection by the cornea, and improves the quality of the photographed retinal picture.
  • the first beam splitter 201 passes the ring-shaped white polarized light traveling toward the eye along the optical axis OA cam and refracts the light generated by the first illumination 200 , for example, near-infrared rays toward the eye.
  • the second beam splitter 202 is disposed in front of the first beam splitter 201, transmits ring-shaped white polarized light and near infrared rays traveling toward the eyes, and transmits the near infrared rays reflected from the eyes to the first camera 210 .
  • the third beam splitter 203 is disposed in front of the second beam splitter 202 to pass ring-shaped white polarized light and near infrared rays traveling toward the eye, pass the near infrared rays reflected from the eyes, and reflect from the eyes The white polarized light is refracted toward the second camera 232 .
  • the pupil tracking optics include a first illuminator 200 optically coupled to the retinal illumination system by a first beam splitter 201 and a first camera 210 optically coupled to the retinal illumination system by a second beam splitter 202 . ) may be included.
  • the first illumination 200 may generate near-infrared rays
  • the first camera 210 may detect the near-infrared rays reflected from the eyes 10L or 10R.
  • the first camera 210 may include an auto focus.
  • the retinal imaging optical system may include a mirror 230 , a polarizer 231 , and a second camera 232 .
  • the third beam splitter 203 refracts the white polarized light reflected from the retina toward the mirror 230 .
  • the mirror 230 refracts the white polarized light refracted by the third beam splitter 203 toward the second camera 232 .
  • the white polarized light refracted by the mirror 230 reaches the second camera 232 after passing through the polarizing plate 231 .
  • the second camera 232 may include an auto focus.
  • the first illumination 200 is turned on during or after the photographing units 110L and 110R reach a distance suitable for retina photographing.
  • the first illumination 200 irradiates near-infrared rays necessary for tracking the pupil.
  • Near-infrared rays are useful for acquiring a first tracking image having high contrast despite reflection by the cornea.
  • unlike visible light since it causes less eye fatigue, it can be continuously irradiated toward the eye during the pupil tracking process.
  • the first camera 210 detects near-infrared rays reflected from the eye and generates a first tracking image.
  • the first tracking image is used to track the pupil.
  • the first directional movement mechanism moves the photographing units 110L and 110R to a position where the optical axis OA cam of the photographing units 110L and 110R obliquely passes through the pupil and extends to the retina (hereinafter referred to as the optimal pupil). position) to move in the first direction.
  • the white light illumination 220 is turned on.
  • the white light illumination 220 becomes ring-shaped white polarized light while passing through the retinal illumination system, and is incident to the eye through a partial region of the pupil.
  • the second camera 232 detects white polarized light reflected from the retina to simultaneously generate retinal images of both eyes 10L and 10R.
  • the first direction movement mechanism may move the photographing units 110L and 110R generating the retina image, respectively, in the first direction.
  • FIG. 4 is a diagram schematically illustrating a binocular photographing apparatus according to another embodiment
  • FIG. 5 is a diagram exemplarily illustrating gaze guidance using a virtual image.
  • a description of the same configuration as that shown in FIG. 1 will be omitted, and differences will be mainly described.
  • the binocular imaging apparatus 101 simultaneously photographs the retinas of both eyes 10L and 10R while guiding the subject's gaze.
  • the binocular photographing apparatus 101 includes a left eye photographing unit 111L for photographing a retina of a left eye among both eyes of the subject, a right eye photographing unit 111R for photographing a retina of the right eye, a left eye image display system for displaying a left eye image, and a right eye image and a right eye image display system for displaying
  • the left eye photographing unit 111L is disposed to be distorted at a first angle ⁇ 1 with respect to a direction perpendicular to the left eye 10L
  • the right eye photographing unit 111R has a second angle with respect to a direction perpendicular to the right eye 10R.
  • the optical axis is arranged to be distorted by ⁇ 2 .
  • the left-eye image display system may be arranged such that the left-eye image is displayed on the front of the left eye
  • the right-eye image display system may be arranged such that the right-eye image is displayed on the front of the right eye.
  • the optical axis OA VR of the image display system is different from the optical axis OA cam of the photographing units 111L and 111R for photographing the retina at a predetermined angle.
  • the images displayed by the left-eye image display system and the right-eye image display system are recognized as a single image by the subject. Therefore, hereinafter, the two are not distinguished and are collectively referred to as a virtual image.
  • the virtual image is used to guide the subject's gaze to a specific location. That is, the subject may move the pupil to the optimal pupil position or move the pupil to a position suitable for retinal imaging (hereinafter referred to as an optimal imaging position) through gaze guidance by the virtual image.
  • the virtual image may be a 2D or 3D image.
  • the screens 300 , 300a , 300b , and 300c are examples of virtual images viewed by the examinee.
  • One or more objects 301 and 302 may be displayed on the screens 300 , 300a , 300b , and 300c .
  • the first object 301 indicates an optimal pupil position and/or an optimal photographing position
  • the second object 302 indicates an actual pupil position of the subject.
  • the display position of the first object 301 on the screen 300 is determined by the direction in which the photographing units 111L and 111R are directed (or the direction in which the optical axis OA cam is directed), and the second object 302 is
  • the display position on the screen 300 may be determined by the actual pupil position of the examinee.
  • the first object 301a may be used to move the examinee's gaze in a third direction, for example, a z-axis direction.
  • the photographing units 111L and 11R may track the pupil of the subject while moving in the x-axis and/or y-axis direction, or may track a specific object on the retina, for example, an optical disk in a stationary state.
  • the photographing units 111L and 11R may move in the z-axis direction by a third movement mechanism (not shown), but in order to finely move the subject's pupil in the z-axis direction, the movement mechanism 130, 140), the pupil movement through gaze guidance may be more effective than the movement by In the screen 300a, the optimal pupil position 301a is above the actual pupil position 302a.
  • the binocular imaging device 101 moves the second object 302a upward through the pupil tracking. marked as When the first object 301a and the second object 302a overlap, the binocular imaging apparatus 101 may determine that the examinee's pupil position has reached the optimal pupil position or the optimal imaging position to perform retinal imaging.
  • the first object 301b may be used to guide the examinee's gaze in a first direction, for example, an x-axis direction.
  • a first direction for example, an x-axis direction.
  • the photographing units 111L and 111R may photograph various regions of the retina.
  • the optimal photographing position 301b is to the right of the actual pupil position 302b.
  • the binocular imaging device 101 moves the second object 302b to the right through pupil tracking. marked as When the first object 301b and the second object 302b overlap, the binocular imaging apparatus 101 may determine that the examinee's pupil position has reached the optimal imaging position and may perform retinal imaging.
  • the virtual image displayed by the left-eye image display system and the right-eye image display system may be a 3D image having a sense of perspective.
  • the 3D image may induce the subject's gaze to narrow or widen the angle between the gazes, or may dilate the pupil.
  • the human eye receives a relatively large amount of light by dilating the pupil as the angle between the eyes narrows to see distant objects. Conversely, to see a nearby object, the eye angle widens and the pupil contracts, allowing relatively little light in.
  • the pupil may be expanded or contracted according to a distance perceived by the examinee.
  • the optimal pupil position or optimal photographing position 301c is farther than the actual pupil position 302c.
  • the binocular imaging device 101 recognizes pupil dilation through pupil tracking and It is indicated that the second object 302c moves toward the first object 301c.
  • the angle between the gazes may be increased or decreased according to the distance perceived by the examinee.
  • the second objects 302L' and 302R' indicated by the left-eye image indicator and the right-eye image indicator allow the subject to recognize that the second object 302c' is located relatively close. For this reason, the angle between the eyes of the subject widens.
  • the second objects 302L'' and 302R'' displayed by the left-eye image display system and the right-eye image display system allow the examinee to recognize that the second object 302c'' is located relatively far away. For this reason, the angle between the eyes of the examinee becomes narrow.
  • the above-described embodiments may be implemented individually or may be combined.
  • the first object when the pupil is moved in the first direction or the third direction, the first object may be displayed in a 3D image in which the examinee can feel a sense of perspective.
  • the pupil may move to the optimal pupil position by a combination of movement in the first direction to the third direction.
  • the binocular imaging apparatus 101 may guide the subject's gaze so that a specific position of the pupil is located on the optical axis OA cam of the photographing units 111L and 111R.
  • FIG. 6 is a view exemplarily illustrating a state in which the photographing unit of the binocular photographing apparatus illustrated in FIG. 5 is viewed from above
  • FIG. 7 is a diagram exemplarily illustrating a cross-section of the photographing unit of the binocular photographing apparatus illustrated in FIG. 6 . Descriptions of the same components as those shown in FIGS. 2 and 3 will be omitted, and differences will be mainly described.
  • the photographing units 111L and 111R include a retinal illumination system in which a pupil tracking optical system and a retinal tracking/photographing optical system are optically coupled.
  • the retina tracking/photography optical system includes a second illumination 400 , a mirror 230 , a polarizer 231 , and a second camera 232 , and is optically coupled to the retina illumination system by a beam splitter 203 .
  • the retina tracking/photography optical system tracks the optical disk and generates a retinal image by photographing the retina.
  • the illustrated structure is only an example, and the positions of the camera and the light may be arranged differently.
  • the photographing units 111L and 111R include a left eye image display system and a right eye image display system (hereinafter, collectively referred to as an image display system) arranged in the retinal illumination system.
  • the image display system may include a display 410 , a fourth collimating lens 420 , and a fourth beam splitter 430 .
  • the fourth beam splitter 430 of the image display system is disposed on the optical axis OA cam of the retinal illumination system, but the optical axis OA VR of the light refracted by the fourth beam splitter 430 is not parallel to the optical axis OA cam of the retinal illumination system .
  • the optical axis OA VR is displaced by a third angle ⁇ 3 with respect to the optical axis OA cam.
  • the absolute value of the third angle ⁇ 3 may be substantially the same as the absolute value of the first angle ⁇ 1 or the second angle ⁇ 2 . For this reason, the virtual image output by the image display system is displayed on the front of a left eye and a right eye, respectively.
  • the image display system may be disposed on the other end opposite to the white light illumination 220 , that is, the other end closest to the eye.
  • the second illumination 400 may irradiate near-infrared rays toward the eyes.
  • the display 410 outputs a virtual image to be displayed on both eyes of the subject.
  • the image is collected by the fourth collimating lens 420 and then refracted by the fourth beam splitter 430 to be incident on the eye.
  • the light traveling along the optical axis OA cam of the retina illumination system passes through the fourth beam splitter 430 .
  • Retinal tracking is now schematically described with reference to FIG. 7 .
  • a virtual image for guiding the subject's gaze is output.
  • the optical disk on the retina may correspond to the photographing units 111L and 111R.
  • the second light 400 is turned on.
  • the second illumination 400 irradiates near-infrared rays necessary for tracking the position of the optical disc.
  • Near-infrared rays are useful for acquiring a second tracking image having high contrast despite reflection by the cornea. Also, unlike visible light, it causes less eye fatigue, so it can be continuously irradiated toward the eye during the retina tracking process.
  • the second camera 232 detects near-infrared rays reflected from the retina to generate a second tracking image.
  • the second tracking image is used to track the optical disc. If the optical disk is not in the proper position, the virtual image is changed.
  • FIG. 8 is a flowchart exemplarily illustrating an operation of a binocular photographing apparatus.
  • the binocular imaging apparatus 101 described with reference to FIGS. 4 to 7 may sequentially perform pupil tracking (S10), retina tracking (S20), autofocusing (S30), and retinal imaging (S40).
  • the pupil tracking ( S10 ) is a process of tracking the pupil of the examinee.
  • the photographing units 111L and 111R may move in the first direction, or the examinee may change the gaze or posture to bring the pupil to the optimal pupil position.
  • Retina tracking (S20) is a process of tracking the optical disc on the retina. That is, the subject's gaze is guided based on the measured position of the optical disk on the retina. By the retina tracking (S20), the subject can move the pupil to the optimal photographing position.
  • the position of the area where the second illumination 400 is reflected (hereinafter referred to as the reflection area) may be tracked.
  • the reflection region may be used to adjust a distance between the photographing units 111L and 111R and the pupil.
  • Auto-focusing ( S30 ) is a process of adjusting the focus in order to photograph the optical disc.
  • the retinal imaging ( S40 ) is a process of generating a retinal image by photographing an optical disc. Meanwhile, the binocular photographing apparatus 100 described with reference to FIGS. 1 to 3 may sequentially perform a part of pupil tracking ( S10 ), auto-focusing ( S30 ), and retina photographing ( S40 ).
  • the binocular photographing apparatus 101 described with reference to FIGS. 4 to 7 may simultaneously perform retinal tracking ( S20 ) and auto-focusing ( S30 ) after pupil tracking ( S10 ).
  • Retina tracking ( S20 ) may be performed while changing the focus of the second camera 232 using autofocus.
  • FIG. 9 is a flowchart exemplarily illustrating the pupil tracking operation illustrated in FIG. 8
  • FIG. 10 is a diagram exemplarily illustrating a process of tracking the pupil in the first tracking image
  • FIG. It is a diagram for exemplarily explaining the operation
  • FIG. 12 is a diagram exemplarily illustrating a process of tracking the near-infrared reflection region in the first tracking image.
  • the photographing units 111L and 111R move to their initial positions by the moving mechanisms 130 and 140 ( S100 ).
  • the initial position is a position suitable for retinal imaging, and may be determined using a model eye. Meanwhile, the initial position may also be determined from positions of the photographing units 111L and 111R in cases in which the retina is clearly photographed.
  • the moving mechanisms 130 and 140 move the photographing units 111L and 111R in the first direction and/or the second direction so that the photographing units 111L and 111R are aligned to their initial positions.
  • An image for guiding the subject's gaze in a third direction, for example, up and down, is output (S110).
  • the pupil moves by gaze guidance.
  • the image used for pupil tracking may be a two-dimensional image.
  • the output image is refracted by the fourth beam splitter 430 facing the front of both eyes at a third angle ⁇ 3 with respect to the retinal illumination system and proceeds toward the eyes. Meanwhile, step S110 may be selectively performed.
  • the first camera 210 generates a first tracking image 500 by photographing the eyes (S120).
  • the first illumination 200 may be turned on during the pupil tracking process to irradiate near-infrared rays toward the eyes.
  • the first camera 210 generates a first tracking image 500 by detecting near-infrared rays reflected around the eye including the pupil.
  • the first tracking image 500 includes a reflective region 502 indicating a position where the near-infrared rays are reflected by the cornea and/or the iris, and the iris 503 where the near-infrared rays are reflected.
  • a pupil is detected in the first tracking image 500 (S130).
  • the pupil transmits near-infrared rays, the reflected near-infrared rays are relatively small, while the iris 503 around the pupil reflects the near-infrared rays relatively well.
  • the effective area 504 for determining the optimal pupil position may be defined in the first tracking image 500 .
  • the first camera 200 may generate a black-and-white image or a color image. In the case of a black-and-white image, each pixel of the first tracking image 500 has a gray scale value, and in the case of a color image, each pixel of the first tracking image 500 has red, green, and blue values.
  • a gray scale is a pixel value
  • a blue value is a pixel value
  • a histogram 505 of the effective region 504 is generated.
  • the horizontal axis of the histogram 505 indicates pixel values
  • the vertical axis indicates the number of pixels.
  • the pupil Since there is very little near-infrared reflected, the pupil is a relatively dark region. Accordingly, in the histogram 505 , relatively small pixel values displayed on the left side indicate the pupil, and relatively large pixel values displayed on the right side indicate the remaining area surrounding the pupil, such as the iris.
  • the boundary between the pupil and the iris may be expressed as a pixel value in which a relatively small pixel value rapidly decreases. Accordingly, it is possible to detect the first valley 506 in which the small pixel value rapidly decreases, and detect the pupil using the pixel value corresponding to the valley 506 .
  • the first valley 506 may be determined as follows. First, the number G y of pixels having any one pixel value P x is 1 to n (n is 2 or more) the number of pixels having a small pixel value G y1 and the number G of pixels having 1 to n large pixel values If it is less than or equal to the sum of y2 , the corresponding pixel value P x is selected. This condition is a condition for detecting most of the valleys present on the histogram 505 .
  • the number of pixels having the detected pixel value P x G y is, K times the maximum value of the number of pixels having pixel values less than the detected pixel value P x (where, K A pixel value P x smaller than 1) is selected.
  • This condition is the condition to find the valley that passed the peak.
  • a pixel value P x whose maximum value is greater than M 1 among the number of pixels having a pixel value smaller than the detected pixel value P x is selected.
  • M 1 may be determined according to the total number of pixels included in the effective area 504 . For example, if the total number of pixels included in the effective area 504 is 80,000, M 1 may be 120 corresponding to about 0.15%.
  • This condition is a condition for finding a valley that has passed through a relatively large peak.
  • the pupil image 507 before noise removal indicates a region 508 having a pixel value equal to or smaller than the determined pixel value of the first valley 506 .
  • a region having a large pixel value ie, noise, may also exist inside the pupil.
  • Noise may be removed from the pupil image 507 before noise removal by applying a morphology operation. 11 illustrates an image processing effect by morphology calculation.
  • Dilate expands the bright area. Accordingly, a dark region located in the bright region, that is, a region having a relatively small pixel value is removed.
  • Open applies erosion followed by expansion. By opening, noise with a small area is removed, and the areas reduced by erosion are expanded again. That is, opening is an operation for removing noise.
  • Closing removes the dark areas located inside the bright areas, and shrinks the bright areas expanded by expansion. That is, closing is an operation for removing the dark area inside the bright area.
  • a morphology closing operation and an opening operation are applied to the pupil image 507 before noise removal.
  • the size of the filter applied during the closing operation and the opening operation may be larger than that of the filter applied in other operations below because the area 508 where filtering is to be performed is relatively wide.
  • the pupil image 508 after noise removal includes a pupil region 509 .
  • the pupil region 509 is normally located within the effective region 504 , but in the pupil tracking process, a region similar to the pupil region 509 may be located in the effective region 504 , and the pupil region 509 may be located in the effective region 504 . Only a portion of the area 509 may be located in the effective area 504 .
  • an area corresponding to the pupil is determined using an anatomical characteristic of the pupil, for example, an aspect ratio of the pupil. Then, in the first tracking image, the position and size of the pupil region 509 are calculated.
  • the first tracking image 500 may be used to measure the distance between the subject's eye and the photographing units 111L and 111R.
  • a plurality of first lights 200 or near-infrared rays generated by a single first light 200 may reach the eye through a plurality of divided light paths.
  • Near-infrared rays reflected near the cornea and/or iris may be detected by the first tracking image 500 .
  • From the position of the reflective region 502 and/or the distance between regions not only the position of the pupil but also the distance between the subject's eye and the photographing units 111L and 111R may be measured.
  • the distance between the subject's eye and the photographing units 111L and 111R may be adjusted by the measured distance.
  • a reflection tracking image 510 including at least a portion of the effective area 504 is extracted from the first tracking image 500 .
  • a histogram 511 of the reflection tracking image 510 is generated.
  • the horizontal axis of the histogram 511 indicates pixel values, and the vertical axis indicates the number of pixels.
  • the reflective region 502 is a very bright region. Accordingly, in the histogram 511 , the largest pixel values indicated on the right represent the reflection region 502 .
  • the perimeter of the reflection region 502 may be expressed as a pixel value in which the number of pixels rapidly decreases. For example, the number of G y of a pixel having an arbitrary pixel value P x of 1 to n is less number by more G y3 M 2 of a pixel having a large pixel value (n is two or more), the pixel value P x is determined by the perimeter of the reflective region 502 . A large pixel value P x is selected.
  • M 2 may be determined according to the total number of pixels included in the reflection tracking image 510 .
  • the sub-tracking image 513 before noise removal indicates a candidate region 514 having the determined pixel value P x .
  • Noise may be removed from the sub-tracking image 513 before noise removal by sequentially applying morphology erosion and dilation operations. Since the noise is relatively smaller than the noise included in other images, the size of the filter used for the erosion operation may be relatively smaller than other cases.
  • the sub-tracking image 514 after noise removal may include a plurality of candidate regions 514 . Accordingly, in order to determine the reflective region 515 related to the near-infrared irradiated from the photographing units 111L and 111R, conditions such as the area of each candidate region 513 , the position of the center, and the distance between the centers may be used.
  • the pupil region 509 is at an optimal pupil position (S140). For example, the determination may be made based on an overlap ratio between the pupil region 509 and a region defined as an optimal pupil position or a distance between center points.
  • the photographing units 111L and 111R may be moved in the first direction or a virtual image for guiding the gaze up and down may be changed ( S150 ).
  • the changed virtual image reflects the pupil region 509 detected in the previous step.
  • the examinee may adjust the gaze or posture while viewing the changed virtual image.
  • the retina tracking process (S20) is started.
  • FIG. 13 is a diagram exemplarily illustrating an effect of a distance between a subject and a binocular imaging device on a virtual image viewed by the subject.
  • the virtual images 300d, 300e, and 300f for inducing the subject's gaze are displayed when the photographing units 111L and 111R are aligned to the optimal pupil position.
  • Case 1 indicates when the distance between the photographing units 111L and 111R and the pupil is optimal
  • Case 2 indicates when the distance between the photographing units 111L and 111R and the pupil is close
  • Case 3 indicates that the photographing unit ( 111L, 111R) and when the distance between the pupils is far respectively.
  • the photographing units 111L and 111R are moved to the initial position by the moving mechanisms 130 and 140, and then the optical axis OA cam of the photographing units 111L and 111R is aligned with the pupil by pupil tracking.
  • the pupil tracking is normally completed, but the optical axis OA VR of the image display system may move in the first direction.
  • both the optical axis OA cam of the photographing units 111L and 111R and the optical axis OA VR of the image display system are correctly aligned with the pupil. Accordingly, the examinee may see the first object 301 and the second object 302 displayed on the virtual screen 300d, and may be guided by the second object 302 to change the gaze.
  • the optical axis OA cam of the photographing units 111L and 111R is correctly aligned with the pupil, while the optical axis OA VR of the image display system may be moved in the first direction to be closer to the subject's nose. Accordingly, in the virtual screen 300e, the second object 302 is not displayed at a position where the examinee's gaze overlaps.
  • the optical axis OA cam of the photographing units 111L and 111R may be correctly aligned with the pupil, while the optical axis OA VR of the image display system may be moved in the first direction away from the subject's nose.
  • the second object 302 is not displayed at a position where the subject's gaze overlaps, or either eye cannot see the second object 302 .
  • the optical axis OA cam of the photographing units 111L and 111R and the optical axis OA VR of the image display system may be aligned using a plurality of second lights 400L and 400R disposed at the other end of the photographing units 111L and 111R. .
  • the optical axis OA cam of the photographing units 111L and 111R and the optical axis OA VR of the image display system may be aligned before or during retinal tracking (S20).
  • FIG. 14 is a flowchart exemplarily illustrating a process of aligning an optical axis of a photographing unit and an optical axis of an image display system to a pupil.
  • the second lights 400L and 400R are turned on (S200).
  • the second lights 400L and 400R may be turned on during the retina tracking process to irradiate near-infrared rays toward the eyes.
  • the second lights 400L and 400R composed of a plurality of near-infrared LEDs are disposed at the other ends of the photographing units 111L and 111R, and the plurality of near-infrared LEDs are spaced apart from each other by a predetermined distance.
  • the optical axis OA VR of the image display system is displaced by a first angle ⁇ 1 with respect to a direction perpendicular to the left eye 10L and at a second angle ⁇ 2 with respect to a direction perpendicular to the right eye 10R.
  • the absolute value of ⁇ 1 and the absolute value of ⁇ 2 may be substantially the same.
  • a reflection area is detected in the second tracking image generated by the second camera 232 (S210). Since the reflection region of near-infrared radiation is detected, the method described with reference to FIG. 11 may be applied.
  • the optical axis OA VR of the image display system is aligned to the optimal position (S220).
  • S220 the optimal position
  • retinal tracking proceeds, and if not aligned to the optimal position, the movement mechanism 130, 140 moves the photographing units 111L, 111R in the first direction and / or move in the second direction (S230). Thereafter, steps S210 to S220 are repeated.
  • FIG. 15 is a diagram exemplarily illustrating the characteristics of a reflection area when a distance between the photographing unit and the pupil is close. Since the operations of the left eye photographing unit 111L and the right eye photographing unit 111R are the same, the right eye photographing unit 111R will be described below as an example.
  • the intersection CP of the optical axis OA cam and the optical axis OA VR of the right eye photographing unit 111R is correctly aligned with the pupil.
  • the optimal gaze VR opt through which the subject can best see the virtual image and the optical axis OA VR substantially coincide.
  • the optimal reflection areas RE1 opt , RE2 opt by the near-infrared LED constituting the second illumination 400R may be spaced apart from the center of the pupil by a predetermined distance.
  • the positions of the optimal reflection areas RE1 opt , RE2 opt may vary depending on various conditions, such as the number of near-infrared LEDs, their arrangement position, and the inclination of the plane on which the near-infrared LEDs are arranged.
  • the positions of the optimal reflection regions RE1 opt , RE2 opt may be determined using a model eye or may be determined by referring to cases in which the retina is clearly photographed.
  • the distance between the left and right reflection areas RE1' and RE2' is greater than the distance between the optimal reflection areas RE1 opt , RE2 opt, or the right reflection area If RE2' is still spaced to the right, the optical axis OA VR of the video display system is misaligned.
  • 16 is a diagram exemplarily illustrating an alignment process when a distance between the photographing unit and the pupil is close.
  • the optical axis OA cam of the right eye photographing unit 111R passes through the right side of the alignment point PA. Since the intersection point CP is located inside the eyeball, the right reflective region is spaced farther to the right than the left reflective region.
  • the first direction movement mechanism 130R moves the right eye photographing unit 111R to the left along the first direction so that the optical axis OA cam of the right eye photographing unit 111R passes the alignment point PA. For this reason, the optical axis OA cam of the right eye photographing unit 111R passes through the alignment point PA, but the optical axis OA VR passes through the left side of the alignment point PA. Since the right reflective region is still located to the right of the optimal reflective region even after moving to the right, it can be determined that the intersection CP is located inside the eyeball.
  • the second direction moving mechanism 140 moves the right eye photographing unit in the second direction to bring the intersection CP closer to the pupil.
  • the intersection point CP is close to the pupil, it is still located inside the eyeball and moved in the second direction from the state d2, so the optical axis OA cam and the optical axis OA VR of the right eye photographing unit 111R pass through the left side of the alignment point PA.
  • the first direction movement mechanism 130R moves the right eye imaging unit 111R to the right so that the optical axis OA cam of the right eye imaging unit 111R comes to the alignment point PA. For this reason, the optical axis OA cam of the right eye photographing unit 111R passes through the alignment point PA, but the optical axis OA VR passes through the left side of the alignment point PA. After moving to the right, since the right reflection area still passes the right side of the optimal reflection area, it can be determined that the intersection point CP is located inside the eyeball.
  • the first direction movement and the second direction movement performed in d3 and d4 are repeated to position the intersection point CP on a horizontal line substantially equal to the alignment point PA.
  • the intersection point CP is located on a horizontal line substantially equal to the alignment point PA, but the intersection point CP is located to the left of the alignment point PA.
  • the first direction movement mechanism 130R moves the right eye imaging unit 111R to the right along the first direction so that the optical axis OA cam of the right eye imaging unit 111R comes to the alignment point PA. Due to this, when the left and right reflective regions overlap the optimal reflective region, the intersection point CP substantially coincides with the alignment point PA.
  • FIG. 17 is a diagram exemplarily illustrating the characteristics of a reflection area when the distance between the photographing unit and the pupil is long. Since the operations of the left eye photographing unit 111L and the right eye photographing unit 111R are the same, the right eye photographing unit 111R will be described below as an example.
  • the optical axis OA cam of the right eye photographing unit 111R is located at the alignment point PA, but the optical axis OA
  • the VR passes through the right side of the alignment point PA, so that the optimal gaze VR opt and the optical axis OA VR do not coincide.
  • the optical axis OA VR passes the right side of the alignment point PA, the distance between the right reflective region RE2' and the optimal reflective region RE2 opt decreases, but the distance between the left reflective region RE1' and the optimal reflective region RE1 opt increases.
  • both the left and right reflective regions RE1' and RE2' are separated from the optimal reflective regions RE1 opt , RE2 opt . That is, after the optical axis OA cam of the right eye imaging unit 111R is aligned with the pupil, if the distance between the left and right reflection areas RE1' and RE2' is smaller than the distance between the optimal reflection areas RE1 opt , RE2 opt , the optical axis of the image display system OA VR is misaligned.
  • 18 is a diagram exemplarily illustrating an alignment process in the case where the distance between the photographing unit and the pupil is long.
  • the optical axis OA cam of the right eye photographing unit 111R passes through the left side of the alignment point PA. Since the intersection point CP is located outside the eyeball, the right reflective area is spaced farther to the left.
  • the first direction movement mechanism 130R moves the right eye imaging unit 111R to the right so that the optical axis OA cam of the right eye imaging unit 111R passes through the alignment point PA.
  • the optical axis OA cam of the right eye photographing unit 111R passes through the alignment point PA, but the optical axis OA VR passes through the right side of the alignment point PA. Since the right reflective region is still located to the left of the optimal reflective region even after moving to the right, it can be determined that the intersection CP is located outside the eyeball.
  • the second direction moving mechanism 140 moves the right eye imaging unit in the second direction so that the intersection CP approaches the pupil. Although the intersection point CP is close to the pupil, it is still located outside the eyeball and moved in the second direction from the state e2, so the optical axis OA cam and the optical axis OA VR of the right eye photographing unit 111R are located to the right of the alignment point PA.
  • the first direction moving mechanism 130R moves the right eye imaging unit 111R to the left so that the optical axis OA cam of the right eye imaging unit 111R comes to the alignment point PA. For this reason, the optical axis OA cam of the right eye photographing unit 111R passes through the alignment point PA, but the optical axis OA VR passes through the left side of the alignment point PA. After moving to the right, since the right reflective region is still located to the right of the optimal reflective region, it can be determined that the intersection CP is located inside the eyeball.
  • the first direction movement and the second direction movement performed in e3 and e4 are repeated to position the intersection point CP on a horizontal line substantially identical to the alignment point PA.
  • the intersection CP is located on a horizontal line substantially equal to the alignment point PA, but the intersection CP is located to the left of the alignment point PA.
  • the first direction movement mechanism 130R moves the right eye imaging unit 111R to the left so that the optical axis OA cam of the right eye imaging unit 111R comes to the alignment point PA. Due to this, when the left and right reflective regions overlap the optimal reflective region, the intersection point CP substantially coincides with the alignment point PA.
  • FIG. 19 is a flowchart exemplarily illustrating the retina tracking operation illustrated in FIG. 8
  • FIG. 20 is a diagram exemplarily illustrating a process of tracking an optical disc in the second tracking image.
  • a virtual image for inducing the subject's gaze is output (S300).
  • the display 410 outputs the virtual image 300 illustrated in FIG. 4 .
  • the output virtual image includes a first object 301 indicating an optimal photographing position and a second object 302 indicating an actual pupil position.
  • the virtual image used for retina tracking may be a 2D or 3D image.
  • the output virtual image is distorted at a third angle ⁇ 3 with respect to the retinal illumination system, is refracted by the fourth beam splitter 430 facing the front of both eyes, and proceeds toward the eyes.
  • the second camera 232 When the second light 400 is turned on, the second camera 232 creates a second tracking image 520 by photographing the retina (S310).
  • the second illumination 400 may be turned on during the retina tracking process to irradiate near-infrared rays toward the eyes.
  • the second camera 232 generates a second tracking image 520 by detecting near-infrared rays reflected from the eye including the retina.
  • the total brightness of the second tracking image 520 is compared with a predetermined threshold (S320). If the subject closes their eyes while retina tracking (or autofocus) is in progress, the second camera 232 cannot photograph the retina, and only the near-infrared rays reflected on the eyelids are detected by the second camera 232, so the second The overall brightness of the tracking image 520 is very large. In this case, the step of detecting the optical disk from the second tracking image may be omitted. If the total brightness is greater than the threshold, the process returns to step S310, and if it is less than the threshold, the flow proceeds to step S330.
  • the position of the optical disk 522 is detected from the second tracking image 520 (S330).
  • Optical disc detection is similar to the above-described pupil detection and reflection region detection.
  • a histogram of the effective area 521 of the second tracking image 520 is generated.
  • a histogram of the effective area of the image in which the second tracking image 520 is reduced by a certain ratio may be generated.
  • the effective area 521 may be defined in the second tracking image 520 or the reduced second tracking image.
  • the optical disc 522 is a relatively bright area compared to other areas. Accordingly, in the histogram, pixels having relatively large pixel values may represent the optical disc 522 .
  • a pixel value in which the number of pixels rapidly increases is determined starting from the largest pixel value and going in the direction in which the pixel value decreases.
  • the number of pixels with an arbitrary pixel value of P x G y is from 1 to n (n is 2 or more) large enough to M 3 than G y4 of the pixel having a larger pixel value
  • the pixel value P x is It is determined by the circumference of the optical disk 521 .
  • M 3 may be determined according to the total number of pixels included in the effective area 521 .
  • regions having a pixel value greater than the determined pixel value are determined.
  • the optical disc image 522 before noise removal indicates a region 523 having a pixel value greater than the determined pixel value.
  • Noise may be removed from the optical disk image 522 before noise removal by applying a morphology operation. Two or more filtering operations, for example, a morphology closing operation, a morphology opening operation, and the like are performed on the determined regions. Among the filtered regions, regions having a specific area are selected. A partial image is extracted from the center of the selected areas and blurred. The sum of the pixel value differences of pixels adjacent to the blurred image is calculated. The area with the largest calculated value is the optical disc 522 .
  • the optical disk image 524 after noise removal includes an optical disk correspondence area 525 .
  • the optical disc correspondence area 526 may be a rectangular area including the optical disc. For example, the determination may use the position of the optical disk in the retinal image.
  • the virtual image for guiding the gaze may be changed ( S350 ).
  • the changed virtual image reflects the position of the optical disc correspondence area 526 .
  • the examinee may adjust the gaze while viewing the changed virtual image.
  • 21 is a flowchart exemplarily illustrating the auto-focusing illustrated in FIG. 8, and shows an embodiment in which retinal tracking and auto-focusing are sequentially performed.
  • the focus by autofocus is in the initial position (S400).
  • Autofocus moves the focus formed by a plurality of lenses in stages from an initial position to a final position.
  • the focal position changes according to the distance between the lenses, and the distance between the lenses is adjusted by a motor. Accordingly, the focal position may be expressed as the number of rotations and/or the rotation angle of the rotation shaft of the motor.
  • the second camera 232 creates a retina image by photographing the optical disk (S410). At this time, the actual pupil position is at the optimal photographing position.
  • the second camera 232 may photograph the retina while sequentially moving the focus.
  • the position of the optical disk is tracked in the retina image (S420).
  • Position tracking of the optical disk may be substantially the same as step S330 of FIG. 19 described above.
  • a focus value is calculated in the optical disc corresponding area 526 (S430).
  • the focus value is the sum of the pixel value differences between pixels belonging to the optical disc correspondence area 526, and the focus value is related to a focus position when the image is captured. Compared to a relatively small focus value, a relatively large focus value indicates that the focus by autofocus is in a relatively good position. Accordingly, a clearer retinal image may be obtained.
  • step S440 It is determined whether the focus by autofocus is changed from the initial position to the final position (S440). Assuming that the number of rotations of the motor shaft is 0 when the focus is at the initial position and the number of rotations of the final position is 100, if the measured rotation number is greater than 0 and less than 100, the process proceeds to step S450, and the measured rotation speed is 100 In this case, the process may proceed to step S460.
  • the auto focus is adjusted so that the focus comes to the focus position having the largest focus value among the stored focus values (S460).
  • 22 is a flowchart exemplarily illustrating an embodiment of performing retinal tracking and auto-focusing together.
  • a virtual image for guiding the subject's gaze is output (S500), and the focus by autofocus is at the initial position (S510).
  • the order of steps S500 and S510 may be changed or may be performed simultaneously.
  • the second camera 232 When the second light 400 is turned on, the second camera 232 generates a second tracking image 520 by photographing the retina ( S520 ). If the total brightness of the second tracking image 520 is greater than the threshold (S530), the second camera 232 captures the retina without changing the focus.
  • the position of the optical disk is detected from the second tracking image 520 , and a focus value is calculated using the optical disk corresponding area 526 ( S540 ).
  • the position of the optical disc may be detected through the process described in step S330 of FIG. 19 , and the focus value may be detected through the process described in step S430 of FIG. 21 .
  • the pupil is in the optimal photographing position (S550). If it is not an optimal photographing position, a virtual image for guiding the subject's gaze may be changed (S560). If it is the optimal photographing position, it is determined whether the focus by autofocus is changed from the initial position to the final position (S570). If the focus is between the initial position and the final position, the focus by autofocus is changed (S580). When the focus is at the final position, the auto focus is adjusted so that the focus comes to the focus position having the largest focus value among the stored focus values (S590). Thereafter, the retina is photographed by turning on the white light illumination 200 (S40).
  • 23 is a diagram for exemplarily explaining blur processing for accurately calculating a focus value.
  • the focal value is the sum of differences in pixel values between pixels in the optical disc corresponding region 526 , and a clearer retinal image may be generated as the focal value increases. Therefore, the focus value of the accurately focused retina image should be greater than the focus value of the incorrectly focused retina image. However, there is a case in which the focus value of the incorrectly focused retina image is greater than the focus value of the accurately focused retina image. The reason is that the retinal image is a dark image generated by photographing a dark area inside the eye using near-infrared rays, and thus is more affected by noise. Therefore, it is necessary to remove noise from the optical disc corresponding area 526 .
  • a difference 541 between pixel values located on a straight line displayed on the retina image 540 shows a state before noise is removed.
  • An incorrectly focused retinal image contains more noise than a correctly focused retinal image. Since noise increases the difference in pixel values, the more the noise is, the more the focal value of the retinal image increases.
  • the entire retina image 540 or the optical disk corresponding region 526 is blurred.
  • a specific region for example, an optical disc and blood vessels around it, is relatively more important, and other regions are relatively less important.
  • a time required to blur the entire retina image 540 having a relatively large area may be relatively larger than a time required to blur the optical disk corresponding area 526 having a relatively small area.
  • the blur filter may be, for example, any one of an average blur filter 542 , a Gaussian blur filter 543 , and a median blur filter.
  • the size of the blur filter is n x n (n is the number of pixels), and a pixel located at the center of the blur filter is referred to as a central pixel, and a pixel located around the center pixel is referred to as a peripheral pixel.
  • the average blur filter 542 calculates an average value of pixel values of the central pixel and peripheral pixels, and uses the calculated average value as the pixel value of the central pixel.
  • the Gaussian blur filter 543 applies different weights to the pixel values of the central pixel and the peripheral pixels, calculates an average value of the pixel values to which the weight is applied, and uses the calculated average value as the pixel value of the central pixel.
  • the median value among the pixel values of the central pixel and the peripheral pixels is the pixel value of the central pixel.
  • a difference 545 between pixel values located on a straight line displayed in the blurred retina image 544 shows a state after the noise is removed. It can be seen that a large amount of noise has been removed by the blur processing.
  • Blur processing may be applied not only to calculating a focus value, but also to detecting an optical disc during retina tracking.
  • FIG. 24 is a flowchart exemplarily illustrating auto-focusing for reducing a focus value calculation time
  • FIG. 25 is a diagram for exemplarily explaining auto-focusing capable of reducing a focus value calculation time.
  • the retina image for calculating the focus value is generated by photographing the retina while moving the focus.
  • the focal interval may be associated with a time interval between time points at which the second camera 232 captures a retina image.
  • the focal intervals may be equal or variable intervals, and may be expressed by the number of rotations and/or rotation angles of the motor rotation shaft.
  • a focus value is calculated at the same focal interval from an initial position to a final position.
  • the second camera 232 may photograph the retina at the same time interval, and a focus value for the generated retinal image may be calculated. Since the focus is moved from the initial position to the final position, if the focus interval is set sufficiently small, the maximum focus value can be accurately determined while the calculation time can be increased.
  • Variable interval auto-focusing may reduce the maximum focus value calculation time.
  • Variable interval auto-focusing calculates a focus value while reducing a focus section for acquiring a retinal image.
  • the number of focus sections is two or more, and at least a portion of each focus section may overlap.
  • Each focal interval may have a different focal interval.
  • the motor rotation shaft may rotate at a constant speed in all focus sections or may rotate at different speeds.
  • the focus interval may be different for each focus section.
  • Autofocus in the first focus section, moves the focus from the initial position R 0 to the first speed, and the second camera 232 is spaced apart from the first focus interval, the positions R 1 , R 2 , R 3 , A retinal image is taken in R 4 (S610).
  • the first focus section may be substantially the same as the entire focus section defined by the initial position and the final position in equal interval autofocusing. Meanwhile, the first focal interval and the first speed may be greater than the focal interval and speed in the equal interval auto focusing.
  • a focus value associated with the positions R 1 , R 2 , R 3 , and R 4 is calculated, and a second focus section is determined from the calculated focus value ( S610 ).
  • the second focal section may be defined as two consecutive positions selected from positions R 1 , R 2 , R 3 , and R 4 .
  • the focal value at position R 2 is the largest.
  • the focus value at the position R 3 is larger than the focus value at the position R 1 . Accordingly, the initial position of the second focal section is set to the position R 2 and the final position is set to R 3 .
  • Autofocus in the second focus section, moves the focus from the initial position R 2 to the second speed, and the second camera 232 is spaced apart from the second focus interval at positions r 1 , r 2 , r 3 , A retinal image is taken at r 4 (S630).
  • the second focal interval may be less than the first focal interval, and the second velocity may be, for example, equal to or less than the first velocity.
  • a focus value associated with the positions r 1 , r 2 , r 3 , and r 4 is calculated, and a third focus section is determined from the calculated focus value ( S640 ).
  • the third focus section may be defined as two consecutive positions selected from positions r 1 , r 2 , r 3 , and r 4 .
  • the focal value at position r 2 is the largest.
  • the focus value at the position r 1 is larger than the focus value at the position r 3 . Accordingly, the initial position of the third focal section is set to the position r 1 and the final position is set to r 2 .
  • Autofocus in the third focus section, moves the focus from the initial position r 1 to the third speed, and the second camera 232 takes a retina image at a position spaced apart by the third focus interval (S640) .
  • the third focal interval may be smaller than the first focal interval and the second focal interval, and the third speed may be less than or equal to the second speed.
  • a maximum focus value is determined among the focus values calculated in the third focus section (S650). Autofocus moves the focus to a focus position associated with the maximum focus value, and then retinal imaging ( S40 ) is performed.
  • 26 is a functional diagram illustrating a binocular photographing apparatus.
  • the binocular photographing apparatuses 100 and 101 include left eye photographing units 110L and 111L and right eye photographing units 110R and 111R that are twisted at a predetermined angle toward both eyes, and a controller 600 controlling the left eye photographing units 110R and 111R.
  • the controller 600 may be implemented by a program executed on a physical device such as a processor, memory, I/O, or the like.
  • the controller 600 may include a first camera controller 610 , a second camera controller 620 , an image processor 630 , a lighting controller 640 , and a movement mechanism controller 650 .
  • the first camera control unit 610 controls the first camera 210 to generate a first tracking image by photographing the pupil
  • the second camera control unit 620 includes the second camera 232 as a specific target on the retina. is controlled to generate a second tracking image and a retinal image by taking a picture.
  • the first camera control unit 610 and the second camera control unit 620 transmit camera driving signals necessary for driving the camera, such as focus and exposure time, to the first camera 210 and the second camera 232 .
  • the first camera control unit 610 and the second camera control unit 620 may transmit a lighting trigger signal requesting to turn on / off the lighting required for the tracking operation and the photographing operation to the lighting control unit 540 .
  • the image processing unit 630 generates a virtual image inducing pupil movement by processing the first tracking image and/or the second tracking image. Also, the image processing unit 630 may transmit a movement trigger signal for driving the movement mechanisms 130 and 140 to the movement mechanism controller 650 according to the processing result of the first tracking image.
  • the lighting control unit 640 generates a lighting control signal for turning on/off lighting required for each operation.
  • the lighting control signal By the lighting control signal, the first lighting 200 , the second lighting 400 , and the white light lighting 220 are turned on/off.
  • the movement mechanism controller 650 controls the movement mechanisms 130L, 130R, and 140 to move the left eye photographing units 110L, 111L and the right eye photographing units 110R, 111R in the first direction and/or the second direction. do.

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Biomedical Technology (AREA)
  • Medical Informatics (AREA)
  • Biophysics (AREA)
  • Ophthalmology & Optometry (AREA)
  • Engineering & Computer Science (AREA)
  • Veterinary Medicine (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Public Health (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Optics & Photonics (AREA)
  • General Physics & Mathematics (AREA)
  • Eye Examination Apparatus (AREA)

Abstract

양안 촬영 장치는, 좌안의 광축에 대해 제1 각도로 틀어진 제1 광축을 가지며, 상기 좌안의 동공 및 망막을 촬영하는 좌안 촬영부, 우안의 광축에 대해 제2 각도로 틀어진 제2 광축을 가지며, 상기 우안의 동공 및 망막을 촬영하는 우안 촬영부, 상기 좌안 촬영부 및 상기 우안 촬영부를 제1 방향으로 이동시켜서, 상기 좌안 촬영부의 광축을 상기 좌안의 동공에 정렬하며 상기 우안 촬영부의 광축을 상기 우안의 동공에 정렬시키는 제1 방향 이동 메커니즘, 및 상기 좌안 촬영부 및 상기 우안 촬영부를 피검자의 양안을 향해 제2 방향으로 이동시키는 제2 방향 이동 메커니즘을 포함할 수 있다. 여기서, 상기 좌안 촬영부 및 상기 우안 촬영부는, 상기 피검자의 양안을 향해 모아지도록 배치될 수 있다.

Description

양안 촬영 장치
본 발명은 양안 촬영 장치에 관한 것이다.
망막은 눈의 가장 안쪽을 둘러싸고 있는 내벽이다. 망막에서, 황반은 시축(visual axis)에 해당하는 부분에 위치하며, 해상력이 가장 좋은 영역이다. 망막에서, 맹점(optical disc)은 황반에서 코 방향으로 위치하며, 망막에 위치한 신경 세포와 연결된 시신경 다발이 모여있는 영역이다. 한편, 시축은, 동공을 통해 수직으로 들어오는 빛의 경로인 광축(optical axis)으로부터 약간의 각도로 기울어져 있다. 이로 인해, 종래의 망막 촬영 장치는, 환자의 시선을 정면으로부터 약간의 각도로 틀어지게 유도한 이후에, 망막을 촬영할 수 있었다.
환자의 시선을 특정 방향 및/또는 거리로 유도하면서, 양안의 망막을 동시에 촬영할 수 있는 양안 촬영 장치를 제공하고자 한다.
일측면에 따르면, 양안 촬영 장치는, 좌안의 광축에 대해 제1 각도로 틀어진 제1 광축을 가지며, 상기 좌안의 동공 및 망막을 촬영하는 좌안 촬영부, 우안의 광축에 대해 제2 각도로 틀어진 제2 광축을 가지며, 상기 우안의 동공 및 망막을 촬영하는 우안 촬영부, 상기 좌안 촬영부 및 상기 우안 촬영부를 제1 방향으로 이동시켜서, 상기 좌안 촬영부의 광축을 상기 좌안의 동공에 정렬하며 상기 우안 촬영부의 광축을 상기 우안의 동공에 정렬시키는 제1 방향 이동 메커니즘, 및 상기 좌안 촬영부 및 상기 우안 촬영부를 피검자의 양안을 향해 제2 방향으로 이동시키는 제2 방향 이동 메커니즘을 포함할 수 있다. 여기서, 상기 좌안 촬영부 및 상기 우안 촬영부는, 상기 피검자의 양안을 향해 모아지도록 배치될 수 있다.
일 실시예로, 상기 좌안 촬영부와 상기 우안 촬영부는 동시에 상기 좌안과 상기 우안을 각각 촬영하여 망막 영상을 생성할 수 있다.
일 실시예로, 상기 좌안 촬영부는, 링 형상의 백색 편광을 상기 제1 광축을 따라 상기 좌안에 입사하는 망막 조명계, 상기 망막 조명계에 광학적으로 결합하며, 상기 좌안의 동공을 촬영하여 제1 트래킹 영상을 생성하는 동공 트래킹 광학계, 및 상기 망막 조명계에 광학적으로 결합하고, 상기 망막을 촬영하여 제2 트래킹 영상을 생성하며, 상기 좌안의 망막에서 반사된 백색 편광을 검출하여 망막 영상을 생성하는 망막 트래킹/촬영 광학계를 포함할 수 있다.
일 실시예로, 상기 제2 트래킹 영상은, 상기 망막에서 옵티컬 디스크의 위치를 트래킹하는데 이용되되, 상기 제2 트래킹 영상은 블러 처리될 수 있다.
일 실시예로, 상기 망막에서 옵티컬 디스크를 촬영하기 위한 초점 위치는, 상기 좌안 촬영부에 의해 트래킹된 옵티컬 디스크 대응 영역에 속한 화소들간 화소값 차이의 총합인 초점값에 의해 결정될 수 있다.
일 실시예로, 상기 초점값은, 상기 옵티컬 디스크 대응 영역을 블러 처리한 후 산출될 수 있다.
일 실시예로, 상기 초점 위치는, 하나의 초점 구간에서, 일정한 초점 간격으로 촬영하여 획득한 복수의 옵티컬 디스크 대응 영역에서 산출된 초점값 중 최대값에 의해 결정될 수 있다.
일 실시예로, 상기 초점 위치는, 일부 구간이 중첩되는 복수의 초점 구간에서, 상이한 초점 간격으로 촬영하여 획득한 복수의 옵티컬 디스크 대응 영역에서 산출된 초점값 중 최대값에 의해 결정될 수 있다.
다른 측면에 따르면, 가상 영상 정렬 기능을 가진 양안 촬영 장치는, 좌안의 광축에 대해 제1 각도로 틀어진 제1 광축을 가지며, 상기 좌안에 좌안 영상을 출력하는 좌안 촬영부, 우안의 광축에 대해 제2 각도로 틀어진 제2 광축을 가지며, 상기 우안에 우안 영상을 출력하는 우안 촬영부, 상기 좌안 촬영부 및 상기 우안 촬영부를 제1 방향으로 이동시켜서, 상기 좌안 촬영부의 광축을 상기 좌안의 동공에 정렬하며 상기 우안 촬영부의 광축을 상기 우안의 동공에 정렬시키는 제1 방향 이동 메커니즘, 및 상기 좌안 촬영부 및 상기 우안 촬영부를 피검자의 양안을 향해 제2 방향으로 이동시키는 제2 방향 이동 메커니즘을 포함하되, 상기 제1 방향 이동 메커니즘 및 상기 제2 방향 이동 메커니즘은, 상기 좌안 촬영부 및 상기 우안 촬영부를 초기 위치에 정렬시키며, 상기 초기 위치에서, 상기 좌안 촬영부와 상기 좌안 사이의 거리에 따라, 상기 좌안 촬영부 및 상기 우안 촬영부를 재정렬할 수 있다.
일 실시예로, 상기 좌안 촬영부와 상기 우안 촬영부는, 상기 좌안 및 상기 우안을 향하도록 배치된 조명을 포함하며, 상기 좌안 촬영부와 상기 좌안 사이의 거리는, 상기 조명에 의한 반사 영역의 위치에 의해 결정될 수 있다.
일 실시예로, 상기 재정렬에 의해, 상기 제1 광축 및 상기 좌안 영상의 광축의 교차점이 상기 좌안의 동공에 위치될 수 있다.
일 실시예로, 상기 좌안 촬영부와 상기 우안 촬영부는 동시에 상기 좌안과 상기 우안을 각각 촬영하여 망막 영상을 생성할 수 있다.
일 실시예로, 상기 좌안 촬영부는, 상기 제1 광축에 대해 제3 각도로 틀어진 광축을 가지며 상기 좌안 영상을 출력하는 좌안 영상 표시계를 포함하며, 상기 우안 촬영부는, 상기 제2 광축에 대해 상기 제3 각도로 틀어진 광축을 가지며 상기 우안 영상을 출력하는 우안 영상 표시계를 포함할 수 있다.
일 실시예로, 상기 좌안 영상 표시계는, 상기 제1 광축에 위치하며, 상기 좌안의 정면을 향하도록 상기 제1 광축에서 상기 제3 각도로 틀어지게 배치된 빔 스플리터, 및 상기 빔 스플리터를 향해 상기 좌안 영상을 출력하는 디스플레이를 포함할 수 있다.
일 실시예로, 상기 좌안 촬영부는, 링 형상의 백색 편광을 상기 제1 광축을 따라 상기 좌안에 입사하는 망막 조명계, 상기 망막 조명계에 광학적으로 결합하며, 상기 제1 광축의 적어도 일부를 따라 상기 좌안에서 반사된 근적외선을 검출하여 상기 좌안의 동공을 트래킹하는 동공 트래킹 광학계, 상기 망막 조명계에 광학적으로 결합하며, 상기 제1 광축의 적어도 일부를 따라 상기 좌안의 망막에서 반사된 백색 편광을 검출하여 망막 영상을 생성하는 망막 촬영 광학계, 및 상기 망막 조명계에 결합하며, 상기 좌안에 좌안 영상을 출력하는 좌안 영상 표시계를 포함할 수 있다.
일 실시예로, 상기 좌안 영상과 상기 우안 영상은, 상기 피검자에 의해 단일의 가상 영상으로 인식되는 2차원 또는 3차원 영상일 수 있다.
일 실시예로, 상기 좌안 촬영부는 상기 좌안의 동공 및 상기 좌안의 망막상의 옵티컬 디스크를 트래킹하며, 상기 우안 촬영부는 상기 우안의 동공 및 상기 우안의 망막상의 특정 대상을 트래킹할 수 있다.
일 실시예로, 상기 좌안 영상과 상기 우안 영상은, 상기 피검자에 의해 단일의 가상 영상으로 인식되는 2차원 또는 3차원 영상이며, 상기 가상 영상은, 최적 동공 위치를 나타내는 제1 객체 및 상기 피검자의 시선에 따른 동공의 위치를 나타내는 제2 객체를 포함할 수 있다.
일 실시예로, 상기 좌안 영상과 상기 우안 영상은, 상기 피검자에 의해 단일의 가상 영상으로 인식되는 2차원 또는 3차원 영상이며, 상기 가상 영상은, 최적 촬영 위치를 나타내는 제1 객체 및 상기 피검자의 시선에 따른 동공의 위치를 나타내는 제2 객체를 포함할 수 있다.
또 다른 측면에 따르면, 양안 촬영 장치는, 좌안의 광축에 대해 제1 각도로 틀어진 제1 광축을 가지며, 상기 좌안에 좌안 영상을 출력하는 좌안 촬영부, 우안의 광축에 대해 제2 각도로 틀어진 제2 광축을 가지며, 상기 우안에 우안 영상을 출력하는 우안 촬영부, 상기 좌안 촬영부 및 상기 우안 촬영부를 제1 방향으로 이동시켜서, 상기 좌안 촬영부의 광축을 상기 좌안의 동공에 정렬하며 상기 우안 촬영부의 광축을 상기 우안의 동공에 정렬시키는 제1 방향 이동 메커니즘, 및 상기 좌안 촬영부 및 상기 우안 촬영부를 피검자의 양안을 향해 제2 방향으로 이동시키는 제2 방향 이동 메커니즘을 포함할 수 있다. 여기서, 상기 좌안 촬영부 및 상기 우안 촬영부는, 상기 피검자의 양안을 향해 모아지도록 배치되며, 상기 좌안 영상 및 상기 우안 영상에 의해 상기 피검자의 시선을 유도할 수 있다.
도 1은 일 실시예에 따른 양안 촬영 장치를 개략적으로 도시한 도면이다.
도 2는 도 1에 예시된 양안 촬영 장치의 촬영부를 위에서 바라본 상태를 예시적으로 도시한 도면이다.
도 3은 도 2에 예시된 양안 촬영 장치의 촬영부의 단면을 예시적으로 도시한 도면이다.
도 4는 다른 실시예에 따른 양안 촬영 장치를 개략적으로 도시한 도면이다.
도 5는 가상 영상을 이용한 시선 유도를 예시적으로 도시한 도면이다.
도 6은 도 4에 예시된 양안 촬영 장치의 촬영부를 위에서 바라본 상태를 예시적으로 도시한 도면이다.
도 7은 도 6에 예시된 양안 촬영 장치의 촬영부의 단면을 예시적으로 도시한 도면이다.
도 8은 양안 촬영 장치의 동작을 예시적으로 도시한 흐름도이다.
도 9는 도 8에 예시된 동공 트래킹 동작을 예시적으로 도시한 흐름도이다.
도 10은 제1 트래킹 영상에서 동공을 트래킹하는 과정을 예시적으로 도시한 도면이다.
도 11은 트래킹 과정에 이용된 연산을 예시적으로 설명하기 위한 도면이다.
도 12는 제1 트래킹 영상에서 근적외선 반사 영역을 트래킹하는 과정을 예시적으로 도시한 도면이다.
도 13은 피검자와 양안 촬영 장치간 거리가 피검자가 보는 가상 영상에 미치는 영향을 예시적으로 도시한 도면이다.
도 14는 촬영부의 광축과 영상 표시계의 광축을 동공에 정렬하는 과정을 예시적으로 도시한 흐름도이다.
도 15는 촬영부와 동공간 거리가 가까울 경우에서 반사 영역의 특징을 예시적으로 도시한 도면이다.
도 16은 촬영부와 동공간 거리가 가까울 경우의 정렬 과정을 예시적으로 도시한 도면이다.
도 17은 촬영부와 동공간 거리가 먼 경우에서 반사 영역의 특징을 예시적으로 도시한 도면이다.
도 18은 촬영부와 동공간 거리가 먼 경우의 정렬 과정을 예시적으로 도시한 도면이다.
도 19는 도 8에 예시된 망막 트래킹 동작을 예시적으로 도시한 흐름도이다.
도 20은 제2 트래킹 영상에서 옵티컬 디스크를 트래킹하는 과정을 예시적으로 도시한 도면이다.
도 21은 도 8에 예시된 오토 포커싱 동작을 예시적으로 도시한 흐름도이다.
도 22는 망막 트래킹과 오토 포커싱을 함께 수행하는 실시예를 예시적으로 도시한 흐름도이다.
도 23은 초점값을 정확하게 산출하기 위한 블러 처리를 예시적으로 설명하기 위한 도면이다.
도 24는 초점값을 산출 시간을 줄일 수 있는 오토 포커싱을 예시적으로 나타낸 흐름도이다.
도 25는 초점값을 산출 시간을 줄일 수 있는 오토 포커싱을 예시적으로 설명하기 위한 도면이다.
도 26은 양안 촬영 장치를 기능적으로 도시한 도면이다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 이를 상세한 설명을 통해 상세히 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 특히, 이하에서 첨부된 도면을 참조하여 설명될 기능, 특징, 실시예들은, 단독으로 또는 다른 실시예와 결합하여 구현될 수 있다. 따라서 본 발명의 범위가 첨부된 도면에 도시된 형태에만 한정되는 것이 아님을 유의하여야 한다.
한편, 본 명세서에서 사용되는 용어 중 “실질적으로”, “거의”, “약” 등과 같은 표현은 실제 구현시 적용되는 마진이나 발생가능한 오차를 고려하기 위한 표현이다. 특별한 언급이 없는 한, “측면”, 또는 “수평”은 도면의 좌우 방향을 언급하기 위한 것이며, “수직”은 도면의 상하 방향을 언급하기 위한 것이다.
첨부된 도면 전체에 걸쳐서, 동일하거나 유사한 요소는 동일한 도면 부호를 사용하여 인용된다.
도 1은 일 실시예에 따른 양안 촬영 장치를 개략적으로 도시한 도면이다.
양안 촬영 장치(100)는, 양안의 망막을 동시에 촬영한다. 이를 위해서, 양안 촬영 장치(100)는, 피검자의 양안 중 좌안의 망막을 촬영하는 좌안 촬영부(110L) 및 우안의 망막을 촬영하는 우안 촬영부(110R)를 포함한다. 좌안 촬영부(110L)는, 좌안에 수직한 방향, 예를 들어, 좌안의 광축(optical axis) OAeye에 대해 좌안 촬영부(110L)의 광축 OAcam이 제1 각도 θ1로 틀어지게 배치된다. 마찬가지로, 우안 촬영부(110R)는, 우안에 수직한 방향, 예를 들어, 우안의 광축에 대해 우안 촬영부(110R)의 광축이 제2 각도 θ2로 틀어지게 광축이 배치된다. 여기서, 제1 각도 θ1과 제2 각도 θ2의 절대값은 실질적으로 동일할 수 있다. 즉, 좌안 촬영부(110L)와 우안 촬영부(110R)는, 피검자에 가까울수록 모아지는 형태로 배치될 수 있다. 좌안 촬영부(110L)의 광축상에는, 좌안의 동공이 위치하며, 우안 촬영부(110R)의 광축상에는 우안의 동공이 위치한다. 따라서 좌안 촬영부(110L)는 좌안의 동공을 통해 좌안의 망막을 촬영하며, 우안 촬영부(110R)는 우안의 동공을 통해 우안의 망막을 촬영한다.
좌안 촬영부(110L)와 우안 촬영부(110R)는, 제1 방향, 예를 들어, x 축 방향으로 각각 이동할 수 있다. 피검자의 양안 사이의 거리 deye, 예를 들어, 동공 사이의 거리는, 피검자마다 상이할 수 있다. 양안을 개별적으로 촬영하는 기존 장비의 경우, 양안 사이의 거리 deye는 고려될 필요가 없었다. 그러나 양안을 동시에 촬영하기 위해서는, 좌안 촬영부(110L)와 우안 촬영부(110R)의 광축이 양안의 동공에 각각 정렬되어야 한다. 따라서 양안 촬영 장치(100)는, 좌안 촬영부(110L)를 제1 방향으로 이동시키는 좌안 이동 메커니즘(130L), 및 우안 촬영부(110R)를 제1 방향으로 이동시키는 우안 이동 메커니즘(130R) 중 적어도 하나를 포함할 수 있다. 좌안 이동 메커니즘(130L)과 우안 이동 메커니즘(130R)은, 제1 방향 이동 메커니즘(130)이라 총칭한다. 제1 방향 이동 메커니즘은, 모터, 액츄에이터 등과 같은 공지의 장치로 구현될 수 있다.
한편, 좌안 촬영부(110L)와 우안 촬영부(110R)는, 제2 방향, 예를 들어, y 축 방향으로 함께 이동할 수 있다. 양안 촬영 장치(100)는, 좌안 촬영부(110L), 우안 촬영부(110R) 및 제1 방향 이동 메커니즘을 내부에 수용한 하우징(150)을 포함한다. 일 실시예로, 좌안 촬영부(110L)와 우안 촬영부(110R)는, 하우징(150) 내부에서 제2 방향으로 전진 또는 후진할 수 있다. 다른 실시예로, 하우징(150)이 제2 방향으로 전진 또는 후진함으로써, 좌안 촬영부(110L)와 우안 촬영부(110R)가 피검자의 눈을 향해 전진하거나 눈으로부터 후진할 수도 있다. 이하에서는, 두 실시예를 포괄하여 제2 방향 이동 메커니즘이 좌안 촬영부(110L)와 우안 촬영부(110R)를 제2 방향으로 이동시키는 것으로 가정한다. 제2 방향 이동 메커니즘은, 모터, 액츄에이터 등과 같은 공지의 장치로 구현될 수 있다.
제2 방향 이동 메커니즘(140)은, 피검자와의 거리에 따라 상이한 속도를 이동할 수 있다. 좌안 촬영부(110L)와 우안 촬영부(110R)가 피검자로부터 가장 먼 초기 위치 H부터 일정 위치 p1사이에서, 제2 방향 이동 메커니즘(140)의 단위 시간당 이동 거리, 즉, 이동 속도는 가장 크다. p1부터 망막 촬영에 적합한 위치 p2사이에서, 이동 속도는 감소한다. 최종적으로, 좌안 촬영부(110L)와 우안 촬영부(110R)가 p2에 도달하면, 제2 방향 이동 메커니즘(140)은 좌안 촬영부(110L)와 우안 촬영부(110R)의 이동을 정지시킨다. 여기서, 좌안 촬영부(110L)와 우안 촬영부(110R)는, 제1 방향 이동 메커니즘(130)에 의해 제1 방향으로 이동될 수 있다. 다시 말해, 좌안 촬영부(110L)와 우안 촬영부(110R)는, 제2 방향 이동 메커니즘(140)에 의해 이동되는 도중에, 동공의 위치를 검출하여 광축을 정렬할 수 있다. 추가적으로 또는 선택적으로, 좌안 촬영부(110L)와 우안 촬영부(110R)는, 양안의 망막을 촬영하면서 전진 또는 후진할 수 있다. 이동 속도를 가변함으로써, 양안 촬영 장치(100)가 망막 촬영에 적합한 위치까지의 이동 시간이 감소될 수 있다. 특히, 인간의 눈은 빛에 의해 쉽게 피로해지는 경향이 있어서, 이동시에 망막을 촬영하면, 피로가 눈에 미치는 영향이 최소화될 수 있다.
도 2는 도 1에 예시된 양안 촬영 장치의 촬영부를 위에서 바라본 상태를 예시적으로 도시한 도면이며, 도 3은 도 2에 예시된 양안 촬영 장치의 촬영부의 단면을 예시적으로 도시한 도면이다. 좌안 촬영부(110L)와 우안 촬영부(110R)는, 양안을 향해 모아지도록 배치된 상태를 제외하면 동일한 구조를 가지므로, 이하에서는, 구분하지 않고 촬영부(110L, 110R)로 총칭하도록 한다.
황반(12L, 12R)과 맹점(13L, 13R)은, 양안(10L, 10R)의 망막에 위치한다. 양안의 망막을 촬영한 사진(10La, 10Ra)를 보면, 양안(10L, 10R)의 구조는 실질적으로 대칭임을 알 수 있다. 맹점(13L, 13R) 사이의 거리는, 황반(12L, 12R) 사이의 거리보다 짧다. 수직으로 동공(11L, 11R)을 통과한 빛의 경로인 광축 OAeye는, 황반(12L, 12R)과 맹점(13L, 13R) 사이로 연장된다. 한편, 동공(11L, 11R)을 통과한 빛이 황반(12L, 12R)에 도달하는 경로인 시축(Visual axis)은, 광축 OAeye에 대해 소정 각도로 틀어져서, 양안(10L, 10R)의 시축은 피검자의 전방에서 교차한다.
도 2와 도 3을 함께 참조하면, 촬영부(110L, 110R)는, 동공 트래킹 광학계와 망막 촬영 광학계가 광학적으로 결합되는 망막 조명계를 포함한다. 망막 조명계는 다양한 구조로 구현될 수 있다. 망막 조명계의 광축은, 촬영부(110L, 110R)의 광축 OAcam이며, 제1 조명(200) 및 제1 카메라(210)로 구성된 동공 트래킹 광학계는, 빔 스플리터에 의해 망막 조명계에 광학적으로 결합된다. 한편, 망막 촬영 광학계는, 미러(230), 편광판(231), 및 제2 카메라(232)를 포함하며, 역시 빔 스필리터(203)에 의해 망막 조명계에 광학적으로 결합된다. 도시된 구조는 일 예일 뿐이며, 카메라 및 조명의 위치는, 다르게 배치될 수도 있음은 물론이다.
망막 조명계는, 망막 촬영을 위한 링 형상의 백색 편광을 눈(10L, 10R) 내부로 입사한다. 망막 조명계는, 동공 트래킹 광학계 및 망막 촬영 광학계와 광학적으로 결합한다. 이로 인해, 동공 트래킹 광학계와 망막 촬영 광학계는, 촬영부(110L, 110R)의 광축 OAcam의 적어도 일부를 따라 빛을 외부로 조사하거나, 각막 또는 망막에서 반사된 빛을 수신할 수 있다. 이를 위해, 망막 조명계는, 광축 OAcam을 따라 배열된, 백색광 조명(220), 필터(222), 환형 어퍼쳐(223), 편광판(224), 복수의 빔 스플리터(201, 202, 203), 및 복수의 컬리메이팅 렌즈(204, 221)를 포함할 수 있다.
예시된 구조에서, 백생광을 생성하는 백색광 조명(220)은 광축 OAcam을 따라 눈에서 가장 먼 일단부에 배치된다. 망막 조명계의 타단부는 개방되어, 빛이 눈으로 입사하거나 눈에서 반사된 빛이 내부로 입사될 수 있다. 백색광 조명(220)이 생성한 백색광은, 제1 컬리메이팅 렌즈(221)에 의해 직진성이 향상될 수 있다. 필터(222), 환형 어퍼쳐(223) 및 편광판(224)은 제1 컬리메이팅 렌즈(221)의 전방에 배치된다. 환형 어퍼쳐(223)에 의해, 백색광은 링 형상을 가지게 되며, 편광판(224)를 통과하여 링 형상의 백색 편광이 된다. 링 형상의 백색 편광은, 각막에 의한 반사를 최소화하여, 촬영된 망막 사진의 품질을 향상시킨다. 제1 빔 스플리터(201)는, 광축 OAcam을 따라 눈을 향해 진행하는 링 형상의 백색 편광을 통과시키며, 제1 조명(200)이 생성한 빛, 예를 들어, 근적외선을 눈을 향해 굴절시킨다. 제2 빔 스플리터(202)는 제1 빔 스플리터(201)의 전방에 배치되어, 눈을 향해 진행하는 링 형상의 백색 편광 및 근적외선을 통과시키며, 눈에서 반사된 근적외선을 제1 카메라(210)를 향하도록 굴절시킨다. 제3 빔 스플리터(203)는 제2 빔 스필리터(202)의 전방에 배치되어, 눈을 향해 진행하는 링 형상의 백색 편광 및 근적외선을 통과시키고, 눈에서 반사된 근적외선을 통과시키며, 눈에서 반사된 백색 편광을 제2 카메라(232)를 향해 굴절시킨다.
동공 트래킹 광학계는, 제1 빔 스플리터(201)에 의해 망막 조명계에 광학적으로 결합된 제1 조명(200) 및 제2 빔 스필리터(202)에 의해 망막 조명계에 광학적으로 결합된 제1 카메라(210)를 포함할 수 있다. 제1 조명(200)은, 근적외선을 생성하며, 제1 카메라(210)는, 눈(10L 또는 10R)에서 반사된 근적외선을 검출할 수 있다. 도시되진 않았으나, 제1 카메라(210)는 오토 포커스를 포함할 수 있다.
망막 촬영 광학계는 미러(230), 편광판(231), 및 제2 카메라(232)를 포함할 수 있다. 제3 빔 스플리터(203)는, 망막에서 반사된 백색 편광을 미러(230)를 향해 굴절시킨다. 미러(230)는 제3 빔 스플리터(203)에 의해 굴절된 백색 편광을 제2 카메라(232)를 향해 굴절시킨다. 미러(230)에 의해 굴절된 백색 편광은, 편광판(231)을 통과한 후 제2 카메라(232)에 도달한다. 도시되진 않았으나, 제2 카메라(232)는 오토 포커스를 포함할 수 있다.
이제 도 3을 참조하여 동공 트래킹 및 망막 촬영을 개략적으로 설명한다.
a1에서, 촬영부(110L, 110R)가 망막 촬영에 적합한 거리에 도달하는 도중 또는 도달한 이후에, 제1 조명(200)이 턴온된다. 제1 조명(200)은, 동공을 트래킹하는데 필요한 근적외선을 조사한다. 근적외선은, 각막에 의한 반사에도 불구하고 높은 컨트라스트를 갖는 제1 트래킹 영상 획득에 유용하다. 또한, 가시광선과 달리, 눈에 피로를 덜 유발하므로, 동공 트래킹 과정동안 지속적으로 눈을 향해 조사될 수 있다.
a2에서, 제1 조명(200)이 턴온된 후, 제1 카메라(210)는 눈에서 반사된 근적외선을 검출하여 제1 트래킹 영상을 생성한다. 제1 트래킹 영상은, 동공을 트래킹하는데 이용된다. 동공 위치가 결정되면, 제1 방향 이동 메커니즘은, 촬영부(110L, 110R)를, 촬영부(110L, 110R)의 광축 OAcam이 동공을 경사지게 통과하여 망막까지 연장될 수 있는 위치(이하 최적 동공 위치라 함)로 제1 방향으로 이동시킨다.
b1에서, 동공 트래킹 결과, 동공이 최적 동공 위치에 있으면, 백색광 조명(220)이 턴온된다. 백색광 조명(220)은 망막 조명계를 통과하면서 링 형상의 백색 편광이 되며, 동공의 일부 영역을 통해 눈으로 입사된다.
b2에서, 백색광 조명(220)이 턴온된 후, 제2 카메라(232)는 망막에서 반사된 백색 편광을 검출하여 양안(10L, 10R)의 망막 영상을 동시에 생성한다. 여기서, 제1 방향 이동 메커니즘은, 망막 영상을 생성하고 있는 촬영부(110L, 110R)를, 제1 방향으로 각각 이동시킬 수 있다.
도 4는 다른 실시예에 따른 양안 촬영 장치를 개략적으로 도시한 도면이며, 도 5는 가상 영상을 이용한 시선 유도를 예시적으로 도시한 도면이다. 여기서, 도 1에 도시된 구성과 동일한 구성에 대한 설명은 생략하며, 차이점을 주로 설명한다.
도 4를 참조하면, 양안 촬영 장치(101)는, 피검자의 시선을 유도하면서 양안(10L, 10R)의 망막을 동시에 촬영한다. 양안 촬영 장치(101)는, 피검자의 양안 중 좌안의 망막을 촬영하는 좌안 촬영부(111L), 우안의 망막을 촬영하는 우안 촬영부(111R), 좌안 영상을 표시하는 좌안 영상 표시계, 및 우안 영상을 표시하는 우안 영상 표시계를 포함한다. 좌안 촬영부(111L)는, 좌안(10L)에 수직한 방향에 대해 제1 각도 θ1로 틀어지게 배치되며, 우안 촬영부(111R)는, 우안(10R)에 수직한 방향에 대해 제2 각도 θ2로 틀어지게 광축이 배치된다. 이에 반해, 좌안 영상 표시계는, 좌안 영상이 좌안의 정면에 표시되도록 배치되며, 마찬가지로, 우안 영상 표시계는, 우안 영상이 우안의 정면에 표시되도록 배치될 수 있다. 정리하면, 영상 표시계의 광축 OAVR은 소정 각도로 망막을 촬영하기 위한 촬영부(111L, 111R)의 광축 OAcam과 상이하다.
좌안 영상 표시계 및 우안 영상 표시계에 의해 표시된 영상은, 피검자에 의해 단일 영상으로 인식된다. 따라서 이하에서는 이 둘을 구분하지 않고 가상 영상이라 총칭한다. 가상 영상은, 피검자의 시선을 특정 위치로 유도하는데 이용된다. 즉, 가상 영상에 의한 시선 유도를 통해서, 피검자가 동공을 최적 동공 위치로 이동하거나, 동공을 망막 촬영에 적합한 위치(이하 최적 촬영 위치라 함)로 이동하도록 할 수 있다. 가상 영상은 2차원 또는 3차원 영상일 수 있다. 화면(300, 300a, 300b, 300c)은, 피검자가 보는 가상 영상의 일 예이다. 화면(300, 300a, 300b, 300c)에는, 하나 이상의 객체(301, 302)가 표시될 수 있다. 제1 객체(301)는, 최적 동공 위치 및/또는 최적 촬영 위치를 나타내며, 제2 객체(302)는 피검자의 실제 동공 위치를 나타낸다. 예를 들어, 제1 객체(301)는 촬영부(111L, 111R)가 향하는 방향(또는 광축 OAcam이 향하는 방향)에 의해 화면(300)상의 표시 위치가 결정되며, 제2 객체(302)는 피검자의 실제 동공 위치에 의해 화면(300)상의 표시 위치가 결정될 수 있다.
일 실시예로, 제1 객체(301a)는, 피검자의 시선을 제3 방향, 예를 들어, z 축 방향으로 이동시키는데 이용될 수 있다. 촬영부(111L, 11R)는 x 축 및/또는 y 축 방향으로 이동하면서 피검자의 동공을 트래킹하거나 정지된 상태에서 망막상의 특정 대상, 예를 들어, 옵티컬 디스크를 트래킹할 수 있다. 예를 들어, 촬영부(111L, 11R)는, 제3 이동 메커니즘(미도시)에 의해 z 축 방향으로 이동할 수 있으나, 피검자의 동공을 z 축 방향으로 미세하게 이동하기 위해서는, 이동 메커니즘(130, 140)에 의한 이동보다 시선 유도를 통한 동공 이동이 더 효과적일 수 있다. 화면(300a)에서, 최적 동공 위치(301a)는 실제 동공 위치(302a)보다 위에 있다. 피검자는, 좌안 영상 표시계 및 우안 영상 표시계에 의해 표시된 가상 영상(300a)를 보면서, 동공을 위쪽으로 이동시키면, 양안 촬영 장치(101)는 동공 트래킹을 통해 제2 객체(302a)가 위쪽으로 이동하는 것으로 표시한다. 제1 객체(301a)와 제2 객체(302a)가 중첩하면, 양안 촬영 장치(101)는 피검자의 동공 위치가 최적 동공 위치 또는 최적 촬영 위치에 도달한 것으로 판단하여 망막 촬영을 수행할 수 있다.
다른 실시예로, 제1 객체(301b)는, 피검자의 시선을 제1 방향, 예를 들어, x 축 방향으로 유도하는데 이용될 수 있다. 촬영부(111L, 111R)가 정지된 상태에서, 피검자가 동공을 이동하면, 촬영부(111L, 111R)는 망막의 여러 영역을 촬영할 수 있다. 화면(300b)에서, 최적 촬영 위치(301b)는 실제 동공 위치(302b)보다 오른편에 있다. 피검자는, 좌안 영상 표시계 및 우안 영상 표시계에 의해 표시된 가상 영상(300b)를 보면서, 동공을 오른쪽으로 이동시키면, 양안 촬영 장치(101)는 동공 트래킹을 통해 제2 객체(302b)가 오른쪽으로 이동하는 것으로 표시한다. 제1 객체(301b)와 제2 객체(302b)가 중첩하면, 양안 촬영 장치(101)는 피검자의 동공 위치가 최적 촬영 위치에 도달한 것으로 판단하여 망막 촬영을 수행할 수 있다.
도 5를 함께 참조하면, 또 다른 실시예로, 좌안 영상 표시계 및 우안 영상 표시계에 의해 표시된 가상 영상은, 원근감을 갖는 3차원 영상일 수 있다. 3차원 영상은, 시선 사이각이 좁아지거나 넓어지도록 피검자의 시선을 유도하거나, 동공을 확장시킬 수 있다. 인간의 눈은, 멀리 있는 물체를 보기 위해 시선 사이각이 좁아지며 동공을 확장하여 상대적으로 많은 빛을 받아들인다. 반대로, 가까운 물체를 보기 위해서는, 시선 사이각은 넓어지며, 동공은 축소되어, 상대적으로 적은 빛을 받아들인다.
원근감을 갖는 3차원 영상은, 피검자가 인지하는 거리에 따라, 동공을 확장 또는 축소시킬 수 있다. 동공이 확장되면, 망막의 넓은 영역을 촬영할 수 있게 된다. 화면(300c)에서, 최적 동공 위치 또는 최적 촬영 위치(301c)는 실제 동공 위치(302c)보다 멀리 있다. 피검자는, 좌안 영상 표시계 및 우안 영상 표시계에 의해 표시된 가상 영상(300c)를 보면서, 시점을 제1 객체(301c)로 이동시키면, 양안 촬영 장치(101)는 동공 트래킹을 통해 동공 확장을 인식하여 제2 객체(302c)가 제1 객체(301c)쪽으로 이동하는 것으로 표시한다.
한편, 원근감을 갖는 3차원 영상은, 피검자가 인지하는 거리에 따라, 시선 사이각을 증가 또는 감소시킬 수 있다. 좌안 영상 표시계 및 우안 영상 표시계에 의해 표시된 제2 객체(302L', 302R')은, 피검자로 하여금 제2 객체(302c')가 상대적으로 가깝게 위치한다고 인지하게 한다. 이로 인해, 피검자의 시선 사이각은 넓어진다. 한편, 좌안 영상 표시계 및 우안 영상 표시계에 의해 표시된 제2 객체(302L'', 302R'')은, 피검자로 하여금 제2 객체(302c'')가 상대적으로 멀리 위치한다고 인지하게 한다. 이로 인해, 피검자의 시선 사이각은 좁아진다.
상술한 실시예들은, 개별적으로 구현되거나 결합될 수 있다. 예를 들어, 제1 방향 또는 제3 방향으로 동공을 이동하는 경우, 제1 객체는 피검자가 원근감을 느낄 수 있는 3차원 영상에서 표시될 수 있다. 다른 예로, 동공은, 제1 방향 내지 제3 방향 이동의 조합에 의해 최적 동공 위치로 이동할 수도 있다.
한편, 제1 객체의 면적이 작아질수록, 피검자의 동공을 최적 동공 위치로 더 정확하게 유도할 수 있다. 동공이 충분히 확장되어 있더라도, 눈의 해부학적 구조로 인해서, 동공의 특정 위치가 망막 촬영에 최적일 수 있다. 따라서, 양안 촬영 장치(101)는, 동공의 특정 위치가 촬영부(111L, 111R)의 광축 OAcam상에 위치하도록 피검자의 시선을 유도할 수 있다.
도 6은 도 5에 예시된 양안 촬영 장치의 촬영부를 위에서 바라본 상태를 예시적으로 도시한 도면이며, 도 7은 도 6에 예시된 양안 촬영 장치의 촬영부의 단면을 예시적으로 도시한 도면이다. 도 2 및 도 3에 도시된 구성과 동일한 구성에 대한 설명은 생략하며, 차이점을 주로 설명한다.
도 6와 7을 함께 참조하면, 촬영부(111L, 111R)는, 동공 트래킹 광학계와 망막 트래킹/촬영 광학계가 광학적으로 결합되는 망막 조명계를 포함한다. 망막 트래킹/촬영 광학계는, 제2 조명(400), 미러(230), 편광판(231), 및 제2 카메라(232)를 포함하며, 빔 스필리터(203)에 의해 망막 조명계에 광학적으로 결합된다. 망막 트래킹/촬영 광학계는, 옵티컬 디스크를 트래킹하며, 망막을 촬영하여 망막 영상을 생성한다. 도시된 구조는 일 예일 뿐이며, 카메라 및 조명의 위치는, 다르게 배치될 수도 있음은 물론이다.
촬영부(111L, 111R)는, 망막 조명계에 배치된 좌안 영상 표시계 및 우안 영상 표시계(이하에서는 영상 표시계로 총칭)를 포함한다. 영상 표시계는, 디스플레이(410), 제4 컬리메이팅 렌즈(420), 및 제4 빔 스플리터(430)를 포함할 수 있다. 영상 표시계의 제4 빔 스플리터(430)는, 망막 조명계의 광축 OAcam상에 배치되지만, 제4 빔 스플리터(430)에 의해 굴절되는 빛의 광축 OAVR은 망막 조명계의 광축 OAcam에 평행하지 않다. 즉, 광축 OAVR은 광축 OAcam에 대해 제3 각도 θ3만큼 틀어지게 배치된다. 여기서, 제3 각도 θ3의 절대값은 제1 각도 θ1 또는 제2 각도 θ2의 절대값과 실질적으로 동일할 수 있다. 이로 인해, 영상 표시계가 출력한 가상 영상은, 좌안과 우안의 정면에 각각 표시된다.
영상 표시계는, 백색광 조명(220)의 반대편, 즉, 눈에 가장 가까운 타단부에 배치될 수 있다. 제2 조명(400)은, 눈을 향해 근적외선을 조사할 수 있다. 디스플레이(410)는, 피검자의 양안에 표시될 가상 영상을 출력한다. 영상은 제4 컬리메이팅 렌즈(420)에 의해 모아진 후 제4 빔 스플리터(430)에 의해 굴절되어 눈으로 입사한다. 한편, 망막 조명계의 광축 OAcam을 따라 진행하는 빛은, 제4 빔 스플리터(430)를 통과한다.
이제 도 7을 참조하여 망막 트래킹을 개략적으로 설명한다.
c1에서, 촬영부(111L, 111R)가 망막 촬영에 적합한 거리에 도달한 이후에, 피검자의 시선을 유도하기 위한 가상 영상이 출력된다. 동공 이동에 의해, 망막상의 옵티컬 디스크가 촬영부(111L, 111R)에 대응될 수 있다.
c2에서, 제2 조명(400)이 턴온된다. 제2 조명(400)은, 옵티컬 디스크의 위치를 트래킹하는데 필요한 근적외선을 조사한다. 근적외선은, 각막에 의한 반사에도 불구하고 높은 컨트라스트를 갖는 제2 트래킹 영상 획득에 유용하다. 또한, 가시광선과 달리, 눈에 피로를 덜 유발하므로, 망막 트래킹 과정동안 지속적으로 눈을 향해 조사될 수 있다.
c3에서, 제2 조명(400)이 턴온된 후, 제2 카메라(232)는 망막에서 반사된 근적외선을 검출하여 제2 트래킹 영상을 생성한다. 제2 트래킹 영상은, 옵티컬 디스크를 트래킹하는데 이용된다. 옵티컬 디스크가 적절한 위치에 있지 않으면, 가상 영상이 변경된다.
도 8은 양안 촬영 장치의 동작을 예시적으로 도시한 흐름도이다.
일 실시예로, 도 4 내지 7을 참조하여 설명한 양안 촬영 장치(101)는, 동공 트래킹(S10), 망막 트래킹(S20), 오토 포커싱(S30), 및 망막 촬영(S40)을 순차적으로 수행할 수 있다. 동공 트래킹(S10)은, 피검자의 동공을 트래킹하는 과정이다. 동공 트래킹에 의해서, 촬영부(111L, 111R)가 제1 방향으로 이동하거나, 피검자가 시선 또는 자세를 변경하여 동공이 최적 동공 위치에 올 수 있다. 망막 트래킹(S20)은, 망막상의 옵티컬 디스크를 트래킹하는 과정이다. 즉, 피검자의 시선은, 측정된 망막상의 옵티컬 디스크의 위치에 기초하여 유도된다. 망막 트래킹(S20)에 의해서, 피검자는 동공을 최적 촬영 위치로 이동할 수 있다. 추가적으로, 망망 트래킹(S20) 과정에서, 제2 조명(400)이 반사된 영역(이하 반사 영역)의 위치가 트래킹될 수 있다. 반사 영역은, 촬영부(111L, 111R)와 동공 사이의 거리를 조절하는데 이용될 수 있다. 오토 포커싱(S30)은, 옵티컬 디스크를 촬영하기 위해 초점을 조절하는 과정이다. 망막 촬영(S40)은, 옵티컬 디스크를 촬영하여 망막 영상을 생성하는 과정이다. 한편, 도 1 내지 3을 참조하여 설명한 양안 촬영 장치(100)는, 동공 트래킹(S10)의 일부, 오토 포커싱(S30), 및 망막 촬영(S40)을 순차적으로 수행할 수 있다.
다른 실시예로, 도 4 내지 7을 참조하여 설명한 양안 촬영 장치(101)는, 동공 트래킹(S10)을 수행한 후, 망막 트래킹(S20)과 오토 포커싱(S30)을 동시에 수행할 수 있다. 망막 트래킹(S20)은, 오토 포커스를 이용하여, 제2 카메라(232)의 초점을 변경하면서 수행될 수 있다.
이하에서는 각 과정을 상세하게 설명한다.
도 9는 도 8에 예시된 동공 트래킹 동작을 예시적으로 도시한 흐름도이고, 도 10은 제1 트래킹 영상에서 동공을 트래킹하는 과정을 예시적으로 도시한 도면이고, 도 11은 트래킹 과정에 이용된 연산을 예시적으로 설명하기 위한 도면이며, 도 12를 제1 트래킹 영상에서 근적외선 반사 영역을 트래킹하는 과정을 예시적으로 도시한 도면이다.
도 9 내지 12를 함께 참조하면, 촬영부(111L, 111R)는, 이동 메커니즘(130, 140)에 의해 초기 위치로 이동한다(S100). 초기 위치는, 망막 촬영에 적절한 위치이며, 모델 아이를 이용하여 결정될 수 있다. 한편, 초기 위치는, 망막이 선명하게 촬영한 경우들에서의 촬영부(111L, 111R) 위치들로부터도 결정될 수 있다. 이동 메커니즘(130, 140)은, 제1 방향 및/또는 제2 방향으로 촬영부(111L, 111R)를 이동시켜 촬영부(111L, 111R)가 초기 위치에 정렬되도록 한다.
제3 방향, 예를 들어, 상하로 피검자의 시선을 유도하기 위한 영상이 출력된다(S110). 시선 유도에 의해 동공이 이동한다. 동공 트래킹에 이용되는 영상은 2차원 영상일 수 있다. 출력된 영상은, 망막 조명계에 대해 제3 각도 θ3로 틀어져서 양안의 정면을 향하는 제4 빔 스플리터(430)에 의해 굴절되어 눈을 향하여 진행한다. 한편, 단계 S110은, 선택적으로 수행될 수 있다.
제1 카메라(210)가 눈을 촬영하여 제1 트래킹 영상(500)을 생성한다(S120). 제1 조명(200)은 동공 트래킹 과정 동안 턴온되어 근적외선을 눈을 향해 조사할 수 있다. 제1 카메라(210)는, 동공을 포함한 눈 주변에서 반사된 근적외선을 검출하여 제1 트래킹 영상(500)을 생성한다. 제1 트래킹 영상(500)은, 근적외선이 각막 및/또는 홍채에 의해 반사된 위치를 나타내는 반사 영역(502), 근적외선이 반사된 홍채(503)를 포함한다.
제1 트래킹 영상(500)에서 동공이 검출된다(S130). 도 10을 참조하면, 동공은 근적외선을 통과시키므로, 반사되는 근적외선이 상대적으로 작은 반면, 동공 주변의 홍채(503)는 근적외선을 상대적으로 잘 반사한다. 최적 동공 위치를 판단하기 위한 유효 영역(504)은, 제1 트래킹 영상(500)에 정의될 수 있다. 제1 카메라(200)는, 흑백 영상 또는 컬러 영상을 생성할 수 있다. 흑백 영상의 경우, 제1 트래킹 영상(500)의 각 화소들은, 그레이 스케일 값을 가지며, 컬러 영상의 경우, 제1 트래킹 영상(500)의 각 화소들은, 적색, 녹색 및 청색값을 가진다. 흑백 영상의 경우, 그레이 스케일을 화소값으로, 컬러 영상의 경우 청색값을 화소값으로, 유효 영역(504)의 히스토그램(505)이 생성된다. 히스토그램(505)의 가로축은 화소값을 나타내며, 세로축은 화소의 수를 나타낸다.
반사되는 근적외선이 거의 없으므로, 동공은 상대적으로 어두운 영역이다. 따라서 히스토그램(505)에서, 좌측에 표시된 상대적으로 작은 화소값들이 동공을 나타내며, 우측에 표시된 상대적으로 큰 화소값들은, 홍채 등 동공을 둘러싼 나머지 영역을 나타낸다. 동공과 홍채의 경계는, 상대적으로 작은 화소값이 급격히 감소하는 화소값으로 표현될 수 있다. 따라서 작은 화소값이 급격히 감소하는 첫 번째 골짜기(506)를 검출하고, 그 골짜기(506)에 해당하는 화소값을 이용하여 동공을 검출할 수 있다.
예를 들어, 첫 번째 골짜기(506)는, 다음과 같이 결정될 수 있다. 먼저, 임의의 한 화소값 Px를 갖는 화소의 수 Gy가, 1 내지 n(n은 2 이상) 작은 화소값을 갖는 화소의 수 Gy1와 1 내지 n 큰 화소값을 갖는 화소의 수 Gy2을 더한 값보다 작거나 같으면, 해당 화소값 Px가 선택된다. 이 조건은, 히스토그램(505)상에 존재하는 대부분의 골짜기를 검출하기 위한 조건이다. 둘 이상의 화소값 Px가 검출되면, 검출된 화소값 Px를 갖는 화소의 수 Gy가, 검출된 화소값 Px보다 작은 화소값을 갖는 화소의 수 중 최대값의 K배(여기서, K는 1 미만) 보다 작은 화소값 Px가 선택된다. 이 조건은, 봉우리를 지난 골짜기를 찾기 위한 조건이다. 둘 이상의 화소값 Px가 검출되면, 검출된 화소값 Px보다 작은 화소값을 갖는 화소의 수 중 최대값이 M1보다 큰 화소값 Px가 선택된다. 여기서, M1은, 유효 영역(504)에 포함된 총 화소수에 따라 결정될 수 있다. 예를 들어, 유효 영역(504)에 포함된 총 화소수가 80,000개이면, M1은 약 0.15%에 해당하는 120일 수 있다. 이 조건은, 상대적으로 큰 봉우리를 지난 골짜기를 찾기 위한 조건이다.
노이즈 제거 전 동공 영상(507)은, 결정된 첫 번째 골짜기(506)의 화소값과 같거나 작은 화소값을 갖는 영역(508)을 나타낸다. 동공 주변에 위치한 각막 및/또는 홍채에 의해 형성된 반사 영역(502)뿐 아니라, 동공 내부에도 큰 화소값을 갖는 영역, 즉, 노이즈가 존재할 수 있다. morphology 연산을 적용하여 노이즈 제거 전 동공 영상(507)에서 노이즈를 제거할 수 있다. 도 11은, morphology 연산에 의한 영상 처리 효과를 예시하고 있다.
침식(Erode)은, 밝은 영역, 즉, 상대적으로 큰 화소값을 갖는 영역을 수축시킨다. 따라서, 침식 처리에 의해, 노이즈에 해당하는 작은 면적을 갖는 영역들이 제거된다.
팽창(Dilate)은, 밝은 영역을 확장시킨다. 따라서, 밝은 영역 내에 위치한 어두운 영역, 즉, 상대적은 작은 화소값을 갖는 영역이 제거된다.
열림(Open)은, 침식을 적용한 후 팽창을 적용한다. 열림에 의하면, 작은 면적을 갖는 노이즈가 제거되며, 침식에 의해 줄어든 영역들이 다시 확장된다. 즉, 열림은, 노이즈를 제거하기 위한 연산이다.
닫힘(Close)는, 팽창을 적용한 후 침식을 적용한다. 닫힘에 의하면, 밝은 영역 내부에 위치한 어두운 영역이 제거되며, 팽창에 의해서 확장된 밝은 영역이 수축된다. 즉, 닫힘은 밝은 영역 내부의 어두운 영역을 제거하기 위한 연산이다.
morphology 닫힘 연산 및 열림 연산이 노이즈 제거 전 동공 영상(507)에 적용된다. 닫힘 연산 및 열림 연산시 적용된 필터의 크기는, 필터링이 수행되어야 하는 영역(508)이 상대적으로 넓기 때문에, 이하 다른 연산에서 적용된 필터보다 클 수 있다.
노이즈 제거 후 동공 영상(508)은, 동공 영역(509)을 포함한다. 도 10에 예시된 영상은, 동공 영역(509)이 유효 영역(504) 내에 위치한 정상적인 경우이나, 동공 트래킹 과정에서는 동공 영역(509)과 유사한 영역이 유효 영역(504)에 위치할 수도 있으며, 동공 영역(509)의 일부만 유효 영역(504)에 위치할 수도 있다. 필터링된 영역들중에서, 동공의 해부학적 특성, 예를 들어, 동공의 가로/세로비를 이용하여, 동공에 대응하는 영역이 결정된다. 이후, 제1 트래킹 영상에서, 동공 영역(509)의 위치와 크기가 산출된다.
한편, 제1 트래킹 영상(500)은, 피검자의 눈과 촬영부(111L, 111R)간의 거리를 측정하는데 이용될 수 있다. 도 12을 참조하면, 제1 조명(200)은 복수이거나, 단일의 제1 조명(200)에 의해 생성된 근적외선은 복수의 구분된 광 경로를 통해 눈에 도달할 수 있다. 각막 및/또는 홍채 부근에서 반사된 근적외선은, 제1 트래킹 영상(500)에 의해 검출될 수 있다. 반사 영역(502)의 위치 및/또는 영역간 거리로부터, 동공의 위치뿐 아니라 피검자의 눈과 촬영부(111L, 111R)간의 거리가 측정될 수 있다. 피검자의 눈과 촬영부(111L, 111R)간의 거리는, 측정된 거리에 의해, 조절될 수 있다.
이를 위해, 제1 트래킹 영상(500)에서, 유효 영역(504)의 적어도 일부를 포함하는 반사 트래킹 영상(510)이 추출된다. 반사 트래킹 영상(510)의 히스토그램(511)이 생성된다. 히스토그램(511)의 가로축은 화소값을 나타내며, 세로축은 화소의 수를 나타낸다.
동공과 반대로, 반사 영역(502)은 매우 밝은 영역이다. 따라서, 히스토그램(511)에서, 우측에 표시된 가장 큰 화소값들이 반사 영역(502)을 나타낸다. 반사 영역(502)의 둘레는, 화소수가 급격히 감소하는 화소값으로 표현될 수 있다. 예를 들어, 임의의 한 화소값 Px를 갖는 화소의 수 Gy가, 1 내지 n(n은 2 이상) 큰 화소값을 갖는 화소의 수 Gy3보다 M2만큼 작으면, 화소값 Px가 반사 영역(502)의 둘레로 결정된다. 큰 화소값 Px가 선택된다. 여기서, M2는, 반사 트래킹 영상(510)에 포함된 총 화소수에 따라 결정될 수 있다.
노이즈 제거 전 서브 트래킹 영상(513)은, 결정된 화소값 Px를 갖는 후보 영역(514)을 나타낸다. morphology 침식 및 팽창 연산을 순차적으로 적용하여 노이즈 제거 전 서브 트래킹 영상(513)에서 노이즈를 제거할 수 있다. 노이즈가 다른 영상에 포함된 노이즈보다 상대적으로 작으므로, 침식 연산에 사용하는 필터의 크기는 다른 경우보다 상대적으로 작을 수 있다.
노이즈 제거 후 서브 트래킹 영상(514)은, 복수의 후보 영역(514)을 포함할 수 있다. 따라서, 촬영부(111L, 111R)로부터 조사된 근적외선에 연관된 반사 영역(515)을 결정하기 위해, 각 후보 영역(513)의 면적, 중심의 위치, 중심간 거리 등의 조건을 이용할 수 있다.
동공 영역(509)이 최적 동공 위치에 있는지가 판단된다(S140). 예를 들어, 판단은, 동공 영역(509)와 최적 동공 위치로 정의된 영역간 중첩 비율이나, 중심점간 거리를 기준으로 이용할 수 있다.
동공 영역(509)이 최적 동공 위치에 있지 않으면, 촬영부(111L, 111R)가 제1 방향으로 이동되거나 시선을 상하로 유도하기 위한 가상 영상이 변경될 수 있다(S150). 변경된 가상 영상은, 이전 단계에서 검출된 동공 영역(509)을 반영한다. 가상 영상이 변경된 경우, 피검자는, 변경된 가상 영상을 보면서 시선이나 자세를 조정할 수 있다. 동공 영역(509)이 최적 동공 위치에 있으면, 망막 트래킹 과정(S20)이 시작된다.
도 13은 피검자와 양안 촬영 장치간 거리가 피검자가 보는 가상 영상에 미치는 영향을 예시적으로 도시한 도면이다.
피검자의 시선을 유도하기 위한 가상 영상(300d, 300e, 300f)은, 촬영부(111L, 111R)가 최적 동공 위치에 정렬될 때, 표시된다. 경우 1은, 촬영부(111L, 111R)와 동공간의 거리가 최적일 때를 나타내고, 경우 2는 촬영부(111L, 111R)와 동공간의 거리가 가까울 때를 나타내며, 경우 3은 촬영부(111L, 111R)와 동공간의 거리가 멀 때를 각각을 나타낸다. 상술한 바와 같이, 촬영부(111L, 111R)는 이동 메커니즘(130, 140)에 의해 초기 위치로 이동되며, 이후 동공 트래킹에 의해 촬영부(111L, 111R)의 광축 OAcam이 동공에 정렬된다. 이 과정에서, 피검자의 신체 조건에 따라, 동공 트래킹은 정상적으로 완료되었지만, 영상 표시계의 광축 OAVR은 제1 방향으로 이동할 수 있다.
경우 1에서, 촬영부(111L, 111R)의 광축 OAcam과 영상 표시계의 광축 OAVR은 모두 동공에 올바르게 정렬된다. 따라서, 피검자는 가상 화면(300d)에 표시된 제1 객체(301)와 제2 객체(302)를 볼 수 있으며, 제2 객체(302)에 의해 유도되어 시선을 변경할 수 있다.
경우 2에서, 촬영부(111L, 111R)의 광축 OAcam은 동공에 올바르게 정렬된 반면, 영상 표시계의 광축 OAVR은 피검자의 코에 가까워지도록 제1 방향으로 이동될 수 있다. 이로 인해, 가상 화면(300e)에서, 제2 객체(302)는, 피검자의 시선이 중첩되는 위치에 표시되지 않게 된다.
경우 3에서, 촬영부(111L, 111R)의 광축 OAcam은 동공에 올바르게 정렬된 반면, 영상 표시계의 광축 OAVR은 피검자의 코로부터 멀어지도록 제1 방향으로 이동될 수 있다. 경우 2와 마찬가지로, 가상 화면(300e)에서, 제2 객체(302)는, 피검자의 시선이 중첩되는 위치에 표시되지 않거나, 양안 중 어느 한 눈은 제2 객체(302)를 볼 수 없게 된다.
촬영부(111L, 111R)의 광축 OAcam과 영상 표시계의 광축 OAVR은, 촬영부(111L, 111R)의 타단부에 배치된 복수의 제2 조명(400L, 400R)을 이용하여 정렬될 수 있다. 촬영부(111L, 111R)의 광축 OAcam과 영상 표시계의 광축 OAVR은, 망막 트래킹(S20)이 수행되기 전 또는 망막 트래킹(S20) 수행중에 정렬될 수 있다.
도 14는 촬영부의 광축과 영상 표시계의 광축을 동공에 정렬하는 과정을 예시적으로 도시한 흐름도이다.
제2 조명(400L, 400R)이 턴온된다(S200). 제2 조명(400L, 400R)은 망막 트래킹 과정 동안 턴온되어 근적외선을 눈을 향해 조사할 수 있다. 복수의 근적외선 LED로 구성된 제2 조명(400L, 400R)은 촬영부(111L, 111R)의 타단에 배치되며, 복수의 근적외선 LED는 서로 일정 거리만큼 이격된다. 영상 표시계의 광축 OAVR은 좌안(10L)에 수직한 방향에 대해 제1 각도 θ1로 틀어지며, 우안(10R)에 수직한 방향에 대해 제2 각도 θ2로 틀어져 있다. 여기서, θ1의 절대값과 θ2의 절대값은 실질적으로 동일할 수 있다.
제2 카메라(232)가 생성한 제2 트래킹 영상에서 반사 영역을 검출한다(S210). 근적외선의 반사 영역을 검출하므로, 도 11에서 설명된 방식이 적용될 수 있다.
검출된 반사 영역을 이용하여, 영상 표시계의 광축 OAVR이 최적 위치에 정렬되었는지 판단한다(S220). 동공과 촬영부(111L, 111R) 사이의 거리가 가까운 경우는, 도 15를 참조하며, 거리가 먼 경우는 도 17을 참조하여 상세히 설명한다.
영상 표시계의 광축 OAVR이 최적 위치에 정렬되면, 망막 트래킹(S20)이 진행되며, 최적 위치에 정렬되지 않았으면, 이동 메커니즘(130, 140)이 촬영부(111L, 111R)를 제1 방향 및/또는 제2 방향으로 이동시킨다(S230). 이후 단계 S210 내지 S220이 반복된다.
도 15는 촬영부와 동공간 거리가 가까울 경우에서 반사 영역의 특징을 예시적으로 도시한 도면이다. 좌안 촬영부(111L)와 우안 촬영부(111R)의 동작은 동일하므로, 이하에서는 우안 촬영부(111R)를 예를 들어 설명한다.
경우 1에서, 우안 촬영부(111R)와 동공의 거리가 최적이면, 우안 촬영부(111R)의 광축 OAcam과 광축 OAVR의 교차점 CP가 동공에 올바르게 정렬된다. 교차점 CP는, 동공상에 위치한 정렬점 PA에 위치하면, 피검자가 가상 영상을 가장 잘 볼 수 있는 최적 시선 VRopt와 광축 OAVR이 실질적으로 일치한다. 경우 1에서, 제2 조명(400R)을 구성하는 근적외선 LED에 의한 최적 반사 영역 RE1opt, RE2opt는, 동공의 중심으로부터 일정 거리만큼 이격될 수 있다. 최적 반사 영역 RE1opt, RE2opt의 위치는, 근적외선 LED의 개수, 배치 위치, 근적외선 LED가 배치된 평면의 기울기 등 다양한 조건에 따라 달라질 수 있다. 최적 반사 영역 RE1opt, RE2opt의 위치는, 모델 아이를 이용하여 결정되거나, 망막이 선명하게 촬영한 경우들을 참고하여 결정될 수 있다.
경우 2에서, 우안 촬영부(111R)와 동공의 거리가 최적 거리보다 짧으면, 우안 촬영부(111R)의 광축 OAcam과 광축 OAVR의 교차점 CP가 안구 내부에 위치하게 된다. 이로 인해, 좌우측 반사 영역 RE1, RE2는 최적 반사 영역 RE1opt, RE2opt와는 상이하게 위치하게 된다. 예시된 우안의 경우, 우측 반사 영역 RE2가 최적 반사 영역 RE2opt의 우측에 위치하며, 우측 반사 영역 RE2와 최적 반사 영역 RE2opt의 거리가, 좌측 반사 영역 RE1과 최적 반사 영역 RE1opt 사이의 거리보다 멀어질 수 있다.
이 정렬 상태로부터, 우안 이동 메커니즘(130R)이 우안 촬영부(111R)를 제1 방향을 따라 좌측으로 이동시키면, 우안 촬영부(111R)의 광축 OAcam은 정렬점 PA를 지나지만, 광축 OAVR은 정렬점 PA의 좌측을 지나게 되어, 최적 시선 VRopt와 광축 OAVR이 일치하지 않게 된다. 광축 OAVR이 정렬점 PA의 좌측을 지나면, 우측 반사 영역 RE2'와 최적 반사 영역 RE2opt 사이의 거리는 감소하지만, 좌측 반사 영역 RE1'과 최적 반사 영역 RE1opt 사이의 거리가 증가한다. 따라서, 좌우측 반사 영역 RE1', RE2' 모두 최적 반사 영역 RE1opt, RE2opt로부터 이격된다. 즉, 우안 촬영부(111R)의 광축 OAcam이 동공에 정렬된 후, 좌우측 반사 영역 RE1', RE2'사이의 거리가 최적 반사 영역 RE1opt, RE2opt 사이의 거리보다 크거나, 또는 우측 반사 영역 RE2'이 여전히 우측으로 이격되어 있으면, 영상 표시계의 광축 OAVR은 오정렬된 상태이다.
도 16은 촬영부와 동공간 거리가 가까울 경우의 정렬 과정을 예시적으로 도시한 도면이다.
상태 d1에서, 우안 촬영부(111R)와 동공간 거리가 가까울 때, 우안 촬영부(111R)의 광축 OAcam은 정렬점 PA의 우측을 지난다. 교차점 CP가 안구 내부에 위치하므로, 우측 반사 영역은, 좌측 반사 영역에 비해, 우측으로 많이 이격된다.
상태 d2에서, 우안 촬영부(111R)의 광축 OAcam이 정렬점 PA를 지나도록, 제1 방향 이동 메커니즘(130R)이 우안 촬영부(111R)를 좌측으로 제1 방향을 따라 이동시킨다. 이로 인해, 우안 촬영부(111R)의 광축 OAcam은 정렬점 PA를 지나지만, 광축 OAVR은 정렬점 PA의 좌측을 지나게 된다. 우측 이동 후에도 우측 반사 영역이 여전히 최적 반사 영역의 우측에 위치하므로, 교차점 CP가 안구 내부에 위치한다고 판단할 수 있다.
상태 d3에서, 교차점 CP를 동공에 가까워지도록, 제2 방향 이동 메커니즘(140)이 우안 촬영부를 제2 방향으로 이동시킨다. 교차점 CP가 동공에 가까워졌지만, 여전히 안구 내부에 위치하며, 상태 d2로부터 제2 방향으로 이동되었으므로, 우안 촬영부(111R)의 광축 OAcam 및 광축 OAVR은 정렬점 PA의 좌측을 지나게 된다.
상태 d4에서, 우안 촬영부(111R)의 광축 OAcam이 정렬점 PA에 오도록, 제1 방향 이동 메커니즘(130R)이 우안 촬영부(111R)를 우측으로 이동시킨다. 이로 인해, 우안 촬영부(111R)의 광축 OAcam은 정렬점 PA를 지나지만, 광축 OAVR은 정렬점 PA의 좌측을 지나게 된다. 우측 이동 후, 우측 반사 영역이 여전히 최적 반사 영역의 우측을 지나므로, 교차점 CP가 안구 내부에 위치한다고 판단할 수 있다.
d3 및 d4에서 수행된 제1 방향 이동 및 제2 방향 이동을 반복하여, 교차점 CP를 정렬점 PA와 실질적으로 동일한 수평선상에 위치시킨다. 상태 d5에서, 교차점 CP를 정렬점 PA와 실질적으로 동일한 수평선상에 위치하지만, 교차점 CP는 정렬점 PA의 좌측에 위치한다.
상태 d6에서, 우안 촬영부(111R)의 광축 OAcam이 정렬점 PA에 오도록, 제1 방향 이동 메커니즘(130R)이 우안 촬영부(111R)를 우측으로 제1 방향을 따라 이동시킨다. 이로 인해, 좌우측 반사 영역이 최적 반사 영역에 중첩되면, 교차점 CP가 정렬점 PA와 실질적으로 일치하게 된다.
도 17은 촬영부와 동공간 거리가 먼 경우에서 반사 영역의 특징을 예시적으로 도시한 도면이다. 좌안 촬영부(111L)와 우안 촬영부(111R)의 동작은 동일하므로, 이하에서는 우안 촬영부(111R)를 예를 들어 설명한다.
경우 3에서, 우안 촬영부(111R)와 동공의 거리가 최적 거리보다 길면, 우안 촬영부(111R)의 광축 OAcam과 광축 OAVR의 교차점 CP가 안구 외부에 위치하게 된다. 이로 인해, 좌우측 반사 영역 RE1, RE2는 최적 반사 영역 RE1opt, RE2opt와는 상이하게 위치하게 된다. 예시된 우안의 경우, 우측 반사 영역 RE2가 최적 반사 영역 RE2opt의 좌측에 위치하며, 우측 반사 영역 RE2와 최적 반사 영역 RE2opt의 거리가, 좌측 반사 영역 RE1과 최적 반사 영역 RE1opt 사이의 거리보다 멀어질 수 있다.
이 정렬 상태로부터, 우안 이동 메커니즘(130R)이 우측으로 제1 방향을 따라 우안 촬영부(111R)를 이동시키면, 우안 촬영부(111R)의 광축 OAcam은 정렬점 PA에 위치하게 되지만, 광축 OAVR은 정렬점 PA의 우측을 지나게 되어 최적 시선 VRopt와 광축 OAVR이 일치하지 않게 된다. 광축 OAVR이 정렬점 PA의 우측을 지나면, 우측 반사 영역 RE2'와 최적 반사 영역 RE2opt 사이의 거리는 감소하지만, 좌측 반사 영역 RE1'과 최적 반사 영역 RE1opt 사이의 거리가 증가한다. 따라서, 좌우측 반사 영역 RE1', RE2' 모두 최적 반사 영역 RE1opt, RE2opt로부터 이격된다. 즉, 우안 촬영부(111R)의 광축 OAcam이 동공에 정렬된 후, 좌우측 반사 영역 RE1', RE2'사이의 거리가 최적 반사 영역 RE1opt, RE2opt 사이의 거리보다 작으면, 영상 표시계의 광축 OAVR은 오정렬된 상태이다.
도 18은 촬영부와 동공간 거리가 먼 경우의 정렬 과정을 예시적으로 도시한 도면이다.
상태 e1에서, 우안 촬영부(111R)와 동공간 거리가 멀 때, 우안 촬영부(111R)의 광축 OAcam이 정렬점 PA의 좌측을 지난다. 교차점 CP가 안구 외부에 위치하므로, 우측 반사 영역은, 좌측으로 많이 이격된다.
상태 e2에서, 우안 촬영부(111R)의 광축 OAcam이 정렬점 PA을 지나도록, 제1 방향 이동 메커니즘(130R)이 우안 촬영부(111R)를 우측으로 이동시킨다. 이로 인해, 우안 촬영부(111R)의 광축 OAcam은 정렬점 PA을 지나지만, 광축 OAVR은 정렬점 PA의 우측을 지나게 된다. 우측 이동 후에도 우측 반사 영역이 여전히 최적 반사 영역의 좌측에 위치하므로, 교차점 CP가 안구 외부에 위치한다고 판단할 수 있다.
상태 e3에서, 교차점 CP를 동공에 가까워지도록, 제2 방향 이동 메커니즘(140)이 우안 촬영부를 제2 방향으로 이동시킨다. 교차점 CP가 동공에 가까워졌지만, 여전히 안구 외부에 위치하며, 상태 e2로부터 제2 방향으로 이동되었으므로, 우안 촬영부(111R)의 광축 OAcam 및 광축 OAVR은 정렬점 PA의 우측에 위치하게 된다.
상태 e4에서, 우안 촬영부(111R)의 광축 OAcam이 정렬점 PA에 오도록, 제1 방향 이동 메커니즘(130R)이 우안 촬영부(111R)를 좌측으로 이동시킨다. 이로 인해, 우안 촬영부(111R)의 광축 OAcam은 정렬점 PA를 지나지만, 광축 OAVR은 정렬점 PA의 좌측을 지나게 된다. 우측 이동 후, 우측 반사 영역이 여전히 최적 반사 영역의 우측에 위치하므로, 교차점 CP가 안구 내부에 위치한다고 판단할 수 있다.
e3 및 e4에서 수행된 제1 방향 이동 및 제2 방향 이동을 반복하여, 교차점 CP를 정렬점 PA와 실질적으로 동일한 수평선상에 위치시킨다. 상태 e5에서, 교차점 CP을 정렬점 PA와 실질적으로 동일한 수평선상에 위치하지만, 교차점 CP는 정렬점 PA의 좌측에 위치한다.
상태 e6에서, 우안 촬영부(111R)의 광축 OAcam이 정렬점 PA에 오도록, 제1 방향 이동 메커니즘(130R)이 우안 촬영부(111R)를 좌측으로 이동시킨다. 이로 인해, 좌우측 반사 영역이 최적 반사 영역에 중첩되면, 교차점 CP가 정렬점 PA와 실질적으로 일치하게 된다.
도 19는, 도 8에 예시된 망막 트래킹 동작을 예시적으로 도시한 흐름도이며, 도 20은 제2 트래킹 영상에서 옵티컬 디스크를 트래킹하는 과정을 예시적으로 도시한 도면이다.
피검자의 시선을 유도하기 위한 가상 영상이 출력된다(S300). 양안 촬영 장치(101)에서, 디스플레이(410)는, 도 4에 예시된 가상 영상(300)을 출력한다. 출력된 가상 영상은, 최적 촬영 위치를 나타내는 제1 객체(301) 및 실제 동공 위치를 나타내는 제2 객체(302)를 포함한다. 망막 트래킹에 이용되는 가상 영상은 2차원 또는 3차원 영상일 수 있다. 출력된 가상 영상은, 망막 조명계에 대해 제3 각도 θ3로 틀어져서 양안의 정면을 향하는 제4 빔 스플리터(430)에 의해 굴절되어 눈을 향하여 진행한다.
제2 조명(400)이 턴온되면, 제2 카메라(232)가 망막을 촬영하여 제2 트래킹 영상(520)을 생성한다(S310). 제2 조명(400)은 망막 트래킹 과정 동안 턴온되어 근적외선을 눈을 향해 조사할 수 있다. 제2 카메라(232)는, 망막을 포함한 눈에서 반사된 근적외선을 검출하여, 제2 트래킹 영상(520)을 생성한다.
제2 트래킹 영상(520)의 전체 밝기를, 미리 결정된 문턱값과 비교한다(S320). 망막 트래킹(또는 오토 포커스)가 진행되는 동안에, 피검자가 눈을 감으면, 제2 카메라(232)는 망막을 촬영할 수 없으며, 눈꺼풀에 반사된 근적외선만 제2 카메라(232)가 검출하므로, 제2 트래킹 영상(520)의 전체 밝기가 매우 커진다. 이 경우, 제2 트래킹 영상에서 옵티컬 디스크를 검출하는 단계는 생략될 수 있다. 전체 밝기가 문턱값보다 크면, 단계 S310으로 되돌아가며, 문턱값보다 작으면, 단계 S330으로 진행한다.
제2 트래킹 영상(520)에서 옵티컬 디스크(522)의 위치가 검출된다(S330). 옵티컬 디스크 검출은, 상술한 동공 검출이나 반사 영역 검출과 유사하다. 도 20에서, 히스토그램이 제2 트래킹 영상(520)의 유효 영역(521)에 대한 히스토그램이 생성된다. 선택적으로, 트래킹 시간을 단축하기 위해서, 제2 트래킹 영상(520)을 일정 비율로 축소한 영상의 유효 영역에 대한 히스토그램이 생성될 수도 있다. 유효 영역(521)은, 제2 트래킹 영상(520) 또는 축소된 제2 트래킹 영상에 정의될 수 있다.
옵티컬 디스크(522)는 다른 영역에 비해 상대적으로 밝은 영역이다. 따라서, 히스토그램에서, 상대적으로 큰 화소값을 갖는 화소들이 옵티컬 디스크(522)를 나타낼 수 있다. 가장 큰 화소값부터 시작해서 화소값이 감소하는 방향으로 가면서, 화소의 수가 급격히 증가하는 화소값이 결정된다. 예를 들어, 임의의 한 화소값 Px를 갖는 화소의 수 Gy가, 1 내지 n(n은 2 이상) 큰 화소값을 갖는 화소의 수 Gy4보다 M3만큼 많으면, 화소값 Px가 옵티컬 디스크(521)의 둘레로 결정된다. 여기서, M3은, 유효 영역(521)에 포함된 총 화소수에 따라 결정될 수 있다.
제2 트래킹 영상(520)에서, 결정된 화소값보다 큰 화소값을 가진 영역들이 결정된다. 노이즈 제거 전 옵티컬 디스크 영상(522)은, 결정된 화소값보다 큰 화소값을 갖는 영역(523)을 나타낸다. 망막에는, 옵티컬 디스크뿐 아니라, 이와 유사한 밝기를 가진 영역, 즉, 노이즈가 존재할 수 있다. morphology 연산을 적용하여 노이즈 제거 전 옵티컬 디스크 영상(522)에서 노이즈를 제거할 수 있다. 결정된 영역들에 대해 2 이상의 필터링 연산, 예를 들어, morphology 닫힘 연산, morphology 열림 연산 등을 수행한다. 필터링된 영역들중에서, 특정 면적을 갖는 영역들이 선택된다. 선택된 영역들의 중심에서 부분 이미지를 추출하여 블러(Blur)한다. 블러된 이미지에 인접한 픽셀들의 픽셀값 차이의 총합을 산출한다. 산출한 값이 가장 큰 영역이 옵티컬 디스크(522)이다. 노이즈 제거 후 옵티컬 디스크 영상(524)는, 옵티컬 디스크 대응 영역(525)을 포함한다.
옵티컬 디스크 대응 영역(526)을 기준으로, 동공이 최적 촬영 위치에 있는지가 판단된다(S340). 옵티컬 디스크 대응 영역(526)은, 옵티컬 디스크를 포함하는 사각형의 영역일 수 있다. 예를 들어, 판단은, 망막 영상에서, 옵티컬 디스크의 위치를 이용할 수 있다.
동공이 최적 촬영 위치에 있지 않으면, 시선을 유도하기 위한 가상 영상이 변경될 수 있다(S350). 변경된 가상 영상은, 옵티컬 디스크 대응 영역(526)의 위치를 반영한다. 가상 영상이 변경된 경우, 피검자는, 변경된 가상 영상을 보면서 시선을 조정할 수 있다.
실제 동공 위치가 최적 동공 위치에 있으면, 오토 포커싱이 수행된다(S360).
도 21은 도 8에 예시된 오토 포커싱을 예시적으로 도시한 흐름도이며, 망막 트래킹과 오토 포커싱을 순차적으로 수행하는 실시예를 나타낸다.
오토 포커스에 의한 초점이 초기 위치에 있다(S400). 오토 포커스는, 복수의 렌즈에 의해 형성된 초점을 최초 위치부터 최종 위치까지 단계적으로 이동시킨다. 초점 위치는, 렌즈간 거리에 의해 변화하며, 렌즈간 거리는, 모터에 의해 조정된다. 따라서, 초점 위치는, 모터 회전축의 회전수 및/또는 회전각으로 표현될 수 있다.
제2 카메라(232)가 옵티컬 디스크를 촬영하여 망막 영상을 생성한다(S410). 이때, 실제 동공 위치는 최적 촬영 위치에 있다. 제2 카메라(232)는, 초점을 순차적으로 이동시키면서 망막을 촬영할 수 있다.
촬영된 영상에서, 옵티컬 디스크의 위치가 망막 영상에서 트래킹된다(S420). 옵티컬 디스크의 위치 트래킹은 상술한 도 19의 단계 S330과 실질적으로 동일할 수 있다.
옵티컬 디스크 대응 영역(526)에서 초점값이 산출된다(S430). 초점값은, 옵티컬 디스크 대응 영역(526)에 속한 화소들간 화소값 차이의 총합이며, 초점값은 그 영상을 촬영할 때의 초점 위치에 연관된다. 상대적으로 작은 초점값에 비해, 상대적으로 큰 초점값은, 오토 포커스에 의한 초점이 상대적으로 좋은 위치에 있음을 나타낸다. 따라서 더 선명한 망막 영상을 획득할 수 있다.
오토 포커스에 의한 초점이 최초 위치에서 최종 위치까지 변경되었는지 판단한다(S440). 초점이 최초 위치에 있을 때 모터 회전축의 회전수를 0으로, 최종 위치의 회전수를 100으로 가정하면, 측정된 회전수가 0보다 크고 100보다 작으면, 단계 S450으로 진행하며, 측정된 회전수가 100이면 단계 S460으로 진행할 수 있다.
초점이 최초 위치와 최종 위치 사이에 있으면, 오토 포커스에 의한 초점이 변경된다(S450).
초점이 최종 위치에 있으면, 저장된 초점값 중에서 가장 큰 초점값을 갖는 초점 위치에 초점이 오도록 오토 포커스를 조정한다(S460).
이후 백색광 조명(200)을 턴온하여 망막을 촬영한다(S40).
도 22는 망막 트래킹과 오토 포커싱을 함께 수행하는 실시예를 예시적으로 도시한 흐름도이다.
피검자의 시선을 유도하기 위한 가상 영상이 출력되며(S500), 오토 포커스에 의한 초점이 초기 위치에 있다(S510). 여기서, 단계 S500 및 단계 S510의 순서는 변경될 수 있으며, 동시에 진행될 수도 있다.
제2 조명(400)이 턴온되면, 제2 카메라(232)가 망막을 촬영하여 제2 트래킹 영상(520)을 생성한다(S520). 제2 트래킹 영상(520)의 전체 밝기가 문턱값보다 크면(S530), 제2 카메라(232)는, 초점 변경 없이, 망막을 촬영한다.
제2 트래킹 영상(520)에서 옵티컬 디스크의 위치가 검출되고, 옵티컬 디스크 대응 영역(526)을 이용하여 초점값이 계산된다(S540). 옵티컬 디스크의 위치는 도 19의 단계 S330에서 설명된 과정을 통해 검출될 수 있으며, 초점값은 도 21의 단계 S430에서 설명된 과정을 통해 검출될 수 있다.
검출된 옵티컬 디스크의 위치를 기준으로, 동공이 최적 촬영 위치에 있는지 판단된다(S550). 최적 촬영 위치가 아니면, 피검자의 시선을 유도하기 위한 가상 영상이 변경될 수 있다(S560). 최적 촬영 위치이면, 오토 포커스에 의한 초점이 최초 위치에서 최종 위치까지 변경되었는지 판단한다(S570). 초점이 최초 위치와 최종 위치 사이에 있으면, 오토 포커스에 의한 초점이 변경된다(S580). 초점이 최종 위치에 있으면, 저장된 초점값 중에서 가장 큰 초점값을 갖는 초점 위치에 초점이 오도록 오토 포커스를 조정한다(S590). 이후 백색광 조명(200)을 턴온하여 망막을 촬영한다(S40).
도 23은 초점값을 정확하게 산출하기 위한 블러 처리를 예시적으로 설명하기 위한 도면이다.
초점값은, 옵티컬 디스크 대응 영역(526)에 속한 화소들간 화소값 차이의 총합으로, 초점값이 클수록 더 선명한 망막 영상을 생성할 수 있다. 따라서 정확하게 초점이 맞은 망막 영상의 초점값은, 부정확하게 초점이 맞은 망막 영상의 초점값보다 커야 한다. 그런데, 부정확하게 초점이 맞은 망막 영상의 초점값이 정확하게 초점이 맞은 망막 영상의 초점값보다 큰 경우가 발생한다. 이유는, 망막 영상이 근적외선을 이용하여 눈 안쪽의 어두운 영역을 촬영하여 생성된 어두운 영상이어서, 노이즈에 의한 영향을 더 크게 받기 때문이다. 따라서, 옵티컬 디스크 대응 영역(526)에서 노이즈를 제거할 필요가 있다.
망막 영상(540)에 표시된 직선상에 위치한 화소값들간의 차이(541)는, 노이즈가 제거되기 전 상태를 잘 보여준다. 부정확하게 초점이 맞은 망막 영상은, 정확하게 초점이 맞은 망막 영상보다 더 많은 노이즈를 포함하고 있다. 노이즈는, 화소값의 차이를 증가시키므로, 노이즈가 많을수록 망막 영상의 초점값도 증가한다. 노이즈를 감소시키기 위해서, 망막 영상(540) 전체 또는 옵티컬 디스크 대응 영역(526)을 블러(Blur) 처리한다. 망막 영상(540)에서, 특정 영역, 예를 들어, 옵티컬 디스크 및 그 주변의 혈관 등이 상대적으로 더 중요하며, 그 외 영역은 상대적으로 덜 중요하다. 또한, 상대적으로 면적이 넓은 망막 영상(540) 전체를 블러 처리하는데 소요되는 시간은, 상대적으로 면적이 작은 옵티컬 디스크 대응 영역(526)을 블러 처리하는데 소요되는 시간보다 상대적으로 클 수 있다.
블러 처리는, 다양한 블러 필터를 이용할 수 있다. 블러 필터는, 예를 들어, 평균 블러 필터(542), 가우시안 블러 필터(543), 중간값 블러 필터 중 어느 하나일 수 있다. 여기서, 블러 필터의 크기는, n x n(n은 화소의 수)이며, 블러 필터의 중앙에 위치한 화소를 중앙 화소로, 중앙 화소 주변에 위치한 화소를 주변 화소라고 지칭한다. 평균 블러 필터(542)는, 중앙 화소 및 주변 화소들의 화소값의 평균값을 산출하며, 산출된 평균값을 중앙 화소의 화소값으로 한다. 가우시안 블러 필터(543)는, 중앙 화소 및 주변 화소의 화소값에 상이한 가중치를 적용하고, 가중치가 적용된 화소값들의 평균값을 산출하며, 산출된 평균값을 중앙 화소의 화소값으로 한다. 중간값 블러 필터는, 중앙 화소 및 주변 화소의 화소값 중 중간값을 중앙 화소의 화소값으로 한다.
블러 처리된 망막 영상(544)에 표시된 직선상에 위치한 화소값들간의 차이(545)는, 노이즈가 제거된 후 상태를 잘 보여준다. 블러 처리에 의해, 많은 양의 노이즈가 제거되었음을 알 수 있다. 블러 처리는, 초점값 산출뿐 아니라, 망막 트래킹시 옵티컬 디스크 검출에도 적용될 수 있다.
도 24는 초점값 산출 시간을 줄일 수 있는 오토 포커싱을 예시적으로 나타낸 흐름도이며, 도 25는 초점값을 산출 시간을 줄일 수 있는 오토 포커싱을 예시적으로 설명하기 위한 도면이다.
도 24와 도 25를 함께 참조하면, 초점값 산출을 위한 망막 영상은, 초점을 이동시키면서 망막을 촬영하여 생성된다. 초점 간격은, 제2 카메라(232)가 망막 영상을 촬영하는 시점 사이의 시간 간격과 연관될 수 있다. 여기서, 초점 간격은, 등간격이거나 가변 간격일 수 있으며, 모터 회전축의 회전수 및/또는 회전각으로 표현될 수 있다.
등간격 오토 포커싱은, 초기 위치부터 최종 위치까지 동일한 초점 간격으로 초점값을 산출한다. 모터 회전축이 등속도로 회전하여 초점 위치가 등속도로 변할 때, 제2 카메라(232)가 동일한 시간 간격으로 망막을 촬영하며, 생성된 망막 영상에 대한 초점값이 산출될 수 있다. 초기 위치부터 최종 위치까지 초점을 이동시키므로, 초점 간격을 충분히 작게 설정하면, 최대 초점값을 정확하게 결정할 수 있는 반면, 산출 시간이 증가할 수 있다.
가변 간격 오토 포커싱은, 최대 초점값 산출 시간을 감소시킬 수 있다. 가변 간격 오토 포커싱은, 망막 영상을 획득하는 초점 구간을 줄여가면서, 초점값을 산출한다. 초점 구간은 2 이상이며, 각 초점 구간은 적어도 일부가 중첩될 수 있다. 각 초점 구간은, 상이한 초점 간격을 가질 수 있다. 한편, 모터 회전축은, 모든 초점 구간에서 등속도로 회전하거나, 상이한 속도로 회전할 수 있다.
일 실시예로, 초점 구간은 3개이며, 초점 간격은 각 초점 구간마다 상이할 수 있다. 오토 포커스는, 제1 초점 구간에서, 초점을 초기 위치 R0부터 제1 속도로 이동시키며, 제2 카메라(232)는, 제1 초점 간격으로 이격된, 위치 R1, R2, R3, R4에서 망막 영상을 촬영한다(S610). 제1 초점 구간은, 등간격 오토 포커싱에서 초기 위치와 최종 위치에 의해 정의되는 전체 초점 구간과 실질적으로 동일할 수 있다. 한편, 제1 초점 간격 및 제1 속도는, 등간격 오토 포커싱에서의 초점 간격 및 속도보다 클 수 있다.
위치 R1, R2, R3, R4에 연관된 초점값이 산출되며, 산출된 초점값으로부터 제2 초점 구간이 결정된다(S610). 제2 초점 구간은, 위치 R1, R2, R3, R4 중에서 선택된 연속하는 2개의 위치로 정의될 수 있다. 도 25에 예시된 그래프에서, 위치 R2에서의 초점값이 가장 크다. 위치 R2에 연속하는 위치 R1과 R3중에서, 위치 R3에서의 초점값이 위치 R1에서의 초점값보다 크다. 따라서, 제2 초점 구간의 초기 위치는 위치 R2로 최종 위치는 R3로 설정된다.
오토 포커스는, 제2 초점 구간에서, 초점을 초기 위치 R2부터 제2 속도로 이동시키며, 제2 카메라(232)는, 제2 초점 간격으로 이격된, 위치 r1, r2, r3, r4에서 망막 영상을 촬영한다(S630). 제2 초점 간격은 제1 초점 간격보다 작으며, 제2 속도는, 예를 들어, 제1 속도와 같거나 작을 수 있다.
위치 r1, r2, r3, r4에 연관된 초점값이 산출되며, 산출된 초점값으로부터 제3 초점 구간이 결정된다(S640). 제3 초점 구간은, 위치 r1, r2, r3, r4 중에서 선택된 연속하는 2개의 위치로 정의될 수 있다. 도 25에 예시된 그래프에서, 위치 r2에서의 초점값이 가장 크다. 위치 r2에 연속하는 위치 r1과 r3중에서, 위치 r1에서의 초점값이 위치 r3에서의 초점값보다 크다. 따라서, 제3 초점 구간의 초기 위치는 위치 r1로 최종 위치는 r2로 설정된다.
오토 포커스는, 제3 초점 구간에서, 초점을 초기 위치 r1부터 제3 속도로 이동시키며, 제2 카메라(232)는, 제3 초점 간격으로 이격된, 위치에서 망막 영상을 촬영한다(S640). 제3 초점 간격은 제1 초점 간격 및 제2 초점 간격보다 작으며, 제3 속도는, 제2 속도와 같거나 작을 수 있다.
제3 초점 구간에서 산출된 초점값 중에서 최대 초점값이 결정된다(S650). 오토 포커스는, 최대 초점값에 연관된 초점 위치로 초점을 이동시키며, 이후 망막 촬영(S40)이 수행된다.
도 26은 양안 촬영 장치를 기능적으로 도시한 도면이다.
양안 촬영 장치(100, 101)는, 양안을 향해 소정 각도로 틀어진 좌안 촬영부(110L, 111L)와 우안 촬영부(110R, 111R), 및 이를 제어하는 컨트롤러(600)를 포함한다. 컨트롤러(600)는, 프로세서, 메모리, I/O 등과 같은 물리적인 장치 상에서 실행되는 프로그램에 의해 구현될 수 있다. 컨트롤러(600)는, 제1 카메라 제어부(610), 제2 카메라 제어부(620), 영상 처리부(630), 조명 제어부(640), 및 이동 메커니즘 제어부(650)를 포함할 수 있다.
제1 카메라 제어부(610)는, 제1 카메라(210)가 동공을 촬영하여 제1 트래킹 영상을 생성하도록 제어하며, 제2 카메라 제어부(620)는, 제2 카메라(232)가 망막상의 특정 대상을 촬영하여 제2 트래킹 영상 및 망막 영상을 생성하도록 제어한다. 제1 카메라 제어부(610) 및 제2 카메라 제어부(620)는 초점, 노출 시간 등 카메라 구동에 필요한 카메라 구동 신호를 제1 카메라(210) 및 제2 카메라(232)에 전달한다. 한편, 제1 카메라 제어부(610) 및 제2 카메라 제어부(620)는 트래킹 동작 및 촬영 동작에 필요한 조명의 턴온/오프를 요청하는 조명 트리거 신호를 조명 제어부(540)에 전달할 수 있다.
영상 처리부(630)는, 제1 트래킹 영상 및/또는 제2 트래킹 영상을 처리하여, 동공 이동을 유도하는 가상 영상을 생성한다. 또한, 영상 처리부(630)는, 제1 트래킹 영상의 처리 결과에 따라 이동 메커니즘(130, 140)을 구동하기 위한 이동 트리거 신호를 이동 메커니즘 제어부(650)에 전달할 수 있다.
조명 제어부(640)는, 동작별로 필요한 조명을 턴온/오프하는 조명 제어 신호를 생성한다. 조명 제어 신호에 의해, 제1 조명(200), 제2 조명(400), 및 백색광 조명(220)이 턴온/오프된다.
이동 메커니즘 제어부(650)는, 좌안 촬영부(110L, 111L) 및 우안 촬영부(110R, 111R)를 제1 방향 및/또는 제2 방향으로 이동시키도록 이동 메커니즘(130L, 130R, 140)을 제어한다.
전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시 예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 특히, 도면을 참조하여 설명된 본 발명의 특징은, 특정 도면에 도시된 구조에 한정되는 것이 아니며, 독립적으로 또는 다른 특징에 결합되어 구현될 수 있다.
본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타나며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.

Claims (20)

  1. 좌안의 광축에 대해 제1 각도로 틀어진 제1 광축을 가지며, 상기 좌안의 동공 및 망막을 촬영하는 좌안 촬영부;
    우안의 광축에 대해 제2 각도로 틀어진 제2 광축을 가지며, 상기 우안의 동공 및 망막을 촬영하는 우안 촬영부;
    상기 좌안 촬영부 및 상기 우안 촬영부를 제1 방향으로 이동시켜서, 상기 좌안 촬영부의 광축을 상기 좌안의 동공에 정렬하며 상기 우안 촬영부의 광축을 상기 우안의 동공에 정렬시키는 제1 방향 이동 메커니즘; 및
    상기 좌안 촬영부 및 상기 우안 촬영부를 피검자의 양안을 향해 제2 방향으로 이동시키는 제2 방향 이동 메커니즘을 포함하되,
    상기 좌안 촬영부 및 상기 우안 촬영부는, 상기 피검자의 양안을 향해 모아지도록 배치되는, 양안 촬영 장치.
  2. 청구항 1에 있어서, 상기 좌안 촬영부와 상기 우안 촬영부는 동시에 상기 좌안과 상기 우안을 각각 촬영하여 망막 영상을 생성하는, 양안 촬영 장치.
  3. 청구항 1에 있어서, 상기 좌안 촬영부는,
    링 형상의 백색 편광을 상기 제1 광축을 따라 상기 좌안에 입사하는 망막 조명계;
    상기 망막 조명계에 광학적으로 결합하며, 상기 좌안의 동공을 촬영하여 제1 트래킹 영상을 생성하는 동공 트래킹 광학계; 및
    상기 망막 조명계에 광학적으로 결합하고, 상기 망막을 촬영하여 제2 트래킹 영상을 생성하며, 상기 좌안의 망막에서 반사된 백색 편광을 검출하여 망막 영상을 생성하는 망막 트래킹/촬영 광학계를 포함하는, 양안 촬영 장치.
  4. 청구항 3에 있어서, 상기 제2 트래킹 영상은, 상기 망막에서 옵티컬 디스크의 위치를 트래킹하는데 이용되되,
    상기 제2 트래킹 영상은 블러 처리되는, 양안 촬영 장치.
  5. 청구항 3에 있어서, 상기 망막에서 옵티컬 디스크를 촬영하기 위한 초점 위치는, 상기 좌안 촬영부에 의해 트래킹된 옵티컬 디스크 대응 영역에 속한 화소들간 화소값 차이의 총합인 초점값에 의해 결정되는, 양안 촬영 장치.
  6. 청구항 5에 있어서, 상기 초점값은, 상기 옵티컬 디스크 대응 영역을 블러 처리한 후 산출되는, 양안 촬영 장치.
  7. 청구항 5에 있어서, 상기 초점 위치는, 하나의 초점 구간에서, 일정한 초점 간격으로 촬영하여 획득한 복수의 옵티컬 디스크 대응 영역에서 산출된 초점값 중 최대값에 의해 결정되는, 양안 촬영 장치.
  8. 청구항 5에 있어서, 상기 초점 위치는, 일부 구간이 중첩되는 복수의 초점 구간에서, 상이한 초점 간격으로 촬영하여 획득한 복수의 옵티컬 디스크 대응 영역에서 산출된 초점값 중 최대값에 의해 결정되는, 양안 촬영 장치.
  9. 좌안의 광축에 대해 제1 각도로 틀어진 제1 광축을 가지며, 상기 좌안에 좌안 영상을 출력하는 좌안 촬영부;
    우안의 광축에 대해 제2 각도로 틀어진 제2 광축을 가지며, 상기 우안에 우안 영상을 출력하는 우안 촬영부;
    상기 좌안 촬영부 및 상기 우안 촬영부를 제1 방향으로 이동시켜서, 상기 좌안 촬영부의 광축을 상기 좌안의 동공에 정렬하며 상기 우안 촬영부의 광축을 상기 우안의 동공에 정렬시키는 제1 방향 이동 메커니즘; 및
    상기 좌안 촬영부 및 상기 우안 촬영부를 피검자의 양안을 향해 제2 방향으로 이동시키는 제2 방향 이동 메커니즘을 포함하되,
    상기 제1 방향 이동 메커니즘 및 상기 제2 방향 이동 메커니즘은,
    상기 좌안 촬영부 및 상기 우안 촬영부를 초기 위치에 정렬시키며,
    상기 초기 위치에서, 상기 좌안 촬영부와 상기 좌안 사이의 거리에 따라, 상기 좌안 촬영부 및 상기 우안 촬영부를 재정렬하는, 양안 촬영 장치.
  10. 청구항 9에 있어서, 상기 좌안 촬영부와 상기 우안 촬영부는,
    상기 좌안 및 상기 우안을 향하도록 배치된 조명을 포함하며,
    상기 좌안 촬영부와 상기 좌안 사이의 거리는, 상기 조명에 의한 반사 영역의 위치에 의해 결정되는, 양안 촬영 장치.
  11. 청구항 9에 있어서, 상기 재정렬에 의해, 상기 제1 광축 및 상기 좌안 영상의 광축의 교차점이 상기 좌안의 동공에 위치되는, 양안 촬영 장치.
  12. 청구항 9에 있어서, 상기 좌안 촬영부와 상기 우안 촬영부는 동시에 상기 좌안과 상기 우안을 각각 촬영하여 망막 영상을 생성하는, 양안 촬영 장치.
  13. 청구항 9에 있어서,
    상기 좌안 촬영부는, 상기 제1 광축에 대해 제3 각도로 틀어진 광축을 가지며 상기 좌안 영상을 출력하는 좌안 영상 표시계를 포함하며,
    상기 우안 촬영부는, 상기 제2 광축에 대해 상기 제3 각도로 틀어진 광축을 가지며 상기 우안 영상을 출력하는 우안 영상 표시계를 포함하는, 양안 촬영 장치.
  14. 청구항 13에 있어서,
    상기 좌안 영상 표시계는,
    상기 제1 광축에 위치하며, 상기 좌안의 정면을 향하도록 상기 제1 광축에서 상기 제3 각도로 틀어지게 배치된 빔 스플리터; 및
    상기 빔 스플리터를 향해 상기 좌안 영상을 출력하는 디스플레이를 포함하는, 양안 촬영 장치.
  15. 청구항 9에 있어서, 상기 좌안 촬영부는,
    링 형상의 백색 편광을 상기 제1 광축을 따라 상기 좌안에 입사하는 망막 조명계;
    상기 망막 조명계에 광학적으로 결합하며, 상기 제1 광축의 적어도 일부를 따라 상기 좌안에서 반사된 근적외선을 검출하여 상기 좌안의 동공을 트래킹하는 동공 트래킹 광학계;
    상기 망막 조명계에 광학적으로 결합하며, 상기 제1 광축의 적어도 일부를 따라 상기 좌안의 망막에서 반사된 백색 편광을 검출하여 망막 영상을 생성하는 망막 촬영 광학계; 및
    상기 망막 조명계에 결합하며, 상기 좌안에 좌안 영상을 출력하는 좌안 영상 표시계를 포함하는, 양안 촬영 장치.
  16. 청구항 9에 있어서, 상기 좌안 영상과 상기 우안 영상은, 상기 피검자에 의해 단일의 가상 영상으로 인식되는 2차원 또는 3차원 영상인, 양안 촬영 장치.
  17. 청구항 9에 있어서,
    상기 좌안 촬영부는 상기 좌안의 동공 및 상기 좌안의 망막상의 옵티컬 디스크를 트래킹하며,
    상기 우안 촬영부는 상기 우안의 동공 및 상기 우안의 망막상의 특정 대상을 트래킹하는, 양안 촬영 장치.
  18. 청구항 17에 있어서, 상기 좌안 영상과 상기 우안 영상은, 상기 피검자에 의해 단일의 가상 영상으로 인식되는 2차원 또는 3차원 영상이며,
    상기 가상 영상은, 최적 동공 위치를 나타내는 제1 객체 및 상기 피검자의 시선에 따른 동공의 위치를 나타내는 제2 객체를 포함하는, 양안 촬영 장치.
  19. 청구항 17에 있어서, 상기 좌안 영상과 상기 우안 영상은, 상기 피검자에 의해 단일의 가상 영상으로 인식되는 2차원 또는 3차원 영상이며,
    상기 가상 영상은, 최적 촬영 위치를 나타내는 제1 객체 및 상기 피검자의 시선에 따른 동공의 위치를 나타내는 제2 객체를 포함하는, 양안 촬영 장치.
  20. 좌안의 광축에 대해 제1 각도로 틀어진 제1 광축을 가지며, 상기 좌안에 좌안 영상을 출력하는 좌안 촬영부;
    우안의 광축에 대해 제2 각도로 틀어진 제2 광축을 가지며, 상기 우안에 우안 영상을 출력하는 우안 촬영부;
    상기 좌안 촬영부 및 상기 우안 촬영부를 제1 방향으로 이동시켜서, 상기 좌안 촬영부의 광축을 상기 좌안의 동공에 정렬하며 상기 우안 촬영부의 광축을 상기 우안의 동공에 정렬시키는 제1 방향 이동 메커니즘; 및
    상기 좌안 촬영부 및 상기 우안 촬영부를 피검자의 양안을 향해 제2 방향으로 이동시키는 제2 방향 이동 메커니즘을 포함하되,
    상기 좌안 촬영부 및 상기 우안 촬영부는, 상기 피검자의 양안을 향해 모아지도록 배치되며,
    상기 좌안 영상 및 상기 우안 영상에 의해 상기 피검자의 시선을 유도하는, 양안 촬영 장치.
PCT/KR2021/000899 2020-01-23 2021-01-22 양안 촬영 장치 WO2021150055A1 (ko)

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
KR1020200009071A KR102306241B1 (ko) 2020-01-23 2020-01-23 양안 촬영 장치
KR10-2020-0009071 2020-01-23
KR10-2020-0044644 2020-04-13
KR20200044645 2020-04-13
KR20200044644 2020-04-13
KR10-2020-0044645 2020-04-13

Publications (1)

Publication Number Publication Date
WO2021150055A1 true WO2021150055A1 (ko) 2021-07-29

Family

ID=76992676

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2021/000899 WO2021150055A1 (ko) 2020-01-23 2021-01-22 양안 촬영 장치

Country Status (1)

Country Link
WO (1) WO2021150055A1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20130094597A (ko) * 2012-02-16 2013-08-26 주식회사 휴비츠 안저 카메라
KR20170118618A (ko) * 2016-04-15 2017-10-25 이문기 눈 촬영 장치
KR20180095180A (ko) * 2017-02-17 2018-08-27 주식회사 씨엠랩 안과용 촬영장치
KR101942465B1 (ko) * 2018-01-30 2019-01-28 주식회사 루티헬스 망막 촬영 장치 및 이를 이용한 망막 촬영 방법
KR20190108904A (ko) * 2018-03-16 2019-09-25 김선호 사시각 자동 측정방법과 이를 이용한 사시각 자동 측정장치

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20130094597A (ko) * 2012-02-16 2013-08-26 주식회사 휴비츠 안저 카메라
KR20170118618A (ko) * 2016-04-15 2017-10-25 이문기 눈 촬영 장치
KR20180095180A (ko) * 2017-02-17 2018-08-27 주식회사 씨엠랩 안과용 촬영장치
KR101942465B1 (ko) * 2018-01-30 2019-01-28 주식회사 루티헬스 망막 촬영 장치 및 이를 이용한 망막 촬영 방법
KR20190108904A (ko) * 2018-03-16 2019-09-25 김선호 사시각 자동 측정방법과 이를 이용한 사시각 자동 측정장치

Similar Documents

Publication Publication Date Title
JP4529263B2 (ja) アイリス認識装置
KR101640536B1 (ko) 안과용 시스템들을 위한 이미지-프로세서-제어된 오정렬 감소
CN107533362A (zh) 眼睛跟踪设备和用于操作眼睛跟踪设备的方法
WO2021049740A1 (en) Eye accommodation distance measuring device and method, and head-mounted display
WO2017179938A1 (ko) 눈 촬영 장치
JP2005095450A (ja) 眼底カメラ
JP4138533B2 (ja) 眼底カメラ
WO2018094928A1 (zh) 三维成像装置、三维成像系统及三维成像方法
US5371557A (en) Stereoscopic retinal camera
WO2022010152A1 (ko) 사용자의 시력을 교정하고 캘리브레이션을 수행하는 디바이스 및 방법
WO2021150055A1 (ko) 양안 촬영 장치
WO2021221341A1 (ko) 증강 현실 장치 및 그 제어 방법
US20220287562A1 (en) Method and apparatus for locating the visual axis on the surface of the cornea
KR102306241B1 (ko) 양안 촬영 장치
KR102504865B1 (ko) 양안 촬영 장치
JP7094268B2 (ja) 眼底撮影装置
KR20210127072A (ko) 가상 영상 정렬 기능을 가진 양안 촬영 장치
JPS59230534A (ja) 眼科用自動合焦装置
JPH10307314A (ja) 観察光学装置
WO2019164241A1 (ko) 접안 디스플레이 장치
JP3708694B2 (ja) 眼科装置用の作動位置決定装置および眼底撮影装置用の作動位置決定装置
JP4492854B2 (ja) 眼底カメラ
JP3070655B2 (ja) 眼科装置
JPH0564061A (ja) ビデオカメラ
JP3225628B2 (ja) 視線検出装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21744362

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21744362

Country of ref document: EP

Kind code of ref document: A1