WO2020159077A1 - 동공 중심간 거리를 측정하는 장치 및 방법 - Google Patents

동공 중심간 거리를 측정하는 장치 및 방법 Download PDF

Info

Publication number
WO2020159077A1
WO2020159077A1 PCT/KR2019/018006 KR2019018006W WO2020159077A1 WO 2020159077 A1 WO2020159077 A1 WO 2020159077A1 KR 2019018006 W KR2019018006 W KR 2019018006W WO 2020159077 A1 WO2020159077 A1 WO 2020159077A1
Authority
WO
WIPO (PCT)
Prior art keywords
pupil
distance
eye
image
center
Prior art date
Application number
PCT/KR2019/018006
Other languages
English (en)
French (fr)
Inventor
이승우
김정식
Original Assignee
주식회사 룩시드랩스
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 룩시드랩스 filed Critical 주식회사 룩시드랩스
Publication of WO2020159077A1 publication Critical patent/WO2020159077A1/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/11—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for measuring interpupillary distance or diameter of pupils
    • A61B3/111—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for measuring interpupillary distance or diameter of pupils for measuring interpupillary distance
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/11—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for measuring interpupillary distance or diameter of pupils
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/113—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for determining or recording eye movement

Definitions

  • the present invention is to calculate the distance between the pupil centers (IPD, interpupillary distance) based on the location information of the pupil collected through the eye tracker camera, and displays an image to gaze at a specific location, through a sensor called eye tracker It is related to the technical idea of collecting the pupil's location information and calculating the user's IPD based on the location of the gaze point displayed on the screen and the collected pupil's location information.
  • IPD interpupillary distance
  • a person generally feels the visual three-dimensionality of an object through binocular parallax.
  • VR virtual reality
  • Depth which is one of the important elements in a stereoscopic image, is recognized through the difference in the position of the image on the retina of the binocular eye. For example, when staring at a point, the image at a point closer than the gaze point is formed on the outside of the retina (on the ear), and on the contrary, the image at a distant point is formed on the inside of the retina (on the nose). At this time, even if you look at the gaze point of the same distance, if the IPD is different, the point where the close and distant points form is different. This causes the depth of the image to vary depending on the user for the same image, and further affects the immersion.
  • the user's IPD varies widely by 50 to 80 mm depending on the person (adult standard). Therefore, different depths may be felt depending on the user on the screen under the same condition, or even severe problems may occur.
  • some models include a function that allows the user to adjust the lens spacing, but there is a limit to manually adjusting it.
  • IPD measurement methods such as dedicated IPD measuring devices and smartphone applications
  • a dedicated IPD measuring device it is operated manually and has the disadvantage of requiring additional personnel to perform the measurement.
  • the IPD measurement application calculates an IPD through a relative length by photographing an international standard credit card with a face.
  • the error according to the location (depth) of the credit card is large, and the error may be large according to the user's delicateness because the user must finally adjust the position of the pupil.
  • Patent Document 1 Korean Patent Publication No. 2018-0004271 "Apparatus, system and method for determining distance between pupil centers"
  • Patent Document 2 Korean Patent Publication No. 2016-0022924 "System for Optimal Eye Fit of HMD"
  • the present invention aims to automatically measure a user's IPD.
  • the present invention aims to increase the measurement accuracy of the distance between the pupil centers using numerical values measured by each user, as well as numerical values described in the literature, etc., from the center of the eye line to the cornea.
  • the present invention aims to calculate the distance between the pupil centers by calculating the individual positions of the two eyes even if the centers of the faces do not match the device.
  • the present invention aims to maximize the immersion feeling by feeling the depth sensed by the producer.
  • the present invention aims to improve stereoscopic effect in AR as well as VR by easily applying and utilizing it to head mounted display devices at no additional cost.
  • An apparatus for measuring a distance between pupil centers includes image stimulus display means configured to display an object for gazing at a specific location of an image, and a processor operably connected to the display means, wherein the processor comprises: Collecting image information that records the movement of the pupil staring at, calculates location coordinates for the center of the pupil, calculates the distance between the pupil centers using the calculated location coordinates, and lengthens the location coordinates of the pupil It can be configured to convert to each, and calculate the distance between the pupil centers using the respective converted length.
  • the processor according to an embodiment may be further configured to calculate a distance between the pupil centers by reflecting the length from the concentric center of the pupil to the cornea in the converted length.
  • the processor sums the converted length and a value obtained by multiplying the length of the pupil from the concentric center to the cornea by multiplying the pupil's gaze by considering the angle toward the gaze point in the object. It can be further configured to calculate the distance between the centers.
  • the processor may include an object in the center of the screen of the image at a value that reflects the distance between the eye and the object and the length from the line center to the cornea, and the length from the line center to the cornea in the converted length. It may be further configured to calculate the distance between the pupil centers by using a difference in values reflecting the distance to the gaze point within.
  • the processor may be further configured to calculate a distance between the pupil centers by reflecting a length from the line center to the cornea, which is previously designated according to design values.
  • the processor includes a pupil gaze coordinate for a different gaze point in the image, a distance from a center of the image to the different gaze points, a length of the gaze coordinate from the center of the image, and the eye It may be further configured to calculate the length from the center of the line to the cornea using the distance between and the object.
  • the processor may be further configured to calculate a distance between the pupil centers by reflecting a length per unit pixel for the image in a difference in the position coordinates.
  • the processor may be further configured to calculate a length per unit pixel based on a ratio of a resolution of the image to a horizontal length of the image.
  • the processor may be further configured to calculate a horizontal length of the image using a distance between the pupil and the camera and a field of view (FOV) of the camera.
  • FOV field of view
  • the image stimulus display means may be further configured to display the object in at least one stimulation method among non-stimulation, monocular static stimulation, binocular static stimulation, monocular dynamic stimulation, and binocular dynamic stimulation.
  • the apparatus for measuring the distance between pupil centers may further include an eye tracker that tracks the pupil's movement gazing at the object and generates image information for recording the pupil's movement.
  • An apparatus for measuring a distance between pupil centers includes image stimulus display means for displaying an object for gazing at a specific location of an image in only one eye, and a processor operably connected to the display means, wherein the processor comprises: The pupil is collected by collecting video information that records the pupil movement of the one eye staring at the object and the pupil movement caused by the pupil movement relative to the other eye conjugating with the pupil movement Calculate two different location coordinates for each of the centers of the, and calculate the distance between the pupil centers using the calculated two different location coordinates, based on the difference between the two different location coordinates It can be configured to calculate the distance of, and to calculate the distance between the pupil centers using the calculated interval.
  • the processor may be further configured to calculate a distance between the pupil centers by reflecting a length per unit pixel for the image in a difference between two different location coordinates.
  • the processor may be further configured to calculate a length per unit pixel based on a ratio of a resolution of the image to a horizontal length of the image.
  • the processor may be further configured to calculate a horizontal length of the image using a distance between the pupil and the camera and a field of view (FOV) of the camera.
  • FOV field of view
  • the image stimulus display means is further configured to display an object displayed on the one eye where at least one of movement or location is controlled, and the processor moves the pupil of the one eye tracking the object And, it is further configured to calculate two different position coordinates for each of the centers of the pupil by collecting image information that records the pupil's movement caused by the pupil's movement that is conjugating with the pupil's movement. Can be.
  • the pupil position measuring apparatus includes an image stimulus display means configured to display an object for gazing at a specific position of an image in only one eye from both eyes, and movement of the pupil of the eye that gazes at the object, and It may include a processor configured to calculate a position for calculating a position coordinate for the pupil based on the pupil's movement with respect to the other eye that is conjugating with the pupil's movement.
  • the image stimulus display means may be further configured to display an object displayed on the one eye where at least one of movement or position is controlled.
  • the processor displays an object in the one eye, calculates a position coordinate of the pupil with respect to the one eye, controls the display to display the object in the other eye, and the location calculator It may be configured to calculate the position coordinates of the pupil with respect to the other eye, and calculate the distance between the pupil centers using the calculated two different position coordinates.
  • the method for measuring the distance between pupil centers includes displaying an object for gazing at a specific location of an image, collecting image information recording a pupil movement tracking an object, and collecting coordinates of the pupil relative to the center of the pupil Comprising the step of calculating the position coordinates of the pupil, respectively, and calculating the distance between the pupil centers by reflecting the length from the concentric line of the pupil to the cornea in the converted length have.
  • the step of calculating the distance between the pupil centers by reflecting the length from the line center of the eyeball to the cornea may include reflecting the length from the line center of the eyeball to the cornea previously designated according to design values. And calculating a distance between the centers.
  • the step of calculating the distance between the pupil centers by reflecting the length from the line center to the cornea includes: gaze coordinates of pupils for different gaze points in the image, and different gazes from the center of the image.
  • the method may include calculating a length from the center of the eye to the cornea using the distance to a point, the length of the gaze coordinates from the center of the image, and the distance between the eye and the object.
  • the calculating the distance between the pupil centers may include calculating a horizontal length of the image using a distance between the pupil and the camera and a field of view (FOV) of the camera, wherein Calculating a length per unit pixel based on a ratio of a resolution of the image to a horizontal length, and calculating a distance between the pupil centers by reflecting a length per unit pixel for the image in a difference in the position coordinates It may include.
  • FOV field of view
  • the method for measuring the distance between pupil centers includes displaying an object for gazing at a specific location of an image in only one eye, and the pupil movement of the one eye gazing at the object, and the pupil movement Computing (conjugate), but the object is not displayed, the step of calculating the two different position coordinates for each of the center of the pupil by collecting the image information recording the movement of the pupil relative to the other eye, and the calculated each other
  • the method may include calculating the distance between the pupils based on the difference between two other position coordinates, and calculating the distance between the pupil centers using the calculated distance.
  • the calculating the distance between the pupil centers may include calculating a horizontal length of the image using a distance between the pupil and the camera and a field of view (FOV) of the camera, wherein Calculating a length per unit pixel based on a ratio of a resolution of the image to a horizontal length, and calculating a distance between the pupil centers by reflecting a length per unit pixel for the image in a difference in the position coordinates It may include.
  • FOV field of view
  • the step of displaying an object for gazing at a specific position of the image according to an embodiment only in one eye includes controlling at least one of the movement or position of the object displayed in the one eye, and the two different
  • the calculating of the position coordinates may include collecting video information that records the movement of the pupil of the one eye staring at the object and the pupil of the pupil conjugating with the movement of the pupil, and each of the centers of the pupil And calculating two different location coordinates for.
  • the user's IPD may be automatically measured.
  • the distance from the center of the eyeball to the cornea can be improved by measuring the distance between the pupil centers using numerical values measured by users as well as numerical values described in the literature.
  • 1 is a view illustrating an apparatus for measuring a distance between pupil centers according to an embodiment.
  • FIG. 2 is a view for explaining an embodiment of calculating the distance between the eye mount camera and the head mount device with an eye tracker.
  • FIG 3 is a view for explaining an embodiment of inducing gaze by stimulating an object through a pupil.
  • FIG. 4 is a diagram illustrating an embodiment of converting an eye tracker image into an actual length according to an embodiment.
  • FIG. 5 is a diagram illustrating an embodiment of converting position coordinates into lengths according to an embodiment.
  • FIG. 6 is a view for explaining an embodiment of calculating the individual positions of the two eyes according to an embodiment.
  • FIG. 7 is a view for explaining an embodiment of calculating the position coordinates of the pupil based on the joint eye movement (conjugate eye movement) according to an embodiment.
  • FIG 8 is a view for explaining an embodiment in which the distance measuring device between the pupil centers calculates the distance between the pupil centers by calculating the individual positions of the eyes according to an embodiment.
  • 9 is a view for explaining an embodiment of calculating the length from the center of the line of the eye to the cornea according to an embodiment.
  • FIG. 10 is a diagram illustrating a method of measuring a distance between pupil centers to calculate a position coordinate of a pupil based on a joint eye movement of two eyes according to an embodiment.
  • 11 is a view for explaining a method of measuring a distance between pupil centers to calculate positional coordinates of a pupil by calculating individual positions of two eyes according to an embodiment.
  • FIG. 12 is a view for explaining a method of measuring a distance between pupil centers to calculate positional coordinates of a pupil by calculating individual positions of two eyes according to another embodiment.
  • first or second may be used to describe various components, but the components should not be limited by the terms. The above terms are only for the purpose of distinguishing one component from other components, for example, without departing from the scope of rights according to the concept of the present invention, the first component may be referred to as the second component, Similarly, the second component may also be referred to as the first component.
  • 1 is a view illustrating a distance measuring device 100 between pupil centers according to an embodiment.
  • the present invention can measure the distance between the pupil centers in order to provide a suitable image in accordance with the user.
  • the present invention is applied to a head-mounted display device with built-in eye tracker, and can measure IPD without adding new measurement equipment.
  • the distance measuring device 100 between the pupil centers may include an image stimulus display means 110, a position calculating unit 120, and a distance measuring unit 130.
  • the image stimulus display means 110 may display an object for gazing at a specific location of the image.
  • the image stimulus display means 110 may display various objects for gazing at a specific location of the image.
  • the image stimulus display means 110 may display an object in various stimulation methods such as non-stimulation, monocular static stimulation, binocular static stimulation, monocular dynamic stimulation, and binocular dynamic stimulation.
  • the present invention displays an image where an object is visible only in one eye (or both eyes), and calculates the distance each eye is separated from the center of the face based on the coordinates of the pupil's position collected when the eye (or both eyes) stares at the object. And finally, the distance between the pupil centers can be calculated.
  • the joint motion of the eye can be applied to display an image where the object is visible only in one eye, and when gazing at the object, the distance between the pupil centers can be calculated based on the spacing of the coordinates of the two eyes.
  • the image stimulus display means 110 may display an image having an index for gazing only on the screen of one eye, and calculate the distance between the pupil centers based on the image information recording the pupil movement corresponding thereto. have.
  • the image stimulus display means 110 may display an image with an index for gazing on the screens of both eyes, and calculate a distance between the pupil centers based on image information that records corresponding pupil movement. have.
  • the image stimulus display means 110 displays an image having an index for gazing only on the screen of one eye, and calculates the distance between the pupil centers based on the image information recording the pupil movement corresponding thereto.
  • the distance measuring device 100 between the pupil centers will be described by way of example.
  • the position calculator 120 may collect image information recording a pupil movement generated by the pupil movement tracking an object and calculate location coordinates with respect to the center of the pupil.
  • the video information recording the movement of the pupil may be interpreted as the location information of the pupil that the eye tracker generates by tracking the pupil.
  • the position calculating unit 120 may collect the video information recording the movement of the pupil from the eye tracker to calculate the position coordinates about the center of the pupil.
  • the apparatus 100 for measuring the distance between pupil centers may further include an eye tracker 140 that tracks the movement of the pupil tracking the object and generates image information recording the movement of the pupil. .
  • the distance measuring unit 130 calculates the distance between the pupil centers using the calculated position coordinates, respectively converts the position coordinates of the pupils into lengths, and uses the converted lengths to calculate the distances between the pupil centers. Can be calculated.
  • the distance measuring unit 130 may calculate the distance between the pupil centers by reflecting the length from the center of the pupil to the cornea in the converted length.
  • the length from the center of the line to the cornea is an average value in the literature, and 13.5 mm may be used. That is, the distance measurement unit 130 may calculate the distance between the pupil centers by reflecting the length from the predetermined center of the line to the cornea according to the design values.
  • the distance measurement unit 130 of the present invention may use the documented average value as it is for the length from the center of the line to the cornea, or may be calculated and used through image information recording pupil movement with respect to the gaze point at different locations. .
  • the distance measuring unit 130 may determine the pupil's gaze coordinates for different gaze points in the image, the distance from the center of the image to the different gaze points, the length of the gaze coordinates from the center of the image, and the distance between the object and the eye. The length from the center of the line to the cornea can be calculated.
  • the distance measuring unit 130 may formally calculate the length from the line center of the eye to the cornea through the gaze coordinate data for indicators at different positions in order to calculate the length from the line center of the eye to the cornea. Can be calculated
  • the distance measuring unit 130 may calculate the distance between the pupil centers by applying the length from the center of the line to the cornea.
  • the distance measuring unit 130 sums the length of each of the pupil's position coordinates converted to length, and the length from the pupil's line center to the cornea multiplied by the ratio of the pupil's gaze to the gaze point in the object. The distance between the pupil centers can be calculated.
  • the distance measurement unit 130 reflects the distance between the object and the eye and the distance from the line center to the cornea at the converted length, and the distance from the center of the line to the gaze point in the object on the length from the line center to the cornea.
  • the distance between the pupil centers may be calculated using a difference in values reflecting.
  • the distance measurement unit 130 may calculate an IPD in consideration of a length per unit pixel. Specifically, the distance measuring unit 130 may calculate the distance between the pupil centers by reflecting the length per unit pixel for the image in the difference in the position coordinates. At this time, the distance measuring unit 130 may calculate the length per unit pixel based on a ratio of the resolution of the image to the horizontal length of the image. More specifically, the distance measurement unit 130 may calculate the length per unit pixel by dividing the horizontal length of the image by the resolution of the image. Meanwhile, the distance measuring unit 130 may calculate the horizontal length of the image using the distance between the pupil and the camera and the field of view (FOV) of the camera.
  • FOV field of view
  • the image stimulus display means 110 stimulates only one eye and calculates the distance between the pupil centers through the joint movement of the other eye will be described.
  • the distance measuring device 100 between the pupil centers may include an image stimulus display means 110, a position calculating unit 120, and a distance measuring unit 130.
  • the image stimulus display means 110 may display an object for gazing at a specific location of the image in only one eye.
  • the position calculator 120 records the pupil movement of one eye tracking an object and the pupil movement caused by the pupil movement relative to the other eye conjugating with the pupil movement.
  • two different position coordinates for each of the centers of the pupil may be calculated using the image information recording the movement of the collected pupil.
  • the distance measuring unit 130 may calculate the distance between the pupil centers using the calculated two different position coordinates. At this time, the distance measuring unit 130 may calculate the distance between the pupils based on the difference between two different position coordinates, and calculate the distance between the pupil centers using the calculated distance.
  • the image stimulus display means 110 displays an image with an index for gazing on the screen of both eyes, and calculates the distance between the pupil centers based on the image information recording the pupil movement corresponding thereto.
  • the distance measuring device 100 between pupil centers will be described through an embodiment.
  • the position calculator 120 may collect two pieces of image information that records the pupil movement caused by the pupil movement tracking the object and calculate two different location coordinates for each of the pupil centers.
  • the distance measuring unit 130 may calculate the distance between the pupil centers using the calculated position coordinates, but may calculate the distance between the pupils based on the difference in the position coordinates. In addition, the distance between the pupil centers can be calculated using the calculated spacing.
  • the distance measuring unit 130 may calculate a distance between the pupil centers by reflecting a length per unit pixel for an image in a difference in position coordinates.
  • the length per unit pixel may be calculated as a ratio of the resolution of the image to the horizontal length of the image.
  • the distance measurement unit 130 may calculate the length per unit pixel by dividing the horizontal length of the image by the resolution.
  • the distance measuring unit 130 may calculate the horizontal length of the image.
  • the distance measurement unit 130 may calculate the horizontal length of the image using the distance between the pupil and the camera and the field of view (FOV) of the camera.
  • FOV field of view
  • the image stimulus display means 110 may irritate the eyes in various ways, and the distance measurement unit 130 may measure the distance between the pupil centers based on this.
  • the image stimulus display means 110 may control the objects displayed on one eye to be sequentially displayed on the other eye.
  • the position calculating unit 120 records the movement of the pupil of the other eye tracking the object and the pupil movement caused by the movement of the pupil conjugating with the movement of the pupil of the other eye It is possible to calculate two different location coordinates for each of the centers of the pupils by collecting the image information.
  • the distance measuring unit 130 may calculate the distance between the pupil centers using the calculated two different position coordinates.
  • the image stimulus display means 110 controls at least one of the movement or the position of the object displayed on one eye
  • the position calculator 120 is configured to match the pupil movement of the one eye tracking the object. , Collecting image information that records the movement of the pupil generated by the movement of the pupil that is conjugating with the movement of the pupil, it is possible to calculate two different position coordinates for each of the center of the pupil.
  • the distance measuring device 100 between pupil centers may variously select an eye displaying an object.
  • the distance measuring device 100 between the pupil centers may be implemented with a structure including only the image stimulus display means 110 and the distance measuring unit 130.
  • the image stimulus display means 110 may display an object for gazing at a specific position of the image in only one of the eyes.
  • the distance measuring unit 130 by the movement of the pupil of the eye to track the object, and the pupil of the pupil relative to the other eye conjugating (conjugate) with the movement of the pupil of either eye
  • the distance between the pupil centers for both eyes may be calculated based on image information that records the movement of the pupil.
  • the image stimulus display means 110 may control to display the object displayed on either eye from the other eye.
  • the position calculating unit 120 is based on the movement of the pupil of the eye that tracks the object and the movement of the pupil with respect to the other eye that conjugates with the movement of the pupil, and both eyes Among them, position coordinates for at least one eye may be calculated.
  • the position calculator 120 calculates the position coordinates of the pupil with respect to the one eye, controls to display the object in the other eye, and the position calculator 120 displays the object.
  • the position coordinates of the pupil for the other eye may be calculated, and the distance between the pupil centers may be calculated using the calculated two different position coordinates.
  • the distance measurement unit 130 may calculate the distance between the pupil centers using a length from the center of each of the left and right sides or a coordinate interval using a joint motion.
  • the distance measuring unit 130 calculates the distance between the pupil centers using the calculated position coordinates, respectively converts the position coordinates of the pupils into lengths, and uses the respective converted lengths to calculate the distances between the pupil centers. Can be calculated.
  • the distance measuring unit 130 may calculate the distance between the pupils based on the difference in the calculated position coordinates, and may calculate the distance between the pupil centers using the calculated distance.
  • the present invention is also applicable to a head mounted display device.
  • various sensors are used in VR devices to provide appropriate images in accordance with user movement.
  • eye trackers are used as important sensors to increase the efficiency and speed of image rendering and reduce VR motion sickness based on human visual perception characteristics.
  • the eye tracker is expected to be an essential sensor built into the head mounted display device like other sensors, and the present invention can be applied without additional hardware configuration.
  • the present invention may be used as a measuring device for the distance between the pupil centers.
  • the current distance between pupil centers requires additional personnel and manual adjustment in addition to the person, but the present invention focuses on pupils alone without purchasing new measuring equipment when using a head mounted display device with an eye tracker. You can measure the distance between them.
  • FIG. 2 is a view for explaining an embodiment of calculating the distance between the eye mount camera and the head mount device with an eye tracker.
  • Figure 2 is an example showing the appearance of a head mounted device with an eye tracker.
  • An eye tracker camera 212 may be disposed under the circular lens 211 at 210.
  • the distance between the pair of eye tracker cameras 212 or the distance between the circular lens 211 and the eye tracker camera 212 is a fixed value in device design and can be used for IPD calculation.
  • Reference numeral 220 denotes the distance and position between the pupil (eye) of the user wearing the head mount device, the circular lens 211, and the eye tracker camera 212.
  • the distance between the eye and the circular lens 211 may vary depending on a person, and the position and distance may vary depending on the device.
  • the distance between the eye and the eye tracker camera (D eye-camera ) viewed at 220 may be calculated as shown in [Equation 1] by Pythagorean theorem.
  • D eye-lens represents the distance between the eye and the pupil (eye) and the circular lens 211
  • D camera-lens represents the distance between the eye tracker camera 212 and the circular lens 211.
  • FIG. 3 is a view for explaining an embodiment 300 of inducing gaze by stimulating an object through a pupil.
  • the image stimulus display means may display an image with an object (indicator) for inducing gaze of one eye or both eyes.
  • the image stimulus display means may display an object that does not move only on one eye screen (monocular stimulation).
  • the image stimulus display means may display a non-moving object on both eye screens (both eyes stimulus).
  • the image stimulus display means may stimulate the pupil by displaying a moving object.
  • the image stimulus display means is an example of image display for monocular dynamic stimulation, and displays an object moving from left to right based on the horizontal resolution of the screen only on one eye screen (monocular stimulus). can do.
  • image stimulus display means as reference numeral 340, as an embodiment of image display for dynamic stimulation of both eyes, can display moving objects on both eye screens (both eyes stimuli).
  • the image stimulus display means can display a black image for non-stimulation, and induce to stare at the front screen.
  • FIG. 4 is a diagram illustrating an embodiment 400 of converting an eye tracker image to an actual length according to an embodiment.
  • FIG. 4 shows a method of calculating the actual lateral length from the eye tracker image 412.
  • the actual horizontal length D hor may be calculated from the image 412 based on Equation 2 below.
  • D image represents the actual horizontal length measurable from the left or right eye among the actual horizontal lengths D hor . That is, it can be interpreted as a value (413 or 414) of half of the actual horizontal length (D hor ).
  • the D eye-camera may indicate a distance between the eye and the eye tracker camera 411
  • the FOV may indicate a field of view (FOV) of the eye tracker camera 411.
  • the actual length per pixel can be obtained.
  • FIG. 5 is a diagram illustrating an embodiment of converting position coordinates into lengths according to an embodiment.
  • Reference numeral 510 in FIG. 5 denotes an image in which an index for gazing is displayed.
  • the dotted line in the center indicates the center position of the screen.
  • the center position indicates the horizontal center of the display when the screens of both eyes are represented by one display, and may be the center of the center position of each display when expressed by individual displays.
  • the indicator indicates that it is expressed on the screen that can induce the user's gaze, and various shapes such as X and + can be used.
  • the position and spacing of the indicators are measured based on the horizontal direction, and dL and dR can be set the same or different.
  • the screen on which the indicator is displayed may be a screen of one eye or a screen of both eyes.
  • two objects spaced 32 mm from the center of the two cameras may be displayed at a central position 511 corresponding to the x-coordinate 320 and a central position 512 corresponding to the x-coordinate 960.
  • the coordinate difference between the left and right images by the center position 511 and the center position 512 is 640 pixels, which corresponds to 64 mm. However, 640 pixels and 64 mm in one image are irrelevant.
  • the x coordinates of the two objects (a, b) are P a , respectively.
  • the distance between two objects can be calculated using the length per unit pixel calculated as P b .
  • the spacing of a, b, the location of a, and the location of b can be calculated through the following [Equation 3].
  • Equation 3 P a , P b can be interpreted as the x coordinate of two objects (a, b).
  • U is a length per unit pixel, and a value obtained by dividing a horizontal pixel of an image by resolution may be interpreted.
  • the apparatus for measuring the distance between the pupil centers may calculate and calculate the individual positions of the two eyes to measure the distance between the pupil centers, or calculate the coordinates of the pupil positions for both eyes.
  • FIG. 6 is a diagram illustrating an embodiment 600 of calculating individual positions of two eyes according to an embodiment. Specifically, the embodiment 600 shows the appearance of an eye when a screen with an object in one eye or both eyes is shown.
  • D represents the position of the eye (pupil) and the distance to the object on the screen.
  • D is the distance between the display and the eye, and when there is a lens for VR, it can be interpreted as a distance to a position where a virtual gaze point is formed.
  • the criterion can generally be the center of two VR screens.
  • d is an interval from the screen reference to the object 613 (gaze point) and is a set value, not a measured value.
  • the position A of the pupil is a measured value and is a distance from the reference to the center of the pupil 611.
  • the line center-cornea spacing of the eyeball 612 is the radius of the eyeball 612, and the average value in the literature is 13.5 mm.
  • the line center-cornea spacing of the eyeball 612 may be directly calculated through image information that records pupil movement with respect to the gaze point of different locations without using an average value in the literature.
  • An apparatus for measuring the distance between pupil centers calculates the individual positions of the two eyes to measure the distance between the pupil centers, wherein the distances between the pupil centers are obtained through summation after obtaining the positions of the left and right eyes, respectively. Can be calculated.
  • the center position of the pupil of the right eye is the position of the pupil (length value rather than coordinates), the distance from the center of the eye's line to the cornea (document value average 13.5mm), and the pupil's gaze point 613 Viewing angle ( ).
  • A is a pupil position, which can be interpreted as a length value from a reference, not as a coordinate, and r can be interpreted as a distance from the center of the eye line to the cornea.
  • the central location of the pupil of the right eye is the pupil location of the right eye, the distance from the center of the line of the eye to the cornea. It can be calculated by adding up the product of.
  • the distance measurement unit sums the value of the pupil position of the right eye, which is the converted length, and the distance from the line center of the pupil to the cornea multiplied by the ratio taking into account the angle toward the gaze point in the object the pupil is staring at. You can calculate the distance.
  • the left eye it can be calculated in the same way as the distance between the pupil centers of the right eye described above.
  • Equation 4 calculates the distance between the pupil centers using the Arctangent and Sine functions, but [Equation 5] converts the Arctangent and Sine functions used in [Equation 4] into Taylor series
  • the distance between the pupil centers can be calculated by mathematically approximating the value.
  • A is a pupil position, which can be interpreted as a length value from a reference, not as a coordinate, and r can be interpreted as a distance from the center of the eye to the cornea.
  • the central location of the pupil of the right eye is the pupil location of the right eye, the distance from the center of the line of the eye to the cornea. It can be calculated by adding up the product of.
  • Equation 5 is D> d ( Only under the condition of ), the error rate by approximation is 1% or less, and D used in the experiment is 30 cm and d is 1-5 cm.
  • the distance measuring unit may calculate the value of A by converting the measured position coordinates of the pupil into length.
  • the position X of the eye can be calculated based on the values of d, D, r corresponding to the design value and the measured position A of the pupil, and the position (X left , X right ) for each of the left and right eyes is obtained. Subsequently, the two values can be summed to calculate the distance between the pupil centers (IPD).
  • FIG. 7 is a view for explaining an embodiment 710 for calculating the positional coordinates of the pupils of both eyes based on the joint eye movement according to one embodiment.
  • FIG. 7 shows the direction of the eye and the distance between the pupil centers when a screen with an object in only one eye is shown.
  • a case in which both eyes have the same size and direction of movement is called a joint movement. Based on this, when only one eye is visible, the other eye moves in the same size and direction, so the distance between the pupil centers can be calculated through the difference between the coordinates of the two eyes and the actual length per pixel.
  • P left and P right can be interpreted as left and right pupil coordinates, respectively.
  • U (mm/pixel) may be interpreted as a length per unit pixel, and 64 mm may be interpreted as a distance between the eye tracker cameras 212.
  • Reference numeral 720 denotes a state in which the center coordinates of the left and right pupils are moved to P left and P right in the course of gazing at the gaze point 712 through the left eye.
  • FIG. 8 is a diagram illustrating an embodiment 800 in which a distance measurement device between pupil centers according to an embodiment calculates distances between pupil centers through calculation of individual positions of two eyes.
  • Reference numeral 811 is a gaze point viewed by the left eye 812
  • reference numeral 821 is a gaze point viewed by the right eye 822
  • reference numeral 813 denotes the pupil center of the left eye
  • reference numeral 823 denotes the pupil center of the right eye
  • the pupil center of the left eye and the pupil center of the right eye serve as a reference for calculating the distance between the pupil centers.
  • the distance measurement device between pupil centers utilizes Taylor series as described in [Equation 5].
  • the distance between the pupil centers can be calculated by mathematically approximating the value.
  • the distance measuring device between pupil centers may calculate the distance L from the left eye to the pupil center and the distance R from the right eye to the pupil center by Equation (7).
  • a L and A R are pupil positions
  • D is the distance between the display and the eye
  • ⁇ may be interpreted as a difference between the centers caused by mismatching the centers of the screen (or VR device) and the face.
  • the distance between the pupil centers (IPD) is calculated. can do.
  • FIG. 9 is a view for explaining an embodiment 900 in which a distance measurement device between pupil centers according to an embodiment calculates the length from the center of the line of the eye to the cornea.
  • an average of 13.5 mm can be used.
  • the apparatus for measuring the distance between the pupil centers may mathematically calculate the length from the line center of the eye to the cornea through gaze coordinate data for indicators of different positions.
  • FIG. 9 is a view showing a method for calculating the center of the eye line-corneal distance (r).
  • Reference numeral 911 denotes a gaze point where the center of the pupil is viewed from the position of 914
  • reference numeral 912 denotes a gaze point where the center of the pupil is viewed from the position of 913.
  • d 1 is the distance from the center of the screen to the gaze point 911
  • d 2 is the distance from the center of the screen to the gaze point 912.
  • a 1 represents the distance from the center of the screen to the center of the pupil 914
  • a 2 represents the distance from the center of the screen to the center of the pupil 913.
  • the r value can be calculated by the following equation.
  • the distance measurement device between pupil centers utilizes Taylor series as described in [Equation 5].
  • the position of the eye when looking at the gaze point 911 through [Equation 9] based on the principle of approximating the value mathematically (X d1 ) and the position of the eye when looking at the gaze point 912 ( X d2 ).
  • Equation 9 A 1 is the distance between the pupil centers from the screen center when looking at the gaze point 911, A 2 is the distance between the pupil centers from the screen center when looking at the gaze point 912, D is the distance between the display and the eye, and indicates the distance to the position where the virtual gaze point is formed when there is a VR lens. r is the distance from the center of the line of the eye to the cornea when looking at the gaze points 911 and 912.
  • Equation 10 can be established.
  • Equation 10 can be summarized as [Equation 11] below by arranging and simplifying Equation 10.
  • FIG. 10 shows pupil pupils based on conjugate eye movement according to an embodiment. It is a diagram explaining a method of measuring a distance between pupil centers for calculating position coordinates.
  • FIG. 10 illustrates a method of calculating the distance between the pupil centers based on the coordinate spacing of the two eyes in a condition that only the left eye (left eye) or the right eye (right eye) is displayed.
  • a screen with an object may be displayed in either the left eye or the right eye using the image stimulus display means (step 1001).
  • coordinates for the left eye and the right eye may be collected from the eye tracker (step 1002).
  • the coordinate spacing of the two eyes may be converted into a length based on the pre-stored value using coordinates for the left and right eyes.
  • the pre-stored value to be utilized is a distance between the center of the line of the eye and the center of the pupil.
  • the horizontal length of the image is calculated using a distance between the pupil and the camera and a field of view (FOV) of the camera. can do.
  • the length per unit pixel is calculated based on the ratio of the resolution of the image to the horizontal length of the image, and the distance between the centers of the pupils is calculated by reflecting the length per unit pixel for the image in a difference in position coordinates. can do.
  • the distance between the pupil centers may be calculated based on the position (length) of both eyes.
  • IPD may be calculated by sequentially stimulating only one eye and sequentially stimulating the opposite eye.
  • the method for measuring the distance between pupil centers controls the object displayed on the one eye to be displayed on the other eye, the movement of the pupil of the other eye tracking the object, and the other eye It is possible to calculate two different position coordinates for each of the centers of the pupils by collecting image information that records the pupil's movements caused by the pupil's movements that are co-conjugated with the pupil's movements.
  • various methods may be applied, such as changing or moving a stationary position of an object on the same eye screen.
  • the method for measuring the distance between pupil centers may display an object for gazing at a specific location of the image in only one eye, and control at least one of the movement or location of the object displayed in the one eye.
  • the method for measuring the distance between the pupil centers according to an embodiment of the pupil generated by the movement of the pupil of the one eye tracking the object and the pupil of the pupil conjugating with the movement of the pupil It is possible to calculate two different position coordinates for each of the centers of the pupils by collecting image information recording a motion.
  • 11 is a view for explaining a method of measuring a distance between pupil centers to calculate positional coordinates of a pupil by calculating individual positions of two eyes according to an embodiment.
  • 11 is a flowchart illustrating a method of calculating the distance between the pupil centers based on the positional coordinates of each eye in a condition where only the left-eye or right-eye screen is displayed.
  • a screen with an object is displayed in either the left eye or the right eye using the image stimulus display means (step 1101), and coordinates for the left eye and the right eye are collected from the eye tracker. You can (step 1102).
  • the method for measuring the distance between the pupil centers converts the distance (X) from the reference point to the center of the eyeball into a length based on the pre-stored value and the collected gaze coordinate value (step 1104), and the calculated length The distance between the pupil centers can be calculated based on the value (step 1105).
  • the length (r) from the center of the line to the cornea may not be used as a default value.
  • the method for measuring the distance between the pupil centers according to an embodiment may directly calculate the length (r) from the center of the line to the cornea.
  • step 1103 it may be determined that the length (r) value from the line center to the cornea is not used as a default value.
  • step 1106 it may be determined whether gaze coordinates for different object positions are collected for each eye.
  • the image stimulus display means may be set so that the horizontal position of the object is different (step 1107), and branch to step 1101.
  • the method for measuring the distance between the pupil centers may calculate a length (r) from the center of the line to the cornea based on pre-stored values and collected gaze coordinate values (step 1108).
  • it is determined whether both eye positions have been collected step 1109), and if all of the determination results have been collected, branching to step 1104 converts the distance (X) value into length. You can perform the process.
  • step 1109 if both eyes' positions are not obtained, the method for measuring the distance between the pupil centers according to the embodiment sets the image stimulus display means to display the object on the other side of the screen (step 1110). , Branching to step 1101.
  • FIG. 12 is a view for explaining a method of measuring a distance between pupil centers to calculate positional coordinates of a pupil by calculating individual positions of two eyes according to another embodiment.
  • FIG. 12 is a flowchart showing a method of calculating the distance between the pupil centers based on the positional coordinates of each eye in conditions that display objects on both screens.
  • a screen with an object is displayed on both screens (left-eye screen and right-eye screen) so that both the left and right eyes converge using the image stimulus display means (step) 1201), coordinates for the left eye and the right eye may be collected from the eye tracker (step 1202).
  • the method for measuring the distance between the pupil centers converts the distance (X) value from the reference point to the center of the eyeball into a length based on the pre-stored value and the collected gaze coordinate value (step 1204), and the calculated length The distance between the pupil centers can be calculated based on the value (step 1205).
  • the length (r) from the center of the line to the cornea may not be used as a default value.
  • the method for measuring the distance between the pupil centers according to an embodiment may directly calculate the length (r) from the center of the line to the cornea. According to the method of measuring the distance between the pupil centers according to the embodiment, it may be determined that the length r value from the center of the line to the cornea is not used as a result of the determination in step 1203.
  • step 1206 it may be determined whether gaze coordinates of different object positions are collected for each eye. As a result of the determination in step 1206, if the gaze coordinates for the different object positions are not collected for each eye, the length from the line center to the cornea cannot be calculated. That is, in the method for measuring the distance between the pupil centers according to an embodiment, the image stimulus display means may be set so that the horizontal position of the object is different (step 1208), and branch to step 1201.
  • the method for measuring the distance between the pupil centers calculates the length (r) value from the line center to the cornea based on the pre-stored value and the collected gaze coordinate value (step 1207), steps 1204 and 1205 The distance between the pupil centers can be calculated based on the length (r) from the concentric line to the cornea.
  • the present invention if the screen is configured according to the user's eyes, all users of the VR device can feel the depth intended by the producer to maximize the immersion. In addition, even if the IPD is largely different from the male average, you can experience VR, so you can secure a wider range of users than it is today. As a result, when using the present invention, it is expected to have a positive effect on the universalization and popularization of VR devices.
  • head-mounted display devices are moving toward embedding an eye tracker to improve visual immersion and improve rendering efficiency of images.
  • the present invention has the advantage that it can be easily applied and utilized to the head-mounted display devices at no additional cost.
  • the present invention has effects such as a three-dimensional effect and improved immersion in VR and AR environments.
  • it is helpful to expand the user pool by using VR, even for those who have difficulty in using the existing VR device due to the large IPD difference. Therefore, this technology is expected to be a technology with great future potential.
  • the device described above may be implemented with hardware components, software components, and/or combinations of hardware components and software components.
  • the devices and components described in the embodiments include, for example, processors, controllers, arithmetic logic units (ALUs), digital signal processors (micro signal processors), microcomputers, field programmable arrays (FPAs), It may be implemented using one or more general purpose computers or special purpose computers, such as a programmable logic unit (PLU), microprocessor, or any other device capable of executing and responding to instructions.
  • the processing device may run an operating system (OS) and one or more software applications running on the operating system.
  • the processing device may access, store, manipulate, process, and generate data in response to the execution of the software.
  • OS operating system
  • the processing device may access, store, manipulate, process, and generate data in response to the execution of the software.
  • a processing device may be described as one being used, but a person having ordinary skill in the art, the processing device may include a plurality of processing elements and/or a plurality of types of processing elements. It can be seen that may include.
  • the processing device may include a plurality of processors or a processor and a controller.
  • other processing configurations such as parallel processors, are possible.
  • the software may include a computer program, code, instruction, or a combination of one or more of these, and configure the processing device to operate as desired, or process independently or collectively You can command the device.
  • Software and/or data may be interpreted by a processing device or to provide instructions or data to a processing device, of any type of machine, component, physical device, virtual equipment, computer storage medium or device. , Or may be permanently or temporarily embodied in the transmitted signal wave.
  • the software may be distributed on networked computer systems, and stored or executed in a distributed manner. Software and data may be stored in one or more computer-readable recording media.
  • the method according to the embodiment may be implemented in the form of program instructions that can be executed through various computer means and recorded on a computer-readable medium.
  • the computer-readable medium may include program instructions, data files, data structures, or the like alone or in combination.
  • the program instructions recorded on the medium may be specially designed and constructed for the embodiments or may be known and usable by those skilled in computer software.
  • Examples of computer-readable recording media include magnetic media such as hard disks, floppy disks, and magnetic tapes, optical media such as CD-ROMs, DVDs, and magnetic media such as floptical disks.
  • -Hardware devices specifically configured to store and execute program instructions such as magneto-optical media, and ROM, RAM, flash memory, and the like.
  • program instructions include high-level language code that can be executed by a computer using an interpreter, etc., as well as machine language codes produced by a compiler.
  • the hardware device described above may be configured to operate as one or more software modules to perform the operations of the embodiments, and vice versa.

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Ophthalmology & Optometry (AREA)
  • Biomedical Technology (AREA)
  • Veterinary Medicine (AREA)
  • Medical Informatics (AREA)
  • Physics & Mathematics (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Human Computer Interaction (AREA)
  • Eye Examination Apparatus (AREA)

Abstract

본 발명은 아이트래커 카메라를 통해 수집한 동공의 위치 정보를 기반으로 동공 중심간 거리(IPD, interpupillary distance)를 산출하기 위한 것으로서, 일실시예에 따른 동공 중심간 거리 측정 장치는 영상의 특정 위치에 응시를 위한 오브젝트를 표시 하는 영상자극 표시 수단, 상기 오브젝트를 트래킹 하는 동공의 움직임을 기록하는 영상 정보를 수집하여 상기 동공의 중심에 대한 위치 좌표를 산출하는 위치 산출부, 및 상기 산출된 위치 좌표를 이용해서 상기 동공 중심간 거리를 산출하되, 상기 동공의 위치 좌표를 길이로 각각 환산하고, 상기 각각 환산된 길이를 이용해서 상기 동공 중심간 거리를 산출하는 거리 측정부를 포함할 수 있다.

Description

동공 중심간 거리를 측정하는 장치 및 방법
본 발명은 아이트래커 카메라를 통해 수집한 동공의 위치 정보를 기반으로 동공 중심간 거리(IPD, interpupillary distance)를 산출하기 위한 것으로서, 특정 위치를 응시할 수 있도록 영상을 표시하며, 아이트래커라는 센서를 통해 동공의 위치 정보를 수집하고, 화면에 표시된 응시점의 위치와 수집된 동공의 위치정보를 근거로 사용자의 IPD를 산출하는 기술적 사상에 관한 것이다.
사람은 일반적으로 양안 시차를 통해서 물체의 시각적 입체감을 느낀다.
즉, 좌안과 우안에 각각 다른 영상이 보여지고, 뇌에서 이를 하나의 영상으로 생성하는 과정을 통해 사람이 입체영상이라고 느끼게 된다. 가까운 이러한 원리를 토대로 개발된 것이 VR(virtual reality)기기이며, 좌안과 우안에 개별적인 화면을 제공하여 가상입체영상을 구현한다.
입체영상에서 중요한 요소 중 하나인 깊이감은 양안 망막에 상이 맺히는 위치의 차이를 통해 인식된다. 예를 들어 한 지점을 응시하고 있을 때, 응시점보다 가까운 지점의 상은 망막의 바깥쪽(귀쪽)에 맺히고, 반대로 먼 지점의 상은 망막의 안쪽(코쪽)에 맺히게 된다. 이때 동일한 거리의 응시점을 바라보더라도 IPD가 다르면 가까운 점과 먼 점의 상이 맺히는 지점이 달라진다. 이는 동일한 영상에 대해서 사용자에 따라 영상의 깊이감이 달라지는 원인이 되며, 더 나아가 몰입감에 영향을 미친다.
VR기기의 화면 및 렌즈의 간격이 고정되어 있는데 반해, 사용자의 IPD는 사람에 따라 50~80 mm로 편차가 크다(성인기준). 때문에 동일한 조건의 화면에서 사용자에 따라 서로 다른 깊이감을 느끼거나, 심할 경우 상이 맺히지 않는 문제까지도 발생하게 된다. 이를 해결하기 위해 일부 모델에서는 사용자가 렌즈 간격을 조절할 수 있는 기능을 포함하고 있지만, 수동으로 조절한다는 한계가 있다.
현재 전용 IPD측정기 및 스마트폰 어플리케이션 등 다양한 IPD 측정방법이 사용되고 있다. 전용 IPD 측정기의 경우 수동으로 조작하며, 측정을 해주는 추가 인원이 필요하다는 단점이 있다. IPD 측정 어플리케이션은 국제 규격인 신용카드를 얼굴과 함께 촬영하여 상대적인 길이를 통해 IPD를 산출한다. 신용카드의 위치(깊이)에 따른 오차가 크고, 최종적으로 눈동자의 위치를 사용자가 직접 맞춰야 하기 때문에 사용자의 섬세함에 따라 오차가 클 수 있다는 단점이 있다.
현재 많은 VR기기가 IPD 64mm에 맞춰 렌즈 및 화면이 배치되어있는데, 이는 성인 남성을 기준으로 설정된 것이다. 청소년이나 여성 등 IPD가 작은 사람은 상이 맺히지 않아 VR기기의 사용이 어려울 수 있다. 따라서, 사용자의 다양한 IPD를 고려하여 야기되는 문제점들을 해결할 수 있는 기술이 요구되는 실정이다.
[선행기술문헌]
(특허문헌 1) 한국공개특허 제2018-0004271호 "동공 중심간 거리를 결정하는 장치, 시스템 및 방법"
(특허문헌 2) 한국공개특허 제2016-0022924호 "HMD의 최적의 눈 맞춤을 위한 시스템"
본 발명은 사용자의 IPD를 자동으로 측정하는 것을 목적으로 한다.
본 발명은 안구의 회선중심에서 각막까지의 거리를 문헌 등에 기재된 수치뿐만 아니라, 사용자별로 측정한 수치를 사용하여 동공 중심간 거리의 측정 정확도를 높이는 것을 목적으로 한다.
본 발명은 기기와 얼굴의 중앙이 일치하지 않더라도 두 눈의 개별 위치 계산을 통한 동공 중심간 거리를 산출하는 것을 목적으로 한다.
본 발명은 제작자가 의도한 깊이감을 느껴 몰입감을 극대화 하는 것을 목적으로 한다.
본 발명은 추가적인 비용 없이 헤드 마운트형 디스플레이 기기들에 쉽게 적용 및 활용하여 VR뿐만 아니라 AR에서도 입체감을 향상시키는 것을 목적으로 한다.
일실시예에 따른 동공 중심간 거리 측정 장치는 영상의 특정 위치에 응시를 위한 오브젝트를 표시 하도록 구성되는 영상자극 표시 수단 및 상기 표시 수단과 동작가능하게 연결된 프로세서를 포함하고, 상기 프로세서는, 상기 오브젝트를 응시하는 동공의 움직임을 기록하는 영상 정보를 수집하여 상기 동공의 중심에 대한 위치 좌표를 산출하고, 상기 산출된 위치 좌표를 이용해서 상기 동공 중심간 거리를 산출하되, 상기 동공의 위치 좌표를 길이로 각각 환산하고, 상기 각각 환산된 길이를 이용해서 상기 동공 중심간 거리를 산출하도록 구성될 수 있다.
일실시예에 따른 상기 프로세서는, 상기 환산한 길이에 상기 동공의 회선중심에서 각막까지의 길이를 반영하여 상기 동공 중심간 거리를 산출하도록 더 구성될 수 있다.
일실시예에 따른 상기 프로세서는, 상기 환산한 길이와, 상기 동공의 회선중심에서 각막까지의 길이에 상기 동공이 응시하는 상기 오브젝트 내의 응시점을 향하는 각도를 고려한 비율을 곱한 값을 합산하여 상기 동공 중심간 거리를 산출도록 더 구성될 수 있다.
일실시예에 따른 상기 프로세서는, 상기 환산한 길이에 눈과 오브젝트 사이의 거리 및 상기 회선중심에서 각막까지의 길이를 반영한 값과, 상기 회선중심에서 각막까지의 길이에 상기 영상의 화면 중앙에서 오브젝트 내의 응시점까지의 거리를 반영한 값의 차이를 이용해서 상기 동공 중심간 거리를 산출하도록 더 구성될 수 있다.
일실시예에 따른 상기 프로세서는, 설계수치에 따라 미리 지정된 상기 회선중심에서 각막까지의 길이를 반영하여 상기 동공 중심간 거리를 산출하도록 더 구성될 수 있다.
일실시예에 따른 상기 프로세서는, 상기 영상 내 서로 다른 응시점에 대한 동공의 시선좌표, 상기 영상의 중심으로부터 상기 서로 다른 응시점까지의 거리, 상기 영상의 중심으로부터 상기 시선좌표의 길이, 상기 눈과 오브젝트 사이의 거리를 이용해서 상기 회선중심에서 각막까지의 길이를 산출하도록 더 구성될 수 있다.
일실시예에 따른 상기 프로세서는, 상기 위치 좌표의 차이에 상기 영상에 대한 단위 픽셀당 길이를 반영해서 상기 동공 중심간 거리를 산출하도록 더 구성될 수 있다.
일실시예에 따른 상기 프로세서는, 상기 영상의 가로방향 길이에 대한 상기 영상의 해상도의 비율에 기초하여 상기 단위 픽셀당 길이를 산출하도록 더 구성될 수 있다.
일실시예에 따른 상기 프로세서는, 상기 동공과 카메라 사이의 거리와 상기 카메라의 화각(FOV, field of view)을 이용하여 상기 영상의 가로방향 길이를 산출하도록 더 구성될 수 있다.
일실시예에 따른 상기 영상자극 표시 수단은, 무자극, 단안 정적 자극, 양안 정적 자극, 단안 동적 자극, 및 양안 동적 자극 중에서 적어도 하나의 자극 방식으로 상기 오브젝트를 표시 하도록 더 구성될 수 있다.
일실시예에 따른 동공 중심간 거리 측정 장치는 상기 오브젝트를 응시하는 동공의 움직임을 추적하여 동공의 움직임을 기록하는 영상 정보를 생성하는 아이트래커를 더 포함할 수 있다.
일실시예에 따른 동공 중심간 거리 측정 장치는 영상의 특정 위치에 응시를 위한 오브젝트를 한쪽 눈에만 표시 하는 영상자극 표시 수단 및 상기 표시 수단과 동작가능하게 연결된 프로세서를 포함하고, 상기 프로세서는, 상기 오브젝트를 응시하는 상기 한쪽 눈의 동공의 움직임과, 상기 동공의 움직임과 함께 공동운동(conjugate)하는 다른 한쪽 눈에 대한 동공의 움직임에 의해 발생되는 동공의 움직임을 기록하는 영상 정보를 수집하여 상기 동공의 중심 각각에 대한 서로 다른 두 개의 위치 좌표를 산출하고, 상기 산출된 서로 다른 두 개의 위치 좌표를 이용해서 상기 동공 중심간 거리를 산출하되, 상기 서로 다른 두 개의 위치 좌표의 차이에 기초하여 상기 동공의 간격을 산출하고, 상기 산출된 간격을 이용해서 상기 동공 중심간 거리를 산출하도록 구성될 수 있다.
일실시예에 따른 상기 프로세서는, 상기 서로 다른 두 개의 위치 좌표의 차이에 상기 영상에 대한 단위 픽셀당 길이를 반영해서 상기 동공 중심간 거리를 산출하도록 더 구성될 수 있다.
일실시예에 따른 상기 프로세서는, 상기 영상의 가로방향 길이에 대한 상기 영상의 해상도의 비율에 기초하여 상기 단위 픽셀당 길이를 산출하도록 더 구성될 수 있다.
일실시예에 따른 상기 프로세서는, 상기 동공과 카메라 사이의 거리와 상기 카메라의 화각(FOV, field of view)을 이용하여 상기 영상의 가로방향 길이를 산출하도록 더 구성될 수 있다.
일실시예에 따른 상기 영상자극 표시 수단은, 움직임 또는 위치 중에서 적어도 하나가 제어되는 상기 한쪽 눈에 표시된 오브젝트를 표시하도록 더 구성되고, 상기 프로세서는, 상기 오브젝트를 트래킹 하는 상기 한쪽 눈의 동공의 움직임과, 상기 동공의 움직임과 함께 공동운동(conjugate)하는 동공의 움직임에 의해 발생되는 동공의 움직임을 기록하는 영상 정보를 수집하여 상기 동공의 중심 각각에 대한 서로 다른 두 개의 위치 좌표를 산출하도록 더 구성될 수 있다.
일실시예에 따른 동공 위치 측정 장치는 영상의 특정 위치에 응시를 위한 오브젝트를 양쪽 눈 중에서 어느 한쪽 눈에만 표시 하도록 구성된 영상자극 표시 수단 및 상기 오브젝트를 응시하는 상기 한쪽 눈의 동공의 움직임과, 상기 동공의 움직임과 함께 공동운동(conjugate)하는 다른 한쪽 눈에 대한 동공의 움직임에 기초하여 상기 한 쪽 동공에 대한 위치 좌표를 산출하는 위치 산출하도록 구성된 프로세서를 포함할 수 있다.
일실시예에 따른 상기 영상자극 표시 수단은, 움직임 또는 위치 중에서 적어도 하나가 제어되는 상기 한쪽 눈에 표시된 오브젝트를 표시하도록 더 구성될 수 있다.
일실시예에 따른 상기 프로세서는, 상기 한쪽 눈에 오브젝트를 표시하여 상기 한쪽 눈에 대한 동공의 위치 좌표를 산출한 뒤, 상기 다른 한쪽 눈에서 상기 오브젝트를 표시하도록 제어하고, 상기 위치 산출부에서 상기 다른 한쪽 눈에 대한 동공의 위치 좌표를 산출하고, 상기 산출된 서로 다른 두 개의 위치 좌표를 이용해서 상기 동공 중심간 거리를 산출하도록 구성될 수 있다.
일실시예에 따른 동공 중심간 거리 측정 방법은 영상의 특정 위치에 응시를 위한 오브젝트를 표시 하는 단계, 상기 오브젝트를 트래킹 하는 동공의 움직임을 기록하는 영상 정보를 수집하여 상기 동공의 중심에 대한 위치 좌표를 산출하는 단계, 상기 동공의 위치 좌표를 길이로 각각 환산하는 단계, 및 상기 환산한 길이에 상기 동공의 회선중심에서 각막까지의 길이를 반영하여 상기 동공 중심간 거리를 산출하는 단계를 포함할 수 있다.
일실시예에 따른 상기 안구의 회선중심에서 각막까지의 길이를 반영하여 상기 동공 중심간 거리를 산출하는 단계는, 설계수치에 따라 미리 지정된 상기 안구의 회선중심에서 각막까지의 길이를 반영하여 상기 동공 중심간 거리를 산출하는 단계를 포함할 수 있다.
일실시예에 따른 상기 회선중심에서 각막까지의 길이를 반영하여 상기 동공 중심간 거리를 산출하는 단계는, 상기 영상 내 서로 다른 응시점에 대한 동공의 시선좌표, 상기 영상의 중심으로부터 상기 서로 다른 응시점까지의 거리, 상기 영상의 중심으로부터 상기 시선좌표의 길이, 상기 눈과 오브젝트 사이의 거리를 이용해서 상기 안구의 회선중심에서 각막까지의 길이를 산출하는 단계를 포함할 수 있다.
일실시예에 따른 상기 동공 중심간 거리를 산출하는 단계는, 상기 동공과 카메라 사이의 거리와 상기 카메라의 화각(FOV, field of view)을 이용하여 상기 영상의 가로방향 길이를 산출하는 단계, 상기 가로방향 길이에 대한 상기 영상의 해상도의 비율에 기초하여 단위 픽셀당 길이를 산출하는 단계, 및 상기 위치 좌표의 차이에 상기 영상에 대한 단위 픽셀당 길이를 반영해서 상기 동공 중심간 거리를 산출하는 단계를 포함할 수 있다.
일실시예에 따른 동공 중심간 거리 측정 방법은 영상의 특정 위치에 응시를 위한 오브젝트를 한쪽 눈에만 표시 하는 단계, 상기 오브젝트를 응시하는 상기 한쪽 눈의 동공의 움직임과, 상기 동공의 움직임과 함께 공동운동(conjugate)하되 상기 오브젝트는 표시되지 않는 다른 한쪽 눈에 대한 동공의 움직임을 기록하는 영상 정보를 수집하여 상기 동공의 중심 각각에 대한 서로 다른 두 개의 위치 좌표를 산출하는 단계, 및 상기 산출된 서로 다른 두 개의 위치 좌표의 차이에 기초하여 상기 동공의 간격을 산출하고, 상기 산출된 간격을 이용해서 상기 동공 중심간 거리를 산출하는 단계를 포함할 수 있다.
일실시예에 따른 상기 동공 중심간 거리를 산출하는 단계는, 상기 동공과 카메라 사이의 거리와 상기 카메라의 화각(FOV, field of view)을 이용하여 상기 영상의 가로방향 길이를 산출하는 단계, 상기 가로방향 길이에 대한 상기 영상의 해상도의 비율에 기초하여 단위 픽셀당 길이를 산출하는 단계, 및 상기 위치 좌표의 차이에 상기 영상에 대한 단위 픽셀당 길이를 반영해서 상기 동공 중심간 거리를 산출하는 단계를 포함할 수 있다.
일실시예에 따른 상기 영상의 특정 위치에 응시를 위한 오브젝트를 한쪽 눈에만 표시 하는 단계는, 상기 한쪽 눈에 표시된 오브젝트의 움직임 또는 위치 중에서 적어도 하나를 제어하는 단계를 포함하고, 상기 서로 다른 두 개의 위치 좌표를 산출하는 단계는, 상기 오브젝트를 응시하는 상기 한쪽 눈의 동공의 움직임과, 상기 동공의 움직임과 함께 공동운동(conjugate)하는 동공의 움직임을 기록하는 영상 정보를 수집하여 상기 동공의 중심 각각에 대한 서로 다른 두 개의 위치 좌표를 산출하는 단계를 포함할 수 있다.
일실시예에 따르면, 사용자의 IPD를 자동으로 측정할 수 있다.
일실시예에 따르면, 안구의 회선중심에서 각막까지의 거리를 문헌 등에 기재된 수치뿐만 아니라, 사용자별로 측정한 수치를 사용하여 동공 중심간 거리의 측정 정확도를 높일 수 있다.
일실시예에 따르면, 기기와 얼굴의 중앙이 일치하지 않더라도 두 눈의 개별 위치 계산을 통한 동공 중심간 거리를 산출할 수 있다.
일실시예에 따르면, 제작자가 의도한 깊이감을 느껴 몰입감을 극대화 시킬 수 있다.
일실시예에 따르면, 추가적인 비용 없이 헤드 마운트형 디스플레이 기기들에 쉽게 적용 및 활용하여 VR뿐만 아니라 AR에서도 입체감을 향상시킬 수 있다.
도 1은 일실시예에 따른 동공 중심간 거리 측정 장치를 설명하는 도면이다.
도 2는 아이트래커가 내장된 헤드마운트기기와 이때 눈과 카메라 간 거리를 산출하는 실시예를 설명하는 도면이다.
도 3은 동공에 오브젝트를 통해 자극을 하여 응시를 유도하는 실시예를 설명하는 도면이다.
도 4는 일실시예에 따른 아이트래커 영상에서 실제 길이로 변환하는 실시예를 설명하는 도면이다.
도 5는 일실시예에 따른 위치 좌표를 길이로 환산하는 실시예를 설명하는 도면이다.
도 6은 일실시예에 따른 두 눈의 개별 위치를 계산하는 실시예를 설명하는 도면이다.
도 7은 일실시예에 따른 눈의 공동운동(conjugate eye movement)에 기초하여 동공의 위치 좌표를 계산하는 실시예를 설명하는 도면이다.
도 8은 일실시예에 따른 동공 중심간 거리 측정 장치가 두 눈의 개별 위치 계산을 통해 동공 중심간 거리를 산출하는 실시예를 설명하는 도면이다.
도 9는 일실시예에 따른 안구의 회선중심에서 각막까지의 길이를 산출하는 실시예를 설명하는 도면이다.
도 10은 일실시예에 따른 두 눈의 공동운동(conjugate eye movement)에 기초하여 동공의 위치 좌표를 계산하는 동공 중심간 거리 측정 방법을 설명하는 도면이다.
도 11은 일실시예에 따른 두 눈의 개별 위치를 계산하여 동공의 위치 좌표를 계산하는 동공 중심간 거리 측정 방법을 설명하는 도면이다.
도 12는 다른 일실시예에 따른 두 눈의 개별 위치를 계산하여 동공의 위치 좌표를 계산하는 동공 중심간 거리 측정 방법을 설명하는 도면이다.
본 명세서에 개시되어 있는 본 발명의 개념에 따른 실시예들에 대해서 특정한 구조적 또는 기능적 설명들은 단지 본 발명의 개념에 따른 실시예들을 설명하기 위한 목적으로 예시된 것으로서, 본 발명의 개념에 따른 실시예들은 다양한 형태로 실시될 수 있으며 본 명세서에 설명된 실시예들에 한정되지 않는다.
본 발명의 개념에 따른 실시예들은 다양한 변경들을 가할 수 있고 여러 가지 형태들을 가질 수 있으므로 실시예들을 도면에 예시하고 본 명세서에 상세하게 설명하고자 한다. 그러나, 이는 본 발명의 개념에 따른 실시예들을 특정한 개시형태들에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 변경, 균등물, 또는 대체물을 포함한다.
제1 또는 제2 등의 용어를 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만, 예를 들어 본 발명의 개념에 따른 권리 범위로부터 이탈되지 않은 채, 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소는 제1 구성요소로도 명명될 수 있다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다. 구성요소들 간의 관계를 설명하는 표현들, 예를 들어 "~사이에"와 "바로~사이에" 또는 "~에 직접 이웃하는" 등도 마찬가지로 해석되어야 한다.
본 명세서에서 사용한 용어는 단지 특정한 실시예들을 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 설시된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함으로 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 갖는 것으로 해석되어야 하며, 본 명세서에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이하, 실시예들을 첨부된 도면을 참조하여 상세하게 설명한다. 그러나, 특허출원의 범위가 이러한 실시예들에 의해 제한되거나 한정되는 것은 아니다. 각 도면에 제시된 동일한 참조 부호는 동일한 부재를 나타낸다.
도 1은 일실시예에 따른 동공 중심간 거리 측정 장치(100)를 설명하는 도면이다.
본 발명은 사용자에 맞춰 적정 영상을 제공하기 위해 동공 중심간 거리를 측정할 수 있다. 특히, 본 발명은 아이트래커가 내장된 헤드 마운트형 디스플레이 기기 등에 적용되어 새로운 측정장비를 추가하지 않고 IPD를 측정할 수 있다.
이를 위해, 일실시예에 따른 동공 중심간 거리 측정 장치(100)는 영상자극 표시 수단(110), 위치 산출부(120), 및 거리 측정부(130)를 포함할 수 있다.
구체적으로, 일실시예에 따른 영상자극 표시 수단(110)는 영상의 특정 위치에 응시를 위한 오브젝트를 표시 할 수 있다.
일례로, 영상자극 표시 수단(110)는 영상의 특정 위치에 응시를 위한 오브젝트를 다양하게 표시할 수 있다.
특히, 일실시예에 따른 영상자극 표시 수단(110)는 무자극, 단안 정적 자극, 양안 정적 자극, 단안 동적 자극, 및 양안 동적 자극 등의 다양한 자극 방식으로 오브젝트를 표시할 수 있다.
본 발명은 한쪽 눈(또는 양쪽 눈)에만 물체가 보이는 영상을 표시하고, 해당 눈(또는 두 눈)이 물체를 응시할 때 수집되는 동공의 위치 좌표를 토대로 각 눈이 얼굴의 중심으로부터 떨어진 거리를 계산하고, 최종적으로 동공 중심간 거리를 산출할 수 있다.
뿐만 아니라, 눈의 공동운동을 응용하여 한쪽 눈에만 물체가 보이는 영상을 표시하고, 물체를 응시할 때 두 눈의 위치좌표 간격을 토대로 동공 중심간 거리를 계산할 수 있다.
물체가 수평방향으로 다르게 위치한 복수의 영상을 순차적으로 보여주고, 각각의 동공 위치 좌표을 토대로 사용자의 안구의 회선중심으로부터 각막까지의 길이를 산출할 수 있다. 이는 IPD 산출 간 정확도를 높이기 위한 값으로 사용될 수 있다.
구체적으로, 영상자극 표시 수단(110)는 한쪽 눈의 화면에만 응시를 위한 지표가 있는 영상 표시를 하고, 이에 상응하는 동공의 움직임을 기록하는 영상 정보를 기초로 동공 중심간 거리를 산출하도록 할 수 있다.
다른 예로, 영상자극 표시 수단(110)는 양쪽 눈의 화면에 응시를 위한 지표가 있는 영상 표시를 하고, 이에 상응하는 동공의 움직임을 기록하는 영상 정보를 기초로 동공 중심간 거리를 산출하도록 할 수 있다.
먼저, 이하에서는 영상자극 표시 수단(110)가 한쪽 눈의 화면에만 응시를 위한 지표가 있는 영상 표시를 하고, 이에 상응하는 동공의 움직임을 기록하는 영상 정보를 기초로 동공 중심간 거리를 산출하는 실시예를 통해 동공 중심간 거리 측정 장치(100)를 설명한다.
일실시예에 따른 위치 산출부(120)는 오브젝트를 트래킹 하는 동공의 움직임에 의해 발생되는 동공의 움직임을 기록하는 영상 정보를 수집하여 상기 동공의 중심에 대한 위치 좌표를 산출할 수 있다.
동공의 움직임을 기록하는 영상 정보는 아이트래커가 동공을 추적하여 생성하는 동공의 위치 정보로 해석될 수 있다. 이때, 위치 산출부(120)는 아이트래커로부터 동공의 움직임을 기록하는 영상 정보를 수집하여 동공의 중심에 대한 위치 좌표를 산출할 수 있다.
이를 위해, 일실시예에 따른 동공 중심간 거리 측정 장치(100)는 오브젝트를 트래킹 하는 동공의 움직임을 추적하여 동공의 움직임을 기록하는 영상 정보를 생성하는 아이트래커(140)를 더 포함할 수 있다.
일실시예에 따른 거리 측정부(130)는 산출된 위치 좌표를 이용해서 동공 중심간 거리를 산출하되, 동공의 위치 좌표를 길이로 각각 환산하고, 각각 환산된 길이를 이용해서 동공 중심간 거리를 산출할 수 있다.
거리 측정부(130)는 환산한 길이에 동공의 회선중심에서 각막까지의 길이를 반영하여 동공 중심간 거리를 산출할 수 있다.
일반적으로, 회선중심에서 각막까지의 길이는 문헌상 평균값으로서, 13.5mm를 사용할 수 있다. 즉, 거리 측정부(130)는 설계수치에 따라 미리 지정된 회선중심에서 각막까지의 길이를 반영하여 동공 중심간 거리를 산출할 수 있다.
본 발명의 거리 측정부(130)는 회선중심에서 각막까지의 길이에 대해 문헌상 평균값을 그대로 이용할 수도 있고, 서로 다른 위치의 응시점에 대한 동공의 움직임을 기록하는 영상 정보를 통해 산출하여 이용할 수도 있다.
예를 들면, 거리 측정부(130)는 영상 내 서로 다른 응시점에 대한 동공의 시선좌표, 영상의 중심으로부터 서로 다른 응시점까지의 거리, 영상의 중심으로부터 시선좌표의 길이, 오브젝트와 눈간 거리를 이용해서 회선중심에서 각막까지의 길이를 산출할 수 있다.
일실시예에 따른 거리 측정부(130)는 눈의 회선중심에서 각막까지의 길이를 산출하기 위해, 서로 다른 위치의 지표 대한 시선좌표 데이터를 통해 눈의 회선중심에서 각막까지의 길이를 수식적으로 계산 할 수 있다.
일실시예에 따른 거리 측정부(130)는 회선중심에서 각막까지의 길이를 적용하여 동공 중심간 거리를 산출할 수 있다.
거리 측정부(130)는 동공의 위치 좌표를 길이로 각각 환산한 길이와, 동공의 회선중심에서 각막까지의 길이에 동공이 응시하는 오브젝트 내의 응시점을 향하는 각도를 고려한 비율을 곱한 값을 합산하여 동공 중심간 거리를 산출할 수 있다.
또한, 거리 측정부(130)는 환산한 길이에 오브젝트와 눈간 거리 및 회선중심에서 각막까지의 길이를 반영한 값과, 회선중심에서 각막까지의 길이에 영상의 화면 중앙에서 오브젝트 내의 응시점까지의 거리를 반영한 값의 차이를 이용해서 동공 중심간 거리를 산출할 수도 있다.
일실시예에 따른 거리 측정부(130)는 단위 픽셀당 길이를 고려해서 IPD를 산출할 수 있다. 구체적으로, 거리 측정부(130)는 위치 좌표의 차이에 영상에 대한 단위 픽셀당 길이를 반영해서 동공 중심간 거리를 산출할 수 있다. 이때, 거리 측정부(130)는 영상의 가로방향 길이에 대한 영상의 해상도의 비율에 기초하여 상기 단위 픽셀당 길이를 산출할 수 있다. 보다 구체적으로, 거리 측정부(130)는 영상의 가로방향 길이를 영상의 해상도로 나눈 값으로 단위 픽셀당 길이를 산출할 수 있다. 한편, 거리 측정부(130)는 동공과 카메라 사이의 거리와 카메라의 화각(FOV, field of view)을 이용하여 영상의 가로방향 길이를 산출할 수 있다.
다음으로, 이하에서는 영상자극 표시 수단(110)가 한쪽 눈에만 자극을 주고, 다른 한쪽 눈의 공동운동을 통해 동공 중심간 거리를 산출하는 실시예를 설명한다.
이를 위해, 동공 중심간 거리 측정 장치(100)는, 영상자극 표시 수단(110), 위치 산출부(120), 및 거리 측정부(130)를 포함할 수 있다.
영상자극 표시 수단(110)는 영상의 특정 위치에 응시를 위한 오브젝트를 한쪽 눈에만 표시 할 수 있다.
이때의 위치 산출부(120)는, 오브젝트를 트래킹 하는 한쪽 눈의 동공의 움직임과, 동공의 움직임과 함께 공동운동(conjugate)하는 다른 한쪽 눈에 대한 동공의 움직임에 의해 발생되는 동공의 움직임을 기록하는 영상 정보를 수집할 수 있다. 또한, 수집한 동공의 움직임을 기록하는 영상 정보를 이용해서 상기 동공의 중심 각각에 대한 서로 다른 두 개의 위치 좌표를 산출할 수 있다.
또한, 거리 측정부(130)는 산출된 서로 다른 두 개의 위치 좌표를 이용해서 상기 동공 중심간 거리를 산출할 수 있다. 이때, 거리 측정부(130)는 서로 다른 두 개의 위치 좌표의 차이에 기초하여 동공의 간격을 산출하고, 산출된 간격을 이용해서 동공 중심간 거리를 산출할 수 있다.
다음으로, 이하에서는 영상자극 표시 수단(110)가 양쪽 눈의 화면에 응시를 위한 지표가 있는 영상 표시를 하고, 이에 상응하는 동공의 움직임을 기록하는 영상 정보를 기초로 동공 중심간 거리를 산출하는 실시예를 통해 동공 중심간 거리 측정 장치(100)를 설명한다.
이때의 위치 산출부(120)는 오브젝트를 트래킹 하는 동공의 움직임에 의해 발생되는 동공의 움직임을 기록하는 영상 정보를 수집하여 동공의 중심 각각에 대한 서로 다른 두 개의 위치 좌표를 산출할 수 있다.
거리 측정부(130)는 산출된 위치 좌표를 이용해서 동공 중심간 거리를 산출하되, 위치 좌표의 차이에 기초하여 동공의 간격을 산출할 수 있다. 또한, 산출된 간격을 이용해서 동공 중심간 거리를 산출할 수 있다.
일실시예에 따른 거리 측정부(130)는 위치 좌표의 차이에 영상에 대한 단위 픽셀당 길이를 반영해서 동공 중심간 거리를 산출할 수 있다.
단위 픽셀당 길이는 영상의 가로방향 길이에 대한 영상의 해상도의 비율로 산출될 수 있다. 이를 위해, 거리 측정부(130)는 영상의 가로방향 길이를 해상도로 나눠 단위 픽셀당 길이를 산출할 수 있다.
한편, 거리 측정부(130)는 영상의 가로방향 길이를 산출할 수도 있다. 예를 들어, 거리 측정부(130)는 동공과 카메라 사이의 거리와 카메라의 화각(FOV, field of view)을 이용하여 영상의 가로방향 길이를 산출할 수 있다.
본 발명의 다른 일례에 따르면, 영상자극 표시 수단(110)는 다양한 방법으로 눈에 자극을 주고 거리 측정부(130)는 이를 기반으로 동공 중심간 거리를 측정할 수 있다.
일례로, 영상자극 표시 수단(110)는 한쪽 눈에 표시된 오브젝트를 다른 한쪽 눈에서 순차적으로 표시하도록 제어할 수 있다.
이때, 위치 산출부(120)는 오브젝트를 트래킹 하는 다른 한쪽 눈의 동공의 움직임과, 상기 다른 한쪽 눈의 동공의 움직임과 함께 공동운동(conjugate)하는 동공의 움직임에 의해 발생되는 동공의 움직임을 기록하는 영상 정보를 수집하여 상기 동공의 중심 각각에 대한 서로 다른 두 개의 위치 좌표를 산출할 수 있다.
또한, 거리 측정부(130)는, 산출된 서로 다른 두 개의 위치 좌표를 이용해서 동공 중심간 거리를 산출할 수 있다.
다른 일실시예에 따르면, 영상자극 표시 수단(110)는 한쪽 눈에 표시된 오브젝트의 움직임 또는 위치 중에서 적어도 하나를 제어하고, 위치 산출부(120)는 오브젝트를 트래킹 하는 상기 한쪽 눈의 동공의 움직임과, 상기 동공의 움직임과 함께 공동운동(conjugate)하는 동공의 움직임에 의해 발생되는 동공의 움직임을 기록하는 영상 정보를 수집하여 상기 동공의 중심 각각에 대한 서로 다른 두 개의 위치 좌표를 산출할 수 있다.일실시예에 따른 동공 중심간 거리 측정 장치(100)는 오브젝트를 표시하는 눈을 다양하게 선택할 수 있다.
예를 들어, 일실시예에 따른 동공 중심간 거리 측정 장치(100)는 영상자극 표시 수단(110)와 거리 측정부(130) 만을 포함하는 구조로 구현될 수도 있다.
이때, 영상자극 표시 수단(110)는 영상의 특정 위치에 응시를 위한 오브젝트를 양쪽 눈 중에서 어느 한쪽 눈에만 표시할 수 있다.
한편, 거리 측정부(130)는 오브젝트를 트래킹 하는 상기 어느 한쪽 눈의 동공의 움직임과, 상기 어느 한쪽 눈의 동공의 움직임과 함께 공동운동(conjugate)하는 또 다른 한쪽 눈에 대한 동공의 움직임에 의해 발생되는 동공의 움직임을 기록하는 영상 정보에 기초하여 상기 양쪽 눈에 대한 동공 중심간 거리를 산출할 수 있다.
뿐만 아니라, 영상자극 표시 수단(110)는 상기 어느 한쪽 눈에 표시된 오브젝트를 상기 또 다른 한쪽 눈에서 표시하도록 제어할 수 있다. 이 경우, 위치 산출부(120)는 상기 오브젝트를 트래킹 하는 상기 한쪽 눈의 동공의 움직임과, 상기 동공의 움직임과 함께 공동운동(conjugate)하는 다른 한쪽 눈에 대한 동공의 움직임에 기초하여 상기 양쪽 눈 중에서 적어도 하나의 눈에 대한 위치 좌표를 산출할 수 있다.
한쪽 눈에 오브젝트를 표시하여 위치 산출부(120)는 상기 한쪽 눈에 대한 동공의 위치 좌표를 산출한 뒤, 상기 다른 한쪽 눈에서 상기 오브젝트를 표시하도록 제어하고, 상기 위치 산출부(120)에서 상기 다른 한쪽 눈에 대한 동공의 위치 좌표를 산출하고, 상기 산출된 서로 다른 두 개의 위치 좌표를 이용해서 상기 동공 중심간 거리를 산출할 수 있다.
일실시예에 따르면, 거리 측정부(130)는 좌, 우 각각 중심에서 길이를 이용하거나, 공동 운동을 이용한 좌표 간격을 이용해서 동공 중심간 거리를 산출할 수 있다.
즉, 거리 측정부(130)는 산출된 위치 좌표를 이용해서 상기 동공 중심간 거리를 산출하되, 상기 동공의 위치 좌표를 길이로 각각 환산하고, 상기 각각 환산된 길이를 이용해서 상기 동공 중심간 거리를 산출할 수 있다.
한편, 이 경우의 거리 측정부(130)는 산출된 위치 좌표의 차이에 기초하여 상기 동공의 간격을 산출하고, 상기 산출된 간격을 이용해서 상기 동공 중심간 거리를 산출할 수도 있다.
본 발명은 헤드 마운트형 디스플레이 기기에도 적용이 가능하다. 특히 VR기기에는 사용자의 움직임에 맞춰 적정 영상을 제공하기 위한 다양한 센서가 사용되고 있다. 최근에는 머리의 움직임뿐만 아니라 가상화면 내에서 사용자가 바라보는 위치 정보의 중요성이 부각되고 있다. 최근 사람의 시각인지특성을 기반으로 이미지 렌더링의 효율 및 연산속도를 높이고, VR멀미를 줄이기 위해 아이트래커가 중요 센서로써 사용되고 있다. 이러한 추세로 볼 때 아이트래커는 다른 센서와 같이 헤드 마운트형 디스플레이 기기에 기본으로 내장되는 필수센서가 될 것으로 예상되며, 이를 통해 본 발명은 추가적인 하드웨어 구성없이 적용될 수 있다.
한편, 본 발명은 동공 중심간 거리의 측정기로써 활용될 수도 있다. 앞서 언급한 것과 같이 현재의 동공 중심간 거리 측정은 본인 이외에 추가인원 및 수동조절이 필요하지만, 본 발명은 아이트래커가 내장된 헤드 마운트형 디스플레이 기기를 사용할 시, 새로운 측정장비의 구매 없이 혼자서 동공 중심간 거리를 측정할 수 있다.
도 2는 아이트래커가 내장된 헤드마운트기기와 이때 눈과 카메라 간 거리를 산출하는 실시예를 설명하는 도면이다.
도 2는 아이트래커가 내장된 헤드마운트기기 모습을 보여주는 예시이다. 도면부호 210에서 원형 렌즈(211)의 아래에는 아이트래커 카메라(212)가 배치될 수 있다.
한쌍의 아이트래커 카메라(212) 사이의 간격이나, 원형 렌즈(211)와 아이트래커 카메라(212) 사이의 간격은 기기 설계시 고정되는 값이며, IPD 산출을 위해 사용될 수 있다.
도면부호 220은 헤드마운트기기를 착용하는 사용자의 동공(눈)과 원형 렌즈(211), 아이트래커 카메라(212) 사이의 간격 및 위치 등을 나타낸다.
눈과 원형 렌즈(211) 사이의 간격은 사람에 따라 편차가 있을 수 있고, 위치 및 간격은 기기에 따라 달라질 수 있다.
도면부호 220에서 보는 눈과 아이트래커 카메라간 거리(Deye-camera)는 피타고라스의 정리에 의해 아래 [수학식 1]과 같이 산출될 수 있다.
Figure PCTKR2019018006-appb-M000001
[수학식 1]에서 Deye-lens는 눈과 동공(눈)과 원형 렌즈(211)간 거리를 나타내고, Dcamera-lens는 아이트래커 카메라(212)와 원형 렌즈(211)간 거리를 나타낸다.
도 3은 동공에 오브젝트를 통해 자극을 하여 응시를 유도하는 실시예(300)를 설명하는 도면이다.
동공에 오브젝트를 통해 자극하기 위해 영상자극 표시 수단은 한쪽 눈 또는 양쪽 눈의 응시를 유도하기 위한 오브젝트(지표)가 있는 영상을 표시할 수 있다.
실시예(300)를 살펴보면, 도면부호 310와 같이, 단안 정적 자극을 위한 영상 표시의 실시예로서, 영상자극 표시 수단은 한쪽 눈 화면(단안 자극)에만 움직이지 않는 오브젝트를 표시할 수 있다.
또한, 도면부호 320와 같이, 양안 정적 자극을 위한 영상 표시의 실시예로서, 영상자극 표시 수단은 양쪽 눈 화면(양안 자극)에 움직이지 않는 오브젝트를 표시할 수 있다.
한편, 영상자극 표시 수단은 움직이는 오브젝트를 표시하여 동공을 자극할 수 있다.
구체적으로, 영상자극 표시 수단은 도면부호 330와 같이, 단안 동적 자극을 위한 영상 표시의 실시예로서, 한쪽 눈 화면(단안 자극)에만 화면의 가로 해상도를 기준으로 좌에서 우 방향으로 움직이는 오브젝트를 표시할 수 있다.
또한, 영상자극 표시 수단은 도면부호 340와 같이, 양안 동적 자극을 위한 영상 표시의 실시예로서, 양쪽 눈 화면(양안 자극)에 움직이는 오브젝트를 표시할 수 있다.
한편, 영상자극 표시 수단은 도면부호 350와 같이, 무자극을 위한 Black 영상을 표시하고, 정면 화면을 응시하도록 유도할 수 있다.
도 4는 일실시예에 따른 아이트래커 영상에서 실제 길이로 변환하는 실시예(400)를 설명하는 도면이다.
도 4는 아이트래커 영상(412)에서 실제의 가로 길이를 산출하는 방법을 나타낸 것이다.
구체적으로, 실시예(400)에 따르면 아래 [수학식 2]에 기초하여 영상(412)에서 실제의 가로 길이(Dhor)를 산출할 수 있다.
Figure PCTKR2019018006-appb-M000002
Dimage는 실제의 가로 길이(Dhor) 중에서 왼쪽 눈 또는 오른쪽 눈으로부터 측정 가능한 실제의 가로 길이를 나타낸다. 즉, 실제의 가로 길이(Dhor)의 절반의 값(413 또는 414)으로 해석될 수 있다.
한편, Deye-camera는 눈과 아이트래커 카메라(411) 간 거리를 나타내고, FOV는 아이트래커 카메라(411)의 화각(FOV)을 나타낼 수 있다.
즉, [수학식 2]에 기초하여 눈과 아이트래커 카메라(411) 사이의 간격(Deye-camera) 및 카메라의 FOV(field of view) 수치를 통해 이미지 가로의 절반(Dimage)에 해당하는 길이를 얻을 수 있다.
또한 해당 값을 아이트래커 카메라의 가로 해상도의 절반에 해당하는 값으로 나눠주면, 픽셀 당 실제길이를 알 수 얻을 수 있다.
도 5는 일실시예에 따른 위치 좌표를 길이로 환산하는 실시예를 설명하는 도면이다.
도 5의 도면부호 510은 응시를 위한 지표가 표시된 영상을 나타낸다. 중앙의 점선은 화면의 중심위치를 나타낸다. 중심위치는 양안의 화면이 하나의 디스플레이로 표현되는 경우 디스플레이의 가로방향 중심을 나타내며, 개별의 디스플레이로 표현되는 경우 각 디스플레이 중앙 위치의 중심이 될 수 있다.
지표는 사용자의 응시를 유도할 수 있는 화면상의 표현되는 것을 나타내며, X, + 등의 다양한 모양이 사용될 수 있다. 지표의 위치 및 간격 등은 가로 방향을 기준으로 측정되며, dL과 dR을 같거나 다르게 설정할 수 있다. 지표가 표시되는 화면은 한쪽 눈의 화면 또는 양쪽 눈의 화면 모두가 될 수 있다.
도면부호 510를 예로 살펴보면, 두 카메라의 중앙에서 좌우 32mm씩 떨어져 있는 두 물체는 x좌표 320에 해당하는 중심위치(511)와, x좌표 960에 해당하는 중심위치(512)에 표시될 수 있다.
중심위치(511)와 중심위치(512)에 의한 좌우 영상의 좌표차이는 640pixel로서 64mm에 해당한다. 단, 한 이미지 내의 640pixel과 64mm는 무관하다.
한편, 도면부호 520을 살펴보면, 두 물체(a, b)의 x 좌표는 각각 Pa, Pb로서 산출한 단위 픽셀당 길이를 이용하여 두 물체 사이의 간격을 계산할 수 있다.
이를 위해서는, 단위 픽셀당 길이인 U mm/pixel와 두 물체(a, b)의 x 좌표인 Pa, Pb가 필요하다.
먼저, a, b의 간격, a의 위치, 그리고 b의 위치는 다음의 [수학식 3]을 통해 산출이 가능하다.
Figure PCTKR2019018006-appb-M000003
[수학식 3]에서 Pa, Pb는 두 물체(a, b)의 x 좌표로 해석될 수 있다. 또한, U는 단위 픽셀당 길이로서, 영상의 가로 픽셀을 해상도로 나눈 값을 해석될 수 있다.
본 발명의 일실시예에 따른 동공 중심간 거리 측정 장치는 동공 중심간 거리를 측정하기 위해 두 눈의 개별 위치를 계산하여 합산하거나, 양쪽 눈에 대한 동공의 위치 좌표를 계산하여 산출할 수 있다.
먼저, 도 6은 일실시예에 따른 두 눈의 개별 위치를 계산하는 실시예(600)를 설명하는 도면이다. 구체적으로 실시예(600)는 한쪽 눈 또는 양쪽 눈에 물체가 있는 화면을 보여줬을 때, 눈의 모습을 보여준다.
D는 눈(동공)의 위치와 화면 상의 오브젝트까지의 거리를 나타낸다. 또한, 렌즈가 없을 시 D는 디스플레이와 눈 사이의 간격이 되며, VR용 렌즈가 있을 시 가상의 응시점이 맺히는 위치까지의 거리로 해석될 수 있다.
기준은 일반적으로 두 VR 화면의 중앙이 될 수 있다. d는 화면의 기준에서 물체(613, 응시점)까지의 간격으로서, 측정하는 값이 아닌 설정된 값이다.
또한, 동공의 위치인 A는 측정되는 값으로서 기준으로부터 동공의 중심(611)까지의 거리이다. 안구(612)의 회선중심-각막 간격은 안구(612)의 반지름으로서, 문헌상 평균값은 13.5mm이다.
안구(612)의 회선중심-각막 간격은 문헌상 평균값을 이용하지 않고 서로 다른 위치의 응시점에 대한 동공의 움직임을 기록하는 영상 정보를 통해 직접 산출할 수도 있다.
본 발명의 일실시예에 따른 동공 중심간 거리 측정 장치는 동공 중심간 거리를 측정하기 위해 두 눈의 개별 위치를 계산하되, 이때 좌안 및 우안 각각의 위치를 얻은 뒤 합산을 통해 동공 중심간 거리를 산출할 수 있다.
우안을 예를 들어 살펴보면, 우안의 동공의 중심 위치는 동공의 위치(좌표가 아닌 길이 값)와 안구의 회선중심에서 각막까지의 거리(문헌값 평균 13.5mm), 동공이 응시점(613)을 바라보는 각도(
Figure PCTKR2019018006-appb-I000001
)를 이용해서 산출할 수 있다.
Figure PCTKR2019018006-appb-M000004
[수학식 4]를 살펴보면, A는 동공 위치로서, 좌표가 아닌 기준으로부터의 길이 값으로 해석될 수 있고, r은 안구의 회선중심에서 각막까지의 거리로 해석될 수 있다.
우안의 동공의 중심 위치는 우안의 동공 위치에, 안구의 회선중심에서 각막까지의 거리에
Figure PCTKR2019018006-appb-I000002
를 곱한 값을 합산하여 산출할 수 있다.
특히, 거리 측정부는 환산한 길이인 우안의 동공 위치와, 동공의 회선중심에서 각막까지의 길이에 동공이 응시하는 오브젝트 내의 응시점을 향하는 각도를 고려한 비율을 곱한 값을 합산하여 우안의 동공 중심간 거리를 산출할 수 있다.
좌안의 경우, 상술한 우안의 동공 중심간 거리와 동일한 방법으로 산출할 수 있다.
[수학식 4]는 Arctangent, Sine 함수를 활용하여 동공 중심간 거리를 산출하나, [수학식 5]는 [수학식 4]에 사용된 Arctangent, Sine 함수를 테일러 급수로 변환하여
Figure PCTKR2019018006-appb-I000003
값을 수식적으로 근사하여 동공 중심간 거리를 산출할 수 있다.
Figure PCTKR2019018006-appb-M000005
[수학식 5]를 살펴보면, A는 동공 위치로서, 좌표가 아닌 기준으로부터의 길이 값으로 해석될 수 있고, r은 안구의 회선중심에서 각막까지의 거리로 해석될 수 있다.
우안의 동공의 중심 위치는 우안의 동공 위치에, 안구의 회선중심에서 각막까지의 거리에
Figure PCTKR2019018006-appb-I000004
를 곱한 값을 합산하여 산출할 수 있다.
[수학식 5]는 D > d (
Figure PCTKR2019018006-appb-I000005
)의 조건에 한하여 근사에 의한 오차율이 1% 이하이며, 해당 실험에 사용된 D는 30cm, d는 1~5cm이다.
거리 측정부는 측정된 동공의 위치 좌표를 길이로 환산하여 A의 값 계산할 수 있다. 또한, 설계수치에 해당하는 d, D, r 값과 측정된 동공의 위치 A 값을 토대로 눈의 위치 X를 계산할 수 있고, 좌, 우 각각의 눈에 대한 위치(Xleft, Xright)를 구한 뒤, 두 값을 합산하여 동공 중심간 거리(IPD)를 산출할 수 있다.
도 7은 일실시예에 따른 눈의 공동운동(conjugate eye movement)에 기초하여 양쪽 눈의 동공의 위치 좌표를 계산하는 실시예(710)를 설명하는 도면이다.
도 7은 한쪽 눈에만 물체가 있는 화면을 보여주었을 때의 눈의 방향 및 동공 중심간 거리를 나타낸다. 두 눈의 움직임의 크기와 방향이 모두 같은 경우를 공동운동(conjugate)이라 한다. 이를 근거로 한쪽 눈에만 표시가 보일 때, 반대쪽 눈도 같은 크기와 방향으로 이동하게 되므로 두 눈의 좌표간 차이와 픽셀 당 실제길이 값을 통해 동공 중심간 거리를 산출할 수 있다.
좌우 눈의 움직임에는 강한 연관성이 있어 두 눈의 움직임의 크기와 방향이 모두 같은 경우가 대부분이다.
도면부호 712과 같이, 왼쪽 화면 상에 단안 자극을 주었을 때 해당 눈이 자극을 따라 움직이는 크기와 동일하게 반대쪽(오른쪽) 눈이 움직인다면, 아래 [수학식 6]을 통해 좌, 우 아이트래킹 위치 좌표의 간격(711)만으로 쉽게 IPD 산출이 가능하다.
Figure PCTKR2019018006-appb-M000006
[수학식 6]에서 Pleft, Pright는 각각 좌, 우 동공 좌표로 해석될 수 있다. 또한, U (mm/pixel)는 단위 픽셀당 길이로 해석될 수 있고, 64mm는 아이트래커 카메라(212) 사이의 거리로 해석될 수 있다.
도면부호 720은 왼쪽눈을 통해 응시점(712)을 응시하는 과정에서 좌우 동공의 중심 좌표가 Pleft, Pright로 이동해 있는 모습을 나타낸다.
도 8은 일실시예에 따른 동공 중심간 거리 측정 장치가 두 눈의 개별 위치 계산을 통해 동공 중심간 거리를 산출하는 실시예(800)를 설명하는 도면이다.
도면부호 811은 왼쪽 눈(812)이 바라보는 응시점이고, 도면부호 821은 오른쪽 눈(822)이 바라보는 응시점이다. 또한, 도면부호 813은 왼쪽 눈의 동공 중심이고, 도면부호 823은 오른쪽 눈의 동공 중심으로서 왼쪽 눈의 동공 중심과 오른쪽 눈의 동공 중심은 동공 중심간 거리를 산출하는데 기준이 된다.
VR기기를 잘못 착용하여 기기와 얼굴의 중앙이 일치하지 않더라도 두 눈의 개별 위치 계산을 통한 동공 중심간 거리의 산출이 가능해야 한다.
화면(또는 VR기기)과 얼굴의 중앙이 일치하지 않아 중심간 차이가 △일 때, 양 화면(왼쪽 눈이 바라보는 화면과 오른쪽 눈이 바라보는 화면)에서 오브젝트의 위치는 방향에 따라 ±△만큼 치우쳐지게 된다.
일실시예에 따른 동공 중심간 거리 측정 장치는 [수학식 5]에서 설명한 바와 같이 테일러 급수를 활용하여
Figure PCTKR2019018006-appb-I000006
값을 수식적으로 근사하여 동공 중심간 거리를 산출할 수 있다.
즉, 일실시예에 따른 동공 중심간 거리 측정 장치는 왼쪽 눈으로부터 동공 중심까지의 거리(L)와 오른쪽 눈으로부터 동공 중심까지의 거리(R)를 [수학식 7]에 의해서 산출할 수 있다.
Figure PCTKR2019018006-appb-M000007
[수학식 7]에서 AL과 AR은 동공 위치이고, D는 디스플레이와 눈 사이의 간격이며, VR용 렌즈가 있을 시 가상의 응시점이 맺히는 위치까지의 거리이다.,, 또한, r은 안구의 회선중심에서 각막까지의 거리이고, d는 화면의 기준에서 물체(응시점)까지의 간격으로 해석될 수 있다. 또한, △는 화면(또는 VR기기)과 얼굴의 중앙이 일치하지 않아 발생한 중심간 차이로 해석될 수 있다.
Figure PCTKR2019018006-appb-M000008
[수학식 7]을 통해 산출한 왼쪽 눈으로부터 동공 중심까지의 거리(L)와 오른쪽 눈으로부터 동공 중심까지의 거리(R)를 기반으로 [수학식 8]에서는 동공 중심간 거리(IPD)를 산출할 수 있다.
[수학식 8]에서 보는 바와 같이, 동공 중심간 거리(IPD)에 있어, 눈의 개별 위치에는 차이가 발생할 수 있으나, IPD로 합산하는 과정에서 △의 영향 사라진다.
도 9는 일실시예에 따른 동공 중심간 거리 측정 장치가 안구의 회선중심에서 각막까지의 길이를 산출하는 실시예(900)를 설명하는 도면이다.
눈의 회선중심에서 각막까지의 길이(r)는 문헌값 평균 13.5mm을 사용할 수 있다.
그러나, 일실시예에 따른 동공 중심간 거리 측정 장치는 서로 다른 위치의 지표 대한 시선좌표 데이터를 통해 눈의 회선중심에서 각막까지의 길이를 수식적으로 계산할 수 있다.
도 9는 안구의 회선중심-각막 거리(r)를 산출하는 방법을 나타내는 그림이다.
도면부호 911은 동공의 중심이 914의 위치에서 바라보는 응시점에 해당하고, 도면부호 912는 동공의 중심이 913의 위치에서 바라보는 응시점에 해당한다. 또한, d1은 화면의 중심에서부터 응시점(911)까지의 거리이고, d2는 화면의 중심에서부터 응시점(912)까지의 거리이다. 한편, A1은 화면의 중심에서부터 동공의 중심(914)까지의 거리를 나타내고, A2는 화면의 중심에서부터 동공의 중심(913)까지의 거리를 나타낸다.
도 9를 살펴보면, 수평 방향으로 서로 다른 거리(d1, d2)에 배치된 지표에 대한 각각의 동공의 움직임을 기록하는 영상 정보 A1, A2와 눈과 오브젝트까지의 거리 D를 바탕으로 아래 수식을 통해 r 값을 산출할 수 있다.
일실시예에 따른 동공 중심간 거리 측정 장치는 [수학식 5]에서 설명한 바와 같이 테일러 급수를 활용하여
Figure PCTKR2019018006-appb-I000007
값을 수식적으로 근사하는 원리에 기초하여 [수학식 9]를 통해 응시점(911)을 바라볼 때의 눈의 위치(Xd1)와 응시점(912)을 바라볼 때의 눈의 위치(Xd2)를 계산할 수 있다.
Figure PCTKR2019018006-appb-M000009
[수학식 9]에서 A1은 응시점(911)을 바라볼 때의 화면 중심으로부터 동공 중심간 거리이고, A2는 응시점(912)을 바라볼 때의 화면 중심으로부터 동공 중심간 거리이며, D는 디스플레이와 눈 사이의 간격이며, VR용 렌즈가 있을 시 가상의 응시점이 맺히는 위치까지의 거리를 나타낸다. r은 응시점(911, 912)을 바라볼 때의 안구의 회선중심에서 각막까지의 거리이다.
결국, 응시점(911)을 바라볼 때의 눈의 위치(Xd1)와 응시점(912)을 바라볼 때의 눈의 위치(Xd2)는 동일해야 하므로, [수학식 9]로부터 아래 [수학식 10]이 성립될 수 있다.
Figure PCTKR2019018006-appb-M000010
[수학식 10]을 r에 대해서 정리하여 간략화하면 아래 [수학식 11]로 정리될 수 있다.
Figure PCTKR2019018006-appb-M000011
만약, △d >> △A 인 경우를 만족한다면, [수학식 11]은 [수학식 12]로 보다 간략화될 수 있다.
Figure PCTKR2019018006-appb-M000012
이때, △d이 △A에 비해서 10배 이상의 커야 간략화된 결과에 대한 오차가 허용 가능한 수준일 수 있다.도 10은 일실시예에 따른 두 눈의 공동운동(conjugate eye movement)에 기초하여 동공의 위치 좌표를 계산하는 동공 중심간 거리 측정 방법을 설명하는 도면이다.
즉, 도 10은 왼쪽 눈(좌안) 또는 오른쪽 눈(우안)의 화면만 표시한 조건에서 두 눈의 좌표 간격을 토대로 동공 중심간 거리를 산출하는 방법을 설명한다.
먼저, 일실시예에 따른 동공 중심간 거리 측정 방법은 영상자극 표시 수단을 이용해서 좌안이나 우안 중에서 어느 한곳에 오브젝트가 있는 화면을 표시할 수 있다(단계 1001).
다음으로, 일실시예에 따른 동공 중심간 거리 측정 방법은 아이트래커로부터 좌안과 우안에 대한 좌표를 수집할 수 있다(단계 1002).
이후, 일실시예에 따른 동공 중심간 거리 측정 방법은 수집된 좌안과 우안에 대한 좌표를 이용해서, 기 저장된 값에 근거하여 두 눈의 좌표 간격을 길이로 환산할 수 있다.
이때 활용하는 기 저장된 값은 눈의 회선중심에서부터 동공의 중심간 거리로서 문헌 등에서 널리 사용되는 수치가 적용될 수 있다.
일실시예에 따른 동공 중심간 거리 측정 방법은 동공 중심간 거리를 산출하기 위해, 동공과 카메라 사이의 거리와 상기 카메라의 화각(FOV, field of view)을 이용하여 상기 영상의 가로방향 길이를 산출할 수 있다.
예를 들어, 상기 영상의 가로방향 길이에 대한 영상의 해상도의 비율에 기초하여 단위 픽셀당 길이를 산출하고, 위치 좌표의 차이에 상기 영상에 대한 단위 픽셀당 길이를 반영해서 동공 중심간 거리를 산출할 수 있다.
다음으로, 일실시예에 따른 동공 중심간 거리 측정 방법은 두 눈의 위치(길이) 값을 기반으로 동공 중심간 거리(IPD)를 산출할 수 있다.
일실시예에 따른 동공 중심간 거리 측정 방법은 한 쪽 눈에만 자극을 준 뒤, 순차적으로 반대편 눈에 자극을 주는 방식으로 IPD를 산출할 수도 있다.
이를 위해, 일실시예에 따른 동공 중심간 거리 측정 방법은 상기 한쪽 눈에 표시된 오브젝트를 상기 다른 한쪽 눈에서 표시하도록 제어하고, 상기 오브젝트를 트래킹 하는 다른 한쪽 눈의 동공의 움직임과, 상기 다른 한쪽 눈의 동공의 움직임과 함께 공동운동(conjugate)하는 동공의 움직임에 의해 발생되는 동공의 움직임을 기록하는 영상 정보를 수집하여 상기 동공의 중심 각각에 대한 서로 다른 두 개의 위치 좌표를 산출할 수 있다.
또한, 일실시예에 따른 동공 중심간 거리 측정 방법은 동일한 눈의 화면에서 오브젝트의 정지 위치에 변화를 주거나 움직이도록 하는 등의 다양한 방법이 적용될 수도 있다.
이를 위해, 일실시예에 따른 동공 중심간 거리 측정 방법은 영상의 특정 위치에 응시를 위한 오브젝트를 한쪽 눈에만 표시 하고, 상기 한쪽 눈에 표시된 오브젝트의 움직임 또는 위치 중에서 적어도 하나를 제어할 수 있다.
이 경우, 일실시예에 따른 동공 중심간 거리 측정 방법은 상기 오브젝트를 트래킹 하는 상기 한쪽 눈의 동공의 움직임과, 상기 동공의 움직임과 함께 공동운동(conjugate)하는 동공의 움직임에 의해 발생되는 동공의 움직임을 기록하는 영상 정보를 수집하여 상기 동공의 중심 각각에 대한 서로 다른 두 개의 위치 좌표를 산출할 수 있다.
도 11은 일실시예에 따른 두 눈의 개별 위치를 계산하여 동공의 위치 좌표를 계산하는 동공 중심간 거리 측정 방법을 설명하는 도면이다.
도 11은 좌안 또는 우안의 화면만 표시한 조건에서 각 눈의 위치좌표를 토대로 동공 중심간 거리를 산출하는 방법에 관한 플로우차트를 나타낸다.
먼저, 일실시예에 따른 동공 중심간 거리 측정 방법은 영상자극 표시 수단을 이용해서 좌안이나 우안 중에서 어느 한곳에 오브젝트가 있는 화면을 표시하고(단계 1101), 아이트래커로부터 좌안과 우안에 대한 좌표를 수집할 수 있다(단계 1102).
일실시예에 따른 동공 중심간 거리 측정 방법은 회선중심에서 각막까지의 길이(r) 값을 기본값으로 사용할 것인지를 판단할 수 있다(1103).
만약, 회선중심에서 각막까지의 길이(r) 값을 기본값으로 사용할 경우 문헌 등에서 널리 이용되는 회선중심에서 각막까지의 길이 수치를 사용할 수 있다. 이 경우 일실시예에 따른 동공 중심간 거리 측정 방법은 기 저장된 값과 수집된 시선좌표 값에 근거해 기준점에서 안구 중심까지의 간격(X) 값을 길이로 환산하고(단계 1104), 계산된 길이 값에 근거하여 동공 중심간 거리를 산출할 수 있다(단계 1105).
한편, 일실시예에 따른 동공 중심간 거리 측정 방법은 회선중심에서 각막까지의 길이(r) 값을 기본값으로 사용하지 않을 수 있다. 이 경우에 일실시예에 따른 동공 중심간 거리 측정 방법은 회선중심에서 각막까지의 길이(r) 값을 직접 산출할 수 있다.
보다 구체적으로, 일실시예에 따른 동공 중심간 거리 측정 방법은 단계 1103의 판단 결과, 회선중심에서 각막까지의 길이(r) 값을 기본값으로 사용하지 않는다고 판단할 수 있다.
이 경우, 일실시예에 따른 동공 중심간 거리 측정 방법은 각 눈 별로 서로 다른 오브젝트 위치에 대한 시선 좌표를 수집하였는지 여부를 판단할 수 있다(단계 1106). 단계 1106의 판단 결과, 각 눈 별로 서로 다른 오브젝트 위치에 대한 시선 좌표를 수집하지 않았다면 회선중심에서 각막까지의 길이를 산출할 수 없다. 즉, 일실시예에 따른 동공 중심간 거리 측정 방법은 오브젝트의 가로방향 위치가 달라지도록 영상자극 표시 수단을 설정하고(단계 1107), 단계 1101로 분기할 수 있다.
단계 1106의 판단 결과, 각 눈 별로 서로 다른 오브젝트 위치에 대한 시선 좌표를 수집하였다면 회선중심에서 각막까지의 길이를 산출할 수 있다. 이를 위해, 일실시예에 따른 동공 중심간 거리 측정 방법은 기 저장된 값과 수집된 시선좌표 값에 근거해 회선중심에서 각막까지의 길이(r) 값을 산출할 수 있다(단계 1108). 또한, 일실시예에 따른 동공 중심간 거리 측정 방법은 두 눈의 위치를 모두 수집했는지 여부를 판단하고(단계 1109), 판단 결과 모두 수집했다면 단계 1104로 분기하여 간격(X) 값을 길이로 환산하는 과정을 수행할 수 있다.
단계 1109의 판단 결과, 두 눈의 위치를 모두 얻지 못했다면, 일실시예에 따른 동공 중심간 거리 측정 방법은 이전과 다른 쪽의 화면에 오브젝트가 표시되도록 영상자극 표시 수단을 설정하고(단계 1110), 단계 1101로 분기할 수 있다.
도 12는 다른 일실시예에 따른 두 눈의 개별 위치를 계산하여 동공의 위치 좌표를 계산하는 동공 중심간 거리 측정 방법을 설명하는 도면이다.
도 12는 양안의 화면 모두 오브젝트를 표시하는 조건에서 각 눈의 위치좌표를 토대로 동공 중심간 거리를 산출하는 방법에 관한 플로우차트를 나타낸다.
먼저, 일실시예에 따른 동공 중심간 거리 측정 방법은 영상자극 표시 수단을 이용해서 좌안과 우안이 모두 수렴할 수 있도록 양쪽의 화면(좌안 화면 및 우안 화면)에 오브젝트가 있는 화면을 표시하고(단계 1201), 아이트래커로부터 좌안과 우안에 대한 좌표를 수집할 수 있다(단계 1202).
또한, 일실시예에 따른 동공 중심간 거리 측정 방법은 회선중심에서 각막까지의 길이(r) 값을 기본값으로 사용할 것인지를 판단할 수 있다(1203).
만약, 회선중심에서 각막까지의 길이(r) 값을 기본값으로 사용할 경우 문헌 등에서 널리 이용되는 회선중심에서 각막까지의 길이 수치를 사용할 수 있다. 이 경우 일실시예에 따른 동공 중심간 거리 측정 방법은 기 저장된 값과 수집된 시선좌표 값에 근거해 기준점에서 안구 중심까지의 간격(X) 값을 길이로 환산하고(단계 1204), 계산된 길이 값에 근거하여 동공 중심간 거리를 산출할 수 있다(단계 1205).
한편, 일실시예에 따른 동공 중심간 거리 측정 방법은 회선중심에서 각막까지의 길이(r) 값을 기본값으로 사용하지 않을 수 있다. 이 경우에 일실시예에 따른 동공 중심간 거리 측정 방법은 회선중심에서 각막까지의 길이(r) 값을 직접 산출할 수 있다. 일실시예에 따른 동공 중심간 거리 측정 방법은 단계 1203의 판단 결과, 회선중심에서 각막까지의 길이(r) 값을 기본값으로 사용하지 않는다고 판단할 수 있다.
이 경우, 일실시예에 따른 동공 중심간 거리 측정 방법은 각 눈에 대해서 서로 다른 오브젝트 위치에 대한 시선 좌표를 수집하였는지 여부를 판단할 수 있다(단계 1206). 단계 1206의 판단 결과, 각 눈 별로 서로 다른 오브젝트 위치에 대한 시선 좌표를 수집하지 않았다면 회선중심에서 각막까지의 길이를 산출할 수 없다. 즉, 일실시예에 따른 동공 중심간 거리 측정 방법은 오브젝트의 가로방향 위치가 달라지도록 영상자극 표시 수단을 설정하고(단계 1208), 단계 1201로 분기할 수 있다.
단계 1206의 판단 결과, 각 눈 별로 서로 다른 오브젝트 위치에 대한 시선 좌표를 수집하였다면 회선중심에서 각막까지의 길이를 산출할 수 있다. 이를 위해, 일실시예에 따른 동공 중심간 거리 측정 방법은 기 저장된 값과 수집된 시선좌표 값에 근거해 회선중심에서 각막까지의 길이(r) 값을 산출하고(단계 1207), 단계 1204와 1205를 통해 산출된 회선중심에서 각막까지의 길이(r) 값에 기초하여 동공 중심간 거리를 산출할 수 있다
본 발명을 이용하면, 사용자의 눈에 맞춰 화면을 구성한다면 VR기기 사용자 모두 제작자가 의도한 깊이감을 느껴 몰입감을 극대화 할 수 있다. 또한 IPD가 남성 평균과 차이가 크더라도 VR체험을 할 수 있게 되므로, 현재보다 더 폭넓은 사용자를 확보할 수 있게 된다. 결과적으로 본 발명을 이용하는 경우, VR기기의 보편화 및 대중화에 긍정적인 효과가 있을 것으로 기대된다.
또한, 앞서 언급한 것과 같이 근래 헤드 마운트형 디스플레이 기기는 시각적 몰입감을 향상시키고, 영상의 렌더링 효율을 높이기 위해 아이트래커를 내장하는 방향으로 나아가고 있다. 본 발명은 추가적인 비용 없이 상기 헤드 마운트형 디스플레이 기기들에 쉽게 적용 및 활용이 가능하다는 장점이 있다.
또한, 본 발명은 VR, AR환경에서 입체감, 몰입도 향상 등의 효과가 있다. 또한 IPD차이가 커 기존 VR기기 사용시 상이 맺히지 않아 사용이 어려웠던 사람들도 VR 사용이 가능하여 사용자 풀을 확장하는데 도움이 된다. 때문에 본 기술은 미래 잠재력이 큰 기술로 기대된다.
이상에서 설명된 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPA(field programmable array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 실시예들이 비록 한정된 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.
[이 발명을 지원한 국가연구개발사업]
[과제고유번호] 20181440
[부처명] 한국연구재단(LINC+사업)
[연구관리전문기관] 한국연구재단(LINC사업)
[연구사업명] 지원사업
[연구과제명] 가상현실 착용형 기기의 생체신호 획득 솔루션으로의 활용에 관한 연구
[기여율] 1/1
[주관기관] 경희대학교 산학협력단
[연구기간] 2018.07.23 ~ 2018.12.31

Claims (26)

  1. 영상의 특정 위치에 응시를 위한 오브젝트를 표시 하도록 구성되는 영상자극 표시 수단; 및
    상기 표시 수단과 동작가능하게 연결된 프로세서를 포함하고,
    상기 프로세서는,
    상기 오브젝트를 응시하는 동공의 움직임을 기록하는 영상 정보를 수집하여 상기 동공의 중심에 대한 위치 좌표를 산출하고,
    상기 산출된 위치 좌표를 이용해서 상기 동공 중심간 거리를 산출하되, 상기 동공의 위치 좌표를 길이로 각각 환산하고,
    상기 각각 환산된 길이를 이용해서 상기 동공 중심간 거리를 산출하도록 구성되는, 동공 중심간 거리 측정 장치.
  2. 제1항에 있어서,
    상기 프로세서는,
    상기 환산한 길이에 상기 동공의 회선중심에서 각막까지의 길이를 반영하여 상기 동공 중심간 거리를 산출하도록 더 구성되는, 동공 중심간 거리 측정 장치.
  3. 제2항에 있어서,
    상기 프로세서는,
    상기 환산한 길이와, 상기 동공의 회선중심에서 각막까지의 길이에 상기 동공이 응시하는 상기 오브젝트 내의 응시점을 향하는 각도를 고려한 비율을 곱한 값을 합산하여 상기 동공 중심간 거리를 산출하도록 더 구성되는, 동공 중심간 거리 측정 장치.
  4. 제2항에 있어서,
    상기 프로세서는,
    상기 환산한 길이에 눈과 오브젝트 사이의 거리 및 상기 회선중심에서 각막까지의 길이를 반영한 값과, 상기 회선중심에서 각막까지의 길이에 상기 영상의 화면 중앙에서 오브젝트 내의 응시점까지의 거리를 반영한 값의 차이를 이용해서 상기 동공 중심간 거리를 산출하도록 더 구성되는, 동공 중심간 거리 측정 장치.
  5. 제2항에 있어서,
    상기 프로세서는,
    설계수치에 따라 미리 지정된 상기 회선중심에서 각막까지의 길이를 반영하여 상기 동공 중심간 거리를 산출하도록 더 구성되는, 동공 중심간 거리 측정 장치.
  6. 제2항에 있어서,
    상기 프로세서는,
    상기 영상 내 서로 다른 응시점에 대한 동공의 시선좌표, 상기 영상의 중심으로부터 상기 서로 다른 응시점까지의 거리, 상기 영상의 중심으로부터 상기 시선좌표의 길이, 상기 눈과 오브젝트 사이의 거리를 이용해서 상기 회선중심에서 각막까지의 길이를 산출하도록 더 구성되는, 동공 중심간 거리 측정 장치.
  7. 제1항에 있어서,
    상기 프로세서는,
    상기 위치 좌표의 차이에 상기 영상에 대한 단위 픽셀당 길이를 반영해서 상기 동공 중심간 거리를 산출하도록 더 구성되는, 동공 중심간 거리 측정 장치.
  8. 제7항에 있어서,
    상기 프로세서는,
    상기 영상의 가로방향 길이에 대한 상기 영상의 해상도의 비율에 기초하여 상기 단위 픽셀당 길이를 산출하도록 더 구성되는, 동공 중심간 거리 측정 장치.
  9. 제7항에 있어서,
    상기 프로세서는,
    상기 동공과 카메라 사이의 거리와 상기 카메라의 화각(FOV, field of view)을 이용하여 상기 영상의 가로방향 길이를 산출하도록 더 구성되는, 동공 중심간 거리 측정 장치.
  10. 제1항에 있어서,
    상기 영상자극 표시 수단은,
    무자극, 단안 정적 자극, 양안 정적 자극, 단안 동적 자극, 및 양안 동적 자극 중에서 적어도 하나의 자극 방식으로 상기 오브젝트를 표시 하도록 더 구성되는, 동공 중심간 거리 측정 장치.
  11. 제1항에 있어서,
    상기 오브젝트를 응시하는 동공의 움직임을 추적하여 동공의 움직임을 기록하는 영상 정보를 생성하는 아이트래커
    를 더 포함하는 동공 중심간 거리 측정 장치.
  12. 영상의 특정 위치에 응시를 위한 오브젝트를 한쪽 눈에만 표시 하는 영상자극 표시 수단; 및
    상기 표시 수단과 동작가능하게 연결되 프로세서를 포함하고,
    상기 프로세서는,
    상기 오브젝트를 응시하는 상기 한쪽 눈의 동공의 움직임과, 상기 동공의 움직임과 함께 공동운동(conjugate)하는 다른 한쪽 눈에 대한 동공의 움직임에 의해 발생되는 동공의 움직임을 기록하는 영상 정보를 수집하여 상기 동공의 중심 각각에 대한 서로 다른 두 개의 위치 좌표를 산출하고,
    상기 산출된 서로 다른 두 개의 위치 좌표를 이용해서 상기 동공 중심간 거리를 산출하되, 상기 서로 다른 두 개의 위치 좌표의 차이에 기초하여 상기 동공의 간격을 산출하고, 상기 산출된 간격을 이용해서 상기 동공 중심간 거리를 산출하도록 구성되는, 동공 중심간 거리 측정 장치.
  13. 제12항에 있어서,
    상기 프로세서는,
    상기 서로 다른 두 개의 위치 좌표의 차이에 상기 영상에 대한 단위 픽셀당 길이를 반영해서 상기 동공 중심간 거리를 산출하도록 더 구성되는, 동공 중심간 거리 측정 장치.
  14. 제13항에 있어서,
    상기 프로세서는,
    상기 영상의 가로방향 길이에 대한 상기 영상의 해상도의 비율에 기초하여 상기 단위 픽셀당 길이를 산출하도록 더 구성되는, 동공 중심간 거리 측정 장치.
  15. 제13항에 있어서,
    상기 프로세서는,
    상기 동공과 카메라 사이의 거리와 상기 카메라의 화각(FOV, field of view)을 이용하여 상기 영상의 가로방향 길이를 산출하도록 더 구성되는, 동공 중심간 거리 측정 장치.
  16. 제12항에 있어서,
    상기 영상자극 표시 수단은,
    움직임 또는 위치 중에서 적어도 하나가 제어되는 상기 한쪽 눈에 표시된 오브젝트를 표시하도록 더 구성되고,
    상기 프로세서는,
    상기 오브젝트를 트래킹 하는 상기 한쪽 눈의 동공의 움직임과, 상기 동공의 움직임과 함께 공동운동(conjugate)하는 동공의 움직임에 의해 발생되는 동공의 움직임을 기록하는 영상 정보를 수집하여 상기 동공의 중심 각각에 대한 서로 다른 두 개의 위치 좌표를 산출도록 더 구성되는, 동공 중심간 거리 측정 장치.
  17. 영상의 특정 위치에 응시를 위한 오브젝트를 양쪽 눈 중에서 어느 한쪽 눈에만 표시 하도록 구성된 영상자극 표시 수단; 및
    상기 오브젝트를 응시하는 상기 한쪽 눈의 동공의 움직임과, 상기 동공의 움직임과 함께 공동운동(conjugate)하는 다른 한쪽 눈에 대한 동공의 움직임에 기초하여 상기 한 쪽 동공에 대한 위치 좌표를 산출하는 위치 산출하도록 구성된 프로세서를 포함하는, 동공 위치 측정 장치.
  18. 제17항에 있어서,
    상기 영상자극 표시 수단은,
    움직임 또는 위치 중에서 적어도 하나가 제어되는 상기 한쪽 눈에 표시된 오브젝트를 표시하도록 더 구성되는, 동공 위치 측정 장치.
  19. 제17항에 있어서,
    상기 프로세서는,
    상기 한쪽 눈에 오브젝트를 표시하여 상기 한쪽 눈에 대한 동공의 위치 좌표를 산출한 뒤,
    상기 다른 한쪽 눈에서 상기 오브젝트를 표시하도록 제어하고, 상기 위치 산출부에서 상기 다른 한쪽 눈에 대한 동공의 위치 좌표를 산출하고,
    상기 산출된 서로 다른 두 개의 위치 좌표를 이용해서 상기 동공 중심간 거리를 산출하도록 구성되는, 동공 중심간 거리 측정 장치.
  20. 영상의 특정 위치에 응시를 위한 오브젝트를 표시 하는 단계;
    상기 오브젝트를 트래킹 하는 동공의 움직임을 기록하는 영상 정보를 수집하여 상기 동공의 중심에 대한 위치 좌표를 산출하는 단계;
    상기 동공의 위치 좌표를 길이로 각각 환산하는 단계; 및
    상기 환산한 길이에 상기 동공의 회선중심에서 각막까지의 길이를 반영하여 상기 동공 중심간 거리를 산출하는 단계
    를 포함하는 동공 중심간 거리 측정 방법.
  21. 제20항에 있어서,
    상기 안구의 회선중심에서 각막까지의 길이를 반영하여 상기 동공 중심간 거리를 산출하는 단계는,
    설계수치에 따라 미리 지정된 상기 안구의 회선중심에서 각막까지의 길이를 반영하여 상기 동공 중심간 거리를 산출하는 단계
    를 포함하는 동공 중심간 거리 측정 방법.
  22. 제20항에 있어서,
    상기 회선중심에서 각막까지의 길이를 반영하여 상기 동공 중심간 거리를 산출하는 단계는,
    상기 영상 내 서로 다른 응시점에 대한 동공의 시선좌표, 상기 영상의 중심으로부터 상기 서로 다른 응시점까지의 거리, 상기 영상의 중심으로부터 상기 시선좌표의 길이, 상기 눈과 오브젝트 사이의 거리를 이용해서 상기 안구의 회선중심에서 각막까지의 길이를 산출하는 단계
    를 포함하는 동공 중심간 거리 측정 방법.
  23. 제20항에 있어서,
    상기 동공 중심간 거리를 산출하는 단계는,
    상기 동공과 카메라 사이의 거리와 상기 카메라의 화각(FOV, field of view)을 이용하여 상기 영상의 가로방향 길이를 산출하는 단계
    상기 가로방향 길이에 대한 상기 영상의 해상도의 비율에 기초하여 단위 픽셀당 길이를 산출하는 단계; 및
    상기 위치 좌표의 차이에 상기 영상에 대한 단위 픽셀당 길이를 반영해서 상기 동공 중심간 거리를 산출하는 단계
    를 포함하는 동공 중심간 거리 측정 방법.
  24. 영상의 특정 위치에 응시를 위한 오브젝트를 한쪽 눈에만 표시 하는 단계;
    상기 오브젝트를 응시하는 상기 한쪽 눈의 동공의 움직임과, 상기 동공의 움직임과 함께 공동운동(conjugate)하되 상기 오브젝트는 표시되지 않는 다른 한쪽 눈에 대한 동공의 움직임을 기록하는 영상 정보를 수집하여 상기 동공의 중심 각각에 대한 서로 다른 두 개의 위치 좌표를 산출하는 단계; 및
    상기 산출된 서로 다른 두 개의 위치 좌표의 차이에 기초하여 상기 동공의 간격을 산출하고, 상기 산출된 간격을 이용해서 상기 동공 중심간 거리를 산출하는 단계
    를 포함하는 동공 중심간 거리 측정 방법.
  25. 제24항에 있어서,
    상기 동공 중심간 거리를 산출하는 단계는,
    상기 동공과 카메라 사이의 거리와 상기 카메라의 화각(FOV, field of view)을 이용하여 상기 영상의 가로방향 길이를 산출하는 단계
    상기 가로방향 길이에 대한 상기 영상의 해상도의 비율에 기초하여 단위 픽셀당 길이를 산출하는 단계; 및
    상기 위치 좌표의 차이에 상기 영상에 대한 단위 픽셀당 길이를 반영해서 상기 동공 중심간 거리를 산출하는 단계
    를 포함하는 동공 중심간 거리 측정 방법.
  26. 제24항에 있어서,
    상기 영상의 특정 위치에 응시를 위한 오브젝트를 한쪽 눈에만 표시 하는 단계는,
    상기 한쪽 눈에 표시된 오브젝트의 움직임 또는 위치 중에서 적어도 하나를 제어하는 단계
    를 포함하고,
    상기 서로 다른 두 개의 위치 좌표를 산출하는 단계는,
    상기 오브젝트를 응시하는 상기 한쪽 눈의 동공의 움직임과, 상기 동공의 움직임과 함께 공동운동(conjugate)하는 동공의 움직임을 기록하는 영상 정보를 수집하여 상기 동공의 중심 각각에 대한 서로 다른 두 개의 위치 좌표를 산출하는 단계
    를 포함하는 동공 중심간 거리 측정 방법.
PCT/KR2019/018006 2019-02-01 2019-12-18 동공 중심간 거리를 측정하는 장치 및 방법 WO2020159077A1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020190014139A KR102184972B1 (ko) 2019-02-01 2019-02-01 동공 중심간 거리를 측정하는 장치 및 방법
KR10-2019-0014139 2019-02-01

Publications (1)

Publication Number Publication Date
WO2020159077A1 true WO2020159077A1 (ko) 2020-08-06

Family

ID=71841199

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2019/018006 WO2020159077A1 (ko) 2019-02-01 2019-12-18 동공 중심간 거리를 측정하는 장치 및 방법

Country Status (2)

Country Link
KR (1) KR102184972B1 (ko)
WO (1) WO2020159077A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116878381A (zh) * 2023-08-01 2023-10-13 湖南视比特机器人有限公司 一种基于多目视觉的在线全尺寸检测方法及系统

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220128726A (ko) 2021-03-15 2022-09-22 삼성전자주식회사 머리 착용형 디스플레이 장치, 그 장치에서의 동작 방법 및 저장매체

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005103039A (ja) * 2003-09-30 2005-04-21 Pentax Corp 瞳孔距離測定方法および測定器
JP2016013256A (ja) * 2014-07-01 2016-01-28 株式会社ニデック 瞳孔間距離計
WO2018087408A1 (es) * 2016-11-10 2018-05-17 E-Health Technical Solutions, S.L. Sistema para medición integral de parámetros clínicos de la función visual
KR20180060559A (ko) * 2016-11-29 2018-06-07 삼성전자주식회사 동공 거리 결정 방법 및 장치
JP2018205819A (ja) * 2017-05-30 2018-12-27 富士通株式会社 注視位置検出用コンピュータプログラム、注視位置検出装置及び注視位置検出方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140375540A1 (en) 2013-06-24 2014-12-25 Nathan Ackerman System for optimal eye fit of headset display device
BR112017024157B1 (pt) 2015-05-11 2022-11-16 6 OVER 6 VISION Ltd Método de medição de uma distância pupilar entre as pupilas de um usuário, produto, aparelho e dispositivo móvel

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005103039A (ja) * 2003-09-30 2005-04-21 Pentax Corp 瞳孔距離測定方法および測定器
JP2016013256A (ja) * 2014-07-01 2016-01-28 株式会社ニデック 瞳孔間距離計
WO2018087408A1 (es) * 2016-11-10 2018-05-17 E-Health Technical Solutions, S.L. Sistema para medición integral de parámetros clínicos de la función visual
KR20180060559A (ko) * 2016-11-29 2018-06-07 삼성전자주식회사 동공 거리 결정 방법 및 장치
JP2018205819A (ja) * 2017-05-30 2018-12-27 富士通株式会社 注視位置検出用コンピュータプログラム、注視位置検出装置及び注視位置検出方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116878381A (zh) * 2023-08-01 2023-10-13 湖南视比特机器人有限公司 一种基于多目视觉的在线全尺寸检测方法及系统
CN116878381B (zh) * 2023-08-01 2024-01-30 湖南视比特机器人有限公司 一种基于多目视觉的在线全尺寸检测方法及系统

Also Published As

Publication number Publication date
KR20200096002A (ko) 2020-08-11
KR102184972B1 (ko) 2020-12-01

Similar Documents

Publication Publication Date Title
WO2020242085A1 (en) Augmented reality device for adjusting focus region according to direction of user's view and operating method of the same
WO2018048054A1 (ko) 단일 카메라 기반의 3차원 영상 해석에 기초한 가상현실 인터페이스 구현 방법, 단일 카메라 기반의 3차원 영상 해석에 기초한 가상현실 인터페이스 구현 장치
WO2020141729A1 (ko) 신체 측정 디바이스 및 그 제어 방법
WO2018124662A1 (en) Method and electronic device for controlling unmanned aerial vehicle
WO2016018070A1 (en) Wearable glasses and method of displaying image via the wearable glasses
WO2019147021A1 (en) Device for providing augmented reality service, and method of operating the same
WO2016060397A1 (en) Method and apparatus for processing screen using device
WO2020171637A1 (en) Apparatus and method for displaying contents on an augmented reality device
WO2020159077A1 (ko) 동공 중심간 거리를 측정하는 장치 및 방법
WO2019088555A1 (ko) 전자 장치 및 이를 이용한 눈의 충혈도 판단 방법
WO2021125903A1 (en) Wearable device including eye tracking apparatus and operation method of the wearable device
WO2021246777A1 (en) Device and method for displaying augmented reality
WO2015102391A1 (ko) 뎁스 영상 분석을 통한 사용자의 골프 스윙 자세 분석을 위한 영상 생성 방법과 이를 이용한 골프 스윙 자세 분석 방법 및 장치
WO2015167318A1 (en) Wearable device and method of controlling the same
WO2016182090A1 (ko) 안경형 단말기 및 이의 제어방법
WO2020101420A1 (ko) 증강현실 기기의 광학 특성 측정 방법 및 장치
WO2018117439A1 (ko) 뇌-컴퓨터 인터페이스(bci)를 이용한 게임 방식의 재활 시스템 및 그 제어방법
WO2017159931A1 (en) Electronic device including touch panel and method of controlling the electronic device
WO2020209624A1 (en) Head mounted display device and operating method thereof
WO2022191542A1 (ko) 홈 트레이닝 서비스 제공 방법 및 그를 수행하는 디스플레이 장치
WO2020050496A1 (ko) 검안용 헤드 마운티드 디스플레이 장치 및 이를 이용한 안과검사방법
WO2019240540A1 (ko) 정확도가 향상된 눈의 조절력 측정 및 훈련의 방법, 시스템 및 컴퓨터 프로그램
WO2020050497A1 (ko) 가상현실 기반의 시야검사 방법 및 시스템
WO2018174462A1 (ko) 렌즈 어셈블리 및 그를 포함하는 광학 장치
WO2021246758A1 (ko) 전자 장치 및 그 동작 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19913722

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19913722

Country of ref document: EP

Kind code of ref document: A1