WO2022158795A1 - 사용자의 시선을 검출하는 증강 현실 장치 및 방법 - Google Patents

사용자의 시선을 검출하는 증강 현실 장치 및 방법 Download PDF

Info

Publication number
WO2022158795A1
WO2022158795A1 PCT/KR2022/000682 KR2022000682W WO2022158795A1 WO 2022158795 A1 WO2022158795 A1 WO 2022158795A1 KR 2022000682 W KR2022000682 W KR 2022000682W WO 2022158795 A1 WO2022158795 A1 WO 2022158795A1
Authority
WO
WIPO (PCT)
Prior art keywords
light
user
augmented reality
reality device
eye
Prior art date
Application number
PCT/KR2022/000682
Other languages
English (en)
French (fr)
Inventor
구본곤
신성환
정영모
Original Assignee
삼성전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020210084155A external-priority patent/KR20220106011A/ko
Priority claimed from KR1020210128345A external-priority patent/KR20220106023A/ko
Application filed by 삼성전자 주식회사 filed Critical 삼성전자 주식회사
Priority to EP22742771.3A priority Critical patent/EP4220275A4/en
Priority to CN202280007181.3A priority patent/CN116830014A/zh
Priority to US17/581,485 priority patent/US20220229490A1/en
Publication of WO2022158795A1 publication Critical patent/WO2022158795A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays

Definitions

  • the present disclosure relates to an augmented reality apparatus and method for detecting a user's gaze, and more particularly, to an augmented reality apparatus and method for detecting a user's gaze using a light emitting unit and a light receiving unit located in a support portion of the augmented reality device. it's about
  • Augmented reality is a technology that projects a virtual image onto a physical environment space of the real world or a real world object and displays it as a single image.
  • the augmented reality device is a device in the form of glasses using a see-through display such as a light guide plate (waveguide), which is placed in front of the user while being worn on the user's face or head, through a real scene and virtual image. to be seen together.
  • a see-through display such as a light guide plate (waveguide)
  • a camera is generally disposed on a rim portion surrounding the light guide plate to track the user's gaze, which causes the rim portion of the augmented reality device to become enlarged, and further augmented reality There is a problem that the user of the device feels uncomfortable to wear.
  • An embodiment of the present disclosure may provide an augmented reality apparatus and method capable of detecting a user's gaze using a light reflecting unit and a light receiving unit located in a support portion extending from a frame of the augmented reality device.
  • an embodiment of the present disclosure may provide an augmented reality apparatus and method capable of detecting a user's gaze using light reflected through a light reflection unit formed on a light guide plate.
  • an embodiment of the present disclosure may provide an augmented reality device and method capable of more accurately detecting a user's gaze by calculating the degree of distortion of the support part of the augmented reality device based on a pattern formed on the light reflecting unit. have.
  • an augmented reality device includes a light guide plate; a light reflection unit including a pattern; a support for fixing the augmented reality device to the face of a user of the augmented reality device; a light emitting unit and a light receiving unit installed on the support; and controlling the light emitting unit to emit light toward the light reflecting unit, identifying the pattern based on the light received by the light receiving unit, and receiving gaze information of the user of the augmented reality device based on the identified pattern.
  • At least one processor to acquire including, The light emitted toward the light reflection unit is reflected by the light reflection unit toward the user's eyes, and the light received by the light receiving unit is directed toward the user's eyes.
  • An augmented reality device may be provided, wherein the light includes light reflected by the user's eyes.
  • the support portion may include: a temple extending from a frame around the light guide plate and disposed on the user's ear; And extending from the frame may include a nose support disposed on the user's nose.
  • the light reflection part may be formed as it is coated on the light guide plate.
  • the light reflection part may be formed on the light guide plate.
  • the at least one processor may identify a degree of distortion with respect to the frame of the support portion extending from the frame by analyzing the identified pattern.
  • the at least one processor generates a mapping function for calculating the position of the user's gaze point based on the deviation of the support part with respect to the frame, and based on the mapping function and the deviation of the support part, the It is possible to obtain the user's gaze information.
  • the at least one processor may acquire positions of one or more feature points corresponding to the user's eyes based on the light received by the light receiver.
  • the at least one processor may calculate the position of the user's gaze point by inputting the positions of the one or more feature points corresponding to the user's eyes and the degree of distortion with respect to the support part to the mapping function.
  • the location of the one or more feature points may include a location of a feature point of a pupil of the user's eye and a location of a twinkling feature point of the user's eye.
  • the at least one processor displays a target point at a specific position on the light guide plate in order to calibrate the mapping function, and receives the light reflected by the user's eyes looking at the displayed target point through the light receiving unit, , based on the light reflected by the user's eyes looking at the displayed target point, the mapping function may be calibrated.
  • the at least one processor identifies a pattern of the light reflection unit based on the light reflected by the user's eye looking at the displayed target point for calibration of the mapping function, and based on the identified pattern Thus, the degree of distortion of the support is identified, and based on the light reflected by the user's eyes looking at the displayed target point, one or more feature points corresponding to the user's eyes looking at the displayed target point are selected. location can be obtained.
  • the at least one processor may input the degree of distortion of the temple and the positions of the one or more feature points to the mapping function, and calibrate the mapping function so that the position value of the target point is output from the mapping function. .
  • the light emitting unit may be an IR LED, and the light receiving unit may be an IR camera.
  • the light emitting unit may be an IR scanner, and the light receiving unit may be an IR detector.
  • the at least one processor obtains, based on the IR light obtained from the IR detector, the position of one or more feature points corresponding to the user's eye corrected according to the degree of distortion with respect to the frame of the support unit,
  • the user's gaze information may be acquired based on the corrected positions of one or more feature points corresponding to the user's eyes.
  • light is emitted toward a light reflection unit including a pattern as a light emission unit installed in the support portion of the augmented reality device, and the light is reflected by the light reflection unit to wear the augmented reality device facing the user's eyes; receiving the light reflected by the user's eyes with a light receiving unit installed in the support; and identifying the pattern based on the light received through the light receiving unit.
  • the method further includes: analyzing the identified pattern, and identifying a degree of distortion of the support with respect to the frame based on the identified pattern;
  • the method further includes, wherein the support part extends from the frame, and the obtaining of the gaze information may determine the gaze direction of the user based on the degree of distortion of the support part with respect to the frame.
  • the method may include: generating a mapping function for calculating the position of the user's gaze point based on the deviation of the support part with respect to the frame;
  • the step of obtaining the gaze information may include calculating the location of the user's gaze point based on the mapping function and the degree of misalignment with respect to the support part.
  • the method may include: acquiring positions of one or more feature points corresponding to the user's eyes based on the light received through the light receiving unit; Further comprising, wherein the obtaining of the gaze information comprises inputting the position of one or more feature points corresponding to the user's eye and the degree of distortion with respect to the support part into the mapping function, thereby determining the position of the user's gaze point. It may include a step of calculating.
  • light is emitted toward a light reflection unit including a pattern as a light emission unit installed in the support portion of the augmented reality device, and the light is reflected by the light reflection unit to wear the augmented reality device facing the user's eyes; receiving the light reflected by the user's eyes with a light receiving unit installed in the support; and identifying the pattern based on the light received through the light receiving unit.
  • a computer-readable recording medium in which a program for executing a method including a; acquiring information of the user's gaze based on the identified pattern is recorded on a computer.
  • FIG. 1 is a diagram illustrating an example in which an augmented reality device according to an embodiment of the present disclosure detects a gaze of a user using a gaze detector located in a temple portion of the augmented reality device.
  • FIG. 2 is a diagram illustrating an example of an augmented reality device according to an embodiment of the present disclosure.
  • FIG. 3 is a block diagram of an augmented reality device according to an embodiment of the present disclosure.
  • FIG. 4 is a diagram illustrating an example of operations of a light emitting unit and a light receiving unit of an augmented reality device according to an embodiment of the present disclosure.
  • 5A is a diagram illustrating an example of a light emitting unit emitting surface light according to an embodiment of the present disclosure.
  • 5B is a diagram illustrating an example of a light emitting unit emitting point light according to an embodiment of the present disclosure.
  • 5C is a diagram illustrating an example of a light emitting unit emitting a rotation beam according to an embodiment of the present disclosure.
  • 6A is a diagram illustrating an example in which a light emitting unit and a light receiving unit are disposed in a temple of an augmented reality device according to an embodiment of the present disclosure.
  • 6B is a diagram illustrating an example in which the light emitting unit and the light receiving unit are disposed on the nose support of the augmented reality device according to an embodiment of the present disclosure.
  • 6C is a diagram illustrating an example in which the light emitting unit and the light receiving unit are disposed on the temple and the nose support of the augmented reality device according to an embodiment of the present disclosure.
  • 6D is a diagram illustrating an example in which the light emitting unit and the light receiving unit are disposed on the temple and the nose support of the augmented reality device according to an embodiment of the present disclosure.
  • FIG. 7A is a diagram illustrating an example of a dot pattern formed in a light reflection unit of an augmented reality device according to an embodiment of the present disclosure.
  • FIG. 7B is a diagram illustrating an example of a grid pattern formed in a light reflection unit of an augmented reality device according to an embodiment of the present disclosure.
  • 7C is a diagram illustrating an example of a pattern in the form of a 2D marker according to an embodiment of the present disclosure.
  • 7D is a diagram illustrating an example of a light reflection unit covering a portion of a light guide plate according to an embodiment of the present disclosure.
  • FIG. 8A is a diagram illustrating a light emission angle and a pattern before the temple of the augmented reality device is twisted according to an embodiment of the present disclosure.
  • FIG. 8B is a diagram illustrating a light emission angle and a pattern before and after the temple of the augmented reality device is distorted according to an embodiment of the present disclosure.
  • FIG. 9 is a diagram illustrating an example of a pattern identified from an array of light received through a light receiving unit when the light emitting unit of the augmented reality device is an IR scanner according to an embodiment of the present disclosure.
  • FIG. 10 is a diagram illustrating an example of an eye feature identified from an array of light received through a light receiving unit of the augmented reality device when the light emitting unit of the augmented reality device is an IR scanner according to an embodiment of the present disclosure.
  • FIG. 11 is a diagram illustrating examples of functions used by an augmented reality device to calculate a center of an eyeball and calculate a gaze point of a user according to an embodiment of the present disclosure.
  • FIG. 12 is a flowchart of a method for detecting a gaze of a user by an augmented reality device according to an embodiment of the present disclosure.
  • AR Augmented Reality
  • 'augmented reality means showing a virtual image together in a physical environment space of the real world or showing a real object and a virtual image together.
  • 'Augmented Reality Device' refers to a device capable of expressing 'Augmented Reality', and generally refers to an augmented reality glasses device in the form of glasses worn by a user on a face part ( Augmented Reality Glasses), as well as a head mounted display device (HMD: Head Mounted Display Apparatus) worn on the head, and an augmented reality helmet (Augmented Reality Helmet).
  • Augmented Reality Glasses Augmented Reality Glasses
  • HMD Head Mounted Display Apparatus
  • a 'real scene' is a scene of the real world that a user sees through the augmented reality device, and may include a real world object.
  • a 'virtual image' is an image generated through an optical engine and may include both a static image and a dynamic image. Such a virtual image is observed together with a real scene, and may be an image representing information about a real object in the real scene, information about an operation of an augmented reality device, or a control menu.
  • the augmented reality device includes an optical engine for generating a virtual image composed of light generated from a light source, and a transparent material to guide the virtual image generated by the optical engine to the user's eyes and view the scene in the real world together.
  • a waveguide may be provided.
  • the optical path may be changed by using reflection by a mirror or the like, or the optical path may be changed through diffraction by a diffractive element such as a diffractive optical element (DOE) or a holographic optical element (HOE), but is not limited thereto.
  • DOE diffractive optical element
  • HOE holographic optical element
  • FIG. 1 is a diagram illustrating an example in which an augmented reality device according to an embodiment of the present disclosure detects a user's gaze using a gaze detector 1500 located in a temple portion.
  • the augmented reality apparatus 1000 may detect a user's gaze using a light emitter 1510 and a light receiver 1520 .
  • the light emitting unit 1510 and the light receiving unit 1520 used to detect the user's gaze may be disposed in, for example, a temple portion of the augmented reality apparatus 1000 , and the augmented reality apparatus 1000 may include a temple.
  • the user's eyes may be effectively identified by using the light emitting unit 1510 and the light receiving unit 1520 disposed in the portion.
  • IR light may be emitted from the light emitter 1510 disposed in the temple portion toward the light guide plate of the augmented reality device 1000 , and the light reflector 1520 may be disposed in the temple portion to reflect the light from the user's eyes. IR light reflected by the can be received.
  • the augmented reality apparatus 1000 may obtain information about the user's eyes based on the received IR light, and detect the gaze direction of the user using the obtained information about the eyes.
  • the augmented reality device 1000 is a device capable of expressing Augmented Reality, and may include, for example, Augmented Reality Glasses in the form of glasses worn by the user on the face. However, it is not limited thereto.
  • the augmented reality device 1000 may include a head mounted display device (HMD) worn on the head, an augmented reality helmet, or the like, in this case , the gaze detector 1500 is disposed on the inner side portion of the head mounted display device facing the side of the user's eye in the head mounted display device, or the augmented reality helmet facing the side of the user's eye in the augmented reality helmet The gaze detector 1500 may be disposed on the inner side portion.
  • HMD head mounted display device
  • the gaze detector 1500 is disposed on the inner side portion of the head mounted display device facing the side of the user's eye in the head mounted display device, or the augmented reality helmet facing the side of the user's eye in the augmented reality helmet
  • the gaze detector 1500 may be disposed on the inner side portion.
  • FIG. 2 is a diagram illustrating an example of an augmented reality device according to an embodiment of the present disclosure.
  • the augmented reality device 1000 may include a spectacle-shaped body configured to be worn by a user as a spectacle-shaped display device.
  • the spectacle-shaped body may include a frame 110 and a support part 190 , and the support part 190 may extend from the frame 110 and be used to seat the augmented reality device on a user's head.
  • the support 190 may include a temple 191 and a nose support 192 .
  • the temple 191 extends from the frame 110 and may be used to fix the augmented reality device 1000 to the user's head at the side of the spectacle-shaped body.
  • the nose support 192 extends from the frame 110 and may be used to seat the augmented reality apparatus 1000 on the user's nose, for example, it may include a nose bridge and a nose of glasses, but is not limited thereto. does not
  • the light guide plate 170 to which the light reflection unit 1400 is attached may be positioned on the frame 110 .
  • the frame may be formed to surround an outer circumferential surface of the light guide plate 170 , and the light guide plate 170 may be configured to receive projected light from an input area and output at least a portion of the input light from an output area.
  • the light guide plate 170 may include a light guide plate 170L for the left eye and a light guide plate 170R for the right eye.
  • the left eye light reflection unit 1400L and the left eye light guide plate 170L may be disposed at positions corresponding to the user's left eye, and the right eye light reflection unit 1400R and the right eye light guide plate 170R correspond to the user's right eye. It can be placed in a position where for example, the left eye light reflection unit 1400L may be attached to the left eye light guide plate 170L, or the right eye light reflection unit 1400R may be attached to the right eye light guide plate 170R, but is not limited thereto.
  • the light reflection unit for the left eye 1400L is coated on the inner surface of the light guide plate 170L for the left eye, thereby being attached to the light guide plate 170L for the left eye
  • the light reflection unit 1400R for the right eye is the light guide plate for the right eye ( It may be attached to the light guide plate 170R for the right eye by being coated on the inner surface of the 170R.
  • the optical engine 120 of the projector for projecting the display light containing the image may include an optical engine for the left eye (120L) and the optical engine (120R) for the right eye.
  • the optical engine 120L for the left eye and the optical engine 120R for the right eye may be located on both sides of the augmented reality apparatus 1000 .
  • one optical engine 120 may be included in a central portion around the nose support 192 of the augmented reality apparatus 1000 .
  • the light emitted from the optical engine 120 may be displayed through the light guide plate 170 .
  • the light emitting unit 1510 and the light receiving unit 1520 of the gaze detector 1500 are located in the support 190 of the augmented reality apparatus 1000, between the support 190 and the user's eyes. It may be disposed on the side portion.
  • the light emitter 1510 and the light receiver 1520 may be disposed to face the light reflector 1400 from the support 190 of the augmented reality apparatus 1000 .
  • the light emitting unit 1510 and the light receiving unit 1520 may emit and receive IR light without being disturbed by a user's hair, etc., among the sides of the temple of the augmented reality apparatus 1000 , a frame. It may be disposed at a position spaced from 10 mm to 15 mm from the
  • FIG. 3 is a block diagram of an augmented reality device according to an embodiment of the present disclosure.
  • the augmented reality apparatus 1000 includes a user input unit 1100 , a microphone 1200 , a display unit 1300 , a light reflection unit 1400 , and a gaze detector 1500 . , a communication interface 1600 , a storage unit 1700 , and a processor 1800 . Also, the gaze detector 1500 may include a light emitter 1510 and a light receiver 1520 .
  • the user input unit 1100 means a means for a user to input data for controlling the augmented reality apparatus 1000 .
  • the user input unit 1100 may include a key pad, a dome switch, and a touch pad (contact capacitance method, pressure resistance film method, infrared sensing method, surface ultrasonic conduction method, integral type). a tension measurement method, a piezo effect method, etc.), a jog wheel, or a jog switch, but is not limited thereto.
  • the microphone 1200 receives an external sound signal and processes it as electrical voice data.
  • the microphone 1200 may receive an acoustic signal from an external device or a speaker.
  • Various noise removal algorithms for removing noise generated in the process of receiving an external sound signal through the microphone 1200 may be used.
  • the microphone 1200 may receive a user's voice input for controlling the augmented reality apparatus 1000 .
  • the display unit 1300 displays and outputs information processed by the augmented reality apparatus 1000 .
  • the display unit 1300 may display information related to a service provided based on a user interface for photographing the surroundings of the augmented reality apparatus 1000 and images captured around the augmented reality apparatus 1000 . have.
  • the display unit 1300 may provide an augmented reality (AR) image.
  • the display unit 1300 may include a light guide plate 170 and an optical engine 120 as shown in FIG. 2 .
  • the light guide plate 170 may be made of a transparent material through which a partial region of the rear surface is visible when the user wears the device 1000 .
  • the light guide plate 170 may be configured as a flat plate having a single-layer or multi-layer structure made of a transparent material through which light is reflected and propagated therein.
  • the light guide plate 170 may face the emission surface of the optical engine 120 and receive the light of the virtual image projected from the optical engine 120 .
  • the transparent material means a material through which light can pass, the transparency may not be 100%, and it may have a predetermined color.
  • the light guide plate 170 is formed of a transparent material, the user can not only see the virtual object of the virtual image through the display unit 1300 but also see an external real scene. 170 may be referred to as a see through display.
  • the display unit 1300 may provide an augmented reality image by outputting a virtual object of a virtual image through the light guide plate.
  • the display unit 1300 may include a left display unit and a right display unit.
  • the light reflection unit 1400 may reflect light emitted from a light emission unit 1510 which will be described later.
  • the light reflection unit 1400 and the light guide plate 170 may be disposed at positions facing the user's eyes, and the light reflection unit 1400 and the light guide plate 170 may be attached to each other.
  • the light reflection unit 1400 may be coated on at least a partial region of the light guide plate 170 .
  • the light reflection unit 1400 is attached to or coated with other components included in the augmented reality device in the form of glasses in addition to the light guide plate, for example, a vision correcting lens for vision correction or a cover glass installed to protect the light guide plate.
  • the light reflection unit 1400 may be formed of a material capable of reflecting IR light emitted from the light emission unit 1510 .
  • the light reflection unit 1400 may be, for example, silver, gold, copper, or a material including one or more of these metals, but is not limited thereto. Accordingly, the IR light emitted from the light emission unit 1510 may be reflected by the light reflection unit 1400 toward the user's eye, and the IR light reflected back from the user's eye may be reflected by the light reflection unit 1400 . It may be reflected by the light and may be directed toward the light receiving unit 1520 .
  • the light reflection unit 1400 may be coated on the light guide plate 170 to have a predetermined pattern.
  • the pattern formed on the light reflection unit 1400 may include, for example, a dot pattern, a line pattern, a grid pattern, a 2D marker, and the like, but is not limited thereto.
  • the pattern formed on the light reflection unit 1400 may be formed on, for example, a portion on the light guide plate 170 where the user's gaze is directed at a low frequency.
  • the pattern formed on the light reflection unit 1400 may be formed on, for example, a portion of the light guide plate 170 that does not interfere with photographing or scanning the user's eyes.
  • the predetermined pattern may indicate a pattern formed by a portion in which light emitted from the light emitter 1510 is reflected and a portion that is not reflected in the light reflection unit 1400 . Since the light emitted toward the non-reflected portion of the light reflecting unit 1400 is not reflected by the light reflecting unit 1400 , the light receiving unit 1520 receives the light emitted toward the non-reflected portion. will not receive Accordingly, a pattern formed by the portion that reflects the light and the portion that does not reflect the light of the light reflection unit 1400 may be detected from the light received by the light receiver 1520 .
  • a predetermined pattern is formed of a material for reflecting the IR light, and the material for reflecting the IR light may not be visible to the user's eyes. Since most of the light or the real scene observed by the user through the augmented reality device 1000 is composed of visible light, the user is not disturbed by the light reflection unit 1400 in which a predetermined pattern is formed, and Light or real scenes can be observed.
  • the gaze detector 1500 includes a light emitting unit 1510 emitting IR light for detecting the user's gaze and a light receiving unit 1520 receiving the IR light, and the user wearing the augmented reality device 1000 is Data related to the gaze may be detected.
  • the light emission unit 1510 of the gaze detector 1500 may emit IR light toward the light reflection unit 1400 so that the IR light reflected by the light reflection unit 1400 may be directed toward the user's eyes.
  • the light emitting unit 1510 may emit IR light toward the light reflecting unit 1400 , the emitted IR light may be reflected by the light reflecting unit 1400 , and the reflected IR light may be directed toward the user's eyes. have.
  • the light emitter 1510 may be disposed at a position where the augmented reality device 1000 can emit IR light toward the light reflector 1400 .
  • the light emitter 1510 is positioned on the support 190 of FIG. 2 that supports the augmented reality device 1000 on the user's face, such as, for example, the temple 191 and the nose support 192 of FIG. 2 . can do.
  • IR light reflected from the user's eye may be reflected by the light reflection unit 1400 and may be received by the light reception unit 1520 of the gaze detector 1500 .
  • the IR light directed toward the user's eye is reflected from the user's eye
  • the IR light reflected from the user's eye may be reflected by the light reflecting unit 1400
  • the light receiving unit 1520 is provided to the light reflecting unit 1400 .
  • IR light reflected by The light receiver 1520 may be disposed at a position in the augmented reality apparatus 1000 to receive the IR light reflected from the light reflector 1400 .
  • the light receiving unit 1520 is, for example, like the temple 191 and the nose support 192 of FIG. 2, to be located on the support 190 of FIG.
  • the nose support 192 of FIG. 2 may include a nose bridge and a nose of glasses.
  • the nose bridge and the nose of the glasses may be integrally configured, but is not limited thereto.
  • the light emitter 1510 may be an IR LED that emits IR light
  • the light receiver 1520 may be an IR camera that captures IR light.
  • the IR camera may photograph the user's eyes using the IR light reflected by the light reflection unit 1400 .
  • the light emitting unit 1510 is an IR LED and the light receiving unit 1520 is an IR camera
  • the light emitting unit 1510 emits an IR light of planar light toward the light reflection unit 1400
  • the receiving unit 1520 may receive the IR light of the surface light reflected from the light reflecting unit 1400 .
  • the surface light may be light emitted in the form of a surface, and the surface light emitted from the light emission unit 1510 may be directed toward at least a portion of the entire area of the light reflection unit 1400 . At least a portion of the entire area of the light reflection unit 1400 may be set so that the surface light reflected from at least a portion of the entire area of the light reflection unit 1400 may cover the user's eyes.
  • the light emitter 1510 may be an IR scanner that emits IR light and the light receiver 1520 may be an IR detector that detects IR light.
  • the IR scanner may emit IR light so that the IR light for scanning the user's eye is directed toward the user's eye, and the IR detector may detect the IR light reflected from the user's eye.
  • the light emitting unit 1510 is an IR scanner emitting IR light and the light receiving unit 1520 is an IR detector that detects IR light
  • the light emitting unit 1510 may emit linear rays in the form of a line, and the light emitting unit 1520 may emit linear rays.
  • the line rays emitted from 1510 may be directed toward a partial area of the entire area of the light reflection unit 1400 . At least a portion of the entire area of the light reflection unit 1400 may be set so that the rays reflected from at least a portion of the entire area of the light reflection unit 1400 may cover the user's eyes.
  • the light emitter 1510 is an IR scanner that emits IR light
  • the light receiver 1520 is an IR detector that detects IR light
  • the light emitter 1510 may emit point-shaped point light
  • the light emitter 1520 may emit point light.
  • Point lights emitted from 1510 may be directed toward a partial area of the entire area of the light reflection unit 1400 . At least a portion of the entire area of the light reflection unit 1400 may be set so that point lights reflected from at least a portion of the entire area of the light reflection unit 1400 may cover the user's eyes.
  • the light emitting unit 1510 When the light emitting unit 1510 is an IR scanner and the light receiving unit 1520 is an IR detector, the light emitting unit 1510 transmits IR light of point light or line light to the light reflection unit 1400 . and the light receiving unit 1520 may receive IR light of point light or linear light reflected from the light reflecting unit 1400 . In this case, the light emitting unit 1510 may sequentially emit IR light while moving the light emitting direction of the light emitting unit 1510 so that the point or linear IR light can cover the space where the user's eyes are located. .
  • An IR scanner is generally composed of an IR LED and a MEMS (Micro-Electro Mechanical Systems) mirror that can control and reflect the direction of IR light emitted from the IR LED. do.
  • MEMS Micro-Electro Mechanical Systems
  • the light emitter 1510 and the light receiver 1520 may be disposed in the temple 191 of the augmented reality device 1000 .
  • the light emitting unit 1510 and the light receiving unit 1520 are located on the inner side of the temple 191 of the augmented reality apparatus 1000 , which is located between the temple 191 and the user's eyes. It can be placed in a part.
  • the light emitting unit 1510 and the light receiving unit 1520 are positioned 10 mm to 15 mm apart from the frame 110 among the sides of the temple 191 of the augmented reality apparatus 1000 . can be placed in The light emitter 1510 and the light receiver 1520 may be disposed to face the light reflector 1400 from the temple 191 of the augmented reality apparatus 1000 .
  • the light emitting unit 1510 and the light receiving unit 1520 may be disposed on the nose support 192 of the augmented reality apparatus 1000 .
  • the light emitter 1510 and the light receiver 1520 may be disposed on the inner side of the nose supporter 192 of the augmented reality apparatus 1000 , which is a position between the nose supporter 192 and the user's eyes.
  • the light emitting unit 1510 and the light receiving unit 1520 are spaced apart from the frame 110 by 10 mm to 15 mm among the sides of the nose support 192 of the augmented reality device 1000 . may be placed in position.
  • the light emitter 1510 and the light receiver 1520 may be disposed to face the light reflector 1400 from the nose support 192 of the augmented reality apparatus 1000 .
  • the gaze detector 1500 may provide data related to the gaze of the user's eyes to the processor 1800 , and the processor 1800 may obtain gaze information of the user based on the data related to the gaze of the user's eyes.
  • the data related to the gaze of the user's eye is data obtained by the gaze detector 1500 , and includes the type of IR light emitted from the light emitter 1510 (eg, point light, linear light, or surface light), the light emitter 1510 .
  • the user's gaze information is information related to the user's gaze, and may be generated by analyzing data related to the gaze of the user's eyes, for example, the position of the user's pupil, the position of the central point of the pupil, and the user's iris.
  • the user's gaze direction may be, for example, a gaze direction from the center of the user's eyes toward the gaze point at which the user gazes.
  • the user's gaze direction may be represented by a vector value from the center of the user's left eye toward the gaze point and a vector value from the center of the user's right eye toward the gaze point, but is not limited thereto.
  • the gaze detector 1500 may detect data related to the gaze of the user wearing the augmented reality apparatus 1000 at a predetermined time interval.
  • the communication interface 1600 may transmit/receive data for receiving a service related to the augmented reality apparatus 1000 with an external device and a server.
  • the storage unit 1700 may store a program to be executed by the processor 1800 , which will be described later, and may store data input to or output from the augmented reality apparatus 1000 .
  • the storage unit 1700 may include at least one of an internal memory and an external memory.
  • the built-in memory includes, for example, a volatile memory (eg, dynamic RAM (DRAM), static RAM (SRAM), synchronous dynamic RAM (SDRAM), etc.), a non-volatile memory (eg, One Time Programmable ROM (OTPROM)). ), Programmable ROM (PROM), Erasable and Programmable ROM (EPROM), Electrically Erasable and Programmable ROM (EEPROM), Mask ROM, Flash ROM, etc.), hard disk drive (HDD), or solid state drive (SSD).
  • the processor 1800 may load a command or data received from at least one of the non-volatile memory or other components into the volatile memory and process it.
  • the processor 1800 may store data received or generated from other components in a non-volatile memory.
  • the external memory may include, for example, at least one of CF (Compact Flash), SD (Secure Digital), Micro-SD (Micro Secure Digital), Mini-SD (Mini Secure Digital), xD (extreme Digital), and Memory Stick. may include
  • each of the plurality of modules may include one or more computer-readable codes, for example, a light irradiation code 1710 , a light receiving code 1720 , an eye It may include a feature detection code 1730 , a pattern detection code 1740 , a misalignment determination code 1750 , a pupil position detection code 1760 , a gaze determination code 1770 , and a calibration code 1780 .
  • a memory may be included in the gaze detector 1500 .
  • the light irradiation code 1710 and the light reception code 1720 are stored as firmware in the memory included in the gaze detector 1500 . may be
  • the processor 1800 controls the overall operation of the augmented reality apparatus 1000 .
  • the processor 1800 executes programs stored in the storage unit 1700 , and thus the user input unit 1100 , the microphone 1200 , the display unit 1300 , the light reflection unit 1400 , and the gaze detector 1500 . ), the communication interface 1600 and the storage unit 1700 can be generally controlled.
  • the processor 1800 includes a light irradiation code 1710, a light reception code 1720, an eye feature detection code 1730, a pattern detection code 1740, a misalignment determination code 1750, and a pupil position stored in the storage unit 1700.
  • a light irradiation code 1710 By executing the detection code 1760, the gaze determination code 1770, and the calibration code 1780, the user's gaze point and gaze direction may be determined.
  • the augmented reality apparatus 1000 may include a plurality of processors 1800 , a light irradiation code 1710 , a light receiving code 1720 , an eye feature detection code 1730 , and a pattern detection code 1740 , the deviation determination code 1750 , the pupil position detection code 1760 , the gaze determination code 1770 , and the calibration code 1780 may be executed by the plurality of processors 1800 .
  • Some of the code 1770 and the calibration code 1780 are executed by a first processor (not shown), and the light irradiation code 1710 , the light reception code 1720 , the eye feature detection code 1730 , and the pattern detection code (1740), the deviation determination code 1750, the pupil position detection code 1760, the gaze determination code 1770, and the rest of the calibration code 1780 may be executed by a second processor (not shown), but is not limited thereto does not
  • the gaze detector 1500 may include another processor and a memory
  • the other processor executes the light irradiation code 1710 and the light receiving code 1720 stored in the memory
  • the processor 1800 is a storage unit Eye feature detection code 1730, pattern detection code 1740, misalignment determination module 1750, pupil position detection code 1760, gaze determination code 1770, and calibration code 1780 stored in 1700 can be executed have.
  • the processor 1800 executes the light irradiation code 1710 stored in the storage unit 1700 , so that the light emission unit 1510 may emit IR light toward the light reflection unit 1400 .
  • the processor 1800 may control the light emission unit 1510 by executing the light irradiation code 1710 , and the light emission unit 1510 controlled by the processor 1800 is reflected by the light reflection unit 1400 .
  • the IR light may be emitted toward at least a partial area of the light reflection unit 1400 so that the collected IR light may cover the user's eyes.
  • the light emitting unit 1510 may be an IR LED
  • the processor 1800 receives the IR LED from the IR camera so that the user's eye can be photographed.
  • the IR LED may be controlled so that the emitted IR light is reflected by the light reflection unit 1400 and irradiated to an area including the user's eyes.
  • the processor 1800 controls the irradiation direction of the IR light emitted from the IR LED. And, by applying power to the IR LED, it is possible to control the emission of IR light from the IR LED.
  • the IR camera and the IR LED may be installed toward the light reflection unit 1400 of the augmented reality device 1000 so that the IR camera can capture the entire area of the user's eye
  • the processor 1800 may control the IR LED installed toward the light reflection unit 1400 to emit IR light.
  • An example in which the irradiation direction of the IR light emitted from the IR LED is controlled will be described in more detail with reference to FIG. 5A .
  • the light emitting unit 1510 may be an IR scanner
  • the processor 1800 is configured so that the IR detector can detect the user's eye.
  • the IR scanner may be controlled so that the IR light emitted from the IR scanner is reflected by the light reflection unit 1400 to scan the user's eyes.
  • the processor 1800 controls the irradiation direction of the IR light emitted from the IR scanner, and the IR scanner The emission of IR light from the IR scanner can be controlled by applying power to the .
  • FIGS. 5B and 5C An example in which the irradiation direction of the IR light emitted from the IR scanner is controlled will be described in more detail with reference to FIGS. 5B and 5C .
  • the processor 1800 may enable the light receiving unit 1520 to receive the light reflected by the light reflecting unit 1400 from the user's eyes by executing the light receiving code 1720 stored in the storage 1700 .
  • the processor 1800 may control the light receiving unit 1520 by executing the light receiving code 1720 , and the light receiving unit 1520 controlled by the processor 1800 is transmitted from the user's eyes to the light reflecting unit 1400 . can receive the reflected light.
  • the light emitting unit 1510 is an IR LED
  • the light receiving unit 1520 may be an IR camera
  • the processor 1800 indicates that the IR camera is reflected from the user's eye by the light reflection unit 1400 .
  • the IR camera can be controlled to photograph the user's eyes through the emitted light.
  • the light emitting unit 1510 is an IR scanner
  • the light receiving unit 1520 may be an IR detector
  • the processor 1800 in order for the IR detector to detect the user's eyes,
  • the IR detector may be controlled to detect IR light reflected by the light reflection unit 1400 from the user's eyes.
  • the processor 1800 may detect features related to the gaze of the user's eyes by executing the eye feature detection code 1730 stored in the storage unit 1700 .
  • the processor 1800 may detect the position of the pupil feature point of the user's eye and the position of the glint feature point of the user's eye by executing the eye feature detection code 1730 .
  • the feature point of the pupil may be, for example, a central point of the pupil, and the feature point of the eye may be a portion having a brightness greater than or equal to a predetermined value among the detected areas of the eye.
  • the location of the feature point of the pupil and the location of the feature point of the eye may be identified, for example, by a coordinate value indicating a location in the coordinate system of the light receiver 1520 .
  • the coordinate system of the light receiver 1520 may be the coordinate system of the IR camera or the coordinate system of the IR detector, and the coordinate values in the coordinate system of the light receiver 1520 may be 2D coordinate values.
  • the processor 1800 may detect features related to eye gaze by analyzing the light received by the light receiver 1520 .
  • the processor 1800 may identify the position of the pupil feature point and the eye twinkle feature point in the image captured by the IR camera.
  • the processor 1800 analyzes the IR light detected by the IR detector to identify the position of the pupil feature point and the eye twinkle feature point. have.
  • the positions of the feature points are identified based on the IR light detected by the IR detector, the positions of the feature points of the pupil and the twinkling positions of the eyes may have values corrected by reflecting the deviation of the support unit 190 .
  • the position of the feature point of the pupil corrected by reflecting the deviation of the support 190 and the position of the twinkle of the eye will be described in more detail with reference to FIG. 11 .
  • the processor 1800 may obtain a coordinate value indicating the position of the feature point of the pupil and a coordinate value indicating the position of the feature point of the eye.
  • the processor 1800 may obtain coordinate values of the pupil feature point and the eye twinkle feature point in the coordinate system of the IR camera.
  • the coordinate system of the IR camera may be used to indicate the position of the feature point of the pupil and the feature point of the eye. can be set. Also, based on a property (eg, brightness) of IR light received through the IR camera, coordinate values corresponding to eye feature points may be identified.
  • the processor 1800 may identify the position of the central point of the pupil in the image captured by the IR camera.
  • the processor 1800 identifies the brightness of IR light received through the image sensor of the IR camera including a plurality of photodiodes, and receives the IR light representing the pupil among pixels of the image photographed by the IR camera.
  • the position of the central point of the pupil can be identified.
  • positions of pixels in an image captured by an IR camera may be identified through a coordinate system of the IR camera, and the position of the center point of the pupil is a position value of at least one pixel corresponding to the center point of the pupil, It can have coordinate values in the camera's coordinate system.
  • the processor 1800 may identify the position of the brightest point in the image captured by the IR camera in order to identify the twinkle feature point of the eye.
  • the processor 1800 identifies the brightness of IR light received through the image sensor of the IR camera including a plurality of photodiodes, and at least one corresponding to bright IR light above a predetermined standard among pixels of an image photographed by the IR camera. It is possible to identify the position of the eye's twinkling feature point by identifying the pixel of .
  • the processor 1800 may identify the position of the eye's twinkling feature point by identifying a pixel corresponding to the brightest IR light among pixels of an image captured by the IR camera.
  • the positions of pixels in the image captured by the IR camera may be identified through the coordinate system of the IR camera, and the position of the eye twinkle feature point is a position value of a pixel corresponding to the eye twinkle feature point, and the IR camera It can have a coordinate value in the coordinate system of .
  • the processor 1800 may calculate the coordinate values of the feature points of the pupil and the coordinate values of the feature points of the eyes in the coordinate system of the IR detector.
  • the processor 1800 controls the IR scanner to sequentially apply a point light source or a line light source to cover the area where the user's eyes are located in order to scan the area where the user's eyes are located. It is irradiated and the light reflected from the user's eyes may be sequentially received through the IR detector.
  • the processor 1800 may identify the pupil feature and the eye twinkle feature by analyzing the array of light sequentially received through the IR detector.
  • the coordinate system of the IR detector may be used to indicate the position of the feature point of the pupil and the feature point of the eye, for example, a coordinate value on the coordinate system of the IR detector corresponding to the lights in the array of lights sequentially received through the IR detector may be preset. For example, irradiation directions and irradiation times of lights emitted from the IR scanner may be determined according to an operation setting value of the IR scanner, and a light array may be formed from the lights emitted from the IR scanner.
  • coordinate values on the coordinate system of the IR detector corresponding to the lights in the light array may be identified.
  • the property (eg, brightness) of the lights in the array of lights sequentially received through the IR detector light corresponding to the feature point of the eye and coordinate values of the light may be identified.
  • the processor 1800 identifies the position of the feature point of the pupil based on the coordinate values on the coordinate system of the IR detector corresponding to the identified lights by identifying lights having a brightness of a predetermined value or less in the received light array.
  • the processor 1800 identifies the light having a brightness greater than or equal to a predetermined value in the received light array, so that the coordinate value on the coordinate system of the IR detector corresponding to the identified light can be identified as the coordinate value of the twinkle feature point of the eye. have.
  • the coordinate values of the feature points of the pupil and the coordinate values of the feature points of the eyes reflect the degree of distortion of the support part 190 of the augmented reality apparatus 1000, which will be described later. Therefore, it may be a corrected value.
  • the processor 1800 determines the coordinate value of the pupil feature point corrected by reflecting the distortion degree of the temple 191 of the augmented reality device 1000 and/or the distortion degree of the nose support 192 of the eye twinkle feature point. A coordinate value may be calculated, and the corrected coordinate values may be input to a mapping function to be described later.
  • the processor 1800 may detect the pattern of the light reflection unit 1400 by executing the pattern detection code 1740 stored in the storage unit 1700 .
  • the light reflection unit 1400 may be coated on one surface of the light guide plate 170 of the augmented reality apparatus 1000 to have a predetermined pattern.
  • the processor 1800 may receive the IR light reflected by the user's eyes and reflected by the light reflection unit 1400 through the light receiving unit 1520, and identify the shape of the pattern based on the received IR light.
  • the pattern formed on the light reflection unit 1400 may include, for example, a dot pattern, a line pattern, a grid pattern, a 2D marker, and the like, but is not limited thereto.
  • FIGS. 7A to 7D An example of a pattern formed in the light reflection unit 1400 and identified by the pattern detection code 1740 will be described in more detail with reference to FIGS. 7A to 7D . If the temple 191 is misaligned with respect to the frame 110 , the pattern identified by the pattern detection code 1740 may have a deformed shape.
  • the IR camera may photograph the user's eye based on the IR light reflected by the light reflecting unit 1400 , and the processor 1800 is the user's eye. A pattern in the image can be identified from this photographed image.
  • the IR detector may sequentially receive the IR light reflected by the light reflecting unit 1400 , and the processor 1800 may output the sequentially received IR light. A portion related to the pattern of the light reflection unit 1400 in the array may be identified.
  • the processor 1800 may determine the degree to which the support unit 190 of the augmented reality apparatus 1000 is misaligned with respect to the frame 110 by executing the misalignment determination module 1750 stored in the storage unit 1700 .
  • the support 190 may include, for example, a temple 191 and a nose support 192 .
  • the portion of the temple 191 may be widened or narrowed according to the size of the user's head and face.
  • the misalignment determination code 1750 may identify a pattern having a deformed shape from the received IR light.
  • the distortion determination code 1750 may estimate the distortion degree of the support unit 190 by comparing the deformed pattern with the undeformed pattern. For example, the deviation determination code 1750 may identify the degree of deformation of the pattern by comparing the pattern having a deformed shape with the undeformed pattern, and may determine the degree of deviation of the support unit 190 based on the deformation degree of the pattern. can be estimated Alternatively, the misalignment determination code 1750 may estimate the degree of misalignment of the support unit 190 by analyzing only the deformed pattern without comparing the deformed pattern with the undeformed pattern. For example, when the pattern is a dot pattern, the misalignment determination code 1750 may estimate the degree of misalignment of the support unit 190 by identifying a difference between intervals between points in the deformed pattern.
  • the degree of deflection of the temple 191 may be expressed as a deflection angle indicating the difference between the default angle of the temple 191 with respect to the frame 110 and the angle of the temple 191 with respect to the frame 110, It is not limited thereto.
  • the degree of distortion of the nose support part 192 is a skew angle indicating the difference between the default angle of the nose support part 192 with respect to the frame 110 and the angle of the nose support part 192 with respect to the frame 110. may be expressed, but is not limited thereto.
  • the pattern detection code 1740 detects the deformation of the pattern formed on the light reflection unit 1400, and the deviation determination code 1750 analyzes the deformed pattern to estimate the degree of deviation of the support unit 190. has been described, but is not limited thereto.
  • a predetermined pattern may be formed on a portion of the augmented reality apparatus 1000 that reflects light emitted from the light emitter 1510 to direct the reflected light toward the light receiver 1520 .
  • a pattern may be formed in a portion of the frame 110 of the augmented reality apparatus 1000 toward the light emitter 1510 and the light receiver 1520 .
  • a pattern may be formed by forming a predetermined curve in a partial region of the frame 110 .
  • a pattern may be formed by forming a material capable of reflecting light in a partial region of the frame 110 .
  • other components included in the augmented reality device 1000 in the form of glasses may be attached to or coated with a cover glass installed to protect a vision correction lens or a light guide plate for vision correction.
  • a pattern may be formed in a partial region from the nose support 192 of the augmented reality apparatus 1000 toward the light emitting unit 1510 and the light receiving unit 1520 .
  • a pattern may be formed by forming a predetermined curve in a partial region of the nose support portion 192 .
  • a pattern may be formed by forming a material capable of reflecting light in a partial region of the nose support portion 192 .
  • the light emitting unit 1510 and the light receiving unit 1520 are preferably located in the temple 191 of the augmented reality apparatus 1000, but is not limited thereto.
  • a pattern may be formed in a portion of the temple 191 of the augmented reality apparatus 1000 toward the light emitting unit 1510 and the light receiving unit 1520 .
  • a pattern may be formed by forming a predetermined curve in a partial region of the temple 191 .
  • a pattern may be formed by forming a material capable of reflecting light in a partial region of the temple 191 .
  • the light emitting unit 1510 and the light receiving unit 1520 are preferably located on the nose support 192 of the augmented reality apparatus 1000, but is not limited thereto.
  • the processor 1800 may detect the pupil position of the user's eye by executing the pupil position detection code 1760 stored in the storage unit 1700 .
  • the pupil position detection code 1760 may identify the position of the pupil of the user's eye based on the IR light reflected from the light reflection unit 1400 .
  • the pupil position detection code 1760 may identify the position of the pupil of the user's eye in the image from the image captured by the IR camera. Or, for example, when the light receiving unit 1520 is an IR detector, the pupil position detection code 1760 may calculate the position of the pupil of the user's eye by analyzing the IR light sequentially acquired by the IR detector. have.
  • the pupil position detection code 1760 may identify the position of the pupil of the user's eye by identifying the center point of the pupil of the user's eye.
  • the processor 1800 may acquire information about the user's gaze by executing the gaze determination code 1770 stored in the storage 1700 .
  • the processor 1800 may calculate the position of the center of the user's eye by executing the gaze determination code 1770 .
  • the center of the user's eye may be the center of the user's eyeball.
  • the processor 1800 based on the position of the pupil of the user's eye obtained by the pupil position detection code 1760 and the degree of deviation of the support unit 190 obtained by the deviation determination code 1750, the user's eye The position of the center can be calculated.
  • the position of the center of the user's eye may be calculated to be the value of the pupil position of the user's eye.
  • the center of the eye may be the center of the eyeball, and the position of the eye center may have a 3D coordinate value in a coordinate system in real space.
  • the processor 1800 may calculate the position of the user's gaze point by executing the gaze determination code 1770 .
  • the processor 1800 may generate in advance a mapping function for calculating the position of the gaze point from features of the user's eyes.
  • the mapping function is a function for calculating the position of the user's gaze point in consideration of the user's eye characteristics and misalignment information of the support unit 190 , and may be generated during a calibration process of a calibration code 1780 , which will be described later.
  • the position of the gaze point may have a 3D coordinate value in a coordinate system in real space, but is not limited thereto.
  • the position of the gaze point may have a coordinate value in the coordinate system of the light guide plate 170 , but is not limited thereto.
  • the processor 1800 corrects the features related to the gaze of the user's eyes obtained from the eye feature detection code 1730 by executing the gaze determination code 1770 , based on the degree of deviation obtained from the deviation determination code 1750 . can do.
  • the processor 1800 may calculate the position of the user's gaze point by applying the features related to the gaze of the user's eyes, corrected based on the degree of distortion, to the mapping function.
  • the user's gaze direction may be determined based on the location of the central point of the eye and the user's gaze point calculated by the gaze determination code 1770 . A method of acquiring the user's gaze direction using the gaze determination code 1770 will be described in more detail with reference to FIG. 11 .
  • the processor 1800 may calculate the user's gaze point without using the above-described mapping function.
  • the gaze determination code 1770 may calculate the gaze direction of the user's eye from the photographed image of the user's eye using a predetermined algorithm.
  • the obtained gaze direction may be a vector value indicating the gaze direction of the user's eyes in the camera coordinate system.
  • An algorithm used to obtain the gaze direction of the user's eye may be an algorithm for fitting a 3D eye model.
  • An algorithm for fitting a 3D eye model is an algorithm for obtaining a vector value indicating a user's gaze direction by comparing an eye image corresponding to a reference vector value indicating the user's gaze direction with an image captured by an IR camera.
  • the gaze determination code 1770 may convert a vector value indicating the gaze direction in the camera coordinate system into a vector value indicating the gaze direction in the coordinate system of the light guide plate 170 by using the misalignment angle of the temple 191 . Thereafter, the gaze determination code 1770 may obtain the user's gaze point by calculating an intersection point between the vector indicating the gaze direction in the coordinate system of the light guide plate 170 and the light guide plate 170 .
  • the processor 1800 may calibrate the mapping function based on the distortion angle of the support 190 by executing the calibration code 1780 stored in the storage 1700 . By executing the calibration code 1780 , the processor 1800 may calibrate the mapping function to obtain the user's gaze point based on a preset default angle of deviation and eye characteristics.
  • the processor 1800 displays a target point for calibration through the light guide plate 170, and the user's eyes looking at the target point using the IR camera. can be filmed
  • the processor 1800 may identify a pattern in an image captured by the user's eyes, and may obtain a misalignment angle of the support unit 190 by analyzing the identified pattern.
  • the processor 1800 may detect the positions of the feature points related to the user's eyes from the image in which the user's eyes are captured, and input the positions of the feature points of the user's eye and the misalignment angle of the support unit 190 to the mapping function. .
  • the processor 1800 may calibrate the mapping function so that the position value of the target point is output from the mapping function to which the positions of the feature points of the user's eyes and the angle of distortion of the support unit 190 are input.
  • the processor 1800 displays a target point for calibration through the light guide plate 170 and controls the IR scanner to close the eyes of the user looking at the target point. It can emit IR light for scanning.
  • the processor 1800 receives the IR light reflected from the user's eye through the IR detector, identifies the pattern of the light reflection unit 1400 by analyzing the IR light, and estimates the distortion angle of the temple 191 .
  • the processor 1800 may identify the positions of the corrected feature points of the eye by analyzing the IR light based on the distortion angle of the temple 191 .
  • the processor 1800 estimates the positions of the eye feature points using the IR scanner and the IR detector
  • the result of estimating the positions of the eye feature points is affected by the operating angle of the IR scanner, so the scanner operation
  • the positions of the eye feature points may be corrected based on the deviation of the support unit 190 .
  • the processor 1800 inputs the positions of the corrected feature points of the eye into the mapping function, and calibrates the mapping function so that the position of the target point is output from the mapping function in which the positions of the corrected feature points of the eye are input. have.
  • FIG. 4 is a diagram illustrating an example of operations of a light emitting unit and a light receiving unit of an augmented reality device according to an embodiment of the present disclosure.
  • the light emitting unit 1510 may emit IR light toward the light reflecting unit 1400 , and the emitted IR light may be reflected by the light reflecting unit 1400 toward the user's eyes. have.
  • the IR light directed toward the user's eyes may be reflected back by the user's eyes and directed toward the light reflecting unit 1400 , and the IR light reflected by the user's eyes may be reflected back by the light reflecting unit 1400 .
  • It may face the light receiver 1520 .
  • the light receiver 1520 may receive IR light reflected from the user's eye by the light reflector 1400 and directed toward the light receiver 1520 .
  • the augmented reality apparatus 1000 as a spectacle-type display device emits IR light toward the user's left eye and receives the IR light reflected from the user's left eye, but is not limited thereto.
  • the augmented reality apparatus 1000 may emit IR light toward the user's right eye and receive the IR light reflected from the user's right eye in the same manner as shown in FIG. 4 .
  • 5A is a diagram illustrating an example of a light emitting unit emitting surface light according to an embodiment of the present disclosure.
  • the light emitting unit 1510 of FIG. 2 may be an IR LED
  • the light receiving unit 1520 of FIG. 2 may be an IR camera.
  • the light emitter 1510 may emit the IR light of the surface light toward the light reflector 1400 , and the emitted IR light may be reflected by the light reflector 1400 toward the user's eyes.
  • the processor 1800 controls the irradiation direction of the IR light emitted from the IR LED.
  • the IR light of the surface light reflected by the light reflection unit 1400 may cover the entire eye of the user.
  • the light receiving unit 1520 may be an IR camera, and the IR camera receives the IR light reflected by the user's eye, so that the IR camera can photograph the user's eye.
  • coordinate values on the coordinate system of the IR camera corresponding to pixels of an image photographed by the IR camera may be preset.
  • the processor 1800 may identify a coordinate value corresponding to a feature point of the eye based on a property (eg, brightness) of the IR light received through the IR camera.
  • the processor 1800 identifies the brightness of IR light received through an image sensor of an IR camera including a plurality of photodiodes, and receives IR light representing a pupil among pixels of an image captured by the IR camera.
  • the coordinate value 51 on the IR coordinate system corresponding to the center point of the pupil may be identified.
  • the IR light representing the pupil may be an IR light having a brightness lower than a predetermined value, but is not limited thereto.
  • the processor 1800 identifies the brightness of IR light received through the image sensor of the IR camera including a plurality of photodiodes, and selects the eye's twinkle feature among pixels of the image captured by the IR camera.
  • a coordinate value 52 on the IR coordinate system corresponding to the eye's twinkling feature point may be identified by identifying the at least one pixel.
  • the IR light representing the twinkle feature of the eye may be an IR light having a brightness greater than a predetermined value, but is not limited thereto.
  • the light emitter 1510 may be an IR LED that emits flickering light
  • the light reflector may be an IR event camera.
  • the IR event camera may be an IR camera that is activated when a specific event occurs and automatically captures a subject.
  • the IR event camera may be activated to automatically capture the user's eyes, for example, when the pattern of blinking light is different.
  • 5B is a diagram illustrating an example of a light emitting unit emitting point light according to an embodiment of the present disclosure.
  • the light emitting unit 1510 of FIG. 2 may be an IR scanner and the light receiving unit 1520 of FIG. 2 may be an IR detector.
  • the light emitting unit 1510 may emit point-of-point IR light toward the light reflecting unit 1400 , and the emitted IR light may be reflected by the light reflecting unit 1400 to face the user's eyes.
  • the light emitting unit 1510 may sequentially emit the IR light of the point light toward the light reflection unit 1400 while changing the emission direction to the vertical direction or the horizontal direction, and the sequentially emitted IR light of the point light is It is reflected by the light reflection unit 1400 to cover the entire user's eyes.
  • the processor 1800 performs the IR emitted from the IR scanner. It is possible to control the irradiation direction of the light.
  • the light emitter 1510 may be a 2-dimensional (2D) scanner and the light receiver 1520 may be at least one photodiode.
  • coordinate values on the coordinate system of the IR detector corresponding to the IR lights in the array of IR lights sequentially received through the IR detector may be preset, and the processor 1800 sets the value of the IR light sequentially received through the IR detector. Based on the property (eg, brightness) of the IR lights in the array, a coordinate value corresponding to a feature point of the eye may be identified. For example, the processor 1800 identifies the coordinate values on the coordinate system of the IR detector corresponding to IR lights having a brightness of a predetermined value or less in the array of received IR lights, so that the coordinate values on the IR coordinate system corresponding to the center point of the pupil ( 53) can be identified.
  • the processor 1800 identifies the coordinate values on the coordinate system of the IR detector corresponding to IR lights having a brightness of a predetermined value or less in the array of received IR lights, so that the coordinate values on the IR coordinate system corresponding to the center point of the pupil ( 53) can be identified.
  • the processor 1800 identifies coordinate values on the coordinate system of the IR detector corresponding to IR lights having a brightness greater than or equal to a predetermined value in the array of received IR lights, so that the coordinates on the IR coordinate system corresponding to the twinkle feature point of the eye A value 54 can be identified.
  • 5C is a diagram illustrating an example of a light emitting unit emitting a rotation beam according to an embodiment of the present disclosure.
  • the light emitting unit 1510 of FIG. 2 may be an IR scanner and the light receiving unit 1520 of FIG. 2 may be an IR detector.
  • the light emitting unit 1510 may emit a line beam of IR light toward the light reflecting unit 1400 , and the emitted IR light may be reflected by the light reflecting unit 1400 to face the user's eyes.
  • the processor 1800 may perform the IR emitted from the IR scanner. It is possible to control the irradiation direction of the light.
  • the light emission unit 1510 may sequentially emit the IR light of the linear beam toward the light reflection unit 1400 while changing the emission direction, and the sequentially emitted IR light of the linear beam is the light reflection unit 1400 . It can be reflected by the to cover the entire user's eyes.
  • the light emitter 1510 may be a 1-dimensional (1D) scanner and the light receiver 1520 may be a photodiode array including a plurality of photodiodes.
  • the light receiving unit 1520 is a photodiode array, it is more preferable that the light receiving unit 1520 is disposed in the temple 191 . For example, if the linear light emitted from the light emitting unit 1510 is horizontal to cover the area including the user's eyes, the emission direction may be changed in the vertical direction, and if the vertical direction, the emission direction may be changed in the horizontal direction. .
  • coordinate values on the coordinate system of the IR detector corresponding to the IR lights in the array of IR lights sequentially received through the IR detector may be preset, and the processor 1800 sets the value of the IR light sequentially received through the IR detector. Based on the property (eg, brightness) of the lights in the array, a coordinate value corresponding to a feature point of the eye may be identified. For example, the processor 1800 identifies beams having IR beams having a brightness greater than or equal to a predetermined value, and corresponds to IR beams having a brightness of less than or equal to a predetermined value among a plurality of photodiodes that have received the rotation beams for each beam.
  • the coordinate value 55 on the IR coordinate system corresponding to the center point of the pupil may be identified by identifying the photodiode.
  • the processor 1800 identifies beams having IR beams having a brightness greater than or equal to a predetermined value, and among a plurality of photodiodes that have received the beams for each beam, IR beams having a brightness of less than or equal to a predetermined value. By identifying the photodiodes corresponding to , it is possible to identify the coordinate value 56 on the IR coordinate system corresponding to the eye's twinkling feature point.
  • the augmented reality device 1000 which is a spectacle-type display device, emits IR light toward one eye of the user has been described, but the present invention is not limited thereto.
  • the augmented reality apparatus 1000 may emit IR light toward the user's other eye in the same manner as illustrated in FIGS. 5A to 5C .
  • 6A is a diagram illustrating an example in which a light emitting unit and a light receiving unit are disposed in a temple of an augmented reality device according to an embodiment of the present disclosure.
  • the augmented reality device 1000 of FIG. 2 may be a glasses-type device, and the light emitter 1510 and the light receiver 1520 may be disposed in the temple 191 of the augmented reality device 1000 .
  • the light emitter 1510 and the light receiver 1520 may be disposed on the inner side of the temple 191 of the augmented reality apparatus 1000 , which is located between the temple 191 and the user's eyes.
  • the light emitter 1510 and the light receiver 1520 may be disposed on the inner surface of the temple 191 of the augmented reality apparatus 1000 to be spaced apart from the frame by about 10 mm to 15 mm.
  • the light emitter 1510 and the light receiver 1520 may be disposed to face the light reflector 1400 from the temple 191 of the augmented reality apparatus 1000 .
  • 6B is a diagram illustrating an example in which the light emitting unit and the light receiving unit are disposed on the nose support of the augmented reality device according to an embodiment of the present disclosure.
  • the augmented reality device 1000 of FIG. 2 may be a glasses-type device, and the light emitting unit 1510 and the light receiving unit 1520 are to be disposed on the nose support unit 192 of the augmented reality device 1000 .
  • the light emitter 1510 and the light receiver 1520 may be disposed on the inner side of the nose supporter 192 of the augmented reality apparatus 1000 , which is a position between the nose supporter 192 and the user's eyes.
  • the light emitter 1510 and the light receiver 1520 may be disposed to face the light reflector 1400 from the nose support 192 of the augmented reality apparatus 1000 .
  • 6C is a diagram illustrating an example in which the light emitting unit and the light receiving unit are disposed on the temple and the nose support of the augmented reality device according to an embodiment of the present disclosure.
  • the augmented reality device 1000 of FIG. 2 may be a glasses-type device, the light emitting unit 1510 is disposed in the temple 191 of the augmented reality device 1000 , and the light receiving unit 1520 is augmented It may be disposed on the nose support 192 of the reality device 1000 .
  • the light emitter 1510 may be disposed on the inner side of the temple 191 of the augmented reality apparatus 1000 , which is located between the temple 191 and the user's eyes.
  • the light receiver 1520 may be disposed on the inner side of the nose support 192 of the augmented reality apparatus 1000 , which is a position between the nose support 192 and the user's eyes.
  • the light emitter 1510 and the light receiver 1520 may be disposed to face the light reflector 1400 in the augmented reality apparatus 1000 .
  • 6D is a diagram illustrating an example in which the light emitting unit and the light receiving unit are disposed on the temple and the nose support of the augmented reality device according to an embodiment of the present disclosure.
  • the augmented reality device 1000 of FIG. 2 may be a glasses-type device, the light emitting unit 1510 is disposed on the nose support 192 of the augmented reality device 1000 , and the light receiving unit 1520 is It may be disposed on the temple 191 of the augmented reality device 1000 .
  • the light emitter 1510 may be disposed on the inner side of the nose support 192 of the augmented reality apparatus 1000 , which is a position between the nose support 192 and the user's eyes.
  • the light receiver 1520 may be disposed on the inner side of the temple 191 of the augmented reality apparatus 1000 , which is located between the temple 191 and the user's eyes.
  • the light emitter 1510 and the light receiver 1520 may be disposed to face the light reflector 1400 in the augmented reality apparatus 1000 .
  • one light emitter 1510 and one light receiver 1520 are disposed in the augmented reality apparatus 1000 in FIGS. 6A to 6D
  • the present invention is not limited thereto.
  • a plurality of light emitters 1510 may be disposed in the augmented reality apparatus 1000 .
  • a plurality of light emission units 1510 may be disposed on the temple 191
  • a plurality of light emission units 1510 may be disposed on the nose support portion 192 .
  • a plurality of light emitting units 1510 may be dividedly disposed on the temple 191 and the nose support unit 192 .
  • a plurality of light receivers 1520 may be disposed in the augmented reality apparatus 1000 .
  • a plurality of light receivers 1520 may be disposed on the temple 191 , or a plurality of light receivers 1520 may be disposed on the nose support part 192 .
  • the plurality of light receiving units 1520 may be dividedly disposed on the temple 191 and the nose support unit 192 .
  • the light emitting unit 1510 and the light receiving unit 1520 are disposed on the left eye of the augmented reality apparatus 1000, which is a spectacle-type display apparatus, for convenience of description, but is not limited thereto.
  • the light emitter 1510 and the light receiver 1520 may be disposed on the right eye of the augmented reality apparatus 1000 in the same manner as illustrated in FIGS. 6A to 6D .
  • FIG. 7A is a diagram illustrating an example of a dot pattern formed in the light reflection unit of the augmented reality device according to an embodiment of the present disclosure
  • FIG. 7B is a grid formed in the light reflection unit of the augmented reality device according to an embodiment of the present disclosure.
  • It is a diagram illustrating an example of a pattern
  • FIG. 7C is a diagram illustrating an example of a pattern in the form of a 2D marker according to an embodiment of the present disclosure
  • FIG. 7D is a light covering a portion of the light guide plate according to an embodiment of the present disclosure It is a figure which shows an example of a reflection part.
  • a dot-shaped pattern may be formed on the light reflection unit 1400 of the augmented reality device of FIG. 2 .
  • FIG. 7B on the light reflection unit 1400 of the augmented reality device of FIG. 2 .
  • a grid-like pattern may be formed. IR light may not be reflected in the portion where the pattern is formed.
  • the dot-shaped pattern or the grid-shaped pattern is for detecting the distortion of the support part or the temple of the augmented reality device, it is preferable to have a regular shape.
  • a pattern may be formed in a portion where the user's gaze is directed at a low frequency.
  • the formed pattern may be, for example, a pattern in the form of a 2D marker, but is not limited thereto.
  • the pattern formed on the light reflection unit 1400 may be formed on a portion that does not interfere with photographing or scanning the user's eyes, for example.
  • a light reflection unit 1400 may be formed on a portion of the light guide plate 170 of the augmented reality device of FIG. 2 .
  • the light reflection unit 1400 may not be located in a portion having little relation to the reflection of IR light.
  • the IR camera may photograph the user's eyes based on the IR light reflected by the light reflecting unit 1400 , and the IR light is emitted in the portion where the pattern is formed. may not be reflective. For example, a portion in which the IR light is not reflected in an image in which the user's eye is photographed may be displayed in black, and the processor 1800 identifies a pattern in the image by identifying a portion in which the user's eye is displayed in black in the photographed image. can do.
  • the IR detector may sequentially receive the IR light reflected by the light reflecting unit 1400, and the IR light may not be reflected in the portion where the pattern is formed.
  • the processor 1800 may identify the pattern of the light reflection unit 1400 by identifying a portion where the IR light is not reflected in the IR light array formed by the sequentially received IR lights.
  • FIG. 8A is a view illustrating a light emission angle and a pattern before the temple of the augmented reality device is distorted according to an embodiment of the present disclosure
  • FIG. 8B is after the temple of the augmented reality device according to an embodiment of the present disclosure is distorted. It is a diagram showing the light emission angle and pattern.
  • the light emitting unit 1510 has a first light emission angle 80 , and the dot pattern is IR light may be emitted toward the formed light reflection unit 1400 .
  • the light emitter 1510 emits IR light toward the light reflector 1400
  • the first pattern 82 is augmented reality based on the IR light received by the light receiver 1520 . may be identified by device 1000 .
  • the light emitter 1510 reflects light at a second light emission angle 90 .
  • IR light may be emitted toward the unit 1400
  • the second pattern 92 may be identified by the augmented reality apparatus 1000 based on the IR light received by the light receiving unit 1520 .
  • the first pattern 82 and the second pattern 92 may include dots with different spacing from each other, and the augmented reality apparatus 1000 may display the first pattern 82 and the second pattern 92 .
  • the degree of distortion of the temple 191 can be identified.
  • the skew angle with respect to the first pattern 82 may be set to '0', and the second pattern based on the difference in positions of the points in the first pattern 82 and the points in the second pattern 82 .
  • a deflection angle for (83) can be calculated.
  • the deviation angle with respect to the second pattern may be a difference value between the first light emission angle 80 and the second light emission angle 90 .
  • the processor compares the spacing of the dots in the first pattern 82 with the spacing of the dots in the second pattern 92 , thereby comparing the dots in the second pattern 92 to the spacings of the dots in the first pattern 82 . It is possible to identify the difference values of the intervals between the two, and by inputting the identified difference values into at least one function for calculating the degree of distortion of the temple 191, the first light emission angle 80 corresponding to the first pattern 82 ) and the degree of distortion of the temple 191 representing the difference between the second light emission angle 90 corresponding to the second pattern 92 may be calculated.
  • the processor 1800 compares the positions of the dots in the first pattern 82 with the positions of the dots in the second pattern 92 , thereby creating a second pattern 92 for spacings of the dots in the first pattern 82 . It is possible to identify difference values of the positions of the points within, and by inputting the identified difference values into at least one function for calculating the degree of distortion of the temple 191 , the first light emission angle corresponding to the first pattern 82 . A degree of distortion of the temple 191 indicating the difference between 80 and the second light emission angle 90 corresponding to the second pattern 92 may be calculated.
  • the processor 1800 may identify the degree of distortion of the temple 191 based on the second pattern 92 without comparing the first pattern 82 and the second pattern 92 . . In this case, the processor 1800 may identify difference values between the points in the second pattern 92 , and input the identified difference values into at least one function for calculating the degree of distortion of the temple 191 . The degree of distortion of the temple 191 may be calculated.
  • FIG. 9 is a diagram illustrating an example of a pattern identified from an array of light received through a light receiving unit when the light emitting unit of the augmented reality device is an IR scanner according to an embodiment of the present disclosure.
  • the IR scanner 1520 - 1 may represent the IR scanner before the support 190 of the augmented reality apparatus 1000 in the form of glasses as shown in FIG. 2 is twisted.
  • the IR scanner 1520 - 1 may sequentially emit the IR light of the point light toward the area where the user's eyes are located using the light reflection unit 1400 , and the light receiving unit 1520 may include the first light array 90 . can receive
  • the IR scanner 1520 - 2 may represent the IR scanner after the support 190 of the augmented reality apparatus 1000 is misaligned.
  • the IR scanner 1520-2 may sequentially emit point-of-sight IR light toward an area where the user's eyes are located by using the light reflection unit 1400, and the light receiving unit 1520 includes the second light array 92. can receive
  • positions and intervals of optical signals corresponding to the dot patterns of the light reflection unit 1400 may be different from each other, and the augmented reality apparatus 1000 may perform the first A portion of the optical array 90 corresponding to the dot pattern of the light reflection unit 1400 may be compared with a portion corresponding to the dot pattern of the light reflection unit 1400 in the second optical array 92 . Also, the augmented reality apparatus 1000 may identify the degree of distortion of the support unit 190 of the augmented reality apparatus 1000 based on the comparison result.
  • the portions 90 - 1 , 90 - 2 , and 90 corresponding to the dot pattern in the first light array 90 . -3, 90-4) and portions 92-1, 92-2, 92-3, and 92-4 corresponding to the dot pattern in the second optical array 92 may not receive an optical signal.
  • the processor 1800 identifies portions in the first optical array 90 from which an optical signal is not received, and thereby the portions 90 - 1 , 90 - 2 , and 90 - 3 corresponding to the dot pattern in the first optical array 90 .
  • the processor 1800 identifies portions in the second optical array 92 from which an optical signal is not received, so as to identify portions 92-1 and 92 corresponding to the dot pattern in the second optical array 92 .
  • -2, 92-3, 92-4 can be identified, and coordinate values on the coordinate system of the IR scanner indicating the parts 92-1, 92-2, 92-3, and 92-4 corresponding to the dot pattern.
  • (92-5, 92-6, 92-7, 92-8) can be identified.
  • the processor 1800 sets the coordinate values 90- on the coordinate system of the IR scanner representing the portions 90-1, 90-2, 90-3, and 90-4 corresponding to the dot pattern in the first optical array 90 . 5 , 90 - 6 , 90 - 7 , and 90 - 8 ), indicating portions 92-1, 92-2, 92-3, and 92-4 corresponding to the dot pattern in the second optical array 92 .
  • the coordinate values (92-5, 92-6, 92-7, 92-8) By comparing the coordinate values (92-5, 92-6, 92-7, 92-8) on the coordinate system of the IR scanner, the coordinate values (90-5, 90-6, 90-7, 90-8) and the coordinate values (92-5, 92-6, 92-7, 92-8) can be calculated.
  • the processor 1800 may determine the difference value between the coordinate value 90-5 and the coordinate value 92-5, the difference value between the coordinate value 90-6 and the coordinate value 92-6, the coordinate value ( 90-7) and the coordinate value 92-7, and the support unit 190 of the augmented reality apparatus 1000 based on the difference value between the coordinate value 90-8 and the coordinate value 92-8 can calculate the angle of deflection of .
  • the IR scanner 1520 - 1 before the support 190 of the augmented reality device 1000 is twisted and the IR scanner 1520 after the support 190 of the augmented reality device 1000 is twisted.
  • the IR scanner 1520 - 1 before the support 190 is twisted and the IR scanner 1520 - 2 after the support 190 of the augmented reality device 1000 is twisted are shown.
  • the IR scanner 1520 - 1 before the support 190 is twisted and the IR scanner 1520 - 2 after the support 190 of the augmented reality device 1000 is twisted are the augmented reality device 100 .
  • one first optical array 90 is used to identify a dot pattern using the IR scanner 150-1 before the support 190 is twisted, and the augmented reality device It has been described that one second light array 92 is used to identify a dot pattern using the IR scanner 1520 - 2 after the support 190 of 1000 is misaligned, but is not limited thereto.
  • a plurality of optical arrays for covering the dot pattern are used, and the IR scanner after the support 190 is twisted ( 1520-2), a plurality of light arrays for covering the dot pattern may be used to identify the dot pattern.
  • FIG. 10 is a diagram illustrating an example of an eye feature identified from an array of light received through a light receiving unit of the augmented reality device when the light emitting unit of the augmented reality device is an IR scanner according to an embodiment of the present disclosure.
  • the light may be sequentially emitted toward the region where the user's eyes are located, and the light receiver 1520 may receive the third light array 100 .
  • the IR scanner 1520 - 2 after the support 190 of the augmented reality apparatus 1000 is twisted sequentially emits the IR light of the point light toward the area where the user's eyes are located using the light reflection unit 1400 .
  • the light receiving unit 1520 may receive the fourth light array 102 .
  • positions and intervals of optical signals corresponding to eye feature points may be different from each other.
  • the augmented reality apparatus 1000 may correct the position of the portion corresponding to the feature point of the eye from the fourth optical array 102 in consideration of the misalignment angle of the support unit 190 .
  • the processor 1800 identifies the portions 102-1 in the fourth light array 102 that correspond to the twinkle feature points of the eyes, based on the brightness of the lights in the fourth light array 102 .
  • the processor 1800 may correct the coordinate values 102 - 2 indicating the twinkle feature point of the eye using the deviation angle calculated in FIG. 9 .
  • the processor 1800 may obtain corrected coordinate values by multiplying the coordinate values 102 - 2 representing the twinkling feature point of the eye by the compensation matrix of FIG. 11 , which will be described later.
  • the IR scanner 1520 - 1 before the support 190 of the augmented reality device 1000 is twisted and the IR scanner 1520 after the support 190 of the augmented reality device 1000 is twisted.
  • the IR scanner 1520 - 1 before the support 190 is twisted and the IR scanner 1520 - 2 after the support 190 of the augmented reality device 1000 is twisted are shown.
  • the IR scanner 1520 - 1 before the support 190 is twisted and the IR scanner 1520 - 2 after the support 190 of the augmented reality device 1000 is twisted are the augmented reality device 100 .
  • one third optical array 90 is used to identify feature points of the eye using the IR scanner 152-1 before the support 190 is twisted, and augmented reality. It has been described that one second optical array 92 is used to identify eye feature points using the IR scanner 1520 - 2 after the support 190 of the device 1000 is misaligned, but the present invention is not limited thereto. .
  • a plurality of optical arrays for covering the user's eyes are used, and the IR after the support 190 is twisted.
  • a plurality of light arrays for covering the user's eyes may be used to identify eye feature points using the scanner 1520 - 2 .
  • FIG. 11 is a diagram illustrating examples of functions used by an augmented reality device to calculate a center of an eyeball and calculate a gaze point of a user according to an embodiment of the present disclosure.
  • Equation (11) represents the relationship between the coordinate value 12 of the center of the eye pupil in the coordinate system of the IR camera and the coordinate value 13 in real space representing the center of the eyeball.
  • the coordinate value of the coordinate system of the IR camera may have a 2D coordinate value
  • the coordinate value of the real space may have a 2D coordinate value or a 3D coordinate value.
  • the A coordinate value 12 of the center of the pupil may be calculated.
  • the camera rotation matrix is a matrix that converts the coordinate values in real space into the coordinate values of the camera coordinate system in consideration of the placement position of the camera.
  • the coordinate value 13 indicating the center is converted into a coordinate value of the coordinate system of the IR camera, and the size of the converted coordinate value may be normalized by multiplying the converted coordinate value by a scale factor.
  • the normalized 2D coordinate value is corrected to reflect the distortion of the image, so that the coordinate value 12 of the center of the pupil of the eye can be calculated.
  • the value representing the distortion of the image may be used to arrange the position of the eye at the reference position in the image photographed by the IR camera.
  • the value representing the distortion of the image is based on the difference between the center point of the image captured by the IR camera and the center point of the eye in the captured image, moving the center point of the eye of the captured image to the center point of the captured image It can be a value for
  • the camera rotation matrix 20, the scale factor and the values representing the distortion of the image are, for example, the arrangement position of the IR LED, the arrangement position of the IR camera, the shooting direction of the IR camera, the angle of view of the IR camera,
  • the image taken by the IR camera, information related to the human eye may be determined in consideration of previously photographed eye images, and the like. It may be preset in the augmented reality device 1000 during manufacturing.
  • the augmented reality apparatus 1000 may obtain a coordinate value 13 representing the center of the eyeball by inputting the coordinate value 12 of the center of the eye pupil into Equation (11).
  • Equation (15) may represent the relationship between the values (17) representing the feature points of the eye and the user's gaze point (16). For example, by multiplying the values 17 representing the eye feature points by the compensation matrix 18 , the feature points corrected by reflecting the deviation of the support unit 190 may be obtained.
  • the value 19 that is output by inputting a value obtained by multiplying values 17 representing the characteristic points of the eye and a compensation matrix to the mapping function F may be a coordinate value 16 representing the gaze point of the user.
  • the compensation matrix may be a matrix for compensating for the degree of distortion of the support part 190 .
  • the compensation matrix 18 includes images taken from the IR camera in a state in which the support part 190 of the augmented reality device 1000 of FIG.
  • the compensation matrix 18 may be preset in the augmented reality apparatus 1000 when the augmented reality apparatus 1000 is manufactured. For example, in the compensation matrix 18 , in consideration of the degree of distortion of the support unit 190 , an image captured by an IR camera in a state where the support unit 190 of the augmented reality device 1000 is misaligned, the support unit 190 is It may be determined to be converted into an image photographed by the IR camera in an undistorted state.
  • the example in which the compensation matrix 18 is determined is not limited thereto.
  • the compensation matrix 18 includes information obtained from images captured by the IR camera in a state where the support 190 is not twisted, and information obtained from the IR camera in a state in which the support 190 of the augmented reality device 1000 is twisted. It may be determined through comparison between information obtained from photographed images.
  • the data obtained from the image may include, for example, the size of the image, the position of the eyes in the image, the position of the pupil in the image, the position of the pattern in the image, etc., but is not suggested thereto.
  • the compensation matrix 18 may include images captured by the IR camera in a state where the support unit 190 is not distorted, and images captured by the IR camera in a state in which the support unit 190 of the augmented reality device 1000 is misaligned. It can be determined by comparing with information obtained from images.
  • the compensation matrix 18 provides information obtained from images captured by the IR camera in a state in which the support unit 190 is not twisted, while the support unit 190 of the augmented reality device 1000 is not distorted. It can be determined by comparing with images taken from an IR camera.
  • mapping function F is a function for calculating the user's gaze point from the eye feature points, and may be determined such that the user's gaze point is calculated from the reward matrix and the eye feature points, and when the augmented reality apparatus 1000 is manufactured It may be preset in the augmented reality device 1000 .
  • the augmented reality apparatus 1000 may obtain the coordinate value 16 representing the user's gaze point from the positions of the eye feature points using Equation 15 .
  • FIGS. 12 is a flowchart of a method for detecting a user's gaze by the augmented reality apparatus of FIGS. 2 and 3 according to an embodiment of the present disclosure
  • the augmented reality device 1000 may emit IR light toward the light reflection unit 1400 through the light emitting unit 1510 installed on the support 190 extending from the frame 110 of the augmented reality device. .
  • the augmented reality apparatus 1000 may emit IR light toward at least a partial area of the light reflection unit 1400 so that the IR light reflected by the light reflection unit 1400 may cover the user's eyes.
  • the light emitter 1510 may be an IR LED.
  • the IR LED may be controlled so that the IR light emitted from the LED is reflected by the light reflection unit 1400 to cover the user's eyes.
  • the light emitting unit 1510 may be an IR scanner, and the augmented reality device 1000 is configured to allow the IR detector to detect the user's eyes.
  • the IR scanner may be controlled so that the IR light emitted from the IR scanner is reflected by the light reflection unit 1400 to scan the user's eyes.
  • the augmented reality device 1000 transmits the IR light reflected by the user's eyes through the light receiver 1520 installed on the support 190 extending from the frame 110 of the augmented reality device 1000 .
  • the IR light reflected back by the reflector 1400 may be received.
  • the light emitting unit 1510 when the light emitting unit 1510 is an IR LED, the light receiving unit 1520 may be an IR camera, and in the augmented reality device 1000 , the IR camera is transmitted from the user's eye to the light reflecting unit 1400 .
  • the IR camera can be controlled to photograph the user's eyes through the light reflected by the Alternatively, for example, when the light emitting unit 1510 is an IR scanner, the light receiving unit 1520 may be an IR detector, and the augmented reality apparatus 1000 may be configured to allow the IR detector to detect the user's eyes. To this end, the IR detector may be controlled so that the IR light reflected by the user's eye detects the IR light reflected back by the light reflection unit 1400 .
  • the augmented reality apparatus 1000 may detect preset features related to the gaze of the user's eyes based on the received IR light. For example, the augmented reality apparatus 1000 may detect a position of a pupil feature point of the user's eye and a position of a glint feature point of the user's eye.
  • the feature point of the pupil may be, for example, a central point of the pupil, and the feature point of the eye may be a portion having a brightness greater than or equal to a predetermined value among the detected areas of the eye.
  • the location of the feature point of the pupil and the location of the feature point of the eye may be identified, for example, by a coordinate value indicating a location in the coordinate system of the light receiver 1520 .
  • the coordinate system of the light receiver 1520 may be the coordinate system of the IR camera or the coordinate system of the IR detector, and the coordinate values in the coordinate system of the light receiver 1520 may be 2D coordinate values.
  • the augmented reality apparatus 1000 may detect preset features related to eye gaze by analyzing the light received by the light receiver 1520 . For example, when the light receiver 1520 is an IR camera, the augmented reality apparatus 1000 may identify the position of the pupil feature point and the eye twinkle feature point in the image captured by the IR camera. Alternatively, for example, when the light receiving unit 1520 is an IR detector, the augmented reality device 1000 analyzes the IR light detected by the IR detector to identify the position of the pupil feature point and the eye twinkle feature point. can do.
  • the augmented reality apparatus 1000 may obtain a coordinate value indicating the position of the feature point of the pupil and a coordinate value indicating the position of the feature point of the eye by analyzing the light received by the light receiver 1520 .
  • the augmented reality device 1000 may obtain coordinate values of the pupil feature point and the eye twinkle feature point in the coordinate system of the IR camera.
  • the augmented reality apparatus 1000 may identify the position of the central point of the pupil in the image captured by the IR camera.
  • the position of the center point of the pupil may have a coordinate value in the coordinate system of the IR camera.
  • the augmented reality apparatus 1000 may identify the position of the brightest point in the image captured by the IR camera in order to identify the twinkle feature point of the eye.
  • the augmented reality device 1000 identifies the brightness of IR light received through the image sensor of the IR camera including a plurality of photodiodes, and corresponds to the bright IR light above a predetermined standard among pixels of an image photographed by the IR camera. By identifying at least one pixel, the location of the eye's twinkling feature point may be identified.
  • the augmented reality apparatus 1000 may identify the location of the eye's twinkle feature point by identifying a pixel corresponding to the brightest IR light among pixels of an image captured by the IR camera.
  • the position of the twinkle feature point of the eye may have a coordinate value in the coordinate system of the IR camera.
  • the augmented reality apparatus 1000 may calculate the coordinate values of the feature points of the pupil and the coordinate values of the feature points of the eyes in the coordinate system of the IR detector.
  • the augmented reality device 1000 controls the IR scanner to apply a point light source or a line light source to cover the area where the user's eyes are located in order to scan the area where the user's eyes are located. It is possible to sequentially irradiate and sequentially receive light reflected from the user's eye through the IR detector. Also, the augmented reality apparatus 1000 may identify the pupil feature and the eye twinkle feature by analyzing the array of light sequentially received through the IR detector. For example, the augmented reality apparatus 1000 may identify the coordinates of the eye's twinkling feature point by identifying light having a brightness greater than or equal to a predetermined value in the received light array. For example, the position of the twinkle feature point of the eye may have a coordinate value in the coordinate system of the IR detector.
  • the augmented reality apparatus 1000 may detect a pattern of the light reflection unit 1400 based on the received IR light.
  • the light reflection unit 1400 may be coated on the inner surface of the light guide plate 170 of the augmented reality apparatus 1000 to have a predetermined pattern.
  • the augmented reality apparatus 1000 receives the IR light reflected by the user's eyes and reflected by the light reflection unit 1400 through the light receiving unit 1520, and identifies the shape of the pattern based on the received IR light.
  • the pattern formed on the light reflection unit 1400 may include, for example, a dot pattern, a line pattern, a grid pattern, a 2D marker, and the like, but is not limited thereto. If the temple 191 is misaligned with respect to the frame 110 , the pattern identified by the pattern detection code 1740 may have a deformed shape.
  • the IR camera may photograph the user's eyes based on the IR light reflected by the light reflecting unit 1400 , and the augmented reality device 1000 may Its eyes can identify patterns in the image from the captured image.
  • the light receiving unit 1520 is an IR detector
  • the IR detector may sequentially receive the IR light reflected by the light reflecting unit 1400
  • the augmented reality device 1000 is sequentially received. A portion related to the pattern of the light reflection unit 1400 in the IR light array may be identified.
  • the augmented reality apparatus 1000 may determine the degree to which the support 190 of the augmented reality apparatus 1000 is misaligned with respect to the frame 110 .
  • the augmented reality apparatus 1000 may identify a pattern having a deformed shape from the received IR light.
  • the augmented reality apparatus 1000 may estimate the degree of distortion of the support unit 190 by comparing a pattern having a deformed shape with an undeformed pattern, for example, as in FIGS. 8A and 8B .
  • the degree of deflection of the temple 191 may be expressed as a deflection angle indicating the difference between the default angle of the temple 191 with respect to the frame 110 and the angle of the temple 191 with respect to the frame 110, It is not limited thereto.
  • the degree of distortion of the nose support part 192 is a skew angle indicating the difference between the default angle of the nose support part 192 with respect to the frame 110 and the angle of the nose support part 192 with respect to the frame 110. may be expressed, but is not limited thereto.
  • the coordinate values of the pupil feature point and the eye twinkle feature point are corrected by reflecting the degree of distortion of the support unit 190 of the augmented reality device 1000 .
  • the light receiving unit 1520 is an IR detector
  • coordinate values 102-2 corresponding to IR lights 102-1 corresponding to eye feature points are calculated.
  • the degree of distortion of the support 190 may be reflected.
  • the augmented reality apparatus 1000 may set positions in the light array 102 of the lights 102-1 corresponding to the feature point of the eye among the lights in the light array 102 received by the IR detector, the support unit ( 190) can be corrected by reflecting the degree of distortion.
  • the augmented reality apparatus 1000 sets coordinate values ( 102-2) can be directly calculated.
  • the augmented reality device 1000 reflects the degree of distortion of the temple 191 of the augmented reality device 1000 and/or the degree of distortion of the nose support 192 , the coordinate values of the feature points of the pupil corrected by reflection and the twinkle of the eyes.
  • the coordinate values of the feature points may be calculated, and the corrected coordinate values may be input to the mapping function.
  • the augmented reality apparatus 1000 may identify the position of the pupil of the user's eye based on the IR light reflected from the light reflection unit 1400 .
  • the augmented reality apparatus 1000 may identify the location of the pupil of the user's eye in the image from the image captured by the IR camera.
  • the augmented reality apparatus 1000 may calculate the position of the pupil of the user's eye by analyzing the IR light sequentially acquired by the IR detector. .
  • the augmented reality apparatus 1000 may identify the location of the user's eye pupil by identifying the central point of the user's eye pupil.
  • the augmented reality apparatus 1000 may acquire the user's gaze direction.
  • the augmented reality apparatus 1000 may calculate the position of the center of the user's eye.
  • the center of the user's eye may be the center of the user's eyeball.
  • the augmented reality apparatus 1000 may calculate the position of the center of the user's eye based on the position of the pupil of the user's eye and the degree of distortion of the support unit 190 . For example, a value calculated based on a matrix for correcting the degree of misalignment of the support unit 190, a value indicating the position of the center of the eye, and a bias of an axis of an image in which the eye is photographed is the pupil of the user's eye.
  • the position of the center of the user's eye may be calculated to be a position value of .
  • the center of the eye may be the center of the eyeball, and the position of the eye center may have a 3D coordinate value in a coordinate system in real space.
  • the augmented reality apparatus 1000 may calculate the location of the user's gaze point.
  • the augmented reality apparatus 1000 may generate in advance a mapping function for calculating the location of the gaze point from features of the user's eyes.
  • the mapping function is a function for calculating the position of the user's gaze point in consideration of the user's eye characteristics and misalignment information of the support unit 190 , and may be generated during a calibration process of the calibration code 1780 .
  • the position of the gaze point may have a 3D coordinate value in a coordinate system in real space, but is not limited thereto.
  • the position of the gaze point may have a coordinate value in the coordinate system of the light guide plate 170 , but is not limited thereto.
  • the augmented reality apparatus 1000 may correct features related to the gaze of the user's eyes based on the degree of misalignment obtained from the misalignment determination code 1750 . Also, the augmented reality apparatus 1000 may calculate the position of the user's gaze point by applying the features related to the gaze of the user's eyes, corrected based on the degree of distortion, to the mapping function. Also, the user's gaze direction may be determined based on the location of the central point of the eye and the user's gaze point calculated by the gaze determination code 1770 .
  • the augmented reality apparatus 1000 may calibrate the mapping function based on the misalignment angle of the support unit 190 .
  • the augmented reality apparatus 1000 may calibrate a mapping function for obtaining the user's gaze point based on the default angle of deviation and eye characteristics.
  • the augmented reality apparatus 1000 displays a target point for calibration on the light guide plate 170, and the user's eyes looking at the target point use the IR camera. You can use it to take pictures.
  • the processor 1800 may identify a pattern in an image captured by the user's eyes, and may obtain a misalignment angle of the support unit 190 by analyzing the identified pattern.
  • the augmented reality apparatus 1000 detects the positions of the feature points related to the user's eyes from the image in which the user's eyes are photographed, and inputs the positions of the feature points of the user's eyes and the misalignment angle of the support unit 190 to the mapping function. can The augmented reality apparatus 1000 may calibrate the mapping function so that the location value of the target point may be output from the mapping function to which the position of the feature points of the user's eye and the angle of deviation of the support unit 190 are input.
  • the augmented reality apparatus 1000 displays a target point for calibration on the light guide plate 170, and controls the IR scanner so that the user who looks at the target point It can emit IR light to scan the eye.
  • the augmented reality device 1000 receives the IR light reflected from the user's eye through the IR detector, identifies the pattern of the light reflection unit 1400 by analyzing the IR light, and determines the angle of distortion of the temple 191 . can be estimated
  • the augmented reality apparatus 1000 may identify the positions of the corrected feature points of the eye by analyzing the IR light based on the distortion angle of the temple 191 .
  • the augmented reality apparatus 1000 estimates the positions of the eye feature points using the IR scanner and the IR detector
  • the estimation result of the eye feature points is affected by the operating angle of the IR scanner
  • the positions of the eye feature points may be corrected based on the deviation of the support unit 190 .
  • the augmented reality apparatus 1000 inputs the positions of the corrected feature points of the eye to the mapping function, and calibrates the mapping function so that the position of the target point is output from the mapping function to which the corrected positions of the eye corrected feature points are input. can do.
  • An embodiment of the present disclosure may also be implemented in the form of a recording medium including instructions executable by a computer, such as a program module executed by a computer.
  • the computer readable instructions may be computer code, which are program modules executable by a computer.
  • Computer-readable media can be any available media that can be accessed by a computer and includes both volatile and nonvolatile media, removable and non-removable media.
  • Computer-readable media may include computer storage media and communication media.
  • Computer storage media includes both volatile and nonvolatile, removable and non-removable media implemented in any method or technology for storage of information such as computer readable instructions, data structures, program code, program modules or other data.
  • Communication media may typically include computer readable instructions, data structures, or other data in a modulated data signal, such as program modules.
  • the computer-readable storage medium may be provided in the form of a non-transitory storage medium.
  • 'non-transitory storage medium' is a tangible device and only means that it does not contain a signal (eg, electromagnetic wave). It does not distinguish the case where it is stored as
  • the 'non-transitory storage medium' may include a buffer in which data is temporarily stored.
  • the method according to various embodiments disclosed in this document may be provided in a computer program product (computer program product).
  • Computer program products may be traded between sellers and buyers as commodities.
  • the computer program product is distributed in the form of a machine-readable storage medium (eg compact disc read only memory (CD-ROM)), or via an application store (eg Play Store TM ) or on two user devices ( It can be distributed (eg downloaded or uploaded) directly or online between smartphones (eg smartphones).
  • a portion of the computer program product eg, a downloadable app
  • a machine-readable storage medium such as a memory of a manufacturer's server, a server of an application store, or a relay server. It may be temporarily stored or temporarily created.
  • unit may be a hardware component such as a processor or circuit, and/or a software component executed by a hardware component such as a processor.
  • a, b, or c means “including only a, including only b, including only c, or including a and b, or including b and c, It may mean including a and c, or including both a, b and c.

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)

Abstract

사용자의 시선을 검출하는 증강 현실 장치 및 방법이 제공된다. 증강 현실 장치는, 도광판; 패턴을 포함하는 광 반사부; 상기 증강 현실 장치를 상기 증강 현실 장치 사용자의 얼굴에 고정하기 위한 지지부; 상기 지지부에 설치되는 광 방출부 및 광 수신부; 및 적어도 하나의 프로세서를 포함하며, 상기 프로세서는, 상기 광 반사부를 향해 광을 방출하도록 상기 광 방출부를 제어하고, 상기 광 수신부를 통해 수신된 광에 기초하여 상기 패턴을 식별하고, 상기 식별된 패턴에 기초하여 상기 증강 현실 장치 사용자의 시선 정보를 획득하며, 상기 광 반사부를 향해 방출된 광은 상기 광 반사부에 의해 반사되어 상기 사용자의 눈을 향하고, 상기 광 수신부에 의해 수신된 광은 상기 사용자의 눈을 향한 광이 상기 사용자의 눈에 의해 반사된 광을 포함하는 것을 특징으로 한다.

Description

사용자의 시선을 검출하는 증강 현실 장치 및 방법
본 개시는 사용자의 시선을 검출하는 증강 현실 장치 및 방법에 관한 것으로서, 보다 상세하게는 증강 현실 장치의 지지부에 위치한 광 방출부 및 광 수신부를 이용하여 사용자의 시선을 검출하는 증강 현실 장치 및 방법에 관한 것이다.
증강 현실(Augmented Reality)은 현실 세계의 물리적 환경 공간이나 현실 객체(real world object) 상에 가상 이미지를 투영시켜 하나의 이미지로 보여주는 기술이다. 증강 현실 장치는 사용자의 안면부나 두부에 착용된 상태에서 사용자의 눈앞에 배치되는, 도광판(웨이브가이드, waveguide)과 같은 시스루(see-through) 디스플레이를 이용한 안경 형태의 기기를 통해 현실 장면과 가상 이미지를 함께 볼 수 있게 한다. 이러한 증강 현실 장치에 대한 연구가 활발히 진행됨에 따라 다양한 형태의 착용형 장치들이 출시되거나 출시가 예고 되고 있다. 종래의 안경 형태의 증강 현실 장치에서는 일반적으로 도광판을 감싸는 림(rim) 부분에 사용자의 시선을 추적하기 위하여 카메라가 배치되며, 이로 인하여 증강 현실 장치의 림 부분이 비대하게 되는 문제가 있으며 나아가 증강 현실 장치의 사용자가 착용에 불편함을 느끼는 문제가 있었다.
본 개시의 일 실시예는, 증강 현실 장치의 프레임으로부터 연장된 지지부에 위치한 광 반사부 및 광 수신부를 이용하여 사용자의 시선을 검출할 수 있는 증강 현실 장치 및 방법을 제공할 수 있다.
또한, 본 개시의 일 실시예는, 도광판 상에 형성된 광 반사부를 통해 반사되는 광을 이용하여 사용자의 시선을 검출할 수 있는 증강 현실 장치 및 방법을 제공할 수 있다.
또한, 본 개시의 일 실시예는, 광 반사부에 형성된 패턴에 기초하여 증강 현실 장치의 지지부의 틀어짐 정도를 산출함으로써, 사용자의 시선을 더 정확하게 검출할 수 있는 증강 현실 장치 및 방법을 제공할 수 있다.
본 개시의 일 실시예에 따르면, 증강 현실 장치가 제공된다. 증강 현실 장치는 도광판; 패턴을 포함하는 광 반사부; 상기 증강 현실 장치를 상기 증강 현실 장치 사용자의 얼굴에 고정하기 위한 지지부; 상기 지지부에 설치되는 광 방출부 및 광 수신부; 및 상기 광 반사부를 향해 광을 방출하도록 상기 광 방출부를 제어하고, 상기 광 수신부에 의해 수신된 광에 기초하여 상기 패턴을 식별하고, 상기 식별된 패턴에 기초하여 상기 증강 현실 장치 사용자의 시선 정보를 획득하는 적어도 하나의 프로세서;를 포함하고,상기 광 반사부를 향해 방출된 광은 상기 광 반사부에 의해 반사되어 상기 사용자의 눈을 향하고, 상기 광 수신부에 의해 수신된 광은 상기 사용자의 눈을 향한 광이 상기 사용자의 눈에 의해 반사된 광을 포함하는 것을 특징으로 하는 증강 현실 장치를 제공할 수 있다.
상기 지지부는, 상기 도광판 주변의 프레임으로부터 연장되어 상기 사용자의 귀에 배치되는 템플; 및 상기 프레임으로부터 연장되어 상기 사용자의 코에 배치되는 코 지지부를 포함할 수 있다.
상기 광 반사부는 상기 도광판 상에 코팅됨에 따라 형성될 수 있다.
상기 광 반사부는 상기 도광판 상에 형성될 수 있다.
상기 적어도 하나의 프로세서는, 상기 식별된 패턴을 분석함으로써 상기 프레임으로부터 연장된 상기 지지부의 상기 프레임에 대한 틀어짐 정도를 식별할 수 있다.
상기 적어도 하나의 프로세서는, 상기 지지부의 상기 프레임에 대한 틀어짐에 기초하여 상기 사용자의 응시점의 위치를 산출하기 위한 매핑 함수를 생성하고, 상기 매핑 함수 및 상기 지지부에 대한 틀어짐 정도에 기초하여, 상기 사용자의 시선 정보를 획득할 수 있다.
상기 적어도 하나의 프로세서는, 상기 광 수신부에 의해 수신된 광에 기초하여, 상기 사용자의 눈에 대응되는 하나 또는 그 이상의 특징점들의 위치를 획득할 수 있다.
상기 적어도 하나의 프로세서는, 상기 사용자의 눈에 대응되는 하나 또는 그 이상의 특징점들의 위치 및 상기 지지부에 대한 틀어짐 정도를 상기 매핑 함수에 입력함으로써, 상기 사용자의 응시점의 위치를 산출할 수 있다.
상기 하나 또는 그 이상의 특징점들의 위치는, 상기 사용자의 눈의 동공의 특징점의 위치 및 상기 눈의 반짝임 특징점의 위치를 포함할 수 있다.
상기 적어도 하나의 프로세서는 상기 매핑 함수를 캘리브레이션하기 위하여, 상기 도광판 상의 특정 위치에 타겟 지점을 표시하고, 상기 표시된 타겟 지점을 바라보는 상기 사용자의 눈에 의해 반사된 광을 상기 광 수신부를 통하여 수신하고, 상기 표시된 타겟 지점을 바라보는 상기 사용자의 눈에 의해 반사된 광에 기초하여, 상기 매핑 함수를 캘리브레이션할 수 있다.
상기 적어도 하나의 프로세서는, 상기 매핑 함수의 캘리브레이션을 위하여, 상기 표시된 타겟 지점을 바라보는 상기 사용자의 눈에 의해 반사된 광에 기초하여, 상기 광 반사부의 패턴을 식별하고, 상기 식별된 패턴에 기초하여, 상기 지지부의 틀어짐 정도를 식별하고, 상기 표시된 타겟 지점을 바라보는 상기 사용자의 눈에 의해 반사된 광에 기초하여, 상기 표시된 타겟 지점을 바라보는 사용자의 눈에 대응되는 하나 또는 그 이상의 특징점들의 위치를 획득할 수 있다.
상기 적어도 하나의 프로세서는, 상기 템플의 틀어짐 정도 및 상기 하나 또는 그 이상의 특징점들의 위치를 상기 매핑 함수에 입력하고, 상기 매핑 함수로부터 상기 타겟 지점의 위치 값이 출력되도록 상기 매핑 함수를 캘리브레이션할 수 있다.
상기 광 방출부는 IR LED이며, 상기 광 수신부는 IR 카메라일 수 있다.
상기 광 방출부는 IR 스캐너이며, 상기 광 수신부는 IR 디텍터일 수 있다.
상기 적어도 하나의 프로세서는, 상기 IR 디텍터로부터 획득된 IR 광에 기초하여, 상기 지지부의 상기 프레임에 대한 틀어짐 정도에 따라 보정된 상기 사용자의 눈에 대응되는 하나 또는 그 이상의 특징점들의 위치를 획득하고, 상기 보정된 상기 사용자의 눈에 대응되는 하나 또는 그 이상의 특징점들의 위치에 기초하여 상기 사용자의 시선 정보를 획득할 수 있다.
본 개시의 다른 실시예에 따르면, 증강 현실 장치의 지지부에 설치되는 광 방출부로 패턴을 포함하는 광 반사부를 향하여 광을 방출하며, 상기 광은 상기 광 반사부에 의해 반사되어 상기 증강 현실 장치를 착용한 상기 사용자의 눈을 향하는 것인, 단계; 상기 사용자의 눈에 의해 반사된 광을 상기 지지부에 설치되는 광 수신부로 수신하는 단계; 및 상기 광 수신부를 통해 수신된 광에 기초하여, 상기 패턴을 식별하는 단계; 상기 식별된 패턴에 기초하여 상기 사용자의 시선 정보를 획득하는 단계;를 포함하는, 방법을 제공할 수 있다.
상기 방법은 상기 식별된 패턴을 분석함으로써, 상기 식별된 패턴에 기초하여 상기 지지부의 상기 프레임에 대한 틀어짐 정도를 식별하는 단계; 을 더 포함하며, 상기 지지부는 상기 프레임으로부터 연장되고, 상기 시선 정보를 획득하는 단계는, 상기 지지부의 상기 프레임에 대한 틀어짐 정도에 기초하여 상기 사용자의 시선 방향을 결정할 수 있다.
상기 방법은 상기 지지부의 상기 프레임에 대한 틀어짐에 기초하여 상기 사용자의 응시점의 위치를 산출하기 위한 매핑 함수를 생성하는 단계; 를 더 포함하며,상기 시선 정보를 획득하는 단계는, 상기 매핑 함수 및 상기 지지부에 대한 틀어짐 정도에 기초하여, 상기 사용자의 응시점의 위치를 산출하는 단계를 포함할 수 있다.
상기 방법은 상기 광 수신부를 통하여 수신된 광에 기초하여, 상기 사용자의 눈에 대응되는 하나 또는 그 이상의 특징점들의 위치를 획득하는 단계; 를 더 포함하며, 상기 시선 정보를 획득하는 단계는 상기 사용자의 눈에 대응되는 하나 또는 그 이상의 특징점들의 위치 및 상기 지지부에 대한 틀어짐 정도를 상기 매핑 함수에 입력함으로써, 상기 사용자의 응시점의 위치를 산출하는 단계를 포함할 수 있다.
본 개시의 다른 실시예에 따르면, 증강 현실 장치의 지지부에 설치되는 광 방출부로 패턴을 포함하는 광 반사부를 향하여 광을 방출하며, 상기 광은 상기 광 반사부에 의해 반사되어 상기 증강 현실 장치를 착용한 상기 사용자의 눈을 향하는 것인, 단계; 상기 사용자의 눈에 의해 반사된 광을 상기 지지부에 설치되는 광 수신부로 수신하는 단계; 및 상기 광 수신부를 통해 수신된 광에 기초하여, 상기 패턴을 식별하는 단계; 상기 식별된 패턴에 기초하여 상기 사용자의 시선 정보를 획득하는 단계;를 포함하는 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 제공할 수 있다.
도 1은 본 개시의 일 실시예에 따른 증강 현실 장치가 증강 현실 장치의 템플 부분에 위치한 시선 검출기을 이용하여 사용자의 시선을 검출하는 예시를 나타내는 도면이다.
도 2는 본 개시의 일 실시예에 따른 증강 현실 장치의 예시를 나타내는 도면이다.
도 3은 본 개시의 일 실시예에 따른 증강 현실 장치의 블록도이다.
도 4는 본 개시의 일 실시예에 따른 증강 현실 장치의 광 방출부 및 광 수신부의 동작의 예시를 나타내는 도면이다.
도 5a는 본 개시의 일 실시예에 따른 면광을 방출하는 광 방출부의 예시를 나타내는 도면이다.
도 5b는 본 개시의 일 실시예에 따른 점광을 방출하는 광 방출부의 예시를 나타내는 도면이다.
도 5c는 본 개시의 일 실시예에 따른 선광을 방출하는 광 방출부의 예시를 나타내는 도면이다.
도 6a 는 본 개시의 일 실시예에 따른 광 방출부 및 광 수신부가 증강 현실 장치의 템플에 배치되는 예시를 나타내는 도면이다.
도 6b는 본 개시의 일 실시예에 따른 광 방출부 및 광 수신부가 증강 현실 장치의 코 지지부에 배치되는 예시를 나타내는 도면이다.
도 6c는 본 개시의 일 실시예에 따른 광 방출부 및 광 수신부가 증강 현실 장치의 템플 및 코 지지부에 배치되는 예시를 나타내는 도면이다.
도 6d는 본 개시의 일 실시예에 따른 광 방출부 및 광 수신부가 증강 현실 장치의 템플 및 코 지지부에 배치되는 예시를 나타내는 도면이다.
도 7a는 본 개시의 일 실시예에 따른 증강 현실 장치의 광 반사부에 형성된 점 패턴의 예시를 나타내는 도면이다.
도 7b는 본 개시의 일 실시예에 따른 증강 현실 장치의 광 반사부에 형성된 격자 패턴의 예시를 나타내는 도면이다.
도 7c는 본 개시의 일 실시예에 따른 2D 마커 형태의 패턴의 예시를 나타내는 도면이다.
도 7d는 본 개시의 일 실시예에 따른 도광판의 일 부분을 커버하는 광 반사부의 예시를 나타내는 도면이다.
도 8a는 본 개시의 일 실시예에 따른 증강 현실 장치의 템플이 틀어지기 전의 광 방출 각도 및 패턴을 나타내는 도면이다.
도 8b는 본 개시의 일 실시예에 따른 증강 현실 장치의 템플이 틀어진 이후의 전의 광 방출 각도 및 패턴을 나타내는 도면이다.
도 9는 본 개시의 일 실시예에 따른 증강 현실 장치의 광 방출부가 IR 스캐너인 경우에, 광 수신부를 통해 수신되는 광의 어레이로부터 식별되는 패턴의 예시를 나타내는 도면이다.
도 10은 본 개시의 일 실시예에 따른 증강 현실 장치의 광 방출부가 IR 스캐너인 경우에, 증강 현실 장치의 광 수신부를 통해 수신되는 광의 어레이로부터 식별되는 눈의 특징의 예시를 나타내는 도면이다.
도 11은 본 개시의 일 실시예에 따른 안구의 중심을 산출하고 사용자의 응시점을 산출하기 위해 증강 현실 장치에 의해 이용되는 함수들의 예시를 나타내는 도면이다.
도 12는 본 개시의 일 실시예에 따른 증강 현실 장치가 사용자의 시선을 검출하는 방법의 흐름도이다.
아래에서는 첨부한 도면을 참조하여 본 개시가 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 개시의 실시예를 상세히 설명한다. 그러나 본 개시는 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 개시를 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다. 또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
본 개시에서, '증강 현실(AR: Augmented Reality)'은 현실 세계의 물리적 환경 공간 내에 가상 이미지를 함께 보여주거나 현실 객체와 가상 이미지를 함께 보여주는 것을 의미한다.
아울러, '증강 현실 장치(Augmented Reality Device)'라 함은 '증강 현실(Augmented Reality)'을 표현할 수 있는 장치로서, 일반적으로 사용자가 안면부(顔面部)에 착용하는 안경 형상의 증강 현실 안경 장치(Augmented Reality Glasses) 뿐만 아니라, 두부(頭部)에 착용하는 헤드 마운트 디스플레이 장치 (HMD : Head Mounted Display Apparatus)나, 증강 현실 헬멧(Augmented Reality Helmet) 등을 포괄한다.
한편, '현실 장면(real scene)'이란 사용자가 증강 현실 장치를 통해서 보는 현실 세계의 장면으로서, 현실 객체(real world object)를 포함할 수 있다. 또한, '가상 이미지(virtual image)'는 광학 엔진을 통해 생성되는 이미지로 정적 이미지와 동적 이미지를 모두 포함할 수 있다. 이러한 가상 이미지는 현실 장면과 함께 관측되며, 현실 장면 속의 현실 객체에 대한 정보 또는 증강 현실 장치의 동작에 대한 정보나 제어 메뉴 등을 나타내는 이미지일 수 있다.
따라서, 증강 현실 장치는 광원에서 생성된 광으로 구성되는 가상 이미지를 생성하기 위한 광학 엔진과 광학 엔진에서 생성된 가상 이미지를 사용자의 눈까지 안내하고 현실 세계의 장면도 함께 볼 수 있도록 투명한 재질로 형성된 도광판(waveguide)을 구비할 수 있다. 추가적으로, 전술한 바와 같이, 증강 현실 장치는 현실 세계의 장면도 함께 관측할 수 있어야 하므로 광학 엔진에서 생성된 광을 도광판을 통해 사용자의 눈까지 안내하기 위해서는 기본적으로 직진성을 가지는 광의 경로를 변경하기 위한 광학 소자(Optical element)가 필요하다. 이 때, 미러 등에 의한 반사를 이용하여 광 경로를 변경할 수도 있고, DOE(Diffractive optical element), HOE(Holographic optical element) 등과 같은 회절 소자에 의한 회절을 통해 광 경로를 변경할 수도 있으나 이에 한정되는 것은 아니다.
이하 첨부된 도면을 참고하여 본 개시를 상세히 설명하기로 한다.
도 1은 본 개시의 일 실시예에 따른 증강 현실 장치가 템플 부분에 위치한 시선 검출기(1500)를 이용하여 사용자의 시선을 검출하는 예시를 나타내는 도면이다.
도 1을 참조하면, 증강 현실 장치(1000)는 광 방출부(1510) 및 광 수신부(1520)를 이용하여 사용자의 시선을 검출할 수 있다. 사용자의 시선을 검출하기 위하여 이용되는 광 방출부(1510) 및 광 수신부(1520)는, 예를 들어, 증강 현실 장치(1000)의 템플 부분에 배치될 수 있으며, 증강 현실 장치(1000)는 템플 부분에 배치된 광 방출부(1510) 및 광 수신부(1520)를 이용하여 효과적으로 사용자의 눈을 식별할 수 있다. 템플 부분에 배치된 광 방출부(1510)로부터 증강 현실 장치(1000)의 도광판을 향하여 IR 광이 방출될 수 있으며, 템플 부분에 배치된 광 수신부(1520)를 통하여, 사용자의 눈으로부터 광 반사부에 의해 반사된 IR 광이 수신될 수 있다. 또한, 증강 현실 장치(1000)는 수신된 IR광에 기초하여 사용자의 눈에 관한 정보를 획득하고 획득된 눈에 관한 정보를 이용하여 사용자의 시선 방향을 검출할 수 있다.
증강 현실 장치(1000)는 증강 현실(Augmented Reality)을 표현할 수 있는 장치로서, 예를 들어, 사용자가 안면부(顔面部)에 착용하는 안경 형상의 증강 현실 안경 장치(Augmented Reality Glasses)을 포함할 수 있으나, 이에 제한되지 않는다. 예를 들어, 증강 현실 장치(1000)는 두부(頭部)에 착용하는 헤드 마운트 디스플레이 장치 (HMD: Head Mounted Display Apparatus)나, 증강 현실 헬멧(Augmented Reality Helmet) 등을 포함할 수 있으며, 이 경우, 헤드 마운트 디스플레이 장치에서 사용자의 눈의 측면 부분을 마주보는 헤드 마운트 디스플레이 장치의 내측면 부분에 시선 검출기(1500)이 배치되거나, 증강 현실 헬멧에서 사용자의 눈의 측면 부분을 마주보는 증강 현실 헬멧의 내측면 부분에 시선 검출기(1500)이 배치될 수 있다.
도 2는 본 개시의 일 실시예에 따른 증강 현실 장치의 예시를 나타내는 도면이다.
도 2를 참조하면, 증강 현실 장치(1000)는 안경형 디스플레이 장치로서 사용자가 착용할 수 있도록 구성된 안경형 몸체를 포함할 수 있다.
안경형 몸체는 프레임(110) 및 지지부(190)를 포함할 수 있으며, 지지부(190)는 프레임(110)으로부터 연장되어 사용자의 머리에 증강 현실 장치를 안착시키는데 이용될 수 있다. 지지부(190)는 템플(191) 및 코 지지부(192)를 포함할 수 있다. 템플(191)은 프레임(110)으로부터 연장되어 안경형 몸체의 측면부에서 사용자의 머리에 증강 현실 장치(1000)를 고정하는데 이용될 수 있다. 코 지지부(192)는 프레임(110)으로부터 연장되어 사용자의 코 부분에 증강 현실 장치(1000)를 안착시키는데 이용될 수 있으며, 예를 들어, 코 다리 및 안경 코를 포함할 수 있으나, 이에 제한되지 않는다.
또한, 프레임(110)에는 광 반사부(1400)가 부착된 도광판(170)이 위치할 수 있다. 프레임은 도광판(170)의 외주면을 둘러싸도록 형성될 수 있으며, 도광판(170)은 투사된 광을 입력 영역에서 입력받고 입력된 광의 적어도 일부를 출력 영역에서 출력하도록 구성될 수 있다. 이러한 도광판(170)은 좌안용 도광판(170L) 및 우안용 도광판(170R)을 포함할 수 있다.
좌안용 광 반사부(1400L) 및 좌안용 도광판(170L)이 사용자의 좌안에 대응되는 위치에 배치될 수 있으며, 우안용 광 반사부(1400R) 및 우안용 도광판(170R)이 사용자의 우안에 대응되는 위치에 배치될 수 있다. 예를 들어, 좌안용 광 반사부(1400L)가 좌안용 도광판(170L) 에 부착되거나, 우안용 광 반사부(1400R)가 우안용 도광판(170R)에 부착될 수 있으나, 이에 제한되지 않는다. 또한, 예를 들어, 좌안용 광 반사부(1400L)가 좌안용 도광판(170L)의 내측면에 코팅됨으로써 좌안용 도광판(170L)에 부착되거나, 우안용 광 반사부(1400R)가 우안용 도광판(170R)의 내측면에 코팅됨으로써 우안용 도광판(170R)에 부착될 수 있다.
또한, 화상을 담은 디스플레이 광을 투사하는 프로젝터의 광학 엔진(120)은 좌안용 광학 엔진(120L) 및 우안용 광학 엔진(120R)을 포함할 수 있다. 좌안용 광학 엔진(120L) 및 우안용 광학 엔진(120R)은 증강 현실 장치(1000)의 양 측면에 위치할 수 있다. 또는 하나의 광학 엔진(120)이 증강 현실 장치(1000)의 코 지지부(192) 주변 중앙 부분에 포함될 수도 있다. 광학 엔진(120)으로부터 출사된 광은 도광판(170)을 통해 표시될 수 있다.
시선 검출기(1500)의 광 방출부(1510) 및 광 수신부(1520)는 증강 현실 장치(1000)의 지지부(190)에서, 지지부(190)와 사용자의 눈 사이의 위치인 지지부(190)의 내측면 부분에 배치될 수 있다. 광 방출부(1510) 및 광 수신부(1520)는 증강 현실 장치(1000)의 지지부(190)에서 광 반사부(1400)를 향하도록 배치될 수 있다. 예를 들어, 광 방출부(1510) 및 광 수신부(1520)는 사용자의 머리카락 등의 방해를 받지 않으면서 IR 광을 방출하고 수신할 수 있도록, 증강 현실 장치(1000)의 템플의 측면 중에서, 프레임으로부터 10mm ~ 15mm 정도 이격된 위치에 배치될 수 있다.
도 3은 본 개시의 일 실시예에 따른 증강 현실 장치의 블록도이다.
도 3을 참조하면, 본 개시의 일 실시예에 따른 증강 현실 장치(1000)는 사용자 입력부(1100), 마이크(1200), 디스플레이부(1300), 광 반사부(1400), 시선 검출기(1500), 통신 인터페이스(1600), 저장부(1700) 및 프로세서(1800)를 포함할 수 있다. 또한, 시선 검출기(1500)은 광 방출부(1510) 및 광 수신부(1520)를 포함할 수 있다.
사용자 입력부(1100)는, 사용자가 증강 현실 장치(1000)를 제어하기 위한 데이터를 입력하는 수단을 의미한다. 예를 들어, 사용자 입력부(1100)는 키 패드(key pad), 돔 스위치(dome switch), 터치 패드(접촉식 정전 용량 방식, 압력식 저항막 방식, 적외선 감지 방식, 표면 초음파 전도 방식, 적분식 장력 측정 방식, 피에조 효과 방식 등), 조그 휠 또는 조그 스위치 중 적어도 하나를 포함할 수 있으나 이에 한정되는 것은 아니다.
마이크(1200)는, 외부의 음향 신호를 입력 받아 전기적인 음성 데이터로 처리한다. 예를 들어, 마이크(1200)은 외부 디바이스 또는 화자로부터의 음향 신호를 수신할 수 있다. 마이크(1200)를 통해 외부의 음향 신호를 입력 받는 과정에서 발생 되는 잡음(noise)를 제거하기 위한 다양한 잡음 제거 알고리즘이 이용될 수 있다. 마이크(1200)는 증강 현실 장치(1000)를 제어하기 위한 사용자의 음성 입력을 수신할 수 있다.
디스플레이부(1300)는 증강 현실 장치(1000)에서 처리되는 정보를 표시 출력한다. 예를 들어, 디스플레이부(1300)는, 증강 현실 장치(1000)의 주변을 촬영하기 위한 사용자 인터페이스 및 증강 현실 장치(1000) 주변의 촬영된 이미지를 기반으로 제공되는 서비스에 관련된 정보를 디스플레이할 수 있다.
일 실시 예에 의하면, 디스플레이부(1300)는 AR(Augmented Reality) 영상을 제공할 수 있다. 일 실시 예에 따른 디스플레이부(1300)는, 도 2에서와 같이, 도광판(170)과 광학 엔진(120)을 포함할 수 있다. 도광판(170)은 사용자가 디바이스(1000)를 착용할 때, 배면의 일부 영역이 보이는 투명한 소재로 구성될 수 있다. 도광판(170)은 광이 내부에서 반사되면서 전파될 수 있는 투명 재질의 단층 혹은 다층 구조의 평판으로 구성될 수 있다. 도광판(170)은 광학 엔진(120)의 출사면에 마주하여 광학 엔진(120)으로부터 투사된 가상 이미지의 광을 입력 받을 수 있다. 여기서, 투명 재질이라 함은, 광이 통과될 수 있는 재질이라는 의미이며, 투명도가 100%가 아닐 수 있으며, 소정의 색상을 지닐 수도 있다. 일 실시 예에서, 도광판(170)은 투명 재질로 형성됨에 따라, 사용자는 디스플레이부(1300)를 통해 가상 이미지의 가상 객체를 볼 수 있을 뿐만 아니라, 외부 실제 장면(scene)을 볼 수도 있으므로, 도광판(170)은 시스루 디스플레이(see through display)로 지칭될 수 있다. 디스플레이부(1300)는 도광판을 통해 가상 이미지의 가상 객체를 출력함으로써, 증강 현실(argumented reality) 영상을 제공할 수 있다. 증강 현실 장치(1000)가 안경 형태의 장치인 경우에, 디스플레이부(1300)는 좌측 디스플레이부 및 우측 디스플레이부를 포함할 수 있다.
광 반사부(1400)는 후술할 광 방출부(1510)로부터 방출된 광을 반사할 수 있다. 광 반사부(1400) 및 도광판(170)이 사용자의 눈을 대향하는 위치에 배치될 수 있으며, 광 반사부(1400) 및 도광판(170)이 서로 부착될 수 있다. 예를 들어, 광 반사부(1400)는 도광판(170) 상의 적어도 일부 영역에 코팅될 수 있다. 또한, 광 반사부(1400)는 도광판 이외에 안경 형태의 증강 현실 장치에 포함되는 다른 구성 요소들, 예를 들어, 시력 교정을 위한 시력 교정 렌즈 또는 도광판을 보호하기 위해 설치되는 커버 글래스에 부착되거나 코팅될 수도 있다. 광 반사부(1400)는 광 방출부(1510)로부터 방출된 IR 광을 반사할 수 있는 물질로 형성될 수 있다. 광 반사부(1400)는, 예를 들어, 은, 금, 구리 또는 이러한 금속 중 하나 이상을 포함하는 물질일 수 있으나, 이에 제한되지 않는다. 이에 따라, 광 방출부(1510)로부터 방출된 IR 광은 광 반사부(1400)에 의해 반사되어 사용자의 눈을 향할 수 있으며, 사용자의 눈으로부터 다시 반사된 IR 광이 광 반사부(1400)에 의해 반사되어 광 수신부(1520)를 향할 수 있다.
광 반사부(1400)는 소정의 패턴을 가지도록 도광판(170) 상에 코팅될 수 있다. 광 반사부(1400)에 형성되는 패턴은, 예를 들어, 점 패턴, 선 패턴, 격자 패턴, 2D 마커 등을 포함할 수 있으나, 이에 제한되지 않는다. 또한, 광 반사부(1400)에 형성되는 패턴은, 예를 들어, 도광판(170) 상에서 사용자의 시선이 향하는 빈도가 낮은 부분에 형성될 수 있다. 광 반사부(1400)에 형성되는 패턴은, 예를 들어, 도광판(170) 상에서 사용자의 눈을 촬영하거나 스캔하는데 방해가 되지 않는 부분에 형성될 수 있다. 예를 들어, 소정의 패턴은, 광 반사부(1400)에서, 광 방출부(1510)로부터 방출된 광이 반사되는 부분과 반사되지 않는 부분에 의해 형성되는 무늬를 가리킬 수 있다. 광 반사부(1400)에서 광이 반사되지 않는 부분을 향하여 방출된 광은, 광 반사부(1400)에 의해 반사되지 않게 되므로, 광 수신부(1520)는 광이 반사되지 않는 부분을 향하여 방출된 광을 받지 못하게 된다. 이에 따라, 광 반사부(1400)의 광을 반사하는 부분 및 광을 반사하지 않는 부분에 의해 형성되는 패턴이 광 수신부(1520)에 의해 수신된 광으로부터 검출될 수 있다. 아울러, 광 방출부(1510)로부터 방출되는 광이 IR 광일 경우, 소정의 패턴은 IR 광을 반사하기 위한 물질로 형성되며, IR 광을 반사하기 위한 물질은 사용자의 눈으로는 보이지 않을 수 있다. 증강 현실 장치(1000)를 통해 사용자에 의해 관측되는 현실 세계의 광 또는 현실 장면은 대부분 가시광으로 구성되므로, 사용자는 소정의 패턴이 형성된 광 반사부(1400)에 의한 방해를 받지 않고, 현실 세계의 광 또는 현실 장면 관측할 수 있다.
시선 검출기(1500)은 사용자의 시선을 검출하기 위한 IR 광을 방출하는 광 방출부(1510) 및 IR 광을 수신하는 광 수신부(1520)를 포함하며, 증강 현실 장치(1000)를 착용한 사용자의 시선에 관련된 데이터를 검출할 수 있다.
시선 검출기(1500)의 광 방출부(1510)는 광 반사부(1400)에 의해 반사된 IR 광이 사용자의 눈을 향할 수 있도록 광 반사부(1400)를 향하여 IR 광을 방출할 수 있다. 광 방출부(1510)는 광 반사부(1400)를 향하여 IR 광을 방출할 수 있고, 방출된 IR 광은 광 반사부(1400)에 의해 반사되며, 반사된 IR 광은 사용자의 눈을 향할 수 있다. 광 방출부(1510)는 증강 현실 장치(1000)에서 광 반사부(1400)를 향하여 IR 광을 방출할 수 있는 위치에 배치될 수 있다. 광 방출부(1510)는, 예를 들어, 도 2의 템플(191) 및 코 지지부(192)와 같이, 증강 현실 장치(1000)를 사용자의 얼굴에 지지시키는 도 2의 지지부(190)에 위치할 수 있다.
또한, 사용자의 눈으로부터 반사된 IR 광이 광 반사부(1400)에 의해 반사되어, 시선 검출기(1500)의 광 수신부(1520)에 의해 수신될 수 있다. 사용자의 눈을 향하는 IR 광은 사용자의 눈으로부터 반사되고, 사용자의 눈으로부터 반사된 IR 광이 광 반사부(1400)에 의해 반사될 수 있으며, 광 수신부(1520)는 광 반사부(1400)에 의해 반사된 IR 광을 수신할 수 있다. 광 수신부(1520)는 증강 현실 장치(1000)에서 광 반사부(1400)로부터 반사된 IR 광을 수신할 수 있는 위치에 배치될 수 있다. 광 수신부(1520)는, 예를 들어, 도 2의 템플(191) 및 코 지지부(192)와 같이, 증강 현실 장치(1000)를 사용자의 얼굴에 지지시키는 도 2의 지지부(190)에 위치할 수 있다. 또한, 예를 들어, 도 2의 코 지지부(192)는 코 다리 및 안경 코를 포함할 수 있다. 또한, 코 다리 및 안경 코는 일체형으로 구성될 수 있으나 이에 제한되어 않는다.
예를 들어, 광 방출부(1510)는 IR 광을 방출하는 IR LED이며, 광 수신부(1520)는 IR 광을 촬영하는 IR 카메라일 수 있다. 이 경우, IR 카메라는 광 반사부(1400)에 의해 반사되는 IR 광을 이용하여 사용자의 눈을 촬영할 수 있다. 광 방출부(1510)가 IR LED이며 광 수신부(1520)가 IR 카메라인 경우에, 광 방출부(1510)는 면광(planar light)의 IR 광을 광 반사부(1400)를 향하여 방출하며, 광 수신부(1520)는 광 반사부(1400)로부터 반사된 면광의 IR광을 수신할 수 있다. 면광은 면의 형태로 방출되는 광일 수 있으며, 광 방출부(1510)로부터 방출된 면광은 광 반사부(1400)의 전체 영역 중에서 적어도 일부의 영역을 향할 수 있다. 광 반사부(1400)의 전체 영역 중 적어도 일부의 영역으로부터 반사된 면광이 사용자의 눈을 커버할 수 있도록, 광 반사부(1400)의 전체 영역 중 적어도 일부의 영역이 설정될 수 있다.
또는, 예를 들어, 광 방출부(1510)는 IR 광을 방출하는 IR 스캐너이며 광 수신부(1520)는 IR 광을 검출하는 IR 디텍터일 수 있다. 이 경우, IR 스캐너는 사용자의 눈을 스캐닝하기 위한 IR 광이 사용자의 눈을 향하도록 IR 광을 방출할 수 있으며, IR 디텍터는 사용자의 눈으로부터 반사되는 IR 광을 검출할 수 있다. 광 방출부(1510)가 IR 광을 방출하는 IR 스캐너이고 광 수신부(1520)가 IR 광을 검출하는 IR 디텍터이면, 광 방출부(1510)는 선 형태의 선광들을 방출할 수 있으며, 광 방출부(1510)로부터 방출된 선광들은 광 반사부(1400)의 전체 영역 중에서 일부 영역을 향할 수 있다. 광 반사부(1400)의 전체 영역 중 적어도 일부의 영역으로부터 반사된 선광들이 사용자의 눈을 커버할 수 있도록, 광 반사부(1400)의 전체 영역 중 적어도 일부의 영역이 설정될 수 있다. 광 방출부(1510)가 IR 광을 방출하는 IR 스캐너이고 광 수신부(1520)가 IR 광을 검출하는 IR 디텍터이면, 광 방출부(1510)는 점 형태의 점광을 방출할 수 있으며, 광 방출부(1510)로부터 방출된 점광들은 광 반사부(1400)의 전체 영역 중에서 일부 영역을 향할 수 있다. 광 반사부(1400)의 전체 영역 중 적어도 일부의 영역으로부터 반사된 점광들이 사용자의 눈을 커버할 수 있도록, 광 반사부(1400)의 전체 영역 중 적어도 일부의 영역이 설정될 수 있다.
광 방출부(1510)가 IR 스캐너이며 광 수신부(1520)가 IR 디텍터인 경우에, 광 방출부(1510)는 점광(point light) 또는 선광(line light)의 IR 광을 광 반사부(1400)를 향하여 방출하며, 광 수신부(1520)는 광 반사부(1400)로부터 반사된 점광 또는 선광의 IR광을 수신할 수 있다. 이 경우, 광 방출부(1510)는 점광 또는 선광의 IR광이 사용자의 눈이 위치한 공간을 커버할 수 있도록 광 방출부(1510)의 광 방출 방향을 이동하면서 IR광을 순차적으로 방출할 수 있다. IR 스캐너는 IR LED와 IR LED에서 방출되는 IR 광의 방향을 제어하여 반사할 수 있는 MEMS(Micro-Electro Mechanical Systems, 초소형 정밀기계 기술) 미러로 구성되는 것이 일반적이나, 이하에서는 IR 스캐너로 통칭하여 설명한다. 또한, IR 디텍터도 여러 개의 포토 다이오드가 광 검출이 필요한 부분에 설치되는 것이 일반적이나, 이하에서는 IR 디텍터로 설명한다.
증강 현실 장치(1000)가 안경 형태의 장치인 경우에, 광 방출부(1510) 및 광 수신부(1520)는 증강 현실 장치(1000)의 템플(191)에 배치될 수 있다. 예를 들어, 도 2를 참조하면, 광 방출부(1510) 및 광 수신부(1520)는 증강 현실 장치(1000)의 템플(191)에서, 템플(191)과 사용자의 눈 사이의 위치인 내측면 부분에 배치될 수 있다. 예를 들어, 도 2를 참조하면, 광 방출부(1510) 및 광 수신부(1520)는 증강 현실 장치(1000)의 템플(191)의 측면 중에서, 프레임(110)으로부터 10mm ~ 15mm 정도 이격된 위치에 배치될 수 있다. 광 방출부(1510) 및 광 수신부(1520)는 증강 현실 장치(1000)의 템플(191)에서 광 반사부(1400)를 향하도록 배치될 수 있다.
또한, 예를 들어, 도 2를 참조하면, 광 방출부(1510) 및 광 수신부(1520)는 증강 현실 장치(1000)의 코 지지부(192)에 배치될 수 있다. 광 방출부(1510) 및 광 수신부(1520)는 증강 현실 장치(1000)의 코 지지부(192)에서, 코 지지부(192)와 사용자의 눈 사이의 위치인 내측면 부분에 배치될 수 있다. 예를 들어, 도 2를 참조하면, 광 방출부(1510) 및 광 수신부(1520)는 증강 현실 장치(1000)의 코 지지부(192)의 측면 중에서, 프레임(110)으로부터 10mm ~ 15mm 정도 이격된 위치에 배치될 수 있다. 광 방출부(1510) 및 광 수신부(1520)는 증강 현실 장치(1000)의 코 지지부(192)에서 광 반사부(1400)를 향하도록 배치될 수 있다.
시선 검출기(1500)는 사용자 눈의 시선에 관련된 데이터를 프로세서(1800)에게 제공할 수 있으며, 프로세서(1800)는 사용자 눈의 시선에 관련된 데이터에 기초하여 사용자의 시선 정보를 획득할 수 있다. 사용자의 눈의 시선에 관련된 데이터는 시선 검출기(1500)에 의해 획득되는 데이터로서, 광 방출부(1510)로부터 방출된 IR 광의 종류(예를 들어, 점광, 선광, 면광), 광 방출부(1510)로부터 방출된 IR 광의 특성, 광 방출부(1510)로부터 방출된 IR 광의 방출 영역에 관한 데이터, 및 광 수신부(1520)로부터 수신된 IR 광의 특성을 나타내는 데이터를 포함할 수 있다. 또한, 사용자의 시선 정보는 사용자의 시선에 관련된 정보로서, 사용자의 눈의 시선에 관련된 데이터를 분석함으로써 생성될 수 있으며, 예를 들어, 사용자의 동공의 위치, 동공의 중심점의 위치, 사용자의 홍채의 위치, 사용자의 눈의 중심, 사용자의 눈의 반짝임 특징점의 위치, 사용자의 응시점, 사용자의 시선 방향 등에 관한 정보를 포함할 수 있으나, 이에 제한되지 않는다. 사용자의 시선 방향은, 예를 들어, 사용자의 눈의 중심으로부터 사용자가 응시하는 응시점을 향하는 시선의 방향일 수 있다. 예를 들어, 사용자의 시선 방향은, 사용자의 좌측 눈의 중심으로부터 응시점을 향하는 벡터 값 및 사용자의 우측 눈의 중심으로부터 응시점을 향하는 벡터 값에 의해 나타내어질 수 있으나, 이에 제한되지 않는다. 일 실시 예에 따라, 시선 검출기(1500)는 미리 정해진 시간 간격으로 증강 현실 장치(1000)를 착용 중인 사용자의 눈의 시선에 관련된 데이터를 검출할 수 있다.
통신 인터페이스(1600)는 증강 현실 장치(1000)에 관련된 서비스를 제공 받기 위한 데이터를 외부 디바이스 및 서버와 송수신할 수 있다.
저장부(1700)는 후술할 프로세서(1800)에 의해 실행될 프로그램을 저장할 수 있고, 증강 현실 장치(1000)로 입력되거나 증강 현실 장치(1000)로부터 출력되는 데이터를 저장할 수 있다.
저장부(1700)는 내장 메모리(Internal Memory) 및 외장 메모리(External Memory) 중 적어도 하나를 포함할 수 있다. 내장 메모리는, 예를 들어, 휘발성 메모리(예를 들면, DRAM(Dynamic RAM), SRAM(Static RAM), SDRAM(Synchronous Dynamic RAM) 등), 비휘발성 메모리(예를 들면, OTPROM(One Time Programmable ROM), PROM(Programmable ROM), EPROM(Erasable and Programmable ROM), EEPROM(Electrically Erasable and Programmable ROM), Mask ROM, Flash ROM 등), 하드 디스크 드라이브(HDD) 또는 솔리드 스테이트 드라이브(SSD) 중 적어도 하나를 포함할 수 있다. 일 실시 예에 따르면, 프로세서(1800)는 비휘발성 메모리 또는 다른 구성요소 중 적어도 하나로부터 수신한 명령 또는 데이터를 휘발성 메모리에 로드(load)하여 처리할 수 있다. 또한, 프로세서(1800)는 다른 구성요소로부터 수신하거나 생성된 데이터를 비휘발성 메모리에 보존할 수 있다. 외장 메모리는, 예를 들어, CF(Compact Flash), SD(Secure Digital), Micro-SD(Micro Secure Digital), Mini-SD(Mini Secure Digital), xD(extreme Digital) 및 Memory Stick 중 적어도 하나를 포함할 수 있다.
저장부(1700)에 저장된 프로그램들은 그 기능에 따라 복수의 모듈들로 분류할 수 있다. 일 실시예에 따르면, 복수의 모듈 각각은 하나 또는 그 이상의 컴퓨터로 읽을 수 있는 코드들(codes)을 포함할 수 있고, 예를 들어, 광 조사 코드(1710), 광 수신 코드(1720), 눈 특징 검출 코드(1730), 패턴 검출 코드(1740), 틀어짐 판단 코드(1750), 동공 위치 검출 코드(1760), 시선 판단 코드(1770) 및 캘리브레이션 코드(1780)를 포함할 수 있다. 예를 들어, 시선 검출기(1500)에 메모리가 포함될 수 있으며, 이 경우, 시선 검출기(1500)에 포함된 메모리에 광 조사 코드(1710) 및 광 수신 코드(1720)이 펌웨어(firmware)로 저장될 수도 있다.
프로세서(1800)는 증강 현실 장치(1000)의 전반적인 동작을 제어한다. 예를 들어, 프로세서(1800)는, 저장부(1700)에 저장된 프로그램들을 실행함으로써, 사용자 입력부(1100), 마이크(1200), 디스플레이부(1300), 광 반사부(1400), 시선 검출기(1500), 통신 인터페이스(1600) 및 저장부(1700) 등을 전반적으로 제어할 수 있다.
프로세서(1800)는 저장부(1700)에 저장된 광 조사 코드(1710), 광 수신 코드(1720), 눈 특징 검출 코드(1730), 패턴 검출 코드(1740), 틀어짐 판단 코드(1750), 동공 위치 검출 코드(1760), 시선 판단 코드(1770) 및 캘리브레이션 코드(1780)을 실행함으로써, 사용자의 응시점 및 시선 방향을 판단할 수 있다.
일 실시예에 따르면, 증강 현실 장치(1000)는 복수의 프로세서(1800)를 포함할 수 있으며, 광 조사 코드(1710), 광 수신 코드(1720), 눈 특징 검출 코드(1730), 패턴 검출 코드(1740), 틀어짐 판단 코드(1750), 동공 위치 검출 코드(1760), 시선 판단 코드(1770) 및 캘리브레이션 코드(1780)은 복수의 프로세서(1800)에 의해 실행될 수 있다.
예를 들어, 광 조사 코드(1710), 광 수신 코드(1720), 눈 특징 검출 코드(1730), 패턴 검출 코드(1740), 틀어짐 판단 코드(1750), 동공 위치 검출 코드(1760), 시선 판단 코드(1770) 및 캘리브레이션 코드(1780) 중 일부는 제1 프로세서(미도시)에 의해 실행되고, 광 조사 코드(1710), 광 수신 코드(1720), 눈 특징 검출 코드(1730), 패턴 검출 코드(1740), 틀어짐 판단 코드(1750), 동공 위치 검출 코드(1760), 시선 판단 코드(1770) 및 캘리브레이션 코드(1780) 중 나머지는 제2 프로세서(미도시)에 의해 실행될 수 있으나, 이에 제한되지 않는다.
예를 들어, 시선 검출기(1500)는 다른 프로세서 및 메모리를 포함할 수 있으며, 다른 프로세서는 메모리에 저장된 광 조사 코드(1710) 및 광 수신 코드(1720)을 실행하고, 프로세서(1800)가 저장부(1700)에 저장된 눈 특징 검출 코드(1730), 패턴 검출코드(1740), 틀어짐 판단 모듈(1750), 동공 위치 검출 코드(1760), 시선 판단 코드(1770) 및 캘리브레이션 코드(1780)을 실행할 수 있다.
프로세서(1800)는 저장부(1700)에 저장된 광 조사 코드(1710)를 실행함으로써, 광 방출부(1510)가 광 반사부(1400)를 향하여 IR 광을 방출하도록 할 수 있다. 프로세서(1800)는 광 조사 코드(1710)를 실행함으로써 광 방출부(1510)를 제어할 수 있으며, 프로세서(1800)에 의해 제어되는 광 방출부(1510)는 광 반사부(1400)에 의해 반사된 IR 광이 사용자의 눈을 커버할 수 있도록, 광 반사부(1400)의 적어도 일부 영역을 향하여 IR 광을 방출할 수 있다.
예를 들어, 광 수신부(1520)가 IR 카메라인 경우에 광 방출부(1510)는 IR LED일 수 있으며, 프로세서(1800)는, IR 카메라가 사용자의 눈을 촬영할 수 있도록 하기 위하여, IR LED로부터 방출된 IR 광이 광 반사부(1400)에 의해 반사되어 사용자의 눈을 포함하는 영역에 조사되도록 IR LED를 제어할 수 있다. 예를 들어, IR LED로부터 방출된 광이 광 반사부(1400)에 의해 반사되어 사용자의 눈을 포함하는 영역에 조사되도록 하기 위하여, 프로세서(1800)는 IR LED로부터 방출되는 IR광의 조사 방향을 제어하고, IR LED에 전원을 인가함으로써 IR LED로부터의 IR 광의 방출을 제어할 수 있다.
일 실시예에 따르면, 예를 들어, IR 카메라가 사용자의 눈의 전체 영역을 촬영할 수 있도록, IR 카메라 및 IR LED가 증강 현실 장치(1000)의 광 반사부(1400)를 향하여 설치될 수 있으며, 프로세서(1800)는 광 반사부(1400)를 향해 설치된 IR LED를 제어하여 IR 광을 방출할 수 있다. IR LED로부터 방출되는 IR 광의 조사 방향이 제어되는 예시는 도 5a에서 보다 상세히 설명하기로 한다.
본 개시의 다른 실시예에 따르면, 광 수신부(1520)가 IR 디텍터인 경우에 광 방출부(1510)는 IR 스캐너일 수 있으며, 프로세서(1800)는, IR 디텍터가 사용자의 눈을 검출할 수 있도록 하기 위하여, IR 스캐너로부터 방출된 IR 광이 광 반사부(1400)에 의해 반사되어 사용자의 눈을 스캐닝하도록 IR 스캐너를 제어할 수 있다. 예를 들어, IR 스캐너로부터 방출된 광이 광 반사부(1400)에 의해 반사되어 사용자의 눈을 스캐닝하도록 하기 위하여, 프로세서(1800)는 IR 스캐너로부터 방출되는 IR광의 조사 방향을 제어하고, IR 스캐너에 전원을 인가함으로써 IR 스캐너로부터의 IR 광의 방출을 제어할 수 있다. IR 스캐너로부터 방출되는 IR 광의 조사 방향이 제어되는 예시는 도 5b 및 도 5c에서 보다 상세히 설명하기로 한다.
프로세서(1800)는 저장부(1700)에 저장된 광 수신 코드(1720)를 실행함으로써, 광 수신부(1520)가 사용자의 눈으로부터 광 반사부(1400)에 의해 반사된 광을 수신하도록 할 수 있다. 프로세서(1800)는 광 수신 코드(1720)를 실행함으로써 광 수신부(1520)를 제어할 수 있으며, 프로세서(1800)에 의해 제어되는 광 수신부(1520)는 사용자의 눈으로부터 광 반사부(1400)에 의해 반사된 광을 수신할 수 있다.
예를 들어, 광 방출부(1510)가 IR LED인 경우에 광 수신부(1520)는 IR 카메라일 수 있으며, 프로세서(1800)는, IR 카메라가 사용자의 눈으로부터 광 반사부(1400)에 의해 반사된 광을 통해 사용자의 눈을 촬영하도록 IR 카메라를 제어할 수 있다.
또는, 예를 들어, 광 방출부(1510)가 IR 스캐너인 경우에 광 수신부(1520)는 IR 디텍터일 수 있으며, 프로세서(1800)는, IR 디텍터가 사용자의 눈을 검출할 수 있도록 하기 위하여, 사용자의 눈으로부터 광 반사부(1400)에 의해 반사된 IR 광을 검출하도록 IR 디텍터를 제어할 수 있다.
프로세서(1800)는 저장부(1700)에 저장된 눈 특징 검출 코드(1730)를 실행함으로써, 사용자의 눈의 시선에 관련된 특징들을 검출할 수 있다. 예를 들어, 프로세서(1800)는 눈 특징 검출 코드(1730)를 실행함으로써, 사용자의 눈의 동공의 특징점(pupil feature point)의 위치 및 눈의 반짝임 특징점(glint feature point)의 위치를 검출할 수 있다. 동공의 특징점은, 예를 들어, 동공의 중심점일 수 있으며, 눈의 반짝임 특징점은 눈의 검출된 영역 중에서 소정 수치 이상의 밝기를 가지는 부분일 수 있다. 동공의 특징점의 위치 및 눈의 반짝임 특징점의 위치는, 예를 들어, 광 수신부(1520)의 좌표계에서 위치를 나타내는 좌표 값에 의해 식별될 수 있다. 예를 들어, 광 수신부(1520)의 좌표계는 IR 카메라의 좌표계 또는 IR 디텍터의 좌표계일 수 있으며, 광 수신부(1520)의 좌표계에서의 좌표 값은 2D 좌표 값일 수 있다.
프로세서(1800)는 광 수신부(1520)에 의해 수신된 광을 분석함으로써 눈의 시선에 관련된 특징들을 검출할 수 있다. 예를 들어, 광 수신부(1520)가 IR 카메라인 경우에, 프로세서(1800)는 IR 카메라에 의해 촬영된 이미지에서 동공의 특징점의 위치 및 눈의 반짝임 특징점의 위치를 식별할 수 있다. 또는, 예를 들어, 광 수신부(1520)가 IR 디텍터인 경우에 프로세서(1800)는 IR 디텍터에 의해 검출된 IR 광을 분석함으로써, 동공의 특징점의 위치 및 눈의 반짝임 특징점의 위치를 식별할 수 있다. IR 디텍터에 의해 검출된 IR 광에 기초하여 특징점들의 위치가 식별되는 경우, 동공의 특징점의 위치 및 눈의 반짝임 위치는 지지부(190)의 틀어짐을 반영하여 보정된 값을 가질 수 있다. 지지부(190)의 틀어짐을 반영하여 보정된 동공의 특징점의 위치 및 눈의 반짝임 위치에 관하여는 도 11에서 보다 상세히 설명하기로 한다.
또한, 프로세서(1800)는 광 수신부(1520)에 의해 수신된 광을 분석함으로써 동공의 특징점의 위치를 나타내는 좌표 값 및 눈의 반짝임 특징점의 위치를 나타내는 좌표 값을 획득할 수 있다. 예를 들어, 광 수신부(1520)가 IR 카메라인 경우에 프로세서(1800)는 IR 카메라의 좌표계에서, 동공의 특징점의 좌표 값 및 눈의 반짝임 특징점의 좌표 값을 획득할 수 있다. IR 카메라의 좌표계는 동공의 특징점 및 눈의 반짝임 특징점의 위치를 나타내기 위하여 이용될 수 있으며, 예를 들어, IR 카메라에 의해 촬영된 이미지의 픽셀들에 대응되는 IR 카메라의 좌표계 상의 좌표 값들이 미리 설정될 수 있다. 또한, IR 카메라를 통하여 수신된 IR 광의 속성(예를 들어, 밝기)에 기초하여, 눈의 특징점에 대응되는 좌표 값이 식별될 수 있다.
예를 들어, 광 수신부(1520)가 IR 카메라인 경우에, 프로세서(1800)는 IR 카메라에 의해 촬영된 이미지에서 동공의 중심점의 위치를 식별할 수 있다. 프로세서(1800)는 복수의 포토 다이오드를 포함하는 IR 카메라의 이미지 센서를 통해 수신되는 IR 광의 밝기를 식별하고, IR 카메라에 의해 촬영된 이미지의 픽셀들 중에서 동공을 나타내는 IR 광을 수신한 적어도 하나의 픽셀을 식별함으로써 동공의 중심점의 위치를 식별할 수 있다. 예를 들어, IR 카메라에 의해 촬영된 이미지 내의 픽셀들의 위치들이 IR 카메라의 좌표계를 통해 식별될 수 있으며, 동공의 중심점의 위치는, 동공의 중심점에 대응되는 적어도 하나의 픽셀의 위치 값으로서, IR 카메라의 좌표계에서의 좌표 값을 가질 수 있다.
예를 들어, 프로세서(1800)는 눈의 반짝임 특징 점을 식별하기 위하여, IR 카메라에 의해 촬영된 이미지에서 가장 밝은 점의 위치를 식별할 수 있다. 프로세서(1800)는 복수의 포토 다이오드를 포함하는 IR 카메라의 이미지 센서를 통해 수신되는 IR 광의 밝기를 식별하고, IR 카메라에 의해 촬영된 이미지의 픽셀들 중에서 소정 기준 이상의 밝은 IR 광에 대응되는 적어도 하나의 픽셀을 식별함으로써 눈의 반짝임 특징점의 위치를 식별할 수 있다. 예를 들어, 프로세서(1800)는 IR 카메라에 의해 촬영된 이미지의 픽셀들 중에서 가장 밝은 IR광에 대응되는 픽셀을 식별함으로써 눈의 반짝임 특징점의 위치를 식별할 수 있다. 예를 들어, IR 카메라에 의해 촬영된 이미지 내의 픽셀들의 위치들이 IR 카메라의 좌표계를 통해 식별될 수 있으며, 눈의 반짝임 특징점의 위치는, 눈의 반짝임 특징점에 대응되는 픽셀의 위치 값으로서, IR 카메라의 좌표계에서의 좌표 값을 가질 수 있다.
또는, 예를 들어, 광 수신부(1520)가 IR 디텍터인 경우에, 프로세서(1800)는 IR 디텍터의 좌표계에서 동공의 특징점의 좌표 값 및 눈의 반짝임 특징점의 좌표 값을 산출할 수 있다.
광 방출부(1510)가 IR 스캐너인 경우에, 프로세서(1800)는 IR 스캐너를 제어함으로써 사용자의 눈이 위치한 영역을 스캔하기 위하여 점 광원 또는 선 광원을 사용자의 눈이 위치한 영역을 커버하도록 순차적으로 조사하고, 사용자의 눈으로부터 반사된 광을 IR 디텍터를 통하여 순차적으로 수신할 수 있다. 또한, 프로세서(1800)는 IR 디텍터를 통하여 순차적으로 수신된 광의 어레이를 분석함으로써 동공의 특징점 및 눈의 반짝임 특징점을 식별할 수 있다.
IR 디텍터의 좌표계는 동공의 특징점 및 눈의 반짝임 특징점의 위치를 나타내기 위하여 이용될 수 있으며, 예를 들어, IR 디텍터를 통하여 순차적으로 수신된 광의 어레이 내의 광들에 대응되는 IR 디텍터의 좌표계 상의 좌표 값들이 미리 설정될 수 있다. 예를 들어, IR 스캐너의 동작 설정 값에 따라 IR 스캐너로부터 방출된 광들의 조사 방향들 및 조사 시각들이 결정되고, IR 스캐너로부터 방출된 광들로부터 광 어레이가 형성될 수 있다. 예를 들어, IR 스캐너로부터 방출된 광들의 조사 방향 및 조사 시각과, IR 디텍터로부터 수신된 광들의 수신 시각에 기초하여, 광 어레이 내의 광들에 대응되는 IR 디텍터의 좌표계 상의 좌표 값들이 식별될 수 있다. 또한, IR 디텍터를 통하여 순차적으로 수신된 광의 어레이 내의 광들의 속성(예를 들어, 밝기)에 기초하여, 눈의 특징점에 대응되는 광 및 광의 좌표 값들이 식별될 수 있다.
예를 들어, 프로세서(1800)는 수신된 광 어레이에서 소정 수치 이하의 밝기를 가지는 광들을 식별함으로써, 식별된 광들에 대응되는 IR 디텍터의 좌표계 상의 좌표 값들에 기초하여 동공의 특징점의 위치를 식별할 수 있다.
예를 들어, 프로세서(1800)는 수신된 광 어레이에서 소정 수치 이상의 밝기를 가지는 광을 식별함으로써, 식별된 광에 대응되는 IR 디텍터의 좌표계 상의 좌표 값을 눈의 반짝임 특징점의 좌표 값으로 식별할 수 있다.
또한, 예를 들어, 광 수신부(1520)가 IR 디텍터인 경우 동공의 특징점의 좌표 값 및 눈의 반짝임 특징점의 좌표 값은, 후술할 증강 현실 장치(1000)의 지지부(190)의 틀어짐 정도를 반영하여 보정된 값일 수 있다. 이 경우, 프로세서(1800)는 증강 현실 장치(1000)의 템플(191)의 틀어짐 정도 및/또는 코 지지부(192)의 틀어짐 정도를 반영하여 보정된 동공의 특징점의 좌표 값 및 눈의 반짝임 특징점의 좌표 값을 산출할 수 있으며, 보정된 좌표 값들이 후술될 매핑 함수에 입력될 수 있다.
프로세서(1800)는 저장부(1700)에 저장된 패턴 검출 코드(1740)를 실행함으로써, 광 반사부(1400)의 패턴을 검출할 수 있다. 광 반사부(1400)는 소정의 패턴을 가지도록 증강 현실 장치(1000)의 도광판(170)의 일면에 코팅될 수 있다. 프로세서(1800)는 사용자의 눈에 의해 반사되고 광 반사부(1400)에 의해 반사된 IR 광을 광 수신부(1520)를 통하여 수신하고, 수신된 IR 광에 기초하여 패턴의 형태를 식별할 수 있다. 광 반사부(1400)에 형성된 패턴은, 예를 들어, 점 패턴, 선 패턴, 격자 패턴, 2D 마커 등을 포함할 수 있으나, 이에 제한되지 않는다. 광 반사부(1400)에 형성되어 패턴 검출 코드(1740)에 의해 식별되는 패턴의 예시는 도 7a 내지 도 7d에서 보다 상세하게 설명하기로 한다. 만약, 템플(191)이 프레임(110)에 대하여 틀어진 경우에, 패턴 검출 코드(1740)에 의해 식별된 패턴은 변형된 형태를 가질 수 있다.
예를 들어, 광 수신부(1520)가 IR 카메라인 경우에, IR 카메라는 광 반사부(1400)에 의해 반사된 IR 광에 기초하여 사용자의 눈을 촬영할 수 있으며, 프로세서(1800)는 사용자의 눈이 촬영된 이미지로부터 이미지 내의 패턴을 식별할 수 있다.
예를 들어, 광 수신부(1520)가 IR 디텍터인 경우에, IR 디텍터는 광 반사부(1400)에 의해 반사된 IR 광을 순차적으로 수신할 수 있으며, 프로세서(1800)는 순차적으로 수신되는 IR 광의 어레이에서 광 반사부(1400)의 패턴에 관련된 부분을 식별할 수 있다.
프로세서(1800)는 저장부(1700)에 저장된 틀어짐 판단 모듈(1750)을 실행함으로써, 증강 현실 장치(1000)의 지지부(190)가 프레임(110)에 대하여 틀어진 정도를 판단할 수 있다. 지지부(190)는, 예를 들어, 템플(191) 및 코 지지부(192)를 포함할 수 있다. 사용자가 증강 현실 장치를 착용할 때, 사용자의 두부, 얼굴 크기에 따라 템플(191) 부분이 벌어지거나 좁아질 수 있다. 이 때, 지지부(190)가 프레임(110)에 대하여 틀어진 이후에 IR광이 수신되면, 틀어짐 판단 코드(1750)는 수신된 IR 광으로부터 변형된 형태를 가지는 패턴을 식별할 수 있다. 또한, 틀어짐 판단 코드(1750)는 변형된 형태를 가지는 패턴을 변형되지 않은 패턴과 비교함으로써, 지지부(190)의 틀어짐 정도를 추정할 수 있다. 예를 들어, 틀어짐 판단 코드(1750)는 변형된 형태를 가지는 패턴을 변형되지 않은 패턴과 비교함으로써 패턴의 변형 정도를 식별할 수 있으며, 패턴의 변형 정도에 기초하여 지지부(190)의 틀어짐 정도를 추정할 수 있다. 또는, 틀어짐 판단 코드(1750)는 변형된 형태를 가지는 패턴을 변형되지 않은 패턴과 비교하지 않고, 변형된 형태의 패턴만을 분석함으로써 지지부(190)의 틀어짐 정도를 추정할 수 있다. 예를 들어, 패턴이 점 패턴인 경우에, 틀어짐 판단 코드(1750)는 변형된 패턴 내의 점들의 간격들의 차이를 식별함으로써, 지지부(190)의 틀어짐 정도를 추정할 수 있다.
예를 들어, 템플(191)의 틀어짐 정도는 프레임(110)에 대한 템플(191)의 디폴트 각과 프레임(110)에 대한 틀어진 템플(191)의 각과의 차이를 나타내는 틀어짐 각도로 표현될 수 있으나, 이에 제한되지 않는다. 또한, 예를 들어, 코 지지부(192)의 틀어짐 정도는 프레임(110)에 대한 코 지지부(192)의 디폴트 각과 프레임(110)에 대한 틀어진 코 지지부(192)의 각과의 차이를 나타내는 틀어짐 각도로 표현될 수 있으나, 이에 제한되지 않는다.
상기에서는, 패턴 검출 코드(1740)가 광 반사부(1400)에 형성된 패턴의 변형을 검출하고, 틀어짐 판단 코드(1750)가 변형된 형태의 패턴을 분석함으로 지지부(190)의 틀어짐 정도를 추정하는 것으로 설명되었지만, 이에 제한되지 않는다.
예를 들어, 광 방출부(1510)로부터 방출된 광을 반사하여 반사된 광이 광 수신부(1520)를 향하도록 할 수 있는, 증강 현실 장치(1000)의 일부분에 소정의 패턴이 형성될 수 있다. 예를 들어, 증강 현실 장치(1000)의 프레임(110)에서 광 방출부(1510) 및 광 수신부(1520)를 향하는 일부 영역에 패턴이 형성될 수 있다. 예를 들어, 프레임(110)의 일부 영역에 소정의 굴곡을 형성함으로써 패턴이 형성될 수 있다. 또는, 예를 들어, 프레임(110)의 일부 영역에 광을 반사할 수 있는 물질을 형성함으로써 패턴이 형성될 수 있다. 이외에 안경 형태의 증강 현실 장치(1000)에 포함되는 다른 구성 요소들, 예를 들어, 시력 교정을 위한 시력 교정 렌즈 또는 도광판을 보호하기 위해 설치되는 커버 글래스에 부착되거나 코팅될 수도 있다.
또는, 예를 들어, 증강 현실 장치(1000)의 코 지지부(192)에서 광 방출부(1510) 및 광 수신부(1520)를 향하는 일부 영역에 패턴이 형성될 수 있다. 예를 들어, 코 지지부(192)의 일부 영역에 소정의 굴곡을 형성함으로써 패턴이 형성될 수 있다. 또는, 예를 들어, 코 지지부(192)의 일부 영역에 광을 반사할 수 있는 물질을 형성함으로써 패턴이 형성될 수 있다. 이 경우, 광 방출부(1510) 및 광 수신부(1520)는 증강 현실 장치(1000)의 템플(191)에 위치하는 것이 바람직하지만, 이에 제한되지 않는다.
또는, 예를 들어, 증강 현실 장치(1000)의 템플(191)에서 광 방출부(1510) 및 광 수신부(1520)를 향하는 일부 영역에 패턴이 형성될 수 있다. 예를 들어, 템플(191)의 일부 영역에 소정의 굴곡을 형성함으로써 패턴이 형성될 수 있다. 또는, 예를 들어, 템플(191)의 일부 영역에 광을 반사할 수 있는 물질을 형성함으로써 패턴이 형성될 수 있다. 이 경우, 광 방출부(1510) 및 광 수신부(1520)는 증강 현실 장치(1000)의 코 지지부(192)에 위치하는 것이 바람직하지만, 이에 제한되지 않는다.
프로세서(1800)는 저장부(1700)에 저장된 동공 위치 검출 코드(1760)를 실행함으로써, 사용자의 눈의 동공의 위치를 검출할 수 있다. 동공 위치 검출 코드(1760)는 광 반사부(1400)로부터 반사된 IR 광에 기초하여, 사용자의 눈의 동공의 위치를 식별할 수 있다.
예를 들어, 광 수신부(1520)가 IR 카메라인 경우, 동공 위치 검출코드(1760)는 IR 카메라에 의해 촬영된 이미지로부터, 이미지 내의 사용자의 눈의 동공의 위치를 식별할 수 있다. 또는, 예를 들어, 광 수신부(1520)가 IR 디텍터인 경우, 동공 위치 검출 코드(1760)는 IR 디텍터에 의해 순차적으로 획득되는 IR 광을 분석함으로써, 사용자의 눈의 동공의 위치를 산출할 수 있다.
동공 위치 검출 코드(1760)는 사용자의 눈의 동공의 중심점을 식별함으로써, 사용자의 눈의 동공의 위치를 식별할 수 있다.
프로세서(1800)는 저장부(1700)에 저장된 시선 판단 코드(1770)를 실행함으로써, 사용자의 시선에 관한 정보를 획득할 수 있다. 프로세서(1800)는 시선 판단 코드(1770)를 실행함으로써, 사용자의 눈의 중심의 위치를 산출할 수 있다. 사용자의 눈의 중심은 사용자의 안구의 중심일 수 있다. 프로세서(1800)는, 동공 위치 검출 코드(1760)에 의해 획득된 사용자의 눈의 동공의 위치 및 틀어짐 판단 코드(1750)에 의해 획득된 지지부(190)의 틀어짐 정도에 기초하여, 사용자의 눈의 중심의 위치를 산출할 수 있다. 예를 들어, 지지부(190)가 틀어진 정도를 보정하기 위한 매트릭스와 눈의 중심의 위치를 나타내는 값 및 눈이 촬영된 이미지의 축의 바이어스(bias)에 기초하여 산출되는 값이, 동공 위치 검출 코드(1760)에 의해 획득된 사용자의 눈의 동공의 위치 값이 되도록, 사용자의 눈의 중심의 위치가 산출될 수 있다. 예를 들어, 눈의 중심은 안구의 중심일 수 있으며, 눈의 중심의 위치는 현실 공간의 좌표계에서 3D 좌표 값을 가질 수 있다.
프로세서(1800)는 시선 판단 코드(1770)를 실행함으로써, 사용자의 응시점의 위치를 산출할 수 있다. 프로세서(1800)는 사용자의 응시점의 위치를 산출하기 위하여, 사용자의 눈의 특징들로부터 응시점의 위치를 산출하기 위한 매핑 함수를 미리 생성할 수 있다. 매핑 함수는 사용자의 눈의 특징들 및 지지부(190)의 틀어짐 정보를 고려하여 사용자의 응시점의 위치를 산출하기 위한 함수이며, 후술할 캘리브레이션 코드(1780)의 캘리브레이션 과정에서 생성될 수 있다. 예를 들어, 응시점의 위치는 현실 공간의 좌표계에서의 3D 좌표 값을 가질 수 있으나, 이에 제한되지 않는다. 예를 들어, 응시점의 위치는 도광판(170)의 좌표계에서의 좌표 값을 가질 수도 있으나, 이에 제한되지 않는다.
프로세서(1800)는 시선 판단 코드(1770)를 실행함으로써, 눈 특징 검출 코드(1730)로부터 획득된 사용자의 눈의 시선에 관련된 특징들을, 틀어짐 판단 코드(1750)로부터 획득된 틀어짐 정도에 기초하여 보정할 수 있다. 또한, 프로세서(1800)는, 틀어짐 정도에 기초하여 보정된, 사용자의 눈의 시선에 관련된 특징들을 매핑 함수에 적용함으로써, 사용자의 응시점의 위치를 산출할 수 있다. 또한, 시선 판단 코드(1770)에 의해 산출된 눈의 중심점의 위치 및 사용자의 응시점에 기초하여 사용자의 시선 방향이 결정될 수 있다. 시선 판단 코드(1770)를 이용하여 사용자의 시선 방향을 획득하는 방법은 도 11에서 보다 상세히 설명하기로 한다.
또는, 프로세서(1800)는 전술한 매핑 함수를 이용하지 않고 사용자의 응시점을 산출할 수도 있다. 예를 들어, 광 수신부(1520)가 IR 카메라인 경우에, 시선 판단 코드(1770)는 소정의 알고리즘을 이용하여 사용자의 눈의 시선 방향을 사용자의 눈이 촬영된 이미지로부터 산출할 수 있다. 이 경우, 획득된 시선 방향은 카메라 좌표계에서 사용자의 눈의 시선 방향을 나타내는 벡터 값일 수 있다. 사용자의 눈의 시선 방향을 획득하기 위하여 이용되는 알고리즘은, 3D 안구 모델을 피팅하기 위한 알고리즘일 수 있다. 3D 안구 모델을 피팅하기 위한 알고리즘은, 사용자의 시선 방향을 나타내는 기준 벡터 값에 대응되는 눈 이미지를 IR 카메라에 의해 촬영된 이미지와 비교함으로써, 사용자의 시선 방향을 나타내는 벡터 값을 획득하기 위한 알고리즘일 수 있다. 또한, 시선 판단 코드(1770)는 템플(191)의 틀어짐 각도를 이용하여 카메라 좌표계에서의 시선 방향을 나타내는 벡터 값을 도광판(170)의 좌표계에서의 시선 방향을 나타내는 벡터 값으로 변환할 수 있다. 이후, 시선 판단 코드(1770)는 도광판(170)의 좌표계에서의 시선 방향을 나타내는 벡터와 도광판(170) 간의 교점을 산출함으로써, 사용자의 응시점을 획득할 수 있다.
프로세서(1800)는 저장부(1700)에 저장된 캘리브레이션 코드(1780)를 실행함으로써, 지지부(190)의 틀어짐 각도에 기초하여 매핑 함수를 캘리브레이션할 수 있다. 프로세서(1800)는 캘리브레이션 코드(1780)를 실행함으로써, 기설정된 디폴트 틀어짐 각도 및 눈의 특징들에 기초하여 사용자의 응시점을 획득할 수 있도록 매핑 함수를 캘리브레이션할 수 있다.
예를 들어, 광 수신부(1520)가 IR 카메라인 경우에, 프로세서(1800)는 캘리브레이션을 위한 타겟 지점을 도광판(170)을 통해 표시하고, 타겟 지점을 바라보는 사용자의 눈을 IR 카메라를 이용하여 촬영할 수 있다. 또한, 프로세서(1800)는 사용자의 눈이 촬영된 이미지 내의 패턴을 식별하고, 식별된 패턴을 분석함으로써 지지부(190)의 틀어짐 각도를 획득할 수 있다. 또한, 프로세서(1800)는 사용자의 눈이 촬영된 이미지로부터 사용자의 눈에 관련된 특징점들의 위치를 검출하고, 사용자의 눈의 특징점들의 위치 및 지지부(190)의 틀어짐 각도를 매핑 함수에 입력할 수 있다. 프로세서(1800)는 사용자의 눈의 특징점들의 위치 및 지지부(190)의 틀어짐 각도가 입력된 매핑 함수로부터 타겟 지점의 위치 값이 출력될 수 있도록 매핑 함수를 캘리브레이션할 수 있다.
예를 들어, 광 수신부(1520)가 IR 디텍터인 경우에, 프로세서(1800)는 캘리브레이션을 위한 타겟 지점을 도광판(170)을 통해 표시하고, IR 스캐너를 제어함으로써 타겟 지점을 바라보는 사용자의 눈을 스캐닝하기 위한 IR 광을 방출할 수 있다. 또한, 프로세서(1800)는 IR 디텍터를 통하여 사용자의 눈으로부터 반사된 IR 광을 수신하고, IR 광을 분석함으로써 광 반사부(1400)의 패턴을 식별하고, 템플(191)의 틀어짐 각도를 추정할 수 있다. 프로세서(1800)는 템플(191)의 틀어짐 각도에 기초하여 IR 광을 분석함으로써, 눈의 보정된 특징점들의 위치를 식별할 수 있다. 예를 들어, 프로세서(1800)가 IR 스캐너 및 IR 디텍터를 이용하여 눈의 특징점들의 위치를 추정하는 경우에, 눈의 특징점들의 위치의 추정 결과는 IR 스캐너의 동작 각도에 영향을 받으므로, 스캐너 동작 각도에서 지지부(190)의 틀어짐 각도를 뺀 값을 이용하여 연산하면, 눈의 특징점들의 위치가 지지부(190)의 틀어짐에 기초하여 보정될 수 있다.
또한, 프로세서(1800)는 눈의 보정된 특징점들의 위치를 매핑 함수에 입력하고, 눈의 보정된 특징점들의 위치가 입력된 매핑 함수로부터 타겟 지점의 위치 값이 출력될 수 있도록 매핑 함수를 캘리브레이션할 수 있다.
도 4는 본 개시의 일 실시예에 따른 증강 현실 장치의 광 방출부 및 광 수신부의 동작의 예시를 나타내는 도면이다.
도 4를 참조하면, 광 방출부(1510)는 광 반사부(1400)를 향하여 IR 광을 방출할 수 있으며, 방출된 IR 광은 광 반사부(1400)에 의해 반사되어 사용자의 눈을 향할 수 있다. 또한, 사용자의 눈을 향하는 IR 광은 사용자의 눈에 의해 다시 반사되어 광 반사부(1400)를 향할 수 있으며, 사용자의 눈에 의해 반사된 IR 광은 광 반사부(1400)에 다시 의해 반사되어 광 수신부(1520)를 향할 수 있다. 또한, 광 수신부(1520)는 사용자의 눈으로부터 광 반사부(1400)에 의해 반사되어 광 수신부(1520)를 향하는 IR 광을 수신할 수 있다.
도 4에서는, 설명의 편의상, 안경형 디스플레이 장치인 증강 현실 장치(1000)가 사용자의 좌안을 향하여 IR 광을 방출하고 사용자의 좌안으로부터 반사된 IR 광을 수신하는 것으로 설명되었지만, 이에 제한되지 않는다. 증강 현실 장치(1000)는, 도 4에 도시된 바와 마찬가지의 방법으로, 사용자의 우안을 향하여 IR 광을 방출하고 사용자의 우안으로부터 반사된 IR 광을 수신할 수 있다.
도 5a는 본 개시의 일 실시예에 따른 면광을 방출하는 광 방출부의 예시를 나타내는 도면이다.
도 5a를 참조하면, 도 2의 광 방출부(1510)가 IR LED이며 도 2의 광 수신부(1520)가 IR 카메라일 수 있다. 이 경우에 광 방출부(1510)는 광 반사부(1400)를 향하여 면광의 IR 광을 방출할 수 있으며, 방출된 IR 광이 광 반사부(1400)에 의해 반사되어 사용자의 눈을 향할 수 있다. 예를 들어, IR LED로부터 방출된 광이 광 반사부(1400)에 의해 반사되어 사용자의 눈을 포함하는 영역에 조사되도록 하기 위하여, 프로세서(1800)는 IR LED로부터 방출되는 IR광의 조사 방향을 제어하고, IR LED에 전원을 인가함으로써 IR LED로부터의 IR 광의 방출을 제어할 수 있다. 또한, 광 반사부(1400)에 의해 반사된 면광의 IR광은 사용자의 눈 전체를 커버할 수 있다. 이 경우, 광 수신부(1520)는 IR 카메라일 수 있으며, 사용자의 눈에 의해 반사된 IR광을 IR 카메라가 수신함으로써, IR 카메라는 사용자의 눈을 촬영할 수 있게 된다.
예를 들어, IR 카메라에 의해 촬영된 이미지의 픽셀들에 대응되는 IR 카메라의 좌표계 상의 좌표 값들이 미리 설정될 수 있다. 또한, 프로세서(1800)는 IR 카메라를 통하여 수신된 IR 광의 속성(예를 들어, 밝기)에 기초하여, 눈의 특징점에 대응되는 좌표 값이 식별될 수 있다. 예를 들어, 프로세서(1800)는 복수의 포토 다이오드를 포함하는 IR 카메라의 이미지 센서를 통해 수신되는 IR 광의 밝기를 식별하고, IR 카메라에 의해 촬영된 이미지의 픽셀들 중에서 동공을 나타내는 IR 광을 수신한 적어도 하나의 픽셀을 식별함으로써 동공의 중심점에 대응되는 IR 좌표계 상의 좌표 값(51)을 식별할 수 있다. 이 경우, 동공을 나타내는 IR 광은 소정 수치보다 낮은 밝기를 가지는 IR 광일 수 있으나, 이에 제한되지 않는다.
또한, 예를 들어, 프로세서(1800)는 복수의 포토 다이오드를 포함하는 IR 카메라의 이미지 센서를 통해 수신되는 IR 광의 밝기를 식별하고, IR 카메라에 의해 촬영된 이미지의 픽셀들 중에서 눈의 반짝임 특징점을 나타내는 적어도 하나의 픽셀을 식별함으로써 눈의 반짝임 특징점에 대응되는 IR 좌표계 상의 좌표 값(52)을 식별할 수 있다. 이 경우, 눈의 반짝임 특징점을 나타내는 IR 광은 소정 수치보다 큰 밝기를 가지는 IR 광일 수 있으나, 이에 제한되지 않는다.
일 실시예에 따르면, 광 방출부(1510)는 점멸하는 광을 조사하는 IR LED일 수 있으며, 이 경우 광 반사부는 IR 이벤트 카메라일 수 있다. IR 이벤트 카메라는 특정 이벤트가 발생하는 경우에 활성화되어 자동으로 피사체를 촬영하는 IR 카메라일 수 있다. IR 이벤트 카메라는, 예를 들어, 점멸하는 광의 패턴이 상이한 경우에 활성화되어 사용자의 눈을 자동으로 촬영할 수 있다.
도 5b는 본 개시의 일 실시예에 따른 점광을 방출하는 광 방출부의 예시를 나타내는 도면이다.
도 5b를 참조하면, 도 2의 광 방출부(1510)가 IR 스캐너이며 도 2의 광 수신부(1520)가 IR 디텍터일 수 있다. 이 경우에 광 방출부(1510)는 광 반사부(1400)를 향하여 점광의 IR 광을 방출할 수 있으며, 방출된 IR 광이 광 반사부(1400)에 의해 반사되어 사용자의 눈을 향할 수 있다. 이 경우, 광 방출부(1510)는 방출 방향을 수직 방향 또는 수평 방향으로 변경하면서 광 반사부(1400)를 향하여 점광의 IR 광을 순차적으로 방출할 수 있으며, 순차적으로 방출된 점광의 IR광들이 광 반사부(1400)에 의해 반사되어 사용자의 눈 전체를 커버할 수 있게 된다. 예를 들어, IR 스캐너로부터 순차적으로 방출된 점광의 IR 광들이 광 반사부(1400)에 의해 반사되어 사용자의 눈을 포함하는 영역에 조사되도록 하기 위하여, 프로세서(1800)는 IR 스캐너로부터 방출되는 IR 광들의 조사 방향을 제어할 수 있다. 이 경우, 광 방출부(1510)는 2D(2-Dimension) 스캐너일 수 있으며 광 수신부(1520)는 적어도 하나의 포토 다이오드일 수 있다.
예를 들어, IR 디텍터를 통하여 순차적으로 수신된 IR 광의 어레이 내의 IR 광들에 대응되는 IR 디텍터의 좌표계 상의 좌표 값들이 미리 설정될 수 있으며, 프로세서(1800)는 IR 디텍터를 통하여 순차적으로 수신된 IR 광의 어레이 내의 IR 광들의 속성(예를 들어, 밝기)에 기초하여, 눈의 특징점에 대응되는 좌표 값을 식별할 수 있다. 예를 들어, 프로세서(1800)는 수신된 IR 광의 어레이에서 소정 수치 이하의 밝기를 가지는 IR 광들에 대응되는 IR 디텍터의 좌표계 상의 좌표 값들을 식별함으로써, 동공의 중심점에 대응되는 IR 좌표계 상의 좌표 값(53)을 식별할 수 있다. 또한, 예를 들어, 프로세서(1800)는 수신된 IR 광의 어레이에서 소정 수치 이상의 밝기를 가지는 IR 광들에 대응되는 IR 디텍터의 좌표계 상의 좌표 값들을 식별함으로써, 눈의 반짝임 특징점에 대응되는 IR 좌표계 상의 좌표 값(54)을 식별할 수 있다.
도 5c는 본 개시의 일 실시예에 따른 선광을 방출하는 광 방출부의 예시를 나타내는 도면이다.
도 5c를 참조하면, 도 2의 광 방출부(1510)가 IR 스캐너이며 도 2의 광 수신부(1520)가 IR 디텍터일 수 있다. 이 경우에 광 방출부(1510)는 광 반사부(1400)를 향하여 선광의 IR 광을 방출할 수 있으며, 방출된 IR 광이 광 반사부(1400)에 의해 반사되어 사용자의 눈을 향할 수 있다. 예를 들어, IR 스캐너로부터 순차적으로 방출된 선광의 IR 광들이 광 반사부(1400)에 의해 반사되어 사용자의 눈을 포함하는 영역에 조사되도록 하기 위하여, 프로세서(1800)는 IR 스캐너로부터 방출되는 IR 광들의 조사 방향을 제어할 수 있다. 이 경우, 광 방출부(1510)는 방출 방향을 변경하면서 광 반사부(1400)를 향하여 선광의 IR 광을 순차적으로 방출할 수 있으며, 순차적으로 방출된 선광의 IR광들이 광 반사부(1400)에 의해 반사되어 사용자의 눈 전체를 커버할 수 있게 된다. 이 경우, 광 방출부(1510)는 1D(1-Dimension) 스캐너일 수 있으며 광 수신부(1520)는 복수의 포토 다이오드를 포함하는 포토 다이오드 어레이일 수 있다. 광 수신부(1520)가 포토 다이오드 어레이인 경우에, 광 수신부(1520)는 템플(191)에 배치되는 것이 보다 바람직하다. 예를 들어, 사용자의 눈을 포함하는 영역을 커버하기 위해 광 방출부(1510)에서 방출된 선광이 수평 방향이면 수직 방향으로 방출 방향을 변경하고, 수직 방향이면 수평 방향으로 방출 방향을 변경할 수 있다.
예를 들어, IR 디텍터를 통하여 순차적으로 수신된 IR 광의 어레이 내의 IR 광들에 대응되는 IR 디텍터의 좌표계 상의 좌표 값들이 미리 설정될 수 있으며, 프로세서(1800)는 IR 디텍터를 통하여 순차적으로 수신된 IR 광의 어레이 내의 광들의 속성(예를 들어, 밝기)에 기초하여, 눈의 특징점에 대응되는 좌표 값을 식별할 수 있다. 예를 들어, 프로세서(1800)는 소정 수치 이상의 밝기를 가지는 IR 광을 가지는 선광들을 식별하고, 각각의 선광 별로 해당 선광을 수신한 복수의 포토 다이오드들 중에서 소정 수치 이하의 밝기를 가지는 IR 광에 대응되는 포토 다이오드를 식별함으로써 동공의 중심점에 대응되는 IR 좌표계 상의 좌표 값(55)을 식별할 수 있다. 또한, 예를 들어, 프로세서(1800)는 소정 수치 이상의 밝기를 가지는 IR 광을 가지는 선광들을 식별하고, 각각의 선광 별로 해당 선광을 수신한 복수의 포토 다이오드들 중에서 소정 수치 이하의 밝기를 가지는 IR 광에 대응되는 포토 다이오드들을 식별함으로써 눈의 반짝임 특징점에 대응되는 IR 좌표계 상의 좌표 값(56)을 식별할 수 있다.
도 5a 내지 도 5c에서는, 설명의 편의상, 안경형 디스플레이 장치인 증강 현실 장치(1000)가 사용자의 한쪽 눈을 향하여 IR 광을 방출하는 예시를 설명하였지만, 이에 제한되지 않는다. 증강 현실 장치(1000)는, 도 5a 내지 도 5c에 도시된 바와 마찬가지의 방법으로, 사용자의 다른 쪽 눈을 향하여 IR 광을 방출할 수 있다.
도 6a는 본 개시의 일 실시예에 따른 광 방출부 및 광 수신부가 증강 현실 장치의 템플에 배치되는 예시를 나타내는 도면이다.
도 6a를 참조하면, 도 2의 증강 현실 장치(1000)는 안경형 장치일 수 있으며, 광 방출부(1510) 및 광 수신부(1520)는 증강 현실 장치(1000)의 템플(191)에 배치될 수 있다. 광 방출부(1510) 및 광 수신부(1520)는 증강 현실 장치(1000)의 템플(191)에서, 템플(191)과 사용자의 눈 사이의 위치인 내측면 부분에 배치될 수 있다. 예를 들어, 광 방출부(1510) 및 광 수신부(1520)는 증강 현실 장치(1000)의 템플(191)의 내측면 중에서, 프레임으로부터 10mm ~ 15mm 정도 이격된 위치에 배치될 수 있다. 광 방출부(1510) 및 광 수신부(1520)는 증강 현실 장치(1000)의 템플(191)에서 광 반사부(1400)를 향하도록 배치될 수 있다.
도 6b는 본 개시의 일 실시예에 따른 광 방출부 및 광 수신부가 증강 현실 장치의 코 지지부에 배치되는 예시를 나타내는 도면이다.
도 6b를 참조하면, 도 2의 증강 현실 장치(1000)는 안경형 장치일 수 있으며, 광 방출부(1510) 및 광 수신부(1520)는 증강 현실 장치(1000)의 코 지지부(192)에 배치될 수 있다. 광 방출부(1510) 및 광 수신부(1520)는 증강 현실 장치(1000)의 코 지지부(192)에서, 코 지지부(192)와 사용자의 눈 사이의 위치인 내측면 부분에 배치될 수 있다. 광 방출부(1510) 및 광 수신부(1520)는 증강 현실 장치(1000)의 코 지지부(192)에서 광 반사부(1400)를 향하도록 배치될 수 있다.
도 6c는 본 개시의 일 실시예에 따른 광 방출부 및 광 수신부가 증강 현실 장치의 템플 및 코 지지부에 배치되는 예시를 나타내는 도면이다.
도 6c를 참조하면, 도 2의 증강 현실 장치(1000)는 안경형 장치일 수 있으며, 광 방출부(1510)는 증강 현실 장치(1000)의 템플(191)에 배치되고 광 수신부(1520)는 증강 현실 장치(1000)의 코 지지부(192)에 배치될 수 있다. 광 방출부(1510)는 증강 현실 장치(1000)의 템플(191)에서, 템플(191)과 사용자의 눈 사이의 위치인 내측면 부분에 배치될 수 있다. 광 수신부(1520)는 증강 현실 장치(1000)의 코 지지부(192)에서, 코 지지부(192)와 사용자의 눈 사이의 위치인 내측면 부분에 배치될 수 있다. 광 방출부(1510) 및 광 수신부(1520)는 증강 현실 장치(1000)에서 광 반사부(1400)를 향하도록 배치될 수 있다.
도 6d는 본 개시의 일 실시예에 따른 광 방출부 및 광 수신부가 증강 현실 장치의 템플 및 코 지지부에 배치되는 예시를 나타내는 도면이다.
도 6d를 참조하면, 도 2의 증강 현실 장치(1000)는 안경형 장치일 수 있으며, 광 방출부(1510)는 증강 현실 장치(1000)의 코 지지부(192)에 배치되고 광 수신부(1520)는 증강 현실 장치(1000)의 템플(191)에 배치될 수 있다. 광 방출부(1510)는 증강 현실 장치(1000)의 코 지지부(192)에서, 코 지지부(192)와 사용자의 눈 사이의 위치인 내측면 부분에 배치될 수 있다. 광 수신부(1520)는 증강 현실 장치(1000)의 템플(191)에서, 템플(191)과 사용자의 눈 사이의 위치인 내측면 부분에 배치될 수 있다. 광 방출부(1510) 및 광 수신부(1520)는 증강 현실 장치(1000)에서 광 반사부(1400)를 향하도록 배치될 수 있다.
도 6a 내지 도 6d에서는 하나의 광 방출부(1510) 및 하나의 광 수신부(1520)가 증강 현실 장치(1000)에 배치되는 것으로 설명되었지만, 이에 제한되지 않는다. 예를 들어, 복수의 광 방출부(1510)가 증강 현실 장치(1000)에 배치될 수 있다. 이 경우, 복수의 광 방출부(1510)가 템플(191)에 배치되거나, 복수의 광 방출부(1510)가 코 지지부(192)에 배치될 수 있다. 또는, 복수의 광 방출부(1510)가 템플(191) 및 코 지지부(192)에 나누어 배치될 수도 있다.
또한, 예를 들어, 복수의 광 수신부(1520)가 증강 현실 장치(1000)에 배치될 수 있다. 이 경우, 복수의 광 수신부(1520)가 템플(191)에 배치되거나, 복수의 광 수신부(1520)가 코 지지부(192)에 배치될 수 있다. 또는, 복수의 광 수신부(1520)가 템플(191) 및 코 지지부(192)에 나누어 배치될 수도 있다.
도 6a 내지 도 6d에서는, 설명의 편의상, 안경형 디스플레이 장치인 증강 현실 장치(1000)의 좌안 부분에 광 방출부(1510) 및 광 수신부(1520)가 배치되는 것으로 설명하였지만, 이에 제한되지 않는다. 증강 현실 장치(1000)는, 도 6a 내지 도 6d에 도시된 바와 마찬가지의 방법으로, 증강 현실 장치(1000)의 우안 부분에 광 방출부(1510) 및 광 수신부(1520)가 배치될 수 있다.
도 7a는 본 개시의 일 실시예에 따른 증강 현실 장치의 광 반사부에 형성된 점 패턴의 예시를 나타내는 도면이며, 도 7b는 본 개시의 일 실시예에 따른 증강 현실 장치의 광 반사부에 형성된 격자 패턴의 예시를 나타내는 도면이며, 도 7c는 본 개시의 일 실시예에 따른 2D 마커 형태의 패턴의 예시를 나타내는 도면이며, 도 7d는 본 개시의 일 실시예에 따른 도광판의 일 부분을 커버하는 광 반사부의 예시를 나타내는 도면이다.
도 7a를 참조하면 도 2의 증강 현실 장치의 광 반사부(1400) 상에 점 모양의 패턴이 형성될 수 있으며, 도 7b를 참조하면 도 2의 증강 현실 장치의 광 반사부(1400) 상에 격자 모양의 패턴이 형성될 수 있다. 패턴이 형성된 부분에서는 IR 광이 반사되지 않을 수 있다. 이 때, 점 모양의 패턴 또는 격자 모양의 패턴은 증강 현실 장치의 지지부 또는 템플의 틀어짐을 검출하기 위한 것이므로 규칙적인 형태가 되는 것이 바람직하다.
도 7c를 참조하면, 도 2의 증강 현실 장치의 광 반사부(1400)에서 사용자의 시선이 향하는 빈도가 낮은 부분에 패턴이 형성될 수 있다. 형성된 패턴은 예를 들어, 2D 마커 형태의 패턴일 수 있으나, 이에 제한되지 않는다. 광 반사부(1400)에 형성되는 패턴은, 예를 들어, 사용자의 눈을 촬영하거나 스캔하는데 방해가 되지 않는 부분에 형성될 수 있다.
도 7d를 참조하면, 도 2의 증강 현실 장치의 도광판(170)의 일 부분에 광 반사부(1400)가 형성될 수 있다. 예를 들어, 도광판(170)에서, IR 광의 반사와 관련이 적은 부분에는 광 반사부(1400)가 위치하지 않을 수 있다.
예를 들어, 광 수신부(1520)가 IR 카메라인 경우에, IR 카메라는 광 반사부(1400)에 의해 반사된 IR 광에 기초하여 사용자의 눈을 촬영할 수 있으며, 패턴이 형성된 부분에서는 IR 광이 반사되지 않을 수 있다. 예를 들어, 사용자의 눈이 촬영된 이미지에서 IR 광이 반사되지 않은 부분은 검게 표시될 수 있으며, 프로세서(1800)는 사용자의 눈이 촬영된 이미지에서 검게 표시된 부분을 식별함으로써 이미지 내의 패턴을 식별할 수 있다.
예를 들어, 광 수신부(1520)가 IR 디텍터인 경우에, IR 디텍터는 광 반사부(1400)에 의해 반사된 IR 광을 순차적으로 수신할 수 있으며, 패턴이 형성된 부분에서는 IR 광이 반사되지 않을 수 있다. 예를 들어, 프로세서(1800)는, 순차적으로 수신되는 IR광들에 의해 형성되는 IR 광 어레이에서 IR 광이 반사되지 않은 부분을 식별함으로써 광 반사부(1400)의 패턴을 식별할 수 있다.
도 8a는 본 개시의 일 실시예에 따른 증강 현실 장치의 템플이 틀어지기 전의 광 방출 각도 및 패턴을 나타내는 도면이며, 도 8b는 본 개시의 일 실시예에 따른 증강 현실 장치의 템플이 틀어진 이후의 광 방출 각도 및 패턴을 나타내는 도면이다.
도 8a를 참조하면, 도 2와 같은 안경 형태의 증강 현실 장치(1000)에서, 템플(191)이 틀어지기 전에 광 방출부(1510)는, 제1 광 방출 각도(80)로, 점 패턴이 형성된 광 반사부(1400)를 향하여 IR 광을 방출할 수 있다. 일 실시예에 따르면, 광 방출부(1510)는 광 반사부(1400)를 향하여 IR 광을 방출하며, 광 수신부(1520)에 의해 수신되는 IR 광에 기초하여 제1 패턴(82)이 증강 현실 장치(1000)에 의해 식별될 수 있다.
또한, 도 8b를 참조하면, 도 2와 같은 안경 형태의 증강 현실 장치(1000)에서, 템플(191)이 틀어진 이후에 광 방출부(1510)는, 제2 광 방출 각도(90)로 광 반사부(1400)를 향하여 IR 광을 방출할 수 있으며, 광 수신부(1520)에 의해 수신되는 IR 광에 기초하여 제2 패턴(92)이 증강 현실 장치(1000)에 의해 식별될 수 있다.
도 8a 및 도 8b에서와 같이, 제1 패턴(82) 및 제2 패턴(92)은 서로 상이한 간격의 점들을 포함할 수 있으며, 증강 현실 장치(1000)는 제1 패턴(82) 및 제2 패턴(92)을 비교함으로써, 템플(191)의 틀어짐 정도를 식별할 수 있다. 예를 들어, 제1 패턴(82)에 대한 틀어짐 각도가 '0'으로 설정될 수 있으며, 제1 패턴(82) 내의 점들 및 제2 패턴(82) 내의 점들의 위치 차이에 기초하여 제2 패턴(83)에 대한 틀어짐 각도가 산출될 수 있다. 예를 들어, 제2 패턴에 대한 틀어짐 각도는 제1 광 방출 각도(80) 및 제2 광 방출 각도(90)의 차이 값일 수 있다. 예를 들어, 제1 광 방출 각도(80)에 대응되는 패턴이 제1 패턴(82)이고, 제1 광 방출 각도(80)에 대응되는 패턴이 제2 패턴(92)인 경우에, 프로세서(1800)는 제1 패턴(82) 내의 점들의 간격들과 제2 패턴(92) 내의 점들의 간격들을 비교함으로써, 제1 패턴(82) 내의 점들의 간격들에 대한 제2 패턴(92) 내의 점들의 간격들의 차이 값들을 식별할 수 있으며, 식별된 차이 값들을 템플(191)의 틀어짐 정도를 산출하기 위한 적어도 하나의 함수에 입력함으로써 제1 패턴(82)에 대응되는 제1 광 방출 각도(80)와 제2 패턴(92)에 대응되는 제2 광 방출 각도(90)의 차이를 나타내는 템플(191)의 틀어짐 정도를 산출할 수 있다.
또한, 예를 들어, 제1 광 방출 각도(80)에 대응되는 패턴이 제1 패턴(82)이고, 제1 광 방출 각도(80)에 대응되는 패턴이 제2 패턴(92)인 경우에, 프로세서(1800)는 제1 패턴(82) 내의 점들의 위치들과 제2 패턴(92) 내의 점들의 위치들을 비교함으로써, 제1 패턴(82) 내의 점들의 간격들에 대한 제2 패턴(92) 내의 점들의 위치들의 차이 값들을 식별할 수 있으며, 식별된 차이 값들을 템플(191)의 틀어짐 정도를 산출하기 위한 적어도 하나의 함수에 입력함으로써 제1 패턴(82)에 대응되는 제1 광 방출 각도(80)와 제2 패턴(92)에 대응되는 제2 광 방출 각도(90)의 차이를 나타내는 템플(191)의 틀어짐 정도를 산출할 수 있다.
다른 실시예에 따르면, 프로세서(1800)는 제1 패턴(82)과 제2 패턴(92)을 비교하지 않고, 제2 패턴(92)에 기초하여 템플(191)의 틀어짐 정도를 식별할 수도 있다. 이 경우, 프로세서(1800)는 제2 패턴(92) 내의 점들 간의 간격들을 차이 값들을 식별할 수 있으며, 식별된 차이 값들을 템플(191)의 틀어짐 정도를 산출하기 위한 적어도 하나의 함수에 입력함으로써 템플(191)의 틀어짐 정도를 산출할 수 있다.
도 9는 본 개시의 일 실시예에 따른 증강 현실 장치의 광 방출부가 IR 스캐너인 경우에, 광 수신부를 통해 수신되는 광의 어레이로부터 식별되는 패턴의 예시를 나타내는 도면이다.
도 9를 참조하면, IR 스캐너(1520-1)는 도 2와 같은 안경 형태의 증강 현실 장치(1000)의 지지부(190)가 틀어지기 전의 IR 스캐너를 나타낼 수 있다. IR 스캐너(1520-1)는 점광의 IR 광을 광 반사부(1400)를 이용하여 사용자의 눈이 위치한 영역을 향하여 순차적으로 방출할 수 있으며, 광 수신부(1520)는 제1 광 어레이(90)을 수신할 수 있다.
또한, IR 스캐너(1520-2)는 증강 현실 장치(1000)의 지지부(190)가 틀어진 이후의 IR 스캐너를 나타낼 수 있다. IR 스캐너(1520-2)는 점광의 IR 광을 광 반사부(1400)를 이용하여 사용자의 눈이 위치한 영역을 향하여 순차적으로 방출할 수 있으며, 광 수신부(1520)는 제2 광 어레이(92)을 수신할 수 있다.
제1 광 어레이(10) 및 제2 광 어레이(12)에서 광 반사부(1400)의 점 패턴에 대응되는 광 신호의 위치 및 간격이 서로 상이할 수 있으며, 증강 현실 장치(1000)는 제1 광 어레이(90)에서 광 반사부(1400)의 점 패턴에 대응되는 부분 및 제2 광 어레이(92)에서 광 반사부(1400)의 점 패턴에 대응되는 부분을 비교할 수 있다. 또한, 증강 현실 장치(1000)는 비교 결과에 기초하여 증강 현실 장치(1000)의 지지부(190)의 틀어짐 정도를 식별할 수 있다.
예를 들어, 점 패턴을 향하여 방출된 IR광은 광 반사부(1400)에 의해 반사되지 않으므로, 제1 광 어레이(90)에서 점 패턴에 대응되는 부분들(90-1, 90-2, 90-3, 90-4) 및 제2 광 어레이(92)에서 점 패턴에 대응되는 부분들(92-1, 92-2, 92-3, 92-4)에 대하여는 광 신호가 수신되지 않을 수 있다. 프로세서(1800)는 제1 광 어레이(90)에서 광 신호가 수신되지 않은 부분들을 식별함으로써 제1 광 어레이(90)에서 점 패턴에 대응되는 부분들(90-1, 90-2, 90-3, 90-4)을 식별할 수 있으며, 점 패턴에 대응되는 부분들(90-1, 90-2, 90-3, 90-4)을 나타내는 IR 스캐너의 좌표계 상의 좌표 값들(90-5, 90-6, 90-7, 90-8)을 식별할 수 있다. 또한, 예를 들어, 프로세서(1800)는 제2 광 어레이(92)에서 광 신호가 수신되지 않은 부분들을 식별함으로써 제2 광 어레이(92)에서 점 패턴에 대응되는 부분들(92-1, 92-2, 92-3, 92-4)을 식별할 수 있으며, 점 패턴에 대응되는 부분들(92-1, 92-2, 92-3, 92-4)을 나타내는 IR 스캐너의 좌표계 상의 좌표 값들(92-5, 92-6, 92-7, 92-8)을 식별할 수 있다.
프로세서(1800)는, 제1 광 어레이(90) 내의 점 패턴에 대응되는 부분들(90-1, 90-2, 90-3, 90-4)을 나타내는 IR 스캐너의 좌표계 상의 좌표 값들(90-5, 90-6, 90-7, 90-8)을, 제2 광 어레이(92)에서 점 패턴에 대응되는 부분들(92-1, 92-2, 92-3, 92-4)을 나타내는 IR 스캐너의 좌표계 상의 좌표 값들(92-5, 92-6, 92-7, 92-8)과 비교함으로써, 좌표 값들(90-5, 90-6, 90-7, 90-8)과 좌표 값들(92-5, 92-6, 92-7, 92-8)의 차이를 산출할 수 있다. 예를 들어, 프로세서(1800)는 좌표 값(90-5)과 좌표 값(92-5)의 차이 값, 좌표 값(90-6)과 좌표 값(92-6)의 차이 값, 좌표 값(90-7)과 좌표 값(92-7)의 차이 값, 및 좌표 값(90-8)과 좌표 값(92-8)의 차이 값에 기초하여, 증강 현실 장치(1000)의 지지부(190)의 틀어짐 각도를 산출할 수 있다.
도 9에서는, 설명의 편의상, 증강 현실 장치(1000)의 지지부(190)가 틀어지기 전의 IR 스캐너(1520-1) 및 증강 현실 장치(1000)의 지지부(190)가 틀어진 이후의 IR 스캐너(1520-2)를 구별되게 표현하기 위하여, 지지부(190)가 틀어지기 전의 IR 스캐너(1520-1) 및 증강 현실 장치(1000)의 지지부(190)가 틀어진 이후의 IR 스캐너(1520-2)를 도 9에 함께 도시하였으나, 지지부(190)가 틀어지기 전의 IR 스캐너(1520-1) 및 증강 현실 장치(1000)의 지지부(190)가 틀어진 이후의 IR 스캐너(1520-2)는 증강 현실 장치(100)에 설치된 동일한 IR 스캐너이다.
또한, 도 9에서는, 설명의 편의상, 지지부(190)가 틀어지기 전의 IR 스캐너(1520-1)를 이용하여 점 패턴을 식별하기 위하여 하나의 제1 광 어레이(90)가 이용되고, 증강 현실 장치(1000)의 지지부(190)가 틀어진 이후의 IR 스캐너(1520-2)를 이용하여 점 패턴을 식별하기 위하여 하나의 제2 광 어레이(92)가 이용되는 것으로 설명되었지만, 이에 제한되지 않는다. 지지부(190)가 틀어지기 전의 IR 스캐너(1520-1)를 이용하여 점 패턴을 식별하기 위하여, 점 패턴을 커버하기 위한 복수의 광 어레이들이 이용되고, 지지부(190)가 틀어진 이후의 IR 스캐너(1520-2)를 이용하여 점 패턴을 식별하기 위하여 점 패턴을 커버하기 위한 복수의 광 어레이들이 이용될 수 있다.
도 10은 본 개시의 일 실시예에 따른 증강 현실 장치의 광 방출부가 IR 스캐너인 경우에, 증강 현실 장치의 광 수신부를 통해 수신되는 광의 어레이로부터 식별되는 눈의 특징의 예시를 나타내는 도면이다.
도 10을 참조하면, 도 2에서과 같은 안경 형태의 증강 현실 장치(1000)의 지지부(190)가 틀어지기 전의 IR 스캐너(1520-1)는 점광의 IR 광을 광 반사부(1400)를 이용하여 사용자의 눈이 위치한 영역을 향하여 순차적으로 방출할 수 있으며, 광 수신부(1520)는 제3 광 어레이(100)를 수신할 수 있다.
또한, 증강 현실 장치(1000)의 지지부(190)가 틀어진 이후의 IR 스캐너(1520-2)는 점광의 IR 광을 광 반사부(1400)을 이용하여 사용자의 눈이 위치한 영역을 향하여 순차적으로 방출할 수 있으며, 광 수신부(1520)는 제4 광 어레이(102)을 수신할 수 있다.
제3 광 어레이(100) 및 제4 광 어레이(102)에서 눈의 특징점에 대응되는 광 신호의 위치 및 간격이 서로 상이할 수 있다. 증강 현실 장치(1000)는 지지부(190)의 틀어짐 각도를 고려하여 제4 광 어레이(102)로부터 눈의 특징점에 대응되는 부분의 위치를 보정할 수 있다.
예를 들어, 프로세서(1800)는, 제4 광 어레이(102) 내의 광들의 밝기에 기초하여, 제4 광 어레이(102) 내에서 눈의 반짝임 특징점에 대응되는 부분들(102-1)을 식별할 수 있으며, 눈의 반짝임 특징점에 대응되는 부분들(102-1)을 나타내는 IR 스캐너의 좌표계 상의 좌표 값들(102-2)을 식별할 수 있다. 이후, 프로세서(1800)는 도 9에서 산출된 틀어짐 각도를 이용하여, 눈의 반짝임 특징점을 나타내는 좌표 값들(102-2)을 보정할 수 있다. 예를 들어, 프로세서(1800)는, 눈의 반짝임 특징점을 나타내는 좌표 값들(102-2)과 후술할 도 11의 보상 매트릭스를 곱함으로써, 보정된 좌표 값들을 획득할 수 있다.
도 10에서는, 설명의 편의상, 증강 현실 장치(1000)의 지지부(190)가 틀어지기 전의 IR 스캐너(1520-1) 및 증강 현실 장치(1000)의 지지부(190)가 틀어진 이후의 IR 스캐너(1520-2)를 구별되게 표현하기 위하여, 지지부(190)가 틀어지기 전의 IR 스캐너(1520-1) 및 증강 현실 장치(1000)의 지지부(190)가 틀어진 이후의 IR 스캐너(1520-2)를 도 10에 함께 도시하였으나, 지지부(190)가 틀어지기 전의 IR 스캐너(1520-1) 및 증강 현실 장치(1000)의 지지부(190)가 틀어진 이후의 IR 스캐너(1520-2)는 증강 현실 장치(100)에 설치된 동일한 IR 스캐너이다.
또한, 도 10에서는, 설명의 편의상, 지지부(190)가 틀어지기 전의 IR 스캐너(1520-1)를 이용하여 눈의 특징점을 식별하기 위하여 하나의 제3 광 어레이(90)가 이용되고, 증강 현실 장치(1000)의 지지부(190)가 틀어진 이후의 IR 스캐너(1520-2)를 이용하여 눈의 특징점을 식별하기 위하여 하나의 제2 광 어레이(92)가 이용되는 것으로 설명되었지만, 이에 제한되지 않는다. 지지부(190)가 틀어지기 전의 IR 스캐너(1520-1)를 이용하여 눈의 특징점을 식별하기 위하여, 사용자의 눈을 커버하기 위한 복수의 광 어레이들이 이용되고, 지지부(190)가 틀어진 이후의 IR 스캐너(1520-2)를 이용하여 눈의 특징점을 식별하기 위하여 사용자의 눈을 커버하기 위한 복수의 광 어레이들이 이용될 수 있다.
도 11은 본 개시의 일 실시예에 따른 안구의 중심을 산출하고 사용자의 응시점을 산출하기 위해 증강 현실 장치에 의해 이용되는 함수들의 예시를 나타내는 도면이다.
수식(11)은, IR 카메라의 좌표계에서의 눈의 동공의 중심의 좌표 값(12) 및 안구의 중심을 나타내는 현실 공간의 좌표 값(13) 간의 관계를 나타낸다. 일 실시예에서, IR 카메라의 좌표계의 좌표 값은 2D 좌표 값을 가지며, 현실 공간의 좌표 값은 2D 좌표 값 또는 3D 좌표 값을 가질 수 있다.
예를 들어, 안구의 중심을 나타내는 좌표 값(13)에 카메라 회전 매트릭스(20, camera rotation matrix)와 스케일 팩터(scale factor)를 곱하고 이미지의 틀어짐(bias in image)을 나타내는 값을 더하면, 눈의 동공의 중심의 좌표 값(12)이 산출될 수 있다. 카메라 회전 매트릭스는 카메라의 배치 위치를 고려하여 현실 공간의 좌표 값을 카메라 좌표계의 좌표 값으로 변환하는 매트릭스이며, 안구의 중심을 나타내는 좌표 값(13)에 카메라 회전 매트릭스(20)를 곱함으로써 안구의 중심을 나타내는 좌표 값(13)이 IR 카메라의 좌표계의 좌표 값으로 변환되며, 변환된 좌표 값에 스케일 팩터를 곱함으로써 변환된 좌표 값의 크기가 정규화될 수 있다. 또한, 정규화된 좌표 값에 이미지의 틀어짐을 나타내는 값을 더함으로써, 정규화된 2D 좌표 값이 이미지의 틀어짐을 반영하여 수정되어 눈의 동공의 중심의 좌표 값(12)이 산출될 수 있다. 또한, 이미지의 틀어짐을 나타내는 값은 IR 카메라에 의해 촬영된 이미지에서 눈의 위치를 기준 위치에 배치하기 위하여 이용될 수 있다. 예를 들어, 이미지의 틀어짐을 나타내는 값은 IR 카메라에 의해 촬영된 이미지의 중심점과 촬영된 이미지 내의 눈의 중심점 간의 차이에 기초하여, 촬영된 이미지의 눈의 중심점을 촬영된 이미지의 중심점으로 이동시키기 위한 값일 수 있다.
일 실시예에서, 카메라 회전 매트릭스(20), 스케일 팩터 및 이미지의 틀어짐을 나타내는 값은, 예를 들어, IR LED의 배치 위치, IR 카메라의 배치 위치, IR 카메라의 촬영 방향, IR 카메라의 화각, IR 카메라에 의해 촬영된 이미지, 사람의 눈에 관련된 정보(예를 들어, 안구 크기, 동공 크기 등), 및 기존에 촬영된 눈 이미지들 등을 고려하여 결정될 수 있으며, 증강 현실 장치(1000)의 제조 시에 증강 현실 장치(1000)에 미리 설정될 수 있다.
일 실시예에서, 증강 현실 장치(1000)는, 눈의 동공의 중심의 좌표 값(12)을 수식(11)에 입력함으로써, 안구의 중심을 나타내는 좌표 값(13)을 획득할 수 있다.
수식(15)는, 눈의 특징점들을 나타내는 값들(17)과 사용자의 응시점(16) 간의 관계를 나타낼 수 있다. 예를 들어, 눈의 특징점들을 나타내는 값들(17)에 보상 매트릭스(compensation matrix)(18)를 곱함으로써, 지지부(190)의 틀어짐을 반영하여 보정된 특징점들이 획득될 수 있다. 또한, 눈의 특징점들을 나타내는 값들(17)과 보상 매트릭스(compensation matrix)을 곱한 값을 매핑 함수 F에 입력함으로써 출력되는 값(19)은, 사용자의 응시점을 나타내는 좌표 값(16)일 수 있다. 보상 매트릭스는 지지부(190)의 틀어짐 정도를 보상하기 위한 매트릭스일 수 있다. 보상 매트릭스(18)는, 도 2의 증강 현실 장치(1000)의 지지부(190)가 틀어지지 않은 상태에서 IR 카메라로부터 촬영된 이미지들 및 증강 현실 장치(1000)의 지지부(190)가 틀어진 상태에서 IR 카메라로부터 촬영된 이미지들 간의 비교를 통하여 결정될 수 있으며, 증강 현실 장치(1000)의 제조 시에 보상 매트릭스(18)가 증강 현실 장치(1000)에 미리 설정될 수 있다. 예를 들어, 보상 매트릭스(18)는, 지지부(190)의 틀어짐 정도를 고려하여, 증강 현실 장치(1000)의 지지부(190)가 틀어진 상태에서 IR 카메라로부터 촬영된 이미지가, 지지부(190)가 틀어지지 않은 상태에서 IR 카메라로부터 촬영된 이미지로 변환될 수 있도록 결정될 수 있다. 하지만, 보상 매트릭스(18)가 결정되는 예시는 이에 제한되지 않는다.
예를 들어, 보상 매트릭스(18)는 지지부(190)가 틀어지지 않은 상태에서 IR 카메라로부터 촬영된 이미지들로부터 획득되는 정보 및 증강 현실 장치(1000)의 지지부(190)가 틀어진 상태에서 IR 카메라로부터 촬영된 이미지들로부터 획득되는 정보 간의 비교를 통하여 결정될 수 있다. 이미지로부터 획득되는 데이터는, 예를 들어, 이미지의 크기, 이미지 내의 눈의 위치, 이미지 내의 동공의 위치, 이미지 내의 패턴의 위치 등을 포함할 수 있으나, 이에 제안되지 않는다.
또는, 예를 들어, 보상 매트릭스(18)는 지지부(190)가 틀어지지 않은 상태에서 IR 카메라로부터 촬영된 이미지들을, 증강 현실 장치(1000)의 지지부(190)가 틀어진 상태에서 IR 카메라로부터 촬영된 이미지들로부터 획득되는 정보와 비교함으로써 결정될 수 있다. 또는, 예를 들어, 보상 매트릭스(18)는 지지부(190)가 틀어지지 않은 상태에서 IR 카메라로부터 촬영된 이미지들로부터 획득되는 정보를, 증강 현실 장치(1000)의 지지부(190)가 틀어진 상태에서 IR 카메라로부터 촬영된 이미지들과 비교함으로써 결정될 수 있다.
또한, 매핑 함수 F는 눈의 특징점들로부터 사용자의 응시점을 산출하기 위한 함수로서, 보상 매트릭스 및 눈의 특징점들로부터 사용자의 응시점이 산출되도록 결정될 수 있으며, 증강 현실 장치(1000)의 제조 시에 증강 현실 장치(1000)에 미리 설정될 수 있다.
증강 현실 장치(1000)는, 수식(15)을 이용하여, 눈의 특징점들의 위치로부터 사용자의 응시점을 나타내는 좌표 값(16)을 획득할 수 있다.
도 12는 본 개시의 일 실시예에 따른 도 2 및 도 3의 증강 현실 장치가 사용자의 시선을 검출하는 방법의 흐름도이다.
동작 S1200에서 증강 현실 장치(1000)는 증강 현실 장치의 프레임(110)으로부터 연장된 지지부(190)에 설치된 광 방출부(1510)를 통하여 광 반사부(1400)를 향하여 IR 광을 방출할 수 있다. 증강 현실 장치(1000)는 광 반사부(1400)에 의해 반사된 IR 광이 사용자의 눈을 커버할 수 있도록, 광 반사부(1400)의 적어도 일부 영역을 향하여 IR 광을 방출할 수 있다.
예를 들어, 광 수신부(1520)가 IR 카메라인 경우에 광 방출부(1510)는 IR LED일 수 있으며, 증강 현실 장치(1000)는, IR 카메라가 사용자의 눈을 촬영할 수 있도록 하기 위하여, IR LED로부터 방출된 IR 광이 광 반사부(1400)에 의해 반사되어 사용자의 눈을 커버하도록 IR LED를 제어할 수 있다. 또는, 예를 들어, 광 수신부(1520)가 IR 디텍터인 경우에 광 방출부(1510)는 IR 스캐너일 수 있으며, 증강 현실 장치(1000)는, IR 디텍터가 사용자의 눈을 검출할 수 있도록 하기 위하여, IR 스캐너로부터 방출된 IR 광이 광 반사부(1400)에 의해 반사되어 사용자의 눈을 스캐닝하도록 IR 스캐너를 제어할 수 있다.
동작 S1205에서 증강 현실 장치(1000)는, 증강 현실 장치(1000)의 프레임(110)으로부터 연장된 지지부(190)에 설치된 광 수신부(1520)를 통하여, 사용자의 눈에 의해 반사된 IR 광이 광 반사부(1400)에 의해 다시 반사된 IR 광을 수신할 수 있다.
예를 들어, 광 방출부(1510)가 IR LED인 경우에 광 수신부(1520)는 IR 카메라일 수 있으며, 증강 현실 장치(1000)는, IR 카메라가 사용자의 눈으로부터 광 반사부(1400)에 의해 반사된 광을 통해 사용자의 눈을 촬영하도록 IR 카메라를 제어할 수 있다. 또는, 예를 들어, 광 방출부(1510)가 IR 스캐너인 경우에 광 수신부(1520)는 IR 디텍터일 수 있으며, 증강 현실 장치(1000)는, IR 디텍터가 사용자의 눈을 검출할 수 있도록 하기 위하여, 사용자의 눈에 의해 반사된 IR 광이 광 반사부(1400)에 의해 다시 반사된 IR 광을 검출하도록 IR 디텍터를 제어할 수 있다.
동작 S1210에서 증강 현실 장치(1000)는, 수신된 IR 광에 기초하여, 사용자의 눈의 시선에 관련된 기설정된 특징들을 검출할 수 있다. 예를 들어, 증강 현실 장치(1000)는, 사용자의 눈의 동공의 특징점(pupil feature point)의 위치 및 눈의 반짝임 특징점(glint feature point)의 위치를 검출할 수 있다. 동공의 특징점은, 예를 들어, 동공의 중심점일 수 있으며, 눈의 반짝임 특징점은 눈의 검출된 영역 중에서 소정 수치 이상의 밝기를 가지는 부분일 수 있다. 동공의 특징점의 위치 및 눈의 반짝임 특징점의 위치는, 예를 들어, 광 수신부(1520)의 좌표계에서 위치를 나타내는 좌표 값에 의해 식별될 수 있다. 예를 들어, 광 수신부(1520)의 좌표계는 IR 카메라의 좌표계 또는 IR 디텍터의 좌표계일 수 있으며, 광 수신부(1520)의 좌표계에서의 좌표 값은 2D 좌표 값일 수 있다.
증강 현실 장치(1000)는 광 수신부(1520)에 의해 수신된 광을 분석함으로써 눈의 시선에 관련된 기설정된 특징들을 검출할 수 있다. 예를 들어, 광 수신부(1520)가 IR 카메라인 경우에, 증강 현실 장치(1000)는 IR 카메라에 의해 촬영된 이미지에서 동공의 특징점의 위치 및 눈의 반짝임 특징점의 위치를 식별할 수 있다. 또는, 예를 들어, 광 수신부(1520)가 IR 디텍터인 경우에 증강 현실 장치(1000)는 IR 디텍터에 의해 검출된 IR 광을 분석함으로써, 동공의 특징점의 위치 및 눈의 반짝임 특징점의 위치를 식별할 수 있다.
또한, 증강 현실 장치(1000)는 광 수신부(1520)에 의해 수신된 광을 분석함으로써 동공의 특징점의 위치를 나타내는 좌표 값 및 눈의 반짝임 특징점의 위치를 나타내는 좌표 값을 획득할 수 있다. 예를 들어, 광 수신부(1520)가 IR 카메라인 경우에 증강 현실 장치(1000)는 IR 카메라의 좌표계에서, 동공의 특징점의 좌표 값 및 눈의 반짝임 특징점의 좌표 값을 획득할 수 있다. 예를 들어, 광 수신부(1520)가 IR 카메라인 경우에, 증강 현실 장치(1000)는 IR 카메라에 의해 촬영된 이미지에서 동공의 중심점의 위치를 식별할 수 있다. 예를 들어, 동공의 중심점의 위치는 IR 카메라의 좌표계에서의 좌표 값을 가질 수 있다.
예를 들어, 증강 현실 장치(1000)는 눈의 반짝임 특징 점을 식별하기 위하여, IR 카메라에 의해 촬영된 이미지에서 가장 밝은 점의 위치를 식별할 수 있다. 증강 현실 장치(1000)는 복수의 포토 다이오드를 포함하는 IR 카메라의 이미지 센서를 통해 수신되는 IR 광의 밝기를 식별하고, IR 카메라에 의해 촬영된 이미지의 픽셀들 중에서 소정 기준 이상의 밝은 IR 광에 대응되는 적어도 하나의 픽셀을 식별함으로써 눈의 반짝임 특징점의 위치를 식별할 수 있다. 예를 들어, 증강 현실 장치(1000)는 IR 카메라에 의해 촬영된 이미지의 픽셀들 중에서 가장 밝은 IR광에 대응되는 픽셀을 식별함으로써 눈의 반짝임 특징점의 위치를 식별할 수 있다. 예를 들어, 눈의 반짝임 특징점의 위치는, IR 카메라의 좌표계에서의 좌표 값을 가질 수 있다.
또는, 예를 들어, 광 수신부(1520)가 IR 디텍터인 경우에 증강 현실 장치(1000)는 IR 디텍터의 좌표계에서 동공의 특징점의 좌표 값 및 눈의 반짝임 특징점의 좌표 값을 산출할 수 있다.
광 방출부(1510)가 IR 스캐너인 경우에, 증강 현실 장치(1000)는 IR 스캐너를 제어함으로써 사용자의 눈이 위치한 영역을 스캔하기 위하여 점 광원 또는 선 광원을 사용자의 눈이 위치한 영역을 커버하도록 순차적으로 조사하고, 사용자의 눈으로부터 반사된 광을 IR 디텍터를 통하여 순차적으로 수신할 수 있다. 또한, 증강 현실 장치(1000)는 IR 디텍터를 통하여 순차적으로 수신된 광의 어레이를 분석함으로써 동공의 특징점 및 눈의 반짝임 특징점을 식별할 수 있다. 예를 들어, 증강 현실 장치(1000)는 수신된 광 어레이에서 소정 수치 이상의 밝기를 가지는 광을 식별함으로써, 눈의 반짝임 특징점의 좌표를 식별할 수 있다. 예를 들어, 눈의 반짝임 특징점의 위치는, IR 디텍터의 좌표계에서의 좌표 값을 가질 수 있다.
동작 S1215에서 증강 현실 장치(1000)는, 수신된 IR 광에 기초하여, 광 반사부(1400)의 패턴을 검출할 수 있다. 광 반사부(1400)는 소정의 패턴을 가지도록 증강 현실 장치(1000)의 도광판(170)의 내측면에 코팅될 수 있다. 증강 현실 장치(1000)는 사용자의 눈에 의해 반사되고 광 반사부(1400)에 의해 반사된 IR 광을 광 수신부(1520)를 통하여 수신하고, 수신된 IR 광에 기초하여 패턴의 형태를 식별할 수 있다. 광 반사부(1400)에 형성된 패턴은, 예를 들어, 점 패턴, 선 패턴, 격자 패턴, 2D 마커 등을 포함할 수 있으나, 이에 제한되지 않는다. 만약, 템플(191)이 프레임(110)에 대하여 틀어진 경우에, 패턴 검출 코드(1740)에 의해 식별된 패턴은 변형된 형태를 가질 수 있다.
예를 들어, 광 수신부(1520)가 IR 카메라인 경우에, IR 카메라는 광 반사부(1400)에 의해 반사된 IR 광에 기초하여 사용자의 눈을 촬영할 수 있으며, 증강 현실 장치(1000)는 사용자의 눈이 촬영된 이미지로부터 이미지 내의 패턴을 식별할 수 있다. 예를 들어, 광 수신부(1520)가 IR 디텍터인 경우에, IR 디텍터는 광 반사부(1400)에 의해 반사된 IR 광을 순차적으로 수신할 수 있으며, 증강 현실 장치(1000)는 순차적으로 수신되는 IR 광의 어레이에서 광 반사부(1400)의 패턴에 관련된 부분을 식별할 수 있다.
동작 S1220에서, 증강 현실 장치(1000)는 증강 현실 장치(1000)의 지지부(190)가 프레임(110)에 대하여 틀어진 정도를 판단할 수 있다. 지지부(190)가 프레임(110)에 대하여 틀어진 이후에 IR광이 수신되면, 증강 현실 장치(1000)는 수신된 IR 광으로부터 변형된 형태를 가지는 패턴을 식별할 수 있다. 또한, 증강 현실 장치(1000)는 예를 들어, 도 8a 및 도 8b에서와 같이, 변형된 형태를 가지는 패턴을 변형되지 않은 패턴과 비교함으로써, 지지부(190)의 틀어짐 정도를 추정할 수 있다. 예를 들어, 템플(191)의 틀어짐 정도는 프레임(110)에 대한 템플(191)의 디폴트 각과 프레임(110)에 대한 틀어진 템플(191)의 각과의 차이를 나타내는 틀어짐 각도로 표현될 수 있으나, 이에 제한되지 않는다. 또한, 예를 들어, 코 지지부(192)의 틀어짐 정도는 프레임(110)에 대한 코 지지부(192)의 디폴트 각과 프레임(110)에 대한 틀어진 코 지지부(192)의 각과의 차이를 나타내는 틀어짐 각도로 표현될 수 있으나, 이에 제한되지 않는다.
예를 들어, 광 수신부(1520)가 IR 디텍터인 경우 동공의 특징점의 좌표 값 및 눈의 반짝임 특징점의 좌표 값은, 증강 현실 장치(1000)의 지지부(190)의 틀어짐 정도를 반영하여 보정된 값일 수 있다. 광 수신부(1520)가 IR 디텍터인 경우, 예를 들어, 도 10의 광 어레이(102)에서 눈의 특징점에 대응되는 IR 광들(102-1)에 대응되는 좌표값들(102-2)을 산출함에 있어서, 지지부(190)의 틀어짐 정도를 반영할 수 있다. 예를 들어, 증강 현실 장치(1000)는, IR 디텍터에 의해 수신된 광 어레이(102) 내의 광들 중에서 눈의 특징점에 대응되는 광들(102-1)의 광 어레이(102) 내의 위치들을, 지지부(190)의 틀어짐 정도를 반영하여 보정할 수 있다. 증강 현실 장치(1000)는 눈의 특징점에 대응되는 광들(102-1)의 광 어레이(102) 내의 보정된 위치들에 기초하여, IR 디텍터의 좌표계에서의 눈의 특징점에 대응되는 좌표값들(102-2)을 바로 산출할 수 있다. 이 경우, 증강 현실 장치(1000)는 증강 현실 장치(1000)의 템플(191)의 틀어짐 정도 및/또는 코 지지부(192)의 틀어짐 정도를 반영하여 보정된 동공의 특징점의 좌표 값 및 눈의 반짝임 특징점의 좌표 값을 산출할 수 있으며, 보정된 좌표 값들이 매핑 함수에 입력될 수 있다.
동작 S1225에서, 증강 현실 장치(1000)는 광 반사부(1400)로부터 반사된 IR 광에 기초하여, 사용자의 눈의 동공의 위치를 식별할 수 있다. 예를 들어, 광 수신부(1520)가 IR 카메라인 경우, 증강 현실 장치(1000)는 IR 카메라에 의해 촬영된 이미지로부터, 이미지 내의 사용자의 눈의 동공의 위치를 식별할 수 있다. 또는, 예를 들어, 광 수신부(1520)가 IR 디텍터인 경우, 증강 현실 장치(1000)는 IR 디텍터에 의해 순차적으로 획득되는 IR 광을 분석함으로써, 사용자의 눈의 동공의 위치를 산출할 수 있다. 증강 현실 장치(1000)는 사용자의 눈의 동공의 중심점을 식별함으로써, 사용자의 눈의 동공의 위치를 식별할 수 있다.
동작 S1230에서 증강 현실 장치(1000)는 사용자의 시선 방향을 획득할 수 있다. 증강 현실 장치(1000)는 사용자의 눈의 중심의 위치를 산출할 수 있다. 사용자의 눈의 중심은 사용자의 안구의 중심일 수 있다. 증강 현실 장치(1000)는, 사용자의 눈의 동공의 위치 및 지지부(190)의 틀어짐 정도에 기초하여, 사용자의 눈의 중심의 위치를 산출할 수 있다. 예를 들어, 지지부(190)가 틀어진 정도를 보정하기 위한 매트릭스와 눈의 중심의 위치를 나타내는 값 및 눈이 촬영된 이미지의 축의 바이어스(bias)에 기초하여 산출되는 값이, 사용자의 눈의 동공의 위치 값이 되도록, 사용자의 눈의 중심의 위치가 산출될 수 있다. 예를 들어, 눈의 중심은 안구의 중심일 수 있으며, 눈의 중심의 위치는 현실 공간의 좌표계에서 3D 좌표 값을 가질 수 있다.
증강 현실 장치(1000)는, 사용자의 응시점의 위치를 산출할 수 있다. 증강 현실 장치(1000)는, 사용자의 응시점의 위치를 산출하기 위하여, 사용자의 눈의 특징들로부터 응시점의 위치를 산출하기 위한 매핑 함수를 미리 생성할 수 있다. 매핑 함수는 사용자의 눈의 특징들 및 지지부(190)의 틀어짐 정보를 고려하여 사용자의 응시점의 위치를 산출하기 위한 함수이며, 캘리브레이션 코드(1780)의 캘리브레이션 과정에서 생성될 수 있다. 예를 들어, 응시점의 위치는 현실 공간의 좌표계에서의 3D 좌표 값을 가질 수 있으나, 이에 제한되지 않는다. 예를 들어, 응시점의 위치는 도광판(170)의 좌표계에서의 좌표 값을 가질 수도 있으나, 이에 제한되지 않는다.
증강 현실 장치(1000)는, 사용자의 눈의 시선에 관련된 특징들을, 틀어짐 판단 코드(1750)로부터 획득된 틀어짐 정도에 기초하여 보정할 수 있다. 또한, 증강 현실 장치(1000)는, 틀어짐 정도에 기초하여 보정된, 사용자의 눈의 시선에 관련된 특징들을 매핑 함수에 적용함으로써, 사용자의 응시점의 위치를 산출할 수 있다. 또한, 시선 판단 코드(1770)에 의해 산출된 눈의 중심점의 위치 및 사용자의 응시점에 기초하여 사용자의 시선 방향이 결정될 수 있다.
한편, 증강 현실 장치(1000)는 지지부(190)의 틀어짐 각도에 기초하여 매핑 함수를 캘리브레이션할 수 있다. 증강 현실 장치(1000)는 디폴트 틀어짐 각도 및 눈의 특징들에 기초하여, 사용자의 응시점을 획득하기 위한 매핑 함수를 캘리브레이션할 수 있다.
예를 들어, 광 수신부(1520)가 IR 카메라인 경우에, 증강 현실 장치(1000)는 캘리브레이션을 위한 타겟 지점을 도광판(170) 상에 표시하고, 타겟 지점을 바라보는 사용자의 눈을 IR 카메라를 이용하여 촬영할 수 있다. 또한, 프로세서(1800)는 사용자의 눈이 촬영된 이미지 내의 패턴을 식별하고, 식별된 패턴을 분석함으로써 지지부(190)의 틀어짐 각도를 획득할 수 있다. 또한, 증강 현실 장치(1000)는 사용자의 눈이 촬영된 이미지로부터 사용자의 눈에 관련된 특징점들의 위치를 검출하고, 사용자의 눈의 특징점들의 위치 및 지지부(190)의 틀어짐 각도를 매핑 함수에 입력할 수 있다. 증강 현실 장치(1000)는 사용자의 눈의 특징점들의 위치 및 지지부(190)의 틀어짐 각도가 입력된 매핑 함수로부터 타겟 지점의 위치 값이 출력될 수 있도록 매핑 함수를 캘리브레이션할 수 있다.
예를 들어, 광 수신부(1520)가 IR 디텍터인 경우에, 증강 현실 장치(1000)는 캘리브레이션을 위한 타겟 지점을 도광판(170) 상에 표시하고, IR 스캐너를 제어함으로써 타겟 지점을 바라보는 사용자의 눈을 스캐닝하기 위한 IR 광을 방출할 수 있다. 또한, 증강 현실 장치(1000)는 IR 디텍터를 통하여 사용자의 눈으로부터 반사된 IR 광을 수신하고, IR 광을 분석함으로써 광 반사부(1400)의 패턴을 식별하고, 템플(191)의 틀어짐 각도를 추정할 수 있다. 증강 현실 장치(1000)는 템플(191)의 틀어짐 각도에 기초하여 IR 광을 분석함으로써, 눈의 보정된 특징점들의 위치를 식별할 수 있다. 예를 들어, 증강 현실 장치(1000)가 IR 스캐너 및 IR 디텍터를 이용하여 눈의 특징점들의 위치를 추정하는 경우에, 눈의 특징점들의 위치의 추정 결과는 IR 스캐너의 동작 각도에 영향을 받으므로, 스캐너 동작 각도에서 지지부(190)의 틀어짐 각도를 뺀 값을 이용하여 연산하면, 눈의 특징점들의 위치가 지지부(190)의 틀어짐에 기초하여 보정될 수 있다.
또한, 증강 현실 장치(1000)는 눈의 보정된 특징점들의 위치를 매핑 함수에 입력하고, 눈의 보정된 특징점들의 위치가 입력된 매핑 함수로부터 타겟 지점의 위치 값이 출력될 수 있도록 매핑 함수를 캘리브레이션할 수 있다.
본 개시의 일 실시예는 컴퓨터에 의해 실행되는 프로그램 모듈과 같은 컴퓨터에 의해 실행가능한 명령어를 포함하는 기록 매체의 형태로도 구현될 수 있다. 일 실시예에 따르면, 컴퓨터 판독 가능한 명령어들은 컴퓨터에 의해 실행 가능한 프로그램 모듈들인 컴퓨터 코드일 수 있다. 컴퓨터 판독 가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함한다. 또한, 컴퓨터 판독가능 매체는 컴퓨터 저장 매체 및 통신 매체를 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 코드, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함한다. 통신 매체는 전형적으로 컴퓨터 판독가능 명령어, 데이터 구조, 또는 프로그램 모듈과 같은 변조된 데이터 신호의 기타 데이터를 포함할 수 있다.
또한, 컴퓨터에 의해 읽을 수 있는 저장매체는, 비일시적(non-transitory) 저장매체의 형태로 제공될 수 있다. 여기서, ‘비일시적 저장매체'는 실재(tangible)하는 장치이고, 신호(signal)(예: 전자기파)를 포함하지 않는다는 것을 의미할 뿐이며, 이 용어는 데이터가 저장매체에 반영구적으로 저장되는 경우와 임시적으로 저장되는 경우를 구분하지 않는다. 예로, '비일시적 저장매체'는 데이터가 임시적으로 저장되는 버퍼를 포함할 수 있다.
일 실시예에 따르면, 본 문서에 개시된 다양한 실시예들에 따른 방법은 컴퓨터 프로그램 제품(computer program product)에 포함되어 제공될 수 있다. 컴퓨터 프로그램 제품은 상품으로서 판매자 및 구매자 간에 거래될 수 있다. 컴퓨터 프로그램 제품은 기기로 읽을 수 있는 저장 매체(예: compact disc read only memory (CD-ROM))의 형태로 배포되거나, 또는 어플리케이션 스토어(예: 플레이 스토어TM)를 통해 또는 두개의 사용자 장치들(예: 스마트폰들) 간에 직접, 온라인으로 배포(예: 다운로드 또는 업로드)될 수 있다. 온라인 배포의 경우에, 컴퓨터 프로그램 제품(예: 다운로더블 앱(downloadable app))의 적어도 일부는 제조사의 서버, 어플리케이션 스토어의 서버, 또는 중계 서버의 메모리와 같은 기기로 읽을 수 있는 저장 매체에 적어도 일시 저장되거나, 임시적으로 생성될 수 있다.
또한, 본 명세서에서, "부"는 프로세서 또는 회로와 같은 하드웨어 구성(hardware component), 및/또는 프로세서와 같은 하드웨어 구성에 의해 실행되는 소프트웨어 구성(software component)일 수 있다.
또한, 본 명세서에서, "a, b 또는 c 중 적어도 하나를 포함한다"는 "a만 포함하거나, b만 포함하거나, c만 포함하거나, a 및 b를 포함하거나, b 및 c를 포함하거나, a 및 c를 포함하거나, a, b 및 c를 모두 포함하는 것을 의미할 수 있다.
전술한 본 개시의 설명은 예시를 위한 것이며, 본 개시가 속하는 기술분야의 통상의 지식을 가진 자는 본 개시의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.
본 개시의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 개시의 범위에 포함되는 것으로 해석되어야 한다.

Claims (15)

  1. 증강 현실 장치에 있어서,
    도광판;
    패턴을 포함하는 광 반사부;
    상기 증강 현실 장치를 상기 증강 현실 장치 사용자의 얼굴에 고정하기 위한 지지부;
    상기 지지부에 설치되는 광 방출부 및 광 수신부; 및
    상기 광 반사부를 향해 광을 방출하도록 상기 광 방출부를 제어하고, 상기 광 수신부에 의해 수신된 광에 기초하여 상기 패턴을 식별하고, 상기 식별된 패턴에 기초하여 상기 증강 현실 장치 사용자의 시선 정보를 획득하는 적어도 하나의 프로세서;
    를 포함하고,
    상기 광 반사부를 향해 방출된 광은 상기 광 반사부에 의해 반사되어 상기 사용자의 눈을 향하고,
    상기 광 수신부에 의해 수신된 광은 상기 사용자의 눈을 향한 광이 상기 사용자의 눈에 의해 반사된 광을 포함하는, 증강 현실 장치.
  2. 제1 항에 있어서,
    상기 지지부는,
    상기 도광판 주변의 프레임으로부터 연장되어 상기 사용자의 귀에 배치되는 템플; 및
    상기 프레임으로부터 연장되어 상기 사용자의 코에 배치되는 코 지지부;
    를 포함하는 것인, 증강 현실 장치.
  3. 제2 항에 있어서,
    상기 광 반사부는 상기 도광판 상에 형성되는 것인, 증강 현실 장치.
  4. 제3 항에 있어서,
    상기 적어도 하나의 프로세서는,
    상기 식별된 패턴을 분석함으로써, 상기 프레임으로부터 연장된 상기 지지부의 상기 프레임에 대한 틀어짐 정도를 식별하는 것인, 증강 현실 장치.
  5. 제3 항에 있어서,
    상기 적어도 하나의 프로세서는,
    상기 지지부의 상기 프레임에 대한 틀어짐에 기초하여 상기 사용자의 응시점의 위치를 산출하기 위한 매핑 함수를 생성하고,
    상기 매핑 함수 및 상기 지지부에 대한 틀어짐 정도에 기초하여, 상기 사용자의 시선 정보를 획득하는 것인, 증강 현실 장치.
  6. 제5 항에 있어서,
    상기 적어도 하나의 프로세서는,
    상기 광 수신부에 의해 수신된 광에 기초하여, 상기 사용자의 눈에 대응되는 하나 또는 그 이상의 특징점들의 위치를 획득하는 것인, 증강 현실 장치.
  7. 제6 항에 있어서,
    상기 적어도 하나의 프로세서는,
    상기 사용자의 눈에 대응되는 하나 또는 그 이상의 특징점들의 위치 및 상기 지지부에 대한 틀어짐 정도를 상기 매핑 함수에 입력함으로써, 상기 사용자의 응시점의 위치를 산출하는 것인, 증강 현실 장치.
  8. 제5 항에 있어서,
    상기 적어도 하나의 프로세서는 상기 매핑 함수를 캘리브레이션하기 위하여, 상기 도광판 상의 특정 위치에 타겟 지점을 표시하고,
    상기 표시된 타겟 지점을 바라보는 상기 사용자의 눈에 의해 반사된 광을 상기 광 수신부를 통하여 수신하고,
    상기 표시된 타겟 지점을 바라보는 상기 사용자의 눈에 의해 반사된 광에 기초하여, 상기 매핑 함수를 캘리브레이션하는 것인, 증강 현실 장치.
  9. 제8 항에 있어서,
    상기 적어도 하나의 프로세서는, 상기 매핑 함수의 캘리브레이션을 위하여,
    상기 표시된 타겟 지점을 바라보는 상기 사용자의 눈에 의해 반사된 광에 기초하여, 상기 광 반사부의 패턴을 식별하고,
    상기 식별된 패턴에 기초하여, 상기 지지부의 틀어짐 정도를 식별하고,
    상기 표시된 타겟 지점을 바라보는 상기 사용자의 눈에 의해 반사된 광에 기초하여, 상기 표시된 타겟 지점을 바라보는 사용자의 눈에 대응되는 하나 또는 그 이상의 특징점들의 위치를 획득하는 것인, 증강 현실 장치.
  10. 제9 항에 있어서,
    상기 적어도 하나의 프로세서는,
    상기 템플의 틀어짐 정도 및 상기 하나 또는 그 이상의 특징점들의 위치를 상기 매핑 함수에 입력하고,
    상기 매핑 함수로부터 상기 타겟 지점의 위치 값이 출력되도록 상기 매핑 함수를 캘리브레이션하는 것인, 증강 현실 장치.
  11. 증강 현실 장치가 사용자의 시선을 검출하는 방법에 있어서,
    상기 증강 현실 장치의 지지부에 설치되는 광 방출부로 패턴을 포함하는 광 반사부를 향하여 광을 방출하며, 상기 광은 상기 광 반사부에 의해 반사되어 상기 증강 현실 장치를 착용한 상기 사용자의 눈을 향하는 것인, 단계;
    상기 사용자의 눈에 의해 반사된 광을 상기 지지부에 설치되는 광 수신부로 수신하는 단계; 및
    상기 광 수신부를 통하여 수신된 광에 기초하여, 상기 패턴을 식별하는 단계;
    상기 식별된 패턴에 기초하여 상기 사용자의 시선 정보를 획득하는 단계;
    를 포함하는, 방법.
  12. 제11 항에 있어서,
    상기 식별된 패턴을 분석함으로써, 상기 식별된 패턴에 기초하여 상기 지지부의 상기 프레임에 대한 틀어짐 정도를 식별하는 단계;
    을 더 포함하며,
    상기 지지부는 상기 프레임으로부터 연장되고,
    상기 시선 정보를 획득하는 단계는, 상기 지지부의 상기 프레임에 대한 틀어짐 정도에 기초하여 상기 사용자의 시선 방향을 결정하는 것인, 방법.
  13. 제12 항에 있어서,
    상기 지지부의 상기 프레임에 대한 틀어짐에 기초하여 상기 사용자의 응시점의 위치를 산출하기 위한 매핑 함수를 생성하는 단계;
    를 더 포함하며,
    상기 시선 정보를 획득하는 단계는, 상기 매핑 함수 및 상기 지지부에 대한 틀어짐 정도에 기초하여, 상기 사용자의 응시점의 위치를 산출하는 단계를 포함하는 것인, 증강 현실 장치.
  14. 제12 항에 있어서,
    상기 광 수신부를 통하여 수신된 광에 기초하여, 상기 사용자의 눈에 대응되는 하나 또는 그 이상의 특징점들의 위치를 획득하는 단계;
    를 더 포함하며,
    상기 시선 정보를 획득하는 단계는, 상기 사용자의 눈에 대응되는 하나 또는 그 이상의 특징점들의 위치 및 상기 지지부에 대한 틀어짐 정도를 상기 매핑 함수에 입력함으로써, 상기 사용자의 응시점의 위치를 산출하는 단계를 포함하는 것인, 증강 현실 장치.
  15. 제11 항의 방법을 컴퓨터에서 실행하기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
PCT/KR2022/000682 2021-01-21 2022-01-13 사용자의 시선을 검출하는 증강 현실 장치 및 방법 WO2022158795A1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
EP22742771.3A EP4220275A4 (en) 2021-01-21 2022-01-13 AUGMENTED REALITY DEVICE AND METHOD FOR DETECTING A USER'S GAZE
CN202280007181.3A CN116830014A (zh) 2021-01-21 2022-01-13 用于检测用户凝视的增强现实设备和方法
US17/581,485 US20220229490A1 (en) 2021-01-21 2022-01-21 Augmented reality device and method for detecting user's gaze

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
KR20210008942 2021-01-21
KR10-2021-0008942 2021-01-21
KR1020210084155A KR20220106011A (ko) 2021-01-21 2021-06-28 사용자의 시선을 검출하는 증강 현실 장치 및 방법
KR10-2021-0084155 2021-06-28
KR1020210128345A KR20220106023A (ko) 2021-01-21 2021-09-28 사용자의 시선을 검출하는 증강 현실 장치 및 방법
KR10-2021-0128345 2021-09-28

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US17/581,485 Continuation US20220229490A1 (en) 2021-01-21 2022-01-21 Augmented reality device and method for detecting user's gaze

Publications (1)

Publication Number Publication Date
WO2022158795A1 true WO2022158795A1 (ko) 2022-07-28

Family

ID=82549789

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2022/000682 WO2022158795A1 (ko) 2021-01-21 2022-01-13 사용자의 시선을 검출하는 증강 현실 장치 및 방법

Country Status (1)

Country Link
WO (1) WO2022158795A1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160057888A (ko) * 2014-11-14 2016-05-24 삼성전자주식회사 전자 장치 및 전자 장치에서의 시선 판단 방법
US20160166146A1 (en) * 2014-12-11 2016-06-16 Icspi Corp. Eye-Tracking System and Method Therefor
KR20180064413A (ko) * 2015-11-02 2018-06-14 아큘러스 브이알, 엘엘씨 구조화 광을 사용한 안구 추적
KR20200080226A (ko) * 2017-09-28 2020-07-06 애플 인크. 이벤트 카메라 데이터를 사용한 눈 추적을 위한 방법 및 디바이스
KR20210004776A (ko) * 2019-07-04 2021-01-13 삼성전자주식회사 증강 현실을 디스플레이하는 장치 및 방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160057888A (ko) * 2014-11-14 2016-05-24 삼성전자주식회사 전자 장치 및 전자 장치에서의 시선 판단 방법
US20160166146A1 (en) * 2014-12-11 2016-06-16 Icspi Corp. Eye-Tracking System and Method Therefor
KR20180064413A (ko) * 2015-11-02 2018-06-14 아큘러스 브이알, 엘엘씨 구조화 광을 사용한 안구 추적
KR20200080226A (ko) * 2017-09-28 2020-07-06 애플 인크. 이벤트 카메라 데이터를 사용한 눈 추적을 위한 방법 및 디바이스
KR20210004776A (ko) * 2019-07-04 2021-01-13 삼성전자주식회사 증강 현실을 디스플레이하는 장치 및 방법

Similar Documents

Publication Publication Date Title
WO2020209491A1 (en) Head-mounted display device and operating method of the same
WO2021002641A1 (en) Electronic device and method for displaying augmented reality
EP3818431A1 (en) Augmented reality device for adjusting focus region according to direction of user's view and operating method of the same
WO2022139375A1 (en) Augmented reality device and operating method thereof
WO2021246777A1 (en) Device and method for displaying augmented reality
WO2016017966A1 (en) Method of displaying image via head mounted display device and head mounted display device therefor
EP3914959A1 (en) Electronic device and method for displaying augmented reality
EP3717992A1 (en) Device for providing augmented reality service, and method of operating the same
WO2020040367A1 (ko) 웨어러블 장치 및 그 제어 방법
WO2022010152A1 (ko) 사용자의 시력을 교정하고 캘리브레이션을 수행하는 디바이스 및 방법
WO2021246758A1 (ko) 전자 장치 및 그 동작 방법
WO2022215895A1 (ko) 복수의 카메라를 포함하는 웨어러블 전자 장치
WO2022158795A1 (ko) 사용자의 시선을 검출하는 증강 현실 장치 및 방법
WO2021230559A1 (ko) 전자 장치 및 그 동작 방법
US20220229490A1 (en) Augmented reality device and method for detecting user's gaze
WO2020159077A1 (ko) 동공 중심간 거리를 측정하는 장치 및 방법
US11983315B2 (en) Augmented reality device and method for detecting gaze of user
WO2021242008A1 (en) Electronic device and operating method thereof
WO2024111804A1 (ko) 증강 현실에서 이미지 획득 장치 및 방법
WO2023128358A1 (ko) 안구 모델에 기초하여 센싱 범위를 결정하는 시선 추적 방법, 장치 및 시선 추적 센서
WO2023014185A1 (ko) 사용자의 시선을 검출하는 증강 현실 장치 및 방법
WO2023038243A1 (ko) 전자 장치 및 그 동작 방법
WO2023282524A1 (ko) 시력 측정 및 시력 교정을 제공하는 증강 현실 장치 및 방법
WO2022211391A1 (ko) 전자 장치 및 그 동작 방법
JP6314339B2 (ja) 眼鏡型表示装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22742771

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 202280007181.3

Country of ref document: CN

ENP Entry into the national phase

Ref document number: 2022742771

Country of ref document: EP

Effective date: 20230424

NENP Non-entry into the national phase

Ref country code: DE