WO2022055204A1 - 증강 현실 장치 및 그 제어 방법 - Google Patents

증강 현실 장치 및 그 제어 방법 Download PDF

Info

Publication number
WO2022055204A1
WO2022055204A1 PCT/KR2021/012052 KR2021012052W WO2022055204A1 WO 2022055204 A1 WO2022055204 A1 WO 2022055204A1 KR 2021012052 W KR2021012052 W KR 2021012052W WO 2022055204 A1 WO2022055204 A1 WO 2022055204A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
camera
augmented reality
light source
light
Prior art date
Application number
PCT/KR2021/012052
Other languages
English (en)
French (fr)
Inventor
정재윤
김석열
김기표
김송현
신승학
정해경
Original Assignee
삼성전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자 주식회사 filed Critical 삼성전자 주식회사
Priority to US17/438,246 priority Critical patent/US11899213B2/en
Publication of WO2022055204A1 publication Critical patent/WO2022055204A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/586—Depth or shape recovery from multiple images from multiple light sources, e.g. photometric stereo
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/254—Image signal generators using stereoscopic image cameras in combination with electromagnetic radiation sources for illuminating objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/667—Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/74—Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10141—Special mode during image acquisition
    • G06T2207/10152—Varying illumination
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose

Definitions

  • It relates to an augmented reality device and a method for controlling the same.
  • Augmented reality is a technology that projects a virtual image together on a physical environment space of the real world or a real world object and displays it as a single image.
  • the augmented reality device enables a user to view a real scene and a virtual image together through a see-through display that is placed in front of the user while wearing a head mounted device or glasses.
  • spatial augmentation technology in which a 3D-based interaction element is added to a technology field such as augmented reality is being studied.
  • the core of spatial augmentation technology is 3D spatial recognition.
  • three-dimensionalized reality elements have three-dimensional position information in space and can interact with virtual objects.
  • An object is to provide an augmented reality apparatus for estimating depth information and posture information based on images obtained according to the flickering of a light source of an illuminator, and a method for controlling the same.
  • An augmented reality device includes: a light source; camera; a memory that stores one or more instructions; and executing the one or more commands to turn on the light source to obtain a first image from the camera, to turn off the light source to obtain a second image from the camera, and to estimate depth information based on the first image and a processor for estimating posture information based on the second image.
  • a method of controlling an augmented reality device includes: obtaining a first image from a camera by turning on a light source; obtaining a second image from the camera by turning off the light source; estimating depth information based on the first image; and estimating posture information based on the second image.
  • a computer-readable recording medium recording a program for execution by a computer includes: instructions for obtaining a first image from a camera by turning on a light source; instructions for obtaining a second image from the camera by turning off the light source; instructions for estimating depth information based on the first image; and instructions for estimating posture information based on the second image.
  • FIG. 1 is a diagram illustrating an operation of an augmented reality device as a light source of an illuminator flickers according to exemplary embodiments of the present disclosure.
  • FIG. 2 is a diagram for explaining the configuration and operation of an augmented reality device according to an exemplary embodiment of the present disclosure.
  • 3 to 6 are diagrams illustrating examples of a method of acquiring a first image and a second image as a light source of an illuminator flickers in an augmented reality device according to an exemplary embodiment of the present disclosure.
  • FIG. 7 is a diagram illustrating an example of estimating depth information using a ToF method and estimating posture information by applying a mono slam when the augmented reality device includes a mono camera according to an exemplary embodiment of the present disclosure.
  • FIG. 8 is a diagram illustrating an example of estimating depth information using a ToF method and estimating posture information by applying a stereo slam when the augmented reality device includes a stereo camera according to an exemplary embodiment of the present disclosure.
  • FIG. 9 is a diagram illustrating an example of estimating depth information using a stereo vision method and estimating posture information by applying a stereo slam when the augmented reality device includes a stereo camera according to an exemplary embodiment of the present disclosure.
  • FIG. 10 is a flowchart illustrating a method of controlling an augmented reality device according to an exemplary embodiment of the present disclosure.
  • FIG. 11 is a diagram for describing an example of an augmented reality apparatus according to exemplary embodiments of the present disclosure.
  • FIG. 12 is a diagram for describing another example of an augmented reality apparatus according to exemplary embodiments of the present disclosure.
  • FIG. 13 is a flowchart illustrating another example of a method for controlling an augmented reality device according to an exemplary embodiment of the present disclosure.
  • the expression “at least one of a, b or c” means “a”, “b”, “c”, “a and b”, “a and c”, “b and c”, “a, b” and c all", or variations thereof.
  • Embodiments of the present disclosure relate to an augmented reality apparatus and a control method thereof, and detailed descriptions of matters widely known to those of ordinary skill in the art to which the following embodiments belong will be omitted.
  • AR Augmented Reality
  • 'augmented reality means showing a virtual image together in a physical environment space of the real world or showing a real object and a virtual image together.
  • 'Augmented Reality Device' refers to a device capable of expressing 'Augmented Reality', generally in the shape of glasses worn by a user on the head or face part.
  • the augmented reality glasses device of the head mounted display device HMD: Head Mounted Display Apparatus
  • the augmented reality helmet Augmented Reality Helmet
  • a 'real scene' is a scene of the real world that a user sees through the augmented reality device, and may include real world object(s).
  • a 'virtual image' is an image generated through an optical engine and may include both a static image and a dynamic image. Such a virtual image is observed together with a real scene, and may be an image representing information about a real object in the real scene, information about an operation of an augmented reality device, or a control menu.
  • a general augmented reality device uses an optical engine for generating a virtual image composed of light generated from a light source, and a transparent material to guide the virtual image generated by the optical engine to the user's eyes and view the scene in the real world together.
  • a formed light guide plate (Waveguide) is provided.
  • an optical element for changing the path of light having a basic straightness (Optical element) is required.
  • the optical path may be changed by using reflection by a mirror or the like, or the optical path may be changed through diffraction by a diffractive element such as a diffractive optical element (DOE) or a holographic optical element (HOE), but is not limited thereto.
  • DOE diffractive optical element
  • HOE holographic optical element
  • FIG. 1 is a diagram illustrating an operation of an augmented reality apparatus 1000 as a light source of an illuminator 1300 flickers according to exemplary embodiments of the present disclosure.
  • the augmented reality apparatus 1000 may obtain depth information about a space by using the camera 1400 to recognize a 3D space.
  • a passive sensor or an active sensor may be used.
  • a passive sensor refers to a stereo camera, mono camera, infrared sensor, pan/tilt camera, etc. that operate without emitting light sources or pulses to the subject. It refers to a device that obtains information by inputting it.
  • the active sensor refers to a device that includes a source, emits light, illumination, or pulses to a subject, and receives information reflected from the subject. Unlike the passive sensor, the active sensor may include its own light source, actively emitting light to the subject, and measuring backscatter reflected from the subject to the active sensor.
  • the active sensor may be a Time of Flight (ToF) sensor that uses a phase difference or time difference between light returning after emitting a laser or infrared rays to a subject.
  • the active sensor may be a structured light sensor that emits light having a specific pattern and calculates a distance based on the size or shape of an image formed on a subject.
  • the active sensor may be an invertible light sensor, a laser sensor, a microwave sensor, or the like.
  • depth information may be estimated through feature point matching based on data about a space acquired through the passive sensor.
  • an active sensor that actively emits light to a subject is used according to a depth information acquisition method using an active sensor, depth information can be estimated even for an area lacking feature points.
  • the active sensor may estimate depth information by irradiating uniform high-frequency modulated infrared rays to a subject and then detecting a time difference or phase difference that is reflected and returned.
  • the active sensor may estimate depth information by projecting light having a specific pattern onto a subject, matching enhanced feature points according to a pattern formed by a light source, or measuring the shape or size of the pattern itself.
  • both a sensor for acquiring depth information and a sensor for acquiring posture information should be provided.
  • mounting various types of sensors in the augmented reality device 1000 may reduce the size, weight, and production cost of the augmented reality device 1000 . It is not advisable when considering
  • the camera 1400 of the augmented reality apparatus 1000 operates as an active sensor or a passive sensor according to the flickering of the light source of the illuminator 1300 to estimate depth information and posture information.
  • the camera 1400 of the augmented reality device 1000 is a stereo camera, and the augmented reality device 1000 is an augmented reality glasses device in the form of glasses. It is not limited to the exemplary embodiment shown in FIG. 1 . 1, the camera 1400 of the augmented reality device 1000 is positioned at a position where the spectacle frame supporting each lens unit and the temples for mounting the augmented reality device 1000 on the user's face contact each other. Also, the illuminator 1300 may be mounted in a built-in form in a bridge frame connecting the left eye lens unit and the right eye lens unit. However, the present disclosure is not limited to the configuration shown in FIG. 1 . According to another embodiment, the camera 1400 and the lighting unit 1300 may be provided at different positions of the augmented reality apparatus 1000 .
  • the light source of the illuminator 1300 of the augmented reality apparatus 1000 flickers.
  • the light emitted from the light source of the illuminator 1300 may be projected onto a space corresponding to a predetermined area in the entire space.
  • the augmented reality apparatus 1000 may acquire a first image and a second image, respectively.
  • the augmented reality device 1000 turns on the light source of the illuminator 1300 to obtain a first image from the camera 1400, and turns off the light source of the illuminator 1300 to obtain a second image from the camera 1400 can
  • the first image may include a light pattern projected onto the subject by the light source of the illuminator 1300
  • the second image may not include the light pattern.
  • the augmented reality apparatus 1000 may estimate depth information based on the first image in which the feature point is augmented, and estimate posture information based on the second image.
  • the augmented reality apparatus 1000 according to an exemplary embodiment of the present disclosure will be described in more detail with reference to the drawings.
  • FIG. 2 is a diagram for explaining the configuration and operation of the augmented reality apparatus 1000 according to an exemplary embodiment of the present disclosure.
  • the augmented reality apparatus 1000 may include a memory 1100 , a processor 1200 , an illuminator 1300 , and a camera 1400 .
  • a memory 1100 may be further included.
  • the memory 1100 may store instructions executable by the processor 1200 .
  • the memory 1100 may store a program including one or more instructions.
  • a program may be a set of instructions or code executable by the processor 1200 .
  • the memory 1100 may include, for example, RAM (Random Access Memory), SRAM (Static Random Access Memory), ROM (Read-Only Memory), flash memory, EEPROM (Electrically Erasable Programmable Read-Memory). Only memory), a programmable read-only memory (PROM), a magnetic memory, a magnetic disk, and an optical disk may include at least one type of hardware device.
  • the memory 1100 may store at least one software module including instructions. Each software module is executed by the processor 1200 to cause the augmented reality apparatus 1000 to perform a predetermined operation or function. For example, as shown in FIG. 2 , a synchronizer module, a depth estimation module, and a posture estimation module may be executed by the processor 1200 . However, the present disclosure is not limited thereto, and may further include other software modules.
  • the processor 1200 may control an operation or function performed by the augmented reality apparatus 1000 by executing instructions stored in the memory 1100 or a programmed software module.
  • the processor 1200 may be configured as a hardware component that performs arithmetic, logic, input/output operations and signal processing.
  • the processor 1200 is, for example, a central processing unit (Central Processing Unit), a microprocessor (microprocessor), a graphic processor (Graphic Processing Unit), ASICs (Application Specific Integrated Circuits), DSPs (Digital Signal Processors), DSPDs (Digital Signal Processing Devices), PLDs (Programmable Logic Devices), and FPGAs (Field Programmable Gate Arrays) may be configured of at least one hardware, but is not limited thereto.
  • a central processing unit Central Processing Unit
  • microprocessor microprocessor
  • a graphic processor Graphic Processing Unit
  • ASICs Application Specific Integrated Circuits
  • DSPs Digital Signal Processors
  • DSPDs Digital Signal Processing Devices
  • PLDs Programmable Logic Devices
  • FPGAs Field Programmable Gate Arrays
  • the illuminator 1300 may include a light source, and may radiate uniform high-frequency modulated infrared rays to the subject or may project light having a specific pattern onto the subject.
  • the light source may be a Light Emitting Diode (LED), a laser diode, or a Vertical Cavity Surface Emitting Laser (VCSEL).
  • the illuminator 1300 may further include a collimating lens or a diffractive optical element, and may be configured to precisely control a field of view (FOV) and an optical path.
  • FOV field of view
  • the camera 1400 may include an image sensor that can operate as either an active sensor or a passive sensor. That is, an active sensor for estimating depth information and a passive sensor for estimating posture information may be unified into one camera 1400 .
  • the camera 1400 of the augmented reality device 1000 includes an image sensor that can operate both as an active sensor or a passive sensor, compared to a ToF sensor as an active sensor and an RGB camera as a passive sensor. ) can reduce the size and volume of the augmented reality apparatus 1000, and can also lower the weight, so that the size and weight of the augmented reality apparatus 1000 can be reduced.
  • the camera 1400 may further include a lens module including lenses, an auto focus (AF) actuator, and an image signal processor.
  • the lens module has a structure in which a plurality of lenses are disposed in the barrel, and may allow light incident from the outside to pass through the disposed lenses.
  • the AF actuator may move the lenses to an optimal focus position in order to obtain a clear image.
  • the image signal processor may convert the electrical signal converted by the image sensor into an image signal.
  • the camera 1400 may not include an infrared cut-off filter to operate as an active sensor.
  • the infrared cut-off filter may be removed from the camera 1400 so that infrared components can also be detected.
  • the processor 1200 executes one or more instructions stored in the memory 1100 to turn on the light source of the illuminator 1300 to obtain a first image from the camera 1400, and turn off the light source to turn off the camera
  • a second image may be obtained from 1400
  • depth information may be estimated based on the first image
  • posture information may be estimated based on the second image.
  • the processor 1200 loads and executes the synchronizer module, the posture estimation module, and the depth estimation module stored in the memory 1100 , thereby controlling the illuminator 1300 and the camera 1400 to obtain a first image and a second image Based on , depth information and posture information may be acquired.
  • the processor 1200 may use the camera 1400 as an active sensor or a passive sensor according to the flickering of the light source of the illuminator 1300 by executing one or more instructions stored in the memory 1100 .
  • the processor 1200 may alternately acquire the first image and the second image from the camera 1400 according to the flickering of the light source of the illuminator 1300 .
  • the processor 1200 executes one or more instructions stored in the memory 1100, so that the length of the lighting section and the light off section of the light source of the illuminator 1300, the exposure time of the camera 1400, the frame rate of the first image ( frame rate) and the frame rate of the second image can be adjusted.
  • the processor 1200 makes the length of the lighting section of the light source of the illuminator 1300 equal to the length of the light-off section, and makes the exposure time of the camera 1400 the same in each of the lighting section and the light-off section to make the first An image and a second image may be acquired.
  • the processor 1200 makes the length of the lighting section of the light source of the illuminator 1300 the same as the length of the light-off section, and varies the exposure time of the camera 1400 in each of the lighting section and the light-off section to make the first An image and a second image may be acquired.
  • the processor 1200 sets the length of the light-on section and the light-off section of the light source of the illuminator 1300 differently, and sets the frame rate of the first image and the frame rate of the second image differently. Thus, the first image and the second image may be obtained.
  • the processor 1200 sets the length of the light-on section and the light-off section of the light source of the illuminator 1300 to be different, and the frame rate of the first image and the frame rate of the second image are the same to obtain a first image and a second image.
  • an idle mode may be placed before and after the shooting mode in which the camera 1400 acquires the second image in the light-off section.
  • the augmented reality apparatus 1000 may employ various types of cameras 1400 and light sources to estimate depth information and posture information.
  • the camera 1400 of the augmented reality apparatus 1000 is a mono camera
  • the processor 1200 estimates depth information using a Time of Flight (ToF) method for the first image
  • the camera 1400 for the second image is mono
  • Posture information can be estimated by applying SLAM (Simultaneous Localization and Mapping).
  • SLAM Simultaneous Localization and Mapping
  • SLAM Simultaneous Localization and Mapping
  • the mono slam is a type of visual SLAM that estimates its position or posture through an image obtained by sensing the surroundings using the camera 1400 .
  • the camera 1400 of the augmented reality apparatus 1000 includes a first stereo camera and a second stereo camera, and the processor 1200 performs a depth-of-flight method with respect to at least one of the plurality of first images.
  • Posture information may be estimated by estimating information and applying stereo slam to the plurality of second images.
  • the stereo slam is a type of visual SLAM that estimates its position or posture through a plurality of images acquired by sensing the surroundings using the camera 1400 .
  • the illuminator 1300 of the augmented reality device 1000 includes a light source for projecting light having a specific pattern onto a subject
  • the camera 1400 includes a first stereo camera and a second stereo camera
  • the processor 1200 may estimate depth information using a stereo vision method for a plurality of first images, and estimate posture information by applying a stereo slam to a plurality of second images.
  • 3 to 6 are diagrams illustrating an example of a method of acquiring a first image and a second image as the light source of the illuminator 1300 flickers in the augmented reality apparatus 1000 according to an exemplary embodiment of the present disclosure.
  • the augmented reality apparatus 1000 temporally intersects a first process of acquiring a first image in a period in which the light source of the illuminator 1300 is turned on and a second process of acquiring a second image in a period in which the light source of the illuminator 1300 is turned off. It can be processed in a time-division manner.
  • the augmented reality apparatus 1000 may temporally separate the first process and the second process to process different processes in parallel for each time. As the computational processing speed increases according to the development of computing technology, the processing according to the time division method can have the same effect as different processes are simultaneously processed.
  • the augmented reality apparatus 1000 includes a length of a lighting section and a light-off section of the light source of the illuminator 1300 , an exposure time of the camera 1400 , and a frame rate of the first image. ) and the frame rate of the second image may be adjusted to obtain the first image and the second image.
  • the first image and the second image are obtained by making the length of the lighting section of the light source of the illuminator 1300 equal to the length of the light-off section and the exposure time of the camera 1400 being the same.
  • the length of the lighting section of the light source of the illuminator 1300 and the length of the light off section of the light source may be the same.
  • the exposure time of the camera 1400 may be the same during the light-on section and the light-off section of the light source. Referring to the example shown in FIG.
  • the augmented reality device 1000 sets the length of the lighting section of the light source and the length of the light-off section to 1/60s, respectively, and exposure of the camera 1400 in each of the lighting section and the light-off section.
  • the time can also be made equal to 1/60s.
  • the augmented reality apparatus 1000 acquires a first image including a light pattern projected onto a subject by the light source in a lighting period of the light source, and obtains a second image that does not include a light pattern in a light source period in which the light source is turned off can do.
  • the frame rate of the first image and the frame rate of the second image are the same.
  • the lighting period and the light off period are periodic, it is not limited thereto. As described above, according to another exemplary embodiment of the present invention, the lighting period and the light off period are aperiodic.
  • the first image and the second image are obtained by making the length of the lighting section of the light source of the illuminator 1300 equal to the length of the light-off section and the exposure time of the camera 1400 being different.
  • the length of the light-on section of the light source of the illuminator 1300 and the length of the light-off section of the light source may be the same.
  • the exposure times of the camera 1400 may be different from each other during the light-on section and the light-off section of the light source.
  • the exposure time of the camera 1400 during the lighting period and the extinction period of the light source may be different from the lighting period and the extinction period of the light source. Referring to the example shown in FIG.
  • the augmented reality apparatus 1000 may make the length of the light-on section and the light-off section of the light source equal to 1/30s, respectively.
  • the exposure time of the camera 1400 in the light-on section may be 1/30s, and the exposure time of the camera 1400 in the light-off section may be different to 1/60s.
  • the augmented reality apparatus 1000 acquires a first image including a light pattern projected onto the subject by the light source in a lighting section of the light source, and obtains a second image that does not include a light pattern in some sections of a light source turning off section image can be obtained.
  • the remaining sections of the light source turn off section may be in the idle mode in which no image is acquired.
  • the frame rate of the first image and the frame rate of the second image are the same.
  • the length of the lighting section and the light off section of the light source of the illuminator 1300 are different, and the frame rate of the first image and the frame rate of the second image are different, so that the first image and the A second image may be obtained.
  • the length of the lighting section of the light source is 1/60s
  • the length of the light-off section is 1/20s
  • the frame rate of the second image is set to the first It can be twice as high as the frame rate of the image.
  • the first image may be acquired once during the lighting period of the light source, and the second image may be acquired twice during the turning off period of the light source.
  • the augmented reality apparatus 1000 acquires a first image including a light pattern projected onto the subject by the light source in the lighting section of the light source, and divides the light source In the third section, second images that do not include a light pattern may be acquired, respectively.
  • the second section may be an idle mode.
  • the exposure time of the camera 1400 for one frame of the first image and one frame of the second image is equal to 1/60s.
  • the length of the light-on section and the light-off section of the light source of the illuminator 1300 are different, and the frame rate of the first image and the frame rate of the second image are the same, so that the first image and a second image may be obtained.
  • the first image may be acquired once during the lighting-on period of the light source, and the second image may be acquired once during the turning-off period of the light source.
  • the idle mode may be placed before and after the photographing mode in which the camera 1400 acquires the second image in the light-off section. Referring to the example shown in FIG.
  • the length of the lighting section of the light source is 1/60s and the length of the light-off section is 1/20s, and the frame rate of the first image and the first The frame rate of the image can be the same. Accordingly, the augmented reality apparatus 1000 acquires a first image including a light pattern projected on a subject by the light source in the lighting section of the light source, and in the second section of the section in which the light source is turned off section is divided into three parts. A second image that does not include a light pattern may be acquired. Among the sections in which the light-off section is divided into three parts, the first section and the third section may be in the idle mode.
  • the exposure time of the camera 1400 for one frame of the first image and one frame of the second image is equal to 1/60s.
  • FIGS. 3 to 6 show exemplary embodiments for the length of the on and off sections of the light source of the illuminator 1300, the exposure time of the camera 1400, and the frame rate of the first image and the second image
  • the frame rate of the image may be appropriately set in consideration of power consumption reduction, device protection, conditions required for depth estimation, and the like.
  • FIG. 7 is a diagram illustrating a method for estimating depth information using a Time of Flight (ToF) method and estimating posture information by applying a mono slam when the augmented reality apparatus 1000 according to an exemplary embodiment of the present disclosure includes a mono camera. It is a drawing showing an example.
  • ToF Time of Flight
  • the processor 1200 loads and executes the synchronizer module, the depth estimation module, and the posture estimation module stored in the memory 1100 , thereby controlling the illuminator 1300 and the camera 1400 to obtain a first image and a second image Based on , depth information and posture information may be estimated.
  • the processor 1200 may execute the synchronizer module to control turning on and off of the light source of the illuminator 1300 based on the clock signal.
  • the light source of the illuminator 1300 may radiate uniform high-frequency modulated infrared rays to the subject.
  • the processor 1200 may execute the synchronizer module to acquire a first image from the camera 1400 in a period in which the light source is turned on, and a second image in a period in which the light source is turned off, from the camera 1400 based on the clock signal.
  • the processor 1200 may execute the synchronizer module to transmit the obtained first image to the depth estimation module and transmit the obtained second image to the posture estimation module.
  • the processor 1200 may execute the depth estimation module to estimate depth information with respect to the first image in the ToF method.
  • the ToF method is the indirect ToF method that calculates the distance based on the phase difference of the received light returning after irradiating light of a continuous wavelength to the subject, or the direct ToF method of calculating the distance based on the time difference returning after irradiating the light of the short wavelength type can be
  • the processor 1200 may execute the posture estimation module to estimate the posture information by applying a mono slam to the second image.
  • the processor 1200 may use the second image obtained by sensing the surroundings using the camera 1400 to recognize the position of the camera 1400 and at the same time generate a three-dimensional map of space to estimate the posture.
  • the processor 1200 may estimate the posture of the augmented reality apparatus 1000 by using the plurality of second images obtained by sensing the surroundings of the camera 1400 . That is, the processor 1200 may detect the position of the camera 1400 using the plurality of second images and simultaneously generate a 3D map of the space.
  • the processor 1200 may perform image preprocessing on the first image and the second image obtained from the camera 1400 based on whether the images are used for depth estimation or posture estimation.
  • the processor 1200 performs an image preprocessing operation of suppressing a short wavelength band (eg, a G channel or a B channel) on a first image used for depth estimation, and a long wavelength band with respect to a second image used for posture estimation You can perform image preprocessing that suppresses (e.g., the R channel).
  • FIG 8 is a diagram illustrating an example of estimating depth information using a ToF method and estimating posture information by applying a stereo slam when the augmented reality apparatus 1000 includes a stereo camera according to an exemplary embodiment of the present disclosure .
  • the processor 1200 loads and executes the synchronizer module, the depth estimation module, and the posture estimation module stored in the memory 1100 , so that the illuminator 1300 , the first camera 1400-1, and the second camera 1400-2 are executed. ), depth information and posture information may be estimated based on the first image and the second image obtained by controlling the .
  • the processor 1200 may execute the synchronizer module to control turning on and off of the light source of the illuminator 1300 based on the clock signal.
  • the light source of the illuminator 1300 may radiate uniform high-frequency modulated infrared rays to the subject.
  • the processor 1200 executes the synchronizer module to obtain a plurality of first images from the first camera 1400-1 and the second camera 1400-2 in the lighting period of the light source based on the clock signal, , a plurality of second images may be acquired in a period in which the light source is turned off.
  • the processor 1200 may execute the synchronizer module to transmit the obtained first images to the depth estimation module and transmit the obtained second images to the posture estimation module.
  • the processor 1200 may execute the depth estimation module to estimate depth information with respect to at least one of the plurality of first images in the ToF method.
  • the processor 1200 may execute the posture estimation module to estimate posture information by applying a stereo slam to the plurality of second images.
  • the processor 1200 uses the plurality of second images obtained by sensing the surroundings using the first camera 1400-1 and the second camera 1400-2, and the first camera 1400-1 and the second camera 1400-2. 2 It is possible to estimate the posture by recognizing the reference position of the camera 1400 - 2 and generating a three-dimensional map of the space at the same time.
  • FIG. 9 is a diagram illustrating an example of estimating depth information using a stereo vision method and estimating posture information by applying a stereo slam when the augmented reality apparatus 1000 includes a stereo camera according to an exemplary embodiment of the present disclosure; am.
  • the processor 1200 loads and executes the synchronizer module, the depth estimation module, and the posture estimation module stored in the memory 1100 , so that the illuminator 1300 , the first camera 1400-1, and the second camera 1400-2 are executed. ), depth information and posture information may be estimated based on the first image and the second image obtained by controlling the .
  • the processor 1200 may execute the synchronizer module to control turning on and off of the light source of the illuminator 1300 based on the clock signal.
  • the light source of the illuminator 1300 may project light having a specific pattern onto the subject.
  • the processor 1200 executes the synchronizer module to obtain a plurality of first images from the first camera 1400-1 and the second camera 1400-2 in the lighting period of the light source based on the clock signal, , a plurality of second images may be acquired in a period in which the light source is turned off.
  • the processor 1200 may execute the synchronizer module to transmit the obtained first images to the depth estimation module and transmit the obtained second images to the posture estimation module.
  • the processor 1200 may execute the depth estimation module to estimate depth information with respect to the plurality of first images in a stereo vision method. Since light of a specific pattern is projected onto the subject from the light source of the illuminator 1300 , the feature point of the first image including the projected light pattern is enhanced, which may be advantageous for feature point matching for performing stereo vision.
  • the processor 1200 may execute the posture estimation module to estimate posture information by applying a stereo slam to the plurality of second images.
  • FIG. 10 is a flowchart illustrating a control method of the augmented reality apparatus 1000 according to an exemplary embodiment of the present disclosure.
  • the contents described above with respect to the augmented reality apparatus 1000 may be directly applied to the control method of the augmented reality apparatus 1000 hereinafter.
  • the augmented reality apparatus 1000 may acquire a first image from the camera 1400 by turning on the light source of the illuminator 1300 .
  • the camera 1400 may operate as an active sensor as the light source of the illuminator 1300 is turned on.
  • the light source of the illuminator 1300 may irradiate uniform high-frequency modulated infrared rays to the subject or may project light having a specific pattern onto the subject according to the type of depth information estimation method.
  • the augmented reality apparatus 1000 may obtain a second image from the camera 1400 by turning off the light source of the illuminator 1300 .
  • the camera 1400 may operate as a passive sensor as the light source of the illuminator 1300 is turned off.
  • the augmented reality apparatus 1000 may use the camera 1400 as an active sensor or a passive sensor according to the flickering of the light source of the illuminator 1300 .
  • the camera 1400 is used as an active sensor for a period in which the light source of the illuminator 1300 is on, and the camera 1400 is the light source of the illuminator 1300 .
  • the first image and the second image may be alternately acquired according to the flickering of the light source of the illuminator 1300 .
  • Acquiring the first image in a period in which the light source of the illuminator 1300 is turned on and acquiring the second image in a period in which the light source of the illuminator 1300 is turned off may be processed in a time-division manner in which they intersect temporally.
  • the augmented reality apparatus 1000 may estimate depth information based on the first image.
  • the augmented reality apparatus 1000 may estimate depth information with respect to at least one first image using a ToF method or a stereo vision method.
  • the augmented reality apparatus 1000 may estimate depth information with respect to the first image in a ToF method.
  • the augmented reality apparatus 1000 estimates depth information using a ToF method for at least one of a plurality of first images, or a plurality of first images
  • Depth information may be estimated using a stereo vision method.
  • the augmented reality apparatus 1000 may estimate posture information based on the second image.
  • the augmented reality apparatus 1000 may estimate the posture information by applying a mono slam or a stereo slam to the at least one second image.
  • the augmented reality apparatus 1000 may estimate posture information by applying a mono slam to the second image.
  • the augmented reality apparatus 1000 may estimate posture information by applying a stereo slam to the plurality of second images.
  • FIG. 11 is a diagram for explaining an example of the augmented reality apparatus 1000 according to exemplary embodiments of the present disclosure.
  • the augmented reality apparatus 1000 includes a communication interface 1500 , a display 1600 , and a display in addition to the memory 1100 , the processor 1200 , the illuminator 1300 , and the camera 1400 described in FIG. 2 .
  • the engine 1700 and the eye tracking sensor 1800 may be further included.
  • components such as a position sensor for detecting the position of the augmented reality apparatus 1000 or a power supply unit for supplying power to the augmented reality apparatus 1000 may be included, but a description thereof will be omitted.
  • the communication interface 1500 may perform wired/wireless communication with other devices or networks.
  • the communication interface 1500 may include electronic components and/or circuits supporting at least one of various wired/wireless communication methods.
  • the communication interface 1500 may include electronic components and/or circuits that perform short-range communication such as wireless fidelity (Wi-Fi) and Bluetooth, various types of mobile communication, or ultra-wideband communication.
  • the communication interface 1500 may be connected to a device located outside the augmented reality device 1000 and transmit an image acquired or generated by the augmented reality device 1000 to an external device.
  • the augmented reality apparatus 1000 may provide a virtual image through the display 1600 and the display engine 1700 .
  • the augmented reality apparatus 1000 may provide a pop-up of a virtual image through the display 1600 and the display engine 1700 .
  • a virtual image is an image generated through an optical engine and may include both a static image and a dynamic image. This virtual image is observed together with a scene of the real world that the user sees through the augmented reality device 1000 , and information about a real object in the scene of the real world or information about the operation of the augmented reality device 1000 , which is the augmented reality device It may be an image representing a control menu or the like.
  • the display engine 1700 may include an optical engine that generates and projects a virtual image, and a guide component or component that guides the light of the virtual image projected from the optical engine to the display 1600 .
  • the optical engine may include electronic components and/or circuits that generate and output a virtual image.
  • the display 1600 may include a see-through light guide plate (waveguide) embedded in the left eye lens unit and/or the right eye lens unit of the augmented reality apparatus 1000 .
  • the display 1600 may display information about an object, information about an operation of the augmented reality apparatus 1000, or a virtual image representing a control menu.
  • the user wearing the augmented reality device 1000 exposes the user's hand to the camera 1400 to manipulate the pop-up of the virtual image, and By allowing the exposed hand to select a function of the augmented reality apparatus 1000 , the corresponding function may be executed.
  • the gaze tracking sensor 1800 may detect gaze information such as a gaze direction toward which the user's eyes are directed, a pupil position of the user's eyes, or coordinates of a central point of the pupil.
  • the processor 1200 may determine an eye movement type based on the user's gaze information detected by the gaze tracking sensor 1800 . For example, based on the gaze information obtained from the gaze tracking sensor 1800, the processor 1200 may perform a fixation of gazing at a certain place, a pursuit of chasing a moving object, and a gaze from one gaze point to another.
  • Various types of gaze movements including a saccade in which the gaze rapidly moves to a point can be determined.
  • the processor 1200 of the augmented reality apparatus 1000 may determine the user's gaze point or the user's gaze movement using the gaze tracking sensor 1800 and use it to control the augmented reality apparatus 1000 .
  • the processor 1200 may acquire at least one image by controlling the direction of the illuminator 1300 or the camera 1400 according to the gaze point or gaze movement determined by the gaze tracking sensor 1800 . For example, after the user wears the augmented reality device 1000 to acquire an image in a first direction, the user controls the shooting direction of the camera 1400 according to the user's gaze point or movement of the gaze, thereby changing the image in the second direction. image can be obtained.
  • FIG. 12 is a diagram for explaining another example of the augmented reality apparatus 1000 according to exemplary embodiments of the present disclosure.
  • the augmented reality apparatus 1000 is a smart phone or a digital camera equipped with an augmented reality function.
  • the augmented reality apparatus 1000 may include a memory 1100 , a processor 1200 , an illuminator 1300 , a camera 1400 , a communication interface 1500 , and a display 1600 .
  • components such as a position sensor for detecting the position of the augmented reality apparatus 1000 or a power supply unit for supplying power to the augmented reality apparatus 1000 may be included. It will be omitted, and descriptions will be amplified with respect to components having differences.
  • the communication interface 1500 may be connected to a device located outside the augmented reality device 1000 in the form of a smart phone or a digital camera, and may transmit an image acquired or generated by the augmented reality device 1000 to an external device.
  • the display 1600 may include an output interface that provides information or an image, and may further include an input interface that receives an input.
  • the output interface may include a display panel and a controller for controlling the display panel, such as an organic light emitting diode (OLED) display, an active-matrix organic light-emitting diode (AM-OLED) display, a liquid crystal display (LCD), etc. It can be implemented in various ways.
  • the input interface may receive various types of inputs from the user, and may include at least one of a touch panel, a keypad, and a pen recognition panel.
  • the display 1600 may be provided in the form of a touch screen in which a display panel and a touch panel are combined, and may be implemented to be flexible or foldable.
  • FIG. 13 is a flowchart illustrating another example of a method for controlling the augmented reality apparatus 1000 according to an exemplary embodiment of the present disclosure.
  • the augmented reality apparatus 1000 may check an operation mode.
  • the operation mode may be determined according to a user input of the augmented reality apparatus 1000 , or may be determined according to a state or use environment of the augmented reality apparatus 1000 .
  • the user allows a predetermined operation mode to be performed with respect to the augmented reality apparatus 1000 by voice, or the user allows the user to perform a predetermined operation mode through an input interface such as a button or a touch screen provided in the augmented reality apparatus 1000 .
  • the operation mode of the augmented reality apparatus 1000 may be determined.
  • the operation mode of the augmented reality apparatus 1000 may be determined such that a predetermined operation mode may or may not be performed according to the charging state of the battery of the augmented reality apparatus 1000 .
  • a predetermined operation mode may be selectively determined from among a plurality of operation modes according to whether the environment of the space in which the augmented reality apparatus 1000 is located or the movement of the augmented reality apparatus 1000 continuously changes. there is.
  • the augmented reality apparatus 1000 may acquire a first image from the camera 1400 by turning on the light source of the illuminator 1300 .
  • the augmented reality apparatus 1000 may estimate depth information using a ToF method or a stereo vision method based on the first image.
  • the augmented reality apparatus 1000 may acquire a first image from the camera 1400 by turning on the light source of the illuminator 1300 .
  • the camera 1400 may operate as an active sensor as the light source of the illuminator 1300 is turned on.
  • the augmented reality apparatus 1000 may acquire the second image from the camera 1400 by turning off the light source of the illuminator 1300 .
  • the camera 1400 may operate as a passive sensor as the light source of the illuminator 1300 is turned off.
  • the augmented reality apparatus 1000 may estimate depth information using a ToF method or a stereo vision method based on the first image.
  • the augmented reality apparatus 1000 may estimate the posture information by applying a mono slam or a stereo slam based on the second image.
  • the augmented reality apparatus 1000 may obtain a second image from the camera 1400 by turning off the light source of the illuminator 1300 .
  • the augmented reality apparatus 1000 may estimate the posture information by applying a mono slam or a stereo slam based on the second image.
  • the operation mode of the augmented reality apparatus 1000 is not limited to the example illustrated in FIG. 13 . Some of the operation modes shown in FIG. 13 may be excluded or other operation modes may be further added, so that the augmented reality apparatus 1000 may be controlled according to the types of various operation modes.
  • the augmented reality apparatus 1000 described in the present disclosure may be implemented as a hardware component, a software component, and/or a combination of a hardware component and a software component.
  • the augmented reality device 1000 described in the disclosed exemplary embodiments may include a processor, an arithmetic logic unit (ALU), an application specific integrated circuits (ASICs), a digital signal processors (DSPs), and a digital signal processing devices (DSPDs). ), programmable logic devices (PLDs), microcomputers, microprocessors, or any other device capable of executing and responding to instructions, may be implemented using one or more general purpose or special purpose computers.
  • ALU arithmetic logic unit
  • ASICs application specific integrated circuits
  • DSPs digital signal processors
  • DSPDs digital signal processing devices
  • PLDs programmable logic devices
  • microcomputers microprocessors, or any other device capable of executing and responding to instructions, may be implemented using one or more general purpose or special purpose computers.
  • Software may comprise a computer program, code, instructions, or a combination of one or more thereof, which configures a processing device to operate as desired or is independently or collectively processed You can command the device.
  • the software may be implemented as a computer program including instructions stored in a computer-readable storage medium.
  • the computer-readable recording medium includes, for example, a magnetic storage medium (eg, read-only memory (ROM), random-access memory (RAM), floppy disk, hard disk, etc.) and an optically readable medium (eg, CD-ROM). (CD-ROM), DVD (Digital Versatile Disc), etc.
  • the computer-readable recording medium may be distributed among network-connected computer systems, so that the computer-readable code may be stored and executed in a distributed manner.
  • the medium may be readable by a computer, stored in a memory, and executed on a processor.
  • the computer may include the augmented reality device 1000 according to the disclosed exemplary embodiments as a device capable of calling a stored instruction from a storage medium and operating according to the called instruction according to the disclosed exemplary embodiment.
  • the computer-readable storage medium may be provided in the form of a non-transitory storage medium.
  • 'non-transitory' means that the storage medium does not include a signal and is tangible, and does not distinguish that data is semi-permanently or temporarily stored in the storage medium.
  • the method for controlling the augmented reality apparatus 1000 may be provided by being included in a computer program product.
  • Computer program products may be traded between sellers and buyers as commodities.
  • the computer program product may include a software program, a computer-readable storage medium in which the software program is stored.
  • the computer program product is a product (eg, a downloadable application) in the form of a software program distributed electronically through a manufacturer of the augmented reality device 1000 or an electronic market (eg, Google Play Store, App Store). (downloadable application)).
  • a product eg, a downloadable application
  • the storage medium may be a server of a manufacturer, a server of an electronic market, or a storage medium of a relay server temporarily storing a software program.
  • the computer program product in a system configured with a server and a terminal (eg, augmented reality device), may include a storage medium of the server or a storage medium of the terminal.
  • a third device eg, a smart phone
  • the computer program product may include a storage medium of the third device.
  • the computer program product may include the software program itself transmitted from the server to the terminal or third device, or transmitted from the third device to the terminal.
  • one of the server, the terminal, and the third device may execute the computer program product to perform the method according to the disclosed embodiments.
  • two or more of the server, the terminal, and the third device may execute the computer program product to distribute the method according to the disclosed embodiments.
  • a server eg, a cloud server or an artificial intelligence server
  • the third device may execute a computer program product to control the terminal communicatively connected to the third device to perform the method according to the disclosed embodiment.
  • the third device may download the computer program product from the server and execute the downloaded computer program product.
  • the third device may execute the computer program product provided in a preloaded state to perform the method according to the disclosed embodiments.

Abstract

증강 현실 장치는 조명기, 카메라, 메모리, 및 프로세서를 포함하며, 프로세서는 메모리에 저장된 하나 이상의 명령어들을 실행함으로써, 조명기의 광원을 점등하여 카메라로부터 제1 이미지를 획득하고, 광원을 소등하여 카메라로부터 제2 이미지를 획득하며, 제1 이미지에 기초하여 뎁스 정보를 추정하고, 제2 이미지에 기초하여 자세 정보를 추정한다.

Description

증강 현실 장치 및 그 제어 방법
증강 현실 장치 및 그 제어 방법에 관한 것이다.
증강 현실(Augmented Reality)은 현실 세계의 물리적 환경 공간이나 현실 객체(real world object)에 함께 가상 이미지를 투영시켜 하나의 이미지로 보여주는 기술이다. 증강 현실 장치는 사용자가 헤드 마운트 장치나 안경을 착용한 상태에서 사용자의 눈앞에 배치되는, 시스루(see-through) 형태의 디스플레이를 통해 현실 장면과 가상 이미지를 함께 볼 수 있게 한다.
최근, 증강 현실과 같은 기술 분야에 3차원 기반의 상호작용 요소가 가미된 공간 증강 기술에 대해 연구되고 있다. 공간 증강 기술의 핵심은 3차원 공간 인식이다. 공간 증강 기술을 이용하면, 3차원화된 현실 요소들은 공간 내에서 3차원 위치 정보를 갖게 되고, 가상 객체와 상호작용할 수 있다.
조명기의 광원의 점멸에 따라 각각 획득된 이미지에 기초하여 뎁스 정보와 자세 정보를 추정하는 증강 현실 장치 및 그 제어 방법을 제공하는 것이다.
제1 측면에 따른 증강 현실 장치는, 광원; 카메라; 하나 이상의 명령어들을 저장하는 메모리; 및 상기 하나 이상의 명령어들을 실행하여, 상기 광원을 점등하여 상기 카메라로부터 제1 이미지를 획득하고, 상기 광원을 소등하여 상기 카메라로부터 제2 이미지를 획득하며, 상기 제1 이미지에 기초하여 뎁스 정보를 추정하고, 상기 제2 이미지에 기초하여 자세 정보를 추정하는 프로세서를 포함한다.
제2 측면에 따른 증강 현실 장치의 제어 방법은, 광원을 점등하여 카메라로부터 제1 이미지를 획득하는 단계; 상기 광원을 소등하여 상기 카메라로부터 제2 이미지를 획득하는 단계; 상기 제1 이미지에 기초하여 뎁스 정보를 추정하는 단계; 및 상기 제2 이미지에 기초하여 자세 정보를 추정하는 단계를 포함한다.
제3 측면에 따른 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체는, 광원을 점등하여 카메라로부터 제1 이미지를 획득하는 명령어들; 상기 광원을 소등하여 상기 카메라로부터 제2 이미지를 획득하는 명령어들; 상기 제1 이미지에 기초하여 뎁스 정보를 추정하는 명령어들; 및 상기 제2 이미지에 기초하여 자세 정보를 추정하는 명령어들을 포함한다.
도 1은 본 개시의 예시적인 실시예들에 따라 조명기의 광원이 점멸함에 따른 증강 현실 장치의 동작을 나타낸 도면이다.
도 2는 본 개시의 예시적인 실시예에 따른 증강 현실 장치의 구성 및 동작을 설명하기 위한 도면이다.
도 3 내지 도 6은 본 개시의 예시적인 실시예에 따른 증강 현실 장치에서 조명기의 광원이 점멸함에 따라 제1 이미지와 제2 이미지를 획득하는 방식의 예를 나타낸 도면이다.
도 7은 본 개시의 예시적인 실시예에 따른 증강 현실 장치가 모노 카메라를 포함하는 경우, ToF 방식으로 뎁스 정보를 추정하고, 모노 슬램을 적용하여 자세 정보를 추정하는 예를 나타낸 도면이다.
도 8은 본 개시의 예시적인 실시예에 따른 증강 현실 장치가 스테레오 카메라를 포함하는 경우, ToF 방식으로 뎁스 정보를 추정하고, 스테레오 슬램을 적용하여 자세 정보를 추정하는 예를 나타낸 도면이다.
도 9는 본 개시의 예시적인 실시예에 따른 증강 현실 장치가 스테레오 카메라를 포함하는 경우, 스테레오 비전 방식으로 뎁스 정보를 추정하고, 스테레오 슬램을 적용하여 자세 정보를 추정하는 예를 나타낸 도면이다.
도 10은 본 개시의 예시적인 실시예에 따른 증강 현실 장치의 제어 방법을 나타낸 흐름도이다.
도 11은 본 개시의 예시적인 실시예들에 따른 증강 현실 장치의 일 예를 설명하기 위한 도면이다.
도 12는 본 개시의 예시적인 실시예들에 따른 증강 현실 장치의 다른 예를 설명하기 위한 도면이다.
도 13은 본 개시의 예시적인 실시예에 따른 증강 현실 장치의 제어 방법의 다른 예를 나타낸 흐름도이다.
본 개시에서, "a, b 또는 c 중 적어도 하나" 표현은 " a", " b", " c", "a 및 b", "a 및 c", "b 및 c", "a, b 및 c 모두", 혹은 그 변형들을 지칭할 수 있다.
이하에서는 도면을 참조하여 본 개시의 실시예에 대하여 본 개시가 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 본 개시는 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시 예에 한정되지 않는다.
명세서 전체에서 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있음을 의미한다. 또한, 명세서에 기재된 "...부", "...모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다.
또한, 본 명세서에서 사용되는 '제 1' 또는 '제 2' 등과 같이 서수를 포함하는 용어는 다양한 구성 요소들을 설명하는데 사용할 수 있지만, 상기 구성 요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성 요소를 다른 구성 요소로부터 구별하는 목적으로만 사용된다.
본 개시의 실시예들은 증강 현실 장치 및 그 제어 방법에 관한 것으로서 이하의 실시예들이 속하는 기술 분야에서 통상의 지식을 가진 자에게 널리 알려져 있는 사항들에 관해서는 자세한 설명을 생략한다.
본 개시에서, '증강 현실(AR : Augmented Reality)'은 현실 세계의 물리적 환경 공간 내에 가상 이미지를 함께 보여주거나 현실 객체와 가상 이미지를 함께 보여주는 것을 의미한다.
아울러, '증강 현실 장치(Augmented Reality Device)'라 함은 '증강 현실(Augmented Reality)'을 표현할 수 있는 장치로서, 일반적으로 사용자가 두부(頭部)나 안면부(顔面部)에 착용하는 안경 형상의 증강 현실 안경 장치(Augmented Reality Glasses) 뿐만 아니라, 두부에 착용하는 헤드 마운트 디스플레이 장치(HMD : Head Mounted Display Apparatus)나, 증강 현실 헬멧(Augmented Reality Helmet) 등을 포괄한다.
한편, '현실 장면(real scene)'이란 사용자가 증강 현실 장치를 통해서 보는 현실 세계의 장면으로서, 현실 객체(real world object)(들)를(을) 포함할 수 있다. 또한, '가상 이미지(virtual image)'는 광학 엔진을 통해 생성되는 이미지로 정적 이미지와 동적 이미지를 모두 포함할 수 있다. 이러한 가상 이미지는 현실 장면과 함께 관측되며, 현실 장면 속의 현실 객체에 대한 정보 또는 증강 현실 장치의 동작에 대한 정보나 제어 메뉴 등을 나타내는 이미지일 수 있다.
따라서, 일반적인 증강 현실 장치는 광원에서 생성된 광으로 구성되는 가상 이미지를 생성하기 위한 광학 엔진과 광학 엔진에서 생성된 가상 이미지를 사용자의 눈까지 안내하고 현실 세계의 장면도 함께 볼 수 있도록 투명한 재질로 형성된 도광판(Waveguide)를 구비한다. 전술한 바와 같이, 증강 현실 장치는 현실 세계의 장면도 함께 관측할 수 있어야 하므로 광학 엔진에서 생성된 광을 도광판을 통해 사용자의 눈까지 안내하기 위해서는 기본적으로 직진성을 가지는 광의 경로를 변경하기 위한 광학 소자(Optical element)가 필요하다. 이 때, 미러 등에 의한 반사를 이용하여 광 경로를 변경할 수도 있고, DOE(Diffractive optical element), HOE(Holographic optical element) 등과 같은 회절 소자에 의한 회절을 통해 광 경로를 변경할 수도 있으나 이에 한정되는 것은 아니다.
도 1은 본 개시의 예시적인 실시예들에 따라 조명기(illuminator)(1300)의 광원이 점멸함에 따른 증강 현실 장치(1000)의 동작을 나타낸 도면이다.
증강 현실 장치(1000)는 3차원 공간을 인식하기 위해 카메라(1400)를 이용하여 공간에 대한 뎁스 정보를 획득할 수 있다. 공간에 대한 뎁스 정보를 획득하기 위하여, 패시브 센서 또는 액티브 센서가 이용될 수 있다. 패시브 센서는 피사체에 광원이나 펄스 등을 방출함이 없이 동작하는 스테레오 카메라, 모노 카메라, 적외선 센서, 팬/틸트 카메라 등을 말하며, 피사체에서 발생하는 열, 진동, 빛, 방사선 등의 현상을 감지하여 해당 정보를 입력으로써 획득하는 장치를 말한다. 액티브 센서는 소스(source)를 구비하여, 광이나 조명, 펄스 등을 피사체에 방출하고, 피사체로부터 반사되는 정보를 수신하는 장치를 말한다. 액티브 센서는 패시브 센서와 달리, 자체 광원을 구비하여, 능동적으로 광을 피사체에 방출하고, 피사체로부터 액티브 센서에 반사되는 후방 산란을 측정할 수 있다. 예를 들어, 액티브 센서는 레이저나 적외선 등을 피사체에 방출한 후 되돌아오는 광의 위상차나 시간차를 이용하는 ToF(Time of Flight) 센서일 수 있다. 또한, 액티브 센서는 특정한 패턴을 가지는 광을 방출하여 피사체에 맺힌 상의 크기나 모양으로 거리를 계산하는 구조광(Structured Light) 센서일 수 있다. 또한, 액티브 센서는 Invertible Light 센서, 레이저 센서, 마이크로파 센서 등일 수 있다.
패시브 센서를 이용한 뎁스 정보 획득 방식에 따라, 패시브 센서를 통해 획득되는 공간에 대한 데이터에 기초하여, 특징점 매칭을 통해 뎁스 정보를 추정할 수 있다. 그러나, 단일 색상 영역의 비중이 큰 공간의 경우, 특징점 매칭을 위한 특징점이 부족하여, 특징점 매칭을 통한 뎁스 정보의 추정이 곤란할 수 있다. 반면, 액티브 센서를 이용한 뎁스 정보 획득 방식에 따라, 능동적으로 광을 피사체에 방출하는 액티브 센서를 이용하면, 특징점이 부족한 영역에 대해서도, 뎁스 정보를 추정할 수 있다. 예를 들어, 액티브 센서는 균일한 고주파 변조 적외선을 피사체에 조사한 후 반사되어 돌아오는 시간차나 위상차를 감지하여 뎁스 정보를 추정할 수 있다. 다른 예를 들어, 액티브 센서는 특정한 패턴을 가지는 광을 피사체에 투사한 후 광원에 의해 형성된 패턴에 따라 증강된 특징점의 매칭이나 패턴 자체의 형상이나 크기를 측정하여 뎁스 정보를 추정할 수 있다.
그러나, 자세 정보를 획득하기 위하여, 프레임 간의 연결 관계를 고려해야 하는 상황에서, 액티브 센서를 이용하면, 액티브 센서의 광원에 의해 방출된 광이 프레임 간의 정확한 매칭에 지장을 초래할 가능성이 있다. 액티브 센서의 광원에 의해 형성된 패턴에 따라 증강된 특징점이 프레임 간의 특징점 매칭에서는 부적절한 매칭을 초래할 수 있기 때문이다.
그러므로, 증강 현실 장치(1000)가 뎁스 정보와 자세 정보를 정확하게 획득하기 위해서는, 뎁스 정보 획득을 위한 센서와 자세 정보 획득을 위한 센서를 모두 구비하여야 한다. 그러나, 증강 현실 장치(1000)의 전력 소모나 부피, 사이즈 등을 고려하면, 여러 가지 종류의 센서를 증강 현실 장치(1000)에 탑재하는 것은 증강 현실 장치(1000)의 소형화나 무게, 생산 비용 측면에서 고려할 때 바람직하지 않다.
따라서, 이하에서는, 증강 현실 장치(1000)의 카메라(1400)가 조명기(1300)의 광원의 점멸에 따라 액티브 센서 또는 패시브 센서로 동작하여 뎁스 정보와 자세 정보를 추정하는 방식에 대해 설명한다.
도 1에서는, 설명의 편의상, 증강 현실 장치(1000)의 카메라(1400)가 스테레오 카메라이고, 증강 현실 장치(1000)가 안경 형상의 증강 현실 안경 장치(Augmented Reality Glasses)인 경우를 예로 들었으나, 도 1에 도시된 예시적인 실시예로 제한되는 것은 아니다. 도 1에 도시된 바와 같이, 증강 현실 장치(1000)의 카메라(1400)는 각 렌즈부를 지지하는 안경테와 증강 현실 장치(1000)를 사용자의 안면에 거치시키기 위한 안경 다리가 서로 접하는 위치에 위치할 수 있고, 조명기(1300)는 좌안 렌즈부와 우안 렌즈부 사이를 연결하는 브릿지 프레임에 내장된 형태로 장착될 수 있다. 그러나, 본 개시는 도 1에 도시된 구성에 제한되는 것은 아니다. 이와 다른 실시예에 따르면, 카메라(1400) 및 조명부(1300)는 증강 현실 장치(1000)의 다른 위치에 제공될 수 있다.
도 1을 참조하면, 증강 현실 장치(1000)의 조명기(1300)의 광원이 점멸함을 알 수 있다. 조명기(1300)의 광원으로부터 방출된 광은 공간 전체 중 소정의 영역에 대응되는 공간에 투사될 수 있다. 증강 현실 장치(1000)는 카메라(1400)를 이용하여 조명기(1300)의 광원이 점멸함에 따라, 각각 제1 이미지와 제2 이미지를 획득할 수 있다. 증강 현실 장치(1000)는 조명기(1300)의 광원을 점등하여, 카메라(1400)로부터 제1 이미지를 획득하고, 조명기(1300)의 광원을 소등하여, 카메라(1400)로부터 제2 이미지를 획득할 수 있다. 이때, 제1 이미지는 조명기(1300)의 광원에 의해 피사체에 투영된 광 패턴을 포함하고, 제2 이미지는 광 패턴을 포함하지 않을 수 있다. 따라서, 증강 현실 장치(1000)는 특징점이 증강된 제1 이미지에 기초하여 뎁스 정보를 추정하고, 제2 이미지에 기초하여 자세 정보를 추정할 수 있다. 이하, 본 개시의 예시적인 실시예에 따른 증강 현실 장치(1000)에 대해 도면들을 참조하여, 보다 상세히 설명한다.
도 2는 본 개시의 예시적인 실시예에 따른 증강 현실 장치(1000)의 구성 및 동작을 설명하기 위한 도면이다.
도 2를 참조하면, 증강 현실 장치(1000)는 메모리(1100), 프로세서(1200), 조명기(1300), 및 카메라(1400)를 포함할 수 있다. 본 개시의 실시예와 관련된 기술분야에서 통상의 지식을 가진 자라면 도 2에 도시된 구성요소들 외에 다른 범용적인 구성요소들이 더 포함될 수 있음을 알 수 있다.
메모리(1100)는 프로세서(1200)에 의해 실행 가능한 명령어들을 저장할 수 있다. 메모리(1100)는 하나 이상의 명령어들을 포함하는 프로그램을 저장할 수 있다. 예를 들어, 프로그램은 프로세서(1200)에 의해 실행 가능한 명령어 또는 코드의 집합일 수 있다. 메모리(1100)는 예를 들어, 램(RAM, Random Access Memory), SRAM(Static Random Access Memory), 롬(ROM, Read-Only Memory), 플래시 메모리(flash memory), EEPROM(Electrically Erasable Programmable Read-Only Memory), PROM(Programmable Read-Only Memory), 자기 메모리, 자기 디스크, 광디스크 중 적어도 하나의 타입의 하드웨어 장치를 포함할 수 있다.
메모리(1100)는 명령어들을 포함하는 적어도 하나의 소프트웨어 모듈을 저장할 수 있다. 각 소프트웨어 모듈은 프로세서(1200)에 의해 실행됨으로써, 증강 현실 장치(1000)가 소정의 동작이나 기능을 수행하도록 한다. 예를 들어, 도 2에 도시된 바와 같이, 프로세서(1200)에 의해 싱크로나이저 모듈, 뎁스 추정 모듈, 및 자세 추정 모듈이 실행될 수 있다. 그러나, 본 개시는 이에 한정되는 것은 아니며, 다른 소프트웨어 모듈을 더 포함할 수 있다.
프로세서(1200)는 메모리(1100)에 저장된 명령어들이나 프로그램화된 소프트웨어 모듈을 실행함으로써, 증강 현실 장치(1000)가 수행하는 동작이나 기능을 제어할 수 있다. 프로세서(1200)는 산술, 로직 및 입출력 연산과 시그널 프로세싱을 수행하는 하드웨어 구성 요소로 구성될 수 있다.
프로세서(1200)는 예를 들어, 중앙 처리 장치(Central Processing Unit), 마이크로 프로세서(microprocessor), 그래픽 프로세서(Graphic Processing Unit), ASICs(Application Specific Integrated Circuits), DSPs(Digital Signal Processors), DSPDs(Digital Signal Processing Devices), PLDs(Programmable Logic Devices), 및 FPGAs(Field Programmable Gate Arrays) 중 적어도 하나의 하드웨어로 구성될 수 있으나, 이에 한정되는 것은 아니다.
조명기(1300)는 광원을 포함하며, 균일한 고주파 변조 적외선을 피사체에 조사하거나, 특정한 패턴을 가지는 광을 피사체에 투사할 수 있다. 광원은 LED(Light Emitting Diode), 레이저 다이오드나 빅셀(VCSEL, Vertical Cavity Surface Emitting Laser)이 이용될 수 있다. 조명기(1300)는 콜리메이팅 렌즈나 회절 광학 소자를 더 포함하여, FOV(Field Of View)와 광 경로를 정밀하게 제어하도록 구성될 수 있다.
카메라(1400)는 액티브 센서 또는 패시브 센서로 모두 동작할 수 있는 이미지 센서를 포함할 수 있다. 즉, 뎁스 정보 추정을 위한 액티브 센서와 자세 정보 추정을 위한 패시브 센서가 하나의 카메라(1400)로 단일화될 수 있다. 예를 들어, 액티브 센서로 ToF 센서를 구비하고, 패시브 센서로 RGB 카메라를 구비하는 것에 비해, 액티브 센서 또는 패시브 센서로 모두 동작할 수 있는 이미지 센서를 포함하는 증강 현실 장치(1000)의 카메라(1400)는 증강 현실 장치(1000)의 사이즈 및 부피를 감소시킬 수 있고, 무게도 낮출 수 있어, 증강 현실 장치(1000)의 소형화 및 경량화가 가능하다.
카메라(1400)는 렌즈들을 포함하는 렌즈 모듈, AF(Auto Focus) 액추에이터, 이미지 신호 프로세서를 더 포함할 수 있다. 렌즈 모듈은 경통부 내에 복수 개의 렌즈들이 배치된 구조를 가지며, 외부로부터 입사되는 광이 배치된 렌즈들을 통과하도록 할 수 있다. AF 액추에이터는 선명한 화질의 영상을 획득하기 위해, 렌즈들을 최적의 초점 위치로 이동시킬 수 있다. 이미지 신호 프로세서는 이미지 센서에서 변환된 전기적 신호를 이미지 신호로 변환할 수 있다.
다만, 예시적인 실시예에 따르면, 카메라(1400)는 액티브 센서로서 동작할 수 있도록 적외선 차단 필터는 포함하지 않을 수 있다. 조명기(1300)의 광원이 적외선 파장 대역임을 고려하여, 적외선 성분도 검출할 수 있도록, 적외선 차단 필터는 제거된 형태의 카메라(1400)일 수 있다.
상기한 구성에 따라, 프로세서(1200)는 메모리(1100)에 저장된 하나 이상의 명령어들을 실행함으로써, 조명기(1300)의 광원을 점등하여 카메라(1400)로부터 제1 이미지를 획득하고, 광원을 소등하여 카메라(1400)로부터 제2 이미지를 획득하며, 제1 이미지에 기초하여 뎁스 정보를 추정하고, 제2 이미지에 기초하여 자세 정보를 추정할 수 있다. 프로세서(1200)는 메모리(1100)에 저장된 싱크로나이저 모듈, 자세 추정 모듈, 및 뎁스 추정 모듈을 로딩하여 실행함으로써, 조명기(1300)와 카메라(1400)를 제어하여 획득되는 제1 이미지와 제2 이미지에 기초하여, 뎁스 정보와 자세 정보를 획득할 수 있다.
프로세서(1200)는 메모리(1100)에 저장된 하나 이상의 명령어들을 실행함으로써, 조명기(1300)의 광원의 점멸에 따라, 카메라(1400)를 액티브 센서 또는 패시브 센서로서 이용할 수 있다. 프로세서(1200)는 조명기(1300)의 광원의 점멸에 따라, 카메라(1400)로부터 제1 이미지와 제2 이미지를 교번하여 획득할 수 있다.
프로세서(1200)는 메모리(1100)에 저장된 하나 이상의 명령어들을 실행함으로써, 조명기(1300)의 광원의 점등 구간의 길이와 소등 구간의 길이, 카메라(1400)의 노출 시간, 제1 이미지의 프레임 레이트(frame rate)와 제2 이미지의 프레임 레이트 등을 조정할 수 있다. 예를 들어, 프로세서(1200)는 조명기(1300)의 광원의 점등 구간의 길이와 소등 구간의 길이를 동일하게 하고, 점등 구간과 소등 구간 각각에서 카메라(1400)의 노출 시간을 동일하게 하여 제1 이미지와 제2 이미지를 획득할 수 있다. 다른 예를 들어, 프로세서(1200)는 조명기(1300)의 광원의 점등 구간의 길이와 소등 구간의 길이를 동일하게 하고, 점등 구간과 소등 구간 각각에서 카메라(1400)의 노출 시간을 다르게 하여 제1 이미지와 제2 이미지를 획득할 수 있다. 또 다른 예를 들어, 프로세서(1200)는 조명기(1300)의 광원의 점등 구간의 길이와 소등 구간의 길이를 다르게 하고, 제1 이미지의 프레임 레이트(frame rate)와 제2 이미지의 프레임 레이트를 다르게 하여 제1 이미지와 제2 이미지를 획득할 수 있다. 또 다른 예를 들어, 프로세서(1200)는 조명기(1300)의 광원의 점등 구간의 길이와 소등 구간의 길이를 다르게 하고, 제1 이미지의 프레임 레이트(frame rate)와 제2 이미지의 프레임 레이트를 동일하게 하여 제1 이미지와 제2 이미지를 획득할 수 있다. 이때, 소등 구간에서 카메라(1400)가 제2 이미지를 획득하는 촬영 모드 전후로 휴지(idle) 모드를 둘 수 있다.
본 개시의 예시적인 실시예에 따른 증강 현실 장치(1000)는 다양한 종류의 카메라(1400)와 광원을 채용하여, 뎁스 정보와 자세 정보를 추정할 수 있다. 예를 들어, 증강 현실 장치(1000)의 카메라(1400)는 모노 카메라이고, 프로세서(1200)는 제1 이미지에 대해 ToF(Time of Flight) 방식으로 뎁스 정보를 추정하고, 제2 이미지에 대해 모노 슬램(SLAM, Simualtaneous Localization and Mapping)을 적용하여 자세 정보를 추정할 수 있다. SLAM (Simualtaneous Localization and Mapping)은 알 수 없는 환경의 맵을 구성하거나 업데이트하는 동시에 그 안에서 자신의 위치 또는 자세를 추정하는 알고리즘이다. 모노 슬램은 카메라(1400)를 이용하여 주변을 감지하여 획득한 이미지를 통해, 자신의 위치 또는 자세를 추정하는 Visual SLAM의 일종이다. 다른 예를 들어, 증강 현실 장치(1000)의 카메라(1400)는 제1 스테레오 카메라 및 제2 스테레오 카메라를 포함하고, 프로세서(1200)는 복수의 제1 이미지들 중 적어도 하나에 대해 ToF 방식으로 뎁스 정보를 추정하고, 복수의 제2 이미지들에 대해 스테레오 슬램을 적용하여 자세 정보를 추정할 수 있다. 스테레오 슬램은 카메라(1400)를 이용하여 주변을 감지하여 획득한 복수의 이미지들을 통해, 자신의 위치 또는 자세를 추정하는 Visual SLAM의 일종이다. 또 다른 예를 들어, 증강 현실 장치(1000)의 조명기(1300)는 특정한 패턴을 가지는 광을 피사체에 투사하는 광원을 포함하고, 카메라(1400)는 제1 스테레오 카메라 및 제2 스테레오 카메라를 포함하며, 프로세서(1200)는 복수의 제1 이미지들에 대해 스테레오 비전 방식으로 뎁스 정보를 추정하고, 복수의 제2 이미지들에 대해 스테레오 슬램을 적용하여 자세 정보를 추정할 수 있다.
도 3 내지 도 6은 본 개시의 예시적인 실시예에 따른 증강 현실 장치(1000)에서 조명기(1300)의 광원이 점멸함에 따라 제1 이미지와 제2 이미지를 획득하는 방식의 예를 나타낸 도면이다.
증강 현실 장치(1000)는 조명기(1300)의 광원의 점등 구간에서 제1 이미지를 획득하는 제1 프로세스와 조명기(1300)의 광원의 소등 구간에서 제2 이미지를 획득하는 제2 프로세스를 시간적으로 교차하여 배치하는 시분할 방식으로 처리할 수 있다. 증강 현실 장치(1000)는 제1 프로세스와 제2 프로세스를 시간적으로 분리시켜, 시간별로 서로 다른 프로세스를 병렬로 처리할 수 있다. 컴퓨팅 기술 발전에 따라 연산 처리 속도가 빨라지면, 이와 같은 시분할 방식에 따른 처리는 서로 다른 프로세스들이 동시에 처리되는 것과 같은 효과를 가질 수 있게 된다.
도 3 내지 도 6을 참조하면, 증강 현실 장치(1000)는 조명기(1300)의 광원의 점등 구간의 길이와 소등 구간의 길이, 카메라(1400)의 노출 시간, 제1 이미지의 프레임 레이트(frame rate)와 제2 이미지의 프레임 레이트 등을 조정하여, 제1 이미지와 제2 이미지를 획득할 수 있다.
예시적인 실시예에 따라, 조명기(1300)의 광원의 점등 구간의 길이와 소등 구간의 길이를 동일하게 하고, 카메라(1400)의 노출 시간을 동일하게 하여, 제1 이미지와 제2 이미지가 획득될 수 있다. 예를 들어, 조명기(1300)의 광원의 점등 구간의 길이과 소등 구간의 길이는 동일할 수 있다. 또한, 광원의 점등 구간과 소등 구간 동안 카메라(1400)의 노출 시간은 동일할 수 있다. 도 3에 도시된 예를 보면, 증강 현실 장치(1000)는 광원의 점등 구간의 길이와 소등 구간의 길이를 각각 1/60s로 동일하게 하고, 점등 구간과 소등 구간 각각에서 카메라(1400)의 노출 시간도 1/60s로 동일하게 할 수 있다. 이에 따라, 증강 현실 장치(1000)는 광원의 점등 구간에서 광원에 의해 피사체에 투영된 광 패턴을 포함하는 제1 이미지를 획득하고, 광원의 소등 구간에서 광 패턴을 포함하지 않는 제2 이미지를 획득할 수 있다. 제1 이미지의 프레임 레이트와 제2 이미지의 프레임 레이트는 동일하다. 비록 도 3에 도시된 예시적인 실시예는 점등 구간과 소등 구간이 주기적이나, 이에 한정되는 것은 아니다. 이와 같이, 본 발명의 다른 예시적인 실시예에 따르면, 점등 구간 및 소등 구간은 비주기적이다.
다른 예시적인 실시예에 따라, 조명기(1300)의 광원의 점등 구간의 길이와 소등 구간의 길이를 동일하게 하고, 카메라(1400)의 노출 시간을 다르게 하여, 제1 이미지와 제2 이미지가 획득될 수 있다. 예를 들어, 조명기(1300)의 광원의 점등 구간의 길이와 소등 구간의 길이는 동일할 수 있다. 그러나, 광원의 점등 구간과 소등 구간 동안 카메라(1400)의 노출 시간은 서로 다를 수 있다. 다른 예시적인 실시예에 따르면, 광원의 점등 구간과 소등 구간 동안 카메라(1400)의 노출 시간은 광원의 점등 구간과 소등 구간과 다를 수 있다. 도 4에 도시된 예를 보면, 증강 현실 장치(1000)는 광원의 점등 구간의 길이와 소등 구간의 길이를 각각 1/30s로 동일하게 할 수 있다. 그러나, 점등 구간에서 카메라(1400)의 노출 시간은 1/30s로 하고, 소등 구간에서 카메라(1400)의 노출 시간은 1/60s로 다르게 할 수 있다. 이에 따라, 증강 현실 장치(1000)는 광원의 점등 구간에서 광원에 의해 피사체에 투영된 광 패턴을 포함하는 제1 이미지를 획득하고, 광원의 소등 구간 중 일부 구간에서 광 패턴을 포함하지 않는 제2 이미지를 획득할 수 있다. 광원의 소등 구간 중 나머지 구간은 아무런 이미지도 획득하지 않는 휴지 모드일 수 있다. 제1 이미지의 프레임 레이트와 제2 이미지의 프레임 레이트는 동일하다.
또 다른 예시적인 실시예를 들어, 조명기(1300)의 광원의 점등 구간의 길이와 소등 구간의 길이를 다르게 하고, 제1 이미지의 프레임 레이트와 제2 이미지의 프레임 레이트를 다르게 하여, 제1 이미지와 제2 이미지가 획득될 수 있다. 도 5에 도시된 예를 보면, 증강 현실 장치(1000)는 광원의 점등 구간의 길이는 1/60s로 하고, 소등 구간의 길이는 1/20s로 다르게 하고, 제2 이미지의 프레임 레이트를 제1 이미지의 프레임 레이트보다 두 배 높게 할 수 있다. 예를 들어, 제1 이미지는 광원의 점등 구간 동안 한번 획득되고, 제2 이미지는 광원의 소등 구간 동안 두 번 획득될 수 있다. 이에 따라, 증강 현실 장치(1000)는 광원의 점등 구간에서 광원에 의해 피사체에 투영된 광 패턴을 포함하는 제1 이미지를 획득하고, 광원의 소등 구간을 세 부분으로 나눈 구간들 중 첫 번째 구간과 세 번째 구간에서 광 패턴을 포함하지 않는 제2 이미지를 각각 획득할 수 있다. 광원의 소등 구간을 세 부분으로 나눈 구간들 중 두 번째 구간은 휴지 모드일 수 있다. 제1 이미지 한 프레임과 제2 이미지 한 프레임을 위한 카메라(1400)의 노출 시간은 1/60s로 동일하다.
또 다른 예시적인 실시예를 들어, 조명기(1300)의 광원의 점등 구간의 길이와 소등 구간의 길이를 다르게 하고, 제1 이미지의 프레임 레이트와 제2 이미지의 프레임 레이트를 동일하게 하여, 제1 이미지와 제2 이미지가 획득될 수 있다. 예를 들어, 제1 이미지는 광원의 점등 구간 동안 한번 획득되고, 제2 이미지는 광원의 소등 구간 동안 한번 획득될 수 있다. 이때, 소등 구간에서 카메라(1400)가 제2 이미지를 획득하는 촬영 모드 전후로 휴지 모드를 둘 수 있다. 도 6에 도시된 예를 보면, 증강 현실 장치(1000)는 광원의 점등 구간의 길이는 1/60s로 하고, 소등 구간의 길이는 1/20s로 다르게 하고, 제1 이미지의 프레임 레이트와 제1 이미지의 프레임 레이트는 동일하게 할 수 있다. 이에 따라, 증강 현실 장치(1000)는 광원의 점등 구간에서 광원에 의해 피사체에 투영된 광 패턴을 포함하는 제1 이미지를 획득하고, 광원의 소등 구간을 세 부분으로 나눈 구간들 중 두 번째 구간에서 광 패턴을 포함하지 않는 제2 이미지를 획득할 수 있다. 광원의 소등 구간을 세 부분으로 나눈 구간들 중 첫 번째 구간과 세 번째 구간은 휴지 모드일 수 있다. 제1 이미지 한 프레임과 제2 이미지 한 프레임을 위한 카메라(1400)의 노출 시간은 1/60s로 동일하다.
비록 도 3 내지 도 6은 조명기(1300)의 광원의 점등 구간과 소등 구간의 길이, 카메라(1400)의 노출 시간, 제1 이미지 및 제2 이미지의 프레임 레이트에 대한 예시적인 실시예를 도시하나, 이에 한정되지 않는다, 이와 같이, 다른 예시적인 실시예에 따르면, 조명기(1300)의 광원의 점등 구간의 길이와 소등 구간의 길이, 카메라(1400)의 노출 시간, 제1 이미지의 프레임 레이트와 제2 이미지의 프레임 레이트 등은 소모전력 절감, 소자 보호, 뎁스 추정에 요구되는 조건 등을 고려하여 적절히 설정될 수 있다.
도 7은 본 개시의 예시적인 실시예에 따른 증강 현실 장치(1000)가 모노 카메라를 포함하는 경우, ToF(Time of Flight) 방식으로 뎁스 정보를 추정하고, 모노 슬램을 적용하여 자세 정보를 추정하는 예를 나타낸 도면이다.
프로세서(1200)는 메모리(1100)에 저장된 싱크로나이저 모듈, 뎁스 추정 모듈, 및 자세 추정 모듈을 로딩하여 실행함으로써, 조명기(1300)와 카메라(1400)를 제어하여 획득되는 제1 이미지와 제2 이미지에 기초하여, 뎁스 정보와 자세 정보를 추정할 수 있다.
프로세서(1200)는 싱크로나이저 모듈을 실행하여, 클럭 신호에 기초하여, 조명기(1300)의 광원의 점등과 소등을 제어할 수 있다. 조명기(1300)의 광원은 균일한 고주파 변조 적외선을 피사체에 조사할 수 있다. 프로세서(1200)는 싱크로나이저 모듈을 실행하여, 클럭 신호에 기초하여, 카메라(1400)로부터, 광원의 점등 구간에서 제1 이미지를 획득하고, 광원의 소등 구간에서 제2 이미지를 획득할 수 있다. 프로세서(1200)는 싱크로나이저 모듈을 실행하여, 획득된 제1 이미지를 뎁스 추정 모듈에 전달하고, 획득된 제2 이미지를 자세 추정 모듈에 전달할 수 있다.
프로세서(1200)는 뎁스 추정 모듈을 실행하여, 제1 이미지에 대해 ToF 방식으로 뎁스 정보를 추정할 수 있다. ToF 방식은 연속적인 파장 형태의 광을 피사체에 조사한 후 되돌아오는 수신 광의 위상차에 기초하여 거리를 계산하는 indirect ToF 방식이거나 단파장 형태의 광을 조사한 후 되돌아오는 시간차에 기초하여 거리를 계산하는 direct ToF 방식일 수 있다.
프로세서(1200)는 자세 추정 모듈을 실행하여, 제2 이미지에 대해 모노 슬램을 적용하여 자세 정보를 추정할 수 있다. 프로세서(1200)는 카메라(1400)를 이용하여 주변을 감지하여 획득한 제2 이미지를 이용하여, 카메라(1400)의 위치를 인식하고, 동시에 공간의 3차원 지도를 생성하여 자세를 추정할 수 있다. 프로세서(1200)는 카메라(1400)가 주변을 감지하여 획득한 복수의 제2 이미지를 이용하여, 증강 현실 장치(1000)의 자세를 추정할 수 있다. 즉, 프로세서(1200)는 복수의 제2 이미지를 이용하여 카메라(1400)의 위치를 검출하고, 동시에 공간의 3차원 지도를 생성할 수 있다.
한편, 프로세서(1200)는 카메라(1400)로부터 획득되는 제1 이미지와 제2 이미지에 대해, 이미지들이 뎁스 추정에 이용되는지 자세 추정에 이용되는지에 기초하여, 이미지 전처리를 수행할 수 있다. 프로세서(1200)는 뎁스 추정에 이용되는 제1 이미지에 대해서는 단파장 대역(예를 들어, G 채널 또는 B 채널)을 억제하는 이미지 전처리 작업을 수행하고, 자세 추정에 이용되는 제2 이미지에 대해서는 장파장 대역(예를 들어, R 채널)을 억제하는 이미지 전처리 작업을 수행할 수 있다.
도 8은 본 개시의 예시적인 실시예에 따른 증강 현실 장치(1000)가 스테레오 카메라를 포함하는 경우, ToF 방식으로 뎁스 정보를 추정하고, 스테레오 슬램을 적용하여 자세 정보를 추정하는 예를 나타낸 도면이다.
프로세서(1200)는 메모리(1100)에 저장된 싱크로나이저 모듈, 뎁스 추정 모듈, 및 자세 추정 모듈을 로딩하여 실행함으로써, 조명기(1300)와 제1 카메라(1400-1) 및 제2 카메라(1400-2)를 제어하여 획득되는 제1 이미지와 제2 이미지에 기초하여, 뎁스 정보와 자세 정보를 추정할 수 있다.
프로세서(1200)는 싱크로나이저 모듈을 실행하여, 클럭 신호에 기초하여, 조명기(1300)의 광원의 점등과 소등을 제어할 수 있다. 조명기(1300)의 광원은 균일한 고주파 변조 적외선을 피사체에 조사할 수 있다. 프로세서(1200)는 싱크로나이저 모듈을 실행하여, 클럭 신호에 기초하여, 제1 카메라(1400-1) 및 제2 카메라(1400-2)로부터, 광원의 점등 구간에서 복수의 제1 이미지들을 획득하고, 광원의 소등 구간에서 복수의 제2 이미지들을 획득할 수 있다. 프로세서(1200)는 싱크로나이저 모듈을 실행하여, 획득된 제1 이미지들을 뎁스 추정 모듈에 전달하고, 획득된 제2 이미지들을 자세 추정 모듈에 전달할 수 있다.
프로세서(1200)는 뎁스 추정 모듈을 실행하여, 복수의 제1 이미지들 중 적어도 하나에 대해 ToF 방식으로 뎁스 정보를 추정할 수 있다. 프로세서(1200)는 자세 추정 모듈을 실행하여, 복수의 제2 이미지들에 대해 스테레오 슬램을 적용하여 자세 정보를 추정할 수 있다. 프로세서(1200)는 제1 카메라(1400-1) 및 제2 카메라(1400-2)를 이용하여 주변을 감지하여 획득한 복수의 제2 이미지들을 이용하여, 제1 카메라(1400-1) 및 제2 카메라(1400-2)의 기준 위치를 인식하고, 동시에 공간의 3차원 지도를 생성하여 자세를 추정할 수 있다.
도 9는 본 개시의 예시적인 실시예에 따른 증강 현실 장치(1000)가 스테레오 카메라를 포함하는 경우, 스테레오 비전 방식으로 뎁스 정보를 추정하고, 스테레오 슬램을 적용하여 자세 정보를 추정하는 예를 나타낸 도면이다.
프로세서(1200)는 메모리(1100)에 저장된 싱크로나이저 모듈, 뎁스 추정 모듈, 및 자세 추정 모듈을 로딩하여 실행함으로써, 조명기(1300)와 제1 카메라(1400-1) 및 제2 카메라(1400-2)를 제어하여 획득되는 제1 이미지와 제2 이미지에 기초하여, 뎁스 정보와 자세 정보를 추정할 수 있다.
프로세서(1200)는 싱크로나이저 모듈을 실행하여, 클럭 신호에 기초하여, 조명기(1300)의 광원의 점등과 소등을 제어할 수 있다. 조명기(1300)의 광원은 특정한 패턴을 가지는 광을 피사체에 투사할 수 있다. 프로세서(1200)는 싱크로나이저 모듈을 실행하여, 클럭 신호에 기초하여, 제1 카메라(1400-1) 및 제2 카메라(1400-2)로부터, 광원의 점등 구간에서 복수의 제1 이미지들을 획득하고, 광원의 소등 구간에서 복수의 제2 이미지들을 획득할 수 있다. 프로세서(1200)는 싱크로나이저 모듈을 실행하여, 획득된 제1 이미지들을 뎁스 추정 모듈에 전달하고, 획득된 제2 이미지들을 자세 추정 모듈에 전달할 수 있다.
프로세서(1200)는 뎁스 추정 모듈을 실행하여, 복수의 제1 이미지들에 대해 스테레오 비전 방식으로 뎁스 정보를 추정할 수 있다. 조명기(1300)의 광원으로부터 피사체에 특정한 패턴의 광이 투영되었기 때문에, 투영된 광 패턴을 포함하는 제1 이미지는 특징점이 증강되어, 스테레오 비전 수행을 위한 특징점 매칭에 유리할 수 있다. 프로세서(1200)는 자세 추정 모듈을 실행하여, 복수의 제2 이미지들에 대해 스테레오 슬램을 적용하여 자세 정보를 추정할 수 있다.
도 10은 본 개시의 예시적인 실시예에 따른 증강 현실 장치(1000)의 제어 방법을 나타낸 흐름도이다.
이상에서 증강 현실 장치(1000)에 대하여 기술한 내용은 이하 증강 현실 장치(1000)의 제어 방법에 대하여 그대로 적용될 수 있다.
1010 단계에서, 증강 현실 장치(1000)는 조명기(1300)의 광원을 점등하여 카메라(1400)로부터 제1 이미지를 획득할 수 있다. 카메라(1400)는 조명기(1300)의 광원이 점등됨에 따라, 액티브 센서로서 동작할 수 있다. 조명기(1300)의 광원은 뎁스 정보를 추정하는 방식의 종류에 따라, 균일한 고주파 변조 적외선을 피사체에 조사하거나 특정한 패턴을 가지는 광을 피사체에 투사할 수 있다.
1020 단계에서, 증강 현실 장치(1000)는 조명기(1300)의 광원을 소등하여 카메라(1400)로부터 제2 이미지를 획득할 수 있다. 카메라(1400)는 조명기(1300)의 광원이 소등됨에 따라, 패시브 센서로서 동작할 수 있다.
증강 현실 장치(1000)는 조명기(1300)의 광원의 점멸에 따라, 카메라(1400)를 액티브 센서 또는 패시브 센서로서 이용할 수 있다. 예를 들어, 조명기(1300)의 광원이 점멸함에 따라, 카메라(1400)는 조명기(1300)의 광원이 온 상태인 기간 동안 액티브 센서로 이용되고, 카메라(1400)는 조명이(1300)의 광원이 오프 상태인 기간 동안 패시브 센서로 이용될 수 있다. 제1 이미지와 제2 이미지는 조명기(1300)의 광원의 점멸에 따라, 교번하여 획득될 수 있다. 조명기(1300)의 광원의 점등 구간에서 제1 이미지를 획득하는 것과 조명기(1300)의 광원의 소등 구간에서 제2 이미지를 획득하는 것은 시간적으로 교차하여 배치하는 시분할 방식으로 처리될 수 있다.
1030 단계에서, 증강 현실 장치(1000)는 제1 이미지에 기초하여 뎁스 정보를 추정할 수 있다. 증강 현실 장치(1000)는 적어도 하나의 제1 이미지에 대해 ToF 방식 또는 스테레오 비전 방식으로 뎁스 정보를 추정할 수 있다. 예를 들어, 카메라(1400)가 모노 카메라인 경우, 증강 현실 장치(1000)는 제1 이미지에 대해 ToF 방식으로 뎁스 정보를 추정할 수 있다. 다른 예를 들어, 카메라(1400)가 스테레오 카메라인 경우, 증강 현실 장치(1000)는 복수의 제1 이미지들 중 적어도 하나에 대해 ToF 방식으로 뎁스 정보를 추정하거나, 복수의 제1 이미지들에 대해 스테레오 비전 방식으로 뎁스 정보를 추정할 수 있다.
1040 단계에서, 증강 현실 장치(1000)는 제2 이미지에 기초하여 자세 정보를 추정할 수 있다. 증강 현실 장치(1000)는 적어도 하나의 제2 이미지에 대해 모노 슬램 또는 스테레오 슬램을 적용하여 자세 정보를 추정할 수 있다. 예를 들어, 카메라(1400)가 모노 카메라인 경우, 증강 현실 장치(1000)는 제2 이미지에 대해 모노 슬램을 적용하여 자세 정보를 추정할 수 있다. 다른 예를 들어, 카메라(1400)가 스테레오 카메라인 경우, 증강 현실 장치(1000)는 복수의 제2 이미지들에 대해 스테레오 슬램을 적용하여 자세 정보를 추정할 수 있다.
도 11은 본 개시의 예시적인 실시예들에 따른 증강 현실 장치(1000)의 일 예를 설명하기 위한 도면이다.
도 11을 참조하면, 증강 현실 장치(1000)는 앞서 도 2에서 설명한 메모리(1100), 프로세서(1200), 조명기(1300), 카메라(1400) 외에 통신 인터페이스(1500), 디스플레이(1600), 디스플레이 엔진(1700), 시선 추적 센서(1800)를 더 포함할 수 있다. 그 외에도 증강 현실 장치(1000)의 위치를 감지하는 위치 센서나 증강 현실 장치(1000)에 전원을 공급하는 전원부와 같은 구성들도 포함할 수 있으나, 이에 대한 설명은 생략한다.
통신 인터페이스(1500)은 다른 장치 또는 네트워크와 유무선 통신을 수행할 수 있다. 이를 위해, 통신 인터페이스(1500)은 다양한 유무선 통신 방법 중 적어도 하나를 지원하는 전자 부품 및/또는 회로를 포함할 수 있다. 예를 들어, 통신 인터페이스(1500)는 Wi-Fi(Wireless Fidelity), 블루투스와 같은 근거리 통신이나 다양한 종류의 이동 통신 또는 초광대역 통신을 수행하는 전자 부품 및/또는 회로를 포함할 수 있다. 통신 인터페이스(1500)는 증강 현실 장치(1000)의 외부에 위치한 장치와 연결되어, 증강 현실 장치(1000)에서 획득하거나 생성된 이미지를 외부에 위치한 장치에 전송할 수 있다.
예시적인 실시예에 따르면, 증강 현실 장치(1000)는 디스플레이(1600) 및 디스플레이 엔진(1700)을 통해 가상 이미지를 제공할 수 있다. 예를 들어, 증강 현실 장치(1000)는 디스플레이(1600)와 디스플레이 엔진(1700)를 통해 가상 이미지의 팝업을 제공할 수 있다. 가상 이미지(virtual image)는 광학 엔진을 통해 생성되는 이미지로 정적 이미지와 동적 이미지를 모두 포함할 수 있다. 이러한 가상 이미지는 사용자가 증강 현실 장치(1000)를 통해서 보는 현실 세계의 장면과 함께 관측되며, 현실 세계의 장면 속의 현실 객체에 대한 정보 또는 증강 현실 장치인 증강 현실 장치(1000)의 동작에 대한 정보나 제어 메뉴 등을 나타내는 이미지일 수 있다.
디스플레이 엔진(1700)는 가상 이미지를 생성하여 투사하는 광학 엔진과 광학 엔진으로부터 투사된 가상 이미지의 광을 디스플레이(1600)까지 안내하는 가이드 구성 또는 부품를 포함할 수 있다. 광학 엔진은 가상 이미지 생성하여 출력하는 전자 부품 및/또는 회로를 포함할 수 있다. 디스플레이(1600)는 증강 현실 장치(1000)의 좌안 렌즈부 및/또는 우안 렌즈부에 내재된 시스루 형태의 도광판(웨이브가이드, Waveguide)을 포함할 수 있다. 디스플레이(1600)는 객체에 대한 정보 또는 증강 현실 장치(1000)의 동작에 대한 정보나 제어 메뉴를 나타내는 가상 이미지를 디스플레이할 수 있다.
디스플레이(1600)에 가상 이미지의 팝업이 표시되는 경우, 증강 현실 장치(1000)를 착용한 사용자는 가상 이미지의 팝업을 조작하기 위해 카메라(1400)에 사용자의 손을 노출시키고, 가상 이미지의 팝업에 있는 증강 현실 장치(1000)의 기능을 노출된 손이 선택하도록 함으로써, 해당 기능을 실행시킬 수 있다.
시선 추적 센서(1800)는 사용자 눈이 향하는 시선 방향, 사용자 눈의 동공 위치 또는 동공의 중심점 좌표 등 시선 정보를 검출할 수 있다. 프로세서(1200)는 시선 추적 센서(1800)에서 검출된 사용자의 시선 정보에 에 기초하여, 안구 움직임(eye movement) 형태를 판단할 수 있다. 예를 들어, 프로세서(1200)는 시선 추적 센서(1800)로부터 획득된 시선 정보에 기초하여, 어느 한 곳을 주시하는 고정(fixation), 움직이는 객체를 쫓는 추적(pursuit), 한 응시 지점에서 다른 응시 지점으로 신속하게 시선이 이동하는 도약(saccade) 등을 포함한 다양한 형태의 시선 움직임을 판단할 수 있다.
증강 현실 장치(1000)의 프로세서(1200)는 시선 추적 센서(1800)를 이용하여 사용자의 응시 지점이나 사용자의 시선 이동을 판단하여, 증강 현실 장치(1000)의 제어에 이용할 수 있다. 프로세서(1200)는 시선 추적 센서(1800)에 의해 판단되는 응시 지점이나 시선 이동에 따라서 조명기(1300) 또는 카메라(1400)의 방향을 제어하여, 적어도 하나의 이미지를 획득할 수 있다. 예를 들어, 사용자는 증강 현실 장치(1000)를 착용하여 제1 방향에서 이미지를 획득한 후, 사용자의 응시 지점이나 시선 이동에 따라 카메라(1400)의 촬영 방향을 제어하여, 제2 방향에서 다른 이미지를 획득할 수 있다.
도 12는 본 개시의 예시적인 실시예들에 따른 증강 현실 장치(1000)의 다른 예를 설명하기 위한 도면이다.
도 12는 증강 현실 장치(1000)가 증강 현실 기능이 탑재된 스마트 폰이나 디지털 카메라인 경우이다. 증강 현실 장치(1000)는 메모리(1100), 프로세서(1200), 조명기(1300), 카메라(1400), 통신 인터페이스(1500), 디스플레이(1600)를 포함할 수 있다. 그 외에도 증강 현실 장치(1000)의 위치를 감지하는 위치 센서, 또는 증강 현실 장치(1000)에 전원을 공급하는 전원부와 같은 구성들도 포함할 수 있으며, 앞에서 설명한 내용과 중복되는 것에 대한 설명은 이하 생략하고, 차이점이 있는 구성들에 대해서 설명을 부연한다.
통신 인터페이스(1500)은 스마트 폰이나 디지털 카메라 형태인 증강 현실 장치(1000)의 외부에 위치한 장치와 연결되어, 증강 현실 장치(1000)에서 획득하거나 생성된 이미지를 외부에 위치한 장치에 전송할 수 있다.
디스플레이(1600)는 정보나 이미지를 제공하는 출력 인터페이스를 포함하며, 입력을 수신하는 입력 인터페이스를 더 포함한 형태일 수 있다. 출력 인터페이스는 표시 패널 및 표시 패널을 제어하는 컨트롤러를 포함할 수 있으며, OLED(Organic Light Emitting Diodes) 디스플레이, AM-OLED(Active-Matrix Organic Light-Emitting Diode) 디스플레이, LCD(Liquid Crystal Display) 등과 같은 다양한 방식으로 구현될 수 있다. 입력 인터페이스는 사용자로부터 다양한 형태의 입력을 받을 수 있으며, 터치 패널, 키패드, 펜 인식 패널 중 적어도 하나를 포함한 형태일 수 있다. 디스플레이(1600)는 표시 패널과 터치 패널이 결합된 터치 스크린 형태로 제공될 수 있으며, 유연하게(flexible) 또는 접을 수 있게(foldable) 구현될 수 있다.
도 13은 본 개시의 예시적인 실시예에 따른 증강 현실 장치(1000)의 제어 방법의 다른 예를 나타낸 흐름도이다.
1310 단계에서, 증강 현실 장치(1000)는 동작 모드를 확인할 수 있다. 동작 모드는 증강 현실 장치(1000)의 사용자의 입력에 따라 결정되거나, 증강 현실 장치(1000)의 상태나 사용 환경에 따라 결정될 수 있다. 예를 들어, 사용자가 증강 현실 장치(1000)에 대해 음성으로 소정의 동작 모드가 수행되도록 하거나, 사용자가 증강 현실 장치(1000)에 구비된 버튼이나 터치 스크린 등의 입력 인터페이스를 통해 소정의 동작 모드가 수행되도록 하는 경우, 증강 현실 장치(1000)의 동작 모드가 결정될 수 있다. 다른 예를 들어, 증강 현실 장치(1000)의 배터리의 충전 상태에 따라, 소정의 동작 모드가 수행되거나 수행되지 않도록, 증강 현실 장치(1000)의 동작 모드가 결정될 수 있다. 또 다른 예를 들어, 증강 현실 장치(1000)가 위치한 공간의 환경이나 증강 현실 장치(1000)의 움직임이 계속적으로 변하는지 여부에 따라, 복수의 동작 모드들 중에서 소정의 동작 모드가 선택적으로 결정될 수 있다.
1320 단계에서, 결정된 동작 모드가 뎁스 추정 모드로 확인된 경우, 증강 현실 장치(1000)는 조명기(1300)의 광원을 점등하여 카메라(1400)로부터 제1 이미지를 획득할 수 있다. 증강 현실 장치(1000)는 제1 이미지에 기초하여 ToF 방식 또는 스테레오 비전 방식으로 뎁스 정보를 추정할 수 있다.
1330 단계에서, 결정된 동작 모드가 뎁스 및 자세 추정 모드로 확인된 경우, 증강 현실 장치(1000)는 조명기(1300)의 광원을 점등하여 카메라(1400)로부터 제1 이미지를 획득할 수 있다. 카메라(1400)는 조명기(1300)의 광원이 점등됨에 따라, 액티브 센서로서 동작할 수 있다. 증강 현실 장치(1000)는 조명기(1300)의 광원을 소등하여 카메라(1400)로부터 제2 이미지를 획득할 수 있다. 카메라(1400)는 조명기(1300)의 광원이 소등됨에 따라, 패시브 센서로서 동작할 수 있다. 조명기(1300)의 광원의 점등 구간에서 제1 이미지를 획득하는 것과 조명기(1300)의 광원의 소등 구간에서 제2 이미지를 획득하는 것은 시간적으로 교차하여 배치하는 시분할 방식으로 처리될 수 있다. 증강 현실 장치(1000)는 제1 이미지에 기초하여 ToF 방식 또는 스테레오 비전 방식으로 뎁스 정보를 추정할 수 있다. 증강 현실 장치(1000)는 제2 이미지에 기초하여 모노 슬램 또는 스테레오 슬램을 적용하여 자세 정보를 추정할 수 있다.
1340 단계에서, 결정된 동작 모드가 자세 추정 모드로 확인된 경우, 증강 현실 장치(1000)는 조명기(1300)의 광원을 소등하여 카메라(1400)로부터 제2 이미지를 획득할 수 있다. 증강 현실 장치(1000)는 제2 이미지에 기초하여 모노 슬램 또는 스테레오 슬램을 적용하여 자세 정보를 추정할 수 있다.
증강 현실 장치(1000)의 동작 모드는 도 13에 도시된 예에 한정되지 않는다. 도 13에 도시된 동작 모드 중 일부가 제외되거나, 다른 동작 모드가 더 추가되어, 다양한 동작 모드의 종류에 따라 증강 현실 장치(1000)의 제어가 이루어 질 수 있다.
본 개시에서 설명된 증강 현실 장치(1000)는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 개시된 예시적인 실시예들에서 설명된 증강 현실 장치(1000)는 프로세서, ALU(arithmetic logic unit), ASICs(Application Specific Integrated Circuits), DSPs(Digital Signal Processors), DSPDs(Digital Signal Processing Devices), PLDs(Programmable Logic Devices), 마이크로컴퓨터, 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다.
소프트웨어는, 컴퓨터로 읽을 수 있는 저장 매체(computer-readable storage media)에 저장된 명령어를 포함하는 컴퓨터 프로그램으로 구현될 수 있다. 컴퓨터가 읽을 수 있는 기록 매체로는, 예를 들어 마그네틱 저장 매체(예컨대, ROM(read-only memory), RAM(random-access memory), 플로피 디스크, 하드 디스크 등) 및 광학적 판독 매체(예컨대, 시디롬(CD-ROM), 디브이디(DVD, Digital Versatile Disc)) 등이 있다. 컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 컴퓨터 시스템들에 분산되어, 분산 방식으로 컴퓨터가 판독 가능한 코드가 저장되고 실행될 수 있다. 매체는 컴퓨터에 의해 판독가능하며, 메모리에 저장되고, 프로세서에서 실행될 수 있다.
컴퓨터는, 저장 매체로부터 저장된 명령어를 호출하고, 호출된 명령어에 따라 개시된 예시적인 실시예에 따른 동작이 가능한 장치로서, 개시된 예시적인 실시예들에 따른 증강 현실 장치(1000)를 포함할 수 있다.
컴퓨터로 읽을 수 있는 저장매체는, 비일시적(non-transitory) 저장매체의 형태로 제공될 수 있다. 여기서, '비일시적'은 저장매체가 신호(signal)를 포함하지 않으며 실재(tangible)한다는 것을 의미할 뿐 데이터가 저장매체에 반영구적 또는 임시적으로 저장됨을 구분하지 않는다.
또한, 개시된 실시예들에 따른 증강 현실 장치(1000)의 제어 방법은 컴퓨터 프로그램 제품(computer program product)에 포함되어 제공될 수 있다. 컴퓨터 프로그램 제품은 상품으로서 판매자 및 구매자 간에 거래될 수 있다.
컴퓨터 프로그램 제품은 소프트웨어 프로그램, 소프트웨어 프로그램이 저장된 컴퓨터로 읽을 수 있는 저장 매체를 포함할 수 있다. 예를 들어, 컴퓨터 프로그램 제품은 증강 현실 장치(1000)의 제조사 또는 전자 마켓(예를 들어, 구글 플레이 스토어, 앱 스토어)을 통해 전자적으로 배포되는 소프트웨어 프로그램 형태의 상품(예를 들어, 다운로드 가능한 애플리케이션(downloadable application))을 포함할 수 있다. 전자적 배포를 위하여, 소프트웨어 프로그램의 적어도 일부는 저장 매체에 저장되거나, 임시적으로 생성될 수 있다. 이 경우, 저장 매체는 제조사의 서버, 전자 마켓의 서버, 또는 소프트웨어 프로그램을 임시적으로 저장하는 중계 서버의 저장매체가 될 수 있다.
컴퓨터 프로그램 제품은, 서버 및 단말(예를 들어, 증강 현실 장치)로 구성되는 시스템에서, 서버의 저장매체 또는 단말의 저장매체를 포함할 수 있다. 또는, 서버 또는 단말과 통신 연결되는 제3 장치(예, 스마트 폰)가 존재하는 경우, 컴퓨터 프로그램 제품은 제3 장치의 저장매체를 포함할 수 있다. 또는, 컴퓨터 프로그램 제품은 서버로부터 단말 또는 제3 장치로 전송되거나, 제3 장치로부터 단말로 전송되는 소프트웨어 프로그램 자체를 포함할 수 있다.
이 경우, 서버, 단말 및 제3 장치 중 하나가 컴퓨터 프로그램 제품을 실행하여 개시된 실시예들에 따른 방법을 수행할 수 있다. 또는, 서버, 단말 및 제3 장치 중 둘 이상이 컴퓨터 프로그램 제품을 실행하여 개시된 실시예들에 따른 방법을 분산하여 실시할 수 있다.
예를 들면, 서버(예로, 클라우드 서버 또는 인공 지능 서버 등)가 서버에 저장된 컴퓨터 프로그램 제품을 실행하여, 서버와 통신 연결된 단말이 개시된 실시예들에 따른 방법을 수행하도록 제어할 수 있다.
또 다른 예로, 제3 장치가 컴퓨터 프로그램 제품을 실행하여, 제3 장치와 통신 연결된 단말이 개시된 실시예에 따른 방법을 수행하도록 제어할 수 있다.
제3 장치가 컴퓨터 프로그램 제품을 실행하는 경우, 제3 장치는 서버로부터 컴퓨터 프로그램 제품을 다운로드하고, 다운로드된 컴퓨터 프로그램 제품을 실행할 수 있다. 또는, 제3 장치는 프리로드된 상태로 제공된 컴퓨터 프로그램 제품을 실행하여 개시된 실시예들에 따른 방법을 수행할 수도 있다.
이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 설명된 전자 장치, 구조, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.

Claims (15)

  1. 광원;
    카메라;
    하나 이상의 명령어들을 저장하는 메모리; 및
    상기 하나 이상의 명령어들을 실행하여, 상기 광원을 점등하여 상기 카메라로부터 제1 이미지를 획득하고, 상기 광원을 소등하여 상기 카메라로부터 제2 이미지를 획득하며, 상기 제1 이미지에 기초하여 뎁스 정보를 추정하고, 상기 제2 이미지에 기초하여 자세 정보를 추정하는 프로세서를 포함하는, 증강 현실 장치.
  2. 제 1 항에 있어서,
    상기 프로세서는 상기 하나 이상의 명령어들을 실행함으로써,
    상기 광원의 점멸에 따라, 상기 카메라를 액티브 센서 또는 패시브 센서로 선택적으로 작동시키는, 증강 현실 장치.
  3. 제 1 항에 있어서,
    상기 프로세서는 상기 하나 이상의 명령어들을 실행함으로써,
    상기 광원의 점멸에 따라, 상기 제1 이미지와 상기 제2 이미지를 교번하여 획득하는, 증강 현실 장치.
  4. 제 1 항에 있어서,
    상기 프로세서는 상기 하나 이상의 명령어들을 실행함으로써,
    상기 광원의 점등 구간에서 상기 제1 이미지를 획득하는 제1 프로세스와 상기 광원의 소등 구간에서 상기 제2 이미지를 획득하는 제2 프로세스를 시분할 방식으로 처리하는, 증강 현실 장치.
  5. 제 4 항에 있어서,
    상기 프로세서는 상기 하나 이상의 명령어들을 실행함으로써,
    상기 점등 구간의 제1 길이와 상기 소등 구간의 제2 길이를 동일하게 설정하고, 상기 점등 구간에서 상기 카메라의 제1 노출 시간과 상기 소등 구간에서 상기 카메라의 제2 노출 시간을 동일하게 설정하여 상기 제1 이미지와 상기 제2 이미지를 획득하는, 증강 현실 장치.
  6. 제 4 항에 있어서,
    상기 프로세서는 상기 하나 이상의 명령어들을 실행함으로써,
    상기 점등 구간의 제1 길이와 상기 소등 구간의 제2 길이를 동일하게 설정하고, 상기 점등 구간에서 상기 카메라의 제1 노출 시간과 상기 소등 구간에서 상기 카메라의 제2 노출 시간을 다르게 설정하여 상기 제1 이미지와 상기 제2 이미지를 획득하는, 증강 현실 장치.
  7. 제 4 항에 있어서,
    상기 프로세서는 상기 하나 이상의 명령어들을 실행함으로써,
    상기 점등 구간의 제1 길이와 상기 소등 구간의 제2 길이를 다르게 설정하고, 상기 제1 이미지의 제1 프레임 레이트와 상기 제2 이미지의 제2 프레임 레이트를 다르게 설정 하여 상기 제1 이미지와 상기 제2 이미지를 획득하는, 증강 현실 장치.
  8. 제 4 항에 있어서,
    상기 프로세서는 상기 하나 이상의 명령어들을 실행함으로써,
    상기 점등 구간의 제1 길이와 상기 소등 구간의 제2 길이를 다르게 설정하고, 상기 제1 이미지의 제1 프레임 레이트와 상기 제2 이미지의 제2 프레임 레이트를 동일하게 설정하여 상기 제1 이미지와 상기 제2 이미지를 획득하는, 증강 현실 장치.
  9. 제 8 항에 있어서,
    상기 프로세서는 상기 하나 이상의 명령어들을 실행함으로써,
    상기 소등 구간에서 촬영 모드 전후로 휴지(idle) 모드를 두고, 상기 촬영 모드에서 상기 제2 이미지를 획득하는, 증강 현실 장치.
  10. 제 1 항에 있어서,
    상기 카메라는 모노 카메라이고,
    상기 프로세서는 상기 하나 이상의 명령어들을 실행함으로써,
    상기 제1 이미지에 대해 ToF(Time of Flight) 방식으로 상기 뎁스 정보를 추정하고, 상기 제2 이미지에 대해 모노 슬램을 적용하여 상기 자세 정보를 추정하는, 증강 현실 장치.
  11. 제 1 항에 있어서,
    상기 카메라는 제1 스테레오 카메라 및 제2 스테레오 카메라를 포함하고,
    상기 프로세서는 상기 하나 이상의 명령어들을 실행함으로써,
    복수의 제1 이미지들 중 적어도 하나에 대해 ToF 방식으로 상기 뎁스 정보를 추정하고, 복수의 제2 이미지들에 대해 스테레오 슬램을 적용하여 상기 자세 정보를 추정하고,
    상기 복수의 제1 이미지들과 상기 복수의 제2 이미지들은 상기 카메라에 의해 획득된 것인, 증강 현실 장치.
  12. 제 1 항에 있어서,
    상기 광원은 특정한 패턴을 가지는 광을 피사체를 향해 투사하고, 상기 카메라는 제1 스테레오 카메라 및 제2 스테레오 카메라를 포함하며,
    상기 프로세서는 상기 하나 이상의 명령어들을 실행함으로써,
    복수의 제1 이미지들에 대해 스테레오 비전 방식으로 상기 뎁스 정보를 추정하고, 복수의 제2 이미지들에 대해 스테레오 슬램을 적용하여 상기 자세 정보를 추정하고,
    상기 복수의 제1 이미지들과 상기 복수의 제2 이미지들은 상기 카메라에 의해 획득된 것인, 증강 현실 장치.
  13. 제 1 항에 있어서,
    상기 제1 이미지는 상기 광원에 의해 피사체를 향해 투영된 광 패턴을 포함하고, 상기 제2 이미지는 상기 광 패턴을 포함하지 않는, 증강 현실 장치.
  14. 광원을 점등하여 카메라로부터 제1 이미지를 획득하는 단계;
    상기 광원을 소등하여 상기 카메라로부터 제2 이미지를 획득하는 단계;
    상기 제1 이미지에 기초하여 뎁스 정보를 추정하는 단계; 및
    상기 제2 이미지에 기초하여 자세 정보를 추정하는 단계를 포함하는, 증강 현실 장치의 제어 방법.
  15. 광원을 점등하여 카메라로부터 제1 이미지를 획득하는 명령어들;
    상기 광원을 소등하여 상기 카메라로부터 제2 이미지를 획득하는 명령어들;
    상기 제1 이미지에 기초하여 뎁스 정보를 추정하는 명령어들; 및
    상기 제2 이미지에 기초하여 자세 정보를 추정하는 명령어들을 포함하는, 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
PCT/KR2021/012052 2020-09-10 2021-09-06 증강 현실 장치 및 그 제어 방법 WO2022055204A1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US17/438,246 US11899213B2 (en) 2020-09-10 2021-09-06 Augmented reality device and method of controlling the same

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2020-0116389 2020-09-10
KR1020200116389A KR20220033924A (ko) 2020-09-10 2020-09-10 증강 현실 장치 및 그 제어 방법

Publications (1)

Publication Number Publication Date
WO2022055204A1 true WO2022055204A1 (ko) 2022-03-17

Family

ID=80630368

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2021/012052 WO2022055204A1 (ko) 2020-09-10 2021-09-06 증강 현실 장치 및 그 제어 방법

Country Status (3)

Country Link
US (1) US11899213B2 (ko)
KR (1) KR20220033924A (ko)
WO (1) WO2022055204A1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20240015260A1 (en) * 2022-07-07 2024-01-11 Snap Inc. Dynamically switching between rgb and ir capture

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070146539A1 (en) * 2004-10-25 2007-06-28 Matsushita Electric Works, Ltd. Spatial information detecting device
KR20150111999A (ko) * 2013-01-30 2015-10-06 퀄컴 인코포레이티드 전력 효율적 깊이 센서 용법을 가진 실시간 3d 재구성
US20150355527A1 (en) * 2012-12-27 2015-12-10 Hitachi Maxell, Ltd. Lens module and portable photography device
KR20170075510A (ko) * 2015-12-23 2017-07-03 에스엘 주식회사 차량용 주변 감시 장치 및 방법
KR20180083314A (ko) * 2015-12-11 2018-07-20 삼성전자주식회사 촬상 장치 및 촬상 장치의 동작 방법

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8090194B2 (en) 2006-11-21 2012-01-03 Mantis Vision Ltd. 3D geometric modeling and motion capture using both single and dual imaging
US20140307055A1 (en) 2013-04-15 2014-10-16 Microsoft Corporation Intensity-modulated light pattern for active stereo
CN110167823B (zh) * 2016-07-01 2022-08-12 视力移动技术有限公司 用于驾驶员监测的系统和方法
US11291919B2 (en) * 2017-05-07 2022-04-05 Interlake Research, Llc Development of virtual character in a learning game
JP6546618B2 (ja) * 2017-05-31 2019-07-17 株式会社Ｐｒｅｆｅｒｒｅｄ Ｎｅｔｗｏｒｋｓ 学習装置、学習方法、学習モデル、検出装置及び把持システム
CN109325978B (zh) * 2017-07-31 2022-04-05 深圳市腾讯计算机系统有限公司 增强现实显示的方法、姿态信息的确定方法及装置
JP7043755B2 (ja) * 2017-08-29 2022-03-30 ソニーグループ株式会社 情報処理装置、情報処理方法、プログラム、及び、移動体
WO2019126331A1 (en) * 2017-12-20 2019-06-27 Magic Leap, Inc. Insert for augmented reality viewing device
WO2019136449A2 (en) * 2018-01-08 2019-07-11 Darya Frolova Error correction in convolutional neural networks
US11600047B2 (en) * 2018-07-17 2023-03-07 Disney Enterprises, Inc. Automated image augmentation using a virtual character
US11445232B2 (en) * 2019-05-01 2022-09-13 Magic Leap, Inc. Content provisioning system and method
CN110611768B (zh) * 2019-09-27 2021-06-29 北京小米移动软件有限公司 多重曝光摄影方法及装置
US20210287274A1 (en) * 2020-03-13 2021-09-16 Hai Viet Nguyen Methods and systems for a all-in-one personal fashion coaching and assistance using artificial intelligence and peer-to-peer network databases

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070146539A1 (en) * 2004-10-25 2007-06-28 Matsushita Electric Works, Ltd. Spatial information detecting device
US20150355527A1 (en) * 2012-12-27 2015-12-10 Hitachi Maxell, Ltd. Lens module and portable photography device
KR20150111999A (ko) * 2013-01-30 2015-10-06 퀄컴 인코포레이티드 전력 효율적 깊이 센서 용법을 가진 실시간 3d 재구성
KR20180083314A (ko) * 2015-12-11 2018-07-20 삼성전자주식회사 촬상 장치 및 촬상 장치의 동작 방법
KR20170075510A (ko) * 2015-12-23 2017-07-03 에스엘 주식회사 차량용 주변 감시 장치 및 방법

Also Published As

Publication number Publication date
US20230204957A1 (en) 2023-06-29
US11899213B2 (en) 2024-02-13
KR20220033924A (ko) 2022-03-17

Similar Documents

Publication Publication Date Title
US9846968B2 (en) Holographic bird's eye view camera
US9710973B2 (en) Low-latency fusing of virtual and real content
WO2015012280A1 (ja) 視線検出装置
US9398229B2 (en) Selective illumination of a region within a field of view
US9674436B2 (en) Selective imaging zones of an imaging sensor
US20140168261A1 (en) Direct interaction system mixed reality environments
US11079839B2 (en) Eye tracking device and eye tracking method applied to video glasses and video glasses
KR20170094255A (ko) 가상 포커스 피드백
US10528128B1 (en) Head-mounted display devices with transparent display panels for eye tracking
WO2019151817A1 (en) Apparatus and method for tracking a focal point in a head mounted display system
US10121409B2 (en) Display device, method of controlling display device, and program
WO2022055204A1 (ko) 증강 현실 장치 및 그 제어 방법
WO2022145888A1 (ko) 증강 현실 장치를 제어하는 방법 및 이를 수행하는 증강 현실 장치
WO2022092762A1 (ko) 스테레오 매칭 방법 및 이를 수행하는 영상 처리 장치
US20220365354A1 (en) Segmented illumination display
WO2022169255A1 (ko) 전자 장치 및 그의 사용자 시선을 추적하고 증강 현실 서비스를 제공하는 방법
WO2022050646A1 (ko) 이미지 생성 장치 및 방법
WO2023121120A1 (ko) 간섭 제거 방법 및 상기 방법을 수행하는 전자 장치
WO2024090844A1 (ko) 화면의 상태를 변경하기 위한 웨어러블 장치 및 그 방법
WO2022075642A1 (ko) 객체의 깊이를 측정하는 디바이스 및 방법
WO2023282524A1 (ko) 시력 측정 및 시력 교정을 제공하는 증강 현실 장치 및 방법
WO2024090896A1 (ko) 휠을 포함하는 웨어러블 전자 장치
WO2024080583A1 (ko) 이미지를 활용한 ar 정보 제공 방법 및 전자 장치
WO2023132744A1 (ko) 복수의 어플리케이션 실행 화면들을 그룹화하여 제공하는 웨어러블 디바이스 및 그 제어 방법
WO2023014185A1 (ko) 사용자의 시선을 검출하는 증강 현실 장치 및 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21867070

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21867070

Country of ref document: EP

Kind code of ref document: A1