WO2022075642A1 - 객체의 깊이를 측정하는 디바이스 및 방법 - Google Patents

객체의 깊이를 측정하는 디바이스 및 방법 Download PDF

Info

Publication number
WO2022075642A1
WO2022075642A1 PCT/KR2021/013059 KR2021013059W WO2022075642A1 WO 2022075642 A1 WO2022075642 A1 WO 2022075642A1 KR 2021013059 W KR2021013059 W KR 2021013059W WO 2022075642 A1 WO2022075642 A1 WO 2022075642A1
Authority
WO
WIPO (PCT)
Prior art keywords
light
pattern
depth
augmented reality
region
Prior art date
Application number
PCT/KR2021/013059
Other languages
English (en)
French (fr)
Inventor
윤상호
최종철
고재우
구본곤
Original Assignee
삼성전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자 주식회사 filed Critical 삼성전자 주식회사
Priority to US17/602,645 priority Critical patent/US11852823B2/en
Publication of WO2022075642A1 publication Critical patent/WO2022075642A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/2513—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object with several lines being projected in more than one direction, e.g. grids, patterns
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/22—Measuring arrangements characterised by the use of optical techniques for measuring depth
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows

Definitions

  • the present disclosure relates to a device and method for measuring the depth of an object, and more particularly, to a device and method for measuring the depth of an object using a plurality of patterned lights.
  • a Time of Flight (ToF) type depth camera may be used.
  • the depth camera may acquire depth information corresponding to a distance between the object in the photographed space and the depth camera.
  • spatial augmentation technology in which 3D-based interactive elements are added to fields such as Augment Reality (AR).
  • AR Augment Reality
  • the core of spatial augmentation technology is 3D spatial modeling using a depth camera.
  • three-dimensionalized reality elements have three-dimensional position information in space and can interact with virtual objects.
  • the weight reduction of the device is important, and accordingly, a technology for reducing the power consumption of the device when measuring the depth information of the object is required.
  • a device and method capable of measuring the depth of an object by selectively using a plurality of patterned lights may be provided.
  • a device and method for measuring the depth of an object which can divide the pattern generator into an area for point pattern light and an area for surface pattern light, and emit point pattern light and surface pattern light using the divided areas can be provided.
  • a device and method capable of measuring the depth of an object may be provided, which may reduce power consumption of the device by partially activating a light source for emitting patterned light.
  • a first aspect of the present disclosure includes an operation of determining a pattern of light to be emitted to measure the depth of the object from among a dot pattern or a plane pattern; identifying a partial region of the light source unit corresponding to the determined region for the pattern from among the entire region of the pattern generating unit; activating a partial region of the identified light source unit, thereby emitting light through the region for the determined pattern; receiving light in which the emitted light is reflected by the object; and measuring the depth of the object based on the emitted light and the reflected light.
  • a second aspect of the present disclosure includes a light source for irradiating light for depth measurement; a pattern generator for changing the irradiated light into pattern light; a light receiver configured to receive light reflected from an object around the augmented reality device; a memory storing instructions; and executing the stored instructions: determining a pattern of light to be emitted to measure the depth of the object from among a dot pattern or a plane pattern, and a part of the light source unit corresponding to an area for the determined pattern among the entire area of the pattern generating unit.
  • a processor for measuring the depth of the object including, may provide an augmented reality device.
  • a third aspect of the present disclosure may provide a computer-readable recording medium in which a program for executing the method of the first aspect is recorded on a computer.
  • FIG. 1 is a diagram illustrating an example in which an augmented reality device according to an embodiment measures the depth of an object by emitting point pattern light and surface pattern light.
  • FIG. 2 is a block diagram of an augmented reality device according to an embodiment.
  • FIG. 3 is a block diagram of a depth sensing unit according to an exemplary embodiment.
  • 4A is a diagram illustrating an example of a surface pattern light according to an embodiment.
  • 4B is a diagram illustrating an example of a dot pattern light according to an exemplary embodiment.
  • 5A is a diagram illustrating an example in which light irradiated from a light source unit is changed to a point pattern light by a pattern generating unit 1520 according to an exemplary embodiment.
  • FIG. 5B is a diagram illustrating an example in which light irradiated from a light source unit is changed to a surface pattern light by a pattern generating unit 1520 according to an exemplary embodiment.
  • FIG. 6 is a diagram illustrating a matching relationship between sub-regions of a pattern generator and regions of a real space according to an exemplary embodiment.
  • 7A is a diagram illustrating an example of emitting point pattern light through one sub-region among sub-regions of the pattern generating unit 1520 according to the position of an object according to an exemplary embodiment.
  • 7B is a diagram illustrating an example of emitting point pattern light through two sub-regions among sub-regions of the pattern generator 1520 according to the position of an object according to an exemplary embodiment.
  • FIG. 8 is a flowchart of a method for selectively emitting point pattern light and surface pattern light by an augmented reality device according to an embodiment.
  • FIG. 9 is a flowchart of a method for sequentially emitting point pattern light and surface pattern light by an augmented reality device according to an embodiment.
  • FIG. 10 is a diagram illustrating an example of emitting pattern light in a partial area around a user's gaze point according to an exemplary embodiment.
  • FIG. 11 is a flowchart of a method of emitting pattern light according to a depth of a user's gaze point according to an exemplary embodiment.
  • FIG. 12 is a diagram illustrating an example of emitting pattern light when a user's gesture is detected, according to an embodiment.
  • FIG. 13 is a flowchart of a method of emitting pattern light when a user's gesture is detected, according to an exemplary embodiment.
  • FIG. 14 is a flowchart of a method of measuring the depth of the periphery of the augmented reality apparatus 1000 according to a change in the depth of the gaze point, according to an exemplary embodiment.
  • the expression “at least one of a, b or c” means “a”, “b”, “c”, “a and b”, “a and c”, “b and c”, “a, b” and c all", or variations thereof.
  • AR augmented reality
  • 'augmented reality (AR)' may mean showing a virtual image in a physical environment space of the real world or showing a real object and a virtual image together.
  • 'Augmented Reality Device' refers to a device capable of expressing 'Augmented Reality', and is generally an augmented reality glasses device in the form of glasses worn by a user on a face part ( Augmented Reality Glasses), as well as a head mounted display device (HMD: Head Mounted Display Apparatus) worn on the head, and an augmented reality helmet (Augmented Reality Helmet).
  • Augmented Reality Glasses Augmented Reality Glasses
  • HMD Head Mounted Display Apparatus
  • a 'real scene' is a scene of the real world that a user sees through the augmented reality device, and may include a real world object.
  • a 'virtual image' is an image generated through an optical engine and may include both a static image and a dynamic image. Such a virtual image is observed together with a real scene, and may be an image representing information about a real object in the real scene, information about an operation of an augmented reality device, or a control menu.
  • a general augmented reality device includes an optical engine for generating a virtual image based on light generated from a light source, and a transparent material that guides the virtual image generated by the optical engine to the user's eyes and allows the user to see a scene in the real world together. It may be provided with a waveguide (waveguide) formed of.
  • waveguide waveguide
  • optics for changing the path of light having straightness are basically It includes an optical element.
  • the optical path may be changed by using reflection by a mirror or the like, or the optical path may be changed through diffraction by a diffraction element such as a diffractive optical element (DOE) or a holographic optical element (HOE), but is not limited thereto.
  • DOE diffractive optical element
  • HOE holographic optical element
  • the augmented reality device may measure the depth of an object using a depth sensor.
  • the augmented reality device may emit light toward an object using an active sensor.
  • An 'active sensor' refers to a device that has a source, emits light, illumination, or pulses from a light source to a subject, and receives information reflected from the subject.
  • the active sensor may include its own light source, actively emitting light from the light source to the subject, and measuring backscattering of light reflected from the subject to the active sensor.
  • a Time of Flight (ToF) sensor that calculates the return time after emitting a laser or infrared light to a subject, a laser sensor, a microwave sensor, or a specific pattern light is emitted to determine the distance based on the size or shape of an image formed on the subject.
  • a structured light sensor or an invertible light sensor that calculates can be called an active sensor.
  • the pattern generating unit is a component for changing the light irradiated from the light source to the pattern light, and may be composed of, for example, a diffractive optical element (DOE) or a liquid crystal lens array (LC).
  • DOE diffractive optical element
  • LC liquid crystal lens array
  • the light irradiated from the light source toward the pattern generating unit may be changed to pattern light while passing through the pattern generating unit, and accordingly, the patterned light may be emitted from the pattern generating unit.
  • the pattern generating unit may include a dot pattern light generating region for changing the light irradiated from the light source into a dot pattern light and a plane pattern light generating region for changing the light irradiated from the light source into a plane pattern light.
  • the surface pattern light may be emitted toward the entire area including the object without missing a region from the area including the object.
  • the dot pattern light is pattern light emitted toward some areas within the area including the object, and may include, for example, point-shaped lights spaced apart from each other by a predetermined interval.
  • FIG. 1 is a diagram illustrating an example in which an augmented reality apparatus 1000 according to an embodiment measures the depth of an object by emitting point pattern light and surface pattern light.
  • the augmented reality apparatus 1000 may measure the depth of the object by emitting pattern light to measure the depth of the object and receiving the pattern light reflected from the object.
  • the augmented reality apparatus 1000 may emit surface pattern light to measure the depth of an object located close to the user.
  • the augmented reality apparatus 1000 may effectively identify a gesture of the user's hand by emitting a surface pattern light to measure the depth around the user's hand located in a short distance.
  • the augmented reality apparatus 1000 may emit point pattern light to measure the depth of an object located far from the user.
  • the augmented reality apparatus 1000 may generate a depth map around the sofa by, for example, emitting point pattern light in order to measure the depth around the sofa located at a distance.
  • the augmented reality apparatus 1000 divides the entire area of the pattern generator to be described later into an area for surface pattern light and an area for dot pattern light, and selectively utilizes the divided areas to emit surface pattern light and dot pattern light. can The augmented reality apparatus 1000 may reduce the amount of power consumed to measure the depths of objects located in the near and far distances by effectively controlling the emission of the plane pattern light and the emission of the dot pattern light.
  • FIG. 2 is a block diagram of an augmented reality apparatus 1000 according to an exemplary embodiment.
  • the augmented reality device 1000 includes a user input unit 1100 , a camera module 1200 , an image output unit 1300 , a communication interface 1400 , a depth sensing unit 1500 , and an eye tracking sensor 1600 . ), a storage unit 1700 , and a processor 1800 .
  • the user input unit 1100 means a means for a user to input data for controlling the augmented reality apparatus 1000 .
  • the user input unit 1100 may include a key pad, a dome switch, and a touch pad (contact capacitive method, pressure resistance film method, infrared sensing method, surface ultrasonic conduction method, integral type). It may include at least one of a tension measurement method, a piezo effect method, etc.), a jog wheel, or a jog switch, but is not limited thereto.
  • the user input unit 1100 may receive a user input for measuring the depth of the object.
  • the augmented reality apparatus 1000 may receive a user's voice input through a microphone (not shown).
  • the camera module 1200 may photograph the surroundings of the augmented reality apparatus 1000 .
  • the camera module 1200 may obtain an image frame, such as a still image or a moving picture, through an image sensor when an application requiring a photographing function is executed.
  • the image captured through the image sensor may be processed through the processor 1800 or a separate image processing unit (not shown).
  • the camera module 1200 may include, for example, an RGB camera module, but is not limited thereto.
  • the RGB image captured by the camera module 1200 may be used to measure the depth of an object around the augmented reality device 1000 .
  • the image output unit 1300 displays and outputs information processed by the augmented reality apparatus 1000 .
  • the image output unit 1300 may be related to a service provided based on a user interface for measuring the depth of an object around the augmented reality device 1000 and images captured around the augmented reality device 1000 . information can be printed.
  • the image output unit 1300 may provide an augmented reality (AR) image.
  • the image output unit 1300 may include an optical engine and a wave guide.
  • the optical engine may project the light of the virtual image to be displayed toward the wave guide.
  • the optical engine may include an RGB light source and an image panel.
  • the RGB light source is an optical component that illuminates light, and may generate light by controlling the color of RGB.
  • the RGB light source may be composed of, for example, a light emitting diode (LED).
  • the image panel may be composed of a reflective image panel that reflects while modulating light illuminated by an RGB light source into light containing a two-dimensional image.
  • the reflective image panel may be, for example, a DMD (Digital Micromirror Device) panel or an LCoS (Liquid Crystal on Silicon) panel, or other known reflective image panels.
  • the virtual image projected from the optical engine to the wave guide may be reflected in the wave guide according to a total reflection principle.
  • the optical path of the virtual image projected on the wave guide is changed by the diffraction grating formed in the plurality of regions, so that the virtual image may be finally output to the user's eyes.
  • the wave guide may function like a light guide plate that changes the optical path of the virtual image.
  • the wave guide since the wave guide is formed of a transparent material, the user can not only see the virtual object of the virtual image totally reflected through the wave guide, but also see an external real scene, so the wave guide 1320 ) may be referred to as a see-through display.
  • the image output unit 1300 may provide an augmented reality image by outputting a virtual image through the wave guide.
  • the communication interface 1400 may transmit/receive data for receiving a service to and from an external device (not shown) and a server (not shown) based on an image obtained by photographing the surroundings of the augmented reality apparatus 1000 .
  • the depth sensing unit 1500 may be controlled by the processor 1800 to be described later in order to measure the depth of an object around the augmented reality apparatus 1000 .
  • the depth sensing unit 1500 may include a light source unit 1510 , a pattern generating unit 1520 , and a light receiving unit 1530 , and the structure and operation of the depth sensing unit 1500 will be described in detail with reference to FIG. 3 . .
  • the eye tracking sensor 1600 may track the gaze of the user wearing the augmented reality apparatus 1000 .
  • the gaze tracking sensor 1600 may be installed in a direction toward the user's eyes, and may acquire gaze information related to the user's gaze.
  • the eye tracking sensor 1600 may include, for example, at least one of an IR scanner and an image sensor.
  • the left wave guide and the right wave guide may be respectively disposed toward the user's eyes.
  • the gaze tracking sensor 1600 may detect data related to the gaze of the user's eyes.
  • the user's gaze information may be generated based on data related to the gaze of the user's eyes.
  • the gaze information is information related to the user's gaze, and may include, for example, information about the location of the pupil of the user's eye, the coordinates of the central point of the pupil, the gaze direction of the user, and the like.
  • the user's gaze direction may be, for example, a gaze direction from the central point of the user's pupil toward the user's gaze.
  • the gaze information generated by the gaze tracking sensor 1600 may be used to identify the location and depth of the user's gaze point.
  • the storage unit 1700 may store a program to be executed by the processor 1800 to be described later, and may store data input to or output from the augmented reality apparatus 1000 .
  • Storage unit 1700 is a flash memory type (flash memory type), hard disk type (hard disk type), multimedia card micro type (multimedia card micro type), card type memory (for example, SD or XD memory, etc.), RAM (Random Access Memory) SRAM (Static Random Access Memory), ROM (Read-Only Memory), EEPROM (Electrically Erasable Programmable Read-Only Memory), PROM (Programmable Read-Only Memory), magnetic memory, magnetic It may include at least one type of storage medium among a disk and an optical disk.
  • Programs stored in the storage unit 1700 can be classified into a plurality of modules according to their functions, for example, a light pattern selection module 1710, an emission range determination module 1720, a light source control module 1730, It may include a depth information generation module 1740 and a gaze point identification module 1750 .
  • the processor 1800 controls the overall operation of the augmented reality apparatus 1000 .
  • the processor 1800 executes programs stored in the storage unit 1700 , and thus the user input unit 1100 , the camera module 1200 , the image output unit 1300 , the communication interface 1400 , and the depth sensing unit 1500 , the eye tracking sensor 1600 , the storage unit 1700 , and the like may be controlled in general.
  • the processor 1800 may select the type of pattern light to be emitted through the pattern generator 1520 by executing the optical pattern selection module 1710 stored in the storage unit 1700 .
  • the processor 1800 may select a pattern of light to be emitted through the pattern generator 1520 .
  • the processor 1800 may determine whether to emit the point pattern light or the surface pattern light based on the distance between the object whose depth is to be measured and the augmented reality device.
  • the processor 1800 may determine to emit the point pattern light when the distance between the augmented reality device and the object on which the user's gaze point is located is equal to or greater than a predetermined threshold. For example, the processor 1800 identifies the depth of the user's gaze point using a gaze tracking sensor 1600 to be described later, and determines to emit the point pattern light when the depth of the user's gaze point is greater than a threshold value. can Also, for example, the processor 1800 identifies the depth of the user's gaze point using a gaze tracking sensor 1600, which will be described later, and emits surface pattern light when the depth of the user's gaze point is smaller than a threshold. can decide what
  • the processor 1800 may first measure the depth of a predetermined area around the location where the user's gaze point is located, and determine to emit the point pattern light when the measured depth is greater than a threshold value. Also, for example, the processor 1800 may first measure the depth of a predetermined area around the location where the user's gaze point is located, and determine to emit the surface pattern light when the measured depth is smaller than a threshold value.
  • the processor 1800 may determine to emit the dot pattern light when it is necessary to scan the periphery of the augmented reality apparatus 1000 . For example, when the augmented reality apparatus 1000 is powered on, the processor 1800 may determine to emit the dot pattern light to generate a depth map for surrounding objects. Also, for example, when the depth of the user's gaze point greatly changes by more than a predetermined threshold, the processor 1800 may determine to emit the point pattern light to generate a depth map for surrounding objects. .
  • the processor 1800 may determine to emit the surface pattern light. For example, when a predetermined gesture action by the user's hand is sensed, the processor 1800 may determine to emit the surface pattern light to receive the user's hand gesture input.
  • the processor 1800 may detect the user's hand gesture, determine to emit the surface pattern light to the area around the user's hand, and determine to emit the dot pattern light to the remaining area.
  • the processor 1800 may determine the emission range in which the pattern light is to be emitted by executing the emission range determination module 1720 stored in the storage unit 1700 .
  • the processor 1800 may determine an emission range in which the dot pattern light is to be emitted, and identify a light source corresponding to the dot pattern light generation region of the pattern generator 1520 .
  • the processor 1800 may identify a part of the light source unit 1510 corresponding to the entire dot pattern light generation area.
  • the processor 1800 may select a sub-region of the dot-pattern light generating region and select a part of the light source unit 1510 corresponding to the selected sub-region. there is.
  • the processor 1800 may determine an emission range in which the surface pattern light is to be emitted, and identify a light source corresponding to the surface pattern light generation region of the pattern generator 1520 . In addition, the processor 1800 may identify a part of the light source unit 1510 corresponding to the entire surface pattern light generation area. When the emission range for emitting the surface pattern light is a partial region of real space, the processor 1800 may select a sub-region of the plane pattern light generating region and select a part of the light source unit 1510 corresponding to the selected sub-region. there is.
  • the processor 1800 may determine to emit the pattern light only for a partial area among the entire area around the augmented reality apparatus 1000 according to a preset criterion. For example, the processor 1800 may determine the emission range of the pattern light in consideration of the type of application being executed and the function of the application. For example, in order to identify the user's gesture, the processor 1800 may determine a partial area around the user's hand as an area to emit the pattern light.
  • the present invention is not limited thereto, and, for example, the emission range of the pattern light may be determined according to various criteria such as the remaining battery power of the augmented reality apparatus 1000 , the battery consumption for measuring the depth, and the accuracy of the depth to be measured.
  • the processor 1800 may determine a predetermined area around the user's gaze point as an area to emit pattern light.
  • the processor 1800 may cause the pattern light to be emitted through at least a portion of the pattern generation unit 1520 .
  • the processor 1800 may determine through which region of the pattern generator 1520 the pattern light should be emitted, based on the type of the pattern light and the emission range of the pattern light.
  • the processor 1800 may determine a pattern of light to be emitted and an emission range of the light to be emitted, and may determine through which region of the pattern generator 1520 the light should be emitted.
  • the processor 1800 may activate a partial region of the light source unit 1510 corresponding to a partial region of the pattern generator 1520 so that pattern light is emitted through the partial region of the pattern generator 1520 .
  • the processor 1800 activates a part of the light source unit 1510 corresponding to the dot pattern light generating area, so that the light irradiated from the part of the light source unit 1510 is emitted through the dot pattern light generating area of the pattern generating unit 1520 . can make it happen
  • the light emitted through the dot pattern light generating area may be dot pattern light.
  • the processor 1800 may receive the dot pattern light reflected from the object.
  • the dot pattern light emitted from the dot pattern light generating area may be reflected from the object, and the light receiver 1530 of the augmented reality apparatus 1000 may receive the reflected dot pattern light.
  • the processor 1800 activates a part of the light source unit 1510 corresponding to the planar pattern light generating area, so that the light irradiated from the part of the light source 1510 is emitted through the planar pattern light generating area of the pattern generating unit 1520 . can make it happen
  • the light emitted through the surface pattern light generating area may be a surface pattern light.
  • the processor 1800 may receive the surface pattern light reflected from the object.
  • the surface pattern light emitted from the surface pattern light generating area may be reflected from the object, and the light receiver 1530 of the augmented reality apparatus 1000 may receive the reflected surface pattern light.
  • the processor 1800 may control the light source unit 1510 to sequentially emit surface pattern light and dot pattern light in order to scan the periphery of the augmented reality apparatus 1000 .
  • the processor 1800 activates a portion of the light source unit 1510 corresponding to the dot pattern light generating region of the pattern generating unit 1520 to emit dot pattern light, and thereafter, the surface of the pattern generating unit 1520 .
  • the operation of activating a portion of the light source unit 1510 corresponding to the pattern light generating region to emit the surface pattern light may be repeated.
  • the processor 1800 may determine whether to end scanning around the augmented reality apparatus 1000 based on a depth measurement result by the depth information generating module 1740 to be described later. When it is determined that the depth map is sufficiently generated, the processor 1800 may end scanning around the augmented reality apparatus 1000 .
  • the processor 1800 may measure the depth of the object by executing the depth information generation module 1740 stored in the storage unit 1700 .
  • the processor 1800 may measure the depth of the object based on the emitted dot pattern light and the reflected dot pattern light. For example, the processor 1800 calculates the depth of the object based on the time at which the point pattern light is emitted, the time at which the reflected point pattern light is received, the pattern of the emitted point pattern light, and the pattern of the received point pattern light. can do.
  • the processor 1800 may generate a depth map around the augmented reality apparatus 1000 based on the calculated depth of the object.
  • the processor 1800 may measure the depth of the object based on the emitted surface pattern light and the reflected surface pattern light.
  • the processor 1800 may calculate the depth of the object based on the time at which the surface pattern light is emitted, the time at which the reflected surface pattern light is received, the pattern of the emitted surface pattern light, and the pattern of the received surface pattern light. Also, the processor 1800 may identify the user's gesture based on the calculated depth of the object.
  • the processor 1800 may control the above-described gaze tracking sensor 1600 by executing the gaze point identification module 1750 stored in the storage unit 1700 and identify the gaze point of the user.
  • the processor 1800 may measure the depth of the user's gaze point. For example, the processor 1800 may calculate the depth of the gaze point at which the user gazes based on the location of the user's pupil. Alternatively, for example, the processor 1800 may measure the depth of the object located at the user's gaze point using the depth sensing unit 1500 . In this case, the processor 1800 may irradiate light toward the object where the user's gaze point is located, and measure the depth of the gaze point using the light reflected from the object.
  • the processor 1800 may identify the user's gaze point through the gaze tracking sensor 1600 and determine whether a change in depth of the identified gaze point is greater than a predetermined threshold.
  • the processor 1800 may monitor a change in the depth of the user's gaze point and determine whether the change in the depth of the user's gaze point is greater than a predetermined threshold.
  • the processor 1800 may determine whether to scan the periphery of the augmented reality apparatus 1000 according to a change in the depth of the user's gaze point.
  • FIG. 3 is a block diagram of a depth sensing unit 1500 according to an exemplary embodiment.
  • the depth sensing unit 1500 may include a light source unit 1510 , a pattern generating unit 1520 , and a light receiving unit 1530 .
  • the light source unit 1510 may include a plurality of light source elements and may radiate light toward at least a portion of the pattern generation unit 1520 .
  • the light source unit 1510 may include a plurality of laser light emitting devices arranged, and the light source unit 1510 is located at the lower end of the pattern generating unit 1520 to be described later and directs laser light toward the pattern generating unit 1520 . can be investigated.
  • the pattern generator 1520 may generate a pattern of light irradiated from the light source 1510 . Pattern light may be emitted from the pattern generator 1520 while the light irradiated from the light source 1510 passes through the pattern generator 1520 .
  • the pattern generating unit 1520 includes a dot pattern light generating region for changing the light irradiated from the light source unit 1510 into a dot pattern light and a surface pattern light generating region for changing the light irradiated from the light source 1510 into a plane pattern light. may include Also, each of the dot pattern light generation region and the surface pattern light generation region may be divided into a plurality of sub-regions.
  • the pattern generator 1520 may be formed of, for example, a diffractive optical element (DOE) or a liquid crystal lens array (LC).
  • DOE diffractive optical element
  • the pattern generator 1520 may be manufactured to include a point pattern light generation region and a surface pattern light generation region.
  • a predetermined control voltage is applied to the pattern generator 1520 by the processor 1800 to thereby As the arrangement of the liquid crystal molecules is changed, the dot pattern light generating region and the planar pattern light generating region may be flexibly formed in the pattern generating unit 1520 .
  • the light receiver 1530 may receive the reflected pattern light.
  • 4A is a diagram illustrating an example of a surface pattern light according to an embodiment.
  • the surface pattern light may be emitted from the depth sensing unit 1500 .
  • the surface pattern light 40 is patterned light emitted toward the entire area including the object, and may be emitted toward the entire area including the object without missing a region from the area including the object.
  • 4B is a diagram illustrating an example of a dot pattern light according to an exemplary embodiment.
  • a point pattern light may be emitted from the depth sensing unit 1500 .
  • the dot pattern light 42 is pattern light emitted toward some areas within the area including the object, and may include, for example, point-shaped lights spaced apart from each other by a predetermined interval.
  • 5A is a diagram illustrating an example in which light irradiated from the light source unit 1510 is changed to a point pattern light by the pattern generation unit 1520 according to an exemplary embodiment.
  • the dot pattern light is emitted toward the real space.
  • FIG. 5B is a diagram illustrating an example in which light irradiated from the light source unit 1510 is changed to a surface pattern light by the pattern generating unit 1520 according to an exemplary embodiment.
  • the plane pattern light is emitted toward the real space.
  • FIG. 6 is a diagram illustrating a matching relationship between sub-regions of the pattern generating unit 1520 and real space regions according to an exemplary embodiment.
  • the dot pattern light generation region for the dot pattern light in the pattern generator 1520 may be divided into a subregion a, a subregion b, a subregion c, a subregion d, and a subregion e.
  • a sub-region a of the pattern generator 1520 corresponds to an area A of the real space
  • a sub-region b of the pattern generator 1520 corresponds to an area B in the real space
  • a lower area of the pattern generator 1520 .
  • Region c corresponds to region C of real space
  • subregion d of the pattern generating unit 1520 corresponds to region D in real space
  • subregion e of pattern generating unit 1520 corresponds to region E in real space can be
  • Point light is emitted toward the area B, the light emitted from the light source unit 1510 passes through the sub area c, and the point light is emitted toward area C of the real space, and the light irradiated from the light source 1510 is lower While passing through the area d, the point patch light may be emitted toward the area D of the real space, and the point patch light may be emitted toward the area E of the real space while the light irradiated from the light source unit 1510 passes through the sub area e.
  • 7A is a diagram illustrating an example of emitting point pattern light through one sub-region among sub-regions of the pattern generating unit 1520 according to the position of an object according to an exemplary embodiment.
  • the augmented reality apparatus 1000 when the object for depth measurement is included in region A of the real space, the augmented reality apparatus 1000 generates point pattern light through only sub-region a among the sub-regions of the pattern generator 1520 . can be released
  • the augmented reality apparatus 1000 activates a partial region of the light source unit 1510 corresponding to the sub-region a of the pattern generating unit 1520 , and the light irradiated from the activated partial region is transmitted to the pattern generating unit 1520 .
  • the point pattern light may be emitted from the sub-region a of the pattern generator 1520 toward the region A of the real space.
  • the point pattern light emitted toward the area A of the real space is reflected from the object, and the reflected point pattern light is received by the light receiver 1530, so that the augmented reality device 1000 can measure the depth of the object. there is.
  • 7B is a diagram illustrating an example of emitting point pattern light through two sub-regions among sub-regions of the pattern generator 1520 according to the position of an object according to an exemplary embodiment.
  • the augmented reality apparatus 1000 displays the sub-regions a and sub-regions among the sub-regions of the pattern generator 1520 .
  • Point pattern light can be emitted through only c.
  • the augmented reality apparatus 1000 activates some areas of the light source unit 1510 corresponding to the sub-area a and the sub-area c of the pattern generator 1520 , and the light irradiated from the activated partial areas generates a pattern.
  • the point pattern light may be emitted from the sub-area a and the sub-area c of the pattern generating unit 1520 toward the areas A and C of the real space.
  • the point pattern light emitted toward the areas A and C of the real space is reflected from the object, and the reflected point pattern light is received by the light receiving unit 1530, so that the augmented reality apparatus 1000 determines the depth of the object. can be measured
  • the augmented reality apparatus 1000 may emit the point pattern light only for a partial region of the real space where the object is located, and accordingly, the amount of power consumed by the augmented reality apparatus 1000 to measure the depth of the object. can be reduced.
  • FIG. 8 is a flowchart of a method for selectively emitting point pattern light and surface pattern light by the augmented reality apparatus 1000 according to an exemplary embodiment.
  • the augmented reality apparatus 1000 may determine whether to emit dot pattern light.
  • the augmented reality apparatus 1000 may determine whether to emit the dot pattern light or the surface pattern light based on the distance between the object for which the depth is to be measured and the augmented reality apparatus 1000 .
  • the augmented reality apparatus 1000 may determine to emit the dot pattern light when the distance between the augmented reality apparatus 1000 and the object at which the user's gaze point is located is equal to or greater than a predetermined threshold. For example, the augmented reality apparatus 1000 identifies the depth of the user's gaze point using the gaze tracking sensor 1600 , and determines to emit the dot pattern light when the depth of the user's gaze point is greater than a threshold value. can Also, for example, the augmented reality device 1000 may use the eye tracking sensor 1600 to identify the depth of the user's gaze point, and emit a plane pattern light when the depth of the user's gaze point is smaller than a threshold value. can decide what
  • the augmented reality apparatus 1000 may first measure the depth of a predetermined area around the location where the user's gaze point is located, and determine to emit the point pattern light when the measured depth is greater than a threshold value. Also, for example, the augmented reality apparatus 1000 may first measure the depth of a predetermined area around the location where the user's gaze point is located, and determine to emit the surface pattern light when the measured depth is smaller than a threshold value. .
  • the augmented reality apparatus 1000 may determine to emit dot pattern light when it is necessary to scan the surroundings of the augmented reality apparatus 1000 . For example, when the augmented reality apparatus 1000 is powered on, the augmented reality apparatus 1000 may determine to emit a dot pattern light to generate a depth map for surrounding objects. Also, for example, when the depth of the user's gaze point greatly changes by more than a predetermined threshold, the augmented reality apparatus 1000 generates a depth map for surrounding objects. It can be decided to emit patterned light.
  • the augmented reality apparatus 1000 may determine to emit the surface pattern light when it is necessary to identify the user's gesture input. For example, when a predetermined gesture action by the user's hand is sensed, the augmented reality apparatus 1000 may determine to emit the surface pattern light to receive the user's hand gesture input.
  • the augmented reality apparatus 1000 may identify the light source unit 1510 corresponding to the dot pattern light generation region of the pattern generator 1520 in operation S805 .
  • the pattern generator 1520 may include a dot pattern light generating area for generating the dot pattern light and a surface pattern light generating area for generating the surface pattern light.
  • the augmented reality apparatus 1000 may identify a part of the light source unit 1510 corresponding to the dot pattern light generation area.
  • a portion of the light source unit 1510 corresponding to the dot pattern light generation region may be a portion that irradiates light from the light source unit 1510 to the dot pattern light generation region.
  • the augmented reality apparatus 1000 may emit dot pattern light through the pattern generator 1520 .
  • the augmented reality apparatus 1000 activates a portion of the light source unit 1510 corresponding to the point pattern light generation area, so that the light irradiated from a portion of the light source unit 1510 passes through the point pattern light generation area of the pattern generation unit 1520 . can be made to be released.
  • the light emitted through the dot pattern light generating area may be dot pattern light.
  • the augmented reality apparatus 1000 may receive the dot pattern light reflected from the object.
  • the dot pattern light emitted from the dot pattern light generating area may be reflected from the object, and the light receiver 1530 of the augmented reality apparatus 1000 may receive the reflected dot pattern light.
  • the augmented reality apparatus 1000 may measure the depth of the object based on the emitted dot pattern light and the reflected dot pattern light.
  • the augmented reality device 1000 calculates the depth of the object based on a time at which the point pattern light is emitted, a time at which the reflected point pattern light is received, and a difference between the pattern of the emitted point pattern light and the pattern of the received point pattern light can do.
  • the augmented reality apparatus 1000 may identify the light source unit 1510 corresponding to the surface pattern light generation region of the pattern generator 1520 . Also, the augmented reality apparatus 1000 may identify a part of the light source unit 1510 corresponding to the surface pattern light generation area. A part of the light source unit 1510 corresponding to the planar pattern light generating area may be a part irradiating light from the light source 1510 to the planar pattern light generating area.
  • the augmented reality apparatus 1000 may emit surface pattern light through the pattern generator 1520 .
  • the augmented reality apparatus 1000 activates a portion of the light source unit 1510 corresponding to the surface pattern light generation area, so that light irradiated from a part of the light source unit 1510 passes through the surface pattern light generation area of the pattern generation unit 1520 . can be made to be released.
  • the light emitted through the surface pattern light generating area may be a surface pattern light.
  • the augmented reality apparatus 1000 may receive the surface pattern light reflected from the object.
  • the surface pattern light emitted from the surface pattern light generating area may be reflected from the object, and the light receiver 1530 of the augmented reality apparatus 1000 may receive the reflected surface pattern light.
  • the depth of the object may be measured.
  • the augmented reality apparatus 1000 calculates the depth of the object based on the time at which the surface pattern light is emitted, the time at which the reflected surface pattern light is received, and the difference between the pattern of the emitted surface pattern light and the pattern of the received surface pattern light can do.
  • FIG. 9 is a flowchart of a method in which the augmented reality apparatus 1000 sequentially emits point pattern light and surface pattern light according to an exemplary embodiment.
  • the augmented reality apparatus 1000 may sequentially emit point pattern light and surface pattern light to scan the periphery of the augmented reality apparatus 1000 .
  • the augmented reality apparatus 1000 identifies a light source corresponding to the dot pattern light generation region of the pattern generation unit 1520 , and in operation S905 , the augmented reality apparatus 1000 performs a dot pattern through the pattern generation unit 1520 .
  • the augmented reality apparatus 1000 may activate the identified light source so that light from the light source is irradiated and passes through the dot pattern light generating area of the pattern generating unit 1520 .
  • the dot pattern light may be emitted toward the object from the dot pattern light generating area.
  • the augmented reality apparatus 1000 receives the dot pattern light reflected from the object, and in operation S915 , the augmented reality apparatus 1000 determines the object based on the emitted dot pattern light and the received dot pattern light. Depth information can be generated.
  • the augmented reality apparatus 1000 identifies a light source corresponding to the surface pattern light generation region of the pattern generator 1520 , and in operation S925 , the augmented reality apparatus 1000 performs a surface pattern through the pattern generator 1520 .
  • the augmented reality apparatus 1000 may activate the identified light source so that light from the light source is irradiated and passes through the surface pattern light generating area of the pattern generating unit 1520 .
  • the surface pattern light may be emitted from the surface pattern light generating area toward the object.
  • the augmented reality device 1000 receives the surface pattern light reflected from the object
  • the augmented reality apparatus 1000 receives the surface pattern light of the object based on the emitted surface pattern light and the received surface pattern light. Depth information can be generated.
  • the augmented reality apparatus 1000 may determine whether to end depth measurement.
  • the augmented reality apparatus 1000 may measure a depth of objects around the augmented reality apparatus 1000 and generate a depth map around the augmented reality apparatus 1000 . If it is determined that the depth map is not sufficiently generated, the augmented reality apparatus 1000 may repeatedly perform operations S900 to S935. If it is determined that the depth map is sufficiently generated, the augmented reality apparatus 1000 may end depth measurement.
  • FIG. 10 is a diagram illustrating an example of emitting pattern light in a partial area around a user's gaze point according to an exemplary embodiment.
  • the augmented reality device 1000 identifies the user's gaze point 100 , and emits pattern light from a partial area around the user's gaze point 100 among the surrounding areas of the augmented reality device 1000 . It can be set as the area 110 . Also, the pattern light may be emitted toward the set pattern light emission area 110 of the augmented reality apparatus 1000 .
  • FIG. 11 is a flowchart of a method of emitting pattern light according to a depth of a user's gaze point according to an exemplary embodiment.
  • the augmented reality apparatus 1000 may identify the user's gaze point.
  • the augmented reality apparatus 1000 may use the eye tracking sensor 1600 to identify the user's gaze point.
  • the augmented reality apparatus 1000 may measure the depth of the user's gaze point.
  • the augmented reality apparatus 1000 may calculate the depth of the gaze point at which the user gazes based on the location of the user's pupil.
  • the augmented reality apparatus 1000 may directly measure the depth of an object located at the user's gaze point. In this case, the augmented reality apparatus 1000 may irradiate light toward the object where the user's gaze point is located, and measure the depth of the gaze point using light reflected from the object.
  • the augmented reality apparatus 1000 may determine the type of pattern light to be emitted based on the depth of the gaze point.
  • the augmented reality apparatus 1000 may determine to emit the point pattern light when the depth of the gaze point is greater than a predetermined threshold.
  • the augmented reality apparatus 1000 may determine to emit the surface pattern light when the depth of the gaze point is smaller than a predetermined threshold.
  • the threshold compared with the depth of the gaze point may be a value of a predetermined distance around the user's body. Accordingly, when it is determined that the user is gazing around the user's body, the augmented reality apparatus 1000 may determine to emit the surface pattern light. Also, when it is determined that the user is gazing at a part far from the user, the augmented reality apparatus 1000 may determine to emit the dot pattern light.
  • the augmented reality apparatus 1000 may determine the emission range of the pattern light.
  • the augmented reality apparatus 1000 may determine to emit the pattern light only for a partial area among the entire area around the augmented reality apparatus 1000 according to a preset criterion.
  • the augmented reality apparatus 1000 may determine the emission range of the pattern light in consideration of the type of the application being executed and the function of the application.
  • the augmented reality apparatus 1000 may determine a partial area around the user's hand as an area to emit pattern light.
  • the present invention is not limited thereto, and, for example, the emission range of the pattern light may be determined according to various criteria such as the remaining battery power of the augmented reality apparatus 1000 , the battery consumption for measuring the depth, and the accuracy of the depth to be measured.
  • the augmented reality apparatus 1000 may select a partial region of the pattern generator 1520 based on the type of pattern light and the emission range of the pattern light.
  • the augmented reality apparatus 1000 may determine through which region of the pattern generator 1520 the pattern light should be emitted according to the type of pattern light and the emission range of the pattern light.
  • the augmented reality apparatus 1000 may activate a partial region of the light source unit 1510 corresponding to a partial region of the pattern generator 1520 to emit pattern light.
  • the augmented reality apparatus 1000 may activate a partial region of the light source unit 1510 that irradiates light to a partial region of the pattern generator 1520 selected in operation S1115, and the light irradiated from the partial region of the light source unit 1510 is
  • the partial region of the pattern generator 1520 selected in operation S1115 may be passed.
  • the pattern light passing through the partial region of the pattern generator 1520 may be emitted toward the object.
  • the augmented reality device 1000 receives the reflected pattern light from the object around the gaze point, and in operation S1130 , the augmented reality device 1000 receives the pattern light around the gaze point based on the emitted pattern light and the reflected pattern light. depth can be measured.
  • FIG. 12 is a diagram illustrating an example of emitting pattern light when a user's gesture is detected, according to an embodiment.
  • the augmented reality apparatus 1000 detects a user's hand gesture, emits a surface pattern light to an area around (or corresponding to a hand) of the user's hand, and emits a point pattern light to the remaining area.
  • FIG. 13 is a flowchart of a method of emitting pattern light when a user's gesture is detected, according to an exemplary embodiment.
  • the augmented reality apparatus 1000 may detect a user's hand gesture.
  • the user may perform a preset operation to input a gesture using his/her hand, and the augmented reality apparatus 1000 may detect the user's hand gesture.
  • the augmented reality apparatus 1000 may monitor the periphery of the augmented reality apparatus 1000 by emitting a small amount of pattern light, and may detect a user's motion for inputting a gesture.
  • the augmented reality apparatus 1000 may emit a surface pattern light toward an area around the user's hand.
  • the augmented reality apparatus 1000 may determine a predetermined area around (or corresponding to) the user's hand as an area for emitting the surface pattern light, and may emit the surface pattern light with respect to the determined area.
  • the augmented reality apparatus 1000 emits surface pattern light only to the area around the user's hand, thereby reducing power consumption of the augmented reality apparatus 1000 and effectively detecting the user's hand gesture.
  • the augmented reality apparatus 1000 may emit dot pattern light toward the remaining area.
  • the augmented reality apparatus 1000 may acquire depth information about objects around the user while sensing the user's hand gesture by emitting point pattern light to the remaining area other than the area around the user's hand in the real space.
  • FIG. 14 is a flowchart of a method of measuring the depth of the periphery of the augmented reality apparatus 1000 according to a change in the depth of the gaze point, according to an exemplary embodiment.
  • the augmented reality apparatus 1000 may determine whether the change in the depth of the gaze point is greater than a predetermined threshold.
  • the augmented reality apparatus 1000 may monitor a change in the depth of the user's gaze point and determine whether the change in the depth of the user's gaze point is greater than a predetermined threshold.
  • the augmented reality apparatus 1000 may measure the depth of the entire area of the real space in operation S1410. If the change in the depth of the user's gaze point is large, the user may be located in a new environment, so the augmented reality apparatus 1000 determines the depth of the entire area of the real space in order to scan the periphery of the augmented reality apparatus 1000 . can be measured
  • the augmented reality apparatus 1000 may emit the dot pattern light toward the periphery of the augmented reality apparatus 1000 and receive the dot pattern light reflected from the object. Also, the augmented reality apparatus 1000 may measure a depth around the augmented reality apparatus 1000 by comparing the emitted dot pattern light and the received dot pattern light.
  • the augmented reality apparatus 1000 may measure the depth of the area around the gaze point in operation S1420. When the change in the depth of the user's gaze point is small, since the user may be located in an existing environment, the augmented reality apparatus 1000 may measure only the depth of the area around the gaze point.
  • An embodiment may also be implemented in the form of a recording medium including instructions executable by a computer, such as a program module to be executed by a computer.
  • a computer-readable recording medium may be any available medium that can be accessed by a computer, and includes both volatile and nonvolatile media, removable and non-removable media.
  • the computer-readable recording medium may include a computer storage medium and a communication medium.
  • Computer storage media includes both volatile and nonvolatile, removable and non-removable media implemented in any method or technology for storage of information such as computer readable instructions, data structures, program modules or other data.
  • Communication media may typically include computer readable instructions, data structures, or other data in a modulated data signal such as program modules.
  • the computer-readable storage medium may be provided in the form of a non-transitory storage medium.
  • 'non-transitory storage medium' is a tangible device and only means that it does not contain a signal (eg, electromagnetic wave). It does not distinguish the case where it is stored as
  • the 'non-transitory storage medium' may include a buffer in which data is temporarily stored.
  • the method according to various embodiments disclosed in this document may be included and provided in a computer program product.
  • Computer program products may be traded between sellers and buyers as commodities.
  • the computer program product is distributed in the form of a device-readable storage medium (eg compact disc read only memory (CD-ROM)), or through an application store (eg Play StoreTM) or on two user devices (eg, It can be distributed (eg downloaded or uploaded) directly or online between smartphones (eg: smartphones).
  • a portion of the computer program product eg, a downloadable app
  • a machine-readable storage medium such as a memory of a manufacturer's server, a server of an application store, or a relay server. It may be temporarily stored or temporarily created.
  • unit may be a hardware component such as a processor or circuit, and/or a software component executed by a hardware component such as a processor.
  • a, b, or c means “including only a, including only b, including only c, or including a and b, or including b and c, It may mean including a and c, or including both a, b and c.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Optics & Photonics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

증강 현실 장치가 객체의 깊이를 측정하는 방법은, 점 패턴 또는 면 패턴 중에서 상기 객체의 깊이를 측정하기 위해 방출될 광의 패턴을 결정하는 동작; 패턴 생성부의 전체 영역 중에서 상기 결정된 패턴을 위한 영역에 대응되는 광원부의 일부 영역을 식별하는 동작; 상기 식별된 광원부의 일부 영역을 활성화함으로써, 상기 결정된 패턴을 위한 영역을 통하여 광을 방출하는 동작; 상기 방출된 광이 상기 객체에 의해 반사된 광을 수신하는 동작; 및 상기 방출된 광 및 상기 반사된 광에 기초하여, 상기 객체의 깊이를 측정하는 동작;을 포함한다.

Description

객체의 깊이를 측정하는 디바이스 및 방법
본 개시는 객체의 깊이를 측정하는 디바이스 및 방법에 관한 것으로서, 보다 상세하게는 복수의 패턴광을 이용하여 객체의 깊이를 측정하는 디바이스 및 방법에 관한 것이다.
3차원의 공간을 모델링하기 위해서는 해당 공간에 대한 깊이 정보가 필요하다. 이러한 깊이 정보를 파악하기 위해, ToF(Time of Flight) 방식의 깊이 카메라가 이용될 수 있다. 깊이 카메라는 촬영된 공간 내의 객체와 깊이 카메라 간의 거리에 대응되는 깊이 정보를 획득할 수 있다.
증강 현실(Augment Reality, AR)과 같은 분야에 3차원 기반의 상호 작용 요소가 가미된 공간 증강 기술에 대해 관심이 높아지고 있다. 공간 증강 기술의 핵심은 깊이 카메라를 이용한 3차원 공간 모델링이다. 공간 증강 기술을 이용하면, 3차원화된 현실 요소들은 공간 내에서 3차원 위치 정보를 갖게 되고, 가상 객체와 상호 작용할 수 있다.
이러한 증강 현실 분야에서 디바이스의 경량화가 중요시되고 있으며, 이에 따라, 객체의 깊이 정보를 측정하는 경우에 디바이스의 전력 소모를 감소시키기 위한 기술이 요구되고 있다.
복수의 패턴광을 선택적으로 이용하여 객체의 깊이를 측정할 수 있는 디바이스 및 방법이 제공될 수 있다.
또한, 패턴 생성부를 점 패턴광을 위한 영역 및 면 패턴광을 위한 영역으로 구분하고, 구분된 영역들을 이용하여 점 패턴광 및 면 패턴광을 방출할 수 있는, 객체의 깊이를 측정하는 디바이스 및 방법이 제공될 수 있다.
또한, 패턴광을 방출하기 위한 광원을 부분적으로 활성화하여 디바이스의 전력 소모를 감소시킬 수 있는, 객체의 깊이를 측정할 수 있는 디바이스 및 방법이 제공될 수 있다.
상술한 기술적 과제를 달성하기 위한 기술적 수단으로서, 본 개시의 제1 측면은, 점 패턴 또는 면 패턴 중에서 상기 객체의 깊이를 측정하기 위해 방출될 광의 패턴을 결정하는 동작; 패턴 생성부의 전체 영역 중에서 상기 결정된 패턴을 위한 영역에 대응되는 광원부의 일부 영역을 식별하는 동작; 상기 식별된 광원부의 일부 영역을 활성화함으로써, 상기 결정된 패턴을 위한 영역을 통하여 광을 방출하는 동작; 상기 방출된 광이 상기 객체에 의해 반사된 광을 수신하는 동작; 및 상기 방출된 광 및 상기 반사된 광에 기초하여, 상기 객체의 깊이를 측정하는 동작;을 포함하는, 증강 현실 장치가 객체의 깊이를 측정하는 방법을 제공할 수 있다.
또한, 본 개시의 제2 측면은, 깊이 측정을 위한 광을 조사하는 광원부; 상기 조사된 광을 패턴광으로 변경하는 패턴 생성부; 상기 증강 현실 장치 주변의 객체로부터 반사된 광을 수신하는 광수신부; 명령어들을 저장하는 메모리; 및 상기 저장된 명령어들을 실행하여: 점 패턴 또는 면 패턴 중에서 상기 객체의 깊이를 측정하기 위해 방출될 광의 패턴을 결정하고,상기 패턴 생성부의 전체 영역 중에서 상기 결정된 패턴을 위한 영역에 대응되는 상기 광원부의 일부 영역을 식별하며, 상기 식별된 광원부의 일부 영역을 활성화함으로써, 상기 결정된 패턴을 위한 영역을 통하여 광을 방출하고, 상기 방출된 광이 상기 객체에 의해 반사된 광을 상기 광 수신부를 통하여 수신하고, 상기 방출된 광 및 상기 반사된 광에 기초하여, 상기 객체의 깊이를 측정하는 프로세서;를 포함하는, 증강 현실 장치를 제공할 수 있다.
또한, 본 개시의 제3 측면은, 제1 측면의 방법을 컴퓨터에서 실행하기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 제공할 수 있다.
도 1은 일 실시예에 따른 증강 현실 장치가 점 패턴광 및 면 패턴광을 방출하여 객체의 깊이를 측정하는 예시를 나타내는 도면이다.
도 2는 일 실시예에 따른 증강 현실 장치의 블록도이다.
도 3은 일 실시예에 따른 깊이 센싱부의 블록도이다.
도 4a는 일실시예에 따른 면 패턴광의 예시를 나타내는 도면이다.
도 4b는 일 실시예에 따른 점 패턴광의 예시를 나타내는 도면이다.
도 5a는 일 실시예에 따른 광원부로부터 조사된 광이 패턴 생성부(1520)에 의해 점 패턴광으로 변경되는 예시를 나타내는 도면이다.
도 5b는 일 실시예에 따른 광원부으로부터 조사된 광이 패턴 생성부(1520)에 의해 면 패턴광으로 변경되는 예시를 나타내는 도면이다.
도 6은 일 실시예에 따른 패턴 생성부의 하위 영역들 및 실제 공간의 영역들의 매칭 관계를 나타내는 도면이다.
도 7a는 일 실시예에 따른 객체의 위치에 따라 패턴 생성부(1520)의 하위 영역들 중 하나의 하위 영역을 통하여 점 패턴광을 방출하는 예시를 나타내는 도면이다.
도 7b는 일 실시예에 따른 객체의 위치에 따라 패턴 생성부(1520)의 하위 영역들 중 두개의 하위 영역을 통하여 점 패턴광을 방출하는 예시를 나타내는 도면이다.
도 8은 일 실시예에 따른 증강 현실 장치가 점 패턴광 및 면 패턴광을 선택적으로 방출하는 방법의 흐름도이다.
도 9는 일 실시예에 따른 증강 현실 장치가 점 패턴광 및 면 패턴광을 순차적으로 방출하는 방법의 흐름도이다.
도 10은 일 실시예에 따른 사용자의 응시점 주변의 일부 영역에 패턴광을 방출하는 예시를 나타내는 도면이다.
도 11은 일 실시예에 따른 사용자의 응시점의 깊이에 따라 패턴광을 방출하는 방법의 흐름도이다.
도 12는 일 실시예에 따른 사용자의 제스처가 감지됨에 따라 패턴광을 방출하는 예시를 나타내는 도면이다.
도 13은 일 실시예에 따른 사용자의 제스처가 감지됨에 따라 패턴광을 방출하는 방법의 흐름도이다.
도 14는 일 실시예에 따른 응시점의 깊이 변화에 따라 증강 현실 장치(1000)의 주변의 깊이를 측정하는 방법의 흐름도이다.
본 개시에서, "a, b 또는 c 중 적어도 하나" 표현은 " a", " b", " c", "a 및 b", "a 및 c", "b 및 c", "a, b 및 c 모두", 혹은 그 변형들을 지칭할 수 있다.
아래에서는 첨부한 도면을 참조하여 본 개시가 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 개시의 실시예를 상세히 설명한다. 그러나 본 개시는 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 개시를 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다. 또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
본 개시에서, '증강 현실(AR: Augmented Reality)'은 현실 세계의 물리적 환경 공간 내에 가상 이미지를 보여주거나 현실 객체와 가상 이미지를 함께 보여주는 것을 의미할 수 있다.
아울러, '증강 현실 장치(Augmented Reality Device)'라 함은 '증강 현실(Augmented Reality)'을 표현할 수 있는 장치로서, 일반적으로 사용자가 안면부(顔面部)에 착용하는 안경 형상의 증강 현실 안경 장치(Augmented Reality Glasses) 뿐만 아니라, 두부(頭部)에 착용하는 헤드 마운트 디스플레이 장치 (HMD: Head Mounted Display Apparatus)나, 증강 현실 헬멧(Augmented Reality Helmet) 등을 포괄한다.
한편, '현실 장면(real scene)'이란 사용자가 증강 현실 장치를 통해서 보는 현실 세계의 장면으로서, 현실 객체(real world object)를 포함할 수 있다. 또한, '가상 이미지(virtual image)'는 광학 엔진을 통해 생성되는 이미지로 정적 이미지와 동적 이미지를 모두 포함할 수 있다. 이러한 가상 이미지는 현실 장면과 함께 관측되며, 현실 장면 속의 현실 객체에 대한 정보 또는 증강 현실 장치의 동작에 대한 정보나 제어 메뉴 등을 나타내는 이미지일 수 있다.
따라서, 일반적인 증강 현실 장치는 광원에서 생성된 광에 기초한 가상 이미지를 생성하기 위한 광학 엔진과 광학 엔진에서 생성된 가상 이미지를 사용자의 눈까지 안내하고 사용자가 현실 세계의 장면도 함께 볼 수 있도록 투명한 재질로 형성된 웨이브 가이드(waveguide)를 구비할 수 있다. 전술한 바와 같이, 증강 현실 장치는 현실 세계의 장면도 함께 관측할 수 있어야 하므로 광학 엔진에서 생성된 광을 웨이브 가이드를 통해 사용자의 눈까지 안내하기 위해서는 기본적으로 직진성을 가지는 광의 경로를 변경하기 위한 광학 소자(Optical element)를 포함한다. 이 때, 미러 등에 의한 반사를 이용하여 광 경로를 변경할 수도 있고, DOE(Diffractive optical element), HOE(Holographic optical element) 등과 같은 회절 소자에 의한 회절을 통해 광 경로를 변경할 수도 있으나 이에 한정되는 것은 아니다.
본 개시에서, 증강 현실 장치는 깊이 센서를 이용하여 객체의 깊이를 측정할 수 있다. 증강 현실 장치는 액티브 센서를 이용하여 객체를 향하여 광을 방출할 수 있다. ‘액티브 센서’는 소스(source)를 구비하여, 광원으로부터의 광이나 조명, 펄스 등을 피사체에 방출하고, 피사체로부터 반사되는 정보를 수신하는 장치를 말한다. 액티브 센서는 패시브 센서와 달리, 자체 광원을 구비하여, 능동적으로 광원으로부터의 광을 피사체에 방출하고, 피사체로부터 액티브 센서에 반사되는 광의 후방 산란을 측정할 수 있다. 예를 들어, 레이저나 적외선 등을 피사체에 방출한 후 되돌아오는 시간을 계산하는 ToF(Time of Flight) 센서나 레이저 센서, 마이크로파 센서, 특정 패턴광을 방출하여 피사체에 맺힌 상의 크기나 모양으로 거리를 계산하는 구조광(Structured Light) 센서, Invertible Light 센서 등은 액티브 센서라 할 수 있다.
본 개시에서, 패턴 생성부는 광원으로부터 조사된 광을 패턴광으로 변경하기 위한 구성으로서, 예를 들어, DOE(Diffractive Optical Element)로 구성되거나 LC 렌즈 어레이(Liquid Crystal lens array)로 구성될 수 있다. 광원으로부터 패턴 생성부를 향하여 조사된 광은 패턴 생성부를 통과하면서 패턴광으로 변경될 수 있으며, 이에 따라 패턴 생성부로부터 패턴광이 방출될 수 있게 된다. 패턴 생성부는 광원으로부터 조사된 광을 점 패턴광으로 변경하기 위한 점 패턴광 생성 영역 및 광원으로부터 조사된 광을 면 패턴광으로 변경하기 위한 면 패턴광 생성 영역을 포함할 수 있다.
본 개시에서, 면 패턴광은 객체를 포함하는 영역 전체를 향하여 방출되는 패턴광으로서, 예를 들어, 객체를 포함하는 영역에서 누락되는 영역없이 객체를 포함하는 영역 전체를 향하여 방출될 수 있다.
또한, 점 패턴광은 객체를 포함하는 영역 내의 일부 영역들을 향하여 방출되는 패턴광으로서, 예를 들어, 소정 간격으로 이격된 점 모양의 광들을 포함할 수 있다.
이하 첨부된 도면을 참고하여 본 개시를 상세히 설명하기로 한다.
도 1은 일 실시예에 따른 증강 현실 장치(1000)가 점 패턴광 및 면 패턴광을 방출하여 객체의 깊이를 측정하는 예시를 나타내는 도면이다.
증강 현실 장치(1000)는 객체의 깊이를 측정하기 위하여 패턴광을 방출하고 객체로부터 반사된 패턴광을 수신하여 객체의 깊이를 측정할 수 있다. 증강 현실 장치(1000)는 사용자로부터 근거리에 위치한 객체의 깊이를 측정하기 위하여 면 패턴광을 방출할 수 있다. 예를 들어, 증강 현실 장치(1000)는 근거리에 위치한 사용자의 손 주변의 깊이를 측정하기 위하여 면 패턴광을 방출함으로써, 사용자의 손의 제스처를 효과적으로 식별할 수 있다. 또한, 증강 현실 장치(1000)는 사용자로부터 원거리에 위치한 객체의 깊이를 측정하기 위하여 점 패턴광을 방출할 수 있다. 증강 현실 장치(1000)는, 예를 들어, 원거리에 위치한 소파 주변의 깊이를 측정하기 위하여, 점 패턴광을 방출함으로써, 소파 주변의 깊이 맵을 생성할 수 있다.
증강 현실 장치(1000)는 후술할 패턴 생성부의 전체 영역을 면 패턴광을 위한 영역 및 점 패턴광을 위한 영역으로 구분하고, 구분된 영역들을 선택적으로 활용하여 면 패턴광 및 점 패턴광을 방출할 수 있다. 이러한, 증강 현실 장치(1000)는 면 패턴광의 방출 및 점 패턴광의 방출을 효과적으로 제어함으로써, 근거리 및 원거리에 위치한 객체들의 깊이들을 측정하는데 소모되는 전력량을 감소시킬 수 있다.
도 2는 일 실시예에 따른 증강 현실 장치(1000)의 블록도이다.
도 2를 참조하면, 증강 현실 장치(1000)는 사용자 입력부(1100), 카메라 모듈(1200), 영상 출력부(1300), 통신 인터페이스(1400), 깊이 센싱부(1500), 시선 추적 센서(1600), 저장부(1700) 및 프로세서(1800)를 포함할 수 있다.
사용자 입력부(1100)는, 사용자가 증강 현실 장치(1000)를 제어하기 위한 데이터를 입력하는 수단을 의미한다. 예를 들어, 사용자 입력부(1100)는 키 패드(key pad), 돔 스위치 (dome switch), 터치 패드(접촉식 정전 용량 방식, 압력식 저항막 방식, 적외선 감지 방식, 표면 초음파 전도 방식, 적분식 장력 측정 방식, 피에조 효과 방식 등), 조그 휠 또는 조그 스위치 중 적어도 하나를 포함할 수 있으나 이에 한정되는 것은 아니다. 사용자 입력부(1100)는 객체의 깊이를 측정하기 위한 사용자 입력을 수신할 수 있다. 또한, 증강 현실 장치(1000)는 마이크(미도시)를 통하여 사용자의 음성 입력을 수신할 수도 있다.
카메라 모듈(1200)은 증강 현실 장치(1000)의 주변을 촬영할 수 있다. 카메라 모듈(1200)은 촬영 기능을 요구하는 애플리케이션이 실행되는 경우에 이미지 센서를 통해 정지 영상 또는 동영상 등의 화상 프레임을 얻을 수 있다. 이미지 센서를 통해 캡쳐된 이미지는 프로세서(1800) 또는 별도의 이미지 처리부(미도시)를 통해 처리될 수 있다. 카메라 모듈(1200)은, 예를 들어, RGB 카메라 모듈을 포함할 수 있으나, 이에 제한되지 않는다. 카메라 모듈(1200)에 의해 촬영된 RGB 이미지는 증강 현실 장치(1000) 주변의 객체의 깊이를 측정하는데 활용될 수도 있다.
영상 출력부(1300)는 증강 현실 장치(1000)에서 처리되는 정보를 표시 출력한다. 예를 들어, 영상 출력부(1300)는, 증강 현실 장치(1000)의 주변의 객체의 깊이를 측정하기 위한 사용자 인터페이스 및 증강 현실 장치(1000) 주변의 촬영된 이미지를 기반으로 제공되는 서비스에 관련된 정보를 출력할 수 있다.
일 실시 예에 의하면, 영상 출력부(1300)는 AR(Augmented Reality) 영상을 제공할 수 있다. 일 실시 예에 따른 영상 출력부(1300)는 광학 엔진 및 웨이브 가이드를 포함할 수 있다. 광학 엔진은 표시하고자 하는 가상 이미지의 광을 웨이브 가이드를 향하여 투사할 수 있다. 광학 엔진은 RGB 광원 및 화상 패널을 포함할 수 있다. RGB 광원은 광을 조명하는 광학 부품으로서, RGB의 컬러를 조절하여 광을 생성할 수 있다. RGB 광원은 예를 들어, 발광 다이오드(LED)로 구성될 수 있다. 화상 패널은 RGB 광원에 의해 조명된 광을 2차원 이미지를 담은 광으로 변조하면서, 반사하는 반사형 화상 패널로 구성될 수 있다. 반사형 화상 패널은 예를 들어, DMD (Digital Micromirror Device) 패널 또는 LCoS (Liquid Crystal on Silicon) 패널이나, 그밖의 공지의 반사형 화상 패널일 수 있다.
또한, 광학 엔진으로부터 웨이브 가이드에게 투사된 가상 이미지는 전반사(total reflection) 원리로 웨이브 가이드 내에서 반사될 수 있다. 웨이브 가이드에 투사된 가상 이미지는 복수의 영역에 형성된 회절 격자에 의해 광 경로가 변경되어 최종적으로 사용자의 눈으로 가상 이미지가 출력될 수 있다. 웨이브 가이드는 가상 이미지의 광 경로를 변경하는 도광판과 같은 기능을 수행할 수 있다. 일 실시 예에서, 웨이브 가이드는 투명 재질로 형성됨에 따라, 사용자는 웨이브 가이드를 통해 전반사된 가상 이미지의 가상 객체를 볼 수 있을 뿐만 아니라, 외부 실제 장면(scene)을 볼 수도 있으므로, 웨이브 가이드(1320)는 시스루 디스플레이(see through display)로 지칭될 수 있다. 영상 출력부(1300)는 웨이브 가이드을 통해 가상 이미지를 출력함으로써, 증강 현실(argumented reality) 영상을 제공할 수 있다.
통신 인터페이스(1400)는 증강 현실 장치(1000) 주변을 촬영하여 획득되는 이미지를 기반으로 서비스를 받기 위한 데이터를 외부 디바이스(미도시) 및 서버(미도시)와 송수신할 수 있다.
깊이 센싱부(1500)는 증강 현실 장치(1000) 주변의 객체의 깊이를 측정하기 위하여 후술할 프로세서(1800)에 의해 제어될 수 있다. 깊이 센싱부(1500)는 광원부(1510), 패턴 생성부(1520) 및 광 수신부(1530)를 포함할 수 있으며, 깊이 센싱부(1500)의 구조 및 동작에 대하여는 도 3에서 상세히 설명하기로 한다.
시선 추적 센서(1600)는 증강 현실 장치(1000)를 착용한 사용자의 시선을 추적할 수 있다. 시선 추적 센서(1600)는 사용자의 눈을 향하는 방향으로 설치될 수 있으며, 사용자의 시선에 관련된 시선 정보를 획득할 수 있다. 시선 추적 센서(1600)는, 예를 들어, IR 스캐너 또는 이미지 센서 중 적어도 하나를 포함할 수 있으며, 증강 현실 장치(1000)가 안경 형태의 장치인 경우에, 복수의 시선 추적 센서가 증강 현실 장치(1000)의 좌측 웨이브 가이드 및 우측 웨이브 가이드 주변에서 사용자의 눈을 향하여 각각 배치될 수 있다.
시선 추적 센서(1600)는 사용자 눈의 시선에 관련된 데이터를 검출할 수 있다. 사용자 눈의 시선에 관련된 데이터에 기초하여 사용자의 시선 정보가 생성될 수 있다. 시선 정보는 사용자의 시선에 관련된 정보로서, 예를 들어, 사용자의 눈의 동공의 위치, 동공의 중심점 좌표, 사용자의 시선 방향 등에 관한 정보를 포함할 수 있다. 사용자의 시선 방향은, 예를 들어, 사용자의 동공의 중심점으로부터 사용자가 응시하는 곳을 향하는 시선의 방향일 수 있다. 시선 추적 센서(1600)에 의해 생성된 시선 정보는, 사용자의 응시점의 위치 및 깊이를 식별하는데 이용될 수 있다.
저장부(1700)는 후술할 프로세서(1800)에 의해 실행될 프로그램을 저장할 수 있고, 증강 현실 장치(1000)로 입력되거나 증강 현실 장치(1000)로부터 출력되는 데이터를 저장할 수 있다.
저장부(1700)는 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램(RAM, Random Access Memory) SRAM(Static Random Access Memory), 롬(ROM, Read-Only Memory), EEPROM(Electrically Erasable Programmable Read-Only Memory), PROM(Programmable Read-Only Memory), 자기 메모리, 자기 디스크, 광디스크 중 적어도 하나의 타입의 저장매체를 포함할 수 있다.
저장부(1700)에 저장된 프로그램들은 그 기능에 따라 복수 개의 모듈들로 분류할 수 있는데, 예를 들어, 광패턴 선택 모듈(1710), 방출 범위 결정 모듈(1720), 광원 제어 모듈(1730), 깊이 정보 생성 모듈(1740) 및 응시점 식별 모듈(1750)을 포함할 수 있다.
프로세서(1800)는 증강 현실 장치(1000)의 전반적인 동작을 제어한다. 예를 들어, 프로세서(1800)는, 저장부(1700)에 저장된 프로그램들을 실행함으로써, 사용자 입력부(1100), 카메라 모듈(1200), 영상 출력부(1300), 통신 인터페이스(1400), 깊이 센싱부(1500), 시선 추적 센서(1600) 및 저장부(1700) 등을 전반적으로 제어할 수 있다.
프로세서(1800)는 저장부(1700)에 저장된 광패턴 선택 모듈(1710)을 실행함으로써, 패턴 생성부(1520)를 통하여 방출될 패턴광의 종류를 선택할 수 있다. 프로세서(1800)는 패턴 생성부(1520)를 통하여 방출될 광의 패턴을 선택할 수 있다. 프로세서(1800)는 깊이를 측정하고자 하는 객체와 증강 현실 장치 간의 거리에 기초하여 점 패턴광을 방출할 지, 면 패턴광을 방출할 지를 결정할 수 있다.
프로세서(1800)는 사용자의 응시점이 위치한 곳의 객체와 증강 현실 장치 간의 거리가 소정 임계치 이상인 경우에, 점 패턴광을 방출할 것을 결정할 수 있다. 예를 들어, 프로세서(1800)는 후술할 시선 추적 센서(1600)를 이용하여 사용자의 응시점의 깊이를 식별하고, 사용자의 응시점의 깊이가 임계치보다 큰 경우에 점 패턴광을 방출할 것을 결정할 수 있다. 또한, 예를 들어, 프로세서(1800)는 후술할 시선 추적 센서(1600)를 이용하여 사용자의 응시점의 깊이를 식별하고, 사용자의 응시점의 깊이가 임계치보다 작은 경우에 면 패턴광을 방출할 것을 결정할 수 있다.
또는, 예를 들어, 프로세서(1800)는 사용자의 응시점이 위치한 곳 주변의 일정 영역에 대한 깊이를 먼저 측정하고, 측정된 깊이가 임계치보다 큰 경우에 점 패턴광을 방출할 것을 결정할 수 있다. 또한, 예를 들어, 프로세서(1800)는 사용자의 응시점이 위치한 곳 주변의 일정 영역에 대한 깊이를 먼저 측정하고, 측정된 깊이가 임계치보다 작은 경우에 면 패턴광을 방출할 것을 결정할 수 있다.
프로세서(1800)는 증강 현실 장치(1000)의 주변을 스캔할 필요가 있는 경우에, 점 패턴광을 방출할 것을 결정할 수 있다. 예를 들어, 증강 현실 장치(1000)의 전원이 온 되는 경우에, 프로세서(1800)는 주변의 객체들에 대한 깊이 맵을 생성하기 위하여 점 패턴광을 방출할 것을 결정할 수 있다. 또한, 예를 들어, 프로세서(1800)는 사용자의 응시점의 깊이가 소정 임계치 이상으로 크게 변화하는 경우에, 주변의 객체들에 대한 깊이 맵을 생성하기 위하여 점 패턴광을 방출할 것을 결정할 수 있다.
프로세서(1800)는 사용자의 제스처 입력을 식별할 필요가 있는 경우에, 면 패턴광을 방출할 것을 결정할 수 있다. 예를 들어, 프로세서(1800)는 사용자의 손에 의한 소정의 제스처 동작이 감지되면, 사용자의 손 제스처 입력을 수신하기 위하여 면 패턴광을 방출할 것을 결정할 수 있다.
프로세서(1800)는 사용자의 손 제스처를 감지하고, 사용자의 손 주변 영역에는 면 패턴광을 방출할 것을 결정하고, 나머지 영역에는 점 패턴광을 방출할 것을 결정할 수도 있다.
프로세서(1800)는 저장부(1700)에 저장된 방출 범위 결정 모듈(1720)을 실행함으로써, 패턴광을 방출할 방출 범위를 결정할 수 있다.
점 패턴광을 방출하기로 결정되면, 프로세서(1800)는 점 패턴광을 방출할 방출 범위를 결정하고, 패턴 생성부(1520)의 점 패턴광 생성 영역에 대응되는 광원을 식별할 수 있다. 프로세서(1800)는 점 패턴광 생성 영역 전체에 대응되는 광원부(1510)의 일부를 식별할 수 있다. 점 패턴광을 방출할 방출 범위가 현실 공간의 일부 영역인 경우에, 프로세서(1800)는 점 패턴광 생성 영역의 하위 영역을 선택하고, 선택된 하위 영역에 대응되는 광원부(1510)의 일부를 선택할 수도 있다.
면 패턴광을 방출하기로 결정되면, 프로세서(1800)는 면 패턴광을 방출할 방출 범위를 결정하고, 패턴 생성부(1520)의 면 패턴광 생성 영역에 대응되는 광원을 식별할 수 있다. 또한, 프로세서(1800)는 면 패턴광 생성 영역 전체에 대응되는 광원부(1510)의 일부를 식별할 수 있다. 면 패턴광을 방출할 방출 범위가 현실 공간의 일부 영역인 경우에, 프로세서(1800)는 면 패턴광 생성 영역의 하위 영역을 선택하고, 선택된 하위 영역에 대응되는 광원부(1510)의 일부를 선택할 수도 있다.
프로세서(1800)는 기설정된 기준에 따라, 증강 현실 장치(1000) 주변의 전체 영역 중에서 일부 영역에 대하여만 패턴광을 방출할 것을 결정할 수 있다. 예를 들어, 프로세서(1800)는 실행 중인 애플리케이션의 종류 및 애플리케이션의 기능 등을 고려하여, 패턴광의 방출 범위를 결정할 수 있다. 예를 들어, 사용자의 제스처를 식별하기 위하여, 프로세서(1800)는 사용자의 손 주변의 일부 영역을 패턴광을 방출할 영역으로 결정할 수 있다. 그러나, 이에 제한되지 않으며, 예를 들어, 증강 현실 장치(1000)의 배터리 잔량, 깊이 측정을 위한 배터리 소모량, 측정될 깊이의 정확도 등과 같은 다양한 기준에 따라 패턴광의 방출 범위가 결정될 수 있다.
또한, 프로세서(1800)는 후술할 응시점 식별 모듈(1750)에 의해 사용자의 응시점이 식별되면, 사용자의 응시점 주변의 소정 영역을 패턴광을 방출할 영역으로 결정할 수 있다.
프로세서(1800)는 저장부(1700)에 저장된 광원 제어 모듈(1730)을 실행함으로써, 패턴 생성부(1520)의 적어도 일부를 통해 패턴광이 방출되도록 할 수 있다.
프로세서(1800)는 패턴광의 종류 및 패턴광의 방출 범위에 기초하여, 패턴광을 패턴 생성부(1520)의 어느 영역을 통하여 방출하여야 하는지를 결정할 수 있다. 프로세서(1800)는 방출될 광의 패턴 및 방출될 광의 방출 범위를 결정하고, 광을 패턴 생성부(1520)의 어느 영역을 통하여 방출하여야 하는지를 결정할 수 있다. 또한, 프로세서(1800)는 패턴 생성부(1520)의 일부 영역에 대응되는 광원부(1510)의 일부 영역을 활성화하여, 패턴광이 패턴 생성부(1520)의 일부 영역을 통하여 방출되도록 할 수 있다.
프로세서(1800)는 점 패턴광 생성 영역에 대응되는 광원부(1510)의 일부를 활성화함으로써, 광원부(1510)의 일부로부터 조사된 광이 패턴 생성부(1520)의 점 패턴광 생성 영역을 통하여 방출될 수 있도록 할 수 있다. 점 패턴광 생성 영역을 통하여 방출되는 광은 점 패턴광일 수 있다. 또한, 프로세서(1800)는 객체로부터 반사된 점 패턴광을 수신할 수 있다. 점 패턴광 생성 영역으로부터 방출된 점 패턴광은 객체로부터 반사될 수 있으며, 증강 현실 장치(1000)의 광 수신부(1530)는 반사된 점 패턴광을 수신할 수 있다.
프로세서(1800)는 면 패턴광 생성 영역에 대응되는 광원부(1510)의 일부를 활성화함으로써, 광원부(1510)의 일부로부터 조사된 광이 패턴 생성부(1520)의 면 패턴광 생성 영역을 통하여 방출될 수 있도록 할 수 있다. 면 패턴광 생성 영역을 통하여 방출되는 광은 면 패턴광일 수 있다. 또한, 프로세서(1800)는 객체로부터 반사된 면 패턴광을 수신할 수 있다. 면 패턴광 생성 영역으로부터 방출된 면 패턴광은 객체로부터 반사될 수 있으며, 증강 현실 장치(1000)의 광 수신부(1530)는 반사된 면 패턴광을 수신할 수 있다.
한편, 프로세서(1800)는 증강 현실 장치(1000)의 주변을 스캐닝하기 위하여, 면 패턴광 및 점 패턴광을 순차적으로 방출하도록 광원부(1510)를 제어할 수 있다. 이 경우, 프로세서(1800)는 패턴 생성부(1520)의 점 패턴광 생성 영역에 대응되는 광원부(1510)의 부분을 활성화하여 점 패턴광을 방출하고, 그 이후에 패턴 생성부(1520)의 면 패턴광 생성 영역에 대응되는 광원부(1510)의 부분을 활성화하여 면 패턴광을 방출하는 동작을 반복할 수 있다. 또한, 프로세서(1800)는 후술할 깊이 정보 생성 모듈(1740)에 의한 깊이 측정 결과에 기초하여, 증강 현실 장치(1000) 주변의 스캐닝을 종료할 지를 결정할 수 있다. 프로세서(1800)는 깊이 맵이 충분히 생성되었다고 판단되면 증강 현실 장치(1000) 주변의 스캐닝을 종료할 수 있다.
프로세서(1800)는 저장부(1700)에 저장된 깊이 정보 생성 모듈(1740)을 실행함으로써, 객체의 깊이를 측정할 수 있다. 프로세서(1800)는 방출된 점 패턴광 및 반사된 점 패턴광에 기초하여, 객체의 깊이를 측정할 수 있다. 예를 들어, 프로세서(1800)는 점 패턴광을 방출한 시각, 반사된 점 패턴광을 수신한 시각, 방출된 점 패턴광의 패턴, 및 수신된 점 패턴광의 패턴에 기초하여, 객체의 깊이를 산출할 수 있다. 또한, 프로세서(1800)는 산출된 객체의 깊이에 기초하여 증강 현실 장치(1000) 주변의 깊이 맵을 생성할 수 있다.
프로세서(1800)는 방출된 면 패턴광 및 반사된 면 패턴광에 기초하여, 객체의 깊이를 측정할 수 있다. 프로세서(1800)는 면 패턴광을 방출한 시각, 반사된 면 패턴광을 수신한 시각, 방출된 면 패턴광의 패턴, 및 수신된 면 패턴광의 패턴에 기초하여, 객체의 깊이를 산출할 수 있다. 또한, 프로세서(1800)는 산출된 객체의 깊이에 기초하여 사용자의 제스처를 식별할 수 있다.
프로세서(1800)는 저장부(1700)에 저장된 응시점 식별 모듈(1750)을 실행함으로써, 전술한 시선 추적 센서(1600)를 제어하고, 사용자의 응시점을 식별할 수 있다. 프로세서(1800)는 사용자의 응시점의 깊이를 측정할 수 있다. 예를 들어, 프로세서(1800)는 사용자의 동공의 위치에 기초하여 사용자가 응시하는 응시점의 깊이를 산출할 수 있다. 또는, 예를 들어, 프로세서(1800)는 사용자의 응시점에 위치한 객체의 깊이를 깊이 센싱부(1500)를 이용하여 측정할 수도 있다. 이 경우, 프로세서(1800)는 사용자의 응시점이 위치한 곳의 객체를 향하여 광을 조사하고, 객체로부터 반사되는 광을 이용하여 응시점의 깊이를 측정할 수 있다.
또한, 프로세서(1800)는 시선 추적 센서(1600)를 통해 사용자의 응시점을 식별하고, 식별된 응시점의 깊이 변화가 소정 임계치보다 큰지를 판단할 수 있다. 프로세서(1800)는 사용자의 응시점의 깊이 변화를 모니터링할 수 있으며, 사용자의 응시점의 깊이 변화가 소정 임계치보다 큰지를 판단할 수 있다. 또한, 프로세서(1800)는 사용자의 응시점의 깊이 변화에 따라, 증강 현실 장치(1000)의 주변을 스캐닝할 지를 결정할 수 있다.
도 3은 일 실시예에 따른 깊이 센싱부(1500)의 블록도이다.
도 3을 참조하면, 깊이 센싱부(1500)는 광원부(1510), 패턴 생성부(1520) 및 광 수신부(1530)를 포함할 수 있다.
광원부(1510)는 복수의 광원 소자들을 포함하며 패턴 생성부(1520)의 적어도 일부를 향하여 광을 조사할 수 있다. 예를 들어, 광원부(1510)는 배열된 복수의 레이저 발광 소자들을 포함할 수 있으며, 광원부(1510)는 후술할 패턴 생성부(1520)의 하단에 위치하여 패턴 생성부(1520)를 향하여 레이저 광을 조사할 수 있다.
패턴 생성부(1520)는 광원부(1510)로부터 조사된 광의 패턴을 생성할 수 있다. 광원부(1510)로부터 조사된 광이 패턴 생성부(1520)를 통과하면서 패턴 생성부(1520)로부터 패턴광이 방출될 수 있다.
패턴 생성부(1520)는 광원부(1510)로부터 조사된 광을 점 패턴광으로 변경하기 위한 점 패턴광 생성 영역 및 광원부(1510)로부터 조사된 광을 면 패턴광으로 변경하기 위한 면 패턴광 생성 영역을 포함할 수 있다. 또한, 점 패턴광 생성 영역 및 면 패턴광 생성 영역은 각각 복수의 하위 영역으로 구분될 수 있다.
패턴 생성부(1520)는, 예를 들어, DOE(Diffractive Optical Element)로 구성되거나 LC 렌즈 어레이(Liquid Crystal lens array)로 구성될 수 있다. 패턴 생성부(1520)가 DOE(Diffractive Optical Element)로 구성된 경우에, 패턴 생성부(1520)는 점 패턴광 생성 영역 및 면 패턴광 생성 영역을 포함하도록 제조될 수 있다. 또는, 패턴 생성부(1520)가 LC 렌즈 어레이(Liquid Crystal lens array)로 구성된 경우에, 프로세서(1800)에 의해 패턴 생성부(1520)에 소정의 제어 전압이 인가됨으로써 패턴 생성부(1520) 내의 액정 분자들의 배열이 변경됨으로써 패턴 생성부(1520)에서 점 패턴광 생성 영역 및 면 패턴광 생성 영역이 유동적으로 형성될 수 있다.
패턴 생성부(1520)로부터 방출된 패턴광이 객체로부터 반사되면, 광 수신부(1530)는 반사된 패턴광을 수신할 수 있다.
도 4a는 일실시예에 따른 면 패턴광의 예시를 나타내는 도면이다.
도 4a를 참조하면, 깊이 센싱부(1500)로부터 면 패턴광이 방출될 수 있다. 면 패턴광(40)은, 객체를 포함하는 영역 전체를 향하여 방출되는 패턴광으로서, 예를 들어, 객체를 포함하는 영역에서 누락되는 영역없이 객체를 포함하는 영역 전체를 향하여 방출될 수 있다.
도 4b는 일 실시예에 따른 점 패턴광의 예시를 나타내는 도면이다.
도 4b를 참조하면, 깊이 센싱부(1500)로부터 점 패턴광이 방출될 수 있다. 점 패턴광(42)은, 객체를 포함하는 영역 내의 일부 영역들을 향하여 방출되는 패턴광으로서, 예를 들어, 소정 간격으로 이격된 점 모양의 광들을 포함할 수 있다.
도 5a는 일 실시예에 따른 광원부(1510)로부터 조사된 광이 패턴 생성부(1520)에 의해 점 패턴광으로 변경되는 예시를 나타내는 도면이다.
도 5a를 참조하면, 광원부(1510)의 일부 영역(50)으로부터 조사된 광이, 패턴 생성부(1520)의 점 패턴광 생성 영역(52)을 통과하면서, 현실 공간을 향하여 점 패턴광이 방출될 수 있다.
도 5b는 일 실시예에 따른 광원부(1510)으로부터 조사된 광이 패턴 생성부(1520)에 의해 면 패턴광으로 변경되는 예시를 나타내는 도면이다.
도 5b를 참조하면, 광원부(1510)의 일부 영역(54)으로부터 조사된 광이, 패턴 생성부(1520)의 면 패턴광 생성 영역(56)을 통과하면서, 현실 공간을 향하여 면 패턴광이 방출될 수 있다.
도 6은 일 실시예에 따른 패턴 생성부(1520)의 하위 영역들 및 실제 공간의 영역들의 매칭 관계를 나타내는 도면이다.
도 6을 참조하면, 패턴 생성부(1520)에서 점 패턴광을 위한 점 패턴광 생성 영역은 하위 영역 a, 하위 영역 b, 하위 영역 c, 하위 영역 d 및 하위 영역 e로 구분될 수 있다. 또한, 패턴 생성부(1520)의 하위 영역 a는 현실 공간의 영역 A에 대응되고, 패턴 생성부(1520)의 하위 영역 b는 현실 공간의 영역 B에 대응되고, 패턴 생성부(1520)의 하위 영역 c는 현실 공간의 영역 C에 대응되고, 패턴 생성부(1520)의 하위 영역 d는 현실 공간의 영역 D에 대응되고, 패턴 생성부(1520)의 하위 영역 e는 현실 공간의 영역 E에 대응될 수 있다.
이에 따라, 광원부(1510)로부터 조사된 광이 하위 영역 a를 통과하면서 현실 공간의 영역 A를 향하여 점 패텅광이 방출되고, 광원부(1510)로부터 조사된 광이 하위 영역 b를 통과하면서 현실 공간의 영역 B를 향하여 점 패텅광이 방출되고, 광원부(1510)로부터 조사된 광이 하위 영역 c를 통과하면서 현실 공간의 영역 C를 향하여 점 패텅광이 방출되고, 광원부(1510)로부터 조사된 광이 하위 영역 d를 통과하면서 현실 공간의 영역 D를 향하여 점 패텅광이 방출되고, 광원부(1510)로부터 조사된 광이 하위 영역 e를 통과하면서 현실 공간의 영역 E를 향하여 점 패텅광이 방출될 수 있다.
도 7a는 일 실시예에 따른 객체의 위치에 따라 패턴 생성부(1520)의 하위 영역들 중 하나의 하위 영역을 통하여 점 패턴광을 방출하는 예시를 나타내는 도면이다.
도 7a를 참조하면, 깊이 측정을 위한 객체가 현실 공간의 영역 A 내에 포함되는 경우에, 증강 현실 장치(1000)는 패턴 생성부(1520)의 하위 영역들 중에서 하위 영역 a만을 통하여 점 패턴광을 방출할 수 있다.
이 경우, 증강 현실 장치(1000)는 패턴 생성부(1520)의 하위 영역 a에 대응되는 광원부(1510)의 일부 영역을 활성화하고, 활성화된 일부 영역으로부터 조사된 광이 패턴 생성부(1520)의 하위 영역 a를 통과함으로써, 패턴 생성부(1520)의 하위 영역 a로부터 현실 공간의 영역 A를 향하여 점 패턴광이 방출될 수 있다. 또한, 현실 공간의 영역 A를 향하여 방출된 점 패턴광이 객체로부터 반사되고, 반사된 점 패턴광이 광 수신부(1530)에 의해 수신됨으로써, 증강 현실 장치(1000)는 객체의 깊이를 측정할 수 있다.
도 7b는 일 실시예에 따른 객체의 위치에 따라 패턴 생성부(1520)의 하위 영역들 중 두개의 하위 영역을 통하여 점 패턴광을 방출하는 예시를 나타내는 도면이다.
도 7b를 참조하면, 깊이 측정을 위한 객체가 현실 공간의 영역 A 및 영역 C 내에 포함되는 경우에, 증강 현실 장치(1000)는 패턴 생성부(1520)의 하위 영역들 중에서 하위 영역 a 및 하위 영역 c 만을 통하여 점 패턴광을 방출할 수 있다.
이 경우, 증강 현실 장치(1000)는 패턴 생성부(1520)의 하위 영역 a 및 하위 영역 c에 대응되는 광원부(1510)의 일부 영역들을 활성화하고, 활성화된 일부 영역들로부터 조사된 광이 패턴 생성부(1520)의 하위 영역 a 및 하위 영역 c를 통과함으로써, 패턴 생성부(1520)의 하위 영역 a 및 하위 영역 c로부터 현실 공간의 영역 A 및 영역 C를 향하여 점 패턴광이 방출될 수 있다.
또한, 현실 공간의 영역 A 및 영역 C를 향하여 방출된 점 패턴광이 객체로부터 반사되고, 반사된 점 패턴광이 광 수신부(1530)에 의해 수신됨으로써, 증강 현실 장치(1000)는 객체의 깊이를 측정할 수 있다.
이에 따라, 증강 현실 장치(1000)는 객체가 위치한 현실 공간의 일부 영역에 대하여만 점 패턴광을 방출할 수 있으며, 이에 따라, 증강 현실 장치(1000)가 객체의 깊이를 측정하기 위하여 소모하는 전력량이 감소될 수 있게 된다.
도 8은 일 실시예에 따른 증강 현실 장치(1000)가 점 패턴광 및 면 패턴광을 선택적으로 방출하는 방법의 흐름도이다.
동작 S800에서 증강 현실 장치(1000)는 점 패턴광을 방출할 지를 결정할 수 있다. 증강 현실 장치(1000)는 깊이를 측정하고자 하는 객체와 증강 현실 장치(1000) 간의 거리에 기초하여 점 패턴광을 방출할 지, 면 패턴광을 방출할 지를 결정할 수 있다.
일 실시예에 따른 증강 현실 장치(1000)는 사용자의 응시점이 위치한 곳의 객체와 증강 현실 장치(1000) 간의 거리가 소정 임계치 이상인 경우에, 점 패턴광을 방출할 것을 결정할 수 있다. 예를 들어, 증강 현실 장치(1000)는 시선 추적 센서(1600)를 이용하여 사용자의 응시점의 깊이를 식별하고, 사용자의 응시점의 깊이가 임계치보다 큰 경우에 점 패턴광을 방출할 것을 결정할 수 있다. 또한, 예를 들어, 증강 현실 장치(1000)는 시선 추적 센서(1600)를 이용하여 사용자의 응시점의 깊이를 식별하고, 사용자의 응시점의 깊이가 임계치보다 작은 경우에 면 패턴광을 방출할 것을 결정할 수 있다.
또는, 예를 들어, 증강 현실 장치(1000)는 사용자의 응시점이 위치한 곳 주변의 일정 영역에 대한 깊이를 먼저 측정하고, 측정된 깊이가 임계치보다 큰 경우에 점 패턴광을 방출할 것을 결정할 수 있다. 또한, 예를 들어, 증강 현실 장치(1000)는 사용자의 응시점이 위치한 곳 주변의 일정 영역에 대한 깊이를 먼저 측정하고, 측정된 깊이가 임계치보다 작은 경우에 면 패턴광을 방출할 것을 결정할 수 있다.
일 실시예에 따른 증강 현실 장치(1000)는 증강 현실 장치(1000)의 주변을 스캔할 필요가 있는 경우에, 점 패턴광을 방출할 것을 결정할 수 있다. 예를 들어, 증강 현실 장치(1000)의 전원이 온 되는 경우에, 증강 현실 장치(1000)는 주변의 객체들에 대한 깊이 맵을 생성하기 위하여 점 패턴광을 방출할 것을 결정할 수 있다. 또한, 예를 들어, 증강 현실 장치(1000)는 사용자의 응시점의 깊이가 소정 임계치 이상으로 크게 변화하는 경우에, 증강 현실 장치(1000)는 주변의 객체들에 대한 깊이 맵을 생성하기 위하여 점 패턴광을 방출할 것을 결정할 수 있다.
일 실시예에 따른 증강 현실 장치(1000)는 사용자의 제스처 입력을 식별할 필요가 있는 경우에, 면 패턴광을 방출할 것을 결정할 수 있다. 예를 들어, 증강 현실 장치(1000)는 사용자의 손에 의한 소정의 제스처 동작이 감지되면, 사용자의 손 제스처 입력을 수신하기 위하여 면 패턴광을 방출할 것을 결정할 수 있다.
동작 S800에서 점 패턴광을 방출하기로 결정되면, 동작 S805에서 증강 현실 장치(1000)는 패턴 생성부(1520)의 점 패턴광 생성 영역에 대응되는 광원부(1510)를 식별할 수 있다. 패턴 생성부(1520)는 점 패턴광을 생성하기 위한 점 패턴광 생성 영역 및 면 패턴광을 생성하기 위한 면 패턴광 생성 영역을 포함할 수 있다. 또한, 증강 현실 장치(1000)는 점 패턴광 생성 영역에 대응되는 광원부(1510)의 일부를 식별할 수 있다. 점 패턴광 생성 영역에 대응되는 광원부(1510)의 일부는 광원부(1510)에서 점 패턴광 생성 영역으로 광을 조사하는 부분일 수 있다.
동작 S810에서 증강 현실 장치(1000)는 패턴 생성부(1520)를 통하여 점 패턴광을 방출할 수 있다. 증강 현실 장치(1000)는 점 패턴광 생성 영역에 대응되는 광원부(1510)의 일부를 활성화함으로써, 광원부(1510)의 일부로부터 조사된 광이 패턴 생성부(1520)의 점 패턴광 생성 영역을 통하여 방출될 수 있도록 할 수 있다. 점 패턴광 생성 영역을 통하여 방출되는 광은 점 패턴광일 수 있다.
동작 S815에서 증강 현실 장치(1000)는 객체로부터 반사된 점 패턴광을 수신할 수 있다. 점 패턴광 생성 영역으로부터 방출된 점 패턴광은 객체로부터 반사될 수 있으며, 증강 현실 장치(1000)의 광 수신부(1530)는 반사된 점 패턴광을 수신할 수 있다.
동작 S820에서 증강 현실 장치(1000)는 방출된 점 패턴광 및 반사된 점 패턴광에 기초하여, 객체의 깊이를 측정할 수 있다. 증강 현실 장치(1000)는 점 패턴광을 방출한 시각, 반사된 점 패턴광을 수신한 시각, 및 방출된 점 패턴광의 패턴과 수신된 점 패턴광의 패턴의 차이에 기초하여, 객체의 깊이를 산출할 수 있다.
동작 S800에서 점 패턴광을 방출하지 않기로 결정되면, 동작 S825에서 증강 현실 장치(1000)는 패턴 생성부(1520)의 면 패턴광 생성 영역에 대응되는 광원부(1510)를 식별할 수 있다. 또한, 증강 현실 장치(1000)는 면 패턴광 생성 영역에 대응되는 광원부(1510)의 일부를 식별할 수 있다. 면 패턴광 생성 영역에 대응되는 광원부(1510)의 일부는 광원부(1510)에서 면 패턴광 생성 영역으로 광을 조사하는 부분일 수 있다.
동작 S830에서 증강 현실 장치(1000)는 패턴 생성부(1520)를 통하여 면 패턴광을 방출할 수 있다. 증강 현실 장치(1000)는 면 패턴광 생성 영역에 대응되는 광원부(1510)의 일부를 활성화함으로써, 광원부(1510)의 일부로부터 조사된 광이 패턴 생성부(1520)의 면 패턴광 생성 영역을 통하여 방출될 수 있도록 할 수 있다. 면 패턴광 생성 영역을 통하여 방출되는 광은 면 패턴광일 수 있다.
동작 S835에서 증강 현실 장치(1000)는 객체로부터 반사된 면 패턴광을 수신할 수 있다. 면 패턴광 생성 영역으로부터 방출된 면 패턴광은 객체로부터 반사될 수 있으며, 증강 현실 장치(1000)의 광 수신부(1530)는 반사된 면 패턴광을 수신할 수 있다.
동작 S840에서 방출된 면 패턴광 및 반사된 면 패턴광에 기초하여, 객체의 깊이를 측정할 수 있다. 증강 현실 장치(1000)는 면 패턴광을 방출한 시각, 반사된 면 패턴광을 수신한 시각, 및 방출된 면 패턴광의 패턴과 수신된 면 패턴광의 패턴의 차이에 기초하여, 객체의 깊이를 산출할 수 있다.
도 9는 일 실시예에 따른 증강 현실 장치(1000)가 점 패턴광 및 면 패턴광을 순차적으로 방출하는 방법의 흐름도이다.
도 9에서 증강 현실 장치(1000)는 증강 현실 장치(1000)의 주변을 스캐닝하기 위하여 점 패턴광 및 면 패턴광을 순차적으로 방출할 수 있다.
동작 S900에서 증강 현실 장치(1000)는 패턴 생성부(1520)의 점 패턴광 생성 영역에 대응되는 광원을 식별하고, 동작 S905에서 증강 현실 장치(1000)는 패턴 생성부(1520)를 통하여 점 패턴광을 방출할 수 있다. 증강 현실 장치(1000)는 식별된 광원을 활성화함으로써 광원으로부터 광이 조사되어 패턴 생성부(1520)의 점 패턴광 생성 영역을 통과하도록 할 수 있다. 점 패턴광은 점 패턴광 생성 영역으로부터 객체를 향하여 방출될 수 있다.
또한, 동작 S910에서 증강 현실 장치(1000)는 객체로부터 반사된 점 패턴광을 수신하고, 동작 S915에서 증강 현실 장치(1000)는 방출된 점 패턴광 및 수신된 점 패턴광에 기초하여, 객체의 깊이 정보를 생성할 수 있다.
동작 S920에서 증강 현실 장치(1000)는 패턴 생성부(1520)의 면 패턴광 생성 영역에 대응되는 광원을 식별하고, 동작 S925에서 증강 현실 장치(1000)는 패턴 생성부(1520)를 통하여 면 패턴광을 방출할 수 있다. 증강 현실 장치(1000)는 식별된 광원을 활성화함으로써 광원으로부터 광이 조사되어 패턴 생성부(1520)의 면 패턴광 생성 영역을 통과하도록 할 수 있다. 면 패턴광은 면 패턴광 생성 영역으로부터 객체를 향하여 방출될 수 있다.
또한, 동작 S930에서 증강 현실 장치(1000)는 객체로부터 반사된 면 패턴광을 수신하고, 동작 S935에서 증강 현실 장치(1000)는 방출된 면 패턴광 및 수신된 면 패턴광에 기초하여, 객체의 깊이 정보를 생성할 수 있다.
동작 S940에서 증강 현실 장치(1000)는 깊이 측정을 종료할 지를 결정할 수 있다. 증강 현실 장치(1000)는 증강 현실 장치(1000) 주변의 객체들에 관한 깊이를 측정하고, 증강 현실 장치(1000) 주변의 깊이 맵을 생성할 수 있다. 깊이 맵이 충분히 생성되지 않았다고 판단되면 증강 현실 장치(1000)는 동작 S900 내지 동작 S935를 반복하여 수행할 수 있다. 만약, 깊이 맵이 충분히 생성되었다고 판단되면 증강 현실 장치(1000)는 깊이 측정을 종료할 수 있다.
도 10은 일 실시예에 따른 사용자의 응시점 주변의 일부 영역에 패턴광을 방출하는 예시를 나타내는 도면이다.
도 10을 참조하면, 증강 현실 장치(1000)는 사용자의 응시점(100)을 식별하고, 증강 현실 장치(1000)의 주변의 영역 중에서 사용자의 응시점(100) 주변의 일부 영역을 패턴광 방출 영역(110)으로 설정할 수 있다. 또한, 증강 현실 장치(1000)의 설정된 패턴광 방출 영역(110)을 향하여 패턴광을 방출할 수 있다.
도 11은 일 실시예에 따른 사용자의 응시점의 깊이에 따라 패턴광을 방출하는 방법의 흐름도이다.
동작 S1100에서 증강 현실 장치(1000)는 사용자의 응시점을 식별할 수 있다. 증강 현실 장치(1000)는 시선 추적 센서(1600)를 이용하여, 사용자의 응시점을 식별할 수 있다. 증강 현실 장치(1000)는 사용자의 응시점을 깊이를 측정할 수 있다. 예를 들어, 증강 현실 장치(1000)는 사용자의 동공의 위치에 기초하여 사용자가 응시하는 응시점의 깊이를 산출할 수 있다. 또는, 예를 들어, 증강 현실 장치(1000)는 사용자의 응시점에 위치한 객체의 깊이를 직접 측정할 수도 있다. 이 경우, 증강 현실 장치(1000)는 사용자의 응시점이 위치한 곳의 객체를 향하여 광을 조사하고, 객체로부터 반사되는 광을 이용하여 응시점의 깊이를 측정할 수 있다.
동작 S1105에서 증강 현실 장치(1000)는 응시점의 깊이에 기초하여, 방출될 패턴광의 종류를 결정할 수 있다. 증강 현실 장치(1000)는 응시점의 깊이가 소정 임계치보다 큰 경우에 점 패턴광을 방출할 것을 결정할 수 있다. 또한, 증강 현실 장치(1000)는 응시점의 깊이가 소정 임계치보다 작은 경우에 면 패턴광을 방출할 것을 결정할 수 있다. 예를 들어, 응시점의 깊이와 비교되는 임계치는, 사용자의 신체 주변의 소정 거리 값일 수 있다. 이에 따라, 증강 현실 장치(1000)는 사용자가 사용자의 신체 주변을 응시하고 있다고 판단되면, 면 패턴광을 방출할 것을 결정할 수 있다. 또한, 증강 현실 장치(1000)는 사용자가 사용자로부터 먼 부분을 응시하고 있다고 판단되면, 점 패턴광을 방출할 것을 결정할 수 있다.
동작 S1110에서 증강 현실 장치(1000)는 패턴광의 방출 범위를 결정할 수 있다. 증강 현실 장치(1000)는 기설정된 기준에 따라, 증강 현실 장치(1000) 주변의 전체 영역 중에서 일부 영역에 대하여만 패턴광을 방출할 것을 결정할 수 있다. 예를 들어, 증강 현실 장치(1000)는 실행 중인 애플리케이션의 종류 및 애플리케이션의 기능 등을 고려하여, 패턴광의 방출 범위를 결정할 수 있다. 예를 들어, 사용자의 제스처를 식별하기 위하여, 증강 현실 장치(1000)는 사용자의 손 주변의 일부 영역을 패턴광을 방출할 영역으로 결정할 수 있다. 그러나, 이에 제한되지 않으며, 예를 들어, 증강 현실 장치(1000)의 배터리 잔량, 깊이 측정을 위한 배터리 소모량, 측정될 깊이의 정확도 등과 같은 다양한 기준에 따라 패턴광의 방출 범위가 결정될 수 있다.
동작 S1115에서 증강 현실 장치(1000)는 패턴광의 종류 및 패턴광의 방출 범위에 기초하여, 패턴 생성부(1520)의 일부 영역을 선택할 수 있다. 증강 현실 장치(1000)는, 패턴광의 종류 및 패턴광의 방출 범위에 따라, 패턴광을 패턴 생성부(1520)의 어느 영역을 통하여 방출하여야 하는지를 결정할 수 있다.
동작 S1120에서 증강 현실 장치(1000)는 패턴 생성부(1520)의 일부 영역에 대응되는 광원부(1510)의 일부 영역을 활성화하여, 패턴광을 방출할 수 있다. 증강 현실 장치(1000)는 동작 S1115에서 선택된 패턴 생성부(1520)의 일부 영역으로 광을 조사하는 광원부(1510)의 일부 영역을 활성화할 수 있으며, 광원부(1510)의 일부 영역으로부터 조사된 광은 동작 S1115에서 선택된 패턴 생성부(1520)의 일부 영역을 통과할 수 있다. 패턴 생성부(1520)의 일부 영역을 통과한 패턴광은 객체를 향하여 방출될 수 있다.
동작 S1125에서 증강 현실 장치(1000)는 응시점 주변의 객체로부터 반사된 패턴광을 수신하고, 동작 S1130에서 증강 현실 장치(1000)는 방출된 패턴광 및 반사된 패턴광에 기초하여, 응시점 주변의 깊이를 측정할 수 있다.
도 12는 일 실시예에 따른 사용자의 제스처가 감지됨에 따라 패턴광을 방출하는 예시를 나타내는 도면이다.
도 12를 참조하면, 증강 현실 장치(1000)는 사용자의 손 제스처를 감지하고, 사용자의 손 주변 (또는 손에 대응되는) 영역에는 면 패턴광을 방출하고, 나머지 영역에는 점 패턴광을 방출할 수 있다.
도 13은 일 실시예에 따른 사용자의 제스처가 감지됨에 따라 패턴광을 방출하는 방법의 흐름도이다.
동작 S1300에서 증강 현실 장치(1000)는 사용자의 손 제스처를 감지할 수 있다. 사용자는 손을 이용하여 제스처 입력을 하기 위하여 미리 설정된 동작을 할 수 있으며, 증강 현실 장치(1000)는 사용자의 손 제스처를 감지할 수 있다. 증강 현실 장치(1000)는 증강 현실 장치(1000)의 주변을 적은 광량의 패턴광을 방출하여 모니터링할 수 있으며, 제스처 입력을 하기 위한 사용자의 동작을 감지할 수 있다.
동작 S1310에서 증강 현실 장치(1000)는 사용자의 손 주변 영역을 향하여 면 패턴광을 방출할 수 있다. 증강 현실 장치(1000)는 사용자의 손 주변의 (또는 대응되는) 소정 영역을 면 패턴광을 방출하기 위한 영역으로 결정하고, 결정된 영역에 대하여 면 패턴광을 방출할 수 있다. 증강 현실 장치(1000)는 사용자의 손 주변 영역에 대하여만 면 패턴광을 방출함으로써, 증강 현실 장치(1000)의 전력 소모를 줄이면서도 사용자의 손 제스처를 효과적으로 감지할 수 있게 된다.
동작 S1320에서 증강 현실 장치(1000)는 나머지 영역을 향하여 점 패턴광을 방출할 수 있다. 증강 현실 장치(1000)는 실제 공간에서 사용자의 손 주변 영역 이외의 나머지 영역에 대하여는 점 패턴광을 방출함으로써, 사용자의 손 제스처를 감지하면서도 사용자 주변의 객체들에 관한 깊이 정보를 획득할 수 있다.
도 14는 일 실시예에 따른 응시점의 깊이 변화에 따라 증강 현실 장치(1000)의 주변의 깊이를 측정하는 방법의 흐름도이다.
동작 S1400에서 증강 현실 장치(1000)는 응시점의 깊이 변화가 소정 임계치보다 큰지를 판단할 수 있다. 증강 현실 장치(1000)는 사용자의 응시점의 깊이 변화를 모니터링할 수 있으며, 사용자의 응시점의 깊이 변화가 소정 임계치보다 큰지를 판단할 수 있다.
응시점의 깊이 변화가 소정 임계치보다 크다고 판단되면, 동작 S1410에서 증강 현실 장치(1000)는 실제 공간의 전체 영역에 대한 깊이를 측정할 수 있다. 사용자의 응시점의 깊이 변화가 큰 경우에는 사용자가 새로운 환경에 위치하는 것일 수 있으므로, 증강 현실 장치(1000)는 증강 현실 장치(1000)의 주변을 스캐닝하기 위하여 실제 공간의 전체 영역에 대한 깊이를 측정할 수 있다. 증강 현실 장치(1000)는 점 패턴광을 증강 현실 장치(1000)의 주변을 향하여 방출하고, 객체로부터 반사되는 점 패턴광을 수신할 수 있다. 또한, 증강 현실 장치(1000)는 방출된 점 패턴광 및 수신된 점 패턴광을 비교하여 증강 현실 장치(1000) 주변의 깊이를 측정할 수 있다.
응시점의 깊이 변화가 소정 임계치보다 작다고 판단되면, 동작 S1420에서 증강 현실 장치(1000)는 응시점 주변 영역에 대한 깊이를 측정할 수 있다. 사용자의 응시점의 깊이 변화가 작은 경우에는 사용자가 기존의 환경에 위치하는 것일 수 있으므로, 증강 현실 장치(1000)는 응시점 주변 영역에 대한 깊이 만을 측정할 수 있다.
일 실시예는 컴퓨터에 의해 실행되는 프로그램 모듈과 같은 컴퓨터에 의해 실행가능한 명령어를 포함하는 기록 매체의 형태로도 구현될 수 있다. 컴퓨터 판독 가능 기록 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함한다. 또한, 컴퓨터 판독 가능 기록 매체는 컴퓨터 저장 매체 및 통신 매체를 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함한다. 통신 매체는 전형적으로 컴퓨터 판독가능 명령어, 데이터 구조, 또는 프로그램 모듈과 같은 변조된 데이터 신호의 기타 데이터를 포함할 수 있다.
또한, 컴퓨터에 의해 읽을 수 있는 저장매체는, 비일시적(non-transitory) 저장매체의 형태로 제공될 수 있다. 여기서, ‘비일시적 저장매체'는 실재(tangible)하는 장치이고, 신호(signal)(예: 전자기파)를 포함하지 않는다는 것을 의미할 뿐이며, 이 용어는 데이터가 저장매체에 반영구적으로 저장되는 경우와 임시적으로 저장되는 경우를 구분하지 않는다. 예로, '비일시적 저장매체'는 데이터가 임시적으로 저장되는 버퍼를 포함할 수 있다.
일 실시예에 따르면, 본 문서에 개시된 다양한 실시예들에 따른 방법은 컴퓨터 프로그램 제품(computer program product)에 포함되어 제공될 수 있다. 컴퓨터 프로그램 제품은 상품으로서 판매자 및 구매자 간에 거래될 수 있다. 컴퓨터 프로그램 제품은 기기로 읽을 수 있는 저장 매체(예: compact disc read only memory (CD-ROM))의 형태로 배포되거나, 또는 어플리케이션 스토어(예: 플레이 스토어TM)를 통해 또는 두개의 사용자 장치들(예: 스마트폰들) 간에 직접, 온라인으로 배포(예: 다운로드 또는 업로드)될 수 있다. 온라인 배포의 경우에, 컴퓨터 프로그램 제품(예: 다운로더블 앱(downloadable app))의 적어도 일부는 제조사의 서버, 어플리케이션 스토어의 서버, 또는 중계 서버의 메모리와 같은 기기로 읽을 수 있는 저장 매체에 적어도 일시 저장되거나, 임시적으로 생성될 수 있다.
또한, 본 명세서에서, “부”는 프로세서 또는 회로와 같은 하드웨어 구성(hardware component), 및/또는 프로세서와 같은 하드웨어 구성에 의해 실행되는 소프트웨어 구성(software component)일 수 있다.
또한, 본 명세서에서, “a, b 또는 c 중 적어도 하나를 포함한다”는 “a만 포함하거나, b만 포함하거나, c만 포함하거나, a 및 b를 포함하거나, b 및 c를 포함하거나, a 및 c를 포함하거나, a, b 및 c를 모두 포함하는 것을 의미할 수 있다.
전술한 본 개시의 설명은 예시를 위한 것이며, 본 개시가 속하는 기술분야의 통상의 지식을 가진 자는 본 개시의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.
본 개시의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 개시의 범위에 포함되는 것으로 해석되어야 한다.

Claims (15)

  1. 증강 현실 장치가 객체의 깊이를 측정하는 방법에 있어서,
    점 패턴 또는 면 패턴 중에서 상기 객체의 깊이를 측정하기 위해 방출될 광의 패턴을 결정하는 동작;
    패턴 생성부의 전체 영역 중에서 상기 결정된 패턴을 위한 영역에 대응되는 광원부의 일부 영역을 식별하는 동작;
    상기 식별된 광원부의 일부 영역을 활성화함으로써, 상기 결정된 패턴을 위한 영역을 통하여 광을 방출하는 동작;
    상기 방출된 광이 상기 객체에 의해 반사된 광을 수신하는 동작; 및
    상기 방출된 광 및 상기 반사된 광에 기초하여, 상기 객체의 깊이를 측정하는 동작;
    을 포함하는, 방법.
  2. 제1 항에 있어서,
    상기 결정된 패턴을 위한 영역은, 상기 광원부로부터 조사된 광을 상기 점 패턴광으로 변경하기 위한 제1 영역 또는 상기 광원부로부터 조사된 광을 상기 면 패턴광으로 변경하기 위한 제2 영역을 포함하는 것인, 방법.
  3. 제2 항에 있어서,
    상기 제1 영역은 복수의 제1 하위 영역들을 포함하며, 상기 복수의 제1 하위 영역들은 실제 공간의 복수의 실제 영역들에 각각 대응되는 것인, 방법.
  4. 제3 항에 있어서,
    상기 실제 공간에서의 상기 객체의 위치를 식별하는 동작; 및
    상기 복수의 제1 하위 영역들 중에서, 상기 객체의 위치에 대응되는 적어도 하나의 제1 하위 영역을 식별하는 동작;
    을 더 포함하며,
    상기 식별된 적어도 하나의 제1 하위 영역에 대응되는 상기 광원부의 일부 영역을 활성화함으로써, 상기 식별된 적어도 하나의 제1 하위 영역을 통하여 광이 방출되는 것인, 방법.
  5. 제1 항에 있어서,
    상기 증강 현실 장치의 사용자의 응시점을 식별하는 동작;
    상기 응시점의 깊이를 식별하는 동작; 및
    을 더 포함하며,
    상기 패턴을 결정하는 동작은, 상기 응시점의 깊이에 기초하여 상기 점 패턴 또는 상기 면 패턴을 선택하는 것인, 방법.
  6. 제5 항에 있어서,
    상기 응시점의 깊이의 변화량을 식별하는 동작; 및
    상기 깊이의 변화량에 기초하여, 상기 패턴 생성부를 통하여 상기 점 패턴의 광 및 상기 면 패턴의 광을 순차적으로 방출할 지를 결정하는 동작;
    을 더 포함하는 것인, 방법.
  7. 제5 항에 있어서,
    상기 응시점의 위치에 기초하여, 실제 공간의 전체 영역 중에서 상기 응시점에 대응되는 소정 영역을 결정하는 동작;
    을 더 포함하며,
    상기 결정된 소정 영역에 대응되는 상기 패턴 생성부의 영역을 통하여, 상기 광이 방출되는 것인, 방법.
  8. 제1 항에 있어서,
    사용자의 손의 제스처를 감지하는 동작;
    실제 공간 중에서 상기 사용자의 손에 대응되는 영역에 대하여 상기 면 패턴의 광을 방출할 것을 결정하는 동작; 및
    상기 실제 공간 중에서 나머지 영역에 대하여 상기 점 패턴의 광을 방출할 것을 결정하며, 상기 나머지 영역은 상기 사용자의 손에 대응되지 않는 상기 실제 공간 내의 영역인 것인 동작;
    을 더 포함하는, 방법.
  9. 제1 항에 있어서,
    상기 증강 현실 장치의 광원부로부터 상기 패턴 생성부를 향하여 조사된 광이 상기 패턴 생성부를 통하여 상기 패턴의 광으로 변경되는 것인, 방법.
  10. 제1 항에 있어서,
    상기 패턴 생성부는, DOE(Diffractive Optical Element) 또는 LC 렌즈 어레이(Liquid Crystal lens array) 중 적어도 하나를 포함하는 것인, 방법.
  11. 객체의 깊이를 측정하는 증강 현실 장치에 있어서,
    깊이 측정을 위한 광을 조사하는 광원부;
    상기 조사된 광을 패턴광으로 변경하는 패턴 생성부;
    상기 증강 현실 장치 주변의 객체로부터 반사된 광을 수신하는 광수신부;
    명령어들을 저장하는 메모리; 및
    상기 저장된 명령어들을 실행하여:
    점 패턴 또는 면 패턴 중에서 상기 객체의 깊이를 측정하기 위해 방출될 광의 패턴을 결정하고,
    상기 패턴 생성부의 전체 영역 중에서 상기 결정된 패턴을 위한 영역에 대응되는 상기 광원부의 일부 영역을 식별하며,
    상기 식별된 광원부의 일부 영역을 활성화함으로써, 상기 결정된 패턴을 위한 영역을 통하여 광을 방출하고,
    상기 방출된 광이 상기 객체에 의해 반사된 광을 상기 광 수신부를 통하여 수신하고,
    상기 방출된 광 및 상기 반사된 광에 기초하여, 상기 객체의 깊이를 측정하는 프로세서;
    를 포함하는, 증강 현실 장치.
  12. 제11 항에 있어서,
    상기 패턴 생성부는, 상기 광원부로부터 조사된 광을 점 패턴의 광으로 변경하기 위한 제1 영역 및 상기 광원부로부터 조사된 광을 면 패턴의 광으로 변경하기 위한 제2 영역을 포함하는, 증강 현실 장치.
  13. 제12 항에 있어서,
    상기 제1 영역은 복수의 제1 하위 영역들을 포함하며, 상기 복수의 제1 하위 영역들은 실제 공간의 복수의 실제 영역들에 각각 대응되는 것인, 증강 현실 장치.
  14. 제13 항에 있어서,
    상기 프로세서는 상기 명령어들을 더 실행하여,
    상기 실제 공간에서의 상기 객체의 위치를 식별하고,
    상기 복수의 제1 하위 영역들 중에서, 상기 객체의 위치에 대응되는 적어도 하나의 제1 하위 영역을 식별하며,
    상기 식별된 적어도 하나의 제1 하위 영역에 대응되는 상기 광원부의 일부 영역을 활성화함으로써 상기 식별된 적어도 하나의 제1 하위 영역을 통하여 상기 광이 방출되는 것인, 증강 현실 장치.
    장치.
  15. 제1 항의 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
PCT/KR2021/013059 2020-10-08 2021-09-24 객체의 깊이를 측정하는 디바이스 및 방법 WO2022075642A1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US17/602,645 US11852823B2 (en) 2020-10-08 2021-09-24 Device and method for measuring depth of object

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2020-0130460 2020-10-08
KR1020200130460A KR20220047035A (ko) 2020-10-08 2020-10-08 객체의 깊이를 측정하는 디바이스 및 방법

Publications (1)

Publication Number Publication Date
WO2022075642A1 true WO2022075642A1 (ko) 2022-04-14

Family

ID=81125859

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2021/013059 WO2022075642A1 (ko) 2020-10-08 2021-09-24 객체의 깊이를 측정하는 디바이스 및 방법

Country Status (3)

Country Link
US (1) US11852823B2 (ko)
KR (1) KR20220047035A (ko)
WO (1) WO2022075642A1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160223828A1 (en) * 2014-08-12 2016-08-04 Mantisvision Ltd. Structured light projection and imaging
US20160223724A1 (en) * 2015-01-31 2016-08-04 Microsoft Technology Licensing, Llc Structured light pattern generation
US10019843B2 (en) * 2013-08-08 2018-07-10 Facebook, Inc. Controlling a near eye display
US20190068853A1 (en) * 2017-08-22 2019-02-28 Microsoft Technology Licensing, Llc Structured light and flood fill light illuminator
KR20190089627A (ko) * 2018-01-23 2019-07-31 삼성전자주식회사 Ar 서비스를 제공하는 디바이스 및 그 동작 방법

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8072581B1 (en) 2007-01-19 2011-12-06 Rockwell Collins, Inc. Laser range finding system using variable field of illumination flash lidar
US8494252B2 (en) 2007-06-19 2013-07-23 Primesense Ltd. Depth mapping using optical elements having non-uniform focal characteristics
US9778476B2 (en) 2014-11-03 2017-10-03 Aquifi, Inc. 3D depth sensor and projection system and methods of operating thereof
US10827163B2 (en) 2016-08-09 2020-11-03 Facebook Technologies, Llc Multiple emitter illumination source for depth information determination
US10469722B2 (en) 2016-08-29 2019-11-05 Facebook Technologies, Llc Spatially tiled structured light projector
US10469758B2 (en) 2016-12-06 2019-11-05 Microsoft Technology Licensing, Llc Structured light 3D sensors with variable focal length lenses and illuminators
US10154254B2 (en) 2017-01-17 2018-12-11 Facebook Technologies, Llc Time-of-flight depth sensing for eye tracking
US10466360B1 (en) * 2017-08-31 2019-11-05 Facebook Technologies, Llc Depth measurement using scanning diffractive optical elements
US10586342B2 (en) 2017-08-31 2020-03-10 Facebook Technologies, Llc Shifting diffractive optical element for adjustable depth sensing resolution
US10634772B2 (en) 2017-11-27 2020-04-28 Atieva, Inc. Flash lidar with adaptive illumination
KR20190118846A (ko) 2018-04-11 2019-10-21 한국과학기술연구원 다초점 증강현실 장치

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10019843B2 (en) * 2013-08-08 2018-07-10 Facebook, Inc. Controlling a near eye display
US20160223828A1 (en) * 2014-08-12 2016-08-04 Mantisvision Ltd. Structured light projection and imaging
US20160223724A1 (en) * 2015-01-31 2016-08-04 Microsoft Technology Licensing, Llc Structured light pattern generation
US20190068853A1 (en) * 2017-08-22 2019-02-28 Microsoft Technology Licensing, Llc Structured light and flood fill light illuminator
KR20190089627A (ko) * 2018-01-23 2019-07-31 삼성전자주식회사 Ar 서비스를 제공하는 디바이스 및 그 동작 방법

Also Published As

Publication number Publication date
US20230122125A1 (en) 2023-04-20
KR20220047035A (ko) 2022-04-15
US11852823B2 (en) 2023-12-26

Similar Documents

Publication Publication Date Title
WO2016204433A1 (en) Head mounted display apparatus
CN105531716B (zh) 显示设备中的近眼光学定位
US9348144B2 (en) Display device and control method thereof
JP6048819B2 (ja) 表示装置、表示方法、集積回路、プログラム
US20150186039A1 (en) Information input device
WO2021149980A1 (ko) 디스플레이 장치 및 그 제어방법
KR20190126880A (ko) 광 스캐닝 프로젝터와 함께 눈 움직임을 추적하기 위한 방법 및 시스템
WO2018236058A1 (en) ELECTRONIC DEVICE FOR PROVIDING PROPERTY INFORMATION OF AN EXTERNAL LIGHT SOURCE FOR AN OBJECT OF INTEREST
CN109872382B (zh) 图像处理系统及图像处理方法
JP3898816B2 (ja) 位置検出機能付きヘッドマウントディスプレイ
US20180158390A1 (en) Digital image modification
WO2022075642A1 (ko) 객체의 깊이를 측정하는 디바이스 및 방법
WO2021221436A1 (ko) 카메라를 이용하여 공간의 깊이를 획득하는 디바이스 및 방법
WO2021221341A1 (ko) 증강 현실 장치 및 그 제어 방법
CN109983393B (zh) 平铺波导显示器
WO2022010152A1 (ko) 사용자의 시력을 교정하고 캘리브레이션을 수행하는 디바이스 및 방법
JP2016164701A (ja) 情報処理装置及び情報処理装置の制御方法
WO2021242008A1 (en) Electronic device and operating method thereof
WO2023055000A1 (ko) 증강 현실 장치가 콘텐트를 디스플레이하는 방법 및 콘텐트를 디스플레이하는 증강 현실 장치
WO2024043526A1 (ko) 디지털 아이템에 대응되는 가상 이미지를 제공하는 방법 및 증강 현실 장치
WO2023038243A1 (ko) 전자 장치 및 그 동작 방법
WO2023080443A1 (ko) 멀티미디어 콘텐트를 표시하기 위한 웨어러블 장치, 방법, 및 비일시적 컴퓨터 판독가능 저장 매체
WO2023282524A1 (ko) 시력 측정 및 시력 교정을 제공하는 증강 현실 장치 및 방법
WO2023033565A1 (ko) 깊이 센서를 이용하여 깊이 맵을 획득하는 증강 현실 디바이스 및 방법
WO2024101579A1 (ko) 멀티미디어 콘텐트를 표시하기 위한 전자 장치 및 그 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21877894

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21877894

Country of ref document: EP

Kind code of ref document: A1