WO2022050646A1 - 이미지 생성 장치 및 방법 - Google Patents

이미지 생성 장치 및 방법 Download PDF

Info

Publication number
WO2022050646A1
WO2022050646A1 PCT/KR2021/011606 KR2021011606W WO2022050646A1 WO 2022050646 A1 WO2022050646 A1 WO 2022050646A1 KR 2021011606 W KR2021011606 W KR 2021011606W WO 2022050646 A1 WO2022050646 A1 WO 2022050646A1
Authority
WO
WIPO (PCT)
Prior art keywords
depth map
area
unidentified
active sensor
unidentified area
Prior art date
Application number
PCT/KR2021/011606
Other languages
English (en)
French (fr)
Inventor
신승학
정재윤
김기표
김석열
김송현
정해경
Original Assignee
삼성전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자 주식회사 filed Critical 삼성전자 주식회사
Priority to US17/435,981 priority Critical patent/US11917273B2/en
Publication of WO2022050646A1 publication Critical patent/WO2022050646A1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/2224—Studio circuitry; Studio devices; Studio equipment related to virtual studio applications
    • H04N5/2226—Determination of depth image, e.g. for foreground/background separation
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483—Details of pulse systems
    • G01S7/486—Receivers
    • G01S7/4865—Time delay measurement, e.g. time-of-flight measurement, time of arrival measurement or determining the exact position of a peak
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/491—Details of non-pulse systems
    • G01S7/4912—Receivers
    • G01S7/4915—Time delay measurement, e.g. operational details for pixel components; Phase measurement
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • G06T5/75—Unsharp masking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/77—Retouching; Inpainting; Scratch removal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G06T2207/10021—Stereoscopic video; Stereoscopic image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10141—Special mode during image acquisition
    • G06T2207/10152—Varying illumination

Definitions

  • the present disclosure relates generally to an apparatus and method for generating an image.
  • depth information for the space is required.
  • a Time of Flight (ToF) type depth camera is used.
  • the depth camera may acquire depth information corresponding to a distance between an object in the photographed space and the depth camera.
  • spatial augmentation technology in which 3D-based interactive elements are added to a technology field such as Augment Reality (AR).
  • AR Augment Reality
  • the core of spatial augmentation technology is 3D spatial modeling using a depth camera.
  • three-dimensionalized reality elements have three-dimensional position information in space and can interact with virtual objects.
  • An image generating apparatus and method for acquiring a depth map for a space using a passive sensor and an active sensor to model a space including an environment in which it is difficult to extract feature points, such as a single color area or a smooth area, are provided.
  • An image generating apparatus includes: a passive sensor; active sensor; mask forming unit; a memory storing at least one instruction; and executing the at least one command to obtain a first depth map for a first space using the passive sensor, identify an unidentified area of the first depth map, and select a mask based on the unidentified area
  • a second depth map of the unidentified area is obtained using the forming part of the mask forming unit and the active sensor, and a third depth map of the first space is obtained based on the first depth map and the second depth map.
  • a processor for obtaining a depth map may be included.
  • An image generating method includes: acquiring a first depth map for a first space using a passive sensor; identifying an unidentified area of the first depth map; obtaining a second depth map for the unidentified area by using a mask forming unit that forms a mask based on the unidentified area and an active sensor; and obtaining a third depth map for the first space based on the first depth map and the second depth map.
  • a computer-readable non-transitory recording medium includes: obtaining a first depth map for a space using a passive sensor; identifying an unidentified area of the first depth map; obtaining a second depth map for the unidentified area by using a mask forming unit that forms a mask based on the unidentified area and an active sensor; and obtaining a third depth map for the space based on the first depth map and the second depth map.
  • FIG. 1 is a diagram illustrating a depth map generation process according to embodiments of the present disclosure.
  • FIG. 2 is a diagram illustrating identification of an unidentified area in a first depth map according to an embodiment of the present disclosure
  • FIG. 3 is a diagram for explaining the configuration and operation of an image generating apparatus according to an embodiment of the present disclosure.
  • FIG. 4 is a view for explaining a process of forming a mask in the image generating apparatus according to an embodiment of the present disclosure.
  • FIG. 5 is a view for explaining a process of generating a second depth map for an unidentified area in the image generating apparatus according to an embodiment of the present disclosure.
  • FIG. 6 is a view for explaining operations of the active sensor and the mask forming unit when the active sensor of the image generating apparatus includes a single light source according to an embodiment of the present disclosure
  • FIG. 7 is a view for explaining operations of the active sensor and the mask forming unit when the active sensor of the image generating apparatus includes a plurality of light sources according to an embodiment of the present disclosure
  • FIG. 8 is a view for explaining the configuration and operation of an image generating apparatus according to another embodiment of the present disclosure.
  • FIG. 9 is a diagram for describing a process of generating a second depth map for an unidentified area in an image generating apparatus according to another embodiment of the present disclosure.
  • FIG. 10 is a flowchart illustrating an image generating method according to embodiments of the present disclosure.
  • FIG. 11 is a diagram for describing an example of an image generating apparatus according to embodiments of the present disclosure.
  • FIG. 12 is a diagram for explaining another example of an image generating apparatus according to embodiments of the present disclosure.
  • the expression “at least one of a, b or c” means “a”, “b”, “c”, “a and b”, “a and c”, “b and c”, or “a, both b and c”.
  • the present embodiments relate to an apparatus and method for generating an image, and detailed descriptions of matters widely known to those of ordinary skill in the art will be omitted.
  • an “image generating device” may be a generic term for an electronic device capable of generating an image.
  • the image generating apparatus may generate not only an image of a scene including an object, but also a depth map indicating depth information of a space including the object.
  • the image generating device may be an augmented reality device, a smart phone, a digital camera, or the like.
  • the “passive sensor” may be a device that detects a phenomenon such as heat, vibration, light, radiation, etc. generated in a subject and obtains the information by inputting the corresponding information.
  • a stereo camera, a mono camera, an infrared sensor, a pan/tilt camera, etc. that operate without emitting light or pulses to a subject may be referred to as passive sensors.
  • An “active sensor” may be a device that includes a source, emits a light source, light, pulse, or the like to a subject, and receives information reflected from the subject. Unlike the passive sensor, the active sensor may include its own light source, actively emitting the light source to the subject, and measuring backscatter reflected from the subject to the active sensor. For example, a ToF sensor, laser sensor, microwave sensor, which calculates the return time after emitting laser or infrared rays to a subject, or structured light ( Structured Light) sensors, invertible light sensors, etc. can be called active sensors.
  • FIG. 1 is a diagram illustrating a depth map generation process according to embodiments of the present disclosure.
  • the image generating apparatus 1000 may generate a depth map that provides depth information on a space to model a 3D space.
  • the depth map may be obtained using a passive sensor and/or an active sensor.
  • the depth map generation method using the passive sensor may acquire the depth map through feature point matching or stereo matching, based on space data acquired through the passive sensor.
  • the map generation method using the active sensor may acquire a depth map based on space information obtained through a light emitting unit emitting light to a subject and a light receiving unit receiving information reflected from the subject.
  • the image generating apparatus 1000 Since the method of generating a depth map using a passive sensor uses matching between the feature points, it may be difficult to perform 3D restoration in an environment in which it is difficult to extract the feature points.
  • the depth map generation method using an active sensor consumes high power due to driving the source, and when a light source is used as the source, the light pattern generated by the emitted light interferes with algorithm processing such as estimating the sensor position. can be Therefore, hereinafter, the image generating apparatus 1000 generates a depth map using both a passive sensor and an active sensor so as to solve a battery problem due to power consumption and to enable 3D space modeling for spaces in various environments. method is explained.
  • the image generating apparatus 1000 uses a stereo camera as a passive sensor and uses a ToF sensor as an active sensor.
  • the types of passive sensors and active sensors and the types of the image generating apparatus 1000 are not limited to the example illustrated in FIG. 1 .
  • the stereo camera has a spectacle frame supporting each lens unit and a temple for mounting the image generating device 1000 on the user's face. It may be located on the forward-facing side in the contacting portion, and the ToF sensor may be mounted in a form embedded in a bridge frame connecting the left eye lens unit and the right eye lens unit, but is not limited thereto.
  • FIG. 1 a process in which the image generating apparatus 1000 generates a depth map using a passive sensor and an active sensor is illustrated.
  • the image generating apparatus 1000 may first generate a depth map for a space (hereinafter, referred to as a first depth map) by using the passive sensor.
  • the image generating apparatus 1000 may generate a first depth map for a space by using stereo cameras located at both corners of an eyeglass frame supporting each of the left eye lens unit and the right eye lens unit.
  • the image generating apparatus 1000 may perform a depth map using a passive sensor.
  • the creation method it is not possible to generate a depth map for a portion corresponding to a single color area or a smooth area in space.
  • the first depth map generated using the passive sensor includes an area in which depth information is not confirmed, that is, an unconfirmed area.
  • FIG. 2 is a diagram illustrating identification of an unidentified area in a first depth map according to an embodiment of the present disclosure
  • the unconfirmed area may include an area in which depth information is unknown in the first depth map or an area in which the accuracy of the depth information is less than or equal to a predetermined standard.
  • the image generating apparatus 1000 may generate a first depth map by using data obtained from the passive sensor as an input to a depth map generating algorithm. In this case, the image generating apparatus 1000 may identify an area in which depth information is unknown in the generated first depth map or in which the accuracy of depth information is less than or equal to a predetermined standard as an unidentified area. The image generating apparatus 1000 may store information on the identified unidentified area in a memory.
  • the image generating apparatus 1000 may use an active sensor to generate a depth map (hereinafter, referred to as a second depth map) for an unidentified area of the first depth map.
  • a depth map hereinafter, referred to as a second depth map
  • the image generating apparatus 1000 selectively projects the light emitted from the light source of the active sensor onto a space corresponding to an unidentified area in the entire space, or You can project it all over.
  • the image generating apparatus 1000 may perform a second depth map based on information received from the active sensor.
  • the image generating apparatus 1000 may include information corresponding to the unidentified area of the first depth map among the information received by the active sensor. Based on this, a second depth map may be generated.
  • the image generating apparatus 1000 may generate a depth map (hereinafter, referred to as a third depth map) that provides depth information for the entire space based on the first depth map and the second depth map.
  • the image generating apparatus 1000 may generate a third depth map for a space by supplementing the unidentified area of the first depth map with a second depth map.
  • FIG 3 is a diagram for explaining the configuration and operation of the image generating apparatus 1000 according to an embodiment of the present disclosure.
  • the image generating apparatus 1000 may include a memory 1100 , a processor 1200 , a passive sensor 1300 , an active sensor 1400 , and a mask forming unit 1500 .
  • a memory 1100 may be included in the image generating apparatus 1000 .
  • a processor 1200 may be included in the image generating apparatus 1000 .
  • a passive sensor 1300 may be included in the image generating apparatus 1000 .
  • an active sensor 1400 may include a mask forming unit 1500 .
  • a mask forming unit 1500 may be further included.
  • the memory 1100 may store instructions executable by the processor 1200 .
  • the memory 1100 may store a program composed of instructions.
  • the memory 1100 may include, for example, RAM (Random Access Memory), SRAM (Static Random Access Memory), ROM (Read-Only Memory), flash memory, EEPROM (Electrically Erasable Programmable Read-Memory). Only memory), a programmable read-only memory (PROM), a magnetic memory, a magnetic disk, and/or an optical disk may include at least one type of hardware device.
  • the memory 1100 may store at least one software module including instructions. Each software module is executed by the processor 1200 to cause the image generating apparatus 1000 to perform a predetermined operation or function.
  • the memory 1100 may store a sensing module, an image analysis module, a mask forming module, and an image generating module, but is not limited thereto. It may further include a module.
  • the processor 1200 may control an operation or function performed by the image generating apparatus 1000 by executing instructions stored in the memory 1100 or a programmed software module.
  • the processor 1200 may be configured as a hardware component that performs arithmetic, logic, input/output operations and signal processing.
  • the processor 1200 may include at least one processing module.
  • central processing unit Central Processing Unit
  • microprocessor microprocessor
  • graphic processing unit Graphic Processing Unit
  • ASICs Application Specific Integrated Circuits
  • DSPs Digital Signal Processors
  • DSPDs Digital Signal Processing Devices
  • PLDs Programmable Logic Devices
  • FPGAs Field Programmable Gate Arrays
  • the passive sensor 1300 and the active sensor 1400 may be various types of devices that may be used to generate a depth map. For example, images of a space are acquired using a mono camera, and depth information of a space is measured according to a deep learning analysis using a depth information estimation model, and the depth based on the measured depth information Since the map can be generated, the mono camera can be the passive sensor 1300 .
  • the structured light sensor that emits specific pattern light to obtain depth information based on the size or shape of an image formed on a subject may be the active sensor 1400 .
  • the passive sensor 1300 is a stereo camera and the active sensor 1400 is a ToF sensor will be described as an example.
  • the passive sensor 1300 may be a first camera and a second camera respectively provided to a predetermined portion of the image generating apparatus 1000 .
  • the image generating apparatus 1000 finds feature points corresponding to each other in the images respectively acquired by the first camera and the second camera based on the stereo vision method based on the position difference between the first camera and the second camera as a baseline, A disparity serving as an index of depth information at a feature point may be calculated, depth information for a space may be measured, and a first depth map may be generated based on the measured depth information.
  • the active sensor 1400 may be a ToF sensor.
  • a ToF sensor is a sensor that projects infrared or light and measures the time until it hits an object or object and is reflected back, or uses the phase difference of infrared or light before and after hitting an object.
  • At least one light source for projecting infrared or light It may include a configured emitter.
  • the image generating apparatus 1000 may identify an unidentified area of the first depth map and generate a second depth map of the unidentified area using the ToF sensor.
  • the mask forming unit 1500 may form a mask based on the unidentified area.
  • the mask forming unit 1500 is selectively operable to pass or block the emitted light so as to project the light emitted from the light source of the active sensor 1400 into a space corresponding to the unidentified area of the first depth map.
  • It may include a plurality of optical elements. Each optical element of the plurality of optical elements is controlled so that the light emitted from the light source of the active sensor 1400 is passed or blocked by each optical element and projected into a space corresponding to the unidentified area of the first depth map. It can act as an optical shutter.
  • Each of the plurality of optical elements of the mask forming unit 1500 may be a liquid crystal cell or a reflective member such as a micromirror. The light transmittance of the liquid crystal cell may be changed according to an applied voltage. As the micromirror rotates, it can change the path of light.
  • the mask forming unit 1500 transmits the emitted light through the optical element corresponding to the unidentified area of the first depth map, and blocks the emitted light from the optical element corresponding to the area except for the unidentified area in the first depth map (block (block) or to reflect).
  • the mask forming unit 1500 may operate so that an optical element corresponding to the unidentified area forms a non-masking area, and an optical element corresponding to an area excluding the unidentified area in the first depth map forms a masking area. .
  • FIG 4 is a view for explaining a process of forming a mask in the image generating apparatus 1000 according to an embodiment of the present disclosure.
  • the unidentified area is included in the first depth map generated by the image generating apparatus 1000 using the passive sensor 1300 .
  • the image generating apparatus 1000 may acquire an image in which the first depth map including the unidentified area is projected onto the light emitting surface of the active sensor 1400 .
  • a portion on which the depth information of the first depth map is projected becomes a masking area, and a portion of the projected image on which the depth information of the first depth map is not projected may become a non-masking area.
  • the image generating apparatus 1000 may control the mask forming unit 1500 to form a mask based on the unidentified area according to the image obtained by projecting the first depth map onto the light emitting surface of the active sensor 1400 .
  • the mask forming unit 1500 may include various types of optical elements to pass or block the light emitted from the light source of the active sensor 1400 .
  • each micromirror is rotated by a programmed angle based on the unidentified area to direct the light emitted from the light source to the unidentified area. It can be integrated in the corresponding space.
  • the active sensor 1400 may operate the light source with low output or low power consumption.
  • the plurality of optical elements of the mask forming unit 1500 include liquid crystal cells
  • by applying a voltage to each liquid crystal cell by a voltage level programmed based on the unidentified area to adjust the light transmittance It is possible to selectively pass a portion of the light emitted from a single light source, or selectively pass light emitted from an actuated light source among a plurality of light sources.
  • FIG. 5 is a diagram for explaining a process of generating a second depth map for an unidentified area in the image generating apparatus 1000 according to an embodiment of the present disclosure.
  • the image generating apparatus 1000 may generate a second depth map for an unidentified area of the first depth map by using the active sensor 1400 and the mask forming unit 1500 .
  • the mask forming unit 1500 may selectively project the light emitted from the light source of the active sensor 1400 to a space corresponding to the unidentified area of the first depth map.
  • the image generating apparatus 1000 controls the mask forming unit 1500 to apply the light emitted from the light source of the active sensor 1400 to a space corresponding to the unidentified area of the first depth map in the entire space. Can be projected selectively. Since the image generating apparatus 1000 identifies the unidentified area of the first depth map and stores information on the identified unidentified area in the memory 1100, based on the stored information, light is emitted in a space corresponding to the unidentified area. Can be projected selectively.
  • the image generating apparatus 1000 actively emits light to a space corresponding to the unidentified area using the active sensor 1400 and the mask forming unit 1500 , and receives the reflected light reflected from the subject and received by the active sensor 1400 . can detect The image generating apparatus 1000 emits a laser or infrared light to a space corresponding to an unidentified area and then measures a return time, or emits a specific pattern light to a space corresponding to an unidentified area to form a size or shape of an image formed in the space. By measuring , the active sensor 1400 capable of acquiring depth information may be used.
  • the image generating apparatus 1000 cannot obtain depth information using the passive sensor 1300 for a space corresponding to a single color area or a smooth area, the active sensor 1400 and the mask forming unit 1500 are used to obtain the depth information. To generate a second depth map for the unidentified area.
  • the mask forming unit 1500 may operate differently depending on whether the active sensor 1400 includes a single light source or a plurality of light sources.
  • FIG. 6 is a view for explaining operations of the active sensor 1400 and the mask forming unit 1500 when the active sensor 1400 of the image generating apparatus 1000 includes a single light source according to an embodiment of the present disclosure; am.
  • the processor 1200 of the image generating apparatus 1000 may control the mask forming unit 1500 so that the light emitted from the single light source is integrated in a space corresponding to the unidentified area.
  • the mask forming unit 1500 of the image generating apparatus 1000 adjusts the direction of the light emitted from the single light source of the active sensor 1400, so that, except for a space in which the depth information is confirmed, the depth information is It can be seen that light is integrated in a space corresponding to an unconfirmed area. According to such light integration, the efficiency of the active sensor 1400 may increase.
  • FIG. 7 is a diagram for explaining operations of the active sensor 1400 and the mask forming unit 1500 when the active sensor 1400 of the image generating apparatus 1000 includes a plurality of light sources according to an embodiment of the present disclosure. It is a drawing.
  • the processor 1200 of the image generating apparatus 1000 operates a light source for a space corresponding to the unidentified area, and is located in an area other than the unidentified area in the first depth map.
  • the active sensor 1400 may be controlled not to operate the light source for the corresponding space, and the mask forming unit 1500 may be controlled to pass the light emitted from the actuated light source.
  • the image generating apparatus 1000 includes some light sources (first light source and third light source) for a space corresponding to an unidentified area among a plurality of light sources (first to fourth light sources) of the active sensor 1400 .
  • the image generating apparatus 1000 may control corresponding optical elements of the mask forming unit 1500 to pass the light emitted from the first light source and the third light source. In this case, by operating some light sources for a space corresponding to an unidentified area, not all of the plurality of light sources, a reduction in power consumption can be expected.
  • the processor 1200 executes instructions stored in the memory 1100 , and uses the passive sensor 1300 to generate a first depth map for a space, and 1 An unidentified area of the depth map may be identified.
  • the processor 1200 executes instructions stored in the memory 1100 to generate a second depth map for the unconfirmed area using the mask forming unit 1500 and the active sensor 1400 that form a mask based on the unconfirmed area. can create
  • the processor 1200 may execute instructions stored in the memory 1100 to generate a third depth map for a space based on the first depth map and the second depth map.
  • the processor 1200 executes at least one of a sensing module, an image analysis module, a mask forming module, and an image generating module stored in the memory 1100 to generate a depth map for a space to model a 3D space. can do.
  • the processor 1200 may load instructions or software modules stored in the memory 1100 and execute them.
  • the processor 1200 may include at least one processing hardware module to execute at least one of a sensing module, an image analysis module, a mask forming module, and an image generating module stored in the memory 1100 .
  • the processor 1200 may include a CPU and a GPU dedicated to image processing, so that the CPU may execute a sensing module and a mask forming module, and the GPU may execute an image analysis module and an image generation module.
  • the processor 1200 is in the form of a single integrated processor that executes all of the sensing module, image analysis module, mask forming module, and image generating module, or includes individual processors for executing each module. can be
  • the processor 1200 may execute a sensing module to transmit a sensing control signal to the passive sensor 1300 and the active sensor 1400 .
  • Data acquired through the passive sensor 1300 and the active sensor 1400 may be stored in the memory 1100 .
  • Data stored in the memory 1100 may be used to generate first to third depth maps.
  • the processor 1200 may execute the image analysis module to identify the unidentified area of the first depth map.
  • the processor 1200 may identify an unconfirmed area of the first depth map by processing an area in which depth information cannot be checked in the first depth map or an accuracy of depth information is less than or equal to a predetermined standard as an unconfirmed area.
  • the processor 1200 may determine a part to be supplemented in the first depth map by identifying the unidentified area of the first depth map.
  • the processor 1200 may execute the mask forming module to form a mask based on the unidentified area of the first depth map.
  • the processor 1200 may control the mask forming unit 1500 to form a mask based on an unidentified area according to an image in which the first depth map is projected onto the light emitting surface of the active sensor 1400 .
  • the processor 1200 executes the image generation module to generate a first depth map from data acquired through the passive sensor 1300 , and from data acquired through the active sensor 1400 to an unidentified area of the first depth map.
  • a second depth map may be generated.
  • the processor 1200 may execute the image generation module to generate a third depth map based on the first depth map and the second depth map.
  • the processor 1200 may generate a third depth map by performing image correction on an unidentified area in the first depth map using the second depth map.
  • the third depth map may be a depth map in which the unidentified area in the first depth map is corrected using the second depth map.
  • the processor 1200 may store the generated third depth map in the memory 1100 .
  • FIG 8 is a diagram for explaining the configuration and operation of the image generating apparatus 1000 according to another embodiment of the present disclosure.
  • the mask forming unit 1500 is removed, and accordingly, the mask forming module is also not stored in the memory 1100 . Able to know. Descriptions of overlapping contents of the memory 1100 , the processor 1200 , the passive sensor 1300 , and the active sensor 1400 described in FIG. 3 will be omitted below.
  • the processor 1200 executes instructions stored in the memory 1100 , generates a first depth map for a space using the passive sensor 1300 , and does not confirm the first depth map area can be identified.
  • the processor 1200 may execute instructions stored in the memory 1100 to generate a second depth map for an unidentified area of the first depth map using the active sensor 1400 .
  • the processor 1200 may execute instructions stored in the memory 1100 to generate a third depth map for a space based on the first depth map and the second depth map.
  • the processor 1200 may execute at least one of a sensing module, an image analysis module, and an image generation module stored in the memory 1100 to generate a depth map for a space to model a 3D space.
  • the processor 1200 may execute a sensing module to transmit a sensing control signal to the passive sensor 1300 and the active sensor 1400 .
  • Data acquired through the passive sensor 1300 and the active sensor 1400 may be stored in the memory 1100 .
  • data acquired through the active sensor 1400 is data on a space corresponding to an unidentified area
  • data acquired through the active sensor 1400 in the embodiment of FIG. 8 is data on the entire space. It can be data. This is because, in the embodiment of FIG. 8 , a mask that blocks a portion of the light emitted from the light source of the active sensor 1400 is not used.
  • Data stored in the memory 1100 may be used to generate first to third depth maps.
  • the processor 1200 may execute the image analysis module to identify the unidentified area of the first depth map.
  • the processor 1200 may identify an unconfirmed area of the first depth map by processing an area in which depth information cannot be checked in the first depth map or an accuracy of depth information is less than or equal to a predetermined standard as an unconfirmed area.
  • the processor 1200 may divide the first depth map into a plurality of regions based on the depth information.
  • the processor 1200 may store location information of an unidentified area among a plurality of areas divided in the first depth map in the memory 1100 and use it to generate a second depth map or a third depth map.
  • the processor 1200 executes the image generation module to generate a first depth map from data acquired through the passive sensor 1300 , and from data acquired through the active sensor 1400 to an unidentified area of the first depth map.
  • a second depth map may be generated.
  • the processor 1200 may generate a second depth map from data acquired through the active sensor 1400 based on location information of the unidentified area of the first depth map stored in the memory 1100 .
  • a depth information generating algorithm having different performance may be applied to data acquired through the active sensor 1400 according to the size of the unidentified area of the first depth map.
  • different depth information generating algorithms may be applied to data acquired through the active sensor 1400 according to their respective sizes.
  • the processor 1200 may generate a third depth map based on the first depth map and the second depth map.
  • FIG 9 is a view for explaining a process of generating a second depth map for an unidentified area in the image generating apparatus 1000 according to another embodiment of the present disclosure.
  • the image generating apparatus 1000 may generate a second depth map for an unidentified area of the first depth map by using the active sensor 1400 . Since the image generating apparatus 1000 identifies the unidentified area of the first depth map and stores information on the identified unidentified area in the memory 1100, based on the stored information, the image generating apparatus 1000 generates a second depth map for the unidentified area. can create
  • the image generating apparatus 1000 may project the light emitted from the light source of the active sensor 1400 to the entire space. 9 illustrates that the dot pattern light is projected onto the entire space, but the pattern or type of the emitted light is not limited thereto.
  • the image generating apparatus 1000 may actively emit light to the entire space using the active sensor 1400 , and sense the reflected light reflected from the subject and received by the active sensor 1400 .
  • the image generating apparatus 1000 obtains depth information by measuring a return time after emitting a laser or infrared light to the entire space, or measuring the size or shape of an image formed in the entire space by emitting a specific pattern light to the entire space
  • the active sensor 1400 may be used.
  • the image generating apparatus 1000 obtains depth information for the entire space using the active sensor 1400 , and then generates a second depth map for the unidentified area based on the information on the unidentified area of the first depth map. can do.
  • FIG. 10 is a flowchart illustrating an image generating method according to embodiments of the present disclosure.
  • the content described above with respect to the image generating apparatus 1000 may be directly applied to the image generating method even if the content is omitted below.
  • the image generating apparatus 1000 may obtain a first depth map for a space using the passive sensor 1300 .
  • the image generating apparatus 1000 may identify an unidentified area of the first depth map.
  • the image generating apparatus 1000 may identify an unconfirmed area of the first depth map by processing an area in which depth information cannot be checked in the first depth map or an accuracy of depth information is less than or equal to a predetermined standard as an unconfirmed area.
  • the image generating apparatus 1000 may use the active sensor 1400 to obtain a second depth map of the unidentified area.
  • the image generating apparatus 1000 may obtain a second depth map for the unidentified area by using the mask forming unit 1500 and the active sensor 1400 that form a mask based on the unidentified area.
  • the image generating apparatus 1000 uses a mask to pass or block the light emitted from the light source of the active sensor 1400 so as to project the light emitted from the light source of the active sensor 1400 to a space corresponding to the unidentified area.
  • a plurality of optical elements included in the forming unit 1500 may be selectively controlled.
  • the image generating apparatus 1000 may control the optical element corresponding to the unidentified area to pass the emitted light and the optical element corresponding to the area except for the unidentified area in the first depth map to block the emitted light.
  • the image generating apparatus 1000 may control an optical element corresponding to the unidentified area to form a non-masking area, and an optical element corresponding to an area excluding the unidentified area from the first depth map to form a masking area.
  • the image generating apparatus 1000 generates each optical element so that the light emitted from the light source of the active sensor 1400 is passed or blocked by each optical element and projected into a space corresponding to the unidentified area of the first depth map. By controlling, it is possible to selectively control a plurality of optical elements.
  • the image generating apparatus 1000 may selectively control a plurality of optical elements to form a mask based on an unidentified area according to an image in which the first depth map is projected onto the light emitting surface of the active sensor 1400 .
  • the image generating apparatus 1000 may selectively control a plurality of optical elements so that light emitted from the single light source is integrated in a space corresponding to an unidentified area.
  • the image generating apparatus 1000 operates a light source for a space corresponding to an unidentified area, and operates a light source for a space corresponding to an area other than the unidentified area in the first depth map.
  • the light source may control the active sensor 1400 not to operate.
  • the image generating apparatus 1000 may control some of the plurality of optical elements included in the mask forming unit 1500 to pass the light emitted from the actuated light source.
  • the image generating apparatus 1000 may generate a second depth map of the unidentified area based on data obtained from the active sensor 1400 .
  • the image generating apparatus 1000 may generate a second depth map for the unidentified area using the active sensor 1400 .
  • the image generating apparatus 1000 projects the light emitted from the light source of the active sensor 1400 to the entire space to obtain information on the entire space, and then, based on the information on the unidentified area of the first depth map, A second depth map for the region may be generated.
  • a depth information generating algorithm having different performance may be applied to data acquired through the active sensor 1400 according to the size of the unidentified area of the first depth map.
  • different depth information generating algorithms may be applied to data obtained from the active sensor 1400 according to their respective sizes.
  • the image generating apparatus 1000 may acquire a third depth map for a space based on the first depth map and the second depth map.
  • the image generating apparatus 1000 may generate a third depth map by performing image correction on an unidentified area in the first depth map using the second depth map.
  • the third depth map may be a depth map in which the unidentified area in the first depth map is corrected using the second depth map.
  • FIG. 11 is a diagram for describing an example of an image generating apparatus 1000 according to embodiments of the present disclosure.
  • the image generating apparatus 1000 may further include a communication interface 1600 and a display 1700 in addition to the memory 1100 , the processor 1200 , the passive sensor 1300 , and the active sensor 1400 described above. In addition, it may include components such as a position sensor for detecting the position of the mask forming unit 1500 or the image generating apparatus 1000 , or a power supply unit for supplying power to the image generating apparatus 1000 , but the description thereof is not provided. omit
  • the communication interface 1600 may perform wired/wireless communication with other devices or networks.
  • the communication interface 1600 may include a communication module supporting at least one of various wired and wireless communication methods.
  • the communication interface 1600 may include a communication module for performing short-range communication such as Wireless Fidelity (Wi-Fi) and Bluetooth, various types of mobile communication, or ultra-wideband communication.
  • the communication interface 1600 may be connected to a device located outside the image generating apparatus 1000 , which is a smart phone, and may transmit an image acquired or generated by the image generating apparatus 1000 to an external device.
  • the display 1700 may include an output unit that provides information or an image, and may further include an input unit that receives an input.
  • the output unit may include a display panel and a controller for controlling the display panel, and may include a variety of organic light emitting diodes (OLED) displays, active-matrix organic light-emitting diodes (AM-OLED) displays, liquid crystal displays (LCDs), and the like. can be implemented in this way.
  • the input unit may receive various types of input from the user, and may have a type including at least one of a touch panel, a keypad, and a pen recognition panel.
  • the display 1700 may be provided in the form of a touch screen in which a display panel and a touch panel are combined, and may be implemented to be flexible or foldable.
  • FIG. 12 is a diagram for explaining another example of the image generating apparatus 1000 according to embodiments of the present disclosure.
  • the image generating apparatus 1000 is an augmented reality apparatus.
  • the image generating apparatus 1000 includes a communication interface 1600 , a display 1750 , a display engine unit 1800 , and a gaze in addition to the above-described memory 1100 , the processor 1200 , the passive sensor 1300 , and the active sensor 1400 . It may further include a tracking sensor 1900 .
  • components such as a position sensor for detecting the position of the mask forming unit 1500 or the image generating apparatus 1000 or a power supply unit for supplying power to the image generating apparatus 1000 may be included, but a description thereof will be omitted. do.
  • the communication interface 1600 may perform wired/wireless communication with other devices or networks. To this end, the communication interface 1600 may support at least one of various wired/wireless communication methods. For example, the communication interface 1600 may perform short-range communication such as Wi-Fi or Bluetooth, various types of mobile communication, or ultra-wideband communication.
  • the communication interface 1600 may be connected to a device located outside the image generating apparatus 1000 which is an augmented reality device, and may transmit an image acquired or generated by the image generating apparatus 1000 to an external device.
  • the image generating apparatus 1000 which is an augmented reality device may provide a pop-up of a virtual image through the display 1750 and the display engine unit 1800 .
  • a virtual image is an image generated through an optical engine and may include both a static image and a dynamic image. Such a virtual image is observed together with a scene in the real world that the user sees through the augmented reality device, and information on a real object in the scene of the real world or information on the operation of the image generating device 1000 which is an augmented reality device or a control menu It may be an image representing the etc.
  • the display engine unit 1800 may include an optical engine that generates and projects a virtual image, and a guide unit that guides the light of the virtual image projected from the optical engine to the display 1750 .
  • the display 1750 may include a see-through light guide plate (waveguide) embedded in the left eye lens unit and/or the right eye lens unit of the image generating apparatus 1000 which is an augmented reality device.
  • the display 1750 may display information about an object, information about an operation of the image generating apparatus 1000, or a virtual image representing a control menu.
  • the user wearing the image generating apparatus 1000 which is an augmented reality device exposes the user's hand to the passive sensor 1300 to manipulate the pop-up of the virtual image, By allowing the exposed hand to select a function of the image generating apparatus 1000 in the pop-up of the virtual image, the corresponding function may be executed.
  • the gaze tracking sensor 1900 may detect gaze information, such as a gaze direction toward which the user's eye faces, a pupil position of the user's eye, or coordinates of a central point of the pupil.
  • the processor 1200 may determine an eye movement type based on the user's gaze information detected by the gaze tracking sensor 1900 . For example, based on the gaze information obtained from the gaze tracking sensor 1900 , the processor 1200 may perform a fixation of gazing at a certain place, a pursuit of chasing a moving object, and a gaze from one gaze point to another.
  • Various types of gaze movements including a saccade in which the gaze rapidly moves to a point can be determined.
  • the processor 1200 of the image generating apparatus 1000 may determine the user's gaze point or the user's gaze movement using the gaze tracking sensor 1900 and use it to control the image generating apparatus 1000 .
  • the processor 1200 may acquire at least one image by controlling the direction of the passive sensor 1300 or the active sensor 1400 according to the gaze point or gaze movement determined by the gaze tracking sensor 1900 .
  • the user wears the image generating device 1000, which is an augmented reality device, to obtain a first image in a first direction, and then controls the direction of the passive sensor 1300 according to the user's gaze point or movement of the gaze.
  • a second image may be acquired in the second direction.
  • the image generating apparatus 1000 described in the present disclosure may be implemented as a hardware component, a software component, and/or a combination of a hardware component and a software component.
  • the image generating apparatus 1000 described in the disclosed embodiments executes and responds to a processor, arithmetic logic unit (ALU), ASIC, DSP, DSPD, PLD, microcomputer, microprocessor, or instruction. It may be implemented using one or more general purpose computers or special purpose computers, as with any other device capable of doing so.
  • Software may comprise a computer program, code, instructions, or a combination of one or more thereof, which configures a processing device to operate as desired or is independently or collectively processed You can command the device.
  • the software may be implemented as a computer program including instructions stored in a computer-readable storage medium.
  • the computer-readable recording medium includes, for example, a magnetic storage medium (eg, ROM, RAM, floppy disk, hard disk, etc.) and an optically readable medium (eg, CD-ROM) and DVD (Digital Versatile). Disc)), etc.
  • the computer-readable recording medium may be distributed among network-connected computer systems, so that the computer-readable code may be stored and executed in a distributed manner.
  • the medium may be readable by a computer, stored in a memory, and executed on a processor.
  • the computer may include the image generating apparatus 1000 according to the disclosed embodiments as an apparatus capable of calling a stored instruction from a storage medium and operating according to the called instruction according to the disclosed embodiment.
  • the computer-readable storage medium may be provided in the form of a non-transitory storage medium.
  • 'non-transitory' means that the storage medium does not include a signal and is tangible, and does not distinguish that data is semi-permanently or temporarily stored in the storage medium.
  • the method according to the disclosed embodiments may be provided included in a computer program product (computer program product).
  • Computer program products may be traded between sellers and buyers as commodities.
  • the computer program product may include a software program, a computer-readable storage medium in which the software program is stored.
  • the computer program product is a product (eg, a downloadable application) in the form of a software program distributed electronically through a manufacturer of the image generating device 1000 or an electronic market (eg, Google Play Store, App Store). (downloadable application)).
  • a product eg, a downloadable application
  • the storage medium may be a server of a manufacturer, a server of an electronic market, or a storage medium of a relay server temporarily storing a software program.
  • the computer program product in a system including a server and a terminal (eg, an image generating device), may include a storage medium of the server or a storage medium of the terminal.
  • a third device eg, a smart phone
  • the computer program product may include a storage medium of the third device.
  • the computer program product may include the software program itself transmitted from the server to the terminal or third device, or transmitted from the third device to the terminal.
  • one of the server, the terminal, and the third device may execute the computer program product to perform the method according to the disclosed embodiments.
  • two or more of the server, the terminal, and the third device may execute the computer program product to distribute the method according to the disclosed embodiments.
  • a server eg, a cloud server or an artificial intelligence server
  • the third device may execute a computer program product to control the terminal communicatively connected to the third device to perform the method according to the disclosed embodiment.
  • the third device may download the computer program product from the server and execute the downloaded computer program product.
  • the third device may execute the computer program product provided in a preloaded state to perform the method according to the disclosed embodiments.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Optics & Photonics (AREA)
  • Human Computer Interaction (AREA)
  • Electromagnetism (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Analysis (AREA)

Abstract

이미지 생성 장치 및 방법, 컴퓨터로 읽을 수 있는 기록매체가 개시된다. 이미지 생성 장치는, 패시브 센서, 액티브 센서, 마스크 형성부, 적어도 하나의 명령어들을 저장하는 메모리, 및 상기 적어도 하나의 명령어들을 실행하여, 패시브 센서를 이용하여, 제1 공간에 대한 제1 뎁스 맵을 획득하고, 제1 뎁스 맵의 미확인 영역을 식별하며, 미확인 영역에 기초하여 마스크를 형성하는 상기 마스크 형성부와 액티브 센서를 이용하여, 미확인 영역에 대한 제2 뎁스 맵을 획득하고, 제1 뎁스 맵과 제2 뎁스 맵에 기초하여, 제1 공간에 대한 제3 뎁스 맵을 획득한다.

Description

이미지 생성 장치 및 방법
본 개시는 총체적으로 이미지 생성 장치 및 방법에 관한 것이다.
3차원의 공간을 모델링하기 위해서는 해당 공간에 대한 뎁스 정보가 필요하다. 이러한 뎁스 정보를 파악하기 위해, ToF(Time of Flight) 방식의 뎁스 카메라가 이용되고 있다. 뎁스 카메라는 촬영된 공간 내의 객체와 뎁스 카메라 간의 거리에 대응되는 뎁스 정보를 획득할 수 있다.
증강 현실(Augment Reality, AR)과 같은 기술 분야에 3차원 기반의 상호작용 요소가 가미된 공간 증강 기술에 대해 관심이 높아지고 있다. 공간 증강 기술의 핵심은 뎁스 카메라를 이용한 3차원 공간 모델링이다. 공간 증강 기술을 이용하면, 3차원화된 현실 요소들은 공간 내에서 3차원 위치 정보를 갖게 되고, 가상 객체와 상호작용할 수 있다.
단일 색상 영역이나 민무늬 영역과 같이, 특징점을 추출하기 어려운 환경을 포함하는 공간을 모델링하기 위해 패시브 센서와 액티브 센서를 이용하여 공간에 대한 뎁스 맵을 획득하는 이미지 생성 장치 및 방법을 제공하는 것이다.
본 개시의 제1 측면에 따른 이미지 생성 장치는, 패시브 센서; 액티브 센서; 마스크 형성부; 적어도 하나의 명령어를 저장하는 메모리; 및 상기 적어도 하나의 명령어를 실행하여, 상기 패시브 센서를 이용하여, 제1 공간에 대한 제1 뎁스 맵을 획득하고, 상기 제1 뎁스 맵의 미확인 영역을 식별하며, 상기 미확인 영역에 기초하여 마스크를 형성하는 상기 마스크 형성부와 상기 액티브 센서를 이용하여, 상기 미확인 영역에 대한 제2 뎁스 맵을 획득하고, 상기 제1 뎁스 맵과 상기 제2 뎁스 맵에 기초하여, 상기 제1 공간에 대한 제3 뎁스 맵을 획득하는 프로세서를 포함할 수 있다.
본 개시의 제2 측면에 따른 이미지 생성 방법은, 패시브 센서를 이용하여, 제1 공간에 대한 제1 뎁스 맵을 획득하는 단계; 상기 제1 뎁스 맵의 미확인 영역을 식별하는 단계; 상기 미확인 영역에 기초하여 마스크를 형성하는 마스크 형성부와 액티브 센서를 이용하여, 상기 미확인 영역에 대한 제2 뎁스 맵을 획득하는 단계; 및 상기 제1 뎁스 맵과 상기 제2 뎁스 맵에 기초하여, 상기 제1 공간에 대한 제3 뎁스 맵을 획득하는 단계를 포함할 수 있다.
본 개시의 제3 측면에 따른 컴퓨터로 읽을 수 있는 비일시적 기록매체는, 패시브 센서를 이용하여, 공간에 대한 제1 뎁스 맵을 획득하는 단계; 상기 제1 뎁스 맵의 미확인 영역을 식별하는 단계; 상기 미확인 영역에 기초하여 마스크를 형성하는 마스크 형성부와 액티브 센서를 이용하여, 상기 미확인 영역에 대한 제2 뎁스 맵을 획득하는 단계; 및 상기 제1 뎁스 맵과 상기 제2 뎁스 맵에 기초하여, 상기 공간에 대한 제3 뎁스 맵을 획득하는 단계를 포함하는, 컴퓨터에 의해 실행되어 영상을 생성하는 방법을 수행하는 프로그램을 기록할 수 있다.
도 1은 본 개시의 실시예들에 따른 뎁스 맵 생성 과정을 나타낸 도면이다.
도 2는 본 개시의 일 실시예에 따라 제1 뎁스 맵에서 미확인 영역을 식별한 것을 나타낸 도면이다.
도 3은 본 개시의 일 실시예에 따른 이미지 생성 장치의 구성 및 동작을 설명하기 위한 도면이다.
도 4는 본 개시의 일 실시예에 따른 이미지 생성 장치에서 마스크를 형성하는 과정을 설명하기 위한 도면이다.
도 5는 본 개시의 일 실시예에 따른 이미지 생성 장치에서 미확인 영역에 대한 제2 뎁스 맵을 생성하는 과정을 설명하기 위한 도면이다.
도 6은 본 개시의 일 실시예에 따른 이미지 생성 장치의 액티브 센서가 단일 광원을 포함하는 경우, 액티브 센서 및 마스크 형성부의 동작을 설명하기 위한 도면이다.
도 7은 본 개시의 일 실시예에 따른 이미지 생성 장치의 액티브 센서가 복수의 광원들을 포함하는 경우, 액티브 센서 및 마스크 형성부의 동작을 설명하기 위한 도면이다.
도 8은 본 개시의 다른 실시예에 따른 이미지 생성 장치의 구성 및 동작을 설명하기 위한 도면이다.
도 9는 본 개시의 다른 실시예에 따른 이미지 생성 장치에서 미확인 영역에 대한 제2 뎁스 맵을 생성하는 과정을 설명하기 위한 도면이다.
도 10은 본 개시의 실시예들에 따른 이미지 생성 방법을 나타낸 흐름도이다.
도 11은 본 개시의 실시예들에 따른 이미지 생성 장치의 일 예를 설명하기 위한 도면이다.
도 12는 본 개시의 실시예들에 따른 이미지 생성 장치의 다른 예를 설명하기 위한 도면이다.
본 개시에서, "a, b 또는 c 중 적어도 하나" 표현은 " a", " b", " c", "a 및 b", "a 및 c", "b 및 c", 혹은 "a, b 및 c 모두" 를 지칭할 수 있다.
이하에서는 도면을 참조하여 본 개시의 실시예에 대하여 본 개시가 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 본 개시는 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시 예에 한정되지 않는다.
명세서 전체에서 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있음을 의미한다. 또한, 명세서에 기재된 "...부", "...모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다.
또한, 본 명세서에서 사용되는 '제 1' 또는 '제 2' 등과 같이 서수를 포함하는 용어는 다양한 구성 요소들을 설명하는데 사용할 수 있지만, 상기 구성 요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성 요소를 다른 구성 요소로부터 구별하는 목적으로만 사용된다.
본 실시예들은 이미지 생성 장치 및 방법에 관한 것으로서 해당 기술 분야에서 통상의 지식을 가진 자에게 널리 알려져 있는 사항들에 관해서는 자세한 설명을 생략한다.
본 개시에서 "이미지 생성 장치"는 이미지를 생성할 수 있는 전자 장치를 통칭하는 용어일 수 있다. 이미지 생성 장치는 객체가 포함된 장면에 대한 이미지 뿐만 아니라, 객체가 포함된 공간에 대한 뎁스 정보를 나타내는 뎁스 맵을 생성할 수 있다. 이미지 생성 장치는 증강 현실 장치, 스마트 폰, 디지털 카메라 등일 수 있다.
"패시브 센서"는 피사체에서 발생하는 열, 진동, 빛, 방사선 등의 현상을 탐지하여 해당 정보를 입력으로써 획득하는 장치일 수 있다. 예를 들어, 피사체에 광이나 펄스 등을 방출함이 없이 동작하는 스테레오 카메라, 모노 카메라, 적외선 센서, 팬/틸트 카메라 등은 패시브 센서라 할 수 있다.
"액티브 센서"는 소스(source)를 구비하여, 광원이나 조명, 펄스 등을 피사체에 방출하고, 피사체로부터 반사되는 정보를 수신할 수 있는 장치일 수 있다. 액티브 센서는 패시브 센서와 달리, 자체 광원을 구비하여, 능동적으로 광원을 피사체에 방출하고, 피사체로부터 액티브 센서에 반사되는 후방 산란을 측정할 수 있다. 예를 들어, 레이저나 적외선 등을 피사체에 방출한 후 되돌아오는 시간을 계산하는 ToF 센서나 레이저 센서, 마이크로파 센서, 특정 패턴광을 방출하여 피사체에 맺힌 상의 크기나 모양으로 거리를 계산하는 구조광(Structured Light) 센서, Invertible Light 센서 등은 액티브 센서라 할 수 있다.
도 1은 본 개시의 실시예들에 따른 뎁스 맵 생성 과정을 나타낸 도면이다.
이미지 생성 장치(1000)는 3차원 공간을 모델링하기 위해 공간에 대한 뎁스 정보를 제공하는 뎁스 맵을 생성할 수 있다. 뎁스 맵은 패시브 센서 및/또는 액티브 센서를 이용하여, 획득될 수 있다.
패시브 센서를 이용한 뎁스 맵 생성 방식은 패시브 센서를 통해 획득되는 공간에 대한 데이터에 기초하여, 특징점 매칭 또는 스테레오 매칭 등을 통해 뎁스 맵을 획득할 수 있다. 액티브 센서를 이용한 맵 생성 방식은 피사체에 광을 방출하는 발광부와 피사체로부터 반사되는 정보를 수신하는 수광부를 통해 획득되는 공간에 대한 정보에 기초하여, 뎁스 맵을 획득할 수 있다.
패시브 센서를 이용한 뎁스 맵 생성 방식은 특징점들 간의 매칭을 이용하기 때문에, 특징점을 추출하기 어려운 환경에 대해서는 3차원 복원이 어려울 수 있다. 반면, 액티브 센서를 이용한 뎁스 맵 생성 방식은 소스를 구동함에 따른 전력 소모가 높고, 소스로 광원을 이용하는 경우에는 방출된 광으로 인해 발생되는 광 패턴이 센서 위치를 추정하는 등의 알고리즘 처리에 방해가 될 수 있다. 따라서, 이하에서는, 전력 소모로 인한 배터리 문제를 해결하고, 다양한 환경의 공간에 대해 3차원 공간 모델링이 가능하도록, 이미지 생성 장치(1000)가 패시브 센서와 액티브 센서를 모두 이용하여 뎁스 맵을 생성하는 방식에 대해 설명한다.
도 1에서는, 설명의 편의상, 이미지 생성 장치(1000)는 패시브 센서로서 스테레오 카메라를 이용하고, 액티브 센서로서 ToF 센서를 이용하는 안경 형상의 증강 현실 안경 장치(Augmented Reality Glasses)인 경우를 예로 들었으나, 패시브 센서 및 액티브 센서의 종류와 이미지 생성 장치(1000)의 종류가 도 1에 도시된 예로 제한되는 것은 아니다. 도 1에 도시된 바와 같이, 이미지 생성 장치(1000)가 증강 현실 안경 장치인 경우, 스테레오 카메라는 각 렌즈부를 지지하는 안경테와 이미지 생성 장치(1000)를 사용자의 안면에 거치시키기 위한 안경 다리가 서로 접하는 부분에서 전방을 향하는 쪽에 위치할 수 있고, ToF 센서는 좌안 렌즈부와 우안 렌즈부 사이를 연결하는 브릿지 프레임에 내장된 형태로 장착될 수 있으나, 이에 제한되는 것은 아니다.
도 1을 참조하면, 이미지 생성 장치(1000)가 패시브 센서와 액티브 센서를 이용하여, 뎁스 맵을 생성하는 과정을 나타내고 있다.
이미지 생성 장치(1000)는 패시브 센서를 이용하여 먼저, 공간에 대한 뎁스 맵(이하, 제1 뎁스 맵)을 생성할 수 있다. 이미지 생성 장치(1000)는 좌안 렌즈부와 우안 렌즈부 각각을 지지하는 안경테의 양측 모서리에 위치한 스테레오 카메라를 이용하여, 공간에 대한 제1 뎁스 맵을 생성할 수 있다. 그러나, 앞에서 설명한 바와 같이, 공간이 특징점을 추출하기 어려운 환경을 포함하는 경우, 예를 들어, 공간이 단일 색상 영역이나 민무늬 영역을 포함하는 경우, 이미지 생성 장치(1000)는 패시브 센서를 이용한 뎁스 맵 생성 방식으로, 공간에서 단일 색상 영역이나 민무늬 영역에 대응되는 부분에 대한 뎁스 맵을 생성할 수 없다. 이와 같은 경우, 패시브 센서를 이용하여 생성된 제1 뎁스 맵은 뎁스 정보가 확인되지 않는 영역 즉, 미확인 영역을 포함하게 된다.
도 2는 본 개시의 일 실시예에 따라 제1 뎁스 맵에서 미확인 영역을 식별한 것을 나타낸 도면이다.
도 2를 참조하면, 패시브 센서를 이용하여 생성된 제1 뎁스 맵을 나타내고 있으며, 제1 뎁스 맵에서 뎁스 정보를 알 수 없는 미확인 영역이 존재함을 알 수 있다. 본 개시에서, 미확인 영역은 제1 뎁스 맵에서 뎁스 정보를 알 수 없는 영역이나 뎁스 정보의 정확도가 소정의 기준 이하인 영역을 포함할 수 있다.
이미지 생성 장치(1000)는 패시브 센서로부터 획득된 데이터를 뎁스 맵 생성 알고리즘에 대한 입력으로 하여, 제1 뎁스 맵을 생성할 수 있다. 이때, 이미지 생성 장치(1000)는 생성된 제1 뎁스 맵에서 뎁스 정보를 알 수 없거나 뎁스 정보의 정확도가 소정의 기준 이하인 영역을 미확인 영역으로 식별할 수 있다. 이미지 생성 장치(1000)는 식별된 미확인 영역에 대한 정보를 메모리에 저장해 둘 수 있다.
다시 도 1을 참조하면, 이미지 생성 장치(1000)는 제1 뎁스 맵의 미확인 영역에 대한 뎁스 맵(이하, 제2 뎁스 맵)을 생성하기 위해, 액티브 센서를 이용할 수 있다. 이때, 이미지 생성 장치(1000)의 실시예에 따른 구현 방식에 따라, 이미지 생성 장치(1000)는 액티브 센서의 광원으로부터 방출된 광을 공간 전체 중 미확인 영역에 대응되는 공간에 선택적으로 투사하거나, 공간 전체에 투사할 수 있다. 예를 들어, 이미지 생성 장치(1000)는 액티브 센서의 광원으로부터 방출된 광을 미확인 영역에 대응되는 공간에 선택적으로 투사한 것에 대한 응답으로, 액티브 센서에 수신된 정보에 기초하여, 제2 뎁스 맵을 생성할 수 있다. 다른 예를 들어, 이미지 생성 장치(1000)는 액티브 센서의 광원으로부터 방출된 광을 공간 전체에 투사한 것에 대한 응답으로, 액티브 센서에 수신된 정보 중 제1 뎁스 맵의 미확인 영역에 대응되는 정보에 기초하여, 제2 뎁스 맵을 생성할 수 있다.
이미지 생성 장치(1000)는 제1 뎁스 맵과 제2 뎁스 맵에 기초하여, 공간 전체에 대한 뎁스 정보를 제공하는 뎁스 맵(이하, 제3 뎁스 맵)을 생성할 수 있다. 이미지 생성 장치(1000)는 제1 뎁스 맵의 미확인 영역을 제2 뎁스 맵으로 보완하여, 공간에 대한 제3 뎁스 맵을 생성할 수 있다.
이하, 본 개시의 일 실시예에 따른 이미지 생성 장치(1000)로 뎁스 맵을 생성하는 방식에 대해 상세히 설명한다.
도 3은 본 개시의 실시예에 따른 이미지 생성 장치(1000)의 구성 및 동작을 설명하기 위한 도면이다.
도 3을 참조하면, 이미지 생성 장치(1000)는 메모리(1100), 프로세서(1200), 패시브 센서(1300), 액티브 센서(1400), 마스크 형성부(1500)를 포함할 수 있다. 본 실시예와 관련된 기술분야에서 통상의 지식을 가진 자라면 도 3에 도시된 구성요소들 외에 다른 범용적인 구성요소들이 더 포함될 수 있음을 알 수 있다.
메모리(1100)는 프로세서(1200)에 의해 실행 가능한 명령어들을 저장할 수 있다. 메모리(1100)는 명령어들로 구성된 프로그램을 저장할 수 있다. 메모리(1100)는 예를 들어, 램(RAM, Random Access Memory), SRAM(Static Random Access Memory), 롬(ROM, Read-Only Memory), 플래시 메모리(flash memory), EEPROM(Electrically Erasable Programmable Read-Only Memory), PROM(Programmable Read-Only Memory), 자기 메모리, 자기 디스크, 및/또는 광디스크 중 적어도 하나의 타입의 하드웨어 장치를 포함할 수 있다.
메모리(1100)는 명령어들을 포함하는 적어도 하나의 소프트웨어 모듈을 저장할 수 있다. 각 소프트웨어 모듈은 프로세서(1200)에 의해 실행됨으로써, 이미지 생성 장치(1000)가 소정의 동작이나 기능을 수행하도록 한다. 예를 들어, 도 3에 도시된 바와 같이, 메모리(1100)는 센싱 모듈, 이미지 분석 모듈, 마스크 형성 모듈, 이미지 생성 모듈을 저장할 수 있으나, 이에 한정되는 것은 아니며, 이 중 일부를 저장하거나 다른 소프트웨어 모듈을 더 포함할 수 있다.
프로세서(1200)는 메모리(1100)에 저장된 명령어들이나 프로그램화된 소프트웨어 모듈을 실행함으로써, 이미지 생성 장치(1000)가 수행하는 동작이나 기능을 제어할 수 있다. 프로세서(1200)는 산술, 로직 및 입출력 연산과 시그널 프로세싱을 수행하는 하드웨어 구성 요소로 구성될 수 있다.
프로세서(1200)는 적어도 하나의 프로세싱 모듈을 포함할 수 있다. 예를 들어, 중앙 처리 장치(Central Processing Unit), 마이크로 프로세서(microprocessor), 그래픽 프로세서(Graphic Processing Unit), ASICs(Application Specific Integrated Circuits), DSPs(Digital Signal Processors), DSPDs(Digital Signal Processing Devices), PLDs(Programmable Logic Devices), 및/또는 FPGAs(Field Programmable Gate Arrays) 중 적어도 하나의 하드웨어로 구성될 수 있으나, 이에 한정되는 것은 아니다.
패시브 센서(1300)와 액티브 센서(1400)는 뎁스 맵을 생성하기 위해 이용할 수 있는 다양한 종류의 장치일 수 있다. 예를 들어, 모노 카메라를 이용하여 공간에 대해 이미지들을 획득하고, 뎁스 정보 추정 모델을 활용한 딥 러닝(deep learning) 분석에 따라, 공간에 대한 뎁스 정보를 측정하여, 측정된 뎁스 정보에 기초한 뎁스 맵을 생성할 수 있으므로, 모노 카메라는 패시브 센서(1300)가 될 수 있다. 특정 패턴광을 방출하여 피사체에 맺힌 상의 크기나 모양으로 뎁스 정보를 획득하는 구조광 센서는 액티브 센서(1400)가 될 수 있다. 다만, 이하에서는 설명의 편의상, 패시브 센서(1300)는 스테레오 카메라이고, 액티브 센서(1400)는 ToF 센서인 경우를 예로 들어 설명한다.
패시브 센서(1300)는 이미지 생성 장치(1000)의 소정의 부분에 각각 제공되는 제1 카메라와 제2 카메라일 수 있다. 이미지 생성 장치(1000)는 제1 카메라와 제2 카메라의 위치 차이를 베이스라인으로 하는 스테레오 비전 방식에 기초하여, 제1 카메라와 제2 카메라에서 각각 획득된 이미지에서 서로 대응되는 특징점을 찾아내고, 특징점에서의 뎁스 정보의 지표가 되는 변이를 계산하여, 공간에 대한 뎁스 정보를 측정하고, 측정된 뎁스 정보에 기초한 제1 뎁스 맵을 생성할 수 있다.
액티브 센서(1400)는 ToF 센서일 수 있다. ToF 센서는 적외선 또는 광을 투사하고 물체 또는 객체에 맞고 반사되어 돌아오기까지의 시간을 측정하거나 객체에 맞기 전/후의 적외선 또는 광의 위상차를 이용하는 센서로 적외선 또는 광을 투사하기 위한 적어도 하나의 광원으로 구성된 에미터(emitter)를 포함할 수 있다. 이미지 생성 장치(1000)는 제1 뎁스 맵의 미확인 영역을 식별하여, ToF 센서를 이용하여, 미확인 영역에 대한 제2 뎁스 맵을 생성할 수 있다.
마스크 형성부(1500)는 미확인 영역에 기초하여 마스크를 형성할 수 있다. 마스크 형성부(1500)는 액티브 센서(1400)의 광원으로부터 방출된 광을 제1 뎁스 맵의 미확인 영역에 대응되는 공간에 투사할 수 있도록, 방출된 광을 통과시키거나 차단하기 위해 선택적으로 작동 가능한 복수 개의 광학 소자들을 포함할 수 있다. 복수 개의 광학 소자들의 각 광학 소자는 액티브 센서(1400)의 광원으로부터 방출된 광이 각 광학 소자에 의해 통과되거나 차단되어, 제1 뎁스 맵의 미확인 영역에 대응되는 공간에 투사될 수 있도록, 제어되는 광학 셔터로서 동작할 수 있다. 마스크 형성부(1500)의 복수 개의 광학 소자들 각각은 액정(Liquid Crystal) 셀이거나 마이크로미러와 같은 반사 부재일 수 있다. 액정 셀은 인가되는 전압에 따라 광 투과율이 변화시킬 수 있다. 마이크로미러는 회전함에 따라 광의 경로를 변화할 수 있다.
마스크 형성부(1500)는 제1 뎁스 맵의 미확인 영역에 대응되는 광학 소자는 방출된 광을 통과시키고, 제1 뎁스 맵에서 미확인 영역을 제외한 영역에 대응되는 광학 소자는 방출된 광을 차단(블록 또는 반사)시키도록 작동할 수 있다. 다시 말해, 마스크 형성부(1500)는 미확인 영역에 대응되는 광학 소자는 비마스킹 영역을 형성하고, 제1 뎁스 맵에서 미확인 영역을 제외한 영역에 대응되는 광학 소자는 마스킹 영역을 형성하도록 작동할 수 있다.
도 4는 본 개시의 일 실시예에 따른 이미지 생성 장치(1000)에서 마스크를 형성하는 과정을 설명하기 위한 도면이다.
도 4를 참조하면, 이미지 생성 장치(1000)가 패시브 센서(1300)를 이용하여 생성한 제1 뎁스 맵에 미확인 영역이 포함되어 있다. 이미지 생성 장치(1000)는 미확인 영역이 포함된 제1 뎁스 맵을 액티브 센서(1400)의 발광면으로 투영(projection)시킨 이미지를 획득할 수 있다. 투영된 이미지에서 제1 뎁스 맵의 뎁스 정보가 투영된 부분은 마스킹 영역이 되도록 하고, 투영된 이미지에서 제1 뎁스 맵의 뎁스 정보가 투영되지 않은 부분은 비마스킹 영역이 되도록 할 수 있다. 결과적으로, 이미지 생성 장치(1000)는 제1 뎁스 맵을 액티브 센서(1400)의 발광면으로 투영시킨 이미지에 따른 미확인 영역에 기초하여 마스크를 형성하도록 마스크 형성부(1500)를 제어할 수 있다.
다시 도3을 참조하면, 마스크 형성부(1500)는 액티브 센서(1400)의 광원으로부터 방출된 광을 통과시키거나 차단하기 위해 다양한 형태의 광학 소자들을 포함할 수 있다.
예를 들어, 마스크 형성부(1500)의 복수 개의 광학 소자들이 마이크로미러 어레이 형태로 구성된 경우, 각각의 마이크로미러를 미확인 영역에 기초하여 프로그래밍된 각도만큼 회전시켜, 광원으로부터 방출된 광을 미확인 영역에 대응되는 공간에 집적시킬 수 있다. 광의 집적 효과를 이용하면, 액티브 센서(1400)는 저출력 또는 적은 전력 소모량으로 광원을 작동시킬 수 있다.
다른 예를 들어, 마스크 형성부(1500)의 복수 개의 광학 소자들이 액정 셀들을 포함하는 경우, 미확인 영역에 기초하여 프로그래밍된 전압 크기만큼 각각의 액정 셀에 전압을 인가하여, 광 투과율을 조절함으로써, 단일 광원으로부터 방출된 광의 일부를 선택적으로 통과시키거나, 복수의 광원들 중 작동된 광원으로부터 방출된 광을 선택적으로 통과시킬 수 있다.
도 5는 본 개시의 일 실시예에 따른 이미지 생성 장치(1000)에서 미확인 영역에 대한 제2 뎁스 맵을 생성하는 과정을 설명하기 위한 도면이다.
이미지 생성 장치(1000)는 액티브 센서(1400)와 마스크 형성부(1500)를 이용하여, 제1 뎁스 맵의 미확인 영역에 대한 제2 뎁스 맵을 생성할 수 있다. 앞서 설명한 바와 같이, 마스크 형성부(1500)는 액티브 센서(1400)의 광원으로부터 방출된 광을 제1 뎁스 맵의 미확인 영역에 대응되는 공간에 선택적으로 투사되도록 할 수 있다.
도 5를 참조하면, 이미지 생성 장치(1000)는 액티브 센서(1400)의 광원으로부터 방출된 광을 마스크 형성부(1500)를 제어하여, 전체 공간 중에서 제1 뎁스 맵의 미확인 영역에 대응되는 공간에 선택적으로 투사할 수 있다. 이미지 생성 장치(1000)는 제1 뎁스 맵의 미확인 영역을 식별하고, 식별된 미확인 영역에 대한 정보를 메모리(1100)에 저장해 놓고 있으므로, 저장된 정보에 기초하여, 미확인 영역에 대응되는 공간에 광을 선택적으로 투사할 수 있다.
이미지 생성 장치(1000)는 액티브 센서(1400)와 마스크 형성부(1500)를 이용하여 미확인 영역에 대응되는 공간에 능동적으로 광을 방출하고, 피사체로부터 반사되어 액티브 센서(1400)에 수신되는 반사광을 감지할 수 있다. 이미지 생성 장치(1000)는 레이저나 적외선 등을 미확인 영역에 대응되는 공간에 방출한 후 되돌아오는 시간을 측정하거나, 특정 패턴광을 미확인 영역에 대응되는 공간에 방출하여 해당 공간에 맺힌 상의 크기나 모양을 측정하여, 뎁스 정보를 획득할 수 있는 액티브 센서(1400)를 이용할 수 있다. 이미지 생성 장치(1000)는 단일 색상 영역이나 민무늬 영역에 대응되는 공간에 대해서는 패시브 센서(1300)를 이용하여 뎁스 정보를 획득할 수 없으므로, 액티브 센서(1400)와 마스크 형성부(1500)를 이용하여 미확인 영역에 대한 제2 뎁스 맵을 생성하는 것이다.
마스크 형성부(1500)는 액티브 센서(1400)가 단일 광원을 포함하는지 복수의 광원들을 포함하는지에 따라, 다르게 동작할 수 있다.
도 6은 본 개시의 일 실시예에 따른 이미지 생성 장치(1000)의 액티브 센서(1400)가 단일 광원을 포함하는 경우, 액티브 센서(1400) 및 마스크 형성부(1500)의 동작을 설명하기 위한 도면이다.
액티브 센서(1400)가 단일 광원을 포함하는 경우, 이미지 생성 장치(1000)의 프로세서(1200)는 단일 광원으로부터 방출된 광이 미확인 영역에 대응되는 공간에 집적되도록 마스크 형성부(1500)를 제어할 수 있다. 도 6을 참조하면, 이미지 생성 장치(1000)의 마스크 형성부(1500)가 액티브 센서(1400)의 단일 광원으로부터 방출된 광의 방향을 조절하여, 뎁스 정보가 확인된 공간은 제외하고, 뎁스 정보가 확인되지 않은 미확인 영역에 대응되는 공간에 광을 집적함을 알 수 있다. 이와 같은 광의 집적에 따라, 액티브 센서(1400)의 효율은 상승할 수 있다.
도 7은 본 개시의 일 실시예에 따른 이미지 생성 장치(1000)의 액티브 센서(1400)가 복수의 광원들을 포함하는 경우, 액티브 센서(1400) 및 마스크 형성부(1500)의 동작을 설명하기 위한 도면이다.
액티브 센서(1400)가 복수의 광원들을 포함하는 경우, 이미지 생성 장치(1000)의 프로세서(1200)는 미확인 영역에 대응되는 공간을 위한 광원은 작동시키고, 제1 뎁스 맵에서 미확인 영역을 제외한 영역에 대응되는 공간을 위한 광원은 작동하지 않도록 액티브 센서(1400)를 제어하고, 작동된 광원으로부터 방출된 광을 통과시키도록 마스크 형성부(1500)를 제어할 수 있다. 도 7을 참조하면, 이미지 생성 장치(1000)는 액티브 센서(1400)의 복수의 광원들(제1 내지 제4 광원)중 미확인 영역에 대응되는 공간을 위한 일부 광원(제1 광원 및 제3 광원)은 작동시키고, 나머지 광원(제2 광원 및 제3 광원)은 작동하지 않도록 액티브 센서(1400)를 제어할 수 있다. 이미지 생성 장치(1000)는 제1 광원 및 제3 광원으로부터 방출된 광을 통과시키도록 마스크 형성부(1500)의 대응되는 광학 소자들을 제어할 수 있다. 이와 같은 경우, 복수의 광원들 전체가 아닌, 미확인 영역에 대응되는 공간을 위한 일부 광원을 작동시킴으로써, 전력 소비의 감소를 기대할 수 있다.
다시 도 3을 참조하면, 상기한 구성에 따라, 프로세서(1200)는 메모리(1100)에 저장된 명령어들을 실행하여, 패시브 센서(1300)를 이용하여, 공간에 대한 제1 뎁스 맵을 생성하고, 제1 뎁스 맵의 미확인 영역을 식별할 수 있다. 프로세서(1200)는 메모리(1100)에 저장된 명령어들을 실행하여, 미확인 영역에 기초하여 마스크를 형성하는 마스크 형성부(1500)와 액티브 센서(1400)를 이용하여, 미확인 영역에 대한 제2 뎁스 맵을 생성할 수 있다. 프로세서(1200)는 메모리(1100)에 저장된 명령어들을 실행하여, 제1 뎁스 맵과 제2 뎁스 맵에 기초하여, 공간에 대한 제3 뎁스 맵을 생성할 수 있다.
구체적으로, 프로세서(1200)는 메모리(1100)에 저장된 센싱 모듈, 이미지 분석 모듈, 마스크 형성 모듈, 및 이미지 생성 모듈 중 적어도 하나를 실행하여, 3차원 공간을 모델링하기 위해 공간에 대한 뎁스 맵을 생성할 수 있다.
프로세서(1200)는 메모리(1100)에 저장된 명령어들 또는 소프트웨어 모듈을 로딩하고 이를 실행할 수 있다. 프로세서(1200)는 적어도 하나의 프로세싱 하드웨어 모듈을 구비하여, 메모리(1100)에 저장된 센싱 모듈, 이미지 분석 모듈, 마스크 형성 모듈, 및 이미지 생성 모듈 중 적어도 하나를 실행할 수 있다. 예를 들어, 프로세서(1200)는 CPU와 이미지 처리에 전용하기 위한 GPU를 구비하여, CPU에서 센싱 모듈 및 마스크 형성 모듈을 실행하고, GPU에서 이미지 분석 모듈 및 이미지 생성 모듈을 실행할 수 있다. 다른 예를 들어, 프로세서(1200)는 센싱 모듈, 이미지 분석 모듈, 마스크 형성 모듈, 및 이미지 생성 모듈을 모두 실행하는 하나의 통합 프로세서 형태이거나, 각각의 모듈을 각각 실행하기 위한 개별 프로세서들을 포함하는 형태일 수 있다.
프로세서(1200)는 센싱 모듈을 실행하여, 패시브 센서(1300)와 액티브 센서(1400)에 센싱 제어 신호를 전송할 수 있다. 패시브 센서(1300)와 액티브 센서(1400)를 통해 획득된 데이터는 메모리(1100)에 저장될 수 있다. 메모리(1100)에 저장된 데이터는 제1 뎁스 맵 내지 제3 뎁스 맵을 생성하는데 이용될 수 있다.
프로세서(1200)는 이미지 분석 모듈을 실행하여, 제1 뎁스 맵의 미확인 영역을 식별할 수 있다. 프로세서(1200)는 제1 뎁스 맵에서 뎁스 정보를 확인할 수 없거나 뎁스 정보의 정확도가 소정의 기준 이하인 영역을 미확인 영역으로 처리하여, 제1 뎁스 맵의 미확인 영역을 식별할 수 있다. 프로세서(1200)는 제1 뎁스 맵의 미확인 영역을 식별함으로써, 제1 뎁스 맵에서 보완되어야 할 부분을 결정할 수 있다.
프로세서(1200)는 마스크 형성 모듈을 실행하여, 제1 뎁스 맵의 미확인 영역에 기초하여 마스크를 형성할 수 있다. 프로세서(1200)는 제1 뎁스 맵을 액티브 센서(1400)의 발광면으로 투영시킨 이미지에 따른 미확인 영역에 기초하여 마스크를 형성하도록 마스크 형성부(1500)를 제어할 수 있다.
프로세서(1200)는 이미지 생성 모듈을 실행하여, 패시브 센서(1300)를 통해 획득된 데이터로부터 제1 뎁스 맵을 생성하고, 액티브 센서(1400)를 통해 획득된 데이터로부터 제1 뎁스 맵의 미확인 영역에 대한 제2 뎁스 맵을 생성할 수 있다. 프로세서(1200)는 이미지 생성 모듈을 실행하여, 제1 뎁스 맵과 제2 뎁스 맵에 기초하여, 제3 뎁스 맵을 생성할 수 있다. 프로세서(1200)는 제2 뎁스 맵을 이용하여, 제1 뎁스 맵에서 미확인 영역에 대한 이미지 보정을 수행함으로써, 제3 뎁스 맵을 생성할 수 있다. 제3 뎁스 맵은 제1 뎁스 맵에서 미확인 영역이 제2 뎁스 맵을 이용하여 보정된 형태의 뎁스 맵일 수 있다. 프로세서(1200)는 생성된 제3 뎁스 맵을 메모리(1100)에 저장할 수 있다.
도 8는 본 개시의 다른 실시예에 따른 이미지 생성 장치(1000)의 구성 및 동작을 설명하기 위한 도면이다.
앞서, 도 3에서 설명한 실시예와 비교해보면, 도 8의 이미지 생성 장치(1000)는 마스크 형성부(1500)가 제거된 형태이며, 이에 따라 마스크 형성 모듈도 메모리(1100)에 저장되어 있지 않음을 알 수 있다. 도 3에서 설명한 메모리(1100), 프로세서(1200), 패시브 센서(1300), 액티브 센서(1400)에 대해 중복되는 내용은 이하 설명을 생략한다.
도 8의 실시예에 따르면, 프로세서(1200)는 메모리(1100)에 저장된 명령어들을 실행하여, 패시브 센서(1300)를 이용하여, 공간에 대한 제1 뎁스 맵을 생성하고, 제1 뎁스 맵의 미확인 영역을 식별할 수 있다. 프로세서(1200)는 메모리(1100)에 저장된 명령어들을 실행하여, 액티브 센서(1400)를 이용하여, 제1 뎁스 맵의 미확인 영역에 대한 제2 뎁스 맵을 생성할 수 있다. 프로세서(1200)는 메모리(1100)에 저장된 명령어들을 실행하여, 제1 뎁스 맵과 제2 뎁스 맵에 기초하여, 공간에 대한 제3 뎁스 맵을 생성할 수 있다.
구체적으로, 프로세서(1200)는 메모리(1100)에 저장된 센싱 모듈, 이미지 분석 모듈, 및 이미지 생성 모듈 중 적어도 하나를 실행하여, 3차원 공간을 모델링하기 위해 공간에 대한 뎁스 맵을 생성할 수 있다.
프로세서(1200)는 센싱 모듈을 실행하여, 패시브 센서(1300)와 액티브 센서(1400)에 센싱 제어 신호를 전송할 수 있다. 패시브 센서(1300)와 액티브 센서(1400)를 통해 획득된 데이터는 메모리(1100)에 저장될 수 있다. 도 3의 실시예에서 액티브 센서(1400)를 통해 획득된 데이터는 미확인 영역에 대응되는 공간에 대한 데이터인 반면, 도 8의 실시에에서 액티브 센서(1400)를 통해 획득된 데이터는 공간 전체에 대한 데이터일 수 있다. 도 8의 실시예에서는 액티브 센서(1400)의 광원으로부터 방출된 광의 일부를 차단하는 마스크를 사용하지 않기 때문이다. 메모리(1100)에 저장된 데이터는 제1 뎁스 맵 내지 제3 뎁스 맵을 생성하는데 이용될 수 있다.
프로세서(1200)는 이미지 분석 모듈을 실행하여, 제1 뎁스 맵의 미확인 영역을 식별할 수 있다. 프로세서(1200)는 제1 뎁스 맵에서 뎁스 정보를 확인할 수 없거나 뎁스 정보의 정확도가 소정의 기준 이하인 영역을 미확인 영역으로 처리하여, 제1 뎁스 맵의 미확인 영역을 식별할 수 있다. 프로세서(1200)는 뎁스 정보에 기초하여, 제1 뎁스 맵을 복수의 영역들로 분할할 수 있다. 프로세서(1200)는 제1 뎁스 맵에서 분할된 복수의 영역들 중 미확인 영역의 위치 정보를 메모리(1100)에 저장하고, 제2 뎁스 맵 또는 제3 뎁스 맵의 생성에 활용할 수 있다.
프로세서(1200)는 이미지 생성 모듈을 실행하여, 패시브 센서(1300)를 통해 획득된 데이터로부터 제1 뎁스 맵을 생성하고, 액티브 센서(1400)를 통해 획득된 데이터로부터 제1 뎁스 맵의 미확인 영역에 대한 제2 뎁스 맵을 생성할 수 있다. 프로세서(1200)는 메모리(1100)에 저장된, 제1 뎁스 맵의 미확인 영역의 위치 정보에 기초하여, 액티브 센서(1400)를 통해 획득된 데이터로부터 제2 뎁스 맵을 생성할 수 있다. 이때, 제1 뎁스 맵의 미확인 영역의 사이즈에 따라, 액티브 센서(1400)를 통해 획득된 데이터에 성능이 다른 뎁스 정보 생성 알고리즘이 적용될 수 있다. 또한, 제1 뎁스 맵의 미확인 영역이 복수 개인 경우, 각각의 사이즈에 따라, 액티브 센서(1400)를 통해 획득된 데이터에 서로 다른 뎁스 정보 생성 알고리즘이 적용될 수도 있다. 고품질의 뎁스 정보 생성 알고리즘일수록, 더 많은 연산 시간이 소요되므로, 제1 뎁스 맵의 미확인 영역이 좁을수록 고품질의 뎁스 정보 생성 알고리즘을 적용시킬 수 있다. 프로세서(1200)는 제1 뎁스 맵과 제2 뎁스 맵에 기초하여, 제3 뎁스 맵을 생성할 수 있다.
도 9는 본 개시의 다른 실시예에 따른 이미지 생성 장치(1000)에서 미확인 영역에 대한 제2 뎁스 맵을 생성하는 과정을 설명하기 위한 도면이다.
이미지 생성 장치(1000)는 액티브 센서(1400)를 이용하여, 제1 뎁스 맵의 미확인 영역에 대한 제2 뎁스 맵을 생성할 수 있다. 이미지 생성 장치(1000)는 제1 뎁스 맵의 미확인 영역을 식별하고, 식별된 미확인 영역에 대한 정보를 메모리(1100)에 저장해 놓고 있으므로, 저장된 정보에 기초하여, 미확인 영역에 대한 제2 뎁스 맵을 생성할 수 있다.
도 9를 참조하면, 이미지 생성 장치(1000)는 액티브 센서(1400)의 광원으로부터 방출된 광을 공간 전체에 투사할 수 있다. 도 9에는 도트 패턴의 광이 공간 전체에 투사된 것을 도시하고 있으나, 방출된 광의 패턴이나 종류가 이에 한정되는 것은 아니다. 이미지 생성 장치(1000)는 액티브 센서(1400)를 이용하여 공간 전체에 능동적으로 광을 방출하고, 피사체로부터 반사되어 액티브 센서(1400)에 수신되는 반사광을 감지할 수 있다. 이미지 생성 장치(1000)는 레이저나 적외선 등을 공간 전체에 방출한 후 되돌아오는 시간을 측정하거나, 특정 패턴광을 공간 전체에 방출하여 공간 전체에 맺힌 상의 크기나 모양을 측정하여, 뎁스 정보를 획득하는 액티브 센서(1400)를 이용할 수 있다. 이미지 생성 장치(1000)는 액티브 센서(1400)를 이용하여 공간 전체에 대한 뎁스 정보를 획득한 후, 제1 뎁스 맵의 미확인 영역에 대한 정보에 기초하여, 미확인 영역에 대한 제2 뎁스 맵을 생성할 수 있다.
도 10은 본 개시의 실시예들에 따른 이미지 생성 방법을 나타낸 흐름도이다.
이상에서 이미지 생성 장치(1000)에 대하여 기술한 내용은 이하 그 내용이 생략되더라도 이미지 생성 방법에 대하여 그대로 적용될 수 있다.
1010 단계에서, 이미지 생성 장치(1000)는 패시브 센서(1300)를 이용하여, 공간에 대한 제1 뎁스 맵을 획득할 수 있다.
1020 단계에서, 이미지 생성 장치(1000)는 제1 뎁스 맵의 미확인 영역을 식별할 수 있다. 이미지 생성 장치(1000)는 제1 뎁스 맵에서 뎁스 정보를 확인할 수 없거나 뎁스 정보의 정확도가 소정의 기준 이하인 영역을 미확인 영역으로 처리하여, 제1 뎁스 맵의 미확인 영역을 식별할 수 있다.
1030 단계에서, 이미지 생성 장치(1000)는 액티브 센서(1400)를 이용하여, 미확인 영역에 대한 제2 뎁스 맵을 획득할 수 있다.
예를 들어, 이미지 생성 장치(1000)는 미확인 영역에 기초하여 마스크를 형성하는 마스크 형성부(1500)와 액티브 센서(1400)를 이용하여, 미확인 영역에 대한 제2 뎁스 맵을 획득할 수 있다. 이미지 생성 장치(1000)는 액티브 센서(1400)의 광원으로부터 방출된 광을 미확인 영역에 대응되는 공간에 투사할 수 있도록, 액티브 센서(1400)의 광원으로부터 방출된 광을 통과시키거나 차단하기 위해 마스크 형성부(1500)에 포함된 복수 개의 광학 소자들을 선택적으로 제어할 수 있다. 이미지 생성 장치(1000)는 미확인 영역에 대응되는 광학 소자는 방출된 광을 통과시키고, 제1 뎁스 맵에서 미확인 영역을 제외한 영역에 대응되는 광학 소자는 방출된 광을 차단시키도록 제어할 수 있다. 이미지 생성 장치(1000)는 미확인 영역에 대응되는 광학 소자는 비마스킹 영역을 형성하고, 제1 뎁스 맵에서 미확인 영역을 제외한 영역에 대응되는 광학 소자는 마스킹 영역을 형성하도록 제어할 수 있다. 이미지 생성 장치(1000)는 액티브 센서(1400)의 광원으로부터 방출된 광이 각 광학 소자에 의해 통과되거나 차단되어, 제1 뎁스 맵의 미확인 영역에 대응되는 공간에 투사될 수 있도록, 각 광학 소자를 제어함으로써, 복수 개의 광학 소자들을 선택적으로 제어할 수 있다. 이미지 생성 장치(1000)는 제1 뎁스 맵을 액티브 센서(1400)의 발광면으로 투영시킨 이미지에 따른 미확인 영역에 기초하여 마스크를 형성하도록 복수 개의 광학 소자들을 선택적으로 제어할 수 있다.
이미지 생성 장치(1000)는 액티브 센서(1400)가 단일 광원을 포함하는 경우, 단일 광원으로부터 방출된 광이 미확인 영역에 대응되는 공간에 집적되도록 복수 개의 광학 소자들을 선택적으로 제어할 수 있다. 이미지 생성 장치(1000)는 액티브 센서(1400)가 복수의 광원들을 포함하는 경우, 미확인 영역에 대응되는 공간을 위한 광원은 작동시키고, 제1 뎁스 맵에서 미확인 영역을 제외한 영역에 대응되는 공간을 위한 광원은 작동하지 않도록 액티브 센서(1400)를 제어할 수 있다. 이미지 생성 장치(1000)는 작동된 광원으로부터 방출된 광을 통과시키도록, 마스크 형성부(1500)에 포함된 복수 개의 광학 소자들 중 일부 광학 소자들을 제어할 수 있다.
이미지 생성 장치(1000)는 액티브 센서(1400)로부터 획득된 데이터에 기초하여, 미확인 영역에 대한 제2 뎁스 맵을 생성할 수 있다.
다른 예를 들어, 이미지 생성 장치(1000)는 액티브 센서(1400)를 이용하여, 미확인 영역에 대한 제2 뎁스 맵을 생성할 수 있다. 이미지 생성 장치(1000)는 액티브 센서(1400)의 광원으로부터 방출된 광을 공간 전체에 투사하여, 공간 전체에 대한 정보를 획득한 후, 제1 뎁스 맵의 미확인 영역에 대한 정보에 기초하여, 미확인 영역에 대한 제2 뎁스 맵을 생성할 수 있다. 이때, 제1 뎁스 맵의 미확인 영역의 사이즈에 따라, 액티브 센서(1400)를 통해 획득된 데이터에 성능이 다른 뎁스 정보 생성 알고리즘이 적용될 수 있다. 또한, 제1 뎁스 맵의 미확인 영역이 복수 개인 경우, 각각의 사이즈에 따라, 액티브 센서(1400)로부터 획득된 데이터에 서로 다른 뎁스 정보 생성 알고리즘이 적용될 수도 있다.
1040 단계에서, 이미지 생성 장치(1000)는 제1 뎁스 맵과 제2 뎁스 맵에 기초하여, 공간에 대한 제3 뎁스 맵을 획득할 수 있다. 이미지 생성 장치(1000)는 제2 뎁스 맵을 이용하여, 제1 뎁스 맵에서 미확인 영역에 대한 이미지 보정을 수행함으로써, 제3 뎁스 맵을 생성할 수 있다. 제3 뎁스 맵은 제1 뎁스 맵에서 미확인 영역이 제2 뎁스 맵을 이용하여 보정된 형태의 뎁스 맵일 수 있다.
도 11은 본 개시의 실시예들에 따른 이미지 생성 장치(1000)의 일 예를 설명하기 위한 도면이다.
도 11은 이미지 생성 장치(1000)가 스마트 폰이나 디지털 카메라인 경우이다. 이미지 생성 장치(1000)는 앞서 설명한 메모리(1100), 프로세서(1200), 패시브 센서(1300), 액티브 센서(1400) 외에 통신 인터페이스(1600), 디스플레이(1700)를 더 포함할 수 있다. 그 외에도 마스크 형성부(1500)나 이미지 생성 장치(1000)의 위치를 감지하는 위치 센서, 또는 이미지 생성 장치(1000)에 전원을 공급하는 전원부와 같은 구성들도 포함할 수 있으나, 이에 대한 설명은 생략한다.
통신 인터페이스(1600)는 다른 장치 또는 네트워크와 유무선 통신을 수행할 수 있다. 이를 위해, 통신 인터페이스(1600)는 다양한 유무선 통신 방법 중 적어도 하나를 지원하는 통신 모듈을 포함할 수 있다. 예를 들어, 통신 인터페이스(1600)는 Wi-Fi(Wireless Fidelity), 블루투스와 같은 근거리 통신이나 다양한 종류의 이동 통신 또는 초광대역 통신을 수행하는 통신 모듈이 포함될 수 있다. 통신 인터페이스(1600)는 스마트 폰인 이미지 생성 장치(1000)의 외부에 위치한 장치와 연결되어, 이미지 생성 장치(1000)에서 획득하거나 생성된 이미지를 외부에 위치한 장치에 전송할 수 있다.
디스플레이(1700)는 정보나 이미지를 제공하는 출력부를 포함하며, 입력을 수신하는 입력부를 더 포함한 형태일 수 있다. 출력부는 표시 패널 및 표시 패널을 제어하는 컨트롤러를 포함할 수 있으며, OLED(Organic Light Emitting Diodes) 디스플레이, AM-OLED(Active-Matrix Organic Light-Emitting Diode) 디스플레이, LCD(Liquid Crystal Display) 등과 같은 다양한 방식으로 구현될 수 있다. 입력부는 사용자로부터 다양한 형태의 입력을 받을 수 있으며, 터치 패널, 키패드, 펜 인식 패널 중 적어도 하나를 포함한 형태일 수 있다. 디스플레이(1700)는 표시 패널과 터치 패널이 결합된 터치 스크린 형태로 제공될 수 있으며, 유연하게(flexible) 또는 접을 수 있게(foldable) 구현될 수 있다.
도 12는 본 개시의 실시예들에 따른 이미지 생성 장치(1000)의 다른 예를 설명하기 위한 도면이다.
도 12는 이미지 생성 장치(1000)가 증강 현실 장치인 경우이다. 이미지 생성 장치(1000)는 앞서 설명한 메모리(1100), 프로세서(1200), 패시브 센서(1300), 액티브 센서(1400) 외에 통신 인터페이스(1600), 디스플레이(1750), 디스플레이 엔진부(1800), 시선 추적 센서(1900)를 더 포함할 수 있다. 그 외에도 마스크 형성부(1500)나 이미지 생성 장치(1000)의 위치를 감지하는 위치 센서나 이미지 생성 장치(1000)에 전원을 공급하는 전원부와 같은 구성들도 포함할 수 있으나, 이에 대한 설명은 생략한다.
통신 인터페이스(1600)는 다른 장치 또는 네트워크와 유무선 통신을 수행할 수 있다. 이를 위해, 통신 인터페이스(1600)는 다양한 유무선 통신 방법 중 적어도 하나를 지원할 수 있다. 예를 들어, 통신 인터페이스(1600)는 Wi-Fi, 블루투스와 같은 근거리 통신이나 다양한 종류의 이동 통신 또는 초광대역 통신을 수행할 수 있다. 통신 인터페이스(1600)는 증강 현실 장치인 이미지 생성 장치(1000)의 외부에 위치한 장치와 연결되어, 이미지 생성 장치(1000)에서 획득하거나 생성된 이미지를 외부에 위치한 장치에 전송할 수 있다.
증강 현실 장치인 이미지 생성 장치(1000)는 디스플레이(1750)와 디스플레이 엔진부(1800)를 통해 가상 이미지의 팝업을 제공할 수 있다. 가상 이미지(virtual image)는 광학 엔진을 통해 생성되는 이미지로 정적 이미지와 동적 이미지를 모두 포함할 수 있다. 이러한 가상 이미지는 사용자가 증강 현실 장치를 통해서 보는 현실 세계의 장면과 함께 관측되며, 현실 세계의 장면 속의 현실 객체에 대한 정보 또는 증강 현실 장치인 이미지 생성 장치(1000)의 동작에 대한 정보나 제어 메뉴 등을 나타내는 이미지일 수 있다.
디스플레이 엔진부(1800)는 가상 이미지를 생성하여 투사하는 광학 엔진과 광학 엔진으로부터 투사된 가상 이미지의 광을 디스플레이(1750)까지 안내하는 가이드부를 포함할 수 있다. 디스플레이(1750)는 증강 현실 장치인 이미지 생성 장치(1000)의 좌안 렌즈부 및/또는 우안 렌즈부에 내재된 시스루 형태의 도광판(웨이브가이드, Waveguide)을 포함할 수 있다. 디스플레이(1750)는 객체에 대한 정보 또는 이미지 생성 장치(1000)의 동작에 대한 정보나 제어 메뉴를 나타내는 가상 이미지를 디스플레이할 수 있다.
디스플레이(1750)에 가상 이미지의 팝업이 표시되는 경우, 증강 현실 장치인 이미지 생성 장치(1000)를 착용한 사용자는 가상 이미지의 팝업을 조작하기 위해 패시브 센서(1300)에 사용자의 손을 노출시키고, 가상 이미지의 팝업에 있는 이미지 생성 장치(1000)의 기능을 노출된 손이 선택하도록 함으로써, 해당 기능을 실행시킬 수 있다.
시선 추적 센서(1900)는 사용자 눈이 향하는 시선 방향, 사용자 눈의 동공 위치 또는 동공의 중심점 좌표 등 시선 정보를 검출할 수 있다. 프로세서(1200)는 시선 추적 센서(1900)에서 검출된 사용자의 시선 정보에 기초하여, 안구 움직임(eye movement) 형태를 판단할 수 있다. 예를 들어, 프로세서(1200)는 시선 추적 센서(1900)로부터 획득된 시선 정보에 기초하여, 어느 한 곳을 주시하는 고정(fixation), 움직이는 객체를 쫓는 추적(pursuit), 한 응시 지점에서 다른 응시 지점으로 신속하게 시선이 이동하는 도약(saccade) 등을 포함한 다양한 형태의 시선 움직임을 판단할 수 있다.
이미지 생성 장치(1000)의 프로세서(1200)는 시선 추적 센서(1900)를 이용하여 사용자의 응시 지점이나 사용자의 시선 이동을 판단하여, 이미지 생성 장치(1000)의 제어에 이용할 수 있다. 프로세서(1200)는 시선 추적 센서(1900)에 의해 판단되는 응시 지점이나 시선 이동에 따라서 패시브 센서(1300)나 액티브 센서(1400)의 방향을 제어하여, 적어도 하나의 이미지를 획득할 수 있다. 예를 들어, 사용자는 증강 현실 장치인 이미지 생성 장치(1000)를 착용하여 제1 방향에서 제1 이미지를 획득한 후, 사용자의 응시 지점이나 시선 이동에 따라 패시브 센서(1300)의 방향을 제어하여, 제2 방향에서 제2 이미지를 획득할 수 있다.
본 개시에서 설명된 이미지 생성 장치(1000)는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 개시된 실시예들에서 설명된 이미지 생성 장치(1000)는 프로세서, ALU(arithmetic logic unit), ASIC, DSP, DSPD, PLD, 마이크로컴퓨터, 마이크로프로세서, 또는 명령어(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다.
소프트웨어는, 컴퓨터로 읽을 수 있는 저장 매체(computer-readable storage media)에 저장된 명령어를 포함하는 컴퓨터 프로그램으로 구현될 수 있다. 컴퓨터가 읽을 수 있는 기록 매체로는, 예를 들어 마그네틱 저장 매체(예컨대, ROM, RAM, 플로피 디스크, 하드 디스크 등) 및 광학적 판독 매체(예컨대, 시디롬(CD-ROM), 디브이디(DVD, Digital Versatile Disc)) 등이 있다. 컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 컴퓨터 시스템들에 분산되어, 분산 방식으로 컴퓨터가 판독 가능한 코드가 저장되고 실행될 수 있다. 매체는 컴퓨터에 의해 판독가능하며, 메모리에 저장되고, 프로세서에서 실행될 수 있다.
컴퓨터는, 저장 매체로부터 저장된 명령어를 호출하고, 호출된 명령어에 따라 개시된 실시예에 따른 동작이 가능한 장치로서, 개시된 실시예들에 따른 이미지 생성 장치(1000)를 포함할 수 있다.
컴퓨터로 읽을 수 있는 저장매체는, 비일시적(non-transitory) 저장매체의 형태로 제공될 수 있다. 여기서, '비일시적'은 저장매체가 신호(signal)를 포함하지 않으며 실재(tangible)한다는 것을 의미할 뿐 데이터가 저장매체에 반영구적 또는 임시적으로 저장됨을 구분하지 않는다.
또한, 개시된 실시예들에 따른 방법은 컴퓨터 프로그램 제품(computer program product)에 포함되어 제공될 수 있다. 컴퓨터 프로그램 제품은 상품으로서 판매자 및 구매자 간에 거래될 수 있다.
컴퓨터 프로그램 제품은 소프트웨어 프로그램, 소프트웨어 프로그램이 저장된 컴퓨터로 읽을 수 있는 저장 매체를 포함할 수 있다. 예를 들어, 컴퓨터 프로그램 제품은 이미지 생성 장치(1000)의 제조사 또는 전자 마켓(예를 들어, 구글 플레이 스토어, 앱 스토어)을 통해 전자적으로 배포되는 소프트웨어 프로그램 형태의 상품(예를 들어, 다운로드 가능한 애플리케이션(downloadable application))을 포함할 수 있다. 전자적 배포를 위하여, 소프트웨어 프로그램의 적어도 일부는 저장 매체에 저장되거나, 임시적으로 생성될 수 있다. 이 경우, 저장 매체는 제조사의 서버, 전자 마켓의 서버, 또는 소프트웨어 프로그램을 임시적으로 저장하는 중계 서버의 저장매체가 될 수 있다.
컴퓨터 프로그램 제품은, 서버 및 단말(예를 들어, 이미지 생성 장치)로 구성되는 시스템에서, 서버의 저장매체 또는 단말의 저장매체를 포함할 수 있다. 또는, 서버 또는 단말과 통신 연결되는 제3 장치(예, 스마트 폰)가 존재하는 경우, 컴퓨터 프로그램 제품은 제3 장치의 저장매체를 포함할 수 있다. 또는, 컴퓨터 프로그램 제품은 서버로부터 단말 또는 제3 장치로 전송되거나, 제3 장치로부터 단말로 전송되는 소프트웨어 프로그램 자체를 포함할 수 있다.
이 경우, 서버, 단말 및 제3 장치 중 하나가 컴퓨터 프로그램 제품을 실행하여 개시된 실시예들에 따른 방법을 수행할 수 있다. 또는, 서버, 단말 및 제3 장치 중 둘 이상이 컴퓨터 프로그램 제품을 실행하여 개시된 실시예들에 따른 방법을 분산하여 실시할 수 있다.
예를 들면, 서버(예로, 클라우드 서버 또는 인공 지능 서버 등)가 서버에 저장된 컴퓨터 프로그램 제품을 실행하여, 서버와 통신 연결된 단말이 개시된 실시예들에 따른 방법을 수행하도록 제어할 수 있다.
또 다른 예로, 제3 장치가 컴퓨터 프로그램 제품을 실행하여, 제3 장치와 통신 연결된 단말이 개시된 실시예에 따른 방법을 수행하도록 제어할 수 있다.
제3 장치가 컴퓨터 프로그램 제품을 실행하는 경우, 제3 장치는 서버로부터 컴퓨터 프로그램 제품을 다운로드하고, 다운로드된 컴퓨터 프로그램 제품을 실행할 수 있다. 또는, 제3 장치는 프리로드된 상태로 제공된 컴퓨터 프로그램 제품을 실행하여 개시된 실시예들에 따른 방법을 수행할 수도 있다.
이상과 같이 실시예들이 도면을 참조하여 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 설명된 전자 장치, 구조, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.

Claims (15)

  1. 패시브 센서;
    액티브 센서;
    마스크 형성부;
    명령어들을 저장하는 메모리; 및
    상기 명령어들을 실행하는 프로세서를 포함하며,
    상기 프로세서는,
    상기 패시브 센서를 이용하여, 제1 공간에 대한 제1 뎁스 맵을 획득하고, 상기 제1 뎁스 맵의 미확인 영역을 식별하며, 상기 미확인 영역에 기초하여 마스크를 형성하는 상기 마스크 형성부와 상기 액티브 센서를 이용하여, 상기 미확인 영역에 대한 제2 뎁스 맵을 획득하고, 상기 제1 뎁스 맵과 상기 제2 뎁스 맵에 기초하여, 상기 제1 공간에 대한 제3 뎁스 맵을 획득하는, 이미지 생성 장치.
  2. 제1 항에 있어서,
    상기 마스크 형성부는,
    상기 액티브 센서의 광원으로부터 방출된 광을 상기 미확인 영역에 대응되는 제2 공간에 투사할 수 있도록, 상기 방출된 광을 통과시키거나 차단하기 위해 선택적으로 작동 가능한 복수 개의 광학 소자들을 포함하는, 이미지 생성 장치.
  3. 제2 항에 있어서,
    상기 마스크 형성부는,
    상기 미확인 영역에 대응되는 광학 소자는 상기 방출된 광을 통과시키고, 상기 제1 뎁스 맵에서 상기 미확인 영역을 제외한 영역에 대응되는 광학 소자는 상기 방출된 광을 차단시키도록 작동하는, 이미지 생성 장치.
  4. 제2 항에 있어서,
    상기 마스크 형성부는,
    상기 미확인 영역에 대응되는 광학 소자는 비마스킹 영역을 형성하고, 상기 제1 뎁스 맵에서 상기 미확인 영역을 제외한 영역에 대응되는 광학 소자는 마스킹 영역을 형성하도록 작동하는, 이미지 생성 장치.
  5. 제2 항에 있어서,
    상기 복수 개의 광학 소자들의 각 광학 소자는,
    상기 각 광학 소자에 의해 통과되거나 차단되는 상기 방출된 광이 상기 미확인 영역에 대응되는 상기 제2 공간에 투사될 수 있도록, 제어되는 것인, 이미지 생성 장치.
  6. 제1 항에 있어서,
    상기 프로세서는 상기 명령어들을 실행함으로써,
    상기 제1 뎁스 맵을 상기 액티브 센서의 발광면으로 투영(projection)시킨 이미지에 따른 상기 미확인 영역에 기초하여 상기 마스크를 형성하도록 상기 마스크 형성부를 제어하는, 이미지 생성 장치.
  7. 제1 항에 있어서,
    상기 액티브 센서가 단일 광원을 포함하고,
    상기 프로세서는 상기 명령어들을 실행함으로써,
    상기 단일 광원으로부터 방출된 광이 상기 미확인 영역에 대응되는 제2 공간에 집적되도록 상기 마스크 형성부를 제어하는, 이미지 생성 장치.
  8. 제1 항에 있어서,
    상기 액티브 센서가 복수의 광원들을 포함하고,
    상기 프로세서는 상기 명령어들을 실행함으로써,
    상기 미확인 영역에 대응되는 제2 공간을 위한 광원은 작동시키고, 상기 제1 뎁스 맵에서 상기 미확인 영역을 제외한 영역에 대응되는 제3 공간을 위한 광원은 작동하지 않도록 상기 액티브 센서를 제어하고,
    상기 작동된 광원으로부터 방출된 광을 통과시키도록 상기 마스크 형성부를 제어하는, 이미지 생성 장치.
  9. 제1 항에 있어서,
    상기 프로세서는 상기 명령어들을 실행함으로써,
    상기 제2 뎁스 맵을 이용하여, 상기 제1 뎁스 맵에서 상기 미확인 영역에 대한 이미지 보정을 수행함으로써, 상기 제3 뎁스 맵을 획득하는, 이미지 생성 장치.
  10. 제1 항에 있어서,
    상기 미확인 영역은 상기 제1 뎁스 맵에서 뎁스 정보를 알 수 없는 영역이나 뎁스 정보의 정확도가 소정의 기준 이하인 영역인, 이미지 생성 장치.
  11. 패시브 센서를 이용하여, 제1 공간에 대한 제1 뎁스 맵을 획득하는 단계;
    상기 제1 뎁스 맵의 미확인 영역을 식별하는 단계;
    상기 미확인 영역에 기초하여 마스크를 형성하는 마스크 형성부와 액티브 센서를 이용하여, 상기 미확인 영역에 대한 제2 뎁스 맵을 획득하는 단계; 및
    상기 제1 뎁스 맵과 상기 제2 뎁스 맵에 기초하여, 상기 제1 공간에 대한 제3 뎁스 맵을 획득하는 단계;
    를 포함하는 이미지 생성 방법.
  12. 제11 항에 있어서,
    상기 제2 뎁스 맵을 획득하는 단계는,
    상기 액티브 센서의 광원으로부터 방출된 광을 상기 미확인 영역에 대응되는 제2 공간에 투사할 수 있도록, 상기 방출된 광을 통과시키거나 차단하기 위해 상기 마스크 형성부에 포함된 복수 개의 광학 소자들을 선택적으로 제어하는 단계; 및
    상기 액티브 센서로부터 획득된 데이터에 기초하여, 상기 미확인 영역에 대한 제2 뎁스 맵을 획득하는 단계;
    를 포함하는, 이미지 생성 방법.
  13. 제12 항에 있어서,
    상기 복수 개의 광학 소자들을 선택적으로 제어하는 단계는,
    각 광학 소자에 의해 통과되거나 차단되는 상기 방출된 광이 상기 미확인 영역에 대응되는 상기 제2 공간에 투사될 수 있도록, 상기 각 광학 소자를 제어함으로써, 상기 복수 개의 광학 소자들을 선택적으로 제어하는, 이미지 생성 방법.
  14. 제12 항에 있어서,
    상기 복수 개의 광학 소자들을 선택적으로 제어하는 단계는,
    상기 제1 뎁스 맵을 상기 액티브 센서의 발광면으로 투영시킨 이미지에 따른 상기 미확인 영역에 기초하여 상기 마스크를 형성하도록 상기 복수 개의 광학 소자들을 선택적으로 제어하는, 이미지 생성 방법.
  15. 패시브 센서를 이용하여, 공간에 대한 제1 뎁스 맵을 획득하는 단계;
    상기 제1 뎁스 맵의 미확인 영역을 식별하는 단계;
    상기 미확인 영역에 기초하여 마스크를 형성하는 마스크 형성부와 액티브 센서를 이용하여, 상기 미확인 영역에 대한 제2 뎁스 맵을 획득하는 단계; 및
    상기 제1 뎁스 맵과 상기 제2 뎁스 맵에 기초하여, 상기 공간에 대한 제3 뎁스 맵을 획득하는 단계;
    를 포함하는, 컴퓨터에 의해 실행되어 영상을 생성하는 방법을 수행하는 프로그램을 기록한 컴퓨터로 읽을 수 있는 비일시적 기록매체.
PCT/KR2021/011606 2020-09-02 2021-08-30 이미지 생성 장치 및 방법 WO2022050646A1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US17/435,981 US11917273B2 (en) 2020-09-02 2021-08-30 Image generating device and method thereof

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2020-0111678 2020-09-02
KR1020200111678A KR20220030007A (ko) 2020-09-02 2020-09-02 이미지 생성 장치 및 방법

Publications (1)

Publication Number Publication Date
WO2022050646A1 true WO2022050646A1 (ko) 2022-03-10

Family

ID=80491189

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2021/011606 WO2022050646A1 (ko) 2020-09-02 2021-08-30 이미지 생성 장치 및 방법

Country Status (3)

Country Link
US (1) US11917273B2 (ko)
KR (1) KR20220030007A (ko)
WO (1) WO2022050646A1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150037203A (ko) * 2013-09-30 2015-04-08 엘지디스플레이 주식회사 3차원 입체 영상용 깊이지도 보정장치 및 보정방법
KR20170106325A (ko) * 2015-01-20 2017-09-20 퀄컴 인코포레이티드 다중 기술 심도 맵 취득 및 융합을 위한 방법 및 장치
US20170289515A1 (en) * 2016-04-01 2017-10-05 Intel Corporation High dynamic range depth generation for 3d imaging systems
KR20180097684A (ko) * 2015-12-21 2018-08-31 코닌클리케 필립스 엔.브이. 이미지에 대한 깊이 맵의 처리
US20190333237A1 (en) * 2016-07-19 2019-10-31 Fotonation Limited Systems and methods for providing depth map information

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101099648B1 (ko) 2009-06-22 2011-12-29 한국과학기술원 입체 영상에서의 폐색을 처리하는 입체 정합 시스템 및 방법, 폐색 처리 알고리즘을 기록한 컴퓨터에 의해 판독가능한 매체
US8894216B2 (en) 2009-12-28 2014-11-25 Disney Enterprises, Inc. Active mask projector providing diffracted light with animation and non-random patterns
EP3060941A1 (en) 2013-10-23 2016-08-31 Oculus VR, LLC Three dimensional depth mapping using dynamic structured light
US20160291154A1 (en) 2015-04-01 2016-10-06 Vayavision, Ltd. Apparatus for acquiring 3-dimensional maps of a scene
KR102550469B1 (ko) 2016-05-20 2023-07-04 삼성전자주식회사 전자 장치 및 그 제어 방법
KR102532603B1 (ko) 2017-09-25 2023-05-15 삼성전자주식회사 광센싱 시스템 및 이를 포함하는 광학 장치

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150037203A (ko) * 2013-09-30 2015-04-08 엘지디스플레이 주식회사 3차원 입체 영상용 깊이지도 보정장치 및 보정방법
KR20170106325A (ko) * 2015-01-20 2017-09-20 퀄컴 인코포레이티드 다중 기술 심도 맵 취득 및 융합을 위한 방법 및 장치
KR20180097684A (ko) * 2015-12-21 2018-08-31 코닌클리케 필립스 엔.브이. 이미지에 대한 깊이 맵의 처리
US20170289515A1 (en) * 2016-04-01 2017-10-05 Intel Corporation High dynamic range depth generation for 3d imaging systems
US20190333237A1 (en) * 2016-07-19 2019-10-31 Fotonation Limited Systems and methods for providing depth map information

Also Published As

Publication number Publication date
KR20220030007A (ko) 2022-03-10
US20230164406A1 (en) 2023-05-25
US11917273B2 (en) 2024-02-27

Similar Documents

Publication Publication Date Title
CN107408314B (zh) 混合现实系统
US11042034B2 (en) Head mounted display calibration using portable docking station with calibration target
EP2932358A1 (en) Direct interaction system for mixed reality environments
US20140176591A1 (en) Low-latency fusing of color image data
KR20190075044A (ko) 깊이 정보 결정을 위한 다중 이미터 조명
CN110771145A (zh) 事件摄像机
KR20170094255A (ko) 가상 포커스 피드백
US11107241B2 (en) Methods and systems for training an object detection algorithm using synthetic images
WO2019203579A1 (en) Method for generating depth information and electronic device supporting the same
US10867408B1 (en) Estimation of spatial relationships between sensors of a multi-sensor device
US11024040B2 (en) Dynamic object tracking
WO2019151817A1 (en) Apparatus and method for tracking a focal point in a head mounted display system
WO2019231090A1 (ko) 외부 전자 장치의 위치 및 움직임에 기반하여 외부 전자 장치와 관련된 객체를 표시하는 전자 장치 및 방법
US10248842B1 (en) Face tracking using structured light within a head-mounted display
WO2022055204A1 (ko) 증강 현실 장치 및 그 제어 방법
WO2018186507A1 (ko) 가정된 캘리브레이션 모델 없이 측정된 데이터를 이용하여 캘리브레이션을 수행하는 방법 및 상기 방법을 수행하는 3차원 스캐너 캘리브레이션 시스템
WO2022050646A1 (ko) 이미지 생성 장치 및 방법
WO2022092762A1 (ko) 스테레오 매칭 방법 및 이를 수행하는 영상 처리 장치
WO2019066370A1 (ko) 외부 광에 기반하여 카메라를 제어하는 전자 장치 및 제어 방법
WO2022145888A1 (ko) 증강 현실 장치를 제어하는 방법 및 이를 수행하는 증강 현실 장치
WO2019112147A1 (ko) 미러 디스플레이 시스템에서 객체의 깊이를 제어하기 위한 방법
WO2023158171A1 (ko) 전자 장치 및 전자 장치의 제어 방법
US11176911B2 (en) Information processing apparatus, information processing method, program, and head-mounted display
WO2022075642A1 (ko) 객체의 깊이를 측정하는 디바이스 및 방법
WO2024101593A1 (ko) 웨어러블 장치를 착용한 사용자의 정보를 송신하기 위한 웨어러블 장치, 및 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21864606

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21864606

Country of ref document: EP

Kind code of ref document: A1