WO2020091347A1 - 3차원 깊이 측정 장치 및 방법 - Google Patents

3차원 깊이 측정 장치 및 방법 Download PDF

Info

Publication number
WO2020091347A1
WO2020091347A1 PCT/KR2019/014287 KR2019014287W WO2020091347A1 WO 2020091347 A1 WO2020091347 A1 WO 2020091347A1 KR 2019014287 W KR2019014287 W KR 2019014287W WO 2020091347 A1 WO2020091347 A1 WO 2020091347A1
Authority
WO
WIPO (PCT)
Prior art keywords
pattern
projector
light
depth
light pattern
Prior art date
Application number
PCT/KR2019/014287
Other languages
English (en)
French (fr)
Inventor
모르조프코스티안틴
클리멘코프올렉산드르
바브듀크드미트로
사포노프이반
부트안드리
수카리예프안드리
이예르모렌코루슬란
일리우킨세르히
라브레뉴크야로슬라프
Original Assignee
삼성전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020180130292A external-priority patent/KR102668245B1/ko
Application filed by 삼성전자 주식회사 filed Critical 삼성전자 주식회사
Priority to US17/309,033 priority Critical patent/US11846500B2/en
Publication of WO2020091347A1 publication Critical patent/WO2020091347A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/557—Depth or shape recovery from multiple images from light fields, e.g. from plenoptic cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image

Definitions

  • the present disclosure relates to a method and apparatus for measuring three-dimensional depth using a structured light camera.
  • Image processing technology is developing in a direction to provide a 3D image content service from a 2D image content service.
  • the 3D image content may provide a three-dimensional impression, that is, a perspective.
  • depth information for each subject included in the image should be provided.
  • depth measurement methods and devices are used in various fields. For example, user face recognition methods, realistic three-dimensional (3D) avatars, virtual makeup and dressing, three-dimensional photography, gesture recognition, three-dimensional content generation for VR, accurate and realistic augmented reality (The depth measurement method and apparatus according to the present disclosure can be used for AR, augment reality, scene understanding, and general purpose 3D scanning.
  • 3D three-dimensional
  • the 3D reconstruction method includes a 3D reconstruction method using a single camera, a 3D reconstruction method using multiple cameras, and a 3D reconstruction method using an active illumination 3D camera.
  • the 3D reconstruction method using a single camera includes a motion depth measurement method and a single image depth measurement method.
  • the motion depth measurement method uses a single camera, but when photographing with a camera, it is a method of estimating motion such as hand shake and measuring a 3D depth. It has the advantage of being able to be implemented in software without the introduction of an additional device, but has low accuracy, a long time required to acquire a depth image, multiple frames must be acquired, and morphing scenes must be reconstructed, There is a disadvantage in that productivity is low for an area without features.
  • the single image depth measurement method has the advantage of being able to measure the depth in one frame without the introduction of an additional device, but has the disadvantage of low accuracy and many errors, especially for unknown scenes.
  • the 3D reconstruction method using multiple cameras is a method of measuring depth using a plurality of cameras or stereo cameras. Using a parallax between a plurality of lenses, a 3D depth may be measured from acquired images.
  • the advantage of a relatively simple device configuration is that one frame can be obtained from each lens at the same time, and the acquired frames can be analyzed to measure the depth of objects.
  • the depth measurement method using multiple cameras has a very high computational complexity and low productivity on a featureless surface.
  • the 3D reconstruction method using the active illumination 3D camera includes a 3D reconstruction method using a time-of-flight camera and a 3D reconstruction method using a structured light camera.
  • a time-of-flight camera is an imaging camera that measures distance based on measuring the speed of a known light and the flight time of a light signal between the camera and the subject for each point in the image.
  • the time-of-flight camera provides low computational complexity and high accuracy over long distances and relatively low accuracy over short distances.
  • ToF cameras have a disadvantage in that the hardware configuration is very complex, and it is difficult to recognize a transparent and shiny expression.
  • Structural optical cameras project the narrow-band light emitted by the projector onto the surface of a 3D object, using an illumination line that appears distorted from a different perspective than the projector's perspective. , Refers to a camera that geometrically reconstructs the surface shape of an object. Using a structured optical camera, the depth of a 3D object can be measured.
  • the structured optical camera has high accuracy at a short distance, medium computational complexity, and medium hardware complexity. On the other hand, there is a disadvantage in that the accuracy is somewhat low at a long distance, and it is difficult to recognize a black, transparent, and shiny expression.
  • a method and apparatus for measuring a 3D depth using a structured optical camera are proposed.
  • a method and apparatus for measuring 3D depth using a structured optical camera capable of increasing a shadow measurement range and reducing a shadow area are proposed.
  • a 3D depth measurement method using a structural optical camera including a first projector, a second projector, and an optical sensor includes: a process in which a first light pattern is projected by the first projector, and the second projector The second light pattern is projected by, and the first light pattern reflected from the object and the third light pattern on which the second light pattern overlaps are filtered by a color filter to filter the filtered first pattern and the filtered light.
  • a process of separating into 2 patterns, localizing the filtered first pattern, classifying first feature points of the first pattern, localizing the filtered second pattern, and second feature points of the second pattern It may include a process of classifying them, and obtaining location information of the object based on the first feature points and the second feature points.
  • a three-dimensional depth measuring apparatus using a structural optical camera comprising: a first projector that projects a first optical pattern; A second projector that projects a second light pattern; An optical sensor detecting the first optical pattern and the second optical pattern; And at least one processor connected to the first projector, the second projector, and the optical sensor, wherein the at least one processor comprises: the first light pattern reflected from an object and the second light pattern overlapped; 3 Filtering the light pattern with a color filter, separating the filtered first pattern and the filtered second pattern, localizing the filtered first pattern, classifying the first feature points of the first pattern, and filtering It is configured to localize the second pattern, classify second feature points of the second pattern, and obtain location information of the object based on the first feature points and the second feature points.
  • the first projector, the second projector, and the light sensor may be located in a straight line.
  • the first projector, the second projector, and the light sensor may not lie on a straight line.
  • the first projector and the second projector may be on opposite sides of each other based on the optical sensor, or may be on the same side.
  • the wavelength of the first optical pattern and the wavelength of the second optical pattern may be the same band or different bands.
  • the period of the first light pattern and the period of the second light pattern may be the same or different from each other.
  • the first projector may be spaced apart from the light sensor by a first base-line distance
  • the second projector may be spaced apart from the light sensor by a second base-line distance.
  • the first base-line distance and the second base-line distance may be different.
  • location information of the object may be obtained.
  • a depth measurement range may be expanded by improving depth measurement precision and reducing a shadow area.
  • FIG. 1 is an exemplary view for explaining a configuration of a computer system in which a 3D depth measurement method using a structured optical camera is implemented according to various embodiments proposed in the present disclosure.
  • 3 (a), 3 (b) and 3 (c) are exemplary views for explaining the structure of the structured light depth camera according to the present disclosure.
  • FIG. 4 is an exemplary diagram for explaining a structured light depth camera according to the present disclosure.
  • FIG. 5 is an exemplary view for explaining a method of measuring depth using a pattern plane of a projector and a frame plane of an optical sensor in the structural optical camera according to the present disclosure.
  • FIG. 6 is an exemplary view for explaining a key point estimation method considering 2D noise of a depth measurement method according to the present disclosure.
  • FIG. 7 is an exemplary view for explaining a depth measurement method according to the present disclosure.
  • FIG. 8 is an exemplary view for explaining visible shadows emergence in a depth measurement method according to the present disclosure.
  • FIG 9 is an exemplary view for describing a visible shadow region in the depth measurement method according to the present disclosure.
  • FIG. 10 shows the structure of a plurality of projector-based structural light depth cameras according to the present disclosure.
  • Fig. 11 (a) shows an exemplary camera matrix wavelength filter mask structure when there are two projectors.
  • Fig. 11 (b) shows an exemplary camera matrix wavelength filter mask structure when there are four projectors.
  • 13 is an exemplary view for explaining a method of combining two low periodic patterns to obtain a high periodic pattern.
  • Fig. 14 (a) shows the feature point pattern of the first projector
  • Fig. 14 (b) shows the feature point pattern of the second projector
  • Fig. 14 (c) shows the pattern fragment of the first projector
  • Fig. 14 ( d) shows a pattern fragment of the second projector
  • FIG. 14 (e) shows a pattern obtained by combining the pattern fragment of the first projector and the pattern fragment of the second projector.
  • 15 is an exemplary diagram for describing a method of recognizing a wide range of depths based on another base-line.
  • 16 is an exemplary view for explaining that, in the depth measurement method according to the present disclosure, when the projectors have different base line lengths, the feature points transition according to the depth of the scene.
  • 17 shows 3D points formed by the first projector and the second projector.
  • 18 is an exemplary view for explaining a reduction in shadow effect according to the arrangement of projectors.
  • 19 is an exemplary view for explaining a reduction in shadow effect according to the arrangement of projectors.
  • FIG. 20 is a flowchart of a procedure for describing a depth measurement method according to the present disclosure.
  • 21 is an exemplary view showing a structured light pattern and a feature point according to the present disclosure.
  • 22 is an exemplary view showing a light pattern and feature points of a projector according to the present disclosure.
  • FIG 23 shows the relative positions of the projectors P1 and P2 and the camera C according to the present disclosure.
  • FIG. 24 shows a camera color filter mask according to the present disclosure.
  • 25 is an exemplary view for explaining a method of measuring the depth of an object using a combination of feature points of a plurality of projectors according to the present disclosure.
  • controller means any device, system, or part thereof that controls at least one operation, and such devices are hardware, firmware or software, or some combination of at least two of the hardware, firmware or software Can be implemented in It should be noted that the functionality associated with any particular controller can be centralized or distributed, and may be local or remote. Definitions of specific words and phrases are provided throughout this patent document, and
  • component surface includes one or more component surfaces.
  • first, second, third, etc. may be used to describe various components, but the components are not limited by the terms. The terms are used only for the purpose of distinguishing one component from other components.
  • first component may be referred to as a second component without departing from the scope of the present disclosure, and similarly, the second component may be referred to as a first component.
  • the electronic device may include a communication function.
  • the electronic device includes a smart phone, a tablet personal computer (PC, hereinafter referred to as a 'PC'), a mobile phone, a video phone, and an e-book reader (e -book reader), desktop PC, laptop PC, netbook PC, personal digital assistant (PDA, hereinafter referred to as PDA), and portable A portable multimedia player (PMP, hereinafter referred to as 'PMP'), an MP3 player, a mobile medical device, a camera, and a wearable device (eg, head-mounted) Head-mounted devices (HMD, for example, referred to as 'HMD'), electronic clothing, electronic bracelets, electronic necklaces, electronic accessories, electronic tattoos, or smart watches ).
  • PC tablet personal computer
  • PDA personal digital assistant
  • MP3 player MP3 player
  • HMD head-mounted Head-mounted devices
  • HMD head-mounted Head-mounted devices
  • the electronic device may be a smart home appliance having a communication function.
  • the smart home appliance includes a television, a digital video disk (DVD, hereinafter referred to as 'DVD') player, audio, a refrigerator, an air conditioner, a vacuum cleaner, an oven, Microwave ovens, washers, dryers, air purifiers, set-top boxes, TV boxes (e.g. Samsung HomeSyncTM, Apple TVTM, or Google TVTM), gaming consoles ), An electronic dictionary, a camcorder, and an electronic photo frame.
  • DVD digital video disk
  • an electronic device includes a medical device (eg, magnetic resonance angiography (MRA), hereinafter referred to as 'MRA') device, and magnetic resonance imaging (magnetic resonance imaging: MRI (hereinafter referred to as “”), computed tomography (CT) device, imaging device, or ultrasound device), navigation device, and worldwide A global positioning system (GPS, hereinafter referred to as 'GPS') receiver, an event data recorder (EDR, hereinafter referred to as 'EDR'), and a flight data recorder (flight data recorder: FDR, hereinafter referred to as 'FER'), automotive infotainment device, and navigational electronic device (eg, navigational navigation device, gyroscope) ), Or a compass), avionics, security devices, and industrial or consumer robots.
  • MRA magnetic resonance angiography
  • 'MRA' magnetic resonance imaging
  • MRI magnetic resonance imaging
  • CT computed tomography
  • CT computed tomography
  • an electronic device includes a communication function, a furniture, a part of a building / structure, an electronic board, an electronic signature receiving device, a projector, and various measuring devices (eg, water And electricity, gas, or electromagnetic wave measuring devices).
  • various measuring devices eg, water And electricity, gas, or electromagnetic wave measuring devices.
  • the electronic device may be a combination of devices as described above. Further, it will be apparent to those skilled in the art that the electronic device according to the preferred embodiments of the present disclosure is not limited to the device as described above.
  • an apparatus for transmitting and receiving VR content may be, for example, an electronic device.
  • the video may be a video or a still image
  • the video content may include various multimedia contents including video, still images, and related audio and subtitles.
  • VR content includes video content that provides the video as a 360-degree video, a 3D video, and the like.
  • the media file format may be a media file format according to various media-related standards such as ISO (International Organization for Standardization) -based media file format (ISOBMFF).
  • Projection refers to a process in which a spherical image for expressing a 360-degree image or the like is projected onto a planar surface, or an image frame according to a result of the processing.
  • Mapping refers to a process in which image data on a plane according to the projection is mapped to a 2D plane or an image frame according to a result of the processing.
  • Omnidirectional media may be rendered according to the direction of the user's head movement or the user's viewport when the user uses the HMD (image or video) and / or Or related audio.
  • the view port may be referred to as a field of view (FoV), and means an area of an image shown to a user at a specific point in time (where the area of the image may be an area of the spherical image, etc.).
  • FIG. 1 is an exemplary view for explaining a configuration of a computer system in which a depth measurement method according to various embodiments of the present disclosure is implemented.
  • a computer system may include at least one processor 110, at least one memory 120, and at least one interface 150, 160, 170.
  • the processor 110 may be a central processing unit (CPU) or a semiconductor device that processes instructions stored in the memory 120.
  • CPU central processing unit
  • semiconductor device that processes instructions stored in the memory 120.
  • the processor 110 may be a controller that controls all operations of the computer system 100.
  • the controller may execute operations in which the computer system 100 operates by reading and executing program codes stored in the memory 120.
  • a plurality of processors for each function may be independently configured in hardware.
  • the processor 110 may include a processor (AP) that processes installation and operation of an application in the computer system 100 and a processor (CP) that performs processing for communication with independent hardware configurations.
  • processors performing different functions in one chip may be configured in the form of modules.
  • the processor 110, the memory 120, the storage 140, the user input device 150, the user output device 160, and the network interface 170 constituting the computer system 100 use the data communication bus 130. Through each other, data communication can be performed.
  • the memory 120 and the storage 140 may be made of one hardware configuration.
  • the memory 120 and the storage 140 may include various types of volatile or nonvolatile storage media.
  • the memory 120 may include a read only memory (ROM) 123 and a random access memory (RAM) 126.
  • Storage 140 may include non-volatile memory such as magnetic tape, hard disk drive (HDD), solid state drive (SDD), optical data device and flash memory.
  • the depth measurement method may be implemented in a computer-executable method.
  • the operation method may be performed by computer readable instructions.
  • the depth measurement method may be implemented as computer readable code on a computer readable recording medium.
  • the computer-readable recording medium includes any kind of recording medium that stores data that can be read by a computer system. For example, there may be ROM, RAM, magnetic tape, magnetic disk, flash memory, optical data storage, and the like.
  • the computer-readable recording medium may be distributed over computer systems connected through a computer communication network, and stored and executed as code readable in a distributed manner.
  • 3 (a), 3 (b) and 3 (c) are exemplary views for explaining the structure of the structured light depth camera according to the present disclosure.
  • a depth camera is a device that acquires information about a volumetric shape of a surrounding scene.
  • the depth camera can acquire depth information.
  • Depth information can be expressed in various ways.
  • a method of expressing depth information there are a depth map and a point cloud.
  • the depth map may be represented by an ordinal image in which the brightness or color of each pixel represents the depth value of the corresponding fragment (scene fragment) of the scene.
  • the point cloud represents a set of 3D points (3D) that make up a surrounding scene.
  • Depth information for the surrounding scene can be obtained by various methods. A detailed description of various methods of obtaining depth information will be described later.
  • a structured light camera is a type of active illumination 3D camera.
  • the structured optical camera is also called a structured optical camera system, a structured optical depth camera, or a structured optical depth camera system.
  • the structural optical camera includes a plurality of projectors (projectors, projectors) and an optical sensor that senses projected light.
  • the projector is also called a light illuminator.
  • As the light used by the projector near infrared light or far infrared light may be used.
  • other wavelengths of light can be used as the light used by the projector.
  • visible light or electromagnetic waves of other wavelengths may be used as light used by the projector.
  • the projector can emit structured light of a specific region of wavelength.
  • the projector is capable of generating and emitting various types of structural light by adding a pattern to the structural light.
  • the projector is also called a structured light projector.
  • the optical sensor is also referred to simply as a camera.
  • the light sensor may be located at a specific distance from the projector.
  • the distance between the light sensor and the projector may be referred to as a 'base-line distance'.
  • the structured light depth camera is a type of active illumination depth camera that uses a projector that projects a structured light having a specific pattern onto a scene as an optical illuminator.
  • the scene may mean an area in which structural light projected by the projector is reflected.
  • the projector and the light sensor (camera) can face the same scene or subject in different directions.
  • a scene projected by a projector and a scene captured by an optical sensor correspond to each other.
  • Scenes do not necessarily mean two-dimensional planes.
  • a scene may be defined as the surface of an object according to the position of the object existing in the 3D space.
  • the scene may include 3D information by adding depth information to the 2D plane image structure.
  • the projector emits light having a constant pattern.
  • the emitted light is reflected by the target object and captured by the light sensor.
  • the pattern of the captured light is a variation from the pattern of the emitted light.
  • the light pattern emitted by the projector may be different from the light pattern captured by the camera. This can occur due to the parallax between the position where the projector emits the light pattern and the position where the camera captures the light pattern.
  • the light pattern projected by the projector may be determined in advance.
  • the light pattern captured by the light sensor may be analyzed based on a predetermined light pattern.
  • the result according to the analysis may be used to measure the depth of the surface (ie, scene fragment) of the target object.
  • the optical pattern may be generated by a laser interference method or a projection method (or projection method). In the present disclosure, the method of generating the light pattern is not limited to a specific method.
  • the laser interference method is a method of modulating an optical pattern of a desired shape by interfering with flat laser light.
  • the projection method is a method of generating a desired light pattern by passing light through a digital spatial light modulator.
  • the projection method can generate a light pattern using a transmissive liquid crystal, a reflective liquid crystal on silicon (LCOS), and a digital light processing modulator (DLP modulator).
  • the digital light processing modulator can use a dynamic moving micro mirror.
  • the light pattern used in structural optical cameras can vary, but parallel stripes are often used.
  • Figure 3 (b) shows an image taken by the camera from a different perspective (perspective) of the light pattern in the form of parallel stripes by the projector. The depths of the object's surfaces can be measured by analyzing the light pattern captured by the camera based on a previously known light pattern.
  • the light pattern in the direction captured by the camera may be different from the light pattern in the projection direction of the projector.
  • the light pattern generated by the projector will be reflected off the object and captured by the camera.
  • the light pattern generated by the projector and the light pattern captured by the camera may not match. That is, the light pattern generated by the projector may be transformed into a light pattern captured by the camera due to a parallax between the projector and the camera.
  • the light pattern generated by the projector may include a plurality of first pattern fragments.
  • the captured light pattern may include a plurality of second pattern fragments.
  • the plurality of first pattern fragments may be reflected on fragments of the scene and transformed into the plurality of second pattern fragments.
  • the captured light pattern may be shifted according to the depth of the corresponding scene fragment due to the parallax effect at the position of the camera.
  • the scene may refer to an area reflecting the light pattern.
  • the scene fragment may refer to a part of the scene.
  • the scene fragment can be specified according to the surface of the object.
  • the captured light pattern may include a plurality of mutated second pattern fragments in which the plurality of first fragments are reflected by the scene fragment.
  • the plurality of first pattern fragments may be divided into smaller unit pattern fragments for analysis.
  • the three-dimensional position of each scene fragment can be obtained by measuring the depth of the corresponding scene fragment.
  • the size of the first pattern fragment may be determined in consideration of the accuracy of the depth measurement and the calculation speed.
  • an interpolation method may be used to further generate more precise data.
  • the mutated light pattern that is, the captured light pattern
  • the captured light pattern (a plurality of second pattern fragments) may be matched to the original light pattern according to the estimated depth, that is, the light pattern generated by the projector (the plurality of first pattern fragments). have.
  • the original optical pattern including the plurality of first pattern fragments is generated to distinguish each of the plurality of second pattern fragments.
  • Each of the plurality of first pattern fragments includes feature points. By matching the plurality of first pattern fragments and the plurality of second pattern fragments, the feature points can be distinguished.
  • FIG. 4 is an exemplary diagram for explaining a structured light depth camera according to the present disclosure.
  • the structural light depth camera includes a projector P that projects a specific light pattern and an optical sensor (C, camera or camera module) that captures the light pattern in which the projected light pattern is reflected by the object. can do.
  • a projector P projects a specific light pattern
  • an optical sensor C, camera or camera module
  • the projector P is spatially separated from the light sensor C.
  • the projector P may be located at point P, and the optical sensor may be located at point C.
  • the distance (line segment PC) between the optical sensor C and the projector P is referred to as a 'base-line distance'. That is, the distance between the points P and C corresponds to the base-line distance. Due to the distance (base-line distance) between the light sensor C and the projector P, the light pattern captured by the light sensor C is morphed differently according to the corresponding distance of the fragment of the scene. All.
  • the base-line distance may be determined in advance or may be set ex post.
  • the depth value of each scene fragment can be estimated from the projected light pattern and the captured light pattern, based on the base-line distance.
  • the projector P and the light sensor C are positioned according to the base-line distance, and let the light pattern projected by the projector P be two pattern fragments A and B .
  • the pattern fragment A and the pattern fragment B are projected to points A and B of the projector pattern plane, respectively.
  • the paths of the pattern fragment A and the pattern fragment B are represented by lines.
  • Each of the lines (line segment BB 3 , line segment AA 3 ) each has different depths (d 1 , d 2 , d 3 ) and specific intersections (A 1 , A 2 , A 3 , B 1 , B 2) , B 3 ). That is, the pattern fragments (A, B) corresponding to each of the lines (line segment BB 3 , line segment AA 3 ) are specific intersections (A 1 , A 2 , A 3 , B 1 , B 2 , of each of the objects). At B 3 ) reflections will be made.
  • the specific intersections may be referred to as scene fragments.
  • the light patterns reflecting from the scene fragments A 1 , A 2 , A 3 , B 1 , B 2 , B 3 of the objects are different positions (C 1 , C 2 ) of the camera frame plane 420. , C 3 , C 4 , C 5 ).
  • the pattern fragments A (A 1 , A 2 , A 3 ) may appear at the positions of C 2 , C 4 and C 5 , and each depth becomes d 1 , d 2 and d 3 .
  • Fragment B (B 1 , B 2 , B 3 ) can appear in C 1 , C 3 and C 4 , and each depth is d 1 , d 2 and d 3 .
  • the depth of the scene fragment of each object, the three-dimensional position of each scene fragment, the base-line distance and the original position in the projector pattern plane 410 of the pattern fragment Position projected by the projector, point A and point B) and captured positions of the pattern fragments (position captured in camera frame plane 420, points C 1 , C 2 , C 3 , C 4 and C 5 ).
  • the pattern fragment generated by the projector may be referred to as a first pattern fragment
  • the pattern fragment captured by the camera may be referred to as a second pattern fragment.
  • the first pattern fragments A and B may be reflected on different scene fragments A 2 and B 3 and appear at the same position C 4 of the camera frame plane 420.
  • scene fragment A 2 of depth d2 and scene fragment B 3 of depth d3 appear at position C 4 of camera frame plane 420.
  • an error in depth measurement may be large.
  • increasing the resolution of the depth camera (the size of the first pattern fragments is reduced) can alleviate the creation of the second pattern fragments at the same location.
  • FIG. 5 is an exemplary view for explaining a method of measuring depth using a pattern plane 510 of a projector and a frame plane 520 of an optical sensor in a structural optical camera according to the present disclosure. to be.
  • a depth measurement device may include at least one camera (C, optical sensor) and at least one projector (P, projector).
  • the projector P projects a light pattern comprising basic recognizable elements called key-points.
  • the recognizable basic element may be specified as a feature point.
  • the rays When the ray projected from the projector P and passed through the feature point F on the pattern plane 510 is reflected at points A, B, D, and E having different depths, the rays have different depths.
  • the rays reflected from each of the points A, B, D, E reach the points A ', B', D ', E' of the frame plane 520 of the camera C.
  • point D is the minimum accessible depth
  • point E is the maximum accessible depth
  • the light pattern passing through F on the pattern plane 510 objects in the range between the depth of point D and the depth of point E i.e. Object segments existing on the line segment DE
  • the first line between the projection points D 'and E' of the frame plane 520 of the camera is the feature point It will contain all possible projections of F.
  • the first line may be distorted.
  • FIG. 6 is an exemplary view for explaining a key point estimation method considering 2D noise of a depth measurement method according to the present disclosure.
  • triangulation of the captured key point is performed.
  • the 3D position where the feature points of the scene are reflected is calculated.
  • Each key point must be different from the other key points around it. By adding unique characteristics such as shape, brightness, and size for each key point, each key point may be different from other key points of the determined surroundings.
  • Another aspect of 3D reconstruction relates to the localized accuracy of key points.
  • the 2D noise may correspond to the projection surface of the projector.
  • the depth values of the points can be calculated according to the following equation.
  • b is base-line length (distance between camera and projector)
  • f is the focal distance of the camera
  • d is the disparity value
  • the disparity value means a distance difference between the captured 2D position of the feature point and the position in the original light pattern of the feature point. Inaccuracies in the localization process of key points produce depth noise of the points.
  • the depth of the key point is inversely proportional to the disparity value, and as the depth of the scene increases, the value of 3D noise increases. The farther the scene, the more inaccurate.
  • ⁇ is a 3D noise value
  • ⁇ is a 2D noise value
  • the 2D noise value ( ⁇ ) will be reduced and the base-line length (b) and focal length (f) will be increased.
  • the base-line distance can be increased, and at the same time, if the base-line distance is too large, the near-field object outside the FoV of the projector (blind zone, blind zone) May appear. That is, when the base-line distance is increased, the depth of the short-range object may not be measured.
  • FIG. 7 is an exemplary view for explaining a depth measurement method according to the present disclosure.
  • Fig. 7 (a) shows FoVs of a projector and a camera for a short base-line short-range object.
  • the FoV of the projector may be referred to as the projection FoV
  • the FoV of the camera may be referred to as the visible FoV.
  • Fig. 7 (b) shows the FoV of the projector and the camera for a long base-line short-range object.
  • the near-field object can exist outside the projection FoV area of the projector, so the base-line length should be short to provide recognition of the near-field objects, and at the same time for the far-field object, low 3D noise value Since the base-line length must be long in order to provide, there is a trade-off between recognition of short-range objects and low 3D noise values.
  • FIG. 8 is an exemplary view for explaining visible shadows emergence in a depth measurement method according to the present disclosure.
  • FIG 9 is an exemplary view for describing a visible shadow region in a depth measurement method according to the present disclosure.
  • the shadow effect generated by the short-range object has a long-range object. If the light emitted from the projector does not reach the far-field object by the near-field object, it may not be able to measure the depth of the far-field object in the visible area of the camera.
  • the area including the far area object that is shielded by the near area object is called a visible shadow zone.
  • FIG. 8 a plan view of a projector and a camera for describing a visible shadow area is shown. 9 is a front view showing a visible shadow area in the front direction of the camera.
  • a shadow area is generated by the near object.
  • the shadow area since the shadow area can be seen by the camera, it may be referred to as a visible shadow zone (visible shadow zone). Since the light of the projector does not reach the visible shadow region, the depth of objects existing in the visible shadow region cannot be measured.
  • the shadow of the near object generated by the illumination of the projector covers the visible scene fragment of the far object. Since the visible scene fragment of the distant object is not illuminated, a shadow is formed. That is, depth information of the visible scene fragment of the non-illuminated long-distance object existing in the shadow region cannot be obtained.
  • multiple projectors (projectors, projectors, projectors) operating at different light wavelengths can be used.
  • One camera module can simultaneously capture all kinds of lights emitted from the plurality of projectors, and similarly to the RGB camera, a color filter can be used to separate the captured lights into separate image channels.
  • the structural light emitted by each of the projectors may be any one of light of various wavelengths such as infrared light, visible light, and ultraviolet light, and the single camera may be obtained by separating a plurality of lights in various wavelength regions.
  • the one camera may determine the arrangement of the light sensing element of the image sensor included in the camera, corresponding to the mask of the color filter used.
  • the plurality of projectors may project patterns in which key points are repeated at various periods, and according to the overlap of the patterns, various types of key points may be increased. It is also possible to combine the types of key points to provide unique combinations.
  • the combined patterns provided may be aperiodic patterns.
  • various types of key points can be provided. Normally, if the size of the feature points is small, various types of feature points cannot be generated. However, by overlapping light patterns, various types of key points can be generated even if the feature points are small in size. That is, when the light patterns of the respective projectors are different, overlapping key points may be more diversified. In addition, even if the same light pattern of each projector is used, since the key points of the reflected positions cannot all be the same, the overlapping key points will be varied. When the period of the light pattern of each projector is different, a new period can be generated according to the period of the light patterns, and when the light pattern is varied, key points can be more easily recognized.
  • Projectors with different base-line distances can be deployed and provide a short base-line distance for capturing objects in a short range.
  • the shadow effect can be reduced.
  • the shadow effect can be reduced by placing the projectors at positions opposite to the camera.
  • the projectors can be positioned opposite the camera or according to a combination of horizontal and vertical positions.
  • Each key point from each separately localized projector may not be projected as a separate 3D point, so the density of the point cloud can be increased.
  • the average of the locations of the feature points from all projectors reduces localized noise.
  • FIG. 10 shows the structure of a structural light depth camera according to the present disclosure.
  • the distance between the camera 1020 and the first projector 1012 is the first base-line distance
  • the distance between the camera 1020 and the second projector 1014 is the second base-line distance.
  • the triangles shown in FIG. 10 represent the field of view (FoV) of the first projector 1012 and the second projector 1014 and the visible FoV of the camera.
  • Fig. 11 (a) shows an exemplary camera matrix wavelength filter mask structure when there are two projectors.
  • the two projectors may be the first projector 1012 and the second projector 1014 of FIG. 10.
  • the first projector 1012 and the second projector 1014 may use light of different wavelengths, respectively.
  • the first projector 1012 emits a first light pattern
  • the second projector 1014 emits a second light pattern.
  • the first light pattern and the second light pattern may be separated by a color filter.
  • each projector uses a different pattern of light, so that it is possible to know what the original source of the captured light (first or second projector) is.
  • the camera matrix wavelength filter mask may separate patterns corresponding to the projector by selectively filtering the first light pattern projected from the first projector 1012 and the second light pattern projected from the second projector 1014. .
  • Fig. 11 (b) shows an exemplary camera matrix wavelength filter mask structure when there are four projectors.
  • Fig. 11 (b) correspond to each of the four projectors.
  • four projectors may be referred to as a first projector, a second projector, a third projector, and a fourth projector.
  • '1' is a filter corresponding to the first projector
  • '2' is a filter corresponding to the second projector
  • '3' is a filter corresponding to the third projector.
  • '4' may be a filter corresponding to the fourth projector.
  • the structure of the camera matrix wavelength filter mask may be changed according to the positions of the projectors, the relative positions of the cameras, and the like. In the case of a shaded area for a specific projector, depth can be measured more efficiently by adding a filter element of an observable projector, except for a filter element.
  • the camera and the plurality of projectors according to the present disclosure may be arranged in a straight line. 12 (b), 12 (c), 12 (d), and 12 (e), the camera and a plurality of projectors are arranged in a straight line.
  • FIG. 12 (a) shows the first base-line between the first projector and the camera and the second base-line between the second projector and the camera are perpendicular to each other, and FIG. 12 (f) shows the first base-line and the first base-line. 2 Base-line is at a certain angle.
  • the depth of the object in the short-range region it is possible to estimate the depth of the object in the short-range region, and the depth of the objects existing in the shadow region formed by the first projector can be measured using the second projector.
  • 13 is an exemplary view for explaining a method of combining two low periodic patterns to obtain a high periodic pattern.
  • FIG. 13 (a) shows a pattern with a period of five.
  • the pattern of FIG. 13 (a) may be a pattern of the first projector.
  • FIG. 13 (b) shows a pattern with a period of 6.
  • the pattern of FIG. 13 (b) may be a pattern of a first projector or a pattern of a second projector.
  • Unique patterns can be created by combining simple patterns in one projector. Further, a unique pattern can be generated by combining the pattern of the first projector and the pattern of the second projector.
  • FIG. 13 (c) shows a pattern having a period of 30 generated by combining the pattern of FIG. 13 (a) and the pattern of FIG. 13 (b).
  • the patterns are inputted overlapping the camera and can be recognized separately from each other in the same image coordinate space.
  • Fig. 14 (a) shows the type of feature point pattern (cycle 5) of the first projector
  • Fig. 14 (b) shows the type of feature point pattern (cycle 6) of the second projector
  • Fig. 14 (c) shows the type of the first projector
  • Fig. 14 (d) shows the fragment pattern type of the second projector
  • Fig. 14 (e) shows the fragment pattern type of the first projector and the fragment pattern of the second projector.
  • the pattern combining the types (cycle 30) is shown. The combined pattern represents the overlap of the fragment pattern type of the first projector and the fragment pattern type of the second projector.
  • 15 is an exemplary diagram for describing a method of recognizing a wide range of depths based on another base-line.
  • the first projector 1512 is located on the left side of the camera 1520
  • the second projector 1514 is located on the right side of the camera 1520.
  • the distance between the camera 1520 and the first projector 1512 is the first base-line 1532
  • the distance between the camera 1520 and the second projector 1514 is the second base-line 1534.
  • the first base-line 1532 and the second base-line 1534 may lie on a straight line. Referring to FIG. 12, there are various examples in which the first base-line 1532 and the second base-line 1534 lie on a straight line.
  • the depth can be measured by a relatively simple calculation formula.
  • first base-line 1532 and the second base-line 1534 may not lie on a straight line.
  • the depth of the object can be measured more accurately. That is, the depth can be appropriately measured even if the first base-line 1532 and the second base-line 1534 do not lie on a straight line.
  • the light emitted by the first projector 1512 and the second projector 1514 is reflected by the objects 1542, 1544, and 1546 present in the projection direction. Since the positions where the first projector 1512 and the second projector 1514 are located are different from each other, the projected ranges are different.
  • the projection range of each projector can be divided into a short range area, a middle area, and a far area. This is a term introduced for convenience of explanation, and is not limited to specific numerical values.
  • the distance from the projector to the object can vary. In this case, the distance from the projector to the object may be a vertical distance from the base-line, not a straight line distance.
  • the first object 1542 is included in the short range of the first projector 1512 and the second projector 1514 and is included in the blind zone of the second projector, only the first projector 1512 is used. By measuring the depth of the first object 1542.
  • the second object 1544 is located in the intermediate region of the first projector 1512 and the second projector 1514.
  • triangulation may be performed using the feature points of the first projector 1512 and the feature points of the second projector 1514.
  • the third object 1546 is located in the remote area of the first projector 1512 and the second projector. Objects included in the remote area are likely to be shielded by other objects. For example, when the light of the first projector 1512 is blocked by the first object 1542, the 3D position of the third object 1546 acquired by the first projector 1512 may be incorrect. On the other hand, if there is no other object that shields the third object 1546 from the light of the second projector 1514, the 3D position of the third object 1546 relatively acquired by the second projector 1514 may be more accurate. have. At this time, the 3D position of the third object 1546 may be obtained using the second projector 1514 to measure the depth of the third object 1546. However, if the third object is partially shielded, the points of the first projector 1512 can be used to classify feature points.
  • 16 is an exemplary view for explaining that, in the depth measurement method according to the present disclosure, when the projectors have different base line lengths, the feature points transition according to the depth of the scene.
  • the feature points are shifted at different speeds.
  • the disparity of the feature points is inversely proportional to the depth of the scene fragment.
  • the relationship between the disparity of the feature points and the depth of the scene follows the following equation.
  • d is the disparity value
  • b is the base-line length (distance between camera and projector)
  • f is the focal distance of the camera
  • z is the depth of the scene.
  • the pattern of the feature point combination can be increased even between projectors using the same pattern.
  • 17 shows 3D points formed by the first projector and the second projector.
  • the feature points extracted from the projectors are separated and localized, the feature points can be used for back projection.
  • the 3D points can be obtained by inversely projecting the feature points. Due to the disparity of the projectors, the number of 3D points is doubled.
  • 18 is an exemplary view for explaining a reduction in shadow effect according to the arrangement of projectors.
  • 19 is an exemplary view for explaining a reduction in shadow effect according to the arrangement of projectors.
  • the shadow effect when the projectors are positioned on the opposite side with respect to the camera, the shadow effect may be reduced.
  • the shadow effect means that the light of one projector is blocked by the foreground object, so that the depth of the background object cannot be measured.
  • the front object (8 in FIG. 19) and the rear screen (1, 2, 3, 4, 5 in FIG. 19) are displayed.
  • the shadow area of the front object (3,4) in FIG. 19 is formed on the rear screen by the first projector, and the shadow area of the front object (2,3, 3 in FIG. 19) is formed on the rear screen by the second projector.
  • the shadow area means an area in which the light emitted by the projector is blocked by the front object and cannot reach the rear screen.
  • the rear object existing in the first shadow area (3, 4 in FIG. 19) cannot be measured by the first projector. Also, since the light emitted by the second projector does not reach the rear screen, the rear object existing in the generated second shadow area (2, 3 in FIG. 19) cannot be measured by the second projector. However, since the rear object existing in the first shadow region (3, 4 in FIG. 19) can reflect the light emitted by the second projector, some or all of the first shadow region may be measured by the second projector. Can be. Also, part or all of the second shadow area may be measured by the first projector. That is, by using a plurality of projectors, the shadow effect can be reduced.
  • the shadow effect due to the front object may be reduced.
  • the first region (1) can reflect both the light of the first projector and the second projector, it can be referred to as a fully irradiated rear region.
  • the fifth region 5 may also be referred to as a fully irradiated rear region.
  • the second area 2 is an area in which depth measurement by light of the second projector is impossible since light of the second projector is blocked by the front object.
  • the light of the first projector is not blocked by the front object, it is an area where depth measurement is possible by the light of the first projector.
  • the fourth area 4 is an area in which depth measurement by the light of the first projector is impossible, but the light of the second projector is not blocked by the front object. , It is an area where depth measurement is possible by the light of the second projector.
  • the third area 3 is an area in which light of the first projector and the second projector is blocked by the front object 8, and thus, depth measurement is impossible.
  • depth measurement is not possible for all of the second area (2) and the fourth area (4). That is, depth measurement is possible only for a part of the second area (2) and a part of the fourth area (4).
  • the FoV of the camera is obscured by the front object (8).
  • the portion included in the sixth region (6) of the second region (2) actually corresponds to the rear region where depth measurement is possible.
  • a portion included in the seventh region 7 of the fourth region 4 corresponds to a rear region capable of actually measuring depth.
  • the structured light depth measuring apparatus according to the present disclosure may include two or more cameras.
  • the structural light depth measuring apparatus according to the present disclosure may include three or more projectors.
  • the shadow effect can be further reduced by introducing multiple cameras and multiple projectors.
  • FIG. 20 is a flowchart of a procedure for describing a depth measurement method according to the present disclosure.
  • the light emitted by the first projector has a first pattern
  • the light emitted by the second projector has a second pattern
  • the first pattern and the second pattern projected by the first and second projectors are reflected from scenes.
  • the first pattern and the second pattern constitute one overlapping light.
  • the wavelength constituting the first pattern and the wavelength constituting the second pattern may be different.
  • the wavelength of the first pattern and the wavelength of the second pattern may have the same or similar frequencies, and the first pattern and the second pattern may have different shapes, periods, and sizes.
  • the reflected first pattern and the second pattern may be separated by a color filter.
  • a color filter may separate them according to the frequency of the wavelengths.
  • the first pattern and the second pattern may be wavelengths in the infrared region, wavelengths in the visible region, or electromagnetic files in other wavelength regions.
  • the separated first pattern and second pattern are captured by the camera.
  • the order of separation and capture of the first pattern and the second pattern may be changed.
  • the color filter may be included in the camera, and may capture the first pattern and the second pattern separated by the camera.
  • the color filter may have a color filter mask similar to FIG. 11.
  • the first pattern undergoes a localizing process and classifies feature points of the first pattern.
  • the classified feature points of the first pattern are referred to as first feature points for convenience.
  • the second pattern undergoes a localizing process, and classifies feature points of the second pattern.
  • the classified feature points of the second pattern are referred to as second feature points for convenience.
  • the feature points of the scene may be identified by combining feature point classifications of the first pattern and the second pattern, or by comparing the first feature points with the second feature points. By comparing the first feature points and the second feature points, depths matching the feature points of the scene may be obtained based on the depths of the first feature points and the depths of the second feature points. Further, virtual third feature points may be generated by combining information of the first feature points and the second feature points.
  • the positions of the first feature points and the positions of the second feature points may be used to refine 2D and 3D positions of objects in a scene.
  • the depth of objects existing in the scene may be measured based on the improved 2D position and 3D position.
  • the structured light depth camera system includes a plurality of projectors and one light sensor (camera), wherein the plurality of projectors can project structural light patterns having different wavelengths (colors), and the light sensor Is capable of capturing light emitted from the plurality of projectors and separating the emitted light into a separate layer in a general coordinate space.
  • the color may be used as a name indicating the wavelength of the light pattern, and does not necessarily mean the color (color) of the visible light region.
  • the patterns may be periodic and may have different periods. By using the different periods, a longer period can be obtained by pattern combination. Also, the patterns may be aperiodic. However, even if the light patterns emitted by the projectors are predetermined or randomly determined, information on the generated light pattern must be known. Based on the information of the generated light patterns, it may be unprojected.
  • the combination of pattern fragments may be sufficiently unique due to the specific mutual alignment of the non-unique pattern fragments.
  • the uniqueness of the pattern fragments may indicate whether overlapping patterns are specified to restore known light patterns by a back-projection method.
  • the projectors can have different base-line distances from the light sensor.
  • the depth measurement range of the structured light depth camera system can be widened.
  • the projectors can be located in different directions from the light sensor.
  • the projectors are located in different directions from the light sensor, so that the shadow area can be reduced.
  • Corresponding positions of the fragment patterns of different projectors can be weighted average to increase localization accuracy.
  • Corresponding positions of the fragment patterns of different projectors can be triangulated to increase the density of the point cloud.
  • the density of the point cloud can be increased by interpolation.
  • the depth measurement apparatus includes light including a plurality of structured light projectors capable of emitting light of different wavelengths and a color filter mask capable of capturing the emitted light and separating it into images of different patterns. It may include a sensor.
  • the depth measurement method proposed through FIG. 20 may be implemented in a computer system or recorded in a recording medium.
  • 21 is an exemplary view showing a structured light pattern and feature points according to the present disclosure.
  • a grid such as a chess board is used, and the decoded value is stored in a corner of the chess board.
  • the decoded value may have a black and white gray value.
  • small squares of a 4x4 combination are displayed at a corner of a chessboard, and the central large square may be represented by separate colors (eg, red, yellow, blue, etc.).
  • the color of the central square may indicate additional characteristics.
  • the color may be 'black and white' or 'black and white gray style'.
  • the small squares of the 4x4 combination may be referred to as an encoding marker.
  • the color of the square of the corner can define the pattern to be decoded.
  • the decoded pattern may be random, periodic or aperiodic, or generated.
  • light patterns and feature points may be expressed in black and white colors.
  • the black and white color may correspond to the intensity of the light pattern.
  • the square of the corners may be used as a 'feature', but is not only used as a feature.
  • the color of each cell of the chessboard can provide additional information about the feature. For example, if the color of each cell is white or black, the diversity of the 'features' is doubled.
  • the method and apparatus for measuring 3D depth according to the present disclosure are not limited by the light patterns. The method and apparatus for measuring 3D depth according to the present disclosure can be applied to any type of structural light patterns.
  • FIG. 23 shows the relative positions of the projectors P1 and P2 and the camera C in the depth measuring apparatus according to the present disclosure.
  • the projectors and the camera may be mounted on an electronic device such as a smart phone, and the projectors and cameras may be mounted according to the arrangement as shown in FIG. 23. More various projectors and camera positions may be further referred to FIG. 12.
  • FIG. 24 shows a camera color filter mask according to the present disclosure.
  • the depth measuring apparatus may include a plurality of projectors.
  • the plurality of projectors may generate light patterns using different wavelengths.
  • the plurality of projectors may project different patterns.
  • the first projector may project the first light pattern
  • the second projector may project the second light pattern.
  • the first light pattern and the second light pattern may be reflected by a scene fragment and captured by a camera.
  • the scene represents a point where the first light pattern and the second light pattern are reflected by objects existing in a 3D space.
  • the scene can be divided into fragment units, and measured and processed. That is, the scene fragment may include a portion of the surface of the object reflecting light patterns.
  • the camera may capture the reflected first light pattern and the reflected second light pattern.
  • the reflected first light pattern and the reflected second light pattern may overlap and be incident on the camera.
  • the first optical pattern and the second optical pattern may include wavelengths of different narrow bands.
  • the overlapping first light pattern and the second light pattern may be separated by passing through a color filter.
  • FIG. 24 an example of a color filter mask capable of separating the first light pattern and the second light pattern is shown. 24 illustrates an exemplary color filter mask, and the 3D depth measurement method and apparatus according to the present disclosure are not limited to the color filter mask of FIG. 24, and other types of color filter masks may be used.
  • a spectrometer it is possible to make the overlapped light patterns progress along two optical paths, and apply a separate color filter to each.
  • 25 is an exemplary view for explaining a combination of feature point types of a plurality of projectors according to the present disclosure.
  • the depth measuring apparatus may include a first projector P1, a second projector P2, and an optical sensor C.
  • the first projector P1 and the second projector P2 may be infrared (IR) projectors.
  • the optical sensor C may be an IR camera.
  • the first projector P1 may use infrared rays having a wavelength of 850 nm
  • the second projector P2 may use infrared rays having a wavelength of 900 nm.
  • the optical sensor may include a sensor that detects infrared rays.
  • the optical sensor may include a color filter mask (FIG. 11) such as a chess board.
  • the first projector P1 and the second projector P2 may be positioned opposite to each other based on the optical sensor C.
  • the base-line length of the first projector P1 and the base-line length of the second projector P2 may be different.
  • the base-line length of the first projector P1 may be 90 mm
  • the base-line length of the second projector P2 may be 30 mm. With different base-line lengths, a wider depth measurement range can be provided. Since the first projector P1 is located on the opposite side of the second projector P2, the full shadow area can be reduced.
  • the above-mentioned values are provided for convenience of understanding and are not intended to limit the scope of the present disclosure.
  • the feature point encoding of the first projector P1 and the feature point encoding of the second projector P2 may be different. However, the first projector P1 and the second projector P2 may emit light having a similar pattern having different feature point encoding.
  • the pattern of the first projector P1 may be referred to as a first optical pattern
  • the pattern of the second projector P2 may be referred to as a second optical pattern.
  • the different feature point encoding can create a unique combination of feature point codes of the first and second light patterns. An accurate depth value can be estimated from the position of the feature points of the frame of each projector corresponding to the combination of the feature point types.
  • the types of feature points projected by the first projector P1 are ⁇ a, b, c>, and the types of feature points projected by the second projector P2 are ⁇ , ⁇ , ⁇ > to be.
  • the camera recognizes a combination of the feature points of the first projector P1 and the feature points of the second projector P2, for example, ⁇ a, ⁇ >, ⁇ b, ⁇ >, ⁇ c, ⁇ >.
  • depth information of an object reflecting the first light pattern and the second light pattern may be obtained.
  • the depth measuring apparatus can be applied to various fields. For example, it can be used in stand-alone depth camera devices, 3D printers for capturing 3D content for augmented reality (AR) / virtual reality (VR) games.
  • the depth measurement device includes a web camera that provides a realistic avatar, a beauty motion, a depth camera of a mobile device, a depth camera for AR / VR glasses, and a depth camera for a drone or robot (eg, a vacuum cleaner robot). It can be applied to.
  • a 3D map of the surroundings can be generated and quickly updated.
  • the depth measurement apparatus may be utilized in a depth camera for photo effects, in combination with a depth camera for high quality gesture recognition, a depth camera for user identification through face recognition, and an RBG camera.
  • the method and apparatus for measuring depth it is possible to increase the depth range of a depth camera, reduce the size of a feature point, increase the density of 3D points and the number of 3D forints, and 3D of a distant object Noise can be reduced, and shadow effects caused by objects in front can be reduced.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

본 개시에 따른 제1 투사기, 제2 투사기 및 광 센서를 포함하는 구조적 광 카메라를 이용한 3차원 깊이 측정 방법은, 상기 제1 투사기에 의하여 제1 광 패턴이 투사되는 과정과, 상기 제2 투사기에 의하여 제2 광 패턴이 투사되는 과정과, 오브젝트에서 반사된 상기 제1 광 패턴과 상기 제2 광 패턴이 중첩된 제3 광 패턴을 칼라 필터에 의하여 필터링하여, 필터링된 제1 패턴과 필터링된 제2 패턴으로 분리하는 과정과, 상기 필터링된 제1 패턴을 국소화하고, 상기 제1 패턴의 제1 특징점들을 분류하는 과정과, 상기 필터링된 제2 패턴을 국소화하고, 상기 제2 패턴의 제2 특징점들을 분류하는 과정과, 상기 제1 특징점들과 상기 제2 특징점들에 기초하여, 상기 오브젝트의 위치 정보를 획득하는 과정을 포함한다.

Description

3차원 깊이 측정 장치 및 방법
본 개시는 구조적 광 카메라(structured light camera)를 이용한 3차원 깊이 측정 방법 및 장치에 관한 것이다.
영상 처리 기술은 2차원 영상 콘텐트 서비스에서 3차원 영상 콘텐트 서비스를 제공하기 위한 방향으로 발전하고 있다. 상기 3차원 영상 콘텐트는 상기 2차원 영상 콘텐트와 달리 입체적인 느낌, 즉 원근감을 제공할 수 있다. 통상적으로 원근감을 제공하기 위해서는 이미지에 포함된 피사체 별로의 깊이 정보가 제공될 수 있어야 한다.
최근 다양한 종류의 깊이 측정 방법 및 장치에 관한 기술이 지속적으로 발전하고 있다. 관련된 기술의 발전으로 인하여, 다양한 분야에 깊이 측정 방법 및 장치가 사용되고 있다. 예컨대, 사용자 얼굴 인식 방법, 실제적인 3차원(three dimension, 3D) 아바타, 가상 메이크업 및 드레싱, 3차원 포토그래피, 동작(gesture) 인식, VR을 위한 3차원 콘텐츠 생성, 정확하고 실제적인 증강 현실(AR, augment reality), 장면 이해(scene understanding), 범용 3차원 스캐닝(general purpose 3D scanning)에 본 개시에 따른 깊이 측정 방법 및 장치를 이용할 수 있다.
도 2는 다양한 종류의 3차원 재구성 방법(깊이 측정 방법)들을 나타낸다.
3차원 재구성 방법은 단일 카메라에 의한 3차원 재구성 방법, 다중 카메라에 의한 3차원 재구성 방법 및 액티브 일루미네이션 3차원 카메라(active illumination 3D camera)에 의한 3차원 재구성 방법을 포함한다.
단일 카메라에 의한 3차원 재구성 방법은 모션 깊이 측정 방법 및 단일 영상 깊이 측정 방법을 포함한다.
모션 깊이 측정 방법은 단일 카메라를 이용하나, 카메라로 촬영할 때, 손떨림 등의 모션을 추정하여, 3차원 깊이를 측정하는 방법이다. 추가적인 장치의 도입 없이, 소프트웨어적으로 구현할 수 있다는 장점이 있으나, 정확성이 낮고, 깊이 영상을 획득하는데 필요한 시간이 길고, 여러 개의 프레임을 획득하여야 하고, 모핑 장면들(morphing scenes)을 재구성해야 하고, 특징이 없는 영역에 대하여 생산성이 낮은 단점이 있다.
단일 영상 깊이 측정 방법은 추가적인 장치의 도입 없이 하나의 프레임으로 깊이 측정이 가능한 장점을 가지나, 특히 알려지지 않은 장면에 대하여, 정확성이 낮고, 에러가 많다는 단점이 있다.
다중 카메라에 의한 3차원 재구성 방법은 복수의 카메라 또는 스테레오 카메라를 이용하여 깊이를 측정하는 방법이다. 복수의 렌즈들 사이의 시차(parallax)를 이용하여, 획득한 영상들로부터 3차원 깊이를 측정할 수 있다. 비교적 장치 구성이 간단한 장점이 있고, 동일 시점에 각 렌즈로부터 하나의 프레임을 획득하여, 획득한 프레임들을 분석하여, 오브젝트들의 깊이를 측정할 수 있다. 그러나, 다중 카메라를 이용한 깊이 측정 방법은 매우 높은 계산 복잡도를 가지고, 특징이 없는 표면에서는 낮은 생산성을 보인다.
액티브 일루미네이션 3차원 카메라에 의한 3차원 재구성 방법은 비행 시간 카메라(time-of-flight camera)에 의한 3차원 재구성 방법 및 구조적 광 카메라(structured light camera)에 의한 3차원 재구성 방법을 포함한다.
비행 시간 카메라(time-of-flight camera, ToF camera)는 알려진 빛의 속도와, 카메라와 이미지의 각 포인트에 대한 서브젝트 사이의 광 신호의 비행 시간을 측정하는 것에 기초하여, 거리를 측정하는 이미징 카메라 시스템이다.
비행 시간 카메라는 낮은 계산 복잡도와 원거리에 대한 높은 정확성을 제공하고, 근거리에 대한 상대적으로 정확성이 낮다. ToF 카메라는 하드웨어의 구성이 매우 복잡하며, 투명하고, 빛나는(glance, 휘광) 표현을 인식하기 어려운 단점이 있다.
구조적 광 카메라는 투사기에 의하여 방출되는 협대역(narrow band)의 광을 3차원 오브젝트의 표면에 투영하여, 투사기의 관점이 아닌 다른 관점에서 왜곡되어 보이는 조명 선(illumination line)이 만들어 지는 것을 이용하여, 오브젝트의 표면 모양을 기하학적으로 재구성하는 카메라를 지칭한다. 구조적 광 카메라를 이용하여, 3차원 오브젝트의 깊이를 측정할 수 있다.
구조적 광 카메라는 근거리에서 높은 정확성을 가지고, 중간 정도의 계산 복잡도를 가지고, 하드웨어 구성의 복잡도도 중간 정도 수준이다. 반면, 원거리에서 정확성이 다소 낮으며 검고, 투명하고, 빛나는(glance, 휘광) 표현을 인식하기 어려운 단점이 있다.
구조적 광 카메라를 이용하여 정확한 깊이 측정을 하기 위하여, 다양한 유형의 패턴을 이용하기 위하여, 특징점의 사이즈를 감소시켜야 하고, 특징점 국소화의 정확성을 증가시키고, 깊이 노이즈를 감소시켜야 한다. 또한, 용인되는 수준의 깊이 노이즈를 유지하면, 동작 깊이 범위를 증가시키고, 그림자 영역을 감소시킬 필요가 있다.
본 개시의 한 실시 예에 따르면, 구조적 광 카메라를 이용한 3차원 깊이 측정 방법 및 장치를 제안한다.
본 개시의 한 실시 예에 따르면, 그림자 측정 범위를 증가시키고, 그림자 영역을 감소 시킬 수 있는 구조적 광 카메라를 이용한 3차원 깊이 측정 방법 및 장치를 제안한다.
본 개시에 따른 제1 투사기, 제2 투사기 및 광 센서를 포함하는 구조적 광 카메라를 이용한 3차원 깊이 측정 방법은, 상기 제1 투사기에 의하여 제1 광 패턴이 투사되는 과정과, 상기 제2 투사기에 의하여 제2 광 패턴이 투사되는 과정과, 오브젝트에서 반사된 상기 제1 광 패턴과 상기 제2 광 패턴이 중첩된 제3 광 패턴을 칼라 필터에 의하여 필터링하여, 필터링된 제1 패턴과 필터링된 제2 패턴으로 분리하는 과정과, 상기 필터링된 제1 패턴을 국소화하고, 상기 제1 패턴의 제1 특징점들을 분류하는 과정과, 상기 필터링된 제2 패턴을 국소화하고, 상기 제2 패턴의 제2 특징점들을 분류하는 과정과, 상기 제1 특징점들과 상기 제2 특징점들에 기초하여, 상기 오브젝트의 위치 정보를 획득하는 과정을 포함할 수 있다.
본 개시에 따른 구조적 광 카메라를 이용한 3차원 깊이 측정 장치에 있어서, 제1 광 패턴을 투사하는 제1 투사기; 제2 광 패턴을 투사하는 제2 투사기; 상기 제1 광 패턴과 상기 제2 광 패턴을 감지하는 광 센서; 및 상기 제1 투사기, 상기 제2 투사기 및 광 센서와 연결되는 적어도 하나의 프로세서를 포함하고, 상기 적어도 하나의 프로세서는, 오브젝트에서 반사된 상기 제1 광 패턴과 상기 제2 광 패턴이 중첩된 제3 광 패턴을 칼라 필터에 의하여 필터링하여, 필터링된 제1 패턴과 필터링된 제2 패턴으로 분리하고, 상기 필터링된 제1 패턴을 국소화하고, 상기 제1 패턴의 제1 특징점들을 분류하고, 상기 필터링된 제2 패턴을 국소화하고, 상기 제2 패턴의 제2 특징점들을 분류하고, 상기 제1 특징점들과 상기 제2 특징점들에 기초하여, 상기 오브젝트의 위치 정보를 획득하도록 구성된다.
상기 제1 투사기, 상기 제2 투사기 및 상기 광 센서는 일직선 상에 위치할 수 있다. 상기 제1 투사기, 상기 제2 투사기 및 상기 광 센서는 일직선 상에 놓여 있지 않을 수 있다. 상기 제1 투사기 및 상기 제2 투사기는 상기 광 센서를 기준으로 서로 반대편에 놓여 있거나, 같은 편에 놓여 있을 수 있다.
상기 제1 광 패턴의 파장과 상기 제2 광 패턴의 파장은 동일 대역이거나, 다른 대역일 수 있다. 상기 제1 광 패턴의 주기와 상기 제2 광 패턴의 주기는 동일하거나, 서로 다를 수 있다.
상기 제1 투사기는 상기 광 센서와 제1 베이스-라인 거리만큼 떨어져 있고, 상기 제2 투사기는 상기 광 센서와 제2 베이스-라인 거리만큼 떨어져 있을 수 있다. 상기 제1 베이스-라인 거리와 상기 제2 베이스-라인 거리는 서로 다를 수 있다.
상기 제1 광 패턴의 디스패리티와 상기 제2 광 패턴의 디스패리티에 기반하여, 상기 오브젝트의 위치 정보를 획득할 수 있다.
본 개시의 다른 측면들과, 이득들 및 핵심적인 특징들은 부가 도면들과 함께 처리되고, 본 개시의 바람직한 실시예들을 게시하는, 하기의 구체적인 설명으로부터 해당 기술 분야의 당업자에게 자명할 것이다.
본 개시의 다양한 실시 예에 따르면, 구조적 광 깊이 카메라에 기반한 3차원 깊이 측정 방법에 의하면, 깊이 측정 정밀도를 향상시키고, 그림자 영역을 감소시킴으로써, 깊이 측정 범위를 확대할 수 있다.
그 외에도 구조적 광 깊이 카메라의 깊이 범위를 증가시킬 수 있고, 특징점의 사이즈를 감소시키고, 3D 포인트들의 밀도와 3D 포인트들의 개수를 증가시킬 수 있고, 후방 오브젝트(원거리 오브젝트)의 3D 노이즈를 감소시킬 수 있고, 전방 오브젝트(근거리 오브젝트)에 의한 그림자 효과를 감소시킬 수 있다.
도 1은 본 개시에서 제안된 다양한 실시 예에 따른, 구조적 광 카메라를 이용한 3차원 깊이 측정 방법이 구현되는 컴퓨터 시스템의 구성을 설명하기 위한 예시도이다.
도 2는 다양한 종류의 3차원 재구성 방법(깊이 측정 방법)의 분류를 나타낸다.
도 3(a), 3(b) 및 3(c)는 본 개시에 따른 구조적 광 깊이 카메라의 구조를 설명하는 예시도이다.
도 4는 본 개시에 따른 구조적 광 깊이 카메라(structured light depth camera)를 설명하기 위한 예시도이다.
도 5는 본 개시에 따른 구조적 광 카메라에서 투사기(projector)의 패턴 평면(pattern plane)과 광 센서의 프레임 평면(frame plane)을 이용하여, 깊이를 측정하는 방법을 설명하기 위한 예시도이다.
도 6은 본 개시에 따른 깊이 측정 방법의 2D 노이즈를 고려한 키 포인트 추정 방법을 설명하기 위한 예시도이다.
도 7은 본 개시에 따른 깊이 측정 방법을 설명하기 위한 예시도이다.
도 8는 본 개시에 따른 깊이 측정 방법에 있어서, 가시 그림자 출현(visible shadows emergence)을 설명하기 위한 예시도이다.
도 9는 본 개시에 따른 깊이 측정 방법에 있어서, 가시 그림자 영역을 설명하기 위한 예시도 이다.
도 10은 본 개시에 따른 복수의 투사기 기반 구조적 광 깊이 카메라의 구조를 나타낸다.
도 11(a)는 투사기가 2개인 경우, 예시적인 카메라 매트릭스 파장 필터 마스크 구조를 나타낸다.
도 11(b)는 투사기가 4개인 경우, 예시적인 카메라 매트릭스 파장 필터 마스크 구조를 나타낸다.
도 12 (a), (b), (c), (d), (e) 및 (f)는 본 개시에 따른 구조적 광 깊이 카메라에 있어서, 카메라 및 투사기들의 예시적인 배치들을 나타낸다.
도 13은 높은 주기(high periodic)의 패턴을 얻기 위한 두 개의 낮은 주기의 패턴을 조합하는 방법을 설명하기 위한 예시도이다.
도 14(a)는 제1 투사기의 특징점 패턴을 나타내고, 도 14(b)는 제2 투사기의 특징점 패턴을 나타내고, 도 14(c)는 제1 투사기의 패턴 프레그먼트를 나타내고, 도 14(d)는 제2 투사기의 패턴 프레그먼트를 나타내고, 도 14(e)는 제1 투사기의 패턴 프레그먼트와 제2 투사기의 패턴 프레그먼트를 조합한 패턴을 나타낸다.
도 15는 다른 베이스-라인에 기하여, 넓은 범위의 깊이를 인식하는 방법을 설명하기 위한 예시도이다.
도 16은 본 개시에 따른 깊이 측정 방법에서 있어서, 투사기들이 서로 다른 베이스 라인의 길이를 가질 때, 장면의 깊이에 따라서, 특징점들이 천이되는 것을 설명하기 위한 예시도이다.
도 17은 제1 투사기와 제2 투사기에 의하여 형성되는 3D 포인트들을 나타낸다.
도 18은 투사기들의 배치에 따른 그림자 효과의 감소를 설명하기 위한 예시도이다.
도 19는 투사기들의 배치에 따른 그림자 효과의 감소를 설명하기 위한 예시도이다.
도 20은 본 개시에 따른 깊이 측정 방법을 설명하기 위한 절차 흐름도이다.
도 21은 본 개시에 따른 구조적 광 패턴(structured light pattern) 및 특징점을 나타내는 예시도이다.
도 22는 본 개시에 따른 투사기의 광 패턴 및 특징점을 나타내는 예시도이다.
도 23은 본 개시에 따른 투사기들(P1, P2) 및 카메라(C)의 상대적 위치를 나타낸다.
도 24는 본 개시에 따른 카메라 칼라 필터 마스크를 나타낸다.
도 25는 본 개시에 따른 복수의 투사기들의 특징점들의 조합을 이용하여 오브젝트의 깊이를 측정하는 방법을 설명하기 위한 예시도이다.
이하 첨부된 도면을 참조하여 본 개시의 바람직한 실시 예에 대한 동작 원리를 상세히 설명한다. 도면상에 표시된 동일한 구성 요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 참조 번호로 나타내었으며, 다음에서 본 개시를 설명함에 있어 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 개시의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다. 그리고 후술되는 용어들은 본 개시에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
하기의 본 게시의 구체적인 설명 부분을 처리하기 전에, 이 특허 문서를 통해 사용되는 특정 단어들 및 구문들에 대한 정의들을 설정하는 것이 효과적일 수 있다: 상기 용어들 “포함하다(include)”및 “포함하다(comprise)”과 그 파생어들은 한정 없는 포함을 의미하며; 상기 용어 “혹은(or)”은 포괄적이고 '및/또는'을 의미하고; 상기 구문들 “와 연관되는(associated with)”및 ““와 연관되는(associated therewith)”과 그 파생어들은 포함하고(include), ~내에 포함되고(be included within), ~와 서로 연결되고(interconnect with), 포함하고(contain), ~내에 포함되고(be contained within), ~에 연결하거나 혹은 ~와 연결하고(connect to or with), ~에 연결하거나 혹은 ~와 연결하고(couple to or with), ~와 통신 가능하고(be communicable with), ~와 협조하고(cooperate with), 인터리빙하고(interleave), 병치하고(juxtapose), ~로 가장 근접하고(be proximate to), ~로 ~할 가능성이 크거나 혹은 ~와 ~할 가능성이 크고(be bound to or with), 가지고(have), 소유하고(have a property of) 등과 같은 것을 의미하고; 상기 용어 “제어기”는 적어도 하나의 동작을 제어하는 임의의 디바이스, 시스템, 혹은 그 부분을 의미하고, 상기와 같은 디바이스는 하드웨어, 펌웨어 혹은 소프트웨어, 혹은 상기 하드웨어, 펌웨어 혹은 소프트웨어 중 적어도 2개의 몇몇 조합에서 구현될 수 있다. 어떤 특정 제어기와 연관되는 기능성이라도 집중화되거나 혹은 분산될 수 있으며, 국부적이거나 원격적일 수도 있다는 것에 주의해야만 할 것이다. 특정 단어들 및 구문들에 대한 정의들은 이 특허 문서에 걸쳐 제공되고, 해당 기술 분야의 통사의 기술자는 상기와 같은 정의들이 종래 뿐만 아니라 상기와 같이 정의된 단어들 및 구문들의 미래의 사용들에도 적용된다는 것을 이해할 수 있다.
본 개시는 다양한 변경을 가할 수 있고 여러 가지 실시 예들을 가질 수 있는 바, 특정 실시 예들을 도면들에 예시하여 상세하게 설명한다. 그러나, 이는 본 개시를 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 개시의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
또한, 본 명세서에서 명백하게 다른 내용을 지시하지 않는 “한”과, “상기”와 같은 단수 표현들은 복수 표현들을 포함한다는 것이 이해될 수 있을 것이다. 따라서, 일 예로, “컴포넌트 표면(component surface)”은 하나 혹은 그 이상의 컴포넌트 표면들을 포함한다.
또한, 제1, 제2, 제3 등과 같이 서수를 포함하는 용어는 다양한 구성 요소들을 설명하는데 사용될 수 있지만, 상기 구성 요소들은 상기 용어들에 의해 한정되지는 않는다. 상기 용어들은 하나의 구성 요소를 다른 구성 요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 개시의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.
또한, 본 명세서에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 개시를 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
또한, 본 개시의 실시 예들에서, 별도로 다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 개시가 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 개시의 실시 예에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
본 개시의 다양한 실시 예들에 따르면, 전자 디바이스는 통신 기능을 포함할 수 있다. 일 예로, 전자 디바이스는 스마트 폰(smart phone)과, 태블릿(tablet) 개인용 컴퓨터(personal computer: PC, 이하 'PC'라 칭하기로 한다)와, 이동 전화기와, 화상 전화기와, 전자책 리더(e-book reader)와, 데스크 탑(desktop) PC와, 랩탑(laptop) PC와, 넷북(netbook) PC와, 개인용 복합 단말기(personal digital assistant: PDA, 이하 'PDA'라 칭하기로 한다)와, 휴대용 멀티미디어 플레이어(portable multimedia player: PMP, 이하 'PMP'라 칭하기로 한다)와, 엠피3 플레이어(mp3 player)와, 이동 의료 디바이스와, 카메라와, 웨어러블 디바이스(wearable device)(일 예로, 헤드-마운티드 디바이스(head-mounted device: HMD, 일 예로 'HMD'라 칭하기로 한다)와, 전자 의류와, 전자 팔찌와, 전자 목걸이와, 전자 앱세서리(appcessory)와, 전자 문신, 혹은 스마트 워치(smart watch) 등이 될 수 있다.
본 개시의 다양한 실시 예들에 따르면, 전자 디바이스는 통신 기능을 가지는 스마트 가정용 기기(smart home appliance)가 될 수 있다. 일 예로, 상기 스마트 가정용 기기는 텔레비전과, 디지털 비디오 디스크(digital video disk: DVD, 이하 'DVD'라 칭하기로 한다) 플레이어와, 오디오와, 냉장고와, 에어 컨디셔너와, 진공 청소기와, 오븐과, 마이크로웨이브 오븐과, 워셔와, 드라이어와, 공기 청정기와, 셋-탑 박스(set-top box)와, TV 박스 (일 예로, Samsung HomeSyncTM, Apple TVTM, 혹은 Google TVTM)와, 게임 콘솔(gaming console)과, 전자 사전과, 캠코더와, 전자 사진 프레임 등이 될 수 있다.
본 개시의 다양한 실시 예들에 따르면, 전자 디바이스는 의료 기기(일 예로, 자기 공명 혈관 조영술(magnetic resonance angiography: MRA, 이하 'MRA'라 칭하기로 한다) 디바이스와, 자기 공명 화상법(magnetic resonance imaging: MRI, 이하 “”라 칭하기로 한다)과, 컴퓨터 단층 촬영(computed tomography: CT, 이하 'CT'라 칭하기로 한다) 디바이스와, 촬상 디바이스, 혹은 초음파 디바이스)와, 네비게이션(navigation) 디바이스와, 전세계 위치 시스템(global positioning system: GPS, 이하 'GPS'라 칭하기로 한다) 수신기와, 사고 기록 장치(event data recorder: EDR, 이하 'EDR'이라 칭하기로 한다)와, 비행 기록 장치(flight data recorder: FDR, 이하 'FER'이라 칭하기로 한다)와, 자동차 인포테인먼트 디바이스(automotive infotainment device)와, 항해 전자 디바이스(일 예로, 항해 네비게이션 디바이스, 자이로스코프(gyroscope), 혹은 나침반)와, 항공 전자 디바이스와, 보안 디바이스와, 산업용 혹은 소비자용 로봇(robot) 등이 될 수 있다.
본 개시의 다양한 실시 예들에 따르면, 전자 디바이스는 통신 기능을 포함하는, 가구와, 빌딩/구조의 일부와, 전자 보드와, 전자 서명 수신 디바이스와, 투사기와, 다양한 측정 디바이스들(일 예로, 물과, 전기와, 가스 혹은 전자기 파 측정 디바이스들) 등이 될 수 있다.
본 개시의 다양한 실시 예들에 따르면, 전자 디바이스는 상기에서 설명한 바와 같은 디바이스들의 조합이 될 수 있다. 또한, 본 개시의 바람직한 실시 예들에 따른 전자 디바이스는 상기에서 설명한 바와 같은 디바이스에 한정되는 것이 아니라는 것은 당업자에게 자명할 것이다.
본 개시의 다양한 실시 예들에 따르면, VR 콘텐트를 송수신하는 기기는 일 예로, 전자 디바이스가 될 수 있다.
이하, 본 개시의 실시 예들에서 사용되는 용어들을 아래와 같이 정의한다.
영상은 동영상(video), 정지 영상(image) 등이 될 수 있으며, 영상 컨텐트는 동영상, 정지 영상 등은 물론 관련된 오디오, 자막 등을 포함하는 각종 멀티미디어 컨텐트를 포함할 수 있다. VR 컨텐트는 상기 영상을 360도 영상, 3D 영상 등으로 제공하는 영상 컨텐트를 포함한다. 미디어 파일 포맷은 ISO(International Organization for Standardization) 기반 미디어 파일 포맷(ISOBMFF) 등과 같은 각종 미디어 관련 규격에 따른 미디어 파일 포맷 등이 될 수 있다.
투영(projection)은 360도 영상 등의 표현을 위한 구형 영상(spherical image)이 평면(planar surface) 상에 투영되는 처리 또는 그 처리 결과에 따른 영상 프레임을 의미한다. 맵핑(mapping)은 상기 투영에 따른 평면 상의 영상 데이터가 2D 평면에 매핑되는 처리 또는 그 처리 결과에 따른 영상 프레임을 의미한다. 전방향 미디어(omnidirectional media)는 예컨대, 사용자가 HMD를 이용하였을 때 사용자의 머리 움직임의 방향에 따라 또는 사용자의 뷰 포트(viewport)에 따라 렌더링될 수 있는 (동)영상(image or video) 및/또는 관련된 오디오를 포함한다. 상기 뷰 포트는 FoV(Field Of View)로 칭해질 수 있으며, 특정 시점에 사용자에게 보여지는 영상의 영역(여기서 상기 영상의 영역은 상기 구형 영상의 영역 등이 될 수 있다.)을 의미한다.
이하, 본 발명의 바람직한 실시예에 대하여 첨부한 도면을 참조하여 상세히 설명하기로 한다.
도 1은 본 개시의 다양한 실시 예에 따른 깊이 측정 방법이 구현되는 컴퓨터 시스템의 구성을 설명하기 위한 예시도이다.
도 1를 참조하면, 컴퓨터 시스템은 적어도 하나 이상의 프로세서(110), 적어도 하나의 메모리(120), 적어도 하나의 인터페이스 (150, 160, 170)를 포함할 수 있다.
프로세서(110)는 CPU(central processing unit; 중앙 처리 장치)이거나, 혹은 메모리(120)에 저장된 명령어를 처리하는 반도체 장치일 수 있다.
프로세서(110)는 컴퓨터 시스템(100)의 모든 동작을 제어하는 제어기(controller)일 수 있다. 상기 제어기는 메모리(120)에서 저장된 프로그램 코드를 읽어 내어 실행함으로써 컴퓨터 시스템(100)이 작동하는 동작들을 실행할 수 있다. 프로세서(110)는 기능 별로 다수의 프로세서들이 하드웨어적으로 독립적으로 구성될 수 있다. 예컨대, 프로세서(110)는 컴퓨터 시스템(100)에서 어플리케이션의 설치 및 동작 등을 처리하는 프로세서 (AP)와, 통신을 위한 처리를 수행하는 프로세서 (CP)가 독립적인 하드웨어 구성으로 구성될 수 있다. 아울러 하나의 칩 내에 서로 다른 기능을 수행하는 프로세서들이 모듈의 형식으로 구성될 수도 있다.
컴퓨터 시스템(100)을 구성하는 프로세서(110), 메모리(120), 저장소(140), 사용자 입력 장치(150), 사용자 출력 장치(160) 및 네트워크 인터페이스(170)는 데이터 통신 버스(130)를 통해 상호 간 데이터 통신을 수행할 수 있다.
메모리(120)와 저장소(140)는 하나의 하드웨어 구성으로 이루어질 수도 있다. 메모리(120)와 저장소(140)는 다양한 형태의 휘발성 혹은 비휘발성 저장 매체를 포함할 수 있다. 예컨대, 메모리(120)는 ROM(read only memory)(123) 및 RAM(random access memory)(126)을 포함할 수 있다. 저장소(140)는 자기 테이프, 하드 디스크 드라이브(HDD), 솔리드 스테이트 드라이브(SDD), 광데이터 장치 및 플래시 메모리와 같은 비휘발성 메모리를 포함할 수 있다.
하나의 실시 예에 따르면, 깊이 측정 방법은 컴퓨터에서 실행 가능한 방법으로 구현될 수 있다. 상기 깊이 측정 방법이 컴퓨터 장치에서 수행될 때, 그 운영 방법은 컴퓨터로 판독 가능한 명령어들에 의해 수행될 수 있다.
하나의 실시 예에 따르면, 깊이 측정 방법은 컴퓨터로 읽을 수 있는 기록 매체에 컴퓨터가 읽을 수 있는 코드로서 구현될 수도 있다. 컴퓨터가 읽을 수 있는 기록 매체는 컴퓨터 시스템에 의하여 해독될 수 있는 데이터가 저장된 모든 종류의 기록 매체를 포함한다. 예를 들어, ROM, RAM, 자기 테이프, 자기 디스크, 플래시 메모리, 광 데이터 저장 장치 등이 있을 수 있다. 또한, 컴퓨터로 판독 가능한 기록 매체는 컴퓨터 통신망으로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 읽을 수 있는 코드로서 저장되고 실행될 수 있다.
도 3(a), 3(b) 및 3(c)는 본 개시에 따른 구조적 광 깊이 카메라의 구조를 설명하는 예시도이다.
깊이 카메라(depth camera)는 주변 장면(surrounding scene)의 볼루메틱 모양(volumetric shape)에 대한 정보를 획득하는 장치이다. 깊이 카메라는 깊이 정보를 획득할 수 있다. 깊이 정보는 다양한 방법들로 표현될 수 있다. 깊이 정보를 표현하는 방법으로서, 깊이 지도(depth map)와 포인트 클라우드(point cloud)가 있다. 깊이 지도는 각각의 픽셀의 밝기 또는 칼라가 장면의 대응되는 조각 (장면 프레그먼트, scene fragment)의 깊이 값을 표현하는 서수 이미지(ordinal image)로 나타내어 질 수 있다. 포인트 클라우드는 주변 장면(surrounding scene)을 구성하는 3차원(3D, three dimension) 점들(3D points)의 집합을 나타낸다. 주변 장면에 대한 깊이 정보는 다양한 방법들에 의해 획득될 수 있다. 깊이 정보를 획득하는 다양한 방법들에 대한 구체적인 설명은 후술될 것이다.
구조적 광 카메라(structured light camera)는 액티브 일루미네이션 3차원 카메라의 일종이다. 구조적 광 카메라는 구조적 광 카메라 시스템, 구조적 광 깊이 카메라 또는 구조적 광 깊이 카메라 시스템이라고도 한다.
구조적 광 카메라는 복수의 투사기(프로젝터, projector)들과 투사된 광(projected light)을 감지하는 광 센서를 포함한다.
상기 투사기는 광 조명기(light illuminator)라고도 한다. 상기 투사기가 사용하는 광은 근적외선(near infrared light) 또는 원적외선(far infrared light)이 사용될 수 있다. 그 외에도 다른 파장의 광이 투사기가 사용하는 광으로 사용될 수 있다. 예컨대, 투사기가 사용하는 광으로 가시 광선 또는 다른 파장의 전자기파가 사용될 수 있다. 상기 투사기는 특정 영역의 파장의 구조적 광(structured light)을 방출할 수 있다. 상기 투사기는 상기 구조적 광에 패턴을 부가함으로써, 다양한 유형의 구조적 광을 생성하고, 방출할 수 있다. 상기 투사기는 구조적 광 투사기(structured light projector)라고도 한다.
상기 광 센서는 단순히 카메라라고도 한다. 상기 광 센서는 투사기로부터 특정 거리에 위치할 수 있다. 상기 광 센서와 상기 투사기 사이의 거리는 '베이스-라인(base-line) 거리'라고 칭할 수 있다.
구조적 광 깊이 카메라는 특정 패턴을 가지는 구조적 광을 장면(scene)에 투영(projecting)하는 투사기를 광 조명기로 사용하는 능동 조명 깊이 카메라(active illumination depth camera)의 일종이다. 여기서 장면은 투사기가 투사하는 구조적 광이 반사되는 영역을 의미할 수 있다. 투사기와 광 센서(카메라)는 서로 다른 방향에서 동일한 장면 또는 피사체를 향할 수 있다.
도 3(a)을 참조하면, 투사기가 투사하는 장면과 광 센서가 캡처하는 장면은 서로 대응된다. 장면은 반드시 2차원 평면을 의미하는 것은 아니다. 예컨대, 장면은 3차원 공간 상에 존재하는 오브젝트의 위치에 따라서, 오브젝트의 표면으로 정의될 수 있다. 다만, 장면은 2차원 평면의 이미지 구조에 깊이 정보를 부가함으로써, 3차원 정보를 포함할 수 있다.
도 3(b)를 참조하면, 투사기는 일정한 패턴을 가지는 광을 방출한다. 방출된 광은 타깃 오브젝트에 반사되어 광 센서에 의하여 캡처된다. 상기 캡처된 광의 패턴은 상기 방출된 광의 패턴으로부터 변이된 것이다.
투사기가 방출하는(투사하는) 광 패턴은 카메라가 캡처하는 광 패턴과 다를 수 있다. 이는 투사기가 광 패턴을 방출하는 위치와 카메라가 광 패턴을 캡쳐하는 위치 간의 시차(parallax)로 인해 발생할 수 있다.
투사기에 의하여 투사되는 광 패턴은 사전에 정해질 수 있다. 광 센서가 캡처한 광 패턴은 사전에 정해진 광 패턴을 기반으로 분석할 수 있다. 상기 분석에 따른 결과는 상기 타깃 오브젝트의 표면(즉, 장면 프레그먼트)의 깊이를 측정하기 위해 사용될 수 있다. 상기 광 패턴은 레이저 간섭 방법(laser interference method) 또는 투사법 (또는 투영법, projection method)에 의하여 생성될 수 있다. 본 개시에서는 광 패턴의 생성 방법을 특정한 방법으로 제한하지는 않는다.
레이저 간섭 방법은 평면 레이저 광을 간섭 시킴으로써, 원하는 형태의 광 패턴을 변조하는 방법이다. 투사법은 광(light)을 디지털 공간 광 변조기(digital spatial light modulator)에 통과시킴으로써, 원하는 광 패턴을 생성시키는 방법이다. 투사법은 투과형 액정(transmissive liquid crystal), 반사형 실리콘 액정(reflective liquid crystal on silicon, LCOS), 디지털 광 처리 변조기(digital light processing modulator, DLP modulator)를 이용하여 광 패턴을 생성할 수 있다. 디지털 광 처리 변조기는 동적인 초미세 거울(moving micro mirror)을 이용할 수 있다. 구조적 광 카메라에서 사용되는 광 패턴은 다양할 수 있으나, 평행한 줄무늬들(parallel stripes)이 종종 사용된다. 도 3(b)는 투사기에 의하여 평행한 줄무늬들 형태의 광 패턴이 다른 관점(perspective)에서 카메라가 촬영한 영상을 보여준다. 오브젝트의 표면들의 깊이들은 사전에 알려진 광 패턴에 기반하여, 카메라가 캡처한 광 패턴을 분석하여, 측정될 수 있다.
도 3(c)를 참고하면, 카메라가 캡처하는 방향에서의 광 패턴은 투사기의 투사 방향에서의 광 패턴과 차이가 있을 수 있다.
투사기에 의해 생성된 광 패턴은 오브젝트에서 반사되어 카메라에 의해 캡처될 것이다. 상기 투사기에 의해 생성된 광 패턴과 카메라에 의해 캡처된 광 패턴은 일치하지 않을 수 있다. 즉, 투사기에 의해 생성된 광 패턴은 투사기와 카메라 사이의 시차(parallax)로 인해, 카메라에 의해 캡처된 광 패턴으로 변이될 수 있다. 상기 투사기에 의해 생성된 광 패턴은 복수의 제1 패턴 프레그먼트들을 포함할 수 있다. 상기 캡처된 광 패턴은 복수의 제2 패턴 프레그먼트들을 포함할 수 있다. 상기 복수의 제1 패턴 프레그먼트들은 상기 장면의 프레그먼트들에 반사되고 상기 복수의 제2 패턴 프레그먼트들로 변이될 수 있다.
상기 캡처된 광 패턴은 카메라의 위치에서의 시차 효과(parallax effect)로 인하여, 대응되는 장면 프레그먼트의 깊이에 따라 변이될 수 있다. 여기서 장면은 광 패턴을 반사하는 영역을 지칭할 수 있다. 또한, 장면 프레그먼트는 해당 장면의 일부분을 지칭할 수 있다. 따라서, 장면 프레그먼트는 오브젝트의 표면에 따라 특정될 수 있다. 상기 캡처된 광 패턴은 상기 복수의 제1 프레그먼트들이 상기 장면 프레그먼트에 반사되어, 변이된 복수의 제2 패턴 프레그먼트들을 포함할 수 있다. 상기 복수의 제1 패턴 프레그먼트들은 분석을 위하여 더 작은 단위의 패턴 프레그먼트로 분할될 수 있다.
각 장면 프레그먼트의 3차원 위치는 해당 장면 프레그먼트의 깊이를 측정함으로써, 획득될 수 있다. 상기 깊이 측정 시, 제1 패턴 프레그먼트의 단위가 작을 수록 깊이 측정을 위한 연산 시간이 오래 걸리는데 반하여 정밀도가 증가할 수 있다. 따라서, 제1 패턴 프레그먼트의 크기는 깊이 측정의 정확성과 연산 속도를 고려하여, 정해질 수 있다.
또한, 깊이 측정을 통해 획득한 데이터를 바탕으로, 보간법(interpolation method)를 사용하여, 보다 정밀한 데이터를 추가로 생성할 수 있다.
상기 변이된 광 패턴, 즉 캡처된 광 패턴은 오브젝트의 부분에 대응되는 장면 프레그먼트의 깊이를 추정하기 위해 사용될 수 있다. 상기 캡처된 광 패턴(복수의 제2 패턴 프레그먼트들)은 추정된 깊이에 따라 원본의 광 패턴, 즉 투사기에 의해 생성된 광 패턴(복수의 제1 패턴 프레그먼트들)에 매칭될 수 있다. 상기 복수의 제1 패턴 프레그먼트들을 포함하는 상기 원본의 광 패턴은 상기 복수의 제2 패턴 프레그먼트들 각각을 잘 구별할 수 있도록 생성된다. 상기 복수의 제1 패턴 프레그먼트들 각각은 특징점들을 포함한다. 상기 복수의 제1 패턴 프레그먼트들과 상기 복수의 제2 패턴 프레그먼트들을 매칭함으로써, 상기 특징점들은 구별될 수 있다.
도 4는 본 개시에 따른 구조적 광 깊이 카메라(structured light depth camera)를 설명하기 위한 예시도이다.
도 4를 참조하면, 구조적 광 깊이 카메라는 특정한 광 패턴을 투사하는 투사기(P)와 상기 투사된 광 패턴이 오브젝트에 의하여 반사되는 광 패턴을 캡처하는 광 센서(C, 카메라 또는 카메라 모듈)를 포함할 수 있다.
투사기(P)는 광 센서(C)와 공간적으로 분리된다. 예컨대, 점 P에 투사기(P)가 위치하고, 점 C에 광 센서가 위치할 수 있다. 광 센서(C)와 투사기(P) 사이의 거리(선분 PC)는 '베이스-라인(base-line) 거리'라 일컫는다. 즉, 점 P와 점 C 사이의 거리가 베이스-라인 거리에 해당한다. 광 센서(C)와 투사기(P) 사이의 거리 (베이스-라인 거리)로 인하여, 광 센서(C)에 의하여 캡처되는 광 패턴은 상기 장면의 프래그먼트의 대응되는 거리에 따라서 다르게 변이된(morphed)다.
상기 베이스-라인 거리는 미리 정해지거나, 사후적으로 설정될 수 있다. 각 장면 프레그먼트의 깊이 값은 베이스-라인 거리에 기초하여, 투사된 광 패턴과 캡처된 광 패턴으로부터 추정할 수 있다.
한 실시 예에 따르면, 투사기(P)와 광 센서(C)가 베이스-라인 거리에 따라 위치하고, 투사기(P)에 의하여 투사되는 광 패턴을 2개의 패턴 프레그먼트들(A, B)라 하자. 상기 패턴 프레그먼트 A 와 패턴 프레그먼트 B는 투사기 패턴 평면의 점 A와 점 B에 각각 투사된다. 상기 패턴 프레그먼트 A 와 패턴 프레그먼트 B의 경로들은 선들로 표현된다.
상기 선들 (선분 BB3, 선분 AA3) 각각은 서로 상이한 깊이 (d1, d2, d3)를 가지는 오브젝트들 각각과 특정 교차점들(A1, A2, A3, B1, B2, B3)을 갖게 된다. 즉, 상기 선들 (선분 BB3, 선분 AA3) 각각에 상응한 패턴 프레그먼트 (A, B)는 오브젝트들 각각의 특정 교차점들(A1, A2, A3, B1, B2, B3)에서 반사가 이루어질 것이다. 상기 특정 교차점들을 장면 프레그먼트들이라 할 수 있다. 상기 오브젝트들의 장면 프레그먼트들(A1, A2, A3, B1, B2, B3)에서 반사가 이루어진 광 패턴들은 카메라 프레임 평면(420)의 다른 위치들 (C1, C2, C3, C4, C5)에서 획득될 것이다.
예컨대, 패턴 프레그먼트 A(A1, A2, A3)는 C2, C4 및 C5의 위치에 나타날 수 있고, 각각의 깊이는 d1, d2 및 d3가 된다. 프레그먼트 B(B1, B2, B3)는 C1, C3 및 C4에서 나타날 수 있고, 각각의 깊이는 d1, d2 및 d3가 된다.
하나의 실시 예에 따르면, 각 오브젝트의 장면 프레그먼트의 깊이와, 각 장면 프레그먼트의 3차원 위치는 베이스-라인 거리와 상기 패턴 프레그먼트의 투사기 패턴 평면(410)에서의 오리지널 위치(투사기에 의해 투사된 위치, 점 A 및 점 B)과 상기 패턴 프레그먼트들의 캡처된 위치들(카메라 프레임 평면(420)에 캡처된 위치, 점 C1, C2, C3, C4 및 C5)를 이용하여 추정될 수 있다. 설명의 편의를 위하여, 투사기에 의하여 생성된 패턴 프레그먼트를 제1 패턴 프레그먼트라 하고, 카메라에 의하여 캡처된 패턴 프레그먼트를 제2 패턴 프레그먼트라 할 수 있다.
상기 제1 패턴 프레그먼트 A와 B는 서로 다른 장면 프레그먼트들(A2, B3)에 반사되어 카메라 프레임 평면(420)의 같은 위치(C4)에 나타날 수 있다. 예컨대, 깊이 d2의 장면 프레그먼트 A2와 깊이 d3의 장면 프레그먼트 B3는 카메라 프레임 평면(420)의 위치 C4에서 나타난다. 이 경우, C4에서는 장면 프레그먼트들(A2, B3)의 광 패턴들이 서로 중첩되므로, 깊이 측정의 오차가 클 수 있다.
따라서 신뢰성 있는 깊이 정보를 획득하기 위해서는, 서로 다른 패턴 프레그먼트들이 중첩되는 것을 명확하게 구별할 수 있어야 한다. 즉, 프레임의 같은 위치에서 나타나는 서로 다른 패턴 프레그먼트들은 구별이 가능하여야 한다.
다른 측면에서, 깊이 카메라의 해상도(resolution)를 증가시키는 것(상기 제1 패턴 프레그먼트들의 크기가 감소됨)은 같은 위치에서 상기 제2 패턴 프레그먼트들이 생성되는 것을 완화할 수 있다.
도 5는 본 개시에 따른 구조적 광 카메라에서 투사기의 패턴 평면(pattern plane) (510)과 광 센서의 프레임 평면(frame plane) (520)을 이용하여, 깊이를 측정하는 방법을 설명하기 위한 예시도이다.
도 5를 참조하면, 깊이 측정 장치 (구조적 광 깊이 카메라 또는 구조적 광 깊이 카메라 시스템)는 적어도 하나의 카메라(C, 광 센서)와 적어도 하나의 투사기(P, 투사기)를 포함할 수 있다.
상기 투사기 P는 키 포인트(key-point)들이라 불리는 인식 가능한 기본 요소(basic recognizable elements)를 포함하는 광 패턴을 투사(project)한다. 상기 인식 가능한 기본 요소는 특징점으로 특정될 수 있다.
상기 투사기 P로부터 투사되어 패턴 평면 (510) 상의 특징점(feature point) F를 통과한 광선(ray)은 서로 다른 깊이를 갖는 점 A, B, D, E 각각에서 반사되면, 상기 서로 다른 깊이를 갖는 점 A, B, D, E 각각에서 반사된 광선이 카메라 C의 프레임 평면(520)의 점 A', B', D', E'에 도달한다.
상기 광선이 점 B에서 반사되는 경우, 카메라 프레임 평면 (520)의 점 B'에 도달한다.
만약 점 D가 최소 접근 가능 깊이이고, 점 E가 최대 접근가능 깊이라면, 패턴 평면 (510) 상의 F를 통과한 광 패턴은 점 D의 깊이와 점 E의 깊이 사이의 범위의 오브젝트들(즉, 선분 DE 상에 존재하는 오브젝트의 장면 프레그먼트들)에서 반사될 것이며, 카메라의 프레임 평면 (520)의 투영점 D'와 E'의 사이의 제1 선(선부 D'E')은 상기 특징점 F의 모든 가능한 투영점들(projections)을 포함할 것이다.
그러나, 카메라의 왜곡에 의하여, 상기 제1 선은 왜곡될 수 있다.
도 6은 본 개시에 따른 깊이 측정 방법의 2D 노이즈를 고려한 키 포인트 추정 방법을 설명하기 위한 예시도이다.
도 6를 참고하면, 실제 키 포인트의 위치를 추정하기 위하여, 상기 캡처된 키 포인트의 삼각 측량을 수행한다. 삼각 측량을 수행함으로써, 장면의 특징점들이 반사되는 3D 위치를 계산한다. 삼각 측량을 수행하기 위하여, 오리지널 광 패턴에 대한 키 포인트의 원본 위치, 카메라의 상대적 위치 및 상기 오리지널 광 패턴을 알아야 한다.
각 키 포인트는 결정된 주변의 다른 키 포인트들과 달라야 한다. 키 포인트 마다 모양, 밝기, 크기 등의 고유한 특성들을 부가하여, 각 키 포인트는 결정된 주변의 다른 키 포인트들과 달라질 수 있다.
그러나, 다른 키 포인트 유형을 다양하게 만들기 위해서는 일반적으로 키 포인트의 크기를 증가시켜야 한다. 키 포인트의 크기를 증가시키면, 상기 광 패턴의 키 포인트들의 밀도와 장면의 자세한 정도는 감소한다.
3D 재구성의 다른 측면은 키 포인트의 국소화된 정확도와 관련된다.
실제로, 환경 및 장면의 특수성(고도의 텍스처링)과 마찬가지로, 하드웨어의 비이상성 및 한계로 인하여, 키 포인트들은 매우 정확하게 국소화할 수 없으므로, 2D 노이즈이 감지된다. 상기 2D 노이즈는 투사기의 투사면에 대응될 수 있다.
삼각 측량(역 투사, unprojection) 과정 동안, 포인트의 깊이 값들은 하기 수학식에 따라 계산될 수 있다.
Figure PCTKR2019014287-appb-M000001
b는 베이스-라인 길이(카메라와 투사기 사이의 거리)
f는 카메라의 초점 거리(focal distance)
d는 디스패리티(disparity) 값.
디스패리티 값은 특징점의 캡처된 2D 위치와 특징점의 오리지널 광 패턴에서의 위치 사이의 거리 차이를 의미한다. 키 포인트의 국소화 절차의 부정확성은 포인트의 깊이 노이즈를 생성한다.
상기 수식에서, 키 포인트의 깊이는 디스패리티 값에 반비례하고, 장면의 깊이가 증가할수록 3D 노이즈의 값은 증가한다. 더 멀리 있는 장면일 수록 훨씬 부정확하다.
Figure PCTKR2019014287-appb-M000002
Δ는 3D 노이즈 값이고, δ는 2D 노이즈 값이다.
주어진 z에 대하여, 3D 노이즈 값(Δ)을 감소시키기 위하여, 2D 노이즈 값(δ)을 감소 시키고, 베이스-라인 길이(b)와 초점 거리(f)를 증가시킬 것이다.
따라서, 원거리 영역 오브젝트에 대한 3D 노이즈 값을 감소시키기 위하여, 베이스-라인 거리를 증가시킬 수 있고, 동시에 베이스-라인 거리가 너무 크면, 투사기의 FoV의 밖 (사각 지대, blind zone)에 근거리 영역 오브젝트가 나타날 수 있다. 즉, 베이스-라인 거리를 증가시켰을 때, 근거리 영역 오브젝트의 깊이는 측정하지 못할 수 있다.
도 7은 본 개시에 따른 깊이 측정 방법을 설명하기 위한 예시도이다.
도 7(a)는 짧은 베이스-라인의 근거리 영역 오브젝트에 대한 투사기와 카메라의 FoV를 표시하고 있다. 투사기의 FoV를 투사 FoV라고 하고, 카메라의 FoV를 가시 FoV라고 할 수 있다. 도 7(b)는 긴 베이스-라인의 근거리 영역 오브젝트에 대한 투사기와 카메라의 FoV를 표시하고 있다.
긴 베이스-라인에 대하여, 근거리 영역 오브젝트는 투사기의 투사 FoV 영역 밖에 존재할 수 있으므로, 근거리 영역 오브젝트들의 인식을 제공하기 위하여, 베이스-라인 길이는 짧아야 하고, 동시에 원거리 영역 오브젝트에 대하여, 낮은 3D 노이즈 값을 제공하기 위하여 베이스-라인 길이는 길어야 하므로, 근거리 영역 오브젝트들의 인식과 낮은 3D 노이즈 값 사이에는 상충(trade-off) 관계가 존재한다.
도 8는 본 개시에 따른 깊이 측정 방법에 있어서, 가시 그림자 출현(visible shadows emergence)를 설명하기 위한 예시도이다.
도 9는 본 개시에 따른 깊이 측정 방법에 있어서, 가시 그림자 영역을 설명하기 위한 예시도이다.
근거리 영역 오브젝트에 의하여 생성된 그림자 효과는 원거리 영역 오브젝트에 미친다. 근거리 영역 오브젝트에 의하여, 투사기에서 방출된 광이 원거리 영역 오브젝트에 도달하지 않게 되면, 카메라의 가시 영역에 존재하는 원거리 영역 오브젝트의 깊이를 측정하지 못할 수 있다. 근거리 영역 오브젝트에 의하여 차폐되는 원거리 영역 오브젝트를 포함하는 영역을 가시 그림자 영역(visible shadow zone)이라고 한다.
도 8를 참고하면, 가시 그림자 영역을 설명하기 위한 투사기와 카메라의 평면 배치도를 나타낸다. 도 9는 카메라의 정면 방향에서 가시 그림자 영역이 표시된 정면도를 나타낸다.
도 8 및 도 9에 따르면, 근거리 오브젝트에 의하여, 원거리 오브젝트가 차폐되면, 원거리 오브젝트의 깊이를 측정할 수 없다. 즉, 근거리 오브젝트에 의하여, 그림자 영역이 발생한다. 다만, 카메라의 위치에서, 상기 그림자 영역은 카메라가 볼 수 있으므로, 상기 그림자 영역을 보이는 그림자 영역(가시 그림자 영역, visible shadow zone)이라 할 수 있다. 상기 가시 그림자 영역은 투사기의 광이 도달하지 아니하므로, 상기 가시 그림자 영역에 존재하는 오브젝트들의 깊이는 측정할 수 없게 된다.
달리 표현하면, 카메라와 투사기 사이의 베이스-라인으로 기인하여, 투사기의 조명에 의하여 생성된 근거리 오브젝트의 그림자가 원거리 오브젝트의 가시 장면 프레그먼트(visible scene fragment)를 덮는다. 상기 원거리 오브젝트의 가시 장면 프레그먼트는 조명되지 아니하므로, 그림자가 형성된다. 즉, 그림자 영역에 존재하는 상기 조명되지 않은 원거리 오브젝트의 가시 장면 프레그먼트의 깊이 정보를 획득할 수 없다.
단일 파장 대신, 다른 광 파장에서 동작하는 복수의 투사기(투영기, 프로젝터, projector)들이 사용될 수 있다. 하나의 카메라 모듈이 상기 복수의 투사기들로부터 방출되는 모든 종류의 조명을 동시에 캡처할 수 있고, RGB 카메라와 유사하게 칼라 필터를 사용하여, 상기 캡처된 조명을 분리된 이미지 채널로 분리할 수 있다. 다만, 투사기들 각각이 방출하는 구조적 광은 적외선, 가시광선 및 자외선 등 다양한 파장의 광들 중 어느 하나 일 수 있고, 상기 하나의 카메라는 다양한 파장 영역에서 복수의 광들을 분리하여 획득할 수 있다. 상기 하나의 카메라는 사용하는 칼라 필터의 마스크에 대응하여, 카메라에 포함된 이미지 센서의 감광 소자(light sensing element)의 배치를 결정할 수 있다.
상기 복수의 투사기들는 다양한 주기로 키 포인트들이 반복되는 패턴들을 투사할 수 있어서, 상기 패턴들의 중첩에 따라, 다양한 유형의 키 포인트들을 증가시킬 수 있다. 또한, 키 포인트들의 유형들을 조합하여 고유한 조합들을 제공할 수 있다. 제공되는 조합된 패턴들은 비주기적 패턴들일 수 있다.
상기 복수의 투사기들을 이용하면, 특징점의 크기가 매우 작더라도, 충분히 다양한 키 포인트의 유형들이 제공될 수 있다. 통상 특징점의 크기가 작으면, 다양한 유형의 특징점들을 생성할 수 없으나, 광 패턴들의 중첩에 의하여, 특징점의 크기가 작더라도 다양한 유형의 키 포인트들을 생성할 수 있다. 즉, 각 투사기들의 광 패턴들이 서로 다른 경우, 중첩되는 키 포인트들은 더 다양해질 수 있다. 또한, 각 투사기들의 동일한 광 패턴을 사용한다 하더라도, 반사되는 위치의 키 포인트가 모두 동일할 수는 없으므로, 중첩되는 키 포인트들은 다양해질 것이다. 각 투사기들의 광 패턴의 주기가 서로 다른 경우, 광 패턴들의 주기에 따라 새로운 주기를 생성할 수 있고, 광 패턴이 다양해지면, 보다 용이하게 키 포인트들을 인식할 수 있게 된다.
다른 베이스-라인 거리를 가지는 투사기들이 배치될 수 있고, 근거리 영역의 오브젝트를 캡처하기 위한 짧은 베이스-라인 거리를 제공할 수 있다. 또한, 원거리 영역의 오브젝트들에 대한 3D 노이즈 감소를 위한 긴 베이스-라인을 제공할 수 있다. 베이스-라인의 길이의 변동과 함께, 다양한 키 포인트 유형을 제공함으로써, 보다 효과적으로 오브젝트의 깊이를 측정할 수 있다.
복수의 투사기들을 도입함으로써, 그림자 효과를 감소시킬 수 있다. 또한, 카메라를 기준으로 반대편 위치에 투사기들을 각각 배치시킴으로써, 그림자 효과를 감소시킬 수 있다. 상기 투사기들은 카메라의 반대편 또는, 수평 위치 및 수직 위치의 조합에 따라서 위치할 수 있다.
분리되어 국소화된 각 투사기로부터 각 키 포인트는 분리된 3D 포인트로서 투사되지 않을 수 있어서, 포인트 클라우드의 밀도는 증가될 수 있다.
모든 투사기로부터 특징점의 위치들의 평균은 국소화 노이즈를 감소시킨다.
단일 카메라를 사용하기 때문에, 동일한 프레임의 좌표 공간에서 특징점을 감지할 수 있고, 추가적인 조정(calibration)과 수정(rectification)의 필요 없이 동작할 수 있다.
도 10는 본 개시에 따른 구조적 광 깊이 카메라의 구조를 나타낸다.
도 10을 참고하면, 카메라(1020)와 제1 투사기(1012) 사이의 거리는 제1 베이스-라인 거리이고, 카메라(1020)와 제2 투사기(1014) 사이의 거리는 제2 베이스-라인 거리이다. 도 10에 나타나는 삼각형들은 제1 투사기(1012) 및 제2 투사기(1014)의 투사 FoV(field of view)와, 카메라의 가시 FoV를 나타낸다.
도 11(a)는 투사기가 2개인 경우, 예시적인 카메라 매트릭스 파장 필터 마스크 구조를 나타낸다.
상기 2개의 투사기들은 도 10의 제1 투사기(1012) 및 제2 투사기(1014)일 수 있다. 제1 투사기(1012) 및 제2 투사기(1014)는 각각 다른 파장의 광을 사용할 수 있다. 제1 투사기(1012)가 제1 광 패턴을 방출하고, 제2 투사기(1014)가 제2 광 패턴을 방출할 수 있다. 상기 제1 광 패턴과 상기 제2 광 패턴은 서로 다른 파장의 광 패턴인 경우, 상기 제1 광 패턴과 상기 제2 광 패턴은 칼라 필터에 의하여 분리될 수 있다. 또한, 유사한 파장을 사용하더라도, 각 투사기는 서로 다른 패턴의 광을 사용함으로써, 캡처된 광의 원본 출처(제1 투사기 또는 제2 투사기)가 무엇인지 알 수 있게 된다. 카메라 매트릭스 파장 필터 마스크는 제1 투사기(1012)에서 투사된 제1 광 패턴과 제2 투사기(1014)에서 투사된 제2 광 패턴을 선별적으로 필터링함으로써, 투사기에 대응되는 패턴들을 분리할 수 있다.
도 11(b)는 투사기가 4개인 경우, 예시적인 카메라 매트릭스 파장 필터 마스크 구조를 나타낸다.
도 11(b)에 나타나는 번호는 4개의 투사기 각각에 대응된다. 예컨대, 4개의 투사기들이 제1 투사기, 제2 투사기, 제3 투사기, 제4 투사기라고 할 수 있다. 도 11(b)의 카메라 매트릭스 파장 필터 마스크에 기재된 '1'은 제1 투사기에 대응되는 필터이고, '2'는 제2 투사기에 대응되는 필터이고, '3'는 제3 투사기에 대응되는 필터이고, '4'는 제4 투사기에 대응되는 필터일 수 있다.
각 투사기의 필터 요소(filter element)를 균일하게 배치하여, 평균적인 성능을 얻을 수 있고, 근방의 필터 요소를 활용하면, 다른 투사기(제2 투사기, 제3 투사기, 제4 투사기)의 깊이 정보에 기초하여, 제1 투사기의 깊이 정보를 추정할 수 있다. 인접 영역에서의 깊이 정보는 서로 관련된 경우가 많기 때문이다. 다만, 각 픽셀의 경계에서 깊이가 급격하게 변하는 경우, 인접 픽셀의 깊이 정보를 참고하여, 깊이 정보를 추출하기 어려운 측면이 있다.
투사기들의 위치, 카메라의 위치 투사기와 카메라의 상대적 위치 등에 따라, 상기 카메라 매트릭스 파장 필터 마스크 구조를 변경할 수 있다. 특정 투사기에 대하여 음영 지역에 해당하는 경우, 필터 요소를 제외하고, 관측 가능한 투사기의 필터요소를 추가하는 방법에 의하여, 더 효율적으로 깊이를 측정할 수 있다.
도 12 (a), (b), (c), (d), (e) 및 (f)는 본 개시에 따른 구조적 광 깊이 카메라에 있어서, 카메라 및 투사기들의 예시적인 배치들을 나타낸다.
본 개시에 따른 카메라와 복수의 투사기들은 일직선 상에 배치될 수 있다. 도 12(b), 도 12 (c), 도 12 (d), 도 12 (e)는 모두 카메라와 복수의 투사기들이 일직선 상에 배치되어 있다.
도 12(a)는 제1 투사기와 카메라 사이의 제1 베이스-라인과 제2 투사기와 카메라 사이의 제2 베이스-라인이 서로 수직하고 있으며, 도 12(f)는 제1 베이스-라인과 제2 베이스-라인이 특정 각도를 이루고 있다.
카메라와 복수의 투사기들의 위치에 따라서, 근거리 영역의 오브젝트의 깊이를 추정할 수 있고, 제1 투사기에 의하여 형성되는 그림자 영역에 존재하는 오브젝트들의 깊이를 제2 투사기를 이용하여 측정할 수 있다.
도 13은 높은 주기(high periodic)의 패턴을 얻기 위한 두 개의 낮은 주기의 패턴을 조합하는 방법을 설명하기 위한 예시도이다.
도 13(a)는 주기가 5인 패턴을 나타낸다. 도 13(a)의 패턴은 제1 투사기의 패턴일 수 있다.
도 13(b)는 주기가 6인 패턴을 나타낸다. 도 13(b)의 패턴은 제1 투사기의 패턴 또는 제2 투사기의 패턴일 수 있다.
하나의 투사기에 간단한 패턴들을 조합함으로써 고유한 패턴을 생성할 수 있다. 또한, 제1 투사기의 패턴과 제2 투사기의 패턴을 조합함으로써 고유한 패턴을 생성할 수 있다.
도 13(c)는 도 13(a)의 패턴과 도 13(b)의 패턴을 조합하여 생성된 주기가 30인인 패턴을 나타낸다.
제1 투사기와 제2 투사기로부터 각각 다른 파장(색, color)의 패턴들이 투사될 때, 상기 패턴들은 카메라에 중첩되어 입력되고, 동일한 이미지 좌표 공간에서 서로 분리하여 인식될 수 있다.
도 14(a)는 제1 투사기의 특징점 패턴(주기 5) 유형을 나타내고, 도 14(b)는 제2 투사기의 특징점 패턴(주기 6) 유형을 나타내고, 도 14(c)는 제1 투사기의 프레그먼트 패턴 유형을 나타내고, 도 14(d)는 제2 투사기의 프레그먼트 패턴 유형을 나타내고, 도 14(e)는 제1 투사기의 프레그먼트 패턴 유형과 제2 투사기의 프레그먼트 패턴 유형을 조합한 패턴(주기 30)을 나타낸다. 상기 조합된 패턴은 제1 투사기의 프레그먼트 패턴 유형과 제2 투사기의 프레그먼트 패턴 유형의 중첩을 나타낸다.
도 15는 다른 베이스-라인에 기하여, 넓은 범위의 깊이를 인식하는 방법을 설명하기 위한 예시도이다.
도 15는 참고하면, 카메라(1520)의 좌측에 제1 투사기(1512)가 위치하고, 카메라(1520)의 우측에 제2 투사기(1514)가 위치한다. 카메라(1520)와 제1 투사기(1512) 사이의 거리는 제1 베이스-라인(1532)이고, 카메라(1520)와 제2 투사기(1514) 사이의 거리는 제2 베이스-라인(1534)이다. 제1 베이스-라인(1532)과 제2 베이스-라인(1534)은 일직선 상에 놓여 있을 수 있다. 도 12를 참고하면, 제1 베이스-라인(1532)과 제2 베이스-라인(1534)이 일직선 상에 놓여 있는 다양한 예시가 존재한다. 제1 베이스-라인(1532)과 제2 베이스-라인(1534)이 일직선 상에 놓여 있을 때, 비교적 간단한 계산식에 의하여, 깊이를 측정할 수 있다. 그러나, 제1 베이스-라인(1532)과 제2 베이스-라인(1534)은 일직선 상에 놓여 있지 아니할 수 있다. 제1 베이스-라인(1532)과 제2 베이스-라인(1534)의 배치를 조정함으로써, 보다 정확하게 오브젝트의 깊이를 측정할 수 있다. 즉, 제1 베이스-라인(1532)과 제2 베이스-라인(1534)이 일직선 상에 놓여 있지 않더라도 적절하게 깊이를 측정할 수 있다.
제1 투사기(1512)와 제2 투사기(1514)가 방출하는 광은 투사 방향에 존재하는 오브젝트(1542, 1544, 1546)에 의하여 반사된다. 제1 투사기(1512)와 상기 제2 투사기(1514)가 위치하는 위치들이 서로 다르기 때문에, 투사되는 범위가 서로 상이하다.
각 투사기의 투사 범위를 근거리 영역, 중간 영역, 원거리 영역으로 구분할 수 있다. 이는 설명의 편의를 위하여 도입된 용어이며, 구체적인 수치에 한정되는 것은 아니다. 투사기의 용도에 따라, 투사기로부터 오브젝트까지 거리는 다양할 수 있다. 이때, 투사기로부터 오브젝트까지의 거리는 직선거리가 아닌 베이스-라인으로부터 수직 거리를 나타내는 것일 수 있다.
제1 오브젝트(1542)는 제1 투사기(1512)와 제2 투사기(1514)의 상기 근거리 영역에 포함되고, 제2 투사기의 사각 영역(blind zone)에 포함되므로, 제1 투사기(1512)만을 사용하여 제1 오브젝트(1542)의 깊이를 측정할 것이다.
제2 오브젝트(1544)는 제1 투사기(1512)와 제2 투사기(1514)의 상기 중간 영역에 위치한다. 제2 오브젝트(1544)에 대하여, 제1 투사기(1512)의 특징점과 제2 투사기(1514)의 특징점을 이용하여 삼각 측량을 할 수 있다.
제3 오브젝트(1546)는 제1 투사기(1512)와 제2 투사기의 상기 원거리 영역에 위치한다. 원거리 영역에 포함되는 오브젝트는 다른 오브젝트에 의하여 차폐될 가능성이 높다. 예컨대, 제1 투사기(1512)의 광이 제1 오브젝트(1542)에 의하여 차폐되는 경우, 제1 투사기(1512)가 획득하는 제3 오브젝트(1546)의 3D 위치는 부정확할 수 있다. 반면, 제2 투사기(1514)의 광은 제3 오브젝트(1546)을 차폐하는 다른 오브젝트가 없는 경우, 상대적으로 제2 투사기(1514)가 획득하는 제3 오브젝트(1546)의 3D 위치는 더 정확할 수 있다. 이때, 제2 투사기(1514)를 이용하여 제3 오브젝트(1546)의 3D 위치를 획득하여, 제3 오브젝트(1546)의 깊이를 측정할 수 있다. 그러나, 제3 오브젝트가 부분적으로 차폐되는 경우라면, 특징점들의 분류에 제1 투사기(1512)의 포인트들을 이용할 수 있다.
도 16은 본 개시에 따른 깊이 측정 방법에서 있어서, 투사기들이 서로 다른 베이스 라인의 길이를 가질 때, 장면의 깊이에 따라서, 특징점들이 천이되는 것을 설명하기 위한 예시도이다.
투사기들의 베이스-라인 거리 값이 다를 경우, 장면 프레그먼트의 깊이에 따라, 특징점들이 다른 속도로 시프트된(shifted)다.
특징점의 디스패리티(disparity)는 장면 프레그먼트의 깊이와 반비례한다. 특징점의 디스패리티와 장면의 깊이 사이의 관계는 다음 수식을 따른다.
Figure PCTKR2019014287-appb-M000003
d는 디스패리티(disparity) 값,
b는 베이스-라인 길이(카메라와 투사기 사이의 거리),
f는 카메라의 초점 거리(focal distance),
z는 장면의 깊이.
상기 수식은 수학식 1로부터 유도될 수 있다.
즉, 장면 프레그먼트의 깊이가 클수록 디스패리티는 작으며, 장면 프레그먼트의 깊이가 작을 수록 디스패리티는 크다. 상기 특징점이 기준점으로부터 시프트한 정도를 디스패리티라고 한다. 동일한 패턴을 사용하더라도, 특징점 조합을 증가시킬 수 있다. 장면의 깊이가 매우 크다면(카메라로부터 피사체의 거리가 무한대, 즉, z = ∞), 투사기들의 디스패리티 값이 0이 되므로, 투사기들이 동일한 패턴을 사용하더라도, 같은 위치들에서 특징점들을 검출할 수 있다.
도 16에 있어서, z1 > z2 라고 하자. 장면의 깊이가 z1(예컨대, z1 = 2 m) 일 때, 투사기들 사이에 디스패리티 차이가 발생한다. 마찬가지로, 장면의 깊이가 z2(예컨대, z2 = 1 m) 일 때에도, 투사기들 사이에 디스패리티 차이가 발생한다. 다만, z1 > z2 이므로, z = z2 일 때의 디스패리티(d)가 z = z1 일 때의 디스패리티(d)보다 수학식 3에 따라 더 크다. 또한, 제1 투사기의 베이스-라인(b1)보다 제2 투사기의 베이스-라인(b2)이 더 길다면, 제2 투사기의 디스패리티가 제1 투사기의 디스패리티보다 더 크게 된다.
즉, 베이스-라인들의 길이와 장면의 깊이에 따른 디스패리티의 차이가 발생하기 때문에, 같은 패턴을 사용하는 투사기들 사이에도, 특징점 조합의 패턴이 증가될 수 있다.
증가된 패턴들을 가지는 캡처된 프레임의 각 점들에 대하여, 장면의 다른 깊이 값들로 인하여, 복수의 패턴들의 조합에 따라 특징점들의 고유한 조합들이 생성될 것이다. 상기 패턴들의 조합을 캡처하여, 장면의 깊이값을 복원할 수 있다.
도 17은 제1 투사기와 제2 투사기에 의하여 형성되는 3D 포인트들을 나타낸다.
투사기들로부터 추출된 특징점들은 분리되어 국소화되(localized)기 때문에, 상기 특징점들은 역투사에 사용될 수 있다. 상기 특징점들을 역투사하여, 3차원 포인트들을 구할 수 있다. 투사기들의 디스패리티로 인하여, 상기 3차원 포인트들의 개수는 두 배가 된다.
도 18는 투사기들의 배치에 따른 그림자 효과의 감소를 설명하기 위한 예시도이다.
도 19는 투사기들의 배치에 따른 그림자 효과의 감소를 설명하기 위한 예시도이다.
도 18를 참고하면, 카메라를 기준으로 반대편에 투사기들을 위치시킬 경우, 그림자 효과가 감소될 수 있다. 그림자 효과는 전방 오브젝트(foreground object, 근거리 오브젝트)에 의하여 하나의 투사기의 광이 차폐되어, 후방 오브젝트(background object, 원거리 오브젝트) 의 깊이를 측정하지 못하는 것을 의미한다.
도 18를 참고하면, 전방 오브젝트(도 19의 ⑧)와 후방 스크린(도 19의 ①, ②, ③, ④, ⑤)이 표시되어 있다. 제1 투사기에 의하여 전방 오브젝트의 그림자 영역(도 19의 ③, ④)이 후방 스크린에 형성되며, 제2 투사기에 의하여, 전방 오브젝트의 그림자 영역(도 19의 ②, ③)이 후방 스크린에 형성된다. 여기서 그림자 영역이란 투사기에 의하여 방출된 광이 전방 오브젝트에 의하여 가리어져, 후방 스크린에 도달하지 못하는 영역을 의미한다.
제1 투사기가 방출한 광이 후방 스크린에 도달하지 못하기 때문에 생성되는 제1 그림자 영역(도 19의 ③, ④)에 존재하는 후방 오브젝트는 제1 투사기에 의하여 측정할 수 없다. 또한, 제2 투사기가 방출한 광이 후방 스크린에 도달하지 못하기 때문에 생성되는 제2 그림자 영역(도 19의 ②, ③)에 존재하는 후방 오브젝트는 제2 투사기에 의하여 측정할 수 없다. 그러나, 제1 그림자 영역(도 19의 ③, ④)에 존재하는 후방 오브젝트가 제2 투사기가 방출하는 광을 반사할 수는 있으므로, 제1 그림자 영역의 일부 또는 전부는 제2 투사기에 의하여 측정될 수 있다. 또한, 제2 그림자 영역의 일부 또는 전부는 제1 투사기에 의하여 측정될 수 있다. 즉, 복수의 투사기들을 사용함으로써, 그림자 효과를 감소시킬 수 있다.
도 18을 참고하면, 제1 투사기와 제2 투사기의 배치에 따라, 전방 오브젝트로 인한 그림자 효과를 감소를 시킬 수 있다.
도 19를 참고하면, 제1 영역(①)은 제1 투사기 및 제2 투사기의 광을 모두 반사할 수 있으므로, 완전 조사 후방 영역이라 할 수 있다. 또한 제5 영역(⑤)도 완전 조사 후방 영역이라 할 수 있다.
제2 영역(②)은 제2 투사기의 광이 전방 오브젝트에 의하여 차단되므로, 제2 투사기의 광에 의한 깊이 측정이 불가능한 영역이다. 그러나, 제1 투사기의 광은 전방 오브젝트에 의하여 차단되지 아니하므로, 제1 투사기의 광에 의하여, 깊이 측정이 가능한 영역이다. 또한, 제4 영역(④)은 제1 투사기의 광이 전방 오브젝트에 의하여 차단되므로, 제1 투사기의 광에 의한 깊이 측정이 불가능한 영역이나, 제2 투사기의 광은 전방 오브젝트에 의하여 차단되지 아니하므로, 제2 투사기의 광에 의하여, 깊이 측정이 가능한 영역이다.
제3 영역(③)은 제1 투사기 및 제2 투사기의 광들이 전방 오브젝트(⑧)에 의하여 모두 차단되는 영역이므로, 깊이 측정이 불가능한 영역이다.
도 19를 참고하면, 제2 영역(②) 및 제4 영역(④)의 전부에 대하여, 깊이 측정이 가능하지는 않다. 즉 제2 영역(②)의 일부 및 제4 영역(④)의 일부에 대하여만 깊이 측정이 가능하다. 카메라의 위치를 고려할 때, 카메라의 FoV는 전방 오브젝트(⑧)에 의하여 가리어져진다. 제2 영역(②) 중 제6 영역(⑥)에 포함되는 부분이 실제로 깊이 측정이 가능한 후방 영역에 해당한다. 또한, 제4 영역(④) 중 제7 영역(⑦)에 포함되는 부분이 실제로 깊이 측정이 가능한 후방 영역에 해당한다.
하나의 투사기를 사용할 때와 비교하여, 2대의 투사기를 사용하는 경우, 그림자 효과가 감소될 것이다. 카메라의 개수와 투사기의 개수는 도 19에 개시된 내용에 한정되는 것이 아니다. 본 개시에 따른 구조적 광 깊이 측정 장치는 2이 상의 카메라들을 포함할 수 있다. 또한, 본 개시에 따른 구조적 광 깊이 측정 장치는 3 이상의 투사기들을 포함할 수 있다.
다수의 카메라들 및 다수의 투사기들을 도입함에 따라 그림자 효과를 더 감소시킬 수 있다.
도 20은 본 개시에 따른 깊이 측정 방법을 설명하기 위한 절차 흐름도이다.
제1 투사기에 의하여 방출되는 광은 제1 패턴을 가지고, 제2 투사기에 의하여 방출되는 광은 제2 패턴을 가진다.
상기 제1 투사기 및 제2 투사기에 의하여 투사된 상기 제1 패턴 및 제2 패턴은 장면들로부터 반사된다. 이때, 상기 제1 패턴 및 제2 패턴은 하나의 중첩된 광을 구성한다. 상기 제1 패턴을 구성하는 파장과 상기 제2 패턴을 구성하는 파장은 다를 수 있다. 또한, 상기 제1 패턴의 파장과 상기 제2 패턴의 파장은 동일하거나 유사한 주파수를 가질 수 있고, 상기 제1 패턴과 제2 패턴은 그 형태, 주기, 크기 등이 다를 수 있다.
상기 반사된 제1 패턴 및 제2 패턴은 칼라 필터에 의하여 분리될 수 있다. 상기 제1 패턴과 상기 제2 패턴의 파장이 서로 상이한 경우, 칼라 필터에 의하여 파장의 주파수에 따라 분리될 수 있다. 상기 제1 패턴 및 제2 패턴은 적외선 영역의 파장일 수 있고, 가시광선 영역의 파장일 수 있으며, 다른 파장 영역의 전자기파일 수 있다.
상기 분리된 제1 패턴 및 제2 패턴은 카메라에 의하여 캡처된다. 상기 제1 패턴과 상기 제2 패턴의 분리와 캡처의 순서는 바뀔 수 있다. 상기 칼라 필터는 상기 카메라에 포함될 수 있으며, 상기 카메라에 의하여 분리된 제1 패턴과 제2 패턴을 캡처할 수 있다. 예컨대, 상기 칼라 필터는 도 11과 유사한 형태의 칼라 필터 마스크를 가질 수 있다.
상기 제1 패턴은 국소화(localizing) 과정을 거치고, 상기 제1 패턴의 특징점들을 분류한다. 분류된 상기 제1 패턴의 특징점들을 편의상 제1 특징점들이라 한다. 또한 상기 제2 패턴은 국소화(localizing) 과정을 거치고, 상기 제2 패턴의 특징점들을 분류한다. 분류된 상기 제2 패턴의 특징점들을 편의상 제2 특징점들이라 한다.
상기 제1 패턴 및 상기 제2 패턴의 특징점 분류를 조합하거나, 상기 제1 특징점들과 상기 제2 특징점들을 비교함으로써, 장면의 특징점들을 식별할 수 있다. 상기 제1 특징점들과 상기 제2 특징점들을 비교하여, 상기 장면의 특징점들에 매칭되는 깊이들을 상기 제1 특징점들의 깊이들과 상기 제2 특징점들의 깊이들에 기반하여 획득할 수 있다. 또한, 상기 제1 특징점들과 상기 제2 특징점들의 정보를 조합하여, 가상의 제3 특징점들을 생성할 수 있다.
상기 제1 특징점들의 위치들과 상기 제2 특징점들의 위치들을 이용하여 장면에 존재하는 오브젝트들의 2D 위치 및 3D 위치를 개선(refinement)할 수 있다. 상기 개선된 2D 위치 및 3D 위치를 기반으로 상기 장면에 존재하는 오브젝트들의 깊이를 측정할 수 있다.
상기 개선된 위치 및 깊이에 따른 에러 정정에 기초하여 근방의 특징점들의 위치 및 깊이를 획득할 수 있다. 단일 패턴에 의하여 발생하는 불완전한 분류 또는 부정확한 분류를 근방의 특징점들의 정보를 토대로 복구할 수 있다.
본 개시에 따른 구조적 광 깊이 카메라 시스템은 복수의 투사기들 및 하나의 광 센서(카메라)를 포함하고, 상기 복수의 투사기들은 다른 파장(칼라)를 가지는 구조적 광 패턴들을 투사할 수 있고, 상기 광 센서는 상기 복수의 투사기들로부터 방출된 광을 캡처할 수 있고, 일반 좌표 공간에 상기 방출된 광을 분리된 레이어로 분리할 수 있다. 상기 칼라는 광 패턴의 파장을 지시하는 명칭으로 사용될 수 있고, 반드시 가시 광선 영역의 색상(칼라)을 의미하는 것은 아니다.
상기 구조적 광 깊이 카메라 시스템에 있어서, 상기 패턴들은 주기적일 수 있고, 서로 다른 주기를 가질 수 있다. 상기 서로 다른 주기를 이용하여, 패턴 조합에 의하여 더 긴 주기를 획득할 수 있다. 또한, 상기 패턴들은 비주기적일 수 있다. 그러나, 투사기들이 방출하는 광 패턴들은 사전에 정하여져 있거나, 랜덤하게 정하여져 있더라도, 생성된 광 패턴의 정보를 알 수 있어야 한다. 생성된 광 패턴들의 정보에 기반하여, 역투사(unproject)할 수 있다.
상기 패턴 프레그먼트들은 고유하지 않은 패턴 프레그먼트를 포함하더라도, 상기 패턴 그레그먼트들의 조합은 상기 고유하지 않은 패턴 프레그먼들의 특정한 상호 정렬로 인하여 충분히 고유할 수 있다. 상기 패턴 프레그먼트들의 고유성 여부는 역투사 방법에 의하여, 알려진 광 패턴들을 복원할 수 있을 만큼 중첩된 패턴들이 특정되는지 여부를 의미할 수 있다.
상기 투사기들은 광 센서로부터 서로 다른 베이스-라인 거리를 가질 수 있다. 상기 투사기들은 광 센서로부터 서로 다른 베이스-라인 거리를 가질 경우, 구조적 광 깊이 카메라 시스템의 깊이 측정 범위를 넓힐 수 있다.
상기 투사기들은 광 센서로부터 서로 다른 방향에 위치할 수 있다. 상기 투사기들은 광 센서로부터 서로 다른 방향에 위치함으로써, 그림자 영역이 감소할 수 있다.
서로 다른 투사기들의 상기 프레그먼트 패턴들의 대응되는 위치들은 가중 평균하여 국소화 정확도를 높일 수 있다.
서로 다른 투사기들의 상기 프레그먼트 패턴들의 대응되는 위치들은 삼각 측량하여, 포인트 클라우드의 밀도를 증가시킬 수 있다. 또한, 보간법에 의하여 포인트 클라우드의 밀도를 증가시킬 수 있다.
본 개시에 따른 깊이 측정 장치는 상이한 파장의 광을 방출할 수 있는 복수의 구조화된 광 투사기들 및 상기 방출된 광을 포착하고, 서로 다른 패턴의 영상으로 분리할 수 있는 컬러 필터 마스크를 포함하는 광 센서를 포함할 수 있다.
한편, 도 20을 통해 제안된 깊이 측정 방법은 컴퓨터 시스템에서 구현되거나, 또는 기록 매체에 기록될 수 있음 물론이다.
도 21는 본 개시에 따른 구조적 광 패턴(structured light pattern) 및 특징점을 나타내는 예시도이다.
도 21을 참고하면, 구조화된 광 패턴을 디코딩하기 위하여, 체스판과 같은 그리드를 이용하고, 체스판의 코너에 디코딩된 값을 저장한다. 상기 디코딩된 값은 흑백 그레이값을 가질 수 있다.
도 21을 참고하면, 체스판의 코너에 4x4 조합의 작은 사각형들이 표시되어 있고, 중앙 큰 사각형은 별도의 색상(예컨대, 빨간색, 노란색, 파란색 등)으로 나타낼 수 있다. 상기 중앙 사각형의 색상은 추가적인 특성을 지시할 수 있다. 또한, 색상은 '흑백' 또는 '흑백 그레이 스타일'일 수 있다. 상기 4x4 조합의 작은 사각형들을 인코딩 마커(encoding marker)라고 할 수 있다.
도 22는 본 개시에 따른 투사기의 광 패턴 및 특징점을 나타내는 예시도이다. 코너의 사각형의 색상은 디코딩되는 패턴을 정의할 수 있다. 예컨대, 상기 디코딩되는 패턴은 랜덤일 수 있고, 주기적이거나 비주기적일 수 있고, 생성된 것일 수 있다.
도 22를 참고하면, 광 패턴 및 특징점은 흑백 칼라로 표현할 수 있다. 상기 흑백 칼라는 광 패턴의 강도에 대응되는 것일 수 있다. 상기 코너들의 사각형은 '특징'으로서 사용될 수 있으나, 특징으로만 사용되는 것은 아니다. 또한, 체스판의 각 셀의 색상은 상기 특징에 관한 추가적인 정보를 제공할 수 있다. 예컨대, 각 셀의 색상이 흰색 또는 검은색이라면, 상기 '특징'들의 다양성은 2배가 된다. 그러나, 본 개시에 따른 3차원 깊이 측정 방법 및 장치는 상기 광 패턴들에 의하여 한정되는 것은 아니다. 어떤 형태의 구조적 광 패턴들에도 본 개시에 따른 3차원 깊이 측정 방법 및 장치가 적용될 수 있다.
도 23는 본 개시에 따른 깊이 측정 장치에 있어서, 투사기들(P1, P2) 및 카메라(C)의 상대적 위치를 나타낸다. 상기 투사기들과 상기 카메라는 스마트폰과 같은 전자 장치에 탑재될 수 있고, 도 23과 같은 배치에 따라 투사기들 및 카메라가 장착될 수 있다. 보다 다양한 투사기들 및 카메라의 위치들은 도 12를 더 참고할 수 있다.
도 24는 본 개시에 따른 카메라 칼라 필터 마스크를 나타낸다.
본 개시에 따른 깊이 측정 장치는 복수의 투사기들을 포함할 수 있다. 상기 복수의 투사기들은 서로 다른 파장들을 이용하여 광 패턴을 생성할 수 있다. 또한, 상기 복수의 투사기들은 서로 다른 패턴들을 투사할 수 있다. 예컨대, 제1 투사기는 제1 광 패턴을 투사하고, 제2 투사기는 제2 광 패턴을 투사할 수 있다. 상기 제1 광 패턴 및 상기 제2 광 패턴은 장면 프레그먼트에 반사되어 카메라에 의하여 캡처될 수 있다. 상기 장면은 3차원 공간에 존재하는 오브젝트들에 의하여 상기 제1 광 패턴 및 제2 광 패턴이 반사되는 지점을 나타낸다. 상기 장면은 프레그먼트 단위로 분할되어, 측정되고 처리될 수 있다. 즉, 상기 장면 프레그먼트는 광 패턴들을 반사하는 상기 오브젝트의 표면의 일부를 포함할 수 있다. 상기 반사된 제1 광 패턴과 상기 반사된 제2 광 패턴을 카메라가 캡처할 수 있다. 이때, 상기 반사된 제1 광 패턴과 상기 반사된 제2 광 패턴은 중첩되어 카메라에 입사될 수 있다. 상기 제1 광 패턴과 상기 제2 광 패턴은 서로 다른 협대역(narrow band)의 파장을 포함할 수 있다. 상기 중첩된 상기 제1 광 패턴과 상기 제2 광 패턴은 칼라 필터를 통과하여, 분리될 수 있다. 도 24를 참고하면, 상기 제1 광 패턴 및 상기 제2 광 패턴를 분리할 수 있는 칼라 필터 마스크의 예시를 보여주고 있다. 도 24는 예시적인 칼라 필터 마스크를 나타내는 것이며, 본 개시에 따른 3차원 깊이 측정 방법 및 장치는 도 24의 칼라 필터 마스크에 한정되는 것은 아니며, 다른 종류의 칼라 필터 마스크를 사용할 수 있다. 예컨대, 분광기를 이용하여, 중첩된 광 패턴을 2개의 광로를 따라 진행하도록 하고, 각각에 대하여 별도의 칼라 필터를 적용하는 것도 가능하다.
도 25는 본 개시에 따른 복수의 투사기들의 특징점 유형들의 조합을 설명하기 위한 예시도이다.
본 개시에 따른 깊이 측정 장치는 제1 투사기(P1), 제2 투사기(P2) 및 광 센서(C)를 포함할 수 있다. 제1 투사기(P1) 및 상기 제2 투사기(P2)는 적외선(infrared ray, IR) 투사기일 수 있다. 상기 광 센서(C)는 IR 카메라일 수 있다.
제1 투사기(P1) 850 nm의 파장의 적외선을 이용할 수 있고, 제2 투사기(P2)는 900 nm의 파장의 적외선을 이용할 수 있다. 상기 광 센서는 적외선을 감지하는 센서를 포함할 수 있다. 상기 광 센서는 체스판 같은 칼라 필터 마스크(도 11)를 포함할 수 있다.
제1 투사기(P1) 및 제2 투사기(P2)는 광 센서(C)를 기준으로 서로 반대편에 위치할 수 있다. 제1 투사기(P1)의 베이스-라인 길이와 제2 투사기(P2)의 베이스-라인 길이는 서로 다를 수 있다. 예컨대 제1 투사기(P1)의 베이스-라인 길이는 90 mm일 수 있고, 제2 투사기(P2)의 베이스-라인 길이는 30 mm일 수 있다. 다른 베이스-라인 길이들에 의하여, 보다 넓은 깊이 측정 범위가 제공될 수 있다. 제1 투사기(P1)가 제2 투사기(P2)의 반대 편에 위치함으로써, 완전 그림자 영역을 감소시킬 수 있다. 상술한 수치들은 이해의 편의를 위하여 제공된 예시적인 것이며 본 개시의 범위를 제한하고자 하는 것이 아니다.
제1 투사기(P1)의 특징점 인코딩과 제2 투사기(P2)의 특징점 인코딩은 서로 다를 수 있다. 다만, 제1 투사기(P1)와 제2 투사기(P2)는 서로 다른 특징점 인코딩을 가지는 비슷한 패턴의 광을 방출할 수 있다. 상기 제1 투사기(P1)의 패턴을 제1 광 패턴이라 할 수 있고, 상기 제2 투사기(P2)의 패턴을 제2 광 패턴이라 할 수 있다. 장면(scene)의 프레그먼트의 각각의 깊이 값에 대하여, 상기 서로 다른 특징점 인코딩은 상기 제1 광 패턴과 상기 제2 광 패턴의 특징점 코드들의 고유한 조합을 생성할 수 있다. 상기 특징점 유형들의 조합과 대응되는 각 투사기의 프레임의 특징점의 위치로부터 정확한 깊이 값을 추정할 수 있다.
도 25를 참고하면, 제1 투사기(P1)에 의해 투사되는 특징점의 유형은 <a, b, c>이고, 제2 투사기(P2)에 의해 투사되는 특징점들의 유형은 <α, β, γ>이다.
카메라는 제1 투사기(P1)의 특징점과 제2 투사기(P2)의 특징점의 조합을 인식하게 되는데, 예컨대, <a, α>, <b, β>, <c, γ>를 인식하게 된다.
만약 카메라(C)에서 <a, α>를 인식하였다면, 제1 광 패턴 및 제2 광 패턴을 반사하는 오브젝트의 깊이 정보를 획득할 수 있다.
본 개시에 따른 깊이 측정 장치는 다양한 분야에 응용될 수 있다. 예컨대, 증강 현실(AR)/가상 현실(virtual reality, VR) 게임을 위한 3D 콘텐트를 캡처하기 위한 독립 실행 형(stand-alone) 깊이 카메라 장치, 3D 프린터에 사용될 수 있다. 또한, 본 개시에 따른 깊이 측정 장치는 현실적인 아바타를 제공하는 웹 카메라, 미용 동작, 모바일 장치의 깊이 카메라, AR/VR 안경을 위한 깊이 카메라, 드론 또는 로봇(예컨대, 진공 청소기 로봇)을 위한 깊이 카메라에 응용될 수 있다. 본 개시에 따른 깊이 측정 장치를 이용하여, 주변 3D 지도를 생성하고, 빠르게 갱신(update)할 수 있다.
본 개시에 따른 깊이 측정 장치는, 고품질 동작 인식(gesture recognition)을 위한 깊이 카메라, 얼굴 인식을 통한 사용자 식별을 위한 깊이 카메라, RBG 카메라와 결합하여, 사진 효과를 위한 깊이 카메라에 활용될 수 있다.
본 개시에 따른 깊이 측정 방법 및 장치에 따르면, 깊이 카메라의 깊이 범위를 증가시킬 수 있고, 특징점의 사이즈를 감소시키고, 3D 포인트들의 밀도와 3D 포린트들의 개수를 증가시킬 수 있고, 원거리 오브젝트의 3D 노이즈를 감소시킬 수 있고, 전방 오브젝트에 의한 그림자 효과를 감소시킬 수 있다.
이상, 본 발명의 구성에 대하여 첨부 도면을 참조하여 상세히 설명하였으나, 이는 예시에 불과한 것으로서, 본 발명이 속하는 기술 분야에 통상의 지식을 가진 자라면 본 발명의 기술적 사상의 범위 내에서 다양한 변형과 변경이 가능함은 물론이다. 따라서 본 발명의 보호 범위는 전술한 실시예에 국한되어서는 아니 되며 이하의 특허청구범위의 기재에 의하여 정해져야 할 것이다.

Claims (15)

  1. 제1 투사기, 제2 투사기 및 광 센서를 포함하는 구조적 광 카메라를 이용한 3차원 깊이 측정 방법에 있어서,
    상기 제1 투사기에 의하여 제1 광 패턴이 투사되는 과정과,
    상기 제2 투사기에 의하여 제2 광 패턴이 투사되는 과정과,
    오브젝트에서 반사된 상기 제1 광 패턴과 상기 제2 광 패턴이 중첩된 제3 광 패턴을 칼라 필터에 의하여 필터링하여, 필터링된 제1 패턴과 필터링된 제2 패턴으로 분리하는 과정과,
    상기 필터링된 제1 패턴을 국소화하고, 상기 제1 패턴의 제1 특징점들을 분류하는 과정과,
    상기 필터링된 제2 패턴을 국소화하고, 상기 제2 패턴의 제2 특징점들을 분류하는 과정과,
    상기 제1 특징점들과 상기 제2 특징점들에 기초하여, 상기 오브젝트의 위치 정보를 획득하는 과정을 포함하는 3차원 깊이 측정 방법.
  2. 제1 항에 있어서,
    상기 제1 투사기, 상기 제2 투사기 및 상기 광 센서는 일직선 상에 위치하는 3차원 깊이 측정 방법.
  3. 제1 항에 있어서,
    상기 획득된 오브젝트의 위치 근방에 존재하는 다른 오브젝트의 위치 정보에 기반하여, 상기 획득된 오브젝트의 위치의 에러를 정정하는 과정을 더 포함하는 3차원 깊이 측정 방법.
  4. 제1 항에 있어서,
    상기 제1 광 패턴의 파장과 상기 제2 광 패턴의 파장은 서로 다른 것인 3차원 깊이 측정 방법.
  5. 제4 항에 있어서,
    상기 칼라 필터는,
    상기 제1 광 패턴의 파장과 상기 제2 광 패턴의 파장에 기초하여, 상기 제1 광 패턴과 상기 제2 광 패턴을 분리하는 것인 3차원 깊이 측정 방법.
  6. 제1 항에 있어서,
    상기 제1 광 패턴과 상기 제2 광 패턴의 주기는 서로 다른 것인 3차원 깊이 측정 방법.
  7. 제1 항에 있어서,
    상기 오브젝트의 위치 정보를 획득하는 과정은,
    상기 제1 광 패턴의 디스패리티와 상기 제2 광 패턴의 디스패리티에 기반하여, 상기 오브젝트의 위치 정보를 획득하는 과정을 더 포함하는 3차원 깊이 측정 방법.
  8. 제2 항에 있어서,
    상기 광 센서는,
    상기 제1 투사기와 제1 베이스-라인 거리만큼 떨어져 있고, 상기 제2 투사기와 제2 베이스-라인 거리만큼 떨어져 있고,
    상기 제1 베이스-라인 거리와 상기 제2 베이스-라인 거리는 서로 다른 것인 3차원 깊이 측정 방법.
  9. 제2 항에 있어서,
    상기 제1 투사기와 상기 제2 투사기는 상기 광 센서를 기준으로 서로 반대편에 위치하는 것을 특징으로 하는 3차원 깊이 측정 방법.
  10. 제2 항에 있어서,
    상기 제1 투사기, 상기 제2 투사기 및 상기 광 센서는 일직선 상에 놓여 있지 않는 3차원 깊이 측정 방법.
  11. 구조적 광 카메라를 이용한 3차원 깊이 측정 장치에 있어서,
    제1 광 패턴을 투사하는 제1 투사기;
    제2 광 패턴을 투사하는 제2 투사기;
    상기 제1 광 패턴과 상기 제2 광 패턴을 감지하는 광 센서; 및
    상기 제1 투사기, 상기 제2 투사기 및 광 센서와 연결되는 적어도 하나의 프로세서를 포함하고,
    상기 적어도 하나의 프로세서는,
    오브젝트에서 반사된 상기 제1 광 패턴과 상기 제2 광 패턴이 중첩된 제3 광 패턴을 칼라 필터에 의하여 필터링하여, 필터링된 제1 패턴과 필터링된 제2 패턴으로 분리하고,
    상기 필터링된 제1 패턴을 국소화하고, 상기 제1 패턴의 제1 특징점들을 분류하고,
    상기 필터링된 제2 패턴을 국소화하고, 상기 제2 패턴의 제2 특징점들을 분류하고,
    상기 제1 특징점들과 상기 제2 특징점들에 기초하여, 상기 오브젝트의 위치 정보를 획득하도록 구성되는 3차원 깊이 측정 장치.
  12. 제11 항에 있어서,
    상기 제1 투사기, 상기 제2 투사기 및 상기 광 센서는 일직선 상에 위치하는 3차원 깊이 측정 장치.
  13. 제11 항에 있어서,
    상기 획득된 오브젝트의 위치 근방에 존재하는 다른 오브젝트의 위치 정보에 기반하여, 상기 획득된 오브젝트의 위치 정보의 에러를 정정하는 3차원 깊이 측정 장치.
  14. 제11 항에 있어서,
    제1 항에 있어서,
    상기 제1 광 패턴의 파장과 상기 제2 광 패턴의 파장은 서로 다른 것인 3차원 깊이 측정 장치.
  15. 제11 항에 있어서, 상기 3차원 깊이 측정 장치는 제5 항 내지 제10 항 중 어느 한 항의 방법에 따라 동작하도록 더 구성되는 3차원 깊이 측정 장치.
PCT/KR2019/014287 2018-10-29 2019-10-28 3차원 깊이 측정 장치 및 방법 WO2020091347A1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US17/309,033 US11846500B2 (en) 2018-10-29 2019-10-28 Three-dimensional depth measuring device and method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020180130292A KR102668245B1 (ko) 2018-10-29 3차원 깊이 측정 장치 및 방법
KR10-2018-0130292 2018-10-29

Publications (1)

Publication Number Publication Date
WO2020091347A1 true WO2020091347A1 (ko) 2020-05-07

Family

ID=70463406

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2019/014287 WO2020091347A1 (ko) 2018-10-29 2019-10-28 3차원 깊이 측정 장치 및 방법

Country Status (2)

Country Link
US (1) US11846500B2 (ko)
WO (1) WO2020091347A1 (ko)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210262787A1 (en) * 2020-02-21 2021-08-26 Hamamatsu Photonics K.K. Three-dimensional measurement device
US20210264625A1 (en) * 2020-02-26 2021-08-26 Qualcomm Incorporated Structured light code overlay
US11778157B2 (en) * 2021-03-25 2023-10-03 Eys3D Microelectronics, Co. Image capture device and depth information calculation method thereof

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001012909A (ja) * 1998-05-25 2001-01-19 Matsushita Electric Ind Co Ltd レンジファインダ装置及びカメラ
KR20130136872A (ko) * 2012-06-05 2013-12-13 삼성전자주식회사 깊이 영상 생성 방법 및 장치, 깊이 영상 처리 방법 및 장치
KR20150098035A (ko) * 2014-02-19 2015-08-27 엘지전자 주식회사 객체의 3차원 형상을 산출하는 장치 및 방법
KR20160051070A (ko) * 2014-10-31 2016-05-11 삼성전자주식회사 양안 시차를 이용한 물체 위치 검출 장치 및 그 장치의 동작 방법
US20160150219A1 (en) * 2014-11-20 2016-05-26 Mantisvision Ltd. Methods Circuits Devices Assemblies Systems and Functionally Associated Computer Executable Code for Image Acquisition With Depth Estimation

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2416198B1 (en) * 1998-05-25 2013-05-01 Panasonic Corporation Range finder device and camera
US8326020B2 (en) 2007-02-28 2012-12-04 Sungkyunkwan University Foundation Structural light based depth imaging method and system using signal separation coding, and error correction thereof
US8488129B2 (en) * 2007-10-05 2013-07-16 Artec Group, Inc. Combined object capturing system and display device and associated method
US8723923B2 (en) * 2010-01-14 2014-05-13 Alces Technology Structured light system
JP5631025B2 (ja) * 2010-03-10 2014-11-26 キヤノン株式会社 情報処理装置、その処理方法及びプログラム
JP5587137B2 (ja) * 2010-10-29 2014-09-10 キヤノン株式会社 測定装置及び測定方法
JP6023415B2 (ja) * 2011-10-17 2016-11-09 キヤノン株式会社 三次元計測装置、三次元計測装置の制御方法およびプログラム
US8811769B1 (en) 2012-02-28 2014-08-19 Lytro, Inc. Extended depth of field and variable center of perspective in light-field processing
KR102166691B1 (ko) 2014-02-27 2020-10-16 엘지전자 주식회사 객체의 3차원 형상을 산출하는 장치 및 방법
WO2015152829A1 (en) * 2014-04-03 2015-10-08 Heptagon Micro Optics Pte. Ltd. Structured-stereo imaging assembly including separate imagers for different wavelengths
US10051209B2 (en) * 2014-04-09 2018-08-14 Omnivision Technologies, Inc. Combined visible and non-visible projection system
JP2016024052A (ja) * 2014-07-18 2016-02-08 国立大学法人 鹿児島大学 ３次元計測システム、３次元計測方法及びプログラム
JP6456084B2 (ja) * 2014-09-24 2019-01-23 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム
WO2016183395A1 (en) * 2015-05-13 2016-11-17 Oculus Vr, Llc Augmenting a depth map representation with a reflectivity map representation
KR101713875B1 (ko) * 2015-07-28 2017-03-09 주식회사 카이 프로젝터 투사 환경하에서의 사용자 시점을 고려한 가상공간 구현 방법 및 시스템
US10447998B2 (en) * 2016-09-30 2019-10-15 Intel Corporation Power efficient long range depth sensing
CN108399633A (zh) * 2017-02-06 2018-08-14 罗伯团队家居有限公司 用于立体视觉的方法和装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001012909A (ja) * 1998-05-25 2001-01-19 Matsushita Electric Ind Co Ltd レンジファインダ装置及びカメラ
KR20130136872A (ko) * 2012-06-05 2013-12-13 삼성전자주식회사 깊이 영상 생성 방법 및 장치, 깊이 영상 처리 방법 및 장치
KR20150098035A (ko) * 2014-02-19 2015-08-27 엘지전자 주식회사 객체의 3차원 형상을 산출하는 장치 및 방법
KR20160051070A (ko) * 2014-10-31 2016-05-11 삼성전자주식회사 양안 시차를 이용한 물체 위치 검출 장치 및 그 장치의 동작 방법
US20160150219A1 (en) * 2014-11-20 2016-05-26 Mantisvision Ltd. Methods Circuits Devices Assemblies Systems and Functionally Associated Computer Executable Code for Image Acquisition With Depth Estimation

Also Published As

Publication number Publication date
US20220011096A1 (en) 2022-01-13
KR20200049958A (ko) 2020-05-11
US11846500B2 (en) 2023-12-19

Similar Documents

Publication Publication Date Title
WO2020091347A1 (ko) 3차원 깊이 측정 장치 및 방법
WO2020032582A1 (en) Electronic device for displaying avatar corresponding to external object according to change in position of external object
WO2020209491A1 (en) Head-mounted display device and operating method of the same
WO2019039771A1 (en) ELECTRONIC DEVICE FOR STORING DEPTH INFORMATION IN RELATION TO AN IMAGE BASED ON DEPTH INFORMATION PROPERTIES OBTAINED USING AN IMAGE, AND ITS CONTROL METHOD
WO2018236058A1 (en) ELECTRONIC DEVICE FOR PROVIDING PROPERTY INFORMATION OF AN EXTERNAL LIGHT SOURCE FOR AN OBJECT OF INTEREST
WO2010004677A1 (ja) 画像処理方法、画像処理装置、画像処理プログラム、画像合成方法、および画像合成装置
WO2017078356A1 (ko) 디스플레이 장치 및 그의 영상 표시 방법
WO2018182192A1 (en) Method and apparatus for displaying image based on user motion information
WO2016145602A1 (en) Apparatus and method for focal length adjustment and depth map determination
JP2013061552A (ja) プロジェクタ装置および操作検出方法
WO2019059632A1 (ko) 프리즘을 이용한 초분광 영상 재구성 방법 및 시스템
EP3763119A1 (en) Method for generating depth information and electronic device supporting the same
WO2017007166A1 (ko) 투영 이미지 생성 방법 및 그 장치, 이미지 픽셀과 깊이값간의 매핑 방법
WO2016200013A1 (ko) 광학 장치 및 깊이 정보 생성 방법
WO2020071823A1 (en) Electronic device and gesture recognition method thereof
US11803982B2 (en) Image processing device and three-dimensional measuring system
WO2016126083A1 (ko) 주변 상황 정보를 통지하기 위한 방법, 전자 장치 및 저장 매체
WO2020171588A1 (en) Electronic device and object measurement method thereof
WO2012124837A1 (en) An apparatus and a method for gesture recognition
WO2020231156A1 (en) Electronic device and method for acquiring biometric information using light of display
WO2020171450A1 (ko) 뎁스 맵을 생성하는 전자 장치 및 방법
WO2019059635A1 (ko) 하나의 이미지 센서를 통해 획득된 rgb 이미지와 ir 이미지를 이용하여 기능을 제공하는 전자 장치
WO2020171572A1 (en) Electronic apparatus and controlling method thereof
WO2019190250A1 (ko) 이미지에 포함된 반사 객체의 속성에 기반하여, 반사 객체에 다른 이미지를 합성하는 방법 및 전자 장치
WO2020149527A1 (en) Apparatus and method for encoding in structured depth camera system

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19879996

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19879996

Country of ref document: EP

Kind code of ref document: A1