KR20150090679A - Apparatus and method for detecting depth map - Google Patents
Apparatus and method for detecting depth map Download PDFInfo
- Publication number
- KR20150090679A KR20150090679A KR1020140011590A KR20140011590A KR20150090679A KR 20150090679 A KR20150090679 A KR 20150090679A KR 1020140011590 A KR1020140011590 A KR 1020140011590A KR 20140011590 A KR20140011590 A KR 20140011590A KR 20150090679 A KR20150090679 A KR 20150090679A
- Authority
- KR
- South Korea
- Prior art keywords
- light
- unit
- time
- region
- flight time
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
- G01S7/483—Details of pulse systems
- G01S7/486—Receivers
- G01S7/4865—Time delay measurement, e.g. time-of-flight measurement, time of arrival measurement or determining the exact position of a peak
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/88—Lidar systems specially adapted for specific applications
- G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
- G01S7/481—Constructional features, e.g. arrangements of optical elements
- G01S7/4814—Constructional features, e.g. arrangements of optical elements of transmitters alone
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computer Networks & Wireless Communication (AREA)
- General Physics & Mathematics (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Electromagnetism (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Optical Radar Systems And Details Thereof (AREA)
- Measurement Of Optical Distance (AREA)
Abstract
Description
본 발명은 깊이 정보 추출에 관한 것으로, 보다 상세하게는 TOF(Time of Flight) 방식을 이용하여 깊이 정보를 추출하는 장치 및 방법에 관한 것이다.The present invention relates to depth information extraction, and more particularly, to an apparatus and method for extracting depth information using a TOF (Time of Flight) method.
촬영 장치를 이용하여 3차원 영상을 획득하는 기술이 발전하고 있다. 3차원 영상을 획득하기 위하여 깊이 정보(Depth Map)가 필요하다. 깊이 정보는 공간 상의 거리를 나타내는 정보이며, 2차원 영상의 한 지점에 대하여 다른 지점의 원근 정보를 나타낸다.A technology for acquiring a three-dimensional image using a photographing apparatus is being developed. Depth map is needed to acquire 3D image. The depth information is information representing the distance on the space and represents perspective information of another point with respect to one point of the two-dimensional image.
깊이 정보를 획득하는 방법 중 하나는, IR(Infrared) 구조광을 객체에 투사하며, 객체로부터 반사된 광을 해석하여 깊이 정보를 추출하는 방식이다. IR 구조광 방식에 따르면, 움직이는 객체에 대하여 원하는 수준의 깊이 분해능(Depth resolution)을 얻기 어려운 문제가 있다.One method of acquiring depth information is to project an IR (Infrared) structured light onto an object, and to extract depth information by analyzing the reflected light from the object. According to the IR structure optical system, there is a problem that it is difficult to obtain a desired level of depth resolution for a moving object.
IR 구조광 방식을 대체하는 기술로 TOF(Time of Flight) 방식이 주목받고 있다. TOF 방식에 따르면, 비행 시간, 즉 빛을 쏘아서 반사되어 오는 시간을 측정함으로써 물체와의 거리를 계산한다. IR structure The time-of-flight (TOF) method is attracting attention as a technology to replace the optical system. According to the TOF method, the distance to an object is calculated by measuring the flight time, that is, the time that the light is reflected and reflected.
일반적으로, TOF 방식에 따르는 카메라는 빛의 각도를 조절하여 물체의 전면에 빛을 조사한다. 이러한 TOF 카메라는 광효율이 낮으며, 연산량이 많은 문제가 있다.Generally, a camera according to the TOF method irradiates light to the front of an object by adjusting the angle of light. Such a TOF camera has a low optical efficiency and a large computational complexity.
본 발명이 이루고자 하는 기술적 과제는 TOF 방식을 이용하여 깊이 정보를 추출하는 깊이 정보 추출 장치 및 방법을 제공하는 데 있다.SUMMARY OF THE INVENTION It is an object of the present invention to provide a depth information extracting apparatus and method for extracting depth information using a TOF method.
본 발명의 한 실시예에 따른 깊이 정보 추출 장치는 IR(InfraRed) 광을 출력하는 광 출력부, 상기 광 출력부로부터 출력된 후 물체로부터 반사된 광이 입력되는 광 입력부, 상기 물체를 포함하는 제1 영역에 광이 조사되도록 광의 각도를 조절한 후, 상기 제1 영역의 일부인 제2 영역에 광이 조사되도록 광의 각도를 조절하는 광 조절부, 그리고 상기 제2 영역에 대하여 시간에 따라 순차적으로 입력되는 광을 이용하여 상기 제2 영역 내의 움직임을 추정하는 제어부를 포함한다.An apparatus for extracting depth information according to an embodiment of the present invention includes a light output unit for outputting IR (InfraRed) light, a light input unit for receiving light reflected from an object after being output from the light output unit, A light control unit for adjusting the angle of the light to be irradiated to the first area and then adjusting the angle of the light to be irradiated to the second area that is a part of the first area, And a controller for estimating a motion in the second area using the light.
상기 제1 영역은 상기 물체를 포함하는 전체 영역이고, 상기 제2 영역은 상기 제1 영역으로부터 추출되며, 상기 물체 내의 소정 영역을 포함하는 부분 영역일 수 있다.The first area may be a whole area including the object, the second area may be a partial area extracted from the first area, and including a predetermined area in the object.
상기 제어부는 상기 광 출력부로부터 출력된 광이 상기 제2 영역에 조사된 후 반사되어 상기 광 입력부에 입력되기까지 걸리는 비행 시간을 계산할 수 있다.The control unit may calculate a flight time taken until the light output from the light output unit is irradiated to the second area and then reflected and input to the light input unit.
상기 제어부는 제1 시간에서 입력되는 광을 이용하여 계산된 제1 비행 시간, 상기 제1 시간의 이전에 입력되는 광을 이용하여 계산된 제2 비행 시간 및 상기 제2 시간의 이후에 입력되는 광을 이용하여 계산된 제3 비행 시간을 이용하여 상기 제2 영역 내의 움직임을 추정할 수 있다.The control unit may be configured to calculate a first flight time calculated using light input at a first time, a second flight time calculated using light input before the first time, and a second flight time calculated using light input after the second time, The movement in the second region can be estimated using the calculated third flight time.
상기 제어부는 상기 제1 비행 시간, 상기 제2 비행 시간 및 상기 제3 비행 시간 간의 상대적인 차를 이용하여 상기 제2 영역 내의 움직임을 추정한 후, 보간(interpolation) 기법을 이용하여 보정할 수 있다. The controller may estimate a motion in the second region using a relative difference between the first flight time, the second flight time, and the third flight time, and then correct the motion using an interpolation technique.
상기 광 입력부는 각각이 제1 수신 유닛 및 제2 수신 유닛을 포함하는 복수의 픽셀을 포함하며, 상기 제어부는 상기 제1 수신 유닛 및 상기 제2 수신 유닛에 입력되는 광량의 차를 이용하여 상기 비행 시간을 계산할 수 있다.Wherein the optical input unit includes a plurality of pixels each including a first receiving unit and a second receiving unit, and the control unit controls the light receiving unit Time can be calculated.
상기 광 조절부는 MEMS(Micro Electo Mechanical System) 및 MEMS 제어 유닛을 포함할 수 있다.The light control unit may include a MEMS (Micro Electro Mechanical System) and a MEMS control unit.
상기 제어부는, 상기 광 출력부, 상기 광 조절부 및 상기 광 입력부의 시간을 제어하는 타이밍 제어 유닛, 상기 광 입력부를 통하여 입력된 전기 신호를 디지털 신호로 변환하는 변환 유닛, 그리고 상기 제2 영역에 대하여 시간에 따라 순차적으로 입력되는 광의 비행 시간을 계산하고, 움직임을 추정하며, 깊이 정보를 추출하는 신호 처리 유닛을 포함할 수 있다.Wherein the control unit includes: a timing control unit for controlling a time of the light output unit, the light control unit, and the light input unit; a conversion unit for converting an electric signal input through the light input unit into a digital signal; And a signal processing unit for calculating a flight time of light input sequentially in accordance with time, estimating motion, and extracting depth information.
본 발명의 한 실시예에 따른 깊이 정보 추출 방법은 물체를 포함하는 제1 영역에 IR(InfraRed) 광을 광을 조사하는 단계, 상기 제1 영역의 일부인 제2 영역에 IR 광을 조사하는 단계, 그리고 상기 제2 영역에 대하여 시간에 따라 순차적으로 입력되는 광을 이용하여 상기 제2 영역 내의 움직임을 추정한다.According to an embodiment of the present invention, there is provided a depth information extracting method comprising: irradiating a first region including an object with light (Infra Red) light; irradiating a second region, which is a part of the first region, And estimates the motion in the second region using light sequentially input to the second region with respect to time.
상기 추정하는 단계는, 제1 시간에서 입력되는 광에 대한 제1 비행 시간, 상기 제1 시간의 이전에 입력되는 광에 대한 제2 비행 시간 및 상기 제2 시간의 이후에 입력되는 광에 대한 제3 비행 시간을 계산하는 단계, 그리고 상기 제1 비행 시간, 상기 제2 비행 시간 및 상기 제3 비행 시간 간의 상대적인 차를 이용하여 상기 제2 영역 내의 움직임을 추정하는 단계를 포함할 수 있다.Wherein the step of estimating comprises the steps of: calculating a first flight time for light input at a first time, a second flight time for light input before the first time, and a second flight time for light input after the second time, 3 flight time, and estimating a motion in the second region using a relative difference between the first flight time, the second flight time, and the third flight time.
본 발명의 실시예에 따르면, 연산량이 적으며, 깊이 분해능이 우수한 깊이 정보 추출 장치를 얻을 수 있다. 이에 따라, 깊이 정보 추출 장치의 소비 전력을 줄일 수 있으며, 물체의 거리를 정밀하게 추출할 수 있다. According to the embodiment of the present invention, it is possible to obtain a depth information extracting apparatus having a small amount of computation and excellent depth resolution. Thus, the power consumption of the depth information extracting apparatus can be reduced, and the distance of the object can be accurately extracted.
도 1은 본 발명의 한 실시예에 따른 깊이 정보 추출 시스템의 블록도를 나타낸다.
도 2는 본 발명의 한 실시예에 따른 깊이 정보 추출 장치의 광 입력부의 구조를 나타낸다.
도 3은 본 발명의 한 실시예에 따른 깊이 정보 추출 장치의 깊이 정보 추출 원리를 나타낸다.
도 4는 시간에 따라 순차적으로 촬영된 전체 영역 및 부분 영역을 나타낸다.
도 5 내지 6은 본 발명의 한 실시예에 따른 깊이 정보 추출 장치의 깊이 정보 추출 방법을 나타내는 흐름도 및 순서도이다.1 shows a block diagram of a depth information extraction system according to an embodiment of the present invention.
2 illustrates a structure of a light input unit of a depth information extracting apparatus according to an embodiment of the present invention.
FIG. 3 illustrates a depth information extraction principle of a depth information extraction apparatus according to an embodiment of the present invention.
FIG. 4 shows the entire area and the partial area sequentially photographed with respect to time.
5 to 6 are a flowchart and a flowchart showing a depth information extracting method of a depth information extracting apparatus according to an embodiment of the present invention.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. The present invention is capable of various modifications and various embodiments, and specific embodiments are illustrated and described in the drawings. It should be understood, however, that the invention is not intended to be limited to the particular embodiments, but includes all modifications, equivalents, and alternatives falling within the spirit and scope of the invention.
제2, 제1 등과 같이 서수를 포함하는 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되지는 않는다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제2 구성요소는 제1 구성요소로 명명될 수 있고, 유사하게 제1 구성요소도 제2 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다. The terms including ordinal, such as second, first, etc., may be used to describe various elements, but the elements are not limited to these terms. The terms are used only for the purpose of distinguishing one component from another. For example, without departing from the scope of the present invention, the second component may be referred to as a first component, and similarly, the first component may also be referred to as a second component. And / or < / RTI > includes any combination of a plurality of related listed items or any of a plurality of related listed items.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다. It is to be understood that when an element is referred to as being "connected" or "connected" to another element, it may be directly connected or connected to the other element, . On the other hand, when an element is referred to as being "directly connected" or "directly connected" to another element, it should be understood that there are no other elements in between.
본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.The terminology used in this application is used only to describe a specific embodiment and is not intended to limit the invention. The singular expressions include plural expressions unless the context clearly dictates otherwise. In the present application, the terms "comprises" or "having" and the like are used to specify that there is a feature, a number, a step, an operation, an element, a component or a combination thereof described in the specification, But do not preclude the presence or addition of one or more other features, integers, steps, operations, elements, components, or combinations thereof.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.Unless defined otherwise, all terms used herein, including technical or scientific terms, have the same meaning as commonly understood by one of ordinary skill in the art to which this invention belongs. Terms such as those defined in commonly used dictionaries are to be interpreted as having a meaning consistent with the contextual meaning of the related art and are to be interpreted as either ideal or overly formal in the sense of the present application Do not.
이하, 첨부된 도면을 참조하여 실시예를 상세히 설명하되, 도면 부호에 관계없이 동일하거나 대응하는 구성 요소는 동일한 참조 번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.Hereinafter, embodiments will be described in detail with reference to the accompanying drawings, wherein like or corresponding elements are denoted by the same reference numerals, and redundant description thereof will be omitted.
도 1은 본 발명의 한 실시예에 따른 깊이 정보 추출 시스템의 블록도를 나타내고, 도 2는 본 발명의 한 실시예에 따른 깊이 정보 추출 장치의 광 입력부의 구조를 나타내며, 도 3은 본 발명의 한 실시예에 따른 깊이 정보 추출 장치의 깊이 정보 추출 원리를 나타낸다.FIG. 1 is a block diagram of a depth information extracting system according to an embodiment of the present invention. FIG. 2 shows a structure of a light input unit of a depth information extracting apparatus according to an embodiment of the present invention. The depth information extraction principle of the depth information extraction apparatus according to an embodiment is shown.
도 1을 참조하면, 깊이 정보 추출 시스템은 깊이 정보 추출 장치(100) 및 PC(200)를 포함한다. Referring to FIG. 1, the depth information extracting system includes a depth
깊이 정보 추출 장치(100)는 광 출력부(110), 광 조절부(120), 광 입력부(130) 및 제어부(140)를 포함한다.The depth
광 출력부(110)는 IR(infrared) 광을 출력한다. IR 광은, 예를 들면 800nm 이상의 파장 대역을 가지는 광일 수 있다. 광 출력부(110)는 광원(112) 및 광 변환 유닛(114)을 포함한다. 광원은 적외선을 투사하는 적어도 하나의 레이저 다이오드(Laser Diode) 또는 발광 다이오드(Light Emitting Diode, LED)를 포함할 수 있다. 그리고, 광 변환 유닛(114)은 광원(112)으로부터 출력된 광을 변조(modulation)할 수 있다. 광 변환 유닛(114)은, 예를 들면 광원(112)으로부터 출력된 광을 펄스(pulse) 변조 또는 위상(phase) 변조할 수 있다. 이에 따라, 광 출력부(110)는 소정 간격으로 광원을 점멸시키며 출력할 수 있다.The
광 조절부(120)는 물체를 포함하는 영역에 광이 조사되도록 광의 각도를 조절한다. 이를 위하여, 광 조절부(120)는 MEMS(Micro Electo Mechanical System, 122) 및 MEMS 제어 유닛(124)을 포함할 수 있다.The
광 조절부(120)는 물체를 포함하는 전체 영역에 광이 조사되도록 광의 각도를 조절할 수 있다. 예를 들어 도 4(a)와 같이, 사람을 포함하는 전체 영역에 광이 조사되도록 광의 각도를 조절할 수 있다. 이에 따라, 광 출력부(110)로부터 출력된 광은 전체 영역을 픽셀 또는 라인 단위로 스캔할 수 있다. 그리고, 광 조절부(120)는 전체 영역의 일부인 부분 영역에 광이 조사되도록 광의 각도를 조절할 수도 있다. 예를 들어, 도 4(b)와 같이, 전체 영역 중 손을 포함하는 부분 영역에 광이 조사되도록 광의 각도를 조절할 수 있다. 이에 따라, 광 출력부(110)로부터 출력된 광은 부분 영역만을 픽셀 또는 라인 단위로 스캔할 수 있다.The
한편, 광 입력부(130)는 광 출력부(110)로부터 출력된 후 물체에 의하여 반사된 광을 입력 받는다. 광 입력부(130)는 입력 받은 광을 전기 신호로 변환할 수 있다. 광 입력부(130)는, 포토 다이오드(photo diode, PD) 또는 CMOS(complementary metal-oxide semiconductor)를 포함하는 이미지 센서일 수 있다. 도 2와 같이, 광 입력부(130)는 배열된 복수의 픽셀(pixel)(132)을 포함할 수 있다. 각 픽셀은 In Phase 수신 유닛(132-1) 및 Out Phase 수신 유닛(132-2)을 포함할 수 있다. On the other hand, the
제어부(140)는 깊이 정보 추출 장치(100)를 전반적으로 제어하며, 깊이 정보를 추출한다. 제어부(140)는 컨트롤러 칩(controller chip)으로 구현될 수 있다. 제어부(140)는 타이밍 제어 유닛(142), 변환 유닛(144), 신호 처리 유닛(146) 및 인터페이스 컨트롤러(148)을 포함할 수 있다. 타이밍 제어 유닛(142)은 광 출력부(110), 광 조절부(120), 광 입력부(130)의 시간을 제어한다. 예를 들어, 타이밍 제어 유닛(142)은 광 출력부(110)의 점멸 주기를 제어할 수 있다. 변환 유닛(144)은 광 입력부(130)를 통하여 입력된 전기 신호를 디지털 신호로 변환한다. The
그리고, 신호 처리 유닛(146)은 부분 영역에 대하여 시간에 따라 순차적으로 입력되는 광의 비행 시간을 계산하고, 움직임을 추정하며, 깊이 정보를 추출한다. 이때, 광의 비행 시간은 In Phase 수신 유닛(132-1) 및 Out Phase 수신 유닛(132-2)에 입력된 광량의 차를 이용하여 계산될 수 있다. 즉, 도 3과 같이, In Phase 수신 유닛(132-1)은 광원이 켜지는 동안 활성화되고, Out Phase 수신 유닛(132-2)은 광원이 꺼지는 동안 활성화될 수 있다. 이와 같이, In Phase 수신 유닛(132-1) 및 Out Phase 수신 유닛(132-2)이 시간 차를 두고 활성화되면, 광의 비행 시간, 즉 물체와의 거리에 따라 수신되는 광량에 차이가 발생하게 된다. 예를 들어, 물체가 깊이 정보 추출 장치 바로 앞에 있는 경우(즉, 거리=0인 경우)에는, 광 출력부(110)로부터 광이 출력된 후 반사되어 오는데 걸리는 시간이 0이므로, 광원의 점멸 주기는 그대로 광의 수신 주기가 된다. 이에 따라, In Phase 수신 유닛(132-1)만이 빛을 수신하게 되고, Out Phase 수신 유닛(132-2)은 빛을 수신하지 못하게 된다. 다른 예로, 물체가 깊이 정보 추출 장치와 소정 거리 떨어져 위치하는 경우, 광 출력부(110)로부터 광이 출력된 후 물체에 반사되어 오는데 시간이 걸리므로, 광원의 점멸 주기는 광의 수신 주기와 차이가 나게 된다. 이에 따라, In Phase 수신 유닛(132-1)과 Out Phase 수신 유닛(132-2)이 수신하는 빛의 양에 차이가 발생하게 된다.Then, the
인터페이스 컨트롤러(148)는 PC(200) 등의 미들웨어와의 인터페이스를 제어한다. 예를 들어, 인터페이스 컨트롤러(148)는 전체 영역을 조사한 후 광 입력부(130)를 통하여 입력된 광에 대한 정보를 PC(200) 등 미들웨어로 전달할 수 있다. 그리고, PC(200) 등 미들웨어에 의하여 추출된 부분 영역에 대한 정보를 PC(200) 등 미들웨어로부터 수신한 후 광 조절부(120) 등에 전달할 수 있다.The
도 5 내지 6은 본 발명의 한 실시예에 따른 깊이 정보 추출 장치의 깊이 정보 추출 방법을 나타내는 흐름도 및 순서도이다. 도 1 내지 3과 중복된 내용은 설명을 생략한다.5 to 6 are a flowchart and a flowchart showing a depth information extracting method of a depth information extracting apparatus according to an embodiment of the present invention. Description of the contents overlapping with those of Figs. 1 to 3 will be omitted.
도 5를 참조하면, 깊이 정보 추출 장치(100)의 광 출력부(110)는 IR 광을 출력하며(S500), 출력된 광은 광 조절부(120)의 조절에 의하여 물체를 포함하는 전체 영역을 조사한다(S502).5, the
그리고, 광 입력부(130)를 통하여 물체부로부터 반사된 광이 입력되며(S504), 제어부(140)는 광 입력부(130)로부터 수신한 아날로그 신호를 디지털 신호로 변환한 후(S506), PC(200)에게 전달한다(S508). The
PC(200)는 깊이 정보 추출 장치(100)로부터 수신한 신호를 이용하여 전체 영역 내의 부분 영역을 추출한다(S510). 부분 영역은 응용 애플리케이션을 구현하기 위하여 필요한 관심 대상을 포함하는 영역일 수 있다. 예를 들어, 응용 애플리케이션이 손가락의 제스쳐에 따라 TV 채널을 변경하는 경우, 전체 영역이 사람의 전신을 포함한다면, 부분 영역은 손가락만을 포함할 수 있다. The
PC(200)는 추출한 부분 영역에 관한 정보를 깊이 정보 추출 장치(100)에게 전달한다(S512).The
한편, 깊이 정보 추출 장치(100)의 광 출력부(110)는 IR 광을 출력하며(S514), 출력된 광은 광 조절부(120)의 조절에 의하여 전체 영역으로부터 추출된 부분 영역만을 조사한다(S516). On the other hand, the
그리고, 광 입력부(130)를 통하여 물체부로부터 반사된 광이 입력되며(S518), 제어부(140)는 광 입력부(130)로부터 수신한 아날로그 신호를 디지털 신호로 변환하고(S520), 신호 처리하여 깊이 정보를 추출한다(S522).The
본 발명의 한 실시예에 따르면, 깊이 정보 추출 장치(100)는 전체 영역을 1회 스캔할 수 있는 시간 동안 부분 영역을 수회 스캔할 수 있다. 이에 딸, 단계 S514 내지 단계 S520이 수회 반복되며, 단계 S522에서는 수회 반복된 결과를 이용하여 깊이 정보의 정밀도를 높일 수 있다. 이에 대하여 도 6을 참고로 상세히 설명한다.According to one embodiment of the present invention, the depth
도 6을 참고하면, 깊이 정보 추출 장치의 제어부(140)는 부분 영역에 대하여 시간 T1에서 광 입력부(130)를 통하여 입력된 광의 비행 시간을 계산하고(S600), T2에서 광 입력부(130)를 통하여 입력된 광의 비행 시간을 계산하며(S602), T3에서 광 입력부(130)를 통하여 입력된 광의 비행 시간을 계산한다(S604). 여기서, T1, T2, T3는 서로 동일한 시간 간격을 가질 수 있으며, 도 5에서의 단계 S514 내지 단계 S520이 T1, T2, T3에서 각각 반복될 수 있다. 광의 비행 시간은 도 3에서 설명한 바와 같이, 광 입력부의 픽셀 내의 In Phase 수신 유닛과 Out Phase 수신 유닛 간의 광량의 차에 의하여 계산될 수 있다.6, the
그리고, 제어부(140)는 시간 T1 내지 시간 T3에서의 비행 시간에 기초하여 부분 영역의 움직임을 추정(motion estimation)하고(S606), 움직임 추정 결과에 따라 깊이 정보를 추출한다(S608). 이때, 움직임 추정 및 깊이 정보 추출 과정은 슈퍼 레졸루션 알고리즘(Super Resolution(SR) Algorithm)에 따라 수행될 수 있다. 즉, 도 4(b)와 같이, T1 내지 Tn에서의 부분 영역을 촬영한 후, 각각의 비행 시간을 계산하여, 시간에 따른 상대적인 움직임을 추정할 수 있다. 그리고, 추정된 움직임은 보간(Interpolation) 기법에 의하여 보정된 후, 복원(restoration) 되며, 노이즈 제거(noise reduction) 될 수 있다.In step S606, the
이와 같이, 전체 영역으로부터 부분 영역을 검출하고, 부분 영역에 대한 깊이 정보를 추출하면, 계산 복잡도를 줄일 수 있다. 또한, 부분 영역에 대하여 시간에 따라 순차적으로 입력되는 정보에 대한 상대적인 차이를 이용하여 움직임 정보를 추정하므로, 높은 깊이 분해능을 얻을 수 있다. 또한, 전체 영역을 1회 스캔하는 시간동안 부분 영역을 수회 스캔할 수 있으므로, 깊이 정보 추출의 시간 및 계산 복잡도를 줄일 수 있다. Thus, by detecting the partial area from the entire area and extracting the depth information for the partial area, the computational complexity can be reduced. In addition, since the motion information is estimated using the relative difference with respect to the information sequentially input to the partial area with time, high depth resolution can be obtained. In addition, since the partial area can be scanned several times during the time of scanning the entire area once, time and complexity of calculation of the depth information can be reduced.
상기에서는 본 발명의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.It will be apparent to those skilled in the art that various modifications and variations can be made in the present invention without departing from the spirit or scope of the present invention as defined by the following claims It can be understood that
100: 깊이 정보 추출 장치
110: 광 출력부
120: 광 조절부
130: 광 입력부
140: 제어부100: depth information extracting device
110: Optical output section
120:
130: Optical input unit
140:
Claims (10)
상기 광 출력부로부터 출력된 후 물체로부터 반사된 광이 입력되는 광 입력부,
상기 물체를 포함하는 제1 영역에 광이 조사되도록 광의 각도를 조절한 후, 상기 제1 영역의 일부인 제2 영역에 광이 조사되도록 광의 각도를 조절하는 광 조절부, 그리고
상기 제2 영역에 대하여 시간에 따라 순차적으로 입력되는 광을 이용하여 상기 제2 영역 내의 움직임을 추정하는 제어부
를 포함하는 깊이 정보 추출 장치.An optical output unit for outputting IR (InfraRed) light,
A light input unit to which light reflected from the object after being output from the light output unit is input,
A light adjusting unit adjusting the angle of light so that light is irradiated to the first area including the object and then adjusting the angle of the light to be irradiated to the second area that is a part of the first area,
And a controller for estimating a motion in the second area using light sequentially input to the second area with respect to time,
And a depth information extracting unit.
상기 제1 영역은 상기 물체를 포함하는 전체 영역이고, 상기 제2 영역은 상기 제1 영역으로부터 추출되며, 상기 물체 내의 소정 영역을 포함하는 부분 영역인 깊이 정보 추출 장치.The method according to claim 1,
Wherein the first region is an entire region including the object and the second region is extracted from the first region and is a partial region including a predetermined region in the object.
상기 제어부는 상기 광 출력부로부터 출력된 광이 상기 제2 영역에 조사된 후 반사되어 상기 광 입력부에 입력되기까지 걸리는 비행 시간을 계산하는 깊이 정보 추출 장치.3. The method of claim 2,
Wherein the control unit calculates a flight time taken until the light output from the light output unit is reflected on the second area and then reflected and input to the light input unit.
상기 제어부는 제1 시간에서 입력되는 광을 이용하여 계산된 제1 비행 시간, 상기 제1 시간의 이전에 입력되는 광을 이용하여 계산된 제2 비행 시간 및 상기 제2 시간의 이후에 입력되는 광을 이용하여 계산된 제3 비행 시간을 이용하여 상기 제2 영역 내의 움직임을 추정하는 깊이 정보 추출 장치.The method of claim 3,
The control unit may be configured to calculate a first flight time calculated using light input at a first time, a second flight time calculated using light input before the first time, and a second flight time calculated using light input after the second time, And estimating a motion in the second region using the calculated third flight time.
상기 제어부는 상기 제1 비행 시간, 상기 제2 비행 시간 및 상기 제3 비행 시간 간의 상대적인 차를 이용하여 상기 제2 영역 내의 움직임을 추정한 후, 보간(interpolation) 기법을 이용하여 보정하는 깊이 정보 추출 장치. 5. The method of claim 4,
The controller estimates the motion in the second region using a relative difference between the first flight time, the second flight time, and the third flight time, and then extracts depth information to be corrected using an interpolation technique Device.
상기 광 입력부는 각각이 제1 수신 유닛 및 제2 수신 유닛을 포함하는 복수의 픽셀을 포함하며,
상기 제어부는 상기 제1 수신 유닛 및 상기 제2 수신 유닛에 입력되는 광량의 차를 이용하여 상기 비행 시간을 계산하는 깊이 정보 추출 장치.The method of claim 3,
Wherein the optical input portion includes a plurality of pixels each including a first receiving unit and a second receiving unit,
Wherein the control unit calculates the flight time using a difference between amounts of light input to the first receiving unit and the second receiving unit.
상기 광 조절부는 MEMS(Micro Electo Mechanical System) 및 MEMS 제어 유닛을 포함하는 깊이 정보 추출 장치.The method according to claim 1,
Wherein the light control unit includes a MEMS (Micro Electro Mechanical System) and a MEMS control unit.
상기 제어부는,
상기 광 출력부, 상기 광 조절부 및 상기 광 입력부의 시간을 제어하는 타이밍 제어 유닛,
상기 광 입력부를 통하여 입력된 전기 신호를 디지털 신호로 변환하는 변환 유닛, 그리고
상기 제2 영역에 대하여 시간에 따라 순차적으로 입력되는 광의 비행 시간을 계산하고, 움직임을 추정하며, 깊이 정보를 추출하는 신호 처리 유닛
을 포함하는 깊이 정보 추출 장치.The method according to claim 1,
Wherein,
A timing control unit for controlling a time of the light output unit, the light control unit, and the light input unit,
A conversion unit for converting an electric signal inputted through the optical input unit into a digital signal,
A signal processing unit for calculating a flight time of light input sequentially in time with respect to the second area, estimating motion, and extracting depth information,
And a depth information extracting unit.
물체를 포함하는 제1 영역에 IR(InfraRed) 광을 광을 조사하는 단계,
상기 제1 영역의 일부인 제2 영역에 IR 광을 조사하는 단계, 그리고
상기 제2 영역에 대하여 시간에 따라 순차적으로 입력되는 광을 이용하여 상기 제2 영역 내의 움직임을 추정하는 깊이 정보 추출 방법.In the depth information extracting method of the depth information extracting apparatus,
Irradiating a first region including an object with light (IR (Infra Red) light,
Irradiating an IR light to a second region that is a part of the first region, and
And estimating a motion in the second region using light sequentially input to the second region with respect to time.
상기 추정하는 단계는,
제1 시간에서 입력되는 광에 대한 제1 비행 시간, 상기 제1 시간의 이전에 입력되는 광에 대한 제2 비행 시간 및 상기 제2 시간의 이후에 입력되는 광에 대한 제3 비행 시간을 계산하는 단계, 그리고
상기 제1 비행 시간, 상기 제2 비행 시간 및 상기 제3 비행 시간 간의 상대적인 차를 이용하여 상기 제2 영역 내의 움직임을 추정하는 단계
를 포함하는 깊이 정보 추출 방법.10. The method of claim 9,
Wherein the estimating step comprises:
A first flight time for light input at a first time, a second flight time for light input prior to the first time, and a third flight time for light input after the second time are calculated Step, and
Estimating a motion in the second region using a relative difference between the first flight time, the second flight time, and the third flight time
And extracting the depth information.
Priority Applications (11)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020140011590A KR102106080B1 (en) | 2014-01-29 | 2014-01-29 | Apparatus and method for detecting depth map |
PCT/KR2015/000911 WO2015115797A1 (en) | 2014-01-29 | 2015-01-28 | Device for extracting depth information and method thereof |
JP2016549148A JP6693880B2 (en) | 2014-01-29 | 2015-01-28 | Depth information extraction device and method |
CN202010940599.2A CN112180397B (en) | 2014-01-29 | 2015-01-28 | Apparatus and method for extracting depth information |
CN201580006696.1A CN106030239B (en) | 2014-01-29 | 2015-01-28 | Apparatus and method for extracting depth information |
US15/115,159 US10338221B2 (en) | 2014-01-29 | 2015-01-28 | Device for extracting depth information and method thereof |
EP15743813.6A EP3101382A4 (en) | 2014-01-29 | 2015-01-28 | Device for extracting depth information and method thereof |
US16/424,284 US10802148B2 (en) | 2014-01-29 | 2019-05-28 | Device for extracting depth information and method thereof |
JP2020073440A JP6910499B2 (en) | 2014-01-29 | 2020-04-16 | Depth information extraction device and method |
US17/016,061 US11680789B2 (en) | 2014-01-29 | 2020-09-09 | Device for extracting depth information and method thereof |
JP2021111252A JP7237114B2 (en) | 2014-01-29 | 2021-07-05 | Depth information extractor |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020140011590A KR102106080B1 (en) | 2014-01-29 | 2014-01-29 | Apparatus and method for detecting depth map |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020200049396A Division KR102251115B1 (en) | 2020-04-23 | 2020-04-23 | Apparatus and method for detecting depth map |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20150090679A true KR20150090679A (en) | 2015-08-06 |
KR102106080B1 KR102106080B1 (en) | 2020-04-29 |
Family
ID=53885352
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020140011590A KR102106080B1 (en) | 2014-01-29 | 2014-01-29 | Apparatus and method for detecting depth map |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR102106080B1 (en) |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20100122988A (en) * | 2009-05-14 | 2010-11-24 | 삼성전자주식회사 | Method and apparatus for processing 3-dimensional image |
KR20130055088A (en) * | 2011-11-18 | 2013-05-28 | 재단법인대구경북과학기술원 | Apparatus and method for estimating 3d image based structured light pattern |
KR20140019765A (en) * | 2010-09-08 | 2014-02-17 | 마이크로소프트 코포레이션 | Depth camera based on structured light and stereo vision |
-
2014
- 2014-01-29 KR KR1020140011590A patent/KR102106080B1/en active IP Right Grant
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20100122988A (en) * | 2009-05-14 | 2010-11-24 | 삼성전자주식회사 | Method and apparatus for processing 3-dimensional image |
KR20140019765A (en) * | 2010-09-08 | 2014-02-17 | 마이크로소프트 코포레이션 | Depth camera based on structured light and stereo vision |
KR20130055088A (en) * | 2011-11-18 | 2013-05-28 | 재단법인대구경북과학기술원 | Apparatus and method for estimating 3d image based structured light pattern |
Also Published As
Publication number | Publication date |
---|---|
KR102106080B1 (en) | 2020-04-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR101613133B1 (en) | Method and apparatus for processing 3-dimensional image | |
KR102486385B1 (en) | Apparatus and method of sensing depth information | |
CN106030239B (en) | Apparatus and method for extracting depth information | |
KR101854188B1 (en) | 3D image acquisition apparatus and method of acqiring depth information in the 3D image acquisition apparatus | |
KR101652393B1 (en) | Apparatus and Method for obtaining 3D image | |
US20190129034A1 (en) | Range image generation apparatus and range image generation method | |
KR20210090134A (en) | Apparatus and method for extracting depth map | |
CN111982023B (en) | Image capturing device assembly, three-dimensional shape measuring device, and motion detecting device | |
KR20140121710A (en) | An 3D image apparatus and method for generating a depth image in the 3D image apparatus | |
KR102194237B1 (en) | Method and apparatus for generating depth image | |
EP3306345B1 (en) | Optical device and depth information generating method | |
KR20200023928A (en) | Image processing apparatus and image processing method | |
JPWO2017056776A1 (en) | Projector device with distance image acquisition device and projection method | |
KR102101865B1 (en) | Camera apparatus | |
KR101970607B1 (en) | 3-d input device | |
KR20170076477A (en) | Method and device for acquiring distance information | |
CN112740065A (en) | Enhanced depth mapping using visual inertial ranging | |
KR102307610B1 (en) | Apparatus for detecting depth map | |
KR102251115B1 (en) | Apparatus and method for detecting depth map | |
KR102101864B1 (en) | Apparatus for detecting depth map | |
EP3552044A1 (en) | Apparatus and method | |
KR102106080B1 (en) | Apparatus and method for detecting depth map | |
KR102596053B1 (en) | Image processing apparatus and image processing method | |
KR102389380B1 (en) | Apparatus and method of extracting depth information of the 3D image | |
KR102460762B1 (en) | Camera apparatus with integrated heterogeneous video |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
E902 | Notification of reason for refusal | ||
E701 | Decision to grant or registration of patent right | ||
A107 | Divisional application of patent | ||
GRNT | Written decision to grant |