KR102251115B1 - Apparatus and method for detecting depth map - Google Patents

Apparatus and method for detecting depth map Download PDF

Info

Publication number
KR102251115B1
KR102251115B1 KR1020200049396A KR20200049396A KR102251115B1 KR 102251115 B1 KR102251115 B1 KR 102251115B1 KR 1020200049396 A KR1020200049396 A KR 1020200049396A KR 20200049396 A KR20200049396 A KR 20200049396A KR 102251115 B1 KR102251115 B1 KR 102251115B1
Authority
KR
South Korea
Prior art keywords
light
unit
area
depth information
time
Prior art date
Application number
KR1020200049396A
Other languages
Korean (ko)
Other versions
KR20200047474A (en
Inventor
이명욱
이기석
한경하
Original Assignee
엘지이노텍 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지이노텍 주식회사 filed Critical 엘지이노텍 주식회사
Priority to KR1020200049396A priority Critical patent/KR102251115B1/en
Publication of KR20200047474A publication Critical patent/KR20200047474A/en
Application granted granted Critical
Publication of KR102251115B1 publication Critical patent/KR102251115B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483—Details of pulse systems
    • G01S7/486—Receivers
    • G01S7/4865—Time delay measurement, e.g. time-of-flight measurement, time of arrival measurement or determining the exact position of a peak
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/22—Measuring arrangements characterised by the use of optical techniques for measuring depth
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00—Measuring distances in line of sight; Optical rangefinders
    • G01C3/02—Details
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/481—Constructional features, e.g. arrangements of optical elements
    • G01S7/4814—Constructional features, e.g. arrangements of optical elements of transmitters alone
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483—Details of pulse systems
    • G01S7/486—Receivers
    • G01S7/4861—Circuits for detection, sampling, integration or read-out
    • G01S7/4863—Detector arrays, e.g. charge-transfer gates
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/491—Details of non-pulse systems
    • G01S7/4912—Receivers
    • G01S7/4913—Circuits for detection, sampling, integration or read-out
    • G01S7/4914—Circuits for detection, sampling, integration or read-out of detector arrays, e.g. charge-transfer gates
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/491—Details of non-pulse systems
    • G01S7/4912—Receivers
    • G01S7/4915—Time delay measurement, e.g. operational details for pixel components; Phase measurement

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Measurement Of Optical Distance (AREA)

Abstract

본 발명의 한 실시예에 따른 깊이 정보 추출 장치는 IR(InfraRed) 광을 출력하는 광 출력부, 상기 광 출력부로부터 출력된 후 물체로부터 반사된 광이 입력되는 광 입력부, 상기 물체를 포함하는 제1 영역에 광이 조사되도록 광의 각도를 조절한 후, 상기 제1 영역의 일부인 제2 영역에 광이 조사되도록 광의 각도를 조절하는 광 조절부, 그리고 상기 제2 영역에 대하여 시간에 따라 순차적으로 입력되는 광을 이용하여 상기 제2 영역 내의 움직임을 추정하는 제어부를 포함한다.An apparatus for extracting depth information according to an embodiment of the present invention includes an optical output unit for outputting IR (InfraRed) light, a light input unit for inputting light reflected from an object after being output from the light output unit, and a first including the object. After adjusting the angle of light so that the light is irradiated to the first area, a light adjusting unit that adjusts the angle of the light so that the light is radiated to the second area, which is a part of the first area, and sequentially inputs the second area according to time And a controller for estimating the motion in the second area by using the generated light.

Description

깊이 정보 추출 장치 및 방법{APPARATUS AND METHOD FOR DETECTING DEPTH MAP}Apparatus and method for extracting depth information {APPARATUS AND METHOD FOR DETECTING DEPTH MAP}

본 발명은 깊이 정보 추출에 관한 것으로, 보다 상세하게는 TOF(Time of Flight) 방식을 이용하여 깊이 정보를 추출하는 장치 및 방법에 관한 것이다.The present invention relates to depth information extraction, and more particularly, to an apparatus and method for extracting depth information using a Time of Flight (TOF) method.

촬영 장치를 이용하여 3차원 영상을 획득하는 기술이 발전하고 있다. 3차원 영상을 획득하기 위하여 깊이 정보(Depth Map)가 필요하다. 깊이 정보는 공간 상의 거리를 나타내는 정보이며, 2차원 영상의 한 지점에 대하여 다른 지점의 원근 정보를 나타낸다.A technology for obtaining a 3D image using a photographing device is developing. In order to acquire a 3D image, depth map is required. The depth information is information indicating a distance in space, and indicates perspective information of another point with respect to one point of a 2D image.

깊이 정보를 획득하는 방법 중 하나는, IR(Infrared) 구조광을 객체에 투사하며, 객체로부터 반사된 광을 해석하여 깊이 정보를 추출하는 방식이다. IR 구조광 방식에 따르면, 움직이는 객체에 대하여 원하는 수준의 깊이 분해능(Depth resolution)을 얻기 어려운 문제가 있다.One of the methods of obtaining depth information is a method of projecting IR (Infrared) structured light onto an object and analyzing the reflected light from the object to extract depth information. According to the IR structured light method, there is a problem in that it is difficult to obtain a desired level of depth resolution for a moving object.

IR 구조광 방식을 대체하는 기술로 TOF(Time of Flight) 방식이 주목받고 있다. TOF 방식에 따르면, 비행 시간, 즉 빛을 쏘아서 반사되어 오는 시간을 측정함으로써 물체와의 거리를 계산한다. As a technology that replaces the IR structured light method, the Time of Flight (TOF) method is drawing attention. According to the TOF method, the distance to the object is calculated by measuring the flight time, that is, the time that light is emitted and reflected.

일반적으로, TOF 방식에 따르는 카메라는 빛의 각도를 조절하여 물체의 전면에 빛을 조사한다. 이러한 TOF 카메라는 광효율이 낮으며, 연산량이 많은 문제가 있다.In general, a camera based on the TOF method irradiates light on the front of an object by adjusting the angle of light. Such a TOF camera has a problem with low light efficiency and a large amount of computation.

본 발명이 이루고자 하는 기술적 과제는 TOF 방식을 이용하여 깊이 정보를 추출하는 깊이 정보 추출 장치 및 방법을 제공하는 데 있다.An object of the present invention is to provide a depth information extraction apparatus and method for extracting depth information using a TOF method.

본 발명의 한 실시예에 따른 깊이 정보 추출 장치는 IR(InfraRed) 광을 출력하는 광 출력부, 상기 광 출력부로부터 출력된 후 물체로부터 반사된 IR 광이 입력되는 광 입력부, 물체를 포함하는 제1 영역에 상기 광출력부로부터 출력된 출력 IR 광이 조사되도록 상기 출력 IR 광의 조사 각도를 조절하고, 물체를 포함하는 제2 영역에 상기 출력 IR 광이 조사되도록 상기 출력 IR 광의 조사 각도를 조절하는 광 조절부, 그리고 상기 제1 영역 및 상기 제2 영역 중 적어도 하나의 물체의 깊이 정보를 추출하는 제어부를 포함하고, 상기 제어부는 상기 출력 IR 광이 상기 물체로부터 반사되어 상기 광 입력부에 입력되기까지 걸리는 비행시간을 계산한다.The depth information extraction apparatus according to an embodiment of the present invention includes an optical output unit for outputting IR (InfraRed) light, an optical input unit for inputting IR light reflected from an object after being output from the light output unit, and an object including an object. Adjusting the irradiation angle of the output IR light so that the output IR light output from the optical output unit is irradiated to the first area, and the irradiation angle of the output IR light is adjusted so that the output IR light is irradiated to the second area including an object. A light control unit, and a control unit for extracting depth information of at least one of the first region and the second region, wherein the control unit is configured until the output IR light is reflected from the object and input to the light input unit. Calculate the flight time it takes.

상기 제어부는 제1 시간에서 입력되는 IR 광을 이용하여 계산된 제1 비행 시간, 상기 제1 시간의 이전에 입력되는 IR 광을 이용하여 계산된 제2 비행 시간 및 상기 제1 시간의 이후에 입력되는 IR 광을 이용하여 계산된 제3 비행 시간 간의 상대적 차를 이용하여 상기 물체의 깊이 정보를 추출할 수 있다.The control unit inputs a first flight time calculated using IR light input at a first time, a second flight time calculated using IR light input before the first time, and after the first time The depth information of the object may be extracted using the relative difference between the third flight times calculated using the IR light.

상기 제어부는 상기 제1 비행 시간, 상기 제2 비행 시간 및 상기 제3 비행 시간 간의 상대적 차를 이용하여 상기 물체의 깊이 정보를 추출하며, 보간(interpolation) 기법을 이용하여 추정된 깊이 정보를 보상할 수 있다.The control unit extracts depth information of the object using the relative difference between the first flight time, the second flight time, and the third flight time, and compensates for the estimated depth information using an interpolation technique. I can.

상기 제어부는 상기 출력 IR 광이 상기 제2 영역 내 물체로부터 반사되어 상기 광 입력부에 입력되기까지 걸리는 비행시간을 계산할 수 있다. The control unit may calculate a flight time until the output IR light is reflected from the object in the second area and input to the light input unit.

상기 제1 영역의 면적은 상기 제2 영역의 면적과 다를 수 있다. The area of the first area may be different from the area of the second area.

상기 제1 영역의 면적은 상기 제2 영역의 면적보다 넓을 수 있다.An area of the first area may be larger than an area of the second area.

상기 광 입력부는 각각이 제1 수신 유닛 및 제2 수신 유닛을 포함하는 복수의 픽셀을 포함하며, 상기 제어부는 상기 제1 수신 유닛 및 상기 제2 수신 유닛에 입력되는 광량의 차를 이용하여 비행 시간을 계산할 수 있다. The light input unit includes a plurality of pixels each including a first receiving unit and a second receiving unit, and the control unit uses a difference in the amount of light input to the first receiving unit and the second receiving unit to determine a flight time. Can be calculated.

상기 제1 수신 유닛 및 상기 제2 수신 유닛은 시간 차를 두고 활성화될 수 있다. The first receiving unit and the second receiving unit may be activated with a time difference.

상기 제1 수신 유닛 및 상기 제2 수신 유닛은 상기 광 출력부에 포함되는 광원의 점멸 주기와 연동하여 활성화될 수 있다.The first receiving unit and the second receiving unit may be activated in association with a flashing period of a light source included in the light output unit.

상기 제1 수신 유닛은 상기 광원이 켜지는 동안 활성화되고, 상기 제2 수신 유닛은 상기 광원이 꺼지는 동안 활성화될 수 있다. The first receiving unit may be activated while the light source is turned on, and the second receiving unit may be activated while the light source is turned off.

상기 광 조절부는 MEMS(Micro Electo Mechanical System) 및 MEMS 제어 유닛을 포함할 수 있다.The light control unit may include a MEMS (Micro Electo Mechanical System) and a MEMS control unit.

상기 제어부는, 상기 광 출력부, 상기 광 조절부 및 상기 광 입력부의 시간을 제어하는 타이밍 제어 유닛, 상기 광 입력부를 통하여 입력된 전기 신호를 디지털 신호로 변환하는 변환 유닛, 그리고 상기 제1 영역 또는 상기 제2 영역에 대하여 시간에 따라 순차적으로 입력되는 광의 비행 시간을 계산하고, 움직임을 추정하며, 깊이 정보를 추출하는 신호 처리 유닛을 포함할 수 있다.The control unit may include a timing control unit for controlling time of the light output unit, the light adjustment unit, and the light input unit, a conversion unit for converting an electric signal input through the light input unit into a digital signal, and the first region or It may include a signal processing unit that calculates a flight time of light sequentially input to the second region according to time, estimates motion, and extracts depth information.

본 발명의 다른 실시예에 따른 깊이 정보 추출 장치는 IR(InfraRed) 광을 출력하는 광 출력부, 상기 광 출력부로부터 출력된 후 물체로부터 반사된 IR 광이 입력되는 광 입력부, 상기 광출력부로부터 출력된 출력 IR 광이 상기 물체로부터 반사되어 상기 광 입력부에 입력되기까지 걸리는 비행시간을 이용하여 상기 물체의 깊이 정보를 추출하는 제어부를 포함하고, 상기 제어부는 제1 시간에서 입력되는 IR 광을 이용하여 계산된 제1 비행 시간, 상기 제1 시간의 이전에 입력되는 IR 광을 이용하여 계산된 제2 비행 시간 및 상기 제1 시간의 이후에 입력되는 IR 광을 이용하여 계산된 제3 비행 시간 간의 상대적 차를 이용하여 상기 물체의 깊이 정보를 추출한다.An apparatus for extracting depth information according to another embodiment of the present invention includes an optical output unit for outputting IR (InfraRed) light, an optical input unit for inputting IR light reflected from an object after being output from the light output unit, and from the optical output unit. And a control unit for extracting depth information of the object using a flight time taken until the output IR light is reflected from the object and input to the light input unit, and the control unit uses the IR light input at the first time. Between the calculated first flight time, the second flight time calculated using the IR light input before the first time, and the third flight time calculated using the IR light input after the first time The depth information of the object is extracted by using the relative difference.

본 발명의 실시예에 따르면, 연산량이 적으며, 깊이 분해능이 우수한 깊이 정보 추출 장치를 얻을 수 있다. 이에 따라, 깊이 정보 추출 장치의 소비 전력을 줄일 수 있으며, 물체의 거리를 정밀하게 추출할 수 있다. According to an embodiment of the present invention, it is possible to obtain a depth information extracting apparatus that has a small amount of calculation and has excellent depth resolution. Accordingly, power consumption of the depth information extraction apparatus can be reduced, and the distance of an object can be accurately extracted.

도 1은 본 발명의 한 실시예에 따른 깊이 정보 추출 시스템의 블록도를 나타낸다.
도 2는 본 발명의 한 실시예에 따른 깊이 정보 추출 장치의 광 입력부의 구조를 나타낸다.
도 3은 본 발명의 한 실시예에 따른 깊이 정보 추출 장치의 깊이 정보 추출 원리를 나타낸다.
도 4는 시간에 따라 순차적으로 촬영된 전체 영역 및 부분 영역을 나타낸다.
도 5 내지 6은 본 발명의 한 실시예에 따른 깊이 정보 추출 장치의 깊이 정보 추출 방법을 나타내는 흐름도 및 순서도이다.1 is a block diagram of a system for extracting depth information according to an embodiment of the present invention.
2 shows a structure of an optical input unit of an apparatus for extracting depth information according to an embodiment of the present invention.
3 shows a principle of extracting depth information by an apparatus for extracting depth information according to an embodiment of the present invention.
4 shows a whole area and a partial area sequentially photographed over time.
5 to 6 are flowcharts and flowcharts illustrating a method of extracting depth information by an apparatus for extracting depth information according to an embodiment of the present invention.

본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. The present invention is intended to illustrate and describe specific embodiments in the drawings, as various changes may be made and various embodiments may be provided. However, this is not intended to limit the present invention to a specific embodiment, it should be understood to include all changes, equivalents, and substitutes included in the spirit and scope of the present invention.

제2, 제1 등과 같이 서수를 포함하는 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되지는 않는다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제2 구성요소는 제1 구성요소로 명명될 수 있고, 유사하게 제1 구성요소도 제2 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다. Terms including ordinal numbers such as second and first may be used to describe various elements, but the elements are not limited by the terms. The above terms are used only for the purpose of distinguishing one component from another component. For example, without departing from the scope of the present invention, the second element may be referred to as the first element, and similarly, the first element may be referred to as the second element. The term and/or includes a combination of a plurality of related listed items or any of a plurality of related listed items.

어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다. When a component is referred to as being "connected" or "connected" to another component, it is understood that it may be directly connected or connected to the other component, but other components may exist in the middle. It should be. On the other hand, when a component is referred to as being "directly connected" or "directly connected" to another component, it should be understood that there is no other component in the middle.

본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.The terms used in the present application are only used to describe specific embodiments, and are not intended to limit the present invention. Singular expressions include plural expressions unless the context clearly indicates otherwise. In the present application, terms such as "comprise" or "have" are intended to designate the presence of features, numbers, steps, actions, components, parts, or combinations thereof described in the specification, but one or more other features. It is to be understood that the presence or addition of elements or numbers, steps, actions, components, parts, or combinations thereof does not preclude in advance.

다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.Unless otherwise defined, all terms used herein including technical or scientific terms have the same meaning as commonly understood by one of ordinary skill in the art to which the present invention belongs. Terms as defined in a commonly used dictionary should be interpreted as having a meaning consistent with the meaning in the context of the related technology, and should not be interpreted as an ideal or excessively formal meaning unless explicitly defined in the present application. Does not.

이하, 첨부된 도면을 참조하여 실시예를 상세히 설명하되, 도면 부호에 관계없이 동일하거나 대응하는 구성 요소는 동일한 참조 번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.Hereinafter, exemplary embodiments will be described in detail with reference to the accompanying drawings, but identical or corresponding components are denoted by the same reference numerals regardless of reference numerals, and redundant descriptions thereof will be omitted.

도 1은 본 발명의 한 실시예에 따른 깊이 정보 추출 시스템의 블록도를 나타내고, 도 2는 본 발명의 한 실시예에 따른 깊이 정보 추출 장치의 광 입력부의 구조를 나타내며, 도 3은 본 발명의 한 실시예에 따른 깊이 정보 추출 장치의 깊이 정보 추출 원리를 나타낸다.1 shows a block diagram of a depth information extraction system according to an embodiment of the present invention, FIG. 2 shows a structure of an optical input unit of an apparatus for extracting depth information according to an embodiment of the present invention, and FIG. A principle of extracting depth information by an apparatus for extracting depth information according to an embodiment is shown.

도 1을 참조하면, 깊이 정보 추출 시스템은 깊이 정보 추출 장치(100) 및 PC(200)를 포함한다. Referring to FIG. 1, the depth information extraction system includes a depth information extraction apparatus 100 and a PC 200.

깊이 정보 추출 장치(100)는 광 출력부(110), 광 조절부(120), 광 입력부(130) 및 제어부(140)를 포함한다.The depth information extraction apparatus 100 includes a light output unit 110, a light control unit 120, a light input unit 130, and a control unit 140.

광 출력부(110)는 IR(infrared) 광을 출력한다. IR 광은, 예를 들면 800nm 이상의 파장 대역을 가지는 광일 수 있다. 광 출력부(110)는 광원(112) 및 광 변환 유닛(114)을 포함한다. 광원은 적외선을 투사하는 적어도 하나의 레이저 다이오드(Laser Diode) 또는 발광 다이오드(Light Emitting Diode, LED)를 포함할 수 있다. 그리고, 광 변환 유닛(114)은 광원(112)으로부터 출력된 광을 변조(modulation)할 수 있다. 광 변환 유닛(114)은, 예를 들면 광원(112)으로부터 출력된 광을 펄스(pulse) 변조 또는 위상(phase) 변조할 수 있다. 이에 따라, 광 출력부(110)는 소정 간격으로 광원을 점멸시키며 출력할 수 있다.The light output unit 110 outputs infrared (IR) light. IR light may be, for example, light having a wavelength band of 800 nm or more. The light output unit 110 includes a light source 112 and a light conversion unit 114. The light source may include at least one laser diode or a light emitting diode (LED) that projects infrared rays. In addition, the light conversion unit 114 may modulate the light output from the light source 112. The light conversion unit 114 may, for example, pulse-modulate or phase-modulate the light output from the light source 112. Accordingly, the light output unit 110 may flash and output the light source at predetermined intervals.

광 조절부(120)는 물체를 포함하는 영역에 광이 조사되도록 광의 각도를 조절한다. 이를 위하여, 광 조절부(120)는 MEMS(Micro Electo Mechanical System, 122) 및 MEMS 제어 유닛(124)을 포함할 수 있다.The light adjustment unit 120 adjusts the angle of light so that the light is irradiated to the area including the object. To this end, the light control unit 120 may include a Micro Electro Mechanical System (MEMS) 122 and a MEMS control unit 124.

광 조절부(120)는 물체를 포함하는 전체 영역에 광이 조사되도록 광의 각도를 조절할 수 있다. 예를 들어 도 4(a)와 같이, 사람을 포함하는 전체 영역에 광이 조사되도록 광의 각도를 조절할 수 있다. 이에 따라, 광 출력부(110)로부터 출력된 광은 전체 영역을 픽셀 또는 라인 단위로 스캔할 수 있다. 그리고, 광 조절부(120)는 전체 영역의 일부인 부분 영역에 광이 조사되도록 광의 각도를 조절할 수도 있다. 예를 들어, 도 4(b)와 같이, 전체 영역 중 손을 포함하는 부분 영역에 광이 조사되도록 광의 각도를 조절할 수 있다. 이에 따라, 광 출력부(110)로부터 출력된 광은 부분 영역만을 픽셀 또는 라인 단위로 스캔할 수 있다.The light adjustment unit 120 may adjust the angle of light so that the light is irradiated to the entire area including the object. For example, as shown in FIG. 4(a), the angle of light may be adjusted so that the light is irradiated to the entire area including a person. Accordingly, the light output from the light output unit 110 may scan the entire area in units of pixels or lines. In addition, the light adjusting unit 120 may adjust the angle of light so that the light is irradiated to a partial area that is a part of the entire area. For example, as shown in FIG. 4(b), the angle of light may be adjusted so that the light is irradiated to a partial area including the hand of the entire area. Accordingly, the light output from the light output unit 110 may scan only a partial region in units of pixels or lines.

한편, 광 입력부(130)는 광 출력부(110)로부터 출력된 후 물체에 의하여 반사된 광을 입력 받는다. 광 입력부(130)는 입력 받은 광을 전기 신호로 변환할 수 있다. 광 입력부(130)는, 포토 다이오드(photo diode, PD) 또는 CMOS(complementary metal-oxide semiconductor)를 포함하는 이미지 센서일 수 있다. 도 2와 같이, 광 입력부(130)는 배열된 복수의 픽셀(pixel)(132)을 포함할 수 있다. 각 픽셀은 In Phase 수신 유닛(132-1) 및 Out Phase 수신 유닛(132-2)을 포함할 수 있다. Meanwhile, the light input unit 130 receives light reflected by an object after being output from the light output unit 110. The light input unit 130 may convert the received light into an electric signal. The light input unit 130 may be an image sensor including a photo diode (PD) or a complementary metal-oxide semiconductor (CMOS). As shown in FIG. 2, the light input unit 130 may include a plurality of pixels 132 arranged. Each pixel may include an In Phase receiving unit 132-1 and an Out Phase receiving unit 132-2.

제어부(140)는 깊이 정보 추출 장치(100)를 전반적으로 제어하며, 깊이 정보를 추출한다. 제어부(140)는 컨트롤러 칩(controller chip)으로 구현될 수 있다. 제어부(140)는 타이밍 제어 유닛(142), 변환 유닛(144), 신호 처리 유닛(146) 및 인터페이스 컨트롤러(148)을 포함할 수 있다. 타이밍 제어 유닛(142)은 광 출력부(110), 광 조절부(120), 광 입력부(130)의 시간을 제어한다. 예를 들어, 타이밍 제어 유닛(142)은 광 출력부(110)의 점멸 주기를 제어할 수 있다. 변환 유닛(144)은 광 입력부(130)를 통하여 입력된 전기 신호를 디지털 신호로 변환한다. The controller 140 controls the depth information extraction apparatus 100 as a whole and extracts depth information. The controller 140 may be implemented as a controller chip. The control unit 140 may include a timing control unit 142, a conversion unit 144, a signal processing unit 146, and an interface controller 148. The timing control unit 142 controls the time of the light output unit 110, the light control unit 120, and the light input unit 130. For example, the timing control unit 142 may control the blinking period of the light output unit 110. The conversion unit 144 converts the electric signal input through the optical input unit 130 into a digital signal.

그리고, 신호 처리 유닛(146)은 부분 영역에 대하여 시간에 따라 순차적으로 입력되는 광의 비행 시간을 계산하고, 움직임을 추정하며, 깊이 정보를 추출한다. 이때, 광의 비행 시간은 In Phase 수신 유닛(132-1) 및 Out Phase 수신 유닛(132-2)에 입력된 광량의 차를 이용하여 계산될 수 있다. 즉, 도 3과 같이, In Phase 수신 유닛(132-1)은 광원이 켜지는 동안 활성화되고, Out Phase 수신 유닛(132-2)은 광원이 꺼지는 동안 활성화될 수 있다. 이와 같이, In Phase 수신 유닛(132-1) 및 Out Phase 수신 유닛(132-2)이 시간 차를 두고 활성화되면, 광의 비행 시간, 즉 물체와의 거리에 따라 수신되는 광량에 차이가 발생하게 된다. 예를 들어, 물체가 깊이 정보 추출 장치 바로 앞에 있는 경우(즉, 거리=0인 경우)에는, 광 출력부(110)로부터 광이 출력된 후 반사되어 오는데 걸리는 시간이 0이므로, 광원의 점멸 주기는 그대로 광의 수신 주기가 된다. 이에 따라, In Phase 수신 유닛(132-1)만이 빛을 수신하게 되고, Out Phase 수신 유닛(132-2)은 빛을 수신하지 못하게 된다. 다른 예로, 물체가 깊이 정보 추출 장치와 소정 거리 떨어져 위치하는 경우, 광 출력부(110)로부터 광이 출력된 후 물체에 반사되어 오는데 시간이 걸리므로, 광원의 점멸 주기는 광의 수신 주기와 차이가 나게 된다. 이에 따라, In Phase 수신 유닛(132-1)과 Out Phase 수신 유닛(132-2)이 수신하는 빛의 양에 차이가 발생하게 된다.In addition, the signal processing unit 146 calculates the flight time of light sequentially input to the partial region according to time, estimates motion, and extracts depth information. At this time, the flight time of the light may be calculated using the difference between the amount of light input to the In Phase receiving unit 132-1 and the Out Phase receiving unit 132-2. That is, as shown in FIG. 3, the In Phase receiving unit 132-1 may be activated while the light source is turned on, and the Out Phase receiving unit 132-2 may be activated while the light source is turned off. In this way, when the in-phase receiving unit 132-1 and the out-phase receiving unit 132-2 are activated with a time difference, a difference occurs in the amount of received light according to the flight time of the light, that is, the distance to the object. . For example, if the object is in front of the depth information extraction device (i.e., when the distance is 0), the time it takes for the light to be reflected after the light is output from the light output unit 110 is 0, so the blinking period of the light source Is the light reception cycle as it is. Accordingly, only the in-phase receiving unit 132-1 receives light, and the out-phase receiving unit 132-2 cannot receive the light. As another example, when the object is located a predetermined distance away from the depth information extraction device, since it takes time to be reflected off the object after the light is output from the light output unit 110, the blinking period of the light source is different from the light reception period. I will. Accordingly, a difference occurs in the amount of light received by the in phase receiving unit 132-1 and the out phase receiving unit 132-2.

인터페이스 컨트롤러(148)는 PC(200) 등의 미들웨어와의 인터페이스를 제어한다. 예를 들어, 인터페이스 컨트롤러(148)는 전체 영역을 조사한 후 광 입력부(130)를 통하여 입력된 광에 대한 정보를 PC(200) 등 미들웨어로 전달할 수 있다. 그리고, PC(200) 등 미들웨어에 의하여 추출된 부분 영역에 대한 정보를 PC(200) 등 미들웨어로부터 수신한 후 광 조절부(120) 등에 전달할 수 있다.The interface controller 148 controls an interface with middleware such as the PC 200. For example, the interface controller 148 may transmit information on light input through the light input unit 130 to middleware such as the PC 200 after irradiating the entire area. In addition, information on the partial region extracted by the middleware such as the PC 200 may be received from the middleware such as the PC 200 and then transmitted to the light control unit 120 or the like.

도 5 내지 6은 본 발명의 한 실시예에 따른 깊이 정보 추출 장치의 깊이 정보 추출 방법을 나타내는 흐름도 및 순서도이다. 도 1 내지 3과 중복된 내용은 설명을 생략한다.5 to 6 are flowcharts and flowcharts illustrating a method of extracting depth information by an apparatus for extracting depth information according to an embodiment of the present invention. Descriptions of the content overlapping with those of FIGS. 1 to 3 will be omitted.

도 5를 참조하면, 깊이 정보 추출 장치(100)의 광 출력부(110)는 IR 광을 출력하며(S500), 출력된 광은 광 조절부(120)의 조절에 의하여 물체를 포함하는 전체 영역을 조사한다(S502).Referring to FIG. 5, the light output unit 110 of the depth information extraction device 100 outputs IR light (S500), and the output light is the entire area including the object by adjustment of the light control unit 120. Is investigated (S502).

그리고, 광 입력부(130)를 통하여 물체부로부터 반사된 광이 입력되며(S504), 제어부(140)는 광 입력부(130)로부터 수신한 아날로그 신호를 디지털 신호로 변환한 후(S506), PC(200)에게 전달한다(S508). Then, the light reflected from the object portion is input through the optical input unit 130 (S504), and the controller 140 converts the analog signal received from the optical input unit 130 into a digital signal (S506), and then the PC ( 200) (S508).

PC(200)는 깊이 정보 추출 장치(100)로부터 수신한 신호를 이용하여 전체 영역 내의 부분 영역을 추출한다(S510). 부분 영역은 응용 애플리케이션을 구현하기 위하여 필요한 관심 대상을 포함하는 영역일 수 있다. 예를 들어, 응용 애플리케이션이 손가락의 제스쳐에 따라 TV 채널을 변경하는 경우, 전체 영역이 사람의 전신을 포함한다면, 부분 영역은 손가락만을 포함할 수 있다. The PC 200 extracts a partial area within the entire area by using the signal received from the depth information extraction apparatus 100 (S510). The partial area may be an area including an object of interest required to implement an application application. For example, when an application application changes a TV channel according to a gesture of a finger, if the entire area includes the whole body of a person, the partial area may include only the finger.

PC(200)는 추출한 부분 영역에 관한 정보를 깊이 정보 추출 장치(100)에게 전달한다(S512).The PC 200 transmits the information on the extracted partial region to the depth information extraction apparatus 100 (S512).

한편, 깊이 정보 추출 장치(100)의 광 출력부(110)는 IR 광을 출력하며(S514), 출력된 광은 광 조절부(120)의 조절에 의하여 전체 영역으로부터 추출된 부분 영역만을 조사한다(S516). Meanwhile, the light output unit 110 of the depth information extraction device 100 outputs IR light (S514), and the output light irradiates only a partial area extracted from the entire area by the control of the light control unit 120. (S516).

그리고, 광 입력부(130)를 통하여 물체부로부터 반사된 광이 입력되며(S518), 제어부(140)는 광 입력부(130)로부터 수신한 아날로그 신호를 디지털 신호로 변환하고(S520), 신호 처리하여 깊이 정보를 추출한다(S522).Then, the light reflected from the object unit is input through the light input unit 130 (S518), and the control unit 140 converts the analog signal received from the light input unit 130 into a digital signal (S520), and processes the signal. Depth information is extracted (S522).

본 발명의 한 실시예에 따르면, 깊이 정보 추출 장치(100)는 전체 영역을 1회 스캔할 수 있는 시간 동안 부분 영역을 수회 스캔할 수 있다. 이에 딸, 단계 S514 내지 단계 S520이 수회 반복되며, 단계 S522에서는 수회 반복된 결과를 이용하여 깊이 정보의 정밀도를 높일 수 있다. 이에 대하여 도 6을 참고로 상세히 설명한다.According to an embodiment of the present invention, the depth information extraction apparatus 100 may scan a partial area several times during a time during which the entire area can be scanned once. Accordingly, steps S514 to S520 are repeated several times, and in step S522, the precision of depth information may be improved by using the repeated results several times. This will be described in detail with reference to FIG. 6.

도 6을 참고하면, 깊이 정보 추출 장치의 제어부(140)는 부분 영역에 대하여 시간 T1에서 광 입력부(130)를 통하여 입력된 광의 비행 시간을 계산하고(S600), T2에서 광 입력부(130)를 통하여 입력된 광의 비행 시간을 계산하며(S602), T3에서 광 입력부(130)를 통하여 입력된 광의 비행 시간을 계산한다(S604). 여기서, T1, T2, T3는 서로 동일한 시간 간격을 가질 수 있으며, 도 5에서의 단계 S514 내지 단계 S520이 T1, T2, T3에서 각각 반복될 수 있다. 광의 비행 시간은 도 3에서 설명한 바와 같이, 광 입력부의 픽셀 내의 In Phase 수신 유닛과 Out Phase 수신 유닛 간의 광량의 차에 의하여 계산될 수 있다.Referring to FIG. 6, the control unit 140 of the depth information extraction apparatus calculates the flight time of the light input through the light input unit 130 at a time T1 for a partial region (S600), and performs the light input unit 130 at T2. The flight time of the light input through is calculated (S602), and the flight time of the light input through the light input unit 130 is calculated at T3 (S604). Here, T1, T2, and T3 may have the same time interval, and steps S514 to S520 in FIG. 5 may be repeated at T1, T2, and T3, respectively. As described with reference to FIG. 3, the flight time of light may be calculated by a difference in the amount of light between the in-phase receiving unit and the out-phase receiving unit in a pixel of the light input unit.

그리고, 제어부(140)는 시간 T1 내지 시간 T3에서의 비행 시간에 기초하여 부분 영역의 움직임을 추정(motion estimation)하고(S606), 움직임 추정 결과에 따라 깊이 정보를 추출한다(S608). 이때, 움직임 추정 및 깊이 정보 추출 과정은 슈퍼 레졸루션 알고리즘(Super Resolution(SR) Algorithm)에 따라 수행될 수 있다. 즉, 도 4(b)와 같이, T1 내지 Tn에서의 부분 영역을 촬영한 후, 각각의 비행 시간을 계산하여, 시간에 따른 상대적인 움직임을 추정할 수 있다. 그리고, 추정된 움직임은 보간(Interpolation) 기법에 의하여 보정된 후, 복원(restoration) 되며, 노이즈 제거(noise reduction) 될 수 있다.Further, the control unit 140 estimates motion of the partial region based on the flight time at time T1 to time T3 (S606), and extracts depth information according to the motion estimation result (S608). In this case, the process of motion estimation and depth information extraction may be performed according to a Super Resolution (SR) Algorithm. That is, as shown in FIG. 4(b), after photographing a partial region in T1 to Tn, each flight time may be calculated to estimate a relative motion over time. In addition, the estimated motion may be corrected by an interpolation technique and then restored, and noise reduction may be performed.

이와 같이, 전체 영역으로부터 부분 영역을 검출하고, 부분 영역에 대한 깊이 정보를 추출하면, 계산 복잡도를 줄일 수 있다. 또한, 부분 영역에 대하여 시간에 따라 순차적으로 입력되는 정보에 대한 상대적인 차이를 이용하여 움직임 정보를 추정하므로, 높은 깊이 분해능을 얻을 수 있다. 또한, 전체 영역을 1회 스캔하는 시간동안 부분 영역을 수회 스캔할 수 있으므로, 깊이 정보 추출의 시간 및 계산 복잡도를 줄일 수 있다. In this way, by detecting a partial region from the entire region and extracting depth information on the partial region, it is possible to reduce computational complexity. In addition, since motion information is estimated using a relative difference between information sequentially inputted over time for a partial region, a high depth resolution can be obtained. In addition, since the partial area can be scanned several times during the time of scanning the entire area once, it is possible to reduce the time and computational complexity of extracting depth information.

상기에서는 본 발명의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.Although the above has been described with reference to preferred embodiments of the present invention, those skilled in the art will variously modify and change the present invention within the scope not departing from the spirit and scope of the present invention described in the following claims. You will understand that you can do it.

100: 깊이 정보 추출 장치
110: 광 출력부
120: 광 조절부
130: 광 입력부
140: 제어부100: depth information extraction device
110: optical output unit
120: light control unit
130: optical input unit
140: control unit

Claims (13)

IR(InfraRed) 광을 출력하는 광 출력부,
상기 광 출력부로부터 출력된 후 물체로부터 반사된 IR 광이 입력되는 광 입력부,
물체를 포함하는 제1 영역에 상기 광 출력부로부터 출력된 출력 IR 광이 조사되도록 상기 출력 IR 광의 조사 각도를 조절하고, 물체를 포함하는 제2 영역에 상기 출력 IR 광이 조사되도록 상기 출력 IR 광의 조사 각도를 조절하는 광 조절부, 그리고
상기 제1 영역 및 상기 제2 영역 중 적어도 하나의 물체의 깊이 정보를 추출하는 제어부를 포함하고,
상기 제어부는 상기 출력 IR 광이 상기 물체로부터 반사되어 상기 광 입력부에 입력되기까지 걸리는 비행시간을 계산하고,
상기 제어부는 제1 시간에서 입력되는 IR 광을 이용하여 계산된 제1 비행시간, 제2 시간에서 입력되는 IR 광을 이용하여 계산된 제2 비행시간 및 제3 시간에서 입력되는 IR 광을 이용하여 계산된 제3 비행시간의 상대적 차를 이용하여 보간(interpolation) 기법으로 슈퍼 레졸루션(super resolution, SR)하여 상기 제2 영역 내 물체의 깊이 정보를 추출하며, 상기 제1 시간, 상기 제2 시간 및 상기 제3 시간은 동일한 시간 간격을 가지는 깊이 정보 추출 장치. Light output unit that outputs IR (InfraRed) light,
A light input unit into which IR light reflected from an object is input after being output from the light output unit,
Adjust the irradiation angle of the output IR light so that the output IR light output from the light output unit is irradiated to the first area including the object, and the output IR light is radiated to the second area including the object. A light control unit that adjusts the irradiation angle, and
And a control unit for extracting depth information of at least one of the first area and the second area,
The control unit calculates a flight time taken until the output IR light is reflected from the object and input to the light input unit,
The control unit uses the first flight time calculated using the IR light input at the first time, the second flight time calculated using the IR light input at the second time, and the IR light input at the third time. The depth information of the object in the second area is extracted by super resolution (SR) using an interpolation technique using the calculated relative difference of the third flight time, and the first time, the second time, and The third time is a depth information extracting apparatus having the same time interval. 삭제delete 삭제delete 제1항에 있어서,
상기 제어부는 상기 출력 IR 광이 상기 제2 영역 내 물체로부터 반사되어 상기 광 입력부에 입력되기까지 걸리는 비행시간을 계산하는 깊이 정보 추출 장치. The method of claim 1,
The control unit calculates a flight time for the output IR light to be reflected from the object in the second area and input to the light input unit. 제1항에 있어서,
상기 제1 영역의 면적은 상기 제2 영역의 면적과 다른 깊이 정보 추출 장치. The method of claim 1,
An apparatus for extracting depth information in which an area of the first area is different from an area of the second area. 제5항에 있어서,
상기 제1 영역의 면적은 상기 제2 영역의 면적보다 넓은 깊이 정보 추출 장치.The method of claim 5,
An apparatus for extracting depth information in which an area of the first area is larger than an area of the second area. 제1항에 있어서,
상기 광 입력부는 각각이 제1 수신 유닛 및 제2 수신 유닛을 포함하는 복수의 픽셀을 포함하며,
상기 제어부는 상기 제1 수신 유닛 및 상기 제2 수신 유닛에 입력되는 광량의 차를 이용하여 비행 시간을 계산하는 깊이 정보 추출 장치. The method of claim 1,
The optical input unit includes a plurality of pixels each including a first receiving unit and a second receiving unit,
The control unit is a depth information extraction device for calculating a flight time by using a difference between the amount of light input to the first receiving unit and the second receiving unit. 제7항에 있어서,
상기 제1 수신 유닛 및 상기 제2 수신 유닛은 시간 차를 두고 활성화되는 깊이 정보 추출 장치. The method of claim 7,
The first receiving unit and the second receiving unit are activated with a time difference. 제8항에 있어서,
상기 제1 수신 유닛 및 상기 제2 수신 유닛은 상기 광 출력부에 포함되는 광원의 점멸 주기와 연동하여 활성화되는 깊이 정보 추출 장치. The method of claim 8,
The first receiving unit and the second receiving unit is a depth information extraction device that is activated in conjunction with a blinking period of a light source included in the light output unit. 제9항에 있어서,
상기 제1 수신 유닛은 상기 광원이 켜지는 동안 활성화되고, 상기 제2 수신 유닛은 상기 광원이 꺼지는 동안 활성화되는 깊이 정보 추출 장치. The method of claim 9,
The first receiving unit is activated while the light source is turned on, and the second receiving unit is activated while the light source is turned off. 제1항에 있어서,
상기 광 조절부는 MEMS(Micro Electo Mechanical System) 및 MEMS 제어 유닛을 포함하는 깊이 정보 추출 장치.The method of claim 1,
The optical control unit MEMS (Micro Electo Mechanical System) and a depth information extraction device including a MEMS control unit. 제1항에 있어서,
상기 제어부는,
상기 광 출력부, 상기 광 조절부 및 상기 광 입력부의 시간을 제어하는 타이밍 제어 유닛,
상기 광 입력부를 통하여 입력된 전기 신호를 디지털 신호로 변환하는 변환 유닛, 그리고
상기 제1 영역 또는 상기 제2 영역에 대하여 시간에 따라 순차적으로 입력되는 광의 비행 시간을 계산하고, 움직임을 추정하며, 깊이 정보를 추출하는 신호 처리 유닛
을 포함하는 깊이 정보 추출 장치.The method of claim 1,
The control unit,
A timing control unit for controlling time of the light output unit, the light control unit, and the light input unit,
A conversion unit for converting an electrical signal input through the optical input unit into a digital signal, and
A signal processing unit that calculates a flight time of light sequentially input to the first region or the second region according to time, estimates motion, and extracts depth information
Depth information extraction device comprising a. 삭제delete
KR1020200049396A 2020-04-23 2020-04-23 Apparatus and method for detecting depth map KR102251115B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200049396A KR102251115B1 (en) 2020-04-23 2020-04-23 Apparatus and method for detecting depth map

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200049396A KR102251115B1 (en) 2020-04-23 2020-04-23 Apparatus and method for detecting depth map

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020140011590A Division KR102106080B1 (en) 2014-01-29 2014-01-29 Apparatus and method for detecting depth map

Publications (2)

Publication Number Publication Date
KR20200047474A KR20200047474A (en) 2020-05-07
KR102251115B1 true KR102251115B1 (en) 2021-05-13

Family

ID=70733440

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200049396A KR102251115B1 (en) 2020-04-23 2020-04-23 Apparatus and method for detecting depth map

Country Status (1)

Country Link
KR (1) KR102251115B1 (en)

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101613133B1 (en) * 2009-05-14 2016-04-18 삼성전자주식회사 Method and apparatus for processing 3-dimensional image
KR101590767B1 (en) * 2009-06-09 2016-02-03 삼성전자주식회사 Image processing apparatus and method
US8587771B2 (en) * 2010-07-16 2013-11-19 Microsoft Corporation Method and system for multi-phase dynamic calibration of three-dimensional (3D) sensors in a time-of-flight system
KR101697519B1 (en) * 2010-09-08 2017-01-19 삼성전자주식회사 Apparatus and method for depth sending
KR101863626B1 (en) * 2011-11-02 2018-07-06 삼성전자주식회사 Image processing apparatus and method
KR101896307B1 (en) * 2012-01-10 2018-09-10 삼성전자주식회사 Method and apparatus for processing depth image
KR101862199B1 (en) * 2012-02-29 2018-05-29 삼성전자주식회사 Method and Fusion system of time-of-flight camera and stereo camera for reliable wide range depth acquisition
KR102038533B1 (en) * 2012-06-14 2019-10-31 한국전자통신연구원 Laser Radar System and Method for Acquiring Target Image

Also Published As

Publication number Publication date
KR20200047474A (en) 2020-05-07

Similar Documents

Publication Publication Date Title
US11680789B2 (en) Device for extracting depth information and method thereof
KR101613133B1 (en) Method and apparatus for processing 3-dimensional image
KR102486385B1 (en) Apparatus and method of sensing depth information
KR101652393B1 (en) Apparatus and Method for obtaining 3D image
US20190129034A1 (en) Range image generation apparatus and range image generation method
WO2006061572A1 (en) Surface profile measurement
KR102194237B1 (en) Method and apparatus for generating depth image
KR20200023928A (en) Image processing apparatus and image processing method
JP2008128792A (en) Distance image producing device and method
JP2015175644A (en) Ranging system, information processing device, information processing method, and program
WO2017056776A1 (en) Projector device equipped with distance image acquisition device and projection method
CN113366383B (en) Camera device and automatic focusing method thereof
KR102101865B1 (en) Camera apparatus
US10497141B2 (en) Three-dimensional imaging using frequency domain-based processing
CN108370435B (en) Vehicle image acquisition device, and vehicle including vehicle image acquisition device
KR20170076477A (en) Method and device for acquiring distance information
KR101970607B1 (en) 3-d input device
KR102251115B1 (en) Apparatus and method for detecting depth map
KR102307610B1 (en) Apparatus for detecting depth map
KR102101864B1 (en) Apparatus for detecting depth map
KR102106080B1 (en) Apparatus and method for detecting depth map
US11610339B2 (en) Imaging processing apparatus and method extracting a second RGB ToF feature points having a correlation between the first RGB and TOF feature points
KR20150010230A (en) Method and apparatus for generating color image and depth image of an object using singular filter
KR102389380B1 (en) Apparatus and method of extracting depth information of the 3D image
KR102460762B1 (en) Camera apparatus with integrated heterogeneous video

Legal Events

Date Code Title Description
A107 Divisional application of patent
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right