KR20120073861A - 깊이 영상 생성 장치 및 방법 - Google Patents

깊이 영상 생성 장치 및 방법 Download PDF

Info

Publication number
KR20120073861A
KR20120073861A KR1020100135758A KR20100135758A KR20120073861A KR 20120073861 A KR20120073861 A KR 20120073861A KR 1020100135758 A KR1020100135758 A KR 1020100135758A KR 20100135758 A KR20100135758 A KR 20100135758A KR 20120073861 A KR20120073861 A KR 20120073861A
Authority
KR
South Korea
Prior art keywords
wavelength band
depth image
infrared
image generating
threshold
Prior art date
Application number
KR1020100135758A
Other languages
English (en)
Other versions
KR101686079B1 (ko
Inventor
김성철
임화섭
카소우아마드라메즈
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020100135758A priority Critical patent/KR101686079B1/ko
Priority to US13/067,390 priority patent/US9258548B2/en
Publication of KR20120073861A publication Critical patent/KR20120073861A/ko
Application granted granted Critical
Publication of KR101686079B1 publication Critical patent/KR101686079B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/254—Image signal generators using stereoscopic image cameras in combination with electromagnetic radiation sources for illuminating objects
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/02—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals

Abstract

깊이 영상 생성 장치가 제공된다. 상기 깊이 영상 생성 장치는, 오브젝트로부터 수광한 적외선 중 제1 파장 대역을 대역 통과시키는 필터부, 상기 제1 파장 대역의 적외선을 제2 파장 대역의 적외선으로 변조하는 변조부, 및 상기 변조된 제2 파장 대역의 적외선을 센싱하여 전기적 신호를 생성하는 센서부를 포함할 수 있다.

Description

깊이 영상 생성 장치 및 방법{APPARATUS AND METHOD FOR GENERATING DEPTH IMAGE}
깊이 영상(depth image)를 생성하는 장치 및 방법에 연관되며, 보다 특정하게는, 적외선(Infra Red; IR)을 이용하여 깊이 영상을 획득하는 장치 및 방법에 연관된다.
본 발명의 실시예들은 지식경제부에서 지원하는 국가과제 연구로부터 도출된 것이다[과제고유번호: 10037931, 과제명: 능동형 센서 기반 HD급 3D Depth 카메라 개발].
최근 3차원 입체 영상에 대한 관심이 높아지고 있다. 오브젝트의 3차원 공간 정보를 획득하는 방법에는 오브젝트를 레이저 기반으로 스캔하는 방법과, 적외선을 이용하여 깊이 영상을 촬영하는 방법 등이 있다.
적외선(IR)을 이용한 깊이 영상 생성 방법은, TOF(Time of Flight) 방식과 Coded Light 삼각측량 방식이 알려져 있다.
TOF 방식은, 조사된(emitted) IR과 오브젝트에 반사되어 다시 돌아온 IR의 위상차(phase-difference)를 이용하여 오브젝트와 깊이 카메라 사이의 거리인 깊이(Depth) 정보를 취득하는 방식이다.
그리고 Coded Light 삼각측량 방식은 조사된 IR의 패턴과 오브젝트에 반사되어 다시 돌아온 IR 패턴의 경로를 삼각측량하여 깊이 정보를 취득하는 방식이다.
일반적으로 위 두 가지 방식은 800~900nm대역의 파장을 가지는 IR을 사용하는데, 이는 상용화된 실리콘 기반의 영상 센서가 400~1100nm의 IR 광을 감지 가능하나, 800nm이하는 인간의 시각에 감지되며, 900nm 이상은 센서의 감도가 떨어지기 때문이다.
그런데, 800~900nm대역의 파장을 가지는 IR은 태양광 환경의 실외에서 많이 존재하기 때문에, 깊이 카메라가 이러한 대역의 파장을 가지는 IR을 사용하는 경우, 깊이 영상을 획득하는 데에 어려움이 있다.
기존 실리콘기반 영상 센서를 이용하면서 실외 태양광 환경에서도 정확한 깊이 영상을 생성할 수 있는 깊이 영상 생성 장치 및 방법이 제공된다.
본 발명의 일측에 따르면, 오브젝트로부터 수광한 적외선 중 제1 파장 대역을 대역 통과시키는 필터부, 상기 제1 파장 대역의 적외선을 제2 파장 대역의 적외선으로 변조하는 변조부, 및 상기 변조된 제2 파장 대역의 적외선을 센싱하여 전기적 신호를 생성하는 센서부를 포함하는, 깊이 영상 생성 장치가 제공된다.
본 발명의 일실시예에 따르면, 상기 깊이 영상 생성 장치는, 상기 제1 파장 대역의 적외선을 상기 오브젝트에 조사하는 광 조사부를 더 포함한다.
또한, 상기 깊이 영상 생성 장치는, 상기 센서부가 생성한 전기적 신호를 이용하여 상기 오브젝트에 대응하는 깊이 영상을 생성하는 처리부를 더 포함할 수도 있다.
한편, 상기 제1 파장 대역은 태양광 환경에서 지구 표면에서 적외선 세기가 제1 임계치 이하인 파장 대역이다.
본 발명의 일실시예에 따르면, 상기 제1 파장 대역은 1300nm를 포함하고, 대역폭이 제2 임계치 이하인 파장 대역이다.
그리고, 상기 센서부는 실리콘 기반의 적외선 센서이며, 상기 제2 파장 대역은 상기 센서부의 효율이 제3 임계치 이상인 파장 대역일 수 있다.
본 발명의 일실시예에 따르면, 상기 제2 파장 대역은 800nm를 포함하고, 대역폭이 제4 임계치 이하인 파장 대역이다.
본 발명의 다른 일측에 따르면, 깊이 영상 생성 장치의 필터부가, 오브젝트로부터 수광한 적외선 중 제1 파장 대역을 대역 통과시키는 필터링 단계, 상기 깊이 영상 생성 장치의 변조부가, 상기 제1 파장 대역의 적외선을 제2 파장 대역의 적외선으로 변조하는 변조 단계, 및 상기 깊이 영상 생성 장치의 센서부가, 상기 변조된 제2 파장 대역의 적외선을 센싱하여 전기적 신호를 생성하는 센싱 단계를 포함하는, 깊이 영상 생성 방법이 제공된다.
실내뿐만 아니라, 실외 태양광 환경에서도 정확한 깊이 영상을 생성될 수 있다.
또한, 기존 실리콘기반 영상 센서를 그대로 이용할 수 있으므로, 실외 태양광 환경에서 정확한 깊이 영상을 촬영하기 위한 별도의 센서 없이도 정확한 깊이 영상이 생성될 수 있다.
도 1은 본 발명의 일실시예에 따른 깊이 영상 생성 장치를 도시한다.
도 2는 본 발명의 일실시예에 따른 깊이 영상 생성 장치가 이용하는 적외선 파장 대역을 설명하기 위한 개념도이다.
도 3은 본 발명의 일실시예에 따른 깊이 영상 생성 장치가 깊이 영상을 생성하는 과정을 도시한 개념도이다.
도 4는 본 발명의 일실시예에 따라 생성된 예시적 깊이 영상을 설명하기 위한 개념도이다.
도 5는 본 발명의 일실시예에 따른 깊이 영상 생성 방법을 도시한다.
이하에서, 본 발명의 일부 실시예를, 첨부된 도면을 참조하여 상세하게 설명한다. 그러나, 본 발명이 실시예들에 의해 제한되거나 한정되는 것은 아니다. 각 도면에 제시된 동일한 참조 부호는 동일한 부재를 나타낸다.
도 1은 본 발명의 일실시예에 따른 깊이 영상 생성 장치(100)를 도시한다.
본 발명의 일실시예에 따르면, 깊이 영상 생성 장치(100)은, 광 조사부(110), 수광부(120), 필터부(130), 변조부(140), 센서부(150) 및 처리부(160)을 포함한다.
광 조사부(110)는, 제1 파장 대역의 적외선(IR)을 깊이 영상을 생성하고자 하는 오브젝트에 조사(emit)한다.
상기 제1 파장 대역은 태양광 환경에서 지구 표면에서 관측되는 적외선 세기가 제1 임계치 이하인 파장 대역이다. 상기 제1 임계치는 특정한 값으로 고정된 것이 아니라, 선택적으로 다르게 설정될 수 있는 값이며, 예시적으로는 0.01 (W/m2/nm)이다. 다만, 상기한 바와 같이, 제1 임계치에 대하여 본 발명이 일부 실시예로 국한되는 것은 아니며, 설정에 따라 상기 제1 임계치는 0.005 (W/m2/nm) 등의 다른 값을 가질 수도 있다.
알려진 바에 의하면, 태양광 스펙트럼(sunlight spectrum)은 파장 별로 그 세기(intensity)가 다르다. 그리고, 태양광 복사는 대기권의 공기, 수증기, 구름, 먼지 등에 의해 반사되거나 흡수되기 때문에, 지구 표면(surface)에서 측정되는 태양광 스펙트럼 또한 파장 별로 그 세기가 다르다. 태양광 스펙트럼은 도 2를 참조하여 보다 상세히 후술한다.
지구 표면에서 관측되는 태양광 스펙트럼의 세기가 매우 작아져서 0이거나 또는 0에 가까운 몇 개의 파장 대역이 존재한다. 대표적으로 1300nm 근처, 1800nm 근처, 그리고 2700nm~2800nm 근처가 있다.
본 발명의 일실시예에 따르면, 상기 광 조사부(110)가 조사하는 적외선의 제1 파장 대역(wavelength band)은 는 1300nm 근처이다.
통상적으로 적외선을 이용한 깊이 카메라(depth camera)는 실리콘 기반의 CMOS(Complementary Metal Oxide Semiconductor) 센서를 이용하는데, 이러한 실리콘 기반의 CMOS 센서는 800~900nm 대역에서 효율이 좋기 때문에 동 파장 대역의 적외선을 이용한다.
그런데, 800~900nm 대역의 파장을 갖는 적외선은 태양광 하의 실외에서 자연적으로 많이 관찰되기 때문에, 깊이 카메라에서 조사한 적외선만을 골라서 수광(light receiving)하는 것이 어려워, 통상적인 깊이 카메라를 태양광 환경의 실외에서 사용하는 것은 좋은 품질의 깊이 영상 생성이 어렵다.
그러나, 본 발명의 광 조사부(110)는 인위적으로 생성된 제1 파장 대역, 이를테면 1300nm 를 포함하고 그 대역폭(bandwidth)이 제2 임계치, 이를테면 10nm 이하인 파장 대역을 오브젝트에 조사한다.
지표면에서는 이러한 제1 파장 대역의 적외선이 자연적으로는 관찰되지 않기 때문에, 수광부(120)를 통해 수신된 빛 중 상기 제1 파장 대역의 적외선만을 필터링하면, 이렇게 필터링된 적외선은 상기 광 조사부(110)가 조사하여 오브젝트에 반사되어 돌아온 빛으로 판단될 수 있다.
깊이 영상 생성 장치(100)의 수광부(120)가 수신한 빛을 필터부(130)가 대역 통과 필터링 하여 제1 파장 대역의 적외선만을 변조부(140)로 전달한다.
그러면, 변조부(140)는 이러한 제1 파장 대역의 적외선을 센서부(150)의 센싱 효율이 좋은 제2 파장 대역으로 변조한다.
본 발명의 일실시예에 따르면, 센서부(150)는 통상의 깊이 카메라에서 사용되고 있는 실리콘 기반 photodiode를 포함하는 CMOS 센서이다.
이러한 CMOS 센서는 800~900nm 대역에서 효율이 가장 좋은 것으로 알려져 있다.
본 명세서에서 상기 제2 파장 대역은 센서부(150)의 센싱 효율이 제3 임계치 이상인 대역으로 정의될 수 있다. 상기 제3 임계치는, 통상적인 실리콘 기반 photodiode를 포함하는 상용(commercial) CMOS의 정상 동작을 보장하는 스펙(specification) 상의 기준치일 수 있으며, 본 발명이 속하는 기술 분야의 통상의 지식을 가진 자라면, 적외선 센서가 정상 동작하는 것을 보장하는 기준이 되는 효율 값임을 쉽게 알 수 있다.
본 발명의 일실시예에 따르면, 변조부(140)가 제1 파장 대역의 적외선으로부터 변조하여 생성하는 제2 파장 대역은 800nm를 포함하며, 대역폭이 제4 임계치, 이를테면 10nm 이하인 파장 대역이다.
이렇게 되면, 제1 파장 대역(상기 실시예에서는 1300nm)을 센싱하는 별도의 고가 센서를 이용하지 않고, 이미 상용화된 적외선 센서를 센서부(150) 구성으로 그대로 사용할 수 있다.
센서부(150)가 제2 파장 대역의 적외선을 이용하여 센서부(150) 내의 각 픽셀 마다 전기적 신호를 생성하면, 처리부(160)는 상기 픽셀들의 전기적 신호를 이용하여, 상기 오브젝트에 대응하는 깊이 영상을 생성한다.
이러한 처리부(150)의 깊이 영상 생성 과정은 종래의 깊이 카메라와 동일하다.
본 발명의 일실시예에 따른 깊이 영상 생성 장치(100)는 통상의 깊이 카메라와는 달리 제1 파장 대역(이를 테면 1300nm 적외선 대역)을 대역 통과(Band Pass)하는 필터부(130) 및 이를 제2 파장 대역으로 변조하는 변조부(modulator)(140) 구성이 추가되지만, 종래의 800~900nm 파장을 사용하는 적외선 기반 깊이 카메라들이 실외 태양광 환경에서 사용될 수 없었던 문제를 해결한다.
또한, 별도의 1300nm 대역의 적외선을 센싱하는 센서를 도입하지 않고, 종래의 적외선 센서를 그대로 이용하므로, 기존 실리콘 기반 적외선 센서 공정을 사용하여 양산이 가능한 장점이 있다.
이하에서는 도 2 내지 도 4를 참조하여, 깊이 영상 생성 장치(100)의 동작을 보다 상세히 설명한다.
도 2는 본 발명의 일실시예에 따른 깊이 영상 생성 장치가 이용하는 적외선 파장 대역을 설명하기 위한 개념도(200)이다.
개념도(200)의 좌표축 중, X 축은 파장(wavelength)에 대응하며, 단위는 마이크로미터(micrometer)이다. 그리고, Y 축은 태양 복사의 세기에 대응하며, 단위는 W/m3/nm 이다.
파장 대역(230)은 가시광선(visible light) 대역이다.
도시된 그래프(201)는 대기권 밖에서 관측되는 태양 복사 스펙트럼(sunlight spectrum)이며, 그래프(202)는 지표면에서 관측되는 태양 복사 스펙트럼이다.
그래프(202)를 통해 확인할 수 있듯이, 지표면에서 관측되는 태양광 중, 1300nm 근처의 파장 대역(wavelength band)의 적외선은 대기권에서 대부분 흡수되거나 반사되어, 지표면에는 도달하지 않는다.
이러한 대역을 본 명세서에서는 제1 파장 대역(220)으로 정의한다. 다만, 상기한 바와 같이 제1 파장 대역이 1300nm 근처로만 한정되어 해석되는 것은 아니며, 지표면에서 태양광 에너지 세기가 0에 가까운(제2 임계치 이하인) 다른 대역도 포함한다.
종래에는 800~900nm 대역(210)의 적외선을 이용하여 깊이 카메라가 깊이 영상을 생성하였는데, 이러한 대역(210)의 적외선은 깊이 카메라로부터 조사된 것 외에 자연에서 많이 관측되므로, 깊이 영상의 정밀도를 떨어뜨리거나, 깊이 영상 생성이 불가능한 문제가 있었다.
본 발명의 실시예들에서는, 1300nm 근처 등을 광 조사부(110)가 조사하고, 수광부(120)를 통해 수신된 광(light)을 필터부가 1300nm 근처를 대역 통과시킨 다음, 변조부(140)가 이를 800nm 근처로 변조하여 사용하므로, 기존의 적외선 센서를 이용하면서도, 실외 태양광 환경에서 태양광에 의한 영향 없이 깊이 영상을 생성할 수 있다.
도 3은 본 발명의 일실시예에 따른 깊이 영상 생성 장치가 깊이 영상을 생성하는 과정을 도시한 개념도이다.
광 조사부(110)는 지상에 도달하는 태양광의 세기가 0에 가까운 제1 파장 대역, 이를테면 1300nm 대역의 적외선 광(310)을 오브젝트(301)에 조사한다.
깊이 영상 생성 장치(100)가 TOF(Time of Flight) 방식인 경우, 정현파와 같은 주기가 있는 파형을 조사하며, Coded Light 삼각측량 방식인 경우에는 특정 Pattern을 조사한다.
오브젝트(301)에서 반사된 광(320)이 수광부(120), 이를테면 렌즈(lens)를 통해 수신된다.
이 경우, 수광부(120)를 통과하여 필터부(130)에 도달하는 빛은 광 조사부(110)가 조사한 1300nm 대역의 적외선뿐만 아니라 태양광을 포함한 모든 대역의 광을 포함한다.
필터부(130)는 이러한 모든 대역의 광을 대역 통과 필터링(Band Pass Filtering) 하여, 광 조사부(110)가 조사한 1300nm 대역의 적외선 광(330)만을 변조부(140)에 전달한다.
그러면, 변조부(140)는 필터링된 1300nm 대역의 적외선을 실리콘 기반 적외선 센서부(140)의 감도가 좋은 800nm 대역의 적외선 광(340)으로 변환한다.
센서부(150)는 기존의 실리콘(Si) 기반의 photodiode를 포함하는 CMOS 센서일 수 있으며, 센서부(150)의 각 픽셀에 입사된 800nm 대역의 IR광은 각 픽셀에서 전기적 신호로 변환된다.
이 경우, 깊이 영상 생성 장치(100)가 TOF(Time of Flight) 방식이면, 처리부(160)는 조사한 광(310)과 수신된 광(330)의 위상차를 이용하여 깊이 영상을 생성하고, 깊이 영상 생성 장치(100)가 Coded Light 삼각측량 방식인 경우 광 경로를 이용하여 거리를 측정한다.
도 4는 본 발명의 일실시예에 따라 생성된 예시적 깊이 영상을 설명하기 위한 개념도(400)이다.
실외의 태양광 환경에서는 종래의 깊이 카메라가 깊이 영상을 생성하는 데에 어려움이 있지만, 본 발명의 일실시예에 따르면, 깊이 영상(400)이 정밀하게 생성될 수 있다.
도 5는 본 발명의 일실시예에 따른 깊이 영상 생성 방법을 도시한다.
단계(510)에서, 광 조사부(110)는 제1 파장 대역, 이를테면 1300nm 대역의 적외선 광(Infra Red light)을 오브젝트에 조사한다.
그리고, 단계(520)에서, 수광부(120), 이를테면 렌즈(lens)가 오브젝트에서 반사된 광을 수신한다.
이 경우, 수광부(120)를 통과하여 수신된 빛은 광 조사부(110)가 조사한 1300nm 대역의 적외선뿐만 아니라 태양광을 포함한 모든 대역의 광을 포함하기 때문에, 단계(530)에서, 필터부(130)는 이러한 모든 대역의 광을 대역 통과 필터링(Band Pass Filtering) 하여, 광 조사부(110)가 조사한 1300nm 대역의 적외선 광만을 변조부(140)에 전달한다.
그러면, 단계(540)에서, 변조부(140)는 필터링된 1300nm 대역의 적외선을 실리콘 기반 적외선 센서부(140)의 감도가 좋은 800nm 대역의 적외선 광으로 변환한다.
단계(550)에서, 센서부(150)는 각 픽셀에 입사된 800nm 대역의 적외선을 전기적 신호로 변환한다.
그리고, 단계(560)에서, 처리부(160)는 종래의 깊이 카메라에서와 같이, 상기 센서부(150)의 각 픽셀에서 생성된 전기적 신호를 이용하여 오브젝트에 대응하는 깊이 영상을 생성한다.
본 발명의 일실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다.
그러므로, 본 발명의 범위는 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.
100: 깊이 영상 생성 장치
110: 광 조사부
120: 수광부
130: 필터부
140: 변조부
150: 센서부
160: 처리부

Claims (16)

  1. 오브젝트로부터 수광한 적외선 중 제1 파장 대역을 대역 통과시키는 필터부;
    상기 제1 파장 대역의 적외선을 제2 파장 대역의 적외선으로 변조하는 변조부; 및
    상기 변조된 제2 파장 대역의 적외선을 센싱하여 전기적 신호를 생성하는 센서부
    를 포함하는, 깊이 영상 생성 장치.
  2. 제1항에 있어서,
    상기 제1 파장 대역의 적외선을 상기 오브젝트에 조사하는 광 조사부
    를 더 포함하는, 깊이 영상 생성 장치.
  3. 제1항에 있어서,
    상기 센서부가 생성한 전기적 신호를 이용하여 상기 오브젝트에 대응하는 깊이 영상을 생성하는 처리부
    를 더 포함하는, 깊이 영상 생성 장치.
  4. 제1항에 있어서,
    상기 제1 파장 대역은 태양광 환경에서 지구 표면에서 적외선 세기가 제1 임계치 이하인 파장 대역인, 깊이 영상 생성 장치.
  5. 제1항에 있어서,
    상기 제1 파장 대역은 1300nm를 포함하고, 대역폭이 제2 임계치 이하인 파장 대역인, 깊이 영상 생성 장치.
  6. 제1항에 있어서,
    상기 센서부는 실리콘 기반의 적외선 센서이며, 상기 제2 파장 대역은 상기 센서부의 효율이 제3 임계치 이상인 파장 대역인, 깊이 영상 생성 장치.
  7. 제1항에 있어서,
    상기 제2 파장 대역은 상기 센서부의 효율이 제3 임계치 이상인, 깊이 영상 생성 장치.
  8. 제1항에 있어서,
    상기 제2 파장 대역은 800nm를 포함하고, 대역폭이 제4 임계치 이하인 파장 대역인, 깊이 영상 생성 장치.
  9. 깊이 영상 생성 장치의 필터부가, 오브젝트로부터 수광한 적외선 중 제1 파장 대역을 대역 통과시키는 필터링 단계;
    상기 깊이 영상 생성 장치의 변조부가, 상기 제1 파장 대역의 적외선을 제2 파장 대역의 적외선으로 변조하는 변조 단계; 및
    상기 깊이 영상 생성 장치의 센서부가, 상기 변조된 제2 파장 대역의 적외선을 센싱하여 전기적 신호를 생성하는 센싱 단계
    를 포함하는, 깊이 영상 생성 방법.
  10. 제9항에 있어서,
    상기 필터링 단계에 앞서서, 상기 깊이 영상 생성 장치의 광 조사부가, 상기 제1 파장 대역의 적외선을 상기 오브젝트에 조사하는 광 조사 단계; 및
    상기 필터링 단계에 앞서서, 상기 깊이 영상 생성 장치의 수광부가, 상기 오브젝트에서 반사된 상기 제1 파장 대역의 적외선 중 적어도 일부를 수광하는 수광 단계
    를 더 포함하는, 깊이 영상 생성 방법.
  11. 제9항에 있어서,
    상기 깊이 영상 생성 장치의 처리부가, 상기 센서부가 생성한 전기적 신호를 이용하여 상기 오브젝트에 대응하는 깊이 영상을 생성하는 처리 단계
    를 더 포함하는, 깊이 영상 생성 방법.
  12. 제9항에 있어서,
    상기 제1 파장 대역은 태양광 환경에서 지구 표면에서 적외선 세기가 제1 임계치 이하인 파장 대역인, 깊이 영상 생성 방법.
  13. 제9항에 있어서,
    상기 제1 파장 대역은 1300nm를 포함하고, 대역폭이 제2 임계치 이하인 파장 대역인, 깊이 영상 생성 방법.
  14. 제9항에 있어서,
    상기 센서부는 실리콘 기반의 적외선 센서이며, 상기 제2 파장 대역은 상기 센서부의 효율이 제3 임계치 이상인 파장 대역인, 깊이 영상 생성 방법.
  15. 제9항에 있어서,
    상기 제2 파장 대역은 800nm를 포함하고, 대역폭이 제4 임계치 이하인 파장 대역인, 깊이 영상 생성 방법.
  16. 제9항 내지 제15항 중 어느 한 항의 깊이 영상 생성 방법을 수행하는 프로그램을 수록한 컴퓨터 판독 가능 기록 매체.
KR1020100135758A 2010-12-27 2010-12-27 깊이 영상 생성 장치 및 방법 KR101686079B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020100135758A KR101686079B1 (ko) 2010-12-27 2010-12-27 깊이 영상 생성 장치 및 방법
US13/067,390 US9258548B2 (en) 2010-12-27 2011-05-27 Apparatus and method for generating depth image

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020100135758A KR101686079B1 (ko) 2010-12-27 2010-12-27 깊이 영상 생성 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20120073861A true KR20120073861A (ko) 2012-07-05
KR101686079B1 KR101686079B1 (ko) 2016-12-13

Family

ID=46316188

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020100135758A KR101686079B1 (ko) 2010-12-27 2010-12-27 깊이 영상 생성 장치 및 방법

Country Status (2)

Country Link
US (1) US9258548B2 (ko)
KR (1) KR101686079B1 (ko)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9456198B2 (en) * 2011-10-13 2016-09-27 Panasonic Intellectual Property Management Co., Ltd. Depth estimating image capture device and image sensor
US9894255B2 (en) 2013-06-17 2018-02-13 Industrial Technology Research Institute Method and system for depth selective segmentation of object
KR20150010230A (ko) * 2013-07-18 2015-01-28 삼성전자주식회사 단일 필터를 이용하여 대상체의 컬러 영상 및 깊이 영상을 생성하는 방법 및 장치.
KR102163728B1 (ko) * 2013-12-05 2020-10-08 삼성전자주식회사 거리영상 측정용 카메라 및 이를 이용한 거리영상 측정방법
KR102312273B1 (ko) * 2014-11-13 2021-10-12 삼성전자주식회사 거리영상 측정용 카메라 및 그 동작방법
KR102305998B1 (ko) * 2014-12-08 2021-09-28 엘지이노텍 주식회사 영상 처리 장치
US10628952B2 (en) * 2017-12-11 2020-04-21 Google Llc Dual-band stereo depth sensing system
KR20200131029A (ko) * 2019-05-13 2020-11-23 엘지이노텍 주식회사 카메라 모듈

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030147002A1 (en) * 2002-02-06 2003-08-07 Eastman Kodak Company Method and apparatus for a color sequential scannerless range imaging system
US20090054788A1 (en) * 2007-04-19 2009-02-26 Carl Zeiss Surgical Gmbh Method and apparatus for displaying a field of a brain of a patient and navigation system for brain surgery
US20090050807A1 (en) * 2007-08-23 2009-02-26 Omron Corporation Image pickup device and image pickup control method
US20090115877A1 (en) * 2007-11-05 2009-05-07 Commissariat A L'energie Atomique Method for reading a two-dimensional matrix of pixels and device for implementing such a method

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3446320B2 (ja) 1994-07-29 2003-09-16 株式会社島津製作所 直視分光器
US6597398B1 (en) * 1999-06-02 2003-07-22 Intel Corporation Image sensor response enhancement using fluorescent phosphors
JP2008511080A (ja) * 2004-08-23 2008-04-10 サーノフ コーポレーション 融合画像を形成するための方法および装置
KR20070081773A (ko) * 2006-02-13 2007-08-17 스마트 와이어레스 가부시키가이샤 적외선 얼굴 인증장치, 이를 구비하는 휴대 단말기 및보안장치
US7375803B1 (en) * 2006-05-18 2008-05-20 Canesta, Inc. RGBZ (red, green, blue, z-depth) filter system usable with sensor systems, including sensor systems with synthetic mirror enhanced three-dimensional imaging
KR100920931B1 (ko) 2007-11-16 2009-10-12 전자부품연구원 Ｔｏｆ 카메라를 이용한 로봇의 물체 자세 인식 방법
EP2212928B1 (en) 2007-11-20 2016-06-29 Koninklijke Philips N.V. Side emitting device with wavelength conversion
KR20100050024A (ko) 2008-11-04 2010-05-13 (주)셀런에스엔 광전송 시스템
KR101502372B1 (ko) 2008-11-26 2015-03-16 삼성전자주식회사 영상 획득 장치 및 방법
KR101033439B1 (ko) 2009-01-29 2011-05-09 (주)세현 엑스레이 디텍터

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030147002A1 (en) * 2002-02-06 2003-08-07 Eastman Kodak Company Method and apparatus for a color sequential scannerless range imaging system
US20090054788A1 (en) * 2007-04-19 2009-02-26 Carl Zeiss Surgical Gmbh Method and apparatus for displaying a field of a brain of a patient and navigation system for brain surgery
US20090050807A1 (en) * 2007-08-23 2009-02-26 Omron Corporation Image pickup device and image pickup control method
US20090115877A1 (en) * 2007-11-05 2009-05-07 Commissariat A L'energie Atomique Method for reading a two-dimensional matrix of pixels and device for implementing such a method

Also Published As

Publication number Publication date
US9258548B2 (en) 2016-02-09
KR101686079B1 (ko) 2016-12-13
US20120162370A1 (en) 2012-06-28

Similar Documents

Publication Publication Date Title
KR101686079B1 (ko) 깊이 영상 생성 장치 및 방법
KR101652393B1 (ko) 3차원 영상 획득 장치 및 방법
JP6849680B2 (ja) 目標視野を有する三次元ｌｉｄａｒシステム
KR101675112B1 (ko) 거리 정보 추출 방법 및 상기 방법을 채용한 광학 장치
JP2021056241A (ja) Ｌａｄａｒシステム及び方法
JP5448617B2 (ja) 距離推定装置、距離推定方法、プログラム、集積回路およびカメラ
JP2018507388A (ja) 光学検出器
JP2018531374A (ja) 物体までの距離を測定するためのシステムおよび方法
JP2018531374A6 (ja) 物体までの距離を測定するためのシステムおよび方法
KR102194233B1 (ko) 깊이 영상 생성 장치 및 방법
KR20120071970A (ko) 3차원 영상 획득 장치 및 상기 3차원 영상 획득 장치에서 깊이 정보를 추출하는 방법
EP1613934A2 (en) Method and apparatus for real-time vibration imaging
CN109791204A (zh) 用于确定到对象的距离的系统
KR20120093502A (ko) 레이저를 이용한 장애물 감지장치 및 방법.
KR101145132B1 (ko) 3차원 영상화 펄스 레이저 레이더 시스템 및 이 시스템에서의 자동 촛점 방법
JP6772639B2 (ja) 視差演算システム、移動体及びプログラム
JP2020020612A (ja) 測距装置、測距方法、プログラム、移動体
KR20230003089A (ko) 안개 검출 및 적응형 응답 기능이 있는 라이다 시스템
US8805075B2 (en) Method and apparatus for identifying a vibrometry spectrum in imaging applications
JP4356672B2 (ja) 光検出素子、光検出素子の制御方法、空間情報検出装置
WO2013094392A1 (ja) 測定装置、測定方法、プログラムおよび記録媒体
WO2020235458A1 (ja) 画像処理装置、方法及び電子機器
KR101866764B1 (ko) 통합픽셀로 구성된 거리영상센서
WO2020195755A1 (ja) 測距撮像システム、測距撮像方法、及びプログラム
KR20150133086A (ko) 깊이 영상 획득 방법 및 그 영상 획득 장치

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant