KR20100122988A - 3차원 영상 처리 장치 및 그 방법 - Google Patents

3차원 영상 처리 장치 및 그 방법 Download PDF

Info

Publication number
KR20100122988A
KR20100122988A KR1020090041954A KR20090041954A KR20100122988A KR 20100122988 A KR20100122988 A KR 20100122988A KR 1020090041954 A KR1020090041954 A KR 1020090041954A KR 20090041954 A KR20090041954 A KR 20090041954A KR 20100122988 A KR20100122988 A KR 20100122988A
Authority
KR
South Korea
Prior art keywords
depth
image
region
roi
interest
Prior art date
Application number
KR1020090041954A
Other languages
English (en)
Other versions
KR101613133B1 (ko
Inventor
김성진
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020090041954A priority Critical patent/KR101613133B1/ko
Priority to US12/591,218 priority patent/US8369575B2/en
Publication of KR20100122988A publication Critical patent/KR20100122988A/ko
Application granted granted Critical
Publication of KR101613133B1 publication Critical patent/KR101613133B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483—Details of pulse systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G01S17/10—Systems determining position data of a target for measuring distance only using transmission of interrupted, pulse-modulated waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/254—Image signal generators using stereoscopic image cameras in combination with electromagnetic radiation sources for illuminating objects

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

본 발명의 실시 예들은, 3차원 영상 처리 장치 및 그 방법에 관한 것이다.
본 발명의 일 실시 예는, 3차원 영상 처리 장치의 전체 감지 영역 내에서 관심 영역을 결정하고, 상기 관심 영역에 대한 깊이 영상을 획득할 수 있다.
본 발명의 실시 예들은, 감시 카메라 시스템, 동작 인식 시스템, 가상 현실 체험 시스템, 차량용 거리 인식 시스템, 로봇 시스템, 깊이 정보 기반의 배경 분리 시스템 등에 적용 될 수 있으며, 적용 분야는 이에 한정되지 않는다.
Figure P1020090041954
3D 영상, TOF(Time-Of-Flight), 깊이(Depth) 정보

Description

3차원 영상 처리 장치 및 그 방법{METHOD AND APPARATUS FOR PROCESSING 3-DIMENSIONAL IMAGE}
본 발명의 실시 예들은, 3차원 영상 처리 장치 및 그 방법에 관한 것으로서, 관심 영역(region-of-interest, ROI)의 깊이 정밀도(Depth accuracy) 향상을 위한 3차원 영상 처리 장치 및 그 방법에 관한 것이다.
물체의 3차원(3D) 영상을 캡쳐링(capturing)하기 위해서는 물체의 색상(color) 정보뿐만 아니라 거리(depth) 정보가 필요하다. 현재의 디지털 카메라나 캠코더는 색상 정보만을 획득하기 때문에 3D 사진 혹은 영상을 제공할 수 없다. 이를 극복하기 위하여 거리 정보를 획득하여 3D 영상을 얻고자 하는 연구가 진행 중이다. 특히 3D 형상 및 모션을 capturing하고 이를 2D 디스플레이(display) 상에서 3D 모델(model)로 복원하기 위해서는 모든 픽셀이 depth 값을 갖는 dense depth 영상이 필요하다. 또한 실시간으로 물체의 3D 영상을 얻을 수 있어야 한다. 깊이(Depth) 영상을 얻기 위한 여러 가지 방법 중 하나인 지연시간(time-of-flight, TOF) 기반의 깊이 영상 획득 기술은 조사된(emitted) 빛이 물체에 반사되 어 돌아오는 시간을 측정하는 방식이다. TOF 기반의 깊이 영상 획득 기술을 이용하면, 실시간으로 깊이 영상을 획득할 수 있다.
TOF 기반의 깊이 영상 획득 기술은 사람 또는 물체의 형상이나 모션을 3D 영상으로 capturing 함으로써, 감시 카메라 시스템, 동작 인식 시스템, 가상 현실 체험 시스템, 차량용 거리 인식 시스템 등 다양한 분야에 적용될 수 있다.
현재의 TOF 기반의 깊이 영상 획득 기술은 사람 또는 물체의 정확하게 capturing 하기 위한 정밀도가 높지 않다. 따라서, 깊이 정밀도가 더 높은 3D 영상 처리 기술이 요구된다.
본 발명의 실시 예들은, 깊이 정밀도를 향상시킬 수 있는 TOF 기반 3차원 영상 처리 장치를 제공한다.
본 발명의 일 실시 예는, 3차원 영상 처리 장치의 전체 감지 영역 내에서 관심 영역을 결정하는 단계와, 상기 관심 영역에 대한 깊이 정보에 기초하여 조사 광의 파형을 변조하는 단계 및 상기 파형이 변조된 조사 광을 이용하여 상기 관심 영역에 대한 깊이(Depth) 영상을 획득하는 단계를 포함하는 3차원 영상 처리 방법을 제공한다.
이때, 상기 관심 영역을 결정하는 단계는, 변조 주파수(modulation frequency)가 fmax인 사각파(pulse)의 온 타임(on-time)이 Tmax인 조사 광을 이용하여 상기 전체 감지 영역 내의 깊이 영상을 획득하는 과정 및 상기 전체 감지 영역 내의 깊이 영상으로부터 상기 관심 영역에 대한 깊이 정보를 추출하는 과정을 포함할 수 있다. 여기서 Tmax는 상기 3차원 영상 처리 장치의 최대 감지 거리를 지연시간으로 환산한 값과 같다.
이때, 상기 관심 영역의 깊이 정보를 추출하는 과정은, 상기 on-time이 Tmax인 조사 광을 조사하고, 상기 on-time이 Tmax인 조사 광의 반사광을 수신하고, 상기 on-time이 Tmax인 조사 광 및 상기 반사광 간의 지연 시간에 기초하여 상기 관심 영 역의 깊이 정보를 추출하는 것을 포함할 수 있다.
이때, 상기 조사 광의 파형을 변조하는 단계는, 상기 관심 영역의 시작점 Z1 과 종료점 Z2를 각각 지연시간 T1과 T2로 환산하는 과정 및 상기 조사 광의 on-time을 T2-T1로 변조하는 과정을 포함할 수 있다.
이때, 상기 관심 영역에 대한 깊이 영상을 획득하는 단계는, 제1 전달신호(transfer signal)의 듀티 싸이클(duty cycle) 및 제2 전달신호의 듀티 싸이클을 상기 파형이 변조된 조사 광의 듀티 싸이클과 동일하게 변조하는 과정과, 듀티 싸이클이 변조된 제1 전달신호를 T1만큼 지연시키고, 듀티 싸이클이 변조된 제2 전달신호를 T2만큼 지연시키는 과정 및 상기 듀티 싸이클이 변조되고 T1만큼 지연된 제1 전달신호 및 상기 듀티 싸이클이 변조되고 T2만큼 지연된 제2 전달신호를 이용하여 상기 관심 영역에 대한 깊이를 구하는 과정을 포함할 수 있다.
본 발명의 일 실시 예는, 상기 관심 영역에 대한 깊이 영상을 획득하는 단계 이후에, 상기 관심 영역 내에 위치하는 물체가 상기 관심 영역 밖으로 이동하였는지를 판단하는 단계 및 상기 물체가 상기 관심 영역 밖으로 이동한 경우, 상기 관심 영역을 재설정하는 단계를 더 포함할 수 있다.
이때, 상기 관심 영역을 재설정하는 단계는, on-time이 Tmax인 조사 광을 이용하여 상기 전체 감지 영역 내의 깊이 영상을 획득하는 과정 및 상기 전체 감지 영역 내의 깊이 영상으로부터 상기 관심 영역을 재설정하기 위한 깊이 정보를 추출 하는 과정을 포함할 수 있다.
본 발명의 일 실시 예는, 3차원 영상 처리 장치의 전체 감지 영역 내에서 관심 영역을 결정하고, 기준점으로부터 상기 관심 영역까지의 깊이에 기초하여 조사 광의 파형을 제어하는 이미지 시그널 프로세서 및 상기 이미지 시그널 프로세서의 제어에 따라서 깊이 영상을 획득하는 센서부를 포함하는 3차원 영상 처리장치를 제공한다.
이때, 상기 이미지 시그널 프로세서는, 3차원 영상 처리 장치의 전체 감지 영역 내에서 관심 영역을 결정하는 관심 영역 결정부와, 상기 관심 영역에 대한 깊이 정보에 기초하여 조사 광의 파형을 변조하도록 상기 광 모듈을 제어하는 제어부 및 상기 센서부로부터 제공되는 깊이 영상으로부터 깊이 정보를 계산하는 깊이 정보 계산부를 포함할 수 있다.
이때, 상기 이미지 시그널 프로세서는, on-time이 Tmax인 조사 광을 이용하여 상기 전체 감지 영역 내의 깊이 영상을 획득하도록 상기 센서부를 제어하고, 상기 전체 감지 영역 내의 깊이 영상으로부터 상기 관심 영역에 대한 깊이 정보를 추출할 수 있다.
이때, 상기 이미지 시그널 프로세서는, 상기 on-time이 Tmax인 조사 광을 조사하도록 광 모듈을 제어하고, 상기 on-time이 Tmax인 조사 광 및 반사광 간의 지연 시간에 기초하여 상기 관심 영역의 깊이 정보를 추출할 수 있다.
이때, 상기 이미지 시그널 프로세서는, 상기 조사 광의 듀티 싸이클을 변경 하여 on-time이 T2-T1가 되도록 상기 광 모듈을 제어할 수 있다.
이때, 상기 이미지 시그널 프로세서는, 상기 센서부로부터 제공되는 깊이 영상의 매 프레임 마다 상기 관심 영역의 재설정 여부를 판단할 수 있다.
이때, 상기 이미지 시그널 프로세서는, 상기 센서부로부터 제공되는 깊이 영상의 m-1번째 프레임을 이용하여, 상기 센서부로부터 제공되는 깊이 영상의 m번째 프레임에 대한 관심 영역을 결정할 수 있다.
이때, 상기 센서부는, 제1 전달신호(transfer signal)의 듀티 싸이클 및 제2 전달신호의 듀티 싸이클을 상기 파형이 변조된 조사 광의 듀티 싸이클과 동일하게 변조할 수 있다.
본 발명의 일 실시 예에 따르면, 관심 영역을 결정하고, 관심 영역의 깊이 정보 만을 획득할 수 있도록 조사 광의 파형을 변조함으로써, 3D 영상의 깊이 정밀도를 향상시킬 수 있다.
또한, 본 발명의 일 실시 예에 따르면, transfer 신호의 파형을 변조함으로써, 3D 영상 처리 장치의 SNR을 향상 시킬 수 있다.
또한, 본 발명의 실시 예들은, 전체 감지 거리 내에서 특정 영역의 깊이 정밀도를 향상 시킬 수 있기 때문에, 다양한 응용 시스템에 적용될 수 있다.
이하, 본 발명의 실시 예들을 첨부된 도면을 참조하여 상세하게 설명한다.
본 발명의 실시 예들은, 감시 카메라 시스템, 동작 인식 시스템, 가상 현실 체험 시스템, 차량용 거리 인식 시스템, 로봇 시스템, 깊이 정보 기반의 배경 분리 시스템 등에 적용 될 수 있으며, 적용 분야는 이에 한정되지 않는다.
먼저, 본 발명의 실시 예에 따른 3차원 영상 처리 장치에 적용될 수 있는 깊이 정보 추출 기술에 관하여 살펴본다.
도 1은 관련 기술에 따른 깊이 정보 추출 방법을 설명하기 위한 예시도 이다.
TOF 기반 depth capturing 기술은 변조된 파형(pulse)을 갖는 조사 광이 물체로부터 반사되어 돌아올 때 위상(phase)의 변화를 검출하는 방식이다. 이때, phase의 변화는 전하량을 통하여 계산할 수 있다. 조사 광으로는 인체에 무해하며 눈에 보이지 않는 적외선(Infrared Ray, IR)을 사용할 수 있다. 또한, 조사 광과 반사 광의 시간 차를 검출하기 위하여, 일반 color 센서와는 다른, Depth Pixel Array가 이용될 수 있다.
도 1에 도시된 예는, Photogate를 이용한 depth capturing 기술에 관련된 것이다. 도 1을 참조하면, Photogate는 반사된 적외선, 즉 반사광을 수신하고, 반사광을 electron-hole pair(EHP)로 변환한다. Photogate의 양 옆에는 전달 신호(transfer signal)가 인가되는 transfer gate가 구비된다. 도 1에서 Transfer Signal 0은 제1 전달신호이고, 제1 전달 신호가 인가되는 transfer gate를 transfer 0이라 정의한다. 또한, Transfer Signal 1은 제2 전달신호이고, 제2 전달 신호가 인가되는 transfer gate를 transfer 1이라 정의한다.
한편, EHP로 변환된 반사광은 전달 신호에 따라서 n+ node로 움직인다. 조사 광과 반사광 간의 지연시간(TOF)를 얻기 위하여 Photogate 및 두 개의 transfer gate에 인가되는 전압의 타이밍 다이어그램은 도 3에 도시된 바와 같다. 도 3을 참조하면, 반사광의 파형(320)과 조사 광의 파형(310) 간의 지연시간은 tTOF 이다. 제1 전달 신호(330)는 조사 광의 파형(310)과 위상 차 없이 transfer 0에 인가되고, 제2 전달 신호(340)는 조사 광의 파형(310)과 180도의 위상 차를 갖는다. 이때, transfer 0을 통해 이동하는 전자는 제1 전달 신호(330)의 빗금친 부분에서 수신된 반사광에 의하여 결정된다. 또한, transfer 1을 통해 이동하는 전자는 제2 전달 신호(340)의 빗금친 부분에서 수신된 반사광에 의하여 결정된다. transfer 0을 통해 이동하는 전자 및 transfer 1을 통해 이동하는 전자는 각각 tON-tTOFn 및 tTOFn에 비례함을 알 수 있다. tTOF는 수 ns 정도로 매우 짧다. 따라서, transfer gate를 통해 생성되는 전하량을 수차례 반복적으로 측정하고, 측정된 값을 누적함으로써, tTOF를 구할 수 있다. 예를 들어, tTOF는 수학식 1과 같이 구할 수 있다.
[수학식 1]
Figure 112009028852929-PAT00001
수학식 1에서, N=1, 2,…n이고, iir은 반사 광에 의해 생긴 photocurrent, c는 광속을 나타낸다.
도 2는 관련 기술에 따른 깊이 정보 추출 방법의 다른 예를 보여준다.
도 2에 도시된 예는, Photodiode를 이용한 depth capturing 기술에 관련된 것이다. 도 2를 참조하면, Photodiode를 이용한 depth capturing 기술은 negative feedback loop을 이용한 charge transfer 회로를 이용하여 깊이 정보를 구한다. Photodiode를 이용한 depth capturing 기술의 동작 원리는 Photogate를 이용한 depth capturing 기술과 동일하다.
상기 Photogate를 이용한 depth capturing 기술 및 Photodiode를 이용한 depth capturing 기술에서, 깊이 영상의 정밀도를 향상시키기 위해서는 photogate 혹은 photodiode의 감도를 증가시키거나 조사 광의 파워를 늘려 반사되는 빛의 세 기가 증가하도록 할 수 있다. 그러나, 조사 광의 파워를 늘리면, 전력 소모가 커지는 등의 문제가 있다. 또한, 정밀도를 향상시키기 위해 조사 광의 변조 주파수를 높이거나 변조 파형의 듀티 싸이클(duty cycle)을 낮추는 경우, 감지할 수 있는 depth의 최대 거리가 줄어든다.
한편, 본 발명의 실시 예들이 적용될 수 있는 가상 현실 체험 시스템 등은, 전체 감지 영역에 대한 깊이 영상을 얻는 것보다, 특정 관심 영역의 정밀한 depth 값을 얻는 것이 더 유용할 수 있다. 예를 들어, 가상 현실 체험 시스템에서 사용자는 TV에서 2~3m 정도 떨어져서 있게 될 것이므로 2~3m나 3~4m 사이의 영역의 depth 값이 다른 영역에 비해 훨씬 중요한 의미를 갖게 된다. 이는 감시 카메라나 차량 airbag system 등에서도 마찬가지이다. 따라서, 본 발명의 실시 예들은 전체 감지 영역 내에서 특정 영역을 관심 영역으로 결정하고, 결정된 관심 영역에 대한 깊이 정보의 정밀도를 향상시킬 수 있는 기술에 관한 것이다.
하기에서는, 먼저 본 발명의 실시 예들에 적용되는 원리를 예를 들어 설명한다. 다음에 본 발명의 실시 예들을 설명하기로 한다.
도 4는 본 발명의 실시 예들에 적용되는 원리를 설명하기 위한 예를 나타내고, 도 5는 조사 광의 파형 및 전달 신호 파형의 일 예를 나타내고, 도 6은 관심 영역 내의 깊이 정보만을 얻기 위한 변조된 파형 예를 나타낸다.
도 4를 참조하면, 물체(Object)의 크기는 전체 감지 영역(Zmax-Zmin)에 비해 매우 작음을 알 수 있다. 이때, 최대 감지 거리(Zmax)는 조사 광(410)의 파형 및 조사 광(410)의 듀티 싸이클(duty cycle)에 의하여 결정된다. 이때, 조사 광(410)의 on-time은 Tmax이고, Tmax는 최대 감지 거리(Zmax)를 TOF로 환산한 값과 같다. 다시 말해서, Depth 최대 감지 거리는 Tmax에 의해 정해진다. 도 4에서, 물체는 기준점(Zmin)로부터 Z1과 Z2 사이에 위치하고 있다. 따라서, 관심영역 ZROI의 시작점은 Z1이고, 관심영역의 종료점은 Z2이다. 조사 광(410)에 대한 Z1 에서의 반사광 파형(420)을 참조하면, Z1 를 TOF로 환산한 값은 T1이다. 또한, 조사 광(410)에 대한 Z2 에서의 반사광 파형(430)을 참조하면, Z2 를 TOF로 환산한 값은 T2이다. 이때, T1과 T2를 찾는 방법은 상기 Photogate를 이용한 depth capturing 기술 및 상기 Photodiode를 이용한 depth capturing 기술 등 다양한 알고리즘을 이용할 수 있다. 이때, Z2 는 Z1이 결정되면, Z1 으로부터, 일정 간격 떨어진 위치로 설정할 수 있다. 따라서, T1 만을 depth capturing 기술을 이용하여 계산하고, T2는 T1에 일정 시간을 더한 값으로 결정할 수 있다.
도 5를 참조하면, 제1 전달 신호(520)의 파형은 조사 광(510)의 파형과 위상이 동일하고, 제2 전달 신호(530)의 파형은 조사 광(510)의 파형과 위상이 반대인 경우를 나타낸다.
도 6을 참조하면, 관심 영역 내의 깊이 정보만을 얻기 위한 조사 광(610)은 온 타임(on-time)이 T1 - T2이다. 깊이 정보를 얻기 위해서는 조사 광(610)뿐만 아니라, 전달 신호의 파형도 변조해 주어야 한다. 이때, 전달 신호의 파형은 관심영역의 시작점 Z1에서 반사된 반사광(620) 및 관심영역의 종료점 Z2에서 반사된 반사광(630) 각각의 지연시간을 고려하여 설정할 수 있다. 도 6에 도시된 바와 같이, 제1 전달 신호(640)은 조사광(610) 보다 T1 만큼 지연되고, 제2 전달신호(650)는 조사광(610) 보다 T2만큼 지연되도록 변조될 수 있다. 또한, 제1 전달 신호(640) 및 제2 전달신호(650)는 on-time이 T1 - T2이다. 이때, 전달 신호는 3차원 영상 처리 장치의 구조에 따라서 다양한 형태를 사용할 수 있다.
Depth 영상의 정밀도는 조사 광의 세기에 비례하고, 조사 광의 듀티 싸이클에 반비례한다. 따라서, 조사 광의 세기를 크게 하고, 조사 광의 듀티 싸이클을 줄임으로써 Depth 영상의 정밀도를 향상 시킬 수 있다. 도 4 내지 도 6의 예에서 설명한 바와 같이, 조사 광의 on-time을 Tmax에서 T1 - T2으로 변조해 줌으로써, 즉, 듀티 싸이클을 줄임으로써 관심 영역에 대한 Depth 영상의 정밀도를 향상시킬 수 있다. 또한, 듀티 싸이클이 줄어들면, 조사 광의 평균 전력도 줄어 들기 때문에, 조사 광의 세기를 A로 크게 하는 것도 가능하다.
도 7은 본 발명의 실시 예에 따른 3차원 영상 처리 방법을 나타내는 흐름도 이다. 도 7에 도시된 3차원 영상 처리 방법은, 이미지 시그널 프로세서(Image Signal Processor)를 포함하는 3차원 영상 처리 장치에 의하여 수행될 수 있다.
도 7을 참조하면, 710단계에서, 3차원 영상 처리 장치는 3차원 영상 처리 장치의 전체 감지 영역 내에서 관심 영역을 결정한다. 이때, 3차원 영상 처리 장치는 on-time이 Tmax인 조사 광을 이용하여 전체 감지 영역 내의 깊이 영상을 획득하고, 전체 감지 영역 내의 깊이 영상으로부터 상기 관심 영역에 대한 깊이 정보를 추출할 수 있다. 이때, 3차원 영상 처리 장치는 on-time이 Tmax인 조사 광을 조사하고, on-time이 Tmax인 조사 광의 반사광을 수신하고, on-time이 Tmax인 조사 광 및 상기 반사광 간의 지연 시간에 기초하여 상기 관심 영역의 깊이 정보를 추출할 수 있다.
720단계에서, 3차원 영상 처리 장치는 기준점으로부터 상기 관심 영역까지의 깊이에 기초하여 조사 광의 파형을 변조한다. 이때, 3차원 영상 처리 장치는 관심 영역의 시작점 Z1 과 종료점 Z2를 각각 지연시간 T1과 T2로 환산하고, 조사 광의 on-time을 T2-T1로 변조할 수 있다.
730단계에서, 3차원 영상 처리 장치는 파형이 변조된 조사 광을 이용하여 상기 관심 영역에 대한 깊이(Depth) 영상을 획득한다. 이때, 3차원 영상 처리 장치는 제1 전달신호(transfer signal)의 듀티 싸이클 및 제2 전달신호의 듀티 싸이클을 상기 파형이 변조된 조사 광의 듀티 싸이클과 동일하게 변조할 수 있다. 또한, 3차원 영상 처리 장치는 듀티 싸이클이 변조된 제1 전달신호를 T1만큼 지연시키고, 듀티 싸이클이 변조된 제2 전달신호를 T2만큼 지연시킬 수 있다. 또한, 3차원 영상 처리 장치는 듀티 싸이클이 변조되고 T1만큼 지연된 제1 전달신호 및 상기 듀티 싸이클이 변조되고 T2만큼 지연된 제2 전달신호를 이용하여 관심 영역에 대한 깊이를 구할 수 있다.
도 8은 본 발명의 다른 일 실시 예에 따른 3차원 영상 처리 방법을 나타내는 흐름도이다.
도 8에 도시된 3차원 영상 처리 방법은, 도 7에 도시된 방법과 동일한 원리로 수행된다. 따라서, 810단계 내지 830단계에서 3차원 영상 처리 장치는 710단계 내지 730단계와 동일한 동작을 수행한다. 다만, 도 8에 도시된 영상처리 방법은 도 7에 도시된 방법과 달리, 물체가 관심 영역 내에 고정되어 있지 않고, 관심 영역 밖으로 이동하는 경우를 고려한 것이다. 본 발명의 일 실시 예에 따른 3차원 영상 처리 장치는, 깊이 영상의 m-1번째 프레임을 이용하여, m번째 프레임에 대한 관심 영역을 결정할 수 있다. 이때, 물체가 관심 영역 내에 고정되어 있지 않은 경우 m번째 프레임에 대한 depth 값이 제대로 획득되지 않게 된다. 따라서, 3차원 영상 처리 장치는, 깊이 영상의 매 프레임 마다 관심 영역의 재설정 여부를 판단하고, 관심 영역 재설정 여부를 센서부 또는 타이밍 생성부에 피드백해 줄 필요가 있다.
도 8을 참조하면, 3차원 영상 처리 장치는, 관심 영역에 대한 깊이 영상을 획득하는 830단계 이후에, 840단계에서, 관심 영역 내에 위치하는 물체가 관심 영역 밖으로 이동하였는지를 판단할 수 있다. 물체가 관심 영역 밖으로 이동했을 경우는 depth 영상이 나오지 않을 것이므로 쉽게 확인이 가능하다. 또한, 관심 영역 내에서 물체가 약간 이동하여 일정 부분이 관심 영역 밖으로 나간 경우에도, 측정된 깊이를 T1, T2 값과 비교함으로써 용이하게 관심 영역 재설정 여부를 결정할 수 있다.
물체가 관심 영역 밖으로 이동한 것으로 판단되면, 3차원 영상 처리 장치는 850단계에서 관심 영역을 재설정한다. 관심영역을 재설정하는 과정은 관심 영역의 설정 과정과 동일하게 수행된다. 이때, 3차원 영상 처리 장치는 on-time이 Tmax인 조사 광을 이용하여 상기 전체 감지 영역 내의 깊이 영상을 획득하고, 전체 감지 영역 내의 깊이 영상으로부터 상기 관심 영역을 재설정하기 위한 깊이 정보를 추출할 수 있다.
도 9는 본 발명의 일 실시 예에 따른 3차원 영상 처리 장치의 구성도이다.
도 9에 도시된 3차원 영상 처리 장치(900)는 도 8 내지 도 9에 도시된 3차원 영상 처리 방법을 수행할 수 있다.
도 9를 참조하면, 3차원 영상 처리 장치(900)는 이미지 시그널 프로세서(910) 및 센서부(920)를 포함한다. 또한, 3차원 영상 처리 장치(900)는 이미지 시그널 프로세서(910)의 제어에 따라서 조사 광을 조사하는 광 모듈(930)을 더 포 함할 수 있다. 또한, 3차원 영상 처리 장치(900)는 깊이 영상 및 깊이 정보 등을 저장하기 위한 저장부(940)를 더 포함할 수 있다.
이미지 시그널 프로세서(910)는 3차원 영상 처리 장치의 전체 감지 영역 내에서 관심 영역을 결정한다. 또한, 이미지 시그널 프로세서(910)는 기준점으로부터 상기 관심 영역까지의 깊이에 기초하여 조사 광의 파형을 제어한다. 이때, 이미지 시그널 프로세서(910)는 조사 광의 파형을 변조하도록 광 모듈(930)을 제어할 수 있다.
이때, 이미지 시그널 프로세서(910)는 3차원 영상 처리 장치의 전체 감지 영역 내에서 관심 영역을 결정하는 관심 영역 결정부(911)와, 기준점으로부터 상기 관심 영역까지의 깊이에 기초하여 조사 광의 파형을 변조하도록 상기 광 모듈을 제어하는 제어부(913) 및 상기 센서부로부터 제공되는 깊이 영상으로부터 깊이를 계산하는 깊이 정보 계산부(915)를 포함할 수 있다.
이때, 이미지 시그널 프로세서(910)는 on-time이 Tmax인 조사 광을 이용하여 상기 전체 감지 영역 내의 깊이 영상을 획득하도록 센서부(920)를 제어할 수 있다. 또한, 이미지 시그널 프로세서(910)는 전체 감지 영역 내의 깊이 영상으로부터 관심 영역에 대한 깊이 정보를 추출할 수 있다.
이때, 이미지 시그널 프로세서(910)는 on-time이 Tmax인 조사 광을 조사하도록 광 모듈(930)을 제어할 수 있다. 또한, 이미지 시그널 프로세서(910)는 on-time이 Tmax인 조사 광 및 반사광 간의 지연 시간에 기초하여 관심 영역의 깊이 정 보를 추출할 수 있다. 또한, 이미지 시그널 프로세서(910)는 조사 광의 on-time을 T2-T1로 변조하도록, 광 모듈(930)을 제어할 수 있다.
이때, 이미지 시그널 프로세서(910)는 센서부(920)로부터 제공되는 깊이 영상의 매 프레임 마다 관심 영역의 재설정 여부를 판단할 수 있다. 또한, 이미지 시그널 프로세서(910)는, 센서부(920)로부터 제공되는 깊이 영상의 m-1번째 프레임을 이용하여, 센서부로(930)부터 제공되는 깊이 영상의 m번째 프레임에 대한 관심 영역을 결정할 수 있다.
센서부(920)는 제1 전달신호(transfer signal)의 듀티 싸이클 및 제2 전달신호의 듀티 싸이클을 상기 파형이 변조된 조사 광의 듀티 싸이클과 동일하게 변조할 수 있다. 또한, 센서부(920)는 듀티 싸이클이 변조된 제1 전달신호를 T1만큼 지연시키고, 듀티 싸이클이 변조된 제2 전달신호를 T2만큼 지연시킬 수 있다.
이때, 센서부(920)는 깊이 영상을 획득하기 위한 Depth Pixel Array(921) 및 전달 신호의 타이밍 다이어그램을 생성하기 위한 타이밍 생성부(923) 및 Correlated Double Sampling 및 Analog Digital Converting을 수행하기 위한CDS/ADC(925)를 포함하여 구성될 수 있다.
광 모듈(930)은 다양한 형식으로 구성될 수 있다. 예를 들어 광 모듈은 복수의 IR LED 및 IR LED 드라이버를 포함하여 구성될 수 있다.
본 발명의 실시 예에 따른 방법들은 이미지 시그널 프로세서에 의하여 수행 될 수 있다. 또한, 본 발명의 실시 예에 따른 방법들은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다.
이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다.
그러므로, 본 발명의 범위는 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.
도 1은 관련 기술에 따른 깊이 정보 추출 방법을 설명하기 위한 예시도 이다.
도 2는 관련 기술에 따른 깊이 정보 추출 방법의 다른 예를 나타낸다.
도 3은 Photogate 및 두 개의 transfer gate에 인가되는 전압의 타이밍 다이어그램이다.
도 4는 본 발명의 실시 예들에 적용되는 원리를 설명하기 위한 예를 나타낸다.
도 5는 조사 광의 파형 및 전달 신호 파형의 일 예를 나타낸다.
도 6은 관심 영역 내의 깊이 정보만을 얻기 위한 변조된 파형 예를 나타낸다.
도 7은 본 발명의 실시 예에 따른 3차원 영상 처리 방법을 나타내는 흐름도이다.
도 8은 본 발명의 다른 일 실시 예에 따른 3차원 영상 처리 방법을 나타내는 흐름도이다.
도 9는 본 발명의 일 실시 예에 따른 3차원 영상 처리 장치의 구성도이다.

Claims (15)

  1. 3차원 영상 처리 장치의 전체 감지 영역 내에서 관심 영역을 결정하는 단계;
    기준점으로부터 상기 관심 영역까지의 깊이에 기초하여 조사 광의 파형을 변조하는 단계; 및
    상기 파형이 변조된 조사 광을 이용하여 상기 관심 영역에 대한 깊이(Depth) 영상을 획득하는 단계를 포함하는 3차원 영상 처리 방법.
  2. 제1항에 있어서, 상기 관심 영역을 결정하는 단계는,
    온 타임(on-time)이 Tmax인 조사 광을 이용하여 상기 전체 감지 영역 내의 깊이 영상을 획득하는 과정, 여기서 Tmax는 상기 3차원 영상 처리 장치의 최대 감지 거리를 지연시간으로 환산한 값; 및
    상기 전체 감지 영역 내의 깊이 영상으로부터 상기 관심 영역에 대한 깊이 정보를 추출하는 과정을 포함하는 3차원 영상 처리 방법.
  3. 제2항에 있어서, 상기 관심 영역의 깊이 정보를 추출하는 과정은,
    상기 on-time이 Tmax인 조사 광을 조사하고,
    상기 on-time이 Tmax인 조사 광의 반사광을 수신하고,
    상기 on-time이 Tmax인 조사 광 및 상기 반사광 간의 지연 시간에 기초하여 상기 관심 영역의 깊이 정보를 추출하는 것을 포함하는 3차원 영상 처리 방법.
  4. 제1항에 있어서, 상기 조사 광의 파형을 변조하는 단계는,
    상기 관심 영역의 시작점 Z1 과 종료점 Z2를 각각 지연시간 T1과 T2로 환산하는 과정; 및
    상기 조사 광의 on-time을 T2-T1로 변조하는 과정을 포함하는 3차원 영상 처리 방법.
  5. 제1항에 있어서, 상기 관심 영역에 대한 깊이 영상을 획득하는 단계는,
    제1 전달신호(transfer signal)의 듀티 싸이클 및 제2 전달신호의 듀티 싸이클을 상기 파형이 변조된 조사 광의 듀티 싸이클과 동일하게 변조하는 과정;
    듀티 싸이클이 변조된 제1 전달신호를 T1만큼 지연시키고, 듀티 싸이클이 변조된 제2 전달신호를 T2만큼 지연시키는 과정, 여기서 T1과 T2는 각각 상기 관심 영역의 시작점 Z1 과 종료점 Z2를 지연시간으로 환산한 값; 및
    상기 듀티 싸이클이 변조되고 T1만큼 지연된 제1 전달신호 및 상기 듀티 싸이클이 변조되고 T2만큼 지연된 제2 전달신호를 이용하여 상기 관심 영역에 대한 깊이를 구하는 과정을 포함하는 3차원 영상 처리 방법.
  6. 제1항에 있어서,
    상기 관심 영역에 대한 깊이 영상을 획득하는 단계 이후에,
    상기 관심 영역 내에 위치하는 물체가 상기 관심 영역 밖으로 이동하였는지를 판단하는 단계; 및
    상기 물체가 상기 관심 영역 밖으로 이동한 경우, 상기 관심 영역을 재설정하는 단계를 더 포함하는 3차원 영상 처리 방법.
  7. 제6항에 있어서, 상기 관심 영역을 재설정하는 단계는,
    on-time이 Tmax인 조사 광을 이용하여 상기 전체 감지 영역 내의 깊이 영상을 획득하는 과정, 여기서 Tmax는 상기 3차원 영상 처리 장치의 최대 감지 거리를 지연시간으로 환산한 값; 및
    상기 전체 감지 영역 내의 깊이 영상으로부터 상기 관심 영역을 재설정하기 위한 깊이 정보를 추출하는 과정을 포함하는 3차원 영상 처리 방법.
  8. 3차원 영상 처리 장치의 전체 감지 영역 내에서 관심 영역을 결정하고, 기준점으로부터 상기 관심 영역까지의 깊이에 기초하여 조사 광의 파형을 제어하는 이미지 시그널 프로세서; 및
    상기 이미지 시그널 프로세서의 제어에 따라서 깊이 영상을 획득하는 센서부를 포함하는 3차원 영상 처리장치.
  9. 제8항에 있어서, 상기 이미지 시그널 프로세서는,
    3차원 영상 처리 장치의 전체 감지 영역 내에서 관심 영역을 결정하는 관심 영역 결정부;
    기준점으로부터 상기 관심 영역까지의 깊이에 기초하여 조사 광의 파형을 변조하도록 상기 광 모듈을 제어하는 제어부; 및
    상기 센서부로부터 제공되는 깊이 영상으로부터 깊이를 계산하는 깊이 정보 계산부를 포함하는 3차원 영상 처리장치.
  10. 제8항에 있어서, 상기 이미지 시그널 프로세서는,
    온 타임(on-time)이 Tmax인 조사 광을 이용하여 상기 전체 감지 영역 내의 깊이 영상을 획득하도록 상기 센서부를 제어하고, 여기서 Tmax는 상기 3차원 영상 처리 장치의 최대 감지 거리를 지연시간으로 환산한 값, 상기 전체 감지 영역 내의 깊이 영상으로부터 상기 관심 영역에 대한 깊이 정보를 추출하는 3차원 영상 처리 장치.
  11. 제10항에 있어서, 상기 이미지 시그널 프로세서는,
    on-time이 Tmax인 조사 광을 조사하도록 광 모듈을 제어하고, 상기 on-time이 Tmax인 조사 광 및 반사광 간의 지연 시간에 기초하여 상기 관심 영역의 깊이 정보를 추출하는 3차원 영상 처리 장치.
  12. 제8항에 있어서, 상기 이미지 시그널 프로세서는,
    상기 조사 광의 듀티 싸이클을 T2-T1로 변조하도록, 여기서 T1과 T2는 각각 상기 관심 영역의 시작점 Z1 과 종료점 Z2를 지연시간으로 환산한 값, 상기 광 모듈을 제어하는 3차원 영상 처리 장치.
  13. 제8항에 있어서, 상기 이미지 시그널 프로세서는,
    상기 센서부로부터 제공되는 깊이 영상의 매 프레임 마다 상기 관심 영역의 재설정 여부를 판단하는 3차원 영상 처리 장치.
  14. 제8항에 있어서,
    상기 이미지 시그널 프로세서는, 상기 센서부로부터 제공되는 깊이 영상의 m-1번째 프레임을 이용하여, 상기 센서부로부터 제공되는 깊이 영상의 m번째 프레임에 대한 관심 영역을 결정하는 3차원 영상 처리 장치.
  15. 제8항에 있어서, 상기 센서부는,
    제1 전달신호(transfer signal)의 듀티 싸이클 및 제2 전달신호의 듀티 싸이클을 상기 파형이 변조된 조사 광의 듀티 싸이클과 동일하게 변조하는, 여기서 T1과 T2는 각각 상기 관심 영역의 시작점 Z1 과 종료점 Z2를 지연시간으로 환산한 값, 3차원 영상 처리 장치.
KR1020090041954A 2009-05-14 2009-05-14 3차원 영상 처리 장치 및 그 방법 KR101613133B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020090041954A KR101613133B1 (ko) 2009-05-14 2009-05-14 3차원 영상 처리 장치 및 그 방법
US12/591,218 US8369575B2 (en) 2009-05-14 2009-11-12 3D image processing method and apparatus for improving accuracy of depth measurement of an object in a region of interest

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020090041954A KR101613133B1 (ko) 2009-05-14 2009-05-14 3차원 영상 처리 장치 및 그 방법

Publications (2)

Publication Number Publication Date
KR20100122988A true KR20100122988A (ko) 2010-11-24
KR101613133B1 KR101613133B1 (ko) 2016-04-18

Family

ID=43068541

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020090041954A KR101613133B1 (ko) 2009-05-14 2009-05-14 3차원 영상 처리 장치 및 그 방법

Country Status (2)

Country Link
US (1) US8369575B2 (ko)
KR (1) KR101613133B1 (ko)

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012124837A1 (en) * 2011-03-14 2012-09-20 Lg Electronics Inc. An apparatus and a method for gesture recognition
KR101300350B1 (ko) * 2011-08-09 2013-08-28 삼성전기주식회사 영상 처리 장치 및 영상 처리 방법
KR101419419B1 (ko) * 2011-02-03 2014-07-14 브로드콤 코포레이션 모노스코픽 2ｄ 비디오 및 대응하는 깊이 정보로부터 3ｄ 비디오를 생성하기 위한 방법 및 시스템
KR20140121710A (ko) * 2013-04-08 2014-10-16 삼성전자주식회사 3차원 영상 획득 장치 및 3차원 영상 획득 장치에서의 깊이 영상 생성 방법
US8988598B2 (en) 2012-09-14 2015-03-24 Samsung Electronics Co., Ltd. Methods of controlling image sensors using modified rolling shutter methods to inhibit image over-saturation
US9064319B2 (en) 2011-11-01 2015-06-23 Samsung Electronics Co., Ltd. Image processing apparatus and method to adjust disparity information of an image using a visual attention map of the image
WO2015115800A1 (ko) * 2014-01-29 2015-08-06 엘지이노텍 주식회사 깊이 정보 추출 장치
KR20150090685A (ko) * 2014-01-29 2015-08-06 엘지이노텍 주식회사 센서 모듈 및 이를 포함하는 3차원 영상
KR20150090679A (ko) * 2014-01-29 2015-08-06 엘지이노텍 주식회사 깊이 정보 추출 장치 및 방법
WO2015115797A1 (ko) * 2014-01-29 2015-08-06 엘지이노텍 주식회사 깊이 정보 추출 장치 및 방법
US9189068B2 (en) 2011-03-14 2015-11-17 Lg Electronics Inc. Apparatus and a method for gesture recognition
US9350925B2 (en) 2011-11-02 2016-05-24 Samsung Electronics Co., Ltd. Image processing apparatus and method
KR20160104968A (ko) * 2015-02-27 2016-09-06 엘지이노텍 주식회사 3차원 영상의 깊이 정보 추출 장치 및 그 방법
KR20200043941A (ko) * 2014-01-29 2020-04-28 엘지이노텍 주식회사 깊이 정보 추출 장치
KR20200047474A (ko) * 2020-04-23 2020-05-07 엘지이노텍 주식회사 깊이 정보 추출 장치 및 방법
KR20200064966A (ko) * 2014-01-29 2020-06-08 엘지이노텍 주식회사 센서 모듈 및 이를 포함하는 3차원 영상

Families Citing this family (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101483462B1 (ko) * 2008-08-27 2015-01-16 삼성전자주식회사 깊이 영상 획득 장치 및 방법
EP2546087B1 (en) * 2010-03-11 2018-10-24 Toyota Jidosha Kabushiki Kaisha Image position adjustment device
US8742309B2 (en) 2011-01-28 2014-06-03 Aptina Imaging Corporation Imagers with depth sensing capabilities
US10015471B2 (en) 2011-08-12 2018-07-03 Semiconductor Components Industries, Llc Asymmetric angular response pixels for single sensor stereo
GB2494414A (en) * 2011-09-06 2013-03-13 Land Rover Uk Ltd Terrain visualisation for vehicle using combined colour camera and time of flight (ToF) camera images for augmented display
KR101848771B1 (ko) 2012-02-08 2018-05-28 삼성전자주식회사 3차원 이미지 센서 및 이를 포함하는 휴대용 장치
US9554115B2 (en) * 2012-02-27 2017-01-24 Semiconductor Components Industries, Llc Imaging pixels with depth sensing capabilities
KR20130102400A (ko) * 2012-03-07 2013-09-17 삼성전자주식회사 티오에프 센서 및 티오에프 카메라
TWI591584B (zh) 2012-12-26 2017-07-11 財團法人工業技術研究院 三維感測方法與三維感測裝置
US9667883B2 (en) 2013-01-07 2017-05-30 Eminent Electronic Technology Corp. Ltd. Three-dimensional image sensing device and method of sensing three-dimensional images
KR102003496B1 (ko) 2013-03-06 2019-10-01 삼성전자주식회사 이미지 센서 및 이미지 픽업 장치
US8994867B2 (en) 2013-03-15 2015-03-31 Samsung Electronics Co., Ltd. Image sensor, operating method thereof, and device including the image sensor
US9375844B2 (en) 2013-03-15 2016-06-28 Intuitive Surgical Operations, Inc. Geometrically appropriate tool selection assistance for determined work site dimensions
KR102070135B1 (ko) * 2013-09-09 2020-01-28 삼성전자 주식회사 깊이 센서를 이용한 거리 계산 방법과 이를 수행할 수 있는 장치들
KR102249824B1 (ko) 2014-02-24 2021-05-10 삼성전자주식회사 신체 정보 감지장치 및 이의 신체 정보 감지방법
KR102364084B1 (ko) * 2014-10-21 2022-02-17 엘지전자 주식회사 이동단말기 및 그 제어방법
US10432842B2 (en) * 2015-04-06 2019-10-01 The Texas A&M University System Fusion of inertial and depth sensors for movement measurements and recognition
WO2017023202A1 (en) * 2015-07-31 2017-02-09 Vadaro Pte Ltd Time-of-flight monitoring system
US9852513B2 (en) 2016-03-01 2017-12-26 Intel Corporation Tracking regions of interest across video frames with corresponding depth maps
US10360721B2 (en) * 2016-05-26 2019-07-23 Mediatek Inc. Method and apparatus for signaling region of interests
US10917626B2 (en) * 2016-11-23 2021-02-09 Microsoft Technology Licensing, Llc Active illumination 3D imaging system
KR20180060784A (ko) 2016-11-29 2018-06-07 삼성전자주식회사 비정상 객체 판단 방법 및 장치
KR102606976B1 (ko) 2017-02-15 2023-11-29 삼성전자주식회사 전자 장치 및 전자 장치의 이미지 데이터 송수신 방법
US10542245B2 (en) * 2017-05-24 2020-01-21 Lg Electronics Inc. Mobile terminal and method for controlling the same
US10901073B2 (en) 2017-07-11 2021-01-26 Microsoft Technology Licensing, Llc Illumination for zoned time-of-flight imaging
US10430958B2 (en) 2017-07-11 2019-10-01 Microsoft Technology Licensing, Llc Active illumination 3D zonal imaging system
CN107941208A (zh) * 2017-10-09 2018-04-20 深圳市虚拟现实科技有限公司 虚拟现实空间定位方法及系统
KR20200131029A (ko) * 2019-05-13 2020-11-23 엘지이노텍 주식회사 카메라 모듈
KR20240117673A (ko) 2023-01-25 2024-08-02 주식회사 테크포아이 사생활 보호를 보장(Privacy Risk Zero)하는 행동 인식 시스템 및 그 방법

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6567116B1 (en) 1998-11-20 2003-05-20 James A. Aman Multiple object tracking system
KR100458629B1 (ko) 1999-03-05 2004-12-03 슈바르테, 루돌프 전자파의 진폭정보와 위상을 감지하는 방법 및 장치
US6323942B1 (en) * 1999-04-30 2001-11-27 Canesta, Inc. CMOS-compatible three-dimensional image sensor IC
US7526120B2 (en) * 2002-09-11 2009-04-28 Canesta, Inc. System and method for providing intelligent airbag deployment
US8072470B2 (en) 2003-05-29 2011-12-06 Sony Computer Entertainment Inc. System and method for providing a real-time three-dimensional interactive environment
KR100519782B1 (ko) 2004-03-04 2005-10-07 삼성전자주식회사 스테레오 카메라를 이용한 사람 검출 방법 및 장치
US20060241371A1 (en) * 2005-02-08 2006-10-26 Canesta, Inc. Method and system to correct motion blur in time-of-flight sensor systems
KR100788823B1 (ko) 2006-01-23 2007-12-27 한국원자력연구원 표면 결함 정보 추출을 위한 레이저-초음파 검사 장치 및방법
KR100891549B1 (ko) 2007-05-22 2009-04-03 광주과학기술원 깊이 카메라를 이용하여 보완한 깊이 정보 생성 방법 및장치, 그리고 그 방법을 수행하는 프로그램이 기록된 기록매체

Cited By (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101419419B1 (ko) * 2011-02-03 2014-07-14 브로드콤 코포레이션 모노스코픽 2ｄ 비디오 및 대응하는 깊이 정보로부터 3ｄ 비디오를 생성하기 위한 방법 및 시스템
WO2012124837A1 (en) * 2011-03-14 2012-09-20 Lg Electronics Inc. An apparatus and a method for gesture recognition
US9189068B2 (en) 2011-03-14 2015-11-17 Lg Electronics Inc. Apparatus and a method for gesture recognition
KR101300350B1 (ko) * 2011-08-09 2013-08-28 삼성전기주식회사 영상 처리 장치 및 영상 처리 방법
US9064319B2 (en) 2011-11-01 2015-06-23 Samsung Electronics Co., Ltd. Image processing apparatus and method to adjust disparity information of an image using a visual attention map of the image
US9445075B2 (en) 2011-11-01 2016-09-13 Samsung Electronics Co., Ltd. Image processing apparatus and method to adjust disparity information of an image using a visual attention map of the image
US9350925B2 (en) 2011-11-02 2016-05-24 Samsung Electronics Co., Ltd. Image processing apparatus and method
US8988598B2 (en) 2012-09-14 2015-03-24 Samsung Electronics Co., Ltd. Methods of controlling image sensors using modified rolling shutter methods to inhibit image over-saturation
KR20140121710A (ko) * 2013-04-08 2014-10-16 삼성전자주식회사 3차원 영상 획득 장치 및 3차원 영상 획득 장치에서의 깊이 영상 생성 방법
WO2015115797A1 (ko) * 2014-01-29 2015-08-06 엘지이노텍 주식회사 깊이 정보 추출 장치 및 방법
KR20150090779A (ko) * 2014-01-29 2015-08-06 엘지이노텍 주식회사 깊이 정보 추출 장치
KR20150090679A (ko) * 2014-01-29 2015-08-06 엘지이노텍 주식회사 깊이 정보 추출 장치 및 방법
KR20150090685A (ko) * 2014-01-29 2015-08-06 엘지이노텍 주식회사 센서 모듈 및 이를 포함하는 3차원 영상
WO2015115800A1 (ko) * 2014-01-29 2015-08-06 엘지이노텍 주식회사 깊이 정보 추출 장치
US10094926B2 (en) 2014-01-29 2018-10-09 Lg Innotek Co., Ltd. Device for extracting depth information
US10338221B2 (en) 2014-01-29 2019-07-02 Lg Innotek Co., Ltd. Device for extracting depth information and method thereof
KR20200043941A (ko) * 2014-01-29 2020-04-28 엘지이노텍 주식회사 깊이 정보 추출 장치
KR20200064966A (ko) * 2014-01-29 2020-06-08 엘지이노텍 주식회사 센서 모듈 및 이를 포함하는 3차원 영상
US10802148B2 (en) 2014-01-29 2020-10-13 Lg Innotek Co., Ltd. Device for extracting depth information and method thereof
US11680789B2 (en) 2014-01-29 2023-06-20 Lg Innotek Co., Ltd. Device for extracting depth information and method thereof
KR20160104968A (ko) * 2015-02-27 2016-09-06 엘지이노텍 주식회사 3차원 영상의 깊이 정보 추출 장치 및 그 방법
KR20200047474A (ko) * 2020-04-23 2020-05-07 엘지이노텍 주식회사 깊이 정보 추출 장치 및 방법

Also Published As

Publication number Publication date
KR101613133B1 (ko) 2016-04-18
US20100290674A1 (en) 2010-11-18
US8369575B2 (en) 2013-02-05

Similar Documents

Publication Publication Date Title
KR101613133B1 (ko) 3차원 영상 처리 장치 및 그 방법
CN109725326B (zh) 飞行时间相机
KR101652393B1 (ko) 3차원 영상 획득 장치 및 방법
KR102460659B1 (ko) ToF 센서를 이용하여 깊이 영상을 획득하는 방법 및 장치
KR101753312B1 (ko) 뎁스 영상 생성 장치 및 방법
KR101975971B1 (ko) 깊이 카메라, 다중 깊이 카메라 시스템, 그리고 그것의 동기 방법
JP6270813B2 (ja) 複数の光源を有するモーションセンサ装置
KR102040152B1 (ko) 3차원 영상 획득 장치 및 3차원 영상 획득 장치에서의 깊이 영상 생성 방법
KR102194237B1 (ko) 깊이 영상 촬영 장치 및 깊이 정보 획득 방법
US20090091738A1 (en) Surface profile measurement
CN110325879A (zh) 用于压缩三维深度感测的系统和方法
US10516875B2 (en) Method and apparatus for obtaining depth image by using time-of-flight sensor
KR20130099735A (ko) 원거리 획득이 가능한 ｔｏｆ카메라와 스테레오 카메라의 합성 시스템 및 방법
WO2014162675A1 (ja) 複数の光源を有するモーションセンサ装置
KR102194233B1 (ko) 깊이 영상 생성 장치 및 방법
CN114930192B (zh) 红外成像组件
US10616561B2 (en) Method and apparatus for generating a 3-D image
JP2013096941A (ja) 撮像装置、撮像方法、及びプログラム
US20210270969A1 (en) Enhanced depth mapping using visual inertial odometry
JP2010002326A (ja) 移動ベクトル検出装置
WO2022181097A1 (ja) 測距装置およびその制御方法、並びに、測距システム
KR102389380B1 (ko) 3차원 영상의 깊이 정보 추출 장치 및 그 방법
WO2021084891A1 (ja) 移動量推定装置、移動量推定方法、移動量推定プログラム、及び移動量推定システム
KR102251115B1 (ko) 깊이 정보 추출 장치 및 방법
KR102106080B1 (ko) 깊이 정보 추출 장치 및 방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20190319

Year of fee payment: 4