KR20120000299A - 깊이 영상 생성 장치 및 그 방법 - Google Patents

깊이 영상 생성 장치 및 그 방법 Download PDF

Info

Publication number
KR20120000299A
KR20120000299A KR1020100060597A KR20100060597A KR20120000299A KR 20120000299 A KR20120000299 A KR 20120000299A KR 1020100060597 A KR1020100060597 A KR 1020100060597A KR 20100060597 A KR20100060597 A KR 20100060597A KR 20120000299 A KR20120000299 A KR 20120000299A
Authority
KR
South Korea
Prior art keywords
pulse
light
difference
depth
zero
Prior art date
Application number
KR1020100060597A
Other languages
English (en)
Other versions
KR101666020B1 (ko
Inventor
강병민
이기창
김성진
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020100060597A priority Critical patent/KR101666020B1/ko
Priority to US12/929,805 priority patent/US9366759B2/en
Priority to EP11155932.4A priority patent/EP2402784B1/en
Publication of KR20120000299A publication Critical patent/KR20120000299A/ko
Application granted granted Critical
Publication of KR101666020B1 publication Critical patent/KR101666020B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/254—Image signal generators using stereoscopic image cameras in combination with electromagnetic radiation sources for illuminating objects
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483—Details of pulse systems
    • G01S7/486—Receivers
    • G01S7/4865—Time delay measurement, e.g. time-of-flight measurement, time of arrival measurement or determining the exact position of a peak
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G01S17/10—Systems determining position data of a target for measuring distance only using transmission of interrupted, pulse-modulated waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Measurement Of Optical Distance (AREA)

Abstract

깊이 영상 생성 장치 및 그 방법이 제공된다. 수광부는 제1펄스 및 제2펄스에 따라 조사되는 광의 반사광으로부터 각각 제1광정보 및 제2광정보를 획득하며, 제3펄스 및 제4펄스에 따라 조사되는 광의 반사광으로부터 각각 제3광정보 및 제4광정보를 획득하는 제1게이트 및 제2게이트를 포함하며, 산출부는 제1광정보 내지 제4광정보를 이용하여 깊이를 산출할 수 있다.

Description

깊이 영상 생성 장치 및 그 방법{Apparatus and Method for Generating Depth Image}
기술분야는 깊이 영상 생성 장치 및 그 방법에 관한 것으로, 보다 상세하게는, 깊이의 최대 측정 거리를 확장하면서 측정된 깊이의 정확도를 유지할 수 있는 깊이 영상 생성 장치 및 그 방법에 관한 것이다.
3차원 입체 영상은 색상 영상과 깊이 영상을 포함한다. 깊이 영상은 TOF(Time of Flight) 방식에 의해 획득될 수 있다. 적외선 기반의 깊이 카메라는, 적외선을 물체에 조사하여 되돌아 온 반사광을 감지하고, TOF를 측정함으로써 카메라와 상기 물체까지의 거리를 계산한다. 계산된 거리는 깊이 영상의 깊이(depth)로 사용된다.
기존의 깊이 카메라를 이용하여 거리를 측정하는 경우, 물체의 최대 측정 거리가 제한되어 있어, 측정된 거리가 최대 측정 거리를 초과하는 경우가 발생한다. 이러한 경우, 측정된 거리는 최대 측정 거리보다 작은 값을 갖는다. 즉, 기존의 깊이 카메라는 정해진 최대 측정 거리로 인해 물체까지의 정확한 거리를 측정할 수 없는 경우가 발생한다. 또한, 최대 측정 거리를 확장하는 경우, 측정된 거리의 정확도는 저하된다.
일 측면에 있어서, 제1펄스 및 제2펄스에 따라 조사되는 광의 반사광으로부터 각각 제1광정보 및 제2광정보를 획득하며, 제3펄스 및 제4펄스에 따라 조사되는 광의 반사광으로부터 각각 제3광정보 및 제4광정보를 획득하는 제1게이트 및 제2게이트를 포함하는 수광부; 및 제1광정보 내지 제4광정보를 이용하여 깊이를 산출하는 깊이 산출부를 포함하는, 깊이 영상 생성 장치가 제공된다.
상기 깊이 산출부는, 상기 제1광정보와 상기 제2광정보의 차이인 제1차이 및 상기 제3광정보와 상기 제4광정보의 차이인 제2차이를 이용하여 상기 깊이를 산출할 수 있다.
상기 깊이 산출부는, 상기 제1차이와 상기 제2차이가 0 이상인 경우, 상기 제1차이는 0 미만이고 상기 제2차이는 0 이상인 경우, 상기 제1차이와 상기 제2차이가 0미만인 경우, 상기 제1차이는 0 이상이고 제2차이는 0 미만인 경우마다 상이한 방식으로 상기 깊이를 산출할 수 있다.
상기 제1펄스 및 상기 제2펄스를 동시에 각각 상기 제1게이트 및 상기 제2게이트로 인가한 후, 상기 제3펄스 및 상기 제4펄스를 동시에 각각 상기 제1게이트 및 상기 제2게이트로 인가하는 펄스 제어부를 더 포함할 수 있다.
상기 제1펄스와 상기 제2펄스는 180°의 위상차를 가지고, 상기 제3펄스와 상기 제4펄스는 180°의 위상차를 가지며, 상기 제1펄스와 상기 제3펄스는 90°의 위상차를 가지며, 상기 제2펄스와 상기 제4펄스는 90°의 위상차를 가질 수 있다.
상기 제1펄스의 온오프 주기는 상기 광이 조사되는 온오프 주기와 동일하며, 상기 제3펄스는 (상기 광이 조사되는 시간/2)만큼 지연된 후 발생될 수 있다.
다른 측면에 있어서, 제1펄스 및 제2펄스에 따라 조사되는 광의 반사광으로부터 각각 제1광정보 및 제2광정보를 획득하는 단계; 제3펄스 및 제4펄스에 따라 조사되는 광의 반사광으로부터 각각 제3광정보 및 제4광정보를 획득하는 단계; 및 제1광정보 내지 상기 제4광정보를 이용하여 깊이를 산출하는 단계를 포함하는, 깊이 영상 생성 방법이 제공된다.
상기 산출하는 단계는, 상기 제1광정보와 상기 제2광정보의 차이인 제1차이 및 상기 제3광정보와 상기 제4광정보의 차이인 제2차이를 이용하여 상기 깊이를 산출할 수 있다.
상기 산출하는 단계는, 상기 제1차이와 상기 제2차이가 0 이상인 경우, 상기 제1차이는 0 미만이고 상기 제2차이는 0 이상인 경우, 상기 제1차이와 상기 제2차이가 0미만인 경우, 상기 제1차이는 0 이상이고 제2차이는 0 미만인 경우마다 상이한 방식으로 상기 깊이를 산출할 수 있다.
깊이 영상 생성 장치 및 그 방법이 제공된다. 깊이 영상 생성 장치 및 그 방법에 의하면, 깊이의 최대 측정 거리를 2배 또는 2배 이상 증가할 수 있으며, 측정된 깊이의 정확도 및 정밀도를 향상시킬 수 있다. 특히, 깊이 측정시 물체까지의 왕복주행시간을 전하량의 변화를 고려하여 산출하고, 산출된 결과를 이용하여 깊이를 산출함으로써 깊이의 정확도는 향상될 수 있다.
또한, 3차원 영상은 최대 측정 거리가 증가한 방법으로 생성된 깊이 영상과 물체의 밝기 영상을 이용하여 복원됨으로써, 보다 실감나고 입체적으로 복원될 수 있다. 밝기 영상은 일반적인 2D 카메라 또는 3D 카메라로 취득된 영상이다.
또한, 물체의 깊이 영상과 밝기 영상을 이용하여 시점(View Point)가 다른 두 개의 밝기 영상을 생성함으로써 3차원 디스플레이 장치에 적용할 수 있다.
도 1은 깊이 영상 생성 장치를 도시한 블록도이다.
도 2는 수광부의 픽셀 어레이를 도시한 도면이다.
도 3은 수광부의 픽셀 어레이 중 픽셀의 구조를 도시한 도면이다.
도 4 및 도 5는 G1과 G2의 셔터링 타임과 픽셀 내부의 전하량 이동의 일 예를 보여주는 도면이다.
도 6은 물체와 물체의 깊이 영상의 일 예를 보여주는 도면이다.
도 7은 3차원 영상이 생성되는 일 예를 보여주는 도면이다.
도 8a 내지 도 8d는 td에 따라 다르게 발생되는 전하량의 일 예를 보여주는 도면이다.
도 9는 도 8a 내지 도 8d의 td에 따라 변하는 Y1과 Y2를 그래프로 도시한 도면이다.
도 10은 깊이 영상 생성 장치의 깊이 영상 생성 방법을 설명하기 위한 흐름도이다.
이하, 본 발명의 실시 예를 첨부된 도면을 참조하여 상세하게 설명한다.
도 1은 깊이 영상 생성 장치(100)를 도시한 블록도이다.
도 1에 도시된 장치(100)는 TOF 방식을 이용하여 물체(10)의 깊이를 측정하고, 측정된 깊이를 이용하여, 물체(10)의 3차원 영상을 생성하는데 필요한 깊이 영상을 생성하는 장치로서, 깊이 카메라에 장착될 수 있다.
장치(100)는 TOF Depth 센서를 이용하여 물체(10)의 거리, 즉, 깊이 영상의 깊이를 픽셀 단위로 측정할 수 있다. 이를 위하여, 장치(100)는 펄스 제어부(110), 광조사부(120), 렌즈부(130), 수광부(140), 깊이 산출부(150) 및 깊이 영상 생성부(160)를 포함할 수 있다.
펄스 제어부(110)는 물체(10)의 깊이를 측정하는데 필요한 다양한 펄스제어신호를 광조사부(120)와 수광부(140)로 인가할 수 있다. 구체적으로 설명하면, 펄스 제어부(110)는 광조사부(120)가 조사광을 조사하는데 필요한 펄스의 파형, 즉, 펄스제어신호를 생성하여 광조사부(120)로 인가할 수 있다. 또한, 펄스 제어부(110)는 수광부(140)에서 반사광을 수광하는데 필요한 펄스의 파형, 즉, 펄스제어신호를 생성하여 수광부(140)로 인가할 수 있다.
광조사부(120)는 물체(10)의 깊이를 측정하기 위해 물체(10)에 조사광을 조사한다. 광조사부(120)는 펄스 제어부(110)로부터 제공된 펄스제어신호에 따라 물체(10)에 조사광을 조사한다. 물체(10)에서 반사된 반사광은 렌즈부(130)로 돌아온다. 광조사부(120)는 LED 어레이(Light Emitting Diode Array) 혹은 레이저 장치로 구현될 수 있다. 조사되는 광은 적외선, 자외선, 가시광선 등 다양하다.
렌즈부(130)는 물체(10)로부터 반사된 광을 수렴하여 수광부(140)로 전달한다.
수광부(140)는 렌즈부(130)로부터 입력되는 반사광을 전하로 변환하여 축적하고, 축적된 전하량에 따른 광정보를 획득할 수 있다. 여기서, 반사광이 입력되는 것은 반사광이 수광되는 것과 동일한 의미로 사용될 수 있다. 광정보는 도 4 및 도 5를 참조하여 후술된다. 수광부(140)는 펄스의 파형이 온(on)상태에 있을 때 반사광을 입력받아 전하를 축적한다. 수광부(140)는 도 2에 도시된 바와 같이, 픽셀들이 2차원적으로 배열된 포토 다이오드 어레이 또는 포토 게이트 어레이로 구현될 수 있다.
도 3은 수광부(140)의 픽셀 어레이 중 픽셀의 구조를 도시한 도면이다.
픽셀은 반사광으로 인해 발생된 전하를 이동시키기 위한 복수 개의 게이트들로 이루어진다.
제1게이트(G1) 및 제2게이트(G2)는 렌즈부(130)로부터 반사광을 입력받아 전하를 생성하는 게이트이다. G0, G1 및 G2는 생성된 전하를 전압에 따라 IG1(Integrating Gate) 또는 IG2로 이동시킨다. 예를 들어, G1은 닫히고, G2는 열리는 경우, 전하는 IG1으로 이동(→ 방향)된다. IG1 또는 IG2에 축적된 전하는 TG1(Transmission Gate) 또는 TG2에 의해 SG1(Storage Gate) 또는 SG2로 이동된다. SG1 및 SG2는 전하를 축적하는 게이트로서, 축적된 전하의 전하량은 깊이 산출부(150)에서 깊이를 산출하는데 사용된다.
이하에서는, 도 4 및 도 5를 참조하여, 펄스 제어부(110)에서 발생되는 펄스 제어 신호에 따른 광조사부(120)와 수광부(140)의 동작에 대해 설명한다.
도 4 및 도 5는 G1과 G2의 셔터링 타임과 픽셀 내부의 전하량 이동의 일 예를 보여주는 도면이다.
물체의 깊이를 측정하기 위하여, 펄스 제어부(110)는 조사광을 조사하기 위한 펄스제어신호를 광조사부(120)에게 인가한다. 광조사부(120)는 펄스제어신호에 설정된 온오프 주기에 따라 조사광을 조사한다.
T0는 광조사부(120)로부터 조사되는 펄스의 1주기 중 광이 조사되는 시간이다. td는 광의 왕복 주행 시간으로서, 조사광이 조사된 시점부터 물체(10)에서 반사되어 수광부(140)로 입사될 때까지의 시간일 수 있다. 광조사부(120)는 펄스 제어부(110)로부터 인가된 펄스제어신호가 온이면 T0동안 물체(10)에 조사광을 조사하고, 인가된 펄스제어신호가 오프이면 물체(10)에 조사광을 조사하지 않는다.
A0는 광조사부(120)에 의해 조사된 광의 세기, r은 물체(10)의 반사율, rA0는 수광부(140)에 도달된 반사광의 세기이다. 반사율은 물체(10)의 재질, 색에 따라 다르므로, 물체의 반사율에 의한 왜곡을 보정하기 위해, 2개 이상의 전하량(Q1, Q2)을 이용할 수 있다.
Q1은 G1에서 수광된 반사광이 변환된 전하의 전하량, Q2는 G2에서 수광된 반사광이 변환된 전하의 전하량이다.
셔터링 타임(ts: Shuttering Time)은 한 주기에서 G1 또는 G2가 오픈되는 시간이다. 따라서, 제1 및 제2펄스제어신호는 ts를 조절하기 위한 신호일 수 있다.
도 4를 참조하면, 1차적으로, 펄스 제어부(110)는 반사광을 입사하기 위한 제1펄스의 제어신호인 제1펄스제어신호를 수광부(140)의 G1에게 인가하고, 제2펄스의 제어신호인 제2펄스제어신호를 G2에게 인가한다. 이 때, 펄스 제어부(110)는 제1펄스제어신호와 제2펄스제어신호를 동시에 각각 G1 및 G2에게 인가할 수 있다. 제2펄스제어신호는 제1펄스제어신호와 소정의 위상차, 예를 들어, 180°의 위상차를 가질 수 있다.
구체적으로 설명하면, 펄스 제어부(110)는 조사광을 조사하면서 동시에 G1을 온시켜 조사광으로 인해 발생되는 반사광이 G1에서 수광되도록 한다. 따라서, 펄스 제어부(110)는 조사광의 펄스 시간인 T0와 G1의 ts가 동일한 제1펄스제어신호를 G1에게 인가할 수 있다. 이는, 제1펄스제어신호의 온오프 주기는 조사광이 조사되는 온오프 주기와 동일함을 의미한다.
G1은 td가 경과한 후 (T0-td) 동안 반사광을 수광한다. IG1은 제1펄스제어신호에 따라 조사되는 광의 반사광으로부터 제1광정보를 획득한다. 제1광정보는 G1에서 수광된 반사광이 변환된 전하의 전체 전하량(nQ1)일 수 있다.
또한, 펄스 제어부(110)는 조사광이 오프되면서 G1을 오프시키고(즉, G1을 닫고), 동시에 G2를 온시켜(즉, G2를 열어) 반사광이 G2에서 수광되도록 한다. 이를 위하여, 펄스 제어부(110)는 제1펄스제어신호와 180°의 위상차를 가지는 제2펄스제어신호를 G2에게 인가한다. IG2는 제2펄스제어신호에 따라 조사되는 광의 반사광으로부터 제2광정보를 획득한다. 제2광정보는 G2에서 수광된 반사광이 변환된 전하의 전체 전하량(nQ2)일 수 있다.
설정된 시간 동안 1차 측정으로 G1 및 G2에서 발생된 전하량, 즉, 제1광정보 및 제2광정보는 각각 IG1→TG1→SG1과 IG2→TG2→SG2를 통해 프레임 메모리에 저장된다. 프레임 메모리에 저장되는 전체 전하량은 각각 nQ1 및 nQ2가 된다. n은 G1 또는 G2가 오픈된 횟수이거나, 제1펄스제어신호 또는 제2펄스제어신호가 온된 횟수이다.
설정된 시간 동안 제1펄스제어신호와 제2펄스제어신호가 G1 및 G2에게 인가되면, 2차적으로, 펄스 제어부(110)는 도 5에 도시된 바와 같이 동작한다.
도 5를 참조하면, 2차적으로, 펄스 제어부(110)는 반사광을 입사하기 위한 제3펄스의 제어신호인 제3펄스제어신호를 G1에게 인가하고, 제4펄스의 제어신호인 제4펄스제어신호를 G2에게 인가한다. 이 때, 펄스 제어부(110)는 제3펄스제어신호와 제4펄스제어신호를 동시에 각각 G1 및 G2에게 인가할 수 있다.
제3펄스제어신호는 제4펄스제어신호와 소정의 위상차, 예를 들어, 180°의 위상차를 가질 수 있다. 또한, 제1펄스제어신호와 제3펄스제어신호는 소정의 위상차, 예를 들어, 90°의 위상차를 가지며, 제2펄스제어신호와 제4펄스제어신호는 90°의 위상차를 가질 수 있다.
구체적으로 설명하면, 펄스 제어부(110)는 조사광보다
Figure pat00001
지연된 후 G1을 온시키는 제3펄스제어신호를 G1에게 인가한다. 따라서, 펄스 제어부(110)는 G1이 조사광이 조사되고
Figure pat00002
가 경과한 후 반사광을 수광하도록 하는 제3펄스제어신호를 G1에게 인가한다. IG1은 제3펄스제어신호에 따라 조사되는 광의 반사광으로부터 제3광정보를 획득한다. 제3광정보는 G1에서 수광된 반사광이 변환된 전하의 전체 전하량(nQ3)일 수 있다.
또한, 펄스 제어부(110)는 G1이 오프될 때, 동시에 G2를 온시켜 반사광이 G2에서 수광되도록 한다. 이를 위하여, 펄스 제어부(110)는 제3펄스제어신호와 180°의 위상차를 가지는 제4펄스제어신호를 G2에게 인가한다. IG2는 제4펄스제어신호에 따라 조사되는 광의 반사광으로부터 제4광정보를 획득한다. 제4광정보는 G2에서 수광된 반사광이 변환된 전하의 전체 전하량(nQ4)일 수 있다.
설정된 시간 동안 2차 측정으로 G1 및 G2에서 발생된 전하량, 즉, 제3광정보 및 제4광정보는 각각 IG1→TG1→SG1과 IG2→TG2→SG2를 통해 상기 프레임 메모리 또는 다른 프레임 메모리에 저장된다. 프레임 메모리에 저장되는 전체 전하량은 각각 nQ3 및 nQ4가 된다.
상술한 바와 같이, 위상차를 가지는 제1 내지 제4펄스제어신호를 이용하여, 전하량을 1차 측정 후 2차 측정함으로써, 깊이의 최대 측정 거리는 2배 이상 향상될 수 있으며, 측정된 깊이의 정밀도는 유지되거나 향상될 수 있다.
다시 도 1을 참조하면, 깊이 산출부(150)는 수광부(140)의 G1 및 G2에서 획득된 제1 내지 제4광정보(즉, 축적된 전체 전하량)를 이용하여 물체(10)의 깊이를 산출할 수 있다. 깊이는 픽셀 단위로 산출될 수 있다.
깊이 산출부(150)는 [수학식 1]을 이용하여 제1광정보(nQ1)와 제2광정보(nQ2)의 차이인 제1차이와, 제3광정보(nQ3)와 제4광정보(nQ4)의 차이인 제2차이를 산출한다.
Figure pat00003
Figure pat00004
[수학식 1]에서, nQ1은 제1펄스제어신호에 의해 G1에서 획득되는 제1광정보, nQ2는 제2펄스제어신호에 의해 G2에서 획득되는 제2광정보, nQ3은 제3펄스제어신호에 의해 G1에서 획득되는 제3광정보, nQ4는 제4펄스제어신호에 의해 G2에서 획득되는 제4광정보이다. Y1은 제1차이, Y2는 제2차이이다.
[수학식 1]에 의해 제1차이와 제2차이가 산출되면, 깊이 산출부(150)는 산출된 제1차이와 제2차이의 크기를 이용하여 적응적으로 깊이를 산출할 수 있다.
즉, 깊이 산출부(150)는 첫째, 제1차이와 제2차이가 모두 0 이상인 경우, 둘째, 제1차이는 0 미만이고, 제2차이는 0 이상인 경우, 셋째, 제1차이와 제2차이가 0미만인 경우, 넷째, 제1차이는 0 이상이고, 제2차이는 0 미만인 경우, 상이한 방식으로 깊이를 산출할 수 있다.
첫째, 깊이 산출부(150)는 제1차이와 제2차이가 모두 0 이상인 경우, 즉, Y1≥0, Y2≥0인 경우, [수학식 2]를 이용하여 td를 산출한다. td는 광의 왕복 주행 시간으로서, 조사광이 조사된 시점부터 물체(10)에서 반사되어 수광부(140)로 입사될 때까지의 시간이다.
Figure pat00005
둘째, 깊이 산출부(150)는 제1차이는 0 미만이고, 제2차이는 0 이상인 경우, 즉, Y1<0, Y2≥0인 경우, [수학식 3]을 이용하여 td를 산출한다.
Figure pat00006
셋째, 깊이 산출부(150)는 제1차이와 제2차이가 0미만인 경우, 즉, Y1<0, Y2<0인 경우, [수학식 4]를 이용하여 td를 산출한다.
Figure pat00007
넷째, 깊이 산출부(150)는 제1차이는 0 이상이고, 제2차이는 0 미만인 경우, 즉, Y1≥0, Y2<0인 경우, [수학식 5]를 이용하여 td를 산출한다.
Figure pat00008
[수학식 2] 내지 [수학식 5] 중 하나를 이용하여 td가 산출되면, 깊이 산출부(150)는 [수학식 6]에 산출된 td를 대입하여 픽셀의 깊이를 산출할 수 있다.
Figure pat00009
[수학식 6]에서, depth는 픽셀의 깊이, C는 조사광 또는 반사광의 속도, td는 [수학식 2] 내지 [수학식 5] 중 어느 하나에 의해 산출된 왕복주행시간이다. C는 빛의 속도를 사용할 수 있으며, 예를 들어, 3×108m/s일 수 있으나, 이는 일 예에 해당한다. 깊이 산출부(150)는 상술한 방식에 의해 물체(10)의 모든 픽셀들의 깊이를 산출한다.
깊이 영상 생성부(160)는 산출된 모든 픽셀들의 깊이를 이용하여 물체(10)에 해당하는 깊이 영상을 생성할 수 있다. 픽셀의 깊이는 장치(100)와 픽셀까지의 거리값으로서 실수형태를 갖는다. 반면, 디스플레이 장치의 경우 n비트의 밝기 영상으로 정수값을 갖는다. 예를 들어, 디스플레이 장치는 8비트의 밝기 영상으로 0~255의 정수값을 갖는다. 따라서, 깊이 영상 생성부(160)는 깊이를 8비트의 값으로 정규화(normalization)할 수 있다.
정규화 과정은 물체(10)를 측정할 수 있는 최대 거리값을 이용할 수 있다. 예를 들어, 장치(100)의 최대 측정 거리가 10m이고, 측정된 깊이 5m이면, 깊이 영상 생성부는 깊이를 0.5로 정규화한다. 깊이 영상 생성부(160)는 정규화된 0.5를 0~255의 중간값인 128로 매핑시키고, 255에서 128을 감산한다.
도 6은 물체(10)와 물체(10)의 깊이 영상의 일 예를 보여주는 도면이다. 깊이 영상 생성부(160)는 정규화 과정을 모든 픽셀에 적용하여, 도 6과 같은 깊이 영상을 생성한다. 깊이 영상에서 밝은 부분은 물체(10)와 장치(100)의 거리가 근거리임을 의미하며, 어두운 부분은 물체(10)와 장치(100)의 거리가 원거리임을 의미한다.
도 7은 3차원 영상이 생성되는 일 예를 보여주는 도면이다. 3차원 영상은 깊이 영상 생성부(160)에서 생성된 깊이 영상과 물체(10)의 밝기 영상을 이용하여 생성된다.
이하에서는 Y1과 Y2의 크기를 고려하여 td를 산출하기 위한 [수학식 2] 내지 [수학식 5]를 일반화하는 방법을 설명한다.
도 8a 내지 도 8d는 td에 따라 다르게 발생되는 전하량의 일 예를 보여주는 도면이다.
도 8a는
Figure pat00010
인 경우, G1 및 G2에서 발생된 전하량, 즉, 제1 내지 제4광정보(nQ1, nQ2, nQ3, nQ4)를 보여준다. 도 8a의 전하량을 이용하여 Y1과 Y2를 산출하면, Y1과 Y2 모두 0 이상의 값을 갖는다.
도 8b는
Figure pat00011
인 경우, G1 및 G2에서 발생된 전하량, 즉, 제1 내지 제4광정보(nQ1, nQ2, nQ3, nQ4)를 보여준다. 도 8b의 전하량을 이용하여 Y1과 Y2를 산출하면, Y1은 0 미만이며, Y2는 0 이상의 값을 갖는다.
도 8c는
Figure pat00012
인 경우, G1 및 G2에서 발생된 전하량, 즉, 제1 내지 제4광정보(nQ1, nQ2, nQ3, nQ4)를 보여준다. 도 8c의 전하량을 이용하여 Y1과 Y2를 산출하면, Y1과 Y2 모두 0 미만의 값을 갖는다.
도 8d는
Figure pat00013
인 경우, G1 및 G2에서 발생된 전하량, 즉, 제1 내지 제4광정보(nQ1, nQ2, nQ3, nQ4)를 보여준다. 도 8d의 전하량을 이용하여 Y1과 Y2를 산출하면, Y1은 0 이상이며, Y2는 0 미만의 값을 갖는다.
도 9는 도 8a 내지 도 8d의 td에 따라 변하는 Y1과 Y2를 그래프로 도시한 도면이다.
도 9의 A, B, C 및 D는 각각 도 8a, 도 8b, 도 8c 및 도 8d에 대응한다. 예를 들어, A의 Y1과 Y2는 도 8a에서 발생한 전하량에 따른 변화를 보여준다.
A의 경우, 제1펄스신호와 제2펄스신호가 각각 G1과 G2에 인가되는 초기에 Y1은 감소하며, Y2는 증가하는 결과를 갖는다. B의 경우, Y1과 Y2 모두 감소하는 결과를 갖는다. C의 경우, Y1은 증가하며, Y2는 감소하는 결과를 갖는다. D의 경우, Y1과 Y2 모두 증가하는 결과를 갖는다. 즉, Y1과 Y2는 td에 따라 그 변화도가 다르다. 이는, G1과 G2에 의해 획득되는 제1 내지 제4광정보가 td의 영향을 받는 것을 의미한다.
따라서, 장치(100) 또는 별도의 연산 장치는 도 9에 도시된 특성을 이용하여, td를 구하기 위한 [수학식 2] 내지 [수학식 5]를 도출한다. [수학식 2] 내지 [수학식 5]는 각각 A 내지 D 영역에 대응하는 식이다.
도 10은 깊이 영상 생성 장치의 깊이 영상 생성 방법을 설명하기 위한 흐름도이다.
도 10의 깊이 영상 생성 방법은 도 1을 참조하여 설명한 깊이 영상 생성 장치(100)에 의해 동작될 수 있다.
1010단계에서, 깊이 영상 생성 장치는 1차적으로, 반사광을 입사하기 위한 제1펄스제어신호를 수광부(140)의 제1게이트(G1)에게 인가하고, 제2펄스제어신호를 제2게이트(G2)에게 설정된 시간동안 인가한다. 제1펄스제어신호는 광조사부(120)로 인가되는 펄스와 동일한 온오프 주기를 갖는다. 또한, 제1펄스제어신호와 제2펄스제어신호는 180°의 위상차를 갖는다. 따라서, 제1펄스제어신호가 온될 때 제2펄스제어신호는 오프된다.
1015단계에서, 깊이 영상 생성 장치는 제1게이트(G1)를 통해 제1광정보(nQ1)를 획득하고, 제2게이트(G2)를 통해 제2광정보(nQ2)를 획득할 수 있다.
1020단계에서, 깊이 영상 생성 장치는 2차적으로, 반사광을 입사하기 위한 제3펄스제어신호를 G1에게 인가하고, 제4펄스제어신호를 G2에게 설정된 시간동안 인가한다. 제3펄스제어신호는 조사광보다 (T0/2)만큼 지연된 후 온되는 파형을 갖는다. 또한, 제3펄스제어신호와 제4펄스제어신호는 180°의 위상차를 갖는다. 따라서, 제3펄스제어신호가 온될 때 제4펄스제어신호는 오프된다.
1025단계에서, 깊이 영상 생성 장치는 제1게이트(G1)를 통해 제3광정보(nQ3)를 획득하고, 제2게이트(G2)를 통해 제4광정보(nQ4)를 획득할 수 있다.
1030단계에서, 깊이 영상 생성 장치는 [수학식 1]을 이용하여 제1광정보(nQ1)와 제2광정보(nQ2)의 차이인 제1차이(Y1)와, 제3광정보(nQ3)와 제4광정보(nQ4)의 차이인 제2차이(Y2)를 산출한다. 제1차이(Y1) 및 제2차이(Y2)는 픽셀까지 광의 왕복주행시간(td)을 산출하는데 사용된다.
첫째, 1035단계에서, 깊이 영상 생성 장치는 제1차이(Y1)와 제2차이(Y2)가 모두 0 이상인 경, 즉, Y1≥0, Y2≥0인 경우, 1040단계에서, [수학식 2]를 이용하여 td를 산출한다.
둘째, 1045단계에서, 깊이 영상 생성 장치는 제1차이는 0 미만이고, 제2차이는 0 이상인 경우, 즉, Y1<0, Y2≥0인 경우, 1050단계에서, [수학식 3]을 이용하여 td를 산출한다.
셋째, 1055단계에서, 깊이 영상 생성 장치는 제1차이와 제2차이가 0미만인 경우, 즉, Y1<0, Y2<0인 경우, 1060단계에서, [수학식 4]를 이용하여 td를 산출한다.
넷째, 1065단계에서, 깊이 영상 생성 장치는 제1차이는 0 이상이고, 제2차이는 0 미만인 경우, 즉, Y1≥0, Y2<0인 경우, 1070단계에서, [수학식 5]를 이용하여 td를 산출한다.
상술한 1010단계 내지 1070단계에 의해 모든 픽셀들에 대해 td가 산출되면, 1075단계에서, 깊이 영상 생성 장치는 산출된 td와 [수학식 6]을 이용하여 각 픽셀의 깊이를 산출할 수 있다.
1080단계에서, 깊이 영상 생성 장치는 산출된 각 픽셀의 깊이를 정규화하여 물체(10)의 깊이 영상을 생성한다.
상술한 깊이 영상 생성 장치(100) 및 그 방법에 의하면, 픽셀 구조를 이용하여 반사광으로 인해 발생된 전하량을 획득하고, 획득된 전하량으로부터 깊이를 산출한다. 특히, 깊이 영상 생성 장치(100) 및 그 방법은 픽셀 내부의 게이트들(G1, G2)의 셔터링 타임을 조절하여 깊이를 산출하므로, 연산의 복잡화없이 최대 측정 거리를 확장하고, 깊이의 정확도는 유지할 수 있다.
본 발명의 실시 예에 따른 방법들은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다.
이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다.
그러므로, 본 발명의 범위는 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.
100: 장치 110: 펄스 제어부
120: 광조사부 130: 렌즈부
140: 수광부 150: 깊이 산출부
160: 깊이 영상 생성부

Claims (13)

  1. 제1펄스 및 제2펄스에 따라 조사되는 광의 반사광으로부터 각각 제1광정보 및 제2광정보를 획득하며, 제3펄스 및 제4펄스에 따라 조사되는 광의 반사광으로부터 각각 제3광정보 및 제4광정보를 획득하는 제1게이트 및 제2게이트를 포함하는 수광부; 및
    상기 제1광정보 내지 상기 제4광정보를 이용하여 깊이를 산출하는 깊이 산출부
    를 포함하는, 깊이 영상 생성 장치.
  2. 제1항에 있어서,
    상기 깊이 산출부는, 상기 제1광정보와 상기 제2광정보의 차이인 제1차이 및 상기 제3광정보와 상기 제4광정보의 차이인 제2차이를 이용하여 상기 깊이를 산출하는, 깊이 영상 생성 장치.
  3. 제2항에 있어서,
    상기 깊이 산출부는,
    상기 제1차이와 상기 제2차이가 0 이상인 경우, 상기 제1차이는 0 미만이고 상기 제2차이는 0 이상인 경우, 상기 제1차이와 상기 제2차이가 0미만인 경우, 상기 제1차이는 0 이상이고 제2차이는 0 미만인 경우마다 상이한 방식으로 상기 깊이를 산출하는, 깊이 영상 생성 장치.
  4. 제1항에 있어서,
    상기 제1펄스 및 상기 제2펄스를 동시에 각각 상기 제1게이트 및 상기 제2게이트로 인가한 후, 상기 제3펄스 및 상기 제4펄스를 동시에 각각 상기 제1게이트 및 상기 제2게이트로 인가하는 펄스 제어부
    를 더 포함하는, 깊이 영상 생성 장치.
  5. 제1항 또는 제4항에 있어서,
    상기 제1펄스와 상기 제2펄스는 180°의 위상차를 가지고, 상기 제3펄스와 상기 제4펄스는 180°의 위상차를 가지며, 상기 제1펄스와 상기 제3펄스는 90°의 위상차를 가지며, 상기 제2펄스와 상기 제4펄스는 90°의 위상차를 가지는, 깊이 영상 생성 장치.
  6. 제5항에 있어서,
    상기 제1펄스의 온오프 주기는 상기 광이 조사되는 온오프 주기와 동일하며, 상기 제3펄스는 (상기 광이 조사되는 시간/2)만큼 지연된 후 발생되는, 깊이 영상 생성 장치.
  7. 제1펄스 및 제2펄스에 따라 조사되는 광의 반사광으로부터 각각 제1광정보 및 제2광정보를 획득하는 단계;
    제3펄스 및 제4펄스에 따라 조사되는 광의 반사광으로부터 각각 제3광정보 및 제4광정보를 획득하는 단계; 및
    상기 제1광정보 내지 상기 제4광정보를 이용하여 깊이를 산출하는 단계
    를 포함하는, 깊이 영상 생성 방법.
  8. 제7항에 있어서,
    상기 산출하는 단계는,
    상기 제1광정보와 상기 제2광정보의 차이인 제1차이 및 상기 제3광정보와 상기 제4광정보의 차이인 제2차이를 이용하여 상기 깊이를 산출하는, 깊이 영상 생성 방법.
  9. 제8항에 있어서,
    상기 산출하는 단계는,
    상기 제1차이와 상기 제2차이가 0 이상인 경우, 상기 제1차이는 0 미만이고 상기 제2차이는 0 이상인 경우, 상기 제1차이와 상기 제2차이가 0미만인 경우, 상기 제1차이는 0 이상이고 제2차이는 0 미만인 경우마다 상이한 방식으로 상기 깊이를 산출하는, 깊이 영상 생성 방법.
  10. 제7항에 있어서,
    상기 제1펄스 및 상기 제2펄스가 동시에 각각 제1게이트 및 제2게이트로 인가된 후, 상기 제3펄스 및 상기 제4펄스가 동시에 각각 상기 제1게이트 및 상기 제2게이트로 인가되는, 깊이 영상 생성 방법.
  11. 제7항 또는 제10항에 있어서,
    상기 제1펄스와 상기 제2펄스는 180° 위상차를 가지고, 상기 제3펄스와 상기 제4펄스는 180° 위상차를 가지며, 상기 제1펄스와 상기 제3펄스는 90° 위상차를 가지며, 상기 제2펄스와 상기 제4펄스는 90° 위상차를 가지는, 깊이 영상 생성 방법.
  12. 제11항에 있어서,
    상기 제1펄스의 온오프 주기는 상기 광이 조사되는 온오프 주기와 동일하며, 상기 제3펄스는 (상기 광이 조사되는 시간/2)만큼 지연된 후 발생되는, 깊이 영상 생성 방법.
  13. 제7항 내지 제12항 중 어느 한 항의 방법을 컴퓨터에서 실행하기 위한 프로그램을 기록하는 컴퓨터 판독 가능한 기록 매체.
KR1020100060597A 2010-06-25 2010-06-25 깊이 영상 생성 장치 및 그 방법 KR101666020B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020100060597A KR101666020B1 (ko) 2010-06-25 2010-06-25 깊이 영상 생성 장치 및 그 방법
US12/929,805 US9366759B2 (en) 2010-06-25 2011-02-16 Apparatus and method for generating depth image
EP11155932.4A EP2402784B1 (en) 2010-06-25 2011-02-25 Apparatus and method for generating depth image

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020100060597A KR101666020B1 (ko) 2010-06-25 2010-06-25 깊이 영상 생성 장치 및 그 방법

Publications (2)

Publication Number Publication Date
KR20120000299A true KR20120000299A (ko) 2012-01-02
KR101666020B1 KR101666020B1 (ko) 2016-10-25

Family

ID=44773227

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020100060597A KR101666020B1 (ko) 2010-06-25 2010-06-25 깊이 영상 생성 장치 및 그 방법

Country Status (3)

Country Link
US (1) US9366759B2 (ko)
EP (1) EP2402784B1 (ko)
KR (1) KR101666020B1 (ko)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20130136872A (ko) * 2012-06-05 2013-12-13 삼성전자주식회사 깊이 영상 생성 방법 및 장치, 깊이 영상 처리 방법 및 장치
KR20150092612A (ko) * 2014-02-05 2015-08-13 엘지전자 주식회사 입체적 형상을 감지하기 위한 카메라 및 그것의 제어 방법
KR20150139831A (ko) * 2013-03-25 2015-12-14 엘지전자 주식회사 깊이 영상 획득 장치 및 그를 이용한 디스플레이 장치
KR20170140786A (ko) * 2016-06-13 2017-12-21 엘지전자 주식회사 야간 영상표시 장치
US10324033B2 (en) 2012-07-20 2019-06-18 Samsung Electronics Co., Ltd. Image processing apparatus and method for correcting an error in depth

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI470485B (zh) * 2012-03-29 2015-01-21 Wistron Corp 可偵測筆觸壓力的觸控筆
CN104519342B (zh) 2013-09-30 2017-07-21 联想(北京)有限公司 一种图像处理方法和装置
US9799117B2 (en) 2013-09-30 2017-10-24 Lenovo (Beijing) Co., Ltd. Method for processing data and apparatus thereof
JP6231940B2 (ja) * 2014-05-08 2017-11-15 浜松ホトニクス株式会社 測距装置及び測距装置の駆動方法
CN105872520A (zh) * 2016-04-25 2016-08-17 京东方科技集团股份有限公司 显示装置和显示方法
CN111034177B (zh) * 2017-09-14 2022-06-28 新唐科技日本株式会社 固体摄像装置以及具备该固体摄像装置的摄像装置
US10663565B2 (en) 2017-09-19 2020-05-26 Rockwell Automation Technologies, Inc. Pulsed-based time of flight methods and system
US10585176B2 (en) 2017-09-19 2020-03-10 Rockwell Automation Technologies, Inc. Pulsed-based time of flight methods and system
US11341771B2 (en) * 2017-10-18 2022-05-24 Sony Semiconductor Solutions Corporation Object identification electronic device
US11002836B2 (en) 2018-05-14 2021-05-11 Rockwell Automation Technologies, Inc. Permutation of measuring capacitors in a time-of-flight sensor
US10996324B2 (en) 2018-05-14 2021-05-04 Rockwell Automation Technologies, Inc. Time of flight system and method using multiple measuring sequences
US10969476B2 (en) 2018-07-10 2021-04-06 Rockwell Automation Technologies, Inc. High dynamic range for sensing systems and methods
US10789506B2 (en) 2018-09-24 2020-09-29 Rockwell Automation Technologies, Inc. Object intrusion detection system and method
CN111580119B (zh) * 2020-05-29 2022-09-02 Oppo广东移动通信有限公司 深度相机、电子设备及控制方法
CN116601485A (zh) * 2020-06-25 2023-08-15 史密斯探测公司 用于实时可配置的反向扫描器的系统和方法
CN113298778B (zh) * 2021-05-21 2023-04-07 奥比中光科技集团股份有限公司 一种基于飞行时间的深度计算方法、系统及存储介质

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE19704496C2 (de) 1996-09-05 2001-02-15 Rudolf Schwarte Verfahren und Vorrichtung zur Bestimmung der Phasen- und/oder Amplitudeninformation einer elektromagnetischen Welle
KR100820261B1 (ko) 2004-07-30 2008-04-08 마츠시다 덴코 가부시키가이샤 화상 처리 장치
JP4788187B2 (ja) * 2005-05-02 2011-10-05 パナソニック電工株式会社 空間情報検出装置
KR101344490B1 (ko) 2007-11-06 2013-12-24 삼성전자주식회사 영상 생성 방법 및 장치
KR101367281B1 (ko) 2007-11-13 2014-02-25 삼성전자주식회사 깊이 영상 생성 방법 및 장치
EP2116864A1 (en) * 2008-05-09 2009-11-11 Vrije Universiteit Brussel TOF range finding with background radiation suppression
US8035806B2 (en) 2008-05-13 2011-10-11 Samsung Electronics Co., Ltd. Distance measuring sensor including double transfer gate and three dimensional color image sensor including the distance measuring sensor
JP5585903B2 (ja) 2008-07-30 2014-09-10 国立大学法人静岡大学 距離画像センサ、及び撮像信号を飛行時間法により生成する方法
KR101483462B1 (ko) 2008-08-27 2015-01-16 삼성전자주식회사 깊이 영상 획득 장치 및 방법
EP2359593B1 (en) * 2008-11-25 2018-06-06 Tetravue, Inc. Systems and methods of high resolution three-dimensional imaging

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20130136872A (ko) * 2012-06-05 2013-12-13 삼성전자주식회사 깊이 영상 생성 방법 및 장치, 깊이 영상 처리 방법 및 장치
US10091491B2 (en) 2012-06-05 2018-10-02 Samsung Electronics Co., Ltd. Depth image generating method and apparatus and depth image processing method and apparatus
US10324033B2 (en) 2012-07-20 2019-06-18 Samsung Electronics Co., Ltd. Image processing apparatus and method for correcting an error in depth
KR20150139831A (ko) * 2013-03-25 2015-12-14 엘지전자 주식회사 깊이 영상 획득 장치 및 그를 이용한 디스플레이 장치
KR20150092612A (ko) * 2014-02-05 2015-08-13 엘지전자 주식회사 입체적 형상을 감지하기 위한 카메라 및 그것의 제어 방법
KR20170140786A (ko) * 2016-06-13 2017-12-21 엘지전자 주식회사 야간 영상표시 장치
US11560091B2 (en) 2016-06-13 2023-01-24 Lg Electronics Inc. Night vision display device

Also Published As

Publication number Publication date
EP2402784A2 (en) 2012-01-04
US9366759B2 (en) 2016-06-14
EP2402784A3 (en) 2014-04-02
KR101666020B1 (ko) 2016-10-25
US20110317878A1 (en) 2011-12-29
EP2402784B1 (en) 2019-08-28

Similar Documents

Publication Publication Date Title
KR20120000299A (ko) 깊이 영상 생성 장치 및 그 방법
KR101652393B1 (ko) 3차원 영상 획득 장치 및 방법
JP6587185B2 (ja) 距離画像生成装置及び距離画像生成方法
CN109477710B (zh) 基于点的结构化光系统的反射率图估计
JP6676866B2 (ja) 測距撮像装置及び固体撮像素子
JP5739174B2 (ja) 距離情報抽出方法及び該方法を採用した光学装置
JP5743390B2 (ja) 測距装置、及び測距方法
KR102561099B1 (ko) ToF(time of flight) 촬영 장치 및 다중 반사에 의한 깊이 왜곡 저감 방법
JP6435513B2 (ja) 測距撮像装置及びその測距方法、固体撮像素子
CN110458778A (zh) 一种深度图像去噪方法、装置及存储介质
US9897698B2 (en) Intensity-based depth sensing system and method
KR101955334B1 (ko) 3차원 영상 획득 장치 및 상기 3차원 영상 획득 장치에서 깊이 정보를 추출하는 방법
JPWO2014097539A1 (ja) ３次元測定装置および３次元測定方法
KR20120071970A (ko) 3차원 영상 획득 장치 및 상기 3차원 영상 획득 장치에서 깊이 정보를 추출하는 방법
CN105190426A (zh) 飞行时间传感器装仓
WO2015128915A1 (ja) 測距装置及び測距方法
US9746547B2 (en) Method and apparatus for generating depth image
CN111352121B (zh) 飞行时间测距系统及其测距方法
CN111896971B (zh) Tof传感装置及其距离检测方法
KR101367281B1 (ko) 깊이 영상 생성 방법 및 장치
EP3756164B1 (en) Methods of modeling a 3d object, and related devices and computer program products
US9451177B2 (en) Methods and apparatus for high speed camera
JP6313617B2 (ja) 距離画像生成装置、物体検出装置および物体検出方法
EP3663801A1 (en) Time of flight sensor module, method, apparatus and computer program for determining distance information based on time of flight sensor data
JP6159811B2 (ja) 解像度および焦点改善

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20190910

Year of fee payment: 4