KR20160045670A - 비행-시간 카메라 시스템 - Google Patents

비행-시간 카메라 시스템 Download PDF

Info

Publication number
KR20160045670A
KR20160045670A KR1020167001148A KR20167001148A KR20160045670A KR 20160045670 A KR20160045670 A KR 20160045670A KR 1020167001148 A KR1020167001148 A KR 1020167001148A KR 20167001148 A KR20167001148 A KR 20167001148A KR 20160045670 A KR20160045670 A KR 20160045670A
Authority
KR
South Korea
Prior art keywords
cameras
tof
camera
camera system
depth
Prior art date
Application number
KR1020167001148A
Other languages
English (en)
Inventor
니에우베노베 다니엘 반
줄리앙 톨로트
Original Assignee
소프트키네틱 센서스 엔브이
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 소프트키네틱 센서스 엔브이 filed Critical 소프트키네틱 센서스 엔브이
Publication of KR20160045670A publication Critical patent/KR20160045670A/ko

Links

Images

Classifications

    • H04N13/0217—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H04N13/218—Image signal generators using stereoscopic image cameras using a single 2D image sensor using spatial multiplexing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/25—Image signal generators using stereoscopic image cameras using two or more image sensors with different characteristics other than in their location or field of view, e.g. having different resolutions or colour pickup characteristics; using image signals from one sensor to control the characteristics of another sensor
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • H04N13/0235—
    • H04N13/0257—
    • H04N13/0271—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/122—Improving the 3D impression of stereoscopic images by modifying image signal contents, e.g. by filtering or adding monoscopic depth cues
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H04N13/236—Image signal generators using stereoscopic image cameras using a single 2D image sensor using varifocal lenses or mirrors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/243—Image signal generators using stereoscopic image cameras using three or more 2D image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/246—Calibration of cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/257—Colour aspects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/41—Extracting pixel data from a plurality of image sensors simultaneously picking up an image, e.g. for increasing the field of view by combining the outputs of a plurality of sensors
    • H04N5/23229—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • General Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Measurement Of Optical Distance (AREA)
  • Studio Devices (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Cameras In General (AREA)

Abstract

본 발명은 다수의 카메라들을 포함하는 TOF 카메라 시스템에 관한 것으로, 상기 카메라들 중 적어도 하나는 TOF 카메라이고, 상기 카메라들은 공통 기판 상에 조립되며 동일한 장면(15)을 동시에 촬상하고, 적어도 2개의 카메라들은 다른 구동 파라미터들에 의해 구동된다.

Description

비행-시간 카메라 시스템{A time-of-flight camera system}
본 발명은 비행-시간(Time-Of-Flight, TOF) 범위 촬상 시스템들에 관한 것으로, 다시 말해 TOF 카메라 시스템들에 관한 것이다. 특히, 본 발명의 목적은 고품질의 장면의 3D 이미지를 제공하는 것이다.
컴퓨터 비전은, 이미지들은 취득, 처리, 분석, 및 이해하기 위한 방법들을 포함하는 성장 연구 분야이다. 그 분야의 주요 추진 주제는 장면의 이미지들을 전자적으로 지각하고 이해함으로써 인간 시각 시스템의 능력들을 복제하는 것이다. 특히, 컴퓨터 비전 연구 주제 중 하나는 깊이 인식, 또는 다른 말로 3차원(3D) 비전이다.
인간의 경우, 깊이 지각은 입체 효과(stereoscopic effect)로부터 유래되며, 상기 입체 효과에 의해 인간의 두뇌는 두 눈에 의해 포착된 장면의 약간 다른 이미지들을 융합하고, 다른 것들 중에서, 깊이 정보를 복구한다. 또한, 최근의 연구들은, 장면 내 물체들을 인식하기 위한 용량이 깊이 지각에 기여하는 것으로 나타났다.
카메라 시스템들의 경우, 깊이 정보는 용이하게 얻어지지 않고 복잡한 방법들 및 시스템들을 필요로 한다. 장면을 촬영할 때, 종래의 2차원(2D) 카메라 시스템은 장면의 각각의 지점과 주어진 RGB 색 정보를 연관시킨다. 촬상 프로세스의 끝에서, 장면의 2차원 컬러 맵이 생성된다. 표준 2D 카메라 시스템은 그러한 컬러 맵으로부터 장면 내 물체들을 쉽게 인식할 수 없는데, 이는 컬러가 장면 조도의 변동에 크게 의존하고 있고, 그것은 본질적으로 여하의 차원 정보를 보유하고 있지 않기 때문이다. 새로운 기술들이 컴퓨터 비전을 개발하고 특히 3D 촬상을 개발하기 위해 도입되어, 특히 깊이에 관련된 정보의 직접적인 포착 및 장면 또는 물체에 관련된 차원 정보의 간접적인 취득을 가능케 하였다. 3D 이미징 시스템들의 최근의 발전들은 인상적이며, 산업, 학계 및 소비자 사회에서의 증가하는 관심을 주도하였다.
3D 이미지들을 생성하기 위해 사용되는 가장 일반적인 기술은 입체 효과에 기초한다. 2개의 카메라들은 같은 장면의 사진들을 찍지만, 그들은 - 정확히 인간의 눈처럼 거리로 구분된다. 컴퓨터는 상기 2개의 이미지들을 함께 서로의 상부로 이동시켜가며 상기 이미지들을 비교하여, 일치하는 부분들과 불일치하는 것들을 탐색한다. 상기 이동된 양은 디스패리티(disparity)로 지칭된다. 이미지 내 물체들이 가장 장 일치하는 디스패리티가 컴퓨터에 의해 사용되고, 그에 따라 부가적인 카메라 센서들 기하 파라미터들 및 렌즈 사양들을 이용하여, 거리 정보, 즉 깊이 맵(depthmap)가 계산된다.
더욱 최근의 그리고 상이한 다른 기술이 도 1에 도시된 비행-시간(TOF) 카메라 시스템(3)에 의해 나타난다. TOF 카메라 시스템(3)은 전용 조명 장치(18)와 함께 카메라(1) 및 데이터 처리 수단(4)을 포함한다. TOF 카메라 시스템들은 광원(18)으로부터 물체로의 광의 비행 시간을 분석하여 장면(15)의 3D 이미지를 포착할 수 있다. 그러한 3D 카메라 시스템들은 이제 깊이 또는 거리 정보 측정이 요구되는 많은 어플리케이션들에서 사용된다. 레드-그린-블루(RGB)와 같은 표준 2D 카메라 시스템들은, 패시브 기술들로서, 다시 말해 그들은 이미지들을 포착하기 위해 주변 광을 사용하고 추가적인 광의 방출에 기초하지 않는다. 대조적으로, TOF 카메라 시스템의 기본적인 동작 원리는 전용의 조명 유닛을 사용하여 소정의 파장에서 변조된 광(16)으로, 예를 들어 적어도 하나의 소정의 주파수의 일부 광 펄스들로, 장면(15)을 조명하는 것이다. 변조된 광은 장면 내 물체들로부터 반사된다. 렌즈는, 반사된 광(17)을 수집하고 촬상 센서(1) 상에 물체들의 이미지를 형성한다. 카메라로부터의 물체들의 거리에 따라, 변조된 광, 예를 들어 소위 광 펄스들의 방출과 그들 광 펄스들의 카메라의 수신점(reception) 사이에서 지연이 발생한다. 하나의 일반적인 실시예에서, 반사 물체들과 카메라 사이의 거리는 광속도 상수값 및 관측된 시간 지연의 함수로서 결정될 수 있다. 더욱 복잡하고 신뢰할 수 있는 다른 하나의 실시예에서, "3D time-of-flight distance measurement with custom solid-state image sensors in CMOS/CCD technology" 이라는 제목의 로버트 랭 박사(Robert Lange phd)의 논문에서 소개된 바와 같이, 방출된 참조 광 펄스들과 포착된 광 펄스들 사이의 복수의 위상 차이가 결정될 수 있고, 깊이 정보를 추정하기 위해 사용될 수 있다.
TOF 카메라 시스템은 여러 요소들을 포함하며, 그들 각각은 별개의 기능을 갖는다.
1) TOF 카메라 시스템의 제1 구성요소는 조명 유닛(18)이다. 펄스를 사용하는 경우, 각각의 광 펄스의 펄스 폭은 카메라 범위를 결정한다. 예를 들어, 50 ns의 펄스 폭의 경우, 폭이 7.5 m로 제한된다. 결과적으로, 장면의 조명은, TOF 카메라 시스템의 동작에 중요해지고, 조명 유닛들 용 고속 구동 주파수 요건들은 짧은 광 펄스들을 생성하는 발광 다이오드들(LEDs) 또는 레이저들과 같은 특수 광원들의 사용을 필요로 한다.
2) TOF 카메라 시스템의 다른 구성요소는 촬상 센서(1) 또는 TOF 센서이다. 촬상 센서는 일반적으로 장면의 이미지를 형성하는 픽셀들의 매트릭스 어레이를 포함한다. 픽셀들 별로, 사진 요소가 광 전자기 방사선들뿐만 아니라 그와 관련된 전자 회로에 민감하다는 것이 이해되어야 한다. 픽셀들의 출력은 조명 유닛으로부터 장면 내 물체로의 그리고 다시 반사되어 상기 물체로부터 촬상 TOF 센서로의 광의 비행 시간을 결정하는데 사용될 수 있다. 비행 시간은 별도의 처리 유닛에서 계산될 수 있고 이는 TOF 센서에 결합될 수 있거나 또는 직접 TOF 센서 자체에 통합될 수 있다. 광이 조명 유닛으로부터 물체로 그리고 상기 물체로부터 다시 촬상 센서로 이동함에 따른, 광의 타이밍을 측정하기 위한 다양한 방법들이 알려져 있다.
3) 촬상 광학기들 (2) 및 처리 전자기들(4)도 TOF 카메라 시스템 내에 제공된다. 이미징 광학기는 일반적으로 적외선 영역에서, 장면 내 물체들로부터 반사된 광을 수집하고, 상기 조명 유닛에 의해 방출된 광과 동일한 파장에 있지 않는 광을 필터링하도록 설계된다. 일부 실시예들에서, 광학기는 RGB 색상 측정들을 위한 가시 조명 및 TOF 원리 측정들을 위한 적외선 조명의 포착을 가능케 할 수 있다. 처리 전자기는, 여러 특징들 중에서, (전형적으로 햇빛과 같이) 유사한 파장을 갖지만 조명 유닛에 의해 방출되는 것들과 다른 주파수들의 광을 필터링하기 위해 TOF 센서를 구동한다. 불필요한 파장들 또는 주파수들을 필터링하여, 배경 광 등이 효과적으로 억제될 수 있다. 처리 전자장치는 상기 조명 유닛 및 이미징 센서 모두를 위한 드라이버들을 더 포함하고, 그에 따라 이들 구성요소들은 정확하게 동기되어 제어될 수 있어, 정확한 이미지 포착이 수행되고 장면의 신뢰성 있는 깊이 맵이 결정되는 것이 보장된다.
TOF 카메라 시스템을 구성하는 요소들의 선택은 중요하다. TOF 카메라 시스템들은 사용된 요소들의 성능들 및 유형에 따라 수 밀리미터에서 몇 킬로미터까지의 넓은 범위를 담당(cover)하는 경향이 있다. 그러한 TOF 카메라 시스템들은 센티미터 미만으로부터 몇 센티미터 또는 심지어 미터까지 변동하는 저리 정확도를 가질 수 있다. TOF 카메라 시스템들과 함께 사용될 수 있는 기술들은 디지털 시간 카운터들을 갖는 변조된 광원들, 위상 검출기들을 갖는 무선 주파수(RF) 변조된 광원들, 및 범위-게이트 촬상기들(range-gated imagers)을 포함한다.
TOF 카메라 시스템은 여러 단점들을 겪는다. 현재의 TOF 촬상기들 또는 TOF 센서들에서, 픽셀 피치들은 일반적으로 10 μm 내지 100 μm 의 범위를 갖는다. 기술의 신규성 및 TOF 픽셀의 구조가 매우 복잡하다는 사실로 인해, 효율적인 신호 대 잡음비(SNR)를 유지하고 저비용으로 대량 생산에 관련된 요건을 유지하면서 작은 픽셀 크기를 설계하는 것은 어렵다. 이것은 TOF 이미지에 대한 상대적으로 큰 칩 크기들을 야기한다. 기존의 광학기들로는, 그러한 큰 크기들의 이미지 센서는 다이에 맞게 크고 두꺼운 광 스택들을 필요로 한다. 일반적으로, 휴대용 대량 소비자 제품에 임베디드 가능하게 되도록, 필요한 해상도와 장치의 두께 사이에서 타협이 발견되어야 한다.
나아가, TOF 카메라 시스템에 의해 얻어진 깊이 측정은 여러 이유들로 잘못 판정될 수 있다. 첫째로, 그러한 시스템들의 해상도가 개선되어야 한다. 큰 픽셀 사이즈는 큰 센서 칩을 필요로 하며, 따라서 센서 해상도는 TOF 센서 크기에 의해 제한된다. 둘째로, 그러한 시스템들의 깊이 측정 정밀도는 여전히 개선 될 필요가 있는데, 이는 복수의 파라미터들 중에서, 신호 대 잡음비 및 변조 주파수(조작 깊이 측정 범위 및 깊이 정밀도를 결정하는 변조 주파수)에 매우 의존하기 때문이다. 특히, 깊이 측정의 불확실성 또는 부정확성은 "깊이 앨리어싱(depth aliasing)"이라는 효과 때문일 수 있고 이에 대해서는 이후 상세히 설명될 것이다. 또한, 불확실성은 배경의 추가 광의 존재에서 발생할 수 있다. 실제로, TOF 카메라 시스템들의 픽셀들은 입사광을 수신하고 그것을 예를 들어 전류 신호와 같은 전기 신호로 변환하는 감광 요소를 포함한다. 장면의 포착 동안, 배경 광이 센서가 민감한 파장에서 너무 강한 경우, 픽셀들은 장면 내의 물체들로부터 반사되지 않은 추가 광을 수신할 수 있고, 이는 측정된 거리를 변경시킬 수 있다.
현재, TOF 촬상 분야에서, 적어도 부분적으로 기술의 개별 주요 단점들을 극복 하기 위해 여러 옵션들이 이용 가능하며, 예를 들어 개선된 변조 주파수 시스템들은 더욱 강력하고 정확한 깊이 측정, 디앨리어싱(dealiasing), 또는 배경 광 강건성 메커니즘을 가능케 한다.
대량-생산된 휴대용 장치들의 집적에 따르게끔 하기 위해, 전체 시스템의 두께를 제한하고 시차 문제들(parallax issues)을 감소시키면서도 전술한 단점들을 함께 해결하고 추가적으로 TOF 카메라 시스템들의 해상도를 개선시키기 위한 해결책이 제안된다.
본 발명은 여러 카메라들을 포함하는 TOF 카메라 시스템에 관한 것으로, 상기 카메라들 중 적어도 하나는 TOF 카메라이고, 상기 카메라들은 공통 기판 상에서 조립되고 동일한 장면을 동시에 촬상하며 적어도 2개의 카메라들은 다른 구동 파라미터들로 구동된다.
다른 파라미터들로 구동된 다른 카메라로부터의 정보와 적어도 결합된 적어도 하나의 TOF 카메라 깊이 정보를 사용하여, 모든 카메라 정보의 융합은 함께 결화 이미지의 품질을 정제하고 향상시키는데 도움을 주고, 특히 포착된 장면의 더욱 높은 품질의 깊이 맵을 얻는데 도움을 주는데, 이는 이미지들이 카메라들에 의해 동시에 얻어지기 때문이다.
바람직하게는, 카메라들의 센서들은, TOF 카메라 시스템의 두께 및 크기를 감소시키는, 예를 들어 실리콘 기반 기판 또는 웨이퍼와 같은 공통 기판 상에서 제조되고 조립된다. 이 공통 기판은 또한 여러 카메라들의 사용으로부터 야기되는 시차 문제를 감소시키는 것도 가능케 한다.
바람직하게는, TOF 카메라 시스템은 또한 여러 렌즈들의 어레이도 더 포함하고, 상기 어레이의 각각의 렌즈는 카메라들 각각과 연관된다. 이들 렌즈들은 충돌하는 광을 그들의 대응하는 연관된 카메라 센서의 감광 영역 상으로 집속하는데 도움을 준다.
바람직하게는, 구동 파라미터들은 입체 기술을 구현하기 위한 및/또는 디앨리어싱 알고리즘을 구현하기 위한 및/또는 배경 광 강건성 메커니즘을 구현하기 위한 파라미터들을 포함한다. 본 명세서에서의 디앨리어싱은 이하에서 설명될 것이다.
더욱 바람직하게는, TOF 카메라 시스템의 적어도 2개의 카메라들은 다른 노출 시간들 동안 동일한 장면을 촬상할 수 있다.
더욱 바람직하게는, TOF 카메라 시스템은 각각이 동일한 장면을 촬상하는 TOF 센서를 갖고 다른 변조 주파수들로부터 거리 정보를 결정하도록 구동되는 2개의 TOF 카메라들을 포함할 수 있다.
더욱 바람직하게는, TOF 카메라 시스템은 적외선 및/또는 가시 범위의 광을 필터링하는 수단을 포함할 수 있다. 그러한 광 필터링 수단의 사용은 광의 튜닝을 가능케 하여 각각의 센서가 어느 범위에 민감하여야 하는지에 관한 파장이 선택된다.
본 발명은 첨부한 도면에 비추어, 이하의 상세한 설명을 읽음으로써 더욱 잘 이해될 것이다.
도 1은 TOF 카메라 시스템의 기본 동작 원리를 도시한다.
도 2는 멀티-렌즈 TOF 센서 스택을 도시한다.
도 3은 도 2에 도시된 바와 같은 스택에서 사용되는 표준 TOF 센서를 도시한다.
도 4는 도 2에 도시된 바와 같은 스택에 맞춤 최적화된 TOF 센서를 도시한다.
도 5는 4개의 별도의 TOF 센서들를 이용하는, 도 2에 도시된 바와 같은 스택을 도시한다.
도 6은 컬러 및 적외선 필터도 사용하는, 멀티-렌즈 TOF 센서 스택을 도시한다.
본 발명은 특정 실시예들 및 특정 도면들을 참조하여 설명될 것이지만, 본 발명은 이에 한정되지 않는다. 도면들은 단지 개략적이며 비-제한적이다. 도면에서, 일부 요소들의 크기는 과장될 수 있으며, 도시적인 목적을 위해 실크기로 그려진 것이 아니다.
도 1에 도시된 바와 같이, 종래의 TOF 카메라 시스템은, 1개의 TOF 센서(1) 및 그와 연관된 광학 수단(2)(예를 들어, 렌즈), TOF 원리 사양에 대하여 장면(15)을 조명하는 조명 유닛(18), 및 조명 유닛 및 TOF 센서를 적어도 구동하기 위한 전자 회로(4)를 포함한다. 일반적으로 광은 적외선 파장 영역에 있고 장면을 향하여 방출되는 주기적으로 변조된 펄스(16)를 포함한다. TOF 센서 및 그와 관련된 광학 수단은 장면으로부터 다시 반사된 상기 방출된 변조 광의 포착을 가능케 하도록 설계된다. 장면 물체들 중간의 거리 정보를 결정하기 위한 하나의 옵션 및 그렇게 형성된 TOF 카메라 시스템은 방사된 펄스된 또는 변조된 광과 TOF 센서에서 다시 수식한 광 사이의 위상 지연을 결정하는 것이다.
비행-시간 이미지, 즉 깊이 맵의 품질 및 해상도를 개선하기 위해, 그리고 TOF 카메라 시스템의 두께를 감소시키기 위해, 본 발명은, 여러 카메라들을 포함하는 신규 TOF 카메라 시스템에 관한 것이며, 상기 카메라들 중 적어도 하나는 TOF 카메라이고, 상기 카메라들은 공통의 지지체 상에서 조립되고 같은 장면을 촬상하며, 적어도 2개의 카메라들은 다른 구동 파라미터들에 의해 구동된다.
카메라는 충돌하는 광의 전자기 복사를 포착하기 위한 수단을 적어도 포함하는 전자 장치 시스템을 의미한다. 예를 들어, 카메라는 센서 장치의 하나의 단일 픽셀에 의해 적어도 표현될 수 있다. 카메라는 센서 장치 상의 픽셀들의 그룹에 의해 또는 전체 센서 장치에 의해 표현될 수도 있다. 바람직하게는, 적어도 하나의 카메라가 결정되도록 하는 센서 장치는 픽셀들의 매트릭스 어레이 및 그들을 동작시키기 위한 회로를 포함한다. 상기 회로는 사용되는 적어도 하나의 센서 장치로부터의 각각의 카메라 및/또는 각각의 픽셀에 의해 측정된 데이터를 더욱 처리하기 위한 전자 수단을 더 포함할 수 있다. 또한, 본 발명은 각각 적어도 하나의 센서 장치를 갖는 복수의 독립적인 카메라를 포함하는 TOF 카메라 시스템에 더욱 일반적으로 관련될 수 있으며, 복수의 독립적인 카메라들 중 중 적어도 하나는 TOF 센서 장치를 포함한다.
이제 본 발명은 4-카메라 배열의 대칭 구성에 대하여 설명될 것이다. 이 시점에서 본 발명의 측면들은 적어도 하나의 렌즈와 각각 연관된 4개의 카메라들에 한정되지 않으며, 사용된 예들에 나타난 대칭구조에도 한정되지 않음을 유의할 필요가 있다. 당업자는 용이하게, 예를 들어, 상부에 2개의 카메라들이 정의되고 및/또는 다르게 구성된 관점들을 갖는 적어도 하나의 센서와 연관된 2개의 렌즈들과 같이, 더 많은 또는 적은 수의 렌즈들 및 카메라들에 대해서도 설명된 원리들을 용이하게 추론할 수 있을 것이다.
여러 카메라들 중 적어도 하나가 TOF 카메라인 여러 카메라들을 포함하는 TOF 카메라 시스템을 설계하는 경우, 상기 카메라들을 배열하기 위한 다양한 구성들이 가능하다.
도 2에서, 제1 구성은 지지체, 이미지 센서 평면(100)의 상부 상에 4개의 렌즈들 A, B, C, D (101-104)로 도시된다. 각각의 렌즈는 이미지화 된 장면에서 나오는 출돌 광(impinging light)이 이미지 센서 평면의 각각의 개별 카메라 상에 집속되는 것을 가능케 한다. 예를 들어, 일 실시예에서, 각각의 렌즈는 TOF 이미지 센서 상에 정의된 각각의 카메라에서 포착된 광을 집속시킨다. 4개의 개별 이미지들의 융합(fusion)은 더 큰 해상도 단일 카메라 TOF 센서 시스템보다 낮은 두께와 높은 해상도 이미지를 제공할 수 있다.
도 3 내지 도 5에서, 지지체, 즉 이미지 센서 평면(100), 및 4개의 카메라들(107) 및 그들의 관련 회로(110)가 도시된다. 지지체 내에서 이미지 센서 회로의 여러 가능한 구성들이 표시된다.
1) 도 3에 도시된 제1 구성은, 가장 단순하다. 하나의 단일 TOF 이미지 센서 장치가 사용된다; 그것은 4개의 렌즈들(101 ~ 104)로 구분되고 구성된 4개의 이미지 영역들(107)(즉, 카메라들)을 담당한다. 이미지 센서 회로(110)는 다양한 아날로그 및/또는 디지털 블록들(신호 조절, 아날로그-디지털 변환, 필터링, 이미지 센서 처리 등)을 포함하며, 이 경우 이미지 센서 회로(110)는 이미지 센서의 측면에 도시되고 모든 TOF 픽셀들은 그룹화된다. 이 방법의 장점은 기존의 TOF 이미지 센서 장치들이 이러한 원리에 사용될 수 있다는 것이다. 이 방법의 한 가지 단점은 영역들(107) 사이에 많은 TOF 픽셀들이 광학기(101-104)의 이미지 평면에 있지 않고 한편으로는 쓸모가 없다는 것이다. 이 접근법의 또 다른 단점은 그러한 시스템은 제한된 해상도의 문제를 겪는다는 것인데, 이는 효율적인 TOF 센서 장치는 본질적으로 주어진 크기에 대해 그 해상도가 제한되기 때문이다. 이 방법의 또 다른 단점은 장면으로부터의 정보, 즉 깊이 맵 및 조명 또는 신뢰 그레이스케일 맵에 기초하여서만 TOF 원리를 제공하는 것이다.
2) 제2 가능 구성이 도 4에 도시되며, 여기서 여러 카메라들은 공통 지지체 상에 조립(예를 들어, 동일한 실리콘 기판 상에 설계)된다. 이 구성에서, 각각의 카메라는 그것의 고유 렌즈에 의해 덮여있다. 광학기에 의해 구분된(deliminated) 영역들에 위치된 카메라들만 이미지들을 생성하고 있다. 이 방법으로, 이미지 센서 회로는 영역들(107) 사이의 여유 공간에 할당될 수 있다. 도 4에서, 영역(107)들 사이의 여유 공간이 "십자가(corss)"를 형성하는 직사각형 스트립들의 형태로 나타날 수 있고, 카메라들을 동작시키기 위한 전자 회로는 실리콘을 절약하고 그렇게 형성된 센서 시스템의 크기를 최소화하도록 설정될 수 있다. 도 4에 도시된 바와 같이, 얻어진 이미지 센서 시스템은 도 2에서의 이미지 센서 시스템보다 크기가 작다. 이 제2 구성은 비용과 보드 공간을 최적화한다. 물론, 카메라들 사이에서 사용 가능한 여유 공간을 채우는 전자 회로가 예를 들어 십자가 이외에, 예를 들어 줄무늬(stripe)의 형태로 형성된 다른 작은 최적화된 형태로 설계될 수 있다는 것에 유의하여야 한다.
3) 제3 가능 구성이 도 5에 도시되어 있고, 여기서 (4개의 개별 TOF 이미지 센서들에 의해 형성된) 4개의 카메라들은 도 2의 4개의 렌즈들(101-104) 아래에 배치되고 함께 하나의 단일 지지체를 형성한다. 이 구성에서, 각각의 TOF 센서는 그것의 고유 렌즈에 의해 덮이며, 그것의 고유 회로에 의해 지배된다. 이 방법에서, 4개의 개별 카메라 교정들 및 탑재 정렬 단계들이 요구된다.
본 발명의 제1 실시예에 따르면, TOF 카메라 시스템은 여러 카메라들을 포함하고, 상기 카메라들 중 적어도 하나는 TOF 카메라이며, 상기 카메라들은 공통 기판 상에 조립되고 동시에 동일한 장면을 촬상하고, 적어도 2개의 카메라들은 다른 구동 파라미터들에 의해 구동된다.
공통 기판은, 카메라들이 공통 베이스 상에서, 즉 예를 들어 마이크로전자 분야에서 흔히 사용되는 것들과 같은 웨이퍼와 같이, 카메라들이 직접 제조될 수 있는 표면을 제공하는 하부 물질 상에서 제조되는 것으로 이해되어야 한다. 예를 들어, 이 기판은 실리콘 기반일 수 있고, 상기 복수의 카메라들은 이 실리콘으로로부터 만들어질 수 있다.
카메라들이 동일한 장면을 동시에 촬상한다는 사실은, 예를 들어 일부 다른 파라미터들로 결정된 적어도 하나의 다른 일 카메라 포착에 대한 일부 결정된 파라미터들로 일 카메라 포착으로부터 움직임에 무관한 아티팩트들을 나타내는 개선된 측정치를 얻기 위해, 상기 카메라들이 동시에 장면으로부터 나오는 광에 노출되는 것을 의미하며, 순차적으로 노출되는 것을 의미하는 것이 아니다.
TOF 카메라 시스템은 위에 나타난 구성들에 따라 설계될 수 있다. 바람직하게는, TOF 카메라 시스템은 도 4에 표시된 구성에 따라 설계될 수 있고, 상기 카메라들은 공통 기판 상에서 조립된다. 이 기판은 실리콘-기반일 수 있지만, 본 발명은 그에 제한되지 않는다.
카메라들이 공통 기판 상에서 조립되며 동일한 장면을 촬상한다는 사실 그리고 적어도 2개의 카메라들이 다른 구동 파라미터들에 의해 동시에 구동된다는 사실은, 특히 동일한 장면으로부터 다른 유형의 정보를 동시에 얻는 것을 가능케 하며, 이 정보는 예를 들어 컬러, 조명 또는 깊이 맵 정보 중 적어도 하나이다. 바람직하게는, 이 정보는 결정된 해상도의 여러 깊이 맵들일 수 있고 선택적으로 바람직하게는 더 높은 해상도의 컬러 이미지일 수 있다.
각각의 단일 이미지에 포함된 다른 정보의 융합, 즉 상기 TOF 원리에 따라 얻어진 적어도 하나의 깊이 맵과 적어도 깊이 정보 또는 컬러 정보를 포함하는 적어도 다른 이미지와의 융합은, 더욱 개선된 품질로 하나의 단일 결과 이미지의 연산을 가능케 한다. "융합"에 의해, 개별 이미지들과 관련된 정보의 조합이 더 높은 해상도 또는 각각의 단일 픽셀에 대한 더 폭은 품질의 깊이 측정치를 나타내는 "슈퍼-이미지" 또는 개선된 및/또는 정제된 결과 이미지를 생성함이 이해되어야 한다.
TOF 카메라 시스템을 사용함으로써, 개별 이미지들을 하나의 "슈퍼-이미지"로 융합, 예를 들어 4개의 개별 이미지들을 융합하는 것이 가능하다. 일 바람직한 실시예에서, 상기 합성으로부터 나타나는 소위 "슈퍼-이미지"의 해상도 및 깊이 맵 정확성 정보 모두는 단일 개별 이미지들 각각으로부터 생성되는 개별 정보와 비교하여 개선된다.
일 실시예에서, 렌즈 어레이의 렌즈들 중 적어도 하나 또는 TOF 시스템의 카메라들 중 적어도 하나는, 상기 렌즈가 다른 초점 길이를 갖는 이미지를 전달할 수 있고, 카메라들이 다른 크기 및/또는 다른 해상도일 수 있다는 점에서, 다른 것들과 다를 수 있다. 예를 들어, 2개의 카메라들 및 2개의 TOF 컬러 카메라를 포함하는 TOF 카메라 시스템은, 크기 및 해상도의 면에서 TOF 카메라들(각각 TOF 센서들)과는 다른 컬러 카메라들(각각 컬러 센서들)을 가질 수 있다. 추가적으로, TOF 카메라와 연관된 렌즈는 상기 컬러 카메라들과 관련된 것들과 다른 초점 거리일 수 있다. TOF 카메라들 및 컬러 카메라들에 의해 관찰 된 장면은 동일하고, 각 종류의 카메라들에 연관된 파라미터들, 즉 해상도, 렌즈 초점 거리, 센서 크기들은 각 종류의 카메라에 의해 포착된 다른 이미지들로 귀결될 수 있다. 예를 들어 컬러 이미지들로부터 입체 원리에 의해 추정된 깊이 맵은 적어도 하나의 TOF 카메라에 의해 얻어진 깊이 맵에 의해 촬상된 장면의 약간 다른 모습(view)을 나타낼 수 있다.
본 명세서에서 TOF 카메라 시스템에 구현될 수 있는 구동 파라미터들이 이하에 나타나지만, 그에 제한되지는 않는다.
일 실시예에서, 적어도 2개의 카메라들은 입체 기술(stereoscopic technique)을 구현하기 위한 파라미터들에 의해 구동될 수 있다. 입체영상(Stereoscopy)은 양안 시각을 이용하여 이미지의 깊이의 오해(illusion)를 생성하거나 강화하는 기술을 말한다. 이 기술에서는, 머리에 있는 눈들의 다른 위치들로 인하여, 장면의 양안 시각이 2개의 눈들에서의 장면의 2개의 약간 다른 이미지들을 생성한다. 이들 차이들은, 뇌가 깊이 지각을 제공하는 시각적 장면 내 깊이를 계산하기 위해 사용할 수 있는 정보를 제공한다. 일 실시예에서, 수동적인 입체 계산은 본 발명의 적어도 2개의 관점들의 조합에 기초하여, 비행-시간 깊이 계산 다음에 사용될 수 있다. 이 계산은, 디앨리어싱을 식별하거나 해결하기 위해, 매우 개략적일(coarse) 수 있다. 바람직하게는, 가장 멀리 떨어진 영역들(107), 즉 가장 멀리 있는 카메라들이 사용될 수 있다. 더 바람직하게는, 4개의 픽셀들의 경우, 대각 영역들은 그 구동 파라미터들을 구현하기 위해 사용될 수 있다.
일 도출된 실시예에서, 동일한 해상도의 적어도 2개의 카메라들은, 적어도 하나의 TOF 카메라로부터 기원한 깊이 맵이 융합될 수 있는 입체 원리 기반 깊이 측정에 입력을 제공하는데 사용될 수 있다.
입체 기술을 사용하는 본 발명의 다른 도출된 실시예에서, 적어도 2개의 TOF 카메라들은 다른 파라미터들로 각각 구동되어 동일한 장면의 2개의 깊이 맵들에 다른 고유 측정 품질이 제공된다. 그들 깊이 맵들은 서로 융합되어 2개의 원래의 개별의 깊이 맵 중 어느 것보다 더 높은 품질의 깊이 맵이 제공된다. TOF 카메라 시스템은 스테레오(stereo)로부터 깊이 맵을 생성하는 입체 기술을 구현하기 위해 2개의 TOF 카메라들에 의해 기본적으로 제공된 2개의 개별 IR 조명 또는 신뢰도 맵들을 더욱 사용할 수도 있고, 이는 TOF 카메라들로부터의 2개의 깊이 맵들 또는 그들의 융합에 의해 생성된 깊이 맵 중 적어도 하나를 융합하고 정제하는데 사용될 수 있다. 그러한 실시예는 특히, 예를 들어, 소정의 광 펄스 주파수들 또는 조명 전력이 얻는 것을 허용하지 않는 추가 거리 측정 범위를 얻는데 관계될 수 있다.
센서들 중 적어도 하나가 TOF 원리로 동작하는 TOF 센서인, 일 특정 실시예에서, 적어도 2개의 다른 센서들은, 다른 파라미터로 동작하는 RGB 센서들일 수 있고, 더 높은 해상도를 갖고 입체 시야 원리로부터 깊이 맵을 결정하기 위해 사용될 수 있다. 입체 시야 기반 고해상도 깊이 맵은 적어도 하나의 TOF 센서 상에서 TOF 원리로부터 얻어진 더 낮은 해상도의 깊이 맵과의 융합에 사용될 수 있다. TOF 원리 깊이 측정치보다 낮은 추정치 및 홀들(holes)의 문제를 겪는 입체 시야 기반 깊이 맵, TOF 카메라에서 얻어진 깊이 맵은, 더 높은 해상도지만 입체 시야 원리에 의해 얻어진 미완성 깊이 맵을 정제하는 데 사용될 수 있다. 바람직하게는, 상기 융합은 TOF 카메라 시스템의 회로 내에서 작동될 수 있고, 결과물인 개선된 깊이 맵은 또한 입체 시야 포착으로부터 유래된 컬러 정보를 포함할 수 있다. 이는 결과물 이미지를 고해상도 센서 중 하나와 적어도 유사한 해상도로 개선시켰으나, 최신 기술로 보간 계산 수단을 사용하여 더 낮은 또는 더 높은 해상도가 될 수도 있다.
다른 실시예에서, TOF 카메라 시스템의 카메라들 상에, 그리고 특히 TOF 카메라 시스템의 TOF 카메라들 상에 구현될 수 있는 다른 구동 파라미터는, 장면으로부터 각각의 개별 TOF 카메라 상으로 충돌되어 나오는 경우에 방출된 펄스된 조명 및 그들의 동기화된 포착들에 적용되는 다른 주파수들의 사용이다. 카메라들을 다르게 구동하는 이 특정 실시예는 TOF 측정치들 상의 깊이 측정 디앨리어싱 원리를 적용하도록 의도된 것이다. 신호 처리 및 관련된 원리들에서, 앨리어싱은 샘플링된 경우 서로 다른 신호들이 구별될 수 없게 되어버리는 효과를 지칭한다. 시간적 앨리어싱은 샘플들이 시간적으로 구별될 수 없게 되는 경우이다. 시간적 앨리어싱은 주기적으로 샘플링된 신호가 주기적인 내용을 가지고 있을 때 발생할 수 있다. TOF 원리로 동작하는 시스템들에서, 주어진 변조 주파수에서, 깊이 앨리어싱은, 소정의 동작 범위를 갖는 TOF 카메라 시스템으로부터 다른 거리들에 있는 물체에 대해 동일한 거리로 측정되는 경우, 기록되어야 할 거리에 관한 모호성을 야기한다. 예를 들어, 1 미터 내지 5미터의 동작 범위를 갖는 단일 변조 주파수로 동작되는 TOF 카메라 시스템은, 변조된 광이 카메라 상으로 충분히 반사된 경우, 카메라 시스템으로부터 6미터에 있는 임의의 물체를 (주기적 특성으로 인해) 1미터에 있는 것으로 측정하게 된다.
일 실시예에서, TOF 카메라 시스템의 TOF 카메라 중 적어도 하나는 그러한 디앨리어싱(dealiasing) 원리에 의해 구동될 수 있고, 더욱 특히 관련된 디앨리어싱 알고리즘 또는 방법에 구동될 수 있다. 이 적어도 하나의 TOF 카메라는 적어도 2개의 서로 다른 주파수들을 사용하는 TOF 원리에 따라 거리 정보를 측정하도록 동작되고 구동될 수 있고 이 TOF 카메라에 의해 얻어진 거리 측정치는 디앨리어싱 원리에 따라 디앨리어싱(dealiased)될 수 있다. 이후, 깊이 맵의 형태의 거리 측정치들은 TOF 카메라 시스템의 다 른 카메라들로부터의 측정된 정보와 융합될 수 있고, 상기 다른 카메라들은 다른 파라미터들로 구동된다. 예를 들어, 다른 정보는 컬러 이미지 및/또는 TOF 원리 또는 입체 시야 원리로부터 유래된 더 높은 또는 더 낮은 해상도 중 적어도 하나일 수 있다.
추가적인 바람직한 실시예에서, 상이한 디앨리어싱 기술들이 다른 카메라들, 즉 영역들(107)에 구현될 수 있어, 각각의 카메라가 다른 디앨리어싱된 깊이 측정을 제공함에 따라 더욱 강력한 디앨리어싱 이점들이 산출된다. 다른 예는, 서로 다른 파라미터들로 동작하는 적어도 2개의 TOF 카메라들을 포함하는 TOF 카메라 시스템이고, 상기 다른 파라미터들은 그들의 대응하는 포착이 동기화되는 변조 주파수이다. 적어도 2개의 서로 다른 주파수들이 TOF 카메라들을 구동하는데 사용될 수 있다. 변조된 조명 광은 적어도 2개의 소정의 주파수들을 포함할 수 있고, 하나는 기준 주파수이고 추가 주파수는 예를 들어 기준 주파수보다 3배 더 낮다. TOF 카메라 시스템의 하나의 제1 TOF 카메라는 상기 3배 낮은 변조 주파수로 동기화되어 구동될 수 있고 반면에 TOF 카메라 시스템의 다른 TOF 카메라는 기준 주파수에 동기화되어 구동될 수 있다. 이 방법에서, TOF 카메라 시스템의 2개의 TOF 카메라들은 다른 명확한 거리 범위에서 동시에 깊이 앨리어싱된 측정치들을 취득할 수 있고 이러한 깊이 측정치들은 단일 디앨리어싱된 깊이 맵을 제공하도록 더욱 결합될 수 있다. 이 원리는 필요한 경우 반복될 수 있고, 그에 따라 전체 TOF 카메라 시스템으로의 매우 높은 명확한 거리가 산출된다.
TOF 원리에 따라 동작하는 적어도 하나의 TOF 카메라를 포함하는 일 도출된 실시예에서, 그렇게 생성된 디앨리어싱된 깊이 맵은 적어도 하나의 다른 카메라로부터의 다른 측정치들과 융합될 수 있고, 상기 다른 측정치는 TOF 원리 또는 입체 시야 원리로부터 유래된 다른 동일 해상도 깊이 맵, 동일 해상도 컬러 맵, TOF 원리 또는 입체 시야 원리로부터 유래된 더 높은 해상도 깊이 맵, 더 높은 해상도 해상도 컬러 맵 중 적어도 하나이다.
TOF 기반 깊이 측정치들에 대해 디앨리어싱 원리로 동작하는 복수의 즉, 적어도 2개의 주파수들을 사용하는 경우, 제2 주파수가 더 높을수록 제2 깊이 측정치의 정확도가 더 높아짐에 유의한다. 한편, 적어도 하나의 TOF 카메라를 포함하는 TOF 카메라 시스템이 디앨리어싱 원리에 따라 동작하는 경우, 그리고 바람직하게는 2개의 TOF 카메라들이 각각 적어도 하나의 주파수로 동작하는 경우, 깊이 측정치들의 융합은 더욱 정확한 깊이 맵으로 귀결될 수 있다. 추가적으로 다른 구동 파라미터로 동작하는 카메라들 중 적어도 하나가 더 높은 해상도인 경우, 결과 이미지는 더 높은 해상도, 더 높은 정확도, 및 디앨리어싱된 깊이 측정치들을 포함할 것이다. 보다 더 바람직하게는, 카메라 시스템은 컬러 정보를 포착하는 수단을 더 포함할 수 있고, 그 수단은 카메라들 중 적어도 하나가 컬러 정보를 포착하는 것을 특징으로 한다. 보다 더 바람직하게는, TOF 카메라 시스템의 카메라들 중 적어도 하나는 RGBZ 센서와 같은 RGBZ 카메라이다. 따라서, TOF 카메라 시스템은 적어도 3개의 카메라들을 포함할 수 있고, 상기 카메라들 중 적어도 2개는 TOF 카메라들이고, 상기 적어도 2개의 TOF 카메라들은 동시에 동일한 장면을 포착하는 동안 예를 들어 주파수들과 같은(그러나 그에 제한되지는 않는) 서로 다른 구동 파라미터들에 의해 구동된다.
일 추가적인 실시예에서, 다른 배경 광 강건성 메커니즘들(background light robustness mechanisms)이 카메라들 상에 구현될 수 있다. 상당히 자주, 배경 광 강건성을 개선시킴으로써, 소음 또는 픽셀 피치가 증가될 수 있다. 다른 영역들(107) 상에서의, 즉 카메라들 상에서의 배경 광 강건성 메커니즘의 사용은 강력한 이점들을 부여할 수 있다. 일 실시예에서, 시스템의 카메라들 중 적어도 하나는 배경 광 강건성 메커니즘에 의해 구동될 수 있다. 이는 높은 배경 광의 경우에 하나의 영역(107)의 해상도만이 필요한 애플리케이션들에서 이점들을 가질 수 있다.
일 추가적인 실시예에서, TOF 카메라 시스템의 적어도 2개의 카메라는 2개의 서로 다른 노출 시간들(integration times)로 구동될 수 있다. 실제로, 매우 짧은 노출 시간은 높은 모션 강건성(motion robustness)을 산출할 뿐만 아니라, 이 문서에서 깊이 잡음으로 지칭되는 깊이 값들에 대한 높은 표준 편차들도 산출한다. 따라서, 영역(107)은 짧은 노출 시간을 위해 최적화될 수 있는 반면에 다른 영역(107)은 잡음 성능을 위해 최적화될 수 있다. 이미지들 및 보다 구체적으로 그들과 연관된 정보를 융합하면, 양 구성들의 이점들이 얻어지고 사용될 수 있다. 바람직하게는, 이 실시예는 더 긴 노출 시간들에 의해 구동되는 다른 카메라들로부터의 낮은 노이즈 정보를 상속하는 반면에 짧은 노출 시간에 의해 구동되는 TOF 카메라 덕분에, 각각의 융합된 픽셀이 고속 이동 물체들에 대한 신뢰성 있는 정보를 얻는 것을 가능케 한다. 도출된 실시예에서, 다른 카메라들은 더 긴 노출 시간을 갖는 적어도 하나의 다른 TOF 카메라를 포함할 수 있다. 일 다른 실시예에서, 상기 다른 카메라들은 적어도 하나의 컬러 카메라 및 더 긴 노출 시간을 갖는 적어도 하나의 다른 TOF 카메라를 포함할 수 있다.
다른 정보의 신뢰성 있는 융합을 진행하기 위해, 각각이 좌표 시스템을 갖는 연관된 정보의 다른 집합들을 단일의 공통의 소정의 좌표 시스템을 갖는 하나의 단일 데이터 집합으로 변환하도록, 프로세스가 회로에, 동반 칩(companion chip)에 또는 별도의 프로세싱 유닛 상에 구현되어야 한다. 바람직하게는, 공통의 소정의 좌표 시스템은 카메라들 중 하나의 x-y 평면(예를 들어, 수평 및 수직 축으로 정의 평면)일 것이고, 예를 들어 고해상도의(highly resolved) 카메라의 x-y 평면일 것이다. 다른 카메라로부터의 데이터, 예를 들어 TOF 컨피던스 맵(confidence map)의 컬러 이미지들, 깊이 맵 측정치들 또는 그레이스케일 이미지는, 공통의 소정의 좌표 시스템과 관련된 이미지로의 정합(registration)을 사용하여 투사(projected)된다. 특히, 여기에서의 이미지 정합(image registration)은, 예를 들어 TOF 측정치로부터 얻어진 저해상도의 매우 정확한 깊이 맵과 같은 대상 이미지를 공간적으로 정합하는 것과 관련되며, 그에 따라 예를 들어 입체영상으로부터 얻어지고 컬러 정보를 포함하는 고해상도의 낮은 정확도의 깊이 맵과 같은 기준 이미지와 정렬된다. 강도-기반 또는 특징-기반의 방법들과 같이 이미지들의 정합의 여러 방법들이 사용될 수 있다. 강도-기반의 방법들은 특히, 상관 메트릭들(correlation metrics)을 통해 이미지들의 강도 패턴들을 비교할 수 있고, 반면에 특징-기반의 방법들은 대부분 점들, 선들, 윤곽들 및 깊이들과 같은 이미지 특징들 사이의 일치 또는 상응관계를 찾으려 한다. 강도-기반의 방법들은 전체 이미지들 또는 서브-이미지들을 정합하는 것을 목표로 한다. 서브-이미지들이 정합된 경우, 대응하는 서브-이미지들의 중심들은 상응하는 특징 점들로 다루어진다. 특징-기반의 방법들은 이미지들 내 소정의 개수의 특징적인 점들 사이의 상응관계를 확립한다. 이미지들의 많은 포인트들 사이의 상응관계를 알 경우, 이후 대상 이미지를 기준 이미지들에 맵핑하기 위해 변환이 결정되고, 그에 의해 기준 및 대상 이미지들 사이의 포인트-별(point-by-point) 상응관계가 구축된다. 이 추후의 정합 프로세스는 이미지들이 다른 해상도일 수 있어 보간 기술들을 더 포함할 수 있다.
이미지 정합을 사용하는 본 발명의 일 바람직한 실시예에서, 다수의 TOF 카메라들이 사용되는 경우, 또는 적어도 TOF 카메라 시스템이 깊이 정보를 제공하는 적어도 하나의 카메라를 포함하는 경우, 깊이 정보는 이미지들의 융합을 촉진하기 위해 사용될 수 있다. 깊이는, 1차 독립의 관점 각도 및 또는 광 조건들의(in first order independent of angle of viewpoint and/or light conditions), 장면의 고유한 특성이다. 따라서, 이것은 어떠한 배향, 임의의 패턴 인식 또는 영상들의 융합에 필요한 임의의 다른 수단을 수행하기 위한 매우 안정적인 메트릭이다.
일 바람직한 실시예에서, 카메라들 중 적어도 하나는, 더 철저하게 교정될 수 있고, 그에 따라 다른 카메라들이 이 교정으로부터 상속하는 것을 허용한다. 비행-시간 촬상에서는 절대 거리 교정, 온도, 변형들, 다중-경로 해결(resolving) 등과 같은 철저한 교정 단계들이 요구된다. 단 하나의 카메라만을 교정하는 것은 교정을 연산하는데 적용될 수 있는 더 높은 수학들 및 더 작은 픽셀들로 인해 시간이 절약되고, 그에 따라 다른 카메라들은 거리 오차들 및/또는 비선형성들을 수정한 교정된 관점들을 상속하고 그 이득을 얻을 수 있다. 이 교정은 제조 시에 수행될 수 있지만, 예를 들어 4개의 TOF 카메라들을 포함하는 전술한 TOF 카메라 시스템 중 하나에서 운영 시에 실행될 수 있어, 4개의 관점들/카메라들 중 적어도 하나가 훨씬 더욱 안정적인 촬상기가 되도록(dimensioning) 하고 그에 따라 그것이 교정을 위한 기준으로 사용된다.
본 발명의 추가적인 실시예에 따르면, TOF 카메라 시스템은 가시 범위 및/또는 적외선 광을 필터링하기 위한 수단을 더욱 포함할 수 있다. 도 6에 도시된 바와 같이, 컬러 필터들은 카메라들의 상부에 구현될 수 있다. 이 도면에서, R, G, B 및 IR 영역들은 각각 적색, 녹색, 청색 및 적외선 통과 필터를 약칭한 것이다. 이는 하나의 이미지에서 RGB 및 깊이 데이터를 모두 결합하는 것을 가능케 하여, 이들 특성들을 모두 결합한 융합된 또는 개선된 이미지를 허용한다. 그러나, 적어도 하나의 TOF 카메라, 및 다른 파라미터로 구동되는 적어도 하나의 다른 카메라를 포함하는 TOF 카메라 시스템은 상기 카메라들 중 적어도 하나가 RGBZ 카메라라는 것을 특징으로 할 수 있다. RGBZ 카메라는 여러 픽셀들을 포함하는 카메라로서, 픽셀들의 센싱 영역들이 적색, 녹색, 청색 중 적어도 하나의 컬러, 바람직하게는 3개의 RGB 컬러들을 수집하는 것을 특징으로 하고, 추가적으로 깊이(Z) 정보가 예를 들어 TOF 원리로 처리될 수 있는 적외선 조명을 포착하는 것을 특징으로 한다.
다른 추가 실시예에서, TOF 카메라 시스템의 적어도 하나의 카메라의 픽셀들은 양자점 필름들(Quantum Dots films)을 포함할 수 있다. 양자점들은 2 내지 10 nm의 직경 범위를 갖는 반도체 물질의 나노 입자들이다. 양자점들은 그들의 작은 크기로 인해 특유한 광학적 및 전기적 특성을 보인다; 즉, 그들의 특징들은 대응하는 벌크 재료의 그것과는 성격이 다르다. 주요 명백한 특성은 여기상태(형광)에서의 광자들의 방출이고, 이는 광으로서 인간의 눈에 보이거나 적외선 영역에서 방출되는 경우 보이지 않을 수 있다. 방출된 광자들의 파장은 양자점이 수행되는 물질에 의존할 뿐만 아니라, 양자점들의 크기에도 의존한다. 양자점의 크기를 정확하게 제어하는 능력은, 제조업자로 하여금 방출 파장을 결정하는 것, 즉 광 출력의 파장을 결정하는 것을 가능케 한다. 따라서 양자점들은 임의의 원하는 파장을 방출하도록 제조 동안 "튜닝(tuned)"될 수 있다. 그것의 코어 크기를 변화시킴으로써 양자 점으로부터의 방출을 제어 또는 "튜닝"하는 능력은 "크기 양자화 효과(size quantisation effect)"로 지칭된다. 점의 크기가 작을수록, 그것은 스펙트럼의 청색 단에 가까워지고, 점의 크기가 클수록 적색 단에 가까워진다. 양자점들은 심지어 일부 특정 물질들을 사용하여, 적외선으로 또는 자외선으로, 가시광을 넘어서도록 튜닝될 수 있다.
컬러 필터들로서 사용된, 양자점 필름들은, 센서가 더욱 민감한 범위에서의 재-방출 파장을 위해 설계될 수 있다. 바람직하게는, 양자점 필름들의 발광 파장은 센서의 최대 감도에 근접할 수 있어서, 더욱 낮은 소음의 측정이 이루어질 수 있다.

Claims (14)

  1. 다수의 카메라들(1, 107)을 포함하는 TOF(Time Of Flight) 카메라 시스템(3)으로서,
    상기 카메라들 중 적어도 하나는 TOF 카메라이고,
    상기 카메라들은 공통 기판(100) 상에 조립되며 동일한 장면(15)을 동시에 촬상하고,
    적어도 2개의 카메라들은 다른 구동 파라미터들에 의해 구동되는, TOF 카메라 시스템.
  2. 청구항 1에 있어서,
    상기 구동 파라미터들은 디앨리어싱 알고리즘(dealiasing algorithm)을 구현하기 위한 적어도 2개의 다른 주파수들을 포함하는, TOF 카메라 시스템.
  3. 청구항 1 또는 청구항 2에 있어서,
    렌즈들(101-104)의 어레이를 더 포함하고,
    상기 어레이의 각각의 렌즈는 상기 카메라들 각각과 연관되는, TOF 카메라 시스템.
  4. 청구항 1 내지 청구항 3 중 어느 한 항에 있어서,
    상기 구동 파라미터들은 입체 기술(streoscopic technique)을 구현하기 위한 파라미터들을 포함하는, TOF 카메라 시스템.
  5. 청구항 1 내지 청구항 4 중 어느 한 항에 있어서,
    상기 구동 파라미터들은 배경 광 강건성 메커니즘(background light robustness mechanism)을 구현하기 위한 파라미터들을 포함하는, TOF 카메라 시스템.
  6. 청구항 1 내지 청구항 5 중 어느 한 항에 있어서,
    적어도 2개의 카메라들이 다른 노출 시간들 동안 동일한 장면을 촬상하는, TOF 카메라 시스템.
  7. 청구항 1 내지 청구항 6 중 어느 한 항에 있어서,
    상기 카메라들에 의해 제공된 이미지들을 함께 정합(registering)하기 위한 이미지 정합 수단을 더 포함하는, TOF 카메라 시스템.
  8. 청구항 1 내지 청구항 7 중 어느 한 항에 있어서,
    운영 시에 적어도 하나의 카메라를 교정하기 위한 수단을 더 포함하는, TOF 카메라 시스템.
  9. 청구항 8에 있어서,
    상기 교정된 카메라들 중 적어도 하나는 다른 카메라들을 교정하기 위한 참조로서 사용되는, TOF 카메라 시스템.
  10. 청구항 1 내지 청구항 9 중 어느 한 항에 있어서,
    상기 장면을 촬상하는 상기 카메라들은 컬러, 조명, 또는 깊이 정보 중 적어도 하나를 제공하는, TOF 카메라 시스템.
  11. 청구항 1 내지 청구항 10 중 어느 한 항에 있어서,
    상기 카메라들에 의해 제공된 정보를 개선된 이미지의 형태로 함께 융합(fusing) 또는 결합하기 위한 수단을 더 포함하고,
    상기 개선된 이미지는 그것이 더 높은 해상도 또는 더 높은 깊이 측정 정확성 중 적어도 하나를 포함한다는 사실에 의해 특정되는, TOF 카메라 시스템.
  12. 청구항 1 내지 청구항 11 중 어느 한 항에 있어서,
    가시선 범위 및/또는 적외선 범위 내 광을 필터링하기 위한 수단을 더 포함하는, TOF 카메라 시스템.
  13. 청구항 1에 있어서,
    상기 기판은 실리콘 기반인, TOF 카메라 시스템.
  14. 청구항 1 내지 청구항 13 중 어느 한 항에 있어서,
    적어도 3개의 카메라들(1, 107)을 포함하고,
    상기 카메라들 중 적어도 2개는 TOF 카메라들이고,
    상기 적어도 2개의 TOF 카메라들은 동일한 장면(15)을 동시에 촬상하면서 다른 구동 파라미터들에 의해 구동되는, TOF 카메라 시스템.
KR1020167001148A 2013-12-24 2014-12-24 비행-시간 카메라 시스템 KR20160045670A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP13199564.9 2013-12-24
EP13199564.9A EP2890125B1 (en) 2013-12-24 2013-12-24 A time-of-flight camera system
PCT/EP2014/079304 WO2015097284A1 (en) 2013-12-24 2014-12-24 A time-of-flight camera system

Publications (1)

Publication Number Publication Date
KR20160045670A true KR20160045670A (ko) 2016-04-27

Family

ID=49918467

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020167001148A KR20160045670A (ko) 2013-12-24 2014-12-24 비행-시간 카메라 시스템

Country Status (7)

Country Link
US (5) US10397552B2 (ko)
EP (2) EP4016981A3 (ko)
JP (1) JP6480441B2 (ko)
KR (1) KR20160045670A (ko)
CN (1) CN105432080B (ko)
BE (1) BE1022488B1 (ko)
WO (1) WO2015097284A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020047063A1 (en) * 2018-08-30 2020-03-05 Veo Robotics, Inc. Depth-sensing computer vision system

Families Citing this family (47)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150010230A (ko) * 2013-07-18 2015-01-28 삼성전자주식회사 단일 필터를 이용하여 대상체의 컬러 영상 및 깊이 영상을 생성하는 방법 및 장치.
EP4016981A3 (en) 2013-12-24 2022-09-21 Sony Depthsensing Solutions A time-of-flight camera system
KR101582726B1 (ko) * 2013-12-27 2016-01-06 재단법인대구경북과학기술원 스테레오 타입의 거리 인식 장치 및 방법
US9581696B2 (en) * 2014-12-22 2017-02-28 Google Inc. Image sensor and light source driver integrated in a same semiconductor package
US20160205378A1 (en) * 2015-01-08 2016-07-14 Amir Nevet Multimode depth imaging
WO2017022152A1 (ja) * 2015-07-31 2017-02-09 パナソニックＩｐマネジメント株式会社 測距撮像装置、及び、固体撮像装置
WO2017025885A1 (en) * 2015-08-07 2017-02-16 King Abdullah University Of Science And Technology Doppler time-of-flight imaging
US10021284B2 (en) 2015-08-27 2018-07-10 Samsung Electronics Co., Ltd. Epipolar plane single-pulse indirect TOF imaging for automotives
US9880267B2 (en) * 2015-09-04 2018-01-30 Microvision, Inc. Hybrid data acquisition in scanned beam display
CN106612387B (zh) * 2015-10-15 2019-05-21 杭州海康威视数字技术股份有限公司 一种组合深度图获得方法及深度相机
US10151838B2 (en) 2015-11-24 2018-12-11 Microsoft Technology Licensing, Llc Imaging sensor with shared pixel readout circuitry
EP3388858A4 (en) * 2015-12-08 2018-12-12 Panasonic Intellectual Property Management Co., Ltd. Solid-state imaging device, distance measuring device, and distance measurement method
US10229502B2 (en) 2016-02-03 2019-03-12 Microsoft Technology Licensing, Llc Temporal time-of-flight
US9866816B2 (en) 2016-03-03 2018-01-09 4D Intellectual Properties, Llc Methods and apparatus for an active pulsed 4D camera for image acquisition and analysis
DK3466068T3 (da) * 2016-06-03 2021-02-15 Utku Buyuksahin Et system og en metode til at tage og generere 3d-billeder
US11102467B2 (en) * 2016-08-25 2021-08-24 Facebook Technologies, Llc Array detector for depth mapping
US10962647B2 (en) 2016-11-30 2021-03-30 Yujin Robot Co., Ltd. Lidar apparatus based on time of flight and moving object
US10810753B2 (en) * 2017-02-27 2020-10-20 Microsoft Technology Licensing, Llc Single-frequency time-of-flight depth computation using stereoscopic disambiguation
DE102017204073A1 (de) * 2017-03-13 2018-09-13 Osram Gmbh Tof-kamera, kraftfahrzeug, verfahren zum herstellen einer tof-kamera und verfahren zum ermitteln eines abstands zu einem objekt
WO2019039733A1 (ko) * 2017-08-21 2019-02-28 (주)유진로봇 카메라와 라이다를 이용한 융합 센서 및 이동체
US11579298B2 (en) 2017-09-20 2023-02-14 Yujin Robot Co., Ltd. Hybrid sensor and compact Lidar sensor
EP3483092B1 (en) * 2017-11-13 2023-03-22 Dennis Eagle Ltd. Garbage truck
US11327162B1 (en) * 2017-11-20 2022-05-10 Waymo Llc Methods of calibrating or validating sensors by using a plurality of fiducials
DE102017128369A1 (de) * 2017-11-30 2019-06-06 Infineon Technologies Ag Vorrichtung und verfahren zum lokalisieren eines ersten bauelements, lokalisierungsvorrichtung und verfahren zur lokalisierung
US10942274B2 (en) 2018-04-11 2021-03-09 Microsoft Technology Licensing, Llc Time of flight and picture camera
WO2019219687A1 (en) * 2018-05-14 2019-11-21 Ams International Ag Using time-of-flight techniques for stereoscopic image processing
US11874399B2 (en) 2018-05-16 2024-01-16 Yujin Robot Co., Ltd. 3D scanning LIDAR sensor
US11609313B2 (en) 2018-07-31 2023-03-21 Waymo Llc Hybrid time-of-flight and imager module
CN109238163B (zh) * 2018-08-22 2020-04-21 Oppo广东移动通信有限公司 飞行时间模组及其控制方法、控制器和电子装置
WO2020045770A1 (en) * 2018-08-31 2020-03-05 Samsung Electronics Co., Ltd. Method and device for obtaining 3d images
KR102606824B1 (ko) 2018-12-14 2023-11-27 삼성전자주식회사 멀티 카메라를 포함하는 장치 및 이의 이미지 처리방법
US10876889B2 (en) 2019-02-12 2020-12-29 Viavi Solutions Inc. Sensor device and method of use
EP3958247B1 (en) * 2019-03-21 2023-12-13 BOE Technology Group Co., Ltd. Display apparatus, electronic device, and driving method of display apparatus
EP3930321A4 (en) * 2019-03-25 2022-04-20 Huawei Technologies Co., Ltd. DUAL CAMERA + TOF LARGE APERTURE BLUR PROCESS
WO2020198730A1 (en) * 2019-03-28 2020-10-01 Rensselaer Polytechnic Institute Patient monitoring system
KR20210043933A (ko) * 2019-10-14 2021-04-22 엘지이노텍 주식회사 이미지 처리 장치 및 이미지 처리 방법
US11514594B2 (en) 2019-10-30 2022-11-29 Vergence Automation, Inc. Composite imaging systems using a focal plane array with in-pixel analog storage elements
EP3855162A1 (en) 2020-01-21 2021-07-28 Omya International AG Lwir imaging system for detecting an amorphous and/or crystalline structure of phosphate and/or sulphate salts on the surface of a substrate or within a substrate and use of the lwir imaging system
JP2021117036A (ja) * 2020-01-23 2021-08-10 株式会社日立エルジーデータストレージ 測距装置の測定値補正方法
US11743616B2 (en) 2020-04-27 2023-08-29 Semiconductor Components Industries, Llc Imaging system with time-of-flight sensing
TWI799749B (zh) * 2020-10-23 2023-04-21 大陸商光寶電子（廣州）有限公司 深度圖像的處理方法
CN112561874A (zh) * 2020-12-11 2021-03-26 杭州海康威视数字技术股份有限公司 一种遮挡物检测方法、装置及监控摄像机
US20240019361A1 (en) 2020-12-23 2024-01-18 Omya International Ag Method and apparatus for detecting an amorphous and/or crystalline structure of phosphate and/or sulphate salts on the surface of a substrate or within a substrate
KR102354158B1 (ko) 2021-01-14 2022-01-21 박천수 다중위상 상관벡터합성 거리측정방법 및 장치
US20220245890A1 (en) * 2021-01-29 2022-08-04 Kevin D. Fialko Three-dimensional modelling from photographs in series
US11941787B2 (en) * 2021-08-23 2024-03-26 Microsoft Technology Licensing, Llc Denoising depth data of low-signal pixels
US20230134806A1 (en) * 2021-10-29 2023-05-04 Microsoft Technology Licensing, Llc Denoising depth image data using neural networks

Family Cites Families (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3175317B2 (ja) * 1992-05-07 2001-06-11 ソニー株式会社 距離測定装置
JP3631325B2 (ja) * 1996-06-19 2005-03-23 オリンパス株式会社 ３次元画像入力装置
WO1999034235A1 (de) 1997-12-23 1999-07-08 Siemens Aktiengesellschaft Verfahren und vorrichtung zur aufnahme eines dreidimensionalen abstandsbildes
US6353673B1 (en) * 2000-04-27 2002-03-05 Physical Optics Corporation Real-time opto-electronic image processor
WO2002049366A1 (en) * 2000-12-14 2002-06-20 3Dv Systems, Ltd. 3d camera
US7994465B1 (en) * 2006-02-06 2011-08-09 Microsoft Corporation Methods and devices for improved charge management for three-dimensional and color sensing
KR100871564B1 (ko) * 2006-06-19 2008-12-02 삼성전기주식회사 카메라 모듈
JP4802891B2 (ja) * 2006-06-27 2011-10-26 トヨタ自動車株式会社 距離測定システム及び距離測定方法
US7791715B1 (en) * 2006-10-02 2010-09-07 Canesta, Inc. Method and system for lossless dealiasing in time-of-flight (TOF) systems
JP4452951B2 (ja) * 2006-11-02 2010-04-21 富士フイルム株式会社 距離画像生成方法及びその装置
JP2008164367A (ja) 2006-12-27 2008-07-17 Matsushita Electric Ind Co Ltd 固体撮像装置、カメラ、車両及び監視装置
JP2008286527A (ja) 2007-05-15 2008-11-27 Panasonic Corp 複眼測距装置
JP2009047497A (ja) * 2007-08-17 2009-03-05 Fujifilm Corp 立体撮像装置および立体撮像装置の制御方法並びにプログラム
US8629976B2 (en) 2007-10-02 2014-01-14 Microsoft Corporation Methods and systems for hierarchical de-aliasing time-of-flight (TOF) systems
JP2009139995A (ja) * 2007-12-03 2009-06-25 National Institute Of Information & Communication Technology ステレオ画像対における画素のリアルタイムマッチングのための装置及びプログラム
US8203699B2 (en) * 2008-06-30 2012-06-19 Microsoft Corporation System architecture design for time-of-flight system having reduced differential pixel size, and time-of-flight systems so designed
CN101321302B (zh) 2008-07-08 2010-06-09 浙江大学 基于摄像机阵列的三维实时获取系统
KR101483462B1 (ko) * 2008-08-27 2015-01-16 삼성전자주식회사 깊이 영상 획득 장치 및 방법
DE102009023896B4 (de) * 2009-06-04 2015-06-18 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung und Verfahren zum Erfassen einer Pflanze
US9131221B2 (en) * 2009-06-25 2015-09-08 Koninklijke Philips N.V. Stereoscopic image capturing method, system and camera
US8803967B2 (en) * 2009-07-31 2014-08-12 Mesa Imaging Ag Time of flight camera with rectangular field of illumination
US8648702B2 (en) * 2010-08-20 2014-02-11 Denso International America, Inc. Combined time-of-flight and image sensor systems
US9194953B2 (en) * 2010-10-21 2015-11-24 Sony Corporation 3D time-of-light camera and method
KR20120056668A (ko) 2010-11-25 2012-06-04 한국전자통신연구원 3차원 정보 복원 장치 및 그 방법
EP2487504A1 (en) * 2011-02-10 2012-08-15 Technische Universität München Method of enhanced depth image acquisition
WO2012123809A1 (en) * 2011-03-17 2012-09-20 Universitat Politècnica De Catalunya System, method and computer program for receiving a light beam
US9030528B2 (en) * 2011-04-04 2015-05-12 Apple Inc. Multi-zone imaging sensor and lens array
WO2012137434A1 (ja) * 2011-04-07 2012-10-11 パナソニック株式会社 立体撮像装置
US9720089B2 (en) * 2012-01-23 2017-08-01 Microsoft Technology Licensing, Llc 3D zoom imager
RU2012154657A (ru) * 2012-12-17 2014-06-27 ЭлЭсАй Корпорейшн Способы и устройство для объединения изображений с глубиной, генерированных с использованием разных способов формирования изображений с глубиной
US9329272B2 (en) * 2013-05-02 2016-05-03 Infineon Technologies Ag 3D camera and method of image processing 3D images
JP6310551B2 (ja) 2013-06-13 2018-04-11 コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． 放射線療法治療の案内および検証のための検出器
US9609859B2 (en) * 2013-09-13 2017-04-04 Palo Alto Research Center Incorporated Unwanted plant removal system having a stabilization system
EP4016981A3 (en) 2013-12-24 2022-09-21 Sony Depthsensing Solutions A time-of-flight camera system
KR102251483B1 (ko) * 2014-10-23 2021-05-14 삼성전자주식회사 영상을 처리하는 전자 장치 및 방법
US10836379B2 (en) * 2018-03-23 2020-11-17 Sf Motors, Inc. Multi-network-based path generation for vehicle parking

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020047063A1 (en) * 2018-08-30 2020-03-05 Veo Robotics, Inc. Depth-sensing computer vision system
JP2022120004A (ja) * 2018-08-30 2022-08-17 ヴェオ ロボティクス， インコーポレイテッド 深度感知コンピュータビジョンシステム

Also Published As

Publication number Publication date
US20160295193A1 (en) 2016-10-06
CN105432080B (zh) 2019-07-26
US11863734B2 (en) 2024-01-02
US10638118B2 (en) 2020-04-28
BE1022488B1 (fr) 2016-05-04
US20200007850A1 (en) 2020-01-02
EP2890125A1 (en) 2015-07-01
CN105432080A (zh) 2016-03-23
US20220070436A1 (en) 2022-03-03
EP4016981A2 (en) 2022-06-22
WO2015097284A1 (en) 2015-07-02
EP2890125B1 (en) 2021-10-13
US11172186B2 (en) 2021-11-09
US20200236342A1 (en) 2020-07-23
EP4016981A3 (en) 2022-09-21
JP6480441B2 (ja) 2019-03-13
US20240146895A1 (en) 2024-05-02
JP2016529491A (ja) 2016-09-23
US10397552B2 (en) 2019-08-27

Similar Documents

Publication Publication Date Title
US11863734B2 (en) Time-of-flight camera system
US20140168424A1 (en) Imaging device for motion detection of objects in a scene, and method for motion detection of objects in a scene
CN106104296B (zh) 包括飞行时间传感器的光学成像模块和光学检测模块
EP2451150B1 (en) Color sensor insensitive to distance variations
US10349037B2 (en) Structured-stereo imaging assembly including separate imagers for different wavelengths
US8718326B2 (en) System and method for extracting three-dimensional coordinates
CN110596721A (zh) 双重共享tdc电路的飞行时间距离测量系统及测量方法
US20110025843A1 (en) Time of Flight Camera with Rectangular Field of Illumination
US20110175981A1 (en) 3d color image sensor
CN104935790A (zh) 成像系统
US20130088620A1 (en) Method of controlling a system including an image sensor and a light source
JP5966467B2 (ja) 測距装置
CN110596725A (zh) 基于插值的飞行时间测量方法及测量系统
CN110596723A (zh) 动态直方图绘制飞行时间距离测量方法及测量系统
US20210150744A1 (en) System and method for hybrid depth estimation
KR20150029897A (ko) 촬영 장치 및 그의 동작 방법
CN113366383A (zh) 摄像头装置及其自动聚焦方法
US20190349569A1 (en) High-sensitivity low-power camera system for 3d structured light application
CN112655022B (zh) 图像处理装置和图像处理方法
JP2002218505A (ja) ３次元画像撮像装置

Legal Events

Date Code Title Description
A201 Request for examination
AMND Amendment
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment