KR102559910B1 - 차량 주변 환경을 특성화하기 위한 시스템 - Google Patents

차량 주변 환경을 특성화하기 위한 시스템 Download PDF

Info

Publication number
KR102559910B1
KR102559910B1 KR1020197021941A KR20197021941A KR102559910B1 KR 102559910 B1 KR102559910 B1 KR 102559910B1 KR 1020197021941 A KR1020197021941 A KR 1020197021941A KR 20197021941 A KR20197021941 A KR 20197021941A KR 102559910 B1 KR102559910 B1 KR 102559910B1
Authority
KR
South Korea
Prior art keywords
light
pixels
surrounding environment
pulses
sequence
Prior art date
Application number
KR1020197021941A
Other languages
English (en)
Other versions
KR20190098242A (ko
Inventor
필리프 게우엔스
Original Assignee
제노마틱스 엔브이
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 제노마틱스 엔브이 filed Critical 제노마틱스 엔브이
Publication of KR20190098242A publication Critical patent/KR20190098242A/ko
Application granted granted Critical
Publication of KR102559910B1 publication Critical patent/KR102559910B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G01S17/10—Systems determining position data of a target for measuring distance only using transmission of interrupted, pulse-modulated waves
    • G01S17/18—Systems determining position data of a target for measuring distance only using transmission of interrupted, pulse-modulated waves wherein range gates are used
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/481—Constructional features, e.g. arrangements of optical elements
    • G01S7/4814—Constructional features, e.g. arrangements of optical elements of transmitters alone
    • G01S7/4815—Constructional features, e.g. arrangements of optical elements of transmitters alone using multiple transmitters
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483—Details of pulse systems
    • G01S7/486—Receivers
    • G01S7/4868—Controlling received signal intensity or exposure of sensor

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Electromagnetism (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Measurement Of Optical Distance (AREA)
  • Traffic Control Systems (AREA)

Abstract

본 발명은 차량의 주변 환경을 특성화하기 위한 시스템에 관한 것으로, 상기 시스템은 펄스들의 시퀀스로 상기 주변 환경을 향하여 레이저 광의 패턴을 투영하도록 배치된 투영 수단(210)(projection means); 복수의 픽셀들을 포함하는 검출기(220)로서, 상기 검출기(220)는 상기 펄스들의 시퀀스와 동기화하여 상기 주변 환경에 의해 반사된 상기 레이저 광의 패턴을 나타내는 광을 검출하도록 구성된, 상기 검출기; 및 상기 검출된 광에 응답하여 상기 픽셀들에 의해 생성된 노출 값의 함수로서 상기 주변 환경에 피사체들(99) 까지의 거리들을 계산하도록 구성된 프로세싱 수단(240);을 포함하고, 상기 검출기(220)는 상기 주변 환경에 의해 반사된 상기 레이저 광의 패턴을 나타내는 광을 수신하지 않는 픽셀들에서 또는 상기 펄스들의 시퀀스와 일치하지 않는 시점들에서 상기 주변 환경의 2 차원 이미지를 형성하는 광을 검출하도록 추가로 구성된다.

Description

차량 주변 환경을 특성화하기 위한 시스템
본 발명은 피사체(object)까지의 거리를 결정하기 위한 시스템 분야에 관한 것으로, 보다 상세하게는 차량 주변 환경의 장애물을 검출하는데 사용될 수 있는 장면 또는 그 일부의 특성화에 사용되는 감지 시스템에 관한 것이다.
특히 자동차 및 산업 애플리케이션, 게임 애플리케이션 및 매핑(mapping) 애플리케이션을 포함하는 제어 및 네비게이션 애플리케이션에 사용될 수 있는 풍경(scenery)의 고해상도 맵의 생성에 관한 원격 감지 기술 분야에서, 삼각 측량 기반 및 비행 시간 기반 감지(time-of-flight based sensing)를 사용하여 센서로부터 피사체까지의 거리를 결정한다.
삼각 측량을 사용하는 차량용 고정밀 중간 거리 서라운드 센싱 시스템은 본 출원인의 이름에 국제 특허 출원 공보 WO 2015/004213 A1로부터 공지되었다. 해당 특허 출원에서, 피사체의 위치 추정(localization)은 펄스화된 방사선 스폿(spot)의 투영 및 미리 결정된 기준 스폿 위치를 기준으로 하여 검출된 스폿의 변위 분석에 기초한다. 특히, 인용된 특허 출원의 시스템은 삼각 측량을 사용한다. 그러나, 달성될 수 있는 정확도는 달성될 수 있는 소형화를 제한하는 삼각 측량 기반과 상관된다.
비행 시간 기반 기술은 RF 변조 소스, 레인지 게이트 이미저(range gated imager) 및 직접 비행 시간(DToF : direct time-of-flight) 이미저의 사용을 포함한다. RF 변조 소스 및 레인지 게이트 이미저를 사용하기 위해서는, 변조 또는 펄스화된 소스로 관심있는 전체 장면을 조명할 필요가 있다. 대부분의 LIDAR와 같은 직접 비행 시간 시스템은 펄스 빔으로 기계적으로 관심 영역을 스캐닝하고, 반사율은 펄스 검출기로 감지된다. 현재의 반도체 레이저에 의해 방출되는 광 파워는 자동차 애플리케이션(예를 들어, 최대 250m 까지의 범위)에서 실용화될 수 있는 공지된 LIDAR 시스템에서의 작동에 필요한 파워 요건을 충족시킬 수 없다. 본 출원인의 이름에 미공개된 유럽 특허 출원 EP 15 191 288.8은 이러한 제한을 극복한 피사체까지의 거리를 결정하기 위한 시스템을 설명한다. 그것은 : 펄스의 시퀀스로 피사체를 향하여 레이저 광의 불연속 스폿 패턴을 투영하도록 배열된 고체 상태 광원; 복수의 픽셀들을 포함하는 검출기로서, 상기 검출기는 상기 펄스들의 시퀀스와 동기화하여 상기 피사체에 의해 반사된 불연속 스폿들의 패턴을 나타내는 광을 검출하도록 구성된, 상기 검출기; 및 상기 검출된 광에 응답하여 상기 픽셀에 의해 생성된 노출 값의 함수로서 상기 피사체까지의 거리를 계산하도록 구성된 프로세싱 수단을 포함한다. 픽셀들은 상기 시퀀스의 각각의 펄스에 대해, 제 1 미리 결정된 타임 윈도우(time window) 동안에 상기 피사체에 의해 반사된 제 1 광량(amount of light)을 나타내는 제 1 전하량(amount of electrical charge) 및 제 2 미리 결정된 타임 윈도우 동안에 상기 피사체에 의해 반사된 제 2 광량을 나타내는 제 2 전하량을 누적시킴으로써 상기 노출 값을 생성하도록 구성되고, 상기 제 2 미리 결정된 타임 윈도우는 상기 제 1 미리 결정된 타임 윈도우 후에 발생한다.
원격 감지 기술은 점점 차량 안전 피처, 첨단 운전자 보조 시스템(ADAS : advanced driver assistance system), 심지어 자율(또는 "자율 주행(self-driving)") 자동차를 제공하기 위해 의존되고 있기 때문에, 시스템이 장착되는 차량의 주변 환경을 보다 정확하게 특성화하는 시스템에 대한 요구가 있다.
본 발명의 일 양태에 따르면, 차량의 주변 환경을 특성화하기 위한 시스템이 제공되며, 상기 시스템은,
- 펄스들의 시퀀스로 상기 주변 환경을 향하여 레이저 광의 패턴을 투영하도록 배치된 투영 수단으로서, 상기 레이저 광의 패턴은 불연속 스폿들의 패턴을 포함하는, 상기 투영 수단(projection means);
- 복수의 픽셀들을 포함하는 검출기로서, 상기 검출기는 상기 펄스들의 시퀀스와 동기화하여 상기 주변 환경에 의해 반사된 상기 레이저 광의 패턴을 나타내는 광을 검출하도록 구성된, 상기 검출기; 및
- 상기 검출된 광에 응답하여 상기 픽셀들에 의해 생성된 노출 값의 함수로서 상기 주변 환경에 피사체들까지의 거리들을 계산하도록 구성된 프로세싱 수단;을 포함하고,
상기 검출기는 상기 주변 환경에 의해 반사된 상기 레이저 광의 패턴을 나타내는 광을 수신하지 않는 픽셀들에서 또는 상기 펄스들의 시퀀스와 일치하지 않는 시점들에서 상기 주변 환경의 2 차원 이미지를 형성하는 광을 검출하도록 추가로 구성된다.
본 발명의 장점은 인터리빙(interleave)된 시점에서 동일한 센서로부터 획득된 2D 정보 및 3D 정보를 결합함으로써 주변 환경의 특성이 개선될 수 있다는 것이다. 3D 정보는 레인징 센서로 사용될 때, 광의 투영과 동기화된 반사 광 패턴을 캡쳐함으로써 시스템으로부터 획득된다; 2D 정보는 레인징 감지 펄스들 사이에서 디지털 카메라로서 사용될 때 시스템으로부터 획득된다.
투영 수단은 바람직하게는 고체 상태 레이저를 포함하고; 특별히 적절한 격자를 구비한 VCSEL 어레이 또는 고체 상태 레이저일 수 있다. 레이저 광의 패턴은 스폿의 패턴, 특히 불연속 스폿인 것이 바람직하다. 펄스들의 시퀀스는 주기적으로 반복되어 주변 환경의 특성의 연속적인 업데이트를 허용할 수 있다.
본 발명에 따른 시스템의 일 실시예에서, 상기 픽셀들은 상기 시퀀스의 각각의 펄스에 대해, 제 1 미리 결정된 타임 윈도우(time window) 동안에 상기 피사체들에 의해 반사된 제 1 광량(amount of light)을 나타내는 제 1 전하량 및 제 2 미리 결정된 타임 윈도우 동안에 상기 피사체들에 의해 반사된 제 2 광량을 나타내는 제 2 전하량을 축적시킴으로써 상기 노출 값을 생성하도록 구성되고, 상기 제 2 미리 결정된 타임 윈도우는 상기 제 1 미리 결정된 타임 윈도우 후에 발생한다.
이 실시예의 장점은, 작은 폼 팩터(form factor)에서 정확한 거리 정보를 획득하기 위해 범레인징-게이트 LIDAR 기술을 사용한다는 것이다.
본 발명에 따른 일 실시예에서, 상기 프로세싱 수단은 미리 결정된 피처 위치를 기준으로 상기 주변 환경에 의해 반사된 상기 레이저 광의 패턴을 나타내는 상기 검출된 광의 피처들의 변위를 결정함으로써 상기 거리를 결정하도록 된다.
이 실시예에서, 검출기의 상이한 픽셀들의 개별 노출 값은 투영된 패턴(예를 들어, 스폿)의 반사가 어느 픽셀에서 검출 가능하고 어느 픽셀에서 검출가능하지 않은지를 결정하기 위해 분석된다. 이러한 방식으로, 미리 결정된 위치(예를 들어, 스폿 위치)에 관하여 반사된 패턴의 부분들의 변위가 결정될 수 있고, 이는 투영된 패턴의 개별 부분을 반사한 피사체들의 거리에 대한 정보를 산출한다. 정확한 거리 정보를 획득하기 위해 익숙한 삼각 측량 기반 기술을 사용하는 것이 이 실시예의 장점이다.
일 실시예에서, 본 발명에 따른 시스템은 상기 펄스들의 시퀀스와 일치하지 않는 시점들에서 상기 주변 환경으로 광의 번들(bundle)을 투영하도록 구성된 조명 수단(illumination means)을 포함한다.
광의 번들은 바람직하게는 검출기의 FOV(field of view)와 일치하여, 주변 환경의 관련 부분의 균질한(homogeneous) 조명이 되도록 의도되어서 레인징에 사용되는 투영된 패턴과는 달리 실질적으로 균질해야 한다. 이 실시예의 장점은, 주변 환경 광 상태가 불량한 경우(예를 들어, 야간)에도 2D 이미지에 캡쳐될 풍경을 적절히 비출 수 있다는 것이다.
특정 실시예에서, 투영 수단 및 조명 수단은 공통 광원을 공유한다.
이 특정 실시예의 장점은, 다수의 광원에 대한 요구를 피함으로써 시스템을 콤팩트하게 유지될 수 있다는 것이다.
특정 실시예에서, 상기 공통 광원은 VCSEL 어레이를 포함하고, 상기 VCSEL 어레이로부터 발생된 광을 확산시켜 상기 번들을 형성하기 위해 상기 조명 수단은 상기 펄스들의 시퀀스와 일치하지 않는 시점들에서 활성화되도록 구성된 능동 스티어링 디퓨저(actively steered diffuser)를 더 포함한다.
구조화된 광의 투영에 매우 적합한 VCSEL 어레이가 또한 2D 이미지 캡쳐에 필요한 조명을 제공하는데 사용될 수 있다는 것이 이러한 보다 특정한 실시예의 장점이다.
본 발명의 따른 시스템의 일 실시예에서, 검출기의 복수의 픽셀은 시점들 중 상이한 시점들에서 복수의 픽셀들에 도달하는 상이한 파장 대역의 광을 허용하는 시간 의존 필터가 제공된다.
이 실시예의 장점은, 시간상 약간 오프셋된 3 개의 상이한 2D 노출을 결합함으로써 RGB 이미지가 생성될 수 있다는 것이다. RGB 이미지는 보다 정확한 자동 피처 인식을 산출하며 일반적으로 단색 이미지보다 인간 사용자에게 시각적으로 재생하기에 더 적합하다.
본 발명에 따른 시스템의 일 실시예에서, 검출기의 복수의 다른 픽셀들 중 상이한 픽셀들은 상이한 파장 대역의 광이 시점에서 상이한 픽셀에 도달하는 것을 허용하는 상이한 필터가 제공된다.
이 실시예의 장점은, 공간상 약간 오프셋된 픽셀들에서 획득된 노출 값을 결합함으로써 RGB 이미지가 생성될 수 있다는 것이다. RGB 이미지는 보다 정확한 자동 피처 인식을 산출하며 일반적으로 단색 이미지보다 인간 사용자에게 시각적으로 재생하기에 더 적합하다.
본 발명의 일 양태에 따라, 차량을 둘러싸는 영역을 특성화하도록 배열된 선행하는 청구항들 중 어느 한 항에 따른 시스템을 포함하는 차량이 제공된다.
본 발명은 차량, 특히 자동차와 같은 도로 차량에 사용하기에 매우 적합하다. 따라서, 이 시스템은 바람직하게는 차량 안전 피처, 첨단 운전자 보조 시스템(ADAS), 심지어 자율(또는 “자율 주행") 자동차에 기여할 수 있다. 자동차 애플리케이션의 센서가 공간을 두고 경쟁할 때, 동일한 센서에서 다수의 기능을 결합함으로써 추가의 외부 2D 센서를 필요로 하지 않으면서 2D 및 3D 센서 융합을 제공한다는 것이 본 발명의 또 다른 장점이다.
본 발명의 이들 및 다른 양태들 및 장점들은 이제 첨부 도면들을 참조하여 보다 상세히 설명될 것이다.
도 1은 본 발명에 따른 시스템의 실시예를 개략적으로 예시한다.
도 2 내지 도 4는 본 발명에 따른 시스템의 LIDAR 기반 실시예의 동작 원리를 예시한다.
도 5는 본 발명의 실시예들에서 사용될 수 있는 여러 타이밍도들을 제공한다.
도 6은 본 발명에 따른 시스템의 실시예에서 사용하기 위한 픽셀 배열을 개략적으로 예시한다.
도 7은 본 발명의 실시예에서 사용될 수 있는 타이밍도를 개략적으로 예시한다.
도 1은 본 발명에 따른 시스템의 실시예를 개략적으로 예시한다.
본 시스템은 차량의 주변 환경을 특성화하도록 의도되고 적응된다. 주변 환경(surrounding)은 차량 전방의 노면을 포함하여 차량 전방의 영역을 포함할 수 있다; 마찬가지로, 차량 후방 영역을 포함할 수 있다(특별히, 차량이 후진하는 경우); 장애물이나 다른 도로 사용자가 있을 수 있는 차량 주변 환경의 모든 공간을 포함할 수 있다. 차량의 주변 환경은 미터, 수십 미터 또는 심지어 수백 미터의 거리까지 확장될 수 있다. 특성화(characterization)는 주변 환경의 피사체까지의 거리를 결정하여 수행된다. 거리가 근본적인 측정 파라미터이지만, 예컨대, 속도(모션의 방향 포함) 및 검출된 피사체의 가속도와 같은 도출된 변수의 추정치는 상이한 시점에서의 다수의 거리 측정치에 기초하여 결정될 수 있다. 공간적으로 다양한 여러 측정 지점의 정보를 결합하여 인식될 수 있는 복잡한 피사체의 경우, 방위(orientation) 및 회전과 같은 추가 파라미터가 또한 도출될 수 있다. 모든 측정치는 센서에 상대적이므로, "고정된(fixed)"피사체의 측정치는 센서의 속도, 가속도, 방향(피치(pitch), 요(yaw), 롤(roll)) 및 회전 및 센서가 장착된 차량에 대한 정보도 제공할 수 있다.
시스템은 펄스 시퀀스로 주변 환경을 향하여 레이저 광의 패턴을 투영하도록 배열된 투영 수단(projection mean)(210); 복수의 픽셀을 포함하는 검출부(220)로서, 검출기(220)는 펄스 시퀀스와 동기화하여 주변 환경에 의해 반사된 레이저 광의 패턴을 나타내는 광을 검출하도록 구성되고; 및 검출된 광에 응답하여 픽셀들에 의해 생성된 노출 값의 함수로서 주변 환경에 피사체(99)까지의 거리를 계산하도록 구성된 프로세싱 수단(240)을 포함한다.
시스템이 비행 시간(LIDAR) 원리에 따라 작동하면, 픽셀들(220)은 시퀀스의 각각의 펄스에 대해, 제 1 미리 결정된 타임 윈도우(10)동안 피사체(99)에 의해 반사된 제 1 광량을 나타내는 제 1 전하량 그리고 제 2 미리 결정된 타임 윈도우(20) 동안 피사체에 의해 반사된 제 2 광량을 나타내는 제 2 전하량을 누적함으로써 노출 값을 생성하도록 구성될 수 있고, 제 2 미리 결정된 타임 윈도우(20)는 제 1 미리 결정된 타임 윈도우(10) 이후에 발생한다.
이러한 LIDAR 기반 시스템의 작동 원리는 도면들 2-4의 타이밍도에 의해 예시된다. 명확성을 위해, 주기적으로 반복되는 펄스 시퀀스의 단일 펄스 만이 예시되며, 이는 제 1 타임 윈도우(10) 및 제 2 타임 윈도우(20)로 구성된다. 원리는 고체 상태 광원을 포함하는 투영 수단을 참조하여 예시적으로 설명된다.
도 2에서 알 수 있는 바와 같이, 제 1 타임 윈도우(10) 동안, 고체 상태 광원(210)은 광 스폿의 패턴을 풍경에 방출하는 "온(ON)" 상태에 있다. 제 2 타임 윈도우(20) 동안, 고체 상태 광원(210)은 "오프(OFF)" 상태에 있다.
검출기(220)에 반사된 광의 도달은 이동된 거리(자유 공간에서 약 3.3ns/m)에 비례하는 시간량 만큼 투영의 시작에 비해 지연된다. 이 지연으로 인해, 반사광의 일부만이 제 1 타임 윈도우(10) 동안에만 활성화되는 검출기(220) 의 제 1 우물(well)(221)에서 검출될 것이다. 따라서, 활성화 기간(제 1 타임 윈도우(10)) 동안에 제 1 우물에 누적된 전하는 반사된 펄스의 도달 이전에 픽셀 상에 충돌하는 노이즈 및 주변 광만을 나타내는 부분과, 노이즈, 주변 광 및 반사된 펄스의 리딩 에지(leading edge)를 나타내는 부분으로 구성된다.
반사된 펄스의 후반 부분은 바람직하게는 제 1 타임 윈도우(10)를 바로 이어지는 제 2 타임 윈도우(20) 동안에만 활성화되는 검출기(220)의 제 2 우물(222)에서 검출된다. 따라서, 활성화 기간(제 2 타임 윈도우(20)) 동안이 제 2 우물에 누적된 전하는 노이즈, 주변 광 및 반사된 펄스의 트레일링 에지를 나타내는 부분 및 노이즈만을 나타내는 부분, 및 반사된 펄스의 도달 후에 픽셀에 충돌하는 주변 광으로 구성된다.
반사 피사체(99)와 시스템(200) 사이의 거리가 멀수록, 제 1 우물(221) 에서 검출될 펄스의 비율은 더 작아지고, 제 2 우물(222)에서 검출될 펄스의 비율은 더 커진다.
반사된 펄스의 리딩 에지가 제 1 우물(221)의 폐쇄 후에 도착하면 (즉, 제 1 타임 윈도우(10)의 끝단 이후에), 비행 지연 시간이 증가함에 따라 제 2 우물(222)에서 검출될 반사된 펄스의 비율은 다시 감소할 것이다.
피사체(99)의 가변하는 거리에 대한 개별 우물(221, 222) 각각에서의 전하(A, B) 의 결과적인 양이 도 3b에 도시된다. 표현을 단순화하기 위해, 역 제곱 법칙에 따라 거리에 따른 광의 감쇠 효과가 다이어그램에서 고려되지 않았다. 제 1 타임 윈도우(10)와 제 2 타임 윈도우(20)의 결합 지속 기간까지의 비행 지연에 대해, 비행 지연 시간은 원칙적으로 A 및 B의 값으로부터 명백하게 도출될 수 있음이 명백하다 :
- 제 1 타임 윈도우(10)의 지속 기간까지의 비행 지연에 대하여, B는 피사체(99) 의 거리에 비례한다. 절대 거리를 쉽게 결정할 수 있도록 하기 위해, 정규화된 값 B/(B + A)를 사용하여, 검출된 피사체와 역 제곱 법칙의 완전하지 않은 반사율의 임의의 영향을 제거할 수 있다.
- 제 1 타임 윈도우(10)의 지속 기간을 초과하는 비행 지연에 대해, A는 일광(daylight) 및 노이즈 기여(예시되지 않음)만으로 구성되고, C-B는 피사체(99)의 거리에 실질적으로 비례하고 (역 제곱 법칙을 보정한 후에), 여기서 C 는 오프셋 값이다.
도 2 및 도 3은 타임 윈도우(10)에서 방출된 단일 펄스와 관련하여 본 발명의 원리를 예시하지만, 예시된 펄스는 상기에서 정의된 바와 같은 펄스의 시퀀스의 일부라는 것이 이해되어야 한다. 도 4는 이러한 시퀀스의 예시적인 타이밍 특성을 개략적으로 예시한다. 예시된 바와 같이, 조명 기법(40) 은 개별 펄스들(10)의 시퀀스(30)의 반복된 방출로 구성된다. 개별 펄스(10)의 폭은 최대 작동 범위(maximal operating range)에 의해 결정된다. 전체 시퀀스는 예를 들어, 60 Hz의 주파수에서 반복될 수 있다.
비행 시간 기반 감지 시스템의 다양한 옵션 피처들이 본 출원인의 이름에 미공개 유럽 특허 EP 15 191 288.8에 설명되고, 이의 내용은 당업자가 본 발명의 실시예에서 이들 피처들을 포함하는 것을 가능하게 하기 위해 이 참고 문헌에 포함된다.
시스템이 삼각 측량 원리에 따라 작동하는 경우, 프로세싱 수단(240)은 미리 결정된 피처 위치를 기준으로 주변 환경에 의해 반사된 레이저 광의 패턴을 나타내는 검출된 광의 피처의 변위를 결정함으로써 거리를 결정하도록 적응될 수 있다. 바람직하게는, 투영된 패턴은 레이저 광의 스폿들의 패턴이고, 미리 결정된 스폿 위치를 기준으로 하여, 주변 환경의 피사체에 의해 반사된 투영 스폿을 나타내는 검출된 스폿의 변위를 결정함으로써 거리가 결정된다.
삼각 측량 기반 검출 시스템의 다양한 옵션 피처들이 본 출원인의 이름에 WO 국제 특허 출원 공보 WO 2015/004213 A1에 개시되어 있으며, 이의 내용은 당업자가 본 발명의 실시예에서 이들 피처를 포함하는 것을 가능하게 하기 위해 참고 문헌에 포함된다.
본 발명에 따른, 검출기(220)는 주변 환경에 의해 반사되는 레이저 광의 패턴을 나타내는 광을 수신하지 않는 픽셀들에서 또는 펄스들의 시퀀스와 일치하지 않는 시점들에서 주변 환경의 2 차원 이미지를 형성하는 광을 검출하도록 추가로 구성된다.
차량과 관련된 레인징 시스템(ranging system)의 정확도 요건을 고려하여, 전형적으로 1 메가픽셀 정도의 전체 어레이 크기를 갖는 CMOS 센서 어레이가 선택된다. 본 발명자들은 10㎛정도의 크기에, 이러한 센서에 사용된 픽셀의 비교적 거친 크기에도 불구하고, 결합된 센서는 가장 기본적인 디지털 카메라를 형성하기 위해 적절한 광학기기(optics)와 조합하여 놀랄 만큼 수락할만한 2D 이미지 품질을 얻을 수 있다는 것을 발견했다.
본 발명은, 특별히 펄스들의 시퀀스와 일치하지 않는 시점들에서 주변 환경의 2 차원 이미지를 형성하는 광을 검출하는 개념은 레인징 펄스들의 시퀀스들 사이 또는 레인징 펄스들의 시간 간격들에서, 픽셀 어레이는 주변 환경의 디지털 2D 이미지들을 캡쳐하는데 사용될 수 있다는 본 발명자들의 통찰에 특별히 기초한다. 이러한 방식으로, 상보적인 정보를 제공하는 두 개의 상이한 기능이 단일 센서에 결합될 수 있다.
본 발명, 특히 주변 환경에 의해 반사된 레이저 광의 패턴을 나타내는 광을 수신하지 않는 픽셀에서 주변 환경의 2 차원 이미지를 형성하는 광을 검출하는 개념 또한 레인징 시스템은 예컨대, 라인 패턴 또는 스폿 패턴과 같은 특정 광 패턴의 반사 검출에 의존하기 때문에, 전체 픽셀 수의 작은 부분 서브셋만이 실제로 임의의 주어진 시간에 사용되고 있다는 본 발명자들의 통찰에 기초한다. 이 특정 개념은, 레인징 기능(광 패턴의 투명 및 검출)이 작동할 때 충분한 주변 광이 검출기에 도달할 때 사용될 수 있어서, 투영된 패턴의 일부를 수신하지 않는 픽셀 이 수신된 광으로부터 이미지를 형성할 수 있다.
패턴 반사 기반 레인징 감지는 레이저 광의 투영된 패턴에 의해 조명된 지점에서만 3 차원 정보를 함유하는 깊이 맵(depth map)을 제공하지만, 그 사이에(in-between) 캡쳐된 2D 이미지는 전체 풍경의 시각적 스냅샷을 제공한다. 깊이 맵은 2D 이미지에 정합(register)될 수 있고, 깊이 정보는 깊이 맵 값을 보간함으로써 2D 이미지의 모든 픽셀에 대해 획득될 수 있다. 2D 이미지와 3D 정보가 동일한 센서로부터 획득되기 때문에, 상이한 이미지 사이에 시차(parallax)가 없고, 이는 정합을 용이하게 한다.
바람직하게는, 깊이 맵 값의 보간은 2D 이미지 내의 픽셀 값에 의해 보조된다. 따라서, 예를 들어, 2D 이미지에서 규칙적인(regular) 휘도 또는 색상 구배에 해당하는 상이한 깊이 맵 값들 사이의 영역은 선형 보간법에 의해 깊이 차원에서 보간될 수 있다. 휘도 또는 색상 값의 급격한 단계를 포함하는 상이한 깊이 맵 값들 사이의 영역은 단계적(stepwise) 일정 깊이 값에 의해 보간될 수 있으며, 깊이 값의 단계는 휘도 또는 색상 값의 단계와 일치하도록 된다.
결합된 2D/3D 이미지는 별도로 취득된 소스 중 하나 보다 주변 환경에 대한 더 많은 정보를 결합한다. 기계 비전 시스템은 예컨대, 보행자, 차량, 고정된 피사체, 잔해, 임의의 노면의 불규칙성 등과 같은 환경 내의 관련 피처를 검출하기 위해 결합된 2D/3D 이미지가 제공될 수 있다.
2D 이미지는 바람직하게는, 예를 들어, 펄스들의 시퀀스들 사이에서, 프레임 들 사이에서 발생하는 타임 슬롯들에서 캡쳐된다. 예시적인 타이밍도가 도 5에 도시되어 있다. 다이어그램(a) (본 발명에 따르지 않은) 에서, 5 개의 연속적인 프레임(각각 펄스의 시퀀스, 예를 들어, 도 2 의 시퀀스(30)을 나타내는)은 모두 3D 레인징 감지를 위해 사용된다. 다이어그램 (d)에서, 처음 네 개의 프레임 중 하나의 프레임은 나머지 프레임과 정확히 동일한 지속 기간의 2D 이미지 캡쳐 타임 슬롯으로 대체된다; 따라서, 프레임의 전체 카덴스(cadence)는 동일하게 유지되지만, 프레임 타임 슬롯의 단지 75%만이 레인징 감지에 사용된다(당업자는 이 수치가 애플리케이션의 요구 사항에 따라 변경될 수 있음을 알 것이다; 레인징 감지를 위해 리저브(reserved)된 상대적 시간은 예를 들어, 10%, 20%, 25%, 33%, 40%, 50%, 60%, 67%, 75%, 80% 등 일 수 있다). 다이어그램 (b) 및 (c)에서 2D 이미지 캡쳐에 사용된 시간은 레인징 감지 프레임 보다 각각 더 길고 그리고 더 짧다.
일반적으로, 2D 이미지 캡쳐에 사용되는 시간은 픽셀에 충분한 광량을 누적시키기 위해 충분히 길어야 하고 그리고 모션 블러(motion blur)를 피하는데 충분히 짧아야 하는 바람직한 노출 시간(exposure time)의 함수로 선택될 수 있다(센서 및/또는 주변 환경의 피사체가 움직일 때). 2D 이미지 캡쳐에 사용되는 시간 슬롯은 또한 도 7의 다이어그램 (b)을 참조하여 아래에 설명되는 바와 같이, 상이한 파장 대역(예를 들어, RGB 이미지를 생성하기 위한 적색, 녹색 및 청색 광)의 광을 연속적으로 캡쳐할 수 있도록 확장될 수 있다.
전술한 특허 출원 WO 2015/004213 A1 및 EP 15 191 288.8에 보다 상세하게 설명된 것 처럼, 몇몇 조치들이 센서에 도달하는 신호로부터 주변 광 (특히, 광선(sunlight)) 주변 광을 필터링하기 위해 취해져야 하고, 센서에 도달하는 광은 정확하고 롱-레인징 거리 감지를 보장하기 위해 실질적으로 투영된 광 패턴의 원하는 반사율로 제한된다. 이러한 조치들은 좁은 대역 통과 필터 및 좁은 대역 통과 필터에 실질적으로 수직인 경로에서 들어오는 반사광을 가이드하는 광학 기기의 사용을 포함한다.
레인징 감지(range-sensing) 성능을 최적화하는데 필요한 조치는 2D 이미지 카메라로서의 픽셀 어레이의 이용 가능성을 제한한다. 센서가 차량에 장착될 때, 사용 중일 때 정상적으로 움직이기 때문에, 단일 노출로 캡쳐된 총 광량을 증가시키는 노출 시간의 임의의 증가는 수락할만한 모션 블러의 양에 의해 제한된다 - 실제로, 이것은 심각한 제한 사항이다.
이러한 부정적인 영향을 고려하여, 발명자들은 이하의 옵션의 피처들이 2D 이미지 캡쳐에서 더 나은 성능을 이끌어 낸다는 것을 발견했다.
제 1 해결책은 펄스 시퀀스와 동기화되어 활성화되고 2D 이미지가 캡쳐되는 시점에서 비활성화되도록 전자적으로 또는 전기 기계적으로 제어될 수 있는 센서 측에서 대역 통과 필터의 사용으로 이루어진다.
제 2 해결책은 펄스의 시퀀스와 일치하지 않는 시점에 주변 환경에 광의 번들을 투영시키도록 구성된 조명 수단을 시스템에 제공하는 것으로 이루어진다. 이러한 조명 수단은 저 조도 조건(low light condition)에서 통상적인 촬영에서 종종 행해지 듯이, 조명 플래시를 제공할 수 있다. 투영 수단(210) 및 조명 수단은 공통의 광원, 특히 VCSEL 어레이를 공유할 수 있다. 이것은 좁은 대역 통과 필터가 최적화되어서 픽셀 어레이에 도달하는 광량을 최대화할 수 있는 동일한 파장 대역에서”플래시(flash)"가 방출될 수 있다. 공통 광원이 VCSEL 어레이의 경우, 조명 수단은 원하는 VCSEL 어레이로부터 발생되는 광을 확산시켜 광의 번들(bundle)(대신 스폿의 시리즈)를 형성하기 위해 2D 이미지가 취해지는 시점에서 활성화되도록 구성된 능동 스티어링 디퓨저(steered diffuser)을 추가로 포함할 수 있다. 조명 수단은 또한 전조등 어셈블리와 통합될 수 있고, 그에 의해 광원은 센서 측에서 협대역 통과 필터를 통과할 수 있는 스펙트럼 부분에서 충분한 광 파워를 제공하도록 선택되어야 한다.
상기 고려 사항들에 비추어, 본 발명에 따른 시스템의 특히 바람직한 실시예는 전술한 비행 시간 기반 원리에 따라 동작하며, 그에 의해 VCSEL 어레이는 이산 스폿들의 펄스화된 패턴을 특성화될 풍경에 투영시키도록 제공되고, 이의 반사는 VCSEL 어레이에 의해 방출된 파장만을 통과되는 것을 허용하도록 구성된 협대역 통과 필터가 구비된 CMOS 기반 센서 어레이에 의해 검출된다. 2D 이미지기 캡쳐될 순간에 동일한 파장(전형적으로 860nm 근방의 파장 범위 내에서)의 광 번들을 방출하는 별개의 플래시가 풍경을 조명하도록 제공된다 - 이런 디자인에 의해, 플래시 광에 의해 방출되는 광 또한 검출기에서 협대역 통과 필터를 통과될 수 있을 것이다. 바람직하게는, 매 5 개의 타임 슬롯 중 4 개의 타임 슬롯은 레인징 프레임(ranging frame)을 투영/검출하는데 사용되고, 매 5 개의 타임 슬롯 중 나머지 하나는 2D 이미지를 캡쳐하는데 사용된다.
본 발명의 실시예에서, 검출기(220)의 복수의 다른 픽셀들 중 상이한 픽셀들은 상이한 파장 대역의 광이 시점에서 상이한 픽셀에 도달하는 것을 허용하는 상이한 필터가 제공된다. 이것은 도 6에 개략적으로 도시되며, 여기서, 개략적 근적외선(NIR : near infrared) 광, 적색 광, 녹색 광 및 청색 광에 대한 개별 필터를 구비하는 상이한 픽셀(또는 픽셀의 상이한 우물)를 갖는 픽셀 어레이가 도시된다.
본 발명의 다른 실시예에서, 검출기(220)의 복수의 픽셀은 시점들 중 상이한 시점들에서 복수의 픽셀들에 도달하는 상이한 파장 대역의 광을 허용하는 시간 의존 필터가 제공된다. 이것은 도 7의 다이어그램(a)에 개략적으로 도시되며, 여기서 별개의 타임 슬롯이 적색, 녹색 및 청색광을 캡쳐하기 위해 제공된다; 그리고 도 7의 다이어그램(b)에서, 타임 슬롯은 동일한 타임 슬롯의 연속 부분에서 적색, 녹색 및 청색 광의 연속 캡쳐를 허용하도록 확장된다.
이러한 일련의 실시예들은 컬러 디스플레이 상에 렌더링하기에 적절한 RGB 2D 이미지가 캡쳐되는 것을 허용한다.
또한, 본 발명은, 차량을 둘러싸는 영역을 특성화하도록 배열된 선행하는 청구항 중 임의의 청구항에 따른 시스템을 포함하는(특별히, 도로 차량 또는 철도 차량) 차량에 관한 것이다.
본 발명은 별도의 시스템 및 방법의 실시예를 참조하여 상기에서 설명되었지만, 이는 단지 목적을 명확하게 하기 위해 행해진 것이다. 당업자는 시스템 또는 방법과 관련하여 설명된 특징들만이 동일한 기술적 효과 및 장점으로 개별적으로 방법 또는 시스템에 적용될 수 있다는 것을 이해할 것이다. 더욱이, 본 발명의 범위는 이들 실시예에 한정되지 않고, 첨부된 청구 범위에 의해 정의된다.

Claims (9)

  1. 차량의 주변 환경(surrounding)을 특성화하기 위한 시스템에 있어서, 상기 시스템은,
    - 펄스들의 시퀀스로 상기 주변 환경을 향하여 레이저 광의 패턴을 투영하도록 배치된 투영 수단(210)으로서, 상기 레이저 광의 패턴은 불연속 스폿(discrete spot)들의 패턴을 포함하는, 상기 투영 수단(projection means);
    - 복수의 픽셀들을 포함하는 검출기(220)로서, 상기 검출기(220)는 상기 펄스들의 시퀀스와 동기화하여 상기 주변 환경에 의해 반사된 상기 레이저 광의 패턴을 나타내는 광을 검출하도록 구성된, 상기 검출기; 및
    - 상기 검출된 광에 응답하여 상기 픽셀들에 의해 생성된 제 1 노출 값(exposure value) 및 제 2 노출 값의 함수로서 상기 주변 환경에 피사체들(99) 까지의 거리들을 계산하도록 구성된 프로세싱 수단(240);을 포함하고,
    상기 픽셀들은 상기 시퀀스의 모든 펄스들에 대해, 제 1 미리 결정된 타임 윈도우(time window) 동안 상기 피사체들에 의해 반사된 제 1 광량(amount of light)을 나타내는 제 1 전하량 및 제 2 미리 결정된 타임 윈도우 동안 상기 피사체들에 의해 반사된 제 2 광량을 나타내는 제 2 전하량을 누적함으로써 개별적으로 상기 제 1 노출 값 및 상기 제 2 노출 값을 생성하도록 구성되고, 상기 제 2 미리 결정된 타임 윈도우는 상기 제 1 미리 결정된 타임 윈도우 이후에 발생하고,
    상기 검출기(220)는 상기 펄스들의 시퀀스와 일치하지 않는 시점(point in time)들에서 상기 주변 환경의 2 차원 이미지를 형성하는 광을 검출하도록 추가로 구성되는, 시스템.
  2. 제 1 항에 있어서, 상기 펄스들의 시퀀스와 일치하지 않는 시점들에서 상기 주변 환경으로 광의 번들(bundle)을 투영하도록 구성된 조명 수단(illumination means)을 포함하는, 시스템.
  3. 제 2 항에 있어서, 상기 투영 수단(210) 및 상기 조명 수단은 공통 광원을 공유하는, 시스템.
  4. 제 3 항에 있어서, 상기 공통 광원은 VCSEL 어레이를 포함하고, 상기 VCSEL 어레이로부터 발생된 광을 확산시켜 상기 번들을 형성하기 위해 상기 조명 수단은 상기 펄스들의 시퀀스와 일치하지 않는 시점들에서 활성화되도록 구성된 능동 스티어링 디퓨저(actively steered diffuser)를 더 포함하는, 시스템.
  5. 제 1 항에 있어서, 상기 검출기(220)의 복수의 픽셀들은 상이한 파장 대역의 광이 상기 시점들 중 상이한 시점들에서 상기 복수의 픽셀들에 도달하는 것을 허용하는 시간 의존 필터(time-dependent filter)가 제공되는, 시스템.
  6. 제 1 항에 있어서, 상기 검출기(220)의 복수의 픽셀들의 상이한 픽셀들은 상이한 파장 대역의 광이 상기 시점들에서 상기 상이한 픽셀들에 도달하는 것을 허용하는 상이한 필터들이 제공되는, 시스템.
  7. 차량에 있어서, 상기 차량을 둘러싸는 영역을 특성화하도록 배열된 제 1 항에 따른 시스템을 포함하는, 차량.
  8. 삭제
  9. 삭제
KR1020197021941A 2016-12-30 2018-01-02 차량 주변 환경을 특성화하기 위한 시스템 KR102559910B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP16207630.1 2016-12-30
EP16207630.1A EP3343246A1 (en) 2016-12-30 2016-12-30 System for characterizing surroundings of a vehicle
PCT/EP2018/050080 WO2018122415A1 (en) 2016-12-30 2018-01-02 System for characterizing surroundings of a vehicle

Publications (2)

Publication Number Publication Date
KR20190098242A KR20190098242A (ko) 2019-08-21
KR102559910B1 true KR102559910B1 (ko) 2023-07-26

Family

ID=57680183

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020197021941A KR102559910B1 (ko) 2016-12-30 2018-01-02 차량 주변 환경을 특성화하기 위한 시스템

Country Status (8)

Country Link
US (1) US11874374B2 (ko)
EP (3) EP3343246A1 (ko)
JP (2) JP7201592B2 (ko)
KR (1) KR102559910B1 (ko)
CN (1) CN110121659B (ko)
BE (1) BE1025547B1 (ko)
IL (1) IL266025B (ko)
WO (1) WO2018122415A1 (ko)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9992477B2 (en) 2015-09-24 2018-06-05 Ouster, Inc. Optical system for collecting distance information within a field
SG11201901600WA (en) 2016-08-24 2019-03-28 Ouster Inc Optical system for collecting distance information within a field
US11086013B2 (en) 2017-05-15 2021-08-10 Ouster, Inc. Micro-optics for imaging module with multiple converging lenses per channel
CA3068943A1 (en) 2017-07-05 2019-01-10 Ouster, Inc. Light ranging device with electronically scanned emitter array and synchronized sensor array
US10739189B2 (en) 2018-08-09 2020-08-11 Ouster, Inc. Multispectral ranging/imaging sensor arrays and systems
US11473970B2 (en) 2018-08-09 2022-10-18 Ouster, Inc. Subpixel apertures for channels in a scanning sensor array
US11585906B2 (en) 2018-12-26 2023-02-21 Ouster, Inc. Solid-state electronic scanning laser array with high-side and low-side switches for increased channels
DE102020104754A1 (de) * 2020-02-24 2021-08-26 Tridonic Gmbh & Co Kg Umgebungslichterfassung mittels zweier innerhalb einer Leuchte angeordneten Lichtsensoren
EP4220078A4 (en) * 2020-09-24 2024-05-29 Sony Interactive Entertainment Inc DEVICE FOR GENERATING DISTANCE INFORMATION AND METHOD FOR GENERATING DISTANCE INFORMATION

Family Cites Families (57)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0749417A (ja) 1993-08-06 1995-02-21 Fujitsu Ltd 干渉フィルタアセンブリ
AU9456198A (en) 1998-09-28 2000-04-17 3Dv Systems Ltd. Distance measurement with a camera
EP1152261A1 (en) 2000-04-28 2001-11-07 CSEM Centre Suisse d'Electronique et de Microtechnique SA Device and method for spatially resolved photodetection and demodulation of modulated electromagnetic waves
JP2002139304A (ja) 2000-10-30 2002-05-17 Honda Motor Co Ltd 距離測定装置、及び距離測定方法
JP4405154B2 (ja) 2001-04-04 2010-01-27 インストロ プレシジョン リミテッド イメージングシステムおよび物体の画像を取得する方法
JP2003185412A (ja) 2001-12-18 2003-07-03 Toshiba Corp 画像取得装置および画像取得方法
JP3832441B2 (ja) 2002-04-08 2006-10-11 松下電工株式会社 強度変調光を用いた空間情報の検出装置
US6906302B2 (en) 2002-07-30 2005-06-14 Freescale Semiconductor, Inc. Photodetector circuit device and method thereof
US6888122B2 (en) 2002-08-29 2005-05-03 Micron Technology, Inc. High dynamic range cascaded integration pixel cell and method of operation
JP4178890B2 (ja) 2002-09-05 2008-11-12 ソニー株式会社 固体撮像装置
US6744566B2 (en) 2002-10-01 2004-06-01 Eastman Kodak Company Symmetric, bi-aspheric lens for use in transmissive and reflective optical fiber components
JP4548087B2 (ja) 2003-10-29 2010-09-22 セイコーエプソン株式会社 デバイス
JP4280822B2 (ja) 2004-02-18 2009-06-17 国立大学法人静岡大学 光飛行時間型距離センサ
GB0405014D0 (en) 2004-03-05 2004-04-07 Qinetiq Ltd Movement control system
ATE481653T1 (de) 2006-01-29 2010-10-15 Rafael Armament Dev Authority Ladar mit passivem faser-optischem scanner
JP5171158B2 (ja) 2007-08-22 2013-03-27 浜松ホトニクス株式会社 固体撮像装置及び距離画像測定装置
JP5356726B2 (ja) 2008-05-15 2013-12-04 浜松ホトニクス株式会社 距離センサ及び距離画像センサ
JP5585903B2 (ja) 2008-07-30 2014-09-10 国立大学法人静岡大学 距離画像センサ、及び撮像信号を飛行時間法により生成する方法
JP4846811B2 (ja) 2009-02-03 2011-12-28 シャープ株式会社 光スポット位置検出装置およびそれを含む光デバイス、並びに、その光デバイスを含む電子機器
JP2010190675A (ja) 2009-02-17 2010-09-02 Toyota Motor Corp 距離画像センサシステムおよび距離画像生成方法
JP2010219826A (ja) 2009-03-16 2010-09-30 Fuji Xerox Co Ltd 撮像装置、位置計測システムおよびプログラム
DE102009037596B4 (de) 2009-08-14 2014-07-24 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Pixelstruktur, System und Verfahren zur optischen Abstandsmessung sowie Steuerschaltung für die Pixelstruktur
JP5211007B2 (ja) 2009-10-07 2013-06-12 本田技研工業株式会社 光電変換素子、受光装置、受光システム及び測距装置
JP2011128024A (ja) 2009-12-17 2011-06-30 Sharp Corp ３次元撮像装置
US8736818B2 (en) 2010-08-16 2014-05-27 Ball Aerospace & Technologies Corp. Electronically steered flash LIDAR
US9329035B2 (en) 2011-12-12 2016-05-03 Heptagon Micro Optics Pte. Ltd. Method to compensate for errors in time-of-flight range cameras caused by multiple reflections
US8686367B2 (en) 2012-03-01 2014-04-01 Omnivision Technologies, Inc. Circuit configuration and method for time of flight sensor
FR2998666B1 (fr) * 2012-11-27 2022-01-07 E2V Semiconductors Procede de production d'images avec information de profondeur et capteur d'image
WO2014122714A1 (ja) 2013-02-07 2014-08-14 パナソニック株式会社 撮像装置及びその駆動方法
US8908063B2 (en) 2013-03-11 2014-12-09 Texas Instruments Incorporated Method and apparatus for a time-of-flight sensor with charge storage
JP6299983B2 (ja) * 2013-04-01 2018-03-28 パナソニックＩｐマネジメント株式会社 複数の光源を有するモーションセンサ装置
CN105393083B (zh) 2013-07-09 2018-07-13 齐诺马蒂赛股份有限公司 周围环境感测系统
US20150260830A1 (en) 2013-07-12 2015-09-17 Princeton Optronics Inc. 2-D Planar VCSEL Source for 3-D Imaging
DE102013108824A1 (de) * 2013-08-14 2015-02-19 Huf Hülsbeck & Fürst Gmbh & Co. Kg Sensoranordnung zur Erfassung von Bediengesten an Fahrzeugen
US8917327B1 (en) * 2013-10-04 2014-12-23 icClarity, Inc. Method to use array sensors to measure multiple types of data at full resolution of the sensor
JP6489320B2 (ja) 2013-11-20 2019-03-27 パナソニックＩｐマネジメント株式会社 測距撮像システム
US9182490B2 (en) 2013-11-27 2015-11-10 Semiconductor Components Industries, Llc Video and 3D time-of-flight image sensors
KR102163728B1 (ko) 2013-12-05 2020-10-08 삼성전자주식회사 거리영상 측정용 카메라 및 이를 이용한 거리영상 측정방법
KR102277309B1 (ko) * 2014-01-29 2021-07-14 엘지이노텍 주식회사 깊이 정보 추출 장치 및 방법
US9874638B2 (en) 2014-03-06 2018-01-23 University Of Waikato Time of flight camera system which resolves direct and multi-path radiation components
GB201407267D0 (en) * 2014-04-24 2014-06-11 Cathx Res Ltd Underwater surveys
US9753140B2 (en) * 2014-05-05 2017-09-05 Raytheon Company Methods and apparatus for imaging in scattering environments
CN103954216B (zh) * 2014-05-13 2017-04-12 清华大学 基于球面光源的强镜面反射工件细窄坡口检测装置及方法
DE102014211071A1 (de) * 2014-06-11 2015-12-17 Robert Bosch Gmbh Fahrzeug-Lidar-System
EP2963744B1 (en) 2014-06-30 2019-04-03 Canon Kabushiki Kaisha Surface emitting laser and optical coherence tomography apparatus including the same
US9823350B2 (en) * 2014-07-31 2017-11-21 Raytheon Company Linear mode computational sensing LADAR
EP3074721B1 (en) * 2014-08-08 2021-05-19 CEMB S.p.A. Vehicle equipment with scanning system for contactless measurement
US10677923B2 (en) 2014-11-12 2020-06-09 Ams Sensors Singapore Pte. Ltd. Optoelectronic modules for distance measurements and/or multi-dimensional imaging
JP6478725B2 (ja) * 2015-03-09 2019-03-06 キヤノン株式会社 計測装置及びロボット
JP6531326B2 (ja) 2015-03-10 2019-06-19 アルプスアルパイン株式会社 光学式検知装置
US20160295133A1 (en) * 2015-04-06 2016-10-06 Heptagon Micro Optics Pte. Ltd. Cameras having a rgb-ir channel
CN107615093B (zh) 2015-05-28 2021-07-06 新唐科技日本株式会社 测距摄像装置、其测距方法以及固体摄像装置
US10533846B2 (en) 2015-06-09 2020-01-14 Mitsubishi Electric Corporation Image generation device, image generating method, and pattern light generation device
CN107533136B (zh) 2015-06-24 2020-08-25 株式会社村田制作所 距离传感器
US10503265B2 (en) * 2015-09-08 2019-12-10 Microvision, Inc. Mixed-mode depth detection
EP3159711A1 (en) 2015-10-23 2017-04-26 Xenomatix NV System and method for determining a distance to an object
JPWO2017085916A1 (ja) 2015-11-16 2018-09-06 パナソニックＩｐマネジメント株式会社 撮像装置、及びそれに用いられる固体撮像素子

Also Published As

Publication number Publication date
US11874374B2 (en) 2024-01-16
EP3343246A1 (en) 2018-07-04
CN110121659A (zh) 2019-08-13
BE1025547A1 (nl) 2019-04-03
BE1025547B1 (nl) 2019-04-09
WO2018122415A1 (en) 2018-07-05
JP2023026503A (ja) 2023-02-24
IL266025A (en) 2019-06-30
JP7201592B2 (ja) 2023-01-10
JP2020515811A (ja) 2020-05-28
CN110121659B (zh) 2022-11-04
US20190310376A1 (en) 2019-10-10
EP3796046A1 (en) 2021-03-24
EP3563177A1 (en) 2019-11-06
KR20190098242A (ko) 2019-08-21
IL266025B (en) 2019-12-31
EP3563177B1 (en) 2020-11-18

Similar Documents

Publication Publication Date Title
KR102559910B1 (ko) 차량 주변 환경을 특성화하기 위한 시스템
EP3519860B1 (en) System and method for determining a distance to an object
KR102656399B1 (ko) 구조화된 광 조명기가 있는 비행-시간 센서
JP7105782B2 (ja) イメージング・アレイ内のピクセルの露出値から背景光を差し引くための方法、及び、この方法における使用のためのピクセル
US10183541B2 (en) Surround sensing system with telecentric optics
US20180295344A1 (en) Methods and apparatus for an active pulsed 4d camera for image acquisition and analysis
EP3519856B1 (en) System for determining a distance to an object
EP3159711A1 (en) System and method for determining a distance to an object
CN112534303B (zh) 混合飞行时间和成像器模块
EP3519855B1 (en) System for determining a distance to an object
US11073379B2 (en) 3-D environment sensing by means of projector and camera modules
WO2021084891A1 (ja) 移動量推定装置、移動量推定方法、移動量推定プログラム、及び移動量推定システム
CN113227839B (zh) 具有结构光照明器的飞行时间传感器
KR20220155362A (ko) 이미지 데이터 획득을 위한 장치 및 방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right