KR20150024860A - 적응 피사계 심도를 이용한 게이트된 영상 - Google Patents

적응 피사계 심도를 이용한 게이트된 영상 Download PDF

Info

Publication number
KR20150024860A
KR20150024860A KR20147036619A KR20147036619A KR20150024860A KR 20150024860 A KR20150024860 A KR 20150024860A KR 20147036619 A KR20147036619 A KR 20147036619A KR 20147036619 A KR20147036619 A KR 20147036619A KR 20150024860 A KR20150024860 A KR 20150024860A
Authority
KR
South Korea
Prior art keywords
screen
dof
gated
pulse
light source
Prior art date
Application number
KR20147036619A
Other languages
English (en)
Other versions
KR102144521B1 (ko
Inventor
요아브 그라우어
오퍼 데이비드
에얄 레비
야아라 데이비드
하임 가르텐
알온 크렐보임
샤론 리프시츠
오렌 세이치
Original Assignee
브라이트웨이 비젼 엘티디.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 브라이트웨이 비젼 엘티디. filed Critical 브라이트웨이 비젼 엘티디.
Publication of KR20150024860A publication Critical patent/KR20150024860A/ko
Application granted granted Critical
Publication of KR102144521B1 publication Critical patent/KR102144521B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G01S17/10—Systems determining position data of a target for measuring distance only using transmission of interrupted, pulse-modulated waves
    • G01S17/18—Systems determining position data of a target for measuring distance only using transmission of interrupted, pulse-modulated waves wherein range gates are used
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/50—Systems of measurement based on relative movement of target
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/4802—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483—Details of pulse systems
    • G01S7/486—Receivers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Traffic Control Systems (AREA)
  • Studio Devices (AREA)

Abstract

적응 피사계 심도를 이용하여 게이트된 영상을 얻는 방법이 제공된다. 상기 방법은 화면(scene) 내의 예비 피사계 심도(DOF) 파라미터와 관련된 경계 조건을 획득하는 단계; 광원 파라미터를 조절하여, 특정 경계 조건을 기초로, 펄스 광 빔과 광원을 사용하여 화면을 조명하는 단계; 경계 조건을 기초로 센서 어레이 파라미터를 조절하는 단계; 센서 어레이를 사용하여, 화면의 하나 또는 그 이상의 영상을 캡쳐하는 단계; 데이터 처리 알고리즘을 이용하여 적어도 하나의 캡쳐된 영상을 분석함으로써 업데이트된 DOF 파라미터를 산출하는 단계; 및 업데이트된 DOF 파라미터 및 업데이트된 경계 조건을 기초로, 업데이트된 센서 어레이 파라미터 및 업데이트된 광원 파라미터 중 적어도 어느 하나를 이용하여 상기 조명하는 단계, 조절하는 단계, 및 캡쳐하는 단계를 반복하는 단계를 포함하고, 여기서 상기 캡쳐하는 단계는 펄스 광 빔으로 동기화된 하나 또는 그 이상의 노출을 기초로 하여, DOF 파라미터와 관련된 경계 조건과 일치하는 화면의 게이트된 영상을 획득한다.

Description

적응 피사계 심도를 이용한 게이트된 영상{GATED IMAGING USING AN ADAPTIVE DAPTH OF FIELD}
본 발명은 일반적으로 주간 및 야간 영상 신장(enhancement) 분야에서, 적응 피사계 심도를 이용한 게이트된 영상 시스템, 특히 차량용 영상 시스템 및 상기 시스템의 구현 방법에 관한 것이다.
US 특허공보 제7,733,464 B2호 (발명의 명칭: "차량에 장착된 야간 관측 영상 시스템 및 방법") 및 US 특허공보 제6,730,913호 (발명의 명: "단사-펄스 레이저 조명 및 영상 캡쳐를 위한 게이트된 카메라를 이용한 차량용 액티브 야간 관측 시스템)에는 게이트된 영상을 기반으로 하여 저-시정 환경 (야간, 또는 비 또는 눈 등과 같이 열악한 시정 상태 하의 야간)에서 자동차의 시정 상태를 개선시키기 위한 장치가 기술되어 있다. 상기 인용된 참고문헌들은 피사계 심도(DOF)를 기반으로 하는 뷰어(viewer)를 위한 영상 신장을 제공하고 있지 않다.
몇몇 구현예들에 따르면, 본 발명은 적응 피사계 심도를 이용하여 게이트된 영상을 얻는 방법을 제공하고자 한다. 상기 방법은 화면(scene) 내의 예비 피사계 심도(DOF) 파라미터와 관련된 경계 조건을 획득하는 단계; 광원 파라미터를 조절하여, 특정 경계 조건을 기초로, 펄스 광 빔과 광원을 사용하여 화면을 조명하는 단계; 경계 조건을 기초로 센서 어레이 파라미터를 조절하는 단계; 센서 어레이를 사용하여, 화면의 하나 또는 그 이상의 영상을 캡쳐하는 단계; 데이터 처리 알고리즘을 이용하여 적어도 하나의 캡쳐된 영상을 분석함으로써 업데이트된 DOF 파라미터를 산출하는 단계; 및 업데이트된 DOF 파라미터 및 업데이트된 경계 조건을 기초로, 업데이트된 센서 어레이 파라미터 및 업데이트된 광원 파라미터 중 적어도 어느 하나를 이용하여 상기 조명하는 단계, 조절하는 단계, 및 캡쳐하는 단계를 반복하는 단계를 포함하고, 여기서 상기 캡쳐하는 단계는 펄스 광 빔으로 동기화된 하나 또는 그 이상의 노출을 기초로 하여, DOF 파라미터와 관련된 경계 조건과 일치하는 화면의 게이트된 영상을 획득한다.
이하, 하기 첨부된 도면을 참조하여 본 발명을 실시하기 위한 구체적인 내용을 설명하면 하기와 같다:
도 1은 본 발명에 따라 차량에 장착된 게이트된 영상 시스템의 평면도를 나타낸다;
도 2는 본 발명의 바람직한 구현예에 따른 게이트된 영상 시스템의 일 구현예에 대한 예를 도식적으로 나타낸다;
도 3은 본 발명의 구현예에 따른 게이트된 영상 시스템 피사계 심도의 일 구현예에 대한 예를 도식적으로 나타낸다;
도 4는 본 발명의 구현예에 따른 게이트된 영상 시스템 자동 장애물 감지의 일 구현예에 대한 플로우 차트를 나타낸다;
도 5 및 도 6은 본 발명의 구현예에 따른 게이트된 영상 시스템 자동 장애물 감지출력의 예를 제공한다;
도 6A는 본 발명의 구현예에 따른 게이트된 영상 시스템 자동 커브(curvature) 감지 출력의 예를 제공한다;
도 7 내지 도 9는 본 발명의 구현예에 따른 게이트된 영상 시스템 다양한 피사계 심도 영상의 예를 제공한다;
도 10 및 도 11은 본 발명의 구현예에 따른 게이트된 영상 시스템 표적(target) 범위 측정의 일 구현예에 대한 예를 도식적으로 나타낸다;
도 12는 본 발명의 구현예에 따른 주간에 게이트된 영상 시스템 피사계 심도의 사용 예를 제공한다;
도 13은 본 발명의 몇몇 구현예와 일치하는 예시적인 구현을 위한 시뮬레이션에 사용된 공식(formulation) 및 단위(unit)를 나타낸다;
도 14는 본 발명의 구현예에 따른 게이트된 영상 시스템 피사계 심도의 야간에서의 사용 예를 제공한다;
도 15는 본 발명의 구현예에 따른 주간에서의 광원 변조 교통 신호의 예를 제공한다;
도 16은 본 발명의 구현예에 따른 게이트된 광원 시스템의 부재 하에 게이트된 영상 시스템 게이팅 영역의 일 구현예에 대한 예를 도식적으로 나타낸다;
도 17은 본 발명의 구현예에 따른 게이트된 광원 시스템의 존재 또는 부재 하에 게이트된 영상 시스템 게이팅 영역의 일 구현예에 대한 예를 도식적으로 나타낸다;
도 18은 본 발명의 구현예에 따른 게이트된 광원 시스템 조명의 다중 광원 필드 및 다중 피사계 심도의 구현예에 대한 예를 도식적으로 나타낸다; 그리고
도 19는 본 발명의 구현예에 따른 게이트된 영상 시스템 적응 피사계 심도("Slice") 측정방법의 구현예에 대한 플로우 차트를 나타낸다.
본 발명은 주간, 야간, 광-변조 물체 영상(예를 들면, 교통 신호 등과 같은 높은 반복율을 갖는 점멸장치) 및 열악한 시정 상태에서의 게이트된 영상 시스템에 관한 것이다. 또한, 본 발명은 자동 경고 장치를 이용하여 누적된 표적에 대한 선택적 피사계 심도(이하, "Slice"라고도 함)를 기초로 실시간 표적 감지(예를 들면, 차, 오토바이, 보행자 등과 같은 임의의 물체)를 가능하게 한다. 상기 게이트된 영상 시스템은 고정 및/또는 이동 플랫폼에 장착되어 휴대될 수 있다. 게이트된 영상 시스템은 심지어 수중 플랫폼, 지상 플랫폼 또는 공중 플랫폼에서 사용될 수도 있다. 본 명세서에 따른 게이트된 영상 시스템을 위한 바람직한 플랫폼은 차량이다.
게이트된 영상 시스템은 선행기술, US 특허공보 제7,733,464호(발명의 명칭: "차량에 장착된 야간 관측 영상 시스템 및 방법")에 기술되어 있다. (자유 공간에서) 광원 펄스는 다음과 같이 정의된다:
Figure pct00001
상기 식에서, 파라미터들은 하기에 정의되어 있다.
(자유 공간에서) 게이트된 카메라 ON 시간은 다음과 같이 정의된다:
Figure pct00002
(자유 공간에서) 게이트된 카메라 OFF 시간은 다음과 같이 정의된다:
Figure pct00003
상기 식에서 c는 빛의 속도를 나타내고, R0, Rmin 및 Rmax는 특정 범위를 나타낸다.
게이트된 영상을 이용하여, TLaser, TII 및 TOff의 시간 동기화를 통한 범위에 대한 함수로서 민감도가 생성된다.
본 명세서에서 단일의 "게이트Gate)" (즉, 1개의 센서 판독 당 적어도 단일의 센서 노출에 따른 적어도 단일의 광원 펄스 조명)는 상기 정의된 바와 같이 특정 TLaser, TII 및 TOff 시간을 이용한다. 본 명세서에서 "게이팅(Gating)" (즉, 단일의 센서 노출에 따른 단일의 광원 펄스 조명 및 센서 판독의 시퀀스를 종료하는 단일의 광 노출에 따른 단일의 광원 펄스 조명에 대한 적어도 단일의 시퀀스)은 상기 정의된 바와 같이 특정 TLaser, TII 및 TOff 시간에 대한 각각의 시퀀스를 이용한다. 본 명세서에서 피사계 심도("Slice")는 시청되는 화면에 대한 특정의 누적된 영상을 제공하는 적어도 단일의 게이트 또는 게이팅을 이용한다. 각 DOF는 적어도 R0, Rmin 및 Rmax를 포함하는 특정 DOF 파라미터를 가질 수 있다.
도 1은 차량의 전방 환경을 조명(50)하기 위한 비-가시 스펙트럼(예를 들면, LED 및/또는 레이저에 의한 NIR)으로 게이트된 광원(10)을 이용하는 게이트된 영상 시스템(60)이 장착된 차량(20)을 나타낸다. 게이트된 영상 시스템(60)은 영상 게이팅에 적합한 카메라(센서 어레이)(40)을 포함하고, 예로서 바람직한 게이트된 카메라로는 GCMOS(Gated Complementary Metal Oxide Semiconductor)를 들 수 있다. 게이트된 영상 시스템(60)은 또한 시스템 조절장치(30) 및 운전자 인터페이스(Human Machine Interface, HMI)(70), 예를 들면 디스플레이, 오디오 경고 및 촉각 경고 등을 포함할 수도 있다.
도 2는 상기 구현예에 따른 게이트된 영상 시스템(60)의 내장 모듈을 나타낸다. 따라서, 게이트된 영상 카메라(센서 어레이)(40)는 게이트된 카메라/센서(72)를 포함한다. 게이트된 카메라/센서 광 모듈(71)은 게이트된 광원(10)에 의해 제공되는 것과 유사한 전자기 파장을 일으키고 검출하기에 적합하다. 게이트된 카메라/센서 광 모듈(71)은 또한 게이트된 카메라/센서(72)의 광감성 영역으로 입사광을 포커싱하기에 적합하다. 게이트된 카메라/센서 광 모듈(71)은 대역 통과 필터에 의해 수행되고/수행되거나 다양한 편광을 필터링하기에 적합하기 때문에, 특정 파장 스펙트럼을 필터링하기에는 더욱 적합하다. 또한, 게이트된 카메라/센서(72)는 전자기 변조를 검출하기에 적합한 것으로, 게이트되거나 변조된 광원(10)으로부터 생성된 전자기 신호를 검출하기에 적합한 동기화 매카니즘을 포함한다. 게이트된 영상 카메라(센서 어레이)(45)는 또한 영상 및 신호 처리장치(75), 게이트된 조절장치(30)(게이트된 영상 카메라(40)에 각각 위치될 수 있음), 및 자동차 통신 버스(83)와 상호작용하기에 적합한 전기 인터페이스(35)를 더욱 포함할 수 있다. 게이트된 영상 조절장치(30)는 트링거(triggering) 및 제어(77)를 통해 (제어(73)에 의해) 카메라 게이팅/노출에 대한 게이트된 동기화를 게이트된 광원(10) 펄스에 제공하고 (74에 의해) 시스템 파라미터를 영상 및 신호 처리장치(75)에 제공한다. 영상 및 신호 처리장치(75)에 제공된 시스템 파라미터는 차량 파라미터(예를 들면, 차량 속도, 와이퍼 작동 등) 및/또는 그 밖의 파라미터(예를 들면, 프레임 당 펄스/노출의 수, 카메라/센서 게인(gain), 시간 등)을 포함할 수 있다. 영상 및 신호 처리장치(75)는 카메라/센서(72)로부터의 영상 및/또는 도면부호 85에서 비디오를 통한 외부 센서로부터의 추가적인 영상을 조합(융합)할 수 있다. 영상 및 신호 처리장치(75)는 또한 ADAS 특징(예를 들면, 보행자 감지, 차선 이탈 경보, 교통 신호 인식, 물체 범위 추정 등)과 같은 실시간 영상 처리(컴퓨터 관측)을 제공할 수 있다. 차량 통신 버스(35)를 통한 ADAS 특징 출력, 운전자 HMI(70)으로의 데이터 인터페이스(87) 및 게이트된 화상 시스템에 대한 비디오 출력(86)과 같은 추가적인 인터페이스가 제공된다. 비디오 출력(86)은 ADAS 특징 오버레이 하이라이팅(예를 들면, 보행자 감지 경고, 경계 직사각형, 차선 감지 경고 등을 위한 오버레이 라인)을 가질 수 있다. (차량 전기 공급(84)에 의한 공급되는) 전원 장치(76)는 게이트된 영상 카메라(40)와 조절장치(30)에 요구되는 전압을 제공한다.
다른 구현예에서, 시각 기반과 같은 HMI(70)은 기하학 고려 및/또는 게이트된 영상(게이트된 영상 카메라(40) 및 게이트된 광원(19)에 대한 특정 게이팅/노출 시간)을 기반으로, 카메라 FOV(Field-Of-View) 내의 영상 표적에 대한 범위 추정을 포함할 수 있다. 또한, 게이트된 영상에 대한 시각적 디스플레이는 차량(20)의 속도를 기반으로 하는 것으로, 디스플레이된 영상은 빠른 속도에서 확대되고(예를 들면, 시간 당 50 km 이상), 느린 속도에서 축소될 수 있다(예를 들면, 시간 당 50 km 미만).
도 2은 비-가시 스펙트럼(예를 들면, 750-2,000nm) 내의 적어도 단일의 게이트된 광원(10)을 나타내는 것으로, 편광을 투영하고/투영하거나 필터링하기에 적합한, 광원 광 모듈(82)을 포함한다. 광원 광 모듈(82)는 또한 빛을 분산시키고(예를 들면, 할로그래픽 확산기, 광학 렌즈 등) 하나 또는 그 이상의 FOI(Field Of illumination)를 투영하기에 적합할 수 있다. 게이트된 광원(10)은 또한 펄스 조명을 제공하거나 변조된 조명을 제공하기 위하여 펄스 및/또는 변조 광원(81) (예를 들면, LED, LASER, 플래시 램프 등)을 포함한다. 게이트된 광원(10)은 전기적 방법(예를 들면, 열전 냉각 장치) 및/또는 적합한 기계적 방법 및/또는 그 밖의 시각적 방법을 기반으로 하는 광원 파장 조절장치(80) 및 본 기술분야의 통상의 지식을 가진 자에게 이해되는 바와 같은 조명 파장 안정화 장치를 포함할 수 있다. 게이트된 광원(10)은 또한 광원 조절장치(78) 및 차량 전기 공급(4)을 통해 공급되는 전원 장치(79)를 포함할 수 있다. 광원 조절장치(79)는 펄스 또는 변조된 조명을 조절하기에 적합하고, 광원 파장 조절장치(80)을 제어하여 게이트된 영상 조절장치(30)으로부터의 트리거 신호를 수신하기에 적합하다. 게이트된 광원(10)은 또한 내장 테스트(built in test) 상태를 조절하고/조절하거나 제공하기에 적합한 차량 통신 버스(83)와의 통신 인터페이스(35)를 포함하고, 광원(10) 펄스 파라미터는 펄스 진폭, 펄스 주기, 펄스 파장, 펄스 파형, 펄스 위상, 및 펄스 듀티 사이클을 포함할 수 있다.
도 3은 특정 거리(120)에서 차량에 장착된 FOV(150)를 포함하는 게이트된 카메라(센서 어레이)(40)를 나타낸다. 게이트된 광원(10)(도시하지 않음)은 게이팅(상기 정의됨)을 제공하기 위하여 게이트된 카메라(40)에 동기화된 시청 화면(130과 100으로 나타냄)을 조명한다. 게이트된 카메라(센서 어레이)(40)는 전역(full) 피사계 심도(130과 100으로 나타냄)의 반사된 게이트된 광원 에너지를 흡수할 수 있다. 게이트된 카메라(센서 어레이)(40)는 또한 비-가시 게이트된 광원으로부터 적어도 단일의 선택적으로 조명된 화면 피사계 심도("Slice")(140, 130, 100 및 110으로 나타냄) 반사를 누적시킬 수 있다. 하기의 표는 각 피사계 심도에 요구되는 시간의 예를 나타낸다.
Figure pct00004
게이트된 영상 시스템은 실시간 누적되는 영상을 처리하고 (추가적인 센서의 존재 및/또는 부재 하에) 영상을 조합하여 자동적으로 경고하고/경고하거나 시청 화면 내의 관련 물체를 하이라이팅(예를 들면, 차량 궤적 내의 보행자, 양보 교통 신호, 도로 내의 홀 등)할 수 있다. 게이트된 영상 시스템은 또한 시스템 처리 및/또는 미-처리 영상을 보여주기 위한 디스플레이 장치 및/또는 임의의 시스템 영상 처리된 특징들을 위한 오디오 경고장치를 포함할 수 있다.
게이트된 카메라 FOV 및/또는 게이트된 광원은 시청 화면에 따라 운전 중 이동될 수 있다. 예를 들면, 화면에서 도로가 오르막길로 보이는 경우, 게이트된 시스템은 위쪽으로 회전될 수 있고, 우회전 도로의 경우, 게이트된 시스템은 도로의 커브와 유사한 각도로 우회전될 수 있다. 게이트된 시스템 회전은 기계적 구조물, 전기-기계적 엔진, 전기-시각적 구조물 등을 통해 조절될 수 있다.
도 4는 야간 및 열악한 날씨 상태(예를 들면, 비, 눈 등) 하의 야간에서 게이트된 영상 시스템에 대한 높은 POD(Probability Of Detection) 및 낮은 FAR(False Alarm Rate)을 갖는 자동 표적 감지 프로세스의 플로우 차트를 나타낸다. 하기의 자동 표적 감지는 심지어 20개 미만의 유효 표적 카메라 픽셀을 갖는 낮은 카메라 표적 해상도(약 15개의 유효 표적 픽셀을 제공하는 시스템 및 카메라
Figure pct00005
로부터 150m 거리에 서있는 1m 높이의 보행자와 같은 표적)에도 적용될 수 있다. 플로우 차트의 입력은 게이트된 영상 시스템으로 촬영된 적어도 2개의 영상이다. 제1영상(영상 #1, 도 4의 202)는 화면의 전역 피사계 심도(DOF)이고, 연속적인 제2영상(영상 #2, 도 4의 201)은 화면의 선택적 DOF("Slice") 영상이다. 움직임 감지 처리부(203)는 보행자 걸음, 자전거 타는 사람 등과 같은 수직 및/또는 평행 표적 움직임 감지를 제공한다. 움직임 감지 처리부는 시청 화면에 대한 게이트된 영상 플렛폼(예를 들면, 차량)의 "자체동작(Egomotion)" (즉, 고정된 화면에 상대적인 카메라의 움직임을 추정하는 것을 의미함)을 고려하여 표적 움직임을 추출할 수 있다. 후보 감지 처리부(204)는 기설정된 특징에 의한 표적 추출을 제공한다. 예를 들면, 보행자는 수직 가장자리에 반응하는 필터에 의해 추출된 수직 특징을 가진다. 주의는 주로 차선 감지 처리부에 의해 제공되는 도로와 그의 주변 도로 가장자리(예를 들면, 오로지 게이트된 시스템 궤적 내의 관련 표적)에 집중된다. 상기 3개의 처리부의 출력을 조합하는 것은 관련 표적 만을 제공하는 후보 스크리닝 처리부(206)에서 수행된다. 도 4의 영상 #2는 움직임 및 후보 감지 처리부의 입력이 되어, 선택적인 DOF/"Slice"를 기반으로 한 추가적인 표적 스크리닝을 제공할 수 있다(예를 들면, 시청 화면 내에서 기-설정된 부분). 도 4의 영상 #1(전역 DOF)는 낮은 오류 감지 및 높은 감지 가능성으로 차선 검출이 가능한 완성된 화면 영상으로 인해 영상 #2(선택적인 DOF/"Slice")에 대한 차선 감지 처리부(205)을 위한 입력이 되는 것이 바람직하다. 보행자 감지 플로우 차트에 대한 여러 처리부의 출력의 예를 도 5에 나타내었다. 처리된 영상의 입력은 전역 DOF 영상(예를 들면, 영상 #1은 상기 기술된 처리부의 입력이다)이다. 2개의 넓은 차선은 보라색 (차선 감지부의 출력)으로 표시되어 있고, 파란색/노란색은 직사각형 (후보 감지부의 출력)으로 표시되어 있고, 노란색은 직사각형 (구현되는 움직임 감지부를 제외한 후보 스크리닝부의 출력)을 표시하고, 여기서 차선 감지 외부의 후보는 제외되었다. 보행자 감지 플로우 차트에 대한 여러 처리부의 출력의 다른 예를 도 6에 나타내었다. 상부에 나타낸 처리 영상의 입력은 선택적 DOF/"Slice" 영상 (예를 들면, 영상 #2는 상기 기술된 처리부의 입력임)이고 하부에 처리된 영상의 입력은 전역 DOF 영상 (예를 들면, 영상 #1은 상기 기술된 처리부의 입력임)이다. 후보 스크리닝 처리부 입력에 대한 DOF/"Slice" 상부 영상의 이점을 알아차릴 수 있을 것이다. 도 4의 플로우 차트로 다시 되돌아가면, 특징 추출 처리부(207)가 수행되어 다른 표적 스크리닝 층을 제공한다. 상기 처리부는 각 표적 유형 특징들에 특이적으로 설정되어 있다. 예를 들면, 보행자는 전형적인 넓이/높이 비율, Cy/길이 비율(여기서 Cy는 조각의 무게 중심 Y를 나타낸다) 및 교차 다리 차이(조각의 2 부분 사이에 있는 조각의 하부에서의 최대의 차이)를 가지거나, 보행자가 걷고 있는 경우, 그의 다리는 서로 마주하는 "V"모양을 형성한다. 장애물 인식 처리부(208)는 특징 추출 처리부에 따라 표적 만을 추출하여 운전자 HMI에서 하이라이팅되고/하이라이팅되거나 선언되는 높은 POD 및 낮은 FAR 표적 감지 입력을 최종 장애물 판단 처리부(209)에 제공한다.
도 4의 차선 감지 처리부는 또한 게이트된 영상을 기초로(전역 DOF 또는 선택적 DOF) 전방 도로 커브 감지를 전송할 수 있다. 상기 감지된 정보는(도로 커브 각도 및/또는 도로 커브 거리)는 차량 헤드램프 조명 및/또는 헤드램프 조명 모양을 움직이게 하여 도 6A에 나타낸 바와 같이 운전자가 운전 경로를 더욱 집중할 수 있도록 도와준다.
게이트된 영상 시스템 FOV의 표적 감지는 야간 및 열악한 날씨 상태(예를 들면, 비, 눈 등)에서 영상 센서 및 광원 시간 영역(게이팅)과 관련된 선택적 DOF ("Slice")에 의해 수행될 수 있다. 예를 들면, "Slice" (예를 들면, 시청 화면의 세그먼트)의 실행은 표적이 관련 DOF에만 누적되는 가상 스캐너 역할을 한다. 상기 "Slice" 영상은 물체 감지(예를 들면, 시스템 영상 처리, 운전자의 눈 등)의 경우, 백그라운드에 대한 클러터 축소 및 물체 콘트라스트 신장으로 인해 전역 DOF 영상에서 더 나은 SNR(Signal to Noise Ratio)을 가능하게 한다. 클러터는 탐색 시 표적에 대한 백그라운드 텍스쳐로 여겨진다. (보행자 표적에 대한) 인텐스 클러터는 차량, 기둥 등의 부지를 갖는 도시 경관일 수 있다. 예로서, 시스템의 전역 DOF 영상은 25m 내지 250m이며 요망되는 DOF ("Slice")는 150m 내지 250m 이고, 다른 예로서, 시스템의 전역 DOF 영상은 25m 내지 250m이고 요망되는 DOF ("Slice")는 25m 내지 100m이다.
도 7은 게이트된 영상 시스템으로 촬영된 영상을 나타내는 것으로, 상부 영상은 25m 내지 250m의 전역 DOF 영상으로 촬영한 것이고 하부의 연속적인 영상은 150m 내지 200m의 요망되는 DOF ("Slice")로 촬영된 것이다. 두 영상 모두 우측 도로에 2명의 보행자가 나타나 있지만 보행자 앞의 클러터 (예를 들면, 150m 미만) 및 보행자 뒤쪽의 클러터 (예를 들면, 200m 이상)는 전역 DOF(예를 들면, 25m 내지 250m)와 관련하여 요망되는 DOF ("Slice")에서 더 낮았다.
도 8은 게이트된 영상 시스템으로 촬영한 영상을 나타내는 것으로, 상부 영상은 25m 내지 250m의 전역 DOF 영상으로 촬영된 것이고 하부의 연속적인 영상은 150m 내지 200m의 요망되는 DOF ("Slice")로 촬영된 것이다. 우산을 들고 있는 보행자가 약 75m의 거리에서 도로를 가로지르고 있으며 이는 전역 DOF 영상에서만 식별 가능하다. 상기 예에서, 요망되는 DOF ("Slice") 영상은 관련 DOF 내에서 조명(주목)되지 않는 표적으로 인해, 표적(상기 예에서, 보행자)이 자동 표적 감지 (도 4의 플로우 차트에 기술됨)에 의해 선언될 수 없는 경우, 가상 스캐너 역할을 한다.
도 9는 게이트 영상 시스템으로 쵤영된 영상을 나타내는 것으로, 상부 영상은 10m 내지 200m의 전역 DOF 영상으로 촬영된 것이고 하부의 연속적인 영상은 10m 내지 50m의 요망되는 DOF ("Slice")로 촬영된 것이다. 보행자가 약 25m의 거리의 영상의 우측에서 달리기를 하고 있으며, 두 영상 모두 식별 가능하다. 상기 예에서, 요망되는 DOF ("Slice") 영상은 임의의 자동화 또는 비-자동화 보행자 감지 방법에 단순한 영상 입력을 제공하는 연속적 전역 DOF 영상 보다 더 낮은 클러터(예를 들면, 백그라운드 상의 데이터)를 가진다.
선택적인 DOF ("Slice")를 갖는 표적 감지는 클러터를 기반으로 하고, "Slice"로부터 표적 최적의 반사 신호는 게이트된 영상 최대 SNR 이미지가 야간 및 열악한 날씨 상태(예를 들면, 비, 눈 등) 하의 야간에서 수신될 때 누적되어야 한다. 상기 방법은 하기의 단계로 수행될 수 있다:
·단계 1: 표적을 상기 기술하고 도 4에 나타낸 바와 같이 자동 감지하거나 다른 방법으로 감지한다. 예를 들면, 표적 감지는 카메라 프레임 #N상에 수행된다.
·단계 2: "Slice" 동기화 시간(예를 들면, TLaser, TII 및 TOff와 같은 게이트된 광원 시간 및 게이트된 카메라 시간에 대한 함수인 파라미터)을를 설정하여 표적일 수 있는 DOF의 세그먼트를 누적한다. 게이트된 카메라 FOV 내의 표적 크기 및/또는 위치에 대한 기하학적 고려는 "Slice" 시간에 대한 "1차" 거리 추정을 제공할 수 있다.
·단계 3: 단계 2로부터의 (예를 들면, 카메라 프레임 #N에 감지된 표적) 누적된 "Slice" 영상 내의 표적 SRN을 계산한다.
·단계 4: TLaser, TII 및 TOff와 같은 "Slice" 동기화 시간 파라미터를 조절하여 "Slice" 폭을 줄이고/줄이거나 R0를 증가시키고/증가시키거나 Rmin을 증가시키고/증가시키거나 Rmax를 감소시킴으로써 이후의 "Slice" 누적된 영상에서 더 나은 표적 SNR을 획득한다. 예를 들면, 표적이 단계 1에서 감지되는 경우, "Slice"는 단계 2에 기술된 100m 내지 200m 거리의 반사된 조명 신호를 누적하도록 설정된다. 계산된 표적 SNR (단계 3)이 이전의 단계 1의 표적 SNR 보다 낮은 경우, 다음 "Slice"를 조절하여, 100m 내지 150m 또는 150m 내지 200m 등의 거리로부터 반사된 조명 신호를 누적한다.
·단계 5: 단계 3 등의 반복
게이트된 영상 시스템은 차량 속도 및/또는 보이는 현장 도로 기하학 및/또는 도로 상태와 관련하여 요망되는 DOF ("Slice")에서만 표적을 처리하고/처리하거나 표시하고/표시하거나 감지할 수 있다. 차량 속도는 GPS에 의해 및/또는 차량 통신 버스를 통해 및/또는 누적된 영상들 사이의 게이트된 영상 시스템 이미지 변화를 기초로 하여 제공될 수 있다. 예를 들면, 야간 및 열악한 날씨 상태(예를 들면, 비, 눈 등) 하의 야간에서 도로 기하학 DOF("Slice") 의존성인 경우에, DOF("Slice")가 직선 도로에서 150m 내지 250m에 있으면, DOF("Slice")는 커브 도로에서는 25m 내지 150m에 있을 것이다. 다른 예로서, 도로 상태 DOF ("Slice")에 의존성 경우에, DOF ("Slice")가 건조 도로에서 150m 내지 250m에 있으면, DOF는 젖은 도로에서는 25m 내지 150m에 있을 것이다. 젖은 도로 및/또는 오일 유출은 거울 반사 거동으로 인해 차량 비 센서 (젖은 도로에 적용 가능함)와 같은 그 밖의 외부 지시에 의해 및/또는 날씨 기상 캐스터(젖은 도로에 적용 가능함)로부터 감지될 수 있다. 본 방법은 운전자 및/또는 시스템 영상 처리에서 부적절한 클러터(데이터)를 감소시킬 수 있으며, 운전자에게 잠재적인 위험을 하이라이팅할 수 있다.
도 10 및 도 11은 야간 및 열악한 날씨 상태(예를 들면, 비, 눈 등) 하의 야간에서 게이트된 영상 시스템에 의한 표적 거리를 추정하는 방법을 나타낸다. 게이트된 영상 시스템은 각 누적된 프레임 마다 적어도 하나의 선택적 DOF ("Slice")를 처리하고, 게이트된 카메라 및 게이트된 광원 동기화 시간 영역(게이팅)과 관련되는, 보이고 조명된 화면 상의 물체 거리를 추정할 수 있다. 예를 들면, 특정 게이팅 시퀀스는 특정 선택적 DOF ("Slice")와 직접적으로 관련된다. 거리 추정은 광원 펄스 증가 & 감소 시간 및 게이트된 카메라 GCMOS 셔터링 능력 (ON & OFF 시간)을 기반으로 하기 때문에, 이러한 파라미터가 빠를 수록, 거리 추정은 보다 더 정확하다.
도 10은 단일 프레임/영상 내의 단일 DOF ("Slice", 400)에서 상부 2개의 물체 (표적, 401 및 402)을 나타낸다. 하부에서, 2개의 다른 물체(표적, 401 및 402)는 다른 단일의 프레임/영상 내의 2개의 다른 DOF ("Slice", 401 및 402)를 가진다.
도 11은 다중의 다른 DOF ("Slice", 450, 460 및 470) 내의 단일의 물체 (표적 403)을 나타낸다. 각 DOF를 기초로, 특정 동기화 시간 R0 및/또는 Rmin 및/또는 Rmax가 추출될 수 있다. 예를 들면, 50nsec 차수의 게이트 ON/OFF 시간을 갖는 게이트된 카메라로 컨볼루션된 50nsec 차수의 증가/감소 시간을 갖는 광원은 ± 15m 차수의 DOF 범위 추정을 제공할 수 있다.
게이트된 영상 시스템은 주간 및/또는 야간 및/또는 열악한 시정 상태 동안 물체의 거리 및/또는 종류를 감지하고/감지하거나 추정할 수 있다. 이는 적어도 판독 프레임 당 적어도 단일의 광원 펄스 및 게이트 시퀀스(게이팅)를 기초로 하여 선택적 DOF("Slice")를 얻을 가능성과 직접 관련된다. 이 방법은 시청 화면에서 높은 강도 조명 광원 피크 전원 반사를 이용할 수 있다. 고 반사 물체(예를 들면, 람베르티안과 같은 확산성 표적은 제외함)는 교통 신호 내의 역-반사기, 차량 역-반사기 조명 및/또는 역-반사기 스티커, 교통 조명 역-반사기 등과 같은 기술로 감지될 수 있다. 역-반사기로부터의 강도 높은 조명은 확산형 반사 보다 3배 큰 차수를 가질 수 있으므로, 주간 조명 상태 (예를 들면, 태양광으로 인한 높은 조도)에서 조차 우수한 게이트된 영상 시스템 신호에 대한 백그라운드 신호 비율을 가능하게 할 수 있다. 이 방법은 백그라운드로부터 "하이라이팅" 관련 표적을 제공하여 기하학 고려 및/또는 그 밖의 방법을 기초로 더 빠르고 단순한 관련 거리 추정을 가능하게 한다. 본 방법은 (도 13에 도시한 계산을 예로 하여) 하기와 같이 나타낼 수 있다:
·프레임 #1 (액티브 프레임): 단일의 판독 프레임 당 적어도 단일의 광원 펄스 및 카메라 게이트 시퀀스(게이팅). 적어도 단일의 광원 펄스 및 카메라 게이트 시퀀스(게이팅)은 가능한 한 프레임 #1 주기 종료에 가까이 수행된다. 적어도 단일의 광원 펄스는 관련 파장에서 주변 조도 보다 더 높은 피크 전력을 가져야 한다. 프레임 #1의 예를 도 12에 나타내었다.
·프레임 #2 (패시브 프레임): 프레임 #1에 연속적인 단일의 판독 프레임 당 광 펄스 부재 하의 단일 카메라 게이트. 광 펄스가 없는 단일의 게이트는 가능한 한 프레임 #2 주기의 시작에 가까이 수행된다. 이 방법으로, 프레임 #1 (액티브 프레임) 및 프레임 #2 (패시브 프레임)은 카메라 게이트 주기가 두 프레임에 동일한 경우 유사한 주변 빛을 누적한다. 프레임 #2의 예를 도 12에 나타내었다.
·프레임 #3 ("하이라이팅" 고 반사 물체). 프레임 #2에서 프레임 #1을 빼고 신호 임계 값을 설정한다. 이 방법은 화면에서 고 반사 물체를 노출하는 주변 광 백그라운드를 제거한다. 프레임 #1 내의 센서 게이트/광 펄스 및 프레임 #2 내의 센서 게이트의 시간 (예를 들면, 각 프레임 내의 위치)은 각 프레임 내에 상대적으로 유사하게 누적된 백그라운드 신호를 제공하는 이러한 사건의 근접으로 인해 보다 나은 표적 SNR을 제공한다. 프레임 #3의 예를 도 12에 나타내었다.
·영상에서 획득한 데이터 (예를 들면, 화면 내에 고반사 물체)를 결합하여 백그라운드로부터 "하이라이팅된" 관련 표적. 예를 들면, 교통 신호, 차량 조명 역-반사기, 차량 번호판 등. 프레임 #3에서 "하이라이팅" 관련 표적의 예를 도 12에 나타내었다.
·표적 유형 감지: 표적의 반사 거동을 기초로 함. 표적 유형은 유추된다 (람베르티안, 역-반사기 또는 주변 광원)
·표적 범위 추정은 "하이라이팅된" 표적을 이용하여 영역에서만 범위 추정 알고리즘을 수행한다. 기하학 고려를 기반으로 하는 범위 추정 알고리즘은 차량 역-반사기 및/또는 차량 번호판 크기 사이의 이미-알려진 거리 및/또는 후방 차량 조명 등 사이의 거리를 기반으로 할 수 있다. 도 12에 나타낸 프레임 #3에 "하이라이팅된" 차량 후방 역-반사기 감지의 예를 기초로, 범위 추정은 42.8m 이다 (측정된 값에 비해 5% 오차 미만). 상기 범위 추정을 위한 추가적인 파라미터로서, 차량 후방 역-반사기 사이의 거리는 1.1m이고, 게이트된 카메라는
Figure pct00006
이다.
게이트된 영상 시스템은 야간 및/또는 야간에서의 열악한 시정 상태 동안 거리 및/또는 물체의 종류를 감지하고/감지하거나 추정할 수 있다. 이는 센서 판독 프레임 당 적어도 단일의 광원 펄스 및 게이트 시퀀스를 기초로 선택적 DOF("Slice")를 얻을 가능성과 직접 관련된다. 상기 방법은 보이는 화면에서 높은 강도 조명 광원 피크 전력 반사를 이용할 수 있다. 고 반사 물체(람베르티안과 같은 분산성 물체는 제외함)는 교통 신호 내의 역-반사기, 차량 역-반사기 빛 및/또는 역-반사기 스티커, 교통 조명 역-반사기 등과 같은 기술로 감지될 수 있다. 역-반사로부터 강도 높은 조명은 분산성 반사에 비해 3 배 큰 차순을 가질 수 있으므로, 우수한 게이트된 영상 시스템 신호 대 노이즈 비율 (SNR)을 가능하게 한다. 상기 방법은 백그라운드에 "하이라이팅" 관련 표적을 제공함으로써, 기하학 고려 및/또는 그 밖의 방법을 기초로 더 빠르고 단순한 관련 거리 추정을 가능하게 한다. 상기 방법을 도 14에 나타내었다:
·프레임 #1 (노미날 프레임): 판독 프레임 당 적어도 단일의 광원 펄스 및 카메라 게이트 시퀀스(게이팅). 전형적으로 이 영상은 1000 게이트의 차순으로 단일의 판독 프레임 당 여러 게이트 시퀀스를 기반으로 한다. 상기 프레임 #1의 예를 도 14에 나타내었다.
·프레임 #2 (액티브 프레임): 프레임 #1에 연속적인 단일의 판독 프레임 당 적어도 단일의 광원 펄스 및 카메라 게이트 시퀀스(게이팅). 적어도 단일의 광원 펄스 및 카메라 게이트 시퀀스(게이팅)는 가능한 한 한 프레임 #1 빈도의 종료에 가까이 수행된다. 전형적으로, 상기 이미지는 10 게이트의 차순으로 단일의 판독 프레임 당 여러 게이트 시퀀스를 기반으로 한다. 프레임 #2의 예를 도 14에 나타내었다.
·프레임 #3 (패시브 프레임): 프레임 #2에 연속적인 단일의 판독 프레임 당 광원의 부재 하에 단일의 카메라 게이트. 광 펄스가 없는 단일의 게이트는 가능한 한 프레임 #2 빈도의 시작에 가까이 수행된다. 상기 방법으로, 프레임 #2(액티브 프레임)과 프레임 #3(패시브 프레임)은 2개의 영상에서 유사한 영상을 누적한다. 상기 프레임 #3의 예를 도 14에 나타내었다.
·표적 유형 감지: 표적(프레임 #2 및 프레임 #3)의 반사 거동을 기초로 하여 표적 유형이 유추된다 (람베르티안, 역-반사기 또는 주변 광원). 다른 표적의 예를 도 14에 나타내었다.
·표적 범위 추정: 람베르티안 표적, 역-반사기 표적 또는 주변 광원 표적과 같이 기 설정된 특징들을 갖는 영역에서만 범위 추정 알고리즘을 수행한다. 기하학 고려를 기반으로 한 범위 추정 알고리즘은 차량 역-반사기 및/또는 차량 번호판 크기 사이의 이미-알려진 거리 및/또는 후방 차량 조명 등 사이의 거리를 기초로할 수 있다. 도 12의 예를 기초로, 맞은편 차량에 대한 범위 추정은 110m (측정된 값에 비해 10% 미만의 오차)이다. 상기 범위 추정을 위한 추가적인 파라미터로서, 맞은편 차량 헤드램프 사이의 거리 1.5m이고 게이트된 카메라 게이트된 카메라는 이다.
도 15는 주간에 비-게이트된 카메라로 촬영된 4개의 연속적인 영상을 나타낸다. 상기 영상은 광 펄스-폭-변조(Pulse-Width-Modulation, PWM)로 인해 각 영상에서 광-변조된 표적(각 사안에서, 영상의 상부에 존재하는 교통 신호)의 다른 부분을 캡쳐하는 문제를 나타낸다. 게이트된 영상 시스템은 게이트된 영상 카메라 FOV로 광-변조 또는 펄스 물체 영상 (예를 들면, 고 반복 광 점멸 교통 신호 등)에 대한 영상을 제공한다.
도 16은 게이트된 광원을 요구함이 없이 변조 파장의 "잠금(locking)"을 통해 (예를 들면, 특정 게이트를 열고 광원의 변조 파장과 직접적으로 관련된 신호를 탐색) 및/또는 센서 프레임(320) 판독 당 다른 시간 시퀀스(330, 350 및 370)로 다른 길이의 시간 노출 340, 360 및 380을 (광원의 변조 파장을 "고려"함이 없이) 이용하는 시스템 카메라 다중 게이트("G"로 표시함)를 통해 게이트된 영상 카메라(40)을 이용하는 기술을 제공한다. 도면부호 310은 게이트된 카메라(40) 사이클에서 특정 시간 시퀀스를 나타낸다.
도 17은 게이트된 영상 시스템(60)이 시스템 광원 조명의 부재 하에 및/또는 추가적인 영상 센서(예를 들면, 열 센서, CMOS, CCD 등)를 이용하여 시스템으로부터 생성된 적어도 2개의 영상 (프레임)의 융합된 영상을 가공하고/가공하거나 융합하고/융합하거나 보여줄 수 있는 방법을 나타낸다. 도 17 내의 프레임 #1은 광원을 사용하지 않는 패시브 프레임(도 14의 프레임 #3과 유사함)이고, 도 17의 프레임 #2는 (도 14의 프레임 #1 또는 프레임 #2와 유사함) 액티브 프레임이다. 액티브 프레임은 시간 시퀀스, 및 센서 노출을 이용한 특정 지연에 따른 조명 펄스(상기 정의된 바와 같은 게이팅)를 가질 수 있다. 조명 펄스("L"로 표시함)는 지연(237. 257 및 267)에 따라 다른 지속시간(235, 255 및 265)를 가질 수 있다. 센서는 센서 프레임 (240) 판독 당 N 사이클까지 다른 시간 시퀀스 (230, 250 및 670)에서 노출 빈도 (345, 365 및 385)가 다르다. 도면부호 310은 게이트된 카메라(40) 사이클 내의 특정 시간 시퀀스를 나타낸다. 융합 패시브 프레임 및 액티브 프레임은 신장된 영상을 갖는 융합 프레임을 제공한다.
GCMOS 등을 기반으로 하는 게이트된 카메라에서, 게이팅(광 축적) 시간은 GCMOS 내의 각 필셀 및 각 어레이(여러 픽셀 또는 픽셀 클러스터) 마다 다르다. 상기 방법은 각 게이트된 픽셀(또는 게이트된 어레이)가 다른 DOF ("Slice")를 누적할 수 있도록 한다. 이는 각 픽셀 또는 픽셀 클러스터 트리거링 매카니즘을 제어함으로써 달성될 수 있다.
상기 게이트된 영상 시스템은 프레임 판독 당 게이트의 수를 낮추고/낮추거나 게이트 길이 시간을 좁히고/좁히거나 게이트된 카메라 게인(gain)을 낮추는 것과 직접 관련된 게이트된 카메라의 짧은 게이트(예를 들면, 노출 시간/광 누적)에 의해 높은 강도 주변 광 수준 동안 (예를 들면, 주간, 야간 동안 차동차 내로 들어오는 높거나 낮은 전방 헤드라이트) 영상 센서 블루밍 문제를 극복할 수 있다. 블루밍은 각 픽셀 사이의 높은 블루밍-방지율로 (픽셀로부터 이웃 픽셀로의 신호 확산 오버플로우(overflow)를 감소시킴으로써) GCMOS 등과 같은 게이트된 카메라에서 처리될 수 있다. 예를 들면, 제1프레임이 50nsec의 단일의 노출을 갖고 연속 프레임이 16msec의 단일 노출을 가지는 경우, 프레임과 연속 프레임 사이의 11OdB의 동력 범위를 가능하게 한다.
게이트된 광원(10)은 하나 이상의 FOI(Field-Of-Illumination) / 상기 예시된 바와 같은 FOV(150)가 구비된 적어도 단일의 게이트된 카메라(40)과의 열림 각도, 넓은 FOI / 가까이 게이트된 영상 거리에 대한 열림 각도 (130 및 100으로 나타냄) (예를 들면, 100m 내지 200m의 8deg 수직 조명에 의한 24deg 수평을 갖는 FOI) 및 제2 좁은 FOI/ 길게 게이트된 영상 거리에 대한 열림 각도 (190 및 180으로 나타냄) (예를 들면, 100m 내지 200m의 8deg 수직 조명에 의한 8deg 수평을 갖는 FOI)을 가질 수 있다. 상기 예로 다시 돌아가면, 200m까지의 단일의 넓은 FOI 조명을 갖는 것은 듀얼 FOI 보다 400% 이상의 에너지를 요구할 것이다. 상기 방법은 상기 기술된 바와 같이 짧고 긴 거리를 다양하게 유지하면서, 단일의 FOI 조명에 대한 게이트된 광원의 전력 소비를 감소시킨다. 각 FOI (열림 각도)는 적어도 단일의 다른 DOF을 이용할 수 있는 것으로, 예를 들면 좁은 FOI는 150m 내지 250m의 DOF(160, 190, 170 및 180으로 나타냄)을 가질 수 있으며, 넓은 FOI(140, 130, 110 및 100로 나타냄)는 10m 내지 100m의 DOF를 가질 수 있다. 상기 기술은 FOI가 일정하고/일정하거나 DOF가 단일의 FOI 각도에 제한되는 경우, 다른 영상 시스템에 비해 뷰어 및/또는 시스템 자동 감지에 이점을 제공한다. 또한, 각 게이트된 영상 FOI는 다른 스펙트럼 폭 및/또는 다른 편광 및/또는 다른 게이팅 시간(예를 들면 TLaser, TII 및 TOff) 및/또는 게이트된 광원 펄스 파형 (예를 들면, 증가/감소 시간)과 같은 다른 전기-광학적 특성을 가질 수 있다. 이는 게이트된 시스템이 보이는 신호의 누적된 데이타/신호의 다른 층을 제공할 수 있도록 한다.
도 19는 게이트된 영상 시스템 적응 DOF 처리에 대한 플로우 차트(500)을 나타낸다. 단계 510에서, 화면 내의 예비 DOF 파라미터 (예를 들면, 특정 R0, Rmin 및 Rmax)와 관련된 경계 조건 (예를 들면, 플렛폼 속도, 지형 기하학, 지형학, 화면 시정, 및 DOP 내의 물체의 유형 등)을 획득한다. 단계 520 및 단계 530에서, 특정 DOF (단일 판독 센서 어레이 프레임 당 하나 이상일 수 있음)은 게이트된 광원 파라미터 (열림 각도 및 펄스 파라미터, 예를 들면 펄스 진폭, 펄스 주기, 펄스 파장, 펄스 파형, 펄스 위상, 및 펄스 듀티 사이클) 및 게이트된 카메라(센서 어레이) 파라미터 (게인(gain), 노출 빈도, 노출 파장, 노출 증가/감소 시간, 누적된 펄스의 편광, 및 노출의 듀티(duty) 사이클)를 조절하여 설정된다 TLaser, TII 및 TOff). 단계 540에서, 적어도 단일의 게이트된 영상은 DOF 파라미터와 관련된 경계 조건과 일치하는 게이트 카메라(센서 어레이)에 캡쳐된다. 단계 550에서, 특정 DOF ("Slice")는 분석된 캡쳐 영상 및/또는 경계 조건 (변경될 수 있음) 중 어느 하나를 기초로 조절되거나/업데이트된다.

Claims (22)

  1. 화면(scene)에서 예비의 피사계 심도(depth of field, DOF) 파라미터와 관련된 경계 조건을 획득하는 단계;
    광원 파라미터를 조절하여, 특정 경계 조건을 기초로, 펄스 광 빔과 광원을 사용하여 화면을 조명하는 단계;
    경계 조건을 기초로 센서 어레이 파라미터를 조절하는 단계;
    센서 어레이를 사용하여, 장면의 하나 또는 그 이상의 영상을 캡쳐하는 단계;
    데이터 처리 알고리즘을 이용하여 적어도 하나의 캡쳐된 영상을 분석함으로써 업데이트된 DOF 파라미터를 산출하는 단계; 및
    업데이트된 DOF 파라미터 및 업데이트된 경계 조건을 기초로, 업데이트된 센서 어레이 파라미터 및 업데이트된 광원 파라미터 중 적어도 어느 하나를 이용하여 상기 조명하는 단계, 조절하는 단계, 및 캡쳐하는 단계를 반복하는 단계를 포함하고,
    상기 캡쳐하는 단계는 펄스 광 빔으로 동기화된 하나 또는 그 이상의 노출을 기초로 하여, DOF 파라미터와 관련된 경계 조건과 일치하는 화면의 게이트된 영상을 획득하는 것인, 방법.
  2. 제1항에 있어서,
    상기 광원 파라미터는 펄스 광원 빔 및 그것의 열림 각도에 대한 파라미터를 포함하는 것인, 방법.
  3. 제1항에 있어서,
    상기 경계 조건은 플렛폼 속도, 지형 기하학, 지형학, 화면 시정, 및 DOF 내의 물체의 유형 중 적어도 하나를 포함하는 것인, 방법.
  4. 제2항에 있어서,
    상기 펄스 파라미터는 펄스 진폭, 펄스 주기, 펄스 파장, 펄스 파형, 펄스 위상, 및 펄스 듀티(duty) 사이클 중 적어도 하나를 포함하는 것인, 방법.
  5. 제1항에 있어서,
    상기 센서 어레이 파라미터는 게인(gain), 노출 빈도, 노출 파장, 노출 증가/감소 시간, 누적된 펄스의 편광, 및 노출의 듀티(duty) 사이클 중 어느 하나를 포함하는 것인, 방법.
  6. 제1항에 있어서,
    상기 방법은 주간(daytime) 동안 수행되고, 상기 광원 펄스의 강도 수준은 화면의 DOF를 이용한 물체로부터의 반사가 분석 시 식별가능하도록, 일광 수준을 극복하기에 충분한 것인, 방법.
  7. 제2항에 있어서,
    상기 분석은 강도 수준으로 인한 특정 물체로부터의 반사 및 특정 물체에 대한 광빔의 열림 각도를 분석하여, 센서 어레이로부터의 화면의 DOF 내의 적어도 하나의 특정 물체의 거리를 추정하는 것을 더욱 포함하는 것인, 방법.
  8. 제1항에 있어서,
    상기 조명하는 단계는 하나는 협각을 갖고 하나는 광각을 갖는 적어도 2개의 광 빔을 이용하여 화면을 조명하는 것에 의해 수행되는 것인, 방법.
  9. 제1항에 있어서,
    상기 조명하는 단계는 센서 어레이로 캡쳐되는 동일한 프레임에서 캡쳐되는, 하나는 협각을 갖고 하나는 광각을 갖는 적어도 2개의 광 빔을 사용하여 화면을 조명하는 것에 의해 수행되는 것인, 방법.
  10. 제1항에 있어서,
    상기 캡쳐하는 단계는 2 또는 그 이상의 다른 DOF 파라미터로 수행되는 것인, 방법.
  11. 제1항에 있어서,
    화면 내의 적어도 몇몇의 물체는 역-반사성이고, 화면 내의 적어도 몇몇의 물체는 분산형-반사성이고, 상기 분석은 물체로부터의 반사의 강도 및 기하학 특징에 대한 임계값을 설정하고 비교함으로써, 역-반사성 물체와 분산형-반사성 물체를 식별할 수 있도록 수행되는 것인, 방법.
  12. 광원 및 센서 어레이를 포함하는 게이트된 영상 시스템을 사용하여 조작가능한 플렛폼을 위한 화면의 개선된 관측을 발생시키는 시스템으로, 상기 시스템은
    펄스 광원;
    센서 어레이; 및
    컴퓨터 프로세서를 포함하고,
    상기 펄스 광원은 화면 내의 피사계 심도(DOF)의 특정 경계 조건을 수신하고 펄스 광 빔 및 그것의 열림 각도에 대한 펄스 파라미터를 조절하여 특정 경계 조건을 기반으로, 펄스 광 빔으로 화면을 조명하도록 구성되고,
    상기 컴퓨터 프로세서는 경계 조건을 기초로 센서 어레이의 파라미터를 조절하도록 구성되고,
    상기 센서 어레이는 화면의 하나 또는 그 이상의 영상을 캡쳐하고, 여기서 상기 캡쳐는 펄스 광 빔으로 동기화된 하나 또는 그 이상의 노출을 기반으로 하여 특정 경계 조건에서 화면의 게이트된 영상을 획득하고,
    상기 컴퓨터 프로세서는 데이터 처리 알고리즘을 이용하여, 적어도 하나의 캡쳐된 영상을 분석함으로써, 분석된 슬라이스 파라미터를 산출하고, 그리고
    상기 펄스 광원, 센서 어레이 및 컴퓨터 프로세서는 분석된 슬라이스 파라미터 및 업데이트된 경계 조건을 기반으로 업데이트된 파라미터를 이용하여 조명, 조절 및 캡처하는 것을 반복하도록 구성되는 것인, 시스템.
  13. 제11항에 있어서,
    상기 특정 경계 조건은 플렛폼 속도, 지형 기하학, 지형학, 화면 시정, 및 슬라이스 내의 물체의 유형 중 적어도 하나를 포함하는 것인, 시스템.
  14. 제11항에 있어서,
    상기 펄스 파라미터는 펄스 진폭, 펄스 주기, 펄스 파장, 펄스 파형, 펄스 위상, 및 펄스 듀티 사이클 중 적어도 하나를 포함하는 것인, 시스템.
  15. 제11항에 있어서,
    상기 센서 어레이 파라미터는 게인(gain), 노출 빈도, 노출 파장, 노출 증가/감소 시간, 누적된 펄스의 편광, 및 노출의 듀티 사이클 중 어느 하나를 포함하는 것인, 시스템.
  16. 제11항에 있어서,
    상기 방법은 주간(daytime) 동안 수행되고, 상기 광원 펄스의 강도 수준은 화면의 DOF를 이용한 물체로부터의 반사가 분석 시 식별가능하도록, 일광 수준을 극복하기에 충분한 것인, 시스템.
  17. 제11항에 있어서,
    상기 분석은 강도 수준으로 인한 특정 물체로부터의 반사 및 특정 물체에 대한 광빔의 열림 각도를 분석하여, 센서 어레이로부터의 화면의 적어도 하나의 특정 물체의 거리를 추정하는 것을 더욱 포함하는 것인, 시스템.
  18. 제11항에 있어서,
    상기 조명하는 단계는 하나는 협각을 갖고 하나는 광각을 갖는 적어도 2개의 광 빔을 이용하여 화면을 조명하는 것에 의해 수행되는 것인, 시스템.
  19. 제11항에 있어서,
    상기 조명하는 단계는 센서 어레이로 캡쳐되는 동일한 프레임에서 캡쳐되는, 하나는 협각을 갖고 하나는 광각을 갖는 적어도 2개의 광 빔을 사용하여 화면을 조명하는 것에 의해 수행되는 것인, 시스템.
  20. 제11항에 있어서,
    상기 조명은 분석이 화면 내의 가변 DOF에서 수행될 수 있도록, 가변 강도 수준 및 조명 각도를 이용하여 시간에 따라 변화하는 것인, 시스템.
  21. 제11항에 있어서,
    화면 내의 적어도 몇몇의 물체는 역-반사성이고, 화면 내의 적어도 몇몇의 물체는 분산형-반사성이고, 상기 분석은 물체로부터의 반사의 강도 및 기하학 특징에 대한 임계값을 설정하고 비교함으로써, 역-반사성 물체와 분산형-반사성 물체를 식별하도록 수행되는 것인, 시스템.
  22. 펄스 광으로 화면을 조명하는 단계;
    조명으로 센서 어레이를 동기화하여 화면의 게이트된 영상을 생성하는 단계;
    게이트된 영상을 분석하는 단계를 포함하고
    화면 내의 적어도 몇몇의 물체는 역-반사성이고 화면 내의 적어도 몇몇의 물체는 분산형-반사성이고;
    상기 분석은 임계값을 걸정하고 물체로부터의 반사의 강도 및 기하학 특징에 대한 임계값과 비교함으로써, 역-반사성 물체와 분산형-반사성 물체를 식별하도록 수행되는 것인, 방법.
KR1020147036619A 2012-05-29 2013-05-23 적응 피사계심도를 이용한 게이트된 영상 획득 방법 및 영상 시스템 KR102144521B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201261652518P 2012-05-29 2012-05-29
US61/652,518 2012-05-29
PCT/IL2013/050448 WO2013179280A1 (en) 2012-05-29 2013-05-23 Gated imaging using an adaptive depth of field

Publications (2)

Publication Number Publication Date
KR20150024860A true KR20150024860A (ko) 2015-03-09
KR102144521B1 KR102144521B1 (ko) 2020-08-14

Family

ID=49672577

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020147036619A KR102144521B1 (ko) 2012-05-29 2013-05-23 적응 피사계심도를 이용한 게이트된 영상 획득 방법 및 영상 시스템

Country Status (6)

Country Link
US (1) US9810785B2 (ko)
EP (1) EP2856207B1 (ko)
JP (1) JP6416085B2 (ko)
KR (1) KR102144521B1 (ko)
CN (1) CN104364673B (ko)
WO (1) WO2013179280A1 (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190021100A (ko) * 2017-08-22 2019-03-05 삼성전자주식회사 라이다 및 그 동작방법
KR20190096685A (ko) * 2018-02-09 2019-08-20 삼성전자주식회사 디스플레이 장치 및 그 제어 방법
KR20190113123A (ko) * 2018-03-27 2019-10-08 국방과학연구소 Lrgi 센서를 이용하여 표적의 거리를 추정하는 방법 및 장치
KR20200046131A (ko) * 2017-09-28 2020-05-06 웨이모 엘엘씨 동기화된 회전식 lidar 및 롤링 셔터 카메라 시스템

Families Citing this family (80)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013084225A1 (en) * 2011-12-05 2013-06-13 Brightway Vision Ltd. Smart traffic sign system and method
WO2015075926A1 (ja) 2013-11-20 2015-05-28 パナソニックＩｐマネジメント株式会社 測距撮像システム
EP3146362B1 (en) 2014-05-23 2019-08-14 Signify Holding B.V. Object detection system and method
IL233114A (en) * 2014-06-12 2016-09-29 Brightway Vision Ltd A method and system for pattern recognition, classification and tracking
IL233356A (en) * 2014-06-24 2015-10-29 Brightway Vision Ltd Sensor-based imaging system with minimum wait time between sensor exposures
DE102014014662A1 (de) * 2014-09-19 2016-03-24 Mekra Lang North America, Llc Anzeigeeinrichtung für Fahrzeuge, insbesondere Nutzfahrzeuge
IL235359A0 (en) * 2014-10-27 2015-11-30 Ofer David Wide-dynamic-range simulation of an environment with a high intensity radiating/reflecting source
US9718405B1 (en) 2015-03-23 2017-08-01 Rosco, Inc. Collision avoidance and/or pedestrian detection system
US20160343140A1 (en) * 2015-05-24 2016-11-24 Pointivo, Inc. Surveying and measurement methods and devices
KR102384175B1 (ko) * 2015-07-29 2022-04-08 주식회사 만도모빌리티솔루션즈 차량의 카메라 장치
AU2016333145B2 (en) 2015-09-28 2020-04-02 Baraja Pty Ltd Spatial profiling system and method
WO2017098725A1 (ja) * 2015-12-08 2017-06-15 パナソニックＩｐマネジメント株式会社 固体撮像装置、距離測定装置および距離測定方法
US10708577B2 (en) 2015-12-16 2020-07-07 Facebook Technologies, Llc Range-gated depth camera assembly
EP3396412A4 (en) * 2015-12-21 2019-08-21 Koito Manufacturing Co., Ltd. VEHICLE SENSOR AND VEHICLE THEREFOR
JP6851986B2 (ja) 2015-12-21 2021-03-31 株式会社小糸製作所 車両用画像取得装置、制御装置、車両用画像取得装置または制御装置を備えた車両および車両用画像取得方法
US11249172B2 (en) 2015-12-21 2022-02-15 Koito Manufacturing Co., Ltd. Image acquiring apparatus for vehicle, control device, vehicle having image acquiring apparatus for vehicle or control device, and image acquiring method for vehicle
US11194023B2 (en) 2015-12-21 2021-12-07 Koito Manufacturing Co., Ltd. Image acquiring apparatus for vehicle, control device, vehicle having image acquiring apparatus for vehicle or control device, and image acquiring method for vehicle
US11204425B2 (en) 2015-12-21 2021-12-21 Koito Manufacturing Co., Ltd. Image acquisition device for vehicles and vehicle provided with same
US9866816B2 (en) 2016-03-03 2018-01-09 4D Intellectual Properties, Llc Methods and apparatus for an active pulsed 4D camera for image acquisition and analysis
JP2017195573A (ja) 2016-04-22 2017-10-26 ソニー株式会社 撮像装置および電子機器
IL247944B (en) * 2016-09-20 2018-03-29 Grauer Yoav A pulsating illuminator with a configurable structure
US11422238B2 (en) 2016-11-16 2022-08-23 Baraja Pty Ltd. Optical beam director
JP7018022B2 (ja) 2016-11-29 2022-02-09 ヌヴォトンテクノロジージャパン株式会社 固体撮像装置及び測距撮像装置
US10147193B2 (en) 2017-03-10 2018-12-04 TuSimple System and method for semantic segmentation using hybrid dilated convolution (HDC)
US10762635B2 (en) 2017-06-14 2020-09-01 Tusimple, Inc. System and method for actively selecting and labeling images for semantic segmentation
US10816354B2 (en) 2017-08-22 2020-10-27 Tusimple, Inc. Verification module system and method for motion-based lane detection with multiple sensors
US10762673B2 (en) 2017-08-23 2020-09-01 Tusimple, Inc. 3D submap reconstruction system and method for centimeter precision localization using camera-based submap and LiDAR-based global map
US10565457B2 (en) 2017-08-23 2020-02-18 Tusimple, Inc. Feature matching and correspondence refinement and 3D submap position refinement system and method for centimeter precision localization using camera-based submap and LiDAR-based global map
US10953881B2 (en) 2017-09-07 2021-03-23 Tusimple, Inc. System and method for automated lane change control for autonomous vehicles
US10649458B2 (en) 2017-09-07 2020-05-12 Tusimple, Inc. Data-driven prediction-based system and method for trajectory planning of autonomous vehicles
US10953880B2 (en) 2017-09-07 2021-03-23 Tusimple, Inc. System and method for automated lane change control for autonomous vehicles
US10671083B2 (en) 2017-09-13 2020-06-02 Tusimple, Inc. Neural network architecture system for deep odometry assisted by static scene optical flow
US10552979B2 (en) 2017-09-13 2020-02-04 TuSimple Output of a neural network method for deep odometry assisted by static scene optical flow
CN107745697A (zh) 2017-11-16 2018-03-02 北京图森未来科技有限公司 一种自动清洁系统及方法
EP3737595B1 (en) 2018-01-09 2023-12-27 TuSimple, Inc. Real-time remote control of vehicles with high redundancy
CN111989716B (zh) 2018-01-11 2022-11-15 图森有限公司 用于自主车辆操作的监视系统
CN108270970B (zh) 2018-01-24 2020-08-25 北京图森智途科技有限公司 一种图像采集控制方法及装置、图像采集系统
CN108259744B (zh) * 2018-01-24 2020-06-23 北京图森智途科技有限公司 图像采集控制方法及其装置、图像采集系统和tof相机
JP7523755B2 (ja) * 2018-01-26 2024-07-29 ラインビジョン，インコーポレイテッド 送電線監視のシステムおよび方法
US11009356B2 (en) 2018-02-14 2021-05-18 Tusimple, Inc. Lane marking localization and fusion
US11009365B2 (en) 2018-02-14 2021-05-18 Tusimple, Inc. Lane marking localization
US10685244B2 (en) 2018-02-27 2020-06-16 Tusimple, Inc. System and method for online real-time multi-object tracking
CN110378185A (zh) 2018-04-12 2019-10-25 北京图森未来科技有限公司 一种应用于自动驾驶车辆的图像处理方法、装置
CN110458854B (zh) 2018-05-02 2022-11-15 北京图森未来科技有限公司 一种道路边缘检测方法和装置
US10565728B2 (en) 2018-06-01 2020-02-18 Tusimple, Inc. Smoothness constraint for camera pose estimation
US10843702B2 (en) * 2018-06-06 2020-11-24 Ford Global Technologies, Llc Methods and systems for oil leak determination
TWI671707B (zh) * 2018-06-15 2019-09-11 緯創資通股份有限公司 影像分析方法、電子系統以及非暫態電腦可讀取記錄媒體
US11023742B2 (en) 2018-09-07 2021-06-01 Tusimple, Inc. Rear-facing perception system for vehicles
US11019274B2 (en) 2018-09-10 2021-05-25 Tusimple, Inc. Adaptive illumination for a time-of-flight camera on a vehicle
CN109120860A (zh) * 2018-09-11 2019-01-01 昆山星际舟智能科技有限公司 微观自适应图像处理方法
CN112689586B (zh) 2018-09-13 2024-04-16 图森有限公司 远程安全驾驶方法和系统
US10942271B2 (en) 2018-10-30 2021-03-09 Tusimple, Inc. Determining an angle between a tow vehicle and a trailer
JP7278750B2 (ja) * 2018-11-14 2023-05-22 キヤノン株式会社 撮像装置
US11385335B2 (en) 2018-12-07 2022-07-12 Beijing Voyager Technology Co., Ltd Multi-threshold LIDAR detection
CN116184417A (zh) 2018-12-10 2023-05-30 北京图森智途科技有限公司 一种挂车夹角的测量方法、装置及车辆
CN111319629B (zh) 2018-12-14 2021-07-16 北京图森智途科技有限公司 一种自动驾驶车队的组队方法、装置及系统
WO2020184447A1 (ja) * 2019-03-11 2020-09-17 株式会社小糸製作所 ゲーティングカメラ、自動車、車両用灯具、物体識別システム、演算処理装置、物体識別方法、画像表示システム、検査方法、撮像装置、画像処理装置
US11698441B2 (en) * 2019-03-22 2023-07-11 Viavi Solutions Inc. Time of flight-based three-dimensional sensing system
CN110310515B (zh) * 2019-04-23 2020-11-03 绍兴越元科技有限公司 现场信息识别反馈系统
KR20200132468A (ko) * 2019-05-17 2020-11-25 삼성전자주식회사 첨단 운전자 지원 장치 및 이의 객체를 검출하는 방법
US11823460B2 (en) 2019-06-14 2023-11-21 Tusimple, Inc. Image fusion for autonomous vehicle operation
EP3757945A1 (en) 2019-06-24 2020-12-30 Imec VZW Device for generating an augmented reality image
US10977813B2 (en) * 2019-08-09 2021-04-13 Zebra Technologies Corporation System and method for robust depth calculation with ToF sensors using multiple exposure times
CN114930192B (zh) * 2019-08-21 2024-04-19 亮锐有限责任公司 红外成像组件
CN114503543A (zh) * 2019-09-26 2022-05-13 株式会社小糸制作所 门控照相机、汽车、车辆用灯具、图像处理装置、图像处理方法
EP3893150A1 (en) 2020-04-09 2021-10-13 Tusimple, Inc. Camera pose estimation techniques
DE102020002994B4 (de) 2020-05-19 2023-03-30 Daimler Truck AG Verfahren zur Messung eines Abstandes zwischen einem Objekt und einem optischen Sensor, Steuereinrichtung zur Durchführung eines solchen Verfahrens, Abstandsmessvorrichtung mit einer solchen Steuereinrichtung und Kraftfahrzeug mit einer solchen Abstandsmessvorrichtung
AU2021203567A1 (en) 2020-06-18 2022-01-20 Tusimple, Inc. Angle and orientation measurements for vehicles with multiple drivable sections
US11932238B2 (en) 2020-06-29 2024-03-19 Tusimple, Inc. Automated parking technology
WO2022039230A1 (ja) * 2020-08-21 2022-02-24 株式会社小糸製作所 車載用センシングシステムおよびゲーティングカメラ
EP4232872A1 (en) * 2020-10-26 2023-08-30 Jabil Optics Germany GmbH Surround-view imaging systems
JPWO2022163224A1 (ko) * 2021-01-27 2022-08-04
US12115916B2 (en) 2021-02-01 2024-10-15 Rosco, Inc. Downlighting signal and illumination mirror head for vehicle
DE102021001175A1 (de) 2021-03-05 2022-09-08 Daimler Truck AG Verfahren zum Betreiben einer Gated-Kamera, Steuereinrichtung zur Durchführung eines solchen Verfahrens, Kameravorrichtung mit einer solchen Steuereinrichtung und Kraftfahrzeug mit einer solchen Kameravorrichtung
DE102021004521B4 (de) 2021-09-07 2024-05-23 Daimler Truck AG Gated-Kamera-Vorrichtung und Kraftfahrzeug mit einer solchen Gated-Kamera-Vorrichtung
IL293236A (en) * 2022-05-22 2023-12-01 Green2Pass Ltd Detecting objects using multidimensional optical sensing
WO2024110959A1 (en) * 2022-11-22 2024-05-30 Brightway Vision Ltd Multiple gated pixel per light pulse and/or gated event counter for single photon avalanche diode (spad)
DE102023202138A1 (de) 2023-03-09 2024-09-12 Continental Autonomous Mobility Germany GmbH Fusionieren von Bilddaten zweier unterschiedlicher Kameras
DE102023108684A1 (de) 2023-04-05 2024-10-10 Valeo Detection Systems GmbH Sensor-system und verfahren zum betrieb eines sensorsystems
CN116106928B (zh) * 2023-04-11 2023-08-04 中国人民解放军海军工程大学 一种水下自适应全选通成像方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5270780A (en) * 1991-09-13 1993-12-14 Science Applications International Corporation Dual detector lidar system and method
US20030155513A1 (en) * 2002-02-21 2003-08-21 Ford Global Technologies, Inc. Active night vision system for vehicles employing short-pulse laser illumination and a gated camera for image capture
JP2005535220A (ja) * 2002-08-05 2005-11-17 エルビット・システムズ・リミテッド 車両搭載用ナイトビジョン画像処理システム及びその方法
US20070058038A1 (en) * 2004-02-04 2007-03-15 Elbit Systems Ltd. Gated imaging
JP2010061304A (ja) * 2008-09-02 2010-03-18 Calsonic Kansei Corp 車両用距離画像データ生成装置
WO2011107987A1 (en) * 2010-03-02 2011-09-09 Elbit Systems Ltd. Image gated camera for detecting objects in a marine environment
US20120050074A1 (en) * 2010-02-26 2012-03-01 Bechtel Jon H Automatic vehicle equipment monitoring, warning, and control system

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
NL8902314A (nl) * 1989-09-15 1991-04-02 Michiel Kassies Werkwijze en inrichting voor het detecteren van een voorwerp.
JPH07114144A (ja) * 1993-10-15 1995-05-02 Fuji Photo Film Co Ltd ペーパマガジン
KR100471268B1 (ko) 2002-10-28 2005-03-10 현대자동차주식회사 차간거리 측정 방법
EP1901225A1 (en) * 2005-05-10 2008-03-19 Olympus Corporation Image processing device, image processing method, and image processing program
WO2007094064A1 (ja) * 2006-02-16 2007-08-23 Mitsubishi Denki Kabushiki Kaisha レーダ装置
US7920247B2 (en) * 2007-11-30 2011-04-05 Nissan Motor Co., Ltd. Distance measurement system and distance measurement method
US8890952B2 (en) * 2008-07-29 2014-11-18 Microsoft Corporation Imaging system
JP2010256291A (ja) * 2009-04-28 2010-11-11 Toyota Motor Corp 距離画像撮影装置
JP5476960B2 (ja) 2009-12-08 2014-04-23 トヨタ自動車株式会社 車両前方監視装置
CN101833223B (zh) * 2010-04-02 2011-08-31 中国科学院半导体研究所 一种获取动目标运动参数的闪光追迹成像方法
US8681255B2 (en) 2010-09-28 2014-03-25 Microsoft Corporation Integrated low power depth camera and projection device

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5270780A (en) * 1991-09-13 1993-12-14 Science Applications International Corporation Dual detector lidar system and method
US20030155513A1 (en) * 2002-02-21 2003-08-21 Ford Global Technologies, Inc. Active night vision system for vehicles employing short-pulse laser illumination and a gated camera for image capture
JP2005535220A (ja) * 2002-08-05 2005-11-17 エルビット・システムズ・リミテッド 車両搭載用ナイトビジョン画像処理システム及びその方法
US20050269481A1 (en) * 2002-08-05 2005-12-08 Elbit Systems Ltd. Vehicle mounted night vision imaging system and method
US20070058038A1 (en) * 2004-02-04 2007-03-15 Elbit Systems Ltd. Gated imaging
JP2010061304A (ja) * 2008-09-02 2010-03-18 Calsonic Kansei Corp 車両用距離画像データ生成装置
US20120050074A1 (en) * 2010-02-26 2012-03-01 Bechtel Jon H Automatic vehicle equipment monitoring, warning, and control system
WO2011107987A1 (en) * 2010-03-02 2011-09-09 Elbit Systems Ltd. Image gated camera for detecting objects in a marine environment

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190021100A (ko) * 2017-08-22 2019-03-05 삼성전자주식회사 라이다 및 그 동작방법
US11867811B2 (en) 2017-08-22 2024-01-09 Samsung Electronics Co., Ltd. LiDAR device and method of operating the same
KR20200046131A (ko) * 2017-09-28 2020-05-06 웨이모 엘엘씨 동기화된 회전식 lidar 및 롤링 셔터 카메라 시스템
KR20190096685A (ko) * 2018-02-09 2019-08-20 삼성전자주식회사 디스플레이 장치 및 그 제어 방법
KR20190113123A (ko) * 2018-03-27 2019-10-08 국방과학연구소 Lrgi 센서를 이용하여 표적의 거리를 추정하는 방법 및 장치

Also Published As

Publication number Publication date
US20150160340A1 (en) 2015-06-11
KR102144521B1 (ko) 2020-08-14
US9810785B2 (en) 2017-11-07
EP2856207A4 (en) 2015-12-09
CN104364673A (zh) 2015-02-18
JP2015527761A (ja) 2015-09-17
JP6416085B2 (ja) 2018-10-31
WO2013179280A1 (en) 2013-12-05
EP2856207A1 (en) 2015-04-08
CN104364673B (zh) 2018-03-13
EP2856207B1 (en) 2020-11-11

Similar Documents

Publication Publication Date Title
KR102144521B1 (ko) 적응 피사계심도를 이용한 게이트된 영상 획득 방법 및 영상 시스템
US11175406B2 (en) Range imaging system and solid-state imaging device
JP6293134B2 (ja) 立体ゲーテッド画像システム及び方法
US9904859B2 (en) Object detection enhancement of reflection-based imaging unit
JP6851985B2 (ja) 車両用画像取得装置、制御装置、車両用画像取得装置または制御装置を備えた車両および車両用画像取得方法
JP6471528B2 (ja) 物体認識装置、物体認識方法
CA2680646C (en) Moving object noise elimination processing device and moving object noise elimination processing program
US10564267B2 (en) High dynamic range imaging of environment with a high intensity reflecting/transmitting source
US10356337B2 (en) Vehicle vision system with gray level transition sensitive pixels
JP2015527761A5 (ko)
WO2017014023A1 (ja) 車載環境認識装置
CN118795498A (zh) 传感器系统及其操作方法
JP2010088045A (ja) ナイトビューシステム、夜間歩行者表示方法
CN116648921A (zh) 车载用传感系统以及门控照相机
EP3227742B1 (en) Object detection enhancement of reflection-based imaging unit
JP2004325202A (ja) レーザレーダ装置
JP2023072099A (ja) 測距装置を制御する方法および装置
CN116648664A (zh) 车载用传感系统以及门控照相机

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right