KR20150038032A - 스테레오 게이트된 영상 시스템 및 방법 - Google Patents

스테레오 게이트된 영상 시스템 및 방법 Download PDF

Info

Publication number
KR20150038032A
KR20150038032A KR20157003451A KR20157003451A KR20150038032A KR 20150038032 A KR20150038032 A KR 20150038032A KR 20157003451 A KR20157003451 A KR 20157003451A KR 20157003451 A KR20157003451 A KR 20157003451A KR 20150038032 A KR20150038032 A KR 20150038032A
Authority
KR
South Korea
Prior art keywords
capture
image
gated
scene
synchronized
Prior art date
Application number
KR20157003451A
Other languages
English (en)
Inventor
요아브 그라우어
오퍼 데이비드
이얄 레비
야라 데이비드
하임 가르텐
알론 크렐보임
샤론 리프시츠
오렌 쉐이크
Original Assignee
브라이트웨이 비젼 엘티디.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 브라이트웨이 비젼 엘티디. filed Critical 브라이트웨이 비젼 엘티디.
Publication of KR20150038032A publication Critical patent/KR20150038032A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/254—Image signal generators using stereoscopic image cameras in combination with electromagnetic radiation sources for illuminating objects
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/24—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view in front of the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/31—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles providing stereoscopic vision
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G01S17/10—Systems determining position data of a target for measuring distance only using transmission of interrupted, pulse-modulated waves
    • G01S17/18—Systems determining position data of a target for measuring distance only using transmission of interrupted, pulse-modulated waves wherein range gates are used
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/167—Synchronising or controlling image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/296—Synchronisation thereof; Control thereof
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/499—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00 using polarisation effects

Abstract

장면의 영상의 캡쳐를 개선하기 위한 시스템 및 그로부터의 데이터가 개시된다. 상기 시스템은 기설정된 게이팅 파라미터에 기반하여 펄스 광을 이용하여 특정 방향으로 장면을 조사하기 위해 구성된 광원, 장면의 영상을 캡쳐하기 위해 구성되고 서로 다른 공간에 위치하는 2 이상의 캡쳐 장치로, 여기서 동기화된 캡쳐를 위한 상기 장면의 스테레오스코픽 융합 게이트된 영상이 생성될 수 있도록 적어도 하나의 캡쳐는 펄스 광으로 동기화되는 것인, 장치; 및 상기 게이트된 영상 및 게이팅 파라미터로부터의 데이터를 사용하여 캡쳐를 개선하기 위해 구성된 컴퓨터 프로세서를 포함한다. 다른 구현예에서, 상기 광원은 존재하지 않고 적어도 하나의 센서는 캡쳐를 개선하기 위해 사용된 강화된 영상이 산출될 수 있도록 단일 판독을 위한 다수의 노출을 적용하기 위해 구성된다.

Description

스테레오 게이트된 영상 시스템 및 방법{STEREO GATED IMAGING SYSTEM AND METHOD}
본 발명은 영상 및 거리측정 시스템 분야, 더욱 상세하게는 주간, 야간 및 악천후에서 액티브 게이트된 영상에 의한 스테레오 영상에 관한 것이다.
스테레오 영상은 자동차 제조업체에 의해 야간 시계 지원, 교통 신호 인식, 물체 인식, 차선 인식 등 첨단 운전자 보조 시스템(Advance Driver Assistance Systems; ADAS)에서 널리 이용된다. 스테레오 영상은 단일 카메라에 2개의 주요 이점: 적어도 2개의 다른 장면 이미지 (즉, 차량의 다른 위치에 있는 카메라에 의해 캡쳐되는 것으로, 각 카메라는 서로 다른 시야, 민감도 등과 같은 전기적-광학적 특성을 가질 수 있음) 및 삼각측량을 통한 삼차원 정보 (즉, 거리측정 능력, 스테레오스코피)를 제공한다.
유럽특허 EP 1,831,718 B1 (발명의 명칭: "자동차용 스테레오 카메라”)에는 광감도, 픽셀 크기, 컬러 필터 어레이와 같은 특성 중 적어도 하나의 특성이 서로 다른 두 개 이상의 카메라를 기반으로 하는 장치가 기술되어 있다. 게다가, 상기 장치는 야간 시계 지원 및/또는 교통 신호 인식 및/또는 물체 인식 및/또는 도로 경계 인식 및/또는 차선 인식 등과 같은 ADAS 기능을 제공한다. 그러나, 상기 장치는 나이트 시계 지원을 위한 전용 근적외선 (NIR) 광원의 필요성과 같은 매우 중요한 측면을 나타내고 있지 않으며, 자동차의 외부 설치에 대한 언급도 없고, 또한 차량 자체의 광원 (예를 들면, 전방 헤드램프, 야간 시계 지원 NIR 광원 등)이 비, 눈 우박 등과 같은 대기에서 입자와 상호작용하여 후방 산란을 일으키는 현상을 개시하고 있지 않다. 더욱이, 상기 장치는 카메라의 설치 요건이 단순하지 않다 (예를 들면, 삼각측량에 의한 3-차원 정보가 필요함).
패시브 스테레오스코피 (즉, 삼각측량을 기반으로 한 3-차원 정보) 깊이 정보의 정확도는 공식 (1)에 의해 추정될 수 있다.
Figure pct00001
(1)
상기 식에서 Δd는 깊이 정보 추정치 인데 반해, d는 깊이를 나타내고, l은 베이스라인의 길이 (즉, 카메라 사이의 거리)를 나타내고, h는 영상 평면과 두 대의 카메라의 중심 투영의 중앙을 지나는 평면 사이의 거리를 나타내고, Δx는 상이도 (예를 들면, 보이는 장면에서 각 카메라의 중앙에서부터 투영된 특정 지점 까지의 거리의 합)를 나타낸다. 이러한 깊이 정보 추정은 베이스라인이 짧은 거리로 제한될 때, 모든 패시브 스테레오스코피 기반 시스템을, 즉 멀리 보이는 거리로 제한한다.
본 발명의 일부 구현예에 따르면, 장면의 영상의 캡쳐 프로세스를 개선하기 위한 시스템 및 그로부터의 데이터가 제공되고, 상기 시스템은:
기설정된 게이팅 파라미터에 기반하여 특정 방향으로 펄스 광을 이용하여 장면을 조사하기 위해 구성된 광원;
장면의 영상을 캡쳐하기 위해 구성되고 서로 다른 공간에 위치하는 2 이상의 캡쳐 장치; 및
게이트된 영상 및 게이팅 파라미터로부터 데이터를 사용하여 상기 캡쳐를 개선하기 위해 구성된 컴퓨터 프로세서를 포함하고,
여기서 적어도 하나의 캡쳐는 동기화된 캡쳐를 위한 장면에 대해 스테레오스코픽 융합 게이트된 영상이 생성될 수 있도록 펄스광으로 동기화된다.
이러한 본 발명의 추가 및/또는 다른 측면 및/또는 이점은 하기의 발명의 상세한 설명에 기술되어 있으며, 상세한 설명에 기재된 본 발명의 실시예에 의해 이해 및/또는 추론될 수 있다.
본 발명은 하기의 첨부된 도면과 함께 발명의 상세한 설명에 의해 더 쉽게 이해될 수 있다:
도 1은 본 발명의 일 실시예에 따른 차량에 설치된 스테레오 게이트된 영상 시스템의 평면도를 나타낸다;
도 2는 본 발명의 일 실시예에 따른 스테레오 게이트된 영상 시스템의 블록 다이어그램을 나타낸다;
도 3 및 도 4는 본 발명의 일 실시예에 따른 스테레오 게이트된 영상 시스템의 피사계 심도(Depth-Of-Field; DOF)에 대한 개략적 예를 나타낸다.
도 5는 본 발명의 일 실시예에 따른 스테레오 게이트된 영상의 단일 버스트 타이밍을 나타낸다.
본 발명의 하나 이상의 실시예를 상세하게 설명하기에 앞서, 본 발명은 하기의 상세한 설명에 설명되거나 도면에 도시된 구성의 배열에 그의 적용이 제한되는 것으로 이해되어서는 안된다. 본 발명은 다른 구현예로 적용가능하며 다양한 방식으로 실시되거나 수행될 수 있다. 또한 본 명세서에 사용된 문장 및 용어는 발명을 설명하기 위한 것으로 이해되어야 하며 발명을 제한하는 것으로 간주되어서는 안된다.
본 기술분야에 공지된 바람직한 게이트된 영상 시스템은 US 특허 공보 제7,733,464호 (발명의 명칭: "차량에 장착된 야간 시계 영상 시스템 및 방법")에 기술되어 있다. (자유 공간에서) 광원 펄스는 다음과 같이 정의 되며,
Figure pct00002
상기 식에서 각 파라미터는 하기에 정의되어 있다.
(자유 공간에서) 게이트된 카메라 ON 시간은 다음과 같이 정의된다:
Figure pct00003
(자유 공간에서) 게이트된 카메라 OFF 시간은 다음과 같이 정의되고,
Figure pct00004
상기 식에서 c는 빛의 속도를 나타내고, R0, Rmin 및 Rmax는 특정 범위를 나타낸다. TLaser, TII 및 Toff의 시간 동기화에 의한 범위의 기능으로 민감도가 생성될 수 있도록 게이트된 영상이 이용된다. 이하에서 "게이트(Gate)" (즉, 1개의 판독 당 적어도 1개의 카메라/센서 노출에 따른 적어도 하나의 광원 펄스 조사)는 상기 정의된 특정 TLaser, TII 및 Toff 타이밍을 이용한다. 이하에서 "게이팅(Gating)"/"게이팅 파라미터" (단일의 카메라/센서 노출에 따른 광원 펄스 조사 및 센서 판독의 시퀀스를 종료하는 단일의 카메라/센서 노출에 따른 광원 펄스 조명에 대한 적어도 하나의 시퀀스)는 상기 정의된 TLaser, TII 및 Toff 타이밍에 대한 각각의 시퀀스를 이용한다. 이하에서 피사계 심도("슬라이스")는 보이는 장면에 대한 특정 누적된 영상을 제공하는 적어도 단일의 게이트 또는 게이팅을 이용한다.
스테레오 게이트된 영상 및 거리측정 시스템은 주간, 야간 및 저시계 조건에서 이용하기 위한 것이다. 게다가, 누적된 타겟에 대해 자동 알람 장치를 이용한 실시간 선택적 피사계 심도(“슬라이스”) 및/또는 스테레오 영상 특징을 기반으로 하여 타겟 (즉, 자동차, 오토바이, 보행자 등과 같은 임의의 물체) 감지가 낮은 오인율과 높은 감지 능력을 갖도록 한다. 스테레오 게이트된 영상 시스템은 고정 및/또는 이동 플랫폼에 탑재되어 조작될 수 있다. 스테레오 게이트된 영상 시스템은 심지어 지상 플랫폼, 공중 플랫폼 또는 수중용 플랫폼에서도 사용될 수 있다. 본 명세서에 따른 스테레오 게이트된 영상 시스템을 위한 바람직한 플랫폼은 차량이다.
조명 파라미터는 TLaser, 펄스의 진폭, 펄스의 주기, 펄스의 파장, 펄스의 파형, 펄스의 위상, 및 펄스의 듀티 사이클(duty cycle) 중 적어도 하나를 포함한다.
센서 파라미터는 TII, Toff, 게인(gain), 노출 주기, 노출 빈도, 노출의 증가/감소 시간, 누적된 펄스의 편광, 및 노출의 듀티 사이클 중 적어도 하나를 포함한다. 상기 파라미터는 전체 센서/카메라 어레이에 적용되거나 센서/카메라 어레이의 일부에 적용될 수 있다.
도 1과 도 2는 조명하기 위한, 예를 들면 차량(20)의 전방부(59) 환경을 조명하기 위한 비-가시 스펙트럼 (예를 들면, LED 및/또는 레이저원에 의한 NIR) 내에 적어도 하나의 게이트된(펄스된) 광원을 포함하는 스테레오 게이트된 영상 및 거리추적 시스템(60)이 탑재된 차량을 나타낸다. 또한, 스테레오 게이트된 영상 및 거리추적 시스템은 적어도 2개의 카메라/센서(40)를 포함하며, 그 중 적어도 1개의 카메라/센서는 영상 게이트에 적용된다. 스테레오 게이트된 영상 카메라는 윈드실드 와이퍼(windshield wiper)로 닦이는 영역에서 미러 뒤쪽의 차량 내부에 위치될 수 있다. 게이티드 카메라/센서는 강화된-CCD, 강화된-CMOS (상기 CCD/CMOS는 영상 증폭기에 결합된다), 전자 증가 CCD, 전자 충격된 CMOS, 하이브리드 FPA (카메라가 2개의 주요 요소: Read-Out Integrated Circuit 및 영상 기판을 갖는 CCD 또는 CMOS), 애벌런치 광-다이오드 FPA 등 일 수 있다. 바람직한 게이트된 카메라/센서는 게이팅 매카니즘/방법이 CMOS 픽셀 수준에 따라 이루어지는 (즉, 하나의 픽셀 판독에 대한 단일 내지 다중의 픽셀 노출) GCMOS (Gated Complementary Metal Oxide Semiconductor)을 기반으로 할 수 있다. 게다가 픽셀 다중 노출/게이팅에 의해 누적된 시그널은 픽셀 판독 노이즈를 억제해야 한다. 제2의 카메라/센서는 게이트되거나 및/또는 비게이트되고 및/또는 노출/게이팅 타이밍, 민감도, 스펙트럼 반응, 편광 반응, 동적 범위, 해상도 등과 같은 적어도 하나의 특성이 게이트된 카메라/센서와 다른 것일 수 있다. 스테레오 게이티트된 영상 및 거리측정 시스템(60)은 시스템 제어(30)와 보행자 감지 경고, 자전거 탑승자 감지 경고와 같은 시스템 자동 경고를 위한 시각 및/또는 촉각 및/또는 소리와 같은 운전자용 인간-기계 인터페이스(Human Machine Interface; HMI)(70)를 더욱 포함할 수 있다.
상기 바람직한 예시적인 구현예에 대한 일 변형예로서, 상기 스테레오 게이트된 영상 (즉, 적어도 1개의 카메라/센서 및/또는 적어도 1개의 게이트된 광원)은 자동차 그릴 내에 일체형으로 및/또는 분리된 자동차헤드램프 및/또는 고정된 자동차 헤드램프 및/또는 적어도 하나의 자동차 사이드 미러로서 차량 외부에 장착될 수 있다. 다른 설치 방법으로서, 스테레오 게이트된 영상은 상기 기술된 차량의 다른 곳에 위치하는 서브 어샘블리로 (예를 들면, 적어도 하나의 카메라/센서는 한 위치로 및/또는 적어도 하나의 광원은 다른 위치로) 분리될 수 있다. 이와 같은 외부 설치의 경우에도 게이트된 영상 카메라/센서는 또한 게이팅 영역 (즉, Toff)으로 인한 후방산란에 영향을 받지 않는다. 게다가 차량의 윈드실드는 NIR 스펙트럼을 40% 미만으로 통과시키기 때문에 이러한 손실을 보상할 수 있는 영상 시스템이 요구될 수 있다. 외부 장착 (예를 들면, 차량 윈드실드의 부재)은 이런 낮은 스펙트럼 투과율에 대한 적절한 해결책을 제공한다.
방출된 복사 감지를 기반으로 하는 열화상 카메라/센서 (InSb, HgCdTe, V2O5, 비정질 실리콘 등과 같은 냉각 및 비냉각)은 요구되는 스펙트럼대의 방사선 투과가 낮거나 없기 때문에 표준 차량 윈드쉴드의 후면에 위치될 수 없다. 적어도 단일의 게이트된 영상 카메라/센서, 적어도 단일의 게이트된 광원 및 적어도 단일의 열화상 카메라/센서로 이루어지고 외부에 장착된 (즉, 표준 차량 윈드실드의 후면은 아님) 스테레오 게이트된 영상 시스템은 사용되는 모든 파장 (예를 들면, 400-14,000nm)에서 게이트된 카메라/광원 및 높은 스펙트럼 투과로 인해 후방산란에 영향을 받지 않는 이상적인 구성을 제공한다.
도 2는 개시된 구현에에 관한 스테레오 게이트된 영상 및 위치측정 시스템(60)의 내부 모듈을 나타낸다. 따라서, 스테레오 게이트된 영상 카메라(40)는 적어도 2개의 카메라: 카메라 #1-게이트된 카메라/센서(72) 및 카메라 #2(74)를 포함한다. 게이트된 카메라/센서 광학 모듈(71)은 게이트된 광원(10)으로 제공되는 것과 유사한 전자기적 파장을 감지하기에 적합하다. 게이트된 카메라/센서 광학 모듈(71)은 입사되는 광을 카메라 #1-게이트된 카메라/센서(72)의 광감도 영역으로 포커싱하기에 더욱 적합하다. 게이트된 카메라/센서 광학 모듈(71)은 대역 통과 필터에 의해 수행되어 다양한 광 편광을 필터링할 수 있기 때문에, 특정 파장 스펙트럼을 필터하기에 더욱 적합하다. 카메라/센서 광학 모듈(73)은 게이트된 광원(10)에 의해 제공되어 및/또는 가시영역 (예를 들면, 450-650nm)에 존재하는 것들과 유사한 전자기적 파장을 감지하기에 적합하다. 카메라/센서 광학 모듈(73)은 입사되는 빛을 카메라 #2-카메라/센서(74)의 광감지 영역에 포커싱하기에 더욱 적합하다. 게이트된 카메라/센서 광학 모듈(73)은 대역 통과 필터에 의해 수행되고 및/또는 광 편광을 포함하기 때문에, 특정 파장 스펙트럼을 필터링할 수 있다. 더욱이, 카메라 #1-게이트된 카메라/센서(72)은 게이트되거나 변조된 광원(10)으로부터 발생하는, 전자기적 신호를 감지하기에 적합한 동기화 장치를 포함함으로써, 전자기적 변조를 가능하게 한다. 또한 스테레오 게이트된 영상 카메라(40)는 영상 및 신호 처리부(77), 스테레오 게이트된 영상 제어부(30) (게이트된 영상 카메라(40)와는 별도로 위치될 수 있음), 차량 통신 버스(83)와 상호작용 하기에 적합한 전자적 인터페이스(35)를 포함한다. 스테레오 게이트된 영상 제어(30)는 트리거링 및 컨트롤(90)을 통해 게이트된 광원(10) 펄스로 카메라 게이팅/노출의 게이팅 동기화 (제어 75 및 76에 의함)를 제공하고, 영상 및 신호 처리부(77)에 시스템 파라미터(78에 의함)를 제공한다. 영상 및 신호 처리부(77)에 제공되는 시스템 파라미터는 차량의 파라미터 (예를 들면, 차량 속도, 와이퍼 작동 등) 및/또는 그 밖의 파라미터 (예를 들면, 프레임 당 펄스/노출의 횟수, 카메라/센서 게인, 타이밍 등)를 포함할 수 있다. 영상 및 신호 처리부(77)는 카메라/센서(72) 및/또는 카메라/센서(74)로부터의 영상 및/또는 (85) 내의 비디오를 통한 외부 센서로부터의 추가적인 영상을 결합(융합)할 수 있다. 또한 영상 및 신호 처리부(77)는 ADAS 특징 (예를 들면, 보행자 감지, 신호 위반 경고, 교통 신호 인식, 물체 범위 추정 등)과 같은 실시간 영상처리 (컴퓨터 비전)를 제공한다. 차량 통신 버스(35)를 통한 ADAS 특징 출력, 운전자 HMI(70)으로의 데이터 인터페이스(87), 스테레오 게이트된 영상 시스템의 영상 출력(85)과 같은 추가적 인터페이스가 제공된다. 비디오 출력(85)은 ADAS 특징 오버레이를 하이라이트팅 (예를 들면, 직사각형 외곽선으로 보행자 감지 경고, 차선 감지 경고를 위한 오버레이 선)을 가질 수 있다. (차량 전기 공급부(84)를 통해 공급되는) 전원 공급(79)은 게이트된 스테레오 영상 카메라(40)와 제어부(39)에 필요한 전압을 공급한다.
다른 구현예에서, 시각을 기반으로 하는 HMI(70)는 기하학적 고려를 기반으로 한 카메라 FOV 및/또는 게이트된 영상 (예를 들면, 스테레오 게이트된 영상 카메라(40)와 게이트된 광원(10) 중 어느 하나의 특정 게이팅/노출 타이밍) 내의 영상 타겟에 대한 범위 추정을 포함할 수 있다. 게다가, 스테레오 게이트된 영상의 시각적 디스플레이는 차량(20)의 가속도을 기초로 하여, 빠른 속도 (예를 들면, 50km/h 초과)에서는 확대되고 느린 속도 (예를 들면, 50km/h 미만)에서는 축소될 수 있다.
도 2는 또한 편광을 투영하거나 및/또는 필터링하기에 적합한, 광원 광학 모듈(82)을 포함하는 비 가시 스펙트럼 (즉, 750-2,000nm)에 해당하는 적어도 하나의 게이티드 광원(10)을 나타낸다. 또한, 광원 광학 모듈(82)은 빛을 분산시키고 (예를 들면, 홀로그래픽 확산기, 광학 렌즈 등) 하나 또는 그 이상의 FOI(Field Of illumination)를 투영시키기에 적합할 수 있다. 또한 게이트된 광원(10)은 펄스 조명을 제공하거나 변조된 조명을 제공하기 위한 펄스 및/또는 변조 광원(81) (예를 들면, LED, 레이저, 플래시 램프 등)을 포함한다. 게이트된 광원(10)은 전기적 방법 (예를 들면, 열전 냉각 장치) 및/또는 적합한 기계적 방법 및/또는 그 밖의 광학적 방법을 기반으로 하는 광원 파장 조절장치(80)와 본 기술분야의 통상의 지식을 가진 자에게 이해되는 조명 파장 안정화 장치를 포함할 수 있다. 또한 게이트된 광원(10)은 광원 제어장치(88) 및 차량 전기 공급(84)을 통해 공급되는 전원 공급부(89)를 포함한다. 광원 제어장치(88)는 펄스 또는 변조된 조명을 조절하고, 광원 파장 제어장치(80)를 조절하거나 스테레오 게이트된 영상 조절장치(30)로부터의 트리거 신호를 수신할 수 있다. 게이트된 광원(10)은 내장 테스트(built in test) 상태를 제어하고 및/또는 제공하기에 적합한 차량 통신 버스(83)와의 통신 인터페이스(35)를 포함할 수 있다.
도 3은 스테레오 게이트된 카메라(40)에 누적된 보이는 경관을 나타낸다. 스테레오 게이트된 카메라(40)는 적어도 하나의 게이트된 카메라/센서(72) 및 적어도 하나의 제2의 카메라/센서(74)를 포함한다. 게이트된 카메라/센서(72)는 게이트된 카메라/센서 FOV(150)에 투영되고 게이트된 (펄스된) 광원(10)의 에너지를 흡수할 수 있다. 게이트된 카메라/센서(72)는 전역 피사계 심도(130과 100으로 나타냄)의 에너지를 흡수할 수 있다. 또한 게이트된 카메라/센서(72)는 비-가시 게이트된 광원(10) (즉, TLaser, TII, Toff의 다른 타이밍을 기반으로 함)으로부터의 적어도 1개의 선택적으로 조명된 장면 피사계 심도 ("슬라이스")(140) (130, 100 및 110으로 나타냄)의 반사를 누적시킬 수 있다. 카메라/센서(74)는 비-가시 게이트된 광원(10)의 스펙트럼에 민감한 비-게이트된 (예를 들면, 게이트된 광원(10)에 동기화되지 않음) 것일 수 있다. 카메라/센서(74)는 전역 FOV(170) 누적 영상을 제공하는 게이트된 광원(10) 반사를 흡수할 수 있다. 본 방법(구성)에서 카메라/센서(74)는 광원(10) 조사를 이용하여 강화된 영상 (예를 들면, 먼 거리에서 더 나은 SNR)을 제공할 수 있다. 카메라/센서(74)는 가시 스펙트럼에 민감한 (비-가시 게이트된 광원(10)을 감지할 수 없음) 비-게이트된 (예를 들면, 게이트 광원(10)에 동기화하지 않음) 것일 수 있다. 카메라/센서(74)는 차량(20) 헤드라이트, 주변 가로등 및 그 밖의 조명등으로부터의 발생하는 주변광을 흡수 할 수 있다. 본 방법에서 시스템(60)은 두 가지의 범위: 차량(20) 헤드라이트 패턴까지 상기 스테레오스코픽 융합 영상을 형성하는 제1범위 및 차량(20) 헤드라이트 패턴 위의 모노스코픽 게이트된 영상을 형성하는 제2범위를 가진다.
도 4는 스테레오 게이트된 카메라(40)에 누적되어 보이는 경관 (즉, 누적된 영상을 기반으로 함)을 나타낸다. 스테레오 게이트된 카메라(40)는 적어도 2개의 게이트된 카메라/센서(72 및 74)를 포함한다. 게이트된 카메라/센서(72)는 게이트된 카메라/센서 FOV(150 및 170)에 투영된 게이트된(펄스된) 광원(10)의 에너지를 흡수 할 수 있다. 각 게이트된 카메라/센서(72 또는 74)는 상호 간에 그리고 게이트된 광원(10)과 동기화된다. 각 게이티트된 카메라/센서(72 또는 74)는 전역 FOV(각각 130 및 100로 표시되거나 160과 100으로 표시됨) 에너지를 흡수 할 수 있다. 또한 각 게이트된 카메라/센서(72 또는 74)는 비-가시 게이트된 광원(10)으로부터의 적어도 하나의 선택적으로 조명된 장면 FOV ("슬라이스") (140) (130, 100 및 110으로 나타냄) 또는 180 (160, 190 및 110으로 나타냄)을 누적할 수 있다.
게다가, 각 게이트된 카메라/센서(72 및 74)에 요구되는 특정 타이밍을 제공하기 위한 '직진형(straight forward)' 접근은 부가적인 게이트된 광원(10)을 추가하고 및/또는 단일의 게이트된 광원에 대한 더 많은 광 펄스를 추가함으로써 게이트된 광원(10)의 전체 듀티 사이클 (예를 들면, 일정 시간 동안의 펄스 횟수)의 증가를 포함한다. 상기 접근법은 스테레오 게이트된 영상 시스템을 향하는 동일한 스펙트럼을 사용하는 다른 비전 시스템에 블루밍을 증가시킬 수 있다.
다른 바람직한 방법은 단일의 게이트된 카메라 구성과 유사한 듀티 사이클을 제공하는 반면, 각 게이트된 카메라/센서에 대한 다른 DOF 옵션을 제공한다. 도 5는 적어도 2개의 게이트된 카메라/센서를 위한 스테레오 게이트된 영상 버스트 타이밍을 나타낸다. 시스템의 레이저 펄스 지속시간인 TLaser (타이밍 도식 상단의 L을 나타냄)은
Figure pct00005
로 정의되며, 여기서
Figure pct00006
은 게이트된 카메라/센서 #1에 대한 펄스 지속시간을 나타내고,
Figure pct00007
은 게이트된 카메라/센서 #2에 대한 펄스 지속시간을 나타낸다. 2개의 게이트된 카메라/센서(72 및 74)에 대한 동기화 타이밍은 하기의 DOF 옵션을 포함한다:
·옵션 1: TII(1)≠TII(2)이고 TOff(1)≠TOff(2)인 경우, 각 게이트된 카메라/센서의 DOF는 다르며 각 게이트된 카메라/센서 시작 범위 (거리)의 DOF는 다르다.
·옵션 2: TII(1)=TII(2)이고 TOff(1)≠TOff(2)인 경우, 각 게이트된 카메라/센서의 DOF는 동일하며 각 게이트된 카메라/센서 시작 범위 (거리)의 DOF는 다르다.
·옵션 3: TII(1)≠TII(2)이고 TOff(1)=TOff(2)인 경우, 각 게이트된 카메라/센서의 DOF는 다르며 각 게이트된 카메라/센서 시작 범위 (거리)의 DOF는 동일하다.
·옵션 4: TII(1) =TII(2)이고 TOff(1)=TOff(2)인 경우, 각 게이트된 카메라/센서의 DOF는 동일하며 각 게이트된 카메라/센서 시작 범위 (거리)의 DOF는 동일하다.
TII(1), TII(2) 노출 시간은 타이밍 도식의 중간과 하부에 있는 G로 나타내었다. TR(1), TR(2)는 다음 버스트 사이클이 시작될 때까지의 각 카메라/센서와 게이트된 광원(10)의 이완(relaxation) 시간을 나타낸다.
하기의 표는 다른 선택적으로 누적된 DOF("슬라이스")를 위한한 게이트된 스테레오 영상 시스템의 타이밍에 대한 2개의 예를 제공한다.
파라미터 게이트된 카메라/센서(72) 게이트된 카메라/센서(74)
전역 DOF 선택적 DOF
("슬라이스")		 전역 DOF 선택적 DOF
("슬라이스")
예 #1 Rmax[meters] 250 150 250 100
R0[meters] 100 50 100 35
Rmin[meters] 20 20 20 5
TLaser[nsec] 530 200 530 200
TII[nsec] 1530 870 1530 630
Toff[nsec] 130 130 130 30
예 #2 Rmax[meters] 300 150 190 100
R0[meters] 250 50 190 90
Rmin[meters] 50 20 10 80
TLaser[nsec] 1333 200 1200 67
TII[nsec] 1667 870 1200 133
Toff[nsec] 334 130 67 533
스테레오 게이트된 영상 카메라 FOV 및/또는 게이트된 광원은 보이는 장면에 작용하여 작동되는 동안 움직일 수 있다. 예를 들면, 보이는 도로가 오르막길인 경우, 스테레오 게이트된 시스템은 위쪽으로 회전할 수 있고, 우회전 도로의 경우, 게이트된 시스템은 도로의 커브와 동일한 각도로 우회전할 수 있다. 스테레오 게이트된 영상 회전은 기계적 구조물, 전기-기계적 엔진, 전기-광학적 구조물 등을 통해 제어될 수 있다.
광변조 또는 펄스된 광원 타겟 (예를 들면, 교통 신호 또는 차량 조명 등에 이용되는 펄스 폭 변조 LED)의 단일 영상 (단일 프레임 판독)을 캡쳐해야 하는 문제가 여전히 존재한다. 상기 게이트된 영상 시스템은 이러한 광변조 또는 펄스된 광원 타겟을 캡쳐함으로써 해결책을 제공한다. 본 기술은 게이트된 광원이 불필요한 적어도 1개의 시스템의 게이트된 카메라를 이용할 수 있다. 변조 주파수를 “잠금” (예를 들면, 특정 게이트를 개방하고 외부 광원 표적의 변조 주파수와 직접적으로 관련된 신호를 탐색함)에 의해 및/또는 매 판독시 마다 다른 길이의 시간 노출을 갖는 (예를 들면, 광원 표적의 주파수 변조를 “인식”함이 없이) 시스템 게이트된 카메라 다중 게이트에 의해, 최소 1개의 게이트된 카메라/센서는 프레임 판독 당 각 노출 사이의 적어도 하나의 파라미터; 노출 지속시간 또는 다음 노출까지의 노출 지연의 변경을 포함할 수 있다. 게다가, 특정 노출 파라미터는 각 프레임 마다 노출량을 포함할 수 있다.
상기 스테레오 게이트된 영상 시스템은 판독 프레임당 게이트 수를 줄이거나 및/또는 게이트 길이 시간을 단축시키거나 및/또는 게이트된 카메라의 게인 값을 낮추는 것과 직접적으로 관련된 게이트된 카메라의 짧은 게이트 (예를 들면, 노출 시간/광의 누적)에 의해 강한 주변광 수준 (예를 들면, 주간 동안, 야간 동안 차량에 입사되는 높거나 낮은 전방 헤드라이트) 동안 영상 센서 블루밍 문제를 해결할 수 있다. 예를 들면 제1프레임이 50nsec의 단일 노출을 갖고 연속하는 프레임이 16msec의 단일 노출을 갖는 경우 상기 프레임과 상기 연속하는 프레임 사이에 110dB의 동력 범위를 가능하게 한다.
바람직하게는, 스테레오 게이트된 영상에서 적어도 단일의 게이트된 카메라는 차량 환경; 고온(섭씨 50도 이상)에서의 저장과 보존 가능하도록 CMOS 기술로 생성되고, 태양광으로 인해 민감도가 손상되지 않으며, 카메라에 지속적인 정적 영상 투영으로 인해 열화가 일어나지 않는다.
바람직하게는, 스펙트럼 필터가 주간, 야간 및 기타 주변 광 조건에서 주변의 광 누적을 줄이기 위하여 적어도 하나의 스테레오 게이트 영상의 전방부에 도입된다.
바람직하게는, 편광 필터가 주간, 야간 및 기타 강한 편광으로부터의 주변 광 조건에서 주변 광 누적을 감소시키고 및/또는 보이는 장면에 대한 정보 (예를 들면, 편광측정; 표면 특징, 형상, 음영 및 거칠기에 대한 정보를 제공하기 위하여 장면을 통한 시각적 필드의 벡터 성질에 대한 정보를 측정함으로써 구함)를 갖는 다른 층을 제공하기 위하여 적어도 하나의 스테레오 게이트된 영상 카메라의 전방부에 도입될 수 있다.
다른 바람직한 방법은 단일 카메라 프레임 판독시 게이트된 광원의 단일 펄스를 위한 다중 노출을 통해 적어도 1개의 시스템 카메라로 다시 반사된 동기화된 게이트 광원으로 직접 TOF(Time Of Flight) 거리측정 및 영상을 수행하는 능력을 제공한다.
본 발명이 제한된 수의 실시예에 대하여 설명 하였지만, 이들은 본 발명의 범위를 제한하는 것으로 해석되어서는 안되며, 오히려 바람직한 실시예들 중 예시로서. 다른 가능한 변형, 수정 및 응용은 본 발명의 범위 내에 있다.

Claims (27)

  1. 장면(scene)의 영상의 캡쳐 프로세스를 개선하기 위한 방법 및 그로부터의 데이터에 관한 것으로, 상기 방법은:
    기설정된 게이팅 파라미터에 기반하여 펄스 광을 이용하여 특정 방향으로 장면을 조사하는 단계;
    상기 장면의 영상을 2 이상의 다른 공간 위치로부터 캡쳐하는 단계로, 여기서 동기화된 캡쳐를 위한 상기 장면에 대해 스테레오스코픽 융합 영상이 생성될 수 있도록 적어도 하나의 캡쳐는 상기 펄스 광으로 동기화되는 것인 단계; 및
    스테레오스코픽 융합 영상으로부터의 데이터 및 상기 게이팅 파라미터를 사용하여 캡쳐 프로세스를 개선하는 단계를 포함하는 것인, 방법.
  2. 제1항에 있어서,
    상기 캡쳐는 2개의 영역: 상기 스테레오스코픽 융합 영상을 산출하는 제1영역 및 모노스코픽 게이트된 영상을 산출하는 제2영역에 대하여 수행되는 것인, 방법.
  3. 제2항에 있어서,
    상기 영역 사이의 임계값은 캡쳐 프로세스의 민감도에 의해 결정되는 것인, 방법.
  4. 제1항에 있어서,
    상기 개선이 게이트된 영상 및 비-게이트된 영상 모두를 사용하여 수행될 수 있도록 적어도 하나의 캡쳐는 펄스광으로 동기화되지 않는 것인, 방법.
  5. 제1항에 있어서,
    제1캡쳐는 게이팅 파라미터의 제1세트를 기반하여 동기화되고 제2세트는 게이팅 파라미터의 제2세트를 기반하여 동기화될 수 있도록 상기 캡쳐는 펄스 광으로 동기화되는 것인, 방법.
  6. 제1항에 있어서,
    상기 게이팅 파라미터는 조사 파라미터 및 센서 파라미터 중 적어도 하나를 포함하는 것인, 방법.
  7. 제1항에 있어서,
    상기 캡쳐된 영상을 분석하는 단계, 및
    상기 분석을 바탕으로, 동기화에 영향을 미치는 센서 게이팅 파라미터의 업데이트된 세트로 상기 캡쳐를 반복하는 단계를 더욱 포함하는 것인, 방법.
  8. 제1항에 있어서,
    상기 캡쳐된 영상을 분석하는 단계, 및
    게이팅에 영향을 미치는 파라미터의 업테이트된 세트로 장면의 조사를 반복하는 단계를 더욱 포함하는 것인, 방법.
  9. 제1항에 있어서,
    스테레오스코픽 영상과 게이트된 영상 간의 데이터 융합을 기초로 장면 내의 하나 또는 그 이상의 물체의 범위를 도출하는 단계를 더욱 포함하는 것인, 방법.
  10. 제1항에 있어서,
    상기 캡쳐는 멀티 스펙트럼 범위에서 수행되는 것인, 방법.
  11. 제1항에 있어서,
    상기 조사 및 캡쳐는 편광에서 수행되는 것인, 방법.
  12. 제1항에 있어서,
    상기 조사 및 캡쳐 중 적어도 하나는 차량의 외부에서 수행되는 것인, 방법.
  13. 장면의 영상의 캡쳐 프로세스를 개선하기 위한 시스템 및 그로부터의 데이터에 관한 것으로, 상기 시스템은:
    기설정된 게이팅 파라미터에 기반하여 펄스 광을 이용하여 특정 방향으로 장면을 조사하기 위해 구성된 광원;
    장면의 영상을 캡쳐하기 위해 구성되고 서로 다른 공간에 위치하는 2 이상의 캡쳐 장치로, 여기서 동기화된 캡쳐를 위한 상기 장면의 스테레오스코픽 융합 게이트된 영상이 생성될 수 있도록 적어도 하나의 캡쳐는 펄스 광으로 동기화되는 것인, 장치; 및
    상기 스테레오스코픽 융합 영상 및 게이팅 파라미터로부터의 데이터를 사용하여 캡쳐를 개선하기 위해 구성된 컴퓨터 프로세서를 포함하는 것인, 시스템.
  14. 제13항에 있어서,
    상기 캡쳐는 2개의 영역: 상기 스테레오스코픽 융합 영상을 산출하는 제1영역 및 모노스코픽 게이트된 영상을 산출하는 제2영역에 대하여 수행되는 것인, 방법.
  15. 제14항에 있어서,
    상기 영역 사이의 임계값은 캡쳐 프로세스의 민감도에 의해 결정되는 것인, 방법.
  16. 제13항에 있어서,
    업데이트가 게이트된 영상 및 비-게이트된 영상 모두를 사용하여 수행될 수 있도록 적어도 하나의 캡쳐는 펄스광으로 동기화되지 않는 것인, 시스템.
  17. 제13항에 있어서,
    제1캡쳐는 게이팅 파라미터의 제1세트를 기반하여 동기화되고 제2세트는 게이팅 파라미터의 제2세트를 기반하여 동기화될 수 있도록 2 이상의 캡쳐는 펄스 광으로 동기화되는 것인, 시스템.
  18. 제13항에 있어서,
    각각의 게이팅 파라미터의 세트는 장면의 다른 피사계 심도에 해당하는 것인, 시스템.
  19. 제13항에 있어서,
    상기 컴퓨터 프로세서는 캡쳐된 영상을 분석하고, 상기 분석을 바탕으로 동기화에 영향을 미치는 게이팅 파라미터의 업데이트된 세트로 상기 캡쳐를 반복하기 위해 더욱 구성되는 것인, 시스템.
  20. 제13항에 있어서,
    상기 컴퓨터 프로세서는 스테레오스코픽 영상 및 게이트된 영상 간의 데이터 융합을 바탕으로 장면 내의 하나 또는 그 이상의 물체의 범위를 도출하기 위해 더욱 구성되는 것인, 시스템.
  21. 제13항에 있어서,
    적어도 하나의 센서는 멀티스펙트럼 범위에서 작동가능한 것인, 시스템.
  22. 제13항에 있어서,
    펄스 광원 및 적어도 하나의 센서는 편광에서 작동가능한 것인, 시스템.
  23. 제13항에 있어서,
    펄스 광원 및 적어도 하나의 캡쳐 장치 중 적어도 하나는 차량의 외부에 위치되는 것인, 시스템.
  24. 장면의 영상의 캡쳐를 개선하기 위한 방법 및 그로부터의 데이터에 관한 것으로, 상기 방법은:
    적어도 2개의 다른 공간 위치로부터의 장면의 영상을 캡쳐하는 단계로, 여기서 적어도 하나의 캡쳐는 강화된 영상을 산출하기 위하여, 특정 노출 파라미터를 기반으로 단일 판독 당 다수의 노출 시퀀스의 누적으로 포함하는 것인 단계; 및
    강화된 영상 및 특정 노출 파라미터로부터의 데이터를 사용하여 캡쳐를 개선하는 단계를 포함하는 것인, 방법.
  25. 제24항에 있어서,
    상기 캡쳐 영상을 분석하는 단계; 및
    상기 분석을 바탕으로 강화된 영상에 영향을 미치는 업데이트된 노출 파라미터로 캡쳐를 반복하는 단계를 더욱 포함하는 것인, 방법.
  26. 장면의 영상을 캡쳐를 개선하기 위한 시스템 및 그로부터의 데이터에 관한 것으로, 상기 시스템은:
    장면의 영상을 캡쳐하기 위해 구성되고 서로 다른 공간에 위치하는 2 이상의 캡쳐 장치로, 여기서 적어도 하나의 캡쳐는 강화된 영상을 산출하기 위하여, 단일 판독 당 다수의 노출 시퀀스의 누적을 포함하는 것인 장치; 및
    강화된 영상으로부터의 데이터를 사용하여 캡쳐를 개선하기 위해 구성된 컴퓨터 프로세서를 포함하는 것인, 시스템.
  27. 제26항에 있어서,
    상기 컴퓨터 프로세서는 캡쳐된 영상을 분석하고 상기 분석을 바탕으로 강화된 영상에 영향을 미치는 업데이트된 노출 파라미터로 캡쳐를 반복하기 위해 더욱 구성되는 것인, 시스템.
KR20157003451A 2012-07-09 2013-04-04 스테레오 게이트된 영상 시스템 및 방법 KR20150038032A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201261669181P 2012-07-09 2012-07-09
US61/669,181 2012-07-09
PCT/IL2013/050309 WO2014009945A1 (en) 2012-07-09 2013-04-04 Stereo gated imaging system and method

Publications (1)

Publication Number Publication Date
KR20150038032A true KR20150038032A (ko) 2015-04-08

Family

ID=48325829

Family Applications (1)

Application Number Title Priority Date Filing Date
KR20157003451A KR20150038032A (ko) 2012-07-09 2013-04-04 스테레오 게이트된 영상 시스템 및 방법

Country Status (6)

Country Link
US (1) US10390004B2 (ko)
EP (1) EP2870031B1 (ko)
JP (1) JP6293134B2 (ko)
KR (1) KR20150038032A (ko)
CN (1) CN104470757B (ko)
WO (1) WO2014009945A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180070500A (ko) * 2016-12-16 2018-06-26 메크라 랑 게엠베하 운트 코 카게 카메라 시스템 및 미러 대체 시스템

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
IL233356A (en) * 2014-06-24 2015-10-29 Brightway Vision Ltd Sensor-based imaging system with minimum wait time between sensor exposures
IL234396A0 (en) * 2014-08-31 2014-12-02 Brightway Vision Ltd Self-portrait remediation
US9718405B1 (en) 2015-03-23 2017-08-01 Rosco, Inc. Collision avoidance and/or pedestrian detection system
US9864048B2 (en) * 2015-05-17 2018-01-09 Microsoft Technology Licensing, Llc. Gated time of flight camera
US9945936B2 (en) * 2015-05-27 2018-04-17 Microsoft Technology Licensing, Llc Reduction in camera to camera interference in depth measurements using spread spectrum
WO2016197307A1 (en) 2015-06-08 2016-12-15 SZ DJI Technology Co., Ltd. Methods and apparatus for image processing
EP3185179A1 (en) * 2015-12-22 2017-06-28 Delphi Technologies, Inc. Multiple imager vehicle optical sensor system
CN107238842B (zh) * 2016-03-29 2020-06-16 中国人民解放军92232部队 一种面阵目标搜索扫描成像装置及方法
CN106004662A (zh) * 2016-07-05 2016-10-12 广东宁源科技园发展有限公司 车辆通行宽度探测装置
IL247944B (en) * 2016-09-20 2018-03-29 Grauer Yoav A pulsating illuminator with a configurable structure
CN109814127A (zh) * 2017-11-22 2019-05-28 浙江舜宇智能光学技术有限公司 高分辨tof成像系统及方法
US10757320B2 (en) 2017-12-28 2020-08-25 Waymo Llc Multiple operating modes to expand dynamic range
US11506763B2 (en) * 2018-10-31 2022-11-22 Infineon Technologies Ag Image sensor with interleaved hold for single-readout depth measurement
WO2020121973A1 (ja) * 2018-12-10 2020-06-18 株式会社小糸製作所 物体識別システム、演算処理装置、自動車、車両用灯具、分類器の学習方法
CN113557172A (zh) * 2019-03-11 2021-10-26 株式会社小糸制作所 选通照相机、汽车、车辆用灯具、物体识别系统、运算处理装置、物体识别方法、图像显示系统、检查方法、摄像装置、图像处理装置
US20200314411A1 (en) * 2019-03-29 2020-10-01 Alibaba Group Holding Limited Synchronizing an illumination sequence of illumination sources with image capture in rolling shutter mode
WO2020263984A1 (en) 2019-06-24 2020-12-30 Event Capture Systems, Inc. Methods, devices, and systems for headlight illumination for semi-autonomous vehicles
US11181807B1 (en) 2020-07-14 2021-11-23 Rosemount Aerospace Inc. Ranging of objects in a scene using difference imaging and fast shutter control
IL278629A (en) * 2020-11-10 2022-06-01 Brightway Vision Ltd System and method for detecting and identifying objects for manned and unmanned vehicles

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010148130A (ja) * 2002-08-05 2010-07-01 Elbit Systems Ltd 車両搭載用ナイトビジョン画像処理システム及びその方法
JP2011064498A (ja) * 2009-09-15 2011-03-31 Honda Motor Co Ltd 測距装置、測距方法、及びそのプログラム
JP2012022573A (ja) * 2010-07-15 2012-02-02 Toshiba Corp 移動体検出装置

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4862257A (en) 1988-07-07 1989-08-29 Kaman Aerospace Corporation Imaging lidar system
US5270780A (en) * 1991-09-13 1993-12-14 Science Applications International Corporation Dual detector lidar system and method
IL114278A (en) * 1995-06-22 2010-06-16 Microsoft Internat Holdings B Camera and method
US6028624A (en) * 1997-12-11 2000-02-22 The United States Of America As Represented By The Secretary Of The Army Method and apparatus for increased visibility through fog and other aerosols
JPH11201740A (ja) * 1998-01-09 1999-07-30 Omron Corp 画像処理方法およびその装置
WO2002041031A1 (de) * 2000-11-14 2002-05-23 Siemens Aktiengesellschaft Vorrichtung zur bilddatenverarbeitung und verfahren zur bilddatenverarbeitung
CA2554955C (en) * 2004-02-04 2010-09-14 Elbit Systems Ltd. Gated imaging
JP2006005608A (ja) * 2004-06-17 2006-01-05 Hitachi Ltd 撮像装置
DE102004061998A1 (de) 2004-12-23 2006-07-06 Robert Bosch Gmbh Stereokamera für ein Kraftfahrzeug
CN100462737C (zh) * 2006-06-29 2009-02-18 哈尔滨工业大学 距离选通式激光3d成像雷达系统
CN101722888B (zh) * 2008-10-29 2012-02-29 中国科学院半导体研究所 实现抗干扰大视场距离选通汽车夜视的方法
CN101431603B (zh) * 2008-12-17 2011-04-20 广东威创视讯科技股份有限公司 多摄像头同步拍摄的方法及其检测装置
JP2010170449A (ja) * 2009-01-26 2010-08-05 Calsonic Kansei Corp 車両用距離画像データ生成装置及び方法
CN201765378U (zh) * 2010-08-19 2011-03-16 山东神戎电子股份有限公司 具有测距功能的夜视仪
CN101969548B (zh) 2010-10-15 2012-05-23 中国人民解放军国防科学技术大学 基于双目摄像的主动视频获取方法及装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010148130A (ja) * 2002-08-05 2010-07-01 Elbit Systems Ltd 車両搭載用ナイトビジョン画像処理システム及びその方法
JP2011064498A (ja) * 2009-09-15 2011-03-31 Honda Motor Co Ltd 測距装置、測距方法、及びそのプログラム
JP2012022573A (ja) * 2010-07-15 2012-02-02 Toshiba Corp 移動体検出装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180070500A (ko) * 2016-12-16 2018-06-26 메크라 랑 게엠베하 운트 코 카게 카메라 시스템 및 미러 대체 시스템
US11072281B2 (en) 2016-12-16 2021-07-27 Mekra Lang Gmbh & Co. Kg Camera system and mirror replacement system

Also Published As

Publication number Publication date
EP2870031A1 (en) 2015-05-13
WO2014009945A1 (en) 2014-01-16
US20150296200A1 (en) 2015-10-15
CN104470757B (zh) 2017-05-17
JP6293134B2 (ja) 2018-03-14
EP2870031B1 (en) 2017-11-08
JP2015525035A (ja) 2015-08-27
US10390004B2 (en) 2019-08-20
CN104470757A (zh) 2015-03-25

Similar Documents

Publication Publication Date Title
KR20150038032A (ko) 스테레오 게이트된 영상 시스템 및 방법
US9810785B2 (en) Gated imaging using an adaptive depth of field
EP3423865B1 (en) Gated imaging apparatus, system and method
US10564267B2 (en) High dynamic range imaging of environment with a high intensity reflecting/transmitting source
US10356337B2 (en) Vehicle vision system with gray level transition sensitive pixels
US9904859B2 (en) Object detection enhancement of reflection-based imaging unit
US10302766B2 (en) Range imaging system and solid-state imaging device
US6420704B1 (en) Method and system for improving camera infrared sensitivity using digital zoom
US20160039358A1 (en) In-vehicle camera and vehicle control system
EP3481059A1 (en) Object detection and display apparatus, moving body, and object detection and display method
US11772545B2 (en) Apparatus, system and method for controlling lighting using gated imaging
EP3227742B1 (en) Object detection enhancement of reflection-based imaging unit
US20230142762A1 (en) Sensing system
Bertozzi et al. Camera-based automotive systems

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right