KR102166367B1 - 깜박거리는 조명된 물체들을 검출하기 위해 필터들 및 노출 시간들을 이용하는 카메라 시스템들 - Google Patents

깜박거리는 조명된 물체들을 검출하기 위해 필터들 및 노출 시간들을 이용하는 카메라 시스템들 Download PDF

Info

Publication number
KR102166367B1
KR102166367B1 KR1020207006116A KR20207006116A KR102166367B1 KR 102166367 B1 KR102166367 B1 KR 102166367B1 KR 1020207006116 A KR1020207006116 A KR 1020207006116A KR 20207006116 A KR20207006116 A KR 20207006116A KR 102166367 B1 KR102166367 B1 KR 102166367B1
Authority
KR
South Korea
Prior art keywords
camera
exposure time
filter
images
light
Prior art date
Application number
KR1020207006116A
Other languages
English (en)
Other versions
KR20200024965A (ko
Inventor
안드레아스 웬델
벤자민 잉그램
Original Assignee
웨이모 엘엘씨
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 웨이모 엘엘씨 filed Critical 웨이모 엘엘씨
Publication of KR20200024965A publication Critical patent/KR20200024965A/ko
Application granted granted Critical
Publication of KR102166367B1 publication Critical patent/KR102166367B1/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/584—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/04—Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units, or advanced driver assistance systems for ensuring comfort, stability and safety or drive control systems for propelling or retarding the vehicle
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/095—Predicting travel path or likelihood of collision
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units, or advanced driver assistance systems for ensuring comfort, stability and safety or drive control systems for propelling or retarding the vehicle
    • B60W30/14—Adaptive cruise control
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/147—Details of sensors, e.g. sensor lenses
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/57—Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
    • H04N5/2257—
    • H04N5/247—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0001—Details of the control system
    • B60W2050/0043—Signal treatments, identification of variables or parameters, parameter estimation or state estimation
    • B60W2050/0052—Filtering, filters
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo or light sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/42—Image sensing, e.g. optical camera
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3602—Input other than that of destination using image analysis, e.g. detection of road signs, lanes, buildings, real preceding vehicles using a camera

Abstract

본 기술은 자율 주행 모드를 갖는 차량들에 대한 카메라 시스템들에 관한 것이다. 예시적인 시스템은 차량의 환경의 이미지들을 캡처하기 위해 차량(100) 상에 장착된 제1 카메라를 포함한다. 제1 카메라(300)는 제1 노출 시간을 갖고 ND 필터가 없다. 시스템은 차량의 환경의 이미지들을 캡처하기 위해 차량 상에 장착되고 ND 필터를 갖는 제2 카메라(350)를 또한 포함한다. 시스템은 제1 카메라 및 제1 노출 시간을 이용하여 이미지를 캡처하고, 제2 카메라 및 제2 노출 시간을 이용하여 이미지를 캡처하고, 제2 카메라를 이용하여 캡처된 이미지를 이용하여 조명된 물체들을 식별하고, 제1 카메라를 이용하여 캡처된 이미지를 이용하여 물체들의 위치들을 식별하고, 식별된 조명된 물체들 및 식별된 물체들의 위치들을 이용하여 자율 주행 모드에서 차량을 제어하도록 구성된 하나 이상의 프로세서를 또한 포함한다.

Description

깜박거리는 조명된 물체들을 검출하기 위해 필터들 및 노출 시간들을 이용하는 카메라 시스템들{CAMERA SYSTEMS USING FILTERS AND EXPOSURE TIMES TO DETECT FLICKERING ILLUMINATED OBJECTS}
관련 출원들에 대한 상호 참조
본 출원은 2017년 5월 19일자로 출원된 미국 특허 가출원 제62/508,467호의 출원일의 이익을 주장하는, 2017년 6월 5일자로 출원된 미국 특허 출원 제15/613,546호의 계속 출원이며, 이들의 개시내용들은 이로써 인용에 의해 본 명세서에 포함된다.
인간 운전자를 필요로 하지 않는 차량들과 같은 자율 주행 차량들은 한 위치에서 다른 위치로 승객들 또는 물품들의 운송을 돕기 위해 사용될 수 있다. 그러한 차량들은 승객들이 목적지와 같은 일부 초기 입력을 제공할 수 있고 차량이 그 목적지로 자신을 조종하는 완전 자율 주행 모드에서 동작할 수 있다. 따라서, 그러한 차량들은 임의의 주어진 시간에 자율 주행 차량의 위치를 결정할 수 있는 뿐만 아니라, 다른 차량들, 정지 신호등들, 보행자들 등과 같은, 차량 외부의 물체들을 검출하고 식별할 수 있는 시스템들에 크게 의존할 수 있다.
그러한 센서들은 많은 상이한 구성들로 입수되지만, 예로서, 그러한 센서들은 LIDAR("light detection and ranging") 센서들, 레이더 유닛들, 카메라들 등을 포함할 수 있다. 카메라 예에서는, 구성에 더하여, 카메라들은 유용한 이미지들을 획득하기 위해 특정 값들로 설정되어야 하는 이득, 노출 시간 등과 같은 다양한 특징들을 갖는다. 전형적으로, 노출 시간은 검출될 조명들의 주변 조명 조건들 및 밝기에 기초한 알고리즘들에 의해 결정된다. 그에 따라, 이들 노출 시간들은 종종 매우 짧고, 예를 들어, 대략 수 마이크로초이다. 그러나, 조명된 물체들의 경우에, 인간의 눈에는 끊김 없는 연속 광(solid continuous light)이 보일 수 있지만, 실제로는 전력 그리드의 주파수(예를 들어, 60Hz) 또는 조명(예컨대 발광 다이오드(LED))이 "펄스-폭 변조된 광"(PWM)을 이용하는지 여부에 따라 많은 조명된 물체들이 사실은 깜박거린다. 이들 카메라가 짧은 광 펄스를 갖는 무언가를 샘플링한다면, 수 마이크로초의 시간 범위 내에 해당 광 펄스를 이미징할 가능성은 낮다.
본 개시내용의 양태들은 시스템을 제공한다. 이 시스템은 차량의 환경의 이미지들을 캡처하기 위해 차량에 장착된 제1 카메라 - 상기 제1 카메라는 제1 노출 시간을 갖고 ND 필터가 없음 -; 상기 차량의 환경의 이미지들을 캡처하기 위해 차량에 장착된 제2 카메라 - 상기 제2 카메라는 상기 제1 노출 시간 이상인 제2 노출 시간을 갖고 ND 필터를 가짐 -; 및 하나 이상의 프로세서를 포함한다. 상기 하나 이상의 프로세서는 상기 제1 카메라 및 상기 제1 노출 시간을 이용하여 이미지들을 캡처하고; 상기 제2 카메라 및 상기 제2 노출 시간을 이용하여 이미지들을 캡처하고; 상기 제2 카메라를 이용하여 캡처된 상기 이미지들을 이용하여 조명된 물체들을 식별하고; 상기 제1 카메라를 이용하여 캡처된 상기 이미지들을 이용하여 물체들의 위치들을 식별하고; 상기 식별된 조명된 물체들 및 식별된 물체들의 위치들을 이용하여 자율 주행 모드에서 상기 차량을 제어하도록 구성된다.
일 예에서, 상기 제1 카메라 및 상기 제2 카메라는 각각 근적외선 필터를 포함한다. 다른 예에서, 상기 제2 노출 시간은 대략 수 밀리초이다. 이 예에서, 상기 제2 노출 시간은 적어도 5 밀리초이고 상기 제1 노출 시간은 5 밀리초 이하이다. 다른 예에서, 상기 ND 필터는 상기 제2 노출 시간에 따라 선택된다. 다른 예에서, 상기 ND 필터는 상기 제2 카메라에 대해 픽셀 레벨에서 구현된다. 다른 예에서, 상기 시스템은 상기 차량을 또한 포함한다. 다른 예에서, 상기 하나 이상의 프로세서는 PWM 광원으로부터의 광을 식별함으로써 조명된 이미지들을 식별하기 위해 상기 제2 카메라의 이미지들을 사용하도록 구성된다. 다른 예에서, 상기 하나 이상의 프로세서는 LED들을 포함하는 복수의 PWM 광원에 의해 생성된 텍스트를 식별함으로써 조명된 이미지들을 식별하기 위해 상기 제2 카메라의 이미지들을 사용하도록 구성된다. 이 예에서, 상기 하나 이상의 프로세서는 상기 PWM 광원들의 주파수에 기초하여 상기 제2 노출 시간을 선택하도록 추가로 구성된다. 다른 예에서, 상기 하나 이상의 프로세서는 광원에 전력을 공급하는 전력 그리드에 의해 정의된 레이트로 깜박거리는 상기 광원으로부터의 광을 식별함으로써 조명된 이미지들을 식별하기 위해 상기 제2 카메라의 이미지들을 사용하도록 구성된다. 이 예에서, 상기 하나 이상의 프로세서는 상기 전력 그리드에 의해 정의된 레이트에 기초하여 상기 제2 노출 시간을 선택하도록 추가로 구성된다. 다른 예에서, 상기 제2 노출 시간은 고정된 노출 시간이다. 다른 예에서, 상기 제1 노출 시간은 주변 조명 조건들에 따라 조정되는 가변 노출 시간이다. 이 예에서, 상기 제2 노출 시간은 항상 상기 제1 노출 시간보다 크다. 추가적으로 또는 대안적으로, 상기 제2 노출 시간은 가변 노출 시간이다.
본 개시내용의 다른 양태는 차량에서 사용하기 위한 카메라를 제공한다. 상기 카메라는 포토다이오드 세트, 광이 포토다이오드 세트에 도달하기 전에 광을 필터링하도록 배열된 ND 필터, 및 이미지를 캡처하기 위해 적어도 5 밀리초의 고정된 노출 시간을 이용하여 상기 포토다이오드 세트를 노출시키도록 구성된 컨트롤러를 포함하고, 상기 노출 시간은 상기 카메라가 상기 노출 시간 동안 PWM 광원으로부터 광을 캡처할 수 있게 하고, 상기 PWM 광은 상기 차량의 환경 내에 위치한다. 일 예에서, 상기 카메라는 광이 상기 포토다이오드 세트에 도달하기 전에 광을 필터링하도록 배열된 근적외선 필터를 또한 포함한다.
본 개시내용의 추가 양태는 차량에서 사용하기 위한 카메라를 제공한다. 상기 카메라는 포토다이오드 세트; 광이 상기 포토다이오드 세트에 도달하기 전에 광을 필터링하도록 배열된 ND 필터; 및 이미지를 캡처하기 위해 적어도 5 밀리초의 고정된 노출 시간을 이용하여 상기 포토다이오드 세트를 노출시키도록 구성되는 컨트롤러를 포함하고, 상기 노출 시간은 상기 카메라가 광원에 전력을 공급하는 전력 그리드에 의해 정의된 레이트로 깜박거리는 상기 광원으로부터의 광을 캡처할 수 있게 하고, 상기 광원은 상기 차량의 환경 내에 위치한다. 일 예에서, 상기 카메라는 광이 상기 포토다이오드 세트에 도달하기 전에 광을 필터링하도록 배열된 근적외선 필터를 또한 포함한다.
도 1은 본 개시내용의 양태들에 따른 본 개시내용의 양태들에 따른 예시적인 차량의 기능 다이어그램이다.
도 2는 본 개시내용의 양태들에 따른 도 1의 예시적인 차량의 예시적인 외부 뷰이다.
도 3a는 본 개시내용의 양태들에 따른 제1 카메라의 예시적인 기능 다이어그램이다.
도 3b는 본 개시내용의 양태들에 따른 제2 카메라의 예시적인 기능 다이어그램이다.
도 4는 본 개시내용의 양태들에 따른 대표적인 노출 시간들 및 광 펄스들의 예시적인 차트이다.
도 5는 본 개시내용의 양태들에 따른 대표적인 노출 시간들 및 광 펄스들의 다른 예시적인 차트이다.
도 6a는 본 개시내용의 양태들에 따른 제1 카메라에 의해 캡처된 예시적인 일련의 이미지들이다.
도 6b는 본 개시내용의 양태들에 따른 제1 카메라에 의해 캡처된 표지의 이미지들 및 제2 카메라에 의해 캡처된 표지의 이미지의 예이다.
도 7a 및 도 7b는 본 개시내용의 양태들에 따른 교통 신호등의 예시적인 이미지들이다.
도 8은 본 개시내용의 양태들에 따른 흐름도이다.
본 기술은 차량의 주위 환경에서 검출된 정보에 기초하여, 예를 들어, 자율 주행 모드에서 차량을 제어하는 것에 관한 것이다. 예로서, 그러한 정보는 차량 상에 장착된 하나 이상의 카메라를 이용하여 검출될 수 있다. 위에 언급한 바와 같이, 일반적으로 그러한 카메라들은 장면 내의 광이 강할 때 매우 짧은 노출 시간들을 이용하여, 장면이 과다 노출(일부 또는 모든 컬러들이 포화되거나, 컬러를 왜곡시키거나, 이미지의 부분들이 단지 백색임)되지 않도록 하고 또한 주변 조명 조건들을 최상으로 캡처하기 위해 카메라 구성을 빠르게 조정한다. 그러나, 조명된 물체들의 경우에, 인간의 눈에는 끊김 없는 연속 광이 보일 수 있지만, 실제로는 전력 그리드의 주파수 또는 광이 PWM을 이용하는지 여부에 따라 많은 조명된 물체들이 사실은 깜박거린다. 이들 카메라가 짧은 광 펄스, 더 정확히 말하자면 아래에 논의되는 바와 같이 매우 짧은 양의 시간 동안에 짧은 온 기간과 더 긴 오프 기간 둘 다를 갖는 펄스를 갖는 무언가를 샘플링한다면, 수 마이크로초의 시간 범위 내에 해당 광 펄스를 이미징할 가능성은 낮다.
이 문제를 해결하기 위해, 카메라들 중 하나 이상의 카메라의 노출 시간은 전력 그리드뿐만 아니라 PWM 광들, 예컨대, 브레이크 등, 방향 지시등, 후진등, 일부 전조등 및 주간 주행등뿐만 아니라, LED 정보 도로 표지(예를 들어, 공사 안내 표지, 가변 속도 제한 표지, 가변 교통 흐름 방향 표지 등)에 사용되는 것들 모두의 기간을 커버할 정도로 충분한 기간으로 조정될 수 있다.
예로서, 브레이크 등들이 특히 PWM일 가능성이 있는데, 그 이유는 그것들은 종종 2개의 밝기 설정 - 후미등을 위한 것(긴 기간 동안 온)과 그리고 브레이크 등을 위한 더 강한 것(차량이 제동하고 있는 동안 온)을 갖기 때문이다. 강도의 변화는 상이한 PWM 듀티 사이클들을 이용하여 구현될 수 있다. 또한 카메라에는, ND(neutral density) 광학 필터 또는 컬러 색조를 추가하고 따라서 반드시 "중간색(neutral)"은 아닌 것들과 같이 광을 상당히 차단하는 다른 차광 필터(darkening filter)와 같이 렌즈에 도달하는 광량을 대폭 감소시키는 필터가 구비될 수 있다. 따라서, ND 필터를 사용하는 아래의 예들 중 임의의 것은 그러한 차광 필터들로 대체될 수 있다.
사용되는 필터는 특정 노출 시간 동안 균형 잡힌 광량에 도달하기 위해 선택될 수 있다. 그러한 필터들은 이 시간 범위를 훨씬 더 길게 만드는 데 도움이 될 수 있고 따라서 전술한 짧은 펄스들을 이미징할 가능성은 급격히 증가한다.
이 특징들의 조합은 ND 필터들 및 더 긴 노출 시간들을 갖는 하나 이상의 카메라가 인간의 눈에 보이는 것에 더 가까운 이미지들을 캡처할 수 있게 한다. 그에 따라, ND 필터 및 노출 시간을 갖는 카메라에 의해 캡처된 이미지들은, 이들 특징이 없는 다른 카메라들로 캡처된 이미지들보다, 인간의 눈이 분간할 수 없는 속도로 깜박거리는 교통 신호등, 브레이크 등, 또는 방향 지시등을 식별하는 데 더 신뢰할 만할 수 있다. 이는 결국 조명된 물체들을 식별하는 것을 훨씬 더 간단한 작업으로 만들고 깜박거리는 조명들이 조명되지 않는 것으로 잘못 식별되는 상황들을 피할 것이다. 더욱이, 이미지들 중 일부가 동시에 2개의 상이한 카메라에 의해 촬영될 수 있어서, 이미지들을 정렬시키고 그들 사이에 물체들을 매칭시키는 것 등을 하는 것이 상당히 더 간단해진다. 물론, 이 정보는 그 후 차량을 제어하기 위해 사용될 수 있다.
예시적인 시스템들
도 1에 도시된 바와 같이, 본 개시내용의 일 양태에 따른 차량(100)은 다양한 컴포넌트들을 포함한다. 본 개시내용의 특정 양태들은 특정 유형들의 차량들과 관련하여 특히 유용하지만, 차량은 자동차, 트럭, 오토바이, 버스, 레저 차량 등을 포함하지만 이에 제한되지는 않는 임의의 유형의 차량일 수 있다. 차량은 하나 이상의 프로세서(120), 메모리(130) 및 범용 컴퓨팅 디바이스들에 전형적으로 존재하는 다른 컴포넌트들을 포함하는 컴퓨팅 디바이스들(110)과 같은 하나 이상의 컴퓨팅 디바이스를 가질 수 있다.
메모리(130)는 프로세서(120)에 의해 실행되거나 달리 사용될 수 있는 명령어들(132) 및 데이터(134)를 포함하는, 하나 이상의 프로세서(120)에 의해 액세스 가능한 정보를 저장한다. 메모리(130)는, 컴퓨팅 디바이스 판독가능 매체, 또는 하드 드라이브, 메모리 카드, ROM, RAM, DVD 또는 다른 광 디스크뿐만 아니라 다른 기입 가능 및 판독 전용 메모리와 같은, 전자 디바이스의 도움으로 판독될 수 있는 데이터를 저장하는 다른 매체를 포함하는, 프로세서에 의해 액세스 가능한 정보를 저장할 수 있는 임의의 유형일 수 있다. 시스템들 및 방법들은 전술한 것들의 상이한 조합들을 포함할 수도 있고, 그에 의해 명령어들 및 데이터의 상이한 부분들이 상이한 유형의 매체들 상에 저장된다.
명령어들(132)은 프로세서에 의해 (기계 코드와 같이) 직접적으로 또는 (스크립트들과 같이) 간접적으로 실행될 명령어들의 임의의 세트일 수 있다. 예를 들어, 명령어들은 컴퓨팅 디바이스 판독가능 매체 상에 컴퓨팅 디바이스 코드로서 저장될 수 있다. 그와 관련하여, 용어들 "명령어들" 및 "프로그램들"은 본 명세서에서 교환가능하게 사용될 수 있다. 명령어들은 프로세서에 의한 직접 처리를 위한 오브젝트 코드 포맷으로, 또는 요구에 따라 해석되거나 미리 컴파일되는 독립적인 소스 코드 모듈들의 스크립트들 또는 컬렉션들을 포함하는 임의의 다른 컴퓨팅 디바이스 언어로 저장될 수 있다. 아래에서는 명령어들의 함수들, 메서드들 및 루틴들이 더 상세히 설명된다.
데이터(134)는 명령어들(132)에 따라 프로세서(120)에 의해 검색, 저장 또는 수정될 수 있다. 예를 들어, 비록 청구되는 주제는 임의의 특정한 데이터 구조에 의해 제한되지 않지만, 데이터는 컴퓨팅 디바이스 레지스터들에, 관계형 데이터베이스에 복수의 상이한 필드 및 레코드를 갖는 테이블, XML 문서들 또는 플랫 파일(flat file)들로서 저장될 수 있다. 데이터는 또한 임의의 컴퓨팅 디바이스 판독가능 포맷으로 포맷팅될 수 있다.
하나 이상의 프로세서(120)는 상업적으로 입수가능한 CPU들과 같은 임의의 종래의 프로세서들일 수 있다. 대안적으로, 하나 이상의 프로세서는 ASIC 또는 다른 하드웨어 기반 프로세서와 같은 전용 디바이스일 수 있다. 비록 도 1은 컴퓨팅 디바이스들(110)의 프로세서, 메모리, 및 다른 요소들을 동일한 블록 내에 있는 것으로 기능적으로 예시하지만, 프로세서, 컴퓨팅 디바이스, 또는 메모리는 사실은 동일한 물리적 하우징 내에 격납될 수 있거나 그렇지 않을 수 있는 다수의 프로세서, 컴퓨팅 디바이스, 또는 메모리를 포함할 수 있다는 것이 본 기술분야의 통상의 기술자들에게 이해될 것이다. 예를 들어, 메모리는 컴퓨팅 디바이스들(110)과 상이한 하우징에 위치한 하드 드라이브 또는 다른 저장 매체일 수 있다. 따라서, 프로세서 또는 컴퓨팅 디바이스에 대한 언급들은 병행하여 동작할 수 있거나 그렇지 않을 수 있는 프로세서들 또는 컴퓨팅 디바이스들 또는 메모리들의 컬렉션에 대한 언급들을 포함하는 것으로 이해될 것이다.
컴퓨팅 디바이스들(110)은 위에 설명된 프로세서 및 메모리뿐만 아니라 사용자 입력(150)(예를 들어, 마우스, 키보드, 터치 스크린 및/또는 마이크로폰) 및 다양한 전자 디스플레이들(예를 들어, 스크린을 갖는 모니터 또는 정보를 디스플레이하도록 동작가능한 임의의 다른 전기 디바이스)과 같이 컴퓨팅 디바이스와 관련하여 통상적으로 사용되는 모든 컴포넌트들을 포함할 수 있다. 이 예에서, 차량은 정보 또는 시청각 경험들을 제공하기 위해 내부 전자 디스플레이(152)뿐만 아니라 하나 이상의 스피커(154)를 포함한다. 이와 관련하여, 내부 전자 디스플레이(152)는 차량(100)의 객실 내에 위치할 수 있고 차량(100) 내의 승객들에게 정보를 제공하기 위해 컴퓨팅 디바이스들(110)에 의해 사용될 수 있다.
컴퓨팅 디바이스들(110)은 아래에 상세히 설명되는 클라이언트 컴퓨팅 디바이스들 및 서버 컴퓨팅 디바이스들과 같은, 다른 컴퓨팅 디바이스들과의 통신을 가능하게 하기 위해 하나 이상의 무선 네트워크 접속(156)을 또한 포함할 수 있다. 무선 네트워크 접속들은 블루투스, 블루투스 저 에너지(LE), 셀룰러 접속들과 같은 근거리 통신 프로토콜들뿐만 아니라 인터넷, 월드 와이드 웹(World Wide Web), 인트라넷들, 가상 사설 네트워크들, 광역 네트워크들, 로컬 네트워크들, 하나 이상의 회사 전용의 통신 프로토콜들을 이용하는 사설 네트워크들, 이더넷, WiFi 및 HTTP, 및 전술한 것들의 다양한 조합을 포함하는 다양한 구성 및 프로토콜을 포함할 수 있다.
일 예에서, 컴퓨팅 디바이스들(110)은 차량(100) 내에 통합된 자율 주행 컴퓨팅 시스템일 수 있다. 자율 주행 컴퓨팅 시스템은 완전 자율 주행 모드 및/또는 반자율 주행 모드에서 차량(100)을 조종하기 위해 차량의 다양한 컴포넌트들과 통신할 수 있다. 예를 들어, 도 1로 돌아가서, 컴퓨팅 디바이스들(110)은 메모리(130)의 명령어들(132)에 따라 차량(100)의 움직임, 속도 등을 제어하기 위해 감속 시스템(160), 가속 시스템(162), 조향 시스템(164), 시그널링 시스템(166), 내비게이션 시스템(168), 위치확인 시스템(170), 인식 시스템(172), 및 전력 시스템(174)(예를 들어, 가솔린 또는 디젤 동력 모터 또는 전기 엔진)과 같은, 차량(100)의 다양한 시스템들과 통신할 수 있다. 다시, 비록 이들 시스템은 컴퓨팅 디바이스들(110) 외부에 있는 것으로 도시되어 있지만, 실제로는, 이들 시스템은, 다시 차량(100)을 제어하기 위한 자율 주행 컴퓨팅 시스템으로서, 컴퓨팅 디바이스들(110)에 통합될 수도 있다.
예로서, 컴퓨팅 디바이스들(110)은 차량의 속도를 제어하기 위해 감속 시스템(160) 및 가속 시스템(162)과 상호작용할 수 있다. 유사하게, 조향 시스템(164)은 차량(100)의 방향을 제어하기 위해 컴퓨팅 디바이스들(110)에 의해 사용될 수 있다. 예를 들어, 자동차 또는 트럭과 같이, 차량(100)이 도로 상에서 사용되도록 구성된다면, 조향 시스템은 차량을 회전시키기 위해 바퀴들의 각도를 제어하기 위한 컴포넌트들을 포함할 수 있다. 시그널링 시스템(166)은, 예를 들어, 필요할 때 방향 지시등 또는 브레이크 등을 점등함으로써, 차량의 의도를 다른 운전자들 또는 차량들에 시그널링하기 위해 컴퓨팅 디바이스들(110)에 의해 사용될 수 있다.
내비게이션 시스템(168)은 위치로의 경로를 결정하고 이를 따라가기 위해 컴퓨팅 디바이스들(110)에 의해 사용될 수 있다. 이와 관련하여, 내비게이션 시스템(168) 및/또는 데이터(134)는 상세한 맵 정보, 예를 들어, 도로들의 형상 및 고도, 차선들, 교차로들, 횡단보도들, 속도 제한들, 교통 신호들, 건물들, 표지들, 실시간 교통 정보, 초목, 또는 다른 그러한 물체들 및 정보를 식별하는 매우 상세한 맵들을 저장할 수 있다. 다시 말해서, 이 상세한 맵 정보는 도로들을 포함하는 차량의 예상된 환경의 기하학적 구조뿐만 아니라 해당 도로들에 대한 속도 제한 규정들(법정 속도 제한들)을 정의할 수 있다. 또한, 이 맵 정보는 교통 신호등, 정지 표지, 양보 표지 등과 같은 교통 제어들에 관한 정보를 포함할 수 있고, 이는 인식 시스템(172)으로부터 수신된 실시간 정보와 함께, 주어진 위치에서 어느 교통 흐름 방향이 통행권을 갖는지를 결정하기 위해 컴퓨팅 디바이스들(110)에 의해 사용될 수 있다.
인식 시스템(172)은 다른 차량, 도로 내의 장애물, 교통 신호, 표지, 나무 등과 같은 차량의 외부에 있는 물체들을 검출하기 위한 하나 이상의 컴포넌트를 또한 포함한다. 예를 들어, 인식 시스템(172)은 하나 이상의 LIDAR 센서, 소나 디바이스, 마이크로폰, 레이더 유닛, 카메라 및/또는 컴퓨팅 디바이스(110)에 의해 처리될 수 있는 데이터를 기록하는 임의의 다른 검출 디바이스를 포함할 수 있다. 인식 시스템의 센서들은 물체들 및 그들의 특성들 예컨대 위치, 방위, 크기, 형상, 유형, 방향 및 움직임 속도 등을 검출할 수 있다. 전술한 특성들 및/또는 센서들로부터의 원시 데이터는 기술적 함수 또는 벡터로 정량화되거나 배열되고 컴퓨팅 디바이스들(110)에 의한 추가 처리를 위해 전송될 수 있다. 아래에 더 상세히 논의된 바와 같이, 컴퓨팅 디바이스들(110)은 위치확인 시스템(170)을 이용하여 차량의 위치를 결정하고 인식 시스템(172)을 이용하여 안전하게 위치에 도달하기 위해 필요할 때 물체들을 검출하고 그에 응답할 수 있다.
도 2는 차량(100)의 예시적인 외부 뷰이다. 위에 언급된 바와 같이, 인식 시스템(172)은 다양한 위치들에서 차량 상에 장착될 수 있는 하나 이상의 카메라와 같은 하나 이상의 센서를 포함할 수 있다. 이 예에서, 카메라(200)(다수의 카메라를 나타낼 수 있음)가 차량의 앞유리(204) 바로 뒤에 장착된다. 이 배치는 카메라들이 차량의 전방의 환경의 상당 부분을 캡처할 수 있게 한다. 또한, 차량(100)의 루프 패널(212) 상에 위치한 하우징(210)은 하우징 내에 장착된 하나 이상의 추가적인 카메라를 수용할 수 있다. 하우징 내의 카메라들은 차량의 전방, 차량의 후방, 및/또는 차량의 "운전자" 및 "승객" 측들에서의 이미지들을 캡처하기 위해 상이한 방향들로 배향될 수 있다.
도 3a 및 도 3b는 인식 시스템(172)의 카메라들(300 및 350)의 예시적인 기능 다이어그램들이다. 카메라들(300, 350) 중 하나 또는 둘 다는 카메라(200)의 위치들 중 어느 하나에 또는 하우징(210) 내에 위치할 수 있다. 도시된 바와 같이, 카메라(300)는, 포토다이오드 세트(304)의 동작을 통신 및 제어할 수 있는, 프로세서들(120)과 유사하게 구성된, 하나 이상의 프로세서를 포함할 수 있는 컨트롤러(302)를 포함한다. 이 구성에서, 카메라에 들어가는 광은 포토다이오드(304)에 도달하기 전에 하나 이상의 필터를 통과한다. 이 예에서, 필터(306)는 적외선 광의 또는 그에 가까운 파장들을 차단하거나 필터링하기 위해 근적외선 필터일 수 있다. 다른 추가적인 필터들이 사용될 수도 있다.
카메라(300)의 동작은 인식 시스템(172)이 차량의 주위 환경의 이미지들을 캡처하는 것뿐만 아니라 발광 물체들뿐만 아니라 비발광 물체들을 처리 및 식별하는 것을 가능하게 할 수 있다. 위에 언급한 바와 같이, 인식 시스템(172)에 그러한 물체들의 가장 유용한 이미지들을 제공하기 위해, 카메라(300)의 노출 시간은 매우 짧도록 선택될 수 있다. 예를 들어, 전형적인 일광 시간 동안, 카메라(300)를 이용하여 이미지들을 캡처할 때의 주변 조명은 일반적으로 매우 밝고, 따라서 선택되는 노출 시간은 전형적으로 매우 짧거나 대략 수 마이크로초, 예를 들어, 1 내지 50 마이크로초이다.
일부 경우에, 카메라(300)는 인식 시스템(172) 및/또는 컴퓨팅 디바이스들(110)이 비-방출성(빛 노출 이미지를 이용하여) 및 광 방출성 물체들의 어둠 노출 이미지 모두를 식별할 수 있게 하기 위해 "빛" 노출 이미지들 및 "어둠" 노출 이미지들 모두를 캡처하기 위해 사용될 수 있다. 그렇게 하기 위해, 제1 이미지를 컨트롤러(302)에 의해 처리하여, 예를 들어, 셔터 시간에 대한 로그 제어 및 이득 값에 대한 선형 제어를 이용하여, 환경 내의 평균 광량(미리 결정된 범위 내)을 캡처하기 위한 노출 값을 결정한다. 이 노출 값은 그 후 빛 노출 이미지를 캡처하기 위해 사용된다. 그 후 동일한 카메라를 이용하여 어둠 노출 이미지를 캡처하기 위해 셔터 시간 및 이득과 같은 하나 이상의 카메라 설정에 고정된 오프셋 값이 추가(또는 곱하기 위해 사용)될 수 있다. 이 프로세스는 아래에 더 논의되는 도 4의 예에 도시된 바와 같이 카메라가 일련의 밝은 및 어둠 노출 이미지들을 캡처하기 위해 사용되도록 계속될 수 있다. 따라서, 카메라(300)의 노출 시간은 주변 조명 조건들에 따라 가변적이고, 예를 들어, 수 마이크로초만큼 작은 것부터 수 밀리초, 예를 들어, 10 밀리초까지의 범위에 있을 수 있다. 이 상한 한계는 움직이는 차량에서 카메라가 사용되는 것에 의해 야기되는 모션 블러를 제한하기 위해 유용할 수 있다.
위에 언급한 바와 같이, 카메라(300)가 매우 짧은 광 펄스를 갖는 물체의 이미지를 샘플링하려고 시도하고 있다면, 수 마이크로초의 시간 범위 내에 해당 광 펄스를 이미징할 가능성은 낮다. 예를 들어, 미국에서 전력 그리드에 의해 전력을 공급받는 교통 신호등 또는 임의의 조명의 예를 이용하여, 전력 그리드 주파수는 사이클의 중간에서 교통 신호등이 그의 최대에 있는 8.33ms의 2개의 반주기를 갖는 60Hz(16.66ms)일 것이다. 다시 말해서, 도 4의 예시적인 플롯에 도시된 바와 같이 8.33 밀리초마다 최대 광 이벤트가 존재한다. 또한, 사이클의 25% 동안 85%보다 많은 광이 생성된다(예를 들어, 파선(410) 위의 광 펄스의 부분). 따라서, 대략 1 마이크로초의 노출로는, 충분한 광을 제공할 사이클의 일부 부분 동안 또는 최대에서 교통 신호등의 이미지를 캡처할 가능성은 매우 낮다(예를 들어, 시간의 대략 25%는 자율 주행 모드에서 차량을 안전하게 제어하기 위한 목적으로는 불충분하고 비효율적일 것이다). 그에 따라, 아래에 더 논의되는 카메라(350)는 또한 그러한 펄스 조명된 광들을 캡처하기 위해 사용될 수 있다.
전력 그리드 주파수에 따라 깜박거리는 광들과 마찬가지로, PWM 광들도 짧은 노출 시간들로는 분간하기가 어려울 수 있다. 위에 언급한 바와 같이, PWM인 LED들은 브레이크 등, 방향 지시등, 후진등, 일부 전조등 및 주간 주행등뿐만 아니라, LED 정보 도로 표지(예를 들어, 공사 안내 표지, 가변 속도 제한 표지, 가변 교통 흐름 방향 표지 등)뿐만 아니라 인식 시스템이 직면할 수 있는 다양한 다른 유형의 조명들에서 일반적으로 사용된다. 예를 들어, PWM 광들은 또한, 전형적으로 대략 10%의 온-분율(on-fraction)로 약 100-110Hz의 주파수들에서 동작하는 매우 짧은 광 펄스들을 가진다(비록 그러한 주파수들은 10% 미만에서 80%까지의 듀티 사이클들로 80Hz에서 400Hz까지 광범위하게 변화할 수 있지만). 예로서, 브레이크 등이 도 5의 예시적인 플롯에 도시된 바와 같이 10% 온-분율로 100Hz의 주파수를 사용한다면, 1 밀리초의 광의 펄스가 방출되고, 이어서 광이 없는 9 밀리초가 뒤따르고, 그 후 다른 1 밀리초의 광, 광이 없는 9 밀리초가 뒤따르고, 등등이다. 따라서, 카메라(300)가 노출을 캡처하는 때에 따라, 1 밀리초 동안에 광이 이미지에서 나타날 것이고, 다음 9에서는, 브레이크 등으로부터의 광이 없을 것이다. 다시, 이는 단일 또는 작은 이미지 세트로부터 브레이크 등의 상태를 결정하는 것을 어렵게 만들고 일부 경우에는 불가능하게 만든다. 그에 따라, 카메라(350)는 또한 그러한 펄스 조명된 광들을 캡처하기 위해 사용될 수 있다.
이는 카메라(300)가 LED들로 형성된 텍스트를 포함하는 라이트 업 도로 표지(light up road sign)의 이미지를 캡처하고 있는 경우 특히 문제가 될 수 있다. 카메라(300)에 의해 캡처된 이미지들 내의 텍스트는 노출 동안에만 부분적으로 보일 것이고, 단일 이미지로부터 또는 심지어 시간 경과에 따라 캡처된 일련의 이미지들을 결합함으로써 텍스트를 식별하는 것을 극도로 어렵게 만든다. 이는 텍스트를 위해 LED들을 사용하는 많은 표지들이 PWM 사이클의 상이한 부분들에 대해 조명된 텍스트의 상이한 부분들을 갖기 때문이다. 다시 말해서, LED들의 하나의 서브세트는 사이클의 처음 10%, 사이클의 두 번째 10% 내의 다른 서브세트 등에서 점등될 수 있다. 그에 따라, 임의의 주어진 시간에 텍스트의 1/10만이 조명된다.
예를 들어, 도 6a는 상당히 밝은 일광 주변 조명 조건들에 대해 사용되는 대략 수 마이크로초의 짧은 노출 시간이 어떻게 PWM 광들을 사용하는 텍스트를 갖는 조명된 표지들을 인코히어런트하게 하고 차량의 인식 시스템(172) 및/또는 컴퓨팅 디바이스들(110)에 의해 해독하는 것을 불가능하게 할 수 있는지를 예증한다. 이 예에서, 카메라(300)(짧은 노출 시간을 갖고 ND 필터는 없음)와 유사하게 구성된 카메라에 의해 캡처된 일련의 12개의 이미지는 조명된 PWM 광들, 여기서 LED들로 형성된 텍스트를 갖는 교통 표지를 묘사한다. 위의 예에서 논의된 바와 같이, 상부 6개의 이미지는 비방출성 물체들을 식별하기 위해 빛 노출 이미지(602)로서 캡처되는 반면, 하부 6개의 이미지는 방출성 물체들을 식별하기 위해 어둠 노출 이미지(604)로서 캡처된다. 그러나, 알 수 있는 바와 같이, 표지가 조명되는 것은 명백하지만, 텍스트는 인코히어런트하다. 그에 따라, 카메라(350)는 또한 그러한 펄스 조명된 광들을 캡처하기 위해 사용될 수 있다.
도 3b에 도시된 바와 같이, 카메라(350)는 포토다이오드 세트(354)의 동작을 통신 및 제어할 수 있는, 컨트롤러(302)에 필적하는, 컨트롤러(352)를 포함한다. 이 구성에서, 카메라에 들어가는 광은 포토다이오드(304)에 도달하기 전에 하나 이상의 필터를 통과한다. 이 예에서, 제1 필터(356)는 적외선 광의 또는 그에 가까운 파장들을 차단하거나 필터링하기 위해 근적외선 필터일 수 있고, 제2 필터(358)는 ND 필터일 수 있다. ND 필터는 특정한 시간 프레임에 카메라의 노출 시간을 튜닝하기 위해 선택될 수 있다. 예를 들어, 카메라(350)에 대한 10 밀리초 노출 시간을 달성하기 위해, ~1% ND 필터가 사용될 수 있다. 이는 카메라(350)가 카메라(300)로부터의 노출 시간을 대략 100배 이상 또는 이하만큼 효과적으로 증가시키면서도 차량의 환경의 유용한 이미지들을 제공할 수 있게 한다. 이와 관련하여, 원하는 노출 시간은 ND 필터의 유형을 결정하기 위해 사용될 수 있다.
ND 필터를 사용하는 것은 추가 광을 필터링 제거함으로써 더 긴 노출 시간을 허용한다. 다시 말해서, 카메라(350)의 노출 시간은 카메라(300)보다 훨씬 더 크면서도 물체들의 유용한 이미지들을 캡처할 수 있다. 예로서, 노출 시간은 예를 들어 1 내지 20 밀리초 또는 그 사이의 시간들, 예컨대 적어도 5 또는 10 밀리초와 같은, 대략 수 밀리초일 수 있다. 도 7a 및 도 7b는 둘 다 예를 들어 대략 수 밀리초의 더 긴 노출 시간을 이용하여 컬러 녹색으로 조명되는 한 쌍의 교통 신호등(730, 732)의 동일한 이미지를 예증한다. 도 7a의 이미지(710)는 ND 필터 없이 캡처되는 반면 도 7b의 이미지(720)는 예를 들어, 카메라(350)와 유사하게 구성된 카메라를 이용하여 ND 필터로 캡처된다. 교통 신호등들(730, 732) 각각은 이해의 용이함을 위해 백색 원에 의해 식별되지만, 이들 원은 이미지들 자체의 일부가 아니다. 알 수 있는 바와 같이, 이미지들(710 및 720)은 ND 필터의 사용이 어떻게 다른 정보(또는 다른 광)의 대부분을 제거하여, 뷰어, 및 차량의 인식 시스템(172)이 조명된 교통 신호등들을 더 쉽게 선택할 수 있게 하는지를 예증한다. 비록 흑색 및 백색 이미지들로부터 보이지는 않지만, ND 필터는 또한 광의 컬러를 보존한다. 예를 들어, 이미지(710)에서, 교통 신호등들은 녹색 헤일로와 함께 백색으로 나타나는 반면, 이미지(720)에서, 교통 신호등들은 녹색 원들로서 나타난다.
전력 그리드 교통 신호등의 예로 돌아가서, 8.33 밀리초마다 최대 광 이벤트가 있고 카메라(350)의 노출 시간이 10 밀리초인 경우, 카메라(350)는, 10 밀리초 노출 시간을 이용하여, 도 4, 도 7a 및 도 7b에 도시된 바와 같이 조명된 교통 신호등을 매우 잘 캡처할 가능성이 있다. 10ms 노출 시간이 어디에서 시작되든지(상이한 10 밀리초의 예시적인 노출 시간들에 의해 도시됨), 카메라(350)는 상당한 양의 광을 캡처할 수 있고, ND 필터는 교통 신호등을 식별하는 데 필요하지 않은 다른 정보(또는 추가 광)를 제거한다. 유사하게, PWM 브레이크 등의 예에서, 브레이크 등이 10% 온-분율로 100Hz에서의 펄싱하는 경우, 카메라(350)는, 10 밀리초 노출 시간을 이용하여, 도 5에 도시된 바와 같이 조명된 브레이크 등을 캡처할 가능성이 있다. 따라서, 전술한 유형의 조명된 광들을 이미징할 가능성은 상당히 증가한다.
도 6b는 ND 필터 없이 그리고 대략 수 마이크로초의 짧은 노출 시간을 이용하여 캡처된 PWM 광들을 사용하는 텍스트를 갖는 조명된 표지의 이미지들과, 대략 수 밀리초의 더 긴 노출 시간을 이용하여 ND 필터로 캡처된 그 동일한 표지의 이미지 간의 비교를 예증한다. 이미지들(610-618 및 620) 각각은 조명된 PWM 광들, 여기서 LED들에 의해 형성된 텍스트를 갖는 동일한 교통 표지를 묘사한다. 도 6a의 예와 마찬가지로, ND 필터 없이 그리고 짧은 노출 시간으로 상당히 밝은 일광 주변 조명 조건들에서 캡처된 교통 표지의 이미지들(610 내지 618)은 그러한 교통 표지들을 인코히어런트하게 하고 차량의 인식 시스템(172) 및/또는 컴퓨팅 디바이스들(110)에 의해 해독하는 것을 불가능하게 할 수 있다. 다시, 이미지들(610 내지 618)은 대략 수 마이크로초의 더 짧은 노출 시간을 갖고 ND 필터가 없는 카메라(300)와 유사하게 구성된 카메라에 의해 캡처되었을 수 있다. 표지의 조명들이 적어도 부분적으로 조명되는 것은 명백하지만, 텍스트는 인코히어런트하다. 이미지(620)는 ND 필터 및 다시 대략 수 밀리초의 더 긴 노출 시간을 갖는 카메라(350)와 유사하게 구성된 카메라에 의해 캡처되었을 수 있다. 이미지(620)의 예에서, 표지의 텍스트는 명확히 판독가능하고, 따라서 예를 들어, OCR 또는 아래에 논의되는 다른 기법들을 이용하여 차량의 인식 시스템에 의해 해독될 가능성이 더 많다.
ND 필터는 가변 ND 필터로서 구현될 수 있다. 예를 들어, ND 필터는 전기적으로 제어가능한 반-투명 LCD일 수 있다.
ND 필터를 갖는 카메라(350)의 구성에 대한 대안으로서, 카메라(350)의 조리개 및/또는 렌즈가 감소될 수 있다. 예를 들어, 카메라(300)는 f/2 조리개를 갖고 ND 필터는 없을 수 있다(여기서 f는 초점 거리를 지칭함). 그러나, ND64 필터와 같은, ND 필터 및 f/2 조리개를 갖는 카메라(350) 대신에, 카메라(350)는 f/16 조리개를 가질 수 있다. f/16 조리개는 8배 더 작은 직경(또는 16/2)을 가지며, 이는 64배(또는 8^2) 더 작은 면적이고 따라서 64배 더 적은 광 투과를 허용한다. 따라서, 이는 ND64 필터와 유사하게 동작할 것이다.
추가적으로 또는 대안적으로, 구경 조리개가 사용될 수 있다. 더 작은 조리개, 렌즈 및/또는 구경 조리개는 원거리 및 근거리의 것들이 동시에 초점이 맞춰지도록 더 양호한 피사계 심도(depth of field)를 제공할 수 있다. 작은 조리개 카메라는 또한 ND 필터와 같은 차광 필터와 함께 또는 차광 필터 없이 사용될 수 있다.
비록 위에 설명된 필터들은 하나로 모든 포토다이오드들에 대한 광을 필터링하는 렌즈들로서 묘사되지만, 다른 필터 구성들이 사용될 수도 있다. 예를 들어, 필터들은 픽셀 레벨에서 구현될 수 있다. 이와 관련하여, 동일한 카메라 내의 포토다이오드들의 상이한 그룹들이 상이한 필터 구성들로 구성될 수 있으며, 따라서 단일 카메라가 양쪽 카메라들(300 및 350)의 구성들을 동시에 허용할 필터 구성들을 포함한다.
예시적인 방법들
위에서 설명되고 도면들에 예시된 동작들에 더하여, 다양한 동작들이 이제 설명될 것이다. 다음의 동작들이 아래에 설명된 정확한 순서로 수행될 필요는 없다는 것을 이해해야 한다. 오히려, 다양한 단계들이 상이한 순서로 또는 동시에 처리될 수 있으며, 단계들이 추가되거나 생략될 수도 있다.
차량이 이동함에 따라, 인식 시스템(172)의 센서들은 차량의 환경을 샘플링할 수 있다. 카메라들(300 및 350)에 대해 언급하면, 컴퓨팅 디바이스들(110)에 의한 처리를 위한 센서 데이터를 생성하기 위해, 컨트롤러들(302 및 352)은 각각의 카메라들의 기능을 제어할 수 있다. 이와 관련하여, 컨트롤러들은 카메라들 각각이 가변 또는 고정된 노출 시간들을 이용하여 차량의 환경의 이미지들을 캡처하게 할 수 있다.
카메라(300)의 경우에, 이 노출 시간은 위에서 논의된 바와 같이 주변 조명 조건들에 기초하여 결정될 수 있다. 예를 들어, 제1 카메라의 노출 시간은 위에서 논의된 바와 같이 주변 조명 조건들에 따라 대략 수 마이크로초(예컨대 1, 45, 80, 100, 500, 또는 1 밀리초 바로 아래 또는 그 사이의 시간들)일 수 있고 최대 10 밀리초만큼 길 수 있다. 따라서, 카메라(300)는 차량의 환경의 이미지들을 순차적으로, 그리고 일부 경우에는 주변 조명 조건들과 관련 있는 가변 노출 시간을 이용하여 어둠 노출과 빛 노출 사이에 스위칭함으로써 캡처할 수 있다.
카메라(350)의 경우에, 이 노출 시간은 사용되는 ND 필터의 유형에 기초하여 미리 결정될 수 있다. 위의 예에서와 같이, ~1% ND 필터에 대해, 카메라(350)의 노출 시간은 10 밀리초로 설정될 수 있다. 따라서, 카메라(350)는 10 밀리초 노출 시간을 이용하여 순차적으로 차량의 환경의 이미지들을 캡처할 수 있다. 그러나, 카메라(300)의 가변 노출 시간과 달리, 카메라(350)의 노출 시간은 고정된 값일 수 있다. 다른 예들에서, 카메라(350)의 노출 시간은 변경될 수 있지만, 예를 들어, 인근에 눈부신 햇빛이 있을 때 깜박거리지 않는 교통 신호등을 캡처할 가능성을 증가시키기 위해, 여전히 카메라(300)의 노출 시간보다는 더 길 수 있다.
그 후, 카메라들에 의해 캡처된 이미지들은, 예를 들어, 심층 신경망 분류기를 훈련시키는 것 또는 캐스케이드 분류기 또는 서포트 벡터 머신(SVM)과 같은 상이한 기계 학습 기법을 이용하는 것, 알려진 패턴을 매칭하는 것, 로컬 특징들을 추출하고 이들을 모델에 매칭하는 것, 이미지를 세그먼트화하여 물체를 찾은 것, 특정 컬러를 매칭하는 것, 블롭 검출, 그레이디언트 이미지들 또는 히스토그램들을 비교하는 것 등과 같은, 다양한 알려진 기법들을 이용하여 차량의 환경에서 물체들을 식별하기 위해 처리될 수 있다. 예를 들어, 카메라(300)로부터의 이미지들은 물체들, 예컨대 도로 표시들(예를 들어, 차선들 또는 다른 마커들), 다른 도로 사용자들(예를 들어, 차량, 자전거, 보행자 등), 표지들(예를 들어, 정지 표지, 속도 표지, 공사 표지 등), 콘, 공사 방벽, 도로 상의 외부 물체들(예를 들어, 잔해물, 동물 등), 및 일부 경우에는 조명된 물체들의 위치를 식별하기 위해 사용될 수 있다. 물론, 대략 수 마이크로초의 노출 시간은, 전력 그리드 또는 PWM(예컨대 LED들을 위한)에 따라 깜박거리는 것들과 같은 일부 조명된 물체를 캡처하기에는 너무 짧고, 따라서 이들 이미지에서, 예컨대 이미지들(602 및 604)뿐만 아니라 이미지들(610-618)에서 일부 물체들을 놓칠 수 있다.
다시, 이 문제를 해결하기 위해, 카메라(350)에 의해 캡처된 이미지들은 조명된 물체들, 특히 위에 논의된 바와 같이 전력 그리드 또는 PWM의 주파수로 인해 깜박거리는 것들을 식별하기 위해 처리될 수 있다. 그와 동시에, 도 6b의 이미지(620)에 의해 예증된 바와 같이 카메라(350)로서 구성된 카메라에 의해 캡처된 단일 또는 매우 적은 수의 이미지로부터 그러한 깜박거리는 조명들의 조명된 상태가 분간될 수 있기 때문에, 카메라(300)로서 구성된 카메라에 의해 캡처된 수만 개는 아닐지라도 수천 개의 이미지를 처리하는 것에 비하여, 이는 상당히 많은 처리 능력을 절약할 수 있다. 더욱이, 노출 시간이 더 길 때, 예컨대 10 밀리초에 가까울 때, 카메라(300)가 그러한 깜박거리는 광을 캡처할 수 있는 경우조차도, 조명 조건들이 변화하기 때문에 그리고 카메라(300)의 노출 시간이 가변적이기 때문에, 그러한 깜박거리는 광들을 일관적으로 캡처할 가능성은 매우 낮다. 또한, 컴퓨팅 디바이스들(110)이 실시간으로 운전 결정들을 해야 하는 것을 고려할 때, 이는 카메라(350)에 대해 ND 필터 및 더 긴 고정된(또는 일부 예에서, 가변적인) 노출 시간의 이용을 컴퓨팅 디바이스들(110)이 차량의 환경을 사람이 인식하는 방법과 더 비슷하게 "인식"할 수 있게 하는 믿을 수 없을 정도로 유용한 도구로 만든다.
카메라 자체에 의해 캡처된 이미지들 및/또는 해당 이미지들로부터 식별된 정보는 컴퓨팅 디바이스들(110)이 차량에 대한 운전 결정들을 하는 것을 보조하기 위해 컴퓨팅 디바이스들에 제공될 수 있다. 예를 들어, 교통 신호의 상태, 예를 들어, 끊김 없는 조명 또는 깜박거림(예컨대 깜박거리는 황색 신호등)이 카메라(350)로부터의 이미지들로부터 쉽게 결정될 수 있고 차량이 어떻게 교통 신호등에 응답하는지를 제어하기 위해 사용될 수 있다. 다른 예에서, LED 브레이크 등, LED 헤드램프, 비상 차량의 LED 조명, 또는 다른 차량의 LED 방향 지시등의 상태가 카메라(350)로부터의 이미지들로부터 쉽게 결정될 수 있고 다른 차량이 회전하는 것을 기다리는 것, 다른 차량 주위로 이동하는 것(통과가 가능하다면) 등과 같이 차량(100)이 해당 다른 차량과 어떻게 상호작용할지를 제어하기 위해 사용될 수 있다. 유사하게, 적색 신호일 때 우회전 금지(no-right-on-red) 표지, 공사 안내판, 일부 속도 제한 표지 등과 같이, 텍스트 정보를 제공하기 위해 LED 조명을 이용하는 표지로부터 텍스트는, 예를 들어, 광학 문자 인식 기법들(OCR)을 이용하여, 쉽게 인식될 수 있다. 많은 상황들에서, 컴퓨팅 디바이스(110)가 그러한 텍스트를 "이해"할 수 있게 하는 것은 컴퓨팅 디바이스들이 그러한 LED 조명 표지 상에서 제공된 공사, 공중 안전 통지, 또는 다른 정보에 의해 야기되는 변화하는 환경들에 더 응답하기 쉽게 만들 수 있다. 더욱이, 이미지 중 일부가 동시에 2개의 상이한 카메라에 의해 촬영될 수 있어서, 이미지들을 정렬시키고 그들 사이에 물체들을 매칭시키는 것 등을 하는 것이 상당히 더 간단해진다.
도 8은 본 명세서에 설명된 양태들 중 일부에 따른 예시적인 흐름도(800)이다. 이 예시적인 흐름도는 각각 카메라들(300 및 350)과 같은 제1 및 제2 카메라들을 포함하는 시스템을 참조한다. 이와 관련하여, 제1 카메라는 차량의 환경의 이미지들을 캡처하기 위해 차량(100)과 같은 차량 상에 장착될 수 있다. 제1 카메라는 제1 노출 시간을 갖고 ND 필터가 없고, 여기서 제1 노출은 주변 조명 조건들에 따라 조정되는 가변 노출 시간이다. 제2 카메라도 차량의 환경의 이미지들을 캡처하기 위해 차량 상에 장착될 수 있다. 제2 카메라는 제1 노출 시간 이상인 제2 노출 시간을 갖고 또한 ND 필터를 갖는다. 제2 노출 시간은 고정된(또는 일부 예에서, 가변적인) 노출 시간이다. 시스템은 흐름도(800)의 동작들을 수행하도록 구성될 수 있는, 컴퓨팅 디바이스들(110)의 그리고 컨트롤러들(302, 352)의 프로세서들과 같은 하나 이상의 프로세서를 또한 포함한다. 예를 들어, 블록 810에서, 하나 이상의 프로세서는 제1 카메라 및 제1 노출 시간을 이용하여 이미지들을 캡처한다. 블록 520에서, 하나 이상의 프로세서는 제2 카메라 및 제2 노출 시간을 이용하여 이미지들을 캡처한다. 블록 830에서, 하나 이상의 프로세서는 제2 카메라를 이용하여 캡처된 이미지들을 이용하여 조명된 물체들을 식별한다. 블록 840에서, 하나 이상의 프로세서는 제1 카메라를 이용하여 캡처된 이미지들을 이용하여 물체들의 위치들을 식별한다. 블록 880에서, 하나 이상의 프로세서는 식별된 조명된 물체들 및 식별된 물체들의 위치들을 이용하여 자율 주행 모드에서 차량을 제어한다.
비록 위의 예들은 자율 주행 모드를 갖는 차량들을 제어하는 것과 관련되지만, 위에서 설명된 바와 같이 조명된 물체들을 식별하는 것은 다른 운전 시스템들에도 유용할 수 있다. 예를 들어, 정보는 차량의 인식 시스템이 차량의 환경을 어떻게 인식하고 있는지에 관한 컨텍스트를 제공하기 위해 자율 주행 모드들을 갖는 그러한 차량들 내의 승객들에게 디스플레이하기 위해 제공될 수 있다. 다른 예에서, 정보는 수동 또는 반자율(완전 자율 주행 모드 미만)에서 동작하고 있을 수 있는 차량의 운전자에게 통지들 또는 경고들을 제공하기 위해, 예컨대 운전자가 적색 신호등을 통과하게 될 것이라는 또는 다른 차량이 제동하고 있거나 회전하고 있다는 경고를 제공하기 위해 사용될 수 있다.
달리 언급되지 않는 한, 전술한 대안적인 예들은 상호 배타적이지 않으며, 고유의 이점들을 달성하도록 다양한 조합들로 구현될 수 있다. 위에서 논의된 특징들의 이들 및 다른 변형들 및 조합들이 청구항들에 의해 정의되는 주제를 벗어나지 않고서 이용될 수 있으므로, 전술한 실시예들의 설명은 청구항들에 의해 정의되는 주제의 제한으로서가 아니라 예시로서 받아들여져야 한다. 또한, 본 명세서에 설명된 예들뿐만 아니라, "와 같은", "포함하는" 등의 문구로 된 절들의 제공은 청구항들의 주제를 특정 예들로 제한하는 것으로 해석되어서는 안 된다; 오히려, 예들은 많은 가능한 실시예들 중 하나만을 예시하기 의도된 것이다. 또한, 상이한 도면들에서의 동일한 참조 번호들은 동일하거나 유사한 요소들을 식별할 수 있다.
산업상 적용가능성
본 명세서에 설명된 기술은, 예를 들어, 차량들을 위한 카메라 시스템들을 포함하여, 광범위한 산업상 적용가능성을 향유한다.

Claims (20)

  1. 방법으로서,
    제1 카메라 및 제1 노출 시간을 이용하여 이미지들을 캡처하는 단계 - 상기 제1 카메라는 환경의 이미지들을 캡처하기 위해 장착되고, 상기 제1 카메라는 ND 필터가 없음 -;
    제2 카메라 및 제2 노출 시간을 이용하여 이미지들을 캡처하는 단계 - 상기 제2 카메라는 상기 환경의 이미지들을 캡처하기 위해 장착되고, 상기 제2 노출 시간은 상기 제1 노출 시간 이상이고, 상기 제2 카메라는 ND 필터를 가짐 -;
    상기 제2 카메라를 이용하여 캡처된 상기 이미지들을 이용하여 조명된 물체들을 식별하는 단계; 및
    상기 제1 카메라를 이용하여 캡처된 상기 이미지들을 이용하여 물체들의 위치들을 식별하는 단계
    를 포함하는, 방법.
  2. 제1항에 있어서, 상기 제1 카메라 및 상기 제2 카메라는 각각 근적외선 필터를 포함하는, 방법.
  3. 제1항에 있어서, 상기 제2 노출 시간은 대략 수 밀리초인, 방법.
  4. 제3항에 있어서, 상기 제2 노출 시간은 적어도 5 밀리초이고, 상기 제1 노출 시간은 5 밀리초 이하인, 방법.
  5. 제1항에 있어서, 상기 ND 필터는 상기 제2 노출 시간에 따라 선택되는, 방법.
  6. 제1항에 있어서, 상기 ND 필터는 상기 제2 카메라에 대해 픽셀 레벨에서 구현되는, 방법.
  7. 제1항에 있어서,
    상기 조명된 물체들 중 하나가 깜박거리는지를 결정하는 단계; 및
    상기 식별된 조명된 물체들, 식별된 물체들의 위치들, 및 상기 결정을 이용하여 자율 주행 모드에서 차량을 제어하는 단계를 추가로 포함하는, 방법.
  8. 제1항에 있어서, PWM 광원으로부터의 광을 식별함으로써 조명된 이미지들을 식별하기 위해 상기 제2 카메라의 이미지들을 이용하는 단계를 추가로 포함하는, 방법.
  9. 제1항에 있어서, LED들을 포함하는 복수의 PWM 광원에 의해 생성된 텍스트를 식별함으로써 조명된 이미지들을 식별하기 위해 상기 제2 카메라의 이미지들을 이용하는 단계를 추가로 포함하는, 방법.
  10. 제9항에 있어서, 상기 PWM 광원들의 주파수에 기초하여 상기 제2 노출 시간을 선택하는 단계를 추가로 포함하는, 방법.
  11. 제1항에 있어서, 광원에 전력을 공급하는 전력 그리드에 의해 정의된 레이트로 깜박거리는 상기 광원으로부터의 광을 식별함으로써 조명된 이미지들을 식별하기 위해 상기 제2 카메라의 이미지들을 이용하는 단계를 추가로 포함하는, 방법.
  12. 제11항에 있어서, 상기 전력 그리드에 의해 정의된 레이트에 기초하여 상기 제2 노출 시간을 선택하는 단계를 추가로 포함하는, 방법.
  13. 제1항에 있어서, 상기 제2 노출 시간은 고정된 노출 시간인, 방법.
  14. 제1항에 있어서, 상기 제1 노출 시간은 가변 노출 시간이고, 상기 방법은 주변 조명 조건들에 따라 상기 제1 노출 시간을 조정하는 단계를 추가로 포함하는, 방법.
  15. 제14항에 있어서, 상기 제2 노출 시간은 항상 상기 제1 노출 시간보다 큰, 방법.
  16. 제14항에 있어서, 상기 제2 노출 시간은 가변 노출 시간인, 방법.
  17. 제1항에 있어서, 상기 제2 카메라는 포토다이오드 세트를 포함하고, 상기 ND 필터는 광이 상기 포토다이오드 세트에 도달하기 전에 상기 광을 필터링하도록 배열되고, 상기 방법은, 이미지를 캡처하기 위해 적어도 5 밀리초의 고정된 노출 시간을 이용하여 상기 포토다이오드 세트를 노출시키는 단계를 추가로 포함하고, 상기 노출 시간은 상기 카메라가 상기 노출 시간 동안 PWM 광원으로부터의 광을 캡처할 수 있게 하고, 상기 PWM 광원은 차량의 환경 내에 위치하는, 방법.
  18. 제17항에 있어서, 광이 상기 포토다이오드 세트에 도달하기 전에 상기 광을 필터링하도록 배열된 근적외선 필터를 이용하는 단계를 추가로 포함하는, 방법.
  19. 제1항에 있어서, 상기 제2 카메라는 포토다이오드 세트를 포함하고, 상기 ND 필터는 광이 상기 포토다이오드 세트에 도달하기 전에 상기 광을 필터링하도록 배열되고, 상기 방법은, 이미지를 캡처하기 위해 적어도 5 밀리초의 고정된 노출 시간을 이용하여 상기 포토다이오드 세트를 노출시키는 단계를 추가로 포함하고, 상기 노출 시간은 광원에 전력을 공급하는 전력 그리드에 의해 정의된 레이트로 깜박거리는 상기 광원으로부터의 광을 상기 카메라가 캡처할 수 있게 하고, 상기 광원은 차량의 환경 내에 위치하는, 방법.
  20. 제19항에 있어서, 광이 상기 포토다이오드 세트에 도달하기 전에 상기 광을 필터링하도록 배열된 근적외선 필터를 이용하는 단계를 추가로 포함하는, 방법.
KR1020207006116A 2017-05-19 2018-05-10 깜박거리는 조명된 물체들을 검출하기 위해 필터들 및 노출 시간들을 이용하는 카메라 시스템들 KR102166367B1 (ko)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201762508467P 2017-05-19 2017-05-19
US62/508,467 2017-05-19
US15/613,546 US10453208B2 (en) 2017-05-19 2017-06-05 Camera systems using filters and exposure times to detect flickering illuminated objects
US15/613,546 2017-06-05
PCT/US2018/032016 WO2018213092A1 (en) 2017-05-19 2018-05-10 Camera systems using filters and exposure times to detect flickering illuminated objects

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020197033412A Division KR102085691B1 (ko) 2017-05-19 2018-05-10 깜박거리는 조명된 물체들을 검출하기 위해 필터들 및 노출 시간들을 이용하는 카메라 시스템들

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020207029037A Division KR102209417B1 (ko) 2017-05-19 2018-05-10 깜박거리는 조명된 물체들을 검출하기 위해 필터들 및 노출 시간들을 이용하는 카메라 시스템들

Publications (2)

Publication Number Publication Date
KR20200024965A KR20200024965A (ko) 2020-03-09
KR102166367B1 true KR102166367B1 (ko) 2020-10-16

Family

ID=64272440

Family Applications (3)

Application Number Title Priority Date Filing Date
KR1020207006116A KR102166367B1 (ko) 2017-05-19 2018-05-10 깜박거리는 조명된 물체들을 검출하기 위해 필터들 및 노출 시간들을 이용하는 카메라 시스템들
KR1020207029037A KR102209417B1 (ko) 2017-05-19 2018-05-10 깜박거리는 조명된 물체들을 검출하기 위해 필터들 및 노출 시간들을 이용하는 카메라 시스템들
KR1020197033412A KR102085691B1 (ko) 2017-05-19 2018-05-10 깜박거리는 조명된 물체들을 검출하기 위해 필터들 및 노출 시간들을 이용하는 카메라 시스템들

Family Applications After (2)

Application Number Title Priority Date Filing Date
KR1020207029037A KR102209417B1 (ko) 2017-05-19 2018-05-10 깜박거리는 조명된 물체들을 검출하기 위해 필터들 및 노출 시간들을 이용하는 카메라 시스템들
KR1020197033412A KR102085691B1 (ko) 2017-05-19 2018-05-10 깜박거리는 조명된 물체들을 검출하기 위해 필터들 및 노출 시간들을 이용하는 카메라 시스템들

Country Status (10)

Country Link
US (4) US10453208B2 (ko)
EP (1) EP3606798B1 (ko)
JP (2) JP6762439B2 (ko)
KR (3) KR102166367B1 (ko)
CN (2) CN113329189B (ko)
AU (2) AU2018270908B2 (ko)
CA (1) CA3064418A1 (ko)
IL (1) IL270477B1 (ko)
SG (2) SG10202011374PA (ko)
WO (1) WO2018213092A1 (ko)

Families Citing this family (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10453208B2 (en) * 2017-05-19 2019-10-22 Waymo Llc Camera systems using filters and exposure times to detect flickering illuminated objects
EP3635622A4 (en) * 2017-06-08 2020-05-27 Zhejiang Dahua Technology Co., Ltd DEVICES AND METHODS FOR PROCESSING TRAFFIC LIGHT IMAGES
CN107948519B (zh) * 2017-11-30 2020-03-27 Oppo广东移动通信有限公司 图像处理方法、装置及设备
US10551847B2 (en) * 2018-02-06 2020-02-04 Here Global B.V. Method, apparatus, and system for machine learning of physical dividers using map data and vehicular sensor data
JP7443366B2 (ja) 2018-08-07 2024-03-05 メタ プラットフォームズ， インク． 画像強調のための人工知能技法
US11091087B2 (en) 2018-09-10 2021-08-17 Lumileds Llc Adaptive headlamp system for vehicles
KR20200069084A (ko) * 2018-12-06 2020-06-16 팅크웨어(주) 도로 제한 속도 판단 방법, 도로 제한 속도 판단 장치, 전자 기기, 컴퓨터 프로그램 및 컴퓨터 판독 가능한 기록 매체
US11107349B2 (en) * 2019-01-31 2021-08-31 AitronX Inc. Sidewalk detection for electric scooters
WO2020195769A1 (ja) * 2019-03-27 2020-10-01 ソニー株式会社 物体検出装置、物体検出システム及び物体検出方法
US10944912B2 (en) 2019-06-04 2021-03-09 Ford Global Technologies, Llc Systems and methods for reducing flicker artifacts in imaged light sources
DE102019209152A1 (de) * 2019-06-25 2020-12-31 Robert Bosch Gmbh Verfahren und Vorrichtung zum sicheren Identifizieren von Objekten in Videobildern
GB2586804B (en) * 2019-09-03 2022-02-16 Jaguar Land Rover Ltd Method and system for mitigating image flicker from strobed lighting systems
US20210211568A1 (en) * 2020-01-07 2021-07-08 Motional Ad Llc Systems and methods for traffic light detection
CN113160590B (zh) * 2020-01-23 2023-02-03 华为技术有限公司 智能汽车的控制方法、装置及相关设备
US11460857B1 (en) * 2020-02-21 2022-10-04 Zoox, Inc. Object or person attribute characterization
CN115867768A (zh) * 2020-06-17 2023-03-28 御眼视觉技术有限公司 用于允许频率检测的双传感器读出通道
KR102435406B1 (ko) 2020-07-03 2022-08-24 현대모비스 주식회사 카메라 내장 램프의 비동기 제어 시스템 및 방법
US11064131B1 (en) * 2020-09-25 2021-07-13 GM Global Technology Operations LLC Systems and methods for proactive flicker mitigation
CN112235515B (zh) * 2020-10-14 2022-08-09 长沙行深智能科技有限公司 具有频闪抑制功能的led光源图像检测方法及装置
US11899468B2 (en) 2020-12-22 2024-02-13 Waymo Llc Sensor for flashing light detection
CN112822365B (zh) * 2020-12-31 2022-10-11 维沃移动通信有限公司 摄像模组、电子设备及其控制方法、装置
US20240020988A1 (en) * 2021-04-20 2024-01-18 Baidu Usa Llc Traffic light detection and classification for autonomous driving vehicles
KR102399803B1 (ko) * 2021-07-23 2022-05-19 김선화 이동 객체 인식 장치를 이용한 차량번호 식별 및 인식이 가능한 cctv 시스템
KR102465190B1 (ko) * 2021-11-17 2022-11-09 주식회사 에스씨 야간항해용 어라운드뷰 장치

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20010038414A1 (en) 1997-01-28 2001-11-08 Hofer Gregory V. Brightness control for auto-focus in an optical system
US20140232900A1 (en) 2011-10-11 2014-08-21 Sony Ericsson Mobile Communications Ab Light sensitive, low height, and high dynamic range camera
US20150341620A1 (en) 2014-05-23 2015-11-26 Lg Electronics Inc. Stereo camera and driver assistance apparatus and vehicle including the same
WO2016180874A1 (en) 2015-05-12 2016-11-17 Connaught Electronics Ltd. Camera for a motor vehicle with at least two optical fibers and an optical filter element, driver assistance system as well as motor vehicle
US20170085912A1 (en) 2012-04-04 2017-03-23 Snell Limited Video sequence processing

Family Cites Families (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE1161112B (de) * 1956-12-27 1964-01-09 Emsig Mfg Company Knopfzufuehrungsvorrichtung fuer Knopfannaehmaschinen
US5070407A (en) 1990-05-11 1991-12-03 Wheeler Ernest E Filter changing mechanism for a video camera
JP3571828B2 (ja) * 1995-10-27 2004-09-29 本田技研工業株式会社 車両用環境認識装置
JP4624594B2 (ja) * 2000-06-28 2011-02-02 パナソニック株式会社 物体認識方法および物体認識装置
JP4005442B2 (ja) 2002-08-07 2007-11-07 富士通株式会社 物体検知方法及び物体検知装置
JP4089711B2 (ja) * 2005-07-08 2008-05-28 コニカミノルタビジネステクノロジーズ株式会社 画像読み取り装置とそれを有する画像形成装置
US7777787B2 (en) * 2005-10-17 2010-08-17 Nokia Corporation Preventing flicker effects in video electronic devices
US9182228B2 (en) * 2006-02-13 2015-11-10 Sony Corporation Multi-lens array system and method
US7579593B2 (en) 2006-07-25 2009-08-25 Panasonic Corporation Night-vision imaging apparatus, control method of the same, and headlight module
WO2009026223A2 (en) * 2007-08-16 2009-02-26 Gentex Corporation Vehicle rearview assembly including a display for displaying video captured by a camera and user instructions
KR101097017B1 (ko) * 2007-11-19 2011-12-20 후지쯔 가부시끼가이샤 촬상 장치, 촬상 방법 및 컴퓨터 판독가능한 기록 매체
US8018525B2 (en) * 2007-12-21 2011-09-13 Nokia Corporation Camera flash module and method for controlling same
JP2009165081A (ja) 2008-01-10 2009-07-23 Panasonic Corp ステレオカメラシステム
JP2009253316A (ja) 2008-04-01 2009-10-29 Panasonic Corp 車載カメラ及びドライブレコーダ
US8692980B2 (en) * 2010-11-01 2014-04-08 Advanced Scientific Concepts, Inc. Flash LADAR collision avoidance system
JP2012142748A (ja) * 2010-12-28 2012-07-26 Sony Corp 撮像制御装置、撮像制御方法及び撮像制御プログラム並びに撮像装置
DE102011077038A1 (de) * 2011-06-07 2012-12-13 Robert Bosch Gmbh Verfahren und Vorrichtung zur Erkennung von Objekten in einem Umfeld eines Fahrzeugs
US20120314069A1 (en) * 2011-06-08 2012-12-13 Delphi Technologies, Inc. Vehicle optical sensor system
JP5409829B2 (ja) * 2012-02-17 2014-02-05 キヤノン株式会社 画像処理装置、撮像装置、画像処理方法、および、プログラム
JP6197291B2 (ja) * 2012-03-21 2017-09-20 株式会社リコー 複眼カメラ装置、及びそれを備えた車両
JP2014153167A (ja) * 2013-02-07 2014-08-25 Nidec Elesys Corp 物体認識装置、物体認識方法及び物体認識プログラム
JP6156724B2 (ja) 2013-03-14 2017-07-05 株式会社リコー ステレオカメラ
US9800794B2 (en) * 2013-06-03 2017-10-24 Magna Electronics Inc. Vehicle vision system with enhanced low light capabilities
KR101353052B1 (ko) * 2013-07-31 2014-01-20 주식회사 피엘케이 테크놀로지 교통표지판 인식을 위한 차량용 영상인식시스템
US9654738B1 (en) 2013-08-07 2017-05-16 Waymo Llc Using multiple exposures to improve image processing for autonomous vehicles
US9609236B2 (en) * 2013-09-16 2017-03-28 Kyle L. Baltz Camera and image processing method
KR101631439B1 (ko) 2014-05-29 2016-06-17 엘지전자 주식회사 카메라, 및 이를 구비한 차량
US20160180874A1 (en) * 2014-12-22 2016-06-23 Ming Chi University Of Technology Hard magnetic alloy thin film used in high density perpendicular magnetic recording medium
WO2016104235A1 (ja) 2014-12-26 2016-06-30 コニカミノルタ株式会社 ステレオ撮像装置及び移動体
JP6657925B2 (ja) * 2015-06-04 2020-03-04 ソニー株式会社 車載カメラ・システム並びに画像処理装置
JP2018017875A (ja) * 2016-07-27 2018-02-01 ブラザー工業株式会社 画像形成装置およびドラムカートリッジ
US10453208B2 (en) * 2017-05-19 2019-10-22 Waymo Llc Camera systems using filters and exposure times to detect flickering illuminated objects
US10757320B2 (en) * 2017-12-28 2020-08-25 Waymo Llc Multiple operating modes to expand dynamic range
US20190243376A1 (en) * 2018-02-05 2019-08-08 Qualcomm Incorporated Actively Complementing Exposure Settings for Autonomous Navigation

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20010038414A1 (en) 1997-01-28 2001-11-08 Hofer Gregory V. Brightness control for auto-focus in an optical system
US20140232900A1 (en) 2011-10-11 2014-08-21 Sony Ericsson Mobile Communications Ab Light sensitive, low height, and high dynamic range camera
US20170085912A1 (en) 2012-04-04 2017-03-23 Snell Limited Video sequence processing
US20150341620A1 (en) 2014-05-23 2015-11-26 Lg Electronics Inc. Stereo camera and driver assistance apparatus and vehicle including the same
WO2016180874A1 (en) 2015-05-12 2016-11-17 Connaught Electronics Ltd. Camera for a motor vehicle with at least two optical fibers and an optical filter element, driver assistance system as well as motor vehicle

Also Published As

Publication number Publication date
KR20200119902A (ko) 2020-10-20
US11341667B2 (en) 2022-05-24
EP3606798A1 (en) 2020-02-12
US10776938B2 (en) 2020-09-15
JP2020522907A (ja) 2020-07-30
SG10202011374PA (en) 2021-01-28
US20180336692A1 (en) 2018-11-22
AU2020202907A1 (en) 2020-05-21
IL270477B1 (en) 2024-04-01
JP6762439B2 (ja) 2020-09-30
AU2018270908B2 (en) 2020-02-20
CN113329189B (zh) 2023-12-01
US10453208B2 (en) 2019-10-22
WO2018213092A1 (en) 2018-11-22
SG10202107757SA (en) 2021-08-30
CN110678374B (zh) 2021-07-06
US20200005477A1 (en) 2020-01-02
KR102085691B1 (ko) 2020-03-06
AU2018270908A1 (en) 2019-11-28
KR20190130057A (ko) 2019-11-20
CN113329189A (zh) 2021-08-31
IL270477A (ko) 2020-01-30
CA3064418A1 (en) 2018-11-22
EP3606798B1 (en) 2024-05-01
JP2020202584A (ja) 2020-12-17
EP3606798A4 (en) 2021-01-13
KR102209417B1 (ko) 2021-01-29
US20220254048A1 (en) 2022-08-11
AU2020202907B2 (en) 2021-04-01
JP7053743B2 (ja) 2022-04-12
KR20200024965A (ko) 2020-03-09
US20210012521A1 (en) 2021-01-14
CN110678374A (zh) 2020-01-10

Similar Documents

Publication Publication Date Title
KR102166367B1 (ko) 깜박거리는 조명된 물체들을 검출하기 위해 필터들 및 노출 시간들을 이용하는 카메라 시스템들
JP7210589B2 (ja) ダイナミックレンジを拡大するための複数の動作モード
EP3036132B1 (en) Vehicle imaging system and method for distinguishing reflective objects from lights of another vehicle
CN107972569B (zh) 车灯组控制方法、装置、系统及车辆
US20190041038A1 (en) Dynamic control of vehicle lamps during maneuvers
EP1513103A3 (en) Image processing system and vehicle control system
KR101848451B1 (ko) 차량 후미등과 점멸 적색 정지등을 구별하기 위한 차량 촬상 시스템 및 방법
US20180126907A1 (en) Camera-based system for reducing reflectivity of a reflective surface
CN112078475A (zh) 鉴于对交通状态而言重要的对象辅助驾驶员的方法和车辆
US9511708B2 (en) Method and system for imaging an external scene by employing a custom image sensor
CN111216636A (zh) 行驶控制装置、控制方法以及存储程序的存储介质
US11670005B2 (en) Low-light camera occlusion detection
US10217006B2 (en) Method and device for detecting objects in the dark using a vehicle camera and a vehicle lighting system
US20230022313A1 (en) Object detection system for a motor vehicle

Legal Events

Date Code Title Description
A107 Divisional application of patent
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right