KR20210034097A - 자율주행 차량들을 위한 카메라 평가 기술들 - Google Patents

자율주행 차량들을 위한 카메라 평가 기술들 Download PDF

Info

Publication number
KR20210034097A
KR20210034097A KR1020217007965A KR20217007965A KR20210034097A KR 20210034097 A KR20210034097 A KR 20210034097A KR 1020217007965 A KR1020217007965 A KR 1020217007965A KR 20217007965 A KR20217007965 A KR 20217007965A KR 20210034097 A KR20210034097 A KR 20210034097A
Authority
KR
South Korea
Prior art keywords
image
camera
feature vector
similarity score
vehicle
Prior art date
Application number
KR1020217007965A
Other languages
English (en)
Other versions
KR102448358B1 (ko
Inventor
칼 워런 크래덕
안드레아스 웬델
샤오샹 후
Original Assignee
웨이모 엘엘씨
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 웨이모 엘엘씨 filed Critical 웨이모 엘엘씨
Publication of KR20210034097A publication Critical patent/KR20210034097A/ko
Application granted granted Critical
Publication of KR102448358B1 publication Critical patent/KR102448358B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H04N17/002—Diagnosis, testing or measuring for television systems or their details for television cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/0007—Image acquisition
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/09—Taking automatic action to avoid collision, e.g. braking and steering
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/14—Adaptive cruise control
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0088—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots characterized by the autonomous decision making process, e.g. artificial intelligence, predefined behaviours
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/98—Detection or correction of errors, e.g. by rescanning the pattern or by human intervention; Evaluation of the quality of the acquired patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/57—Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/144—Movement detection
    • H04N5/2257—
    • H04N5/247—
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B60W2420/42—
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Y—INDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
    • B60Y2300/00—Purposes or special features of road vehicle drive control systems
    • B60Y2300/14—Cruise control
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/22—Cropping
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Automation & Control Theory (AREA)
  • Health & Medical Sciences (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Quality & Reliability (AREA)
  • Medical Informatics (AREA)
  • Game Theory and Decision Science (AREA)
  • Mathematical Physics (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Business, Economics & Management (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Studio Devices (AREA)

Abstract

본 개시내용은 2개 이상의 카메라(310, 320, 410, 420, 430)의 동작을 평가하는 것에 관한 것이다. 이러한 카메라들은 자율주행 모드를 갖는 차량(100)의 인식 시스템(172)의 카메라들의 그룹(300, 400)일 수 있다. 제1 카메라에 의해 캡처된 제1 이미지(500) 및 제2 카메라에 의해 캡처된 제2 이미지(600)가 수신될 수 있다. 제1 이미지에 대한 제1 피쳐 벡터 및 제2 이미지에 대한 제2 피쳐 벡터가 생성될 수 있다. 유사성 점수는 제1 피쳐 벡터 및 제2 피쳐 벡터를 사용하여 결정될 수 있다. 이 유사성 점수는 2개의 카메라의 동작을 평가하기 위해 사용될 수 있고, 적절한 조치가 취해질 수 있다.

Description

자율주행 차량들을 위한 카메라 평가 기술들
관련 출원들에 대한 상호 참조
본 출원은 2018년 8월 20일자로 출원된 출원 번호 제16/105,069호의 혜택을 주장하며, 그것의 개시내용은 본 명세서에 참조로서 포함된다.
인간 운전자를 필요로 하지 않는 차량들과 같은 자율주행 차량들은 승객들 또는 물품들을 하나의 위치로부터 다른 위치로 수송하는 데 도움을 주기 위해 사용될 수 있다. 이러한 차량들은 승객들이 목적지와 같은 소정의 초기 입력을 제공할 수 있고 차량이 스스로 그 목적지까지 조종하는 완전 자율주행 모드로 동작할 수 있다. 따라서, 그러한 차량들은 임의의 주어진 시간에 자율주행 차량의 위치를 결정할 수 있는 것은 물론, 다른 차량, 정지등, 보행자 등과 같은 차량 외부의 객체들을 검출 및 식별할 수 있는 시스템들에 크게 의존할 수 있다. 예를 들어, 이러한 시스템들은 차량의 다양한 위치들에 장착된 레이저 스캐닝 장비 및 카메라들과 같은 센서들을 포함할 수 있다. 따라서, 이러한 센서들의 동작을 실시간으로 평가할 수 있는 능력은 차량이 주행 결정을 할 때, 기능하지 않거나 파편으로 덮인 센서로부터의 센서 데이터에 의존하고 있지 않을 것을 보장하는 데에 중요하다.
본 개시내용의 양태들은 2개의 카메라 또는 그 이상의 동작을 평가하기 위한 방법을 제공한다. 방법은 하나 이상의 프로세서에 의해, 제1 카메라에 의해 캡처된 제1 이미지를 수신하는 단계; 하나 이상의 프로세서에 의해, 제2 카메라에 의해 캡처된 제2 이미지를 수신하는 단계 - 제1 카메라 및 제2 카메라는 중첩 시야를 가짐 - ; 하나 이상의 프로세서에 의해, 제1 이미지에 대한 제1 피쳐 벡터 및 제2 이미지에 대한 제2 피쳐 벡터를 생성하는 단계; 하나 이상의 프로세서에 의해, 제1 피쳐 벡터 및 제2 피쳐 벡터를 사용하여 유사성 점수를 결정하는 단계; 및 하나 이상의 프로세서에 의해, 2개의 카메라의 동작을 평가하기 위해 유사성 점수를 사용하는 단계를 포함한다.
일례에서, 제1 이미지 및 제2 이미지는 상이하게 노출된다. 다른 예에서, 제1 카메라는 ND 필터를 포함하고, 제2 카메라는 ND 필터를 포함하지 않는다. 다른 예에서, 제1 이미지의 노출 기간은 제2 이미지의 노출 기간보다 길다. 다른 예에서, 제1 이미지 및 제2 이미지는 중첩 시야 내의 주어진 위치에서 객체를 캡처하기 위해 미리 결정된 기간 내에 캡처된다. 다른 예에서, 방법은 제1 피쳐 벡터 및 제2 피쳐 벡터를 생성하기 전에, 제1 이미지 및 제2 이미지를 축소하는 단계를 또한 포함한다. 이러한 예에서, 제1 이미지 및 제2 이미지를 축소하는 단계는, 중첩 시야에 대응하는 픽셀들만을 포함하도록 제1 이미지 및 제2 이미지를 자르는 단계를 포함한다. 추가적으로 또는 대안적으로, 제1 이미지 및 제2 이미지를 축소하는 단계는 제1 이미지 및 제2 이미지를 썸네일화하는 단계를 포함한다.
다른 예에서, 제1 피쳐 벡터 및 제2 피쳐 벡터는 시각(time of day)에 더 기초하여 생성된다. 다른 예에서, 제1 피쳐 벡터 및 제2 피쳐 벡터는 발광 객체들에 대응하는 피쳐들만을 포함하도록 생성된다. 다른 예에서, 유사성 점수를 생성하는 단계는 구조 유사성 지수를 사용하는 단계를 포함한다. 다른 예에서, 유사성 점수를 사용하는 단계는 유사성 점수를 임계 값과 비교하는 단계를 포함한다. 다른 예에서, 유사성 점수를 사용하는 단계는 유사성 점수를 시간의 경과에 따라 제1 카메라 및 제2 카메라로부터의 이미지들로부터 생성된 다른 유사성 점수들과 비교하는 단계를 포함한다. 이러한 예에서, 유사성 점수를 다른 유사성 점수와 비교하는 단계는 누적 합계 제어 차트를 사용하는 단계를 포함한다. 다른 예에서, 방법은 평가에 기초하여, 원격 컴퓨팅 디바이스에 지원 요청을 송신하는 단계를 또한 포함하고, 요청은 제1 이미지 및 제2 이미지를 포함한다. 이러한 예에서, 방법은 요청을 송신한 후, 제1 카메라로부터의 업데이트된 이미지 및 제2 카메라로부터의 업데이트된 이미지를 원격 컴퓨팅 디바이스에 송신하는 단계를 또한 포함한다. 추가적으로 또는 대안적으로, 방법은 요청에 응답하여, 차량을 정지시키라는 명령어들을 수신하는 단계; 및 요청에 응답하여 차량을 정지시키는 단계를 또한 포함한다. 다른 예에서, 방법은 제1 카메라 및 제2 카메라 중 하나 또는 둘 다에 대한 클리닝 시스템을 활성화하는 단계를 또한 포함한다. 다른 예에서, 방법은 하나 이상의 프로세서에 의해, 평가에 기초하여 주행 결정을 함으로써, 자율주행 모드에서 차량을 제어하는 단계를 또한 포함한다. 이러한 예에서, 차량을 제어하는 단계는 주행 결정을 할 때 제1 이미지 및 제2 이미지 중 하나 또는 둘 다의 전부 또는 일부를 폐기하는 단계를 포함한다.
다른 예에서, 유사성 점수를 생성하는 단계는 제1 피쳐 벡터 및 제2 피쳐 벡터를 모델에 입력하는 단계를 포함한다. 이러한 예에서, 모델은 결정 트리 모델이다. 추가적으로 또는 대안적으로, 유사성 점수를 생성하는 단계는 제1 이미지에 대한 깊이 데이터, 제2 이미지의 깊이 데이터, 태양의 위치 또는 시각 정보 중 적어도 하나를 포함하는 추가 정보를 입력하는 단계를 더 포함한다.
도 1은 본 개시내용의 양태들에 따른 예시적인 차량의 기능적 다이어그램이다.
도 2는 본 개시내용의 양태들에 따른 도 1의 예시적인 차량의 예시적인 외부도이다.
도 3은 본 개시내용의 양태들에 따른 카메라 그룹의 예이다.
도 4는 본 개시내용의 양태들에 따른 카메라 그룹의 다른 예이다.
도 5는 본 개시내용의 양태들에 따른 예시적인 이미지이다.
도 6은 본 개시내용의 양태들에 따른 다른 예시적인 이미지이다.
도 7은 본 개시내용의 양태들에 따른 예시적인 시스템의 도식적 다이어그램이다.
도 8은 본 개시내용의 양태들에 따른 도 7의 시스템의 기능적 다이어그램이다.
도 9는 본 개시내용의 양태들에 따라 이미지들을 자르고 축소하는 것의 예들이다.
도 10은 본 개시내용의 양태들에 따른 예시적인 이미지이다.
도 11은 본 개시내용의 양태들에 따른 다른 예시적인 이미지이다.
도 12는 본 개시내용의 양태들에 따른 예시적인 흐름도이다.
개요
본 기술은 2개 이상의 카메라의 동작을 평가하는 것, 또는 더 정확하게는 카메라들이 적절하게 기능하고 있는지를 확인하는 것에 관한 것이다. 예를 들어, 카메라가 세상을 적절하게 "보고 있는지" 또는 렌즈 상의 소정의 이물질 파편, 응결, 기능하지 않는 픽셀들 등이 존재하는지를 파악하는 것은 어려울 수 있다. 이는 주행 결정을 하기 위해 그러한 카메라들에 의존하는 자율주행 차량들의 경우 특히 중요할 수 있다.
예를 들어, 자율주행 차량의 인식 시스템은 복수의 카메라 및 다른 센서들을 포함할 수 있다. 카메라들은 예를 들어 상이한 필터들 등과 같은 상이한 구성들을 가질 수 있지만, 주기적으로 이미지들을 캡처하도록 구성될 수 있다. 이러한 카메라들 중 적어도 일부, 및 따라서 캡처된 이미지들 중 일부는 중첩 시야를 가질 수 있다. 중첩 시야를 갖는 한 쌍의 카메라의 기능은 각각의 카메라로부터 캡처된 한 쌍의 이미지를 선택함으로써 검증될 수 있다. 이상적으로, 이러한 이미지들은 중첩 시야 내의 동일한 위치에서 하나 이상의 동일한 객체를 캡처하기 위해 시간 상 매우 가깝게 또는 소정의 미리 결정된 시간 내에 캡처된다.
처리를 단순화하기 위해 이미지들의 크기가 축소될 수 있다. 예를 들어, 이미지들은 크기가 축소될 수 있고, 및/또는 다르게는 중첩 시야에 대응하는 부분들만을 포함하도록 잘릴 수 있다.
다음으로, 축소된 이미지들은 피쳐 벡터들을 생성하기 위해 분석될 수 있다. 따라서, 이러한 피쳐 벡터들은 축소된 이미지들 내의 피쳐들을 표현할 것이다. 다음으로, 이러한 피쳐 벡터들은 유사성 점수, 또는 이들이 서로 얼마나 유사한지를 결정하기 위해 비교될 수 있다. 유사성 점수는 코사인 유사성 측정, 클러스터링 기술들, 다른 벡터 유사성 측정 기술들, 또는 모델을 사용하여 결정될 수 있다.
축소된 이미지들 사이의 유사성이 너무 낮은지, 또는 더 정확하게는 카메라들 중 하나가 오류를 갖거나 폐색되어 있을 가능성이 있을 정도로 이미지들이 너무 상이한지를 결정하기 위해, 유사성 점수들이 임계 값과 비교될 수 있다. 많은 경우들에서, 임계는 예컨대 카메라 렌즈들 중 하나에 서서히 응결이 형성될 때 변화들을 식별하는 데 충분할 수 있다. 그러나, 일부 경우들에서, 임계가 문제를 반드시 식별하지는 않을 수도 있다. 그러한 경우들에서, 갑작스러운 변화들을 식별하기 위해 2개의 카메라로부터의 다수의 이미지의 유사성 점수들이 시간의 경과에 따라 비교될 수 있다.
임계가 충족되는 경우, 또는 갑작스러운 변화가 검출되는 경우, 차량의 컴퓨팅 디바이스들은 카메라들 중 하나 또는 둘 다가 문제를 갖는다고 가정할 수 있다. 그러한 것으로서, 적절한 대응이 취해질 수 있다. 추가로, 이러한 프로세스는 주기적으로, 예컨대 중첩 시야를 갖는 2개의 카메라 사이에서 한 쌍의 이미지가 캡처될 때마다, 또는 그보다 덜 빈번하게 수행될 수 있다.
위에서 언급된 기술은 주변 조명이 양호한 주간 시간들 동안에는 잘 작동하지만, 더 어두운 환경들 또는 야간 환경들에서, 유사성 점수들 및 SSIM은 신뢰불가능하게 될 수 있다. 이러한 시간 동안, 2개의 축소된 이미지 내의 모든 피쳐들을 매칭시키는 대신, 밝은 점들 또는 고휘도 영역들만이 비교될 수 있다. 다시, 이러한 벡터들에 대한 유사성 점수들이 다시 결정될 수 있고, 카메라들 중 하나가 문제를 갖는지를 식별하기 위해 임계와 비교되고/거나 추적될 수 있다. 그 후, 적절한 대응이 취해질 수 있다.
본 명세서에 설명된 특징들은 다양한 조명 조건들 동안 신뢰가능한 카메라 평가를 허용한다. 위에서 언급된 바와 같이, 카메라가 세상을 적절하게 "보고 있는지" 또는 렌즈 상의 소정의 이물질 파편, 응결, 기능하지 않는 픽셀들 등이 존재하는지를 결정하는 것은 엄청나게 어려울 수 있다. 이는 주행 결정을 하기 위해 그러한 카메라들에 의존하는 자율주행 차량들의 경우에서 특히 중요할 수 있다.
예시적인 시스템들
도 1에 도시된 바와 같이, 본 개시내용의 일 양태에 따른 차량(100)은 다양한 컴포넌트들을 포함한다. 본 개시내용의 특정 양태들은 특정 유형들의 차량들과 관련하여 특히 유용하지만, 차량은 자동차, 트럭, 오토바이, 버스, 레저용 차량 등을 포함하지만 이에 제한되지 않는 임의의 유형의 차량일 수 있다. 차량은 하나 이상의 프로세서(120), 메모리(130), 및 범용 컴퓨팅 디바이스들 내에 전형적으로 존재하는 다른 컴포넌트들을 포함하는 컴퓨팅 디바이스들(110)과 같은 하나 이상의 컴퓨팅 디바이스를 가질 수 있다.
메모리(130)는 프로세서(120)에 의해 실행되거나 다른 방식으로 사용될 수 있는 명령어들(132) 및 데이터(134)를 포함하여, 하나 이상의 프로세서(120)에 의해 액세스가능한 정보를 저장한다. 메모리(130)는 하드 드라이브, 메모리 카드, ROM, RAM, DVD 또는 다른 광학 디스크는 물론, 다른 기입가능 또는 판독 전용 메모리들과 같이, 컴퓨팅 디바이스-판독가능한 매체, 또는 전자 디바이스의 도움으로 판독될 수 있는 데이터를 저장하는 다른 매체를 포함하여, 프로세서에 의해 액세스가능한 정보를 저장할 수 있는 임의의 유형일 수 있다. 시스템들 및 방법들은 전술한 것의 상이한 조합들을 포함할 수 있으며, 이에 의해, 명령어들 및 데이터의 상이한 부분들이 상이한 유형들의 매체에 저장된다.
명령어들(132)은 프로세서에 의해 직접적으로(예를 들어, 머신 코드) 또는 간접적으로(예를 들어, 스크립트) 실행될 명령어들의 임의의 세트일 수 있다. 예를 들어, 명령어들은 컴퓨팅 디바이스-판독가능한 매체에 컴퓨팅 디바이스 코드로서 저장될 수 있다. 이와 관련하여, 용어 "명령어들" 및 "프로그램들"은 본 명세서에서 상호교환적으로 사용될 수 있다. 명령어들은 프로세서에 의한 직접 처리를 위해 객체 코드 형식으로 저장되거나, 요청시 해석되거나 미리 컴파일되는 독립 소스 코드 모듈들의 모음들 또는 스크립트들을 포함하는 임의의 다른 컴퓨팅 디바이스 언어로 저장될 수 있다. 이하에서는, 명령어들의 기능들, 방법들 및 루틴들이 더 상세하게 설명된다.
데이터(134)는 명령어들(132)에 따라 프로세서(120)에 의해 검색, 저장 또는 수정될 수 있다. 예를 들어, 청구된 주제는 임의의 특정한 데이터 구조에 의해 제한되지 않지만, 데이터는 컴퓨팅 디바이스 레지스터들 내에서, 관계형 데이터베이스 내에 복수의 상이한 필드 및 레코드를 갖는 테이블, XML 문서들 또는 플랫 파일들로서 저장될 수 있다. 데이터는 또한 임의의 컴퓨팅 디바이스 판독가능한 형식으로 포맷될 수 있다.
하나 이상의 프로세서(120)는 상업적으로 입수가능한 CPU와 같은 임의의 종래의 프로세서일 수 있다. 대안적으로, 하나 이상의 프로세서는 ASIC 또는 다른 하드웨어 기반 프로세서와 같은 전용 디바이스일 수 있다. 도 1은 기능적으로, 컴퓨팅 디바이스들(110)의 프로세서, 메모리 및 다른 요소들을 동일한 블록 내에 있는 것으로서 도시하지만, 본 기술분야의 통상의 기술자는 프로세서, 컴퓨팅 디바이스, 또는 메모리가 실제로 동일한 물리적 하우징 내에 보관되거나 보관되지 않을 수 있는 복수의 프로세서, 컴퓨팅 디바이스, 및 메모리를 포함할 수 있음을 이해할 것이다. 예를 들어, 메모리는 컴퓨팅 디바이스들(110)의 하우징과는 다른 하우징 내에 위치된 하드 드라이브 또는 다른 저장 매체일 수 있다. 따라서, 프로세서 또는 컴퓨팅 디바이스에 대한 언급은 병렬로 동작하거나 동작하지 않을 수 있는 프로세서들 또는 컴퓨팅 디바이스들 또는 메모리들의 모음에 대한 언급을 포함하는 것으로 이해될 것이다.
컴퓨팅 디바이스들(110)은 위에서 설명된 프로세서 및 메모리는 물론, 사용자 입력부(150)(예를 들어, 마우스, 키보드, 터치 스크린 및/또는 마이크로폰), 및 다양한 전자 디스플레이들(예를 들어, 화면을 갖는 모니터, 또는 정보를 디스플레이하도록 동작할 수 있는 임의의 다른 전기 디바이스)과 같은 컴퓨팅 디바이스에 관련하여 통상적으로 사용되는 모든 컴포넌트를 포함할 수 있다. 이 예에서, 차량은 정보 또는 시청각 경험들을 제공하기 위해, 내부 전자 디스플레이(152)는 물론 하나 이상의 스피커(154)를 포함한다. 이와 관련하여, 내부 전자 디스플레이(152)는 차량(100)의 캐빈 내에 위치될 수 있고, 차량(100) 내의 승객들에게 정보를 제공하기 위해 컴퓨팅 디바이스들(110)에 의해 사용될 수 있다.
컴퓨팅 디바이스들(110)은 또한 아래에서 상세하게 설명되는 클라이언트 컴퓨팅 디바이스들 및 서버 컴퓨팅 디바이스들 같은 다른 컴퓨팅 디바이스들과의 통신을 용이하게 하기 위해 하나 이상의 무선 네트워크 연결(156)을 포함할 수 있다. 무선 네트워크 연결들은 블루투스, 블루투스 로우 에너지(LE), 셀룰러 연결과 같은 단거리 통신 프로토콜들은 물론, 인터넷, 월드 와이드 웹, 인트라넷, 가상 사설 네트워크, 광역 네트워크, 로컬 네트워크, 하나 이상의 회사에 독점적인 통신 프로토콜들을 사용하는 사설 네트워크, 이더넷, WiFi 및 HTTP, 및 이들의 다양한 조합들을 포함하는 다양한 구성 및 프로토콜을 포함할 수 있다.
일례에서, 컴퓨팅 디바이스들(110)은 차량(100)에 포함되는 자율주행 컴퓨팅 시스템일 수 있다. 자율주행 컴퓨팅 시스템은 완전 자율주행 모드 및/또는 반자율주행 모드로 차량(100)을 조종하기 위해, 차량의 다양한 컴포넌트들과 통신할 수 있다. 예를 들어, 도 1로 돌아가면, 컴퓨팅 디바이스들(110)은 메모리(130)의 명령어들(132)에 따라 차량(100)의 이동, 속도 등을 제어하기 위해, 감속 시스템(160), 가속 시스템(162), 조향 시스템(164), 시그널링 시스템(166), 내비게이션 시스템(168), 위치결정 시스템(170), 인식 시스템(172), 및 전력 시스템(174)(예를 들어, 가솔린 또는 디젤 구동 모터, 또는 전기 엔진)과 같은 차량(100)의 다양한 시스템들과 통신할 수 있다. 다시, 이러한 시스템들은 컴퓨팅 디바이스들(110)의 외부에 있는 것으로서 도시되어 있지만, 실제로, 이러한 시스템들은 역시 차량(100)을 제어하기 위한 자율주행 컴퓨팅 시스템으로서 컴퓨팅 디바이스(110)에 또한 포함될 수 있다.
예를 들어, 컴퓨팅 디바이스들(110)은 차량의 속도를 제어하기 위해 감속 시스템(160) 및 가속 시스템(162)과 상호작용할 수 있다. 마찬가지로, 조향 시스템(164)은 차량(100)의 방향을 제어하기 위해 컴퓨팅 디바이스들(110)에 의해 사용될 수 있다. 예를 들어, 차량(100)이 자동차 또는 트럭과 같이 도로에서 사용되도록 구성되는 경우, 조향 시스템은 차량을 회전시키기 위해 바퀴들의 각도를 제어하기 위한 컴포넌트들을 포함할 수 있다. 시그널링 시스템(166)은 예를 들어 필요할 때 회전 신호들 또는 브레이크 등을 점등시킴으로써 다른 운전자들 또는 차량들에 차량의 의도를 시그널링하기 위해 컴퓨팅 디바이스들(110)에 의해 사용될 수 있다.
내비게이션 시스템(168)은 위치까지의 루트를 결정하고 따르기 위해 컴퓨팅 디바이스들(110)에 의해 사용될 수 있다. 이와 관련하여, 내비게이션 시스템(168) 및/또는 데이터(134)는 상세한 지도 정보, 예를 들어 도로의 형상 및 높이, 차선 경계선, 교차로, 횡단 보도, 속도 제한, 교통 신호, 건물, 표지판, 실시간 교통 정보, 초목, 또는 다른 그러한 객체들 및 정보를 식별하는 매우 상세한 지도를 저장할 수 있다. 즉, 이러한 상세한 지도 정보는 도로를 포함하는 차량의 예상 환경의 기하형상은 물론, 그러한 도로들에 대한 속도 제한(법적 속도 제한)을 정의할 수 있다. 추가로, 이러한 지도 정보는 교통 신호등, 정지 표시, 양보 표시 등과 같은 교통 통제에 관한 정보를 포함할 수 있으며, 이는 인식 시스템(172)으로부터 수신된 실시간 정보와 함께, 주어진 위치에서 어느 교통 방향이 통행권을 갖는지를 결정하기 위해 컴퓨팅 디바이스들(110)에 의해 사용될 수 있다.
인식 시스템(172)은 또한 다른 차량, 도로 내의 장애물, 교통 신호등 신호, 표지판, 나무 등과 같은 차량 외부 객체들을 검출하기 위한 하나 이상의 컴포넌트를 포함한다. 예를 들어, 인식 시스템(172)은 하나 이상의 LIDAR 센서, 수중 음파검출 디바이스, 레이더 유닛, 카메라, 및/또는 컴퓨팅 디바이스들(110)에 의해 처리될 수 있는 데이터를 기록하는 임의의 다른 검출 디바이스를 포함할 수 있다. 인식 시스템의 센서들은 차량의 외부 환경에서 객체들을 검출할 수 있고, 위치, 배향, 크기, 형상, 유형, 방향, 및 이동 속도 등과 같은 그러한 객체들의 특성들을 설명하는 센서 데이터를 생성할 수 있다. 센서들로부터의 원시 센서 데이터 및/또는 앞서 언급된 특성들은 설명 함수 또는 벡터로 정량화 또는 배열될 수 있고, 추가 처리를 위해 컴퓨팅 디바이스들(110)에 송신될 수 있다. 아래에서 더 상세하게 논의되는 바와 같이, 컴퓨팅 디바이스들(110)은 위치결정 시스템(170)을 사용하여 차량의 위치를 결정하고, 인식 시스템(172)을 사용하여 객체들을 검출하고, 위치에 안전하게 도달하는 데에 필요할 때 그 객체들에 대응할 수 있다.
예를 들면, 도 2는 차량(100)의 예시적인 외부 도면이다. 본 예에서, 루프탑 하우징(210) 및 하우징들(212, 214)은 LIDAR 센서는 물론, 다양한 카메라들 및 레이더 유닛들을 포함할 수 있다. 추가로, 차량(100)의 전단에 위치되는 하우징(220), 및 차량의 운전석 및 조수석 측의 하우징들(230, 232)은 각각 LIDAR 센서를 보관할 수 있다. 예를 들어, 하우징(230)은 운전자 도어(260)의 앞에 위치된다. 차량(100)은 또한 차량(100)의 지붕에 또한 위치되는 레이더 유닛들 및/또는 카메라들을 위한 하우징들(240, 242)을 포함한다. 추가 레이더 유닛들 및 카메라들(도시되지 않음)은 차량(100)의 전단 및 후단에, 및/또는 루프 또는 루프탑 하우징(210)을 따르는 다른 위치들에 위치될 수 있다.
인식 시스템(172)의 카메라들은 차량의 환경 내의 대부분의 지점들을 주기적으로 캡처하는 적어도 2개의 카메라가 존재하도록 차량에 배열될 수 있다. 차량 전방의(즉, 주행 방향의) 일부 지점들은 또한 장거리 카메라들이 "볼" 수 있다. 따라서, 인식 시스템의 각각의 카메라는 평가 목적을 위해 "카메라 그룹" 내의 하나 이상의 다른 카메라와 함께 그룹화될 수 있다.
도 3은 중첩 시야(312, 322)를 갖는 2개의 카메라(310, 320)를 포함하는 카메라 그룹(300)의 예이다. 도 4는 중첩 부분들(302, 402)을 갖는 시야들(412, 422, 432)을 갖는 3개의 카메라(410, 420, 430)를 포함하는 카메라 그룹(400)의 예이다. 그러한 것으로서, 그룹들의 카메라들, 및 따라서 이러한 그룹들에 의해 캡처된 이미지들은 중첩 시야들을 가질 수 있다. 카메라 그룹의 각각의 카메라는 카메라의 렌즈를 청소하기 위해 와이퍼 및/또는 워셔액을 포함할 수 있는 클리닝 시스템(314, 324, 414, 424, 434)을 가질 수 있다. 클리닝 시스템들의 동작은 예를 들어 컴퓨팅 디바이스들(110)에 의해 제어될 수 있다. 각각의 카메라 그룹의 카메라들은 중첩 시야가 일관되게 유지될 것을 보장하기 위해, 서로에 대해, 그리고 차량에 대해 고정될 수 있다.
추가로, 이러한 그룹들 내의 카메라들 각각은 동일하거나 상이한 구성들, 예를 들어 상이한 필터들 등을 가질 수 있다. 일부 경우들에서, 이미지들은 상이하게 노출될 수 있는데, 즉, 이미지들은 상이한 필터링 기술들 및/또는 노출 기간들을 사용하여 캡처될 수 있다. 예를 들어, 도 5 및 도 6의 이미지들(500 및 600)을 참조하면, 하나의 이미지(500)는 제1 노출 기간 동안 ND 필터를 갖는 카메라(310)와 같은 제1 카메라를 사용하여 캡처될 수 있고, 제2 이미지(600)는 제2 노출 기간 동안 ND 필터를 갖지 않는 카메라(320)와 같은 제2 카메라를 사용하여 캡처될 수 있다. 제1 및 제2 노출 시간들은 동일하거나 상이할 수 있으며, 예를 들어, 제2 노출 기간은 제1 노출 기간보다 짧을 수 있다. 예를 들어, 제1 이미지(500)는 교통 신호등(510), 및 차량(520), 및 가능하게는 다른 객체들의 대략적인 윤곽들을 포함할 수 있다. 제2 이미지(600)는 과다 노출된 교통 신호등(510) 및 과다 노출된 차량(520)을 포함할 수 있다.
차량(100)의 컴퓨팅 디바이스(110)는 수송 서비스의 일부인 컴퓨팅 디바이스들은 물론, 그러한 컴퓨팅 디바이스들과 같은 다른 컴퓨팅 디바이스들로부터 정보를 수신하거나 그들에 정보를 전달할 수 있다. 도 7 및 도 8은 각각 네트워크(760)를 통해 연결된 복수의 컴퓨팅 디바이스(710, 720, 730, 740) 및 저장 시스템(750)을 포함하는 예시적인 시스템(700)의 도식적 및 기능적 다이어그램이다. 시스템(700)은 또한 차량(100), 및 차량(100)과 동일하거나 유사하게 구성될 수 있는 차량들(100A, 100B)을 또한 포함한다. 단순함을 위해 단지 몇 개의 차량 및 컴퓨팅 디바이스만이 도시되어 있지만, 전형적인 시스템은 훨씬 더 많이 포함할 수 있다.
도 7에 도시된 바와 같이, 컴퓨팅 디바이스들(710, 720, 730, 740) 각각은 하나 이상의 프로세서, 메모리, 데이터 및 명령어를 포함할 수 있다. 이러한 프로세서, 메모리, 데이터 및 명령어는 컴퓨팅 디바이스(110)의 하나 이상의 프로세서(120), 메모리(130), 명령어(132) 및 데이터(134)와 유사하게 구성될 수 있다.
네트워크(760) 및 중간 노드들은 단거리 통신 프로토콜들, 예컨대 블루투스, 블루투스 LE, 인터넷, 월드 와이드 웹, 인트라넷, 가상 사설 네트워크, 광역 네트워크, 로컬 네트워크, 하나 이상의 회사에 독점적인 통신 프로토콜들을 사용하는 사설 네트워크, 이더넷, WiFi 및 HTTP, 및 이들의 다양한 조합들을 포함하는 다양한 구성 및 프로토콜을 포함할 수 있다. 이러한 통신은 모뎀들 및 무선 인터페이스들과 같이, 다른 컴퓨팅 디바이스들에 데이터를 전송하고 그로부터 데이터를 수신할 수 있는 임의의 디바이스에 의해 용이해질 수 있다.
일례에서, 하나 이상의 컴퓨팅 디바이스(710)는 다른 컴퓨팅 디바이스들에 및 다른 컴퓨팅 디바이스들로부터 데이터를 수신, 처리 및 전송할 목적으로 네트워크의 상이한 노드들과 정보를 교환하는 복수의 컴퓨팅 디바이스를 갖는 하나 이상의 서버 컴퓨팅 디바이스, 예를 들어 로드 밸런스 서버 팜을 포함할 수 있다. 예를 들어, 하나 이상의 컴퓨팅 디바이스(710)는 네트워크(760)를 통해 차량(100)의 컴퓨팅 디바이스(110), 또는 차량(100A)의 유사한 컴퓨팅 디바이스는 물론, 컴퓨팅 디바이스들(720, 730, 740)과 통신할 수 있는 하나 이상의 서버 컴퓨팅 디바이스를 포함할 수 있다. 예를 들어, 차량들(100, 100A)은 서버 컴퓨팅 디바이스들에 의해 다양한 위치들로 보내질 수 있는 차량 무리의 일부일 수 있다. 이와 관련하여, 서버 컴퓨팅 디바이스들(710)은 차량(100) 및 차량(100A)과 같은 차량들이 자율주행 모드로 동작하기 위해 사용할 수 있는 자율주행 제어 소프트웨어를 검증하는 데 사용될 수 있는 검증 컴퓨팅 시스템으로서 기능할 수 있다. 추가로, 서버 컴퓨팅 디바이스들(710)은 컴퓨팅 디바이스들(720, 730, 740)의 디스플레이들(724, 734, 744)과 같은 디스플레이 상에서 사용자(722, 732, 742)와 같은 사용자에게 정보를 전송 및 제시하기 위해 네트워크(760)를 사용할 수 있다. 이와 관련하여, 컴퓨팅 디바이스들(720, 730, 740)은 클라이언트 컴퓨팅 디바이스들로 고려될 수 있다.
도 7에 도시된 바와 같이, 각각의 클라이언트 컴퓨팅 디바이스(720, 730, 740)는 사용자(722, 732, 742)에 의해 사용되도록 의도된 개인용 컴퓨팅 디바이스일 수 있으며, 하나 이상의 프로세서(예를 들어, 중앙 처리 장치(CPU)), 데이터 및 명령어들을 저장하는 메모리(예를 들어, RAM 및 내부 하드 드라이브들), 디스플레이들(724, 734, 744)과 같은 디스플레이(예를 들어, 스크린을 갖는 모니터, 터치스크린, 프로젝터, 텔레비전, 또는 정보를 디스플레이하도록 동작할 수 있는 다른 디바이스), 및 사용자 입력 디바이스들(726, 736, 746)(예를 들어, 마우스, 키보드, 터치스크린 또는 마이크로폰)을 포함하여, 개인용 컴퓨팅 디바이스들과 관련하여 일반적으로 사용되는 컴포넌트들 전부를 가질 수 있다. 클라이언트 컴퓨팅 디바이스들은 비디오 스트림들을 기록하기 위한 카메라, 스피커들, 네트워크 인터페이스 디바이스, 및 이러한 요소들을 서로 연결하는 데 사용되는 컴포넌트들 전부를 또한 포함할 수 있다.
클라이언트 컴퓨팅 디바이스들(720, 730 및 740)은 풀-사이즈의 개인용 컴퓨팅 디바이스를 각각 포함할 수 있지만, 그들은 대안적으로 인터넷과 같은 네트워크를 통해 무선으로 서버와 데이터를 교환할 수 있는 모바일 컴퓨팅 디바이스들을 포함할 수 있다. 오직 예로서, 클라이언트 컴퓨팅 디바이스(720)는 이동 전화, 또는 무선 지원 PDA, 태블릿 PC, 웨어러블 컴퓨팅 디바이스 또는 시스템, 또는 인터넷 또는 다른 네트워크들을 통해 정보를 획득할 수 있는 넷북과 같은 디바이스일 수 있다. 다른 예에서, 클라이언트 컴퓨팅 디바이스(730)는 도 7에 도시된 바와 같이 손목시계로서 도시된 웨어러블 컴퓨팅 시스템일 수 있다. 예로서, 사용자는 작은 키보드, 키패드, 마이크를 사용하여, 카메라와 함께 시각적 신호를 사용하여, 또는 터치 스크린을 사용하여 정보를 입력할 수 있다.
일부 예들에서, 클라이언트 컴퓨팅 디바이스(740)는 차량(100) 및 차량(100A)과 같은 차량들의 컴퓨팅 디바이스들로부터 수신된 지원 요청들에 대응하기 위해, 사용자(742)와 같은 관리자 또는 다른 인간 운영자에 의해 사용되는 운영 워크스테이션일 수 있다. 도 7 및 도 8에는 단일 운영 워크스테이션(740)만이 도시되어 있지만, 임의의 개수의 그러한 워크스테이션이 전형적인 시스템들에 포함될 수 있다. 또한, 운영 워크스테이션은 데스크톱 컴퓨터로서 도시되지만, 운영 작동 워크스테이션들은 랩톱, 넷북, 태블릿 컴퓨터 등과 같은 다양한 유형의 개인용 컴퓨팅 디바이스들을 포함할 수 있다.
메모리(130)와 마찬가지로, 저장 시스템(750)은 하드 드라이브, 메모리 카드, ROM, RAM, DVD, CD-ROM, 기입 가능 및 판독 전용 메모리와 같이, 서버 컴퓨팅 디바이스들(710)에 의해 액세스가능한 정보를 저장할 수 있는 임의의 유형의 컴퓨터화된 저장소일 수 있다. 추가로, 저장 시스템(750)은 동일하거나 상이한 지리적 위치들에 물리적으로 위치될 수 있는 복수의 상이한 저장 디바이스에 데이터가 저장되는 분산 저장 시스템을 포함할 수 있다. 저장 시스템(750)은 도 7 및 도 8에 도시된 바와 같이 네트워크(760)를 통해 컴퓨팅 디바이스들에 연결될 수 있고/있거나 컴퓨팅 디바이스들(110, 710, 720, 730, 740 등) 중 임의의 것에 직접 연결되거나 포함될 수 있다.
예시적인 방법들
위에서 설명되고 도면들에 도시된 동작들에 추가하여, 다양한 동작들이 이하에 설명될 것이다. 이하의 동작들은 이하에 설명되는 정확한 순서로 수행되어야 하는 것은 아님을 이해해야 한다. 오히려, 다양한 단계들은 상이한 순서로 또는 동시에 처리될 수 있으며, 단계들이 또한 추가되거나 생략될 수 있다.
위에서 언급된 바와 같이, 차량(100)이 주행하며 돌아다닐 때, 그것의 인식 시스템(172)은 차량의 환경에서 객체들을 검출하고 식별하기 위해 다양한 센서들을 사용할 수 있다. 다시, 이러한 센서들 중 적어도 일부는 위에서 언급된 카메라 그룹들을 포함할 수 있다. 주어진 카메라 그룹의 카메라들이 적절하게 동작하고 있을 것을 보장하기 위해, 이러한 카메라들의 기능이 평가될 수 있다. 그렇게 하기 위해, 이미지들(500 및 600)과 같은 둘 이상의 이미지가 카메라 그룹(300)(또는 카메라 그룹(400))과 같은 카메라 그룹의 카메라들로부터 컴퓨팅 디바이스들(110)에 의해 수신될 수 있다. 이상적으로, 이러한 이미지들은 중첩 시야 내의 동일한 위치에서 하나 이상의 동일한 객체를 캡처하기 위해 시간 상 매우 가깝게 또는 소정의 미리 결정된 시간 내에 캡처된다.
이미지들의 처리를 단순화하기 위해 이미지들의 크기가 축소될 수 있다. 예를 들어, 컴퓨팅 디바이스들(110)은 예를 들어 썸네일화함으로써, 및/또는 다르게는 중첩 시야에 대응하는 부분들만을 포함하도록 잘라냄으로써, 각각의 이미지의 크기를 축소할 수 있다. 도 9를 보면, 이미지들(500 및 600)은 잘라진 영역들(950, 960)로 잘라질 수 있다. 이러한 잘라진 영역들은 시야들(312 및 322)의 중첩 부분(302)에 대응하는 부분들만을 포함할 수 있다. 다음으로, 잘라진 영역들(950, 960)은 픽셀 수를 감소시키기 위해 축소되거나 썸네일화될 수 있다. 결과는 카메라들(310 및 320)의 시야들의 중첩 부분(302)에 대응하는 픽셀들만을 포함할 수 있는 축소된 이미지들(952 및 962)이다. 이와 관련하여, 축소된 이미지들 둘 다가 동일한 위치에 동일한 객체를 포함할 가능성은 매우 높다. 일부 경우들에서, 원래 해상도의 이미지들을 사용하여 매우 작은 폐색을 검출하기 위해 자르기가 회피될 수 있지만, 이것은 처리가 카메라 정렬에서의 작은 오류들에 더 민감해지게 하는 것은 물론, 시차에 더 민감해지게 할 수 있다.
다음으로, 축소된(또는 축소되지 않은) 이미지들은 피쳐 벡터들을 생성하기 위해 분석될 수 있다. 예를 들어, 축소된 이미지(952)에 대해 제1 피쳐 벡터가 생성될 수 있고, 축소된 이미지(962)에 대해 제2 피쳐 벡터가 생성될 수 있다. 따라서, 이러한 피쳐 벡터들은 축소된 이미지들에서 색상, 가장자리, 밝기, 대비 등과 같은 피쳐들을 표현한다. 일부 경우들에서, 피쳐 벡터들은 이미지들 자체의 픽셀들을 포함할 수 있다.
카메라 그룹으로부터의 축소된 이미지들의 제1 피쳐 벡터들을 사용하여 하나 이상의 유사성 점수가 결정될 수 있다. 예를 들어, 컴퓨팅 디바이스들(110)은 유사성 점수, 또는 이들이 서로 얼마나 유사한지를 결정하기 위해, (카메라 그룹의 상이한 카메라들로부터의 축소된 이미지들의 쌍들로부터의) 피쳐 벡터들의 각각의 쌍을 비교할 수 있다.
유사성 점수는 코사인 유사성 척도, 클러스터링 기술, 또는 다른 벡터 유사성 측정 기술을 사용하여 결정될 수 있다. 예를 들어, 구조 유사성(structure similarity)(SSIM) 지수는 축소된 이미지들에 대한 피쳐 벡터들 사이의 유사성을 측정하고 유사성 점수를 결정하기 위해 사용될 수 있다. 이와 관련하여, 높은 유사성 점수는 2개의 축소된 이미지 사이의 피쳐들의 높은 유사성을 나타내고, 낮은 유사성 점수는 2개의 축소된 이미지 사이의 피쳐들의 낮은 유사성을 나타낼 것이다.
다른 예로서, 유사성 점수는 모델을 사용하여 결정될 수 있다. 사용 시에, 제1 및 제2 피쳐 벡터는 모델에 입력될 수 있으며, 모델은 이미지들의 상이한 부분들(예컨대, 좌측, 우측, 내부 등)이 얼마나 유사한지를 표현하는 유사성 점수 또는 일련의 유사성 점수들을 제공할 수 있다.
모델은 결정 트리 모델, 랜덤 포레스트 모델(random forest model), 신경망, 또는 다른 기계 학습 모델일 수 있다. 의사 결정 트리는 더 정교한 신경망을 트레이닝하기 위한 제한된 데이터가 있는 상황에서 특히 실용적일 수 있다. 모델은 컴퓨팅 디바이스들(110)에 국부적으로, 예를 들어 메모리(130) 내에 저장될 수 있다. 모델은 예를 들어 하나 이상의 서버 컴퓨팅 디바이스(710)에서 오프라인으로 트레이닝된 후, 네트워크(760)를 통해 컴퓨팅 디바이스들(110)에 송신되고/거나 메모리(130)에 직접 로드된다.
모델은 카메라 그룹들(300, 400)의 카메라들(310, 320, 410, 420, 430)과 같은 카메라 그룹들의 카메라들로부터의 이미지들의 실세계 예들을 트레이닝 입력으로서, 그리고 대응하는 유사성 점수들을 트레이닝 출력으로서 사용하여 트레이닝될 수 있다. 트레이닝 목적들을 위해 제한된 수의 네거티브 예가 존재할 수 있기 때문에, 추가적으로 또는 대안적으로, 트레이닝은 장애 주입 기술들(fault injection techniques)을 사용하여, 전형적인 문제들(예를 들어, 장애물, 더러운 렌즈 등)을 갖는 "불량한" 이미지를 다른 양호한 이미지로부터 시뮬레이션하는 것을 포함할 수 있다. 그러면, 다른 양호한 이미지로부터의 피쳐 벡터들은 불량한 이미지로부터의 피쳐와 쌍을 이루게 될 수 있고, 트레이닝 데이터로서 낮은 유사성 점수를 갖는 것으로서 식별될 수 있다. 마찬가지로, 양호한 이미지로부터의 피쳐 벡터는 그 자신과 쌍을 이루게 될 수 있고, 트레이닝 데이터로서 높은 유사성 점수를 갖는 것으로 식별될 수 있다. 물론, 모든 트레이닝과 마찬가지로, 모델을 트레이닝하기 위해 사용되는 트레이닝 데이터 또는 예가 많을수록, 모델에 의해 생성된 유사성 값들의 신뢰도가 더 높아질 것이다.
일부 경우들에서, 모델은 추가 정보와 함께 트레이닝되고 사용될 수 있다. 예를 들어, 제1 이미지에 대한 깊이 데이터, 제2 이미지의 깊이 데이터, 태양의 위치(예를 들어, 이미지들을 캡처한 카메라들에 대한 태양의 각도), 또는 시각(time of day) 정보와 같은 추가 정보가 있다. 깊이 데이터는 인식 시스템(172)의 하나 이상의 LIDAR 센서에 의해 제공된 센서 데이터를 이미지들 각각의 시야(또는 좌표계)에 투영함으로써 생성된 깊이 맵일 수 있다. 예를 들어, 시각은 이미지들을 캡처한 카메라들에 의해 제공될 수 있고, 카메라에 대한 태양의 각도는 메모리(130)에 저장된 시각에 상호관련된 데이터로부터 식별될 수 있다. 즉, 컴퓨팅 디바이스들은 그러한 데이터는 물론, 차량의 현재 위치에 대한, 이미지들을 캡처한 카메라들 중 하나 또는 둘 다의 위치 및 시각을 고려하여, 태양 각도를 결정할 수 있다.
유사성 점수들은 카메라들의 동작을 평가하기 위해 사용될 수 있다. 예를 들어, 컴퓨팅 디바이스들(110)은 축소된 이미지들 사이의 유사성이 너무 낮은지, 또는 더 정확하게는 카메라들 중 하나가 오류를 갖거나 폐색되어 있을 가능성이 있을 정도로 축소된 이미지들이 너무 상이한지를 결정하기 위해, 유사성 점수를 임계 값과 비교할 수 있다. 일부 경우들에서, 제1 이미지와 제2 이미지의 상이한 부분들에 대한 유사성 점수들이 존재하는 경우, 그러한 상이한 부분들에 대한 유사성 점수들을 임계와 비교함으로써, 이것은 카메라 렌즈의 어느 부분이 오류를 갖거나 폐색되어 있을 수 있는지를 정확하게 식별하는 데 도움이 될 수 있다. 많은 경우들에서, 임계는 카메라의 렌즈들 중 하나에 서서히 응결이 형성되는 경우와 같이, 변화들을 식별하는 데 충분할 수 있다. 임계는 지나치게 많은 거짓 긍정(false-positive)을 생성하지 않고서 그러한 변화들에 충분히 민감하도록 선택될 수 있다. 예를 들어, SSIM 점수가 -1 내지 1의 범위인 경우, 임계는 0.25 또는 대략 그 정도로 설정될 수 있다. 그 자체는 그다지 의미있는 숫자가 아니다.
그러나, 카메라의 렌즈들 중 하나에 균열이 형성되는 경우와 같은 일부 경우들에서, 임계가 반드시 문제를 식별하는 것은 아닐 수 있다. 그러한 경우들에서, 갑작스러운 변화들을 식별하기 위해 2개의 카메라 사이의 많은 이미지가 시간의 경과에 따라 컴퓨팅 디바이스들(110)에 의해 비교될 수 있다. 예를 들어, 임계 값을 반드시 충족시키지는 않을 수도 있지만 또한 카메라들 중 하나에 문제가 있음을 나타낼 수 있는, 시간의 경과에 따른 유사성 점수들의 갑작스러운 변화를 식별하기 위해 누적 합계 제어 차트(cumulative sum control chart)(CUSUM)가 사용될 수 있다.
임계가 충족되는 경우, 또는 갑작스러운 변화가 검출되는 경우, 차량의 컴퓨팅 디바이스들은 카메라들 중 하나 또는 둘 다가 문제를 갖는다고 가정할 수 있다. 그러한 것으로서, 차량의 컴퓨팅 디바이스들은 적절한 대응을 취할 수 있다. 예를 들어, 카메라들 중 하나 또는 둘 다에 대한 클리닝 시스템(314, 324, 414, 424, 434)과 같은 클리닝 시스템이 자동으로 활성화될 수 있다. 추가적으로 또는 대안적으로, (원본 또는 축소된) 카메라 이미지들을 검사하기 위해, 예를 들어 네트워크(760)를 통해, 컴퓨팅 디바이스(110)에 의해 컴퓨팅 디바이스(740) 및 사용자(742)와 같은 원격 지원 운영자에게 요청이 송신될 수 있다. 원격 지원 운영자 또는 사용자(742)는 (와이퍼 및 워셔액과 같은 클리닝 시스템을 활성화하는 것에 의한) 간단한 청소가 문제를 바로잡기에 충분한지, 차량을 길 한쪽으로 빼야하는지, 또는 카메라가 중요한 센서가 아닌지, 차량이 주행 결정을 하기 위해 해당 카메라로부터의 정보를 사용하는 것을 단순히 중단해야 하는지를 결정할 수 있다. 일부 경우들에서, 원격 지원 운영자 또는 사용자(742)는 클리닝 시스템들 중 하나 이상을 원격으로 활성화(및 일부 경우들에서는 또한 비활성화)할 수 있고, 청소가 충분한지 확인하기 위해 제2 세트의 이미지를 볼 수 있다. 컴퓨팅 디바이스들(110)은 또한 원격 지원 운영자 또는 사용자(742)가 문제가 해결되었음을 확인하는 것을 허용하기 위해, 카메라 그룹의 각각의 카메라로부터의 업데이트된 이미지들을 네트워크(160)를 통해 또한 송신할 수 있다.
일부 경우들에서, 컴퓨팅 디바이스들(110)은 카메라 그룹의 하나 이상의 카메라가 문제를 갖고 있다는 정보에 기초하여, 유효하지 않은 이미지, 또는 이미지의 유효하지 않은 부분들을 처리하는 것을 회피할 수 있다. 추가적으로 또는 대안적으로, 컴퓨팅 디바이스들(110)은 문제가 해결될 때까지 차를 길 한쪽으로 대도록, 자율주행 모드에서 차량을 단순히 제어할 수 있다.
이미지들을 처리하고, 변화들을 검출하고, 적절한 대응들을 취하는 위에서 언급된 프로세스는 주기적으로, 예컨대 카메라 그룹에 의해 그룹 이미지가 캡처될 때마다, 또는 그보다 덜 빈번하게 수행될 수 있다.
거짓 긍정들을 회피하기 위해 추가 단계들이 또한 취해질 수 있다. 예를 들어, 차량이 터널을 벗어나거나 카메라들 중 하나에 가까운 객체가 소정의 시차(parallax)를 야기할 때, 카메라에 의해 캡처되는 수 개의 프레임이 시간의 경과에 따라 취합될 수 있다. 이러한 취합된 이미지들은 위에서 논의된 바와 같이 피쳐 벡터들을 생성하기 위해 축소 및 사용될 수 있다. 추가적으로 또는 대안적으로, 인식 시스템(172)의 하나 이상의 LIDAR 센서에 의해 제공되는 센서 데이터로부터 생성된 깊이 맵은 차량(100)의 이동으로 인해 시차가 발생할 가능성이 있는 위치까지 이미지 또는 축소된 이미지의 영역들을 적절하게 "건너뛰거나" 다르게 무시하기 위해 사용될 수 있다. 이와 관련하여, 피쳐 벡터들은 시차로 인해 상이할 것으로 예상되는 이미지들 또는 축소된 이미지들의 부분들로부터가 아니라, 유사할 것으로 예상되는 이미지들 또는 축소된 이미지들의 부분들로부터 생성될 수 있다.
위에서 언급된 기술들은 주변 조명이 양호한 주간 또는 일광 시간들 동안에는 잘 작동할 수 있지만, 더 어두운 환경 또는 야간 환경에서 유사성 점수들 및 SSIM이 신뢰할 수 없게 될 수 있다. 이와 관련하여, 하루 중 저녁 또는 야간 시간들에 대응하는 특정 시간들 동안에는, 2개의 축소된 이미지들 내의 모든 피쳐들을 매칭시키기보다는 밝은 점들 또는 고휘도 영역들만이 비교될 수 있다. 예를 들어, 전형적으로, 교통 신호등 및 후미등과 같은 광원들은 법적 요건이므로 알려진 일정한 밝기를 갖고, 따라서 이러한 조명들은 축소된 이미지들에서 볼 수 있어야 한다. 이러한 밝은 점 접근법은 조명들에 대한 법적 요건들에 의존하지 않으며, 차량 조명들에만 적용되지도 않는다. 오히려, 이 접근법은 ND 필터(대부분의 광을 차단함)를 갖는 카메라에서 밝은 점이 보이면, (더 많은 광을 수신하는) 다른 카메라에서도 동일한 밝은 점이 보여야 한다는 사실에 의존한다.
예를 들어, 도 10 및 도 11의 이미지들(1000 및 1100)을 참조하면, 하나의 이미지(1000)는 제1 노출 기간 동안 ND 필터를 갖는 카메라(310)와 같은 제1 카메라를 사용하여 캡처될 수 있고, 제2 이미지(1100)는 제2 노출 기간 동안 ND 필터를 갖지 않는 카메라(320)와 같은 제2 카메라를 사용하여 캡처될 수 있다. 제1 및 제2 노출 시간은 동일하거나 상이할 수 있는데, 예를 들어, 제2 노출 기간은 제1 노출 기간보다 짧을 수 있다. 이해를 쉽게 하기 위해, 이미지들(1000 및 1100)은 야간 시간 동안 캡처되긴 했지만, 이미지들(500 및 600)에 각각 대응한다. 따라서, 이미지들 둘 다는 교통 신호등(510) 및 차량(520)을 포함하지만, 그것들은 이미지(1100)에서는 약간 보이지만 이미지(1000)에서는 ND 필터의 사용 및 노출 시간으로 인해 보이지 않는다. 이러한 예에서, 이미지들은 어둡게 보이지만, 교통 신호등(510)의 밝은 점(1010)과 차량(520)의 후미등의 밝은 점들(1020, 1022)은 이미지들(1000 및 1100) 둘 다에서 볼 수 있다.
다시, 이러한 이미지들에 대한 피쳐 벡터들을 생성하기 전에, 위에서 논의된 바와 같이 이미지들이 잘리고 축소될 수 있다. 추가로, 이러한 축소된 이미지들에 대해 생성된 피쳐 벡터들은 단순화될 수 있다. 예를 들어, 이미지들(1000 및 1100)에 대한 피쳐 벡터들은 밝은 점들에 대응하는 피쳐들의 형상, 위치 및 크기와 같은 특성만을 설명하도록 생성될 수 있다. 즉, 피쳐 벡터들은 축소된 이미지들에서 발광 객체들에 대응하는 피쳐들에 대해서만 데이터를 포함할 수 있다. 따라서, 영역에 광원이 거의 없는 경우, 이 프로세스는 덜 효과적일 수 있다. 그러나, 이미지들의 노출 파라미터들(셔터 속도, 아날로그 이득, ND 필터 등)이 알려져 있기 때문에, 광범위한 노출 파라미터들에 대해 이미지들이 또한 정정될 수 있다. 예를 들어, SSIM 접근법은 최대 약 6개의 스톱(64배)까지의 차이들을 비교적 잘 처리할 수 있다.
이러한 벡터들에 대한 유사성 점수들은 SSIM을 포함하여, 위에서 설명된 예들 중 임의의 것을 사용하여 다시 결정될 수 있다. 물론, 이러한 상황들에서, 밝은 점들의 위치를 설명하는 피쳐들은 비교를 위한 가장 중요한 특성일 것이다. 다시, 유사성 점수들은 카메라들 중 하나가 문제를 갖는지를 식별하기 위해 임계와 비교되고/되거나 CUSUM을 사용하여 추적될 수 있다. 그 후, 위에서 논의된 바와 같이 적절한 대응이 취해질 수 있다.
도 12는 본 명세서에 설명된 양태들 중 일부에 따라 2개 이상의 카메라의 동작을 평가하기 위한 예시적인 흐름도(1200)이며, 이는 컴퓨팅 디바이스들(110)의 프로세서들(120)과 같은, 하나 이상의 컴퓨팅 디바이스의 하나 이상의 프로세서에 의해 수행될 수 있다. 이 예에서, 블록(1210)에서, 제1 카메라에 의해 캡처된 제1 이미지가 수신된다. 블록(1220)에서, 제2 카메라에 의해 캡처된 제2 이미지가 수신된다. 제1 카메라 및 제2 카메라는 중첩 시야를 갖는다. 블록(1230)에서, 제1 이미지에 대한 제1 피쳐 벡터 및 제2 이미지에 대한 제2 피쳐 벡터가 생성될 수 있다. 블록(1240)에서, 유사성 점수는 제1 피쳐 벡터 및 제2 피쳐 벡터를 사용하여 결정될 수 있다. 블록(1250)에서, 유사성 점수는 2개의 카메라의 동작을 평가하기 위해 사용될 수 있다.
본 명세서에 설명된 피쳐들은 다양한 조명 조건들 동안 신뢰가능한 카메라 평가를 허용한다. 위에서 언급된 바와 같이, 카메라가 세상을 적절하게 "보고 있는지" 또는 렌즈 상의 소정의 이물질 파편, 응결, 기능하지 않는 픽셀들 등이 존재하는지를 결정하는 것은 엄청나게 어려울 수 있다. 이는 주행 결정을 하기 위해 그러한 카메라들에 의존하는 자율주행 차량들의 경우 특히 중요할 수 있다.
달리 언급되지 않는 한, 전술한 대안적인 예들은 상호 배타적인 것이 아니라, 고유의 장점들을 달성하기 위해 다양한 조합들로 구현될 수 있다. 위에서 논의된 특징들의 이러한 및 다른 변형들 및 조합들은 청구항들에 의해 정의된 주제로부터 벗어나지 않고서 이용될 수 있으므로, 실시예들에 대한 전술한 설명은 청구항들에 의해 정의된 주제의 제한이 아닌 예시로서 받아들여져야 한다. 추가로, 여기에 설명된 예들은 물론, "예컨대", "포함하는" 등으로서 표현되는 문구들의 제공은 청구항들의 주제를 특정 예들로 제한하는 것으로 해석되어서는 안 되고; 오히려, 예들은 다수의 가능한 실시예 중 하나만을 예시하도록 의도된다. 또한, 상이한 도면들에서의 동일한 참조번호들은 동일하거나 유사한 요소들을 식별할 수 있다.

Claims (23)

  1. 2개의 카메라 또는 그 이상의 동작을 평가하기 위한 방법으로서,
    하나 이상의 프로세서에 의해, 제1 카메라에 의해 캡처된 제1 이미지를 수신하는 단계;
    상기 하나 이상의 프로세서에 의해, 제2 카메라에 의해 캡처된 제2 이미지를 수신하는 단계 - 상기 제1 카메라 및 상기 제2 카메라는 중첩 시야를 가짐 - ;
    상기 하나 이상의 프로세서에 의해, 상기 제1 이미지에 대한 제1 피쳐 벡터 및 상기 제2 이미지에 대한 제2 피쳐 벡터를 생성하는 단계;
    상기 하나 이상의 프로세서에 의해, 상기 제1 피쳐 벡터 및 상기 제2 피쳐 벡터를 사용하여 유사성 점수를 결정하는 단계; 및
    상기 하나 이상의 프로세서에 의해, 상기 2개의 카메라의 동작을 평가하기 위해 상기 유사성 점수를 사용하는 단계
    를 포함하는 방법.
  2. 제1항에 있어서, 상기 제1 이미지 및 상기 제2 이미지는 상이하게 노출되는, 방법.
  3. 제1항에 있어서, 상기 제1 카메라는 ND 필터를 포함하고, 상기 제2 카메라는 ND 필터를 포함하지 않는 방법.
  4. 제1항에 있어서, 상기 제1 이미지의 노출 기간은 상기 제2 이미지의 노출 기간보다 긴, 방법.
  5. 제1항에 있어서, 상기 제1 이미지 및 상기 제2 이미지는 상기 중첩 시야 내의 주어진 위치에서 객체를 캡처하기 위해 미리 결정된 기간 내에 캡처되는, 방법.
  6. 제1항에 있어서, 상기 제1 피쳐 벡터 및 상기 제2 피쳐 벡터를 생성하기 전에, 상기 제1 이미지 및 상기 제2 이미지를 축소하는 단계를 더 포함하는 방법.
  7. 제6항에 있어서, 상기 제1 이미지 및 상기 제2 이미지를 축소하는 단계는, 상기 중첩 시야에 대응하는 픽셀들만을 포함하도록 상기 제1 이미지 및 상기 제2 이미지를 자르는 단계를 포함하는, 방법.
  8. 제6항에 있어서, 상기 제1 이미지 및 상기 제2 이미지를 축소하는 단계는 상기 제1 이미지 및 상기 제2 이미지를 썸네일화하는 단계를 포함하는, 방법.
  9. 제1항에 있어서, 상기 제1 피쳐 벡터 및 상기 제2 피쳐 벡터는 시각(time of day)에 더 기초하여 생성되는, 방법.
  10. 제1항에 있어서, 상기 제1 피쳐 벡터 및 상기 제2 피쳐 벡터는 발광 객체들에 대응하는 피쳐들만을 포함하도록 생성되는, 방법.
  11. 제1항에 있어서, 상기 유사성 점수를 생성하는 단계는 구조 유사성 지수를 사용하는 단계를 포함하는, 방법.
  12. 제1항에 있어서, 상기 유사성 점수를 사용하는 단계는 상기 유사성 점수를 임계 값과 비교하는 단계를 포함하는, 방법.
  13. 제1항에 있어서, 상기 유사성 점수를 사용하는 단계는 상기 유사성 점수를 시간의 경과에 따라 상기 제1 카메라 및 상기 제2 카메라로부터의 이미지들로부터 생성된 다른 유사성 점수들과 비교하는 단계를 포함하는, 방법.
  14. 제13항에 있어서, 상기 유사성 점수를 다른 유사성 점수와 비교하는 단계는 누적 합계 제어 차트를 사용하는 단계를 포함하는, 방법.
  15. 제1항에 있어서, 상기 평가에 기초하여, 원격 컴퓨팅 디바이스에 지원 요청을 송신하는 단계를 더 포함하고, 상기 요청은 상기 제1 이미지 및 상기 제2 이미지를 포함하는, 방법.
  16. 제15항에 있어서, 상기 요청을 송신한 후, 상기 제1 카메라로부터의 업데이트된 이미지 및 상기 제2 카메라로부터의 업데이트된 이미지를 상기 원격 컴퓨팅 디바이스에 송신하는 단계를 더 포함하는, 방법.
  17. 제15항에 있어서,
    상기 요청에 응답하여, 차량을 정지시키라는 명령어들을 수신하는 단계; 및
    상기 요청에 응답하여 상기 차량을 정지시키는 단계
    를 더 포함하는 방법.
  18. 제1항에 있어서, 상기 제1 카메라 및 상기 제2 카메라 중 하나 또는 둘 다에 대한 클리닝 시스템을 활성화하는 단계를 더 포함하는 방법.
  19. 제1항에 있어서, 상기 하나 이상의 프로세서에 의해, 상기 평가에 기초하여 주행 결정을 함으로써, 자율주행 모드에서 차량을 제어하는 단계를 더 포함하는 방법.
  20. 제19항에 있어서, 상기 차량을 제어하는 단계는 상기 주행 결정을 할 때 상기 제1 이미지 및 상기 제2 이미지 중 하나 또는 둘 다의 전부 또는 일부를 폐기하는 단계를 포함하는, 방법.
  21. 제1항에 있어서, 상기 유사성 점수를 생성하는 단계는 상기 제1 피쳐 벡터 및 상기 제2 피쳐 벡터를 모델에 입력하는 단계를 포함하는, 방법.
  22. 제21항에 있어서, 상기 모델은 결정 트리 모델인, 방법.
  23. 제21항에 있어서, 상기 유사성 점수를 생성하는 단계는 상기 제1 이미지에 대한 깊이 데이터, 상기 제2 이미지의 깊이 데이터, 태양의 위치, 또는 시각(time of day) 정보 중 적어도 하나를 포함하는 추가 정보를 입력하는 단계를 더 포함하는, 방법.
KR1020217007965A 2018-08-20 2019-08-19 자율주행 차량들을 위한 카메라 평가 기술들 KR102448358B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US16/105,069 2018-08-20
US16/105,069 US11699207B2 (en) 2018-08-20 2018-08-20 Camera assessment techniques for autonomous vehicles
PCT/US2019/047029 WO2020041178A1 (en) 2018-08-20 2019-08-19 Camera assessment techniques for autonomous vehicles

Publications (2)

Publication Number Publication Date
KR20210034097A true KR20210034097A (ko) 2021-03-29
KR102448358B1 KR102448358B1 (ko) 2022-09-28

Family

ID=69524431

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020217007965A KR102448358B1 (ko) 2018-08-20 2019-08-19 자율주행 차량들을 위한 카메라 평가 기술들

Country Status (6)

Country Link
US (1) US11699207B2 (ko)
EP (1) EP3824623A4 (ko)
JP (1) JP7183390B2 (ko)
KR (1) KR102448358B1 (ko)
CN (1) CN112771858A (ko)
WO (1) WO2020041178A1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220392229A1 (en) * 2021-06-04 2022-12-08 Waymo Llc Autonomous vehicle sensor security, authentication and safety
KR102486788B1 (ko) * 2022-04-21 2023-01-11 주식회사 셀플러스코리아 자율주행 차량에 장착된 카메라의 실시간 검증을 위한 영상분기장치 및 이를 이용한 자율주행 차량의 카메라 실시간 검증방법
KR20240054594A (ko) 2022-10-19 2024-04-26 경북대학교 산학협력단 라이다 센서의 폐색 분류 장치 및 방법과 이를 갖는 자율주행 자동차

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220222805A1 (en) * 2014-09-17 2022-07-14 Gary B. Levin Apparatus and method for onboard stereoscopic inspection of vehicle tires
US11584368B2 (en) * 2018-09-24 2023-02-21 Intel Corporation Evaluating risk factors of proposed vehicle maneuvers using external and internal data
US10928819B2 (en) * 2018-10-29 2021-02-23 Here Global B.V. Method and apparatus for comparing relevant information between sensor measurements
US11341682B2 (en) 2020-08-13 2022-05-24 Argo AI, LLC Testing and validation of a camera under electromagnetic interference
US11368672B2 (en) 2020-09-14 2022-06-21 Argo AI, LLC Validation of a camera cleaning system
US11993274B2 (en) * 2020-09-16 2024-05-28 Zenuity Ab Monitoring of on-board vehicle image capturing device functionality compliance
WO2022201804A1 (ja) * 2021-03-25 2022-09-29 ソニーセミコンダクタソリューションズ株式会社 情報処理装置、情報処理方法、及びプログラム

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130083201A1 (en) * 2011-10-03 2013-04-04 Raytheon Company Methods and apparatus for determining misalignment of first and second sensors
US20150284009A1 (en) * 2012-11-30 2015-10-08 Google Inc. Engaging and disengaging for autonomous driving
US20160159281A1 (en) * 2014-12-04 2016-06-09 Hyundai Mobis Co., Ltd. Vehicle and control method thereof
US20160379066A1 (en) * 2015-06-23 2016-12-29 Robert Bosch Gmbh Method and Camera System for Distance Determination of Objects from a Vehicle
US20180188059A1 (en) * 2016-12-30 2018-07-05 DeepMap Inc. Lane Line Creation for High Definition Maps for Autonomous Vehicles

Family Cites Families (117)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7164117B2 (en) 1992-05-05 2007-01-16 Automotive Technologies International, Inc. Vehicular restraint system control system and method using multiple optical imagers
DE69124726T2 (de) 1990-10-25 1997-07-03 Mitsubishi Electric Corp Vorrichtung zur Abstandsdetektion für ein Kraftfahrzeug
DE4100501A1 (de) 1991-01-10 1992-07-16 Bodenseewerk Geraetetech Verfahren und einrichtung zum erkennen von fehlern an sensoren fuer zustandsgroessen
JPH06195121A (ja) 1992-12-22 1994-07-15 Toyota Motor Corp 無人搬送車のセンサチェックシステム
US6822563B2 (en) 1997-09-22 2004-11-23 Donnelly Corporation Vehicle imaging system with accessory control
US20050192727A1 (en) 1994-05-09 2005-09-01 Automotive Technologies International Inc. Sensor Assemblies
US5825464A (en) 1997-01-03 1998-10-20 Lockheed Corp Calibration system and method for lidar systems
GB0111979D0 (en) 2001-05-17 2001-07-04 Lucas Industries Ltd Sensing apparatus for vehicles
US7298401B2 (en) * 2001-08-10 2007-11-20 Micron Technology, Inc. Method and apparatus for removing flicker from images
JP2004020237A (ja) 2002-06-12 2004-01-22 Fuji Heavy Ind Ltd 車両管理システム
EP1587725B1 (en) 2002-08-30 2013-12-25 Aethon, Inc. Robotic cart pulling vehicle
DE10302671A1 (de) 2003-01-24 2004-08-26 Robert Bosch Gmbh Verfahren und Vorrichtung zur Einstellung eines Bildsensorsystems
US7676110B2 (en) 2003-09-30 2010-03-09 Fotonation Vision Limited Determination of need to service a camera based on detection of blemishes in digital images
JP4148179B2 (ja) 2004-04-23 2008-09-10 日産自動車株式会社 車線維持支援装置
JP2006060425A (ja) 2004-08-18 2006-03-02 Olympus Corp 画像生成方法および装置
US7991550B2 (en) 2006-02-03 2011-08-02 GM Global Technology Operations LLC Method and apparatus for on-vehicle calibration and orientation of object-tracking systems
DE102006007780B4 (de) 2006-02-20 2012-07-26 Future-Shape Gmbh Flächenverkleidungs-Anordnung und Verfahren zum Lokalisieren bzw. Leiten von beweglichen Objekten und/oder Personen auf einer Fläche mit Hilfe einer Flächenverkleidungs-Anordnung
US20070248330A1 (en) * 2006-04-06 2007-10-25 Pillman Bruce H Varying camera self-determination based on subject motion
JP4680131B2 (ja) 2006-05-29 2011-05-11 トヨタ自動車株式会社 自車位置測定装置
US7869657B2 (en) 2006-06-12 2011-01-11 D & S Consultants, Inc. System and method for comparing images using an edit distance
US8139109B2 (en) 2006-06-19 2012-03-20 Oshkosh Corporation Vision system for an autonomous vehicle
JP4497133B2 (ja) 2006-07-12 2010-07-07 アイシン・エィ・ダブリュ株式会社 運転支援方法及び運転支援装置
US7813888B2 (en) 2006-07-24 2010-10-12 The Boeing Company Autonomous vehicle rapid development testbed systems and methods
US9302678B2 (en) 2006-12-29 2016-04-05 Robotic Research, Llc Robotic driving system
JP4879031B2 (ja) * 2007-01-11 2012-02-15 三洋電機株式会社 運転支援システム、画像処理装置及びずれ検出方法
US8199198B2 (en) 2007-07-18 2012-06-12 Delphi Technologies, Inc. Bright spot detection and classification method for a vehicular night-time video imaging system
US8204124B2 (en) * 2007-08-27 2012-06-19 Sony Corporation Image processing apparatus, method thereof, and program
US8326071B2 (en) * 2007-09-10 2012-12-04 Nikon Corporation Image processing method to restore an image
EP2208023A1 (de) 2007-11-02 2010-07-21 Continental Teves AG & CO. OHG Verifikation von digitalen karten
DE102008003194A1 (de) 2008-01-04 2009-07-09 Wabco Gmbh Fahrerassistenzsystem
JP4980970B2 (ja) 2008-03-26 2012-07-18 富士重工業株式会社 撮像手段の調整装置および物体検出装置
US8605947B2 (en) 2008-04-24 2013-12-10 GM Global Technology Operations LLC Method for detecting a clear path of travel for a vehicle enhanced by object detection
DE102008024929A1 (de) 2008-05-23 2009-11-26 Wabco Gmbh Fahrerassistenzsystem
WO2010004911A1 (ja) 2008-07-10 2010-01-14 三菱電機株式会社 隊列走行支援装置
US8229618B2 (en) 2008-09-11 2012-07-24 Deere & Company Leader-follower fully autonomous vehicle with operator on side
US8195358B2 (en) 2008-09-11 2012-06-05 Deere & Company Multi-vehicle high integrity perception
JP5602354B2 (ja) 2008-10-08 2014-10-08 本田技研工業株式会社 車両周辺監視装置
US8437901B2 (en) * 2008-10-15 2013-05-07 Deere & Company High integrity coordination for multiple off-road vehicles
US8780672B2 (en) 2008-12-19 2014-07-15 Ysi Incorporated Multi-frequency, multi-beam acoustic doppler system with concurrent processing
US8317329B2 (en) 2009-04-02 2012-11-27 GM Global Technology Operations LLC Infotainment display on full-windshield head-up display
US8296065B2 (en) 2009-06-08 2012-10-23 Ansaldo Sts Usa, Inc. System and method for vitally determining position and position uncertainty of a railroad vehicle employing diverse sensors including a global positioning system sensor
US8521380B2 (en) 2009-08-04 2013-08-27 Eaton Corporation Shift rail transmission position sensing with tolerance for sensor loss
US9552726B2 (en) 2009-08-24 2017-01-24 Here Global B.V. Providing driving condition alerts using road attribute data
DE102009046124A1 (de) 2009-10-28 2011-05-05 Ifm Electronic Gmbh Verfahren und Vorrichtung zur Kalibrierung eines 3D-TOF-Kamerasystems
US8633810B2 (en) 2009-11-19 2014-01-21 Robert Bosch Gmbh Rear-view multi-functional camera system
US20110130916A1 (en) 2009-12-01 2011-06-02 Ise Corporation Location Based Vehicle Data Logging and Diagnostic System and Method
AU2010200875A1 (en) 2010-03-09 2011-09-22 The University Of Sydney Sensor data processing
JP5505723B2 (ja) * 2010-03-31 2014-05-28 アイシン・エィ・ダブリュ株式会社 画像処理システム及び位置測位システム
JP5700968B2 (ja) 2010-07-16 2015-04-15 キヤノン株式会社 画像処理装置、画像処理方法、およびプログラム
JP5588812B2 (ja) 2010-09-30 2014-09-10 日立オートモティブシステムズ株式会社 画像処理装置及びそれを用いた撮像装置
KR20120059109A (ko) 2010-11-30 2012-06-08 한국전자통신연구원 레이저 스캐너 센서를 이용한 다중 차량 감지 장치 및 그 방법
US9900522B2 (en) * 2010-12-01 2018-02-20 Magna Electronics Inc. System and method of establishing a multi-camera image using pixel remapping
DE102010063133A1 (de) 2010-12-15 2012-06-21 Robert Bosch Gmbh Verfahren und System zur Bestimmung einer Eigenbewegung eines Fahrzeugs
WO2012091476A2 (ko) 2010-12-30 2012-07-05 주식회사 와이즈오토모티브 사각 지대 표시 장치 및 방법
US8737685B2 (en) 2011-04-25 2014-05-27 Honeywell International Inc. Systems and methods for detecting the movement of an object
US8744169B2 (en) * 2011-05-31 2014-06-03 Toyota Motor Europe Nv/Sa Voting strategy for visual ego-motion from stereo
DE102011079961A1 (de) 2011-07-28 2013-01-31 Dr. Johannes Heidenhain Gmbh Vorrichtung und Verfahren zur Winkelmessung
US8630806B1 (en) 2011-10-20 2014-01-14 Google Inc. Image processing for vehicle control
WO2013106418A1 (en) * 2012-01-09 2013-07-18 Tk Holdings, Inc. Stereo-vision object detection system and method
EP2803057A4 (en) * 2012-01-13 2015-07-08 Enhanced Surface Dynamics Inc SYSTEM AND METHODS FOR RISK MANAGEMENT ANALYSIS OF A PRESSURE DETECTION SYSTEM
US8560165B2 (en) 2012-01-17 2013-10-15 GM Global Technology Operations LLC Co-operative on-board and off-board component and system diagnosis and prognosis
US20130208121A1 (en) 2012-02-10 2013-08-15 Xerox Corporation Traffic camera diagnostics via test targets
US8930063B2 (en) 2012-02-22 2015-01-06 GM Global Technology Operations LLC Method for determining object sensor misalignment
US9760092B2 (en) 2012-03-16 2017-09-12 Waymo Llc Actively modifying a field of view of an autonomous vehicle in view of constraints
JP6152646B2 (ja) 2012-03-21 2017-06-28 株式会社リコー 複眼カメラ装置、及びそれを備えた車両
JP2013210254A (ja) * 2012-03-30 2013-10-10 Canon Inc 三次元計測装置、三次元計測方法及び三次元計測プログラム
US8521352B1 (en) 2012-05-07 2013-08-27 Google Inc. Controlling a vehicle having inadequate map data
US9738223B2 (en) 2012-05-31 2017-08-22 GM Global Technology Operations LLC Dynamic guideline overlay with image cropping
JP5759950B2 (ja) 2012-08-24 2015-08-05 日立オートモティブシステムズ株式会社 車載カメラ装置
US9221396B1 (en) 2012-09-27 2015-12-29 Google Inc. Cross-validating sensors of an autonomous vehicle
DE102013101639A1 (de) 2013-02-19 2014-09-04 Continental Teves Ag & Co. Ohg Verfahren und Vorrichtung zur Bestimmung eines Fahrbahnzustands
WO2014138697A1 (en) * 2013-03-08 2014-09-12 Pelican Imaging Corporation Systems and methods for high dynamic range imaging using array cameras
JP6064776B2 (ja) 2013-05-07 2017-01-25 株式会社デンソー 画像処理装置及び画像処理方法
JP2015028702A (ja) 2013-07-30 2015-02-12 キヤノン株式会社 情報処理装置、情報処理方法およびプログラム
US9654738B1 (en) 2013-08-07 2017-05-16 Waymo Llc Using multiple exposures to improve image processing for autonomous vehicles
US9509979B2 (en) * 2013-11-26 2016-11-29 Mobileye Vision Technologies Ltd. Stereo auto-calibration from structure-from-motion
US9201421B1 (en) 2013-11-27 2015-12-01 Google Inc. Assisted perception for autonomous vehicles
US9251598B2 (en) 2014-04-10 2016-02-02 GM Global Technology Operations LLC Vision-based multi-camera factory monitoring with dynamic integrity scoring
JP6183305B2 (ja) 2014-07-02 2017-08-23 株式会社デンソー 故障検出装置および故障検出プログラム
US9779314B1 (en) 2014-08-21 2017-10-03 Waymo Llc Vision-based detection and classification of traffic lights
US9607245B2 (en) * 2014-12-02 2017-03-28 Xerox Corporation Adapted vocabularies for matching image signatures with fisher vectors
US9818048B2 (en) 2015-01-19 2017-11-14 Ebay Inc. Fine-grained categorization
US10493986B2 (en) * 2015-01-26 2019-12-03 Trw Automotive U.S. Llc Vehicle driver assist system
US10511787B2 (en) * 2015-02-12 2019-12-17 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Light-field camera
JP6545997B2 (ja) * 2015-04-24 2019-07-17 日立オートモティブシステムズ株式会社 画像処理装置
JP6252549B2 (ja) 2015-05-29 2017-12-27 株式会社デンソー 物体検出装置
JP6657925B2 (ja) 2015-06-04 2020-03-04 ソニー株式会社 車載カメラ・システム並びに画像処理装置
AU2015203591A1 (en) 2015-06-26 2017-01-19 Canon Kabushiki Kaisha System and method for object matching
US9942522B2 (en) 2015-08-19 2018-04-10 Faraday&Future Inc. In-vehicle camera system
JP6675099B2 (ja) 2015-09-30 2020-04-01 パナソニックＩｐマネジメント株式会社 制御方法及びプログラム
US10628700B2 (en) * 2016-05-23 2020-04-21 Intel Corporation Fast and robust face detection, region extraction, and tracking for improved video coding
US10462445B2 (en) * 2016-07-19 2019-10-29 Fotonation Limited Systems and methods for estimating and refining depth maps
WO2018031441A1 (en) 2016-08-09 2018-02-15 Contrast, Inc. Real-time hdr video for vehicle control
JP6722084B2 (ja) 2016-10-06 2020-07-15 株式会社Ｓｏｋｅｎ 物体検出装置
CN106529411B (zh) 2016-10-11 2020-07-28 北京小米移动软件有限公司 车辆提示方法及装置
JP2018081545A (ja) * 2016-11-17 2018-05-24 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 画像データ抽出装置及び画像データ抽出方法
US10248874B2 (en) 2016-11-22 2019-04-02 Ford Global Technologies, Llc Brake light detection
US10659991B2 (en) 2016-12-06 2020-05-19 Nissan North America, Inc. Bandwidth constrained image processing for autonomous vehicles
US10678260B2 (en) * 2017-07-06 2020-06-09 GM Global Technology Operations LLC Calibration methods for autonomous vehicle operations
US10742894B2 (en) * 2017-08-11 2020-08-11 Ut-Battelle, Llc Optical array for high-quality imaging in harsh environments
KR101969030B1 (ko) * 2017-09-13 2019-04-16 (주)베이다스 차량용 카메라 캘리브레이션 장치 및 그 방법
US10733465B2 (en) 2017-09-20 2020-08-04 Tusimple, Inc. System and method for vehicle taillight state recognition
US10843669B2 (en) * 2017-09-28 2020-11-24 Uatc, Llc Sensor control system for autonomous vehicle
US11758111B2 (en) * 2017-10-27 2023-09-12 Baidu Usa Llc 3D lidar system using a dichroic mirror for autonomous driving vehicles
US10365660B2 (en) * 2017-10-31 2019-07-30 Savioke, Inc. Computer system and method for automated indoor surveying by robots
US20190243376A1 (en) * 2018-02-05 2019-08-08 Qualcomm Incorporated Actively Complementing Exposure Settings for Autonomous Navigation
US10752218B2 (en) * 2018-02-22 2020-08-25 Ford Global Technologies, Llc Camera with cleaning system
US10757340B2 (en) * 2018-03-09 2020-08-25 Pony Ai Inc. Adaptive filter system for self-driving vehicle
WO2019182974A2 (en) * 2018-03-21 2019-09-26 Nvidia Corporation Stereo depth estimation using deep neural networks
US10468062B1 (en) * 2018-04-03 2019-11-05 Zoox, Inc. Detecting errors in sensor data
JP7128036B2 (ja) * 2018-06-07 2022-08-30 ルネサスエレクトロニクス株式会社 映像信号受信装置、及び映像信号受信方法
US10176405B1 (en) * 2018-06-18 2019-01-08 Inception Institute Of Artificial Intelligence Vehicle re-identification techniques using neural networks for image analysis, viewpoint-aware pattern recognition, and generation of multi- view vehicle representations
US10733761B2 (en) * 2018-06-29 2020-08-04 Zoox, Inc. Sensor calibration
WO2020009806A1 (en) 2018-07-05 2020-01-09 Optimum Semiconductor Technologies Inc. Object detection using multiple sensors and reduced complexity neural networks
US10848664B2 (en) * 2018-07-26 2020-11-24 Sony Corporation Image capture device and method for image score-based video quality enhancement
US10739768B2 (en) * 2018-08-08 2020-08-11 Toyota Motor Engineering & Manufacturing North America, Inc. Smoothed and regularized Fischer-Burmeister solver for embedded real-time constrained optimal control problems in autonomous systems
DE102018214198A1 (de) * 2018-08-22 2020-02-27 Robert Bosch Gmbh System zum Bewerten eines Bildes, Betriebsassistenzverfahren und Steuereinheit für eine Arbeitsvorrichtung sowie Arbeitsvorrichtung

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130083201A1 (en) * 2011-10-03 2013-04-04 Raytheon Company Methods and apparatus for determining misalignment of first and second sensors
US20150284009A1 (en) * 2012-11-30 2015-10-08 Google Inc. Engaging and disengaging for autonomous driving
US20160159281A1 (en) * 2014-12-04 2016-06-09 Hyundai Mobis Co., Ltd. Vehicle and control method thereof
US20160379066A1 (en) * 2015-06-23 2016-12-29 Robert Bosch Gmbh Method and Camera System for Distance Determination of Objects from a Vehicle
US20180188059A1 (en) * 2016-12-30 2018-07-05 DeepMap Inc. Lane Line Creation for High Definition Maps for Autonomous Vehicles

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220392229A1 (en) * 2021-06-04 2022-12-08 Waymo Llc Autonomous vehicle sensor security, authentication and safety
US11854269B2 (en) * 2021-06-04 2023-12-26 Waymo Llc Autonomous vehicle sensor security, authentication and safety
KR102486788B1 (ko) * 2022-04-21 2023-01-11 주식회사 셀플러스코리아 자율주행 차량에 장착된 카메라의 실시간 검증을 위한 영상분기장치 및 이를 이용한 자율주행 차량의 카메라 실시간 검증방법
KR20240054594A (ko) 2022-10-19 2024-04-26 경북대학교 산학협력단 라이다 센서의 폐색 분류 장치 및 방법과 이를 갖는 자율주행 자동차

Also Published As

Publication number Publication date
WO2020041178A1 (en) 2020-02-27
EP3824623A1 (en) 2021-05-26
EP3824623A4 (en) 2022-03-30
CN112771858A (zh) 2021-05-07
US11699207B2 (en) 2023-07-11
JP2021534494A (ja) 2021-12-09
KR102448358B1 (ko) 2022-09-28
US20200055516A1 (en) 2020-02-20
JP7183390B2 (ja) 2022-12-05

Similar Documents

Publication Publication Date Title
KR102448358B1 (ko) 자율주행 차량들을 위한 카메라 평가 기술들
CN111919225B (zh) 使用模拟环境对自主机器进行培训、测试和验证
CN113168505B (zh) 用于自主驾驶机器的基于回归的线检测
US11645852B2 (en) Traffic light detection and lane state recognition for autonomous vehicles
US11836955B2 (en) Detecting unfamiliar signs
US10872143B2 (en) Recognizing assigned passengers for autonomous vehicles
JP2018503161A (ja) きめの細かい画像分類のためのハイパークラス拡張化および正則化深層学習
CN113348122A (zh) 从传感器视场排除车辆的模型
US20200019173A1 (en) Detecting activity near autonomous vehicles
US20220004197A1 (en) Verification Of Iterative Closest Point Alignments For Autonomous Vehicles
US20230046289A1 (en) Automatic labeling of objects in sensor data
KR20210034096A (ko) 자율주행 차량들을 위한 행렬들의 검출 및 그에 대한 대응
JP7461399B2 (ja) 原動機付き車両の走行動作を補助する方法及びアシスト装置並びに原動機付き車両
Rao et al. Machine learning based traffic light detection and ir sensor based proximity sensing for autonomous cars
US11227409B1 (en) Camera assessment techniques for autonomous vehicles
CN114729810A (zh) 人行横道检测
CN113298044B (zh) 基于定位补偿的障碍物检测方法、系统、设备及存储介质
WO2023178510A1 (zh) 图像处理方法、装置和系统、可移动平台
US20230394842A1 (en) Vision-based system with thresholding for object detection
Dhiman et al. Vehicular Automation (Self Driving) Using Raspberry 4
TWM538142U (zh) 智慧多功能行車輔助駕駛記錄系統
CN115953754A (zh) 基于驾驶的考试处理方法、装置及车辆

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right