KR20200086756A - 태양-인식 차량 라우팅을 위한 방법들 및 시스템들 - Google Patents

태양-인식 차량 라우팅을 위한 방법들 및 시스템들 Download PDF

Info

Publication number
KR20200086756A
KR20200086756A KR1020207019967A KR20207019967A KR20200086756A KR 20200086756 A KR20200086756 A KR 20200086756A KR 1020207019967 A KR1020207019967 A KR 1020207019967A KR 20207019967 A KR20207019967 A KR 20207019967A KR 20200086756 A KR20200086756 A KR 20200086756A
Authority
KR
South Korea
Prior art keywords
vehicle
capture device
image capture
computing system
sun
Prior art date
Application number
KR1020207019967A
Other languages
English (en)
Other versions
KR102454748B1 (ko
Inventor
제레미 디트머
안드레아스 웬델
Original Assignee
웨이모 엘엘씨
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 웨이모 엘엘씨 filed Critical 웨이모 엘엘씨
Publication of KR20200086756A publication Critical patent/KR20200086756A/ko
Application granted granted Critical
Publication of KR102454748B1 publication Critical patent/KR102454748B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/3453—Special cost functions, i.e. other than distance or default speed limit of road segments
    • G01C21/3461—Preferred or disfavoured areas, e.g. dangerous zones, toll or emission zones, intersections, manoeuvre types, segments such as motorways, toll roads, ferries
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/14—Adaptive cruise control
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • B60W60/0015—Planning or execution of driving tasks specially adapted for safety
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/3407—Route searching; Route guidance specially adapted for specific applications
    • G01C21/3415—Dynamic re-routing, e.g. recalculating the route when the user deviates from calculated route or after detecting real-time traffic data or accidents
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3602—Input other than that of destination using image analysis, e.g. detection of road signs, lanes, buildings, real preceding vehicles using a camera
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0088—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots characterized by the autonomous decision making process, e.g. artificial intelligence, predefined behaviours
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2555/00—Input parameters relating to exterior conditions, not covered by groups B60W2552/00, B60W2554/00
    • B60W2555/20—Ambient conditions, e.g. wind or rain
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2556/00—Input parameters relating to data
    • B60W2556/20—Data confidence level
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2556/00—Input parameters relating to data
    • B60W2556/25—Data precision
    • G05D2201/0213—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/57—Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/58—Means for changing the camera field of view without moving the camera body, e.g. nutating or panning of optics or image sensors

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Electromagnetism (AREA)
  • Mathematical Physics (AREA)
  • Traffic Control Systems (AREA)
  • Business, Economics & Management (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Game Theory and Decision Science (AREA)
  • Medical Informatics (AREA)
  • Navigation (AREA)

Abstract

예시적인 구현들은 태양-인식 차량 라우팅과 관련될 수 있다. 특히, 차량의 컴퓨팅 시스템은 지리적 영역에 대한 태양의 예상 포지션을 결정할 수 있다. 예상 포지션에 기초하여, 컴퓨팅 시스템은 지리적 영역 내의 특정 위치(들)를 통한 차량의 이동으로 인해 태양이 차량의 이미지 캡처 디바이스의 시야 내의 객체에 근접하게 될 것으로 예상된다고 결정을 내릴 수 있다. 이에 응답하여, 컴퓨팅 시스템은 적어도 이들 특정 위치(들)를 통한 차량의 이동을 피하는 루트에 기초하여 지리적 영역에서 차량에 대한 루트를 생성할 수 있고, 그 후, 생성된 루트에 따라 차량이 이동하도록 동작시킬 수 있다. 궁극적으로, 이것은 태양광으로 인해 이미지(들)의 품질이 저하되는 상황들을 감소시키거나 방지하는 데 도움을 줄 수 있고, 이에 의해 차량을 동작시키기 위한 기초로서 이들 이미지(들)의 사용을 허용할 수 있다.

Description

태양-인식 차량 라우팅을 위한 방법들 및 시스템들
<관련 출원에 대한 상호 참조>
본 출원은 2017년 12월 14일자로 출원되고 발명의 명칭이 "Methods and Systems for Sun-Aware Vehicle Routing"인 미국 특허 출원 번호 제15/842,055호의 우선권을 주장하며, 이는 본 명세서에 전체적으로 참조로 포함된다.
차량은 임의의 휠이 달린 전력 공급형 차량일 수 있으며, 자동차, 트럭, 오토바이, 버스 등을 포함할 수 있다. 차량들은 사람 및 물품의 운송뿐만 아니라 많은 다른 용도들과 같은 다양한 태스크들에 활용될 수 있다.
일부 차량들은 부분적으로 또는 완전히 자율적일 수 있다. 예를 들어, 차량이 자율-주행 모드(autonomous mode)에 있을 때, 차량 동작의 주행 양태들 중 일부 또는 전부는 자율-주행 차량 시스템(즉, 자율-주행 차량의 제어를 용이하게 하기 위해 개별적으로 또는 집합적으로 기능하는 임의의 하나 이상의 컴퓨터 시스템)에 의해 핸들링될 수 있다. 이러한 경우, 온보드 및/또는 서버 네트워크에 위치된 컴퓨팅 디바이스들은 주행 루트 계획, 차량의 양태들 감지, 차량의 환경 감지, 및 스티어링, 스로틀 및 브레이크와 같은 주행 컴포넌트들 제어와 같은 기능들을 수행하도록 동작 가능할 수 있다. 따라서, 자율-주행 차량들은 차량 동작의 다양한 양태들에서 인간 상호 작용의 필요성을 감소시키거나 또는 제거할 수 있다.
일 양태에서는, 방법이 개시된다. 방법은, 컴퓨팅 시스템에 의해, 지리적 영역에 대한 태양의 예상 포지션을 결정하는 단계 - 컴퓨팅 시스템은 적어도 차량에 커플링되는 이미지 캡처 디바이스에 의해 생성된 이미지 데이터에 기초하여 차량을 동작시키도록 구성됨 - 를 포함한다. 방법은 또한, 적어도 지리적 영역에 대한 태양의 예상 포지션에 기초하여, 컴퓨팅 시스템에 의해, 지리적 영역 내의 하나 이상의 위치를 통한 차량의 이동으로 인해 이미지 캡처 디바이스의 관점에서 태양이 이미지 캡처 디바이스의 시야 내의 객체에 근접하게 될 것으로 예상된다고 결정을 내리는 단계를 포함한다. 방법은, 결정을 내리는 것에 응답하여, 적어도 하나 이상의 위치를 통한 차량의 이동을 피하는 루트에 기초하여 지리적 영역에서 차량에 대한 루트를 생성하는 단계를 추가적으로 포함한다. 방법은 생성된 루트에 따라 차량이 이동하도록 동작시키는 단계를 추가로 포함한다.
다른 양태에서는, 컴퓨팅 시스템이 개시된다. 컴퓨팅 시스템은 적어도 자율-주행 차량에 커플링되는 이미지 캡처 디바이스에 의해 생성된 이미지 데이터에 기초하여 차량을 동작시키도록 구성된다. 특히, 컴퓨팅 시스템은 하나 이상의 프로세서, 비-일시적 컴퓨터 판독 가능 매체, 및 비-일시적 컴퓨터 판독 가능 매체 상에 저장되고 동작들을 수행하도록 하나 이상의 프로세서에 의해 실행 가능한 프로그램 명령어들을 포함한다. 구체적으로, 프로그램 명령어들은 지리적 영역에 대한 태양의 예상 포지션을 결정하도록 실행 가능할 수 있다. 또한, 프로그램 명령어들은, 적어도 지리적 영역에 대한 태양의 예상 포지션에 기초하여, 지리적 영역 내의 하나 이상의 위치를 통한 차량의 이동으로 인해 이미지 캡처 디바이스의 관점에서 태양이 이미지 캡처 디바이스의 시야 내의 객체에 근접하게 될 것으로 예상된다고 결정을 내리도록 실행 가능할 수 있다. 또한, 프로그램 명령어들은, 결정을 내리는 것에 응답하여, 적어도 하나 이상의 위치를 통한 차량의 이동을 피하는 루트에 기초하여 지리적 영역에서 차량에 대한 루트를 생성하도록 실행 가능할 수 있다. 또한, 프로그램 명령어들은 생성된 루트에 따라 차량이 이동하도록 동작시키도록 실행 가능할 수 있다.
또 다른 양태에서는, 차량이 개시된다. 차량은 차량 주위의 환경을 나타내는 이미지 데이터를 생성하도록 구성되는 이미지 캡처 디바이스, 및 적어도 이미지 캡처 디바이스에 의해 생성된 이미지 데이터에 기초하여 차량을 동작시키도록 구성되는 컴퓨팅 시스템을 포함한다. 또한, 컴퓨팅 시스템은 (i) 지리적 영역에 대한 태양의 예상 포지션을 결정하고, (ii) 적어도 지리적 영역에 대한 태양의 예상 포지션에 기초하여, 지리적 영역 내의 하나 이상의 위치를 통한 차량의 이동으로 인해 이미지 캡처 디바이스의 관점에서 태양이 이미지 캡처 디바이스의 시야 내의 객체에 근접하게 될 것으로 예상된다고 결정을 내리고, (iii) 결정을 내리는 것에 응답하여, 적어도 하나 이상의 위치를 통한 차량의 이동을 피하는 루트에 기초하여 지리적 영역에서 차량에 대한 루트를 생성하고, (iv) 생성된 루트에 따라 차량이 이동하도록 동작시키도록 구성될 수 있다.
또 다른 양태에서는, 다른 시스템이 개시된다. 시스템은 지리적 영역에 대한 태양의 예상 포지션을 결정하기 위한 수단 - 차량은 적어도 차량에 커플링되는 이미지 캡처 디바이스에 의해 생성된 이미지 데이터에 기초하여 동작 가능함 - 을 포함할 수 있다. 시스템은 또한, 적어도 지리적 영역에 대한 태양의 예상 포지션에 기초하여, 지리적 영역 내의 하나 이상의 위치를 통한 차량의 이동으로 인해 이미지 캡처 디바이스의 관점에서 태양이 이미지 캡처 디바이스의 시야 내의 객체에 근접하게 될 것으로 예상된다고 결정을 내리기 위한 수단을 포함할 수 있다. 시스템은, 결정을 내리는 것에 응답하여, 적어도 하나 이상의 위치를 통한 차량의 이동을 피하는 루트에 기초하여 지리적 영역에서 차량에 대한 루트를 생성하기 위한 수단을 추가로 포함할 수 있다. 시스템은 생성된 루트에 따라 차량이 이동하도록 동작시키기 위한 수단을 추가로 포함할 수 있다.
이들 및 다른 양태들, 이점들 및 대안들은, 적절한 경우, 첨부 도면들을 참조하여 다음의 상세한 설명을 읽음으로써 본 기술분야의 통상의 기술자에게 명백해질 것이다. 또한, 본 요약 섹션 및 본 문헌의 다른 곳에서 제공되는 설명은 청구 대상을 제한하기 위한 것이 아니라 예로서 예시하기 위해 의도된다는 것이 이해되어야 한다.
도 1은 예시적인 구현에 따른 차량을 예시하는 기능 블록도이다.
도 2는 예시적인 구현에 따른 차량의 물리적 구성의 개념도이다.
도 3은 예시적인 구현에 따른 자율-주행 차량과 관련된 다양한 컴퓨팅 시스템들 간의 무선 통신의 개념도이다.
도 4a는 예시적인 카메라 시스템의 예시적인 컴포넌트들을 도시하는 간략화된 블록도이다.
도 4b는 예시적인 구현에 따른 카메라 및 와이퍼의 배열을 예시한다.
도 4c는 예시적인 구현에 따른 카메라 및 일렉트로크로믹 윈도우(electrochromic window)의 배열을 예시한다.
도 5a는 교통 신호등 근처의 자율-주행 차량을 예시한다.
도 5b는 자율-주행 차량의 이미지 캡처 디바이스의 관점에서 교통 신호등의 세부 사항들을 모호하게 하는 태양광 글레어를 예시한다.
도 6a는 지리적 영역, 및 지리적 영역에서의 자율-주행 차량에 대한 타겟 위치를 예시한다.
도 6b는 예시적인 구현에 따른 자율-주행 차량에 의해 피해져야 할 지리적 영역에서의 하나 이상의 위치를 예시한다.
도 6c는 예시적인 구현에 따라 하나 이상의 위치를 통한 자율-주행 차량의 이동을 피하는 타겟 위치로의 루트를 예시한다.
도 7a 및 도 7b는 예시적인 구현에 따른 자율-주행 차량의 이미지 캡처 디바이스가 마주치는 태양광의 정도를 제어하기 위한 와이퍼의 사용을 예시한다.
도 8은 예시적인 구현에 따른 자율-주행 차량의 이미지 캡처 디바이스가 마주치는 태양광의 정도를 제어하기 위한 일렉트로크로믹 디바이스의 사용을 예시한다.
도 9는 예시적인 구현에 따른 방법의 흐름도이다.
도 10은 예시적인 구현에 따른 컴퓨터 프로그램 제품의 개략도이다.
예시적인 방법들 및 시스템들이 본 명세서에서 설명된다. "예시적인"이라는 단어는 본 명세서에서 "예, 사례 또는 예시로서 역할하는"을 의미하는 것으로 사용된다는 것이 이해되어야 한다. 본 명세서에서 "예시적인" 또는 "예시적"으로 설명되는 임의의 구현 또는 피처가 반드시 다른 구현들 또는 피처들보다 바람직하거나 유리한 것으로 해석될 필요는 없다. 도면들에서, 문맥상 달리 지시하지 않는 한, 유사한 심볼들은 통상적으로 유사한 컴포넌트들을 식별한다. 본 명세서에서 설명되는 예시적인 구현들은 제한적인 것으로 의도되지 않는다. 본 명세서에서 일반적으로 설명되고 도면들에 예시된 바와 같은 본 개시내용의 양태들은 매우 다양한 상이한 구성들로 배열, 대체, 결합, 분리 및 설계될 수 있으며, 이들 모두 본 명세서에서 고려된다는 것이 쉽게 이해될 것이다.
I. 개요
차량은 운전자로부터의 입력이 거의 없는 또는 전혀 없는 환경을 통해 차량이 내비게이션하는 자율-주행 모드에서 동작하도록 구성될 수 있다. 이러한 자율-주행 차량은 차량이 동작하는 환경에 관한 정보를 제공하는 이미지 데이터를 생성하도록 구성되는 이미지 캡처 디바이스(예를 들어, 하나 이상의 카메라)를 포함할 수 있다. 차량의 컴퓨팅 시스템은 차량을 자율-주행 모드에서 동작시키기 위한 기초로서 이미지 캡처 디바이스에 의해 생성된 이미지 데이터를 사용할 수 있다.
그러나, 일부 상황들에서, 이미지 캡처 디바이스에 의해 생성된 이미지 데이터의 품질은 이미지 캡처 디바이스가 마주치는 태양광으로 인해 저하될 수 있다. 예를 들어, 자율-주행 차량이 교통 신호등을 갖는 교차로에 있을 때, 이미지 캡처 디바이스의 관점에서 태양이 이미지 캡처 디바이스의 시야 내의 교통 신호등에 실질적으로 근접하게 (예를 들어, 교통 신호등 뒤에) 있게 될 수 있다. 차례로, 이러한 상황은 다른 것들 중에서도 블루밍, 렌즈 플레어 또는 미광 등으로 인해 이미지 캡처 디바이스에 의해 캡처된 이미지들의 블루밍 저하로 이어질 수 있다. 결과적으로, 컴퓨팅 시스템은 교통 신호등의 컬러 또는 상태를 결정하기 위한 기초로서, 그리고 이에 따라 차량이 교차로에서 수행해야 하는 후속 자율-주행 동작들을 결정하기 위한 기초로서 이러한 이미지들을 사용하지 못할 수 있다.
이 이슈를 극복하는 데 도움을 줄 수 있는 접근법이 본 명세서에서 개시된다. 개시된 접근법에 따르면, 컴퓨팅 시스템은 지리적 영역에 대한 태양의 포지션을 추적할 수 있고, 이미지 캡처 디바이스의 관점에서 태양이 이미지 캡처 디바이스의 시야 내의 객체에 근접하는 상황을 방지하는 데 도움을 주는 차량에 대한 루트를 결정할 수 있다. 루트가 결정되고 나면, 컴퓨팅 시스템은 결정된 루트에 따라 차량이 이동하도록 동작시킬 수 있다.
보다 구체적으로, 컴퓨팅 시스템은 지리적 영역에 대한 태양의 예상 포지션을 결정할 수 있고, 적어도 예상 포지션을 지리적 영역 내의 하나 이상의 위치를 통한 차량의 이동으로 인해 이미지 캡처 디바이스의 관점에서 태양이 이미지 캡처 디바이스의 시야 내의 객체에 근접하게 될 것으로 예상된다고 결정을 내리기 위한 기초로서 사용할 수 있다. 이를 위해, 컴퓨팅 시스템은, 예를 들어, 주어진 시간에 지리적 영역 위의 하늘에서의 태양의 포지션을 결정하기 위해 궤도력 데이터(ephemeris data)를 사용할 수 있다. 주어진 시간에 지리적 영역에 대한 태양의 포지션이 주어지면, 차량이 주어진 시간에 지리적 영역 내의 주어진 위치에서 이동하는 경우, 컴퓨팅 시스템은 이미지 캡처 디바이스의 시야에 대한 태양의 포지션을 예측할 수 있다. 이미지 캡처 디바이스의 시야에 대한 태양의 예측된 포지션에 기초하여, 그리고 가능하게는 이미지 캡처 디바이스에 대한 객체의 예측된 포지션 및/또는 방위에 기초하여, 컴퓨팅 시스템은 주어진 시간에 주어진 위치를 통한 차량의 이동으로 인해 이미지 캡처 디바이스의 관점에서 태양이 이미지 캡처 디바이스의 시야 내의 객체에 근접하게 될 것으로 예상된다고 결정할 수 있다.
특정 예에서, 컴퓨팅 시스템은 주어진 시간에 교차로 위의 하늘에서의 태양의 포지션을 결정하기 위해 궤도력 데이터를 사용할 수 있다. 또한, 차량이 주어진 시간에 교차로의 특정 부분을 통해 이동하는 경우, 컴퓨팅 시스템은 이미지 캡처 디바이스의 방위 및 포지션을 예측할 수 있다. 또한, 차량이 주어진 시간에 특정 부분을 통해 이동하는 경우, 컴퓨팅 시스템은 이미지 캡처 디바이스에 대한 교차로에서의 교통 신호등의 방위 및/또는 포지션을 예측할 수 있다. 이러한 정보가 주어지면, 차량이 주어진 시간에 교차로의 특정 부분을 통해 이동하는 경우, 컴퓨팅 시스템은 이미지 캡처 디바이스의 관점에서 태양이 이미지 캡처 디바이스의 시야 내의 교통 신호등에 근접할 것으로 예상된다고 결정할 수 있다.
컴퓨팅 시스템이 지리적 영역 내의 하나 이상의 위치를 통한 차량의 이동으로 인해 이미지 캡처 디바이스의 관점에서 태양이 이미지 캡처 디바이스의 시야 내의 객체에 근접하게 될 것으로 예상된다고 결정을 내리고 나면, 컴퓨팅 시스템은 이에 응답하여 차량에 대한 루트를 결정할 때 이 결정을 팩터로서 사용할 수 있다. 특히, 컴퓨팅 시스템은 이에 응답하여 태양이 이미지 캡처 디바이스의 시야 내의 객체에 근접할 것으로 예상되는 하나 이상의 시간 등에서 하나 이상의 위치를 통한 차량의 이동을 피하는 지리적 영역에서의 차량에 대한 루트를 결정할 수 있다. 예를 들어, 이슈가 되는 위치들 중 하나가 특정 도로의 특정 차로인 경우, 컴퓨팅 시스템은 동일한 특정 도로 상에서의 이동은 포함하지만, 대신에 특정 차로 이외의 차로 상에서의 이동을 포함하는 차량에 대한 루트를 결정할 수 있다. 다른 예에서는, 이슈가 되는 위치들 중 하나가 특정 도로의 모든 차로들을 포함하는 경우, 컴퓨팅 시스템은 해당 특정 도로를 전체적으로 피하는 차량에 대한 루트를 결정할 수 있다. 다른 예들도 가능하다.
II. 예시적인 차량 시스템들 및 동작들
본 개시내용의 범위 내에 있는 예시적인 시스템들이 이제 보다 상세하게 설명될 것이다. 예시적인 시스템은 자동차에서 구현될 수도 있고 또는 그 형태를 취할 수도 있다. 그러나, 예시적인 시스템은 또한 자동차들, 트럭들, 오토바이들, 버스들, 보트들, 비행기들, 헬리콥터들, 잔디 깎는 기계들, 토공 기계들, 보트들, 스노우 모바일들, 항공기, 레저용 차량들, 놀이 공원 차량들, 농기구, 건설 장비, 트램들, 골프 카트들, 기차들, 트롤리들 및 로봇 디바이스들과 같은 다른 차량들에서 구현될 수도 있고, 또는 그 형태를 취할 수도 있다. 다른 차량들도 가능하다.
이제 도면들을 참조하면, 도 1은 자율-주행 모드에서 전체적으로 또는 부분적으로 동작하도록 구성될 수 있는 예시적인 차량(100)을 예시하는 기능 블록도이다. 보다 구체적으로, 차량(100)은 컴퓨팅 시스템으로부터 제어 지시들을 수신하는 것을 통해 인간 상호 작용 없이 자율-주행 모드에서 동작할 수 있다. 자율-주행 모드에서 동작하는 것의 일부로서, 차량(100)은 안전한 내비게이션을 가능하게 하도록 주변 환경의 객체들을 검출하고 가능하게는 식별하기 위해 센서들을 사용할 수 있다. 일부 구현들에서, 차량(100)은 또한 운전자가 차량(100)의 동작들을 제어할 수 있게 하는 서브시스템들을 포함할 수 있다.
도 1에 도시된 바와 같이, 차량(100)은 추진 시스템(102), 센서 시스템(104), 제어 시스템(106), 하나 이상의 주변 장치(108), 전원(110), 컴퓨터 시스템(112)(컴퓨팅 시스템이라고도 지칭될 수 있음), 데이터 스토리지(114) 및 사용자 인터페이스(116)와 같은 다양한 서브시스템들을 포함할 수 있다. 다른 예들에서, 차량(100)은 각각 다수의 엘리먼트들을 포함할 수 있는 더 많거나 더 적은 서브시스템들을 포함할 수 있다. 차량(100)의 서브시스템들 및 컴포넌트들은 다양한 방식들로 상호 연결될 수 있다. 또한, 본 명세서에서 설명되는 차량(100)의 기능들은 추가적인 기능적 또는 물리적 컴포넌트들로 분할될 수도 있고, 또는 구현들 내에서 더 적은 기능적 또는 물리적 컴포넌트들로 결합될 수도 있다. 예를 들어, 제어 시스템(106) 및 컴퓨터 시스템(112)은 다양한 동작들에 따라 차량(100)을 동작시키는 단일 시스템으로 결합될 수 있다.
추진 시스템(102)은 차량(100)에 전력 모션을 제공하도록 동작 가능한 하나 이상의 컴포넌트를 포함할 수 있고, 다른 가능한 컴포넌트들 중에서도 엔진/모터(118), 에너지 소스(119), 변속기(120) 및 휠들/타이어들(121)을 포함할 수 있다. 예를 들어, 엔진/모터(118)는 에너지 소스(119)를 기계적 에너지로 변환하도록 구성될 수 있고, 다른 가능한 옵션들 중에서도 내연 엔진, 전기 모터, 증기 엔진 또는 스털링 엔진 중 하나 또는 이들의 조합에 대응할 수 있다. 예를 들어, 일부 구현들에서, 추진 시스템(102)은 가솔린 엔진 및 전기 모터와 같은 다수의 타입들의 엔진들 및/또는 모터들을 포함할 수 있다.
에너지 소스(119)는 차량(100)의 하나 이상의 시스템(예를 들어, 엔진/모터(118))에 전체적으로 또는 부분적으로 전력을 공급할 수 있는 에너지 소스를 나타낸다. 예를 들어, 에너지 소스(119)는 가솔린, 디젤, 기타 석유계 연료들, 프로판, 기타 압축 가스계 연료, 에탄올, 태양 전지판들, 배터리들 및/또는 다른 전력 소스들에 대응할 수 있다. 일부 구현들에서, 에너지 소스(119)는 연료 탱크들, 배터리들, 캐패시터들 및/또는 플라이휠들의 조합을 포함할 수 있다.
변속기(120)는 엔진/모터(118)로부터 휠들/타이어들(121) 및/또는 차량(100)의 다른 가능한 시스템들로 기계적 동력을 전달할 수 있다. 이와 같이, 변속기(120)는 다른 가능한 컴포넌트들 중에서도 기어박스, 클러치, 차동 장치 및 구동 샤프트를 포함할 수 있다. 구동 샤프트는 하나 이상의 휠/타이어(121)에 연결되는 차축들을 포함할 수 있다.
차량(100)의 휠들/타이어들(121)은 예시적인 구현들 내에서 다양한 구성들을 가질 수 있다. 예를 들어, 차량(100)은 다른 가능한 구성들 중에서도 외발 자전거, 자전거/오토바이, 삼륜차 또는 자동차/트럭의 4륜 포맷으로 존재할 수 있다. 이와 같이, 휠들/타이어들(121)은 다양한 방식들로 차량(100)에 연결될 수 있고, 금속 및 고무와 같은 상이한 재료들로 존재할 수 있다.
센서 시스템(104)은 다른 가능한 센서들 중에서도 글로벌 위치결정 시스템(Global Positioning System)(GPS)(122), 관성 측정 유닛(inertial measurement unit)(IMU)(124), 레이더(126), 레이저 거리 측정기/LIDAR(128), 카메라(130), 스티어링 센서(123) 및 스로틀/브레이크 센서(125)와 같은 다양한 타입들의 센서들을 포함할 수 있다. 일부 구현들에서, 센서 시스템(104)은 또한 차량(100)의 내부 시스템들(예를 들어, O2 모니터, 연료 게이지, 엔진 오일 온도, 브레이크 마모)을 모니터링하도록 구성되는 센서들을 포함할 수 있다.
GPS(122)는 지구에 대한 차량(100)의 포지션에 관한 정보를 제공하도록 동작 가능한 송수신기를 포함할 수 있다. IMU(124)는 하나 이상의 가속도계 및/또는 자이로스코프를 사용하는 구성을 가질 수 있고, 관성 가속도에 기초하여 차량(100)의 포지션 및 방위 변화들을 감지할 수 있다. 예를 들어, IMU(124)는 차량(100)이 정지되거나 움직이고 있는 동안 차량(100)의 피치 및 요(yaw)를 검출할 수 있다.
레이더(126)는 차량(100)의 로컬 환경 내에서 객체들의 스피드 및 가는 방향을 포함하여 객체들을 감지하기 위해 라디오 신호들을 사용하도록 구성되는 하나 이상의 시스템을 나타낼 수 있다. 따라서, 레이더(126)는 라디오 신호들을 송신 및 수신하도록 구성되는 안테나들을 포함할 수 있다. 일부 구현들에서, 레이더(126)는 차량(100)의 주변 환경의 측정치들을 획득하도록 구성되는 마운팅 가능형 레이더 시스템에 대응할 수 있다.
레이저 거리 측정기/LIDAR(128)는 다른 시스템 컴포넌트들 중에서도 하나 이상의 레이저 소스, 레이저 스캐너 및 하나 이상의 검출기를 포함할 수 있고, 코히어런트 모드(예를 들어, 헤테로다인 검출 사용) 또는 비코히어런트 검출 모드에서 동작할 수 있다. 카메라(130)는 차량(100)의 환경의 이미지들을 캡처하도록 구성되는 하나 이상의 디바이스(예를 들어, 스틸 카메라 또는 비디오 카메라)를 포함할 수 있다.
스티어링 센서(123)는 차량(100)의 스티어링 각도를 감지할 수 있고, 이는 스티어링 휠의 각도를 측정하거나 또는 스티어링 휠의 각도를 나타내는 전기 신호를 측정하는 것을 포함할 수 있다. 일부 구현들에서, 스티어링 센서(123)는 차량(100)의 전방 축에 대한 휠들의 각도를 검출하는 것과 같이 차량(100)의 휠들의 각도를 측정할 수 있다. 스티어링 센서(123)는 또한 스티어링 휠의 각도, 스티어링 휠의 각도를 나타내는 전기 신호, 및 차량(100)의 휠들의 각도의 조합(또는 서브세트)을 측정하도록 구성될 수 있다.
스로틀/브레이크 센서(125)는 차량(100)의 스로틀 포지션 또는 브레이크 포지션 중 어느 것의 포지션을 검출할 수 있다. 예를 들어, 스로틀/브레이크 센서(125)는 가스 페달(스로틀) 및 브레이크 페달 모두의 각도를 측정할 수도 있고, 또는, 예를 들어, 가스 페달(스로틀)의 각도 및/또는 브레이크 페달의 각도를 나타낼 수 있는 전기 신호를 측정할 수도 있다. 스로틀/브레이크 센서(125)는 또한 차량(100)의 스로틀 본체의 각도를 측정할 수도 있고, 이는 엔진/모터(118)(예를 들어, 버터 플라이 밸브 또는 기화기)에 에너지 소스(119)의 변조를 제공하는 물리적 메커니즘의 일부를 포함할 수 있다. 또한, 스로틀/브레이크 센서(125)는 차량(100)의 로우터에 대한 하나 이상의 브레이크 패드의 압력 또는 가스 페달(스로틀) 및 브레이크 페달의 각도의 조합(또는 서브세트), 가스 페달(스로틀) 및 브레이크 페달의 각도를 나타내는 전기 신호, 스로틀 본체의 각도, 및 적어도 하나의 브레이크 패드가 차량(100)의 로우터에 인가하고 있는 압력을 측정할 수 있다. 다른 구현들에서, 스로틀/브레이크 센서(125)는 스로틀 또는 브레이크 페달과 같은 차량의 페달에 인가되는 압력을 측정하도록 구성될 수 있다.
제어 시스템(106)은 스티어링 유닛(132), 스로틀(134), 브레이크 유닛(136), 센서 융합 알고리즘(138), 컴퓨터 비전 시스템(140), 내비게이션/경로 시스템(142), 및 장애물 회피 시스템(144)과 같이 차량(100)의 내비게이션에 도움을 주도록 구성되는 컴포넌트들을 포함할 수 있다. 보다 구체적으로, 스티어링 유닛(132)은 차량(100)의 가는 방향을 조정하도록 동작 가능할 수 있고, 스로틀(134)은 차량(100)의 가속도를 제어하기 위해 엔진/모터(118)의 동작 스피드를 제어할 수 있다. 브레이크 유닛(136)은 차량(100)을 감속시킬 수 있고, 이는 휠들/타이어들(121)을 감속시키기 위해 마찰을 사용하는 것을 포함할 수 있다. 일부 구현들에서, 브레이크 유닛(136)은 차량(100)의 시스템 또는 시스템들에 의한 후속 사용을 위해 휠들/타이어들(121)의 운동 에너지를 전류로 변환할 수 있다.
센서 융합 알고리즘(138)은 칼만 필터(Kalman filter), 베이지안 네트워크(Bayesian network), 또는 센서 시스템(104)으로부터의 데이터를 프로세싱할 수 있는 다른 알고리즘들을 포함할 수 있다. 일부 구현들에서, 센서 융합 알고리즘(138)은 개별 객체들 및/또는 피처들의 평가들, 특정 상황의 평가들, 및/또는 주어진 상황 내에서의 잠재적인 영향들의 평가들과 같이 입력 센서 데이터에 기초한 평가들을 제공할 수 있다.
컴퓨터 비전 시스템(140)은 객체들, 환경 객체들(예를 들어, 정지등들, 도로 경계들 등) 및 장애물들을 결정하기 위한 노력으로 이미지들을 프로세싱 및 분석하도록 동작 가능한 하드웨어 및 소프트웨어를 포함할 수 있다. 따라서, 컴퓨터 비전 시스템(140)은, 예를 들어, 객체들을 인식하고, 환경을 매핑하고, 객체들을 추적하고, 객체들의 스피드를 추정하는 등을 위해 객체 인식, SFM(Structure From Motion), 비디오 추적, 및 컴퓨터 비전에서 사용되는 다른 알고리즘들을 사용할 수 있다.
내비게이션/경로 시스템(142)은 차량(100)에 대한 주행 경로를 결정할 수 있고, 이는 동작 동안 내비게이션을 동적으로 조정하는 것을 포함할 수 있다. 이와 같이, 내비게이션/경로 시스템(142)은 차량(100)을 내비게이션하기 위해 다른 소스들 중에서도 센서 융합 알고리즘(138), GPS(122) 및 맵들로부터의 데이터를 사용할 수 있다. 장애물 회피 시스템(144)은 센서 데이터에 기초하여 잠재적 장애물들을 평가하고, 차량(100)의 시스템들로 하여금 잠재적 장애물들을 피하거나 또는 다른 방식으로 빠져나가게 할 수 있다.
도 1에 도시된 바와 같이, 차량(100)은 또한 무선 통신 시스템(146), 터치 스크린(148), 마이크로폰(150) 및/또는 스피커(152)와 같은 주변 장치(108)들을 포함할 수 있다. 주변 장치들(108)은 사용자가 사용자 인터페이스(116)와 상호 작용하기 위한 컨트롤들 또는 다른 엘리먼트들을 제공할 수 있다. 예를 들어, 터치 스크린(148)은 차량(100)의 사용자들에게 정보를 제공할 수 있다. 사용자 인터페이스(116)는 또한 터치 스크린(148)을 통해 사용자로부터의 입력을 수용할 수 있다. 주변 장치들(108)은 또한 차량(100)이 다른 차량 디바이스들과 같은 디바이스들과 통신할 수 있게 할 수 있다.
무선 통신 시스템(146)은 직접적으로 또는 통신 네트워크를 통해 하나 이상의 디바이스와 무선으로 통신할 수 있다. 예를 들어, 무선 통신 시스템(146)은 CDMA, EVDO, GSM/GPRS, 또는 WiMAX 또는 LTE와 같은 4G 셀룰러 통신과 같은 3G 셀룰러 통신을 사용할 수 있다. 대안적으로, 무선 통신 시스템(146)은 WiFi 또는 다른 가능한 연결들을 사용하여 무선 근거리 네트워크(wireless local area network)(WLAN)와 통신할 수 있다. 무선 통신 시스템(146)은 또한, 예를 들어, 적외선 링크, 블루투스 또는 지그비를 사용하여 디바이스와 직접 통신할 수 있다. 다양한 차량 통신 시스템들과 같은 다른 무선 프로토콜들도 본 개시내용의 맥락 내에서 가능하다. 예를 들어, 무선 통신 시스템(146)은 차량들 및/또는 도로변 통신 기기(roadside station)들 사이의 공공 및/또는 개인 데이터 통신을 포함할 수 있는 하나 이상의 전용 단거리 통신(dedicated short-range communications)(DSRC) 디바이스를 포함할 수 있다.
차량(100)은 컴포넌트들에 전력을 공급하기 위한 전원(110)을 포함할 수 있다. 전원(110)은 일부 구현들에서 재충전 가능한 리튬-이온 또는 납-산 배터리를 포함할 수 있다. 예를 들어, 전원(110)은 전력을 제공하도록 구성되는 하나 이상의 배터리를 포함할 수 있다. 차량(100)은 또한 다른 타입들의 전원들을 사용할 수 있다. 예시적인 구현에서, 전원(110) 및 에너지 소스(119)는 단일 에너지 소스로 통합될 수 있다.
차량(100)은 또한 본 명세서에서 설명되는 동작들과 같은 동작들을 수행하기 위한 컴퓨터 시스템(112)을 포함할 수 있다. 따라서, 컴퓨터 시스템(112)은 데이터 스토리지(114)와 같은 비-일시적 컴퓨터 판독 가능 매체에 저장된 명령어들(115)을 실행하도록 동작 가능한 적어도 하나의 프로세서(113)(이는 적어도 하나의 마이크로프로세서를 포함할 수 있음)를 포함할 수 있다. 일부 구현들에서, 컴퓨터 시스템(112)은 분산 방식으로 차량(100)의 개별 컴포넌트들 또는 서브시스템들을 제어하는 역할을 할 수 있는 복수의 컴퓨팅 디바이스들을 나타낼 수 있다.
일부 구현들에서, 데이터 스토리지(114)는 도 1과 관련하여 위에서 설명된 것들을 포함하여 차량(100)의 다양한 기능들을 실행하기 위해 프로세서(113)에 의해 실행 가능한 명령어들(115)(예를 들어, 프로그램 로직)을 포함할 수 있다. 데이터 스토리지(114)는 추진 시스템(102), 센서 시스템(104), 제어 시스템(106) 및 주변 장치들(108) 중 하나 이상으로 데이터를 송신하고, 이들로부터 데이터를 수신하고, 이들과 상호 작용하고/하거나 이들을 제어하기 위한 명령어들뿐만 아니라 추가 명령어들도 포함할 수 있다.
명령어들(115)에 더하여, 데이터 스토리지(114)는 다른 정보 중에서도 도로 맵들, 경로 정보와 같은 데이터를 저장할 수 있다. 이러한 정보는 자율-주행, 반자율-주행 및/또는 수동-주행 모드들에서의 차량(100)의 동작 동안 차량(100) 및 컴퓨터 시스템(112)에 의해 사용될 수 있다.
차량(100)은 차량(100)의 사용자에게 정보를 제공하거나 또는 이로부터 입력을 수신하기 위한 사용자 인터페이스(116)를 포함할 수 있다. 사용자 인터페이스(116)는 터치 스크린(148) 상에 디스플레이될 수 있는 상호 작용형 이미지들의 컨텐츠 및/또는 레이아웃을 제어하거나 또는 이들의 제어를 가능하게 할 수 있다. 또한, 사용자 인터페이스(116)는 무선 통신 시스템(146), 터치 스크린(148), 마이크로폰(150) 및 스피커(152)와 같은 주변 장치들(108)의 세트 내에 하나 이상의 입력/출력 디바이스를 포함할 수 있다.
컴퓨터 시스템(112)은 다양한 서브시스템들(예를 들어, 추진 시스템(102), 센서 시스템(104) 및 제어 시스템(106))뿐만 아니라 사용자 인터페이스(116)로부터 수신된 입력들에 기초하여 차량(100)의 기능을 제어할 수 있다. 예를 들어, 컴퓨터 시스템(112)은 추진 시스템(102) 및 제어 시스템(106)에 의해 생성된 출력을 추정하기 위해 센서 시스템(104)으로부터의 입력을 활용할 수 있다. 구현에 따라, 컴퓨터 시스템(112)은 차량(100) 및 그 서브시스템들의 많은 양태들을 모니터링하도록 동작 가능할 수 있다. 일부 구현들에서, 컴퓨터 시스템(112)은 센서 시스템(104)으로부터 수신된 신호들에 기초하여 차량(100)의 일부 또는 모든 기능들을 디스에이블할 수 있다.
차량(100)의 컴포넌트들은 그들 각각의 시스템들 내부 또는 외부의 다른 컴포넌트들과 상호 연결된 방식으로 동작하도록 구성될 수 있다. 예를 들어, 예시적인 구현에서, 카메라(130)는 자율-주행 모드에서 동작하는 차량(100)의 환경의 상태에 관한 정보를 나타낼 수 있는 복수의 이미지들을 캡처할 수 있다. 환경의 상태는 차량이 동작하고 있는 도로의 파라미터들을 포함할 수 있다. 예를 들어, 컴퓨터 비전 시스템(140)은 도로의 복수의 이미지들에 기초하여 경사(등급) 또는 다른 피처들을 인식 가능할 수 있다. 또한, GPS(122)와 컴퓨터 비전 시스템(140)에 의해 인식된 피처들의 조합이 특정 도로 파라미터들을 결정하기 위해 데이터 스토리지(114)에 저장된 맵 데이터와 함께 사용될 수 있다. 또한, 레이더 유닛(126)은 차량의 주변에 관한 정보를 제공할 수도 있다.
다시 말해서, 다양한 센서들(입력-표시 및 출력-표시 센서들로 명명될 수 있음)과 컴퓨터 시스템(112)의 조합은 차량을 제어하기 위해 제공된 입력의 표시 또는 차량 주변의 표시를 제공하기 위해 상호 작용할 수 있다.
일부 구현들에서, 컴퓨터 시스템(112)은 라디오 시스템 이외의 시스템들에 의해 제공되는 데이터에 기초하여 다양한 객체들에 관한 결정을 내릴 수 있다. 예를 들어, 차량(100)은 차량의 시야 내의 객체들을 감지하도록 구성되는 레이저 또는 다른 광학 센서들을 가질 수 있다. 컴퓨터 시스템(112)은 차량의 시야 내의 객체들에 관한 정보를 결정하기 위해 다양한 센서들로부터의 출력들을 사용할 수 있고, 다양한 객체들에 대한 거리 및 방향 정보를 결정할 수 있다. 컴퓨터 시스템(112)은 또한 다양한 센서들로부터의 출력들에 기초하여 객체들이 바람직한지 또는 바람직하지 않은지를 결정할 수 있다.
도 1은 차량(100)의 다양한 컴포넌트들, 즉, 무선 통신 시스템(146), 컴퓨터 시스템(112), 데이터 스토리지(114) 및 사용자 인터페이스(116)를 차량(100)에 통합되어 있는 것으로 도시하지만, 이들 컴포넌트들 중 하나 이상은 차량(100)과 별개로 마운팅되거나 연관될 수 있다. 예를 들어, 데이터 스토리지(114)는 부분적으로 또는 전체적으로 차량(100)과 별개로 존재할 수 있다. 따라서, 차량(100)은 별개로 또는 함께 위치될 수 있는 디바이스 엘리먼트들의 형태로 제공될 수 있다. 차량(100)을 구성하는 디바이스 엘리먼트들은 유선 및/또는 무선 방식으로 통신 가능하게 함께 커플링될 수 있다.
도 2는 도 1을 참조하여 설명된 차량(100)의 하나의 가능한 물리적 구성을 나타낼 수 있는 차량(200)의 예시적인 물리적 구성을 도시한다. 구현에 따르면, 차량(200)은 다른 가능한 컴포넌트들 중에서도 센서 유닛(202), 무선 통신 시스템(204), 라디오 유닛(206), 디플렉터들(208) 및 카메라(210)를 포함할 수 있다. 예를 들어, 차량(200)은 도 1에서 설명된 컴포넌트들의 엘리먼트들 중 일부 또는 전부를 포함할 수 있다. 차량(200)은 도 2에 자동차로서 도시되어 있지만, 차량(200)은 다른 가능한 예들 중에서도 트럭, 밴, 세미-트레일러 트럭, 오토바이, 골프 카트, 오프-로드 차량 또는 농장 차량과 같이 예들 내의 다른 구성들을 가질 수 있다.
센서 유닛(202)은 차량(200)의 주변 환경의 정보를 캡처하도록 구성되는 하나 이상의 센서를 포함할 수 있다. 예를 들어, 센서 유닛(202)은 다른 가능한 타입들의 센서들 중에서도 카메라들, 레이더들, LIDAR들, 거리 측정기들, 라디오 디바이스들(예를 들어, 블루투스 및/또는 802.11) 및 음향 센서들의 임의의 조합을 포함할 수 있다. 일부 구현들에서, 센서 유닛(202)은 센서 유닛(202)에서의 센서들의 방위를 조정하도록 동작 가능한 하나 이상의 이동식 마운트를 포함할 수 있다. 예를 들어, 이동식 마운트는 차량(200) 주위의 각각의 방향으로부터 정보를 획득하기 위해 센서들을 스캔할 수 있는 회전 플랫폼을 포함할 수 있다. 센서 유닛(202)의 이동식 마운트는 또한 특정 범위의 각도들 및/또는 방위각들 내에서 스캐닝 방식으로 이동 가능할 수 있다.
일부 구현들에서, 센서 유닛(202)은 센서 유닛(202)이 자동차의 지붕 상부에 마운팅될 수 있게 하는 기계적 구조물들을 포함할 수 있다. 또한, 다른 마운팅 위치들도 예들 내에서 가능하다.
무선 통신 시스템(204)은 도 2에 도시된 바와 같이 차량(200)에 대한 위치를 가질 수 있지만, 구현들 내에서 상이한 위치들을 가질 수도 있다. 무선 통신 시스템(200)은 다른 외부 또는 내부 디바이스들과 통신할 수 있는 하나 이상의 무선 송신기 및 하나 이상의 수신기를 포함할 수 있다. 예를 들어, 무선 통신 시스템(204)은 다른 가능한 엔티티들 중에서도 사용자의 디바이스, 다른 차량들 및 도로 엘리먼트들(예를 들어, 표지판들, 교통 신호등들)과 통신하기 위한 하나 이상의 송수신기를 포함할 수 있다. 이와 같이, 차량(200)은 전용 단거리 통신(DSRC), 라디오 주파수 식별(radio frequency identification)(RFID), 및 지능형 전송 시스템들을 향해 지향되는 다른 제안된 통신 표준들과 같이 통신을 용이하게 하기 위한 하나 이상의 차량 통신 시스템을 포함할 수 있다.
카메라(210)는 차량(200)의 앞 윈드실드 상의 위치와 같은 차량(200)에 대한 다양한 포지션들을 가질 수 있다. 따라서, 카메라(210)는 차량(200)의 환경의 이미지들을 캡처할 수 있다. 도 2에 예시된 바와 같이, 카메라(210)는 차량(200)에 대한 전방-관측(정면-주시) 뷰로부터 이미지들을 캡처할 수 있지만, 카메라(210)의 다른 마운팅 위치들(이동식 마운트들 포함) 및 시야각들도 구현들 내에서 가능하다. 예를 들어, 카메라(210)는 카메라가 차량(200)의 윈드실드를 통해 차량(200)의 환경의 이미지들을 캡처하도록 차량 내에 위치 결정될 수 있다.
일부 예들에서, 카메라(210)는 하나 이상의 가시광 카메라에 대응할 수 있다. 대안적으로 또는 추가적으로, 카메라(210)는 적외선 감지 능력들을 포함할 수 있다. 카메라(210)는 또한 조정 가능한 시야를 제공할 수 있는 광학기들을 포함할 수 있다. 다른 예들도 가능하다.
도 3은 예시적인 구현에 따른 자율-주행 차량과 관련된 다양한 컴퓨팅 시스템들 간의 무선 통신의 개념도이다. 특히, 무선 통신은 네트워크(304)를 통해 원격 컴퓨팅 시스템(302)과 차량(200) 사이에서 발생할 수 있다. 무선 통신은 또한 서버 컴퓨팅 시스템(306)과 원격 컴퓨팅 시스템(302) 사이, 및 서버 컴퓨팅 시스템(306)과 차량(200) 사이에서 발생할 수 있다.
차량(200)은 위치들 사이에서 승객들 또는 객체들을 운송할 수 있는 다양한 타입들의 차량들에 대응할 수 있고, 위에서 논의된 차량들 중 임의의 하나 이상의 것의 형태를 취할 수 있다. 일부 예들에서, 차량(200)은 제어 시스템이 센서 측정치들을 사용하여 목적지들 사이에서 차량(200)을 안전하게 내비게이션할 수 있게 하는 자율-주행 모드에서 동작할 수 있다. 자율-주행 모드에서 동작할 때, 차량(200)은 승객들의 유무에 관계없이 내비게이션할 수 있다. 결과적으로, 차량(200)은 원하는 목적지들 사이에서 승객들을 픽업 및 드롭할 수 있다.
원격 컴퓨팅 시스템(302)은 본 명세서에서 설명된 것들을 포함하되, 이에 제한되지 않는 원격 지원 기술들과 관련된 임의의 타입의 디바이스를 나타낼 수 있다. 예들 내에서, 원격 컴퓨팅 시스템(302)은 (i) 차량(200)과 관련된 정보를 수신하고, (ii) 인간 오퍼레이터가 차례로 정보를 인식하고 정보와 관련된 응답을 입력할 수 있는 인터페이스를 제공하고, (iii) 차량(200) 또는 다른 디바이스들에 응답을 송신하도록 구성되는 임의의 타입의 디바이스를 나타낼 수 있다. 원격 컴퓨팅 시스템(302)은 워크 스테이션, 데스크탑 컴퓨터, 랩탑, 태블릿, 모바일폰(예를 들어, 스마트폰) 및/또는 서버와 같은 다양한 형태들을 취할 수 있다. 일부 예들에서, 원격 컴퓨팅 시스템(302)은 네트워크 구성에서 함께 동작하는 다수의 컴퓨팅 디바이스들을 포함할 수 있다.
원격 컴퓨팅 시스템(302)은 차량(200)의 서브시스템들 및 컴포넌트들과 유사하거나 동일한 하나 이상의 서브시스템 및 컴포넌트를 포함할 수 있다. 최소한, 원격 컴퓨팅 시스템(302)은 본 명세서에서 설명되는 다양한 동작들을 수행하도록 구성되는 프로세서를 포함할 수 있다. 일부 구현들에서, 원격 컴퓨팅 시스템(302)은 또한 터치 스크린 및 스피커와 같은 입력/출력 디바이스들을 포함하는 사용자 인터페이스를 포함할 수 있다. 다른 예들도 가능하다.
네트워크(304)는 원격 컴퓨팅 시스템(302)과 차량(200) 사이의 무선 통신을 가능하게 하는 인프라스트럭처를 나타낸다. 네트워크(304)는 또한 서버 컴퓨팅 시스템(306)과 원격 컴퓨팅 시스템(302) 사이, 및 서버 컴퓨팅 시스템(306)과 차량(200) 사이의 무선 통신을 가능하게 한다.
원격 컴퓨팅 시스템(302)의 포지션은 예들 내에서 변할 수 있다. 예를 들어, 원격 컴퓨팅 시스템(302)은 네트워크(304)를 통한 무선 통신을 갖는 차량(200)으로부터의 원격 포지션을 가질 수 있다. 다른 예에서, 원격 컴퓨팅 시스템(302)은 차량(200)과는 별개이지만, 이에 의해 인간 오퍼레이터가 차량(200)의 승객 또는 운전자와 상호 작용할 수 있는 차량(200) 내의 컴퓨팅 디바이스에 대응할 수 있다. 일부 예들에서, 원격 컴퓨팅 시스템(302)은 차량(200)의 승객에 의해 동작 가능한 터치 스크린을 갖는 컴퓨팅 디바이스일 수 있다.
일부 구현들에서, 원격 컴퓨팅 시스템(302)에 의해 수행되는 본 명세서에서 설명되는 동작들은 차량(200)에 의해(즉, 차량(200)의 임의의 시스템(들) 또는 서브시스템(들)에 의해) 추가적으로 또는 대안적으로 수행될 수 있다. 다시 말해서, 차량(200)은 차량의 운전자 또는 승객이 상호 작용할 수 있는 원격 지원 메커니즘을 제공하도록 구성될 수 있다.
서버 컴퓨팅 시스템(306)은 네트워크(304)를 통해 원격 컴퓨팅 시스템(302) 및 차량(200)과 무선으로 (또는 아마도 원격 컴퓨팅 시스템(302) 및/또는 차량(200)과 직접적으로) 통신하도록 구성될 수 있다. 서버 컴퓨팅 시스템(306)은 차량(200) 및 그 원격 지원에 관한 정보를 수신, 저장, 결정 및/또는 전송하도록 구성되는 임의의 컴퓨팅 디바이스를 나타낼 수 있다. 따라서, 서버 컴퓨팅 시스템(306)은 원격 컴퓨팅 시스템(302) 및/또는 차량(200)에 의해 수행되는 것으로 본 명세서에서 설명되는 임의의 동작(들) 또는 이러한 동작(들)의 일부들을 수행하도록 구성될 수 있다. 원격 지원과 관련된 무선 통신의 일부 구현들은 서버 컴퓨팅 시스템(306)을 활용할 수 있지만, 다른 것들은 그렇지 않을 수 있다.
서버 컴퓨팅 시스템(306)은 본 명세서에서 설명되는 다양한 동작들을 수행하도록 구성되는 프로세서, 및 원격 컴퓨팅 시스템(302) 및 차량(200)으로부터 정보를 수신하고 이에 정보를 제공하기 위한 무선 통신 인터페이스와 같이, 원격 컴퓨팅 시스템(302) 및/또는 차량(200)의 서브시스템들 및 컴포넌트들과 유사하거나 동일한 하나 이상의 서브시스템 및 컴포넌트를 포함할 수 있다.
위에서 설명된 다양한 시스템들은 다양한 동작들을 수행할 수 있다. 이러한 동작들 및 관련 피처들이 이제 설명될 것이다.
상기 논의에 따라, 컴퓨팅 시스템(예를 들어, 원격 컴퓨팅 시스템(302), 또는 아마도 서버 컴퓨팅 시스템(306), 또는 차량(200)에 로컬인 컴퓨팅 시스템)은 자율-주행 차량의 환경의 이미지들을 캡처하기 위해 카메라를 사용하도록 동작할 수 있다. 일반적으로, 적어도 하나의 컴퓨팅 시스템은 이미지들을 분석하고, 가능하게는 자율-주행 차량을 제어할 수 있을 것이다.
일부 구현들에서, 자율-주행 동작을 용이하게 하기 위해, 차량(예를 들어, 차량(200))은 차량이 동작하는 환경 내의 객체들을 나타내는 데이터(본 명세서에서는, "환경 데이터"로도 지칭됨)를 다양한 방식들로 수신할 수 있다. 차량 상의 센서 시스템은 환경의 객체들을 나타내는 환경 데이터를 제공할 수 있다. 예를 들어, 차량은 카메라, 레이더 유닛, 레이저 거리 측정기, 마이크로폰, 라디오 유닛 및 기타 센서들을 포함하는 다양한 센서들을 가질 수 있다. 이들 센서들 각각은 각각의 개별 센서가 수신하는 정보에 관해 환경 데이터를 차량의 프로세서로 통신할 수 있다.
일례에서, 카메라는 정지 이미지들 및/또는 비디오를 캡처하도록 구성될 수 있다. 일부 구현들에서, 차량은 상이한 방위들로 위치 결정된 2개 이상의 카메라를 가질 수 있다. 또한, 일부 구현들에서, 카메라는 상이한 방향들에서 이미지들 및/또는 비디오를 캡처하도록 이동 가능할 수 있다. 카메라는 차량의 프로세싱 시스템에 의한 추후 프로세싱을 위해 캡처된 이미지들 및 비디오를 메모리에 저장하도록 구성될 수 있다. 캡처된 이미지들 및/또는 비디오는 환경 데이터일 수 있다. 또한, 카메라는 본 명세서에서 설명된 이미지 센서를 포함할 수 있다.
다른 예에서, 레이더 유닛은 차량 근처의 다양한 객체들에 의해 반사될 전자기 신호를 송신한 다음, 객체들에서 반사되는 전자기 신호들을 캡처하도록 구성될 수 있다. 캡처된 반사된 전자기 신호들은 레이더 시스템(또는 프로세싱 시스템)이 전자기 신호를 반사한 객체들에 관한 다양한 결정들을 내리게 할 수 있다. 예를 들어, 다양한 반사 객체들까지의 거리 및 포지션이 결정될 수 있다. 일부 구현들에서, 차량은 상이한 방위들에서 2개 이상의 레이더를 가질 수 있다. 레이더 시스템은 차량의 프로세싱 시스템에 의한 추후 프로세싱을 위해 캡처된 정보를 메모리에 저장하도록 구성될 수 있다. 레이더 시스템에 의해 캡처된 정보는 환경 데이터일 수 있다.
다른 예에서, 레이저 거리 측정기는 차량 근처의 타겟 객체들에 의해 반사될 전자기 신호(예를 들어, 가스 또는 다이오드 레이저 또는 다른 가능한 광원으로부터의 것과 같은 광)를 송신하도록 구성될 수 있다. 레이저 거리 측정기는 반사된 전자기(예를 들어, 레이저) 신호들을 캡처 가능할 수 있다. 캡처된 반사된 전자기 신호들은 거리-측정 시스템(또는 프로세싱 시스템)이 다양한 객체들에 대한 거리를 결정할 수 있게 한다. 거리-측정 시스템은 또한 타겟 객체들의 속도 또는 스피드를 결정하고, 이를 환경 데이터로서 저장 가능할 수 있다.
또한, 예에서, 마이크로폰은 차량을 둘러싼 환경의 오디오를 캡처하도록 구성될 수 있다. 마이크로폰에 의해 캡처된 사운드들은 긴급 차량 사이렌들 및 다른 차량들의 사운드들을 포함할 수 있다. 예를 들어, 마이크로폰은 긴급 차량의 사이렌의 사운드를 캡처할 수 있다. 프로세싱 시스템은 캡처된 오디오 신호가 긴급 차량을 나타내는 것을 식별할 수 있다. 다른 예에서, 마이크로폰은 오토바이로부터의 것과 같은 다른 차량의 배기가스 사운드를 캡처할 수 있다. 프로세싱 시스템은 캡처된 오디오 신호가 오토바이를 나타내는 것을 식별할 수 있다. 마이크로폰에 의해 캡처된 데이터는 환경 데이터의 일부를 형성할 수 있다.
또 다른 예에서, 라디오 유닛은 블루투스 신호, 802.11 신호 및/또는 다른 라디오 기술 신호의 형태를 취할 수 있는 전자기 신호를 송신하도록 구성될 수 있다. 제1 전자기 방사선 신호는 라디오 유닛 내에 위치된 하나 이상의 안테나를 통해 송신될 수 있다. 또한, 제1 전자기 방사선 신호는 많은 상이한 라디오-시그널링 모드들 중 하나로 송신될 수 있다. 그러나, 일부 구현들에서는, 자율-주행 차량 근처에 위치된 디바이스들로부터 응답을 요청하는 시그널링 모드로 제1 전자기 방사선 신호를 송신하는 것이 바람직하다. 프로세싱 시스템은 라디오 유닛으로 다시 통신된 응답들에 기초하여 근처의 디바이스들을 검출하고, 이 통신된 정보를 환경 데이터의 일부로서 사용 가능할 수 있다.
일부 구현들에서, 프로세싱 시스템은 차량의 환경에 대해 추가로 결정을 내리기 위해 다양한 센서들로부터의 정보를 결합할 수 있다. 예를 들어, 프로세싱 시스템은 다른 차량 또는 보행자가 자율-주행 차량 앞에 있는지 여부를 결정하기 위해 레이더 정보 및 캡처된 이미지 둘 다로부터의 데이터를 결합할 수 있다. 다른 구현들에서는, 센서 데이터의 다른 결합들이 환경에 관한 결정들을 내리기 위해 프로세싱 시스템에 의해 사용될 수 있다.
차량은 자율-주행 모드에서 동작하는 동안, 인간의 입력이 거의 없거나 전혀 없는 상태에서 그 동작을 제어할 수 있다. 예를 들어, 인간 오퍼레이터는 차량에 주소를 입력할 수 있고, 차량은 인간으로부터의 추가 입력 없이(예를 들어, 인간이 브레이크/가스 페달들을 스티어링하거나 터치할 필요가 없음) 특정 목적지까지 주행할 수 있다. 또한, 차량이 자율적으로 동작하고 있는 동안, 센서 시스템은 환경 데이터를 수신하고 있을 수 있다. 차량의 프로세싱 시스템은 다양한 센서들로부터 수신된 환경 데이터에 기초하여 차량의 제어를 변경할 수 있다. 일부 예들에서, 차량은 다양한 센서들로부터의 환경 데이터에 응답하여 차량의 속도를 변경할 수 있다. 차량은 장애물들을 피하고 교통 법규들을 준수하는 등을 위해 속도를 변경할 수 있다. 차량의 프로세싱 시스템이 차량 근처의 객체들을 식별할 때, 차량은 속도를 변경할 수도 있고, 또는 다른 방식으로 이동을 변경할 수도 있다.
차량이 객체를 검출하지만 객체의 검출에 대해 높은 확신이 없는 경우, 차량은 인간 오퍼레이터(또는 더 강력한 컴퓨터)가 (i) 객체가 실제로 환경에 존재하는지 여부(예를 들어, 실제로 정지 표지판이 있는지 여부 또는 실제로 정지 표지판이 존재하지 않는지 여부)에 대한 컨펌, (ii) 객체의 차량 식별이 올바른지 여부에 대한 컨펌, (iii) 식별이 부정확한 경우, 식별에 대한 정정, 및/또는 (iv) 자율-주행 차량을 위한 보완 지시 제공(또는 현재 지시 수정)과 같은 하나 이상의 원격 지원 태스크를 수행하도록 요청할 수 있다. 원격 지원 태스크들은 또한 인간 오퍼레이터가 차량의 동작을 제어하기 위한 지시를 제공하는 것(예를 들어, 인간 오퍼레이터가 객체가 정지 표지판이라고 결정하는 경우, 차량이 정지 표지판에서 정지하도록 지시하는 것)을 포함할 수 있지만, 일부 시나리오들에서는, 차량 자체적으로 객체의 식별에 관한 인간 오퍼레이터의 피드백에 기초하여 그 자신의 동작을 제어할 수 있다.
III. 예시적인 카메라 시스템들 및 동작들
도 4a는 예시적인 카메라 시스템(400)의 예시적인 컴포넌트들을 도시하는 간략화된 블록도를 도시한다. 이 예시적인 카메라 시스템(400)은 카메라(130)에 대응할 수 있다. 또한, 카메라 시스템(400)의 다양한 컴포넌트들이 분산형 컴포넌트들로서 도시되어 있지만, 이러한 컴포넌트들 중 임의의 것이 컴퓨팅 시스템의 원하는 구성에 따라 물리적으로 통합 및/또는 분산될 수 있다는 것이 이해되어야 한다.
카메라 시스템(400)은 적어도 하나의 프로세서(402) 및 시스템 메모리(404)를 포함할 수 있다. 예시적인 실시예에서, 카메라 시스템(400)은 프로세서(402) 및 시스템 메모리(404)를 통신 가능하게 연결하는 시스템 버스(408)뿐만 아니라, 카메라 시스템(400)의 다른 컴포넌트들도 포함할 수 있다. 원하는 구성에 따라, 프로세서(402)는 마이크로프로세서(μP), 마이크로제어기(μC), 디지털 신호 프로세서(digital signal processor)(DSP) 또는 이들의 임의의 조합을 포함하되, 이에 제한되지 않는 임의의 타입의 프로세서일 수 있다. 또한, 시스템 메모리(404)는 (RAM과 같은) 휘발성 메모리, (ROM, 플래시 메모리 등과 같은) 비-휘발성 메모리 또는 이들의 임의의 조합을 포함하되, 이에 제한되지 않는 현재 공지되거나 또는 나중에 개발될 임의의 타입의 메모리일 수 있다. 일부 예들에서, 시스템 메모리(404)는 이미지 데이터를 일시적으로 저장하기 위한 메모리 캐시일 수 있다.
예시적인 카메라 시스템(400)은 다양한 다른 컴포넌트들 또한 포함할 수 있다. 예를 들어, 카메라 시스템(400)은 이미지 센서(406)를 포함한다. 이미지 센서(406)는 본 명세서에 설명된 바와 같은 이미지 센서일 수 있다. 예를 들어, 이미지 센서(406)는 롤링 셔터를 포함할 수 있고, 프로세서(402)에 의해 선택적으로인에이블 또는 디스에이블되는 부분들을 갖도록 구성될 수 있다. 또한, 카메라 시스템(400)은 본 명세서에서 설명되는 다양한 기능들을 용이하게 하기 위해 시스템 메모리(404)(및/또는 가능하게는 다른 데이터-저장 매체)에 저장되고 프로세서(402)에 의해 실행 가능한 프로그램 명령어들(410)을 포함할 수 있다.
또한, 카메라 시스템(400)은 외부 컴퓨팅 시스템에 커플링될 수 있다. 외부 컴퓨팅 시스템(412)은 자율-주행 차량의 상이한 부분에 위치되고/되거나 원격 컴퓨터 서버에 위치된 컴퓨팅 시스템일 수 있다. 예를 들어, 외부 컴퓨팅 시스템(412)은 컴퓨팅 시스템(112)일 수 있다. 임의의 경우, 컴퓨팅 시스템(412)은 다른 옵션들 중에서도 카메라 시스템(400)의 다양한 동작들을 제어할 수 있다.
예시적인 실시예들에 따르면, 카메라 시스템(400)은 또한 카메라 시스템(400)이 (예를 들어, 이미지 센서(406)가) 마주치는 외부 광의 정도를 제어하도록 조정 가능한 광-제어 피처(414)를 포함할 수 있다. 본 명세서에서 추가로 설명되는 바와 같이, 광-제어 피처(414)는, 예를 들어, 와이퍼와 같은 기계적 디바이스일 수 있다. 추가적으로 또는 대안적으로, 광-제어 피처(414)는 일렉트로크로믹 디바이스(예를 들어, 일렉트로크로믹 윈도우) 또는 가변 액정 디스플레이(liquid-crystal display)(LCD)와 같이 조정 가능한 광 투과 특성들을 갖는 광-제어 디바이스일 수 있다. 또한, 광-제어 피처(414)는, 예를 들어, 컴퓨팅 시스템(412)과 같은 컴퓨팅 시스템에 의해 제어될 수 있다. 다른 배열들도 가능하다.
다음으로, 도 4b 및 도 4c는 카메라 및 광-제어 피처의 예시적인 구성을 예시한다.
초기 문제로서, 도 4b 및 도 4c는 각각 광학 시스템(416)(예를 들어, 렌즈) 및 이미지 센서(418)를 포함하는 장치의 이미징 동작을 예시한다. 이미지 센서(418)는 도 4a에 도시된 카메라 시스템(400)과 같은 카메라에 있을 수 있다. 광학 시스템(416)은 이미지 센서(418)에 전체 시야(420)를 제공한다. 전체 시야(420)는 수직 시야(422) 및 수평 시야(424)를 포함한다. 전체 시야(420)는 이미지 센서(418)가 광학 시스템(416)을 통해 이미징할 수 있는 가장 큰 각도 범위에 대응한다.
또한, 도 4b 및 도 4c는 각각 광학 시스템(416) 및 이미지 센서(418)가 하우징(426) 내에 배치될 수 있음을 각각 예시한다. 하우징(426)은 애퍼처(428)(예를 들어, 투명 애퍼처)를 포함하고, 이를 통해 이미지 센서(418)가 차량의 환경의 이미지들을 캡처할 수 있는 것으로 도시되어 있다. 또한, 하우징(426)은 축(432)을 중심으로 회전할 수 있는 회전 플랫폼(430)에 커플링될 수 있으며, 이에 따라 하우징(426), 광학 시스템(416) 및 이미지 센서(418)의 회전을 야기할 수 있다. 이러한 방식으로, 이미지 센서(418)는 차량의 환경의 다양한 부분들의 이미지들을 캡처한다.
그러나, 다른 구현에서, 광학 시스템(416), 이미지 센서(418) 및 하우징(426) 중 임의의 하나는 (예를 들어, 차량의 일부에) 실질적으로 고정될 수 있고, 따라서 축을 중심으로 회전할 필요는 없을 수 있다. 예를 들어, 이미지 센서(418)는 차량 환경의 특정 부분(들)의 이미지들을 획득하기 위해 차량에 고정될 수 있다. 다른 구현들도 가능하다.
본 개시내용에 따라, 도 4b 및 도 4c는 또한 광-제어 피처들을 예시한다. 예를 들어, 도 4b는 하우징(426)의 외부 부분, 특히 애퍼처(428) 근처에 커플링되는 와이퍼(434)를 예시한다. 이러한 배열에 의하면, 컴퓨팅 시스템은 이미지 센서(418) 및/또는 광학 시스템(416)이 마주치는 외부 광의 정도를 제어하기 위해 이미지 센서(418)에 대한 와이퍼(434)의 포지션을 조정할 수 있다(예를 들어, 시야(420)에 대한 와이퍼(434)의 포지션을 조정할 수 있다). 다른 예에서, 도 4c는 애퍼처(428) 내에 통합되는 일렉트로크로믹 윈도우(436)를 예시하며, 이는 이미지 센서(418)로 하여금 일렉트로크로믹 윈도우(436)를 통해 환경의 이미지들을 캡처하게 한다. 그리고, 본 명세서에서 추가로 논의되는 바와 같이, 일렉트로크로믹 윈도우(436)는 조정 가능한 광 투과 특성들을 가질 수 있다. 이러한 배열에 의하면, 컴퓨팅 시스템은 이미지 센서(418)가 마주치는 외부 광의 정도를 제어하기 위해 일렉트로크로믹 윈도우(436)의 광 투과 특성들을 조정할 수 있다. 다른 예시들도 가능하다.
IV. 태양-인식 차량 라우팅
상기 논의에 따르면, 이미지 캡처 디바이스는, 예를 들어, 차량(예를 들어, 차량(100)) 주위 환경과 같은 환경을 나타내는 이미지 데이터(예를 들어, 환경의 캡처 이미지(들))를 생성할 수 있는 임의의 디바이스일 수 있다. 일반적으로, 이미지 캡처 디바이스는 다른 옵션들 중에서도 카메라(예를 들어, 카메라(130)), 카메라 시스템(예를 들어, 카메라 시스템(400)) 및/또는 이미지 센서(예를 들어, 도 4a의 이미지 센서(406))일 수도 있고, 또는 다른 방식으로 이와 같이 지칭될 수도 있다. 또한, 이미지 캡처 디바이스는 다른 것들 중에서도 본 명세서에서 설명되는 배열들을 사용하는 것과 같은 임의의 실현 가능한 방식으로 차량에 커플링될 수 있다.
일부 상황들에서, 언급된 바와 같이, 이미지 캡처 디바이스에 의해 캡처된 이미지들의 품질은 이미지 캡처 디바이스가 마주치는 태양광으로 인해 저하될 수 있으며, 이는 이미지 캡처 디바이스가 차량의 자율-주행 동작을 위한 기초로서 사용되기에 충분한 품질의 이미지 데이터를 생성하는 것을 방해할 수 있다. 많은 경우들에서, 이미지 품질의 이러한 저하는 태양이 이미지 캡처 디바이스의 시야 내에 있는 경우, 특히, 태양이 이미지 캡처 디바이스의 관점에서 이미지가 캡처될 타겟 객체에 실질적으로 근접한 상황에서 발생할 수 있다. 임의의 경우, 태양광은 다양한 방식들로 이미지(들)의 품질을 저하시킬 수 있다.
예를 들어, 이미지 캡처 디바이스는 블루밍(blooming)에 직면할 수 있는데, 이는 과도한 광으로 인해 이미지에 밝은 패치들을 야기할 수 있는 현상이다(예를 들어, 주어진 픽셀에서의 상당한 전하로 인해 광원으로부터 나온 광 줄무늬(streak)들이 이미지에 캡처됨). 다른 예에서, 이미지 캡처 디바이스는 설계에서 의도되지 않은 방식으로 이미지 캡처 디바이스의 광학 시스템을 통해 이동하는 광인 미광(stray light)에 직면할 수 있다(예를 들어, 잘못된 광은 일부 파장들에서 측정되는 신호를 증가시킬 수 있다). 또 다른 예에서, 이미지 캡처 디바이스는 글레어(glare)에 직면할 수 있는데, 이는 일반적으로 고강도 광이 이미지의 피처들의 가시성을 손상시키는 현상이다. 또 다른 예에서, 이미지 캡처 디바이스는 렌즈 플레어(lens flare)에 직면할 수 있는데, 이는 이미지 캡처 디바이스의 광학 시스템에서 광이 산란되거나 플레어되어, 이에 따라 이미지에 바람직하지 않은 영향들을 생성하는 현상이다. 또 다른 예들에서, 이미지 캡처 디바이스는 다른 가능성들 중에서도 과포화(oversaturation), 과다 노출, 노출 부족(예를 들어, 태양광에 의해 트리거되는 자동 노출 설정들로 인해 이미지에서 관심 있는 영역에 대한 노출 부족) 및/또는 이미지 해상도의 저하에 직면할 수 있다.
도 5a 및 도 5b는 태양광이 자율-주행 차량의 이미지 캡처 디바이스가 차량의 자율-주행 동작을 위한 기초로서 사용되기에 충분한 품질의 이미지들을 캡처하는 것을 방해할 수 있는 상황의 예를 예시한다.
도 5a는 차량(200)이 교통 신호등(502)을 갖는 교차로(500)에 도착하는 상황을 도시한다. 이 상황에서, 차량(200)의 컴퓨팅 시스템은 교차로(500)의 이미지(들)를 캡처하기 위해 센서 유닛(202)의 정면-주시 카메라와 같은 이미지 캡처 디바이스를 동작시킬 수 있다. 이미지(들)가 캡처되고 나면, 컴퓨팅 시스템은 교통 신호등(502)의 컬러 또는 상태를 결정하기 위한 기초로서, 및 이에 따라 차량이 교차로(500)에서 수행해야 하는 후속 자율-주행 동작들을 결정하기 위한 기초로서, 캡처된 이미지(들)를 사용하려고 시도할 수 있다. 예를 들어, 도 5a에 도시된 바와 같이, 교통 신호등(502)의 상부 광(예를 들어, 적색 광)은 광을 방출하지만, 교통 신호등(502)의 중간 및 하부 광들은 광을 방출하지 않으므로, 이는 교차로(500)의 해당 부분에서 차량(들)이 정지해야 한다는 표시로서 역할한다. 따라서, 컴퓨팅 시스템은 캡처된 이미지(들)를 교통 신호등(502)의 상부 광이 광을 방출하고 있는지 여부, 및 이에 따라 컴퓨팅 시스템이 교차로(500)에서 차량(200)이 정지하도록 동작시켜야하는지 여부를 결정하기 위한 기초로서 사용하려고 시도할 수 있다.
그러나, 불행하게도, 차량의 이미지 캡처 디바이스의 관점에서 태양(504)의 포지션은 이미지 캡처 디바이스가 교통 신호등(502)의 컬러 또는 상태를 결정하기 위한 기초로서 사용되기에 충분한 품질의 교통 신호등(502)의 이미지를 캡처하는 것을 방해할 수 있다. 특히, 도시된 바와 같이, 태양(504)은 이미지 캡처 디바이스의 관점에서(예를 들어, 센서 유닛(202)의 정면-주시 카메라의 시야에서) 교통 신호등(502)에 실질적으로 근접하거나 그 뒤에 위치 결정된다. 이러한 상황은 다른 옵션들 중에서도 이미지 캡처 디바이스가 충분한 강도의 태양광과 마주치게 해서 블루밍을 야기하게 하고/하거나 이미지 해상도를 저하시키게 할 수 있다. 결과적으로, 이미지 캡처 디바이스는 교통 신호등(502)의 컬러 또는 상태를 결정하기 위한 기초로서 사용되기에 충분한 품질의 교통 신호등(502)의 이미지(들)를 캡처할 수 없을 수 있다.
예를 들어, 도 5b는 상기 설명된 상황 동안 차량의 이미지 캡처 디바이스에 의해 캡처된 이미지(506)의 예를 예시한다. 도시된 바와 같이, 교통 신호등(502)은 이미지 아티팩트(508)로 인해 이미지(506)에서 전체적으로 보이지는 않는데, 이는 태양(504)이 이미지 캡처 디바이스의 시야 내에 위치 결정되고 이미지 캡처 디바이스의 관점에서 교통 신호등(502) 뒤에 또는 이에 실질적으로 근접하게 위치 결정됨으로써 야기된다. 따라서, 컴퓨팅 시스템이 교통 신호등(502)의 컬러 또는 상태를 결정하기 위한 기초로서 캡처된 이미지(506)를 사용하려고 시도하는 경우, 컴퓨팅 시스템은 교통 신호등(502)의 상부 광이 광을 방출하고 있다고 결정하기 위한 기초로서 이미지(506)를 사용할 수 없을 수 있다. 결과적으로, 컴퓨팅 시스템은 차량(200)이 교차로(500)에서 정지해야 한다고 결정하지 않을 수도 있고, 또는 차량(200)이 교차로(500)에서 정지해야 한다고 결정하는 데 지연을 겪을 수도 있고, 또는 충분한 신뢰를 갖고 교통 신호등 상태를 결정할 수 없는 경우에는 차량이 디폴트로서 정지해야 한다고 결정할 수도 있는데, 이는 컴퓨팅 시스템이 다른 원치않는 결과들 중에서도 차량(200)이 정지하도록 또는 다르게는 교차로(500)에서 예상되는 대로 적시에 동작하는 것을 방해할 수 있다. 다른 예들도 가능하다.
본 명세서에는 태양광이 차량의 이미지 캡처 디바이스에 의해 캡처되는 이미지(들)의 품질을 저하시킬 수 있는 상황들을 감소시키거나 방지하는 데 도움을 줄 수 있는 접근법이 개시되어 있다. 개시된 접근법은 태양이 차량의 이미지 캡처 디바이스의 시야 내에 있고 이미지 캡처 디바이스의 관점에서 해당 시야 내의 객체에 근접한 상황을 피하는 데 도움을 주는 방식으로 차량을 라우팅하는 것을 구체적으로 포함할 수 있다. 실제로, 이 접근법은 위에서 설명된 상황(들)을 피하는 루트의 사전 결정을 제공하기 위한 프로액티브한 접근법일 수 있다.
개시된 접근법에 따르면, 차량의 컴퓨팅 시스템은 지리적 영역에 대한 태양의 예상 포지션을 결정할 수 있다. 일반적으로, 지리적 영역은 지구 상의 2차원 또는 3차원 공간과 같은 지구 상의 하나 이상의 공간 포인트일 수 있다. 특정 예에서, 지리적 영역은 다른 옵션들 중에서도 특정 도시 및/또는 특정 이웃일 수 있다. 또한, 지리적 영역에 대한 태양의 포지션은 지리적 영역의 하나 이상의 위치의 관점에서 "하늘에서의" 태양의 포지션일 수 있다.
보다 구체적으로, 지리적 영역에 대한 태양의 포지션은 다양한 방식들로 정의될 수 있다. 예를 들어, 지리적 영역에서의 특정 위치는 기준점일 수 있고, 태양의 포지션은 해당 기준점에 대한 각도들의 세트로서 정의될 수 있다. 예로서, 태양은 기준점에 대한 태양의 고도 및 방위각에 따라 정의될 수 있다. 고도는 지평선으로부터 상방으로의 각도를 정의할 수 있으며, 여기서 0도(0°) 고도는 기준점의 관점에서 로컬 지평선에 대응하고, 90° 고도는 기준점의 관점에서 하늘을 향해 기준점으로부터 "바로 위"이다. 반면, 방위각은 지평선을 따른 각도를 정의할 수 있으며, 여기서 0° 방위각은 "북쪽"에 대응하고, 방위각들은 시계 방향으로 증가한다(예를 들어, 90°는 "동쪽", 180°는 "남쪽", 270°는 "서쪽"이다). 따라서, 주어진 위치에 대한 태양의 포지션을 설명하기 위해 고도와 방위각이 사용될 수 있다.
또한, 컴퓨팅 시스템이 지리적 영역에 대한 태양의 예상 포지션을 결정할 때, 컴퓨팅 시스템은 하나 이상의 시간에 태양의 예상 포지션을 결정할 수 있다. 이러한 시간(들)은 다른 옵션들 중에서도 하루의 시간(들), 월의 시간(들) 및/또는년의 시간(들)일 수 있다. 임의의 경우, 각도들의 세트가 태양의 포지션을 설명하기 위해 사용될 때, 해당 각도들의 세트는 주어진 시간에 주어진 위치에 대한 태양의 포지션을 설명할 수 있다. 예를 들어, 2016년 6월 15일 오전 7시 25분에 특정 위치의 관점에서 태양의 포지션은 고도 17° 및 방위각 73.3°였다. 반면, 2016년 6월 15일 오전 8시 10분에 동일한 특정 위치의 관점에서 태양의 포지션은 고도 25.7° 및 방위각 79.3°였다. 다른 예들도 가능하다.
이와 관련하여, 컴퓨팅 시스템은 지리적 영역에 대한 태양의 예상 포지션을 결정하기 위해 다양한 기술들을 사용할 수 있다. 예를 들어, 컴퓨팅 시스템은 주어진 시간에 주어진 위치 위의 하늘에서의 태양의 포지션을 결정하기 위해 궤도력 데이터를 수신하고 사용할 수 있다. 실제로, 궤도력 데이터는 하나 이상의 시간에 지리적 영역에서의 하나 이상의 위치에 대한 태양의 하나 이상의 예상 포지션과 관련될 수 있다. 또한, 컴퓨팅 시스템은 다른 옵션들 중에서도 궤도력 데이터에 대한 연감(almanac)을 포함하는 데이터 스토리지를 참조함으로써 및/또는 연감을 포함하는 중앙 서버와의 통신에 관여함으로써 이러한 궤도력 데이터를 수신할 수 있다. 다른 예에서, 시스템은 이미지 캡처 디바이스로부터의 이미지 데이터에 기초하여 태양의 포지션을 추정할 수 있다(예를 들어, 이미지 데이터에 기초하여 태양의 방위각 및 표고(elevation)를 추정할 수 있다). 다른 예들도 가능하다.
컴퓨팅 시스템이 지리적 영역에 대한 태양의 예상 포지션을 결정하고 나면, 컴퓨팅 시스템은 (예를 들어, 하나 이상의 특정 시간에) 지리적 영역 내의 하나 이상의 위치를 통한 차량의 이동으로 인해 이미지 캡처 디바이스의 관점에서 태양이 이미지 캡처 디바이스의 시야 내의 객체에 근접하게 될 것으로 예상된다고 결정을 내리기 위한 기초로서 적어도 결정된 예상 포지션을 사용할 수 있다. 상기 논의에 따라, 이 결정은 하나 이상의 위치를 통한 차량의 이동이 이미지 디바이스로 하여금 임계 저이미지 품질을 갖는 이미지 데이터(예를 들어, 블루밍, 과포화, 과다 노출 및/또는 저하된 해상도에 직면하는 이미지들)를 생성하게 할 것으로 예상된다는 결정에 대응할 수 있다.
보다 구체적으로, 초기의 문제로서, 이미지 캡처 디바이스의 관점에서 객체에 대한 태양의 근접성은 다양한 방식들로 정의될 수 있다. 일례에서, 태양과 객체 둘 다가 이미지 캡처 디바이스의 시야 내에 있는 경우, 태양은 이미지 캡처 디바이스의 관점에서 객체에 근접한 것으로 간주될 수 있다. 다른 예에서, 태양이 이미지 캡처 디바이스의 관점에서 객체로부터 임계 거리 내로 떨어져 있는 경우(예를 들어, 이미지 캡처 디바이스의 관점에서 디바이스에 의해 캡처된 이미지에서 보일 수 있는 바와 같이, 태양의 "중심"이 해당 관점에서 객체의 "에지"로부터 1센티미터 미만으로 떨어져 있는 경우), 태양은 이미지 캡처 디바이스의 관점에서 객체에 근접한 것으로 간주될 수 있다. 또 다른 예에서, 태양의 포지션이 이미지 캡처 디바이스의 관점에서 객체의 포지션과 적어도 부분적으로 중첩되는 경우(예를 들어, 태양이 이미지 캡처 디바이스의 관점에서 객체 뒤에 있는 경우), 태양은 이미지 캡처 디바이스의 관점에서 객체에 근접한 것으로 간주될 수 있다. 다른 예들도 가능하다.
일반적으로, 컴퓨팅 시스템은 지리적 영역에 대한 태양의 예상 포지션에 기초하여 결정을 내리기 위해 다양한 기술들을 사용할 수 있다.
일 구현에서, 컴퓨팅 시스템은 결정을 내리기 위한 기초로서 특정 위치에 대한 객체의 공지되고/되거나 예측된 포지션뿐만 아니라, 지리적 영역에서의 특정 위치(예를 들어, 특정 교차로의 특정 부분)에 대한 태양의 예상 포지션을 사용할 수 있다. 일반적으로, 컴퓨팅 시스템은 다양한 방식들로 객체의 포지션을 결정 또는 예측할 수 있다. 예를 들어, 컴퓨팅 시스템은 지리적 영역에서 복수의 객체들의 각각의 포지션들을 특정하는 맵을 참조할 수 있다. 부가적으로 또는 대안적으로, 컴퓨팅 시스템은 객체의 공지된 특성들에 기초하여 객체의 공간적 포지션을 예측할 수 있다. 예를 들어, 교통 신호등은 특정 높이들로 조절될 수 있고, 교차로들은 차로들의 수에 따라 특정 폭(들)을 가질 수 있고, 이에 따라 컴퓨팅 시스템은 이러한 표준들에 따라 교통 신호등의 공간적 포지션을 예측할 수 있다. 임의의 경우, 컴퓨팅 시스템은 객체의 포지션과 태양의 예상 포지션을 비교할 수 있고, 비교에 기초하여 결정을 내릴 수 있다.
예를 들어, 컴퓨팅 시스템은 특정 교차로의 특정 부분의 특정 공간적 포지션(예를 들어, 교차로의 특정 측면에서의 특정 차로 위의 특정 높이)에 대한 주어진 시간에서의 태양의 예상 포지션이 2°의 고도 및 90°의 방위각이라고 결정할 수 있고, 이는 태양이 교차로의 특정 부분에서의 특정 공간적 포지션의 관점에서 동쪽에 있고 실질적으로 로컬 지평선에 있음을 의미한다. 또한, 컴퓨팅 시스템은 교차로의 교통 신호등이 특정 교차로의 특정 부분에 대해 88°의 방위각에 위치 결정된다고 결정할 수 있고, 또한 교차로에서의 대부분의 객체들이 로컬 지평선에 있을 가능성이 있으므로, 교통 신호등이 교차로의 특정 부분에서의 특정 공간적 포지션의 관점에서 로컬 지평선에 있다고 결정할 수 있다.
이 예에서, 컴퓨팅 시스템은 (i) 태양 및 교통 신호등 둘 다 주어진 시간에 교차로의 특정 부분에서의 특정 공간적 포지션의 관점에서 로컬 지평선에 있을 것으로 예상되고, (ii) 주어진 시간에 교차로의 특정 부분에서의 특정 공간적 포지션의 관점에서 교통 신호등의 88° 방위각과 태양의 90° 방위각 사이의 방위각 차이가 임계 차이 미만(예를 들어, 4° 미만의 방위각 차이)일 것으로 예상된다고 결정을 내릴 수 있다. 그리고, 이 결정은, 이미지 캡처 디바이스가 실질적으로 특정 공간적 포지션에 있고 교통 신호등을 향해 배향될 것으로 예상되면, 주어진 시간에 교차로의 특정 부분을 통한 차량의 이동으로 인해 이미지 캡처 디바이스의 관점에서 태양이 이미지 캡처 디바이스의 시야 내의 교통 신호등에 근접하게 될 것으로 예상된다는 결정에 대응할 수 있다. 다른 예들도 가능하다.
일부 구현들에서는, 태양의 예상 포지션 및 객체의 공지된 포지션에 더하여, 컴퓨팅 시스템은 또한 상기 언급된 결정을 내리기 위해 다른 파라미터들을 사용할 수 있다.
하나의 경우에서, 컴퓨팅 시스템은 지리적 영역 내의 하나 이상의 위치를 통한 차량의 이동 동안 이미지 캡처 디바이스의 예상 방위(들) 및/또는 예상 포지션(들)을 결정할 수 있다. 컴퓨팅 시스템은 (i) (예를 들어, 도로의 기하학적 구조 및/또는 도로 상의 이동 방향에 따른) 지리적 영역 내의 하나 이상의 위치를 통한 차량의 이동 동안의 차량의 방위(들) 및/또는 포지션(들), 및 (ii) 차량에 대한 이미지 캡처 디바이스의 배열(예를 들어, 도로에 대한 이미지 캡처 디바이스의 높이 및/또는 차량의 중심선에 대한 이미지 캡처 디바이스의 위치 결정 오프셋)을 특정하는 저장된 정보 등에 기초하여 다양한 방식들로 방위(들) 및/또는 포지션(들)을 결정할 수 있다. 임의의 경우, 컴퓨팅 시스템은 이러한 예상 방위(들) 및/또는 포지션(들)을 결정을 내리기 위한 추가 기초로서 사용할 수 있다.
예를 들어, 컴퓨팅 시스템은 이미지 캡처 디바이스의 시야가 차량 이동의 전방 방향에 대응하는 방향으로 배향되고, 이미지 캡처 디바이스가 차량이 이동하고 있는 지표면 위 1.2미터의 높이에서 차량의 지붕에 위치 결정된다고 결정할 수 있다. 그 후, 차량의 이동 방향에 대한 이미지 캡처 디바이스의 방위 및 위에서 언급된 교통 신호등의 공지된 포지션에 기초하여, 컴퓨팅 시스템은 교차로의 특정 부분을 통해 교통 신호등으로 향하는 차량의 이동이 교통 신호등으로 하여금 이미지 캡처 디바이스의 시야 내에 있게 할 것으로 예상된다고 결정할 수 있다. 또한, 특정 부분에 대한 이미지 캡처 디바이스의 예상 포지션(예를 들어, 특정 부분의 지표면 위 1.2미터) 및 특정 부분에 대한 교통 신호등의 공지된 포지션에 기초하여, 컴퓨팅 시스템은 이미지 캡처 디바이스에 대한 교통 신호등의 예상 포지션을 결정할 수 있다. 또한, 특정 부분에 대한 이미지 캡처 디바이스의 예상 포지션 및 특정 부분에 대한 태양의 예상 포지션에 기초하여, 컴퓨팅 시스템은 이미지 캡처 디바이스에 대한 태양의 예상 포지션을 결정할 수 있다. 따라서, 컴퓨팅 시스템은 교통 신호등이 이미지 캡처 디바이스의 시야 내에 있을 것으로 예상된다고 결정함으로써, 또한 이미지 캡처 디바이스에 대한 교통 신호등의 예상 포지션이 이미지 캡처 디바이스에 대한 태양의 예상 포지션으로부터 임계 거리 내로 떨어져 있다고 결정함으로써, 상기 언급된 결정을 내릴 수 있다. 다른 예들도 가능하다.
다른 경우에, 컴퓨팅 시스템은 지리적 영역의 하나 이상의 위치를 통한 차량의 이동 동안 이미지 캡처 디바이스에 대한 객체의 예상 방위(들)를 결정할 수 있다. 컴퓨팅 시스템은 지리적 영역에서 복수의 객체들의 각각의 방위들을 특정하는 맵을 참조하는 등과 같은 다양한 방식들로 방위(들)를 결정할 수 있다. 따라서, 지리적 영역에서의 위치에 대한(또는 보다 구체적으로, 이미지 캡처 디바이스에 대한) 객체의 포지션을 고려하는 것에 더하여 또는 그 대신에, 컴퓨팅 시스템은 객체의 예상 방위(들)를 결정을 내리기 위한 추가 기초로서 사용할 수 있다. 즉, 컴퓨팅 시스템은 객체의 특정 부분이 시야 내에 있을 것으로 예상되는지 여부, 및 이에 따라 이미지 캡처 디바이스의 관점에서 태양이 해당 특정 부분에 근접할 것으로 예상되는지 여부를 보다 구체적으로 결정할 수 있다.
예를 들어, 컴퓨팅 시스템은 교통 신호등의 광들이 특정 부분을 향해 배향된다고 결정하는 등에 의해 교차로의 특정 부분에 대한 교통 신호등의 방위를 결정할 수 있다. 교통 신호등의 광이 특정 부분을 향해 배향된다는 결정 및 교통 신호등이 이미지 캡처 디바이스의 시야 내에 있을 것으로 예상된다는 결정에 기초하여, 컴퓨팅 시스템은 교통 신호등의 광들이 이미지 캡처 디바이스의 시야 내에 있을 것으로 예상된다고 결정할 수 있다. 따라서, 이미지 캡처 디바이스의 관점에서 태양이 교통 신호등에 근접할 것으로 예상된다고 결정함으로써, 또한 교통 신호등의 광들이 이미지 캡처 디바이스의 시야 내에 있을 것으로 예상된다고 결정함으로써, 컴퓨팅 시스템은 이미지 캡처 디바이스의 관점에서 태양이 교통 신호등의 광들에 근접할 것으로 예상된다고 보다 구체적으로 결정할 수 있다. 일반적으로, 이 결정은 주어진 시간에 교차로의 특정 부분을 통한 차량의 이동으로 인해 컴퓨팅 시스템이 교통 신호등의 광들에 의해 표현되는 컬러 또는 상태를 결정하게 할 수 있는 이미지(들)를 이미지 캡처 디바이스가 획득하는 것을 방지할 것으로 예상된다는 결정에 대응할 수 있다. 다른 예들도 가능하다.
또 다른 경우에, 컴퓨팅 시스템은 이미지 캡처 디바이스의 하나 이상의 파라미터를 결정할 수 있다. 컴퓨팅 시스템은 그 파라미터(들)를 획득하기 위해 이미지 캡처 디바이스와의 통신에 관여하는 등과 같은 다양한 방식들로 이러한 파라미터(들)를 결정할 수 있다. 따라서, 컴퓨팅 시스템은 이러한 파라미터(들)를 결정을 내리기 위한 추가 기초로서 사용할 수 있다.
예를 들어, 컴퓨팅 시스템은 이미지 캡처 디바이스가 특정 폭의 시야를 갖는 "광각" 카메라라고 결정하는 등에 의해 이미지 캡처 디바이스의 전체 시야를 결정할 수 있다. 이 전체 시야는 추가 팩터일 수 있으며, 이에 기초하여 컴퓨팅 시스템은 교통 신호등이 교차로의 특정 부분을 통한 차량의 이동 동안 이미지 캡처 디바이스의 시야 내에 있을 것으로 예상된다고 결정할 수 있다. 예를 들어, 컴퓨팅 시스템은 광각 카메라의 특정 폭이 카메라가 교통 신호등으로 하여금 교차로의 특정 부분을 통한 차량의 이동 동안 카메라의 시야 내에 있게 할 수 있을 정도로 충분히 크다고 결정할 수 있다. 임의의 경우, 컴퓨팅 시스템이 교통 신호등이 이미지 캡처 디바이스의 시야 내에 있을 것으로 예상된다고 결정할 때 추가 팩터로서 전체 시야를 사용할 수 있다고 하고, 상기 언급된 결정이 컴퓨팅 시스템이 객체가 시야 내에 있을 것으로 예상된다고 결정하는 것에 적어도 부분적으로 기초한다고 하면, 전체 시야는 이에 따라 이슈가 되는 결정을 내리기 위한 추가 팩터로서 역할할 수 있다. 다른 예들도 가능하다.
또 다른 경우에, 컴퓨팅 시스템은 이슈가 되는 객체(예를 들어, 교통 신호등) 근처의 다른 객체(들)와 관련된 특성(들)을 결정할 수 있고, 이들 특성(들)을 결정을 내리기 위한 추가 기초로서 사용할 수 있다. 예를 들어, 컴퓨팅 시스템은 근처의 다른 객체들을 식별하고 이러한 다른 객체들의 특성들을 결정하기 위해 주어진 객체의 포지션, 방위 및/또는 높이와 같은 맵 데이터를 사용할 수 있다. 그리고, 컴퓨팅 시스템은 이러한 특성들을 결정을 내리는 프로세스의 일부로서 평가할 수 있다.
예를 들어, 컴퓨팅 시스템은 지리적 영역 내의 특정 위치를 통한 차량의 이동으로 인해 이미지 캡처 디바이스의 관점에서 태양이 이미지 캡처 디바이스의 시야 내의 교통 신호등에 근접하게 될 것으로 예상된다고 결정을 내릴 수 있다. 그러나, 컴퓨팅 시스템은 또한 교통 신호등 근처의 나무들이 이미지 캡처 디바이스의 관점에서 태양을 차단하게 되는 포지션 및 높이를 갖는다고 결정함으로써, 상기 언급된 이슈들을 방지할 수 있게 한다. 대안적으로, 컴퓨팅 시스템은 교통 신호등 근처의 나무들이 이미지 캡처 디바이스의 관점에서 태양을 차단하지 않게 되는 포지션 및 높이를 갖는다고 결정할 수 있고, 이에 따라 결정이 유효하다고 결정할 수 있다. 다른 예들도 가능하다.
또 다른 경우에, 컴퓨팅 시스템은 이전에 내린 결정들과 관련된 이력 데이터에 기초하여 이슈가 되는 결정을 내릴 수 있다. 예를 들어, 컴퓨팅 시스템은, 태양이 특정 포지션에 있을 때, 지리적 영역 내의 특정 위치를 통한 차량의 이동으로 인해 이미지 캡처의 관점에서 태양이 이미지 캡처 디바이스의 시야 내의 객체에 근접하게 되었다고 이전에 결정했을 수 있다. 따라서, 컴퓨팅 시스템이 태양이 특정 포지션에 있거나 또는 이에 있을 것으로 예상된다고 다시 결정하는 경우, 컴퓨팅 시스템은 특정 위치를 통한 이동으로 인해 이미지 캡처의 관점에서 태양이 다시 이미지 캡처 디바이스의 시야 내의 객체에 근접하게 될 것으로 예상된다는 다른 결정을 내리기 위한 기초로서 이전 결정을 사용할 수 있다.
또 다른 경우에, 컴퓨팅 시스템은 지리적 영역에서의 표고들을 나타내는 표고 데이터에 기초하여 이슈가 되는 결정을 내릴 수 있다. 예를 들어, 컴퓨팅 시스템은 차량이 지리적 영역에서 특정 위치를 통해 이동할 때 가질 공간적 방위를 결정하기 위해 표고 데이터를 활용할 수 있다. 그리고, 적어도 결정된 차량의 공간적 방위에 기초하여, 컴퓨팅 시스템은 이미지 캡처 디바이스의 방위를 결정할 수 있고, 이는 위에서 논의된 결정을 내리는 데 있어서의 팩터로서 컴퓨팅 시스템에 의해 사용될 수 있다. 다른 경우들 및 예들도 가능하다.
컴퓨팅 시스템이 지리적 영역 내의 하나 이상의 위치를 통한 차량의 이동으로 인해 이미지 캡처 디바이스의 관점에서 태양이 이미지 캡처 디바이스의 시야 내의 객체에 근접하게 될 것으로 예상된다고 결정을 내리고 나면, 컴퓨팅 시스템은 이슈가 되는 하나 이상의 위치를 통한 차량의 이동을 피하는 지리적 영역에서의 차량에 대한 루트를 생성함으로써 결정에 응답할 수 있다. 일반적으로, 루트는 다른 가능성들 중에서도 지리적 영역의 제1 위치로부터 제2 위치로의 차량에 대한 주행 경로로서 정의될 수 있다.
보다 구체적으로, 컴퓨팅 시스템이 주어진 시간에 지리적 영역의 특정 위치를 통한 차량의 이동이 태양으로 하여금 이미지 캡처 디바이스의 시야 내의 객체에 근접하게 할 것으로 예상된다고 결정하는 경우, 컴퓨팅 시스템은 이에 응답하여 주어진 시간에 특정 위치를 통한 차량의 이동을 방지하기 위한 동작들을 수행할 수 있다. 예를 들어, 컴퓨팅 시스템이 차량에 대한 루트를 결정하기 위해 특정 루트 계획 알고리즘을 실행한다고 가정하면, 컴퓨팅 시스템은 루트 계획 알고리즘에 주어진 시간에 차량이 피해야 하는 위치로서 특정 위치를 지정하는 "회피" 제약을 추가할 수 있다. 따라서, 루트 계획 알고리즘은 회피 제약을 만족시키면서 하나 이상의 팩터에 기초하여 루트를 결정할 수 있다. 예를 들어, 루트 계획 알고리즘은 (즉, 차량에 의해 이동된 거리 측면에서) 타겟 위치까지의 가장 짧은 가능한 루트인 루트에 기초하여, 그리고 주어진 시간에 특정 위치를 통한 차량의 이동을 피하는 루트에 기초하여 루트를 결정할 수 있다. 다른 예들도 가능하다.
이와 관련하여, 컴퓨팅 시스템이 하나 이상의 위치를 통한 차량의 이동을 피하는 루트를 생성할 때, 이들 하나 이상의 위치는 다양한 형태들을 취할 수 있다. 일례에서, 하나 이상의 위치는 특정 교통 차로의 일부를 포함할 수 있고, 따라서 컴퓨팅 시스템은 적어도 해당 특정 교통 차로의 해당 부분을 통한 차량의 이동을 피하는 루트를 생성할 수 있다(예를 들어, 그 부분을 통한 이동을 피하는 특정 교통 차로 내에서의 차량의 약간의 이동). 다른 예에서, 하나 이상의 위치는 특정 도로의 일부를 포함할 수 있고, 따라서 컴퓨팅 시스템은 적어도 해당 특정 도로의 해당 부분을 통한 차량의 이동을 피하는 루트를 생성할 수 있다. 또 다른 예에서는, 상기 제공된 예들에 따라, 하나 이상의 위치가 특정 교차로의 일부를 포함할 수 있고, 따라서 컴퓨팅 시스템은 적어도 해당 특정 교차로의 해당 부분을 통한 차량의 이동을 피하는 루트를 생성할 수 있다(예를 들어, 차량이 정지선보다 3미터 앞서 정지하게 한다). 다른 예들도 가능하다.
컴퓨팅 시스템이 이슈가 되는 하나 이상의 위치를 통한 차량의 이동을 피하는 지리적 영역에서 차량에 대한 루트를 생성하고 나면, 컴퓨팅 시스템은 생성된 루트에 따라 차량이 이동하도록 동작시킬 수 있다. 그렇게 함으로써, 컴퓨팅 시스템은 이미지 캡처 디바이스의 관점에서 태양이 이미지 캡처 디바이스의 시야 내의 객체에 근접한 상황을 방지하는 데 도움을 줄 수 있다. 이러한 방식으로, 컴퓨팅 시스템은 이미지 캡처 디바이스가 마주치는 태양광으로 인해 이미지 데이터의 품질이 저하되는 상황들을 감소시키거나 방지할 수 있다. 그리고, 차례로, 컴퓨팅 시스템은 (예를 들어, 이미지 데이터에 기초하여 검출된 객체들을 고려하면서 차량을 내비게이션하기 위해) 차량을 동작시키기 위한 기초로서 이미지 캡처 디바이스가 컴퓨팅 시스템에 의해 사용되기에 충분한 품질의 이미지 데이터를 생성할 가능성을 증가시킬 수 있다.
다음으로, 도 6a, 도 6b 및 도 6c는 차량이 이미지 캡처 디바이스의 관점에서 태양이 이미지 캡처 디바이스의 시야 내의 객체에 근접할 것으로 예상되는 위치(들)를 통한 이동을 피할 수 있는 방법을 예시한다. 특히, 도 6a는 지리적 영역(600)에 대한 태양(504)의 포지션을 예시하고, 지리적 영역(600)이 복수의 도로들, 복수의 교통 신호등들(예를 들어, 교통 신호등(502)), 및 차량(200)이 이동할 것으로 예상되는 타겟 위치(602)를 포함하는 것으로 예시한다. 다음으로, 도 6b는 위치들(606 및 608)을 예시하며, 이들 위치들 중 하나를 통한 차량(200)의 이동은 이미지 캡처 디바이스의 관점에서 태양(504)이 차량(200)의 이미지 캡처 디바이스의 시야 내의 교통 신호등에 근접하게 될 것으로 예상된다. 예를 들어, 교통 신호등(502)에 대한 태양(504)의 포지션이 주어지면, 지리적 영역(600)의 위치(606)를 통한 차량(202)의 이동은 이미지 캡처 디바이스의 관점에서 태양(504)이 차량(200)의 이미지 캡처 디바이스의 시야 내의 교통 신호등(502)에 근접하게 될 것으로 예상된다. 마지막으로, 도 6c는 위치들(606 및 608)을 통한 차량의 이동을 피하는 타겟 위치(602)까지의 차량에 대한 루트(610)를 예시한다. 따라서, 이 루트(610)를 통한 차량의 이동은 이미지 캡처 디바이스의 관점에서 태양(504)이 차량(200)의 이미지 캡처 디바이스의 시야 내의 교통 신호등에 근접한 상황들을 감소시키거나 방지하는 데 도움을 줄 수 있다. 다른 예시들도 가능하다.
또한, 일부 시나리오(들)에서, 차량은 그럼에도 불구하고 이미지 캡처 디바이스의 관점에서 태양이 이미지 캡처 디바이스의 시야 내의 객체에 근접한 상황에 직면할 수 있다. 일반적으로, 이 객체는 이슈가 되는 루트를 생성하기 위한 트리거로서 역할한 상기 언급된 결정 동안 평가된 객체와 동일할 수도 있고 상이할 수도 있다. 임의의 경우, 이러한 시나리오(들)는 다양한 이유들로 인해 발생할 수 있다.
예를 들어, 위에서 언급된 위치(들)를 통한 차량의 이동을 완전히 피하는 실현 가능한 루트가 없는 시나리오가 있을 수 있고, 따라서 차량은 결국 해당 위치(들)를 통해 이동할 수 밖에 없을 수 있다. 결과적으로, 차량은 이미지 캡처 디바이스의 관점에서 태양이 이미지 캡처 디바이스의 시야 내의 객체에 근접한 상황에 여전히 직면할 수 있다.
다른 예에서는, 예를 들어, 컴퓨팅 시스템이 참조하는 맵에서 일부 객체들의 포지션들이 특정되지 않을 수 있기 때문에, 컴퓨팅 시스템은 지리적 영역에서 모든 객체들의 각각의 포지션들을 결정하는 것이 가능하지 않을 수 있다. 그리고, 컴퓨팅 시스템이 일부 객체들의 각각의 포지션들을 결정할 수 없기 때문에, 컴퓨팅 시스템은 주어진 시간에 주어진 위치를 통한 차량의 이동으로 인해 이미지 캡처 디바이스의 관점에서 태양이 이미지 캡처 디바이스의 시야 내의 해당 객체 중 주어진 하나에 근접하게 될 수 있다고 결정하는 것이 가능하지 않을 수 있다. 결과적으로, 생성된 루트에 따른 차량의 이동 동안, 컴퓨팅 시스템이 해당 상황을 피하는 데 도움을 주기 위한 시도로 루트를 생성했다고 하더라도, 이미지 캡처 디바이스의 관점에서 태양은 이미지 캡처 디바이스의 시야 내의 객체에 여전히 근접하게 될 수 있다. 다른 예들도 가능하다.
이를 감안할 때, 본 개시내용에 따르면, 컴퓨팅 시스템은 이들 시나리오(들)에서 발생할 수 있는 임의의 이슈들을 극복하는 데 도움을 주기 위해 백업 접근법을 프로액티브하게 또는 리액티브하게 수행할 수 있다. 특히, 백업 접근법은 컴퓨팅 시스템이 이미지 캡처 디바이스의 관점에서 태양이 이미지 캡처 디바이스의 시야 내의 객체에 근접하다고 결정하고, 이에 응답하여 이미지 캡처 디바이스의 관점에서 이미지 캡처 디바이스의 시야에서 태양의 적어도 일부를 차단하기 위해 광-제어 피처를 사용하는 등에 의해 이미지 캡처 디바이스가 마주치는 광의 정도를 제어하기 위해 광-제어 피처를 사용하는 것을 포함할 수 있다. 이 백업 접근법은 이하에서 더 상세하게 설명된다.
V. 차량의 이미지 캡처 디바이스가 마주치는 광의 정도 제어
언급된 바와 같이, 컴퓨팅 시스템은, 예를 들어, 차량이 그럼에도 불구하고 이미지 캡처 디바이스의 관점에서 태양이 이미지 캡처 디바이스의 시야 내의 객체에 근접한 상황에 직면할 때, 백업 접근법을 프로액티브하게 또는 리액티브하게 수행할 수 있다. 이 백업 접근법은 컴퓨팅 시스템이 이미지 캡처 디바이스의 관점에서 태양이 이미지 캡처 디바이스의 시야 내의 객체에 근접하다고 결정하고, 이에 응답하여 이미지 캡처 디바이스가 마주치는 광의 정도를 제어하기 위해 광-제어 피처를 사용하는 것을 포함할 수 있다.
보다 구체적으로, 차량에는 이미지 캡처 디바이스가 마주치는 광의 정도를 프로액티브하게 또는 리액티브하게 제어하기 위해 컴퓨팅 시스템에 의해 조정 가능한 광-제어 피처가 장착될 수 있다. 특정 광-제어 피처들이 본 명세서에서 예로서 설명되었지만, 본 개시내용의 범위를 벗어나지 않고 다른 광-제어 피처들도 가능하다.
하나의 경우에, 광-제어 피처는 다른 가능성들 중에서도 이미지 캡처 디바이스에 대해, 예를 들어, 이미지 캡처 디바이스의 시야에 대해 이동 가능한 기계적 디바이스일 수 있다. 예를 들어, 본 명세서에서 추가로 논의되는 바와 같이, 기계적 디바이스는 이미지 캡처 디바이스의 관점에서 외부 광원(예를 들어, 태양)을 차단하기 위해 이미지 캡처 디바이스의 시야 내에 위치 결정될 수 있어, 이미지 캡처 디바이스가 마주치는 외부 광의 정도를 감소시킬 수 있다. 일반적으로, 임의의 실현 가능한 기계적 디바이스가 사용될 수 있고, 해당 기계적 디바이스는 임의의 실현 가능한 방식으로 차량에 커플링될 수 있다.
예로서, 이슈가 되는 기계적 디바이스는 (예를 들어, 차량의) 윈드 스크린 또는 윈드실드로부터 비, 눈, 얼음 및/또는 파편을 제거하기 위해 통상적으로 사용되는 와이퍼 디바이스와 같은 와이퍼일 수 있다. 예를 들어, 와이퍼는 일단에서 피봇하는 아암(예를 들어, 금속 아암)을 포함할 수 있고, 아암에 부착된 와이퍼 블레이드(예를 들어, 고무 블레이드)를 포함할 수도 있다. 아암은 아암을 이동시키기 위해 차량의 컴퓨팅 시스템에 의해 동작 가능할 수 있는 모터(예를 들어, 전기 모터)에 의해 전력을 공급받을 수 있다. 이러한 배열에 의하면, 컴퓨팅 시스템은, 예를 들어, 와이퍼를 윈드실드의 유리 위에서 특정 스피드로 앞뒤로 이동시키는 등에 의해 임의의 실현 가능한 방식 및 임의의 실현 가능한 스피드로 와이퍼를 이동시키도록 동작할 수 있다. 이러한 예에서, 와이퍼는 다양한 방식들로 차량에 커플링될 수 있다.
하나의 배열에서, 와이퍼는 차량의 앞 또는 뒤 윈드실드에 근접한 것과 같이 차량의 윈드실드에 근접하게 위치 결정될 수 있고, 임의적으로 해당 윈드실드로부터 비, 눈, 얼음 및/또는 파편을 제거하는 데에도 사용될 수 있다. 이러한 배열에서, 이미지 캡처 디바이스는 이미지 캡처 디바이스가 윈드실드를 통해 차량(200)의 환경의 이미지들을 캡처할 수 있도록 차량 내에 위치 결정될 수 있다. 결과적으로, 컴퓨팅 시스템은 와이퍼가 이미지 캡처 디바이스에 대해 이동하고, 구체적으로는 이미지 캡처 디바이스의 시야에 대해 이동하도록 와이퍼를 동작시킬 수 있다.
다른 구성에서, 이미지 캡처 디바이스는 차량에 커플링되는 하우징 내에 배치될 수 있고, 와이퍼는 해당 하우징에 커플링되거나 또는 다른 방식으로 이에 근접하게 위치 결정될 수 있다. 예를 들어, 이슈가 되는 하우징은 이미지 캡처 디바이스가 위치 결정되는 센서 유닛(예를 들어, 센서 유닛(202))의 반투명 하우징일 수 있다. 따라서, 이미지 캡처 디바이스는 하우징의 반투명 재료를 통해 차량(200)의 환경의 이미지들을 캡처할 수 있다. 그럼에도 불구하고, 이러한 배열에서, 와이퍼는 구체적으로는 이미지 캡처 디바이스의 시야에 대해 와이퍼를 이동시키기 위해, 컴퓨팅 시스템이 이미지 캡처 디바이스에 대한 와이퍼의 이동을 야기할 수 있게 하는 방식으로 하우징에 커플링되거나 또는 다른 방식으로 하우징 근처에 위치 결정될 수 있다. 다른 배열들도 가능하다.
다른 경우에, 광-제어 피처는 조정 가능한 광 투과 특성들을 갖는 광-제어 디바이스일 수 있고, 컴퓨팅 시스템은 광-제어 디바이스를 동작시킬 수 있다. 구체적으로, 광-제어 디바이스는 이미지 캡처 디바이스의 시야 내에 위치 결정되어, 이미지 캡처 디바이스가 광-제어 디바이스를 통해 차량의 환경의 이미지들을 캡처할 수 있게 한다. 이러한 배열에 의하면, 컴퓨팅 시스템은 광-제어 디바이스의 광 투과 특성들을 조정할 수 있고, 따라서 광-제어 디바이스를 통과하는 광량을 제어할 수 있다. 그리고, 컴퓨팅 시스템은 광-제어 디바이스를 통과하는 광량을 제어함으로써, 이미지 캡처 디바이스가 마주치는 광의 정도를 효과적으로 제어할 수 있다. 또한, 일부 구현들에서, 컴퓨팅 시스템은 광-제어 디바이스의 특정 부분들의 광 투과 특성들을 선택적으로 조정할 수 있으며, 이는 컴퓨팅 시스템이 이미지 캡처 디바이스의 시야 내의 선택 영역들로부터 도달하는 외부 광의 정도를 효과적으로 제어할 수 있게 한다.
이 경우, 다양한 광-제어 디바이스들 중 하나 이상이 사용될 수 있다. 예를 들어, 광-제어 디바이스는 전압, 광 및/또는 열이 인가될 때 광 투과 특성들이 변경될 수 있는 "스마트" 유리일 수 있다. 스마트 유리는 다른 것들 중에서도 일렉트로크로믹 디바이스, 포토크로믹 디바이스(photochromic device) 및/또는 써모크로믹 디바이스(thermochromic device)일 수 있다. 일렉트로크로믹 디바이스의 경우, 예를 들어, 컴퓨팅 시스템은 전기 신호를 인가함으로써 일렉트로크로믹 디바이스로 하여금 광 투과 특성들을 변경하게 할 수 있고, 이에 의해 통과하는 광량을 제어할 수 있다. 실제로, 일렉트로크로믹 디바이스의 광 투과 특성들을 변경하는 것은 일렉트로크로믹 디바이스의 불투명도를 투명 상태와 착색(반투명) 상태 사이에서 변경하는 것을 포함할 수 있다. 다른 예들도 가능하다.
또한, 광-제어 디바이스는 임의의 실현 가능한 방식으로 차량에 커플링될 수 있다. 예를 들어, 상기 언급된 스마트 유리는 차량의 윈드실드 내에 통합되거나 또는 다른 방식으로 이를 대체할 수 있고, 이미지 캡처 디바이스는 이미지 캡처 디바이스가 스마트 유리를 통해 차량(200)의 환경의 이미지지들을 캡처할 수 있도록 차량 내에 위치 결정될 수 있다. 다른 예에서, 스마트 유리는 하우징의 재료 내에 통합되거나 또는 다른 방식으로 이를 대체할 수 있고, 이미지 캡처 디바이스는 이미지 캡처 디바이스가 하우징의 스마트 유리를 통해 차량의 환경의 이미지들을 캡처할 수 있도록 하우징 내에 배치될 수 있다. 다른 예들도 가능하다.
위에 설명된 바와 같이 배열된 시스템에서, 컴퓨팅 시스템은 광-제어 피처에 조정을 행하기 위한 트리거를 검출할 수 있다. 일반적으로, 트리거를 검출하는 것은 이미지 캡처 디바이스에 의해 생성된 이미지 데이터의 품질이 이미지 캡처 디바이스가 마주치거나 또는 마주칠 것으로 예상되는 외부 광으로 인해 임계 품질보다 낮거나 또는 낮을 것으로 예상된다고 결정을 내리는 것을 포함할 수 있다. 컴퓨팅 시스템은 다양한 방식들로 이러한 결정을 내릴 수 있다.
하나의 경우에, 컴퓨팅 시스템은 캡처된 이미지(예를 들어, 최근에 캡처된 이미지)의 특성들을 평가하기 위해 이미지 분석 기술들을 사용함으로써 상기 언급된 결정을 내릴 수 있으며, 이에 따라 해당 이미지의 품질을 효과적으로 평가할 수 있다. 예를 들어, 컴퓨팅 시스템은, 예를 들어, 이미지가 밝은 열의 픽셀 형태를 취하는 광 줄무늬를 포함한다고 결정하는 등에 의해, 캡처된 이미지가 블루밍의 특성들을 나타낸다고 결정함으로써 결정을 내릴 수 있다. 다른 예에서, 컴퓨팅 시스템은 캡처된 이미지에서 과포화를 결정함으로써 결정을 내릴 수 있다. 다른 예에서, 컴퓨팅 시스템은 캡처된 이미지에서의 노출 레벨이 제1 임계 노출 레벨보다 높다고 결정함으로써, 또는 캡처된 이미지에서의 노출 레벨이 제2 임계 노출 레벨(예를 들어, 제1 임계 노출 레벨과 동일할 수도 있고 또는 이와 상이할 수도 있음)보다 낮다고 결정함으로써 결정을 내릴 수 있다. 또 다른 예에서, 컴퓨팅 시스템은 캡처된 이미지의 이미지 해상도 레벨이 임계 해상도 레벨보다 낮다고 결정함으로써 결정을 내릴 수 있다. 다른 예들도 가능하다.
다른 경우에, 컴퓨팅 시스템은 캡처된 이미지가 객체의 검출 및/또는 식별에 이용 가능하지 않다고 결정함으로써 상기 언급된 결정을 내릴 수 있다. 예를 들어, 이미지 캡처 디바이스는 차량의 환경의 이미지를 캡처할 수 있고, 컴퓨팅 시스템은 해당 이미지를 나타내는 이미지 데이터가 컴퓨팅 시스템이 환경 내의 객체를 검출 및/또는 식별하기 위한 기초로서 사용할 수 있는 정보를 제공하지 않는다는 특정 결정을 내릴 수 있다. 이와 같이, 이러한 특정 결정은 이미지 캡처 디바이스에 의해 생성된 이미지 데이터의 품질이 가능하게는 이미지 캡처 디바이스가 마주치는 외부 광으로 인해 임계 품질보다 낮다는 상기 언급된 결정에 대응할 수 있다.
또 다른 경우에, 컴퓨팅 시스템은 이미지 캡처 디바이스 이외의 하나 이상의 센서로부터 수신된 센서 데이터를 평가함으로써 상기 언급된 결정을 내릴 수 있다. 예를 들어, 차량에는 외부 광의 강도 및 도달 방향에 관한 정보를 제공하는 광 센서가 장착될 수 있고, 해당 광 센서는 이미지 캡처 디바이스에 실질적으로 근접하게 위치 결정될 수 있다. 이러한 배열에 의하면, 컴퓨팅 시스템은 광 센서로부터의 데이터가 이미지 캡처 디바이스로 하여금 불충분한 품질의 이미지 데이터를 생성하게 하는 것이 예상되거나 또는 다른 방식으로 이것이 알려지는 광 강도/방향을 나타낸다는 특정 결정을 내릴 수 있다. 따라서, 이 특정 결정은 이미지 캡처 디바이스에 의해 생성된 이미지 데이터의 품질이 이미지 캡처 디바이스가 마주치는 외부 광으로 인해 임계 품질보다 낮다는 상기 언급된 결정에 대응할 수 있다.
또 다른 경우에, 컴퓨팅 시스템은 차량이 이미지 캡처 디바이스가 충분한 품질의 이미지 데이터를 생성할 수 없거나 또는 생성할 가능성이 없는 상황에 직면했다고 결정함으로써 상기 언급된 결정을 내릴 수 있다. 예를 들어, 컴퓨팅 시스템은 광원이 이미지 캡처 디바이스의 시야 내에 있거나 또는 있을 것으로 예상되고, 가능하게는 광원이 이미지 캡처 디바이스의 관점에서 객체에 근접하거나 또는 근접할 것으로 예상된다고 결정함으로써 결정을 내릴 수 있다. 컴퓨팅 시스템은 다양한 방식들로 그와 같이 할 수 있다.
예를 들어, 컴퓨팅 시스템은 주어진 시간에 주어진 위치 위의 하늘에서의 태양의 포지션을 결정하기 위해 궤도력 데이터를 수신 및 사용할 수 있다. 주어진 시간에 주어진 위치 위의 태양의 포지션이 주어지면, 차량이 주어진 시간에 지리적 영역 내의 주어진 위치에서 이동 중이거나 또는 이동할 것으로 예상되는 경우, 컴퓨팅 시스템은 이미지 캡처 디바이스의 시야에 대한 태양의 포지션을 결정 또는 예측할 수 있다. 따라서, 컴퓨팅 시스템은 이러한 접근법을 사용하여 태양이 이미지 캡처 디바이스의 시야 내에 있거나 또는 있을 것으로 예상된다고 결정 또는 예측할 수 있다. 또한, 주어진 위치에서의 객체(예를 들어, 교통 신호등)의 공지된 위치에 기초하여, 컴퓨팅 시스템은 이미지 캡처 디바이스의 관점에서 태양이 이슈가 되는 객체에 근접하거나 또는 근접할 가능성이 있다고 추가로 결정할 수 있다. 다른 예들도 가능하다.
또 다른 경우에, 컴퓨팅 시스템은 차량의 위치가 이미지 캡처 디바이스가 충분한 품질의 이미지 데이터를 생성하는 것이 특히 중요한 위치라고 결정함으로써 상기 언급된 결정을 내릴 수 있다. 이를 용이하게 하기 위해, 예를 들어, 컴퓨팅 시스템은 각각 "중요한 위치"로서 지정된 위치들의 리스트(예를 들어, 교차로들의 리스트)를 가질 수 있고, 컴퓨팅 시스템은 이 리스트를 참조하여 차량이 광-제어 피처가 조정되어야 하는 위치에 있다고 결정할 수 있다. 따라서, 차량의 결정된 위치는 효과적으로 광-제어 피처에 조정을 행하기 위한 트리거일 수 있다. 다른 경우들도 가능하다.
컴퓨팅 시스템이 광-제어 피처에 조정을 행하기 위한 트리거를 검출하고 나면, 컴퓨팅 시스템은 이에 응답하여 광-제어 피처에 조정을 행할 수 있다. 일반적으로, 컴퓨팅 시스템은 이미지 캡처 디바이스가 마주치거나 또는 마주칠 것으로 예상되는 외부 광의 정도를 제어하기 위해 이러한 조정을 행할 수 있다. 예를 들어, 조정을 행하는 것은 이미지 캡처 디바이스가 마주치거나 또는 마주칠 것으로 예상되는 외부 광의 정도를 감소시키기 위해 수행될 수 있다. 이것은, 예를 들어, 이미지 캡처 디바이스가 상대적으로 높은 정도의 외부 광을 마주치거나 또는 마주칠 것으로 예상되는 상황에서 유용할 수 있다. 다른 예에서, 조정을 행하는 것은 이미지 캡처 디바이스가 마주치거나 또는 마주칠 것으로 예상되는 외부 광의 정도를 증가시키기 위해 수행될 수 있다. 이것은, 예를 들어, 이미지 캡처 디바이스가 상대적으로 낮은 정도의 외부 광을 마주치거나 또는 마주칠 것으로 예상되는 상황에서 유용할 수 있다. 그럼에도 불구하고, 조정은 다양한 방식들로 수행될 수 있다.
일 구현에서, 광-제어 피처에 대한 조정은 미리 결정된 조정일 수 있다. 예를 들어, 컴퓨팅 시스템은 미리 결정된 광 투과 특성들을 나타내도록 광-제어 디바이스를 조정할 수 있고/있거나, 기계적 디바이스로 하여금 이미지 캡처 디바이스에 대해(예를 들어, 이미지 캡처 디바이스의 시야에 대해) 미리 결정된 포지션(들)으로 이동하게 할 수 있다. 이 구현에서, 미리 결정된 조정은 마주친 외부 광의 정도가 충분한 이미지 품질로 이어지게 도울 수 있는 특성들(예를 들어, 강도)을 나타내게 하도록 배열될 수 있다. 예를 들어, 광-제어 피처는 다른 옵션들 중에서도 블루밍 및/또는 포화를 방지하는 데 도움을 주는 것으로 발견된 미리 결정된 설정들로 조정될 수 있다. 다른 예들도 가능하다.
다른 구현에서, 광-제어 피처에 대한 조정은 하나 이상의 팩터에 기초할 수 있다. 예를 들어, 컴퓨팅 시스템은 하나 이상의 팩터에 기초하여 광-제어 디바이스의 광 투과 특성들을 조정할 수 있고/있거나, 기계적 디바이스로 하여금 하나 이상의 팩터에 기초하여 선택되는 포지션(들)으로 이동하게 할 수 있다. 일반적으로, 다양한 팩터(들)가 조정을 위한 기초로서 사용될 수 있다.
하나의 경우에, 광-제어 피처에 대한 조정은 이미지 캡처 디바이스의 관점에서 외부 광원의 포지션에 기초할 수 있다. 특히, 컴퓨팅 시스템은 다른 옵션들 중에서도, 예를 들어, 광 센서로부터의 데이터를 평가함으로써, 최근에 캡처된 이미지들을 평가함으로써, 및/또는 궤도력 데이터를 평가함으로써(외부 광원이 태양이라고 가정함), 이미지 캡처 디바이스의 관점에서 외부 광원의 포지션을 결정 또는 추정할 수 있다. 그리고, 컴퓨팅 시스템은 외부 광원의 결정된 포지션에 기초하여 광-제어 피처를 조정할 수 있다.
예를 들어, 컴퓨팅 시스템은 기계적 디바이스로 하여금 이미지 캡처 디바이스의 관점에서 외부 광원의 결정된 포지션과 적어도 부분적으로 중첩되는 포지션으로 이동하게 함으로써, 기계적 디바이스가 이미지 캡처 디바이스의 관점에서 외부 광원을 적어도 부분적으로 차단하게 할 수 있다. 다른 예에서, 컴퓨팅 시스템은 이미지 캡처 디바이스의 관점에서 외부 광원의 결정된 포지션과 적어도 부분적으로 중첩되는 광-제어 디바이스의 일부를 선택할 수 있고, 그 후 선택된 일부의 광 투과 특성들을 조정함으로써(예를 들어, 선택된 일부의 불투명도를 착색 상태로 변경함으로써), 이미지 캡처 디바이스의 관점에서 외부 광원을 적어도 부분적으로 차단할 수 있다. 다른 예들도 가능하다.
다른 경우에, 광-제어 피처에 대한 조정은 이미지 캡처 디바이스에 의해 생성된 이미지 데이터의 품질이 임계 품질보다 높아지도록 하는 것에 기초할 수 있다. 특히, 컴퓨팅 시스템은 마주친 외부 광의 정도가 특정 타겟 결과들로 이어지는 특성들(예를 들어, 강도)을 나타내게 하도록 광-제어 피처를 조정할 수 있다. 일반적으로, 이러한 결과는 다음을 포함할 수 있다: (i) 캡처된 이미지(들)가 블루밍 특성들을 나타내는 것을 방지하는 것, (ii) 캡처된 이미지(들)가 포화 특성들을 나타내는 것을 방지하는 것, (iii) 캡처된 이미지(들)에서의 노출 레벨이 상기 언급된 제1 임계 노출 레벨보다 낮은 레벨 등으로 감소하게 하는 것, (iv) 캡처된 이미지(들)에서의 노출 레벨이 상기 언급된 제2 임계 노출 레벨보다 높은 레벨 등으로 증가하게 하는 것, 및/또는 (v) 캡처된 이미지(들)에서의 이미지 해상도가 상기 언급된 임계 해상도 레벨보다 높은 레벨 등으로 증가하게 하는 것.
예를 들어, 컴퓨팅 시스템은 이미지(들)에서의 노출 레벨이, 예를 들어, 제1 임계 노출 레벨보다 낮은 레벨 등으로 감소해야 한다고 결정할 수 있다. 컴퓨팅 시스템은 최근에 캡처된 이미지(들)를 평가하고, 최근에 캡처된 이미지(들)에서의 노출 레벨이 제1 임계 노출 레벨보다 높다고 결정하는 등에 의한 다양한 방식들로 이 타겟 결과를 결정할 수 있다. 그럼에도 불구하고, 이 예에서, 이미지 데이터의 품질이 임계 품질보다 높아지게 하는 것은 캡처될 이미지(들)에서의 노출 레벨을 아마도 제1 임계 노출 레벨보다 낮은 레벨로 감소시키는 타겟 결과에 대응한다. 따라서, 컴퓨팅 시스템은 캡처된 이미지(들)에서의 노출 레벨을 감소시키는 설정으로, 아마도 노출 레벨이 제1 임계 노출 레벨보다 낮아지게 하는 설정으로 광-제어 피처를 구체적으로 조정할 수 있다. 예를 들어, 컴퓨팅 시스템은 노출 레벨을 감소시키기 위해 광-제어 디바이스의 불투명도를 변경시킬 수 있고, 아마도 노출 레벨이 제1 임계 노출 레벨보다 낮아지게 하는 정도로 불투명도를 변경시킬 수 있다. 다른 예들도 가능하다.
어느 구현에서든, 컴퓨팅 시스템은 차량의 자율-주행 동작을 위한 기초로서 사용되기에 충분한 품질의 적어도 하나의 이미지를 이상적으로 획득하기 위해 조정 동안 이미지 데이터를 생성하도록 이미지 캡처 디바이스를 동작시킬 수 있다. 특히, 컴퓨팅 시스템은 조정 동안 복수의 이미지들을 캡처하도록 이미지 캡처 디바이스를 동작시킬 수 있다. 그리고, 복수의 이미지들이 캡처된다고 하면, 해당 이미지들 중 적어도 하나가 충분한 품질의 것일 가능성이 증가될 수 있다. 예를 들어, 본 명세서에서 논의되는 다른 고려 사항들 중에서도, 이미지가 블루밍의 특성들을 나타내지 않는 경우 및/또는 중요한 객체(들)가 이미지에서 보이는 경우, 이미지는 충분한 품질의 것으로 간주될 수 있다. 그럼에도 불구하고, 캡처된 이미지들 중 적어도 하나가 충분한 품질의 것이 된다고 가정하면, 컴퓨팅 시스템은 차량을 동작시키기 위한 기초로서 적어도 해당 이미지에 대응하는 이미지 데이터를 사용할 수 있다.
특정 예에서, 컴퓨팅 시스템은 와이퍼로 하여금 이미지 캡처 디바이스의 시야를 가로 질러 증분적으로 이동하게 할 수 있는 한편, 컴퓨팅 시스템은 복수의 이미지들을 캡처하도록 이미지 캡처 디바이스를 동작시킬 수 있다. 결과적으로, 이는 각각이 이미지 캡처 디바이스의 시야 내의 상이한 포지션에서의 와이퍼를 나타내는 복수의 이미지들을 생성할 수 있다. 이 예에서, 복수의 이미지들 중 적어도 하나의 특정 이미지는 와이퍼가 이미지 캡처 디바이스의 시야에서 외부 광원(예를 들어, 태양)의 적어도 일부를 차단하는 이미지일 수 있다. 이상적으로, 해당 특정 이미지는 객체(들)(예를 들어, 교통 신호등(들))가 보이는 이미지일 수도 있다. 예를 들어, 특정 이미지는 중요한 객체가 (i) 특정 이미지의 관점에서 와이퍼에 의해 차단되지 않고, (ii) 컴퓨팅 시스템에 의한 특정 이미지의 평가를 통해 검출 가능하고/하거나 식별 가능한 이미지일 수 있다. 따라서, 컴퓨팅 시스템은 차량을 동작시키기 위한 기초로서 적어도 특정 이미지를 사용할 수 있다. 다른 예들도 가능하다.
도 7a, 도 7b 및 도 8은 자율-주행 차량(200)의 이미지 캡처 디바이스가 마주치는 태양광의 정도를 제어하기 위한 광-제어 피처(들)의 사용을 예시한다.
도 7a는 자율-주행 차량(200)의 이미지 캡처 디바이스가 마주치는 태양광의 정도를 제어하기 위한 와이퍼(702)의 사용을 예시한다. 그리고, 도 7b는 와이퍼(702)의 사용에 의해 충분한 품질을 갖게 된 캡처된 이미지(700)를 예시한다.
도시된 바와 같이, 컴퓨팅 시스템은 와이퍼(702)로 하여금 이미지 캡처 디바이스의 시야 내에 위치 결정되도록 하여, 이미지의 관점에서, 와이퍼(702)가 태양(504)은 적어도 부분적으로 차단하고 교통 신호등(502)은 차단하지 않게 한다. 결과적으로, 이미지 캡처 디바이스의 관점에서 태양(504)이 이미지 캡처 디바이스의 시야에 위치 결정되고 교통 신호등(502)에 실질적으로 근접하게 위치 결정됨에도 불구하고, 해당 포지션으로의 와이퍼(702)의 이동은 이미지 아티팩트를 방지하는 데 도움을 줌으로써, 캡처된 이미지(700)에서의 교통 신호등(502)의 충분한 가시성으로 이어질 수 있다. 따라서, 컴퓨팅 시스템은 교통 신호등(502)의 상부 광이 광을 방출하고 있는지 여부, 및 이에 따라 컴퓨팅 시스템이 차량(200)이 교차로(500)에서 정지하도록 동작시켜야 하는지 여부를 결정하기 위한 기초로서 이미지(700)를 사용할 수 있다.
유사하게, 도 8은 자율-주행 차량(200)의 이미지 캡처 디바이스가 마주치는 태양광의 정도를 제어하기 위한 일렉트로크로믹 디바이스(도시 생략)의 사용을 예시한다. 구체적으로, 도 8은 일렉트로크로믹 디바이스의 사용으로 인해 충분한 품질을 갖게 된 캡처된 이미지(800)를 예시한다. 즉, 컴퓨팅 시스템은 일렉트로크로믹 디바이스의 불투명도를 착색 상태로 변경하여, 일렉트로크로믹 디바이스를 통과하는 광량을 감소시키고, 이에 따라 이미지 캡처 디바이스가 마주치는 광의 정도를 감소시킬 수 있다. 결과적으로, 이미지 캡처 디바이스의 관점에서 태양(504)이 이미지 캡처 디바이스의 시야에 위치 결정되고 교통 신호등(502)에 실질적으로 근접하게 위치 결정됨에도 불구하고, 일렉트로크로믹 디바이스에 대한 이러한 조정은 블루밍을 방지하는 데 도움을 줌으로써, 캡처된 이미지(800)에서의 교통 신호등(502)의 충분한 가시성으로 이어질 수 있다. 따라서, 컴퓨팅 시스템은 교통 신호등(502)의 상부 광이 광을 방출하고 있는지 여부, 및 이에 따라 컴퓨팅 시스템이 교차로(500)에서 차량(200)이 정지하도록 동작시켜야 하는지 여부를 결정하기 위한 기초로서 이미지(800)를 사용할 수 있다. 다른 예시들도 가능하다.
추가적인 양태에서는, 캡처된 이미지의 품질에 영향을 미치게 되는 다른 상황들이 발생할 수 있고, 해당 다른 상황들을 극복하는 데에도 광-제어 피처가 도움을 줄 수 있다.
예를 들어, 이미지 캡처 디바이스는 다른 것들 중에서도 하우징의 윈드실드 또는 유리와 같은 표면을 통해 환경의 이미지들을 캡처하도록 구성될 수 있다. 그러나 불행하게도, 표면은 표면을 오염시킬 수 있는 환경의 양태들(예를 들어, 먼지 또는 기타 파편들의 축적물)에 노출될 수 있다. 일부 경우들에서는, 이러한 상황으로 인해 이미지 캡처 디바이스가 마주치는 외부 광의 정도를 크게 감소시킬 수 있어, 캡처된 이미지들의 품질을 크게 감소시킬 수 있다. 반면, 다른 경우들에서는, 이러한 상황으로 인해 이미지 캡처 디바이스가 마주치는 외부 광의 정도를 크게 증가시킬 수 있어, 캡처된 이미지들의 품질을 크게 감소시킬 수 있다. 임의의 경우, 컴퓨팅 시스템은 이러한 오염의 징후들을 검출하기 위해(예를 들어, 표면 상의 먼지 축적물을 식별하기 위해) 캡처된 이미지들을 평가할 수 있다. 그리고, 컴퓨팅 시스템이 오염의 징후들을 검출하는 경우, 컴퓨팅 시스템은 이에 응답하여 오염을 제거하기 위한 시도로 와이퍼가 이동하도록 동작시킬 수 있고, 이에 따라 이미지 캡처 디바이스가 마주치는 광의 정도를 제어하는 다른 방식을 제공할 수 있다.
다른 예에서, 이미지 캡처 디바이스는 다른 것들 중에서도 하우징의 윈드실드 또는 유리와 같은 표면을 통해 환경의 이미지들을 캡처하도록 배열될 수 있다. 그러나, 불행하게도, 표면이 손상되어버릴 수 있다(예를 들어, 유리가 긁히거나 갈라질 수 있다). 실제로, 손상은 표면을 통과하는 광량을 감소시키는 등에 의해 이미지 캡처 디바이스가 마주치는 외부 광의 정도를 크게 감소시킬 수 있고, 이는 캡처된 이미지들의 품질을 크게 감소시킬 수 있다. 그러나, 다른 경우들에서, 손상은 이미지 센서에 도달하는 미광의 양을 증가시키는 등에 의해 이미지 캡처 디바이스가 마주치는 외부 광의 정도를 크게 증가시킬 수 있고, 이 또한 캡처된 이미지들의 품질을 크게 감소시킬 수 있다. 임의의 경우, 컴퓨팅 시스템은 이러한 손상의 징후들을 검출하기 위해(예를 들어, 이미지 캡처 디바이스의 시야 밖으로부터 도달하는 미광을 검출하기 위해) 캡처된 이미지들을 평가할 수 있다. 그리고, 컴퓨팅 시스템이 손상의 징후들을 검출하는 경우, 컴퓨팅 시스템은 이에 응답하여 손상을 완화시키기 위한 시도로 와이퍼를 동작시킬 수 있다. 예를 들어, 컴퓨팅 시스템은 이에 응답하여 광이 이슈가 되는 표면의 손상된 부분을 통과하는 것을 차단하는 포지션으로 와이퍼를 이동시킬 수 있고, 이에 따라 이미지 캡처 디바이스가 마주치는 광의 정도를 제어하기 위한 다른 방식을 제공할 수 있다. 다른 예들도 가능하다.
VI. 예시적인 방법
도 9는 예시적인 구현에 따른 방법(900)을 예시하는 흐름도이다. 도 9에 도시된 방법(900)(및 본 명세서에 개시된 다른 프로세스들 및 방법들)은 다른 가능한 시스템들 중에서, 예를 들어, 도 1 내지 도 8에 도시된 시스템들 중 임의의 것을 포함하는(또는 보다 구체적으로는, 프로세서, 및 디바이스가 본 명세서에 설명된 기능들을 수행하게 하도록 실행 가능한 명령어들을 갖는 비-일시적 컴퓨터 판독 가능 매체와 같은 그 하나 이상의 컴포넌트 또는 서브시스템에 의한) 배열 내에서 구현될 수 있는 방법을 제시한다.
본 명세서에 개시된 방법(900) 및 다른 프로세스들 및 방법들은, 예를 들어, 블록들(902-908) 중 하나 이상에 의해 예시된 바와 같은 하나 이상의 동작, 기능 또는 액션을 포함할 수 있다. 블록들이 순차적인 순서로 예시되어 있지만, 이러한 블록들은 병렬로 및/또는 본 명세서에서 설명된 것들과 상이한 순서로 수행될 수 있다. 또한, 다양한 블록들은 더 적은 수의 블록들로 결합되고, 추가 블록들로 분할되고/되거나, 원하는 구현에 기초하여 제거될 수 있다.
또한, 본 명세서에 개시된 방법(900) 및 다른 프로세스들 및 방법들에 대해, 흐름도는 본 개시내용의 하나의 가능한 구현의 기능 및 동작을 도시한다. 이와 관련하여, 각각의 블록은 프로세스의 특정 논리 기능들 또는 단계들을 구현하기 위해 프로세서에 의해 실행 가능한 하나 이상의 명령어를 포함하는 프로그램 코드의 모듈, 세그먼트 또는 그 일부를 나타낼 수 있다. 프로그램 코드는, 예를 들어, 디스크 또는 하드 드라이브를 포함하는 저장 디바이스와 같은 임의의 타입의 컴퓨터 판독 가능 매체 상에 저장될 수 있다. 컴퓨터 판독 가능 매체는, 예를 들어, 레지스터 메모리, 프로세서 캐시 및 랜덤 액세스 메모리(Random Access Memory)(RAM)와 같이 단기 동안 데이터를 저장하는 컴퓨터 판독 가능 매체와 같은 비-일시적 컴퓨터 판독 가능 매체를 포함할 수 있다. 컴퓨터 판독 가능 매체는 또한, 예를 들어, 판독 전용 메모리(read only memory)(ROM), 광학 또는 자기 디스크들, 콤팩트-디스크 판독 전용 메모리(compact-disc read only memory)(CD-ROM)와 같은 2차 또는 영구 장기 스토리지와 같은 비-일시적 매체를 포함할 수 있다. 컴퓨터 판독 가능 매체는 또한 임의의 다른 휘발성 또는 비-휘발성 저장 시스템들일 수 있다. 컴퓨터 판독 가능 매체는, 예를 들어, 컴퓨터 판독 가능 저장 매체 또는 유형의 저장 디바이스로 간주될 수 있다. 또한, 본 명세서에 개시된 방법(900) 및 다른 프로세스들 및 방법들에 대해, 도 9의 각각의 블록은 프로세스에서 특정 논리 기능들을 수행하도록 배선되는 회로를 나타낼 수 있다.
블록(902)에서, 방법(900)은 컴퓨팅 시스템이 지리적 영역에 대한 태양의 예상 포지션을 결정하는 단계를 포함할 수 있다. 일반적으로, 컴퓨팅 시스템은 적어도 차량에 커플링되는 이미지 캡처 디바이스에 의해 생성된 이미지 데이터에 기초하여 차량을 동작시키도록 구성될 수 있다. 추가적으로, 블록(904)에서, 방법(900)은, 적어도 지리적 영역에 대한 태양의 예상 포지션에 기초하여, 컴퓨팅 시스템에 의해, 지리적 영역 내의 하나 이상의 위치를 통한 차량의 이동으로 인해 이미지 캡처 디바이스의 관점에서 태양이 이미지 캡처 디바이스의 시야 내의 객체에 근접하게 될 것으로 예상된다고 결정을 내리는 단계를 포함할 수 있다. 또한, 블록(906)에서, 방법(900)은, 결정을 내리는 것에 응답하여, 적어도 하나 이상의 위치를 통한 차량의 이동을 피하는 루트에 기초하여 지리적 영역에서 차량에 대한 루트를 생성하는 단계를 포함할 수 있다. 또한, 블록(908)에서, 방법(900)은 생성된 루트에 따라 차량이 이동하도록 동작시키는 단계를 포함할 수 있다.
VII. 예시적인 컴퓨터 프로그램 제품
도 10은 예시적인 구현에 따른 컴퓨터 프로그램의 개략도이다. 일부 구현들에서, 개시된 방법들은 머신 판독 가능 포맷의 비-일시적 컴퓨터 판독 가능 저장 매체, 또는 다른 비-일시적 매체 또는 제조물 상에 인코딩된 컴퓨터 프로그램 명령어들로서 구현될 수 있다.
예시적인 구현에서, 컴퓨터 프로그램 제품(1000)은 신호 베어링 매체(1002)를 사용하여 제공되며, 이는, 하나 이상의 프로세서에 의해 실행될 때, 도 1 내지 도 9에 대해 위에서 설명된 기능 또는 기능 중 일부들을 제공할 수 있는 하나 이상의 프로그래밍 명령어(1004)를 포함할 수 있다. 일부 예들에서, 신호 베어링 매체(1002)는 하드 디스크 드라이브, CD, DVD, 디지털 테이프, 메모리, (예를 들어, 클라우드 상에) 원격으로 저장하기 위한 컴포넌트들 등과 같되, 이에 제한되지 않는 비-일시적 컴퓨터 판독 가능 매체(1006)를 포함할 수 있다. 일부 구현들에서, 신호 베어링 매체(1002)는 메모리, 판독/기입(R/W) CD들, R/W DVD들 등과 같되, 이에 제한되지 않는 컴퓨터 기록 가능 매체(1008)를 포함할 수 있다. 일부 구현들에서, 신호 베어링 매체(1002)는 디지털 및/또는 아날로그 통신 매체(예를 들어, 광섬유 케이블, 도파관, 유선 통신 링크, 무선 통신 링크 등)와 같되, 이에 제한되지 않는 통신 매체(1010)를 포함할 수 있다. 유사하게, 신호 베어링 매체(1002)는 원격 스토리지(예를 들어, 클라우드)에 대응할 수 있다. 컴퓨팅 시스템은 정보의 전송 또는 수신을 포함하여 클라우드와 정보를 공유할 수 있다. 예를 들어, 컴퓨팅 시스템은 센서들 또는 다른 엔티티로부터 획득된 정보를 증강시키기 위해 클라우드로부터 추가 정보를 수신할 수 있다. 따라서, 예를 들어, 신호 베어링 매체(1002)는 무선 형태의 통신 매체(1010)에 의해 운반될 수 있다.
하나 이상의 프로그래밍 명령어(1004)는, 예를 들어, 컴퓨터 실행 가능 및/또는 로직 구현 명령어들일 수 있다. 일부 예들에서, 도 1의 컴퓨터 시스템(112) 또는 도 3의 원격 컴퓨팅 시스템(302) 및 아마도 서버 컴퓨팅 시스템(306) 또는 도 4a의 프로세서 중 하나와 같은 컴퓨팅 디바이스는 컴퓨터 판독 가능 매체(1106), 컴퓨터 기록 가능 매체(1008) 및/또는 통신 매체(1010) 중 하나 이상에 의해 컴퓨터 시스템(112)에 운반되는 프로그래밍 명령어들(1004)에 응답하여 다양한 동작들, 기능들 또는 액션들을 제공하도록 구성될 수 있다.
비-일시적 컴퓨터 판독 가능 매체는 또한 서로 원격으로 위치될 수 있는 다수의 데이터 저장 엘리먼트들 및/또는 클라우드 간에 (예를 들어, 원격으로) 분산될 수도 있다. 저장된 명령어들 중 일부 또는 전부를 실행하는 컴퓨팅 디바이스는 도 2에 예시된 차량(200)과 같은 차량일 수 있다. 대안적으로, 저장된 명령어들 중 일부 또는 전부를 실행하는 컴퓨팅 디바이스는 서버와 같은 다른 컴퓨팅 디바이스일 수 있다.
상기 상세한 설명은 첨부 도면들을 참조하여 개시된 시스템들, 디바이스들 및 방법들의 다양한 피처들 및 동작들을 설명한다. 다양한 양태들 및 실시예들이 본 명세서에서 개시되었지만, 다른 양태들 및 실시예들도 명백할 것이다. 본 명세서에 개시된 다양한 양태들 및 실시예들은 예시를 위한 것으로서, 제한적인 것으로 의도되지 않으며, 진정한 범위는 다음의 청구 범위에 의해 나타내어진다.
VIII. 결론
도면들에 도시된 특정 배열들은 제한적인 것으로 간주되어서는 안된다. 다른 구현들은 주어진 도면에 도시된 각각의 엘리먼트를 다소 포함할 수 있다는 것이 이해되어야 한다. 또한, 예시된 엘리먼트들 중 일부는 결합되거나 생략될 수 있다. 또한, 예시적인 구현은 도면들에 예시되지 않은 엘리먼트들을 포함할 수 있다.
추가적으로, 다양한 양태들 및 구현들이 본 명세서에 개시되었지만, 다른 양태들 및 구현들도 본 기술분야의 통상의 기술자에게 명백할 것이다. 본 명세서에 개시된 다양한 양태들 및 구현들은 예시의 목적을 위한 것으로서, 제한적인 것으로 의도되지 않으며, 진정한 범위 및 사상은 다음의 청구 범위에 의해 나타내어진다. 본 명세서에 제시된 대상의 사상 또는 범위를 벗어나지 않고, 다른 구현들이 활용될 수 있고, 다른 변경들도 이루어질 수 있다. 본 명세서에서 일반적으로 설명되고 도면들에 예시된 바와 같이, 본 개시내용의 양태들은 매우 다양한 상이한 구성들로 배열, 대체, 조합, 분리 및 설계될 수 있으며, 이들 모두 본 명세서에서 고려된다는 것이 쉽게 이해될 것이다.

Claims (20)

  1. 방법으로서,
    컴퓨팅 시스템에 의해, 지리적 영역에 대한 태양의 예상 포지션을 결정하는 단계 - 상기 컴퓨팅 시스템은 적어도 차량에 커플링되는 이미지 캡처 디바이스에 의해 생성된 이미지 데이터에 기초하여 상기 차량을 동작시키도록 구성됨 -;
    적어도 상기 지리적 영역에 대한 태양의 예상 포지션에 기초하여, 상기 컴퓨팅 시스템에 의해, 상기 지리적 영역 내의 하나 이상의 위치를 통한 상기 차량의 이동으로 인해 상기 이미지 캡처 디바이스의 관점에서 태양이 상기 이미지 캡처 디바이스의 시야 내의 객체에 근접하게 될 것으로 예상된다고 결정을 내리는 단계;
    상기 결정을 내리는 것에 응답하여, 적어도 상기 하나 이상의 위치를 통한 상기 차량의 이동을 피하는 루트에 기초하여 상기 지리적 영역에서 상기 차량에 대한 루트를 생성하는 단계; 및
    상기 생성된 루트에 따라 상기 차량이 이동하도록 동작시키는 단계
    를 포함하는 방법.
  2. 제1항에 있어서,
    상기 컴퓨팅 시스템에 의해, 하나 이상의 시간에 상기 지리적 영역에 대한 태양의 하나 이상의 예상 포지션과 관련된 궤도력 데이터(ephemeris data)를 수신하는 단계
    를 추가로 포함하고,
    상기 지리적 영역에 대한 태양의 예상 포지션을 결정하는 단계는 상기 수신된 궤도력 데이터에 기초하는 방법.
  3. 제1항에 있어서,
    상기 결정을 내리는 단계는 특정 시간에 특정 위치를 통한 상기 차량의 이동으로 인해 상기 이미지 캡처 디바이스의 관점에서 태양이 상기 이미지 캡처 디바이스의 시야 내의 객체에 근접하게 될 것으로 예상된다고 결정을 내리는 단계를 포함하고,
    상기 하나 이상의 위치를 통한 상기 차량의 이동을 피하는 것은 특정 시간에 특정 위치를 통한 상기 차량의 이동을 피하는 것을 포함하는 방법.
  4. 제1항에 있어서, 상기 결정을 내리는 단계는 상기 하나 이상의 위치를 통한 상기 차량의 이동이 상기 이미지 캡처 디바이스로 하여금 임계 저이미지 품질을 갖는 이미지 데이터를 생성하게 할 것으로 예상된다고 결정하는 단계를 포함하는 방법.
  5. 제1항에 있어서,
    상기 컴퓨팅 시스템에 의해, 상기 하나 이상의 위치를 통한 상기 차량의 이동 동안 상기 이미지 캡처 디바이스의 하나 이상의 예상 방위 및/또는 하나 이상의 예상 공간 포지션을 결정하는 단계
    를 추가로 포함하고,
    상기 결정을 내리는 단계는 상기 하나 이상의 위치를 통한 상기 차량의 이동 동안 상기 이미지 캡처 디바이스의 하나 이상의 예상 방위 및/또는 하나 이상의 예상 공간 포지션에 추가로 기초하는 방법.
  6. 제1항에 있어서,
    상기 컴퓨팅 시스템에 의해, 상기 하나 이상의 위치에서 상기 이미지 캡처 디바이스에 대한 상기 객체의 하나 이상의 포지션 및/또는 하나 이상의 방위를 결정하는 단계
    를 추가로 포함하고,
    상기 결정을 내리는 단계는 상기 하나 이상의 위치에서 상기 이미지 캡처 디바이스에 대한 상기 객체의 하나 이상의 포지션 및/또는 하나 이상의 방위에 추가로 기초하는 방법.
  7. 제1항에 있어서, 상기 하나 이상의 위치는 특정 교통 차로의 일부를 포함하고, 상기 생성된 루트는 상기 특정 교통 차로의 일부를 통한 상기 차량의 이동을 피하는 방법.
  8. 제1항에 있어서, 상기 하나 이상의 위치는 특정 도로의 일부를 포함하고, 상기 생성된 루트는 상기 특정 도로의 일부를 통한 상기 차량의 이동을 피하는 방법.
  9. 제1항에 있어서, 상기 하나 이상의 위치는 특정 교차로를 포함하고, 상기 생성된 루트는 상기 특정 교차로를 통한 상기 차량의 이동을 피하는 방법.
  10. 제1항에 있어서, 상기 객체는 교통 신호등인 방법.
  11. 제1항에 있어서, 상기 객체는 제1 객체이고, 상기 차량은 상기 이미지 캡처 디바이스가 마주치는 외부 광의 정도를 제어하도록 조정 가능한 광-제어 피처를 포함하고,
    상기 방법은,
    상기 생성된 루트에 따른 상기 차량의 이동 동안, 상기 이미지 캡처 디바이스의 관점에서 태양이 상기 이미지 캡처 디바이스의 시야 내의 제2 객체에 근접한 것으로 추가로 결정을 내리는 단계; 및
    상기 추가로 결정을 내리는 것에 응답하여, 상기 컴퓨팅 시스템에 의해, 상기 이미지 캡처 디바이스의 관점에서 상기 이미지 캡처 디바이스의 시야에서 태양의 적어도 일부를 차단하도록 상기 광-제어 피처에 대한 조정을 행하는 단계
    를 추가로 포함하는 방법.
  12. 제11항에 있어서, 상기 제1 및 제2 객체는 동일한 객체인 방법.
  13. 제11항에 있어서,
    상기 광-제어 피처가 상기 이미지 캡처 디바이스의 시야에서 태양의 적어도 일부를 차단하는 동안, 상기 컴퓨팅 시스템에 의해, 이미지 데이터를 생성하도록 상기 이미지 캡처 디바이스를 동작시키는 단계; 및
    상기 컴퓨팅 시스템에 의해, 상기 광-제어 피처가 상기 이미지 캡처 디바이스의 시야에서 태양의 적어도 일부를 차단하는 동안, 적어도 상기 이미지 캡처 디바이스에 의해 생성된 이미지 데이터에 기초하여 상기 차량을 동작시키는 단계
    를 추가로 포함하는 방법.
  14. 제11항에 있어서, 상기 광-제어 피처는 기계적 디바이스를 포함하고, 상기 조정을 행하는 단계는 상기 이미지 캡처 디바이스의 시야에서 태양의 적어도 일부를 차단하기 위해 상기 기계적 디바이스의 포지션을 조정하는 단계를 포함하는 방법.
  15. 제11항에 있어서, 상기 광-제어 피처는 조정 가능한 광 투과 특성들을 갖는 광-제어 디바이스를 포함하고, 상기 조정을 행하는 단계는 상기 이미지 캡처 디바이스가 마주치는 태양광의 정도를 제어하기 위해 상기 광-제어 디바이스의 광 투과 특성들을 조정하는 단계를 포함하는 방법.
  16. 적어도 자율-주행 차량에 커플링되는 이미지 캡처 디바이스에 의해 생성된 이미지 데이터에 기초하여 상기 차량을 동작시키도록 구성되는 컴퓨팅 시스템으로서,
    하나 이상의 프로세서;
    비-일시적 컴퓨터 판독 가능 매체; 및
    상기 비-일시적 컴퓨터 판독 가능 매체 상에 저장되고 상기 하나 이상의 프로세서에 의해
    지리적 영역에 대한 태양의 예상 포지션을 결정하고,
    적어도 상기 지리적 영역에 대한 태양의 예상 포지션에 기초하여, 상기 지리적 영역 내의 하나 이상의 위치를 통한 상기 차량의 이동으로 인해 상기 이미지 캡처 디바이스의 관점에서 태양이 상기 이미지 캡처 디바이스의 시야 내의 객체에 근접하게 될 것으로 예상된다고 결정을 내리고,
    상기 결정을 내리는 것에 응답하여, 적어도 상기 하나 이상의 위치를 통한 상기 차량의 이동을 피하는 루트에 기초하여 상기 지리적 영역에서 상기 차량에 대한 루트를 생성하고,
    상기 생성된 루트에 따라 상기 차량이 이동하도록 동작시키도록
    실행 가능한 프로그램 명령어들
    을 포함하는 컴퓨팅 시스템.
  17. 제16항에 있어서, 상기 명령어들은 하나 이상의 시간에 상기 지리적 영역에 대한 태양의 하나 이상의 예상 포지션과 관련된 궤도력 데이터를 수신하도록
    추가로 실행 가능하고,
    상기 지리적 영역에 대한 태양의 예상 포지션을 결정하는 것은 상기 수신된 궤도력 데이터에 기초하는 컴퓨팅 시스템.
  18. 제16항에 있어서,
    상기 결정을 내리는 것은 특정 시간에 특정 위치를 통한 상기 차량의 이동으로 인해 상기 이미지 캡처 디바이스의 관점에서 태양이 상기 이미지 캡처 디바이스의 시야 내의 객체에 근접하게 될 것으로 예상된다고 결정을 내리는 것을 포함하고,
    상기 하나 이상의 위치를 통한 상기 차량의 이동을 피하는 것은 특정 시간에 특정 위치를 통한 상기 차량의 이동을 피하는 것을 포함하는 컴퓨팅 시스템.
  19. 제16항에 있어서, 상기 특정 위치는 특정 교차로의 적어도 일부이고, 상기 객체는 상기 특정 교차로에 위치 결정된 교통 신호등이고, 상기 루트를 결정하는 것은 적어도 상기 특정 교차로의 적어도 일부를 통한 상기 차량의 이동을 피하는 루트에 적어도 기초하여 상기 지리적 영역에서 상기 차량에 대한 루트를 결정하는 것을 포함하는 컴퓨팅 시스템.
  20. 차량으로서,
    상기 차량 주위의 환경을 나타내는 이미지 데이터를 생성하도록 구성되는 이미지 캡처 디바이스; 및
    적어도 상기 이미지 캡처 디바이스에 의해 생성된 이미지 데이터에 기초하여 상기 차량을 동작시키도록 구성되는 컴퓨팅 시스템
    을 포함하고,
    상기 컴퓨팅 시스템은,
    지리적 영역에 대한 태양의 예상 포지션을 결정하고,
    적어도 상기 지리적 영역에 대한 태양의 예상 포지션에 기초하여, 상기 지리적 영역 내의 하나 이상의 위치를 통한 상기 차량의 이동으로 인해 상기 이미지 캡처 디바이스의 관점에서 태양이 상기 이미지 캡처 디바이스의 시야 내의 객체에 근접하게 될 것으로 예상된다고 결정을 내리고,
    상기 결정을 내리는 것에 응답하여, 적어도 상기 하나 이상의 위치를 통한 상기 차량의 이동을 피하는 루트에 기초하여 상기 지리적 영역에서 상기 차량에 대한 루트를 생성하고,
    상기 생성된 루트에 따라 상기 차량이 이동하도록 동작시키도록
    추가로 구성되는 차량.
KR1020207019967A 2017-12-14 2018-12-04 태양-인식 차량 라우팅을 위한 방법들 및 시스템들 KR102454748B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US15/842,055 2017-12-14
US15/842,055 US10921142B2 (en) 2017-12-14 2017-12-14 Methods and systems for sun-aware vehicle routing
PCT/US2018/063877 WO2019118234A1 (en) 2017-12-14 2018-12-04 Methods and systems for sun-aware vehicle routing

Publications (2)

Publication Number Publication Date
KR20200086756A true KR20200086756A (ko) 2020-07-17
KR102454748B1 KR102454748B1 (ko) 2022-10-17

Family

ID=66815834

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020207019967A KR102454748B1 (ko) 2017-12-14 2018-12-04 태양-인식 차량 라우팅을 위한 방법들 및 시스템들

Country Status (7)

Country Link
US (3) US10921142B2 (ko)
EP (1) EP3707573B1 (ko)
JP (1) JP7149331B2 (ko)
KR (1) KR102454748B1 (ko)
CN (1) CN111480130B (ko)
IL (1) IL275174B2 (ko)
WO (1) WO2019118234A1 (ko)

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10761542B1 (en) 2017-07-11 2020-09-01 Waymo Llc Methods and systems for keeping remote assistance operators alert
US10558873B2 (en) * 2017-12-14 2020-02-11 Waymo Llc Methods and systems for controlling extent of light encountered by an image capture device of a self-driving vehicle
US10921142B2 (en) * 2017-12-14 2021-02-16 Waymo Llc Methods and systems for sun-aware vehicle routing
US11112257B2 (en) * 2018-05-02 2021-09-07 Microsoft Technology Licensing, Llc Navigation with sun glare information
JP6725733B2 (ja) * 2018-07-31 2020-07-22 ソニーセミコンダクタソリューションズ株式会社 固体撮像装置および電子機器
WO2020027233A1 (ja) 2018-07-31 2020-02-06 ソニーセミコンダクタソリューションズ株式会社 撮像装置及び車両制御システム
US10962770B2 (en) 2018-11-02 2021-03-30 Pony Ai Inc. Method for controlling camera exposure to augment a wiper system of a sensor enclosure
US11914367B2 (en) * 2018-12-11 2024-02-27 GM Global Technology Operations LLC Sun-aware routing and controls of an autonomous vehicle
US11172192B2 (en) * 2018-12-27 2021-11-09 Waymo Llc Identifying defects in optical detector systems based on extent of stray light
US11180119B2 (en) * 2019-04-19 2021-11-23 Pony Ai Inc. System and method for autonomous vehicle predictive sensor cleaning
US11265480B2 (en) * 2019-06-11 2022-03-01 Qualcomm Incorporated Systems and methods for controlling exposure settings based on motion characteristics associated with an image sensor
CN110606085B (zh) * 2019-08-29 2020-08-28 江苏大学 智能驾驶辅助系统下预防车辆在交叉口误闯交通灯的方法
DE102019134962A1 (de) * 2019-12-18 2021-06-24 Valeo Schalter Und Sensoren Gmbh Safe autonomous driving operation with sun glareSafe autonomous driving operation with sun glare
KR20210097418A (ko) * 2020-01-30 2021-08-09 현대자동차주식회사 라이다 노이즈 제거 장치 및 그의 라이다 노이즈 제거 방법
US11312393B2 (en) 2020-05-29 2022-04-26 Robert Bosch Gmbh Artificially falsifying sensor data to initiate a safety action for an autonomous vehicle
US11433920B2 (en) * 2020-05-29 2022-09-06 Robert Bosch Gmbh Map-based prediction and mitigation of performance limitations for autonomous vehicles
CN112466124A (zh) * 2020-11-30 2021-03-09 重庆长安汽车股份有限公司 前视摄像头使用场景优化方法、系统、车辆及存储介质
JP2022155838A (ja) * 2021-03-31 2022-10-14 本田技研工業株式会社 車両制御装置、経路生成装置、車両制御方法、経路生成方法、およびプログラム
CN113739823B (zh) * 2021-09-17 2023-07-14 北京控制工程研究所 一种火星车aps太阳敏感器误差补偿方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005008058A (ja) * 2003-06-19 2005-01-13 Matsushita Electric Ind Co Ltd 遮光制御装置
US20150266488A1 (en) * 2014-03-18 2015-09-24 Volvo Car Corporation Vehicle, vehicle system and method for increasing safety and/or comfort during autonomous driving
US20170072880A1 (en) * 2008-07-24 2017-03-16 Magna Electronics, Inc. Vehicle vision system
US20170316273A1 (en) * 2012-09-19 2017-11-02 Waymo Llc Use Of Relationship Between Activities Of Different Traffic Signals In A Network To Improve Traffic Signal State Estimation

Family Cites Families (53)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3550765B2 (ja) * 1994-12-02 2004-08-04 株式会社デンソー 車両用経路案内装置
KR20010033768A (ko) 1997-12-31 2001-04-25 프레데릭 티. 바우어 자동차 영상장치
US6426492B1 (en) 1999-05-24 2002-07-30 Donnelly Corporation Electro-optic aperture for vehicular imaging system
JP4399987B2 (ja) * 2001-01-25 2010-01-20 株式会社デンソー 車両統合制御におけるフェイルセーフシステム
US6666493B1 (en) 2002-12-19 2003-12-23 General Motors Corporation Automatic sun visor and solar shade system for vehicles
US20060140502A1 (en) 2004-12-25 2006-06-29 Allan Tseng Active visor system for eliminating glare in field-of-vision from mobile and transient light sources and reflective surfaces
JP2007139477A (ja) 2005-11-16 2007-06-07 Fujitsu Ten Ltd ナビゲーション装置
JP2007315799A (ja) * 2006-05-23 2007-12-06 Pioneer Electronic Corp 経路探索装置、経路探索方法及び経路探索プログラム
US20070280069A1 (en) 2006-06-05 2007-12-06 Mediatek Inc. Method of gain control and controller thereof
EP2351351B1 (en) 2008-10-01 2015-09-16 Connaught Electronics Limited A method and a system for detecting the presence of an impediment on a lens of an image capture device to light passing through the lens of an image capture device
WO2010040386A1 (en) * 2008-10-07 2010-04-15 Tomtom International B.V. Navigation apparatus and method of determining a route therefor
US8589034B2 (en) * 2008-10-09 2013-11-19 Angela Karen Kwok System and methods for an automated sun glare block area and sunshield in a vehicular windshield
US8126642B2 (en) 2008-10-24 2012-02-28 Gray & Company, Inc. Control and systems for autonomously driven vehicles
US8392074B2 (en) 2009-10-23 2013-03-05 GM Global Technology Operations LLC Automatic controller for powered retractable sun visor
JP2011158281A (ja) 2010-01-29 2011-08-18 Pioneer Electronic Corp 経路探索装置、経路探索方法、経路探索プログラムおよび記録媒体
JP5287838B2 (ja) 2010-03-16 2013-09-11 株式会社デンソー 表示位置設定装置
WO2011116476A1 (en) 2010-03-26 2011-09-29 Feeling Software Inc. Effortless navigation across cameras and cooperative control of cameras
US9090263B2 (en) * 2010-07-20 2015-07-28 GM Global Technology Operations LLC Lane fusion system using forward-view and rear-view cameras
US8888304B2 (en) 2012-05-10 2014-11-18 Christopher V. Beckman Optical control techniques
US20180126910A1 (en) * 2012-01-24 2018-05-10 SMR Patents S.à.r.l. Rearview device with moveable head assembly
US9279693B2 (en) 2012-02-17 2016-03-08 Blackberry Limited Navigation system and method for determining a route based on sun position and weather
EP2629056B1 (en) * 2012-02-17 2016-06-29 BlackBerry Limited Navigation System And Method For Determining A Route Based On Sun Position And Weather
JP6028382B2 (ja) 2012-04-27 2016-11-16 株式会社デンソー 前方監視カメラ
US9367065B2 (en) 2013-01-25 2016-06-14 Google Inc. Modifying behavior of autonomous vehicles based on sensor blind spots and limitations
US8676431B1 (en) * 2013-03-12 2014-03-18 Google Inc. User interface for displaying object-based indications in an autonomous driving system
US10037689B2 (en) * 2015-03-24 2018-07-31 Donald Warren Taylor Apparatus and system to manage monitored vehicular flow rate
US10247854B2 (en) 2013-05-07 2019-04-02 Waymo Llc Methods and systems for detecting weather conditions using vehicle onboard sensors
US10591608B2 (en) * 2014-01-24 2020-03-17 Savari, Inc. Positioning quality filter for the V2X technologies
US9145139B2 (en) * 2013-06-24 2015-09-29 Google Inc. Use of environmental information to aid image processing for autonomous vehicles
CA2940652C (en) * 2014-02-26 2022-07-12 Clark Emerson Cohen An improved performance and cost global navigation satellite system architecture
EP4254383A3 (en) * 2014-08-18 2023-12-20 Mobileye Vision Technologies Ltd. Recognition and prediction of lane constraints
US9712741B2 (en) * 2014-09-19 2017-07-18 Be Topnotch, Llc Smart vehicle sun visor
US10723267B2 (en) * 2014-09-19 2020-07-28 Be Topnotch, Llc Display rear passenger view on a display screen in vehicle
WO2016197307A1 (en) 2015-06-08 2016-12-15 SZ DJI Technology Co., Ltd. Methods and apparatus for image processing
JP6080061B1 (ja) 2015-10-23 2017-02-15 パナソニックＩｐマネジメント株式会社 撮像装置
US9632502B1 (en) 2015-11-04 2017-04-25 Zoox, Inc. Machine-learning systems and techniques to optimize teleoperation and/or planner decisions
US9720415B2 (en) 2015-11-04 2017-08-01 Zoox, Inc. Sensor-based object-detection optimization for autonomous vehicles
US10048696B2 (en) * 2015-12-22 2018-08-14 Uber Technologies, Inc. Intelligent lens masking system for an autonomous vehicle
US9965696B2 (en) 2015-12-31 2018-05-08 James Alves Digital camera control system
US20170219374A1 (en) 2016-01-28 2017-08-03 Toyota Motor Engineering & Manufacturing North America, Inc. Navigation system and method for determining a vehicle route optimized for maximum solar energy reception
DE102016001231A1 (de) * 2016-02-04 2016-08-25 Daimler Ag Verfahren zur Bestimmung einer Fahrtroute
JP6819076B2 (ja) 2016-05-17 2021-01-27 株式会社デンソー 走行計画作成装置及びセンタ
US10527440B2 (en) 2016-07-27 2020-01-07 Faraday&Future Inc. Vehicle routing to avoid regions with glare
US10356335B2 (en) 2016-09-23 2019-07-16 Apple Inc. Camera shades
GB201711409D0 (en) * 2016-12-30 2017-08-30 Maxu Tech Inc Early entry
US10371530B2 (en) * 2017-01-04 2019-08-06 Qualcomm Incorporated Systems and methods for using a global positioning system velocity in visual-inertial odometry
US9947221B1 (en) * 2017-02-12 2018-04-17 Robert Mazzola Systems and methods of vehicular communication
US10220786B2 (en) * 2017-03-24 2019-03-05 Ford Global Technologies, Llc Controlling side-view mirrors in autonomous vehicles
US10220785B2 (en) * 2017-03-24 2019-03-05 Ford Global Technologies, Llc Controlling side-view mirrors in autonomous vehicles
WO2019116459A1 (ja) * 2017-12-13 2019-06-20 本田技研工業株式会社 車両並びにその制御システム及び制御方法
US10921142B2 (en) * 2017-12-14 2021-02-16 Waymo Llc Methods and systems for sun-aware vehicle routing
US10757320B2 (en) * 2017-12-28 2020-08-25 Waymo Llc Multiple operating modes to expand dynamic range
US11181619B2 (en) * 2018-06-14 2021-11-23 Waymo Llc Camera ring structure for autonomous vehicles

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005008058A (ja) * 2003-06-19 2005-01-13 Matsushita Electric Ind Co Ltd 遮光制御装置
US20170072880A1 (en) * 2008-07-24 2017-03-16 Magna Electronics, Inc. Vehicle vision system
US20170316273A1 (en) * 2012-09-19 2017-11-02 Waymo Llc Use Of Relationship Between Activities Of Different Traffic Signals In A Network To Improve Traffic Signal State Estimation
US20150266488A1 (en) * 2014-03-18 2015-09-24 Volvo Car Corporation Vehicle, vehicle system and method for increasing safety and/or comfort during autonomous driving

Also Published As

Publication number Publication date
JP2021507210A (ja) 2021-02-22
US20190186931A1 (en) 2019-06-20
JP7149331B2 (ja) 2022-10-06
US10921142B2 (en) 2021-02-16
EP3707573A4 (en) 2021-07-21
US11561108B2 (en) 2023-01-24
IL275174B2 (en) 2024-03-01
IL275174A (en) 2020-07-30
KR102454748B1 (ko) 2022-10-17
CN111480130A (zh) 2020-07-31
US20230152107A1 (en) 2023-05-18
EP3707573A1 (en) 2020-09-16
CN111480130B (zh) 2023-10-17
EP3707573B1 (en) 2023-03-22
IL275174B1 (en) 2023-11-01
WO2019118234A1 (en) 2019-06-20
US20210131816A1 (en) 2021-05-06

Similar Documents

Publication Publication Date Title
KR102454748B1 (ko) 태양-인식 차량 라우팅을 위한 방법들 및 시스템들
KR102366659B1 (ko) 자율-주행 차량의 이미지 캡처 디바이스가 마주치는 광의 정도를 제어하기 위한 방법들 및 시스템들
US9387854B1 (en) Use of environmental information to aid image processing for autonomous vehicles
JP6270064B2 (ja) 交通信号とそれらに関連した状態を検出するためのロバスト法
US9063548B1 (en) Use of previous detections for lane marker detection
US9558584B1 (en) 3D position estimation of objects from a monocular camera using a set of known 3D points on an underlying surface
US20210191399A1 (en) Real-Time Adjustment Of Vehicle Sensor Field Of View Volume
US11653108B2 (en) Adjustable vertical field of view
US20240106987A1 (en) Multi-Sensor Assembly with Improved Backward View of a Vehicle
US20240085693A1 (en) Replaceable, Heated, and Wipeable Apertures for Optical Systems

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant