JP2023507100A - 車両センサ視野ボリュームのリアルタイム調整 - Google Patents

車両センサ視野ボリュームのリアルタイム調整 Download PDF

Info

Publication number
JP2023507100A
JP2023507100A JP2022535923A JP2022535923A JP2023507100A JP 2023507100 A JP2023507100 A JP 2023507100A JP 2022535923 A JP2022535923 A JP 2022535923A JP 2022535923 A JP2022535923 A JP 2022535923A JP 2023507100 A JP2023507100 A JP 2023507100A
Authority
JP
Japan
Prior art keywords
vehicle
sensor
field
sensors
autonomous vehicle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2022535923A
Other languages
English (en)
Other versions
JP7539470B2 (ja
Inventor
ヴァーギーズ,サイモン
マコーリー,アレクサンダー
Original Assignee
ウェイモ エルエルシー
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ウェイモ エルエルシー filed Critical ウェイモ エルエルシー
Publication of JP2023507100A publication Critical patent/JP2023507100A/ja
Application granted granted Critical
Publication of JP7539470B2 publication Critical patent/JP7539470B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/69Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/095Predicting travel path or likelihood of collision
    • B60W30/0956Predicting travel path or likelihood of collision the prediction being responsive to traffic or environmental parameters
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001Planning or execution of driving tasks
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/865Combination of radar systems with lidar systems
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/867Combination of radar systems with cameras
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88Radar or analogous systems specially adapted for specific applications
    • G01S13/93Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • G01S17/89Lidar systems specially adapted for specific applications for mapping or imaging
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • G01S17/93Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483Details of pulse systems
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/497Means for monitoring or calibrating
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01WMETEOROLOGY
    • G01W1/00Meteorology
    • G01W1/02Instruments for indicating weather conditions by measuring two or more variables, e.g. humidity, pressure, temperature, cloud cover or wind speed
    • G01W1/06Instruments for indicating weather conditions by measuring two or more variables, e.g. humidity, pressure, temperature, cloud cover or wind speed giving a combined indication of weather conditions
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0088Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots characterized by the autonomous decision making process, e.g. artificial intelligence, predefined behaviours
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G05D1/0251Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means extracting 3D information from a plurality of images taken from different locations, e.g. stereo vision
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0257Control of position or course in two dimensions specially adapted to land vehicles using a radar
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/80Arrangements for reacting to or preventing system or operator failure
    • G05D1/81Handing over between on-board automatic and on-board manual control
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/44Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/50Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
    • G06V10/507Summing image-intensity values; Histogram projection analysis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/88Image or video recognition using optical means, e.g. reference filters, holographic masks, frequency domain filters or spatial domain filters
    • G06V10/89Image or video recognition using optical means, e.g. reference filters, holographic masks, frequency domain filters or spatial domain filters using frequency domain filters, e.g. Fourier masks implemented on spatial light modulators
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/01Detecting movement of traffic to be counted or controlled
    • G08G1/0104Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0108Measuring and analyzing of parameters relative to traffic conditions based on the source of data
    • G08G1/0112Measuring and analyzing of parameters relative to traffic conditions based on the source of data from the vehicle, e.g. floating car data [FCD]
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/01Detecting movement of traffic to be counted or controlled
    • G08G1/0104Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0108Measuring and analyzing of parameters relative to traffic conditions based on the source of data
    • G08G1/0116Measuring and analyzing of parameters relative to traffic conditions based on the source of data from roadside infrastructure, e.g. beacons
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/01Detecting movement of traffic to be counted or controlled
    • G08G1/04Detecting movement of traffic to be counted or controlled using optical or ultrasonic detectors
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/01Detecting movement of traffic to be counted or controlled
    • G08G1/048Detecting movement of traffic to be counted or controlled with provision for compensation of environmental or other condition, e.g. snow, vehicle stopped at detector
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403Image sensing, e.g. optical camera
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/408Radar; Laser, e.g. lidar
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2556/00Input parameters relating to data
    • B60W2556/45External transmission of data to or from the vehicle
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/20Control system inputs
    • G05D1/24Arrangements for determining position or orientation
    • G05D1/243Means capturing signals occurring naturally from the environment, e.g. ambient optical, acoustic, gravitational or magnetic signals
    • G05D1/2435Extracting 3D information
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/20Control system inputs
    • G05D1/24Arrangements for determining position or orientation
    • G05D1/247Arrangements for determining position or orientation using signals provided by artificial sources external to the vehicle, e.g. navigation beacons

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Multimedia (AREA)
  • Electromagnetism (AREA)
  • Theoretical Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Signal Processing (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Chemical & Material Sciences (AREA)
  • Environmental & Geological Engineering (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Analytical Chemistry (AREA)
  • Mathematical Physics (AREA)
  • Game Theory and Decision Science (AREA)
  • Ecology (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Business, Economics & Management (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Atmospheric Sciences (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Medical Informatics (AREA)
  • Environmental Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Traffic Control Systems (AREA)
  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)
  • Studio Devices (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Indication And Recording Devices For Special Purposes And Tariff Metering Devices (AREA)
  • Measuring Fluid Pressure (AREA)

Abstract

自律車両の1つ以上のセンサの視野を調整するために使用され得るシステムおよび方法が開示される。システムおよび方法では、1つ以上のセンサの各センサが、最大視野ボリューム以下の視野ボリュームに従って動作するように構成されている。システムおよび方法は、自律車両の動作環境を決定することを含む。システムおよび方法はまた、自律車両の決定された動作環境に基づいて、1つ以上のセンサのうちの少なくとも1つのセンサの視野ボリュームを、第1の視野ボリュームから、第1の視野ボリュームとは異なる調整された視野ボリュームに調整することを含む。加えて、システムおよび方法は、調整された視野ボリュームを有する少なくとも1つのセンサを使用して動作するように自律車両を制御することを含む。【選択図】図9

Description

関連出願の相互参照
本開示は、2019年12月23日に提出された米国仮第62/952,879号の優先権を主張する2020年8月25日に提出された米国非仮出願第17/002,092号の優先権を主張し、その内容は参照によりその全体が本明細書に組み込まれる。
車両は、運転者からの入力がほとんどないか、またはまったくない状態であっても、車両が環境を通ってナビゲートする自律モードで動作するように構成され得る。そのような自律走行車は、車両が動作する環境に関する情報を検出するように構成されている1つ以上のシステム(例えば、センサおよび関連するコンピューティングデバイス)を含み得る。車両とそれに関連するコンピュータ実装コントローラは、検出された情報を使用して環境を通ってナビゲートする。例えば、車両が障害物に近づいていることをシステムが検出した場合、コンピュータ実装コントローラによる判定に従って、コントローラは車両の方向制御を調整して、車両に障害物を避けて走行させる。
例えば、自律車両はレーザ、ソナー、レーダ、カメラ、熱撮像装置、および車両の周囲に関するデータを走査および/または記録する他のセンサを含み得る。これらのデバイスのうちの1つ以上からのセンサデータは、物体およびそれらのそれぞれの特性(位置、形状、進行方向、速度など)を検出するために使用され得る。この検出および識別は自律車両の動作に役立つ。
一例では、本開示はシステムを提供する。システムは、1つ以上のセンサであって、1つ以上のセンサの各センサが、視野ボリュームアップに従って動作するように構成されており、視野ボリュームが、センサが、事前に定められた信頼度閾値よりも高い信頼度レベルで物体を検出すると期待される自律車両の周囲の空間を表す、1つ以上のセンサを含む。システムはまた、1つ以上のセンサに結合された1つ以上のプロセッサを含む。システムはまた、1つ以上のプロセッサに結合されたメモリであって、1つ以上のプロセッサによって実行されると、1つ以上のプロセッサに動作を実行させる命令が保存されたメモリを含む。動作は、自律車両の複数の運行設計領域(ODD)を識別することであって、各ODDが、環境条件、地理的条件、時刻条件、交通状況、または道路状況のうちの少なくとも1つを含み、また各ODDが、1つ以上のセンサのうちの少なくとも1つのセンサの所定の視野ボリュームに関連付けられている、識別することを含む。動作はまた、自律車両を複数のODDのうちの第1のODDに関連付けることを含む。動作はまた、自律車両の動作環境の変化を検出することを含む。動作はまた、検出することに応じて、自律車両を複数のODDのうちの第2のODDに関連付けることを含む。動作はまた、自律車両が第2のODDに関連付けられていることに応じて、第2のODDに関連付けられた所定の視野ボリュームを使用し記少なくとも1つのセンサを動作させることを含む。
本開示の一部の例は、自律車両の動作を制御するように構成されたコンピューティングデバイスによって実行される方法を提供する。この方法は、自律車両の複数の運行設計領域(ODD)を識別することであって、各ODDが、環境条件、地理的条件、時刻条件、交通状況、または道路状況のうちの少なくとも1つを含み、また各ODDが、1つ以上のセンサのうちの少なくとも1つのセンサの所定の視野ボリュームに関連付けられている、識別することを含み、1つ以上のセンサの各センサが、視野ボリュームに従って動作するように構成されており、視野ボリュームが、センサが、事前に定められた信頼度閾値よりも高い信頼度レベルで物体を検出すると期待される自律車両の周囲の空間を表している。この方法はまた、自律車両を複数のODDのうちの第1のODDに関連付けることを含む。この方法はまた、自律車両の動作環境の変化を検出することを含む。この方法はまた、検出することに応じて、自律車両を複数のODDのうちの第2のODDに関連付けることを含む。この方法はまた、自律車両が第2のODDに関連付けられていることに応じて、第2のODDに関連付けられた所定の視野ボリュームを使用し記少なくとも1つのセンサを動作させることを含む。
本開示の一部の例は、1つ以上のプロセッサによって実行されると、1つ以上のプロセッサに動作を実行させるプログラム命令が保存された非一時的なコンピュータ可読記憶媒体を提供する。動作は、自律車両の複数の運行設計領域(ODD)を識別することであって、各ODDが、環境条件、地理的条件、時刻条件、交通状況、または道路状況のうちの少なくとも1つを含み、また各ODDが、1つ以上のセンサのうちの少なくとも1つのセンサの所定の視野ボリュームに関連付けられている、識別することを含み、1つ以上のセンサの各センサが、視野ボリュームに従って動作するように構成されており、視野ボリュームが、センサが、事前に定められた信頼度閾値よりも高い信頼度レベルで物体を検出すると期待される自律車両の周囲の空間を表している。動作はまた、自律車両を複数のODDのうちの第1のODDに関連付けることを含む。動作はまた、自律車両の動作環境の変化を検出することを含む。動作はまた、検出することに応じて、自律車両を複数のODDのうちの第2のODDに関連付けることを含む。動作はまた、自律車両が第2のODDに関連付けられていることに応じて、第2のODDに関連付けられた所定の視野ボリュームを使用し記少なくとも1つのセンサを動作させることを含む。
本開示の一部の例はシステムを提供する。システムは、1つ以上のセンサであって、1つ以上のセンサの各センサは、視野ボリュームに従って動作するように構成されている、1つ以上のセンサを含む。システムはまた、1つ以上のセンサに結合された1つ以上のプロセッサを含む。システムはまた、1つ以上のプロセッサに結合されたメモリであって、1つ以上のプロセッサによって実行されると、1つ以上のプロセッサに動作を実行させる命令が保存されたメモリを含む。動作は、自律車両の動作環境を決定することを含む。動作はまた、自律車両の決定された動作環境に基づいて、1つ以上のセンサのうちの少なくとも1つのセンサの視野ボリュームを、第1の視野ボリュームから、第1の視野ボリュームとは異なる調整された視野ボリュームに調整することを含む。
本開示の一部の例は、自律車両の動作を制御するように構成されたコンピューティングデバイスによって実行される方法を提供する。この方法は、自律車両の動作環境を決定することであって、自律車両が1つ以上のセンサを備え、1つ以上のセンサの各センサが視野ボリュームに従って動作するように構成されている、決定することを含む。この方法はまた、自律車両の決定された動作環境に基づいて、1つ以上のセンサのうちの少なくとも1つのセンサの視野ボリュームを、第1の視野ボリュームから、第1の視野ボリュームとは異なる調整された視野ボリュームに調整することを含む。この方法はまた、調整された視野ボリュームを有する少なくとも1つのセンサを使用して動作するように自律車両を制御することを含む。
本開示の一部の例は、1つ以上のプロセッサによって実行されると、1つ以上のプロセッサに動作を実行させるプログラム命令が保存された非一時的なコンピュータ可読記憶媒体を提供する。動作は、自律車両の動作環境を決定することであって、自律車両が1つ以上のセンサを備え、1つ以上のセンサの各センサが視野ボリュームに従って動作するように構成されている、決定することを含む。動作はまた、自律車両の決定された動作環境に基づいて、1つ以上のセンサのうちの少なくとも1つのセンサの視野ボリュームを、第1の視野ボリュームから、第1の視野ボリュームとは異なる調整された視野ボリュームに調整することを含む。動作はまた、調整された視野ボリュームを有する少なくとも1つのセンサを使用して動作するように自律車両を制御することを含む。
本開示の一部の例は、自律車両に取り付けられたセンサを動作させるための方法を提供する。この方法は、第1の視野ボリュームに従って自律車両のセンサを動作させることを含み、第1の視野ボリュームは、自律車両の第1の動作環境に関連付けられている。この方法はまた、自律車両の第2の動作環境を示すデータを受信することを含み、第2の動作環境は、自律車両の環境内の環境条件に関連付けられている。この方法はまた、第2の視野ボリュームに従って動作するようにセンサの動作を自動的に調整することを含み、第2の視野ボリュームは第2の動作環境に関連付けられている。
本開示の一部の例は、自律車両に取り付けられたセンサを動作させるためのシステムを提供する。システムは、センサと、センサに結合された1つ以上のプロセッサとを含む。システムはまた、1つ以上のプロセッサに結合されたメモリであって、1つ以上のプロセッサによって実行されると、1つ以上のプロセッサに動作を実行させる命令が保存されたメモリを含む。動作は、第1の視野ボリュームに従って自律車両のセンサを動作させることを含み、第1の視野ボリュームは、自律車両の第1の動作環境に関連付けられている。動作はまた、自律車両の第2の動作環境を示すデータを受信することを含み、第2の動作環境は、自律車両の環境内の環境条件に関連付けられている。動作はまた、第2の視野ボリュームに従って動作するようにセンサの動作を自動的に調整することを含み、第2の視野ボリュームは第2の動作環境に関連付けられている。
本開示の一部の例は、1つ以上のプロセッサによって実行されると、1つ以上のプロセッサに動作を実行させるプログラム命令が保存された非一時的なコンピュータ可読記憶媒体を提供する。動作は、第1の視野ボリュームに従って自律車両に取り付けられたセンサを動作させることを含み、第1の視野ボリュームは、自律車両の第1の動作環境に関連付けられている。動作はまた、自律車両の第2の動作環境を示すデータを受信することを含み、第2の動作環境は、自律車両の環境内の環境条件に関連付けられている。動作はまた、第2の視野ボリュームに従って動作するようにセンサの動作を自動的に調整することを含み、第2の視野ボリュームは第2の動作環境に関連付けられている。
これらおよび他の態様、利点、および代替物は、当業者には、添付の図面を適宜参照して、以下の詳細な説明を読み取ることにより明らかになるであろう。
例示的な自律車両の態様を示す機能ブロック図である。 例示的な自律車両の外観図を示す。 自律車両に関連する様々なコンピューティングシステム間の無線通信の概念図である。 センサ視野のセットの一例を示す。 例示的な方法を示す。 センサ視野パラメータ(範囲)の動作環境へのマッピングの一例を示す。 車両がローカル気象観測所サーバおよびグローバル気象観測所サーバと通信する通信システムの例を示す。 別の例示的な方法を示す。 別の例示的な方法を示す。
例示的な方法、デバイス、およびシステムが、本明細書に記載される。「例」および「例示的」という語は、本明細書においては、「例、事例、または例示としての役割を果たす」ことを意味するために使用されることを理解されたい。本明細書において「例」または「例示的」であるとして説明されるいずれの実施形態または特徴も、他の実施形態または特徴よりも好ましい、または有利であると必ずしも解釈されるべきではない。本明細書に提示されている主題の範囲から逸脱することなく、他の実施形態を利用することができ、他の変更を行うことができる。
したがって、本明細書に記載される例示的な実施形態は、限定的であることを意味するものではない。本開示の態様は、本明細書に概して記載され、図に例示されているように、多種多様な異なる構成で配列、置き換え、結合、分離、および設計することができ、それらのすべてが、本明細書で想定されている。
さらに、文脈上特段の示唆がある場合を除き、各図において例示された特徴は、互いに組み合わせて使用され得る。したがって、図は、概して、図示された特徴のすべてが、必ずしも各実施形態に必要であるとは限らないという理解のもとで、1つ以上の実施形態全体のうちの部分的な態様として見なされるべきである。
I.概要
多くの車両には、車両のナビゲーションおよび制御を支援する様々な検知システムが含まれている。一部の車両は、人間とのインタラクションが動作に使用されない完全自律モード、人間とのインタラクションがほとんど動作に使用されない半自律モード、または人間が車両を操作し、センサが人間を支援し得る人間操作モードで動作する可能性がある。センサは車両の周囲の領域に関する情報を提供するために使用されてもよい。この情報は、車道および車両の近くにある他の物体(他の車両、歩行者など)の特徴を識別するために使用され得る。
車両のセンサシステムは、例えば、光検出および測距(LIDAR)システムとレーダシステムを含み得る。LIDARはレーザパルスを使用し、レーザ光を反射する物体までの距離と速度を測定する。レーダは電波を使用し、電波を反射する物体までの距離と速度を測定する。LIDARおよびレーダシステムからのデータは、場合によってはカメラなどの車両のセンサシステムの他のセンサからのデータとともに、車両の周囲の環境のどこに物体が位置しているかを決定するために使用され得る。特定のLIDARセンサ、レーダセンサ、および/またはカメラは、それぞれがある視野を有する可能性がある。センサの視野は、センサが物体を検出することができる1つ以上の角度(または他の形状の)領域、およびセンサがその視野内の物体を確実に検出することができるセンサからの最大距離に対応する関連付けられた範囲を含み得る。場合によっては、関連付けられた範囲は視野内の様々な方位角/仰角によって異なる可能性がある。この視野を定義するパラメータの値、例えば、範囲、方位角、および仰角の値は、合わせて、視野ボリュームと呼ばれ得るボリュームを形成する。
特定のセンサの視野ボリュームは、特定のセンサが高い信頼度で物体を検出すると見なすことができる空間の正確な表現として考えることができる。言い換えれば、車両システムの1つ以上のプロセッサ(例えば、センサの動作を制御するチップ、または車両の制御システムのプロセッサ)は、センサの視野ボリュームによって定められる空間内で取得されたセンサデータに自信を持って依存するように構成され得る。例えば、特定のセンサに関連付けられたプロセッサは、そのセンサの視野ボリューム内の範囲、方位角、および/または仰角で検出された物体または他の情報に、より高い信頼度レベル(例えば、事前定義された信頼度閾値レベルよりも高い)を関連付けるように構成されてもよく、その視野ボリューム外の範囲、方位角、および/または仰角で検出された物体または他の情報に、より低い信頼度レベル(例えば、事前定義された信頼度閾値レベル以下)を関連付けるように構成されてもよい。
車両は、天候の変化(霧、雨、雪など)、時刻の変化、制限速度の変化、地形またはその他の地理的条件の変化、居住地の変化(例えば、都市、郊外、地方)、車両に近接する他の車両もしくは物体の数の変化、車両外部の他の変化、および/または車両のシステム内部の変化(例えば、センサエラー、センサ表面の清浄度、車両サブシステムの障害など)など、動作中に様々な条件にさらされる可能性がある。任意の時点で、これらまたは他の条件の1つ以上が車両の動作環境に存在し得る。本開示の文脈において、車両の「動作環境」とは、上記の条件および本開示の他の箇所に記載されている他の条件を含むがこれらに限定されない、時間とともに変化する可能性のある車両の内部および/または外部の1つ以上の条件であるか、または1つ以上のそのような条件を含み得る。したがって、そのような条件の1つ以上が変化すると、車両の動作環境が変化する可能性がある。
場合によっては、動作環境が特定の地理的位置に関連付けられたり、かつ/または何らかの地理的制限によって拘束されてもよい。例えば、第1の動作環境が2つの場所の間の第1のルートに関連付けられ、第2の異なる動作環境が、同じ2つの場所の間の第2のルートに関連付けられてもよい。したがって、第1のルートを走っているとき、車両は第1の動作環境に従って動作する可能性があり、第2のルートを走っているとき、車両は第2の動作環境に従って動作する可能性がある。別の例として、第1の動作環境は、乗車または荷積み場所と降車または荷下ろし場所との間のルートの第1の部分に関連付けられ、第2の動作環境は、乗車または荷積み場所と降車または荷下ろし場所との間のルートの第2の部分に関連付けられてもよい。別の例として、動作環境は、空港、大学、または民間の住居コミュニティの敷地境界線など、地理的に画定された領域に限定されてもよい。他の例も、同様に可能である。
本開示は、車両の動作環境に基づいて(例えば、車両システムが動作環境を検出するか、またはある動作環境から別の動作環境への変化を検出することに基づいて)、車両のセンサのうちの1つ以上のセンサの視野ボリュームを調整するためのシステムおよび方法を対象とする。これは、車両システムが動作環境を検出するか、または動作環境の変化を検出する際にリアルタイムまたはほぼリアルタイムで生じ得る。
本明細書で説明されるように、特定のセンサの視野ボリュームを調整する行為は様々な方法で実行することができる。一例として、特定のセンサの視野ボリュームを調整する行為は、第1の動作環境から第2の動作環境への車両の動作環境の変化を検出することに応答して実行され得、したがって、車両システムがセンサの視野ボリュームを第1の動作環境に対応する第1の視野ボリュームから第2の動作環境に対応する第2の調整された視野ボリュームに調整することを含み得る。別の例として、車両システムは、ある動作環境に関連付けられた動作モードから別の動作環境に関連付けられた動作モードに自らを能動的に切り替えることを決定してもよく、切り替えは、1つ以上の車両センサの各々がそれぞれの視野ボリュームに従って動作する状態から、各々が異なるそれぞれの視野ボリュームで動作する状態への切り替えを伴うか、またはそのような切り替えを引き起こし得る。別の例として、特定のセンサの視野ボリュームを調整する行為は、例えば、車両の検出された動作環境に基づいて所定の視野ボリュームを選択することによって、または他の技術を使用して視野ボリュームを決定することによって、車両システムがそのセンサの視野ボリュームの初期設定することを含み得る。一部の例では、車両が動作するように設計され得る、または車両が他の形で関連付けられ得る有限/所定の数の動作環境が存在し得、そのような動作環境は、検出されたとき、車両のセンサのうちの1つ以上のセンサの視野ボリュームを決定するために使用され得る。
本開示によれば、センサは、最大視野ボリューム以下の視野ボリュームに従って動作するように構成され得る。例えば、LIDARセンサは、200メートルの最大視野範囲、210度の最大方位角、および地平線から上に20度および地平線から下に75度の最大仰角以下で動作するように構成され得、確実に物体を検出したものとしてLIDARセンサデータが扱われるLIDARセンサからの最大距離は、これらの方位および仰角の範囲内で200メートルである。一例では、車両は、車両のLIDARセンサの1つについて、200メートルなどの最大視野範囲を使用して動作しながら、道路に沿って走行している可能性がある。しかし、車両が濃霧に遭遇する可能性があり(またはすぐに遭遇すると予測される可能性があり)、濃霧はLIDARのセンサ能力を低下させるおそれがある。したがって、車両システム(例えば、1つ以上のプロセッサ、コンピューティングデバイスなど)は、車両が濃霧の気象状態の中で動作している(またはすぐに濃霧の気象状態の中での動作に切り替わる)と判断し、それに応じて、少なくとも1つのLIDARセンサ(例えば、すべてのLIDARセンサ)の視野ボリュームを、代わりに、同じ方位角および仰角、または異なる方位角および仰角の範囲内で70メートルなどのより低い視野範囲に調整することができる。したがって、その後、車両は、LIDARセンサのデータが確実に物体を検出したものとして扱われるLIDARセンサからの最大距離が70メートルになるように動作する。霧が晴れるか、車両が霧のエリアを離れると、車両システムはLIDARセンサの視野ボリュームを再調整してもよい(例えば、上昇させてもよい)。他の例も、同様に可能である。
一部の実施形態では、特定のセンサについて、どの視野ボリュームが車両の現在の動作環境に適合するのに最も適切であり得るかを決定するために、車両システムは、メモリ内に(例えば、ルックアップテーブルの形態で)、車両の複数の異なる動作環境と、車両の1つ以上のセンサやセンサタイプなどの対応する視野ボリューム(または特定のボリュームパラメータ、例えば範囲)との間のマッピングを保存している可能性がある。これらの対応する視野ボリュームは、様々な技術(例えば、センサデータベースの機械学習、物理ベースの計算など)を使用して事前に決定することができる。加えてまたは代わりに、視野ボリュームは、車両の動作環境の決定に応じてリアルタイムで決定されてもよく、かつ/または、所定の視野ボリュームを新たに取得されたセンサデータと比較して、所定の視野ボリュームが、決定された動作環境についてセンサが信頼されるべき程度を依然として正確に表しているかが決定されてもよい。
一部の実施形態では、車両のセンサのうちの少なくとも1つのセンサの視野ボリュームが、車両の運行設計領域(ODD)に基づいて調整されてもよい。ODDは、所与の車両または他の運転自動化システムもしくはその機能が、その条件下で動作するように特別に設計されている条件によって定められるか、またはそのような条件を含む。そのような条件は、環境、地理、および時刻の制限、ならびに/または必要とされる特定の交通もしくは道路の特徴の有無を含むが、これらに限定されない。車両は複数のODDを有し得、各々が、地理的条件、時刻条件、交通状況、または道路状況のうちの少なくとも1つを含み得、また各々が、車両のセンサのうちの少なくとも1つのセンサのそれぞれの所定の視野ボリュームに関連付けられ得る。したがって、車両システムは、車両を第1のODD(例えば、晴天の気象条件)に関連付けることができるが、車両の動作環境の変化を検出することに応答して、代わりに車両を第2の異なるODD(例えば、霧、雨、または雪の気象条件)に関連付けることができ、したがって、車両システムに、第2のODDに関連付けられたセンサの所定の視野ボリュームを使用して、車両のセンサのうちの少なくとも1つのセンサを作動させる。
本開示はまた、車両の動作環境、特に気象ベースの動作環境を決定するのに役立つシステムおよび方法を提供する。一部の例では、車両システムは、1つ以上の気象観測所に関連付けられた1つ以上のサーバまたは他のコンピューティングデバイスから気象データを受信することができる。気象データは、他の可能性の中でもとりわけ、霧、雨、雪など、特定の地域に関連付けられた(例えば、特定の地域に存在する)気象条件を識別し得る。この気象データに基づいて、車両システムは車両の動作環境を決定することができ、したがって、気象データが関連付けられている地域に応じてセンサ視野ボリュームをどのように調整するかを決定することができる。一例では、グローバルコンピューティングシステムまたはローカルコンピューティングシステムが気象データを収集し、気象データを、場合によっては、特定の地域に存在する気象条件に鑑み、その地域について推奨されるセンサ調整などの他の情報と一緒に、様々な車両システムに配信してもよい。他の例も、同様に可能である。
開示されるシステムおよび方法の実装形態は、有利なことに、車両システムが、移動中に変化する条件に動的に適応するように、受け取られたセンサデータをリアルタイムで調整することを可能にし、また、車両がその環境内の物体を正確に、かつ高い信頼性で連続的に検出することを可能にする。同様に、開示されるシステムおよび方法は、有利なことに、車両システムが、他のセンサシステムよりも信頼できる動作をする可能性が高い可能性があるセンサシステム、および/または他のセンサデータよりも信頼できる可能性が高い可能性があるセンサデータを優先することを可能にし、したがって、車両システムが、最も信頼できるセンサデータを使用して車両を制御することを可能にする。例えば、車両システムは、特定のセンサシステムもしくはセンサ機能への電力を他のシステムよりも優先するか、またはより多くの電力を可能にしたり、特定のセンサデータを処理するための計算リソースを他のセンサよりも優先または可能にしたりしてもよい。
II.例示的なシステムおよびデバイス
次に、例示的なシステムおよびデバイスについてより詳細に説明する。概して、本明細書に開示される実施形態は、システムの環境をスキャンする1つ以上のセンサを含む任意のシステムで使用することができる。本明細書に記載の例証的な実施形態は、LIDAR、レーダ、ソナー、カメラなどのセンサを採用する車両を含む。しかし、システムの例はまた、他の可能性の中でもとりわけ、ロボットデバイス、産業システム(例えば、組立ラインなど)、またはモバイル通信システムもしくはデバイスなどの他のデバイスとして実装されるか、または他のデバイスの形態を取り得る。
「車両」という用語は、本明細書では、例えば航空機、船舶、宇宙船、自動車、トラック、バン、セミトレーラートラック、オートバイ、ゴルフカート、オフロード車、倉庫輸送車、トラクター、または農用車の他、ローラーコースター、トロリー、トラム、または鉄道車両などのレールに乗る運送車を含むあらゆる移動物体を網羅すると広く解釈される。一部の車両は、人間とのインタラクションが動作に使用されない完全自律モード、人間とのインタラクションが少しも動作に使用されない半自律モード、または人間が車両を操作し、センサが人間を支援し得る人間操作モードで動作する可能性がある。
例示的な実施形態では、車両システムの例は、1つ以上のプロセッサ、1つ以上の形態のメモリ、1つ以上の入力デバイス/インターフェース、1つ以上の出力デバイス/インターフェース、および、1つ以上のプロセッサによって実行されると、上述した様々な機能、タスク、能力などをシステムに実行させる機械可読命令を含み得る。本開示の範囲内の例示的なシステムは、以下でより詳細に説明される。
図1は、例示的な実施形態による車両100を示す機能ブロック図である。車両100は、完全にまたは部分的に自律モードで動作するように構成され得、したがって、「自律車両」と呼ばれ得る。車両はまた、人間によって操作されるが、車両の感知システムを介して人間に情報を提供するように構成されてもよい。例えば、コンピューティングシステム111は、自律モードの間、車両100の制御システム106への制御命令を介して車両100を制御することができる。コンピュータシステム111は、1つ以上のセンサシステム104から情報を受信し、自動的に、1つ以上の制御プロセスを受信した情報に基づくものにし得る(例えば、検出された障害物を回避するように向きを設定するなど)。
自律車両100は、完全自律型または部分的自律型であり得る。部分的自律型車両では、いくつかの機能は、任意選択的に、一時的にまたは常時、手動で(例えば、運転者によって)制御され得る。さらに、部分的自律型車両は、完全手動動作モードと、部分的自律型および/または完全自律型動作モードとの間で切り替わるように構成され得る。
車両100は、推進システム102、センサシステム104、制御システム106、1つ以上の周辺機器108、電源110、コンピューティングシステム111、およびユーザインターフェース112を含む。車両100は、より多く、またはより少ないサブシステムを含むことができ、各サブシステムは、任意選択的に複数の構成要素を含むことができる。さらに、車両100のサブシステムおよび構成要素の各々は、相互に接続され得、および/または通信し得る。したがって、本明細書に記載された車両100の1つ以上の機能は、任意選択的に、追加の機能的または物理的構成要素の間で分割されてもよく、またはより少ない機能的または物理的構成要素に組み合わされ得る。いくつかのさらなる例では、追加の機能的および/または物理的構成要素が、図1によって図示された例に追加され得る。
推進システム102は、車両100に動力運動を提供するように動作可能な構成要素を含むことができる。いくつかの実施形態では、推進システム102は、エンジン/モータ118、エネルギー源120、トランスミッション122、およびホイール/タイヤ124を含む。エンジン/モータ118は、エネルギー源120を機械的エネルギーに変換する。いくつかの実施形態では、推進システム102は、任意選択的に、エンジンおよび/またはモータの一方または両方を含むことができる。例えば、ガス-電気ハイブリッド車両は、ガソリン/ディーゼルエンジンと電気モータの両方を含むことができる。
エネルギー源120は、電気エネルギーおよび/または化学エネルギーなどのエネルギー源を表し、それは、その全部または一部が、エンジン/モータ118に電力を供給し得る。すなわち、エンジン/モータ118は、エネルギー源120を機械的エネルギーに変換してトランスミッションを動作させるように構成され得る。いくつかの実施形態では、エネルギー源120は、ガソリン、ディーゼル、他の石油系燃料、プロパン、他の圧縮ガスベースの燃料、エタノール、ソーラーパネル、バッテリー、コンデンサー、フライホイール、回生ブレーキシステム、および/または他の電力源などを含むことができる。エネルギー源120は、車両100の他のシステムにエネルギーを提供することもできる。
トランスミッション122は、エンジン/モータ118からホイール/タイヤ124に機械的動力を伝達するのに好適な適切なギアおよび/または機械的要素を含む。いくつかの実施形態では、トランスミッション122は、ギアボックス、クラッチ、ディファレンシャル、ドライブシャフト、および/または車軸などを含む。
ホイール/タイヤ124は、車両100が移動する道路などの表面に摩擦牽引力を与えながら、車両100を安定して支持するように配置される。したがって、ホイール/タイヤ124は、車両100の性質に応じて構成および配置される。例えば、ホイール/タイヤは、一輪車、自転車、オートバイ、三輪車、または自動車/トラックの四輪形態として配置され得る。6つ以上のホイールを含むものなど、他のホイール/タイヤ形状も可能である。車両100のホイール/タイヤ124の任意の組み合わせは、他のホイール/タイヤ124に対して差動的に回転するように動作可能であり得る。ホイール/タイヤ124は、任意選択的に、トランスミッション122にしっかりと取り付けられた少なくとも1つのホイールと、走行面と接触する対応するホイールのリムに結合された少なくとも1つのタイヤと、を含むことができる。ホイール/タイヤ124は、金属とゴムの任意の組み合わせ、および/または他の材料もしくは材料の組み合わせを含み得る。
センサシステム104は、概して、車両100の周辺環境に関する情報を検出するように構成されている1つ以上のセンサを含む。例えば、センサシステム104は、グローバルポジショニングシステム(GPS)126、慣性計測装置(IMU)128、レーダユニット130、レーザ距離計(rangefinder)/LIDARユニット132、カメラ134、および/またはマイクロフォン136を含み得る。センサシステム104はまた、車両100の内部システムを監視するように構成されているセンサ(例えば、Oモニタ、燃料計、エンジンオイル温度、ホイール速度センサなど)を含むことができる。センサシステム104に含まれる1つ以上のセンサは、1つ以上のセンサの位置および/または配向を修正するために、別々におよび/または集合的に作動されるように構成され得る。
GPS126は、車両100の地理的位置を推定するように構成されているセンサである。この目的のために、GPS126は、地球に対する車両100の位置に関する情報を提供するように動作可能なトランシーバを含むことができる。
IMU128は、慣性加速度に基づいて車両100の位置および配向の変化を感知するように構成されているセンサ(例えば、加速度計およびジャイロスコープ)の任意の組み合わせを含むことができる。
レーダユニット130は、車両100のローカル環境内の物体を感知するために無線信号を利用するシステムを表し得る。一部の実施形態では、物体を感知することに加えて、レーダユニット130および/またはコンピュータシステム111は、物体の速度および/または向きを感知するようにさらに構成され得る。レーダユニット130は、任意のアンテナ、導波路ネットワーク、通信チップ、および/またはレーダ操作を容易にする他の構成要素を含むことができる。
同様に、レーザ距離計またはLIDARユニット132は、車両100のいる環境内の物体をレーザを使用して感知するように構成されている任意のセンサであり得る。レーザ距離計/LIDARユニット132は、他のシステム構成要素の中でもとりわけ、1つ以上のレーザ源、レーザスキャナ、および1つ以上の検出器を含むことができる。レーザ距離計/LIDARユニット132は、(例えば、ヘテロダイン検出を使用して)コヒーレントまたはインコヒーレント検出モードで動作するように構成され得る。
カメラ134は、車両100の周辺環境の複数の画像を捕捉するように構成されている1つ以上のデバイスを含むことができる。カメラ134は、スチルカメラまたはビデオカメラであり得る。いくつかの実施形態では、カメラ134は、カメラが装着されているプラットフォームを回転および/または傾斜させることなどにより、機械的に移動可能であり得る。このように、車両100の制御プロセスは、カメラ134の動きを制御するように実装することができる。
センサシステム104はまた、マイクロフォン136を含むことができる。マイクロフォン136は、車両100の周辺環境からの音を捕捉するように構成され得る。場合によっては、複数のマイクロフォンはマイクロフォンアレイとして、またはおそらくは複数のマイクロフォンアレイとして配置され得る。
制御システム106は、車両100およびその構成要素の加速を調節する動作を制御するように構成される。加速をもたらすために、制御システム106は、ステアリングユニット138、スロットル140、ブレーキユニット142、センサフュージョンアルゴリズム144、コンピュータビジョンシステム146、ナビゲーション/経路指定システム148、および/または障害物回避システム150などを含む。
ステアリングユニット138は、車両100の進行方向を調整するように動作可能である。例えば、ステアリングユニットは、車両の方向転換を効果的に行うように、1つ以上のホイール/タイヤ124の軸(または複数の軸)を調整し得る。スロットル140は、例えば、エンジン/モータ118の動作速度を制御し、次に、トランスミッション122およびホイール/タイヤ124を介して車両100の前進加速度を調整するように構成される。ブレーキユニット142は、車両100を減速させる。ブレーキユニット142は、摩擦を使用して、ホイール/タイヤ124を減速させ得る。いくつかの実施形態では、ブレーキユニット142は、回生ブレーキプロセスによってホイール/タイヤ124を誘導的に減速させて、ホイール/タイヤ124の運動エネルギーを電流に変換する。
センサフュージョンアルゴリズム144は、センサシステム104からのデータを入力として受け入れるように構成されているアルゴリズム(またはアルゴリズムを記憶するコンピュータプログラム製品)である。データは、例えば、センサシステム104のセンサで感知された情報を表すデータを含み得る。センサフュージョンアルゴリズム144は、例えば、カルマンフィルタ、ベイジアンネットワークなどを含むことができる。センサフュージョンアルゴリズム144は、センサシステム104からのデータに基づいて、車両の周辺環境に関する評価を提供する。いくつかの実施形態では、評価は、車両100の周辺環境における個々の物体および/もしくは特徴の評価、特定の状況の評価、ならびに/または特定の状況に基づく車両100と環境における特徴との間の潜在的な干渉の評価(例えば、衝突および/または衝撃の予測など)を含むことができる。
コンピュータビジョンシステム146は、カメラ134によって捕捉された画像を処理および分析して、車両100の周辺環境内の物体および/または特徴を識別し得る。検出された特徴/物体は、交通信号、道路の境界、他の車両、歩行者、および/または障害物などを含むことができる。コンピュータビジョンシステム146は、任意選択的に、物体認識アルゴリズム、多視点三次元復元(SFM:Structure From Motion)アルゴリズム、ビデオトラッキング、および/または利用可能なコンピュータビジョン技術を採用して、検出された特徴/物体の分類および/または識別を行い得る。いくつかの実施形態では、コンピュータビジョンシステム146は、環境をマッピングし、知覚された物体を追跡し、物体の速度を推定するなどのために追加的に構成され得る。
ナビゲーションおよび経路指定システム148は、車両100の走行経路を判定するように構成される。例えば、ナビゲーションおよび経路指定システム148は、例えば、ユーザインターフェース112を介したユーザ入力に従って設定することができ、最終目的地に至る車道ベースの経路に沿って概して車両を前進させながら、知覚された障害物を実質的に回避する経路に沿って車両の移動を行うために、一連の速度および指示進行方向を判定することができる。ナビゲーションおよび経路指定システム148は追加的に、知覚された障害物、交通パターン、天候/道路状況などに基づいて、車両100が動作している間に、走行経路を動的に更新するように構成され得る。いくつかの実施形態では、ナビゲーションおよび経路指定システム148は、車両100の走行経路を判定するために、センサフュージョンアルゴリズム144、GPS126、および1つ以上の所定の地図からのデータを組み込むように構成され得る。
障害物回避システム150は、車両100の周辺環境内の潜在的な障害物を識別、評価、および回避、または別の方法で通り抜けるように構成されている制御システムを表し得る。例えば、障害物回避システム150は、進路変更操縦、方向転換操縦、制動操縦などを行うように制御システム106内の1つ以上のサブシステムを動作させることによって、車両のナビゲーションに変化をもたらし得る。一部の実施形態では、障害物回避システム150は、周囲の交通パターン、道路状況などに基づいて、実行可能な(「利用可能な」)障害物回避操縦を自動的に決定するように構成されている。例えば、障害物回避システム150は、他のセンサシステムが、進路変更先の車両の隣接領域内に車両、工事用のバリケード、他の障害物などを検出した場合、進路変更操縦が行われないように構成され得る。いくつかの実施形態では、障害物回避システム150は、利用可能な操作であり、かつ車両内の乗員の安全を最大限に配慮した操作を自動的に選択し得る。例えば、障害物回避システム150は、車両100の車内の加速度が最小になると予測される回避操縦を選択し得る。
車両100はまた、車両100と外部センサ、他の車両、他のコンピュータシステム、および/または車両100の乗員などのユーザとの間の対話を可能にするように構成されている周辺機器108を含む。例えば、乗員、外部システム等から情報を受信するための周辺機器108は、無線通信システム152、タッチスクリーン154、マイクロフォン156、および/またはスピーカ158を含み得る。
いくつかの実施形態では、周辺機器108は、車両100のユーザがユーザインターフェース112と対話するための入力を受信するように機能する。この目的のために、タッチスクリーン154は、車両100のユーザに情報を提供することと、タッチスクリーン154を介して示されたユーザからの情報をユーザインターフェース112に伝えることとの両方が可能である。タッチスクリーン154は、静電容量感知、抵抗感知、光学感知、表面音響派プロセスなどを介して、ユーザの指(またはスタイラスなど)からのタッチ位置およびタッチジェスチャの両方を感知するように構成され得る。タッチスクリーン154は、タッチスクリーン表面に平行な方向または平面的な方向、タッチスクリーン表面に法線の方向、またはその両方での指の動きを感知することができ、タッチスクリーン表面に加えられる圧力のレベルを感知することもできる。車両100の乗員はまた、音声コマンドインターフェースを利用し得る。例えば、マイクロフォン156は、車両100のユーザから音声(例えば、音声コマンドまたは他の音声入力)を受信するように構成され得る。同様に、スピーカ158は、車両100のユーザに音声を出力するように構成され得る。
いくつかの実施形態では、周辺機器108は、車両100と、車両の周辺環境内のデバイス、センサ、他の車両などの外部システム、および/または交通情報、気象情報などの車両の周辺に関する有用な情報を提供する車両から物理的に離れた位置にあるコントローラ、サーバなどの外部システムとの間の通信を可能にするように機能する。例えば、無線通信システム152は、1つ以上のデバイスと直接または通信ネットワークを介して無線通信できる。無線通信システム152は、任意選択的に、CDMA、EVDO、GSM/GPRSなどの3Gセルラ通信、またはWiMAXまたはLTEなどの4Gセルラ通信を使用し得る。加えてまたは代わりに、無線通信システム152は、例えば、WiFiを使用して無線ローカルエリアネットワーク(WLAN)と通信し得る。いくつかの実施形態では、無線通信システム152は、例えば、赤外線リンク、Bluetooth、および/またはZigBeeを使用して、デバイスと直接通信し得る。無線通信システム152は、車両および/または道路沿いのガソリンスタンド間の公共および/または私的データ通信を含むことができる1つ以上の専用狭域通信(DSRC)デバイスを含むことができる。様々な車両通信システムなど、信号に埋め込まれた情報を送受信するための他の無線プロトコルも、本開示の文脈内で無線通信システム152によって採用され得る。
上記のように、電源110は、周辺機器108、コンピューティングシステム111、センサシステム104などに含まれる電子機器などの車両100の構成要素に電力を供給し得る。電源110は、例えば、電気エネルギーを貯蔵し、様々な給電される構成要素に放電するために充電可能なリチウムイオン電池または鉛蓄電池を含み得る。いくつかの実施形態では、電池の1つ以上のバンクは、電力を提供するように構成され得る。いくつかの実施形態では、電源110およびエネルギー源120は、一部の全電気自動車のように、ともに実装され得る。
センサシステム104、周辺機器108などからの入力を受信して、適切な制御信号を推進システム102、制御システム106、周辺機器などに通信することで、車両100の周囲に基づく車両100の自動動作をもたらすコンピュータシステム111を介して、車両100の機能の多くまたはすべてが制御されてもよい。コンピューティングシステム111は、データストレージ114などの非一時的なコンピュータ可読媒体に格納された命令115を実行する少なくとも1つのプロセッサ113(少なくとも1つのマイクロプロセッサを含むことができる)を含む。コンピューティングシステム111はまた、車両100の個々の構成要素またはサブシステムを分散して制御するように機能する複数のコンピューティングデバイスを表してもよい。
いくつかの実施形態では、データストレージ114は、図1に関連して上述したものを含めて、車両100の様々な機能を実行するためにプロセッサ113によって実行可能な命令115(例えば、プログラム論理)を含んでいる。データストレージ114は、推進システム102、センサシステム104、制御システム106、および周辺機器108のうちの1つ以上に、データを送信するため、データを受信するため、相互作用するため、および/または制御するための命令を含む、追加の命令も含み得る。
命令115に加えて、データストレージ114は、他の情報の中でもとりわけ、道路地図、経路情報などのデータをマップデータ116として格納し得る。そのような情報は、自律モード、半自律モード、および/または手動モードでの車両100の動作中に、最終目的地までの利用可能な道路を選択したり、センサシステム104からの情報を解釈するなどのために車両100およびコンピュータシステム111によって使用されてもよい。
車両100および関連付けられたコンピュータシステム111は、車両100の車内の乗員などの車両100のユーザに情報を提供し、かつ/または車両100のユーザから入力を受信する。ユーザインターフェース112は、それに応じて、コンピュータシステム111と車両の乗員との間の通信を可能にするために、無線通信システム152、タッチスクリーン154、マイクロフォン156、および/またはスピーカ158など、周辺機器108のセット内に1つ以上の入力/出力デバイスを含み得る。
コンピューティングシステム111は、車両および/または環境条件を示す様々なサブシステム(例えば、推進システム102、センサシステム104、および/または制御システム106)から受信した入力、ならびにユーザの好みを示すユーザインターフェース112から受信した入力に基づいて、車両100の動作を制御する。例えば、コンピューティングシステム111は、制御システム106からの入力を利用して、センサシステム104および障害物回避システム150によって検出された障害物を回避するようにステアリングユニット138を制御し得る。コンピューティングシステム111は、車両100およびそのサブシステムの多くの態様を制御するように構成されていてもよい。しかし、概して、緊急時または単にユーザが起動したオーバーライドに応答するような場合などは、自動化されたコントローラ駆動の動作を手動でオーバーライドするための規定が設けられている。
本明細書に記載された車両100の構成要素は、それぞれのシステム内またはシステム外の他の構成要素と相互接続して動作するように構成され得る。例えば、カメラ134は、自律モードで動作している間、車両100の環境に関する情報を表す複数の画像を捕捉することができる。環境は、他の車両、信号機、道路標識、路面標示、歩行者などを含み得る。コンピュータビジョンシステム146は、データストレージ114に予め記憶された物体認識モデルに基づいて、および/または他の技術によって、センサフュージョンアルゴリズム144、コンピュータシステム111などと協力して、環境内の様々な態様を分類および/または認識することができる。
車両100は、車両100の様々な構成要素、例えば無線通信システム152、コンピューティングシステム111、データストレージ114、およびユーザインターフェース112が車両100に統合されているものとして記載されており、図1で図示されているが、これらの構成要素のうちの1つ以上は、任意選択で、車両100とは別個に取り付けまたは関連付けることができる。例えば、データストレージ114は、例えば、クラウドベースのサーバ内などのように、車両100から、部分的にまたは完全に分離して存在し得る。したがって、車両100の機能要素のうちの1つ以上は、別々にまたはともに配置されたデバイス要素の形態で実装され得る。車両100を構成する機能デバイス要素は、概して、有線および/または無線方式でともに通信可能に結合され得る。
図2は、図1を参照して車両100に関連して説明された機能の一部またはすべてを含み得る例示的な車両200を示す。車両200は、例示の目的で四輪車として図2に示されているが、本開示はそのように限定されない。例えば、車両200は、トラック、バン、セミトレーラートラック、オートバイ、ゴルフカート、オフロード車両、または農業車両などを表し得る。
車両例200は、センサユニット202、第1のLIDARユニット204、第2のLIDARユニット206、第1のレーダユニット208、第2のレーダユニット210、第1のLIDAR/レーダユニット212、第2のLIDAR/レーダユニット214、ならびに、レーダユニット、LIDARユニット、レーザ距離計ユニット、および/または他のタイプの1つ以上のセンサが車両200上で位置し得る2つの追加の場所216、218を含む。第1のLIDAR/レーダユニット212および第2のLIDAR/レーダユニット214の各々はLIDARユニット、レーダユニット、またはその両方の形態を取り得る。
さらに、例示的な車両200は、図1の車両100に関連して説明された構成要素のいずれかを含むことができる。第1および第2のレーダユニット208、210ならびに/または第1および第2のLIDARユニット204、206は、障害となり得るものがないか、その周囲環境を能動的に走査することができ、車両100のレーダユニット130および/またはレーザ距離計/LIDARユニット132と同様のものであり得る。加えて、第1のLIDAR/レーダユニット212および第2のLIDAR/レーダユニット214は、障害となり得るものがないか、その周囲環境を能動的に走査することができ、車両100のレーダユニット130および/またはレーザ距離計/LIDARユニット132と同様のものであり得る。
一部の例では、LIDARユニットは2つの異なるタイプのLIDARユニットのうちの1つであり得る。第1のタイプのLIDARユニットは、回転するLIDARであって、LIDARユニットの視野の全領域を連続的に走査できるLIDARであり得る。第2のタイプのLIDARユニットは、回転可能なLIDARであって、LIDARユニットの視野の特定の領域を走査するようにステアリング可能なLIDARであり得る。第1のタイプのLIDARユニットは、第2のタイプのLIDARユニットよりも小さな範囲を有する可能性がある。第2のタイプのLIDARユニットは、第1のLIDARユニットと比較して、動作時の視野が狭い可能性がある。一部の例では、車両200の指定されたLIDARユニットのうちの1つ以上は、一方または両方のタイプのLIDARユニットを含み得る。例えば、車両の上部に取り付けられたLIDARユニット204は両方のタイプのLIDARユニットを含み得る。一例では、第2のタイプのLIDARユニットは動作中、水平面内では8度の幅を有し、垂直面内では15度の幅を有する視野を有し得る。
センサユニット202は、車両200の上部に取り付けられ、車両200の周辺環境に関する情報を検出し、情報の指標を出力するように構成された1つ以上のセンサを含む。例えば、センサユニット202は、カメラ、レーダ、LIDAR、距離計(range finder)、および音響センサの任意の組み合わせを含み得る。センサユニット202は、センサユニット202内の1つ以上のセンサの向きを調整するように動作可能であり得る1つ以上の可動マウントを含み得る。一実施形態では、移動可能なマウントは、車両200の周囲の各方向から情報を得るようにセンサを走査することができる回転プラットフォームを含み得る。別の実施形態では、センサユニット202の可動マウントは、角度および/または方位の特定の範囲内での走査方式で移動可能であり得る。センサユニット202は、他の取り付け場所も考えられ得るが、車の屋根上に取り付けられ得る。加えて、センサユニット202のセンサは、様々な場所に分散されてもよく、単一のの場所に併置される必要はない。いくつかの考えられ得るセンサタイプおよび取り付け場所には、2つの追加の場所216、218が含まれる。さらに、センサユニット202の各センサは、センサユニット202の他のセンサと連動して、または他のセンサから独立して移動または走査されるように構成され得る。
ある構成の例では、1つ以上のレーダスキャナ(例えば、第1および第2のレーダユニット208、210)は、車両200の後方の領域を能動的に走査して電波反射物体の有無を調べるために、車両200の後部付近に位置し得る。同様に、第1のLIDAR/レーダユニット212および第2のLIDAR/レーダユニット214は、車両の前方の領域を能動的に走査するために車両の前部付近に取り付けられ得る。レーダスキャナは、例えば、車両200の他の特徴によって塞がれることなく、車両200の前進路を含む領域を照らすのに好適な場所に位置付けられ得る。例えば、レーダスキャナは、フロントバンパー、フロントヘッドライト、カウル、および/またはボンネットなどの中または付近に埋め込まれたり、かつ/または取り付けられるように配置され得る。さらに、1つ以上の追加のレーダ走査デバイスは、例えば、リアバンパー、サイドパネル、ロッカーパネル、および/または車台などにそのようなデバイスを含むことによって、電波反射物体の有無を調べるために車両200の側方および/または後方を能動的に走査するように配置され得る。
実際には、各レーダユニットは90度のビーム幅にわたって走査可能である可能性がある。レーダユニット208、210、212、および214によって示されるようにレーダユニットが車両の角に配置されている場合、各レーダユニットは水平面内で90度の視野を走査し、車両周辺の完全な360度領域のレーダ視野を車両に提供できる可能性がある。さらに、車両はまた、2つの側方に面したレーダユニットを含み得る。側方に面したレーダユニットは、矢印信号がない状態での右折(つまり、右折する車両の左側の車線に別の車両がある場合の右折)を行うときなど、他のレーダユニットが遮られたときにさらなるレーダイメージングを提供できる可能性がある。
図2には示されていないが、車両200は、無線通信システムを含み得る。無線通信システムは、車両200の外部または内部のデバイスと通信するように構成され得る無線送信機および無線受信機を含み得る。具体的には、無線通信システムは、例えば、車両通信システムまたは道路ステーションにおいて、他の車両および/またはコンピューティングデバイスと通信するように構成されたトランシーバを含み得る。そのような車両通信システムの例は、専用狭域通信(DSRC)、無線周波数識別(RFID)、およびインテリジェント輸送システムに向けに提案されている他の通信規格を含む。
車両200は、場合によっては、センサユニット202の内側の場所にカメラを含み得る。カメラは、車両200の環境の複数の画像を捕捉するように構成されている、スチルカメラ、ビデオカメラなどの感光性機器であり得る。この目的のために、カメラは、可視光を検出するように構成され得、加えてまたは代わりに、赤外光または紫外光などのスペクトルの他の部分からの光を検出するように構成され得る。1つの特定の例では、センサユニット202は、光学カメラ(すなわち、人間の可視光を取り込むカメラ)および赤外線カメラの両方を含み得る。赤外線カメラは、カメラの視野内の熱画像を取り込むことが可能であってもよい。
カメラは、二次元検出器であり得、任意選択で、三次元空間の感度範囲を有し得る。いくつかの実施形態では、カメラは、例えば、カメラから環境内のいくつかの点までの距離を示す二次元画像を生成するように構成された範囲検出器を含み得る。この目的のために、カメラは、1つ以上の範囲検出技法を使用し得る。例えば、カメラは、構造化光技法を使用することによって範囲情報を提供することができ、この構造化光技法では、車両200が、格子またはチェッカーボードパターンなどの所定の光パターンで環境内のオブジェクトを照らし、カメラを使用して、環境周囲からの所定の光パターンの反射を検出する。反射光パターンの歪みに基づいて、車両200は、オブジェクト上の点までの距離を決定し得る。所定の光パターンは、赤外光、またはそのような測定に好適な他の波長の放射線で構成され得る。いくつかの例では、カメラは、車両200のフロントガラスの内側に取り付けられ得る。具体的には、カメラは、車両200の向きに対して前方視から画像を捕捉するように位置付けられ得る。カメラの他の取り付け場所および視野角も使用され得、車両200の内部または外部のいずれであってもよい。また、カメラは、調整可能な視野を提供するように動作可能な関連する光学素子を有し得る。さらにまた、カメラは、パン/チルト機構を介してなど、カメラの指向角を変えるように、可動マウントを用いて車両200に取り付けられ得る。
さらに、カメラセンサは、ローリングシャッターで構成されてもよい。ローリングシャッターは、概して、光センサを反復的にサンプリングして画像データを捕捉する。カメラセンサからのデータは、画像、複数の画像、またはビデオを形成し得る。例えば、従来の画像センサでは、ローリングシャッターは一度に光センサの1行のセルを反復的にサンプリングし得る。ローリングシャッターを有するカメラセンサをサンプリングする場合、センサの視野内の高速の物体が歪んで見える場合がある。このような歪みは、反復サンプリングによって引き起こされる。セルのラインは反復的にサンプリングされるため、画像化されている物体は各サンプリング間にわずかに移動する。したがって、各ラインは前のラインよりも少し遅れた時間にサンプリングされる。それぞれのラインをサンプリングする際の遅延のために、水平方向の動きを有する物体は水平方向のスキューを有する場合がある。例えば、センサの視野を横切って移動する車両は、水平スキューおよび垂直圧縮(または拡張)を有する場合があり、それは車両を歪める。このスキューは、画像内の物体の水平方向の位置に基づく処理に対して面倒となり得る。本システムは、ローリングシャッターによって引き起こされる可能性のあるカメラの歪みを特定するのに役立つ可能性がある。
図3は、実装形態例による、自律車両に関連する様々なコンピューティングシステム間の無線通信の概念図である。特に、無線通信は、ネットワーク304を介して、リモートコンピューティングシステム302と車両200との間で発生し得る。無線通信は、サーバコンピューティングシステム306とリモートコンピューティングシステム302との間、またサーバコンピューティングシステム306と車両200との間でも発生し得る。車両200の動作中、車両は、車両200の動作を支援するために、サーバコンピューティングシステム306およびリモートコンピューティングシステム302の両方からデータを送受信することができる。車両200は、車両200の動作に関連するデータおよび車両200のセンサからのデータをサーバコンピューティングシステム306およびリモートコンピューティングシステム302に通信することができる。加えて、車両200は、サーバコンピューティングシステム306およびリモートコンピューティングシステム302から、車両のセンサによって感知された物体に関連する動作命令および/またはデータを受信することができる。
車両200は、場所間で乗客またはオブジェクトを輸送することができる様々な種類の車両に対応することができ、上で考察される車両のうちの任意の1つ以上の形態を取り得る。
リモートコンピューティングシステム302は、本明細書で説明されるものを含むがこれに限定されないリモートアシスタンスおよび動作技術に関連する任意のタイプのデバイスを表し得る。例の中で、リモートコンピューティングシステム302は、(i)車両200に関連する情報を受信し、(ii)人間のオペレータまたはコンピュータのオペレータが次に情報を知覚し、情報に関連する応答を入力することができるインターフェースを提供し、および(iii)応答を車両200に、または他のデバイスに送信する、ように構成された任意のタイプのデバイスを表し得る。リモートコンピューティングシステム302は、ワークステーション、デスクトップコンピュータ、ラップトップ、タブレット、携帯電話(例えば、スマートフォン)、および/またはサーバなどの、様々な形態を取り得る。いくつかの例では、リモートコンピューティングシステム302は、ネットワーク構成でともに動作する多数のコンピューティングデバイスを含み得る。
リモートコンピューティングシステム302は、車両200のサブシステムおよび構成要素と同様または同一の1つ以上のサブシステムおよび構成要素を含み得る。最低でも、リモートコンピューティングシステム302は、本明細書で説明される様々な動作を行うために構成されたプロセッサを含み得る。いくつかの実装形態では、リモートコンピューティングシステム302はまた、タッチスクリーンおよびスピーカなどの入力/出力デバイスを含むユーザインターフェースを含み得る。他の例も、同様に可能である。
ネットワーク304は、リモートコンピューティングシステム302と車両200との間の無線通信を可能にするインフラストラクチャを表す。ネットワーク304はまた、サーバコンピューティングシステム306とリモートコンピューティングシステム302との間、またサーバコンピューティングシステム306と車両200との間の無線通信を可能にする。
リモートコンピューティングシステム302の位置は、例の範囲内で変わり得る。例えば、リモートコンピューティングシステム302は、ネットワーク304を介した無線通信を有する車両200から遠隔位置にあり得る。別の例では、リモートコンピューティングシステム302は、車両200とは別個であるが、人間のオペレータが車両200の乗客または運転者と相互作用することができる、車両200内のコンピューティングデバイスに対応し得る。いくつかの例では、リモートコンピューティングシステム302は、車両200の乗客によって操作可能なタッチスクリーンを備えるコンピューティングデバイスであってもよい。
いくつかの実装形態では、リモートコンピューティングシステム302によって行われる本明細書で説明される動作は、加えてまたは代わりに、車両200によって(すなわち、車両200の任意のシステムまたはサブシステムによって)行われ得る。言い換えれば、車両200は、車両の運転者または乗客が相互作用することができるリモートアシスタンス機構を提供するように構成され得る。
サーバコンピューティングシステム306は、ネットワーク304を介してリモートコンピューティングシステム302および車両200と(または、場合によっては、リモートコンピューティングシステム302および/もしくは車両200と直接)無線通信するように構成され得る。サーバコンピューティングシステム306は、車両200およびそのリモートアシスタンスに関する情報を受信し、格納し、判断し、かつ/または送信するように構成された任意のコンピューティングデバイスを表し得る。このように、サーバコンピューティングシステム306は、リモートコンピューティングシステム302および/または車両200によって行われるものとして本明細書で説明される任意の動作またはそのような動作の一部を行うように構成され得る。リモートアシスタンスに関連する無線通信の一部の実装形態では、サーバコンピューティングシステム306を利用できるが、他の実装形態では利用できない。
サーバコンピューティングシステム306は、本明細書に記載の様々な動作を行うように構成されたプロセッサ、ならびにリモートコンピューティングシステム302および車両200から情報を受信し、それらに情報を提供するための無線通信インターフェースなどの、リモートコンピューティングシステム302および/または車両200のサブシステムおよび構成要素と同様または同一の1つ以上のサブシステムおよび構成要素を含み得る。
上記の様々なシステムは、様々な動作を行い得る。ここで、これらの動作および関連する特徴について説明する。
上記の議論に沿って、コンピューティングシステム(例えば、リモートコンピューティングシステム302、またはおそらくサーバコンピューティングシステム306、あるいは車両200にローカルなコンピューティングシステム)は、自律車両の環境の画像を捕捉するためにカメラを使用するように動作し得る。概して、少なくとも1つのコンピューティングシステムが画像を分析して、可能であれば自律車両を制御することができる。
いくつかの実装形態では、自律動作を容易にするために、車両(例えば、車両200)は、車両が動作する環境内の物体を表すデータ(本明細書では「環境データ」とも称される)を様々な方法で受信し得る。車両のセンサシステムは、環境の物体を表す環境データを提供し得る。例えば、車両は、カメラ、レーダユニット、レーザ距離計、マイクロフォン、無線ユニット、および他のセンサを含む様々なセンサを有し得る。これらのセンサの各々は、各それぞれのセンサが受信する情報に関する環境データを車両内のプロセッサに伝達し得る。
一例では、レーダユニットは、車両の近くの1つ以上の物体で反射する電磁信号を送信するように構成され得る。次いで、レーダユニットは、物体で反射した電磁信号を捕捉し得る。捕捉された反射電磁信号は、レーダシステム(または処理システム)が電磁信号を反射したオブジェクトについて様々な判定を行うことを可能にし得る。例えば、様々な反射物体までの距離および位置が判定され得る。いくつかの実装形態では、車両は、異なる配向に2つ以上のレーダを有し得る。実際には、車両は6つの異なるレーダユニットを有する。加えて、各レーダユニットは、そのレーダユニットの4つの異なるセクターのうちの1つにビームをステアリングするように構成され得る。様々な例において、レーダユニットは、レーダユニットの4つの異なるセクターの各々を走査することによって90度の範囲にわたってビームを走査可能であり得る。レーダシステムは、車両の処理システムによる後の処理のために、捕捉された情報をメモリに格納するように構成され得る。レーダシステムによって捕捉された情報は、環境データである場合がある。
別の例では、レーザ距離計(例えば、LIDARユニット)が、車両近くの1つ以上の対象物体によって反射され得る電磁信号(例えば、気体もしくはダイオードレーザ、または他の可能な光源からのものなどの光)を送信するように構成され得る。レーザ距離計は、反射された電磁(例えば、レーザ)信号を捕捉することができ得る。捕捉された反射電磁信号は、測距システム(または処理システム)が様々な物体、例えば、電磁信号を反射してレーザ距離計に返した物体までの範囲を求めることを可能にし得る。測距システムはまた、対象物体の速度またはスピードを判定することができ、それを環境データとして格納することができる。
いくつかの実装形態では、処理システムは、車両の環境をさらに判定するために、様々なセンサからの情報を組み合わせることが可能であり得る。例えば、処理システムは、レーダ情報および捕捉された画像の両方からのデータを組み合わせて、別の車両または歩行者が自律車両の前にいるかどうかを判定し得る。他の実装形態では、センサデータの他の組み合わせを処理システムが使用して、環境についての判定を行い得る。
自律モードで動作している間、車両はほとんど、またはまったく人間の入力なしでその動作を制御し得る。例えば、人間のオペレータが住所を車両に入力した場合、車両は、人間からのさらなる入力なしに(例えば、人間がブレーキ/アクセルペダルを操縦したり触れたりする必要がなく)、指定された目的地まで運転することができ得る。さらに、車両が自律的に動作している間、センサシステムは環境データを受信していてもよい。車両の処理システムは、様々なセンサから受信した環境データに基づいて車両の制御を変更し得る。いくつかの例では、車両は、様々なセンサからの環境データに応答して、車両の速度を変え得る。車両は、障害物を回避し、交通法に従うなどのために速度を変更し得る。車両の処理システムが車両の近くのオブジェクトを識別すると、車両は速度を変更するか、または別の方法で動きを変えることが可能であり得る。
車両がオブジェクトを検出したがオブジェクトの検出に十分自信がない場合、車両は、人間のオペレータ(またはより強力なコンピュータ)に、(i)オブジェクトが実際に環境内に存在するかどうかを確認する(例えば、実際に一時停止標識があるか、または実際に一時停止標識がないか)、(ii)オブジェクトについての車両の識別が正しいかどうかを確認する、(iii)識別が正しくなかった場合、識別を修正する、および/または(iv)自律車両に対して補足的な命令を提供する(または現在の命令を修正する)などの、1つ以上のリモートアシスタンスタスクを行うよう要求することができる。
車両は、環境データのソースに応じて、様々な方法で環境のオブジェクトを検出し得る。いくつかの実装形態では、環境データは、カメラから来て、画像または映像データであり得る。車両は、捕捉された画像またはビデオデータを分析して、画像またはビデオデータ内のオブジェクトを識別し得る。他の実装形態では、環境データはLIDARユニットから来る場合がある。方法および装置は、環境のオブジェクトがあるかについて、画像および/またはビデオデータをモニタするように構成され得る。他の実装形態では、環境データは、レーダ、オーディオ、または他のデータであり得る。車両は、レーダ、オーディオ、または他のデータに基づいて環境のオブジェクトを識別するように構成され得る。
いくつかの実装形態では、物体を検出するために車両が使用する技法は、既知のデータのセットに基づいていてもよい。例えば、環境物体に関連するデータは、車両に位置付けられたメモリに格納されてもよい。車両は、受信したデータを格納されたデータと比較して、物体を判定し得る。他の実装形態では、車両は、データの文脈に基づいて物体を判定するように構成され得る。例えば、建設に関連する街路標識は、概してオレンジ色を有し得る。したがって、車両は、道路脇近くに位置するオレンジ色のオブジェクトを、工事関連の街路標識として検出するように構成され得る。加えて、車両の処理システムは、捕捉されたデータ内のオブジェクトを検出すると、それはまた各オブジェクトの信頼度を計算し得る。
III.車両センサの視野の例
図4は、様々なセンサ視野を有する自律車両400の例を示している。図2に関して前述したように、車両400は複数のセンサを含むことができる。様々なセンサの位置は、図2に開示されているセンサの位置に対応している可能性がある。しかし、場合によっては、センサが他の位置にあってもよい。図面を単純にするために、センサ位置は図4Aから省かれている。図4Aは、車両400の各センサユニットのそれぞれの視野を示している。センサの視野は、センサが物体を検出することができる角度領域、およびセンサが確実に物体を検出することができるセンサからの最大距離に対応する範囲を含み得る。
上記したように、車両400は6つのレーダユニットを含み得る。第1のレーダユニットは、車両の左前部に配置され得、視野402Aの角度部分に対応する角度視野を有することができる。第2のレーダユニットは、車両の右前部に配置され得、視野402Bの角度部分に対応する角度視野を有することができる。第3のレーダユニットは、車両の左後部に配置され得、視野402Cの角度部分に対応する角度視野を有することができる。第4のレーダユニットは、車両の右後部に配置され得、視野402Dの角度部分に対応する角度視野を有することができる。第5のレーダユニットは、車両の左側に配置され得、視野402Eの角度部分に対応する角度視野を有することができる。第6のレーダユニットは、車両の右側に配置され得、視野402Fの角度部分に対応する角度視野を有することができる。6つのレーダユニットの各々は、90度の走査可能ビーム幅を有するように構成されてもよい。レーダビーム幅が90度よりも小さいが、各レーダユニットが90度の視野にわたってレーダビームをステアリング可能であってもよい。
車両400の第1のLIDARユニットは、視野404の角度部分に対応する角度視野によって示されるように、車両の周囲の完全な360度領域を走査するように構成され得る。車両400の第2のLIDARユニットは、車両の周囲の360度領域よりも小さい領域を走査するように構成され得る。一例では、第2のLIDARユニットは、視野404の角度部分に対応する角度視野によって示されるように、水平面内で8度の視野を有することができる。
加えて、車両はまた、少なくとも1つのカメラを含み得る。カメラは光学カメラおよび/または赤外線カメラであり得る。カメラは、視野408の角度部分に対応する角度視野を有してもよい。
車両400の様々なセンサの各々の視野に加えて、各センサはまた、対応する範囲を有し得る。一例では、LIDARユニット404および406の視野よりも遠くまで伸びているレーダユニット402A~402Eの視野によって示されるように、レーダユニットの範囲はいずれのLIDARユニットの範囲よりも大きくてもよい。加えて、視野406よりも遠くまで伸びている視野404によって示されるように、第1のLIDARユニットは第2のLIDARユニットの範囲よりも大きい範囲を有し得る。カメラは、視野408の広さによって示される範囲を有し得る。様々な例において、カメラの範囲)は、その他のセンサの範囲よりも大きくても小さくてもよい。図4のセンサ視野、レーダユニットなどは例示的な図として示されているのであって、縮尺通りではないことを理解されたい。
IV.システムおよび方法の例
本開示のシステムおよび方法の例を以下でより詳細に説明する。
図5は、例示的な実施形態による方法500のフローチャートである。方法500は、ブロック502~506のうちの1つ以上によって例示されるように、1つ以上の動作、機能、またはアクションを含み得る。各方法のブロックは連続した順番で示されているが、これらのブロックは、場合によっては、並列に、および/または本明細書で記載されるものとは異なる順序で実行され得る。また、様々なブロックは、所望の実装に基づいて、より少ないブロックに組み合わされ、さらなるブロックに分割され、および/または除去され得る。
加えて、方法500ならびに本明細書で開示される他のプロセスおよび方法について、フローチャートは、本実施形態のうちの1つの可能な実装形態の機能および動作を示す。これに関して、各ブロックは、モジュール、セグメント、製造または操作プロセスの一部、またはプログラムコードの一部を表すことができ、それにはプロセス内の特定の論理機能またはステップを実装するためのプロセッサによって実行可能な1つ以上の命令が含まれる。プログラムコードは、例えば、ディスクまたはハードドライブを含むストレージデバイスのような任意のタイプのコンピュータ可読媒体に格納され得る。コンピュータ可読媒体は、例えば、レジスタメモリ、プロセッサキャッシュ、およびランダムアクセスメモリ(RAM)のような短期間にデータを格納するコンピュータ可読媒体などの非一時的なコンピュータ可読媒体を含み得る。コンピュータ可読媒体は、例えばリードオンリーメモリ(ROM)、光ディスクまたは磁気ディスク、コンパクトディスクリードオンリーメモリ(CD-ROM)のような補助ストレージまたは永続長期ストレージなどの非一時的なコンピュータ可読媒体を含むこともできる。コンピュータ可読媒体は、任意の他の揮発性または不揮発性ストレージシステムとすることもできる。コンピュータ可読媒体は、例えば、コンピュータ可読ストレージ媒体、または有形のストレージデバイスであると考えられ得る。
加えてまたは代わりに、方法500ならびに本明細書で開示される他のプロセスおよび方法について、フローチャート内の1つ以上のブロックは、プロセス内の特定の論理機能を実行するために配線された回路を表し得る。
一部の例では、方法500、および本明細書に開示される他のプロセスおよび方法について、フローチャート内に表されている機能は、他の可能性の中でもとりわけ、単一の車両(例えば、車両100、200など)によって実行されてもよく、複数の車両間に分散されて実行されてもよく、リモートサーバ/外部コンピューティングシステム(例えば、システム302および306)によって実行されてもよく、および/または1つ以上の外部コンピューティングシステムと1つ以上の車両との組み合わせによって実行されてもよい。
ブロック502において、方法500は、自律車両の動作環境を決定することを含む。自律車両は1つ以上のセンサを備え、1つ以上のセンサの各センサは視野ボリュームに従って動作するように構成されている。
ブロック504において、この方法は、自律車両の決定された動作環境に基づいて、1つ以上のセンサのうちの少なくとも1つのセンサの視野ボリュームを、第1の視野ボリュームから、第1の視野ボリュームとは異なる調整された視野ボリュームに調整することを含む。
ブロック506において、この方法は、調整された視野ボリュームを有する少なくとも1つのセンサを使用して動作するように自律車両を制御することを含む。
上記のように、自律車両の1つ以上のセンサは、他の可能なセンサタイプの中でもとりわけ、1つ以上のLIDARセンサのセット、1つ以上のレーダセンサのセット、および/または1つ以上のカメラのセット(可視および赤外線を含む様々な波長帯域で動作するもの)を含むことができる。実際には、ある特定のタイプのすべてのセンサは、同じ最大視野ボリュームを持つように構成されてもよく、センサデータを受信して処理する車両ソフトウェアは、その特定のタイプのすべてのセンサを、その最大視野ボリュームを持つものとして扱うように構成される。例えば、車両のすべてのレーダセンサの最大視野範囲は220メートルであり得、車両のすべてのLIDARセンサの最大視野範囲は200メートルであり得る。これらのことに則して、車両のセンサのうちの少なくとも1つのセンサの視野ボリュームを調整する行為は、特定のセンサタイプの各センサに対して同じ視野調整を行うことを含み得る。例えば、車両システムが、車両の動作環境に基づいてLIDARセンサに対して行う調整を決定する場合、車両システムは、車両のすべてのLIDARセンサに対してその調整を行うことができる。他の例も、同様に可能である。さらに、代替の実施形態では、センサ視野ボリュームが個別に構成されてもよく、そのため、特定のセンサタイプのセンサが同じセンサタイプの別のセンサとは異なる最大視野ボリュームを有するように構成されてもよい。
所与の時点において、車両は、複数の異なる動作環境のうちの1つで動作するように構成され得、各動作環境は、車両の内部および/または外部の1つ以上の条件を含み得る。(以下、「状態」または「動作状態」という用語は、少なくとも1つの条件によって定められる動作環境を指し、「動作環境」という用語と同義に使用され得る。)例えば、車両の動作環境は、(i)デフォルト状態(例えば、本明細書に列挙されている他の環境とは異なる動作環境を含むと定められる状態であって、車両が、速度、ステアリング、ナビゲーション、および/またはセンサ視野などの所定のデフォルトパラメータに従って動作する、状態)、(ii)晴天の気象状態(例えば、曇りではなく、雨、雪、または霧もない、晴れ)、(iii)日中動作状態(例えば、日の出から日没までの期間)、(iv)夜間動作状態(例えば、日没から日の出までの期間)、(v)雨の気象状態、(vi)雪の気象状態、(v)霧の気象状態、(viii)自律車両が走行している特定の道路のタイプについての状態(例えば、街路、郊外道路、田舎道、生活道路、高速道路、砂利、レンガ、アスファルト、および/またはコンクリート)、(ix)自律車両から閾値距離以内に、少なくとも閾値数量の車両が道路上に存在する状態(例えば、車両から16メートル以内に7台以上の車両)、(x)曇りの状態(例えば、雲がより多く、光がより少ない)、(xi)車両の1つ以上のセンサに、ほこり、水滴、氷/霜、ぶつかった虫、油、道路の汚れ、またはセンサのカバー/窓もしくは他の表面を塞ぐ他の物質があることを車両が検出した、センサ清浄度状態、(xii)交通量が少ない状態、(xiii)交通量が中程度の状態、(xiv)交通量の多い状態、または(xv)1つ以上のセンサのうちの少なくとも1つのセンサにセンサエラーがある状態(例えば、1つ以上のLIDARセンサが、センサが動作不能であることを示すエラーコードを出しているか、またはセンサを介して取得された測定結果の信頼性に影響を与える可能性のある別の表示を出している)のうちの1つ以上であり得るか、または1つ以上を含み得る。他の動作環境も可能である。
上記のように、動作環境は、条件の組み合わせであるか、または条件の組み合わせを含むことができる。例えば、動作環境は晴天、晴れ、日中の動作状態(例えば、午前11時、晴れ)であり得る。別の例として、動作環境は、晴天、日中、上り坂の地形、アスファルト道路、交通量が多いという状態であり得る。一部の例では、デフォルト状態は、晴天の気象状態、かつ車両がアスファルトまたはコンクリート上を走行している状態など、1つ以上の他の状態からなることができる。さらに、一部の例では、デフォルト状態は、対応する視野ボリュームとして、各センサタイプの最大視野ボリュームを有してもよい。さらに、一部の例では、他の可能性の中でもとりわけ、激しい吹雪および/もしくは風、激しい雨および/もしくは風、または事前に定められた閾値を超える霧の濃さなど、様々な程度の気象条件を有する動作環境が存在する可能性がある。
状況によっては、あるタイプのセンサの視野ボリュームに影響を及ぼす動作環境が、他のタイプのセンサの視野ボリュームに影響を及ぼしたり、または及ぼさなかったりする可能性がある。例えば、車両システムは、夜間の霧がかった天気ではLIDARセンサの視野範囲を縮め得、霧/夜間の動作環境情報を使用することで、車両のカメラのうちの1つ以上のカメラが特定のコントラストを有する対象(例えば、霧の中の灰色の車)を検出できる視野範囲を縮め得る。別の例として、高速道路の標識(レトロリフレクタ)からの大きな反射のために、車両システムがLIDARセンサの視野範囲を特定の方法で調整するが、車両システムは、大きな反射のために、カメラが物体を検出できる視野範囲を調整しない可能性がある。他の例も、同様に可能である。
1つ以上のセンサのうちの少なくとも1つのセンサのセンサ視野ボリュームを調整する行為を容易にするために、車両システムは、メモリ(例えば、データストレージ114)内に、複数の動作環境、および複数の動作環境のうちの各動作環境と、1つ以上のセンサのうちの少なくとも1つのセンサの対応する調整された視野ボリュームとの間のマッピングを保存することができる。そのような実施形態では、自律車両の動作環境に基づいて視野ボリュームを調整する行為は、自律車両の決定された動作環境に対応する調整された視野ボリュームを選択することを含み得る。一部の実施形態では、特定の動作環境に対応する調整された視野ボリュームは、その動作環境に対応し、かつ複数のセンサタイプ(例えば、LIDAR、レーダ、および/またはカメラなど)の各々のためのそれぞれの調整された視野ボリュームを含む調整された視野ボリュームのセットの一部であり得る。保存されている動作環境およびマッピングはテーブルなどの様々な形態をとることができる。
図6は、テーブル600の形態で、センサ視野パラメータ(すなわち、この例では範囲)の例示的な動作環境への例示的なマッピングを示している。図示されているように、動作環境の8つの代表的な例の各々について、テーブル600は、3つのセンサタイプ(LIDAR、レーダ、およびカメラ)の各々に対応するそれぞれの視野範囲を含む。一部の例では、テーブル600を使用して、車両システムは、霧がかった天気を検出し、車両が霧がかった天気の動作環境の中で動作していると判断し、それに応じて、霧の天気の動作環境にマッピングされている視野範囲の値を使用のために選択することができる。具体的には、LIDARセンサのセット、レーダセンサのセット、およびカメラのセットを有する車両システムは、すべてのLIDARセンサが50メートルの視野範囲を有し、すべてのレーダセンサが70メートルの視野範囲を有し、すべてのカメラが120メートルの視野範囲を有するようにしてもよい。日中の動作中での霧がかった天気では、カメラはLIDARセンサよりも信頼性が高い可能性があるが、夜間は、ヘッドライトが車両に後方散乱するため、LIDARセンサの方がより信頼できる可能性がある。
別の例として、車両システムは、カメラのセットのうちの少なくとも1つのカメラのエラーを検出し、その検出に基づいて1つ以上の視野ボリュームパラメータ(例えば、範囲、方位角、および/または仰角)を選択してもよい。例えば、車両システムは、少なくとも1つのカメラによって取得された1つ以上の画像が、期待されるアキュータンス、粗さ、および/または特定の距離より遠くの詳細を判別する能力の他の測定結果を下回る(例えば、50メートルより離れた場所から高コントラストで見えると期待される基準道路標識を画像内で判別することができない)という判断に基づいて、カメラエラーを検出してもよい。したがって、車両システムは、それに応じて、車両システムの動作環境が、すべてのカメラからのすべての読み取り値を車両システムが無視し得るエラー状態であるとの判断に切り替わる可能性がある。あるいは、センサをあまり信頼できない動作環境のバリエーションが存在してもよく、そのようなセンサからのすべての読み取り値を無視する代わりに、車両システムは、そのようなセンサについて、低減された視野範囲、方位角、および/または仰角を使用してもよい。例えば、約10メートルを超えるとカメラ画像が低コントラストであり、50メートルを超えるとLIDARの読み取り値が異常であると車両システムが推定した場合、車両システムはすべてのカメラの視野範囲を70メートルに縮め、さらにすべてのLIDARセンサの視野を50メートルに縮めてもよい。この例および他の例を容易にするために、図6に示すセンサエラー動作環境に加えて、またはそれらの代わりにセンサエラー動作環境が存在してもよい。他の例も、同様に可能である。
代替の実施形態では、車両システムは、特定のタイプのセンサのサブセットのためのマッピングからの視野ボリュームパラメータ値のみを使用してもよい。例えば、霧がかった天気では、車両システムは、図4に示される車両の第1のLIDARユニットには50メートルの第1の視野範囲を使用し得るが、車両の第2のLIDARユニットには200メートルのデフォルト視野範囲を使用し得る。他の代替の実施形態では、車両システムは、センサタイプのあるサブセットのためのセンサ視野ボリュームパラメータ値のみを使用してもよい。例えば、霧がかった天気では、車両システムはLIDARセンサおよびカメラセンサについて、縮小された視野範囲を使用し得るが、レーダの視野範囲は変更しない可能性がある(例えば、デフォルトの220メートル)。より多くのまたは少ないセンサタイプのマッピングを含め、他の例も可能である。
センサタイプが、対応する調整された視野ボリュームパラメータ値にマッピングされることに加えて、またはその代わりに、メモリ内に保存された上記マッピングまたは別個のマッピングは、センサタイプを、センサ視野に関連し、センサが取得し得るセンサデータに影響を及ぼす他の情報にマッピングしてもよい。例えば、保存されたマッピングは、センサタイプを、特定のセンサがセンサデータを取得する際に使用し得るパワーレベルにマッピングしてもよい。
より具体的な例として、LIDARセンサの場合、保存されたマッピングは、LIDARセンサタイプを、LIDARデータを取得する際にLIDARセンサによって送信されるレーザパルスのパワーレベルにマッピングし得る。マッピングが保存される実施形態において、かつ/または保存されたマッピングが使用されない可能性がある他の実施形態において、少なくとも1つのセンサの視野ボリュームを、第1の視野ボリュームから、第1の視野ボリュームとは異なる調整された視野ボリュームに調整する行為は、センサデータを取得する際にLIDARセンサによって送信されるレーザパルスのパワーレベルを、第1のパワーレベルから、第1のパワーレベルとは異なり、調整された視野ボリュームに関連付けられた調整されたパワーレベルに調整することを含み得る。さらに、調整された視野ボリュームを有する少なくとも1つのセンサを使用して動作するように自律車両を制御する行為は、調整された視野ボリュームに関連付けられた調整されたパワーレベルを有する1つ以上のレーザパルスを送信することによってセンサデータを取得するようにLIDARセンサを制御することを含み得る。例えば、比較的大きいレトロリフレクタの対象が検出された後にそれらのレトロリフレクタの対象をレーザで照射するとき、レーザパルスを送信するためのパワーレベルが低減されてもよい。別の例として、霧の条件で、例えば、車両システムが狭い視野を観察しているとき、パワーレベルが上けられてもよい。他の例も、同様に可能である。特定の調整されたパワーレベルは、様々な形で調整された視野ボリュームに関連付けられ得る。例えば、車両システムによって保存されているマッピングは、調整された視野ボリュームの特定の調整された範囲、方位角、または仰角に対して、調整された範囲、方位角、または仰角に対応するセンサデータを取得(または取得および無視、破棄、識別など)するために生じ得る送信の、それぞれの対応する調整されたパワーレベルをマッピングしてもよい。他の例も、同様に可能である。
別の特定の例として、レーダセンサの場合、保存されているマッピングは、レーダセンサタイプを、レーダデータを取得する際にレーダセンサによって送信される電波の特定の電波特性(例えば、形状、振幅、帯域幅、持続時間)にマッピングする可能性がある。例示を目的として、送信される電波の送信パワー、および車両のレーダシステムによって実行される送信または受信ビームフォーミングも電波特性と見なすことができる。これらのような保存されたマッピングが保存されている実施形態において、および/または保存されたマッピングが使用されない可能性がある他の実施形態において、少なくとも1つのセンサの視野ボリュームを、第1の視野ボリュームから、第1の視野ボリュームとは異なる調整された視野ボリュームに調整する行為は、例えば、ある特性(例えば、送信パワー)を第1の値から第1の値とは異なる調整された値に調整することによって、または特性を別の形で調整することによって、センサデータを取得する際にレーダセンサによって送信される電波の電波特性を調整することを含み得る。さらに、調整された視野ボリュームを有する少なくとも1つのセンサを使用して動作するように自律車両を制御する行為は、調整された視野ボリュームに関連付けられた調整された電波特性を有する1つ以上の電波を送信することによってセンサデータを取得するようにレーダセンサを制御することを含み得る。他の例も、同様に可能である。特定の調整された電波特性は、様々な形で調整された視野ボリュームに関連付けられ得る。例えば、車両システムによって保存されているマッピングは、調整された視野ボリュームの特定の調整された範囲、方位角、または仰角に対して、調整された範囲、方位角、または仰角に対応するセンサデータを取得(または取得および無視、破棄、識別など)するために生じ得る送信の、それぞれの対応する調整された電波特性をマッピングしてもよい。他の例も、同様に可能である。
車両システムがどのようにしてレーダセンサの視野ボリュームを調整するかのより具体的な例では、大雨の動作環境において、車両システム(またはレーダを制御するためのセンサチップ)は、レーダの方位角走査を低減することで視野ボリュームを低減するとともに、雨中での貫通を改善するために、より多くのアンテナゲインを前方方向に向けてもよい。別の例として、密集した都市環境では、車両システム(またはレーダを制御するためのセンサチップ)は、レーダセンサに、大きなレトロリフレクタのような対象に対応する特定の角度においてより少ないパワーを送信させ得、これにより、その大きなレトロリフレクタのような対象の近くにある小さな対象を検出するレーダセンサの能力を改善することができる。別の例として、車両のレドーム上に水滴がある場合、車両システム(またはレーダを制御するためのセンサチップ)は、レーダセンサにより多くの電力を送信させ得、これにより、水滴のための補正をして、レドームが乾いている場合にレーダセンサが到達できるであろう範囲に到達することができる。他の例も、同様に可能である。
一部の実施形態では、センサの視野ボリュームの範囲、方位角、および/または仰角が、そのセンサおよびパラメータの最大視野値よりも低い値に調整される可能性があるが、それにもかかわらず、センサは、調整された視野ボリュームに関連付けられたそれぞれの範囲、方位角、および/または仰角を超える範囲、方位角、および/または仰角に対応するセンサデータを取得し、車両システム(例えば、センサデータを処理するように構成されたプロセッサ)に送信するように構成されてもよい。そのような実施形態では、例えば、調整された視野ボリュームを有するセンサを使用して動作するように車両を制御する場合、車両システムは、調整された視野ボリュームに関連付けられたそれぞれの範囲、方位角、および/または仰角よりも大きい範囲、方位角、および/または仰角に対応するセンサデータを無視してもよい(例えば、破棄するか、または保存するが、それに基づいて物体検出などの車両の環境に関する決定を行わない)。例えば、LIDARセンサの範囲が200メートルから150メートルに縮まった場合、車両システムは、150メートルを超える車両からの距離に対応するセンサデータを無視してもよい。他の例も、同様に可能である。加えてまたは代わりに、車両システムは、調整された視野ボリュームの最大パラメータ値より大きいパラメータ値に対応するセンサデータを識別し得る(例えば、フラグを立てるか、またはデータが疑わしい可能性があるという表示を他の形でメモリに保存する)。代替の実施形態では、そのようなセンサは、調整された視野ボリュームに関連付けられたそれぞれの範囲、方位角、および/または仰角を超える範囲、方位角、および/または仰角に対応するセンサデータを取得しないようにセンサが自身を設定できるように構成され得る。加えてまたは代わりに、センサは、調整された視野ボリュームに関連付けられたそれぞれの範囲、方位角、および/または仰角を超える範囲、方位角、および/または仰角に対応するセンサデータを取得するように構成され得るが、センサから車両システムの他のコンピューティングデバイスに送信されるデータの量を減らすために、そのようなセンサデータを破棄するようにさらに構成されてもよい。
調整された視野ボリュームを有する少なくとも1つのセンサを使用して動作するように車両を制御する行為は、調整された視野ボリュームを有する少なくとも1つのセンサを使用して自律モードで動作するように車両を制御すること、すなわち、自律モードで動作しているとき、調整された視野ボリュームに基づいて少なくとも1つのセンサを使用してセンサデータを取得するように車両を制御することを含み得る。一部の実施形態においてこれを容易にするために、車両に搭載されたローカルコンピューティングシステムは、車両の動作中に取得された、少なくとも1つのセンサの各々の調整された視野ボリュームに関連付けられたそれぞれの範囲、方位角、および/または仰角を超えるセンサデータ読み取り値を無視するように自身を設定してもよい。加えてまたは代わりに、ローカルコンピューティングシステムによって受信されると、ローカルコンピューティングシステムに、少なくとも1つのセンサの各々の調整された視野ボリュームに関連付けられたそれぞれの範囲、方位角、および/または仰角を超えるセンサデータの読み取り値をローカルコンピューティングシステムが無視する自律モードで動作するように車両を制御させる命令を、リモートシステムが車両のローカルコンピューティングシステムに送信してもよい。他の例も、同様に可能である。
一部の実施形態では、車両のセンサ、および1つ以上のセンサの動作を制御するチップ(例えば、マイクロチップ)などの関連付けられたコンピューティングデバイスが、取得したセンサデータをセンサがオンボードコンピュータまたはリモートコンピュータに送信する前に動作を実行してもよく、これは、オンボードコンピュータまたはリモートコンピュータがどのように車両の動作を制御するかに影響し得る。特に、そのようなセンサチップは、方法500(または本明細書において後により詳細に説明される方法800)の1つ以上の動作を実行することができる。例えば、センサチップは、取得されたセンサデータに基づいて車両の動作環境を決定し(以下でより詳しく説明される方法と同じまたは同様の方法で)、それに応じて、1つ以上のセンサの視野ボリュームを調整するように構成されてもよい。これに関連して、視野ボリュームを調整する行為は、調整された視野ボリュームに関連付けられたそれぞれの範囲、方位角、および/または仰角よりも大きい範囲、方位角、および/または仰角に対応するセンサデータをセンサチップが無視するか、またはそのようなセンサデータについてフラグを立てることを含み得る。加えてまたは代わりに、視野ボリュームを調整する行為は、センサチップが、(i)センサデータの取得時に1つ以上のLIDARセンサによって送信されるレーザパルスのパワーレベルを、第1のパワーレベルから、第1のパワーレベルとは異なる調整されたパワーレベルに調整すること、および/または(ii)調整された視野ボリュームに関連付けられた調整されたパワーレベルで1つ以上のレーザパルスを送信することによってセンサデータを取得することを含み得る。加えてまたは代わりに、視野ボリュームを調整する行為は、センサチップが、(i)センサデータの取得時に1つ以上のレーダセンサによって送信される電波の特性を(例えば、第1の値から、第1の値とは異なる調整された値に)調整すること、および/または(ii)調整された視野ボリュームに関連付けられた調整された電波特性を有する1つ以上の電波を送信することによってセンサデータを取得することを含み得る。他の例も、同様に可能である。
車両の動作環境を決定する車両システムの行為は、様々な形で生じ得る。一般的に、この行為は、車両システムが、車両の周囲環境に関連する情報(例えば、検出された道路上の物体、様々なセンサによって検出された気象データなど)、車両および車両の構成要素の実行中の動作に関連する情報(例えば、センサエラーコード)、ならびに/またはユーザインターフェース112を介してユーザ(例えば、車両の運転者)によって入力された情報を受信することを含む可能性がある。例えば、車両のセンサのうちの1つ以上のセンサがセンサデータを取得し得、車両システムが、センサデータを使用して、車両の移動経路沿いの特定の場所の気象条件を決定し得る。次いで、車両システムは、決定された気象条件に基づいて車両の動作環境を決定することができる。より具体的な例として、車両のセンサのうちの1つ以上のセンサは、車両システムが、日光(したがって日中を示す)および雨天を指し示すものとして解釈するように構成されているセンサデータを取得し得、そのセンサデータの取得および分析に応答して、車両システムは、車両が雨の気象状態の中で動作していると判断し得る。例えば、車両システムは、雨滴、雪片、または霧の水滴に当たったLIDARレーザパルスからの後方散乱光を確認することによって気象条件を決定するように構成されてもよい。同様に、車両のレーダセンサはセンサデータを取得する可能性があり、車両システムはこのデータから、空気中の液滴からの後方散乱レーダエネルギーの量/分布/ドップラーシフトに基づいて、環境に存在する雨の状況のタイプ(例えば、軽い、中程度、激しい)を推測できる。動作環境を決定する別の例として、車両のカメラは1つ以上の画像を取得することができ、車両システムは取得した1つ以上の画像から、特定の範囲にある既知の対象(例えば、車内に保存されている事前情報)へのコントラストの低下の量に基づいて、霧の状況(例えば、濃い、細かいなど)を推測できる。
別の具体例として、車両の運転者、リモートアシスタント、または同乗者は、(例えば、天気予報に基づいて)じきに吹雪が始まることを知っており、車両が雪の気象状態での動作を開始するための命令を示す入力データを提供してもよい(例えば、車両に搭載されているタッチスクリーンGUIを介して)。したがって、入力データの受信に応答して、車両システムは、雪の気象状態で動作し始めるように車両を制御することができ、これは、車両が雪の気象状態で動作していると車両システムが決定するという形態をとってもよい。この例のさらに具体的なバリエーションとして、車両システムは、車両の周囲環境の所定の3Dマップ、例えば、車両が接近している一時停止標識を示す3Dマップにアクセスすることができる。車両システムは、所定の3Dマップを、車両のセンサによってリアルタイムで取得されたセンサデータと比較し、その比較に基づいて車両の動作環境を決定するように構成されてもよい。例えば、3Dマップは一時停止標識をはっきりと示している可能性があるが、車両のカメラまたはLIDARセンサは、一時停止標識がさほどはっきりと見えないセンサデータを取得する可能性がある。車両システムは、比較において決定された違いの性質に依存して、雪などの特定のタイプの気象条件として解釈するように構成され得る。他の例も、同様に可能である。
さらに別の具体例として、上記のように、車両システムは、車両のセンサのうちの1つ以上のセンサによって取得されたセンサデータを受信し、センサデータに基づいて、車両のセンサのうちの少なくとも1つのセンサのセンサエラーを判定し得る(例えば、事前に定められた閾値センサ読み取り値範囲の外の異常なセンサ読み取り値)。センサエラーを使用して、車両システムは、車両が特定のセンサエラー状態で動作していると決定できる。他の例も、同様に可能である。
一部の実施形態では、車両システムは、車両の移動経路沿いの特定の場所に関連付けられた気象条件に基づいて車両の動作環境を決定するように構成されてもよい。これを容易にするために、車両システムは、車両の移動経路沿いの特定の場所の気象条件を示す気象データを受信することができ、受信した気象データによって示される気象条件に基づいて、車両システムは、車両の動作環境を決定し得る。気象条件は、本明細書に記載されている任意の1つ以上の気象条件および/または他の可能な気象条件の形態をとることができる。特定の場所は、様々な形態で気象データ内に表され得る。一般的に、場所は動的(例えば、移動経路沿いの車両の現在の場所)または静的(例えば、車両の目的地または目的地に向かう途中の場所)であり得る。さらに、場所は、特定の半径を有し、特定のランドマークを中心とする円形領域であり得る(例えば、半径8キロメートルで、ある都市の都心を中心とする円形領域)。領域の他の境界も可能であり、例えば、所定の地図上に示されている都市およびその境界も可能である。
一部の実施形態では、車両システムは、気象観測所サーバまたは他のタイプのサーバから気象データを受信してもよい。気象観測所サーバは、特定の場所にローカルな気象観測所サーバ、すなわち、特定の場所専用であって、特定の場所に対応する気象データを取得し、1つ以上の車両システムに気象データを送信するように構成された気象観測所サーバであってもよい。加えてまたは代わりに、気象観測所サーバは、州全体、郡全体、国全体など、複数の場所に対応する気象データを取得するように構成されたグローバル気象観測所サーバであってもよい。グローバル気象観測所サーバはまた、複数のローカル気象観測所サーバから気象データを収集し、収集された気象データを1つ以上の車両システムに送信するように構成されたサーバとして動作することもできる。一部の実施形態では、気象観測所サーバは、様々な方法で気象条件を推定し、気象データ内に様々なタイプの情報を含めるように構成され得る。例えば、気象観測所サーバは、霧、もや、雪、および/もしくは雨の「ドーナツ」もしくは他の形状の表現という形態、雲、霧、およびもやの水滴の分布、濃さ、および直径という形態、ならびに/または他の形態で気象条件を推定することができる。このような気象条件推定の行為は、気象観測所のサーバ(または車両)が霧、もや、雨などのドーナツのクオリティの指標をモニタおよび分析することを含み得る。ローカルまたはグローバル気象観測所サーバの他の機能の例も可能である。
気象観測所サーバからの気象データの受信を容易にするために、車両システムは、車両の動作環境を決定する前に、複数の可能な気象観測所サーバから気象観測所サーバを選択し、気象データのクエリを選択された気象観測所サーバに送信することができる。次いで、クエリに応答して、車両システムは選択された気象観測所から気象データを受信できる。車両システムは、様々な基準に基づいて気象観測所サーバを選択するように構成され得る。一部の例では、車両システムは、車両の現在の場所から閾値距離以内(例えば、16キロメートル以内)にある気象観測所サーバを選択することができる。他の例では、車両システムは、車両の推定される未来の場所から閾値距離以内にある気象観測所サーバまたは他の気象観測所データ送信機を選択することができる(例えば、車両がある都市に向かう途中である場合、車両システムは、その都市の境界から8キロメートル以内にある気象観測所サーバを選択し得る)。他の例も、同様に可能である。
一部の実施形態では、気象観測所サーバは、特定の場所の気象データの最新情報を車両のフリート(例えば、複数の異なる車両に関連付けられた複数の異なる車両システム)に、または複数の個別の車両に配信するように構成され得る。さらに、気象観測所サーバは、車両システムから気象データのクエリを受信することに応答して、および/または車両システムによって特にリクエストされることなく(例えば、特定の場所の気象データの最新情報を30分ごとに配信するように構成されている)、気象データを車両システムに送信するように構成され得る。
本明細書で提供される例のいずれにおいても、車両システムが車両の動作環境を決定する際にタイムスタンプを参照として使用できるようにするために、気象データにタイムスタンプが付けられてもよい。例えば、ある車両が35分前に特定の領域で霧に見舞われたことをタイムスタンプが示している場合、同じ領域に接近している別の車両は、事前に定められている閾値(例えば、30分)を超える時間を提供するタイムスタンプに基づいて、霧の条件がもはや存在しない、高い閾値可能性があると決定し得る。したがって、他の車両は、そのような霧の条件を考慮するようにセンサ視野ボリュームを調整しないか、または霧の条件の可能性を裏付ける1つ以上の他の信号の後に、受け入れられたセンサ視野ボリュームを調整してもよい。
図7は、例示的な車両がローカル気象観測所サーバ700およびグローバル気象観測所サーバ702と通信する例示的な通信システムを示している。特に、図7は、移動経路708(例えば、道路)上の第1の車両704および第2の車両706を示している。さらに、図7は、気象データが対応し得る例示的な関心領域710を示している。図7は、サーバ700、702と直接通信する車両704、706を示しているが、そのような通信は、加えてまたは代わりに、図3のリモートコンピューティングシステム302などの1つ以上の他のコンピューティングデバイスを介して実行されてもよい。
一例では、領域710は第1の車両704の移動経路708沿いにあることから、第1の車両704は、領域710に対応する気象データについてサーバ700、702のうちの1つ以上に問い合わせることができる。上記のように、第1の車両704は、ローカル気象観測所サーバ700が第1の車両740の現在の場所から閾値距離以内にある、および/または領域710から閾値距離以内にあると決定し、それに応じて、領域710に対応する気象データについての問い合わせ先としてローカル気象観測所サーバ700を選択することができる。加えてまたは代わりに、第2の車両706は、領域710に存在する少なくとも1つの気象条件を示すセンサデータを取得し、気象条件を示す気象データを第1の車両704に直接送信してもよく、または、サーバ700、702のうちの1つ以上などの別のコンピューティングデバイスを介して第1の車両704が気象データを受信してもよい。
上記のようにして車両システムと気象観測所サーバを構成することにより、最新気象情報を車両に効率的に提供できるため、車両は、変化する気象条件に適応するようにセンサ視野ボリュームをすばやく調整できる。
気象データを取得、収集、管理、および送信するように構成されている気象観測所サーバに加えて、またはその代わりに、車両システムは、他の車両の他の車両システムから直接または間接的に気象データを受信することができる。例えば、ある車両システムが気象データを別の車両システムに送信する可能性がある。別の例として、グローバルシステム(例えば、サーバコンピューティングシステム306またはリモートコンピューティングシステム302)が、様々な地域に関連付けられた気象データを受信し、車両のフリートに送信するように構成されてもよい。このように、車両は、他の車両が現在走行している、または走行することを計画している領域の気象条件について、有益に互いに通知をすることができ、したがって、互いにリアルタイムで通知を続け、それに応じてセンサ視野ボリュームをすばやく調整することができる。
上記に則して、車両は、一部の実施形態において、気象データを収集して他の車両(例えば、自律モードで動作するように構成された他の車両)、気象観測所サーバ、および/または別のバックエンドサーバ(例えば、図3のサーバコンピューティングシステム306)に送信する気象観測所として動作するように構成され得る。加えてまたは代わりに、車両は、車両、気象観測所、および/もしくは他のサーバ間の気象データの通信を容易にする、かつ/または気象データを収集する気象観測所サーバとして動作するように構成され得る。簡潔にするために、気象観測所および/または気象観測所サーバとして動作するように構成された車両は、気象観測所車両と呼ばれる。一部の例では、気象観測所車両のフリートが、車両間で気象データを共有することができる。互いの場所を車両のフリートが車両間で共有され得る、および/またはバックエンドサーバによって通知され得るため、これは、気象データの場所を定めるのに役立つ可能性がある。気象観測所車両の利点の例は、他の気象観測所または他のリソースへの自律車両の依存を減らすことである。
気象観測所サーバとして動作するように構成された車両は、本明細書に記載のセンサのいずれか1つ以上で構成され得、そのようなセンサを使用して気象データを取得し得る。加えてまたは代わりに、そのようなセンサは、センサが追加の気象情報、または通常よりも詳細な気象情報、例えばを取得できるように特別に変更され得る。
加えてまたは代わりに、そのような車両は、気象観測所が提供する可能性がある種類の気象データであって、しかし、通常は車両の標準的な動作中(例えば、車両が気象観測所サーバとして動作していない場合)には使用されない可能性がある種類の気象データを車両が取得および提供することを可能にし得る追加のセンサ、構成要素、およびコンピューティングデバイスを含むことができる。例えば、車両は、車両の環境の空気の空気質を決定するように構成されたセンサ、車外の湿度を求めるように構成されたセンサ、ソーラーセンサ(例えば、車両の機器にかかる太陽光の負荷を求めるための、ならびに車両およびその機器に影響を及ぼす可能性のある、太陽に起因する予想温度変化を計算するためのもの)、温度センサ、および/または雨センサを含み得る。本明細書に記載のセンサのいずれか1つ以上(LIDAR、レーダ、カメラ、熱、湿度、空気質、ソーラー、雨など)は、物理的に異なるセンサであってもよいし、または気象観測所サーバとしての車両の動作を容易にするための気象データの取得に使用されるように構成された単一のセンサとして統合されてもよい。さらに、このようなセンサは、ルーフ、フロントガラス、ミラーなど、車両の内外の様々な場所に取り付けられ得る。
一部の実施形態では、気象観測所サーバとして動作するように構成された車両に、都市または郊外などの特定の地理的場所に関する気象データを取得する役割が割り当てられてもよい。加えてまたは代わりに、そのような車両は、地方、全国、またはグローバルのラジオ、テレビ、またはオンライン気象サービスなどの特定の1つ以上の気象サービスの気象データを取得することができる。
一部の実施形態では、センサ視野ボリュームを調整する車両システムに加えて、またはその代わりに、車両システム、またはリモートコンピューティングシステム302などの他のコンピューティングシステムは、気象条件に基づいて車両のルートを変更するように構成され得る。例えば、図7の第2の車両706は、領域710での悪天候、およびその悪天候のために第2の車両706の車両システムが閾値を超えて低減した、少なくとも1つのセンサ視野ボリューム低減を決定し、リモートコンピューティングシステム302またはサーバ700、702のうちの1つのサーバに報告し得る。閾値は、その値を超えて低減された少なくとも1つのセンサが悪天候をナビゲートする際に使用するのに信頼できない可能性がある視野ボリュームを示す値であり得る。したがって、リモートコンピューティングシステム302、または第1の車両704に関連付けられた他のコンピューティングシステム(第1の車両の車両システムを含む)が、低減が閾値を超えたと判断した場合、リモートコンピューティングシステム302はそれに応じて、代替ルートを取るように(また領域710に到達していない)第1の車両704の進路を変更し得る。車両が軽い悪天候を回避することが望ましい可能性があるシナリオなど、他の例も可能である。
車両のルートを変更する判断は、気象条件が発生している領域のサイズなど、他のファクタに基づいて決定されてもよい。例えば、霧が発生している領域が閾値サイズよりも小さいと判断された場合(例えば、半径5キロメートル以下の円形領域)、領域が十分に小さいことから、車両は、車両のルート変更が車両の推定移動時間を大幅に増加させない可能性があるように、その領域を回避するルートに変更され得る。他の例も、同様に可能である。
状況によっては、決定された動作環境が関連付けられている、移動経路沿いの特定の場所(例えば、雨が降っている領域、交通量の多い道路の区間など)に車両システムが到達する前に、車両システムが開示されている動作のうちの少なくとも1つを先を見越して実行することが望ましい可能性がある。例えば、車両システムは、車両が特定の場所に到達すると推定される前の閾値期間(例えば、5分間)内に、少なくとも1つのセンサの視野ボリュームを調整する行為を実行するように構成され得る。加えてまたは代わりに、車両システムは、車両が特定の場所に到達すると推定される前の閾値距離(例えば、1.6キロメートル)内で、少なくとも1つのセンサの視野ボリュームを調整する行為を実行するように構成され得る。これらの決定を容易にするために、車両システムは、最終目的地および/または1つ以上の中間地点を含む、移動経路沿いの1つ以上の地点までの推定移動経路および推定時間を表すデータを保存し、継続的に更新することができる。他の例も、同様に可能である。
図8は、例示的な実施形態による別の方法800のフローチャートである。方法800は、ブロック802~806のうちの1つ以上によって例示されるように、1つ以上の動作、機能、またはアクションを含み得る。
ブロック802において、方法800は、第1の視野ボリュームに従って自律車両のセンサを動作させることを含み、ここで、第1の視野ボリュームは、自律車両の第1の動作環境に関連付けられている。
ブロック804において、方法800は、自律車両の第2の動作環境を示すデータを受信することを含み、第2の動作環境は、自律車両の環境内の環境条件に関連付けられている。
ブロック806において、方法800は、第2の視野ボリュームに従って動作するようにセンサの動作を自動的に調整することを含み、第2の視野ボリュームは第2の動作環境に関連付けられている。
一部の実施形態では、センサは、LIDAR、レーダ、およびカメラのうちの1つであり得る。
一部の実施形態では、環境条件は、霧、雨、および雪のうちの1つに関連付けられた気象条件であり得る。
一部の実施形態では、環境条件は太陽の条件に関連付けられ得、太陽の条件は、日中、薄明、または夜間などの1日の時刻に関連付けられ得る。
一部の実施形態では、方法800はまた、第2の視野ボリュームで動作するセンサからのデータを使用して自律車両を制御することを含み得る。第2の視野ボリュームで動作するセンサからのデータを使用して自律車両を制御する行為は、自律車両の速度を調整することを含み得る。
一部の実施形態では、自律車両は第1の自律車両であり得、自律車両の第2の動作環境を示すデータを受信する行為は、第2の自律車両の動作環境のデータを受信することを含み得る。第2の自律車両は、第1の自律車両の計画されたルート上で動作させられ得る。
一部の実施形態では、自律車両の第2の動作環境を示すデータを受信する行為は、第2の自律車両の環境における環境条件のデータを受信することを含み得る。
一部の実施形態では、第2の視野ボリュームに従って動作するようにセンサの動作を自動的に調整する行為は、第2の視野ボリュームに関連付けられた最大視野範囲を超える視野範囲に関連付けられたデータを破棄することを含み得る。
一部の実施形態では、第2の視野ボリュームに従って動作するようにセンサの動作を自動的に調整する行為は、自律車両の走行方向に基づいて、センサに関連付けられた方位角または仰角を、第2の視野ボリュームに関連付けられたそれぞれの方位角または仰角に調整することを含み得る。
上記のように、車両のセンサのうちの少なくとも1つのセンサの視野ボリュームが、車両のODDに基づいて調整されてもよい。車両は複数のODD有してもよく、各ODDは、環境条件、地理的条件、時刻条件、交通状況、または道路状況のうちの少なくとも1つを含み得る。さらに、各ODDは、少なくとも1つのセンサが、特定の信頼度レベルで物体を検出すると期待される車両の周囲の空間を表す、1つ以上のセンサのうちの少なくとも1つのセンサのそれぞれの所定の視野ボリュームに関連付けられ得る。一部の例では、車両システムは、各ODDの識別子、ならびに、各ODDについて、ODDが含む条件、および1つ以上のセンサのうちの少なくとも1つのセンサのそれぞれの所定の視野ボリュームをメモリ内に保存し得る。
図9は、例示的な実施形態による別の方法900のフローチャートである。方法900は、ブロック902~906のうちの1つ以上によって例示されるように、1つ以上の動作、機能、またはアクションを含み得る。
ブロック902において、方法900は、自律車両の複数のODDを識別することを含み、ここで、各ODDは、環境条件、地理的条件、時刻条件、交通状況、または道路状況のうちの少なくとも1つを含み、また各ODDは、1つ以上のセンサのうちの少なくとも1つのセンサの所定の視野ボリュームに関連付けられている。一部の例では、複数のODDを識別する行為は、車両のODDがメモリ内で保存されている場所を参照することを含み得る。
ブロック904において、方法900は、自律車両を複数のODDのうちの第1のODDに関連付けることを含む。一部の例では、車両システムは、車両のセンサのうちの1つ以上のセンサ、および/または車両から離れている1つ以上のセンサ(例えば、別の車両のセンサ、または一時停止標識、中央分離帯、信号機などなどの道路構造物に取り付けられたセンサ)を使用して、車両の環境の1つ以上の条件を検出し、複数のODDのうちの1つ、すなわち、検出された条件を含むODDを選択することができる。車両を第1のODDに関連付ける行為は、車両システムが自らを、またはそのサブシステムのうちの少なくとも1つのサブシステムを、第1のODDに関連付けられた1つ以上のパラメータを使用して動作するように設定することを含み得る。したがって、車両を第1のODDに関連付けることに応答して、車両システムは、第1のODDに関連付けられた所定の視野ボリュームを使用して、車両のセンサのうちの少なくとも1つのセンサを動作させることができる。
ブロック906において、方法900は、自律車両の動作環境の変化を検出することを含む。変化を検出する行為は、車両のセンサのうちの1つ以上のセンサを使用して変化を検出することを含み得る。加えてまたは代わりに、変化を検出する行為は、車両のセンサとは異なる外部センサを使用して変化を検出することを含み得る。特に、外部センサは、車両自体から離れた場所に位置し得るが、車両にシステムに直接、例えば、無線通信インターフェースを通じて通信可能にリンクされてもよく、または、例えば、車両システムがサーバもしくは他の中間コンピューティングデバイスを介して外部センサからデータを受信する場合など、車両システムに間接的に通信可能にリンクされてもよい。一部の例では、外部センサは、他の可能な構造の中でもとりわけ、一時停止標識、信号機、中央分離帯、橋、縁石、または反射板などの道路構造物に取り付けられてもよい。
ブロック908において、方法900は、検出に応答して、自律車両を複数のODDのうちの第2のODDに関連付けることを含む。一部の例では、車両を第2のODDに関連付ける行為は、車両システム自体またはそのサブシステムのうちの少なくとも1つのサブシステムを、第2のODDに関連付けられた1つ以上のパラメータを使用して動作するように設定することを含み得る。
ブロック910において、方法900は、自律車両が第2のODDに関連付けられていることに応じて、第2のODDに関連付けられた所定の視野ボリュームを使用して少なくとも1つのセンサを動作させることを含んだ。
一部の実装形態では、第2のODDに関連付けられた所定の視野ボリュームを使用して少なくとも1つのセンサを動作させる行為は、第1のODDに関連付けられた所定の視野ボリュームを使用して少なくとも1つのセンサを動作させるときよりも小さい視野ボリュームを使用して少なくとも1つのセンサを動作させることを含み得る。例えば、第1のODDは、晴天の気象条件の環境条件を含み得、第2のODDは、雨の条件、霧の条件、または雪の条件のうちの1つ以上の環境条件を含み得、したがって、第2のODDのためにより小さい視野ボリュームを使用することを有益にする。他の実装形態では、第2のODDに関連付けられた所定の視野ボリュームを使用して少なくとも1つのセンサを動作させる行為は、第1のODDに関連付けられた所定の視野ボリュームを使用して少なくとも1つのセンサを動作させるときよりも大きい視野ボリュームを使用して少なくとも1つのセンサを動作させることを含み得る。
本明細書に記載されているように、第1のODDおよび第2のODDは他の条件も含むことができる。例えば、第1のODDは第1の時刻(例えば、朝)の第1の時刻条件を含み得、第2のODDは第2の時刻(例えば、夕方または夜)の第2の時刻条件を含み得る。別の例として、第1のODDは第1の交通状況(例えば、交通量が少ないまたはない)を含み得、第2のODDは第2の交通状況(例えば、交通量が多いまたは渋滞)を含み得る。さらに別の例として、第1のODDは、車両が走行している道路の第1の速度制限を含み得、第2のODDは、第1の制限速度よりも高いまたは低い第2の速度制限を含み得る。さらに別の例として、第1のODDは、車両が走行している第1の地理的に定められた領域(例えば、一般道路または私有地)を含み得、第2のODDは、車両が走行している第2の地理的に定められた領域を含み得る(例えば、高速道路または公道)。他の例も、同様に可能である。
本明細書で使用される「実質的に(substantially)」、「およそ(approximately)または「約(about)」という用語は、列挙された特性、パラメータ、値、または幾何学的平面性が、正確に達成される必要はないが、例えば、許容誤差、測定誤差、測定精度の限界、および当業者に既知の他の要因を含む、偏差または変動が、特性によって提供されることが意図された効果を排除しない量で起き得ることを意味する。
様々な例示的な態様および例示的な実施形態が本明細書において開示されているが、他の態様および実施形態は、当業者には明らかであろう。本明細書において開示される様々な例示的な態様および例示的な実施形態は、例示を目的とするものであり、限定することを意図するものではなく、真の範囲および趣旨は、以下の特許請求の範囲により示される。

Claims (20)

  1. 自律車両の動作を制御するためのシステムであって、前記システムが、
    1つ以上のセンサであって、前記1つ以上のセンサの各センサが、視野ボリュームに従って動作するように構成されており、前記視野ボリュームが、前記センサが、事前に定められた信頼度閾値よりも高い信頼度レベルで物体を検出すると期待される前記自律車両の周囲の空間を表す、1つ以上のセンサと、
    前記1つ以上のセンサに結合された1つ以上のプロセッサと、
    前記1つ以上のプロセッサに結合された、かつ命令が保存されているメモリと、を備え、前記命令は、前記1つ以上のプロセッサによって実行されると、前記1つ以上のプロセッサに、
    前記自律車両の複数の運行設計領域(ODD)を識別することであって、各ODDが、環境条件、地理的条件、時刻条件、交通状況、または道路状況のうちの少なくとも1つを含み、また各ODDが、前記1つ以上のセンサのうちの少なくとも1つのセンサの所定の視野ボリュームに関連付けられていることと、
    前記自律車両を前記複数のODDのうちの第1のODDに関連付けることと、
    前記自律車両の動作環境の変化を検出することと、
    前記検出することに応じて、前記自律車両を前記複数のODDのうちの第2のODDに関連付けることと、
    前記自律車両が前記第2のODDに関連付けられていることに応じて、前記第2のODDに関連付けられた前記所定の視野ボリュームを使用して前記少なくとも1つのセンサを動作させることと、を含む動作を実行させる、システム。
  2. 前記自律車両の前記動作環境の前記変化を検出することが、前記1つ以上のセンサのうちの少なくとも1つのセンサを使用して前記自律車両の前記動作環境の前記変化を検出することを含む、請求項1に記載のシステム。
  3. 前記自律車両の前記動作環境の前記変化を検出することが、前記1つ以上のセンサとは異なる外部センサを使用して前記自律車両の前記動作環境の前記変化を検出することを含む、請求項1に記載のシステム。
  4. 前記外部センサが、前記自律車両から離れて位置しており、道路構造物に取り付けられている、請求項1に記載のシステム。
  5. 前記第2のODDに関連付けられた前記所定の視野ボリュームを使用して前記少なくとも1つのセンサを動作させることが、前記第1のODDに関連付けられた所定の視野ボリュームを使用して前記少なくとも1つのセンサを動作させるときよりも小さい視野ボリュームを使用して、前記少なくとも1つのセンサを動作させることを含む、請求項1に記載のシステム。
  6. 前記第1のODDが、晴天の気象条件の環境条件を含み、
    前記第2のODDが、雨の条件、霧の条件、または雪の条件のうちの1つ以上の環境条件を含む、請求項5に記載のシステム。
  7. 前記第1のODDが、第1の時刻の第1の時刻条件を含み、
    前記第2のODDが、前記第1の時刻とは異なる第2の時刻の第2の時刻条件を含む、請求項1に記載のシステム。
  8. 前記第1のODDが、第1の交通状況を含み、
    前記第2のODDが、前記第1の交通状況とは異なる第2の交通状況を含む、請求項1に記載のシステム。
  9. システムであって、
    1つ以上のセンサであって、前記1つ以上のセンサの各センサが、視野ボリュームに従って動作するように構成されている、1つ以上のセンサと、
    前記1つ以上のセンサに結合された1つ以上のプロセッサと、
    前記1つ以上のプロセッサに結合された、かつ命令が保存されているメモリと、を備え、前記命令は、前記1つ以上のプロセッサによって実行されると、前記1つ以上のプロセッサに、
    自律車両の動作環境を決定することと、
    前記自律車両の前記決定された動作環境に基づいて、前記1つ以上のセンサのうちの少なくとも1つのセンサの視野ボリュームを、第1の視野ボリュームから、前記第1の視野ボリュームとは異なる調整された視野ボリュームに調整することと、を含む動作を実行させる、システム。
  10. 前記メモリには、前記自律車両の複数の動作環境、および、前記複数の動作環境の各動作環境と、前記1つ以上のセンサのうちの少なくとも1つのセンサの対応する調整された視野ボリュームとの間のマッピングが保存されており、
    前記自律車両の前記動作環境に基づいて前記視野ボリュームを調整することが、前記自律車両の前記決定された動作環境に対応する前記調整された視野ボリュームを選択することを含む、請求項9に記載のシステム。
  11. 前記自律車両の前記複数の動作環境が、(i)デフォルト状態、(ii)晴天の気象状態、(iii)日中動作状態、(iv)夜間動作状態、(v)雨の気象状態、(vi)雪の気象状態、(v)霧の気象状態、(viii)前記自律車両が走行している特定のタイプの道路についての状態、(ix)前記自律車両から閾値距離以内に、少なくとも閾値数量の車両が前記道路上に存在する状態、または(x)前記1つ以上のセンサのうちの少なくとも1つのセンサにセンサエラーがある状態、のうちの2つ以上を含む、請求項10に記載のシステム。
  12. 前記対応する調整された視野ボリュームが、複数のセンサタイプの各々のためのそれぞれの調整された視野ボリュームを含む、対応する調整された視野ボリュームセットの一部であり、
    前記複数のセンサタイプが、LIDARセンサ、レーダセンサ、またはカメラのうちの2つ以上を含む、請求項10に記載のシステム。
  13. 前記1つ以上のセンサが、複数のセンサセットを含み、各センサセットがそれぞれのセンサタイプを有し、
    前記少なくとも1つのセンサの前記視野ボリュームを調整することが、前記センサセットのうちの少なくとも1つのセンサセット内のすべてのセンサの視野ボリュームを調整することを含む、請求項9に記載のシステム。
  14. 前記複数のセンサセットが、LIDARセンサのセット、レーダセンサのセット、またはカメラのセットのうちの2つ以上を含む、請求項13に記載のシステム。
  15. 前記動作が、
    前記調整された視野ボリュームを有する前記少なくとも1つのセンサを使用して動作するように前記自律車両を制御することをさらに含む、請求項9に記載のシステム。
  16. 前記調整された視野ボリュームを有する前記少なくとも1つのセンサを使用して動作するように前記自律車両を制御することが、前記調整された視野ボリュームのそれぞれの範囲、方位角、または仰角よりも大きい範囲、方位角、または仰角に対応するセンサデータを無視することを含む、請求項15に記載のシステム。
  17. 前記調整された視野ボリュームを有する前記少なくとも1つのセンサを使用して動作するように前記自律車両を制御することが、前記調整された視野ボリュームの最大パラメータ値より大きいパラメータ値に対応するセンサデータを識別することを含む、請求項15に記載のシステム。
  18. 前記少なくとも1つのセンサが、LIDARセンサを含み、
    前記調整された視野ボリュームを有する前記少なくとも1つのセンサを使用して動作するように前記自律車両を制御することが、前記調整された視野ボリュームに関連付けられた調整されたパワーレベルを有する1つ以上のレーザパルスを送信することによってセンサデータを取得するように前記LIDARセンサを制御することを含む、請求項15に記載のシステム。
  19. 前記少なくとも1つのセンサが、レーダセンサを含み、
    前記調整された視野ボリュームを有する前記少なくとも1つのセンサを使用して動作するように前記自律車両を制御することが、前記調整された視野ボリュームに関連付けられた調整された電波特性を有する1つ以上の電波を送信することによってセンサデータを取得するように前記レーダセンサを制御することを含む、請求項15に記載のシステム。
  20. 自律車両の動作を制御するように構成されたコンピューティングデバイスによって実行される方法であって、前記方法が、
    自律車両の動作環境を決定することであって、前記自律車両が1つ以上のセンサを備え、前記1つ以上のセンサの各センサが視野ボリュームに従って動作するように構成されていることと、
    前記自律車両の前記決定された動作環境に基づいて、前記1つ以上のセンサのうちの少なくとも1つのセンサの視野ボリュームを、第1の視野ボリュームから、前記第1の視野ボリュームとは異なる調整された視野ボリュームに調整することと、
    前記調整された視野ボリュームを有する前記少なくとも1つのセンサを使用して動作するように前記自律車両を制御することと、を含む、方法。
JP2022535923A 2019-12-23 2020-12-18 車両センサ視野ボリュームのリアルタイム調整 Active JP7539470B2 (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201962952879P 2019-12-23 2019-12-23
US62/952,879 2019-12-23
US17/002,092 US20210191399A1 (en) 2019-12-23 2020-08-25 Real-Time Adjustment Of Vehicle Sensor Field Of View Volume
US17/002,092 2020-08-25
PCT/US2020/065914 WO2021133659A1 (en) 2019-12-23 2020-12-18 Real-time adjustment of vehicle sensor field of view volume

Publications (2)

Publication Number Publication Date
JP2023507100A true JP2023507100A (ja) 2023-02-21
JP7539470B2 JP7539470B2 (ja) 2024-08-23

Family

ID=76438640

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2022536531A Active JP7558275B2 (ja) 2019-12-23 2020-12-18 車両センサ視野ボリュームの調整
JP2022535923A Active JP7539470B2 (ja) 2019-12-23 2020-12-18 車両センサ視野ボリュームのリアルタイム調整

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2022536531A Active JP7558275B2 (ja) 2019-12-23 2020-12-18 車両センサ視野ボリュームの調整

Country Status (6)

Country Link
US (3) US20210191399A1 (ja)
EP (2) EP4065444A4 (ja)
JP (2) JP7558275B2 (ja)
CN (2) CN114845916A (ja)
IL (2) IL294144A (ja)
WO (2) WO2021133659A1 (ja)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10419723B2 (en) 2015-06-25 2019-09-17 Magna Electronics Inc. Vehicle communication system with forward viewing camera and integrated antenna
US10909866B2 (en) * 2018-07-20 2021-02-02 Cybernet Systems Corp. Autonomous transportation system and methods
US11644334B2 (en) * 2019-02-07 2023-05-09 Uber Technologies, Inc. Route optimization system based on height parameter
US20210191399A1 (en) 2019-12-23 2021-06-24 Waymo Llc Real-Time Adjustment Of Vehicle Sensor Field Of View Volume
US20210333371A1 (en) * 2020-04-28 2021-10-28 Ouster, Inc. Lidar system with fog detection and adaptive response
KR20210136543A (ko) * 2020-05-08 2021-11-17 주식회사 만도모빌리티솔루션즈 레이더 센서 제어 장치 및 방법
KR20220010900A (ko) * 2020-07-20 2022-01-27 현대모비스 주식회사 차량용 레이더 장치 및 제어방법
US11535256B2 (en) * 2020-10-06 2022-12-27 Ford Global Technologies, Llc Chionophobia intervention systems and methods
US11685378B2 (en) * 2020-10-08 2023-06-27 GM Global Technology Operations LLC Extrinsic characterization of detection capability to support automated lane change
US11385351B2 (en) * 2020-10-19 2022-07-12 Aeva, Inc. Techniques for automatically adjusting detection threshold of FMCW LIDAR
US20230043172A1 (en) * 2021-08-06 2023-02-09 Zebra Technologies Corporation Adaptive Perimeter Intrusion Detection for Mobile Automation Apparatus
CN114114369B (zh) * 2022-01-27 2022-07-15 智道网联科技(北京)有限公司 自动驾驶车辆定位方法和装置、电子设备和存储介质
US20240219519A1 (en) * 2023-01-04 2024-07-04 Gm Cruise Holdings Llc Weather station for sensor calibration
DE102023001293A1 (de) * 2023-04-01 2024-10-02 Jenoptik Robot Gmbh Verfahren zum Überwachen und/oder Erkennung einer Degradation eines abstandsmessenden Systems einer Infrastrukturanlage

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140214255A1 (en) * 2013-01-25 2014-07-31 Google Inc. Modifying behavior of autonomous vehicles based on sensor blind spots and limitations

Family Cites Families (47)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE19935265B4 (de) * 1999-07-27 2005-12-29 Robert Bosch Gmbh Vorrichtung zur Messung des Abstands und der Relativgeschwindigkeit zwischen Objekten und Verwendung dieser
JP4771724B2 (ja) * 2005-03-30 2011-09-14 富士通テン株式会社 レーダ装置
DE102009016580A1 (de) * 2009-04-06 2010-10-07 Hella Kgaa Hueck & Co. Datenverarbeitungssystem und Verfahren zum Bereitstellen mindestens einer Fahrerassistenzfunktion
WO2011140993A1 (zh) * 2010-05-12 2011-11-17 北京星河易达科技有限公司 基于综合状态检测的智能交通安全系统及其决策方法
US8589014B2 (en) * 2011-06-01 2013-11-19 Google Inc. Sensor field selection
US20170328729A1 (en) * 2012-08-14 2017-11-16 Google Inc. System To Optimize Sensor Parameters In An Autonomous Vehicle
JP2014052347A (ja) * 2012-09-10 2014-03-20 Denso Corp レーダ装置
US8983705B2 (en) * 2013-04-30 2015-03-17 Google Inc. Methods and systems for detecting weather conditions including fog using vehicle onboard sensors
US9261881B1 (en) * 2013-08-01 2016-02-16 Google Inc. Filtering noisy/high-intensity regions in laser-based lane marker detection
US9201424B1 (en) * 2013-08-27 2015-12-01 Google Inc. Camera calibration using structure from motion techniques
US9563199B1 (en) * 2013-11-27 2017-02-07 Google Inc. Assisted perception for autonomous vehicles
KR20200039817A (ko) * 2014-03-28 2020-04-16 얀마 가부시키가이샤 자율 주행 작업 차량
US9928594B2 (en) * 2014-07-11 2018-03-27 Agt International Gmbh Automatic spatial calibration of camera network
JP6398501B2 (ja) * 2014-09-10 2018-10-03 株式会社デンソー 車載カメラ診断装置
US10112552B2 (en) * 2015-03-11 2018-10-30 Magna Electronics Inc. Vehicle vision system with camera viewing through windshield
IL239129A0 (en) * 2015-06-01 2015-11-30 Brightway Vision Ltd Image improvements in car imaging systems
US20160357187A1 (en) * 2015-06-05 2016-12-08 Arafat M.A. ANSARI Smart vehicle
US10338225B2 (en) * 2015-12-15 2019-07-02 Uber Technologies, Inc. Dynamic LIDAR sensor controller
US9841763B1 (en) * 2015-12-16 2017-12-12 Uber Technologies, Inc. Predictive sensor array configuration system for an autonomous vehicle
CN106952310A (zh) * 2016-01-29 2017-07-14 法拉第未来公司 用于确定能见度状态的系统及方法
US20180032042A1 (en) * 2016-08-01 2018-02-01 Qualcomm Incorporated System And Method Of Dynamically Controlling Parameters For Processing Sensor Output Data
US10906545B2 (en) * 2016-12-22 2021-02-02 Blackberry Limited Adjusting mechanical elements of cargo transportation units
JP6664317B2 (ja) 2016-12-28 2020-03-13 本田技研工業株式会社 情報処理システム、および情報処理方法
JP6914065B2 (ja) * 2017-03-17 2021-08-04 シャープ株式会社 障害物検出装置、走行装置、障害物検出システムおよび障害物検出方法
JP6624150B2 (ja) * 2017-04-11 2019-12-25 トヨタ自動車株式会社 自動運転システム
CN110537109B (zh) * 2017-04-28 2024-02-20 深圳市大疆创新科技有限公司 用于自主驾驶的感测组件
JPWO2018212346A1 (ja) * 2017-05-18 2020-03-19 パイオニア株式会社 制御装置、走査システム、制御方法、およびプログラム
US10429842B2 (en) * 2017-07-10 2019-10-01 Toyota Research Institute, Inc. Providing user assistance in a vehicle based on traffic behavior models
US10796404B2 (en) * 2017-08-01 2020-10-06 Honeywell International Inc. Aircraft systems and methods for adjusting a displayed sensor image field of view
AU2018365091B2 (en) * 2017-11-13 2021-03-04 Raven Industries, Inc. Safety system for autonomous operation of off-road and agricultural vehicles using machine learning for detection and identification of obstacles
US20190156134A1 (en) * 2017-11-20 2019-05-23 Ashok Krishnan Training of vehicles to improve autonomous capabilities
US11163309B2 (en) * 2017-11-30 2021-11-02 Direct Current Capital LLC Method for autonomous navigation
JP2019102929A (ja) * 2017-11-30 2019-06-24 パナソニックIpマネジメント株式会社 映像処理システム、映像処理装置及び映像処理方法
US11269352B2 (en) * 2017-12-15 2022-03-08 Baidu Usa Llc System for building a vehicle-to-cloud real-time traffic map for autonomous driving vehicles (ADVS)
US10739459B2 (en) * 2018-01-12 2020-08-11 Ford Global Technologies, Llc LIDAR localization
US10848718B2 (en) * 2018-03-08 2020-11-24 Aptiv Technologies Limited Vehicle sensor configuration based on map data
US10884115B2 (en) * 2018-03-09 2021-01-05 Waymo Llc Tailoring sensor emission power to map, vehicle state, and environment
US20190377814A1 (en) * 2018-06-11 2019-12-12 Augmented Radar Imaging Inc. Annotated dataset based on different sensor techniques
US10909866B2 (en) * 2018-07-20 2021-02-02 Cybernet Systems Corp. Autonomous transportation system and methods
US20200088857A1 (en) * 2018-09-14 2020-03-19 Ford Global Technologies, Llc Sensor assembly with comprehensive system to remove debris and prevent obstructions
US10589723B1 (en) * 2018-09-21 2020-03-17 Ford Global Technologies, Llc Imaging system
US20200166636A1 (en) * 2018-11-26 2020-05-28 Novelic D.O.O. MM-wave radar based guiding system
DE102019203230A1 (de) * 2019-03-11 2020-10-22 Robert Bosch Gmbh Sensorvorrichtung umfassend ein Sensorelement und eine Abschlussscheibe
US11482011B2 (en) * 2019-03-28 2022-10-25 Intel Corporation Acceleration of data processing for object detection
US11155209B2 (en) * 2019-08-22 2021-10-26 Micron Technology, Inc. Virtual mirror with automatic zoom based on vehicle sensors
KR102599558B1 (ko) * 2019-10-24 2023-11-08 현대모비스 주식회사 자동차용 센서 통합 모듈
US20210191399A1 (en) * 2019-12-23 2021-06-24 Waymo Llc Real-Time Adjustment Of Vehicle Sensor Field Of View Volume

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140214255A1 (en) * 2013-01-25 2014-07-31 Google Inc. Modifying behavior of autonomous vehicles based on sensor blind spots and limitations

Also Published As

Publication number Publication date
WO2021133664A1 (en) 2021-07-01
US11671564B2 (en) 2023-06-06
US20210195112A1 (en) 2021-06-24
US20210191399A1 (en) 2021-06-24
EP4065444A4 (en) 2023-12-27
EP4065444A1 (en) 2022-10-05
IL294144A (en) 2022-08-01
JP7558275B2 (ja) 2024-09-30
US20230262202A1 (en) 2023-08-17
WO2021133659A1 (en) 2021-07-01
EP4065443A1 (en) 2022-10-05
EP4065443A4 (en) 2024-01-24
JP2023507108A (ja) 2023-02-21
IL294137A (en) 2022-08-01
US12120463B2 (en) 2024-10-15
CN114845915A (zh) 2022-08-02
CN114845916A (zh) 2022-08-02
JP7539470B2 (ja) 2024-08-23

Similar Documents

Publication Publication Date Title
JP7539470B2 (ja) 車両センサ視野ボリュームのリアルタイム調整
US11913807B2 (en) Methods and systems for calibrating sensors using road map data
US12099359B1 (en) Modifying the behavior of an autonomous vehicle using context based parameter switching
KR102454748B1 (ko) 태양-인식 차량 라우팅을 위한 방법들 및 시스템들
US9440652B1 (en) Filtering noisy/high-intensity regions in laser-based lane marker detection
US9043072B1 (en) Methods and systems for correcting an estimated heading using a map
US11945467B2 (en) Identification of proxy calibration targets for a fleet of vehicles
US9417631B2 (en) Use of prior maps for estimation of lane boundaries
US11280897B2 (en) Radar field of view extensions
CN112414421B (zh) 多反弹目标缓解
CN114846350A (zh) 基于变化的雷达参数动态加载雷达单元配置数据

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220808

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230830

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230904

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231129

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20240307

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240604

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240724

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240813

R150 Certificate of patent or registration of utility model

Ref document number: 7539470

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150