JP2023553980A - 自律車両安全プラットフォームシステム及び方法 - Google Patents
自律車両安全プラットフォームシステム及び方法 Download PDFInfo
- Publication number
- JP2023553980A JP2023553980A JP2023535660A JP2023535660A JP2023553980A JP 2023553980 A JP2023553980 A JP 2023553980A JP 2023535660 A JP2023535660 A JP 2023535660A JP 2023535660 A JP2023535660 A JP 2023535660A JP 2023553980 A JP2023553980 A JP 2023553980A
- Authority
- JP
- Japan
- Prior art keywords
- vehicle
- plan
- autonomous
- computing system
- fallback
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims description 114
- 238000004891 communication Methods 0.000 claims abstract description 95
- 230000004044 response Effects 0.000 claims description 18
- 238000001514 detection method Methods 0.000 claims description 11
- 238000012795 verification Methods 0.000 claims description 8
- 238000005259 measurement Methods 0.000 claims description 5
- 230000008093 supporting effect Effects 0.000 claims description 5
- 230000006870 function Effects 0.000 abstract description 36
- 238000010586 diagram Methods 0.000 abstract description 7
- 230000007704 transition Effects 0.000 abstract description 3
- 239000003795 chemical substances by application Substances 0.000 description 125
- 230000008569 process Effects 0.000 description 21
- 238000012545 processing Methods 0.000 description 21
- 230000003542 behavioural effect Effects 0.000 description 12
- 238000005516 engineering process Methods 0.000 description 7
- 230000033001 locomotion Effects 0.000 description 7
- 230000008901 benefit Effects 0.000 description 6
- 230000006399 behavior Effects 0.000 description 5
- 230000001413 cellular effect Effects 0.000 description 5
- 230000008859 change Effects 0.000 description 4
- 230000007613 environmental effect Effects 0.000 description 3
- 238000011156 evaluation Methods 0.000 description 3
- 230000004927 fusion Effects 0.000 description 3
- 230000036541 health Effects 0.000 description 3
- 238000012546 transfer Methods 0.000 description 3
- QGZKDVFQNNGYKY-UHFFFAOYSA-N Ammonia Chemical compound N QGZKDVFQNNGYKY-UHFFFAOYSA-N 0.000 description 2
- 238000007726 management method Methods 0.000 description 2
- VNWKTOKETHGBQD-UHFFFAOYSA-N methane Chemical compound C VNWKTOKETHGBQD-UHFFFAOYSA-N 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 238000010200 validation analysis Methods 0.000 description 2
- LFQSCWFLJHTTHZ-UHFFFAOYSA-N Ethanol Chemical compound CCO LFQSCWFLJHTTHZ-UHFFFAOYSA-N 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 229910021529 ammonia Inorganic materials 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 238000013145 classification model Methods 0.000 description 1
- 230000003749 cleanliness Effects 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000003066 decision tree Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000001976 improved effect Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000000116 mitigating effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000029305 taxis Effects 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
- 238000011144 upstream manufacturing Methods 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W50/02—Ensuring safety in case of control system failures, e.g. by diagnosing, circumventing or fixing failures
- B60W50/029—Adapting to failures or work around with other constraints, e.g. circumvention by avoiding use of failed parts
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W50/02—Ensuring safety in case of control system failures, e.g. by diagnosing, circumventing or fixing failures
- B60W50/035—Bringing the control units into a predefined state, e.g. giving priority to particular actuators
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
- B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
- B60W30/09—Taking automatic action to avoid collision, e.g. braking and steering
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
- B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
- B60W30/095—Predicting travel path or likelihood of collision
- B60W30/0956—Predicting travel path or likelihood of collision the prediction being responsive to traffic or environmental parameters
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
- B60W40/04—Traffic conditions
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W60/00—Drive control systems specially adapted for autonomous road vehicles
- B60W60/001—Planning or execution of driving tasks
- B60W60/0011—Planning or execution of driving tasks involving control alternatives for a single driving scenario, e.g. planning several paths to avoid obstacles
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W60/00—Drive control systems specially adapted for autonomous road vehicles
- B60W60/001—Planning or execution of driving tasks
- B60W60/0015—Planning or execution of driving tasks specially adapted for safety
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W60/00—Drive control systems specially adapted for autonomous road vehicles
- B60W60/001—Planning or execution of driving tasks
- B60W60/0015—Planning or execution of driving tasks specially adapted for safety
- B60W60/0018—Planning or execution of driving tasks specially adapted for safety by employing degraded modes, e.g. reducing speed, in response to suboptimal conditions
- B60W60/00186—Planning or execution of driving tasks specially adapted for safety by employing degraded modes, e.g. reducing speed, in response to suboptimal conditions related to the vehicle
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W60/00—Drive control systems specially adapted for autonomous road vehicles
- B60W60/001—Planning or execution of driving tasks
- B60W60/0027—Planning or execution of driving tasks using trajectory prediction for other traffic participants
- B60W60/00274—Planning or execution of driving tasks using trajectory prediction for other traffic participants considering possible movement changes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/94—Hardware or software architectures specially adapted for image or video understanding
- G06V10/95—Hardware or software architectures specially adapted for image or video understanding structured as a network, e.g. client-server architectures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
- G06V20/54—Surveillance or monitoring of activities, e.g. for recognising suspicious objects of traffic, e.g. cars on the road, trains or boats
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W50/02—Ensuring safety in case of control system failures, e.g. by diagnosing, circumventing or fixing failures
- B60W50/029—Adapting to failures or work around with other constraints, e.g. circumvention by avoiding use of failed parts
- B60W2050/0292—Fail-safe or redundant systems, e.g. limp-home or backup systems
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2554/00—Input parameters relating to objects
- B60W2554/40—Dynamic objects, e.g. animals, windblown objects
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2554/00—Input parameters relating to objects
- B60W2554/80—Spatial relation or speed relative to objects
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2555/00—Input parameters relating to exterior conditions, not covered by groups B60W2552/00, B60W2554/00
- B60W2555/20—Ambient conditions, e.g. wind or rain
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2556/00—Input parameters relating to data
- B60W2556/20—Data confidence level
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2556/00—Input parameters relating to data
- B60W2556/40—High definition maps
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2556/00—Input parameters relating to data
- B60W2556/45—External transmission of data to or from the vehicle
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2556/00—Input parameters relating to data
- B60W2556/45—External transmission of data to or from the vehicle
- B60W2556/50—External transmission of data to or from the vehicle of positioning data, e.g. GPS [Global Positioning System] data
Landscapes
- Engineering & Computer Science (AREA)
- Automation & Control Theory (AREA)
- Mechanical Engineering (AREA)
- Transportation (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Traffic Control Systems (AREA)
- Control Of Driving Devices And Active Controlling Of Vehicle (AREA)
Abstract
自律車両動作のためのシステム(100)は、低レベル安全プラットフォーム(130)を含むことができ、任意選択的に、自律エージェント(102)、センサシステム、コンピューティングシステム(120)、車両通信ネットワーク(140)、車両制御システム(150)及び/又は任意の適切なコンポーネントのいずれか又はすべてを含むことができ、且つ/又はそれらと連携することができる。本システムは、自律エージェントでのフォールバック計画及び/又は実行を支援するように機能する。追加又は代替として、本システムは、一次(自律)動作モードとフォールバック動作モードとの間で自律エージェントを移行させるように機能し得る。【選択図】図1
Description
本発明は、概して、自律車両の分野に関し、より具体的には、自律分野における自律車両動作のための新規且つ有用なシステム及び方法に関する。
関連出願に対する相互参照
本願は、2020年12月14日に出願された米国仮出願第63/125,304号の利益を主張するものであり、その全体がこの引用により本明細書に援用されるものとする。
本願は、2020年12月14日に出願された米国仮出願第63/125,304号の利益を主張するものであり、その全体がこの引用により本明細書に援用されるものとする。
自律車両の分野における最近の多くの進歩にも関わらず、自動グレードとみなされる、故障し難い自律車両用のコンピュータを有することは、未だ実現されていない。コンピューティングシステムは自律車両の動作に不可欠であるため、コンピューティングシステムの故障は致命的なものとなり得る。
高レベル安全プラットフォーム(例えば、自律車両の計画モジュール内)は、最小リスク状態を保証することができるコンピューティングシステムにより、バックアップ軌道を作成及び実施することができるが、コンピューティングシステムが車両の制御システムとの通信を失った場合、且つ/又は他の緊急シナリオに遭遇した場合に、それらは本質的に役に立たなくなる。
このため、自律車両の分野では、改善された有用な低レベル安全プラットフォームシステム及び方法を作成する必要性がある。
本発明の好ましい実施形態の以下の説明は、本発明をそれらの好ましい実施形態に限定することを意図するものではなく、当業者が本発明を製造及び使用できるようにすることを意図している。
1.概要
図1に示すように、自律車両動作のためのシステム100は、低レベル安全プラットフォーム130を含む。追加又は代替として、システム100は、任意選択的に、自律エージェント102、センサシステム、コンピューティングシステム120、車両通信ネットワーク140、車両制御システム150及び/又は任意の適切なコンポーネントのうちのいずれか又はすべてを含み、且つ/又はそれらと連携することができる。任意のセンサシステムは、センサスイート110、通信インタフェース160、インフラストラクチャデバイス170のセット、及びテレオペレータプラットフォーム180を含むことができる。しかしながら、システム100は、他の任意の追加コンポーネントを含むことができる。
図1に示すように、自律車両動作のためのシステム100は、低レベル安全プラットフォーム130を含む。追加又は代替として、システム100は、任意選択的に、自律エージェント102、センサシステム、コンピューティングシステム120、車両通信ネットワーク140、車両制御システム150及び/又は任意の適切なコンポーネントのうちのいずれか又はすべてを含み、且つ/又はそれらと連携することができる。任意のセンサシステムは、センサスイート110、通信インタフェース160、インフラストラクチャデバイス170のセット、及びテレオペレータプラットフォーム180を含むことができる。しかしながら、システム100は、他の任意の追加コンポーネントを含むことができる。
さらに追加又は代替として、システム100は、2019年7月17日に出願された米国出願第16/514,624号(米国特許第10,564,641号)、2019年7月8日に出願された米国出願第16/505,372号(米国特許第10,614,709号)、2019年8月14日に出願された米国出願第16/540,836号、並びに、2020年2月17日に出願された米国出願第16/792,780号のいずれか又はすべてに記載のコンポーネントのいずれか又はすべてを含むことができ、それら出願の各々は、この引用によりその全体が本明細書中に援用されるものとする。
システム100は、方法S200に従って、自律エージェントにおけるフォールバック計画及び/又は実行を支援するように機能する。追加又は代替として、システムは、一次(自律)動作モードとフォールバック動作モードとの間で自律エージェントを移行させるように機能することができる。より好ましくは、システム100は、車両のコンピューティングシステム(例えば、自律コンピューティングシステム)が故障し、且つ/又は(例えば、車両の制御システムや、車両のドライブバイワイヤアクチュエータのようなアクチュエータなどとの)通信能力を喪失した場合に、車両の動作(例えば、安全動作、最適動作、所定のルートに沿った動作など)を可能にするように機能することができる。しかしながら、システムは、他の方法で適切に機能することもできる。
図2に示すように、自律車両動作のための方法S200は、入力のセットを決定するステップS210と、入力のセットのいずれか又はすべてを記憶するステップS220と、入力のセットに基づいて自律エージェントの動作を支援するステップS230とを含む。
さらに追加又は代替として、方法200は、2019年7月17日に出願された米国出願第16/514,624号(米国特許第10,564,641号)、2019年7月8日に出願された米国出願第16/505,372号(米国特許第10,614,709号)、2019年8月14日に出願された米国出願第16/540,836号、並びに、2020年2月17日に出願された米国出願第16/792,780号のいずれか又はすべてに記載のプロセスのいずれか又はすべて、あるいは任意の順序で実行される他の任意の適切なプロセスを含むことができ、それら出願の各々は、この引用によりその全体が本明細書中に援用されるものとする。方法200は、上述したシステム100及び/又は他の任意の適切なシステムで実行することができる。
1.1 実施例
実施態様では、方法S200は、記憶した入力を取得するステップ、入力を選択及び/又は検証するステップ、コンピューティングシステムとの通信が存在する場合に、第1の軌道(同等に、ここでは一次軌道という)を通信ネットワークに送信するステップ、コンピューティングシステムとの通信が失われた場合に、第2の軌道(同等に、ここでは二次軌道という)を通信ネットワークに送信するステップ、及び/又は任意の適切な順序で実行される他の適切な1又は複数のプロセスのいずれか又はすべてを含むことができる。
実施態様では、方法S200は、記憶した入力を取得するステップ、入力を選択及び/又は検証するステップ、コンピューティングシステムとの通信が存在する場合に、第1の軌道(同等に、ここでは一次軌道という)を通信ネットワークに送信するステップ、コンピューティングシステムとの通信が失われた場合に、第2の軌道(同等に、ここでは二次軌道という)を通信ネットワークに送信するステップ、及び/又は任意の適切な順序で実行される他の適切な1又は複数のプロセスのいずれか又はすべてを含むことができる。
実施態様の一セットでは、車両のための自律フォールバック方法が、自律車両に搭載されたセンサスイートからのセンサデータ及び自律車両の自車両状態を含む入力データを受信するステップと、入力データに基づいて、自律コンピューティングシステムで一次計画を決定するステップと、二次計画を決定するステップであって、ナビゲーショナルエッジ候補のセットを決定すること、ナビゲーショナルエッジ候補を利用可能であると分類すること、及びナビゲーショナルエッジを利用可能であると分類した場合に、自車両状態及びナビゲーショナルエッジ候補に基づいて二次計画を生成することを含むことができる、二次計画を決定するステップと、組込みコントローラに結合されたメモリに二次計画を記憶するステップと、一次計画に基づいて車両を自律制御するステップと、一次計画に基づいて車両を自律制御している間に、トリガ条件の充足を判定し、それに応答して、組込みコントローラにより二次計画に基づいて車両を自律制御するステップとを含むことができる。
いくつかの態様では、自律フォールバック方法が、一次計画に基づいて車両を制御している間に、二次計画の期限切れ条件の充足に基づいて二次計画を更新するステップをさらに含むことができる。
いくつかの態様では、自律フォールバック方法が、二次計画に基づいて車両を制御している間に、オドメトリを使用して自車両の姿勢を推定するステップと、二次センサのセットを使用して自車両の姿勢に基づいて、二次計画に対応する車両の経路に沿って障害物を検出するステップと、障害物の検出に基づいて完全停止を実行するステップとをさらに含むことができる。一例では、二次センサのセットが、車両センサスイートの飛行時間センサを含むことができる。
自律フォールバック方法のいくつかの態様では、利用可能な状態の分類が、マップに基づくことができる。
自律フォールバック方法のいくつかの態様では、入力データが、(例えば、自己エージェントの環境内の)エージェントのセットを識別する環境表現を含み、利用可能な状態の分類が、セットの各エージェントに対応する占有予測に基づくものとなる。一例では、各エージェントが、計画範囲内で静止していると仮定される。別の例では、エージェントのいずれか又はすべてが、計画範囲で動的に移動していると仮定される。
自律フォールバック方法のいくつかの態様では、利用可能な状態の分類が、自車両の寸法と最小通過クリアランスの充足とに基づくものとなる。追加又は代替の態様では、利用可能な状態の分類が、自車両と状態(例えば、状態に関連するナビゲーショナルエッジ)との間の近隣車両の存在又は予測される存在に基づくものとなる。
自律フォールバック方法のいくつかの態様では、ナビゲーショナルエッジ候補のセットが、自車両の位置に対する距離の所定のセットで決定される。
いくつかの態様では、自律フォールバック方法が、衝突制約、運動学的制約及び最小距離制約のうちの少なくとも1つに基づいて、複数の利用可能なナビゲーショナルエッジのなかからナビゲーショナルエッジを選択するステップをさらに含むことができる。
自律フォールバック方法のいくつかの態様では、トリガ条件が、自律コンピューティングシステムと検証エンドポイントとの間の通信の喪失である。一例では、検証エンドポイントが、通信ネットワークノードである。
自律フォールバック方法のいくつかの態様では、組込みコントローラが、自律コンピューティングシステム及び車両通信ネットワークに通信可能に接続された低レベル安全プラットフォーム内にある。一例では、一次計画に基づいて車両を自律制御することが、低レベル安全プラットフォーム及び車両通信ネットワークを介して(例えば、図6及び図7に示すような車両制御インタフェースを介して)車両制御システムに軌道を提供することを含む。代替的には、一次軌道が、低レベル安全プラットフォームを経由することなく、車両制御システムに提供される。
2.利点
自律車両安全プラットフォームシステム及び方法は、現在のシステム及び方法に比べていくつかの利点をもたらすことができる。
自律車両安全プラットフォームシステム及び方法は、現在のシステム及び方法に比べていくつかの利点をもたらすことができる。
第一に、本技術の態様は、エージェントの(自律)コンピューティングシステムが故障し、且つ/又は自律エージェントの他のコンポーネントとの通信が失われたとしても、その環境を通ってナビゲートする自律エージェントの安全性を高めることができる。具体的な例では、エージェントの環境に対する安全軌道のセットは、通信/処理の障害の前に生成することができ、これは、(自律コンピューティングシステムの)通信/処理の障害の場合にフォールバックモードにおいて依存することができ、且つ/又は実施することができる。しかしながら、実施態様は、他の方法で安全性を高めることができる。
第二に、本技術の態様は、自律エージェントなどの任意の数の車両にモジュール方式で統合することができる低レベル安全プラットフォームを提供することができる。実施態様では、低レベル安全プラットフォームを、後付けプラットフォームとして追加する、且つ/又はある程度のフォールバック及び/又はコンピューティング冗長性を満たすようにスケーリングするなどして、自律コンピューティングシステムとは別個に統合することができる。しかしながら、システムの態様は、他の方法で適切に車両に統合することもでき、且つ/又は低レベル安全プラットフォームは他の方法で実装することもできる。
第三に、本技術の態様は、高価な且つ/又は資源集約的なハードウェアに依存し得る(例えば、障害対応のために追加の計算能力を予約/要求し、ハードウェアコストを増加させ、高度処理能力の量を増加させる)冗長な自律処理システムを使用せずに、フォールバック計画を提供することができる。一例として、実施態様は、単一の高度処理システム(例えば、正に一つのコンピューティングシステム及び/又はその中の自律コンピューティングサブシステム)にのみ依存しながら、ハードウェア及び/又は通信の障害に対する車両の回復力を促進することができる。冗長な自律処理に依存する代わりに、実施態様は、低レベル安全システム(例えば、図5)において低レベルの処理で動作することができるフォールバックコントローラ(例えば、組込みコントローラ)を利用することができる。しかしながら、実施態様は、他の方法でフォールバック計画及び/又は通信及び/又は自律処理の障害に対する回復力を提供することもできる。
第四に、本技術の態様は、フォールバック計画、冗長性、自律車両計画/制御のコンピューティング障害回復力、及び/又は他のコンピュータ技術の課題など、コンピュータ技術で特に生じる問題を克服するために、コンピュータ技術に必然的に根ざした技術的解決策を提供することができる。自律車両アプリケーションに対する追加又は代替として、システム及び/又は方法は、軍事アプリケーション、航空機制御及び/又は他の任意の適切なアプリケーションに限定されるものではないが、それらのいずれか又はすべてを含む数多くのアプリケーションセットのいずれか又はすべてで使用することができる。
追加又は代替として、システム及び方法は、他の任意の1又は複数の利益を与えることができる。
3.システム100
システム100は、方法S200に従って、自律エージェントにおけるフォールバック計画及び/又は実行を支援するように機能する。追加又は代替として、システムは、一次(自律)動作モードとフォールバック動作モードとの間で自律エージェントを移行させるように機能することができる。より好ましくは、システム100は、車両のコンピューティングシステム(例えば、自律コンピューティングシステム)が故障し、且つ/又は通信能力を失った場合に、車両の動作(例えば、安全動作、最適動作、所定のルートに沿った動作など)を可能にするように機能することができる。しかしながら、本システムは、他の方法で適切に機能することもできる。追加又は代替として、システムは、これらの故障及び/又は通信喪失の検出、軌道の取得、軌道の保存、軌道の生成、及び/又は他の任意の適切な機能を実行するように機能することができる。
システム100は、方法S200に従って、自律エージェントにおけるフォールバック計画及び/又は実行を支援するように機能する。追加又は代替として、システムは、一次(自律)動作モードとフォールバック動作モードとの間で自律エージェントを移行させるように機能することができる。より好ましくは、システム100は、車両のコンピューティングシステム(例えば、自律コンピューティングシステム)が故障し、且つ/又は通信能力を失った場合に、車両の動作(例えば、安全動作、最適動作、所定のルートに沿った動作など)を可能にするように機能することができる。しかしながら、本システムは、他の方法で適切に機能することもできる。追加又は代替として、システムは、これらの故障及び/又は通信喪失の検出、軌道の取得、軌道の保存、軌道の生成、及び/又は他の任意の適切な機能を実行するように機能することができる。
システム100は、好ましくは、以下に説明する方法200に従って動作するが、追加又は代替として、他の任意の適切な1又は複数の方法に従って実行することができる。さらに追加又は代替として、システム100は、2019年7月17日に出願された米国出願第16/514,624号(米国特許第10,564,641号)、2019年7月8日に出願された米国出願第16/505,372号(米国特許第10,614,709号)、2019年8月14日に出願された米国出願第16/540,836号、並びに、2020年2月17日に出願された米国出願第16/792,780号のいずれか又はすべてに記載の方法、プロセス、実施形態及び/又は実施例のいずれか又はすべてを実行するように機能することができ、それら出願の各々は、この引用によりその全体が本明細書中に援用されるものとする。
3.1 システム:コンポーネント
システム100は、好ましくは、(例えば、図4に示すように)自律車両(同等に、ここでは自律エージェント102及び/又は自車両という)を含み、且つ/又はそれと連携する(例えば、自律車両内に組み込まれる)。自律エージェント102は、好ましくは、完全自律車両であるか、且つ/又は完全自律車両として動作させることができる、自律車両110を含むが、追加又は代替として、任意の半自律車両であってもよい。
システム100は、好ましくは、(例えば、図4に示すように)自律車両(同等に、ここでは自律エージェント102及び/又は自車両という)を含み、且つ/又はそれと連携する(例えば、自律車両内に組み込まれる)。自律エージェント102は、好ましくは、完全自律車両であるか、且つ/又は完全自律車両として動作させることができる、自律車両110を含むが、追加又は代替として、任意の半自律車両であってもよい。
いくつかの例では、例えば、自律エージェントは、半自律状態(例えば、人間の安全ドライバ、テレオペレータなどと連携する)と完全自律状態(又は完全有人状態)との間で切り替わる車両とすることができ、その結果、自律エージェントは、自律エージェントの状態に応じて半自律車両及び完全自律車両の両方の属性を有することができる。
好ましい態様では、自律車両は、自動車(例えば、車、無人走行車、バス、シャトル、タクシ、ライドシェア車両、トラック、半トラックなど)である。追加又は代替として、自律車両は、船舶(例えば、ボート、水上タクシなど)、航空車両(例えば、飛行機、ヘリコプタ、ドローンなど)、地上車両(例えば、2輪車、バイク、モータサイクル、スクータなど)、及び/又は他の任意の適切な車両及び/又は輸送デバイス、自律機械、自律デバイス、自律ロボット、及び/又は他の任意の適切なデバイスのいずれか又はすべてを含むことができる。
自律エージェントは、好ましくは、コンピューティングシステム120を含み、且つ/又はコンピューティングシステムと連携し、コンピューティングシステムは、車両のための1又は複数の軌道のセット(例えば、一次軌道、二次軌道など)を決定するために、情報(例えば、センサ入力)を処理するように機能する。追加又は代替として、コンピューティングシステムは、知覚、予測、位置特定、計画のいずれか又はすべてに関与するプロセス、及び/又は自律エージェントの動作に関与する他の任意のプロセスのうち、いずれか又はすべてを実行するように機能することができる。
コンピューティングシステムは、好ましくは、自律エージェントに搭載されて配置された(例えば、自律エージェント内に統合された)オンボードコンピューティングシステムを含む。追加又は代替として、コンピューティングシステムは:リモートコンピューティングシステム(例えば、オンボードコンピューティングシステムに代えて、クラウドコンピューティングシステム、オンボードコンピューティングシステムと通信するリモートコンピューティングなど)、補助デバイスに統合されたコンピューティングシステム(例えば、モバイルデバイス、ユーザデバイスなど)、モバイルコンピューティングデバイスを含むエッジデバイス、統合されたコンピューティングユニットを有するセンサ、複数のコンピューティングシステム(例えば、一次軌道を生成するコンピューティングシステムと二次軌道を生成する別のコンピューティングシステム)、及び/又は、他の任意の適切なコンピューティングシステム及びデバイスのいずれか又はすべてを含むことができる。ある態様では、例えば、自律エージェントは、ユーザデバイス(例えば、携帯電話、ラップトップなど)、リモートサーバ、クラウドサーバ、又は、車両から遠隔の他の任意の適切なローカル及び/又は分散コンピューティングシステムを含むことができるリモート又は分散コンピューティングシステムと通信するように動作可能である。リモートコンピューティングシステムは、1以上のデータ接続(例えば、チャネル)を通じて自律エージェントの1以上のシステムに接続され得るが、代替として、任意の適切な方法で車両システムと通信することができる。
コンピューティングシステムは、好ましくは、処理システム(例えば、グラフィック処理ユニットすなわちGPU、中央処理ユニットすなわちCPU、又は、任意の適切な処理回路)及びメモリを含むが、追加又は代替として、他の任意の適切なコンポーネントを含むことができる。メモリは、短期記憶(例えば、揮発性、不揮発性、ランダムアクセスメモリ又はRAMなど)及び/又は長期記憶(例えば、フラッシュメモリ、ハードディスクなど)であり得る。ある態様では、例えば、オンボードコンピューティングシステムは、本明細書に記載の識別されたコンポーネント又はモジュールのうちの1以上と相互作用及び/又は動作可能に制御するように動作する。例えば、オンボードコンピューティングシステムは、マルチポリシー意思決定モジュール、同期化モジュールなどを実装するためのコンピュータ命令を実装及び/又は実行するように機能し得る。具体例では、処理システム及びメモリは集合的に機能して、この参照によってその全体が本明細書に組み込まれる2019年7月17日に出願された米国出願第16/514,624号に記載されたもののように、マルチポリシー意思決定フレームワークのフレームワーク内の自律エージェントが利用可能なポリシーのセット(例えば、方法200に基づいて決定される)を動的に管理する。追加又は代替として、処理システム及びメモリ及び/又は他の任意の適切なコンポーネントは他の任意の適切な機能に使用され得る。
コンピューティングシステム(例えば、オンボードコンピューティングシステム)は、好ましくは、自律エージェントを制御し、且つ、自律エージェントの動作環境における自律エージェントの状態及び/又は複数のエージェントの状態を決定するため、自律エージェント及び/又は他のセンサ(例えば、インフラストラクチャデバイスから)のセンサスイート110(例えば、コンピュータビジョンシステム、LIDAR、フラッシュLIDAR、車輪速度センサ、GPSなど)から検出されたデータを処理するように機能する。動作環境における自律エージェント及び/又は複数のエージェントの状態及びプログラム命令に基づいて、オンボードコンピューティングシステムは、好ましくは、(例えば、一次軌道を決定するために後で使用される)行動ポリシーの選択などを通じて、自律エージェントの行動を変更又は制御する。追加又は代替として、コンピューティングシステムは、(例えば、一次軌道の決定を通じて)コンピューティングシステムが実行して自律エージェントの行動を制御することができる、行動ポリシーを生成し、且つ、行動ポリシーを選択する(例えば、車線変更する、合流する、現在の車線を維持する、左折する、右折する、停車する、減速する、加速する、信号で停止する、一時停止標識で停止する、道を譲るなど)ように機能するマルチポリシー意思決定モジュールを含むことができる。
コンピューティングシステム(及び/又はその中の自律プロセッサ)の出力は、好ましくは、車両ウェイポイント(例えば、ローカル自車フレーム内)、目標車両経路(例えば、時空間制御経路)、多項式経路、軌道(例えば、経路/ウェイポイントを辿ることに関連する未処理のアクチュエータ制御コマンドなどの低レベル制御コマンドの形式)を含むことができる行動ポリシー及び/又は動作命令を含むことができるが、追加又は代替として他の任意の情報を含むことができる。好ましい態様では、コンピューティングシステムは、出力の第1のセット104(例えば、一次計画)及び出力の第2のセット106(例えば、フォールバック計画)を出力するように構成され、それらは同じフォーマットでも異なるフォーマットでもよい。一例として、出力の第1のセット(例えば、一次計画)は、軌道(例えば、経路、位置のセット、低レベルの作動コマンドなど)であり、出力の第2のセットは、高レベルのガイダンス(例えば、ウェイポイント、目標車両経路など)の形式であってもよい。しかしながら、コンピューティングシステムは、任意の適切な出力を任意の適切なエンドポイントに提供することができる。
コンピューティングシステムは、好ましくは、高レベル安全プラットフォーム124(別名フォールバックプランナ)を含み、規定し、高レベル安全プラットフォームと連携し、且つ/又は高レベル安全プラットフォームとして機能し、高レベル安全プラットフォームは、計画することができ、ここでフォールバック計画(例えば、ウェイポイント、フォールバック軌道)と同様に呼ばれる、出力106の第2のセットを(例えば、上述したように)生成するように構成され、出力の第2のセットの1つが、フォールバック条件の充足に応答して(例えば、緊急事態、通信障害、コンピューティングシステムの障害などの場合に)、車両動作に利用され得る。追加又は代替として、高レベル安全プラットフォームは、他のコンポーネントによって規定することができ、且つ/又は他の方法で構成することができる。
第1のセットの態様では、コンピューティングシステムは、車両制御システム及びセンサシステムとのI/O通信に適合されたオンボード汎用コンピュータを含むが、追加又は代替として、任意の適切なコンピューティングデバイスであってもよい。オンボードコンピューティングシステムは、好ましくは、無線接続を介して(例えば、セルラー方式のリンク又は接続を介して)インターネットに接続される。追加又は代替として、オンボードコンピューティングシステムは、任意の数の無線通信システム又は有線通信システムに結合され得る。
しかしながら、システムは、他の任意の適切なコンピューティングシステムを含むことができるか、又はそれとともに使用することができ、あるいは他の方法で適切に実行することができる。
システム100は、任意選択的には、コンピューティングシステムと通信する通信インタフェース160を含み、通信インタフェースは、(例えば、インフラストラクチャデバイスから、リモートコンピューティングシステム及び/又はリモートサーバから、テレオペレータプラットフォームから、別の自律エージェント又は他の車両などからの)情報が受信されること、且つ、コンピューティングシステム(例えば、リモートコンピューティングシステム及び/又はリモートサーバへ、テレオペレータプラットフォームへ、インフラストラクチャデバイスへ、別の自律エージェント又は他の車両などへ)情報が送信されることを可能にするように機能する。通信インタフェースは、好ましくは、無線通信システム(例えば、Wi-Fi、Bluetooth、セルラー3G、セルラー4G、セルラー5G、多入力多出力又はMIMO、1以上の無線、又は、他の任意の適切な無線通信システム若しくはプロトコル)を含むが、追加又は代替として、有線通信システム(例えば、変調電力線データ転送、イーサネット、又は、他の任意の適切な有線データ通信システム又はプロトコル)、データ転送バス(例えば、CAN、FlexRay)及び/又は他の任意の適切なコンポーネントのいずれか又はすべてを含むことができる。しかしながら、システムは、他の任意の適切な通信インタフェースを含むか、又はそれとともに使用することができ、あるいは通信インタフェースを除外することもできる。
システム100は、任意選択的には、環境の1以上の態様及び/又は特徴を観察し、且つ、環境の1以上の態様及び/又は特徴に関する観察データを収集するように個別に且つ/又は集合的に機能する、本明細書では同等に路側ユニットと呼ばれるインフラストラクチャデバイス170のセット(例えば、図4)を含むことができる。好ましい態様では、インフラストラクチャデバイスは追加として、観察に関連付けられたデータを収集し、且つ、収集されたデータ及び/又は収集されたデータの処理された派生物を自律エージェントに送信するように機能する。追加又は代替として、インフラストラクチャデバイスは、データを収集してテレオペレータプラットフォームに送信するように機能することができ、テレオペレータは、データを使用して、行動ポリシーを含めるかどうか、及び/又は、自律エージェントのコンピューティングシステムによる考慮から行動ポリシーを除外するかどうかなど、テレオペレータの意思決定を通知することができる。具体例では、例えば、インフラストラクチャデバイスは、自律エージェントによって(道路が方向転換のために空いていることを確認することによって)方向転換行動ポリシーが考慮されることを可能にするためにエージェント及び/又はオペレータ及び/又はエージェントのテレオペレータが使用することができる車両のコーナ周りの視野を見ることを可能にすることができる。
第1のセットの態様では、例えば、インフラストラクチャデバイスは、自律エージェントとインタラクティブに通信する及び/又は自律エージェントの1以上の機能を制御するように動作する自律車両サービス及び/又はリモートプラットフォーム(例えば、分散コンピューティングシステムのネットワークを介して実装される)に、収集された観察データを転送する。
インフラストラクチャデバイスは、好ましくは、自律エージェントの動作位置の直近及び/又は近接又は短距離通信近接内にあるデバイスを含み、且つ、自律エージェントを取り囲む及び自律エージェントの動作ゾーンに近接する領域内の状況に関するデータを収集するように機能することができる。ある実施形態では、路側ユニットは、フラッシュLIDAR、熱画像装置(熱カメラ)、静止画又は動画撮影装置(例えば、画像カメラ及び/又はビデオカメラなど)、全地球測位システム、レーダシステム、マイクロ波システム、慣性測定ユニット(IMU)、及び/又は、他の任意の適切な検出デバイス又は検出デバイスの組合せを含むオフボード検出装置のうちの1以上を含む。
インフラストラクチャデバイスは、任意選択的には、処理回路を介したコンピューティング機能と、自律エージェントのコンピューティングシステム、リモートコンピューティングシステム、テレオペレータプラットフォーム及び/又は他の任意の適切なコンポーネント若しくはコンポーネントの組合せのいずれか又はすべてとインフラストラクチャデバイスが通信することを可能にする通信インタフェースと、を含むことができる。
自律エージェントの動作のゾーンは、任意選択的に、自律エージェント110が位置決めされる及び/又は動作している(例えば、走行している)構造化経路に沿った任意の地点における自律エージェントの構造化及び/又は非構造化経路に沿って事前に規定された半径(例えば、100フィート、50フィート~100フィート、50フィート未満、100フィート~200フィート、200フィート超など)として規定され得る。構造化及び/又は事前に規定された自律エージェント経路の具体例では、自律エージェントの動作の近接ゾーンは、構造化経路に沿った任意の地点から100フィートである又は地点に沿っている。
インフラストラクチャデバイスの実装によって達成される技術的利点には、自律エージェントの観察可能範囲を越えて状況(例えば、角を曲がったところ、下る直角の道路など)を観察する機能が含まれ得、自律エージェントは、続けて、エージェントが利用可能な1以上の行動ポリシーのキュレーションにおいて機能することができる。所定の例において後に、例えば、所定の環境の1以上の側面の観察が自律エージェントによって行われ得、且つ、所定の環境の1以上の異なる及び/又は重複する側面の観察が、所定の環境に配置されて動作する1以上のインフラストラクチャデバイスによって異なる視点から行われ得る。そのような実施形態では、そこからの観察データを含むインフラストラクチャデバイスの視点は、自律エージェントの動作環境の包括的な視点を生成するため、及び/又は、テレオペレータプラットフォームの1以上のテレオペレータに追加の視点を提供するため、自律エージェントの視点からの観察データに増強される。これにより、動作環境の予測を改善し、且つ、動作環境内で(オンボードの人間のオペレータから)独立して安全に動作する自律エージェントによって選択及び/又は実行される行動ポリシー決定(例えば、計画/軌道)を改善することを可能にする。
ある態様では、自律エージェントは、インフラストラクチャデバイス(例えば、路側ユニット)からの追加の観察を用いて、(例えば、後述するような)オンボードセンサスイート110によって導出されたデータを増強及び/又は融合して、自律エージェントによるポリシーのキュレーション及び/又は軌道決定を改善することができる。
追加又は代替として、インフラストラクチャデバイスは、ビデオカメラ又はレーダなどを用いて、動作環境で任意のタイプ又は種類のオブジェクトを検出及び追跡することができる。ある態様では、例えば、ビデオカメラは、オブジェクトの検出、並びに、オブジェクトタイプのセマンティック分類、並びに、道路を横断しようとしている歩行者又は左折しようとしている車、車のドアを開けて車両から降りようとしている運転手、自転車専用レーンを走行している自転車運転者、及び/又は、他の任意の適切な情報などの、オブジェクトの考えられる意図を提供するように機能することができる。
さらに追加又は代替として、インフラストラクチャデバイスのいずれか又はすべては、環境で動作する交通管理デバイス(例えば、交通センサ、交通信号、歩行者信号など)などを含み得、交通管理デバイスは:他のインフラストラクチャデバイス(例えば、路側ユニット)のいずれか又はすべてと通信し:インフラストラクチャデバイスの動作状態(例えば、赤信号又は青信号)及び/又は他の任意の情報に関して、インフラストラクチャデバイスによって収集及び/又は検出されたデータのいずれか又はすべてに関して、自律エージェントと直接;テレオペレータプラットフォームで直接通信するように機能し得る;及び/又は、他の任意の適切な方法で通信し得る。具体例では、信号機は、自律車両又は自律車両と動作可能に通信し得る路側ユニットと直接通信するように機能し得る、自律車両を取り囲む環境内のインフラストラクチャデバイスであり得る。この例では、信号機は、信号機が投影している光の色などの動作状態情報、又は、信号機による光の変化のタイミングなどの他の情報を共有及び/又は通信するように機能することができる。
しかしながら、システムは、他の任意の適切なインフラストラクチャデバイスを含むか、又はそれとともに使用することができ、あるいはインフラストラクチャデバイスを除外することもできる。
好ましい態様では、通信インタフェース160は、自律エージェントが、自律エージェントの外部のシステム、ネットワーク及び/又はデバイスと通信及び/又はデータ交換することを可能にする。この通信インタフェース及び/又は別個の通信インタフェースは任意選択的には、1以上のインフラストラクチャデバイスが、自律エージェント及び/又はリモートコンピューティングシステム及び/又はテレオペレータプラットフォームと直接通信することを可能にすることができる。さらに追加又は代替として、通信インタフェースは、システム及び/又はエージェントの複数のコンポーネント間で通信が確立されるのを可能にすることができる。通信インタフェースは、好ましくは、セルラーシステム(又は任意の適切な長距離通信システム)、直接短波無線、又は、他の任意の適切な短距離通信システムのうちの1以上を含む。
通信インタフェースは、任意選択的に、車両通信ネットワーク140を含み、それと組み合わせて使用され、且つ/又は規定することができ、車両通信ネットワークは、自律エージェントの異なるコンポーネントが互いに情報を受信及び送信することを可能にするように機能する。車両通信ネットワークは、車両とともに製造されたもの(例えば、相手先商標製造会社[OEM]通信ネットワーク)、車両に追加(例えば、後付け)されたもの、任意の組合せ、及び/又は他の方法で追加されたもの、のいずれか又はすべてであり得る。
好ましい態様では、車両通信ネットワークは、バス(例えば、コントローラエリアネットワーク(CAN)バス、ローカルインターコネクトネットワーク(LIN)バスなど)、イーサネット、任意の組合せ、及び/又は他の任意の通信ネットワークに限定されるものではないが、それらのいずれか又はすべてなどの車両バスである。
具体例では、車両通信ネットワークが、低レベル安全プラットフォームを経由してコンピューティングシステムと通信するCANバスを含む。
しかしながら、システムは、他の任意の適切な車両通信ネットワークを含むか、又はそれとともに使用することができ、且つ/又はそうでなければ車両通信ネットワークを除外することもできる。
システムは、好ましくは、センサスイート110(例えば、コンピュータビジョンシステム、LIDAR、RADAR、車輪速度センサ、GPS、カメラ、慣性測定ユニット[IMU]など)を含み、且つ/又はセンサスイートと連携し、センサスイート(同等に、ここではセンサシステムという)は、オンボードコンピューティングシステムと通信して、自律エージェントの1又は複数の軌道を決定するための情報を収集するように機能する。センサシステム(及び/又はその一部)は、追加又は代替として、低レベル安全プラットフォーム(例えば、フォールバックコントローラが、二次軌道を実施している間に、オドメトリ及び/又は簡易障害物検出を実行するための情報の単純なサブセットを受信することができるように)及び/又は他の任意のコンポーネントなど、システムの他の任意のコンポーネントと通信することができる。追加又は代替として、センサスイートは、自律エージェントの動作(自律走行など)、自律エージェントを取り巻く状況に関するデータの取得、自律エージェントの動作に関するデータの取得、自律エージェントのメンテナンスの必要性の検出(例えば、エンジン診断センサ、外圧センサストリップ、センサ健全性センサ、センサ信号品質の自己診断及び/又はクロスセンサ診断などを介して)、自律エージェント内部の清浄度基準の検出(例えば、内部カメラ、アンモニアセンサ、メタンセンサ、アルコール蒸気センサ)、及び/又は他の任意の適切な機能を可能にするように機能することができる。
センサスイート110は、好ましくは、自律車両に搭載されたセンサ(例えば、エージェントの外面に結合されたRADARセンサ及び/又はLIDARセンサ及び/又はカメラ、エージェントに結合され且つ/又はエージェント内に配置されたIMU及び/又はエンコーダなど)を含むが、追加又は代替として、エージェントから離れたセンサ(例えば、1又は複数のインフラストラクチャデバイスの一部、エージェントと通信するセンサなど)、及び/又は任意の適切な位置の任意の適切なセンサも含むことができる。
しかしながら、システムは、他の任意の適切な1又は複数のセンサシステム及び/又はセンサスイートを含むか、又はそれらとともに使用することができ、又は他の方法で適切に実装することもできる。
システムは、1又は複数のコンピューティングシステム及び/又はコントローラによって生成された動作命令(例えば、計画及び/又は軌道)に基づいて、車両の動きをもたらすように機能する車両モジュール/コンポーネントを含む車両制御システム150を含むか、且つ/又はそれと連携することができる。追加又は代替として、車両制御システムは、コンポーネントのドライバ、電子制御ユニット[ECU]、テレマティック制御ユニット[TCU]、トランスミッション制御モジュール[TCM]、アンチロックブレーキシステム[ABS]制御モジュール、ボディ制御モジュール[BCM]、及び/又は他の任意の適切な制御サブシステム及び/又はモジュールに限定されるものではないが、それらのいずれか又はすべてなどのエージェントの一連の電子モジュールのいずれか又はすべてを含み、又はそれらと連携又は通信することができる。好ましい態様では、車両制御システムは、車両のドライブバイワイヤシステムを含み、又はそれと連携し、且つ/又はそれを実装する。追加又は代替として、車両は、1又は複数の機械コンポーネントの作動に従って操作され、且つ/又は他の方法で実装され得る。しかしながら、システムは、他の任意の好適な車両制御システムを含むか、又はそれらとともに使用することができ、あるいは他の方法で適切に実装され得る。
システム100は、好ましくは、(例えば、後述する)低レベル安全プラットフォーム130を含み、このプラットフォームは、車両の軌道選択及び/又は軌道生成に関わる入力のセットを処理、伝送及び/又は記憶するように機能する。追加又は代替として、低レベル安全プラットフォームは、方法S200のすべて又は一部の実行を容易にするように機能する。
低レベル安全プラットフォームは、好ましくは、コンピューティングシステム及び車両通信ネットワーク(例えば、CANバス、イーサネットなど)と通信する。第1のセットの態様では、低レベル安全プラットフォームが、コンピューティングシステムと車両通信ネットワークとの間で(例えば、コンピューティングシステムから車両通信ネットワークへ、車両通信ネットワークからコンピューティングシステムなどへ)情報を中継することができる。第2のセットの態様では、低レベル安全プラットフォームが、情報(例えば、コンピューティングシステムの出力の第2のセット)を変換し、対応する出力のセットを(例えば、車両制御システムへ、車両通信ネットワークを介して、車両制御インタフェースなどを介して)提供することができる。
追加又は代替として、低レベル安全プラットフォームは、並列実施形態(例えば、2並列通信バス)で実装することができ、情報の中継及び/又はメッセージのアービトレートに加えて、又は代替として、低レベル安全プラットフォームは、フォールバックコントローラの実行に入るように構成されている(例えば、コンピューティングシステムが通信していない場合、システム及び自律コンピューティングが同じ車両を制御することができ、互いに通信してバックアップ制御に切り替える必要性を検知する)。
好ましい態様では、低レベル安全プラットフォームは、1又は複数の軌道(及び/又は他の任意の1又は複数の計画)を車両通信ネットワークに(例えば、公称動作モード及び/又はフォールバック動作モードで)提供することができ、その後、その情報は、実行のために車両制御システムに送信される。それら出力は、任意選択的に、(例えば、図6及び図7に示すように)車両制御インタフェースを介して車両制御システムに提供することができ、このインタフェースは、好ましくは、車両制御システム(例えば、ドライブバイワイヤECU)と車両のコンピューティングシステムの自律スタック(例えば、低レベル安全プラットフォームを含む、高レベル安全プラットフォームを含むなど)とのインタフェースとして機能するソフトウェアモジュールを含む。追加又は代替として、低レベル安全プラットフォームは、直接的及び/又は間接的に、制御システム及び/又はシステムの他の任意のコンポーネント(例えば、センサシステムなど)と通信することができる。いくつかの態様では、例えば、低レベル安全プラットフォームが、車両制御システムと直接通信する。追加又は代替の態様では、低レベル安全プラットフォームは、センサシステムのセンサの少なくともサブセット(例えば、IMU及びエンコーダ、IMU及びエンコーダのみ、サブセットのみなど)と通信し、低レベル安全プラットフォームは、1又は複数の受信軌道の検証、緊急時(例えば、コンピューティングシステムが接続を失った場合)の独自の軌道の生成、軌道の修正(例えば、車両の経路上で検出されたオブジェクトに基づく;障害物検出時の完全停止/強制停止の実行)、任意の適切な最小リスク条件(MRC)の実施、及び/又は他の任意の適切な機能の実行のうち、いずれか又はすべてのためにセンサ入力を使用することができる。追加又は代替として、低レベル安全プラットフォームは、(例えば、センサ情報に基づいて入力のセットを修正すること、独自の軌道を生成すること、完全停止軌道を決定することなどによって)入力のセットに基づいて独自の出力を生成し、送信する1又は複数の入力を選択し、1又は複数の入力を(例えば、一時記憶装置、永久記憶装置などに)記憶し、1又は複数の入力を評価し(例えば、生成されてから時間及び/又は距離の閾値などの所定の閾値内にあるか確認するため)、且つ/又は他の任意のプロセスを実行することができる。
低レベル安全プラットフォームは、好ましくは、フォールバックコントローラ(例えば、図7)を含むか、且つ/又はそれとともに使用され、フォールバックコントローラは、1又は複数の動作計画(例えば、フォールバック計画、出力の第2のセット106、公称動作モードにおいてコンピューティングシステムから受信したもの)を記憶し、且つ/又は(例えば、公称動作モード中に過去の記憶から、又はフォールバックモードで動作するときに)1又は複数の動作計画を取得し、任意選択的に、記憶したフォールバック計画に基づいて命令(例えば、軌道、ウェイポイントのセットなど)を生成し、フォールバック計画に関連する命令を送信するように機能する。命令は、ここでは、軌道、経路(例えば、多項式経路)、位置のセット(例えば、ウェイポイントのセット)、車両のアクチュエータのための制御コマンドのセット(例えば、目的地に到達するため、経路に従うため、ポイントのセットに従うため、停止するため、MRCを実行するためなど)、及び/又は車両の走行に関連する他の任意の適切な情報のいずれか又はすべてを指す場合がある。フォールバックコントローラは、好ましくは、(例えば、低レベル安全プラットフォーム内に組み込まれた)組込みコントローラであるが、同様に、コンピューティングシステムの一次コントローラとは別個の補助コントローラ(例えば、別のモジュール内にパッケージされ、通信的に切り離され、別の処理システムに依存するコントローラなど)、二次コントローラ(例えば、一次自律コントローラと二重化されたコントローラ)、及び/又は他の任意の適切なフォールバックコントローラであってもよい。
特定の例では、(埋込み)フォールバックコントローラは、車両経路計画又は軌道生成を実行するように構成されていないが、フォールバックコントローラは、追加又は代替として、高レベルガイダンス計画(例えば、ウェイポイント、車両経路計画など)に基づいて命令(例えば、制御コマンド、経路、軌道など)を生成し、操縦/経路計画を修正する(例えば、障害物の検出に応答して完全停止を実行する)ように構成することができ、且つ/又は他の任意の適切な動作を実行するように構成することができる。
追加又は代替として、低レベル安全プラットフォーム及び/又はその中の1以上のコントローラは、特徴検出/分類、障害物軽減、経路トラバーサル、マッピング、センサ統合、グラウンドトゥルース判定などのコントローラの機能を支援する、及び/又は、他の任意の適切な機能を有効化する、ソフトウェアアルゴリズム及び/又は機械学習技術を実装するように機能することができる。コントローラは、自律エージェントのルーティング目標及び自律エージェントの選択された行動ポリシー及び/又は選択された軌道に従って、自律エージェントを制御するための制御信号を生成するために利用される任意の適切なソフトウェア及び/又はハードウェアコンポーネント(例えば、プロセッサ及びコンピュータ可読記憶装置)を含むことができる。
追加又は代替として、低レベル安全プラットフォームは、(例えば、冗長性のため、互いに通信する)複数の(埋込み)フォールバックコントローラを含むことができる。一例として、低レベル安全システムは、並列に配置された冗長フォールバックコントローラのアレイを含むことができ、その各々は、任意の適切な車両制御エンドポイントに冗長的に接続することができる。追加又は代替として、低レベル安全プラットフォームは、任意の適切なコントローラ(例えば、マイクロコントローラ)、プロセッサ(例えば、マイクロプロセッサ)、及び/又は任意の適切な機能を有する任意の適切なコンポーネントを含むことができる。
システム(及び/又はその低レベル安全プラットフォーム)は、任意選択的に、フォールバック事象(例えば、フォールバック条件の充足)を検出し、それに応答して、自律エージェント及び/又は低レベル安全プラットフォームをフォールバックモードに(例えば、公称動作モードから)移行するように機能する、ウォッチドッグ(別名、照合又は検証モジュール)を含むか、又はそれとともに(例えば、通信して)使用することができる。追加又は代替として、ウォッチドッグは、自律オペレーティングシステムの機能、一次軌道/制御コマンドが通信システムを介して通信していること、及び/又はガイダンス計画(例えば、一次及び/又はフォールバック)が規則/条件のセットを満たしていること、を検証するように機能することができる。しかしながら、システム及び/又は低レベル安全プラットフォームは、ウォッチドッグを除外することもでき、ウォッチドッグは、(例えば、コンピューティングシステム及び低レベル安全プラットフォームの両方から分離された)システムの別のノードで実装することができ、且つ/又は低レベル安全プラットフォームは、他の方法でフォールバックモードに移行することができる。
しかしながら、システムは、他の任意の適切な低レベル安全プラットフォームを含むことができる。
追加又は代替として、システムは、センサ融合システム、測位システム(例えば、センサシステムの位置センサを含む)、誘導システム及び/又は任意の適切なコンポーネントのいずれか又はすべてを含むことができる。ある態様では、例えば、センサ融合システムは、センサデータを合成及び処理し、且つ、マルチポリシー決定モジュールとともに、オブジェクトの存在、位置、分類及び/又は経路並びに自律エージェントの環境の特徴を予測する。さまざまな実施形態では、センサ融合システムは、これらに限定されないが、カメラ、LIDAR、レーダ、インフラストラクチャデバイス、リモートデータフィード(インターネットベースのデータフィード)及び/又は任意の数の他のタイプのセンサを含む、複数のセンサ及び/又はデータソースからのデータを組み込むように機能し得る。
測位システムは、センサデータを他のデータとともに処理して、環境に対する自律エージェントの位置(例えば、マップに対するローカル位置、道路の車線に対する正確な位置、車両の進行方向、速度など)を決定し、これによって、(例えば、後述するように)どのような行動ポリシーが自律エージェントによって利用可能であるかを決定するために機能することができる。誘導システムは、センサデータを他のデータとともに処理して、車両が辿るべき経路を決定することができる。
システムは、任意選択的に、1以上の遠隔テレオペレータ及び関連のコンポーネントを参照するテレオペレータプラットフォーム180(例えば、自律エージェント、コンピューティングシステム、自律エージェント及び/又はインフラストラクチャデバイスからテレオペレータに情報を表示するための出力デバイス、テレオペレータからの命令/コマンドを受信するための入力デバイスとの通信インタフェースなど)と連動することができる。テレオペレータプラットフォームは、テレオペレータからの入力を受信するように機能することができ、これは、車両のキュレーションされた行動ポリシーの決定において少なくとも部分的に使用され得る。
システム100の第1の態様では、システムが、車両のコンピューティングシステム及び車両通信ネットワークと通信する低レベル安全プラットフォームを含み、低レベル安全プラットフォームは、コンピューティングシステムから車両通信ネットワークに出力の第1のセット104(例えば、一次計画/軌道)を送信し、出力の第1のセット(及び/又は出力の第1のセットに関連するアクチュエータ制御コマンド)は、その後、車両のドライブバイワイヤ制御システムに送信され、トリガ条件が発生した場合(例えば、低レベルプラットフォームがコンピューティングシステムとの通信を喪失した場合、低レベル安全プラットフォームが、コンピューティングシステムによって送信された軌道及び/又は制御コマンド(又は他の任意の命令)の不整合及び/又はエラーを検出した場合など)に、取得した軌道を出力の第2のセット106から車両通信ネットワークに送信する。
システム100の第2の態様では、システムが、車両のコンピューティングシステム及び車両通信ネットワークと通信する低レベル安全プラットフォームを含み、コンピューティングシステムは、出力の第1のセット104(例えば、一次計画/軌道)を(例えば、公称動作モードで)車両通信ネットワークに送信し、その後、出力の第1のセット(及び/又は出力の第1のセットに関連するアクチュエータ制御コマンド)は、車両のドライブバイワイヤ制御システムに送信され(例えば、一次動作モードで生じ)、トリガ条件が発生した場合(例えば、低レベルプラットフォームがコンピューティングシステムとの通信を喪失した場合、低レベル安全プラットフォームがコンピューティングシステムによって送信された軌道及び/又は制御コマンドの不整合及び/又はエラーを検出した場合など)に、取得した軌道(又は他の任意の命令)を出力の第2のセット106から車両通信ネットワークに送信する(例えば、ここでは同等にフォールバック動作モードともいう二次動作モードで生じる)。
特定の例では、低レベル安全プラットフォームが、1又は複数の組込みコントローラを含む。
追加又は代替として、システム100は任意の他の適切なコンポーネントを含むことができる。
4.方法
図2に示すように、自律車両動作のための方法S200は、入力のセットを決定するステップS210と、入力のセットのいずれか又はすべてを記憶するステップS220と、入力のセットに基づいて自律エージェントの動作を支援するステップS230とを含む。この方法は、自律エージェントの制御及び/又は自律エージェントモードのフォールバック動作を容易にするように機能する。より好ましくは、システム100は、車両のコンピューティングシステム(例えば、自律コンピューティングシステム)が故障し、且つ/又は通信能力を失った場合に、車両の動作を可能にするように機能することができる。しかしながら、本方法は、他の方法で適切に機能することもできる。
図2に示すように、自律車両動作のための方法S200は、入力のセットを決定するステップS210と、入力のセットのいずれか又はすべてを記憶するステップS220と、入力のセットに基づいて自律エージェントの動作を支援するステップS230とを含む。この方法は、自律エージェントの制御及び/又は自律エージェントモードのフォールバック動作を容易にするように機能する。より好ましくは、システム100は、車両のコンピューティングシステム(例えば、自律コンピューティングシステム)が故障し、且つ/又は通信能力を失った場合に、車両の動作を可能にするように機能することができる。しかしながら、本方法は、他の方法で適切に機能することもできる。
実施態様では、方法S200は、追加又は代替として、記憶した入力を取得するステップ、入力を選択及び/又は検証するステップ、コンピューティングシステムとの通信が存在する場合に、第1の出力(例えば、第1の軌道)を通信ネットワークに送信するステップ、コンピューティングシステムとの通信が失われた場合に、第2の出力(例えば、アクチュエータ制御コマンドのセット、第2の軌道、ウェイポイントのセット、他の任意の命令など)を通信ネットワークに送信するステップ、及び/又は任意の適切な順序で実行される他の任意の適切な1又は複数のプロセスのうち、いずれか又はすべてを含むことができる。さらに追加又は代替として、方法200は、2019年7月17日に出願された米国出願第16/514,624号(米国特許第10,564,641号)、2019年7月8日に出願された米国出願第16/505,372号(米国特許第10,614,709号)、2019年8月14日に出願された米国出願第16/540,836号、並びに、2020年2月17日に出願された米国出願第16/792,780号のいずれか又はすべてに記載のプロセスのいずれか又はすべて、あるいは任意の順序で実行される他の任意の適切なプロセスを含むことができ、それら出願の各々は、この引用によりその全体が本明細書中に援用されるものとする。方法200は、上述したシステム100及び/又は他の任意の適切なシステムで実行することができる。
方法S200は、好ましくは、例えば、自律エージェントの選択ステップごとに(例えば、意思決定ステップごと、1秒あたり1回~100回、1秒あたり20回~30回、1秒あたり1回未満、100回超などの予め設定された頻度で)、且つ/又は制御ステップごとに(例えば、アクチュエータ制御出力生成ステップごとに)、自律エージェントの動作全体を通して連続的且つ/又は繰り返し実行される。追加又は代替として、方法S200及び/又はその中の任意のサブ要素は、予め設定された頻度で、トリガ(例えば、自律エージェント環境の変化の検出、自律エージェントの動作条件の変化の検出、テレオペレータの入力)に応答して、ランダムな時間間隔で、且つ/又は他の任意の適切な時点に実行することができる。
4.1 方法-入力のセットの決定S210
方法200は、入力のセットを決定するステップS210を含み、これは、車両制御のための入力を決定するように機能し、且つ/又はエージェントのための命令(例えば、軌道、経路、ウェイポイントのセット、制御コマンドなど)を生成及び/又は選択するための情報を決定するように機能する。
方法200は、入力のセットを決定するステップS210を含み、これは、車両制御のための入力を決定するように機能し、且つ/又はエージェントのための命令(例えば、軌道、経路、ウェイポイントのセット、制御コマンドなど)を生成及び/又は選択するための情報を決定するように機能する。
S210は、好ましくは、方法200全体を通して連続的に(例えば、エージェントがルートを通過する全体を通して連続的に)実行されるが、追加又は代替として、(例えば、上述したように)任意の適切な1又は複数の時点で実行することができる。入力のセットの各々は、好ましくは、低レベル安全プラットフォームで受信され、コンピューティングシステムで生成されるが、追加又は代替として、任意の適切な1又は複数のコンポーネント(例えば、コンピューティングシステム)で受信され、且つ/又は任意の適切な1又は複数のコンポーネント(例えば、低レベル安全プラットフォーム)によって生成されることができる。
実施態様では、入力のセットを決定するステップS210が、一次計画を決定すること、フォールバック計画を決定すること、及びセンサ入力のセットを決定することを含むことができる。
S210は、一次計画を決定することを含むことができ、これは、任意選択的に、コンピューティングシステムで一次計画を生成すること、及び/又は低レベル安全プラットフォームで(例えば、コンピューティングシステムの出力の第1のセット104として)一次計画を受信することを含むことができる。
一次計画は、本明細書では、出力の第1のセット104を含むことができ、且つ/又は出力の第1のセットと同等に呼ばれることがあり、この一次計画は、エージェントのために選択されたルート(例えば、動作軌道、動作ウェイポイント)をエージェントが辿るように決定された軌道(又は他の任意の命令)、車両制御コマンド(例えば、軌道の第1のセットの軌道と関連)、及び/又は他の任意の適切な命令若しくは出力のうち、いずれか又はすべてを含むことができ、且つ/又は示すことができる。選択された一次計画は、好ましくは、自車両が1又は複数の固定ルートに沿って走行する(例えば、シャトルルートに沿って乗客を運ぶ)ように構成された使用事例などでは、予め設定されたルート(例えば、固定ルート)に沿ったものとなるが、追加又は代替として、動的に決定されるルート及び/又は任意の組合せとすることができる。
一次計画は、好ましくは、(例えば、それらが生成されたときに、予め設定された頻度で、選択サイクルごとに)、コンピューティングシステム及び/又は車両通信ネットワークからの一連の出力(例えば、軌道に従って決定される制御コマンド)として車両を動作させるために車両制御システムで受信され、出力の各々は、エージェントの最適及び/又はルーチンの軌道を(例えば、エージェントのルートに基づいて、自律コンピューティングシステムにより決定されるように)示し、且つ/又はそれに関連付けられる。追加又は代替として、一次計画は、任意選択的に、(例えば、車両制御システムに送信される前に)低レベル安全プラットフォームで受信することができる。
一次計画は、好ましくは、公称動作モードにおいて(例えば、コンピューティングシステムで、低レベル安全プラットフォームで、低レベル安全プラットフォームがコンピューティングシステムと通信している間に、コンピューティングシステムが動作している間に)、連続的に(例えば、予め設定された頻度で、選択サイクルごとに、それが生成されるときなどに)決定されるが、追加又は代替として、任意の適切な1又は複数の時点で、且つ/又は任意の適切なトリガに応答して決定及び/又は受信されることができる。
一次計画は、好ましくは、システムからの入力と、センサのセット(例えば、センサスイート)からのセンサ入力、エージェントのための選択されたルート、マップ(例えば、選択されたルートを示すマップ、他の利用可能なルートを示すマップ、すべての可能なルートを示すマップなど)、行動ポリシー(例えば、マルチポリシー意思決定モジュールに従って決定された行動ポリシー)、及び/又は他の任意の適切な入力のうちのいずれか又はすべてとに基づいて、コンピューティングシステムの出力の第1のセット(及び/又は出力の第1のセットに関連付けられたアクチュエータ制御コマンド)として決定される。追加又は代替として、一次計画は、自車状態推定と、コンピューティングシステム及び/又はその中の自律コンピューティングサブモジュールの(例えば、自律エージェントの環境におけるエージェント及び/又はオブジェクトのセットを特定する)(現在の)環境表現とに基づいて決定され得る。追加又は代替として、出力の第1のセットは、任意の適切な入力に基づいて他の方法で決定され得る。一例として、一次計画は、2019年7月17日に出願された米国出願第16/514,624号及び2020年2月17日に出願された米国出願第16/792,780号に記載のシステム及び/又は方法に従って決定され得るものであり、それら出願の各々は、この引用によりその全体が本明細書中に援用されるものとする。
好ましい実施例では、一次計画が低レベル安全プラットフォームに送信されない。
代替例では、S210が、低レベル安全プラットフォームで一次計画を受信することを含むことができる。
しかしながら、一次計画は、S210の一部として他の適切な方法で決定することができる。
S210は、フォールバック計画(同等にここでは二次計画という)を決定することを含むことができ、これは、一次計画が利用できない場合に、且つ/又はフォールバックイベントの検出に応答して、利用することができる。フォールバック計画は、好ましくは、コンピューティングシステムの高レベル安全プラットフォーム(例えば、コンピューティングシステムのフォールバックプランナ)で生成され、低レベル安全プラットフォームに(例えば、出力の第1のセットが提供されないコンピューティングシステムの出力の第2のセットとして、出力の第1のセットも提供されるコンピューティングシステムの出力の第2のセットなどとして)提供される。フォールバック計画は、好ましくは、一次計画と同時期に(例えば、並行して、連続して、重複する期間に、生成の所定の時間閾値内に、コンピューティングシステムで受信した入力の同じセットなどに基づいて)決定され、その結果、一次計画(及び/又は対応する動作軌道)とフォールバック計画(及び/又は対応するフォールバック軌道)のいずれかを、関連付けられた時点及び/又は時間の範囲でエージェントに対して実施することができる。追加又は代替として、定期的に(例えば、一次計画と同じ頻度で、一次計画に対して異なる頻度で)、一次計画と同期して、一次計画と非同期に、且つ/又は他の任意の適切なタイミングで、フォールバック計画を決定することができる。フォールバック計画は、任意選択的には、低レベル安全プラットフォームにおいて、出力の第1のセットの関連する軌道と(例えば、同じデータパケットにおいて)同時期に(例えば、並行して;連続して;30秒、20秒、10秒、5秒、1秒、0,5秒、100ミリ秒、50ミリ秒、10ミリ秒又は1ミリ秒などよりも短い予め設定された時間閾値内で)受信され得るが、追加又は代替として、任意の適切な時点で低レベル安全プラットフォームで受信され得る。代替的には、フォールバック計画は、低レベル安全プラットフォームで、一次計画のない場合に受信され得る。
実施態様では、フォールバック計画を決定することが、ナビゲーショナルエッジのセットを決定すること、ナビゲーショナルエッジを分類すること、及びナビゲーショナルエッジの分類に応じて、自車両の状態及びナビゲーショナルエッジに基づいてフォールバック計画を生成することを含むことができる。
ナビゲーショナルエッジ(同等にここでは、状態及び/又は安全状態という)は、好ましくは、自車両が停止する(例えば、安全に停止する、少なくとも所定の時間停止する、停止後に道路に再進入する、安全に乗客を解放する)ことができる位置及び/又は他の占有することができる位置(例えば、マップで規定される位置)を指す。ナビゲーショナルエッジは、(例えば、マップ上の既知の静的位置に)予め設定され、動的に決定され(例えば、車両からの固定距離で、コンピューティングシステムの現在の環境表現に基づいて、動的に決定され、ニューラルネットワークを使用して動的に生成され)、遠隔エンドポイントから受信され(例えば、テレオペレータプラットフォームなどから受信され)、予め定められた規則/発見的手法のセットに従って決定され、且つ/又は他の方法で適切に決定されることができる。ナビゲーショナルエッジは、好ましくは、環境のインフラストラクチャ境界(例えば、車両の現在の車線の両側、高速道路の路肩、交差点コーナの頂点、現在の道路と交差する車道又は側道、駐車場、駐車スポットなど)に沿ったナビゲーショナルターゲット(例えば、点、領域、線分など)であるが、他の任意の適切なエッジ又はターゲットであってもよい。特定の例では、ナビゲーショナルエッジは、車両から予め設定された距離のセットにある現在の車線及び/又は道路のエッジで評価することができ、探索空間を最小限に抑えることによって必要な演算を減らすことができる。
ナビゲーショナルエッジは、現在の環境表現及び/又は現在の車両状態に基づいて、スコア付け及び/又は分類(例えば、利用可能としてタグ付け)され得る。一例として、車両が、過度に交通を妨げる(例えば、車が片側及び/又は両側を通り過ぎるように車線を完全に塞ぐ、所定の閾値を超えたブレーキなどをかける)ことなく、ナビゲーショナルエッジで減速、停止、及び/又は保持パターンに入ることができる場合、ナビゲーショナルエッジを「利用可能」であると考えることができる。一例として、ナビゲーショナルエッジは、それが交差点内(及び/又は交差点から予め設定された最小距離内、図9Aに示す「dintersection」内など)にある場合、別のエージェントがそれを占有する場合(例えば、道路の対応領域に対する意図を有する場合)、横断歩道内に及び/又は横断歩道の最小距離内(例えば、平均的な車両の停止距離内、監視された車両の停止距離内、車両の長さ内、10~30フィート内、50フィート内、道路の制限速度及び最も極端な制動加速度に基づいて計算された停止距離内、図9Aに示すように「daftercrosswalk」又は「dbeforecrosswalk」内など)にある場合(例えば、それにより、横断歩道に接近する別の車両が、例えば図9Bに示すように、横断歩道の視界が限られている場合)、踏切又は他のランドマーク(例えば、バス停)内及び/又はその閾値距離内(例えば、10~30フィート、50フィート内など)にある場合、自車両又は他の車両が環境を安全に操縦するために制動閾値及び/又は停止距離を超える必要がある場合、他の車両(例えば、他の自律車両)がエッジ及び/又は領域を占有しているか又は占有を計画している場合、及び/又はそれが最小通過クリアランスを満たさない場合に、「利用不可能」であるとして却下及び/又は分類することができる。
ナビゲーショナルエッジは、分類モデル(例えば、ヒューリスティック分類器、決定木など)に基づいて、且つ/又はマルチポリシー評価のセット、静的制約、動的制約、衝突制約(例えば、環境表現における1又は複数のエージェントが、ナビゲーショナルエッジに意図を持ち、且つ/又は衝突をもたらす可能性が高い状態推定に関連付けられ、1又は複数のオブジェクトが交差する)、車両の運動学的制約(例えば、アクチュエータの限界)、最小距離制約(例えば、車両への近接性、現在の車両速度の関数として)、及び/又は他の任意の適切な評価/基準を使用して、さらに分類及び/又は選択することができる。
実施態様では、その例が図6に示されているが、高レベル安全プラットフォームのフォールバックプランナは、(例えば、環境内の他のエージェントが計画期間内(例えば、フォールバック計画の生成と対応する操縦の実行との間)で静止していると仮定する)初期利用可能状態の分類に基づいて、状態を利用可能として分類し、各ナビゲーショナルエッジ(例えば、ナビゲーショナルエッジで終了する現在の車両姿勢間の多項式経路)に対するフォールバック計画を(例えば、多項式経路、ウェイポイントのセットなどとして)生成し、得られた操縦/軌道の動的比較に基づいてフォールバック計画を選択することができる。一例として、フォールバックプランナは、最大制動制約及び/又は最大ステアリング制約を超えないフォールバック計画を選択することができる。
フォールバック計画(例えば、コンピューティングシステムによって生成される)は、ウェイポイント、運動学的軌道、位置目標、経路(例えば、滑らかな経路、多項式経路など)などの高レベルのガイダンス、低レベルの制御コマンド(例えば、軌道、アクチュエータ制御命令など)、及び/又は他の任意の適切な情報を含むことができる。好ましい態様のセットでは、フォールバック計画が、車両の現在位置を識別されたナビゲーショナルエッジに接続するように設計された多項式フォールバック軌道に基づいて(例えば、図6のフォールバック計画評価ブロックにおいて)決定されるウェイポイントのセットを含む。この好ましい態様のセットの特定の例のセットでは、一次計画が、フォールバック計画とは異なるデータタイプ(例えば、ウェイポイントのセットではなく、軌道及び/又は経路など)である。追加又は代替として、一次計画及びフォールバック計画は、同じ1又は複数のデータタイプであってもよい。
特定の例では、フォールバック計画(フォールバック操作)は、利用可能な状態の近傍側エッジに寄せるための多項式(例えば、7次多項式、7次未満の多項式、7次より大きい多項式、1次~10次の多項式、5次~10次の多項式など)のシーケンスとして生成することができ、近傍側は自車両と同じ交通方向を有する側(左又は右)である。
実施態様では、フォールバック計画が、任意選択的に、フォールバック計画(例えば、安全軌道、安全軌道に関連する制御コマンドなど)を実施するための限定的な使用を規定する有効期限パラメータ及び/又は条件を含むか、又はそれに関連付けることができる。これは、好ましくは、ユーザの現在の環境を正確に表していない出力(例えば、コンピューティングシステムがあまりにも昔に故障した場合)の使用を防止するように機能する。追加又は代替として、有効期限パラメータは、他の任意の適切な機能を実行することができる。有効期限パラメータは、好ましくは、出力の第2のセットの出力(同等にここでは第2の出力と呼ぶ)を(例えば、生成時から、受信時などから)使用することができる閾値時間及び/又は距離を含み、且つ/又は規定するが、追加又は代替として、複数のパラメータ及び/又は他の任意の適切なパラメータを規定することができる。代替的には、フォールバック計画は、有効期限パラメータを除外することもできる(例えば、フォールバック計画が、後のタイムステップにおけるフォールバック計画のその後の決定を介して置き換えられる場合及び/又は更新される場合など)。
しかしながら、フォールバック計画は、他の方法で適切に決定することもできる。
S210は、任意選択的には、動作計画(例えば、一次計画及び/又はフォールバック計画)を検証するために使用することができ、且つ/又はフォールバック計画に従って自律エージェントの誘導を容易にすることができるセンサ入力のセットを決定することを含むことができる。センサ入力は、好ましくは、センサスイートによって生成され、(例えば、直接、車両通信ネットワークによって、コンピューティングシステムを経由せずに)低レベル安全プラットフォームで受信される。
センサ入力のセットは、軌道の実施及び/又は検証(例えば、安全軌道がいかなるオブジェクトとも衝突しないことの確認)、軌道の選択、新しい軌道の決定(例えば、利用可能な軌道が空のセットである場合)のいずれか又はすべてに使用することができ、且つ/又は他の任意の適切な処理を実行するように機能することができる。低レベル安全プラットフォームで受信されるセンサ入力のセットは、好ましくは、センサの全セットのサブセット(例えば、エンコーダ及びIMUのみ、LIDARセンサの特定のサブセットなどのセンサの特定のビューのみなど)から受信されるが、追加又は代替として、センサシステム全体(例えば、コンピューティングシステムから低レベル安全プラットフォームへのセンサ入力のセットのリダイレクト時など、すべてのセンサ、すべてのタイプのセンサ)、及び/又は他の任意のセンサから受信することができる。特定の例では、低レベル安全プラットフォームによって受信されるセンサ入力のセットは、オドメトリセンサ入力(例えば、GPS速度及び/又は慣性センサ測定値)、飛行時間センサ入力(例えば、Lidar、レーダ、「バンパ」センサなど)、及び/又は他の任意の適切な入力を含むことができる。さらに追加又は代替として、低レベル安全プラットフォームは、センサ情報がない場合(例えば、フィードバック制御が下流の制御エンドポイント及び/又は計算ノードなどに委ねられる場合)に動作することができる。センサ入力のセットは、フォールバック計画とは無関係に(例えば、連続的に)、フォールバック計画とともに、トリガ(例えば、フォールバック動作モードに入ること)に応答して、連続的に、且つ/又は他の任意の適切なタイミングで(例えば、上述したように)受信することができる。
好ましい態様では、低レベル安全プラットフォームが、エージェントの位置(例えば、位置、姿勢など)を特定するように構成されたセンサからの入力、例えば、1又は複数のエンコーダ及び/又は慣性測定ユニット(IMU)からの入力を受信する。
第1の態様では、S210が、低レベル安全プラットフォームにおいて、フォールバック計画(例えば、ウェイポイント及び/又は対応するフォールバック軌道)と、任意選択的に1又は複数のセンサ入力とを受信することを含む。
第2の態様では、S210が、低レベル安全プラットフォームにおいて、一次計画(例えば、動作軌道)及びフォールバック計画(例えば、ウェイポイント及び/又は対応するフォールバック軌道)と、任意選択的に1又は複数のセンサ入力とを受信することを含む。
実施態様では、入力が、コンピューティングシステムによって決定されるように、自車両姿勢推定(例えば、位置特定された自車両基準フレーム)及び/又は環境表現(例えば、エージェント/オブジェクトのセット;自車両基準フレームにおいて)を追加的に含むことができる。
しかしながら、入力は、他の方法で適切に決定及び/又は受信することができる。
4.2 方法-入力のセットのいずれか又はすべてを記憶S220
方法S200は、入力のセットのいずれか又はすべてを記憶するステップS220を含むことができ、これにより、コンピューティングシステムが故障した場合に実施することができる持続的に利用可能なフォールバック計画(及び/又はそれに関連するフォールバック軌道)を維持するように機能する。
方法S200は、入力のセットのいずれか又はすべてを記憶するステップS220を含むことができ、これにより、コンピューティングシステムが故障した場合に実施することができる持続的に利用可能なフォールバック計画(及び/又はそれに関連するフォールバック軌道)を維持するように機能する。
S220は、好ましくは、フォールバック計画を記憶することを含むが、追加又は代替として、他の入力のいずれか又はすべてを記憶することを含むことができる。フォールバック計画は、好ましくは、低レベル安全システムのメモリ及び/又はシステムのローカルメモリ(例えば、一次コンピューティングシステムに依存せずにアクセス可能なメモリ)内に記憶されるが、フォールバック計画は、追加又は代替として、リモートで記憶及び/又は検証されることができ、且つ/又は他の方法で適切に記憶されることができる。
第1の態様のセットでは、有効期限パラメータが、さらに好ましくは、その関連するフォールバック計画(例えば、アクチュエータ制御コマンド、安全軌道など)とともに記憶されるが、追加又は代替として、記憶されない、別々に記憶される、且つ/又は他の方法で記憶されることができる。
第2の態様のセットでは、フォールバック計画は、(例えば、コンピューティングシステム及び/又は通信インタフェースからの)後続のフォールバック計画の受信時及び/又は検証時に更新及び/又は置換され得る。
フォールバック計画(及び/又は他の任意の入力)は、好ましくは一時的に記憶(例えば、短期記憶領域にキャッシュ)されるが、追加又は代替として、永続的に記憶され、記憶サイト(例えば、リモートサーバ)に送信され、且つ/又は他の方法で記憶及び/又は使用されることができる。S220は、任意選択的に、予め設定された数(例えば、2、3、4、5、5超など)の出力、予め設定された記憶量、それぞれ過去の第2の出力を新規の第2の出力に置き換えること、有効期限パラメータの満了、及び/又は他の任意の適切な情報のいずれか又はすべてに基づいて、出力の第2のセットの過去の計画/軌道を削除及び/又は置換することを含むことができる。いくつかの態様では、S220が、1又は複数の閾値条件(例えば、上限時間閾値、上限距離閾値、オドメトリ不確実性閾値など)のセットを満たすために、記憶した有効期限パラメータのいずれか又はすべてをチェックすること(例えば、定期的にチェックすること、安全軌道を受信するごとにチェックすることなど)を含み、閾値条件が満たされる場合に、関連する第2の出力を方法の後続プロセスでの検討から削除及び/又は除外することができる。
第1の態様では、S220が、低レベル安全プラットフォームに関連するストレージ(例えば、組込みコントローラのストレージ)に出力の第2のセットの各々を記憶することを含み、任意選択的には、出力の第2のセットの過去のバージョンを、1又は複数のトリガに応答してストレージから削除することができる。
しかしながら、入力は、他の方法で適切に記憶することができる。
4.3 方法-入力のセットに基づく自律エージェントの動作の容易化S230
方法S200は、入力のセットに基づいて自律エージェントの動作を容易にするステップS230を含むことができ、これは、自律エージェントのコンピューティングシステムの故障及び/又は通信の喪失などの、すべての又はほぼすべてのタイプのエージェント故障において回復することができる自律エージェントの動作を可能にするように機能する。追加又は代替として、S230は、自律エージェントがルートを辿ることを可能にし、自律エージェントが、現在の(及び/又はごく最近の)環境及び/又はエージェントの行動/動作(例えば、交差点での左折に近づくこと、高速道路の右車線で運転すること、停止信号に近づくことなど)について構成される特別なフォールバック計画及び/又は制御コマンドのセットを実施することを可能にするように機能することができ、且つ/又は他の任意の適切な機能を実行することができる。S230は、好ましくは、エージェントのドライブバイワイヤ制御システムを介して実行されるが、追加又は代替として、任意の適切な1又は複数の制御システムを使用して実行することもできる。
方法S200は、入力のセットに基づいて自律エージェントの動作を容易にするステップS230を含むことができ、これは、自律エージェントのコンピューティングシステムの故障及び/又は通信の喪失などの、すべての又はほぼすべてのタイプのエージェント故障において回復することができる自律エージェントの動作を可能にするように機能する。追加又は代替として、S230は、自律エージェントがルートを辿ることを可能にし、自律エージェントが、現在の(及び/又はごく最近の)環境及び/又はエージェントの行動/動作(例えば、交差点での左折に近づくこと、高速道路の右車線で運転すること、停止信号に近づくことなど)について構成される特別なフォールバック計画及び/又は制御コマンドのセットを実施することを可能にするように機能することができ、且つ/又は他の任意の適切な機能を実行することができる。S230は、好ましくは、エージェントのドライブバイワイヤ制御システムを介して実行されるが、追加又は代替として、任意の適切な1又は複数の制御システムを使用して実行することもできる。
S230は、一次モード(例えば、一次計画が実施される)とフォールバックモード(例えば、フォールバック計画が実施される)との間でシステム(及び/又はその低レベル安全プラットフォーム)を選択的に動作させること(動作モードに基づいて通信ネットワークに出力のセットを送信すること)を含むことができ、一次モードでは、S230が、(例えば、S210で決定した)一次計画に基づいて車両の動作を容易にし、フォールバックモードでは、S230が、記憶したフォールバック計画に基づいて車両の動作を支援する。
S230は、低レベル安全プラットフォームのウォッチドッグ(別名、検証モジュール)などによる、1又は複数のフォールバック条件の決定に基づいて、一次モードとフォールバックモードとの間を移行することを含むことができる。フォールバック条件は、コンピューティングシステムからの入力の欠如を検出することに応答して(例えば、到着予定時刻が経過した後に、予め設定された期間が経過した後などに)決定され、これは、コンピューティングシステムが故障したことを示すことができる。追加又は代替として、(例えば、警告及び/又はメッセージなどに応答して、センサシステム及び/又は健全性モニタのセットから;出力104及び/又は106の健全性を監視するウォッチドッグなどを介して)コンピューティングシステムが故障したという能動的な判定及び/又はその出力が信頼できないという能動的な判定に基づいて、別のシステムコンポーネント(例えば、センサシステム)が故障したことに応答して、1又は複数のデータの不整合を(例えば、上流のデータ源において)検出したことに応答して、特定の状況及び/又は環境(例えば、近くで検出された救急車及び/又は消防車などの緊急車両、故障及び/又はエッジケースなどの異常な状況など)に応答して、且つ/又は、他の任意の適切な時点において、且つ/又は、エージェントが最小リスク条件に達するための他の任意の動機付けを与える条件下において、フォールバック条件を決定することができる。
実施態様では、(例えば、コンピューティングシステム、低レベル安全プラットフォームなどによって生成された)一次計画又はフォールバック計画に対応する命令(例えば、軌道、ウェイポイントのセットなど)を、エージェントの制御システム(例えば、ドライブバイワイヤシステム)、及び/又はシステムの他の任意の適切なコンポーネントに送信することができる。命令は、好ましくは、出力の第1のセット104(例えば、一次計画、軌道など)又は出力の第2のセット106(例えば、フォールバック計画、ウェイポイントのセットなど)に関連する計画のいずれかであるが、追加又は代替として、異なる計画(例えば、出力の第2のセットの軌道に基づいて決定される修正軌道)、他の制御コマンド、他の情報、及び/又は自車両をナビゲーションする他の任意の適当な命令を含むことができる。
ある態様のセットでは、その一例が図8に示されているが、S230が、コンピューティングシステムとの通信が存在することを(例えば、ウォッチドッグで)検出し、それに応答して、出力の第1のセットの命令(例えば、最新の軌道)を通信ネットワークに送信することにより、システムを第1の動作モードで制御することを含むことができ、これは、コンピューティングシステムが動作しているときにエージェントのルートに沿った通常の動作軌道を(通信ネットワークを介して)制御システムに提供するように機能する。S230は、さらに、コンピューティングシステムとの通信が失われたことを検出し、それに応答して、出力の第2のセット(例えば、フォールバック計画)に関連する命令(例えば、ウェイポイントのセットなど)を通信ネットワークに送信することによってフォールバック動作モードでシステムを制御することとを含むことができ、これは、緊急事態(例えば、コンピューティングシステム障害)が発生した場合に、軌道及び/又は位置(例えば、ウェイポイント)及び/又は車両を安全に動作させる(例えば、車両を路肩に停車させる、車両を路肩に寄せられない場合に運転を継続する、動作を終了させてから路肩に寄せる又は停車させる、コンピューティングシステムが動作可能になるまで安全に動作させる、安全状態/ナビゲーショナルエッジなどに到達する)ように構成された制御コマンドを制御システムに提供するように機能する。追加又は代替として、S230は、(例えば、その関連する有効期限パラメータに基づいて、障害物検出ルーチンなどに基づいて)出力の第2のセットの選択された出力が安全に実施できることを保証するように機能することができ、且つ/又は他の任意の適切な機能を実行することができる。
いくつかの態様では、フォールバックモードでの動作を支援することは、任意選択的には、直近の第2の出力(例えば、ウェイポイントのセット、制御コマンドのセット、安全軌道など)の有効期限パラメータをチェックすることを含むことができ、直近の第2の出力が有効期限切れでない場合、対応する軌道が通信ネットワークに渡される。
追加又は代替として、S230は、任意選択的には、(例えば、エージェントが障害物に遭遇しないことを保証するためのセンサ入力に基づいて)第2の出力を検証すること、(例えば、センサ入力に基づいて)第2の出力を修正すること、(例えば、センサ入力に基づいて、すべての安全軌道が期限切れになった場合など)新しいウェイポイントのセット及び/又は軌道及び/又は制御コマンドのセットを生成すること、及び/又は他の任意のプロセスを含むことができる。
追加又は代替として、フォールバックモードでの動作を支援することは、複数の実行可能な第2の出力オプション(例えば、複数の軌道が期限切れでない場合に複数の安全軌道)のなかから選択すること、及び/又は他の任意の適切なプロセスを含むことができる。
さらに追加又は代替として、フォールバックモードでの動作を支援することは、(例えば、上述したように)センサ入力のセットの受信をトリガすることなど、他の任意のプロセスをトリガすることを含むことができる。いくつかの態様では、例えば、コンピューティングシステムの故障を検出することに応答して、低レベル安全プラットフォームは、コンピューティングシステムで通常受信されるセンサ入力及び/又はこれらのセンサ入力のサブセット(例えば、LIDARセンサの一部のサブセット、エージェントの関連ビューのみからのセンサなど)が、低レベル安全プラットフォームに追加的に受信及び/又は転送されるのをトリガすることができる。追加又は代替として、S230は、センサ入力がないとき、センサ入力をすでに受信している場合(例えば、センサ入力を継続的に受信している場合)に、実行することができ、且つ/又はS230は、他の任意の適切なプロセスを含むことができる。
S230は、追加又は代替として、他の任意の適切なプロセスを含むことができ、且つ/又は他の方法で適切に実行することができる。
しかしながら、この方法は、他の任意の適切な要素を含むことができ、且つ/又は他の方法でフォールバック計画及び制御を支援することができる。
4.5 方法-バリエーション
方法200の第1の態様では、(例えば、図2に示すように、図3A及び図3Bなどに示すように)、当該方法が、低レベル安全プラットフォームにおいて、コンピューティングシステムから入力のセットを受信するステップであって、入力のセットが、第2の出力(例えば、安全軌道、最も近いナビゲーショナルエッジに到達するように構成されたウェイポイントのセット、ウェイポイントのセットに基づいて決定された未処理のアクチュエータ制御コマンドのセットなど)、及び任意選択的に第2の出力に関連する有効期限パラメータを含む、ステップと、第2の出力及びその有効期限パラメータを記憶するステップと、コンピューティングシステムとの通信が失われた場合及び/又は別のトリガが起動された場合に、第2の出力を通信ネットワークに送信するステップと、通信ネットワークを介して制御システム(例えば、ドライブバイワイヤ制御システム)に送信された出力に基づいて自律エージェントを動作させるステップとを含む。
方法200の第1の態様では、(例えば、図2に示すように、図3A及び図3Bなどに示すように)、当該方法が、低レベル安全プラットフォームにおいて、コンピューティングシステムから入力のセットを受信するステップであって、入力のセットが、第2の出力(例えば、安全軌道、最も近いナビゲーショナルエッジに到達するように構成されたウェイポイントのセット、ウェイポイントのセットに基づいて決定された未処理のアクチュエータ制御コマンドのセットなど)、及び任意選択的に第2の出力に関連する有効期限パラメータを含む、ステップと、第2の出力及びその有効期限パラメータを記憶するステップと、コンピューティングシステムとの通信が失われた場合及び/又は別のトリガが起動された場合に、第2の出力を通信ネットワークに送信するステップと、通信ネットワークを介して制御システム(例えば、ドライブバイワイヤ制御システム)に送信された出力に基づいて自律エージェントを動作させるステップとを含む。
方法200の第2の態様では、(例えば、図2に示すように、図3A及び図3Bなどに示すように)、当該方法が、低レベル安全プラットフォームにおいて、コンピューティングシステムから入力のセットを受信するステップであって、入力のセットが、第1の出力(例えば、動作軌道)、第2の出力(例えば、安全軌道、未処理のアクチュエータ制御コマンドのセットなど)、及び第2の出力に関連する有効期限パラメータを含む、ステップと、第2の出力及びその有効期限パラメータを記憶するステップと、コンピューティングシステムとの通信が存在する場合に、第1の出力を通信プラットフォームに送信するステップと、コンピューティングシステムとの通信が失われた場合及び/又は別のトリガが起動された場合に、第2の出力を通信ネットワークに送信するステップと、通信ネットワークを介して制御システム(例えば、ドライブバイワイヤ制御システム)に送信された出力に基づいて自律エージェントを動作させるステップとを含む。
代替的な実施形態は、コンピュータ可読命令を記憶する非一時的なコンピュータ可読媒体において、上記方法及び/又は処理モジュールを実装する。命令は、コンピュータ可読媒体及び/又は処理システムと統合されたコンピュータ実行可能コンポーネントによって実行され得る。コンピュータ可読媒体は、RAM、ROM、フラッシュメモリ、EEPROM、光学デバイス(CD又はDVD)、ハードドライブ、フロッピードライブ、非一時的なコンピュータ可読媒体、又は任意の適切なデバイスなど、任意の適切なコンピュータ可読媒体を含むことができる。コンピュータ実行可能コンポーネントは、CPU、GPU、TPUS、マイクロプロセッサ又はASICなどの、非一時的なコンピュータ可読媒体に接続されたコンピューティングシステム及び/又は処理システム(例えば、1又は複数のコロケーション又は分散、リモート又はローカルプロセッサを含む)を含むことができるが、命令は、代替又は追加として任意の適切な専用ハードウェアデバイスによって実行することができる。
システム及び/又は方法の実施形態は、様々なシステムコンポーネント及び様々な方法プロセスのあらゆる組合せ及び順列を含むことができ、本明細書に記載の方法及び/又はプロセスの1又は複数のインスタンスは、非同期的に(例えば、順次)、同時期に(例えば、同時に、並行してなど)、又は他の任意の適切な順序で、且つ/又は本明細書に記載のシステム、要素及び/又はエンティティの1又は複数のインスタンスによって且つ/又はそれらを使用して、実行することができる。以下のシステム及び/又は方法のコンポーネント及び/又はプロセスは、上述した出願に開示のシステム及び/又は方法のすべて又は一部とともに、それらに加えて、それらに代えて、又は他の方法で統合して、使用することができ、それら出願の各々は、この引用によってその全体が援用されるものとする。
当業者は、前述した詳細な説明並びに図面及び特許請求の範囲から認識されるように、以下の特許請求の範囲で定義される本発明の範囲から逸脱することなく、本発明の好ましい実施形態に修正及び変更を加えることができる。
Claims (20)
- 車両の自律フォールバック方法であって、
・自律車両に搭載されたセンサスイートからのセンサデータと、前記自律車両の自車両状態とを含む入力データを受信するステップと、
・前記入力データに基づいて
-自律コンピューティングシステムで一次計画を決定するステップと、
-二次計画を決定するステップであって、
・ナビゲーショナルエッジ候補のセットを決定すること、
・ナビゲーショナルエッジ候補を利用可能であると分類すること、並びに、
・ナビゲーショナルエッジを利用可能であると分類することに基づいて、前記自車両状態及びナビゲーショナルエッジ候補に基づいて二次計画を生成することを含む、ステップと、
・前記二次計画を、組込みコントローラに結合されたメモリに記憶するステップと、
・前記一次計画に基づいて車両を自律的に制御するステップと、
・前記一次計画に基づいて車両を自律的に制御している間に、トリガ条件の充足を判定し、それに応じて、前記組込みコントローラで前記二次計画に基づいて車両を自律制御するステップとを備えることを特徴とする方法。 - 請求項1に記載の方法において、
前記一次計画に基づいて車両を制御している間に、前記二次計画の期限切れ条件の充足に基づいて前記二次計画を更新するステップをさらに含むことを特徴とする方法。 - 請求項1に記載の方法において、
前記二次計画に基づいて前記車両を制御している間に、
・オドメトリを使用して自車両の姿勢を推定するステップと、
・前記自車両の姿勢に基づいて、二次センサのセットにより、前記二次計画に対応する車両の経路に沿って障害物を検出するステップと、
・障害物の検出に基づいて、完全停止を実行するステップとをさらに含むことを特徴とする方法。 - 請求項3に記載の方法において、
前記二次センサのセットが、車両センサスイートの飛行時間センサを含むことを特徴とする方法。 - 請求項1に記載の方法において、
利用可能である状態の分類が、マップに基づくものであることを特徴とする方法。 - 請求項1に記載の方法において、
前記入力データが、エージェントのセットを識別する環境表現を含み、前記利用可能である状態の分類が、前記セットの各エージェントに対応する占有予測に基づくものであることを特徴とする方法。 - 請求項6に記載の方法において、
各エージェントが、計画範囲内で静止していると仮定されることを特徴とする方法。 - 請求項1に記載の方法において、
利用可能である状態の分類が、自車両の寸法及び最小通過クリアランスの充足に基づくものであることを特徴とする方法。 - 請求項1に記載の方法において、
前記ナビゲーショナルエッジ候補のセットが、自車両位置に対する距離の予め設定されたセットで決定されることを特徴とする方法。 - 請求項1に記載の方法において、
衝突制約、運動学的制約及び最小距離制約のうちの少なくとも1つに基づいて、複数の利用可能なナビゲーショナルエッジのなかからナビゲーショナルエッジを選択するステップをさらに含むことを特徴とする方法。 - 請求項1に記載の方法において、
前記トリガ条件が、前記自律コンピューティングシステムと検証エンドポイントとの間の通信を失うことを含むことを特徴とする方法。 - 請求項11に記載の方法において、
前記検証エンドポイントが、車両通信ネットワークノードを含むことを特徴とする方法。 - 請求項1に記載の方法において、
前記組込みコントローラが、前記自律コンピューティングシステム及び車両通信ネットワークに通信可能に接続された低レベル安全プラットフォーム内にあることを特徴とする方法。 - 請求項13に記載の方法において、
前記一次計画に基づいて車両を自律制御することが、前記低レベル安全プラットフォーム及び前記車両通信ネットワークを介して車両制御システムに軌道を提供することを含むことを特徴とする方法。 - 自律車両のためのシステムであって、
・車両センサの第1のセットに通信可能に結合された第1のコンピューティングシステムであって、
-前記車両センサの第1のセットからの測定値に基づいて、自車両状態推定及び環境表現を決定し、
-前記自車両状態推定及び環境表現に基づいて、一次計画を決定し、且つ、
-二次計画を決定するように構成され、この二次計画を決定することが、
・ナビゲーショナルエッジのセットを決定すること、
・ナビゲーショナルエッジを利用可能な状態として分類すること、並びに、
・利用可能な状態としてのナビゲーショナルエッジの分類に応じて、前記自車両状態及びナビゲーショナルエッジに基づいて二次計画を生成することを含む、第1のコンピューティングシステムと、
・組込みコントローラを含む第2のコンピューティングシステムであって、
-前記第1のコンピューティングシステムから前記二次計画を受信し、
-前記組込みコントローラのメモリに前記二次計画を記憶し、且つ、
-トリガ条件の充足の判定に応答して、前記組込みコントローラ及びセンサの第2のセットを使用して、前記二次計画に基づいて車両の制御を支援するように構成された第2のコンピューティングシステムとを備えることを特徴とするシステム。 - 請求項15に記載のシステムにおいて、
前記第2のコンピューティングシステムが、車両通信ネットワークを介して車両制御システムに一次軌道を選択的に中継することにより、前記一次計画に基づいて車両の制御を支援することを特徴とするシステム。 - 請求項15に記載のシステムにおいて、
前記第1のコンピューティングシステムが、前記一次計画に基づいて車両が制御されている間に、前記二次計画の期限切れ条件の充足に基づいて前記二次計画を更新するようにさらに構成されていることを特徴とするシステム。 - 請求項15に記載のシステムにおいて、
前記二次計画に基づいて車両の制御を支援することが、
・オドメトリを使用して自車両の姿勢を推定すること、
・前記センサの第2のセットにより、前記自車両の姿勢に基づいて軌道に沿った障害物を検出すること、並びに、
・障害物の検出に基づいて完全停止の実行を支援することを含むことを特徴とするシステム。 - 請求項15に記載のシステムにおいて、
前記入力データが、エージェントのセットを識別する環境表現を含み、前記利用可能である状態の分類が、前記セットの各エージェントに対応する占有予測に基づくものであり、各エージェントが、計画範囲内で静止していると仮定されることを特徴とするシステム。 - 請求項15に記載のシステムにおいて、
利用可能である状態の分類が、自車両の寸法及び最小通過クリアランスの充足に基づくものであることを特徴とするシステム。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US202063125304P | 2020-12-14 | 2020-12-14 | |
US63/125,304 | 2020-12-14 | ||
PCT/US2021/063315 WO2022132774A1 (en) | 2020-12-14 | 2021-12-14 | Autonomous vehicle safety platform system and method |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2023553980A true JP2023553980A (ja) | 2023-12-26 |
Family
ID=81943116
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2023535660A Pending JP2023553980A (ja) | 2020-12-14 | 2021-12-14 | 自律車両安全プラットフォームシステム及び方法 |
Country Status (4)
Country | Link |
---|---|
US (5) | US11396302B2 (ja) |
EP (1) | EP4260009A1 (ja) |
JP (1) | JP2023553980A (ja) |
WO (1) | WO2022132774A1 (ja) |
Families Citing this family (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE102017100618A1 (de) * | 2017-01-13 | 2018-07-19 | HELLA GmbH & Co. KGaA | Kontrollsystem für ein Kraftfahrzeug, Kraftfahrzeug, Verfahren zur Kontrolle eines Kraftfahrzeugs, Computerprogrammprodukt und computerlesbares Medium |
US11124204B1 (en) | 2020-06-05 | 2021-09-21 | Gatik Ai Inc. | Method and system for data-driven and modular decision making and trajectory generation of an autonomous agent |
JP2023528077A (ja) | 2020-06-05 | 2023-07-03 | ガティック エーアイ インコーポレイテッド | 自律エージェントのコンテキスト認識型意思決定を行うための方法およびシステム |
JP2023533225A (ja) | 2020-07-01 | 2023-08-02 | メイ モビリティー,インコーポレイテッド | 自律走行車ポリシーを動的にキュレーションする方法及びシステム |
US20220185325A1 (en) * | 2020-12-13 | 2022-06-16 | Pony Ai Inc. | Vehicle safety response control hierarchies and corresponding methods of automated vehicle safety control |
CN112572464A (zh) * | 2021-01-08 | 2021-03-30 | 蔚来汽车科技(安徽)有限公司 | 用于辅助驾驶的数据处理装置、方法、存储介质和车辆 |
CA3209773A1 (en) * | 2021-02-25 | 2022-09-01 | Taylor BYBEE | Intelligent urgent stop system for an autonomous vehicle |
EP4314708A1 (en) | 2021-04-02 | 2024-02-07 | May Mobility, Inc. | Method and system for operating an autonomous agent with incomplete environmental information |
WO2022256249A1 (en) * | 2021-06-02 | 2022-12-08 | May Mobility, Inc. | Method and system for remote assistance of an autonomous agent |
US12012123B2 (en) | 2021-12-01 | 2024-06-18 | May Mobility, Inc. | Method and system for impact-based operation of an autonomous agent |
CA3240409A1 (en) * | 2021-12-16 | 2023-06-22 | Apeksha Kumavat | Method and system for addressing failure in an autonomous agent |
US20230202517A1 (en) * | 2021-12-23 | 2023-06-29 | Baidu Usa Llc | Safety guaranteed control when planning with uncertainty |
US11814072B2 (en) | 2022-02-14 | 2023-11-14 | May Mobility, Inc. | Method and system for conditional operation of an autonomous agent |
US11618463B1 (en) * | 2022-06-30 | 2023-04-04 | Plusai, Inc. | Modified minimal risk maneuver using sensor input |
US20240059313A1 (en) * | 2022-08-22 | 2024-02-22 | Gm Cruise Holdings Llc | Automated inference of a customer support request in an autonomous vehicle |
Family Cites Families (128)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5544282A (en) | 1991-04-05 | 1996-08-06 | Chen; Pang C. | Method and apparatus for planning motions of robot manipulators |
US6199013B1 (en) | 1997-07-15 | 2001-03-06 | Navigation Technologies Corp. | Maneuver generation program and method |
US6950788B2 (en) | 2000-09-27 | 2005-09-27 | Ardeshir Faghri | Computer-implemented system and method for simulating motor vehicle and bicycle traffic |
US20040100563A1 (en) | 2002-11-27 | 2004-05-27 | Sezai Sablak | Video tracking system and method |
KR100929445B1 (ko) | 2003-03-25 | 2009-12-03 | 로제 가부시키가이샤 | 로봇 시뮬레이션장치 및 로봇 시뮬레이션 프로그램을 포함하는 기록매체 |
WO2004090659A2 (en) | 2003-04-10 | 2004-10-21 | Mukesh Dalal | Optimizing active decision making using simulated decision making |
US7343232B2 (en) | 2003-06-20 | 2008-03-11 | Geneva Aerospace | Vehicle control system including related methods and components |
GB2445507B (en) | 2005-10-21 | 2011-08-24 | Deere & Co | Versatile robotic control module |
US20070276600A1 (en) | 2006-03-06 | 2007-11-29 | King Timothy I | Intersection collision warning system |
US7813888B2 (en) | 2006-07-24 | 2010-10-12 | The Boeing Company | Autonomous vehicle rapid development testbed systems and methods |
EP2479993A3 (en) | 2006-12-04 | 2013-12-11 | Lynx System Developers, Inc. | Autonomous systems and methods for still and moving picture production |
US20100100324A1 (en) | 2008-10-22 | 2010-04-22 | Toyota Motor Engineering & Manufacturing North America, Inc. | Communication based vehicle-pedestrian collision warning system |
US8346516B2 (en) | 2008-11-05 | 2013-01-01 | Accenture Global Services Limited | Predictive modeling |
US9197736B2 (en) | 2009-12-31 | 2015-11-24 | Digimarc Corporation | Intuitive computing methods and systems |
TWI393074B (zh) | 2009-12-10 | 2013-04-11 | Ind Tech Res Inst | 移動物體偵測裝置與方法 |
WO2012045230A1 (en) | 2010-10-07 | 2012-04-12 | Yu-Chien Huang | Simulation transmitter for remote operated vehicles |
US9472097B2 (en) | 2010-11-15 | 2016-10-18 | Image Sensing Systems, Inc. | Roadway sensing systems |
JP5252001B2 (ja) | 2011-02-07 | 2013-07-31 | トヨタ自動車株式会社 | 移動領域予測装置 |
GB2494716B (en) | 2011-09-15 | 2019-12-18 | Bae Systems Plc | Autonomous vehicle and task modelling |
US9368028B2 (en) | 2011-12-01 | 2016-06-14 | Microsoft Technology Licensing, Llc | Determining threats based on information from road-based devices in a transportation-related context |
US20140309852A1 (en) | 2013-04-15 | 2014-10-16 | Flextronics Ap, Llc | Automatic vehicle diagnostic detection and communication |
US9495874B1 (en) | 2012-04-13 | 2016-11-15 | Google Inc. | Automated system and method for modeling the behavior of vehicles and other agents |
US9129519B2 (en) | 2012-07-30 | 2015-09-08 | Massachussetts Institute Of Technology | System and method for providing driver behavior classification at intersections and validation on large naturalistic data sets |
US9720412B1 (en) | 2012-09-27 | 2017-08-01 | Waymo Llc | Modifying the behavior of an autonomous vehicle using context based parameter switching |
US9274525B1 (en) | 2012-09-28 | 2016-03-01 | Google Inc. | Detecting sensor degradation by actively controlling an autonomous vehicle |
DE102012022472A1 (de) | 2012-11-16 | 2014-05-22 | Grenzebach Maschinenbau Gmbh | Verfahren und Vorrichtung zum kombinierten Simulieren und Steuern ferngesteuerter Fahrzeuge |
DE102012023925A1 (de) | 2012-12-06 | 2014-06-12 | Grenzebach Maschinenbau Gmbh | Verfahren und Vorrichtung zum kombinierten Simulieren und Steuern ferngesteuerter Fahrzeuge mit einem benutzerfreundlichen Projektionssystem |
EP2762877A1 (en) | 2013-01-31 | 2014-08-06 | Sensirion AG | Calibration of a chemical sensor in a portable electronic device |
WO2015003056A1 (en) | 2013-07-02 | 2015-01-08 | ROFFE, Brian | Real time car driving simulator |
US9216745B2 (en) | 2013-09-16 | 2015-12-22 | Disney Enterprises, Inc. | Shared control of semi-autonomous vehicles including collision avoidance in multi-agent scenarios |
JP6279287B2 (ja) | 2013-10-25 | 2018-02-14 | 株式会社Nttドコモ | 情報処理装置、プログラム及び交通情報の報知方法 |
US10049408B2 (en) | 2014-04-15 | 2018-08-14 | Speedgauge, Inc. | Assessing asynchronous authenticated data sources for use in driver risk management |
US9821465B2 (en) | 2014-05-06 | 2017-11-21 | Kenneth Dean Stephens, Jr. | Enhanced environment simulator for proxy robot handlers |
US9875661B2 (en) | 2014-05-10 | 2018-01-23 | Aurora Flight Sciences Corporation | Dynamic collision-avoidance system and method |
US10185998B1 (en) | 2014-05-20 | 2019-01-22 | State Farm Mutual Automobile Insurance Company | Accident fault determination for autonomous vehicles |
DE102014221682A1 (de) | 2014-10-24 | 2016-04-28 | Robert Bosch Gmbh | Verfahren und Vorrichtung zum Betreiben eines Fahrzeugs |
JP2016091039A (ja) | 2014-10-29 | 2016-05-23 | 株式会社デンソー | 危険予測装置、運転支援システム |
US9804594B2 (en) | 2014-11-07 | 2017-10-31 | Clearpath Robotics, Inc. | Self-calibrating sensors and actuators for unmanned vehicles |
CN107207013B (zh) | 2014-12-12 | 2020-01-21 | 索尼公司 | 自动驾驶控制设备以及自动驾驶控制方法和程序 |
KR101659034B1 (ko) | 2015-01-20 | 2016-09-23 | 엘지전자 주식회사 | 차량의 주행 모드 전환 장치 및 그 방법 |
JP2016184276A (ja) | 2015-03-26 | 2016-10-20 | パイオニア株式会社 | 携帯端末、携帯端末の制御方法、および、携帯端末用プログラム |
US20160314224A1 (en) | 2015-04-24 | 2016-10-27 | Northrop Grumman Systems Corporation | Autonomous vehicle simulation system |
JP6320542B2 (ja) | 2015-05-23 | 2018-05-09 | エスゼット ディージェイアイ テクノロジー カンパニー リミテッドSz Dji Technology Co.,Ltd | 初期構成を有する複数のセンサを有する可動物体に対する1または複数の外部パラメータを推定する方法、システム、及びプログラム |
US9368026B1 (en) | 2015-05-26 | 2016-06-14 | Google Inc. | Fallback requests for autonomous vehicles |
JP6298021B2 (ja) | 2015-07-30 | 2018-03-20 | トヨタ自動車株式会社 | 攻撃検知システムおよび攻撃検知方法 |
US9811760B2 (en) | 2015-07-31 | 2017-11-07 | Ford Global Technologies, Llc | Online per-feature descriptor customization |
US9618938B2 (en) | 2015-07-31 | 2017-04-11 | Ford Global Technologies, Llc | Field-based torque steering control |
US9934688B2 (en) | 2015-07-31 | 2018-04-03 | Ford Global Technologies, Llc | Vehicle trajectory determination |
JP6361618B2 (ja) | 2015-09-15 | 2018-07-25 | トヨタ自動車株式会社 | 運転支援装置 |
US20190227553A1 (en) | 2015-11-04 | 2019-07-25 | Zoox, Inc. | Interactive autonomous vehicle command controller |
US9537914B1 (en) | 2015-12-01 | 2017-01-03 | International Business Machines Corporation | Vehicle domain multi-level parallel buffering and context-based streaming data pre-processing system |
US9740202B2 (en) * | 2016-01-08 | 2017-08-22 | Waymo Llc | Fall back trajectory systems for autonomous vehicles |
US10747234B1 (en) | 2016-01-22 | 2020-08-18 | State Farm Mutual Automobile Insurance Company | Method and system for enhancing the functionality of a vehicle |
WO2017130639A1 (ja) | 2016-01-28 | 2017-08-03 | 株式会社リコー | 画像処理装置、撮像装置、移動体機器制御システム、画像処理方法、及びプログラム |
US9903733B2 (en) | 2016-03-17 | 2018-02-27 | Honda Motor Co., Ltd. | Vehicular communications network and methods of use and manufacture thereof |
CA3018601C (en) | 2016-03-24 | 2023-10-03 | CyPhy Works, Inc. | Persistent aerial reconnaissance and communication system |
US10956423B2 (en) | 2016-04-25 | 2021-03-23 | Convida Wireless, Llc | Data stream analytics at service layer |
US20170356748A1 (en) | 2016-06-14 | 2017-12-14 | nuTonomy Inc. | Route Planning for an Autonomous Vehicle |
US10656640B2 (en) | 2016-07-07 | 2020-05-19 | Applied Minds, Llc | Systems and methods for centralized control of autonomous vehicles |
WO2018014282A1 (en) | 2016-07-21 | 2018-01-25 | Baidu.Com Times Technology (Beijing) Co., Ltd. | Efficient communications amongst computing nodes for operating autonomous vehicles |
JP6684681B2 (ja) | 2016-08-10 | 2020-04-22 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America | 動的地図構成方法、動的地図構成システム及び移動端末 |
US10571908B2 (en) * | 2016-08-15 | 2020-02-25 | Ford Global Technologies, Llc | Autonomous vehicle failure mode management |
US20180053102A1 (en) | 2016-08-16 | 2018-02-22 | Toyota Jidosha Kabushiki Kaisha | Individualized Adaptation of Driver Action Prediction Models |
US10246086B2 (en) | 2016-09-08 | 2019-04-02 | Ford Global Technologies, Llc | Echelon parking |
US10248120B1 (en) | 2016-09-16 | 2019-04-02 | Amazon Technologies, Inc. | Navigable path networks for autonomous vehicles |
US10762794B2 (en) | 2016-09-19 | 2020-09-01 | Honeywell International Inc. | Methods and systems for automation guidance |
WO2018057978A1 (en) | 2016-09-23 | 2018-03-29 | Apple Inc. | Decision making for autonomous vehicle motion control |
EP3529680A1 (en) | 2016-10-24 | 2019-08-28 | BAE Systems PLC | Control of autonomous vehicles |
US10699305B2 (en) | 2016-11-21 | 2020-06-30 | Nio Usa, Inc. | Smart refill assistant for electric vehicles |
US10993165B2 (en) | 2016-12-27 | 2021-04-27 | Veniam, Inc. | Flexible support of multi-homing in networks of moving things including autonomous vehicles based networks |
US10268195B2 (en) | 2017-01-06 | 2019-04-23 | Qualcomm Incorporated | Managing vehicle driving control entity transitions of an autonomous vehicle based on an evaluation of performance criteria |
US10262475B2 (en) | 2017-01-19 | 2019-04-16 | Ford Global Technologies, Llc | Vehicle sensor health monitoring |
US10966070B2 (en) | 2017-01-30 | 2021-03-30 | Veniam, Inc. | Systems and methods for managing data with heterogeneous multi-paths and multi-networks in an internet of moving things |
KR20180091357A (ko) * | 2017-02-06 | 2018-08-16 | 한국전자통신연구원 | 추측 항법을 이용한 자율주행 차량의 제어 방법 및 장치 |
RU2734732C1 (ru) | 2017-02-10 | 2020-10-22 | Ниссан Норт Америка, Инк. | Отслеживание блокировки сети движения при оперативном управлении автономным транспортным средством |
US10133275B1 (en) * | 2017-03-01 | 2018-11-20 | Zoox, Inc. | Trajectory generation using temporal logic and tree search |
US10671076B1 (en) * | 2017-03-01 | 2020-06-02 | Zoox, Inc. | Trajectory prediction of third-party objects using temporal logic and tree search |
EP3376330B1 (de) | 2017-03-17 | 2020-11-04 | TTTech Auto AG | Fehlertolerantes verfahren zur erkennung von fehlern in einem elektronischen system zur steuerung eines kontrollierten objektes |
WO2018170444A1 (en) | 2017-03-17 | 2018-09-20 | The Regents Of The University Of Michigan | Method and apparatus for constructing informative outcomes to guide multi-policy decision making |
WO2018177339A1 (en) | 2017-03-28 | 2018-10-04 | Kwok Ching Kwong | A kiosk cluster |
US10467891B1 (en) | 2017-05-10 | 2019-11-05 | Alarm.Com Incorporated | Method for allowing drone activity to modify event detection by a monitoring system |
IL252769B (en) | 2017-06-08 | 2021-10-31 | Israel Aerospace Ind Ltd | Method and system for autonomous vehicle navigation |
US20170274908A1 (en) | 2017-06-12 | 2017-09-28 | Xiaoning Huai | Personalize self-driving cars |
US10824454B2 (en) | 2017-06-15 | 2020-11-03 | At&T Intellectual Property I, L.P. | 5G dynamic slice and network identity instantiation, termination, and access management system and method |
US10740988B2 (en) | 2017-06-16 | 2020-08-11 | nuTonomy Inc. | Intervention in operation of a vehicle having autonomous driving capabilities |
US10317899B2 (en) | 2017-06-16 | 2019-06-11 | nuTonomy Inc. | Intervention in operation of a vehicle having autonomous driving capabilities |
US10386856B2 (en) | 2017-06-29 | 2019-08-20 | Uber Technologies, Inc. | Autonomous vehicle collision mitigation systems and methods |
US20190027034A1 (en) * | 2017-07-19 | 2019-01-24 | Aptiv Technologies Limited | Variable steering error limits for automated vehicle control |
US11009868B2 (en) * | 2017-07-20 | 2021-05-18 | Nuro, Inc. | Fleet of autonomous vehicles with lane positioning and platooning behaviors |
US10518729B2 (en) | 2017-08-02 | 2019-12-31 | Allstate Insurance Company | Event-based connected vehicle control and response systems |
US10558224B1 (en) | 2017-08-10 | 2020-02-11 | Zoox, Inc. | Shared vehicle obstacle data |
US10424127B2 (en) | 2017-08-28 | 2019-09-24 | GM Global Technology Operations LLC | Controller architecture for monitoring health of an autonomous vehicle |
CN111149141A (zh) | 2017-09-04 | 2020-05-12 | Nng软件开发和商业有限责任公司 | 用于收集并使用来自交通工具的传感器数据的方法和装置 |
US10710602B2 (en) | 2017-10-06 | 2020-07-14 | Uatc, Llc | Systems and methods for a vehicle controller safety monitor |
US20190113919A1 (en) | 2017-10-18 | 2019-04-18 | Luminar Technologies, Inc. | Controlling an autonomous vehicle using smart control architecture selection |
US10540892B1 (en) | 2017-10-26 | 2020-01-21 | State Farm Mutual Automobile Insurance Company | Technology for real-time detection and mitigation of remote vehicle anomalous behavior |
WO2019088989A1 (en) | 2017-10-31 | 2019-05-09 | Nissan North America, Inc. | Reinforcement and model learning for vehicle operation |
US10546560B2 (en) | 2017-10-31 | 2020-01-28 | Uatc, Llc | Systems and methods for presenting virtual content in a vehicle |
EP3707572B1 (en) * | 2017-11-10 | 2023-08-23 | Nvidia Corporation | Systems and methods for safe and reliable autonomous vehicles |
US11017550B2 (en) | 2017-11-15 | 2021-05-25 | Uatc, Llc | End-to-end tracking of objects |
US10503165B2 (en) | 2017-12-22 | 2019-12-10 | Toyota Research Institute, Inc. | Input from a plurality of teleoperators for decision making regarding a predetermined driving situation |
CN108182817A (zh) | 2018-01-11 | 2018-06-19 | 北京图森未来科技有限公司 | 自动驾驶辅助系统、路侧端辅助系统和车载端辅助系统 |
US11022971B2 (en) | 2018-01-16 | 2021-06-01 | Nio Usa, Inc. | Event data recordation to identify and resolve anomalies associated with control of driverless vehicles |
US10816977B2 (en) | 2018-01-26 | 2020-10-27 | Baidu Usa Llc | Path and speed optimization fallback mechanism for autonomous vehicles |
US20190265059A1 (en) | 2018-02-26 | 2019-08-29 | Jonathan Warnick | System and Method for Real-time Transit Prioritization |
KR20200132952A (ko) | 2018-03-18 | 2020-11-25 | 드라이브유 테크 엘티디. | 자율 주행 및 원격 작동 차량의 장치, 시스템 및 방법 |
US10950130B2 (en) | 2018-03-19 | 2021-03-16 | Derq Inc. | Early warning and collision avoidance |
EP3642092A2 (en) | 2018-03-20 | 2020-04-29 | Mobileye Vision Technologies Ltd. | Systems and methods for navigating a vehicle |
US10775473B2 (en) | 2018-04-27 | 2020-09-15 | Cubic Corporation | Correcting location data of connected vehicle |
DE102018004303B3 (de) * | 2018-05-30 | 2019-11-21 | Daimler Ag | Verfahren zur Regelung der Bewegung eines Fahrzeugs und Vorrichtung zur Durchführung des Verfahrens |
US11227486B2 (en) | 2018-07-16 | 2022-01-18 | Here Global B.V. | Method, apparatus, and system for estimating vulnerable road users |
FR3086073B1 (fr) * | 2018-09-19 | 2020-12-11 | Transdev Group | Dispositif electronique de determination d'une trajectoire d'arret d'urgence d'un vehicule autonome, vehicule et procede associes |
US11214272B2 (en) * | 2018-09-24 | 2022-01-04 | Waymo Llc | Autonomous vehicle system for determining a pullover spot in response to detected local failure |
US11454525B2 (en) | 2018-10-19 | 2022-09-27 | Robert Bosch Gmbh | Vehicle sensor field calibration utilizing other vehicles |
CN112969622A (zh) * | 2018-10-30 | 2021-06-15 | 动态Ad有限责任公司 | 自主运载工具中的冗余 |
EP3680876A1 (en) * | 2019-01-08 | 2020-07-15 | Visteon Global Technologies, Inc. | Method for planning trajectory of vehicle |
US20200233060A1 (en) | 2019-01-17 | 2020-07-23 | Denso International America, Inc. | Sensor data anomaly detection system and method for a vehicle |
US10969470B2 (en) | 2019-02-15 | 2021-04-06 | May Mobility, Inc. | Systems and methods for intelligently calibrating infrastructure devices using onboard sensors of an autonomous agent |
CN111845785A (zh) | 2019-04-29 | 2020-10-30 | 安波福技术有限公司 | 用于实现对传感器故障的自主运载工具响应的系统和方法 |
US11204417B2 (en) | 2019-05-08 | 2021-12-21 | GM Global Technology Operations LLC | Selective attention mechanism for improved perception sensor performance in vehicular applications |
US11420653B2 (en) * | 2019-05-20 | 2022-08-23 | Hyundai Mobis Co., Ltd. | Autonomous driving apparatus and method |
WO2020241955A1 (ko) * | 2019-05-31 | 2020-12-03 | 엘지전자 주식회사 | 차량용 전자 장치 및 차량용 전자 장치의 동작 방법 |
US10997435B2 (en) | 2019-08-08 | 2021-05-04 | Nvidia Corporation | Leveraging obstacle and lane detections to determine lane assignments for objects in an environment |
US20200017114A1 (en) * | 2019-09-23 | 2020-01-16 | Intel Corporation | Independent safety monitoring of an automated driving system |
US12012127B2 (en) | 2019-10-26 | 2024-06-18 | Zoox, Inc. | Top-down view object detection and tracking |
US11636689B2 (en) | 2020-09-08 | 2023-04-25 | Nvidia Corporation | Adaptive object tracking algorithm for autonomous machine applications |
US11554793B2 (en) | 2020-10-26 | 2023-01-17 | Tusimple, Inc. | Vehicle safety system for autonomous vehicles |
US20220185325A1 (en) * | 2020-12-13 | 2022-06-16 | Pony Ai Inc. | Vehicle safety response control hierarchies and corresponding methods of automated vehicle safety control |
-
2021
- 2021-12-14 JP JP2023535660A patent/JP2023553980A/ja active Pending
- 2021-12-14 WO PCT/US2021/063315 patent/WO2022132774A1/en active Application Filing
- 2021-12-14 US US17/550,461 patent/US11396302B2/en active Active
- 2021-12-14 EP EP21907633.8A patent/EP4260009A1/en active Pending
-
2022
- 2022-06-22 US US17/846,963 patent/US11673564B2/en active Active
- 2022-07-26 US US17/873,637 patent/US11679776B2/en active Active
- 2022-07-26 US US17/873,584 patent/US11673566B2/en active Active
-
2023
- 2023-04-28 US US18/140,904 patent/US20230303095A1/en active Pending
Also Published As
Publication number | Publication date |
---|---|
US11679776B2 (en) | 2023-06-20 |
US20220185299A1 (en) | 2022-06-16 |
WO2022132774A1 (en) | 2022-06-23 |
EP4260009A1 (en) | 2023-10-18 |
US20230303095A1 (en) | 2023-09-28 |
US11396302B2 (en) | 2022-07-26 |
US11673564B2 (en) | 2023-06-13 |
US20220324469A1 (en) | 2022-10-13 |
US20220355808A1 (en) | 2022-11-10 |
US20220355809A1 (en) | 2022-11-10 |
US11673566B2 (en) | 2023-06-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11396302B2 (en) | Autonomous vehicle safety platform system and method | |
US11644831B2 (en) | Multi-stage operation of autonomous vehicles | |
US11495126B2 (en) | Systems and methods for driving intelligence allocation between vehicles and highways | |
US11724708B2 (en) | Fail-safe handling system for autonomous driving vehicle | |
JP2022513808A (ja) | 軌道検証を用いた衝突回避システム | |
CN111833597B (zh) | 具有规划控制的交通情形中的自主决策 | |
EP3882100B1 (en) | Method for operating an autonomous driving vehicle | |
CN112180911A (zh) | 用于监控自动驾驶车辆的控制系统的方法 | |
US11565717B2 (en) | Method and system for remote assistance of an autonomous agent | |
WO2023010042A1 (en) | Complementary control system for an autonomous vehicle | |
WO2023010043A1 (en) | Complementary control system for an autonomous vehicle | |
JP7444295B2 (ja) | 処理装置、処理方法、処理プログラム、処理システム | |
WO2023189680A1 (ja) | 処理方法、運転システム、処理装置、処理プログラム | |
US20230406359A1 (en) | Collision imminent detection | |
US20230406293A1 (en) | Secondary fallback software stack for autonomous vehicle | |
JP2024095946A (ja) | 車両操作を通じてデッドロックを回避するシステム及び方法 | |
CN118306407A (en) | System and method for avoiding deadlock by vehicle maneuver |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230807 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20240514 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20240528 |