JP2023525054A - 軌道分類 - Google Patents
軌道分類 Download PDFInfo
- Publication number
- JP2023525054A JP2023525054A JP2022567547A JP2022567547A JP2023525054A JP 2023525054 A JP2023525054 A JP 2023525054A JP 2022567547 A JP2022567547 A JP 2022567547A JP 2022567547 A JP2022567547 A JP 2022567547A JP 2023525054 A JP2023525054 A JP 2023525054A
- Authority
- JP
- Japan
- Prior art keywords
- trajectory
- vehicle
- model
- location
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 claims abstract description 98
- 238000003860 storage Methods 0.000 claims description 24
- 230000033001 locomotion Effects 0.000 claims description 13
- 238000004590 computer program Methods 0.000 claims 1
- 230000009471 action Effects 0.000 description 52
- 230000015654 memory Effects 0.000 description 33
- 238000012549 training Methods 0.000 description 26
- 230000006399 behavior Effects 0.000 description 25
- 238000012545 processing Methods 0.000 description 22
- 230000008569 process Effects 0.000 description 21
- 238000004891 communication Methods 0.000 description 15
- 238000010801 machine learning Methods 0.000 description 12
- 230000001133 acceleration Effects 0.000 description 11
- 230000008859 change Effects 0.000 description 10
- 230000008447 perception Effects 0.000 description 10
- 238000010586 diagram Methods 0.000 description 9
- 230000004807 localization Effects 0.000 description 8
- 238000013528 artificial neural network Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 6
- 230000004044 response Effects 0.000 description 6
- 230000001953 sensory effect Effects 0.000 description 6
- 241001465754 Metazoa Species 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 4
- 238000004422 calculation algorithm Methods 0.000 description 4
- 230000007613 environmental effect Effects 0.000 description 4
- 238000013459 approach Methods 0.000 description 3
- 238000003491 array Methods 0.000 description 3
- 238000001514 detection method Methods 0.000 description 3
- 238000013507 mapping Methods 0.000 description 3
- 238000005259 measurement Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000002776 aggregation Effects 0.000 description 2
- 238000004220 aggregation Methods 0.000 description 2
- 230000000903 blocking effect Effects 0.000 description 2
- 239000003795 chemical substances by application Substances 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000007405 data analysis Methods 0.000 description 2
- 238000003066 decision tree Methods 0.000 description 2
- 238000009826 distribution Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 238000010238 partial least squares regression Methods 0.000 description 2
- 230000003334 potential effect Effects 0.000 description 2
- 238000000513 principal component analysis Methods 0.000 description 2
- 238000012628 principal component regression Methods 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 238000012706 support-vector machine Methods 0.000 description 2
- 230000003936 working memory Effects 0.000 description 2
- 230000004913 activation Effects 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000007792 addition Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000010267 cellular communication Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000001816 cooling Methods 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000005315 distribution function Methods 0.000 description 1
- 239000012530 fluid Substances 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000012417 linear regression Methods 0.000 description 1
- 238000007477 logistic regression Methods 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000002156 mixing Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000013488 ordinary least square regression Methods 0.000 description 1
- 238000007637 random forest analysis Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 239000000725 suspension Substances 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/16—Anti-collision systems
- G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units, or advanced driver assistance systems for ensuring comfort, stability and safety or drive control systems for propelling or retarding the vehicle
- B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
- B60W30/09—Taking automatic action to avoid collision, e.g. braking and steering
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units, or advanced driver assistance systems for ensuring comfort, stability and safety or drive control systems for propelling or retarding the vehicle
- B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
- B60W30/095—Predicting travel path or likelihood of collision
- B60W30/0956—Predicting travel path or likelihood of collision the prediction being responsive to traffic or environmental parameters
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units, or advanced driver assistance systems for ensuring comfort, stability and safety or drive control systems for propelling or retarding the vehicle
- B60W30/18—Propelling the vehicle
- B60W30/18009—Propelling the vehicle related to particular drive situations
- B60W30/18154—Approaching an intersection
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W60/00—Drive control systems specially adapted for autonomous road vehicles
- B60W60/001—Planning or execution of driving tasks
- B60W60/0015—Planning or execution of driving tasks specially adapted for safety
- B60W60/0017—Planning or execution of driving tasks specially adapted for safety of other traffic participants
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W60/00—Drive control systems specially adapted for autonomous road vehicles
- B60W60/001—Planning or execution of driving tasks
- B60W60/0027—Planning or execution of driving tasks using trajectory prediction for other traffic participants
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/16—Anti-collision systems
- G08G1/167—Driving aids for lane monitoring, lane changing, e.g. blind spot detection
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W2050/0001—Details of the control system
- B60W2050/0019—Control system elements or transfer functions
- B60W2050/0022—Gains, weighting coefficients or weighting functions
- B60W2050/0025—Transfer function weighting factor
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2554/00—Input parameters relating to objects
- B60W2554/40—Dynamic objects, e.g. animals, windblown objects
- B60W2554/402—Type
- B60W2554/4029—Pedestrians
Abstract
環境内のオブジェクト挙動を予測するための技法が、本明細書において論じられる。例えば、そのような技法は、モデルにデータを入力することと、モデルから、離散化された表現を表す出力を受け取ることとを含み得る。離散化された表現は、オブジェクトが将来の時刻において環境内のロケーションに到達する確率に関連付けられ得る。車両コンピューティングシステムは、離散化された表現および確率を使用して、軌道と軌道に関連付けられた重みとを決定し得る。自律車両などの車両は、車両コンピューティングシステムによって出力される軌道および重みに基づいて、環境を横断するように制御されることが可能である。
Description
本発明は、軌道分類に関する。
関連出願
本出願は、2020年5月08日に出願され、「TRAJECTORY CLASSIFICATION」と題された米国特許出願第16/870,083号、および2020年5月08日に出願され、「TRAJECTORYS WITH INTENT」と題された米国特許出願第16/870,355号の優先権を主張し、これらの米国特許出願の全体が、参照により本明細書に組み込まれる。
本出願は、2020年5月08日に出願され、「TRAJECTORY CLASSIFICATION」と題された米国特許出願第16/870,083号、および2020年5月08日に出願され、「TRAJECTORYS WITH INTENT」と題された米国特許出願第16/870,355号の優先権を主張し、これらの米国特許出願の全体が、参照により本明細書に組み込まれる。
自律車両および半自律車両におけるプランニングシステムは、車両が動作環境内で取るべきアクションを決定する。車両のアクションは、環境内に存在するオブジェクトを回避することに部分的に基づいて決定され得る。例えば、アクションは、歩行者に譲るため、道路内の別の車両を回避するべく車線を変更するため等に生成され得る。将来の挙動(例えば、意図)を正確に予測することは、オブジェクトの近くにおいて安全に動作するために、特に、車両の選択されたアクションに基づいて挙動が変化し得る場合に、必要となり得る。
詳細な説明は、添付の図を参照しつつ説明される。図において、参照番号の左端の数字は、その参照番号が最初に現われる図を識別する。異なる図における同じ参照番号の使用は、類似または同一の構成要素または特徴を示す。
環境内のオブジェクトの挙動または意図を予測することは、自律車両の潜在的なアクションに影響を与え得る。少なくともいくつかの例において、いくつかのそのような意図は、車両によって行われるアクションに応答して変化し得る。環境内のオブジェクトの動きは、迅速に変化し得る。
本出願は、環境内のオブジェクトの挙動を予測するためにモデルを適用するおよび/または訓練するための技法を説明する。幾つかの例において、そのような挙動は、オブジェクトが近い将来の何らかの時点で取り得る運動を示し得る意図を含み得る。例えば、1つまたは複数の機械学習されたモデルは、画像フォーマットにおいて表されるオブジェクトに関連付けられたデータを処理し、オブジェクトが将来の時刻において取り得る潜在的なアクションを決定し得る。いくつかの例において、オブジェクトは、歩行者であってもよく、モデルは、歩行者についての軌道と、予測される軌道に関連付けられた重みとを予測し得る。重みは、歩行者が目的地(例えば、横断歩道)に到達するかどうかを示し得る。少なくともいくつかの例において、そのような意図は、車両によって行われるべきアクションに少なくとも部分的に基づき得る。モデルによって決定された歩行者軌道または重みは、車両プランニング期間中に考慮され得、それによって、車両は、歩行者が異なる軌道を使用して、いくつかの可能な目的地に到達し得る可能性についてプランニングすることによって、環境内をナビゲートするので、車両安全性を改善する。
いくつかの例において、コンピューティングデバイスは、機械学習されたモデルを実装して、自律車両の動作に対する影響をもたらし得る、オブジェクト(例えば、自転車、歩行者、別の車両、動物等)についての挙動を予測し得る。例えば、機械学習されたモデルは、将来の時刻において環境内でオブジェクトが従うべき軌道(例えば、方向、速度、および/または加速度)と、将来の時刻においてオブジェクトが目的地(例えば、横断歩道、道路セグメント内部、道路セグメント外部など)に存在する予測される確率に基づく重みとを決定し得る。そのような例において、自律車両の車両コンピュータシステムは、機械学習されたモデルからの出力(例えば、軌道および重み)を考慮して、(同じまたは異なるモデルを使用して)車両のための候補軌道を予測し得、それによって、車両の動作に影響を与え得るオブジェクトによる潜在的な挙動(例えば、自律車両の軌道と交差する、自律車両に急ハンドルを切らせるまたは急ブレーキをかけさせる等)を安全に回避することが可能な候補軌道を自律車両に提供することによって、車両安全性を改善する。
いくつかの例において、機械学習されたモデルは、異なる可能な目的地に関連付けられたオブジェクトについてのいくつかの異なる軌道を予測し得る。限定ではなく、例として、歩行者がいくつかの横断歩道との交差点に接近している場合、自律車両は、機械学習されたモデルを実装して、歩行者のための第1の軌道と、歩行者が第1の横断歩道に到達することになる第1の予測確率とを出力するとともに、歩行者のための第2の軌道と、歩行者が第2の横断歩道に到達することになる第2の予測確率とを出力し得る。そのような例において、機械学習されたモデルは、第1の予測確率に少なくとも部分的に基づいて、第1の重みを決定し、第2の予測確率に少なくとも部分的に基づいて、第2の重みを決定し得る。例えば、モデルは、将来の時刻において、歩行者が第1の横断歩道に入る80%の確率を有することを示すための第1の重みと、歩行者が第2の横断歩道に入ることになる20%の確率を示すための第2の重みとを決定し得る。様々な例において、機械学習されたモデルは、目的地に関連付けられた重み、軌道、および/または予測確率を含む情報を、考慮事項(例えば、軌道決定、計算等)をプランニングする際にその情報を使用し得る自律車両のプランニング構成要素へ送り得る。
いくつかの例において、環境の上から見た図を表す画像フォーマットへとコンパイルされたデータは、機械学習されたモデルへ入力され得る。データは、環境および/または地図データ内の車両のセンサからキャプチャされたまたは車両のセンサに関連付けられセンサデータ、ならびに、上から見た表現へと符号化され得る任意の他のデータソースを含み得る。機械学習されたモデルは、オブジェクトの属性(例えば、位置、速度、加速度、ヨー等)、オブジェクトの履歴(例えば、ロケーション履歴、速度履歴等)、車両の属性(例えば、速度、位置等)、横断歩道許可、信号機許可等のうちの1つまたは複数を表すためのデータを使用し得る。データは、車両のコンテキストをキャプチャする(例えば、車両に対する他の車両および歩行者のアクションを識別する)ために、環境の上から見た図おいて表されることが可能である。データによって表される環境の上から見た図は、歩行者の経路を別の歩行者が妨げているかどうかなど、歩行者の周囲に関してより多くの情報を提供することによって、歩行者または他のオブジェクトが関連付けられ(例えば、面し、および/または向かって移動し)得る方向および/または目的地に関する予測も改善し得る。
いくつかの例において、オブジェクトに関連付けられた予測される軌道(または複数の軌道)、および予測される軌道に関連付けられた重み(または複数の重み)を含む機械学習されたモデル(例えば、第1のモデル)からの出力は、オブジェクトに関連付けられた軌道の意図を決定するように構成された別の機械学習されたモデル(例えば、第2のモデル)へ送られ得る。例えば、付加的なモデルは、軌道および重みを入力として受け取り、オブジェクトの意図(例えば、見込みのある目的地)および軌道を決定してもよく、いくつかの場合においては、意図をオブジェクトの軌道に関連付けてもよい。様々な例において、そのような意図は、直進を継続する、右折する、左折する、横断歩道を渡る等などの、ただし、これらに限定されない、オブジェクトの将来の(または意図される)挙動のクラスを表し得る。
いくつかの例において、機械学習されたモデルは、データを入力として受け取り、環境の一部の離散化された表現を含む出力を提供し得る。いくつかの場合において、離散化された表現(例えば、グリッド)の一部は、離散化された表現のセルと称されることが可能である。各セルは、離散化された表現に対応する時に環境内の対応するロケーションにオブジェクトが存在することになる確率を表す予測確率を含むことができる。いくつかの例において、セルのロケーションは、環境内の目的地に関連付けられることが可能である。いくつかの例において、機械学習モデルは、将来の特定の時(例えば、0.5秒、1秒、3秒、5秒、10秒後等)にオブジェクトおよび1つまたは複数の目的地に関連付けられた確率予測を表すことができる複数の予測確率を出力することができる。いくつかの例において、機械学習されたモデルによって出力される離散化された表現は、別のモデルまたはコンピューティングデバイスによって、オブジェクトについての重みおよび/または軌道を決定するために使用され得る。
様々な例において、離散化された表現のセルは、将来の時刻におけるオブジェクトのロケーションの分類確率に関連付けられてもよい。例えば、セルは、将来の時刻における離散化された表現においてオブジェクトがロケーションに存在する(例えば、はい/いいえ)の確率を示し得る。いくつかの例において、ロケーションは、将来の時刻の前の先行する時刻におけるオブジェクトの先行するロケーションに少なくとも部分的に基づいたオフセットを表し得る。すなわち、オフセットは、いくつかの例において、離散化された表現の開始セルから終了セルへ、オブジェクトが将来進行し得る方向および距離を示し得る。離散的表現に関する付加的な詳細は、図3および4、ならびに他の箇所に含まれている。
いくつかの例において、機械学習されたモデルは、離散化された表現および分類確率に少なくとも部分的に基づいて、オブジェクトに関連付けられた予測される軌道と、予測される軌道に関連付けられた重みとを決定し得る。例えば、予測される軌道は、ある時間期間にわたる1つまたは複数のセルを通る経路に基づいてもよい。予測される軌道は、例えば、オブジェクトが将来に最も取りそうな距離、方向、速度、および/または加速度を示してもよい。いくつかの例において、予測される軌道は、第1の時刻におけるオブジェクトの位置と、第2の時刻における分類確率に関連付けられたロケーションとを補間することに少なくとも部分的に基づいてもよい。モデルによって決定される重みは、目的地(例えば、道路、横断歩道、歩道等)に到達するためにオブジェクトによって使用されるべき予測される軌道の可能性を示し得る。例えば、重みは、分類確率(例えば、歩行者が横断歩道または道路に入るか)に少なくとも部分的に基づいて、モデルによって決定され得る。少なくともいくつかのそのような例において、多数の軌道は、最も高い可能性を有するグリッドセルを通る経路を表し得る。
いくつかの例において、機械学習されたモデルは、地図データを受け取り、地図データに基づいて、離散的表現におけるセルのロケーションが、環境内の意味論的な目的地(例えば、横断歩道、歩道、道路セグメント等などの分類可能な領域または目的地)に関連付けられると決定し得る。例えば、第1のセルのロケーションは、横断歩道(例えば、第1の意味論的な目的地)に関連付けられてもよく、第2のセルのロケーションは、道路(例えば、第2の意味論的な目的地)に関連付けられてもよい。いくつかの例において、機械学習されたモデルは、オブジェクトがロケーションに存在する予測確率と、ロケーションが、意味論的な目的地に関連付けられることに少なくとも部分的に基づいて、予測される軌道についての重みを決定し得る。したがって、予測される軌道の重みは、オブジェクトを特定の目的地に到達させるために、予測される軌道が使用される可能性がどのくらいあるかを表し得る。
いくつかの例において、モデルは、離散化された表現におけるオブジェクトの将来のロケーションと、将来のロケーションに関連付けられた1つまたは複数のセルとの間の交点に基づいて、オブジェクトの予測される軌道を決定し得る。いくつかの例において、オブジェクトのロケーションは、ある時間期間にわたる多数のセルと交差および/または重複し、将来の時刻(例えば、2~4秒後)を表すセルにおいて終了し得る。いくつかの例において、機械学習されたモデルは、将来の時刻におけるセルのロケーションが、目的地(例えば、横断歩道、道路等)に関連付けられると決定し得る。例えば、離散化された表現におけるロケーションは、対応するセルの少なくとも一部と重複する地図データ内の目的地を識別することによって、環境内の目的地に関連付けられ得る。
いくつかの例において、セルの領域が、1つを超える目的地を含む場合、機械学習されたモデルは、第1の目的地についてのスコアおよび第2の目的地についてのスコアを決定し、スコア(例えば、最も高いスコア)を比較して、第1の目的地または第2の目的地のうちの1つを、セルに関連付けるべき目的地に割り当てる。他の例において、機械学習されたモデルは、第1の目的地および第2の目的地の各々についての重みを決定し、セルに関連付けられた重み付けされた目的地情報を、プランナー考慮のために自律車両へ送り得る。これは、自律車両がオブジェクトに対して安全にナビゲートするために候補軌道を決定する場合、オブジェクトの多数の可能な目的地の改善された詳細(および関連付けられた可能性)を自律車両に提供する。
様々な例において、車両コンピューティングシステムは、1つまたは複数のモデルからの出力を表す、1つまたは複数の命令を受け取ってもよい。車両コンピューティングシステムは、例えば、1つまたは複数の命令からの1つの命令を、車両のための軌道を計画する車両のプランニング構成要素へ、および/またはセンサデータを処理する車両の知覚構成要素へ送り得る。付加的にまたは代替的に、1つまたは複数のモデルからの出力は、機械学習されたモデルを訓練するために、車両コンピューティングシステムから遠隔の1つまたは複数のコンピューティングデバイスによって使用されてもよい。
車両コンピューティングシステムは、各検出されたオブジェクトの初期位置を決定するように構成され得る。様々な例において、車両コンピューティングシステムの予測構成要素(例えば、オブジェクトの挙動を予測するモデル)は、各検出されたオブジェクトに関連付けられた1つまたは複数の予測される軌道、例えば、各検出されたオブジェクトに関連付けられた初期位置などを決定し得る。いくつかの例において、1つまたは複数の予測される軌道は、センサデータおよび/またはモデルからの出力に基づいて決定されてもよい。各予測される軌道は、検出されたオブジェクトが環境を通じて進行し得る潜在的な経路を表し得る。1つまたは複数の予測される軌道は、(例えば、車両および/もしくは別のオブジェクトが環境内で取るアクションから独立した、車両および/もしくは他のオブジェクトのアクションに対して実質的に反応しない等)受動的予測、(例えば、環境内の車両および/もしくは別のオブジェクトのアクションに対するリアクションに基づく)能動的予測、または、これらの組み合わせに基づき得る。そのような例において、1つまたは複数の予測される軌道は、センサデータに基づいて決定される初速および/または進行方向に基づき得る。いくつかの例において、1つまたは複数の予測される軌道は、機械学習技法を利用して決定されてもよい。車両を制御するために軌道を生成する付加的な詳細は、2017年6月23日に出願され、「Trajectory Generation and Execution Architecture」と題された特許文献1において説明されており、特許文献1は、参照によって本明細書に組み込まれている。様々な軌道に関連付けられたリスクを評価する付加的な詳細は、2018年11月30日に出願され、「Probabilistic Risk for Trajectory Evaluation」と題された特許文献2において説明されており、特許文献2は、参照によって本明細書に組み込まれている。実際の位置と予測される位置との間および/または予測される軌道間の差を最小限にすることによって、記憶されたセンサデータに基づいて機械学習されたモデルを訓練する付加的な詳細は、2019年3月12日に出願され、「Motion Prediction Based on Appearance」と題された特許文献3において説明されており、特許文献3は、参照によって本明細書に組み込まれている。
様々な例において、車両コンピューティングシステムは、1つまたは複数のモデルによって決定された予測される軌道、意図、軌道タイプ、および/または重みに基づいて動作する間に取るべきアクション(例えば、車両を制御するために使用するべき軌道)を決定するように構成され得る。アクションは、基準アクション(例えば、動的な動作環境に反応して車両が行うように構成される操作のグループのうちの1つ)、例えば、右側車線への変更、左側車線への変更、車線内にとどまること、障害物(例えば、二重駐車した車両、歩行者のグループ等)を迂回すること等、などを含んでもよい。アクションは、サブアクション、例えば、速度変化(例えば、速度を維持する、加速する、減速する等)、位置的なバリエーション(例えば、車線内の位置を変更すること)などを付加的に含んでもよい。例えば、アクションは、車線内にとどまること(アクション)と、その車線内の車両の位置を中心位置から車線の左側で動作するように調整すること(サブアクション)とを含んでもよい。
様々な例において、車両コンピューティングシステムは、環境内の車両に適用可能な基準アクションおよび/またはサブアクションを決定するように構成され得る。例えば、横断歩道の方へ進行する歩行者は、道路から遠ざかる歩行者とは異なる形で、または横断歩道の外部の道路を渡る歩行者とは異なる形で挙動すると予測されることになる。別の例として、道路内の歩行者は、道路の外部の歩行者、または横断歩道の外部の道路を渡る歩行者とは異なる形で挙動し得る。別の非限定的な例において、道路に沿って進行する自転車乗用者は、横断歩道の方へまたは横断歩道の内部を進行する自転車乗用者とは異なる形で予測されることになる。
適用可能なアクションおよびサブアクションごとに、車両コンピューティングシステムは、ある時間期間(例えば、5秒、8秒、12秒等)について環境内で車両および関連するオブジェクトを前方へ投影することによって、将来の状態(例えば、推定される状態)をシミュレーションするために、異なるモデルおよび/または構成要素を実装し得る。モデルは、オブジェクトに関連付けられた予測される軌道に基づいて、オブジェクトを前方へ投影し(例えば、オブジェクトの将来の位置を推定し)得る。例えば、モデルは、歩行者の軌道を予測し、目的地に到達するためにその軌道がオブジェクトによって使用されるかどうかを示す重みを予測し得る。車両コンピューティングシステムは、アクションに関連付けられた車両軌道に基づいて、車両を前方へ投影し(例えば、車両の将来の位置を推定し)得る。推定される状態は、将来のある時刻における車両の推定位置(例えば、推定ロケーション)と、関連するオブジェクトの推定位置とを表し得る。いくつかの例において、車両コンピューティングシステムは、推定される状態における車両とオブジェクトとの間の相対的なデータを決定し得る。そのような例において、相対的なデータは、距離、ロケーション、速度、進行方向、および/または、車両とオブジェクトとの間の他の要素を含んでもよい。様々な例において、車両コンピューティングシステムは、所定のレート(例えば、10ヘルツ、20ヘルツ、50ヘルツ等)で、推定される状態を決定してもよい。少なくとも1つの例において、推定される状態は、10ヘルツのレート(例えば、8秒の時間期間にわたって80回の推定される意図)で行われ得る。
様々な例において、車両コンピューティングシステムは、推定される状態のセットの終わり(例えば、時間期間の終わり)にオブジェクトの実際のロケーションに関連付けられたセンサデータを記憶し、このデータを訓練データとして使用して、1つまたは複数のモデルを訓練し得る。例えば、記憶されたセンサデータは、モデルによって取り出され、オブジェクトのキューを識別する(例えば、オブジェクトの特徴、属性、または体勢(pose)を識別する)ために入力データとして使用され得る。そのような訓練データは、手動注釈に基づいて、および/またはオブジェクトの位置の意味論的な情報に関連付けられた変化を決定することによって、決定され得る。非限定的な例として、1つの時点におけるオブジェクトが、歩道としてラベル付けされた地図の一部上にあり、いくらか後の時点において、運転可能な表面の一部上にある場合、それらの時間期間の間に関連付けられ、かつ、オブジェクトに関連付けられたデータは、手動注釈の必要なしに、違法な道路横断の例とラベル付けされ得る。さらに、オブジェクトに関連付けられた、そのような時間期間にわたる検出された位置は、オブジェクトに関連付けるべきグラウンドトゥルース軌道を決定するために使用され得る。いくつかの例において、車両コンピューティングシステムは、データ分析のために遠隔コンピューティングデバイス(すなわち、車両コンピューティングシステムとは別個のコンピューティングデバイス)へデータを提供し得る。そのような例において、遠隔コンピューティングシステムは、センサデータを分析して、推定される状態のセットの終わりにおける、オブジェクトの画像についての1つまたは複数のラベル、実際のロケーション、速度、進行方向などを決定し得る。いくつかのそのような例(例えば、歩行者の意図が決定される例)において、ログの期間にわたる向きのグラウンドトゥルース位置が決定され(手動でラベル付けされ、または別の機械学習されたモデルによって決定され)てもよく、そのようなグラウンドトゥルース位置は、歩行者の実際の意図(例えば、歩行者は立ったままであるか、道路を渡ったか、走り始めた/走り続けたか、歩き始めた/歩き続けたか等)を決定するために使用され得る。いくつかの例において、対応するデータは、出力(例えば、意図、軌道、重み等)を決定するためにモデルに入力され、オブジェクトによる決定された出力と実際のアクションとの間の差は、モデルを訓練するために使用され得る。
本明細書において論じられる技法は、車両コンピューティングシステムの機能性を複数の手法において改善し得る。車両コンピューティングシステムは、データによって表されるオブジェクトの決定された意図、軌道、および/または軌道タイプに基づいて、自律車両が取るべきアクションを決定し得る。いくつかの例において、本明細書において説明される挙動予測技法を使用して、モデルは、以前のモデルと比較して、より高い粒度および詳細と共にオブジェクトの運動を正確に特徴づけることによって、車両の安全な動作を改善するオブジェクト軌道および関連付けられた重みを出力し得る。
本明細書において論じられる技法は、コンピューティングデバイスの機能性も複数の付加的な手法において改善することができる。いくつかの場合において、環境と環境内のオブジェクトとを上から見た図として表すことは、予測確率を生成するおよび/または候補アクション間で選択する目的のために、環境の簡略化された表現を表すことができる。いくつかの場合において、上から見た図の表現は、環境の特定の特徴を抽出せずに、環境を表すことができ、これは、予測システムの生成、および少なくとも1つの予測される軌道、意図、または重みの後続の生成を単純化し得る。いくつかの場合において、モデルによって出力を評価することは、自律車両が環境を横断するためのより正確なおよび/またはより安全な軌道を自律車両が生成することを可能にし得る。例えば、第1の候補アクションに関連付けられた予測確率は、衝突または衝突寸前の可能性を決定するために評価されることが可能であり、環境を安全に横断するために、自律車両が別の候補アクション(例えば、車線変更、停止等)を選択または決定することを可能にし得る。本明細書において説明される少なくともいくつかの例において、意図されるアクションに加えて、環境のトップダウン型符号化に基づいた予測は、オブジェクトに関連付けられた確率分布関数の拡散を最小限にし(改善し)、システムのより安全な意思決定をもたらし得る。コンピュータの機能性に対する、これらの改善および他の改善が、本明細書において論じられる。
本明細書において説明される技法は、複数の手法において実装され得る。例示的な実装は、以下の図を参照して、以下に提供される。自律車両のコンテキストにおいて論じられているが、本明細書において説明される方法、装置、およびシステムは、多種多様なシステム(例えば、手動で駆動される車両、センサシステム、またはロボティックプラットフォーム)に適用されてもよく、自律車両に限定されない。別の例において、技法は、航空もしくは航海のコンテキストにおいて、またはマシンビジョンを使用する任意のシステムにおいて(例えば、画像フォーマットにおいて表されるデータを使用するシステムにおいて)利用されてもよい。歩行者および自転車の意図を決定するコンテキストにおいて例が与えられているが、本明細書において説明される技法は、環境内の他のオブジェクト(例えば、車両、スケートボーダ、動物等)の属性を決定することにも適用可能である。
図1は、例示的な機械学習されたモデルが、環境の上から見た表現を処理して、環境の離散化された表現を決定し得る、環境100内の自律車両(車両102)の図である。図1は、自律車両を説明するものであり、いくつかの例において、本明細書において説明される挙動予測技法は、他の車両システム、構成要素、および/または遠隔コンピューティングデバイスによって実装され得る。例えば、図6に関してさらに詳細に説明されることになるように、本明細書において説明される挙動予測技法は、少なくとも部分的に、モデル構成要素630および/もしくはプランニング構成要素624によって、またはモデル構成要素630および/もしくはプランニング構成要素624に関連して、実装され得る。
様々な例において、車両102の車両コンピューティングシステムは、知覚構成要素(例えば、知覚構成要素622)などを介して、環境100内のオブジェクト104を検出するように構成され得る。いくつかの例において、車両コンピューティングシステムは、1つまたは複数のセンサから受け取られるセンサデータに基づいて、オブジェクト104を検出し得る。いくつかの例において、センサは、車両102に搭載されたセンサを含み、限定なしに、超音波センサ、レーダセンサ、光検出および測距(LIDAR)センサ、カメラ、マイクロフォン、慣性センサ(例えば、慣性測定ユニット、加速度計、ジャイロ等)、全地球測位衛星(GPS)センサなどを含み得る。いくつかの例において、センサは、1つまたは複数のリモートセンサ、例えば、別の自律車両に搭載されるセンサ、および/または環境100内に搭載されるセンサなどを含んでもよい。
様々な例において、車両102は、他の自律車両および/またはリモートセンサからデータを送信および/または受信するように構成され得る。データは、環境100内で検出されたオブジェクト104に関するデータなどの、センサデータを含み得る。様々な例において、環境100は、交通監視、衡突防止などのためのリモートセンサを含んでもよい。いくつかの例において、リモートセンサは、視認性が低い領域内、例えば、見通しのきかないまたは見通しがあまりきかない交差点内などに、付加的な視認性を提供するために環境内に搭載され得る。例えば、環境100内の交差点は、接近する車両が、オブジェクト104および/または交差する道路上で左側もしくは右側から接近する他の車両を知覚することができないかもしれない、見通しのきかない交差点を有すると決定し得る。したがって、環境内の交差点は、ジャンクションに接近する歩行者などのオブジェクト104に関する接近する車両102にセンサデータを提供するためのセンサを含み得る。
様々な例において、車両コンピューティングシステムは、センサデータを受信し、オブジェクト104のタイプ、例えば、オブジェクト104が自動車、トラック、オートバイ、モペット、自転車乗用者、オブジェクト104のような歩行者であるかどうかなどを決定し(例えば、オブジェクトのタイプを分類し)得る。いくつかの例において、オブジェクトタイプは、オブジェクト挙動予測を提供するためにモデルに入力され得る。
図1は、横断歩道106Aおよび106Bも含むものとして環境100を描いている。いくつかの例において、機械学習されたモデル108(例えば、モデル108)は、歩行者104が将来の時刻において横断歩道106Aもしくは横断歩道106Bの方へおよび/または横断歩道106Aもしくは横断歩道106B内を移動することになるかどうかを予測するために適用され得る。いくつかの例において、機械学習されたモデル108は、歩行者についての異なる挙動予測、例えば、予測される軌道110Aおよび予測される軌道110Bを決定することなどを決定し得る。モデル108は、例えば、上から見た表現112を表す入力データを受け取り、環境100の離散化された表現114を出力することに少なくとも部分的に基づいて、予測される軌道110Aおよび110Bを決定してもよい。車両102の車両コンピューティングシステムは、歩行者の意図(例えば、歩行者が環境100内の目的地に接近し得るかどうか)を推測するために、予測される軌道110Aおよび110Bを使用し得る。車両102によって決定される歩行者軌道および/または意図は、車両プランニング(例えば、プランニング構成要素624)期間中に考慮され得、それによって、車両が環境内をナビゲートする際の車両安全性を改善する。
一般に、上から見た表現112は、車両102の周囲の領域を表すことができる。いくつかの例において、領域は、センサに見える領域(例えば、センサ範囲)、後退地平線、アクション(例えば、交差点を通って横断する)に関連付けられた領域などに少なくとも部分的に基づくことができる。いくつかの例において、任意の領域が想定されるが、上から見た表現112は、車両102の周囲の100メートル×100メートルの領域を表してもよい。機械学習されたモデル108は、知覚構成要素622から、環境内のオブジェクトに関するデータを受け取ることができ、位置特定構成要素620、知覚構成要素622、および1つまたは複数の地図628から、環境自体に関するデータを受け取ることができる。モデル108は、(例えば、本明細書において論じられるような、境界ボックスによって表される)環境内のオブジェクト、オブジェクトに関する意味論的な情報(例えば、分類タイプ)、移動情報等(例えば、速度情報、加速度情報等)などを含む、環境の上から見た図を生成することができる。
様々な例において、環境100の上から見た表現112は、環境の上から見た視点を表してもよく、1つまたは複数のマルチチャネル画像、例えば、第1のチャネル116、第2のチャネル118、および第3のチャネル120などを含んでもよい。車両コンピューティングシステムは、異なるチャネル画像を用いて、環境の異なる属性を表すために、マルチチャネル画像を生成または決定することができる。例えば、画像は、多数のチャネルを有し、各チャネルは、何らかの情報(意味論的なまたはその他の)を表す。一般に、チャネル画像116、118、および120のうちの1つは、例を挙げると、オブジェクト位置、オブジェクト速度、オブジェクト加速度、オブジェクトヨー、オブジェクトの属性、横断歩道許可(例えば、横断歩道ライトまたはオーディオ状態)、および信号機許容性(例えば、信号機状態)を表すことができる。マルチチャネル画像を生成または決定する例は、2018年10月4日に出願され、「Trajectory Prediction on Top-Down Scenes」と題された特許文献4に関連して論じられている。特許文献4は、その全体が、参照によって本明細書に組み込まれている。上から見た表現112の詳細は、図2および他の箇所に関して論じられる。
いくつかの例において、第1のチャネル116は、環境内の自律車両102および/またはオブジェクト104の境界ボックス、ロケーション、大きさ(例えば、長さおよび幅)等を表すことができる。いくつかの例において、第2のチャネル118は、横断歩道許可情報(例えば、利用可能な空間および/または信号に基づいた、横断歩道を占有するための許可)を表すことができる。例えば、第2のチャネル118は、歩行者が横断歩道内で進行することができる領域、および歩行者が横断歩道に入る許可を示す現在の横断歩道信号に領域が関連付けられているかどうかを示すことができる。いくつかの例において、第3のチャネル120は、付加的なオブジェクトデータまたは車両データを表すことができ、これは、この場合において、オブジェクト104に関連付けられた速度情報122(例えば、V1)および方向情報124(例えば、D1)に対応する。いくつかの例において、速度情報122は、瞬間速度、平均速度などを含むことができる。いくつかの例において、方向情報124は、瞬間的な方向、平均的な方向などを含むことができる。速度のコンテキストにおいて論じられているが、速度情報122は、加速度(例えば、アクションにわたる平均、アクションに関連付けられた最大加速度など)、別のオブジェクトまたは車両からの距離などに関連付けられた情報を表すことができる。
いくつかの例において、環境100の離散化された表現114は、時間に関連付けられたグリッドを表し得る。例えば、離散化された表現114は、歩行者104の周囲の25メートル×25メートルの領域(または他のサイズの領域)を表す、21×21グリッド(またはJ×Kサイズのグリッド)を表すことができる。いくつかの例において、離散化された表現114は、第1の時刻において歩行者104を含む中心を有してもよく、歩行者104が初期位置から移動するにつれて、時間的に進行し得る。離散化された表現114の詳細は、図3および図4、ならびにおよび他の箇所に関して論じられる。
いくつかの例において、離散化された表現114は、多数のセル、例えば、セル126およびセル128などを含む。各セルは、歩行者104が将来(例えば、第1の時刻の後の第2の時刻)にセルのロケーションに存在することになる確率を含むことができる。例えば、より詳細に以下に解説されるように、モデル108は、セル126が横断歩道106Aに関連付けられ、セル128が横断歩道106Bに関連付けられると決定し、それぞれのセルロケーションに関連付けられた確率に少なくとも部分的に基づいて、予測される軌道110Aおよび110Bを出力し得る。いくつかの例において、セル126およびセル128は、(例えば、図1において陰影を付けられたセルとして示される)将来の時刻の前の先行する時刻におけるオブジェクトのロケーションに基づいて、第1の時刻におけるオブジェクト104の第1の位置からのオフセットを表すそれぞれのロケーションに関連付けられる。例えば、図1において、セルの陰影は、離散化された表現114において、現在の位置からセル126などのロケーションへの歩行者の可能な経路を示してもよく、これは、目的地、すなわち、横断歩道106Aに関連付けられる。
いくつかの例において、予測される軌道110Aおよび110Bは、第1の時間におけるオブジェクト104の位置と、第2の時刻における確率に関連付けられたロケーションとを補間することに少なくとも部分的に基づいて、モデル108によって決定され得る。例えば、モデル108は、離散化された表現114の異なる領域にわたる異なる時刻におけるオブジェクト104の位置を補間してもよい。
いくつかの例において、機械学習モデル108は、複数の離散化された表現を出力することができ、複数の離散化された表現の離散的表現は、将来の特定の時刻(例えば、0.5秒、1秒、3秒、5秒、10秒後等)におけるオブジェクトに関連付けられた確率予測を表すことができる。
いくつかの例において、モデル108は、歩行者104が予測される軌道110Aを使用するか、または予測される軌道110Bを使用するかを示すための重み(例えば、確率)を決定し得る。重みを決定する詳細は、図3および他の箇所において論じられる。モデル108は、予測される軌道および関連付けられた重みを、歩行者104の意図を決定することになる付加的なモデルに送り得る。しかしながら、いくつかの例において、付加的なモデルによって提供される機能性は、モデル108によって行われてもよい。歩行者104の意図を決定するために使用されるモデルの詳細は、図5および他の箇所に関して論じられる。
様々な例において、車両コンピューティングシステムのプランニング構成要素および/または知覚構成要素は、モデル108および/または付加的なモデルのうちの1つまたは複数からの出力(例えば、意図、予測される軌道、重み等)に基づいて、自律車両についての1つまたは複数の候補軌道を決定し得る。いくつかの例において、候補軌道は、車両102が(例えば、知覚時における)現在位置からおよび/または進行方向に基づいて進行し得る、任意の数の潜在的な経路を含んでもよい。いくつかの例において、歩行者104のうちの1人についての潜在的な経路は、静止したままであることを含んでもよい。そのような例において、対応する軌道は、運動がほとんどないことまたは全くないことを表し得る。いくつかの例において、軌道の数は、多種多様な要素、例えば、オブジェクトの分類(例えば、オブジェクトのタイプ)、他の静的なオブジェクトおよび/または動的なオブジェクト、運転可能な平面等などに依存して変わり得る。いくつかの例において、1つまたは複数の候補軌道は、機械学習技法を利用して決定されてもよい。
図2は、本明細書において説明される技法を実装するために、機械学習されたモデルによって使用可能な環境の例示的な上から見た表現である。少なくとも1つの例において、車両102の車両コンピューティングシステムは、機械学習されたモデル108を実装して、環境の上から見た表現112を表すデータを処理し得る。このようにして、モデル108は、データを使用して、上から見た図を使用しないアプローチと対比して、車両102のコンテキストをより良好にキャプチャし得る。
上述したように、上から見た表現112は、第1のチャネル116、第2のチャネル118、および第3のチャネル120を含むマルチチャネル画像を含む。図2に示されるように、上から見た表現112は、第4のチャネル204、第5のチャネル206、および第6のチャネル208をさらに含む。
いくつかの例において、第4のチャネル204は、交通情報210(例えば、T1)に対応する信号機許容性情報(例えば、他の車両および歩行者と共に交差点に入る許可を示す信号機状態)を表すことができる。いくつかの例において、多数の交通信号機または交通信号は、第4のチャネルに関連付けられてもよく、それにより、第4のチャネル204は、環境内の各交通信号機または信号についての付加的な交通情報を含み得る。いくつかの例において、交通情報210は、モデル108によって、第2のチャネル118の横断歩道許可と組み合わせて使用されて、(例えば、自動車が横断歩道に関して優先権を有するかを知るために)横断歩道信号または信号機だけでなく、交通信号機も与えられると、いつ横断歩道を渡ることが可能かを決定することができる。
いくつかの例において、第5のチャネル206は、向き情報212(例えば、O1)に対応する、オブジェクト104の向き(例えば、ロール、ピッチ、ヨー)を表すことができる。いくつかの例において、第6のチャネル208は、属性情報214(例えば、A1)に対応する、オブジェクトの属性(例えば、走ること、歩くこと、うずくまることのようなオブジェクトアクション、オブジェクトロケーション履歴、オブジェクト速度履歴、オブジェクト方向履歴など)を表すことができる。いくつかの例において、オブジェクトの属性は、環境の特定の領域に関する履歴的挙動を含んでもよい。オブジェクト属性は、1つまたは複数のモデルを実装する車両コンピューティングシステムによって決定されてもよく、オブジェクトのアクション、位置、またはサブ分類のうちの1つまたは複数を含んでもよい。例えば、オブジェクト104の属性は、デバイスを見ている、車両102を見ている、座っている、歩いている、走っている、車両に入る、車両から出る歩行者などを含んでもよい。いくつかの例において、属性情報214は、オブジェクトタイプ、例えば、歩行者、車両、モペット、自転車等などを含んでもよい。
いくつかの例において、上から見た表現112の付加的なチャネルは、車両102にとっての運転可能な平面、気象特性、および/または環境的特性を表し得る。
データによって表される環境の上から見た表現112は、歩行者の周囲に関するより多くの情報、例えば、歩行者の経路を別の歩行者が妨げているかどうかなどを提供することによって、歩行者または他のオブジェクトが関連付けられ(例えば、面し、および/または向かって移動し)得る方向および/または目的地に関する予測も改善し得る。例えば、第3のチャネル120を含めることによって、速度情報122および方向情報124が、モデル108によって処理されることが可能である。
いくつかの例において、モデル108への入力は、車両のセンサデータにおいて表されるオブジェクトの個々の画像またはトリミングされた画像フレームに関連付けられたデータを含むことができる。車両が環境をナビゲートするにつれて、付加的な画像が、異なる時刻についてキャプチャされ、機械学習されたモデル108への入力として提供される。いくつかの例において、画像フレームは、同じ縮尺にトリミングされ、それにより、各画像は、モデル108の入力に含まれる場合、同じサイズ(同じアスペクト比等)を含む。
図3は、例示的な機械学習されたモデルが、環境の離散化された表現を決定し得る、環境300内の例示的な自律車両(車両102)の図である。少なくとも1つの例において、車両102の車両コンピューティングシステムは、機械学習されたモデル108を実装して、環境300の離散化された表現114を出力し得る。
上述したように、いくつかの例では、離散化された表現114は、歩行者104が将来にセルのそれぞれのロケーションに存在することになるそれぞれの確率を含む、セル126および128などの多数のセルを含む。図3に示されるように、モデル108は、予測される軌道110Aと、歩行者104がセル128に対応するロケーションへ進行することになるかどうかを示すための重み302A(例えば、第1の重み)とを決定し、予測される軌道110Bと、歩行者104がセル126に対応するロケーションへ進行することになるかどうかを示すための重み302B(例えば、第2の重み)とを決定し得る。いくつかの例において、車両102の車両コンピューティングシステムは、モデル108から離散化された表現114を受け取ることに基づいて、歩行者104についての軌道および/または重みを決定し得る。
いくつかの例において、離散化された表現114内のセルのロケーションは、オフセット(例えば、オブジェクトが将来の時刻にどこに存在することになるかの予測)を表し得る。例えば、離散化された表現114は、オフセット技法が、例えば4秒後の歩行者104のロケーションを決定し、現在の時刻における現在の位置から将来の時刻においてセルに関連付けられたロケーションへのオフセットを決定することを可能にし得る。そのような例において、モデル108(または車両コンピューティングシステムの他の構成要素)は、オフセットに少なくとも部分的に基づいて、内部点、または通過点を決定し得る。オフセット技法を使用してオブジェクトの目的地を知ることによって、モデル108は、車両プランニングにおいて使用するための予測される軌道を提供し得る。いくつかの例において、予測される軌道(例えば、110Aまたは110B)は、セルのロケーションへの方向を識別するだけでなく、離散化された表現114に基づいてセルへの距離も識別し得る。
いくつかの例において、予測される軌道110Aおよび110Bは、モデル108によって、第1の時刻における歩行者104の位置と、第2の時刻における確率に関連付けられたロケーション(例えば、セル126またはセル128のロケーション)とを補間することに少なくとも部分的に基づいて、決定され得る。例えば、モデル108は、離散化された表現114の異なる領域にわたる異なる時刻における歩行者104の位置を補間し、補間に基づいて、1つまたは複数の予測される軌道を決定してもよい。そのような例において、補間することは、ある時間期間にわたる歩行者104の位置における変化から、データ点のセットを推定することを含み得る。いくつかの例において、モデル108は、線形補間アルゴリズムを実装して、予測される軌道を決定してもよい。
いくつかの例において、第1の重みまたは第2の重みは、1つまたは複数のセルに関連付けられた確率の集約に少なくとも部分的に基づいて決定され得る。例えば、予測される軌道110Aと重複または交差する各セルについての確率(例えば、分類確率)は、重み302Aを決定するために組み合わされてもよい。いくつかの例において、モデル108は、オブジェクトの予測される軌道によって重複または交差される各セルについての確率の平均値に少なくとも部分的に基づいて、第1の重みまたは第2の重みを決定し得る。様々な例において、オブジェクトに関連付けられた画素が、セルの側面の境界の閾値範囲にあることに基づいて、セルは、それぞれの軌道と重複または交差しているものと考慮され得る。
限定ではなく、例として、重み302Aは、60%の値を含んでもよく、一方で、重み302Bは、40%の値を含んでもよい。したがって、歩行者104は、セル126に到達するために、予測される軌道110Aを使用する可能性が60%あり、セル128に到達するために、予測される軌道110Bを使用する可能性が40%ある。モデル108によって出力される軌道および重みは、プランナー考慮(例えば、車両102によってアクションを決定すること)において使用するために、車両102のプランニング構成要素へ送られ得る。
いくつかの例において、モデル108は、セル128のロケーションが横断歩道106Bに関連付けられ、およびセル126が横断歩道106Aに関連付けられると決定し得る。例えば、モデル108は、地図データおよび/またはセンサデータを受け取り、セル128およびセル126のロケーションに関連付けられる意味論的な目的地を決定してもよい。
様々な例において、車両コンピューティングシステムは、オブジェクトの実際のロケーションに関連付けられたセンサデータを記憶し、このデータを訓練データとして使用して、モデル108を訓練し得る。例えば、記憶されたセンサデータは、モデル108によって取り出され、オブジェクトのキューを識別する(例えば、オブジェクトの特徴、属性、または体勢を識別する)ために入力データとして使用されてもよい。いくつかの例において、車両コンピューティングシステムは、データ分析のために、遠隔コンピューティングデバイス(例えば、車両コンピューティングシステムとは別個のコンピューティングデバイス)にデータを提供し得る。そのような例において、遠隔コンピューティングシステムは、センサデータを分析して、オブジェクトの画像についての1つまたは複数のラベル、実際のロケーション、速度、進行方向等を決定し得る。いくつかのそのような例(例えば、歩行者の意図が決定される例)において、ログの期間にわたる向きのグラウンドトゥルース位置が決定され(手動でラベル付けされ、または別の機械学習されたモデルによって決定され)てもよく、そのようなグラウンドトゥルース位置は、歩行者の実際の意図(例えば、歩行者は立ったままであるか、道路を渡ったか、走り始めた/走り続けたか、歩き始めた/歩き続けたか等)を決定するために使用され得る。いくつかの例において、対応するデータは、出力(例えば、意図、軌道、重み等)を決定するためにモデルに入力され、オブジェクトによる決定された出力と実際のアクションとの間の差は、モデルを訓練するために使用され得る。
図4は、例示的な機械学習されたモデルによって出力される環境の例示的な離散化された表現を描く。少なくとも1つの例において、車両102の車両コンピューティングシステムは、機械学習されたモデル108を実装して、第1の時刻、すなわちT1における環境300の離散化された表現412と、第1の時間T1の後の第2の時刻、すなわちT2における環境300の離散化された表現414とを出力し得る。
図4の例において、離散化された表現412は、時刻T1における、車両102のロケーション、歩行者104のロケーション、歩行者が横断歩道106Aおよび106Bに到達するためのそれぞれの重み付けされた軌道416Aおよび416Bを含む。重み付けされた軌道416Aは、予測される軌道110Aおよび重み302Aを表す。したがって、重み付けされた軌道416Aは、歩行者104の方向、歩行者104の加速度、歩行者104が第2の時刻に第1の目的地(例えば、横断歩道106A)に到達する第1の可能性、および歩行者104が第2の時刻に第2の目的地(例えば、横断歩道106B)に到達する第2の可能性を示す。例として、重み付けされた軌道416Aおよび重み付けされた軌道416Bは、歩行者が、重み付けされた軌道416Aまたは重み付けされた軌道416Bのいずれかを使用する等しい確率を有することを示すために、値0.5に関連付けられる(数値的な値以外に、確率を表すための他の値、シンボル、および表現も想定される)。例えば、重み付けされた軌道416Aおよび重み付けされた軌道416Bは、相対的な優先度(例えば、低い、中間、高い)および/または他の優先度(例えば、第1、第2、第3等)に関連付けられてもよい。重み付けされた軌道416Aおよび416Bに関する情報は、モデル108によって、プランナー考慮のために、車両102の車両コンピューティングシステムへ送られ得る。
図4に示されるように、離散化された表現414は、車両がロケーションを変更したことを示すために、時刻T1と異なる時刻T2における車両102のロケーションを含む。例えば、車両コンピューティングシステムは、時刻T2に対応する付加的な入力データを受け取り、環境内の歩行者104および他のオブジェクトのロケーションにおける変化を表すための離散化された表現414を決定し得る。いくつかの例において、モデル108は、歩行者が時刻T2において横断歩道106Aおよび106Bに到達するための重み付けされた軌道418Aおよび418Bをそれぞれ決定する。重み付けされた軌道418Aおよび418Bは、時刻T2における歩行者104についての新しい予測される軌道および関連付けられた重みを表し得る。例として、重み付けされた軌道418Aは、歩行者104が横断歩道106Aに到達する0.7の重みを有することを示しており、これは、車両が歩行者104のより近くに移動しており(歩行者104は必ずしも移動したとは限らない)、(先行する時刻と比較した)より正確な軌道予測のために新しい入力データを処理したと考慮すれば、驚くことではない。図4に示されるように、重み付けされた軌道418Bは、歩行者が横断歩道106Aよりも横断歩道106Bに到達する確率がより低いことを示すために、値0.3に関連付けられる。
いくつかの例において、機械学習モデル108は、将来の特定の時刻(例えば、0.5秒、1秒、3秒、5秒、10秒後等)におけるオブジェクトおよび1つまたは複数の目的地に関連付けられた確率予測を表することができる、複数の重み付けされた軌道を出力することができる。この場合において、離散化された表現414は、将来の時刻、例えば2秒後についての、重み付けされた軌道418Aおよび418Bを決定してもよい。
いくつかの例において、時刻T1と時刻T2との間の時間期間は、変えることができ、5Hzで1秒間隔(5フレーム分の入力)を表してもよい。
図5は、例示的な機械学習されたモデルが、データを処理して、軌道についての意図、軌道タイプ、またはオブジェクトを決定し得る、環境500内の自律車両の図である。車両102は、環境500内のオブジェクトの意図を決定するように構成された、機械学習されたモデル502を含み得る。別個の機械学習されたモデルとして説明されているが、いくつかの例において、本明細書において説明される挙動予測技法は、他の車両システム、構成要素、および/またはコンピューティングデバイスによって実装されてもよい。例えば、本明細書において説明される挙動予測技法は、少なくとも部分的に、車両コンピューティングシステム604のモデル構成要素630および/もしくはプランニング構成要素624によって、または車両コンピューティングシステム604のモデル構成要素630および/もしくはプランニング構成要素624に関連して、実装され得る。
いくつかの例において、機械学習されたモデル502(例えばモデル502)は、例えばモデル108から、軌道および重みを入力として受け取り、環境500の1つまたは複数の特徴(例えば、目的地、道路、オブジェクト等)を表す地図データを含む入力データをさらに受け取り得る。いくつかの例において、第1のモデルからの多数の軌道および重みは、処理のためにモデル502によって受信され得る。
いくつかの例において、モデル502は、車両コンピューティングシステムのプランニング構成要素から、軌道および重みを受け取り得る。例えば、プランニング構成要素は、候補軌道と、候補軌道が車両102によって使用される可能性を示す重みとを送ってもよい。いくつかの例において、プランニング構成要素からの軌道は、回帰技法(例えば、2つ以上の変数間の関係を推定または測定する技法)に少なくとも部分的に基づき得る。いくつかの例において、モデル502は、重みに少なくとも部分的に基づいた候補軌道についての意図を出力し、出力の表示を車両102へ送り得る。回帰技法を使用して軌道を生成する付加的な詳細は、2019年3月25日に出願され、「Pedestrian Prediction Based On Attributes」と題された特許文献5において説明されており、特許文献5は、参照によって本明細書に組み込まれている。
いくつの例において、モデル502は、プランニング構成要素から軌道および重みを受け取り、モデル108からも軌道および重みを受け取り、プランニング構成要素および/またはモデル108から受け取られた1つまたは複数の軌道に関連付けるべき、1つまたは複数の意図を決定し得る。様々な例において、プランニング構成要素からの軌道(例えば、第1の軌道)は、第2の軌道に関連付けられた意味論的な目的地とは異なる意味論的な目的地に関連付けられ得る。いくつかの例において、第1の意味論的な目的地は、車両102の環境内の第1の領域を含んでもよく、第2の意味論的な目的地は、車両102の環境内の第2の領域を含んでもよい。いくつかの例において、モデル108からの軌道は、分類技法(例えば、入力をクラスまたはカテゴリにマッピングする技法)に少なくとも部分的に基づいて決定され得る。モデル108によって分類技法に基づいて軌道を決定することによって、いくつかの非分類アプローチと対比して、不正確な軌道(例えば、共通の軌道への崩壊)を低減する決定が行われることが可能である。いくつかの例において、モデルは、UNetバックボーンとソフトマックスアクティベーション出力とをさらに備える機械学習されたモデルを含む。UNetバックボーンは、特に、2つ以上の源からの2つ以上の入力(例えば、第1のモデルからの予測される軌道、および第2のモデルからの候補軌道)を受け取り、同様の解像度を有する出力が望まれる場合に、例えば、モデル502による出力の解像度を改善し得る。
いくつかの例において、モデル502は、車両コンピューティングシステムによって検出されたオブジェクトおよび/またはオブジェクトタイプの表示を受け取り得る。例えば、車両コンピューティングシステムは、オブジェクトが歩行者(例えば、歩行者510、520、524、526、および528など)、自転車(例えば、自転車乗用者508および512など)、車両、動物等であることを示すデータをモデル502に提供し、いくつかの場合においては、重み付けされたオブジェクトタイプ(例えば、オブジェクトは、歩行者である確率が80%であり、自転車である確率が20%である)をさらにまたは代わりに示し得る。
モデル502は、いくつかの例において、地図データを処理して、受け取られた軌道に関連付けられた環境500内の1つまたは複数の目的地、例えば、横断歩道504および514などを決定し得る。いくつかの例において、目的地は、道路、歩道、自転車車線、道路セグメント、横断歩道、建物、バスレーン等のうちのいずれか1つを含んでもよい。例えば、モデルは、道路に沿って進行するバスなどのオブジェクトが、将来の時刻においてバス車線内で停止することになるか、道路内にとどまってバス車線(例えば、搭乗者に到達するための、道路に隣接する車線)には入らないことになるかを決定するために使用されてもよい。
いくつかの例において、モデル502は、軌道に関連付けられた目的地に少なくとも部分的に基づいて、軌道に関連付けるべき意図を決定し得る。例えば、決定された目的地に基づいて、モデル502は、軌道についての意図を示すデータを出力してもよい。例えば、モデル502によって決定された1つまたは複数の意図は、モデル502によって出力される軌道および/または軌道タイプに関連付けられ得る。例えば、モデルは、道路セグメントを示す地図データに基づいて、道路に対するオブジェクトのロケーションを決定し、ロケーションを使用して、道路軌道タイプまたは自由な軌道タイプのうちの少なくとも1つとして、軌道タイプを決定し得る。例えば、道路軌道タイプは、オブジェクトのロケーションが(地図データによって決定されるような)道路セグメント内に存在すること、道路の閾値距離(例えば、車線の境界)に基づいて、オブジェクトに関連付けられてもよい。いくつかの例において、自由な軌道タイプは、道路ジオメトリ(例えば、道路セグメント内部、道路セグメント外部または道路セグメントからの閾値距離)と独立して移動し得るオブジェクトに関連付けられ得る。オブジェクト意図は、道路境界に対するオブジェクトのロケーションに応じて変わり得る。いくつかの例において、歩行者は、道路上に存在する場合、歩行者による道路から離れる動きを予測するためのより高い柔軟性をモデル502に与えるために、(例えば、速度閾値が満たされないことに起因して)道路軌道ではなく、自由な軌道を有し得る(例えば、歩行者が道路から離れる方向に向かうことになるという予測を限定し得る道路軌道に対して、歩行者が移動し得るより可能性が高い方向を予測する)。
いくつかの例において、モデル502は、環境内の領域に対するオブジェクトの近接性に少なくとも部分的に基づいて、環境内のオブジェクトの意図を決定し得る。例えば、違法な道路横断意図は、オブジェクトが車両以外のものであり、道路などの領域内に存在することに基づいて決定されてもよい。別の例証的な例において、領域は、横断歩道、歩道、自転車車線等に対応し得る。いくつかの例において、環境内の領域は、環境を表す地図データに関連付けられた道路セグメントを含んでもよい。
一般に、モデル502は、オブジェクトが横断歩道に入ろうと意図しているかどうか(例えば、横断歩道意図)、横断歩道の外部であって道路内を進行しようと意図しているかどうか(例えば、違法な道路横断意図)、および/または横断歩道の外部であって道路の外部を進行しようと意図しているかどうか(例えば、オフロード意図)を決定し得る。例えば、モデルは、意図が、自律車両の環境内のオブジェクトが道路セグメントに沿って進行しようとする意図、オブジェクトが道路セグメントの近くの外部を進行しようとする意図、オブジェクトが横断歩道内を進行しようとする意図、またはオブジェクトが横断歩道の境界の外部を進行しようとする意図のうちの少なくとも1つを含むと決定してもよい。
様々な例において、機械学習されたモデル502は、オブジェクトの意図を軌道タイプに関連付け得る。限定ではなく、例として、自転車乗用者508は、道路軌道516に関連付けられてもよく、自転車乗用者512は、横断歩道意図518を有する道路軌道に関連付けられてもよい。図5は、機械学習されたモデル502が、歩行者510(または歩行者のための軌道)を横断歩道意図506を有する自由な軌道に関連付け、歩行者520をオフロード意図を有する自由な軌道に関連付け、歩行者524、526、および528を違法な道路横断意図530を有する自由な軌道に関連付けることも描く。
いくつかの例において、モデル502は、オブジェクト(またはオブジェクトの軌道)を多数の意図に関連付け、オブジェクトまたは軌道についての各意図に関連付けられた重みを出力し得る。例えば、歩行者520は、オフロード意図522を有する自由な軌道と、例示の目的のために、歩行者がオフロード意図を有する90%の確率を示すために0.9の重みとを有してもよい。ここで、モデル502は、歩行者520が違法な道路横断意図(例えば、歩行者520は方向を変更し、道路に入る)を有する10%の確率を示すために、歩行者520の自由な軌道が0.1の重みを有するという表示も出力し得る。したがって、モデル502によって出力される重み付けされた意図は、オブジェクトまたは軌道に関連付けられ得る。
モデル502は、出口ジャンクション532についての軌道(例えば、道路と、横断歩道などの別のロケーションとの間の変化)を決定するようにさらにまたは代わりに構成され得る。例えば、モデル502(または別のモデル)は、軌道を入力として受け取り、出口ジャンクション532に固有の軌道(例えば、意図に関連付けられた目的地の終了)を出力するように構成される。図5に示されるように、モデル502(または別のモデル)は、軌道を入力として受け取り、自転車乗用者512が横断歩道514を出た後の将来の時刻において道路へ戻る場合のために、出口ジャンクション532に固有の自転車乗用者512についての軌道を出力するように構成され得る。
いくつかの例において、車両コンピューティングシステムは、第1の軌道に関連付けられた第1の重みまたは第2の軌道に関連付けられた第2の重みのうちの一方が、第1の重みおよび第2の重みのうちの他方よりも大きいと決定し得る。例えば、第1の軌道は、プランニング構成要素からの候補軌道に関連付けられてもよく、第2の軌道は、モデル108からの予測される軌道に関連付けられてもよい。いくつかの例において、車両コンピューティングシステムは、第1の重みが第2の重みよりも大きいと決定することに応答して、第1の軌道に少なくとも部分的に基づいて環境内の自律車両を制御すること、または、第2の重みが第1の重みよりも大きいと決定することに応答して、第2の軌道に少なくとも部分的に基づいて環境内の自律車両を制御することのうちの少なくとも1つを行い得る。
一般に、モデル502および/またはモデル108による出力(例えば、重み、軌道、軌道タイプ、および/または意図)は、車両のプランニング構成要素に通信されてよく、車両のプランニング構成要素は、次いで、出力に少なくとも部分的に基づいて、車両のため候補軌道を決定し得る。プランニング構成要素は、例えば、オブジェクトが自由な軌道タイプとは対照的に道路軌道タイプに関連付けられているかどうか、候補軌道を異なる形で決定してもよい(各タイプは、車両102についてのアクションを生成するために、車両コンピューティングシステムによって使用可能な異なるアルゴリズム、パラメータ、および/または設定に関連付けられ得る)。軌道タイプを識別することによって、プランニング構成要素は、候補軌道を決定する場合に、例えば、アルゴリズムまたはパラメータの異なるセットを実装し得る。これは、プランナーが軌道タイプを処理しない場合よりも、プランナーがより多くの詳細を有する軌道をより迅速に生成することをもたらすことができる。
図6は、本明細書において説明される技法を実装するための例示的なシステム600のブロック図である。車両602は、車両コンピューティングシステム604、1つまたは複数のセンサシステム606、1つまたは複数のエミッタ608、1つまたは複数の通信接続部610、少なくとも1直接接続部612、および1つまたは複数の駆動システム614を含み得る。
車両コンピューティングシステム604は、1つまたは複数のプロセッサ616と、1つまたは複数のプロセッサ616に通信可能に結合されたメモリ618とを含み得る。例証される例において、車両602は自律車両である。ただし、車両602は、半自律車両などの任意の他のタイプの車両、または少なくとも画像キャプチャデバイス(例えば、カメラ付きスマートフォン)を有する任意の他のシステムであってもよい。例証される例において、車両コンピューティングシステム604のメモリ618は、位置特定構成要素620、知覚構成要素622、プランニング構成要素624、1つまたは複数のシステムコントローラ626、1つまたは複数の地図628、および、1つまたは複数のモデル、例えば第1のモデル632A、第2のモデル632BからN番目のモデル632Nまで(まとめて「モデル632」)などを含むモデル構成要素630を記憶し、ただし、Nは、1よりも大きい任意の整数とすることができる。例証の目的のために、メモリ618内に存在するものとして図6に描かれているが、位置特定構成要素620、知覚構成要素622、プランニング構成要素624、1つもしくは複数のシステムコントローラ626、1つもしくは複数の地図628、および/または、モデル632を含むモデル構成要素630は、付加的に、または代替として、車両602に対してアクセス可能である(例えば、車両602から遠隔のメモリ、例えば、遠隔コンピューティングデバイス636のメモリ634などに記憶され、または他の方法で、車両602から遠隔のメモリによってアクセス可能である)ことが想定される。
少なくとも1つの例において、位置特定構成要素620は、センサシステム606からデータを受け取って、車両602の位置および/または向き(例えば、x位置、y位置、z位置、ロール、ピッチ、またはヨーのうちの1つまたは複数)を決定するための機能性を含み得る。例えば、位置特定構成要素620は、地図628および/または地図構成要素638からなどの環境の地図を含みおよび/または要求し/受け取り得、地図内の自律車両のロケーションおよび/または向きを連続的に決定し得る。いくつかの例において、位置特定構成要素620は、SLAM(同時の位置特定およびマッピング)、CLAMS(同時の較正、位置特定およびマッピング)、相対的SLAM、バンドル調整、非線形最小二乗最適化等を利用して、画像データ、ライダーデータ、レーダデータ、IMUデータ、GPSデータ、ホイールエンコーダデータ等を受け取って、自律車両のロケーションを正確に決定し得る。いくつかの例において、位置特定構成要素620は、車両602の様々な構成要素にデータを提供して、本明細書において論じられるように、車両602に対するオブジェクトの関連性を決定するために自律車両の初期位置を決定し得る。
いくつかの例において、知覚構成要素622は、オブジェクト検出、セグメント化、および/または分類を行うための機能性を含み得る。いくつかの例において、知覚構成要素622は、車両602に近接したオブジェクト(例えば、エンティティ)の存在、および/またはオブジェクトタイプ(例えば、自動車、歩行者、サイクリスト、動物、建物、樹木、道路表面、縁石、歩道、未知等)としてのオブジェクトの分類を示す、処理されたセンサデータを提供し得る。いくつかの例において、知覚構成要素622は、車両602に近接した静止エンティティの存在、および/またはタイプ(例えば、建物、樹木、道路表面、縁石、歩道、未知等)としての静止エンティティの分類を示す、処理されたセンサデータを提供し得る。付加的な例または代替的な例において、知覚構成要素622は、検出されたオブジェクト(例えば、追跡されるオブジェクト)および/またはオブジェクトが位置する環境に関連付けられた1つまたは複数の特徴を示す、処理されたセンサデータを提供してもよい。いくつかの例において、オブジェクトに関連付けられた特徴は、x位置(グローバル位置および/またはローカル位置)、y位置(グローバル位置および/またはローカル位置)、z位置(グローバル位置および/またはローカル位置)、向き(例えば、ロール、ピッチ、ヨー)、オブジェクトタイプ(例えば、分類)、オブジェクトの速度、オブジェクトの加速度、オブジェクトの大きさ(サイズ)等を含んでもよいが、これらに限定されない。環境に関連付けられた特徴は、環境内の別のオブジェクトの存在、環境内の別のオブジェクトの状態、時刻、曜日、季節、気象条件、暗さ/光の表示等を含んでもよいが、これらに限定されない。
一般に、プランニング構成要素624は、車両602が環境を横断するために従うべき経路を決定し得る。例えば、プランニング構成要素624は、様々なルートおよび軌道、ならびに様々なレベルの詳細を決定してもよい。例えば、プランニング構成要素624は、第1のロケーション(例えば、現在のロケーション)から第2のロケーション(例えば、ターゲットロケーション)へ進行するためのルートを決定してもよい。この論考の目的のために、ルートは、2つのロケーション間を進行するための通過点のシーケンスを含み得る。非限定的な例として、通過点は、街路、交差点、全地球測位システム(GPS)座標等を含む。さらに、プランニング構成要素624は、自律車両を第1のロケーションから第2のロケーションへのルートの少なくとも一部に沿って案内するための命令を生成し得る。少なくとも1つの例において、プランニング構成要素624は、通過点のシーケンス内の第1の通過点から通過点のシーケンス内の第2の通過点へ自律車両をどのように案内するかを決定し得る。いくつかの例において、命令は、軌道、または軌道の一部であり得る。いくつかの例において、多数の軌道は、後退地平線技法に従って実質的に同時に(例えば、技術的な許容範囲内で)生成されてもよく、多数の軌道のうちの1つが、車両602をナビゲートするために選択される。
いくつかの例において、プランニング構成要素624は、環境内のオブジェクト(例えば、オブジェクト)の予測される軌道を生成するために予測構成要素を含み得る。例えば、予測構成要素は、車両602から閾値距離内のオブジェクトのための1つまたは複数の予測される軌道を生成してもよい。いくつかの例において、予測構成要素は、オブジェクトの軌跡を測定し、観察および予測された挙動に基づいて、オブジェクトについての軌道を生成し得る。
少なくとも1つの例において、車両コンピューティングシステム604は、1つまたは複数のシステムコントローラ626を含んでもよく、1つまたは複数のシステムコントローラ626は、車両602のステアリング、推進力、制動、安全性、エミッタ、通信、および他のシステムを制御するように構成され得る。システムコントローラ626は、車両602の駆動システム614の対応するシステムおよび/もしくは他の構成要素と通信し、ならびに/またはこれらを制御し得る。
メモリ618は、環境内でナビゲートするために車両602によって使用され得る、1つまたは複数の地図628をさらに含み得る。この論考の目的のために、地図は、例えば、トポロジー(交差点など)、街路、山脈、道路、地形、および環境一般などの、ただし、これらに限定されない、環境に関する情報を提供することが可能な二次元、三次元、またはN次元においてモデル化された任意の数のデータ構造とし得る。いくつかの例において、地図は、テクスチャ情報(例えば、色情報(例えば、RGB色情報、Lab色情報、HSV/HSL色情報)等)、強度情報(例えば、ライダー情報、レーダ情報等)、空間情報(例えば、メッシュ上に投影された画像データ、個々の「サーフェル(surfels)」(例えば、個々の色および/または強度に関連付けられた多角形))、反射率情報(例えば、鏡面反射率情報、再帰反射率情報、BRDF情報、BSSRDF情報等)を含み得るが、これらに限定されない。一例において、地図は、環境の三次元メッシュを含んでもよい。いくつかの例において、車両602は、地図628に少なくとも部分的に基づいて制御され得る。すなわち、地図628は、位置特定構成要素620、知覚構成要素622、および/またはプランニング構成要素624と関連して使用されて、車両602のロケーションを決定し、環境内のオブジェクトを検出し、ルートを生成し、環境内でナビゲートするためのアクションおよび/または軌道を決定し得る。
いくつかの例において、1つまたは複数の地図628は、ネットワーク640を介してアクセス可能な遠隔コンピューティングデバイス(コンピューティングデバイス636など)に記憶され得る。いくつかの例において、多数の地図628は、例えば、特性(例えば、エンティティのタイプ、時刻、曜日、その年の季節等)に基づいて、記憶され得る。多数の地図628を記憶することは、同様のメモリ要件を有し得るが、地図内のデータがアクセスされ得る速度を増加させ得る。
図6に示されるように、車両コンピューティングシステム604は、モデル構成要素630を含み得る。モデル構成要素630は、オブジェクトの予測される軌道、予測される軌道に関連付けられた重み、オブジェクトの意図、軌道の意図、および/または軌道タイプの意図、例えば、図1のモデル108および図5のモデル502などを決定するように構成され得る。様々な例において、モデル構成要素630は、環境の上から見た図を表すデータを受け取り得る。いくつかの例において、モデル構成要素630は、知覚構成要素622および/またはセンサシステム606から、環境特性(例えば、環境要素等)および/または気象特性(例えば、雪、雨、氷等などの気象要素)を受け取ってもよい。図6においては別々に示されているが、モデル構成要素630は、車両602の知覚構成要素622、プランニング構成要素624、または他の構成要素の一部であってもよい。
様々な例において、モデル構成要素630は、車両602のための1つまたは複数の候補軌道(例えば、進行方向、速度等)を生成するために、プランニング構成要素624によって使用される第1のモデル632A、第2のモデル632B、および/またはN番目のモデル632Nからの出力を送り得る。いくつかの例において、プランニング構成要素624は、車両602についての1つまたは複数のアクション(例えば、基準アクションおよび/またはサブアクション)を決定し得る。いくつかの例において、モデル構成要素630は、将来の時刻におけるオブジェクトのための軌道および重みを決定するために車両コンピューティングシステム604によって使用可能な離散化された表現を出力するように構成され得る。いくつかの例において、軌道は、離散化された表現のセルに少なくとも部分的に基づき得る。いくつかの例において、プランニング構成要素624は、環境特性、気象特性等などに基づいて、環境に適用可能なアクションを決定するように構成され得る。
いくつかの例において、第1のモデル632A、第2のモデル632B、および/またはN番目のモデル632Nは、異なるオブジェクトのために構成され得る。例えば、第1のモデル632Aは、歩行者についての意図を決定するために車両コンピューティングシステム604によって実装されてもよく、第2のモデル632Bは、自転車乗用者についての意図を決定するために実装されてもよい。
様々な例において、モデル構成要素630は、機械学習技法を利用して、図1~図5および他の箇所に関して説明されるように、車両の周囲の環境を描く画像内のオブジェクトの挙動予測を決定し、および/または環境内のオブジェクトの挙動予測を決定し得る。そのような例において、機械学習アルゴリズムは、環境内の車両に関するオブジェクトの1つまたは複数の軌道、重み、および/または意図を決定するように訓練され得る。
いくつかの例において、モデル構成要素630は、環境の離散化された表現に基づいて、オブジェクトの予測される軌道または意図を決定し(例えば、オブジェクトの意図を推測し)得る。いくつかの例において、モデル構成要素630は、オブジェクトの体勢または先行する挙動、および、いくつかの場合においては、経時的な体勢または挙動変化に少なくとも部分的に基づいて、オブジェクト挙動を学習するように訓練され得る。したがって、一旦訓練されると、モデル構成要素630は、運転者が、オブジェクトのわずかな特徴に基づいて、オブジェクトが方向または速度を変化させることになるかどうかを知ることができるように、より少ない画像、または単一の画像から、オブジェクトの意図を決定し得る。
様々な例において、モデル構成要素630は、離散化された表現における1つまたは複数のセルに関連付けられた確率に少なくとも部分的に基づいて、重みを決定し得る。例えば、モデル構成要素630は、各セルについて、例えば400個の可能な分類のうちのいずれかを識別し、オブジェクトの予測される軌道に関連付けられた各セルにわたって確率を集約し、加算し、またはその他の方法で組み合わせ得る。そのような例において、モデル108は、離散化された表現のセルを意図クラスにマッピングし得る。
理解され得るように、本明細書において論じられる構成要素(例えば、位置特定構成要素620、知覚構成要素622、プランニング構成要素624、1つまたは複数のシステムコントローラ626、1つまたは複数の地図628、1つまたは複数のモデル、例えば、第1のモデル632A、第2のモデル632Bから、N番目のモデル632までなどを含むモデル構成要素630)は、例証の目的のために分割されたものとして説明されている。しかしながら、様々な構成要素によって行われる動作は、組み合わされてもよく、または任意の他の構成要素において行われてもよい。
いくつかの例において、本明細書において論じられる構成要素の一部または全部の態様は、任意のモデル、技法、および/または機械学習された技法を含んでもよい。例えば、いくつかの場合において、メモリ618(および、以下に論じられるメモリ634)内の構成要素は、ニューラルネットワークとして実装されてもよい。
本明細書において説明されるように、例示的なニューラルネットワークは、出力を生成するために入力データを一連の接続された層を通じて通過させる、生物学的に着想を得た技法である。ニューラルネットワーク内の各層は、別のニューラルネットワークも含んでもよく、または(畳み込みかそうでないかに関わらず)任意の数の層を含んでもよい。本開示のコンテキストにおいて理解され得るように、ニューラルネットワークは、機械学習を利用し、機械学習は、学習されたパラメータに基づいて出力が生成される、幅広いそのような技法を指し得る。
ニューラルネットワークのコンテキストにおいて論じられているが、任意のタイプの機械学習が、本開示と矛盾せずに使用され得る。例えば、機械学習技法は、回帰技法(例えば、通常の最小二乗回帰(OLSR)、線形回帰、ロジスティック回帰、段階的回帰、多変量適応回帰スプライン(MARS)、局所推定散布図平滑化(LOESS))、インスタンスベースの技法(例えば、リッジ回帰、最小絶対収縮および選択演算子(LASSO)、弾性ネット、最小角回帰(LARS))、決定木技法(例えば、分類回帰木(CART)、反復二分法3(ID3)、カイ二乗自動相互作用検出(CHAID)、決定切り株、条件付き決定木)、ベイズ技法(例えば、ナイーブベイズ、ガウスナイーブベイズ、多項式ナイーブベイズ、平均1依存性推定器(AODE)、ベイジアン信念ネットワーク(BNN)、ベイズジアンネットワーク)、クラスタリング技法(例えば、k平均法、kメジアン、期待値最大化(EM)、階層的クラスタリング)、アソシエーションルール学習技法(例えばパーセプトロン、誤差逆伝播法、ホップフィールドネットワーク、放射基底関数ネットワーク(RBFN))、深層学習技法(例えば、深層ボルツマンマシン(DBM)、深層信念ネットワーク(DBN)、畳み込みニューラルネットワーク(CNN)、積層オートエンコーダ)、次元削減技法(例えば、主成分分析(PCA)、主成分回帰(PCR)、部分最小二乗回帰(PLSR)、サモンマッピング、多次元スケーリング(MDS)、射影追跡法、線形判別分析(LDA)、混合判別分析(MDA)、二次判別分析(QDA)、柔軟判別分析(FDA))、アンサンブル技法(例えば、ブースティング、ブートストラップアグリゲーション(バギング)、アダブースト、積層一般化(ブレンディング)、勾配ブースティングマシン(GBM)、勾配ブースト回帰木(GBRT)、ランダムフォレスト)、SVM(サポートベクターマシン)、教師付き学習、教師なし学習、半教師付き学習等を含んでもよいが、これらに限定されない。アーキテクチャの付加的な例は、ResNet50、ResNet101、VGG、DenseNet、PointNet等などのニューラルネットワークを含む。
少なくとも1つの例において、センサシステム606は、ライダーセンサ、レーダセンサ、超音波振動子、ソナーセンサ、ロケーションセンサ(例えば、GPS、コンパス等)、慣性のセンサ(例えば、慣性測定ユニット(IMU)、加速度計、磁力計、ジャイロスコープ等)、カメラ(例えば、RGB、IR、強度、奥行き、飛行時間等)、マイクロフォン、ホイールエンコーダ、環境センサ(例えば、温度センサ、湿度センサ、光センサ、圧力センサ等)等を含んでもよい。センサシステム606は、これらのタイプまたは他のタイプのセンサの各々の多数のインスタンスを含み得る。例えば、ライダーセンサは、車両602の角部、前部、後部、側面、および/または上部に位置する個々のライダーセンサを含んでもよい。別の例として、カメラセンサは、車両602の外部および/または内部に関する様々なロケーションに配設された多数のカメラを含んでもよい。センサシステム606は、車両コンピューティングシステム604に入力を提供し得る。付加的に、または代替案において、センサシステム606は、特定の周波数で、所定の時間期間の経過後、ほぼリアルタイム等で、1つまたは複数のネットワーク640を介して、1つまたは複数のコンピューティングデバイス636へセンサデータを送り得る。いくつかの例において、モデル構成要素630は、センサシステム606のうちの1つまたは複数からセンサデータを受け取り得る。
車両602は、光および/または音声を放出するために1つまたは複数のエミッタ608も含み得る。エミッタ608は、車両602の搭乗者と通信するために内部オーディオエミッタおよび内部視覚エミッタを含み得る。限定ではなく、例として、内部エミッタは、スピーカ、ライト、サイン、ディスプレイ画面、タッチ画面、触覚エミッタ(例えば、振動および/または力フィードバック)、機械的アクチュエータ等(例えば、シートベルトテンショナー、座席ポジショナー、ヘッドレストポジショナー等)を含んでもよい。エミッタ608は、外部エミッタも含んでもよい。限定ではなく、例として、外部エミッタは、進行方向を知らせるためのライト、または車両アクションの他のインジケータ(例えば、インジケータライト、サイン、ライトアレイ等)、および1つまたは複数のオーディオエミッタ(例えば、スピーカ、スピーカアレイ、ホーン等)を含んで、歩行者または他の近くの車両と聞こえるように通信してもよく、他の近くの車両のうちの1つまたは複数は、音響ビームステアリング技術を含む。
車両602は、車両602と、1つまたは複数の他のローカルコンピューティングデバイスまたは遠隔コンピューティングデバイスとの間の通信を可能にする、1つまたは複数の通信接続部610も含み得る。例えば、通信接続部610は、車両602および/または駆動システム614上の他のローカルコンピューティングデバイスとの通信を容易にし得る。また、通信接続部610は、車両が、他の近くのコンピューティングデバイス(例えば、遠隔コンピューティングデバイス636、他の近くの車両等)、および/または、センサデータを受け取るために1つもしくは複数のリモートセンサシステム642と通信することを可能にし得る。通信接続部610は、車両602が、遠隔テレオペレーションコンピューティングデバイスまたは他の遠隔サービスと通信することも可能にする。
通信接続部610は、車両コンピューティングシステム604を別のコンピューティングデバイス、またはネットワーク640などのネットワークに接続するための物理的なインターフェースおよび/または論理的なインターフェースを含み得る。例えば、通信接続部610は、IEEE 802.11標準によって定義されている周波数などを介したWi-Fiベースの通信、ブルートゥースなどの短距離無線周波数、セルラー通信(例えば、2G、3G、4G、4G LTE、5G等)、または、それぞれのコンピューティングデバイスが他のコンピューティングデバイスとインターフェースすることを可能にする任意の適切な有線もしくは無線通信プロトコルを可能にすることができる。
少なくとも1つの例において、車両602は、1つまたは複数の駆動システム614を含み得る。いくつかの例において、車両602は、単一の駆動システム614を有してもよい。少なくとも1つの例において、車両602が多数の駆動システム614を有する場合、個々の駆動システム614は、車両602の対向する端部(例えば、前部および後部等)に位置付けられ得る。少なくとも1つの例において、駆動システム614は、駆動システム614および/または車両602の周囲の条件を検出するために1つまたは複数のセンサシステムを含み得る。限定ではなく、例として、センサシステムは、駆動システムのホイールの回転を感知するための1つまたは複数のホイールエンコーダ(例えば、ロータリエンコーダ)、駆動システムの向きおよび加速度を測定するための慣性センサ(例えば、慣性測定ユニット、加速度計、ジャイロスコープ、磁力計等)、カメラまたは他の画像センサ、駆動システムの周囲のオブジェクトを音響的に検出するための超音波センサ、ライダーセンサ、レーダセンサ等を含んでもよい。ホイールエンコーダなどのいくつかのセンサは、駆動システム614に固有であってもよい。いくつかの場合において、駆動システム614上のセンサシステムは、車両602の対応するシステム(例えば、センサシステム606)と重複してもよく、または対応するシステムを補完してもよい。
駆動システム614は、高圧バッテリ、車両を推進させるためのモータ、バッテリからの直流を他の車両システムによる使用のために交流に変換するためのインバータ、ステアリングモータおよびステアリングラック(これらは電動とすることができる)を含むステアリングシステム、油圧アクチュエータまたは電動アクチュエータを含むブレーキングシステム、油圧構成要素および/または空圧構成要素を含むサスペンションシステム、トラクションの損失を軽減し、制御を維持するためにブレーキ力を分配するための安定制御システム、HVACシステム、照明(例えば、車両の外周囲を照らすためのヘッド/テールライトなどの照明)、ならびに、1つまたは複数の他のシステム(例えば、冷却システム、安全システム、車載充電システム、他の電気構成要素、例えば、DC/DCコンバータ、高電圧接点、高圧ケーブル、充電システム、チャージポート等)を含む、車両システムの多くを含み得る。付加的に、駆動システム614は、センサシステムからのデータを受け取って前処理し、様々な車両システムの動作を制御し得る駆動システムコントローラを含み得る。いくつかの例において、駆動システムコントローラは、1つまたは複数のプロセッサと、1つまたは複数のプロセッサに通信可能に結合されたメモリとを含み得る。メモリは、駆動システム614の様々な機能性を行うための1つまたは複数のモジュールを記憶し得る。さらに、駆動システム614は、それぞれの駆動システムによる、1つまたは複数の他のローカルコンピューティングデバイスまたは遠隔コンピューティングデバイスとの通信を可能にする、1つまたは複数の通信接続部も含み得る。
少なくとも1つの例において、直接接続部612は、1つまたは複数の駆動システム614を車両602の本体に結合するための物理的なインターフェースを提供し得る。例えば、直接接続部612は、エネルギー、流体、空気、データ等を駆動システム614と車両との間で伝達することを可能にし得る。いくつかの例において、直接接続部612は、駆動システム614を車両602の本体にさらに解放可能に固定し得る。
少なくとも1つの例において、位置特定構成要素620、知覚構成要素622、プランニング構成要素624、1つまたは複数のシステムコントローラ626、1つまたは複数の地図628、およびモデル構成要素630は、上述したようにセンサデータを処理し得、それぞれの出力を1つまたは複数のネットワーク640上でコンピューティングデバイス636へ送り得る。少なくとも1つの例において、位置特定構成要素620、知覚構成要素622、プランニング構成要素624、1つまたは複数のシステムコントローラ626、1つまたは複数の地図628、およびモデル構成要素630は、特定の周波数で、所定の時間期間の経過後、ほぼリアルタイム等で、遠隔コンピューティングデバイス636にそれぞれの出力を送り得る。
いくつかの例において、車両602は、ネットワーク640を介してコンピューティングデバイス636にセンサデータを送り得る。いくつかの例において、車両602は、コンピューティングデバイス636および/またはリモートセンサシステム642から、ネットワーク640を介してセンサデータを受け取り得る。センサデータは、生のセンサデータおよび/または処理されたセンサデータおよび/またはセンサデータの表現を含んでもよい。いくつかの例において、(生のまたは処理された)センサデータは、1つまたは複数のログファイルとして送られおよび/または受け取られ得る。
コンピューティングデバイス636は、プロセッサ644、地図構成要素638を記憶するメモリ634、モデル構成要素646、および訓練構成要素648を含み得る。いくつかの例において、地図構成要素638は、様々な解像度の地図を生成するための機能性を含み得る。そのような例において、地図構成要素638は、ナビゲーション目的のために、1つまたは複数の地図を車両コンピューティングシステム604に送り得る。いくつかの例において、モデル構成要素646は、モデル構成要素630と同様の機能性を行うように構成され得る。様々な例において、モデル構成要素646は、1つまたは複数のリモートセンサ、例えば、センサシステム606および/またはリモートセンサシステム642などから、データを受け取るように構成され得る。いくつかの例において、モデル構成要素646は、データを処理し、処理されたセンサデータを、モデル構成要素630(例えば、第1のモデル632A、第2のモデル632B、および/またはN番目のモデル632N)などによる使用のために、車両コンピューティングシステム604に送るように構成されてもよい。いくつかの例において、モデル構成要素646は、生のセンサデータを車両コンピューティングシステム604に送るように構成され得る。
いくつかの例において、訓練構成要素648は、機械学習モデルを訓練して、オブジェクトの特徴および/またはオブジェクトの属性を出力するための機能性を含むことができる。例えば、訓練構成要素648は、ある時間期間、例えば、0.1ミリ秒、1秒、3秒、5秒、7秒等などの間に環境を横断するオブジェクトを表す画像のセット(例えば、1つまたは複数の画像)を受け取ることができる。画像のセットの少なくとも一部は、機械学習モデルを訓練するための入力として使用されることが可能である。非限定的な例として、画像のシーケンスの第1のセット(例えば、3つ、4つ、5つ、またはそれ以上)が、機械学習されたモデルへ入力されてもよい。第1のセットの直前の画像のシーケンス内の第2のセットの画像(または、例えば、画像から属性を抽出することによって、画像に関連付けられた属性情報)は、次いで、モデルを訓練するためのグラウンドトゥルースとして使用され得る。したがって、オブジェクトが環境を横断する画像を提供することによって、訓練構成要素648は、本明細書において論じられるように、オブジェクトの特徴および/またはオブジェクトの属性を出力するように訓練されることが可能である。
いくつかの例において、訓練構成要素648は、シミュレータによって生成された訓練データを含むことができる。例えば、シミュレーションされた訓練データは、付加的な訓練例を提供するために、車両が環境内のオブジェクトと衝突する、または環境内のオブジェクトと衝突しそうになる例を表すことができる。
訓練構成要素648の付加的な詳細、および訓練のためのデータの例は、図3に関連して、および本開示の全体を通じて、以下に論じられる。
車両602のプロセッサ616およびコンピューティングデバイス636のプロセッサ644は、命令を実行して、データを処理し、本明細書において説明されるような動作を行うことが可能な任意の適切なプロセッサであってよい。限定ではなく、例として、プロセッサ616および644は、1つまたは複数の中央処理ユニット(CPU)、グラフィック処理ユニット(GPU)、または、電子データを処理して、その電子データをレジスタおよび/もしくはメモリに記憶され得る他の電子データに変換する、任意の他のデバイスまたはデバイスの一部を含んでもよい。いくつかの例において、集積回路(例えば、ASIC等)、ゲートアレイ(例えば、FPGA等)、および他のハードウェアデバイスも、符号化された命令を実装するようにそれらが構成される限り、プロセッサとして考慮され得る。
メモリ618およびメモリ634は、非一時的なコンピュータ可読媒体の例である。メモリ618およびメモリ634は、オペレーティングシステム、ならびに、1つまたは複数のソフトウェアアプリケーション、命令、プログラム、および/またはデータを記憶して、本明細書において説明される方法、および様々なシステムに帰属する機能を実装し得る。様々な実装において、メモリは、任意の適切なメモリ技術、例えば、スタティックランダムアクセスメモリ(SRAM)、シンクロナスダイナミックRAM(SDRAM)、不揮発性/フラッシュ型メモリ、または、情報を記憶することが可能な任意の他のタイプのメモリなどを使用して実装され得る。本明細書において説明されるアーキテクチャ、システム、および個々の要素は、多くの他の論理的構成要素、プログラム構成要素、および物理的構成要素を含んでもよく、これらのうちで、添付の図に示されるものは、本明細書における論考に関連する例にすぎない。
いくつかの例において、メモリ618およびメモリ634は、少なくとも作業メモリと記憶メモリとを含み得る。例えば、作業メモリは、プロセッサ616および644によって操作されるべきデータを記憶するために使用される、容量制限のある高速メモリ(例えば、キャッシュメモリ)であってもよい。いくつかの例において、メモリ618およびメモリ634は、データの長期記憶のために使用される、比較的大容量のより低速なメモリであり得る、記憶メモリを含んでもよい。いくつかの場合において、プロセッサ616および644は、記憶メモリに記憶されたデータを直接操作することができず、データは、本明細書において論じられるように、データに基づいた動作を行うために作業メモリにロードされる必要があり得る。
図6は、分散型システムとして示されているが、代替的な例において、車両602の構成要素は、コンピューティングデバイス636に関連付けられてもよく、および/または、コンピューティングデバイス636の構成要素は、車両602に関連付けられてもよいことが、留意されるべきである。すなわち、車両602は、コンピューティングデバイス636に関連付けられた機能のうちの1つまたは複数を行ってもよく、その逆であってもよい。例えば、車両602およびコンピューティングデバイス636のいずれかが、本明細書において説明されるモデルのうちの1つまたは複数に関連する訓練動作を行ってもよい。
図7および図8は、本開示の実施形態による例示的な処理を示す。処理700および処理800のうちの一部または全部は、本明細書において説明されるように、図6内の1つまたは複数の構成要素によって行われ得る。例えば、処理700および処理800のうちの一部または全部は、車両コンピューティングシステム604および/またはコンピューティングデバイス636によって行われ得る。これらの処理は、論理的なフローグラフとして示され、その各動作は、ハードウェア、ソフトウェア、または、これらの組み合わせにおいて実装され得る動作のシーケンスを表す。ソフトウェアのコンテキストにおいて、動作は、1つまたは複数のコンピュータ可読記憶媒体に記憶されたコンピュータ実行可能な命令を表し、コンピュータ実行可能な命令は、1つまたは複数のプロセッサによって実行された場合、記載された動作を行う。一般に、コンピュータ実行可能な命令は、特定の機能を実行し、または特定の抽象データ型を実装するルーチン、プログラム、オブジェクト、構成要素、データ構造等を含む。動作が説明される順序は、限定として解釈されるように意図されておらず、説明される動作のうちの任意の数のものが、任意の順序で、および/または並行して、省略されまたは組み合わされて、処理を実装し得る。
図7は、異なるモデルを使用して、予測される軌道および重みを決定するための例示的な処理700を描くフローチャートである。
動作702において、処理は、車両コンピューティングシステムによってセンサデータを受け取ることを含み得る。例えば、車両コンピューティングシステム604は、知覚構成要素622からセンサデータを受け取り得る。センサデータは、車両102などの車両の周囲の環境内で検出されたオブジェクト(例えば、図1のオブジェクト104)を表し得る。いくつかの例において、センサデータは、車両上の1つまたは複数のセンサから、および/または1つまたは複数のリモートセンサから、受け取られ得る。いくつかの例において、動作702は、複数のセンサを使用してセンサデータをキャプチャし、センサデータを環境の詳細かつ有益な表現へと融合させ、組み合わせることを含むことができる。
動作704において、処理は、車両コンピューティングシステムによってデータを決定することを含み得る。例えば、車両コンピューティングシステム604は、環境の上から見た図(例えば、上から見た表現112)および環境内のオブジェクト(例えば、オブジェクト104)を表すデータを決定し得る。データは、環境内の車両のセンサに関連付けられたセンサデータ、地図データ、および/または、上から見た表現に符号化され得る、別のデータソースからのデータを含んでもよい。そのようなデータの例は、本開示の全体にわたって論じられている。
動作706において、処理は、車両コンピューティングシステムのモデルにデータを入力することを含み得る。例えば、車両コンピューティングシステム604は、モデル108にデータを入力し得る。モデルは、いくつかの例において、本開示の全体にわたって論じられているような機械学習されたモデルであり得る。
動作708において、処理は、モデルから、環境の離散化された表現を表す出力を受け取ることを含み得る。例えば、車両コンピューティングシステムは、モデル108から、離散化された表現114を受け取り得る。離散化された表現114の付加的な詳細は、本開示の全体にわたって論じられている。
動作710において、処理は、離散化された表現に少なくとも部分的に基づいて、オブジェクトに関連付けられた予測される軌道と、予測される軌道に関連付けられた重みとを決定することを含み得る。例えば、車両コンピューティングシステムは、離散化された表現のセルに関連付けられた分類確率に基づいて、予測される軌道110Aおよび110Bと、重み302Aおよび302Bとを決定するための、1つまたは複数の構成要素を実装する。いくつかの例において、分類確率は、オブジェクトが将来の時刻において目的地に到達するかどうかを示し得る。予測される軌道および/または関連付けられた重みを決定する付加的な詳細は、本開示の全体にわたって論じられている。
動作712において、処理は、モデルが現在訓練されているか、またはモデルが以前に訓練されたことがあるかどうかを決定することを含み得る。いくつかの例において、車両コンピューティングシステムは、データ(センサデータ、地図データ、画像データ等)を、訓練動作、推論動作、または並行する訓練動作および推論動作の一部として処理し得る。モデルが訓練されていない場合(例えば、動作712において「いいえ」)、処理は、動作714へと続いて、モデルによる出力に少なくとも部分的に基づいて、車両の動作が制御されるようにすることができる。モデルが訓練されている場合(例えば、動作712において「はい」)、処理は、動作716へと続いて、モデルによる出力に少なくとも部分的に基づいて、モデルのパラメータを更新する。当然ながら、いくつかの例において、動作は、実装に応じて、並行して行われることが可能である。
動作714において、車両は、モデル108からの出力に少なくとも部分的に基づいて制御され得る。例えば、モデル108からの出力は、車両のプランニング構成要素624によって処理されて、車両がオブジェクトとの衝撃を回避するために取ることができるアクションが決定されることが可能である。1つまたは複数のモードからの1つまたは複数の出力を使用して車両を制御する付加的な詳細は、本開示の全体にわたって論じられている。
動作716において、モデルの1つまたは複数のパラメータは、モデルを訓練するために更新され、変更され、および/または拡張され得る。いくつかの例において、モデル108からの出力は、訓練において使用するために、訓練データ(例えば、ラベル付けされたデータを表すグラウンドトゥルース)と比較されることが可能である。比較に少なくとも部分的に基づいて、モデル108に関連付けられたパラメータは、更新されることが可能である。
図8は、異なるモデルを使用して、軌道または軌道タイプに関連付けるべき意図を決定するための例示的な処理を描くフローチャートである。
動作802において、処理は、車両コンピューティングシステムによって車両軌道(例えば、第1の軌道)を決定することを含み得る。例えば、車両コンピューティングシステム604は、プランニング構成要素624によって候補軌道を決定し得る。いくつかの例において、候補軌道は、環境内で車両をナビゲートするために使用可能な軌道である。いくつかの例において、動作802は、複数のセンサを使用してセンサデータをキャプチャし、センサデータを環境の詳細かつ有益な表現へと融合させ、組み合わせることを含むことができる。
動作804において、処理は、モデルによってオブジェクト軌道(例えば、第2の軌道)を決定することを含み得る。例えば、車両コンピューティングシステム604は、予測される軌道を決定するためにモデル108を実装し得る。いくつかの例において、車両コンピューティングシステム604は、予測される軌道に関連付けられた重みからも決定し得る。そのような予測される軌道および重みの例は、本開示の全体にわたって論じられている。
動作806において、処理は、車両コンピューティングシステムによって地図データを受け取ることを含み得る。例えば、車両コンピューティングシステム604は、地図628から地図データを受け取り得る。地図データは、横断歩道、道路、歩道等を含む環境の特徴を示し得る。
動作808において、処理は、同じモデルまたは異なるモデルによって、第1の軌道についての第1の意図と、第2の軌道についての第2の意図とを含む出力を決定することを含み得る。例えば、車両コンピューティングシステム604は、モデル502を使用して意図を決定してもよく、モデル502からの離散化された表現114のロケーションを地図データ内の目的地にマッピングしてもよい。いくつかの例において、モデル502は、付加的にまたは代わりに、軌道タイプについての1つまたは複数の意図(例えば、道路軌道または自由な軌道)を出力し得る。意図の付加的な詳細は、本開示の全体にわたって論じられている。
いくつかの例において、動作808において、処理は、モデルによる出力を表すデータを、車両コンピューティングシステムのプランニング構成要素に送って、モデルによる出力に少なくとも部分的に基づく、車両のための軌道を、車両に計画させることを含むことができる。モデルからの出力を使用して車両を制御する付加的な詳細は、本開示の全体にわたって論じられている。
動作810において、処理は、モデルが現在訓練されているか、またはモデルが以前に訓練されたことがあるかどうかを決定することを含み得る。いくつかの例において、車両コンピューティングシステムは、データを、訓練動作、推論動作、または並行する訓練動作および推論動作の一部として処理し得る。モデルが訓練されていない場合(例えば、動作810において「いいえ」)、処理は、動作812へと続いて、モデルによる出力に少なくとも部分的に基づいて、車両の動作が制御されるようにすることができる。モデルが訓練されている場合(例えば、動作810において「はい」)、処理は、動作814へと続いて、モデルによる出力に少なくとも部分的に基づいて、モデルのパラメータを更新する。当然ながら、いくつかの例において、動作は、実装に応じて、並行して行われることが可能である。
動作812において、車両は、モデル502からの出力に少なくとも部分的に基づいて制御され得る。例えば、モデル502からの出力は、車両のプランニング構成要素624によって処理されて、車両がオブジェクトとの衝撃を回避するために取ることができるアクションを決定されることが可能である。1つまたは複数のモードからの1つまたは複数の出力を使用して車両を制御する付加的な詳細は、本開示の全体にわたって論じられている。いくつかの例において、プランニング構成要素624は、モデル108からの出力とモデル502からの出力とに少なくとも部分的に基づいて、車両を制御し得る。
動作814において、モデルの1つまたは複数のパラメータは、モデルを訓練するために更新され、変更され、および/または拡張され得る。いくつかの例において、モデル502からの出力は、訓練において使用するために、訓練データ(例えば、ラベル付けされたデータを表すグラウンドトゥルース)と比較されることが可能である。比較に少なくとも部分的に基づいて、モデル502および/またはモデル108に関連付けられたパラメータは、更新されることが可能である。
本明細書において説明される本方法は、ハードウェア、ソフトウェア、または、これらの組み合わせにおいて実装されることが可能な動作のシーケンスを表す。ソフトウェアのコンテキストにおいて、ブロックは、1つまたは複数のコンピュータ可読記憶媒体に記憶されたコンピュータ実行可能な命令を表し、コンピュータ実行可能な命令は、1つまたは複数のプロセッサによって実行された場合、記載された動作を行う。一般に、コンピュータ実行可能な命令は、特定の機能を実行し、または特定の抽象データ型を実装するルーチン、プログラム、オブジェクト、構成要素、データ構造等を含む。動作が説明される順序は、限定として解釈されるように意図されておらず、説明される動作のうちの任意の数のものが、任意の順序で、および/または並行して組み合わされて、処理を実装し得る。いくつかの実施形態において、方法の1つまたは複数の動作は、完全に省略されてもよい。
本明細書において説明される様々な技法は、コンピュータ可読ストレージに記憶され、図に示されるプロセッサなどの1つまたは複数のコンピューティングデバイスのプロセッサによって実行される、コンピュータ実行可能な命令またはソフトウェア、例えばプログラムモジュールなどのコンテキストにおいて実装され得る。一般に、プログラムモジュールは、ルーチン、プログラム、オブジェクト、コンポーネント、データ構造等を含み、特定のタスクを行うための動作ロジックを定義し、または特定の抽象データ型を実装する。
他のアーキテクチャが、説明されている機能性を実装するために使用されてもよく、本開示の範囲内であることが意図されている。さらに、責任の特定の分散が、論考の目的のために上記に定義されているが、様々な機能および責任は、状況に応じて、異なる手法で分散および分割されてもよい。
同様に、ソフトウェアは、様々な手法で、異なる手段を使用して、記憶および分散されてもよく、上記に説明された特定のソフトウェアストレージおよび実行構成は、多くの異なる手法で変えられてもよい。したがって、上記に説明された技法を実装するソフトウェアは、具体的に説明されているメモリの形態に限定されず、様々なタイプのコンピュータ可読媒体上に分散されてもよい。
例示的な条項
A:1つまたは複数のプロセッサと、1つまたは複数のプロセッサによって実行可能な命令を記憶する1つまたは複数の非一時的なコンピュータ可読記憶媒体であって、命令は、実行された場合、システムに、環境内の自律車両に関連付けられたセンサデータを受け取ることと、センサデータに少なくとも部分的に基づいて、データを決定することであって、データは、環境の上から見た表現、および環境内のオブジェクトを含む、決定することと、機械学習されたモデルにデータを入力することと、機械学習されたモデルから、環境の一部の離散化された表現を含む出力を受け取ることであって、離散化された表現のセルは、将来の時刻におけるオブジェクトのロケーションの分類確率に関連付けられる、受け取ることと、離散化された表現および分類確率に少なくとも部分的に基づいて、オブジェクトに関連付けられた予測される軌道、および予測される軌道に関連付けられた重みを決定することと、オブジェクトに関連付けられた予測される軌道、および予測される軌道に関連付けられた重みに少なくとも部分的に基づいて、自律車両の動作が制御されるようにすることとを含む動作を行わせる、1つまたは複数の非一時的なコンピュータ可読記憶媒体とを備える、システム。
A:1つまたは複数のプロセッサと、1つまたは複数のプロセッサによって実行可能な命令を記憶する1つまたは複数の非一時的なコンピュータ可読記憶媒体であって、命令は、実行された場合、システムに、環境内の自律車両に関連付けられたセンサデータを受け取ることと、センサデータに少なくとも部分的に基づいて、データを決定することであって、データは、環境の上から見た表現、および環境内のオブジェクトを含む、決定することと、機械学習されたモデルにデータを入力することと、機械学習されたモデルから、環境の一部の離散化された表現を含む出力を受け取ることであって、離散化された表現のセルは、将来の時刻におけるオブジェクトのロケーションの分類確率に関連付けられる、受け取ることと、離散化された表現および分類確率に少なくとも部分的に基づいて、オブジェクトに関連付けられた予測される軌道、および予測される軌道に関連付けられた重みを決定することと、オブジェクトに関連付けられた予測される軌道、および予測される軌道に関連付けられた重みに少なくとも部分的に基づいて、自律車両の動作が制御されるようにすることとを含む動作を行わせる、1つまたは複数の非一時的なコンピュータ可読記憶媒体とを備える、システム。
B:セルに関連付けられた分類確率は、オブジェクトが将来の時刻においてロケーションに存在する確率を示す、段落Aのシステム。
C:ロケーションは、第1のロケーションであり、セルは、第1のセルであり、分類確率は、第1の分類確率であり、予測される軌道は、第1の予測される軌道であり、重みは、第1の重みであり、離散化された表現は、将来の時刻におけるオブジェクトの第2のロケーションの第2の分類確率に関連付けられた第2のセルを含み、動作は、地図データに少なくとも部分的に基づいて、第1のロケーションは第1の目的地に関連付けられると決定することと、地図データに少なくとも部分的に基づいて、第2のロケーションは第2の目的地に関連付けられると決定することと、第2の分類確率および第2のロケーションに少なくとも部分的に基づいて、将来の時刻におけるオブジェクトに関連付けられた第2の予測される軌道を決定することと、自律車両の動作が制御されるようにすることは、第2の予測される軌道、および第2の予測される軌道に関連付けられた第2の重みに少なくとも部分的にさらに基づくことと、をさらに含む段落AまたはBに記載のシステム。
D:動作は、分類確率および別の分類確率に少なくとも部分的に基づいて、重みを決定することをさらに含む段落A乃至Cのいずれか一つに記載のシステム。
E:ロケーションは、将来の時刻の前の先行する時刻におけるオブジェクトのオブジェクトロケーションに少なくとも部分的に基づいたオフセットを表す、段落A乃至Dのいずれか一つに記載のシステム。
F:命令を記憶する1つまたは複数の非一時的なコンピュータ可読記憶媒体であって、命令は、実行された場合、1つまたは複数のプロセッサに、モデルにデータを入力することであって、データは、第1の時刻における環境の上から見た表現を含む、入力することと、モデルから、環境の一部の離散化された表現を含む出力を受け取ることであって、離散化された表現のセルは、第1の時刻の後の第2の時刻におけるオブジェクトに関連付けられた確率に関連付けられる、受け取ることと、離散化された表現および確率に少なくとも部分的に基づいて、オブジェクトに関連付けられた軌道、および軌道に関連付けられた重みを決定することと、軌道および重みに少なくとも部分的に基づいて、車両の動作が制御されるようにすることとを含む動作を行わせる、1つまたは複数の非一時的なコンピュータ可読記憶媒体。
G:データは、センサデータ、地図データ、または、上から見た表現を形成するための1つまたは複数のチャネル画像を表すセンサデータに基づいたデータのうちの少なくとも1つを含み、セルに関連付けられた確率は、オブジェクトが第2の時刻においてロケーションに存在する確率を示す段落Fに記載の1つまたは複数の非一時的なコンピュータ可読記憶媒体。
H:ロケーションは、第1のロケーションであり、セルは、第1のセルであり、確率は、第1の確率であり、軌道は、第1の軌道であり、重みは、第1の重みであり、離散化された表現は、第2の時刻におけるオブジェクトの第2のロケーションの第2の確率に関連付けられた第2のセルを含み、動作は、地図データに少なくとも部分的に基づいて、第1のロケーションは第1の目的地に関連付けられると決定することと、地図データに少なくとも部分的に基づいて、第2のロケーションは第2の目的地に関連付けられると決定することと、第2の確率および第2のロケーションに少なくとも部分的に基づいて、第2の時刻におけるオブジェクトに関連付けられた第2の軌道を決定することと、車両の動作が制御されるようにすることは、第2の軌道および第2の軌道に関連付けられた第2の重みに少なくとも部分的にさらに基づくことと、をさらに含む段落FまたはGに記載の1つまたは複数の非一時的なコンピュータ可読記憶媒体。
I:動作は、軌道および重みを含むデータを車両のプランニング構成要素に送ることと、プランニング構成要素に、データに少なくとも部分的に基づいて、車両が環境内で従うべき候補軌道を決定させることとをさらに含む段落F乃至Hのいずれか一つに記載の1つまたは複数の非一時的なコンピュータ可読記憶媒体。
J:動作は、環境に関連付けられた地図データを受け取ることと、地図データ、およびセルに関連付けられたロケーションに少なくとも部分的に基づいて、ロケーションは意味論的な目的地に関連付けられると決定することと、確率と、ロケーションが第2の時刻において意味論的な目的地に関連付けられることとに少なくとも部分的に基づいて、重みを決定することとをさらに含む段落F乃至Iの1つまたは複数の非一時的なコンピュータ可読記憶媒体。
K:動作は、確率および別の確率に少なくとも部分的に基づいて、重みを決定することをさらに含む段落F乃至Jの1つまたは複数の非一時的なコンピュータ可読記憶媒体。
L:モデルは、モデルの先行する出力に関連付けられたデータとグラウンドトゥルースデータとの間の比較に少なくとも部分的に基づいて訓練された機械学習されたモデルである段落F乃至Kのいずれか一つに記載の1つまたは複数の非一時的なコンピュータ可読記憶媒体。
M:
動作は、第1の時刻におけるオブジェクトの位置と、第2の時刻における確率に関連付けられたロケーションとを補間することをさらに含み、軌道は、補間することに少なくとも部分的に基づく段落F乃至Lのいずれか一つに記載の1つまたは複数の非一時的なコンピュータ可読記憶媒体。
動作は、第1の時刻におけるオブジェクトの位置と、第2の時刻における確率に関連付けられたロケーションとを補間することをさらに含み、軌道は、補間することに少なくとも部分的に基づく段落F乃至Lのいずれか一つに記載の1つまたは複数の非一時的なコンピュータ可読記憶媒体。
N:動作は、環境に関連付けられた地図データを受け取ることと、地図データ、およびセルに関連付けられたロケーションに少なくとも部分的に基づいて、ロケーションは意味論的な目的地に関連付けられると決定することと、意味論的な目的地および確率に少なくとも部分的に基づいて、オブジェクトに関連付けられた意図を決定することとをさらに含み、車両の動作が制御されるようにすることは、意図に少なくとも部分的にさらに基づく段落F乃至Mのいずれか一つに記載の1つまたは複数の非一時的なコンピュータ可読記憶媒体。
O:モデルに画像データを入力するステップであって、画像データは、第1の時刻における環境の上から見た表現を含む、ステップと、モデルから、環境の一部の離散化された表現を含む出力を受け取るステップであって、離散化された表現のセルは、第1の時刻の後の第2の時刻におけるオブジェクトに関連付けられた確率に関連付けられる、ステップと、離散化された表現および確率に少なくとも部分的に基づいて、オブジェクトに関連付けられた軌道、および軌道に関連付けられた重みを決定するステップと、軌道および重みに少なくとも部分的に基づいて、車両の動作が制御されるようにするステップとを含む、方法。
P:セルに関連付けられた確率は、オブジェクトが第2の時刻においてロケーションに存在する確率を示す段落Oに記載の方法。
Q:ロケーションは、第2の時刻の前の先行する時刻におけるオブジェクトのオブジェクトロケーションに少なくとも部分的に基づいたオフセットを表す段落OまたはPに記載の方法。
R:環境の上から見た表現は、オブジェクト位置、オブジェクト速度、オブジェクト加速度、オブジェクトヨー、オブジェクトの属性、横断歩道許可、または信号機許容性のうちの1つまたは複数を表す段落O乃至Qに記載の方法。
S:車両のセンサに関連付けられた、環境のセンサデータを受け取るステップと、センサデータに少なくとも部分的に基づいて、環境内のオブジェクトに関連付けられた第1のオブジェクトタイプおよび第2のオブジェクトタイプを決定するステップであって、第2のオブジェクトタイプは、第1のオブジェクトタイプと異なる、ステップと、オブジェクトが第1のオブジェクトタイプである第1の確率を決定するステップと、オブジェクトが第2のオブジェクトタイプである第2の確率を決定するステップとをさらに含み、モデルに画像データを入力するステップは、第1のオブジェクトタイプに関連付けられた第1の確率、および第2のオブジェクトタイプに関連付けられた第2の確率の表示を入力するステップを含む段落O乃至Rに記載の方法。
T:車両は、自律車両であり、軌道および重みを含むデータを、自律車両のプランニング構成要素に送るステップと、プランニング構成要素に、データに少なくとも部分的に基づいて、自律車両が環境内で従うべき候補軌道を決定させるステップとをさらに含む段落O乃至Sに記載の方法。
U:1つまたは複数のプロセッサと、1つまたは複数のプロセッサによって実行可能な命令を記憶する1つまたは複数の非一時的なコンピュータ可読記憶媒体であって、命令は、実行された場合、システムに、センサデータを受け取ることと、センサデータにおいて表されるオブジェクトを決定することと、オブジェクトの第1の予測される軌道を決定することであって、第1の予測される軌道は、第1の重みに関連付けられる、決定することと、オブジェクトの第2の予測される軌道を決定することであって、第2の予測される軌道は、第2の重みに関連付けられる、決定することと、地図データを受け取ることと、地図データに少なくとも部分的に基づいて、第1の意味論的な目的地に基づいた第1の軌道の第1の意図を決定することと、地図データに少なくとも部分的に基づいて、第2の軌道の第2の意味論的な目的地に基づいた第2の軌道の第2の意図を決定することと、第1の軌道、第1の重み、第1の意図、第2の軌道、第2の重み、および第2の意図に少なくとも部分的に基づいて、自律車両を制御することとを含む動作を行わせる、1つまたは複数の非一時的なコンピュータ可読記憶媒体とを備える、システム。
V:第1の予測される軌道を決定することは、回帰を行うことを含む段落Uに記載のシステム。
W:第2の軌道は、分類に少なくとも部分的に基づく段落UまたはVに記載のシステム。
X:第1の軌道は、第1の目的地に関連付けられ、第2の軌道は、第1の目的地と異なる第2の目的地に関連付けられる段落U乃至Wのいずれか一つに記載のシステム。
Y:動作は、第1の重みまたは第2の重みのうちの一方が、第1の重みおよび第2の重みのうちの他方よりも大きいと決定することと、第1の重みが第2の重みよりも大きいと決定することに応答して、第1の軌道に少なくとも部分的に基づいて、環境内の自律車両を制御すること、または、第2の重みが第1の重みよりも大きいと決定することに応答して、第2の軌道に少なくとも部分的に基づいて、環境内の自律車両を制御することのうちの少なくとも1つとをさらに含む段落U乃至Xのいずれか一つに記載のシステム。
Z:センサデータを受け取るステップと、センサデータにおいて表されるオブジェクトを決定するステップと、オブジェクトに関連付けられた第1の軌道を決定するステップと、オブジェクトに関連付けられた第2の軌道を決定するステップと、第1の意味論的な目的地に基づいて、第1の軌道の第1の意図を決定するステップと、第2の軌道の第2の意味論的な目的地に基づいて、第2の軌道の第2の意図を決定するステップと、第1の軌道、第1の意図、第2の軌道、および第2の意図をプランニング構成要素に送って、車両を制御するステップとを含む方法。
AA:第1の軌道は、第1の軌道タイプに関連付けられ、第2の軌道は、第1の軌道タイプと異なる第2の軌道タイプに関連付けられる段落Zに記載の方法。
AB:第1の軌道タイプまたは第2の軌道タイプは、車両の環境内の道路セグメントに関連付けられた軌道タイプを含む段落ZまたはAAに記載の方法。
AC:第1の機械学習されたモデルによって、第1の軌道に関連付けられた第1の重みを決定するステップと、第2の機械学習されたモデルによって、第2の軌道に関連付けられた第2の重みを決定するステップと、第1の軌道、第1の重み、第1の意図、第2の軌道、第2の重み、および第2の意図に少なくとも部分的に基づいて、車両を制御するステップとをさらに含む段落Z乃至ABのいずれか一つに記載の方法。
AD:車両を制御するステップは、車両が環境内で従うべき候補軌道を決定するステップを含む段落Z乃至ACのいずれか一つに記載の方法。
AE:車両の周囲の環境内の領域に対するオブジェクトの近接性に少なくとも部分的に基づいて、第1の意図または第2の意図のうちの少なくとも1つを決定するステップをさらに含む段落Z乃至ADのいずれか一つに記載の方法。
AF:環境内の領域は、環境を表す地図データに関連付けられた道路セグメントを含み、オブジェクトは、歩行者または自転車を含み、第1の意味論的な目的地は、車両の環境内の第1の領域を含み、第2の意味論的な目的地は、第1の意味論的な目的地と異なる、車両の環境内の第2の領域を含む段落Z乃至AEのいずれか一つに記載の方法。
AG:第1の軌道は、回帰に少なくとも部分的に基づき、第2の軌道は、分類に少なくとも部分的に基づく段落Z乃至AFのいずれか一つに記載の方法。
AH:第1の軌道は、第1の目的地に関連付けられ、第2の軌道は、第1の目的地と異なる第2の目的地に関連付けられる段落Z乃至AGのいずれか一つに記載の方法。
AI:第1の意図または第2の意図は、車両の環境内のオブジェクトが道路セグメントに沿って進行しようとする意図、オブジェクトが道路セグメントの近くの外部を進行しようとする意図、オブジェクトが横断歩道内を進行しようとする意図、または、オブジェクトが横断歩道の境界の外部を進行しようとする意図のうちの少なくとも1つを含む段落Z乃至AHのいずれか一つに記載の方法。
AJ:命令を記憶する1つまたは複数の非一時的なコンピュータ可読記憶媒体であって、命令は、実行された場合、1つまたは複数のプロセッサに、センサデータを受け取ることと、センサデータ内に表されるオブジェクトを決定することと、オブジェクトに関連付けられた第1の軌道を決定することと、オブジェクトに関連付けられた第2の軌道を決定することと、第1の意味論的な目的地に基づいて、第1の軌道の第1の意図を決定することと、第2の軌道の第2の意味論的な目的地に基づいて、第2の軌道の第2の意図を決定することと、第1の軌道、第1の意図、第2の軌道、および第2の意図をプランニング構成要素に送って、車両を制御することとを含む動作を行わせる、1つまたは複数の非一時的なコンピュータ可読記憶媒体。
AK:第1の軌道は、第1の軌道タイプに関連付けられ、第2の軌道は、第1の軌道タイプと異なる第2の軌道タイプに関連付けられる段落AJに記載の1つまたは複数の非一時的なコンピュータ可読媒体。
AL:第1の軌道は、第1の目的地に関連付けられ、第2の軌道は、第1の目的地と異なる第2の目的地に関連付けられる段落AJまたはAKに記載の1つまたは複数の非一時的なコンピュータ可読媒体。
AM:動作は、機械学習されたモデルから、第1の軌道に関連付けられた重みを受け取ることをさらに含み、送ることは、重みをプランニング構成要素に送って、車両を制御することをさらに含む段落AJ乃至ALに記載の1つまたは複数の非一時的なコンピュータ可読媒体。
AN:動作は、環境内の領域に対するオブジェクトの近接性に少なくとも部分的に基づいて、第1の意図または第2の意図のうちの少なくとも1つを決定することをさらに含む段落AJ乃至AMに記載の1つまたは複数の非一時的なコンピュータ可読媒体。
上述した例示的な条項は、1つの特定の実装に関して説明されているが、本文書のコンテキストにおいて、例示的な条項の内容は、方法、デバイス、システム、コンピュータ可読媒体、および/または別の実装を介しても実装されることが可能であることが、理解されるべきである。付加的に、例A乃至ANのいずれも、単独で、または例A乃至ANのうちの任意の他の1つもしくは複数と組み合わせて、実装されてもよい。
結論
本明細書において説明される技法の1つまたは複数の例が説明されてきたが、その様々な変更、追加、置換および均等物が、本明細書において説明される技法の範囲内に含まれる。
本明細書において説明される技法の1つまたは複数の例が説明されてきたが、その様々な変更、追加、置換および均等物が、本明細書において説明される技法の範囲内に含まれる。
例の説明において、本明細書の一部を形成する添付の図面への参照が行われ、それは、特許請求される主題の特定の例を例証として示す。他の例が使用されることが可能であること、および、構造変更などの、変形または変更を行うことが可能であることが理解されるべきである。そのような例、変形または変更は、意図した特許請求される主題に関する範囲から必ずしも逸脱するものとは限らない。本明細書におけるステップは、一定の順序で提示され得るが、いくつかの場合において、順序付けは、説明されているシステムおよび方法の機能を変更せずに、一定の入力が、異なる時刻にまたは異なる順序で提供されるように、変更されてもよい。開示されている手続きは、異なる順序でも実行され得る。付加的に、本明細書における様々な計算は、開示された順序で実行される必要はなく、計算の代替的な順序付けを使用する他の例が、容易に実装され得る。再順序付けされることに加えて、計算は、同じ結果を有するサブ計算へと分解されてもよい。
Claims (15)
- システムであって、
1つまたは複数のプロセッサと、
前記1つまたは複数のプロセッサによって実行可能な命令を記憶する1つまたは複数の非一時的なコンピュータ可読記憶媒体であって、前記命令は、実行された場合、前記システムに、
環境内の自律車両に関連付けられたセンサデータを受け取ることと、
前記センサデータに少なくとも部分的に基づいて、データを決定することであって、前記データは、前記環境の上から見た表現、および前記環境内のオブジェクトを含む、決定することと、
機械学習されたモデルに前記データを入力することと、
前記機械学習されたモデルから、前記環境の一部の離散化された表現を含む出力を受け取ることであって、前記離散化された表現のセルは、将来の時刻における前記オブジェクトのロケーションの分類確率に関連付けられる、受け取ることと、
前記離散化された表現および前記分類確率に少なくとも部分的に基づいて、前記オブジェクトに関連付けられた予測される軌道、および前記予測される軌道に関連付けられた重みを決定することと、
前記オブジェクトに関連付けられた前記予測される軌道、および前記予測される軌道に関連付けられた前記重みに少なくとも部分的に基づいて、前記自律車両の動作が制御されるようにすることと
を含む動作を行わせる、1つまたは複数の非一時的なコンピュータ可読記憶媒体と
を備えるシステム。 - 前記セルに関連付けられた前記分類確率は、前記オブジェクトが前記将来の時刻において前記ロケーションに存在する確率を示す請求項1に記載のシステム。
- 前記ロケーションは、第1のロケーションであり、
前記セルは、第1のセルであり、
前記分類確率は、第1の分類確率であり、
前記予測される軌道は、第1の予測される軌道であり、
前記重みは、第1の重みであり、
前記離散化された表現は、前記将来の時刻における前記オブジェクトの第2のロケーションの第2の分類確率に関連付けられた第2のセルを含み、
前記動作は、
地図データに少なくとも部分的に基づいて、前記第1のロケーションは第1の目的地に関連付けられると決定することと、
前記地図データに少なくとも部分的に基づいて、前記第2のロケーションは第2の目的地に関連付けられると決定することと、
前記第2の分類確率および前記第2のロケーションに少なくとも部分的に基づいて、前記将来の時刻における前記オブジェクトに関連付けられた第2の予測される軌道を決定することと、
前記自律車両の前記動作が制御されるようにすることは、前記第2の予測される軌道、および前記第2の予測される軌道に関連付けられた第2の重みに少なくとも部分的にさらに基づくことと
をさらに含む請求項1または2に記載のシステム。 - 前記動作は、
前記分類確率および別の分類確率に少なくとも部分的に基づいて、前記重みを決定すること
をさらに含む請求項1乃至3のいずれか一項に記載のシステム。 - 前記ロケーションは、前記将来の時刻の前の先行する時刻における前記オブジェクトのオブジェクトロケーションに少なくとも部分的に基づいたオフセットを表す
請求項1乃至4のいずれか一項に記載のシステム。 - モデルにデータを入力するステップであって、前記データは、第1の時刻における環境の上から見た表現を含む、ステップと、
前記モデルから、前記環境の一部の離散化された表現を含む出力を受け取るステップであって、前記離散化された表現のセルは、前記第1の時刻の後の第2の時刻におけるオブジェクトに関連付けられた確率に関連付けられる、ステップと、
前記離散化された表現および前記確率に少なくとも部分的に基づいて、前記オブジェクトに関連付けられた軌道、および前記軌道に関連付けられた重みを決定するステップと、
前記軌道および前記重みに少なくとも部分的に基づいて、車両の動作が制御されるようにするステップと
を含む方法。 - 前記データは、センサデータ、地図データ、または、前記上から見た表現を形成するための1つまたは複数のチャネル画像を表す前記センサデータに基づいたデータのうちの少なくとも1つを含み、
前記セルに関連付けられた前記確率は、前記オブジェクトが前記第2の時刻においてロケーションに存在する確率を示す
請求項6に記載の方法。 - 前記ロケーションは、第1のロケーションであり、
前記セルは、第1のセルであり、
前記確率は、第1の確率であり、
前記軌道は、第1の軌道であり、
前記重みは、第1の重みであり、
前記離散化された表現は、前記第2の時刻における前記オブジェクトの第2のロケーションの第2の確率に関連付けられた第2のセルを含み、
前記動作は、
地図データに少なくとも部分的に基づいて、前記第1のロケーションは第1の目的地に関連付けられると決定するステップと、
前記地図データに少なくとも部分的に基づいて、前記第2のロケーションは第2の目的地に関連付けられると決定するステップと、
前記第2の確率および前記第2のロケーションに少なくとも部分的に基づいて、前記第2の時刻における前記オブジェクトに関連付けられた第2の軌道を決定するステップと、
前記車両の前記動作が制御されるようにするステップは、前記第2の軌道および前記第2の軌道に関連付けられた第2の重みに少なくとも部分的にさらに基づくことと
をさらに含む請求項7に記載の方法。 - 前記動作は、
前記軌道および前記重みを含むデータを、前記車両のプランニング構成要素に送るステップと、
前記プランニング構成要素に、前記データに少なくとも部分的に基づいて、前記車両が前記環境内で従うべき候補軌道を決定させるステップと
をさらに含む請求項6乃至8のいずれか一項に記載の方法。 - 前記動作は、
前記環境に関連付けられた地図データを受け取るステップと、
前記地図データ、および前記セルに関連付けられたロケーションに少なくとも部分的に基づいて、前記ロケーションは意味論的な目的地に関連付けられると決定するステップと、
前記確率と、前記ロケーションが前記第2の時刻において前記意味論的な目的地に関連付けられることとに少なくとも部分的に基づいて、前記重みを決定するステップと
をさらに含む請求項6乃至9のいずれか一項に記載の方法。 - 前記動作は、
前記確率および別の確率に少なくとも部分的に基づいて、前記重みを決定するステップ
をさらに含む請求項6乃至10のいずれか一項に記載の方法。 - 前記モデルは、前記モデルの先行する出力に関連付けられたデータとグラウンドトゥルースデータとの間の比較に少なくとも部分的に基づいて訓練された機械学習されたモデルである請求項6乃至11のいずれか一項に記載の方法。
- 前記動作は、
前記第1の時刻における前記オブジェクトの位置と、前記第2の時刻における前記確率に関連付けられたロケーションとを補間するステップ
をさらに含み、
前記軌道は、前記補間するステップに少なくとも部分的に基づく請求項6乃至12のいずれか一項に記載の方法。 - 前記動作は、
前記環境に関連付けられた地図データを受け取るステップと、
前記地図データ、および前記セルに関連付けられたロケーションに少なくとも部分的に基づいて、前記ロケーションは意味論的な目的地に関連付けられると決定するステップと、
前記意味論的な目的地および前記確率に少なくとも部分的に基づいて、前記オブジェクトに関連付けられた意図を決定するステップと
をさらに含み、
前記車両の前記動作が制御されるようにすることは、前記意図に少なくとも部分的にさらに基づく請求項6乃至13のいずれか一項に記載の方法。 - 符号化された命令を備えるコンピュータプログラム製品であって、前記符号化された命令は、コンピュータ上で実行された場合、請求項6乃至14のいずれか一項に記載の方法を実装する、コンピュータプログラム製品。
Applications Claiming Priority (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US16/870,355 | 2020-05-08 | ||
US16/870,083 | 2020-05-08 | ||
US16/870,355 US11708093B2 (en) | 2020-05-08 | 2020-05-08 | Trajectories with intent |
US16/870,083 US11554790B2 (en) | 2020-05-08 | 2020-05-08 | Trajectory classification |
PCT/US2021/029232 WO2021225822A1 (en) | 2020-05-08 | 2021-04-26 | Trajectory classification |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2023525054A true JP2023525054A (ja) | 2023-06-14 |
Family
ID=78468315
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022567547A Pending JP2023525054A (ja) | 2020-05-08 | 2021-04-26 | 軌道分類 |
Country Status (4)
Country | Link |
---|---|
EP (1) | EP4146510A4 (ja) |
JP (1) | JP2023525054A (ja) |
CN (1) | CN115515835A (ja) |
WO (1) | WO2021225822A1 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20230303124A1 (en) * | 2022-03-25 | 2023-09-28 | Motional Ad Llc | Predicting and controlling object crossings on vehicle routes |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9327693B2 (en) * | 2013-04-10 | 2016-05-03 | Magna Electronics Inc. | Rear collision avoidance system for vehicle |
US9321461B1 (en) * | 2014-08-29 | 2016-04-26 | Google Inc. | Change detection using curve alignment |
KR20190091366A (ko) * | 2016-12-23 | 2019-08-05 | 모빌아이 비젼 테크놀로지스 엘티디. | 부과된 책임 제약이 있는 항법 시스템 |
US20190113919A1 (en) * | 2017-10-18 | 2019-04-18 | Luminar Technologies, Inc. | Controlling an autonomous vehicle using smart control architecture selection |
US10562538B2 (en) * | 2017-11-22 | 2020-02-18 | Uatc, Llc | Object interaction prediction systems and methods for autonomous vehicles |
US10627818B2 (en) * | 2018-03-28 | 2020-04-21 | Zoox, Inc. | Temporal prediction model for semantic intent understanding |
US11169531B2 (en) * | 2018-10-04 | 2021-11-09 | Zoox, Inc. | Trajectory prediction on top-down scenes |
-
2021
- 2021-04-26 EP EP21799486.2A patent/EP4146510A4/en active Pending
- 2021-04-26 JP JP2022567547A patent/JP2023525054A/ja active Pending
- 2021-04-26 CN CN202180033877.9A patent/CN115515835A/zh active Pending
- 2021-04-26 WO PCT/US2021/029232 patent/WO2021225822A1/en unknown
Also Published As
Publication number | Publication date |
---|---|
EP4146510A1 (en) | 2023-03-15 |
CN115515835A (zh) | 2022-12-23 |
WO2021225822A1 (en) | 2021-11-11 |
EP4146510A4 (en) | 2024-05-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11554790B2 (en) | Trajectory classification | |
US11708093B2 (en) | Trajectories with intent | |
US11351991B2 (en) | Prediction based on attributes | |
US11021148B2 (en) | Pedestrian prediction based on attributes | |
US11734832B1 (en) | Prediction on top-down scenes based on object motion | |
JP7150983B2 (ja) | 車両のための衝突予測及び回避 | |
JP7411653B2 (ja) | 軌道生成のためのシステム、方法、およびコンピュータプログラム | |
JP2022544770A (ja) | コストベースの経路決定 | |
JP2022539245A (ja) | アクションデータに基づくトップダウンシーンの予測 | |
JP2022544715A (ja) | 譲歩挙動のモデリングおよび予測 | |
WO2020198189A1 (en) | Pedestrian prediction based on attributes | |
JP2022550279A (ja) | 妨害物の回避 | |
US20220274625A1 (en) | Graph neural networks with vectorized object representations in autonomous vehicle systems | |
JP2022538535A (ja) | 画像からの奥行の精緻化 | |
US11353877B2 (en) | Blocked region guidance | |
US20210325880A1 (en) | Collaborative vehicle guidance | |
US11584389B2 (en) | Teleoperations for collaborative vehicle guidance | |
US20220382294A1 (en) | Object or person attribute characterization | |
US11780464B2 (en) | Autonomous vehicle trajectory generation using velocity-based steering limits | |
WO2023048943A1 (en) | Optimization based planning system | |
US11738772B1 (en) | Object avoidance with perceived safety subgoal | |
JP2023525054A (ja) | 軌道分類 | |
JP2023522844A (ja) | 協調的車両ガイダンスのための遠隔操作 | |
US11772643B1 (en) | Object relevance determination | |
US11970164B1 (en) | Adverse prediction planning |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20240426 |