JP6972392B2 - 自律走行シミュレーションのための時間伸縮法 - Google Patents

自律走行シミュレーションのための時間伸縮法 Download PDF

Info

Publication number
JP6972392B2
JP6972392B2 JP2020566237A JP2020566237A JP6972392B2 JP 6972392 B2 JP6972392 B2 JP 6972392B2 JP 2020566237 A JP2020566237 A JP 2020566237A JP 2020566237 A JP2020566237 A JP 2020566237A JP 6972392 B2 JP6972392 B2 JP 6972392B2
Authority
JP
Japan
Prior art keywords
data
recorded
simulation
vehicle
time
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020566237A
Other languages
English (en)
Other versions
JP2021519720A (ja
Inventor
リチャード ルイ、
ステファン ウィトウィッキ、
Original Assignee
ニッサン ノース アメリカ，インク
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from PCT/US2018/035455 external-priority patent/WO2019231456A1/en
Application filed by ニッサン ノース アメリカ，インク filed Critical ニッサン ノース アメリカ，インク
Publication of JP2021519720A publication Critical patent/JP2021519720A/ja
Application granted granted Critical
Publication of JP6972392B2 publication Critical patent/JP6972392B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G05D1/0221—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory involving a learning process
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G05D1/0219—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory ensuring the processing of the whole working surface
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • G06F30/20—Design optimisation, verification or simulation
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0001—Details of the control system
    • B60W2050/0002—Automatic control, details of type of controller or control system architecture
    • B60W2050/0008—Feedback, closed loop systems or details of feedback error signal
    • B60W2050/0011—Proportional Integral Differential [PID] controller
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • G06F30/10—Geometric CAD
    • G06F30/15—Vehicle, aircraft or watercraft design

Description

本出願は、自律走行のシミュレーションのための方法、装置、システム、及び非一時的なコンピュータ可読媒体を含む自律走行車に関する。
（複数の）関連出願の相互参照
本出願は、２０１８年７月３１日に出願された米国特許出願第１６／０５０，７３１号の優先権及びその利益を主張し、これは２０１８年６月２６日に出願された米国特許出願第１６号／０１９，２９１号の一部継続出願であり、これは２０１８年５月３１日に出願された国際特許出願第ＰＣＴ／ＵＳ２０８／０３５４５５号の継続出願であり、その開示全体は参照により本明細書に組み込まれる。
自律走行車の使用の増加によって、交通ネットワークを介して乗客及び積荷がより効率的に移動する可能性が生じている。さらに、自律走行車の使用は、車両安全性の改善及び車両間のより効率的な通信をもたらし得る。しかしながら、例えば、自律走行シミュレーションにおいて、自律走行車が静的オブジェクトを検出し、及び／又は近傍の他の動的オブジェクトの軌道を予測して、自律走行車が交通ネットワークを安全に横断し、そのようなオブジェクトを回避し得るように軌道を計画し得ることが重要である。
本明細書には、車両の自律操作を遠隔支援するための態様、特徴、要素、及び実装が開示されている。この実装は、既存のルートを代替の最終目的地点まで拡張する遠隔操作を支援する。
開示された実装の一態様は、自律走行をシミュレーションする方法である。この方法は、記録ＡＶ（自律走行車）から記録走行データを受信するステップであって、記録走行データは第１の意思決定アルゴリズムを用いて生成された意思決定データと、感知データと、記録ＡＶの複数の位置を含む移動データとを含むステップと、記録走行データから意思決定データを除外することによって、記録走行データからシミュレーションデータを取得するステップと、シミュレーションＡＶによって、シミュレーションデータを使用して第２の意思決定アルゴリズムをシミュレーションするステップとを含む。第２の意思決定アルゴリズムをシミュレーションすることは、第１の時間においてシミュレーションＡＶの第１の位置を決定すること、及び第１の位置と第１の時間における記録ＡＶの複数の位置の中の第２の位置との間の差に基づいてシミュレーションデータの再生速度を調整することを含む。
開示された実装の一態様は、メモリ及びプロセッサを含む自律走行をシミュレーションするための装置である。プロセッサは、メモリに記憶されたシミュレーションＡＶ（自律走行車）の命令を実行して、記録ＡＶから記録走行データを受信することであって、記録走行データは第１の意思決定アルゴリズムを使用して生成された意思決定データと、感知データと、記録ＡＶの複数の位置を含む移動データとを含むこと、記録走行データから意思決定データを除外することによって、記録走行データからシミュレーションデータを取得すること、及びシミュレーションデータを使用して第２の意思決定アルゴリズムをシミュレーションすることを行うように構成される。第２の意思決定アルゴリズムをシミュレーションすることは、第１の時間においてシミュレーションＡＶの第１の位置を決定すること、及び第１の位置と第１の時間における記録ＡＶの複数の位置の中の第２の位置との間の差に基づいてシミュレーションデータの再生速度を調整することを含む。
開示された実装の別の態様は、自律走行をシミュレーションする方法である。方法は、記録ＡＶ（自律走行車）から記録走行データを受信することであって、記録ＡＶは、第１の意思決定アルゴリズムを使用すること、及びシミュレーションＡＶによって、記録走行データの少なくとも一部を使用して第２の意思決定アルゴリズムをシミュレーションすることを含む。第２の意思決定アルゴリズムをシミュレーションすることは、第１の時間におけるシミュレーションＡＶの第１の位置と第１の時間における記録ＡＶの第２の位置との間の差に基づいて、記録走行データの少なくとも一部の再生速度を調整することを含む。
本開示のこうした特徴及びその他の特徴は、以下の実施形態の詳細な説明、添付の請求項及び添付の図面に開示されている。
本開示の技術は、添付の図面と併せて読む場合に、以下の詳細な説明から最良に理解される。慣行により、図面の様々な特徴は正確な縮尺ではないことを強調する。対照的に、様々な特徴の寸法は、明確のため任意に拡大又は縮小されている。さらに、別の注記がない限り、図面全体を通して、同じ参照番号は同じ要素を指している。
本明細書に開示の態様、特徴及び要素が実装され得る車両の一部の例示の図面である。
本明細書に開示の態様、特徴及び要素が実装され得る車両交通及び通信システムの一部の例示の図面である。
本開示の実装による予測可能な応答の状況の図である。
本開示の実装による自律走行車用システムのコンポーネントの一例である。
本開示の実装による自律走行車の軌道プランナのレイヤの例である。
本開示の実装による粗走行線連結の例を示す図である。
本開示の実装による戦略的速度計画を決定する例である。
本開示の実施による走行可能領域及び離散時間速度計画を決定するための処理のフローチャート図である。
本開示の実装による走行可能領域及び離散時間速度計画を決定する図である。
本開示の実装による静的オブジェクトのための走行可能領域を調整する例である。 本開示の実装による静的オブジェクトのための走行可能領域を調整する例である。 本開示の実装による静的オブジェクトのための走行可能領域を調整する例である。
本開示による静的境界を決定するための処理のフローチャートである。
本開示の実装による動的境界を決定する例である。 本開示の実装による動的境界を決定する例である。 本開示の実装による動的境界を決定する例である。
本開示の実装による軌道計画のさらなる例を示す。
本開示によるオブジェクト回避のための処理のフローチャートである。
本開示の実装による実世界オブジェクトに関する仮説の例の図である。
世界モデル化のための処理のフローチャートと、本開示による世界モデルを使用する処理のフローチャートとを含む。
本開示の実装による仮説を作成及び維持する例である。
本開示の実装による軌道予測の例である。
本開示の実装によるセンサ観測を実世界オブジェクトに関連付ける一例である。
本開示の実装による仮説の状態を更新する例である。
本開示による自律走行車（ＡＶ）による世界オブジェクト追跡及び予測のための処理のフローチャートである。
本開示の実装による軌道を予測する例である。
本開示による軌道の予測処理のフローチャートである。
本開示による自律のための軌道を計画するための処理のフローチャート図である。
本開示の実装による自律走行シミュレーションのための時間伸縮のシステムの一例である。
本開示の実装による記録走行データの一例である。
本開示の実装によるシミュレーションデータの一例である。
時間Ｔにおける記録ＡＶの位置及びシミュレーションＡＶの位置の例を示す。
本開示の実装による自律走行をシミュレーションするための処理のフローチャート図である。
本開示の実装による再生速度調整を決定するためのＰＩＤ（比例積分微分）コントローラのブロック図である。
自律走行車又は半自律走行車等の車両が車両交通ネットワークの一部を横断する場合がある。車両交通ネットワークは、建物等の１つ以上の通行不能領域、駐車領域（例えば、駐車場、駐車スペース等）等の１つ以上の部分的通行可能領域、道路（車線、中央分離帯、交差点等を含む）の１つ以上の通行可能領域、又はこれらの組み合わせを含み得る。
車両は、１つ以上のセンサを含み得る。車両交通ネットワークを横断することは、車両の動作環境又はその一部に対応するデータ等のセンサデータを生成又は捕捉するセンサを含み得る。例えば、センサデータは、１つ以上の外部オブジェクト（又は単にオブジェクト）に対応する情報を含み得る。
外部オブジェクトは静的オブジェクトであり得る。静的オブジェクトとは、静止していて、数秒以内に移動することが予想されないオブジェクトである。静的オブジェクトの例としては、運転者のいない自転車、コールドビークル、空車、道路標識、壁、建物、穴等が含まれる。
外部オブジェクトは、停止したオブジェクトであってもよい。停止したオブジェクトとは、静止しているが、いつでも移動し得るオブジェクトである。停止オブジェクトの例としては、信号機で停止している車両、及び乗員（例えば、運転者）がいる道路側の車両等が含まれる。実装によっては、停止したオブジェクトは静的オブジェクトとみなされる。
外部オブジェクトは、歩行者、遠隔車両、自動二輪車、自転車等の動的（すなわち、移動）オブジェクトであってもよい。動的オブジェクトは、（車両に向かって）対向しているものであり、又は車両と同じ方向に移動していてもよい。動的オブジェクトは、車両に対して縦方向又は横方向に移動し得る。静的オブジェクトは動的オブジェクトになる可能性があり、その逆もしかりである。
一般に、車両交通ネットワークを横断する（例えば、その中を走行する）ことは、ロボット的な動作とみなされ得る。すなわち、特定の状況（例えば、交通状況又は道路状況）に対する車両の予測可能な応答は予想することが可能である。例えば、交通状況の観測者は、次の数秒間における車両の応答がどのようなものであるかを予想することが可能である。すなわち、例えば、走行環境（すなわち、車両交通ネットワーク、道路）が動的であっても、道路状態に対する車両（すなわち、人に運転される、遠隔操作されるもの等）による応答は予測／予想することが可能である。
（複数の）応答は、車両交通ネットワークを横断することが道路の規則（例えば、左折する車両は対向する交通に譲らなければならず、車両は車線の標示の間を走行しなければならない）、社会的慣習（例えば、停止標識において、右側の運転者が譲られるべきである）、及び物理的制約（例えば、静的オブジェクトが車両の進行方向に瞬間的に横方向に移動することはない）により支配されるので予測可能である。予測可能な応答のさらなる例が、図３に関して示されている。
本開示による実装は、静的オブジェクトの存在を検出し（例えば、感知、観測等）、車両交通ネットワークの他のユーザ（例えば、道路ユーザ、動的オブジェクト）の軌道を予想（すなわち、予測）することによって、自律走行車の軌道を決定する。本開示による実装は、自律走行車の円滑な制御（例えば、停止、待機、加速、減速、合流等）及び自律走行車の社会的に許容可能な挙動（例えば、操作）に寄与する動的オブジェクト（例えば、他の道路ユーザ）の軌道を正確かつ効率的に計画することが可能である。
以下にさらに説明するように、本開示による軌道プランナの実装は、例えば、ＨＤ地図データ、遠隔操作データ、及び他の入力データを受信すること；起点位置から目的地位置までの経路の速度プロファイルを決定するために、入力データを縦方向に縫い合わせ（例えば、融合、接続等）する（例えば、起点位置から目的地位置までの経路の異なる区間に沿ってＡＶを走行し得る速度を指定する速度プロファイル）；及び離散的な時点において（例えば、数ミリ秒ごとに）、ＡＶのセンサデータに基づいて観測される静的及び動的オブジェクトに関連する制約を軌道プランナに処理させることにより、次の時間ウィンドウ（例えば、６秒の先読み時間）のためのＡＶの円滑な軌道を生成することによって、自律走行車（ＡＶ）のための円滑な軌道を起点位置から目的地位置まで生成し得る。
軌道プランナは、車両交通ネットワークの他のユーザ（本明細書では実世界オブジェクトとも呼ばれる）の予想される（すなわち、予測される）軌道をモジュール（例えば、世界モデルモジュール）から受信し得る。検出された各動的オブジェクト（例えば、車両、歩行者、自転車等の実世界オブジェクト）について、世界モデルモジュールは、実世界オブジェクトの考えられる意図に関する１つ以上の仮説を維持（例えば、予測及び更新）し得る。意図（例えば、仮説）の例には、停車、右折、左折、直進、通過、及び駐車が含まれる。尤度は各仮説と関連付けられる。尤度はセンサデータから受信した観測に基づいて更新される。
受信したセンサデータ（本明細書では、測定値又はセンサ観測とも呼ばれる）に基づいて実世界オブジェクトが検出される。世界モデルモジュールは、実世界オブジェクトに関連付けられた各仮説（例えば、意図）の状態を維持する（経時的に関連付け及び更新する）。状態は以下でさらに説明される。例えば、状態は、仮説の意図を考慮した関連する実世界オブジェクトの予測位置を含む。
世界モデルモジュールは、連続的に観測（例えば、センサデータ）を受信する。世界モデルモジュールは、特定の観測について、その観測が関連付けられている実世界オブジェクトを決定する。関連する実世界オブジェクトが発見されると、実世界オブジェクトに関連する各仮説の状態が観測に基づいて更新される。すなわち、例えば、実世界（例えば、物理世界）から受信した観測に基づいて、実世界オブジェクトの予測位置を更新する。
センサ観測はノイズを含むことがあることに留意されたい。このノイズは、感知能力及び／又はセンサ設定の制限による可能性がある。例えば、センサは、限られた視野を有し、限られた感知範囲を有し、誤検出及び／又は検出漏れの読み取り値を提供し、大きな不確かさを有する観測を提供し、及び／又は誤ったオブジェクト分類を提供し得る。また、自律走行車によって使用される異なるセンサタイプは、異なる、部分的な、及び／又は矛盾する観測（例えば、分類、位置等）を提供し得る。そのため、不確かさのレベルは、世界モデルモジュールによって受信されるセンサデータに関連付けられる。
自律走行車は、複数のタイプのセンサ（例えば、カメラ、ＬｉＤＡＲ、レーダ等）からのデータを使用（例えば、融合）して、自律走行車の外部にある実世界オブジェクトの速度、姿勢（位置及び方位）、軌道、クラス等の少なくとも１つを推定し得る。本開示の実施によれば、世界モデルモジュールは、複数のセンサからの情報を融合し、センサ特性を考慮することによって、実世界オブジェクト（すなわち、道路ユーザ）の現在の状態の最良の推定を提供し得る。
要約すると、他の道路ユーザの意図がＡＶに知られていないので、ＡＶは、道路ユーザが何をするかについて複数の可能な意図（仮説）を予測して追跡し、それによってＡＶ（例えば、ＡＶの軌道プランナ）は、道路ユーザの予測された意図に基づいて滑らかな軌道を計画し得る。センサデータからの観測を考慮して、世界モデルモジュールは、本開示の実装に従って、観測されたオブジェクト（すなわち、実世界オブジェクト）の状態を追跡して推定し、複数の仮説を用いて、確率的な方法で実世界オブジェクトの将来の状態を予測する。すなわち、世界モデルモジュールによって、実世界におけるオブジェクトの追跡を改善することが可能になる。世界モデルモジュールは、実世界オブジェクトの可能な軌道に関する複数の仮説を予測する。すなわち、例えば、世界モデルモジュールは、後述するように、オブジェクトがどこに向かっているか、オブジェクトが停止しているか、オブジェクトが駐車しているか等を予測し得る。
以下の説明から明らかなように、世界モデルモジュールは、（１）連続的な（例えば、オブジェクトの姿勢、速度、ジオメトリ等）及び離散的なオブジェクト状態（例えば、オブジェクトの分類、意図等）を追跡すること、（２）関連する確率（例えば、尤度）を用いて複数のオブジェクト状態仮説（例えば、意図）を推定して追跡すること、（３）オブジェクトの状態、地図及び／又は環境情報に応じて、抽象オブジェクト意図を生成して追跡すること、（４）可変長の時間にわたって、複数の仮説を用いた将来のオブジェクト状態を予測すること、及び（５）各種センサ（例えば、ＬｉＤＡＲ、レーダ、カメラ等）からのデータをリアルタイムに処理して融合することを含む利点を提供し得る。本発明の教示は、広範囲のオブジェクト及び道路ユーザ（自動車、自転車、歩行者を含むが、これらに限定されない）に適用し得る。
本明細書では自律走行車を参照して記載されているが、本明細書に記載の方法及び装置は、自律的又は半自律的動作が可能な任意の車両で実装されてもよい。車両交通ネットワークを参照して記載されているが、本明細書に記載の方法及び装置は、車両によって走行可能な任意の領域で自律走行車が動作することを含んでもよい。
本開示による実装は、自律走行車（すなわち、記録自律走行車又は記録ＡＶ）からの記録データ（すなわち、走行データの記録）を使用して、自律走行をシミュレーションすることもできる。自律走行をシミュレーションすることは、シミュレーションＡＶと相互作用する他の仮想道路ユーザ（例えば、歩行者、自転車運転者、ペット、他の車両等）を含む仮想３次元世界において、シミュレーションＡＶを使用して走行することを意味し得る。
自律走行のシミュレーションは、例えば、軌道計画、意思決定、オブジェクト検出及び分類、及び／又は自律走行に関連する他の側面等のテストの重要な部分であり得る。例えば、シミュレーションを使用して、改善された意思決定アルゴリズムをテスト（例えば、検証、不具合の発見等）してから、実世界の道路を走行し、実世界オブジェクト（すなわち、他の道路ユーザ）に遭遇する実自律走行車において改善された意思決定アルゴリズムを使用し得る。理解されるように、シミュレーションは、実世界のテストよりも実行コストが低く、より重要なことには、例えば、シミュレーションでは誤った意思決定アルゴリズムによって負傷が生じない。
シミュレーションテストは、シミュレーションされた世界オブジェクト又は記録された路上走行に基づいて行うことができる。
シミュレーションされた世界オブジェクトシナリオでは、シミュレーションで使用される他の道路ユーザは、コンピュータで生成されたオブジェクトにし得る。そのため、シミュレーションは完全知覚で実行されると言われている。完全知覚とは、他の道路ユーザの各々の位置、分類、速度、姿勢、より多くの、より少ない、又は他の側面（例えば、特性、特徴、測定値等）を不確実性なしに知ることができることを意味する。すなわち、完全知覚は、互いの道路ユーザに関するグラウンドトゥルースを知ることができることを意味する。
しかし、上述したように、センサデータはノイズを含むことがある。少なくとも部分的にはノイズに起因して、記録ＡＶ（すなわち、実世界をナビゲーションするＡＶ）は不完全な知覚を有すると言われている。意思決定アルゴリズムは、不完全な知覚に対して望ましくはロバストである必要があるため、（例えば、コンピュータで生成された他の道路ユーザを使用することによる）完全な知覚を使用する意思決定アルゴリズムのテスト（例えば、シミュレーション）は、不十分である。何故なら、例えば、一組の結果（例えば、最適な決定）が完全な知覚の下でシミュレーションＡＶによって生成され得るが、同じ意思決定アルゴリズムが、記録ＡＶによって（例えば、実世界において）不完全な知覚の下で使用される場合、最適ではない決定（例えば、衝突につながる決定）が生成され得るからである。
記録された路上走行シナリオでは、ＡＶ（すなわち、記録ＡＶ）を使用して実世界を走り回る。走行は、シミュレーション中に記録及び再生され得る。走行の記録は、あるサンプリングレートで、記録走行データを記録することを含み得る。例えば、サンプリングレートは、毎秒１０記録データ点とし得る。しかしながら、本明細書の開示はそれほど限定されず、他のサンプリングレート（例えば、より多くの又は少ない毎秒記録データ点）を使用し得る。一例として、記録走行データは、各サンプリング時間において、ＡＶが記録ＡＶによって観測した（例えば、視覚センサを介して「見られる」又は検出された、及び／又は聴覚センサを介して聞かれた）オブジェクト（例えば、ここでは他の道路ユーザ及び／又は実世界オブジェクトと呼ばれる）、観測されたオブジェクトの位置、サンプリング時間における記録ＡＶの位置（例えば、場所）、及び記録ＡＶの感知領域の１つ以上の画像を含み得る。感知領域は、記録ＡＶのセンサによって観測し得る実世界の領域として定義し得る。
記録走行データを用いてシミュレーションを行うことができる。すなわち、例えば、記録ＡＶからの観測データは、シミュレーションＡＶによって、シミュレーション中の他の道路ユーザの観測として使用し得る。すなわち、物理センサからセンサ情報を受信する代わりに、記録走行データ（記録ＡＶの物理センサによって捕捉された感知データを含む）を使用し得る。そのため、（記録走行データは、上述したように、記録ＡＶの不完全知覚の下で捕捉されたので）シミュレーションは不完全知覚の下で実行できる。
しかしながら、自律走行シミュレーションのために記録した走行データを使用することは、時間同期の課題を提示し得る。時間同期の課題は、記録ＡＶの位置（すなわち、場所）とシミュレーションＡＶの位置（すなわち、場所）との間のずれに起因し得る。すなわち、例えば、記録されたデータの時間ｔにおける記録ＡＶの第１の位置は、同じ時間ｔにおけるシミュレーションＡＶの第２の位置とは異なってもよい。状況によっては、以下にさらに説明するように、第１の位置と第２の位置との間のずれ（例えば、距離）は、以下にさらに説明するように、シミュレーションＡＶが記録走行データの少なくとも一部を適時に受信しないように十分に大きくすることができ、それによって、（記録ＡＶによって）観測された他の道路ユーザに基づかない意思決定がもたらされる。
繰り返すが、シミュレーションＡＶと記録ＡＶは、全く同じ位置でシミュレーションを開始し得るが、シミュレーションＡＶと記録ＡＶは、位置（例えば、空間内の場所）に関して互いから離れていくことがある。いくつかのソースが、記録ＡＶとシミュレーションＡＶとの間の位置のずれに寄与し得る。
例えば、ずれは、オペレータの介入によって引き起こされ得る。一般的なシナリオでは、実世界を走り回るためにＡＶ（すなわち、記録ＡＶ）が使用される。ＡＶは、例えば、ＡＶの意思決定及び／又は計画された軌道をオーバーライドし得るオペレータ（例えば、人間の運転手や電話交換手）を含み得る。例えば、オペレータは、別の道路ユーザを避けるために加速、減速及び／又は停止し得る。オペレータは、記録ＡＶがコーナリングしている間にハンドルを保持及び／又は回転させて、記録ＡＶのステアリング角をオーバーライドし得る。又は、記録ＡＶが同じ車線に留まっていた場合に、オペレータが車線を変更してもよい。
別の例では、シミュレーションＡＶ及び記録ＡＶは、異なる運動モデル（例えば、モーションコントロールモデル、運動学的動作モデル等）を使用し得る。運動モデルは、ＡＶに印加される電力量、ＡＶのタイヤ力学、より少ない、より多い、又はＡＶの他の側面を記述（例えば、モデル化）し得る。例えば、運動制御のシミュレーションがシミュレーションのオブジェクトではない場合、記録ＡＶによって使用されるものよりも単純な運動制御モデルをシミュレーションＡＶのために使用することができ、それによって、位置ずれに寄与する。
別の例では、シミュレーションＡＶ及び記録ＡＶは、異なる意思決定アルゴリズムを使用し得る。例えば、シミュレーションＡＶの意思決定アルゴリズムは、記録ＡＶの意思決定アルゴリズムの改良版であってもよい。そのため、ずれは、記録ＡＶとシミュレーションＡＶの意思決定アルゴリズムによる異なる自律走行意思決定に起因し得る。
ずれのソース及び／又は原因に関係なく、上述のように、記録走行データは、例えば、シミュレーションＡＶの意思決定アルゴリズムを評価するために、自律走行シミュレーションにおいて使用し得る。しかしながら、記録ＡＶ及びシミュレーションＡＶの位置は、シミュレーションＡＶが、記録ＡＶによって観測された全てのデータを使用してその意思決定を実行し得るように、同期されることが望ましい。
なお、シミュレーションＡＶと記録ＡＶの位置を同期させることは、記録ＡＶとシミュレーションＡＶ又はその両方の位置を調整することを意味していないことに留意されたい。むしろ、後述するように、シミュレーションＡＶと記録ＡＶの位置を同期させることは、シミュレーションＡＶの第１の位置と記録ＡＶの第２の位置との同時点での差分に基づいて、シミュレーションデータ（記録走行データであってもよい）の再生速度を調整すること（例えば、連続的に調節すること）を意味する。すなわち、例えば、シミュレーション中の時間ＴにおけるシミュレーションＡＶの第１の位置と、記録走行の時間Ｔにおける記録ＡＶの第２の位置との間の距離を用いて、再生速度が決定される。再生速度を調整することによって、記録ＡＶによって捕捉された（以下に詳述するように、感知データによって利用可能な）他の全ての道路ユーザは、シミュレーションＡＶの意思決定アルゴリズムによって使用し得る。すなわち、記録されたデータの再生速度を調整することによって、シミュレーションＡＶは、その意思決定アルゴリズムを実行する際に記録ＡＶが使用した同じデータを使用して、その意思決定アルゴリズムを実行し得る。
本開示による実装は、シミュレーションされた世界オブジェクト及び／又は記録された路上走行データに基づく自律走行シミュレーションの上述の制限を克服し得る。記録ＡＶの記録走行データの再生速度をシミュレーションＡＶの位置に一致するように変化させることによって、不完全な知覚を使用して、記録された観測を省略するリスクなしに、（例えば、シミュレーションＡＶの意思決定アルゴリズムの評価するために）自律走行をシミュレーションし得る。したがって、シミュレーションＡＶの位置が記録ＡＶの位置からずれても、シミュレーションＡＶは、記録ＡＶによって記録された観測（例えば、測定）を見落とすことはない。
本明細書の教示のいくつかの実装をより詳細に説明するために、まず、本開示が実装され得る環境を参照する。
図１は、本明細書に開示の態様、特徴及び要素が実装され得る車両１００の一部の例示の図面である。車両１００は、シャーシ１０２、パワートレイン１０４、コントローラ１１４、車輪１３２／１３４／１３６／１３８を含み、又は車両の任意の他の要素又は要素の組み合わせを含んでもよい。簡潔のため車両１００は４つの車輪１３２／１３４／１３６／１３８を含むように示されているが、プロペラ又はトレッド等の１つ以上の任意の他の推進装置が使用されてもよい。図１において、パワートレイン１０４、コントローラ１１４及び車輪１３２／１３４／１３６／１３８等の要素を相互接続する線は、データ又は制御信号等の情報、電力又はトルク等の力、又は情報及び電力の両方が各要素間で伝達され得ることを示している。例えば、コントローラ１１４は、パワートレイン１０４から電力を受信して、パワートレイン１０４、車輪１３２／１３４／１３６／１３８、又は両方と通信して、車両１００を制御してもよく、これは、車両１００を加速、減速、操縦又は他のやり方で制御することを含み得る。
パワートレイン１０４は、電源１０６、トランスミッション１０８、ステアリング装置１１０、車両アクチュエータ１１２を含み、サスペンション、駆動シャフト、アクセル若しくは排気システム等のパワートレインの任意の他の要素又は要素の組み合わせを含んでもよい。別々に示されているが、車輪１３２／１３４／１３６／１３８は、パワートレイン１０４に含まれてもよい。
電源１０６は、電気エネルギ、熱エネルギ又は運動エネルギ等のエネルギを提供するように動作する任意の装置又は装置の組み合わせであってもよい。例えば、電源１０６は、内燃エンジン、電気モータ又は内燃エンジン及び電気モータの組み合わせ等のエンジンを含み、車輪１３２／１３４／１３６／１３８の１つ以上に原動力として運動エネルギを提供するように動作する。いくつかの実施形態では、電源１０６は、ニッケルカドミウム（ＮｉＣｄ）、ニッケル亜鉛（ＮｉＺｎ）、ニッケル水素（ＮｉＭＨ）、リチウムイオン（Ｌｉ−ｉｏｎ）等の１つ以上の乾電池、太陽電池、燃料電池、又はエネルギを提供することが可能な任意の他の装置等のポテンシャルエネルギ装置を含む。
トランスミッション１０８は、電源１０６から運動エネルギ等のエネルギを受信して、原動力を提供するために車輪１３２／１３４／１３６／１３８にエネルギを送る。トランスミッション１０８は、コントローラ１１４、車両アクチュエータ１１２又は両方によって制御されてもよい。ステアリング装置１１０は、コントローラ１１４、車両アクチュエータ１１２又は両方によって制御され、車両を操縦するために車輪１３２／１３４／１３６／１３８を制御する。車両アクチュエータ１１２は、コントローラ１１４から信号を受信してもよく、車両１００を動作させるために電源１０６、トランスミッション１０８、ステアリング装置１１０又はこれらの任意の組み合わせを作動又は制御してもよい。
例示の実施形態では、コントローラ１１４は、位置決め装置１１６、電子通信装置１１８、プロセッサ１２０、メモリ１２２、ユーザインターフェース１２４、センサ１２６、及び電子通信インターフェース１２８を含む。単一の装置として示されているが、コントローラ１１４の任意の１つ以上の要素が任意の数の分離した物理装置に組み込まれてもよい。例えば、ユーザインターフェース１２４及びプロセッサ１２０は、第１の物理装置に組み込まれてもよく、メモリ１２２は、第２の物理装置に組み込まれてもよい。図１には示されていないが、コントローラ１１４は、バッテリ等の電源１２１０を含んでもよい。別個の要素として示されているが、位置決め装置１１６、電子通信装置１１８、プロセッサ１２０、メモリ１２２、ユーザインターフェース１２４、センサ１２６、電子通信インターフェース１２８、又はこれらの任意の組み合わせは、１つ以上の電子装置、回路又はチップに組み込まれ得る。
いくつかの実施形態では、プロセッサ１２０は、信号又は他の情報を操作又は処理することが可能な現存する又は今後開発される任意の装置又は装置の組み合わせ、例えば、光プロセッサ、量子プロセッサ、分子プロセッサ、又はそれらの組み合わせを含む。例えば、プロセッサ１２０は、１つ以上の専用プロセッサ、１つ以上のデジタル信号プロセッサ、１つ以上のマイクロプロセッサ、１つ以上のコントローラ、１つ以上のマイクロコントローラ、１つ以上の集積回路、１つ以上の特定用途向け集積回路、１つ以上のフィールド・プログラマブル・ゲート・アレイ、１つ以上のプログラマブル・ロジック・アレイ、１つ以上のプログラマブル・ロジック・コントローラ、１つ以上の状態機械、又はこれらの任意の組み合わせを含んでもよい。プロセッサ１２０は、位置決め装置１１６、メモリ１２２、電子通信インターフェース１２８、電子通信装置１１８、ユーザインターフェース１２４、センサ１２６、パワートレイン１０４、又はこれらの任意の組み合わせと動作可能に結合されてもよい。例えば、プロセッサは、通信バス１３０を介してメモリ１２２と動作可能に結合されてもよい。
プロセッサ１２０は、命令を実行するように構成されてもよい。このような命令は、オペレーションセンタを含む遠隔地から車両１００を操作するために使用され得る遠隔操作のための命令を含んでもよい。遠隔操作のための命令は、車両１００に記憶され、又は交通管理センタ又はクラウド型サーバコンピュータ装置を含むサーバコンピュータ装置等の外部ソースから受信されてもよい。遠隔操作は、２０１８年２月２１日に出願され、“ＲＥＭＯＴＥ ＯＰＥＲＡＴＩＯＮ ＥＸＴＥＮＤＩＮＧ ＡＮ ＥＸＩＳＴＩＮＧ ＲＯＵＴＥ ＴＯ Ａ ＤＥＳＴＩＮＡＴＩＯＮ”と題された米国仮特許出願第６２／６３３，４１４号で紹介されている。
メモリ１２２は、プロセッサ１２０によって使用される又はそれと接続される、機械可読命令又はそれに関連付けられる任意の情報を、例えば、保持、記憶、伝達又は搬送することが可能な任意の有形の非一時的コンピュータ使用可能又はコンピュータ可読媒体を含んでもよい。メモリ１２２は、例えば、１つ以上の半導体ドライブ、１つ以上のメモリカード、１つ以上のリムーバブル媒体、１つ以上の読み取り専用メモリ（ＲＯＭ）、１つ以上のランダムアクセスメモリ（ＲＡＭ）、１つ以上のレジストリ、１つ以上の低電力ダブルデータレート（ＬＰＤＤＲ）メモリ、１つ以上のキャッシュメモリ、１つ以上のディスク（ハードディスク、フロッピーディスク、又は光学ディスクを含む）、磁気若しくは光学カード、又は電子情報を記憶するのに適した任意のタイプの非一時的な媒体、又はこれらの任意の組み合わせを含んでもよい。
電子通信インターフェース１２８は、図示のような無線アンテナ、有線通信ポート、光学通信ポート、又は有線若しくは無線電子通信媒体１４０とインターフェース接続することが可能な任意の他の有線若しくは無線装置であってもよい。
電子通信装置１１８は、電子通信インターフェース１２８等を介して、有線又は無線電子通信媒体１４０を介して信号を送信又は受信するように構成されてもよい。図１に明示されていないが、電子通信装置１１８は、無線周波数（ＲＦ）、紫外線（ＵＶ）、可視光、光ファイバ、有線回線、又はこれらの組み合わせ等の任意の有線又は無線通信媒体を介して送信、受信又は両方を行うように構成される。図１は、単一の電子通信装置１１８及び単一の電子通信インターフェース１２８を示しているが、任意の数の通信装置及び任意の数の通信インターフェースが使用されてもよい。いくつかの実施形態では、電子通信装置１１８は、専用の短距離通信（ＤＳＲＣ）装置、無線安全装置（ＷＳＵ）、ＩＥＥＥ８０２．１１ｐ（ＷｉＦｉ−Ｐ）、又はそれらの組み合わせを含み得る。
位置決め装置１１６は、限定されないが、車両１００の経度、緯度、高度、進行方向又は速さを含む地理情報を決定してもよい。例えば、位置決め装置は、広域補強システム（Ｗｉｄｅ Ａｒｅａ Ａｕｇｍｅｎｔａｔｉｏｎ Ｓｙｓｔｅｍ；ＷＡＡＳ）対応米国海洋電子機器協会（Ｎａｔｉｏｎａｌ Ｍａｒｉｎｅ Ｅｌｅｃｔｒｏｎｉｃｓ Ａｓｓｏｃｉａｔｉｏｎ；ＮＭＥＡ）装置、無線三角測量装置、又はこれらの組み合わせ等の全地球測位システム（ＧＰＳ）装置を含む。位置決め装置１１６は、例えば、車両１００の現在の向き、２次元又は３次元での車両１００の現在地、車両１００の現在の角度方向、又はこれらの組み合わせを表す情報を取得するために使用され得る。
ユーザインターフェース１２４は、仮想キーパッド、物理キーパッド、タッチパッド、ディスプレイ、タッチスクリーン、スピーカ、マイクロホン、ビデオカメラ、センサ、及びプリンタのいずれかを含む、人間がインターフェースとして使用することが可能な任意の装置を含んでもよい。ユーザインターフェース１２４は、図示のようにプロセッサ１２０と、又はコントローラ１１４の任意の他の要素と動作可能に結合されてもよい。単一の装置として示されているが、ユーザインターフェース１２４は、１つ以上の物理装置を含み得る。例えば、ユーザインターフェース１２４は、人物との音声通信を行うための音声インターフェース、及び人物との視覚及びタッチに基づく通信を行うためのタッチディスプレイを含む。
センサ１２６は、車両を制御するために使用され得る情報を提供するように動作し得るセンサの配列等の１つ以上のセンサを含んでもよい。センサ１２６は、車両の現在の動作特徴又はその周囲に関する情報を提供し得る。センサ１２６は、例えば、速度センサ、加速度センサ、ステアリング角センサ、トラクション関連センサ、ブレーキ関連センサ、又は車両１００の現在の動的状況の何らかの態様に関する情報を報告するように動作可能な任意のセンサ若しくはセンサの組み合わせを含む。
いくつかの実施形態では、センサ１２６は、車両１００の周囲の物理環境に関する情報を取得するように動作可能なセンサを含む。例えば、１つ以上のセンサが、道路形状、及び固定妨害物、車両、サイクリスト及び歩行者等の妨害物を検出する。センサ１２６は、既知の又は後に開発される、１つ以上のビデオカメラ、レーザ感知システム、赤外線感知システム、音響感知システム、又は任意の他の適切なタイプの車載環境感知装置、又は装置の組み合わせであるか、又はこれらを含み得る。センサ１２６及び位置決め装置１１６は結合されてもよい。
別に示されてはいないが、車両１００は、軌道コントローラを含んでもよい。例えば、コントローラ１１４は、軌道コントローラを含んでもよい。軌道コントローラは、車両１００の現在の状態及び車両１００に対して計画された経路を記述する情報を取得し、この情報に基づいて、車両１００に対する軌道を決定及び最適化するように動作可能であってもよい。いくつかの実施形態では、軌道コントローラは、車両１００が軌道コントローラによって決定される軌道に従うように、車両１００を制御するように動作可能な信号を出力する。例えば、軌道コントローラの出力は、パワートレイン１０４、車輪１３２／１３４／１３６／１３８又は両方に供給され得る最適化された軌道であり得る。最適化された軌道は、一組のステアリング角等の制御入力であってもよく、各ステアリング角は１つの時点又は位置に対応する。最適化された軌道は、１つ以上の経路、線、曲線、又はこれらの組み合わせであり得る。
１つ以上の車輪１３２／１３４／１３６／１３８は、ステアリング装置１１０の制御下でステアリング角に枢動される操縦された車輪、トランスミッション１０８の制御下で車両１００を推進するためのトルクを与えられる推進された車輪、又は車両１００を操縦及び推進する操縦及び推進された車輪であってもよい。
車両は、エンクロージャ、ブルートゥース（登録商標）モジュール、周波数変調（ＦＭ）ラジオ装置、近距離無線通信（ＮＦＣ）モジュール、液晶ディスプレイ（ＬＣＤ）ディスプレイ装置、有機発光ダイオード（ＯＬＥＤ）ディスプレイ装置、スピーカ、又はこれらの任意の組み合わせ等の図１に示されていない装置又は要素を含んでもよい。
図２は、本明細書に開示の態様、特徴及び要素が実装され得る車両交通及び通信システム２００の一部の例示の図面である。車両交通及び通信システム２００は、図１に示された車両１００等の車両２０２、及び図１に示された車両１００、歩行者、サイクリスト等の任意の交通手段の形態と共に建物等の任意の形態の構造を含み得る外部オブジェクト２０６等の１つ以上の外部オブジェクトを含む。車両２０２は、交通ネットワーク２０８の１つ以上の部分を介して移動してもよく、１つ以上の電子通信ネットワーク２１２を介して外部オブジェクト２０６と通信してもよい。図２には明示されていないが、車両は、オフロード領域等の交通ネットワークに明示的に又は完全には含まれていない領域を横断してもよい。いくつかの実施形態では、交通ネットワーク２０８は、誘導ループセンサ等の１つ以上の車両検出センサ２１０を含んでもよく、これは交通ネットワーク２０８において車両の移動を検出するために使用されてもよい。
電子通信ネットワーク２１２は、車両２０２、外部オブジェクト２０６及びオペレーションセンタ２３０の間の音声通信、データ通信、映像通信、メッセージング通信、又はこれらの組み合わせ等の通信を提供する多重アクセスシステムであってもよい。例えば、車両２０２又は外部オブジェクト２０６は、電子通信ネットワーク２１２を介してオペレーションセンタ２３０から交通ネットワーク２０８を表す情報等の情報を受信してもよい。
オペレーションセンタ２３０は、図１に示されたコントローラ１１４の特徴の一部又は全てを含むコントローラ装置２３２を含む。コントローラ装置２３２は、自律走行車を含む車両の移動を監視及び調整し得る。コントローラ装置２３２は、車両２０２等の車両及び外部オブジェクト２０６等の外部オブジェクトの状態又は状況を監視してもよい。コントローラ装置２３２は、車両速度、車両位置、車両動作状態、車両目的地、車両経路、車両センサデータ、外部オブジェクト速度、外部オブジェクト位置、外部オブジェクト動作状態、外部オブジェクト目的地、外部オブジェクト経路及び外部オブジェクトセンサデータのいずれかを含む車両データ及びインフラストラクチャデータを受信し得る。
さらに、コントローラ装置２３２は、車両２０２等の１つ以上の車両又は外部オブジェクト２０６等の外部オブジェクトに対する遠隔制御を確立し得る。このようにして、コントローラ装置２３２は、遠隔地から車両又は外部オブジェクトを遠隔操作してもよい。コントローラ装置２３２は、無線通信リンク２２６等の無線通信リンク又は有線通信リンク２２８等の有線通信リンクを介して、車両２０２、外部オブジェクト２０６又はサーバコンピュータ装置２３４等の車両、外部オブジェクト又はコンピュータ装置と状態データを交換（送信又は受信）してもよい。
サーバコンピュータ装置２３４は、電子通信ネットワーク２１２を介して、車両２０２、外部オブジェクト２０６又はオペレーションセンタ２３０を含む１つ以上の車両又はコンピュータ装置と状態信号データを交換（送信又は受信）し得る１つ以上のサーバコンピュータ装置を含んでもよい。
いくつかの実施形態では、車両２０２又は外部オブジェクト２０６は、有線通信リンク２２８、無線通信リンク２１４／２１６／２２４、又は任意の数若しくはタイプの有線若しくは無線通信リンクの組み合わせを介して通信を行ってもよい。例えば、図示のように、車両２０２又は外部オブジェクト２０６は、陸上無線通信リンク２１４を介して、非陸上無線通信リンク２１６を介して、又はこれらの組み合わせを介して通信を行う。いくつかの実装では、陸上無線通信リンク２１４は、イーサネット（登録商標）リンク、シリアルリンク、ブルートゥース（登録商標）リンク、赤外線（ＩＲ）リンク、紫外線（ＵＶ）リンク、又は電子通信を可能にする任意のリンクを含む。
車両２０２等の車両又は外部オブジェクト２０６等の外部オブジェクトは、別の車両、外部オブジェクト又はオペレーションセンタ２３０と通信してもよい。例えば、ホスト又はオブジェクトの車両２０２が、直接通信リンク２２４を介して又は電子通信ネットワーク２１２を介して、オペレーションセンタ２３０から基本安全メッセージ（ｂａｓｉｃ ｓａｆｅｔｙ ｍｅｓｓａｇｅ；ＢＳＭ）等の１つ以上の自動車両間メッセージを受信してもよい。例えば、オペレーションセンタ２３０は、３００メートル等の既定のブロードキャスト範囲内のホスト車両に又は定義された地理領域にメッセージをブロードキャストしてもよい。いくつかの実施形態では、車両２０２は、信号リピータ（図示せず）又は別の遠隔車両（図示せず）等のサードパーティを介してメッセージを受信する。いくつかの実施形態では、車両２０２又は外部オブジェクト２０６は、１００ミリ秒（ｍｓ）等の既定の間隔に基づいて周期的に１つ以上の自動車両間メッセージを送信する。
車両２０２は、アクセスポイント２１８を介して電子通信ネットワーク２１２と通信してもよい。コンピュータ装置を含み得るアクセスポイント２１８は、無線又は有線通信リンク２１４／２２０を介して、車両２０２と、電子通信ネットワーク２１２と、オペレーションセンタ２３０と、又はこれらの組み合わせと通信するように構成される。例えば、アクセスポイント２１８は、基地局、ＢＴＳ（ｂａｓｅ ｔｒａｎｓｃｅｉｖｅｒ ｓｔａｔｉｏｎ）、Ｎｏｄｅ−Ｂ、ｅＮｏｄｅ−Ｂ（ｅｎｈａｎｃｅｄ Ｎｏｄｅ−Ｂ）、ＨＮｏｄｅ−Ｂ（Ｈｏｍｅ Ｎｏｄｅ−Ｂ）、無線ルータ、有線ルータ、ハブ、リレー、スイッチ、又は任意の類似の有線若しくは無線装置である。単一の装置として示されているが、アクセスポイントは、任意の数の相互接続要素を含み得る。
車両２０２は衛星２２２又は他の非陸上通信装置を介して電子通信ネットワーク２１２と通信してもよい。コンピュータ装置を含み得る衛星２２２は、１つ以上の通信リンク２１６／２３６を介して、車両２０２と、電子通信ネットワーク２１２と、オペレーションセンタ２３０と、又はこれらの組み合わせと通信するように構成されてもよい。単一の装置として示されているが、衛星は、任意の数の相互接続要素を含み得る。
電子通信ネットワーク２１２は、音声、データ、又は任意の他のタイプの電子通信装置を提供するように構成される任意のタイプのネットワークであってもよい。例えば、電子通信ネットワーク２１２は、ローカルエリアネットワーク（ＬＡＮ）、ワイドエリアネットワーク（ＷＡＮ）、仮想プライベートネットワーク（ＶＰＮ）、モバイル若しくはセルラ電話ネットワーク、インターネット、又は任意の他の電子通信システムを含む。電子通信ネットワーク２１２は、トランスミッション・コントロール・プロトコル（ＴＣＰ）、ユーザ・データグラム・プロトコル（ＵＤＰ）、インターネット・プロトコル（ＩＰ）、リアルタイム・トランスポート・プロトコル（ＲＴＰ）、ハイパー・テキスト・トランスポート・プロトコル（ＨＴＴＰ）、又はこれらの組み合わせ等の通信プロトコルを使用してもよい。単一の装置として示されているが、電子通信ネットワークは、任意の数の相互接続要素を含み得る。
いくつかの実施形態では、車両２０２は、電子通信ネットワーク２１２、アクセスポイント２１８又は衛星２２２を介して、オペレーションセンタ２３０と通信する。オペレーションセンタ２３０は、車両２０２等の車両からのデータ、外部オブジェクト２０６等の外部オブジェクトからのデータ、又はサーバコンピュータ装置２３４等のコンピュータ装置からのデータを交換（送信又は受信）し得る１つ以上のコンピュータ装置を含んでもよい。
いくつかの実施形態では、車両２０２は、交通ネットワーク２０８の一部又は状態を識別する。例えば、車両２０２は、速度センサ、車輪速度センサ、カメラ、ジャイロスコープ、光学センサ、レーザセンサ、レーダセンサ、音響センサ、又は交通ネットワーク２０８の一部若しくは状態を決定若しくは識別することが可能な任意の他のセンサ若しくはデバイス又はこれらの組み合わせを含む図１に示されたセンサ１２６等の１つ以上の車載センサ２０４を含んでもよい。
車両２０２は、交通ネットワーク２０８を表す情報、１つ以上の車載センサ２０４、又はこれらの組み合わせ等の電子通信ネットワーク２１２を介して伝達される情報を使用して、交通ネットワーク２０８の１つ以上の部分を横断してもよい。外部オブジェクト２０６は、車両２０２に関して先に記載された通信及びアクションの全て又は一部の能力を有してもよい。
簡潔のため、図２は、ホスト車両としての車両２０２、外部オブジェクト２０６、交通ネットワーク２０８、電子通信ネットワーク２１２、及びオペレーションセンタ２３０を示している。しかしながら、任意の数の車両、ネットワーク又はコンピュータ装置が使用されてもよい。いくつかの実施形態では、車両交通及び通信システム２００は、図２に示されていない装置、ユニット又は要素を含む。
電子通信ネットワーク２１２を介してオペレーションセンタ２３０と通信する車両２０２が示されているが、車両２０２（及び外部オブジェクト２０６）は、任意の数の直接又は間接通信リンクを介してオペレーションセンタ２３０と通信してもよい。例えば、車両２０２又は外部オブジェクト２０６は、ブルートゥース（登録商標）通信リンク等の直接通信リンクを介してオペレーションセンタ２３０と通信してもよい。簡潔のため、図２は１つの交通ネットワーク２０８及び１つの電子通信ネットワーク２１２を示しているが、任意の数のネットワーク又は通信装置が使用されてもよい。
外部オブジェクト２０６は、図２に第２の遠隔車両として示されている。外部オブジェクトは、他の車両に限定されない。外部オブジェクトは、オペレーションセンタ２３０にデータを送信する能力を有する任意のインフラストラクチャ要素、例えば、フェンス、標識、建物等であってもよい。データは、例えば、インフラストラクチャ要素からのセンサデータであってもよい。
図３は、本開示の実装による予測可能な応答の状況３００の図である。状況３００は、自律走行車（ＡＶ）３０２の応答を予測し得る状況３１０−３６０、及び計画された軌道を含んでいる。
状況３００は、予測可能な状況及び道路ユーザの応答の例を表している。これらの状況は、遅い時間スケールで発生する（例えば、起こる、生じる）。すなわち、ＡＶ３０２が高速（例えば、時速６０マイル（ＭＰＨ））で進んでいる場合であっても、状況３１０−３６０は、ＡＶ３０２の計算能力（例えば、図１のプロセッサ１２０等のプロセッサ及び／又は図１のコントローラ１１４等のコントローラの演算能力）のために、経過時間のサブ秒以内で外部オブジェクトの応答を予測し、自律走行車の軌道を決定し得るので、遅いシナリオであると考えられる。
ＡＶ３０２は、少なくともいくつかの検出された外部オブジェクトを追跡することが可能な世界モデル化モジュールを含み得る。世界モデル化モジュールは、複数の追跡対象オブジェクトの少なくとも一部の追跡対象オブジェクトごとに、１つ以上の可能性のある仮説（すなわち、軌道、経路等）を予測し得る。ＡＶ３０２は、軌道計画システム（又は、単に軌道プランナ）を含んでもよく、このシステムは、プロセッサによって実行されて、（初期状態、所望のアクション、及び予測された軌道を有する少なくともいくつかの追跡対象オブジェクトを考慮して）衝突回避、法令遵守、快適応答（例えば、軌道、経路等）を生成し得る。
状況３１０において、ＡＶ３０２は、道路の側方にある駐車車両（静的オブジェクト）３０４を（すなわち、追跡コンポーネントによって）検出する。ＡＶ３０２（すなわち、ＡＶ３０２の軌道プランナ）は、以下にさらに説明するが、軌道３０６によって示されるように、ＡＶ３０２を駐車車両３０４の周りにナビゲートする経路（すなわち、軌道）を計画し得る。
状況３２０は、ＡＶ３０２が他の静的オブジェクトを検出する別の状況である。検出された静的オブジェクトは、穴３２２である。ＡＶ３０２は、ＡＶ３０２のタイヤのいずれもがポットホール３２２内を走行しないように、ポットホール３２２上を走行するような軌道３２４を計画し得る。
状況３３０において、ＡＶ３０２は、対向車両３３２と、対向車両３３２と同じ道路側の駐車車両３３４とを検出する。対向車両３３２は移動している。したがって、対向車両３３２は動的オブジェクトである。対向車両３３２は、ＡＶ３０２と同じ（又は少なくとも実質的に同じである）前後方向に移動している。したがって、対向車両３３２は、以下にさらに説明するように、縦方向制約として分類し得る。対向車両３３２は、ＡＶ３０２とは逆方向に移動している。したがって、対向車両３３２は、対向縦方向制約として分類し得る。駐車車両３３４は、静的オブジェクトである。
ＡＶ３０２は、対向車両３３２が軌道３３６を追従して駐車車両３３４を回避（例えば、迂回）することを、（すなわち、予測コンポーネントによって）閾値を超えるある程度の確実性をもって予測し得る。軌道３３６は、道路の中心線３３７と重なる。対向車両３３２からの安全な距離を維持するために、ＡＶ３０２の軌道プランナは、位置３３９における曲率を含む軌道３３８を計画し得る。すなわち、ＡＶ３０２の計画軌道は、対向車両３３２の進路を予測してＡＶ３０２を右方に移動させる。
状況３４０において、ＡＶ３０２の追跡コンポーネントは、駐車車両３４２（静的オブジェクト）及び移動中の自転車３４４（すなわち、縦方向制約である動的オブジェクト）を検出し得る。予測コンポーネントは、自転車３４４が軌道３４６に沿って駐車車両３４２の周りを移動することをある程度確実に決定し得る。そのため、ＡＶ３０２は、ＡＶ３０２が減速して、自転車３４４が駐車車両３４２を通過することを可能にするように軌道３４８を決定（すなわち、計画、計算、選択、生成、又は他のやり方で決定）する。別の例では、ＡＶ３０２は、複数の可能な軌道を決定し得る。例えば、ＡＶ３０２は、上述したような第１の軌道と、自転車３４４が駐車車両を通過する前にＡＶ３０２が加速して自転車３４４を通過する第２の軌道と、自転車３４４が駐車車両３４２を通過しているときにＡＶ３０２が自転車３４４の周りを通過する第３の軌道とを決定し得る。次に、軌道プランナは、決定された可能な軌道の１つを選択する。
状況３５０では、ＡＶ３０２の追跡コンポーネントが対向車両３５２、第１の駐車車両３５６、第２の駐車車両３５７を検出する。ＡＶ３０２の予測コンポーネントは、対向車両３５２が軌道３５４を辿っていると決定する。ＡＶ３０２は、ＡＶ３０２が第１の駐車車両３５６を通過し、第１の駐車車両３５６と第２の駐車車両３５７との間で対向車両３５２が通過するまで待機した後で、第２の駐車車両３５７を通過するように軌道３５８を選択する。
状況３６０では、ＡＶ３０２の予測コンポーネントは、大型トラック３６２が右折する可能性が最も高いと判断する。軌道プランナは、（例えば、大型トラックの運動モデルに基づいて）大型トラックは大きな旋回半径を必要とするので、大型トラック３６２は軌道３６４を辿る可能性が高いと判断する。軌道３６４がＡＶ３０２の経路と干渉するので、ＡＶ３０２の軌道プランナは、大型トラック３６２が邪魔にならなくなるまでＡＶ３０２を停止させるようにＡＶ３６６の軌道３０２を決定する。
図４は、本開示の実装による自律走行車用システム４００のコンポーネントの一例である。システム４００は、図１の車両１００等の自律走行車のソフトウェアパイプラインを表す。システム４００は、世界モデルモジュール４０２と、経路計画モジュール４０４と、意思決定モジュール４０６と、軌道プランナ４０８と、反応軌道制御モジュール４１０とを含む。システム４００の他の例は、より多くの、より少ない、又は他のモジュールを含み得る。いくつかの例では、モジュールを組み合わせてもよく、他の例では、モジュールを１つ以上の他のモジュールに分割し得る。
世界モデルモジュール４０２は、図１のセンサ１２６等からセンサデータを受信し、センサデータからオブジェクトを決定する（例えば、変換する、検出する）。すなわち、例えば、世界モデルモジュール４０２は、受信したセンサデータから道路ユーザを決定する。例えば、世界モデルモジュール４０２は、光検出測距（ＬｉＤＡＲ）センサ（すなわち、センサ１２６のセンサ）から受信した点群をオブジェクトに変換し得る。複数のセンサからのセンサデータを融合して、オブジェクトを決定する（例えば、その正体を推測する）ことができる。オブジェクトの例としては、自転車、歩行者、車両等が含まれる。
世界モデルモジュール４０２は、検出されたオブジェクトの少なくともいくつかについての追加情報を世界モデルモジュール４０２が計算及び維持することを可能にするセンサ情報を受信し得る。例えば、世界モデルモジュール４０２は、決定されたオブジェクトの少なくともいくつかの状態を維持し得る。例えば、オブジェクトの状態には、ゼロ以上の速度、姿勢、ジオメトリ（幅、高さ、奥行き等）、分類（例えば、自転車、大型トラック、歩行者、道路標識等）、及び位置が含まれる。そのため、オブジェクトの状態は、離散状態情報（例えば、分類）及び連続状態情報（例えば、姿勢と速度）を含む。
世界モデルモジュール４０２は、センサ情報を融合し、オブジェクトを追跡し、動的オブジェクトのうちの少なくともいくつかについて仮説のリストを維持し（例えば、オブジェクトＡは直進、右折、又は左折しているかもしれない）、各仮説について予測軌道を作成及び維持し、各仮説の尤度推定を維持する（例えば、オブジェクトＡは、オブジェクトの姿勢／速度と軌道の姿勢／速度を考慮して、確率９０％で直進している）。一例では、世界モデルモジュール４０２は、軌道プランナのインスタンスを使用して、動的オブジェクトの少なくともいくつかについての各オブジェクト仮説に対する基準走行線を生成する。例えば、軌道プランナの１つ以上のインスタンスを使用して、車両、自転車、及び歩行者に関する基準走行線を生成し得る。別の例では、軌道プランナのインスタンスを使用して、車両及び自転車の基準走行線を生成することができ、異なる方法を使用して、歩行者に関する基準走行線（例えば、基準経路）を生成し得る。
世界モデルモジュール４０２によって維持されるオブジェクトは、図３に関して説明したように、静的オブジェクト及び／又は動的オブジェクトを含み得る。
経路計画モジュール４０４は、例えば、道路レベル計画４１２に関して図示される道路レベル計画を決定する。例えば、出発地と目的地を考慮して、経路計画モジュール４０４は、出発地から目的地までの経路を決定する。例えば、経路計画モジュール４０４は、ＡＶが出発位置から目的位置までナビゲートするために従うべき道路のリスト（すなわち、道路レベル計画）を決定し得る。
経路計画モジュール４０４によって決定された道路レベル計画、及び世界モデルモジュール４０２によって維持されるオブジェクト（及び対応する状態情報）は、意思決定モジュール４０６によって、道路レベル計画に沿った離散レベル決定を決定するために使用され得る。離散的決定４１４に関して、離散的決定に含まれる決定の例が示されている。離散レベル決定の例には、道路Ａと道路Ｂの間の交差点で停止すること、ゆっくりと前進すること、ある速度制限まで加速すること、一番右の車線に合流すること等が含まれる。
軌道プランナ４０８は、離散レベル決定、世界モデルモジュール４０２によって維持されるオブジェクト（及び対応する状態情報）、及び世界モデルモジュール４０２からの外部オブジェクトの予測軌道及び尤度を受信し得る。軌道プランナ４０８は、受信した情報の少なくとも一部を使用して、自律走行車に関する詳細な計画軌道を決定し得る。
例えば、詳細な計画軌道４１６に関して図示されるように、軌道プランナ４０８は、次の数秒の軌道を決定する。したがって、次の数秒が次の６秒（すなわち、６秒の先読み時間）である例では、軌道プランナ４０８は、次の６秒における自律走行車の軌道及び位置を決定する。例えば、軌道プランナ４０８は、いくつかの時間間隔（例えば、１／４秒ごと、又は他の時間間隔）で自律走行車の予測位置を決定（例えば、予測、計算等）し得る。軌道プランナ４０８は、例えば、図３に関して説明したように、他の道路ユーザの予測可能な応答に基づいて、詳細な計画軌道を決定し得る。
反応軌道制御モジュール４１０は、自律走行車が遭遇するかもしれないが、軌道プランナ４０８によって予測できない（例えば、処理できない）状況に対処し得る。このような状況には、軌道プランナ４０８の詳細な計画軌道が、オブジェクトの誤分類及び／又はまれに起こる予期しない状況に基づいていた場合の状況が含まれる。例えば、反応軌道制御モジュール４１０は、自律走行車の左側の静的オブジェクトが誤分類されていると決定することに応答して、詳細な計画軌道を修正し得る。例えば、オブジェクトが大型トラックとして分類されている場合があるが、新しい分類では静的道路障壁であると判断される。別の例では、反応軌道制御モジュール４１０は、自律走行車の突然のタイヤのパンクに応じて詳細な計画軌道を修正し得る。予期しない状況の他の例としては、他の車両が突然（例えば、タイヤのパンク又は高速道路のオフランプに到達するための決定が遅れたため）ＡＶの車線から逸脱し、歩行者又は他のオブジェクトが後方の閉塞から突然現れることが含まれる。
図５は、本開示の実装による自律走行車の軌道プランナ５００のレイヤの例である。軌道プランナ５００は、図４の軌道プランナ４０８であり得るか、又はその一部であり得る。軌道プランナ５００は、走行目標５０１を受信し得る。軌道プランナ５００は、例えば、第１の位置を第２の位置に接続する一連の車線選択及び速度制限を表し得る一連の走行目標５０１を受信し得る。例えば、複数の走行目標５０１の中の１つの走行目標は、「位置ｘから開始し、制限速度ｙを遵守して、特定の識別子を有する車線（例えば、Ａ１２３と等しい識別子を持つ車線）を走行する」であってもよい。軌道プランナ５００は、走行目標５０１のシーケンスを達成する軌道を生成するために使用し得る。
軌道プランナ５００は、走行線データレイヤ５０２と、基準軌道生成レイヤ５０４と、オブジェクト回避レイヤ５０６と、軌道最適化レイヤ５０８とを含む。軌道プランナ５００は、最適化された軌道を生成する。軌道プランナ５００の他の例は、より多くのレイヤ、より少ないレイヤ、又は他のレイヤを含み得る。いくつかの例では、複数のレイヤを結合し得る。他の例では、レイヤは１つ以上の他のレイヤに分割され得る。
走行線データレイヤ５０２は、軌道プランナ５００によって使用され得る入力データを含む。（例えば、基準軌道生成レイヤ５０４によって）走行線データを使用して、第１の位置から第２の位置までの粗走行線を決定する（すなわち、生成する、計算する、選択する、又は他のやり方で決定する）ことできる。走行線は、ＡＶが道路に沿って移動するときに、ＡＶの縦軸が一致する道路の線と考え得る。したがって、走行線データは、走行線を決定するために使用され得るデータである。走行線は、この時点では粗いものであり、隣接する車線間の横方向への遷移に向けられたとき等の横方向の不連続性を含み得る。この時点での走行線も、以下にさらに説明するように、ＡＶが遭遇するオブジェクトに対してはまだ調整されていない。
一例では、走行線データレイヤ５０２は、高精細（ＨＤ）地図データ５１０、遠隔操作地図データ５１２、記録経路データ５１４、先行車両データ５１６、駐車場データ５１８、及び知覚経路データ５２０のうちの１つ以上を含み得る。
ＨＤ地図データ５１０は、自律走行車が利用可能な高精細（高精度）地図からのデータである。ＨＤ地図データ５１０は、数センチメートル以内までの車両交通ネットワークに関する正確な情報を含み得る。例えば、ＨＤ地図データ５１０は、道路車線、道路分割線、交通信号、交通標識、速度制限等に関する詳細を含み得る。
遠隔操作地図データ５１２は、比較的短い走行線データを含み得る。例えば、遠隔操作地図データ５１２は、長さ１００メートル〜２００メートルの走行線データとし得る。しかしながら、遠隔操作地図データ５１２は、必ずしもこれに限定されるものではない。遠隔操作地図データ５１２は、ＡＶが自動的に処理することができない例外的な状況に応答して、又はそれを予期して、遠隔オペレータによって手動で生成し得る。
走行線はリアルタイムで作成し得る。次に、走行線をリアルタイムで作成する例を示す。遠隔オペレータは、ＡＶ生センサデータを遠隔で観測していてもよい。例えば、遠隔オペレータは、（例えば、ＡＶのカメラによって捕捉される）工事区域のパイロンを（例えば、遠隔モニタ等で）見て、工事現場を通るＡＶの経路を描いてもよい。次に、遠隔オペレータは、フラグを持った人物がＡＶに前進許可を与えるのを見てもよく、その時点で、遠隔オペレータは、描かれた経路に沿ってＡＶを進行させ得る。
ＡＶが以前に遭遇した例外的な状況に到達したときに経路を手動で描く処理時間を短縮するために、走行線データを遠隔に記憶し、必要に応じてＡＶに送信し得る。
記録された経路データ５１４は、自律走行車が以前に辿った経路に関するデータを含み得る。一例では、自律走行車のオペレータ（例えば、運転者又は遠隔オペレータ）は、道路から家庭のガレージまでの経路を記録してもよい。
先行車両データ５１６は、自律走行車と略同じ軌道に沿って自律走行車に先行する１つ以上の車両から受信したデータであり得る。一例では、自律走行車と先行車両は、図２に関して説明したように、無線通信リンクを介して通信し得る。したがって、自律走行車は、無線通信リンクを介して先行車両から軌道及び／又は他の情報を受信し得る。また、先行車両データ５１６は、明示的な通信リンクなしでも知覚（例えば、追従）され得る。例えば、ＡＶは、先行車両を追跡することができ、追跡結果に基づいて先行車両の車両走行線を推定し得る。
駐車場データ５１８は、駐車場及び／又は駐車スペースの位置に関するデータを含む。一例では、駐車場データ５１８を使用して、他の車両の軌道を予測し得る。例えば、駐車場入口が他の車両に近接している場合、他の車両の予測された軌道の１つは、他の車両が駐車場に入ることであり得る。
状況によっては、地図（例えば、ＨＤ地図）情報が車両交通ネットワークの一部に対して利用できないことがある。したがって、知覚された経路データ５２０は、以前にマッピングされた情報がない走行線を表し得る。その代わりに、ＡＶは、より少ない、より多い車線標示、縁石、及び道路制限又はそれ以外のものを使用して、リアルタイムで走行線を検出し得る。例えば、ある地表タイプ（例えば、舗装）から他の地表タイプ（例えば、砂利又は草）への遷移に基づいて、道路の制限を検出し得る。リアルタイムで走行線を検出するには、他の方法も使用し得る。
基準軌道生成レイヤ５０４は、走行線連結モジュール５２２、戦略的速度計画モジュール５２４、及び走行線合成モジュール５２６を含み得る。基準軌道生成レイヤ５０４は、粗走行線を離散時間速度計画モジュール５２８に提供する。図６は、基準軌道生成レイヤ５０４の動作の一例を示す。
経路計画モジュール４０４は、第１の位置から第２の位置へ移動するために使用される車線ＩＤシーケンスを生成することができ、それによって走行目標５０１に対応する（例えば、提供する）。そのため、走行目標５０１は、車線の長さに応じて、例えば、数１００メートル離れていてもよい。例えば、ＨＤ地図データ５１０の場合、基準軌道生成レイヤ５０４は、位置（例えば、ＧＰＳの位置、３Ｄデカルト座標等）と車線（例えば、車線の識別子）との組み合わせを走行目標５０１のシーケンスに用いて、ＡＶの一連の姿勢として表される高解像度走行線を（例えば、ＨＤ地図５１０から）生成し得る。各姿勢は、既定の距離にあってもよい。例えば、姿勢は１〜２メートル離れていてもよい。姿勢は、座標（ｘ、ｙ、ｚ）、ロール角度、ピッチ角度、及び／又はヨー角度等、より多く、より少ない、又はその他の量で定義し得る。
上述したように、走行線データは、粗走行線を決定（例えば、生成、計算等）するために使用され得る。走行線連結モジュール５２２は、走行線データレイヤ５０２の入力データを連結（例えば、リンク、融合、合流、接続、統合、又はその他の連結）して、縦方向に沿って（例えば、自律走行車の経路に沿って）粗走行線を決定する。例えば、位置Ａ（例えば、職場）から位置Ｄ（例えば、自宅）に移動するように、粗走行線を決定するために、走行線連結モジュール５２２は、駐車場データ５１８からの入力データを使用して、職場駐車場から幹線道路に出る出口の位置を決定し、ＨＤ地図データ５１０からのデータを使用して、幹線道路から自宅までの経路を決定し、記録された経路データ５１４からのデータを使用して、自宅のガレージにナビゲートし得る。
粗走行線には速度情報は含まれない。しかしながら、いくつかの例では、粗走行線は、ＨＤ地図データ５１０から使用（例えば、抽出）し得る速度制限情報を含み得る。戦略的速度計画モジュール５２４は、粗走行線の異なる部分に沿った（複数の）特定の速度を決定する。例えば、戦略的速度計画モジュール５２４は、粗走行線の第１の直線区間において、自律走行車の速度をその第１の直線区間の速度制限に設定してもよく、その後の粗走行線の第２のカーブ区間では、自律走行車の速度をより遅い速度に設定することを決定し得る。そのため、戦略的速度計画モジュール５２４は、ＡＶの現在の状態（例えば、速度及び加速度）を考慮しているが、他の道路ユーザ又は静的オブジェクトは考慮せずに、粗走行線についての法令遵守（例えば、速度制限及び停止線の遵守）、快適性（例えば、肉体的及び精神的）、及び物理的に実現可能な速度プロファイル（例えば、走行線に沿った速度対距離）を計算する。
戦略的速度計画が戦略的速度計画モジュール５２４によって決定されると、走行線合成モジュール５２６は、粗走行線を横方向に調整し得る。戦略的な速度プロファイルと、横方向に不連続な粗走行線とを考慮して、走行線合成モジュール５２６は、車線変更の開始位置と終了位置を決定し、これらの位置を接続する走行線を合成する。車線変更の長さは、速度に依存し得る。
走行線合成モジュール５２６は、粗走行線における横方向に不連続な位置を連結する走行線を合成し得る。例えば、ＨＤ地図データ５１０は、道路の第１の車線上にある粗走行線の第１の区間と、同じ道路の第２の車線上にある粗走行線の第２の区間とを含むと仮定する。したがって、粗走行線には横方向の不連続性が存在する。走行線合成モジュール５２６は、まず、ＡＶが第１の車線から第２の車線に遷移すべき遷移距離（言い換えれば、開始位置と終了位置）を決定する。すなわち、開始位置は、第１の車線から第２の車線への移動を開始するように自律走行車を制御する場合の道路位置である。終了位置は、自律走行車が車線変更を完了した場合の道路位置である。次に、横方向連続性モジュールは、第１の車線における開始位置と第２の車線における終了位置とを結合する新しい走行線データを生成する。
走行線合成モジュール５２６によって決定される遷移は、速度に依存し得る。例えば、ＡＶがより高速で移動しているときよりも低速で移動している場合は、ＡＶが第１の車線から第２の車線に遷移するために、より短い遷移距離が必要とされ得る。例えば、自律走行車がより遅い速度（例えば、１５ＭＰＨ）で走行している交通混雑状況では、遷移のために２０ヤードが必要になることがある。しかしながら、自律走行車がより高速（例えば、６５ＭＰＨ）で走行している場合、遷移距離は１００ヤードであってもよい。そのため、走行線合成モジュール５２６は、ＡＶの速度に応じて遷移位置を決定し得る。
走行線合成モジュール５２６の出力は、オブジェクト回避レイヤ５０６に提供される。走行線合成モジュール５２６の出力は、粗走行線及び戦略的速度計画を含む。オブジェクト回避レイヤ５０６は、粗走行線において中期的な離散時間速度計画及び横方向制約を生成する。将来の離散的な時点について（言い換えれば、ＡＶの経路に沿った離散位置において）、離散時間速度計画モジュール５２８は、ＡＶのそれぞれの所望の速度を決定（すなわち、計算）する。
オブジェクト回避レイヤ５０６では、以下にさらに説明するように、粗走行線、近傍の静的オブジェクト、及び近傍の動的オブジェクトとそれらの予測軌道を使用して、オブジェクト回避レイヤ５０６は、ＡＶを安全に操作し得る走行可能領域を決定（例えば、抽出）する。（後述する）各ビンの左右の境界が決定される。ＡＶの現在の速度を考慮して、リアルタイム速度計画を生成し得る。リアルタイム速度計画は、ＡＶの将来の位置を推定するために使用し得る。ＡＶの将来の位置は、動的オブジェクトの将来の予想（例えば、予測）位置に対して評価し得る。ＡＶの走行可能領域は、動的オブジェクトの（例えば、オーバーラップ）位置に対応する走行可能領域の中の領域を除去するように調整される。
オブジェクト回避レイヤ５０６では、粗走行線がオブジェクトに対して評価及び／又は調整される。オブジェクトは、ＡＶの外部及び近位のオブジェクトであり得る。そのため、オブジェクトは、図４の世界モデルモジュール４０２に関して記載されたオブジェクトであり得る。そのため、ＡＶの現在の速度を考慮して、オブジェクト回避レイヤ５０６は、リアルタイム速度計画を生成する。リアルタイム速度計画を使用して、オブジェクト回避レイヤ５０６は、離散的な将来の時点におけるＡＶの将来の位置を推定し得る。将来の位置は、オブジェクト（すなわち、世界モデルのオブジェクト）の位置に対して評価され、ＡＶの円滑な走行を提供（例えば、生成）し得る。円滑な走行（すなわち、円滑な軌道）を提供することは、以下にさらに説明するように、反復処理であり得る。
要約すると、最初に、粗走行線が生成され、次に、粗走行線から速度計画が生成され、そして、粗走行線及び速度計画を考慮して、ＡＶの世界モデルにおいて維持される他のオブジェクトを考慮して軌道が最適化されて、最適化された所望の軌道を提供する。軌道は調整された走行可能領域で最適化される。非走行可能領域（すなわち、他のオブジェクトのためにＡＶを安全に走行することができない領域）は、調整された走行可能領域を提供するためにデフォルトの走行可能領域から除去される。
図６は、本開示の実装による粗走行線連結の例６００を示す図である。例６００は、図５の基準軌道生成レイヤ５０４の動作の一例である。
ビュー６１０では、ＡＶ６１１は、車線６１２〜６１４を含む３車線道路の右端の車線６１４にある。ビュー６１０は、左側通行システム（すなわち、車線６１２〜６１４内の交通は、図６の下から上に向かって移動する）の例であることに留意されたい。経路計画モジュール４０４等のルートプランナは、図５のＨＤ地図データ５１０等のＨＤ地図データに基づいて、ＡＶ６１１が１車線道路の車線６１５へ右折することを決定してもよい。ＨＤ地図は、各車線の中心線（図示せず）を提供してもよい。
場合によっては、ＡＶの走行線は、車線又は道路の中心線と一致しないことがある。例えば、車線６１５は、車線６１５の左側に沿って駐車スペースを収容するために特別に広くてもよい。別の例では、ほとんどの運転者は中心線の少し左を運転することを好むことが分かっていてもよい。そのため、ＡＶ６１１の走行線は、車線６１５の中心線の左側に設定される。そのため、走行線連結モジュール５２２は、車線ジオメトリ（例えば、車線幅）を考慮して走行線を決定するために車線のジオメトリを決定する。例えば、粗走行線に旋回がある場合、走行線連結モジュール５２２は、車線の幅、旋回方向（例えば、右又は左）、旋回角度、及び／又は旋回速度に基づいて、走行線が（すなわち、車線の中心線から外れて）どこに移動されるかを決定する。すなわち、走行線連結モジュール５２２は、ＨＤ地図の中心線に基づいてＡＶの走行線を設定する。一例では、車線幅に基づいて走行線を設定し得る。
ＡＶの走行線を設定するために、走行線連結モジュール５２２は、粗走行線に沿った車線のジオメトリを決定する。一例では、走行線連結モジュール５２２は、粗走行線に沿った特定の距離（例えば、１００ｍ、２００ｍ、３００ｍ等）のジオメトリを決定する。ジオメトリを決定するために、走行線連結モジュール５２２は、粗走行線に沿ったポリゴン６１６等のポリゴンを決定してもよく、これは車線境界を定義するために使用され得る。
ビュー６２０は、車線の幅６２１に基づいて走行線（すなわち、粗走行線）を決定することを示す。ＨＤ地図からは、ＡＶ６１１が走行している車線の右端６２４、左端６２２及び中心線６２６を取得し得る。走行線連結モジュール５２２は、幅６２１に基づいて走行線６２８（すなわち、粗走行線）を決定する。したがって、走行線６２８は中心線６２６からずれている。
ビュー６３０は、走行線を決定するために、例えば、図５の遠隔操作地図データ５１２に関して記載した遠隔操作データを使用して説明する。上述したように、ＨＤ地図データは静的データであるのに対し、遠隔操作データは、道路状況及び／又は例外的状況に基づいてリアルタイム走行線を提供し得る。例えば、ＡＶ６１１の走行線６３２に沿って工事区域が存在する。工事区域は、パイロン６３６等の障害物によって囲まれており、この障害物は、工事計画６３４を取り囲んでいる。そのため、走行線連結モジュール５２２は、以下にさらに説明するように、遠隔操作データによって提供されるリアルタイム走行線を使用して、走行線６３２を走行線６３８（すなわち、粗走行線）となるように調整する。
ビュー６４０は、速度に依存する車線変更を示す。速度依存車線変更は、上述したように、図５の走行線合成モジュール５２６によって実装し得る。一例では、図４の意思決定モジュール４０６によって、車線６４２に沿って走行するＡＶ６１１は、例えば、車線６４２が終了するか、又はＡＶ６１１が左折するために、次に車線６４４に入ることになる。そのため、ＡＶ６１１は、ある時点で車線６４２から車線６４４に移動することになる。ＨＤ地図が車線遷移情報を提供しない場合があるので、ＡＶ６１１の基準軌道生成レイヤ５０４は車線遷移時間を決定する。上述のように、遷移は速度に依存し得る。
一例では、（基準軌道生成レイヤ５０４がその中の１つのレイヤである）軌道プランナ５００は、粗走行線に沿った点Ｘにおいて、（戦略的速度計画モジュール５２４によって決定されるように）ＡＶ６１１が速度Ｙで移動していることを決定し得る。ＡＶ６１１が低速（例えば、３５ｍＰＨ）で移動している場合、走行線合成モジュール５２６は、遷移が遅くなり得ると判断し得る。したがって、車線６４２から車線６４４に移動する経路は、経路６４６によって示されるようになり得る。一方、ＡＶ６１１が高速（例えば、６５ｍＰＨ）で走行している場合には、経路６４８に示すように、車線切り替えのための経路の距離は長くなる必要がある。
経路６４６及び６４８を辿るのに要する時間は同じであってもよい。しかしながら、距離は異なっている。ＡＶ６１１が第１の速度で走行しているときの車線遷移に必要な距離は、ＡＶ６１１が第１の速度よりも遅い第２の速度で走行しているときに必要な距離よりも長い。
速度に依存する車線変更を決定するために、車線変更率を使用し得る。すなわち、車線変更率は、車線６４２とビュー６４０の車線６４４等の２つの隣接する車線の間の接続を作成するために使用し得る。車線変更率は、「メートルごとに何メートルか」、すなわち、経路が縦１ｍで横に何ｍ移動するかで定義され得る。上記のように、目標は、ターゲット時間量において車線変更を完了することを達成する車線変更率を特定することである。すなわち、ＡＶが低速で走行している場合（例えば、ラッシュアワーの交通量が多いとき）、車線変更率は高く、短距離で（例えば、数十メートルのオーダーで）行われる。ＡＶが高速で（例えば、高速道路の速度で）走行している場合、車線変更率は遅く、長距離（例えば、数百メートルのオーダーで）で行われる。
図７は、本開示の実装による戦略的速度計画を決定する例７００である。例７００は、図５の戦略的速度計画モジュール５２４が戦略的速度計画７１４を決定するために使用し得る入力の例を示す。いくつかの実装形態では、戦略的速度計画モジュール５２４は、戦略的速度計画を決定するために、より多くの入力、より少ない入力、又は他の入力を使用し得る。
例７００では、速度制限入力及び加速制限入力を使用し得る。速度制限は、道路速度制限７０２、曲率速度制限７０４、及びシームレスオートノマスモビリティ（ＳＡＭ）データ７０６のうちの少なくとも１つを含み得る。加速制限は、車両加速制限７１０及び快適性限界７１２を含み得る。速度制限及び／又は加速制限は、より多くの入力、より少ない入力、又は他の入力を含み得る。
道路速度制限７０２は、速度制限標識等に掲示されている道路速度制限（例えば、２０ｍＰＨ、６５ｍＰＨ等）とし得る。一例では、道路速度制限７０２は、ＨＤ地図から取得し得る。曲率速度制限７０４は、例えばＡＶの粗走行線に沿った旋回等の旋回の曲率に対する車速に関するデータであってもよい。あるいは、曲率速度制限７０４は、道路曲率情報（例えば、湾曲の回転半径）のみを提供してもよい。曲率速度制限７０４は、ＡＶの横方向加速度に対する制限とし得る。そのため、速度計画は、ＡＶが曲がるときに、曲率速度制限７０４と一致する減少したＡＶ速度を含み得る。
ＳＡＭデータ７０６は、（自律的であるか否かに関係なく）車両から（例えば、クラウドベースのシステムで）収集されたデータとし得る。このデータは、車両（ＡＶを含む）が路上で安全かつ円滑に動作することを可能にする。一例では、ＳＡＭデータ７０６は、道路の一部に沿って車両から収集された振動データを含み得る。振動データは、道路の異なる部分における振動レベルと速度とを相関させ得る。一例では、振動データは、ある道路位置について、車両が所定の速度を超えて走行しているときに（例えば、道路の一部の速度バンプに起因する）許容できないレベルの振動を示し得る。したがって、振動の影響を最小限に抑えるために、道路の一部でＡＶの速度を（所定の速度以下に）落とすべきである。一例では、ＳＡＭデータ７０６は、オペレーションセンタ２３０、サーバコンピューティング装置２３４、又は他の何らかのネットワーク装置等の中央サーバからＡＶによって受信され得る。一例では、ＳＡＭデータ７０６は、その場所に到着する自律走行車の特定の期間（例えば、１分、１０分、２０分等）内に他の車両から蓄積されたデータであり得る。一例では、ＡＶはＳＡＭデータ７０６をプルしてもよい。別の例では、ＳＡＭデータ７０６は、ＡＶがＳＡＭデータ７０６を提供するサーバにその位置を報告することに基づいて、ＡＶにプッシュし得る。
道路速度制限７０２、曲率速度制限７０４、及びＳＡＭデータ７０６を組み合わせて、生速度制限７０８を提供し得る。一例では、粗走行線に沿った特定の位置の各位置について（例えば、５ｍごと、１０ｍごと等）、その位置における道路速度制限７０２の最小速度、その位置における曲率速度制限７０４の速度、及びその位置におけるＳＡＭデータ７０６の速度が、その位置における生速度制限７０８の速度として使用される。
車両加速制限７１０は、ＡＶのトルク及び出力に起因するＡＶ加速制限とし得る。快適性限界７１２は、ＡＶの乗員がＡＶをどれだけ速く加速させたいか等の加速度に関する人間の快適性限界を含む。
基準軌道生成レイヤ５０４の戦略的速度計画モジュール５２４は、生速度制限７０８、車両加速制限７１０、及び快適性限界７１２を組み合わせて、円滑な速度計画である戦略的速度計画７１４を提供し得る。
上述したように、粗走行線に沿った位置では、道路速度制限７０２、曲率速度制限７０４、及びシームレスオートノマスモビリティＳＡＭデータ７０６の最小値をＡＶの速度制限として用い得る。車両加速制限７１０及び快適性限界７１２は、加速度と速度とを関係付ける。そのため、一例では、車両加速制限７１０と快適性限界７１２とは、２つの最大曲線（快適性、速度）の最小値を求めることによって組み合わせ得る。したがって、低速では、快適性がＡＶの最大加速度を制限し得る。一方、高速では、ＡＶの加速制限（例えば、出力）がＡＶの加速度を制限し得る。速度プロファイルは、速度（走行線に沿った任意の位置における速度制限）と加速度（任意の速度における加速制限）の制約を満たす粗走行線に沿った最速の速度プロファイルを解決することによって生成し得る。
また、上記以外の入力を用いて、戦略的スピード計画７１４を計算し得る。例えば、道路μ、最小巡航時間、近隣タイプ、又は他の入力のうちの１つ以上を使用し得る。道路μは、氷、雨、斜面等による道路の滑り易さに関連する。
最小巡航時間は、ＡＶの速度を一定速度に設定し得る最小時間長に関連する。例えば、道路の区間長が５００ｍであり、その区間の制限速度が４５ｍＰＨである仮定する。さらに、ＡＶの運動モデルを考慮して、ＡＶが停止位置から４５ｍＰＨの制限速度に達するためには２５０ｍを要し、４５ｍＰＨの現在の速度を考慮して、ＡＶが停止するためには２５０ｍが必要であると仮定する。ＡＶが道路区間の始点で停止位置にあり、道路区間の終点でＡＶを再び停止する場合、ＡＶが制限速度４５ｍＰＨに達すると、ＡＶは直ちに減速を開始しなければならない。このような速度プロファイルは、ＡＶの乗員にとって望ましくないかつ／又は自然なものでない場合がある。そのため、例えば、最小巡航時間は、ＡＶが減速（又は加速）を開始する前に、最小巡航時間（例えば、３秒）の間速度を維持しなければならないことを示し得る。したがって、より自然な速度プロファイルを提供し得る。
近隣タイプは、通常の人間の運転行動をモデル化するために使用することができ、これは、ＡＶが通過している近隣のタイプに依存し得る。例えば、人間の運転者は、たとえ両方の近隣地域が同じ掲示制限速度を有していても、住宅地（例えば、子供たちが通りで遊んでいることを観測し得る場所）においては掲示制限速度を下回る速度で運転してもよく、工業地域においては少なくとも掲示制限速度で運転し得る。
図８は、本開示の実装による走行可能領域及び離散時間速度計画を決定するための処理８００のフローチャートである。処理８００の一部又は全ての態様は、図１に示す車両１００及び図２に示す車両２０２を含む車両、又は図２に示すコントローラ装置２３２を含むコンピュータ装置で実装し得る。１つの実装では、処理８００のいくつかの又は全ての態様は、本開示に記載される特徴のいくつか又は全てを組み合わせたシステムで実施し得る。例えば、処理８００は、図５のオブジェクト回避レイヤ５０６によって利用され得る。
図９を参照して処理８００を説明する。図９は、本開示の実装による走行可能領域及び離散時間速度計画を決定する図である。図９は、走行可能領域（横方向制約）及び制限された速度プロファイルの生成を示しており、これは離散時間で表され得る。走行可能領域は、例えば、自律走行車が走行可能な車両交通ネットワークの領域であり得る。最初に（例えば、処理８００の開始時に）、走行可能領域は、ＡＶが安全に走行すると予測できない領域を含んでもよい。処理８００は、ＡＶが安全に走行すると予測できない領域の走行可能領域を調整する（例えば、切り取る）。処理８００は、調整された走行可能領域をもたらす。
動作８１０では、処理８００は、ＡＶに対して近傍のオブジェクトを識別する。一例では、近傍のオブジェクトは、世界モデルモジュール４０２によって維持される外部オブジェクトの少なくとも一部であってもよい。一例では、近傍のオブジェクトは、世界モデルモジュール４０２によって維持される全てのオブジェクトであり得る。別の例では、近傍のオブジェクトは、世界モデルモジュール４０２によって維持されるオブジェクトのサブセットであり得る。例えば、近傍のオブジェクトは、ＡＶから所定の距離内のオブジェクト、ＡＶの予測到着時間内のオブジェクト、又はオブジェクトのサブセットを識別するための他の基準を満たすオブジェクトであり得る。例えば、図９のビュー９１０を参照すると、ＡＶ９１２に対して、静止車両９２０、静止車両９１４、動的対向車両９１８、及び動的車両９１６が識別される。１つの実装では、動作８１０は、図１０−１２に関して説明したように、オブジェクトを表すドット（すなわち、境界点）及び／又はドットのグループを識別する。
動作８２０において、処理８００は、走行可能領域を抽出する。走行可能領域は、ＡＶ９１２が（例えば、法的及び／又は物理的に）走行可能な領域であってもよい。一例では、走行可能領域を粗走行線から抽出し得る。例えば、走行可能領域は、粗走行線に沿って（例えば、縦方向に）ＡＶから所定の距離であり得る。図９のビュー９３０における走行可能領域９３２は、走行可能領域の一例である。一例では、走行可能領域９３２は、中央分離帯９３４と路肩９３６とによって（すなわち、横方向に）囲まれた領域であり得る。一例では、ＡＶ９１２の現在位置に基づいてＨＤ地図から走行可能領域を抽出し得る。走行可能領域は、ＡＶ９１２が配置されている車線（又は道路、又はその他の地域）の左右境界によって囲まれ得る。例えば、走行可能領域は道路の中心線をまたいでもよい。すなわち、逆方向の車線を走行可能領域に含め得る。そのため、ビュー９３０では、中央分離帯９３４が存在しない場合、走行可能領域は、走行可能領域９３８であってもよい。
処理８００は、次に、ＡＶが（例えば、安全に）走行できない部分を走行可能領域から除去する。「調整された走行可能領域」という用語は、本明細書に記載された静的及び／又は動的オブジェクトを考慮して領域が走行可能領域から除去された後の走行可能領域を指すために本明細書で使用される。静的及び／又は動的オブジェクトがＡＶの軌道に干渉しない場合、調整された走行可能領域は、走行可能領域と同じである。
動作８３０において、処理８００は、静的オブジェクトに対して走行可能領域を調整する。すなわち、処理８００は、静的オブジェクトが位置する走行可能領域の部分を走行可能領域から除去する（例えば、切り取る）。これは、ＡＶが静的オブジェクトの周囲をナビゲート（例えば、走行）するように制御されるためである。図９のビュー９４０は、走行可能領域の一部を切り取ることを示す。静止車両９１４を回避するために、処理８００は、走行可能領域９３２のカットアウト９４２を切り取る。カットアウト領域のサイズは、静的オブジェクトのサイズの推定値に基づいて決定し得る。カットアウト領域のサイズは、ＡＶが静的オブジェクトに近づき過ぎないようにクリアランス領域を含み得る。
図１０−１２を参照して、静的オブジェクトの走行可能領域を調整する例をさらに説明する。以下、図１３を参照して、静的オブジェクトの走行可能領域の調整処理の一例を説明する。
動作８４０において、処理８００は、静的オブジェクトに関して離散時間速度計画を調整する。例えば、障害物又は他の道路ユーザがいない場合、離散時間速度計画は戦略的速度プロファイルに従う。例えば、調整された走行可能領域が静的オブジェクトを考慮した狭い経路を含む場合、戦略的プロファイルに逐語的に（すなわち、戦略的プロファイルに設定された通りに）従う（その速度を使用する）代わりに、処理８００は、ＡＶの速度を快適な速度まで減少させるように離散時間速度計画を調整する。例えば、静的オブジェクトを考慮して調整された走行可能領域が静的閉塞を含む場合、処理８００は、ＡＶが静的閉塞の前に所定の距離で停止するように離散時間速度計画を調整する。
動作８５０において、処理８００は、近くにある動的オブジェクトのそれぞれについて、各経路を識別する（例えば、予測する、計算する、生成する、受信する、又は他のやり方で識別する）。一例では、少なくともいくつかの動的オブジェクトの各経路（すなわち、軌道）の予測は、図４の世界モデルモジュール４０２等の世界モデルで維持し得る。したがって、処理８００は、世界モデルから各経路を受信してもよい（例えば、要求する、読み取る、又は他のやり方で受信する）。
例えば、処理８００は、動的対向車両９１８が静的車両９２０を迂回するように経路９２２を辿ること、及び動的車両９１６が静的車両９１４を通過した後で経路９２４を辿ることを予測する（例えば、予測を受信する、又は他のやり方で予測する）。１つの実装では、動作８２０は、処理８００のインスタンス（すなわち、実行）を使用して、動的オブジェクトの経路を識別する。一例では、処理８００は、動的オブジェクトの経路を予測するときに、ＡＶを動的オブジェクトの近傍のオブジェクトのリストから除外する。
一例では、動的オブジェクトの経路を予測することは、他の動的オブジェクトのそれぞれの速度及び動的オブジェクト間の進路権の推定に基づいてもよい。進路権の推定の一例では、第２の車両が車線内で第１の車両に追従している（すなわち、その後ろにある）場合、第２の車両の存在下で第１の車両がシミュレーションされる（すなわち、第１の車両について経路が予測される）が、第２の車両は第１の車両が存在しない状態でシミュレーションされる。
そのため、軌道プランナ５００のインスタンスは、軌道プランナ５００を含む自律走行車専用とすることができ、軌道プランナ５００の１つ以上の他のインスタンスは、自律走行車によって使用されて、自律走行車に対して可視である動的オブジェクト（例えば、世界モデルモジュール４０２によって維持される動的オブジェクト）の軌道を予測し得る。
動作８６０において、処理８００は、動的オブジェクトのための走行可能領域を調整する。すなわち、処理８００は、各動的オブジェクトのそれぞれの予測軌道に基づいて、走行可能領域の一部を切り取る。処理８００は、各動的オブジェクトの位置に関するタイミング情報を使用して、走行可能領域の追加部分を切り取る。動的オブジェクトのための走行可能領域内のカットアウトは、動的オブジェクトに対する予測のタイミングと、（動作８４０に関して説明したように）今度は静的オブジェクトを考慮している離散時間速度計画によって生成されるタイミングとを比較することによって生成される。すなわち、処理８００は、動的オブジェクトについて、及び動的オブジェクトの予測された軌道に基づいて、動的オブジェクトが、同じ離散的時点におけるＡＶの位置に対して異なる離散的時点に位置する場所を予測し得る。図１４−１６を参照して、動的オブジェクトの走行可能領域を調整する例を以下にさらに説明する。図１８を参照して、動的オブジェクトの走行可能領域を調整する処理の一例を以下に説明する。
動的オブジェクトの位置は、ＡＶの予測位置と一致させて、カットアウト部分を決定する。上述のように、ＡＶの予測位置は、動作８４０で調整された（すなわち、静的オブジェクトを考慮した）離散時間速度計画に基づく。カットアウトは、動的オブジェクトの現在の位置に対応しない場合があり得る。むしろ、カットアウトは、ＡＶ及び動的オブジェクトが出会うと予測される位置に基づいてもよい。動的オブジェクトの予測軌道が走行可能領域と干渉しない場合、動的オブジェクトに対して走行可能領域のいかなる部分も切り取られない。動的オブジェクトの予測された軌道が走行可能領域と干渉する場合、動的オブジェクトとの潜在的な衝突を回避するために、走行可能領域の１つ以上の部分が切り取られる。
図９のビュー９５０は、動的オブジェクトに対する走行可能領域の調整（すなわち、動作８６０）を示す。処理８００は、動的対向車両９１８が静的車両９２０を迂回する（例えば、避ける）ために経路９２２を辿ることを予測する。処理８００はさらに、ＡＶ９１２がその現在の軌道に沿って進み続ける場合、ＡＶ９１２と動的対向車両９１８とが位置９５４の周囲で出会うことを予測する。そのため、処理８００は、走行可能領域９３２からカットアウト９５６を切り取る。
動作８７０において、処理８００は、動的オブジェクトに対して離散時間速度計画を調整する。（この時点において静的オブジェクトと動的オブジェクトの両方を考慮して）調整された走行可能領域がＡＶと同じ方向に走行する動的オブジェクトを含む場合、動的オブジェクトは縦方向制約としてラベル付けされ、ＡＶが快適な速度及び距離でブロックしているオブジェクトに従うように離散時間速度計画が調整される。
図９のビュー９６０は、動的オブジェクトに対する離散時間速度計画を調整する例（すなわち、動作８７０）を示す。処理８００は、動的車両９１６がＡＶ９１２の調整された走行可能領域内にあり、ＡＶ９１２が動的車両９１６を通過することは、例えば、動的車両９１６の縁部と調整された走行可能領域の境界との間に安全なギャップが存在しないため、安全でないと判断する。このようにして、ＡＶ９１２は、動的車両９１６の後方を追従する。動的車両９１６が戦略的速度計画よりも遅く移動している場合、ＡＶが快適な速度及び距離で動的車両９１６に従うように離散時間速度計画が調整される。また、ビュー９６０は、ＡＶ９１２のための軌道９６２が、例えば、カットアウト９５６に基づいていることを示す。
別の例では、動的車両９１６自体が縦方向制約を有すると決定されると仮定する。例えば、第２の車両（図示せず）が動的車両９１６の前方にあってもよい。そのため、第２の車両自体も、ＡＶ９１２に対する別の縦方向制約とみなし得る。そのため、第１の離散時間速度計画（例えば、第１の減速計画）は、動的車両９１６に基づいてＡＶ９１２について決定してもよく、第２の離散時間速度計画（例えば、第２の減速計画）は、ＡＶ９１２について決定し得る。ＡＶの離散時間速度計画としては、第１の離散時間速度計画と減速度の大きい第２の離散時間速度計画のいずれかを選択し得る。より一般的には、ＡＶの制約に関して制約であると決定されたオブジェクト自体をＡＶの制約として扱ってもよい。
調整された走行可能領域９６４は、処理８００の動作から生じる調整された走行可能領域を示す。
図１０−１２は、本開示の実装による静的オブジェクトのための走行可能領域を調整する例１０００、１１００、１２００である。例１０００、１１００、１２００は、走行可能領域の静的境界を決定することを示す。すなわち、図１０−１２は、図８の動作８３０に関して説明した静的オブジェクトの走行可能領域の調整例である。すなわち、例１０００、１１００及び１２００は、ＡＶの粗走行線に沿って、ＡＶが静的オブジェクトを参照して走行し得る場所を決定することを例示している。
図１０の例１０００では、ＡＶ１００２の粗走行線は、粗走行線１００４によって表される。粗走行線１００４は、本明細書では、粗走行線とも呼ばれる。粗走行線１００４は、図５の基準軌道生成レイヤ５０４に関して説明したように決定（例えば、計算、生成等）し得る。例１０００は、ＡＶ１００２の走行可能領域の横方向境界を決定するための動作８３０の一例を示す。すなわち、例１０００は、静的オブジェクトを考慮して、例えば、ＡＶ１００２の走行可能領域の左右境界を決定することを示す。
このようにして、走行可能領域（すなわち、図９の走行可能領域９３２等の非調整の非カットアウト走行可能領域）が決定される。例えば、走行可能な領域はデフォルトの幅を有してもよい。デフォルトの幅は、ＡＶの現在の車線又は現在の道路に基づいてもよい。デフォルトの幅は、既定の幅（例えば、８メートル）によって定義され得る。したがって、走行可能領域は道路の中心線を横断し得る。なお、デフォルトの走行可能領域は、中央分離帯にあり得るバリア（例えば、コンクリートバリア）によって制限され得ることに留意されたい。そのようなバリアは静的オブジェクトであり、走行可能領域を制限する。
ＡＶ１００２の走行可能領域は、複数のビンに分割される。各ビンは、中心点１００６等の中心点を有する。中心点は等間隔に配置され得る。例えば、中心点は約２メートル離れていてもよい。各ビンの左右の境界は、粗走行線１００４の方位に関連させ得る。右境界１０１８及び左境界１０２０はビン１０２２の境界を示す。
境界点１００８等の境界点は、静的オブジェクトから発生する。例えば、境界点は、ＬｉＤＡＲセンサ、レーザポインタ、レーダ、又は図１のセンサ１２６等の任意の他のセンサからのデータから導出され得る。境界点は、占有されているか、そうでなければＡＶが侵入できない（ｘ、ｙ）座標を表し得る。静的オブジェクトに対応する各境界点は、境界点を含むビンに割り当てられる。例えば、境界点１００８は、ビン１０２２に割り当てられる。（例えば、ビン内で、又はビンの境界を越えて）隣接する境界点は、１つ以上の静的オブジェクトに対応し得る。
各ビンの左右の境界は、ビンに割り当てられた境界点に基づいて定義（すなわち、設定）し得る。例えば、ビン１０２４が境界点を含まないので、ビン１０２４の右境界１０１６及び左境界１０１０は、（調整されていない）走行可能領域と整合する。一方、ビン１０２６の左境界１０１２は、カットアウト１０２８が走行可能領域から除外されているため、走行可能領域と整合しておらず、ビン１０２６の右側境界１０１４も、カットアウト１０３０が走行可能領域から除外されているため、走行可能領域と整合していない。
調整された走行可能領域の境界は、調整された走行可能領域の左境界を形成する分割線１０３２と、調整された走行可能領域の右境界を形成する分割線１０３４とによって表される。図を明確にするために、分割線１０３２、１０３４は、実際の境界からオフセットして示されている。すなわち、例えば、分割線１０３２は境界１０１０及び境界１０１２と重なっているが、明確にするために、分割線１０３２は境界１０１０及び境界１０１２から僅かにオフセットされて示されている。分割線１０３２は、調整された走行可能領域の計算された左境界である。分割線１０３４は、調整された走行可能領域の計算された右境界である。
計算された左右の境界は、ＡＶ１００２が粗走行線１００４に沿って継続し得るかどうかを決定するために使用される。ＡＶ１００２を各ビンの中央まで（物理的にではなく、仮想的に又は計算上）前進させて、（コンピュータの境界を考慮した）ビンの幅は、ＡＶ１００２がビンを何とか安全に通り抜け得るようなものであるかどうかを決定し得る。例えば、ビン１０２２に関して、ＡＶ１００２は、ビンの左境界（すなわち、左側の計算された境界）を安全にクリアすることができない。したがって、以下にさらに説明するように、ＡＶ１００２の軌道は変更される。例えば、ＡＶ１００２を停止させ得る必要があるので、ＡＶ１００２の軌道は調整する必要がない場合があり、又はＡＶ１００２の軌道を他のやり方で変更し得る。
図１１は、静的境界を決定し、本開示の実装に従って離散時間速度計画を調整する際に考慮される閉塞を識別する例１１００を示す。例１１００では、粗走行線１１０３は、ＡＶ１１０２の粗走行線である。ＡＶ１１０２のデフォルトの走行可能領域は、左境界１１０４と右境界１１０６によって定義される。例１１００では、ＡＶ１１０２を含む車線の左車線境界１１０８及び右車線境界１１１０が示されている。例１１００では、走行可能領域はＡＶ１１０２の車線（すなわち、左車線境界１１０８及び右車線境界１１１０によって囲まれた車線）に限定されている。そのため、車線の左右の境界は静的オブジェクト用に調整される。
左境界１１０４及び右境界１１０６は、最大可能走行可能領域（すなわち、最大境界）を定義し得る。しかしながら、ＡＶ１１０２を車線内に維持することが好ましい場合があるので、左車線境界１１０８及び右車線境界１１１０は、走行可能領域の境界を定義する。一例では、ＡＶ１１０２が自身の車線内で（例えば、左車線境界１１０８と右車線境界１１１０との間で）安全に走行できない場合、ＡＶ１１０２が車線境界の外であるが最大境界の中で走行し得るかどうかを評価し得る。走行可能領域を拡張することは、「拡張走行可能領域検査」と呼ばれてもよい。
右車線境界１１１０は、部分１１１２を含む。この部分１１１２は、後述するように、走行可能領域のこの部分が調整されるため、破線として示されている。
図１０に関して説明したように、ＡＶ１１０２の走行可能領域は複数のビンに分割されており、ビン１１１６、１１１８等の各ビンには静的オブジェクトに対応する境界点が割り当てられている。ビン１１１６、１１１８の境界点は、大きな長方形のオブジェクトに対応しているように見えるので、そのオブジェクトは（例えば、図４の世界モデルモジュール４０２によって）「トラック」として分類し得る。
オブジェクト（静的又は動的オブジェクト）に対応する（すなわち、それに基づいて定義される）境界は、ハード境界と呼ばれてもよい。ハード境界とは、例えば、計画した軌道がハード境界と交差する場合に、別のオブジェクトと衝突する可能性があるものである。一方、車線及び／又は道路標示は、ソフト境界と呼ばれ、合法的又は論理的な境界を表し得る。ソフト境界とは、例えば、計画された軌道がハード境界でもないソフト境界を横断する場合に、ＡＶの動きが違法であり、かつ／又は社会的に受け入れられないが、ＡＶは安全であり得るものである。例えば、図１１に示すように、左境界１１０４（すなわち、左側の走行可能領域の境界）は左ハード境界を定義し、左車線境界１１０８は左ソフト境界を定義する。右側のハード境界は、右側の境界１１０６（すなわち、右側の走行可能領域の境界）と境界１１１４で構成され、右側のソフト境界は、右側車線境界１１１０及び境界１１１４によって定義される。
ビンの左右のハード境界間の距離を考慮して、経路が存在するかどうかを決定するために詳細検査が行われ得る。境界１１１４と左車線境界１１０８との間の距離１１２０は、ＡＶ１１０２がその中を走行する（すなわち、通過する）には狭過ぎると判断される。したがって、ビン１１１６に対応する位置１１２２は、静的閉塞としてマークされる。このため、ＡＶ１１０２は、ビン１１１６、１１１８の境界点で表される（複数の）オブジェクトを通過することができない。したがって、ＡＶ１１０２は、位置１１２２に対応する静的閉塞の前で停止することになる。したがって、モジュール５３０は、ＡＶが静的閉塞の前で停止するように離散時間速度計画を調整し得る。
別の例では、静的閉塞のために停止する代わりに、軌道プランナは、少なくともビン１１１６及び１１１８に対して、左車線境界１１０８を横切って、走行可能領域が延びるようにギャップ１１２４を通る軌道を決定する。例えば、左車線境界１１０８が道路の中心である場合、軌道プランナは、対向する動的オブジェクトが存在しないので、車線境界を横断しても安全であると判断し得る。
別の例では、静的閉塞の前でＡＶが停止するのに十分な距離がない場合、離散時間速度計画は、ＡＶを減速させることしかできないので、ＡＶが右ハード境界を横断して静的オブジェクトに衝突することを回避するために左ソフト境界を横断し得るように軌道を決定し得る。そのため、ハード境界とソフト境界の両方の認識を維持することにより、軌道プランナは、緊急状況下におけるオブジェクト回避操作へのシームレスな遷移を伴うほとんどの状況下で合法的かつ社会的に許容可能な走行である軌道を生成し得る。
一例では、ビンの境界は、ビン内のオブジェクト（例えば、境界点のグループ）の状態に基づいて調整され得る。例えば、ビン内の境界点を経時的に追跡し得る。ビン内の境界点のグループがわずかに（すなわち、移動の閾値レベル未満）移動していると判断される場合には、より高いレベルのクリアランスが要求され得る。すなわち、ＡＶ１１０２は、境界点が移動している場合には、境界点からさらに離れて走行し得る。一方、境界点が安定している（すなわち、移動していない）場合には、ＡＶ１１０２を境界点により近づけて走行し得る。そのため、ビンの境界（例えば、境界１１１４）は、ビン内の境界点の移動のレベルに応じて、経時的に調整し得る。
一例では、時間ｔにおいて境界点の移動が検出された場合、境界点の移動が継続しているか否かに関係なく、境界点はその後（すなわち、後の時間ｔ＋ｘにおいて）移動しているとみなされる。
ビン内の境界点の移動に基づいてビンの境界を経時的に調整することは、フィルタされた横方向の限界と呼んでもよい。このコンテキストにおける「フィルタされる」とは、経時的に横方向の限界（例えば、ビン境界）が変更され得ることを意味する。
図１２は別の例であり、本開示の実装に従って静的境界を決定する例１２００である。例１２００では、粗走行線１２０３は、ＡＶ１２０２の粗走行線である。ＡＶ１２０２のデフォルトの走行可能領域は、左車線境界１２０４及び右車線境界１２０６によって定義される。走行可能領域からカットアウト１２０８とカットアウト１２１０が切り取られる。この例では、カットアウト１２１０は、走行可能領域の中央にある。
カットアウト領域の境界をデフォルトの走行可能領域の境界まで延長するかどうかは、カットアウト領域とデフォルトの走行可能領域の境界との間の距離に依存し得る。例えば、カットアウト１２１０の右端と右車線境界１２０６との間のギャップ１２１６に対応する距離が閾値距離未満である場合、カットアウト１２１０は、カットアウト１２１０の左境界１２１７から右車線境界１２０６に延びる領域によって定義し得る。一例では、閾値距離はＡＶ１２０２の幅に関連し得る。例えば、閾値距離は、ＡＶ１２０２の幅の１．５、２．０倍等とし得る。同様に、ビンの境界点のクラスタ（例えば、クラスタ１２０９）と車線境界（例えば、右車線境界１２０６）との間のギャップ（例えば、ギャップ１２０７）も決定される。ギャップ１２０７の場合、（ＡＶ１２０２がギャップを通過することができないように）ギャップ１２０７は閾値距離よりも小さくなるように決定されるため、カットアウト１２０８は右車線境界１２０６まで延長される。
ＡＶ１２０２の軌道プランナは、距離１２１２が、ＡＶ１２０２が距離１２１２に対応するギャップを通過し得るようなものであると決定してもよい。カットアウト１２１０が粗走行線１２０３に重なると、ＡＶ１２０２の軌道プランナは詳細検査を実行して、ＡＶ１２０２がそのギャップを通過し得るようにカットアウト１２１０の左又は右のギャップを決定する（例えば、見つける）。詳細検査の結果、ギャップが見つからない場合、ＡＶ１２０２はブロックされていると見なされ、停止しなければならない。
例１２００では、ギャップ１２１４及びギャップ１２１６は共に、ＡＶ１２０２がいずれかのギャップ１２１４、１２１６を通過し得るようになっている。一例では、ギャップ１２１４、１２１６のうちの１つがランダムに選択される。別の例では、軌道プランナは、カットアウト１２０８を通過するために左方向を既に選択しているため、ギャップ１２１４（すなわち、カットアウト１２１０の左側のギャップ）を選択する。
第２のオブジェクトに関して可能な２つの経路（例えば、オブジェクトの周りの左経路と右経路）を考慮し、かつ第１のオブジェクトに関する（例えば、右又は左に）第１の経路を考慮して、「多仮説追跡」は、第２のオブジェクトに関する第２の経路（例えば、軌道）を決定することを意味する。
図１３は、本開示による静的境界を決定するための処理１３００のフローチャートである。処理１３００の動作の一部又は全部は、処理８００の動作８３０で実行され得る。
動作１３１０では、処理１３００は、粗走行線に沿って境界点をビン内に編成する。境界点は、図１０−１２に関して説明したように、粗走行線に沿ってビンに編成される。
動作１３２０において、処理１３００は、粗走行線に照らしてビンの境界を検査する。ビンの境界は、粗走行線に照らして検査され、ＡＶが少なくとも１つのギャップを通過し得るようなギャップが存在するかどうかが決定される。一例では、動作１３２０は、動作１３２０２〜１３２０１２によって実行され得る。動作１３２０は、例えば、図１０のビン１０２６の左境界１０１２及び右境界１０１４に関して説明したようなビン境界点に基づいて、走行可能領域のビンの左右の境界を調整する。
動作１３２０２では、処理１３００は実際の走行線を推定する。例えば、カットアウト１２０８に関して説明したように、処理１３００は、カットアウト１２０８の左側にある実際の走行線を決定する。
動作１３２０４において、処理１３００は、通過可能なギャップを識別する。すなわち、処理１３００は、通過可能なギャップの数を識別する。例えば、図１１のビン１１１６の左右の境界を考慮して、処理１３００は、ＡＶ１１０２が距離１１２０によって定義されるギャップを通過し得るかどうかを決定する。その場合、一方のギャップが識別される。同様に、処理１３００は、ＡＶ１２０２が図１２の距離１２１２によって定義されるギャップを通過し得るかどうかを決定する。
動作１３２０６において、単一の（すなわち、一方の）ギャップが識別された場合、処理１３００は１３２０１２で終了する。すなわち、軌道はギャップを通過することを許可される。動作１３２０４で複数のギャップが識別された場合、処理１３００は動作１３２０８に進む。例えば、ＡＶ１２０２及びカットアウト１２１０に関して、処理１３００は、２つのギャップ、すなわち、カットアウト１２１０の右側のギャップ及び左側のギャップを識別する。
動作１３２０８において、処理１３００は、図１２のギャップ１２１４、１２１６に関して説明したように、他のギャップが利用可能であるかどうかを決定するために詳細検査を実行する。例えば、ギャップ１２１４が小さ過ぎてＡＶ１２０２がカットアウト１２１０の左側を通過できないと判断された場合、処理１３００は、ＡＶ１２０２がギャップ１２１６を通過し得るかどうかをテストし得る。動作１３２０８において、処理１３００は、左又は右のいずれかを選択し、どちらも可能でない場合、処理１３００は、静的閉塞が存在すると決定する。
動作１３２０１０において、先読み距離が完全に検査されると、処理１３００は、動作１３２０１２で終了する。そうでない場合、処理１３００は動作１３２０２に戻り、追加の障害物を検査する。
先読み距離は、ＡＶの速度によって変化する可能性があり得る。例えば、ＡＶの速度に応じて先読み距離を変化させることで、計算時間を短縮することが可能であり、その一方で、前方に障害物又は横方向制約が検出された場合に、ＡＶを停止させるか又は快適に（例えば、安全に）操縦するのに十分な時間を確保し得る。例えば、先読み時間の４秒が必要とされる場合、ＡＶが１２メートル／秒で移動しているとすると、適切な先読み距離は４８メートルになり得る。ＡＶが３０メートル／秒で移動している場合（例えば、高速道路を走行しているとき）、適切な距離は１２０メートルであろう。
再び図５を参照すると、離散時間速度計画モジュール５２８は、基準軌道生成レイヤ５０４によって（より詳細には、戦略的速度計画モジュール５２４によって）決定された戦略的速度計画から目標速度及び加速度を生成し得る。離散時間速度計画モジュール５２８は、縦方向制約から（例えば、それに基づいて）目標速度及び加速度を生成し得る。一例では、縦方向制約は、（後述する）停止線、（後述する）仮想停止線、静的障害物（すなわち、静的オブジェクト）、及び／又は動的障害物（すなわち、動的オブジェクト）を含み得る。離散時間速度計画モジュール５２８は、目標速度及び加速度を反復計算する。目標速度及び加速度は、先読み時間（すなわち、将来の計画対象期間）について計算される。一例では、先読み時間は６秒であり得る。
停止線は、ＡＶが進行する前に停止することが法律で義務付けられている線を表す。一例では、停止線は、道路上で塗料によってマーキングされ得る。別の例では、交差点構造及び停止標識位置に基づいて停止線を推定し得る。仮想停止線は、ＡＶによって、法律で義務付けられていないが、停止して交差情報を検査することが期待される重要な位置を表すために使用され得る。例えば、左折時に、ＡＶを停止させ、交差するトラフィックに譲らせるために、交差点の中央で仮想停止線が使用されてもよい。
離散時間速度計画モジュール５２８は、縦方向制約（すなわち、ＡＶの縦方向にある静的又は動的オブジェクト）に対するそれぞれの目標速度及び／又は縦方向制約に対するそれぞれの目標距離を計算する。
離散時間速度計画モジュール５２８は、静的及び／又は動的オブジェクトの少なくともいくつかに対して追跡モードを設定（すなわち、選択、決定、又は他のやり方の設定）し得る。例えば、追跡モードは、「ギャップ閉鎖」、「ギャップ維持」、「ギャップ開放」、「ブレーキ」、「追従」のいずれかであり得る。例えば、図９の動的車両９１６に関して、離散時間速度計画モジュール５２８は、「ギャップ閉鎖」の追跡モードを決定し得る。例えば、図１１のビン１１１６のオブジェクトに関しては、追跡モードを「ブレーキ」と決定し得る。利用可能な追跡モードには、より少ない、より多い、又はその他の追跡モードが含まれ得る。追跡モードは、離散時間速度計画モジュール５２８によって使用される調整パラメータの集合を選択するために使用し得る。調整パラメータは、目標加速度、ヒステリシスパラメータ、及び他の調整パラメータを含み得る。
次に、離散時間速度計画モジュール５２８の動作を説明するための例を示す。縦方向制約が見つからない場合、離散時間速度計画モジュール５２８は、（基準軌道生成レイヤ５０４によって決定されるように）ＡＶが戦略的速度計画に基づいて動作可能であると判断し得る。一方、追跡モードが「ブレーキ」であると決定された縦方向制約が（例えば、図１１のビン１１１６のオブジェクトに関して）検出された場合、離散時間速度計画モジュール５２８は、ＡＶを停止させるための速度プロファイルを計算する。すなわち、ＡＶを停止させるための減速速度プロファイルを計算する。
一例では、速度プロファイルは、ＡＶの現在の速度と縦方向制約への距離とを使用して、縦方向制約の前でＡＶを停止させる減速速度プロファイルを計算する。
図１４−１６は、本開示の実装に従って動的境界を決定する例１４００、１５００、及び１６００である。すなわち、図１４−１６は、図８の動作８５０に関して説明した動的オブジェクトの走行可能領域を調整する例である。すなわち、例１４００、１５００及び１６００は、ＡＶの粗走行線に沿って、ＡＶが動的オブジェクトを参照して走行され得る場所を決定することを示す。
各動的オブジェクトは、利用可能な複数のクラスのうちの少なくとも１つに分類し得る。例として、使用可能なクラスには、「横方向制約」、「縦方向制約」、「対向の横方向制約」、及び「対向の縦方向制約」が含まれる。他のクラスも利用可能である。
「横方向制約」として分類される動的オブジェクトは、ＡＶの速度ではなく経路に影響を与える。例えば、動的オブジェクトは、ＡＶのそれと略直交する方向に移動していてもよい。すなわち、動的オブジェクトは、ＡＶの経路を妨げる（すなわち閉塞）ことなく、ＡＶの左側又は右側のいずれかから移動していてもよい。したがって、図５の軌道プランナ５００等の軌道プランナは、動的オブジェクトを回避するためにＡＶの軌道を調整する必要があり得る。すなわち、ＡＶは動的オブジェクトとの衝突を避けるために（左又は右に）移動する必要があり得る。
「縦方向制約」として分類される動的オブジェクトは、ＡＶの経路ではなく速度に影響を与える。例えば、動的オブジェクトは、ＡＶと略同じ方向に移動し、ＡＶの経路内にある場合があり得る。すなわち、縦方向制約オブジェクトは、ＡＶの現在の速度でＡＶの経路を妨げる（すなわち、遮る）ことになる。したがって、ＡＶの軌道プランナは、ＡＶの軌道を調整する必要はないが、動的オブジェクトとの衝突を回避するためにＡＶの速度を（例えば、軌道プランナの離散時間速度計画モジュール５２８によって）調整する必要があり得る。縦方向制約の一例は、図９の動的車両９１６である。すなわち、縦方向制約オブジェクトは、ＡＶの前方にあり、かつＡＶよりも低速で移動している車両であり得る。そのため、動的オブジェクトとの追突を回避するためにＡＶを減速させる必要があり得る。
対向する横方向制約オブジェクトは、横方向制約オブジェクトと同様であるが、対向する横方向制約オブジェクトがＡＶとは逆方向に移動する点が異なる。図９の動的対向車両９１８は、対向する横方向制約オブジェクトの一例である。このような場合、ＡＶは、（例えば、図９の軌道９６２に関して説明したように）減速することなく移動され得る。
対向する縦方向制約オブジェクトは、縦方向制約オブジェクトと同様であるが、対向する縦方向制約オブジェクトがＡＶとは逆方向に移動する点が異なる。この場合、図１６を参照してさらに説明するように、ＡＶは停止する。
そのため、図５のオブジェクト回避レイヤ５０６のモジュール５３２は、動的オブジェクトの分類に基づいてＡＶの離散速度計画を制約する（すなわち、制約を適用する）。例えば、ＡＶの軌道をブロックする対向する動的オブジェクトは、車線内（すなわち、ＡＶと同じ車線内の）静的オブジェクトとして処理し得る。例えば、先行の動的オブジェクト（すなわち、ＡＶの前方にあり、ＡＶと同じ方向に移動している動的オブジェクト）は、離散時間速度計画では縦方向制約として処理され得る。例えば、ＡＶの計画された走行線の近くにある動的オブジェクトは、横方向制約として処理され得る。
図１４の例１４００では、ＡＶ１４０２が粗走行線１４０３に沿って移動している。静的オブジェクトは見あたらない。したがって、図１０−１２で説明したように、静的オブジェクトに合わせて算出された走行可能領域の境界である左境界１４１７及び右境界１４１８は、走行可能領域の境界と一致する。
車両１４０４が、道路の右路肩から（又は、ＡＶ１４０２を含む車線の右側の車線から）経路１４２０に沿ってＡＶの経路に移動していると予測される。そのため、車両１４０４は、最初に、横方向制約として分類される。車両１４０４の予測経路は経路１４２０であり、これは粗走行線１４０３の近くにある（例えば、隣接している）。したがって、モジュール５３２は、車両１４０４を横方向制約として分類し続ける。
モジュール５３２は、異なる離散的時点におけるＡＶ１４０２の位置を決定（例えば、予測）し得る。すなわち、モジュール５３２は、異なる時点で、粗走行線１４０３に沿って到着する位置を決定する。例えば、時間ｔにおいて（例えば、１秒で）、ＡＶ１４０２は位置１４０６にあると予測され、時間ｔ＋１において（例えば、２秒で）、ＡＶ１４０２は位置１４０８にあると予測され、時間ｔ＋２において（例えば、３秒で）、ＡＶ１４０２は位置１４１０にあると予測される。
例１４００、１５００、及び１６００に関して将来の３秒後の位置（すなわち、３秒の時間ウインドウ）が示されているが、事前定義された時間ウィンドウを考慮して、より多くの又はより少ない位置が決定（例えば、予測、計算等）され得る。例えば、時間ウィンドウは６秒である。予測位置の頻度も変化し得る。一例では、時間ウィンドウは６秒であり、位置が半秒ごとに決定され得る。そのため、１２箇所が予測される。
上述のように、軌道プランナの第２のインスタンスは、車両１４０４を追跡（例えば、その軌道を予測）してもよい。そのため、第２の軌道プランナのモジュール５３２は、車両１４０４の位置を決定（例えば、予測）し得る。例えば、時間ｔにおいて（例えば、１秒で）、車両１４０４は位置１４１２にあると決定され、時間ｔ＋１において（例えば、２秒で）、車両１４０４は位置１４１４にあると決定され、時間ｔ＋２において（例えば、３秒で）、車両１４０４は位置１４１６にあると決定される。例として、ＡＶのインスタンス化された全ての軌道プランナについて、同じ時間ウィンドウと予測の頻度を同じにすることができまる。しかしながら、必ずしもその必要はない。時間ウィンドウと頻度は、動的オブジェクトのタイプ（例えば、自転車、歩行者、スポーツカー、セダン、大型トラック等）によって異なり得る。ＡＶ１４０２の走行可能領域は、車両１４０４の位置に対応する領域を除去するように調整される。
図１４の例１４００では、車両１４０４とＡＶ１４０２とが略同時に同じ位置にあると決定される。そのため、例えば、経路１４２２に対応するビンの（この例では右側の）境界を設定することによって、経路１４２２に対応する部分がＡＶ１４０２の走行可能領域から切り取られる。図１２の距離１２１２に関して説明したように、距離１４２４が、ＡＶ１４０２が距離１４２４によって定義されるギャップを何とか通り抜け得るようなものである場合、ＡＶ１４０２の走行線は、ギャップを通って調整される（すなわち、ＡＶ１４０２は左に押される）。
図１５の例１５００では、ＡＶ１５０２が粗走行線１５０３に沿って移動している。静的オブジェクトは見あたらない。したがって、走行可能領域の左境界１５１７及び右境界１５１８は、静的オブジェクトに対して調整されない。しかしながら、車両１５０４が、道路の右路肩から（又は、ＡＶ１５０２を含む車線の右側の車線から）経路１５２０に沿ってＡＶ１５０２の経路内へと移動していると予測される。
最初に、例えば、車両１５０４が最初に検出されたときに、それは横方向制約として分類し得る。したがって、図１４の車両１４０４に関して説明したように、車両１５０４に関して横方向制約を適用し得る。
図１５に関して説明したように、時間ｔ、ｔ＋１、及びｔ＋２におけるＡＶ１５０２の位置は、それぞれ位置１５０６、１５０８、及び１５１０であると予測され、時間ｔ、ｔ＋１、ｔ＋２における車両１５０４の位置はそれぞれ１５１２、１５１４、１５１６と予測される。そのため、車両１５０４の軌道（すなわち、経路１５２０）は、ＡＶ１５０２の粗走行線１５０３に重なると予測される。したがって、車両１５０４は縦方向制約として分類される。これにより、車両１５０４の分類が「横方向制約」から「縦方向制約」に変更される。したがって、軌道プランナは、（図１４に関して上述したように）ＡＶ１５０２が左に移動するように、ＡＶ１５０２の軌道を変更する必要はない。むしろ、離散時間速度計画モジュール５２８は、ＡＶ１５０２の粗走行線１５０３に縦方向制約を適用し得る。すなわち、離散時間速度計画モジュール５２８は、車両１５０４を先行車両として離散時間速度計画を計算する。「追従」の追跡モードは、離散時間速度計画モジュール５２８によって、ＡＶ１５０２が車両１５０４の後方に追従するように設定し得る。離散時間速度計画モジュール５２８はまた、例えば、ＡＶ１５０２が車両１５０４より前に位置１５０６に到着しないようにＡＶ１５０２を減速させる離散時間速度計画を決定し得る。
図１６の例１６００では、ＡＶ１６０２が粗走行ライン１６０３に沿って東方向に移動しており、車両１６０４が西方向に移動している。車両１６０４は、駐車車両１６０６を回避するために経路１６０９を辿ることが予測される。粗走行線１６０３に沿った時間ｔ、ｔ＋１、及びｔ＋２におけるＡＶ１６０２の位置は、それぞれ位置１６１０、１６１２、及び１６１４であると予測される。時間ｔ、ｔ＋１、及びｔ＋２における経路１６０９に沿った車両１６０４の位置は、それぞれ１６１６、１６１８、及び１６２０であると予測される。
軌道プランナは、ＡＶ１６０２と車両１６０４とが略同じ位置（すなわち、位置１６１２、１６１８に対応する交差位置）に同時に（すなわち、時間ｔ＋２において）存在すると予測されることを決定する。そのため、ＡＶ１６０２が粗走行線１６０３に沿って進み続けると、車両１６０４と衝突する可能性が非常に高い。
図１６には示されていないが、例１６００の走行可能領域は、図９のビュー９５６のカットアウト９５０に関して説明したように調整（すなわち、切り取り）される。すなわち、ＡＶ１６０２の走行可能領域は、例えば、経路１６０９に対応する（重なる）ビンの（この例では、左側の）境界を設定することによって、車両１６０４の位置に対応する領域を除去するように調整される。
交差位置（すなわち、位置１６１２、１６１８）で、軌道プランナは、交差点と走行可能領域の端との間の走行可能領域の幅を評価し得る。すなわち、軌道プランナは、距離１６２２を評価して、距離１６２２によって定義されるギャップが、ＡＶ１６０２が通過し得るほど十分に大きいかどうかを決定する。上述したように、距離１６２２は、交差点を含むビン１６０８の計算された境界間の距離である。
距離１６２２が十分に大きくない（すなわち、ギャップが小さ過ぎる）と判断された場合、軌道プランナは、ＡＶ１６０２が車両１６０４をクリアし得る位置を判断する。一例では、ＡＶ１６０２の予測位置の少なくともいくつかについて、交差点（例えば、Ｘが正の整数である場合の時間ｔ＋Ｘにおける位置）から開始し、時間的に後退し（例えば、時間ｔ＋Ｘ−１、ｔ＋Ｘ−２、．．．、ｔ−１、ｔにおける位置の少なくともいくつか）、軌道プランナは、その位置において、ＡＶ１６０２が車両１６０４をクリアし得るかどうかを決定する。例１６００では、軌道プランナは、ＡＶ１６０２が位置１６１０で車両１６０４をクリアし得ると判断し得る。
別の例では、車両１６０４の予測位置の少なくともいくつかについて、交差点（例えば、Ｘが正の整数である場合の時間ｔ＋Ｘにおける位置）から開始し、時間的に前進し（例えば、時間ｔ＋Ｘ＋１、ｔ＋Ｘ＋２、．．．、ｔ＋Ｘ＋ｎにおける位置の少なくともいくつか）、軌道プランナは、その位置において、ＡＶ１６０２が車両１６０４をクリアし得るかどうかを決定する。
軌道プランナは、車両１６０４が位置１６２０にあるときにＡＶ１６０２が車両１６０４をクリアし得ると判断する。したがって、軌道プランナ（より詳細には、モジュール５３０）は、位置１６２４において静的閉塞を設定する。次に、軌道プランナ（より詳細には、離散時間速度計画モジュール５２８）は、速度及び／又は減速プロファイルを決定して、ＡＶ１６０２を位置１６２４で停止させる。このようにして、ＡＶ１６０２は、車両１６０４が位置１６２４に到着するまで、位置１６２４で停止させられ、その時点でＡＶ１６０２は、粗走行線１６０３に沿って進んでもよい。
距離１６２２が十分に大きいと決定された場合、軌道プランナは、図９のビュー９６２の軌道９６０に関して示されたように、ＡＶ１６０２が交差点位置で車両１６０４を避けるように左に移動するように粗走行線１６０３を調整し得る。
そのため、一例では、オブジェクト回避レイヤ５０６は、オブジェクトを系統的に処理する。オブジェクトが制約でない場合、それはオブジェクト回避レイヤ５０６によって無視され得る。
オブジェクトが静的オブジェクトであり、調整された走行可能領域が通過可能である場合（例えば、場合によっては、ＡＶが走行可能領域又は調整された走行可能領域内の１つ以上のギャップを通過し得る場合）、モジュール５３０は、静的制約（例えば、横方向制約）を適用して、例えば、図１２の距離１２１２に関して説明したように、調整された走行可能領域を決定し得る。
オブジェクトが静的オブジェクトであり、走行可能領域（又は調整された走行可能領域）が通過不能である場合、離散時間速度計画モジュール５２８は、例えば、図１１の位置１１２２に関して説明したように、離散時間速度プロファイルを調整し得る。
オブジェクトが動的オブジェクトであり、かつオブジェクトが横方向制約である場合、モジュール５３２は、例えば、図１５に関して説明したように、走行可能領域（又は調整された走行可能領域）を調整し得る。
オブジェクトが動的オブジェクトであり、かつオブジェクトが縦方向制約である場合、離散時間速度計画モジュール５２８は、例えば、図１６に関して説明したように、離散時間速度プロファイルを調整し得る。離散時間速度計画モジュール５２８は、制約を考慮して、将来のウインドウ（例えば、次の６秒間の速度計画）のための離散時間速度計画を生成し得る。
図５に戻ると、軌道最適化レイヤ５０８は、制約に基づいてＡＶのための最適軌道を決定するために、制約された動作等の（複数の）最適化動作を実行する。軌道最適化レイヤ５０８は、（すなわち、最適化動作への入力として）ＡＶの動作モデル（例えば、運動学的動作モデル）、粗走行線（例えば、図１０の粗走行線１００４、図１１の粗走行線１１０３、図１４の粗走行線１４０３等）、及び／又は、粗走行線に沿ったビンの中心点（例えば、中心点１００６）、及び調整された走行可能領域（例えば、調整された走行可能領域の左右の境界）を使用して、ＡＶのための最適軌道を計算（例えば、決定、生成等）し得る。そのため、最適軌道は、粗走行線に沿って、静的及び動的オブジェクトを考慮して、粗走行線及び左側と右側の境界が考慮される。
図１７は、本開示の実装による軌道計画のさらなる例１７００を示す。以下の例の各々において、図５の軌道プランナ５００等の１つ以上の軌道プランナが、自律走行車内で実行され得る。軌道プランナの第１のインスタンスは、自律走行車自体の軌道を決定する。第２の軌道プランナインスタンスは、少なくとも１つの外部動的オブジェクトの各基準走行線を予測する。説明を簡単にするために、本明細書では、「軌道プランナ」は、第１のインスタンス及び／又は第２のインスタンスを参照するために使用される。
第１の例では、ＡＶ１７０２の軌道プランナは、対向車両１７０４が静的オブジェクト１７０５を回避するために軌道１７０６を辿ることを予測する。軌道プランナはさらに、図１６に関して説明したように、ＡＶ１７０２が対向車両１７０４の軌道と走行可能領域の右境界との間のギャップを通過できないことを決定する。そのため、軌道プランナは、対向車両１７０４が静的閉塞１７０８を通過するまでＡＶ１７０２を静的閉塞１７０８で停止させる速度計画を決定する。
第２の例では、ＡＶ１７１０は（すなわち、ＡＶの軌道プランナによって）動的オブジェクト１７１２が経路１７１４を辿ることを決定する。軌道プランナは、ＡＶ１７１０が、（図９の走行可能領域９３２に関して説明したように）走行可能領域の左ハード境界であり得る道路の中心線を横断せずに、動的オブジェクト１７１２を通過することができないと判断する。したがって、ＡＶ１７１０の軌道プランナは、ＡＶ１７１０を静的閉塞１７１６で停止させる速度計画を決定する。別の例では、ＡＶ１７１０は、静的閉塞１７１６において停止するのではなく、動的オブジェクト１７１２を通過させるために十分に減速する
第３の例では、ＡＶ１７２０は、対向する動的オブジェクト１７２２が軌道１７２４に従うことを決定する。ＡＶ１７２０はさらに、ＡＶ１７２０が軌道１７３０に沿って、第１の静的オブジェクト１７２６と第２の静的オブジェクト１７２８との間にナビゲートされ、そこでＡＶ１７２０は、静的閉塞１７３２で計算された秒数の間待機し、その後で進行するように、ＡＶ１７２０の軌道１７３０を決定する。計算された秒数は、図１６の位置１６２４に関して説明したように、対向する動的オブジェクト１７２２が静的閉塞１７３２の位置を通過するのに十分な時間である。
第４の例では、ＡＶ１７３４は、大型の動的オブジェクト１７３６が右折中であると決定する。ＡＶ１７３４の軌道プランナは、大型の動的オブジェクト１７３６の運動モデルを使用して、大型の動的オブジェクト１７３６が大きな回転半径を必要とし、したがって、大型の動的オブジェクト１７３６が軌道１７３８を辿ることを決定する。したがって、ＡＶ１７３４の経路が大きな動的オブジェクト１７３６からクリアされるまで静的閉塞１７４０においてＡＶ１７３４が停止するように、ＡＶ１７３４に対する速度計画が決定（例えば、計算、生成等）される。
要約すると、本開示による軌道プランナ（例えば、軌道プランナの走行線データレイヤ）は、基準となる（すなわち、粗い）走行線を決定（例えば、生成、計算、選択等）し得る。軌道プランナは、粗走行線を決定するためにいくつかの入力データを融合し得る。したがって、粗走行線は、（すなわち、複数のタイプの入力データからの）マルチソースされることを意味し得る。入力データは、ＨＤ地図データ、遠隔操作データ、記録経路データ、先行車データ、駐車場データ、局所知覚データを含み得る。軌道プランナは、より少ない入力、より多い入力、又は他の入力を使用し得る。
軌道プランナ（例えば、軌道プランナの粗走行線連結レイヤ）は、粗走行線に沿った特定の速度値を含む戦略的速度計画を生成（例えば、決定、計算等）し得る。軌道プランナは、戦略的速度計画を生成するために、道路曲率、道路μ、車両速度及び／又は加速制限、最小巡航時間、近隣タイプの少なくとも１つ、並びにより多く、より少なく、又は他の入力を使用し得る。
軌道プランナ（例えば、軌道プランナの粗走行線連結レイヤ）は、ハード境界（静的及び／又は動的オブジェクトに基づいて設定される）、ソフト境界（例えば、車線マーク）、フィルタされた横方向限界、多重仮説追跡、拡張可能な走行可能領域検査、及び動的オブジェクト分類（例えば、オブジェクトを対向車両、先行車、又は横方向制約として分類する）の少なくとも１つ以上に基づいて、ＡＶのための調整された走行可能領域を決定する。
軌道プランナ（例えば、軌道プランナの離散時間速度計画モジュール）は、例えば、自然加速度プロファイル（例えば、ＡＶの運動モデル）、先行車両加速度プロファイル、及び縦方向制約の限界の決定を用いて、離散時間速度計画を決定（例えば、計算）する。
軌道プランナ（例えば、軌道プランナの最適化された所望の軌道レイヤ）は、例えば、制約された最適化動作を使用して、ＡＶの最適化軌道を生成（例えば、計算、決定等）する。一例では、最適化動作は、二次ペナルティ関数に基づいてもよく、又はこれを含み得る。一例では、最適化動作は、対数バリア関数に基づいてもよく、又はこれを含み得る。例えば、二次ペナルティ関数はソフト制約とともに使用し得る。例えば、対数バリア関数は、ハード制約と共に使用し得る。
図１８は、本開示によるオブジェクト回避のための処理１８００のフローチャート図である。処理１８００は、図５の軌道プランナ５００等の軌道プランナによって実行し得る。
動作１８１０では、処理１８００は、ＡＶの走行可能領域の粗走行線に沿って第１のオブジェクトを検出する。一例では、第１のオブジェクトを検出することは、オブジェクトに対応する図１０の境界点１００８等の境界点を検出すること意味し得る。一例では、オブジェクトを検出することは、例えば、図４の世界モデルモジュール４０２に関して説明したように、世界モデルからオブジェクトを（例えば、問い合わせることによって）受信することを意味し得る。粗走行線は、例えば、図１０の粗走行線１００４、図１１の粗走行線１１０３、図１２の粗走行線１２０３等に関して説明したものであってもよい。走行可能領域は、図９の走行可能領域９３２に関して説明したものであってもよい。
動作１８２０において、処理１８００は、第１のオブジェクトの予測経路を受信する。一例では、処理１８００は、第１のオブジェクトの分類及び第１のオブジェクトの運動モデルに基づいて、第１のオブジェクトの予測経路を決定する。別の例では、処理１８００は、第１のオブジェクトの経路を予測する軌道プランナから第１のオブジェクトの予測経路を受信する。予測される経路は、図３の軌道３３６、軌道３４６、軌道３５４、及び軌道３６４に関して説明したもの、すなわち、図１４の経路１４２０１４、図１５の経路１５２０、及び図１６の経路１６０９であってもよい。
動作１８３０において、処理１８００は、第１のオブジェクトの予測経路に基づいて、調整された走行可能領域を決定する。一例では、上述したように、走行可能領域から一部を切り取ることにより、調整された走行可能領域を生成し得る。別の例では、例えば、第１のオブジェクトが横制約でも縦方向制約でもない場合、上述したように、調整された走行可能領域は走行可能領域と同じであってもよい。
動作１８４０において、処理１８００は、調整された走行可能領域を通るＡＶの軌道を決定する。軌道は、図５の軌道最適化レイヤ５０８に関して説明したように決定し得る。
一例では、第１のオブジェクトの予測経路に基づいて、調整された走行可能領域を決定することは、粗走行線の少なくとも一部を複数のビンに分割すること、第１のオブジェクトを複数のビンの１つのビンに割り当てること、及び１つのビンに基づいて調整された走行可能領域を決定することを含み得る。ビンは、例えば、図１０に関して説明したものであってもよい。１つのビンに基づいて調整された走行可能領域を決定することは、上述したように、少なくとも１つのビンに対する境界を決定（例えば、計算）することを含み得る。
一例では、第１のオブジェクトの予測経路に基づいて調整された走行可能領域を決定することは、離散時間間隔で第１のオブジェクトの各オブジェクト位置を決定すること、離散時間間隔でＡＶの各ＡＶ位置を決定すること、及び各オブジェクト位置と各ＡＶ位置とに基づいて調整された走行可能領域を決定することを含み得る。第１のオブジェクトの各オブジェクト位置、ＡＶ位置、及び調整された走行可能領域の決定は、図１４−１６を参照して説明したものであってもよい。
一例では、処理１８００は、第１のオブジェクトを分類することを含み得る。別の例では、処理１８００は、世界モデルモジュール４０２等から第１のオブジェクトの分類を受信し得る。第１のオブジェクトが対向する縦方向制約として分類される場合、調整された走行可能領域を通るＡＶの軌道を決定することは、図１６に関して説明したように、第１のオブジェクトのオブジェクト位置がＡＶのＡＶ位置と出会う第１の時間に続く第２の時間までＡＶを停止することを含み得る。
第１のオブジェクトが縦方向制約として分類される場合、調整された走行可能領域を通るＡＶの軌道を決定することは、図１５に関して説明したように、第１のオブジェクトの後方を走行するようにＡＶを減速させることを含み得る。
一例では、処理１８００は、第１のオブジェクトを、横方向制約、縦方向制約、対向する横方向制約、又は対向する縦方向制約として分類することも含み得る。
一例では、調整された走行可能領域を通るＡＶの軌道を決定することは、図１６に関して説明したように、第１のオブジェクトが静的閉塞であることを決定して、ＡＶを停止させることを含み得る。
図１９は、本開示の実装による実世界オブジェクトに関する仮説の例１９００の図である。例１９００は、例１９１０、１９３０、１９４０、１９５０、及び１９６０を含み、ここで、観測された実世界オブジェクトの仮説（すなわち、意図）が予測される。
例１９１０は、ＡＶ１９１２を示している。ＡＶ１９１２（より具体的には、ＡＶ１９１２の世界モデルモジュール）は、対向する動的オブジェクト１９１４を検出する。ＡＶ１９１２は、対向する動的オブジェクト１９１４が経路１９１８か、又は対向する動的オブジェクト１９１４が駐車車両１９１６を避けることができるように経路１９２０かのいずれかを辿ることができることを予測する。そのため、ＡＶ１９１２は、第１の仮説（例えば、経路１９１８に対応する「停止」）及び第２の仮説（例えば、経路１９２０に対応する「左側への迂回」）を、対向する動的オブジェクト１９１４と関連付けることができる。第１の仮説は、対向する動的オブジェクト１９１４が駐車車両１９１６の後方で停止することを示す。第２の仮説は、対向する動的オブジェクト１９１４がＡＶ１９１２の軌道を妨害することを示す。そのため、軌道プランナが、上述のように、経路１９２０を対向する動的オブジェクト１９１４の予測経路として受信すると、軌道プランナは、対向する動的オブジェクト１９１４を対向長手方向制約として分類する。
ＡＶ１９１２は、各経路１９１８、１９２０に尤度を関連付けることができる。一例として、尤度０．２を経路１９１８に割り当て、尤度０．８を経路１９２０に割り当てることができる。したがって、対向する動的オブジェクト１９１４が直進し続け、駐車車両１９１６に到達する前に停止及び／又は減速する可能性は２０％であり、対向する動的オブジェクト１９１４が駐車車両１９１６の周りを回る可能性は８０％である。
例１９３０は、ＡＶ１９３２を示している。ＡＶ１９３２（より具体的には、ＡＶ１９３２の世界モデルモジュール）は、隣接オブジェクト１９３３を検出する。隣接オブジェクト１９３３は、大型トラックとして分類し得る。ＡＶ１９３２は、（後述するように）地図データを用いて、道路交差点が位置１９３４に存在することを決定する。そのため、ＡＶ１９３２は、第１の仮説（例えば、経路１９３８に対応する「直進」）及び第２の仮説（例えば、経路１９３６に対応する「右折」）を隣接オブジェクト１９３３と関連付けることができる。後述するように、経路１９３６の軌道は、右折中の大型トラックの処理モデル（例えば運動モデル）を用いて予測し得る。
ＡＶ１９３２は、尤度を第１及び第２の仮説のそれぞれと関連付けることができる。一例として、尤度０．６を第１の仮説に、尤度０．４を第２の仮説に割り当てることができる。そのため、交差点で前進し続ける確率は６０％であり、交差点で右折する確率は４０％である。以下にさらに説明するように、各仮説の尤度は、状態情報に基づいて決定し得る。簡単な例では、隣接オブジェクト１９３３が経時的に減速しているように見えない場合、第２の仮説（例えば、「右折」）の尤度は減少する。
例１９４０は、ＡＶ１９４２を示している。ＡＶ１９４２は、自転車１９４６を検出する。すなわち、ＡＶ１９４２は、「自転車」に分類されるオブジェクトを検出する。また、ＡＶ１９４２は、駐車車両１９４４を検出する。そのため、ＡＶ１９３２は、第１の仮説（例えば、経路１９４８に対応する「迂回」）を自転車１９４６と関連付けることができる。そのため、自転車１９４６は、上述のように、軌道プランナによって、横方向制約又は縦方向制約のいずれかとして分類され得る。自転車１９４６には１つの仮説しか関連付けられていないので、１つの尤度（例えば、１００％）を１つの仮説に割り当てることができる。
例１９５０は、ＡＶ１９５２を示している。ＡＶ１９５２は、車両１９５４を検出する。すなわち、ＡＶ１９５２は、「車両」に分類されるオブジェクトを検出する。ＡＶ１９５２は、道路が２つの車線（すなわち、車線１９５３Ａ及び車線１９５３Ｂ）を含むと（例えば、地図データに基づいて）決定し得る。そのため、ＡＶ１９３２は、第１の仮説（例えば、車両１９５４が車線１９５３Ｂに留まるように、経路１９５８に対応する「真進」）と第２の仮説（例えば、車両１９５４が車線１９５３Ａに移動するように、経路１９５６に対応する「左車線への変更」）を関連付け得る。
ＡＶ１９５２は、尤度を第１及び第２の仮説のそれぞれと関連付けることができる。一例として、尤度０．３を第１の仮説に、尤度０．７を第２の仮説に割り当てることができる。そのため、車両１９５４が車線１９５３Ｂに留まる確率は３０％であり、車両が車線１９５３Ａに移動する確率は７０％である。以下にさらに説明するように、各仮説の尤度は、状態情報に基づいて決定し得る。
例１９６０は、ＡＶ１９６２を示している。ＡＶ１９６２は、車両１９６４を検出する。すなわち、ＡＶ１９６２は、「車両」に分類されるオブジェクトを検出する。ＡＶ１９６２は、（例えば、地図データを使用して）車両１９６４と、第１の仮説（例えば、車両１９６４が車線１９６３Ａに右折して経路１９６６を辿ることに対応する「右折」）及び第２の仮説（例えば、車両１９６４が左折して車線１９６３Ｂに入り、経路１９６８を辿ることに対応する「左折」）を関連付けることができる。一例として、第１の仮説に尤度０．２を割り当て、第２の仮説に尤度０．８を割り当てることができる。したがって、車両１９６４が右折する可能性は２０％であり、車両１９６４が左折する可能性は８０％である。
図２０は、本開示による世界モデル化のための処理２０００のフローチャート図を含む。処理２０００は、後述する動作２００２−２０１２を含む。処理２０００は、図４の世界モデルモジュール４０２等の世界モデルモジュールによって実装し得る。処理２０００は、ＡＶ（図１の車両１００等）のプロセッサ（図１のプロセッサ１２０等）が実行可能な命令としてメモリ（図１のメモリ１２２等）に記憶し得る。
処理２０００は、上述の動的オブジェクト等の実世界オブジェクトについての１つ以上の仮説を維持する。処理２０００は、実世界オブジェクトの少なくともいくつかの仮説の少なくともいくつかを各状態に維持する（例えば、関連付ける）ことができる。過去の測定（例えば、受信したセンサ観測）を考慮して、処理２０００は、各仮説について、関連する実世界オブジェクトの状態を推定して、将来のオブジェクト状態を予測する。処理２０００は、仮説の各々について尤度を維持し（例えば、計算する、決定する、又は他のやり方で維持する）、新しいセンサ観測値が受信されると尤度を更新する。処理２０００は、データストア２０１４等のデータストア内で、１つ以上の仮説、検出されたオブジェクト、及び関連する状態を維持し得る。データストア２０１４は、図１のメモリ１２２等のメモリに記憶され得る。データストア２０１４は、例えば、リレーショナルデータベース、ファイルストア、又は任意の適切なデータストア等のデータベースとし得る。処理２０００は、新しいセンサ測定値が利用可能なときに、所定のスケジュールで（数ミリ秒ごと等）、それらの組み合わせ、又は他の条件下で実行し得る。
処理２０００のステップのうちの少なくともいくつかは、粒子フィルタリング型のアルゴリズムを使用して、そのアルゴリズムとして、又はそのアルゴリズムのステップとして実装し得る。粒子フィルタリングは、オブジェクト状態の観測に基づいてオブジェクト状態を追跡（例えば、予測）するための技法である。一例として、ＲＢＰＦ（Ｒａｏ−Ｂｌａｃｋｗｅｌｌｉｚｅｄ Ｐａｒｔｉｃｌｅ Ｆｉｌｔｅｒ）法を使用し得る。
処理２０００は、粒子を使用して仮説を表現し得る。ＲＢＰＦは、粒子に割り当てられた重みを使用する。したがって、仮説の尤度は、その仮説を表す粒子の重みとして使用し得る。そのため、複数の仮説が実世界オブジェクトに関連付けられ得るので、実世界オブジェクトは、重み付けされた一連の粒子（それぞれが実世界オブジェクトの仮説に対応する）で構成し得る。
処理２０００は、入力２００１を受信し得る。入力２００１は、センサデータ（すなわち、センサ観測）、例えばセンサ１２６の１つ以上からの測定値を含んでもよい。センサデータを使用して、実世界オブジェクトを検出し得る。すなわち、例えば、センサデータを使用して、ＡＶのビュー内に実世界オブジェクトが存在することを決定し得る。
一例では、処理２０００は、センサデータを使用して、検出されたオブジェクトの姿勢及び速度を決定する。処理２０００は、センサデータを使用して、検出されたオブジェクトに対する分類を決定する（例えば、割り当てる）ことができる。処理２０００は、センサデータを使用して、検出されたオブジェクトに関するジオメトリを決定（例えば、計算、推定）し得る。
一例では、１つ以上のカメラからのデータを使用して、検出されたオブジェクトのクラスを決定し得る。クラスの非限定的な例には、「車」、「スポーツカー」、「セダン」、「大型トラック」、「歩行者」、及び「自転車」が含まれる。別の例では、経時的に、ＬｉＤＡＲデータ（例えば、ＬｉＤＡＲ点群）の経時的な動きに基づいて分類を割り当てることができる。一例では、ニューラルネットワーク（畳み込みニュートラルネットワーク等）を、検出されたオブジェクトのオブジェクト認識（例えば、分類）に使用し得る。オブジェクトに関連付けられるセンサデータの分類を決定するために、他の方法を利用し得る。
異なるセンサデータは、異なるオブジェクト分類を提供し得ることに留意されたい。例えば、ＬｉＤＡＲデータに基づいて「自転車」の第１の分類を決定し、カメラデータに基づいて「ジョガー」の第２の分類を決定し得る。したがって、オブジェクトの分類は確率的に決定され得る（例えば、第１の分類と第２の分類のどちらがより可能性が高いか）。したがって、異なるセンサデータが融合されて、分類が決定される。分類は確率的であるため、オブジェクトの分類は経時的に変化し得る。いくつかの実装形態では、処理２０００は、可能な分類の少なくともいくつかについての仮説を維持し得る。
１つの実装では、処理２０００は、検出されたオブジェクトに関する姿勢及び速度を入力として受信する。１つの実装では、処理２０００は、追加の入力として、検出されたオブジェクトに関する１つ以上のジオメトリ及び分類を受信する。したがって、分類は、処理２０００によって決定されるのではなく、入力として受信し得る。
また、入力２００１は、地図情報も含んでもよい。地図情報は、（図５のＨＤ地図データ５１０に関して説明したような）ＨＤ地図データ、（図５の知覚経路データ５２０に関して説明したような）知覚経路データ、他の地図情報、又はこれらの組み合わせであってもよい。
地図情報には、地図車線構造（本明細書では道路構造とも呼ばれる）が含まれ得る。特定の車線の地図車線構造には、後継車線情報、先行車線情報、及び兄弟車線情報が含まれ得る。次に、図１９を使用して、例示を提供する。車線１９５３Ａ及び車線１９５３Ｂは、兄弟車線である。車線１９６３Ａ及び車線１９６３Ｂは、車線１９７０の可能な後継車線である。したがって、地図車線構造には、道路の車線がどのように接続されているかに関する情報が含まれる。地図車線構造を使用して、検出されたオブジェクトが取り得る（例えば、辿る）車線の可能な組み合わせを決定し得る。すなわち、地図車線構造を使用して、検出されたオブジェクトの可能な経路を決定し得る。
また、入力２００１は、環境情報も含んでもよい。環境情報は、ＡＶが走行している車両交通ネットワークのナビゲート不能領域に関する情報を含んでもよい。例えば、環境情報は、図５の駐車場データ５１８に関して説明したような駐車場の位置を含んでもよい。環境情報を使用して、検出されたオブジェクトに対する１つ以上の仮説を追加（例えば、作成）し得る。例えば、駐車場が検出されたオブジェクトから既定の距離内にある場合、検出されたオブジェクトについて「駐車場に入る」仮説を追加し得る。
上述したように、処理２０００は、仮説に関する各状態情報を維持する。すなわち、例えば、観測された（例えば、検出された）オブジェクト（例えば、車両、自転車）ごとに、処理２０００は、オブジェクト状態についての１つ以上の仮説を維持する。各仮説に対して、処理２０００は、オブジェクト状態（すなわち、履歴測定値に基づく現在の状態）及び将来のオブジェクト状態の予測を維持し得る。
上述したように、オブジェクト状態は、離散オブジェクト状態情報及び連続オブジェクト状態情報を含んでもよい。離散オブジェクト状態情報は、分類（例えば、「車」、「自転車」、「歩行者」等）及び意図（例えば、「右に行く」「左に行く」等）を含み得る。離散オブジェクト状態情報は、より多くの、より少ない、又は追加の情報を含んでもよい。連続オブジェクト状態情報は、以前の測定値を考慮して連続状態の推定を提供する。連続オブジェクト状態情報は、動的状態（例えば、速度、加速度）、運動学的状態（例えば、姿勢、位置、方向）、幾何学的状態（例えば、オブジェクトの境界ボックスの長さ、幅及び／又は高さ）、又は外観状態として、より多くの、より少ない、又は他の連続状態に関する推定を含んでもよい。外観には、オブジェクトの色が含まれ得る。一例では、現在の色が黒であると決定され、後に受信されたセンサ観測が赤色を示す場合、そのような情報を使用して、センサ観測がオブジェクトに関連付けられているかどうかを決定し得る。色は、「赤」等のラベルとして追跡し得る。色は、赤、緑、青（ＲＧＢ）値等の色値の集合として追跡し得る。一例では、現在の外観状態は（２５５、０、０）の色値を示してもよく、これは受信したセンサ観測に基づいて（２５４．３７、０、０）に更新される。したがって、外観は連続変数である。
将来のオブジェクト状態の予測は、指定された終了時間に提供される。例えば、処理２０００は、各仮説について、その仮説に関連するオブジェクトの各軌道を予測し、指定された終了時間までの軌道に沿った離散時間点におけるオブジェクトの状態を予測し得る。予測状態には、予測位置、予測速度、予測方位等が含まれるが、説明を簡単にするために、予測位置について説明する。例えば、指定された終了時間は６秒であってもよく、処理２０００は、０．５秒におけるオブジェクトの位置を最大６秒まで増分して予測し得る。このようにして、オブジェクトの１２箇所が予測される。例では、オブジェクトの（ｘ、ｙ）座標によって位置を定義し得る。位置は、ＡＶの現在の位置を基準にし得る。
上述のように、処理２０００は、各仮説に尤度を割り当てる（例えば、計算する、決定する、又は他のやり方で割り当てる）ことができる。
上記を説明するために、処理２０００によって自動車（すなわち、「車」として分類される検出されたオブジェクト）について維持される仮説の例を示す。仮説は仮説１と仮説２を含む。
仮説１は、分類＝「車」、意図＝「次の交差点を直進する」という離散的オブジェクト状態情報を含む。連続オブジェクト状態情報には、位置＝（１０、２５）（すなわち、ＡＶの前方１０ｍ、右側２５ｍ）と速度＝６５ｍＰＨが含まれる。仮説１には、次のＮ秒間（すなわち、指定された終了時間）の車の位置の予測も含まれる。そのため、仮説１は、ｔ＝Ｔ（すなわち、現在の時間）からｔ＝Ｔ＋Ｎまでのオブジェクト状態を含む。さらに、車が仮説１の意図（すなわち、「次の交差点を直進する」）に従う尤度は６０％である。
仮説２は、分類＝「車」、意図＝「次の交差点を右折する」という離散的オブジェクト状態情報を含む。連続オブジェクト状態情報には、位置＝（１０、２５）と速度＝４５ｍＰＨが含まれる。仮説２には、次のＮ秒間（すなわち、指定された終了時間）の車の位置の予測も含まれる。そのため、仮説２は、ｔ＝Ｔ（すなわち、現在の時間）からｔ＝Ｔ＋Ｎまでのオブジェクト状態を含む。さらに、車が仮説２の意図（すなわち、「次の交差点を右折する」）に従う尤度は４０％である。オブジェクトが最初に作成されるとき、そのオブジェクトに対して作成される仮説は、同じ初期位置及び速度を有し得ることに留意されたい。しかしながら、オブジェクトが追跡されると（例えば、オブジェクトに関連する仮説の状態が更新されると）、異なる仮説に関連する位置及び／又は速度は異なり得る。
動作２００２では、処理２０００は、検出された実世界オブジェクトの少なくともいくつかについての仮説を作成及び維持する。仮説は、データストア２０１４内で維持し得る。実世界オブジェクトの位置が変化すると（例えば、受信されたセンサ観測に関して以下にさらに説明するように）、実世界オブジェクトに関連する１つ以上の仮説が変化し得る。例えば、いくつかの仮説は無効になり得る（例えば、不可能であるか、可能性が非常に低い）。例えば、実世界オブジェクトが左折する（又は略確実に左折する）場合、「次の交差点を右折する」という意図に関連付けられた仮説は無効になる。左折する実世界オブジェクトに基づいて、いくつかの追加の仮説を作成する必要があり得る。上述したように、仮説を作成及び維持するために、地図情報（例えば、ＨＤ地図データ、知覚地図データ等）、環境情報データ、及び／又は他の地図情報が使用される。
図２１は、本開示の実装による戦略的速度計画を決定する例２１００である。例２１００は、車両交通ネットワークの一部、すなわち道路２１０４を横断する車両２１０２（すなわち、処理２０００を実行するＡＶによって検出される実世界オブジェクト）を示す。
ビュー２１１０は、時間ｔ＝０における車両２１０２の位置を示している。ｔ＝０において、車両２１０２は、道路２１０４における分岐点２１１２の手前にある。そのため、処理２０００は、地図情報から得られた地図車線構造を用いて、車両２１０２が一旦分岐点２１１２に到着すると、車両２１０２が「左折」（「１」とラベル付けされた経路に対応）、「直進」（「２」とラベル付けされた経路に対応）、又は「右折」（「３」とラベル付けされた経路に対応）を行うことができることを決定し得る。そのため、処理２０００は、車両２１０２についての３つの仮説を（データストア２０１４内等に）作成し得る。すなわち、仮説１、仮説２、及び仮説３は、それぞれ１、２、及び３とラベル付けされた経路に対応する。以上のように、仮説ごとに状態情報が決定（例えば、計算、設定、又は他のやり方で決定）される。
ビュー２１２０は、時間ｔ＝１における車両２１０２の位置を示している。ｔ＝１において、車両２１０２はもはや「左に行く」ことができないので、仮説１は（例えばデータストア２０１４から）取り除かれる。ＡＶが「直進する」の意図（すなわち、仮説２）に従っている場合、処理２０００は、地図情報を使用して、車両２１０２が「直進する」（「４」とラベル付けされた経路に対応）する又は「右に行く」（「５」とラベル付けされた経路に対応）ことができると判断し得る。そのため、処理２０００は、車両２１０２が分岐点２１２２に到着した後で、仮説２を、それぞれ「４」及び「５」とラベル付けされた経路に対応する仮説４及び仮説５に置き換える。
ＡＶが「右に行く」の意図（仮説３）に従っている場合、処理２０００は、地図情報を使用して、車両２１０２が分岐点２１２４に到達した後で、「左折する」（「６」とラベル付けされた経路に対応）、「直進する」（「７」とラベル付けされた経路に対応）、又は「右に行く」（「８」とラベル付けされた経路に対応）すると判断し得る。したがって、処理２０００は、仮説３を、「６」、「７」及び「８」とラベル付けされた経路にそれぞれ対応する仮説６、仮説７、及び仮説８に置き換える。
一例では、処理２０００は、車両２１０２の姿勢、速度、及び位置を含む要因に基づいて、車両２１０２に関する仮説がもはや実行可能でない（又は無視し得る尤度で実行可能である）ことを決定し得る。無視し得る尤度は、閾値尤度より低い尤度であり得る。仮説の実現可能性を決定するために、より多くの、より少ない、又は他の要因を用いることができる。一例では、閾値尤度は、１０％未満の閾値であり得る。例えば、ｔ＝ｔ１では、車両２１０２の向きは略北東であると推定され、４５ｍＰＨの推定速度で走行しているので、車両２１０２が仮説１の意図に依然として従うことができる無視し得る可能性がある。
ビュー２１３０は、時間ｔ＝２における車両２１０２の位置を示している。ｔ＝２では、車両２１０２が仮説４、５の意図に従うことがもはやできないので、仮説４、５は（例えば、データストア２０１４から）取り除かれる。仮説を取り除くことは、データストア２０１４から仮説を削除することを意味し得る。仮説を取り除くことは、その仮説が処理２０００の動作によってもはや使用されないように、その仮説を非アクティブ状態に設定することを意味し得る。仮説６、７、８は維持される。仮説を維持することは、仮説の尤度を更新することを含んでもよい。単純な例では、仮説４、５、６、７、及び８の可能性が等しい場合、仮説４、５、６、７、及び８のそれぞれの可能性は２０％であろう。仮説６、７、及び８が、仮説４及び５が除去された後も等しくあり得ると仮定すると、仮説６、７、及び８の各々は、３３％の関連する尤度を有するであろう。
再び図２０を参照すると、動作２００４において、処理２０００は、実世界オブジェクトの軌道を予測する。すなわち、処理２０００は、実世界オブジェクトの各仮説について、関連する軌道を予測する。動作２００４において、処理２０００は、実世界オブジェクトに関する仮説を決定し（例えば、データストア２０１４から読み出し又は抽出し）、各仮説に対して基準走行線を生成（又は使用）し、各基準走行線に対して予測軌道を生成し得る。図５の軌道プランナ５００のような軌道プランナの１つ以上のインスタンスを使用して、基準走行線を生成し得る。動作２００４について、図２２を参照してさらに説明する。
上述したように、実世界オブジェクトに関連する仮説は、分類を含む状態情報及び意図を含む。一例として、オブジェクトの分類に基づく運動モデルを使用して、意図に対する軌道を予測し得る。
図２２は、本開示の実装による粗走行線連結の例２２００を示す図である。例２２００は、動作２００４を示す。例２２００は、車両２２０２（すなわち、実世界オブジェクト）を示す。処理２０００は、車両２２０２について２つの仮説を（データ記憶装置２０１４等に）維持する。すなわち仮説１（すなわち、「直進」の意図に対応する仮説２２０４）と仮説２（すなわち、「右折」の意図に対応する仮説２２０６）である。
少なくともいくつかの仮説について、処理２０００は（動作２２００４において）、最初に基準走行線を決定し得る。例えば、基準走行線がなくても軌道を予測し得る場合には、仮説に対して基準走行線を決定しなくてもよい。例えば、基準走行線は、基準走行線生成器（例えば、軌道プランナ又は他の基準走行線生成器）が利用できない場合には基準走行線について決定されなくてもよい。各仮説に対する基準走行線は、例えば、仮説の意図に対応する車線の中心であり得る。そのため、基準走行線２２０８が車両２２０２の仮説１について予測され、基準走行線２２１０が車両２２０２の仮説２について予測される。
基準走行線の各々について、処理２０００は軌道（例えば、図５の軌道プランナ５００に関して説明したような滑らかな軌道）を決定（例えば、計算、予測）する。仮説に関連する状態は、その仮説に関する軌道を決定するために使用し得る。そのため、軌道２２１２は、車両２２０２が基準走行線２２０８に従うように、車両２２０２がその現在位置から基準走行線２２０８上にナビゲート（例えば、合流）されると予測される。また、軌道２２１４は、車両２２０２が基準走行線２２１０に従うように、車両２２０２がその現在位置から基準走行線２２１０上にナビゲートされると予測される。
別の例では、動作２００４は、動作２０１６によって生成された基準走行線を使用し得る。このような場合、動作２００４は、動作２０１６によって生成された基準走行線を使用して軌道を決定する。動作２０１６は、処理２０００とは別に実行される非同期処理であり得る。
再び図２０を参照すると、動作２００４において、処理２０００は、受信されたセンサ観測を実世界オブジェクトに関連付ける。処理２０００は、新しいセンサ観測を受信する。センサ観測は、例えば、複数のセンサ読み取り値から融合されたデータに対応し得る。センサ観測は、観測されたオブジェクトの位置を示し得る。処理２０００は、センサ観測が（データストア２０１４内等に）維持されている実世界オブジェクトが存在する場合、それがどのオブジェクトに対応するかを決定する。センサ観測が、維持されている実世界オブジェクトのいずれにも対応していないと決定された場合、処理２０００は、動作２０１２に関して以下にさらに説明するように、センサ観測に対応する新しい実世界オブジェクトを（例えば、データストア２０１４内に）作成し得る。
処理２０００は、各観測の周囲にゲート領域を定義すること、測定尤度行列を計算すること、及び測定関連付けに対するオブジェクト状態（言い換えれば、測定関連付けに対する仮説）を決定することを含むステップによって、受信したセンサ観測を実世界オブジェクトに関連付けることができる。動作２００４について、図２３を参照してさらに説明する。
図２３は、本開示に従って、センサ観測を実世界オブジェクトに関連付ける例２３００である。ビュー２３１０は、時間ｔ＝Ｔにおいて、処理２０００がセンサ観測２３２０、２３２２、及び２３２４を受信することを示す。観測は物理的世界の新しい測定値である。処理２０００は、動作２００４において、観測のそれぞれについて、この観測がどの実世界オブジェクトに対応するか？（すなわち、関連付けられるか）という質問への回答を試行する。上述したように、処理２０００は、各仮説について（場所を含む）将来の状態を予測する。処理２０００がセンサ観測を受信すると、処理２０００は、物理的世界から受信した観測に基づいて予測を更新する。予測は、予測状態及びセンサ観測から更新状態を算出（例えば、計算）することによって更新し得る。
以下の表Ｉは、ビュー２３１０に対応し、時間ｔ＝Ｔ（すなわち、処理２０００がセンサデータを受信する時間）において処理２０００によって維持される仮説を示す。時間ｔ＝Ｔにおいて、処理２０００は、４つの仮説、すなわち仮説１、仮説２、仮説３、仮説４を維持している。参照を容易にするために、表Ｉの仮説には順番に番号を付けてある。しかしながら、例えば、仮説２は「オブジェクト２に関する第１の仮説」であり、仮説３は「オブジェクト２に関する第２の仮説」であると読む方が正確であり得る。
Figure 0006972392
仮説１は、オブジェクト１が時間ｔ＝Ｔで位置２３１２にあるという予測を伴って、「オブジェクト１」（例えば車）の「直進」の意図に対応する。仮説２及び３は、同じオブジェクトである「オブジェクト２」（例えば自動二輪車）に対して維持される２つの仮説である。仮説２は、オブジェクト２が時間ｔ＝Ｔで位置２３１４にあるという予測を伴って、「オブジェクト２」の「直進」の意図に対応する。仮説３は、オブジェクト２が時間ｔ＝Ｔで位置２３１８にあるという予測を伴って、「オブジェクト２」の「右折」の意図に対応する。仮説４は、オブジェクト３が時間ｔ＝Ｔで位置２３１８にあるという予測を伴って、「オブジェクト３」（例えば、トラック）の「直進」の意図に対応する。
例２３００のビュー２３３０は、ゲート領域の定義を示す。図２３における煩雑さを軽減するために、ビュー２３１０及び２３３０の同じ位置にある図形要素（すなわち、位置及びセンサ観測）の番号は、ビュー２３３０では省略されている。
一例では、ゲート領域は、受信した各観測の周囲のゲート領域である。観測の周囲のゲート領域は、センサ観測の近くにある（すなわち、近接する）実世界オブジェクトに対する検索領域を定義する。より具体的には、観測の周囲のゲート領域は、実世界オブジェクトの予測位置を含む検索の領域を定義する。すなわち、観測の周囲のゲート領域は、予測位置に基づいて、実世界オブジェクト（例えば、データストア２０１４内に維持されるオブジェクト）を含み得る領域であって、観測に関連付けられ得る領域を定義する。ゲート領域は、センサ観測から離れ過ぎているためにセンサ観測と関連付けられる可能性が低いオブジェクト（又は、より具体的には、仮説）を取り除く（すなわち、除外する）ための第１の通過として使用される。
センサ観測に関連付けられるオブジェクトについては、オブジェクト（すなわち、オブジェクトの予測位置）は、センサ観測に近接していると予測される。一例では、観測の周囲のゲート領域は円であってもよい。そのため、ビューは、センサ観測２３２０を中心とするゲート領域２３３２、センサ観測２３２４を中心とするゲート領域２３３４、及びセンサ観測２３２２を中心とするゲート領域２３３６を示している。一例では、ゲート円の半径は、１０メートルであってもよい。
ビュー２３３０は、時間ｔ＝Ｔにおけるオブジェクト１及びオブジェクト３の予測位置がゲート領域２３３２によって包囲されているので、オブジェクト１及びオブジェクト３がセンサ観測２３２０に関連付けられる可能性が高いことを示している。仮説２及び３においてはオブジェクト２の予測位置がゲート領域２３３４によって包囲されているので、オブジェクト３及びオブジェクト２の仮説２及び３は、センサ観測２３２４に関連付けられる可能性が高い。また、（仮説２と仮説３における）オブジェクト２の予測位置はゲート領域２３３６によって包囲されているので、オブジェクト２（すなわち、仮説２と仮説３）もセンサ観測２３２２に関連付けられる可能性が高い。
別の例では、観測値の周囲ではなく、実世界オブジェクトの予測位置の周囲にゲート領域を描画し得る（図示せず）。予測位置の周囲のゲート領域のサイズ（例えば、半径）は、実世界オブジェクトの状態に依存し得る。例えば、ある仮説の下でのオブジェクトの状態の速度と位置（例えば、連続状態情報）を用いて半径を決定し得る。例えば、時間ｔ＝Ｔ−１（例えば、以前のセンサ観測が受信された時間）からｔ＝Ｔ（例えば、現在の時間）までの最大移動可能距離に基づいて半径を設定し得る。
動作２００６は、センサ観測と実世界オブジェクトとの間の関連付けの尤度を計算し得る。動作２００６は、可能な関連付けのための尤度値を決定し得る。尤度の計算には、実世界オブジェクトの動力学を使用し得る。例えば、速度、位置、姿勢、移動方向、ジオメトリよりも多い、少ない又はその他の動力学（例えば、オブジェクト状態情報）を使用し得る。例えば、あるオブジェクトがある仮説の下で「車」として分類され、センサ観測が、関連付けられたオブジェクトが大きなオブジェクトであることを示す（例えば、トラックを示す）場合、その観測は、そのオブジェクトに関連付けられる可能性が低い。例えば、オブジェクト状態が、所与の仮説に対して、オブジェクトが６５ｍＰＨの速度で「直進」していることを含む場合、オブジェクトの予測位置から２０メートル後方にあるセンサ観測は、所与の仮説に関連付けられる可能性が低い。
一例では、動作２００６は、測定尤度行列を計算する。表ＩＩは、測定尤度行列の例を示す。表ＩＩの値は、オブジェクトの仮説とセンサ観測との間の尤度の加重和である。例えば、（オブジェクト２の）仮説２の重みを０．７５、（オブジェクト２の）仮説３の重みを０．２５とし、さらに仮説２とセンサ観測２３２２との間の測定尤度（以下のように計算される）を０．１、仮説３とセンサ観測２３２２との間の測定尤度を０．３とすると、オブジェクト２とセンサ観測２３２２との間の測定尤度は、（０．１×０．２５）＋（０．３×０．７５）＝０．２５と計算され得る。すなわち、オブジェクト２とセンサ観測２３２２との測定尤度は（（仮説２とセンサ観測２３２２との間の測定尤度）×（仮説２の重み）＋（仮説３とセンサ観測２３２２との間の測定尤度）×（仮説３の重み））に等しい。
Figure 0006972392
上述のように、ゲート領域を使用して、５つの可能な（可能性のある）関連付けが決定された。そのため、表ＩＩは、可能性のある関連付けのそれぞれについて対応する尤度を含む。しかしながら、上述したように、実世界オブジェクトの予測又は推定された動力学に基づいて、いくつかの尤度は、計算されないか、又は０に設定され得る。
表ＩＩは、オブジェクト１がセンサ観測２３２０に関連付けられている尤度が０．６であり、オブジェクト２がセンサ観測２３２２に関連付けられている尤度が０．２５であり、オブジェクト２がセンサ観測２３２４に関連付けられている尤度が０．７であり、オブジェクト３がセンサ観測２３２０に関連付けられている尤度が０．３であり、オブジェクト３がセンサ観測２３２４に関連付けられている尤度が０．１５であることを示している。
以下にさらに説明するように、センサ観測及び予測状態（例えば、予測位置）は、ノイズのために正確でない場合がある。上述したように、予測状態には、予測位置、予測速度、予測方位等が含まれるが、説明を容易にするために、予測位置について説明する。そのため、センサ観測の位置（ｘｏ、ｙｏ）及び予測位置（ｘｐ、ｙｐ）は、それぞれガウス分布として描くことができる。センサ観測は、（ｘｏ、ｙｏ）において不確かさと平均を有するガウス分布（すなわち、観測された分布）としてモデル化され得る。センサ測定に関連する不確かさは、測定モデルとして与えることができる（例えば、それによって定義される）。センサの測定モデルは、センサから受信した測定値の特性（ノイズ等）をモデル化する。センサ観測は、（ｘｐ、ｙｐ）において不確かさと平均を有するガウス分布（すなわち、予測分布）としてモデル化され得る。２つのガウス分布を組み合わせて、予測位置が観測された位置である可能性がどれだけ高いかを決定し得る。
一例では、関連付けは、最も高い尤度に基づいて決定され得る。したがって、オブジェクト１は、センサ観測２３２０に関連付けられていると判断され（関連付け２３３８によって示される）、オブジェクト２は、センサ観測２３２４に関連付けられていると判断される（それぞれ仮説２及び仮説３に関して関連付け２３４０及び関連付け２３４２によって示される）。したがって、オブジェクト３は、いかなるセンサ観測にも関連付けられず、センサ観測２３２２は、処理２０００によって維持される実オブジェクトのいずれにも関連付けられない。
測定尤度は、式（１）を用いて計算し得る。
Figure 0006972392
式（１）において、μｘは予測分布の平均であり、σｘは予測分布の標準偏差であり、μｍは観測分布の平均であり、σｍは観測分布の標準偏差である。
再び図２０を参照すると、動作２００８において、処理２０００は、いくつかの仮説の尤度を更新する。処理２０００は、動作２００６で検出された仮説（言い換えれば、これらのオブジェクト）が受信されたセンサ観測に関連付けられる尤度を更新する。すなわち、処理２０００は、オブジェクトに関連付けられる新しいセンサ観測に基づいて、オブジェクトが仮説の意図に従う可能性が高いか低いかを決定する。
表ＩＩに関して記述された測定尤度は、動作２００８で仮説の尤度を更新するために使用し得る。すなわち、測定尤度を用いて、粒子の重みを更新し得る。前述したように、粒子の重みは、その粒子によって表される仮説の尤度に対応する。粒子の重みは、式（２）を用いて計算し得る。
Ｐ（ｐ、ｔ＝Ｔ＋ｄｔ）＝（ｔ＝Ｔ＋ｄｔにおける測定尤度）＊Ｐ（ｐ、ｔ＝Ｔ）（２）
すなわち、時間Ｔ＋ｄｔ（すなわち、新しいセンサ観測が受信された時間）における粒子ｐ（すなわち、仮説）の確率（すなわち、尤度）は、時間Ｔ＋ｄｔにおける測定尤度（すなわち、時間Ｔ＋ｄｔにおいて、センサ観測が粒子／仮説に関連付けられる尤度）と仮説の最後に計算された確率（すなわち、以前の時間ｔ＝Ｔにおける仮説の尤度）との乗算によって与えられる。
時間ｔ＝Ｔ＋ｄｔにおける各オブジェクトの仮説の計算された確率は、それらを合計して１になるように正規化し得る。例えば、２つの粒子が実世界オブジェクトに関連付けられ、２つの粒子が時間ｔ＝Ｔでそれぞれの確率０．５と０．５を有すると仮定する。さらに、式（２）を用いてｔ＝Ｔ＋ｄｔでそれぞれ０．４及び０．３となるように確率が計算されると仮定する。時間ｔ＝Ｔ＋ｄｔにおける確率が計算された後で、その確率は、それぞれ、（０．４／（０．４＋０．３））及び（０．３／（０．４＋０．３））、又は０．５７及び０．４３に正規化される。
動作２０１０において、処理２０００は、受信されたセンサ観測に関連付けられることが動作２００６において見出された仮説に関連付けられる状態を更新する。
一方、ＲＢＰＦは、粒子を維持するための処理２０００のステップのための一般的なフレームワークとして使用することができ、ＲＢＰＦは、例えば、（例えば、動作２００４において）粒子がどのように移動するか又は（例えば、動作２０１０において）粒子の状態がどのように更新されるかを指定しない。拡張カルマンフィルタ（ＥＫＦ）は、（すなわち、動作２００４における）予測と（すなわち、動作２０１０における）更新に使用し得る。
上述したように、オブジェクトの運動モデルは、意図を考慮して、オブジェクトの将来の状態を予測するために使用し得る。すなわち、例えば、運動モデルを用いて、粒子（すなわち、仮説）が時間ｔから時間ｔ＋１へどのように発展するかを予測し得る。運動モデルは、分類及び他の状態パラメータ（例えば、速度、姿勢）に応じて、オブジェクトの動力学をモデル化する。オブジェクトの位置を示す新しいセンサ測定値を（すなわち、動作２００６において）受信した場合、（すなわち、動作２０１０において）ＥＫＦを使用して、運動モデルを使用して生成された予測状態を新しい測定値と融合（例えば、組み合わせ、調和、合併、又は他のやり方で融合）し、更新された状態を生成（例えば、計算、決定、又は他のやり方で生成）し得る。
式（３）を用いて、オブジェクトの状態を更新し得る。
Figure 0006972392
式（３）において、ｘｔ’は時間ｔにおける予測状態であり、ｙｔは時間ｔにおけるセンサ観測状態であり、ｘｔ ｕは時間ｔにおける更新状態であり、Ｐｔ’は時間ｔにおける予測状態の共分散であり、Ｊｈは測定モデルのヤコビアンであり、Ｒｔは測定モデルの測定ノイズ共分散であり、Ｐｔ ｕは時間ｔにおける更新状態の共分散である。
繰り返しになるが、処理２０００は、オブジェクト（例えば、実世界オブジェクト）を追跡するためにＲＢＰＦを開始し得る。処理２０００は、データストア２０１４内の少なくともいくつかのオブジェクトの軌道を追跡しかつ予測する。したがって、処理２０００は、オブジェクトを追跡して予測するために、ＲＢＰＦの集合を実行し得る。ＲＢＰＦは、各オブジェクトの連続状態を予測し、各オブジェクトの連続状態を更新し、各粒子の重みを更新するために使用される。
図２４は、本開示の実装による戦略的速度計画を決定する例２４００である。例２４００は、動作２００８及び２０１０を示している。上述したように、オブジェクトに関連付けられる仮説に従ったオブジェクトの位置は、その仮説（言い換えれば、オブジェクト）の状態の一部である。仮説１に基づくオブジェクト１の位置２３１２は位置２４０２に更新され、仮説２に基づくオブジェクト２の位置２３１４は位置２４０４に更新され、仮説３に基づくオブジェクト２の位置２３１６は位置２４０６に更新される。
一例では、位置は観測の位置と一致するように更新される。すなわち、例えば、時間ｔ＝Ｔについて、オブジェクト１の仮説１の状態位置は、位置２３１２の代わりにセンサ観測２３２０の位置に更新される。時間ｔ＝Ｔについて、オブジェクト２の仮説２の状態位置は、位置２３１４の代わりにセンサ観測２３２４の位置に更新される。そして、時間ｔ＝Ｔについて、オブジェクト３の仮説３の状態位置は、位置２３１６の代わりにセンサ観測２３２４の位置に更新される。
一例では、位置は、予測位置におけるノイズ（例えば、不確かさ）及びセンサ測定値に関連付けられるノイズを考慮して更新される。
予測位置（例えば、位置２３１２−２３１８）は、予測された経路に基づいて計算（例えば、生成、予測、推定、又は他のやり方で計算）される。予測された経路は、オブジェクト分類に関連付けられた運動モデルを用いて生成される。そのため、何らかのノイズ（例えば、不確かさ）が、予測された経路に関連付けられてもよい。同様に、ノイズ（例えば、不確かさ）は、センサ観測と関連付けられてもよい。例えば、センサ観測では、オブジェクトが特定の位置にあることが示されるが、実際にはオブジェクトは２メートル左にあり得る。
そのため、処理２０００は、ノイズのある予測をノイズのあるセンサ観測と融合して、更新された位置を生成し得る。一例では、更新された位置は、センサ観測値と関連付けられた予測位置との中間点であってもよい。そのため、位置２４０２は、センサ観測２３２０と位置２３１２との中間にあり、位置２４０４は、センサ観測２３２４と位置２３１４との中間にあり、位置２４０６は、センサ観測２３２４と位置２３１６との中間にある。
測定尤度（表ＩＩに関して上記を参照）、姿勢、速度、位置、より少ない、より多い、又は他の状態情報を使用して、処理２０００は仮説の尤度を更新し得る。例えば、仮説１はオブジェクト１に関連付けられる唯一の仮説であるので、仮説１の尤度は同じまま（例えば、１．０）であり得る。例えば、センサ観測２３２４が、仮説２の予測状態（すなわち、位置２３１４）よりも仮説３の予測状態（すなわち、位置２３１６）に近いので、仮説３の尤度が（例えば、０．５から０．８へと）高くなり、仮説２の尤度が（例えば、０．５から０．２へと）低くなる。
再び図２０を参照すると、動作２０１２において、処理２０００は、新しいオブジェクトを作成する。例えば、上述のように、仮説（言い換えれば、オブジェクト）は、センサ観測２３２２に関連付けられない。そのため、センサ観測２３２２は、以前は処理２０００によって維持されていなかった新しいオブジェクトに対応し得る。そのため、処理２０００は、センサ観測２３２２に対応するように新しいオブジェクトを生成し得る。処理２０００は、上述のように、１つ以上の仮説を新しいオブジェクトに割り当てる（例えば、作成する）こともできる。
一例では、新しいセンサ観測は、センサ観測に基づいて新しいオブジェクトを作成する前に、特定の基準を満たす必要がある。センサ観測が基準を満たさない場合、処理２０００は、センサ観測を無視してもよく、オブジェクトは作成されない。一例では、基準は、センサ観測のサイズ（例えば、境界ボックス、ジオメトリ等）に関連し得る。例えば、各寸法が０．２５メートルのオブジェクトに対応するセンサ観測が決定された場合、そのオブジェクトは小さ過ぎると見なされ、センサ観測は無視される。このような場合、センサ観測は、センサ測定におけるノイズに起因する可能性がある。
動作２００２は、粒子を（すなわち、作成及び維持することによって）修正する。動作２００２は、粒子を追加及び／又は除去し得る。例えば、時間ｔ＝０において、動作２００２は、図２１のビュー２１１０の「左折」、「直進」及び「右折」の仮説に対応する３つの粒子を生成し得る。
上述したように、（Ｘと表記される）オブジェクトの状態は、（Ｘｄと表記される）離散状態情報と（Ｘｃと表記される）連続状態情報とに分けることができる。したがって、Ｘ＝｛Ｘｃ、Ｘｄ｝となる。上述したように、離散状態情報Ｘｄ及び連続状態情報Ｘｃの各々は、１以上の量を含んでもよい。
離散状態情報Ｘｄを用いて、オブジェクトの運動モデルを決定（例えば、選択、使用、又は他のやり方で決定）し得る。また、運動モデルは、状態遷移モデル又は処理モデルとも呼ばれ得る。運動モデルは、所定の基準を考慮して、オブジェクトがどのように移動、操縦、挙動等するかを（例えば、数学的、アルゴリズム的、又はその他のモデルとして）記述する。例えば、「右折」という意図を考慮して、「車」として分類されるオブジェクトの運動モデルは、車が旋回する前に減速することを示してもよく、「トラック」として分類されるオブジェクトの運動モデルは、トラックが減速して大きく右旋回することを示し得る。別の例として、「直進」という意図を考慮して、「車」として分類されるオブジェクトの運動モデルは、車が（連続状態情報Ｘｃに示される）その現在の速度を維持することを示し得る。運動モデルは、オブジェクト分類によって利用可能であってもよい。オブジェクト分類には走行スタイルが含まれ得る。例えば、分類には「攻撃的な運転の車」と「のんびりした運転の車」があり得る。一例では、走行スタイルを分類から分離し得る。すなわち、走行スタイルは、分類とは別個の状態変数として維持し得る。したがって、運動モデルは、複数の状態変数に基づくことができる。
離散状態値の各組合せに対して、離散状態値の組合せに関連付けられる運動モデルを使用して、連続状態を推定するために１つの粒子を生成し得る。すなわち、運動モデルは、所与の仮説について、オブジェクトの現在の状態がどのように将来の状態に変化するかを定義する（これを使用して決定し得る）。運動モデルを用いて、離散的将来時点について（例えば、次の６秒間における０．５秒ごとに）、将来状態が予測される。
動作２００４は、粒子はどこへ行くのかという質問への答えに対応する。より具体的には、動作２００４は、仮説の意図、及びその仮説に関連する現在知られている及び／又は予測状態に基づいて、その仮説の実世界オブジェクトはどこにあると予測されるか？という質問に答える。動作２００４は、上述したように、粒子の軌道を予測することによって質問に答える。維持された仮説の少なくともいくつかの各々について、動作２００４は軌道を予測する。
また、（すなわち、仮説を表現する）粒子は、動作２００６において、センサ観測と仮説との間の関連付けの尤度を決定する際に使用し得る。
また、動作２００８において粒子を使用して仮説の尤度を更新することもできる。すなわち、新しいセンサ観測を用いて粒子（つまり仮説）の尤度を更新する。動作２０１０では、処理２０００は、受信したセンサ観測時の粒子の状態（例えば、位置）を推定（例えば、計算）する。
データストア２０１４内に維持される実世界オブジェクトとセンサ観測との間の関連付けは、先験的に知られていない。センサ観測と実世界オブジェクトとの間の関連付けは、図２３−２４に関して上述したように導出される。
また、図２０は、本開示による世界モデルを使用する処理２０５０のフローチャート図を含む。図４のシステム４００に示すように、意思決定モジュール４０６及び軌道プランナ４０８は、世界モデルモジュール４０２からのデータ及び／又は決定を入力として使用する。そのため、処理２０５０は、例えば、意思決定モジュール４０６、軌道プランナ４０８、システム４００の他のモジュール、又は実世界モデルを使用する車両１００の他のモジュールからのクエリに応答して実行し得る。
クエリに応答して、動作２０５２において、処理２０５０は、データストア２０１４から実世界オブジェクトを抽出（例えば、フェッチ、取得、読み取り、又は他のやり方で抽出）する。動作２０５４において、処理２０００は、ある将来の時間範囲（例えば、６秒）までの抽出されたオブジェクトの軌道を予測（又は更新）する。動作２０５６において、処理２０５０は、実世界オブジェクト及び予測された軌道を要求モジュールに提供する。
図２５は、本開示による自律走行車による世界オブジェクト追跡及び予測のための処理２５００のフローチャート図である。世界オブジェクトは、上記の実世界オブジェクトに関連して説明したものである。処理２５００の一部又は全ての態様は、図１に示す車両１００及び図２に示す車両２０２を含む車両、又は図２に示すコントローラ装置２３２を含むコンピュータ装置で実装し得る。１つの実装では、処理２５００のいくつかの又は全ての態様は、本開示に記載される特徴のいくつか又は全てを組み合わせたシステムで実装し得る。例えば、処理２５００は、図４の世界モデルモジュール４０２によって利用し得る。
動作２５０２において、処理２５００は、ＡＶのセンサから、第１の観測データ（すなわち、第１のセンサ観測）を受信する。第１の観測データは、図２０の動作２００６に関して説明したように受信し得る。動作２５０４において、処理２５００は、第１の観測データを第１の世界オブジェクトに関連付ける。第１の観測データは、図２０の動作２００６に関して説明したように、第１の世界オブジェクトに関連付けることができる。動作２５０６において、処理２５００は、第１の世界オブジェクトに関する仮説を決定する。仮説は第１の世界オブジェクトの意図に対応する。一例では、仮説は、追加的又はその代わりに、第１の世界オブジェクトの分類に対応し得る。意図は、第１の世界オブジェクトの可能な経路に対応し得る。仮説は、例えば、図２０の動作２００２に関して説明したように決定し得る。
動作２５０８において、処理２５００は、各仮説の各仮説尤度を決定する。仮説尤度とは、第１の世界オブジェクトが意図に従う（例えば、それに従って進行する）尤度を示す。仮説尤度は、例えば、図２０の動作２００８に関して説明したように決定し得る。動作２５１０において、処理２５００は、複数の仮説のうちの少なくとも１つの仮説について、各状態を決定する。状態は、第１の世界オブジェクトの予測位置を含む。状態は、例えば、図２０の動作２０１０に関して説明したように決定し得る。
一例として、状態は、推定された現在の位置、速度、及び幾何学的形状、並びに関連する不確かさ（例えば、尤度）よりも多くの、より少ない、及び他の情報を含んでもよい。この文脈でいう「現在」の用語とは、「最後に更新された」ことを意味する。例えば、第１のオブジェクトが時間ｔ＝Ｔ０で最後に更新された場合（例えば、センサ観測が受信されたとき）、第１のオブジェクトの最新状態（例えば、位置）は時間ｔ＝Ｔ０で決定された状態であり、第１のオブジェクトの予測状態は時間ｔ＝Ｔ０＋ｄｔで開始する。時間ｔ＝Ｔ１において第２のオブジェクトが最後に更新された場合、第２のオブジェクトの最新の状態は時間ｔ＝Ｔ１において決定された状態であり、第２のオブジェクトの予測状態は時間ｔ＝Ｔ１＋ｄｔで開始する。状態は、センサ観測及び一連の予測状態に基づいて決定（例えば、更新、予測、又は他のやり方で決定）される。予測状態は、予測位置、予測速度、予測ジオメトリ、及びそれらに関連する予測不確かさ（例えば、尤度）を含んでもよい。
動作２５１２において、処理２５００は、クエリに応答して、各仮説の各仮説尤度に基づいて複数の仮説のうちの１つの仮説を提供する。処理２５００は、図２０の処理２０５０に関して説明したように仮説を提供し得る。
一例では、複数の仮説のうちの１つの仮説は、ＨＤ地図データ、知覚地図データ、又は他のタイプの地図データ等の地図情報を用いて決定し得る。
一例では、処理２５００は、ＡＶのセンサから第２の観測データを受信し、第２の観測データを第１の世界オブジェクトに関連付け、第２の観測データに基づいて状態を更新することを含んでもよい。一例として、状態の更新は、拡張カルマンフィルタリングを使用して実行し得る。
一例では、処理２５００は、第１の世界オブジェクトの運動モデルに基づいて、少なくともいくつかの仮説の各軌道を予測することを含んでもよい。一例では、仮説の各軌道を予測することは、その仮説の分類、意図、及び基準走行線よりも１つ多い、少ない、又は他の要因にさらに基づくことができる。各軌道は、図２０の動作２００４に関して上述したように予測し得る。一例では、各軌道を予測することは、例えば図２２に関して説明したように、第１の世界オブジェクトに関する基準走行線を決定することと、第１の世界オブジェクトの現在の予測経路が基準走行線と一致するように、運動モデルに基づいて、各軌道を予測することとを含んでもよい。
一例では、処理２５００は、ＡＶのセンサから第２の観測データを受信することと、第２の観測データを第１の世界オブジェクト及び第２の世界オブジェクトの１つに関連付けることとを含んでもよい。第２の観測データを第１の世界オブジェクト及び第２の世界オブジェクトのいずれかに関連付けることは、図２３に関して説明した通りである。したがって、第２の観測データを第１の世界オブジェクト及び第２の世界オブジェクトのうちの１つと関連付けることは、第２の観測データに関するゲート領域を使用して、ゲート領域内の世界オブジェクトを決定すること、及び、第１の世界オブジェクトがゲート領域内にある場合、第２の観測データが第１の世界オブジェクトに対応する関連付け尤度を決定することを含み得る。
一例では、処理２５００は、（例えば、式（２）で説明したように）関連付け尤度に基づいて各仮説の各仮説尤度を更新することと、（例えば、ＥＫＦについて述べたように）第１の世界オブジェクトの状態を更新することとをさらに含む。
一例では、処理２５００は、ＡＶのセンサから第２の観測データを受信すること、第２の観測データがある基準を満たすことを条件として、第２の観測データを第２の世界オブジェクトに関連付けること、及び、第２の観測データが基準を満たさないことを条件として、第２の観測データを無視することをさらに含む。
図２６は、本開示の実装による戦略的速度計画を決定する例２６００である。例２６００は、図２０の動作２００４の一例を示す。例２６００は、実世界オブジェクト２６０２を含む。実世界オブジェクト２６０２は、図２２の車両２２０２とし得る。実世界オブジェクト２６０２は、時間ｔ＝Ｔ０（例えば、軌道が決定される時間）における車両２２０２の位置を示す。
また、例２６００は、図２２の基準走行線２２０８等の基準走行線に沿って、基準位置２６０４等の基準位置を含む。また、例２６００は、図２２の軌道２２１２等の予測軌道に沿って、予測位置２６０６等の位置を含む。予測された軌道は、一連の予測されたオブジェクト状態と将来の時点（例えば、タイムスタンプ）での共分散から成る。予測状態は、将来の時点におけるそれぞれの予測位置を含む。例２６００では、複数の時間における４つの予測状態（位置を含む）、すなわち、時間ｔ＝Ｔ０＋Δｔにおける予測状態、時間ｔ＝Ｔ０＋２Δｔにおける予測状態、時間ｔ＝Ｔ０＋３Δｔにおける予測状態、及び時間ｔ＝Ｔ０＋４Δｔにおける予測状態（すなわち、予測位置２６０６）を示している。Δｔは時間ステップ（例えば、半秒、１秒等）を表している。予測された軌道に沿った予測位置は、異なるサイズ及び形状を有するものとして示される。サイズ及び形状は、予測状態の位置（例えば、（ｘ、ｙ）座標）共分散を示す。上述のように、予測状態は、例２６００には示されていない速度及びジオメトリを含んでもよい。
図２７は、本開示による軌道を予測するための処理２７００のフローチャートである。処理２７００は、図２０の動作２００４によって実装し得る。開始状態（すなわち、時間ｔ＝Ｔ０における実世界オブジェクト２６０２の状態）及び基準走行線（すなわち、基準走行線に沿った、基準位置２６０４等の基準位置）を使用して、処理２７００は、基準走行線に収束する図２２の軌道２２１２等の予測軌道を決定（例えば、計算、算出、又は他のやり方で決定）する。
処理２７００は、基準走行線を入力として受信する（例えば、使用する）。基準走行線は、オブジェクト（すなわち、実世界オブジェクト）の基準状態から構成され、これは指定されたタイムスタンプ（すなわち、将来の時点）におけるオブジェクトの所望の状態を示す。処理２７００は、予測のために時間長さを使用する（例えば、入力として受信する、デフォルトを使用する、あるいは他のやり方で使用する）ことができる。上述のように、予測軌道は、特定のタイムスタンプ（すなわち、将来の時点）における予測状態から成る。処理２７００は、それぞれのタイムスタンプにおける全ての予測状態が計算されるまで反復する。処理２７００の第１の反復において、開始状態は時間ｔ＝Ｔ０の状態に設定される。
動作２７０２において、処理２７００は、開始状態を考慮して基準走行線から基準状態を見つける（例えば、計算する、算出する、又は他のやり方で見つける）。
動作２７０４において、処理２７００は、開始状態及び基準状態を用いて予測状態を決定（例えば、計算、算出等）する。動作２７０４は、式（４）を用いて予測状態を決定し得る。
Figure 0006972392
式（４）において、ｘｔ ｓｔａｒｔは時間ｔにおける開始状態であり、ｘｔ ｒｅｆは時間ｔにおける基準状態であり、Δｔは予測ステップサイズであり、ｘｔ＋Δｔ’は時間ｔ＋Δｔにおける予測状態であり、Ｐｔ ｓｔａｒｔは時間ｔにおける開始状態の共分散であり、Ｊｆは軌道が予測されているオブジェクトの運動モデルのヤコビアンであり、Ｑｔは運動モデルノイズ共分散であり、Ｐｔ＋Δｔ’はｔ＋Δｔにおける予測状態の共分散である。
動作２７０６において、処理２７００は、予測長さが満たされているかどうかを決定する。すなわち、処理２７００は、全ての所望の将来の時点に対するそれぞれの予測状態が計算されたか否かを決定する。もしそうであれば、処理２７００は２７０８で終了する。さもなければ動作２７１０に進む。動作２７１０では、処理２７００は、動作２７０４で開始状態を予測状態に設定する。次に、処理２７００は、動作２７０２に進み、次の状態を予測する。
図２８は、本開示による自律走行の軌道を予測するための処理２８００のフローチャートである。処理２８００は、図１に示す車両１００又は図２に示す車両２０２のような自律走行車（ＡＶ）内で、又はＡＶによって実装し得る。ＡＶは、半自律走行車であってもよいし、自律走行を実行する他の車両であってもよい。ＡＶは、車両交通ネットワークの一部を横断するように構成される。処理２８００は、図５の軌道プランナ５００のような軌道プランナによって実施し得る。処理２８００は、第１の位置から第２の位置までの粗走行線を決定し、粗走行線のための戦略的速度計画を決定し、粗走行線における横方向の不連続性を除去して調整された粗走行線を生成し、調整された粗走行線の周りの横方向制約を生成し、観測されたオブジェクトに基づいて離散時間速度計画を生成する。その後、ＡＶは、離散時間速度計画に従って動作し得る。一実施形態では、ＡＶは、図５の軌道最適化層５０８に関して説明したような最適化された軌道に従って動作し得る。
動作２８０２において、処理２８００は、第１の位置から第２の位置までの粗走行線を決定する。第１の位置及び第２の位置は、図５の走行目標５０１に関して説明した位置であり得る。粗走行線は、図５の走行線連結モジュール５２２のような走行線連結モジュールによって決定される粗走行線とし得る。そのため、粗走行線は、図５の走行線連結モジュール５２２に関して説明したように決定し得る。粗走行線は速度情報を含まなくてもよい。しかしながら、いくつかの例では、粗走行線は速度制限情報を含み得る。粗走行線は不連続性を含み得る。
１つの実装では、粗走行線を決定することは、図５の走行線連結モジュール５２２に関して説明したように、縦方向に沿って（例えば、自律走行車の経路に沿って）粗走行線を決定するために、走行線データ層５０２等からの入力データを接合（例えば、連結、融合、合併、接続、統合、又は他の接合）することを含み得る。例えば、位置Ａ（例えば、職場）から位置Ｄ（例えば、自宅）に移動するように、粗走行線を決定するために、走行線連結モジュール５２２は、駐車場データ５１８からの入力データを使用して、職場駐車場から幹線道路への経路を決定し、ＨＤ地図データ５１０からのデータを使用して、幹線道路から自宅までの経路を決定し、記録された経路データ５１４からのデータを使用して、幹線道路から自宅のガレージにナビゲートし得る。
１つの実装では、粗走行線を決定することは、図５の戦略的速度計画モジュール５２４に関して説明したように、第１の位置から第２の位置までの第１のセグメントに関する第１のデータと、第１の位置から第２の位置までの第２のセグメントに関する第２のデータとを含む走行線データを取得し、第１のデータと第２のデータとを連結することを含み得る。一例として、第１のデータは、図５のＨＤ地図データ５１０に関して説明したようなＨＤ地図データとし得る。一例として、第２のデータは、図５の経路データ５１４に関して説明したように、記録された経路データとし得る。一例として、第１のデータ又は第２のデータは、図５のＨＤ地図データ５１０に関して説明したようなＨＤ地図データと、図５の遠隔操作地図データ５１２に関して説明したような遠隔操作データとを含み得る。いくつかの例では、第１のデータ及び／又は第２のデータは、ＨＤ地図データ５１０、遠隔操作地図データ５１２、記録経路データ５１４、先行車両データ５１６、駐車場データ５１８、及び知覚経路データ５２０の任意の組み合わせを含み得る。
動作２８０４において、処理２８００は、粗走行線のための戦略的速度計画を決定する。戦略的速度計画は、図５の戦略的速度計画モジュール５２４のような戦略的速度計画モジュールによって決定される戦略的速度計画とし得る。そのため、戦略的速度計画モジュール５２４は、粗走行線の異なる部分に沿った（複数の）特定の速度を決定する。
一例では、戦略的速度計画を決定することは、図７に関して説明したように、速度制限及び加速制限を使用して、戦略的速度計画を決定することを含み得る。速度制限は、（図７の路上速度限界７０２に関して説明したような）道路速度制限、（図７の曲率速度制限７０４に関して説明したような）曲率速度制限、及び（図７のＳＡＭデータ７０６に関して説明したような）シームレスオートノマスモビリティデータのうちの少なくとも１つを含み得る。上述したように、シームレスオートノマスモビリティデータは、他の車両から収集されたデータであってもよい。一例として、シームレスオートノマスモビリティデータをネットワーク化されたサーバからＡＶで受信し得る。一例では、加速制限は、（図７の車両加速度限界７１０に関して説明したような）車両加速制限及び（図７の快適性限界７１２に関して説明したような）快適性限界の少なくとも１つを含み得る。
動作２８０６において、処理２８００は、調整された粗走行線を生成するために、戦略的速度計画に基づいて粗走行線における横方向の不連続性を除去する。粗走行線は、（例えば、粗走行線と呼ばれる）２つ以上のセグメントを含み得る。処理２８００は、粗走行線を合成して、粗走行線における横方向の不連続性を除去する。すなわち、処理２８００は、戦略的速度計画及び目標横方向速度に基づいて、粗走行線における横方向の不連続性を連結する粗走行線を合成し得る。横方向に不連続性を有する粗走行線及び戦略的速度プロファイルを考慮して、動作２８０６は、車線変更の開始位置及び終了位置を決定し、２つの位置を接続する走行線を合成する。走行線は、図５の走行線合成モジュール５２６のような走行線合成モジュールによって合成し得る。そのため、粗走行線における横方向の不連続性を除去することは、第１の車線から第２の車線に合流する走行線を合成することを含み得る。したがって、横方向の不連続性を除去することは、第１の車線から第２の車線に合流するための合流速度計画を決定することを含み得る。
動作２８０８では、処理２８００は、観測されたオブジェクトに基づいて、調整された粗走行線の周りの横方向制約と離散時間速度計画とを生成する。生成した離散時間速度計画は、無衝突離散時間速度計画である。すなわち、生成された離散時間速度計画は、ＡＶが観測されたオブジェクトとの（例えば、停止、譲ること、減速、加速等による）衝突を回避するように動作し得るようなものである。処理２８００は、図５のオブジェクト回避層５０６に関して説明したように、横方向制約及び離散時間速度計画を生成し得る。そのため、一例として、横方向制約を生成することは、図５のモジュール５３０に関して説明したように、静的オブジェクトに基づいて走行可能領域の境界を決定することを含み得る。一例として、離散時間速度計画を生成することは、図５のモジュール５３２及び図８の動作８３０に関して説明したように、動的オブジェクトの分類に基づいて縦方向制約を適用することを含み得る。
図２９は、本開示の実装による自律走行シミュレーションのための時間伸縮法のためのシステム２９００の一例である。システム２９００は、記録ＡＶ２９０２及びシミュレーションＡＶ２９０４を含む。一例では、記録ＡＶは、実世界で走行する自律走行車であってもよい。
記録ＡＶ２９０２が走行している間、記録モジュール２９０６は、その走行に関するデータ（すなわち、記録走行データ２９０８）を記録する。一例として、オペレータは、記録モジュール２９０６によって、記録走行データの記録を開始及び停止させることができる。しかしながら、記録走行データ２９０８の記録を開始及び停止するための他の手段も利用可能であり得る。例えば、記録モジュール２９０６は、記録ＡＶが所定の開始位置にあるときに記録を開始し、記録ＡＶが所定の停止位置にあるときに記録を停止し得る。
記録走行データ２９０８は、記録ＡＶ２９０２のメモリ、例えば図１のメモリ１２２に格納し得る。記録走行データ２９０８は、記録されている場合に、走行が完了した後の断続的な時間に、クラウドベースの場所のようなネットワークベースの場所に送信し得る。記録走行データ２９０８の記憶場所に関係なく、記録走行データ２９０８をシミュレーションＡＶ２９０４に利用可能にし得る。いくつかの例では、シミュレーションデータ２９１０は、記録走行データ２９０８のサブセットであってもよく、自律走行をシミュレーションするためにシミュレーションＡＶ２９０４によって使用し得る。
一例として、記録ＡＶ２９０２は、図１の車両１００又は図２の車両２０２であり得る。記録ＡＶ２９０２は、本明細書に記載されるように構成し得る。すなわち、例えば、記録ＡＶ２９０２は、図４のシステム４００に関して説明した１つ以上のコンポーネントを含み得る。例えば、記録ＡＶ２９０２は、軌道プランナ（例えば図４の軌道プランナ４０８）、世界モデルモジュール（例えば図４の世界モデルモジュール４０２）、意思決定モジュール（例えば図４の意思決定モジュール４０６）、経路プランナ（例えば図４の経路計画モジュール４０４）、反応軌道制御モジュール（例えば図４の反応軌道制御モジュール４１０）、より少ない、より多い、又は他のモジュールを含み得る。例えば、記録ＡＶ２９０２は、（図８に関して説明したような）走行可能領域及び離散時間速度計画を決定するための処理、（図１３に関して説明したような）静的境界を決定するための処理、（図１８に関して説明したような）オブジェクト回避のための処理、（図２０に関して説明したような）世界モデル化のための処理、（図２５に関して説明したような）世界オブジェクト追跡及び予測のための処理、並びに（図２６に関して説明したような）軌道を予測するための処理等、本明細書に記載される処理のより多く、より少なく、又は他の処理を実行し得る。しかしながら、必ずしもその必要はない。すなわち、記録ＡＶ２９０２は、本明細書に記載されるように構成される必要はない。
一例では、シミュレーションＡＶ２９０４は、図４のシステム４００に関して説明した１つ以上のコンポーネントを含み得る。例えば、シミュレーションＡＶ２９０４は、軌道プランナ（例えば図４の軌道プランナ４０８）、世界モデルモジュール（例えば図４の世界モデルモジュール４０２）、意思決定モジュール（例えば図４の意思決定モジュール４０６）、経路プランナ（例えば図４の経路計画モジュール４０４）、反応軌道制御モジュール（例えば図４の反応軌道制御モジュール４１０）、より少ない、より多い、又は他のモジュールを含み得る。例えば、シミュレーションＡＶ２９０４は、（図８に関して説明したような）走行可能領域及び離散時間速度計画を決定するための処理、（図１３に関して説明したような）静的境界を決定するための処理、（図１８に関して説明したような）オブジェクト回避のための処理、（図２０に関して説明したような）世界モデル化のための処理、（図２５に関して説明したような）世界オブジェクト追跡及び予測のための処理、並びに（図２６に関して説明したような）軌道を予測するための処理等、本明細書に記載される処理のより多く、より少なく、又は他の処理を実行し得る。シミュレーションＡＶ２９０４のコンポーネント及び／又はモジュールは、記録ＡＶ２９０２のコンポーネント及び／又はモジュールと同じである必要はない。例えば、他のモジュール、コンポーネント、及び／又は処理についても同様であるが、記録ＡＶ２９０２は、第１の意思決定モジュールを含むことができ、シミュレーションＡＶは、第２の意思決定モジュールを含み得るが、第１の意思決定モジュール及び第２の意思決定モジュールの実装、アルゴリズム、決定のタイプ、より多くの、より少ない、又は他の側面は異なり得る。
図３０は、本開示の実施形態による記録走行データ３０００の一例である。上述したように、記録ＡＶからの記録走行データ（又はそのサブセット）は、自律走行のシミュレーションにおいて、シミュレーションＡＶによって使用し得る。記録走行データ３０００は、図２９の記録走行データ２９０８とし得る。したがって、記録走行データ３０００は、図２９の記録モジュール２９０６のような記録モジュールによって記録し得る。説明を容易にするために、記録走行データ３０００は、表形式で示されている。しかしながら、記録走行データ３０００は、任意の他の適切なフォーマットで補足（例えば、保存、編成等）し得る。記録走行データ３０００は、記録エントリ３００２Ａ−Ｅ等のデータエントリ（以下に詳細に説明する）を含む。
一例として、記録された各エントリは、記録されたエントリの時間３００４、記録されたエントリのタイプ３００６、記録されたエントリが記録された時間３００８における記録ＡＶの位置３００４、時間３００４で記録ＡＶによって維持されるオブジェクト３０１０、１つ以上の画像３０１２、及び他のデータ３０１４を含み得る。
時間３００４は、記録走行データの記録開始時間からの相対時間であってもよい。記録状態時間は、記録されている走行の開始時間又は記録が開始された（例えば、起動された）時間であってもよい。そのため、時間３００４の値の例は、「記録開始から１０秒後」、「記録開始から２０秒後」等を含む。時間３００４は、絶対時間（例えば、時刻）であり得る。時間３００４は、サンプリング数（例えば、シーケンス番号）とし得る。例えば、第１の記録データエントリの時間は１の時間を有することができ、第２の記録データエントリの時間は２の時間を有することができ、以下同様である。
タイプ３００６は、データエントリのタイプを示す。一例として、記録走行データ３０００は、異なるタイプのエントリを含み得る。例えば、エントリ３００２Ａ及び３００４Ｃ等の「位置（ＰＯＳＩＴＩＯＮ）」エントリは、所定のサンプリングレートに従って記録されるデータエントリである。例えば、サンプリングレートは、１エントリが１０ミリ秒ごとに記録され、１エントリが２０ミリ秒ごとに記録され、１エントリが１秒ごとに記録されるものであり得る。その他のサンプリングレートも利用可能である。記録走行データ３０００は、興味深いと見なされてもよく、したがって記録を保証し得るイベントを記録するエントリを含み得る。例えば、「オペレータ（ＯＰＥＲＡＴＯＲ）」タイプのエントリに対応するエントリ３００２Ｄは、時間ｔ １７．３において、オペレータが、記録ＡＶの意思決定（例えば、所定の速度で前進する決定）を、他のデータ３０１４における「減速（ＳＬＯＷ）」に示されるように、ブレーキを押すことによってオーバーライドしたことを記録している。「観測（ＯＢＳＥＲＶＡＴＩＯＮ）」タイプのエントリに対応するエントリ３００２は、記録ＡＶが時間ｔ１１．１で新しいセンサ観測を受信したことを示す。新しいセンサ観測は、図２５の２５０２、２５０４、又はこれらの組み合わせに関して説明したように、ＡＶによって受信し得る。エントリ３００２Ｅは、（すなわち、記録ＡＶの意思決定アルゴリズムによって決定され、記録ＡＶによって実行される）決定に対応し、記録ＡＶが時間ｔ１１．８で「右車線に変更（した）」ことを示す。
位置３００８は、データエントリのそれぞれの時間、時間３００４における記録ＡＶのＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎ Ｌｏｃａｔｉｏｎ）であり得る。位置３００８は、記録ＡＶの縦方向及び横方向の位置のうちの少なくとも一方が位置３００８から決定され得るようなデータであり得るか、又はそれを含み得る。
オブジェクト３０１０は、図４の世界モデルモジュール４０２に関して記述されたオブジェクトのリストであってもよいし、そのリストを含んでもよい。すなわち、オブジェクト３０１０は、記録されたデータエントリの時間３００４において世界モデルモジュール４０２によって維持されるオブジェクトのリストを含み得る。画像３０１２は、記録されたデータ入力の時間３００４における記録ＡＶの感知領域の１つ以上の画像を含み得る。他のデータ３０１４は、記録走行データ３０００のデータエントリの少なくとも一部について、他のエントリタイプ固有の有用な情報を含み得る。
一例として、記録走行データは、時間３００４、位置３００８、オブジェクト３０１０、及び画像３０１２を含み得る。別の例では、記録走行データは、時間３００４、位置３００８、及びオブジェクト３０１０を含み得る。さらに別の例では、記録走行データは、時間３００４、位置３００８、及び画像３０１２を含み得る。
上述したように、記録走行データ３０００には、記録ＡＶが路上を走行するときの記録ＡＶの感知データ、移動データ、意思決定データが含まれる。感知データは、オブジェクト３０１０、画像３０１２、又はそれらの組み合わせに関して説明したようなオブジェクト及び／又は生のセンサ観測に対応する。移動データは、位置３００８に関して説明したような記録ＡＶの経時的な位置情報のシーケンスに対応する。意思決定データは、例えば、上述したように、「決定（ＤＥＣＩＳＩＯＮ）」タイプのエントリに対応する。
１つの実装では、観測タイプのデータエントリを使用して、シミュレーションＡＶに影響を与えることができる。位置タイプのデータ入力を使用して、（後述するように）記録走行データの再生速度を調整する（すなわち、速度を上下させて調節する）ことができる。また、決定タイプのデータエントリはシミュレーションＡＶによって使用されない。
図３１は、本開示の実装によるシミュレーションデータ３１００の一例である。シミュレーションデータ３１００は、図２９のシミュレーションデータ２９１０とし得る。シミュレーションデータ３１００は、自律走行シミュレーションを実行するのに有用な、図３０の記録走行データ３０００のような記録走行データのサブセットに対応する。一例として、シミュレーションデータ３１００は、記録走行データ３０００から抽出し得る。すなわち、例えば、シミュレーションデータ３１００は、記録走行データ３０００とは別のデータ構造、別のデータ記憶場所等、又はそれらの組み合わせに抽出され得る。別の例では、シミュレーションデータ３１００は、記録走行データ３０００の場所（例えば、論理ビュー）でフィルタリングし得る。
シミュレーションＡＶの意思決定アルゴリズムをテストする場合、意思決定に関する記録走行データにおけるデータエントリは、シミュレーションデータ３１００に含まれない。意思決定に関するデータは、若しあれば、シミュレーション中にシミュレーションＡＶによって生成されるデータであるため含まれない。同様に、オペレータの介入に関するデータもシミュレーションデータ３１００に含まれない。シミュレーションデータ３１００は、移動データ（すなわち、記録ＡＶの位置）及び感知データ（すなわち、図３０に関して説明したようなオブジェクト及び／又は画像）を含む。
感知データ及び移動データは、シミュレーションＡＶによって使用される。シミュレーションＡＶは、感知データと移動データとに基づいて（例えば、意思決定アルゴリズム又はモジュールを使用して）意思決定を行う。意思決定アルゴリズムは、現在感知されているもの（例えば、現在感知されかつ識別されたオブジェクト）に基づいて、次の又は将来のステップ（例えば、操縦、加速、減速、停止等）を決定する。例えば、上述したように、感知データを使用して、感知範囲内の識別されたオブジェクトのうちの少なくともいくつかについての仮説を作成及び維持し、したがって、軌道を決定（例えば、計算）し得る。そのため、移動データと感知データは、シミュレーションＡＶの意思決定アルゴリズムによる意思決定のための不可分データと見なされ得る。
記録ＡＶ（より具体的には、記録されたＡＣのセンサ）は、センサの視線を用いて他の道路ユーザを感知する。視線は、記録ＡＶの位置によって決定（例えば、制約、定義、限定）される。シミュレーションＡＶが記録ＡＶの感知データ（例えば、記録走行データのエントリ）を使用するためには、シミュレーション中のシミュレーションＡＶの位置は、感知データがシミュレーションＡＶの感知範囲内にあるように感知データの時間に記録ＡＶの位置と同期していなければならない。感知データがシミュレーションＡＶの感知範囲内にない場合、シミュレーションＡＶの環境の不完全なデータ及び／又は不正確なビューを使用して、シミュレーションＡＶの意思決定アルゴリズムの１つ以上の決定が行われ得る。すなわち、シミュレーションＡＶの世界ビュー（例えば、他の道路ユーザの実際の集合）は、不完全であり得る。これは、記録走行データをシミュレーションに使用する目的が、記録ＡＶと同じ条件下でシミュレーションＡＶの決定をテスト（例えば、観測）することであるため、望ましくない。
図３１を参照すると、シミュレーションデータ３１００がタイムライン３１０２上に示されている。タイムライン３１０２は、楕円３１０４及び３１０６を含み、シミュレーションデータ３１００が、図示されたものよりも前及び／又は後の時間の追加のシミュレーションデータを含み得ることを示す。シミュレーションデータ３１０８のような各シミュレーションデータは、参照を容易にするために番号付きのボックスで示されている。各シミュレーションデータは、感知及び移動情報を含む。シミュレーションデータ３１００は、図３０の記録走行データ３０００であってもよく、又はそれから導出されてもよいので、シミュレーションデータ３１００は、記録走行データ３０００と同じサンプリングレートを有し得る。タイムライン３１０２は、Δｔ時間単位離れている２つの時点の間ごとに５つのシミュレーションデータ点が利用可能であることを示す。しかしながら、サンプリングレートは任意のサンプリングレートであり得る
図３２は、記録ＡＶの位置３２００及び時間ＴにおけるシミュレーションＡＶの位置の例を示す。位置３２００は、例３２１０、例３２２０及び例３２３０を含む。例３２１０、３２２０、３２３０の各々は、図２９の記録ＡＶ２９０２等の記録ＡＶ３２１４と、図２９のシミュレーションＡＶ２９０４等のシミュレーションＡＶ３２１６とを含む。矢印３２０２は、記録ＡＶ２９０２及びシミュレーションＡＶ２９０４の想定される進行方向を示す。
実施例３２１０、３２２０、３２３０は、記録ＡＶ３２１４の感知範囲３２１２に対するシミュレーションＡＶ３２１６の位置を示す。感知範囲３２１２は、記録ＡＶ３２１４のセンサの視野に対応する。感知範囲３２１２は、記録ＡＶの視点（例えば、全てのセンサの中心と見なすことができる点）に対して測定し得る。一例では、視野は、記録ＡＶの長手方向（例えば、前方及び後方）のそれぞれにおいて５０−１００メートルの範囲、及び記録ＡＶの横方向（例えば、右側と左側）のそれぞれにおいて１０−５０メートルの範囲とし得る。また、例３２１０、３２２０、３２３０のそれぞれは、記録ＡＶ３２１４のセンサ範囲内にある他の道路ユーザ３２１８も含む。
図３０−３１で説明したように、記録ＡＶ３２１４からの記録走行データのサブセットとなり得るシミュレーションデータがシミュレーションＡＶ３２１６によって使用されるので、シミュレーションＡＶ３２１６の感知範囲は、記録ＡＶ３２１４の感知範囲と一致すると想定される。
理想状況と見なされ得る例３２１２は、シミュレーションＡＶ３２１６が記録ＡＶ３２１４の感知範囲３２１２内に留まる状況を示す。このため、時間ＴにおけるシミュレーションＡＶ３２１６と記録ＡＶとの位置のずれは生じない（又は、少なくとも大きなずれは生じない）。
図３１のシミュレーションデータ３１００のようなシミュレーションデータは、意思決定を行って、軌道を計画するために、シミュレーションＡＶ３２１６によって使用される。シミュレーションデータのサンプリングレートに対応するサンプリング時間において、それぞれのシミュレーションデータが、本明細書に記載される意思決定アルゴリズム及び／又は他のモジュールに提供される（言い換えれば、アクセス又は取得される）。
例３２１２では、記録ＡＶ３２１４とシミュレーションＡＶ３２１６とは、記録ＡＶの感知範囲３２１２内に同位置に配置されたままである。そのため、シミュレーションデータ（例えば、図３１のシミュレーションデータ３１００）の各シミュレーションデータは、シミュレーションＡＶ３２１６にとって「合理的」と言える。これは、記録ＡＶ３２１４とシミュレーションＡＶ３２１６が同じ他の世界オブジェクト（他の道路ユーザ３２１８等）を「見る」ことができ、かつシミュレーションＡＶ３２１６の意思決定アルゴリズムがそれに応じて決定を行うことができるためである。例えば、記録ＡＶが対向車（図３の対向車３０２等）を検出した場合、その対向車（又はその表現）が記録走行データに記録される。そして、シミュレーションデータを介して、対向車はシミュレーションＡＶに対して可視である。したがって、シミュレーションＡＶは、シミュレーションＡＶ３２１６の意思決定、軌道計画、及び／又は他の処理及びモジュールに従って、対向車両の表現と（仮想的に）相互作用し得る。
例３２２０及び３２３０は、記録ＡＶ３２１４及びシミュレーションＡＶ３２１６の位置がずれた状況を示す。実施例３２２０及び３２３０は、自律走行シミュレーションのための時間伸縮法が適用されない状況を示す。
例３２２０及び３２３０は、記録ＡＶ３２１４及びシミュレーションＡＶ３２１６の位置が、本開示の実装に従って同期されない状況を示す。すなわち、例３２２０及び３２３０では、シミュレーションデータは、記録走行データが記録ＡＶ３２１４によって捕捉されたのと同じ時間ステップでシミュレーションＡＶ３２１６に提示される。すなわち、例えば、記録ＡＶとシミュレーションＡＶの位置がずれたか否かに関係なく、記録された走行の２つの時点の間（例えば、図３１の（ｔ＋２Δｔ）と（ｔ＋３Δｔ）との間）に記録された同じ記録データ点（例えば、図３１のシミュレーションデータ１１−１５）が、シミュレーションの同じ２つの時点の間のシミュレーションＡＶによって使用される。
例３２２０では、時間ＴにおいてシミュレーションＡＶ３２１６が記録ＡＶ３２１４よりも遅れている場合を示している。「遅れている」とは、時間Ｔにおいて、記録走行データによれば、記録ＡＶ３２１４の（例えば、縦方向で走行軌道に沿った）位置がシミュレーションの時間ＴにおいてシミュレーションＡＶ３２１６の位置よりも進んでいることを意味する。ずれは、１つ又は複数の上述した理由又は他の理由に起因し得る。なお、時間Ｔにおけるシミュレーションデータには、他の道路ユーザ３２１８が含まれている。
時間Ｔにおいて、他の道路ユーザ３２１８が（その位置を考慮すると）シミュレーションＡＶ３２１６の感知範囲外にあるので、シミュレーションＡＶ３２１６の処理又はモジュールは、他の道路ユーザ３２１８を「見る」ことはない。例えば、他の道路ユーザ３２１８は、図４の世界モデルモジュール４０２のようなシミュレーションＡＶ３２１６の世界モデルモジュール内に維持されなくてもよい。
さらに例３２２０を参照する。説明を簡単にするために、他の道路ユーザ３２１８が静止していると仮定し、さらに、Ｔより後の時間Ｔ’において、記録ＡＶ３２１４の位置は、記録ＡＶ３２１４がもはや他の道路ユーザ３２１８を見ない（すなわち、感知しない）ようなものであると仮定する。そのため、時間Ｔ’において、記録ＡＶ３２１４の世界モデルは、他の道路ユーザ３２１８を含まないので、時間Ｔ’における記録されたデータは、他の道路ユーザ３２１８を含まない。さらに、時間Ｔ’において、シミュレーションＡＶ３２１６の位置は、例３２３０に示される感知範囲３２１２内にあると仮定する。このため、時間Ｔ’において、シミュレーションＡＶ３２１６は、他の道路ユーザ３２１８を「見る」べきであるにもかかわらず、シミュレーションＡＶ３２１６は、他の道路ユーザ３２１８を含まない（時間Ｔ’における記録されたデータに対応する）シミュレーションデータを受信する。そのため、シミュレーションＡＶ３２１６は、他の道路ユーザ３２１８を考慮して決定を行うべきであるが、シミュレーションＡＶ３２１６は、あたかもシミュレーションＡＶ３２１６が（すなわち、他の道路ユーザ３２１８が存在しないので）無人の世界を横断しているかのように決定を行う。
そのため、例３２２０に関して上述したような「遅れている場合」では、記録ＡＶ３２１４からのセンサメッセージ（例えば、シミュレーションデータ）は、シミュレーションＡＶ３２１６が応答するにはあまりにも先に受信されると言える。
例３２３０は、シミュレーションＡＶ３２１６が記録ＡＶ３２１４に先行する場合を示しており、これは、時間Ｔにおいて、記録走行データによれば、記録ＡＶ３２１４の（縦方向で走行軌道に沿った）位置がシミュレーションの時間ＴにおけるシミュレーションＡＶ３２１６の位置よりも後方にあることを意味している。時間Ｔにおけるシミュレーションデータは、他の道路ユーザ３２１８を含む。
さらに例３２３０を参照する。時間Ｔより前の時間Ｔ”において、シミュレーションＡＶ３２１６が感知範囲３２１２内にあり、記録ＡＶが遅れていると仮定する。時間Ｔ”におけるシミュレーションＡＶの位置は破線のシミュレーションＡＶ３２１６’で示され、時間Ｔ”における記録ＡＶの位置は破線の記録ＡＶ３２１４’で示される。他の道路ユーザ３２１８が破線の記録ＡＶ３２１４’の感知範囲外であるため、時間Ｔ”に対応する記録走行データは他の道路ユーザ３２１８を含まない。そのため、時間Ｔ”におけるシミュレーションＡＶは、実際にそうすべきときに、他の道路ユーザ３２１８を受信しない。そのため、シミュレーションＡＶ３２１６’は、他の道路ユーザ３２１８を考慮して意思決定を行うべきであるが、シミュレーションＡＶ３２１６’は、あたかもシミュレーションＡＶ３２１６が無人の世界を横断しているかのように意思決定を行う。
したがって、例３２３０に関して上述したような「先行する場合」では、記録ＡＶ３２１４からのセンサメッセージ（例えば、シミュレーションデータ）は、シミュレーションＡＶ３２１６が（この場合、他の道路ユーザ３２１８の存在に対して）応答するにはあまりにも遅く受信されると言える。
さらに、時間Ｔにおいて、実際にシミュレーションＡＶ３２１６が無人の世界を横断している場合、シミュレーションＡＶ３２１６は、他の道路ユーザ３２１８が時間Ｔに対応する記録走行データに含まれているので、他の道路ユーザ３２１８を含むシミュレーションデータを受信する。そのため、シミュレーションＡＶ３２１６は、実際には他の道路ユーザ３２１８がそうでないときに、あたかも他の道路ユーザ３２１８がシミュレーションＡＶのセンサ範囲内にあるかのように決定し得る。
例３２２０及び３２３０に関して説明したような、自律走行のシミュレーションにおいて記録走行データを使用することに関連する問題を克服するために、本開示による実装は、シミュレーションＡＶによる自律走行シミュレーションのために、記録ＡＶから受信した記録走行データのサブセットであり得るシミュレーションデータを時間伸縮させる。この問題は、（記録走行データにおいて捕捉された）記録ＡＶの位置及び（シミュレーションＡＶの意思決定アルゴリズムによって決定された）シミュレーションＡＶの位置のずれに起因し得る。
シミュレーションデータの時間伸縮法は、必要に応じて、シミュレーションＡＶの位置が、記録走行データに捕捉された記録ＡＶの位置を、記録ＡＶと実質的に同じ他の道路ユーザを感知（例えば、観測及び反応）することに対して一致するように、シミュレーションデータの速度を連続的に変化させることによって達成し得る。すなわち、シミュレーションデータの再生速度を変化させることによって、シミュレーションＡＶは、他の道路ユーザの位置及びシミュレーションＡＶの位置と一致する他の道路ユーザに関するデータを受信する。
シミュレーションデータの時間伸縮法は、以下のように要約し得る。
シミュレーションＡＶと記録ＡＶとが実質的に同じ位置にある場合、シミュレーションデータの再生速度は維持される。例えば、シミュレーションＡＶが記録ＡＶのセンサ範囲内にある場合、再生速度は維持される。例えば、シミュレーションＡＶが記録ＡＶの閾値距離内にある場合、再生速度は維持される。
例３２２０に関して説明したように、シミュレーションＡＶが記録ＡＶに遅れる場合、シミュレーションＡＶが処理する（例えば、「見て」反応する）には、他の道路ユーザに関する感知データを受信するのが遅すぎないように、シミュレーションデータの再生速度が遅くなる。別の言い方をすれば、シミュレーションデータの再生が遅くなり、それによってシミュレーションＡＶが追いつくことが可能になる。一例として、シミュレーションＡＶと記録ＡＶとの間の距離が閾値距離を超え、かつシミュレーションＡＶが記録ＡＶの（位置的に）後方にあるか否かに基づいて、シミュレーションＡＶが記録ＡＶに遅れているか否かを決定し得る。
例３２３０に関して説明したように、シミュレーションＡＶが記録ＡＶに先行している場合、シミュレーションＡＶが処理する（例えば、「見て」反応する）には、他の道路ユーザに関する感知データを受信するのが早すぎないように、シミュレーションデータの再生速度が高速化される。換言すれば、シミュレーションデータの再生が高速化され、それによって記録ＡＶが追いつくことが可能になる。一例として、シミュレーションＡＶと記録ＡＶとの間の距離が閾値距離を超え、かつシミュレーションＡＶが記録ＡＶの（位置的に）前方にあるか否かに基づいて、シミュレーションＡＶが記録ＡＶに先行しているか否かを決定し得る。
時間Ｔにおいて、シミュレーションＡＶが記録ＡＶのセンサ範囲内にあるかどうかは、シミュレーションＡＶの処理及びモジュール（例えば、軌道プランナ、意思決定モジュール等）の少なくとも１つによって決定される、記録ＡＶの時間Ｔにおける位置（シミュレーションデータにおいて利用可能である）、記録ＡＶのセンサ範囲の境界、及びシミュレーションＡＶの時間Ｔにおける位置を使用して決定し得る。
時間Ｔ’において、シミュレーションＡＶが記録ＡＶの閾値距離内にあるか否かは、記録ＡＶの時間Ｔ’における位置と、シミュレーションＡＶの時間Ｔ’における位置とを用いて決定し得る。閾値距離は、１メートル、２メートル、１０メートル、より長い距離、又はより短い距離であり得る。一例として、閾値距離は、記録ＡＶの感知範囲に関連させることができる。例えば、感知範囲が縦方向にＸメートル延びている場合、閾値距離は、Ｘより大きい値、又はＸに関連する何らかの他の値（例えば、０．７５×Ｘ）とし得る。感知範囲は、記録ＡＶで利用可能なセンサ（図１のセンサ１２６等）の能力に関連している。一例として、センサ範囲は、長手方向のそれぞれに１００メートル（例えば、記録ＡＶの前方１００ｍ、及び後方１００ｍ）延びることができる。しかしながら、上述したように、センサ能力によっては他の値も可能である。
図３３は、本開示の実装による自律走行をシミュレーションするための処理３３００のフローチャート図である。自律走行は、シミュレーションＡＶによってシミュレーションされる。１つの実装では、シミュレーションＡＶは、図４に関して説明したモジュールのうちの１つ以上を含むように構成し得る。シミュレーションＡＶが軌道を計画するモジュールを含む実装では、シミュレーションＡＶは、図５に関して説明した１つ以上のモジュールを含み得る。１つの実装では、シミュレーションＡＶは、自律走行を実行するために使用される、本開示に記載のモジュールの任意の組合せ及び／又は処理の任意の組合せを含み得る。しかしながら、シミュレーションＡＶは、本明細書に開示される処理及びモジュールに限定されない。
処理３３００の自律走行がシミュレーションである場合、シミュレーションＡＶは物理センサ（図１のセンサ１２６等）を含まない。したがって、センサを含む自律走行車とは異なり、シミュレーションＡＶは、物理的センサによって収集されたデータを含む記録走行データ（例えばデジタルデータ）を受信する。
シミュレーションＡＶは、メモリ及びプロセッサを含む装置によって実行し得る。プロセッサは、処理３３００を含む自律走行をシミュレーションするためにメモリに記憶された命令を実行するように構成し得る。
工程３３１０において、処理３３００は、記録ＡＶから記録走行データを受信する。記録走行データは、図２９の記録走行データ２９０８に関して説明したものであってもよい。記録ＡＶは、図２９の記録ＡＶ２９０２に関して説明したものであってもよい。したがって、記録走行データは、第１の意思決定アルゴリズム（すなわち、記録ＡＶの意思決定アルゴリズム）を用いて生成された意思決定データ、感知データ（すなわち、記録ＡＶによって観測及び分類等された他の世界オブジェクトに関するデータ）、及び記録ＡＶの移動データを含み得る。移動データは、記録ＡＶの位置を含む。一例として、記録走行データは、図３０の記録走行データ３０００に関して説明したものあってもよく、又は類似のものであってもよい。
上述したように、感知データは、記録ＡＶのセンサを用いて取得された他の道路ユーザの表現（例えば、それを記述するデータ）を含む。
工程３３２０において、処理３３００は、記録走行データからシミュレーションデータを取得する。シミュレーションデータは、図２９のシミュレーションデータ２９１０に関して説明したように得ることができる。したがって、記録走行データからシミュレーションデータを得ることは、記録走行データから意思決定データを除外することを含み得る。この文脈で使用される場合、「除外」とは、無視すること、フィルタで除くこと、コピーしないこと、使用しないこと、又は他の何らかのやり方で除外することを意味する。記録走行データがさらにオペレータデータを含む場合、シミュレーションデータを得ることは、記録走行データからオペレータデータを除外することを含み得る。図３１にシミュレーションの一例が示されている。
工程３３３０において、処理３３００は、シミュレーションデータを用いて第２の意思決定アルゴリズムをシミュレーションする。すなわち、シミュレーションＡＶは、シミュレーションデータを用いて、自律走行に関する１以上の処理を実行する。１つ以上の処理は、第２の意思決定アルゴリズム（図４の意思決定モジュール４０６のようなシミュレーションＡＶの意思決定モジュールによって実行し得る）を含み得る。したがって、第２の意思決定アルゴリズムをシミュレーションすることは、第２の意思決定アルゴリズムによって、他の道路ユーザの表現を受信することを含む。
非限定的な例では、他の道路ユーザの表現の受信に応答して、シミュレーションＡＶは、処理２０００の１つ以上の動作、例えば、他の道路ユーザ（すなわち、実世界オブジェクト）の軌道を予測するための動作２００４を実行し得る。
１つの実装では、第１の意思決定アルゴリズムと第２の意思決定アルゴリズムは同一である。例えば、記録走行データが、歩行者（例えば、別の世界オブジェクト）の存在を示す第１の記録走行データと、歩行者が記録ＡＶによって検出された直前又は直後にオペレータ（例えば、記録ＡＶの人間の予備運転者）がＡＶを停止させたことを示す第２の記録走行データとを含んでいると仮定する。同じ意思決定アルゴリズムを使用することにより、第２の記録走行データをシミュレーションデータから除外しながら、シミュレーションＡＶが人間の介在なしにどのように動作するか（したがって、どのように記録ＡＶであれば動作したか）を観測し得る。すなわち、意思決定アルゴリズムは、記録ＡＶの意思決定アルゴリズムの決定が、記録ＡＶを歩行者と衝突させるか、又は歩行者を回避させるかを決定するためにテストされ得る。
１つの実装では、第１の意思決定アルゴリズムと第２の意思決定アルゴリズムは同一ではない。すなわち、第１の意思決定アルゴリズムと第２の意思決定アルゴリズムは、同じ条件（例えば、観測された同じ他の道路ユーザ）の下で異なる行動方針（すなわち意思決定）を決定し得る。
第２の意思決定アルゴリズムをシミュレーションすることは、第１の時間にシミュレーションＡＶの第１の位置を決定する動作３３３２と、第１の時間に記録ＡＶの位置の第１の位置と第２の位置との間の差に基づいてシミュレーションデータの再生速度を調整する第２の動作３３３４とを含み得る。
上述したように、シミュレーションＡＶは、軌道プランナを含み得る。そのため、シミュレーション中の任意の時点におけるシミュレーションの位置を、軌道プランナによって決定される軌道に基づいて決定し得る。そのため、第１の時間におけるシミュレーションＡＶの第１の位置は、決定された軌道上の第１の時間にけるシミュレーションＡＶの位置（すなわち、場所）である。上述したように、第１の時間における記録ＡＶの第２の位置は、記録走行データの一部である移動データにおいて利用可能であり得る。
距離は、記録ＡＶとシミュレーションＡＶのそれぞれ同じ位置にある視点の間で測定し得る。視点は、ＡＶ上の場所に対応する。視点は、ＡＶの全てのセンサの中心点と考えることができる。例えば、視点は、ＡＶの後車軸の中心であり得る。そのため、距離は、シミュレーションＡＶの実車軸の中心と記録ＡＶの実車軸の中心との間の第１の時間に測定された距離であり得る。例えば、距離は、シミュレーションＡＶと記録ＡＶのそれぞれの実車軸の中心間のユークリッド距離であり得る。すなわち、距離は、それぞれの実車軸の中心間の直線の長さであり得る。別の実装では、距離は、シミュレーションＡＶ及び記録ＡＶの進行方向である長手方向においてのみ測定し得る。
１つの実装では、シミュレーションデータの再生速度を調整することは、記録ＡＶの感知範囲外である第１の位置に応答して、シミュレーションデータの再生速度を調整することを含み得る。再生速度を調整することにより、第１の位置と第２の位置が記録ＡＶの感知範囲内にあるという効果を得ることができる。
１つの実装では、シミュレーションデータの再生速度を調整することは、第１の位置と第２の位置との間の距離が閾値距離を超えることに応答して、シミュレーションデータの再生速度を調整することを含み得る。上述したように、再生速度を調整することにより、第１の位置と第２の位置が記録ＡＶの感知範囲内にあるという効果を得ることができる。
再生速度の調整量は、ＰＩＤ（比例−積分−微分）コントローラを使用して決定し得る。ＰＩＤコントローラは、第１の位置と第２の位置との間の距離を誤差値として使用し得る。
図３４は、本開示の実装による再生速度調整を決定するためのＰＩＤ（比例積分微分）コントローラ３４００のブロック図である。ＰＩＤコントローラ３４００の詳細な説明は、ＰＩＤコントローラが当業者にはよく理解されているので省略する。距離３４０２をＰＩＤコントローラ３４００への入力として用いる。距離３４０２は、時間ＴにおけるシミュレーションＡＶの最初の位置と記録ＡＶの位置の第２の位置との差である。距離３４０２は、時間ＴにおいてシミュレーションＡＶが記録ＡＶに遅れているか又は先行しているかを示す符号付きの値である。ＰＩＤコントローラの出力３４０４は、再生速度に対する調整量を示す。上述したように、距離３４０２が閾値距離を（絶対値で）超えない場合、ＰＩＤコントローラ３４００は再生速度を調整しないように構成し得る。閾値距離は、１メートル、２メートル、又はその他の閾値距離であってもよい。再生速度３４０６は、シミュレーションＡＶが次の時間ウィンドウで処理すべき記録データ点の数を示す。
図３１を再び参照して、ＰＩＤコントローラ３４００等による再生速度の調整を説明する。現在のシミュレーション時間を時間ｔと仮定する。記録ＡＶとシミュレーションＡＶとの間の距離が閾値距離を超えない場合、シミュレーションＡＶは、シミュレーションデータ点をリアルタイムで処理する。すなわち、シミュレーションＡＶは、記録ＡＶによってシミュレーションデータ点が記録されたのと同じ速度でシミュレーションデータ点を処理する。例えば、図３１を参照して、記録ＡＶが、時間ｔとｔ＋Δｔとの間に１−５のラベルを付けられたシミュレーションデータ点（又は、より正確には、シミュレーションデータ点がそこから導出される記録走行データ点）を記録した場合、シミュレーションＡＶは、シミュレーション時間ｔとｔ＋Δｔとの間に同じ速度でデータ点１−５を処理する。すなわち、シミュレーションＡＶは、シミュレーション時間ｔとｔ＋Δｔとの間で、１−５の番号を付けられたシミュレーションデータを処理する。
一方、距離が閾値距離を超えており、シミュレーションＡＶが記録ＡＶに先行していることを示す場合、ＰＩＤコントローラ３４００は、（出力３４０４を介して）再生速度３４０６を例えばリアルタイム速度の１４０％まで上げるべきことを示してもよい。そのため、シミュレーション時間ｔとｔ＋Δｔとの間で、シミュレーションＡＶは、シミュレーションデータ点１−７を処理する（１４０％×（時間ウィンドウあたりのデータ点数）＝１４０％×５＝次の７シミュレーションデータ点に対応する）。
次に、距離が閾値距離を超え、シミュレーションＡＶが記録ＡＶより遅れていることを示し、ＰＩＤコントローラ３４００が（出力３４０４を介して）、再生速度３４０６を例えばリアルタイム速度の６０％まで低下させるべきことを示していると仮定する。そのため、シミュレーション時間ｔ＋Δｔとｔ＋２Δｔとの間で、シミュレーションＡＶは、８−１０とラベル付けされたシミュレーションデータ点を処理する（６０％×（時間ウィンドウあたりのデータ点数）＝６０％×５＝次の３シミュレーションデータ点に対応する）。
いくつかの実装では、再生速度はシミュレーションの一部に対してのみ調整される。例えば、シミュレーションの目的は、シミュレーションにおいて、他の道路ユーザとシミュレーションＡＶとの間の相互作用をテストすることであり得る。例えば、シミュレーションデータは、時間ｔ１で開始し、時間ｔ２で終了する、記録走行の間隔内における記録ＡＶと道路ユーザとの間の相互作用を含む、長さＬの記録走行に関するものであり得る。例えば、記録された走行は、２０分の長さであってもよく、記録ＡＶは、記録された走行の１０分３０秒の時点で歩行者に遭遇していてもよい。したがって、再生速度は、シミュレーションの時間ｔ１まで調整し得る。シミュレーションの時間ｔ１とｔ２との間では、再生速度は調整されない。
１つの実装では、自律走行をシミュレーションする処理は、第１の意思決定アルゴリズムを使用する記録自律走行車（ＡＶ）から記録走行データを受信すること、シミュレーションＡＶによって、記録走行データの少なくとも一部を用いて、第２の意思決定アルゴリズムをシミュレーションすることを含み得る。第２の意思決定アルゴリズムをシミュレーションすることは、第１の時間におけるシミュレーションＡＶの第１の位置と第１の時間における記録ＡＶの第２の位置との間の差に基づいて、記録走行データの少なくとも一部の再生速度を調整することを含み得る。
説明を簡単にするために、処理８００、１３００、１８００、２０００、２０５０、２５００、２７００、２８００及び３３００は、それぞれ一連の動作として示されかつ説明されている。しかしながら、本開示に従った動作は、様々な順序で及び／又は同時に起こり得る。さらに、本明細書に提示及び記載されていない他のステップ又は動作を使用してもよい。さらに、全ての図示された動作が、開示された主題に従った技術を実装するために必要とされるわけではない。
本明細書で使用される場合、「運転者」又は「オペレータ」という用語は、同じ意味で使用されてもよい。本明細書で使用される場合、「ブレーキ」又は「減速」という用語は、同じ意味で使用されてもよい。本明細書で使用される場合、「コンピュータ」又は「コンピュータ装置」という用語は、本明細書で開示の任意の方法を実行し得る任意のユニット又はユニットの組み合わせ、又はその任意の部分若しくは複数の部分を含む。
本明細書で使用される場合、「命令」という用語は、本明細書に開示の任意の方法を実行するための指示若しくは表現、又はその任意の部分若しくは複数の部分を含んでもよく、ハードウェア、ソフトウェア又はこれらの任意の組み合わせで実現されてもよい。例えば、命令は、本明細書に記載の各方法、アルゴリズム、態様又はこれらの組み合わせのいずれかを行うためにプロセッサによって実行され得るメモリに記憶されたコンピュータプログラム等の情報として実装されてもよい。いくつかの実装形態では、命令又はその一部は、本明細書に記載の任意の方法、アルゴリズム、態様又はその組み合わせを行うための専用ハードウェアを含み得る専用プロセッサ又は回路として実装されてもよい。いくつかの実装形態では、命令の部分は、直接的に又はローカルエリアネットワーク、ワイドエリアネットワーク、インターネット又はこれらの組み合わせ等のネットワークを介して通信し得る複数の装置又は単一の装置上の複数のプロセッサに分散されてもよい。
本明細書で使用される場合、「例示」、「実施形態」、「実装」、「態様」、「特徴」又は「要素」という用語は、用例、例示又は実例としての役割を果たすことを示している。特に明示されない限り、任意の例示、実施形態、実装、態様、特徴又は要素が、互いの例示、実施形態、実装、態様、特徴又は要素から独立しており、任意の他の例示、実施形態、実装、態様、特徴又は要素と組み合わせて使用されてもよい。
本明細書で使用される場合、「決定」及び「識別」又はこれらの任意の変形の用語は、図示の及び本明細書に記載の１つ以上の装置を使用するいかなるやり方で選択、確認、計算、検索、受信、決定、確立、取得、又は他のやり方で識別又は決定することを含んでいる。
本明細書で使用される場合、「又は」という用語は、排他的な「又は」ではなく包含的な「又は」を意味することが意図されている。すなわち、他に特に定めがない限り、又は特に文脈によって明示されない限り、「ＸがＡ又はＢを含む」は、任意の当然の包含的なそれの並べ替えを示すことが意図されている。ＸがＡを含む、ＸがＢを含む、又はＸがＡ及びＢの両方を含む場合、「ＸがＡ又はＢを含む」は、上記の例示のいずれかによって満たされる。さらに、本願及び添付の請求項の中で使用される“ａ”及び“ａｎ”という冠詞は、一般に、単数形を指していることが文脈から明確であるか又は他に特段の定めがない限り、「１つ以上の」を意味すると解釈されるべきである。
さらに、説明の簡潔のため、本明細書の図面及び説明は一連の動作又は段階又はシーケンスを含み得るが、本明細書に開示の方法の要素は、様々な順番で又は同時に起こってもよい。さらに、本明細書に開示の方法の要素は、本明細書に明示的に提示及び開示されていない他の要素と共に起こってもよい。さらに、本明細書に記載の方法の全ての要素が、本開示による方法を実装することを要求されるとは限らない。態様、特徴及び要素は特定の組み合わせで本明細書に記載されているが、各態様、特徴又は要素は、他の態様、特徴及び／又は要素と共に又はそれらなしで独立して又は様々な組み合わせで使用されてもよい。
本開示の技術は、特定の実施形態に関連して説明されてきたが、本開示の技術は、開示された実施形態に限定されるものではなく、逆に、添付の特許請求の範囲に含まれる様々な変更及び同等の構成を包含することを意図しており、その範囲は、全てのそのような変更及び同等の構成を包含するように、法律の下で許容される最も広い解釈に一致されるものである。

Claims (19)

  1. 自律走行をシミュレーションする方法であって、前記方法はコンピュータ装置によって実行され、
    記録ＡＶ（自律走行車）から記録走行データを受信するステップであって、前記記録走行データは、
    第１の意思決定アルゴリズムを使用して生成される意思決定データ、
    感知データ、及び
    前記記録ＡＶの複数の位置を含む移動データ
    を含むステップと、
    前記記録走行データから前記意思決定データを除外することによって、前記記録走行データからシミュレーションデータを取得するステップと、
    シミュレーションＡＶによって、前記シミュレーションデータを使用して第２の意思決定アルゴリズムをシミュレーションするステップであって、前記第２の意思決定アルゴリズムをシミュレーションすることは、
    前記コンピュータ装置によって、第１の時間において前記シミュレーションＡＶの第１の位置を決定すること、及び
    前記コンピュータ装置によって、前記第１の位置と前記第１の時間における前記記録ＡＶの前記複数の位置の中の第２の位置との差に基づいて前記シミュレーションデータの再生速度を調整すること
    を含むステップと
    を含む、方法。
  2. 前記第１の位置と前記第２の位置との間の差が、長手方向に測定される、請求項１に記載の方法。
  3. 前記記録走行データは、オペレータデータをさらに含み、
    前記シミュレーションデータを取得するステップは、
    前記記録走行データから前記オペレータデータを除外すること
    をさらに含む、請求項１に記載の方法。
  4. 前記シミュレーションデータの前記再生速度を調整することは、
    前記第１の位置が前記記録ＡＶの感知範囲外であることに応答して、前記記録走行データの前記再生速度を調整すること
    を含む、請求項１に記載の方法。
  5. 前記シミュレーションデータの前記再生速度を調整することは、
    前記第１の位置と前記第２の位置との間の距離が閾値距離を超えたことに応答して、前記シミュレーションデータの前記再生速度を調整すること
    を含む、請求項１に記載の方法。
  6. 前記シミュレーションデータの前記再生速度を調整することは、
    ＰＩＤコントローラ（比例−積分−微分コントローラ）によって、前記シミュレーションデータの前記再生速度を調整することであって、前記ＰＩＤコントローラは、前記第１の位置と前記第２の位置との間の距離を誤差値として使用すること
    を含む、請求項１に記載の方法。
  7. 前記ＰＩＤコントローラは、前記距離が閾値を超えた場合に、前記シミュレーションデータの前記再生速度を調整する、請求項６に記載の方法。
  8. 前記距離は、前記記録ＡＶ及び前記シミュレーションＡＶの各同位置にある視点の間で測定される、請求項６に記載の方法。
  9. 前記各同位置にある視点は、前記記録ＡＶ及び前記シミュレーションＡＶの後車軸の各中心に対応する、請求項８に記載の方法。
  10. 前記感知データは、前記ＡＶの視線センサを使用して取得される他の道路ユーザの表現を含む、請求項１に記載の方法。
  11. 前記感知データは、前記記録ＡＶのセンサを使用して取得される他の道路ユーザの表現を含み、
    前記シミュレーションＡＶによって、前記記録走行データを使用して前記第２の意思決定アルゴリズムをシミュレーションすることは、
    前記第２の意思決定アルゴリズムによって、前記他の道路ユーザの前記表現を受信すること
    を含む、請求項１に記載の方法。
  12. メモリと、
    プロセッサと
    を備える自律走行をシミュレーションするための装置であって、
    前記プロセッサは、前記メモリに記憶されたシミュレーションＡＶ（自律走行車）の命令を実行して、
    記録ＡＶから記録走行データを受信することであって、前記記録走行データは、
    第１の意思決定アルゴリズムを使用して生成される意思決定データ、
    感知データ、及び
    前記記録ＡＶの複数の位置を含む移動データ
    を含むこと、
    前記記録走行データから前記意思決定データを除外することによって、前記記録走行データからシミュレーションデータを取得すること、
    前記シミュレーションデータを使用して第２の意思決定アルゴリズムをシミュレーションすることであって、前記第２の意思決定アルゴリズムをシミュレーションすることは、
    第１の時間において前記シミュレーションＡＶの第１の位置を決定すること、及び
    前記第１の位置と前記第１の時間における前記記録ＡＶの前記複数の位置の中の第２の位置との差に基づいて前記シミュレーションデータの再生速度を調整すること
    を含むこと
    を行うように構成される、装置。
  13. 前記第１の位置と前記第２の位置との間の差が、長手方向に測定される、請求項１２に記載の装置。
  14. 前記記録走行データは、オペレータデータをさらに含み、
    前記シミュレーションデータを取得することは、
    前記記録走行データから前記オペレータデータを除外すること
    をさらに含む、請求項１２に記載の装置。
  15. 前記シミュレーションデータの前記再生速度を調整することは、
    前記第１の位置が前記記録ＡＶの感知範囲外であることに応答して、前記第１の位置と前記第２の位置が前記記録ＡＶの感知範囲内になるように、前記記録走行データの前記再生速度を調節すること
    を含む、請求項１２に記載の装置。
  16. 前記シミュレーションデータの前記再生速度を調整することは、
    前記第１の位置と前記第２の位置との間の距離が閾値距離を超えたことに応答して、前記第１の位置と前記第２の位置が前記記録ＡＶの感知範囲内になるように、前記記録走行データの前記再生速度を調節すること
    を含む、請求項１２に記載の装置。
  17. 前記シミュレーションデータの前記再生速度を調整することは、
    ＰＩＤ（比例−積分−微分）コントローラによって、前記シミュレーションデータの前記再生速度を調整することであって、前記ＰＩＤコントローラは、前記第１の位置と前記第２の位置との間の距離を誤差値として使用すること
    を含む、請求項１２に記載の装置。
  18. 前記距離は、前記記録ＡＶ及び前記シミュレーションＡＶの後車軸の各中心に対応する前記記録ＡＶと前記記録ＡＶの各同位置にある視点の間で測定される、請求項１７に記載の装置。
  19. 前記感知データは、前記記録ＡＶのセンサを使用して取得される他の道路ユーザの表現を含み、
    前記シミュレーションデータを使用して前記第２の意思決定アルゴリズムをシミュレーションすることは、
    前記第２の意思決定アルゴリズムによって、前記他の道路ユーザの前記表現を受信すること
    を含む、請求項１２に記載の装置。
JP2020566237A 2018-05-31 2019-03-19 自律走行シミュレーションのための時間伸縮法 Active JP6972392B2 (ja)

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
USPCT/US2018/035455 2018-05-31
PCT/US2018/035455 WO2019231456A1 (en) 2018-05-31 2018-05-31 Probabilistic object tracking and prediction framework
US16/019,291 US10698407B2 (en) 2018-05-31 2018-06-26 Trajectory planning
US16/019,291 2018-06-26
US16/050,731 2018-07-31
US16/050,731 US10564643B2 (en) 2018-05-31 2018-07-31 Time-warping for autonomous driving simulation
PCT/US2019/022914 WO2019231522A1 (en) 2018-05-31 2019-03-19 Time-warping for autonomous driving simulation

Publications (2)

Publication Number Publication Date
JP2021519720A JP2021519720A (ja) 2021-08-12
JP6972392B2 true JP6972392B2 (ja) 2021-11-24

Family

ID=68692577

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020566237A Active JP6972392B2 (ja) 2018-05-31 2019-03-19 自律走行シミュレーションのための時間伸縮法

Country Status (5)

Country Link
US (1) US10564643B2 (ja)
EP (1) EP3802259A4 (ja)
JP (1) JP6972392B2 (ja)
CN (1) CN112236346B (ja)
WO (1) WO2019231522A1 (ja)

Families Citing this family (51)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10739775B2 (en) * 2017-10-28 2020-08-11 Tusimple, Inc. System and method for real world autonomous vehicle trajectory simulation
US10935975B2 (en) * 2017-12-22 2021-03-02 Tusimple, Inc. Method and system for modeling autonomous vehicle behavior
US10839139B2 (en) 2018-04-17 2020-11-17 Adobe Inc. Glyph aware snapping
US10761535B2 (en) * 2018-08-21 2020-09-01 GM Global Technology Operations LLC Intelligent vehicle navigation systems, methods, and control logic for multi-lane separation and trajectory extraction of roadway segments
US11030364B2 (en) * 2018-09-12 2021-06-08 Ford Global Technologies, Llc Evaluating autonomous vehicle algorithms
US11287270B2 (en) 2018-12-26 2022-03-29 Beijing Voyager Technology Co., Ltd. Systems and methods for safe route planning for a vehicle
US11131554B2 (en) * 2018-12-26 2021-09-28 Beijing Voyager Technology Co., Ltd. Systems and methods for vehicle telemetry
CN109739246B (zh) * 2019-02-19 2022-10-11 阿波罗智能技术(北京)有限公司 一种变换车道过程中的决策方法、装置、设备及存储介质
US11541533B2 (en) 2019-03-01 2023-01-03 Duality Robotics, Inc. Robot templates in a simulation environment
US10832442B2 (en) * 2019-03-28 2020-11-10 Adobe Inc. Displaying smart guides for object placement based on sub-objects of reference objects
JP7274327B2 (ja) * 2019-03-28 2023-05-16 株式会社Subaru 自動運転支援装置
US10846878B2 (en) * 2019-03-28 2020-11-24 Adobe Inc. Multi-axis equal spacing smart guides
US11614740B2 (en) * 2019-05-28 2023-03-28 Baidu Usa Llc Determining speeds for an autonomous vehicle
KR20200139443A (ko) * 2019-06-04 2020-12-14 주식회사 만도 운전자 보조 시스템 및 그 제어 방법
US11270531B2 (en) * 2019-06-28 2022-03-08 GM Cruise Holdings, LLC Autonomous vehicle data management platform
US11420630B2 (en) 2019-10-24 2022-08-23 Zoox, Inc. Trajectory modifications based on a collision zone
US11643073B2 (en) * 2019-10-24 2023-05-09 Zoox, Inc. Trajectory modifications based on a collision zone
US11912271B2 (en) * 2019-11-07 2024-02-27 Motional Ad Llc Trajectory prediction from precomputed or dynamically generated bank of trajectories
BR112022010315A2 (pt) * 2019-12-02 2022-08-16 Nissan Motor Método de controle de veículo e dispositivo de controle de veículo
DE102019133684A1 (de) * 2019-12-10 2021-06-10 Sennheiser Electronic Gmbh & Co. Kg Vorrichtung zur Konfiguration einer Drahtlos-Funkverbindung und Verfahren zur Konfiguration einer Drahtlos-Funkverbindung
KR20210075290A (ko) * 2019-12-12 2021-06-23 현대자동차주식회사 차량 제어 장치 및 그 제어 방법
CN111123740B (zh) * 2019-12-19 2024-04-16 北京经纬恒润科技股份有限公司 硬件在环测试方法以及装置
US20210191387A1 (en) * 2019-12-23 2021-06-24 Autonomous Solutions, Inc. System and method for assisted teleoperations of vehicles
US11314258B2 (en) * 2019-12-27 2022-04-26 Intel Corporation Safety system for a vehicle
CN114829225A (zh) * 2019-12-27 2022-07-29 伟摩有限责任公司 自主载具的条件行为预测
KR20210088780A (ko) 2020-01-06 2021-07-15 주식회사 만도 운전자 보조 장치 및 그 방법
US11498619B2 (en) * 2020-01-15 2022-11-15 GM Global Technology Operations LLC Steering wheel angle bias correction for autonomous vehicles using angle control
CN111816022A (zh) * 2020-02-07 2020-10-23 北京嘀嘀无限科技发展有限公司 一种模拟场景的仿真方法、装置、存储介质以及电子设备
GB2592197A (en) * 2020-02-18 2021-08-25 Daimler Ag Autonomous vehicle and system thereof
EP4112404A4 (en) * 2020-02-24 2023-05-31 Nissan Motor Co., Ltd. VEHICLE CONTROL METHOD AND VEHICLE CONTROL DEVICE
JP6946495B2 (ja) * 2020-03-04 2021-10-06 本田技研工業株式会社 車両制御装置及び車両制御方法
US20230152437A1 (en) 2020-05-25 2023-05-18 Mitsubishi Electric Corporation Radar apparatus
US10906558B1 (en) * 2020-06-18 2021-02-02 Ike Robotics, Inc. Methods and systems for managing interactions of an autonomous vehicle with other objects
EP4165476A1 (en) 2020-07-01 2023-04-19 May Mobility, Inc. Method and system for dynamically curating autonomous vehicle policies
KR102360817B1 (ko) * 2020-07-02 2022-02-10 현대모비스 주식회사 컷인 차량의 충돌 방지를 위한 자율주행시스템 및 방법
US11892838B1 (en) * 2020-07-27 2024-02-06 Nuro, Inc. Framework for validating autonomy and teleoperations systems
KR20220056922A (ko) * 2020-10-28 2022-05-09 현대자동차주식회사 자율주행 제어 장치 및 방법
US11685262B2 (en) 2020-12-03 2023-06-27 GM Global Technology Operations LLC Intelligent motor vehicles and control logic for speed horizon generation and transition for one-pedal driving
CN112325898B (zh) * 2021-01-06 2021-03-30 中智行科技有限公司 路径规划方法、装置、设备和存储介质
US11752881B2 (en) 2021-01-20 2023-09-12 GM Global Technology Operations LLC Intelligent vehicles and control logic for brake torque request estimation for cooperative brake system control
DE102021203809B4 (de) * 2021-03-16 2023-05-04 Continental Autonomous Mobility Germany GmbH Fahrverlaufsschätzung in einem Umfeldmodel
US11698270B2 (en) * 2021-03-30 2023-07-11 Argo AI, LLC Method, system, and computer program product for iterative warping of maps for autonomous vehicles and simulators
WO2022212944A1 (en) 2021-04-02 2022-10-06 May Mobility, Inc. Method and system for operating an autonomous agent with incomplete environmental information
CN113240925B (zh) * 2021-04-21 2022-02-25 郑州大学 一种考虑交叉口信号灯随机延误影响的出行路径确定方法
CN113325848B (zh) * 2021-05-31 2022-04-08 广州景骐科技有限公司 颠簸道路车辆控制方法、装置、车辆及存储介质
US11565717B2 (en) * 2021-06-02 2023-01-31 May Mobility, Inc. Method and system for remote assistance of an autonomous agent
CN114664088A (zh) * 2021-06-15 2022-06-24 上海丰豹商务咨询有限公司 一种网联、高级网联参考信标系统
US11774504B2 (en) 2021-10-04 2023-10-03 Zitara Technologies, Inc. System and method for battery management
WO2023154568A1 (en) 2022-02-14 2023-08-17 May Mobility, Inc. Method and system for conditional operation of an autonomous agent
US11840257B2 (en) * 2022-03-25 2023-12-12 Embark Trucks Inc. Lane change determination for vehicle on shoulder
CN114526164B (zh) * 2022-04-24 2022-07-26 中国航发四川燃气涡轮研究院 一种适用于双工作模式核心机的过渡态性能建模方法

Family Cites Families (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5956250A (en) 1990-02-05 1999-09-21 Caterpillar Inc. Apparatus and method for autonomous vehicle navigation using absolute data
US5684845A (en) 1996-08-30 1997-11-04 Framatome Technologies, Inc. Multi-axis spacer grid keying fixture
AU3074401A (en) 1999-12-21 2001-07-03 Lockheed Martin Corporation Spatial avoidance method and apparatus
US7912596B2 (en) 2007-05-30 2011-03-22 Honeywell International Inc. Vehicle trajectory visualization system
CN100504788C (zh) * 2007-08-02 2009-06-24 上海交通大学 自主驾驶车辆行驶过程的软件仿真方法
US8423336B2 (en) * 2009-12-16 2013-04-16 The United States Of America As Represented By The Secretary Of The Navy Aerodynamic simulation system and method for objects dispensed from an aircraft
US8509982B2 (en) 2010-10-05 2013-08-13 Google Inc. Zone driving
EP2615598B1 (en) 2012-01-11 2017-12-06 Honda Research Institute Europe GmbH Vehicle with computing means for monitoring and predicting traffic participant objects
US9280899B2 (en) 2013-08-06 2016-03-08 GM Global Technology Operations LLC Dynamic safety shields for situation assessment and decision making in collision avoidance tasks
DE102013013867A1 (de) 2013-08-20 2015-03-12 Audi Ag Kraftfahrzeug und Verfahren zur Steuerung eines Kraftfahrzeugs
US9199668B2 (en) 2013-10-28 2015-12-01 GM Global Technology Operations LLC Path planning for evasive steering maneuver employing a virtual potential field technique
EP3761223A1 (en) 2013-12-04 2021-01-06 Mobileye Vision Technologies Ltd. Adjusting lane offset autonomously
US9650051B2 (en) 2013-12-22 2017-05-16 Lytx, Inc. Autonomous driving comparison and evaluation
US9229453B1 (en) 2014-08-29 2016-01-05 GM Global Technology Operations LLC Unified motion planner for autonomous driving vehicle in avoiding the moving obstacle
EP3001272B1 (en) 2014-09-26 2017-04-12 Volvo Car Corporation Method of trajectory planning for yielding manoeuvres
JP2016206879A (ja) * 2015-04-21 2016-12-08 本田技研工業株式会社 パラメータ分類装置並びにパラメータ分類装置を用いた移動体模擬運動生成装置及び移動体運動生成装置
US9868443B2 (en) 2015-04-27 2018-01-16 GM Global Technology Operations LLC Reactive path planning for autonomous driving
JP6922739B2 (ja) * 2015-09-30 2021-08-18 ソニーグループ株式会社 情報処理装置、および情報処理方法、並びにプログラム
US10229363B2 (en) 2015-10-19 2019-03-12 Ford Global Technologies, Llc Probabilistic inference using weighted-integrals-and-sums-by-hashing for object tracking
WO2017079349A1 (en) 2015-11-04 2017-05-11 Zoox, Inc. System for implementing an active safety system in an autonomous vehicle
US10496766B2 (en) * 2015-11-05 2019-12-03 Zoox, Inc. Simulation system and methods for autonomous vehicles
JP6798779B2 (ja) * 2015-11-04 2020-12-09 トヨタ自動車株式会社 地図更新判定システム
US10152882B2 (en) 2015-11-30 2018-12-11 Nissan North America, Inc. Host vehicle operation using remote vehicle intention prediction
DE102016212292A1 (de) 2016-01-28 2017-08-03 Volkswagen Aktiengesellschaft Verfahren und Vorrichtung zum Bereitstellen einer Plantrajektorie für ein Kraftfahrzeug
US9857795B2 (en) 2016-03-24 2018-01-02 Honda Motor Co., Ltd. System and method for trajectory planning for unexpected pedestrians
JP6589713B2 (ja) * 2016-03-24 2019-10-16 トヨタ自動車株式会社 自動運転車両を用いたタクシーサービスシステム
US10162354B2 (en) * 2016-07-21 2018-12-25 Baidu Usa Llc Controlling error corrected planning methods for operating autonomous vehicles
WO2018039474A1 (en) 2016-08-24 2018-03-01 Keyssa Systems, Inc. Mechanical connectors for contactless communication units
CN115343947A (zh) 2016-09-23 2022-11-15 苹果公司 自主车辆的运动控制决策
US10115305B2 (en) 2016-09-30 2018-10-30 Nissan North America, Inc. Optimizing autonomous car's driving time and user experience using traffic signal information
CN107527531A (zh) * 2017-09-19 2017-12-29 浙江大学 一种智能分布式驾驶模拟训练共享网络系统
US10671079B2 (en) 2017-10-24 2020-06-02 Waymo Llc Speed-dependent required lateral clearance for autonomous vehicle path planning

Also Published As

Publication number Publication date
US10564643B2 (en) 2020-02-18
WO2019231522A1 (en) 2019-12-05
JP2021519720A (ja) 2021-08-12
CN112236346A (zh) 2021-01-15
EP3802259A4 (en) 2021-09-08
CN112236346B (zh) 2021-10-15
EP3802259A1 (en) 2021-04-14
US20190369626A1 (en) 2019-12-05

Similar Documents

Publication Publication Date Title
JP6972392B2 (ja) 自律走行シミュレーションのための時間伸縮法
JP6911214B1 (ja) 軌道計画
US10569773B2 (en) Predicting behaviors of oncoming vehicles
US10745011B2 (en) Predicting yield behaviors
JP7194755B2 (ja) 軌道計画
JP7401650B2 (ja) 偶発事象対応計画及び安全保障
US20210035442A1 (en) Autonomous Vehicles and a Mobility Manager as a Traffic Monitor
CN112368662A (zh) 用于自主运载工具操作管理的定向调整动作
US20220105959A1 (en) Methods and systems for predicting actions of an object by an autonomous vehicle to determine feasible paths through a conflicted area
Dibben iQPilot

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210125

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20210125

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210706

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211005

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20211019

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20211102

R150 Certificate of patent or registration of utility model

Ref document number: 6972392

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350