JP2023531962A - 移動制限及び観察された走行挙動から生成されたデルタコストボリュームを使用した経路計画 - Google Patents

移動制限及び観察された走行挙動から生成されたデルタコストボリュームを使用した経路計画 Download PDF

Info

Publication number
JP2023531962A
JP2023531962A JP2022579705A JP2022579705A JP2023531962A JP 2023531962 A JP2023531962 A JP 2023531962A JP 2022579705 A JP2022579705 A JP 2022579705A JP 2022579705 A JP2022579705 A JP 2022579705A JP 2023531962 A JP2023531962 A JP 2023531962A
Authority
JP
Japan
Prior art keywords
vehicle
trajectory
cost volume
cost
volume
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2022579705A
Other languages
English (en)
Inventor
リン ツン-ハン
オマリー サミー
オンドルスカ ピーター
スワナー ビテリ マシュー
Original Assignee
ウーブン バイ トヨタ,ユーエス,インコーポレイティド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ウーブン バイ トヨタ,ユーエス,インコーポレイティド filed Critical ウーブン バイ トヨタ,ユーエス,インコーポレイティド
Publication of JP2023531962A publication Critical patent/JP2023531962A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001Planning or execution of driving tasks
    • B60W60/0023Planning or execution of driving tasks in response to energy consumption
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34Route searching; Route guidance
    • G01C21/3446Details of route searching algorithms, e.g. Dijkstra, A*, arc-flags, using precalculated routes
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34Route searching; Route guidance
    • G01C21/3453Special cost functions, i.e. other than distance or default speed limit of road segments
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34Route searching; Route guidance
    • G01C21/36Input/output arrangements for on-board computers
    • G01C21/3691Retrieval, searching and output of information related to real-time traffic, weather, or environmental conditions
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403Image sensing, e.g. optical camera
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/408Radar; Laser, e.g. lidar
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2552/00Input parameters relating to infrastructure
    • B60W2552/53Road markings, e.g. lane marker or crosswalk
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00Input parameters relating to objects
    • B60W2554/80Spatial relation or speed relative to objects

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Automation & Control Theory (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Atmospheric Sciences (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Ecology (AREA)
  • Environmental & Geological Engineering (AREA)
  • Environmental Sciences (AREA)
  • Traffic Control Systems (AREA)
  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)

Abstract

一実施形態において、方法は、車両の移動制限の組に基づいて環境内の車両の複数の潜在的な軌跡と関連する初期コストボリュームを判定するステップと、初期コストボリューム及び環境と関連する環境データを使用してデルタコストボリュームを生成するステップであって、デルタコストボリュームは、観察された走行挙動を内蔵する初期コストボリュームに対する調節を判定することにより、生成されている、ステップと、初期コストボリューム及びデルタコストボリュームに基づいて車両用の複数の潜在的軌跡のうちの1つ軌跡を採点するステップと、を含む。

Description

自律型車両は、最も安全な、最も便利な、かつ、最も経済的に有益な車両軌跡によって都市環境を走行するために効果的かつ効率的な経路計画に依存している。車両軌跡は、時間及び速度によってパラメータ化された車両が通過した一連の状態である。軌跡計画または軌跡生成は、1つの実現可能な状態から次の状態への車両の移動のリアルタイム計画であり、これは、その力学に基づいたかつナビゲーションモードよって制約された車両の移動学的な限度を充足している。経路計画システムは、静止したり移動している全てのエージェントを識別すると共に潜在的な車両軌跡がこれらのエージェントをバイパスするのを確実にする必要があることから、潜在的な車両軌跡を見出すことは、複雑である。潜在的な車両軌跡を見出すことは、軌跡最適化に基づいたものであってよく、これは、制約の組を充足しつつ、例えば、コストなどのなんらかの尺度を極小化(または、極大化)させる軌跡を判定するプロセスである。潜在的な車両軌跡のコストは、安全性、快適さ、効率性、位置、速度、加速度、実現可能性、適法性、などを含む多くのファクタに基づいたものであってよい。
図1Aは、貨物トラックに続行する車両の例示用の軌跡判定を示す。 図1Bは、自転車レーンの近傍を走行する車両の例示用の軌跡判定を示す。 図1Cは、交差点で曲がる車両の例示用の軌跡判定を示す。 図1Dは、一時停止標識に接近している車両の例示用の軌跡判定を示す。 図2は、例示用のコスト評価を示す。 図3は、初期コストボリュームと差分コストボリュームの間の例示用の差を示す。 図4は、差分コストボリュームの生成の例示用のアーキテクチャを示す。 図5Aは、図1Aのシナリオの初期コストボリュームを使用した2つの軌跡の間の例示用のコスト比較を示す。 図5Bは、図1Bのシナリオの初期コストボリュームを使用した2つの軌跡の間の例示用のコスト比較を示す。 図5Cは、図1Cのシナリオの初期コストボリュームを使用した2つの軌跡の間の例示用のコスト比較を示す。 図5Dは、図1Dのシナリオの初期コストボリュームを使用した2つの軌跡の間の例示用のコスト比較を示す。 図6Aは、図1Aのシナリオの差分コストボリュームを使用した2つの軌跡の間の例示用のコスト比較を示す。 図6Bは、図1Bのシナリオの差分コストボリュームを使用した2つの軌跡の間の例示用のコスト比較を示す。 図6Cは、図1Cのシナリオの差分コストボリュームを使用した2つの軌跡の間の例示用のコスト比較を示す。 図6Dは、図1Dのシナリオの差分コストボリュームを使用した2つの軌跡の間の例示用のコスト比較を示す。 図7は、車両用の計画軌跡を判定する例示用の方法を示す。 図8は、乗車要求者を自律型車両とマッチングさせる輸送管理環境の例示用のブロック図を示す。 図9は、自律型走行用の処理パイプラインの一例を示す。 図10は、演算システムの一例を示す。
以下の説明においては、様々な実施形態について説明する。説明を目的として、実施形態の十分な理解を提供するために、特定の構成及び詳細が記述されている。但し、当業者には、実施形態が、特定の詳細を伴うことなしに実施され得ることも明らかとなろう。さらには、記述されている実施形態を曖昧にしないように、周知の特徴が省略または単純化されている場合もある。これに加えて、本明細書において開示されている実施形態は、例に過ぎず、かつ、本開示の範囲は、これらに限定されるものではない。特定の実施形態は、以上において開示されている実施形態のコンポーネント、要素、特徴、機能、動作、またはステップのすべてまたはいくつかを含んでいてもよく、あるいは、これらをまったく含んでいなくてもよい。本発明による実施形態は、具体的には、方法、ストレージ媒体、システム、及びコンピュータプログラムプロダクトを対象とした添付の請求項において開示されており、この場合に、例えば、方法などの1つの請求項カテゴリにおいて言及されている任意の特徴は、同様に、例えば、システムなどの別の請求項カテゴリにおいて特許請求することができる。添付の請求項における従属性または後方参照は、公的な理由からのみ選択されている。但し、(特に複数の従属性における)任意の以前の請求項に対する意図的な後方参照から結果的にもたらされる任意の主題も、請求項及びその特徴の任意の組合せが開示されかつ添付の請求項において選択されている従属性とは無関係において特許請求され得るように、同様に特許請求することができる。特許請求され得る主題は、添付の請求項において記述されている特徴の組合せのみならず、請求項における特徴の任意のその他の組合せをも有しており、この場合に、請求項において言及されているそれぞれの特徴は、請求項における任意のその他の特徴またはその他の特徴の組合せと組み合わせることができる。さらには、本明細書において記述または描画されている実施形態及び特徴の任意のものは、別個の請求項において、および/または、本明細書において記述または描画されている任意の実施形態または特徴とのまたは添付の請求項の特徴の任意のものとの任意の組合せにおいて、特許請求することもできる。
車両軌跡計画は、自律型走行のための1つの基礎となり得る。一例として、限定を伴うことなしに、しばしば、演算システムは、自律型車両の次の数秒間における最良の前方軌跡を判定する必要があり得る。例えば、演算システムは、車両が加速するべきか、直進するべきか、またはわずかに曲がるべきかを判定することができる。図1A~図1Dは、異なるシナリオを示しており、この場合には、計画軌跡を自律型車両について判定する必要がある。図1Aは、貨物トラックに続行する車両の例示用の軌跡判定を示している。車両100は、2つのレーン、すなわち、右レーン104及び左レーン106、を有する道路102上において走行中であってよい。車両100は、左レーン106上において貨物トラック108に続行している最中であってよい。演算システムは、車両100が貨物トラック108に続行することを維持するべきかまたは右レーン104に変更するべきかを判定する必要があり得るが、これは、2つの潜在的な軌跡、すなわち、それぞれ、軌跡110及び軌跡112、によって示されている。図1Bは、自転車レーンの近傍を走行している車両の例示用の軌跡判定を示している。車両100は、自転車レーン116に隣接したレーン114において走行中であってよい。自転車レーン116には、サイクリスト118が存在し得る。車両100は、背後からサイクリスト118に接近中であってよい。従って、演算システムは、車両100が直進を維持するべきかまたはサイクリストとの衝突を回避するためにわずかに左に走行し次いでレーンの中央に戻るべきかを判定する必要があり得るが、これは、2つの潜在的な軌跡、すなわち、それぞれ、軌跡120及び軌跡122、によって示されている。図1Cは、交差点で曲がる車両の例示用の軌跡判定を示している。車両100がレーン124から左に曲がる必要があり得る一方で、車両100の近傍には、レーン128から左に曲がる最中の別の車両126も存在している。車両126の潜在的な軌跡は、軌跡130であってよい。演算システムは、レーン134の中央において終端した軌跡132を使用して左に曲がるのかまたはレーン境界線138に近接して終端した軌跡136を使用して左に曲がるのかを判定する必要があり得る。図1Dは、一時停止標識に接近している車両の例示用の軌跡判定を示している。演算システムは、車両100が、一時停止標識140に、例えば、25マイル/時などの安定した速度によって接近するべきか、あるいは、例えば、20マイル/時、次いで、10マイル/時、次いで、5マイル/時などの徐々に低減された速度によって接近するべきかを判定する必要があり得る。これらの2つの選択肢は、それぞれ、軌跡142及び軌跡144によって示すことができる。図1A~図1Dにおけるシナリオの場合には、演算システムは、異なるファクタによって評価された異なるコストの組を最適化することにより、計画軌跡を判定することができる。一例として、限定を伴うことなしに、車両100がその他のエージェントに衝突するコストは、極めて大きなものになり得る。別の例として、限定を伴うことなしに、レーン境界を跨ぐコストは、非常に大きなものになり得る。また、さらに別の例として、限定を伴うことなしに、車両100が大きな横方向加速度または大きな横方向ジャークによって走行するコストも、大きなものになり得るが、その理由は、その結果、車両100内の乗員が不快感を感じるからである。従って、それぞれの潜在的な軌跡のコストを正確に判定しコストに基づいて計画軌跡を選択することが重要である。
潜在的な軌跡のコストの判定は、車両100の移動制限に基づいて判定された手動設計された(hand-engineered)コストの組に基づいたものであってよい。一例として、限定を伴うことなしに、コストの1つは、ペナルティが科されたジャークに基づいたものであってよい。ペナルティが科されたジャークは、なんらかの重みによってペナルティが科された軌跡に沿ったすべてのジャークの合計であってよい。従って、すべてのこれらの異なるコストを極小化させる軌跡を車両100が前進する際に採用するべき計画軌跡として判定することができる。手動設計されたコストに基づいて、コストボリューム(cost volume)を生成することができる。空間及び時間に基づき得るコストボリュームは、異なる時点における潜在的な軌跡と関連するそれぞれの場所と関連するコスト情報を提供することができる。手動設計されたコストを使用する代わりに、コストボリュームは、機械学習モデルにより、観察された走行挙動から直接的に学習することもできる。コストボリュームにより、演算システムは、例えば、すべての10センチメートルの走行の後などように頻繁に、コストボリュームにおいてそれぞれの潜在的な軌跡と関連付けられたコストをルックアップすることができると共に、次いで、コストに基づいて最良の軌跡を選択することができる。
コストボリュームを生成するための手動設計されたコストの使用は、制限を有する場合がある。第1に、手動設計されたコストから生成されたコストボリュームは、車両100が非エッジケースにおいてその他のエージェントとどのようにやり取りするべきかを効果的に処理しない場合がある。非エッジケースは、例えば、エージェントをどれだけ滑らかに通過するかなどのように、エレガンスに関係付けられる場合がある。例えば、車両100が、サイクリスト118を通過する前に、わずかに減速するべきか、あるいは、車両100が、より高速で進行するべきか、車両100がサイクリスト118から維持するべき正確な距離はいくらか、などである。第2に、膨大な数の走行シナリオが存在し得ることから、手動設計されたコストの判定は、スケーリングが困難になり得る。第3に、手動設計されたコストは、問題ドメインに関するエキスパート知識を必要とする場合があり、時間を所要する場合がある。最後に、手動設計されたコストの設計は、人間が投入し得る複雑さによって制限される場合がある。コストボリュームについて学習するための機械学習モデルの使用は、観察された走行挙動から学習することにより、手動設計されたコストの制限に対処するのに有用であり得る。但し、観察された走行挙動にのみ基づくことも、制限を有し得る。第1に、学習された機械学習モデルの解釈可能性が存在し得ない。第2に、コストボリュームが、観察された走行挙動にのみ基づいて生成されていることから、コストボリュームは、提供されたデータと同程度にしか完全なものとなり得ない。一例として、限定を伴うことなしに、観察された走行挙動が特定のシナリオを欠いている場合には、コストボリュームは、そのようなシナリオのコストを十分に反映しない場合がある。第3に、すべてのものが、観察された走行挙動から学習されていることからコストを定義することが困難であるのに伴って、これは、柔軟性を欠いている場合がある。その結果、コストを算出する際に観察された走行挙動において必ずしも反映されていないいくつかの移動制限の使用を所望した場合には、シミュレーションまたは手動的な実行を介してこれらの移動制限を内蔵したデータを生成することが必要となり得るが、これは、費用を所要する場合があり、スケーリングが困難となる場合がある。最後に、しばしば、不良な走行習慣(例えば、恐らくは、観察された走行挙動が過剰なあおり運転を含んでいる)からの学習を所望しない場合がある。
コストボリュームを生成するための2つの上述の方式の両方のものの欠点に対処するために、本明細書において開示されている実施形態は、観察された走行挙動のみならず、手動設計されたコストにも基づいてコストボリュームを生成し、相応して軌跡のコストを判定している。手動設計されたコストと観察された走行挙動の統合は、両方の世界から利点を導入することができる。本明細書において開示されている実施形態は、複数の手動設計されたコストを機械学習モデルの学習に内蔵することができる。特定の実施形態において、演算システムは、車両100の移動制限の組に基づいて環境内の車両100の複数の潜在的な軌跡と関連する初期コストボリュームを判定することができる。次いで、演算システムは、初期コストボリューム及び環境と関連する環境データを使用してデルタコストボリュームを生成することができる。特定の実施形態において、デルタコストボリュームは、観察された走行挙動を内蔵した初期コストボリュームに対する調節を判定することにより、生成することができる。演算システムは、初期コストボリューム及びデルタコストボリュームに基づいて車両100の複数の潜在的な軌跡のうちの1つの軌跡をさらに採点することができる。
図2は、例示用のコスト評価を示している。コスト評価は、レーンにおいて走行している車両100についてのものであってよい。車両100は、黒色ドット202によって表記することができる。横方向は、レーン境界との関係における方向を通知し得る。図2に示されているように、車両100がレーンの中心204から遠くに逸脱するほど、コストが大きくなっている。図2は、コストが徐々に低減されるのに伴って、車両100の好適な軌跡206が中央204に向かって進行中であり得ることを通知することができる。
図3は、初期コストボリュームと最終的コストボリュームの間の例示用の差を示している。図3に示されているように、コストボリューム300は、(x及びy軸によって表記された)空間及び(t軸によって表記された)時間に基づいた3次元容積として視覚化することができる。コストボリューム300は、複数のタイムスタンプ(例えば、t及びt)と関連するそれぞれの潜在的な軌跡に沿った複数の場所におけるコスト計測を有することができる。特定の実施形態において、初期コストボリュームは、複数のタイムスタンプと関連する複数の潜在的な軌跡のそれぞれに沿った複数の場所における初期コスト計測を有することができる。初期コストボリュームは、初期コスト計測値によってエンコーディングされたセルを有する3次元ルックアップテーブルとして実施することができる。一例として、限定を伴うことなしに、tにおける初期コストボリュームのスライス302は、x-y軸による異なる場所においていくつかのコスト計測値を有することができる。別の例として、限定を伴うことなしに、tにおける初期コストボリュームのスライス304は、x-y軸による異なる場所におけるいくつかのコスト計測値を有することができる。
特定の実施形態において、演算システムは、初期コストボリュームとデルタコストボリュームの加算に基づいて最終的コストボリュームを生成することができる。最終的コストボリュームは、複数のタイムスタンプと関連する複数の場所における最終的コスト計測を有することができる。それぞれの最終的コスト計測は、初期コスト計測に対する調節を有することができる。特定の実施形態において、演算システムは、最終的コストボリュームのそれぞれの最終的コスト計測が閾値計測を超えることをデルタコストボリュームが保証していることを判定することができる。同様に、演算システムは、最終的コストボリュームを最終的コスト計測値によってエンコーディングされたセルを有する3次元ルックアップテーブルとして実施することもできる。一例として、限定を伴うことなしに、tにおける最終的コストボリュームのスライス306は、x-y軸による異なる場所におけるいくつかのコスト計測値を有することができる。スライス306をスライス302と比較することにより、これらのコスト計測値が、対応する場所における初期コストボリューム内のものから調節されることがわかる。例えば、tにおける場所310の場合には、初期コスト計測値は、スライス302に従って0.5であり得る一方で、最終的コスト計測値は、-0.1の調節に起因して、スライス306に従って0.4であり得る。別の例として、限定を伴うことなしに、tにおける最終的コストボリュームのスライス308は、x-y軸による異なる場所におけるいくつかのコスト計測値を有することができる。また、スライス308をスライス304と比較することにより、これらのコスト計測値も、対応する場所における初期コストボリューム内のものから調節されることがわかる。例えば、tにおける場所320の場合には、初期コスト計測値は、スライス304に従って0.3であり得る一方で、最終的コスト計測値は、0.3の調節に起因して、スライス308に従って0.6であり得る。特定の実施形態において、初期コストボリュームまたは最終的コストボリュームと関連するコスト計測は、位置コスト、速度コスト、操向角度に基づいたコスト、加速度コスト、ジャークコスト、任意の適切なコスト、またはこれらの任意の適切な組合せの1つまたは複数に基づいたものであってよい。速度コスト、操向角度に基づいたコスト、加速度コスト、またはジャークコストは、手動設計されていてもよく、あるいは、観察された走行挙動から機械学習されていてもよい。一例として、限定を伴うことなしに、tにおける場所310の場合には、位置コストは、この時点においてこの場所に位置している車両のコストを通知し得る一方で、速度コストは、特定の速度によって走行しているこの時点においてこの位置にある車両のコストを通知することができる。
図4は、最終的コストボリュームを生成する例示用のアーキテクチャを示している。図4に示されているように、車両100の移動制限の組に基づいて、環境内の車両100について初期コストボリューム402を判定することができる。一例として、限定を伴うことなしに、移動制限の組は、車両100がレーン境界までの距離を維持するべきであるという制限を有し得る。別の例として、限定を伴うことなしに、移動制限の組は、車両100がその他のエージェントに対して過剰に近接するべきではないという制限を有し得る。さらに別の例として、限定を伴うことなしに、移動制限の組は、大きなジャークまたは大きな加速度が存在するべきではないという制限を有することができる。
特定の実施形態において、演算システムは、環境と関連する環境データ404にアクセスすることができる。演算システムは、車両100及び環境内の車両100の周りのエージェントの1つまたは複数のトップダウン画像をラスタ化することにより、環境データ404を生成することができる。従って、環境データ404は、車両100とエージェントとの間の距離、走行環境と関連するレーン境界、車両100及びエージェントの速度、車両100及びエージェントの走行方向、車両100とエージェントの間のイールド関係、車両100及びエージェントの場所、及びこれらに類似したものの1つまたは複数を有する情報を有することができる。
特定の実施形態において、次いで、演算システムは、機械学習モデルに基づいて、観察された走行挙動を内蔵した初期コストボリューム402に対する調節を判定することができる。機械学習モデルは、観察された走行データ(例えば、現実世界道路ミッション、シミュレーション、など)に基づいてトレーニングされてもよく、これにより、自身が、調節を判定する際に観察された走行挙動を内蔵し得ることを許容している。特定の実施形態において、機械学習モデルは、畳み込みニューラルネットワーク(CNN)406に基づいたものであってよい。CNN406は、初期コストボリューム402及び環境データ404の両方に基づいて、図4において示されているように、調節、すなわち、デルタコストボリューム408、をさらに判定することができる。次いで、演算システムは、最終的コストボリューム410を生成するために、デルタコストボリューム408及び初期コストボリューム402を統合することができる。
一例として図1Bのシナリオを取り上げれば、図4に示されている最終的コストボリューム410の生成は、以下のように直観的に説明することができる。移動制限は、車両100がレーン境界を越えないことを必要とし得る。従って、初期コストボリューム402は、軌跡がレーン114の左レーン境界を越えた場合の大きなコストを有することができる。環境データ404には、車両100、(サイクリスト118を含む)その他のエージェント、及びエンコーディングされたレーン境界が存在し得る。CNN406は、環境データ404からすべてのこのような情報を学習することができる。サイクリスト118の脇を通るシナリオの場合には、人間運転者は、しばしば、サイクリスト118から離れた状態において走行してもよく、サイクリスト118の脇を通ってもよく、この場合には、左レーン境界をわずかに超え、次いで、レーン114に戻るように走行してもよい。CNN406は、車両100が、左レーン境界をわずかに越えている場合にも、相対的に離れた状態においてサイクリスト118を通過するべきであることを通知するこのような挙動を学習することができる。その結果、左境界を越えることについて初期コストボリューム402からコストを少し引き下げることを所望してもよく、その理由は、これにより、車両100が、知覚された安全性及びエレガンスを伴って効率的にサイクリスト118の脇を通ることが許容され得るからである。このような目的のために、CNN406は、初期コストボリューム402に対する調節、すなわち、デルタコストボリューム408、を判定することができる。デルタコストボリューム408を初期コスト402と組み合わせることにより、演算システムは、軌跡122が左境界を越える場合のコストを減少させるが軌跡120がサイクリスト118に近接した場合のコストを増大させる最終的コストボリューム410を生成することができる。従って、このような軌跡は、人間走行軌跡に可能な限り近接することができる。
特定の実施形態において、演算システムは、観察された走行挙動を通知する複数のトレーニングデータに基づいて機械学習モデルをトレーニングすることができる。観察された走行挙動を通知する複数のトレーニングデータは、画像、ビデオ、LiDARポイントクラウド、レーダー信号、またはこれらの任意の組合せを有するキャプチャされたセンサデータを有することができる。トレーニングプロセスは、以下の例によって例示することができる。演算システムは、特定の走行環境用の複数の軌跡を生成することができる。その一方で、例えば、最良の軌跡として見なされる環境と関連する人間走行軌跡などの既定の軌跡が存在し得る。機械学習モデルは、デルタコスト関数を有することができる。初期コストボリューム402及びトレーニングデータに基づいて、演算システムは、機械学習モデルを使用することにより、予測されたデルタコストボリューム408を判定することができる。次いで、演算システムは、初期コストボリューム402及び予測されたデルタコストボリューム408に基づいて複数の軌跡から1つの軌跡を選択することができる。具体的には、これは、一時的な最終的コストボリューム410を生成するために、予測されたデルタコストボリューム408を初期コストボリューム402に適用するステップを有することができる。一時的な最終的コストボリューム410を使用することにより、演算システムは、最良の軌跡、すなわち、最も小さなコストを有するもの、を特定することができる。次いで、演算システムは、差を算出するために、選択された軌跡を既定の軌跡と比較することができる。演算システムは、比較に基づいて機械学習モデルをさらに更新することができる。差は、その最適化のために、機械学習モデルに逆伝播させることができる。一例として、限定を伴うことなしに、差は、損失を出力し得るデルタコスト関数に供給されてもよい。次いで、演算システムは、損失が極小化されたかどうかを判定してもよく、これは、いくつかの反復に基づき得る。例えば、t番目の反復において、損失は、以前の(t-1)番目の反復における損失と比較することができる。t番目の反復における損失が(t-1)番目の反復における損失を超える場合には、演算システムは、機械学習モデルのパラメータを更新することができる。トレーニングは、(t+1)番目の反復に継続することができる。(t+1)番目の反復において、演算システムは、更新された機械学習モデルを使用することにより、予測されたデルタコストボリューム408を更新してもよく、初期コストボリューム402及び更新された予測されたデルタコストボリューム408に基づいて軌跡を再選択してもよく、再選択された軌跡と既定の軌跡の間の差を算出してもよく、差に基づいて損失を出力してもよく、損失をt番目の反復においる損失と比較してもよい。(t+1)番目の反復における損失が、t番目の反復における損失以下である場合には、演算システムは、最適化されたものとして、機械学習モデルによるトレーニングを終了することができる。(t+1)番目の反復における損失が、依然として、t番目の反復における損失を超える場合には、トレーニングプロセスは、損失が極小化される時点まで、更なる反復によって進行し得る。
図5A~図5Dは、図1A~図1Dにおけるシナリオの初期コストボリューム402を使用した2つの軌跡の間の例示用のコスト比較を示している。x軸は、横方向を示しており、y軸は、垂直方向を示しており、tは、時間を示している。図5Aは、図1Aにおけるシナリオの初期コストボリューム402を使用した2つの軌跡の間の例示用のコスト比較を示している。時間tは、開始点であってもよく、この場合には、演算システムは、それぞれの潜在的な軌跡ごとのコストを判定する必要がある。従って、軌跡110及び軌跡112は、いずれも、同じ場所におけるものであってよく、これらのコストは、両方とも、0.1であってよい。一例として、限定を伴うことなしに、演算システムは、図3のスライス302に類似したルックアップテーブルをチェックすることができる。演算システムは、両方の軌跡の場所を識別することができると共に、次いで、その場所における初期コスト計測を取得することができる。時点tにおいて、軌跡110は、まっすぐの状態を維持し得る一方で、軌跡112は、レーン104に変更するために右に向かって移動中であってもよい。初期コストボリューム402に従って、軌跡110のコストは、0.3であってよく、軌跡112のものは、0.7であってよい(すなわち、コストは、レーン変更のプロセスにおいては大きい)。一例として、限定を伴うことなしに、演算システムは、図3におけるスライス304に類似したルックアップテーブルをチェックすることができる。演算システムは、両方の軌跡の場所を識別することができると共に、次いで、2つの軌跡の個々の場所における初期コスト計測を取得することができる。時点tにおいて、軌跡110は、依然として真っすぐな状態を維持し得る一方で、軌跡112は、レーン変更を完了する最中であってもよい。初期コストボリューム402に従って、軌跡110のコストは、0.5であってよく、軌跡112のものも、0.5であってよい(レーン変更は完了しており、車両100は、コストが減少するように再度レーン112の中央に位置している)。比較は、車両100がレーン内において留まるように試みレーン変更を回避するべきであるという移動制限に基づいて初期コストボリューム402が生成された結果であり得る。
図5Bは、図1Bのシナリオの初期コストボリューム402を使用した2つの軌跡の間の例示用のコスト比較を示している。時点tは、開始点であってもよく、この場合には、演算システムは、サイクリスト118の脇を通るためのそれぞれの潜在的な軌跡ごとのコストを判定する必要がある。従って、軌跡120と軌跡122の両方は、同一の場所におけるものであってよく、これらのコストは、両方とも、0.1であってよい。時点tにおいて、軌跡120は、真っすぐな状態を維持し得る一方で、軌跡122は、左境界を越えて少しだけ左に向かって移動中であってもよい。初期コストボリューム402に従って、軌跡120のコストは、0.1であってよく、軌跡122のものは、0.3であってよい(すなわち、コストは大きく、その理由は、車両100が左レーン境界を通過しているからである)。時点tにおいて、軌跡120は、依然として、真っすぐな状態を維持し得る一方で、軌跡120は、レーン114の中央に戻るように右に向かって移動中であってよい。初期コストボリューム402に従って、軌跡120のコストは、0.1であってよく、軌跡122のものは、0.2であってよい(車両100は、コストが減少するように、再度、レーン境界内に位置している)。両方のコストが減少し得るが、これは、車両100がサイクリスト118の脇を通り終えたことに起因し得ることに留意されたい。比較は、車両100がレーン内において留まるように試みレーン境界を越えるべきではないという移動制限に基づいて初期コストボリューム402が生成されていることの結果であり得る。
図5Cは、図1Cのシナリオの初期コストボリューム402を使用した2つの軌跡の間の例示用のコスト比較を示している。時点tは、開始点であってもよく、この場合に、演算システムは、左に曲がるためにそれぞれの潜在的な軌跡ごとにコストを判定する必要がある。従って、両方の軌跡132及び軌跡136は、同一の場所に位置し得ると共に、これらのコストは、両方とも、0.1であってよい。時点tにおいて、初期コストボリューム402に従って、軌跡132のコストは、0.4であってよく、軌跡136のものは、0.6であってよい。時点tにおいて、軌跡132は、レーン134の中央において終端し得る一方で、軌跡136は、レーン境界線138に相対的に近接した状態において終端し得る。初期コストボリューム402に従って、軌跡132のコストは、0.2であってよく、軌跡136のものは、0.5であってよい。比較は、左に曲がる際に車両100はターゲットレーンの中央において終端するように試みるべきであるという移動制限に基づいて初期コストボリューム402が生成されたことの結果であり得る。移動制限は、左に曲がる別の車両126も存在しており、その潜在的な軌跡130は、車両100について特定程度のリスクを課し得るという状況を見落とし得る。
図5Dは、図1Dのシナリオの初期コストボリューム402を使用した2つ軌跡の間の例示用のコスト比較を示している。時点tは、開始点であってもよく、この場合に、演算システムは、一時停止標識140に接近するためにそれぞれの潜在的軌跡ごとのコストを判定する必要がある。従って、両方の軌跡142及び軌跡144は、同一の場所におけるものであってよく、これらのコストは、両方とも、0.1であってよい。時点tにおいて、軌跡144は、速度を低減し得る一方で、軌跡142は、オリジナルの速度を維持することができる。初期コストボリューム402に従って、軌跡144のコストは、0.2であってよく、軌跡142のものは、0.5であってよい。時点tにおいて、軌跡144は、速度の低減を継続し得る一方で、軌跡142は、オリジナルの速度によって継続することができる。初期コストボリューム402に従って、軌跡144のコストは、0.2であってよく、軌跡142のものは、0.5であってよい。比較は、車両100は一時停止標識140に接近する際には相対的に時間において早期に減速を開始するべきであるという移動制約に基づいて初期コストボリューム402が生成されたことの結果であり得る。初期コストボリューム402は、過剰に高速で一時停止標識140に接近することに対してペナルティを科すことができる。
図6A~図6Dは、図1A~図1Dのシナリオの最終的コストボリューム410を使用した2つの軌跡の間の例示用のコスト比較を示している。x軸は、横方向を示しており、y軸は、垂直方向を示しており、tは、時間を示している。図6Aは、図1Aのシナリオの最終的コストボリューム410を使用した2つの軌跡の間の例示用のコスト比較を示している。時点tは、開始点であってもよく、この場合に、演算システムは、それぞれの潜在的軌跡ごとにコストを判定する必要がある。従って、両方の軌跡110及び軌跡112は、同一の場所におけるものであってよく、これらのコストは、両方とも、0.1であってよい。一例として、限定を伴うことなしに、演算システムは、図3のスライス306に類似したルックアップテーブルをチェックすることができる。演算システムは、両方の軌跡の場所を識別することができると共に、次いで、その場所の最終的コスト計測を取得することができる。時点tにおいて、軌跡110は、まっすぐな状態を維持し得る一方で、軌跡112は、レーン104に変更するために右に向かって移動中であってもよい。差分コストボリューム410に従って、軌跡110のコストは、0.4であってよく、軌跡112のものは、0.3であってよい。一例として、限定を伴うことなしに、演算システムは、図3のスライス308に類似したルックアップテーブルをチェックすることができる。演算システムは、両方の軌跡の場所を識別し得ると共に、次いで、2つの軌跡の個々の場所の最終的コスト計測を取得することができる。軌跡110のもの未満である軌跡112のコストは、貨物トラック108に続行している際にレーンの変更を促す初期コストボリューム402に対する調節に起因したものであり得る。このような調節は、人間運転者が通常貨物トラック108に近接した状態において続行することを回避し相対的に良好な視野を有するためにレーン変更を実施することを通知する観察された走行挙動から学習することができる。時点tにおいて、軌跡110は、依然として、真っすぐな状態を維持し得る一方で、軌跡112は、レーン104に変更するために右に向かって移動中であってよい。最終的コストボリューム410に従って、軌跡110のコストは、0.5であってよく、軌跡112のものは、0.3であってよい。これは、貨物トラック108に続行している際のレーンの変更のコストを低減するための初期コストボリューム402に対する調節に起因したものであり得る。最終的コストボリューム410は、初期コストボリューム402及び観察された走行挙動の両方に基づいて生成されてもよく、これより、安全性のみならず、エレガンスをも保証するという利点がもたらされている。
図6Bは、図1Bのシナリオの最終的コストボリューム410を使用した2つの軌跡の間の例示用のコスト比較を示している。時点tは、開始点であってもよく、この場合に、演算システムは、サイクリスト118の脇を通るためのそれぞれの潜在的な軌跡のコストを判定する必要がある。従って、軌跡120及び軌跡122の両方は、同一の場所に位置していてもよく、これらのコストは、両方とも、0.1であってよい。時点tにおいて、軌跡120は、真っすぐな状態を維持し得る一方で、軌跡120は、少しだけ左境界を越えて左に向かって移動中であってよい。最終的コストボリューム410に従って、軌跡120のコストは、0.2であってよく、軌跡122のものは、0.1であってよい。これは、レーン境界を越える場合にもサイクリスト118からさらに離れるように車両100を促す初期コストボリューム402に対する調節に起因し得る。また、初期コストボリューム402に対する調節は、車両100がサイクリスト118に過剰に近接することに対してペナルティを科すこともできる。このような調節も、同様に、観察された走行挙動から学習することができる。時点tにおいて、軌跡120は、依然として真っすぐな状態を維持し得る一方で、軌跡122は、レーン114の中央に戻るように右に向かって移動中であってよい。最終的コストボリューム410に従って、軌跡120のコストは、0.1であってよく、軌跡122のものは、0.08であってよい。最終的コストボリューム410は、初期コストボリューム402及び観察された走行挙動の両方に基いて生成されてもよく、これにより、安全性のみならず、エレガンスをも保証するという利点がもたらされている。
図6Cは、図1のシナリオの最終的コストボリューム410を使用した2つの軌跡の間の例示用のコスト比較を示している。時点tは、開始点であってもよく、この場合に、演算システムは、左に曲がるためにそれぞれの潜在的な軌跡ごとにコストを判定する必要がある。従って、軌跡132及び軌跡136の両方は、同一の場所に位置していてもよく、これらのコストは、両方とも、0.1であってよい。時点tにおいて、最終的コストボリューム410に従って、軌跡132のコストは、0.45であってよく、軌跡136のものは、0.3であってよい。時点tにおいて、軌跡132は、レーン134の中央において終端し得る一方で、軌跡136は、レーン境界線138に相対的に近接した状態において終端することができる。最終的コストボリューム410に従って、軌跡132のコストは、0.4であってよく、軌跡136のものは、0.2であってよい。比較は、初期コストボリューム402に対する調節がこちらも左に曲がっている別の車両126からさらに離れるように車両100を促していることを通知し得る。また、初期コストボリューム402に対する調節は、車両100が、左に曲がるその他の車両126に近接することに対してペナルティを科すこともできる。このような調節は、同様に、観察された走行挙動から学習されてもよく、その理由は、人間は、通常、安全でありその実行が交通規則に違反していない場合には、可能な際には常に、別の車両から相当な距離を維持し得るからである。その結果、最終的コストボリューム410は、安全性のみならず、エレガンスをも保証するという利点を有することできる。
図6Dは、図1Dのシナリオの最終的コストボリューム410を使用した2つの軌跡の間の例示用のコスト比較を示している。時点tは、開始点であってもよく、この場合に、演算システムは、一時停止標識140に接近するためにそれぞれの潜在的な軌跡のごとにコストを判定する必要がある。従って、軌跡142及び軌跡144の両方は、同一の場所に位置していてもよく、これらのコストは、両方とも0.1であってよい。時点tにおいて、軌跡144は、速度を低減し得る一方で、軌跡142は、オリジナルの速度を維持することができる。最終的コストボリューム410に従って、軌跡144のコストは、0.1であってよく、軌跡142のものは、0.6であってよい。時点tにおいて、軌跡144は、速度の低減を継続し得る一方で、軌跡142は、オリジナルの速度によって継続することができる。差分コストボリューム410に従って、軌跡144のコストは、0.1であってよく、軌跡142のものは、0.9であってよい。比較は、初期コストボリューム402に対する調節が一時停止標識140に接近する際には時間において相対的に早期に減速を開始するように車両100を促していることを通知し得る。初期コストボリューム402に対する調節は、過剰に高速で一時停止標識140に接近することに対してさらにペナルティを科してもよく、これは、初期コストボリューム402からのものを上回る軌跡142のコストによって反映されている。観察され得るように、最終的コストボリューム410は、一時停止標識140に接近する方法を評価することに関して初期コストボリューム402との間において一貫性を有し得る。これが意味をなし得る理由は、徐々に低減された速度で一時停止標識140に接近することは、移動制限によって規定され得るのみならず、観察された走行挙動によって反映され得るからである(すなわち、人間運転者は、多くの場合に、一時停止標識140に接近する際に減速している)。
特定の実施形態において、演算システムは、初期コストボリューム402及びデータコストボリューム408に基づいて車両100の複数の残りの潜在的な軌跡を採点することができる。換言すれば、演算システムは、最終的コストボリューム410を使用して潜在的な軌跡を採点することができる。コストが小さいほど、スコアは大きくなり得る。特定の実施形態において、車両100の軌跡を採点することは、軌跡のコストを判定するステップを有することができる。判定は、以下のステップを有することができる。演算システムは、第1に、複数のタイムスタンプと関連する複数の場所からの軌跡の複数の候補タイムスタンプと関連する複数の候補場所を識別することができる。次いで、演算システムは、軌跡の複数の候補タイムスタンプと関連する複数の候補場所に対応した複数の最終的コスト計測を判定することができる。演算システムは、複数の最終的コスト計測に基づいて軌跡のコストをさらに判定することができる。次いで、特定の実施形態において、演算システムは、その個々のスコアに基づいて複数の潜在的な軌跡をランク付けすることができる。演算システムは、個々のスコアを使用することにより、複数の潜在的な軌跡からトップにランク付けされた潜在的な軌跡を車両100用の計画軌跡としてさらに選択することができる。図6A~図6Dのシナリオを例として取り上げれば、演算システムは、計画軌跡を以下のように判定することができる。図6Aのシナリオの場合には、演算システムは、軌跡110及び軌跡112を採点するために最終的コストボリューム410を使用することができる。演算システムは、軌跡110のものを上回るそのスコアに基づいて計画軌跡として軌跡112を選択してもよく、これは、車両100が、貨物トラック108に続行することを回避するためにレーンを変更するべきであることを通知している。図6Bのシナリオの場合には、演算システムは、軌跡120及び軌跡122を採点するために最終的コストボリューム410を使用することができる。演算システムは、軌跡120のものを上回るそのスコアに基づいて軌跡122を計画軌跡として選択してもよく、これは、車両100が、左境界をわずかに越える場合にもサイクリスト118からさらに離れるように走行するべきであることを通知している。図6Cのシナリオの場合には、演算システムは、軌跡132及び軌跡136を採点するために最終的コストボリューム410を使用することができる。演算システムは、軌跡132のものを上回るそのスコアに基づいて計画軌跡として軌跡136を選択してもよく、これは、車両100が、こちらも左に曲がっているその他の車両126に対して可能な限り大きな距離を伴って左に曲がるべきであることを通知している。図6Dのシナリオの場合には、演算システムは、軌跡142及び軌跡144を採点するために最終的コストボリューム410を使用することができる。演算システムは、軌跡142のものを上回るそのスコアに基づいて計画軌跡として軌跡144を選択してもよく、これは、車両100が一時停止標識140に接近する際には時間的に早期に減速を開始するべきであることを通知している。
図7は、車両用の計画軌跡を判定する例示用の方法700を示している。方法は、ステップ710において開始してもよく、この場合に、演算システムは、車両100の移動制限の組に基づいて環境内の車両100の複数の潜在的軌跡と関連する初期コストボリューム402を判定することができる。ステップ720において、演算システムは、初期コストボリューム402及び環境と関連する環境データ404を使用してデルタコストボリューム408を生成してもよく、この場合に、デルタコストボリューム408は、観察された走行挙動を内蔵した初期コストボリューム402に対する調節を判定することにより、生成されている。ステップ730において、演算システムは、初期コストボリューム402及びデルタコストボリューム408の加算に基づいて最終的コストボリューム410を生成してもよく、この場合に、最終的コストボリューム410は、最終的コスト計測を有する。ステップ740において、演算システムは、最終的コストボリューム410のそれぞれの最終的コスト計測が閾値計測を超えることをデルタコストボリューム408が保証しているかどうかを判定することができる。すべての最終的コスト計測が閾値計測を超えるわけではない場合には、方法は、ステップ720~ステップ740を反復することができる。最終的コストボリューム410のそれぞれの最終的コスト計測が閾値計測を超える場合には、方法は、ステップ750に進むことができる。ステップ750において、演算システムは、初期コストボリューム402及びデルタコストボリューム408に基づいて車両100の複数の潜在的な軌跡のうちの1つの軌跡を採点することができる。ステップ760において、演算システムは、初期コストボリューム402及びデルタコストボリューム408に基づいて車両100の複数の残りの潜在的な軌跡を採点することができる。ステップ770において、演算システムは、その個々のスコアに基づいて複数の潜在的な軌跡をランク付けすることができる。ステップ780において、演算システムは、個々のスコアを使用することにより、複数の潜在的な軌跡からトップにランク付けされた潜在的な軌跡を車両100の計画軌跡として選択することができる。特定の実施形態は、適宜、図7の方法の1つまたは複数のステップを反復することができる。本開示は、特定の順序において発生するものとして図7の方法の特定のステップを説明及び図示しているが、本開示は、図7の方法の任意の適切なステップが任意の適切な順序において発生することを想定している。さらには、本開示は、図7の方法の特定のステップを含む車両の計画軌跡を判定する例示用の方法を説明及び図示しているが、本開示は、任意の適切なステップを含む車両の計画軌跡を判定する任意の適切な方法を想定しており、これは、適宜、図7の方法ステップのすべてまたはいくつかを含んでいてもよく、あるいは、いずれをも含んでいなくてもよい。さらには、本開示は、図7の方法の特定のステップを実行する特定のコンポーネント、装置、またはシステムを説明及び図示しているが、本開示は、図7の方法の任意の適切なステップを実行する任意の適切なコンポーネント、装置、またはシステムの任意の適切な組合せを想定している。
図8は、乗車要求者を自律型車両とマッチングする輸送管理環境の例示用のブロック図を示している。特定の実施形態において、環境は、ユーザ801(例えば、乗車提供者または要求者)のユーザ演算装置830、輸送管理システム860、自律型車両840、及び1つまたは複数の第3者システム870などの様々な演算エンティティを含むことができる。演算エンティティは、任意の適切なネットワーク810上において通信自在に接続することができる。一例として、限定を伴うことなしに、ネットワーク810の1つまたは複数の部分は、アドホックネットワーク、エクストラネット、仮想プライベートネットワーク(VPN)、ローカルエリアネットワーク(LAN)、無線LAN(WLAN)、ワイドエリアネットワーク(WAN)、無線WAN(WWAN)、メトロポリタンエリアネットワーク(MAN)、インターネットの一部分、公衆交換電話網(PSTN)の一部分、セルラーネットワーク、または以上のものの任意のものの組合せを含むことができる。特定の実施形態においては、演算エンティティが相互の間において通信することを可能にする任意の適切なネットワーク構成及びプロトコルを使用することができる。図8は、単一のユーザ装置830、単一の輸送管理システム860、単一の車両840、複数の第三者システム870、及び単一のネットワーク810を示しているが、本開示は、これらのエンティティのそれぞれのものの任意の適切な数を想定している。一例として、限定を伴うことなしに、ネットワーク環境は、複数のユーザ801、ユーザ装置830、輸送管理システム860、自律型車両840、第三者システム870、及びネットワーク810を含むことができる。
ユーザ装置830、輸送管理システム860、自律型車両840、及び第三者システム870は、全体的にまたは部分的に相互に通信自在に接続されていてもよくまたは同一の場所に配置されていてもよい。これらの演算エンティティは、異なる送信技術及びネットワークタイプを介して通信することができる。例えば、ユーザ装置830及び車両840は、相互にケーブルまたは近距離無線通信(例えば、Bluetooth(登録商標)、NFC、WI-FI、など)を介して通信することができると共に、これらは、一緒に、装置のいずれか1つからアクセス可能であるセルラーネットワークを介してインターネットに接続することができる(例えば、ユーザ装置830は、LTE接続を有するスマートフォンであってよい)。その一方で、輸送管理システム860及び第三者システム870は、その個々のLAN/WLANネットワーク及びインターネットサービスプロバイダ(ISP)を介してインターネットに接続することができる。図8は、ユーザ装置830、自律型車両840、輸送管理システム860、及び第三者システム870を通信ネットワーク810に接続する送信リンク850を示している。本開示は、例えば、有線接続(例えば、USB、Lightning、DSL(Digital Subscriber Line)、またはDOCSIS(Data Over Cable Service Interface Specification)、無線接続(例えば、WI-FI、WiMAX、セルラー、衛星、NFC、Bluetooth(登録商標)、光接続(例えば、SONET(Synchronous Optical Networking)、SDH(Synchronous Digital Hierarchy))、任意のその他の無線通信技術、及びこれらの任意の組合せを含む任意の適切な送信リンク850を想定している。特定の実施形態において、1つまたは複数のリンク850は、1つまたは複数のネットワーク810に接続していてもよく、これは、部分的に、例えば、アドホックネットワーク、イントラネット、エクストラネット、VPN、LAN、WLAN、WAN、WWAN、MAN、PSTN、セルラーネットワーク、衛星ネットワーク、またはこれらの任意の組合せを含むことができる。演算エンティティは、必ずしも同一のタイプの送信リンク850を使用する必要はない。例えば、ユーザ装置830は、セルラーネットワーク及びインターネットを介して輸送管理システムと通信し得るが、Bluetooth(登録商標または物理的なワイヤ接続を介して自律型車両840と通信することもできる。
特定の実施形態において、輸送管理システム860は、適切な車両を派遣することにより、1つまたは複数のユーザ801のために乗車要求を充足することができる。輸送管理システム860は、任意の数の乗車要求者801から任意の数の乗車要求を受け取ることができる。特定の実施形態においては、乗車要求者801からの乗車要求は、システム860内において乗車要求者を識別する識別子を含むことができる。輸送管理システム860は、要求者801のプライバシー設定に従って乗車要求者801の情報にアクセスしこれを保存するために識別子を使用することができる。乗車要求者801の情報は、輸送管理システム860と関連付けられこれからアクセス可能である1つまたは複数のデータストア(例えば、リレーショナルデータベースシステム)内において保存することができる。特定の実施形態において、乗車要求者情報は、特定の乗車要求者801に関するプロファイル情報を含むことができる。特定の実施形態において、乗車要求者801は、1つまたは複数のカテゴリまたはタイプと関連付けられていてもよく、これを通じて、乗車要求者801は、それらのカテゴリまたはタイプの特定の乗車要求者に関する集計情報と関連付けられていてもよい。乗車情報は、例えば、好ましい乗車及び降車場所、走行の好み(例えば、安全快適性レベル、好ましい速度、加速/減速のレート、様々な速度において移動している際のその他の車両からの安全距離、ルート、など)、エンターテインメントの好み及び設定(例えば、好ましい音楽ジャンルまたは再生リスト、オーディオ音量、表示輝度、など)、温度設定、運転者との間の会話が歓迎されるかどうか、頻繁な目的地、履歴乗車パターン(例えば、移動の時刻、開始及び終了場所、など)、好ましい言語、年齢、性別、または任意のその他の適切な情報を含むことができる。特定の実施形態において、輸送管理システム860は、(例えば、機械学習クラシファイアを使用して)ユーザ801に関する既知の情報に基づいてユーザ801を分類することができると共に、そのクラスと関連付けられた関連する集計情報を取得するために分類を使用することできる。例えば、システム860は、ユーザ801を若い成人として識別することができると共に、若い成人が一般に好む音楽のタイプなどの若い成人と関連付けられた関連する集計情報を取得することができる。
また、輸送管理システム860は、乗車情報を保存することができると共にこれにアクセスすることができる。乗車情報は、乗車に関係する場所、交通データ、ルート選択肢、乗車用の最適な乗車または降車場所、または乗車と関連する任意のその他の適切な情報を含むことができる。一例として、限定を伴うことなしに、輸送管理システム860がサンフランシスコ国際空港(SFO)からカリフォルニア州のパロアルトに移動するという要求を受け取った際に、システム860は、この特定の乗車要求の任意の関連する乗車情報にアクセスしてもよくまたはこれを生成することができる。乗車情報は、例えば、SFOにおける好ましい乗車場所、乗車場所が乗車要求者に適していない(例えば、乗車要求者が障害を有しており、乗車場所にアクセスすることができない)またはさもなければ乗車場所が工事、交通の輻輳、乗車/降車規則の変更、または任意のその他の理由に起因して利用不能である場合の代替乗車場所、SFOからパロアルトまでナビゲートするための1つまたは複数のルート、ユーザのタイプ用の好ましい出口ランプ、または乗車と関連する任意のその他の適切な情報を含むことができる。特定の実施形態において、乗車情報の一部分は、システム860によって促進された履歴乗車と関連する履歴データに基づいたものであってよい。例えば、履歴データは、過去の乗車情報に基づいて生成された集計情報を含んでいてもよく、これは、本明細書において記述されている任意の乗車情報及び自律型車両及び/またはユーザ装置内のセンサによって収集されたテレメトリデータを含むことができる。履歴データは、特定のユーザ(例えば、その特定のユーザの好み、共通ルート、など)、ユーザのカテゴリ/クラス(例えば、人口統計に基づいたもの)、及び/またはシステム860のすべてのユーザと関連付けられていてもよい。例えば、単一のユーザに固有の履歴データは、ユーザが乗車及び降車した場所、ユーザが聴取を所望する音楽、乗車と関連するトラフィック情報、ユーザが最も頻繁に乗車した時刻、及びユーザに固有の任意のその他の適切な情報を含むその特定のユーザが実施した過去の乗車に関する情報を含むことができる。別の例として、ユーザのカテゴリ/クラスと関連する履歴データは、例えば、ポップミュージックを好む十代の若者、金融街に頻繁に通う乗車要求者はニュースの聴取を所望し得る、などのような、そのカテゴリ/クラス内のユーザに共通するまたは人気のある乗車の好みを含み得る。さらに別の例として、すべてのユーザと関連する履歴データは、交通及び乗車パターンなどの一般的な使用の傾向を含むことができる。履歴データを使用することにより、特定の実施形態におけるシステム860は、乗車要求に応答して乗車示唆を予測することができると共にこれを提供することができる。特定の実施形態において、システム860は、ニューラルネットワーク、回帰アルゴリズム、インスタンスに基づいたアルゴリズム(例えば、k近傍法)、決定木アルゴリズム、ベイズアルゴリズム、クラスタリングアルゴリズム、相関ルール学習アルゴリズム、深層学習アルゴリズム、次元削減アルゴリズム、アンサンブルアルゴリズム、及び当業者には既知の任意のその他の適切な機械学習アルゴリズムなどの機械学習を使用することができる。機械学習モデルは、ラベル付与されたトレーニングデータに基づいた教師付き学習、ラベル付与されていないトレーニングデータに基づいた教師なし学習、並びに/またはラベル付与された及びラベル付与されていないトレーニングデータの混合体に基づいた半教師付き学習を含む任意の適切なトレーニングアルゴリズムを使用してトレーニングすることができる。
特定の実施形態において、輸送管理システム860は、1つまたは複数のサーバコンピュータを含むことができる。それぞれのサーバは、単一のサーバであってもよく、あるいは、複数のコンピュータまたは複数のデータセンタに跨る分散型のサーバであってもよい。サーバは、例えば、限定を伴うことなしに、ウェブサーバ、ニュースサーバ、メールサーバ、メッセージサーバ、広告サーバ、ファイルサーバ、アプリケーションサーバ、交換サーバ、データベースサーバ、プロキシサーバ、本明細書において記述されている機能またはプロセスを実行するのに適した別のサーバ、あるいは、これらの任意の組合せなどの様々なタイプであってよい。特定の実施形態において、それぞれのサーバは、サーバによって実装またはサポートされている適切な機能を実行するハードウェア、ソフトウェア、または埋め込み型のロジックコンポーネント、あるいは、2つ以上のこのようなコンポーネントの組合せを含むことができる。特定の実施形態において、輸送管理システム860は、1つまたは複数のデータストアを含むことができる。データストアは、乗車情報、乗車要求者情報、乗車提供者情報、履歴情報、第三者情報、または任意のその他の適切なタイプの情報などの様々なタイプの情報を保存するために使用することができる。特定の実施形態において、データストア内において保存されている情報は、特定のデータ構造に従って編成することができる。特定の実施形態において、それぞれのデータストアは、リレーショナル、カラム型、相関、または任意のその他の適切なタイプのデータベースシステムであってよい。本開示は、特定のタイプのデータベースを記述または図示しているが、本開示は、任意の適切なタイプのデータベースを想定している。特定の実施形態は、(乗車要求者または提供者に属し得る)ユーザ装置830、輸送管理システム860、車両システム840、または第三者システム870がデータストア内において保存されている情報を処理、変換、管理、取得、変更、追加、または削除することを可能にするインタフェースを提供することができる。
特定の実施形態において、輸送管理システム860は、ユーザ801が、その情報及びアクションが輸送管理システム860によってロギング、記録、または検知されるまたはその他のシステム(例えば、第三者システム870)と共に共有されるようにすることにオプトインまたはオプトアウトすることを許容する認可サーバ(あるいは、任意の1つまたは複数のその他の適切なコンポーネント)を含むことができる。特定の実施形態において、ユーザ801は、適切なプライバシー設定を設定することにより、オプトインまたはオプトアウトすることができる。ユーザのプライバシー設定は、ロギングされ得るユーザと関連する情報、ユーザと関連する情報がロギングされ得る方式、ユーザと関連する情報がロギングされ得る時期、ユーザと関連する情報をロギングし得る人物、ユーザと関連する情報が共有され得る人物、及びユーザと関連する情報がロギングまたは供給され得る目的を判定することができる。認証サーバは、適宜、ブロッキング、データハッシング、匿名化、またはその他の適切な技法を通じて輸送管理システム860のユーザ801の1つまたは複数のプライバシー設定を実施するために使用することができる。
特定の実施形態において、第三者システム870は、HDマップまたはホストGPSマップ、顧客レビュー、音楽またはコンテンツ、天候情報、または任意のその他の適切なタイプの情報を提供し得るネットワークアドレス指定可能な演算システムであってよい。第三者システム870は、例えば、マップデータ、顧客レビューウェブサイトからの顧客レビューデータ、天候データ、または任意のその他の適切なタイプのデータなどの関連するデータを生成、保存、受信、及び送信することができる。第三者システム870には、直接的にまたはネットワーク810を介してネットワーク環境のその他の演算エンティティがアクセスすることができる。例えば、ユーザ装置830は、ネットワーク810を介してまたは輸送管理システム860を介して第三者システム870にアクセスすることができる。後者のケースにおいては、第三者システム870にアクセスするためにクレデンシャルが必要とされている場合には、ユーザ801は、このような情報を輸送管理システム860に提供してもよく、輸送管理システム860は、第三者システム870からのコンテンツにアクセスするためのプロキシとして機能することができる。
特定の実施形態において、ユーザ装置830は、スマートフォン、タブレットコンピュータ、またはラップトップコンピュータなどのモバイル演算装置であってよい。ユーザ装置830は、1つまたは複数のプロセッサ(例えば、CPU及び/またはGPU)、メモリ、及びストレージを含むことができる。オペレーティングシステム、並びに、例えば、輸送管理システム860と関連する輸送アプリケーション、第三者システム870と関連するアプリケーション、オペレーティングシステムと関連するアプリケーションなどのアプリケーションは、ユーザ装置830上においてインストールすることができる。ユーザ装置830は、GPS、コンパス、ジャイロスコープ、または加速度計などの統合されたセンサに基づいて、その場所、方向、または向きを判定する機能を含むことができる。また、ユーザ装置830は、無線通信用の無線トランシーバを含むことができると共に、Bluetooth(登録商標、近距離通信(NFC)、赤外線(IR)通信、WI-FI、及び/または2G/3G/4G/LTEモバイル通信規格などの無線通信プロトコルをサポートすることができる。また、ユーザ装置830は、1つまたは複数のカメラ、スキャナ、タッチスクリーン、マイクロフォン、スピーカ、及び任意のその他の適切な入出力装置を含むことができる。
特定の実施形態において、車両840は、自律型車両であることができると共に、センサのアレイ844、ナビゲーションシステム846、及び乗車サービス演算システム848を装備することができる。特定の実施形態において、自律型車両840のグループは、輸送管理システム860によって管理することができる。自律型車両840のグループは、全体的にまたは部分的に、輸送管理システム860と関連するエンティティによって所有されていてもよく、あるいは、これらは、輸送管理システム860との関係において第三者エンティティによって所有されていてもよい。いずれのケースにおいても、輸送管理システム860は、例えば、乗車要求を充足するように選択された自動車840を派遣すること、選択された動作(例えば、サービスセンタまたは充電/給油ステーションに向かうこと、停止すること、急停止すること、自己診断すること、コンパートメントをロック/アンロックすること、音楽局を変更すること、温度を変更すること、及び任意のその他の適切な動作)を実行するように車両840に命令すること、及び選択された動作モード(例えば、通常通りに動作するモード、低減された速度において走行するモード、人間操作者のコマンド下において走行するモード、及び任意のその他の適切な動作モード)に入るように車両840に命令することを含む自律型車両840の動作を制御することができる。
特定の実施形態において、自動的車両840は、輸送管理システム860及び第三者システム870からデータを受信することができると共にこれに対してデータを送信することができる。受信されるデータの例は、例えば、命令、新しいソフトウェアまたはソフトウェア更新、マップ、3Dモデル、トレーニングされたまたはトレーニングされていない機械学習モデル、場所情報(例えば、乗車要求者、自律型車両840自体、及びその他の自律型車両840の場所、並びにサービスセンタなどのターゲット目的地)、ナビゲーション情報、交通情報、天候情報、エンターテインメントコンテンツ(例えば、音楽、ビデオ、及びニュース)、乗車要求者情報、乗車情報、及び任意のその他の適切な情報を含むことができる。自律型車両840から送信されるデータの例は、例えば、テレメトリ及びセンサデータ、このようなデータに基づいた判定/決定、車両状態または状況(例えば、電池/燃料レベル、タイヤ及びブレーキ状態、センサ状態、速度、オドメータ、など)、場所、ナビゲーションデータ、乗員入力(例えば、乗員は、データを車両840内のユーザインタフェースを通じて輸送管理システム860及び/または第三者システム870に送信/受信することができる)、及び任意のその他の適切なデータを含むことができる。
また、特定の実施形態において、自律型車両840は、相互にのみならず、輸送管理システム860によって管理されているまたは管理されていないものを含むその他の従来の人間によって運転されている車両と通信することができる。例えば、1つの車両840は、その個々の場所、状態、状況、センサ読取り、及び任意のその他の適切な情報に関して別の車両データと通信することができる。特定の実施形態において、車両間通信は、直接的な近距離無線接続(例えば、WI-FI、Bluetooth(登録商標、NFC)上において及び/またはネットワーク上において(例えば、インターネットあるいは輸送管理システム860または第三者システム870を介して)発生し得る。
特定の実施形態において、自律型車両840は、センサ/テレメトリデータを取得及び処理することができる。このようなデータは、任意の適切なセンサによってキャプチャすることができる。例えば、車両840は、パルス化レーザ光を放出し車両840を取り囲む物体からの反射光を計測する、360°回転するように構成された複数の光検出及び測距(LiDAR)トランシーバのLiDARセンサアレイを有することができる。特定の実施形態において、信号を送信するLiDARは、ゲート付き光弁の使用によって操向されていてもよく、これは、光回折の原理を使用して光ビームを導くMEMs装置であってよい。このような装置は、自律型車両の周りの360°において光ビームを操向するためにジンバル付きミラーを使用しなくてもよい。むしろ、ゲート付き光弁が光ビームをいくつかの光ファイバの1つ内に導いてもよく、光ファイバは、光ビームが自律型車両の周りの多くの別個の位置に導かれ得るように構成することができる。従って、データを自律型車両の周りの360°においてキャプチャすることができるが、回転部品は不要となり得る。LiDARは、ターゲットまでの距離を計測する効果的なセンサであり、従って、自律型車両840の外部環境の3次元(3D)モデルを生成するために使用することができる。一例として、限定を伴うことなしに、3Dモデルは、最大でセンサ構成の最大距離(例えば、50、100、または200メートル)内のその他の自動車、縁石、がれき、物体、及び歩行者などの物体を含む外部環境を表すことができる。別の例として、自律型車両840は、異なる方向に向けられた光学カメラを有することができる。カメラは、例えば、道路、レーンマーキング、道路標識、信号機、警察、その他の車両、及び対象の任意のその他の可視物体を認識するために使用することができる。車両840が夜間に「観察」することを可能にするために、赤外線カメラを設置することができる。特定の実施形態において、車両は、例えば、道路上の歩行者または木の枝などの危険を発見するために、ステレオビジョンを装備することができる。別の例として、車両840は、例えば、遠くのその他の車両及び/または危険の検出のためにレーダーを有することができる。さらには、車両840は、例えば、駐車及び/または障害物検出のために超音波機器を有することができる。車両840がその周りの外部世界を検出、計測、及び理解することを可能にするセンサに加えて、車両840は、車両の独自の状態及び状況を検出及び自己診断するためのセンサをさらに装備することができる。例えば、車両840は、例えば、速度を計測するためのホイールセンサ、例えば、車両の現時点のジオロケーションを判定するための全地球測位システム(GPS)、及び/または移動またはモーション検出用の慣性計測ユニット、加速度計、ジャイロスコープ、及び/またはオドメータシステムを有することができる。これらのセンサの説明は、有用性の特定の例を提供しているが、当業者は、センサの有用性は、これらの例に限定されるものではないことを理解するであろう。さらには、有用性の例は、特定のタイプのセンサとの関係において記述されている場合があるが、有用性は、センサの任意の組合せを使用して実現され得ることを理解されたい。例えば、自律型車両840は、輸送管理システム860または第三者システム870から得られた予め生成されたマップと共に、そのLiDAR、レーダー、ソナー、及びカメラからのデータに基づいてその周囲の3Dモデルを構築することができる。センサ844は、図8の自律型車両840上の特定の場所において出現しているが、センサ844は、自律型車両840の内部またはその上部の任意の適切な場所において配置することができる。センサ用の例示用の場所は、フロント及びリアバンパ、ドア、フロントウィンドシールド、サイドパネル上、または任意のその他の適切な場所を含む。
特定の実施形態において、自律型車両840は、処理ユニット(例えば、1つまたは複数のCPU及びGPU)、メモリ、及びストレージを装備することができる。従って、車両840は、センサデータの処理、有用な情報の抽出、及び相応した動作を含む様々な演算及び処理タスクを実行するために装備することができる。例えば、そのカメラ及びマシンビジョンモデルによってキャプチャされた画像に基づいて、車両840は、歩行者、その他の車両、レーン、縁石、及び任意のその他の対象の物体などの画像によってキャプチャされた特定のタイプの物体を識別することができる。
特定の実施形態において、自律型車両840は、自律型車両840を安全にナビゲートする責任を担うナビゲーションシステム846を有することができる。特定の実施形態において、ナビゲーションシステム846は、入力として、例えば、全地球測位システム(GPS)モジュール、慣性計測ユニット(IMU)、LiDARセンサ、光学カメラ、高周波(RF)トランシーバ、または任意のその他の適切なテレメトリまたはセンソリメカニズムから任意のタイプのセンサデータを取得することができる。また、ナビゲーションシステム846は、ナビゲーションルート及び特定の走行動作(例えば、減速、加速、停止、方向転換、など)を判定するために、例えば、マップデータ、交通データ、事故レポート、天候レポート、命令、ターゲット目的地、及び任意のその他の適切な情報を利用することができる。特定の実施形態においては、ナビゲーションシステム846は、指示された方式で動作するように車両840を制御するためにその他の物体に衝突することなしにその目的地まで自律型車両840をガイドするために、その判定を使用することができる。ナビゲーションシステム846の物理的実施形態(例えば、処理ユニット)は、図8の自律型車両840上の特定の場所において出現しているが、ナビゲーションシステム846は、自律型車両840の内部またはその上部の任意の適切な場所において配置することができる。ナビゲーションシステム846用の例示用の場所は、自律型車両840のキャビンまたは乗員コンパートメントの内側、エンジン/バッテリの近傍、フロントシート、リアシートの近傍、または任意のその他の適切な場所を含む。
特定の実施形態において、自律型車両840は、乗車サービス演算装置848を装備していてもよく、これは、ユーザが自律型車両840、輸送管理システム860、その他のユーザ801、または第三者システム870とやり取りすることを許容するために輸送管理システム860によって設置されたタブレットまたは任意のその他の適切な装置であってよい。特定の実施形態において、乗車サービス演算装置848の設置は、自律型車両840の内側において乗車サービス演算装置848を配置し有線または無線接続を介して(例えば、Bluetooth(登録商標を介して)車両840と通信するように構成することにより、実現することができる。図8は、自律型車両840内の特定の場所において単一の乗車サービス演算装置848を示しているが、自律型車両840は、車両内のいくつかの異なる場所においていくつかの乗車サービス演算装置848を含むことができる。一例として、限定を伴うことなしに、自律型車両840は、前部左乗員シート(例えば、従来の米国自動車における運転者のシート)の前面の1つ、前部右乗員シートの前面の1つ、後部左及び後部右乗員シートのそれぞれのものの前面の1つ、というような場所において配置された4つの乗車サービス演算装置848を含むことができる。特定の実施形態において、乗車サービス演算装置848は、自律型車両840の任意のコンポーネントから着脱自在であってもよい。これは、ユーザがその他のタブレット演算装置と一貫性を有する方式で乗車サービス演算装置848を取り扱うことを許容することができる。一例として、限定を伴うことなしに、ユーザは、自律型車両840のキャビンまたは乗員コンパートメント内の任意の場所に乗車サービス演算装置848を移動させてもよく、乗車サービス演算装置848を保持してもよく、あるいは、任意のその他の適切な方式で乗車サービス演算装置848を取り扱うことができる。本開示は、特定の方式で特定の演算装置を提供することを記述しているが、本開示は、任意の適切な方式で任意の適切な演算装置を提供することを想定している。
図9は、アルゴリズム的なナビゲーションパイプラインの例示用のブロック図を示している。特定の実施形態において、アルゴリズム的なナビゲーションパイプライン900は、センサデータモジュール905、知覚モジュール910、予測モジュール915、計画モジュール920、及び制御モジュール925などのいくつかの演算モジュールを含むことができる。センサデータモジュール905は、知覚モジュール910に提供されたセンサ/テレメトリデータを取得及び事前処理することができる。このようなデータは、車両の任意の適切なセンサによってキャプチャすることができる。一例として、限定を伴うことなしに、車両は、複数の方向においてパルス化レーザビームを送信するように車両を取り囲む物体から反射信号を計測するように構成された光検出及び測距(LiDAR)センサを有することができる。光信号の飛行時間は、LiDARから物体までの距離または深さを計測するために使用することができる。別の例として、車両は、車両の周囲の画像をキャプチャするために異なる方向において方向付けされた光学カメラを有することができる。また、所定の距離においてその他の車両及び/または危険を検出するために、レーダーを車両によって使用することもできる。更なる例として、車両は、例えば、駐車及び障害物検出などの近距離物体検出用の超音波または低照度状況または暗闇における物体検出のための赤外線カメラを装備することができる。特定の実施形態において、センサデータモジュール905は、センサデータ内のノイズを抑制してもよく、あるいは、センサデータを正規化してもよい。
知覚モジュール910は、車両のコンテキスト環境をモデル化するために、センサモジュール905の異なるタイプのセンサからのデータを相関及び融合させる責任を担っている。知覚モジュール910は、任意のシングルタイプのセンサから入手可能にはならない情報を提供するために複数の独立的なセンサによって抽出された情報を使用することができる。複数のセンサタイプからのデータを組み合わせることにより、知覚モジュール910が異なるセンサの強度を活用し相対的に正確かつ高精度で環境を知覚するが許容されている。一例として、限定を伴うことなしに、画像に基づいた物体認識は、低照度状態においては良好に機能しない場合がある。これは、LiDARまたはレーダーからのセンサデータによって補償されてもよく、これらは、低照度状態においてターゲットまでの距離を計測する効果的なセンサである。別の例として、画像に基づいた物体認識は、ポスター内において描かれている物体が環境内の実際の三次元物体であると誤って判断する場合がある。但し、LiDARからの深さ情報も利用可能である場合には、知覚モジュール910は、ポスター内の物体が、実際には三次元物体ではないことを判定するためにその更なる情報を使用することができよう。
知覚モジュール910は、コンテキスト環境に関する情報を導出するために、利用可能なデータ(例えば、センサデータ、高解像度マップからのデータ、など)を処理することができる。例えば、知覚モジュール910は、車両の環境内に存在しているエージェント(例えば、その他の車両、歩行者、移動する物体)を検出及び/または分類するために1つまたは複数のエージェントモデラ(例えば、物体検出器、物体クラシファイア、またはセンサデータから情報を導出するようにトレーニングされた機械学習モデル)を含むことができる。また、知覚モジュール910は、エージェントの様々な特徴を判定することができる。例えば、知覚モジュール910は、これらのエージェントの速度、移動方向、加速度、軌跡、相対距離、または相対位置を追跡することができる。また、特定の実施形態において、知覚モジュール910は、高解像度マップからの情報を活用することができる。高解像度マップは、建物、縁石、道路標識、信号機、及び環境内の任意の静止した設備を含む環境の正確な三次元モデルを含むことができる。車両のGPSデータ及び/または画像に基づいたローカリゼーション技法(例えば、同時ローカリゼーション及びマッピング、すなわち、SLAM)を使用することにより、知覚モジュール910は、高解像度マップ内の車両のポーズ(例えば、位置及び向き)または車両のセンサのポーズを判定することができよう。そして、ポーズ情報は、高解像度マップに問い合わせるために環境内に存在することが予想されている物体を判定するために、知覚モジュール910によって使用することができる。
知覚モジュール910は、車両のコンテキスト環境の表現を生成するために1つまたは複数のタイプのセンサからのセンサデータ及び/またはそれから導出された情報を使用することができる。一例として、限定を伴うことなしに、外部環境の表現は、その他の車両、縁石、がれき、物体、及び歩行者などの物体を含み得る。コンテキスト表現は、センサアレイの最大距離(例えば、50、100、または200メートル)に制限され得る。コンテキスト環境の表現は、車両を取り囲んでいるエージェント及び物体に関する情報のみならず、交通レーン、交通規則、交通標識、時刻、天候、及び/または任意のその他の適切な情報に関する意味情報を含むことができる。コンテキスト環境は、任意の適切な方式によって表すことができる。一例として、限定ではなく、コンテキスト表現は、ベクトル/マトリックス内のそれぞれの値が既定のカテゴリの情報に対応している状態において、数値のベクトルまたはマトリックスとしてエンコーディングすることができる。例えば、環境内のそれぞれのエージェントは、エージェントの座標、分類(例えば、車両、歩行者、など)、向き、速度、軌跡、などによって始まっている値のシーケンスによって表すことができる。あるいは、この代わりに、コンテキスト環境に関する情報は、エージェントを視覚的に描いたラスタ画像、意味情報、などによって表すこともできる。例えば、ラスタ画像は、最大で既定の距離までの車両及びその周囲の鳥観図であってよい。ラスタ画像は、対象の様々なデータ(例えば、車両、歩行者、レーン、建物、など)を表す視覚的情報(例えば、境界ボックス、カラーコード化された形状、など)を含み得る。
知覚モジュール910からの現在のコンテキスト環境の表現は、将来環境の1つまたは複数の予測を生成するために、予測モジュール915によって消費され得る。例えば、時点tにおけるコンテキスト環境の表現が付与された場合に、予測モジュール915は、時点t用の別のコンテキスト表現を出力することができる。例えば、tのコンテキスト環境がラスタ画像によって表されている場合には、予測モジュール915の出力は、エージェントが時点tにおいて位置することになる場所(例えば、将来のスナップショット)を描いた別のラスタ画像(例えば、現時点の環境のスナップショット)であってよい。特定の実施形態において、予測モジュール915は、予め記録されたコンテキスト及びセンサデータに基づいてトレーニングされ得る機械学習モデル(例えば、畳み込みニューラルネットワーク、ニューラルネットワーク、決定木、サポートベクトルマシン、など)を含むことができる。例えば、1つのトレーニングサンプルは、時点t及びtにおいて車両によってキャプチャされた実際のセンサデータのシーケンスに基づいて生成することができる。時点t及びtにおけるキャプチャされたデータは、それぞれ、第1コンテキスト表現(トレーニングデータ)及び第2コンテキスト表現(トレーニングに使用される関連するグラウンドトルス)を生成するために使用することができる。トレーニングの際には、機械学習モデルは、モデルの現時点の構成パラメータを使用して第1コンテキスト表現を処理することができると共に、予測されたコンテキスト表現を出力することができる。次いで、予測されたコンテキスト表現を既知の第2コンテキスト表現(すなわち、時点tにおけるグラウンドトルス)と比較することができる。比較は、損失関数を使用して演算された損失値によって定量化することができる。損失値は、予測が再度実施される必要がある場合に損失が相対的に小さくなるように、(例えば、逆伝播(back-propagation)技法を介して)機械学習モデルの構成パラメータを更新するために、使用することができる。機械学習モデルは、収束または終了条件が充足される時点まで、トレーニングサンプルの大きな組を使用して反復的にトレーニングすることができる。例えば、トレーニングは、損失値が既定の閾値未満である際に終了し得る。トレーニングされたら、機械学習モデルは、現時点のコンテキスト表現に基づいて将来のコンテキスト表現の予測を生成するために使用することができる。
計画モジュール920は、予測モジュール915によって生成された予測されたコンテキスト表現に基づいて車両のナビゲーションルート及び特定の走行動作(例えば、減速、加速、停止、方向転換、など)を判定することができる。特定の実施形態においては、計画モジュール920は、車両用の1つまたは複数の目的地またはナビゲーション命令を判定するために、予測されたコンテキスト表現(例えば、エージェントの予測された場所または軌跡、意味データ、など)内においてエンコーディングされた予測された情報及び任意のその他の利用可能な情報(例えば、マップデータ、交通データ、事故レポート、天候レポート、ターゲット目的地、及び任意のその他の適切な情報)を利用することができる。一例として、限定を伴うことなしに、車両を取り囲んでいるエージェントの予測された挙動及び特定の目的地までの交通データに基づいて、計画モジュール920は、1つまたは複数のエージェントとの間の可能な衝突を回避するために車両用の特定のナビゲーション経路及び関連する走行動作を判定することができる。特定の実施形態において、計画モジュール920は、所与の予測されたコンテキスト提示に基づいて、車両用のいくつかの異なる計画(例えば、目的地またはナビゲーション命令)を生成することができる。それぞれの計画ごとに、計画モジュール920は、その計画の望ましさを表すスコアを演算することができる。例えば、計画が、予測されたコンテキスト表現に基づいて判定された際に車両がそのエージェント用の予測された場所においてエージェントと衝突するという結果をもたらすことになる可能性が高い場合には、計画用のスコアには、相応してペナルティを科すことができる。また、車両が交通規則に違反するようにするまたは可能な衝突を回避するためにかなりの遠回りをすることになる別の計画も、ペナルティを科されたスコアを有し得るが、ペナルティは、衝突を結果的にもたらすことになる以前の計画のために適用されるペナルティよりも厳しくないものであってよい。車両が、予測された将来においてエージェントとの衝突を回避するために単純に停止するまたはレーンを変更するようにする第3の計画は、最高のスコアを受け取ることができる。計画用の割り当てられたスコアに基づいて、計画モジュール920は、実行するべき最良の計画を選択することができる。上述の例は、例として衝突を使用しているが、本明細書における開示は、移動距離または時間、燃費、目的地における推定到着時間の変更、乗員の快適さ、その他の車両に対する近接性、予測されたコンテキスト表現と関連するコンフィデンススコア、などのような任意の適切な採点基準の使用を想定している。
1つまたは複数のナビゲーション経路または関連する走行動作を含み得る計画モジュール920によって生成された計画に基づいて、制御モジュール925は、車両のアクチュエータに対して発行される特定のコマンドを判定することができる。車両のアクチュエータは、車両を移動及び制御する責任を担っているコンポーネントである。アクチュエータは、例えば、操向、回転信号、減速(制動)、加速、ギアシフト、などのような車両の走行機能を制御している。一例として、限定を伴うことなしに、制御モジュール925は、車両のエリア内に侵入するものと予測されるエージェントを回避するために、特定の軌跡上において車両を移動させるように、特定の時間の量にわたって特定の操向角度を維持するために操向アクチュエータにコマンドを送信することができる。別の例として、制御モジュール925は、車両が車両のエリア内に侵入することが予測されているエージェントを安全に回避するようにさせるために、コマンドをアクセルアクチュエータに送信することができる。
図10は、例示用のコンピュータシステム1000を示している。特定の実施形態において、1つまたは複数のコンピュータシステム1000は、本明細書において記述または図示されている1つまたは複数の方法の1つまたは複数のステップを実行している。特定の実施形態において、1つまたは複数のコンピュータシステム1000は、本明細書において記述または図示されている機能を提供している。特定の実施形態において、1つまたは複数のコンピュータシステム1000上において稼働するソフトウェアは、本明細書において記述または図示されている1つまたは複数の方法の1つまたは複数のステップを実行するかまたは本明細書において記述または図示されている機能を提供している。特定の実施形態は、1つまたは複数のコンピュータシステム1000の1つまたは複数の部分を含む。本明細書においては、コンピュータシステムに対する参照は、適宜、演算装置を包含し得ると共に、逆もまた真である。さらには、コンピュータシステムに対する参照は、適宜、1つまたは複数のコンピュータシステムを包含し得る。
本開示は、任意の適切な数のコンピュータシステム1000を想定している。本開示は、任意の適切な物理的形態を有するコンピュータシステム1000を想定している。一例として、限定を伴うことなしに、コンピュータシステム1000は、埋め込み型のコンピュータシステム、システムオンチップ(SOC)、(例えば、コンピュータオンモジュール(COM)またはシステムオンモジュール(SOM)などの)シングルボードコンピュータシステム(SBC)、デスクトップコンピュータシステム、ラップトップまたはノートブックコンピュータシステム、対話型キオスク、メインフレーム、コンピュータシステムのメッシュ、携帯電話機、パーソナルデジタルアシスタント(PDA)、サーバ、タブレットコンピュータシステム、拡張/仮想現実装置、またはこれらのものの2つ以上の組合せであってよい。適宜、コンピュータシステム1000は、1つまたは複数のコンピュータシステム1000を含んでいてもよく、単一のものであってもよくまたは分散されていてもよく、複数の場所に跨っていてもよく、複数の機械に跨っていてもよく、複数のデータセンタに跨っていてもよく、あるいは、1つまたは複数のネットワーク内において1つまたは複数のクラウドコンポーネントを含み得るクラウド内において存在していてもよい。適宜、1つまたは複数のコンピュータシステム1000は、大きな空間的または時間的制限を伴うことなしに、本明細書において記述または図示されている1つまたは複数の方法の1つまたは複数のステップを実行することができる。一例として、限定を伴うことなしに、1つまたは複数のコンピュータシステム1000は、リアルタイムまたはバッチモードにおいて、本明細書において記述または図示されている1つまたは複数の方法の1つまたは複数のステップを実行することができる。1つまたは複数のコンピュータシステム1000は、適宜、本明細書において記述または図示されている1つまたは複数の方法の1つまたは複数のステップを異なる時点においてまたは異なる場所において実行することができる。
特定の実施形態において、コンピュータシステム1000は、プロセッサ1002、メモリ1004、ストレージ1006、入出力(I/O)インタフェース1008、通信インタフェース1010、及びバス1012を含む。本開示は、特定の構成において特定の数の特定のコンポーネントを有する特定のコンピュータシステムを記述及び図示しているが、本開示は、任意の適切な構成において任意の適切な数の任意の適切なコンポーネントを有する任意の適切なコンピュータシステムを想定している。
特定の実施形態において、プロセッサ1002は、コンピュータプログラムを構成するものなどの命令を実行するためのハードウェアを含む。一例として、限定を伴うことなしに、命令を実行するために、プロセッサ1002は、内部レジスタ、内部キャッシュ、メモリ1004、またはストレージ1006から命令を取得(あるいは、フェッチ)してもよく、これらをデコーディング及び実行してもよく、次いで、1つまたは複数の結果を内部レジスタ、内部キャッシュ、メモリ1004、またはストレージ1006に書き込んでもよい。特定の実施形態において、プロセッサ1002は、データ、命令、またはアドレス用の1つまたは複数の内部キャッシュを含むことができる。本開示は、適宜、任意の適切な数の任意の適切な内部キャッシュを含むプロセッサ1002を想定している。一例として、限定を伴うことなしに、プロセッサ1002は、1つまたは複数の命令キャッシュ、1つまたは複数のデータキャッシュ、及び1つまたは複数の変換ルックアサイドバッファ(TLB)を含むことができる。命令キャッシュ内の命令は、メモリ1004またはストレージ1006内の命令の複写であることができると共に、命令キャッシュは、プロセッサ1002によるこれらの命令の取得を加速することができる。データキャッシュ内のデータは、コンピュータ命令によって処理されることになるメモリ1004またはストレージ1006内のデータ、続行の命令がアクセス可能であるまたはメモリ1004またはストレージ1006に書き込まれるプロセッサ1002によって実行された以前の命令の結果、あるいは、任意のその他の適切なデータの複写であってよい。データキャッシュは、プロセッサ1002による読み取りまたは書き込み動作を加速することができる。TLBは、プロセッサ1002用の仮想アドレス変換を加速することができる。特定の実施形態において、プロセッサ1002は、データ、命令、またはアドレス用の1つまたは複数のレジスタを含むことができる。本開示は、適宜、任意の適切な数の任意の適切な内部レジスタを含むプロセッサ1002を想定している。適宜、プロセッサ1002は、1つまたは複数の算出論理ユニット(ALU)を含んでいてもよく、マルチコアプロセッサであってもよく、あるいは、1つまたは複数のプロセッサ1002を含むこともできる。本開示は、特定のプロセッサを記述及び例示しているが、本開示は、任意の適切なプロセッサを想定している。
特定の実施形態において、メモリ1004は、実行対象のプロセッサ1002用の命令または処理対象のプロセッサ1002用のデータを保存するメインメモリを含む。一例として、限定を伴うことなしに、コンピュータシステム1000は、ストレージ1006または(別のコンピュータシステム1000などの)別のソースから命令をメモリ1004に読み込むことができる。次いで、プロセッサ1002は、メモリ1004から内部レジスタまたは内部キャッシュに命令を読み込むことができる。命令を実行するために、プロセッサ1002は、内部レジスタまたは内部キャッシュから命令を取得することができると共にそれらをデコーディングすることができる。命令の実行の際にまたはその後に、プロセッサ1002は、(中間または最終結果であり得る)1つまたは複数の結果を内部レジスタまたは内部キャッシュに書き込むことができる。次いで、プロセッサ1002は、これらの結果の1つまたは複数をメモリ1004に書き込むことができる。特定の実施形態において、プロセッサ1002は、(ストレージ1006またはどこか別の場所ではなく)1つまたは複数の内部レジスタまたは内部キャッシュ内においてまたはメモリ1004内においてのみ命令を実行し、(ストレージ1006またはどこか別の場所ではなく)1つまたは複数の内部レジスタまたは内部キャッシュ内またはメモリ1004内においてのみ、データを処理している。(それぞれがアドレスバス及びデータバスを含み得る)1つまたは複数のメモリバスは、プロセッサ1002をメモリ1004に結合することができる。バス1012は、さらに詳細に後述するように、1つまたは複数のメモリバスを含み得る。特定の実施形態においては、1つまたは複数のメモリ管理ユニット(MMU)がプロセッサ1002とメモリ1004の間において存在しており、プロセッサ1002によって要求されたメモリ1004へのアクセスを促進している。特定の実施形態において、メモリ1004は、ランダムアクセスメモリ(RAM)を含む。このRAMは、適宜、揮発性メモリであってよい。適宜、このRAMは、ダイナミックRAM(DRAM)またはスタティックRAM(SRAM)であってよい。さらには、適宜、このRAMは、シングルポート型またはマルチポート型RAMであってよい。本開示は、任意の適切なRAMを想定している。メモリ1004は、適宜、1つまたは複数のメモリ1004を含むことができる。本開示は、特定のメモリを記述及び図示しているが、本開示は、任意の適切なメモリを想定している。
特定の実施形態において、ストレージ1006は、データまたは命令用のマスストレージを含む。一例として、限定を伴うことなしに、ストレージ1006は、ハードディスクドライブ(HDD)、フロッピーディスクドライブ、フラッシュメモリ、光ディスク、磁気光ディスク、磁気テープ、またはユニバーサルシリアルバス(USB)ドライブ、またはこれらのものの2つ以上の組合せを含み得る。ストレージ1006は、適宜、着脱自在のまたは非着脱自在の(すなわち、固定型の)媒体を含むことができる。ストレージ1006は、適宜、コンピュータシステム1000の内部または外部に位置し得る。特定の実施形態において、ストレージ1006は、不揮発性の半導体メモリである。特定の実施形態において、ストレージ1006は、読み出し専用メモリ(ROM)を含む。適宜、このROMは、マスクプログラムROM、プログラム可能なROM(PROM)、消去可能なPROM(EPROM)、電気的に消去可能なPROM(EEPROM)、電気的に変更可能なROM(EAROM)、またはフラッシュメモリ、あるいは、これらのものの2つ以上の組合せであってよい。本開示は、任意の適切な物理的形態を有するマスストレージ1006を想定している。ストレージ1006は、適宜、プロセッサ1002とストレージ1006の間の通信を促進する1つまたは複数のストレージ制御ユニットを含むことができる。適宜、ストレージ1006は、1つまたは複数のストレージ1006を含み得る。本開示は、特定のストレージを記述及び図示しているが、本開示は、任意の適切なストレージを想定している。
特定の実施形態において、I/Oインタフェース1008は、コンピュータシステム1000と1つまたは複数のI/O装置の間の通信用の1つまたは複数のインタフェースを提供するハードウェア、ソフトウェア、またはこれらの両方を含む。コンピュータシステム1000は、適宜、これらのI/O装置の1つまたは複数を含むことができる。これらのI/O装置の1つ又複数は、人物とコンピュータシステム1000の間の通信を可能することができる。一例として、限定を伴うことなしに、I/O装置は、キーボード、キーパッド、マイクロフォン、モニタ、マウス、プリンタ、スキャナ、スピーカ、スチールカメラ、スタイラス、タブレット、タッチスクリーン、トラックボール、ビデオカメラ、別の適切なI/O装置、またはこれらのものの2つ以上の組合せを含み得る。I/O装置は、1つまたは複数のセンサを含み得る。本開示は、任意の適切なI/O装置及びそれら用の任意の適切なI/Oインタフェース1008を想定している。適宜、I/Oインタフェース1008は、プロセッサ1002がこれらのI/O装置の1つまたは複数を駆動することを可能にする1つまたは複数の装置またはソフトウェアドライバを含むことができる。I/Oインタフェース1008は、適宜、1つまたは複数のI/Oインタフェース1008を含むことができる。本開示は、特定のI/Oインタフェースを記述及び図示しているが、本開示は、任意の適切なI/Oインタフェースを想定している。
特定の実施形態において、通信インタフェース1010は、コンピュータシステム1000と1つまたは複数のその他のコンピュータシステム1000または1つまたは複数のネットワークの間の(例えば、パケットに基づいた通信などの)通信用の1つまたは複数のインタフェースを提供するハードウェア、ソフトウェア、または両方を含む。一例として、限定を伴うことなしに、通信インタフェース1010は、Ethernetまたは任意のその他の有線ベースのネットワークと通信するためのネットワークインタフェースコントローラ(NIC)またはネットワークアダプタあるいはWI-Fiネットワークなどの無線ネットワークと通信するための無線NIC(WNIC)または無線アダプタを含むことができる。本開示は、任意の適切なネットワーク及びこれ用の任意の適切な通信インタフェース1010を想定している。一例として、限定を伴うことなしに、コンピュータ1000は、アドホックネットワーク、パーソナルエリアネットワーク(PAN)、ローカルエリアネットワーク(LAN)、ワイドエリアネットワーク(WAN)、メトロポリタンエリアネットワーク(MAN)、またはインターネットの1つまたは複数の部分、あるいは、これらのものの2つ以上の組合せと通信することができる。これらのネットワークの1つまたは複数のものの1つまたは複数の部分は、有線型または無線型であってよい。例として、コンピュータシステム1000は、(例えば、Bluetooth(登録商標 WPANなどの)無線PAN(WPAN)、WI-FIネットワーク、WI-MAXネットワーク、(例えば、GSM(Global System for Mobile Communications)ネットワークなどの)セルラー電話ネットワーク、または任意のその他の適切な無線ネットワーク、あるいは、これらのものの2つ以上の組合せと通信することができる。コンピュータシステム1000は、適宜、これらのネットワークの任意のもの用の任意の適切な通信インタフェース1010を含むことができる。通信インタフェース1010は、適宜、1つまたは複数の通信インタフェース1010を含むことができる。本開示は、特定の通信インタフェースを記述及び図示しているが、本開示は、任意の適切な通信インタフェースを想定している。
特定の実施形態において、バス1012は、コンピュータシステム1000のコンポーネントを相互に結合するハードウェア、ソフトウェア、またはこれらの両方を含む。一例として、限定を伴うことなしに、バス1012は、AGP(Accelerated Graphics Port)または任意のその他のグラフィクスバス、EISA(Enhanced Industry Standard Architecture)バス、FSB(Front-Side Bus)、HT(HyperTransport)相互接続、ISA(Industry Standard Architecture)バス、INFINIBAND相互接続、LPC(Low Pin-Count)バス、メモリバス、MCA(Micro Channel Architecture)バス、PCI(Peripheral Component Interconnect)バス、PCI-Express(PCIe)バス、SATA(Serial Advanced Technology Attachment)バス、VLB(Video electronics standards association Local Bus)バス、または別の適切なバス、あるいは、これらのものの2つ以上の組合せを含むことができる。バス1012は、適宜、1つまたは複数のバス1012を含むことができる。本開示は、特定のバスを記述及び図示しているが、本開示は、任意の適切なバスまたは相互接続を想定している。
本明細書において、1つまたは複数のコンピュータ判読可能な一時的ではないストレージ媒体は、適宜、(例えば、フィールドプログラム可能なゲートアレイ(FPGA)または用途固有のIC(ASIC)などの)1つまたは複数の半導体に基づいたまたはその他のタイプの集積回路(IC)、ハードディスクドライブ(HDD)、ハイブリッドハードドライブ(HHD)、光ディスク、光ディスクドライブ(ODD)、磁気光ディスク、磁気光ドライブ、フロッピーディスケット、フロッピーディスクドライブ(FDD)、磁気テープ、半導体ドライブ(SSD)、RAMドライブ、SECURE DIGITALカードまたはドライバ、任意のその他の適切なコンピュータ判読可能な一時的ではないストレージ媒体、あるいは、これらのものの2つ以上の任意の適切な組合せを含むことができる。コンピュータ判読可能な一時的ではないストレージ媒体は、適宜、揮発性であってもよく、不揮発性であってもよく、あるいは、揮発性及び不揮発性の組合せであってもよい。
本明細書においては、「または(or)」は、そうではない旨が明示的に通知されていない限りまたはそうではない旨が文脈によって通知されていない限り、排他的ではなく、包含的である。従って、本明細書においては、「AまたはB」は、そうではない旨が明示的に通知されていない限りまたはそうではない旨が文脈によって通知されていない限り、「A、B、または両方」を意味している。さらには、「及び(and)」は、そうではない旨が明示的に通知されていない限りまたはそうではない旨が文脈によって通知されていない限り、共同的及び個別的(joint and several)の両方である。従って、本明細書において、「A及びB」は、そうではない旨が明示的に通知されていない限りまたはそうではない旨が文脈によって通知されてない限り、「共同的かつ個別的に、A及びB」を意味している。
本開示の範囲は、当業者が想定することになる本明細書において記述または図示されている例示用の実施形態に対するすべての変更、置換、変形、改変、及び修正を包含している。本開示の範囲は、本明細書において記述または図示されている例示用の実施形態に限定されるものではない。さらには、本開示は、特定のコンポーネント、要素、特徴、機能、動作、またはステップを含むものとして本明細書において個々の実施形態を記述及び図示しているが、これらの実施形態の任意のものは、当業者が想定することになる本明細書のどこかにおいて記述または図示されているコンポーネント、要素、特徴、機能、動作、またはステップの任意のものの任意の組合せまたは順列を含むことができる。さらには、特定の機能を実行するべく適合された、構成された、能力を有する、構成された、可能にされた、動作可能である、または動作自在である装置またはシステムまたは装置またはシステムのコンポーネントに対する添付請求項における参照は、その装置、システム、またはコンポーネントがそのように適合された、構成された、能力を有する、構成された、可能にされた、動作可能である、または動作自在である限り、それまたはその特定の機能が起動されたか、ターンオンされたか、アンロックされたか、どうかとは無関係に、その装置、システム、コンポーネントを包含している。これに加えて、本開示は、特定の利点を提供するものとして特定の実施形態を記述または図示しているが、特定の実施形態は、これらの利点のいくつかまたはすべてを提供してもよく、あるいは、いずれをも提供していなくてもよい。

Claims (20)

  1. 方法であって、演算システムにより実行される、
    車両の移動制限の組に基づいて環境内の前記車両の複数の潜在的な軌跡と関連する初期コストボリュームを判定するステップと、
    前記初期コストボリューム及び前記環境と関連する環境データを使用してデルタコストボリュームを生成するステップであって、前記デルタコストボリュームは、観察された走行挙動を内蔵する前記処理コストボリュームに対する調節を判定することにより、生成されている、ステップと、
    前記初期コストボリューム及び前記デルタコストボリュームに基づいて前記車両用の前記複数の潜在的な軌跡のうちの1つの軌跡を採点するステップと、
    を備える方法。
  2. 前記初期コストボリューム及び前記デルタコストボリュームに基づいて前記車両用の前記複数の残りの潜在的な軌跡を採点するステップと、
    その個々のスコアに基づいて前記複数の潜在的な軌跡をランク付けするステップと、
    前記個々のスコアを使用することにより、前記車両用の計画軌跡として前記複数の潜在的な軌跡からトップにランク付けされた潜在的な軌跡を選択するステップと、
    をさらに備える請求項1に記載の方法。
  3. 前記車両及び前記環境内の前記車両の周りのエージェントの1つまたは複数のトップダウン画像をラスタ化することにより、前記環境データを生成するステップ、
    をさらに備える請求項1に記載の方法。
  4. 前記環境データは、
    前記車両と前記エージェントとの間の距離、
    前記走行環境と関連するレーン境界、
    前記車両及び前記エージェントの速度、
    前記車両及び前記エージェントの走行方向、
    前記車両と前記エージェントの間のイールド関係、または、
    前記車両と前記エージェントの場所、
    の1つまたは複数を備える情報を備える請求項3に記載の方法。
  5. 前記観察された走行挙動を通知する複数のトレーニングデータに基づいて機械学習モデルをトレーニングするステップをさらに備え、観察された走行挙動を通知する前記複数のトレーニングデータは、画像、ビデオ、LiDARポイントクラウド、レーダー信号、またはこれらの任意の組合せを備えるキャプチャされたセンサデータを備える請求項1に記載の方法。
  6. 前記機械学習モデルをトレーニングするステップは、
    複数の軌跡を生成するステップと、
    前記初期コストボリューム及び前記複数のトレーニングデータに基づいて予測デルタコストボリュームを判定するステップと、
    前記初期コストボリューム及び前記予測デルタコストボリュームに基づいて前記複数の軌跡から1つの軌跡を選択するステップと、
    前記選択された軌跡を既定の軌跡と比較するステップと、
    前記比較に基づいて前記機械学習モデルを更新するステップと、
    を備える請求項5に記載の方法。
  7. 前記初期コストボリュームは、複数のタイムスタンプと関連する前記複数の潜在的な軌跡のそれぞれに沿った複数の場所における初期コスト計測を備える請求項1に記載の方法。
  8. 前記初期コストボリューム及び前記デルタコストボリュームの加算に基いて最終的コストボリュームを生成するステップ、
    をさらに備える請求項1に記載の方法。
  9. 前記最終的コストボリュームは、前記複数のタイムスタンプと関連する前記複数の潜在的な軌跡のそれぞれに沿った前記複数の場所における最終的コスト計測を備え、それぞれの最終的コスト計測は、初期コスト計測に対する調節を備える請求項1に記載の方法。
  10. 前記デルタコストボリュームが、前記最終的コストボリュームのそれぞれの最終的コスト計測が閾値計測を超えることを保証していると判定するステップをさらに備える請求項9に記載の方法。
  11. 前記最終的コストボリュームを前記最終的コスト計測値によってエンコーディングされたセルを有する三次元ルックアップテーブルとして実施するステップをさらに備える請求項9に記載の方法。
  12. 前記車両の前記軌跡を採点するステップは、前記軌跡のコストを判定するステップを備え、この場合に、前記判定ステップは、
    複数の候補タイムスタンプと関連する前記複数の場所から前記軌跡用の前記複数の候補タイムスタンプと関連する複数の候補場所を識別するステップと、
    前記軌跡用の前記複数の候補タイムスタンプと関連する前記複数の候補場所に対応する複数の最終的コスト計測を判定するステップと、
    前記複数の最終的コスト計測に基づいて前記軌跡の前記コストを判定するステップと、
    を備える請求項9に記載の方法。
  13. 1つまたは複数のプロセッサと、1つまたは複数のコンピュータ判読可能な一時的ではないストレージ媒体と、を備えるシステムであって、前記1つまたは複数のコンピュータ判読可能な一時的ではないストレージ媒体は、前記1つまたは複数のプロセッサによって実行された際に前記システムが動作を実行するようにするために動作可能である命令を備え、前記動作は、
    車両の移動制限の組に基づいて環境内の前記車両の複数の潜在的な軌跡と関連する初期コストボリュームを判定するステップと、
    前記初期コストボリューム及び前記環境と関連する環境データを使用してデルタコストボリュームを生成するステップであって、前記デルタコストボリュームは、観察された走行挙動を内蔵する前記初期コストボリュームに対する調節を判定することにより、生成されている、ステップと、
    前記初期コストボリューム及び前記デルタコストボリュームに基づいて前記車両用の前記複数の潜在的な軌跡のうちの1つの軌跡を採点するステップと、
    を備える、システム。
  14. 前記1つまたは複数のプロセッサは、動作を実行するために前記命令を実行した際にさらに動作可能であり、前記動作は、
    前記初期コストボリューム及び前記デルタコストボリュームに基づいて前記車両用の前記複数の残りの潜在的な軌跡を採点するステップと、
    その個々のスコアに基づいて前記複数の残りの潜在的な軌跡をランク付けするステップと、
    前記個々のスコアを使用することにより、前記車両用の計画軌跡として前記複数の潜在的な軌跡からトップにランク付けされた潜在的な軌跡を選択するステップと、
    を備える請求項13に記載のシステム。
  15. 前記1つまたは複数のプロセッサは、前記命令を実行した際に動作を実行するためにさらに動作可能であり、前記動作は、
    前記車両及び前記環境内の前記車両の周りのエージェントの1つまたは複数のトップダウン画像をラスタ化することにより、前記環境データを生成するステップを備える請求項13に記載のシステム。
  16. 前記環境データは、
    前記車両と前記エージェントとの間の距離、
    前記走行環境と関連するレーン境界、
    前記車両及び前記エージェントの速度、
    前記車両及び前記エージェントの走行方向、
    前記車両と前記エージェントの間のイールド関係、または、
    前記車両及び前記エージェントの場所、
    の1つまたは複数を備える情報を備える請求項13に記載のシステム。
  17. 実行された際に動作を生成するために動作可能であるソフトウェアを実施した1つまたは複数のコンピュータ判読可能な一時的ではないストレージ媒体であって、前記動作は、
    前記車両の移動制限の組に基づいて環境内の車両の複数の潜在的な軌跡と関連する初期コストボリュームを判定するステップと、
    前記初期コストボリューム及び前記環境と関連する環境データを使用してデルタコストボリュームを生成するステップであって、前記デルタコストボリュームは、観察された走行挙動を内蔵する前記初期コストボリュームに対する調節を判定することにより、生成されている、ステップと、
    前記初期コストボリューム及び前記デルタコストボリュームに基づいて前記車両用の前記複数の潜在的な軌跡の軌跡を採点するステップと、
    を備える、媒体。
  18. 前記ソフトウェアは、実行された際に動作を生成するためにさらに動作可能であり、前記動作は、
    前記初期コストボリューム及び前記デルタコストボリュームに基づいて前記車両用の前記複数の残りの潜在的な軌跡を採点するステップと、
    その個々のスコアに基づいて前記複数の残りの潜在的な軌跡をランク付けするステップと、
    前記個々のスコアを使用することにより、前記車両用の計画軌跡として前記複数の潜在的な軌跡からトップにランク付けされた潜在的な軌跡を選択するステップと、
    を備える請求項17に記載の媒体。
  19. 前記ソフトウェアは、実行された際に動作を生成するためにさらに動作可能であり、前記動作は、
    前記車両及び前記環境内の前記車両の周りのエージェントの1つまたは複数のトップダウン画像をラスタ化することにより、前記環境データを生成するステップ、
    を備える請求項17に記載の媒体。
  20. 前記環境データは、
    前記車両と前記エージェントとの間の距離、
    前記走行環境と関連するレーン境界、
    前記車両及び前記エージェントの速度
    前記車両及び前記エージェントの走行方向、
    前記車両と前記エージェントの間のイールド関係、または、
    前記車両及び前記エージェントの場所、
    の1つまたは複数を備える情報を備える請求項17に記載の媒体。
JP2022579705A 2020-06-24 2021-04-23 移動制限及び観察された走行挙動から生成されたデルタコストボリュームを使用した経路計画 Pending JP2023531962A (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US16/911,079 US11634161B2 (en) 2020-06-24 2020-06-24 Path planning using delta cost volume generated from movement restrictions and observed driving behavior
US16/911,079 2020-06-24
PCT/US2021/028962 WO2021262308A1 (en) 2020-06-24 2021-04-23 Path planning using delta cost volume generated from movement restrictions and observed driving behavior

Publications (1)

Publication Number Publication Date
JP2023531962A true JP2023531962A (ja) 2023-07-26

Family

ID=79032335

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022579705A Pending JP2023531962A (ja) 2020-06-24 2021-04-23 移動制限及び観察された走行挙動から生成されたデルタコストボリュームを使用した経路計画

Country Status (4)

Country Link
US (1) US11634161B2 (ja)
EP (1) EP4172019A1 (ja)
JP (1) JP2023531962A (ja)
WO (1) WO2021262308A1 (ja)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11620831B2 (en) * 2020-04-29 2023-04-04 Toyota Research Institute, Inc. Register sets of low-level features without data association
US11972576B2 (en) * 2020-06-30 2024-04-30 Lyft, Inc. Generating and fusing reconstructions using overlapping map segments
KR102525191B1 (ko) * 2020-08-07 2023-04-26 한국전자통신연구원 자율주행 차량에서의 주행 경로 생성 및 제어 시스템 및 방법
US11760379B2 (en) * 2021-01-11 2023-09-19 Toyota Research Institute, Inc. Navigating an autonomous vehicle through an intersection
US20220026234A1 (en) * 2021-02-25 2022-01-27 Kabushiki Kaisha Toshiba Drive control device, drive control method, and computer program product
US20230227061A1 (en) * 2022-01-14 2023-07-20 Aurora Operations, Inc. Systems and Methods for Pareto Domination-Based Learning
GB2619995A (en) * 2022-06-20 2023-12-27 Oxa Autonomy Ltd A computer-implemented method of determining a trajectory of an autonomous vehicle
GB2619923A (en) * 2022-06-20 2023-12-27 Oxa Autonomy Ltd A computer-implemented method of determining a trajectory of an autonomous vehicle

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9553132B1 (en) 2015-09-09 2017-01-24 Kabushiki Kaisha Toshiba Semiconductor memory device
JP6845083B2 (ja) 2017-05-18 2021-03-17 トヨタ自動車株式会社 運転支援装置
US10416677B2 (en) 2017-11-14 2019-09-17 Uber Technologies, Inc. Autonomous vehicle routing using annotated maps
US10684134B2 (en) 2017-12-15 2020-06-16 Waymo Llc Using prediction models for scene difficulty in vehicle routing
US20190204842A1 (en) * 2018-01-02 2019-07-04 GM Global Technology Operations LLC Trajectory planner with dynamic cost learning for autonomous driving
US11208096B2 (en) * 2018-11-02 2021-12-28 Zoox, Inc. Cost scaling in trajectory generation
US11231717B2 (en) 2018-11-08 2022-01-25 Baidu Usa Llc Auto-tuning motion planning system for autonomous vehicles
US11755018B2 (en) * 2018-11-16 2023-09-12 Uatc, Llc End-to-end interpretable motion planner for autonomous vehicles
US11531110B2 (en) * 2019-01-30 2022-12-20 Baidu Usa Llc LiDAR localization using 3D CNN network for solution inference in autonomous driving vehicles
US11161502B2 (en) * 2019-08-13 2021-11-02 Zoox, Inc. Cost-based path determination
US11427191B2 (en) * 2019-10-31 2022-08-30 Zoox, Inc. Obstacle avoidance action
US11827214B2 (en) * 2020-03-05 2023-11-28 Huawei Technologies Co., Ltd. Machine-learning based system for path and/or motion planning and method of training the same
US10906558B1 (en) * 2020-06-18 2021-02-02 Ike Robotics, Inc. Methods and systems for managing interactions of an autonomous vehicle with other objects

Also Published As

Publication number Publication date
WO2021262308A1 (en) 2021-12-30
US11634161B2 (en) 2023-04-25
EP4172019A1 (en) 2023-05-03
US20210403045A1 (en) 2021-12-30

Similar Documents

Publication Publication Date Title
US10625748B1 (en) Approaches for encoding environmental information
US11928557B2 (en) Systems and methods for routing vehicles to capture and evaluate targeted scenarios
US20210197720A1 (en) Systems and methods for incident detection using inference models
US11548518B2 (en) Subjective route comfort modeling and prediction
US11868136B2 (en) Geolocalized models for perception, prediction, or planning
US20220048535A1 (en) Generating Goal States for Prioritizing Path Planning
US11634161B2 (en) Path planning using delta cost volume generated from movement restrictions and observed driving behavior
US20210197813A1 (en) Systems and methods for appropriate speed inference
US20220188667A1 (en) Vehicle prediction module evaluation and training
US11354913B1 (en) Systems and methods for improving vehicle predictions using point representations of scene
US11718305B2 (en) Evaluating driving control systems for elegant driving
US11036986B2 (en) Systems and methods for aligning map data
WO2021133743A1 (en) Systems and methods for semantic map-based adaptive auto-exposure
US20210166145A1 (en) Leveraging Traffic Patterns to Understand Traffic Rules
US11731652B2 (en) Systems and methods for reactive agent simulation
US11157007B2 (en) Approaches for encoding environmental information
US11269341B2 (en) Systems and methods for automated trajectory prediction
US20210403035A1 (en) Systems and methods for autonomous vehicle performance evaluation
US20210124355A1 (en) Approaches for encoding environmental information
US11816900B2 (en) Approaches for encoding environmental information
US20230110659A1 (en) Approaches for encoding environmental information
JP2023533243A (ja) 車両の独立軌跡検証システム
US11886195B2 (en) Active learning and validation system for vehicles
US20230192077A1 (en) Adjustment of object trajectory uncertainty by an autonomous vehicle
US20230194692A1 (en) Radar tracking association with velocity matching by leveraging kinematics priors

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230227

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230404

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20240409