JP2024512980A - 不完全な環境情報で自律エージェントを動作させる方法及びシステム - Google Patents

不完全な環境情報で自律エージェントを動作させる方法及びシステム Download PDF

Info

Publication number
JP2024512980A
JP2024512980A JP2023559701A JP2023559701A JP2024512980A JP 2024512980 A JP2024512980 A JP 2024512980A JP 2023559701 A JP2023559701 A JP 2023559701A JP 2023559701 A JP2023559701 A JP 2023559701A JP 2024512980 A JP2024512980 A JP 2024512980A
Authority
JP
Japan
Prior art keywords
vehicle
environment
objects
agent
blind spot
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2023559701A
Other languages
English (en)
Inventor
パテル,サジャン
ジョンソン,コリン
マイヤー,グレゴリー
オルソン,エドウィン,ビー.
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
May Mobility inc
Original Assignee
May Mobility inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by May Mobility inc filed Critical May Mobility inc
Publication of JP2024512980A publication Critical patent/JP2024512980A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • G01S17/93Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001Planning or execution of driving tasks
    • B60W60/0011Planning or execution of driving tasks involving control alternatives for a single driving scenario, e.g. planning several paths to avoid obstacles
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B60W40/04Traffic conditions
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001Planning or execution of driving tasks
    • B60W60/0015Planning or execution of driving tasks specially adapted for safety
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001Planning or execution of driving tasks
    • B60W60/0027Planning or execution of driving tasks using trajectory prediction for other traffic participants
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001Planning or execution of driving tasks
    • B60W60/0027Planning or execution of driving tasks using trajectory prediction for other traffic participants
    • B60W60/00272Planning or execution of driving tasks using trajectory prediction for other traffic participants relying on extrapolation of current movement
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001Planning or execution of driving tasks
    • B60W60/0027Planning or execution of driving tasks using trajectory prediction for other traffic participants
    • B60W60/00276Planning or execution of driving tasks using trajectory prediction for other traffic participants for two or more other traffic participants
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88Radar or analogous systems specially adapted for specific applications
    • G01S13/93Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • G01S17/89Lidar systems specially adapted for specific applications for mapping or imaging
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/003Transmission of data between radar, sonar or lidar systems and remote stations
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/4808Evaluating distance, position or velocity data
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/408Radar; Laser, e.g. lidar
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00Input parameters relating to objects
    • B60W2554/40Dynamic objects, e.g. animals, windblown objects
    • B60W2554/404Characteristics
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2556/00Input parameters relating to data
    • B60W2556/10Historical data

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Physics & Mathematics (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Electromagnetism (AREA)
  • Human Computer Interaction (AREA)
  • Mathematical Physics (AREA)
  • Traffic Control Systems (AREA)
  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)

Abstract

不完全な環境情報で自律エージェントを動作させるシステムは、自律オペレーティングシステム及び自律エージェントを含む及び/又はそれらと相互作用してもよい。不完全な環境情報で自律エージェントを動作させる方法は:入力のセットを受信するステップ;自車両の環境内の既知オブジェクトのセットを決定するステップ;自車両の環境内の死角領域のセットを決定するステップ;仮想オブジェクトのセットを死角領域のセットに挿入するステップ;死角領域のセットに基づいて仮想オブジェクトのセットを選択するステップ;仮想オブジェクトのセットに基づいて自律エージェントを動作させるステップ;及び/又は、任意の他の適切なプロセスのいずれか又はすべてを含む。【選択図】図6

Description

関連出願の相互参照
[0001] 本願は、2021年4月2日に出願された米国仮出願第63/170,206号の利益を主張し、その全体がこの参照によって組み込まれる。
[0002] 本発明は、概して自律走行車の分野に関し、より具体的には、自律走行車の分野においてデータが減少した領域又はデータが存在しない領域で自律走行車を動作させる新規で有用なシステム及び方法に関する。
[0003] 自律走行車の分野では、その動的に変化する環境を安全に走行するため、自律エージェントにその環境を正確かつ完全に理解させることが重要である。しかしながら、自律走行車のセンサは、遮られること又はそうでなければエージェントの周囲の特定の領域を検出することができないことが多く、結果として、その環境のエージェントの理解に高度な不確実性を生じさせ得る「死角」が生じる。従来のシステム及び方法は通常、これらのシナリオでエージェントに、停止する又は非常にゆっくり走行するなどの過度に慎重な挙動を指示することによって、この問題を解決している。この挙動は非効率的であり(例えば、遅い、過度に慎重、車両を停止させる必要があるなど)、かつ、周囲のドライバーを苛立たせることが多いだけでなく、交差点で停止するなど、他のドライバーに対して予期せぬ方法でエージェントが作動した場合に危険になる可能性もある。さらに、これらの死角を明示的に検出したことに応答して、プログラムされたルール及び/又は挙動のセットを維持することは、困難であり、かつ、たいてい計算コストが高い。
[0004] したがって、自律走行車の分野では、その環境の不完全な理解で自律エージェントを動作させる改良された有用なシステム及び方法を生み出す必要がある。
[0005] 自律エージェントを動作させるシステムの概略図である。 [0006] 自律エージェントを動作させる方法の概略図である。 [0007] 一連の時点において第1競合ゾーンで自律エージェントを動作させる概略的な変形例を示す図である。 [0007] 一連の時点において第2競合ゾーンで自律エージェントを動作させる概略的な変形例を示す図である。 [0008] 第2競合ゾーンで自律エージェントを動作させる概略的な変形例を示す図である。 [0009] その環境における自律エージェントの概略的な変形例を示す図である。 [0010] その環境における自律エージェントの可視領域及び死角領域のセットの概略的な変形例を示す図である。 [0011] 自律エージェントを動作させる方法の概略的な変形例を示す図である。 [0012] 自律エージェントを動作させる方法及び/又はシステムの少なくとも一部の概略的な変形例を示す図である。 [0013] 自律エージェントを動作させる方法の一実装例を示す図である。 [0013] 自律エージェントを動作させる方法の一実装例を示す図である。 [0013] 自律エージェントを動作させる方法の一実装例を示す図である。 [0013] 自律エージェントを動作させる方法の一実装例を示す図である。 [0013] 自律エージェントを動作させる方法の一実装例を示す図である。
[0014] 本発明の好ましい実施形態の以下の説明は、これらの好ましい実施形態に本発明を限定することを意図したものではなく、当業者が本発明を作成及び使用することを可能にすることを意図したものである。
1. 概要
[0015] 図1に示すように、不完全な環境情報で自律エージェントを動作させるシステム100は、自律オペレーティングシステム及び自律エージェントを含んでもよく及び/又はそれらと相互作用してもよい。追加又は代替として、システムは、すでに米国特許第10,564,641号として発行された、2019年7月17日に出願された米国出願第16/514,624号;すでに米国特許第10,614,709号として発行された、2019年7月8日に出願された米国出願第16/505,372号;2020年2月17日に出願された米国出願第16/792,780号;2021年7月1日に出願された米国出願第17/365,538号;2021年12月14日に出願された米国出願第17/550,461号;及び、2021年12月17日に出願された米国出願第17/554,619号に記載されたコンポーネントのすべてを含んでもよく、これらの出願の各々は、この参照によってその全体が本明細書に組み込まれる。
[0016] システム100は、以下に説明する方法200のいずれか又はすべてを実行するために使用されることが好ましいが、追加又は代替として、任意の他の適切な方法を実行するために使用されてもよい。
[0017] 図2に示すように、不完全な環境情報で自律エージェントを動作させる方法200は:入力のセットを受信するステップS210;自車両の環境内の死角領域のセットを決定するステップS220;死角領域のセットに仮想オブジェクトのセットを挿入するステップS240;及び/又は、任意の他の適切なプロセスのいずれか又はすべてを含む。追加又は代替として、方法200は:自車両の環境内の既知オブジェクトのセットを決定するステップS215;死角領域のセットに基づいて仮想オブジェクトのセットを選択するステップS230;仮想オブジェクトのセットに基づいて自律エージェントを動作させるステップS250;及び/又は、任意の他の適切なプロセスのいずれか又はすべてを含んでもよい。さらに追加又は代替として、方法200は、すでに米国特許第10,564,641号として発行された、2019年7月17日に出願された米国出願第16/514,624号;すでに米国特許第10,614,709号として発行された、2019年7月8日に出願された米国出願第16/505,372号;2020年2月17日に出願された米国出願第16/792,780号;2021年7月1日に出願された米国出願第17/365,538号;2021年12月14日に出願された米国出願第17/550,461号;及び、2021年12月17日に出願された米国出願第17/554,619号のいずれか又はすべてに記載されたプロセスのいずれか又はすべてを含んでもよく又はそれらと相互作用してもよく、これらの出願の各々は、この参照によってその全体が本明細書に組み込まれる、又は、任意の他の適切なプロセスが任意の適切な順序で実行されてもよい。
[0018] 方法200は、上述したシステム及び/又は任意の他の適切なシステムを用いて実行されてもよい。
2. 利点
[0019] 不完全な環境情報で自律エージェントを動作させるシステム及び方法は、現在のシステム及び方法に対していくつかの利点をもたらすことができる。
[0020] 第1変形例では、この技術は、自律エージェントの環境内の他の車両、ドライバー及び歩行者にとって煩わしく、混乱をもたらし、かつ、潜在的に危険であり得る、過度に慎重な方法で、不自然な方法で、危険な方法で、及び/又は、最適でない運転を自律エージェントに要求することなく、自律エージェントが不完全な環境情報で運転することを可能にするという利点をもたらす。例では、システム及び/又は方法は、自律エージェントの計画又は軌道生成において、仮想オブジェクト(本明細書では、疑似(phantom)オブジェクト/エージェント、仮定(hypothetical)オブジェクト/エージェント、ゴーストオブジェクト/エージェントなどともいう。)を含めることを通じて自車両が最適な方法で運転することを可能にする。具体例では、自律エージェントは、これらの仮想オブジェクトが実物であるかのように動作する。
[0021] 追加として、自車両を停止させる(例えば、「立ち往生」させる、目標に向かって進んでいない、移動していないなどの)結果を招き得る、各仮想オブジェクトのためのすべての既定の及び/又は最も危険なパラメータを選択すること、他のドライバーに危険な及び/又は混乱を招く方法で運転すること(例えば、オブジェクトが存在しないにもかかわらずブレーキを踏むなど)、及び/又は、最適でない方法で運転することに代えて、この技術は、(例えば、物理/力学の原理、履歴情報、自車両の環境内の既知オブジェクトがどのように挙動するかの状況認識/理解、統計及び/又は確率などに基づいて)仮想オブジェクトが有することが合理的なパラメータを仮想オブジェクトに選択することによって、不完全な環境表現に対する自車両の応答を最適化するという利点を与えることができる。
[0022] 追加又は代替として、この技術は、自車両がその環境に関するより多くの情報を(例えば、そのセンサを用いて)収集する(例えば、オブジェクトが実際に死角領域に存在するか否かを決定する)のに役立つ方法で自車両が動作することを可能にする及び/又は奨励することができ、それによって、効率的な、安全な及び/又はその他の最適な方法(例えば、長時間停止しない)で自車両が動作することを可能にする。具体例では、例えば、自車両が、自車両の環境内の1以上の特定の死角領域などのその環境に関する追加情報を収集するのに役立つように構成されたポリシー(例えば、挙動)が自車両に提案されてもよく及び/又は自車両で実装されてもよい(例えば、前方にクリープする挙動)。
[0023] 第2変形例では、第1変形例に追加又は代替として、この技術は、自律エージェントが遭遇する可能性のあるさまざまな死角を検出して応答するためのハードコードされたロジックのライブラリ(例えば、自車両のプランナ/計画モジュール)の作成及び/又は使用及び/又は維持を必要としないという利点をもたらす。具体例では、システム及び/又は方法は、自律エージェントがその環境内の実体オブジェクトに対して反応するように仮想オブジェクトに対して反応するように、自律エージェントの計画又は軌道生成に仮想オブジェクトを含めることを通じてこれを可能にする。
[0024] 第3変形例では、上述した変形例の追加又は代替として、この技術は、エージェントが安全な方法で運転することを保証しながら、エージェントが考慮すべき仮想オブジェクトを選択する際の計算効率を有効化及び/又は最適化するという利点をもたらす。例えば、具体例では、これは:最悪であるが可能性のある(例えば、現実的な)シナリオを表す仮想オブジェクトを挿入すること;不可視の領域(本明細書では死角領域ともいう。)内に/それに関して、既知エージェントに関する情報(例えば、エージェントの存在、速度、位置などに関する履歴情報)を事前のもの(例えば、初期信念、マルチポリシー意思決定プロセスにおけるベイジアン推論プロセスの確率分布など)として使用すること;領域の不可視期間を使用して、エージェントが通常の速度(例えば、交通速度)で存在する可能性を決定すること;領域の不可視期間を使用して、領域内に存在する可能性のあるオブジェクトの最大速度を決定すること;既定のゾーン(例えば、競合の可能性及び/又はその可能性が高い領域)にのみ仮想オブジェクトを挿入すること、及び/又は、補足情報(例えば、自車両用の提案されたポリシー、他の車両の挙動など)に基づいて既定のゾーン内に仮想オブジェクトを追加することを抑制すること;(例えば、これらのゾーンを動的に特徴付けることとは対照的に)既定の(例えば、事前にラベル付けされた)マップを参照して、既定のゾーンのいずれか又はすべてを決定すること;仮想オブジェクトの潜在的な挙動及び/又はポリシーのサブセットのみ(例えば、最悪のケースのみ、関連するもののみなど)をシミュレーションすること;のいずれか又はすべてと通じて有効化される、及び/又は、任意の他の適切な方法で有効化される。
[0025] 追加又は代替として、システム及び方法は他の利点をもたらすことができる。
3. システム100
[0026] 図1に示すように、不完全な環境情報で自律エージェントを動作させるシステム100は、自律オペレーティングシステム及び自律エージェントを含んでもよく及び/又はそれらと相互作用してもよい。追加又は代替として、システムは、すでに米国特許第10,564,641号として発行された、2019年7月17日に出願された米国出願第16/514,624号;すでに米国特許第10,614,709号として発行された、2019年7月8日に出願された米国出願第16/505,372号;2020年2月17日に出願された米国出願第16/792,780号;2021年7月1日に出願された米国出願第17/365,538号;2021年12月14日に出願された米国出願第17/550,461号;及び、2021年12月17日に出願された米国出願第17/554,619号に記載されたコンポーネントのすべてを含んでもよく、これらの出願の各々はこの参照によってその全体が本明細書に組み込まれる。
[0027] システム100は、自車両がその環境を完全に理解していない環境を含む、多くの環境において自車両を自律的に又は部分的に自律的に動作させるように機能する。追加又は代替として、システム100は、不確実な環境において自車両が長時間停止又は失速することを防止すること;道路の他の利用者を混乱させる及び/又は妨害するような方法で自車両が動作することを防止すること;自車両が目標に向かって前進することを可能にすること;及び/又は、その他の方法で自車両の動作を改善することなどを通じて、不確実な環境における自車両の動作を改善するように機能してもよい。さらに追加又は代替として、システム100は、自車両がルートのセットをナビゲートすることを可能にするように機能してもよく、ルートのセットは:固定されたもの、動的に決定されたもの又は任意の組み合わせのいずれか又はすべてであってもよく;自車両の動作に関連付けられた計算効率を維持及び/又は向上させてもよく;及び/又は、任意の他の適切な機能を実行してもよい。
3.1 システム-コンポーネント
[0028] システム100は、好ましくは、自律車両(本明細書では、自車両、自律エージェント、エージェント及び/又は自エージェントともいう。)を含む及び/又は自律車両と相互作用する(例えば、自律車両内に組み込まれる)。自律エージェントは、自律車両を含むことが好ましく、完全自律車両及び/又は完全自律車両として動作可能な車両をさらに含むことが好ましいが、追加又は代替として、半自律車両及び/又は任意の他の車両であってもよい。
[0029] 追加又は代替として、自律エージェントは、半自律状態と完全自律状態(又は完全有人状態)との間で切り替わる車両であってもよく、及びしたがって、自律エージェントは、自律エージェントの状態に応じて半自律車両と完全自律車両との両方の属性を有してもよい。
[0030] 好ましい変形例では、自律車両は自動車(例えば、車、無人車、バス、シャトル、タクシー、相乗り車両、トラック、セミトラックなど)である。追加又は代替として、自律車両には、船舶(例えば、ボート、水上タクシーなど)、航空機(例えば、飛行機、ヘリコプタ、ドローンなど)、陸上車両(例えば、二輪車、自転車、オートバイ、スクータなど)、及び/又は、任意の他の適切な車両及び/又は輸送装置、自律機械、自律装置、自律ロボット及び/又は任意の他の適切な装置のいずれか又はすべてを含んでもよい。
[0031] 自律エージェントは、好ましくは、計算システム及び/又は処理システムを含み及び/又はそれらと相互作用し、計算システム及び/又は処理システムは、車両の1以上の軌道のセットを決定するために情報(例えば、センサ入力)を処理するように機能する。追加又は代替として、計算システム及び/又は処理システムは:知覚、予測、位置特定、計画及び/又は自律エージェントの動作に関連する任意の他の処理のいずれか又はすべてに関連する処理のいずれか又はすべてを実行するように機能してもよい。
[0032] 計算システムは、好ましくは、自律エージェントに搭載されて配置された(例えば、自律エージェント内に統合された)搭載計算システムを含む。追加又は代替として、計算システムは:リモート計算システム(例えば、クラウド計算システム、搭載計算システムに代えて搭載計算システムと通信するリモート計算など)、補助デバイス(例えば、モバイルデバイス、ユーザデバイスなど)に統合された計算システム、モバイルコンピューティングデバイスを含むエッジデバイス、及び/又は、任意の他の適切な計算システム及びデバイスのうちのいずれか又はすべてを含んでもよい。ある変形例では、例えば、自律エージェントは、ユーザデバイス(例えば、携帯電話、ラップトップなど)、リモートサーバ、クラウドサーバ、又は、車両から遠隔の任意の他の適切なローカル及び/又は分散計算システムを含んでもよいリモート又は分散計算システムと通信で動作可能である。リモート計算システムは、1以上のデータ接続(例えば、チャネル)を通じて自律エージェントの1以上のシステムに接続されてもよいが、代替として、任意の適切な方法で車両システムと通信してもよい。
[0033] 計算システムは、処理システム(例えば、グラフィック処理装置すなわちGPU、中央処理装置すなわちCPU、又は、任意の適切な処理回路)及びメモリを含むことが好ましいが、追加又は代替として、任意の他の適切なコンポーネントを含んでもよい。メモリは、短期メモリ(例えば、揮発性、不揮発性、ランダムアクセスメモリ又はRAMなど)及び/又は長期メモリ(例えば、フラッシュメモリ、ハードディスクなど)であってもよい。
[0034] ある変形例では、例えば、搭載計算システムは、本明細書に記載の特定されたコンポーネント又はモジュールのいずれか又は1以上と相互作用し及び/又はそれらを動作可能に制御するように動作する。好ましい変形例では、例えば、搭載計算システムは、(例えば、後述するように)マルチポリシー決定モジュールを実装するためのコンピュータ命令を実装及び/又は実行する。具体例では、処理システム及びメモリは共同して、その各々の内容の全体がこの参照によって本明細書に組み込まれる2019年7月17日に出願された米国出願第16/514,624号及び/又は2021年7月1日に出願された米国出願第17/365,538号で説明されたものなど、マルチポリシー意思決定フレームワークのフレームワークにおいて自律エージェントが利用可能なポリシーのセットを動的に管理するように機能する。追加又は代替として、処理システム及びメモリ並びに/又は任意の他の適切なコンポーネントは任意の他の適切な機能に使用されてもよい。
[0035] 具体例では、マルチポリシー意思決定モジュールは、この参照によってその全体が組み込まれる米国特許出願第14/814,766号に記載されているように、自律エージェントによって実行され得る潜在的な挙動ポリシーを含む、自律エージェント(実体又は仮想)の動作環境で識別されるエージェント及び/又はオブジェクト(例えば、歩行者)の各々の将来の(すなわち、時間的に前進する)挙動ポリシー(動作又はアクション)を推定するように機能するシミュレータモジュール若しくは同様のマシン又はシステムを含む。シミュレーションは、各エージェントの現在の状態(例えば、現在の仮定)、及び、履歴データバッファ(好ましくは、現時点までのデータを含む)から導出されたエージェントの各々の履歴アクション又は履歴挙動に基づいていてもよい。シミュレーションは、各エージェントの予測される挙動ポリシーと、自律エージェントによって実行され得る1以上の潜在的な挙動ポリシーとの間の相互作用(例えば、相対位置、相対速度、相対加速度など)に関するデータを提供してもよい。
[0036] 計算システム(例えば、搭載計算システム)は、好ましくは、自律エージェントを制御し、かつ、自律エージェントのセンサシステム(本明細書ではセンサスイートともいう。)(例えば、コンピュータビジョンシステム、LIDAR、フラッシュLIDAR、車輪速度、GPSなど)及び/又は(例えば、インフラストラクチャデバイスからの)他のセンサからの検出データを処理して、自律エージェントの動作環境内での自律エージェントの状態及び/又はオブジェクト(例えば、他の車両/エージェント、歩行者、自転車など)の状態を決定するように機能する。自律エージェント及び/又は動作環境内のオブジェクト(例えば、実体オブジェクト、仮想オブジェクトなど)の状態及び/又は任意の他の情報/命令(例えば、プログラム命令、学習命令など)に基づいて、搭載計算システムは、マルチポリシー意思決定モジュールを通じてなど、計算システムが自律エージェントの挙動を制御するために実行する挙動ポリシーを生成して挙動ポリシー(例えば、車線変更、合流、現在の車線維持、左折、右折、車寄せ、減速、加速、信号で停止、一時停止の標識で停止、道を譲るなど)を選択してもよい。
[0037] 変形例の第1セットでは、計算システムは、車両制御システム及びセンサシステムとのI/O通信に適合した搭載汎用コンピュータを含むが、追加又は代替として、任意の適切な計算デバイスであってもよい。搭載計算システムは、無線接続を介して(例えば、セルラーリンク又は接続を介して)インターネットに接続されることが好ましい。追加又は代替として、搭載計算システムは、任意の数の無線又は有線通信システムに結合されてもよい。
[0038] 追加又は代替として、任意の他の計算システムが使用されてもよい。
[0039] システム100は、好ましくは、計算システムと通信する通信インタフェースを含み、この通信インタフェースは、(例えば、インフラストラクチャデバイスから、リモート計算システム及び/又はリモートサーバから、テレオペレータプラットフォームから、別の自律システムエージェント又は他の車両からなど)情報が受信されること、かつ、計算システムから(例えば、リモート計算システム及び/又はリモートサーバに、テレオペレータプラットフォームに、インフラストラクチャデバイスに、別の自律エージェント又は他の車両になど)情報が送信されることを可能にするように機能する。通信インタフェースは、好ましくは、無線通信システム(例えば、Wi−Fi、Bluetooth、セルラー3G、セルラー4G、セルラー5G、多入力多出力又はMIMO、1以上の無線、若しくは、任意の他の適切な無線通信システム又はプロトコル)を含むが、追加又は代替として、有線通信システム(例えば、変調電力線データ転送、イーサネット、若しくは、任意の他の適切な有線データ通信システム又はプロトコル)、データ転送バス(例えば、CAN、FlexRay)及び/又は任意の他の適切なコンポーネントのいずれか又はすべてを含んでもよい。
[0040] システム100は、環境の1以上の側面及び/又は特徴を観察し、かつ、環境の1以上の側面及び/又は特徴に関する観察データを収集する(例えば、環境の追加の有利な地点を取得する)ために個別に及び/又は共同して機能する、本明細書では路側ユニットとともいう、(例えば、図5に示すような)インフラストラクチャデバイスのセットを任意選択的に含んでもよい。好ましい変形例では、インフラストラクチャデバイスはさらに、観察に関連付けられたデータを収集し、かつ、収集データ及び/又は収集データの処理された派生物を自律エージェントに送信するように機能する。追加又は代替として、インフラストラクチャデバイスは、データを収集してテレオペレータプラットフォームにデータを送信するように機能してもよく、テレオペレータは、そのデータを使用して、自律エージェントの計算システムによる考慮から、挙動ポリシーを含めるかどうか及び/又は挙動ポリシーを除外するかどうかなど、テレオペレータの意思決定を知らせてもよい。具体例では、例えば、インフラストラクチャデバイスは、車両の隅の周りの視野を見ることができることを可能にし、エージェント及び/又はオペレータ及び/又はエージェントのテレオペレータは、それを使用して、(曲がるために道路が空いていることを見ることによって)旋回挙動ポリシーが自律エージェントによって考慮されることを可能にしてもよい。
[0041] 代替として、システムはインフラストラクチャデバイスなしで実装されてもよい。
[0042] システムは、好ましくは、センサスイート(例えば、コンピュータビジョンシステム、LiDAR、RADAR、車輪速度センサ、GPS、カメラなど)を含む及び/又はセンサスイートと相互作用し、センサスイート(本明細書ではセンサシステムともいう。)は、搭載計算システムと通信し、かつ、自律エージェントのための1以上の軌道を決定するための情報を収集するように機能する。追加又は代替として、センサスイートは、自律エージェントの動作(自動運転など)、自律エージェントを取り巻く状況に関するデータ捕捉、自律エージェントの動作に関連するデータ捕捉、自律エージェントの保守ニーズの検出(例えば、エンジン診断センサ、外部圧力センサストリップ、センサ健全性センサなどを通じて)、自律エージェント内部の清浄度基準の検出(例えな、内部カメラ、アンモニアセンサ、メタンセンサ、アルコール蒸気センサ)を可能にするように機能してもよく、及び/又は、任意の他の適切な機能を実行してもよい。
[0043] センサスイートは、自律車両に搭載されたセンサ(例えば、エージェントの外面に結合されたRADARセンサ及び/又はLiDARセンサ及び/又はカメラ、エージェントに結合された及び/又はエージェント内に配置されたIMU及び/又はエンコーダなど)を含むことが好ましいが、追加又は代替として、エージェントから遠隔のセンサ(例えば、1以上のインフラストラクチャデバイスの一部として、エージェントと通信するセンサなど)、及び/又は、任意の適切な場所にある任意の適切なセンサを含んでもよい。
[0044] システムは、任意選択的に、自律エージェントのルーティング目標並びに自律エージェントの選択された挙動ポリシー及び/又は選択された軌道に従って自律エージェントを制御するための制御信号を生成するために利用される任意の適切なソフトウェア及び/又はハードウェアコンポーネント(例えば、プロセッサ及びコンピュータ可読記憶装置)を含む、1以上のコントローラ及び/又は制御システムを含む車両制御システムを含んでもよく及び/又は車両制御システムと相互作用してもよい。
[0045] 追加又は代替として、車両制御システムは、電子制御ユニット[ECU]、テレマティクスコントロールユニット[TCU]、トランスミッションコントロールモジュール[TCM]、アンチロックブレーキシステム[ABS]コントロールモジュール、ボディコントロールモジュール[BCM]、及び/又は、任意の他の適切な制御サブシステム及び/又はモジュールのいずれか又はすべてを含んでもよく、それらと相互作用してもよく、及び/又は、それらと通信してもよい。
[0046] 好ましい変形例では、車両制御システムは、車両のドライブバイ・ワイヤ・システムを含み、それと相互作用し、及び/又は、それを実装する。追加又は代替として、車両は、1以上の機械コンポーネントの作動に従って動作されてもよく、及び/又は、その他の方法で実装されてもよい。
[0047] 追加又は代替として、システムは、センサフュージョンシステム、測位システム(例えば、センサシステムの位置センサを含む)、誘導システム、及び/又は、任意の適切なコンポーネントのいずれか又はすべてを含んでもよい。ある変形例では、例えば、センサフュージョンシステムは、センサデータを合成及び処理し、かつ、マルチポリシー決定モジュールと連携して、自律エージェント(実体又は仮想)の環境のオブジェクト及び特徴の存在、場所、分類及び/又は経路を予測する。さまざまな実施形態において、センサフュージョンシステムは、これらに限定されないが、カメラ、LiDAR、レーダ、インフラストラクチャデバイス、リモートデータフィード(インターネットベースのデータフィード)、及び/又は、任意の数の他のタイプのセンサを含む、複数のセンサ及び/又はデータソースからのデータを組み込むように機能してもよい。
[0048] 測位システムは、他のデータとともにセンサデータを処理して、環境に対する自律エージェントの位置(例えば、マップに対するローカル位置、道路の車線に対する正確な位置、車両の進行方向、速度など)を決定してもよく、そのことが、(例えば、以下に記載するように)どのような挙動ポリシーが自律エージェントに利用可能であるかを決定するように機能してもよい。誘導システムは、他のデータとともにセンサデータを処理して、車両が従うべき経路を決定してもよい。
[0049] システムは、任意選択的に、(例えば、図8に示すような)1以上のマップを含んでもよく及び/又はマップと相互作用してもよく、マップは、ルートのセット(例えば、自律エージェントの既定のルート、他のエージェントの潜在的なルートなど);競合ゾーン(例えば、複数のルートが交差するエリア、交差交通が存在する可能性のあるエリアなど);ルートに割り当てられた1以上の車線ポリシー(例えば、自エージェント、他のエージェント、他のオブジェクトなどに対する既定の車線ポリシーのセット);ルートに関連付けられたパラメータ及び/又は特徴(例えば、関連付けられた速度制限、車線幅など);及び/又は、任意の他の情報のいずれか又はすべてに関連付けられた情報を提供するように機能してもよい。
[0050] 変形例の好ましいセットでは、システムは、そこから競合ゾーンが決定され得る領域(例えば、ハードコードされたルートを有する)、以下に記載の方法200において自律エージェントが死角領域と比較し得るハードコードされた競合ゾーンのセットを含むマップを含む及び/又はマップと相互作用する。追加又は代替として、競合ゾーン及び/又は任意の他の情報が、1以上のマップに直接ハードコードされてもよく、マップは、ハードコードされた情報の一部又は全部を有していなくてもよく、及び/又は、マップは任意の他の情報を含んでもよい。
[0051] システムは、任意選択的に、1以上のリモートテレオペレータ及び関連コンポーネント(例えば、自律エージェントとの通信インタフェース、計算システム、自律エージェント及び/又はインフラストラクチャデバイスからテレオペレータに情報を表示するための出力デバイス、テレオペレータからの命令/コマンドを受信するための入力デバイスなど)を指すテレオペレータプラットフォームと相互作用してもよい。テレオペレータプラットフォームは、テレオペレータからの入力を受信するように機能してもよく、その入力は、車両のキュレートされた挙動ポリシーの決定に少なくとも部分的に使用されてもよい。
[0052] 追加又は代替として、システム100は、任意の他の適切なコンポーネントを含んでもよく及び/又はそれらと相互作用してもよい。
4. 方法200
[0053] 図2に示すように、不完全な環境情報で自律エージェントを動作させる方法200は:入力のセットを受信するステップS210;自車両の環境内で死角領域のセットを決定するステップS220;仮想オブジェクトのセットを死角領域のセットに挿入するステップS240;及び/又は、任意の他の適切なプロセスのいずれか又はすべてを含む。追加又は代替として、方法200は、自車両の環境内の既知オブジェクトのセットを決定するステップS215;死角領域のセットに基づいて仮想オブジェクトのセットを選択するステップS230;仮想オブジェクトのセットに基づいて自律エージェントを動作させるステップS250;及び/又は、任意の他の適切なプロセスのいずれか又はすべてを含んでもよい。さらに追加又は代替として、方法200は、その各々の内容の全体がこの参照によって本明細書に組み込まれる、すでに米国特許第10,564,641号として発行された、2019年7月17日に出願された米国特許出願第16/514,624号;すでに米国特許第10,614,709号として発行された、2019年7月8日に出願された米国出願第16/505,372号;2020年2月17日に出願された米国出願第16/792,780号;2021年7月1日に出願された米国出願第17/365,538号;2021年12月14日に出願された米国出願第17/550,461号;及び、2021年12月17日に出願された米国出願第17/554,619号のいずれか又はすべてに記載されたプロセス又は任意の適切な順序で実行される任意の他の適切なプロセスのいずれか又はすべてを含んでもよく及び/又はそれらと相互作用してもよい。
[0054] 方法200は、上述したシステム100を用いて実行されることが好ましいが、追加又は代替として、任意の他の適切なシステムを用いて実行されてもよい。
[0055] 方法200は、好ましくは、その環境の不完全な情報で自律エージェントを動作させる(例えば、効率的に動作させる、安全に動作させるなど)ように機能する。追加又は代替として、方法200は、自律エージェントが人間と同様に運転する、自律エージェントを動作させるための計算コストを最適化及び/又は最小化することを可能にするように機能してもよく、及び/又は、任意の他の適切な機能を実行してもよい。
[0056] 方法200は、任意選択的に、固定ルート又は半固定ルート環境で実行されてもよい。追加又は代替として、方法200は、動的に決定されたルート環境、環境の任意の組み合わせ、及び/又は、任意の他の適切な環境で実行されてもよい。
[0057] 方法200は、自エージェントのマルチポリシー意思決定プロセス(例えば、コンピュータ可読媒体のマルチポリシー意思決定タスクブロック)及び任意の関連コンポーネント(例えば、コンピュータ、プロセッサ、ソフトウェアモジュールなど)と相互作用するように構成されることが好ましいが、追加又は代替として、任意の他の意思決定プロセスと相互作用してもよい。好ましい変形例のセットでは、例えば、計算システム(例えば、搭載計算システム)のマルチポリシー意思決定モジュールは、自エージェントで実装される将来の(すなわち、時間的に前進する)挙動ポリシー(動作又はアクション)の効果、及び任意選択的に、自エージェントの動作環境で識別された環境オブジェクトのセット(例えば、既知オブジェクト、仮想オブジェクトなど)の各々でのそれらの効果を予測する(例えば、推定する)ように機能するシミュレータモジュール(又は同様のマシン又はシステム)(例えば、コンピュータ可読媒体のシミュレータタスクブロック)を含む。シミュレーションは、各エージェントの現在の状態(例えば、現在の仮定)及び/又は履歴データバッファ(好ましくは、現時点までのデータを含む)から導出されたエージェントの各々の履歴アクション又は履歴挙動に基づいていてもよい。シミュレーションは、各環境エージェントの予測された挙動ポリシーと、自律エージェントによって実行され得る1以上の潜在的な挙動ポリシーとの間の相互作用(例えば、相対位置、相対速度、相対加速度など)に関するデータを提供してもよい。シミュレーションからのデータは、任意の数の指標を決定(例えば、計算)するために使用されてもよく、これらの指標は、特定のポリシーを実行するときの環境要因のいずれか又はすべてに対する自エージェントの潜在的な影響、特定のポリシーを実行するリスク(例えば、衝突リスク)、特定のポリシーの実行によって自エージェントが特定の目標に向かってどの程度進むか、及び/又は、自エージェントが実装するためのポリシーの選択に関連する任意の他の指標の決定のいずれか又はすべてを評価するために個別に及び/又は集合的に機能してもよい。
[0058] 指標のセットは、任意選択的に、その提案されたポリシーに対して実行されるシミュレーションのセットに基づいて、提案された各自エージェントポリシーに関連付けられたコスト関数(及び/又は損失関数)を含む、及び/又は、(例えば、後述する指標のセットの一部又は全部を集約することを通じて)共同して決定してもよい。追加又は代替として、後述する指標のセットは、個別に決定及び/又は分析されてもよく、他の指標が決定されてもよく、指標が他の適切な方法で集約されてもよく、及び/又は、指標は他の方法で構成されてもよい。これらの指標及び/又は関数を用いて、提案されたさまざまなポリシー間で指標及び/又は関数を比較することなど(例えば、かつ、最小のコスト/損失関数を有するポリシーを選択すること、目的関数を最適化する[例えば、最大化する、最小化するなど]ポリシーを選択することなど)によって、ポリシーのセットから最良のポリシーが選択されてもよい。
[0059] マルチポリシー意思決定プロセスは、追加又は代替として、限定されないものの、その各々の全体がこの参照によって組み込まれる、2019年7月17日に出願された米国出願第16/514,624号;及び、2021年7月1日に出願された米国出願第17/365,538号に記載のプロセスのいずれか又はすべてなどの任意の他のプロセス、又は、任意の適切な順序で実行される任意の他の適切なプロセスを含んでもよく及び/又はそれらと相互作用してもよい。
[0060] 追加又は代替として、方法200は、任意の他の意思決定プロセスを含んでもよく及び/又はそれらと相互作用してもよい。
[0061] 方法200は、好ましくは、自車両に関連付けられた計算サブシステム及び/又は処理サブシステム(例えば、自車両に搭載され、自車両と通信するなど)を用いて及び/又はそこで実行されるが、追加又は代替として、任意の他の適切なコンポーネント及び/又はコンポーネントの組み合わせを用いて実行されてもよい。
4.1 方法-入力のセットを受信するステップS210
[0062] 方法200は、それを用いて自車両の環境を評価するための情報を受信するように機能する、入力のセットを受信するステップS210を含んでもよい。S210は、追加又は代替として、自車両が特定の領域及び/又はシナリオ(例えば、既定のゾーン及び/又はシナリオ、競合ゾーンなど)内にある又はそれらに接近していることを検出するための情報を受信し、自車両の環境内で1以上の死角領域を検出し、死角領域と特定のゾーンの重なりを決定するように機能してもよく、及び/又は、任意の他の適切な機能を実行してもよい。
[0063] S210は、方法200において最初に実行されることが好ましく、さらに好ましくは、連続的に(例えば、自車両のルートの横断中、自車両が運転している間、方法200中など)、既定の頻度で、ランダムな一連の間隔で、トリガに応答して、及び/又は、任意の適切な時点で、のいずれか又はすべてなど、自車両の動作中に実行される。追加又は代替として、S210は、方法200の別のプロセスに応答して、方法200中の任意の適切な時点で、一度実行されてもよく、及び/又は、方法200の例はS210なしで実行されてもよい。
[0064] S210は、自車両に関連付けられた計算サブシステム及び/又は処理サブシステムのセット(例えば、自車両に搭載され、自車両と通信するなど)で実行されることが好ましいが、追加又は代替として、任意の他の適切なコンポーネント及び/又はコンポーネントの組み合わせを用いて実行されてもよい。
[0065] 入力のセットは、好ましくは、(例えば、上述したように)自車両に搭載されて配列されたセンサのセットのいずれか又はすべてから、例えば、上述したセンサのいずれか又はすべてから受信したセンサ入力(例えば、光検出及び測距[LiDAR]センサ、無線検出及び測距[RADAR]センサ、カメラ、マイクなど)を含む。追加又は代替として、センサ入力は、任意の適切なセンサ(例えば、エージェントから遠隔のセンサ、1以上のインフラストラクチャデバイスの一部など)、他の情報ソース(例えば、オンライン情報ソース、データベースなど)、他のエージェント及び/又はオブジェクト、及び/又は、任意の他の適切なセンサから受信されてもよい。
[0066] センサ入力は、自車両の環境において、自車両が不完全に理解している(例えば、その領域内にオブジェクトが存在するか否かを知らない)領域を表す、妨害及び/又は障害物を検出及び/又は表示するように機能することが好ましい。追加又は代替として、センサ入力は、(例えば、S215で)自車両の環境内の既知オブジェクトを検出し、自車両及び/又は既知オブジェクトに関連付けられたパラメータ(例えば、速度、場所、位置など)を決定し、自車両の環境における特徴を検出し(例えば、競合ゾーンの発生を検出し)、及び/又は、任意の他の情報を決定/検出するように機能してもよい。
[0067] センサ入力は、自車両の環境を3次元(又はそれ以上の次元)で特徴付けるセンサ(例えば、LiDARセンサ、RADARセンサ、マルチカメラシステムなど)から少なくとも部分的に収集されることが好ましく、かつ、3D環境(LiDARセンサなど)で妨害(例えば、障害物、影など)を検出するために使用可能なセンサから少なくとも部分的に収集されることがさらに好ましい。追加又は代替として、任意のデータ検出用に構成された任意の他のセンサが使用されてもよい。
[0068] 好ましい変形例のセットでは、センサ入力は、(例えば、自車両に結合された)LiDARセンサのセットからのデータを含む。具体例では、LiDARデータは、自車両の環境内でオブジェクトのセット及び関連付けられたオブジェクトの高さを検出するために(例えば、後述するように)使用され、この高さ情報は、どの領域が自車両による検出を妨げられているかを検出するために使用されてもよい。
[0069] 追加又は代替として、センサ入力には、カメラ、RADARセンサ、及び/又は、任意の他のセンサのいずれか又はすべてからのデータが含まれてもよい。ある例では、例えば、環境を特徴付け、かつ、(例えば、検出された既知オブジェクトに基づいて)視界を遮られる可能性のある領域があるかどうかを検出するために、(例えば、コンピュータビジョンプロセスのセットを用いて)カメラのセットからのデータが収集及び分析される。他の例では、複数のタイプのセンサデータ(例えば、集約データ、融合データなど)が使用される(例えば、カメラデータ及びLiDARデータ、カメラデータ及びRADARデータ、LiDARデータ及びRADARデータなど)。
[0070] 入力のセットは、任意選択的に、追加又は代替として、仮想オブジェクトが死角領域に追加されるべきか否か、及び/又は、仮想オブジェクトが追加されるべき場合、どのパラメータ値(例えば、速度値、寸法など)が仮想オブジェクトに帰属されるべきか(例えば、シミュレーション又は他の分析で割り当てられる、実装されるなど)を(例えば、S230で)通知するように機能することが好ましい履歴情報を含んでもよい。履歴情報は、センサのセット(例えば、自車両に搭載されている、自車両外に搭載されているなど)、データベースのセット、シミュレーションのセット、及び/又は、任意の他のソースのいずれか又はすべてから収集されてもよい。
[0071] 履歴情報は、好ましくは、自車両の環境の既知オブジェクトに関連付けられた以前のデータ(例えば、以前の軌道/経路、以前の位置、以前の速度、以前の加速度など)、自車両自体に関連付けられた以前のデータ(例えば、以前の経路、以前の位置、以前の速度、以前に選択されたポリシー/挙動など)、死角領域に関連付けられた以前のデータ、検出された死角領域の場所に関連付けられた以前のデータ、及び/又は、任意の他のタイプの情報などの、以前の時点のステップにおける自車両の環境に関連付けられた情報(例えば、データ)を含む。
[0072] 車両のためのポリシーをシミュレーションして選択するためにシミュレーションが実行される変形例のセットでは、履歴情報は、任意選択的に、追加又は代替として、以前のシミュレーションで使用されたデータを含んでもよい。
[0073] 履歴情報は、任意選択的に、現在走行中の自車両、以前走行中の自車両、複数の車両(例えば、集約された)のいずれか又はすべてで収集されてもよく、及び/又は、任意の他の適切な情報ソースから収集されてもよい。
[0074] ある変形例では、例えば、履歴情報は:死角領域がどのくらいの期間にわたって死角領域であったか(例えば、死角領域が静的オブジェクト対動的オブジェクトによって引き起こされるか否か、自車両が以前に現在死角領域の場所で情報を検出することができたか否かなど);以前に存在していた既知オブジェクトが現在失われているか否か;以前は検出されなかった既知オブジェクトが現在検出されているか否か;自車両の環境内の他のオブジェクトがどの程度の速度で移動しているか;及び/又は、任意の他の情報のいずれか又はすべてを含む及び/又はそれらを決定するために使用される。
[0075] 入力のセットは、任意選択的に、追加又は代替として、補足情報(本明細書では補助情報ともいう。)を含んでもよく、補足情報は、仮想オブジェクトが死角領域に追加されるべきかどうか及び/又はどのように追加されるべきかを通知するように機能することが好ましいが、追加又は代替として、任意の他の機能を実行してもよい。
[0076] 補足情報には、これらに限定されないが、(例えば、後述するような)1以上のマップのセット;自車両の環境内の既知オブジェクトに関連付けられたパラメータ(例えば、速度値、加速度値、場所、位置、向きなど)及び/又は他の情報(例えば、疑わしいポリシー/挙動、以前に疑われていたポリシー/挙動など);自車両に関連付けられたパラメータ及び/又は情報(例えば、パラメータ、現在のポリシー/挙動、以前のポリシー/挙動など);自車両の環境に関連付けられた補足情報(例えば、オフボードセンサから、データベースなどから);及び/又は、任意の他の情報のいずれか又はすべてが含まれてもよい。
[0077] 変形例の第1セットでは、S210は、1以上の少なくとも1つのLiDARセンサのセットのからの、及び任意選択的に、(例えば、マップを記憶する、履歴データを記憶する、補足情報を記憶するなど)データベースのセットからの、センサデータを収集するステップを含む。
[0078] 変形例の第2セットでは、S210は、カメラのセット(例えば、複数のカメラ)からの、及び任意選択的に、(例えば、マップを記憶する、履歴データを記憶する、補足情報を記憶するなど)データベースのセットからの、センサデータを収集するステップを含む。
[0079] 変形例の第3セットでは、S210は、RADARセンサのセットから、及び任意選択的に、(例えば、マップを記憶する、履歴データを記憶する、補足情報を記憶するなど)データベースのセットから、センサデータを収集するステップを含む。
[0080] 変形例の第4セットでは、S210は、複数のタイプのセンサから、及び任意選択的に、(例えば、マップを記憶する、履歴データを記憶する、補足情報を記憶するなど)データベースのセットから、センサデータ(例えば、複数のセンサ/センサタイプからの集約データ、複数のセンサ/センサタイプからの融合データなど)を収集するステップを含む。
[0081] 追加又は代替として、S210は、任意の他の適切なプロセスを含んでもよい。
4.2 方法-自車両の環境内の既知オブジェクトのセットを決定するステップS215
[0082] 方法200は、任意選択的に、自車両の環境内の既知オブジェクトのセットを決定する(例えば、検出する、特徴付ける、分類するなど)ステップを含んでもよく、このステップは:(例えば、自車両が実装するポリシーをシミュレーションして選択するための)シミュレーションのセットの実行;(例えば、既知オブジェクトの配置による、それに近い領域が自車両に対して遮られることの検出に基づいた)S220における1以上の死角領域の検出;(例えば、既知オブジェクトがその環境をどのように移動しているかについての自車両の知識に基づいた)仮想オブジェクトが死角領域に配置されるべきか否かの決定;(例えば、既知オブジェクトが環境内をどのように移動しているかについての自車両の知識に基づいた、既知オブジェクトの現在及び/又は以前の速度に基づいた、既知オブジェクトの検出された挙動に基づいたなど)仮想オブジェクトへの1以上のパラメータの割り当て;及び/又は、任意の他の機能のいずれか又はすべてを可能にするように機能してもよい。
[0083] S215は、好ましくは、S210に応答して、S210に基づいて(例えば、S210の各例で)実行され、かつさらに好ましくは、S210で収集されたいずれか又はすべてのセンサ情報(例えば、カメラデータ、LiDARデータ、RADARデータなど)に基づいて実行されるが、追加又は代替として、S210で収集された任意の他のデータに基づいて;方法200の別のプロセスに応答して;方法200中及び/又は自車両の動作中に複数回(例えば、連続的に、既定の頻度で、既定の周期でなど);及び/又は任意の他の時点で、実行されてもよい。代替として、方法200は、S215なしで実行されてもよい。
[0084] S215は、自車両に関連付けられた計算サブシステム及び/又は処理サブシステムのセット(例えば、自車両に搭載され、自車両と通信するなど)で実行されることが好ましいが、追加又は代替として、任意の他の適切なコンポーネント及び/又はコンポーネントの組み合わせによって実行されてもよい。
[0085] S215は、任意選択的に、S220における死角領域のセットを決定、検出及び/又は分類するために使用されてもよい。ある変形例では、例えば、死角領域及び/又はそれらに関連するパラメータ(例えば、サイズ、場所など)は、既知オブジェクトのセット(例えば、既知オブジェクトのサイズ、既知オブジェクトの場所、既知オブジェクトの履歴情報など)に基づいて(例えば、部分的に、完全になど)決定される。代替として、死角領域は、既知オブジェクトとは独立して決定されてもよい。
[0086] 既知オブジェクトは、本明細書では、好ましくは、自車両によって検出可能なオブジェクト(例えば、遮られていない、死角領域内にないなど)をいう。既知オブジェクトには、これらに限定されないものの:車両(例えば、自動車、バン、トラック、バス、電車、飛行機、オートバイなど);自転車;歩行者;静的オブジェクト(例えば、樹木、街灯柱、道路形状、標識など);及び/又は、任意の他のオブジェクトのいずれか又はすべてなどの任意の適切なオブジェクト(例えば、動的オブジェクト、静的オブジェクトなど)が含まれてもよい。追加又は代替として、既知オブジェクトは、自車両に対して対象のオブジェクト(例えば、既定の距離閾値内にある)及び/又は任意の他のオブジェクトであり得る。さらに追加又は代替として、S215は、道路形状の特徴(例えば、車線、信号機など)及び/又は任意の他の情報を検出するステップを含んでもよい。
[0087] S215は、任意選択的に、オブジェクトタイプ、重要性及び/又は任意の他の指標などに基づいて、既知オブジェクトのいずれか又はすべてを特徴付ける(例えば、分類する)ステップを含んでもよい。
[0088] S215は、任意選択的に、追加又は代替として、例えば、これらに限定されないが、速度、位置(例えば、場所)、向き、姿勢、挙動/ポリシー(例えば、他のパラメータ及び/又は履歴情報に基づいて予測されるもの)、意図、及び/又は、任意の他の情報などの既知オブジェクトのいずれか又はすべてに関連付けられた1以上のパラメータを決定する(例えば、計算する、検出する、予測するなど)ステップを含んでもよい。任意選択的に、パラメータのいずれか又はすべては:既知オブジェクトをシミュレーションする;仮想オブジェクトが死角領域に存在すべきであるか否かを決定する;いずれか又はすべての仮想オブジェクトに帰属されるべきパラメータを決定する、ために使用されてもよく、及び/又は、他の方法で適切に使用されてもよい。
[0089] 好ましい変形例のセットでは、S215は、自車両の環境内の既知オブジェクトのセットを検出するステップと、(例えば、力学方程式を用いて、センサデータに基づいて、訓練モデルのセットを用いてなど)既知オブジェクトの各々に関連付けられたパラメータのセットを決定するステップと、を含む。
4.3 方法-自車両の環境内の死角領域のセットを決定するステップS220
[0090] 方法200は、自車両の環境において決定する(例えば、検出する、特徴付ける、分類するなど)ステップS220を含んでもよく、このステップは、自車両が情報を検出しないエリア、及び/又は、情報がないことを自エージェントが検出するエリアを決定するように機能する。追加又は代替として、S220は、競合ゾーンを決定し、死角領域と競合ゾーンとの間の重なり及び/又は予測された重なりを検出し、さらなる考慮及び/又は処理から死角領域を排除するように機能してもよく、及び/又は、任意の他の適切な機能を実行してもよい。
[0091] S220は、好ましくは、S210に応答して、S210に基づいて実行され、かつさらに好ましくは、自エージェントの動作中に複数回(例えば、連続的に、既定の頻度でなど)実行されるが、追加又は代替として:S215に応答して及び/又はS215に基づいて;トリガ(競合ゾーンの検出など)に応答して;方法200の他のプロセスに応答して;S210及び/又はS215なしで;及び/又は、任意の他の適切な時点で、のいずれか又はすべてで実行されてもよい。
[0092] S220は、自車両に関連付けられた(例えば、自車両に搭載された、自車両と通信するなど)計算サブシステム及び/又は処理サブシステムのセットで実行されることが好ましいが、追加として又は代替として、任意の他の適切なコンポーネント及び/又はコンポーネントの組み合わせによって実行されてもよい。
[0093] 死角領域(本明細書では、死角、低視認領域、非可視領域、遮断領域、閉塞領域、未知領域などともいう。)は、自律エージェントに搭載されたセンサシステム(例えば、LIDARセンサ、カメラ、RADARセンサなど)、1以上のインフラストラクチャデバイスに搭載されたセンサシステム、他のエージェント及び/又はオブジェクトに搭載されたセンサシステム、センサフュージョンシステム、及び/又は、任意の他のコンポーネントのいずれか又はすべてなど、自車両に関連付けられたセンサシステム(例えば、図6に示すようなエージェントの可視領域の一部ではない)によって検出不可能(及び/又は、大きなノイズありで検出可能な、及び/又は、低い信頼性で検出可能な)エリア及び/又は領域のことをいう。
[0094] 死角領域は、自車両と死角領域との間に配置された(例えば、死角領域の隣の)オブジェクトなどの障害物(例えば、既知オブジェクト、インフラストラクチャなど)によって引き起こされることが好ましく、オブジェクト又は他の障害物は、自車両が死角領域内の情報を検出する(例えば、感知する、見るなど)ことを妨げる。死角領域は、追加又は代替として、自エージェントに搭載されたセンサの数及び/又は配置(例えば、検出することができない特定の角度を生じさせる);1以上のセンサの故障;自エージェントの環境条件(例えば、眩しさ、雨、霧など)のいずれか又はすべてによって引き起こされてもよく、及び/又は、任意の他の原因に基づいて引き起こされてもよい。
[0095] 死角領域は、(例えば、上述したように)自エージェントのセンサのセット及び計算システムのいずれか又はすべてに基づいて検出されることが好ましいが、追加又は代替として、センサデータの処理に基づいて、例えば、プログラムされたルールのセット、機械学習モデルのセット、及び/又は、任意の他の情報のいずれか又はすべてに基づいて決定されてもよい。代替として、死角領域は、既定された及び/又は任意の他の方法で適切に決定された、センサデータ以外のデータを用いて検出されてもよい。
[0096] 死角領域は、少なくとも部分的に動的に決定されることが好ましく、死角領域の発生及び/又はそれに関連のパラメータは、自エージェントの動作中に連続的に(例えば、既定の頻度で)決定される(例えば、検索される、検出されるなど)。追加又は代替として、死角領域は、事前に決定されてもよく、固定されてもよく(例えば、自エージェントの1以上の基準点に対する固定された領域)、他の時点で決定されてもよく(例えば、ランダムな間隔で、又は、自エージェントの移動中の任意の時点で一度だけ、競合ゾーンの検出などのトリガに応答してなど)のうちのいずれか又はすべてであってもよく、及び/又は、任意の他の方法で適切に決定されてもよい。
[0097] 死角領域は、死角領域の面積(例えば、路面への投影に基づく)、死角領域の体積、死角領域の1以上の長さパラメータ(例えば、自エージェントから延びる距離、自エージェントの前方の距離、自エージェントからのオフセット距離など)、死角領域の角度、死角領域の高さ(例えば、地面に対するオフセット)のいずれか又はすべてなどの任意の数のパラメータ、及び/又は、任意の他の適切なパラメータに関連付けられてもよく及び/又はそれらによって定義されてもよい。
[0098] ある変形例では、例えば、死角領域は、検出された環境表現(例えば、LiDARセンサのセットを用いて検出されたもの)に関連付けられた高さパラメータのセット(例えば、高さ偏差)に少なくとも部分的に基づいて検出される。具体例では、死角領域を検出及び/又は分類するために使用される高さパラメータには、自車両が地面で及び/又は地面から既定の高さ(例えば、オブジェクトがその中に隠れるのに十分な高さ)内で、情報を検出することができない場合にその領域が死角として分類されるように、地面(例えば、路面)に対する高さが含まれる。
[0099] S220は、任意選択的に、例えば、それらの比較に基づいて死角領域が考慮から除外されるように、閾値のセット(例えば、境界、制限など)とそれらのパラメータのいずれか又はすべてを比較するステップを含んでもよい。閾値は、例えば、死角領域の最小サイズ(例えば、死角領域内に有効なオブジェクトが適合することができないので、このサイズ閾値を下回る死角領域は考慮から除外される)、路面に対する死角領域の最小高さ、自エージェントからの最大距離(例えば、エージェントから遠く離れた死角領域は考慮されないなど)、(例えば、道路形状及び/又はランドマークに対する)死角領域の場所、及び/又は、任意の他の閾値のいずれか又はすべてを実施してもよい。
[00100] S220は、任意選択的に、自車両の環境内のゾーンのセットを決定する(例えば、検出する、特徴付ける、分類するなど)ステップを含んでもよく、ゾーンのセットを決定するステップは:どの死角領域に対してさらなる処理を実行するかを決定する(例えば、さらなる処理から死角領域を除外する);どの死角領域をさらに処理するかの優先順位を付ける;計算リソースを節約する;及び/又は、任意の他の機能を実行するように機能してもよい。
[00101] ゾーンのセットは、事前に決定される(例えば、マップに割り当てられる/マップにハードコードされる)、事前に決定されたマップデータから推論及び/又は計算される、動的に決定される(例えば、自エージェントのセンサシステムに基づいて、インフラストラクチャデバイスのセンサに基づいてなど)、方法の任意の組み合わせで決定される、及び/又は、他の方法で適切に決定される、のいずれか又はすべてであってもよい。
[00102] ある変形例では、例えば、ゾーンのセットのいずれか又はすべてがマップのセットに基づいて決定され(例えば、識別され)、マップのセットは、(例えば、死角領域をさらに処理するため)対象のゾーンを用いてラベル付けされる(例えば、事前にラベル付けされる、手作業でラベル付けされる、動的にラベル付けされるなど)。マップは、自車両の少なくとも場所と、任意選択的に、(例えば、検出された道路形状と一致させるための)環境表現のいずれか又はすべてと、に基づいて参照されることが好ましいが、追加又は代替として、(例えば、自車両の現在のポリシーに基づいて、自車両の提案ポリシーに基づいてなど)他の方法で取得及び/又は参照されてもよい。マップは、3D、2D、及び/又は、任意の他の次元のいずれか又はすべてであってもよい。マップは、単一のマップ、複数のマップ(例えば、各マップが自車両の特定のポリシー/挙動用に構成される複数のマップオプション)、及び/又は、マップ及び/又はマップオプションの任意の組み合わせのいずれか又はすべてを含んでもよい。
[00103] 追加又は代替の変形例では、ゾーンのいずれか又はすべてが動的に検出される。具体例では、例えば、センサデータが(例えば、訓練モデルを用いて、コンピュータビジョンプロセスを用いてなど)処理されて、(例えば、競合ゾーンについて後述するパラメータに基づいて、履歴情報に基づいてなど)対象のゾーンを分類してもよい。
[00104] 対象のゾーンは、本明細書で競合ゾーンのセットというものを含むことが好ましく、S220は、死角領域が競合ゾーンと部分的又は完全に重なっていることを検出する及び/又は決定するステップを含む。競合ゾーンは、例えば、2以上の車線が形状で重なる可能性がある任意の領域(例えば、分割、合流、交差など)、又は、任意の他の領域などの、複数の経路が競合する(例えば、交差する、重なるなど)可能性がある任意の領域のことをいう。好ましい変形例では、競合ゾーンは、自エージェント及び/又は自エージェントのルート(例えば、固定ルート、動的ルートなど)が、交差交通(例えば、交差点、駐車場、私道など)、並行交通(例えば、車線変更)、及び/又は、任意の他のタイプの遭遇など、他のオブジェクトに潜在的に遭遇する可能性がある領域のことをいい、交通には、車両交通、歩行者交通及び/又は任意の適切なオブジェクトとの任意の他の遭遇が含まれてもよい。追加又は代替として、競合ゾーンは、他の方法で適切に定義されてもよく、これらのユースケースのサブセットを含んでもよく、追加のユースケースを含んでもよく、及び/又は、他の方法で決定されてもよい。
[00105] 競合ゾーンは、道路の特徴及び/又は形状(例えば、交差点の存在、車線の分割及び/又は合流など)に少なくとも部分的に基づいて割り当てられることが好ましいが、追加又は代替として、他のインフラ情報(例えば、家の場所、私道の場所、歩道など)、履歴情報(例えば、過去の競合及び/又は競合の近く)、動的情報(例えば、現在の交通状況、事故警報、工事警報など)、及び/又は、任意の他の情報に基づいて決定されてもよい。
[00106] 競合ゾーンは、任意選択的に、自エージェントが車線変更挙動を実行している(及び/又は実行することが提案されている)ときには存在するが、自エージェントがその車線を維持しているときには存在しないなど、エージェントの挙動及び/又はポリシーに依存してもよい。追加又は代替として、競合ゾーンは、自エージェントに関連付けられた他の特徴に依存してもよく、この情報のいずれか又はすべて、任意の組み合わせとは無関係であってもよく、及び/又は、他の方法で決定されてもよい。具体例では、例えば、自車両に対して車線変更ポリシーが提案されている場合、自車両と同じ方向に走行している隣接車線のみが競合ゾーンとみなされる。
[00107] 追加又は代替として、競合ゾーンは、仮想オブジェクトタイプ(例えば、歩行者及び/又は自転車仮想オブジェクトのための競合ゾーンは、自動車仮想オブジェクトと比べてより多く及び/又は道路形状への制約が少ない);競合ゾーン内の車線の進行方向(例えば、自車両に関連する進行方向を有する車線のサブセットのみを含む)のいずれか又はすべてに依存してもよく;及び/又は、他の方法で決定されてもよい。
[00108] S220は、任意選択的に、さらなる処理のための死角領域のセットを決定するために、死角領域候補のセットをゾーンのセットと比較するステップを含んでもよい。さらなる処理のための死角領域は、対象のゾーン(例えば、競合ゾーン)と重なる(例えば、接触する、部分的に重なる、その内部に完全に配置されるなど)ものを含むことが好ましいが、追加又は代替として、対象のゾーンに近接するもの(例えば、既定の距離閾値内)及び/又は任意の他のゾーンであってもよい。代替として、すべてのゾーンが考慮されてもよく、他の方法でゾーンが考慮されてもよく、及び/又は、S220は他の方法で適切に実行されてもよい。
[00109] ある変形例では、S220は、競合ゾーンを検出するステップ、及び/又は、(例えば、自エージェントのルートに基づいて、自エージェントの現在の場所に基づいて、自エージェントの速度に基づいてなど)死角領域が競合ゾーンと重なっていること及び/又は重なることが予測されること(例えば、検出された死角領域を、ラベル付けされた競合ゾーンを含むマップのセットと重ねることに基づいて)を決定するステップを含み(及び/又は、それに応答してトリガされ)、このことは、競合ゾーンの外側の死角領域(例えば、死角領域にオブジェクトが存在するかどうかを知る必要がない場合)に基づく自エージェントの過度に慎重な挙動を防ぐための計算効率及び/又は機能に利点を有することができる。具体例では、これは、(例えば、上述したように)計算された(例えば、事前に計算された)競合ゾーンのセットを含むマップ内で自エージェントの位置を特定することに基づいて決定され、既定の競合ゾーンのセットは、(例えば、自車両位置に基づいて、車線形状に基づいてなど)マップ内の自車両の位置を特定することに基づいて決定される。追加又は代替として、競合ゾーンはハードコード化されてもよく、競合ゾーンは、任意の他のマップに基づいて決定されてもよく、及び/又は、マップがない場合、死角領域は、既定のゾーンとの比較を行わずに処理されてもよく、及び/又は、競合ゾーンは他の方法で決定されてもよい。
[00110] 方法200の残りのプロセスのいずれか又はすべては、自エージェントが競合ゾーンに到達する前に、例えば、自車両が競合ゾーンに到達する前に自車両の潜在的なポリシーのセットの各々をシミュレーションするフォワードシミュレーションにおいて実行されることが好ましいが、追加又は代替として他の方法で実行されてもよい。
[00111] 第1変形例では、S220は、自エージェントに搭載のものからのセンサ情報、及び、任意選択的に、(例えば、1以上のインフラストラクチャデバイスの、他のエージェントの及び/又はオブジェクトのなど)他のセンサシステムからのセンサ情報に基づいて、自エージェントに関連付けられた死角領域を連続的かつ動的に検索するステップを含む。
[00112] 第1変形例の追加又は代替としての第2変形例では、S220は、自エージェントが競合ゾーンにいること、自エージェントが競合ゾーンに近づいていること(例えば、競合ゾーンから既定の距離内、自エージェントの速度に基づいて競合ゾーンに到達する既定の時間内など)、自エージェントの死角領域が競合ゾーンと重なっている及び/又は重なることが予測されること、及び/又は、任意の他の情報のいずれか又はすべてを検出するステップを含む。
[00113] 第3変形例では、上記の追加又は代替として、S220で検出された死角領域のいずれか又はすべてが(例えば、自エージェントに対して)固定/既定される。
[00114] 追加又は代替として、S220は他の方法で適切に実行されてもよい。
4.4 方法-死角領域に基づいて仮想オブジェクトのセットを選択するステップS230
[00115] 方法200は、死角領域に基づいて仮想オブジェクトのセットを選択するステップS230を含んでもよく、ステップS230は、自エージェントがその意思決定(例えば、複数ポリシー意思決定モジュールにおけるポリシー選択、計画、予測、軌道生成など)において(例えば、任意の他の地域と同様に)死角領域を考慮することができるように、(例えば、S240で説明したように)死角領域内に仮想オブジェクトを配置することを決定するように機能する。追加又は代替として、S230は、自エージェントが過度に慎重に挙動することを要求せずに安全目標を維持する仮想オブジェクトを選択するように機能してもよく、及び/又は、任意の他の機能を実行してもよい。
[00116] S230は、S220に応答して、かつ、S220で決定された死角領域に基づいて実行されることが好ましいが、追加又は代替として、方法200の別のプロセスに応答して;S220なしで;方法200及び/又は自車両の動作中に複数回(例えば、連続的に、既定の頻度でなど);トリガに応答して;及び/又は、任意の他の時点で及び/又は任意の他の情報(例えば、競合ゾーン)に基づいて、実行されてもよい。
[00117] S230は、好ましくは、自車両に関連付けられた計算サブシステム及び/又は処理サブシステムのセット(例えば、自車両に搭載され、自車両と通信するなど)を用いて及び/又はそこで実行されるが、追加又は代替として、任意の他の適切なコンポーネント及び/又はコンポーネントの組み合わせを用いて実行されてもよい。
[00118] 仮想オブジェクトは、本明細書では、好ましくは、潜在的に死角領域に配置される可能性があるが、(例えば、死角領域は自エージェントによって検出可能でないので)死角領域にあることを知られていない(及び/又は、閾値未満の信頼度で既知である)オブジェクト(例えば、車両/エージェント、歩行者、自転車、建設ゾーン/建設資材など)のことをいう。追加又は代替として、仮想オブジェクトは他の方法で適切に定義されてもよい。
[00119] 仮想オブジェクトは、好ましくは、上述したもののいずれか又はすべてなど、死角領域のパラメータ及び/又は特徴のいずれか又はすべてに基づいて選択/決定される。好ましい変形例では、例えば、仮想オブジェクトは、死角領域のサイズに基づいて決定され、仮想オブジェクトは、(例えば、図9A~図9Eに示すように)死角領域に物理的に適合するものに基づいて選択される。具体例では、標準オブジェクトのサイズのライブラリが参照されて、死角領域が、車両又は自転車のみ又は歩行者のみなどに適合するのに十分な大きさであるかどうかなどを決定する。ある変形例では、最悪のシナリオを考慮するように機能する死角領域のいずれか又はすべてに対して可能な最大の仮想オブジェクトが選択される。追加又は代替として、仮想オブジェクトは、(例えば、どの仮想オブジェクトが存在する可能性が最も高いかに基づいて、どの仮想オブジェクトが最悪のシナリオをもたらすかに基づいて、どの仮想オブジェクトが最も速く移動することができるかに基づいて、どの仮想オブジェクトが自車両に対して最大の速度差で移動しているかに基づいてなど)他の方法で選択されてもよい。別の具体例では、例えば、指定された自転車レーンに重なる競合ゾーンでは、車両ではなく自転車が選択されてもよい。
[00120] 追加又は代替として、仮想オブジェクトは、機械学習モデルのセット、確率的及び/又は統計的モデルのセット、及び/又は、(例えば、履歴データ及び/又はシミュレーションデータに基づいて、エージェントの地理的位置に基づいて、時刻に基づいてなど)オブジェクトが死角領域にあると予想されるかどうか、及び/又は、どのようなオブジェクト/オブジェクトタイプが死角領域にあると予想されるかに関する出力を生成するプロセス(例えば、予測、確率など)、ルールのセット、及び/又は、任意の他の適切な情報に基づいて、のいずれか又はすべてなど、任意の他の情報及び/又はツールに基づいて選択されてもよい。
[00121] ある変形例では、例えば、S230は、死角領域内にある任意の仮想オブジェクト;死角領域内にある特定のタイプの仮想オブジェクト;及び/又は死角領域内の仮想オブジェクトに関連付けられたパラメータ(例えば、速度)のいずれか又はすべてに関連付けられた尤度(例えば、確率、信頼度、分布など)を決定するように機能する分析(例えば、確率分析、統計分析、推論プロセス、訓練モデルによる処理など)を実行するステップを含む。追加又は代替として、分析は、仮想オブジェクトに割り当てるパラメータ値のセット(例えば、速度値、場所値、サイズ寸法など)のいずれか又はすべてを(例えば、力学及び/又は運動学及び/又は物理方程式のセットを用いて、機械学習モデルを用いて、深層学習モデルを用いて、決定木を用いて、ルールのセット及び/又はルックアップテーブルを用いてなど)決定するように機能してもよい。具体例では、パラメータ値は:仮想オブジェクトが移動することができる最高速度(例えば、5%、10%、15%、20%、25%、5~25%、30%、40%、50%、25%~50%の間、60%、50%超などの既定の閾値を超える確率を有する最高速度で、それらの値によって境界付けられる任意の範囲内など);死角領域のサイズ及び/又は(例えば、道路の形状に対する)その場所に基づいて、オブジェクトが合理的にとり得る最大サイズ;自車両及び/又は自車両の予測場所に対して仮想オブジェクトが有し得る最も近い場所;及び/又は、任意の他のシナリオのいずれか又はすべてなど、最悪の場合ではあるが現実的なシナリオを表すように構成される。これは、例えば、自車両が「立ち往生」する(例えば、長時間停止して前に進むことができない、静止した死角で長時間停止するなど);他のドライバーにとって驚くべき及び/又は危険な方法で運転する(例えば、本当の理由もなくブレーキを踏むなど);過度に保守的な方法で運転する;及び/又は、他の方法で最適に動作していない、シナリオを防ぐように機能してもよい。
[00122] 尤度のセットを決定するための分析のいずれか又はすべては、(例えば、図8に示すような)以下の情報のいずれか又はすべてを考慮してもよい:検出された情報(例えば、自車両が死角領域に近接する領域を検出することができる場合、センサ情報、補足情報など);履歴情報(例えば、死角領域が死角領域であった期間、以前存在した既知オブジェクトに対する現在存在するオブジェクトの数、既知オブジェクトが環境表現から消えたか否か、既知オブジェクトが環境表現に突然現れたか否かなど);(例えば、他のセンサシステムから、補助センサシステムから、以前に道路上にあった自車両の集約セットから、現在道路上にある自車両の集約セットからなど)集約された情報;既知オブジェクトに関連付けられたパラメータ及び/又は挙動(例えば、既知オブジェクトがどのくらいの速度で移動しているか、既知オブジェクトが慎重に運転しているかどうかなど);自車両の環境が経時的にどのように変化したか;及び/又は、任意の他の情報。
[00123] 具体例では、例えば、仮想オブジェクトの存在及び/又はそのパラメータのいずれか又はすべてを決定するステップは以下のうちのいずれか又はすべてに依存してもよい:死角領域がどのくらいの期間存在したか(例えば、死角領域が閾値よりも長く持続した場合、街灯や駐車中の車両などの静的オブジェクトによって死角領域が引き起こされる可能性が高い;死角領域が閾値より長く持続し、かつ、既知オブジェクトが死角領域に進入しなかった又は死角領域から現れなかった場合、死角領域は、オブジェクト又は静的オブジェクト又はゆっくりと動くオブジェクトを有していない可能性が高いなど);どれくらいの死角領域のすぐ周囲が確実に検出可能であるか(例えば、自車両が、死角領域の周囲を見ることができ、かつ、前の時間ステップでその近くに既知オブジェクトが存在しなかったことも知っている場合、死角領域には仮想オブジェクトが存在しない可能性が高い;自車両が、死角領域の周囲を見ることができ、かつ、前の時間ステップで既知オブジェクトがその近くにあってその後に消滅したことも知っている場合、その前のパラメータを有する既知オブジェクトは死角領域に存在する可能性が高い);自車両の環境内の既知オブジェクトの数が経時的に変化したか否か(例えば、死角領域が現れる場所の近くで既知オブジェクトが消えた場合、その既知オブジェクトは死角領域にある可能性が高い;死角領域がある又は死角領域があった場所の近くで既知オブジェクトが突然現れた場合、その後、死角領域には現在オブジェクトが存在しない可能性がある;など);履歴情報;既知オブジェクトに関連付けられた挙動及び/又はパラメータ(例えば、既知オブジェクトが死角領域に向かって高速で走行している場合、死角領域にはオブジェクトが存在しない可能性が高い);そのエリアの慣習及び/又は交通ルール(例えば、既知オブジェクトが死角領域の背後で既定の最小停止距離を維持していない場合、死角領域にオブジェクトが存在する可能性は低いなど);及び/又は、任意の他の情報。
[00124] 好ましい変形例のセットでは、分析は、確率モデル、アルゴリズム及び/又は方程式のセット(例えば、未訓練モデル及び/又は未学習モデル、訓練モデル及び/又は学習モデル、ルールベースのモデル、プログラムされたモデルなど)を用いて実行される。追加又は代替として、分析のいずれか又はすべては、訓練済み及び/又は学習済みモデル(例えば、機械学習モデル、深層学習モデルなど)、統計プロセス、決定木、ハードコードされたロジック、及び/又は、任意の他のツールを用いて実行されてもよい。
[00125] 追加又は代替として、パラメータ値のいずれか又はすべてが、事前に決定されてもよく(例えば、自車両の場所に関連付けられた制限速度、定数に基づいてなど)、動的に決定されてもよく、履歴情報(例えば、そのエリアを移動する車両の平均速度、そのエリアを移動した車両の最高速度など)に基づいて決定されてもよく、及び/又は、他の方法で適切に決定されてもよい。
[00126] 例えば、S230は、任意選択的に、仮想オブジェクトに関連付けられたパラメータ及び/又は特徴のセットを選択するステップを含んでもよい。パラメータ及び/又は特徴は、任意選択的に、仮想オブジェクトに対して最も保守的な(潜在的に危険な)選択肢(例えば、最大サイズ、自エージェントに最も近い場所、最高速度など)が選択されるような、最悪のシナリオ又はそうでなければ潜在的に深刻なシナリオを考慮するように構成されてもよい。最悪のシナリオは、履歴データ、シミュレーションデータ、集約データ及び/又は任意の他の情報のいずれか又はすべてに基づいて決定されてもよい。特徴及び/又はパラメータは、追加又は代替として、必ずしも最悪のシナリオ(例えば、自エージェントの過度に慎重な挙動をもたらす可能性がある)をもたらすのではなく、現実的な最悪のシナリオの範囲内に収まるように選択されてもよく(例えば、上述したように、上述した情報のいずれかに基づいてなど)、その結果、非常に可能性の低い最悪のシナリオは、自エージェントにとって過度に慎重な挙動及び/又はそうでなければ潜在的に破壊的な挙動を引き起こす可能性があるので、無視される。
[00127] パラメータ及び/又は特徴は、例えば、以下のうちのいずれか又はすべてを含んでもよい:自エージェントに対する障害物の場所、障害物の速度、障害物の加速度、障害物の挙動及び/又は意図、障害物のサイズ、道路の車線内のエージェント仮想オブジェクトの場所(例えば、車線の中央、自エージェントに最も近い端などの車線の端、車線内を縫って進むなど)、及び/又は、任意の他のパラメータ及び/又は機能。ある変形例では、例えば、仮想オブジェクトは:自車両に最も近い位置(例えば、自車両に最も近い車線の端);自車両及び仮想オブジェクトが競合ゾーン及び/又は他の高リスクシナリオに入った場合に自車両が存在する場所に最も近い場所;最も可能性が高い場所(例えば、道路の形状、運転慣例に基づく、既知オブジェクトの位置に基づくなど);任意の組み合わせのうちのいずれか又はすべての場所に配置される、及び/又は、他の方法で配置される。
[00128] 具体例では、例えば、仮想オブジェクトのための保守的なパラメータ及び/又は特徴は:最高速度(例えば、制限速度、制限速度を時速5マイル上回る速度、その道路の制限速度を超える平均量など)、自エージェントに対する最近接性、最も危険な挙動(例えば、急加速、急ブレーキ、車線をジグザグに走行するなど)、及び/又は、任意の他のパラメータ/特徴のうちのいずれか又はすべてを含んでもよい。
[00129] 仮想オブジェクトを選択するステップは、仮想オブジェクトのタイプを選択するステップを含むことが好ましく、仮想オブジェクトのタイプには、例えば、車両/エージェント(例えば、四輪車両、セダン、バン、リムジン、スクールバス又は他のバス、自律走行車対手動車など)、自転車(例えば、手動自転車、電動自転車、オートバイ、ベスパ、スクータなど)、歩行者(例えば、歩行している歩行者、走っている歩行者、ベビーカを押した歩行者など)、静止オブジェクト(例えば、トラフィックコーン、その他の障害物など)、及び/又は、任意の他のオブジェクトのいずれか又はすべてが含まれてもよい。
[00130] 仮想オブジェクトは、任意選択的に、実物オブジェクトに基づいて決定されてもよい。ある変形例では、例えば、1以上の実体オブジェクトを追跡するように機能する仮想オブジェクトが選択されてもよい。具体例では、例えば、実体オブジェクトに対応する(例えば、同じタイプ、メーカ、モデル、移動速度などの)特徴を有する仮想オブジェクトが、選択され、かつ、(例えば、図3A~図3Bに示すような)自エージェントに対して「不可視」になった既知オブジェクトを置換するように配置される。仮想オブジェクトは、任意選択的に、実体オブジェクトが自エージェントに再び見えるようになった場合、及び/又は、死角領域が消えた場合、削除されてもよい。
[00131] S240(及び/又はS250)は、任意選択的に、仮想オブジェクトの各々に対して、(例えば、後述するように)自車両の応答を決定する際にシミュレーションされる環境とのそれらの相互作用を可能にするように機能するポリシーのセット(例えば、挙動、アクション、軌跡など)を決定(例えば、予測)する及び/又は割り当てるステップを含んでもよい。各仮想オブジェクトには、1以上のポリシー(例えば、単一のポリシー、複数のポリシーなど)が割り当てられることが好ましいが、追加又は代替として、ポリシーが割り当てられなくてもよく、及び/又は、各仮想オブジェクトは他の方法で構成されてもよい。
[00132] ある変形例では、仮想オブジェクトは、複数の挙動及び/又は場所を有するように割り当てられてもよい。ある例では、例えば、仮想オブジェクトが交差点で曲がるオプションを有する場合、その方法(例えば、シミュレーション)が、仮想オブジェクトがあらゆる可能な方向に移動及び/又は曲がることを考慮するように、仮想オブジェクトが複数の方向に移動(例えば、移動するようにシミュレーション)してもよい(例えば、スポーン/ファンアウト)。
[00133] (例えば、図9Eに示すような)具体例のセットでは、仮想オブジェクトの各々には、その仮想オブジェクトをシミュレーションする際に使用される1以上のポリシーのセットが割り当てられる。ポリシーは、好ましくは、環境の特徴(例えば、仮想オブジェクトがどの車線に位置するか)と、任意選択的に、自車両に対して選択されたポリシーと、を考慮し、その結果、ポリシーが自車両との相互作用(例えば、第2仮想オブジェクトは、左折する自車両との相互作用につながらないので、「直進」ポリシーではシミュレーションされない;第1仮想オブジェクトは、左折する自車両との相互作用につながらないので、「車線変更」ポリシーではシミュレーションされないなど)を引き起こし得るものを表す。追加又は代替として、仮想オブジェクトは単一のポリシー(例えば、最も可能性の高いポリシー、最も衝突につながる可能性の高いポリシーなど)でシミュレーションされてもよく;ポリシーなしでシミュレーションされてもよく;複数の場所及び/又は他のパラメータを用いてシミュレーションされてもよく;他の方法でシミュレーションされてもよく;及び/又は、シミュレーションされなくてもよい。
[00134] パラメータ及び/又は特徴のいずれか又はすべては、データベース(例えば、ルックアップテーブル、ライブラリなど)を用いて決定されてもよい。具体例では、仮想オブジェクトを選択する際、例えば、異なる標準サイズ(例えば、高さ、幅、長さなど)のライブラリ及び/又は異なるタイプの仮想オブジェクト(例えば、四輪車、二輪車、自転車、歩行者など)のためのパラメータが参照されてもよい。追加又は代替として、仮想オブジェクトは他の方法で決定されてもよい。
[00135] (例えば、図3A~図3Bに示すような)第1変形例では、交差点競合ゾーンに接近するエージェントに関連付けられた死角領域のセットとして、仮想車両のセット及び歩行者が選択される。
[00136] (例えば、図4に示すような)第2変形例では、車道と交差する私道を含む競合ゾーンに関連付けられた死角領域として、自エージェントのできるだけ近くに配置された仮想車両が選択される。
[00137] 追加又は代替として、仮想オブジェクトのセットは、(例えば、ユーザの環境に追加のトラフィックを生成するため、可視領域に仮想オブジェクトを作成するためなど)死角領域が存在しない状態で及び/又は死角領域とは無関係に決定されてもよい。
[00138] さらに追加又は代替として、S230は、任意の他の適切なプロセスを含んでもよく、及び/又は、他の方法で適切に実行されてもよい。
4.5 方法-死角領域に仮想オブジェクトのセットを挿入するステップS240
[00139] 方法200は、仮想オブジェクトのセット及びそれらのパラメータ/特徴を死角領域に挿入するステップS240を含んでもよく、ステップS240は、自エージェントが意思決定において仮想オブジェクトのセットを考慮することを可能にするように機能する。追加又は代替として、S240は任意の他の適切な機能を実行してもよい。
[00140] S240は、S230に応答して実行されることが好ましいが、追加又は代替として、S230中、S230なしで、及び/又は、任意の他の適切な時点で実行されてもよい。
[00141] S240は、好ましくは、計算システムが自エージェントの軌道を計画する(例えば、ポリシーを選択する、挙動を選択するなど)際に仮想オブジェクト及び実体オブジェクトの両方を考慮するように、計算システムの計画モジュールなどのシステム100の計算システムで実行される。好ましい変形例では、例えば、仮想オブジェクト及び実体オブジェクトの両方が、計算システムの(例えば、上述したような)マルチポリシー意思決定モジュールにおけるポリシーの決定及び選択において考慮される。仮想オブジェクトは、好ましくは、実体オブジェクトと区別することができないものであると考慮されるが、追加又は代替として、計画及び/又は他のプロセスにおいて(例えば、より低い優先度で、重み付けされた寄与により、それらの確率の尤度に従ってなど)他の方法で考慮されてもよい。
4.6 方法-仮想オブジェクトのセットに基づいて自律エージェントを動作させるステップS250
[00142] 方法200は、仮想オブジェクトのセットに基づいて自律エージェントを動作させるステップS250を含んでもよく、ステップS250は、その環境内で自律エージェントを操作するように機能する。追加又は代替として、S250は、自律エージェントを最適に(例えば、最も効率的に、他の道路利用者にとって最も自然な方法で、目標に向かった進行状況に対してなど)操作するように機能してもよく、及び/又は、任意の他の適切な機能を実行してもよい。
[00143] S250は、S240に応答して実行されることが好ましいが、追加又は代替として、方法200の別のプロセスに応答して;S240なしで;S240中及び/又は方法200の別のプロセス中に;複数回;トリガに応答して;及び/又は、任意の他の時点に、実行されてもよい。
[00144] 自エージェントは、好ましくは、上述した及び/又はその各々の全体がこの参照により本明細書に組み込まれる2019年7月17日に出願された米国出願第16/514,624号及び/又は2021年7月1日に出願された米国出願第17/365,538号に記載されているような、複数ポリシー意思決定(MPDM)プロセスに従って動作されるが、追加又は代替として、他の方法で実行されてもよい。
[00145] S250は、任意選択的に、追加又は代替として、自車両が考慮すべき追加のポリシーを追加するステップを含んでもよく、追加のポリシーは、例えば、追加のセンサデータを収集するために前進する(例えば、クリープする、注意して進むなど);短時間待機する(例えば、妨害する既知オブジェクトの通過を許可するなど);及び/又は、他の方法で動作する、ことなどによって、死角領域についての追加情報を自車両が収集する(及び/又は、死角領域を消す)ことを可能にするように構成されることが好ましい。これらは、例えば、自車両が死角で長時間停止することを防止するように機能してもよい。
[00146] 追加又は代替として、S250は、他の方法で実行されてもよく、及び/又は、軌道生成(例えば、推定されたオブジェクトタイプ、道路形状などから)及び/又は任意の他のプロセスなどの任意の他の適切なプロセスを含んでもよい。
5. 変形例
[00147] 方法の第1変形例では、方法200は:自エージェントに搭載されたセンサシステム及び任意選択的に任意の他のセンサシステムから入力のセットを受信するステップと;センサ入力に基づいて自律エージェントの死角領域を決定し、かつ任意選択的に、自エージェントが競合ゾーン内にいること及び/又は競合ゾーンに近づいていることを検出するステップと;仮想オブジェクトのセットと、仮想オブジェクトの関連する特徴及び/又はパラメータを選択するステップと;仮想オブジェクトのセットを死角領域に挿入するステップと;仮想オブジェクトのセットに基づいて自律エージェントを動作させるステップと、を含む。
[00148] 具体例の第1セットでは、自エージェントが競合ゾーン内にいること及び/又は競合ゾーンに近づいていることを検出するステップは、既定のラベル付けされたマップのセットを用いて実行される。
[00149] 具体例の第2セットでは、自エージェントが競合ゾーン内にいること及び/又は競合ゾーンに近づいていることを検出するステップは、センサデータの処理によって(例えば、コンピュータビジョンプロセスのセットによって)動的に実行される。
[00150] (例えば、図7に示すような)方法の第2変形例では、方法200は以下のいずれか又はすべてを含む:入力のセット(例えば、センサ入力、履歴情報、補足情報など)を受信するステップ;入力のセットに基づいて既知オブジェクトのセットを決定するステップ;入力のセットに基づいて死角領域のセットを決定するステップ(例えば、自車両の環境内の死角領域のセットを識別する;自車両の環境内のゾーンのセットを決定する;提案されたポリシー/又は自車両の目標に基づいて情報を決定及び/又はフィルタリングする;遮蔽された領域のセットをゾーンのセットと比較して死角領域のセットを決定するなど);仮想オブジェクトのセット及び/又は仮想オブジェクトのセットに関連付けられた関連パラメータを選択する(例えば、仮想オブジェクトのセットの各々のサイズを計算する;データベースを参照して仮想オブジェクトを選択する;仮想オブジェクトのセットに関連付けられたパラメータ及び/又は特徴のセットを決定する;仮想オブジェクトのポリシーのセットを決定するなど)ステップ;仮想オブジェクトを死角領域のセットに挿入するステップ;仮想オブジェクトのセットに基づいて自車両を動作させる(例えば、既知オブジェクトのセット及び仮想オブジェクトのセットに基づいて、自車両に利用可能なポリシーのセットの各々をシミュレーションする;シミュレーションのセットに基づいて自車両のポリシーを選択する;選択されたポリシーに従って自車両を操作するなど)ステップ。
[00151] この変形例で実行される分析例が図9A~図9Eに示されている。
[00152] 具体例の第1セットでは、入力のセットにはLiDARデータが含まれる。
[00153] 具体例の第2セットでは、入力のセットにはカメラデータが含まれる。
[00154] 追加又は代替として、方法200は、任意の他の適切なプロセスを含んでもよい。
[00155] 簡潔にするために省略されたが、好ましい実施形態は、さまざまなシステムコンポーネント及びさまざまな方法プロセスのあらゆる組み合わせ及び順列を含み、方法プロセスは、任意の適切な順序で、連続的に又は同時に実行されてもよい。
[00156] システム及び/又は方法の実施形態は、さまざまなシステムコンポーネント及びさまざまな方法プロセスのあらゆる組み合わせ及び順列を含んでもよく、本明細書に記載される方法及び/又はプロセスの1以上の例は、非同期的に(例えば、逐次的に)、同時期に(例えば、同時に、並行してなど)、又は、本明細書に記載されるシステム、要素及び/又はエンティティの1以上の例によって及び/又はそれを使用する任意の他の適切な順序で、実行されてもよい。以下のシステム及び/又は方法のコンポーネント及び/又はプロセスは、その各々の全体がこの参照により組み込まれる上述した出願に開示されたシステム及び/又は方法の全部又は一部に加えて、それに代えて又は他の方法で統合して使用されてもよい。
[00157] 追加又は代替の実施形態は、コンピュータ可読命令を格納する非公衆の一時的なコンピュータ可読媒体で上記の方法及び/又は処理モジュールを実装する。命令は、コンピュータ可読媒体及び/又は処理システムに統合されたコンピュータ実行可能コンポーネントによって実行されてもよい。コンピュータ可読媒体には、RAM、ROM、フラッシュメモリ、EEPROM、光学デバイス(CD又はDVD)、ハードドライブ、フロッピードライブ、非公衆の一時的なコンピュータ可読媒体又は任意の適切なデバイスが含まれてもよい。コンピュータ実行可能コンポーネントは、CPU、GPU、TPUS、マイクロプロセッサ又はASICなどの非公衆の一時的なコンピュータ可読媒体に接続された計算システム及び/又は処理システム(例えば、1以上の併置又は分散されたリモート又はローカルプロセッサを含む)を含んでもよいが、命令は、代替又は追加として、任意の適切な専用ハードウェアデバイスによって実行されてもよい。
[00158] 当業者であれば、前述した詳細な説明から、かつ、図面及び特許請求の範囲から理解するように、以下の特許請求の範囲に規定される本発明の範囲から逸脱することなく、本発明の好ましい実施形態に修正及び変更を加えることができる。

Claims (20)

  1. 不完全な環境理解で自律車両を動作させる方法であって、前記方法は、
    前記自律車両に搭載されたセンサのセットからセンサデータを収集するステップと、
    前記センサデータに基づいて前記自律車両の環境を特徴付けるステップであって、特徴付けられた前記環境は既知オブジェクトのセットを含む、特徴付けるステップと、
    特徴付けられた前記環境内の未知の領域のセットを識別するステップと、
    ラベル付きマップ内に前記未知の領域のセットを配置するステップであって、前記ラベル付きマップはラベル付き競合ゾーンのセットを含む、配置するステップと、
    未知の領域のサブセットと前記ラベル付けされた競合ゾーンのセットとの間の重なりに基づいて、前記未知の領域のセットから前記未知の領域のサブセットを識別するステップと、
    特徴付けられた前記環境内の前記未知の領域のサブセットの各々内に、仮想オブジェクトのセットのうちの仮想オブジェクトを配置するステップと、
    前記既知オブジェクトのセット及び前記仮想オブジェクトのセットに基づいてシミュレーションを実行するステップと、
    前記シミュレーションに基づいて前記自律車両を動作させるステップと、を含む、不完全な環境理解で自律車両を動作させる方法。
  2. 前記ラベル付けされた競合ゾーンのセットは、前記自律車両に関連付けられた挙動に少なくとも部分的に基づいて決定される、請求項1に記載の方法。
  3. 前記挙動は、前記シミュレーションにおいて前記自律車両に割り当てられたシミュレーションされた挙動である、請求項2に記載の方法。
  4. 前記シミュレーションはフォワードシミュレーションであり、前記シミュレーションは既定のサイクル頻度に従って実行される、請求項1に記載の方法。
  5. 前記自律車両を動作させるステップは、前記シミュレーションに基づいて前記自律車両の挙動を選択するステップと、前記挙動に従って前記自律車両を操作するステップと、を含む、請求項1に記載の方法。
  6. 前記仮想オブジェクトのセットの各々を選択するステップをさらに含み、前記仮想オブジェクトのセットの各々を選択するステップは、既定のルックアップテーブルを参照するステップを含む、請求項1に記載の方法。
  7. 前記既定のルックアップテーブルは、前記未知の領域のサブセットの各々に関連付けられたサイズに少なくとも部分的に基づいて参照される、請求項6に記載の方法。
  8. 前記仮想オブジェクトのセットの各々にパラメータのセットを割り当てるステップをさらに含み、前記パラメータのセットが速度を含む、請求項1に記載の方法。
  9. 前記速度は、前記既知オブジェクトのセットに関連付けられた情報に基づいて決定される、請求項8に記載の方法。
  10. 前記情報は、前記既知オブジェクトのセットに関連付けられた履歴速度のセットを含む、請求項9に記載の方法。
  11. 前記未知の領域のサブセットを決定するステップは、前記未知の領域のサブセットの各々に関連付けられた確率を決定するステップと、前記確率の各々が既定の閾値を超えたことを決定するステップと、をさらに含む、請求項1に記載の方法。
  12. 前記確率は、履歴情報に少なくとも部分的に基づいて決定される、請求項11に記載の方法。
  13. 前記履歴情報は、前記サブセットの前記未知の領域に対応する場所に関連付けられた履歴センサデータ、及び、特徴付けられた前記環境内の既知オブジェクトのセットに関連付けられた履歴センサデータのうちの少なくとも1つを含む、請求項12に記載の方法。
  14. 前記履歴情報は、特徴付けられた前記環境における既知オブジェクトの数の変化を決定するために使用され、前記確率は前記変化に基づいて決定される、請求項12に記載の方法。
  15. 前記未知の領域のセットが、特徴付けられた前記環境に関連付けられた高さ指標のセットに少なくとも部分的に基づいて識別される、請求項1に記載の方法。
  16. 前記未知の領域のセットの各々が、特徴付けられた前記環境の地面レベルに対して既定の高さ閾値を超える高さを有する、請求項15に記載の方法。
  17. 前記センサデータがLiDARデータを含む、請求項1に記載の方法。
  18. 不完全な環境理解で自律車両を動作させる方法であって、前記方法は、
    前記自律車両に搭載されたセンサのセットからセンサデータを収集するステップと、
    前記センサデータに基づいて前記自律車両の環境を特徴付けるステップであって、特徴付けられた前記環境は既知オブジェクトのセットを含む、特徴付けるステップと、
    特徴付けられた前記環境内の未知の領域のセットを識別するステップと、
    前記未知の領域のセットの各々に関連付けられたサイズパラメータのセットを決定するステップと、
    ラベル付きマップ内に前記未知の領域のセットを配置するステップであって、前記ラベル付きマップは、ラベル付き競合ゾーンのセットを含む、配置するステップと、
    未知の領域のサブセットと前記ラベル付けされた競合ゾーンのセットとの間の重なりに基づいて前記未知の領域のセットから前記未知の領域のサブセットを識別するステップと、
    前記サイズパラメータのセットに基づいて前記未知の領域のサブセットの各々について仮想オブジェクトのセットのうちの仮想オブジェクトを選択するステップと、
    特徴付けられた前記環境内の前記未知の領域のサブセットに前記仮想オブジェクトのセットを配置して、前記既知オブジェクトのセットと前記仮想オブジェクトのセットとを含む更新された特徴付けられた環境を形成するステップと、
    更新された特徴付けられた前記環境に基づいて前記自律車両を動作させるステップと、を含む、不完全な環境理解で自律車両を動作させる方法。
  19. 前記仮想オブジェクトのセットの各々にパラメータの第1セットを割り当てるステップをさらに含み、前記パラメータの第1セットは、前記既知オブジェクトのセットに関連付けられたパラメータの第2セットに少なくとも部分的に基づいて決定される、請求項18に記載の方法。
  20. 前記パラメータの第1セット及び第2セットの各々が速度を含む、請求項19に記載の方法。
JP2023559701A 2021-04-02 2022-04-04 不完全な環境情報で自律エージェントを動作させる方法及びシステム Pending JP2024512980A (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US202163170206P 2021-04-02 2021-04-02
US63/170,206 2021-04-02
PCT/US2022/023300 WO2022212944A1 (en) 2021-04-02 2022-04-04 Method and system for operating an autonomous agent with incomplete environmental information

Publications (1)

Publication Number Publication Date
JP2024512980A true JP2024512980A (ja) 2024-03-21

Family

ID=83449985

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2023559701A Pending JP2024512980A (ja) 2021-04-02 2022-04-04 不完全な環境情報で自律エージェントを動作させる方法及びシステム

Country Status (4)

Country Link
US (4) US11472436B1 (ja)
EP (1) EP4314708A1 (ja)
JP (1) JP2024512980A (ja)
WO (1) WO2022212944A1 (ja)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3971865A1 (en) * 2020-09-18 2022-03-23 Zenuity AB Scenario identification in autonomous driving environments
JP2022147924A (ja) * 2021-03-24 2022-10-06 株式会社Subaru 運転支援装置
USD1016715S1 (en) * 2021-04-14 2024-03-05 Sunreef Venture S.A. Catamaran
WO2022256249A1 (en) * 2021-06-02 2022-12-08 May Mobility, Inc. Method and system for remote assistance of an autonomous agent
US12005928B2 (en) * 2021-08-10 2024-06-11 Gm Cruise Holdings Llc Dangerous road user detection and response
US12012123B2 (en) 2021-12-01 2024-06-18 May Mobility, Inc. Method and system for impact-based operation of an autonomous agent
JP7433542B1 (ja) 2023-02-24 2024-02-19 三菱電機株式会社 遠隔監視装置、遠隔監視システム、及び、遠隔監視方法

Family Cites Families (173)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5544282A (en) 1991-04-05 1996-08-06 Chen; Pang C. Method and apparatus for planning motions of robot manipulators
US6199013B1 (en) 1997-07-15 2001-03-06 Navigation Technologies Corp. Maneuver generation program and method
US6950788B2 (en) 2000-09-27 2005-09-27 Ardeshir Faghri Computer-implemented system and method for simulating motor vehicle and bicycle traffic
US20040100563A1 (en) 2002-11-27 2004-05-27 Sezai Sablak Video tracking system and method
KR100929445B1 (ko) 2003-03-25 2009-12-03 로제 가부시키가이샤 로봇 시뮬레이션장치 및 로봇 시뮬레이션 프로그램을 포함하는 기록매체
WO2004090659A2 (en) 2003-04-10 2004-10-21 Mukesh Dalal Optimizing active decision making using simulated decision making
US7343232B2 (en) 2003-06-20 2008-03-11 Geneva Aerospace Vehicle control system including related methods and components
GB2445507B (en) 2005-10-21 2011-08-24 Deere & Co Versatile robotic control module
US20070276600A1 (en) 2006-03-06 2007-11-29 King Timothy I Intersection collision warning system
US7813888B2 (en) 2006-07-24 2010-10-12 The Boeing Company Autonomous vehicle rapid development testbed systems and methods
EP2479993A3 (en) 2006-12-04 2013-12-11 Lynx System Developers, Inc. Autonomous systems and methods for still and moving picture production
EP2153245A1 (en) 2007-05-04 2010-02-17 Teledyne Australia Pty Ltd. Collision avoidance system and method
US20100100324A1 (en) 2008-10-22 2010-04-22 Toyota Motor Engineering & Manufacturing North America, Inc. Communication based vehicle-pedestrian collision warning system
US8346516B2 (en) 2008-11-05 2013-01-01 Accenture Global Services Limited Predictive modeling
US9197736B2 (en) 2009-12-31 2015-11-24 Digimarc Corporation Intuitive computing methods and systems
TWI393074B (zh) 2009-12-10 2013-04-11 Ind Tech Res Inst 移動物體偵測裝置與方法
WO2012045230A1 (en) 2010-10-07 2012-04-12 Yu-Chien Huang Simulation transmitter for remote operated vehicles
US9472097B2 (en) 2010-11-15 2016-10-18 Image Sensing Systems, Inc. Roadway sensing systems
JP5252001B2 (ja) 2011-02-07 2013-07-31 トヨタ自動車株式会社 移動領域予測装置
EP2562060B1 (en) 2011-08-22 2014-10-01 Honda Research Institute Europe GmbH A method and system for predicting movement behavior of a target traffic object
GB2494716B (en) 2011-09-15 2019-12-18 Bae Systems Plc Autonomous vehicle and task modelling
US9368028B2 (en) 2011-12-01 2016-06-14 Microsoft Technology Licensing, Llc Determining threats based on information from road-based devices in a transportation-related context
US20140309852A1 (en) 2013-04-15 2014-10-16 Flextronics Ap, Llc Automatic vehicle diagnostic detection and communication
US9495874B1 (en) 2012-04-13 2016-11-15 Google Inc. Automated system and method for modeling the behavior of vehicles and other agents
US9129519B2 (en) 2012-07-30 2015-09-08 Massachussetts Institute Of Technology System and method for providing driver behavior classification at intersections and validation on large naturalistic data sets
US9720412B1 (en) 2012-09-27 2017-08-01 Waymo Llc Modifying the behavior of an autonomous vehicle using context based parameter switching
US9274525B1 (en) 2012-09-28 2016-03-01 Google Inc. Detecting sensor degradation by actively controlling an autonomous vehicle
DE102012022472A1 (de) 2012-11-16 2014-05-22 Grenzebach Maschinenbau Gmbh Verfahren und Vorrichtung zum kombinierten Simulieren und Steuern ferngesteuerter Fahrzeuge
DE102012023925A1 (de) 2012-12-06 2014-06-12 Grenzebach Maschinenbau Gmbh Verfahren und Vorrichtung zum kombinierten Simulieren und Steuern ferngesteuerter Fahrzeuge mit einem benutzerfreundlichen Projektionssystem
EP2762877A1 (en) 2013-01-31 2014-08-06 Sensirion AG Calibration of a chemical sensor in a portable electronic device
WO2015003056A1 (en) 2013-07-02 2015-01-08 ROFFE, Brian Real time car driving simulator
US9216745B2 (en) * 2013-09-16 2015-12-22 Disney Enterprises, Inc. Shared control of semi-autonomous vehicles including collision avoidance in multi-agent scenarios
JP6279287B2 (ja) 2013-10-25 2018-02-14 株式会社Nttドコモ 情報処理装置、プログラム及び交通情報の報知方法
US10049408B2 (en) 2014-04-15 2018-08-14 Speedgauge, Inc. Assessing asynchronous authenticated data sources for use in driver risk management
US9821465B2 (en) 2014-05-06 2017-11-21 Kenneth Dean Stephens, Jr. Enhanced environment simulator for proxy robot handlers
US9875661B2 (en) 2014-05-10 2018-01-23 Aurora Flight Sciences Corporation Dynamic collision-avoidance system and method
US10599155B1 (en) 2014-05-20 2020-03-24 State Farm Mutual Automobile Insurance Company Autonomous vehicle operation feature monitoring and evaluation of effectiveness
US10185998B1 (en) 2014-05-20 2019-01-22 State Farm Mutual Automobile Insurance Company Accident fault determination for autonomous vehicles
EP2950294B1 (en) 2014-05-30 2019-05-08 Honda Research Institute Europe GmbH Method and vehicle with an advanced driver assistance system for risk-based traffic scene analysis
US9248834B1 (en) 2014-10-02 2016-02-02 Google Inc. Predicting trajectories of objects based on contextual information
DE102014221682A1 (de) 2014-10-24 2016-04-28 Robert Bosch Gmbh Verfahren und Vorrichtung zum Betreiben eines Fahrzeugs
JP2016091039A (ja) 2014-10-29 2016-05-23 株式会社デンソー 危険予測装置、運転支援システム
US9804594B2 (en) 2014-11-07 2017-10-31 Clearpath Robotics, Inc. Self-calibrating sensors and actuators for unmanned vehicles
CN107207013B (zh) 2014-12-12 2020-01-21 索尼公司 自动驾驶控制设备以及自动驾驶控制方法和程序
KR101659034B1 (ko) 2015-01-20 2016-09-23 엘지전자 주식회사 차량의 주행 모드 전환 장치 및 그 방법
JP2016184276A (ja) 2015-03-26 2016-10-20 パイオニア株式会社 携帯端末、携帯端末の制御方法、および、携帯端末用プログラム
JP6431594B2 (ja) 2015-03-31 2018-11-28 日立オートモティブシステムズ株式会社 自動運転制御装置
US20160314224A1 (en) 2015-04-24 2016-10-27 Northrop Grumman Systems Corporation Autonomous vehicle simulation system
JP6320542B2 (ja) 2015-05-23 2018-05-09 エスゼット ディージェイアイ テクノロジー カンパニー リミテッドSz Dji Technology Co.,Ltd 初期構成を有する複数のセンサを有する可動物体に対する1または複数の外部パラメータを推定する方法、システム、及びプログラム
US9368026B1 (en) 2015-05-26 2016-06-14 Google Inc. Fallback requests for autonomous vehicles
JP6298021B2 (ja) 2015-07-30 2018-03-20 トヨタ自動車株式会社 攻撃検知システムおよび攻撃検知方法
US9934688B2 (en) 2015-07-31 2018-04-03 Ford Global Technologies, Llc Vehicle trajectory determination
US9618938B2 (en) 2015-07-31 2017-04-11 Ford Global Technologies, Llc Field-based torque steering control
US9811760B2 (en) 2015-07-31 2017-11-07 Ford Global Technologies, Llc Online per-feature descriptor customization
JP6361618B2 (ja) 2015-09-15 2018-07-25 トヨタ自動車株式会社 運転支援装置
US10853139B2 (en) 2018-10-19 2020-12-01 EMC IP Holding Company LLC Dynamic workload management based on predictive modeling and recommendation engine for storage systems
US10401852B2 (en) 2015-11-04 2019-09-03 Zoox, Inc. Teleoperation system and method for trajectory modification of autonomous vehicles
US20190227553A1 (en) 2015-11-04 2019-07-25 Zoox, Inc. Interactive autonomous vehicle command controller
US9632502B1 (en) 2015-11-04 2017-04-25 Zoox, Inc. Machine-learning systems and techniques to optimize teleoperation and/or planner decisions
US9537914B1 (en) 2015-12-01 2017-01-03 International Business Machines Corporation Vehicle domain multi-level parallel buffering and context-based streaming data pre-processing system
US9740202B2 (en) 2016-01-08 2017-08-22 Waymo Llc Fall back trajectory systems for autonomous vehicles
US10747234B1 (en) 2016-01-22 2020-08-18 State Farm Mutual Automobile Insurance Company Method and system for enhancing the functionality of a vehicle
WO2017130639A1 (ja) 2016-01-28 2017-08-03 株式会社リコー 画像処理装置、撮像装置、移動体機器制御システム、画像処理方法、及びプログラム
US9903733B2 (en) 2016-03-17 2018-02-27 Honda Motor Co., Ltd. Vehicular communications network and methods of use and manufacture thereof
CA3018601C (en) 2016-03-24 2023-10-03 CyPhy Works, Inc. Persistent aerial reconnaissance and communication system
US10956423B2 (en) 2016-04-25 2021-03-23 Convida Wireless, Llc Data stream analytics at service layer
KR101795250B1 (ko) 2016-05-03 2017-11-07 현대자동차주식회사 자율주행차량의 주행경로 계획장치 및 방법
US20170356748A1 (en) 2016-06-14 2017-12-14 nuTonomy Inc. Route Planning for an Autonomous Vehicle
US10656640B2 (en) 2016-07-07 2020-05-19 Applied Minds, Llc Systems and methods for centralized control of autonomous vehicles
WO2018014282A1 (en) 2016-07-21 2018-01-25 Baidu.Com Times Technology (Beijing) Co., Ltd. Efficient communications amongst computing nodes for operating autonomous vehicles
JP6684681B2 (ja) 2016-08-10 2020-04-22 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America 動的地図構成方法、動的地図構成システム及び移動端末
US10571908B2 (en) 2016-08-15 2020-02-25 Ford Global Technologies, Llc Autonomous vehicle failure mode management
US20180053102A1 (en) 2016-08-16 2018-02-22 Toyota Jidosha Kabushiki Kaisha Individualized Adaptation of Driver Action Prediction Models
US10246086B2 (en) 2016-09-08 2019-04-02 Ford Global Technologies, Llc Echelon parking
US10248120B1 (en) 2016-09-16 2019-04-02 Amazon Technologies, Inc. Navigable path networks for autonomous vehicles
US10762794B2 (en) 2016-09-19 2020-09-01 Honeywell International Inc. Methods and systems for automation guidance
WO2018057978A1 (en) 2016-09-23 2018-03-29 Apple Inc. Decision making for autonomous vehicle motion control
EP3306431B1 (en) 2016-10-06 2021-04-14 The Boeing Company A computer-implemented method and a system for guiding a vehicle within a scenario with obstacles
EP3529680A1 (en) 2016-10-24 2019-08-28 BAE Systems PLC Control of autonomous vehicles
US10699305B2 (en) 2016-11-21 2020-06-30 Nio Usa, Inc. Smart refill assistant for electric vehicles
US10993165B2 (en) 2016-12-27 2021-04-27 Veniam, Inc. Flexible support of multi-homing in networks of moving things including autonomous vehicles based networks
US10268195B2 (en) 2017-01-06 2019-04-23 Qualcomm Incorporated Managing vehicle driving control entity transitions of an autonomous vehicle based on an evaluation of performance criteria
US10262475B2 (en) 2017-01-19 2019-04-16 Ford Global Technologies, Llc Vehicle sensor health monitoring
US10966070B2 (en) 2017-01-30 2021-03-30 Veniam, Inc. Systems and methods for managing data with heterogeneous multi-paths and multi-networks in an internet of moving things
KR20180091357A (ko) 2017-02-06 2018-08-16 한국전자통신연구원 추측 항법을 이용한 자율주행 차량의 제어 방법 및 장치
CN110603497B (zh) 2017-02-10 2021-11-16 日产北美公司 自主车辆操作管理控制的自主车辆和方法
MX2019009397A (es) 2017-02-10 2019-12-05 Nissan North America Inc Gestion operacional de vehiculo autonomo que incluye operar una instancia de modelo de proceso de decision de markov parcialmente observable.
RU2734732C1 (ru) 2017-02-10 2020-10-22 Ниссан Норт Америка, Инк. Отслеживание блокировки сети движения при оперативном управлении автономным транспортным средством
US10133275B1 (en) 2017-03-01 2018-11-20 Zoox, Inc. Trajectory generation using temporal logic and tree search
US10671076B1 (en) 2017-03-01 2020-06-02 Zoox, Inc. Trajectory prediction of third-party objects using temporal logic and tree search
JP6683805B2 (ja) 2017-03-10 2020-04-22 バイドゥドットコム タイムズ テクノロジー (ベイジン) カンパニー リミテッドBaidu.com Times Technology (Beijing) Co., Ltd. 自律走行モードへ再進入する自律走行車の制御のための方法及びシステム
US10518770B2 (en) 2017-03-14 2019-12-31 Uatc, Llc Hierarchical motion planning for autonomous vehicles
WO2018170444A1 (en) 2017-03-17 2018-09-20 The Regents Of The University Of Michigan Method and apparatus for constructing informative outcomes to guide multi-policy decision making
WO2018177339A1 (en) 2017-03-28 2018-10-04 Kwok Ching Kwong A kiosk cluster
US10467891B1 (en) 2017-05-10 2019-11-05 Alarm.Com Incorporated Method for allowing drone activity to modify event detection by a monitoring system
IL252769B (en) 2017-06-08 2021-10-31 Israel Aerospace Ind Ltd Method and system for autonomous vehicle navigation
US20170274908A1 (en) 2017-06-12 2017-09-28 Xiaoning Huai Personalize self-driving cars
US10824454B2 (en) 2017-06-15 2020-11-03 At&T Intellectual Property I, L.P. 5G dynamic slice and network identity instantiation, termination, and access management system and method
US10317899B2 (en) 2017-06-16 2019-06-11 nuTonomy Inc. Intervention in operation of a vehicle having autonomous driving capabilities
US10740988B2 (en) 2017-06-16 2020-08-11 nuTonomy Inc. Intervention in operation of a vehicle having autonomous driving capabilities
US10386856B2 (en) 2017-06-29 2019-08-20 Uber Technologies, Inc. Autonomous vehicle collision mitigation systems and methods
US10571916B2 (en) 2017-07-14 2020-02-25 Uatc, Llc Control method for autonomous vehicles
US20190027034A1 (en) 2017-07-19 2019-01-24 Aptiv Technologies Limited Variable steering error limits for automated vehicle control
US10518729B2 (en) 2017-08-02 2019-12-31 Allstate Insurance Company Event-based connected vehicle control and response systems
US10558224B1 (en) 2017-08-10 2020-02-11 Zoox, Inc. Shared vehicle obstacle data
US10424127B2 (en) 2017-08-28 2019-09-24 GM Global Technology Operations LLC Controller architecture for monitoring health of an autonomous vehicle
CN111149141A (zh) * 2017-09-04 2020-05-12 Nng软件开发和商业有限责任公司 用于收集并使用来自交通工具的传感器数据的方法和装置
US20190079517A1 (en) 2017-09-08 2019-03-14 nuTonomy Inc. Planning autonomous motion
US20190096244A1 (en) 2017-09-25 2019-03-28 Intel Corporation Vehicle-to-many-vehicle communication
US20190101914A1 (en) 2017-10-02 2019-04-04 Allstate Insurance Company Data Processing System with Machine Learning Engine for Providing Driving Data Analysis and Vehicle Control Functions
US10710602B2 (en) 2017-10-06 2020-07-14 Uatc, Llc Systems and methods for a vehicle controller safety monitor
US10739776B2 (en) 2017-10-12 2020-08-11 Honda Motor Co., Ltd. Autonomous vehicle policy generation
US20190113919A1 (en) 2017-10-18 2019-04-18 Luminar Technologies, Inc. Controlling an autonomous vehicle using smart control architecture selection
US10540892B1 (en) 2017-10-26 2020-01-21 State Farm Mutual Automobile Insurance Company Technology for real-time detection and mitigation of remote vehicle anomalous behavior
US10546560B2 (en) 2017-10-31 2020-01-28 Uatc, Llc Systems and methods for presenting virtual content in a vehicle
WO2019088989A1 (en) 2017-10-31 2019-05-09 Nissan North America, Inc. Reinforcement and model learning for vehicle operation
EP3707572B1 (en) 2017-11-10 2023-08-23 Nvidia Corporation Systems and methods for safe and reliable autonomous vehicles
US11017550B2 (en) 2017-11-15 2021-05-25 Uatc, Llc End-to-end tracking of objects
US10503165B2 (en) 2017-12-22 2019-12-10 Toyota Research Institute, Inc. Input from a plurality of teleoperators for decision making regarding a predetermined driving situation
CN108182817A (zh) 2018-01-11 2018-06-19 北京图森未来科技有限公司 自动驾驶辅助系统、路侧端辅助系统和车载端辅助系统
US11022971B2 (en) 2018-01-16 2021-06-01 Nio Usa, Inc. Event data recordation to identify and resolve anomalies associated with control of driverless vehicles
US10816977B2 (en) 2018-01-26 2020-10-27 Baidu Usa Llc Path and speed optimization fallback mechanism for autonomous vehicles
US20190265059A1 (en) 2018-02-26 2019-08-29 Jonathan Warnick System and Method for Real-time Transit Prioritization
US11365976B2 (en) 2018-03-02 2022-06-21 Nvidia Corporation Semantic label based filtering of objects in an image generated from high definition map data
KR20200132952A (ko) 2018-03-18 2020-11-25 드라이브유 테크 엘티디. 자율 주행 및 원격 작동 차량의 장치, 시스템 및 방법
US10950130B2 (en) 2018-03-19 2021-03-16 Derq Inc. Early warning and collision avoidance
EP3642092A2 (en) 2018-03-20 2020-04-29 Mobileye Vision Technologies Ltd. Systems and methods for navigating a vehicle
US11086318B1 (en) 2018-03-21 2021-08-10 Uatc, Llc Systems and methods for a scenario tagger for autonomous vehicles
US10775473B2 (en) 2018-04-27 2020-09-15 Cubic Corporation Correcting location data of connected vehicle
US11036222B2 (en) 2018-04-27 2021-06-15 International Business Machines Corporation Autonomous analysis of the driver's behavior
DE102018004303B3 (de) 2018-05-30 2019-11-21 Daimler Ag Verfahren zur Regelung der Bewegung eines Fahrzeugs und Vorrichtung zur Durchführung des Verfahrens
US10564643B2 (en) 2018-05-31 2020-02-18 Nissan North America, Inc. Time-warping for autonomous driving simulation
US11227486B2 (en) 2018-07-16 2022-01-18 Here Global B.V. Method, apparatus, and system for estimating vulnerable road users
US11260855B2 (en) 2018-07-17 2022-03-01 Baidu Usa Llc Methods and systems to predict object movement for autonomous driving vehicles
WO2020018688A1 (en) 2018-07-20 2020-01-23 May Mobility, Inc. A multi-perspective system and method for behavioral policy selection by an autonomous agent
US10614709B2 (en) 2018-07-24 2020-04-07 May Mobility, Inc. Systems and methods for implementing multimodal safety operations with an autonomous agent
US20200057441A1 (en) 2018-08-14 2020-02-20 May Mobility, Inc. Systems and methods for intelligent arbitration between autonomous and manual operation signals of an autonomous agent
US11214272B2 (en) 2018-09-24 2022-01-04 Waymo Llc Autonomous vehicle system for determining a pullover spot in response to detected local failure
US11454525B2 (en) 2018-10-19 2022-09-27 Robert Bosch Gmbh Vehicle sensor field calibration utilizing other vehicles
CN112969622A (zh) 2018-10-30 2021-06-15 动态Ad有限责任公司 自主运载工具中的冗余
WO2020101127A1 (en) 2018-11-13 2020-05-22 Samsung Electro-Mechanics Co., Ltd. Driving support system and method
US11435751B2 (en) 2018-12-28 2022-09-06 Beijing Voyager Technology Co., Ltd. Vehicle-based road obstacle identification system
US10955841B2 (en) * 2018-12-28 2021-03-23 At&T Intellectual Property I, L.P. Autonomous vehicle sensor security system
US20200209853A1 (en) 2018-12-31 2020-07-02 Uatc, Llc Systems and Methods for Identifying Perception Sensor Degradation
EP3680876A1 (en) 2019-01-08 2020-07-15 Visteon Global Technologies, Inc. Method for planning trajectory of vehicle
US20200233060A1 (en) 2019-01-17 2020-07-23 Denso International America, Inc. Sensor data anomaly detection system and method for a vehicle
GB2620695A (en) 2019-02-14 2024-01-17 Mobileye Vision Technologies Ltd Systems and methods for vehicle navigation
US10969470B2 (en) 2019-02-15 2021-04-06 May Mobility, Inc. Systems and methods for intelligently calibrating infrastructure devices using onboard sensors of an autonomous agent
US11718300B2 (en) 2019-02-27 2023-08-08 Zf Automotive Germany Gmbh Method and control unit for a system for controlling a motor vehicle
US11052914B2 (en) 2019-03-14 2021-07-06 GM Global Technology Operations LLC Automated driving systems and control logic using maneuver criticality for vehicle routing and mode adaptation
US20200293041A1 (en) 2019-03-15 2020-09-17 GM Global Technology Operations LLC Method and system for executing a composite behavior policy for an autonomous vehicle
US11619502B2 (en) 2019-03-25 2023-04-04 Uber Technologies, Inc. Monitoring autonomous vehicle route conformance for improved efficiency
EP3947081A4 (en) 2019-03-29 2023-06-21 INTEL Corporation AUTONOMOUS VEHICLE SYSTEM
CN111845785A (zh) 2019-04-29 2020-10-30 安波福技术有限公司 用于实现对传感器故障的自主运载工具响应的系统和方法
US11204417B2 (en) 2019-05-08 2021-12-21 GM Global Technology Operations LLC Selective attention mechanism for improved perception sensor performance in vehicular applications
US11420653B2 (en) 2019-05-20 2022-08-23 Hyundai Mobis Co., Ltd. Autonomous driving apparatus and method
WO2020241955A1 (ko) 2019-05-31 2020-12-03 엘지전자 주식회사 차량용 전자 장치 및 차량용 전자 장치의 동작 방법
US11242054B2 (en) 2019-06-12 2022-02-08 Honda Motor Co., Ltd. Autonomous vehicle interactive decision making
US10997435B2 (en) * 2019-08-08 2021-05-04 Nvidia Corporation Leveraging obstacle and lane detections to determine lane assignments for objects in an environment
US11380108B1 (en) 2019-09-27 2022-07-05 Zoox, Inc. Supplementing top-down predictions with image features
CN114556249A (zh) * 2019-09-30 2022-05-27 北京航迹科技有限公司 用于预测车辆轨迹的系统和方法
US12012127B2 (en) 2019-10-26 2024-06-18 Zoox, Inc. Top-down view object detection and tracking
US11307585B2 (en) 2019-10-30 2022-04-19 Nissan North America, Inc. Introspective competence modeling for AV decision making
US11300957B2 (en) 2019-12-26 2022-04-12 Nissan North America, Inc. Multiple objective explanation and control interface design
JP7234955B2 (ja) 2020-01-31 2023-03-08 トヨタ自動車株式会社 車両
US20210339741A1 (en) 2020-04-30 2021-11-04 Zoox, Inc. Constraining vehicle operation based on uncertainty in perception and/or prediction
JP2023528077A (ja) 2020-06-05 2023-07-03 ガティック エーアイ インコーポレイテッド 自律エージェントのコンテキスト認識型意思決定を行うための方法およびシステム
US11945472B2 (en) * 2020-08-28 2024-04-02 Motional Ad Llc Trajectory planning of vehicles using route information
US11636689B2 (en) * 2020-09-08 2023-04-25 Nvidia Corporation Adaptive object tracking algorithm for autonomous machine applications
US11458993B2 (en) 2020-09-15 2022-10-04 Tusimple, Inc. Detecting a road closure by a lead autonomous vehicle (AV) and updating routing plans for following AVs
JP2023553980A (ja) 2020-12-14 2023-12-26 メイ モビリティー,インコーポレイテッド 自律車両安全プラットフォームシステム及び方法
CN114676844A (zh) 2020-12-24 2022-06-28 北京百度网讯科技有限公司 用于自动驾驶的方法、装置、设备、计算机可读存储介质
US20220230080A1 (en) * 2021-01-20 2022-07-21 Honda Motor Co., Ltd. System and method for utilizing a recursive reasoning graph in multi-agent reinforcement learning

Also Published As

Publication number Publication date
US20220315051A1 (en) 2022-10-06
EP4314708A1 (en) 2024-02-07
WO2022212944A1 (en) 2022-10-06
US20240067215A1 (en) 2024-02-29
US11745764B2 (en) 2023-09-05
US11472436B1 (en) 2022-10-18
US20230033977A1 (en) 2023-02-02
US11845468B2 (en) 2023-12-19
US20230001952A1 (en) 2023-01-05

Similar Documents

Publication Publication Date Title
US11845468B2 (en) Method and system for operating an autonomous agent with incomplete environmental information
US11970168B2 (en) Vehicle trajectory modification for following
CN111278707B (zh) 控制具有自动驾驶模式的车辆的方法和系统
JP7150846B2 (ja) 自律車両のための物体相互作用予測システムおよび方法
US11574089B2 (en) Synthetic scenario generator based on attributes
US11568100B2 (en) Synthetic scenario simulator based on events
US20220105959A1 (en) Methods and systems for predicting actions of an object by an autonomous vehicle to determine feasible paths through a conflicted area
US11507090B2 (en) Systems and methods for vehicle motion control with interactive object annotation
US11814072B2 (en) Method and system for conditional operation of an autonomous agent
US11718290B2 (en) Methods and systems for safe out-of-lane driving
US11643105B2 (en) Systems and methods for generating simulation scenario definitions for an autonomous vehicle system
WO2020264276A1 (en) Synthetic scenario generator based on attributes
WO2023010043A1 (en) Complementary control system for an autonomous vehicle
CN117813227A (zh) 用于自主交通工具的互补控制系统
JP2023541322A (ja) 低信頼度の物体検出条件における車両動作のための注釈及びマッピング
JP2023504506A (ja) 知覚誤差モデル
JP2023522844A (ja) 協調的車両ガイダンスのための遠隔操作
US20230054626A1 (en) Persisting Predicted Objects for Robustness to Perception Issues in Autonomous Driving
CN118189995A (zh) 用于在自主交通工具操作中处理遮挡物的方法和系统

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20231124