JP2023522844A - 協調的車両ガイダンスのための遠隔操作 - Google Patents

協調的車両ガイダンスのための遠隔操作 Download PDF

Info

Publication number
JP2023522844A
JP2023522844A JP2022560215A JP2022560215A JP2023522844A JP 2023522844 A JP2023522844 A JP 2023522844A JP 2022560215 A JP2022560215 A JP 2022560215A JP 2022560215 A JP2022560215 A JP 2022560215A JP 2023522844 A JP2023522844 A JP 2023522844A
Authority
JP
Japan
Prior art keywords
vehicle
environment
reference trajectory
trajectory
representation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2022560215A
Other languages
English (en)
Other versions
JPWO2021211322A5 (ja
Inventor
ゴーニャ ラヴィ
Original Assignee
ズークス インコーポレイテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from US16/852,057 external-priority patent/US20210325880A1/en
Priority claimed from US16/852,116 external-priority patent/US11584389B2/en
Application filed by ズークス インコーポレイテッド filed Critical ズークス インコーポレイテッド
Publication of JP2023522844A publication Critical patent/JP2023522844A/ja
Publication of JPWO2021211322A5 publication Critical patent/JPWO2021211322A5/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/20Control system inputs
    • G05D1/22Command input arrangements
    • G05D1/221Remote-control arrangements
    • G05D1/222Remote-control arrangements operated by humans
    • G05D1/223Command input arrangements on the remote controller, e.g. joysticks or touch screens
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/20Control system inputs
    • G05D1/22Command input arrangements
    • G05D1/221Remote-control arrangements
    • G05D1/227Handing over between remote control and on-board control; Handing over between remote control arrangements
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/60Intended control result
    • G05D1/69Coordinated control of the position or course of two or more vehicles
    • G05D1/698Control allocation
    • G05D1/6987Control allocation by centralised control off-board any of the vehicles
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/01Detecting movement of traffic to be counted or controlled
    • G08G1/0104Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0108Measuring and analyzing of parameters relative to traffic conditions based on the source of data
    • G08G1/0112Measuring and analyzing of parameters relative to traffic conditions based on the source of data from the vehicle, e.g. floating car data [FCD]
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/01Detecting movement of traffic to be counted or controlled
    • G08G1/0104Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0125Traffic data processing
    • G08G1/0133Traffic data processing for classifying traffic situation
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/01Detecting movement of traffic to be counted or controlled
    • G08G1/0104Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0137Measuring and analyzing of parameters relative to traffic conditions for specific applications
    • G08G1/0145Measuring and analyzing of parameters relative to traffic conditions for specific applications for active traffic flow control
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/01Detecting movement of traffic to be counted or controlled
    • G08G1/04Detecting movement of traffic to be counted or controlled using optical or ultrasonic detectors
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems
    • G08G1/164Centralised systems, e.g. external to vehicles
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems
    • G08G1/165Anti-collision systems for passive traffic, e.g. including static obstacles, trees
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems
    • G08G1/166Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16YINFORMATION AND COMMUNICATION TECHNOLOGY SPECIALLY ADAPTED FOR THE INTERNET OF THINGS [IoT]
    • G16Y40/00IoT characterised by the purpose of the information processing
    • G16Y40/60Positioning; Navigation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/12Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W4/00Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02Services making use of location information
    • H04W4/024Guidance services
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W4/00Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/30Services specially adapted for particular environments, situations or purposes
    • H04W4/40Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P]
    • H04W4/44Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P] for communication between vehicles and infrastructures, e.g. vehicle-to-cloud [V2C] or vehicle-to-home [V2H]
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D2105/00Specific applications of the controlled vehicles
    • G05D2105/20Specific applications of the controlled vehicles for transportation
    • G05D2105/22Specific applications of the controlled vehicles for transportation of humans
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D2107/00Specific environments of the controlled vehicles
    • G05D2107/10Outdoor regulated spaces
    • G05D2107/13Spaces reserved for vehicle traffic, e.g. roads, regulated airspace or regulated waters
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D2109/00Types of controlled vehicles
    • G05D2109/10Land vehicles

Landscapes

  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Automation & Control Theory (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Traffic Control Systems (AREA)
  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)

Abstract

環境内で動作する車両にガイダンスを提供するための技術が、本明細書で説明される。例えば、そのような技術は、支援の要求を送信することと、基準軌道を受信することと、車両に基準軌道に基づいて軌道を決定させることとを含み得る。センサデータおよび車両状態データなどのデータは、車両から遠隔コンピューティングデバイスに送信され得る。コンピューティングデバイスは、データを使用してユーザインターフェースを出力し、ユーザインターフェース内の入力を受信することに基づいて基準軌道を決定する。本技術は、車両の軌道を計画する際に使用するために、基準軌道の指示を車両に送信できる。自律車両などの車両は、軌道に基づいて環境を横断するように制御できる。

Description

本発明は、協調的車両ガイダンスのための遠隔操作に関する。
自律および半自律車両における計画システムは、動作環境において車両が取るべきアクションを決定する。車両のアクションは、環境内に存在するオブジェクトを回避することに部分的に基づいて決定され得る。例えば、二重駐車された車両を迂回したり、道路内の別の車両を回避するために車線を変更したりするなどのアクションが生成され得る。計画システムは、任意の数の動作(例えば、シミュレーションなど)を実行して、車両の潜在的なアクションに対する各検出されたオブジェクトの影響を決定し得る。しかし、特定の状況において、車両は、車両の進行を妨げる環境の一部を通過してナビゲートすることが不可能な場合がある。
[関連出願]
本出願は、「TELEOPERATIONS FOR COLLABORATIVE VEHICLE GUIDANCE」と題して、2020年4月17日に出願された米国特許出願第16/852,116号、および「COLLABORATIVE VEHICLE GUIDANCE」と題して、2020年4月17日に出願された米国特許出願第16/852,057号の優先権を主張し、その両方の全体が参照により本明細書に組み込まれる。
詳細な説明は添付の図面を参照して説明される。図面において、参照番号の最も左の桁は参照番号が最初に現れる図面を識別する。異なる図における同じ参照番号の使用は、類似または同一のコンポーネントまたは特徴を示す。
図1は、本明細書で説明される車両ガイダンス技術を実装するための例示的なプロセスのフロー図である。 図2は、例示的な環境を横断する例示的な自律車両に関してガイダンスを提供するためのガイダンスコンポーネントの例示的なユーザインターフェースを示す。 図3は、例示的な環境を横断する例示的な自律車両に関してガイダンスを提供するためのガイダンスコンポーネントの別の例示的なユーザインターフェースを示す。 図4は、例示的な環境を横断する例示的な自律車両に関してガイダンスを提供するためのガイダンスコンポーネントのさらに別の例示的なユーザインターフェースを示す。 図5は、本明細書で説明される技術を実装するための例示的なシステムのブロック図を示す。 図6は、車両に基準軌道を送信して車両をガイドするための例示的なプロセスを示すフローチャートである。 図7は、基準軌道に基づいて車両の候補軌道を決定するための例示的なプロセスを示すフローチャートである。
[詳細な説明]
車両は遠隔のエンティティからの支援を要求して、車両の進行を妨げる環境内の障害物を通過してナビゲートし得る。車両支援を提供するための遠隔のエンティティによる遅延は、車両を支援が提供されるまでその場に留まらせる可能性があり、これは、車両の進行を遅延させ得る、車両の乗員の体験を損なう、および乗員の安全性に潜在的に影響を与え得る。
本開示は、車両から遠隔にあるコンピューティングデバイスによって車両にガイダンスを提供するための技術を対象とする。いくつかの例では、遠隔操作センタのコンピューティングデバイスは、環境を横断する車両から支援の要求を受信し、環境内で車両をガイドする命令を決定し得る。様々な例では、コンピューティングデバイスは、命令の表示を車両に送信し得る。車両の車両コンピューティングデバイスは、コンピューティングデバイスから命令を受信することに少なくとも部分的に基づいて、車両のための新しい軌道を計画し得る。本明細書で説明されるようなガイダンスを提供するための技術を使用して、車両は、車両によって使用可能なコンピューティングデバイスからガイダンス命令を受信して、スタックされることを迅速におよび/または先制的に回避し、それによって車両の安全性を改善し得る。
いくつかの例では、車両は、ナビゲートすることが困難なシナリオ(例えば、プランナが運転ポリシーのセットに従ってルートを計画することが不可能であるなど)に遭遇したことに基づいてコンピューティングデバイスからの支援を要求するように構成された車両コンピューティングデバイスを有する自律または半自律車両を含み得る。限定ではなく例として、自律車両は、道路の車線を遮っている車両に接近することがある。状況によっては、車両が故障しているのか、縦列駐車しているのか、または乗客を降ろしているかが状況から明らかでない場合がある。そのようなケースでは、自律車両は、遮っている車両を通り過ぎて移動するための支援を要求し得、その要求に基づいて、将来の時間に環境をナビゲートする(例えば、目的地まで横断する)ために車両が使用するための命令の表示(例えば、速度および方向を示す基準軌道)を受信し得る。
上述したように、コンピューティングデバイスは、環境内で車両をガイドする命令を決定し得る。様々な例において、命令は、非限定的な例として、ステアリング、ブレーキ、および/または加速度情報を表し得るが、車両の他の制御(内部および/または外部コンポーネントの)が企図される。いくつかの例において、命令は、環境を横断するために車両によって使用可能な基準軌道(例えば、方向、速度、加速度など)を表し得る。例えば、車両の計画コンポーネントは、基準軌道に少なくとも部分的に基づいて車両をナビゲートするための軌道を決定し得る。
いくつかの例では、コンピューティングデバイスは、ディスプレイデバイス上に出力されたユーザインターフェースによって受信された入力に少なくとも部分的に基づいて車両をガイドするための命令を決定し得る。例えば、コンピューティングデバイスのユーザインターフェースは、環境内の車両の表現(モデル、シミュレーション、推定された状態など)を出力し得る。いくつかの例では、支援の要求は、車両から送信されたデータ(例えば、車両のセンサに関連付けられたセンサデータおよび/またはそれからの派生物(例えば、境界ボックス、分類情報など)、車両コンピューティングデバイスに関連付けられた車両状態データなど)を含み得る。支援の要求に関連付けられたデータは、環境の特性(例えば、建物、車道、オブジェクト、走行可能エリア、気象条件など)を表し得る。加えて、または代替として、コンピューティングデバイスに送信されるデータは、環境に対する車両能力(例えば、加速度、速度、ステアリング、ブレーキなど)を示し得る。このデータは、環境をナビゲートする車両の能力に基づいて、ユーザインターフェース内で車両の表現を操作することが可能な制御を提供するようにユーザインターフェースを構成するために、コンピューティングデバイスによって使用され得る。
遠隔オペレータ(例えば、ロボットを遠隔でガイドするように訓練された専門家(tactician)または機械学習されたコンピューティングデバイス)は、ユーザインターフェースの制御と相互作用して、ユーザインターフェース内の車両の表現を操作する入力を生成し得る。様々な例において、制御の1つまたは複数(例えば、ステアリング制御、ブレーキ制御、および/または加速度制御)は、車両から受信されたデータに少なくとも部分的に基づいて、環境内の車両のステアリング、ブレーキ、および/または加速度の能力に関連付けられ得る。環境内の車両の能力と同様に挙動する制御を出力することによって、ユーザインターフェースは、現実世界の環境では不可能な(したがって、車両をガイドするのに役立たない)やり方で車両の表現を操作する制御を用いて車両をガイドする典型的な技術に対して、より正確に入力(例えば、位置、方向、および/または加速度の変化)をキャプチャし得る。
いくつかの例では、ユーザインターフェース内の車両の表現をナビゲートするための制御は、環境内でナビゲートする車両の能力(例えば、ステアリング能力、加速能力、乗員快適性能力、運動学的制約および/または動的制約など)に少なくとも部分的に基づいている。いくつかの例では、コンピューティングデバイスは、環境内でナビゲートする車両の能力に少なくとも部分的に基づいて、車両の表現の移動を制限することに関連付けられた移動閾値を決定し得る。例えば、コンピューティングデバイスは、環境内の車両のステアリングレートおよび/または加速度レートを示すデータ(例えば、車両に関連付けられたセンサデータおよび/または車両制御データ)を受信し、車両をガイドするために使用可能な入力を受信するために使用可能な1つまたは複数の制御にレートを適用し得る。このようにして、入力は、レート制御(例えば、加速度レート、ステアリングレート、ブレーキレートなどを有する制御)に関連付けられていると考え得る。いくつかの例では、コンピューティングデバイスは、レート制御および/または移動閾値に少なくとも部分的に基づくコマンドを車両に送信し、それによって、環境に対する車両の実際の能力(ステアリング能力、加速度能力、乗員快適性能力など)を考慮した車両のための提案されたガイダンスを提供し得る。
いくつかの例では、コンピューティングデバイスは、車両(および/またはその表現)のセンサによってキャプチャされた環境のセンサデータを受信し、センサデータに少なくとも部分的に基づいて、ユーザインターフェースにおいてナビゲートする車両の表現のための加速度閾値、速度閾値、またはタイミング閾値の少なくとも1つを決定し得る。例えば、コンピューティングデバイスは、オブジェクト、走行可能エリア、および車両から受信されたセンサデータに関連付けられた他の情報に基づいて、車両の最大および最小加速度、最大および最小速度、および/または最大および最小ブレーキを決定し得る。いくつかの例では、タイミング閾値は、入力を受信することと、車両の表現をユーザインターフェース内の第1の位置からユーザインターフェース内の第2の位置に視覚的に変化させることとの間の時間期間を表し得る。本明細書で説明されるように、閾値を車両の表現に関連付けることによって、制御は、経由地点または他の方向入力を単に提供し得るアプローチよりも高度および高感度で車両表現をナビゲートできる。いくつかの例では、命令は、1つまたは複数の閾値(例えば、移動閾値、加速度閾値、速度閾値、ブレーキ閾値、タイミング閾値など)に基づいてコンピューティングデバイスによって生成され、車両の計画コンポーネントに通信され得る、それによって、計画コンポーネントが1つまたは複数の閾値に少なくとも部分的に基づく車両の軌道を決定することを可能にすることによって車両の安全性を向上させる。
いくつかの例では、命令を確認するユーザ入力を受信することは、コンピューティングデバイスのオペレータによって必要とされるアクションなしに、命令の表示(例えば、軌道、ステアリング、ブレーキ、および/または加速度情報)を車両に送信させ得る。このようにして、コンピューティングデバイスは、さらなるユーザ入力なしに、命令の表示を車両に送信し得る。様々な例では、命令の選択を確認するユーザ入力を受信することは、命令の表示を自律車両の車群(fleet)の別の車両に送信させ得る。命令は、いくつかの例では、自律車両の車群に利用可能にされるマップに記憶され得る。そのような例では、車両の車群内の追加の車両は以前に提供されたガイダンスを活用し得、その結果、同じ(または類似の)シナリオに遭遇したときに遠隔オペレータに要求を送信する必要がない。
いくつかの例では、コンピューティングデバイスは、車両から支援の要求を受信し、車両からの支援の要求に少なくとも部分的に基づいて車両をガイドする命令を決定し得る。しかし、他の例では、命令は車両からの支援の要求を受信することとは無関係に決定され得る。例えば、コンピューティングデバイスは、命令に関連付けられた環境の一部の近傍で動作している1つまたは複数の車両の安全性を改善するために、命令を決定し、および/または命令の表示を1つまたは複数の車両に積極的に送信し得る。いくつかの例では、命令の表示は、車両コンピューティングデバイスの計画コンポーネントによって使用されて、車両が環境内でどのようにナビゲートする(オブジェクトを回避するおよび/または相互作用する)か、を改善し得る。いくつかの例では、コンピューティングデバイスは、基準軌道(および例えば、基準軌道に関連付けられたレート制御、閾値など)を車両に送信し得る。そのような例では、車両コンピューティングデバイスは、基準軌道の少なくとも一部に基づいて車両の候補軌道を決定し得る。一般に、基準軌道は、車両コンピューティングデバイスの計画コンポーネントに、環境内で車両をナビゲートするための軌道(例えば、候補軌道)を決定させるように構成される。
いくつかの例では、車両コンピューティングデバイスは、車両軌道に関連付けられたコスト(例えば、速度コスト、方向コストなど)に少なくとも部分的に基づいて、支援の要求を送るべきかどうかを決定し得る。例えば、車両コンピューティングデバイスの計画コンポーネントは、車両軌道に関連付けられたコストを決定し、コストが閾値コストを満たすまたは超えると決定し、コストが閾値コストを満たすまたは超えることに少なくとも部分的に基づいて、ガイダンスの要求を送信し得る。支援の要求を決定および/または送信するための追加の詳細は、本開示全体にわたって説明される。
いくつかの例では、車両コンピューティングデバイスは、車両が環境内の目的地にナビゲートする能力に関連付けられた信頼レベルに少なくとも部分的に基づいて、支援の要求を送信するかどうかを決定し得る。信頼レベルは、例えば、車両の動作に影響を与え得る検出されたオブジェクトを車両が回避する能力に関連付けられ得る。現在の車両軌道の信頼レベルの指示は、ガイダンス命令を決定する際に使用するために、車両によってコンピューティングデバイスに送信され得る。このようにして、ガイダンス命令は、車両が環境内の目的地までナビゲートする能力に関連付けられた信頼レベルに、少なくとも部分的に基づいている。車両のガイダンスにおいて信頼レベルを使用することのさらなる詳細は、「Interactions Between Vehicle and Teleoperations System」と題して、2017年7月7日に出願された米国特許出願第15/644,267号に記載されており、その全体が参照により本明細書に組み込まれる。
様々な例では、コンピューティングデバイスのユーザインターフェースは、ユーザインターフェース内に表示されるシミュレートされた環境内の車両の表現を操縦するための制御を提供する。いくつかの例では、制御は、ステアリング制御、ブレーキ制御、および/または加速度制御を含んでもよく、これらの制御の1つまたは複数は、車両の環境のリアルタイムの変化に応答するように構成され得る。例えば、遠隔オペレータは、1つまたは複数の制御(例えば、ステアリングホイール、ブレーキペダル、アクセルペダル、ハンドヘルドコントローラなど)を介して、ユーザインターフェースに入力を提供し得る。より現実的な制御を提供することによって、ユーザインターフェースは、ユーザインターフェースと相互作用する人間の意図をより良好にキャプチャする入力を受信し、車両に送信される命令においてその意図を表し得る。車両の車両コンピューティングデバイスは、いくつかの例では、前述の制御を使用してキャプチャされた入力に基づいて計画検討を実行し得る。
いくつかの例では、ユーザインターフェースによって提供される制御の1つまたは複数は、車両が環境内で行うことが可能なステアリングのレート、加速度のレート、および/または減速のレートで応答するように構成され得る。このようにして、コンピューティングデバイスのユーザインターフェースは、リアルな運転経験を遠隔オペレータに提供するためにリアルタイムで調整する制御のためのレートを提供するものと考えられ得る。実際の運転条件を模倣する制御を提供するユーザインターフェースを出力することによって、従来のガイダンス技術を使用して可能であったよりも、車両をガイドするためのより詳細な指示が生成され、その後、車両と共有され得る。加えて、本明細書で説明される技術は、任意選択的に、車両計画動作中に(例えば、環境を横断する軌道を決定するために)車両によって使用され得る。これは、車両が支援(例えば、遮られた領域を迂回するために、またはそうでなければ環境の人間による解釈を受けるために)を待機し得る時間量を低減することによって、車両の安全性を改善する。
本明細書で説明される技術は、1つまたは複数の命令の表示を出力することによって、車両コンピューティングデバイスの機能を改善し得る。いくつかの例では、コンピューティングデバイスは、車両が環境内で依然として移動している間に、レート制御された提案された軌道を車両と共有することによって、安全性を改善し得る。結果として、車両に関連付けられた車両コンピューティングデバイスは、提案された軌道を識別する計画考慮事項を利用することによって、車両の動作を制御できる。車両による支援の要求の送信と、車両による命令の受信および/または実施との間の遅延を軽減するために、いくつかの例では、本技術は、遠隔コンピューティングデバイスがガイダンス命令を生成している間に、車両が環境内のその経路を調整することを可能にする。本明細書で説明されるガイダンス技術を実装することによって、車両は、典型的なアプローチよりも短い時間でより高度な支援を受けることができ、それによって、車両に障害物または遮られた領域の周囲をナビゲートさせる。
本明細書で説明される技術は、いくつかのやり方で実装され得る。例示的な実施形態が、以下の図を参照しながら以下で提供される。自律車両のコンテキストで説明されているが、本明細書で説明される方法、装置、およびシステムを、様々なシステム(例えば、手動運転車両、センサシステム、またはロボットプラットフォーム)に適用し得、自律車両に限定されない。別の例では、本技術は、航空もしくは航海のコンテキストにおいて、またはマシンビジョンを使用する任意のシステムにおいて(例えば、画像データを使用するシステムにおいて)利用され得る。一例では、同様の技術はドライバ制御の車両において利用され得、そのようなシステムは様々な操縦を実行するのに安全であるかどうかの指示を提供し得る。別の例では、この技術を、製造組立ラインのコンテキストで、または航空測量のコンテキストで利用できる。加えて、本明細書で説明される技術を、実データ(例えば、センサを使用してキャプチャされる)、シミュレートされたデータ(例えば、シミュレータによって生成される)、またはこれら2つの任意の組み合わせとともに使用できる。コンピューティングデバイスは、1つまたは複数の入力が、車両が環境内で辿るためのガイダンス命令を決定させるユーザインターフェースを含み得る。
図1は、車両から支援の要求を受信し、車両に対する命令を決定し、車両に命令を送信し、命令に基づいて車両を制御するための例示的なプロセス100のフロー図である。
動作102において、プロセスは、車両の動作に影響を与えるイベントを決定することを含むことができる。例104は、環境内の車両106、イベント108、およびオブジェクト110(例えば、別の車両)を示す。様々な例において、車両106の車両コンピューティングデバイスは、環境のセンサデータをキャプチャすることによって、イベント108(例えば、潜在的な衝突、障害物、遮られた領域、道路閉鎖、交通信号または人間の交通調整者からの信号など)を検出し得る。いくつかの例において、センサデータを、車両(自律またはその他)上の1つまたは複数のセンサによってキャプチャできる。例えば、センサデータは、lidarセンサ、画像センサ、radarセンサ、飛行時間センサ(a time of flight sensor)、sonarセンサなどによってキャプチャされたデータを含むことができる。
いくつかの例では、動作102は、オブジェクトの分類を決定する(例えば、オブジェクトが環境内の歩行者であると決定するために)ことを含むことができる。動作102は、オブジェクト110の位置、速度、進行方向などを決定するためにオブジェクト110の属性を決定することを含むことができる。
動作112において、プロセスは、コンピューティングデバイス114に支援の要求を送信することを含むことができる。例えば、車両106は、イベント108を通過してナビゲートする支援の要求をコンピューティングデバイス114に送信し得る。コンピューティングデバイス114は、自律車両の車群をサポートするテレオペレーションズセンタなど、車両106から遠隔に配置され得る。しかし、いくつかの例では、車両106は、プロセス100において説明された動作を実行できる。いくつかの例では、車両106は、イベント108を検出したことに基づいて、および/またはオブジェクト分類に基づいて支援の要求を送信する(例えば、分類を検証するために)ことを決定し得る。支援の要求を遠隔オペレータに送信することのさらなる詳細は、「Predictive Teleoperator Situational Awareness」と題して、2017年7月7日に出願された米国特許出願第15/644,349号に記載されており、その全体が参照により本明細書に組み込まれる。
動作116において、プロセスは、車両106が将来の時間に辿るための命令を決定することを含むことができる。例118に示すように、車両表現120は、支援の要求を受信することに少なくとも部分的に基づいてユーザインターフェースに出力され、任意選択で命令122を生成するように制御され得る。命令122は、ユーザインターフェースへの1つまたは複数の入力に基づいて生成された軌道を表し得る。ガイダンスを決定することのさらなる詳細は、図2乃至4に関連して、ならびに本開示全体を通して説明される。
動作124において、プロセスは、コンピューティングデバイス114が車両106に命令を送信することを含むことができる。命令122は、加速度データ、速度データ、位置データなどを含み得る。ネットワークを介して通信を送信することのさらなる詳細は、図5に関連して、ならびに本開示全体を通して説明される。
動作126において、プロセスは、命令に少なくとも部分的に基づいて車両を制御することを含むことができる。例128に示されるように、動作126は、車両106が辿る軌道130を生成する(例えば、イベント108および/またはオブジェクト110を回避するために)ことを含むことができる。車両のステアリング、加速度、ブレーキ、および他のシステムを制御することのさらなる詳細は、「Vehicle Control」と題して、2019年1月18日に出願された米国特許出願第16/251,788号に記載されており、その全体が参照により本明細書に組み込まれる。
図2は、例示的な環境を横断する例示的な自律車両202に関するガイダンスを提供するためのガイダンスコンポーネントの例示的なユーザインターフェース200を示す。一般に、ユーザインターフェース200は、環境のナビゲーション中に車両を支援するためにコンピューティングデバイスによってガイドされ(例えば、基準軌道を送信され)得る車両を取り囲む環境の概観を提供する。
図2に示されているように、1つまたは複数のコンピューティングデバイス204は、ユーザインターフェース206およびガイダンスコンポーネント208を含む。図2の例に示すように、ユーザインターフェース206は、ユーザ入力を受信することに基づいて異なる機能を起動する(invoke)ための制御210(1)、210(2)、210(3)など(まとめて「制御210」と呼ぶ)を含む。いくつかの例では、自律車両202は、ネットワーク212を介してコンピューティングデバイス204に支援の要求を送信し得、ユーザインターフェース200は支援の要求の指示を提供する(例えば、注釈またはインジケータの外観を変更することによって)ことになる。このようにして、遠隔オペレータは、いくつかの例では、制御210の1つを選択することによって車両にガイダンスを提供し、コンピューティングデバイス204に支援を開始させ得る(例えば、車両の詳細を出力する、車両からセンサデータを受信するなど)。
コンピューティングデバイス204は、車群内の1つまたは複数の自律車両に遠隔支援を提供し得る遠隔操作センタに含まれ得る。いくつかの例では、遠隔操作センタは、車両からの支援の要求に応答して車両にガイダンスを提供し得る。遠隔オペレータにいつ連絡するかを決定する追加の詳細、および遠隔オペレータから受信される命令を使用して自律車両をナビゲートするための技術と同様は、「Techniques for Contacting a Teleoperator」と題して、2019年6月28日に出願された米国特許出願第16/457,289号に説明されており、その全体が参照により本明細書に組み込まれる。遠隔オペレータから受信される命令を使用して自律車両をナビゲートする追加の詳細は、「Techniques for Navigating Vehicles using Teleoperations Instructions」と題して、2019年6月28日に出願された米国特許出願第16/457,341号にさらに説明されており、その全体が参照により本明細書に組み込まれる。
様々な例では、ガイダンスコンポーネント208は、環境内の車両の1つまたは複数に関連付けられたセンサデータおよび/または車両状態データを受信し得る。一般に、ガイダンスコンポーネント208は、ユーザインターフェース内の車両の表現をすることによって、自律車両202が将来の時間に辿るための命令(例えば、基準軌道、加速度範囲、速度範囲、位置範囲など)を決定するように構成され得る。いくつかの例では、ユーザインターフェース206は、支援の要求に関するガイダンスを提供するために、ガイダンスコンポーネント208の一部として含まれ得る。
上述したように、ユーザインターフェース206は、ユーザ入力に基づいて異なる機能を起動するための制御210の1つを含み得る。いくつかの例では、制御210の1つは、環境内の自律車両202の能力に関連付けられ(および/または制限され)得る。いくつかの例では、制御210は、1つまたは複数のレート制御された入力(例えば、車両が環境内で行うことが可能なステアリングのレート、加速度のレート、および/または減速のレートで応答するように構成された入力)をユーザインターフェース206に提供するように構成され得る。いくつかの例では、レート制御入力は、自律車両202の運動学的制約および/または動的制約に少なくとも部分的に基づいて、ユーザインターフェース206によって受信される入力のレートを制限する制御を含み得る。例えば、ユーザインターフェース206の加速度制御は、自律車両202に関する情報および/または環境に関する情報を識別する車両状態データに基づいて、利用可能な加速度の量内で制限され得る。ユーザインターフェース206の制御210の構成についてのさらなる詳細は、以下の図3を含む他の場所で説明される。
様々な例において、車両コンピューティングデバイス214は、知覚コンポーネント220などを介して、環境内の1つまたは複数のオブジェクト216(例えば、オブジェクト216(1)、216(2)、216(3))および/またはイベント218を検出するように構成され得る。いくつかの例において、車両コンピューティングデバイス214は、1つまたは複数のセンサ222から受信されたセンサデータに基づいて、1つまたは複数のオブジェクト216を検出し得る。いくつかの例では、センサ222は、自律車両202上に搭載されたセンサを含み得、限定はしないが、超音波センサ、radarセンサ、光検出および測距(lidar)センサ、カメラ、マイクロフォン、慣性センサ(例えば、慣性測定ユニット、加速度計、ジャイロなど)、全地球測位衛星(GPS)センサなどを含む。いくつかの例では、センサ222は、例えば、別の自律車両上に搭載されたセンサ、および/または環境内に搭載されたセンサなど、1つまたは複数のリモートセンサを含み得る。
様々な例では、自律車両202は、他の自律車両および/またはセンサ222からデータを送信および/または受信するように構成され得る。データは、環境内で検出された1つまたは複数のオブジェクト216に関するデータなどのセンサデータを含み得る。様々な例では、環境は、交通監視、衝突回避などのためのセンサ222を含み得る。いくつかの例では、センサ222は、例えば、見通しの悪いまたはやや見通しの悪い交差点などの視界が低下したエリアにおいて追加の視界を提供するために、環境内に搭載され得る。
様々な例では、車両コンピューティングデバイス214は、センサデータを受信し得、例えば、オブジェクト216が、オブジェクト216(1)および216(2)などの車両、車両、トラック、オートバイ、モペット、オブジェクト216(3)などの歩行者などであるかどうかなど、オブジェクト216のタイプを決定(例えば、オブジェクトのタイプを分類)し得る。
様々な例では、車両コンピューティングデバイス214は計画コンポーネント224を含み得る。一般に、計画コンポーネント224は、自律車両202が環境を横断するために辿る軌道226を決定し得る。例えば、計画コンポーネント224は、様々なルートおよび軌道ならびに様々な詳細レベルを決定し得る。いくつかの例では、計画コンポーネント224は、第1の位置(例えば、現在の位置)から第2の位置(例えば、目標位置)まで移動するルートを決定し得る。計画コンポーネント224は、車両216(1)が将来取り得る最も可能性の高い軌道である車両216(1)の軌道228(1)を決定し得る(例えば、機械学習モデルを介して)。また、図2に示すように、計画コンポーネント224は、歩行者216(3)の軌道228(2)を決定し得る。
図2はまた、遮られた領域230に関連付けられた車両216(2)を示す。遮られた領域230は、遮られた車線または、環境内の自律車両202および/または別の車両(例えば、車両216(1))にとって通行不可能な他の領域を表し得る。図2の図示された例では、車両216(2)は移動しておらず、それによって遮られた領域230を形成している。この例では、別の車両216(1)が、自律車両202によって占有された道路セグメント232に進入することによって遮られた領域230を迂回する軌道228(1)に関連付けられている。自律車両202は、イベント218(例えば、車両216(1)との潜在的な衝突)を検出し、検出に応答して、ネットワーク212を介してコンピューティングデバイス204に支援の要求を送信する。
いくつかの例では、支援の要求は、周囲環境に対する自律車両の位置、速度、加速度、および他の態様を記述するセンサデータおよび/または車両状態データを含み得る。例えば、自律車両202の車両状態データは、現在の軌道(例えば、軌道226)、加速度、速度、および/またはブレーキ能力のレートまたは範囲を示し得る。いくつかの例では、コンピューティングデバイス204は、支援の要求を受信し、ガイダンスコンポーネント208を使用してガイダンス(例えば、自律車両202に対する命令)を生成する。遠隔オペレータからの命令は、ユーザインターフェース206を介して受信され、コンピューティングデバイス204のディスプレイデバイス上に出力される。ユーザインターフェース206は、いくつかの例では、制御210からの入力を受信するように構成され得る。いくつかの様々な例では、制御210(1)、210(2)、および210(3)の1つまたは複数(例えば、ステアリング制御、ブレーキ制御、および/または加速度制御)は、自律車両202から受信された車両状態データに少なくとも部分的に基づいて、環境内の車両のステアリング、ブレーキ、および/または加速能力に関連付けられ得る。
いくつかの例では、道路セグメント232は、道路セグメントの属性(例えば、開始点、終了点、道路状態、道路セグメント識別、車線数など)を記述するマップ特徴データに関連付けられ得る。道路セグメント232の属性の一部または全部は、コンピューティングデバイス204から自律車両202に送信される命令の一部として自律車両202に送信され得る。
図3は、例示的な環境を横断する例示的な自律車両202に関するガイダンスを提供するためのガイダンスコンポーネントの別の例示的なユーザインターフェース300を示す。一般に、ユーザインターフェース300は、図2および他の場所に関連して説明されたように、1つまたは複数の制御を介して自律車両を操縦するための入力を受信したことに応答して、コンピューティングデバイス204のディスプレイデバイス上に提示され得る。
図3に示されているように、ユーザインターフェース206は、例示的なユーザインターフェース300および/または302を含み得る。いくつかの例では、ユーザインターフェース302は、自律車両202のセンサに関連付けられたセンサデータに少なくとも部分的に基づいて、1つまたは複数の画像または表現を含み得る。加えて、または代替的に、ユーザインターフェース302は、自律車両202のセンサに関連付けられたセンサデータに少なくとも部分的に基づく環境のモデルを含み得る。いくつかの例では、ユーザインターフェース302はまた、自律車両202に関する情報(例えば、速度、進行方向、ステアリング角、照明、オーディオなど)を提供し得る。ユーザインターフェース302はさらに、自律車両202が目的地まで走行し得る環境の一部を表す道路セグメント232を含むものとして示されている。
図3に示されているように、複数の画像は、いくつか例を挙げると、車両、歩行者、自転車通行者、および建物などの検出されたオブジェクトを含む、自律車両202の周りの異なるシーン(前方、後方、右側、および左側)を伝達し得る。
いくつかの例では、コンピューティングデバイス204に関連付けられた遠隔オペレータ(例えば、遠隔の人間のオペレータおよび/またはロボットを遠隔でガイドするように訓練された専門家)は、環境のモデル(表現、シミュレーションなど)の1つまたは複数を使用して、自律車両202のための基準軌道306を決定し得る。限定ではなく例として、遠隔オペレータは、車両表現304Aおよび304B(集合的に「車両表現304」)をユーザインターフェース300内で操縦するために、制御210に入力を提供し得る。例えば、ユーザインターフェース300を使用して、経路、ルート、軌道(例えば、基準軌道306)などを提供して、自律車両202をガイドし得る。いくつかの例では、遠隔オペレータは制御210を使用して、車両表現304を車両216(1)が遮られた領域230を迂回することを可能にする環境のエリアにさせ得る。
上述したように、いくつかの例では、コンピューティングデバイス204は、自律車両202の能力を示すデータを受信し、ユーザインターフェース内で車両の表現をナビゲートするように1つまたは複数の制御(例えば、制御210)を構成し得る。いくつかの例では、1つまたは複数の制御は、自律車両202の運動学的制約および/または動的制約に少なくとも部分的に基づいて、1つまたは複数の制御に関連付けられた入力のレートを制限するレート制御を表し得る。
いくつかの例では、運動学的制約は、動きまたは潜在的動きを引き起こす要因とは無関係に、自律車両202による動きまたは潜在的動きを示す運動学的データに関連付けられ得る。いくつかの例では、運動学的データは、バッテリレベル、最大ステアリング角、最大加速度などの自律車両202の1つまたは複数の運動学的制約を示し得る。一般的に、運動学的制約は、自律車両202に関連付けられた様々なシステムのステータス(例えば、レベル、能力、および/または制限)を示す車両状態データに基づき得る。
いくつかの例では、動的制約は、動きまたは潜在的動きを引き起こす要因を考慮して、自律車両202による動きまたは潜在的動きを示す動的データに関連付けられ得る。一般に、動的制約は、環境に対する自律車両202に関連付けられた様々なシステムのステータス(例えば、レベル、能力、および/または制限)を示す車両状態データ、センサデータ、および/または知覚データに基づき得る。いくつかの例では、動的データは、走行可能エリア、検出されたオブジェクト、環境内の力に対する最大ステアリング角、環境内の力に対する最大加速度など、自律車両202の1つまたは複数の動的制約を示し得る。
いくつかの例では、制御は、自律車両202に関連付けられた車両状態データ、運動学的データ、または動的データに少なくとも部分的に基づいて、入力の加速度レート、ステアリングレート、またはブレーキレートを調整するように構成され得る。様々な例では、入力に関連付けられた加速度レートまたはステアリングレートは、ガイダンス(例えば、基準軌道)を決定するためにコンピューティングデバイス204によって使用、および/または基準軌道の一部として自律車両202に送信され得る。
様々な例では、入力を受信したことに応答して、車両表現304Aをディスプレイデバイス上に出力して、入力に従って提案された軌道を反映し得る。いくつかの例では、コンピューティングデバイス204は、提案された軌道に少なくとも部分的に基づいて基準軌道を決定し得る。例えば、遠隔オペレータは、提案された軌道を基準軌道として選択するための入力を提供し得る、提案された軌道を修正し得る、または提案された軌道に追加の部分を追加する。
いくつかの例では、コンピューティングデバイス204は、基準軌道に関連付けられた速度コストおよび/または基準軌道に関連付けられた方向コストを受信および/または決定し、動作を計画する際に関連コストを使用し得る自律車両202と関連コストの指示を通信し得る(例えば、車両の軌道を決定するために)。例えば、自律車両202は、速度コストが速度閾値コストを満たすまたは超えるかどうかを決定し、方向コストが方向閾値コストを満たすまたは超えるかどうかを決定し、速度コストが速度閾値コストを満たすまたは超えること、および方向コストが方向閾値コストを満たすまたは超えることに少なくとも部分的に基づいて軌道を決定し得る。
いくつかの例では、コンピューティングデバイス204は、基準軌道306および/または道路セグメント232のための安全マージンを決定し、基準軌道306の一部として自律車両202に安全マージンを通信し得る。
いくつかの例では、車両の表現をナビゲートするための入力は、ユーザインターフェースにおける車両の表現のシミュレーションを引き起こし、シミュレーションは、環境を横断する車両に関連付けられた1つまたは複数の移動制限に少なくとも部分的に基づいている。例えば、基準軌道は、環境における車両の移動を制限し得る制限に従って車両表現の移動を制限するシミュレーションにおいて実装され得る。
いくつかの例では、ガイダンス技術がコンピューティングデバイス204によって実行されている間、車両は完全な自律を維持する(例えば、計画動作を実行し続ける)。いくつかの例では、ユーザインターフェース300は、現在の時間における自律車両202の位置および/または方向を示し(例えば、黒色で示される)、車両表現304は図3に示される(例えば、車両の実際の位置と区別するために灰色で示される)。したがって、自律車両202は、自律車両202に環境をナビゲートさせる計画動作に基づいて(第1の目的地から第2の目的地へ移動すること、および/または静止したままであることを含む)、ユーザインターフェース300内の位置を変更し得る。
車両表現304Aは現在の時間Tの後の将来の時間(例えば、時間T1)に関連付けられ、車両表現304Bは時間T2に関連付けられる。いくつかの例では、基準軌道306は、車両が将来の時間(例えば、時間T1、T2、T3、・・・TN、ここでNは1以上の任意の整数とすることができる)において環境をナビゲートするために使用する加速度レート、ステアリングレート、速度および方向の1つまたは複数を示す。時間T1、T2、T3、・・・TNは、ミリ秒ごと、5ミリ秒ごと、100ミリ秒ごと、200ミリ秒ごと、1秒ごとなど、様々な長さの時間期間を表し得る。いくつかの例では、時間は、任意の規則的または不規則な間隔であり得る。いくつかの例では、車両表現304Aおよび車両表現304Bは単一の車両表現として図3に示され得る。
いくつかの例では、コンピューティングデバイス204によって生成された基準軌道306は、自律車両202が将来の時間に環境内でナビゲートするための速度および方向を示す。すなわち、車両が辿るための経由地点に入るなど、従来の手法において一般的な進行方向が提供されるだけではなく、基準軌道306は、自律車両202の能力を示すセンサデータおよび/または車両状態データに少なくとも部分的に基づいて辿るための速度および方向を表す。様々な例において、コンピューティングデバイス204は、環境内で移動する車両の能力に少なくとも部分的に基づいて、車両の表現(例えば、車両表現304)の移動を制限することに関連付けられた移動閾値を決定し得る。例えば、車両表現304をナビゲートするための入力は、環境内でナビゲートするための自律車両202のステアリング能力、速度能力、ブレーキ能力、タイミング能力、または加速能力の少なくとも1つに少なくとも部分的に基づき得る。このようにして、車両表現304は、自律車両202のセンサデータおよび/または車両状態データから決定される、自律車両202のステアリング、速度、ブレーキ、タイミング、および/または加速能力を用いて、遠隔オペレータによる入力に応答し得る。
いくつかの例では、コンピューティングデバイス204は、車両状態データを受信し、車両状態データに少なくとも部分的に基づいてユーザインターフェース内の車両の表現の位置を更新し得る。例えば、ユーザインターフェース206は、2つまたは複数の車両表現を提示および更新し得、車両表現の少なくとも1つは、環境内の車両の方向または位置の変化に関連づけられて更新される。いくつかの例では、ユーザユーザインターフェースは、ユーザインターフェースに関連付けられた入力によって制御可能な第1の車両の表現と、動作(例えば、環境内の車両の移動または方向)を示す第2の車両の表現とを提示し得る。
図4は、例示的な環境を横断する例示的な自律車両202に関するガイダンスを提供するためのガイダンスコンポーネントの別の例示的なユーザインターフェース400を示す。一般に、ユーザインターフェース400は、図2および図3などに関連して説明したように、1つまたは複数の制御を介して自律車両を操縦するための入力を受信したことに応答して、コンピューティングデバイス204のディスプレイデバイス上に提示され得る。
図4に示すように、自律車両202は現在の時間において道路セグメント402内に位置している。図3から例を続けると、自律車両202は、基準軌道306を受信することに少なくとも部分的に基づいて、現在の位置に到着し得る。すなわち、自律車両202の計画コンポーネントは、コンピューティングデバイス204によって決定された基準軌道を使用して、自律車両202のための軌道を決定し得る。
いくつかの例では、遠隔オペレータは制御210に入力を提供し、コンピューティングデバイス204に基準軌道406を生成させ得る。図4に示されるように、基準軌道406は、自律車両202を道路セグメント232にガイドして、目的地まで継続できる。例えば、車両表現404Aは、現在の時間Tの後の将来の時間(例えば、時間T1)に関連付けられ、車両表現404Bは、時間T2に関連付けられる。いくつかの例において、基準軌道406は、将来の時間(例えば、時間T1、T2、T3、・・・TN、ここでNは1以上の任意の整数とすることができる)において環境をナビゲートするために車両が使用する速度および方向を示す。いくつかの例では、車両表現404Aおよび車両表現404Bは単一の車両表現として図4に示され得る。
図5は、本明細書で説明する技術を実装するための例示的なシステム500のブロック図を示す。少なくとも1つの例において、システム500は、図2の自律車両202に対応できる車両502を含むことができる。
例示の車両502は、米国国道交通安全局(National Highway Traffic Safety Administration)によって発行されたレベル5分類に従って動作するように構成された自律車両などの無人車両とすることができ、このレベル5分類は、運転者(または乗員)がいつでも車両を制御することを期待されていない状態で、走行全体にわたってすべての安全上重要な機能を実行可能な車両を記載している。そのような例において、車両502は、すべての駐車機能を含む、移動の開始から完了までのすべての機能を制御するように構成されることができるので、ステアリングホイール、アクセルペダル、および/またはブレーキペダルなど、車両502を駆動するための運転者および/または制御装置を含まなくてもよい。これは単なる例であり、本明細書に記載されるシステムおよび方法は、運転者によって常に手動で制御される必要がある車両から、部分的にまたは完全に自律的に制御される車両までの範囲を含む、任意の地上、空中、または水上の車両に組み込まれ得る。
車両502は、車両コンピューティングデバイス504、1つまたは複数のセンサシステム506、1つまたは複数のエミッタ508、1つまたは複数の通信接続部510、少なくとも1つの直接接続部512、および1つまたは複数のドライブシステム514を含むことができる。
車両コンピューティングデバイス504は、1つまたは複数のプロセッサ516と、1つまたは複数のプロセッサ516に通信可能に結合されたメモリ518とを含むことができる。図示された例では、車両502は自律車両であるが、車両502は、任意の他のタイプの車両またはロボットプラットフォームとすることができる。図示された例では、車両コンピューティングデバイス504のメモリ518は、位置推定コンポーネント520、知覚コンポーネント522、1つまたは複数のマップ524、1つまたは複数のシステムコントローラ526、予測コンポーネント528、データ処理コンポーネント530、および計画コンポーネント532を記憶する。例示のためにメモリ518に存在するように図5に示されているが、位置推定コンポーネント520、知覚コンポーネント522、1つまたは複数のマップ524、1つまたは複数のシステムコントローラ526、予測コンポーネント528、データ処理コンポーネント530、および計画コンポーネント532は、追加的にまたは代替的に、車両502にアクセス可能とすることができる(例えば、車両502から離れたメモリに記憶されている、または他の方法でアクセス可能である)ことが企図される。
少なくとも1つの例では、位置推定コンポーネント520はセンサシステム506からデータを受信して、車両502の位置および/または方向(例えば、x、y、z位置、ロール、ピッチ、またはヨーの1つまたは複数)を決定する機能を含むことができる。例えば、位置推定コンポーネント520は、環境のマップを含むことが、および/または要求/受信でき、マップ内の自律車両の位置および/または方向を継続的に決定できる。いくつかの例では、位置推定コンポーネント520は、SLAM(同時位置推定およびマッピング)、CLAMS(較正、位置推定およびマッピングを同時に)、相対SLAM、バンドル調整、非線形最小二乗最適化などを利用して、画像データ、lidarデータ、radarデータ、飛行時間データ、IMUデータ、GPSデータ、ホイールエンコーダデータなどを受信して、自律車両の位置を正確に決定できる。いくつかの例では、位置推定コンポーネント520は、本明細書で説明するように、車両502の様々なコンポーネントにデータを提供して、軌道を生成するために、および/またはオブジェクトが1つもしくは複数の横断歩道の領域に近接していることを決定するために、および/または候補基準線を識別するために、自律車両の初期位置を決定できる。
いくつかの例では、および一般に、知覚コンポーネント522は、オブジェクトの検出、セグメンテーション、および/または分類を実行する機能を含むことができる。いくつかの例では、知覚コンポーネント522は、車両502に近接するエンティティの存在および/またはエンティティタイプ(例えば、車、歩行者、自転車、動物、建物、木、路面、縁石、歩道、停止信号、停止標識、不明など)としてのエンティティの分類を示す処理済みのセンサデータを提供できる。追加または代替の例では、知覚コンポーネント522は、検出されたエンティティ(例えば、追跡されたオブジェクト)に、および/またはエンティティが位置する環境に関連付けられた1つまたは複数の特性を示す処理済みのセンサデータを提供できる。いくつかの例では、エンティティに関連付けられた特性は、限定はしないが、x位置(グローバルおよび/またはローカル位置)、y位置(グローバルおよび/またはローカル位置)、z位置(グローバルおよび/またはローカル位置)、方向(例えば、ロール、ピッチ、ヨー)、エンティティタイプ(例えば、分類)、エンティティの速度、エンティティの加速度、エンティティの範囲(サイズ)などを含むことができる。環境に関連付けられた特性は、環境内の別のエンティティの存在、環境内の別のエンティティの状態、時刻、曜日、季節、気象条件、暗闇/光の表示などを含むことができるが、これらに限定されない。
メモリ518は、環境内でナビゲートするために車両502によって使用できる1つまたは複数のマップ524をさらに含むことができる。この説明を目的として、マップは、限定はしないが、トポロジー(交差点など)、車道、山脈、道路、地形、および一般的な環境など、環境に関する情報を提供することが可能である、2次元、3次元、またはN次元でモデル化された任意の数のデータ構造とできる。いくつかの例では、マップは、テクスチャ情報(例えば、色情報(例えば、RGB色情報、Lab色情報、HSV/HSL色情報)など)、強度情報(例えば、lidar情報、radar情報など)、空間情報(例えば、メッシュ上に投影された画像データ、個々の「サーフェル」(例えば、個々の色および/または強度に関連付けられたポリゴン))、反射率情報(例えば、鏡面反射率情報、再帰反射率情報、BRDF情報、BSSRDF情報など)を含むことができるが、それらに限定されない。一例では、マップは環境の3次元メッシュを含むことができる。いくつかの例では、マップの個々のタイルが環境の別個の部分を表すように、マップをタイルフォーマットで記憶でき、必要に応じて作業メモリにロードできる。少なくとも1つの例では、1つまたは複数のマップ524は、少なくとも1つのマップ(例えば、画像および/またはメッシュ)を含むことができる。
いくつかの例では、マップ524に少なくとも部分的に基づいて車両502を制御できる。すなわち、マップ524を、位置推定コンポーネント520、知覚コンポーネント522、予測コンポーネント528、および/または計画コンポーネント532に関連して使用して、車両502の位置を決定し、環境内のオブジェクトを識別し、および/または環境内をナビゲートするためのルートおよび/または軌道を生成できる。
いくつかの例では、1つまたは複数のマップ524を、ネットワーク534を介してアクセス可能なリモートコンピューティングデバイス(コンピューティングデバイス536など)上に記憶できる。いくつかの例では、複数のマップ524を、例えば、特性(例えば、エンティティタイプ、時刻、曜日、季節など)に基づいて記憶できる。複数のマップ524を記憶することは、同様のメモリ要件を有することができるが、マップ内のデータにアクセスできる速度を増加させることができる。
少なくとも1つの例において、車両コンピューティングデバイス504は、車両502のステアリング、推進、ブレーキ、安全、エミッタ、通信、および他のシステムを制御するように構成できる1つまたは複数のシステムコントローラ526を含むことができる。これらのシステムコントローラ526は、ドライブシステム514および/または車両502の他のコンポーネントの対応するシステムと通信および/または制御できる。
一般に、予測コンポーネント528は、環境内のオブジェクトに関連付けられた予測された情報を生成する機能を含むことができる。いくつかの例では、予測コンポーネント528を実装して、歩行者が横断歩道の領域を横断するまたは横断する準備をするときに、環境内の横断歩道の領域(または道路を渡る歩行者に関連付けられた領域もしくは位置)に近接する歩行者の位置を予測できる。いくつかの例では、本明細書で説明される技術を実装して、車両が環境を横断するときに、オブジェクト(例えば、車両、歩行者など)の位置を予測できる。いくつかの例では、予測コンポーネント528は、目標オブジェクトおよび/または目標オブジェクトに近接する他のオブジェクトの属性に基づいて、そのような目標オブジェクトの1つまたは複数の予測軌道を生成できる。
データ処理コンポーネント530は、計画コンポーネント532からの軌道に関連付けられたコストを決定し、コストが閾値コストを満たすまたは超えるかどうかを決定し、環境内のオブジェクトに関連付けられた閾値コストを満たすまたは超えるコストに少なくとも部分的に基づいて、支援の要求を送信するかどうかを決定する機能を含むことができる。くつかの例では、データ処理コンポーネント530は、位置推定コンポーネント520、知覚コンポーネント522、および/または計画コンポーネント532からデータを受信して、車両502に関連付けられた閾値(例えば、加速度閾値、速度閾値、および/またはタイミング閾値)および/または能力を決定できる。データ処理コンポーネント530は、コンピューティングデバイス536からコスト、閾値、または他のデータを示す情報を受信し、計画動作中にその情報を使用する機能を含むことができる。
一般に、計画コンポーネント532は、車両502が環境を横断するために辿る経路を決定できる。例えば、計画コンポーネント532は、様々なルートおよび軌道および様々な詳細レベルを決定できる。例えば、計画コンポーネント532は、第1の位置(例えば、現在の位置)から第2の位置(例えば、目標位置)まで移動するルートを決定できる。この説明を目的として、ルートは、2つの位置の間を移動するための一連の経由地点とすることができる。非限定的な例として、経由地点は、通り、交差点、全地球測位システム(GPS)座標などを含む。さらに、計画コンポーネント532は、第1の位置から第2の位置までの経路の少なくとも一部に沿って自律車両をガイドするための命令を生成できる。少なくとも1つの例では、計画コンポーネント532は、一連の経由地点の第1の経由地点から一連の経由地点の第2の経由地点まで、どのように自律車両をガイドするかを決定できる。いくつかの例において、命令は、軌道または軌道の一部とすることができる。いくつかの例において、複数の軌道を、receding horizon技術に従って実質的に同時に生成でき(例えば、技術的許容範囲内で)、複数の軌道の1つは車両502をナビゲートするために選択される。
いくつかの例において、計画コンポーネント532は、環境内のオブジェクトに関連付けられた予測位置に少なくとも部分的に基づいて、車両502の1つまたは複数の軌道を生成できる。いくつかの例において、計画コンポーネント532は、線形時相論理および/または信号時相論理などの時相論理を使用して、車両502の1つまたは複数の軌道を評価できる。
理解できるように、本明細書で説明されるコンポーネント(例えば、位置推定コンポーネント520、知覚コンポーネント522、1つまたは複数のマップ524、1つまたは複数のシステムコントローラ526、予測コンポーネント528、データ処理コンポーネント530、および計画コンポーネント532)は、例示目的のために分割されて説明される。しかし、様々なコンポーネントによって実行される動作を、任意の他のコンポーネント内で、組み合わすまたは実行することができる。さらに、ソフトウェアで実装されるように説明したコンポーネントのいずれもハードウェアで実装でき、逆もまた同様である。さらに、車両502に実装される任意の機能は、コンピューティングデバイス536または別のコンポーネントに実装できる(逆もまた同様である)。
少なくとも1つの例では、センサシステム506は、飛行時間センサ、lidarセンサ、radarセンサ、超音波トランスデューサ、sonarセンサ、位置センサ(例えば、GPS、コンパスなど)、慣性センサ(例えば、慣性測定ユニット(IMU)、加速度計、磁力計、ジャイロスコープなど)、カメラ(例えば、RGB、IR、強度、深度など)、マイクロフォン、ホイールエンコーダ、環境センサ(例えば、温度センサ、湿度センサ、光センサ、圧力センサなど)などを含むことができる。センサシステム506は、これらまたは他のタイプのセンサの各々の複数のインスタンスを含むことができる。例えば、飛行時間センサは、車両502の角部、前部、後部、側部、および/または上部に位置する個々の飛行時間センサを含むことができる。別の例として、カメラセンサは、車両502の外部および/または内部の周りの様々な位置に配置された複数のカメラを含むことができる。センサシステム506は、車両コンピューティングデバイス504に入力を提供できる。追加的または代替的に、センサシステム506は、1つまたは複数のネットワーク534を介して、特定の頻度で、所定の期間の経過後に、ほぼリアルタイムなどで、センサデータを1つまたは複数のコンピューティングデバイス536に送信できる。
車両502はまた、上記のように、光および/または音を放出するための1つまたは複数のエミッタ508を含むことができる。この例示のエミッタ508は車両502の乗客と通信する内部オーディオおよびビジュアルエミッタを含む。限定ではなく例として、内部エミッタは、スピーカー、光、記号、ディスプレイ画面、タッチ画面、触覚エミッタ(例えば、振動および/またはフォースフィードバック)、機械的アクチュエータ(例えば、シートベルトテンショナ、シートポジショナ、ヘッドレストポジショナなど)などを含むことができる。この例示のエミッタ508はまた外部エミッタを含む。限定ではなく例として、この例示の外部エミッタは、走行の方向または車両のアクションの他のインジケータ(例えば、インジケータライト、標識、ライトアレイなど)を信号で送るためのライト、および音響ビームステアリング技術を備える、1つまたは複数の歩行者または他の近くの車両と音声で通信するための1つまたは複数のオーディオエミッタ(例えば、スピーカー、スピーカーアレイ、ホーンなど)を含む。
車両502はまた、車両502と1つまたは複数の他のローカルもしくはリモートコンピューティングデバイスとの間の通信を可能にする1つまたは複数の通信接続部510を含むことができる。例えば、通信接続部510は車両502および/またはドライブシステム514上の他のローカルコンピューティングデバイスとの通信を容易にできる。また、通信接続部510は、車両が他の近くのコンピューティングデバイス(例えば、他の近くの車両、交通信号など)と通信することを可能にできる。通信接続部510はまた、車両502が遠隔操作コンピューティングデバイスまたは他の遠隔サービスと通信することを可能にする。
通信接続部510は、車両コンピューティングデバイス504を別のコンピューティングデバイスまたはネットワーク534などのネットワークに接続するための物理的および/または論理的インターフェースを含むことができる。例えば、通信接続部510は、IEEE802.11規格によって定義された周波数を介するようなWi-Fiベースの通信、Bluetooth(登録商標)などの短距離無線周波数、セルラー通信(例えば、2G、3G、4G、4G LTE、5Gなど)、またはそれぞれのコンピューティングデバイスが他のコンピューティングデバイスとインターフェースで接続することを可能にする任意の適切な有線または無線通信プロトコルを可能にできる。
少なくとも1つの例では、車両502は、1つまたは複数のドライブシステム514を含むことができる。いくつかの例では、車両502は単一のドライブシステム514を有することができる。少なくとも1つの例では、車両502が複数のドライブシステム514を有する場合、個々のドライブシステム514は車両502の両端部(例えば、前部および後部など)に配置できる。少なくとも1つの例では、ドライブシステム514は、ドライブシステム514および/または車両502の周囲の状態を検出するための1つまたは複数のセンサシステムを含むことができる。限定ではなく例として、センサシステムは、ドライブモジュールのホイールの回転を感知するための1つまたは複数のホイールエンコーダ(例えば、ロータリーエンコーダ)、ドライブモジュールの方向および加速度を測定するための慣性センサ(例えば、慣性測定ユニット、加速度計、ジャイロスコープ、磁力計など)、カメラまたは他の画像センサ、ドライブシステムの周囲のオブジェクトを音響的に検出するための超音波センサ、lidarセンサ、radarセンサなどを含むことができる。ホイールエンコーダなどのいくつかのセンサは、ドライブシステム514に固有とすることができる。いくつかのケースでは、ドライブシステム514上のセンサシステムは、車両502の対応するシステム(例えば、センサシステム506)と重複または補完できる。
ドライブシステム514は、高電圧バッテリ、車両を推進するモータ、バッテリからの直流を他の車両システムで使用する交流に変換するインバータ、ステアリングモータおよびステアリングラック(電動とすることができる)を含むステアリングシステム、油圧または電気アクチュエータを含むブレーキシステム、油圧および/または空気圧コンポーネントを含むサスペンションシステム、トラクションの損失を軽減し制御を維持するブレーキ力分散用の安定性制御システム、HVACシステム、照明(例えば、車両の外部周囲を照らすヘッド/テールライトなどの照明)、および1つまたは複数の他のシステム(例えば、冷却システム、安全システム、車載充電システム、DC/DCコンバータ、高電圧ジャンクション、高電圧ケーブル、充電システム、充電ポートなどの他の電装コンポーネント)を含む多くの車両システムを含むことができる。加えて、ドライブシステム514は、センサシステムからデータを受信して前処理し、様々な車両システムの動作を制御できるドライブシステムコントローラを含むことができる。いくつかの例では、ドライブシステムコントローラは、1つまたは複数のプロセッサと、1つまたは複数のプロセッサと通信可能に結合されたメモリとを含むことができる。メモリは、ドライブシステム514の様々な機能を実行する1つまたは複数のコンポーネントを記憶できる。さらに、ドライブシステム514はまた、それぞれのドライブシステムによる1つまたは複数の他のローカルまたはリモートコンピューティングデバイスとの通信を可能にする1つまたは複数の通信接続部を含む。
少なくとも1つの例では、直接接続部512は1つまたは複数のドライブシステム514を車両502の本体と結合するための物理的インターフェースを提供できる。例えば、直接接続部512は、ドライブシステム514と車両との間のエネルギー、流体、空気、データなどの転送を可能にできる。いくつかの例では、直接接続部512は、さらに、ドライブシステム514を車両502の本体に着脱可能に固定できる。
少なくとも1つの例では、位置推定コンポーネント520、知覚コンポーネント522、1つまたは複数のマップ524、1つまたは複数のシステムコントローラ526、予測コンポーネント528、データ処理コンポーネント530、および計画コンポーネント532は、上述したようにセンサデータを処理でき、それぞれの出力を、1つまたは複数のネットワーク534を介して1つまたは複数のコンピューティングデバイス536に送信できる。少なくとも1つの例では、位置推定コンポーネント520、1つまたは複数のマップ524、1つまたは複数のシステムコントローラ526、予測コンポーネント528、データ処理コンポーネント530、および計画コンポーネント532は、特定の頻度で、所定の期間が経過した後、ほぼリアルタイムなどで、それぞれの出力を1つまたは複数のコンピューティングデバイス536に送信できる。
いくつかの例では、車両502は、ネットワーク534を介して1つまたは複数のコンピューティングデバイス536にセンサデータを送信できる。いくつかの例では、車両502は、未処理のセンサデータをコンピューティングデバイス536に送信できる。他の例では、車両502は、処理済みのセンサデータおよび/またはセンサデータの表現をコンピューティングデバイス536に送信できる。いくつかの例では、車両502は、特定の頻度で、所定の期間が経過した後に、ほぼリアルタイムなどで、センサデータをコンピューティングデバイス536に送信できる。いくつかのケースでは、車両502は、センサデータ(未処理または処理済み)を1つまたは複数のログファイルとしてコンピューティングデバイス536に送信できる。
コンピューティングデバイス536は、プロセッサ538と、ユーザインターフェース540と、ガイダンスコンポーネント544および通信接続部510を記憶するメモリ542とを含むことができる。いくつかの例では、ユーザインターフェース540は、様々な解像度のマップを生成し、および/または環境内をナビゲートしている車両の表現を出力する機能を含むことができる。ユーザインターフェース540は、車両502をガイドする(例えば、基準軌道を決定することによって)ための入力を受信する1つまたは複数の制御を提供する機能をさらに含むことができる。いくつかの例では、ユーザインターフェース540への入力は、車両502が将来の時間に辿るための速度および方向を示すことができる。
いくつかの例では、ユーザインターフェース540への入力は、ユーザインターフェース540と通信しているステアリングコントローラまたは加速度コントローラを介して受信できる。例えば、ステアリングコントローラは、入力の一部としてステアリングを制御するように構成されたステアリングホイールまたは他のインターフェースを含み得る。いくつかの例では、加速度コントローラは、入力の一部として加速度を制御するように構成されたアクセルペダル、ブレーキペダルまたは他のインターフェースを含み得る。いくつかの例では、単一のコントローラが、ステアリング、加速度、およびブレーキ制御入力をユーザインターフェースに提供できる。
ガイダンスコンポーネント544は、命令を決定し、ネットワーク534を介して車両502に命令を送信する機能を含むことができる。例えば、ガイダンスコンポーネント544は、ユーザインターフェース540から受信した1つまたは複数の入力に少なくとも部分的に基づいて、車両502の潜在的な軌道(例えば、図3の基準軌道306)を生成および/または決定するように構成できる。様々な例において、命令は、車両502の1つまたは複数の予測軌道(例えば、進行方向、速度など)を生成するために計画コンポーネント532によって使用可能な速度および方向の指示を含み得る。いくつかの例では、ガイダンスコンポーネント544は、自律車両202が環境内の目的地にナビゲートすることを妨げ得るイベントを回避する、車両502が辿るための1つまたは複数の利用可能な軌道を決定するように構成され得る。追加的または代替的に、ガイダンスコンポーネント544は、車両が計画検討において検討するために、1つまたは複数の利用可能な軌道を車両502に送信するように構成され得る。いくつかの例では、ガイダンスコンポーネント544は、車両特性、環境特性、気象特性などに基づいて、環境に適用可能な軌道を決定するように構成され得る。
ガイダンスコンポーネント544はまた、車両502が環境内で移動する能力に少なくとも部分的に基づいて、ユーザインターフェース540内の車両の表現の移動を制限することに関連付けられた移動閾値を決定する機能を含むことができる。例えば、本明細書で説明するように、車両の表現(例えば、図3の車両表現304A)をナビゲートするための入力は、環境内でナビゲートするための車両のレート制御、ステアリング能力、または加速能力の少なくとも1つに少なくとも部分的に基づき得る。
いくつかの例では、ガイダンスコンポーネント544は、知覚コンポーネント522からセンサデータを受信し、センサデータに少なくとも部分的に基づいて、ディスプレイデバイス上のユーザインターフェースにおいてナビゲートするための車両の表現のための加速度閾値、速度閾値、またはタイミング閾値の少なくとも1つを決定するための機能を含むことができる。そのような例では、ガイダンスコンポーネント544によって決定される1つまたは複数の基準軌道は、加速度閾値、速度閾値、またはタイミング閾値に少なくとも部分的に基づき得る。
いくつかの例では、本明細書で説明するコンポーネントの一部または全部の態様は、任意のモデル、技術、および/または機械学習技術を含み得る。例えば、いくつかの事例では、メモリ518(およびメモリ542)内のコンポーネントは、ニューラルネットワークとして実装され得る。
本明細書で説明されるように、例示的なニューラルネットワークは、入力データを一連の接続された層に通して出力を生成する、生物学的に着想されたアルゴリズムである。ニューラルネットワーク内の各層はまた、別のニューラルネットワークを備えることができ、または任意の数の層(畳み込みであるか否かにかかわらず)を備えることができる。本開示のコンテキストにおいて理解できるように、ニューラルネットワークは機械学習を利用でき、機械学習は、学習されたパラメータに基づいて出力が生成される、そのようなアルゴリズムの広範なクラスを指すことができる。
ニューラルネットワークのコンテキストで説明したが、任意のタイプの機械学習をこの開示と一致させて使用できる。機械学習アルゴリズムは、例えば限定しないが、回帰アルゴリズム(例えば、通常の最小二乗回帰(OLSR)、線形回帰、ロジスティック回帰、ステップワイズ回帰、多変量適応回帰スプライン(MARS)、局所的に推定されたスカープロット平滑化(LOESS))、インスタンスベースのアルゴリズム(例えば、リッジ回帰、最小絶対収縮および選択演算子(LASSO)、弾性ネット、最小角度回帰(LARS))、決定木アルゴリズム(例えば、分類および回帰木(CART)、反復二分法3(ID3)、カイ二乗自動相互作用検出(CHAID)、決定切り株、条件付き決定木))、ベイジアンアルゴリズム(例えば、単純ベイズ、ガウス単純ベイズ、多項単純ベイズ、平均1依存推定量(AODE)、ベイジアン信念ネットワーク(BNN)、ベイジアンネットワーク)、クラスタリングアルゴリズム(例えば、k平均、k中央値、期待値最大化(EM)、階層的クラスタリング)、相関ルール学習アルゴリズム(例えば、パーセプトロン、バックプロパゲーション、ホップフィールドネットワーク、動径基底関数ネットワーク(RBFN))、ディープラーニングアルゴリズム(例えばディープボルツマンマシーン(DBM)、ディープブリーフネットワーク(DBN)、重畳型ニューラルネットワーク(CNN)、スタック・オートエンコーダ)、次元数削減アルゴリズム(例えば主成分分析(PCA)、主成分回帰(PCR)、部分最小二乗回帰(PLSR)、サモンマッピング、多次元スケーリング(MDS)、射影追跡、線形判別分析(LDA)、混合判別分析(MDA)、二次判別分析(QDA)、柔軟判別分析(FDA))、アンサンブルアルゴリズム(例えば、ブースティング、ブートストラップ集計(バギング)、アダブースト、スタック一般化(ブレンディング)、勾配ブースティングマシン(GBM)、勾配ブースティング回帰ツリー(GBRT)、ランダムフォレスト)、SVM(サポートベクターマシン)、教師あり学習、教師なし学習、半教師あり学習などを含むことができる。
アーキテクチャの追加の例は、ResNet50、ResNet101、VGG、DenseNet、PointNetなどのニューラルネットワークを含む。
車両502のプロセッサ516およびコンピューティングデバイス536のプロセッサ538は、本明細書で説明されるように、データを処理し動作を実施するための命令を実行可能な任意の適切なプロセッサとすることができる。限定ではなく例として、プロセッサ516および538は、1つまたは複数の中央処理装置(CPU)、グラフィックス処理ユニット(GPU)、または電子データを処理してその電子データをレジスタおよび/またはメモリに記憶できる他の電子データに変換する任意の他のデバイスまたはデバイスの一部を備えることができる。いくつかの例では、集積回路(例えば、ASICなど)、ゲートアレイ(例えば、FPGAなど)、および他のハードウェアデバイスはまた、それらがエンコードされた命令を実装するように構成されている限り、プロセッサとみなすことができる。
メモリ518および542は、非一時的コンピュータ可読媒体の例である。メモリ518および542は、本明細書で説明される方法および様々なシステムに属する機能を実装する、オペレーティングシステムおよび1つまたは複数のソフトウェアアプリケーション、命令、プログラム、および/またはデータを記憶できる。様々な実施形態において、メモリを、スタティックランダムアクセスメモリ(SRAM)、シンクロナスダイナミックRAM(SDRAM)、不揮発性/フラッシュタイプメモリ、または情報を記憶することが可能な任意の他のタイプのメモリなど、任意の適切なメモリ技術を使用して実装できる。本明細書で説明されるアーキテクチャ、システム、および個々の要素は、多くの他の論理的、プログラム的、および物理的なコンポーネントを含むことができ、添付の図面に示さているそれらは本明細書の説明に関連する単なる例にすぎない。
図5は分散システムとして示されているが、代替例では、車両502のコンポーネントをコンピューティングデバイス536に関連付けることができ、および/またはコンピューティングデバイス536のコンポーネントを車両502に関連付けることができることに留意されたい。すなわち、車両502は、コンピューティングデバイス536に関連付けられた機能の1つまたは複数を実行でき、逆もまた同様である。さらに、予測コンポーネント528(およびサブコンポーネント)の態様を本明細書で説明するデバイスのいずれかで実行できる。
図6は、車両に基準軌道を送信して、車両をガイドするための例示的なプロセス600を示すフローチャートである。プロセス600の一部または全部は、本明細書で説明されるように、図5の1つまたは複数のコンポーネントによって実行され得る。例えば、プロセス600の一部または全部は、コンピューティングデバイス536によって実行され得る。さらに、例示的なプロセス600に記載された動作のいずれかを、プロセス600に示されたものとは異なる順序で並行して実行、示されたプロセス600の動作のいずれかを省略、および/または本明細書で説明される動作のいずれかと組み合わせ得る。
動作602において、プロセスは、環境内の車両から支援の要求を受信することを含むことができる。いくつかの例において、動作602は、車両状態データおよび/またはセンサデータ(例えば、環境の飛行時間データ、lidarデータ、画像データ、radarデータなど)などのデータを受信することを含むことができる。いくつかの例において、動作602を、車両(例えば、自律車両)が環境を横断するときに車両によって実行できる。
動作604において、プロセスは、支援の要求に少なくとも部分的に基づいて、車両が環境内で辿るための基準軌道を受信することを含むことができる。例えば、動作604は、ディスプレイデバイス上のユーザインターフェースにおいて、環境内でナビゲートしている車両の表現を提示すること(動作606)と、ユーザインターフェースを介してレート制御を示す入力を受信して車両の表現をナビゲートすること(動作608)とを含むことができる。いくつかの例では、入力に関連付けられたレート制御は、加速度制御に関連付けられた加速度のレート、およびステアリング制御に関連付けられたステアリングのレートを制御する。そのような例では、加速度制御および/またはステアリング制御は、遠隔オペレータによる加速および/またはステアリング入力をユーザインターフェースに提供するように構成された制御を表し得る。いくつかの例では、車両の表現をナビゲートするための入力は、環境内でナビゲートするための車両のステアリング能力または加速能力の少なくとも1つに少なくとも部分的に基づき得る。
追加の入力が受信された場合(例えば、動作610において「はい」)、プロセスは動作608に戻ることができる。しかし、いくつかの例では、プロセスは動作612に継続でき、ユーザインターフェースへの1つまたは複数の入力に少なくとも部分的に基づいて基準軌道を決定できる。
追加の入力が受信されない場合(例えば、動作610において「いいえ」)、プロセスは動作612に継続する。動作612において、車両の表現をナビゲートしたレート制御を含む入力に基づいて基準軌道を生成できる。いくつかの例では、基準軌道は、位置、方向、加速度、速度、および/またはブレーキ情報を示し得る。いくつかの例では、情報は基準軌道によって示された。様々な例では、基準軌道は、環境内の車両の移動および/または能力に基づき得る。いくつかの例では、動作612は、基準軌道に関連付けられた基準コスト、ステアリングコスト、加速コスト、および/または障害物コスト(例えば、オブジェクトと衝突する可能性)を決定することを含むことができる。
動作614において、プロセスは、基準軌道を車両に送信することを含むことができる。様々な例において、動作614は、基準軌道に関連付けられた基準コスト、ステアリングコスト、加速コスト、または障害物コストを送信することを含むことができる。様々な例において、レート制御に関連付けられた情報(例えば、基準軌道を生成するために使用される加速度、ステアリング、ブレーキレート)は、車両に送信される基準軌道の一部として含まれ得る。いくつかの例において、基準軌道は、自律車両の車群内の異なる自律車両などの追加の車両に送信され得る。いくつかの例において、基準軌道は、車両および/または追加の車両によってアクセス可能なデータストア内に記憶され、および/または関連付けられ得る。そのような例において、データストアは、1つまたは複数の車両に影響を与えるイベントを識別するためにアクセス可能および更新可能なマップを含み得る。様々な例において、コンピューティングデバイス(例えば、コンピューティングデバイス204)は、マップに対する追加の車両の位置に少なくとも部分的に基づいて、基準軌道を追加の車両に送信し得る。
動作616において、プロセスは、基準軌道に少なくとも部分的に基づいて、車両の計画コンポーネントに環境内で車両をナビゲートするための軌道を決定させることを含むことができる。例えば、車両の計画コンポーネントは、基準軌道に関連付けられた基準コスト、ステアリングコスト、加速コスト、または障害物コストに少なくとも部分的に基づいて、候補軌道を決定し得る。いくつかの例では、候補軌道は、基準軌道を決定するために使用されるレート制御を考慮して計画コンポーネントによって決定され得る。様々な例では、計画コンポーネントは、加速度および/またはステアリング情報(例えば、加速度レート、加速度制御、ステアリングレート、ステアリング制御など)に少なくとも部分的に基づいて候補軌道を決定し得る。
動作618において、プロセスは、軌道に少なくとも部分的に基づいて環境を横断するように車両を制御することを含むことができる。いくつかの例において、第2の基準軌道を生成するために追加の入力が提供されている間、軌道は車両をガイドし得る。そのような例において、第2の基準軌道は車両に送信され、第1の基準軌道および第2の基準軌道の両方に基づく追加の軌道を生成するために車両によって使用可能であり得る。いくつかの例では、第1の基準軌道および第2の基準軌道は、環境内の同じイベントに関連付けられ得る、一方、他の例では、第1の基準軌道および第2の基準軌道は、環境内の異なるイベントに関連付けられ得る。いくつかの例では、第1のイベントは第1の車両に関連付けられ得、第2のイベントは第1の車両および/または第1の車両とは異なる第2の車両に関連付けられ得る。この連続動作は、動作618から動作604に続く動作によって示される。
図7は、車両に基準軌道を送信して車両をガイドするための例示的なプロセス700を示すフローチャートである。プロセス700の一部または全部は、本明細書で説明するように、図5の1つまたは複数のコンポーネントによって実行され得る。例えば、プロセス700の一部または全部は、車両コンピューティングデバイス504によって実行され得る。さらに、例示的なプロセス700に記載された動作のいずれかは、プロセス700に示されたものとは異なる順序で並行して実行、示されたプロセス700の動作のいずれかを省略、および/または本明細書で説明される動作のいずれかと組み合わされ得る。
動作702において、プロセスは、環境内でナビゲートしている車両に関連付けられたイベントを決定することを含むことができる。いくつかの例において、動作702は、自律車両の計画コンポーネントおよび/または知覚コンポーネントによって、イベント(例えば、遮られた領域など)がナビゲーション中の車両の動作に影響を与えることを決定することを含むことができる。
動作704において、プロセスは、支援の要求を送るべきかどうかを決定することを含むことができる。いくつかの例において、動作704は、自律車両の計画コンポーネントによって、車両が辿るための基準軌道を決定することを含むことができる。ここで、車両によって決定された基準軌道は、車両によって自律的に決定されたガイダンスを表す。いくつかの例において、動作704は、基準軌道に関連付けられたコストを決定することと、コストが閾値コストを満たすまたは超えると決定することとを含むことができる。いくつかの例において、動作704は、車両が車両の計画コンポーネントによって決定された基準軌道に従って環境を横断するときに、車両(例えば、自律車両)によって実行できる。
いくつかの例において、動作704は、環境内のオブジェクトを検出することと、オブジェクトが目的地までナビゲートする車両の能力に影響を与えることを決定することとを含むことができる。動作は、さらにまたは代わりに、目的地までナビゲートする車両の能力に関連付けられた信頼レベルを決定することを含み得る。例えば、車両は、イベント(障害物、交通を指示する人物など)を検出し、イベントを考慮して車両をナビゲートするための基準軌道に関連付けられた信頼レベルを決定し得る。いくつかの例では、信頼レベルは、支援の要求を送るべきかどうかを決定するために使用され得る。
動作706において、プロセスは、決定に少なくとも部分的に基づいて、ガイダンスの要求を送信することを含むことができる。例えば、動作706は、車両に関連付けられたデータ、閾値、能力、および/または信頼レベルをリモートコンピューティングデバイスに送信することを含むことができる。
動作708において、プロセスは、要求に少なくとも部分的に基づいて、基準軌道を受信することを含むことができる。例えば、リモートコンピューティングデバイスは、基準軌道を決定し、車両に送信し得る。いくつかの例において、基準軌道は、車両から送信されたデータ、閾値、能力、および/または信頼レベルに少なくとも部分的に基づいて決定される。様々な例において、基準軌道は、レート制御された加速度入力またはレート制御されたステアリング入力の少なくとも1つに少なくとも部分的に基づき得る。リモートコンピューティングデバイスによって決定された基準軌道(動作708)は、環境内でナビゲートするために車両によって現在使用されている車両コンピューティングデバイスによって決定された基準軌道(動作704)とは異なることに留意されたい。
動作710において、プロセスは、リモートコンピューティングデバイスによって決定された基準軌道に少なくとも部分的に基づいて、候補軌道を決定することを含むことができる。例えば、車両コンピューティングデバイスは、イベントを考慮して車両がナビゲートするための候補軌道を決定し得る。例えば、車両の計画コンポーネントは、基準軌道に関連付けられた1つまたは複数のコストに少なくとも部分的に基づいて候補軌道を決定し得る。いくつかの例では、候補軌道は、基準軌道を決定するために使用されるレート制御を考慮して計画コンポーネントによって決定され得る。様々な例では、計画コンポーネントは、基準軌道に関連付けられた加速度および/またはステアリング情報に少なくとも部分的に基づいて候補軌道を決定し得る。
動作712において、プロセスは、候補軌道に少なくとも部分的に基づいて自律車両を制御することを含むことができる。例えば、車両コンピューティングデバイスは、イベントを通過して車両をナビゲートするために、現在の基準軌道の代わりに候補軌道を実施し得る。この連続動作は、動作712から動作708に続く動作によって示される。
[例示的な発明内容]
A:1つまたは複数のプロセッサと、前記1つまたは複数のプロセッサによって実行可能な命令を記憶した1つまたは複数の非一時的コンピュータ可読媒体と、を含むシステムであって、前記命令は実行されると、前記システムに、環境内をナビゲートする自律車両から支援の要求を受信することであって、前記支援の要求は、前記自律車両に関連付けられた車両状態データおよび前記自律車両に関連付けられたセンサデータを含む、ことと、レート制御を示す入力を受信することと、前記レート制御に少なくとも部分的に基づいて、前記環境内で前記自律車両が辿るための基準軌道を決定することであって、前記基準軌道は、将来の時間において前記環境内をナビゲートするための前記自律車両の速度および方向を示す、ことと前記基準軌道を前記自律車両に送信することと、を含む動作を実行させ、前記基準軌道は、前記自律車両の計画コンポーネントに、前記環境内で前記自律車両をナビゲートするための軌道を決定させるように構成されている、システム。
B:前記動作がディスプレイデバイス上のユーザインターフェースを介して、前記環境内をナビゲートしている前記自律車両の表現を提示することと前記ユーザインターフェースを介して前記レート制御を含む前記入力を受信し、前記自律車両の前記表現をナビゲートすることと、前記入力に少なくとも部分的に基づいて前記基準軌道を決定することと、をさらに含む、段落Aに記載のシステム。
C:前記自律車両の前記表現をナビゲートするための前記入力は、前記自律車両の運動学的または動的制約の少なくとも1つに少なくとも部分的に基づいている、段落AまたはBに記載のシステム。
D:前記レート制御が、前記車両状態データに少なくとも部分的に基づいて前記入力の加速度レートまたはステアリングレートを調整するように構成されており、前記動作がディスプレイに、前記車両状態データに少なくとも部分的に基づいて、第1の位置においてユーザインターフェース内に前記自律車両の表現を提示させることであって、前記第1の位置は第1の時間に関連付けられた前記環境内の前記自律車両の現在の位置に関連付けられている、ことと前記加速度レートまたは前記ステアリングレートに従って前記自律車両の前記表現を制御するための前記入力を受信することに少なくとも部分的に基づいて、前記基準軌道を決定することであって、前記入力は、前記第1の時間の後の第2の時間において前記自律車両が前記環境内でナビゲートするための速度および方向を示している、ことと、前記自律車両に、前記基準軌道に関連付けられた前記加速度レートまたは前記ステアリングレートの指示を送信することと、をさらに含む、段落A乃至Cのいずれかに記載のシステム。
E:前記動作は、前記センサデータに少なくとも部分的に基づいて、前記自律車両に近接する前記環境内のオブジェクトまたはイベントの1つまたは複数を決定することと、前記自律車両の表現が、前記オブジェクトまたは前記イベントに少なくとも部分的に基づいて、ディスプレイデバイス上のユーザインターフェース内でナビゲートするための加速度閾値、速度閾値、またはタイミング閾値の少なくとも1つを決定することと、をさらに含み、前記基準軌道は、前記加速度閾値、前記速度閾値、または前記タイミング閾値の前記少なくとも1つに少なくとも部分的に基づいている、段落A乃至Dのいずれかに記載のシステム。
F:環境内の車両から支援の要求を受信することと、レート制御を示す入力を受信することと、前記レート制御に少なくとも部分的に基づいて、前記車両が前記環境内で辿るための基準軌道を決定することであって、前記基準軌道は、前記車両の速度と、将来の時間に前記車両が前記環境内でナビゲートするための方向とを示す、ことと前記基準軌道を前記車両に送信することとを含み、前記基準軌道は、前記車両の計画コンポーネントに、前記車両を前記環境内でナビゲートするための軌道を決定させるように構成されている、方法。
G:ディスプレイデバイス上のユーザインターフェースを介して、前記環境内をナビゲートする前記車両の表現を提示することと前記車両の前記表現をナビゲートするために、前記ユーザインターフェースを介して入力を受信することと前記入力に少なくとも部分的に基づいて、前記基準軌道を決定することと、をさらに含む、段落Fに記載の方法。
H:前記車両の前記表現をナビゲートするための前記入力が、前記環境内でナビゲートする前記車両の能力に少なくとも部分的に基づいている、段落FまたはGに記載の方法。
I:前記車両の前記表現をナビゲートするための前記入力が、前記ユーザインターフェースにおける前記車両の前記表現のシミュレーションをもたらし、前記シミュレーションが、前記環境を横断する前記車両に関連付けられた1つまたは複数の移動制限に少なくとも部分的に基づいている、段落F乃至Hのいずれかに記載の方法。
J:ディスプレイデバイスに、前記車両の現在の位置および前記車両の表現をユーザインターフェース内に提示させることと前記車両の前記表現のための提案された軌道を表す第1の入力を受信することと前記ディスプレイデバイスに、前記車両の前記現在の位置に対する前記車両の前記提案された軌道を前記ユーザインターフェース内に提示させることと、をさらに含み、前記基準軌道または前記車両を決定することはさらに前記提案された軌道に少なくとも部分的に基づいている、段落F乃至Iに記載の方法。
K:前記車両から受信したセンサデータに少なくとも部分的に基づいて、前記車両に近接する前記環境内のオブジェクトまたはイベントの1つまたは複数を決定することと前記オブジェクトまたは前記イベントに少なくとも部分的に基づいて、前記車両の前記表現が前記ユーザインターフェース内でナビゲートするための加速度閾値、速度閾値、またはタイミング閾値の少なくとも1つを決定することと、をさらに含み、前記基準軌道は、前記加速度閾値、速度閾値、またはタイミング閾値の前記少なくとも1つに少なくとも部分的に基づいている、段落F乃至Jに記載の方法。
L:前記基準軌道を追加の車両によってアクセス可能なデータストアに関連付けることをさらに含む、段落F乃至Kのいずれかに記載の方法。
M:データストアがマップを含み、前記方法は、マップに対する前記追加の車両の位置に少なくとも部分的に基づいて、前記基準軌道を前記追加の車両に送信することをさらに備える、段落F乃至Lのいずれかに記載の方法。
N:前記レート制御が、前記車両から受信された車両状態データに少なくとも部分的に基づいて、前記入力の加速度レートまたはステアリングレートを調整するように構成されており、前記加速度レートまたは前記ステアリングレートに少なくとも部分的に基づいて、前記基準軌道を決定し、ディスプレイデバイス上のユーザインターフェースにおける前記車両の表現を制御することと、前記基準軌道に関連付けられた前記加速度レートまたは前記ステアリングレートの指示を前記車両に送信することとをさらに含み、前記加速度レートまたは前記ステアリングレートを示す前記基準軌道は、前記車両の計画コンポーネントに、前記環境内で前記車両をナビゲートするための軌道を決定させるように構成されている、段落F乃至Mのいずれかに記載の方法。
O:ディスプレイデバイス上のユーザインターフェースを介して、遠隔デバイスからの入力によって制御可能な前記車両の第1の表現と、前記環境内の前記車両の動作または方向を示す前記車両の第2の表現とを提示すること、をさらに含む、段落F乃至Nのいずれかに記載の方法。
P:前記車両に関連付けられた車両状態データを受信することと、前記車両状態データに少なくとも部分的に基づいて、前記ユーザインターフェース内の前記車両の前記第1の表現の位置を更新することと、をさらに含む、段落F乃至Oのいずれかに記載の方法。
Q:命令を記憶する1つまたは複数の非一時的コンピュータ可読媒体であって、前記命令は実行されると、1つまたは複数のプロセッサに環境内の車両から支援の要求を受信することと、レート制御を示す入力を受信することと、前記レート制御に少なくとも部分的に基づいて、前記車両が前記環境内で辿るための基準軌道を決定することであって、前記基準軌道は、前記車両の速度及び前記車両が将来の時間に前記環境内でナビゲートする方向を示す、ことと、前記基準軌道を前記車両に送信することと、前記基準軌道に少なくとも部分的に基づいて、前記車両の計画コンポーネントに、前記環境内で前記車両をナビゲートする軌道を決定させることと、を含む動作を実行させる、1つまたは複数の非一時的コンピュータ可読媒体。
R:前記動作が、ディスプレイデバイス上のユーザインターフェースを介して、前記環境内をナビゲートする前記車両の表現を提示することと、前記車両の前記表現をナビゲートするために、前記ユーザインターフェースを介して前記レート制御を含む前記入力を受信することと、前記入力に少なくとも部分的に基づいて前記基準軌道を決定することと、をさらに含む、段落Qに記載の1つまたは複数の非一時的コンピュータ可読媒体。
S:前記車両の前記表現をナビゲートするための前記入力が、前記環境内をナビゲートするための前記車両のステアリング能力または加速能力に少なくとも部分的に基づいている、段落QまたはRに記載の1つまたは複数の非一時的コンピュータ可読媒体。
T:前記動作が、センサデータに少なくとも部分的に基づいて、前記車両に近接する前記環境内のオブジェクトまたはイベントの1つまたは複数を決定することと、前記オブジェクトまたは前記イベントに少なくとも部分的に基づいて、ディスプレイデバイス上のユーザインターフェースでナビゲートする前記車両の表現のための加速閾値、速度閾値、またはタイミング閾値の少なくとも1つを決定することと、前記基準軌道は、前記加速度閾値、前記速度閾値、または前記タイミング閾値の少なくとも1つに少なくとも部分的に基づいている、をさらに含む、段落Q乃至Sのいずれかに記載の1つまたは複数の非一時的コンピュータ可読媒体。
U:1つまたは複数のプロセッサと、前記1つまたは複数のプロセッサによって実行可能な命令を記憶する1つまたは複数の非一時的コンピュータ可読媒体と、を含むシステムであって、前記命令は実行されると、前記システムに自律車両の計画コンポーネントによって、第1の基準軌道を決定することと、前記第1の基準軌道に関連付けられたイベントを決定することと、前記イベントに少なくとも部分的に基づいて、ガイダンスの要求をリモートコンピューティングデバイスに送信することと、前記要求に少なくとも部分的に基づいて、および前記リモートコンピューティングデバイスから第2の基準軌道を受信することであって、前記第2の基準軌道は、ステアリングデータまたは加速度データの少なくとも1つを含む、ことと、前記第2の基準軌道に少なくとも部分的に基づいて、候補軌道を決定することと、前記候補軌道に少なくとも部分的に基づいて前記自律車両を制御することと、を含む動作を実行させる、システム。
V:前記動作が、前記自律車両のセンサによってキャプチャされた環境のセンサデータを受信することであって、前記センサデータは第1の時間に関連付けられている、ことと、前記センサデータを前記リモートコンピューティングデバイスに送信することと、をさらに含み、前記第2の基準軌道は、前記センサデータに少なくとも部分的に基づいており、前記自律車両に対する加速度と、前記自律車両が前記第1の時間の後の第2の時間に前記環境内をナビゲートするためのステアリングとを示している、段落Uに記載のシステム。
W:前記第2の基準軌道が、環境内をナビゲートする前記自律車両の能力に少なくとも部分的に基づいており、前記自律車両の前記能力が、前記自律車両に関連付けられた運動学的情報または動的情報に少なくとも部分的に基づいている、段落UまたはVに記載のシステム。
X:前記第2の基準軌道が、レート制御された加速度入力またはレート制御されたステアリング入力の少なくとも1つに少なくとも部分的に基づいている、段落U乃至Wのいずれかに記載のシステム。
Y:前記動作が、前記自律車両から、前記自律車両の環境内のオブジェクトを示すセンサデータを受信することと、前記センサデータおよび前記オブジェクトに少なくとも部分的に基づいて、前記自律車両に関連付けられた加速度閾値、速度閾値、またはタイミング閾値の少なくとも1つを決定して、ユーザインターフェース内をナビゲートすることと、をさらに含み、前記ガイダンスの要求は、前記加速閾値、前記速度閾値、および前記タイミング閾値を含んでおり、前記第2の基準軌道は、前記加速度閾値、前記速度閾値、または前記タイミング閾値の少なくとも1つに少なくとも部分的に基づいて、決定されている、段落U乃至Xのいずれかに記載のシステム。
Z:環境内をナビゲートする車両からガイダンスの要求を送信することと、リモートコンピューティングデバイスから、および前記ガイダンスの要求に少なくとも部分的に基づいて、前記車両が前記環境内で辿るための基準軌道を受信することであって、前記基準軌道は、前記車両の加速度と、前記車両が将来の時間に前記環境内でナビゲートするためのステアリングとを示している、ことと、前記車両の計画コンポーネントによって、前記基準軌道に少なくとも部分的に基づいて、前記環境内で前記車両をナビゲートするための軌道を決定することと、を含む方法。
AA:前記基準軌道が、レート制御された加速度入力またはレート制御されたステアリング入力の少なくとも1つに少なくとも部分的に基づいている、段落Zに記載の方法。
AB:前記レート制御された加速度入力は、前記環境内で前記車両をナビゲートすることに関連付けられた加速能力に少なくとも部分的に基づいており、前記レート制御されたステアリング入力は、前記環境内で前記車両をナビゲートすることに関連付けられたステアリング能力に少なくとも部分的に基づいている、段落ZまたはAAに記載の方法。
AC:前記基準軌道が第2の基準軌道であり、前記方法は、前記車両の前記計画コンポーネントによって、前記要求を送信する前に、第1の基準軌道を決定することと、前記第1の基準軌道に関連付けられたコストを決定することと、前記コストが閾値コストを満たすまたは超えると決定することと、をさらに含み前記ガイダンスの要求を送信することは、前記コスト閾値を満たすまたは超えている前記コストに少なくとも部分的に基づいている、段落Z乃至ABのいずれかに記載の方法。
AD:前記軌道を決定することはさらに、基準軌道に関連付けられた基準コスト、ステアリングコスト、加速コスト、または前記障害物コストの少なくとも1つに少なくとも部分的に基づいている、段落Z乃至ACのいずれかに記載の方法。
AE:前記車両に関連付けられたセンサデータに少なくとも部分的に基づいて、前記リモートコンピューティングデバイスによって使用されるレート制御閾値を決定することと、前記リモートコンピューティングデバイスに、前記レート制御閾値を送信して、前記レート制御閾値に少なくとも部分的に基づいて前記基準軌道を決定させることと、をさらに含む、段落Z乃至ADのいずれかに記載の方法。
AF:前記基準軌道が加速度レート及びステアリングレートを含み、前記方法が、前記基準軌道に関連付けられた前記加速度レートに少なくとも部分的に基づいて、前記車両をナビゲートする前記軌道の加速度コストを決定することと、前記基準軌道に関連付けられた前記ステアリングレートに少なくとも部分的に基づいて、前記車両をナビゲートする前記軌道のためのステアリングコストを決定することと、前記加速コストおよび前記ステアリングコストに少なくとも部分的に基づいて、前記環境内で前記車両をナビゲートすることと、をさらに含む、段落Z乃至AEのいずれかに記載の方法。
AG:前記イベントが、潜在的な衝突、障害物、または道路閉鎖の少なくとも1つを含む、段落Z乃至AFのいずれかに記載の方法。
AH:前記車両のセンサによってキャプチャされた前記環境のセンサデータを受信することと、前記センサデータを前記リモートコンピューティングデバイスに送信することであって、前記基準軌道が前記センサデータに少なくとも部分的に基づいている、ことと、をさらに含む、段落Z乃至AGのいずれかに記載の方法。
AI:前記車両のセンサからキャプチャされたセンサデータに少なくとも部分的に基づいて、前記環境内のイベントを検出することと、前記イベントが前記車両の目的地までナビゲートする能力に影響を与えると決定することと、をさらに含み、前記ガイダンスの前記要求を送信することは、前記車両が前記目的地までナビゲートする前記能力に関連付けられた信頼レベルを送信することを含み、前記基準軌道は前記信頼レベルに少なくとも部分的に基づいている、段落Z乃至AHのいずれかに記載の方法。
AJ:前記基準軌道が、前記環境内をナビゲートする前記車両の運動学的または動的制約の1つまたは複数に少なくとも部分的に基づいている、段落Z乃至AIのいずれかに記載の方法。
AK:命令を記憶する1つまたは複数の非一時的コンピュータ可読媒体であって、前記命令は実行されると、1つまたは複数のプロセッサに環境内をナビゲートする車両からガイダンスの要求を送信することと、リモートコンピューティングデバイスから、および前記ガイダンスの要求に少なくとも部分的に基づいて、前記車両が前記環境内で辿るための基準軌道を受信することであって、前記基準軌道は、前記車両の加速度と、前記車両が将来の時間に前記環境内でナビゲートするためのステアリングとを示している、ことと、前記車両の計画コンポーネントによって、前記基準軌道に少なくとも部分的に基づいて、前記環境内で前記車両をナビゲートするための軌道を決定することと、を含む動作を実行させる、1つまたは複数の非一時的コンピュータ可読媒体。
AL:前記基準軌道が、レート制御された加速度入力またはレート制御されたステアリング入力の少なくとも1つに少なくとも部分的に基づいている、段落AKに記載の1つまたは複数の非一時的コンピュータ可読媒体。
AM:前記基準軌道が、前記環境内をナビゲートする前記車両の運動学的または動的制約に少なくとも部分的に基づいている、段落AKまたはALに記載の1つまたは複数の非一時的コンピュータ可読媒体。
AN:前記軌道を決定することはさらに、前記基準軌道に関連付けられた基準コスト、ステアリングコスト、加速コスト、または前記障害物コストの少なくとも1つに少なくとも部分的に基づいている、段落AK乃至AMに記載の1つまたは複数の非一時的コンピュータ可読媒体。
上述の例示の発明内容は1つの特定の実装形態に関して説明しているが、この文書のコンテキストでは、例示の発明内容はまた、方法、デバイス、システム、コンピュータ可読媒体、および/またはその他の実装形態を介して実装できることを理解されたい。さらに、例示A乃至ANのいずれかは、単独でまたは他の1つまたは複数の例示A乃至ANと組み合わせて実装され得る。
[結論]
本明細書で説明する技術の1つまたは複数の例について説明したが、様々な変更、追加、置換、およびそれらの同等物が、本明細書で説明する技術の範囲内に含まれる。
例示の説明では、本明細書の一部を形成する添付の図面を参照するが、これは例示として請求される主題の具体的な例を示す。他の例を使用でき、構造的変更などの変更または代替を行うことできることを理解されたい。そのような例示、変更または代替は、意図して請求される主題に関する範囲から必ずしも逸脱するものではない。本明細書のステップは特定の順序で提示できるが、いくつかのケースでは、説明したシステムおよび方法の機能を変更することなく、特定の入力を異なる時間または異なる順序で提供するように、順序を変更できる。開示された手順をまた異なる順序で実行できる。さらに、本明細書にある様々な計算は開示された順序で実行される必要はなく、計算の代替順序を使用する他の例を容易に実装できる。並べ替えに加えて、計算はまた、同じ結果となるサブ計算に分解できる。

Claims (15)

  1. 1つまたは複数のプロセッサと、
    前記1つまたは複数のプロセッサによって実行可能な命令を記憶した1つまたは複数の非一時的コンピュータ可読媒体と、を含むシステムであって、前記命令は実行されると、前記システムに、
    環境内をナビゲートする自律車両から支援の要求を受信することであって、前記支援の要求は、前記自律車両に関連付けられた車両状態データおよび前記自律車両に関連付けられたセンサデータを含む、ことと、
    レート制御を示す入力を受信することと、
    前記レート制御に少なくとも部分的に基づいて、前記環境内で前記自律車両が辿るための基準軌道を決定することであって、前記基準軌道は、将来の時間において前記環境内をナビゲートするための前記自律車両の速度および方向を示す、ことと
    前記基準軌道を前記自律車両に送信することと、
    を含む動作を実行させ、
    前記基準軌道は、前記自律車両の計画コンポーネントに、前記環境内で前記自律車両をナビゲートするための軌道を決定させるように構成されている、システム。
  2. 前記レート制御が、前記車両状態データに少なくとも部分的に基づいて前記入力の加速度レートまたはステアリングレートを調整するように構成されており、前記動作が
    ディスプレイに、前記車両状態データに少なくとも部分的に基づいて、第1の位置においてユーザインターフェース内に前記自律車両の表現を提示させることであって、前記第1の位置は第1の時間に関連付けられた前記環境内の前記自律車両の現在の位置に関連付けられている、ことと
    前記加速度レートまたは前記ステアリングレートに従って前記自律車両の前記表現を制御するための前記入力を受信することに少なくとも部分的に基づいて、前記基準軌道を決定することであって、前記入力は、前記第1の時間の後の第2の時間において前記自律車両が前記環境内でナビゲートするための速度および方向を示している、ことと、
    前記自律車両に、前記基準軌道に関連付けられた前記加速度レートまたは前記ステアリングレートの指示を送信することと、
    をさらに含む、請求項1に記載のシステム。
  3. 前記動作は、
    前記センサデータに少なくとも部分的に基づいて、前記自律車両に近接する前記環境内のオブジェクトまたはイベントの1つまたは複数を決定することと、
    前記自律車両の表現が、前記オブジェクトまたは前記イベントに少なくとも部分的に基づいて、ディスプレイデバイス上のユーザインターフェース内でナビゲートするための加速度閾値、速度閾値、またはタイミング閾値の少なくとも1つを決定することと、
    をさらに含み、
    前記基準軌道は、前記加速度閾値、前記速度閾値、または前記タイミング閾値の前記少なくとも1つに少なくとも部分的に基づいている、請求項1または2に記載のシステム。
  4. 前記動作が
    ディスプレイデバイス上のユーザインターフェースを介して、前記環境内をナビゲートしている前記自律車両の表現を提示することと
    前記ユーザインターフェースを介して前記レート制御を含む前記入力を受信し、前記自律車両の前記表現をナビゲートすることと、
    前記入力に少なくとも部分的に基づいて前記基準軌道を決定することと、
    をさらに含む、請求項1乃至3のいずれか1項に記載のシステム。
  5. 前記自律車両の前記表現をナビゲートするための前記入力は、前記自律車両の運動学的または動的制約の少なくとも1つに少なくとも部分的に基づいている、請求項4に記載のシステム。
  6. 環境内の車両から支援の要求を受信することと、
    レート制御を示す入力を受信することと、
    前記レート制御に少なくとも部分的に基づいて、前記車両が前記環境内で辿るための基準軌道を決定することであって、前記基準軌道は、前記車両の速度と、将来の時間に前記車両が前記環境内でナビゲートするための方向とを示す、ことと
    前記基準軌道を前記車両に送信することと
    を含み、
    前記基準軌道は、前記車両の計画コンポーネントに、前記車両を前記環境内でナビゲートするための軌道を決定させるように構成されている、方法。
  7. ディスプレイデバイスに、前記車両の現在の位置および前記車両の表現をユーザインターフェース内に提示させることと
    前記車両の前記表現のための提案された軌道を表す第1の入力を受信することと
    前記ディスプレイデバイスに、前記車両の前記現在の位置に対する前記車両の前記提案された軌道を前記ユーザインターフェース内に提示させることと、
    をさらに含み、
    前記基準軌道または前記車両を決定することはさらに、前記提案された軌道に少なくとも部分的に基づいている、請求項6に記載の方法。
  8. 前記基準軌道を追加の車両によってアクセス可能なデータストアに関連付けることをさらに含む、請求項6または7に記載の方法。
  9. 前記レート制御が、前記車両から受信された車両状態データに少なくとも部分的に基づいて、前記入力の加速度レートまたはステアリングレートを調整するように構成されており、
    前記加速度レートまたは前記ステアリングレートに少なくとも部分的に基づいて、前記基準軌道を決定し、ディスプレイデバイス上のユーザインターフェースにおける前記車両の表現を制御することと、
    前記基準軌道に関連付けられた前記加速度レートまたは前記ステアリングレートの指示を前記車両に送信することと
    をさらに含み、
    前記加速度レートまたは前記ステアリングレートを示す前記基準軌道は、前記車両の計画コンポーネントに、前記環境内で前記車両をナビゲートするための軌道を決定させるように構成されている、請求項6乃至8のいずれか1項に記載の方法。
  10. ディスプレイデバイス上のユーザインターフェースを介して、遠隔デバイスからの入力によって制御可能な前記車両の第1の表現と、前記環境内の前記車両の動作または方向を示す前記車両の第2の表現と、を提示することをさらに含む、請求項6乃至9のいずれか1項に記載の方法。
  11. ディスプレイデバイス上のユーザインターフェースを介して、前記環境内をナビゲートする前記車両の表現を提示することと
    前記ユーザインターフェースを介して、前記車両の前記表現をナビゲートするための入力を受信することと
    前記入力に少なくとも部分的に基づいて、前記基準軌道を決定することと、
    をさらに含む、請求項6乃至10のいずれか1項に記載の方法。
  12. 前記車両の前記表現をナビゲートするための前記入力が、前記環境内でナビゲートする前記車両の能力に少なくとも部分的に基づいている、請求項11に記載の方法。
  13. 前記車両の前記表現をナビゲートするための前記入力が、前記ユーザインターフェースにおける前記車両の前記表現のシミュレーションをもたらし、前記シミュレーションが、前記環境を横断する前記車両に関連付けられた1つまたは複数の移動制限に少なくとも部分的に基づいている、請求項11に記載の方法。
  14. 前記車両から受信したセンサデータに少なくとも部分的に基づいて、前記車両に近接する前記環境内のオブジェクトまたはイベントの1つまたは複数を決定することと
    前記オブジェクトまたは前記イベントに少なくとも部分的に基づいて、前記車両の前記表現が前記ユーザインターフェース内でナビゲートするための加速度閾値、速度閾値、またはタイミング閾値の少なくとも1つを決定することと、をさらに含み、
    前記基準軌道は、前記加速度閾値、速度閾値、またはタイミング閾値の前記少なくとも1つに少なくとも部分的に基づいている、請求項11に記載の方法。
  15. コンピュータ上で実行されると、請求項6乃至14のいずれかに記載の方法を実施するコード化された命令を含むコンピュータプログラム製品。
JP2022560215A 2020-04-17 2021-04-05 協調的車両ガイダンスのための遠隔操作 Pending JP2023522844A (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US16/852,057 US20210325880A1 (en) 2020-04-17 2020-04-17 Collaborative vehicle guidance
US16/852,116 2020-04-17
US16/852,057 2020-04-17
US16/852,116 US11584389B2 (en) 2020-04-17 2020-04-17 Teleoperations for collaborative vehicle guidance
PCT/US2021/025826 WO2021211322A1 (en) 2020-04-17 2021-04-05 Teleoperations for collaborative vehicle guidance

Publications (2)

Publication Number Publication Date
JP2023522844A true JP2023522844A (ja) 2023-06-01
JPWO2021211322A5 JPWO2021211322A5 (ja) 2024-04-03

Family

ID=78084610

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022560215A Pending JP2023522844A (ja) 2020-04-17 2021-04-05 協調的車両ガイダンスのための遠隔操作

Country Status (4)

Country Link
EP (1) EP4136004A4 (ja)
JP (1) JP2023522844A (ja)
CN (1) CN115443233A (ja)
WO (1) WO2021211322A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20230339512A1 (en) * 2022-04-25 2023-10-26 Aptiv Technologies Limited Leveraging Vehicle-to-Everything (V2X) for Host Vehicle Trajectories

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9465388B1 (en) * 2014-03-03 2016-10-11 Google Inc. Remote assistance for an autonomous vehicle in low confidence situations
US9650042B2 (en) * 2014-09-11 2017-05-16 Cummins Inc. Systems and methods for route planning
US9632502B1 (en) * 2015-11-04 2017-04-25 Zoox, Inc. Machine-learning systems and techniques to optimize teleoperation and/or planner decisions
US10239529B2 (en) * 2016-03-01 2019-03-26 Ford Global Technologies, Llc Autonomous vehicle operation based on interactive model predictive control
US10627810B2 (en) * 2017-06-16 2020-04-21 nuTonomy Inc. Intervention in operation of a vehicle having autonomous driving capabilities

Also Published As

Publication number Publication date
EP4136004A4 (en) 2024-03-20
WO2021211322A1 (en) 2021-10-21
EP4136004A1 (en) 2023-02-22
CN115443233A (zh) 2022-12-06

Similar Documents

Publication Publication Date Title
JP7444874B2 (ja) 方法、非一時的コンピュータ可読媒体、および、車両
US11450205B2 (en) Emergency vehicle detection and response
US11708093B2 (en) Trajectories with intent
US11554790B2 (en) Trajectory classification
JP2022539245A (ja) アクションデータに基づくトップダウンシーンの予測
US11584389B2 (en) Teleoperations for collaborative vehicle guidance
JP2022527072A (ja) 属性に基づく歩行者の予測
JP2022544715A (ja) 譲歩挙動のモデリングおよび予測
CN113544035A (zh) 遮挡预测和轨迹评估
CN112789481A (zh) 对自上而下场景的轨迹预测
US11513519B1 (en) Sharing occlusion data
US20210325880A1 (en) Collaborative vehicle guidance
US11353877B2 (en) Blocked region guidance
US20230028035A1 (en) Perpendicular cut-in training
JP2023553823A (ja) 協調型車両進路生成
US20230067887A1 (en) Techniques for detecting road blockages and generating alternative routes
US20220379889A1 (en) Vehicle deceleration planning
JP2024520301A (ja) 車両軌道決定
CN117813230A (zh) 基于对象轨迹的主动预测
CN117980212A (zh) 基于优化的规划系统
CN114080341A (zh) 联系远程操作员的技术
JP2023522844A (ja) 協調的車両ガイダンスのための遠隔操作
US20230132512A1 (en) Autonomous vehicle trajectory determination based on state transition model
JP2023525054A (ja) 軌道分類
US11970164B1 (en) Adverse prediction planning

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240322

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20240322