JP7194867B2 - 自律走行車の安全性が確保される遠隔運転 - Google Patents

自律走行車の安全性が確保される遠隔運転 Download PDF

Info

Publication number
JP7194867B2
JP7194867B2 JP2022527942A JP2022527942A JP7194867B2 JP 7194867 B2 JP7194867 B2 JP 7194867B2 JP 2022527942 A JP2022527942 A JP 2022527942A JP 2022527942 A JP2022527942 A JP 2022527942A JP 7194867 B2 JP7194867 B2 JP 7194867B2
Authority
JP
Japan
Prior art keywords
virtual
vehicle
route
autonomous vehicle
trajectory
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2022527942A
Other languages
English (en)
Other versions
JP2022550622A (ja
Inventor
クリストファー オスタフュー、
ティアゴ アギアル、
惇英 小橋
デビッド イルストラップ、
サチン ハガリボマナハリ、
キザン タム、
テレーズ サイファー―プリサール、
Original Assignee
ニッサン ノース アメリカ,インク
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ニッサン ノース アメリカ,インク filed Critical ニッサン ノース アメリカ,インク
Publication of JP2022550622A publication Critical patent/JP2022550622A/ja
Application granted granted Critical
Publication of JP7194867B2 publication Critical patent/JP7194867B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34Route searching; Route guidance
    • G01C21/36Input/output arrangements for on-board computers
    • G01C21/3667Display of a road map
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34Route searching; Route guidance
    • G01C21/36Input/output arrangements for on-board computers
    • G01C21/3626Details of the output of route guidance instructions
    • G01C21/3635Guidance using 3D or perspective road maps
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34Route searching; Route guidance
    • G01C21/3407Route searching; Route guidance specially adapted for specific applications
    • G01C21/3415Dynamic re-routing, e.g. recalculating the route when the user deviates from calculated route or after detecting real-time traffic data or accidents
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/0011Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot associated with a remote control arrangement
    • G05D1/0044Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot associated with a remote control arrangement by providing the operator with a computer generated representation of the environment of the vehicle, e.g. virtual reality, maps
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/0088Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot characterized by the autonomous decision making process, e.g. artificial intelligence, predefined behaviours

Description

本願は、交通ネットワークを介した自律走行車の走行を支援するための方法、装置、システム、及び非一時的なコンピュータ可読媒体を含む自律走行車に関する。
自律走行車の使用の増加によって、交通ネットワークを介して乗客及び積荷がより効率的に移動する可能性が生じている。さらに、自律走行車の使用は、車両安全性の改善及び車両間のより効率的な通信をもたらし得る。しかしながら、交通ネットワークを移動する自律走行車は、援助なしでは処理できない状況に遭遇し得る。
本明細書では、自律走行車の遠隔支援中の安全性を確保するための態様、特徴、要素、及び実装が開示されている。
開示された実装の一態様は、通信装置と、前記通信装置に接続されかつ方法を実行するように構成されるプロセッサとを含む、交通ネットワークを移動する装置である。本方法は、前記交通ネットワークを介した自律走行車(AV)に対するルート援助のための開始位置に関する地理的領域、及び前記開始位置における仮想車両を含む表示を生成するステップと、前記仮想車両を用いて前記ルート援助のための仮想経路を形成するステップであって、前記仮想経路は、前記AVが前記開始位置にある間に前記仮想車両を前記開始位置から前進させることによって得られる第1の部分、及び前記仮想車両が前記開始位置から出発した後に、前記ルート援助の停止位置又は終了位置へ向かう前記仮想車両から外挿することによって得られる第2の部分を含むステップと、前記仮想車両が前記終了位置に向かって前進する間に(すなわち、前記第2の部分が形成されている間に)、前記通信装置を介して、前記仮想経路に沿った複数のポイントを前記AVの軌道プランナに継続的に送信するステップであって、前記軌道プランナは、前記仮想経路に適合する前記AVのためのルートを生成するステップとを含む。
開示された実装の一態様は、通信装置と、通信装置に接続されかつ方法を実行するように構成されるプロセッサとを含む、交通ネットワークを移動するシステムである。本方法は、前記通信装置を介して、前記交通ネットワークを通るAVのためのルート援助の要求を送信するステップであって、前記要求は前記ルート援助の開始位置を含むステップと、前記ルート援助のために仮想経路に沿って複数のポイントを継続的に受信するステップをと含み、前記仮想経路は、前記開始位置に関する地理的領域及び前記開始位置における仮想車両を含む表示を生成すること、及び前記仮想車両を用いて前記仮想経路を形成することによって作成され、前記仮想経路は、前記AVが前記開始位置にある間に前記仮想車両を前記開始位置から前進させることによって得られる第1の部分、及び前記仮想車両が前記開始位置から出発した後で、前記ルート援助の停止位置又は終了位置へ向かって前記地理的領域を通る前記仮想車両から外挿することによって得られる第2の部分を含む。前記仮想経路に沿った複数のポイントは、前記仮想車両が前記地理的領域を前進する間に、前記通信装置を介して継続的に受信される。本装置は、近傍の静的又は動的物体を回避しながら、前記複数のポイントを用いて前記仮想経路に適合する前記AVのためのルートを生成する軌道プランナ、及び前記仮想車両が前記地理的領域を前進する間に、前記AVが前記ルートを辿るための制御入力を生成する軌道フォロワも含む。
開示された実装の一態様は、通信装置と、前記通信装置に接続されかつ軌道プランナ及び軌道フォロワを実装する1つ以上のプロセッサとを含む、交通ネットワークを移動するAVである。軌道プランナは、前記通信装置を介して、前記交通ネットワークを通るルート援助のために仮想経路に沿った複数のポイントを継続的に受信することを行うように構成され、前記仮想経路は、前記ルート援助のための開始位置に関する地理的領域及び前記開始位置における仮想車両を含む表示を生成すること、及び前記仮想車両を用いて前記仮想経路を形成することによって作成される。前記仮想経路は、前記AVが前記開始位置にある間に前記仮想車両を前記開始位置から前進させることによって得られる第1の部分、及び前記仮想車両が前記開始位置から出発した後に、前記仮想車両から前記地理的領域を通って前記ルート援助の停止位置又は終了位置へと推定することによって得られる第2の部分を含む。前記軌道プランナは、前記通信装置を介して、前記仮想車両が前記地理的領域を前進する間に、前記仮想経路に沿った複数のポイントを継続的に受信する。また、軌道プランナは、前記複数のポイントを用いて前記仮想経路に適合する前記AVのためのルートを生成することを行うように構成される。前記軌道フォロワは、前記AVが、近傍の静的又は動的物体を回避しながら、及び前記仮想車両が前記仮想経路の前記第2の部分を形成する間に、前記ルートを辿るための制御入力を生成するように構成される。
本開示のこうした特徴及びその他の特徴は、以下の実装の詳細な説明、添付の請求項及び添付の図面に開示されている。
本開示の技術は、添付の図面と併せて読む場合に、以下の詳細な説明から最良に理解される。慣行により、図面の様々な特徴は正確な縮尺ではないことを強調する。対照的に、様々な特徴の寸法は、明確のため任意に拡大又は縮小されている。さらに、別の注記がない限り、図面全体を通して、同じ参照番号は同じ要素を指している。
本明細書に開示の態様、特徴及び要素が実装され得る車両の一部の例示の図面である。
本明細書に開示の態様、特徴及び要素が実装され得る車両交通及び通信システムの一部の例示の図面である。
本開示の実装による交通ネットワークを移動するためのシステムの図である。
仮想車両を用いた仮想経路の形成をシミュレートする図である。 仮想車両を用いた仮想経路の形成をシミュレートする図である。 仮想車両を用いた仮想経路の形成をシミュレートする図である。 仮想車両を用いた仮想経路の形成をシミュレートする図である。 仮想車両を用いた仮想経路の形成をシミュレートする図である。
遠隔支援のための表示、及び外部物体を回避する仮想経路に適合するAVのルートを示すスクリーンショットである。 遠隔支援のための表示、及び外部物体を回避する仮想経路に適合するAVのルートを示すスクリーンショットである。 遠隔支援のための表示、及び外部物体を回避する仮想経路に適合するAVのルートを示すスクリーンショットである。 遠隔支援のための表示、及び外部物体を回避する仮想経路に適合するAVのルートを示すスクリーンショットである。 遠隔支援のための表示、及び外部物体を回避する仮想経路に適合するAVのルートを示すスクリーンショットである。 遠隔支援のための表示、及び外部物体を回避する仮想経路に適合するAVのルートを示すスクリーンショットである。
遠隔支援のための表示、及び外部物体と干渉する仮想経路に適合するAVのルートを示すスクリーンショットである。 遠隔支援のための表示、及び外部物体と干渉する仮想経路に適合するAVのルートを示すスクリーンショットである。 遠隔支援のための表示、及び外部物体と干渉する仮想経路に適合するAVのルートを示すスクリーンショットである。 遠隔支援のための表示、及び外部物体と干渉する仮想経路に適合するAVのルートを示すスクリーンショットである。 遠隔支援のための表示、及び外部物体と干渉する仮想経路に適合するAVのルートを示すスクリーンショットである。
外部物体と干渉する仮想経路に適合するAVの代替ルートを示す図である。
自律走行車又は半自律走行車等の車両が車両交通ネットワークの一部を横断する場合がある。半自律走行車両は、高度な運転者支援システム(ADAS)を含む車両であってもよい。ADASは、運転者のエラーを回避及び/又は訂正する等、安全及びより良い運転のために車両システムを自動化、適応及び/又は強化することができる。自律走行車及び半自律走行車を合わせて自律走行車(AV)と呼ばれ得る。車両交通ネットワークは、建物等の1つ以上の通行不能領域、駐車領域(例えば、駐車場、駐車スペース等)等の1つ以上の部分的通行可能領域、道路(車線、中央分離帯、交差点等を含む)等の1つ以上の通行可能領域、又はこれらの組み合わせを含んでもよい。
車両は、1つ以上のセンサを含み得る。車両交通ネットワークを横断することは、車両の動作環境又はその一部に対応するデータ等のセンサデータを生成又は捕捉するセンサを含み得る。例えば、センサデータは、1つ以上の外部物体(又は単に物体)に対応する情報を含み得る。
外部物体は静的物体であり得る。静的物体とは、静止していて、数秒以内に移動することが予想されない物体である。静的物体の例としては、運転者のいない自転車、コールドビークル、空車、道路標識、壁、建物、穴等が含まれる。
外部物体は、停止した物体であってもよい。停止した物体とは、静止しているが、いつでも移動し得る物体である。停止物体の例としては、信号機で停止している車両、及び乗員(例えば、運転者)がいる道路側の車両等が含まれる。いくつかの実装では、停止した物体は静的物体とみなされる。
外部物体は、歩行者、遠隔車両、オートバイ、自転車等の動的(すなわち、移動)物体である場合があり、動的物体は、(車両に向かって)対向している場合や、車両と同じ方向に移動している場合がある。動的物体は、車両に対して縦方向又は横方向に移動し得る。静的物体は動的物体になる可能性があり、その逆もしかりである。
車両交通ネットワークを横断する(例えば、その中を走行する)ことは、ロボット的な動作とみなされ得る。すなわち、特定の状況(例えば、交通状況又は道路状況)に対する車両の予測可能な応答は予想することが可能である。例えば、交通状況の観測者は、次の数秒間における車両の応答がどのようなものであるかを予想することが可能である。すなわち、例えば、走行環境(すなわち、車両交通ネットワーク、道路)が動的であっても、道路状態に対する車両(すなわち、人に運転される、遠隔操作されるもの等)による応答は予測/予想することが可能である。
(複数の)応答は、車両交通ネットワークを横断することが道路のルール(例えば、左折する車両は対向する交通に譲らなければならず、車両は車線の標示の間を走行しなければならない)、社会的慣習(例えば、停止標識において、右側の運転者が譲られるべきである)、及び物理的制約(例えば、静的物体が車両の進行方向に瞬間的に横方向に移動することはない)により支配されるので予測可能である。
しかしながら、AVは、そのセンサ及び予測技術を使用して完全に対処することができない条件又は条件の組み合わせに走行中に遭遇することがある。すなわち、例えば、AVの不自然な(例えば、不快な、不愉快な)走行挙動又は麻痺(例えば、AVのアルゴリズムが、知覚及び/又は予測された衝突物を解決及び/又は反応することができないこと)のいずれかにつながり得る状態が発生し得る。AVは、マッピングされていない地理的領域、マークされていない地理的領域、又はマークされておらずかつマッピングされていない地理的領域を横断する必要がある場合がある。AVは、縁石上の走行又は車線から出る等、プログラムに違反し得る構造のために、その既存の経路を修正する必要があり得る。このような場合及びその他の場合には、AVは遠隔支援を要求し得る。遠隔支援は、一般にAVが支援を要求する時点での開始点から、一般にAVが支援を必要としなくなった領域に戻った後の終了点まで(例えば、障害物の後で、車両交通領域のマークされマッピングされた部分に入った場合)、車両のリアルタイム制御を可能にする。
このような遠隔支援(本明細書では遠隔操作とも呼ばれる)には、車両のリアルタイム制御のための広帯域で低遅延の通信が必要である。残念ながら、これらの特性を持つ通信は、AVが遭遇し得る全ての条件に対して保証されるわけではない。別の代替手段は、遠隔オペレータを使用して、実行されるAVに送信される経路を手動で描画することである。この形式の遠隔操作は、経路の一部が手動で描画され、車両がその部分を実行してから、次の部分が描画されるというように、非常に遅くなり得る。
AVの安全性を確保しながら、低遅延かつ広帯域の通信を必要とせずにリアルタイムでの遠隔運転を可能にする遠隔支援が望ましい。本開示による実装について、AVによって生成される画像、オブジェクト、及び走行可能領域に基づいて仮想車両がリアルタイムで制御される遠隔支援が説明される。仮想車両は、AVに継続的に送信される仮想経路を形成、トレース又は生成することができる。AVは、安全性を確保するために利用可能な車載センシングを使用して、仮想経路を実質的に辿ることができる。このようにして、遠隔オペレータは、実質的にリアルタイムで遠隔運転することが可能になり、一方で、システムは、帯域幅制限に関連する制御ループ及び安全問題に関する遅延問題を緩和することが可能になる。記載された実質的にリアルタイムの遠隔操作は、例えば、通信速度及び潜在的に他の要因に依存する最大AV速度に制限され得る。
本明細書の教示のいくつかの実装をより詳細に説明するために、まず、本開示が実装され得る環境を参照する。
図1は、本明細書に開示の態様、特徴及び要素が実装され得る車両100の一部の例示の図面である。車両100は、シャーシ102、パワートレイン104、コントローラ114、車輪132/134/136/138を含み、又は車両の任意の他の要素又は要素の組み合わせを含んでもよい。簡潔のため車両100は4つの車輪132/134/136/138を含むように示されているが、プロペラ又はトレッド等の1つ以上の任意の他の推進装置が使用されてもよい。図1において、パワートレイン104、コントローラ114及び車輪132/134/136/138等の要素を相互接続する線は、データ又は制御信号等の情報、電力又はトルク等のパワー、又は情報及びパワーの両方が各要素間で伝達され得ることを示している。例えば、コントローラ114は、パワートレイン104から電力を受信して、パワートレイン104、車輪132/134/136/138、又は両方と通信して、車両100を制御してもよく、これは、車両100を加速、減速、操縦又は他のやり方で制御することを含み得る。
パワートレイン104は、電源106、トランスミッション108、ステアリング装置110、車両アクチュエータ112を含み、サスペンション、駆動シャフト、アクセル若しくは排気システム等のパワートレインの任意の他の要素又は要素の組み合わせを含んでもよい。別々に示されているが、車輪132/134/136/138は、パワートレイン104に含まれてもよい。
電源106は、電気エネルギ、熱エネルギ又は運動エネルギ等のエネルギを提供するように動作する任意の装置又は装置の組み合わせであってもよい。例えば、電源106は、内燃エンジン、電気モータ又は内燃エンジン及び電気モータの組み合わせ等のエンジンを含み、車輪132/134/136/138の1つ以上に原動力として運動エネルギを提供するように動作する。いくつかの実施形態では、電源106は、ニッケルカドミウム(NiCd)、ニッケル亜鉛(NiZn)、ニッケル水素(NiMH)、リチウムイオン(Li-ion)等の1つ以上の乾電池、太陽電池、燃料電池、又はエネルギを提供することが可能な任意の他の装置等のポテンシャルエネルギ装置を含む。
トランスミッション108は、電源106から運動エネルギ等のエネルギを受信して、原動力を提供するために車輪132/134/136/138にエネルギを送る。トランスミッション108は、コントローラ114、車両アクチュエータ112又は両方によって制御されてもよい。ステアリング装置110は、コントローラ114、車両アクチュエータ112又は両方によって制御され、車両を操縦するために車輪132/134/136/138を制御する。車両アクチュエータ112は、コントローラ114から信号を受信してもよく、車両100を動作させるために電源106、トランスミッション108、ステアリング装置110又はこれらの任意の組み合わせを作動又は制御してもよい。
例示の実施形態では、コントローラ114は、位置決め装置116、電子通信装置118、プロセッサ120、メモリ122、ユーザインターフェース124、センサ126、及び電子通信インターフェース128を含む。単一の装置として示されているが、コントローラ114の任意の1つ以上の要素が任意の数の分離した物理装置に組み込まれてもよい。例えば、ユーザインターフェース124及びプロセッサ120は、第1の物理装置に組み込まれてもよく、メモリ122は、第2の物理装置に組み込まれてもよい。図1には示されていないが、コントローラ114は、バッテリ等の電源1210を含んでもよい。別個の要素として示されているが、位置決め装置116、電子通信装置118、プロセッサ120、メモリ122、ユーザインターフェース124、センサ126、電子通信インターフェース128、又はこれらの任意の組み合わせは、1つ以上の電子装置、回路又はチップに組み込まれ得る。
いくつかの実施形態では、プロセッサ120は、信号又は他の情報を操作又は処理することが可能な現存する又は今後開発される任意の装置又は装置の組み合わせ、例えば、光プロセッサ、量子プロセッサ、分子プロセッサ、又はそれらの組み合わせを含む。プロセッサ120は、1つ以上の専用プロセッサ、1つ以上のデジタル信号プロセッサ、1つ以上のマイクロプロセッサ、1つ以上のコントローラ、1つ以上のマイクロコントローラ、1つ以上の集積回路、1つ以上の特定用途向け集積回路、1つ以上のフィールドプログラマブルゲートアレイ、1つ以上のプログラマブルロジックアレイ、1つ以上のプログラマブルロジックコントローラ、1つ以上の状態機械、又はこれらの任意の組み合わせを含んでもよい。プロセッサ120は、位置決め装置116、メモリ122、電子通信インターフェース128、電子通信装置118、ユーザインターフェース124、センサ126、パワートレイン104、又はこれらの任意の組み合わせと動作可能に結合されてもよい。例えば、プロセッサは、通信バス130を介してメモリ122と動作可能に結合されてもよい。
プロセッサ120は、命令を実行するように構成されてもよい。このような命令は、オペレーションセンタを含む遠隔地から車両100を操作するために使用され得る遠隔操作のための命令を含んでもよい。遠隔操作のための命令は、車両100に記憶され、又は交通管理センタ又はクラウド型サーバコンピュータ装置を含むサーバコンピュータ装置等の外部ソースから受信されてもよい。遠隔操作については、以下で詳細に説明する。
メモリ122は、プロセッサ120によって使用される又はそれと接続される、機械可読命令又はそれに関連付けられる任意の情報を、例えば、保持、記憶、伝達又は搬送することが可能な任意の有形の非一時的コンピュータ使用可能又はコンピュータ可読媒体を含んでもよい。メモリ122は、例えば、1つ以上の半導体ドライブ、1つ以上のメモリカード、1つ以上のリムーバブル媒体、1つ以上の読み取り専用メモリ(ROM)、1つ以上のランダムアクセスメモリ(RAM)、1つ以上のレジストリ、1つ以上の低電力ダブルデータレート(LPDDR)メモリ、1つ以上のキャッシュメモリ、1つ以上のディスク(ハードディスク、フロッピーディスク、又は光学ディスクを含む)、磁気若しくは光学カード、又は電子情報を記憶するのに適した任意のタイプの非一時的な媒体、又はこれらの任意の組み合わせを含んでもよい。
電子通信インターフェース128は、図示のような無線アンテナ、有線通信ポート、光学通信ポート、又は有線若しくは無線電子通信媒体140とインターフェース接続することが可能な任意の他の有線若しくは無線装置であってもよい。
電子通信装置118は、電子通信インターフェース128等を介して、有線又は無線電子通信媒体140を介して信号を送信又は受信するように構成されてもよい。図1に明示されていないが、電子通信装置118は、無線周波数(RF)、紫外線(UV)、可視光、光ファイバ、有線回線、又はこれらの組み合わせ等の任意の有線又は無線通信媒体を介して送信、受信又は両方を行うように構成される。図1は、単一の電子通信装置118及び単一の電子通信インターフェース128を示しているが、任意の数の通信装置及び任意の数の通信インターフェースが使用されてもよい。いくつかの実施形態では、電子通信装置118は、専用の短距離通信(DSRC)装置、無線安全装置(WSU)、IEEE802.11p(WiFi-P)、又はそれらの組み合わせを含み得る。
位置決め装置116は、限定されないが、車両100の経度、緯度、高度、進行方向又は速さを含む地理情報を決定してもよい。例えば、位置決め装置は、広域補強システム(Wide Area Augmentation System;WAAS)対応米国海洋電子機器協会(National Marine Electronics Association;NMEA)装置、無線三角測量装置、又はこれらの組み合わせ等の全地球測位システム(GPS)装置を含む。位置決め装置116は、例えば、車両100の現在の向き、2次元又は3次元での車両100の現在地、車両100の現在の角度方向、又はこれらの組み合わせを表す情報を取得するために使用され得る。
ユーザインターフェース124は、仮想キーパッド、物理キーパッド、タッチパッド、ディスプレイ、タッチスクリーン、スピーカ、マイクロホン、ビデオカメラ、センサ、及びプリンタのいずれかを含む、人間がインターフェースとして使用することが可能な任意の装置を含んでもよい。ユーザインターフェース124は、図示のようにプロセッサ120と、又はコントローラ114の任意の他の要素と動作可能に結合されてもよい。単一の装置として示されているが、ユーザインターフェース124は、1つ以上の物理装置を含み得る。例えば、ユーザインターフェース124は、人物との音声通信を行うための音声インターフェース、及び人物との視覚及びタッチに基づく通信を行うためのタッチディスプレイを含む。
センサ126は、車両を制御するために使用され得る情報を提供するように動作し得るセンサの配列等の1つ以上のセンサを含んでもよい。センサ126は、車両の現在の動作特徴又はその周囲に関する情報を提供し得る。センサ126は、例えば、速度センサ、加速度センサ、ステアリング角センサ、トラクション関連センサ、ブレーキ関連センサ、又は車両100の現在の動的状況の何らかの態様に関する情報を報告するように動作可能な任意のセンサ若しくはセンサの組み合わせを含む。
いくつかの実施形態では、センサ126は、車両100の周囲の物理環境に関する情報を取得するように動作可能なセンサを含む。例えば、1つ以上のセンサが、道路形状、及び固定障害物、車両、サイクリスト及び歩行者等の障害を検出する。センサ126は、既知の又は後に開発される、1つ以上のビデオカメラ、レーザ感知システム、赤外線感知システム、音響感知システム、又は任意の他の適切なタイプの車載環境感知装置、又は装置の組み合わせであるか又はこれらを含み得る。センサ126及び位置決め装置116は結合されてもよい。
別に示されてはいないが、図1では、車両100は、軌道コントローラを含んでもよい。例えば、コントローラ114は、軌道コントローラを含んでもよい。軌道コントローラは、車両100の現在の状態及び車両100に対して計画されたルートを記述する情報を取得し、この情報に基づいて、車両100に対する軌道を決定及び最適化するように動作可能であってもよい。いくつかの実施形態では、軌道コントローラは、車両100が軌道コントローラによって決定される軌道に従うように、車両100を制御するように動作可能な信号を出力する。例えば、軌道コントローラの出力は、パワートレイン104、車輪132/134/136/138又は両方に供給され得る最適化された軌道であり得る。最適化された軌道は、一組のステアリング角等の制御入力であってもよく、各ステアリング角は1つの時点又は位置に対応する。最適化された軌道は、1つ以上の経路、線、曲線、又はこれらの組み合わせであり得る。軌道コントローラは、図3に関して以下にさらに詳細に説明される。
車輪132/134/136/138のうちの1つ以上は、ステアリング装置1230の制御下でステアリング角に枢動される操縦された車輪、トランスミッション108の制御下で車両100を推進するためのトルクを与えられる推進された車輪、又は車両1000を操縦及び推進する操縦及び推進された車輪であってもよい。
車両は、エンクロージャ、ブルートゥース(登録商標)モジュール、周波数変調(FM)ラジオ装置、近距離無線通信(NFC)モジュール、液晶ディスプレイ(LCD)ディスプレイ装置、有機発光ダイオード(OLED)ディスプレイ装置、スピーカ、又はこれらの任意の組み合わせ等の図1に示されていない装置又は要素を含んでもよい。
図2は、本明細書に開示の態様、特徴及び要素が実装され得る車両交通及び通信システム200の一部の例示の図面である。車両交通及び通信システム200は、図1に示された車両100等の車両202、及び図1に示された車両100、歩行者、サイクリスト等の任意の交通手段の形態と共に建物等の任意の形態の構造を含み得る外部物体206等の1つ以上の外部物体を含む。車両202は、交通ネットワーク208の1つ以上の部分を介して移動してもよく、1つ以上の電子通信ネットワーク212を介して外部物体206と通信してもよい。図2には明示されていないが、車両は、オフロード領域等の交通ネットワークに明示的に又は完全には含まれていない領域を横断してもよい。いくつかの実施形態では、交通ネットワーク208は、誘導ループセンサ等の1つ以上の車両検出センサ210を含んでもよく、これは交通ネットワーク208において車両の移動を検出するために使用されてもよい。
電子通信ネットワーク212は、車両202、外部物体206及び操作センタ230の間の音声通信、データ通信、映像通信、メッセージング通信、又はこれらの組み合わせ等の通信を提供する多重アクセスシステムであってもよい。例えば、車両202又は外部物体206は、電子通信ネットワーク212を介して操作センタ230から交通ネットワーク208を表す情報等の情報を受信してもよい。
オペレーションセンタ230は、図1に示されたコントローラ114の特徴の一部又は全てを含むコントローラ装置232を含む。コントローラ装置232は、自律走行車を含む車両の移動を監視及び調整し得る。コントローラ装置232は、車両202等の車両及び外部物体206等の外部物体の状態又は状況を監視してもよい。コントローラ装置232は、車両速度、車両位置、車両動作状態、車両目的地、車両経路、車両センサデータ、外部物体速度、外部物体位置、外部物体動作状態、外部物体目的地、外部物体経路、及び外部物体センサデータのいずれかを含む車両データ及びインフラストラクチャデータを受信し得る。
さらに、コントローラ装置232は、車両202等の1つ以上の車両又は外部物体206等の外部物体に対する遠隔制御を確立し得る。このようにして、コントローラ装置232は、遠隔地から車両又は外部物体を遠隔操作してもよい。コントローラ装置232は、無線通信リンク226等の無線通信リンク、又は有線通信リンク228等の有線通信リンクを介して、車両202、外部物体206、又は車両交通及び通信システム200内のその他の装置等、車両、外部物体、又はコンピュータ装置と状態データを交換(送信又は受信)してもよい。
いくつかの実施形態では、車両202又は外部物体206は、有線通信リンク228、無線通信リンク214/216/224、又は任意の数若しくはタイプの有線若しくは無線通信リンクの組み合わせを介して通信を行ってもよい。例えば、図示のように、車両202又は外部物体206は、陸上無線通信リンク214を介して、非陸上無線通信リンク216を介して、又はこれらの組み合わせを介して通信を行う。いくつかの実装では、陸上無線通信リンク214は、イーサネット(登録商標)リンク、シリアルリンク、ブルートゥース(登録商標)リンク、赤外線(IR)リンク、紫外線(UV)リンク、又は電子通信を可能にする任意のリンクを含む。
車両202等の車両又は外部物体206等の外部物体は、別の車両、外部物体又はオペレーションセンタ230と通信してもよい。例えば、ホスト又は物体の車両202が、直接通信リンク224を介して又は電子通信ネットワーク212を介して、オペレーションセンタ230から基本安全メッセージ(basic safety message;BSM)等の1つ以上の自動車両間メッセージを受信してもよい。例えば、オペレーションセンタ230は、300メートル等の既定のブロードキャスト範囲内のホスト車両に又は定義された地理的領域にメッセージをブロードキャストしてもよい。いくつかの実施形態では、車両202は、信号リピータ(図示せず)又は別の遠隔車両(図示せず)等のサードパーティを介してメッセージを受信する。いくつかの実施形態では、車両202又は外部物体206は、100ミリ秒等の既定の間隔に基づいて周期的に1つ以上の自動車両間メッセージを送信する。
車両202は、アクセスポイント218を介して電子通信ネットワーク212と通信してもよい。コンピュータ装置を含み得るアクセスポイント218は、無線又は有線通信リンク214/220を介して、車両202と、電子通信ネットワーク212と、オペレーションセンタ230と、又はこれらの組み合わせと通信するように構成される。例えば、アクセスポイント218は、基地局、BTS(base transceiver station)、Node-B、eNode-B(enhanced Node-B)、HNode-B(Home Node-B)、無線ルータ、有線ルータ、ハブ、リレー、スイッチ、又は任意の類似の有線若しくは無線装置である。単一の装置として示されているが、アクセスポイントは、任意の数の相互接続要素を含み得る。
車両202は衛星222又は他の非陸上通信装置を介して電子通信ネットワーク212と通信してもよい。コンピュータ装置を含み得る衛星222は、1つ以上の通信リンク216/234を介して、車両202と、電子通信ネットワーク212と、操作センタ230と、又はこれらの組み合わせと通信するように構成されてもよい。単一の装置として示されているが、衛星は、任意の数の相互接続要素を含み得る。
電子通信ネットワーク212は、音声、データ、又は任意の他のタイプの電子通信装置を提供するように構成される任意のタイプのネットワークであってもよい。例えば、電子通信ネットワーク212は、ローカル領域ネットワーク(LAN)、ワイド領域ネットワーク(WAN)、仮想プライベートネットワーク(VPN)、モバイル若しくはセルラ電話ネットワーク、インターネット、又は任意の他の電子通信システムを含む。電子通信ネットワーク212は、トランスミッション・コントロール・プロトコル(TCP)、ユーザ・データグラム・プロトコル(UDP)、インターネット・プロトコル(IP)、リアルタイム・トランスポート・プロトコル(RTP)、ハイパー・テキスト・トランスポート・プロトコル(HTTP)、又はこれらの組み合わせ等の通信プロトコルを使用してもよい。単一の装置として示されているが、電子通信ネットワークは、任意の数の相互接続要素を含み得る。
車両202は、電子通信ネットワーク212、アクセスポイント218、又は衛星222を介してオペレーションセンタ230と通信し得る。オペレーションセンタ230は、車両202等の車両からのデータ、外部物体206を含む外部物体からのデータ、又は車両交通及び通信システム200内の任意のコンピュータ装置からのデータを交換(送信又は受信)し得る1つ以上のコンピュータ装置を含んでもよい。
いくつかの実施形態では、車両202は、交通ネットワーク208の一部又は状態を識別する。例えば、車両202は、速度センサ、車輪速度センサ、カメラ、ジャイロスコープ、光学センサ、レーザセンサ、レーダセンサ、音響センサ、又は交通ネットワーク208の一部若しくは状態を決定若しくは識別することが可能な任意の他のセンサ若しくは装置又はこれらの組み合わせを含む図1に示されたセンサ126等の1つ以上の車載センサ204を含んでもよい。
車両202は、交通ネットワーク208を表す情報、1つ以上の車載センサ204、又はこれらの組み合わせ等の電子通信ネットワーク212を介して伝達される情報を使用して、交通ネットワーク208の1つ以上の部分を横断してもよい。外部物体206は、車両202に関して先に記載された通信及びアクションの全て又は一部の能力を有してもよい。
簡潔のため、図2は、ホスト車両としての車両202、外部物体206、交通ネットワーク208、電子通信ネットワーク212、及び操作センタ230を示している。しかしながら、任意の数の車両、ネットワーク又はコンピュータ装置が使用されてもよい。いくつかの実施形態では、車両交通及び通信システム200は、図2に示されていない装置、ユニット又は要素を含む。
電子通信ネットワーク212を介してオペレーションセンタ230と通信する車両202が示されているが、車両202(及び外部物体206)は、任意の数の直接又は間接通信リンクを介してオペレーションセンタ230と通信してもよい。例えば、車両202又は外部物体206は、ブルートゥース(登録商標)通信リンク等の直接通信リンクを介してオペレーションセンタ230と通信してもよい。簡潔のため、図2は1つの交通ネットワーク208及び1つの電子通信ネットワーク212を示しているが、任意の数のネットワーク又は通信装置が使用されてもよい。
外部物体206は、図2に第2の遠隔車両として示されている。外部物体は、他の車両に限定されない。外部物体は、オペレーションセンタ230にデータを送信する能力を有する別の物体又は任意のインフラストラクチャ要素、例えば、フェンス、標識、建物等であってもよい。オペレーションセンタ230に通信されるデータは、例えば、インフラストラクチャ要素からのセンサデータであってもよい。
図3は、本明細書の教示の実装による、交通ネットワークを移動するためのシステム300の図である。図3は、システム300の構成要素の一例を示すが、以下に示すように他の構成要素も可能である。図示のシステム300は、遠隔支援300A及びAV300Bを含む。遠隔支援300Aは、一例では、オペレーションセンタ230によって実装され得る。AV300Bは、AV100又はAV202等の任意の自律又は半自律車両によって実装されてもよい。遠隔支援300Aは、AV300Bにルート援助を提供してもよい。
システム300は、通信装置及びプロセッサを含む。システム300は、複数の通信装置、複数のプロセッサ、又はその両方を含んでもよい。例えば、システム300の遠隔支援300Aは、プロセッサ又は図2に示されたコントローラ装置232等の他のコンピュータ装置を含んでもよい。遠隔支援300Aは、プロセッサに接続され、例えば電子通信ネットワーク212を介して車両交通及び通信システム200の要素と通信することができる任意の有線又は無線通信装置を含んでもよい。例えば、遠隔支援300Aは、図1に関して上述したプロセッサ120等のプロセッサと、図1に関して上述した電子通信ユニット118等の通信装置とを含んでもよい。
システム300の遠隔支援300Aは、遠隔支援表示302、ヒューマンマシンインターフェース304、及び仮想AVシミュレータ306を含み、これらは、通信装置及びプロセッサによって実装されてもよい。プロセッサは、表示302を生成することを含む方法を実行してもよい。表示302は、図2に関して説明した交通ネットワーク208等の交通ネットワークを介してAVのルート援助を行うための開始位置に関する地理的領域を含む。また、表示302は、開始位置における仮想車両を含む。以下にさらに詳細に説明するように、表示302は、AVから画像を受信し、画像から導出される物体及び走行可能領域を表示302に含めることによって生成されてもよい。遠隔支援300Aは、AVのために、交通ネットワークを介してルート援助の要求を受信することによってアクティブ化(すなわち、開始、始動)され得る。
要求は、通信装置によって、例えば、AV又はAVのオペレータ又は乗客から受信されてもよい。要求には、開始位置が含まれてもよい。あるいは、開始位置は、要求が受信された時点又はその直後に(例えば、AVからのデータの次のサンプリング間隔で)、AVの現在位置としてAVから検索され得る。要求には、選択的に、ルート援助の終了位置が含まれてもよい。終了位置は、代替的に、又は追加的に、ルート援助の間等、通信装置によって受信される別のメッセージ、信号、又は通信によって識別されてもよい。終了位置は、遠隔支援300Aによって決定されてもよい。例えば、要求は、交通ネットワーク208のマッピングされていない部分を通るルート援助の要求を含んでもよく、マッピングされていない部分が交通ネットワーク208のマッピングされた部分に隣接する(例えば、入る)場所(すなわち、開始位置)を含んでもよい。終了位置は、マッピングされていない部分に隣接する(例えば、出る)交通ネットワーク208の別のマッピングされた部分として遠隔支援300Aによって決定され得る。
この方法は、仮想車両を用いてルート援助のための仮想経路を形成することも含んでもよい。仮想経路の形成については、仮想車両を用いた仮想経路の形成をシミュレートする図4A-図4Fを参照してさらに詳細に説明され得る。
図4Aにおいて、仮想車両402は、開始位置400にある(図4D及び図4Eに最もよく示されている)。この例では、AV404は、開始位置400において仮想車両402と同じ位置にあるが、AV404は表示から省略されてもよい。AV404が表示されているか否かに関わらず、仮想車両402は、開始位置400においてAV404と同じ姿勢であることが望ましい。左境界及び右境界は、仮想車両402の左右の側部に沿って横方向に延びている。左境界及び右境界は、AV404の左側及び右側から定義された距離であってもよい。定義された距離は、可能性のある外部物体からのAV404の所望のクリアランスに基づいてもよい。例えば、駐車している車両のドアが開くことがある。車のドアの最大サイズは約1メートルであるので、仮想車両402と左右の境界の各々との間の定義された距離は1メートルであってもよい。定義された距離は、ドライバ又はオペレータの間隔の許容値に基づいてもよい。定義された距離は、例えば、外部物体の存在を考慮するように変化してもよい。例えば、定義された距離は、外部物体が表示302内に存在しない場合に第1の値であってもよく、外部物体が表示302内に存在する場合に第1の値よりも小さい第2の値であってもよい。左境界及び右境界は、仮想車両402、したがってAV404から異なる距離だけ離れていてもよい(例えば、AV404の一方の側には外部物体が存在するが、他方の側には存在しない場合、又はAV404の反対側には2つの異なる外部物体が存在し、その結果、2つの異なる定義された距離が生じる場合)。
複数の左境界及び複数の右境界が使用されてもよい。図4A-図4Fの例に示されるように、左境界及び右境界は、内側左境界406A及び内側右境界406Bと、外側左境界408A及び外側右境界408Bとを含む。内側の左右の境界406A、406Bは、AV404からの第1の距離にあり、外側の左右の境界408A、408Bは、AV404からの第1の距離よりも大きい第2の距離にある。第1の距離及び第2の距離は、上記の可能な定義された距離のうちの1つ以上に適合してもよい。例えば、第1の距離は運転者又はオペレータの間隔の許容値(例えば、運転者又はオペレータが近くの外部物体を通過する際の快適レベル)に基づいてもよく、第2の距離は車のドアの最大サイズに基づいている。このようにして、例えば、内側の左右の境界406A、408Aは、ソフト境界を画定してもよく、外側の左右の境界406B、408Bは、ハード境界を画定してもよい。ハード境界とは、後述するルート412がハード境界を横切ろうとする場合、他の物体と衝突する可能性があるようなものである。一方で、ソフト境界とは、ルート412がソフト境界を横切ろうとする場合、結果として生じるAVの動きが違法でありかつ/又は不快であり得るが、衝突の可能性は低いようなものである。
仮想経路410の第1の部分は、AV404の開始位置400から仮想車両402を前進させることによって得られる。これは、図4B-図4Dを参照することによって理解され得る。図4Bにおいて、仮想車両402は、開始位置400から前進する。このとき、AV404は開始位置400に留まっていてもよい。仮想車両402は、図4Cに示されるようにさらに前進し、仮想経路410の第1部分の長さを延長し、開始位置400にあるときのAV404からより離間される。仮想経路410の第1の部分は、仮想車両402を前進させながら、仮想車両402が取った経路を記録することによって得られてもよい。その記録は、定義された間隔で実行されてもよい。経路の記録には、各地点の位置に加えて、仮想車両402の姿勢を記録することが含まれてもよい。
仮想経路410の第2の部分は、仮想車両402が開始位置400から出発した後で、所望のルート援助に従って、AV404が位置している地理的領域を通る仮想車両402から外挿することによって得られる。仮想経路410の第2の部分は、第1の部分の端部からルート援助の停止位置又は終了位置まで延び得る。停止位置は、交差点や別の一時停止等、終了位置に移動するときの一時停止である。場合によっては、第2の部分は、仮想車両402等の仮想車両の姿勢及び速度を考慮して、静止位置(すなわち、停止位置又は終了位置)への(例えば、一定の)減速に基づいてもよい。仮想車両402からの外挿は、仮想車両402の経路を記録するために使用されるのと同じ定義された間隔で実行されて、各外挿の開始が現在のポイントにおける仮想車両402の姿勢となるように、仮想経路410の第1の部分を得てもよい。
ある時点で、図4Dに示されるように、記録された(すなわち、第1の)部分及び外挿された(すなわち、第2の)部分を含む仮想経路は、AV404が辿るのに十分な長さである。仮想経路は、定義された量を満たす(例えば、含む、満足させる、等しい)場合に、十分に長くてもよい。定義された量は、仮想車両が仮想経路に沿って移動するのにかかる時間量、距離、又はこれらの値の組み合わせであってもよい。定義された量は、仮想車両402のシミュレートされた速度、加速及び/又は減速によって変化し得る。例えば、定義された量は高速で減少し、低速で増加する。
仮想車両402を制御するために、遠隔支援300Aは、仮想経路410を定義するユーザからの入力を受信するように構成されるインターフェースを含むシミュレータを含んでもよく、シミュレータは、表示302のような表示を生成するためにプロセッサに仮想経路410に対応する出力を提供する。ユーザは、遠隔支援300Aの場所に位置していてもよい。図3に再び参照すると、インターフェースは、仮想AVシミュレータ306に入力を提供するヒューマンマシンインターフェース304を含んでもよい。ヒューマンマシンインターフェース304は、仮想車両402の始動、停止、加速及び減速と同様に、方向変化をシミュレートするための入力信号を提供する構成要素を含んでもよい。例えば、ヒューマンマシンインターフェース304は、仮想車両402の方向を制御するためのハンドル(例として図示される)又はジョイスティックを含んでもよい。ヒューマンマシンインターフェース304は、仮想車両402を始動及び加速するためのアクセルペダルを含んでもよい。ヒューマンマシンインターフェース304は、仮想車両402を減速及び停止させるためのブレーキペダルを含んでもよい。ヒューマンマシンインターフェース304は、クラッチ、ギアシフト等の任意の構成要素を含んでもよい。車両100に関して説明した他の構成要素がヒューマンマシンインターフェース304に組み込まれてもよい。
ヒューマンマシンインターフェース304は、ユーザによる制御に対応する入力信号を、有線又は無線接続を介して仮想AVシミュレータ306に継続的に送信する。入力信号は継続的に送信されてもよい。入力信号は、周期的に、例えば1ミリ秒毎に、又は何らかの他の速度で送信されてもよい。仮想AVシミュレータ306は、ヒューマンマシンインターフェース304を用いて仮想経路410を定義するユーザからの入力を受信する。仮想AVシミュレータ306からの出力は、(例えば、複数の位置ポイントとして)仮想経路410に対応する。遠隔支援300Aは、仮想車両が地理的領域を前進する間、例えば通信装置を介して、仮想経路410に沿ったポイントをAVの軌道プランナに継続的に送信する。再び図3を参照すると、以下にさらに詳細に検討されるように、軌道プランナ308は、仮想AVシミュレータ306からの入力を使用し、仮想経路410に適合するルートをAV404等のAVに対して生成する。ポイントを継続的に送信することは、ポイントを周期的に送信することを含んでもよい。本明細書に記載されるポイント及び他の位置は、GPS座標、3次元(3D)デカルト座標等として識別され得る。
このようにして、表示302等の表示が生成される。図4A-図4Fの例では、表示を生成することは、開始位置400においてAV404の表示を生成すること、及び仮想車両402の表現及びAV404から仮想車両402の現在位置(例えば、記録された仮想車両402データに基づく第1の部分)まで延びかつ仮想車両402から仮想経路410の終端(例えば、現在位置における仮想車両402の姿勢に基づく外挿点に基づく第2の部分)まで延びる仮想経路410を継続的に更新することを含む。表示における仮想車両402の表現は、仮想車両402が地理的領域を前進する間、継続的に更新される。以下に説明されるように、経路に関連するAVからのセンサデータは、遠隔支援300Aにも利用可能であり、これにより、AV404が仮想経路410に対して(例えば、その進行方向に対して)仮想車両402の後方でルートに沿って前進している間、表示302内でAV404の表現が継続的に更新される。
図4A-図4Fには、軌道プランナ308によってAVに対して生成された、仮想経路410に適合するルート412が例示されている。図4E及び図4Fでより明確に分かるように、ルート412は、仮想経路410を用いて計算された軌道から形成される。これは、システム300のAV300Bの説明に関してより詳細に説明される。
再び図3を参照すると、システム300のAV300Bは、軌道プランナ308、軌道フォロワ310、AV知覚及び世界モデル312、車両制御システム314、及び生AVセンサ316を含んでもよく、これらの各々は、少なくとも部分的に通信装置及びプロセッサによって実装されてもよい。プロセッサ120等のプロセッサは、通信装置を介して、交通ネットワークを介してルート援助の要求を送信し得る。遠隔支援300Aに送信される要求は、開始位置を含んでもよく、又は遠隔支援300Aの説明に関して上述したように、その後で開始位置が送信され得る。図3の軌道プランナ308及び軌道フォロワ310は、要求に応じてAV300Bを遠隔で制御又は支援するために、図1に関して上述した軌道コントローラを一緒に実装してもよい。
AV300Bの軌道プランナ308は、交通ネットワークを介してルート援助を行うために、通信装置を介して、仮想経路410等の仮想経路に沿った複数のポイントを継続的に受信し得る。軌道プランナ308は、これらのポイントを用いて、AV300Bに対して仮想経路に適合するルート、例えばルート412を生成することができる。ルートは、AV300Bに関する軌道を含んでもよい。例えば、軌道プランナ308は、次の数秒の軌道を決定する。そのため、次の数秒が次の6秒(すなわち、6秒の先読み時間)である例では、軌道プランナ308は、その既存の(又は現在の)位置から次の6秒におけるAVの軌道及び位置を決定する。図4E及び図4Fの例から分かるように、軌道又はルート412は、AV404等のAV300Bの既存の位置と、仮想車両402等の仮想車両との間の仮想経路に対応する地理的領域又は交通ネットワークの一部に対して生成されてもよい。さらに、軌道又はルート412は、仮想車両402等の仮想車両の既存の位置を越えて延びる地理的領域又は交通ネットワークの一部に対して生成されてもよい。例えば、軌道プランナ308は、仮想経路のポイントを入力として使用して、いくつかの時間間隔(例えば、1/4秒ごと、又は何らかの他の時間間隔)でAVの予測される位置を決定(例えば、予測、計算等)し得る。ルートは、現在知覚されている横方向及び縦方向の制約に基づいて生成される所望の/円滑な軌道を含んでもよい。一例では、軌道プランナ308は、モデル予測制御(MPC)方法を使用して軌道を生成する。
軌道プランナ308は、ルート412を生成するために仮想経路410以外の入力を受信してもよい。例えば、軌道プランナ308は、以下にさらに詳細に説明するように、AV知覚及び世界モデル312から入力を受信してもよい。軌道プランナ308は、どのようにルート412を生成するか、軌道フォロワ310を使用してどのように制御入力を生成するか、又はその両方に関する命令又はルールの形態で入力を受信してもよい。命令又はルールは、通信装置を介して仮想AVシミュレータ306から送信されてもよい。以下に図5A-図7を参照して命令又はルールの例が説明される。
軌道フォロワ310は、仮想経路410(例えば、その第2の部分)が形成されている間、ルート412を辿るようにAV300Bへの制御入力を生成するように構成される。このような状況下で、仮想車両402は、(すなわち、表示302のような表示に示されるような)地理的領域を前進している。制御入力は、車両300Bの車両制御システム314に提供されてもよい。車両制御システム314は、車両300Bの始動、停止、加速、減速及び方向を制御する車両300Bの構成要素、例えば、図1に関して記載されたパワートレイン104の構成要素を含んでもよい。
軌道フォロワ310への入力は、ルート412等の軌道プランナ308からのルートを含む。軌道フォロワ310への入力は、以下にさらに詳細に記載されるように、仮想AVシミュレータ306からの命令又はルール、又はAV知覚及び世界モデル312からの入力を含んでもよい。
車両制御システム314が軌道フォロワ310から制御入力を受信すると、AV300Bは移動を開始し、これは図3の破線矢印によって表される。センサ126等のAVセンサは、移動中のAV300Bの周囲の環境を監視し、これは図3の生AVセンサ316によって表される。生AVセンサデータは、AV知覚及び世界モデル312に信号送信される。
本明細書で実装されるAV知覚及び世界モデル312(世界モデル312とも呼ばれる)は、AV300Bの挙動に関して定義された制約を有する生AVセンサデータを使用して、遠隔支援300Aに入力を提供し、軌道プランナ308においてルートを生成し、軌道フォロワ310においてルートを辿る制御入力を生成するための異なるやり方を含み得る。一例では、世界モデル312は、センサデータを受信し、センサデータに基づいて世界物体を維持し、知覚された物体の将来の挙動を予測する。
世界モデル312は、図1のセンサ126等の生AVセンサ316からセンサデータを受信し、センサデータから物体を決定(例えば、変換、検出等)する。すなわち、例えば、世界モデル312は、受信したセンサデータから道路ユーザ及び他の物体を決定する。例えば、世界モデル312は、光検出及び測距(LiDAR)センサ(すなわち、センサ126の一例)から受信したポイントクラウドを物体に変換することができる。複数のセンサからのセンサデータを融合して、物体を決定する(例えば、その正体を推測する)ことができる。物体の例としては、自転車、歩行者、車両等が含まれる。
世界モデル312は、検出された物体の少なくともいくつかについての追加情報を世界モデル312が計算及び維持することを可能にするセンサ情報を受信し得る。例えば、世界モデル312は、決定された物体の少なくともいくつかの状態を維持し得る。例えば、物体の状態には、ゼロ以上の速度、姿勢、ジオメトリ(幅、高さ、奥行き等)、分類(例えば、自転車、大型トラック、歩行者、道路標識等)、及び位置が含まれ得る。そのため、物体の状態は、離散状態情報(例えば、分類)及び連続状態情報(例えば、姿勢と速度)を含む。
また、世界モデル312は、高精細(HD)地図データのような入力を受信してもよい。HD地図データは、AV300Bが利用可能な高精細(高精度)地図からのデータである。HD地図データは、数センチメートル以内までの車両交通ネットワークに関する正確な情報を含み得る。例えば、HD地図データは、道路車線、道路分割線、信号機、交通標識、速度制限等に関する詳細を含み得る。
その入力を使用して、世界モデル312は、センサ情報を融合し、物体を追跡し、動的物体のうちの少なくともいくつかについて仮説のリストを維持し(例えば、物体Aは直進、右折、又は左折しているかもしれない)、各仮説について予測軌道を作成及び維持し、各仮説の尤度推定を維持してもよい(例えば、物体Aは、物体の姿勢/速度と軌道の姿勢/速度を考慮して、確率90%で直進している)。姿勢は、座標(x、y、z)、ロール角度、ピッチ角度、及び/又はヨー角度によって定義され得る。世界モデル312によって維持される物体は、静的物体、動的物体、又はその両方を含んでもよい。
上述のように、世界モデル312からの入力が軌道プランナ308において使用されて、衝突回避する快適な経路(例えば、過度の加速、過度の減速及び急激な方向変化を回避する軌道、経路等)を(初期状態、所望のアクション、及び予測された軌道を有する少なくともいくつかの追跡される物体を考慮して)生成し得る。例えば、軌道プランナ308は、仮想AVシミュレータ306からの仮想経路のポイント、世界モデル312によって維持される物体(及び対応する状態情報)、及び世界モデル312からの外部物体の予測軌道及び尤度を受信することができる。軌道プランナ308は、受信した情報の少なくとも一部を使用して、ルート412に関して上述した軌道等の軌道を決定し得る。
上述したように、軌道フォロワ310への入力は、ルート412等の軌道プランナ308からのルートを含む。軌道フォロワ310は、AV300Bが正確にルートを辿ることができるようにアクチュエータコマンドを計算する役割を果たす。いくつかの例では、AV300Bが軌道プランナ308によって計算された最も外側の走行可能限界内にAV300Bを維持しながら、最後の瞬間に検出された物体を回避することができるように、世界モデル312は、生AV知覚を直接提供することによって軌道フォロワ310が緊急アクチュエータコマンドを計算するために、軌道フォロワ310と直接協働してもよい。例えば、AV300Bは、自転車が左折するときに、そのルートを使用して自転車を通過していてもよい。軌道フォロワ310からのこの可能性を考慮した代替ルートは、新しい制御入力が決定されるように、この変化を検出するセンサデータによってトリガされてもよい。
AV300Bの世界モデル312は、システム300の(複数の)通信装置を介して、AV300Bの周囲の環境に関するAV300Bからの画像を送信してもよく、これらの画像は、表示302等の表示を生成するために使用される。図5A-図6Eは、このような表示の例を示しており、図5A-図5Fは、遠隔支援用の表示と、外部物体を回避する仮想経路に適合するAV用のルートとを示すスクリーンショットであり、図6A-図6Eは、遠隔支援用の表示と、外部物体に干渉する仮想経路に適合するAV用のルートとを示すスクリーンショットである。
図5A-図6Eの各々において、仮想車両402は、AV404の遠隔支援において使用される仮想経路を形成している。内側左境界406A、外側左境界408A、内側右境界406B、及び外側右境界408Bは、明確にするために、図5A及び図6Aにおいてのみラベル付けされている。
第1に、図5A-図5Fを参照すると、左境界406A、408Aのうちの1つ以上は、右境界406B、408Bのうちの1つ以上と共に、仮想経路410等の仮想経路のトンネルを形成し得る。仮想車両402は、地理的領域を移動するとき、車両502、標識又はパイロン504、樹木及び低木506、及びフェンス508等の外部物体を回避する。AV404のために生成されたルート412等の経路がトンネルに拘束されている場合、AV404が衝突する可能性は低い。AV404が車両502を通過している間に、図5D-図5Fの車両502の前方で外部物体が横切る等の予期しない事象が発生した場合には、世界モデル312からの入力を用いて、軌道プランナ308及び軌道フォロワ310の偶発事象プラニングを利用して安全を確保することができる。
上述したように、遠隔支援300Aの仮想AVシミュレータ306は、システム300の1つ以上の通信装置を介して、ルール又は命令をAV404等のAVに送信してもよい。ルール又は命令は、偶発事象条件を含む遠隔支援下での軌道プランナ308及び軌道フォロワ310の動作を修正し得る。
例えば、軌道フォロワ310において制御入力を生成する場合等、軌道プランナ308においてルート412を生成する場合、又はルート412を辿る場合、404Bの1つ以上のセンサを軽視又は無視するための命令又はルールが送信されてもよい。
軌道制御は、センサデータに基づいている(例えば、依存する)。しかしながら、観測及び/又は予測の不確実性は、センサデータ及び/又はセンサデータの処理に関連付けられ得る。観測又は予測の不確実性は、センサデータ自体、分類の不確実性、仮説(意図)の不確実性、実際の躊躇、遮蔽、不確実性の他の理由、又はそれらの組み合わせによって発生し得る。例えば、センサデータに関して、センサデータは、気象条件、センサの精度、及び/又はセンサの故障によって影響され得る。AV300B又は404のセンサを部分的に使用して生成される、表示302の経時的なユーザ観察の利点を有する遠隔支援300Aを使用して、データが観察と矛盾する1つ以上のセンサを識別し得る。これに対して、いくつかの状況では、センサのデータに誤りがない。しかしながら、特定のセンサは、軌道制御に使用される場合、遠隔支援300Aによって意図されない軌道をもたらすセンサデータを生成し得る。例えば、遠隔支援中に縁石を越えて走行する必要があり、AVがそうすることを妨げるセンサ出力が発生する場合がある。仮想AVシミュレータ306からの命令は、軌道制御(軌道プランナ308、軌道フォロワ310、又はその両方)が決定されたルートの一部に対するその入力を無視することをもたらし得る。センサがエラーであるか否かに関わらず、ルート援助の少なくとも一部についてセンサを無視することが望ましい場合がある。
仮想経路410を使用してルート412を決定するために、仮想AVシミュレータ306からのルール又は命令が使用されてもよい。例えば、ルート412をどのように生成するかに関する命令又はルールは、内側境界406A、406B、又は外側境界408A、408B、又はそれらのいくつかの組み合わせ等の左境界及び右境界から形成されるトンネルにAV300B、404を拘束するルート412を生成するように、軌道プランナ308に要求してもよい。図5A-図5Fから分かるように、ルート412を仮想経路410に適合させることに関するこの拘束は、仮想経路410が車両502、標識又はパイロン504、及び樹木及び低木506等の外部物体と干渉しない場合には問題を生じない。
次に図6A-図6Eを参照すると、ルート412を左右の境界から形成されたトンネルに拘束するこの命令又はルールが、仮想経路410が外部物体と干渉する場合に、外部物体、ここではパイロン602の対処にどのように影響するかが示されている。図6A-図6Cから分かるように、仮想車両402はパイロン602に正面から接近する。したがって、仮想経路はパイロン602に正面から接近する。センサ126の1つであり得るAV404の前方センサは、AV404がトンネル内のルートに沿って前進すると、パイロン602の存在を検出する。AV404の前方から延びる前方センサの範囲604が、説明のために示されている(明確にするために図6Cのみにラベル付けされている)。生AVセンサ316による検出が、軌道プランナ308及び軌道フォロワ310の両方で利用可能な世界モデル312に供給される。
AV404はトンネルに拘束されたままであり、図6Cと図6Bとを比較し、図6Dと図6B及び図6Cとを比較すると分かるように、仮想車両402とAV404との間の間隔は、AV404の軌道制御がルートを辿りながらAV404を減速させるにつれて徐々に大きくなる。図6Dでは、仮想車両402がマップ内のパイロン602を覆うように、仮想車両402とパイロン602とが干渉(接触、衝突等)する。図6Eでは、仮想車両402、すなわち仮想経路はパイロン602を通過し、AV404はトンネルに適合するルートに沿って停止しているため見えなくなっている。
ルール又は命令の一部として、不完全なルート援助(例えば、AVがルート援助の終了位置に到達すること、又はルートを解決すること、又はルートの次のポイントに前進することに失敗したこと)の結果として生じたものが、仮想AVシミュレータ306から送信され得る。例えば、地理的領域を通って仮想車両を前進させている間に、AVが地理的領域内で定義された量だけ仮想車両に遅れを取った場合、又は、地理的領域を通って仮想車両を前進させている間にAVが停止したことに応答して、AVの現在位置は、ルート援助の新たな開始位置として定義されてもよい。その後、仮想車両は、再びルート援助を開始するために、表示内で新しい開始位置に再配置されてもよい。
図7において、この例では車両702である外部物体と干渉する仮想経路704に適合するAV404のための代替ルートを示す図であり、仮想経路に適合するルートの代替例が示されている。仮想経路704は、一部が破線及び一部が実線で示されている。詳細には、AV404と仮想経路704の第1のポイント710との間の仮想経路704のセグメントは破線であり、仮想経路704の第2のポイント712と仮想車両402との間の仮想経路704のセグメントも同様である。第1のポイント710と第2のポイント712との間の仮想経路704のセグメントは、仮想経路704のトンネルを形成する左境界706及び右境界708によって示されている(明確にするためにトンネルの一部のみが示されている)。この例では、ルール又は命令は、AV404が外部物体を回避するためにトンネルの外部を通過することを許可する(すなわち、ルートは、仮想経路704に適合して生成される場合、トンネルに拘束されない)。
図7において、軌道プランナ308によって生成されたルート714は、AV404と仮想経路704の第1のポイント710との間の仮想経路704のセグメントに対してトンネルの境界706,708内に留まる。この例では、軌道フォロワ310は、ルート714がこのセグメントに対して仮想経路704と一致するように、車両制御システム314に対する制御入力を生成する。ルール又は命令は、仮想経路704を形成する間に、仮想車両402が物体、ここでは車両702と干渉したことに応答して、物体を回避するために、軌道プランナ308が、ポイント710で仮想経路704から逸れるか又は逸脱して、ポイント712で仮想経路704に戻るルート714を生成することを許可又は要求する。これらのルールは、AV404の左側又はAV404の右側のいずれの外部物体を通過させるかに関するルールを追加的又は代替的に含んでもよい。
仮想AVシミュレータ306は、干渉物体が検出されたときに仮想経路704から逸れて戻ることによってルート714が仮想経路704に適合することを許容又は要求するためのルール又は命令を軌道プランナ308に提供してもよい。AV404が、(例えば、世界モデル312からの入力を使用して)車両702が仮想経路704のトンネル内にあり、したがってルート714がトンネル内に残っている場合にAV404の軌道と干渉することを検出すると、軌道プランナ308は、どちら側が物体を通過するかの指標として仮想経路704を解釈し得る。
場合によっては、軌道プランナ308は、仮想AVシミュレータ306から得られた仮想経路704の多数のポイントのペアの各々について多数のホモトピーを分析してもよい。ホモトピーは、遠隔支援300Aがない場合にも使用される加速、減速、速度、旋回半径等の制限に対する適合性について分析されてもよい。他の物体を回避しながらこれらの制限を満たすホモトピーが、ルート714に対して選択されてもよい。
図7では、軌道プランナ308が物体を回避するために軌道をどのように計画するかに関わらず、計画された軌道は、第1のポイント710と第2のポイント712との間のルート714の長短破線セグメントによって示され、これは、本明細書においてホモトピーとも呼ばれるホモトピック経路を形成する。軌道フォロワ310は、ルート714に含まれるホモトピーに沿って進むように車両制御システム314への制御入力を生成する。要約すると、軌道プランナ308に提供されるルールを使用して、トンネルから逸脱するが、仮想経路及び任意の干渉物体に関してホモトピックであるルートを生成することができる。
AV404が仮想経路704の第2のポイント712に到達すると(すなわち、車両702を通過した後で)、軌道プランナ308によって生成されたルート714は、第2のポイント712と地理的領域内の仮想車両402の現在位置との間の仮想経路704のセグメントに関するトンネルの境界706,708内に留まる。この例では、軌道フォロワ310は、ルート714がこのセグメントに対して仮想経路704と一致するように、車両制御システム314に対する制御入力を生成する。
本明細書の教示は、高帯域幅通信なしに実質的にリアルタイムで遠隔支援中の軌道制御を可能にする。例えば、軌道フォロワ310は、仮想経路の第2の部分が仮想車両を用いて形成されている間に、AV300Bが実質的にリアルタイムでルートを辿るための制御入力を生成することができる。このリアルタイム制御により、AV300Bは、仮想経路の第2の部分が形成されている間に、仮想車両と実質的に同じ速度(例えば、最高速度25 mph等)でルートを辿ることができる。
本明細書で使用される場合、「運転者」又は「オペレータ」という用語は、同じ意味で使用されてもよい。本明細書で使用される場合、「ブレーキ」又は「減速」という用語は、同じ意味で使用されてもよい。本明細書で使用される場合、「コンピュータ」又は「コンピュータ装置」という用語は、本明細書で開示の任意の方法を実行し得る任意のユニット又はユニットの組み合わせ、又はその任意の部分若しくは複数の部分を含む。
本明細書で使用される場合、「命令」という用語は、本明細書に開示の任意の方法を実行するための指示若しくは表現、又はその任意の部分若しくは複数の部分を含んでもよく、ハードウェア、ソフトウェア又はこれらの任意の組み合わせで実現されてもよい。例えば、命令は、本明細書に記載の各方法、アルゴリズム、態様又はこれらの組み合わせのいずれかを行うためにプロセッサによって実行され得るメモリに記憶されたコンピュータプログラム等の情報として実装されてもよい。いくつかの実装形態では、命令又はその一部は、本明細書に記載の任意の方法、アルゴリズム、態様又はその組み合わせを行うための専用ハードウェアを含み得る専用プロセッサ又は回路として実装されてもよい。いくつかの実装形態では、命令の部分は、直接的に又はローカル領域ネットワーク、ワイド領域ネットワーク、インターネット又はこれらの組み合わせ等のネットワークを介して通信し得る複数の装置又は単一の装置上の複数のプロセッサに分散されてもよい。
本明細書で使用される場合、「例示」、「実施形態」、「実装」、「態様」、「特徴」又は「要素」という用語は、用例、例示又は実例としての役割を果たすことを示している。特に明示されない限り、任意の例示、実施形態、実装、態様、特徴又は要素が、互いの例示、実施形態、実装、態様、特徴又は要素から独立しており、任意の他の例示、実施形態、実装、態様、特徴又は要素と組み合わせて使用されてもよい。
本明細書で使用される場合、「決定」及び「識別」又はこれらの任意の変形の用語は、図示の及び本明細書に記載の1つ以上の装置を使用するいかなるやり方で選択、確認、計算、検索、受信、決定、確立、取得、又は他のやり方で識別又は決定することを含んでいる。
本明細書で使用される場合、「又は」という用語は、排他的な「又は」ではなく包含的な「又は」を意味することが意図されている。すなわち、他に特に定めがない限り、又は特にコンテキストによって明示されない限り、「XがA又はBを含む」は、任意の当然の包含的なそれの並べ替えを示すことが意図されている。XがAを含む、XがBを含む、又はXがA及びBの両方を含む場合、「XがA又はBを含む」は、上記の例示のいずれかによって満たされる。さらに、本願及び添付の請求項の中で使用される“a”及び“an”という冠詞は、一般に、単数形を指していることがコンテキストから明確であるか又は他に特段の定めがない限り、「1つ以上の」を意味すると解釈されるべきである。
さらに、説明の簡潔のため、本明細書の図面及び説明は一連の動作又は段階又はシーケンスを含み得るが、本明細書に開示の方法の要素は、様々な順番で又は同時に起こってもよい。さらに、本明細書に開示の方法の要素は、本明細書に明示的に提示及び開示されていない他の要素と共に起こってもよい。さらに、本明細書に記載の方法の全ての要素が、本開示による方法を実装することを要求されるとは限らない。態様、特徴及び要素は特定の組み合わせで本明細書に記載されているが、各態様、特徴又は要素は、他の態様、特徴及び/又は要素と共に又はそれらなしで独立して又は様々な組み合わせで使用されてもよい。
本開示の技術は、特定の実施形態に関連して説明されてきたが、本開示の技術は、開示された実施形態に限定されるものではなく、逆に、添付の特許請求の範囲に含まれる様々な変更及び同等の構成を包含することを意図しており、その範囲は、全てのそのような変更及び同等の構成を包含するように、法律の下で許容される最も広い解釈に一致されるものである。

Claims (20)

  1. 交通ネットワークを移動するための装置であって、
    通信装置、及び前記通信装置に接続されかつ方法を実行するように構成されるプロセッサ
    を備え、前記方法は、
    前記交通ネットワークを介した自律走行車に対するルート援助のための開始位置に関する地理的領域と、前記開始位置における仮想車両とを含む表示を生成するステップと、
    前記仮想車両を用いて前記ルート援助のための仮想経路を形成するステップであって、
    前記自律走行車が前記開始位置に留まっている間に前記仮想車両を前記開始位置から前進させることによって前記仮想経路の第1の部分を形成すること、及び
    前記仮想車両が前記開始位置から出発した後で、前記ルート援助の停止位置又は終了位置へと前記地理的領域を通る前記仮想車両から外挿することによって前記仮想経路の第2の部分を形成することを含むステップと、
    前記仮想車両が前記地理的領域を前進する間、前記通信装置を介して、前記仮想経路に沿った複数のポイントを前記自律走行車の軌道プランナに継続的に送信するステップであって、前記軌道プランナは、前記仮想経路に適合する前記自律走行車のためのルートを生成するステップと
    を含み、
    前記第2の部分を形成することは、少なくとも部分的に、前記自律走行車が前記仮想車両の進行方向に対して前記仮想車両の後方で前記ルートに沿って前進する間に行われる、装置。
  2. 前記方法は、
    前記自律走行車のために、前記交通ネットワークを介して前記ルート援助の要求を受信するステップであって、前記要求は前記開始位置を含むステップ
    を含む、請求項1に記載の装置。
  3. 前記仮想経路は、トンネルを形成する左境界及び右境界を含み、前記自律走行車のための前記ルートは、前記トンネル内に留まるように拘束される、請求項1に記載の装置。
  4. 前記ルートは、前記仮想経路の2つのポイント間でホモトピックである前記仮想経路からの逸脱を含む、請求項1に記載の装置。
  5. 前記方法は、
    前記通信装置を介して、前記仮想経路を用いてどのようにルートを生成するかに関する命令を前記軌道プランナに送信するステップ
    をさらに含む、請求項1に記載の装置。
  6. 前記方法は、
    前記通信装置を介して、前記ルートを辿るときに前記自律走行車の1つ以上のセンサを無視する命令を前記自律走行車に送信するステップ
    をさらに含む、請求項1に記載の装置。
  7. 前記表示を生成するステップは、
    前記開始位置において前記自律走行車の表現を生成することであって、前記仮想車両は前記開始位置において前記自律走行車と同じ姿勢を有すること、
    前記仮想車両の表現、及び前記自律走行車から前記仮想車両の現在位置まで延びかつ前記仮想車両から前記仮想経路の終端まで延びる前記仮想経路を継続的に更新すること、及び
    前記仮想経路が前記開始位置から定義された距離を有することに応答して、前記自律走行車が前記仮想車両の進行方向に対して前記仮想車両の後方で前記ルートに沿って前進する間、前記自律走行車の表現を継続的に更新すること
    を含む、請求項1に記載の装置。
  8. 前記仮想経路を定義するユーザからの入力を受信するように構成されるインターフェースを含むシミュレータであって、前記表示を生成するために前記仮想経路に対応する出力を前記プロセッサに提供するシミュレータ
    をさらに備える、請求項1に記載の装置。
  9. 前記方法は、
    前記地理的領域を通って前記仮想車両を前進させている間に、前記自律走行車が前記地理的領域内で定義された量だけ前記仮想車両に遅れを取ったことに応答して、前記自律走行車の現在位置を前記ルート援助の新たな開始位置として定義するステップ
    をさらに含む、請求項1に記載の装置。
  10. 前記方法は、
    前記仮想車両が前記地理的領域を前進する間に前記自律走行車が停止したことに応答して、前記自律走行車の現在位置を前記ルート援助の新しい開始位置として定義するステップ
    をさらに含む、請求項1に記載の装置。
  11. 前記表示を生成するステップは、
    前記自律走行車から画像を受信すること、及び
    前記画像から導出される物体及び走行可能領域を前記表示に含めること
    を含む、請求項1に記載の装置。
  12. 交通ネットワークを移動するためのシステムであって、
    通信装置と、
    前記通信装置に接続されかつ方法を実行するように構成されるプロセッサと、
    複数のポイントを用いて仮想経路に適合する自律走行車のためのルートを生成する軌道プランナと、
    仮想車両が地理的領域を前進する間に、前記自律走行車が前記ルートを辿るための制御入力を生成する軌道フォロワと
    を備え、
    前記方法は、
    前記通信装置を介して、前記交通ネットワークを通る前記自律走行車のためのルート援助の要求を送信するステップと、
    前記ルート援助のために前記仮想経路に沿って前記複数のポイントを継続的に受信するステップであって、前記仮想経路は、
    前記ルート援助のための開始位置に関する前記地理的領域及び前記開始位置における前記仮想車両を含む表示を生成すること、及び
    前記仮想車両を用いて前記仮想経路を形成することであって、
    前記自律走行車が前記開始位置に留まっている間に前記仮想車両を前記開始位置から前進させることによって前記仮想経路の第1の部分を形成すること、及び
    前記仮想車両が前記開始位置から出発した後で、前記ルート援助の停止位置又は終了位置へと前記地理的領域を通る前記仮想車両から外挿することによって得られる前記仮想経路の第2の部分を形成することを含むことによって作成されるステップと
    を含み
    前記複数のポイントを継続的に受信することは、前記仮想車両が前記地理的領域を前進する間に、前記通信装置を介して、前記仮想経路に沿った前記複数のポイントを継続的に受信することを含み、
    前記第2の部分を形成することは、少なくとも部分的に、前記自律走行車が前記仮想車両の進行方向に対して前記仮想車両の後方で前記ルートに沿って前進する間に行われる、システム。
  13. 前記方法は、
    前記通信装置を介して、どのように前記ルートを生成するか又はどのように前記制御入力を生成するかの少なくとも1つに関するルールを受信するステップ
    をさらに含む、請求項12に記載のシステム。
  14. 前記仮想経路は、トンネルを形成する左境界及び右境界を含み、
    前記ルールは、前記自律走行車をトンネルに拘束する前記ルートを生成するように前記軌道プランナに要求する、請求項13に記載のシステム。
  15. 前記ルールは、前記自律走行車の少なくとも1つのセンサを無視しながら前記制御入力を生成するように前記軌道フォロワに要求する、請求項13に記載のシステム。
  16. 前記ルールは、前記仮想経路を形成している間に前記仮想車両が物体と干渉することに応答して、前記物体を回避するために、前記仮想経路の2つのポイント間で前記仮想経路の左又は右のいずれかに逸脱する前記ルートを生成するように前記軌道プランナに要求し、前記ルートにおける逸脱は前記仮想経路に対してホモトピックである、請求項13に記載のシステム。
  17. 前記方法は、
    前記通信装置を介して、前記自律走行車から前記自律走行車の周囲の環境に関する画像を送信するステップであって、前記画像は前記表示を生成するために使用されるステップ
    をさらに含む、請求項12に記載のシステム。
  18. 前記軌道フォロワは、前記仮想経路の前記第2の部分が形成されている間に、前記自律走行車が実質的にリアルタイムで前記ルートを辿るための前記制御入力を生成する、請求項12に記載のシステム。
  19. 前記制御入力は、前記仮想経路の前記第2の部分が形成されるのと実質的に同じ速度で前記自律走行車に前記ルートを辿らせる、請求項18に記載のシステム。
  20. 交通ネットワークを移動するための自律走行車であって、
    通信装置と、
    前記通信装置と接続され、軌道プランナ及び軌道フォロワを実装する1つ以上のプロセッサと
    を備え、
    前記軌道プランナは、
    前記通信装置を介して、前記交通ネットワークを通るルート援助のために仮想経路に沿った複数のポイントを継続的に受信すること、及び
    前記複数のポイントを用いて前記仮想経路に適合する前記自律走行車のためのルートを生成することを行うように構成され、
    前記仮想経路は、
    前記ルート援助のための開始位置に関する地理的領域及び前記開始位置における仮想車両を含む表示を生成すること、及び
    前記仮想車両を用いて前記仮想経路を形成することであって、
    前記自律走行車が前記開始位置に留まっている間に前記仮想車両を前記開始位置から前進させることによって前記仮想経路の第1の部分を形成すること、及び
    前記仮想車両が前記開始位置から出発した後で、前記ルート援助の停止位置又は終了位置へと前記地理的領域を通る前記仮想車両から外挿することによって前記仮想経路の第2の部分を形成することを含むことによって作成され
    前記複数のポイントを継続的に受信することは、前記仮想車両が前記地理的領域を前進する間に、前記通信装置を介して、前記仮想経路に沿った前記複数のポイントを継続的に受信することを含み、
    前記軌道フォロワは、前記仮想車両が前記仮想経路の前記第2の部分を形成する間に、前記自律走行車が前記仮想車両の進行方向に対して前記仮想車両の後方で前記ルートに沿って前進するための制御入力を生成するように構成される、自律走行車。
JP2022527942A 2019-11-14 2020-10-15 自律走行車の安全性が確保される遠隔運転 Active JP7194867B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US16/683,685 2019-11-14
US16/683,685 US11274936B2 (en) 2019-11-14 2019-11-14 Safety-assured remote driving for autonomous vehicles
PCT/US2020/055765 WO2021096631A1 (en) 2019-11-14 2020-10-15 Safety-assured remote driving for autonomous vehicles

Publications (2)

Publication Number Publication Date
JP2022550622A JP2022550622A (ja) 2022-12-02
JP7194867B2 true JP7194867B2 (ja) 2022-12-22

Family

ID=75909920

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022527942A Active JP7194867B2 (ja) 2019-11-14 2020-10-15 自律走行車の安全性が確保される遠隔運転

Country Status (6)

Country Link
US (1) US11274936B2 (ja)
EP (1) EP4058864A4 (ja)
JP (1) JP7194867B2 (ja)
CN (1) CN114730188B (ja)
BR (1) BR112022008961A2 (ja)
WO (1) WO2021096631A1 (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11718300B2 (en) * 2019-02-27 2023-08-08 Zf Automotive Germany Gmbh Method and control unit for a system for controlling a motor vehicle
US11753023B2 (en) * 2020-01-19 2023-09-12 Mitsubishi Electric Research Laboratories, Inc. Adaptive control of autonomous or semi-autonomous vehicle
JP7355049B2 (ja) * 2021-03-03 2023-10-03 トヨタ自動車株式会社 車両制御方法、車両制御システム、及び情報処理装置
JP7431779B2 (ja) 2021-07-19 2024-02-15 Lineヤフー株式会社 情報処理装置、情報処理方法、およびプログラム
US20230099791A1 (en) * 2021-09-30 2023-03-30 International Business Machines Corporation Digital twin based binaural audio echolocation
US20230249711A1 (en) * 2022-02-10 2023-08-10 Waymo Llc Methods and Systems for Automatic Problematic Maneuver Detection and Adapted Motion Planning

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017162410A (ja) 2016-03-11 2017-09-14 パナソニックIpマネジメント株式会社 送信装置、受信装置、送信方法、受信方法、通信システム
WO2017187884A1 (ja) 2016-04-28 2017-11-02 住友電気工業株式会社 推奨走行速度提供プログラム、走行支援システム、車両制御装置および自動走行車両

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110026433A (ko) 2008-06-25 2011-03-15 톰톰 인터내셔날 비.브이. 주차시설 찾기를 탐지하는 내비게이션 장치 및 방법
US8094001B2 (en) 2008-12-15 2012-01-10 Delphi Technologies, Inc. Vehicle lane departure warning system and method
US9008890B1 (en) * 2013-03-15 2015-04-14 Google Inc. Augmented trajectories for autonomous vehicles
US9997077B2 (en) 2014-09-04 2018-06-12 Honda Motor Co., Ltd. Vehicle operation assistance
JP5866594B1 (ja) * 2015-07-31 2016-02-17 パナソニックIpマネジメント株式会社 運転支援装置、運転支援システム、運転支援方法、運転支援プログラム及び自動運転車両
US10379533B2 (en) 2016-01-04 2019-08-13 GM Global Technology Operations LLC System and method for autonomous vehicle fleet routing
US10048080B2 (en) * 2016-03-22 2018-08-14 Toyota Motor Engineering & Manufacturing North America, Inc. Autonomous vehicle virtual reality navigation system
CN110192083B (zh) * 2016-11-30 2020-09-08 日产北美公司 对车辆的自主操作进行远程支持的装置和方法
US20180224850A1 (en) * 2017-02-08 2018-08-09 Uber Technologies, Inc. Autonomous vehicle control system implementing teleassistance
CN107719369B (zh) * 2017-09-14 2019-05-10 北京智行者科技有限公司 自动驾驶纵向控制方法、装置及具有其的无人驾驶车辆
US10514697B2 (en) * 2017-09-15 2019-12-24 GM Global Technology Operations LLC Vehicle remote assistance mode
US11014238B2 (en) * 2017-11-27 2021-05-25 Amazon Technologies, Inc. Dynamic navigation of autonomous vehicle with safety infrastructure
US11249474B2 (en) * 2017-12-07 2022-02-15 Phantom Auto Inc. Safety of autonomous vehicles using a virtual augmented support environment
EP3762190A4 (en) * 2018-03-05 2022-01-26 The Regents Of The University Of Colorado HUMAN-ROBOT INTERACTION AUGMENTED REALITY COORDINATION
US20190286151A1 (en) * 2018-03-14 2019-09-19 GM Global Technology Operations LLC Automated driving systems and control logic for cloud-based scenario planning of autonomous vehicles
CN108983818B (zh) * 2018-08-10 2021-05-11 电子科技大学 基于虚拟结构的无人机队形变换方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017162410A (ja) 2016-03-11 2017-09-14 パナソニックIpマネジメント株式会社 送信装置、受信装置、送信方法、受信方法、通信システム
WO2017187884A1 (ja) 2016-04-28 2017-11-02 住友電気工業株式会社 推奨走行速度提供プログラム、走行支援システム、車両制御装置および自動走行車両

Also Published As

Publication number Publication date
EP4058864A1 (en) 2022-09-21
BR112022008961A2 (pt) 2022-08-02
WO2021096631A1 (en) 2021-05-20
CN114730188B (zh) 2023-03-07
US20210148726A1 (en) 2021-05-20
CN114730188A (zh) 2022-07-08
EP4058864A4 (en) 2023-12-27
JP2022550622A (ja) 2022-12-02
US11274936B2 (en) 2022-03-15

Similar Documents

Publication Publication Date Title
JP7401650B2 (ja) 偶発事象対応計画及び安全保障
JP7194755B2 (ja) 軌道計画
CN112368662B (zh) 用于自主运载工具操作管理的定向调整动作
JP7194867B2 (ja) 自律走行車の安全性が確保される遠隔運転
CN110431037B (zh) 包括运用部分可观察马尔可夫决策过程模型示例的自主车辆操作管理
CN110325928B (zh) 自主车辆运行管理
CN110603497B (zh) 自主车辆操作管理控制的自主车辆和方法
JP6540826B2 (ja) 車両道路網の走行に用いられる予測車両情報の生成方法及び装置
CN110418743B (zh) 自主车辆运行管理阻碍监测
EP3759560B1 (en) Transportation network infrastructure for autonomous vehicle decision making
CN112868031B (zh) 具有视觉显著性感知控制的自主运载工具操作管理
US10935973B2 (en) Generation of solution data for autonomous vehicles to negotiate problem situations
WO2019089015A1 (en) Autonomous vehicle operation with explicit occlusion reasoning
JP7462837B2 (ja) 低信頼度の物体検出条件における車両動作のための注釈及びマッピング
US20220379923A1 (en) Road User Categorization Through Monitoring
US20220379910A1 (en) Real-time Map and Prediction Diagnostics
US20240140472A1 (en) Data Determining Interface for Vehicle Decision-Making

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220711

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220711

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20220711

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20221122

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20221212

R150 Certificate of patent or registration of utility model

Ref document number: 7194867

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150