JP6732129B2 - 問題の状況に対処するための自律走行車の遠隔操作 - Google Patents

問題の状況に対処するための自律走行車の遠隔操作 Download PDF

Info

Publication number
JP6732129B2
JP6732129B2 JP2019528627A JP2019528627A JP6732129B2 JP 6732129 B2 JP6732129 B2 JP 6732129B2 JP 2019528627 A JP2019528627 A JP 2019528627A JP 2019528627 A JP2019528627 A JP 2019528627A JP 6732129 B2 JP6732129 B2 JP 6732129B2
Authority
JP
Japan
Prior art keywords
vehicle
vehicles
remote
data
support
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019528627A
Other languages
English (en)
Other versions
JP2019537155A (ja
Inventor
リアム ペダーセン、
リアム ペダーセン、
マールテン シーアハイス、
マールテン シーアハイス、
ハンス ウッツ、
ハンス ウッツ、
マウロ デラ ペンナ、
マウロ デラ ペンナ、
テレンス フォング、
テレンス フォング、
マーク アラン、
マーク アラン、
マリア ブアラット、
マリア ブアラット、
エリック シェーファー、
エリック シェーファー、
Original Assignee
ニッサン ノース アメリカ,インク
ニッサン ノース アメリカ,インク
ザ・ユナイテッド・ステイツ・オブ・アメリカ・アズ・リプレゼンテッド・バイ・ジ・アドミニストレーター・オブ・ザ・ナショナル・エアロノーティクス・アンド・スペース・アドミニストレーション
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ニッサン ノース アメリカ,インク, ニッサン ノース アメリカ,インク, ザ・ユナイテッド・ステイツ・オブ・アメリカ・アズ・リプレゼンテッド・バイ・ジ・アドミニストレーター・オブ・ザ・ナショナル・エアロノーティクス・アンド・スペース・アドミニストレーション filed Critical ニッサン ノース アメリカ,インク
Publication of JP2019537155A publication Critical patent/JP2019537155A/ja
Application granted granted Critical
Publication of JP6732129B2 publication Critical patent/JP6732129B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0287Control of position or course in two dimensions specially adapted to land vehicles involving a plurality of land vehicles, e.g. fleet or convoy travelling
    • G05D1/0291Fleet control
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0011Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement
    • G05D1/0027Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement involving a plurality of vehicles, e.g. fleet or convoy travelling
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0011Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement
    • G05D1/0038Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement by providing the operator with simple or augmented images from one or more cameras located onboard the vehicle, e.g. tele-operation
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0276Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0287Control of position or course in two dimensions specially adapted to land vehicles involving a plurality of land vehicles, e.g. fleet or convoy travelling
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0287Control of position or course in two dimensions specially adapted to land vehicles involving a plurality of land vehicles, e.g. fleet or convoy travelling
    • G05D1/0291Fleet control
    • G05D1/0297Fleet control by controlling means in a control room
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00Administration; Management
    • G06Q10/06Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063Operations research, analysis or management
    • G06Q10/0631Resource planning, allocation, distributing or scheduling for enterprises or organisations
    • G06Q10/06313Resource planning in a project environment
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/40Business processes related to the transportation industry

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Traffic Control Systems (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
  • Mobile Radio Communication Systems (AREA)

Description

本願は、自律走行車の遠隔監視及び遠隔操作のための方法、装置、システム及び非一時的なコンピュータ可読媒体を含む、自律走行車を監視するための車両インターフェースに関する。
自律走行車の使用の増加によって、交通ネットワークを介して乗客及び積荷をより効率的に移動できる可能性が生み出される。さらに、自律走行車の使用は、車両安全性の改善及び車両間のより効率的な通信をもたらし得る。しかしながら、自律走行車が個別に効果的である状況であっても、自律走行車のグループ間の相互作用は、自律走行車プログラミングのパラメータを超えたときに予期しない混乱を引き起こす。自律走行車の数が所定の閾値を超えると、人間の監視を使用して一対一方式で自律走行車を監視することが非効率的になる。そのため、自律走行車を監視する従来のやり方では、自律走行車の状態の監視を効率的に管理することができない。
本明細書には、車両の自律操作の遠隔サポートのための態様、特徴、要素、及び実装が開示されている。
本開示の実装の1つの態様は、複数の車両の自律操作の遠隔サポートのためのシステムを含み、このシステムは、第1の車両を含む複数の車両から状態データを受信し、複数の車両に命令データを送信する通信システムと、複数の車両からの状態データを表示する複数の第1のレベルの制御局であって、第1の車両の自律操作が定義パラメータ値の範囲外で動作していることを示す状態データの変化に応答して、通信システムを介して第1の車両に命令データを送信する第1の制御局を含む複数の第1のレベルの制御局と、複数の第1のレベルの制御局の間で複数の車両に対する責任を割り当てる複数の第1のレベルの制御局に関連付けられる第2のレベルの制御局とを備える。
本開示の実装の1つの態様は、複数の車両の自律操作の遠隔サポートを提供するための方法を含み、この方法は、遠隔車両サポート装置によって、複数の車両に関する状態データを受信するステップであって、状態データは複数の車両の現在の状態を含むステップと、遠隔車両サポート装置によって、状態データに基づいて遠隔車両サポートキューに複数の車両を割り当てるステップと、遠隔車両サポート装置によって、複数の車両の中の1つの車両が遠隔サポートを要求していることの指示を受信するステップと、車両の自律操作が定義パラメータ値の範囲外で動作していることを状態データの変化が示すことの決定に応答して、遠隔車両サポート装置によって、車両に命令データを送信するステップであって、命令データは車両の自律操作を修正するステップとを含む。
本開示の実装の1つの態様は、遠隔サポートのための方法を含み、この方法は、遠隔車両サポート装置によって、複数の車両の状態データに基づいて、複数の車両をランク付けするステップと、遠隔車両サポート装置によって、ランク付けに従って配置される複数の指示部を含む表示を生成するステップであって、複数の指示部の中の各指示部は、複数の車両の中の各々の状態データを表し、複数の車両の中の各々は、ランク付けに基づいて各遠隔車両サポートキューに割り当てられ、各遠隔車両サポートキューは、割り当てられた複数の車両の各指示部を使用して遠隔サポートを提供するように構成されるステップと、複数の車両の中の第1の車両の自律操作が定義パラメータ値の範囲外で動作していることを状態データの変化が示すことの決定に応答して、命令データを第1の車両に送信するために第1の車両を表す複数の指示部の中の第1の指示部と相互作用するステップとを含む。
本開示のこうした特徴及びその他の特徴は、以下の実施形態の詳細な説明、添付の請求項及び添付の図面に開示されている。
本開示の技術は、添付の図面と併せて読むと、以下の詳細な説明から最良に理解される。慣行により、図面の様々な特徴は正確な縮尺ではないことが強調される。対照的に、様々な特徴の寸法は、明確のため任意に拡大又は縮小されている。
本明細書に開示の態様、特徴及び要素が実装され得る車両の一部の例示の図面である。
本明細書に開示の態様、特徴及び要素が実装され得る車両交通及び通信システムの一部の例示の図面である。
本開示による遠隔車両支援センタを示すブロック図である。 本開示によるインターフェースで使用される車両指示部の例を示す図である。
本開示による車隊マネージャインターフェースの例を示す図である。
本開示によるインターフェースで使用される車両指示部の例を示す図である。
本開示による車両マネージャインターフェースの例を示す図である。
本開示による車両マネージャインターフェースの例を示す図である。
本開示による車両マネージャインターフェースの例を示す図である。
本開示による車両マネージャインターフェースの例を示す図である。
本開示による遠隔サポートに関する技術のフローチャートである。
本開示による自律走行車の遠隔サポートに関する技術のフローチャートである。
本開示による自律走行車の遠隔サポートに関する技術のフローチャートである。
本開示による自律走行車の遠隔サポートに関する技術のフローチャートである。
本開示による複数の車両の自律操作の遠隔サポートを提供するための方法のフローチャートである。
大量の自律走行車の監視及び操作には、少数の車両又は自律操作されない車両の監視及び操作についての困難とは異なる困難が存在する。車両の数に関しては、少数の車両はそれに対応する少数の個人によって管理することができる。車両の数が少ない場合、多くの場合、車両が互いに不利に相互作用する(例えば、交通渋滞を起こす)可能性は低い。さらに、少数の車両をグループとして管理することは、非常に大きなグループの車両を管理することに比べて、車両の交通流量の効率にもたらす利益が少ない傾向がある。監視される車両の自律態様に関して、非自律走行車の監視及び操作は、人間のオペレータによる1つ以上の車両の直接制御(例えば、遠隔操作)を含むことがあまりない。そのため、非自律走行車のオペレータに提示される制御オプションは少ない。
本開示及び開示された技術は、多くの車両マネージャによって監視されている自律走行車の全車隊、及び車隊マネージャによって及びデータ分析に基づいて監視するために自律走行車が割り振られ又は割り当てられる車両マネージャ自体を監視する責任を負う、車隊マネージャに対するカスタマイズされたインターフェースを含む重層的なやり方を利用することで、自律走行車を含む車両の監視及び操作に関するより効率的なインターフェースを提供する。さらに、開示された技術は、緊急性のレベル又は共有の特徴等の様々な基準に基づいて自律走行車をグループ化するためのやり方を提供する。このようにして、車両の監視及び操作管理はより効率的に分散され、より効率的な交通ネットワークを可能にする。
本明細書で使用される場合、「運転者」又は「オペレータ」という用語は、同じ意味で使用されてもよい。本明細書で使用される場合、「ブレーキ」又は「減速」という用語は、同じ意味で使用されてもよい。本明細書で使用される場合、「コンピュータ」又は「コンピュータデバイス」という用語は、本明細書で開示の任意の方法を実行することができる任意のユニット又はユニットの組み合わせ、又はその任意の部分若しくは複数の部分を含む。
本明細書で使用される場合、「プロセッサ」という用語は、1つ以上の専用プロセッサ、1つ以上のデジタル信号プロセッサ、1つ以上のマイクロプロセッサ、1つ以上のコントローラ、1つ以上のマイクロコントローラ、1つ以上のアプリケーションプロセッサ、1つ以上の特定用途向け集積回路、1つ以上の特定用途向け汎用集積回路、1つ以上のフィールド・プログラマブル・ゲート・アレイ、任意の他のタイプ又は組み合わせの集積回路、1つ以上の状態機械、又はこれらの任意の組み合わせ等の1つ以上のプロセッサを示す。
本明細書で使用される場合、「メモリ」という用語は、任意のプロセッサによって使用され得る又はそれと関連している任意の信号又は情報を有形に保持、記憶、通信、又は搬送することができる任意のコンピュータ使用可能又はコンピュータ可読媒体又はデバイスを示す。例えば、メモリは、1つ以上の読み取り専用メモリ(ROM)、1つ以上のランダムアクセスメモリ(RAM)、1つ以上のレジスタ、低電力DDR(LPDDR)メモリ、1つ以上のキャッシュメモリ、1つ以上の半導体メモリデバイス、1つ以上の磁気媒体、1つ以上の光学媒体、1つ以上の磁気光学媒体、又はこれらの任意の組み合わせであってもよい。
本明細書で使用される場合、「命令」という用語は、本明細書に開示の任意の方法を実行するための指示若しくは表現、又はその任意の部分若しくは複数の部分を含んでもよく、ハードウェア、ソフトウェア又はこれらの任意の組み合わせで実現されてもよい。例えば、命令は、本明細書に記載の各方法、アルゴリズム、態様又はこれらの組み合わせのいずれかを行うためにプロセッサによって実行され得るメモリに記憶されたコンピュータプログラム等の情報として実装されてもよい。いくつかの実装では、命令又はその一部は、本明細書に記載の任意の方法、アルゴリズム、態様又はその組み合わせを行うための専用ハードウェアを含み得る専用プロセッサ又は回路として実装されてもよい。いくつかの実装では、命令の部分は、直接的に又はローカルエリアネットワーク、ワイドエリアネットワーク、インターネット又はこれらの組み合わせ等のネットワークを介して通信し得る複数のデバイス又は単一のデバイス上の複数のプロセッサに分散されてもよい。
本明細書で使用される場合、「例示」、「実施形態」、「実装」、「態様」、「特徴」又は「要素」という用語は、用例、例示又は実例としての役割を果たすことを示している。明示されない限り、任意の例示、実施形態、実装、態様、特徴又は要素が、互いの例示、実施形態、実装、態様、特徴又は要素から独立しており、任意の他の例示、実施形態、実装、態様、特徴又は要素と組み合わせて使用されてもよい。
本明細書で使用される場合、「決定」及び「識別」又はこれらの任意の変形の用語は、図示の及び本明細書に記載の1つ以上のデバイスを使用するいかなるやり方で選択、確認、計算、検索、受信、決定、確立、取得、又は他のやり方で識別又は決定することを含んでいる。
本明細書で使用される場合、「又は」という用語は、排他的な「又は」ではなく包含的な「又は」を意味することが意図されている。すなわち、他に特に定めがない限り、又は文脈から明確であれば、「XがA又はBを含む」は、任意の当然の包含的な並べ替えを示すことが意図されている。XがAを含む、XがBを含む、又はXがA及びBの両方を含む場合、「XがA又はBを含む」は、上記の例示のいずれかによって満たされる。さらに、本願及び添付の請求項の中で使用される“a”及び“an”という冠詞は、一般に、単数形を指していることが文脈から明確であるか又は他に特段の定めがない限り、「1つ以上の」を意味すると解釈されるべきである。
さらに、説明の簡潔のため、本明細書の図面及び説明は一連のステップ又は段階又はシーケンスを含み得るが、本明細書に開示の方法の要素は、様々な順番で又は同時に起こってもよい。さらに、本明細書に開示の方法の要素は、本明細書に明示的に提示及び開示されていない他の要素と共に起こってもよい。さらに、本明細書に記載の方法の全ての要素が、本開示による方法を実装することを要求されるとは限らない。態様、特徴及び要素は特定の組み合わせで本明細書に記載されているが、各態様、特徴又は要素は、他の態様、特徴及び要素と共に又はそれらなしで独立して又は様々な組み合わせで使用されてもよい。
本開示の実装は、特に、コンピュータネットワーク及び自律走行車の管理を、例えば、自律走行車を遠隔監視及び遠隔操作するためのコンピュータネットワークの拡張に関して、技術的に改善する。自律走行車のネットワークリソースを監視して、例えば、システム又は車両の障害を識別しかつ管理又は注意の必要性及び監視デバイスと車両との間の命令又は情報の伝達を示すための新しいやり方の開発は、基本的には自律走行車関連のコンピュータネットワークに関する。
本開示の実装は、複数の車両の自律操作の遠隔サポートのためのシステム及び方法を少なくとも提供する。システムは、複数の車両から状態データを受信して、受信した状態データに基づいて複数の車両に命令データを送信する通信システムを含む。複数の車両の各々は状態データを含む。システムは、各々が複数の車両からの状態データを表示する複数の第1のレベルの制御局(例えば、車両マネージャ)を含む。複数の車両の少なくとも1つの自律操作が定義パラメータ値から外れて動作している(例えば、配達車両が指定到着時間に対して遅れている)ことを複数の車両の少なくとも1つの状態データの変化が示していることを決定することに応答して、複数の車両の少なくとも1つを監視するために割り当てられている第1のレベルの制御局は、通信システムを介して複数の車両の少なくとも1つに特定の命令データを送信する。システムは、複数の第1のレベルの制御局の中で車両に対する責任を割り当てる第1のレベルの制御局に関連付けられる第2のレベルの制御局(例えば、車隊マネージャ)をさらに含む。責任の割り当ては、複数の第1のレベルの制御局間で作業負荷の均衡を取ること、又は第1のレベルの制御局の機能及び監視能力を最適化することを可能にする。
“OBJECT MANAGEMENT DISPLAY”と題され、2017年3月20日に出願された米国特許出願第15/463,242号は、全体が参照により本明細書に組み込まれる。
いくつかの実装をより詳細に記載するために、以下の図面が参照される。
図1は、本明細書に開示の態様、特徴及び要素が実装され得る車両1000の一例の図面である。車両1000は、シャーシ1100、パワートレイン1200、コントローラ1300、車輪1400/1410/1420/1430、又は車両の任意の他の要素又は要素の組み合わせを含む。簡潔のため車両1000は4つの車輪1400/1410/1420/1430を含むように示されているが、プロペラ又はトレッド等の1つ又は複数の任意の他の推進デバイスが使用されてもよい。図1において、パワートレイン1200、コントローラ1300及び車輪1400/1410/1420/1430等の要素を相互接続する線は、データ又は制御信号等の情報、電力又はトルク等の力、又は情報及び電力の両方が各要素間で伝達され得ることを示している。例えば、コントローラ1300は、パワートレイン1200から電力を受信して、パワートレイン1200、車輪1400/1410/1420/1430、又は両方と通信して、車両1000を制御してもよい。これは、車両1000を加速、減速、操縦又は他のやり方で制御することを含み得る。
パワートレイン1200は、電源1210、トランスミッション1220、ステアリング装置1230、車両アクチュエータ1240、又はサスペンション、駆動シャフト、アクセル若しくは排気システム等のパワートレインの任意の他の要素又は要素の組み合わせを含む。別々に示されているが、車輪1400/1410/1420/1430は、パワートレイン1200に含まれてもよい。
電源1210は、電気エネルギ、熱エネルギ又は運動エネルギ等のエネルギを提供するように動作する任意のデバイス又はデバイスの組み合わせであってもよい。例えば、電源1210は、内燃エンジン、電気モータ又は内燃エンジン及び電気モータの組み合わせ等のエンジンを含み、車輪1400/1410/1420/1430の1つ以上に原動力として運動エネルギを提供するように動作する。いくつかの実施形態では、電源1210は、ニッケルカドミウム(NiCd)、ニッケル亜鉛(NiZn)、ニッケル水素(NiMH)、リチウムイオン(Li−ion)等の1つ以上の乾電池、太陽電池、燃料電池、又はエネルギを提供することが可能な任意の他のデバイス等のポテンシャルエネルギ装置を含む。
トランスミッション1220は、電源1210から運動エネルギ等のエネルギを受信して、原動力を提供するために車輪1400/1410/1420/1430にエネルギを送る。トランスミッション1220は、コントローラ1300、車両アクチュエータ1240又は両方によって制御されてもよい。ステアリング装置1230は、コントローラ1300、車両アクチュエータ1240又は両方によって制御され、車両を操縦するために車輪1400/1410/1420/1430を制御する。車両アクチュエータ1240は、コントローラ1300から信号を受信してもよく、車両1000を動作させるために電源1210、トランスミッション1220、ステアリング装置1230又はこれらの任意の組み合わせを作動又は制御してもよい。
いくつかの実施形態では、コントローラ1300は、位置決め装置1310、電子通信装置1320、プロセッサ1330、メモリ1340、ユーザインターフェース1350、センサ1360、電子通信インターフェース1370又はこれらの任意の組み合わせを含む。単一の装置として示されているが、コントローラ1300の任意の1つ以上の要素が任意の数の分離した物理装置に組み込まれてもよい。例えば、ユーザインターフェース1350及びプロセッサ1330は、第1の物理装置に組み込まれてもよく、メモリ1340は、第2の物理装置に組み込まれてもよい。図1には示されていないが、コントローラ1300は、バッテリ等の電源1210を含んでもよい。別個の要素として示されているが、位置決め装置1310、電子通信装置1320、プロセッサ1330、メモリ1340、ユーザインターフェース1350、センサ1360、電子通信インターフェース1370、又はこれらの任意の組み合わせは、1つ以上の電子装置、回路又はチップに組み込まれ得る。
いくつかの実施形態では、プロセッサ1330は、光プロセッサ、量子プロセッサ、分子プロセッサ又はこれらの組み合わせを含む現存する又は今後開発される信号又は他の情報を操作又は処理することが可能な任意のデバイス又はデバイスの組み合わせを含む。例えば、プロセッサ1330は、1つ以上の専用プロセッサ、1つ以上のデジタル信号プロセッサ、1つ以上のマイクロプロセッサ、1つ以上のコントローラ、1つ以上のマイクロコントローラ、1つ以上の集積回路、1つ以上の特定用途向け集積回路、1つ以上のフィールド・プログラマブル・ゲート・アレイ、1つ以上のプログラマブル・ロジック・アレイ、1つ以上のプログラマブル・ロジック・コントローラ、1つ以上の状態機械、又はこれらの任意の組み合わせを含んでもよい。プロセッサ1330は、位置決め装置1310、メモリ1340、電子通信インターフェース1370、電子通信装置1320、ユーザインターフェース1350、センサ1360、パワートレイン1200、又はこれらの任意の組み合わせと動作可能に結合されてもよい。例えば、プロセッサは、通信バス1380を介してメモリ1340と動作可能に結合されてもよい。
いくつかの実施形態では、プロセッサ1330は、オペレーションセンタを含む遠隔地から車両1000を操作するために使用され得る遠隔操作のための命令を含む命令を実行するように構成されてもよい。遠隔操作のための命令は、車両1000に記憶される又は交通管理センタ又はクラウド型サーバコンピュータデバイスを含むサーバコンピュータデバイス等の外部ソースから受信されてもよい。
メモリ1340は、プロセッサ1330によって使用される又はそれと接続される、機械可読命令又はそれに関連付けられる任意の情報を、例えば、保持、記憶、伝達又は搬送することが可能な任意の有形の非一時的コンピュータ使用可能又はコンピュータ可読媒体を含んでもよい。メモリ1340は、例えば、1つ以上の半導体ドライブ、1つ以上のメモリカード、1つ以上のリムーバブル媒体、1つ以上の読み取り専用メモリ、1つ以上のランダムアクセスメモリ、ハードディスク、フロッピーディスク、光学ディスクを含む1つ以上のディスク、磁気若しくは光学カード、又は電子情報を記憶するのに適した任意のタイプの非一時的な媒体、又はこれらの任意の組み合わせである。
電子通信インターフェース1370は、図示のような無線アンテナ、有線通信ポート、光学通信ポート、又は有線若しくは無線電子通信媒体1500とインターフェース接続することが可能な任意の他の有線若しくは無線装置であってもよい。
電子通信装置1320は、電子通信インターフェース1370等を介して、有線又は無線電子通信媒体1500を介して信号を送信又は受信するように構成されてもよい。図1に明示されていないが、電子通信装置1320は、無線周波数(RF)、紫外線(UV)、可視光、光ファイバ、有線回線、又はこれらの組み合わせ等の任意の有線又は無線通信媒体を介して送信、受信又は両方を行うように構成される。図1は、単一の電子通信装置1320及び単一の電子通信インターフェース1370を示しているが、任意の数の通信装置及び任意の数の通信インターフェースが使用されてもよい。いくつかの実施形態では、電子通信装置1320は、狭域通信(DSRC)装置、無線安全装置(WSU)、IEEE802.11p(WiFi−P)、又はこれらの組み合わせを含み得る。
位置決め装置1310は、限定されないが、車両1000の経度、緯度、高度、進行方向又は速さを含む地理情報を決定してもよい。例えば、位置決め装置は、広域補強システム(Wide Area Augmentation System;WAAS)対応米国海洋電子機器協会(National Marine−Electronics Association;NMEA)装置、無線三角測量装置、又はこれらの組み合わせ等の全地球測位システム(GPS)装置を含む。位置決め装置1310は、例えば、車両1000の現在の向き、2次元又は3次元での車両1000の現在地、車両1000の現在の角度方向、又はこれらの組み合わせを表す情報を取得するために使用され得る。
ユーザインターフェース1350は、仮想キーパッド、物理キーパッド、タッチパッド、ディスプレイ、タッチスクリーン、スピーカ、マイクロホン、ビデオカメラ、センサ、及びプリンタのいずれかを含む、人間がインターフェースとして使用することが可能な任意の装置を含んでもよい。ユーザインターフェース1350は、図示のようにプロセッサ1330と、又はコントローラ1300の任意の他の要素と動作可能に結合されてもよい。単一の装置として示されているが、ユーザインターフェース1350は、1つ以上の物理装置を含み得る。例えば、ユーザインターフェース1350は、人物との音声通信を行うための音声インターフェース、及び人物との視覚及びタッチに基づく通信を行うためのタッチディスプレイを含む。
センサ1360は、車両を制御するために使用され得る情報を提供するように動作し得るセンサの配列等の1つ以上のセンサを含んでもよい。センサ1360は、車両の現在の動作特徴又はその周囲に関する情報を提供することができる。センサ1360は、例えば、速度センサ、加速度センサ、ステアリング角センサ、トラクション関連センサ、ブレーキ関連センサ、又は車両1000の現在の動的状況の何らかの態様に関する情報を報告するように動作可能な任意のセンサ若しくはセンサの組み合わせを含む。
いくつかの実施形態では、センサ1360は、車両1000の周囲の物理環境に関する情報を取得するように動作可能なセンサを含んでもよい。例えば、1つ以上のセンサが、道路形状、及び固定障害物、車両、サイクリスト及び歩行者等の障害物を検出する。いくつかの実施形態では、センサ1360は、既知の又は後に開発される、1つ以上のビデオカメラ、レーザ感知システム、赤外線感知システム、音響感知システム、又は任意の他の適切なタイプの車載環境感知デバイス、又はデバイスの組み合わせであるか又はこれらを含み得る。いくつかの実施形態では、センサ1360及び位置決め装置1310が結合される。
別に示されてはいないが、車両1000は、軌道コントローラを含んでもよい。例えば、コントローラ1300は、軌道コントローラを含んでもよい。軌道コントローラは、車両1000の現在の状態及び車両1000に対して計画された経路を記述する情報を取得し、この情報に基づいて、車両1000に対する軌道を決定及び最適化するように動作可能であってもよい。いくつかの実施形態では、軌道コントローラは、車両1000が軌道コントローラによって決定される軌道に従うように、車両1000を制御するように動作可能な信号を出力する。例えば、軌道コントローラの出力は、パワートレイン1200、車輪1400/1410/1420/1430又は両方に供給され得る最適化された軌道であり得る。いくつかの実施形態では、最適化された軌道は、一組のステアリング角等の制御入力であってもよく、各ステアリング角は1つの時点又は位置に対応する。いくつかの実施形態では、最適化された軌道は、1つ以上の経路、線、曲線、又はこれらの組み合わせであり得る。
1つ以上の車輪1400/1410/1420/1430は、ステアリング装置1230の制御下でステアリング角に枢動される操縦された車輪、トランスミッション1220の制御下で車両1000を推進するためのトルクを与えられる推進された車輪、又は車両1000を操縦及び推進する操縦及び推進された車輪であってもよい。
車両は、エンクロージャ、ブルートゥース(登録商標)モジュール、周波数変調(FM)ラジオ装置、近距離無線通信(NFC)モジュール、液晶ディスプレイ(LCD)ディスプレイ装置、有機発光ダイオード(OLED)ディスプレイデバイス、スピーカ、又はこれらの任意の組み合わせ等の図1に示されていない装置又は要素を含んでもよい。
図2は、本明細書に開示の態様、特徴及び要素が実装され得る車両交通及び通信システム2000の一部の例示の図面である。車両交通及び通信システム2000は、図1に示された車両1000等の車両2100、及び図1に示された車両1000、歩行者、サイクリスト等の任意の輸送手段の形態と共に建物等の任意の形態の構造を含み得る外部オブジェクト2110等の1つ以上の外部オブジェクトを含む。車両2100は、交通ネットワーク2200の1つ以上の部分を介して移動してもよく、1つ以上の電子通信ネットワーク2300を介して外部オブジェクト2110と通信してもよい。図2には明示されていないが、車両は、オフロードエリア等の交通ネットワークに明示的に又は完全には含まれていないエリアを横断してもよい。いくつかの実施形態では、交通ネットワーク2200は、誘導ループセンサ等の1つ以上の車両検出センサ2202を含んでもよく、これは交通ネットワーク2200において車両の移動を検出するために使用されてもよい。
電子通信ネットワーク2300は、車両2100、外部オブジェクト2110及びオペレーションセンタ2400の間の音声通信、データ通信、映像通信、メッセージング通信、又はこれらの組み合わせ等の通信を提供する多重アクセスシステムであってもよい。例えば、車両2100又は外部オブジェクト2110は、電子通信ネットワーク2300を介してオペレーションセンタ2400から交通ネットワーク2200を表す情報等の情報を受信してもよい。
オペレーションセンタ2400は、図1に示されたコントローラ1300の特徴の一部又は全てを含むコントローラ装置2410を含む。コントローラ装置2410は、自律走行車を含む車両の移動を監視及び調整することができる。コントローラ装置2410は、車両2100等の車両及び外部オブジェクト2110等の外部オブジェクトの状態又は状況を監視してもよい。コントローラ装置2410は、車両速度、車両位置、車両動作状態、車両目的地、車両経路、車両センサデータ、外部オブジェクト速度、外部オブジェクト位置、外部オブジェクト動作状態、外部オブジェクト目的地、外部オブジェクト経路及び外部オブジェクトセンサデータのいずれかを含む車両データ及びインフラストラクチャデータを受信し得る。
さらに、コントローラ装置2410は、車両2100等の1つ以上の車両又は外部オブジェクト2110等の外部オブジェクトに対する遠隔制御を確立し得る。このようにして、コントローラ装置2410は、遠隔地から車両又は外部オブジェクトを遠隔操作してもよい。コントローラ装置2410は、無線通信リンク2380等の無線通信リンク又は有線通信リンク2390等の有線通信リンクを介して、車両2100、外部オブジェクト2110又はサーバコンピュータデバイス2500等の車両、外部オブジェクト又はコンピュータデバイスと状態データを交換(送信又は受信)してもよい。
サーバコンピュータデバイス2500は、電子通信ネットワーク2300を介して、車両2100、外部オブジェクト2110又はオペレーションセンタ2400を含む1つ以上の車両又はコンピュータデバイスと状態信号データを交換(送信又は受信)し得る1つ以上のサーバコンピュータデバイスを含んでもよい。
いくつかの実施形態では、車両2100又は外部オブジェクト2110は、有線通信リンク2390、無線通信リンク2310/2320/2370、又は任意の数若しくはタイプの有線若しくは無線通信リンクの組み合わせを介して通信を行ってもよい。例えば、図示のように、車両2100又は外部オブジェクト2110は、陸上無線通信リンク2310を介して、非陸上無線通信リンク2320を介して、又はこれらの組み合わせを介して通信を行う。いくつかの実装では、陸上無線通信リンク2310は、イーサネット(登録商標)リンク、シリアルリンク、ブルートゥースリンク、赤外線(IR)リンク、紫外線(UV)リンク、又は電子通信を提供可能な任意のリンクを含む。
車両2100等の車両又は外部オブジェクト2110等の外部オブジェクトは、別の車両、外部オブジェクト又はオペレーションセンタ2400と通信してもよい。例えば、ホスト又は対象の車両2100が、直接通信リンク2370を介して又は電子通信ネットワーク2300を介して、オペレーションセンタ2400から基本安全メッセージ(basic safety message;BSM)等の1つ以上の自動車両間メッセージを受信してもよい。例えば、オペレーションセンタ2400は、300メートル等の既定のブロードキャスト範囲内のホスト車両に又は定義された地理エリアにメッセージをブロードキャストしてもよい。いくつかの実施形態では、車両2100は、信号リピータ(図示せず)又は別の遠隔車両(図示せず)等のサードパーティを介してメッセージを受信する。いくつかの実施形態では、車両2100又は外部オブジェクト2110は、100ミリ秒等の既定の間隔に基づいて周期的に1つ以上の自動車両間メッセージを送信する。
自動車両間メッセージは、車両識別情報、経度、緯度若しくは高度情報等の地理空間状態情報、地理空間位置精度情報、車両加速度情報、ヨーレート情報、速度情報、車両方位情報、ブレーキシステム状態データ、スロットル情報、ハンドル角度情報若しくは車両ルート情報等の運動状態情報、又は送信車両状態に関連する車両サイズ情報、ヘッドライト状態情報、方向指示器情報、ワイパ状態データ、トランスミッション情報若しくは任意の他の情報若しくは情報の組み合わせ等の車両動作状態情報を含んでもよい。例えば、トランスミッション状態情報は、送信車両のトランスミッションがニュートラル状態、パーキング状態、前進状態又は後退状態に有るかどうかを示す。
いくつかの実施形態では、車両2100は、アクセスポイント2330を介して電子通信ネットワーク2300と通信する。コンピュータデバイスを含み得るアクセスポイント2330は、無線又は有線通信リンク2310/2340を介して、車両2100と、電子通信ネットワーク2300と、オペレーションセンタ2400と、又はこれらの組み合わせと通信するように構成されてもよい。例えば、アクセスポイント2330は、基地局、BTS(base transceiver station)、Node−B、eNode−B(enhanced Node−B)、HNode−B(Home Node−B)、無線ルータ、有線ルータ、ハブ、リレー、スイッチ、又は任意の類似の有線若しくは無線デバイスである。単一の装置として示されているが、アクセスポイントは、任意の数の相互接続要素を含み得る。
車両2100は、衛星2350又は他の非陸上通信デバイスを介して電子通信ネットワーク2300と通信してもよい。コンピュータデバイスを含み得る衛星2350は、1つ以上の通信リンク2320/2360を介して、車両2100と、電子通信ネットワーク2300と、オペレーションセンタ2400と、又はこれらの組み合わせと通信するように構成されてもよい。単一の装置として示されているが、衛星は、任意の数の相互接続要素を含み得る。
電子通信ネットワーク2300は、音声、データ、又は任意の他のタイプの電子通信装置を提供するように構成される任意のタイプのネットワークであってもよい。例えば、電子通信ネットワーク2300は、ローカルエリアネットワーク(LAN)、ワイドエリアネットワーク(WAN)、仮想プライベートネットワーク(VPN)、モバイル若しくはセルラ電話ネットワーク、インターネット、又は任意の他の電子通信システムを含む。電子通信ネットワーク2300は、トランスミッション・コントロール・プロトコル(TCP)、ユーザ・データグラム・プロトコル(UDP)、インターネット・プロトコル(IP)、リアルタイム・トランスポート・プロトコル(RTP)、ハイパー・テキスト・トランスポート・プロトコル(HTTP)、又はこれらの組み合わせ等の通信プロトコルを使用してもよい。単一の装置として示されているが、電子通信ネットワークは、任意の数の相互接続要素を含み得る。
いくつかの実施形態では、車両2100は、電子通信ネットワーク2300、アクセスポイント2330又は衛星2350を介して、オペレーションセンタ2400と通信する。オペレーションセンタ2400は、車両2100等の車両、外部オブジェクト2110等の外部オブジェクト、又はサーバコンピュータデバイス2500等のコンピュータデバイスからのデータを交換(送信又は受信)することができる1つ以上のコンピュータデバイスを含んでもよい。
いくつかの実施形態では、車両2100は、交通ネットワーク2200の一部又は状態を識別する。例えば、車両2100は、速度センサ、車輪速度センサ、カメラ、ジャイロスコープ、光学センサ、レーザセンサ、レーダセンサ、音響センサ、又は交通ネットワーク2200の一部若しくは状態を決定若しくは識別することが可能な任意の他のセンサ若しくはデバイス又はこれらの組み合わせを含む図1に示されたセンサ1360等の1つ以上の車載センサ2102を含んでもよい。
車両2100は、交通ネットワーク2200を表す情報、1つ以上の車載センサ2102、又はこれらの組み合わせ等の電子通信ネットワーク2300を介して伝達される情報を使用して、交通ネットワーク2200の1つ以上の部分を横断してもよい。外部オブジェクト2110は、車両2100に関して先に記載された通信及びアクションの全て又は一部の能力を有してもよい。
簡潔のため、図2は、ホスト車両としての車両2100、外部オブジェクト2110、交通ネットワーク2200、電子通信ネットワーク2300、及びオペレーションセンタ2400を示している。しかしながら、任意の数の車両、ネットワーク又はコンピュータデバイスが使用されてもよい。いくつかの実施形態では、車両交通及び通信システム2000は、図2に示されていないデバイス、装置又は要素を含む。車両2100又は外部オブジェクト2110は単一の装置として示されているが、車両は、任意の数の相互接続要素を含み得る。
電子通信ネットワーク2300を介してオペレーションセンタ2400と通信する車両2100が示されているが、車両2100(及び外部オブジェクト2110)は、任意の数の直接又は間接通信リンクを介してオペレーションセンタ2400と通信してもよい。例えば、車両2100又は外部オブジェクト2110は、ブルートゥース通信リンク等の直接通信リンクを介してオペレーションセンタ2400と通信してもよい。簡潔のため、図2は1つの交通ネットワーク2200及び1つの電子通信ネットワーク2300を示しているが、任意の数のネットワーク又は通信デバイスが使用されてもよい。
図3は本開示による遠隔車両支援センタ3000を示すブロック図である。遠隔車両支援センタ3000は、車隊マネージャ3010、限定されないが、車両マネージャ3020及び車両マネージャ3030を含む複数の車両マネージャ、及び限定されないが、車両3040、3050、3060及び3070を含む複数の車両を含む。
車隊マネージャ3010は、図1に示されたコントローラ1300の特徴の一部又は全てを含む装置を含み得る。車隊マネージャ3010は、車両マネージャ3020/3030を含む車両マネージャと共に自律走行車及び車両3040/3050/3060/3070を含む車両の動きを監視及び調整することができる。車両マネージャを監視及び調整することは、車両マネージャに車両を割り振る、割り当てる又は割り当てを解除すること、車両マネージャの性能データをレビュー及び監視すること、及び地理エリアに車両マネージャを割り振ることのいずれかを含み得る。1つの実装では、順番に管理され得る又は他の車隊マネージャの権限下にある多数の車隊マネージャがあり得る。
車両マネージャ3020は、車両3040及び車両3050を含む車両の状態又は状況を監視することができる。図3に示されているように、車両マネージャ3020は、車両3040及び車両3050を割り当てられている。車両マネージャへの車両の割り当ては、車隊マネージャ3010等の車隊マネージャによって行われ得る。
車両マネージャ3030は、車両3060及び車両3070を含む車両の状態又は状況を監視することができる。図3に示されているように、車両マネージャ3030は、車両3060及び車両3070を割り当てられている。車両マネージャへの車両の割り当ては、車隊マネージャ3010等の車隊マネージャによって行われ得る。車両マネージャへの車両の割り当ては、機械学習技術を使用して自動化することもできる。
1つの実装では、車両マネージャは、車両をクラスタ化又はグループ化し、車内の乗員との通信を確立し、車両を遠隔操作し、交通ネットワーク内の車両の移動又は交通渋滞等の様々な障害の回避を調整することができる。車両マネージャは、他の車両マネージャと相互作用して車両の監視及び管理を支援することができる。
車両3040/3050/3060/3070を含む車両は、図2に示された車両2100等の車両を含み、これらは車隊マネージャ3010によって監視又は調整されている。車両は、自律的に又は人間の運転者によって操作されてもよく、車両速度、車両位置、車両動作状態、車両目的地、車両経路、車両センサデータ、外部オブジェクト速度、及び外部オブジェクト位置のいずれかを含む車両の状態又は状況及びその周囲に関連する車両データを交換(送信及び受信)することができる。
図4は、本開示によるインターフェースで使用される車両指示部4000の例を示す図である。1つの実装では、インターフェースは車隊マネージャインターフェースである。車両指示部4000は、タスク状態指示部4010、車両モード指示部4020、車両乗員指示部4030、及び時間状態指示部4040を含む。
タスク状態指示部4010は、1以上の乗客又は積荷をピックアップするために目的地に移動することを含むピックアップ目的地への移動、1以上の乗客又は積荷をドロップオフするために目的地に移動することを含むドロップオフ目的地への移動、車両にメンテナンス又は修理を行うことができる目的地への移動を含むメンテナンス目的地への移動、及びガソリンスタンド又は充電ステーションを含む燃料補給のための目的地への移動を含む燃料補給目的地への移動のいずれかを含む車両に割り当てられるタスク、又は車両によって行われているタスクを示すために使用され得る。
形状及び色を含むタスク状態指示部4010の特徴は、車両によって行われているタスクに対応し得る。例えば、タスク状態指示部4010は、図4では正方形として示されている。これは、例えば、車両がピックアップ目的地に移動していることを示し得る。1つの実装では、円形のタスク状態指示部4010は、車両がドロップオフ目的地に移動していることを示し得る。異なる形状及び色は、車両によって異なるタスクが行われていることを示し得る。
車両モード指示部4020は、車両が自身を案内する又は車両がコンピュータデバイスによって遠隔で案内されているモードを含む自律モード、人間のオペレータが遠隔地から車両を案内しているモードを含む被案内モード、人間のオペレータが車内から車両を操作しているモードを含む手動モード、及び車両の状態に基づいて手動モードと自律モードとを切り替え得るモード(例えば、近接及び加速閾値を超えると補助ブレーキが作動され得る)及び車両が同時に自律機能及び人間の操作を使用して制御されているモードを含む半自律モードのいずれで車両が操作されているかを示すために使用され得る。例えば、車両モード指示部4020は、図4では十字として示されている。これは、例えば、先述のモードのいずれかを示し得る。
車両乗車指示部4030は、車両が1人以上の乗客を含むか、及び車内の乗客の状態のいずれかを示すために使用され得る。1つの実装では、乗車中の車両は、車両乗車指示部4030が塗りつぶし状態にあることによって示される(例えば、車両乗車指示部4030の内側のエリアがタスク状態指示部4010の周囲の境界と同じ色である)。
色を含む車両乗車指示部4030の特徴は、車内の乗客からの支援の要求を含む乗客の問題、交通渋滞、交通事故及び工事に関連する問題を含む交通問題、車両を制御するか、車両の経路を変更するか、車両との通信を確立するか、又は車両に関するアクションが完了したことを示すかどうかに関する車両マネージャによって行われ得る決定に関する問題を含む決定問題、車両の動作状態(例えば、エンジン状態、燃料状態)に関する問題を含む車両の状態に関する物理的問題のいずれかを含む車両に関連付けられる問題を示すために使用され得る。1つの実装では、デフォルト色は、車両が通常状態で操作されていること及び車両に関連する保留中の問題がないことを示すために使用され得る。
時間状態指示部4040は、期待される又は予測される時間状態に対する車両の時間状態を示すために使用され得る。1つの実装では、時間状態指示部4040の色は、車両が予定時刻より進んでいるか又は予定時刻より遅れているかを示し得る。
時間状態指示部4040の長さは、期待される又は予測される時間状態からのずれの大きさを示し得る。時間状態指示部4040の長さは、期待される又は予測される時間状態からのずれの大きさに比例し得る(例えば、正比例、反比例、指数比例、対数比例)。
別の実装では、時間状態指示部4040の長さは、期待される又は予測される時間状態からのずれに対して不均衡であり得る(例えば、3分の1の長さは5分よりも小さなずれを示し、3分の2の長さは5分より大きいが15分よりも小さなずれを示し、全長は15分よりも大きなずれを示す)。時間状態指示部4040の他の特徴は、車両の状態を示すために使用され得る。例えば、赤色は、車両が予定時刻よりも遅れていることを示してもよく、緑色は、車両が予定時刻よりも進んでいることを示してもよい。
図5は、本開示による車隊マネージャインターフェース5000の例を示す図である。車隊マネージャインターフェース5000は、図2に示されたコントローラ装置2410を含むコンピュータ装置で実行可能であって、コントローラ装置2410を含むコンピュータ装置のメモリに記憶され得る1つ以上の命令に基づいて生成され得る。
例えば、車隊マネージャインターフェース5000は、コンピュータネットワークを介してコントローラ装置2410にアクセスするクライアントコンピュータデバイスによって解釈される命令に基づいて、コントローラ装置2410によって生成され得る。次に、クライアントコンピュータデバイスは、ディスプレイデバイスにおいて車隊マネージャインターフェース5000の表現を生成し得る。
車隊マネージャインターフェース5000は、車隊マネージャ部分5010、地図部分5020、車両マネージャ指示部5030、車両指示部5040、及び車両マネージャ割り当てキュー5050を含み、これらはいずれも、限定されないが、車両、道路、建物及び歩行者の少なくとも1つを含む物理オブジェクトの状態に関連付けられるデータに基づき得る。
車隊マネージャ部分5010は、車両への車隊マネージャの関連付けを含む車隊マネージャ及び/又は車両マネージャによって監視又は追跡されているオブジェクトの表現を含む。オブジェクトは、図2に示された車両2100を含む車両を含み得る。オブジェクトは、車両指示部5040等の指示部として表されてもよく、これは、図4に示された車両指示部4000等の静止画又は動画として生成され得る。さらに、車隊マネージャ部分5010は、タッチ入力、音声入力、及び入力デバイスからの入力のいずれかを含む入力を受信し得る。例えば、車両指示部5040を含む車両指示部は、車両マネージャ等のオペレータによって選択され得る。車両指示部の選択は、車両指示部によって表される各車両の状態又は状況に関するデータを生成し得る(例えば、選択された車両指示部は、車両が適切に機能しているか又は時間通りに目的地に到着するかを示し得る)。
地図部分5020は、既定の地理エリア内のオブジェクトを含む地理エリアの表現を含む。1つの実装では、既定の地理エリアは、車両マネージャの1つによって監視されている全ての又は少なくとも一部の車両を含む地理エリアに対応する地理エリアを含み得る。地理エリア内のオブジェクトは、いずれかの車両、並びに道路、建物及び歩行者を含む外部オブジェクトを含み得る。地図部分5020は、タッチ入力、音声入力、及び入力デバイスからの入力のいずれかを含む入力を受信し得る。地図部分への入力は、選択された車両又は外部オブジェクトの状態又は状況に関するデータを生成し得る。
1つの実装では、地図部分5020は、車隊マネージャ部分5010に表示される同じ表現のオブジェクトを含む。別の実装では、車隊マネージャ部分5010と地図部分5020との間に表示されるオブジェクトの数及びタイプは異なり得る。例えば、車両マネージャは、特定の地理エリアを拡大して、車隊マネージャ部分5010に表されるオブジェクト又は車両の一部のみを表示することができる。
車両マネージャ指示部5030は、車両マネージャに対する識別子の表現である。車隊マネージャインターフェース500に表示される各車両マネージャは、別個の車両マネージャ指示部を含む。車両マネージャは、1つ以上の車両に関連付けられてもよく、これは車隊マネージャによって又は機械学習技術を使用して動的に分配され又は割り当てられ得る。例えば、車隊マネージャは、車両マネージャに割り当てられる車両の数を修正することができ、これは車両を追加又は削除すること及びある車両マネージャから別の車両マネージャに1つ以上の車両を転送することのいずれかを含む。
車両指示部5040は、自律走行車の状態又は状況の表現であり、状態は、車両タスク、車両乗員、車両操作モード(例えば、自律操作又は手動操作)、及び限定されないが、車両の動作状態に関する問題を含む車両問題のいずれかを含む。車両指示部5040は、車両指示部の状態又は状況の態様を表すための様々な色、形状、パターン、テキスト、絵文字、又はこれらの任意の組み合わせを含み得る。一例として、車両指示部5040は、乗客をピックアップするために目的地に移動している自律走行車を表し得る。さらに、車両指示部5040は、乗客を乗せており、乗客をドロップオフするために目的地に移動している自律走行車を表し得る。
車両マネージャ割り当てキュー5050は、車両マネージャに割り当てられる車両の表現である。車両は、車隊マネージャによって又は車両マネージャ自身によって又は機械学習技術を使用して自動的に車両マネージャ割り当てキュー5050に割り当てられ得る。例えば、1つの車両マネージャが、多過ぎる車両を監視していることを認識してもよく、追加の監視容量を有すると決定されている別の車両マネージャにこうした車両の一部を割り当てることができる。図5に示されているように、車両マネージャ割り当てキュー5050内の車両指示部(例えば、車両指示部5040)は、車両マネージャ指示部5030の“Larry”に関連付けられる車両マネージャに割り当てられている。車両マネージャ指示部は、車両マネージャの実名又はユーザ名又は別の識別子を表し得る。
図6は、本開示によるインターフェースで使用される車両指示部6000の例を示す図である。1つの実装では、インターフェースは、図5に示された車隊マネージャインターフェース5000、図7に示された車両マネージャインターフェース7000又は図9に示された車両マネージャインターフェース9000である。
車両指示部6000は、次のタスク指示部6010、現在タスク指示部6020、実進行指示部6030、ずれ度指示部6040、期待進行指示部6050、時間スケール6060、完了までの時間6070、経過時間6080、及び時間圧縮指示部6090を含む。
次のタスク指示部6010は、車両に割り当てられておりかつ現在行われていないタスクを示すために使用され得る。次のタスク指示部6010は、現在のタスク(例えば、現在タスク指示部6020に関連付けられる現在のタスク)の実行に続いて行われるタスクを示し得る。例えば、次のタスク指示部6010は、現在タスク指示部6020に関連付けられる現在のタスクが完了した後でドロップオフが行われることを示し得る。1つの実装では、次のタスク指示部6010との相互作用(例えば、次のタスク指示部6010を選択すること)は、次に行われるタスクの説明を示し得る。
現在タスク指示部6020は、車両によって現在行われているタスクを示すために使用され得る。例えば、現在タスク指示部6020は、指定場所で乗客をピックアップすることを含み得る。1つの実装では、現在タスク指示部6020との相互作用(例えば、現在タスク指示部6020を選択すること)は、現在行われているタスクの説明を示し得る。
次のタスク指示部6010及び現在タスク指示部6020は、限定されないが、1以上の乗客又は積荷をピックアップするために目的地に移動することを含むピックアップ目的地への移動、1以上の乗客又は積荷をドロップオフするために目的地に移動することを含むドロップオフ目的地への移動、車両にメンテナンス又は修理を行うことができる目的地への移動を含むメンテナンス目的地への移動、及びガソリンスタンド又は充電ステーションを含む燃料補給のための目的地への移動を含む燃料補給目的地への移動のいずれかを含むタスクに関連付けられ得る。
次のタスク指示部6010又は現在タスク指示部6020の形状は、車両によって行われているタスクに対応し得る。例えば、次のタスク指示部6010は、図6では円形として示されている。これは、車両がドロップオフ目的地に移動していることを示す。円形の現在タスク指示部6020は、車両がピックアップ目的地に移動していることを示し得る。形状は、限定されないが、円形、正方形、三角形、長方形等を含み得る。
次のタスク指示部6010又は現在タスク指示部6020におけるパターン(例えば、十字、ジグザグ)は、車両が自身を案内する又は車両がコンピュータデバイスによって遠隔で案内されているモードを含む自律モード、人間のオペレータが遠隔地から車両を案内しているモードを含む被案内モード、人間のオペレータが車内から車両を操作しているモードを含む手動モード、及び車両の状態に基づいて手動モードと自律モードとを切り替え得るモード及び車両が同時に自律機能及び人間の操作を使用して制御されているモードを含む半自律モードのいずれで車両が操作されているかを示し得る。例えば、車両モード指示部4020は、図4では十字として示されている。これは、例えば、先述のモードのいずれかを示し得る。
次のタスク指示部6010又は現在タスク指示部6020の塗りつぶしを含む特徴は、車両が1つ以上の乗客を含んでいるかどうかを示すために使用され得る。1つの実装では、乗車中の車両は、次のタスク指示部6010又は現在タスク指示部6020が塗りつぶされた状態にあることにより示される。例えば、塗りつぶしなし(例えば、パターンなし、シェーディングなし、及び明るい色)は、車両が乗員を含んでいないことを示すために使用され得る。
次のタスク指示部6010又は現在タスク指示部6020の色は、車内の乗客からの支援の要求を含む乗客の問題、交通渋滞、交通事故及び工事に関連する問題を含む交通問題、車両を制御するかを示すかどうかに関する車両マネージャによって行われ得る決定に関する問題を含む決定問題、車両の動作状態(例えば、エンジン状態、燃料状態)に関する問題を含む車両の状態に関する物理的問題のいずれかを含む車両に関連付けられる問題を示すために使用され得る。1つの実装では、デフォルト色は、車両が通常状態で操作されていること及び車両に関連する保留中の問題がないことを示すために使用され得る。
実進行指示部6030は、目的地に向かう途中で、横断した経路距離、又は経過した時間の実際の部分を示す。例えば、進行指示部が時間スケール6060の半分の地点にある場合、経路距離の半分が完了しているか、又は推定移動時間の半分が過ぎている。
期待進行指示部6050は、現在時刻までに車両によって完了されたと推定された経路距離の一部を示し、目的地に移動するための推定時間の一部又は車両によって横断された推定距離の一部を含み得る。ずれ度指示部6040は、(期待進行指示部6050によって示される)期待進行時間が(実進行指示部6030によって示される)実進行時間からずれている移動時間の部分又は経路距離の部分を示す。
時間スケール6060は、車両に関する経路を完了するための総移動時間又は総移動距離を示す。例えば、時間スケール6060が30分の総移動時間の表現である場合、時間スケール6060の半分は15分である。時間スケール6060がより長い期間に関するイベントにおいて、時間圧縮指示部6090は、時間スケール6060の残りの部分に比例しない時間スケール6060の部分が過ぎていることを示し得る。例えば、時間圧縮指示部6090は、時間スケール6060の半分が過ぎていることを示し得る。例えば、経過時間6080は、目的地に向かう途中で経過している移動時間を示す。
経路に対する総完了時間は、時間スケール6060の長さによって表されてもよく、これは、ずれ度指示部6040の長さ、完了までの時間6070の長さ、及び経過時間6080の長さを含む。例えば、完了までの時間6070は、車両が目的地に到着するか又は関連する/割り当てられたタスクを完了する前の残りの移動時間を示す。
図7は、本開示による車両マネージャインターフェース7000の例を示す図である。車両マネージャインターフェース7000は、図2に示されたコントローラ装置2410を含むコンピュータ装置で実行可能であって、コントローラ装置2410を含むコンピュータ装置のメモリに記憶され得る1つ以上の命令に基づいて生成され得る。
例えば、車両マネージャインターフェース7000は、コンピュータネットワークを介してコントローラ装置2410にアクセスするクライアントコンピュータデバイスによって解釈される命令に基づいて、コントローラ装置2410によって生成され得る。次に、クライアントコンピュータデバイスは、ディスプレイデバイスにおいて車両マネージャインターフェース7000の表現を生成し得る。
車両マネージャインターフェース7000は、車両マネージャ部分7010、地図部分7020、車両指示部7030、及び車両指示部7040を含み、これらはいずれも、限定されないが、いずれかの車両、並びに歩行者、サイクリスト、道路及び建物を含む外部オブジェクトを含む物理オブジェクトの状態に関連付けられるデータに基づき得る。
車両マネージャ部分7010は、車両マネージャインターフェース7000を利用して車両マネージャによって追跡又は監視されているオブジェクトの表現を含む。複数の車両マネージャが、各々が自身の固有のインターフェースを有する複数の車両を監視していてもよい。オブジェクトは、図2に示された車両2100を含む車両を含み得る。オブジェクトは、車両指示部7030等の指示部として表されてもよく、これは、限定されないが、静止画、ダイナミック画像、動画、ライブフォト若しくは配信動画、又はこれらの任意の組み合わせを含む様々な画像として生成され得る。さらに、車両マネージャ部分7010は、タッチ入力、音声入力、及び入力デバイスからの入力のいずれかを含む入力を受信し得る。
地図部分7020は、地理エリア内のオブジェクトを含む地理エリアの表現を含む。地理エリア内のオブジェクトは、いずれかの車両、並びに道路、建物、サイクリスト及び歩行者を含む外部オブジェクトを含み得る。1つの実装では、地図部分7020は、車両マネージャ部分7010によって表されるオブジェクトとして表される類似の又は異なるオブジェクトを有し得る。
車両指示部7030及び車両指示部7040は、車両タスク、車両乗員、車両操作モード(例えば、自律操作又は手動操作)、及び限定されないが、車両の動作状態に関する問題を含む車両問題のいずれかを含む自律走行車の状態又は状況の表現である。車両指示部7030及び車両指示部7040は、自律走行車の状態又は状況の態様を表すための様々な色、形状、パターン、テキスト、又は絵文字を含み得る。
一例として、車両指示部7030は、乗客をピックアップするために目的地に移動している自律走行車を表し得る。さらに、車両指示部7040は、別の乗客を乗せており、その乗客をドロップオフするために目的地に移動している自律走行車を表し得る。各自律走行車が実行している異なるタスク又はアクションは、車両指示部7030及び7040の間のグラフィカル表示の相違をもたらす(例えば、車両指示部7030は、塗りつぶされた円を有し、車両指示部7040は、塗りつぶされていない正方形を有する)。
図8は、本開示による車両マネージャインターフェース8000の例を示す図である。車両マネージャインターフェース8000は、図2に示されたコントローラ装置2410を含むコンピュータ装置で実行可能であって、コントローラ装置2410を含むコンピュータ装置のメモリに記憶され得る1つ以上の命令に基づいて生成され得る。
例えば、車両マネージャインターフェース8000は、コンピュータネットワークを介してコントローラ装置2410にアクセスするクライアントコンピュータデバイスによって解釈される命令に基づいて、コントローラ装置2410によって生成され得る。次に、クライアントコンピュータデバイスは、ディスプレイ装置において車両マネージャインターフェース8000の表現を生成し得る。
車両マネージャインターフェース8000は、車両マネージャインターフェース7000に似ているが、車両マネージャ部分8010(図7に示された車両マネージャ部分7010と同様)、地図部分8020(図7に示された地図部分7020と同様)、車両指示部8030、タスク制御部8040、解決制御部8050、呼び出し制御部8060、及び経路変更制御部8070を含んでおり、これらはいずれも、限定されないが、車両、道路、建物、及び歩行者の少なくとも1つを含む物理オブジェクトの状態に関連付けられるデータに基づき得る。別の実装では、車両マネージャインターフェース8000は、車両マネージャが監視又は追跡されている各自律走行車又はオブジェクトの様々な態様と相互作用して制御することを可能にする、タスク制御部8040、解決制御部8050、呼び出し制御部8060、及び経路変更制御部8070以外の異なる制御機能を含む。
車両マネージャ部分8010は、監視又は追跡されているオブジェクトの表現を含む。オブジェクトは、図2に示された車両2100を含む車両を含み得る。オブジェクトは、車両指示部8030等の指示部として表されてもよく、これは、静止画又は動画又は異なるタイプの画像として生成され得る。さらに、車両マネージャ部分8010は、タッチ入力、音声入力、及び入力デバイスからの入力のいずれかを含む入力を受信し得る。例えば、車両指示部8030を含む車両指示部は、車両マネージャ等の車両マネージャインターフェース8000のオペレータによって選択され得る。車両指示部の選択は、車両指示部によって表される各車両の状態又は状況に関するデータを生成し得る(例えば、選択された車両指示部は、時間通りに目的地に到着するかを示し得る)。
地図部分8020は、地理エリア内のオブジェクトを含む地理エリアの表現を含む。地理エリア内のオブジェクトは、いずれかの車両、並びに、限定されないが、道路、建物、サイクリスト及び歩行者を含む外部オブジェクトを含み得る。地図部分8020は、タッチ入力、音声入力、及び入力デバイスからの入力のいずれかを含む入力を受信し得る。地図部分への入力は、選択された車両又は外部オブジェクトの状態又は状況に関するデータを生成し得る。1つの実装では、地図部分8020は、車両マネージャ部分8010によって表されるオブジェクトとして表される類似の又は異なるオブジェクトを有し得る。
例えば、スタジアム等の建物を選択することは、スポーツイベントが所定の時間フレーム内でスタジアムで行われていることを示すデータを生成し得る。したがって、車両マネージャは、利用者がスタジアムから出ることによる交通流量の増加のために、スポーツイベントの最後にスタジアムの近隣の混雑を予測し得る。したがって、車両マネージャは、監視しており、スポーツイベントの最後にスタジアムの近くで特定のタスクを行うことを予定している自律走行車の1つの完了時間を変更又は経路変更し得る。
車両指示部8030は、車両(例えば、自律走行車又は人間が運転する車両)の状態又は状況の表現であり、車両タスク、車両乗員、車両操作モード(例えば、自律操作又は手動操作)、及び限定されないが、車両の動作状態に関する問題を含む車両問題のいずれかを含む。車両指示部8030は、車両指示部の状態又は状況の態様を表すための色、形状、パターン、テキスト、又は絵文字を含む様々な特徴を含み得る。一例として、車両指示部8030は、乗客をピックアップするために目的地に移動している自律走行車を表し得る。あるいは、車両指示部8030は、乗客を乗せており、乗客をドロップオフするために目的地に移動している自律走行車を表し得る。
タスク制御部8040、解決制御部8050、呼び出し制御部8060、及び経路変更制御部8070のいずれも、触覚入力デバイス(例えば、キーボード、マウス、又はタッチスクリーン)、聴覚入力デバイス(例えば、マイクロホン)、及び視覚入力デバイス(例えば、カメラ)を含む入力デバイスから受信した入力に基づくユーザ入力のいずれかを含む入力に基づいて制御又は修正され得る。さらに、タスク制御部8040、タスク解決制御部8050、呼び出し制御部8060、及び経路変更制御部8070のいずれも、コンピュータプログラム命令(例えば、共通目的地等の事前に設定された基準に適合する車両指示部を選択する命令)等の命令に基づいて制御又は修正され得る。
タスク制御部8040は、車両に関連付けられるタスクを修正するために使用され得る。例えば、車両指示部8030に関連付けられる車両は、ドロップオフを完了していてもよい。車両マネージャは、タスク制御部8040と相互作用して、以前に割り当てられた次のタスクを完了する代わりに、車両が今度は乗客をピックアップするべきであることを示すように車両タスクを修正し得る。タスク完了が進行中であるか又は次回のタスクに関している間、タスクは修正及び/又は更新され得る。例えば、現在のタスクは、所定時刻にではあるが交通状態に基づいて荷物を配達するように設定されてもよく、現在のタスクは、乗客を近くでピックアップして、交通混雑エリア内ではない場所でドロップオフするように更新される。別の例では、車両が現在の非関連タスクを遂行している間に、車両の次回のタスクの1つが修正/更新/削除され得る。
解決制御部8050は、車両に関連する問題が車両マネージャによって完了したか又は解決されたことを示すために使用され得る。例えば、車両マネージャが車両指示部8030に関連付けられる車両又は車両の乗員から支援要求を受信して、車両への支援を提供した後で、解決制御部8050が、車両マネージャによってアクティブ化されて、問題は解決されており、もはや保留中ではないことを示し得る。1つの実装では、解決制御部8050のアクティブ化は、車両要求又は車両タスクの緊急性(例えば、患者を病院に運んでいる救急車)の指示を含む車両タスク緊急性を含む車両に関連付けられる車両データを修正し得る。例えば、緊急の医療支援の必要のある患者を運んでいる車両が、最適化された経路変更の要求を車両マネージャに送ってもよく、車両マネージャがこの要求に対処するか又は追加の支援が必要とされていると判断を下すと、車両マネージャは、解決制御部8050と相互作用して、要求の状態を更新し得る。
呼び出し制御部8060は、車両指示部8030に関連付けられる車両と連絡して通信をするために使用され得る。例えば、呼び出し制御部8060がアクティブ化されると、車両マネージャは、車両指示部8030に関連付けられる車両の乗員又は乗客と相互作用し得る。1つの実装では、呼び出し制御部8060がアクティブ化されると、車両指示部8030に関連付けられる車両との音声接続又は音声及び映像接続(例えば、ライブ映像通信フィード)のいずれかが確立され得る。
経路変更制御部8070は、車両に関連付けられる経路を修正するために使用され得る。例えば、車両指示部8030に関連付けられる車両は、重度の交通渋滞を通過する経路を介して目的地に移動中であり得る。経路変更制御部8070は、車両の経路を変更して重度の交通渋滞のエリアに入ることを回避するために使用され得る。別の実装では、経路変更制御部8070は、自律走行車の遠隔操作を提供する異なるタイプの制御部であり得る。
図9は、本開示による車両マネージャインターフェース9000の例を示す図である。車両マネージャインターフェース9000は、コントローラ装置2410を含むコンピュータ装置で実行可能であって、コントローラ装置2410を含むコンピュータ装置のメモリに記憶され得る1つ以上の命令に基づいて生成され得る。
例えば、車両マネージャインターフェース9000は、コンピュータネットワークを介してコントローラ装置2410にアクセスするクライアントコンピュータデバイスによって解釈される命令に基づいて、コントローラ装置2410によって生成され得る。次に、クライアントコンピュータデバイスは、ディスプレイデバイスにおいて車両マネージャインターフェース9000の表現を生成し得る。
車両マネージャインターフェース9000は、図8に示されているように、車両マネージャインターフェース8000と類似しており、車両マネージャ部分9010、地図部分9020、車両指示部9030、車両指示部9040、クラスタ制御部9050、及びエリア選択制御部9060を含み、これらはいずれも、限定されないが、車両、道路、建物及び歩行者の少なくとも1つを含む物理オブジェクトの状態に関連付けられるデータに基づき得る。
車両マネージャ部分9010は、監視又は追跡されているオブジェクトの表現を含む。オブジェクトは、図2に示された車両2100を含む車両を含み得る。オブジェクトは、車両指示部9030等の指示部として表されてもよく、これは、静止画又は動画又は任意の他のタイプの画像として生成され得る。さらに、車両マネージャ部分9010は、タッチ入力、音声入力、及び入力デバイスからの入力のいずれかを含む入力を受信し得る。
例えば、車両指示部9030及び車両指示部9040を含む車両指示部は、車両マネージャ等のオペレータによって選択され得る。車両指示部の選択は、車両指示部によって表される各車両の状態又は状況に関するデータを生成し得る(例えば、選択された車両指示部は、時間通りに目的地に到着するかを示し得る)。
地図部分9020は、地理エリア内のオブジェクトを含む地理エリアの表現を含む。地理エリア内のオブジェクトは、いずれかの車両、並びに、限定されないが、道路、建物、サイクリスト及び歩行者を含む外部オブジェクトを含み得る。地図部分9020は、タッチ入力、音声入力、及び入力デバイスからの入力のいずれかを含む入力を受信し得る。地図部分への入力は、選択された車両又は外部オブジェクトの状態又は状況に関するデータを生成し得る。例えば、スタジアム等の建物を選択することは、スポーツイベントが所定の時間フレーム内でスタジアムで行われていることを示すデータを生成し得る。したがって、車両マネージャは、利用者がスタジアムから出ることによる交通流量の増加のために、スポーツイベントの最後にスタジアムの近隣の混雑を予測して、車両の経路を変更し得る。
車両指示部9030及び車両指示部9040は、車両タスク、車両乗員、車両操作モード(例えば、自律操作又は手動操作)、及び車両の動作状態に関する問題を含む車両問題のいずれかを含む2つの別の自律走行車の状態又は状況の表現である。車両指示部9030及び車両指示部9040は、車両指示部の状態又は状況の態様を表すための様々な色、形状、パターン、テキスト、又は絵文字を含み得る。一例として、車両指示部9030は、乗客をピックアップするために目的地に移動している自律走行車を表し得る。さらに、車両指示部9040は、別の乗客を乗せており、その乗客をドロップオフするために目的地に移動している自律走行車を表し得る。
クラスタ制御部9050及びエリア選択制御部9060は、触覚入力デバイス(例えば、キーボード、マウス、又はタッチスクリーン)、聴覚入力デバイス(例えば、マイクロホン)、及び視覚入力デバイス(例えば、カメラ)を含む入力デバイスから受信した入力に基づく任意のユーザ入力を含む入力に基づいて制御又は修正され得る。さらに、クラスタ制御部9050及びエリア選択制御部9060要素は、コンピュータプログラム命令(例えば、共通目的地等の事前に設定された基準に適合する車両指示部を選択する命令)等の命令に基づいて制御又は修正され得る。
エリア選択制御部9060は、地図部分9020の区間を選択するように制御又は修正され得る制御要素である。例えば、地図の長方形の区間は、地図の地理エリア内の車両が地図部分9020の選択部分に対応する車両マネージャ部分9010においてクラスタ化され又は監視及び選択されることを定義するために、車両マネージャによって選択又は強調され得る。地図部分9020の選択区間内のオブジェクトは、共通の出発点、経路、目的地のいずれかを含むクラスタ基準に従って管理及び監視され得る。図9に示されているように、クラスタ制御部9050は、車両指示部9030及び車両指示部9040が共有クラスタ基準に基づくクラスタグループの一部であることを示し得る(例えば、それらは類似の経路を共有する)。
図10は、本開示による車両マネージャインターフェース10000の例を示す図である。車両マネージャインターフェース10000は、図2に示されたコントローラ装置2410を含むコンピュータ装置で実行可能であって、コントローラ装置2410を含むコンピュータ装置のメモリに記憶され得る1つ以上の命令に基づいて生成され得る。
例えば、車両マネージャインターフェース10000は、コンピュータネットワークを介してコントローラ装置2410にアクセスするクライアントコンピュータデバイスによって解釈される命令に基づいて、コントローラ装置2410によって生成され得る。次に、クライアントコンピュータデバイスは、ディスプレイ装置において車両マネージャインターフェース10000の表現を生成し得る。
車両マネージャインターフェース10000は、車両指示部10010、経路指示部10020、外部オブジェクト指示部10030、障害物指示部10040、歩行者指示部10050を含み、これらはいずれも、限定されないが、車両、道路、建物及び歩行者の少なくとも1つを含む物理オブジェクトの状態に関連付けられるデータに基づき得る。外部オブジェクト、障害物、歩行者、及びこれらの任意の組み合わせの複数の構成は、車両マネージャインターフェース10000に表示され得る。車両指示部10010は、車両を表すために使用され得る。この例示では、車両は、3次元モデルとして表されているが、車両指示部10010は、アイコン等の2次元画像及び絵文字のいずれかを含む異なるやり方で表され得る。
経路指示部10020は、現在の車両位置と車両目的地との間の経路を表すために使用され得る。1つの実装では、車両マネージャは、経路指示部10020によって示される経路に沿って車両指示部10010に関連付けられる車両を案内し得る。例えば、車両指示部10010に関連付けられる車両に遠隔支援を提供する場合、経路指示部10020によって示される車両が移動し得る経路の視覚表現を提供するために、仮想レーン等の経路指示部が生成され得る。
外部オブジェクト指示部10030は、一例として、車両の意図された経路を変更し得る他の車両等の外部オブジェクトを表すために使用され得る。障害物指示部10040は、車両指示部10010によって表される車両の移動を妨げ得る外部オブジェクトを表すために使用され得る。歩行者指示部10050は、歩行者又はサイクリスト又は別の移動オブジェクトを含む外部オブジェクトを表すために使用され得る。歩行者指示部10050は、外部オブジェクト指示部10030又は障害物指示部10040によって表される他の外部オブジェクトとは異なる独特の色スキームで示され得る。このようにして、歩行者は、さらなる認知及び回避能力を提供するように外部オブジェクトの他のタイプから区別され得る。1つの実装では、外部オブジェクト指示部10030、障害物指示部10040及び歩行者指示部10050、又はこれらの任意の組み合わせは、車両指示部10010によって表される車両の少なくとも1つのパラメータ(例えば、経路、移動時間等)に影響し得る全てのオブジェクトを包含する同じ又は類似のタイプの指示部によって表され得る。
本明細書に開示の技術の実装に関連して記載される任意の方法、処理又はアルゴリズムのステップ又は動作は、ハードウェア、回路又はこれらの任意の組み合わせによって実行されるハードウェア、ファームウェア、ソフトウェアにおいて実装されてもよい。説明を容易にするために、一連の動作として図11−14に示された処理11000−14000が示されかつ記載されている。しかしながら、本開示による動作は、様々な順番で又は同時に起こり得る。さらに、本開示による動作は、本明細書に提示及び記載されていない他の動作と共に起こってもよい。
図11は、本開示による遠隔サポートに関する技術11000のフローチャートである。1つの実装では、技術11000は、車隊マネージャ、車両マネージャ及び先述のインターフェースのいずれかを含む車両監視システム又は遠隔サポートシステムによって利用される。遠隔サポートのための技術11000の一部又は全ての態様は、図1に示された車両1000、図2に示された車両2100を含む車両、又は図2に示されたコントローラ装置2410を含むコンピュータ装置において実装されてもよい。1つの実装では、遠隔サポートのための技術11000の一部又は全ての態様が、本明細書に記載の一部又は全ての特徴を結合したシステムにおいて実装され得る。
動作11010において、状況又は状態データが、1つ以上の車両から受信される。1つの実装では、状態データは、通信システム又は車両監視システムの類似のデバイスによって受信される。1つ以上の車両は、1以上の乗客及び積荷のいずれかを含むオブジェクトを搬送するために使用されるデバイス又は装置(例えば、輸送機関)を含み得る。1つ以上の車両は、自律走行車又は人間の運転者によって運転される車両又は半自律走行車のいずれかを含み得る。
状態データは、限定されないが、車両の速度及び加速度のいずれかに関連する運動データ、車両の地理的場所(例えば、車両の緯度及び経度)又は別のオブジェクトに対する車両の場所を含む場所データ、車両の方向及び傾き(例えば、傾いている車両の傾斜)を含む車両姿勢、車両の電気的状態又は機械的状態を含む車両の動作状態(例えば、電気車両システム、機械車両システム、タイヤ圧力等の調子)、車両のメンテナンスに関連するメンテナンスデータ、残りの燃料又は残りのバッテリ充電の量を含むエネルギ源データ、光学センサ、音声センサ、モーションセンサを含むセンサからの出力に基づくセンサデータ、車両の客室の中の温度及び湿度を含む内部状態データ、及び車両の現在のタスク(例えば、乗客のピックアップ)のいずれかを含む車両の状態又は状況を示すデータを含む。
動作11020において、状態データの受信及び処理に応答して、通信システムは、第1の車両を含む車両に命令データを送信する。命令データは、限定されないが、車両(例えば、自律走行車)又は車両の乗員(例えば、運転者)によって行われる命令を含む。命令データは、車両の加速度、速度又は方向(例えば、ステアリング)を変更することを含む車両の動きを制御すること、機械制御システム及び電気制御システムを含む車両の制御システムをアクティブ化又は非アクティブ化すること(例えば、車両の一部又は全ての部分をオン又はオフにすること)、車両のセンサをアクティブ化又は非アクティブ化すること(例えば、車両の室内又は車外のエリアを観るためのカメラをアクティブ化すること)、内部通信システム(例えば、車両乗員に指向される内部スピーカ)及び外部通信システム(例えば、車外のオブジェクト又は個人に指向されるスピーカ)のいずれかを含む通信システムをアクティブ化又は非アクティブ化することのいずれかに関連付けられるデータを含み得る。
1つの実装では、第1の車両等の車両に命令データを送信することは、車両の自律デバイス又はシステムによって実装される運転経路データを送信することを含む。運転経路データは、車両に対する既存の運転経路を修正するための命令を含み得る。例えば、運転経路データを送信することは、状態データの変化を含む条件の充足に関連付けられ得る(例えば、所定の閾値レベルの交通渋滞が既存の運転経路で発生していると決定されるときに運転経路を送信する)。
別の実装では、第1の車両等の自律走行車に命令データを送信することは、第1の車両が運転経路を横断することを可能にするために自律操作の少なくとも1つの操作制約を無視することに関連付けられ得る。一例として、車両の自律操作は、あまりにも急速に運転すること又はあまりにも遅く運転することを含む速度制限に違反すること、又は、反対交通方向に運転すること及び路面から離れて運転することを含む交通規則に違反することのいずれかを含む、車両による所定のタイプのアクションを禁止する操作制約を含み得る。操作制約を無視することによって、車両は、命令データ内の命令に従って禁止されたアクションを行うことができる。例えば、建設区域を迂回することは、車道の一部が舗装された路面ではなく、砂利道である場合等、以前は禁止されていた車道の一部において運転することを含み得る。
動作11030において、車両からの状態データが生成されて、車両監視システムのインターフェースに表示される。状態データは、状態データに関連付けられる状態データ指示部として生成され又はそれに変換され得る。状態データは、第1のレベルの制御局を含む制御局(例えば、車隊マネージャインターフェースを含み得る車隊マネージャ制御局)又は第2のレベルの制御局(例えば、車両マネージャインターフェースを含み得る車両マネージャ制御局)において表示され得る。一例として、第1のレベルの制御局は、モニター、テレビ又は画像を表示することができる他のデバイスを含むディスプレイデバイスにおいて状態データを生成するコンピュータ装置又はコンピュータデバイスを含み得る。さらに、状態データ指示部は、図5に示された車隊マネージャインターフェース5000等のディスプレイに出力され得る。
動作11040において、複数の第1のレベルの制御局の1つは、状態データの変化が、第1の車両の自律操作が定義パラメータ値の範囲外で動作している(例えば、超えている)ことを示すかどうかを決定する。定義パラメータ値は、既定の範囲内又は既定の閾値の値の中にあると定義される状態データの1つ以上の状態又は条件のいずれかを含み得る。例えば、状態データ内のエネルギ源データは、車両燃料タンクが少量の石油/燃料を有すること又はほとんどの燃料が消費されているか又は燃料レベルに関して閾値パラメータ値を下回っていることを示し得る(例えば、利用可能な燃料に対する定義パラメータに関して利用可能な燃料値が、定義された利用可能な燃料パラメータ値の範囲外で車両が動作していることを示す)。
第1の車両の自律操作が定義パラメータ値の範囲外で動作していることを状態データが示しているとの決定に応答して、処理11000は動作11050に進む。第1の車両の自律操作が定義パラメータ値の範囲内で動作していることを状態データが示しているとの決定に応答して、処理11000は動作11010に戻る。
1つの実装では、第1の車両の運動状態データ及び位置データの比較に基づいて、経路逸脱値が生成され得る。第1の車両の自律操作が定義パラメータ値の範囲外で動作しているかどうかの決定は、経路逸脱値と逸脱閾値との比較に基づき得る。例えば、状態データは、車両に関する経路及び目的地を示す経路データを含み得る。経路逸脱値(車両の位置が経路から逸脱する程度を示す)と逸脱閾値とを比較することによって、第1の車両を含む車両の自律操作が定義パラメータ値の範囲外で動作しているかどうかが決定され得る。
動作11050において、異なるセットの命令データが、第1の車両を含む1つ以上の車両に送信される。異なるセットの命令データは、車両内の通信システムを介して命令として出力され得る。例えば、命令は、ディスプレイデバイス(例えば、映像ディスプレイ)で生成されるテキスト又は画像を含む視覚出力、スピーカシステムを介して生成される音声又は言葉を含む聴覚出力、及び車両乗員にアクセス可能な車両の部分を含む車両の一部を介して生成される振動を含む触覚出力のいずれかで出力され得る。異なるセットの命令データは、条件又は定義パラメータ値が分析される操作11040において行われる決定に応答して送信される。
動作11060において、第1のレベルの制御局(例えば、車両マネージャ)に関連付けられる又は結合される第2のレベルの制御局(例えば、車隊マネージャ)等の制御局は、第1のレベルの制御局に複数の車両に対する監視及び制御を分散する。複数の車両の監視及び制御を複数の第1のレベルの制御局に分散することによって、車両マネージャ制御局の間の作業負荷の均衡が取られる。例えば、車隊マネージャは、2つの車両マネージャ間で、2つの車両マネージャの中の一方が5台の車両を監視しており、2つの車両マネージャの中の他方が1台の車両のみを監視していることに気付いてもよい。その結果、車隊マネージャは、2つの車両マネージャの一方から他方に数台の車両を再割り当てすることができる。制御局(又は遠隔車両サポートキュー)における車両作業負荷の均衡を取ることによって、車両監視システム(又は遠隔車両サポート装置)のコンピュータリソースはより効果率的に利用され得る。
図12は、本開示による自律走行車の遠隔サポートに関する技術12000のフローチャートである。処理12000は、遠隔車両サポート装置等の車両監視システムによって利用される。遠隔サポートのための技術12000の一部又は全ての態様は、図1に示された車両1000、図2に示された車両2100を含む車両、又は図2に示されたコントローラ装置2410を含むコンピュータ装置において実装されてもよい。1つの実装では、遠隔サポートのための処理12000の一部又は全ての態様が、本明細書に記載の一部又は全ての特徴を結合したシステムにおいて実装され得る。
動作12010において、複数の車両(例えば、自律走行車)に関する状態データが、遠隔車両サポート装置によって受信される。状態データは、複数の車両の各々に関する現在の状態(例えば、状況情報)及びデータをそれぞれ示し得る。言い換えれば、各車両は、遠隔車両サポート装置によって受信され得るそれ自身の状態データを有する。1つの実装では、遠隔車両サポート装置は、各制御局を含みかつ車両マネージャによって管理又は監視される複数の遠隔車両サポートキューを含む。各制御局は、(例えば、車隊マネージャによって)各制御システムに割り当てられた複数の車両の中の1つ以上の異なる車両に対する状態データを受信し得る。
動作12020において、複数の車両は、状態データに基づいて各遠隔車両サポートキューにそれぞれ割り当てられる。割り当ては、遠隔車両サポート装置又は遠隔車両サポート装置の車隊マネージャによって行われ得る。車両を遠隔車両サポートキューに割り当てることは、各遠隔車両サポートキューに車両を含めることを決定するための割り当て基準と状態データの一部の比較に基づいて複数の車両の中の1つ以上を割り当てることを含む。例えば、車両用の状態データは、車両の目的地の指示を含み得る。従って、同じ目的地を有する車両は同じキューに割り当てられてもよい。この場合、例えば、車両は、遠隔車両サポートキューに割り当てられた同じ車両マネージャによって監視及び管理(遠隔操作を含む)され得る。
動作12030において、複数の車両の中の第1の車両からの指示が、遠隔車両サポート装置によって受信される。この指示は、第1の車両が遠隔サポートを要求していることの指示を含み得る。例えば、指示は、第1の車両の乗員からの通信及び要求の時間に対する第1の期間における第1の車両の状態又は状況データを含む指示信号のいずれかを含み得る。例えば、指示信号における状態データは、遠隔サポート要求に関連付けられる第1の車両の、識別性、場所及び状態、及び要求が行われたときの第1の車両の状況を決定するために使用され得る。
動作12040において、動作12030によって指示を受信した後であって、動作12050によって第1の車両に遠隔サポートを提供する前に、第1の車両は、動作12030によって受信した要求を解消するために第1の制御局の能力に基づいて、第1の制御局から別の制御局に選択的に割り当てられ得る。例えば、車両(第1の車両等)は、複数の車両のいずれかに関する状態データ(第1の車両の状態データを含む)の変化に応答して、第1の制御局から(複数の制御局の中の)第2の制御局に割り当てられ得る。複数の車両のいずれかに関する状態データの変化は、第1の制御局に割り当てられる複数の車両の各々及び第2の制御局に割り当てられる複数の車両の各々に関する状態データの表示を含む遠隔車両サポート装置への入力に基づき得る。
例えば、タスク(例えば、ドロップオフ)が完了したか又は必要ではなくなったことの指示を入力することを含む、タッチスクリーンディスプレイの一部と車両マネージャの相互作用に基づいて、車両は、より低い優先順度の制御局に割り当てられ得る。別の例では、車両マネージャが増えつつある高優先度の車両及び関連タスクを割り当てられる場合、こうした車両のいくつかは、あまり多くの高優先度の車両を監視しておらず、そうするための追加リソースを有している別の車両マネージャに再割り当てされ得る。
動作12050において、遠隔サポートは、第1の車両等の車両に提供される。遠隔サポートは、車両の自律操作を修正するための命令データを送信することにより、遠隔車両サポート装置の通信リンクを介して提供され得る。1つの実装では、命令データは、第1の車両を含む遠隔車両サポートキューから提供されてもよい。例えば、車両への遠隔サポートは、その車両を含みかつ車両マネージャによる監視のために割り当てられている遠隔車両サポートキューに割り当てられる車両マネージャによって提供され得る。
動作12060において、遠隔車両サポート装置によって地図表示が生成される。地図表示は、複数の車両マネージャの中の第1の車両マネージャによって(又は複数の第1のレベルの制御局の中の第1の制御局によって)監視される第1の遠隔車両サポートキューに割り当てられる複数の車両の第1のセットを含む、複数の車両の各場所を含む地理的地図を含み得る。一例として、地図表示は、図5に示された地図部分5020及び図7に示された地図部分7020等の表示を含み得る。
動作12070において、遠隔車両サポート装置によって車両状況又は状態表示が生成される。車両状態は、各指示として複数の車両の中の第1のセットに関する状態データの表現を含む。第1の車両の第1の状態データは、第1の指示によって表され得る。例えば、車両状態表示は、図4に示された車両指示部4000及び図6に示された車両指示部6000等の指示部を含む。1つの実装では、動作12060を介して生成される地図表示は、地図表示に隣接している車両状態表示内で複数の車両の中の第1のセットの同じ車両の表示を含む。1つの実装では、車両状態表示は、図7に示された車両マネージャインターフェース7000の車両マネージャ部分7010に類似している。
図13は、本開示による自律走行車の遠隔サポートに関する技術13000のフローチャートである。遠隔サポートのための技術13000の一部又は全ての態様は、図1に示された車両1000、図2に示された車両2100を含む車両、又は図2に示されたコントローラ装置2410を含むコンピュータ装置において実装されてもよい。1つの実装では、遠隔サポートのための技術13000の一部又は全ての態様が、本明細書に記載の一部又は全ての特徴を結合したシステムにおいて実装され得る。
動作13010において、第1の指示部への入力信号に応答して(例えば、車両マネージャが第1の車両に関連付けられる車両指示部をクリックすること)、第1の車両を含む1つ以上の車両に関する遠隔サポートインターフェースが生成されかつ表示される。遠隔サポートインターフェースは、限定されないが、車両(例えば、周囲環境を撮像する車両の外部に搭載されたカメラ)からの少なくとも1つのカメラ画像を含む画像データを表示する。車両の自律操作を修正するために車両マネージャによって送られる命令データの送信は、遠隔サポートインターフェースを介して開始される。1つの実装では、画像データは、第1の車両内の乗客の画像、第1の車両の前方の障害物の画像、及び第1の車両に関連付けられる任意の画像のいずれかを含む。
動作13020において、遠隔サポートインターフェースが生成された、遠隔サポートインターフェースから命令指示を選択するために使用される。遠隔サポートインターフェースは、命令信号が入力され得る入力デバイスに結合され得る。例えば、遠隔サポートインターフェースのオペレータは、限定されないが、各遠隔車両サポートキュー(又は第1のレベルの制御局)内でオペレータが監視している車両の1つに送信することが意図されている「レーン変更」を含む命令を選択し得る。命令は、例えば、前方の複数のレーンの1つを塞いでいる事故があり、現時点でレーンを変更すれば移動時間を節約できることを示し得る車両の状態/状況データに基づいて選択され得る。
動作13030において、限定されないが、移動時間を含むパラメータに悪影響を与え得る第1の車両の現在の経路に関連付けられる障害物を示し得る画像データに基づいて、第1の車両の自律操作を介して決定された現在の経路から逸脱する障害物を迂回して車両を通過させる(又は障害物を完全に回避する)ために新しい経路が決定され得る。この例示は、自律的に機能している第1の車両の制御及び遠隔サポートがどのようにして第1の車両の性能を最適化することができるかを強調している。
動作13040において、生成された新しい経路は、阻害される車両に送信される命令データに含まれ得る。例えば、命令データは、遠隔サポートシステムと監視/サポートされる車両との間の無線ネットワーク(例えば、セルラネットワーク)又は任意の他の通信リンク、システム又はプラットフォームを含むネットワークを介して送信され得る。
動作13050において、同様に車両及び障害物のいずれかに交差する(又はごく接近する)各径路を有する第1の車両以外の他の車両からの状態データが分析される。例えば、第1の車両におけるセンサは、第1の車両又は別の車両を含む外部オブジェクトがいつ交差するかを決定するために使用され得る。複数の車両の全てから収集された(現在のデータ、経路データ等を含む)集合データは、任意の他の車両が同じ障害物によって影響を受ける可能性があるかどうかを決定するためにも利用され得る。
動作13060において、その障害物によって他の車両も影響を受けることが決定される場合、第1の車両以外の少なくとも1つの他の車両に遠隔サポートが提供される。障害物を回避するか又は障害物が除去されるまで待つように少なくとも1つの他の車両の自律操作を修正するための命令データを送信することにより、遠隔サポートが提供され得る。例えば、別の車両を含む外部オブジェクトが車両に交差する経路上にあると決定される場合、車両がその経路を変更する要求をするように命令データが車両に送信され得る。また、命令データは、車両の通過を阻害しないように経路を変更することを要求することを、歩行者及び他の車両を含む外部オブジェクトに示すように、外部スピーカ等の外部通信チャネルを車両が使用するための命令も含み得る。
図14は、本開示による自律走行車の遠隔サポートに関する技術14000のフローチャートである。遠隔サポートのための技術14000の一部又は全ての態様は、図1に示された車両1000、図2に示された車両2100を含む車両、又は図2に示されたコントローラ装置2410を含むコンピュータ装置において実装されてもよい。1つの実装では、遠隔サポートのための技術14000の一部又は全ての態様が、本明細書に記載の一部又は全ての特徴を結合したシステムにおいて実装され得る。
動作14010において、遠隔車両サポート装置は、車両に関する状態(又は状況)データに基づいて、第1の車両を含む車両をランク付けする。第1の車両の状態データは、第1の車両の問題状態を含む。問題状態は、車両、車両乗員及び車両の周りの外部オブジェクト等が正常な動作パラメータ値の中にある場合等の通常状態、乗客の問題、交通の問題、第1の車両の物理的問題、及び第1の車両の自律制御の決定に関する問題のいずれかを示す。
動作14020において、ランク付けに従って配置される複数の指示部を含む表示が生成される。複数の指示部の中の各指示部は、各車両の状態データを表し、複数の車両の各々は、ランク付けに基づいて各遠隔車両サポートキュー(又は車両マネージャによって監視される第1のレベルの制御局)の1つに割り当てられる。各遠隔車両サポートキューは、割り当てられた車両の各指示部を使用して割り当てられた車両に遠隔サポートを提供するように構成される。言い換えれば、各遠隔車両サポートキューは車両のセットを監視し、車両のセットの各車両ごとの各指示部が、遠隔車両サポート装置のインターフェースによって車両指示部フォーマット(図6の車両指示部6000等)で表示される。
動作14030において、第1の車両を表す第1の指示部との相互作用(例えば、オペレータがインターフェース上に表示された第1の指示部を選択又は強調すること)に応答して、車両の中の第1の車両に命令データが送信される。例えば、相互作用は、タッチスクリーンディスプレイにタッチする等の触覚入力、音声コマンド等の聴覚入力、及び光学センサによってキャプチャされるジェスチャ等の視覚入力のいずれかを含み得る。命令データは、第1の車両の自律操作に、利益を提供する(例えば、交通渋滞又は障害物を回避するために新しい移動経路に従う)又は必要である(例えば、燃料補給又はメンテナンスのために車両を基地に戻す)車両の操作の変化を行わせるための命令を含み得る。例えば、命令データは、異なる経路を使用するがより短時間で同じ目的地に到着するように車両の移動経路を変更することができる。
動作14040において、受信した入力に基づいて、タスク過剰であると決定される遠隔車両サポートキューの1つに現在割り当てられている少なくとも1つの車両が、状態データに基づいて、タスク過剰ではないもう1つの遠隔車両サポートキューに割り当てられる。このようにして、複数の遠隔車両サポートキュー間で作業負荷の均衡を取ることができる。別の実装では、車両は、類似した状況及び(遠隔車両サポートキューの各々を監視している)車両マネージャが過去に問題を処理したやり方から得られたフィードバック及び履歴データに基づいて再割り当てされる。例えば、車両マネージャが所定のタイプの遠隔サポート要求に応答していないとレビューされている場合、車両は、その車両マネージャからより良いレビューを有する別の車両マネージャに再割り当てされ得る。さらに、車両は、最も最適化された割り当て構成を決定するための様々なアルゴリズムを利用する機械学習技術を使用して、自動的かつ動的に再割り当てされ得る。
動作14050において、複数の車両の複数の指示部の少なくとも一部が、状態データにおける共有エントリに基づいて表示するためにグループ化される。共有エントリは、限定されないが、移動経路を含み得る。例えば、複数の指示部は、状態データにおける移動経路情報に基づく共有目的地に従ってグループ化され得る。別の例示では、複数の指示部は、優先度又は重要度レベルに基づいてグループ化される。
動作14060において、遠隔車両サポート装置によって、定義地理エリアに対応する地図表示が生成される。地図表示は、複数の指示部を含む表示と同時に(例えば、並んで)生成され得る。地図表示は、定義地理エリア内の車両ごとにアイコンを含んでもよく、アイコンは、表示されている車両の様々な属性(例えば、移動方向、移動期間、燃料レベル等)を含み得る。
図15は、本開示による複数の車両の自律操作の遠隔サポートを提供するための方法15000のフローチャートである。方法15000は、15010において、遠隔車両サポート装置によって、複数の車両に関する状態(又は状況)データを受信するステップを含み、状態データは、複数の車両の現在の状態(又は状況情報)を含む。方法15000は、15020において、遠隔車両サポート装置によって、状態データに基づいて遠隔車両サポートキュー(又は制御局)に複数の車両を割り当てるステップを含む。複数の遠隔車両サポートキューの各々は、複数の車両のサブセットを含み、サブセットは、遠隔車両サポート装置のオペレータ(例えば、車隊マネージャ)によって再割り当てされ得る。
図15では、15030において、遠隔車両サポート装置によって、複数の車両の中の1つの車両が遠隔サポートを要求していることの指示を受信するステップも含む。言い換えれば、遠隔車両サポート装置は、サポート又は支援が要求される複数の車両の中の1つから要求を受信する。遠隔サポート又は支援の要求を受信した後で、状態データの変化が定義パラメータの範囲外で動作していることの決定に応答して、方法15000は、15040において、遠隔車両サポート装置によって、車両に命令データを送信するステップを含む。このように命令データは、車両の自律操作を修正する。命令データは、遠隔車両サポート装置から遠隔サポートの要求を引き起こした問題を車両が克服することを可能にし得る。
本開示の技術は、自律走行車の管理を課せられている遠隔監視システムの複数のオペレータ(例えば、車隊マネージャ及び車両マネージャ等の人間のオペレータ)の間でより効率的に作業負荷を分配する遠隔監視システムを提供する。さらに、本開示の技術は、自律走行車の操作に関するデータ(例えば、監視されている車両に関する鍵状態及び環境及び経路データ)をより効果的に管理することにより、自律及び半自律走行車を積極的に管理するためのやり方を人間のオペレータに提供することができる。遠隔監視システムは、性能の最適化のために生成されて車両に送信される命令データに役立つようにリアルタイム交通データ等の外部データを組み込む。このようにして、特定の交通ネットワークを通る自律走行車の流れが向上し、それにより利用可能な運輸リソースの利用が改善され、乗客の安全性が高まり、乗客及び積荷の定時到着が改善される。
本開示の技術は所定の実施形態との関連で記載されているが、本開示の技術は、開示された実施形態に限定されず、それどころか添付の請求項の範囲内に含まれる様々な修正及び均等な構成をも含むことが意図されており、その範囲は法の下に認められる全てのこのような修正及び均等な構成を包含するように最も広い解釈に一致させられることが理解されるべきである。

Claims (19)

  1. 複数の車両の自律操作の遠隔サポートのためのシステムであって、
    メモリと、
    プロセッサと
    を備え、前記プロセッサは、前記メモリに記憶されている命令を実行して、
    前記複数の車両に関する状態データを受信することであって、前記状態データは前記複数の車両の現在の状態を含むこと、
    前記状態データに基づいて複数の遠隔車両サポートキューに前記複数の車両を割り当てること、
    前記複数の遠隔車両サポートキューに割り当てられる前記複数の車両のセットの各位置の地理的地図を含む地図表示を生成すること、
    前記地図表示に隣接する車両状態表示を生成することであって、前記車両状態表示は、前記複数の遠隔車両サポートキュー、各遠隔車両サポートキューに対応する複数の車両マネージャ指示部、及び各指示部として前記複数の車両のセットに関する前記状態データを含むこと
    前記複数の車両の中の1つの車両が遠隔サポートを要求していることの指示を受信すること、及び
    前記車両の自律操作が定義パラメータ値の範囲外で動作していることを前記状態データの変化が示すことの決定に応答して、前記車両の前記自律操作を修正するための命令データを前記車両に送信すること
    を行うように構成される、システム。
  2. 前記複数の遠隔車両サポートキューは、複数の第1のレベルの制御局を含み、各第1のレベル制御局は、複数の異なる車両に関する前記状態データを受信する、請求項1に記載のシステム。
  3. 前記複数の車両は、第2のレベルの制御局を使用して前記複数の第1のレベルの制御局に割り当てられる、請求項2に記載のシステム。
  4. 前記状態データは、前記複数の車両に関する運動状態データ及び位置データのいずれかを含む、請求項1に記載のシステム。
  5. 前記プロセッサは、前記メモリに記憶されている命令を実行して、
    前記車両の前記状態データを表す第1の指示部への入力信号に応答して、前記車両に関する遠隔サポートインターフェースを表示することであって、前記遠隔サポートインターフェースは、前記車両からの少なくとも1つのカメラ画像を含む画像データに基づいていること
    を行うようにさらに構成される、請求項1に記載のシステム。
  6. 複数の車両の自律操作の遠隔サポートを提供するための方法であって、
    遠隔車両サポート装置によって、前記複数の車両に関する状態データを受信するステップであって、前記状態データは前記複数の車両の現在の状態を含むステップと、
    前記遠隔車両サポート装置によって、前記状態データに基づいて複数の遠隔車両サポートキューに前記複数の車両を割り当てるステップと、
    前記遠隔車両サポート装置によって、前記複数の遠隔車両サポートキューに割り当てられる前記複数の車両のセットの各位置の地理的地図を含む地図表示を生成するステップと、
    前記遠隔車両サポート装置によって、前記地図表示に隣接する車両状態表示を生成するステップであって、前記車両状態表示は、前記複数の遠隔車両サポートキュー、各遠隔車両サポートキューに対応する複数の車両マネージャ指示部、及び各指示部として前記複数の車両のセットに関する前記状態データを含むステップと、
    前記遠隔車両サポート装置によって、前記複数の車両の中の1つの車両が遠隔サポートを要求していることの指示を受信するステップと、
    前記車両の前記自律操作が定義パラメータ値の範囲外で動作していることを前記状態データの変化が示すことの決定に応答して、前記遠隔車両サポート装置によって、前記車両の前記自律操作を修正するための命令データを前記車両に送信するステップと
    を含む、方法。
  7. 前記複数の遠隔車両サポートキューは、複数の第1のレベルの制御局を含み、各第1のレベルの制御局は、複数の異なる車両に関する前記状態データを受信する、請求項6に記載の方法。
  8. 前記指示を受信した後で、前記車両に前記命令データを送信する前に、前記遠隔車両サポート装置の第2のレベルの制御局によって、前記複数の車両に関する前記状態データの変化に応答して、前記複数の第1のレベルの制御局の中の第1の制御局から前記複数の第1のレベルの制御局の中の第2の制御局に前記車両を割り当てるステップであって、前記状態データの変化は、前記第1の制御局に割り当てられる前記複数の車両の各々及び前記第2の制御局に割り当てられる前記複数の車両の各々に関する前記状態データを表示する前記遠隔車両サポート装置への入力に基づくステップ
    をさらに含む、請求項7に記載の方法。
  9. 前記車両の前記状態データを表す第1の指示部への入力信号に応答して、前記車両に関する遠隔サポートインターフェースを表示するステップであって、前記遠隔サポートインターフェースは、前記車両からの少なくとも1つのカメラ画像を含む画像データに基づいており、前記命令データの送信は、前記遠隔サポートインターフェースを介して開始されるステップ
    をさらに含む、請求項6に記載の方法。
  10. 前記少なくとも1つのカメラ画像は、前記車両内の乗員の画像であり、前記命令データの送信は、前記遠隔サポートインターフェースから命令指示部を選択することに基づく、請求項9に記載の方法。
  11. 前記少なくとも1つのカメラ画像は、前記車両に近接している障害物の画像であり、
    前記障害物を回避し、かつ前記車両の前記自律操作により決定される現在の経路から逸脱する新しい経路を決定するステップと、
    前記車両の前記自律操作によって実装される前記新しい経路を前記車両に送信するステップと
    をさらに含む、請求項9に記載の方法。
  12. 前記障害物に近接している前記車両以外の前記複数の車両の中の少なくとも1つの前記状態データを分析するステップと、
    前記複数の車両の中の前記少なくとも1つに前記命令データを送信して、前記複数の車両の中の前記少なくとも1つの前記自律操作を修正することにより、前記複数の車両の前記少なくとも1つに遠隔サポートを提供するステップと
    をさらに含む、請求項11に記載の方法。
  13. 前記遠隔車両サポート装置によって、前記状態データに基づいて、前記複数の車両をランク付けするステップと、
    前記遠隔車両サポート装置によって、前記ランク付けに従って配置される前記各指示部を含む前記車両状態表示を生成するステップであって、前記各指示部の中の各々は、前記複数の車両の中の各々の状態データを表し、前記複数の車両の中の各々は、前記ランク付けに基づいて前記複数の遠隔車両サポートキューの各々に割り当てられ、各遠隔車両サポートキューは、割り当てられた複数の車両の各指示部を使用して遠隔サポートを提供するように構成されるステップと、
    をさらに含む、請求項6に記載の方法。
  14. 前記遠隔車両サポート装置によって、タスク過剰であると決定される前記複数の遠隔車両サポートキューの1つからタスク過剰ではないと決定される別の遠隔車両サポートキューに少なくとも1つの車両を割り当てるステップであって、タスク過剰であることは、割り当てられた車両の前記状態データに基づくステップ
    をさらに含む、請求項13に記載の方法。
  15. 前記命令データは、前記車両の前記自律操作を新しい経路に従わせるための命令を含む、請求項6に記載の方法。
  16. 前記車両の前記状態データは、前記車両の問題状態を含み、前記問題状態は、通常状態、乗客の問題、交通の問題、前記車両の物理的問題、及び前記車両の自律制操作に基づく決定に関する問題のいずれかを示す、請求項6に記載の方法。
  17. 前記地図表示は、前記複数の車両のセットの各々に関するアイコンを含む、請求項6に記載の方法。
  18. 前記状態データにおける共有エントリに基づいて、前記各指示部の少なくとも一部をグループ化するステップ
    をさらに含む、請求項13に記載の方法。
  19. 前記共有エントリは、前記複数の車両に関する移動経路を含む、請求項18に記載の方法。
JP2019528627A 2016-11-30 2017-11-30 問題の状況に対処するための自律走行車の遠隔操作 Active JP6732129B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201662428002P 2016-11-30 2016-11-30
US62/428,002 2016-11-30
PCT/US2017/063821 WO2018102477A1 (en) 2016-11-30 2017-11-30 Tele-operation of autonomous cars to negotiate problem situations

Publications (2)

Publication Number Publication Date
JP2019537155A JP2019537155A (ja) 2019-12-19
JP6732129B2 true JP6732129B2 (ja) 2020-07-29

Family

ID=62242649

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019528627A Active JP6732129B2 (ja) 2016-11-30 2017-11-30 問題の状況に対処するための自律走行車の遠隔操作

Country Status (7)

Country Link
US (2) US10705539B2 (ja)
EP (1) EP3548979B1 (ja)
JP (1) JP6732129B2 (ja)
CN (1) CN110235070B (ja)
BR (1) BR112019010723A2 (ja)
MX (1) MX2019006128A (ja)
WO (1) WO2018102477A1 (ja)

Families Citing this family (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10293818B2 (en) * 2017-03-07 2019-05-21 Uber Technologies, Inc. Teleassistance data prioritization for self-driving vehicles
DE102017207014A1 (de) * 2017-04-26 2018-10-31 Audi Ag Verfahren zur Datenerhebung
CN107589745B (zh) * 2017-09-22 2021-04-16 京东方科技集团股份有限公司 驾驶方法、车载驾驶端、远程驾驶端、设备和存储介质
US10775806B2 (en) * 2017-12-22 2020-09-15 Lyft, Inc. Autonomous-vehicle dispatch based on fleet-level target objectives
CN113460051A (zh) * 2017-12-28 2021-10-01 北京百度网讯科技有限公司 合作式变道控制方法、装置及设备
JP7032950B2 (ja) 2018-02-19 2022-03-09 株式会社デンソーテン 車両遠隔操作装置、車両遠隔操作システム及び車両遠隔操作方法
JP7060418B2 (ja) * 2018-03-15 2022-04-26 株式会社デンソーテン 車両遠隔操作装置及び車両遠隔操作方法
EP3872595B1 (en) * 2018-08-02 2022-11-23 Motional AD LLC Teleoperation of autonomous vehicles
JP7330758B2 (ja) 2018-10-05 2023-08-22 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 情報処理方法、及び、情報処理システム
JP7253446B2 (ja) * 2018-10-05 2023-04-06 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 情報処理方法、及び、情報処理システム
WO2020070941A1 (ja) * 2018-10-05 2020-04-09 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 情報処理方法、及び、情報処理システム
JP7187242B2 (ja) 2018-10-05 2022-12-12 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 情報処理方法、及び、情報処理システム
JP7249879B2 (ja) * 2018-10-05 2023-03-31 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 情報処理方法、及び、情報処理システム
EP3690852A1 (en) * 2019-01-29 2020-08-05 Volkswagen Aktiengesellschaft System, vehicle, network component, apparatuses, methods, and computer programs for a vehicle and a network component
JP2020142760A (ja) * 2019-03-08 2020-09-10 マツダ株式会社 車両用演算システム
WO2020184277A1 (ja) * 2019-03-08 2020-09-17 マツダ株式会社 車両用演算システム
JP7434715B2 (ja) * 2019-03-08 2024-02-21 マツダ株式会社 車両用演算システム
JP7434714B2 (ja) * 2019-03-08 2024-02-21 マツダ株式会社 車両用演算システム
DE102019204941A1 (de) * 2019-04-05 2020-10-08 Robert Bosch Gmbh System zum sicheren teleoperierten Fahren
WO2020206224A1 (en) 2019-04-05 2020-10-08 Kohler Co. Dual fuel generator
JP7140068B2 (ja) * 2019-07-16 2022-09-21 トヨタ自動車株式会社 操作装置
JP7099412B2 (ja) * 2019-07-16 2022-07-12 トヨタ自動車株式会社 車両制御装置及び車両制御システム
US11892835B2 (en) 2019-07-26 2024-02-06 Zoox, Inc. System and method for controlling an autonomous vehicle
WO2021021680A1 (en) * 2019-07-26 2021-02-04 Zoox, Inc. System and method for providing a teleoperation instruction to an autonomous vehicle
WO2021042049A1 (en) * 2019-08-30 2021-03-04 Optimus Ride, Inc. Monitor assignment system and method
EP4080439A4 (en) * 2019-12-16 2023-02-08 Panasonic Intellectual Property Management Co., Ltd. INFORMATION PROCESSING METHOD AND INFORMATION PROCESSING SYSTEM
US11830302B2 (en) 2020-03-24 2023-11-28 Uatc, Llc Computer system for utilizing ultrasonic signals to implement operations for autonomous vehicles
US11722705B2 (en) 2020-03-26 2023-08-08 Toyota Motor Engineering & Manufacturing North America, Inc. Camera support by a vehicular micro cloud for remote driving
WO2021199256A1 (ja) * 2020-03-31 2021-10-07 日本電気株式会社 車両管制システム、装置、方法、及びコンピュータ可読媒体
CN113022540B (zh) * 2020-04-17 2022-11-15 青岛慧拓智能机器有限公司 一种用于多车状态监控的实时远程驾驶系统及方法
WO2023150234A2 (en) * 2022-02-03 2023-08-10 Nuro, Inc. Methods and apparatus for providing teleoperations support
EP4286251A1 (en) 2022-06-03 2023-12-06 Valeo Internal Automotive Software Egypt, a limited liability company Vehicle path planning based on steering angles
WO2023243062A1 (ja) * 2022-06-16 2023-12-21 日本電信電話株式会社 位置情報提供装置、位置情報提供方法及びプログラム
US20240036571A1 (en) * 2022-07-29 2024-02-01 Zoox, Inc. Teleoperations queueing for autonomous vehicles

Family Cites Families (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2001234620A1 (en) 2000-01-28 2001-08-07 Ibeam Broadcasting Corporation Method and apparatus for client-side authentication and stream selection in a content distribution system
CN1834585B (zh) * 2006-05-08 2011-10-19 深圳市赛格导航科技股份有限公司 矿山车辆调度导航系统
JP4899746B2 (ja) 2006-09-22 2012-03-21 日産自動車株式会社 経路案内表示装置
CN101289059B (zh) * 2007-04-17 2010-06-16 林修安 燃料管理方法
SE1150075A1 (sv) * 2011-02-03 2012-08-04 Scania Cv Ab Metod och administrationsenhet i samband med fordonståg
US8886390B2 (en) * 2011-09-22 2014-11-11 Aethon, Inc. Monitoring, diagnostic and tracking tool for autonomous mobile robots
US10031520B2 (en) * 2011-11-08 2018-07-24 The United States Of America, As Represented By The Secretary Of The Navy System and method for predicting an adequate ratio of unmanned vehicles to operators
US8855847B2 (en) 2012-01-20 2014-10-07 Toyota Motor Engineering & Manufacturing North America, Inc. Intelligent navigation system
WO2013128920A1 (ja) 2012-02-27 2013-09-06 ヤマハ発動機株式会社 運転状態共有装置および運転状態共有システム
JP2013196632A (ja) 2012-03-22 2013-09-30 Hitachi Kokusai Electric Inc 通信システム
US10168674B1 (en) * 2013-04-22 2019-01-01 National Technology & Engineering Solutions Of Sandia, Llc System and method for operator control of heterogeneous unmanned system teams
WO2015094807A1 (en) * 2013-12-16 2015-06-25 Contour Hardening, Inc. System and method for control of an electric vehicle
US9720410B2 (en) 2014-03-03 2017-08-01 Waymo Llc Remote assistance for autonomous vehicles in predetermined situations
US9710976B2 (en) * 2014-06-03 2017-07-18 Hyundai Motor Company System and method for transmitting data of a vehicle
US20160050315A1 (en) * 2014-08-14 2016-02-18 Harman International Industries, Incorporated Driver status indicator
US9494935B2 (en) * 2014-11-13 2016-11-15 Toyota Motor Engineering & Manufacturing North America, Inc. Remote operation of autonomous vehicle in unexpected environment
US9310802B1 (en) * 2015-02-05 2016-04-12 Jaybridge Robotics, Inc. Multi-operator, multi-robot control system with automatic vehicle selection
US10345809B2 (en) * 2015-05-13 2019-07-09 Uber Technologies, Inc. Providing remote assistance to an autonomous vehicle
JP5957744B1 (ja) 2015-07-31 2016-07-27 パナソニックIpマネジメント株式会社 運転支援装置、運転支援システム、運転支援方法、運転支援プログラム及び自動運転車両
JP5957745B1 (ja) 2015-07-31 2016-07-27 パナソニックIpマネジメント株式会社 運転支援装置、運転支援システム、運転支援方法、運転支援プログラム及び自動運転車両
US9632502B1 (en) 2015-11-04 2017-04-25 Zoox, Inc. Machine-learning systems and techniques to optimize teleoperation and/or planner decisions
US10401852B2 (en) * 2015-11-04 2019-09-03 Zoox, Inc. Teleoperation system and method for trajectory modification of autonomous vehicles
US10627832B2 (en) * 2016-03-18 2020-04-21 Florida Institute For Human And Machine Cognition, Inc. Object management display
DE102016218012A1 (de) * 2016-09-20 2018-03-22 Volkswagen Aktiengesellschaft Verfahren für eine Datenverarbeitungsanlage zur Erhaltung eines Betriebszustands eines ersten autonomen Fahrzeugs sowie Verfahren für eine Datenverarbeitungsanlage zum Verwalten einer Mehrzahl autonomer Fahrzeuge
US10322722B2 (en) * 2016-10-14 2019-06-18 GM Global Technology Operations LLC Method of controlling an autonomous vehicle
US20190187691A1 (en) 2017-12-18 2019-06-20 Steeringz, Inc. Safety of autonomous vehicles by remote support request
US10501014B2 (en) 2018-03-02 2019-12-10 Uatc, Llc Remote assist feedback system for autonomous vehicles
US10649453B1 (en) 2018-11-15 2020-05-12 Nissan North America, Inc. Introspective autonomous vehicle operational management

Also Published As

Publication number Publication date
CN110235070B (zh) 2020-11-10
MX2019006128A (es) 2020-01-27
EP3548979B1 (en) 2021-06-23
US20200293065A1 (en) 2020-09-17
CN110235070A (zh) 2019-09-13
BR112019010723A2 (pt) 2019-10-01
US10705539B2 (en) 2020-07-07
JP2019537155A (ja) 2019-12-19
US20190278298A1 (en) 2019-09-12
US11307597B2 (en) 2022-04-19
EP3548979A1 (en) 2019-10-09
WO2018102477A1 (en) 2018-06-07
EP3548979A4 (en) 2019-12-04

Similar Documents

Publication Publication Date Title
JP6732129B2 (ja) 問題の状況に対処するための自律走行車の遠隔操作
JP6732130B2 (ja) 自律走行車の遠隔サポートマッピングインターフェース
JP6726363B2 (ja) 生成されたインターフェースを使用する自律走行車の監視
JP2019537159A5 (ja)
EP3948463B1 (en) Teleoperation for exception handling
EP3552358A1 (en) Bandwidth constrained image processing for autonomous vehicles
JP6716792B2 (ja) 自律走行車が問題状況に対処するための解決データの生成
JP2021509992A (ja) 集中型共有自律走行車動作管理
JP2021512304A (ja) 自律走行車のバッチ経路指定のためのコンピュータフレームワーク
US20220063660A1 (en) Drive Mode Selection
EP4187342A1 (en) Teleoperable vehicle and system

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190723

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190723

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20190723

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20191004

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200107

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200323

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200616

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200707

R150 Certificate of patent or registration of utility model

Ref document number: 6732129

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313117

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350