上記で述べたように、車両は、車両の進行を妨げる環境内のオブジェクトを通過するようナビゲートするために、遠隔のエンティティに支援を要求し得る。遠隔のエンティティによる車両の支援を提供することの遅延は、支援が提供されるまで、車両をそこに留まらせる可能性があり、それは、車両の進行を遅らせ得、車両の乗員の体験を損ない、かつ乗員の安全に影響を与え得る。
本出願は、車両から遠隔にあるコンピュータデバイスから、車両に案内を提供するための技術について述べる。いくつかの例では、遠隔操作センターのコンピュータデバイスは、環境を横断する車両からのセンサデータを受信し、車両の経路をブロックする障害物を含む環境における領域を決定し得る。様々な例では、コンピュータデバイスは、ブロックされる領域のインジケーションを車両に送信し得る。車両の車両コンピュータシステムは、コンピュータデバイスからのブロックされる領域のインジケーションを受信することに少なくとも部分的に基づいて、ブロックされる領域(例えば、ブロックされる車線)を回避する車両用の新しい軌道を計画し得る。いくつかの例では、コンピュータデバイスは、車両からの支援を求める要求を受信することに少なくとも部分的に基づいて、ブロックされる領域のインジケーションを車両に送信し得る。しかし、他の例では、コンピュータデバイスは、車両がブロックされた領域に接近していることを識別することにより車両がブロックされた領域に遭遇する前に、(例えば、車両から支援を求める要求を受信することなく)、ブロックされた領域の指示を車両に送信し得る。本明細書で述べられる案内を提供するための技術を用いると、車両は、車両によって使用できるコンピュータデバイスからブロックされた領域の案内情報を受信してよく、環境内のブロックされた領域を、迅速におよび/または先制して回避し、それにより、車両の安全性を向上させる。
様々な例では、コンピュータデバイスのユーザインターフェースは、環境の1つまたは複数の領域がブロックされる領域(車両が通過できない)として注釈を付すことのできるコントロールを人間の遠隔操作者または管理者に対して提示する。ユーザインターフェースは、ブロックすべき領域の1つまたは複数の提案を含み得る。いくつかの例では、ブロックされる領域(例えば、道路におけるブロックされる車線、道路における建設ソーン、車両の視線を越える領域など)のインジケーションは、ブロックされる領域を車両が安全に通過するのをガイドするのに使用するために、コンピュータデバイスから車両に送信され得る。提案されるブロックすべき領域を提供し、かつ提案されるブロックすべき領域の選択または確認を可能にするユーザインターフェースを出力することにより、本明細書で述べられる技術は、従来の案内技術(例えば、妨げられた領域を手動で指定すること、または車両がブロックされた領域を迂回するためのルートを入力するなど)に対して、車両に案内を提供するために要する時間量を低減し得る。これは、車両がブロックされた領域をよけるための支援を待っている可能性がある時間量を低減することにより、車両の安全性を向上させる。加えて、本明細書で述べられる技術は、遠隔操作者または管理者が、従来の案内技術を用いて可能であったものよりも多くの車両を監視またはサポートすることを与え得る。
いくつかの例では、車両は、自律的または半自律的な車両を含んでよく、ナビゲートするのが困難なシナリオ(例えば、計画者が、運転ポリシのセット、またはその他のものに従ってルートを計画できないもの)に遭遇することに基づいて、コンピュータデバイスに支援を求めるように構成された車両コンピュータシステムを含み得る。例であり、限定するものではないが、自律車両は、並列駐車しながら道路の車線をブロックしている車両に接近し得る。いくつかの状況においては、その車両が、並列駐車をしている、二重駐車をしている、または壊れているかどうか、状況からは明確ではない可能性がある。その場合、自律車両は、ブロックしている車両を通過するために支援を求めてよく、その要求に基づいて、ブロックされた車線または他の領域のインジケーション(例えば、道路セグメント識別、車線番号、車線識別、ブロックされた領域の開始点、ブロックされた領域の長さ、および以下同様のもの)を受信し得る。いくつかの例では、コンピュータデバイスは、通常は、車両に対して利用可能ではない(例えば、対向車線、バイク車線、肩部など)が、車両が障害物を横断するために使用できるエリアを識別することにより、案内を提供し得る。しかし、他の例では、コンピュータデバイスは、車両のいずれかからの明示的な要求がなく(例えば、支援を求める要求を受信することなく)、1つまたは複数の車両に対する案内を提供し得る。
いくつかの例では、コンピュータデバイスのユーザインターフェースは、車両から受信されたセンサデータに少なくとも部分的に基づいて、環境における車両の表現(モデル、シミュレーション、推定された状態、および同様のもの)を出力し得る。例えば、コンピュータデバイスは、少なくとも部分的に車両のセンサデータに基づいて、ブロックすべき1つまたは複数の提案される領域を決定してよく、車両の位置に対して、ブロックすべき1つまたは複数の提案される領域をユーザインターフェースに提示し得る。様々な例では、車両は、少なくとも部分的に障害物を示すセンサデータに基づいて、ブロックすべき1つまたは複数の提案される領域を決定してよく、かつ1つまたは複数の提案されるブロックすべき領域のインジケーションをコンピュータデバイスに伝達する。いくつかの例では、コンピュータデバイスのユーザインターフェースは、提案された領域の1つをブロックされる領域として確認するユーザ入力を受信するように構成され得る。1つまたは複数の提案されるブロックすべき領域を出力することにより、遠隔操作者または他の管理者は、提案されるブロックすべき領域の中から、ブロックすべき領域を迅速に選択もしくは確認することができてよく、および/または提案される領域をブロックするように迅速に変更してよく、それにより、ブロックされる環境の領域を人が手動で決定することを必要とする典型的な技術に対して、案内をより迅速に車両に提供する、それは、車両のインジケーションが、環境内でなお移動しているとき(車両がなお障害物に接近している場合)は特にそうである。様々な例において、ブロックされる領域に関する情報は、提案された領域を、ブロックされる領域であると確認するユーザ入力に少なくとも部分的に基づいて、コンピュータデバイスから車両に伝達され得る。この方法では、車両が従うべき軌道を計画するとき、車両は、ブロックされる領域を示す案内が迅速に提供され得る。さらに本明細書で述べられる案内技術を実施することにより、車両は、車両インジケータが、ユーザインターフェースにおいて示された環境の表現における位置を変えた場合であっても、支援を受信することができる(例えば、車両のプランナがブロックされた領域を考慮する新しい経路を計画できるようにするために使用可能なブロックされた領域のインジケーションを受信する)。
いくつかの例では、車両は、環境内をナビゲートしている間、1つまたは複数のセンサを用いて、1つまたは複数のオブジェクトおよび/または領域を検出し得る。例えば、オブジェクトは、静的なオブジェクト(例えば、建物、橋、標識など)、および他の車両(例えば、自動車、トラック、オートバイ、原付自転車など)、歩行者、自転車に乗る人、または同様のものなどの動的なオブジェクトを含み得る。様々な例では、車両は、運転できない表面(例えば、大きな路面のくぼみ、浸水した道路、建設ゾーンなど)の領域を検出し得る。いくつかの例では、オブジェクトおよび/または領域は、車両のセンサ(例えば、カメラ、動き検出器、ライダーセンサ、レーダーセンサなど)からのセンサデータに基づいて検出され得る。さらに別の例では、オブジェクトおよび/または領域は、例えば、別の車両に関連付けられたセンサ、または複数の車両とデータを共用するように構成された環境内に存在するセンサなど、遠隔センサから受信されたセンサデータに基づいて検出され得る。検出されたオブジェクトおよび/または領域を表すセンサデータは、コンピュータデバイス(例えば、自律車両の群に対する遠隔操作センターなど)と通信され得る。様々な例では、センサデータは、車両の進行を妨げる可能性のある検出されたオブジェクトおよび/または領域を含む、車両が動作する環境を表し得る。したがって、コンピュータデバイスは、少なくともセンサデータに基づいて、環境を表す1つまたは複数のモデルを出力し得る。
コンピュータデバイスは、いくつかの例では、センサデータに少なくとも部分的に基づいて、車両の経路に沿った環境において、提案されるブロックすべき領域を決定し得る。様々な例では、コンピュータデバイスのユーザインターフェースは、提案されるブロックすべき領域(例えば、道路の車線、道路の多数の車線、道路の車線の一部など)を提示し得る。例であり、限定するものではないが、車両が、道路において、停止した車両または他のオブジェクトに接近しているときの例では、コンピュータデバイスは、ユーザインターフェース上に、提案されるブロックすべき領域を提示することができ、環境を表すモデルを示し得る。
いくつかの例では、コンピュータデバイスは、提案されるブロックすべき領域をブロックされる領域(例えば、ブロックされる車線)として選択することを確認するユーザ入力を受信し得る。例えば、遠隔の操作者(例えば、遠隔操作者、および/または遠隔からロボットをガイドするように訓練された熟練者など)は、ユーザインターフェースからコントロールを選択し、提案される領域をブロックされる領域として確認し得る。いくつかの例では、遠隔の操作者は、ブロックされる領域になる領域のサイズを変更(増やすまたは減らす)し得る(例えば、提案されるブロックすべき領域の幅および/または長さを調整する)。様々な例では、遠隔の操作者により、提案されるブロックすべき領域が選択された後、ユーザインターフェース上の視覚的な表現は、領域がいまやブロックされたことを反映するように変更され得る(例えば、選択されていないときの提案されるブロックすべき領域に対する第1の表現と、選択され/確認された後のブロックされる領域に対する第2の表現との間で変化する)。いくつかの例では、ブロックされる領域に対する第2の表現は、提案されるブロックすべき領域に対する第1の表現とは異なるサイズ(例えば、より長い、短い、広い、狭いなど)とされ得る。例えば、ブロックされる領域に対する開始位置を、少なくとも部分的に車両の速度に基づいて調整されてよく、ブロックされる領域が、ユーザインターフェースにおいて、車両の正面に十分に距離をおいて出現するようにし、障害物により停止する前にブロックされた領域をよける方法を車両が計画することを与える。
いくつかの例では、ブロックされる領域として、提案されるブロックすべき領域の選択を確認するユーザ入力を受信することは、コンピュータデバイスの操作者による動きを必要とせずに、ブロックされる領域のインジケーションを車両に送信させ得る。この方法では、コンピュータデバイスは、ブロックされる領域のインジケーションを、さらなるユーザ入力を必要とせずに、車両へと送信し得る。様々な例では、提案されるブロックすべき領域をブロックされる領域として選択することを確認するユーザ入力を受信することは、ブロックされる領域の指示を、自律車両の群のうちの別の車両に送信させ得る。ブロックされる領域は、いくつかの例では、自律車両の群に利用可能に作られるマップに記憶され得る。
いくつかの例では、コンピュータデバイスは、車両から支援を求める要求を受信してよく、車両からの支援を求める要求に少なくとも部分的に基づいて、環境内で提案されるブロックすべき領域を決定し得る。しかしながら、他の例では、提案されるブロックすべき領域は、車両からの支援を求める要求を受信することとは独立して決定され得る。例えば、コンピュータデバイスは、環境内において提案されるブロックすべき領域を決定し、かつ/またはブロックされる領域の近傍で動作している1つまたは複数の車両に対する安全性を向上させるために、先行して、ブロックされる領域のインジケーションを1つまたは複数の車両へと送信する。いくつかの例では、ブロックされる領域のインジケーションは、環境内で、車両がどのようにナビゲートするか(オブジェクトを回避する、かつ/またはオブジェクトと相互作用する)を向上させるために、車両コンピュータシステムの計画コンポーネントによって使用され得る。
様々な例では、多数の領域が、ユーザインターフェースにより実質的に同時に、および/または連続してブロックされてよく、車両に、多様なブロックされる領域の多数のインジケーションを提供し、車両を支援する。例えば、第1の領域がブロックされた後、車両は、環境をナビゲートし得るが、さらに提案されるブロックすべき領域が、ブロックに対して遠隔の操作者により検討される。この方法では、コンピュータデバイスは、多数のブロックされる領域(多数のブロックされる車線)を決定してよく、そのインジケーションを車両に送信し得る(車両が、コンピュータデバイスに支援を求める要求を送るかどうかにかかわらず)。
いくつかの例では、コンピュータデバイスは、車両が、ブロックされた領域を通過するのを明示的にガイドするために、車両に対して命令を提供し得る。例えば、コンピュータデバイスは、車両に対する軌道を決定してよく、車両がブロックされた領域を回避するように、その軌道を車両に提供し得る。さらに、またはあるいは、コンピュータデバイスは、車両の権限を得て、コンピュータデバイスにより車両を制御してよく、ブロックされた領域を車両が成功裏に通過するようにガイドした後、および/または車両によって案内が受信されたことを確認した後、制御をやめ得る。しかし、また他の例で前述したように、ブロックされる領域のインジケーションは、車両コンピュータシステムによって使用されるように車両へと送信され、ブロックされる領域を通過するよう車両をガイドし得る。
ブロックされた領域は、様々な方法で除外される、またはブロックが解除され得る。例えば、コンピュータデバイスの遠隔操作者は、1つまたは複数のブロックされた領域を除外するように構成されたコントロールを選択し得る。このような例では、コントロールの選択は、ブロックされた領域または多数のブロックされた領域のブロックを解除することを確認し得る。他の例では、ブロックされた領域は、ブロックされた領域を通過する車両に少なくとも部分的に基づいて、ブロック解除領域へと変更され得る。さらに他の例では、ブロックされた領域をブロック解除領域へと変更することは、ブロックされた領域を除去するように更新された自律車両の群により使用できる全体マップに基づき得る。いくつかの例では、群内にある車両は、ブロックされた領域を除外するように推奨してよく(例えば、コンピュータデバイスに要求を送る)、遠隔操作者は、コンピュータデバイスのユーザインターフェースに示されたコントロールを用いて、領域のブロック解除を確認し得る。さらに別の例では、車両の車両コンピュータシステムは、ブロックされた領域を除外してよく、その変更をコンピュータデバイスに伝達し得る。様々な例では、ブロックされた領域は、車両と車両から遠隔にあるコンピュータデバイスとの間のネットワーク接続の損失に少なくとも部分的に基づいて、ブロック解除領域に変更され得る。
本明細書で論じられる技術は、いくつかの方法で、コンピュータデバイスの機能を向上させ得る。従来、遠隔支援は、ブロックされる領域の回避を行うために車両に対して新しいルートを決定することを含む(いくつかの場合、遠隔の操作者は、ユーザインターフェース上に経路を描く)。しかし、従来の手法を用いる車両に対して新しいルートを決定する(経路を描く)ことは、領域をブロックし、ブロックされる領域に関する情報を車両と共用することよりも時間がかかる。提案される領域をブロックできるようにするユーザインターフェースを出力することにより、人間の操作者が、車両がブロックされる領域をよけて通るための経路を描く従来の手法に対して、車両を支援する時間が短縮される。これは、車両が、普通であれば、ブロックされる領域に起因して環境内をナビゲートできない時間量を低減することにより、車両の安全性を向上させ得る。
本明細書で論じられる技術はまた、1つまたは複数のブロックされる領域のインジケーションを出力することにより、車両コンピューティングシステムの機能を向上させ得る。いくつかの例では、コンピュータデバイスは、車両が、まだ環境内を移動している間に、ブロック領域に関する情報を車両と共用することにより、安全性を向上させ得る。その結果、車両に関連付けられた車両コンピューティングシステムは、ブロックされる領域を識別する計画の考慮事項を利用することにより、車両の動作を制御することができる。本明細書で述べられる案内技術を実施することにより、車両は、典型的な手法より短い時間で、支援を受信してよく、それにより、車両を、ブロックされる領域をよけてナビゲートさせるようにする。
本明細書で述べられる技術は、いくつかの方法で実施され得る。例示的な実装形態は、添付図を参照して以下で提供される。自律車両のコンテキストで論じられるが、本明細書で述べられる方法、装置、およびシステムは、様々なシステムに適用されてよく(例えば、手動で運転される車両、センサシステム、またはロボットプラットホーム)、自律車両に限定されない。別の例では、本技術は、航空もしくは航海分野で、またはマシンビジョンを用いる任意のシステム(例えば、画像データを用いるシステム)で利用され得る。コンピュータデバイスは、環境の1つまたは複数の領域が、ブロックされる領域(例えば、車両の進行を妨げる領域および/または障害物)として確認され得るユーザインターフェースを含み得る。
図1は、環境を横断する車両の例示的な表現を示す、ブロックされる車線に対する案内を提供するための案内コンポーネントの例示的なユーザインターフェース104の図である。概して、ユーザインターフェース104は、コンピュータデバイスが、環境のナビゲーション中に車両を支援することにより、ガイドされ得る(例えば、制御される、かつ/または情報が提供される)環境における車両の外観図を提供する。
図1で示されるように、1つまたは複数のコンピュータデバイス102は、ユーザインターフェース104および案内コンポーネント106を備える。図1の例で示されるように、ユーザインターフェース104は、ユーザ入力の受信に基づいて様々な機能を呼び出すためのコントロール108(1)、108(2)、108(3)、以下同様のもの(総称的に「コントロール108」と呼ばれる)と、環境内を横断する各車両を表す車両インジケータ110(1)および110(2)とを含む。例えば、車両インジケータ110(1)および110(2)が、各車両による位置および/または動きを示すために環境表現内に出現する。いくつかの例では、車両は、コンピュータデバイス102に支援を求める要求を送ることができ、車両を表す車両インジケータ110(1)または110(2)は、支援を求める要求のインジケーションを提供することになる(例えば、車両インジケータまたは関連するコントロールの注釈または外観を変更することにより)。この方法では、遠隔の操作者は、いくつかの例では、コンピュータデバイス102に、支援を開始させるために、コントロール108のうちの1つを選択することにより、車両に案内を提供し得る(例えば、車両を制御する、車両に対する細部を出力する、車両からセンサデータを受信するなど)。
コンピュータデバイス102は、群内の1つまたは複数の自律車両に対して遠隔支援を提供し得る遠隔操作センターに含まれ得る。いくつかの例では、遠隔操作センターは、車両からの支援を求める要求に応じて、車両に案内を提供し得る。遠隔操作者にいつ接触するかを決定するさらなる詳細、ならびに遠隔操作者から受信された命令を用いて自律車両をナビゲートするための技術は、「Techniques for Contacting a Teleoperator」と題する2019年6月28日に出願された特許文献1で述べられており、それは、参照により本明細書に組み込まれる。遠隔操作者から受信された命令を用いて自律車両をナビゲートするさらなる詳細は、「Techniques for Navigating Vehicles using Teleoperations Instructions」と題する2019年6月28に出願された特許文献2でさらに述べられており、それは、参照により本明細書に組み込まれる。
様々な例では、案内コンポーネント106は、環境内の1つまたは複数の車両に関連付けられたセンサデータを受信し得る。概して、案内コンポーネント106は、提案されるブロックすべき領域を決定し、提案されるブロックすべき領域の選択を確認するユーザ入力に少なくとも部分的に基づいて、ブロックされる領域のインジケーションを提供するように構成され得る。いくつかの例では、ユーザインターフェース104は、案内コンポーネント106の一部として、ブロックされる車線に関する案内を提供することが含まれ得る。
前述のように、ユーザインターフェース104は、ユーザ入力に基づいて異なる機能を呼び出すためのコントロール108の1つを含み得る。いくつかの例では、コントロール108の1つは、環境内の車両に関連付けることができ、選択された場合、以下の図2を含むいずれかで論じられるように、車両に関する詳細が新しいユーザインターフェースに現れるようにさせ得る。さらに他の例では、車両インジケータ110(1)または110(2)の一方を選択することに応じて、車両に関する細部が新しいユーザインターフェースにおいて示され得る。概して、コントロール108、および/または車両インジケータ110(1)および110(2)は、支援を求める要求が受信されていることの視覚的なインジケーションを提供し得る(例えば、車両インジケータは、色、フラッシュ、および同様のものを変え得る)。いくつかの例では、支援を求める要求は、障害物(ブロックされた車線)に接近している、障害物により進むことができない車両に関する可能性がある。様々な例では、車両からのセンサデータは、支援を求める要求の一部として、コンピュータデバイス102に提供される。様々な例では、1つまたは複数の車両からのセンサデータは、(例えば、遠隔操作センターの)コンピュータデバイス102がユーザインターフェース104における環境を乱すことに関するデータを維持し、処理し、かつ/または出力するために、定期的にコンピュータデバイス102により受信され得る。
いくつかの例では、コンピュータデバイス102により受信されるセンサデータは、車両が、渋滞を生ずる領域に接近していることを示し得る。このような例では、関連する車両インジケータ110は、車両からの支援を求める要求を受信することなく、車両が支援を必要としているという視覚的なインジケーションを提供し得る。
図2は、例示的な環境を横断する車両202の例示的な表現を示すブロックされる領域に対する案内を提供するための案内コンポーネントの別の例示的なユーザインターフェース200の図である。いくつかの例では、ユーザインターフェース200は、車両202をガイドするために、図1のコントロール108のうちの1つのユーザ入力を受信したことに少なくとも部分的に基づいて提示され得る。
いくつかの例では、ユーザインターフェース200は、車両202のセンサに関連付けられたセンサデータに少なくとも部分的に基づいた1つまたは複数の画像を含む第1の部分204、および/または車両202のセンサに関連付けられたセンサデータに少なくとも部分的に基づいた環境のモデルを含む第2の部分206を含み得る。図2で示されるように、ユーザインターフェースは、そのいくつかをあげれば、車両202に対する経路を計画する、車両202を制御する、かつ/または環境の領域をブロックするためのコントロール208(1)、208(2)、208(3)、および同様のもの(総称的に「コントロール208」と呼ばれる)をさらに含み得る。いくつかの例では、ユーザインターフェース200はまた、車両202に関する情報210(例えば、速度、移動方向、ステアリング角、照明、音声、および同様のものなど)、および/または車線もしくは経路に対する移動方向を示すインジケータ212を提供し得る。ユーザインターフェース200は、車両202が目的地へと移動してよく、環境の一部を表す道路セグメント214を備えるものとしてさらに示される。いくつかの例では、インジケータ212は、道路セグメント214に対する車両202の移動方向、および/または車線の移動方向の視覚的なインジケーションを表し得る。
概して、ユーザインターフェース200の第1の部分204および第2の部分206は、車両202がナビゲートし得る環境の別のモデルを表してよい。いくつかの例では、コンピュータデバイスに関連付けられた遠隔の操作者(例えば、遠隔操作者および/またはロボットを遠隔にガイドするように訓練された熟練者)は、車両202の現在の車線に到来する障害物を識別するために、環境のモデルの1つまたは複数のものを使用してよい。例であり、限定するものではないが、遠隔の操作者は、車両202を一時的にガイドするために、経路、ルート、軌道、および同様のものを提供することを含む車両202の動作を制御し得る。例えば、遠隔の操作者は、車両202からの支援を求める要求に少なくとも部分的に基づいて、車両202の動作を制御し、かつ車両202がブロックされた領域を過ぎるようにガイドした後、車両202の制御をやめ得る。自律車両にガイドを提供する権限を操作者に付与すること、権限を操作者間で移行すること、およびどの操作者が権限を有するか追跡することに関するさらなる詳細は、「Autonomous Vehicle Guidance Authority Framework」と題する2018年11月8日に出願された特許文献3で述べられており、それは、参照により、本明細書に組み込まれる。
上記のように、いくつかの例では、第1の部分204は、車両202のセンサに関連付けられたセンサデータに少なくとも部分的に基づいた1つまたは複数の画像を含み得る。このような例では、1つまたは複数の画像は、車両202における車両コンピュータシステムの知覚システムにより取り込まれた場面を表し得る。図2で示されるように、多様な画像は、いくつかの例を挙げると、車両、歩行者、自転車に乗る人、および建物など、検出されたオブジェクトを含む、車両202の周囲の様々な場面(正面、後面、右側、および左側)を伝え得る。概して、ユーザインターフェース200の第1の部分204は、遠隔の操作者が、車両202の周囲を理解できるための十分な品質を有する画像(静止画像および/またはビデオ)を含む。第1の部分204で示されるように、コントロール(+、-)が、第1の部分204における様々な視点の1つまたは複数のものにおける画像をズームインおよび/またはズームアウトするために、ユーザインターフェース200に設けられ得る。様々な例では、遠隔の操作者は、環境内における車両202とオブジェクトの間の相互作用、および/または様々なオブジェクトの間の相互作用間に対する状況を決定し得る。
加えて、またはあるいは、ユーザインターフェース200の第2の部分206は、環境内で相互作用する車両202を示すモデルを含んでよく、ユーザインターフェース200の第1の部分204における1つまたは複数の画像に関連付けられ得る(例えば、同様の場面を表す)。いくつかの例では、車両202からのセンサデータは、環境内における車両202の場所および/または方向を連続的に決定してよく(例えば、車両の定位コンポーネントを用いて)、オブジェクトを連続的に検出し得る。図2で示されるように、車両202は、進行を妨げる障害物に遭遇することなく、第1の場所から第2の場所へと道路セグメント214(例えば、道路の車線)に沿って移動し得る。道路セグメント214は、道路セグメントの属性(例えば、開始点、終了点、道路状態、道路セグメント識別、車線番号、および同様のものなど)を記述するマップ特徴データに関連付けられ得る。道路セグメント214の属性のいくつかまたはすべては、道路セグメント214(またはその一部)がブロックされる領域になる場合、車両に送信され得る。道路セグメント214は、いくつかの例では、安全マージンに関連付けられた通路(corridor)に関連付けられ得る。例えば、コンピュータデバイスは、運転可能な表面を決定し、通路を決定してよく、オブジェクトを検出、および/またはオブジェクトを通路へと融合する。このような例では、車両202に対する安全マージンは、検出されたオブジェクトの通路への融合中に作成される。自律車両に対する通路を決定するさらなる詳細は、「Drive Envelope Determination」と題する2018年5月17日に出願された特許文献4で述べられており、それは、参照により本明細書に組み込まれる。自律車両に対する運転可能なエリアを決定するさらなる詳細は、「Vehicle Trajectory Modification For Following」と題する2018年11月5日に出願された特許文献5で述べられており、それは、参照により本明細書に組み込まれる。
図3は、例示的な環境を横断する図2の車両202の例示的な表現を示す、ブロックされる領域に対する案内を提供するための案内コンポーネントのさらに別の例示的なユーザインターフェース300の図である。
ユーザインターフェース300の第1の部分204および第2の部分206で示されるように、車両202は、車両202が移動している車線を少なくとも部分的にブロックしている検出されたオブジェクト302(別の車両)に接近している。図3は、車両の周囲の例示的な集中的な領域をさらに示しており、車両202に対するオブジェクトの距離を示す。いくつかの例では、ユーザインターフェース300は、環境内において、領域のブロックを開始するためのコントロール304を提供し得る。
いくつかの例では、遠隔の操作者は、車両202が単に車両コンピュータシステムにより動作されるのではなく、遠隔の操作者に車両202の制御を行わせるコントロール(例えば、コントロール208(2))を選択し得る。このような例では、車両202は、環境内の領域が、ユーザインターフェース300によりブロックされる前に、ユーザインターフェース300により制御され得る。例えば、検出されたオブジェクト302を回避するために、ステアリング、加速、制動、および同様のものを制御するコントロール208(3)は、車両に対する経路を構築し得る。非限定的な一例では、コントロール208の1つは、ユーザインターフェース300の第1の部分204で提示された画像に基づいて、および/またはユーザインターフェース300の第2の部分206における環境のモデルに基づいて、車両に対するルートを計画するために使用され得る。進むのが困難な環境内で動作する車両に対して、増分的な案内を遠隔的に提供するさらなる詳細は、「Remote Vehicle Guidance」と題する2019年6月28日に出願された特許文献6で述べられており、それは、参照により本明細書に組み込まれる。進むのが困難な環境において動作する車両に、増分的な案内を遠隔から提供するさらなる詳細は、「Vehicle Control and Guidance」と題する2019年6月28日に出願された特許文献7で述べられており、それは、参照により本明細書に組み込まれる。しかしながら、他の例では、遠隔の操作者は、以下のいずれかでより詳細に論じられるように、車線をブロックされる車線として指定させるなど、車両202を明示的に制御することなく、ブロックされる領域の周囲で車両202を進ませるための支援を提供し得る。
図4は、本明細書で述べられるブロックされる領域案内技術を実施するための例示的なユーザインターフェース400の図である。図4に関して論じられる例は、図3で述べられたブロックされる領域の例など、環境を横断する間に、障害物に接近する車両に少なくとも部分的に基付き得る。ユーザインターフェース400は、明確化のため、ユーザインターフェースの第1の部分および第2の部分からの細部は除外している。
図4で示されるように、ユーザインターフェース400は、図2の車両202の正面に提案されるブロックすべき領域402、ならびにコントロール404および406を備える。車両の正面にあるように図4で示されているが、他の例では、提案されるブロックすべき領域402は、車両の後方、および/またはいずれかの側としてよい。様々な例では、コントロール404は、提案されるブロックすべき領域402をブロックされる領域であると確認するユーザ入力を受信し得る。コントロール406は、いくつかの例では、ブロックされる領域を削除する(領域のブロックを解除する)ユーザ入力を受信するように構成され得る。
いくつかの例では、提案されるブロックすべき領域402は、車両に関連付けられたセンサデータに少なくとも部分的に基づいて、コンピュータデバイスにより決定され得る。例えば、コンピュータデバイスは、環境を表す特徴を記憶しているマップに少なくとも部分的に基づいて提示するために、提案されるブロックすべき領域402のサイズ、および/または提案されるブロックすべき領域402の形状を決定し得る。ユーザインターフェース400に関連付けられたコンピュータシステムは、様々な例では、提案されるブロックすべき領域402を決定してよく、任意選択で、ユーザインターフェース300において、提案されるブロックすべき領域402を提示し得る。様々な例では、コンピュータデバイスは、領域をブロックする要求を示すコントロール404の選択に応じて、ユーザインターフェース400に、提案されるブロックすべき領域402を提示し得る。
加えて、またはあるいは、提案されるブロックすべき領域402は、車両に関連付けられたセンサデータに少なくとも部分的に基づいて、車両により決定され得る。例えば、センサデータは、オブジェクトおよび/または通行できない領域による障害を示してよく、提案されるブロックすべき領域402のインジケーションをコンピュータデバイスに伝え得る。このような例では、遠隔操作者は、ブロックされる領域として車両により提供された提案されるブロックすべき領域402を確認し得る。さらに他の例では、車両および/または遠隔操作センターにおけるコンピュータデバイスの機械学習されたモデルは、提案されるブロックすべき領域402をブロックされる領域として確認し得る(車両により決定されたか、または遠隔操作センターのコンピュータデバイスにより決定されたかにかかわらず)。
様々な例では、提案されるブロックすべき領域402は、道路セグメント(道路セグメント214)、道路におけるブロックされる車線、道路における建設ゾーン、および/または車両の視線を越えた領域(例えば、地平線により)に関連付けられた領域に少なくとも部分的に基づいて決定され得る。例えば、コンピュータシステムは、提案されるブロックすべき領域402を、車両202の現在位置から延びている車線として、および/または道路セグメント214(マップ特徴データにより画定されたセグメント)として決定され得る。しかしながら、他の例では、提案されるブロックすべき領域402は、コンピュータデバイスにより、車両に隣接する車線(例えば、車両が走行する車線以外の車線など)として決定され得る。
いくつかの例では、領域は、ブロックするのに適した領域である領域に少なくとも部分的に基づいて、提案されるブロックすべき領域402として提示され得る。例えば、領域は、1つまたは複数の要因(例えば、領域が短すぎる、領域が他の領域にリンクされていない、領域は通行できないなど)に基づいて、ブロックするのに適してはいない可能性がある。いくつかの例では、ブロックするのに適していない領域が、提案される(ブロックすべき領域とは異なる)ブロックを利用できないことを反映させる視覚的なインジケータを用いて提示され得る。他の例では、ブロックするのに適していない領域、および/または音声の合図は、ユーザインターフェース400において提示されなくてよい。さらに他の例では、ブロックするのに適していない領域をブロックする試みに応じて、視覚的なインジケータが、ユーザインターフェース400に提示され得る。例えば、ユーザインターフェース400は、適していない領域のユーザ入力を受信してよく、受信されたユーザ入力に基づいて、その領域がブロックするには適していないことを示す通知を出力する。
いくつかの例では、提案されるブロックすべき領域402は、選択可能な領域として構成されてよく、それは、遠隔の操作者によって選択された(例えば、タップされた)場合、提案されるブロックすべき領域402をブロックされる領域であると確認する(上記のコントロール404とは反対に)。
いくつかの例では、遠隔の操作者は、提案されるブロックすべき領域402の特徴(開始点、終了点、長さ、幅、および同様のものなど)を調整し得る。例えば、遠隔の操作者は、ユーザインターフェース400内における提案されるブロックすべき領域のサイズ、および/または提案されるブロックすべき領域の形状を調整し得る。この方法では、遠隔の操作者は、車両の車両コンピュータシステムによって決定できない提案されるブロックすべき領域402の特徴を識別し得る。例であり、限定するものではないが、道路の車線の幅は、ブロックされるべき他の車線の部分を示すために、別の車線(隣接する車線および/または対向車線)の一部へと広げられ得る。様々な例では、ブロックされる領域のサイズ、および/またはブロックされる領域への距離が、車両により横断するのに、車線の部分が利用できる/利用できない場合の変化に対して調整するために、短縮化される、かつ/または長くされ得る。例えば、提案されるブロックすべき領域および/またはブロックされる領域のサイズは、車線に対する識別に関連付けられた(マップに関連付けられたデータで指定された)長さよりも短く短縮され得る。いくつかの例では、提案されるブロックすべき領域402の特徴を調整することは、提案されるブロックすべき領域402がユーザインターフェースに提示されている間に、および/または提案されるブロックすべき領域402が、ブロックされる領域として選択された後に実施され得る。
様々な例では、コンピュータデバイスの遠隔の操作者は、車両に対する制御をやめる(コンピュータデバイスが車両の制御を行うときの例)前に、および/またはブロックされる領域のインジケーションを車両に送信する(コンピュータデバイスが先行する支援を提供するときの例)前に、さらなる提案されるブロックすべき領域402の選択を続けてよい。
いくつかの例では、コンピュータデバイスは、通常、車両が利用できない可能性のあるエリア(例えば、対向車線、バイク車線、肩部など)であり、車両が障害物を横断するために使用できるエリアを識別することにより、案内を提供し得る。このような例では、利用可能なエリアのインジケーションが、ブロックされる領域のインジケーションの部分として車両に提供され得る。例えば、バイク車線または対向車線の一部は、遠隔の操作者により通行可能であると識別され、コンピュータデバイスにより、ブロックされる領域を横断するために、車両に送信され得る。したがって、遠隔の操作者は、通常は車両に利用できないエリアを使用するために、道路セグメントまたは車線に関連付けられた(車両によるアクセスを禁止する)ポリシを無効にし得る。
いくつかの例では、ユーザインターフェース400は、ブロックされた領域を除外する(領域のブロックを解除する)ために、コントロール406からのユーザ入力を受信するように構成され得る。加えて、またはあるいは、ユーザインターフェース400は、コントロール208(2)からのユーザ入力を受信し、車両の制御をやめ、コンピュータデバイスによる制御中に決定された1つまたは複数のブロックされる領域を除外するように構成され得る。
ユーザインターフェース400は、車両の位置に基づいて、領域をブロックする要求を示すコントロール404を使用可能にし、かつ使用不能にするように構成され得る。例えば、車両202が、前方にブロックされる領域を含む車線にある場合、コントロール404は、その領域はすでにブロックされているため、使用不能にされ得る。しかし、いくつかの例では、車両が、ブロックするのに適した車線へと車線変更をしたとき、コントロール404は使用可能にされ得る。いくつかの例では、領域(例えば、道路の車線、道路セグメント、および同様のものなど)は、ブロックするには不適格である可能性があり、このような不適格の領域をブロックするための試みは、ユーザインターフェース400により、様々な視覚的、および/または音声の合図を受信し得る。
図4で示されるように、ユーザインターフェース400は、後方からの鳥瞰斜視図を提示する。他の例では、ユーザインターフェース400は、提案されるブロックすべき領域402を選択するための視点を向上させる上面斜視図または他の斜視図を提示し得る。いくつかの例では、後方からの鳥瞰斜視図または上面斜視図は、ユーザインターフェース400の提示を開始するコントロール304の選択に応じて、ユーザインターフェース400に表示されるように出力され得る。
図5は、本明細書で述べられるブロックされる領域案内技術を実施するための例示的なユーザインターフェース500の図である。図5に関して論じられる例は、概して、図4およびその他に関して論じられた提案されるブロックすべき領域の選択に応じたブロックされる領域を述べる。ユーザインターフェース500は、明確化のために、図3で示されたユーザインターフェース300の第1の部分および第2の部分からの細部は除外している。
図5で示されるように、ユーザインターフェース500は、提案されるブロックすべき領域402をブロックされる領域502として確認する、コントロール404のユーザ入力を受信したことに応じたブロックされる領域502を含む。いくつかの例では、ブロックされる領域502は、成功裏にブロックされた車線を示すために、外観を変化させる。この方法では、遠隔の操作者は、ある領域が、提案されるブロックすべき領域であるか、またはブロックされた領域であるかを容易に決定することができる。様々な例では、コンピュータデバイスにより、ブロックされる領域502を決定することは、提案されるブロックすべき領域402の特徴(例えば、開始点、終了点、長さ、幅、および同様のものなど)を調整することを含み得る。いくつかの例では、ブロックされる領域502の長さ、および/またはブロックされる領域502の幅は、車両の速度に少なくとも部分的に基づいて決定され得る。例えば、ブロックされる領域502の開始は、ブロックされる領域502に接近する車両202の現在の速度を反映して自動的に調整され得る。いくつかの例では、車両202の速度は、車両に対してブロックされる領域502(例えば、ブロックされる車線)を開始する事前定義の距離を決定するための基準として働き得る。このため、図5で示されるブロックされる領域502の開始は、図4で示された提案されるブロックすべき領域402の開始よりも車両202に近い。加えて、またはあるいは、ブロックされる領域502の長さおよび/またはブロックされる領域502の幅は、ブロックされる領域502に関連付けられたマップ特徴データに少なくとも部分的に基づいて決定され得る。
いくつかの例では、提案されるブロックすべき領域402をブロックされる領域として確認するために、車両コンピュータシステムおよび/またはコンピュータデバイス(例えば、遠隔操作センターのもの)により、機械学習されたモデルが実施され得る。例えば、人間の操作者とは独立して、ブロックすべき領域を確認するために、1つまたは複数の機械学習されたモデルが使用され得る。車両が、提案されるブロックすべき領域を決定する例では、車両の車両コンピュータシステムは、提案されるブロックすべき領域をブロックされる領域として確認するために、機械学習されたモデルを実装し得る。
いくつかの例では、ブロックされる領域502は、支援を要求する車両に対して、および/または遠隔の操作者により支援を求めるように識別された車両に対してだけ、適用し得る。このような例では、ブロックされる領域502のインジケーションは、車両に伝達されてよく、それは、ブロックされる領域502を、車両の車両コンピュータシステムの表示デバイス上に表示させ得る。しかしながら、他の例では、ブロックされる領域502は、車両の群に適用してよく、その場合、ブロックされる領域502のインジケーションが、車両の群へと伝達されてよく、それは、ブロックされる領域502を、各車両の各車両コンピュータシステムに関連付けられた各表示デバイス上に表示させ得る。遠隔操作センターと車両の群との間の動きのさらなる詳細は、「Software Application and Logic to Modify Configuration of an Autonomous Vehicle」と題する2015年11月5日に出願された特許文献8で述べられており、それは、参照により本明細書に組み込まれる。
コンピュータデバイスにより車両に送信されるブロックされる領域502のインジケーションは、ブロックされる領域に関する情報を含み得る(例えば、道路セグメント識別、車線識別、ブロックされる領域の開始点、ブロックされる領域の長さ、および同様のものなど)。いくつかの例では、ブロックされる領域502に関する情報は、車両に、ブロックされる領域502を安全に回避する軌道を決定させるために、車両コンピュータシステムの1つまたは複数のコンポーネント(知覚コンポーネント、計画コンポーネント、および同様のもの)により使用され得る。例えば、ブロックされる領域502に関連付けられる道路セグメントおよび/または車線識別データは、車両202に対する動作を計画するとき、車両コンピュータシステムにより処理され得る。
いくつかの例では、ブロックされる領域502に関する情報は、車両により取り込まれたセンサデータと対立することもあり得る(例えば、センサデータは、ブロックされる領域が離れていることを示す)。このような例では、車両コンピュータシステムは、ブロックされる領域に関するセンサデータに対するよりも、コンピュータデバイスから受信されたブロックされる領域に関する情報により重み付けを与えることにより、計画の考慮において、ブロックされる領域のインジケーションを使用し得る。この方法では、ブロックされる領域は、ブロックされる領域が離れていることを示すセンサデータに対して、計画の考慮において優先し得る。図6は、本明細書で述べられるブロックされる領域案内技術を実施するための例示的なユーザインターフェース600の図である。図6に関して論じられる例は、図5およびその他で論じられるように、領域をブロックした後、提案されるブロックすべき領域602を提示することを概して述べる。図6は、明確化のために、図3で示されたユーザインターフェースの第1の部分および第2の部分からの細部は除外する。
図6で示されるように、コンピュータデバイスは、空いている車線へと変更する車両202に少なくとも部分的に基づいて、提案されるブロックすべき領域602を決定し得る。いくつかの例では、領域をブロックする要求を示すためのコントロール404は、提案されるブロックすべき領域602を提示することに、および/または空いた車線へと変更する車両202に少なくとも部分的に基づいて、使用可能に(選択に利用できるように)され得る。いくつかの例では、ユーザインターフェース600の遠隔の操作者は、車両に対する制御をやめる(コンピュータデバイスが車両の制御を行う例において)前に、および/またはブロックされる領域のインジケーションを車両に送信する前に、さらに提案されるブロックすべき領域を選択し続け得る。
いくつかの例では、ブロックされた領域は、特定のブロックされた領域のブロックを解除する、かつ/またはブロックされた領域のセットのブロックを解除する、ユーザインターフェース600におけるコントロール406を用いてブロックが解除され得る。いくつかの例では、1つまたは複数のブロック車線は、各ブロックされた領域(図示せず)に対応するコントロールを個々に用いて、および/またはブロックされた領域を選択することにより、ブロックが解除され得る。
コンピュータデバイスが、車両の少なくともいくつかの操作の制御を行う様々な例では、領域のブロックを解除することは、コンピュータデバイスが、車両の制御をやめると自動的に行われ得る。ブロックされた領域が解除されると、いくつかの例では、車両に送信されたブロックされた領域(およびそれに関連する情報)の対応するインジケーションは、車両の車両コンピュータシステムによって決定された計画考慮事項から除かれ得る。
いくつかの例では、ブロックされた領域は、車両がブロックされた領域を通過することに少なくとも部分的に基づいてブロック解除領域へと変更され得る。さらに他の例では、ブロックされた領域をブロック解除領域へと変更することは、ブロックされた領域を除去するように更新された、自律車両の群により使用可能な全体マップに基づき得る。いくつかの例では、群の中の車両は、ブロックされた領域を除くように推奨を行ってもよく(例えば、コンピュータデバイスに要求を送るなど)、遠隔操作者は、コンピュータデバイスのユーザインターフェースにおいて提示されたコントロールを用いて、その領域のブロック解除を確認し得る。さらに別の例では、車両の車両コンピュータシステムは、ブロックされた領域を除去してよく、その変更をコンピュータデバイスに伝え得る。
図7は、ブロックされると指定された領域(ブロックされる領域502)を含む例示的な環境を横断する車両の例示的な表現を示す例示的なユーザインターフェース700の図である。図7に関して論じられる例は、概して、計画ツールのためのコントロール(コントロール208(3))、車両を制御するためのコントロール(コントロール208(2))、および1つまたは複数の領域をブロックするためのコントロール(コントロール404)を提示することを述べる。ユーザインターフェース700は、明確化のために、図3で示されたインターフェース300の第1の部分および第2の部分からの細部は除外する。
図7で示されるように、コンピュータデバイスは、ブロックされた領域502を含む環境を横断する車両202の上面斜視図を示すユーザインターフェース700を提示する。これは、車両202が車線を変更した後の、図6における例の続きを表し得る。いくつかの例では、車両202は、遠隔の操作者の制御下で車線を変更してよく、ユーザインターフェース700で利用可能な計画コントロールを用いて、環境内で車両202をナビゲートし続け得る。このような例では、コントロール208(3)は、ユーザインターフェース700において車両計画ツールがアクティブであることを示し、一方、コントロール304は、領域ブロック化ツールがアクティブであることを示す(図7でハッチングされて示される)。いくつかの例では、ブロックされた領域502は、指定された終点(車線変更の識別)まで、および/またはブロックされた領域が除かれる(ブロックが解除される)まで存続し得る。
別個のシステムとして述べられているが、いくつかの例では、図1から図7に関して本明細書で述べられた案内技術は、他の車両システム、コンポーネント、および/またはコンピュータデバイスにより実施され得る。例えば、また図8に関してさらに詳細に述べられるように、図1から図7に関して本明細書で述べられた案内技術は、図8の知覚コンポーネント、計画コンポーネント、および/もしくは案内コンポーネントにより、またはそれに関連付けて少なくとも部分的に実施され得る。加えて、図1から図7に関して論じられた例は、車両から支援を求める要求を受信したことに少なくとも部分的に基づいてよく、または他の例では、車両からの支援を求める明示的な要求を受信することなく、車両に対する支援を開始するコンピュータデバイス(またはその遠隔の操作者)に少なくとも部分的に基づき得る。
図8は、本明細書で述べられる技術を実施するための例示的なシステム800のブロック図である。少なくとも1つの例では、システム800は、車両802などの車両を含み得る。
車両802は、車両コンピュータシステム804、1つまたは複数のセンサシステム806、1つまたは複数のエミッタ808、1つまたは複数の通信接続部810、少なくとも1つの直接接続部812、および1つまたは複数の駆動モジュール814を含み得る。
車両コンピュータシステム804は、1つまたは複数のプロセッサ816、および1つまたは複数のプロセッサ816と通信可能に結合されたメモリ818を含み得る。示された例では、車両802は自律車両である、しかしながら、車両802は、半自律車両、または少なくとも画像取り込みデバイス(例えば、カメラ使用可能なスマートホンなど)を有する任意の他のシステムなど、任意の他のタイプの車両であってもよい。いくつかの例では、自律車両802は、米国運輸省道路交通安全局(U.S.National Highway Traffic Safety Administration)により発行されたレベル5分類に従って動作するように構成された自律車両とすることができ、それは、走行全体に対して、安全を重視する機能をすべて実施できる車両を述べており、運転者(または乗員)は、どの時間においても、車両を制御することは期待されていない。しかしながら、他の例では、自律車両802は、任意の他のレベルまたは分類を有する完全にまたは部分的に自律的な車両であり得る。
様々な例では、車両コンピュータシステム804は、推定される状態のセットの最後(その時間期間の最後)において、オブジェクトの実際の場所に関連付けられたセンサデータを記憶してよく、このデータを、1つまたは複数のモデルを訓練するための訓練データとして使用し得る。いくつかの例では、車両コンピュータシステム804は、データ解析のために、遠隔のコンピュータデバイス(すなわち、コンピュータデバイス830など、車両コンピュータシステムから離れたコンピュータデバイス)にデータを提供し得る。このような例では、コンピュータデバイスは、決定を行うためにセンサデータを解析し得る。
示された例では、車両コンピュータシステム804のメモリ818は、定位コンポーネント820、知覚コンポーネント822、計画コンポーネント824、1つまたは複数のシステムコントローラ826、および1つまたは複数のマップ828を記憶する。例示目的で、メモリ818に常駐するものとして図8で示されているが、定位コンポーネント820、知覚コンポーネント822、計画コンポーネント824、1つまたは複数のシステムコントローラ826、および/または1つもしくは複数のマップ828は、さらに、またはあるいは、車両802にアクセス可能であり得る(例えば、コンピュータデバイス830のメモリ836など、車両802から遠隔にあるメモリに記憶される、またはその他の形で車両802によりアクセスできる)ことが企図される。
少なくとも1つの例では、定位コンポーネント820は、車両802の位置および/または方向(例えば、x、y、z位置、ロール、ピッチ、またはヨーの1つまたは複数のものなど)を決定するために、センサシステム806からデータを受信する機能を含み得る。例えば、定位コンポーネント820は、マップ828および/またはマップコンポーネント838からなど、環境のマップを含む、かつ/または要求する/受信することができ、マップ内の自律車両の場所および/または方向を連続的に決定してよい。いくつかの例では、定位コンポーネント820は、自律車両の場所を正確に決定するために、SLAM(位置特定およびマッピングの同時実行)、CLAMS(較正、位置特定、およびマッピングの同時実行)、相対SLAM、バンドル調整、非線形最小二乗最適化、または同様のものを利用して、画像データ、ライダーデータ、レーダーデータ、IMUデータ、GPSデータ、ホィールエンコーダデータ、および同様のものを受信し得る。いくつかの例では、定位コンポーネント820は、車両802の様々なコンポーネントにデータを提供してよく、本明細書で論ずるように、車両802に対するオブジェクトの関連性を決定するために、自律車両の初期位置を決定し得る。
いくつかの例では、知覚コンポーネント822は、オブジェクト検出、セグメント化、および/または分類を実施する機能を含み得る。いくつかの例では、知覚コンポーネント822は、車両802の近くにあるオブジェクト(例えば、エンティティ)の存在、および/またはオブジェクトを、オブジェクトタイプ(例えば、車、歩行者、自転車に乗る人、動物、建物、木、道路面、縁石、歩道、未知のものなど)としての分類を示す処理されたセンサデータを提供し得る。いくつかの例では、知覚コンポーネント822は、車両802の近くにある静止したエンティティの存在、および/または静止したエンティティをタイプ(例えば、建物、木、道路面、縁石、歩道、未知のものなど)として分類することを示す処理されたセンサデータを提供し得る。さらなる、または代替的な例では、知覚コンポーネント822は、検出されたオブジェクト(例えば、追跡されたオブジェクト)に関連する1つまたは複数の特徴、および/またはオブジェクトが位置する環境を示す処理されたセンサデータを提供し得る。いくつかの例では、オブジェクトに関連する特徴は、限定されないが、x位置(全体的および/または局所的な位置)、y位置(全体的および/または局所的な位置)、z位置(全体的および/または局所的な位置)、方向付け(例えば、ロール、ピッチ、ヨー)、オブジェクトタイプ(例えば、分類)、オブジェクトの速度、オブジェクトの加速度、オブジェクトの広がり(サイズ)などを含み得る。環境に関連する特徴は、これだけに限らないが、環境内の別のオブジェクトの存在、環境内の別のオブジェクトの状態、時刻、曜日、季節、気象状態、暗さ/光のインジケーションなどを含み得る。
概して、計画コンポーネント824は、車両802が環境を横断するために従うべき経路を決定し得る。例えば、計画コンポーネント824は、様々なルートおよび軌道、ならびに様々なレベルの細部を決定し得る。例えば、計画コンポーネント824は、第1の場所(例えば、現在の場所)から第2の場所(例えば、目標とする場所)に移動するためのルートを決定し得る。本論議の場合、ルートは、2つの場所の間を移動するための通過点のシーケンスを含み得る。非限定的な例として、通過点は、街路、交差点、全地球測位システム(GPS)座標などを含む。さらに計画コンポーネント824は、自律車両を、第1の場所から第2の場所へのルートの少なくとも一部に沿ってガイドするための命令を生成し得る。少なくとも1つの例では、計画コンポーネント824は、自律車両を、通過点のシーケンスの第1の通過点から、通過点のシーケンスの第2の通過点へとどのようにガイドするかを決定し得る。いくつかの例では、命令は、軌道、または軌道の一部としてよい。いくつかの例では、多数の軌道は、後退ホライゾン制御(receding horizon)技術に従って実質的に同時に生成され得る(例えば、技術的な許容差内で)、その場合、多数の軌道の1つが、ナビゲートすべき車両802に対して選択される。
いくつかの例では、計画コンポーネント824は、環境内のオブジェクト(例えば、オブジェクト)の予測される軌道を生成し、および/または車両802に対して予測される候補軌道を生成する予測コンポーネントを含み得る。例えば、予測コンポーネントは、車両802からの閾値距離に含まれるオブジェクトに対する1つまたは複数の予測される軌道を生成し得る。いくつかの例では、予測コンポーネントは、オブジェクトの追跡を測定して、観察され、かつ予測される挙動に基づいて、オブジェクトに対する軌道を生成し得る。
少なくとも1つの例では、車両コンピュータシステム804は、1つまたは複数のシステムコントローラ826を含むことができ、それは、車両802のステアリング、推進、制動、安全性、エミッタ、通信、および他のシステムを制御するように構成され得る。システムコントローラ826は、駆動モジュール814の対応システム、および/もしくは車両802の他のコンポーネントと通信してよく、および/またはそれを制御し得る。
メモリ818は、環境内をナビゲートするために車両802により使用され得る1つまたは複数のマップ828をさらに含み得る。本論議の場合、マップは、これだけに限らないが、トポロジー(交差点など)、街路、山脈、道路、地形、および環境全体など、環境に関する情報を提供できる、二次元、三次元、またはN次元でモデル化された任意の数の構造であり得る。いくつかの例では、マップは、これだけに限らないが、テクスチャ情報(例えば、色情報(RGB色情報、Lab色情報、HAV/HSL色情報)、および同様のもの)、強度情報(例えば、ライダー情報、レーダー情報、およびお同様のもの)、空間情報(例えば、メッシュに投影された画像データ、個々の「表面要素(surfels)」(例えば、個々の色および/または強度に関連する多角形)、反射率情報(例えば、鏡面性情報、再帰反射率情報、BRDF情報、BSSRDF情報、および同様のものなど)を含み得る。一例では、マップは、環境の三次元メッシュを含み得る。いくつかの例では、車両802は、マップ828に少なくとも部分的に基づいて制御され得る。すなわち、マップ828は、車両802の場所を決定し、環境内のオブジェクトおよび/領域を検出し、ルートを生成し、動きおよび/または軌道を決定して環境内でナビゲートするために、定位コンポーネント820、知覚コンポーネント822、および/または計画コンポーネント824と共に使用され得る。
いくつかの例では、1つまたは複数のマップ828は、ネットワーク844を介してアクセス可能な遠隔のコンピュータデバイス(コンピュータデバイス830など)に記憶され得る。いくつかの例では、多数のマップ828は、例えば、特性(例えば、エンティティのタイプ、時刻、曜日、季節など)に基づいて記憶され得る。多数のマップ828を記憶することは、同様のメモリ要件を有する可能性があるが、マップのデータがアクセスされ得る速度を増加させる。
図8で示されるように、コンピュータシステム830は、案内コンポーネント842を含み得る。様々な例では、案内コンポーネント842は、知覚コンポーネント822から、および/またはセンサシステム806から検出されたオブジェクトおよび/または領域に関連付けられたセンサデータを受信し得る。いくつかの例では、案内コンポーネント842は、知覚コンポーネント822および/またはセンサシステム806から、環境特性(例えば、環境的要因など)、および/または気象特性(例えば、雪、雨、氷などの気象要因など)を受信し得る。案内コンポーネント842は、図5の提案されるブロックすべき領域など、提案されるブロックすべき領域を決定するように構成され得る。図8では別々に示されているが、案内コンポーネント842は、車両802の計画コンポーネント824、または別のコンポーネントの一部であってもよい。
様々な例では、案内コンポーネント842は、図5のブロックされる領域502など、提案されるブロックすべき領域をブロックされる領域として選択したことを確認するユーザ入力を受信するように構成され得る。案内コンポーネント842は、ブロックされる領域に関連する情報を決定してよく、その情報を、ネットワーク844を介して車両802に送信し得る。様々な例では、情報は、車両802に対する1つまたは複数の予測される軌道(例えば、移動方向、速度など)を生成するために、計画コンポーネント824により使用可能なブロックされる領域のインジケーションを含み得る。いくつかの例では、案内コンポーネント842は、ブロックされる領域を回避する、車両802が従うべき1つまたは複数の利用可能な軌道を決定するように構成され得る。加えて、またはあるいは、案内コンポーネント842は、車両が計画の考慮事項において検討するために、1つまたは複数の利用可能な軌道を車両802に送信するように構成され得る。いくつかの例では、案内コンポーネント842は、環境特性、気象特性、および同様のものに基づくなど、環境に適用可能な軌道を決定するように構成され得る。
案内コンポーネント842は、ユーザインターフェースを介して遠隔の操作者からの入力を受信することによるなど、車両802の動作を制御するように構成され得る。例えば、遠隔の操作者は、ユーザインターフェースにおける計画ツールを実施するコントロールを選択してよく、車両に対する計画が、計画ツールにより自動的に、および/または遠隔の操作者により手動で実装されるようにしてもよい。
いくつかの例では、案内コンポーネント842は、1つまたは複数のブロックされた領域をブロック解除するための入力を受信するように構成され得る。いくつかの例では、ブロックされた車線は、特定のブロックされた領域をブロック解除する、かつ/またはブロックされた領域のセットをブロック解除する、ユーザインターフェースにおけるコントロールを用いてブロックが解除され得る。いくつかの例では、1つまたは複数のブロック車線は、各ブロックされた領域に対応するユーザインターフェースにおけるコントロールを用いて、および/またはブロックされた領域を選択することにより、個々にブロックが解除され得る。
コンピュータデバイス830が車両の少なくともいくつかの動作の制御を行う様々な例では、領域のブロックを解除することは、コンピュータデバイスが、車両の制御をやめると、自動的に行われ得る。ブロックされた領域がブロック解除されたとき、いくつかの例では、車両に送信されたブロックされた領域の対応するインジケーション(およびそれに関連する情報)は、車両コンピュータシステムにより決定される計画考慮事項から除去され得る。
理解されるように、本明細書で論じられるコンポーネント(例えば、定位コンポーネント820、知覚コンポーネント822、計画コンポーネント824、1つまたは複数のシステムコントローラ826、1つまたは複数のマップ828、案内コンポーネント842は、例示のために分割されて述べられている。しかし、様々なコンポーネントにより行われる動作は、任意の他のコンポーネントと組み合わされる、または任意の他のコンポーネントで実施され得る。
いくつかの例では、本明細書で論じられるコンポーネントのいくつかまたはすべての態様は、任意のモデル、技術、および/または機械学習された技術を含み得る。例えば、いくつかの例では、メモリ818(および以下で論じられるメモリ836)におけるコンポーネントは、ニューラルネットワークとして実装され得る。
本明細書で述べられるように、例示的なニューラルネットワークは、出力を作成するために、入力データを、接続されたレイヤのシリーズを通過させる生物学的に影響を受けた技術である。ニューラルネットワークの各レイヤはまた、別のニューラルネットワークを含み得る、または任意の数のレイヤを含み得る(畳み込みであるかどうかにかかわらず)。本開示のコンテキストにおいて理解されるように、ニューラルネットワークは、機械学習を利用してよく、それは、出力が、学習されたパラメータに基づいて生成されるような技術の広いクラスを参照し得る。
ニューラルネットワークのコンテキストで論じられるが、本開示と矛盾しない任意のタイプの機械学習が使用され得る。例えば、機械学習技術は、これだけに限らないが、回帰技術(例えば、通常の最小二乗回帰(OLSR)、線形回帰、ロジスティック回帰、段階的回帰、多変量適応回帰スプライン(MARS)、局所的に推定された散布図の平滑化(LOESS))、インスタンスベースの技術(例えば、リッジ回帰、最小絶対縮小選択演算子(LASSO)、エラスティックネット、最小角度回帰(LARS))、決定木技術(例えば、分類および回帰木(CART)、繰り返し分割器(ID3:iterative dichotomiser3)、カイ二乗自動相互作用検出(CHAID)、決定株、条件付き決定木)、ベイズの技術(例えば、単純ベイズ、ガウシアン単純ベイズ、多項分布単純ベイズ、平均1依存性推定子(AODE)、ベイジアン信念ネットワーク(BNN)、ベイジアンネットワーク)、クラスタリング技術(例えば、k平均法、kメディアン法、期待値最大化法(EM)、階層的クラスタリング)、相関ルール学習技術(例えば、パーセプロトン、逆向性伝播、ホップフィールドネットワーク、ラジアル基底関数ネットワーク(RBFN))、深層学習技術(例えば、深層ボルツマンマシン(DBM)、深層信念ネットワーク(DBN)、畳み込みニューラルネットワーク(CNN)、スタック型オートエンコーダ)、次元削減技術(例えば、主成分分析(PCA)、主成分回帰(PCR)、部分的最小二乗回帰(PLSR)、サモンのマップ化、多次元尺度構成法(MDS)、射影追跡、線形判別分析(LDA)、混合判別分析(MDA)、二次判別分析(QDA)、柔軟な判別分析(FDA))、アンサンブル技術(例えば、ブースティング、ブートストラップアグリゲーション(バギング)、AdaBoost、スタック汎化(ブレンディング)、勾配ブースティングマシン(GBM)、勾配ブースト回帰木(GBRT)、ランダムフォレスト)、SVM(サポートベクターマシン)、教師あり学習、教師なし学習、半教師あり学習などを含み得る。アーキテクチャのさらなる例は、ResNet70、ResNet101、VGG、DenseNet、PointNet、および同様のものを含む。
少なくとも1つの例では、センサシステム806は、ライダーセンサ、レーダーセンサ、超音波変換器、ソナーセンサ、場所センサ(例えば、GPS、コンパスなど)、慣性センサ(例えば、慣性測定ユニット(IMU)、加速度計、磁力計、ジャイロスコープなど)、カメラ(例えば、RGB、IR、強度、深さ、TOF(time of flight)など)、マイクロフォン、ホィールエンコーダ、環境センサ(例えば、温度センサ、湿度センサ、光センサ、圧力センサなど)などを含み得る。センサシステム806は、これらのまたは他のタイプのセンサのそれぞれの多様なインスタンスを含み得る。例えば、ライダーセンサは、車両802のコーナ、前部、後部、側部、および/または上部に位置する個々のライダーセンサを含み得る。別の例として、カメラセンサは、車両802の外側および/内側付近の様々な場所に配置された多数のカメラを含み得る。センサシステム806は、車両コンピュータシステム804への入力を提供してよい。加えて、または代替的に、センサシステム806は、センサデータを、1つまたは複数のネットワーク844を介して特定の周波数にて、所定の時間期間が経過した後、ほぼ実時間でなど、1つまたは複数のコンピュータデバイス830に送ってよい。
車両802はまた、光および/または音を放出するための1つまたは複数のエミッタ808を含み得る。エミッタ808は、車両802の乗員と通信するための内部の音声および映像的なエミッタを含み得る。例であり、限定するものではないが、内部のエミッタは、スピーカ、光、サイン、表示画面、タッチスクリーン、触覚エミッタ(例えば、振動および/または力のフィードバック)、機械的な作動器(例えば、シートベルト引張器、シート位置決め器、ヘッドレスト位置決め器など)、および同様のものを含み得る。エミッタ808はまた、外部のエミッタを含み得る。例であり、限定するものではないが、外部のエミッタは、移動方向を知らせるライト、または車両動きの他のインジケータ(例えば、インジケータ光、サイン、光のアレイなど)と、歩行者または他の近くの車両に音で伝えるための1つまたは複数の音声エミッタ(例えば、スピーカ、スピーカアレイ、ホーンなど)とを含むことができ、その1つまたは複数のものは、音響ビームステアリング技術を含む。
車両802はまた、車両802と、1つまたは複数の他の局所的な、または遠隔のコンピュータデバイスとの間で通信可能な1つまたは複数の通信接続部810を含み得る。例えば、通信接続部810は、車両802の他の局所的なコンピュータデバイス、および/または駆動モジュール814との通信を容易にし得る。さらに通信接続部810は、車両が、他の近傍のコンピュータデバイス(例えば、コンピュータデバイス830、他の近傍の車両など)と、および/またはセンサデータを受信するために1つまたは複数の遠隔センサシステム846と通信することを与え得る。通信接続部810はまた、車両802が、遠隔の遠隔操作コンピュータデバイス、または他の遠隔サービスと通信可能にする。
通信接続部810は、車両コンピュータシステム804を、別のコンピュータデバイス、またはネットワーク844などのネットワークに接続するための物理的および/または論理的なインターフェースを含み得る。例えば、通信接続部810は、IEEE802.11規格により定義された周波数を介するなど、WiFiベースの通信、Bluetoothなどの近距離無線周波数、セルラ通信(例えば、2G、3G、4G、4GLTE、5Gなど)、または各コンピュータデバイスを他のコンピュータデバイスとインターフェースをとることができるようにする任意の適切な有線もしくは無線通信プロトコルを可能にすることができる。
少なくとも1つの例では、車両802は、1つまたは複数の駆動モジュール814を含み得る。いくつかの例では、車両802は、単一の駆動モジュール814を有し得る。少なくとも1つの例では、車両802が、多数の駆動モジュール814を有する場合、個々の駆動モジュール814は、車両802の両端部(例えば、前部および後部など)に位置され得る。少なくとも1つの例では、駆動モジュール814は、駆動モジュール814および/または車両802の周囲の状態を検出するための1つまたは複数のセンサシステムを含み得る。例であり、限定するものではないが、センサシステムは、駆動モジュールのホィールの回転を感知するための1つまたは複数のホィールエンコーダ(例えば、回転エンコーダ)、駆動モジュールの方向および加速度を測定するための慣性センサ(例えば、慣性測定ユニット、加速度計、ジャイロスコープ、磁力計など)、カメラまたは他の画像センサ、駆動モジュールの周囲におけるオブジェクトを音響的に検出するための超音波センサ、ライダーセンサ、レーダーセンサなどを含み得る。ホィールエンコーダなどのいくつかのセンサは、駆動モジュール814に対して一意のものであり得る。いくつかの場合では、駆動モジュール814におけるセンサシステムは、車両802の対応するシステム(例えば、センサシステム806)に対して重複する、または補足することもあり得る。
駆動モジュール814は、高電圧電池、車両を推進するモータ、電池からの直流を他の車両システムにより使用するための交流に変換するインバータ、ステアリングモータおよびステアリングラック(電気的であり得る)を含むステアリングシステム、液圧式または電気的な作動器を含む制動システム、液体および/または空気コンポーネントを含むサスペンションシステム、制動力を分散させて、摩擦損失を軽減させ、かつ制御を維持するための安定性制御システム、HVACシステム、照明(例えば、車両の外側の周囲を照明するためのヘッドライト/テールライトなどの照明)、および1つまたは複数の他のシステム(例えば、冷却システム、安全システム、オンボードの充電システム、DC/DCコンバータなどの他の電気的なコンポーネント、高電圧ジャンクション、高電圧ケーブル、充電システム、充電ポートなど)を含む、車両システムの多くのものを含み得る。加えて、駆動モジュール814は、センサシステムからのデータを受信し、かつ前処理してよく、様々な車両システムの動作を制御する駆動モジュールコントローラを含み得る。いくつかの例では、駆動モジュールコントローラは、1つまたは複数のプロセッサと、1つまたは複数のプロセッサと通信可能に結合されるメモリとを含み得る。メモリは、駆動モジュール814の様々な機能を実施するための1つまたは複数のモジュールを記憶し得る。さらに駆動モジュール814はまた、各駆動モジュールにより、1つまたは複数の他のローカルまたは遠隔のコンピュータデバイスと通信できるようにする1つまたは複数の通信接続部を含み得る。
少なくとも1つの例では、直接接続部812は、1つまたは複数の駆動モジュール814を車両802の本体と結合するための物理的なインターフェースを提供し得る。例えば、直接接続部812は、駆動モジュール814と車両の間で、エネルギー、流体、空気、データなどの移送を与え得る。いくつかの例では、直接接続部812はさらに、駆動モジュール814を、車両802の本体に解放可能に固定し得る。
少なくとも1つの例では、定位コンポーネント820、知覚コンポーネント822、計画コンポーネント824、1つまたは複数のシステムコントローラ826、および1つまたは複数のマップ828は、上記で述べたように、センサデータを処理してよく、それらの各出力を、1つまたは複数のネットワーク844を介して、コンピュータデバイス830に送り得る。少なくとも1つの例では、定位コンポーネント820、知覚コンポーネント822、計画コンポーネント824、1つまたは複数のシステムコントローラ826、および1つまたは複数のマップ828は、それらの各出力を、特定の周波数にて、所定の時間期間の経過後に、ほぼ実時間になど、コンピュータデバイス830に送り得る。
いくつかの例では、車両802は、センサデータを、ネットワーク844を介してコンピュータデバイス830に送り得る。いくつかの例では、車両802は、コンピュータデバイス830から、および/または遠隔のセンサシステム846からネットワーク844を介して、センサデータを受信し得る。センサデータは、生のセンサデータおよび/または処理されたセンサデータおよび/またはセンサデータの表現を含み得る。いくつかの例では、センサデータ(生のまたは処理されたもの)は、1つまたは複数のログファイルとして送られ、かつ/または受信され得る。
コンピュータデバイス830は、プロセッサ832と、ユーザインターフェース834と、マップコンポーネント838、センサデータ処理コンポーネント840、および案内コンポーネント842を記憶するメモリ836とを含み得る。いくつかの例では、マップコンポーネント838は、様々な解像度のマップを生成する機能を含み得る。このような例では、マップコンポーネント838は、ナビゲーションのために、1つまたは複数のマップを、車両コンピュータシステム804に送り得る。様々な例では、センサデータ処理コンポーネント840は、センサシステム806および/または遠隔のセンサシステム846など、1つまたは複数の遠隔のセンサからデータを受信するように構成され得る。いくつかの例では、センサデータ処理コンポーネント840は、計画コンポーネント824により使用するためになど、データを処理して、処理されたセンサデータを車両コンピュータシステム804に送るように構成され得る。いくつかの例では、センサデータ処理コンポーネント840は、車両コンピュータシステム804に生のセンサデータを送るように構成され得る。
車両802のプロセッサ816、およびコンピュータデバイス830のプロセッサ832は、命令を実行して、データを処理し、かつ本明細書で述べられた動作を実施することのできる任意の適切なプロセッサであり得る。例であり、限定するものではないが、プロセッサ816および832は、1つまたは複数の中央処理装置(CPU)、グラフィック処理装置(GPU)、または電子データを処理して、その電子データを、レジスタおよび/もしくはメモリに記憶され得る他の電子データに変換する任意の他のデバイスもしくはデバイスの一部を含み得る。いくつかの例では、集積回路(例えば、ASICなど)、ゲートアレイ(例えば、FPGAなど)、および他のハードウェアデバイスはまた、エンコードされた命令を実施するように構成される限りにおいて、プロセッサであると考えられてよい。
メモリ818およびメモリ836は、非一時的なコンピュータ可読媒体の例である。メモリ818およびメモリ836は、オペレーティングシステムおよび1つもしくは複数のソフトウェアアプリケーション、命令、プログラム、ならびに/または本明細書で述べられた方法、および様々なシステムに属する機能を実施するためのデータを記憶し得る。様々な実装形態では、メモリは、スタティックランダムアクセスメモリ(SRAM)、シンクロナスダイナミックRAM(SDRAM)、不揮発性/フラッシュタイプメモリ、または情報を記憶できる任意のタイプのメモリなど、任意の適切なメモリ技術を用いて実装され得る。本明細書で述べられるアーキテクチャ、システム、および個々の要素は、多くの他の論理的、プログラム的、および物理的なコンポーネントを含んでよく、添付図で示されたそれらは、本明細書の論議に関係する単なる例に過ぎない。
いくつかの例では、メモリ818およびメモリ836は、少なくとも作業メモリおよび記憶メモリを含み得る。例えば、作業メモリは、プロセッサ816および832によって動作されるデータを記憶するために使用される限定された容量の高速メモリ(例えば、キャッシュメモリ)であり得る。いくつかの例では、メモリ818およびメモリ836は、データの長期間記憶のために使用される比較的大容量の低速メモリであり得る記憶メモリを含み得る。いくつかの場合、プロセッサ816および832は、記憶メモリに記憶されたデータに対して、直接動作させることができず、データは、本明細書で論じられるように、データに基づいて動作を実施するために作業メモリへとロードされる必要があり得る。
図8は、分散されたシステムとして示されているが、代替的な例では、車両802のコンポーネントは、コンピュータデバイス830に関連付けられてよく、および/またはコンピュータデバイス830のコンポーネントは、車両802に関連付けられ得ることに留意されるべきである。すなわち、車両802は、逆も同様であるが、コンピュータデバイス830に関連付けられた機能の1つまたは複数のものを実施し得る。
図9は、本開示の実施形態による例示的なプロセスを示す。これらのプロセスは、論理的な流れグラフとして示されており、その各動作は、ハードウェア、ソフトウェア、またはそれらの組合せで実装得る動作のシーケンスを表す。ソフトウェアのコンテキストにおいて、導さは、1つまたは複数のプロセッサにより実行されたとき、記載された動作を実施する、1つまたは複数のコンピュータ可読記憶媒体に記憶されたコンピュータ実行可能命令を表す。概して、コンピュータ実行可能命令は、特定の機能を実施する、または特定の抽象データタイプを実施する、ルーチン、プログラム、オブジェクト、コンポーネント、データ構造、および同様のものを含む。動作が述べられている順序は、限定するものと解釈されるように意図されてはおらず、述べられた動作の任意の数が、任意の順序でおよび/または並列に、プロセスを実施するように組み合わされ得る。
図9は、ブロックされる例示的な環境の領域を指定するための例示的なプロセス900を示す流れ図である。プロセス900のいくつか、またはすべては、本明細書で述べられる、図8における1つまたは複数のコンポーネントにより実施され得る。例えば、プロセス900のいくつかまたはすべては、コンピュータシステム830により実施され得る。
オペレーション902では、プロセスは、センサデータを車両のセンサから受信することを含み得る。例えば、遠隔操作センターのコンピュータシステムは、環境内の1つまたは複数のオブジェクトに対する車両を表すセンサデータを受信するように構成され得る。センサデータは、車両上の1つまたは複数のセンサから、および/または1つまたは複数の遠隔センサから受信され得る。いくつかの例では、車両の車両コンピュータシステムは、動的なオブジェクト、静的なオブジェクト、および/または領域を検出するように構成され得る。いくつかの例では、センサデータは、これだけに限らないが、横断歩道、交通信号、スクールゾーン、自転車の車線、および同様のものを含む環境の固定された特徴を表すマップデータと組み合わされ得る。様々な例では、オブジェクトは、機械学習された技術を利用して検出され得る。このような例では、1つまたは複数の機械学習されたアルゴリズムが、センサデータに基づいてオブジェクトを検出するように訓練され得る。
オペレーション904では、プロセスは、センサデータに少なくとも部分的に基づいて、車両の経路に沿った環境において提案されるブロックすべき領域を決定することを含み得る。例えば、コンピュータデバイスは、センサデータおよびマップデータに少なくとも部分的に基づいて、提案されるブロックすべき領域402を決定し得る。例えば、コンピュータデバイス830は、環境を表す特徴を記憶するマップに少なくとも基づいて提示するように、提案されるブロックすべき領域402のサイズ、および/または提案されるブロックすべき領域402の形状を決定し得る。様々な例では、提案されるブロックすべき領域は、道路セグメント(道路セグメント214)、道路においてブロックされた車線、道路における建設ゾーン、および/または車両の視線を越える領域(例えば、地平線のため)に関連する領域に少なくとも部分的に基づいて決定され得る。例えば、コンピュータシステムは、提案されるブロックすべき領域402は、道路の車線、道路の多数の車線、道路の車線の一部などを表していると決定し得る。様々な例では、車両は、コンピュータデバイスによって処理されるように、および/またはユーザインターフェース上で提示されるように、提案されるブロックすべき領域502をコンピュータデバイスに伝え得る。
オペレーション906において、プロセスは、提案されるブロックすべき領域を、コンピュータデバイスのユーザインターフェースに提示させることを含み得る。例えば、コンピュータデバイス830は、様々な例において、提案されるブロックすべき領域402を決定してよく、かつ提案されるブロックすべき領域402をユーザインターフェース400に提示し得る。様々な例では、コンピュータデバイス830は、車両からの支援を求める要求を受信したことに少なくとも部分的に基づいて、提案されるブロックすべき領域402をユーザインターフェース400に提示し得る。様々な例では、コンピュータデバイス830は、提案されるブロックすべき領域の特徴(開始点、終了点、長さ、幅など)を調整するために、ユーザインターフェースを介してユーザ入力を受信し得る。
オペレーション908では、プロセスは、ユーザインターフェースを介して、提案されるブロックすべき領域をブロックされる領域として選択することを確認するユーザ入力を受信することを含み得る。様々な例では、ユーザインターフェース400は、提案されるブロックすべき領域402をブロックされる領域502として確認するためのコントロール(コントロール404)のユーザ入力を受信し得る。ユーザ入力が何も受信されない(「いいえ(No)」により示される)例では、プロセスは、車両からのさらなるセンサデータの受信を含み得る。このような例では、新しいセンサデータは、別の提案されるブロックすべき領域を提示させ得る。いくつかの例では、遠隔操作者は、提案されるブロックすべき領域402および/またはブロックされた領域502を修正し得る。例えば、コンピュータデバイスは、提案される領域402のサイズ、提案される領域402の形状、ブロックされた領域502のサイズ、またはブロックされた領域502の形状のうちの少なくとも1つを調整するためのユーザ入力を、ユーザインターフェースを介して受信し得る。
ユーザ入力が受信されたときの例では(「はい(YES)」により示される)、プロセスは、オペレーション910で、さらなるユーザ入力なしに、ブロックされる領域のインジケーションを車両に送信することを含み得る。様々な例では、コンピュータデバイス830は、ユーザインターフェース400のコントロール404において受信されるユーザ入力に少なくとも部分的に基づいて、ブロックされた領域502に関する情報を、車両に(またいくつかの例では、ブロックされた領域502によってまた影響され得るさらなる車両に)送信し得る。その情報(例えば、道路セグメント識別、車線識別、ブロックされる領域の開始点、ブロックされる領域の長さなど)は、ブロックされた領域を通過する車両をナビゲートするために、車両コンピュータシステムによって処理され得る。
本明細書で述べられる方法は、ハードウェア、ソフトウェア、またはそれらの組合せで実施され得るオペレーションのシーケンスを表す。ソフトウェアのコンテキストでは、ブロックは、1つまたは複数のプロセッサにより実行されたとき、記載されるオペレーションを実施する、1つまたは複数のコンピュータ可読記憶媒体に記憶されたコンピュータ実行可能命令を表す。概して、コンピュータ実行可能命令は、特定の機能を実施する、または特定の抽象データタイプを実施するルーチン、プログラム、オブジェクト、コンポーネント、データ構造および同様のものを含む。オペレーションが述べられた順序は、限定するものと解釈されるように意図されておらず、任意の数の前述のオペレーションが、任意の順序でおよび/または並列に組み合わされて、プロセスを実施することができる。いくつかの実施形態では、方法の1つまたは複数のオペレーションは、完全に除外され得る。例であり、限定するものではないが、オペレーション604および608は、オペレーション610、612、および/または614なしに実施され得る。さらに本明細書で述べられる方法は、全体的に、または部分的に、互いに、または他の方法で組み合わされ得る。
本明細書で述べられる様々な技術は、コンピュータ可読記憶装置に記憶され、諸図で示されたものなどの1つまたは複数のコンピュータデバイスのプロセッサにより実行されるコンピュータ実行可能命令、またはプログラムモジュールなどのソフトウェアのコンテキストで実施され得る。概して、プログラムモジュールは、ルーチン、プログラム、オブジェクト、コンポーネント、データ構造などを含み、特定のタスクを実施するための動作論理を定義する、または特定の抽象データタイプを実施する。
他のアーキテクチャは、述べられた機能を実施するために使用されることができ、本開示の範囲に含まれるように意図される。さらに論議のために、特定の責務の分散が上記で規定されているが、様々な機能および責務は、環境に応じて様々な方法で分散され、かつ分割されてもよい。
同様に、ソフトウェアは、様々な方法で、および異なる手段を用いて記憶され、かつ分散されることができ、上記で述べられた特定のソフトウェアの記憶および実行構成は、多くの異なった方法で変化され得る。したがって、上記で述べられた技術を実施するソフトウェアは、特に述べられたメモリの形態に限定されることなく、様々なタイプのコンピュータ可読媒体に分散され得る。
(例示項)
このセクションにおける例示的な節のいずれも、任意の他の例示的な節、および/または本明細書で述べられた任意の他の例もしくは実施形態と共に使用され得る。
A:システムであって、1つまたは複数のプロセッサと、1つまたは複数のプロセッサによって実行されると、環境を横断する車両に関連付けられたセンサからセンサデータを受信することと、センサデータに少なくとも部分的に基づいて、車両の経路に沿った環境内の提案されるブロックすべき領域を決定することと、ユーザインターフェースにおいて提案されるブロックすべき領域を提示させることと、ユーザインターフェースによって、ブロックされる領域として提案されるブロックすべき領域の選択することを確認するユーザ入力を受信することと、車両に対し、ブロックされる領域のインジケーションを送信することと、を含む動作をシステムに実行させる命令を記憶した非一時的コンピュータ可読媒体と、を含むシステム。
B:段落Aに記載のシステムであって、提案されるブロックすべき領域が、環境内の道路の車線を含むシステム。
C:段落AまたはBに記載のシステムであって、環境内の提案されるブロックすべき領域を決定することが、さらに、環境の特徴を記憶するマップに少なくとも部分的に基づくシステム。
D:段落AからCに記載のシステムであって、車両が車両の群の個々車両であり、動作が車両の群の追加の車両に対し、ブロックされる領域のインジケーションを送信することをさらに含むシステム。
E:段落AからDに記載のシステムであって、動作が、ユーザインターフェースによって、運転できないと以前に指定された領域内で、車両が運転できるというインジケーションを受信することをさらに含むシステム。
F:方法であって、環境を横断する車両に関連付けられたセンサからセンサデータを受信することと、センサデータに少なくとも部分的に基づいて、車両が移動することから妨げられる環境の提案される領域を決定することと、提案される領域をユーザインターフェースに提示させることと、提案されるブロックすべき領域をブロックされる領域として選択することを確認するユーザ入力を受信することと、ブロックされる領域のインジケーションを送信することと、を含む方法。
G:段落Fに記載の方法の方法であって、提案されるブロックすべき領域が、環境内の道路の車線を含む方法。
H:段落FまたはGに記載の方法であって、ブロックされる領域をマップ内に記憶することをさらに含む方法。
I:段落FからHに記載の方法であって、ブロックされる領域のブロックを解除する選択を確認するユーザ入力を、ユーザインターフェースを介して受信することをさらに含む方法。
J:段落FからIに記載の方法であって、ブロックされる領域のブロックを解除するための要求を車両から受信することをさら含み、ブロックされる領域のブロックを解除する選択を確認するユーザ入力を、ユーザインターフェースを介して受信することが、要求に少なくとも部分的に基づく方法。
K:段落FからJに記載の方法であって、提案される領域のサイズ、または提案される領域の形状のうちの少なくとも一方を調整するユーザ入力を、ユーザインターフェース介して受信することをさらに含む方法。
L:段落FからKに記載の方法であって、ブロックされる領域のインジケーションを送信することが、ブロックされる領域のインジケーションを車両の群のうちの他の車両に送信することを含む方法。
M:段落FからLに記載の方法であって、提案される領域が、マップデータに少なくとも部分的に基づく方法。
N:段落FからMに記載の方法であって、ブロックされる領域のインジケーションに少なくとも部分的に基づいて、車両に対し、環境をナビゲートさせることさらに含む方法。
O:非一時的コンピュータ可読記憶媒体であって、実行されたとき、1つまたは複数のプロセッサに、環境を横断する車両に関連付けられたセンサからセンサデータを受信することと、センサデータに少なくとも部分的に基づいて、車両が移動することから妨げられる環境の提案される領域を決定することと、提案される領域を、ユーザインターフェースに提示させることと、提案されるブロックすべき領域をブロックされる領域として選択することを確認するユーザ入力を受信することと、ブロックされる領域のインジケーションを送信することと、を含む動作を実施させる命令を記憶した非一時的なコンピュータ可読記憶媒体。
P:段落Oに記載の非一時的コンピュータ可読記憶媒体であって、提案されるブロックすべき領域が環境内の道路の車線を含む非一時的コンピュータ可読記憶媒体。
Q:段落OまたはPに記載の非一時的コンピュータ可読記憶媒体であって、環境内で提案されるブロックすべき領域を決定することが、環境の特徴を記憶するマップに少なくとも部分的にさらに基づく非一時的コンピュータ可読記憶媒体。
R:段落OからQに記載の非一時的コンピュータ可読記憶媒体であって、車両が、車両の群のうちの個々の車両であり、動作が、ブロックされる領域のインジケーションを車両の群のうちのさらなる車両に送信することをさらに含む非一時的コンピュータ可読記憶媒体。
S:段落OからRに記載の非一時的コンピュータ可読記憶媒体であって、動作が、マップデータに少なくとも部分的に基づいて、運転できないと以前に指定された領域内で、車両が運転できるというインジケーションをユーザインターフェースよって受信することをさらに含む非一時的コンピュータ可読記憶媒体。
T:段落OからQに記載の非一時的コンピュータ可読記憶媒体であって、ブロックされる領域のインジケーションを送信することが、ブロックされる領域のインジケーションを、車両の群のうちの別の車両に送信することを含む非一時的コンピュータ可読記憶媒体。
上記で述べられた例示的な節は、1つの特定の実装形態に関して述べられているが、本文書のコンテキストにおいて、例示的な節の内容はまた、方法、デバイス、システム、コンピュータ可読媒体、および/または別の実装形態により実施され得ることが理解されるべきである。
本明細書で述べられる技術の1つまたは複数の例が述べられてきたが、その様々な改変、追加、置換、および等価物が、本明細書で述べられる技術の範囲に含まれる。
諸例の記述において、本明細書の一部を形成する添付図面に対して参照が行われており、それは、例示のために、特許請求される主題の特定の例を示している。他の例も使用することができ、構造的な変更など、変更または改変が行われ得ることを理解されたい。このような例、変更、または改変は、必ずしも、意図された特許請求される主題に関する範囲から逸脱するものではない。本明細書においてステップが一定の順序で示され得るが、いくつかの場合には、その順序付けは、いくつかの入力が、述べられたシステムおよび方法の機能を変更することなく、異なる時間で、または異なる順序で提供されるように変更され得る。開示される手順はまた異なる順序で実行され得る。さらに、本明細書の様々な計算は、開示された順序で実施される必要はなく、また代替的な計算の順序を用いる他の例が、容易に実施され得る。再順序付けされるのに加えて、計算はまた、同じ結果が得られる下位の計算へと分解され得る。