JP2023507104A - 経路内障害物検出及び回避システム - Google Patents

Abstract

車両は、環境内のオブジェクトを検出するための、様々なセンサを含むことができる。いくつかのケースにおいては、オブジェクトが、車両の走行の計画された経路内にあることがある。これらのケースにおいては、計画された経路を離れることは、搭乗者にとって危険なことがあり、そのため、車両は、オブジェクトの寸法、車両の寸法、及びオブジェクトの意味的情報に基づいて、可能な場合は、計画された経路内の位置を維持しながら、オブジェクトを通過することと関連付けられた、操作パラメータを決定しうる。

Description

関連出願の相互参照
本出願は、その全体が参照によって本明細書に組み込まれる、２０１９年１２月２０日に出願された、「ＩＮ－ＰＡＴＨ ＯＢＳＴＡＣＬＥ ＤＥＴＥＣＴＩＯＮ ＡＮＤ ＡＶＯＩＤＡＮＣＥ ＳＹＳＴＥＭ」と題する、米国特許出願第１６／７２２９３１号明細書の優先権を主張する。

自律車両は、センサデータを使用して、環境のデータをキャプチャすることができる。環境を効果的にナビゲートするために、自律車両は、センサデータを使用して、環境内のオブジェクトを検出し、衝突を回避する。センサデータをオブジェクトと関連付けるために、セグメンテーション技法が、使用されることができる。しかし、３次元データのセグメンテーションは、オブジェクトが自律車両の経路を妨害しているという、誤った決定をもたらすことができ、自律車両による潜在的に安全でない反応を引き起こす、特有の難題を提示する。

添付の図を参照して、詳細な説明が行われる。図において、参照番号の左端の数字は、参照番号が最初に現れる図を識別する。異なる図における同じ参照番号の使用は、類似又は同一の構成要素又は特徴を示す。

車両が車線を部分的に妨害するオブジェクトに遭遇する状況の絵図である。 図１の車両と関連付けられた通過距離ゾーンを例示した例示的な絵図である。 車線を部分的に妨害しているオブジェクトを検出し、それを通過する、図１の車両を例示した例示的な絵図である。 車線を部分的に妨害しているオブジェクトを検出し、それを通過する、図１の車両を例示した例示的な絵図である。 車線を部分的に妨害しているオブジェクトを検出し、それを通過する、図１の車両を例示した例示的な絵図である。 地面上のオブジェクトを検出し、その上を通過する、図１の車両を例示した例示的な絵図である。 車両の経路を部分的に妨害しているオブジェクトを検出し、それを通過するための例示的なプロセスを示す図である。 車両の経路を部分的に妨害しているオブジェクトを検出し、それを通過するための別の例示的なプロセスを示す図である。 車両の経路を部分的に妨害しているオブジェクトを検出し、それを通過するための別の例示的なプロセスを示す図である。 オブジェクトを検出し、車両の計画された経路と関連付けられた表面を決定するための例示的なプロセスを示す図である。 本開示の実施形態による、本明細書において説明される技法を実施するための例示的なシステムのブロック図である。

本開示は、自律車両の経路近く又は経路内のオブジェクト（又はその部分）を検出し、検出されたオブジェクトに関する車両の適切な近接度を決定するための方法、装置、及びシステムについて説明する。例えば、本明細書において論じられるシステムは、車両の速度、オブジェクトのタイプ又はクラス（例えば、歩行者、枝葉、紙、岩など）、オブジェクトの寸法及び／又は位置、並びに車両の表面に沿った寸法に基づいて、道路上のオブジェクト、車両の計画された経路内のオブジェクト、計画された経路に近接若しくは隣接したオブジェクト、及び／又は計画された経路上に張り出したオブジェクトまでの適切な通過距離を決定しうる。

例えば、ドライバーが散発的に遭遇するいくつかの出来事は、道路に侵犯した及び／又は道路上に張り出した木の枝及び枝葉、並びに紙／ゴミ、大きい岩、又は他の瓦礫など、道路の表面に沿った小さいオブジェクトを含む。これらの例においては、人間のドライバーは、オブジェクトが車両のいずれかの部分に接触するかどうか、及び接触する場合には、仮にオブジェクトに接触したことによる、車両に対する損傷のリスクを、視覚的に評価することができることがある。このように、人間のドライバーは、適切な通過距離を決定して、占有された車線を離れること、又は離れないことができる。例えば、ドライバーは、岩に車台の下及び車輪の間を安全に通過させるように、車両を位置付けることによって、岩との接触を回避しうる。しかし、従来の自律車両センサシステム及び知覚パイプラインは、道路内の岩を検出し、岩を回避すべき障害物として識別し、車両に岩を迂回して運転させて、障害物を完全に回避することがある。いくつかのケースにおいては、岩を迂回して運転することが、実際には、損傷及び／又は衝突のリスクを増加させることがあり、それは、岩を迂回することが、別の方法で車線内で達成されることができたのに、車両が、別の車線（例えば、交通の対向車線）内に移動することがあるからである。本明細書において論じられるシステムは、オブジェクト（ここでは岩）を検出し、オブジェクトを評価し、車両の現在の車線又は経路を離れることなく、オブジェクトが回避されうると決定し、それによって、自律車両の全体的な安全性を改善するように構成される。

別の例示的な例として、特に、あまり保守されていない、又はあまり使用されていない街路においては、枝葉が、しばしば道路上に張り出している。いくつかのケースにおいては、人間のドライバーは、車両を損傷することなく、車両を運転して枝葉の中に入って行くこと、又は枝葉に車両を「軽くこすらせる」ようにすることがある。このタイプの操縦は、回避が可能ですらないことがある、狭い一方通行の道路状況において、特に一般的である。この例においては、従来の自律車両センサシステム及び知覚パイプラインは、道路上に張り出した枝葉を検出し、枝葉を回避すべき障害物として識別し、車両が進行することを防止しうる。この状況においては、車両が後退することを妨げられた場合（例えば、別の車両が自律システムの背後に近寄っている場合）、従来のシステムを使用する車両は、立ち往生することがある。

１つの状況においては、本明細書において論じられる車両は、車両が接触せずに下を通過しうる、地表面からの距離／地表面から離れた距離（例えば、余裕距離又は高さ）に、枝葉があると決定しうる。第２の状況においては、本明細書において論じられる車両は、損傷を受けることなく車両が接触しうるタイプ又はクラスのオブジェクトに、枝葉が属すると決定しうる（例えば、葉及び小さい枝は、車両が通過することを可能にするように曲がる）。第２の状況においては、車両は、接触にもかかわらず、車両が枝葉を通り抜けて進行しうる、（時速５マイル（約８．０４ｋｍ）未満、時速１０マイル（約１６．０９ｋｍ）未満、時速１５マイル（約２４．１４ｋｍ）未満などの）動作パラメータを選択しうる。第３の状況においては、車両は、枝葉に接触しうる車両の部分を決定しうる。例えば、第３の状況においては、車両は、車両の屋根は、枝葉に接触することがあっても、車両の上部に配置された高感度センサは、接触しないように、自らを位置付けうる。

上で論じられたように、本明細書において論じられる車両は、オブジェクトの意味的クラス（例えば、壁又は構造物、枝葉、岩、植物、車両、車両ドア、瓦礫又は散乱物、バイク、交通信号又は円錐標識など）、クラスの特性、オブジェクトの位置（例えば、オブジェクトの高さ、地表面からのオブジェクトの距離、オブジェクトの形状など）、車両の形状、並びに車両に関する構成要素の位置及び脆弱性に基づいて、オブジェクト回避に関連する、情報に基づいた決定を行うことができる。このタイプのオブジェクト回避は、車両が、適切な交通車線内におけるそれの位置をより頻繁に保守するので、車両が、追加の状況又は環境において動作すること、及び車両の全体的な安全性を高めることを可能にしうる。

図１は、車両１０２が経路内オブジェクト又は経路内若しくは車線内通過可能オブジェクト１０４に遭遇する状況１００の絵図を例示している。現在の例においては、車両１０２は、道路の車線１０６内を運転しており、車両は、車線１０６内に張り出したオブジェクト１０４を表すデータをキャプチャする。この例においては、車両１０２は、オブジェクト１０４が、全体として１０８によって示される、地表面に接触していないと決定しうる。例えば、車両１０２は、オブジェクト１０４を表すキャプチャされたデータをセグメント化及び分類しうる。車両１０２は、また、オブジェクト１０４によって占有された空間の領域と関連付けられた、境界ボックスを生成しうる。車両は、次に、地表面からのオブジェクトの最大距離（例えば、境界ボックスの最高点と地面との間の距離）と、地表面からのオブジェクト１０４の最小距離（例えば、オブジェクトの最下点と地面との間の距離）とを決定しうる。車両１０２は、次に、最小距離が近似的にゼロよりも大きいとき、オブジェクトが地面に接触していないと決定しうる。

オブジェクト１０４は、地表面１０８に接触していないので、車両１０２は、オブジェクト１０４の地表面１０８からの最小距離１１０（例えば、オブジェクトの最下部）を決定しうる。車両１０２は、また、複数の通過距離領域又は閾値（例えば、車両からの余裕距離）を記憶しうる。例えば、図２に関して以下でより詳細に論じられるように、第１の通過距離領域は、車両１０２が通常の動作条件下における走行中に、オブジェクトを通過しうる、車両１０２とオブジェクト１０４などのオブジェクトとの間の第１の距離を定義しうる。従って、距離１１０が、第１の通過距離領域と関連付けられた第１の距離よりも大きい場合、車両１０２は、動作条件を変更することなく、通過しうる。

車両１０２は、また、速度を第１の速度閾値よりも低減するなど、動作パラメータを調整した後に、車両１０２が通過しうる、車両１０２とオブジェクト１０４との間の第２の距離を定義する、第２の通過距離領域を含みうる。やはり、距離１１０が、第２の通過距離領域に関連付けられた第２の距離よりも大きい場合、車両１０２は、第１の低減された速度で（又は他の事前決定された動作パラメータの下において）、通過しうる。車両１０２は、また、速度を第２の閾値よりも低減するなど、動作パラメータを調整した後に、車両１０２が通過しうる、車両１０２とオブジェクトとの間の第３の距離を定義する、第３の通過距離ゾーンを含みうる。やはり、距離１１０が、第３の通過距離ゾーンと関連付けられた第３の距離よりも大きい場合、車両１０２は、第２の低減された速度で、通過しうる。車両は、任意の数の連続する通過距離領域又は閾値を含みうること、及び連続する通過距離領域の各々は、車両１０２からの低減された距離であり、対応する低減された速度を含みうることが、理解されるべきである。

いくつかのケースにおいては、距離１１０は、第３の通過距離領域よりも小さいことがある。この例においては、第３の通過距離領域は、第３の通過距離閾値が、接触せずにオブジェクト１０４を通過するための最小距離でありうるような、最終通過距離領域でありうる。車両１０２は、また、オブジェクト１０４のクラスを決定するように構成されうる。例えば、例示された例においては、車両は、オブジェクトが、枝葉を含むクラスに属し、枝葉クラスは、接触時の損傷について低いリスクを有すると決定しうる。或いは、オブジェクトのクラスが、駐車された自動車であった場合、車両１０２は、駐車された自動車を、接触時の損傷について高いリスクを有する、オブジェクトのクラスに分類する。この例においては、車両１０２は、車両１０２が、木の下に進行したとき、車両１０２は、枝葉１０４に接触することがあると決定しうる。このケースにおいては、枝葉１０４は、損傷について低いリスク（又はリスク閾値を下回る損傷のリスク）を有する、オブジェクトのクラスに属し、接触は、接触閾値よりも小さくなりうるので、車両１０２は、依然として、進行することを決定しうる。いくつかのケースにおいては、車両１０２は、接触のリスクを、車線１０６の外側を辿るリスクと比較しうる。例えば、混雑した道路上において走って来る交通内に移動することは、枝葉１０４に接触するよりも、車両１０２に損傷を引き起こす可能性がはるかに高いことがある。

いくつかのケースにおいては、車両は、各々が接触の異なるリスクを含む、サブクラスを含みうる。例えば、枝葉クラスは、損傷の第１のリスクを有する枝葉のためのサブクラスと、損傷の第２のリスクを有する半インチ（約１．２７ｃｍ）よりも小さい枝についてのサブクラスと、半インチよりも大きい枝についての第３のクラスとを含みうる。各サブクラスは、また、許容可能な回避距離、及び／又は（接触が必要と思われる場合の）接触のスピードを含みうる。サブクラスの数は、クラスに基づいて、変化しうること、また車両１０２が枝葉１０４に接触する速度は、クラス／サブクラス、車両１０２に接触する可能性が高いオブジェクト１０４の量、及び／又はオブジェクト１０４が車両１０２に接触する可能性が高い位置に基づいて、決定されうることが、理解されるべきである。

図２は、図１の車両１０２と関連付けられた通過距離領域２０２、２０４、２０６を例示する、例示的な絵図２００を示している。上で論じられたように、車両１０２は、通過距離領域２０２～２０６など、複数の通過距離領域を記憶しうる。通過距離領域２０２～２０６の各々は、車両までのオブジェクトの距離が、領域２０２～２０６内にあるときの、車両１０２と関連付けられた操作パラメータのセットを示しうる、境界エリア又は距離を含みうる。現在の例においては、車両１０２は、オブジェクトを含む最も近い又は最も接近した通過距離領域２０２～２０６と関連付けられたパラメータを使用して、動作しうる。従って、オブジェクトが、第１の通過距離領域２０２よりも車両１０２から遠い場合、車両１０２は、第１の距離領域２０２と関連付けられたパラメータ（例えば、通常の操作パラメータ）を用いて、動作しうる。オブジェクトが、第１の通過距離領域２０２内にあるが、第２の通過距離領域２０４よりも遠い場合、車両１０２は、パラメータ又は条件の第２のセットの下において、動作しうる。同様に、オブジェクトが、第２の通過距離領域２０４内にあるが、第３の通過距離領域２０６よりも遠い場合、車両１０２は、パラメータ又は条件の第３のセットの下において、動作しうる。最後に、オブジェクトが、第３の通過距離領域２０６内にある場合、車両１０２は、（いくつかのケースにおいては、停止及び／又はリモートオペレータ制御を含みうる）パラメータ又は条件の第４のセットの下において、動作しうる。

例示された例においては、第１の通過距離領域２０２及び第２の通過距離領域２０４は、車両１０２の周りの長方形の境界ボックスによって表される。長方形の境界ボックスは、車両１０２の外側の末端（例えば、各サイド－前、後、左、右、上、下における、車両１０２の最も外側の位置）からの対応する距離に基づいて、決定されうる。そのため、第１の通過距離領域２０２及び第２の通過距離領域２０４は、必ずしも、車両１０２自体の形状又は寸法の変化を考慮していない。このように、車両１０２は、オブジェクトが、第１の通過距離領域２０２又は第２の通過距離領域２０４よりも遠い場合、より迅速に、より少ない計算リソースを使用して、動作決定を行いうる。

現在の例においては、車両１０２との間の第３の距離を定義する、第３の通過距離領域２０６は、外側の周りの各点における、車両の外側からの距離によって定義されうる。従って、車両１０２は、側から道路内に突き出しているが、バックミラーを避ける、又は道路の表面から上に延びているが、車輪及び／又はフレームを避ける位置にある、オブジェクトを通過することができることがある。

図３は、車両の経路を部分的に妨害しているオブジェクト３０２を検出し、それを通過する、図１の車両１０２を例示した、例示的な絵図３００を示している。現在の例においては、車両１０２は、道路の表面に沿って、オブジェクト３０２を検出しうる。例えば、車両は、オブジェクト３０２を表すキャプチャされたデータをセグメント化及び分類しうる。車両は、また、オブジェクト３０２によって占有された空間の領域と関連付けられた、境界ボックス３０４を生成しうる。車両１０２は、次に、地表面からのオブジェクト３０２の最大距離３０６（例えば、境界ボックスの最高点と地面との間の距離）を決定しうる。車両１０２は、また、オブジェクト３０２が、第１の通過距離領域２０２及び第２の通過距離領域２０４内にある間は、車両１０２に関するオブジェクト３０２の位置において、第３の通過距離領域２０６が最大距離３０６を上回る（例えば、オブジェクト３０２が第３の通過距離領域に入らない）ことに基づいて、オブジェクト３０２が、回避可能であると決定しうる。例えば、例示されるように、オブジェクト３０２の高さは、車輪がオブジェクト３０２を避けるならば、車両１０２が、接触することなく、オブジェクト３０２の上を通過することを可能にする。この例においては、車両１０２は、また、オブジェクト３０２の意味的クラスを、岩又はさもなければ無生物のオブジェクトであると決定しうる。他の例においては、オブジェクト３０２が、例えば、小動物である場合、動物は、移動しうるので、車両１０２は、動作を停止しうる。しかし、オブジェクト３０２が、無生物であり、車両１０２の車台の下を安全に通過することができるときは、車両１０２は、低減された速度で（又は第３の運転パラメータの下で動作して）、岩３０２の上を運転するために進行しうる。いくつかの例においては、境界ボックス３０４、オブジェクト３０２の位置、及びオブジェクト３０６の高さは、車両１０２のプランナーシステムに提供されてよく、プランナーシステムは、車両の計画された経路、及び／又は操作パラメータを変更しうる。

図４は、車線を部分的に妨害しているオブジェクト４０２を検出し、それを通過する、図１の車両１０２を例示した、例示的な絵図４００を示している。現在の例においては、車両１０２は、道路の表面に沿って、オブジェクト４０２を検出しうる。このケースにおいては、車両１０２は、やはり、オブジェクト４０２の地面からの最大距離（例えば、高さ）を決定しうる。しかし、図３の例とは異なり、車両１０２は、オブジェクト４０２が、車両がその上を通過しようと試みた場合、車両１０２の底部に接触するほどに高い（例えば、それだけの高さを有する）と決定しうる。このケースにおいては、車両１０２は、第１の通過距離閾値２０２及び第２の通過距離閾値２０４に従って、車両１０２が、車両の経路内に留まりながら、オブジェクト４０２を回避することができないと決定しうる。しかし、車両１０２は、第３の通過距離閾値２０６の寸法、オブジェクト４０２の寸法、及び経路の幅に基づいて、オブジェクト４０２は、フレームの下又は車輪の間を通過可能ではあり得ないが、車両が、車両の計画された経路内の位置を維持している間は、オブジェクト４０２は、バックミラー又は車両の外側から延びる他の突き出したセンサ４０４の下を通過しうると決定しうる。やはり、車両１０２は、最初に、オブジェクト４０２が通過距離閾値２０２及び２０４に入る前に、オブジェクト４０２の意味的クラスを岩であると決定しうる。

図５は、経路を部分的に妨害しているオブジェクト５０２を検出し、それを通過する、図１の車両１０２を例示した、例示的な絵図５００を示している。現在の例においては、車両１０２は、オブジェクト５０２が、第１の通過距離閾値２０２、第２の通過距離閾値２０４、及び第３の通過距離閾値２０６に入ることになる距離に、オブジェクト５０２が経路内に延びていると決定しうる。この例においては、車両１０２は、また、オブジェクトの意味的クラスが枝葉（例えば、茂み）であると決定しうる。例えば、クラス又はサブクラスは、車両１０２を損傷することについて低いリスクを有する、葉及び小枝でありうる。車両１０２は、また、大量の対向交通があり、車線ラインを越えることは勧められないと決定しうる。例えば、車両又はプラニングシステムは、オブジェクト５０２に接触すること、及び対向交通内に乗り入れることを含む、異なる軌道／アクションに、「コスト」を割り当てうる。コストに基づいて、車両１０２は、次に、オブジェクト５０２に接触することを決定しうる。いくつかのケースにおいては、最も直接的なルートから外れることが、第１のコストを有しうるし、ブレーキ又は逸れることが、（搭乗者の不快感などに基づいて）第２のコストを有しうるなどする。この例においては、車両１０２は、複数の候補軌道を生成してよく、各々についてコストを計算し、その後、最も低いコストの軌道を、車両１０２の計画された経路として選択する。

この状況においては、車両１０２は、意味的分類、及び接触の決定された領域５０４（例えば、バックミラー又は突き出したセンサ４０４）に少なくとも部分的に基づいて、車両１０２は、枝葉５０２との接触にもかかわらず、進行しうると決定しうる。この例においては、車両１０２は、速度閾値を下回るなど、パラメータの限られたセット内で、動作しうる。

図６は、地面上のオブジェクト６０２を検出し、それを通過する、図１の車両１０２を例示した、例示的な絵図６００を示している。現在の例においては、車両１０２は、道路の表面に沿って、又は地表面よりも下に、オブジェクト６０２を検出しうる。このケースにおいては、車両１０２は、オブジェクト６０２の地面からの最大距離（例えば、深さ）を決定しうる。車両１０２は、また、深さが、車両１０２がそれの車輪をその上で駆動しうる、深さ閾値よりも大きいと決定しうる。車両１０２は、また、第３の通過距離閾値２０６に基づいて、オブジェクト６０２が回避可能である（例えば、オブジェクト６０２は、図３の岩３０２と同じように、車輪の間を通過しうる）と決定しうる。この例においては、車両１０２は、また、オブジェクト６０２の意味的クラスを、地表面自体にできた穴又は障害物であると決定しうる。しかし、オブジェクト６０２は、無生物であり、車両１０２の車輪の間を安全に通過することができるので、車両１０２は、低減された速度で（又は第３の運転パラメータの下で動作して）オブジェクト６０２の上を運転するために進行しうる。

図４～図６の例においては、車両１０２は、上で論じられたように、第３の通過距離ゾーン２０６に基づいて、オブジェクトが、車線内において通過されうると決定しうる。しかし、これらの例の各々においては、車両１０２は、示されたようなオブジェクトを適切に回避するために、車線内に留まりながら、位置を調整しうることが、理解されるべきである。

図７～図８は、図１～図６の車両の経路又は車線内のオブジェクトに関する、車両の動作パラメータを決定することと関連付けられた、例示的なプロセスを例示した、フロー図である。プロセスは、そのいくつか又はすべてが、ハードウェア、ソフトウェア、又はそれらの組み合わせで実施されることができる、動作のシーケンスを表す、論理フロー図におけるブロックの集まりとして、例示される。ソフトウェアとの関連においては、ブロックは、１つ又は複数のプロセッサによって実行されたとき、言及された動作を実行する、１つ又は複数のコンピュータ可読媒体上に記憶された、コンピュータ実行可能命令を表す。一般に、コンピュータ実行可能命令は、特定の機能を実行し、又は特定の抽象データ型を実施する、ルーチン、プログラム、オブジェクト、コンポーネント、及びデータ構造などを含む。

動作が説明される順序は、限定として解釈されるべきではない。任意の数の説明されるブロックが、プロセス又は代替プロセスを実施するために、任意の順序及び／又は並列で、組み合わされることができる。ブロックの必ずしもすべてが、実行される必要はない。論説の目的で、本明細書におけるプロセスは、本明細書における例において説明される、フレームワーク、アーキテクチャ、及び環境を参照して、説明されるが、プロセスは、多種多様な他のフレームワーク、アーキテクチャ、又は環境において、実施されうる。

図７は、車両の経路を部分的に妨害しているオブジェクトを検出し、それを通過するための、例示的なプロセス７００を示している。車両は、オブジェクトの意味的クラス、クラスの特性、経路及び／又は地表面に関するオブジェクトの位置、オブジェクトの形状又は寸法、並びに車両の形状又は寸法に基づいて、経路内のオブジェクトを回避するために、動作の車線内の経路を決定しうる。上で論じられたように、このタイプのオブジェクト回避は、車両が、適切な交通車線内における位置をより頻繁に保守するので、車両が、追加の状況又は環境において動作すること、及び車両の全体的な安全性を高めることを可能にしうる。

７０２において、車両は、車両の経路に対する障害物を示す点のセットを含む、センサデータをキャプチャしうる。例えば、車両は、ＬＩＤＡＲ（光検出及び測距）データ、ＲＡＤＡＲデータ、ＳＯＮＡＲデータ、画像データ（赤緑青、赤外線、強度、深度など）、音声データ、赤外線データ、位置データ、深さデータ、又はそれらの任意の組み合わせを含む、センサデータをキャプチャしうる。

７０４において、車両は、点のセットをオブジェクトと関連付けうる。例えば、車両は、オブジェクトの存在を決定するために、様々な機械学習モデル及び／又はニューラルネットワークを使用して、キャプチャされたセンサデータを処理しうる。例えば、オブジェクトは、その全体が参照によって本明細書に組み込まれる、米国特許出願第１５／９６３８３３号明細書において論じられる、プロセス及び技法によって検出されうる。１つの具体的な例においては、車両は、車両に対してセグメンテーションを実行し、及び／又はオブジェクト末端を定義するために、オブジェクトの周りの境界ボックス領域を識別しうる。

７０６において、車両は、オブジェクトが車両の計画された経路内にあると決定しうる。例えば、車両は、物理的環境の記憶されたシーン又はマップに関する点のセット又はオブジェクトの位置に少なくとも部分的に基づいて、オブジェクトが、車両が現在その内で動作している経路に沿って配置されていると決定しうる。

７０８において、車両は、計画された経路と関連付けられた表面からのオブジェクトの１つ又は複数の距離を決定しうる。例えば、車両は、地表面を識別し、地表面からのオブジェクトの最大距離（例えば、オブジェクトの上部）と、地表面からのオブジェクトの最小距離（例えば、オブジェクトの底部）とを決定しうる。いくつかのケースにおいては、車両は、ともにその全体が参照によって本明細書に組み込まれる、米国特許出願第１６／６９８０５５号明細書又は米国特許出願第１５／６２２９０５号明細書において論じられるように、地表面と関連付けられた地平面を決定しうる。

７１０において、車両は、距離に部分的に基づいて、オブジェクトが車両と関連付けられた第１の通過領域と交差するかどうかを決定しうる。いくつかのケースにおいては、第１の通過領域は、車両の各サイド（例えば、左、右、上、下）沿いの特定の点からの第１の事前決定された距離でありうる。いくつかのケースにおいては、第１の事前決定された領域は、車両の各サイドにおいて均一でありうるが、他のケースにおいては、第１の事前決定された距離は、変化しうる。例えば、第１の通過領域は、車両のサイド沿いからよりも、車両の上部からのほうが遠くなりうる。１つの例においては、車両は、最小距離が、車両の上面沿いの第１の通過領域よりも大きいかどうかを決定することによって、車両がオブジェクトの下を運転することができるかどうかを決定しうる。同様に、別の例においては、車両は、最大距離が、車両の底面沿いの第１の通過領域よりも大きいかどうかを決定することによって、車両がオブジェクトの上を運転することができるかどうかを決定しうる。オブジェクトが、第１の通過領域と交差しない場合、プロセス７００は、７１２に進みうるし、７１２においては、車両は、動作パラメータの第１のセット（例えば、通常の動作パラメータ）を使用して、オブジェクトを通過するために、進行しうる。いくつかの例においては、車両のプラニングシステムは、オブジェクトデータを受信し、オブジェクトに少なくとも部分的に基づいて、操作パラメータを決定し、及び／又は車両の計画された経路を更新しうる。しかし、オブジェクトが、第１の通過領域と交差する場合、プロセス７００は、７１４に進みうる。

７１４において、車両は、距離に部分的に基づいて、オブジェクトが車両と関連付けられた第２の通過領域と交差するかどうかを決定しうる。第１の通過領域と同様に、第２の通過領域は、車両の各サイド（例えば、左、右、上、下）沿いの特定の点からの第２の事前決定された距離でありうる。

現在の例においては、第２の事前決定された距離は、第１の通過領域と関連付けられた第１の事前決定された距離よりも小さくなりうる（例えば、第２の通過領域に従って通過するための許容可能距離は、第１の通過距離領域に従って通過するための許容可能距離よりも近い）。１つの例においては、車両は、最小距離が、車両の上面沿いの第２の通過領域よりも大きいかどうかを決定することによって、車両がオブジェクトの下を運転することができるかどうかを決定しうる。同様に、別の例においては、車両は、最大距離が、車両の底面沿いの第２の通過領域よりも大きいかどうかを決定することによって、車両がオブジェクトの上を運転することができるかどうかを決定しうる。オブジェクトが、第２の通過領域と交差しない場合、プロセス７００は、７１６に進みうるし、７１６において、車両は、動作パラメータの第２のセットを使用して、オブジェクトを通過するために、進行しうる。動作パラメータの第２のセットは、例えば、低減された速度を含み、又は計画された経路を変更しうる。しかし、オブジェクトが、第２の通過領域と交差する場合、プロセス７００は、７１８に進みうる。

７１８において、車両は、距離に部分的に基づいて、オブジェクトが車両と関連付けられた第３の通過領域と交差するかどうかを決定しうる。第１の通過領域又は第２の通過領域とは異なり、第３の通過領域が、車両自体の形状を反映するように、第３の通過領域は、車両の各サイド（例えば、左、右、上、下）沿いの複数の点からの第３の事前決定された距離でありうる。現在の例においては、第３の事前決定された距離は、第１の事前決定された距離及び第２の事前決定された距離よりも小さくなりうる（例えば、第３の通過領域に従って通過するための許容可能距離は、第１の通過距離領域又は第２の通過領域に従って通過するための許容可能距離よりも近い）。１つの例においては、車両は、最小距離が、車両の上面沿いの第３の通過領域よりも大きいかどうかを決定することによって、車両がオブジェクトの下を運転することができるかどうかを決定しうる。別の例においては、車両は、最大距離が、車両の底面沿いの第３の通過領域よりも小さいかどうかを決定することによって、車両がオブジェクトの上を運転することができるかどうかを決定しうる。いくつかのケースにおいては、車両は、オブジェクトの上を運転するために、車両に関する位置など、通過エリアを決定しうる。例えば、車両は、オブジェクトが、（第３の通過距離閾値は、車両の形状に対応するので）車両のある部分の下に適合すると決定し、その部分をオブジェクトと位置合わせしうる。オブジェクトが、第３の通過距離閾値と交差しない場合、プロセス７００は、７１６に進みうるし、７１６において、車両は、動作パラメータの第３のセットを使用して、オブジェクトを通過するために、進行しうる。動作パラメータの第３のセットは、例えば、動作パラメータの第２のセットよりもさらに低減された速度を含みうる。しかし、オブジェクトが、第２の通過距離閾値と交差する場合、プロセス７００は、７２２に進みうる。

７２２において、車両は、オブジェクトの意味的クラスを決定しうる。例えば、車両は、様々な機械学習モデル及び／又はニューラルネットワークを使用して、オブジェクトに対して分類を実行しうる。いくつかのケースにおいては、車両は、また、サブクラスをオブジェクトに割り当てうる。いくつかの例においては、車両は、様々な機械学習モデル及び／又はニューラルネットワークを使用して、点のセットに対して分類を実行しうる。例えば、１つ又は複数のニューラルネットワークは、意味的クラスヘッド、オブジェクトインスタンス中心への方向ヘッド（ｄｉｒｅｃｔｉｏｎ ｔｏ ｏｂｊｅｃｔ ｉｎｓｔａｎｃｅ ｃｅｎｔｅｒ ｈｅａｄ）、及び他の学習された出力ヘッドなど、任意の数の学習された推論又はヘッドを生成しうる。いくつかのケースにおいては、ニューラルネットワークは、エンドツーエンドである、トレーニングされたネットワークアーキテクチャでありうる。１つの例においては、意味的クラス推定は、抽出された深層畳み込み特徴を、意味的データ（例えば、剛性、硬さ、安全性リスク、位置変化のリスク、クラス又はタイプ、走行の潜在的な方向など）にセグメント化及び／又は分類することを含みうる。他のケースにおいては、オブジェクトの意味的クラスは、その全体が参照によって本明細書に組み込まれる、米国特許出願第１５／８２０２４５号明細書において論じられるように決定されうる。

７２４において、車両は、意味的クラス基準が満たされるか、又は超えられるかを決定しうる。例えば、車両は、各クラスと関連付けられた様々なクラス特性を記憶してよく、クラス特性に基づいて、オブジェクトが第３の通過距離閾値内にある場合であっても、車両が進行しうるかどうかを決定しうる。例えば、オブジェクトが、無生物であるクラスに属する、又は無生物でないクラスに属する場合、車両を損傷する可能性が高い場合（例えば、葉、紙、ゴミ、及び小さい小枝は可能性が高くなり得ないが、自転車又はスクータは可能性が高くなりうる）、車両とオブジェクトとの間の接触の量が、接触閾値よりも小さい（例えば、１．０インチ（約２．５４ｃｍ）未満、２．０インチ（約５．０８ｃｍ）未満、又は５．０インチ（約１２．７ｃｍ）未満の接触の）場合、プロセス７００は、７２６に進み、車両は、動作パラメータの第４のセットを使用して、オブジェクトを通過するために、進行しうる。いくつかのケースにおいては、動作パラメータの第４のセットは、動作パラメータの第３のセットよりはるかに低減された速度など、より制限的でありうる。意味的クラスが、（オブジェクトが生命のあるものである、硬すぎる、又は剛性であるなど）、進行基準を満たさない、又は超える場合、プロセス７００は、７２８に移行し、車両は、（リモート車両オペレータなどの）オペレータに警告を発する。

７２８においては、車両は、リモートオペレータに警告を発しうるし、リモートオペレータは、車両によって生成された画像データと、リモート制御又は操作デバイスとを使用して、車両を制御し、又は他の方法で誘導することができることがある。このように、リモートオペレータは、計画された経路内のオブジェクトに関連する同じタイプの情報に対して、人間のドライバーが行うのと同じような、情報に基づいた決定を行うことができる。

図８は、車両の経路を部分的に妨害しているオブジェクトを検出し、それを通過するための、別の例示的なプロセス８００を示している。上で論じられたように、自律車両は、オブジェクトの意味的クラス、クラスと関連付けられた記憶された又は知られた情報、車両の経路及び／又は物理的環境と関連付けられた１つ若しくは複数の平面に関するオブジェクトの位置、オブジェクトの寸法、並びに車両の寸法に基づいて、車線内のオブジェクトを回避するための（動作の車線内などの）経路を決定しうる。上で論じられたように、このタイプのオブジェクト回避は、車両が適切な交通車線内により頻繁に留まるので、車両の全体的な安全性も高めながら、車両が、追加の状況又は環境において動作することを可能にしうる。

８０２において、車両は、車両の計画された経路を妨害するオブジェクトを表す、点のセットを含む、センサデータをキャプチャしうる。例えば、車両は、ＬＩＤＡＲデータ、ＲＡＤＡＲデータ、ＳＯＮＡＲデータ、画像データ、音声データ、位置データ、深さデータ、又はそれらの任意の組み合わせをキャプチャするように構成されたセンサシステムなど、様々なセンサシステムを含みうる。

８０４において、車両は、オブジェクトが車両の計画された経路内にあると決定しうる。例えば、車両は、点のセットを、物理的環境のマップ又はシーンと関連付けうる。車両は、マップ又はシーン内の点のセットの位置に基づいて、点のセットの少なくとも部分が、車両の計画された経路内にあると決定しうる。いくつかのケースにおいては、車両は、オブジェクトを識別し、環境を表す記憶されたシーン内にオブジェクトを位置付けるために、点のセットを関連付け、セグメント化し、分類しうる。いくつかの例においては、車両は、図２～図６に示されるような、物理的環境及び計画された経路のトップダウン図又はマップを生成しうる。他の例においては、車両は、また、オブジェクトと関連付けられた境界ボックス又は領域を決定し、境界ボックスがコリド（例えば、計画された経路の３次元表現）と交差するかどうかを決定しうる。車両は、次に、オブジェクトが車両の経路内にあると決定するために、オブジェクト（若しくは境界ボックス）の位置、及び／又はオブジェクトのジオメトリを利用しうる。

別の例においては、車両は、点又は境界ボックスとコリドとの間の交差に基づいて、点のセット（又は境界ボックス）の少なくとも一部が、車両のコリド又は計画された経路内にあると決定しうる。例えば、車両は、地表面と、計画された経路の左サイド及び右サイド（例えば、コリドの境界となる垂直平面）とを識別し、オブジェクトはコリドの左サイドと右サイドとの間に位置付けられると決定しうる。本明細書において論じられるように、コリドの左サイド及び右サイドは、車両の速度及び走行の角度などに基づいて、可変である。

８０６において、車両は、物理的環境又はコリドと関連付けられた面を決定しうる。例えば、面は、地表面と関連付けられた水平な地平面、又はコリドの左サイド若しくは右サイドでありうる。

８０８において、車両は、面（例えば、地表面）からのオブジェクトの最大距離と、面からのオブジェクトと関連付けられた最小距離とを決定しうる。例えば、車両は、地表面からのオブジェクトと関連付けられた最大距離に基づいて、オブジェクトの高さを決定しうる。例えば、最小距離が、近似的にゼロである場合、オブジェクトによって表されるオブジェクトは、地平面に沿って位置付けられ、最大距離は、オブジェクトの高さに等しい。

同様に、車両は、地平面とオブジェクトとの間の最小距離に基づいて、地表面からのオフセット（例えば、点のセットによって表されるオブジェクトの下方の余裕）を決定しうる。例えば、最小距離が、近似的にゼロより大きい場合、表されるオブジェクトは、張り出したオブジェクトであり、最小距離は、張り出しの下の余裕を表す。

他の例においては、平面が、計画された経路のコリドの垂直サイド平面である場合など、車両は、地表面に対するのと同様の方式で、車両のコリドの右サイドからの第１の侵犯距離を決定するための最大距離を、またコリドの他のサイドからの第２の侵犯距離を決定するための最小距離を利用しうる。いくつかの具体的な例においては、車両は、コリドの垂直サイド面の両方からの最大距離及び最小距離を決定しうる。

８１０において、車両は、最小距離が、車両と関連付けられた上面閾値以上である（例えば、オブジェクトの底部が、事前定義された距離を上回って車両の上面よりも上にある）かどうかを決定しうる。例えば、面が、地面である場合、車両は、車両が張り出しの下を安全に通過することができるかどうかを決定しうる。例えば、図７に関して上で論じられたように、車両は、張り出したオブジェクトを通過するときに使用されうる、操作パラメータを決定するために、様々な通過距離領域を、最小距離と比較しうる。また、領域は、車両の上面の寸法に基づいて変化し、及び／又は車両の上面沿いの点から固定された距離でありうることが、理解されるべきである。

最小距離が、上面閾値（例えば、上で論じられた通過距離領域のうちの１つ又は複数）以上である場合、プロセス８００は、８１２に進みうるし、オブジェクトは、（例えば、道路の表面に沿っていない）張り出しであり、車両は、接触せずに通過するのに十分な余裕を有するので、車両は、オブジェクトを通過しうる。いくつかのケースにおいては、プラニングシステムは、余裕情報及び／又は操作パラメータの第１のセットを受信し、操作パラメータの第１のセットと、計画された経路内のオブジェクトの位置とに基づいて、オブジェクトを通過することと関連付けられた軌道を計画しうる。現在の例においては、８１２において、車両（又は車両プラニングシステム）は、オブジェクトを通過するとき、通常の動作パラメータなど、操作パラメータの第１のセットを利用しうる。図７の例など、いくつかの例においては、操作パラメータの第１のセットは、通過距離領域、又は車両までのオブジェクトの近さに依存しうる。しかし、最小距離が、上面閾値以上でない場合、プロセス８００は、８１４に進む。

８１４において、車両は、最大距離が、車両と関連付けられた底面閾値以下である（例えば、オブジェクトの上部が、事前定義された距離を下回って車両の底面よりも下にある）かどうかを決定しうる。例えば、面が、地面である場合、車両は、車両が道路の表面に沿ってオブジェクトの上を安全に通過しうるかどうかを決定しうる。いくつかの例においては、図７に関して上で論じられたように、車両は、面オブジェクトを通過するときに使用されうる、操作パラメータを決定するために、様々な通過距離領域を、最大距離と比較しうる。また、領域又は閾値は、車両の底面の寸法に基づいて変化し、及び／又は車両の上面沿いの点から固定された距離でありうることが、理解されるべきである。例えば、突き出したセンサの下を通過するオブジェクトは、車両の車台の下を通過するオブジェクトよりも大きい底面閾値を有しうる。いくつかのケースにおいては、車両は、また、車輪に衝撃を与えることなく、車両がオブジェクト上を通過するのに十分な余裕を、オブジェクトが有することを保証するために、車輪の間を通過する面オブジェクトの幅を決定しうる。

最大距離が、底面閾値（例えば、上で論じられた通過距離領域のうちの１つ又は複数）以下である場合、プロセス８００は、８１２に進みうるし、オブジェクトは、小さい面オブジェクトであり、車両は、接触せずに通過するのに十分な余裕を有するので、車両は、オブジェクトを通過しうる。しかし、最大距離が、底面閾値以上でない場合、プロセス８００は、８１６に進む。

８１６において、車両は、点のセットによって表されるオブジェクトの意味的クラスを決定しうる。いくつかの例においては、車両は、様々な機械学習モデル及び／又はニューラルネットワークを使用して、オブジェクト点のセットに対して分類を実行しうる。例えば、１つ又は複数のニューラルネットワークは、意味的クラスヘッド、オブジェクトインスタンス中心への方向ヘッド、及び（ターゲット範囲、ターゲット方位、ターゲット速度、オブジェクト境界ボックスなどの）他の学習された出力ヘッドなど、任意の数の学習された推論又はヘッドを生成しうる。いくつかのケースにおいては、ニューラルネットワークは、例えば、確率的勾配降下法を用いる、エンドツーエンドである、トレーニングされたネットワークアーキテクチャでありうる。いくつかのケースにおいては、画像マップの形態における適切な真の出力は、意味的なピクセルごとの分類（葉、岩、車両、動物、ゴミなど）と、境界ボックス表現とを含みうる。いくつかの例においては、意味的クラス推定は、抽出された深層畳み込み特徴を、意味的データ（例えば、剛性、硬さ、安全性リスク、位置変化のリスク、クラス又はタイプ、走行の潜在的な方向など）にセグメント化及び／又は分類することを含みうる。

いくつかのケースにおいては、意味的分類は、平面からの最大距離及び最小距離を決定することの前に、又はそれと並行して、実行されうる。例えば、オブジェクトが、紙又はプラスチックゴミとして分類される場合など、いくつかのケースにおいては、オブジェクトは、接触時に損傷のリスクをもたらさず、移動する（例えば、風に吹き飛ばされる）可能性が高いことがあるので、車両は、点のセットを無視してよく、従って、計算リソースが、節約されうる。

８１８において、車両は、意味的クラス基準が満たされるか、又は超えられるかを決定しうる。例えば、車両は、安全なクラスとみなされ、閾値レベルを下回る損傷のリスクをもたらす、クラスのタイプ（例えば、紙、プラスチック、他の柔らかいゴミ、葉、小さい枝など）を含みうる。他の例においては、車両は、オブジェクトが安全であるかどうかを決定するために、剛性、硬さなど、クラスの特性を、様々な基準又は閾値と比較しうる。１つの特定の例においては、基準は、例えば、車両の速度に基づいた、接触時の損傷のリスク、又は接触時の損傷のリスクの様々なスケールを含みうる。現在の例においては、意味的クラス基準が、満たされる、又は超えられる場合、プロセス８００は、８２０に移行し、８２０において、車両は、操作パラメータの第２のセットを使用して、オブジェクトを通過する。しかし、意味的クラス基準が、満たされない、又は超えられない場合、プロセス８００は、８２２に移行し、車両は、オペレータに警告を発しうる。例えば、車両は、車両内のオペレータに、及び／又は１つ若しくは複数のネットワークを介して、遠隔地のオペレータに通知しうる。このように、車両は、オブジェクトを迂回するように、手動で操作されてよく、それによって、搭乗者の安全性を保証する。

図９は、車両の経路を部分的に妨害しているオブジェクトを検出し、それを通過するための、別の例示的プロセス９００を示している。上で論じられたように、自律車両は、オブジェクトの意味的クラス、クラスの特性、車線及び／又は物理的環境と関連付けられた１つ若しくは複数の平面に関するオブジェクトの位置、オブジェクトの寸法、並びに車両の寸法に基づいて、車線内のオブジェクトを回避するために、動作の車線内の経路を決定しうる。上で論じられたように、このタイプのオブジェクト回避は、車両が適切な交通車線内により頻繁に留まるので、車両の全体的な安全性も高めながら、車両が、追加の状況又は環境において動作することを可能にしうる。

９０２において、車両は、車両の経路に対する障害物を示す点のセットを含む、センサデータをキャプチャしうる。例えば、車両は、ＬＩＤＡＲデータ、ＲＡＤＡＲデータ、ＳＯＮＡＲデータ、画像データ、音声データ、位置データ、深さデータ、又はそれらの任意の組み合わせをキャプチャするように構成された、センサシステムを含みうるなど、様々なセンサシステムを含みうる。

９０４において、車両は、点のセット内のオブジェクトを識別し、オブジェクトの意味的クラスを決定しうる。例えば、車両は、点のセット内のオブジェクトを識別し、物理的環境のマップ又はシーンに関するオブジェクトを位置付けるために、オブジェクト検出、フィルタリング、分類、セグメンテーション、特徴抽出、スパース特徴表現、パターン検出、ホワイトスペース検出、ピクセル相関、特徴マッピングなどの技法を実行しうる。いくつかのケースにおいては、オブジェクト検出、分類、及びセグメンテーションは、機械学習モデル及び／又はニューラルネットワークを含みうる。１つ又は複数のニューラルネットワークは、任意の数の学習された推論又はヘッドを生成しうる。

９０６において、車両は、オブジェクトが車両の経路内にあると決定しうる。例えば、車両は、車両の車線の領域内のオブジェクトの少なくとも一部が、車両の経路を占有している、又は車両の経路内にあると決定しうる。いくつかのケースにおいては、車両は、車線のエッジと関連付けられた垂直サイド平面、及び道路の表面と関連付けられた地平面を決定しうる。車両は、次に、オブジェクトの少なくとも一部が、識別された平面によって定義される空間内にあると決定しうる。

９０８において、車両は、地表面からのオブジェクトの最大距離と、地表面からのオブジェクトの最小距離とを決定しうる。例えば、最小距離が、近似的にゼロである場合、オブジェクトは、地表面に沿って位置付けられ、最大距離は、オブジェクトの高さに等しい。しかし、最小距離が、ゼロよりも大きい場合、オブジェクトは、地面からずれており、オブジェクトは、道路上に張り出している。例えば、地面からのオブジェクトの最小距離が、車両の上方にオブジェクトを配置する（例えば、車両の上面からの閾値距離よりも大きい）場合、車両は、張り出したオブジェクトの下を安全に通過しうる。或いは、地面からのオブジェクトの最大距離が、車両の下方にオブジェクトを配置する（例えば、車両の底面からの閾値距離よりも小さい）場合、車両は、地面オブジェクトの上を安全に通過することができる。いくつかのケースにおいては、車両は、また、オブジェクトと直線に並ぶ車両の領域（例えば、車輪や車台）を決定しうる。車両は、次に、車両の特定の領域のオブジェクトとの交差に基づいて、オブジェクトが、オブジェクトの下を通過しうるかどうかを決定しうる。

９１０において、車両は、車両の計画された経路のサイド（例えば、コリドの右サイド又は左サイド）と関連付けられた面からのオブジェクトの最大距離と、サイド面からのオブジェクトの最小距離とを決定しうる。いくつかのケースにおいては、車両は、コリドの両サイドと関連付けられた垂直面からのオブジェクトの最大距離及び最小距離を決定しうる。このように、車両は、コリドの右サイド又は左サイドのどちらかから車両の計画された経路内へのオブジェクトの侵犯距離を決定しうる。

９１２において、車両は、地表面からの最大距離、地表面からの最小距離、サイド面からの最大距離、サイド面からの最小距離、車両の寸法、及びオブジェクトの意味的クラスに少なくとも部分的に基づいて、車両の経路を決定しうる。例えば、車両は、車両がオブジェクトを安全に通過しうるかどうかを決定するために、様々な距離を、１つ又は複数の閾値（例えば、図１～図７に関して上で論じられた通過距離閾値）と比較しうる。いくつかのケースにおいては、車両は、また、オブジェクトの意味的クラスに少なくとも部分的に基づいて、車両に対する損傷のリスクを決定しうる。例えば、オブジェクトが、車線内に落ちている新聞である場合、損傷のリスクは、低いものでありうるし、車両は、進行しうる。しかし、オブジェクトが、子供の自転車である場合、（例えば、オブジェクト、自転車、又は車両のいずれかに対する）損傷のリスクは、高いものでありうるし、車両は、進行しないことがある。

図１０は、オブジェクトを検出し、車両の計画された経路と関連付けられた表面を決定するための、例示的なプロセスを示している。例えば、車両は、データセットをキャプチャし、ボクセル空間を生成して、地表面と関連付けられたボクセルを決定し、オブジェクトを識別し、オブジェクトと関連付けられた境界ボックスを生成するように構成された、１つ又は複数のｌｉｄａｒデバイスを含みうる。

１００２において、車両は、ｌｉｄａｒデータをキャプチャしうる。いくつかの例においては、車両は、自律車両の知覚システムと関連して動作する、複数のｌｉｄａｒセンサから、複数のｌｉｄａｒ点を受信しうる。いくつかの例においては、データは、２つ以上のｌｉｄａｒセンサから取得され、又は物理的環境１００４を表す単一のｌｉｄａｒデータセットに融合されうる。

１００６において、車両は、ｌｉｄａｒデータをボクセル空間と関連付けうる。例えば、例１０８は、各次元（例えば、ｘ、ｙ、ｚ）において５つのボクセルを含む、ボクセル空間を例示しているが、任意の数のボクセルが、ボクセル空間内に含まれうる。いくつかの例においては、ボクセル空間は、ｌｉｄａｒデータセットの原点又は仮想原点の周りのエリアなどの、物理的環境に対応しうる。例えば、ボクセル空間は、幅１０メートル、長さ１０メートル、高さ１０メートルのエリアを表しうる。さらに、ボクセル空間内の各ボクセル（例えば、ボクセル１０１０）は、各次元が２５センチメートルであるなどする、物理的エリアを表しうる。本開示との関連において理解されうるように、ボクセル空間は、環境の任意のエリアを表しうるし、個々のボクセルも、同様に任意の体積を表しうる。いくつかの例においては、ボクセルは、ボクセル空間全体において、均一なサイズでありうるが、いくつかの例においては、ボクセルの体積は、データの原点に対するボクセルの位置に基づいて、変化しうる。例えば、ｌｉｄａｒデータの密度は、ｌｉｄａｒセンサからの距離が増加するにつれて、減少しうるので、ボクセル空間におけるボクセルのサイズは、ボクセルからｌｉｄａｒセンサ（又は複数のｌｉｄａｒセンサを表す原点）までの距離に比例して、増加しうる

いくつかの例においては、車両は、点群の個々の点を、個々のボクセルにマッピングしうる。いくつかの例においては、動作１０６は、例えば、ｌｉｄａｒデータが、自律車両などの移動プラットフォームによって、キャプチャされる場合、例えば、ｌｉｄａｒデータを静止基準点に変換するために、ｌｉｄａｒデータと関連付けられた動きベクトルを減算することを含むことができる。即ち、いくつかの例においては、ｌｉｄａｒデータは、例えば、（例えば、移動車両に関して固定された、ボクセル空間とは対照的に）全体マップに関して固定された、ボクセル空間と関連付けられうる。いくつかの例においては、１００６において、車両は、疎なボクセル空間を作成するために、データを含まない、又は閾値数を下回る数の点を含む、ボクセルを廃棄又は省略しうる。さらに、いくつかの例においては、動作１０６は、例えば、ボクセル空間に関する車両の位置と関連付けられたいずれの誤差も補償又は調整するために、車両の体勢（例えば、車両の向き）、及び関連付けられたｌｉｄａｒデータを、ボクセルマップに揃えることを含むことができる。

１０１２において、車両は、地表面と関連付けられた１つ又は複数のボクセルを決定しうる。いくつかの例においては、地表面は、上で論じられたように、自律車両によって運転可能な表面に対応しうる。１１４に示されるように、データポイントの数、平均強度、平均ｘ値、平均ｙ値、平均ｚ値、及びｌｉｄａｒデータに基づいた共分散行列を含む、データの統計的蓄積を表しうる、ｌｉｄａｒデータ１０１６を含む、単一のボクセル、例えば、ボクセル１０１０が、示されている。そのような例においては、ｌｉｄａｒデータ１０１６は、例示の目的で、数々の点として示されているが、各ボクセル１０１０は、それらの点の統計的蓄積だけを記憶しうる。いくつかの例においては、１０１２において、車両は、平面１０１８をｌｉｄａｒデータ１０１６にフィットさせてよく、それは、（例えば、共分散行列に少なくとも部分的に基づいて、例えば、共分散行列に対して固有値分解又は主成分分析を実行することによって）ｌｉｄａｒデータ１０１６の平面近似を決定することを含みうる。例えば、車両は、平面１０１８をデータ１０１６にフィットさせるために、ボクセル１０１０内に表されたｌｉｄａｒデータ１０１６に対して、主成分分析又は固有値分解を実行することを含みうる。いくつかの例においては、車両は、ボクセル１０１０に隣接するボクセルと関連付けられたデータに少なくとも部分的に基づいて、ボクセル１０１０内に表されたｌｉｄａｒデータ１０１６の平面近似を決定することを含みうる。車両は、また、面１０１８と関連付けられた、法線ベクトル１０２０を決定しうる。さらに、車両は、自律車両の向きに対応しうる、基準方向を決定しうるし、（垂直面又は平面の向きを支援するためになど）法線ベクトル１０２０が、基準方向に関して、閾値量又は向き以内であるかどうかを決定することを含みうる。

非限定的な例として、地表面を決定することは、そのようなｌｉｄａｒシステムを搭載する装置の高さ次元（例えば、基準方向）におけるベクトルと、共通の座標系において表現された法線ベクトル１２０との間の内積を決定することを含みうる。そのような例においては、１５度の閾値を超える内積は、ボクセル１０１０が地表面を構成しないことを示しうる。さらに、車両は、地面に対応する面を成長させるために、局所的に平坦なボクセルであると決定されたボクセルをクラスタ化しうる。

１０２２において、車両は、オブジェクトと関連付けられたボクセルを決定し、境界ボックス１０３２を識別しうる。いくつかの例においては、車両は、地表面又は地表面に対応する平面及び／又はボクセルのインジケーションを受信又は決定し、地表面と関連付けられたボクセルのサブセットを除去する。この除去操作の後、ボクセル空間内に残るボクセルは、車両の計画された経路内のオブジェクトを表しうる。１２４に示されるように、１００８に例示されたボクセル空間に対応しうる、ボクセル空間１００８’のビュー表現。いくつかの例においては、ボクセル空間１００８’は、車両の経路内の、第１のオブジェクトを表すｌｉｄａｒデータ１０２６と、第２のオブジェクトを表すｌｉｄａｒデータ１０２８とを含む。いくつかの例においては、１０２２において、車両は、ｌｉｄａｒデータが、境界ボックス１０３０によって表されるオブジェクトと関連付けられると決定するために、またｌｉｄａｒデータ１０２８が、境界ボックス１０３２によって表されるオブジェクトと関連付けられると決定するために、データ点をクラスタ化しうる。そのような地平面検出及びオブジェクトセグメンテーションの追加の詳細は、上で参照によって組み込まれた、米国特許出願第１５／６２２９０５号明細書において詳述されている。

図１１は、本開示の実施形態による、本明細書において説明された技法を実施するための、例示的なシステム１１００のブロック図である。いくつかの例においては、システム１１００は、図１～図９を参照して本明細書において説明された実施形態の１つ又は複数の特徴、構成要素、及び／又は機能性を含みうる。いくつかの実施形態においては、システム１１００は、車両１１０２を含みうる。車両１１０２は、車両コンピューティングデバイス１１０４と、１つ又は複数のセンサシステム１１０６と、１つ又は複数の通信接続１１０８と、１つ又は複数の運転システム１１１０とを含みうる。

車両コンピューティングデバイス１１０４は、１つ又は複数のプロセッサ１１１２と、１つ又は複数のプロセッサ１１１２と通信可能に結合されたコンピュータ可読媒体１１１４とを含みうる。例示された例においては、車両１１０２は、自律車両であるが、しかし、車両１１０２は、他の任意のタイプの車両、又は他の任意のシステム（例えば、ロボットシステム、カメラ使用可能スマートフォンなど）であることができる。例示された例においては、車両コンピューティングデバイス１１０４のコンピュータ可読媒体１１１４は、オブジェクト検出コンポーネント１１１６、オブジェクト分類コンポーネント１１１８、計画コンポーネント１１２０、１つ又は複数のシステムコントローラ１１２２、並びにセンサデータ１１２４、及び様々な閾値１１２６を記憶する。図１１においては、例示目的で、コンピュータ可読媒体１１１４内に存在するように示されているが、オブジェクト検出コンポーネント１１１６、オブジェクト分類コンポーネント１１１８、計画コンポーネント１１２０、１つ又は複数のシステムコントローラ１１２２、並びにセンサデータ１１２４、及び閾値１１２６は、追加的又は代替的に、車両１１０２からアクセス可能でありうる（例えば、車両１１０２から遠く隔たったコンピュータ可読媒体上に記憶され、又はさもなければ、それによってアクセス可能でありうる）ことが企図される。

少なくとも１つの例においては、オブジェクト検出コンポーネント１１１６は、センサデータからオブジェクトを識別し、物理的環境のマップ又はシーンに関してオブジェクトを位置付けるために、オブジェクト検出、フィルタリング、セグメンテーション、パターン検出、ホワイトスペース検出、ピクセル相関、特徴マッピングなどの技法を実行するように構成されうる。いくつかのケースにおいては、オブジェクト検出コンポーネント１１１６は、任意の数の学習された推論又はヘッドを生成しうる、機械学習モデル及び／又はニューラルネットワークを利用しうる。

オブジェクト分類コンポーネント１１１８は、センサデータ及びオブジェクト検出コンポーネント１１１６の出力に少なくとも部分的に基づいて、体勢、スピード、軌道、速度、ヨー、ヨー率、ロール、ロール率、ピッチ、ピッチ率、位置、加速度、又は他の特性（例えば、硬さ、剛性、深さ、体積など）を含む、オブジェクト（例えば、車両、歩行者、動物など）の現在の特性若しくは状態を推定し、及び／又は将来の特性若しくは状態を予測するように構成されうる。

プラニングシステム１１２０は、物理的環境を辿るために車両が従う、経路を決定しうる。例えば、プラニングシステム１１２０は、様々なルート及び軌道、並びに詳しさの様々なレベルを決定しうる。例えば、プラニングシステム１１２０は、オブジェクトの意味的クラス、地表面からのオブジェクト距離、オブジェクト高さ、オブジェクト幅などの様々な基準に基づいて、車両の計画された経路内において、オブジェクトを迂回して走行するためのルートを決定しうる。いくつかのケースにおいては、ルートは、オブジェクトを迂回して、又は２つの物理的位置の間を走行するためのウェイポイントの系列を含みうる。

少なくとも１つの例においては、車両コンピューティングデバイス１１０４は、車両１１０２の誘導、推進、ブレーキ、安全性、エミッタ、通信、及び他のシステムを制御するように構成されることができる、１つ又は複数のシステムコントローラ１１２２を含むことができる。これらのシステムコントローラ１１２２は、運転システム１１１０の対応するシステム、及び／又は車両１１０２の他のコンポーネントと通信し、並びに／又はそれらを制御しうる。

少なくとも１つの例においては、センサシステム１１０６は、ｌｉｄａｒセンサ、ｒａｄａｒセンサ、超音波トランスデューサ、ｓｏｎａｒセンサ、位置センサ（例えば、ＧＰＳ、コンパスなど）、慣性センサ（例えば、慣性測定ユニット（ＩＭＵ）、加速度計、磁力計、ジャイロスコープなど）、カメラ（例えば、ＲＧＢ、ＩＲ、強度、深度、飛行時間など）、マイクロフォン、車輪エンコーダ、環境センサ（例えば、温度センサ、湿度センサ、光センサ、圧力センサなど）、及び１つ又は複数の飛行時間（ＴｏＦ）センサなどを含むことができる。センサシステム１１０６は、これらのタイプ又は他のタイプのセンサの各々の複数の実例を含むことができる。例えば、ｌｉｄａｒセンサは、車両１１０２のコーナ、前部、後部、側部、及び／又は上部に配置された、個々のｌｉｄａｒセンサを含みうる。別の例として、カメラセンサは、車両１１０２の外側及び／又は内側の様々な位置に配置された、複数のカメラを含むことができる。センサシステム１１０６は、車両コンピューティングデバイス１１０４に入力を提供しうる。追加的又は代替的に、センサシステム１１０６は、センサデータを、特定の頻度で、時間の事前決定された期間の経過後に、近リアルタイムでなど、１つ又は複数のネットワーク１１２８を介して、１つ又は複数のコンピューティングデバイスに送信することができる。

車両１１０２は、また、車両１１０２と、１つ又は複数の他のローカル又はリモートコンピューティングデバイスとの間の通信を可能にする、１つ又は複数の通信接続１１０８を含むことができる。例えば、通信接続１１０８は、車両１１０２上の他のローカルコンピューティングデバイス、及び／又は運転システム１１１０との通信を容易にしうる。また、通信接続１１０８は、車両１１０２が、他の近くのコンピューティングデバイス（例えば、他の近くの車両、交通信号など）と通信することを可能にしうる。通信接続１１０８は、また、車両１１０２が、リモート遠隔操作コンピューティングデバイス、又は他のリモートサービスと通信することを可能にする。

通信接続１１０８は、車両コンピューティングデバイス１１０４を、別のコンピューティングデバイス（例えば、コンピューティングデバイス１１３０）、及び／又はネットワーク１１２８などのネットワークに接続するための、物理的及び／又は論理的インターフェースを含みうる。例えば、通信接続１１０８は、ＩＥＥＥ８０２．１１規格によって定義された周波数を介するなどするＷｉ－Ｆｉベースの通信、Ｂｌｕｅｔｏｏｔｈ（登録商標）などの短距離無線周波数、セルラ通信（例えば、２Ｇ、３Ｇ、４Ｇ、４Ｇ ＬＴＥ、５Ｇなど）、又はそれぞれのコンピューティングデバイスが他のコンピューティングデバイスとインターフェースすることを可能にする、任意の適切な有線若しくは無線通信プロトコルを可能にしうる。

少なくとも１つの例においては、車両１１０２は、１つ又は複数の運転システム１１１０を含むことができる。いくつかの例においては、車両１１０２は、単一の運転システム１１１０を有しうる。少なくとも１つの例においては、車両１１０２が、複数の運転システム１１１０を有する場合、個々の運転システム１１１０は、車両１１０２の反対側の端部（例えば、前部及び後部など）に位置付けられることができる。少なくとも１つの例においては、運転システム１１１０は、上で論じられたように、運転システム１１１０の状態、及び／又は車両１１０２の周囲の状態を検出するための、１つ又は複数のセンサシステム１１０６を含むことができる。限定ではなく、例として、センサシステム１１０６は、運転システムの車輪の回転を感知するための１つ又は複数の車輪エンコーダ（例えば、回転エンコーダ）、運転システムの向き及び加速度を測定するための慣性センサ（例えば、慣性測定ユニット、加速度計、ジャイロスコープ、磁力計など）、カメラ又は他の画像センサ、運転システムの周囲のオブジェクトを音響的に検出するための超音波センサ、ｌｉｄａｒセンサ、ｒａｄａｒセンサなどを含むことができる。車輪エンコーダなどのいくつかのセンサは、運転システム１１１０に固有でありうる。いくつかのケースにおいては、運転システム１１１０上のセンサシステム１１０６は、車両１１０２の対応するシステムと重複すること、又はそれを補足することができる。

少なくとも１つの例においては、本明細書において論じられるコンポーネントは、上で説明されたように、センサデータ１１２４を処理することができ、それらのそれぞれの出力を、１つ又は複数のネットワーク１１２８上において、１つ又は複数のコンピューティングデバイス１１３０に送信しうる。少なくとも１つの例においては、本明細書において論じられるコンポーネントは、それらのそれぞれの出力を、特定の頻度で、時間の事前決定された期間の経過後に、近リアルタイムでなど、１つ又は複数のコンピューティングデバイス１１３０に送信しうる。

いくつかの例においては、車両１１０２は、センサデータを、ネットワーク１１２８を介して、１つ又は複数のコンピューティングデバイス１１３０に送信することができる。いくつかの例においては、車両１１０２は、生のセンサデータ１１２４を、コンピューティングデバイス１１３０に送信することができる。他の例においては、車両１１０２は、処理されたセンサデータ１１２４、及び／又はセンサデータの表現（例えば、オブジェクト知覚トラック）を、コンピューティングデバイス１１３０に送信することができる。いくつかの例においては、車両１１０２は、センサデータ１１２４を、特定の頻度で、時間の事前決定された期間の経過後に、近リアルタイムでなど、コンピューティングデバイス１１３０に送信することができる。いくつかのケースにおいては、車両１１０２は、（生又は処理された）センサデータを、１つ又は複数のログファイルとして、コンピューティングデバイス１１３０に送信することができる。

コンピューティングデバイス１１３０は、プロセッサ１１３２と、モデリングコンポーネント１１３６、機械学習コンポーネント１１３８、並びにセンサデータ１１４０、及び閾値１１４２を記憶する、コンピュータ可読媒体１１３４とを含みうる。例えば、モデリングコンポーネント１１３６、及び機械学習コンポーネント１１３８は、１つ又は複数の車両１１０２から受信されたセンサデータ１１４０を使用して、（オブジェクトの異なる速度及び／又はクラスのための、図１～図７の通過距離閾値など）閾値１１４２を生成しうる。例えば、モデリングコンポーネント１１３６、及び機械学習コンポーネント１１３８は、画像内のオブジェクトの１つ又は複数の測定されたパラメータ又は特性を用いて、オブジェクトを表すデータをラベル付けしうる。モデリングコンポーネント１１３６、及び機械学習コンポーネント１１３８は、次に、画像データに示されたオブジェクトの体勢に基づいて、運動状態を予測する、又はオブジェクトの現在若しくは将来のスピード、軌道、及び／又は他の任意の特性を予測するために使用可能な、機械学習モデルをトレーニングするために、ラベル付けされたデータを使用しうる。

本明細書において説明されるように、例示的なニューラルネットワークは、出力を生成するために、入力データに一連の接続されたレイヤを通過させる、生物学的に着想を得たアルゴリズムである。ニューラルネットワークの各レイヤは、別のニューラルネットワークを含むこともでき、又は（畳み込み型であるかどうかにかかわらず）任意の数のレイヤを含むことができる。本開示との関連において理解されることができるように、ニューラルネットワークは、学習されたパラメータに基づいて、出力が生成される、そのようなアルゴリズムの広いクラスを参照することができる、機械学習を利用することができる。

ニューラルネットワークとの関連において論じられたが、任意のタイプの機械学習が、本開示と矛盾することなく、使用されることができる。例えば、機械学習アルゴリズムは、限定されることなく、回帰アルゴリズム（例えば、最小２乗回帰（ＯＬＳＲ）、線形回帰、ロジスティック回帰、ステップワイズ回帰、多変量適応回帰スプライン（ＭＡＲＳ）、局所推定散布図平滑化（ＬＯＥＳＳ））、インスタンスベースのアルゴリズム（例えば、リッジ回帰、最小絶対値縮小選択演算子（ＬＡＳＳＯ）、弾性ネット、最小角回帰（ＬＡＲＳ））、決定木アルゴリズム（例えば、分類回帰木（ＣＡＲＴ）、反復２分木３（ＩＤ３）、カイ２乗自動相互作用検出（ＣＨＡＩＤ）、決定株、条件付き決定木）、ベイズアルゴリズム（例えば、ナイーブベイズ、ガウシアンナイーブベイズ、多項ナイーブベイズ、平均１依存性推定量（ＡＯＤＥ）、ベイズ信念ネットワーク（ＢＮＮ）、ベイズネットワーク）、クラスタリングアルゴリズム（例えば、ｋ平均、ｋ中央値、期待値最大化（ＥＭ）、階層的クラスタリング）、連想ルール学習アルゴリズム（例えば、パーセプトロン、バックプロパゲーション、ホップフィールドネットワーク、放射状基底関数ネットワーク（ＲＢＦＮ））、深層学習アルゴリズム（例えば、深層ボルツマンマシン（ＤＢＭ）、深層信念ネットワーク（ＤＢＮ）、畳み込みニューラルネットワーク（ＣＮＮ）、スタックドオートエンコーダ）、次元削減アルゴリズム（例えば、主成分分析（ＰＣＡ）、主成分回帰（ＰＣＲ）、部分最小２乗回帰（ＰＬＳＲ）、サモンマッピング、多次元尺度法（ＭＤＳ）、射影追跡、線形判別分析（ＬＤＡ）、混合判別分析（ＭＤＡ）、２次判別分析（ＱＤＡ）、フレキシブル判別分析（ＦＤＡ））、アンサンブルアルゴリズム（例えば、ブートストラップ集約（バギング）、アダブースト、積層一般化（ブレンディング）、勾配ブースティングマシン（ＧＢＭ）、勾配ブーステッド回帰木（ＧＢＲＴ）、ランダムフォレスト）、ＳＶＭ（サポートベクタマシン）、教師あり学習、教師なし学習、半教師あり学習などを含むことができる。アーキテクチャの追加の例は、ＲｅｓＮｅｔ５０、ＲｅｓＮｅｔ１０１、ＶＧＧ、ＤｅｎｓｅＮｅｔ、及びＰｏｉｎｔＮｅｔなどの、ニューラルネットワークを含む。

車両１１０２のプロセッサ１１１２、及びコンピューティングデバイス１１３０のプロセッサ１１３２は、本明細書において説明されるように、データを処理し、動作を実行するための命令を実行することが可能な、任意の適切なプロセッサでありうる。限定ではなく、例として、プロセッサ１１１２、１１３２は、１つ又は複数の中央処理ユニット（ＣＰＵ）、グラフィック処理ユニット（ＧＰＵ）、又は電子データを処理して、その電子データを、レジスタ及び／又はコンピュータ可読媒体内に記憶されることができる他の電子データに変換する、他の任意のデバイス若しくはデバイスの一部を含むことができる。いくつかの例においては、集積回路（例えば、ＡＳＩＣなど）、ゲートアレイ（例えば、ＦＰＧＡなど）、及び他のハードウェアデバイスは、また、それらがエンコードされた命令を実施するように構成される限り、プロセッサとみなされることができる。

コンピュータ可読媒体１１１４、１１３４は、非一時的コンピュータ可読媒体の例である。コンピュータ可読媒体１１１４、１１３４は、オペレーティングシステム、並びに本明細書において説明された方法、及び様々なシステムに帰される機能を実施するための、１つ又は複数のソフトウェアアプリケーション、命令、プログラム、及び／又はデータを記憶することができる。様々な実施においては、コンピュータ可読媒体は、スタティックランダムアクセスメモリ（ＳＲＡＭ）、同期ダイナミックＲＡＭ（ＳＤＲＡＭ）、不揮発性／フラッシュ型メモリ、又は情報を記憶することが可能な他の任意のタイプのコンピュータ可読媒体など、任意の適切なコンピュータ可読媒体技法を使用して、実施されることができる。本明細書において説明されるアーキテクチャ、システム、及び個々の要素は、他の多くの論理的、プログラム的、及び物理的コンポーネントを含むことができ、添付の図に示されるそれらは、本明細書における論説に関連する単なる例である。

理解されることができるように、本明細書において論じられるコンポーネントは、例示の目的で、分割されたものとして説明される。しかし、様々なコンポーネントによって実行される動作は、他の任意のコンポーネントに組み合わされること、又は他の任意のコンポーネントで実行されることができる。

図１１は、分散システムとして例示されているが、代替的な例においては、車両１１０２のコンポーネントは、コンピューティングデバイス１１３０と関連付けられることができ、及び／又はコンピューティングデバイス１１３０のコンポーネントは、車両１１０２と関連付けられることができることが、留意されるべきである。即ち、車両１１０２は、コンピューティングデバイス１１３０と関連付けられた機能のうちの１つ又は複数を実行することができ、その逆も成り立つ。さらに、機械学習コンポーネント１１３８の態様は、明細書において論じられるデバイスのいずれかの上で、実行されることができる。

例示的な条項
Ａ．センサと、１つ又は複数のプロセッサと、１つ又は複数のプロセッサによって実行可能な命令を記憶する、１つ又は複数のコンピュータ可読媒体とを備え、命令は、実行されたとき、車両に計画された経路を辿らせることと、センサからセンサデータを受信することと、センサデータに少なくとも部分的に基づいて、オブジェクトが計画された経路と交差すると決定することと、地面と関連付けられた表面を決定することと、表面からのオブジェクトの最小距離、及び表面からのオブジェクトの最大高さを決定することと、最小距離又は最大高さのうちの１つ又は複数に基づいて、車両を取り囲む領域を決定することと、領域に少なくとも部分的に基づいて、車両の動作を制御することとを含む動作を車両に実行させる、車両。

Ｂ．地面と関連付けられた表面を決定することは、センサデータをボクセル空間と関連付けることと、地面と関連付けられた１つ又は複数のボクセルを決定することと、平面を１つ又は複数のボクセルにフィットさせることとを含む、段落Ａのシステム。

Ｃ．領域は、少なくとも、第１の領域と、第２の領域とを含み、第１の領域は、車両からの第１の距離を定義し、第２の領域は、車両からの第２の距離を定義し、第１の距離は、第２の距離と異なり、車両の動作を制御することは、最小距離又は最大高さのうちの１つ又は複数が、第１の領域内に突出するときは、動作パラメータの第１のセットを、また最小距離又は最大高さのうちの１つ又は複数が、第２の領域内に突出するときは、動作パラメータの第２のセットを適用することを含む、段落ＢＡのシステム。

Ｄ．センサデータに少なくとも部分的に基づいて、オブジェクトの意味的クラスを決定することと、意味的クラスが、意味的クラス基準を満たすか、又は超えるかを決定することとをさらに含み、車両の動作を制御することはさらに、意味的クラスに少なくとも部分的に基づく、段落Ａのシステム。

Ｅ．自律車両のセンサから、物理的環境を表すデータを受信するステップと、データに少なくとも部分的に基づいて、オブジェクトの表現の少なくとも一部が、車両の計画された経路内にあると決定するステップと、データに少なくとも部分的に基づいて、計画された経路と関連付けられた表面を決定するステップと、オブジェクト及び表面と関連付けられた距離を決定するステップと、距離に少なくとも部分的に基づいて、車両と関連付けられた第１の領域を決定するステップであって、第１の領域は、オブジェクトの表現の少なくとも一部と交差する、ステップと、第１の領域に少なくとも部分的に基づいて、車両の動作を制御するステップとを含む方法。

Ｆ．オブジェクトの意味的クラスを決定するステップをさらに含み、車両の動作を制御するステップはさらに、意味的クラスに少なくとも部分的に基づく、段落Ｅの方法。

Ｇ．距離に少なくとも部分的に基づいて、車両と関連付けられた第２の領域を決定するステップであって、第２の領域は、オブジェクトと交差せず、第２の領域は、第１の領域内に含まれる、ステップをさらに含み、車両の動作を制御するステップは、第２の領域に少なくとも部分的に基づく、段落Ｅの方法。

Ｈ．第１の領域は、車両の速度に少なくとも部分的に基づいて、決定される、段落Ｅの方法。

Ｉ．表面は、地表面、又は車両の計画された経路と関連付けられたコリドのサイド面のうちの少なくとも一方である、段落Ｅの方法。

Ｊ．車両の動作を制御することはさらに、車両からの第１の領域の距離と、隣接する車線内における交通量とに少なくとも部分的に基づく、段落Ｅの方法。

Ｋ．車両の動作を制御することは、車両からの第１の領域の距離に少なくとも部分的に基づいて、車両の速度を調整するステップを含む、段落Ｅの方法。

Ｌ．第１の領域は、車両の外側表面沿いの最も近い点からの事前決定された距離として定義される、段落Ｅの方法。

Ｍ．距離は、オブジェクトの最大高さ、又は表面からのオブジェクトの最小距離のうちの少なくとも一方である、段落Ｅの方法。

Ｎ．実行されたとき、自律車両のセンサから、物理的環境を表すデータを受信することと、データに少なくとも部分的に基づいて、オブジェクトの表現の少なくとも一部が、車両の計画された経路内にあると決定することと、データに少なくとも部分的に基づいて、計画された経路と関連付けられた表面を決定することと、オブジェクト及び表面と関連付けられた距離を決定することと、車両と関連付けられた複数の領域を決定することと、距離に少なくとも部分的に基づいて、複数の領域のうち少なくとも第１の領域が、オブジェクトの表現の少なくとも第１の部分と交差すると決定することと、第１の領域に少なくとも部分的に基づいて、車両の動作を制御することとを含む動作を１つ又は複数のプロセッサに実行させる命令を記憶する、非一時的コンピュータ可読媒体。

Ｏ．動作は、距離に少なくとも部分的に基づいて、複数の領域のうちの少なくとも第２の領域が、オブジェクトの表現の少なくとも第２の部分と交差すると決定することをさらに含み、車両の動作を制御することは、第２の領域に少なくとも部分的に基づく、段落Ｎの非一時的コンピュータ可読媒体。

Ｐ．計画された経路と関連付けられた表面を決定することは、物理的環境を表すデータを、ボクセル空間と関連付けることと、物理的環境の地面と関連付けられた、１つ又は複数のボクセルを決定することと、平面を１つ又は複数のボクセルにフィットさせることとを含む、段落Ｎの非一時的コンピュータ可読媒体。

Ｑ．動作は、オブジェクトの意味的クラスを決定することをさらに含み、車両の動作を制御することは、意味的クラスに少なくとも部分的に基づく、段落Ｎの非一時的コンピュータ可読媒体。

Ｒ．意味的クラスは、歩行者、壁若しくは構造物、枝葉、岩、植物、車両、車両ドア、瓦礫又は散乱物、バイク、又は交通信号若しくは円錐標識のうちの少なくとも１つである、段落Ｑの非一時的コンピュータ可読媒体。

Ｓ．距離は、表面からのオブジェクトの最大高さ、及び表面からのオブジェクトの最小距離を含み、複数の領域のうちの少なくとも第１の領域が、オブジェクトの表現の少なくとも第１の部分と交差すると決定することは、最大高さが、車両の底面と関連付けられた第１の閾値よりも小さいこと、又は最小距離が、車両の上部と関連付けられた第２の閾値よりも大きいことのうちの少なくとも一方を含む、段落Ｎの非一時的コンピュータ可読媒体。

Ｔ．表現は、境界ボックスを含み、第１の領域又は第２の領域のうちの１つ又は複数を決定することは、境界ボックスのコーナと表面との間の距離を決定することを含む、段落Ｎの非一時的コンピュータ可読媒体。

上で説明された例示的な条項は、１つの特定の実施に関して説明されたが、本文書との関連においては、例示的な条項の内容は、また、方法、デバイス、システム、コンピュータ可読媒体、及び／又は別の実施を介して、実施されることができることが、理解されるべきである。加えて、例Ａ～例Ｔのいずれも、単独で、又は例Ａ～例Ｔのうちの他の任意の１つ又は複数と組み合わせて、実施されうる。

結論
本明細書において説明された技法のうちの１つ又は複数の例が、説明されたが、それらの様々な改変、追加、置換、及び均等物は、本明細書において説明された技法の範囲内に含まれる。

例の説明において、その一部を形成し、特許請求される主題の具体的な例を例示として示す、添付の図面に対する参照が、行われた。他の例が使用できること、また構造変更などの変更又は改変ができることは理解されるべきである。そのような例、変更、又は改変は、必ずしも、意図された特許請求される主題に関する範囲からの逸脱ではない。本明細書におけるステップは、ある順序で提示できるが、いくつかのケースにおいては、説明されたシステム及び方法の機能を変更することなく、ある入力が、異なる時間又は異なる順序で提供されるように、順序付けは変更できる。開示された手順は、また、異なる順序で実行できる。加えて、本明細書にある様々な計算は、開示された順序で実行される必要はなく、計算の代替的な順序を使用する他の例が容易に実施できる。並べ替えられることに加えて、計算は、また、同じ結果を有するサブ計算に分解できる。

Claims (15)

1. 自律車両のセンサから、物理的環境を表すデータを受信するステップと、
   前記データに少なくとも部分的に基づいて、オブジェクトの表現の少なくとも一部が、前記車両の計画された経路内にあると決定するステップと、
   前記データに少なくとも部分的に基づいて、前記計画された経路と関連付けられた表面を決定するステップと、
   前記オブジェクト及び前記表面と関連付けられた距離を決定するステップと、
   前記距離に少なくとも部分的に基づいて、前記車両と関連付けられた第１の領域を決定するステップであって、前記第１の領域は、前記オブジェクトの表現の少なくとも一部と交差する、ステップと、
   前記第１の領域に少なくとも部分的に基づいて、前記車両の動作を制御するステップと
   を含む方法。
2. 前記オブジェクトの意味的クラスを決定するステップをさらに含み、
   前記車両の前記動作を制御するステップはさらに、前記意味的クラスに少なくとも部分的に基づく、
   請求項１に記載の方法。
3. 前記距離に少なくとも部分的に基づいて、前記車両と関連付けられた第２の領域を決定するステップであって、前記第２の領域は、前記オブジェクトと交差せず、前記第２の領域は、前記第１の領域内に含まれる、ステップをさらに含み、
   前記車両の前記動作を制御するステップは、前記第２の領域に少なくとも部分的に基づく、
   請求項１又は２に記載の方法。
4. 前記表面は、地表面、又は前記車両の前記計画された経路と関連付けられたコリドのサイド面のうちの少なくとも一方である、
   請求項１～３のいずれか１項に記載の方法。
5. 前記車両の動作を制御するステップはさらに、前記車両からの前記第１の領域の距離と、隣接する車線内における交通量とに少なくとも部分的に基づく、
   請求項１～４のいずれか１項に記載の方法。
6. 前記車両の前記動作を制御するステップは、前記車両からの前記第１の領域の距離に少なくとも部分的に基づいて、前記車両の速度を調整するステップを含む、
   請求項１～５のいずれか１項に記載の方法。
7. 前記第１の領域は、前記車両の外側表面沿いの最も近い点からの事前決定された距離として定義され、前記距離は、前記オブジェクトの最大高さ、又は前記表面からの前記オブジェクトの最小距離のうちの少なくとも一方である、
   請求項１～６のいずれか１項に記載の方法。
8. コンピュータ上において実行されたとき、請求項１～７のいずれか１項に記載の方法を実施する、符号化された命令を含む、
   コンピュータプログラム製品。
9. システムであって、
   １つ又は複数のプロセッサと、
   前記１つ又は複数のプロセッサによって実行可能な命令を記憶する、１つ又は複数の非一時的コンピュータ可読媒体であって、前記命令は、実行されたとき、
   自律車両のセンサから、物理的環境を表すデータを受信することと、
   前記データに少なくとも部分的に基づいて、オブジェクトの表現の少なくとも一部が、前記車両の計画された経路内にあると決定することと、
   前記データに少なくとも部分的に基づいて、前記計画された経路と関連付けられた表面を決定することと、
   前記オブジェクト及び前記表面と関連付けられた距離を決定することと、
   前記車両と関連付けられた複数の領域を決定することと、
   前記距離に少なくとも部分的に基づいて、前記複数の領域のうちの少なくとも第１の領域が、前記オブジェクトの表現の少なくとも第１の部分と交差すると決定することと、
   前記第１の領域に少なくとも部分的に基づいて、前記車両の動作を制御することと
   を含む動作を前記システムに実行させる、１つ又は複数の非一時的コンピュータ可読媒体と
   を備える、システム。
10. 前記距離に少なくとも部分的に基づいて、前記複数の領域のうちの少なくとも第２の領域が、前記オブジェクトの表現の少なくとも第２の部分と交差すると決定すること
    をさらに含み、
    前記車両の前記動作を制御することは、前記第２の領域に少なくとも部分的に基づく、
    請求項９に記載のシステム。
11. 前記計画された経路と関連付けられた前記表面を決定することは、
    前記物理的環境を表す前記データを、ボクセル空間と関連付けることと、
    前記物理的環境の地面と関連付けられた、１つ又は複数のボクセルを決定することと、
    平面を前記１つ又は複数のボクセルにフィットさせることと
    を含む、
    請求項９又は１０に記載のシステム。
12. 前記動作は、
    前記オブジェクトの意味的クラスを決定すること
    をさらに含み、
    前記車両の前記動作を制御することは、前記意味的クラスに少なくとも部分的に基づく、
    請求項９～１１のいずれか１項に記載のシステム。
13. 意味的クラスは、歩行者、壁若しくは構造物、枝葉、岩、植物、車両、車両ドア、瓦礫又は散乱物、バイク、又は交通信号若しくは円錐標識のうちの少なくとも１つである、
    請求項９～１２のいずれか１項に記載のシステム。
14. 前記距離は、前記表面からの前記オブジェクトの最大高さ、及び前記表面からの前記オブジェクトの最小距離を含み、
    前記複数の領域のうちの少なくとも前記第１の領域が、前記オブジェクトの前記表現の少なくとも前記第１の部分と交差すると決定することは、前記最大高さが、前記車両の底面と関連付けられた第１の閾値よりも小さいこと、又は前記最小距離が、前記車両の上部と関連付けられた第２の閾値よりも大きいことのうちの少なくとも一方を含む、
    請求項９～１３のいずれか１項に記載のシステム。
15. 前記オブジェクトの前記表現は、境界ボックスを含み、
    前記少なくとも前記第１の領域を決定することは、前記境界ボックスのコーナと前記表面との間の距離を決定することを含む、
    請求項１４に記載のシステム。

Images