JP7080314B2 - 自律型車両の意思決定のための意味物体クラスタ化 - Google Patents

Description

関連出願の相互参照
本出願は、２０１７年１０月３１日に出願された出願第１５／７９８，８８１号の継続であり、その開示全体が参照により本明細書に組み込まれる。本出願はまた、２０１７年１０月３１日に出願された出願第１５／７９８，９２６号の継続であり、その開示全体が参照により本明細書に組み込まれる。

人間の運転手を必要としない車両などの自律型車両が、ある場所から他の場所への乗客または物品の輸送を支援するために使用される場合がある。かかる車両は、乗客が集荷または目的地などのいくつかの初期入力を提供することができ、かつ車両がその場所に車両自体を操縦する、完全な自律モードで動作することができる。

自律運転モードで動作する自動運転車両または無人車両に安全で快適な軌道を提供するために、車両の環境において、他の車両、自転車に乗る人、歩行者などの任意の物体または物質に対する適切なタイプの反応を判定する必要がある。典型的に、物体の左側を通過する、右側を通過する、物体の前で停止する、物体の後ろに留まるなど、所与の物体に対する有限数の反応が存在する。しかしながら、複数の物体があるとき、可能な反応の数は、指数関数的に増える可能性がある。

人間にとって、この問題への簡単な解決策は、ある物体を共に「グループ化」し、それらの物体に単一の存在であるかのように対応することである。人間は、近接性、物体タイプ、相対運動などに基づいて、グループに反応することを決定するときに複数のキューを使用する。加えて、人間は、任意の所与の物体を単独で見たとき必ずしも明確ではない意味を、物体のグループが、時に伝えることを認識する場合がある。例えば、１人以上の大人によって付き添われる小さな子供たちのグループは、大人がいる１人の子供とは異なる反応を起こす可能性があり、点滅するライトが付いたゆっくり移動する車の列が、葬列である場合がある。

本開示の一態様は、自律運転モードにおいて車両を制御する方法を提供する。本方法は、１つ以上のプロセッサによって、複数の物体を識別するセンサデータを受信することと、複数の物体のうちの対の物体を識別することと、１つ以上のプロセッサによって、複数の物体のうちの各識別された対の物体について、その識別された対の物体の物体が、１つのグループとして車両によって対応され得るかどうかを示す類似性値を判定することと、１つ以上のプロセッサによって、類似性スコアに基づいて、識別された対の物体のうちの１つの物体をクラスタ化することと、１つ以上のプロセッサによって、クラスタ内の各物体に同じ方法で対応することにより、自立運転モードにおいて車両を制御することと、を含む。

一例では、クラスタ化は、識別された対の物体のうちの１つの物体間の距離にさらに基づく。別の例では、クラスタ化は、識別された対の物体のうちの１つの物体の物体タイプ間の類似性にさらに基づく。別の例では、クラスタ化は、識別された対の物体のうちの１つの物体の過去の運動と現在の運動との間の類似性にさらに基づく。別の例では、類似性値は、識別された対の物体のうちの１つの物体の予測される将来の運動間の類似性にさらに基づいて、判定される。別の例では、クラスタ化は、環境内の特徴に対する、識別された対の物体のうちの１つの物体の相対場所にさらに基づく。この例では、特徴は、横断歩道である。代替的に、特徴は、自転車用車線である。別の例では、クラスタ化は、各識別された対の物体のうちの１つの物体が、その識別された対の物体の別の物体を追従しているように見えるかどうかにさらに基づく。別の例では、クラスタ化は、各識別された対の物体のうちの物体が、所定の意味グループに属しているとして識別されるかどうかにさらに基づく。

本開示の別の態様は、自律運転モードにおいて車両を制御するためのシステムを提供する。システムは、複数の物体を識別するセンサデータを受信することと、複数の物体のうちの対の物体を識別することと、複数の物体のうちの各識別された対の物体について、その識別された対の物体の物体が、１つのグループとして車両によって対応され得るかどうかを示す類似性値を判定することと、類似性スコアに基づいて、識別された対の物体のうちの１つの物体をクラスタ化することと、クラスタ内の各物体に同じ方法で対応することにより、自律運転モードにおいて車両を制御することと、を行うように構成されている、１つ以上のプロセッサを含む。

一例では、１つ以上のプロセッサが、識別された対の物体のうちの１つの物体間の距離にさらに基づいて、識別された対の物体のうちの１つの物体をクラスタ化するようにさらに構成されている。別の例では、１つ以上のプロセッサが、識別された対の物体のうちの１つの物体の物体タイプ間の類似性に基づいて、識別された対の物体のうちの１つの物体をクラスタ化するようにさらに構成されている。別の例では、１つ以上のプロセッサが、各識別された対の物体のうちの物体の過去の運動と現在の運動との間の類似性にさらに基づいて、識別された対の物体のうちの１つの物体をクラスタ化するようにさらに構成されている。別の例では、１つ以上のプロセッサが、識別された対の物体のうちの１つの物体の予測される将来の運動間の類似性にさらに基づいて、識別された対の物体のうちの１つの物体をクラスタ化するようにさらに構成されている。別の例では、１つ以上のプロセッサが、環境内の特徴に対する、識別された対の物体のうちの１つの物体の相対場所にさらに基づいて、識別された対の物体のうちの１つの物体をクラスタ化するようにさらに構成されている。この例では、特徴は、横断歩道である。代替的に、１つ以上のプロセッサが、識別された対の物体のうちの１つの物体のうちの１つの物体が、識別された対の物体のうちの１つの物体の別の物体を追従しているように見えるかどうかにさらに基づいて、識別された対の物体のうちの１つの物体をクラスタ化するようにさらに構成されている。別の例では、１つ以上のプロセッサが、識別された対の物体のうちの１つの物体が所定の意味グループに属しているとして識別されているかどうかにさらに基づいて、識別された対の物体のうちの１つの物体をクラスタ化するようにさらに構成されている。他の例では、システムはまた、車両も含む。

本開示の態様による、例示的な車両の機能図である。 本開示の態様による、詳細な地図情報の例示的な表現である。 本開示の態様による、車両の例示的な外観図である。 本開示の態様による、車両の例示的な外観図である。 本開示の態様による、車両の例示的な外観図である。 本開示の態様による、車両の例示的な外観図である。 本開示の態様による、車道の区分の図である。 本開示の態様による、車道およびセンサデータの区分の図である。 本開示の態様による、車道およびセンサデータの区分の図である。 本開示の態様による、車道およびセンサデータの区分の図である。 本開示の態様による、フロー図である。

概要
自律型車両も、物体を共にグループ化することで利益を得てもよい。これにより、車両のコンピューティングデバイスが、個々に各物体に対するのではなく、物体のグループ全体に対して意思決定を行うことができる。これは、順に、処理能力を大幅に節約する一方で、同時に車両に数多くのさまざまな状況に安全かつ効果的に対応させ得、また車両が運動学的に実行可能であり、道路の規則に従うが、状況により無作法である計画を選択しないことを確実とする機構を提供する。しかしながら、自律型車両は、人間が行うような方法で、物体の適切なグループまたはクラスタを認識する機能的能力を有することは無い。したがって、物体を共にクラスタ化するために、車両のコンピューティングデバイスは、物体の類似性について推定を行い、論理的に共にクラスタ化できる物体を判定しなければならない。

したがって、一組のその世界で検出された物体、それらの現在の場所および運動の状態の測定、ならびにそれらの移動の時間的履歴を考慮して、車両のコンピューティングデバイスは、対の物体間の類似性測度またはスコアを画定する。この類似性測定は、複数の異なる要因を考慮し得る。各要因は、２つの物体間の類似性測度を増加させ、また低減させ得る。

類似性測度が所定の閾値を満たすとき、物体は、共にクラスタ化され得る。閾値は、意味クラスタ化の精度および再現率に基づいてもよい。クラスタ化を行うために、高い再現率または低い閾値が、最初に選択され得る。しかしながら、他に利用可能なコンピューティングリソースがある場合、より高い精度またはより高い閾値もまた、検討され得る。

ｕｎｉｏｎ－ｆｉｎｄアルゴリズムを使用して、クラスタ化を達成し得る。これは、クラスタ内の各物体に対する車両の反応が同じであることを強制することに役立ち得る。換言すると、車両のコンピューティングデバイスは、クラスタ化された物体が単一の物体であると仮定することによって、環境を通してどのように操縦するかを判定し得る。

クラスタ化は、物体の新しい観測があるたびに再評価することができる。この点について、物体は、互いに素早くクラスタ化され、かつ切り離すことができる。しかしながら、一貫した車両の動作を可能にし、状況の処理を簡素化するために、どちらが良いか明確でない２つの反応の間で選択するとき、物体が別の物体とクラスタ化されているかどうかに基づく事前判定が、使用されて、反応の間の選択をすることができる。

評価に必要な反応数を削減し、それにより不要な計算を削減することに加えて、このアプローチは、付加的な利点を提供する。例えば、本アプローチは、付き添われる子供達、葬列などの物体クラスタの意味クラスに反応するためのフレームワークを提供する。本アプローチはまた、搭載された知覚システムから生じる物体セグメンテーション問題に対処するためのツールも提供する。知覚エンジニアは、概して、アンダーセグメンテーション（２つの別個であるが近くの物体は同じであると考えることがある）とオーバーセグメンテーション（１つの物体が２つの異なる近くの物体の代わりであると考える）との間で調整しなくてはならないため、セグメンテーション、または２つの知覚された物体間の分化は、めったに完璧ではない。後者の場合、これらの物体は、最終的に同じ意味クラスタになり、車両のコンピューティングデバイスは、セグメンテーションが実際に完璧であるかのように同じ軌跡を生成するであろう。

例示的システム
図１に示されるように、本開示の一態様による車両１００は、様々な構成要素を含む。本開示のある態様は、特定のタイプの車両との接続に特に有用であるが、車両は、限定されるものではないが、乗用車、トラック、オートバイ、バス、レクリエーション用車両などを含む、任意のタイプの車両であってもよい。車両は、１つ以上のプロセッサ１２０、メモリ１３０、および汎用コンピューティングデバイスに典型的に存在する他の構成要素を含む、コンピューティングデバイス１１０などの１つ以上のコンピューティングデバイスを有することができる。

メモリ１３０は、１つ以上のプロセッサ１２０によってアクセス可能である情報を記憶し、その情報には、プロセッサ１２０によって実行または別様に使用され得る命令１３２およびデータ１３４が含まれる。メモリ１３０は、プロセッサによってアクセス可能である情報を格納することができる任意のタイプのメモリであってもよく、それらには、コンピューティングデバイス可読媒体、またはハードドライブ、メモリカード、ＲＯＭ、ＲＡＭ、ＤＶＤ、もしくは他の光ディスク、ならびに他の書き込み可能および読み取り専用メモリなどの電子デバイスを使って読み取ることができるデータを記憶する他の媒体が含まれる。システムおよび方法は、上記の異なる組み合わせを含んでもよく、それによって、命令およびデータの様々な部分が、様々なタイプの媒体に記憶される。

命令１３２は、プロセッサにより直接的に（マシンコードなど）または間接的に（スクリプトなど）実行される任意の組の命令であってもよい。例えば、命令は、コンピューティングデバイス可読媒体上のコンピューティングデバイスコードとして記憶されてもよい。その点において、「命令」および「プログラム」という用語は、本明細書では、区別なく使用され得る。命令は、プロセッサによる直接処理のための物体コード形式で、または要求に応じて解釈されるか、もしくは事前にコンパイルされる独立したソースコードモジュールのスクリプトもしくはコレクションを含む、任意の他のコンピューティングデバイス言語で記憶されてもよい。命令の機能、方法、およびルーチンについては、以下でさらに詳細に説明される。

データ１３４は、命令１３２に従って、プロセッサ１２０によって検索、記憶、または修正されてもよい。１つ以上のプロセッサ１２０は、市販されているＣＰＵなどの任意の従来のプロセッサであってもよい。代替的に、１つ以上のプロセッサは、ＡＳＩＣまたは他のハードウェアベースプロセッサなどの専用デバイスであってもよい。図１は、プロセッサ、メモリ、およびコンピューティングデバイス１１０の他の要素を同じブロック内にあるものとして機能的に示しているが、プロセッサ、コンピューティングデバイス、またはメモリは、実際には、同じ物理的な筐体内に格納されていてもいなくてもよい、複数のプロセッサ、コンピューティングデバイス、またはメモリを含むことができるということが、当業者によって理解されるであろう。一例として、内部電子ディスプレイ１５２は、高帯域幅または他のネットワーク接続を介してコンピューティングデバイス１１０とインターフェースし得る、それ自体のプロセッサまたは中央処理装置（ＣＰＵ）、メモリなどを有する専用コンピューティングデバイスによって制御され得る。いくつかの例では、コンピューティングデバイスは、ユーザのクライアントデバイスと通信することができるユーザインターフェースコンピューティングデバイスであり得る。同様に、メモリは、コンピューティングデバイス１１０の筐体とは異なる筐体内に位置付けられたハードドライブ、または他のストレージ媒体であってもよい。したがって、プロセッサまたはコンピューティングデバイスへの参照は、並行に動作してもしなくてもよいプロセッサ、またはコンピューティングデバイス、もしくはメモリの集合体への参照を含むことを理解されたい。

コンピューティングデバイス１１０は、上述したプロセッサおよびメモリ、ならびにユーザ入力１５０（例えば、マウス、キーボード、タッチスクリーンおよび／またはマイクロフホン）、様々な電子ディスプレイ（例えば、スクリーン、または情報を表示するように動作可能である任意の他の電気デバイスを有するモニタ）などのコンピューティングデバイスと接続して通常使用されるすべての構成要素であってもよい。この例では、車両は、内部の電子ディスプレイ１５２、ならびに１つ以上のスピーカー１５４を含み、情報または音響映像体験を提供する。この点について、内部の電子ディスプレイ１５２は、車両１００の車内に位置付けられてもよく、コンピューティングデバイス１１０によって使用されて、車両１００内の乗客に情報を提供してもよい。内部スピーカーに加えて、１つ以上のスピーカー１５４は、外部スピーカーを含むことができ、車両１００の外部の物体に可聴通知を提供するために、車両上の様々な場所に配置される。

一例では、コンピューティングデバイス１１０は、車両１００に組み込まれた自律運転コンピューティングシステムであってもよい。自律運転コンピューティングシステムは、車両の様々な構成要素と通信することが可能であり得る。例えば、図１に戻ると、コンピューティングデバイス１１０は、車両の乗客からの連続的または定期的な入力を要求しない、または必要としない自律運転モードにおいて、メモリ１３０の命令１３２に従って車両１００の移動、速度などを制御するための、（車両の制動を制御するための）減速システム１６０、（車両の加速を制御するための）加速システム１６２、（車輪の配向および車両の方向を制御するための）ステアリングシステム１６４、（方向指示器を制御するための）シグナリングシステム１６６、（車両を場所または物体の周りにナビゲートするための）ナビゲーションシステム１６８、（車両の位置を判定するための）測位システム１７０、（車両の外部環境内の物体を検出するための）知覚システム１７２、および電力システム１７４（例えば、バッテリおよび／またはガスもしくはディーゼルエンジン）などの、車両１００の様々なシステムと通信することができる。また、これらのシステムは、コンピューティングデバイス１１０の外部にあるものとして示されるが、実際には、これらのシステムもまた、車両１００を制御するための自律運転コンピューティングシステムとして再度、コンピューティングデバイス１１０の中に組み込まれてもよい。

コンピューティングデバイス１１０は、様々な構成要素を制御することによって車両の方向および速度を制御してもよい。例として、コンピューティングデバイス１１０は、地図情報およびナビゲーションシステム１６８からのデータを使用して、車両を目的地に完全に自律的にナビゲートし得る。コンピューティングデバイス１１０は、車両の場所を判定するために測位システム１７０を使用し、その場所に安全に到着する必要があるとき、物体を検出かつ物体に対応するために知覚システム１７２を使用してもよい。そうするために、コンピューティングデバイス１１０は、車両を、（例えば、加速システム１６２により、エンジンに提供される燃料または他のエネルギーを増加させることによって）加速させ、（例えば、エンジンに供給される燃料を低減させ、ギヤを切り替え、および／または減速システム１６０によりブレーキをかけることによって）減速させ、（例えば、ステアリングシステム１６４により、車両１００の前輪または後輪の向きを変えることによって）方向を変更させ、（例えば、シグナリングシステム１６６の方向指示器を点灯することによって）かかる変更を伝えさせてもよい。このため、加速システム１６２および減速システム１６０は、車両のエンジンと車両の車輪との間に様々な構成要素を含む、動力伝達装置の一部であり得る。再び、これらのシステムを制御することによって、コンピューティングデバイス１１０はまた、車両を自律的に操縦するために、車両の動力伝達装置を制御してもよい。

一例として、コンピューティングデバイス１１０は、車両の速度を制御するために、減速システム１６０および加速システム１６２と相互作用してもよい。同様に、ステアリングシステム１６４は、車両１００の方向を制御するために、コンピューティングデバイス１１０によって使用され得る。例えば、車両１００が自動車またはトラックなどの道路上で使用するように構成されている場合、ステアリングシステムは、車両を転回するためにホイールの角度を制御するための構成要素を含み得る。シグナリングシステム１６６は、例えば、必要に応じて方向指示器またはブレーキライトを点灯させることによって、車両の意図を他の運転手または車両に伝えるために、コンピューティングデバイス１１０によって使用され得る。

ナビゲーションシステム１６８は、ある場所までのルートを判定および追従するために、コンピューティングデバイス１１０によって使用され得る。この点について、ナビゲーションシステム１６８および／またはデータ１３４は、詳細な地図情報、例えば、車道の形状および標高、車線境界線、交差点、横断歩道、速度制限、交通信号、建物、標識、リアルタイム交通情報、植生、または他のかかる物体および情報を識別する高精密地図、を記憶し得る。換言すると、この詳細な地図情報は、車道を含む車両の予想される環境の幾何学形状、ならびにそれらの車道の速度制限（法定速度制限）を定義し得る。

図２は、車道の区分に関する地図情報２００の例である。地図情報２００は、様々な道路特徴の形状、場所、および他の特性を識別する情報を含む。この例では、地図情報は、縁石２２０、車線境界線２２２、２２４、２２６、縁石２２８によって境界付けられる３つの車線２１２、２１４、２１６を含む。車線２１２および車線２１４は、同じ方向の交通流（東向き）を有する一方で、車線２１６は、異なる交通流（西向き）を有する。加えて、車線２１２は、車線２１４よりも大幅に広く、例えば車両が縁石２２０に隣接して駐車することを可能にする。地図情報の例は、車道の性質を考慮すると、例えば、縁石、車線境界線、および車線などのいくつかの道路特徴のみを含むが、地図情報２００はまた、交通信号の光、横断歩道、歩道、一時停止標識、譲れの標識、速度制限標識、道路標識などの様々な他の道路特徴を識別することができる。図示されていないが、詳細な地図情報はまた、制限速度や他の法定交通要件を識別する情報、ならびに様々な日時における典型的な交通状況および履歴的な交通状況を識別する履歴的な情報も含むことができる。

本明細書では詳細な地図情報は、画像ベースの地図として描かれているが、地図情報は、完全に画像ベースである必要はない（例えば、ラスタ）。例えば、詳細な地図情報は、１つ以上の道路グラフ、または道路、車線、交差点、およびこれらの特徴間の接続などの情報のグラフネットワークを含むことができる。各特徴は、グラフデータとして記憶されてもよく、地理的場所などの情報と関連付けられてもよく、いずれにせよ、他の関連する特徴にリンクされ、例えば、一時停止標識は、道路や交差点などにリンクされてもよい。いくつかの例では、関連付けられたデータは、ある道路グラフ特徴の効率的な検索を可能にするために道路グラフのグリッドベースのインデックスを含むことができる。

知覚システム１７２はまた、他の車両、車道内の障害物、交通信号、標識、樹木などの車両の外部の物体を検出するために１つ以上の構成要素を含む。例えば、知覚システム１７２は、１つ以上のＬＩＤＡＲセンサ、ソナーデバイス、レーダーユニット、カメラ、および／またはコンピューティングデバイス１１０によって処理され得るセンサデータを記録する任意の他の検出デバイスを含んでもよい。知覚システムのセンサは、物体、および、場所、配向、サイズ、形状、タイプ（例えば、車両、歩行者、自転車に乗る人など）、進行方向、および移動速度などのそれらの特性を検出する。センサからの未加工データおよび／または前述の特性は、定量化されるか、または記述関数、ベクトル、および／または境界ボックスに配置され、知覚システム１７２によって生成されると、周期的かつ継続的にコンピューティングデバイス１１０にさらなる処理のためのセンサデータとして送信され得る。さらなる詳細を以下で考察するが、コンピューティングデバイス１１０は、車両の場所を判定するために測位システム１７０を使用し、その場所に安全に到着する必要があるとき、物体を検出かつ物体に対応するために知覚システム１７２を使用してもよい。

図３Ａ～図３Ｄは、車両１００の外観図の例である。これらの図からわかるように、車両１００は、ヘッドライト３０２、フロントガラス３０３、テールライト／方向指示灯３０４、リアガラス３０５、ドア３０６、サイドミラー３０８、タイヤおよびホイール３１０、ならびに方向指示／駐車灯３１２などの典型的な車両の多くの特徴を含む。ヘッドライト３０２、テールライト／方向指示灯３０４、および方向指示／駐車灯３１２は、シグナリングシステム１６６と関連付けられ得る。ライトバー３０７はまた、シグナリングシステム１６６と関連付けられ得る。筐体３１４は、知覚システム１７２のＬＩＤＡＲセンサ、ソナーデバイス、レーダーユニット、カメラなどの１つ以上のセンサを収容することができるが、かかるセンサはまた、同様に車両の他の領域に組み込むこともできる。

例示的な方法
上述し、図に例示した動作に加えて、様々な動作が、ここで説明される。以下の動作は、以降に説明された正確な順序で実行される必要はないことを理解されたい。むしろ、様々なステップが、異なる順序で、または同時に処理されてもよく、ステップもまた、追加または省略されてもよい。

コンピューティングデバイス１１０は、例えば、貨物および／または１人以上の乗客を輸送するために、目的地まで車両１００を操縦し得る。この点について、コンピューティングデバイス１１０は、目的地までのルートに沿って自律的に車両を制御するために必要なシステムを開始し得る。例えば、ナビゲーションシステム１６８は、地図情報２００を使用して目的地への経路またはルートを判定するために、データ１３４の地図情報を使用してもよい。次いで、コンピューティングデバイス１１０は、目的地に向かうルートに沿って、上記のように自律的に（または自律運転モードで）車両を操縦してもよい。

図４は、図２の地図情報２００に対応する車道４００に沿って運転している車両１００の例示図である。その点において、車線４１２、４１４、４１６は、車線２１２、２１４、２１６の形状および場所に対応し、縁石４２０、４２８は、縁石２２０の形状および場所に対応し、車線境界線４２２、４２４、４２６は、車線境界線２２２、２２４、２２６および縁石２２８の形状および場所に対応する。この実施例では、車両１００は、車線４１２を走行している。

車両が車線４１２に沿って移動すると、知覚システム１７２は、縁石４２０、４２８、車線境界線４２２、４２４、４２４、標識４５０、ならびに交通コーンＡ～Ｒなどの、物体の形状および場所に関するセンサデータをコンピューティングデバイスに提供する。図５は、車両１００が図４に図示されるような状況にあるとき、コンピューティングデバイス１１０に利用可能な他の情報と組み合わせて、知覚システム１７２の様々なセンサによって知覚されるセンサデータを図示する。この実施例では、車両４４０、４４２、４４４は、コンピューティングデバイス１１０に知覚システム１７２によって提供されるような境界ボックス５４０、５４２、５４４によって表現され、交通コーンＡ～Ｒは、境界ボックス５Ａ～７Ｒによって表現され、および標識４５０は、境界ボックス５５０によって表現される。もちろん、これらの境界ボックスは、空間の容積を表現しているにすぎず、その中物体に対応するデータポイントは、少なくとも近似的にその内部に境界付けられる。加えて、車両１００の実際の進行方向および境界ボックス５４０、５４２の推定進行方向は、それぞれ、矢印５７０、５６０、および５６２によって表現される。境界ボックス５４４は、非常にゆっくりと移動するかまたは全く移動していないように見えるため、コンピューティングデバイス１１０は、これらの境界ボックスによって表現される物体は、縁石４２８に隣接して動かないと判定してもよい。

上記のように、車両１００は、物体を共にグループ化またはクラスタ化することを試み得る。そうするために、コンピューティングデバイス１１０は、物体の類似性について推定を行い、どの物体を論理的に共にクラスタ化できるかを判定しなければならない。例えば、知覚システム１７２によって検出された一組の物体、ならびにそれらの物体の特性およびそれらの特性の経時的な変化を考慮して、コンピューティングデバイスは、対の物体間の類似性測度またはスコアを画定し得る。

この組の物体は、地図情報内の対応する特徴とまだ関連付けられていない任意の物体を含み得る。例えば、車線境界線、縁石、建物などは無視されてもよい。しかしながら、歩行者、他の車両、自転車に乗る人、建設用物体（標識、バリア、交通コーンなど）、破片などの物体が、物体の組内に含まれる場合がある。例えば、図４に戻ると、物体の組は、（境界ボックス５５０によって表現される）標識４５０、（境界ボックス５Ａ～５Ｒによって表現される）交通コーンＡ～Ｒ、ならびに（境界ボックス５４０～５４４によって表現される）車両４４０～４４４のうちの全てまたはいくつかを含み得る。

組内の物体の各々は、組内の他の物体の各々と対になり得る。例えば、静的物体は、他の静的物体（交通コーン、標識、破片、駐車中の車両など）と対になり得る。同様に、移動している物体は、他の移動している物体と対になり得る。代替的に、各物体は、全ての他の物体と対になり得、また他のタイプの対も、使用され得る。この点について、標識４５０は、交通コーンＡ～Ｒの各々、および車両４４０～４４４の各々と対になり得る。同様に、交通コーンＡは、標識４５０、交通コーンＢ～Ｒの各々、および車両４４０～４４４と対になり得る。

これらの対の各々について、類似性測度が、判定され得る。類似性スコアは、所与の物体に対して、物体の場所、配向、進行方向、および物体タイプ（歩行者、自転車に乗る人、車両、交通コーン、交通標識など）について、知覚システム１７２によってコンピューティングデバイス１１０に提供された情報、ならびに知覚システムによって判定されたこの情報における経時的な任意の変化に基づいて、判定され得る。

所与の対の物体に関するこの類似性測度または値は、例えば、１つ以上の以下の要因を含む、複数の異なる要因を考慮し得る：
●物体間の距離。この値は、反転して［０、１］に正規化されてもよく、０は物体が非常に離れている（例えば、＞１０ｍ離れている）ことを示し、１は物体が非常に近い（例えば、１メートル以内）ことを示す。
●物体タイプの分布間の類似性。この値は、異なる物体タイプの類似性を示唆し得る。例えば、パーキングコーンは、歩行者よりも交通標識により類似している場合があり、車両は交通コーンよりも自転車に乗る人により類似している場合がある。この値は、［０、１］に正規化され得、１は物体タイプの完全一致を示し、０は相互に排他的な物体カテゴリを示す。
●最近、現在、および予測される将来の運動の類似性。この値は、［０、１］スケールに容易に正規化される値を提供する、動的タイムワーピングまたは編集距離ベースの軌跡類似性測度であり得、１は最近、現在、および予測される将来の運動に高い類似性を示し、０は最近、現在、および予測される将来の運動に類似性を示さない。これらの値は、１つ以上の最近、現在、または予測される将来の運動を考慮した単一の結合値、または最近、現在、予測される将来の運動の各々に関する個別の値であってもよい。
●環境内の特徴に対する物体の場所。これらの他の特徴は、横断歩道や自転車用車線など、地図情報内に含まれる静的な特徴が含まれ得る。例えば、この要因は、物体が両方とも横断歩道の所定の距離中または所定の距離内（２フィート以上または以下）にあるか、もしくは物体が両方とも自転車用車線の所定の距離中または所定の距離内（２フィート以上または以下）にあるかどうかを考慮し得る。この値は［０、１］に正規化され得、１は両方の物体が同じ特徴の所定の距離中または所定の距離内にあることを示し、０は両方の物体が同じ特徴の所定の距離中または所定の距離内にないことを示す。
●物体の各々に関する「関連する特徴」ベクトルの類似性。この点について、特徴ベクトルは、物体から、例えば、横断歩道、自転車用車線、道路の端などの、地図情報の特定の特徴までの距離を示して、物体ごとに定義される。類似性スコアは、２つの特徴ベクトル間の編集距離に基づいて、判定され得る。この実施例では、０は特徴ベクトル間の一致がないことを示し、１は特徴ベクトル間の完全な一致を示す。
●観測された物体間の関係。この値は、所与の対の物体の１つが他の物体を追従しているように見えるかどうかを示してもよい。異なる意味関係は、［０、１］スケールの重みを割り当てることができ、１は所与の対の物体のうちの１つが他の物体を追従しているように見え、０はどちらの物体も他の物体を追従していないように見えることを示す。
●物体が、コンピューティングデバイス１１０の任意のシーン理解モジュールによって検出されたものと同じ特別な意味グループに属するかどうか。例えば、両方の物体が、葬列検出器によって提供されるように葬列であるかどうか、両方の物体が交通コーン検出器によって提供されるように交通コーンであるかどうか、両方の物体が駐車車両検出によって提供されるように駐車車両であるかどうか、などである。
前述の各々は、［０、１］のスケールで正規化されていると説明されるが、他の異なるスケールおよび値が使用されてもよく、場合によっては、値は実際にスケールに正規化される必要は全くない。

前述の要因の各々は、所与の対の物体間の類似性測度を増加または低減させてもよい。例えば、各要因に対する値は、所与の対の物体に対する類似性測度を判定するために組み合わせてもよい。一例として、全体的なスコアは、各要因の加重線形合計として計算されてもよい。要因の各々に対する重みは、人間のオペレータによって調整され、および／または機械学習ツールを使用して学習されてもよい。場合によっては、類似性測度はまた、［０、１］スケールに正規化することもでき、１は類似性が高いことを示し、０は類似性がないことを示す。

一対の物体間の類似性測度が所定の閾値を満たすとき、物体は、共にクラスタ化されてもよい。使用される閾値は、意味クラスタ化の精度および再現率に基づいてもよい。類似性スコアと物体が将来同じように移動し続ける真の可能性との関連性は、例えば、人間のラベル付けによって、またはスコアが判定されたポイントの後にデータ内で何が起こるかを調べることによって評価することができる。この関係から、コンピューティングデバイスは、所与の精度対再現率のトレードオフを定義する操作点または閾値を選択することができる。クラスタ化を行うために、高い再現率または低い閾値が、最初に選択され得る。しかしながら、他に利用可能なコンピューティングリソースがある場合、より高い精度またはより高い閾値もまた、検討され得る。

図４および図５の実施例に戻ると、交通コーンＡおよびＢならびにＢおよびＣは、非常に高い類似性測度、または０．９５などの１により近い類似性測度（［０、１］スケールで正規化されている場合）を有し得る。これは、交通コーンＡおよびＢ、ならびにＢおよびＣの各々の間の距離、これらすべてのパーキングコーンが静止していること、これらの物体の各々が同じ物体タイプに対応していることが原因である可能性がある。閾値が０．８の場合、交通コーンＡおよびＢは、１つのクラスタとして識別され得、交通コーンＢおよびＣは、別のクラスタとして識別され得る。

別の例として、車両４４０および車両４４２は、より低い類似性測度、または０．１５などの０により近い類似性測度（［０、１］スケールで正規化されている場合）を有し得る。これは、両方の車両が同じ物体タイプで互いに近接している一方で、反対方向に移動しており、互いに追従していないためであり得る。そのため、閾値が０．８の場合、これらの車両は、共にクラスタ化されない。

代替として、対の物体は、順次（非反復）アプローチを使用して共にクラスタ化され得る。この点について、対の物体をクラスタ化するために、対の物体は、上記の要因に対応するシーケンスまたは一連の必要な条件を満たさなくてはならない。一連のシーケンスに従って、類似性測度または値が、各要因に対して生成され得る。次いで、各所与の類似性測度は、所与の類似性測度の要因に関して、対応する閾値類似性値と比較されてもよい。

例えば、上述の距離要因を参照すると、類似性測度は、対の物体の物体間の距離について判定され得る。例えば、２つの物体が５メートル離れている場合、これは［０、１］のスケールの値に変換され得、０は物体が非常に離れている（例えば、＞１０ｍ離れている）ことを示し、１は非常に近い（例えば、１メートル以内）ことを示す。この場合、距離要因の類似性測度は、０．８であり得る。これは、距離要因に関して対応する閾値、例えば０．５と比較され得る。０．８は０．５より大きいため、この対の物体は、距離要因に関して対応する閾値を満たす。上記の他の要因の各々に関して、同様の分析が行われ得る。

類似性測度が対応する閾値を満たす場合、別の類似性測度が一連の次の要因に関して判定され、その要因に関する対応する閾値類似性値と比較される。これは、所与の要因に関する類似性測度が、その所与の要因に関して対応する閾値類似性値を満たさないか、または対の物体が一連のすべての要因に関して対応するすべての閾値を満たしていると判断されるまで続く。対の物体が、一連のすべての要因に関して対応する閾値類似性値のすべてを満たす場合、対の物体は、共にクラスタ化されてもよい。そうならない場合、対の物体は、（以下でさらに考察されるように、少なくともこの時点において）共にクラスタ化されない可能性がある。

例えば、一連の第１の要素として、対の物体は、例えば、タイプに関する閾値を満たすなど、タイプが十分類似していなくてはならない。類似しない場合、物体は、クラスタ化されない。類似する場合、一連の次の要因が、考慮され得る。例えば、次の要因は、例えば、距離に関する閾値を満たすことなど、対の物体が距離において互いに十分に近くなければならないことであってもよい。類似しない場合、物体は、クラスタ化されない。類似する場合、物体は、例えば、運動に関する閾値類似性値を満たすことなど、運動において十分に類似してなければならない。類似しない場合、物体は、クラスタ化されない。類似する場合、プロセスは、要因の各々を継続し、対応する閾値を使用して、物体をクラスタ化するべきかどうかを判定する。

クラスタ化は、共通の物体が含まれる場合、「マージ」されてもよい。この点について、ｕｎｉｏｎ－ｆｉｎｄアルゴリズムが、この付加的なクラスタ化およびマージを達成するために使用され得る。例えば、交通コーンＡおよびＢのクラスタは、交通コーンＢおよびＣのクラスタとマージされ得、このため交通コーンＡ、Ｂ、およびＣを含むクラスタになる。

すべての可能なマージが完了すると、結果として得られる物体のクラスタは、コンピューティングデバイス１１０によって個別のクラスタとして容易に識別され得る。例えば、図６に示されるように、交通コーンＡ～Ｎは、クラスタ６１０として識別され、交通コーンＱ～Ｏは、クラスタ６２０として識別される。（境界ボックス５Ｒによって表現される）交通コーンＲは、いずれのクラスタにも含まれない。

次いで、コンピューティングデバイス１１０は、クラスタを使用して、車両の環境を通じてどのように操縦するかを判定してもよく、加えて、クラスタ内の各物体に対する車両の反応が同じであることを強制することに役立ち得る。換言すると、車両のコンピューティングデバイスは、クラスタ化された物体が単一の物体であると仮定することによって、環境を通してどのように操縦するかを判定し得る。例えば、クラスタ６１０およびクラスタ６２０の各々の物体は、単一の物体として扱われてもよく、そのため車両１００が、それらの間ではなく、それらの周りを駆動してもよい。

図４～図６の実施例は、静的物体のクラスタ化に関連するが、歩行者、自転車に乗る人、車両などの他の物体もまた、クラスタ化され得る。一例として、図７は、道路７００上を運転する車両１００の別の実施例を図示する。この実施例は、他のさまざまなタイプのクラスタを明示する。示されるように、横断歩道７１６に近接する複数の歩行者７１０～７１４は、クラスタ７２０として識別され、複数の駐車車両７３０～７３４は、クラスタ７４０として識別され、そして一対の「積み重ねられた車両」７５０、７５２（例えば、交差点７５４で曲がるのを待っている車両）は、クラスタ７６０として識別される。これらのクラスタの各々は、上記の類似性測度または順次アプローチを使用して識別され得る。

加えて、上記の実施例は、同じまたは類似のタイプの物体のクラスタ化に関連するが、車両４４４および（図４に示す）交通コーンＲなどの異なるタイプの物体もまた、上記の類似性測度または順次アプローチの結果に応じて、共にクラスタ化され得る。

場合によっては、車両がその環境を通じてどのように操縦するべきかは、第１にクラスタを使用して判定し、その後クラスタを使用せずに判定することができる。これにより、車両のコンピューティングデバイスが、クラスタ化に違反する反応を探索することを可能にし得るが、そのためそれらの反応は、クラスタ化に従う反応の組の後に優先されるであろう。換言すると、車両のコンピューティングデバイスは、いくつかの異なる代替案を考慮し、場合によっては、クラスタ化が実際に不適切または危険であるときについての情報を実際に提供し得る。もちろん、これは、状況を２回処理するための付加的な時間およびコンピューティングリソースを必要とする場合があり、必ずしも適切または役立つとは限らない。

クラスタ化は、物体の組の任意の新しい観測があるたびに再評価することができる。この点について、物体は、互いに素早くクラスタ化され、かつ切り離すことができる。しかしながら、一貫した車両の動作を可能にし、状況の処理を簡素化するために、どちらが良いか明確でない２つの反応の間で選択するとき、物体が別の物体とクラスタ化されているかどうかに基づく事前判定が、使用されて、反応の間の選択をすることができる。例えば、物体の右側を通過するか、左側を通過するかが明確ではないが、物体が以前にクラスタ内に含まれていたとき、判定された反応は、クラスタの左側を通過するというものであり、この以前の判定が、（現在はクラスタに含まれてないが）物体の左側を通過することに優先権を与えるために使用され得る。典型的に、これは、１つの反復から次の反復にのみ引き継がれるが、同じ動作が再度判定された場合、再度引き継がれるなどしてもよい。

評価に必要な反応数を削減し、それにより不要な計算を削減することに加えて、このアプローチは、付加的な利点を提供する。例えば、本アプローチは、付き添われる子供達、葬列などの物体クラスタの意味クラスに反応するためのフレームワークを提供する。本アプローチはまた、搭載された知覚システムから生じる物体セグメンテーション問題に対処するためのツールも提供する。知覚エンジニアは、概して、アンダーセグメンテーション（２つの別個であるが近くの物体は同じであると考えることがある）とオーバーセグメンテーション（１つの物体が２つの異なる近くの物体の代わりであると考える）との間で調整しなくてはならないため、セグメンテーション、または２つの知覚された物体間の分化は、めったに完璧ではない。後者の場合、これらの物体は、最終的に同じ意味クラスタになり、車両のコンピューティングデバイスは、セグメンテーションが実際に完璧であるかのように同じ軌跡を生成するであろう。

図８は、自律運転モードにおいて車両を制御するために、コンピューティングデバイス１１０の１つ以上のプロセッサ１２０などの、１つ以上のプロセッサによって実行され得るフロー図８００である。この実施例では、ブロック８０２において、複数の物体を識別するセンサデータが、受信される。ブロック８０４において、複数の物体のうちの対の物体が、識別される。ブロック８０６において、複数の物体のうちの各識別された対の物体について、その識別された対の物体の物体かどうかを示す類似性値が、１つのグループとして車両によって対応され得る。ブロック８０８において、識別された対の物体のうちの１つの物体が、類似性値に基づいてクラスタ化される。ブロック８１０において、車両は、クラスタ内の各物体に同じ方法で対応することにより、自律モードにおいて制御される。

特段の記述がない限り、前述の代替例は、相互に排他的ではないが、独自の利点を達成するために様々な組み合わせで実施することができる。上述した特徴のこれらおよび他の変形ならびに組み合わせは、特許請求の範囲によって定義される主題から逸脱せずに利用され得るため、前述の実施形態の説明は、特許請求の範囲によって定義された主題を限定するものとしてではなく、例示するものとして見なされるべきである。加えて、本明細書に説明された実施例、ならびに「など」、「含む」などとして表現された語句の提供は、特許請求の範囲の主題を特定の例に限定するものと解釈されるべきではなく、むしろ、それらの例は、多くの可能性のある実施形態のうちの単なる１つを例示することが意図されている。さらに、異なる図面中の同じ参照番号は、同じまたは類似の要素を識別することができる。

Claims (18)

1. 自律運転モードにおいて車両を制御する方法であって、
   １つ以上のプロセッサによって、複数の物体を識別するセンサデータを受信することと、
   前記複数の物体のうちの複数の対を識別することと、
   前記１つ以上のプロセッサによって、前記複数の物体のうちの各識別された対について、その識別された対が、１つのグループとして前記車両によって対応され得るかどうかを示す物体間の類似性値を判定することであって、前記物体間の類似性値が、少なくとも、各識別された対における物体タイプ間の類似性値に基づいて判定されていることと、
   前記１つ以上のプロセッサによって、前記物体間の類似性値に基づいて、前記識別された複数の対のうちの１つをクラスタ化することと、
   前記１つ以上のプロセッサによって、前記クラスタ内の各物体に同じ方法で対応することにより、前記自律運転モードにおいて前記車両を制御することと、を含む、方法。
2. 前記物体間の類似性値が、各識別された対における物体間の距離にさらに基づいて判定されている、請求項１に記載の方法。
3. 前記物体間の類似性値が、各識別された対における物体の過去の運動と現在の運動との間の類似性値にさらに基づいて判定されている、請求項１に記載の方法。
4. 前記物体間の類似性値が、各識別された対における物体の予測される将来の運動間の類似性値にさらに基づいて判定されている、請求項１に記載の方法。
5. 前記物体間の類似性値が、環境内の特徴に対する、各識別された対における物体の相対場所にさらに基づいて判定されている、請求項１に記載の方法。
6. 前記特徴が、横断歩道である、請求項５に記載の方法。
7. 前記特徴が、自転車用車線である、請求項５に記載の方法。
8. 前記物体間の類似性値が、各識別された対のうちの１つの物体が、その識別された対の別の物体を追従しているように見えるかどうかにさらに基づいて判定されている、請求項１に記載の方法。
9. 前記物体間の類似性値が、各識別された対が、所定の意味グループに属しているとして識別されているかどうかにさらに基づいて判定されている、請求項１に記載の方法。
10. 自律運転モードにおいて車両を制御するためのシステムであって、
    複数の物体を識別するセンサデータを受信することと、
    前記複数の物体のうちの複数の対を識別することと、
    前記複数の物体のうちの各識別された対について、その識別された対が、１つのグループとして前記車両によって対応され得るかどうかを示す物体間の類似性値を判定することであって、前記物体間の類似性値が、少なくとも、各識別された対における物体タイプ間の類似性値に基づいて判定されていることと、
    前記物体間の類似性値に基づいて、前記識別された複数の対のうちの１つをクラスタ化することと、
    前記クラスタ内の各物体に同じ方法で対応することにより、前記自律運転モードにおいて前記車両を制御することと、を行うように構成されている、１つ以上のプロセッサを備える、システム。
11. 前記１つ以上のプロセッサが、各識別された対における物体間の距離にさらに基づいて、前記物体間の類似性値を判定するようにさらに構成されている、請求項１０に記載のシステム。
12. 前記１つ以上のプロセッサが、各識別された対における物体の過去の運動と現在の運動との間の類似性値にさらに基づいて、前記物体間の類似性値を判定するようにさらに構成されている、請求項１０に記載のシステム。
13. 前記１つ以上のプロセッサが、各識別された対における物体の予測される将来の運動間の類似性値にさらに基づいて、前記物体間の類似性値を判定するようにさらに構成されている、請求項１０に記載のシステム。
14. 前記１つ以上のプロセッサが、環境内の特徴に対する、各識別された対における物体の相対場所にさらに基づいて、前記物体間の類似性値を判定するようにさらに構成されている、請求項１０に記載のシステム。
15. 前記特徴が、横断歩道である、請求項１４に記載のシステム。
16. 前記１つ以上のプロセッサが、各識別された対のうちの１つの物体が、その識別された対の別の物体を追従しているように見えるかどうかにさらに基づいて、前記物体間の類似性値を判定するようにさらに構成されている、請求項１０に記載のシステム。
17. 前記１つ以上のプロセッサが、各識別された対が所定の意味グループに属しているとして識別されているかどうかにさらに基づいて、前記物体間の類似性値を判定するようにさらに構成されている、請求項１０に記載のシステム。
18. 前記車両をさらに備える、請求項１０に記載のシステム。
    

Images