JP2023508043A - オブジェクトを伴う歩行者 - Google Patents

Abstract

オブジェクトを伴う歩行者の検出が記述される（ベビーカー、カートを押すこと、ドアを開けること、傘を運ぶこと等）。例において、車両の認識コンポーネントは車両に結合されたセンサーからセンサーデータを受信することができる。認識コンポーネントはセンサーデータに関連付けられる観測結果をモデルによって判定することができ、観測結果が第一のオブジェクト（例えば、歩行者）を含む。認識コンポーネントは、第一のオブジェクトが第二のオブジェクト（例えば、歩行者オブジェクト）に関連付けられるかどうかを判定することができ、第一のオブジェクトおよび第二のオブジェクトが複合オブジェクト（例えば、歩行者／歩行者オブジェクトシステム）に関連付けられる。認識コンポーネントは、第一のオブジェクトの表示または複合オブジェクトの表示を車両の制御用に車両の予測コンポーネントまたは計画コンポーネントの少なくとも一つに提供することができる。

Description

本発明は、オブジェクトを伴う歩行者に対する認識に関する。

［関連出願の相互参照］
本出願は、２０１９年１２月２３日に出願された「オブジェクトを伴う歩行者」と題する米国特許出願第１６／７２６，０４２号明細書、および、２０１９年１２月２３日に出願された「歩行者オブジェクトの検出訓練」と題する米国特許出願第１６／７２６，０９７号明細書に基づく優先権を主張し、上記特許出願の両方の内容全体を参照により本明細書に援用する。

自動運転車は、センサーを使用して、環境のデータを取得することができる。効率的に環境を通り抜けるために、自動運転車は、センサーデータを使用することにより、環境内の物体を検出して、衝突を回避する。例えば、認識システムは、自動運転車が環境内の物体を識別することを可能とすることにより、自動運転車は、環境を通過する安全なルートを計画することができる。例において、セグメンテーション手法は、センサーデータを物体に関連付けるために使用することができる。自動運転車における安全な操作は、センサーデータで検出されるオブジェクトの動きに対する検出、分類、および予測において、認識システムによって利用可能とされる情報に少なくとも部分的に依存する。したがって、そのようなオブジェクトに関する検出、分類、および／または予測によってもたらされる不正確および／または不完全な情報は、自動運転車が操作することができる安全性を低下させる可能性がある。

詳細な説明は、添付図面を参照して記述される。図面において、参照番号における左端の桁は、その参照番号が最初に出現する図面を特定する。異なる図面における同一の参照番号の使用は、類似または同一の構成要素または機能を示す。

本明細書で記述されるように、歩行者オブジェクトを検出することが可能である環境の例を示す図である。 本明細書で記述されるように、歩行者オブジェクト検出用のモデルを訓練するためのプロセスの例を示す図である。 本明細書で記述されるように、歩行者オブジェクトを検出し、それに関連付けられる動きを検出するためのプロセスの例を示す図である。 本明細書で記述される手法を実施するためのシステムの例を説明するブロック図である。 本明細書で記述されるように、歩行者オブジェクト検出用モデルを訓練するためのプロセスの例を示す図である。 本明細書で記述されるように、歩行者オブジェクトを検出するためのプロセスの例を示す図である。 本明細書で記述されるように、歩行者オブジェクトが歩行者に関連付けられるかどうかを判定するためのプロセスの例を示す図である。 本明細書で記述されるように、歩行者オブジェクトが歩行者に関連付けられるかどうかを判定するためのプロセスの例を示す図である。

［詳細な説明］
本明細書で記述される手法は、歩行者に関連付けられるオブジェクトを検出するためのモデルの訓練、および、自動運転車のような車両によるモデルの使用に関連する。例において、そのようなモデルは、車両の環境内で歩行者に関連付けられるオブジェクトを検出するために使用することができ、そのようなオブジェクトの検出に基づいて、車両は、そのような歩行者および関連するオブジェクトの取扱い方法を決定することができる。例において、歩行者は、スーツケース、ベビーカー、カート、傘、または、他のオブジェクトなどのオブジェクトに関連付けることができる。そのようなオブジェクトは、歩行者の姿勢および／または位置で拡張を引き起こすことができるが、オブジェクトの動きは、歩行者によって制御することができ、幾つかの例において、歩行者の動きを制約することができる（例えば、歩行者は、スーツケースを運ぶ際に速く移動することが可能であり得ず、ベビーカーによって縁石を上下に移動することが可能であり得ず、または、横方向の加速に制約され得る）。それ自体では、歩行者は、オブジェクト無しの歩行者よりも大形（例えば、より多く空間を占める）とすることができ、および／または、オブジェクト無しの歩行者とは異なるように移動することができる。本明細書で記述される手法は、例えば、オブジェクトを検出するように訓練されたモデル、および／または、歩行者および関連するオブジェクトがどのように移動するかを判定するように訓練されたモデルを介して、歩行者に関連付けられるオブジェクトの検出を可能とすることにより、自動運転車に搭載された演算装置は、例えば、そのような自動運転車の制御方法を決定することができる。

例において、モデルは、歩行者に関連付けられるオブジェクトの存在を検出するようにモデルを訓練することができる。この議論の目的のために、そのようなオブジェクトは、「歩行者オブジェクト」と呼ぶことができる。歩行者オブジェクトは、（１）（例えば、オブジェクト無しの歩行者の形状から）歩行者の形状を変更し、（２）歩行者によって制御される動きの軌道を有する、歩行者に取り付けられるオブジェクトである。歩行者オブジェクトに関する非限定の例は、ベビーカー、スーツケース、傘、大形ボックス、（例えば、運ばれている）子供たち、オートバイ、カート、車椅子等を含む。紐に繋がれた動物のようなオブジェクトは、その動物に関する動きの軌道が歩行者によって制御されない（例えば、その動物は、紐の制限内で希望する任意の軌道で歩行することができる）ことから、歩行者オブジェクトと考慮され得ない。同様にして、大人の歩行者と手を握る子供は、歩行者オブジェクトと考慮され得ない。

例において、モデルは、２０１８年４月２６日に出願された米国特許出願第１５／９６３，８３３号明細書に記述されるように、「トップダウン型セグメンテーション」アルゴリズムを使用するニューラルネットワークにすることができ、上記特許出願の内容全体を参照により本明細書に援用する。そのようなモデルは、機械学習の手法を使用して訓練することにより、歩行者に関連付けられる歩行者オブジェクトを検出することができる。少なくとも一つの例において、境界領域のような表示は、歩行者、歩行者オブジェクト、ならびに、（歩行者／歩行者オブジェクトシステムとして本明細書で参照される）歩行者および歩行者オブジェクトの組合せに関連付けることができる。すなわち、歩行者および歩行者オブジェクトは、歩行者および歩行者オブジェクトから構成される複合オブジェクトの構成要素にそれぞれすることができる。少なくとも一つの例において、境界領域は、以下に記述されるように、予測コンポーネントおよび／または計画コンポーネントに提供することにより、軌道を使用して環境を通過する自動運転車用の軌道を生成することができる。すなわち、境界領域は、自動運転車の下流コンポーネントに提供されることにより、自動運転車を制御することができる。幾つかの例において、被検出オブジェクトに関連するデータは、他のセグメンテーションアルゴリズム、および／または、さらなる処理ための分類アルゴリズムに提供することができる。それらの演算および他の演算は、本明細書で記述される手法の一部とすることができる。

既存の分類手法は、自動車、歩行者、自転車などのオブジェクトを適切に分類し得る。しかしながら、既存の分類手法は、運転中に一般的に見られない希少なオブジェクトを誤分類し得て、または、分類するように訓練され得ない。しかしながら、そのような希少なオブジェクトは、どのようにして、運転車が移動する環境の状態を認識し、そのような環境内を通過する方法を決定するのかということに重要である。そのような希少なオブジェクトの一例は、オブジェクトを伴う歩行者である。本明細書で記述される手法は、そのような歩行者オブジェクトの検出を可能とすることにより、本明細書で記述される手法は、環境におけるオブジェクトの判定および検出の精度を維持し、および／または、向上させ、それによって演算装置の機能を向上させる。理解できるように、オブジェクトの判定および検出の精度に関する維持および／または向上は、特に車両および自動運転車に関連して、安全性の結果を改善させることができる。したがって、本明細書で記述される手法は、安全性の結果を向上させるだけではなく、演算装置の機能も向上させることができる。

上述された手法は、歩行者およびそれに関連付けられるオブジェクト（例えば、歩行者オブジェクト）の検出に方向付けられるが、本明細書で記述される手法は、オブジェクトと、各オブジェクトに取り付けられ（例えば、その他の各オブジェクトは、関連付けのオブジェクトの動きを制御する）、および／または、その他の各オブジェクトの形状を変更する、関連するオブジェクトとからなる任意数の種類に適用され得る。例えば、本明細書で記述される手法は、車両の開いているドア、自転車に取り付けられた子供用キャリアなどの検出に適用することができる。すなわち、本明細書で記述される手法は、歩行者および歩行者オブジェクトの検出に限定されると解釈されるべきでない。

本明細書で記述される手法を、幾つかの方法で実装することができる。実装の例は、後続する図面を参照して以下に提供される。実装の例は、自動運転車に関連して議論されるが、本明細書で記述される方法、装置、およびコンポーネントは、種々のコンポーネント（例えば、センサーコンポーネントまたはロボットプラットフォーム）に適用することができて、自動運転車に限定されない。一つの例において、本明細書で記述される手法は、そのようなコンポーネントが様々な操縦を実行することが安全であるかどうかの表示を車両のドライバーに提供し得る、ドライバー制御の車両に利用され得る。別の例において、手法は、航空もしくは航海に関連して、または、コンポーネントにとって未知である行動に関連付けられ得るオブジェクトおよびエンティティを含む任意のコンポーネントにおいて、利用することができる。すなわち、幾つかの例において、本明細書で記述される手法は、気象データ、金融データ等に適用可能とすることができる。さらには、本明細書で記述される手法は、（例えば、センサーを使用して取得される）実際のデータ、（例えば、シミュレータによって生成される）シミュレーションのデータ、または、その二つの任意の組合せで使用することができる。

図１は、歩行者オブジェクトを検出することが可能である環境１００の例を説明する。図１は、本明細書で記述される手法の概説として提供される。図２および３は、歩行者オブジェクトを検出するために（例えば、図２）、および、そのようなモデルを使用するために（例えば、図３）、モデルの訓練に関連する追加の詳細を提供する。本明細書で記述されるシステムに関連する追加の詳細は、図４を参照して以下に記述される。

少なくとも一つの例において、車両１０２は、環境１００内を走行中とすることができる。少なくとも一つの例において、車両１０２は、米国国道交通安全局によって発行された分類レベル５にしたがって操縦するように構成された自動運転車とすることができるが、この分類は、いつでも車両を制御することが期待されないドライバー（または搭乗者）をともなう、移動全体のための安全上重要な全機能を実行することが可能となる車両を説明する。そのような例において、車両１０２は、駐車の全機能を含む発進から停止まで全機能を制御するように構成することができるため、それは満たされないとすることができる。これは単に例に過ぎず、本明細書で記述されるコンポーネントおよび方法は、常にドライバーによって手動で制御されることが必要となる車両から、部分的にまたは完全に自律的に制御される車両までに及ぶ車両を含む、地上、空中、または水上のいずれかの車両に組み込むことできる。すなわち、説明される例において、車両１０２は自動運転車であるが、車両１０２は、他の任意種類の車両とすることができる。

少なくとも一つの例において、車両１０２は、図４を参照して以下に記述される車両演算装置に結合させることができて、この装置は、車両１０２を制御するための一つまたは複数のコンポーネントを含むことができる。少なくとも一つの例において、認識コンポーネントは、車両１０２のセンサーコンポーネントから受信されたセンサーデータの少なくとも部分的に基づいて、オブジェクトの検出、セグメンテーション、および／または、分類を実行することができる。少なくとも一つの例において、センサーコンポーネントは、ライダー（ＬＩＤＡＲ）センサー、レーダーセンサー、超音波変換器、ソナーセンサー、位置センサー（例えば、全地球測位コンポーネント（ＧＰＳ）、コンパス等）、慣性センサー（例えば、慣性測定ユニット、加速度計、磁力計、ジャイロスコープ等）、カメラ（例えば、三原色、赤外線、強度、深度等）、ホイールエンコーダー、マイクロフォン、環境センサー（例えば、温度センサー、湿度センサー、光センサー、圧力センサー等）、飛行時間（ＴｏＦ）センサー等を含むことができる。そのようなセンサーデータは、ライダーデータ、レーダーデータ、超音波変換器データ、ソナーデータ、位置データ（例えば、全地球測位コンポーネント（ＧＰＳ）、コンパス等）、慣性データ（例えば、慣性測定ユニットデータ、加速度計データ、磁力計データ、ジャイロスコープデータ等）、カメラデータ（例えば、三原色データ、赤外線データ、強度データ、深度データ等）、ホイールエンコーダーデータ、マイクロフォンデータ、環境センサーデータ（例えば、温度センサーデータ、湿度センサーデータ、光センサーデータ、圧力センサーデータ等）、ＴｏＦセンサー等を含むことができるが、これらに限定されない。

少なくとも一つの例において、認識コンポーネントは、センサーデータを受信することができて、一つまたは複数の機械訓練モデルを利用することにより、センサーデータで識別されるオブジェクトに関して、オブジェクトの検出、セグメンテーション、および／または分類を実行することができる。幾つかの例において、認識コンポーネントは、境界領域（または他の表示）を被識別のオブジェクトに関連付けることができて、被識別のオブジェクトの分類に関連する信頼度スコアを被識別のオブジェクトに関連付けることができる。幾つかの例において、ディスプレイを介して描画される際に、オブジェクトは、それらの被認識クラスに基づいて着色することが可能となる。

例として、ライダーデータは、車両１０２における一つまたは複数のライダーセンサーコンポーネントによって取得することができ、認識コンポーネントは、被取得ライダーデータをボクセル空間に関連させることができる。ボクセル空間は、三次元空間におけるボクセルのグリッドでライダーデータを表現することができる。ボクセル空間で表されたライダーデータを用いると、認識コンポーネントは、機械訓練モデルを使用することにより、環境で検出される個々のオブジェクトに関連するマスクを出力することができる。幾つかの例において、マスクは、平面図、またはトップダウン透視図（例えば、トップダウン型セグメンテーション）で表現することができる。すなわち、上述した通り、少なくとも一つの例において、機械訓練モデルは、２０１８年４月２６日に出願された米国特許出願第１５／９６３，８３３号明細書に記述されるように、「トップダウン型セグメンテーション」アルゴリズムのようなニューラルネットワークにすることができ、この特許出願の内容は、参照により全体において本明細書に援用される。セグメンテーションに関連する追加の詳細は、２０１７年１１月２１日に出願された米国特許出願第１５／８２０，２４５号明細書に記述され、この特許出願の内容を参照により全体において本明細書に援用する。幾つかの例において、マスクは、立体図、またはサイド透視図で表現することができる。少なくとも一つの例において、上述した通り、機械訓練モデルは、正解（ground truth）のオブジェクトよりわずかに小さい寸法を有するマスクを出力するように訓練され得る。

上述された手法は、ライダーデータにおけるオブジェクトに関する検出、セグメンテーション、および／または分類に方向付けられるが、本明細書で記述される手法は、画像データ、レーダーデータ、音響センサーデータ、熱センサーデータ、圧力センサーデータ等を含むがこれらに限定されないセンサーデータの付加的または代替的な種類に適用可能とすることができ、これらのデータは、自動運転車の領域内にないこともある。

少なくとも一つの例において、車両１０２に結合される認識コンポーネントは、環境１００において歩行者１０４を検出することができる。そのような例において、認識コンポーネントは、境界領域１０６（または他の表示）を歩行者１０４に関連付けることができる。少なくとも一つの例において、歩行者１０４は、歩行者オブジェクト１０８（例えば、ベビーカー）に関連付けることができ、このオブジェクトは、本明細書で記述される手法を使用して、歩行者を検出することができる。すなわち、本明細書で記述される手法は、機械訓練モデルを訓練することにより、歩行者オブジェクト１０８を検出することに部分的に関連する。そのような例において、歩行者オブジェクト１０８が環境１００に存在することの判定の少なくとも部分的に基づくと、認識コンポーネントは、境界領域１１０（または他の表示）を歩行者オブジェクト１０８に関連付けることができる。すなわち、機械訓練モデルは、歩行者１０４、歩行者オブジェクト１０８、および、被検出オブジェクトの各々に関連する境界領域を検出することができる。少なくとも一つの例において、境界領域１１２が境界領域１０６および境界領域１１０を包含するように、機械訓練モデルは、境界領域１１２（または他の表示）を境界領域１０６および境界領域１１０に関連付けることができる。すなわち、境界領域１１２は、オブジェクトを伴う歩行者の複合オブジェクトで表すことが可能であり、歩行者１０４および歩行者オブジェクト１０８は、境界領域１１２内にある個々の境界領域にそれぞれ関連付けられる。

少なくとも一つの例において、センサーデータ、および、関連する境界領域（１０６、１１０および１１２）は、図４を参照して以下に記述されるように、車両１０２に結合される予測コンポーネントおよび／または計画コンポーネントに提供されることにより、軌道を使用して環境１００を通過する車両１０２のために軌道を生成することができる。すなわち、境界領域（１０６、１１０および１１２）は、車両１０２の下流コンポーネントに提供されることにより、車両１０２を制御することができる。追加の詳細は、以下に提供される。

図２は、本明細書で記述されるように、歩行者オブジェクト検出用のモデルを訓練するためのプロセス２００の例を説明する。

上述した通り、車両は、車両の環境に関連するセンサーデータを生成することができる一つまたは複数のセンサーコンポーネントに結合させることができる。そのようなセンサーデータの一例は、ライダーデータを含むことができる。例として、車両は、車両におけるコーナー、前部、後部、側部、および／または、上部に配置されるライダーセンサーに結合させることができる。ライダーセンサーは、車両の環境に関連するライダーデータ２０２を生成することができる。少なくとも一つの例において、一つまたは複数の車両は、訓練コンポーネントに結合される一つまたは複数の演算装置に送信することができる。ライダーデータ２０２は、以下に記述されるように、訓練モデルのために使用することが可能となる。上述した通り、車両は、付加的または代替的なセンサーコンポーネントに結合させることができ、これらコンポーネントの各々は、それ自体のセンサーデータを生成することができる。

幾つかの例において、ライダーデータ２０２は、車両１０２に搭載された認識コンポーネントによって処理されるライダーデータとすることができ、または、ライダーデータ２０２は、訓練コンポーネントに結合される一つまたは複数の演算装置によって処理することが可能である生のライダーデータとすることができる。少なくとも一つの例において、（車内で使用するために車両に提供することができる）モデルは、生のライダーデータを分析することにより、オブジェクトをセグメント化して分類することができる。例において、生のライダーデータは、三次元空間におけるボクセルのグリッドでライダーデータを表現することができるボクセル空間に関連させることができる。ボクセル空間で表されるライダーデータを用いると、機械訓練モデルは、（ボクセル空間で表現された）ライダーデータを分析し、環境で検出された個々のオブジェクトに関連付けられるマスクを出力することができる。幾つかの例において、マスクは、平面図、または、トップダウン透視図（例えば、「トップダウン型セグメンテーション」）で表現することができる。個々のオブジェクトがマスクに関連付けられるように、セグメント化されて分類されているライダーデータは、「処理済みライダーデータ」として参照することができる。幾つかの例において、ライダーデータは、本明細書で記述されるように、個々のピクセル、または、ボクセル以外の表現に関連させることができる。

図２において、ライダーデータ２０４（例えば、処理済みライダーデータ）の部分は、トップダウン透視図で例証される。例証されるように、ライダーデータ２０４の部分に関連する幾つかのボクセルは、第一のマスク（白塗り）に関連付けられ、ライダーデータ２０４の部分に関連する幾つかのボクセルは、第二のマスク（黒塗り）に関連付けられる。第一のマスク（白塗り）による被覆および第二のマスク（黒塗り）による被覆は、オブジェクトに関する異なる分類に関連付けることができる。例えば、第一のマスク（白色の塗潰し）による被覆は、歩行者の分類に関連付けることができ、第二のマスク（黒色の塗潰し）による被覆は、オブジェクトの分類に関連付けることができる。

少なくとも一つの例において、ライダーデータ２０２（例えば、処理済みライダーデータ）は、アノテーションコンポーネント２０６に提供することができる。少なくとも一つの例において、アノテーションコンポーネント２０６は、ライダーデータ２０２の少なくとも部分的に基づいて、アノテーション付きデータを受信し、または、そうでない場合に判定することができる。少なくとも一つの例において、アノテーションコンポーネント２０６は、歩行者オブジェクトシステム（例えば、歩行者および歩行者オブジェクトの複合オブジェクト）に関連付けられるラベル、および、歩行者に関連付けられるラベルを含むアノテーション付きデータ２０８を受信することができる。少なくとも一つの例において、「ラベル」は、各オブジェクトまたは複合オブジェクトに関連付けられる境界ボックス（または他の表示）のような境界領域とすることができる。例えば、図２に説明されるように、第一の境界領域２１０は、歩行者および歩行者オブジェクトシステム（例えば、第一のマスク（白塗り）および第二のマスク（黒塗り）からなる組合せのボクセル）に関連するライダーデータ２０４の部分に関連付けられ、第二の境界領域２１２は、歩行者に関連するライダーデータ２０４の部分（例えば、白塗りに関連するマスク化されたボクセル）に関連付けられる。少なくとも一つの例において、アノテーションコンポーネント２０６は、機械訓練モデルを使用して、アノテーション付きデータ２０８を分析することができる。そのような例において、アノテーションコンポーネント２０６は、幾何学的アルゴリズムを適用することができ、そのアルゴリズムの例は、第二の境界領域２１２に関連付けられるアノテーション付きデータ２０８の部分から、第一の境界領域２１０に関連付けられるアノテーション付きデータ２０８の少なくとも一部分を差し引くことにより、歩行者オブジェクトに関連付けられるアノテーション付きデータ２０８の部分を決定するように、以下に記述される。

少なくとも一つの例において、アノテーションコンポーネント２０６は、二つの境界領域（例えば、第一の境界領域２１０および第二の境界領域２１２）で取り込み、複合オブジェクト（例えば、第一の境界領域２１０）に関連付けられる境界領域の主（例えば、最長）軸を計算することができる。それから、アノテーションコンポーネント２０６は、ヒューリスティックを活用することにより、歩行者オブジェクトの位置を決定することができる。例えば、アノテーションコンポーネント２０６は、主軸に沿って、歩行者オブジェクトが歩行者に関連付けられる第二の境界領域２１２と、第一の境界領域２１０の最遠縁との間に位置すると、想定することができる。それから、アノテーションコンポーネント２０６は、第一の境界領域２１０（および関連するコーナー）の最遠縁と、歩行者に関連付けられる第二の境界領域２１２との間における領域に基づいて、歩行者オブジェクトの境界を構成することができる。それから、アノテーションコンポーネント２０６は、第三の境界領域２１４を歩行者オブジェクトに関連するライダーデータ２０４の部分に関連付けることができる。

付加的または代替的な例において、アノテーションコンポーネント２０６は、ライダーデータ２０４を分析することにより、例えば、占有状態の少なくとも部分的に基づいて、歩行者オブジェクトの部分を判定することができる。

少なくとも一つの例において、アノテーションコンポーネント２０６は、第三の境界領域２１４を歩行者オブジェクトに関連するライダーデータ２０４の部分に関連付けることができる。すなわち、アノテーションコンポーネント２０６は、ライダーデータ２０４の部分にアノテーションを付けることにより、ライダーデータ２０４の部分に関連するボクセルが歩行者オブジェクトに関連付けられることを示すことができる。結果として、アノテーションコンポーネント２０６は、歩行者に関連付けられる第一の境界領域２１０、および、歩行者オブジェクトに関連付けられる第三の境界領域２１４を含むように、ライダーデータ２０４の部分にアノテーションを付けることができる。したがって、結果の出力２１６は、歩行者および関連する歩行者オブジェクト（例えば、境界領域２１０および境界領域２１４）にラベル付けするアノテーションに関連するライダーデータから成ることができる。

少なくとも一つの例において、訓練入力データ２１８は、訓練コンポーネント２２０に提供することができる。訓練入力データ２１８は、図２を参照して上述されたように、結果の出力２１６のように、アノテーションコンポーネント２０６からの出力から成ることができる。さらには。幾つかの例において、訓練入力データ２１８は、上述された以外の、付加的または代替的なアノテーションのプロセスを介してアノテーションを付けることができる。例えば、幾つかの例において、アノテーションコンポーネント２０６は、歩行者（例えば、それに関連するライダーデータ）に関連付けられるアノテーション（例えば、境界領域）、および、歩行者オブジェクト（例えば、それに関連するライダーデータ）に関連付けられるアノテーション（例えば、境界領域）を含むアノテーション付きデータを受信することができる。そのようなデータは、訓練入力データ２１８を構成することができる。単一の結果の出力２１６が例証されるが、訓練入力データ２１８は、様々な歩行者および歩行者オブジェクトに関連付けられる集約データを構成することができる。

幾つかの例において、訓練コンポーネント２２０は、訓練入力データ２１８を受信することができ、歩行者オブジェクトに関連付けられるボクセルが歩行者および／または他のオブジェクトに関連付けられるボクセル以上に重み付けされるように、損失重みマスク（loss weight mask）を訓練入力データ２１８に適用することができる。すなわち、少なくとも一つの例において、乗法マスク（multiplicative mask）は、訓練入力データ２１８に適用されることにより、歩行者オブジェクトに関連付けられるライダーデータ２０２の領域を強調することができる。図２を参照すると、訓練コンポーネント２２０は、歩行者オブジェクトに対応するボクセル（例えば、境界領域２１４に関連付けられるもの）を、歩行者に対応するボクセル（例えば、境界領域２１０に関連するもの）より大きい重みに関連付けることができる。少なくとも一つの例において、この損失重みマスクは、歩行者オブジェクトが車両の環境で（例えば、車両、歩行者、自転車乗り、および他のオブジェクトと比較されると）稀に検出されるにしても、機械訓練モデルが歩行者オブジェクトに関連付けられる新規な分類を学習することを可能にすることができる。幾つかの例において、歩行者オブジェクトは、様々なセマンティッククラス（例えば、ベビーカー、スーツケース、傘、大形ボックス、子供たち（例えば、運ばれている）、オートバイ、カート、車椅子等）に関連付けることができる。しかしながら、訓練コンポーネント２２０は、モデル２２２を訓練する際に、様々なセマンティッククラスに関連付けられる歩行者オブジェクトを、歩行者オブジェクトに関する単一の分類に融合することができる。

少なくとも一つの例において、訓練コンポーネント２２０は、訓練入力データ２１８の少なとも部分的に基づいて、モデル２２２を訓練することにより、歩行者オブジェクトに関連付けられる分類を出力することができる。少なくとも一つの例において、訓練コンポーネント２２０は、機械学習の手法を使用して、データモデルを訓練することができる。例えば、少なくとも一つの例において、ニューラルネットワークは、訓練入力データ２１８を使用して、訓練することができる。例として、訓練コンポーネント２２０は、訓練入力データ２１８をモデル２２２に入力することができる。モデル２２２は、歩行者オブジェクトの表示に関連付けられる出力を判定することができる。訓練コンポーネント２２０は、その出力をアノテーション付きデータ（例えば、訓練入力データ２１８）と比較することにより、差異を決定することができる。少なくとも一つの例において、訓練コンポーネント２２０は、その差異の少なくとも部分的に基づいて、モデルに関する一つまたは複数のパラメータを修正することができる。

上述した通り、結果のモデル２２２は、歩行者、車両、自転車などを含むがこれらに限定されない他のオブジェクトに加えて、歩行者オブジェクトに関連付けられる分類を出力することができる。すなわち、訓練コンポーネント２２０は、歩行者オブジェクトに対応する追加の出力ヘッドのためにモデル２２２を訓練することができる。

少なくとも一つの例において、モデル２２２は、一つまたは複数の車両２２４に提供することが可能であり、これらの車両は、モデル２２２の出力の少なくとも部分的に基づいて制御されるように構成することができる。モデル２２２の使用に関連する追加の詳細は、図３を参照して以下に記述される。

図３は、本明細書で記述されるように、歩行者オブジェクトを判定し、それに関連する動きを判定するためのプロセス３００の例を説明する。

図２を参照して上述した通り、車両は、車両の環境に関連するセンサーデータを生成することができる一つまたは複数のセンサーコンポーネントに結合させることができる。そのようなセンサーデータの一例は、車両の環境に関連させることが可能であるライダーデータ３０２を含むことができる。少なくとも一つの例において、車両の認識コンポーネントは、ライダーデータ３０２を（例えば、それに関連するライダーセンサーから）受信することができ、このデータの部分（例えば、ライダーデータ３０４の部分）の例は、図３で説明される。上述した通り、車両は、付加的または代替的なセンサーコンポーネントに結合させることができ、これらのコンポーネントの各々はそれら自体のセンサーデータを生成することができる。

少なくとも一つの例において、ライダーデータ３０２は、図２を参照して上記で訓練されたモデル２２２に入力することができる。少なくとも一つの例において、モデル２２２は、ライダーデータ３０２を分析することができ、一つまたは複数の観測結果３０６を出力することができる。少なくとも一つの例において、観測結果は、（例えば、オブジェクトに関連付けられる）特定のクラスに（例えば、モデル２２２によって）分類されている空間における独立して隣接するセグメントとすることができる。少なくとも一つの例において、観測結果３０６の一つは、歩行者に関連付けることができる。ライダーデータ３０４の部分に関する拡大図が例証される。拡大図３０８は、複数のボクセル３１０が歩行者の分類に関連付けられることを示す第一のマスク（白塗り）に関連付けられる複数のボクセル３１０を例証する。歩行者は、境界領域３１２（または他の表示）に関連付けることができる。

少なくとも一つの例において、観測結果３０６の各々は、追跡コンポーネント３１４に提供することができ、それによって追跡コンポーネント３１４は、時系列に対応するオブジェクトを追跡するために観測結果３０６の各々に関する表示を利用することができる。すなわち、追跡コンポーネント３１４は、車両の環境で識別された観測結果３０６（および関連するオブジェクト）の各々を通して反復することができる。各観測結果および関連するオブジェクトは、表示３１６（Ａ）ないし３１６（Ｎ）（まとめて、表示３１６）に関連付けることができる。

表示３１６は、車両の環境で異なるオブジェクト（例えば、オブジェクトＡないしＮ）に関連付けられるが、状態３１８（Ａ）ないし３１８（Ｎ）（まとめて、状態３１８）にそれぞれ関連付けることができる。各状態は、歩行者オブジェクトが歩行者に関連付けられるかどうかを、歩行者オブジェクトが歩行者に関連付けられる場合はそれに関連する情報を示すことができる。少なくとも一つの例において、歩行者が歩行者オブジェクトに関連付けられる場合、状態は、以下に記述されるような情報を含むことができる。しかしながら、歩行者が歩行者オブジェクトに関連付けられない場合、または、観測結果が歩行者に関連付けられない（そして、したがって歩行者オブジェクトに関連付けられない）場合、状態は、空または無効とすることができる。

少なくとも一つの例において、状態は、歩行者が歩行者オブジェクトに関連付けられるかどうかに関する第一の表示に関連させることができる。第一の表示は、予備的な表示とすることができるが、モデル２２２の出力に基づくとすることができる。すなわち、上述した通り、モデル２２２は、歩行者オブジェクトを検出することができる。歩行者オブジェクトが歩行者に近接して検出される場合、状態は、そのようなものに関する第一の（予備的な）表示に関連付けることができる。

少なくとも一つの例において、状態は、歩行者が歩行者オブジェクトに関連付けられるという可能性を示すスコアを含むことができる。幾つかの例において、スコアは、経時的に受信された（例えば、ライダー）データにおける一つまたは複数の部分に関する分析と、歩行者オブジェクトの実例が歩行者に近接して（例えば、閾値距離を用いて）検出されるかどうかに基づくスコアの修正との少なくとも部分的に基づいて決定することができる。すなわち、スコアは、経時的で持続的とすることできることにより、スコアは、（例えば、特定の瞬間にモデル２２２の単一の出力と比較される際に）歩行者オブジェクトの存在（または不存在）に関する正確な信号を提供することができる。少なくとも一つの例において、スコアが閾値以上である場合、追跡コンポーネント３１４は、第二の表示（例えば、信頼度の表示）を状態に関連付けることにより、歩行者オブジェクトが歩行者に関連付けられることを確証することができる。幾つかの例において、そのような第二の表示は、ブール表示（例えば、真または偽）とすることができる。スコアの決定に関連する追加の詳細は、図７および８を参照して以下に記述される。

幾つかの例において、オブジェクトは、モデル２２２によって検出することができるが、歩行者オブジェクトとして分類され得ない。そのような例において、追跡コンポーネント３１４は、一つまたは複数の追加基準を分析することにより、第二の表示（例えば、信頼度の表示）を状態に関連付ける前に、オブジェクトが歩行者オブジェクトであることを判定することができる。少なくとも一つの例において、追跡コンポーネント３１４は、（１）面積交差率、（２）被検出オブジェクトが被検出の歩行者に重なり合うかどうか、および（３）オブジェクトが歩行者として分類されるかどうかを検討することができる。少なくとも一つの例において、面積交差率は、歩行者オブジェクトに関連する最良の推測がオブジェクトに関する現行の検出と重なり合うかどうかの程度を表現することができる。面積交差率が閾値以上である場合、追跡コンポーネント３１４は、（その他の二つの基準が満たされる限り）信頼度の表示を状態に関連付けることができる。少なくとも一つの例において、被検出オブジェクトが被検出の歩行者に重なり合う場合、追跡コンポーネント３１４は、信頼度の表示を状態に関連付けることをやめることができる。すなわち、追跡コンポーネント３１４は、被検出オブジェクトが被検出の歩行者と重ならない限り（その他の二つの基準が満たされる限り）、信頼度の表示（例えば、どの状態が関連するかという表示）を状態に関連付けることができる。さらに、オブジェクトが歩行者として分類されない限り、追跡コンポーネント３１４は、（その他の二つの基準が満たされる限り）信頼度の表示を状態に関連付けることができる。すなわち、少なくとも一つの例において、被検出オブジェクトが歩行者として分類される場合、追跡コンポーネント３１４は、信頼度の表示を状態に関連付けることをやめることができる。幾つかの例において、状態が信頼度の表示に関連付けられる場合、オブジェクトが歩行者に関連付けられる（そして、したがって歩行者オブジェクトである）ことを表示すると、そのような分類は、モデル２２２によって出力された元の分類を無効とすることができる。

少なくとも一つの例において、状態は、歩行者オブジェクトに関する一つまたは複数の姿勢に関連付けることができ、この姿勢は、（例えば、モデル２２２に基づいて）出力位置、および／または、（例えば、出力位置を含めることができるが、出力位置より空間を占める）推定位置を含むことができる。幾つかの例において、推定位置は、現行の観測結果、および、一つまたは複数の過去の観測結果に関する回帰平均とすることができ、この位置は、歩行者の姿勢に関して計算される、指数平滑移動平均の使用によって決定することができる。幾つかの例において、推定位置は、（例えば、モデル２２２に関連するノイズの計量が閾値未満である場合）決定され得ない。状態および関連する位置の決定に関連する追加の詳細は、図６を参照して以下に記述される。

幾つかの例において、追跡コンポーネント３１４は、運動学モデルを状態に関連付けることができる。そのような（例えば、歩行者モデルに関連する）運動学モデルは、歩行者に関連付けられる運動学モデルの少なくとも部分的に基づくとすることができる。少なくとも一つの例において、追跡コンポーネント３１４は、歩行者オブジェクトの特徴（例えば、歩行者オブジェクトの質量、歩行者オブジェクトの密度、歩行者オブジェクトのセマンティック属性等）に基づいて、歩行者オブジェクト用の運動学モデルを決定することができる。少なくとも一つの例において、運動学モデルの構築は、（例えば、観測結果３０６の）現行の観測結果との重なり合いを判定するように、過去の観測結果を前方に伝播させるために、過去の観測結果および現行の観測結果が重なり合う場合は観測結果を関連付けるために有用とすることができる。すなわち、幾つかの例において、追跡コンポーネント３１４は、経時的に受信された（例えば、経時的にオブジェクトを追跡するための）新規のセンサーデータ（例えば、ライダーデータ）においてオブジェクト（例えば、歩行者および歩行者オブジェクト）を関連付けるために運動学モデルを利用することができる。

少なくとも一つの例において、歩行者が歩行者オブジェクトに関連付けられることを状態が示す場合、追跡コンポーネント３１４は、境界領域（または他の表示）を、歩行者オブジェクトに対応するライダーデータ３０４の部分に関連付けることができる。図３において、境界領域３２０は、（例えば、オブジェクトを表示する）第二のマスク（黒塗り）に関連する複数のボクセル３２２に関連して示される。少なくとも一つの例において、歩行者および歩行者オブジェクトの検出の少なくとも部分的に基づくと、追跡コンポーネント３１３は、境界領域３２４を歩行者および歩行者オブジェクトに関連付けることができる。すなわち、追跡コンポーネント３１４は、境界領域３１２および境界領域３２０を包含する境界領域３２４を出力することができる。境界領域３２４は、複合オブジェクト（例えば、歩行者／歩行者オブジェクトシステム）を表現することができる。少なくとも一つの例において、オブジェクトの表示（例えば、境界領域３１２、３２０および３２４）および関連する状態３２６は、他の一つまたは複数の車両コンポーネント３２８に供給することができ、これらのコンポーネントは、予測コンポーネントおよび／または計画コンポーネントを含むことができる。予測コンポーネントおよび／または計画コンポーネントに関連する追加の詳細は、図４を参照して以下に記述される。

図４は、本明細書で記述されるように、手法を実行するためのシステム４００の例を説明するブロック図である。少なくとも一つの例において、車両４０２は、図１を参照して上述された車両１０２に相当することが可能であるが、一つまたは複数の車両演算装置４０４、一つまたは複数のセンサーコンポーネント４０６、一つまたは複数のエミッター４０８、一つまたは複数の通信接続４１０、少なとも一つの直接接続４１２、および一つまたは複数の駆動システム４１４を含むことができる。上述した通り、車両４０２は、米国国道交通安全局によって発行された分類レベル５にしたがって操縦するように構成された自動運転車とすることができるが、その分類は、いつでも車両を制御することが期待されないドライバー（または搭乗者）をともなう、移動全体のための安全上重要な全機能を実行することが可能となる車両を説明する。そのような例において、車両４０２は、駐車の全機能を含む発進から停止まで全機能を制御するように構成することができるため、それは満たされないとすることができる。これは単に例に過ぎず、本明細書で記述されるシステムおよび方法は、常にドライバーによって手動で制御されることが必要となる車両から、部分的にまたは完全に自律的に制御される車両までに及ぶ車両を含む、地上、空中、または水上のいずれかの車両に組み込むことできる。すなわち、説明される例において、車両４０２は自動運転車であるが、車両４０２は、他の任意種類の車両とすることができる。図４において、単体の車両４０２のみが例証されるが、実用的な応用において、システム４００の例は、複数の車両を含むことができ、幾つかの例において、複数の車両は、一隊の車両を構成することができる。

車両演算装置４０４は、プロセッサ４１６、および、プロセッサ４１６と通信可能に結合されたメモリ４１８を含むことができる。説明される例において、車両演算装置４０４のメモリ４１８は、位置特定コンポーネント４２０、認識コンポーネント４２２、予測コンポーネント４２４、計画コンポーネント４２６、および、一つまたは複数のシステム制御装置４２８を保存する。さらに、メモリ４１８は、記憶装置４３０を含むことができ、マップ、モデル、過去の出力等を保存する。上述した通り、マップは、（ジャンクション、車線、合流ゾーン等のような）トポロジー、街路、山脈、道路、地形、および一般的な環境のような、これらに制限されないが、環境に関する情報を提供することを可能とする任意数のデータ構造とすることができる。マップは、実際の環境、またはシミュレーションの環境に関連させることができる。モデルは、以下に記述されるように、機械学習モデルを含むことができる。幾つかの例において、記憶装置４３０は、過去の出力を保存することができる。

少なくとも一つの例において、位置特定コンポーネント４２０は、センサーコンポーネント４０６から受信されたセンサーデータ、および／または、マップに関連する（例えば、複数のマップの）マップデータの少なくとも部分的に基づいて、局在的および／または全世界的なマップに関して、車両４０２の姿勢（位置または方向）を判定することができる。少なくとも一つの例において、位置特定コンポーネント４２０は、較正（センサーコンポーネント４０６のいずれか一つ以上に関連する種々の本質的および付帯的なパラメータの決定）、定位、およびマップ制作のための演算に関する実質的に同時的な実行を可能する較正コンポーネントを含むことができ、または、結合させることができる。

少なくとも一つの例において、認識コンポーネント４２２は、センサーコンポーネント４０６から受信されたセンサーデータの少なくとも部分的に基づいて、オブジェクトの検出、セグメンテーション、および／または分類を実行することができる。少なくとも一つの例において、認識コンポーネント４２２は、（例えば、センサーコンポーネント４０６から）生のセンサーデータを受信することができる。少なくとも一つの例において、認識コンポーネント４２２は、センサーデータを受信することができ、一つまたは複数の処理アルゴリズムを利用することにより、センサーデータで識別されるオブジェクトに関して、オブジェクトの検出、セグメンテーション、および／または分類を実行することができる。幾つかの例において、認識コンポーネント４２２は、境界領域（または、それ以外のインスタンスセグメンテーション）を被識別のオブジェクトに関連付けることができ、被識別のオブジェクトの分類に関連付けられる信頼度スコアを、被識別のオブジェクトに関連付けることができる。幾つかの例において、ディスプレイを介して描画される際に、オブジェクトは、それ自体の認識されたクラスに基づいて着色することができる。本明細書で記述される手法は、ライダーデータに関して説明されるが、認識コンポーネント４２２は、
画像データ、ライダーデータ等を含むがこれらに限定されない一つまたは複数のセンサー様式のために、同様のプロセスを実行することができる。

少なくとも一つの例において、認識コンポーネント４２２は、追跡コンポーネント４３２を含むことができる。追跡コンポーネント４３２は、図３を参照して上述された追跡コンポーネント３１４に相当することが可能である。少なくとも一つの例において、追跡コンポーネント４３２は、センサーデータに関連する観測結果を受信することができる。各観測結果は、車両４０２の環境で検出されるオブジェクトに関連付けることができる。少なくとも一つの例において、追跡コンポーネント４３２は、そのような観測結果が他のオブジェクト（例えば、歩行者オブジェクト）に関連付けられるかどうかを判定することができ、車両演算装置４０４に結合される他のコンポーネントに提供することができるオブジェクトの表示を決定することができる。

予測コンポーネント４２４は、センサーコンポーネント４０６からセンサーデータ、マップに関連する（例えば、記憶装置４３０に存在することができる複数のマップの）マップデータ、および／または、認識コンポーネント４２２から出力された認識データ（例えば、処理済みセンサーデータ）を受信することができ、車両４０２の環境内で一つまたは複数のオブジェクトに関連付けられる予測を出力することができる。少なくとも一つの例において、計画コンポーネント４２６は、センサーコンポーネント４０６から受信されたセンサーデータの少なくとも部分的に基づいて、マップデータ、および／または、車両４０２に関するその他のコンポーネントによって行われる任意の判定を使用することにより、車両を制御する出力を決定することができる。

使用可能な位置特定コンポーネント、認識コンポーネント、予測コンポーネント、および／または、計画コンポーネントに関する追加の詳細は、２０１７年４月４日に発行された米国特許９，６１２，１２３号公報、および、２０１９年７月１６日に発行された米国特許１０，３５３，３９０号公報で見付けることができ、上記特許公報の両方の内容全体を参照により本明細書に援用する。幾つかの例（例えば、車両４０２が自動運転車でない場合）において、上述のコンポーネント内の一つまたは複数は、車両４０２から省略することができる。上述されたコンポーネントは、車両４０２に「搭載された」として例証されるが、他の実装において、そのコンポーネントは、車両４０２から離れて、および／または、車両４０２にアクセス可能に配置することができる。さらには、コンポーネント群は、「コンポーネント」として上述されているが、そのようなコンポーネント群は、コンポーネント群の各々に帰属する演算を実行するための一つまたは複数のコンポーネントから構成されることができ、システムの部分とすることができる。

少なくとも一つの例において、位置特定コンポーネント４２０、認識コンポーネント４２２、予測コンポーネント４２４、および／または、計画コンポーネント４２６は、上述した通り、センサーデータを処理することでき、ネットワーク４３４経由のそれらの各出力を演算装置４３６へ送信することができる。少なくとも一つの例において、位置特定コンポーネント４２０、認識コンポーネント４２２、予測コンポーネント４２４、および／または、計画コンポーネント４２６は、所定の期間が経過した後、ほぼリアルタイム等において特定の周波数でそれらの各出力を演算装置４３６へ送信することができる。

少なくとも一つの例において、車両演算装置４０４は、一つまたは複数のシステム制御装置４２８を含むことができ、この制御装置は、車両４０２に関するステアリング、推進、制動、安全性、エミッター、通信、および他のシステムを制御するように構成することができる。これらのシステム制御装置４２８は、駆動システム４１４、および／または、車両４０２に関する他のシステムで対応するシステムと通信し、および／または、制御することができる。

少なくとも一つの例において、センサーコンポーネント４０６は、ライダーセンサー、レーダーセンサー、超音波変換器、ソナーセンサー、位置センサー（例えば、ＧＰＳ、コンパス等）、慣性センサー（例えば、慣性測定ユニット、加速度計、磁力計、ジャイロスコープ等）、カメラ（例えば、三原色、赤外線、強度、深度等）、ホイールエンコーダー、音響センサー、環境センサー（例えば、温度センサー、湿度センサー、光センサー、圧力センサー等）、ＴｏＦセンサー等を含むことができる。センサーコンポーネント４０６は、入力を車両演算装置４０４へ提供することができる。幾つかの例において、センサーコンポーネント４０６は、センサーデータを車両演算装置４０４へ送信する前に、センサーデータの少なくとも幾つかに前処理を行うことができる。少なくとも一つの例において、センサーコンポーネント４０６は、所定の期間が経過した後、ほぼリアルタイム等において特定の周波数でネットワーク４３４を介してセンサーデータを演算装置４３６へ送信することができる。

また、車両４０２は、上述した通り、光および／または音を放出するために、一つまたは複数のエミッター４０８を含むことができる。この例におけるエミッター４０８は、車両４０２の搭乗者と交信するために、内装の音響および視覚のエミッターを含む。制限ではなく例として、内装のエミッターは、スピーカー、ライト、サイン、ディスプレイ画面、タッチ画面、触覚エミッター（例えば、振動、および／または、フォースフィードバック）、機械式アクチュエータ（例えば、シートベルト巻取装置、座席調整装置、ヘッドレスト調整装置等）などを含むことができる。この例におけるエミッター４０８は、外装のエミッターも含む。制限ではなく例として、この例におけるエミッター４０８は、歩行者、他のドライバー、近くの他の車両等と視覚的に交信するための光エミッター（例えば、インジケーターライト、サイン、ライトアレイ等）、歩行者、他のドライバー、近くの他の車両等と音声的に交信するための一つまたは複数の音響エミッター（例えば、スピーカー、スピーカーアレイ、ホーン等）を含む。少なくとも一つの例において、エミッター４０８は、車両４０２の外装、および／または、内装に関する様々な場所に配置することができる。

車両４０２は、車両４０２とローカルまたはリモートの演算装置との間における通信を可能とする通信接続４１０を含むこともできる。例えば、通信接続４１０は、車両４０２における他のローカル演算装置、および／または、駆動システム４１４に対する通信を促進することができる。また、通信接続４１０は、車両が近くの他の演算装置（例えば、近くの他の車両、交通信号等）との通信することを可能とすることができる。通信接続４１０は、車両４０２がリモートの遠隔操作の演算装置、または他のリモートサービスと通信することも可能とする。

通信接続４１０は、車両演算装置４０４を別の演算装置、またはネットワーク４３４のようなネットワークに接続するために、物理的、および／または、論理的なインターフェースを含むことができる。例えば、通信接続４１０は、ＩＥＥＥ８０２．１１通信規格によって定義される周波数を介するようなＷｉ－Ｆｉ基準の通信、ブルートゥース（ＢＬＵＥＴＯＯＴＨ）のような短距離無線周波数、または、各演算装置がその他の演算装置と整合させることを可能とする適切な有線または無線のいずれかの通信プロトコルを可能とすることができる。

直接接続４１２は、駆動システム４１４と、車両４０２に関する他のシステムとを直接に接続することができる。

少なくとも一つの例において、車両４０２は、駆動システム４１４を含むことができる。幾つかの例において、車両４０２は、単一の駆動システム４１４を有することができる。少なくとも一つの例において、車両４０２が複数の駆動システム４１４を有する場合、個々の駆動システム４１４は、車両４０２の両端（例えば、前部または後部等）に配置することができる。少なくとも一つの例において、駆動システム４１４は、駆動システム４１４の状態、および／または、車両４０２の周囲を検出するために、センサーコンポーネントを含むことができる。限定ではなく例として、センサーコンポーネントは、駆動モジュールにおけるホイールの回転を検出するためのホイールエンコーダー（例えば、ロータリーエンコーダー）、駆動モジュールの位置および加速度を測定するための慣性センサー（例えば、慣性測定ユニット、加速度計、ジャイロスコープ、磁力計等）、カメラまたは他の画像センサー、駆動モジュールの周囲でオブジェクトを音響的に検出するための超音波センサー、ライダーセンサー、レーダーセンサー等を含むことができる。ホイールエンコーダーのような幾つかのセンサーは、駆動システム４１４に特有とすることができる。幾つかのケースにおいて、駆動システム４１４のセンサーコンポーネントは、車両４０２の相当するシステム（例えば、センサーコンポーネント４０６）に重複または捕捉することができる。

駆動システム４１４は、高電圧バッテリー、車両４０２を推進するモーター、バッテリーからの直流電流を他の車両システムによる使用のための交流電流に変換するインバーター、（電動にすることが可能である）ステアリングモーターおよびステアリングラックを含むステアリングシステム、油圧式または電動式のアクチュエータを含む制動システム、油圧式および／または空気圧式のコンポーネントを含むサスペンションシステム、制動力を分配することによって牽引力の喪失を軽減して制御を維持するための安定性制御システム、ＨＶＡＣ（暖房、換気および空調）システム、照明（例えば、車両の外側周囲を照らすヘッドライト／テールライトのような照明）、および他の一つまたは複数のシステム（例えば、冷却システム、安全性システム、車載充電システム、直直流変換器のような他の電動式コンポーネント、高電圧ジャンクション、高電圧ケーブル、充電システム、充電ポート等）を含む、多数の車両システムを含むことができる。さらに、駆動システム４１４は、センサーコンポーネントからデータを受信して前処理を行い、種々の車両システムの操作を制御することができる駆動モジュール制御装置を含むことができる。幾つかの例において、駆動モジュール制御装置は、プロセッサ、および、プロセッサに通信可能に結合されたメモリを含むことができる。メモリは、一つまたは複数のモジュールを保存することにより、駆動システム４１４に関する種々の機能性を実行することができる。さらには、駆動システム４１４は、他のローカルまたはリモートの演算装置に対する各駆動モジュールによる通信を可能とする通信接続も含む。

図４において、車両演算装置４０４、センサーコンポーネント４０６、エミッター４０８、および通信接続４１０は、車両４０２に搭載して示される。しかしながら、幾つかの例において、車両演算装置４０４、センサーコンポーネント４０６、エミッター４０８、および通信接続４１０は、実際の車両の外側に（すなわち、車両４０２に搭載することなく）に実装することができる。

上述した通り、車両４０２は、ネットワークを介して演算装置４３６へセンサーデータを送信することができる。幾つかの例において、車両４０２は、生のセンサーデータを演算装置４３６へ送信することができる。他の例において、車両４０２は、処理済みセンサーデータ、および／または、センサーデータの代表（位置特定コンポーネント４２０、認識コンポーネント４２２、予測コンポーネント４２４、および／または、計画コンポーネント４２６から出力されるデータ）を演算装置４３６へ送信することができる。

演算装置４３６は、一つまたは複数のサードパーティー製ソースおよび／またはシステムからのデータと同様にして、車両４０２、および／または、他のデータ収集装置から（生の、または処理済み）センサーデータを受信することができる。少なくとも一つの例において、演算装置４３６は、プロセッサ４３８、および、プロセッサ４３８に通信可能に結合されたメモリ４４０を含むことができる。説明される例において、演算装置４３６のメモリ４４０は、アノテーションコンポーネント４４４を含むことができる訓練コンポーネント４４２、マップ記憶装置４４６（例えば、一つまたは複数のマップの保管）、訓練データ記憶装置４４８（例えば、訓練コンポーネント４４２へアクセス可能な訓練データの保管）、およびモデル記憶装置４５０（例えば、訓練コンポーネント４４２によって出力されるモデル）を保存する。幾つかの例において、一つまたは複数のシステム、および／または、記憶リポジトリは、演算装置４３６のメモリ４４０に結合されることなく、または、追加して、車両４０２、または、システム４００に関連する他の演算装置に結合させることができる。

少なくとも一つの例において、訓練コンポーネント４４２は、データモデルを訓練することができ、そのモデルは、本明細書で記述されるように様々な演算のために使用することができる。訓練コンポーネント４４２は、図２を参照して上述された訓練コンポーネント２２０に相当することが可能であり、アノテーションコンポーネント４４４は、図２を参照して上述されたアノテーションコンポーネント２０６に相当することが可能である。コンポーネント群の各々に関連する詳細は、図２を参照して上述される。

図２を参照して上述した通り、訓練コンポーネント４４２は、歩行者オブジェクトに関連する分類を出力するように、（例えば、アノテーションコンポーネント４４４から受信された）訓練入力データの少なくとも部分的に基づいて、モデルを訓練することができる。少なくとも一つの例において、訓練コンポーネント４４２は、機械学習の技術を使用して、データモデルを訓練することができる。例えば、機械学習モデルのための機械学習アルゴリズムは、回帰アルゴリズム（例えば、通常の最小二乗回帰（ＯＬＳＲ））、線形回帰、ロジスティク回帰、段階的重回帰、多変量適応型回帰スプライン（ＭＡＲＳ）、局所的推定散布図平準化（ＬＯＥＳＳ））、インスタンスベースアルゴリズム（例えば、リッジ回帰、最小絶対収縮およびモデル選択（ＬＡＳＳＯ）、エラスティックネット、最小角度回帰（ＬＡＲＳ））、決定木アルゴリズム（例えば、分類および回帰ツリー（ＣＡＲＴ）、反復二分法（ＩＤ３）、カイ二乗検定に基づく相互作用の自動検出（ＣＨＡＩＤ）、決定株、条件付き決定木）、ベイジアンアルゴリズム（例えば、ナイーブベイズ、ガウシアンナイーブベイズ、多項分布に基づくナイーブベイズ、平均一依存推定量（ＡＯＤＥ）、ベイジアン信頼ネットワーク（ＢＮＮ）、ベイジアンネットワーク）、クラスタリングアルゴリズム（例えば、Ｋ－平均、Ｋ－メディアン、期待値の最大化（ＥＭ）、階層的クラスタリング）、相関ルール学習アルゴリズム（例えば、認識、逆伝播、ホップフィールドネットワーク、動径基底関数ネットワーク（ＲＢＦＮ））、深層学習アルゴリズム（例えば、ディープボルツマンマシン（ＤＢＭ）、他のディープビリーフネットワーク（ＤＢＮ）、人工ニューラルネットワーク（ＡＮＮ）、積層オートエンコーダ）、次元削減アルゴリズム（例えば、主成分分析（ＰＣＡ）、主成分回帰（ＰＣＲ）、部分最小二乗回帰（ＰＬＳＲ）、サモンマッピング、多次元尺度構成法（ＭＤＳ）、射影追跡、線形判別分析（ＬＤＡ）、混合判別分析（ＭＤＡ）、二次判別分析（ＱＤＡ）、柔軟判別分析（ＦＤＡ））、ＳＶＭ（サポートベクターマシン）、教師有り学習、教師無し学習、半教師有り学習等を含むことができるが、これらに限定されない。結果のデータモデルは、モデル記憶装置４５０、および／または、車両４０２における記憶装置４３０に保存することができ、車両演算装置４０４に関する一つまたは複数のコンポーネントによってほぼリアルタイムでアクセスすることができる。

車両４０２のプロセッサ４１６、および、演算装置４３６のプロセッサ４３８は、本明細書で記述されるように、データを処理して演算を実行するための命令を実行することを可能とする任意の適切なプロセッサとすることができる。制限ではなく例として、プロセッサ４１６および４３８は、一つまたは複数の中央演算処理ユニット（ＣＰＵｓ）、グラフィック演算処理ユニット（ＧＰＵｓ）、または、電子データを処理する他の任意の装置または装置の部分から構成されることにより、レジスタおよび／またはメモリに保存することができる他の電子データへその電子データを変換することができる。幾つかの例において、集積回路（例えば、ＡＳＩＣｓ等）、ゲートアレイ（例えば、ＦＰＧＡｓ等）、および、他のハードウェア装置は、それらがコード化された命令を実装するように構成される限りにおいて、プロセッサと解釈することもできる。

メモリ４１８および４４０は、非一時的コンピュータ可読メディアの例である。メモリ４１８および４４０は、オペレーティングシステム、および、一つまたは複数のソフトウェアアプリケーション、命令、プログラム、および／または、本明細書で記述される方法を実装するデータ、および、種々のシステムに帰属する機能を保存することができる。種々の実装において、メモリは、静的ランダム受信メモリ（ＳＲＡＭ）、同期式動的ランダムアクセスメモリ（ＳＤＲＡＭ）、不揮発性フラッシュ型メモリ、または、情報を保存することを可能とする他の任意の種類のメモリなどの、任意の適切なメモリ技術を使用して実装することができる。アーキテクチュア、システム、および、本明細書で記述される個々の要素は、他の多数の論理的、プログラム的、および物理的な構成要素を含むことができ、添付図面で示されるものは、本明細書における関する単なる例である。

図４は、分散型のシステムとして例証されるが、幾つかの例において、車両４０２の構成要素は、演算装置４３６に関連させることができ、および／または、演算装置４３６の構成要素は、車両４０２に関連させることができる。すなわち、車両４０２は、演算装置４３６に関連する一つまたは複数の機能を実行することができ、その逆も同様である。

図５ないし８は、本明細書で記述されるような手法を含むプロセスの例を示すフローチャートである。図５ないし８に例証されるプロセスは、利便性と理解の事例とのために、図４に示されるシステム４００に関して記述される。しかしながら、図５ないし８に例証されるプロセスは、システム４００を使用して実行されることに限定されない。さらには、本明細書で記述されるシステム４００は、図５ないし８に例証されるプロセスを実行することに限定されない。

プロセス５００ないし８００は、論理的なフローグラフにおけるブロックの集まりとして例証され、これらは、ハードウェア、ソフトウェア、または、それらの組合せにおいて実装することができる一連の演算を表す。ソフトウェアに関連して、ブロックは、プロセッサによって実行される際に、参照された命令を実行する、一つまたは複数のコンピュータ可読記憶メディアに保存されるコンピュータ実行可能な命令を表す。一般的に、コンピュータ実行可能な命令は、特定の機能を実行し、または、特定の抽象的なデータタイプを実装する、ルーチン、プログラム、オブジェクト、コンポーネント、データ構造などを含む。演算が記述される順序は、限定として解釈されるように意図されず、任意数の記述されたブロックは、任意の順序で、および／または、プロセスの実装と並行して組み合わせることができる。幾つかの組合せにおいて、プロセスにおける一つまたは複数のブロックは、全体的に省略することができる。さらには、プロセス５００ないし８００は、全体的または部分的に、相互にまたは他のプロセスと組み合わせることができる。

図５は、本明細書で記述されるように、歩行者オブジェクト検出用のモデルを訓練するためのプロセス５００の例を説明する。

ブロック５０２は、センサーデータの受信を例証する。上述した通り、車両４０２は、車両４０２の環境に関連するセンサーデータを生成することができる、一つまたは複数のセンサーコンポーネント４０６に結合させることができる。そのようなセンサーデータの一例は、ライダーデータを含むことができる。少なくとも一つの例において、一つまたは複数の車両は、ネットワーク４３４を介して演算装置４３６へライダーデータを送信することができる。上述した通り、幾つかの例において、ライダーデータは、車両４０２に搭載された認識コンポーネント４２２によって処理されたライダーデータとすることができ、および／または、ライダーデータは、演算装置４３６によって処理することができる生のセンサーデータとすることができる。少なくとも一つの例において、（車内で使用するために車両に提供することができ、および／または、演算装置４３６によって使用することができる）モデルは、生のライダーデータを分析することにより、オブジェクトのセグメント化および分類を行うことができる。例において、生のライダーデータは、三次元空間におけるボクセルのグリッドでライダーデータを表現することができる、ボクセル空間に関連させることができる。ボクセル空間で表現されたライダーデータを用いると、機械訓練モデルは、（ボクセル空間で表された）ライダーデータを分析して、環境において検出された個々のオブジェクトに関連付けられるマスクを出力することができる。幾つかの例において、マスクは、平面図、または、トップダウン透視図（例えば、「トップダウン型セグメンテーション」）で表現することができる。セグメント化および分類を受けているライダーデータは、個々のオブジェクトがマスクに関連付けられるため、「処理済みライダーデータ」として参照することができる。幾つかの例において、ライダーデータは、本明細書で記述されるように、個々のピクセル、または、ボクセル以外の表現に関連付けることができる。

ブロック５０４は、オブジェクトを伴う歩行者の表示および歩行者の表示から成るアノテーション付きデータの受信を例証する。少なくとも一つの例において、ライダーデータ（例えば、処理済みのライダーデータ）は、訓練コンポーネント４４２に結合されたアノテーションコンポーネント４４４へ提供することができる。少なくとも一つの例において、アノテーションコンポーネント４４４は、ライダーデータの少なくとも部分的に基づいて、アノテーション付きデータを受信し、または、そうでなければ判定することができる。少なくとも一つの例において、アノテーションコンポーネント４４４は、歩行者オブジェクトシステム（例えば、歩行者および歩行者オブジェクトの複合オブジェクト）に関連付けられるラベル、および、歩行者に関連付けられるラベルを含むアノテーション付きデータを受信することができる。少なくとも一つの例において、「ラベル」は、各オブジェクトまたは複合オブジェクトに関連付けられる境界領域（または他の表示）とすることができる。

ブロック５０６は、歩行者オブジェクトの表示に関する判定を例証する。少なくとも一つの例において、アノテーションコンポーネント４４４は、機械訓練モデルを使用して、アノテーション付きデータを分析することができる。そのような例において、アノテーションコンポーネント４４４は、第一の境界領域に関連付けられるアノテーション付きデータの少なくとも一部分を、第二の境界領域に関連付けられるアノテーション付きデータの部分から差し引くことにより、歩行者オブジェクトに関連付けられるアノテーション付きデータの部分を決定するように、幾何学的アルゴリズムを適用することができる。

少なくとも一つの例において、アノテーションコンポーネント４４４は、歩行者オブジェクトに関連付けられるライダーデータの部分に第三の境界領域を関連付けることができる。すなわち、アノテーションコンポーネント４４４は、ライダーデータの部分に関連するボクセルのいずれが歩行者オブジェクトに関連付けられるのかを示すように、ライダーデータの部分にアノテーションを付けることができる。結果として、アノテーションコンポーネント４４４は、歩行者に関連付けられる第一の境界領域、および、歩行者オブジェクトに関連付けられる第三の境界領域を含むように、ライダーデータの部分にアノテーションを付けることができる。したがって、結果の出力は、歩行者および関連する歩行者オブジェクトにラベル付けするアノテーションに関連付けられるライダーデータから成ることができる。

上述した通り、付加的または代替的なアノテーションのプロセスは、歩行者に関連付けられるアノテーション、表示、または他のラベル、および、歩行者オブジェクトに関連付けられるアノテーション、表示、または他のラベルに関する決定に活用することができる。

ブロック５０８は、歩行者オブジェクトに関連する出力を判定するために、モデルへの歩行者の表示および歩行者オブジェクトの表示の入力を例証する。少なくとも一つの例において、訓練入力データは、訓練コンポーネント４４２へ提供することができる。訓練入力データは、アノテーションコンポーネント４４４からの出力から成ることができ、歩行者および歩行者オブジェクトに関連付けられる境界領域または他の表示にラベル付けされるライダーデータから成ることができる。

幾つかの例において、訓練コンポーネント４４２は、訓練入力データを受信することができ、損失重みマスクを訓練入力データに適用することができ、これにより、歩行者オブジェクトに関連するボクセルは、歩行者および／または他のオブジェクトに関連するボクセル以上に重み付けされる。すなわち、少なくとも一つの例において、乗法マスクは、訓練入力データに適用されることにより、歩行者オブジェクトに関連するライダーデータの領域を強調することができる。少なくとも一つの例において、この損失重みマスクは、歩行者オブジェクトが車両の環境において（車両、歩行者、自転車乗り、および他のオブジェクトと比較される際に）稀にしか検出されなくても、機械訓練モデルが歩行者オブジェクトに関連付けられる新規な分類を学習することを可能とすることができる。幾つかの例において、歩行者オブジェクトは、様々なセマンティッククラス（例えば、ベビーカー、スーツケース、傘、大形ボックス、子供たち、オートバイ、カート、車椅子等）に関連付けることができる。しかしながら、訓練コンポーネント４４２は、モデルの訓練時に、様々なセマンティッククラスに関連付けられるオブジェクトを、歩行者オブジェクトに関する単一の分類に融合することができる。

少なくとも一つの例において、訓練コンポーネント４４２は、歩行者オブジェクトに関連付けられる分類を出力するように、訓練入力データの少なくとも部分的に基づいてモデルを訓練することができる。少なくとも一つの例において、訓練コンポーネント４４２は、機械学習の技術を使用して、データモデルを訓練することができる。例えば、少なくとも一つの例において、ニューラルネットワークは、訓練入力データを使用して訓練することができる。例として、訓練コンポーネント４４２は、訓練入力データをモデルに入力することができる。モデルは、歩行者オブジェクトの表示に関連付けられた出力を決定することができる。訓練コンポーネント４４２は、その出力をアノテーション付きデータ（例えば、訓練入力データ）と比較することにより、差異を決定することができる。少なくとも一つの例において、訓練コンポーネント４４２は、その差異の少なくとも部分的に基づいて、モデルの一つまたは複数のパラメータを修正することができる。

上述した通り、結果のモデルは、歩行者、車両、自転車などを含むがこれらに限定されない他のオブジェクトを追加して、歩行者オブジェクトに関連付けられる分類を出力することができる。すなわち、訓練コンポーネント４４２は、歩行者オブジェクトに対応する追加の出力ヘッドのためのモデルを訓練することができる。

幾つかの例において、プロセス５００は、ブロック５０２へ帰還することにより、新規なセンサーデータを受信して、新たに受信されたセンサーデータの少なくとも一部に基づいてモデルを更新することができる。

ブロック５１０は、モデルの出力によって制御されるように構成されている車両へのモデルの送信を例証する。少なくとも一つの例において、モデルは、一つまたは複数の車両へ提供することができ、この車両は、モデルの出力の少なくとも部分的に基づいて制御されるように構成することができる。例えば、モデルは、演算装置４３６から車両４０２へ（例えば、ネットワーク４３４を介して）送信することができ、車両４０２に結合された記憶装置４３０に保存することができる。このように、認識コンポーネント４２２は、車両４０２の制御用にほぼリアルタイムで（例えば、センサーコンポーネント４０６から）入力するライダーデータを分析するためのモデルにアクセスすることができる。モデルは、同様の使用のために、一つまたは複数の追加車両へ提供することができる。

図５は、モデルを訓練するために歩行者および歩行者オブジェクトを検出することにより、新規なクラス、すなわち、歩行者オブジェクトを検出することを説明するが、本明細書で記述される手法は、オブジェクトと、各オブジェクトに取り付けられて（例えば、その他の各オブジェクトが関連するオブジェクトの動きを制御する）、その他の各オブジェクトの形状を変更する、関連するオブジェクトとからなる任意数の種類に適用され得る。例えば、本明細書で記述される手法は、車両の開かれたドア、自転車に取り付けられた子供用キャリアなどを検出することにも適用可能とすることができる。すなわち、本明細書で記述される手法は、歩行者および歩行者オブジェクトの検出に限定されるように解釈されるべきでない。

さらには、本明細書で記述される手法は、ライダーデータの分析、および、歩行者オブジェクト検出用モデルの訓練に方向付けられるが、本明細書で記述される手法は、画像データ、ソナーデータ、レーダーデータなどを含むがこれらに限定されないセンサーデータに関する付加的または代替的な種類に適用可能とすることができる。

図６は、本明細書で記述されるように、歩行者オブジェクトを検出するためのプロセス６００の例を説明する。

ブロック６０２は、車両に関連するセンサーデータの受信を例証する。上述した通り、車両４０２は、車両の環境に関連するセンサーデータを生成することが可能である一つまたは複数のセンサーコンポーネント４０６に結合させることができる。そのようなセンサーデータの一例は、車両４０２の環境に関連させることが可能であるライダーデータを含むことができる。少なくとも一つの例において、車両４０２の認識コンポーネント４２２は、ライダーデータを（例えば、それに関連するライダーセンサーから）受信することができる。上述した通り、車両は、付加的または代替的なセンサーコンポーネントに結合させることができ、これらのコンポーネントの各々は、それ自体のセンサーデータを生成することができる。

ブロック６０４は、歩行者が検出されるかどうかの判定を例証する。少なくとも一つの例において、ライダーデータは、図５を参照して上記で訓練されたモデルに入力することができる。少なくとも一つの例において、モデルは、ライダーデータを分析することができ、一つまたは複数の観測結果を出力することができる。少なくとも一つの例において、観測結果は、（例えば、モデルによって）（例えば、オブジェクトに関連付けられる）特定のクラスに分類されている空間の独立した隣接するセグメントとすることができる。少なくとも一つの例において、観測結果の一つは、歩行者に関連付けることができる。少なくとも一つの例において、歩行者に関連付けられるライダーデータは、境界領域（または他の表示）に関連付けることができる。歩行者がライダーデータで検出されない場合、プロセス６００は、ブロック６０２へ帰還することができる。

ブロック６０６は、歩行者に対する第一の境界領域の関連付けを例証するが、その歩行者は歩行者の表示に関連付けられる。少なくとも一つの例において、被検出中の歩行者の少なくとも部分的に基づくと、認識コンポーネント４２２は、境界領域、または他の表示を、歩行者に対応するライダーデータの部分に関連付けることができる。さらには、観測結果の各々は、追跡コンポーネント４３２に提供することができ、それによって追跡コンポーネント４３２は、時系列に対応するオブジェクトを追跡するために、観測結果の各々の表示を観測結果の各々に関連付けることができる。すなわち、追跡コンポーネント４３２は、車両４０２の環境で識別される観測結果（および関連するオブジェクト）の各々を通して反復することができる。各観測結果および関連するオブジェクトは、表示に関連付けることができる。

ブロック６０８は、状態を歩行者の表示に関連付けることができる。少なくとも一つの例において、状態は、歩行者オブジェクトが歩行者に関連するかどうかを、および、歩行者オブジェクトが歩行者に関連付けられる場合はそれに関連する情報を示すことができる。しかしながら、歩行者が歩行者オブジェクトに関連しない、または、観測結果が歩行者に関連しない（そして、したがって、歩行者オブジェクトに関連しない）場合、状態は、空または無効とすることができる。

ブロック６１０は、歩行者が歩行者オブジェクトに関連付けられるかどうかの判定を例証する。少なくとも一つの例において、上述した通り、モデルは、歩行者オブジェクトを検出することができる。歩行者オブジェクトが歩行者の閾値距離以内に存在する場合、追跡コンポーネント４３２は、歩行者が歩行者オブジェクトに関連付けられると決定することができる。少なくとも一つの例においての追跡コンポーネント４３２は、歩行者が歩行者オブジェクトに関連付けられるという第一の表示を状態に関連付けることができる。第一の表示は、予備的な表示とすることができるが、モデルの出力に基づくとすることができる。すなわち、上述した通り、モデルは、歩行者オブジェクトを検出することができる。歩行者オブジェクトが歩行者に近接して検出される場合、状態は、そのような第一の（予備的な）表示に関連付けることができる。

少なくとも一つの例において、状態は、歩行者が歩行者オブジェクトに関連付けられるという可能性を示すスコアをさらに含むことができる。幾つかの例において、そのスコアは、経時的に受信されたセンサーデータ（例えば、ライダーデータ）の一つまたは複数の部分の分析と、歩行者オブジェクトの実例が歩行者に近接して（例えば、歩行者の閾値距離で）検出されるかどうかに基づくスコアの修正との少なくとも部分的に基づいて判定することができる。すなわち、スコアは、経時的で持続的とすることができることにより、スコアは、（例えば、特定の瞬間でモデルに関する単一の出力と比較される際に）歩行者オブジェクトの存在（または不存在）に関する正確な信号を提供することができる。少なくとも一つの例において、スコアが閾値以上である場合、追跡コンポーネント４３２は、第二の表示（例えば、信頼度スコア）を状態に関連付けることにより、歩行者オブジェクトが歩行者に関連することを確証することができる。幾つかの例において、そのような第二の表示は、ブール表示（例えば、真または偽）とすることができる。スコアの判定に関連する追加の詳細は、図７および８を参照して以下に記述される。

幾つかの例において、オブジェクトは、モデルによって検出することができるが、歩行者オブジェクトとして分類され得ない。そのような例において、追跡コンポーネント４３２は、一つまたは複数の追加基準を分析することにより、第二の表示（例えば、信頼度の表示）を状態に関連付ける前に、オブジェクトが歩行者オブジェクトであることを判定することができる。少なくとも一つの例において、追跡コンポーネント４３２は、（１）面積交差率、（２）被検出オブジェクトが被検出の歩行者に重なり合うかどうか、（３）オブジェクトが歩行者として分類されるかどうかを検討することができる。少なくとも一つの例において、面積交差率は、歩行者オブジェクトに関連する最良の推測がオブジェクトに関する現行の検出と重複する程度を示すことができる。面積交差率が閾値以上である場合、追跡コンポーネント４３２は、（その他の二つの記述が満たされる限り）信頼度の表示を状態に関連付けることができる。少なくとも一つの例において、被検出オブジェクトが被検出の歩行者に重なり合う場合、追跡コンポーネント４３２は、信頼度の表示を状態に関連付けることをやめることができる。すなわち、追跡コンポーネント４３２は、被検出オブジェクトが被検出の歩行者（例えば、状態が関連する表示）に重ならない限り（その他の二つの基準が満たされる限り）、信頼度の表示を状態に関連付けることができる。さらには、オブジェクトが歩行者として分類されない限り、追跡コンポーネント４３２は、（その他の二つの基準が満たされる限り）信頼度の表示を状態に関連付けることができる。すなわち、少なくとも一つの例において、被検出オブジェクトが歩行者として分類される場合、追跡コンポーネント４３２は、信頼度の表示を状態に関連付けることをやめることができる。幾つかの例において、状態が信頼度の表示に関連付けられる場合、オブジェクトが歩行者に関連付けられる（そして、したがって、歩行者オブジェクトである）ことを表示する、そのような分類は、モデルによって出力される元の分類を無効とすることができる。

幾つかの例において、追跡コンポーネント４３２は、運動学モデルを状態に関連付けることができる。そのような（例えば、歩行者オブジェクトに関連付けられる）運動学モデルは、歩行者に関連付けられる運動学モデルの少なくとも部分的に基づくとすることができる。少なくとも一つの例において、追跡コンポーネント４３２は、歩行者オブジェクトの特徴（例えば、歩行者オブジェクトの質量、歩行者オブジェクトの密度、歩行者オブジェクトのセマンティック属性等）に基づいて、歩行者オブジェクトのための運動学モデルを決定することができる。少なくとも一つの例において、運動学モデルの構築は、（例えば、観測結果３０６の）現行の観測結果との重なり合いを判定するように過去の観測結果を前方に伝播させるために、過去の観測結果および現行の観測結果が重複する場合は観測結果を関連付けるために有用とすることができる。すなわち、幾つかの例において、追跡コンポーネント３１４は、経時的に（例えば、経時的にオブジェクトを追跡するために）受信されたセンサーデータにおいてオブジェクト（例えば、歩行者および歩行者オブジェクト）を関連付けるための運動学モデルを利用することができる。

さらに、少なくとも一つの例において、状態は、歩行者オブジェクトに関する一つまたは複数の姿勢に関連付けることができ、これらの姿勢は、（例えば、モデルに基づいて）出力位置および／または（例えば、出力位置を含めることができるが、出力位置より空間を占める）推定位置を含むことができる。幾つかの例において、推定位置は、現行の観測結果、および、一つまたは複数の過去の観測結果に関する回帰平均とすることができ、歩行者の姿勢に関連して計算される指数平滑移動平均を使用して決定することができる。幾つかの例において、推定位置は、（例えば、モデルに関連するノイズ計量が閾値未満である場合）決定し得ない。

ブロック６１２は、歩行者オブジェクトに対する第二の境界領域の関連付け、ならびに、（例えば、歩行者に関連付けられる）第一の境界領域および（例えば、歩行者オブジェクトに関連付けられる）第二の境界領域に対する第三の境界領域の関連付けを例証する。少なくとも一つの例において、追跡コンポーネント４３２は、状態が信頼度の表示に関連付けられることを決定する場合、追跡コンポーネント４３２は、歩行者が歩行者オブジェクトに関連付けられることを決定することができる。少なくとも一つの例において、歩行者が歩行者オブジェクトに関連付けられる（状態がそのような表示に関連付けられる）場合、追跡コンポーネント４３２は、第二の境界領域を歩行者オブジェクトに、第三の境界領域を（例えば、歩行者に関連付けられる）第一の境界領域および（例えば、歩行者オブジェクトに関連付けられる）第二の境界領域に関連付けることができる。すなわち、少なくとも一つの例において、歩行者が歩行者オブジェクトに関連付けられることを状態が示す場合、追跡コンポーネント４３２は、境界領域（または他の表示）を、歩行者オブジェクトに対応するライダーデータの部分に関係付けることができる。少なくとも一つの例において、歩行者および歩行者オブジェクトの少なくとも部分的に基づくと、追跡コンポーネント４３２は、境界領域を歩行者および歩行者オブジェクトに関連付けることができる。すなわち、追跡コンポーネント４３２は、（例えば、歩行者に関係付けられる）第一の境界領域および（例えば、歩行者オブジェクトに関係付けられる）第二の境界領域を包含する境界領域を出力することができる。その境界領域は、複合オブジェクト（例えば、歩行者／歩行者オブジェクトシステム）を表すことができる。

ブロック６１４は、車両を制御するために予測コンポーネントおよび／または計画コンポーネントへの境界領域の提供を例証する。少なくとも一つの例において、追跡コンポーネント４３２が第一、第二、および第三の境界領域をライダーデータに関連付けることの少なくとも部分的に基づくと、追跡コンポーネント４３２は、歩行者／歩行者オブジェクトシステムの表示を一つまたは複数の車両コンポーネントに送信することができ、このコンポーネントは、予測コンポーネント４２４および計画コンポーネント４２６を含むことができる。少なくとも一つの例において、境界領域は、状態情報に関連付けることができ、この情報は、歩行者オブジェクトに関する一つまたは複数の姿勢を含むことができる。上述した通り、（姿勢に関連する）位置情報は、（例えば、モデルに基づく）出力位置、および／または、（例えば、出力位置を含めることができるが、出力位置より空間を占める）推定位置を含むことができる。幾つかの例において、推定位置は、現行の観測結果、および、一つまたは複数の過去の観測結果の回帰平均とすることができ、歩行者の姿勢に関連して計算される指数平滑移動平均を使用して決定することができる。幾つかの例において、推定位置は、（例えば、モデルに関連するノイズ計量が閾値未満である場合）決定され得ない。

歩行者オブジェクトが検出されない場合、追跡コンポーネント４３２は、歩行者に対応する境界領域（例えば、第一の境界領域）に関連付けられるライダーデータを、予測コンポーネント４２４および／または計画コンポーネント４２６へ送信することができる。

上述した通り、予測コンポーネント４２４および／または計画コンポーネント４２６は、車両４０２を制御するための軌道を決定することができる。

図７は、本明細書で記述されるように、歩行者オブジェクトが歩行者に関連付けられるかどうかを判定するためのプロセス７００の例を説明する。上述した通り、幾つかの例において、（上述のように訓練された）モデルは、歩行者が歩行者オブジェクトに関連付けられるという表示を出力することができる。少なくとも一つの例において、以下に記述されるスコアは、車両演算装置４０４による正確な意思決定を確実にするために、オブジェクトが歩行者オブジェクトであるという確証として使用することができる。

ブロック７０２は、センサーデータの部分に関連付けられるセンサーデータの受信を例証する。上述した通り、車両４０２は、車両の環境に関連するセンサーデータを生成することができる一つまたは複数のセンサーコンポーネント４０６に結合させることができる。センサーデータの一例は、車両４０２の環境に関連させることが可能であるライダーデータを含むことができる。少なくとも一つの例において、車両４０２の認識コンポーネント４２２は、（例えば、それに関連するライダーセンサーから）ライダーデータを受信することができる。上述した通り、車両は、付加的または代替的なセンサーコンポーネントに結合させることができ、このコンポーネントは、それ自体のセンサーデータを生成することができる。少なくとも一つの例において、センサーデータは、経時的に受信することができる。例えば、幾つかの例において、ライダーデータの部分は、ライダーデータの取得に関連する決められた時間またはローテーションに関連させることができる。経時的に受信されたそのようなセンサーデータの部分は、ほぼリアルタイムで認識コンポーネント４２２に提供することができる。

ブロック７０４は、オブジェクトが歩行者の閾値距離内で検出されるかどうかの判定を例証する。図６におけるブロック６０４および６０６を参照して上述した通り、少なくとも一つの例において、例えば、ライダーデータは、図５を参照して上記で訓練されたモデルへの入力とすることができる。少なくとも一つの例において、モデルは、ライダーデータを分析することができ、一つまたは複数の観測結果を出力することができる。少なくとも一つの例において、観測結果は、（例えば、モデルによって）（例えば、オブジェクトに関連付けられる）特定のクラスに分類されている空間における独立して隣接するセグメントとすることができる。少なくとも一つの例において、観測結果の一つは、歩行者に関連付けることができる。少なくとも一つの例において、歩行者に関連付けられるライダーデータは、境界領域（または他の表示）に関連付けることができる。少なくとも一つの例において、観測結果の各々は、認識コンポーネント４２２に結合される追跡コンポーネント４３２に提供することができ、それによって追跡コンポーネント４３２は、時系列で対応するオブジェクトを追跡するために観測結果の各々の表示を観測結果の各々に関連付けることができる。すなわち、追跡コンポーネント４３２は、車両４０２の環境で識別された観測結果の各々を通して反復することができる。各観測結果および関連するオブジェクトは、表示に関連付けることができる。

少なくとも一つの例において、追跡コンポーネント４３２は、ライダーデータの部分を分析することにより、オブジェクトが歩行者の閾値距離内で検出されるかどうかを判定することができる。オブジェクトが歩行者の閾値距離内で検出されるという決定の少なくとも部分的に基づくと、追跡コンポーネント４３２は、ブロック７０６に例証されるように、歩行者の表示に関連付けられる状態に関連するスコアを上げることができる。少なくとも一つの例において、歩行者の表示に関連付けられる状態は、スコア０．０で開始することが可能である。オブジェクトが歩行者の閾値距離内で検出される度に、追跡コンポーネント４３２は、スコアを単位量ずつ上げることができる。

少なくとも一つの例において、オブジェクトが検出されない、および／または、検出されるが歩行者の閾値距離内で存在しない場合、追跡コンポーネント４３２は、ブロック７０８に例証されるように、状態に関連するスコアの増加をやめることができる。幾つかの例において、オブジェクトが検出されない、および／または、検出されるが歩行者の閾値距離内で存在しない場合、追跡コンポーネント４３２は、（例えば、上述した通り、歩行者オブジェクトに関する信頼度の表示が状態に関連付けられた後で）スコアを下げることができる。幾つかの例において、オブジェクトが検出されない、および／または、検出されるが歩行者の閾値距離内で存在しない場合、追跡コンポーネント４３２は、スコアを変更しないでおくことができる。

ブロック７１０は、スコアが第一の閾値以上であるかどうかの判定を例証する。少なくとも一つの例において、追跡コンポーネント４３２は、スコアが第一の閾値以上であるかどうかを判定することができる。第一の閾値は、スコアに対応することができ、それによって追跡コンポーネント４３２は、オブジェクトが歩行者オブジェクトであることを確信することができる。それとして、スコアが第一の閾値以上であるという決定の少なくとも部分的に基づくと、ブロック７１２で例証されるように、追跡コンポーネント４３２は、歩行者の表示に関連付けられる状態が、オブジェクトが歩行者オブジェクトであるという信頼度の表示に関連付けられるかどうかを判定することができる。すなわち、状態がすでに信頼度の表示に関連付けられている場合、そのとき、歩行者オブジェクトは経時的に受信された（例えば、ライダー）データにおける過去の部分に存在していることにより、状態に関連付けられるスコアは、既に第一の閾値を超過している。しかしながら、状態が信頼度の表示に関連付けられていない場合、そのとき、スコアは、過去に第一の閾値を超えたことがない。オブジェクトが歩行者オブジェクトであるという表示に状態が関連付けられていない場合、追跡コンポーネントは、ブロック７１４に例証されるように、オブジェクトが歩行者オブジェクトであるという信頼度の表示を状態に関連付けることができる。幾つかの例において、追跡コンポーネント４３２は、オブジェクトが一つまたは複数の追加基準を満足するかどうかを判定するまで、追跡コンポーネント４３２は、オブジェクトが歩行者オブジェクトであるという信頼度の表示を関連付けることをやめることができる。

幾つかの例において、オブジェクトはモデルによって検出することができるが、歩行者オブジェクトとして分類され得ない。そのような例において、追跡コンポーネント４３２は、一つまたは複数の追加基準を分析することにより、第二の表示（例えば、信頼度の表示）を状態に関連付ける前に、オブジェクトが歩行者オブジェクトであることを判定することができる。少なくとも一つの例において、追跡コンポーネント４３２は、（１）面積交差率、（２）被検出オブジェクトが被検出の歩行者に重なり合うかどうか、（３）オブジェクトが歩行者として分類されるかどうかを検討することができる。少なくとも一つの例において、面積交差率は、歩行者オブジェクトに関連する最良の推測がオブジェクトに関する現行の検出に重なり合う程度を表現することができる。面積交差率が閾値以上である場合、追跡コンポーネント４３２は、（その他の二つの基準が満たされる限り）信頼度の表示を状態に関連付けることができる。少なくとも一つの例において、被検出オブジェクトが被検出の歩行者に重なり合う場合、追跡コンポーネント４３２は、信頼度の表示を状態に関連付けることをやめることができる。すなわち、追跡コンポーネント４３２は、被検出オブジェクトが被検出の歩行者（例えば、状態が関連付けられる表示）に重ならない限り、（その他の二つの基準が満たされる限り）信頼度の表示を状態に関連付けることができる。さらに、オブジェクトが歩行者として分類されない限り、追跡コンポーネント４３２は、（その他の二つの基準が満たされる限り）信頼度の表示を状態に関連付けることができる。すなわち、少なくとも一つの例において、被検出オブジェクトが歩行者として分類される場合、追跡コンポーネント４３２は、信頼度の表示を状態に関連付けることをやめることができる。幾つかの例において、状態が信頼度の表示に関連付けられる場合、オブジェクトが歩行者に関連付けられる（そして、したがって、歩行者オブジェクトである）ことを表示する、そのような分類は、モデルによって出力された元の分類を無効にすることができる。

付加的または代替的な例において、そのような限定は、その二つの関連付けのために適用される必要がない。非限定の例として、同様の手法およびモデル構築は、（例えば、手をつないで）ともに進行する二人（またはより多数）の歩行者をモデル化して追跡することに使用され得る。そのような例において、その他のオブジェクトが歩行者でないという限定は、緩和され得る。さらに、そのような例において、歩行者が自分自身で検出されて追跡されるという事実にも関わらず、二人（またはより多数）が本明細書で記述される手法を使用して結び付けられるという表示が与えられる場合、複数のエントリーに関するより正確な状態の伝播は、より良い運動学モデルを考慮することによって実施され得る。

少なくとも一つの例において、スコアが（ブロック７１０で）第一の閾値以上でない場合、プロセスは、ブロック７０２に帰還することができる。

ブロック７１６は、スコアが最大スコアに等しいかどうかの判定を例証する。少なくとも一つの例において、追跡コンポーネント４３２は、スコアが最大スコアに等しいかどうかを判定することができる。スコアが最大スコアに等しい場合、追跡コンポーネント４３２は、ブロック７１８で例証されるように、観測結果がいまだに受信中であるかどうかを判定することができる。すなわち、追跡コンポーネント４３２は、観測結果が（例えば、ライダーデータの少なくとも部分的に基づいて、）いまだに受信中であるかどうかを判定することができる。観測結果がいまだに受信中である場合、観測結果がもはや受信中でなくなるまで、プロセス７００は、ブロック７０２に帰還することができる。観測結果がもはや受信中でなくなる場合、プロセス７００は、図８におけるブロック８０２へ移行することができる。

スコアが最大スコアに等しくない場合、プロセスは、ブロック７０２に帰還することができる。

少なくとも一つの例において、オブジェクトが歩行者に関連付けられる歩行者オブジェクトであるという信頼度の表示は、モデルによって元々出力された誤分類（または非分類）を無効とすることができる。図６を参照して上述した通り、歩行者が歩行者オブジェクトに関連付けられると決定される場合、追跡コンポーネント４３２は、第一の境界領域を歩行者に、第二の境界領域を歩行者オブジェクトに、第三の境界領域を第一の境界領域および第二の境界領域に関連付けることができる。すなわち、少なくとも一つの例において、歩行者が歩行者オブジェクトに関連付けられることを状態が示す場合、追跡コンポーネント４３２は、境界領域（または他の表示）を、歩行者オブジェクトに対応するライダーデータの部分に関連付けることができる。少なくとも一つの例において、歩行者および歩行者オブジェクトの検出の少なくとも一部に基づくと、追跡コンポーネント４３２は、境界領域を歩行者および歩行者オブジェクトに関連付けることができる。すなわち、追跡コンポーネント４３２は、境界領域および境界領域を包含する境界領域を出力することができる。その境界領域は、複合オブジェクト（例えば、歩行者／歩行者オブジェクトシステム）を表現することができる。

少なくとも一つの例において、追跡コンポーネント４３２が第一、第二、および第三の境界領域をライダーデータに関連付けることの少なくとも部分的に基づくと、追跡コンポーネント４３２は、歩行者／歩行者オブジェクトシステムの表示の表示を一つまたは複数の車両コンポーネント３２６へ送信することができ、このコンポーネントは、予測コンポーネント４２４および／または計画コンポーネント４２６を含むことができる。少なくとも一つの例において、境界領域は、状態情報に関連付けることができ、この情報は、歩行者オブジェクトに関する一つまたは複数の姿勢を含むことができる。上述した通り、（姿勢に関連する）位置情報は、（例えば、モデルに基づく）出力位置、および／または、（例えば、出力位置を含めることができるが、出力位置より空間を占める）推定位置を含むことができる。

図８は、本明細書で記述されるように、歩行者オブジェクトが歩行者に関連付けられるかどうかを判定するためのプロセス８００の例を説明する。

ブロック８０２は、一定の期間が経過しているかどうかの判定を例証する。少なくとも一つの例において、追跡コンポーネント４３２は、最終の観測結果が受信されて以来、一定の期間が経過しているかどうかを判定することができる。一定の期間が経過している場合、ブロック８０４に例示されるように、追跡コンポーネント４３２は、スコアを下げることができる。一定の期間が経過していない場合、ブロック８０６に例証されるように、追跡コンポーネント４３２は、スコアの低減をやめることができ、プロセス８００は、ブロック８０２へ帰還することができる。

ブロック８０８は、スコアか第二の閾値以上であるかどうかの判定を例証する。少なくとも一つの例において、第二の閾値は、第一の閾値未満とすることができる。スコアが第二の閾値以上であることの決定の少なくとも部分的に基づくと、ブロック８１０で例証されるように、プロセス８００は、歩行者の表示に関連付けられる状態の変更をやめることができ、ブロック８０２へ帰還することにより、別の期間が経過しているかどうかを判定することができる。スコアが第二の閾値未満である場合、ブロック８１２に例示されるように、追跡コンポーネント４３２は、（歩行者オブジェクトの）信頼度の表示と状態との関連付けを解除することができる。少なくとも一つの例において、歩行者オブジェクが存在する場合、それが検出され、車両４０２がそれに応答することができることを確実にするために、減衰が上昇より遅くなるように、その期間は、センサーデータ（例えば、ライダーデータ）の経時的に受信されるセンサーデータの新規な部分が受信される頻度未満とすることができる。

［例示的な条項］
Ａ．環境に関連するセンサーデータを受信するステップと、センサーデータの少なくとも一部に基づいてアノテーション付きデータを受信するステップであって、アノテーション付きデータが、オブジェクトを伴う歩行者に関する第一の表示と、オブジェクトを伴う歩行者に関する第一の表示内における歩行者に関する第二の表示とを含むステップと、アノテーション付きデータの少なくとも部分的に基づいて、歩行者に関する第二の表示に関連する歩行者オブジェクトに関する第三の表示を決定するステップであって、歩行者に関する第二の表示と歩行者オブジェクトに関する第三の表示とが訓練入力を構成するステップと、訓練入力をモデルへ入力させるステップと、歩行者オブジェクトに関する第四の表示を含む出力をモデルによって判定するステップと、出力とアノテーション付きデータとの間の差異を決定するステップと、その差異の少なくとも一部に基づいてモデルに関する一つまたは複数のパラメータを修正するステップと、モデルに関する別の出力によって制御されるように構成された車両へモデルを送信するステップとを備える方法。

Ｂ．節Ａとしての方法は、歩行者オブジェクトに関する第三の表示に関する決定が、歩行者に関する第二の表示に関連付けられるアノテーション付きデータの少なくとも一部分を、オブジェクトを伴う歩行者に関する第一の表示に関連付けられるアノテーション付きデータの部分から差し引くことを含むことを言及する。

Ｃ．節Ｂとしての方法は、歩行者に関する第二の表示に関連付けられるアノテーション付きデータの少なくとも一部分を、オブジェクトを伴う歩行者に関する第一の表示に関連付けられるアノテーション付きデータの部分から差し引くことが、アノテーション付きデータに対する幾何学的アルゴリズムの適用の少なくとも部分的に基づくということを言及する。

Ｄ．クレームＡないしＣのいずれかとしての方法は、損失重みマスクを訓練入力に適用するステップをさらに備え、歩行者オブジェクトに関する第三の表示に関連付けられるアノテーション付きデータの部分が、歩行者に関する第二の表示に関連付けられるアノテーション付きデータの部分以上に重み付けされることを言及する。

Ｅ．クレームＡないしＤのいずれかとしての方法は、センサーデータがライダーデータから成り、モデルが機械学習を通して訓練されることにより、ライダーデータをセグメント化し、ライダーデータにおける個々のセグメントに関連付ける分類を決定することを言及するが、分類の少なくともひとつは歩行者オブジェクトに対応する。

Ｆ．一つまたは複数のプロセッサと、一つまたは複数のプロセッサによって実行される際に、演算をシステムに実行させる命令を保存する一つまたは複数の非一時的コンピュータ可読メディアとを備えるシステムであって、その演算は、環境に関連するセンサーデータを受信することと、センサーデータの少なくとも部分的に基づいてアノテーション付きデータを決定することであって、アノテーション付きデータが第一のオブジェクトに関する第一の表示と第二のオブジェクトに関する第二の表示とを含み、第一のオブジェクトおよび第二のオブジェクトが複合オブジェクトを構成することと、訓練入力をモデルへ入力することであって、訓練データがアノテーション付きデータを含むことと、第二のオブジェクトに関する第三の表示を含む出力をモデルによって判定することと、出力およびアノテーション付きデータの差異を決定することと、その差異の少なくとも一部に基づいてモデルに関する一つまたは複数のパラメータを修正することとを含む、システム。

Ｇ．節Ｆとしてのシステムは、アノテーション付きデータが複合オブジェクトに関する第四の表示をさらに含み、演算が、複合オブジェクトに関する第四の表示に関連付けられるアノテーション付きデータの部分からの、第一のオブジェクトに関する第一の表示に関連付けられるアノテーション付きデータの部分の差し引きの少なくとも部分的に基づいて、第二のオブジェクトに関する第二の表示を決定することをさらに含むことを言及する。

Ｈ．節Ｇとしてのシステムは、複合オブジェクトに関する第四の表示に関連付けられるアノテーション付きデータの部分からの、第一のオブジェクトに関する第一の表示に関連付けられるアノテーション付きデータの少なくとも一部分の差し引きが、アノテーション付きデータに対する幾何学的アルゴリズムの適用の少なくとも部分的に基づくことを言及する。

Ｉ．クレームＦないしＨのいずれかとしてのシステムは、損失重みマスクを訓練入力に適用することをさらに含み、第二のオブジェクトに関する第二の表示に関連付けられるアノテーション付きデータの部分が、第一のオブジェクトに関する第一の表示に関連付けられるアノテーション付きデータの部分以上に重み付けされていることを言及する。

Ｊ．クレームＦないしＩのいずれかとしてのシステムは、演算がモデルに関する別の出力によって制御されるように構成された少なくとも一つの車両へモデルを送信することをさらに含むことを言及する。

Ｋ．クレームＦないしＪのいずれかとしてのシステムは、複合オブジェクトがオブジェクトを伴う歩行者を含み、第一のオブジェクトが歩行者を含み、第二のオブジェクトが歩行者オブジェクトを含むことを言及する。

Ｌ．節Ｋとしてのシステムは、歩行者オブジェクトがベビーカー、スーツケース、傘、大形ボックス、子供、オートバイ、カート、または車椅子を含むことを言及する。

Ｍ．一つまたは複数のプロセッサによって実行される際に、演算を一つまたは複数のプロセッサに実行させる命令を保存する一つまたは複数のコンピュータ可読メディアであって、その演算は、環境に関連するセンサーデータから、第一のオブジェクトに関する第一の表示および第二のオブジェクトに関する第二の表示に関連付けられるアノテーション付きデータを決定することであって、第一のオブジェクトおよび第二のオブジェクトが複合オブジェクトを構成することと、モデルを訓練することにより、アノテーション付きデータの少なくとも部分的に基づいて第二のオブジェクトに関連する出力を判定することと、モデルに関する別の出力によって制御されるように構成された車両の少なくとも一つへモデルを送信することとを含む一つまたは複数のコンピュータ可読メディア。

Ｎ．節Ｍとしての一つまたは複数のコンピュータ可読メディアは、モデルの訓練が、アノテーション付きデータをモデルへ入力させることと、第二のオブジェクトに関する第三の表示から成る出力をモデルによって判定することと、その出力およびアノテーション付きデータの差異を決定することと、その差異の少なくとも一部に基づいてモデルに関する一つまたは複数のパラメータを修正することとを含むことを言及する。

Ｏ．節ＭまたはＮとしての一つまたは複数のコンピュータ可読メディアは、演算が、第一のオブジェクトに関する第一の表示と、複合オブジェクトに関する第三の表示との少なくとも部分的に基づいて、第二のオブジェクトに関する第二の表示を決定することを含むことを言及する。

Ｐ．節Ｏとしての一つまたは複数のコンピュータ可読メディアは、第二のオブジェクトに関する第二の表示に関する決定が、複合オブジェクトに関する第三の表示に関連付けられるアノテーション付きデータの部分から、第一のオブジェクトに関する第一の表示に関連付けられるアノテーション付きデータの少なくとも一部分を差し引くことを含むことを言及する。

Ｑ．クレームＭないしＰのいずれかとしての一つまたは複数のコンピュータ可読メディアは、損失重みマスクをアノテーション付きデータに適用することをさらに含み、第二のオブジェクトに関する第二の表示に関連付けられるアノテーション付きデータの部分が、第一のオブジェクトに関する第一の表示に関連付けられるアノテーション付きデータの部分以上に重み付けされることを言及する。

Ｒ．クレームＭないしＰのいずれかとしての一つまたは複数のコンピュータ可読メディアは、複合オブジェクトがオブジェクトを伴う歩行者を含み、第一のオブジェクトが歩行者を含み、第二のオブジェクトが歩行者オブジェクトを含むことを言及する。

Ｓ．節Ｒとしての一つまたは複数のコンピュータ可読メディアは、複合オブジェクトが、第一の境界領域を含む第三の表示、第一の境界領域内の第二の境界領域を含む第一のオブジェクトに関する第一の表示、および第一の境界領域内の第三の境界領域を
含むら成る第二のオブジェクトに関する第二の表示に関連付けられることを言及する。

Ｔ．クレームＭないしＳのいずれかとしての一つまたは複数のコンピュータ可読メディアは、センサーデータがライダーデータから成り、モデルが機械学習を通して訓練されることにより、ライダーデータをセグメント化し、ライダーデータに関する個々のセグメントに関連付けられる分類を決定し、少なくとも一つの分類が第二のオブジェクトに対応することを言及する。

Ｕ．車両に結合された一つまたは複数のセンサーからライダーデータを受信するステップと、車両に近接する歩行者をライダーデータの少なくとも部分的に基づいてモデルによって判定するステップであって、歩行者の検出が第一の境界領域から成るステップと、歩行者が歩行者オブジェクトに関連付けられることを判定するステップであって、歩行者オブジェクトが第二の境界領域から成るステップと、第一の境界領域および第二の境界領域を第三の境界領域に関連付けるステップであって、第三の境界領域が第一の境界領域および第二の境界領域を包含するステップと、第一の境界領域、第二の境界領域および第三の境界領域を、車両を制御するために車両における予測コンポーネントまたは計画コンポーネントの少なくとも一つに提供するステップとを備える方法。

Ｖ．節Ｕとしての方法は、歩行者が歩行者オブジェクトに関連付けられることを判定するステップは、歩行者オブジェクトの検出を示す出力をモデルから受信することを含むことを言及する。

Ｗ．節Ｖとしての方法は、歩行者が歩行者オブジェクトに関連付けられることを判定するステップは、経時的なライダーデータの分析に基づいて決定されるスコアの少なくとも部分的に基づくことを言及する。

Ｘ．節Ｗとしての方法は、スコアが、経時的に受信されたライダーデータの一つまたは複数の部分を分析すること、および、歩行者オブジェクトが検出される度にスコアを上げることの少なくとも部分的に基づいて決定されることを言及する。

Ｙ．節ＷまたはＸとしての方法は、スコアが閾値以上であることを判定するステップと、スコアが閾値以上であることの決定の少なくとも部分的に基づいて、歩行者が歩行者オブジェクトに関連付けられることを判定するステップとをさらに備えることを言及する。

Ｚ．一つまたは複数のプロセッサと、一つまたは複数のプロセッサによって実行されると、演算をシステムに実行させる命令を保存する一つまたは複数の非一時的コンピュータ可読メディアとを備えるシステムであって、その演算が、車両に結合された一つまたは複数のセンサーからデータを受信することと、データに関連する観測結果を判定することであって、観測結果が第一のオブジェクトに関連付けられることと、第一のオブジェクトが第二のオブジェクトに関連付けられるかどうかを判定することであって、第一のオブジェクトおよび第二のオブジェクトが複合オブジェクトを構成することと、第一のオブジェクトの表示または複合オブジェクトの表示を、車両を制御するために車両における予測コンポーネントまたは計画コンポーネントの少なくとも一つへ提供することを含むシステム。

ＡＡ．節Ｚとしてのシステムは、演算が、第二のオブジェクトに対する第一のオブジェクトの関連付けの少なくとも部分的に基づいて、運動学モデルを第二のオブジェクトに関連付けることをさらに含むことを言及する。

ＡＢ．節ＡＡとしてのシステムは、演算が、第二のオブジェクトに関するセマンティック分類を決定することと、セマンティック分類の少なくとも部分的に基づいて第二のオブジェクトに関連する運動学モデルを決定することをさらに含むことを言及する。

ＡＣ．節ＡＡまたはＡＢとしてのシステムは、運動学モデルの少なくとも部分的に基づいて経時的に受信された新規のデータにおいて第一のオブジェクトおよび第二のオブジェクトを関連付けることを言及する。

ＡＤ．クレームＺないしＡＣのいずれかとしてのシステムは、演算が、被検出オブジェクトが第二のオブジェクトに対応する分類に関連付けられるかどうかを示すスコアの少なくとも部分的に基づいて、第一のオブジェクトおよび第二のオブジェクトの関連付けを決定することをさらに含むことを言及する。

ＡＥ．節ＡＤとしてのシステムは、演算が、経時的にデータに関する一つまたは複数の部分を分析することと、被検出オブジェクトが第一のオブジェクトの閾値距離内に存在する度にスコアを上げることをさらに含むことを言及する。

ＡＦ．節ＡＤまたはＡＥとしてのシステムは、演算が、スコアが第一の閾値以上であることを判定することと、スコアが第一の閾値以上であることの決定の少なくとも部分的に基づいて、第一のオブジェクトが第二のオブジェクトに関連することを決定することをさらに含むことを言及する。

ＡＧ．節ＡＦとしてのシステムは、第一のオブジェクトが第二のオブジェクトに関連することの判定が、（１）面積交差率と、（２）被検出オブジェクトが第一のオブジェクトに重なり合うかどうかの表示と、または、（３）被検出のオブジェクトが第一のオブジェクトと同一のクラスに分類されるかどうかの表示とからなる一つまたは複数の内、少なくとも一部にさらに基づくことを言及する。

ＡＨ．クレームＺないしＡＧのいずれかとしてのシステムは、演算が、第二のオブジェクトに関連付けられる少なくとも一つの位置を決定することであって、少なくとも一つの位置が第二のオブジェクトの出力位置、または、第二のオブジェクトの推定位置を含み、その出力位置が第一のオブジェクトおよび第二のオブジェクトを少なくとも検出するように訓練されたモデルによって出力され、その推定位置が出力位置を含めることと、少なくとも一つの位置を複合オブジェクトの表示に関連付けることとをさらに含むことを言及する。

ＡＩ．クレームＺないしＡＨのいずれかとしてのシステムは、複合オブジェクトがオブジェクトを伴う歩行者を含み、第一のオブジェクトが歩行者を含み、第二のオブジェクトが歩行者オブジェクトを含み、歩行者オブジェクトがベビーカー、スーツケース、傘、大形ボックス、子供、オートバイ、カート、または車椅子を含むことを言及する。

ＡＪ．一つまたは複数のプロセッサによって実行される際に、演算を一つまたは複数のプロセッサに実行させる命令を保存する一つまたは複数のコンピュータ可読メディアであって、その演算は、車両に関連する一つまたは複数のセンサーからデータを受信することと、そのデータに関連する観測結果を判定することであって、その観測結果が第一のオブジェクトに関連付けられることと、第一のオブジェクトが第二のオブジェクトに関連するかどうかを判定することであって、第一のオブジェクトおよび第二のオブジェクトが複合オブジェクトを構成することと、第一のオブジェクトの表示または複合オブジェクトの表示を、車両を制御するために車両における予測コンポーネントまたは計画コンポーネントの少なくとも一つに提供することを含むコンピュータ可読メディア。

ＡＫ．節ＡＪとしての一つまたは複数のコンピュータ可読メディアは、演算が、経時的にデータにおける一つまたは複数の部分を分析することと、被検出オブジェクトが第一のオブジェクトの閾値距離以内に存在する度にスコアを上げることであって、第一のオブジェクトが第二のオブジェクトに関連するという可能性をスコアが示すこととをさらに含むことを言及する。

ＡＬ．節ＡＫとしての一つまたは複数のコンピュータ可読メディアは、演算が、スコアが閾値以上であることを判定することと、第一のオブジェクトが第二のオブジェクトに関連付けられることを決定することとをさらに含むことを言及する。

ＡＭ．クレームＡＪないしＡＬのいずれかとしての一つまたは複数のコンピュータ可読メディアは、演算が、第二のオブジェクトに対する第一のオブジェクトの関連付けの少なくとも部分的に基づいて、運動学モデルを第二のオブジェクトに関連付けることであって、経時的に受信された新規のセンサーデータにおける第一のオブジェクトおよび第二のオブジェクトの関連付けが運動学モデルの少なくとも部分的に基づくことをさらに含むことを言及する。

ＡＮ．クレームＡＪないしＡＭのいずれかとしての一つまたは複数のコンピュータ可読メディアは、演算が、第二のオブジェクトの出力位置または第二のオブジェクトの推定位置の少なくとも一つを決定することであって、推定位置が出力位置と第二のオブジェクトに関連付けられる一つまたは複数の過去の位置との少なくとも部分的に基づいて決定されることと、第一のオブジェクトおよび第二のオブジェクトを少なくとも検出するように訓練されたモデルに関連するノイズ計量が閾値以上である場合、複合オブジェクトの表示とともに推定位置を予測コンポーネントまたは計画コンポーネントの少なくとも一つに提供することと、モデルに関連するノイズ計量が閾値未満である場合、複合オブジェクトの表示とともに出力位置を予測コンポーネントまたは計画コンポーネントの少なくとも一つに提供することをさらに含むことを言及する。

上述された例示的な条項は一つの特定の実装に関して記述されるが、この明細書に関連して、例示的な条項の内容が方法、装置、システム、コンピュータ可読メディア、および／または、別の実装を通して実装することもできると理解されるべきである。さらに、例示ＡないしＡＮのいずれかが単独で、または、例示ＡないしＡＮにおける他の一つ以上の組合せで実装され得る。

［結論］
本明細書で記述される手法に関する一つまたは複数の例が記述されているが、種々の代替、追加、再配列、およびそれらと同等のものは、本明細書で記述される手法の範囲内に含まれる。

例の記述において、参照は、本明細書の一部を形成する添付図面に対して行われるが、これらの図面は、特許請求された主題に関する具体的な例を実例として示される。他の例を使用することができること、および、構造的な変更のような変更または代替を行うことができることは理解されるべきである。そのような例、変更または代替は、意図して特許請求された主題に関する範囲から必ずしも逸脱する必要がない。本明細書におけるステップは、特定の順序で提示することができるが、場合によっては、特定の入力が、記述されたシステムおよび方法の機能を変更することなく、様々な時、または、様々な順序で与えられるように、順序を変更することができる。開示された手続きは、異なる順次で実行することもできる。さらに、本明細書にある種々の演算が開示された順序で実行される必要はなく、演算に関する代替の順序を使用する他の例を容易に実装することができる。再順序付けられることに加えて、演算は、同一の結果となるサブ演算に分解することもできる。

Claims (15)

1. 一つまたは複数のプロセッサと、
   一つまたは複数の非一時的コンピュータ可読メディアと
   を備えるシステムであって、
   前記一つまたは複数の非一時的コンピュータ可読メディアが、前記一つまたは複数のプロセッサによって実行されると、前記システムに演算を実行させる命令を保存し、
   前記演算は、
   車両に結合された一つまたは複数のセンサーからデータを受信することと、
   前記データに関連付けられる観測結果を判定することであって、前記観測結果が第一のオブジェクトに関連付けられることと、
   前記第一のオブジェクトが第二のオブジェクトに関連付けられるかどうかを判定することであって、前記第一のオブジェクトおよび前記第二のオブジェクトが複合オブジェクトを構成することと、
   前記第一のオブジェクトの表示、または、前記複合オブジェクトの表示を、車両を制御するために車両における予測コンポーネントまたは計画コンポーネントの少なくとも一つに提供することと
   を含むことを特徴とする、システム。
2. 前記演算が、
   前記第二のオブジェクトに対する前記第一のオブジェクトの関連付けの少なくとも部分的に基づいて、運動学モデルを前記第二のオブジェクトに関連付けることと、
   前記第二のオブジェクトに関するセマンティック分類を決定することと、
   前記セマンティック分類の少なくとも部分的に基づいて、前記第二のオブジェクトに関連付けられる前記運動学モデルを決定することをさらに含み、
   経時的に受信される新規のデータにおける前記第一のオブジェクトおよび前記第二のオブジェクトの関連付けが、前記運動学モデルの少なくとも部分的に基づく
   ことを特徴とする、請求項１記載のシステム。
3. 前記演算が、被検出オブジェクトが前記第二のオブジェクトに対応する分類に関連付けられるかどうかを示すスコアの少なくとも部分的に基づいて、前記第一のオブジェクトおよび前記第二のオブジェクトの関連付けを決定することをさらに含むことを特徴とする、請求項１または２のいずれかに記載のシステム。
4. 前記演算が、
   経時的に前記データの一つまたは複数の部分を分析することと、
   被検出オブジェクトが前記第一のオブジェクトの閾値距離内に存在する度に前記スコアを上げることと
   をさらに含むことを特徴とする、請求項３記載のシステム。
5. 前記演算が、
   前記スコアが第一の閾値以上であることを判定することと、
   前記第一のオブジェクトが、（１）前記スコアが前記第一の閾値以上であることを決定することと、（２）面積交差率と、（３）前記被検出オブジェクトが前記第一のオブジェクトに重なり合うかどうかの表示と、または、（４）前記被検出オブジェクトが前記第一のオブジェクトと同一のクラスに分類されるかどうかの表示とからなる一つまたは複数の内で少なくとも部分的に基づいて、前記第二のオブジェクトに関連付けられることを決定することと
   をさらに含むことを特徴とする、請求項３または４のいずれかに記載のシステム。
6. 前記演算が、
   前記第二のオブジェクトに関連付けられる少なくとも一つの位置を決定することであって、前記少なくとも一つの位置が、
   前記第二のオブジェクトの出力位置であって、前記第一のオブジェクトおよび前記第二のオブジェクトを少なくとも検出するように訓練されたモデルによって出力された出力位置、または、
   前記第二のオブジェクトの推定位置であって、前記出力位置を含む推定位置
   を含む、ことと、
   前記少なくとも一つの位置を前記複合オブジェクトの表示に関連付けることと
   をさらに含むことを特徴とする、請求項１ないし５のいずれか一つに記載のシステム。
7. 前記複合オブジェクトがオブジェクトを伴う歩行者を含み、前記第一のオブジェクトが歩行者を含み、第二のオブジェクトが歩行者オブジェクトを含み、前記歩行者オブジェクトがベビーカー、スーツケース、傘、大形ボックス、子供、オートバイ、カート、または車椅子を含むことを特徴とする、請求項１ないし６のいずれか一つに記載のシステム。
8. 前記演算が、
   前記第一のオブジェクトに関連付けられる第一の境界領域と、前記第二のオブジェクトに関連付けられる第二の境界領域とを関連付けることと、
   前記第一の境界領域および前記第二の境界領域を第三の境界領域に関連付けることであって、前記第三の境界領域が前記第一の境界領域および前記第二の境界領域を包含し、前記第一のオブジェクトの表示または前記複合オブジェクトの表示を、前記車両における予測コンポーネントまたは計画コンポーネントの少なくとも一つに提供することが、前記第一の境界領域、前記第二の境界領域および前記第三の境界領域を、前記車両を制御するために前記車両における前記予測コンポーネントまたは前記計画コンポーネントの少なくとも一つに提供することを含む、ことと
   をさらに含むことを特徴とする、請求項１ないし７のいずれか一つに記載のシステム。
9. 車両に結合された一つまたは複数のセンサーからデータを受信するステップと、
   前記データに関連する観測結果を判定するステップであって、前記観測結果が第一のオブジェクトに関連付けられるステップと、
   前記第一のオブジェクトが第二のオブジェクトに関連付けられるかどうかを判定するステップであって、前記第一のオブジェクトおよび前記第二のオブジェクトが複合オブジェクトを構成するステップと、
   前記第一のオブジェクトの表示または前記複合オブジェクトの表示を、前記車両を制御するために前記車両における予測コンポーネントまたは計画コンポーネントの少なくとも一つに提供するステップと
   を備えることを特徴とする、方法。
10. 経時的に前記データにおける一つまたは複数の部分を分析するステップと、
    前記分析の少なくとも部分的に基づいてスコアを判定するステップと、
    被検出オブジェクトが前記第一のオブジェクトの閾値距離以内に存在する度にスコアを上げるステップであって、前記第一のオブジェクトが前記第二のオブジェクトに関連付けられるという可能性を示す、ステップと、
    前記スコアが閾値以上であることを判定するステップと、
    前記第一のオブジェクトが前記第二のオブジェクトに関連付けられることを決定するステップと
    をさらに備えることを特徴とする、請求項９記載の方法。
11. 前記第一のオブジェクトが、（１）面積交差率と、（２）前記被検出オブジェクトが前記第一のオブジェクトに重なり合うかどうかの表示と、または、（３）前記被検出オブジェクトが前記第一のオブジェクトと同一のクラスに分類されるかどうかの表示とからなる一つまたは複数の内で少なくとも部分的に基づいて、前記第二のオブジェクトに関連付けられるかどうかを判定するステップをさらに備えることを特徴とする、請求項９または１０のいずれかに記載の方法。
12. 前記第二のオブジェクトに対する前記第一のオブジェクトの関連付けの少なくとも部分的に基づいて、運動学モデルを前記第二のオブジェクトに関連付けるステップであって、経時的に受信される新規のセンサーデータにおける前記第一のオブジェクトおよび前記第二のオブジェクトの関連付けが、前記運動学モデルの少なくとも部分的に基づく、ステップをさらに備えることを特徴とする、請求項９ないし１１のいずれか一つに記載の方法。
13. 前記第二のオブジェクトの出力位置または前記第二のオブジェクトの推定位置の少なくとも一つを判定するステップであって、前記推定位置が前記出力位置と、前記第二のオブジェクトに関連付けられる一つまたは複数の過去の位置との少なくとも部分的に基づいて決定される、ステップと、
    前記第一のオブジェクトおよび前記第二のオブジェクトを少なくとも検出するように訓練されたモデルに関連するノイズ計量が閾値以上である場合、前記推定位置を前記複合オブジェクトの表示とともに前記予測コンポーネントまたは前記計画コンポーネントの少なくとも一つに提供するステップと。
    前記モデルに関連する前記ノイズ計量が前記閾値未満である場合、前記出力位置を前記複合オブジェクトの表示とともに前記予測コンポーネントまたは前記計画コンポーネントの少なくとも一つに提供するステップと
    をさらに備えることを特徴とする、請求項９ないし１２のいずれか一つに記載の方法。
14. 前記第一のオブジェクトに関連付けられる第一の境界領域と、前記第二のオブジェクトに関連付けられる第二の境界領域とを関連付けるステップと、
    前記第一の境界領域および前記第二の境界領域を第三の境界領域に関連付けるステップであって、前記第三の境界領域が前記第一の境界領域および前記第二の境界領域を包含し、前記第一のオブジェクトの表示または前記複合オブジェクトの表示を前記車両における前記予測コンポーネントまたは前記計画コンポーネントの少なくとも一つに提供することが、前記第一の境界領域、前記第二の境界領域および前記第三の境界領域を、前記車両を制御するために前記車両における予測コンポーネントまたは計画コンポーネントの少なくとも一つに提供することを含む、ステップと
    をさらに備えることを特徴とする、請求項９ないし１３のいずれか一つに記載の方法。
15. 一つまたは複数のプロセッサによって実行される際に、請求項９ないし１４のいずれか一つに記載の方法を前記一つまたは複数のプロセッサに実行させる命令を備えることを特徴とする、一つまたは複数の非一時的コンピュータ可読メディア。

Images