JP7315723B2

JP7315723B2 - 車両姿勢認識方法及び関連装置

Info

Publication number: JP7315723B2
Application number: JP2021575083A
Authority: JP
Inventors: ジュヨン，カイ; リー，ムオン; シオーン，ジンシン
Original assignee: Huawei Technologies Co Ltd
Current assignee: Huawei Technologies Co Ltd
Priority date: 2019-06-17
Filing date: 2019-06-17
Publication date: 2023-07-26
Anticipated expiration: 2039-06-17
Also published as: CN112513879B; JP2022537320A; EP3968221A1; EP3968221A4; CN112513879A; WO2020252615A1

Description

本願は自動運転技術の分野に関し、とりわけ車両姿勢認識法及び関連装置に関する。

自律走行技術は近年急速に発展し、業界全体で注目されている。自律運転技術は主に環境認知、経路計画及び動作制御を含む。環境認知は自動運転技術において非常に重要なコンポーネントであり、環境認知を用いて周囲環境における車両の姿勢情報が認識され得る。車両の姿勢情報は車両のその後の移動挙動にしばしば関係するため、車両の姿勢情報は経路計画の基礎として用いられ得る。したがって、車両は計画経路に従って走行するように制御され、自動運転の安全性を確保する。

現在、ＰｏｉｎｔＮｅｔは、点群データを処理して、多層パーセプトロン（multilayer perceptron、ＭＬＰ）を用いることにより確率行列を得て、点群データに対する正確なクラスタリング、例えば、どの特徴点が車両に属し、どの特徴点が歩行者に属するか区別する。したがって、より正確なクラスタリング結果に基づいて車両姿勢が認識される。

しかしながら、この方法では、車両のグローバル特徴に基づいて点群データに対して正確なクラスタリングを行い、モデル全体が正確なクラスタリングを達成する速度は遅い。これは、車両の姿勢情報を認識するプロセスで長い待ち時間をもたらし、自動運転分野でのリアルタイム要件を満たすのが困難である。

本願の実施形態は、ターゲット車両の姿勢をより迅速に認識し、自動運転分野におけるリアルタイム要件を容易に満たすために、車両姿勢認識方法及び関連装置を提供する。

上記の技術的課題を解決するために、本願の実施形態は以下の技術的解決策を提供する。

本願の実施形態の第１の態様は車両姿勢認識方法を提供する。ターゲット車両の姿勢を認識する必要がある場合、特徴マップが取得され得る。特徴マップは、各特徴点がターゲット車両の異なるコンポーネント上に位置する確率を表すため、特徴マップに含まれるターゲット車両の複数のコンポーネントは、特徴マップ内の複数の特徴点に基づいて特定され得る。加えて、ターゲット車両の車両平面上のコンポーネント間の位置関係は固定される。したがって、ターゲット車両の車両平面は複数のコンポーネント間の位置関係に基づいて特定され、ターゲット車両の姿勢は、特定された車両平面に基づいてさらに認識される。車両平面を得るプロセスは複数の反復を含む。各反復において、例えば、ｉ回目の反復において、（ｉ－１）回目の反復においてターゲット特徴点が異なるコンポーネント上に位置する確率に基づいて、ターゲット特徴点のコンポーネント認識結果が特定され、該コンポーネント認識結果はターゲット特徴点が位置するコンポーネントを反映する。このように、コンポーネント認識結果に基づいて、特定すべき複数のコンポーネントが特定され得る。次に、特定すべき複数のコンポーネント間の位置関係に基づいて車両平面認識結果が特定される。

コンポーネント認識結果は第１の結果信頼性を有し、車両平面認識結果は第２の結果信頼性を有する。このように、ｉ回目の反復においてターゲット特徴点が異なるコンポーネント上に位置する確率は、第１の結果信頼性及び第２の結果信頼性に基づいて更新することにより得られ得る。（ｉ－１）回目の反復に対応する確率は、より正確で信頼性のある確率を得るために、より高い信頼性を有する方向に調整されることが保証される。コンポーネントの局所的特徴が本方法で考慮され、コンポーネントの局所的特徴と車両平面との間に関連関係がある、すなわち、車両平面上のコンポーネントの相対的位置関係が固定されため、コンポーネント認識結果及び車両平面認識結果とを組み合わせることにより、信頼性のある車両平面認識結果をより迅速に得ることができる。したがって、ターゲット車両の姿勢をより迅速に認識ができ、自動運転分野のリアルタイム要件を容易に満たすことができる。

本願の実施形態の第１の態様の第１の実施では、認識結果の精度を改善するために、ターゲット特徴点がｉ回目の反復において異なるコンポーネント上に位置する確率は、ターゲット特徴点が（ｉ－１）回目の反復において異なるコンポーネント上に位置する確率よりも正確であるべきことを理解すべきである。したがって、より正確な確率に基づいてより正確なコンポーネント認識結果を得ることができる。したがって、ｉ回目の反復において、ターゲット特徴点が異なるコンポーネント上に位置する確率は、より高い結果信頼性を有する認識結果に基づいて更新することにより得られるべきである。

一例として、第１の結果信頼性が第２の結果信頼性よりも高い場合、第１の結果信頼性及び第２の結果信頼性に基づく更新により、ｉ回目の反復においてターゲット特徴点が異なるコンポーネント上に位置する確率を取得する実施は、ターゲット特徴点がターゲットコンポーネント上に位置する確率を、プリセットされた第１の変更量増やすこと及び／又はターゲット特徴点が非ターゲットコンポーネント上に位置する確率をプリセットされた第２の変更量減らすことであって、該ターゲットコンポーネントはコンポーネント認識結果によって示されるコンポーネントである。

本願の実施形態の第１の態様の第２の実施では、第１の結果信頼性が第２の結果信頼性よりも低い場合、第１の結果信頼性及び第２の結果信頼性に基づく更新により、ｉ回目の反復においてターゲット特徴点が異なるコンポーネント上に位置する確率を取得する実施は、ターゲット特徴点がターゲット車両平面上の少なくとも１つのコンポーネント上に位置する確率を、プリセットされた第３の変更量増やし得ること及び／又はターゲット特徴点が非ターゲット車両平面上の少なくとも１つのコンポーネント上に位置する確率を予め設定された第４の変更量減らし得ることであり、該ターゲット車両平面は車両平面認識結果によって示される車両平面である。

本願の実施形態の第１の態様の第３の実施では、ターゲット特徴点が（ｉ－１）回目の反復において異なるコンポーネント上に位置する確率に基づいて、ターゲット特徴点のコンポーネント認識結果を特定することが主に説明される。場合によっては、プリセットされた確率閾値よりも大きい、複数の異なるコンポーネント上に位置する確率を有するターゲット特徴点が存在してもよく、ターゲット特徴点は実際には１つのコンポーネント上に位置するべきである。したがって、ターゲット特徴点が位置する可能性が最も高いコンポーネントを特定するために、最も高い確率に対応するコンポーネントが、ターゲット特徴点が位置するコンポーネントとして特定され得る。

本願の実施形態の第１の態様の第４の実施では、ターゲット車両の各車両平面上のコンポーネント間の位置関係が固定されているため、各車両平面上のコンポーネント間の位置関係、すなわち、プリセット位置関係が予め記憶されてもよく、各プリセットされた位置関係は１つの車両平面に対応する。コンポーネント認識結果に基づいて特定すべきコンポーネントが特定された後、特定すべき複数のコンポーネント間の位置関係が複数のプリセットされた位置関係と比較され、差が小さいほど、プリセットされた位置関係に対応する車両平面上に特定すべきコンポーネントが位置する可能性が高いことを示す。したがって、差が最も小さいプリセットされた位置関係に対応する車両平面が、ターゲット特徴点が位置する車両平面として特定される。

本出願の実施形態の第１の態様の第５の実施では、ターゲット車両の車両平面を正確に認識するために、反復が停止したときに得られる車両平面認識結果は正確で信頼できるものでなければならない。従って、反復停止条件も車両平面認識結果の精度に影響する。

一例として、ｉ回目の反復において、反復停止条件は第１のコストに基づいて決定され得る。第１のコストは、第２の結果信頼性と第２のプリセット信頼性との間の差の程度を反映し得る。第２の結果信頼性と第２のプリセット信頼性との差が小さいほど、車両平面認識結果の精度が高いことを示す。第２の結果信頼性と第２のプリセット信頼性との間の差の程度が十分に小さい場合、例えば、第１のコストが第１の閾値より小さい場合、複数の反復が終了する。

特徴マップは多層特徴マップであり、特徴マップの各層はターゲット車両の１つのコンポーネントに対応し、第１のコストは下記式に基づいて得られる。

はｉ回目の反復の第１のコストを表し、

は、

の場合のユークリッドノルムの２乗を表し、

は特徴マップのｃ番目の層における特徴点Ｐに対応する第２の結果信頼性であり、

は特徴マップのｃ番目の層における特徴点Ｐに対応する第２のプリセット信頼性であり、特徴マップのｃ番目の層は同じコンポーネント上に位置する特徴点を含み、Ｗ１（Ｐ）は特徴点Ｐの第２の結果信頼性の重みを表す。

本願の実施形態の第１の態様の第６の実施では、車両平面認識結果だけでなく、コンポーネント認識結果も反復プロセスで得られることを理解すべきである。したがって、コンポーネント認識結果の精度をさらに高め、ターゲット車両の姿勢認識の精度をさらに高めるためには、反復終了条件を包括的なコスト、例えば第２のコストに基づいて決定するために、車両平面認識結果の第１のコスト及びコンポーネント認識結果の第３のコストの双方を反復終了条件で考慮する必要がある。

一例として、ｉ回目の反復では、反復終了条件は第２のコストに基づいて決定され得る。例えば、第２のコストが第２の閾値未満の場合に、複数の反復が終了する。

第２のコストは下記式に基づいて得られ、

ｆはi回目の反復の第２のコストであり、

は第１のコストであり、

はｉ回目の反復の第３のコストであり、Ｉは反復の数であり、第３のコストは下記式に基づいて得られ、

はｉ回目の反復の第３のコストを表し、

は、

の場合のユークリッドノルムの２乗を示し、

は特徴マップのｃ番目の層における特徴点Ｐに対応する第１の結果信頼性を示し、

は特徴マップのｃ番目の層における特徴点Ｐに対応する第１のプリセット信頼性であり、Ｗ２（Ｐ）は特徴点Ｐの第１の結果信頼性の重みを表す。

本願の実施形態の第７の実施では、特徴マップにおけるターゲット車両のコンポーネント上に位置する確率が反映されない特徴点の計算損失係数に対する影響を回避するために、特徴マップにおけるターゲット車両のコンポーネント上に位置する確率が反映されない特徴点に対応するＷ１（Ｐ）又はＷ２（Ｐ）は０に設定されている。

本願の実施形態の第２の態様は車両姿勢認識装置を提供する。装置は第１の特定ユニット、第２の特定ユニット及び認識ユニットを含む。

第１の特定ユニットは、特徴マップ内の複数の特徴点に基づいて、該特徴マップに含まれるターゲット車両の複数のコンポーネントを特定するように構成され、該特徴マップは、各特徴点がターゲット車両の異なるコンポーネント上に位置する確率を表すために用いられる。

第２の特定ユニットは、複数のコンポーネント間の位置関係に基づいてターゲット車両の車両平面を特定するように構成されている。

認識ユニットは、車両平面に基づいてターゲット車両の姿勢を認識するように構成されている。

複数の特徴点はターゲット特徴点を含み、車両平面は複数の反復を介して特定され、該複数の反復のうちのｉ回目の反復において、第１の特定ユニットは、
（ｉ－１）回目の反復においてターゲット特徴点が異なるコンポーネント上に位置する確率に基づいて、ターゲット特徴点のコンポーネント認識結果を特定することであって、コンポーネント認識結果は第１の結果信頼性を有する、ことと、
複数の特徴点のコンポーネント認識結果に基づいて、特定すべき複数のコンポーネントを特定することと、を行うように構成されている。

第２の特定ユニットは、
特定すべき複数のコンポーネント間の位置関係に基づいて、ターゲット特徴点の車両平面認識結果を特定することであって、車両平面認識結果は第２の結果信頼性を有する、ことと、
第１の結果信頼性及び第２の結果信頼性に基づく更新により、ｉ回目の反復においてターゲット特徴点が異なるコンポーネント上に位置する確率を取得することと、を行うように構成されている。

本願の実施形態の第２の態様の第１の実施では、第１の結果信頼性が第２の結果信頼性よりも高い場合、第２の特定ユニットは、
ターゲット特徴点がターゲットコンポーネント上に位置する確率を、プリセットされた第１の変更量増やすこと及び／又はターゲット特徴点が非ターゲットコンポーネント上に位置する確率をプリセットされた第２の変更量減らすことを行うように構成され、ターゲットコンポーネントはコンポーネント認識結果によって示されるコンポーネントである。

本願の実施形態の第２の態様の第２の実施では、第１の結果信頼性が第２の結果信頼性よりも低い場合、第２の特定ユニットは、
ターゲット特徴点がターゲット車両平面上の少なくとも１つのコンポーネント上に位置する確率を、プリセットされた第３の変更量増やすこと及び／又はターゲット特徴点が非ターゲット車両平面上の少なくとも１つのコンポーネント上に位置する確率をプリセットされた第４の変更量減らすことを行うように構成され、ターゲット車両平面は車両平面認識結果によって示される車両平面である。

本願の実施形態の第２の態様の第３の実施では、第１の特定ユニットは、
最も高い確率に対応するコンポーネントをターゲット特徴点が位置するコンポーネントとして特定するように構成されている。

本願の実施形態の第２の態様の第４の実施では、第２の特定ユニットは、
特定すべき複数のコンポーネント間の位置関係を、複数のプリセットされた位置関係と比較することであって、各プリセットされた位置関係は１つの車両平面に対応する、ことと、
差異が最も小さいプリセットされた位置関係に対応する車両平面を、ターゲット特徴点が位置する車両平面として特定することと、を行うように構成されている。

本願の実施形態の第２の態様の第５の実施では、ｉ回目の反復において、装置は判定ユニットをさらに含む。

第１のコストが第１の閾値未満であると判断ユニットが判断した場合、複数の反復が終了する。

特徴マップは多層特徴マップであり、特徴マップの各層はターゲット車両の１つのコンポーネントに対応し、第１のコストは下記式に基づいて得られ、

はｉ回目の反復の第１のコストを表し、

は、

の場合のユークリッドノルムの２乗を表し、

本願の実施形態の第２の態様の第６の実施では、ｉ回目の反復において、判定ユニットは、
第２のコストが第２の閾値未満であると判断ユニットが判断した場合、複数の反復を終了するように構成されている。

第２のコストは下記式に基づいて得られ、

は第１のコストであり、

はｉ回目の反復の第３のコストを表し、

は、

の場合のユークリッドノルムの２乗を示し、

本願の実施形態の第２の態様の第７の実施では、特徴マップにおけるターゲット車両のコンポーネント上に位置する確率が反映されない特徴点に対応するＷ１（Ｐ）又はＷ２（Ｐ）は０に設定されている。

本願の実施形態の第３の態様は、プロセッサ及びメモリを含む、車両姿勢認識のための装置を提供する。

メモリはプログラムコードを記憶し、該プログラムコードをプロセッサに送信するように構成されている。

プロセッサは、プログラムコードの命令に従って、第１の態様のいずれか１つに係る車両姿勢認識方法を行うように構成されている。

本願の実施形態の第４の態様は、コンピュータ読み取り可能記憶媒体を提供する。コンピュータ読み取り可能記憶媒体は、プログラムコードを記憶するように構成され、該プログラムコードは、第１の態様のいずれか１つに係る車両姿勢認識方法を行うために用いられる。

本願の実施形態の第５の態様は、コンピュータ上で実行された場合に、該コンピュータに第１の態様のいずれか１つに係る車両姿勢認識方法を行わせる命令を含むコンピュータプログラム製品を提供する。

図１は、本願の一実施形態に係る車両姿勢認識方法のシナリオのアーキテクチャ図である。図２は、本願の一実施形態に係る車両姿勢認識方法のフローチャートである。図３は、本願の一実施形態に係る、車両ヘッド平面のコンポーネント分割結果の例の図である。図４は、本願の一実施形態に係る、車両側面のコンポーネント分割結果の例の図である。図５は、本願の一実施形態に係る、車両リア平面のコンポーネント分割結果の例の図である。図６は、本願の一実施形態に係る、車両ルーフ平面のコンポーネント分割結果の例の図である。図７は、本願の一実施形態に係る、車両平面に基づくターゲット車両の姿勢ＢＯＸの形成の例の図である。図８は、本願の一実施形態に係る、車両平面を認識するためのネットワークの例の図である。図９は、本願の一実施形態に係る車両姿勢認識装置の構成図である。図１０は、本願の一実施形態に係る車両姿勢認識のための装置の構造図である。

本願における技術的解決策を当業者がよりよく理解できるように、本願の実施形態における添付の図面を参照しながら本願の実施形態における技術的解決策を以下で説明する。

本願の明細書、特許請求の範囲及び添付の図面において、「第１」、「第２」、「第３」、「第４」等の用語（存在する場合）は、同様の物体を区別することを意図しているが、必ずしも特定の順番又は順序を示すものではない。そのように称されるデータは適切な状況において互換性があるため、本明細書で説明する本願の実施形態は、図示又は説明する順序以外の順序で実施できることを理解すべきである。さらに、「含む」、「有する」及び他の変形は、非排他的な包含をカバーすることを意味し、例えば、列挙されたステップ又はユニットを含むプロセス、方法、システム、製品又は装置はこれらのユニットに必ずしも限定されるものではなく、明示的に列挙されていないか又はそのようなプロセス、方法、システム、製品又は装置に固有のものではない他のユニットを含み得る。

ＰｏｉｎｔＮｅｔは、多層パーセプトロン（multilayer perceptron、ＭＬＰ）を用いることにより、点群データに対する正確なクラスタリングを行うため、より正確なクラスタリング結果に基づいて車両姿勢が認識される。しかしながら、この方法を用いることにより、点群データに対して正確なクラスタリングを行うプロセスでは、各点でクラスタリングを行う場合に、どの点が車両に属し、どの点が車両に属さないかを認識する必要があるため、すなわち、車両のグローバル特徴を考慮する必要があるため、より多くの特徴が考慮され、計算量が多く、正確なクラスタリングを実現する速度が比較的遅い。これは、車両の姿勢情報を認識するプロセスで長い待ち時間をもたらし、自動運転分野でのリアルタイム要件を満たすのが困難である。

したがって、本願の実施形態は車両姿勢認識方法を提供する。本方法はデータ処理装置に適用され得る。データ処理装置は端末装置であり得る。端末装置は取得した点群データをサーバにアップロードし得る。サーバは、本願のこの実施形態で提供される姿勢認識方法を用いることにより、車両の姿勢を経路計画等に用いるために特定する。サーバは独立したサーバであってもよいし、クラスタ状のサーバであってもよい。

車両姿勢認識が端末装置に適用される場合、端末装置は、本願のこの実施形態で提供される姿勢認識方法を用いることにより、車両の姿勢を経路計画等に用いるために特定する。端末装置は、例えば、インテリジェント端末、コンピュータ、パーソナルデジタルアシスタント（パーソナルデジタルアシスタント、ＰＤＡ）又はタブレットコンピュータであり得る。

本願の技術的解決策をより明確且つ容易に理解することができるように、本願で提供される車両姿勢認識方法を特定のシナリオを参照して先ず説明する。図１の車両姿勢認識方法のシナリオのアーキテクチャ図を参照して、端末装置１０１がシナリオに含まれる。端末装置１０１は、特徴マップ内の複数の特徴点に基づいて、該特徴マップに含まれるターゲット車両の複数のコンポーネントを特定し、複数のコンポーネント間の位置関係に基づいて、ターゲット車両の車両平面を認識して、車両平面に基づきターゲット車両の姿勢を認識する。

特徴マップは、得られた点群データに基づいて端末装置１０１によって得られ得る。特徴マップは、各特徴点がターゲット車両の異なるコンポーネント上に位置する確率を反映するために用いられ得る。したがって、特徴マップに含まれるターゲット車両の複数のコンポーネントが特定され得る。加えて、ターゲット車両の車両平面上のコンポーネント間の位置関係は固定されている。したがって、ターゲット車両の車両平面がコンポーネント間の位置関係に基づいて得られてもよく、ターゲット車両の姿勢は特定された車両平面に基づいてさらに認識される。

車両平面を得るプロセスは複数の反復を含む。得られた点群データに基づいて端末装置１０１によって得られる特徴マップに反映される確率は予備的に計算されたものに過ぎず、ターゲット車両の車両平面を最終的に特定するための基礎として用いることができない。ターゲット車両の車両平面を正確に特定するために、ｉ回目の反復において、端末装置１０１は、（ｉ－１）回目の反復においてターゲット特徴点が異なるコンポーネント上に位置する確率に基づいて、ターゲット特徴点のコンポーネント認識結果を特定する。特定すべき複数のコンポーネントは、特定すべき複数のコンポーネント間の位置関係に基づいてターゲット特徴点の車両平面認識結果を特定するために、複数の特徴点のコンポーネント認識結果に基づいて特定される。ターゲット特徴点のコンポーネント認識結果は、ターゲット特徴点が位置するコンポーネントを示し、車両平面認識結果はターゲット特徴点が位置する車両平面を示す。コンポーネント認識結果は第１の結果信頼性を有し、車両平面認識結果は第２の結果信頼性を有する。このように、ｉ回目の反復においてターゲット特徴点が異なるコンポーネント上に位置する確率は、第１の結果信頼性及び第２の結果信頼性に基づいて更新することによって得られ得る。（ｉ－１）回目の反復に対応する特徴マップは、より正確で信頼性の高い特徴マップを得るために、より高い信頼性を有する方向に調整されることが保証される。

したがって、端末装置１０１は、更新されたより正確な確率に基づいて、特徴マップに含まれるターゲット車両の複数のコンポーネントを正確に特定し、ターゲット車両の車両平面をさらに正確に認識して、ターゲット車両の姿勢をより正確に認識する。

なお、図１は、端末装置１０１を例として用いて説明したものであり、本願に対する限定をなすものではない。

次に、本願で提供する車両姿勢認識方法について、端末装置の観点から詳細に説明する。図２に示す車両姿勢認識方法のフローチャートを参照して、本方法は以下を含む。

Ｓ２０１．特徴マップ内の複数の特徴点に基づいて、該特徴マップに含まれるターゲット車両の複数のコンポーネントを特定する。

ターゲット車両の姿勢を認識する必要がある場合、ターゲット車両の三次元点群データを得るために、レーダ、例えば、レーザレーダによってターゲット車両が走査され得る。点群データは特徴点の位置情報及び強度情報を含み得る。三次元点群データは、例えば、Ｄ＊Ｗ＊Ｈのレーザ点群データであってもよく、Ｄは点群データの深さ（depth）を表し、Ｗは点群データの幅（width）を表し、Ｈは点群データの高さ（height）を表す。

トップダウン認識法、すなわちターゲット車両に属する特徴点を認識するためにターゲット車両のグローバル特徴に基づいて点群データをクラスタ化してターゲット車両を特定し、次にターゲット車両に対してセグメンテーションを行って車両平面を特定しターゲット車両の姿勢を認識する方法を採用する従来のポイントクラウドデータ処理方法とは異なり、本願のこの実施形態ではボトムアップ認識方法、すなわち、ターゲット車両上のコンポーネントを先ず認識し、次にコンポーネント間の位置関係に基づいてターゲット車両の車両平面を特定して、車両平面に基づいてターゲット車両の姿勢を認識する方法を採用する。

点群データ内の特徴点が位置するコンポーネントを認識するために、ターゲット車両を予めセグメント化して、各車両平面上に含まれるコンポーネントが得られ得る。認識する必要がある車両平面は概して、車両ヘッド平面、車両側面（２つの対称な車両側面）、車両リア面、及び車両ルーフ平面のうちの少なくとも１つの車両平面を含み、各車両平面に対して分割が行われた後に得られるコンポーネントをそれぞれ図３～図６に示す。

コンポーネントセグメンテーションが車両ヘッド平面に対して行われ、セグメンテーションの結果を図３に示す。車両ヘッド平面に含まれるコンポーネントは（１）車両のボンネット、（２）車両のフロントガラス、（３）車両のランプ、（４）車両の下側ボンネット、（５）タイヤ及び（６）Ａ、Ｂ、車両のピラー及びリフレクタである。

コンポーネントセグメンテーションが車両側面に対して行われ、セグメンテーションの結果を図４に示す。車両側面に含まれるコンポーネントは、（１）サイドドア、（２）タイヤ、（３）車体の後部及び（４）車体の前部である。

コンポーネントセグメンテーションが車両リア平面に対して行われ、セグメンテーションの結果を図５に示す。車両リア平面に含まれるコンポーネントは（１）リアガラス、（２）トランク及び（３）タイヤである。

コンポーネントセグメンテーションが車両ルーフ平面に対して行われ、セグメンテーションの結果を図６に示す。車両ルーフ平面に含まれるコンポーネントは（１）車両のルーフ、（２）車両のフロントガラス、（３）車両ヘッド、（４）車両のリアガラス及び（５）車両のリアである。

各コンポーネントは独自の局所的特徴を有し、コンポーネントの局所的特徴は、例えば形態学的特徴及び光透過特性を含む。形態学的特徴はコンポーネントの形状を含んでもよく、異なるコンポーネントの形態学的特徴は異なり得るため、走査によって得られる点群に含まれる特徴点によって形成される形状は異なる。したがって、コンポーネントは、そのコンポーネントの形態学的特徴を参照して認識され得る。例えば、コンポーネントがタイヤの場合、タイヤの形態学的特徴は円形である。異なるコンポーネントの材料は異なる光透過特性を有し得るため、異なるコンポーネントの光透過特性は異なり得る。そのため、走査によって得られる点群に含まれる特徴点の強度情報は異なる。したがって、コンポーネントは、そのコンポーネントの光透過特性を参照して認識され得る。

特徴マップ（feature map）は、３次元ボクセルネットワーク（VoxelNet）を用いることにより、ターゲット車両の３次元点群データから得られ得る。特徴マップは、特徴点が異なるコンポーネント上に位置する確率を反映し得る。特徴マップは多層特徴マップであってもよく、特徴マップの各層は１つのコンポーネントに対応し、特徴マップの各層は、特徴マップの層に対応するコンポーネント上に特徴点が位置する確率を反映する。例えば、タイヤ、車両のフロントガラス及び車両ランプを含むターゲット車両上のコンポーネントの場合、特徴点がＶｏｘｅｌＮｅｔを用いることによりクラスタ化され、特徴点がそれぞれタイヤ、車両のフロントガラス及び車両ランプ上に位置する確率が特定されて３層特徴マップが生成される。特徴マップの１つの層は特徴点がタイヤ上に位置する確率を反映し、特徴点の１つの層は特徴点が車両のフロントガラス上に位置する確率を反映し、特徴マップの残りの層は特徴点が車両のランプ上に位置する確率を反映する。

ＶｏｘｅｌＮｅｔはエンドツーエンドの点群ターゲット検出ネットワークである。大量の学習の後に、コンポーネントの局所的特徴が学習されるため、三次元点群データ内の特徴点がターゲット車両上の複数のコンポーネント上に位置する確率が、局所的特徴に基づいて検出される。特徴点がターゲット車両の複数のコンポーネント上に位置する確率は、特徴点が異なるコンポーネント上に位置する可能性を反映し、特徴点がコンポーネント上に位置する確率が高いほど、特徴点がコンポーネント上に位置する可能性が高いことを示す。特徴点がコンポーネント上に位置する確率が十分に高い場合、特徴点はコンポーネントに属するとみなされ得る。このように、三次元点群データからコンポーネントが検出され得る。

次に、（ｉ－１）回の反復においてターゲット特徴点が異なるコンポーネント上に位置する確率に基づいて、ｉ回目の反復においてターゲット特徴点のコンポーネント認識結果をどのように特定するかを説明する。

可能な実施では、ターゲット特徴点が位置するコンポーネントを特定するために、ターゲット特徴点が異なるコンポーネント上に位置する確率がプリセットされた確率閾値と比較されて、確率とプリセットされた確率閾値との間の大きさの関係に基づいてターゲット特徴点のコンポーネント認識結果が特定され得る。ターゲット特徴点がコンポーネント上に位置する確率がプリセットされた確率閾値以上の場合、ターゲット特徴点がコンポーネント上に位置するとみなされる。そうでなければ、ターゲット特徴点はコンポーネント上に位置しない。この実施形態では、コンポーネント認識結果は畳み込みニューラルネットワークを用いることにより決定され得る。

例えば、複数のコンポーネントは第１のコンポーネント及び第２のコンポーネントを含む。ターゲット特徴点が第１のコンポーネント上に位置する確率がプリセットされた確率閾値よりも大きい場合、ターゲット特徴点が第１のコンポーネント上に位置すると判定される。ターゲット特徴点が第２のコンポーネント上に位置する確率がプリセットされた確率閾値よりも小さい場合、ターゲット特徴点が第２のコンポーネント上に位置しないと判定される。

場合によっては、プリセットされた確率閾値よりも大きい複数の異なるコンポーネント上に位置する確率を有するターゲット特徴点が存在することがあり、ターゲット特徴点は実際には１つのコンポーネント上に位置するべきである。したがって、ターゲット特徴点が位置する可能性が最も高いコンポーネントを特定するために、一実施では、最も高い確率に対応するコンポーネントが、ターゲット特徴点が位置するコンポーネントとして特定され得る。

Ｓ２０２．複数のコンポーネント間の位置関係に基づいて、ターゲット車両の車両平面が特定される。

ターゲット車両の車両平面上のコンポーネント間の位置関係は固定されているため（コンポーネント間の位置関係は、コンポーネントの質量中心に属する特徴点間の位置関係によって反映され得る）、ターゲット車両の車両平面を複数のコンポーネント間の位置関係に基づいて認識できる。

なお、複数の特徴点はターゲット特徴点を含み、車両平面は複数の反復を介して特定する必要がある。第１の反復では、ＶｏｘｅｌＮｅｔを用いることによる予備的予測を介して使用される特徴マップが得られ、特徴マップ内のターゲット特徴点が異なるコンポーネント上に位置する確率は十分に正確ではない。後続の反復におけるターゲット特徴点が異なるコンポーネント上に位置する確率は、先の反復における確率を更新することによって得られてもよいため、現在の反復においてターゲット特徴点が異なるコンポーネント上に位置する確率は、先の反復においてターゲット特徴点が異なるコンポーネント上に位置する確率よりも正確である。

具体的には、ｉ回目の反復のプロセスは次の通りである。ターゲット特徴点のコンポーネント認識結果は、（ｉ－１）回目の反復においてターゲット特徴点が異なるコンポーネント上に位置する確率に基づいて特定される。コンポーネント認識結果は、ターゲット特徴点が位置するコンポーネントを反映するため、特定すべき複数のコンポーネントは、複数の特徴点のコンポーネント認識結果に基づいて特定される。ターゲット特徴点の車両平面認識結果は、特定すべき複数のコンポーネント間の位置関係に基づいて特定される。コンポーネント認識結果は第１の結果信頼性を有し、車両平面認識結果は第２の結果信頼性を有する。第１の結果信頼性はコンポーネント認識結果の信頼度を反映するために用いられ、第２の結果信頼性は車両平面認識結果の信頼度を反映するために用いられる。ｉ回目の反復においてターゲット特徴点が異なるコンポーネント上に位置する確率は、第１の結果信頼性及び第２の結果信頼性に基づく更新によって得られる。

なお、特徴マップ内の各特徴点のコンポーネント認識結果は第１の結果信頼性を有し、複数の特徴点の第１の結果の信頼性は下記式（１）で表され得る。
Ｓ^ｉ＝ρ^ｉ（Ｆ、Ｓ^ｉ－１，Ｌ^ｉ－１），∀ｉ≧２
Ｓ^ｉはｉ回目の反復の複数の特徴点の第１の結果信頼性を示し、ρ^ｉ（）は第１の結果信頼性を予測する関数を示し、Ｆは特徴マップを示し且つ４次元行列を用いて表され、４次元行列の寸法は特徴マップに含まれる特徴点のＤ、Ｗ、Ｈにそれぞれ対応し且つ特徴点が特徴マップの各層に対応するコンポーネント上に位置する確率に対応し、Ｓ^ｉ－１は（ｉ－１）回目の反復の複数の特徴点の第１の結果信頼性を示し、Ｌ^ｉ－１は（ｉ－１）回目の反復の複数の特徴点の第２の結果信頼性を示し、∀ｉ≧２はｉが２以上であることを示す。
それに対応して、特徴マップ内の各特徴点の車両平面認識結果は第２の結果信頼性を有し、複数の特徴点の第２の結果の信頼性は下記式（２）で表され得る。
Ｌ^ｉ＝φ^ｉ（Ｆ、Ｓ^ｉ－１，Ｌ^ｉ－１），∀ｉ≧２
Ｌ^ｉはｉ回目の反復の複数の特徴点の第２の結果信頼性を示し、φ^ｉ（）は第２の結果信頼性を予測する関数を示し、Ｆは特徴マップを示し且つ４次元行列を用いて表され、４次元行列の寸法は特徴マップに含まれる特徴点のＤ、Ｗ、Ｈにそれぞれ対応し且つ特徴点が特徴マップの各層に対応するコンポーネント上に位置する確率に対応し、Ｓ^ｉ－１は（ｉ－１）回目の反復の複数の特徴点の第１の結果信頼性を示し、Ｌ^ｉ－１は（ｉ－１）回目の反復の複数の特徴点の第２の結果信頼性を示し、∀ｉ≧２はｉが２以上であることを示す。

次に、ｉ回目の反復において、特定すべき複数のコンポーネント間の位置関係に基づきターゲット特徴点の車両平面認識結果をどのように特定するかを説明する。

可能な実施では、車両の各車両平面上のコンポーネント間の位置関係は固定されているため、各車両平面上のコンポーネント間の位置関係、すなわち、プリセットされた位置関係が予め記憶されてもよく、各プリセットされた位置関係は１つの車両平面に対応する。特定すべき複数のコンポーネント間の位置関係は、複数のプリセットされた位置関係と比較される。差異が小さいほど、特定すべきコンポーネント間の位置関係がプリセットされた位置関係に類似することを示し、特定すべきコンポーネントはプリセットされた位置関係に対応する車両平面上に位置する可能性がより高い。すなわち、特定すべきコンポーネント上に位置するターゲット特徴点は車両平面上に位置する可能性がより高い。したがって、差異が最も小さいプリセットされた位置関係に対応する車両平面がターゲット特徴点が位置する車両平面として特定される。

例えば、車両側面の場合、サイドドア、２つのタイヤ、車体の後部及び車体の前部との間の位置関係は固定されており、車両側面上のコンポーネント間の位置関係、すなわち、プリセットされた位置関係が予め記憶され得る。同様に、車両フロント平面、車両リア平面及び車両ルーフ平面等の他の車両平面のそれぞれは１つのプリセットされた位置関係に対応する。特徴マップ内の特徴点が位置する特定すべきコンポーネントが、サイドドア、２つのタイヤ、車体の後部及び車体の前部を含む場合、特定すべきコンポーネント間の位置関係が複数のプリセットされた位置関係と比較されて、特定すべきコンポーネント間の位置関係と、複数のプリセットされた位置関係のそれぞれとの差異が得られ得る。特定すべきコンポーネント間の位置関係と、車両側面に対応するプリセットされた位置関係との差異が最も小さい場合、ターゲット特徴点は車両側面上に位置すると判断される。

なお、本実施形態では、車両平面認識結果は完全に接続された層を用いることにより特定され得る。車両平面を認識するプロセスでは、ターゲット車両の車両平面は並列に認識され得る。完全に接続された層を用いることにより車両平面認識結果を特定する例として、認識する必要がある車両平面が４つの車両平面、すなわち、車両ヘッド平面、車両側面、車両リア平面及び車両ルーフ平面を含む場合、４つの完全に接続された層が並列に接続され、完全に接続された層のそれぞれを用いて１つの車両平面を認識する。図８を参照して、Ｃはコンポーネント認識結果を特定するために用いられる畳み込みニューラルネットワークを表し、完全に接続された層は車両平面認識結果を特定するために用いられ、各破線の箱は１回の反復を示す。

一般に、コンポーネントは、コンポーネントの質量中心によって表され得る。したがって、異なるコンポーネント間の位置関係はコンポーネントの質量中心間の位置関係によって表され得る。このように、車両平面認識結果が特定される場合、質量中心として用いられる特徴点間の位置関係がプリセットされた位置関係と比較され、差異が最も小さいプリセットされた位置関係に対応する車両平面が、ターゲット特徴点が位置する車両平面として特定され得る。

Ｓ２０３．車両平面に基づいてターゲット車両の姿勢を認識する。

車両平面が特定された後で、車両平面が組み合わされてターゲット車両の姿勢ＢＯＸが形成され、姿勢ＢＯＸに基づいてターゲット車両の姿勢が認識され得る。

図７を参照して、特徴マップから認識されるコンポーネントがサイドドア及びタイヤ、車体の後部及び車体の前部を含むと仮定して、コンポーネント間の位置関係に基づいて、例えば、７０１に示すように、サイドドア及びタイヤ、車体の後部及び車体の前部が車体側面上に位置していると判定され得る。同様に、車両ヘッド平面及び車両ルーフ平面がさらに特定され得る。すなわち、Ｓ２０３を行うことにより特定される車両平面は、車両側面、車両ヘッド平面及び車両ルーフ平面を含む。車両側面、車両ヘッド平面及び車両ルーフ平面が組み合わされてターゲット車両の姿勢ＢＯＸ、例えば、７０２において矢印実線で形成される部分が形成され、姿勢ＢＯＸに基づいてターゲット車両の姿勢が認識される。

ターゲット車両の姿勢を認識する必要がある場合、特徴マップが得られ得る。特徴マップは、各特徴点がターゲット車両の異なるコンポーネント上に位置する確率を表すため、特徴マップに含まれるターゲット車両の複数のコンポーネントは、特徴マップ内の複数の特徴点に基づいて特定され得る。加えて、ターゲット車両の車両平面上のコンポーネント間の位置関係は固定されている。したがって、複数のコンポーネント間の位置関係に基づいてターゲット車両の車両平面が特定され、特定された車両平面に基づいてターゲット車両の姿勢がさらに認識される。車両平面を得るプロセスは複数の反復を含む。各反復において、例えば、ｉ回目の反復において、ターゲット特徴点のコンポーネント認識結果は、（ｉ－１）回目の反復において、ターゲット特徴点が異なるコンポーネント上に位置する確率に基づいて特定されてもよく、コンポーネント認識結果は、ターゲット特徴点が位置するコンポーネントを反映する。このように、特定すべき複数のコンポーネントはコンポーネント認識結果に基づいて特定され得る。次に、特定すべき複数のコンポーネント間の位置関係に基づいて車両平面認識結果が特定される。コンポーネント認識結果は第１の結果信頼性を有し、車両平面認識結果は第２の結果信頼性を有する。このように、ｉ回目の反復においてターゲット特徴点が異なるコンポーネント上に位置する確率は、第１の結果信頼性及び第２の結果信頼性に基づく更新により得られ得る。（ｉ－１）回目の反復に対応する確率は、より正確で信頼できる確率を得るために、より高い信頼性を有する方向に調整されることが保証される。本方法ではコンポーネントの局所的特徴が考慮され、コンポーネントの局所的特徴と車両平面との間に関連関係があるため、すなわち、車両平面上のコンポーネントの相対的な位置関係は固定されているため、コンポーネント認識結果と車両平面認識結果とを組み合わせることにより、信頼性のある車両平面認識結果をより迅速に得ることができる。したがって、ターゲット車両の姿勢をより迅速に認識することができ、自動運転分野におけるリアルタイム要件を容易に満たすことができる。

１回目の反復を除いて、他の反復においてターゲット特徴点が異なるコンポーネント上に位置する確率は、ターゲット特徴点が先の反復において異なるコンポーネント上に位置する確率を更新することによって得られることを理解すべきである。したがって、現在の反復において、ターゲット特徴点が異なるコンポーネント上に位置する確率は、先の反復においてターゲット特徴点が異なるコンポーネント上に位置する確率よりも正確であり、より正確な確率に基づいてより正確なコンポーネント認識結果が得られる。次に、第１の結果信頼性及び第２の結果信頼性に基づく更新により、ｉ回目の反復においてターゲット特徴点が異なるコンポーネント上に位置する確率をどのように得るかを説明する。

ｉ回目の反復において、ターゲット特徴点が異なるコンポーネント上に位置する確率が更新される場合、（ｉ－１）回目の反復においてターゲット特徴点が異なるコンポーネント上に位置する確率は、より正確で信頼性のある確率を得るために、より高い認識結果信頼性を有する方向に調整されることが保証される。したがって、この実施形態では、第１の結果信頼性と第２の結果信頼性との大きさの関係に基づいて、より高い信頼性を有する認識結果を特定することが、確率を調整するための方向として用いられる。

第１の結果信頼性が第２の結果信頼性よりも高い場合、すなわち、コンポーネント認識結果が車両平面認識結果よりも信頼性が高い場合、ｉ回目の反復においてターゲット特徴点が異なるコンポーネント上に位置する確率は、コンポーネント認識結果に基づく更新により得るべきである。ターゲットコンポーネントが、コンポーネント認識結果によって示されるコンポーネントの場合であり、ターゲット特徴点のコンポーネント認識結果が、ターゲット特徴点がターゲットコンポーネント上に位置することを示す場合、ターゲット特徴点がターゲットコンポーネント上に位置する確率がプリセットされた第１の変更量増やされる。コンポーネント認識結果によって示されないコンポーネントは非ターゲットコンポーネントであり、これは、ターゲット特徴点がコンポーネント上に位置しないことを示し、ターゲット特徴点が非ターゲットコンポーネント上に位置する確率がプリセットされた第２の変化量減らされる。第１の変化量及び第２の変化量は同じであってもいいし、異なっていてもよい。第１の変化量及び第２の変化量は固定値であってもいいし、プリセットされたルールに従った可変値であってもよい。例えば、ターゲット特徴点のコンポーネント認識結果が、ターゲット特徴点が車両サイドドア上に位置するとともに、８０％の第１の結果信頼性を有し、車両サイドドアがターゲットコンポーネントであることを含む場合、トランクが非ターゲットコンポーネントとして用いられ得る。車両平面認識結果は、ターゲット特徴点が車両側面上に位置しないとともに、５０％の第２の結果信頼性を有することを含む。第１の結果信頼性は第２の結果信頼性よりも高いため、ターゲット特徴点が車両サイドドア上に位置することがより信頼性の高い認識結果であり、ターゲット特徴点が車両サイドドア上に位置する確率を増やすことができ、ターゲット特徴点がトランク上に位置する確率を減らすことができる。このように、ｉ回目の反復においてターゲット特徴点が車両サイドドア上に位置する確率は、（ｉ－１）回目の反復においてターゲット特徴点が車両サイドドア上に位置する確率に対して高くなり、ｉ回目の反復においてターゲット特徴点がトランク上に位置する確率は、（ｉ－１）回目の反復においてターゲット特徴点がトランク上に位置する確率に対して低くなる。この場合、（ｉ＋１）回目の反復において、ターゲット特徴点がｉ回目の反復において異なるコンポーネント上に位置する確率に基づいてターゲット特徴点のコンポーネント認識結果が特定される場合、ターゲット特徴点が車両サイドドア上に位置するというコンポーネント認識結果を得ることがより容易になり、ターゲット特徴点がトランク上に位置するというコンポーネント認識結果を得るのがより困難になる。

なお、ターゲット特徴点がターゲットコンポーネント上に位置する確率をプリセットされた第１の変更量増やし、ターゲット特徴点が非ターゲットコンポーネント上に位置する確率をプリセットされた第２の変更量減らすことを同時に行ってもいいし、２つのうちの１つのみを行ってもよい。

第１の結果信頼性が第２の結果信頼性より低い場合、車両平面認識結果のほうが信頼性が高い。ターゲット車両平面が車両平面認識結果によって示される車両平面である場合、車両平面認識結果によって示されない車両平面が非ターゲット車両平面であり、ターゲット車両平面上にターゲット特徴点が位置し、ターゲット特徴点はターゲット車両平面上の少なくとも１つのコンポーネント上に位置する。非ターゲット車両平面はターゲット特徴点が位置しない車両平面であり、ターゲット特徴点は、同様に、非ターゲット車両平面の少なくとも１つのコンポーネント上に位置しない。したがって、車両平面認識結果の信頼性がより高い場合、ターゲット特徴点がターゲット車両平面上の少なくとも１つのコンポーネント上に位置する確率がプリセットされた第３の変更量増やされ、ターゲット特徴点が非ターゲット車両平面上の少なくとも１つのコンポーネント上に位置する確率がプリセットされた第４の変更量減らされ得る。したがって、（ｉ＋１）回目の反復において、ターゲット特徴点がｉ回目の反復において異なるコンポーネント上に位置する確率に基づいてターゲット特徴点のコンポーネント認識結果が特定される場合、ターゲット特徴点がターゲット車両平面の少なくとも１つのコンポーネント上に位置するコンポーネント認識結果を得ることがより容易になり、ターゲット特徴点が非ターゲット車両平面の少なくとも１つのコンポーネント上に位置するコンポーネント認識結果を得るのがより困難になるため、コンポーネント認識結果の精度が改善され、車両平面認識結果の精度が改善される。

なお、ターゲット特徴点がターゲット車両平面の少なくとも１つのコンポーネント上に位置する確率をプリセットされた第３の変更量増やし、ターゲット特徴点が非ターゲット車両平面の少なくとも１つのコンポーネント上に位置する確率をプリセットされた第４の変更量減らすことを同時に行ってもいいし、２つのうちの１つのみを行ってもよい。

第１の結果信頼性が第２の結果信頼性と等しい場合、ｉ回目の反復において、ターゲット特徴点が異なるコンポーネント上に位置する確率を得るために更新の基礎としてどの認識結果を用いるべきかは、コンポーネント認識結果を特定することと車両平面認識結果を特定することとの間の計算量関係に基づいて決定され得る。一実施では、ｉ回目の反復においてターゲット特徴点が異なるコンポーネント上に位置する確率は、計算量がより大きい認識結果に基づく更新により得られ得る。一般に、畳み込みニューラルネットワークを用いることによりコンポーネント認識結果を特定する計算量は、完全に接続された層を用いることにより車両平面認識結果を特定する計算量よりも大きい。したがって、本実施形態では、ｉ回目の反復において、ターゲット特徴点が異なるコンポーネント上に位置する確率は、コンポーネント認識結果に基づく更新により得られ得る。その更新方法については、第１の結果信頼性が第２の結果信頼性よりも高い場合に用いられる更新方法を参照してもよい。

なお、ターゲット車両の車両平面は複数の反復の後に特定される。ターゲット車両の車両平面を正確に認識するために、反復が停止したときに得られる車両平面認識結果は正確で信頼できるものでなければならない。反復停止条件も車両平面認識結果の精度に影響を及ぼす。

可能な実施では、各反復、例えば、ｉ回目の反復に対して、ｉ回目の反復が反復停止条件を満たすかどうかが特定され得る。具体的には、第１のコストが第１の閾値未満の場合、複数の反復が終了する。

特徴マップの各層はターゲット車両の１つのコンポーネントに対応し、第１のコストは下記式（３）に基づいて得られる。

はｉ回目の反復の第１のコストを表し、

は、

の場合のユークリッドノルムの２乗を表し、

第１のコストは、第２の結果信頼性と第２のプリセット信頼性との差の程度を反映し得る。第２の結果信頼性と第２のプリセット信頼性との差の程度が小さいほど、車両平面認識結果の精度が高いことを示す。両者の差異が十分小さい場合、例えば、第１のコストの計算結果が第１の閾値未満の場合、得られた車両平面認識結果が正確であると考えられ得る。この場合、反復を終了してもよく、反復で得られた車両平面認識結果は最終的な車両平面認識結果である。加えて、反復処理において、コンポーネント認識結果及び車両平面認識結果は、第１のコストに基づいて次の反復で正しくガイドすることができる。

この実施形態では、車両平面認識結果に基づいてターゲット車両の姿勢を特定するために、車両平面認識結果が最終的に得られるが、最終的に得られる車両平面認識結果はコンポーネント認識結果に依存する必要がある。したがって、コンポーネント認識結果の精度をさらに改善し、ターゲット車両の姿勢認識の精度をさらに改善するために、車両平面認識結果の第１のコストを考慮する必要があるだけでなく、コンポーネント認識結果の第３のコストも包括的に考慮して、第２のコスト等の包括的なコストに基づき反復終了条件を特定する必要がある。したがって、可能な実施では、第２のコストが第２の閾値未満である場合、複数の反復が終了する。

第２のコストは下記式（４）に基づいて得られ、

ｆはｉ回目の反復の第２のコストであり、

は第１のコストであり、

はｉ回目の反復の第３のコストを表し、

は、

の場合のユークリッドノルムの２乗を示し、

第３のコストは、第１の結果信頼性と第１のプリセット信頼性との差の程度を反映し得る。第１の結果信頼性と第１のプリセット信頼性との差の程度が小さいほど、コンポーネント認識結果の精度が高いことを示す。

第２のコストは、複数の反復に対応する第１のコスト及び第３のコストの合計である。第２のコストが小さいほど、車両平面認識結果及びコンポーネント認識結果の信頼性が高いことを示す。第２のコストが第２の閾値未満の場合、得られた車両平面認識結果及びコンポーネント認識結果の双方が比較的正確であり、ターゲット車両の姿勢を認識するために用いることができると考えられるため、複数の反復が終了される。

場合によっては、不注意により、全ての特徴点がマークされない。その結果、特徴マップは、一部の特徴点がターゲット車両のコンポーネント上に位置する確率を反映しない。例えば、ターゲット車両のコンポーネント上に位置する確率が特徴マップで反映されてない特徴点は、実際にはターゲットコンポーネント上に位置する。マーキングが欠如しているため、特徴点は、予測の間にターゲットコンポーネント上に位置することが予測されず、特徴点のコンポーネント認識結果は実際の結果から大きくずれている。ターゲット車両のコンポーネント上に位置する確率が特徴マップで反映されていない特徴点が計算損失関数に与える影響を回避するために、特徴点に対応する第１の結果信頼性又は第２の結果信頼性の重みが０に設定され得る。すなわち、上記の式（３）では、Ｗ１（Ｐ）＝０であり、上記の式（４）では、Ｗ２（Ｐ）＝０である。

本願の実施形態における前述の解決策をより良く実施するために、前述の解決策を実施するための関連装置を以下でさらに提供する。

図９を参照して、本願の一実施形態は車両姿勢認識装置を提供する。装置は、第１の特定ユニット９０１、第２の特定ユニット９０２及び認識ユニット９０３を含む。

第１の特定ユニット９０１は、特徴マップ内の複数の特徴点に基づいて、特徴マップに含まれるターゲット車両の複数のコンポーネントを特定するように構成され、特徴マップは、各特徴点がターゲット車両の異なるコンポーネント上に位置する確率を表すために用いられる。

第２の特定ユニット９０２は、複数のコンポーネント間の位置関係に基づいてターゲット車両の車両平面を特定するように構成されている。

認識ユニット９０３は、車両平面に基づいてターゲット車両の姿勢を認識するように構成されている。

複数の特徴点はターゲット特徴点を含み、車両平面は複数の反復を介して特定され、該複数の反復のうちのｉ回目の反復において、第１の特定ユニット９０１は、
（ｉ－１）回目の反復においてターゲット特徴点が異なるコンポーネント上に位置する確率に基づいて、ターゲット特徴点のコンポーネント認識結果を特定することであって、該コンポーネント認識結果は第１の結果信頼性を有する、ことと、
複数の特徴点のコンポーネント認識結果に基づいて、特定すべき複数のコンポーネントを特定することと、を行うように構成されている。

第２の特定ユニット９０２は、
特定すべき複数のコンポーネント間の位置関係に基づいて、ターゲット特徴点の車両平面認識結果を特定することであって、該車両平面認識結果は第２の結果信頼性を有する、ことと、
第１の結果信頼性及び第２の結果信頼性に基づく更新により、ｉ回目の反復においてターゲット特徴点が異なるコンポーネント上に位置する確率を取得することと、を行うように構成されている。

任意で、第１の結果信頼性が第２の結果信頼性よりも高い場合、第２の特定ユニットは、
ターゲット特徴点がターゲットコンポーネント上に位置する確率を、プリセットされた第１の変更量増やすこと及び／又はターゲット特徴点が非ターゲットコンポーネント上に位置する確率をプリセットされた第２の変更量減らすことを行うように構成され、該ターゲットコンポーネントはコンポーネント認識結果によって示されるコンポーネントである。

任意で、第１の結果信頼性が第２の結果信頼性よりも低い場合、第２の特定ユニットは、
ターゲット特徴点がターゲット車両平面上の少なくとも１つのコンポーネント上に位置する確率を、プリセットされた第３の変更量増やすこと及び／又はターゲット特徴点が非ターゲット車両平面上の少なくとも１つのコンポーネント上に位置する確率をプリセットされた第４の変更量減らすことを行うように構成され、該ターゲット車両平面は前記車両平面認識結果によって示される車両平面である。

任意で、第１の特定ユニットは、
最も高い確率に対応するコンポーネントをターゲット特徴点が位置するコンポーネントとして特定するように構成されている。

任意で、第２の特定ユニットは、
特定すべき複数のコンポーネント間の位置関係を、複数のプリセットされた位置関係と比較することであって、各プリセットされた位置関係は１つの車両平面に対応する、ことと、
差異が最も小さいプリセットされた位置関係に対応する車両平面を、ターゲット特徴点が位置する車両平面として特定することと、を行うように構成されている。

任意で、ｉ回目の反復において、装置は判定ユニットをさらに含む。

第１のコストが第１の閾値未満であると判定ユニットが判定した場合に、複数の反復が終了する。

はｉ回目の反復の第１のコストを表し、

は、

の場合のユークリッドノルムの２乗を表し、

任意で、ｉ回目の反復において、判定ユニットは、
第２のコストが第２の閾値未満であると判定ユニットが判定した場合、複数の反復を終了するようにさらに構成されている。

第２のコストは下記式に基づいて得られ、

ｆはi回目の反復の第２のコストであり、

は第１のコストであり、

はｉ回目の反復の第３のコストを表し、

は、

の場合のユークリッドノルムの２乗を示し、

任意で、特徴マップにおけるターゲット車両のコンポーネント上に位置する確率が反映されない特徴点に対応するＷ１（Ｐ）又はＷ２（Ｐ）は０に設定されている。

加えて、本願の一実施形態は、車両姿勢認識のための装置をさらに提供する。図１０を参照して、車両姿勢認識のための装置１０００は、プロセッサ１００１及びメモリ１００２（車両姿勢認識のために装置１０００内に１つ以上のプロセッサ１００１が存在してもよく、図１０では１つのプロセッサを一例として用いている)。本願の一部の実施形態では、プロセッサ１００１及びメモリ１００２は接続されてもよい。

メモリ１００２は読み出し専用メモリ及びランダムアクセスメモリを含んでもよく、プロセッサ１００１のための命令及びデータを提供する。メモリ１００２の一部はＮＶＲＡＭをさらに含み得る。メモリ１００２はオペレーティングシステム及び動作命令、実行可能モジュール又はデータ構造、そのサブセット又はその拡張セットを記憶する。動作命令は、様々な動作を行うための様々な動作命令を含み得る。オペレーティングシステムは様々な基本サービスを実施し、ハードウェアベースのタスクを処理するための様々なシステムプログラムを含み得る。

プロセッサ１００１は車両姿勢認識のための装置の動作を制御する。特定の用途では、車両姿勢認識のための装置のコンポーネントはバスシステムを用いることによって互いに連結されている。データバスに加えて、バスシステムは、電源バス、制御バス、ステータス信号バス等をさらに含み得る。しかしながら、図中の様々な種類のバスを明確な説明のためにバスシステムとして記載している。

本願の実施形態で開示される方法はプロセッサ１００１に適用され得るか又はプロセッサ１００１によって実施され得る。プロセッサ１００１は集積回路チップであってもよく、信号処理能力を有する。実施プロセスにおいて、前述の方法のステップはプロセッサ１００１内のハードウェアの集積論理回路を用いることによって又はソフトウェアの形態の命令を用いることによって実施され得る。プロセッサ１００１は、汎用プロセッサ、ＤＳＰ、ＡＳＩＣ、ＦＰＧＡ又は他のプログラマブル論理デバイス、離散ゲート又はトランジスタ論理デバイス又は離散ハードウェアコンポーネントであり得る。プロセッサは、本願の実施形態で開示した方法、ステップ及び論理ブロック図を実施又は実行し得る。汎用プロセッサはマイクロプロセッサであってもいいし、プロセッサは任意の従来のプロセッサ等であってもよい。本願の実施形態を参照して開示した方法におけるステップは、ハードウェア復号化プロセッサによって直接的に実行及び完了され得るか又は復号化プロセッサ内のハードウェア及びソフトウェアモジュールの組み合わせを用いることにより実行及び完了され得る。ソフトウェアモジュールは、ランダムアクセスメモリ、フラッシュメモリ、リードオンリーメモリ、プログラマブルリードオンリーメモリ、電気的に消去可能なプログラマブルメモリ又はレジスタ等の当該技術分野で成熟した記憶媒体内に位置し得る。記憶媒体はメモリ１００２内に位置し、プロセッサ１００１はメモリ１００２内の情報を読み出し、プロセッサのハードウェアと組み合わせて前述の方法のステップを完了する。

特定の実施の間、プロセッサ１００１は、
特徴マップ内の複数の特徴点に基づいて、該特徴マップに含まれるターゲット車両の複数のコンポーネントを特定することであって、該特徴マップは、各特徴点がターゲット車両の異なるコンポーネント上に位置する確率を表すために用いられる、ことと、
複数のコンポーネント間の位置関係に基づいて、ターゲット車両の車両平面を特定することと、
車両平面に基づいてターゲット車両の姿勢を認識することと、
の動作を実施するように構成され、
複数の特徴点はターゲット特徴点を含み、車両平面は複数の反復を介して特定され、該複数の反復のうちのｉ回目の反復は、
（ｉ－１）回目の反復においてターゲット特徴点が異なるコンポーネント上に位置する確率に基づいて、ターゲット特徴点のコンポーネント認識結果を特定することであって、該コンポーネント認識結果は第１の結果信頼性を有する、ことと、
複数の特徴点のコンポーネント認識結果に基づいて、特定すべき複数のコンポーネントを特定することと、
特定すべき複数のコンポーネント間の位置関係に基づいて、ターゲット特徴点の車両平面認識結果を特定することであって、該車両平面認識結果は第２の結果信頼性を有する、ことと、
第１の結果信頼性及び第２の結果信頼性に基づく更新により、ｉ回目の反復においてターゲット特徴点が異なるコンポーネント上に位置する確率を取得することと、
を含む。

任意で、プロセッサ１００１は、
ターゲット特徴点がターゲットコンポーネント上に位置する確率を、プリセットされた第１の変更量増やすこと及び／又はターゲット特徴点が非ターゲットコンポーネント上に位置する確率をプリセットされた第２の変更量減らすことであって、該ターゲットコンポーネントはコンポーネント認識結果によって示されるコンポーネントである、こと、
という動作を実施するようにさらに構成されている。

任意で、プロセッサ１００１は、
ターゲット特徴点がターゲット車両平面上の少なくとも１つのコンポーネント上に位置する確率を、プリセットされた第３の変更量増やすこと及び／又はターゲット特徴点が非ターゲット車両平面上の少なくとも１つのコンポーネント上に位置する確率をプリセットされた第４の変更量減らすことであって、該ターゲット車両平面は車両平面認識結果によって示される車両平面である、こと、
という動作を実施するようにさらに構成されている。

任意で、プロセッサ１００１は、
最も高い確率に対応するコンポーネントをターゲット特徴点が位置するコンポーネントとして特定すること、
という動作を実施するようにさらに構成されている。

任意で、プロセッサ１００１は、
特定すべき複数のコンポーネント間の位置関係を、複数のプリセットされた位置関係と比較することであって、各プリセットされた位置関係は１つの車両平面に対応する、ことと、
差異が最も小さいプリセットされた位置関係に対応する車両平面を、ターゲット特徴点が位置する車両平面として特定することと、
という動作を実施するようにさらに構成されている。

任意で、プロセッサ１００１は、
第１のコストが第１の閾値未満の場合に、複数の反復を終了すること、
という動作を実施するようにさらに構成され、
特徴マップは多層特徴マップであり、特徴マップの各層はターゲット車両の１つのコンポーネントに対応し、第１のコストは下記式に基づいて得られ、

はｉ回目の反復の第１のコストを表し、

は、

の場合のユークリッドノルムの２乗を表し、

任意で、プロセッサ１００１は、
第２のコストが第２の閾値未満の場合に、複数の反復を終了すること、
という動作を実施するようにさらに構成され、
第２のコストは下記式に基づいて得られ、

ｆはi回目の反復の第２のコストであり、

は第１のコストであり、

はｉ回目の反復の第３のコストを表し、

は、

の場合のユークリッドノルムの２乗を示し、

任意で、プロセッサ１００１は、
特徴マップにおけるターゲット車両のコンポーネント上に位置する確率が反映されない特徴点に対応するＷ１（Ｐ）又はＷ２（Ｐ）を０に設定すること、
という動作を実施するようにさらに構成されている。

本願の一実施形態は、コンピュータ読み取り可能記憶媒体をさらに提供し、コンピュータ読み取り可能記憶媒体はプログラムコードを記憶するように構成され、プログラムコードは、前述の方法の実施形態で説明したステップの一部又は全てを行うために用いられる。

本願の一実施形態は、コンピュータ読み取り可能命令を含むコンピュータプログラム製品を提供する。コンピュータ読み取り可能命令は、コンピュータ上で実行された場合、コンピュータに前述の態様における車両姿勢認識方法を行わせる。

当業者であれば、便利で簡単な説明のために、前述のシステム、装置及びユニットの詳細な動作プロセスについては、前述の方法の実施形態における対応プロセスを参照すべきことを明確に理解し得る。詳細については、ここでは再び説明しない。

本願に提供されるいくつかの実施形態では、開示のシステム、装置及び方法は別のやり方で実施され得ることを理解すべきである。例えば、説明した装置の実施形態は一例にすぎない。例えば、ユニットへの分割は論理機能分割であり、実際の実施では他の分割であってもよい。例えば、複数のユニット又はコンポーネントは、別のシステムに組み合わせ又は統合され得るか又は一部の特徴は無視され得るか、行われなくてもよい。加えて、表示又は説明された相互連結又は直接連結又は通信接続は、いくつかのインターフェースを介して実施され得る。装置又はユニット間の間接的な連結又は通信接続は、電子的、機械的又は他の形態で実施され得る。

別個の部品として説明したユニットは物理的に分離されていても、されていなくてもよく、ユニットとして表示される部品は物理的ユニットであっても、なくてもよく、１つの位置に位置していてもいいし又は複数のネットワークユニット上に分散されていてもよい。ユニットの一部又は全ては、実施形態における解決策の目的を達成するために、実際の要件に応じて選択され得る。

加えて、本発明の実施形態における機能ユニットは１つの処理ユニットに統合されてもよく、各ユニットは物理的に単独で存在してもよく、２つ以上のユニットが１つのユニットに統合されてもよい。統合ユニットはハードウェアの形態で実施されてもよく、ソフトウェア機能ユニットの形態で実施されてもよい。

統合ユニットがソフトウェア機能ユニットの形態で実施され、独立した製品として販売又は使用される場合、統合ユニットはコンピュータ読み取り可能記憶媒体に記憶され得る。このような理解に基づいて、本発明の技術的解決策は本質的に、先行技術に寄与する部分又は技術的解決策の全て又は一部がソフトウェア製品の形態で実施され得る。コンピュータソフトウェア製品は記憶媒体に記憶され、本発明の実施形態で説明した方法の全て又は一部を行うように（パーソナルコンピュータ、サーバ、ネットワーク装置等であり得る）コンピュータ装置に指示するための命令を含む。前述の記憶媒体は、ＵＳＢフラッシュドライブ、リムーバブルハードディスク、読み出し専用メモリ（read-only memory、ＲＯＭ）、ランダムアクセスメモリ（random access memory、ＲＡＭ）、磁気ディスク又は光ディスク等のプログラムコードを記憶できる任意の媒体を含む。

前述の実施形態は本発明の技術的解決策を説明することを意図したものにすぎず、本発明を限定するものではない。前述の実施形態を参照して本発明を詳細に説明してきたが、当業者であれば、本発明の実施形態の技術的解決策の精神及び範囲から逸脱することなく、前述の実施形態で説明した技術的解決策を修正したり、その技術的特徴の一部を同等に置き換えたりすることができることを理解すべきである。

Claims

車両姿勢認識方法であって、
特徴マップ内の複数の特徴点に基づいて、該特徴マップに含まれるターゲット車両の複数のコンポーネントを特定することであって、該特徴マップは３次元ボクセルネットワークを用いることにより前記ターゲット車両の３次元点群データから得られ、該特徴マップは、各層が前記ターゲット車両の１つのコンポーネントに対応する多層特徴マップであり、各特徴点が前記ターゲット車両の異なるコンポーネント上に位置する確率を表すために用いられる、ことと、
前記複数のコンポーネント間の位置関係に基づいて、
前記ターゲット車両の車両平面を特定することと、
前記車両平面に基づいて前記ターゲット車両の姿勢を認識することと、
を含み、
前記複数の特徴点はターゲット特徴点を含み、前記車両平面は複数の反復を介して特定され、該複数の反復のうちのｉ回目の反復は、
（ｉ－１）回目の反復において前記ターゲット特徴点が異なるコンポーネント上に位置する確率に基づいて、前記ターゲット特徴点のコンポーネント認識結果を特定することであって、該コンポーネント認識結果は第１の結果信頼性を有する、ことと、
前記複数の特徴点のコンポーネント認識結果に基づいて、特定すべき複数のコンポーネントを特定することと、
前記特定すべき複数のコンポーネント間の位置関係に基づいて、前記ターゲット特徴点の車両平面認識結果を特定することであって、該車両平面認識結果は第２の結果信頼性を有する、ことと、
前記第１の結果信頼性及び前記第２の結果信頼性に基づく更新により、前記ｉ回目の反復において前記ターゲット特徴点が異なるコンポーネント上に位置する確率を取得することと、
を含む、方法。
前記第１の結果信頼性が前記第２の結果信頼性よりも高い場合、前記第１の結果信頼性及び前記第２の結果信頼性に基づく更新により、前記ｉ回目の反復において前記ターゲット特徴点が異なるコンポーネント上に位置する確率を取得することは、
前記ターゲット特徴点がターゲットコンポーネント上に位置する確率を、プリセットされた第１の変更量増やすこと及び／又は前記ターゲット特徴点が非ターゲットコンポーネント上に位置する確率をプリセットされた第２の変更量減らすことであって、該ターゲットコンポーネントは前記コンポーネント認識結果によって示されるコンポーネントである、こと、
を含む、請求項１に記載の方法。
前記第１の結果信頼性が前記第２の結果信頼性よりも低い場合、前記第１の結果信頼性及び前記第２の結果信頼性に基づく更新により、前記ｉ回目の反復において前記ターゲット特徴点が異なるコンポーネント上に位置する確率を取得することは、
前記ターゲット特徴点がターゲット車両平面上の少なくとも１つのコンポーネント上に位置する確率を、プリセットされた第３の変更量増やすこと及び／又は前記ターゲット特徴点が非ターゲット車両平面上の少なくとも１つのコンポーネント上に位置する確率をプリセットされた第４の変更量減らすことであって、該ターゲット車両平面は前記車両平面認識結果によって示される車両平面である、こと、
を含む、請求項１に記載の方法。
前記（ｉ－１）回目の反復において前記ターゲット特徴点が異なるコンポーネント上に位置する確率に基づいて、前記ターゲット特徴点のコンポーネント認識結果を特定することは、
最も高い確率に対応するコンポーネントを前記ターゲット特徴点が位置するコンポーネントとして特定すること、
を含む、請求項１乃至３のいずれか一項に記載の方法。
前記特定すべき複数のコンポーネント間の位置関係に基づいて、前記ターゲット特徴点の車両平面認識結果を決定することは、
前記特定すべき複数のコンポーネント間の位置関係を、複数のプリセットされた位置関係と比較することであって、各プリセットされた位置関係は１つの車両平面に対応する、ことと、
差異が最も小さいプリセットされた位置関係に対応する車両平面を、前記ターゲット特徴点が位置する車両平面として特定することと、
を含む、請求項１乃至４のいずれか一項に記載の方法。
前記ｉ回目の反復は、
第１のコストが第１の閾値未満の場合に、前記複数の反復を終了すること、
をさらに含み、
前記特徴マップは多層特徴マップであり、特徴マップの各層は前記ターゲット車両の１つのコンポーネントに対応し、前記第１のコストは下記式に基づいて得られ、

は前記ｉ回目の反復の第１のコストを表し、

は、

の場合のユークリッドノルムの２乗を表し、

は特徴マップのｃ番目の層における特徴点Ｐに対応する第２の結果信頼性であり、

は特徴マップのｃ番目の層における特徴点Ｐに対応する第２のプリセット信頼性であり、特徴マップのｃ番目の層は同じコンポーネント上に位置する特徴点を含み、Ｗ１（Ｐ）は特徴点Ｐの第２の結果信頼性の重みを表す、請求項１乃至５のいずれか一項に記載の方法。
前記ｉ回目の反復は、
第２のコストが第２の閾値未満の場合に、前記複数の反復を終了すること、
をさらに含み、
前記第２のコストは下記式に基づいて得られ、

ｆは前記ｉ回目の反復の第２のコストであり、

は第１のコストであり、

は前記ｉ回目の反復の第３のコストであり、Ｉは反復の数であり、第３のコストは下記式に基づいて得られ、

はｉ回目の反復の第３のコストを表し、

は、

の場合のユークリッドノルムの２乗を示し、

は特徴マップのｃ番目の層における特徴点Ｐに対応する第１の結果信頼性を示し、

は特徴マップのｃ番目の層における特徴点Ｐに対応する第１のプリセット信頼性であり、Ｗ２（Ｐ）は特徴点Ｐの第１の結果信頼性の重みを表す、請求項６に記載の方法。
前記特徴マップにおける前記ターゲット車両のコンポーネント上に位置する確率が反映されない特徴点に対応するＷ１（Ｐ）又はＷ２（Ｐ）は０に設定されている、請求項６又は７に記載の方法。
第１の特定ユニット、第２の特定ユニット及び認識ユニットを含む車両姿勢認識装置であって、
前記第１の特定ユニットは、特徴マップ内の複数の特徴点に基づいて、該特徴マップに含まれるターゲット車両の複数のコンポーネントを特定するように構成され、該特徴マップは３次元ボクセルネットワークを用いることにより前記ターゲット車両の３次元点群データから得られ、該特徴マップは、各層が前記ターゲット車両の１つのコンポーネントに対応する多層特徴マップであり、各特徴点が前記ターゲット車両の異なるコンポーネント上に位置する確率を表すために用いられ、
前記第２の特定ユニットは、前記複数のコンポーネント間の位置関係に基づいて前記ターゲット車両の車両平面を特定するように構成され、
前記認識ユニットは、前記車両平面に基づいて前記ターゲット車両の姿勢を認識するように構成され、
前記複数の特徴点はターゲット特徴点を含み、前記車両平面は複数の反復を介して特定され、該複数の反復のうちのｉ回目の反復において、
前記第１の特定ユニットは、
（ｉ－１）回目の反復において前記ターゲット特徴点が異なるコンポーネント上に位置する確率に基づいて、前記ターゲット特徴点のコンポーネント認識結果を特定することであって、該コンポーネント認識結果は第１の結果信頼性を有する、ことと、
前記複数の特徴点のコンポーネント認識結果に基づいて、特定すべき複数のコンポーネントを特定することと、
を行うように構成され、
前記第２の特定ユニットは、
前記特定すべき複数のコンポーネント間の位置関係に基づいて、前記ターゲット特徴点の車両平面認識結果を特定することであって、該車両平面認識結果は第２の結果信頼性を有する、ことと、
前記第１の結果信頼性及び前記第２の結果信頼性に基づく更新により、前記ｉ回目の反復において前記ターゲット特徴点が異なるコンポーネント上に位置する確率を取得することと、
を行うように構成されている、装置。
プロセッサ及びメモリを含む、車両姿勢を認識するための装置であって、
前記メモリはプログラムコードを記憶し、該プログラムコードを前記プロセッサに送信するように構成され、
前記プロセッサは、前記プログラムコードの命令に従って、請求項１乃至８のいずれか一項に記載の車両姿勢認識方法を行うように構成されている、装置。
コンピュータ読み取り可能記憶媒体であって、当該コンピュータ読み取り可能記憶媒体はプログラムコードを記憶するように構成され、該プログラムコードは、請求項１乃至８のいずれか一項に記載の車両姿勢認識方法を行うために用いられる、コンピュータ読み取り可能記憶媒体。
コンピュータプログラムであって、コンピュータ上で実行された場合に、該コンピュータに請求項１乃至８のいずれか一項に記載の車両姿勢認識方法を行わせる命令を含む、コンピュータプログラム。