JP6892484B2 - 物体検出枠を生成する方法とその装置、機器、記憶媒体及び車両 - Google Patents

Description

本発明の実施例は、無人車両技術分野に関し、特に物体検出枠を生成する方法とその装置、機器、記憶媒体及び車両に関する。

無人車両にレーザレーダが搭載され、レーザレーダが点群データフレームを採取した後、人工でラベルを付ける方式によって点群データフレームにおける目標物体の検出枠を取得する必要があり、ラベルが付けられた検出枠に基づいて検出枠の中心点の３次元位置座標と、長さ、幅、高さと、検出枠内の点群の数とを取得することができる。

人工で標記検出枠をラベル付けすることは非常に難易度が高く、人件費が高く、データ集合のスケーラビリティが劣る。
現在、ＣＮＮＳｅｇアルゴリズムのような目標物体の自動検出アルゴリズムが現れており、当該アルゴリズムを使用して目標物体の検出枠を自動的に取得することができるが、自動検出アルゴリズムの精度を向上させる必要がある。

本発明の実施例は、点群データに基づいて物体検出枠を生成する方法とその装置、機器、記憶媒体及び車両を提供して、点群データフレームにおける目標物体検出枠を自動的に生成する精度を向上させる。

第１の態様において、本発明の実施例は、点群データに基づいて物体検出枠を生成する方法を提供する。前記方法は、所定期間に無人車両に設けられたレーダ機器によって採取された点群データフレームの集合を取得するステップと、無人車両が目標物体に最も近い第１の時刻に対応する第１の点群データフレームを前記集合から取得して、自動検出アルゴリズムによって取得された第１の点群データフレームにおける目標物体に対応する第１の検出枠情報を取得するステップと、前記集合における第１の時刻の前の第２の時刻に対応する第２の点群データフレームに対して、第１の検出枠情報が有効な検出枠情報であるか否かを決定するステップと、決定された結果に基づいて第１の検出枠情報を第２の点群データフレームにおける目標物体の最終検出枠情報とするか否かを判定するステップと、を含む。

第２の態様において、本発明の実施例は、点群データに基づく物体検出枠の生成装置をさらに提供する。前記装置は、所定期間に無人車両に設けられたレーダ機器によって採取された点群データフレームの集合を取得するための点群データフレーム集合取得モジュールと、無人車両が目標物体に最も近い第１の時刻に対応する第１の点群データフレームを前記集合から取得して、自動検出アルゴリズムによって取得された第１の点群データフレームにおける目標物体に対応する第１の検出枠情報を取得するための第１の検出枠情報取得モジュールと、前記集合における第１の時刻の前の第２の時刻に対応する第２の点群データフレームに対して、第１の検出枠情報が有効な検出枠情報であるか否かを決定するための有効検出枠情報決定モジュールと、決定された結果に基づいて第１の検出枠情報を第２の点群データフレームにおける目標物体の最終検出枠情報とするか否かを判定するための最終検出枠情報決定モジュールと、を含む。

第３の態様において、本発明の実施例は、電子機器をさらに提供する。当該電子機器は、メモリと、プロセッサと、メモリに記憶され、プロセッサによって実行可能なコンピュータプログラムと、を含み、前記プログラムが前記プロセッサによって実行される場合に、本発明の実施例の点群データに基づいて物体検出枠を生成する方法を実現する。

第４の態様において、本発明の実施例は、コンピュータプログラムが記憶されているコンピュータ読み取り可能な記憶媒体をさらに提供する。当該プログラムがプロセッサによって実行される場合に、本発明の実施例の点群データに基づいて物体検出枠を生成する方法を実現する。

第５の態様において、本発明の実施例は、車体を含む車両をさらに提供する。当該車両は、第３の態様の電子機器と、車体に設けられたレーダ機器と、をさらに含む。

本発明の実施例は、まず、所定期間にレーダ機器によって採取された点群データフレームの集合を取得するステップと、その後、無人車両が目標物体に最も近い第１の時刻に対応する第１の点群データフレームを集合から取得して、自動検出アルゴリズムによって取得された第１の点群データフレームにおける目標物体に対応する第１の検出枠情報を取得する。その後、集合における第１の時刻の前の第２の時刻に対応する第２の点群データフレームに対して、第１の検出枠情報が有効な検出枠情報であるか否かを決定する、最后決定された結果に基づいて第１の検出枠情報を第２の点群データフレームにおける目標物体の最終検出枠情報とするか否かを判定するステップと、。本発明の実施例提供の点群データに基づいて物体検出枠を生成する方法は、無人車両が目標物体に最も近い第１の時刻に対応する第１の点群データフレームにおける目標物体の検出枠情報で、第１の時刻の前の第２の点群データフレームの検出枠情報を後向き検証し、物体検出枠を生成する精度を向上させることができる。

本発明の実施例１における点群データに基づいて物体検出枠を生成する方法のフローチャートである。 本発明の実施例１におけるもう一つの点群データに基づいて物体検出枠を生成する方法のフローチャートである。 本発明の実施例２における点群データに基づく物体検出枠の生成装置の概略構成図である。 本発明の実施例３における電子機器の概略構成図である。 本発明の実施例４における車両の概略構成図である。

以下、図面と実施例とを組み合わせて、本発明についてさらに詳しく説明する。なお、ここで説明される具体的な実施例は、単に本発明を解釈するためのものであり、本発明を限定するものではない。また、説明の便宜上、図面には、すべての構成ではなく、本発明に係る部分だけが示されている。

実施例１
図１は、本発明の実施例１により提供される点群データに基づいて物体検出枠を生成する方法のフローチャートである。本実施例は、無人車両システムにおける点群データに基づいて物体検出枠を生成する場合に適用することができる。当該方法は、点群データに基づく物体検出枠の生成装置によって実行されることができ、当該装置は、ソフトウェア及び／又はハードウェアによって構成されることができ、一般的に、点群データに基づく物体検出枠の生成機能を有する機器に統合することができる。当該機器は、携帯端末又は車載機器などの電子機器であってもよい。図１に示すように、当該方法は、具体的には、以下のようなステップを含む。
ステップＳ１１０：所定期間にレーダ機器によって採取された点群データフレームの集合を取得する。

点群データは、レーダ機器のスキャンによって取得することができ、各点は、三次元座標情報を含み、一部の応用シーンでは、色（Ｒｅｄ Ｇｒｅｅｎ Ｂｌｕｅ、ＲＧＢ）情報又は反射強度情報をさらに含むことができる。レーダ機器が一回スキャンするごとに、一つの点群データフレームを取得する。レーダ機器は、レーザレーダなどを含む。

本実施例では、無人車両が走行中に、レーダ機器が一定の周期で車直前方の物体をスキャンして、所定期間にレーダ機器が複数回スキャンすることによって、点群データフレーム集合を取得する。

ステップＳ１２０：無人車両が目標物体に最も近い第１の時刻に対応する第１の点群データフレームを集合から取得して、自動検出アルゴリズムによって取得された第１の点群データフレームにおける目標物体に対応する第１の検出枠情報を取得する。

第１の検出枠情報は、第１の検出枠の中心点の３次元位置座標と、第１の検出枠の長さと、第１の検出枠の幅と、第１の検出枠の高さと、第１の検出枠内の点群の数と、を含むことができる。本実施例では、車両が走行状態にあるため、各時刻と目標物体との距離がすべて異なるため、レーダ機器によって採取された点群データフレームに含まれる情報を分析することに基づいて、現在時刻の無人車両と目標物体との距離を取得することができる。

選択可能に、無人車両が目標物体に最も近い第１の時刻に対応する第１の点群データフレームを集合から取得することは、以下の、集合における各点群データフレームに対応する自動検出アルゴリズムによって取得された目標物体の検出枠情報を取得して、検出枠情報に基づいて対応する点群データフレームにおける目標物体と無人車両との距離を決定するステップと、最小距離に対応する点群データフレームを選択して、無人車両が目標物体に最も近い第１の時刻に対応する第１点群データフレームとする方式で実施することができる。

点群データフレームでは、複数の物体を含むことができ、各物体は、一つの検出枠に対応し、物体は、その対応する検出枠内に位置する。自動検出アルゴリズムを使用して目標物体の検出枠情報を取得することができ、検出枠情報に基づいて点群データフレームにおける目標物体と無人車両との距離を取得することができる。集合における各点群データフレームは、レーダ機器が異なる時刻に採取して取得したものであるため、目標物体と無人車両との距離も異なり、目標物体と無人車両との距離が最小となる点群データフレームを選択して、無人車両が目標物体に最も近い第１の時刻に対応する第１の点群データフレームとして決定する。

選択可能に、自動検出アルゴリズムによって取得された第１の点群データフレームにおける目標物体に対応する第１の検出枠情報を取得することは、以下の、第１の時刻を中心とする第１のサブ期間における各点群データフレームに対応する自動検出アルゴリズムによって取得された目標物体の検出枠情報を、正規化処理し、目標物体に対応する第１の検出枠情報を取得する方式で実施することができる。

第１のサブ期間は、所定期間にあり、第１のサブ期間の開始時刻は、設定期間の開始時刻と重ね合わない。設定期間を［ｔ１、ｔ２］とし、第１の時刻をｔ３とし、ｔ３がｔ１とｔ２との間に位置する場合、第１のサブ期間は、［ｔ３−Δｔ、ｔ３＋Δｔ］に設定することができ、ｔ３−Δｔとｔ１は重ね合わない。すなわちｔ３−Δｔは、ｔ１とｔ３との間にある。

具体的には、第１のサブ期間内の各点群データフレームを取得した後、自動検出アルゴリズムを使用して各点群データフレームにおける目標物体それぞれ対応する検出枠情報を取得して、その後、各検出枠情報を正規化処理し、目標物体に対応する第１の検出枠情報を取得する。

選択可能に、第１の時刻を中心とする第１のサブ期間における各点群データフレームに対応する自動検出アルゴリズムによって取得された目標物体の検出枠情報を、正規化処理し、以下の、第１の時刻を中心とする第１のサブ期間における各点群データフレームに対応する重み付け係数を算出し、第１のサブ期間における各点群データフレームに対応する自動検出アルゴリズムによって取得された目標物体の検出枠情報と、対応する重み付け係数とを乗算し、各乗算結果を加算して、検出枠情報の正規化処理結果値を取得する方式で実施することができる。

第１のサブ期間における各点群データフレームに対応する重み付け係数は、以下の式：

によって算出することがでる。P_iは、第１のサブ期間内のi番目の点群データフレームの重み付け係数を表示し、d_iは、第１のサブ期間内のi番目の点群データフレームにおける目標物体と無人車両との距離を表示し、nは、第１のサブ期間内にn個の点群データフレームがあることを表示する。

検出枠情報は、検出枠の中心点の３次元位置座標と、検出枠の長さと、検出枠の幅と、検出枠の高さと、検出枠内の点群の数と、を含むことができる。検出枠情報を正規化処理する場合、検出枠情報における３次元位置座標と、検出枠の長さと、検出枠の幅と、検出枠の高さと、検出枠内の点群の数とをそれぞれに正規化処理することができる。例えば、検出枠の長さを例として、第１のサブ期間における各点群データフレームにおける目標物体の検出枠の長さと対応する重み付け係数を乗算し、その後、各乗算結果を加算して、検出枠の長さの正規化処理結果値を取得し、例示的には、例えば、L_iを第１のサブ期間内のi番目の点群データフレームにおける目標物体の検出枠の長さとすると、検出枠の長さの正規化処理結果値の算出式は、Ｌ＝Ｐ１＊Ｌ１＋Ｐ２＊Ｌ２＋……ＰｎＬｎであり、そのうち、Ｌは、検出枠の長さの正規化処理結果値を表示し、nは、第１のサブ期間内にn個の点群データフレームがあることを表示し、P_iは、第１のサブ期間内のi番目の点群データフレームの重み付け係数を表示する。検出枠情報における３次元位置座標と、検出枠の幅と、検出枠の高さと、及び検出枠内の点群との数の正規化処理結果値の算出方法は、検出枠の長さと類似しており、ここでは説明しない。

ステップＳ１３０：集合における第１の時刻の前の第２の時刻に対応する第２の点群データフレームに対して、第１の検出枠情報が有効な検出枠情報であるか否かを決定する。

第２の時刻は、設定期間の開始時刻から第１のサブ期間の開始時刻内の任意の時刻であってもよく、上記の実施例では、設定期間を[ｔ１、ｔ２]とし、第１のサブ期間を［ｔ３−Δｔ、ｔ３＋Δｔ］とする場合、第２の時刻は、期間[ｔ１、ｔ３−Δｔ]内の任意の一つの時刻である。第１の検出枠情報が有効な検出枠情報であるか否かは、第１の検出枠情報が、第２の点群データにおける目標物体の検出枠情報とすることが可能か否かと理解することができる。具体的には、第１の検出枠情報を取得した後、第１の検出検出枠情報が各第２の点群データフレームに対して有効であるか否かをそれぞれ判定する。

選択可能に、集合における第１の時刻の前の第２の時刻に対応する第２の点群データフレームに対して、第１の検出枠情報が有効な検出枠情報であるか否かを決定することは、以下の、設定期間の開始時刻から第１のサブ期間の開始時刻までである第２のサブ期間における各第２の点群データフレームに対して、第１の検出枠情報の信頼度を算出し、算出された信頼度が所定閾値より大きい場合、第１の検出枠情報が現在の第２の点群データフレームに対して、有効な検出枠情報であると決定し、そうでない場合、第１の検出枠情報が現在の第２の点群データフレームに対して、有効な検出枠情報ではないと決定する方式で実施することができる。

信頼度の所定閾値は、０.７〜０.８の間の任意の値に設定することができ、好ましく、０．７５に設定することができる。

選択可能に、第１の検出枠情報の信頼度を算出することは、以下の方式で実施することができる。現在の第２の点群データフレームにおける自動検出アルゴリズムによって取得された各検出枠を取得して、各検出枠のうち、第１の検出枠と積集合され且つ積集合された体積が所定閾値を超える検出枠を探して、候補枠とし、各候補枠と第１の検出枠との重複度（ＩＯＵ）値の大きさを重みとして、すべての候補枠の中心位置を重み付け平均し、現在の第２の点群データフレームに対応する中心座標を取得し、すべての候補枠によって囲まれた点群のうち第１の検出枠に入る点群の数を統計して、統計された数を累積して現在の第２の点群データフレームに対応する点群の総数を取得し、前記中心座標及び前記点群の総数に基づいて、現在の第２の点群データフレームに対応する第１の検出枠情報の信頼度を算出する。

各検出枠は、点群データフレームに含まれる各物体にそれぞれ対応する検出枠である。積集合された体積が所定閾値を超えることは、各検出枠と第１の検出枠との積集合された体積が、第１の検出枠体積を超える設定比率であってもよく、好ましく、設定比率は３０％に設定されることができる。ＩＯＵ値の算出式は、以下の、ＩＯＵ値＝（二つの框の積集合された体積／二つの框の和集合された体積）*１００％である。例示的には、例えば、現在の第２の点群データフレームにおいて三つの候補枠が決定され、中心位置座標がそれぞれ（x1,y1,z1）、（x2,y2,z2）、及び（x3,y3,z3）であり、ＩＯＵ値がそれぞれＩＯＵ１とＩＯＵ２の和ＩＯＵ３であると仮定する場合、第２の点群データフレームの中心座標は、

である。

現在の第２の点群データフレームに対応する第１の検出枠情報の信頼度は、以下の式：ｃｏｎｆｉｄｅｎｃｅ＝ｍａｘ（１／（現在の第２の点群データフレームに対応する中心座標と第１の検出枠の中心座標とのユークリッド距離+１e-^３）＋現在の第２の点群データフレームに対応する点群の総数／第１の検出枠内の点群の総数、１）によって算出されることができ、そのうち、ｃｏｎｆｉｄｅｎｃｅは、信頼度である。ユークリッド距離の算出式は、

であり、そのうち、（X1，Y1，Z1）は、現在の第２の点群データフレームに対応する中心座標であり、（X2，Y2，Z2）は、第１の検出枠の中心座標である。例えば、「Ａ＝１（現在の第２の点群データフレームに対応する中心座標と第１の検出枠の中心座標とのユークリッド距離＋１e^-３）+現在の第２の点群データフレームに対応する点群の総数／第１の検出枠内の点群の総数」であると仮定する場合、信頼度の値は、Ａと１の中の最大値を取る。

ステップＳ１４０：決定された結果に基づいて第１の検出枠情報を第２の点群データフレームにおける目標物体の最終検出枠情報とするか否かを判定する。

判定結果は、第１の検出枠情報が現在の第２の点群データフレームに対して有効であるか、又は第１の検出枠情報が現在の第２の点群データフレームに対して有効ではないことを含む。第１の検出枠情報が現在の第２の点群データフレームに対して有効である場合、第１の検出枠情報を現在の第２の点群データにおける目標物体の最終検出枠情報とする。

選択可能に、当該方法は、第１の検出枠情報が現在の第２の点群データフレームに対して、有効な検出枠情報であると決定された場合、第１の数値を記録するステップと、第１の検出枠情報が現在の第２の点群データフレームに対して、有効な検出枠情報ではないと決定された場合、第２の数値を記録するステップと、をさらに含む。

第１の数値は、「１」とすることができ、第２の数値は、「０」とすることができる。

これに対応して、決定された結果に基づいて第１の検出枠情報を第２の点群データフレームにおける目標物体の最終検出枠情報とするか否かを判定するステップは、生成された数値シーケンスを平滑化処理し、平滑化処理された数値シーケンスにおける目標サブシーケンスを選択して、第１の検出枠情報を目標サブシーケンスに対応する各点群データフレームの目標物体の最終検出枠情報とする。

目標サブシーケンスは、数値シーケンスにおける連続する第１の数値からなり、長さが最も長いサブシーケンスである。生成された数値シーケンスを平滑化処理する方式は、生成された数値シーケンスの第２の数値に対応する時刻の前後の時刻にそれぞれ少なくとも二つの第１の数値がある場合、当該第２の数値を第１の数値に置換され、生成された数値シーケンスの第１の数値に対応する時刻の前後の時刻にそれぞれ少なくとも二つの第２の数値がある場合、当該第１の数値を第２の数値に置換することができる。例示的には、例えば、生成された数値シーケンスが１１１０１１であり、“０”左側の時刻には、三つの「１」があり、右側の時刻には、二つの「１」があると仮定する場合、「０」を「１」に置換する。

具体的には、数値シーケンスを平滑化処理した後、数値シーケンスには、連続する第１の数値及び連続する第２の数値で構成されるサブシーケンスを含むことができ、連続する第１の数値からなり、かつ長さが最も長いサブシーケンスを目標サブシーケンスとして決定し、第１の検出枠情報を目標サブシーケンスに対応する各点群データフレームの目標物体の最終検出枠情報とする。

本実施例の技術案は、まず、所定期間にレーダ機器によって採取された点群データフレームの集合を取得し、その後、無人車両が目標物体に最も近い第１の時刻に対応する第１の点群データフレームを集合から取得して、自動検出アルゴリズムによって取得された第１の点群データフレームにおける目標物体に対応する第１の検出枠情報を取得し、その後、集合における第１の時刻の前の第２の時刻に対応する第２の点群データフレームに対して、第１の検出枠情報が有効な検出枠情報であるか否かを決定し、最後に、決定された結果に基づいて第１の検出枠情報を第２の点群データフレームにおける目標物体の最終検出枠情報とするか否かを判定する。本発明の実施例提供の点群データに基づいて物体検出枠を生成する方法は、無人車両が目標物体に最も近い第１の時刻に対応する第１の点群データフレームにおける目標物体の検出枠情報で、第１の時刻の前の第２の点群データフレームの検出枠情報を後向き検証し、後向き検証の結果をタイミングにおける平滑化し、安定した検出枠を得て、物体検出枠を生成する精度を向上させることができる。

図２は、本発明の実施例１により提供されるもう一つの点群データに基づいて物体検出枠を生成する方法のフローチャートである。上記の実施例のさらなる説明として、図２に示すように、当該方法は、以下のようなステップを含む。
ステップＳ２１０：所定期間にレーダ機器によって採取された点群データフレームの集合を取得する。

ステップＳ２２０：集合における各点群データフレームに対応する自動検出アルゴリズムによって取得された目標物体の検出枠情報を取得して、検出枠情報に基づいて対応する点群データフレームにおける目標物体と無人車両との距離を決定する。

ステップＳ２３０：最小距離に対応する点群データフレームを選択して、無人車両が目標物体に最も近い第１の時刻に対応する第１の点群データフレームとする。

ステップＳ２４０：第１の時刻を中心とする第１のサブ期間における各点群データフレームに対応する自動検出アルゴリズムによって取得された目標物体の検出枠情報を、正規化処理し、目標物体に対応する第１の検出枠情報を取得する。

ステップＳ２５０：設定期間の開始時刻から第１のサブ期間の開始時刻までである第２のサブ期間における各第２の点群データフレームに対して、第１の検出枠情報の信頼度を算出し、算出された信頼度が所定閾値より大きい場合、第１の検出枠情報が現在の第２の点群データフレームに対して、有効な検出枠情報であると決定し、そうでない場合、第１の検出枠情報が現在の第２の点群データフレームに対して、有効な検出枠情報ではないと決定する。

ステップＳ２６０：第１の検出枠情報が現在の第２の点群データフレームに対して、有効な検出枠情報であると決定された場合、第１の数値を記録し、第１の検出枠情報が現在の第２の点群データフレームに対して、有効な検出枠情報ではないと決定された場合、第２の数値を記録する。

ステップＳ２７０：生成された数値シーケンスを平滑化処理し、平滑化処理された数値シーケンスにおける目標サブシーケンスを選択して、第１の検出枠情報を目標サブシーケンスに対応する各点群データフレームの目標物体の最終検出枠情報とする。

実施例２
図３は、本発明の実施例２により提供される点群データに基づく物体検出枠の生成装置の概略構成図である。図３に示すように、当該装置は、点群データフレーム集合取得モジュール３１０と、第１の検出枠情報取得モジュール３２０と、有効検出枠情報決定モジュール３３０と、最終検出枠情報決定モジュール３４０と、を含む。

点群データフレーム集合取得モジュール３１０は、所定期間にレーダ機器によって採取された点群データフレームの集合を取得する。
第１の検出枠情報取得モジュール３２０は、無人車両が目標物体に最も近い第１の時刻に対応する第１の点群データフレームを集合から取得して、自動検出アルゴリズムによって取得された第１の点群データフレームにおける目標物体に対応する第１の検出枠情報を取得する。
有効検出枠情報決定モジュール３３０は、集合における第１の時刻の前の第２の時刻に対応する第２の点群データフレームに対して、第１の検出枠情報が有効な検出枠情報であるか否かを決定する。
最終検出枠情報決定モジュール３４０は、決定された結果に基づいて第１の検出枠情報を第２の点群データフレームにおける目標物体の最終検出枠情報とするか否かを判定する。

選択可能に、第１の検出枠情報取得モジュール３２０は、さらに、集合における各点群データフレームに対応する自動検出アルゴリズムによって取得された目標物体の検出枠情報を取得して、検出枠情報に基づいて対応する点群データフレームにおける目標物体と無人車両との距離を決定し、最小距離に対応する点群データフレームを選択して、無人車両が目標物体に最も近い第１の時刻に対応する第１の点群データフレームとする。

選択可能に、第１の検出枠情報取得モジュール３２０は、さらに、第１の時刻を中心とする第１のサブ期間における各点群データフレームに対応する自動検出アルゴリズムによって取得された目標物体の検出枠情報を、正規化処理し、目標物体に対応する第１の検出枠情報を取得すし、第１のサブ期間は、所定期間にあり、第１のサブ期間の開始時刻は、設定期間の開始時刻と重ね合わない。

選択可能に、第１の検出枠情報取得モジュール３２０は、さらに、第１の時刻を中心とする第１のサブ期間における各点群データフレームに対応する重み付け係数を算出し、第１のサブ期間における各点群データフレームに対応する自動検出アルゴリズムによって取得された目標物体の検出枠情報と、対応する重み付け係数とを乗算し、各乗算結果を加算して、検出枠情報の正規化処理結果値を取得する。

選択可能に、有効検出枠情報決定モジュール３３０は、さらに、設定期間の開始時刻から第１のサブ期間の開始時刻までである第２のサブ期間における各第２の点群データフレームに対して、第１の検出枠情報の信頼度を算出し、算出された信頼度が所定閾値より大きい場合、第１の検出枠情報が現在の第２の点群データフレームに対して、有効な検出枠情報であると決定し、そうでない場合には、第１の検出枠情報が現在の第２の点群データフレームに対して、有効な検出枠情報ではないと決定する。

選択可能に、物体検出枠の生成装置は、第１の検出枠情報が現在の第２の点群データフレームに対して、有効な検出枠情報であると決定された場合、第１の数値を記録するための第１の数値記録モジュールと、第１の検出枠情報が現在の第２の点群データフレームに対して、有効な検出枠情報ではないと決定された場合、第２の数値を記録するための第２の数値記録モジュールと、をさらに含む。
選択可能に、最終検出枠情報決定モジュール３４０は、さらに、生成された数値シーケンスを平滑化処理し、平滑化処理された数値シーケンスにおける目標サブシーケンスを選択して第１の検出枠情報を目標サブシーケンスに対応する各点群データフレームの目標物体の最終検出枠情報とし、そのうち、目標サブシーケンスは、数値シーケンスにおける連続する第１の数値からなり、かつ長さが最も長いサブシーケンスである。

選択可能に、最終検出枠情報決定モジュール３４０は、さらに、生成された数値シーケンスの第２の数値に対応する時刻の前後の時刻にそれぞれ少なくとも二つの第１の数値がある場合、当該第２の数値を第１の数値に置換され、生成された数値シーケンスの第１の数値に対応する時刻の前後の時刻にそれぞれ少なくとも二つの第２の数値がある場合、当該第１の数値を第２の数値に置換する。

選択可能に、有効検出枠情報決定モジュール３３０は、さらに、現在の第２の点群データフレームにおける自動検出アルゴリズムによって取得された各検出枠を取得して、各検出枠のうち、第１の検出枠と積集合され且つ積集合された体積が所定閾値を超える検出枠を探して、候補枠とし、各候補枠と第１の検出枠との重複度ＩＯＵ値の大きさを重みとして、すべての候補枠の中心位置を重み付け平均し、現在の第２の点群データフレームに対応する中心座標を取得し、すべての候補枠によって囲まれた点群のうち第１の検出枠に入る点群の数を統計して、統計された数を累積して現在の第２の点群データフレームに対応する点群の総数を取得し、中心座標と点群の総数に基づいて、現在の第２の点群データフレームに対応する第１の検出枠情報の信頼度を算出する。

選択可能に、以下の式によって現在の第２の点群データフレームに対応する第１の検出枠情報の信頼度を算出する。ｃｏｎｆｉｄｅｎｃｅ＝ｍａｘ（１／（現在の第２の点群データフレームに対応する中心座標と第１の検出枠の中心座標とのユークリッド距離+１e-^３）＋現在の第２の点群データフレームに対応する点群の総数／第１の検出枠内の点群の総数、１）。そのうち、ｃｏｎｆｉｄｅｎｃｅは、信頼度である。

選択可能に、第１の検出枠情報は、第１の検出枠の中心点の３次元位置座標と、第１の検出枠の長さと、第１の検出枠の幅と、第１の検出枠の高さと、第１の検出枠内の点群の数と、を含む。

上記の装置は、本発明の上記のすべての実施例により提供される方法を実行することができ、上記の方法を実行することに対する機能モジュールと有益な効果を有する。本実施例で詳細に説明されていない技術的詳細については、本発明の上記のすべての実施例によって提供される方法を参照することができる。

なお、本発明の実施例は、無人車両が移動状態にあり、目標物体が静止状態にあるシーンに適用することができる。例えば、道路の横に１列に車が駐車され、無人車両当該道路から走行するシーンであり、そのうち、道路の脇に駐車されているいずれかの車が目標物体となることができる。

実施例３
図４は、本発明の実施例３により提供される電子機器の概略構成図である。図４は、本発明の実施形態を実現するための電子機器４１２のブロック図を示している。図４に示される電子機器４１２は、単なる一例であり、本発明の実施例の機能及び使用範囲について一切限定しない。機器４１２は、典型的には、点群データに基づいて物体検出枠の生成機能を担う算出機器である。

図４に示すように、電子機器４１２は、汎用コンピューティング機器の形態で示されている。電子機器４１２の構成要素は、１つ又は複数のプロセッサ４１６と、記憶装置４２８と、異なるシステムの構成要素（記憶装置４２８とプロセッサ４１６とを含む）を接続するバス４１８と、を含むが、これらに限定されない。

バス４１８は以下のようなタイプのバス構造のうちの１つ又は複数を表す。前記バスは、メモリバス又はメモリコントローラ、周辺バス、アクセラレーテッドグラフィックスポート、プロセッサ、又は多様なバス構造のいずれかのバス構造を使用するローカルバスを含む。例えば、これらのアーキテクチャは、インダストリスタンダードアーキテクチャ（Ｉｎｄｕｓｔｒｙ Ｓｔａｎｄａｒｄ Ａｒｃｈｉｔｅｃｔｕｒｅ、ＩＳＡ）バス、マイクロチャネルアーキテクチャ（Ｍｉｃｒｏ Ｃｈａｎｎｅｌ Ａｒｃｈｉｔｅｃｔｕｒｅ、ＭＣＡ）バス、拡張ＩＳＡバス、ビデオエレクトロニクススタンダーズアソシエーション（Ｖｉｄｅｏ Ｅｌｅｃｔｒｏｎｉｃｓ Ｓｔａｎｄａｒｄｓ Ａｓｓｏｃｉａｔｉｏｎ、ＶＥＳＡ）ローカルバス、及びペリフェラルコンポーネントインターコネクト（Ｐｅｒｉｐｈｅｒａｌ Ｃｏｍｐｏｎｅｎｔ Ｉｎｔｅｒｃｏｎｎｅｃｔ、ＰＣＩ）バスを含むが、これらに限定されない。

電子機器４１２は、通常、複数種類のコンピュータシステム読み取り可能な媒体を含む。これらの媒体は、揮発性媒体及び不揮発性媒体、リムーバブル媒体及びノンリムーバブル媒体を含む、電子機器４１２によってアクセスされ得る任意の使用可能な媒体であってもよい。

記憶装置４２８は、ランダムアクセスメモリ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ、ＲＡＭ）４３０及び／又はキャッシュメモリ４３２のような揮発性メモリの形態のコンピュータシステム読み取り可能な媒体を含むことができる。電子機器４１２は、他のリムーバブル／ノンリムーバブル、揮発性／不揮発性コンピュータシステム記憶媒体をさらに含むことができる。例として、ストレージシステム４３４は、ノンリムーバブル、不揮発性磁気媒体（図４に図示せず、通常「ハードディスクアクチュエー」と称する）に対して読み出し及び書き込みをするために用いることができる。図４に示されていないが、リムーバブル不揮発性磁気ディスク（例えば、「フロッピーディスク」）に対して読み出し及び書き込みをするための磁気ディスクアクチュエー、及びリムーバブル不揮発性光学ディスク（例えば、コンパクトディスク - リードオンリーメモリ（Ｃｏｍｐａｃｔ Ｄｉｓｃ−Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ、ＣＤ−ＲＯＭ）、デジタルビデオディスク リードオンリーメモリ（Ｄｉｇｉｔａｌ Ｖｉｄｅｏ Ｄｉｓｃ−Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ、ＤＶＤ−ＲＯＭ）又は他の光学媒体）に対して読み出し及び書き込みをするための光ディスクアクチュエーを提供することができる。これらの場合、各アクチュエーは、１つ又は複数のデータメディアインターフェースを介してバス４１８に接続することができる。記憶装置４２８は、本発明の各実施例に記載の機能を実行するように構成される１組の（例えば、少なくとも１つ）プログラムモジュールを有する少なくとも１つのプログラム製品を含むことができる。

１組の（少なくとも１つ）プログラムモジュール４２６６を有するプログラム４３６は、例えば、記憶装置４２８に記憶されてもよく、このようなプログラムモジュール４２６は、オペレーティングシステム、１つ又は複数のアプリケーションプログラム、他のプログラムモジュール及びプログラムデータを含むが、これらに限定されない。これらの例のそれぞれ又はある組み合わせには、ネットワーキング環境の実装が含まれる可能性がある。プログラムモジュール４２６は、通常、本発明に記載の実施例における機能及び／又は方法を実行する。

電子機器４１２は、１つ又は複数の外部機器４１４（例えば、キーボード、ポインティング機器、カメラ、ディスプレイ４２４など）と通信することができ、また、ユーザが当該電子機器４１２とインタラクションすることを可能にする１つ又は複数の機器と通信することができ、及び／又は、当該電子機器４１２が１つ又は複数の他のコンピューティング機器と通信することを可能にする任意の機器（例えば、ネットワークカード、モデムなど）と通信することもできる。そのような通信は、入力／出力（Ｉ／Ｏ）インターフェース２２を介して行うことができる。また、電子機器４１２は、ネットワークアダプタ２０を介して、１つ又は複数のネットワーク（例えば、ローカルエリアネットワーク（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ、ＬＡＮ）、ワイドエリアネットワーク（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ、ＷＡＮ）、及び／又はパブリックネットワーク、例えば、インターネット）と通信することができる。図８に示すように、ネットワークアダプタ２０は、バス４１８を介して電子機器４１２の他のモジュールと通信する。なお、図８に示されていないが、マイクロコード、機器ドライバ、冗長化処理ユニット、外部ディスク駆動アレイ、レイド（Ｒｅｄｕｎｄａｎｔ Ａｒｒａｙｓ ｏｆ Ｉｎｄｅｐｅｎｄｅｎｔ Ｄｉｓｋｓ、ＲＡＩＤ）システム、テープドライバ、及びデータバックアップストレージシステムなどを含むが、これらに限定されない他のハードウェア及び／又はソフトウェアモジュールをコンピュータ電子機器４１２と組み合わせて使用することができる。

プロセッサ４１６は、記憶装置４２８に記憶されているプログラムを実行することにより、多様な機能アプリケーション及びデータ処理を実行し、本発明の実施例により提供される点群データに基づいて物体検出枠を生成する方法を実現する。

実施例４
本発明の実施例４は、コンピュータプログラムが記憶されているコンピュータ読み取り可能な記憶媒体をさらに提供し、当該プログラムがプロセッサによって実行される場合に、本発明の実施例によって提供される点群データに基づいて物体検出枠を生成する方法を実現する。

当然、本発明の実施例によって提供されるコンピュータ読み取り可能な記憶媒体は、その上に記憶されているコンピュータプログラムは、上記の方法の操作に限定されず、本発明の任意の実施例によって提供される点群データに基づいて物体検出枠を生成する方法における関連操作をさらに実行することができる。

本発明の実施例のコンピュータ記憶媒体は、一つ又は複数のコンピュータ読み取り可能な媒体の任意の組み合わせを採用することができる。コンピュータ読み取り可能な媒体は、コンピュータ読み取り可能な信号媒体、或いはコンピュータ読み取り可能な記憶媒体であってもよい。コンピュータ読み取り可能な媒体は、例えば、電子、磁気、光、電磁気、赤外線、又は半導体のシステム、装置又は機器、或いは上記の任意の組み合わせであってもよいが、これらに限定されない。コンピュータ読み取り可能な記憶媒体のより具体的な例（非網羅的なリスト）は、一つ又は複数の配線を備える電気接続部、ポータブルコンピュータディスク、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、読み出し専用メモリ（ＲＯＭ）、消去可能なプログラマブル読み出し専用メモリ（ＥＰＲＯＭ又はフラッシュメモリ）、光ファイバ、ポータブルコンパクトディスク読み出し専用メモリ（ＣＤ−ＲＯＭ）、光記憶装置、磁気記憶装置、又は上記の任意の適切な組み合わせを含む。本文において、コンピュータ読み取り可能な記憶媒体は、命令実行システム、装置又は機器により使用され、或いはそれらと組み合わせて使用されることが可能であるプログラムを含む又は記憶する任意の有形の媒体であってもよい。

コンピュータ読み取り可能なの信号媒体は、ベースバンドにおける、又は搬送波の一部として伝播するデータ信号を含むことができ、その中にはコンピュータ読み取り可能なプログラムコードが搭載される。この伝播するデータ信号は様々な形式を採用することができ、電磁信号、光信号又は上記の任意の適切な組み合わせを含むがこれらに限定されない。コンピュータ読み取り可能なの信号媒体は、さらに、コンピュータ読み取り可能な記憶媒体以外の任意のコンピュータ読み取り可能な媒体であってもよく、当該コンピュータ読み取り可能な媒体は、命令実行システム、装置又は機器により使用され、或いはそれらと組み合わせて使用されるプログラムを送信、伝播又は伝送することができる。

グラムコードは、無線、有線、光ケーブル、ＲＦなど、又は上記の任意の適切な組み合わせを含むが、これらに限定されない任意の適切な媒体によって伝送することができる。

１つ又は複数のプログラミング言語又はそれらの組み合わせで本発明の動作を実行するためのコンピュータプログラムコードを作成することができ、前記プログラミング言語は、Ｊａｖａ（登録商標）、Ｓｍａｌｌｔａｌｋ、Ｃ＋＋などのプロジェクト指向のプログラミング言語を含み、さらに、「Ｃ」言語又は同様のプログラミング言語といった従来の手続き型プログラミング言語をも含む。プログラムコードは、完全にユーザーコンピュータで実行されてもよく、部分的にユーザーコンピュータに実行されてもよく、スタンドアロンソフトウェアパッケージとして実行されてもよく、部分的にユーザーコンピュータで、部分的にリモートコンピュータで実行されてもよい、又は完全にリモートコンピュータ又はサーバーで実行してもよい。リモートコンピュータの場合、リモートコンピュータは、ローカルエリアネットワーク（ＬＡＮ）又はワイドエリアネットワーク（ＷＡＮ）を含む任意の種類のネットワークを介してユーザのコンピュータに接続することができ、又は、外部コンピュータに接続することができる（例えば、インタネットサービスプロバイダーを利用してインターネット経由で接続する）。

さらに、図５は、本発明の実施例４により提供される車両の概略構成図であり、図５に示すように、当該車両は、車体５１０と、上記の実施例の電子機器５２０と、車体に設けられたレーダ機器５３０と、を含む。

なお、以上は、本発明の好ましい実施例及び運用される技術的原理に過ぎない。当業者は、本発明がここで記載される特定の実施例に限定されないことを理解することができる。当業者であれば、本発明の保護範囲を逸脱することはなく、種々の明らかな変化、新たな調整及び取り換えを行うことができる。したがって、上記実施例により本発明について比較的詳細に説明したが、本発明は、上記実施例のみに限定されず、本発明の構想を逸脱しない場合、より多くの他の効果同等な実施例をさらに含むことができ、本発明の範囲は、特許請求の範囲によって决定される。

Claims (14)

1. 点群データに基づいて物体検出枠を生成する方法であって、
   前記方法は、
   所定期間に無人車両に設けられたレーダ機器によって採取された点群データフレームの集合を取得するステップと、
   無人車両が目標物体に最も近い第１の時刻に対応する第１の点群データフレームを前記集合から取得し、自動検出アルゴリズムによって取得された第１の点群データフレームにおける目標物体に対応する第１の検出枠情報を取得するステップと、
   前記集合における第１の時刻の前の第２の時刻に対応する第２の点群データフレームに対して、第１の検出枠情報が有効な検出枠情報であるか否かを決定するステップと、
   決定された結果に基づいて、第１の検出枠情報を第２の点群データフレームにおける目標物体の最終検出枠情報とするか否かを判定するステップと、を含むことを特徴とする、点群データに基づいて物体検出枠を生成する方法。
2. 無人車両が目標物体に最も近い第１の時刻に対応する第１の点群データフレームを前記集合から取得するステップは、
   前記集合における各点群データフレームに対応する自動検出アルゴリズムによって取得された目標物体の検出枠情報を取得し、前記検出枠情報に基づいて、対応する点群データフレームにおける目標物体と無人車両との距離を決定するステップと、
   最小距離に対応する点群データフレームを選択して、無人車両が目標物体に最も近い第１の時刻に対応する第１の点群データフレームとするステップと、を含むことを特徴とする、請求項１に記載の点群データに基いて物体検出枠を生成する方法。
3. 自動検出アルゴリズムによって取得された第１の点群データフレームにおける目標物体に対応する第１の検出枠情報を取得するステップは、
   第１の時刻を中心とする第１のサブ期間における各点群データフレームに対応する自動検出アルゴリズムによって取得された目標物体の検出枠情報を、正規化処理し、目標物体に対応する第１の検出枠情報を取得するステップを含み、
   前記第１のサブ期間は、前記所定期間内にあり、前記第１のサブ期間の開始時刻は、前記所定期間の開始時刻と重ね合わないことを特徴とする、請求項１に記載の点群データに基づいて物体検出枠を生成する方法。
4. 第１の時刻を中心とする第１のサブ期間における各点群データフレームに対応する自動検出アルゴリズムによって取得された目標物体の検出枠情報を、正規化処理するステップは、
   第１の時刻を中心とする第１のサブ期間における各点群データフレームに対応する重み付け係数を算出するステップと、
   第１のサブ期間における各点群データフレームに対応する自動検出アルゴリズムによって取得された目標物体の検出枠情報と、対応する重み付け係数とを乗算するステップと、
   各乗算結果を加算して、検出枠情報の正規化処理結果値を取得するステップと、を含むことを特徴とする、請求項３に記載の点群データに基づいて物体検出枠を生成する方法。
5. 前記集合における第１の時刻の前の第２の時刻に対応する第２の点群データフレームに対して、第１の検出枠情報が有効な検出枠情報であるか否かを決定するステップは、
   前記所定期間の開始時刻から前記第１のサブ期間の開始時刻までである第２のサブ期間における各第２の点群データフレームに対して、第１の検出枠情報の信頼度を算出するステップと、
   算出された信頼度が所定閾値より大きい場合、第１の検出枠情報が現在の第２の点群データフレームに対して、有効な検出枠情報であると決定し、そうでない場合には、第１の検出枠情報が現在の第２の点群データフレームに対して、有効な検出枠情報ではないと決定するステップと、を含むことを特徴とする、請求項３に記載の点群データに基づいて物体検出枠を生成する方法。
6. 前記方法は、
   第１の検出枠情報が現在の第２の点群データフレームに対して、有効な検出枠情報であると決定された場合、第１の数値を記録するステップと、
   第１の検出枠情報が現在の第２の点群データフレームに対して、有効な検出枠情報ではないと決定された場合、第２の数値を記録するステップと、をさらに含み、
   決定された結果に基づいて、第１の検出枠情報を第２の点群データフレームにおける目標物体の最終検出枠情報とするか否かを判定するステップは、
   生成された数値シーケンスを平滑化処理するステップと、
   平滑化処理された数値シーケンスにおける目標サブシーケンスを選択し、第１の検出枠情報を目標サブシーケンスに対応する各点群データフレームの目標物体の最終検出枠情報とするステップであって、目標サブシーケンスは、数値シーケンスにおける連続する第１の数値からなりかつ長さが最も長いサブシーケンスであるステップと、を含むことを特徴とする、請求項５に記載の点群データに基づいて物体検出枠を生成する方法。
7. 生成された数値シーケンスを平滑化処理するステップは、
   生成された数値シーケンスの第２の数値に対応する時刻の前後の時刻にそれぞれ少なくとも二つの第１の数値がある場合、当該第２の数値を第１の数値に置換するステップと、
   生成された数値シーケンスの第１の数値に対応する時刻の前後の時刻にそれぞれ少なくとも二つの第２の数値がある場合、当該第１の数値を第２の数値に置換するステップと、を含むことを特徴とする、請求項６に記載の点群データに基づいて物体検出枠を生成する方法。
8. 第１の検出枠情報の信頼度を算出するステップは、
   現在の第２の点群データフレームにおける自動検出アルゴリズムによって取得された各検出枠を取得し、各検出枠のうち、第１の検出枠と積集合され且つ積集合された体積が所定閾値を超える検出枠を探して、候補枠とするステップと、
   各候補枠と第１の検出枠との重複度（ＩＯＵ）値の大きさを重みとして、すべての候補枠の中心位置を重み付け平均し、現在の第２の点群データフレームに対応する中心座標を取得するステップと、
   すべての候補枠によって囲まれた点群のうち第１の検出枠に入る点群の数を統計して、統計された数を累積して現在の第２の点群データフレームに対応する点群の総数を取得するステップと、
   前記中心座標及び前記点群の総数に基づいて、現在の第２の点群データフレームに対応する第１の検出枠情報の信頼度を算出するステップと、を含むことを特徴とする、請求項５に記載の点群データに基づいて物体検出枠を生成する方法。
9. 以下の式によって、現在の第２の点群データフレームに対応する第１の検出枠情報の信頼度を算出することを特徴とする、請求項８に記載の点群データに基づいて物体検出枠を生成する方法。
   ｃｏｎｆｉｄｅｎｃｅ＝ｍａｘ（１／（現在の第２の点群データフレームに対応する中心座標と第１の検出枠の中心座標とのユークリッド距離+１e-^３）＋現在の第２の点群データフレームに対応する点群の総数／第１の検出枠内の点群の総数、１）
   ただし、ｃｏｎｆｉｄｅｎｃｅは、信頼度である。
10. 第１の検出枠情報は、第１の検出枠の中心点の３次元位置座標と、第１の検出枠の長さと、第１の検出枠の幅と、第１の検出枠の高さと、第１の検出枠内の点群の数と、を含むことを特徴とする、請求項１〜９のいずれかに記載の点群データに基づいて物体検出枠を生成する方法。
11. 点群データに基づいて物体検出枠を生成する装置であって、
    所定期間に無人車両に設けられたレーダ機器によって採取された点群データフレームの集合を取得するための点群データフレーム集合取得モジュールと、
    無人車両が目標物体に最も近い第１の時刻に対応する第１の点群データフレームを前記集合から取得し、自動検出アルゴリズムによって取得された第１の点群データフレームにおける目標物体に対応する第１の検出枠情報を取得するための第１の検出枠情報取得モジュールと、
    前記集合における第１の時刻の前の第２の時刻に対応する第２の点群データフレームに対して、第１の検出枠情報が有効な検出枠情報であるか否かを決定するための有効検出枠情報決定モジュールと、
    決定された結果に基づいて、第１の検出枠情報を第２の点群データフレームにおける目標物体の最終検出枠情報とするか否かを判定するための最終検出枠情報決定モジュールと、を含むことを特徴とする、点群データに基づいて物体検出枠を生成する装置。
12. 電子機器であって、
    メモリと、
    プロセッサと、
    メモリに記憶され、プロセッサによって実行可能なコンピュータプログラムと、を含み、
    前記プログラムが前記プロセッサによって実行される場合に、請求項１乃至１０のいずれかに記載の点群データに基づいて物体検出枠を生成する方法を実現することを特徴とする、電子機器。
13. コンピュータプログラムが記憶されているコンピュータ読み取り可能な記憶媒体であって、
    当該プログラムがプロセッサによって実行される場合に、請求項１乃至１０のいずれかに記載の点群データに基づいて物体検出枠を生成する方法を実現することを特徴とする、コンピュータ読み取り可能な記憶媒体。
14. 車体を含む車両であって、
    前記車両は、
    請求項１２に記載の電子機器と、
    車体に設けられたレーダ機器と、をさらに含むことを特徴とする、車両。

Images