JP7167397B2 - 点群データを処理するための方法及び装置 - Google Patents

Description

本開示は、主にデータ処理の技術分野に関するもので、より具体的には、点群データを処理するための方法及び装置に関するものである。

３次元スキャンニング技術とデジタル地図技術の発展に伴い、現在は採集エンティティ（例えば、採集車）を利用して採集装置（例えば、レーザースキャナ）を搭載し都市の３次元データを採集し、３次元モデルを構成する技術方案が提案されている。例えば建築物、道路、樹木などの静止対象物について、現在はすでに採集された点群データに基づいて相応する３次元モデルを構成することができるようになっている。しかし、都市の道路において、例えば移動中の車両、自転車や歩行者などの大量の移動対象物が存在し、この際、採集装置に採集された点群データは、これらの移動対象物に関連するが希望していないデータも含んでしまう。

従来の点群データ処理方法は、モデリングスタッフによる人間による処理に依存する場合が多い。また、点群データに関連付けられた画像データに対して画像認識を行うことで、移動対象物を確定する技術方案が提案されている。しかし、従来の技術方案は、ほとんどが人間による処理に依存し、複雑な演算が必要のみならず、移動対象物を正確に認識することができなかった。

本開示に係る例示的な実施形態によれば、点群データを処理するための方案を提供する。

第一の局面として、点群データを処理するための方法を提供する。具体的に、前記方法は、前記点群データから第１のフレームと第２のフレームとをそれぞれ取得するステップと、前記第１のフレーム及び前記第２のフレームから、第１の候補対象物と、前記第１の候補対象物に対応する第２の候補対象物とをそれぞれ抽出するステップと、前記第１の候補対象物及び前記第２の候補対象物の前記点群データの座標系における第１の位置及び第２位置をそれぞれ確定するステップと、前記第１の位置と前記第２の位置との間にオフセットが存在することに応答して、前記第１の候補対象物と前記第２の候補対象物のうちの何れか一つを移動対象物として標識するステップとを含む。

第二の局面として、点群データを処理するための装置を提供する。具体的に、前記装置は、前記点群データから第１のフレームと第２のフレームとをそれぞれ取得するように構成された取得モジュールと、前記第１のフレーム及び前記第２のフレームから、第１の候補対象物と、前記第１の候補対象物に対応する第２の候補対象物とをそれぞれ抽出するように構成された抽出モジュールと、前記第１の候補対象物及び前記第２の候補対象物の前記点群データの座標系における第１の位置及び第２位置をそれぞれ確定するように構成された確定モジュールと、前記第１の位置と前記第２の位置との間にオフセットが存在することに応答して、前記第１の候補対象物と前記第２の候補対象物のうちの何れか一つを移動対象物として標識するように構成された標識モジュールとを含む。

第三の局面として、１つまたは複数のプロセッサと、１つまたは複数のプログラムを記憶するための記憶手段とを含む装置であって、前記１つまたは複数のプログラムが前記１つまたは複数のプロセッサによって実行されると、第一の局面に記載の方法が実現される装置を提供する。

第四の局面として、コンピュータプログラムが格納されているコンピュータ読み取り可能な記憶媒体であって、前記コンピュータプログラムがプロセッサによって実行されると、第一の局面の方法が実現されるコンピュータ読み取り可能な記憶媒体を提供する。

発明の概要の部分で説明した内容は、本開示に係る実施形態のポイントまたは重要な特徴を限定するものではなく、本開示に係る内容の範囲を限定するためのものでもないことを理解されるべきである。本開示に係る他の特徴は、次の説明により理解が容易になる。

以下の図面による非限定的な実施例についての詳細な説明を読み、参照することにより、本開示に係る他の特徴、目的及び利点がより明らかになる。

図１は、本開示の例示的実施形態に係る応用シーンの図面を概略的に示す。 図２は、一技術方案に基づいて取得した点群データの図面を概略的に示す。 図３は、本開示の例示的実施形態に係る点群データを処理するための方案のブロック図を概略的に示す。 図４は、本開示の例示的実施形態に係る処理された点群データの結果の図面を概略的に示す。 図５は、本開示の例示的実施形態に係る点群データを処理するための方法のフローチャートを概略的に示す。 図６Ａは、本開示の例示的実施形態に係る第１の候補対象物に対応する第２の候補対象物を確定するための方法の図を概略的に示す。 図６Ｂは、本開示の例示的実施形態に係る第１の候補対象物に対応する第２の候補対象物を確定するための方法の図を概略的に示す。 図７は、本開示の例示的実施形態に係る点群データのうち、第１のフレーム、第２のフレームと第３のフレームを処理するための方法の図を概略的に示す。 図８は、本開示の例示的実施形態に係る点群データのうち、第１のフレームと第３のフレームを処理するための方法の図を概略的に示す。 図９は、本開示の例示的実施形態に係る予測位置に基づいて移動対象物を標識するための方法のフローチャートを概略的に示す。 図１０は、本開示の例示的実施形態に係る移動対象物に関連するポイントセットを確定するための方法のブロック図を概略的に示す。 図１１は、本開示の例示的実施形態に係る点群データを処理するための装置のブロック図を概略的に示す。 図１２は、本開示に係る複数の実施形態を実施できるコンピューティング機器のブロック図を示す。

以下、図面を参照しながら本開示に係る実施形態をより詳細に説明する。図面には、本開示の内容に係る一部の実施形態を示すが、本開示の内容は、さまざまな態様により実施することができ、ここで述べた内容に限定されるものとして解釈されるべきではないことを理解されるべきである。逆に、本開示に係る様々な実施形態を、徹底的に、全面的に理解するために、これらの実施形態を提供したわけである。本開示の内容に係る図及び実施形態は、例示的なものであるとし、本開示の内容に係る範囲を制限するためのものではない。

本開示に係る実施形態を説明することにおいて、用語「含む」及び似ている用語は、開放的な「含む」と理解すべきである。つまり、「．．．を含むが、これらに限定されない」と理解すべきである。用語「に基づいて」は、「少なくとも部分的に．．．に基づいて」と理解すべきである。用語「一実施形態」または「当該実施形態」は、「少なくとも一つの実施形態」として理解すべきである。用語「第１」、「第２」などは、異なる又は同じ対象物を示すことができる。以下の記載では、他の明確な定義と暗黙的定義を含める可能性もある。

図１は、本開示に係る例示的実施形態に係る応用シーン１００の図面を概略的に示し、ここで、点群データを取得する概略プロセスを示す。具体的に、都市環境に関連する実際の対象物は、静止対象物と移動対象物とを含むことができる。例えば、静止対象物は、図１に示すような都市の道路１３０、樹木１４０及び建築物１５０を含むことができる。また、実際の対象物は、例えば、道路１３０上に走行される車両１２０、自転車１２２などの移動対象物をさらに含むことができる。例えば、図１に図示されていないが、例えば歩行者等の他の移動対象物を含むこともできる。

図１に示すように、採集装置１１０は、採集エンティティ１１２上に固定されることができる。採集エンティティ１１２が道路１３０に沿って都市環境で走行する場合に、採集装置１１０は、外部にレーザービームを出射し、各静止対象物と移動対象物から返された信号を受信することにより、各静止対象物と移動対象物に関連付けられた３次元データを取得することができる。これらの実現において、３次元データは点群データであってもよい。

なお、採集装置１１０は、所定の時間間隔で３次元データを採集することができる。ビデオカメラで撮影したビデオ信号と同様に、これらの採集装置１１０で取得した点群データは、複数のフレームを含むことができ、ここで、フレームごとに採集装置１１０により当該フレームの対応する時点で採集した点群データが含まれている。採集装置１１０のメーカーと型番、およびその他のパラメータに応じて、取得した点群データの採集頻度は多少異なってもよい。例えば、一のタイプの採集装置１１０による点群データの採集頻度は１秒当たり１０フレームとすることができ、他のタイプの採集装置１１０による点群データの採集頻度は、１秒当たり５フレームとすることができる。

図２を参照すると、採集された点群データ中の各フレームを直接につなぎ合わせて、都市環境を記述する最終の点群データを形成する場合、点群データの移動対象物に関連付けられた部分にゴーストイメージ（ghosting）が形成されてしまう。図２は、一技術方案に基づいて取得した点群データ２００の図面を概略的に示す。図示されたように、例えば、道路、樹木や建物などのような静止対象物に対して、点群データおける各フレームにおいて、静止対象物の点群データの座標系における位置は同じである。したがって、最終的な点群データ２００において、静止対象物に関連付けられた部分２３０、２４０、２５０は正常である。

しかし、採集エンティティ１１２が道路１３０に沿って走行する場合、車両１２０と自転車１２２などの移動対象物が移動状態になっているので、採集装置１１０で取得した点群データにおける各フレームにおいて、車両１２０と自転車１２２の点群データの座標系における位置は異なる。これにより、最終的な点群データ２００から車両の自転車などの移動対象物に関連付けられた部分２２０、２２２にゴーストイメージが発生してしまう。

従来の技術方案は、人による手作業に依存して点群データ中のゴーストイメージを除去している。現在では他の技術方案が提案されているが、これらの技術方案は、複雑な演算が必要であり、移動対象物を正確に認識することができず、ゴーストイメージを正確に除去することができなかった。したがって、如何にしてより効率的で便利な方法で点群データを処理し、点群データの移動対象物に関連付けられた部分を認識して除去することは研究のホット課題の一つになっている。

本開示に係る例示的実施形態によれば、点群データを処理するための方法及び装置を提供する。以下、図３を参照して、本開示に係る概要を概略的に説明する。図３は、本開示の例示的実施形態に係る点群データを処理するための方案３００のブロック図を概略的に示す。図３に示すように、点群データ３１０は、採集装置１１０からのデータであることを示し、その点群データ３１０には複数のフレームを含むことができる。点群データ３１０から第１のフレーム３２０と第２のフレーム３３０とを取得することができる。

続いて、第１のフレーム３２０及び第２のフレーム３３０から、第１の候補対象物３２２とこの第１の候補対象物３２２に対応する第２の候補対象物３３２とをそれぞれ抽出することができる。なお、本開示に係る「対応する」とは、２つの候補対象物が実空間における同一の物理対象物（例えば、同一の車両）から由来した点群データであることを指す。例えば、図３に図示された第１の候補対象物３２２と第２の候補対象物３３２は、それぞれ２つのフレームから由来した車両１２０に対する点群データである。

図３において、第１の候補対象物３２２と第２の候補対象物３３２の点群データの座標系における位置は、それぞれ第１の位置（Ｘ１、Ｙ、Ｚ）と第２の位置（Ｘ２、Ｙ、Ｚ）である。なお、座標系は、点群データの座標系を指し、当該座標系と実際の空間は、相互に対応しており、点群データにおける各フレームの座標系の定義は一致している。本開示に係る例示的実施形態によれば、異なる方法で座標系を定義することができる。例えば、その座標系は、実際の空間の一つの基準位置（例えば、採集エンティティ１１２が採集プロセスを開始する開始位置）を座標系の原点とし、進行方向をＸ軸方向とし、デカルト座標系の規定に基づいて定義することができる。オプション的に、他の場所を座標原点として定義し、他の方向に沿ってＸ軸方向を定義することもできる。

車両１２０が移動状態にあるので、当該車両１２０が点群データ３１０の異なるフレームでの位置は異なっているため、座標系中のＸ１の数値はＸ２に等しいというわけではない。本実施形態において、第１の位置（Ｘ１、Ｙ、Ｚ）と第２の位置（Ｘ２、Ｙ、Ｚ）との間にオフセットが存在することが検出されたことに基づいて、第１の候補対象物３２２を移動対象物として標識することができる。第２の候補対象物３３２と第１の候補対象物３２２とが相互に対応しているため、第２の候補対象物３３２も移動対象物として標識することができる。言い換えると、第１の候補対象物と第２の候補対象物のうちの何れか一つを移動対象物として標識することができる。本開示に係る例示的実施形態によれば、移動対象物は、人による作業を必要とせずに点群データから自動的に認識することができる。

さらに、本開示に係る例示的実施形態によれば、点群データから認識された移動対象物を除去することもできる。図４に示すように、本開示の例示的実施形態に係る処理された点群データ４００の結果の図面を概略的に示す。図２に示された点群データ２００に対して本開示に係る方法を実行した後、図４に示すような処理された点群データ４００を取得することができる。図４において、車両及び自転車に関連付けられたゴーストイメージ部分２２０、２２２は、既に認識されて除去されているので、処理された点群データ４００には、道路、樹木及び建築物に関連付けられた部分２３０、２４０、２５０しか含まれていない。

以下、図５を参照して、本開示内容による方法の具体的なステップについて詳細に説明する。図５は、本開示の例示的実施形態に係る点群データを処理するための方法５００のフローチャートを概略的に示す。ブロック５１０において、点群データから第１のフレームと第２のフレームとをそれぞれ取得する。なお、ビデオデータと同様に、点群データは、フレーム単位で格納することができる。このステップでは、点群データのフォーマットの定義に基づいて、各フレームをそれぞれ取得するようにすることができる。

ブロック５２０において、第１のフレーム及び第２のフレームから、第１の候補対象物と第１の候補対象物に対応する第２の候補対象物とをそれぞれ抽出する。本実施形態において、まず、各フレームにおけるポイントの位置に対してクラスタリングを行うことにより、各フレームでそれぞれの潜在的な対象物を認識することができる。続いて、対象物のさまざまな特徴に基づいて、第１の候補対象物に対応する第２の候補対象物を選択することができる。

具体的には、本開示に係る例示的実施形態によれば、点群データの座標系において、まず、第１のフレーム及び第２のフレームにおけるポイントに対してクラスタリングを行うことで、第１の候補対象物セット及び第２の候補対象物セットをそれぞれ形成することができる。ここで、第１の候補対象物セット及び第２の候補対象物セットは、移動対象物を含むことができ、静止対象物を含むこともできる。続いて、第１候補対象物セットから第１の候補対象物を選択し、第２の候補対象物セットから第１の候補対象物に対応する第２の候補対象物を選択することができる。ここでいう候補対象物は、潜在的な移動対象物を指すものである。後続のステップで候補対象物が移動するものなのか、静止しているものなのかを更に判断することもできる。本実施形態において、各フレームにおけるポイントに対してクラスタリングを行い、それから対応する候補対象物を選択することができる。このような過程において、人による作業を必要としないので、点群データを処理する速度を大きく速めることができる。

なお、場所だけによって点群データにおけるポイントに対してクラスタリングを行う場合に、大量の対象物が認識される可能性があり、後続のステップにおいて識別された各対象物に対して逐一処理を行わなければならない必要があることを注意すべきである。後続の処理の演算量を低減させるために、移動対象物の候補対象物になる可能性のあるものを見つけるために、認識された対象物に対してフィルタリングを行うことができる。

本開示に係る例示的実施形態によれば、まず、第１のフレーム及び第２のフレームからそれぞれ地面対象物を検出し、ここで、地面対象物は、点群データのうち、実際の地面に関連付けられた部分を指す。第１のフレーム及び第２のフレームにおいて、地面対象物とつながっている１つまたは複数の対象物に基づいて、第１の候補対象物セット及び第２の候補対象物セットをそれぞれ形成する。点群データは都市環境から由来するものであるため、本実施形態では、地面と接触する対象物（例えば、車両、自転車、歩行者など）だけを考慮することにし、例えば飛行機などの空中の移動対象物は考慮しない。これらの簡略化された手段により、移動対象物を認識する効率を大きく向上させることができる。

本実施形態において、簡単な方法で一つの対象物が地面とつながっているか否かを判断することができる。地面対象物が既に検出された場合、地面対象物の各位置における座標（ｘ、ｙ、ｚ）を取得することができる。そのため、対象物のｚ座標と対象物の各位置における座標との関係を比較することにより、その対象物が地面対象物と接続するか否かを確定することができる。

具体的に、点群データの１つの対象物に関連付けられた部分が既に認識されたと仮定する。この時、当該部分の高さの値が最も小さい部分と、地面対象物の相応の位置における高さの値とを比較することにより、当該部分が地面対象物と接触しているか否かを判断する。認識された対象物が樹木である場合、樹木の根の部分のｚ座標と対応する位置における地面対象物のｚ座標とを比較するこれにより、当該対象物が地面対象物につながっているか否かを判断することができる。この方法で、各フレームにおける車両、自転車及び歩行者等に関連付けられた候補対象物を便利でかつ迅速に認識することができる。

さらに、各フレームにおいて認識された候補対象物に対して、逐一処理を行うことができる。例えば、第１候補対象物セットの一つの候補対象物に対して、第２の候補対象物セットから候補対象物に対応する候補対象物を見つけることができる。

本開示に係る例示的実施形態によれば、候補対象物の複数の特徴のうち少なくとも一つに基づいて、第１の候補対象物に対応する第２の候補対象物を選択する。具体的には、特徴は、第１の候補対象物及び第２の候補対象物のサイズの比率、平滑度、反射強度、位置、および点群密度を含むことができる。なお、各対象物は、前記特徴において異なる表現を有することができることに注意すべきである。例えば、車両などの移動対象物の表面は、通常、相対的に滑らかで、樹木などの静止対象物の表面は、通常粗い。したがって、上述した特徴を基に、第１の候補対象物に対応する第２の候補対象物を区別することにより、第２の候補対象物をより正確に選択することができる。

本実施形態において、候補対象物の各特徴を演算し、第２の候補対象物セットから第１の候補対象物と類似した特徴を有する対象物を第２の候補対象物として選択することができる。ここで、まず、各特徴の具体的な意味を紹介する。図６Ａは、本開示の例示的実施形態に係る第１の候補対象物に対応する第２の候補対象物を確定するための方法６００Ａの図面を概略的に示す。

本実施形態において、サイズの比率は認識された対象物の境界ボックス中の３次元サイズの割合を指す。図６Ａを参照すると、図面符号「６１０Ａ」は、車両１２０の境界ボックスを表示する。点群データにより当該車両１２０の横方向の距離が４メートル、高さが１．５メートルであることを示すと仮定すると、この時の当該車両１２０のサイズの比率は、４：１．５で示すことができる。図面符号６２０Ａは、樹木１４０の境界ボックスを示す。点群データにより当該樹木１４０の横方向の距離が４メートル、高さが６メートルであることを表示すると仮定すると、この時の当該樹木１４０のサイズの比率は４：６で示すことができる。数値比較によって分かるように、車両１２０及び樹木１４０のサイズの比率は、差異が大きくなっている。

第１の候補対象物のサイズの比率は４：１．５であり、第２の候補対象物セットに複数の候補対象物が含まれると仮定すると、この場合、第２の候補対象物セットから第２の候補対象物としてサイズの比率が４：１．５である候補対象物を選択すべきであり、サイズの比率が４：６である候補対象物を選択すべきでない。なお、図６Ａから２次元の方法でサイズの比率の例を示したが、実際の応用シーンにおいて、サイズの比率は、３次元形式であることに注意すべきである。３次元形式で、車両１２０及び樹木１４０のサイズの比率は、それぞれ４：１．７：１．５（ｘ、ｙ、ｚ方向）及び４：４：６で示すことができる。

図６Ｂは、本開示に係る例示的実施形態に係る第１の候補対象物に対応する第２の候補対象物を確定するための方法６００Ｂの図面を概略的に示す。本実施形態において、反射強度は、対象物の表面が採集装置１１０に対して出射したレーザー光への反射の強さを指す。例えば、車両１２０の金属表面は、採集装置１１０からのレーザー光を受けた後、矢印６１０Ｂに示されたように、大部分のレーザー光を反射することができる。採集装置１１０が出射したデータ及び採集された「エコー」のデータに基づいて、反射強度の大きさを確定することができる。矢印６２０Ｂは、樹木１４０が採集装置１１０から出射したレーザー光に対する反射強度を示す。樹木１４０の葉の間に通常多くの隙間が含まれているので、反射強度は、車両１２０の反射強度よりもはるかに小さくなっている。

第１の候補対象物の反射強度が大きく、第２の候補対象物セットに複数の候補対象物が含まれると仮定すると、この場合、第２の候補対象物セットから第２の候補対象物としての反射強度が大きい候補対象物を選択すべきであり、反射強度が小さい候補対象物を選択すべきでない。なお、図６Ｂで２次元の方法で反射強度の例示を示したが、実際の応用シーンでの反射は、３次元空間における反射であることを留意すべきである。当該技術分野における当業者は、採集装置１１０の種類に基づいて、各種のデータ構造を定義し、反射強度の大きさを記述することができる。

本開示に係る例示的実施形態によれば、平滑度は対象物の表面の平滑度を表示することができる。例えば、高、中、低の複数の評価を利用して、平滑度を記述することができ、この場合、車両１２０の平滑度は、「高」と定義することができ、樹木１４０の平滑度は、「低」と定義することができる。代替的に、連続した数値の方法を利用して、平滑度を記述することもできる。本開示に係る例示的実施形態によれば、［０、１００］の連続区間で平滑度を定義することができ、数値が小さいほど、対象物の表面が粗く、数値が大きいほど、対象物の表面がより滑らかであると定義することができる。この場合、車両１２０の平滑度を「９０」として定義し、樹木１４０の平滑度を「２０」として定義することができる。

本開示に係る例示的実施形態によれば、点群密度は、採集されたポイントの密度を指す。例えば車両１２０などの表面が平滑な対象物から採集された点群密度は高いが、例えば樹木１４０などの対象物に対して、採集装置１１０から出射したレーザー光の一部が葉の間の隙間を通り抜けてしまい、反射信号を採集することができなくなる。したがって、樹木１４０などの対象物の点群密度は低くなってしまう。本実施形態において、点群密度の大きさによって、その点群密度が第１の候補対象物の点群密度とマッチングする対象物を第２の候補対象物として選択することもできる。

本開示に係る例示的実施形態によれば、位置は、対象物に関連付けた各ポイントが点群データの座標系における位置を指す。例えば、対象物の中心の位置を対象物の位置に利用することができる。なお、本開示に係る例示的実施形態により、対象物が複数のフレーム間での位置オフセットに基づいて、その対象物が移動対象物であるか否かを判断するが、位置オフセットが合理的な範囲内にある対象物を第２の候補対象物として選択する必要があることに注意すべきである。

第１のフレーム及び第２のフレームが２つの連続したフレームであり、採集時間間隔が０．１秒であると仮定する。第１のフレームにおいて見つけた候補対象物１の位置が（Ｘ１、Ｙ、Ｚ）であり、第２のフレームから見つけた候補対象物２の位置が（Ｘ２、Ｙ、Ｚ）であるとする。２つの候補対象物のサイズの比率、平滑度、反射強度と点群密度はいずれも近く、位置（Ｘ１とＸ２）との間の距離が１０メートルに達するとする。この場合、候補対象物１と候補対象物２がいずれも同一の車両に対応する場合、当該車両の速度は、１０メートル／０．１秒（つまり、３６０キロメートル／時間）に達することになる。都市の道路についていうと、車両速度が３６０キロメートル／時間に達する状況が現れる可能性がなく、候補対象物２は、候補対象物１に対応することができないことを確定することができる。このような方法で、第１の候補対象物に対応する第２の候補対象物を選択する場合に、位置が合理的な範囲内にある対象物を第２の候補対象物として選択することができる。

なお、上述複数の異なる実施形態において、サイズの比率、平滑度、反射強度、位置、および点群密度のような複数の特徴の具体的な意味及び関連の動作を詳細に説明したが、本開示に係る例示的実施形態によると、上述した特徴を組み合わせることができ、例えば、対象物の特徴をより全面的に反映するように、各特徴について相応の重み係数を設定することができることに注意すべきである。さらに、第１の候補対象物に対応する第２の候補対象物を選択する場合に、各々の特徴がいずれもマッチングされている対象物を第２の候補対象物として選択することができる。

本開示に係る例示的実施形態によれば、画像に基づいて、第２の候補対象物を選択することに協力することもできる。具体的に、第１のフレーム及び第２のフレームに関連付けられた第１の画像と第２の画像をそれぞれ取得することができる。さらに、第２の候補対象物を選択する場合、選択された対象物の第２の画像における結像が第１の候補対象物の第１の画像における結像とマッチングするように、対象物を第２の候補対象物として選択することができる。本実施形態において、各フレームに関連付けられる画像を参照することにより、第２の候補対象物を選択する精度を更に向上させることができる。

なお、採集装置１１０は、画像採集装置がさらに配置されることができ、当該イメージ採集装置は、点群データ中のフレームに対応する画像を採集するために、採集装置１１０中のレーザー採集装置と連携して動作できることに注意すべきである。この場合、画像における内容に基づいて、第２の候補対象物を選択することもできる。画像採集装置及びレーザー採集装置の位置は、近似しており、向きが一致している。画像採集装置は、各フレームの画像においてすべて赤い色の車を撮れたと仮定すると、この場合、点群データの第１のフレーム及び第２のフレームから、赤い色の車に対応する対象物を第１の候補対象物と第２の候補対象物としてそれぞれ選択することができる。

本開示に係る例示的実施形態によれば、第１のフレーム及び第２のフレームは、点群データのうちの２つの連続したフレームであるとすることができる。本開示に係る例示的実施形態によれば、各フレームの番号又はその他の属性によって各フレームの時間的順序と時間間隔を判断することができれば、第１のフレーム及び第２のフレームは、点群データにおける２つの不連続なフレームであってもよい。

図５に戻って図５を参照すると、ブロック５３０において、第１の候補対象物と第２の候補対象物の点群データの座標系における第１の位置及び第２位置をそれぞれ確定する。本開示に係る例示的実施形態によれば、各候補対象物の中心の位置を、その候補対象物の位置とすることができる。なお、中心の位置は、様々な方法で計算することができる。例えば、その対象物に関連付けられたすべてのまたは一部のポイントを取得することができ、これらの点の座標系における位置に基づいて、中心の位置を算出することができる。オプション的に、点群密度などのパラメータに基ついて、各ポイントの位置に重み付けを行うこともでき、または、その他の統計方法に基づいて対象物の他の場所を対象物の位置とすることもできる。

図５中のブロック５４０において、第１の位置と第２位置との間にオフセットが存在する場合に、第１の候補対象物を移動対象物と標識する。本実施形態において、２つのフレームの中の２つの候補対象物の位置を確定する前に、オフセットが存在するか否かを確定することができる。オフセットが存在する場合に、第１の候補対象物を移動対象物として標識することができ、そうでなければ、当該第１の候補対象物を静止対象物に標識することができる。本開示に係る文脈で第１の候補対象物を移動対象物として標識することで説明したが、第２の候補対象物がその第１の候補対象物と互いに対応しており、両者は同一の物理的な対象物の点群データの２つのフレームにおける表現なので、この場合、第２の候補対象物も移動対象物として標識されることができることに注意すべきである。

図７を参照すると、第１のフレーム７１０Ａと第２のフレーム７１０Ｂでそれぞれ第１の候補対象物７１４Ａと第２の候補対象物７１４Ｂを抽出し、２つの候補対象物の位置は、第１位置７１６Ａと第２の位置７１６Ｂに確定した。図示されたように、２つの位置の間にオフセットＤが存在するので、第１の候補対象物と第２の候補対象物のうちの何れか一つを移動対象物として標識することができる。

以下のような状況が存在し得る。すなわち、２つの候補対象物の間にオフセットが存在するが、該オフセットは、いくつかのノイズまたはその他の要因の干渉による可能性がある。したがって、連続的、又は時間間隔が非常に近接する２つのフレームからのオフセットを検出するだけで、第１の候補対象物と第２の候補対象物を移動対象物として確定することはできない。さらに、移動対象物をより正確に判断するために、複数のフレームの内容を監視することもできる。

本開示に係る例示的実施形態によれば、点群データから第３のフレームを取得することができ、ここで、第３のフレームは、第２のフレームに隣接する後続のフレームまたは第２のフレームの後の他の不連続的なフレームであることができる。続いて、上述の方法に従って、第３のフレームで第１の候補対象物に対応する第３の候補対象物を抽出することができる。第３の候補対象物の座標系における第３の位置がオフセットに関連付けられた場合に、第１の候補対象物を移動対象物と標識する。

本実施形態において、点群データのうち、より多くのフレームを更に参照することにより、わずか２つのフレームのデータに依存することによる誤判断をフィルタリングすることができる一方、他方では移動対象物が多くのフレームで現れることを更に確定することができ、点群データから移動対象物に関連付けられた部分を除去するのに有利である。

以下、図７を参照して、当該実施形態よりも多くの詳細事項を説明する。図７は、本開示の例示的実施形態に係る点群データのうち、第１のフレーム、第２のフレーム及び第３のフレームを処理するための方法７００の図面を概略的に示す。図７に示すように、図面記号「７１０Ａ、７１０Ｂと７１０Ｃ」は、点群データのうち、３つの連続したフレームをそれぞれ示す。この例において、各フレーム７１０Ａ、７１０Ｂ、７１０Ｃは、時間順に配列されている。説明の便宜上、図７には、抽出された各候補対象物だけを示し、その他のデータは図示しないことにする。

図７を参照すると、ここで、第１のフレーム７１０Ａ、第２のフレーム７１０Ｂ及び第３のフレーム７１０Ｃで既に第１の候補対象物７１４Ａ、第２の候補対象物７１４Ｂ及び第３の候補対象物７１４Ｃを抽出し、３つの候補対象物が点群データの座標系における位置は、それぞれ「７１６Ａ」、「７１６Ｂ」と「７１６Ｃ」になっている。この場合、それぞれの場所の間のオフセットに基づいて、各候補対象物が移動対象物に関連付けられた点群データであるか否かを確定することができる。

図７を参照すると、第１の位置７１６Ａと第２の位置７１６Ｂとの間のオフセットはＤであり、第２の位置７１６Ｂと第３の位置７１６Ｃとの間のオフセットもＤである。この場合、第３の候補対象物７１４Ｃの座標系における第３の位置７１６Ｃと、前に確定したオフセットＤ（すなわち、第２の位置７１６Ｂと第１の位置７１６Ａとの間のオフセット）とが関連付けられたものとすることができる。したがって、第１の候補対象物７１４Ａ、第２の候補対象物７１４Ｂ及び第３の候補対象物７１４Ｃが同一の移動中の実体的対象物に関連付けられたものと確定することができる。さらに、各候補対象物を移動対象物として標識することができる。

なお、図７に座標系の中のｘ軸方向に沿ったオフセットが示されたが、本開示に係る例示的実施形態によれば、座標系の中のｘ、ｙ、ｚ軸方向のいずれにもオフセットが存在してもよいことに注意すべきである。

本開示に係る例示的実施形態によれば、第３の候補対象物の第３のフレームにおける予測位置を確定することができる。予測位置と第３の位置とが一致する場合に、第１の候補対象物を移動対象物と標識する。本実施形態において、簡単な位置判断だけで第３の候補対象物が、第１候補対象物のような移動対象物にも対応するか否かを判断することができるので、認識の精度を向上させる。

続いて、図７の例を参照すると、採集エンティティ１１２が等速で移動するとすると、第１のフレーム７１０Ａと第２のフレーム７１０Ｂとの間のオフセットに基づいて、第３の候補対象物の第３のフレーム７１０Ｃでの予測位置を予測することができる。

続いて、予測位置と実際の検出された第３の候補対象物７１４Ｃの第３の位置７１６Ｃが一致しているか否かに基づいて、第１の候補対象物７１４Ａ、第２の候補対象物７１４Ｂ及び第３の候補対象物７１４Ｃを移動対象物として標識するか否かを確定することができる。本実施形態において、第２の位置７１６Ｂに基づいて、オフセットＤを追加して予測位置を確定することができる。この場合、予測位置と実際に検出された第３の位置７１６Ｃとが一致している。したがって、第１の候補対象物７１４Ａ、第２の候補対象物７１４Ｂ及び第３の候補対象物７１４Ｃは、移動対象物として標識することができる。

本開示に係る例示的実施形態によれば、第１の候補対象物の対象物速度を確定することができ、さらに、対象物速度に基づいて予測位置を確定することができる。本実施形態において、第１のフレームと第２のフレームとの間の時間間隔は、すでに知られているもの（例えば、０．１秒）なので、オフセットが既に知られている場合、オフセットの時間間隔に基づいて対象物速度を確定することができる。上述した例の続きとして、対象物速度＝Ｄ／０．１＝１０Ｄである。言い換えると、この場合、対象物速度は１０Ｄ／秒である。

採集装置１１０は、採集エンティティ１１２上に固定されるので、採集エンティティ１１２が移動する場合、その採集装置１１０が第１のフレーム及び第２のフレームを採集するときの位置は異なることをさらに注意すべきである。したがって、第２の候補対象物の座標系における第２の位置を確定する場合、採集エンティティ１１２の移動速度を考慮することもできる。採集エンティティ１１２の移動速度は、すでに知られているので、簡単な演算により、第２の候補対象物の座標系における第２の位置を確定することができる。同様に、第３の候補対象物７１４Ｃの第３のフレーム７１０Ｃでの第３の位置７１６Ｃも確定することができる。

以上、第１のフレーム及び第２のフレームが２つの連続したフレームである場合について説明したが、本開示に係る例示的実施形態によれば、２つのフレームが不連続的なフレームであってもよいことに注意すべきである。以下、図８を参照して、２つの不連続的なフレームに基づいて移動対象物を如何に確定するかについて説明する。図８は、本開示の例示的実施形態に係る点群データのうち、第１のフレームと第３のフレームを処理するための方法８００の図面を概略的に示す。

図８の例示において、第２のフレーム７１０Ｂが破棄され、なんらかの原因で破損しており、この場合、第１のフレーム７１０Ａ及び第３のフレーム７１０Ｃは、２つの不連続的なフレームになる。フレームの番号またはタイムスタンプデータに基づいて、第１のフレーム７１０Ａと第３のフレーム７１０Ｃとの間の時間間隔を確定することができる。例えば、時間間隔が０．２秒の場合には、上述した方法に基づいて、第１の候補対象物７１４Ａの第１の位置７１６Ａと第３の候補対象物７１４Ｃの第３の位置７１６Ｃとの間のオフセットが２Ｄになることを確定することができる。上述したオフセットに基づいて、第１の候補対象物と第２の候補対象物のうちの何れか一つを移動対象物として標識することができる。

図９は、本開示の例示的実施形態に係る予測位置に基づいて移動対象物を標識するための方法９００のフローチャートを概略的に示す。図９に示すように、ブロック９１０において、オフセットに基づいて、第１の候補対象物の対象物速度を確定する。具体的には、上述した方法に基づいて、オフセット値と２つのフレーム間の時間間隔に基づいて対象物速度を確定することができる。ブロック９２０において、対象物速度に基づいて、第３の候補対象物の座標系における予測位置を確定することができる。この場合は、第３のフレームと第２のフレームとの間の時間間隔を考慮する必要もある。

例えば、第３のフレームを第２のフレームの後に隣接するフレームに仮定すると、この場合、時間間隔は０．１秒であり、予測位置は第２の位置をもとにＤを追加することになる。また、例えば、第３のフレームを第１のフレーム後の５つのサイクルの後のフレームであると仮定すると、この場合、時間間隔は０．５秒であり、予測位置は第２の位置をもとに５Ｄを追加することになる。ブロック９３０において、予測位置と第３の位置とが一致することに応答して、第１の候補対象物を移動対象物と標識する。

本開示に係る例示的実施形態によれば、第１の候補対象物と第２の候補対象物とに基づいて点群データ中の移動対象物に関連付けられたポイントセットを確定することができる。さらに、静止対象物のみ含む点群データを生成するために、原始の点群データから移動対象物に関連付けられたポイントセットを除去することもできる。移動対象物を既に認識した場合に、点群データから当該移動対象物に関連付けられた部分を除去することができる。この方法において、原始採集された点群データにおける不要な部分を除去し、他の目的に用いられる「クリーンな」都市環境の点群データを生成することができる。

以下、図１０を参照して、移動対象物に関連付けられたポイントセットを如何に確定するかについて説明する。図１０は、本開示の例示的実施形態に係る移動対象物に関連するポイントセットを確定するための方法１０００のブロック図を概略的に示す。前述した例の続きとして、第１のフレーム７１０Ａ、第２のフレーム７１０Ｂ及び第３のフレーム７１０Ｃにおける第１の候補対象物７１４Ａ、第２の候補対象物７１４Ｂ、第３の候補対象物７１４Ｃは、すでに移動対象物として標識されている。この場合、これらの３つの候補対象物におけるポイントは、いずれも移動対象物に関連付けられたポイントであるので、点群データから除去すべきである。

本開示に係る例示的実施形態によれば、異なる方法を使用して点群データから不要な部分を除去することができる。例えば、最初の点群データの各フレームから相応の対象物のポイントをそれぞれ除去し、更新された各フレームのデータに基づいて最終的な点群データを生成することができる。また、例えば、移動対象物があるフレームの中のデータに基づいて、移動対象物に対してモデリングを行うことにより、点群データから当該移動対象物に該当する部分を除去することもできる。

本開示に係る例示的実施形態によれば、点群データにおける複数のフレームにおいて、移動対象物に関連付けられたフレームセットを確定する。通常、一定の時間帯に移動対象物は、採集装置１１０の近くに位置するので、一のフレームセット内でいずれも移動対象物を検出することができる。移動対象物の一のフレームセットにおける位置に基づいて、移動対象物の移動軌跡を確定した後、移動軌跡に基づいて移動対象物に関連付けられたポイントセットを確定することができる。この方法により、移動対象物が現れる位置をより正確に確定することができ、各フレームでの移動対象物に関連付けられた部分を確定するのに有利になる。

具体的には、上述した原理に基づいて、点群データの各フレームでの移動対象物に関連付けられた一のフレームセットを見つけることができる。例えば、図７を参照して、上述した例示に続いて、第２のフレームの後の各連続フレームで移動対象物に関連付けられた候補対象物が存在するか否かを、絶えずに探すことができる。存在する場合、次のフレームに移動対象物に関連付けられた候補対象物が存在しなくなるまで探し続ける。

続いて、移動対象物が一のフレームセットにおける各フレームでの位置を確定し、移動の軌跡を形成することができる。この場合、移動軌跡は、点群データを採集する期間に移動対象物が通過した軌跡が記述されているため、当該移動軌跡に基づいて移動対象物に関連付けられたポイントのセットを取得することができる。なお、従来技術で最終の点群データ中のゴーストイメージは当該セット（集合）におけるポイントによるもので、この場合、点群データから当該セットにおけるポイントを除去すると、ゴーストイメージ現象を除去することができることに注意すべきである。

図１１は、本開示の例示的実施形態に係る点群データを処理するための装置１１００のブロック図を概略的に示す。具体的には、当該装置１１００は、点群データから第１のフレーム及び第２のフレームをそれぞれ取得するように構成された取得モジュール１１１０と、第１のフレーム及び第２のフレームから、第１の候補対象物と第１の候補対象物に対応する第２の候補対象物とをそれぞれ抽出するように構成された抽出モジュール１１２０と、第１の候補対象物と、第２の候補対象物の点群データの座標系における第１の位置及び第２位置をそれぞれ確定するように構成された確定モジュール１１３０と、第１の位置及び第２位置との間にオフセットが存在することに応答して、第１の候補対象物と第２の候補対象物のうちの何れか一つを移動対象物として標識するように構成された標識モジュール１１４０とを含む。

本開示に係る例示的実施形態によれば、抽出モジュール１１２０は、クラスタリングモジュールと選択モジュールとを含む。具体的には、クラスタリングモジュールは、第１のフレーム及び第２のフレームにおけるポイントを、座標系でクラスタリングを行い、第１の候補対象物セット及び第２の候補対象物セットをそれぞれ形成するように構成される。選択モジュールは、第１候補対象物セットから第１の候補対象物を選択して、第２の候補対象物セットから第１の候補対象物に対応する第２の候補対象物を選択するように構成される。

本開示に係る例示的実施形態によれば、抽出モジュール１１２０は、地面検出モジュールと形成モジュールとを含む。具体的には、地面検出モジュールは、第１のフレーム及び第２のフレームからそれぞれ地面対象物を検出するように構成される。形成モジュールは、第１のフレーム及び第２のフレームから、地面対象物につながっている１つまたは複数の対象物に基づいて、第１の候補対象物セット及び第２の候補対象物セットをそれぞれ形成するように構成される。

本開示に係る例示的実施形態によれば、抽出モジュール１１２０は、特徴に基づく選択モジュールを含む。特徴に基づく選択モジュールは、第１の候補対象物及び第２の候補対象物のサイズの比率、平滑度、反射強度、位置、および点群密度のうち少なくとも一つに基づいて、第１の候補対象物に対応する第２の候補対象物を選択するように構成される。

本開示に係る例示的実施形態によれば、抽出モジュール１１２０は、画像取得モジュールと、画像に基づく選択モジュールを含む。具体的には、画像取得モジュールは、第１のフレーム及び第２のフレームに関連付けられた第１の画像と第２の画像をそれぞれ取得するように構成される。画像に基づく選択モジュールは、第２の候補対象物の第２の画像における結像が第１の候補対象物の第１の画像における結像とマッチングするように、第２の候補対象物を選択するように構成される。

本開示に係る例示的実施形態によれば、取得モジュール１１１０は、さらに点群データから第３のフレームを取得するように構成される。抽出モジュール１１２０は、第３のフレームからさらに第１の候補対象物に対応する第３の候補対象物を抽出するように構成される。標識モジュール１１４０は、第３の候補対象物の座標系における第３の位置がオフセットと関連付けられたことに応答して、さらに第１の候補対象物を移動対象物として標識するように構成される。

本開示に係る例示的実施形態によれば、標識モジュールは、予測モジュールと移動対象物標識モジュールをさらに含む。具体的には、予測モジュールは、第３の候補対象物の座標系における予測位置を確定するように構成される。移動対象物標識モジュールは、予測位置と第３の位置が一致することに応答して、第１の候補対象物、第２の候補対象物及び第３の候補対象物のうちの何れか一つを移動対象物として標識するように構成される。

本開示に係る例示的実施形態によれば、予測モジュールは、速度確定モジュールと位置確定モジュールとを含む。速度確定モジュールは、オフセットに基づいて、第１の候補対象物の対象物速度を確定するように構成される。位置確定モジュールは、対象物速度に基づいて予測位置を確定するように構成される。

本開示に係る例示的実施形態によれば、装置１１００は、セット確定モジュールと削除モジュールとをさらに含む。具体的には、セット確定モジュールは、第１の候補対象物と第２の候補対象物とに基づいて点群データ中の移動対象物に関連付けられたポイントセットを確定するように構成される。除去モジュールは、点群データからポイントセットを除去するように構成される。

本開示に係る例示的実施形態によれば、セット確定モジュールは、フレーム確定モジュールと、軌跡確定モジュールと、軌跡に基づくセット確定モジュールとを含む。具体的に、フレーム確定モジュールは、点群データ中の複数のフレームにおいて、移動対象物に関連するフレームセットを確定するように構成される。軌跡確定モジュールは、移動対象物のフレームセットにおける位置に基づいて、移動対象物の移動軌跡を確定するように構成される。軌跡に基づくセット確定モジュールは、移動軌跡に基づいて、移動対象物に関連付けられたポイントセットを確定するように構成される。

図１２は、本開示に係る複数の実施形態を実施することができるコンピューティング機器１２００のブロック図を示す。機器１２００は、図１１の点群データを処理するための装置１１００を実現するのに使用することができる。図示されたように、機器１２００は、中央処理装置１２０１（ＣＰＵ）を含み、ＣＰＵ１２０１は、読み取り専用メモリ１２０２（ＲＯＭ）に記憶されたコンピュータプログラム指令、または記憶手段１２０８からランダムアクセスメモリ１２０３（ＲＡＭ）にロードされたコンピュータプログラム指令に基づいて、各種の適切な動作と処理を実行することができる。ＲＡＭ１２０３には、機器１２００の動作に必要な各種のプログラムやデータが記憶されることができる。ＣＰＵ１２０１、ＲＯＭ１２０２とＲＡＭ１２０３、バス１２０４を介して互いに接続される。入力／出力（Ｉ／Ｏ）インターフェース１２０５もバス１２０４に接続される。

機器１２００中のＩ／Ｏインターフェース１２０５に接続されている複数の部品として、キーボード、マウスなどの入力手段１２０６と、様々なタイプの表示装置、スピーカーなどの出力手段１２０７と、磁気ディスク、コンパクトディスクなどの記憶手段１２０８と、ＬＡＮカード、モデム、無線通信トランシーバなどの通信手段１２０９が含まれる。通信手段１２０９は、機器１２００がインターネットなどのコンピュータネットワークおよび／または各種の電気通信網を介して他の機器と情報／データを交換することを可能にする。

中央処理装置１２０１は、前述した各方法と処理、例えば、方法５００および／または方法９００を実行する。例えば、いくつかのの実施形態において、方法５００および／または方法９００は、コンピュータソフトウェアプログラムとして実現されることができ、これは機器可読媒体（例えば、記憶手段１２０８）に含まれている。一部の実施形態において、コンピュータプログラムの一部または全部は、ＲＯＭ１２０２、および／または通信手段１２０９を経由して機器１２００上にロードおよび／またはインストールすることができる。コンピュータプログラムは、ＲＡＭ１２０３にロードされてＣＰＵ１２０１により実行される場合、前述した方法５００および／または方法９００の１つまたは複数のステップを実行することができる。選択可能に、その他の実施形態において、ＣＰＵ１２０１は、ギターの任意の適切な方法で（例えば、ファームウェアの助けを借りて）方法５００および／または方法９００を実行するように構成することができる。

本明細書に説明されて複数の機能は、少なくとも部分的に１つまたは複数のハードウェアロジック部材で実行することができる。例えば、使用可能な模式的なタイプのハードウェアロジック部材は、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、特定用途向け集積回路（ＡＳＩＣ）、オンデマンド標準製品（ＡＳＳＰ）、システム－オン－チップシステム（ＳＯＣ）、複合プログラマブルロジック素子（ＣＰＬＤ）などを含むが、これに限定されない。

本開示に係る方法を実施するためのプログラムコードは、１つまたは複数のプログラマブル言語の任意の組み合わせを利用してプログラミングすることができる。これらのプログラムコードは、汎用コンピュータ、オンデマンドコンピュータ又はその他のプログラマブルデータ処理装置のプロセッサまたは制御装置に提供されることができ、プログラムコードがプロセッサまたは制御装置により実行される場合には、フローチャート、および／またはブロック図に規定された機能／操作が実施される。プログラムコードは、完全に機器で実行されるか、または部分的に機器で実行されるか、または独立したソフトウェアパッケージとして部分的に機器で実行されて、または部分的にリモートマシンで実行され、または完全にリモートマシンまたはサービスで実行されることができる。

本開示に係る文脈において、機器可読媒体は、あるタイプの媒体であることができ、コマンドを実行するシステム、装置又は機器によって使用されるか、またはコマンドの実行システム、装置または機器と組み合わせて使用されるプログラムを含むまたは記憶することができる。機器可読媒体は、機器可読信号媒体または機器可読記憶媒体であることができる。機器可読媒体は、電子、磁気、光学、電磁、赤外線または半導体システム、装置、または機器、または前述した内容の任意の適切な組み合わせを含むことができるが、これに限定されない。機器可読記憶媒体のより具体的な例は、１つまたは複数のワイヤベースの電気的接続、ポータブルコンピュータディスク、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、読み取り専用メモリ（ＲＯＭ）、消去およびプログラム可能な読み取り専用メモリ（ＥＰＲＯＭまたはフラッシュメモリ）、光ファイバ、ポータブルコンパクトディスク読み取り専用メモリ（ＣＤ－ＲＯＭ）、光学ストレージ装置、磁気記憶装置、または前述した内容の任意の適切な組み合わせを含むことができるが、これに限定されない。

また、特定の順序で、各操作を説明したが、これはこのような操作が図示された特定の順序またはシーケンスで実行されることを要求し、目的の結果を実現するために図示されたすべての操作が実行されることを要求すると理解してはならない。一定の環境において、マルチタスクと並列処理は、有利であることができる。同様に、上記説明に様々な具体的な実現の詳細が含まれているが、これらは本開示の範囲の限定と解釈してはならない。別の実施形態の文脈で説明されたいくつかの特徴は、組み合わせの方法で単一の実現に実現されることができる。逆に、単一の実現の文脈で説明された各種の特徴も個別にまたは任意の適切なサブ組み合わせの方法で複数の実現に実現されることもできる。

構造の特徴および／または方法のロジックの動作に固有の言語を使用して本主題を説明したが、特許請求の範囲に特定された主題は、必ずしも前述した特定の特徴または動作に限定されるべきではないことを理解すべきである。逆に、前述した特定の特徴または動作は、単に特許請求の範囲を実現する例示的なものである。

１１０ 採集装置
１２０ 車両
１２２ 自転車
１３０ 道路
２３０、２４０、２５０ 道路、樹木と建築物に関連する部分
７１０Ａ 第１のフレーム
７１０Ｂ 第２のフレーム
７１０Ｃ 第３のフレーム
７１６Ａ 第１の位置
７１６Ｂ 第２の位置
７１６Ｃ 第３の位置
１２０１ ＣＰＵ
１２０２ ＲＯＭ
１２０３ ＲＡＭ
１２０４ バス
１２０５ 入力／出力（Ｉ／Ｏ）インターフェース
１２０６ 入力手段
１２０７ 出力手段
１２０８ 記憶手段
１２０９ 通信手段

Claims (19)

1. 点群データを処理するための方法であって、
   前記点群データから第１のフレームと第２のフレームとをそれぞれ取得する取得ステップと、
   前記第１のフレームから第１の候補対象物を抽出し、前記第２のフレームから、前記第１の候補対象物に対応する第２の候補対象物を抽出する抽出ステップと、
   前記第１の候補対象物及び前記第２の候補対象物の前記点群データの座標系における第１の位置及び第２の位置をそれぞれ確定する確定ステップと、
   前記座標系において、前記第１の位置と前記第２の位置との間に位置オフセットが存在することに応答して、前記第１の候補対象物及び前記第２の候補対象物のうちの何れか一つを移動対象物として標識する標識ステップと、
   を含み、
   前記抽出ステップは、
   前記座標系において、前記第１のフレーム及び前記第２のフレームにおけるポイントに対してクラスタリングを行い、第１の候補対象物セット及び第２の候補対象物セットをそれぞれ形成するクラスタリングステップと、
   前記第１の候補対象物セットから前記第１の候補対象物を選択し、前記第２の候補対象物セットから前記第１の候補対象物に対応する前記第２の候補対象物を選択する選択ステップと
   をさらに含み、
   前記クラスタリングステップは、
   前記第１のフレーム及び前記第２のフレームからそれぞれ地面対象物を検出する地面の検出ステップと、
   前記検出した地面対象物の高さと、相応するフレームにおける対象物の高さとを比較することにより、前記地面対象物とつながっている１つまたは複数の対象物を特定するステップと、
   前記第１のフレーム及び前記第２のフレームにおいて、前記地面対象物とつながっている１つまたは複数の対象物に基づいて、前記第１の候補対象物セット及び前記第２の候補対象物セットをそれぞれ形成する形成ステップと
   をさらに含む、点群データを処理するための方法。
2. 前記選択ステップは、
   前記第１の候補対象物及び前記第２の候補対象物のサイズの比率、平滑度、反射強度、位置、および点群密度のうち少なくとも一つに基づいて、前記第１の候補対象物に対応する第２の候補対象物を選択するステップをさらに含むことを特徴とする請求項１に記載の点群データを処理するための方法。
3. 前記選択ステップは、
   前記第１のフレーム及び前記第２のフレームに関連付けられた第１の画像及び第２の画像をそれぞれ取得する画像取得ステップと、
   前記第２の候補対象物の前記第２の画像における結像と、前記第１の候補対象物の前記第１の画像における結像とをマッチングするように、前記第２の候補対象物を選択する画像に基づく選択ステップと
   をさらに含むことを特徴とする請求項１に記載の点群データを処理するための方法。
4. 前記標識ステップは、
   前記点群データから第３のフレームを取得するステップと、
   前記第３のフレームから前記第１の候補対象物に対応する第３の候補対象物を抽出するステップと、
   前記第３の候補対象物の前記座標系における第３の位置と前記位置オフセットとが関連付けられたことに応答して、前記第１の候補対象物、第２の候補対象物及び前記第３の候補対象物のうちの何れか一つを、前記移動対象物として標識する第１移動対象物標識ステップと
   をさらに含むことを特徴とする請求項１乃至請求項３のうちの何れか１項に記載の点群データを処理するための方法。
5. 前記第１移動対象物標識ステップは、
   前記第３の候補対象物の前記座標系における予測位置を確定する予測ステップと、
   前記予測位置と前記第３の位置が一致することに応答して、前記第１の候補対象物、第２の候補対象物及び前記第３の候補対象物のうちの何れか一つを、前記移動対象物として標識する第２移動対象物標識ステップと
   をさらに含むことを特徴とする請求項４に記載の点群データを処理するための方法。
6. 前記予測ステップは、
   前記位置オフセットに基づいて前記第１の候補対象物の対象物速度を確定する速度確定ステップと、
   前記対象物速度に基づいて、前記予測位置を確定する位置確定ステップと
   をさらに含むことを特徴とする請求項５に記載の点群データを処理するための方法。
7. 前記点群データを処理するための方法には、
   前記第１の候補対象物及び前記第２の候補対象物に基づいて、前記点群データ中の前記移動対象物に関連付けられたポイントセットを確定するセット確定ステップと、
   前記点群データから前記ポイントセットを除去する除去ステップと
   をさらに含むことを特徴とする請求項１乃至請求項３のうちの何れか１項に記載の点群データを処理するための方法。
8. 前記セット確定ステップは、
   前記点群データ中の複数のフレームから、前記移動対象物に関連付けられた一のフレームセットを確定するフレーム確定ステップと、
   移動対象物の前記一のフレームセットにおける位置に基づいて、前記移動対象物の移動軌跡を確定する軌跡確定ステップと、
   前記移動軌跡に基づいて、前記移動対象物に関連付けられたポイントセットを確定する軌跡のセットに基づく確定ステップと
   をさらに含むことを特徴とする請求項７に記載の点群データを処理するための方法。
9. 点群データを処理するための装置であって、
   前記点群データから第１のフレームと第２のフレームとをそれぞれ取得するように構成された取得モジュールと、
   前記第１のフレームから第１の候補対象物を抽出し、前記第２のフレームから、前記第１の候補対象物に対応する第２の候補対象物を抽出するように構成された抽出モジュールと、
   前記第１の候補対象物及び前記第２の候補対象物の前記点群データの座標系における第１の位置及び第２の位置をそれぞれ確定するように構成された確定モジュールと、
   前記座標系において、前記第１の位置と前記第２の位置との間に位置オフセットが存在することに応答して、前記第１の候補対象物と前記第２の候補対象物のうちの何れか一つを移動対象物として標識するように構成された標識モジュールと
   を含み、
   前記抽出モジュールは、
   前記座標系において、前記第１のフレーム及び前記第２のフレームにおけるポイントに対してクラスタリングを行い、第１の候補対象物セット及び第２の候補対象物セットをそれぞれ形成するように構成されたクラスタリングモジュールと、
   前記第１の候補対象物セットから前記第１の候補対象物を選択し、前記第２の候補対象物セットから前記第１の候補対象物に対応する前記第２の候補対象物を選択するように構成された選択モジュールと
   をさらに含み、
   前記抽出モジュールは、
   前記第１のフレーム及び前記第２のフレームからそれぞれ地面対象物を検出するように構成された地面の検出モジュールと、
   前記検出した地面対象物の高さと、相応するフレームにおける対象物の高さとを比較することにより、前記地面対象物とつながっている１つまたは複数の対象物を特定するように構成されたモジュールと、
   前記第１のフレーム及び前記第２のフレームにおいて、前記地面対象物と相互接続された１つまたは複数の対象物に基づいて、前記第１の候補対象物セット及び前記第２の候補対象物セットをそれぞれ形成するように構成された形成モジュールと、
   をさらに含む、点群データを処理するための装置。
10. 前記抽出モジュールは、
    前記第１の候補対象物及び前記第２の候補対象物のサイズの比率、平滑度、反射強度、位置、および点群密度のうち少なくとも一つに基づいて、前記第１の候補対象物に対応する第２の候補対象物を選択するように構成された特徴に基づく選択モジュールをさらに含むことを特徴とする請求項９に記載の点群データを処理するための装置。
11. 前記抽出モジュールは、
    前記第１のフレーム及び前記第２のフレームに関連付けられた第１の画像及び第２の画像をそれぞれ取得するように構成された画像取得モジュールと、
    前記第２の候補対象物の前記第２の画像における結像と、前記第１の候補対象物の前記第１の画像における結像とをマッチングするように、前記第２の候補対象物を選択するように構成された画像に基づく選択モジュールと
    をさらに含むことを特徴とする請求項９に記載の点群データを処理するための装置。
12. 前記取得モジュールは、前記点群データから第３のフレームを取得し、
    前記抽出モジュールは、前記第３のフレームから前記第１の候補対象物に対応する第３の候補対象物を抽出し、
    前記標識モジュールは、前記第３の候補対象物の前記座標系における第３の位置と前記位置オフセットとが関連付けられたことに応答して、前記第１の候補対象物、第２の候補対象物及び前記第３の候補対象物のうちの何れか一つを、前記移動対象物として標識することを特徴とする請求項９乃至請求項１１のうちの何れか１項に記載の点群データを処理するための装置。
13. 前記標識モジュールは、
    前記第３の候補対象物の前記座標系における予測位置を確定するように構成された予測モジュールと、
    前記予測位置と前記第３の位置が一致することに応答して、前記第１の候補対象物、第２の候補対象物及び前記第３の候補対象物のうちの何れか一つを、前記移動対象物として標識するように構成された移動対象物標識モジュールと
    をさらに含むことを特徴とする請求項１２に記載の点群データを処理するための装置。
14. 前記予測モジュールは、
    前記位置オフセットに基づいて前記第１の候補対象物の対象物速度を確定するように構成された速度確定モジュールと、
    前記対象物速度に基づいて、前記予測位置を確定するように構成された位置確定モジュールと
    を含むことを特徴とする請求項１３に記載の点群データを処理するための装置。
15. 前記点群データを処理するための装置には、
    前記第１の候補対象物及び前記第２の候補対象物に基づいて、前記点群データ中の前記移動対象物に関連付けられたポイントセットを確定するように構成されたセット確定モジュールと、
    前記点群データから前記ポイントセットを除去するように構成された除去モジュールと
    をさらに含む請求項９乃至請求項１１のうちの何れか１項に記載の点群データを処理するための装置。
16. 前記セット確定モジュールは、
    前記点群データ中の複数のフレームから、前記移動対象物に関連付けられた一のフレームセットを確定するように構成されたフレーム確定モジュールと、
    移動対象物の前記一のフレームセットにおける位置に基づいて、前記移動対象物の移動軌跡を確定するように構成された軌跡確定モジュールと、
    前記移動軌跡に基づいて、前記移動対象物に関連付けられたポイントセットを確定するように構成された軌跡のセットに基づく確定モジュールと
    をさらに含むことを特徴とする請求項１５に記載の点群データを処理するための装置。
17. １つまたは複数のプロセッサと、
    １つまたは複数のプログラムを格納するための記憶手段とを含む装置であって、
    前記１つまたは複数のプログラムが前記１つまたは複数のプロセッサによって実行されると、請求項１乃至請求項８のうちのいずれか１項に記載の方法が実現される装置。
18. コンピュータプログラムが格納されているコンピュータ読み取り可能な記憶媒体であって、
    前記コンピュータプログラムがプロセッサによって実行されると、請求項１乃至請求項８のうちのいずれか１項に記載の方法が実現されるコンピュータ読み取り可能な記憶媒体。
19. コンピュータプログラムであって、
    前記コンピュータプログラムがプロセッサにより実行されると、請求項１乃至請求項８のうちのいずれか１項に記載の方法が実現されるコンピュータプログラム。

Images