JP6261489B2 - ３次元点群から平面を抽出する、方法、画像処理装置およびプログラムを記憶した非一次的なコンピュータ可読媒体 - Google Patents

Description

この発明は、包括的には３次元(３Ｄ)データを処理することに関し、より詳細には、３Ｄセンサーデータから平面特徴を抽出することに関する。

Ｍｉｃｒｏｓｏｆｔ Ｋｉｎｅｃｔ(登録商標)等の低コストの奥行きカメラ及び３Ｄセンサーは、ロボット工学及びコンピュータービジョンの用途において用いることができる。通常、これらのセンサーはシーンの１組の３Ｄ点、すなわち３Ｄ点群を取得する。一般的に、これらの３Ｄ点群は雑音が多く冗長であり、シーンにおける高水準の意味論を特徴付けない。

通常、シーンをコンパクトにかつ意味論的にモデル化するようにプリミティブが３Ｄ点群から抽出される。特に、多くの人工構造物が平面の表面を有するので、平面は最も重要なプリミティブのうちの１つである。

平面抽出
点群から平面を抽出するのに用いられる通常の方法は、ランダムサンプルコンセンサス(ＲＡＮＳＡＣ)に基づく。その方法はまず、平面の幾つかの候補を仮定する。それらの候補はそれぞれ、点群から３つの点をランダムにサンプリングし、３つの点によって定義される平面上にある１組の点(インライアと呼ばれる)を求めることによって生成される。次に、その方法は、候補から最多数のインライアによってサポートされる最適な平面を選択する。その方法は、点群からインライアを除去した後、プロセスを反復して複数の平面を抽出する。その方法は比較的長い時間を要するので、幾つかの変形形態、例えばハフ変換が知られており、プレセグメンテーションのために連結成分解析を点群に適用することができ、次に、セグメントのそれぞれにＲＡＮＳＡＣを適用することができる。ＲＡＮＳＡＣは点群のローカル領域にも適用することができ、それに続いて、ローカル領域のそれぞれから平面上の連結点を見つける。これは領域成長と呼ばれる。

同様であるがはるかに低速な変形形態がボクセル成長である。領域は個々の走査線から抽出される線分から成長させることもできる。別の方法は、法線空間内の点をクラスター化し、原点に対する距離に従って更にクラスター化する。点ごとの法線推定を回避するために、自己適応閾値を用いたグラフベースのセグメンテーションを用いることができる。

平面を用いた応用形態
この方式において抽出される平面は、ロボット工学、コンピュータービジョン、拡張現実及び３Ｄモデル化等の様々な用途において用いられる。平面によって提供されるシーンのコンパクトで意味論的なモデル化は、屋内及び屋外の３Ｄ再構成、可視化、並びに建物情報のモデル化において有用である。主要な平面を抽出することは、ロボットを用いた卓上操作のための一般的な戦略である。なぜなら、平面は、卓上平面に配置された物体をセグメント化するのに役立つからである。平面は、位置推定及び地図作成の同時実行(ＳＬＡＭ)システム及び場所認識システムにも用いられている。これらのシステムでは、平面はシーンのランドマークとして用いることができる。

平面の形態における特徴は点特徴よりも一般的に正確であるが、そのようなＳＬＡＭ及び場所認識システムにおいて６自由度(ＤｏＦ)カメラ姿勢を求めるには、その法線が３Ｄ空間に広がる少なくとも３つの平面が必要とされる。平面の数が不十分であることに起因した縮退を回避するために、点及び平面はランドマークとしてともに用いることができる。

この発明の実施の形態は、３Ｄ点群から複数の平面をリアルタイムで同時に抽出する方法を提供する。

この方法は、領域成長に基づく方法として分類することができる。領域成長においてプリミティブとして一般的に点又は線を用いる従来技術の方法と対照的に、この方法はプリミティブとして領域を用いる。

点群は、組織化された点群と、組織化されていない点群とに分類することができる。組織化された点群では、例えば、近傍関係を記述する２Ｄグリッドを定義することができる奥行きマップから点が生成されるので、３Ｄ点間の近傍関係が知られている。他方で、組織化されていない点群では、近傍関係は未知であり、すなわち点はランダムな順で記憶される。

１つの実施の形態において、領域は奥行きマップの小さな２Ｄパッチであり、組織化された点群がそこから生成される。この場合、３Ｄ点はまず、奥行きマップにおいて定義された２Ｄグリッド構造に従って１組の互いに素な領域に分割される。グラフが定義され、このグラフにおいて、領域はグラフ内のノードに対応し、領域間の近傍関係はグラフにおけるエッジに対応する。２Ｄグリッド構造の一様な分割又は一様でない分割が可能である。

別の実施の形態において、領域は３Ｄ空間におけるボクセルであり、このボクセルにおいて組織化されていない点群が定義される。この場合、３Ｄ空間は１組の互いに素なボクセルに分割され、３Ｄ点のそれぞれが、点の位置に従ってボクセルに割り当てられる。少なくとも１つの３Ｄ点を含むボクセルが、グラフにおいてノードとして定義される。次に、２つのボクセルが３Ｄ空間において互いに隣り合っている場合、グラフ内のエッジが定義される。３Ｄ空間の一様な分割又は一様でない分割が可能である。

グラフが定義された後、凝集型階層的クラスタリング(ＡＨＣ)がグラフに適用される。ＡＨＣは、「ボトムアップ」方式でクラスターの階層を構築する。すなわち、各ノードは最初にクラスターとして定義され、次に、クラスターの対が、一方が階層を上るときにマージされる。各クラスターは１組の３Ｄ点を含み、この１組の３Ｄ点に平面が当てはめられ、当てはめられた平面から３Ｄ点の平均二乗誤差(ＭＳＥ)が求められる。クラスタリングはグラフ内の近傍クラスターを、マージされたクラスターが最小のＭＳＥを有するように系統的にマージする。クラスタリングは、マージによって所定の閾値よりも小さいＭＳＥが生じることができなくなるまで繰り返される。

クラスタリングによって生成される平面の境界は、それらの平面が１組の領域によって表されることに起因して粗い。必要に応じて、平面の境界は、個々の３Ｄ点をプリミティブとして用いることによって、領域成長により精緻化することができる。粗い境界を有するクラスタリング後の平面を、粗い平面と呼び、精緻な境界を有する精緻化後の平面を精緻な平面と呼ぶ。

この方法は、６４０×４８０の点を有する組織化された点群の場合、３０Ｈｚ以上の有効フレームレートで平面を抽出することができ、これは従来技術の方法よりもかなり高速であり、リアルタイムでの適用を可能にする。

この発明の実施の形態による、３Ｄ点群から平面を抽出する方法の流れ図である。 この発明の実施の形態による、グラフの初期化の概略図である。 この発明の実施の形態による、凝集型階層的クラスタリングの概略図である。 この発明の実施の形態に従って抽出された粗い平面の概略図である。 この発明の実施の形態に従って抽出された精緻な平面の概略図である。 この発明の実施の形態による、線分の抽出の概略図である。 この発明の実施の形態による、例示的なグラフ初期化の概略図である。

図１に示すように、この発明の実施の形態は、３Ｄ点群１０１から複数の平面１０２をリアルタイムで同時に抽出する方法を提供する。３Ｄセンサーによって、データは画像として取得されるか、又はリアルタイムの継続動作のためにフレームシーケンスとして取得される。各画像又はフレームは順番に処理される。

点群は、１組の互いに素の領域１１１に分割される(１１０)。領域のために選択されるサイズは、用途の必要性に応じて、例えば、領域あたり約１０個〜１０００個の点の範囲で変動することができる。

ノード及びエッジのグラフ１２１が領域について構築される(１２０)。ノードは領域を表し、エッジは領域の空間関係を表し、互いに隣り合う領域はエッジによって連結されている。凝集型階層的クラスタリング(ＡＨＣ)１３０がグラフに適用される。最初に、各ノードはクラスターであり、次に、クラスター対が系統的にマージされる。クラスタリング後のノードのクラスターは粗い平面１３１に対応する。粗い平面は、点ベースの領域成長を用いて精緻化し(１４０)、精緻な平面１０２を得ることができる。

この方法のステップは、当該技術分野において既知のように、バスによってメモリ及び入／出力インタフェースに接続されたプロセッサ１００において実行することができる。

方法の概観
図２〜図５は、シーンの取得されたデータがどのように処理されるかを概略的に示している。ここでは、奥行きマップから生成された、組織化された点群を用いる方法を説明する。奥行きマップはピクセルの２Ｄグリッドを有し、各ピクセルは距離値を有する。組織化された点群は、内部カメラパラメーター(例えば焦点距離及び主点)に従って３Ｄ空間に対しピクセルを逆投影し、距離値を用いて３Ｄ点を求めることによって生成される。図面は、奥行きマップの２Ｄグリッド上にオーバーレイされたシーンを表している。図面において見てとることができるように、シーンは階段の近くに作業台を含み、作業台の下にバスケットを含む。

図２は、グラフの初期化を示している。この点群は、６４０×４８０ピクセルを有する奥行きマップによって生成される。点群は、例えば２０×２０ピクセル領域に一様に分割される。各領域の強度は、通常、領域内に当てはめられた平面の法線に対応する。同様の強度を有する領域は、おそらく同じ平面に対応する。線によって連結される黒い点は、グラフ内のノード及びエッジを表す。「×」、「○」及び「●」によってマーキングされた領域はそれぞれ、奥行き不連続性、欠落データ及び過剰平面当てはめＭＳＥにおいて拒否された領域を表し、これらの領域はグラフに含まれない。

図３は、最小のＭＳＥを有するクラスターＡが位置特定され(３０１)、マージされる(３０２)、反復ＡＨＣ３００を示している。通常、エリア３０４内にある黒い線は、クラスターＡから出る全てのエッジを示し、黒い太線３０３は、クラスターＡを近傍クラスターとマージするときに最小の平面当てはめＭＳＥを与える、クラスターＡからクラスターＢへのエッジを示している。図４及び図５はそれぞれ、粗い平面及び精緻な平面を示している。

組織化された点群を、２Ｄインデックスを付された３Ｄ点ｐ_ｉ，ｊの組であると定義する。ここで、２Ｄインデックス(ｉ，ｊ)及び(ｉ±１，ｊ±１)は、点が同じ表面上にあるときの、点ｐ_ｉ，ｊと点ｐ_{ｉ±１，ｊ±１}との間の３Ｄ近接性関係を反映する。このインデックス空間は画像空間と呼ぶことができ、通常、距離画像(time-of-flight)カメラ、構造化光走査システム等のデバイスによって、又は更にはレーザー測距器の走査平面を回転することによって生成される奥行きマップから得られる。

２Ｄ線分抽出
まず、１組の２Ｄ点から２Ｄ線分を抽出する例を用いてこの発明による方法を説明する。その後、１組の３Ｄ点から３Ｄ空間内の平面を抽出することへ説明を展開する。

図６に示すように、３Ｄセンサーから出力された１組の２Ｄ点６０１から線特徴を抽出する。ここで、１組の２Ｄ点が組織化され、すなわち近傍関係が知られ、このため、その組は一連の２Ｄ点として与えられる。ドットはシーケンス内の２Ｄ点を表す。文字をラベル付けされた円及びそれらの対応する括弧は、双方向連結リスト６０２においてクラスターを示している。

図６に示すように、シーケンス内の全てのＷ個の連続した点(例えばＷ＝３)は、最初にノードとしてグループ化される。ノードは、近傍関係に従って、双方向連結リスト６０２に記憶される。「ノード」及び「クラスター」は、１組のデータ点を表すのに交換可能に用いられる。次に、この連結リストにおいて、以下のステップ、すなわち、
(ａ)最小線当てはめＭＳＥを有するノードを見つけるステップと、
(ｂ)このノードを、最小線当てはめＭＳＥを与える左近傍又は右近傍とマージするステップと、
を反復することによってＡＨＣが実行される。

例えば、示されるＡＨＣの反復のうちの１つ６０３において、最小線当てはめＭＳＥを有するノードｇが発見される。太線は、ノードｇをその左近傍ｅｆとマージすることによって、その右近傍ｈとマージするよりも小さな線当てはめＭＳＥが得られることを示し、このため、ノードｇはノードｅｆとマージされ、ノードｅｆｇ６０４が生成される。

最小マージＭＳＥが所定の閾値よりも大きい場合(これは通常、センサーの雑音特性によって判定することができる)、マージはキャンセルされ、ノードｇは線分として抽出することができる。２つのノードをマージし、結果として生じる線当てはめＭＳＥを計算することは、積分画像を用いた一定時間動作(constant time operation)として行うことができる。積分画像は、例えば米国特許第７，０２０，３３７号に記載されている。

３Ｄ点群からの平面抽出に一般化するときの差異
シーケンス内の点の順序に隠された近傍情報の重大性を認識するために、２Ｄ線抽出から、組織化された点群における３Ｄ平面抽出に一般化を行う。ここで、近傍情報は２Ｄインデックスに記憶される。しかしながら、この一般化は自明でなく、全く明白でない。３Ｄの場合、２Ｄ線抽出では見られない２つの主要な差異が存在する。
ノード初期化：線分抽出と対照的に、初期ノード、したがってマージ中及びマージ後の任意の２つのノードは、ノード間で共有される同一の点を有するべきでない。
ノードマージ：線分抽出において、ノードをその近傍とマージすることは、左近傍又は右近傍への最大で２つのマージ試行を伴う一定時間動作である。３Ｄの場合、ノードはグラフを形成するように連結され、マージステップ後に可変数の近傍を有するので、多数のマージ試行が必要とされる可能性がある。

第１の差異の理由は、組織化された点群の画像空間において互いにマージされることになるノードについて、２つの可能な方向が存在することである。幾つかのマージステップ後、或る特定のノードＢ_ｓに属する３Ｄ点は、画像空間における初期の長方形形状を維持する代わりに不規則な形状を形成する。このため、異なるノードが同一の点を有することを許可される場合、積分画像の助けを借りても、２つのノードをマージするときに重複する点を効率的に処理することは非常に困難である。

線分抽出では、２つの近傍の線分をマージしても、点シーケンス内の開始インデックス及び終了インデックスにより表される線分が結果として得られる。これにより、重複するノードが実現可能になる。重複するノードによって、線分抽出が線分をそれらの境界において自動的に分割することが可能になることに気づくことが重要である。なぜなら、異なる線分における点を含むノードは、他のノード、例えば図６のノードｃ、ｄ及びｈよりも大きな線当てはめＭＳＥを有する傾向があり、それによってそれらのノードのマージ試行はまず先延ばしになり、最終的に拒否されるためである。

第２の差異、すなわちノードの可変数の近傍によって、最小マージＭＳＥを見つけるマージ試行数が増大する。しかしながら、マージ試行平均数は小さな数にとどまり、このため、クラスタリングを効率的に実行することができることが経験的にわかっている。

高速平面抽出方法
この発明による平面抽出方法は、以下の主要なステップ、すなわち、１)グラフ初期化、２)凝集型階層的クラスタリング(ＡＨＣ)、３)境界精緻化を含む。用途が平面領域の粗いセグメンテーションしか必要としない場合、例えば用途が平面の法線を必要とするがそれらの境界情報を必要としない場合、境界精緻化ステップは省くことができ、これによって処理フレームレートを５０Ｈｚよりも高くまで増大させることができる。

グラフ初期化
上記で説明したように、この方法は、初期化中に互いに素な領域及び重複しないノードを生成する。図７に示すシーンを検討する。ここで、画像空間において定義される３Ｄ点は長方形領域７０１に一様に分割される。マークを一切有しない領域は初期ノードであり、グラフを形成する。他方で、幾つかのマークを有する領域は以下の理由により破棄されている。「○」は欠落データを有する領域を表し、「×」は奥行き不連続性を有する領域を表し、黒いドットは過度に大きな平面当てはめＭＳＥを有する領域を表し、「Ｂ」は２つの連結平面間の境界領域に位置する領域を表す。

３Ｄセンサーにおける固有の制限に起因して、シーンの幾つかの領域は感知することができず、欠落データをもたらす。これは例えば雨戸の隣の窓ガラスである。欠落データ点を含む領域は検討されるべきでない。また、幾つかの領域は、領域が平面性の仮定に違反することに通常起因して、非常に大きな平面当てはめＭＳＥを有する可能性があり、このため検討されるべきでない。

２つの他の異なるシナリオは、奥行き不連続性を含む領域、及び２つの平面間の境界における領域である。前者の場合、領域は３Ｄでは連結しないが、画像空間では視認方向に起因して互いに近くにある、２つの面上に位置する２組の点を含む。通常、一方の面が他方を部分的に遮蔽し、例えば、モニターがモニターの背後の壁Ａを遮蔽する。

平面当てはめのために、この領域に属する点上で主成分解析(ＰＣＡ)が実行される場合、当てはめられた平面は視認方向に対しほぼ平行であり、依然として小さなＭＳＥを有する。この「アウトライア」領域をその近傍とマージすることは、最小二乗法におけるアウトライアの既知の過剰な重み付け問題に起因して、平面当てはめ結果に悪影響を有することになる。後者の場合、境界領域は３Ｄにおいて互いに近いが、２つの異なる面にある点、例えば部屋の隅を含み、これによってマージ後の平面当てはめ精度が減少する。このため、そのような領域を排除する。

凝集型階層的クラスタリング
図６に示す線抽出の場合のように双方向連結リストに対し動作する代わりに、この発明によるＡＨＣはグラフに対し動作する。グラフ内の全てのノードの中から、現在、最小の平面当てはめＭＳＥを有するノードｖを求め、その近傍ノードのうちの、最小マージＭＳＥを与える近傍ノードｕ_ｂｅｓｔとマージすることを試みる。グラフ内の各ノードは、１組の点である領域を表し、このためマージＭＳＥは、２つの組の和集合ｕ_{ｍｅｒｇｅ}の平面当てはめＭＳＥであることを想起されたい。

この最小マージＭＳＥが或る所定の閾値Ｔ_ＭＳＥを超える場合、平面セグメントｖが発見され、グラフから抽出される。そうでない場合、ｖとｕ_ｂｅｓｔとの間のエッジ収縮によって、マージされたノードｕ_{ｍｅｒｇｅ}がグラフに戻して加えられる。

実施態様の詳細
幾つかの実施態様の詳細によって、粗い平面抽出の速度及び精度が改善する。
１．各ノードｖ_ｉ，ｊのメンバーシップを追跡するために互いに素な組のデータ構造が用いられる。
２．最小平面当てはめＭＳＥを有するノードを効率的に発見するために、最小ヒープデータ構造が用いられる。最小ヒープは、各ノード内に含まれるデータがそのノードの子におけるデータ以下であるような完全な二分木である。
３．全てのノードが、表される領域内の全ての点の一次統計及び二次統計、すなわち、

Σｘ_i,j,Σｙ_i,j,Σｚ_i,j,Σｘ² _i,j,Σｙ² _i,j,Σｚ² _i,j,
Σｘ_i,jｙ_i,j,Σｙ_i,jｚ_i,j,Σｚ_i,jｘ_i,j,

を維持し、それによって、２つのノードをマージし、ＰＣＡを通じてその平面方程式及びＭＳＥを計算することが一定時間動作であるようにする。
４．奥行き不連続性は、ノードを拒否することを断定し(predicate)、セグメントを抽出するための閾値ＴＭＳＥはセンサー雑音特性に依拠する。

境界精緻化
多くの用途にとって、粗い平面は、平面境界における鋸歯エッジ等のアーティファクト、遮蔽境界における用いられないデータ点、及び過剰なセグメンテーションに起因して不十分である場合がある。

そのようなアーティファクトは、境界領域の侵食と、それに続く、プリミティブとして個々の点を用いた領域成長とによって低減することができる。領域成長は全ての新たな境界点から開始し、全ての使用されていないデータ点を、以前に抽出された最も近い平面に割り当てる。

用途
この発明の方法によって抽出される平面は多くの用途において用いることができる。平面は、異なる座標系において定義された１組の３Ｄ点群を位置合わせするのに用いることができる。位置合わせは、その法線が３Ｄ空間に広がる３つ以上の平面が存在するときに行うことができ、そうでない場合、３Ｄ点は、平面と併せて位置合わせに用いることができる。

平面は、個々の点よりも３Ｄセンサー測定値の雑音によって受ける影響が少ない。このため、平面を用いることによって、３Ｄ点群における元の３Ｄ点を用いるよりも、３Ｄロケーションのより精緻な座標を求めることができる。

例えば、平面が図７に示す点群に当てはめられた後、モニターの角の３Ｄ座標を抽出することができる。３Ｄロケーションの座標は、平面の境界点として、又は平面の境界点に当てはめられた或る形状の特徴点(例えば、境界点に当てはめられた円の中心)として自動的に求めることができる。３Ｄ座標は、奥行きマップにおけるピクセルロケーションを選択することによって手作業で指定することもでき、そこから、ピクセルを平面上に逆投影することによって３Ｄ座標が求められる。

Claims (18)

1. ３次元(３Ｄ)点から平面を抽出する方法であって、
   ３次元(３Ｄ)センサーにより奥行きマップを取得するステップであって、前記奥行きマップはピクセルの二次元グリッドを有し、各ピクセルは奥行き値を有するものと、
   前記奥行きマップを逆投影して３次元(３Ｄ)点群を生成するステップと、
   前記３Ｄ点を互いに素な領域に分割するステップと、
   ノード及びエッジのグラフを構築するステップであって、前記ノードは前記領域を表し、前記エッジは前記領域の近傍関係を表し、各ノードは１組の３Ｄ点、前記１組の３Ｄ点に当てはめられた面および前記面に対する前記１組の３Ｄ点の平均二乗誤差(ＭＳＥ)を含むものと、
   凝集型階層的クラスタリングを前記グラフに適用するステップであって、同じ平面に属する領域をマージし、前記凝集型階層的クラスタリングの各反復において、最小ＭＳＥを有するノードが選択されて近傍ノードの中から最小マージＭＳＥを有する近傍ノードの１つとマージされるものと、
   を含み、
   前記ステップはプロセッサにおいて実行される、３次元点から平面を抽出する方法。
2. 前記３Ｄ点は３Ｄセンサーによって取得される、請求項１に記載の方法。
3. 前記平面の境界を精緻化するために領域成長を適用するステップを更に含む、請求項１に記載の方法。
4. 前記平面は画像シーケンスからリアルタイムで抽出される、請求項１に記載の方法。
5. 前記分割は一様であり、前記領域はサイズが等しい、請求項１に記載の方法。
6. 前記３Ｄ点は組織化され、２Ｄインデックスを有する、請求項１に記載の方法。
7. 前記２Ｄインデックスは、前記分割するステップ及び前記構築するステップのために用いられる、請求項６に記載の方法。
8. 前記各領域内の全ての点の一次統計及び二次統計を維持するステップを更に含む、請求項１に記載の方法。
9. 前記３Ｄ点は組織化されない、請求項１に記載の方法。
10. ３Ｄ空間において１組のボクセルを定義するステップと、
    前記各３Ｄ点を該３Ｄ点の座標に従ってボクセルに割り当てるステップと、
    少なくとも１つの３Ｄ点を有するボクセルを前記ノードであると決定するステップと、
    ２つのボクセルが前記３Ｄ空間において互いに隣り合っている場合に、該ボクセル間の前記エッジを定義するステップと、
    を更に含む、請求項９に記載の方法。
11. 前記分割は一様でない、請求項１に記載の方法。
12. 異なる座標系において定義された前記３Ｄ点の組を、前記３Ｄ点の前記各組から抽出された前記平面を用いることによって位置合わせするステップを更に含む、請求項１に記載の方法。
13. 前記位置合わせするステップは前記３Ｄ点及び前記平面を用いる、請求項１２に記載の方法。
14. 前記平面は、３Ｄロケーションの座標を求めるのに用いられる、請求項１に記載の方法。
15. 前記３Ｄロケーションは手作業で指定される、請求項１４に記載の方法。
16. 前記３Ｄロケーションは自動的に求められる、請求項１４に記載の方法。
17. ３次元(３Ｄ)点から平面を抽出する画像処理装置であって、前記画像処理装置は、
    奥行きマップを取得するように構成された３次元(３Ｄ)センサーであって、前記奥行きマップはピクセルの二次元グリッドを有し、各ピクセルは奥行き値を有するものと、
    前記３Ｄセンサーに動作的に接続され前記奥行きマップを受けるプロセッサと、
    を備え、前記プロセッサは、
    前記奥行きマップを逆投影して３次元(３Ｄ)点群を生成し、
    前記３Ｄ点群を互いに素な領域に分割し、
    ノード及びエッジのグラフを構築し、前記ノードは前記領域を表し、前記エッジは前記領域の近傍関係を表し、各ノードは１組の３Ｄ点、前記１組の３Ｄ点に当てはめられた面および前記面に対する前記１組の３Ｄ点の平均二乗誤差(ＭＳＥ)を含み、
    凝集型階層的クラスタリングを前記グラフに適用し、同じ平面に属する領域をマージし、前記凝集型階層的クラスタリングの各反復において、最小ＭＳＥを有するノードが選択されて近傍ノードの中から最小マージＭＳＥを有する近傍ノードの１つとマージされる、
    ように構成さている、
    ３次元(３Ｄ)点から平面を抽出する画像処理装置。
18. ３次元(３Ｄ)点から平面を抽出するために画像処理をプロセッサに実行させるプログラムを記憶した非一次的なコンピュータ可読媒体であって、前記画像処理は、
    ３次元(３Ｄ)センサーにより奥行きマップを取得するステップであって、前記奥行きマップはピクセルの二次元グリッドを有し、各ピクセルは奥行き値を有するものと、
    前記奥行きマップを逆投影して３次元(３Ｄ)点群を生成するステップと、
    前記３Ｄ点を互いに素な領域に分割するステップと、
    ノード及びエッジのグラフを構築するステップであって、前記ノードは前記領域を表し、前記エッジは前記領域の近傍関係を表し、各ノードは１組の３Ｄ点、前記１組の３Ｄ点に当てはめられた面および前記面に対する前記１組の３Ｄ点の平均二乗誤差(ＭＳＥ)を含むものと、
    凝集型階層的クラスタリングを前記グラフに適用するステップであって、同じ平面に属する領域をマージし、前記凝集型階層的クラスタリングの各反復において、最小ＭＳＥを有するノードが選択されて近傍ノードの中から最小マージＭＳＥを有する近傍ノードの１つとマージされるものと、
    を含み、
    前記ステップは前記プロセッサにおいて実行される、プログラムを記憶した非一次的なコンピュータ可読媒体。

Images