JPWO2014155715A1 - 物体認識装置および物体認識方法並びにプログラム - Google Patents

Abstract

点の集合である点群の情報を記憶する点群記憶部と、前記点群情報に関する情報の入出力を行うための入出力部と、前記点群の形状属性を推定する形状認識部と、前記点群情報における対象物体の存在を認識する物体認識部とを備え、前記点群情報は、計測値の入力である計測点群の情報と、認識すべき対象物体に対応するモデル点群の情報とを含んでおり、前記形状認識部は、前記計測点群及び前記モデル点群の各点について、該各点に対する近傍点の相対的な座標情報より決定される形状属性を推定し、前記物体認識部は、同一の前記形状属性を持つ前記計測点群と前記モデル点群の前記各形状属性のマッチング処理を行い、前記形状属性の一致度に基づき、前記計測点群中における前記モデル点群の存在情報を取得する物体認識装置。

Description

本発明は、計測された点群のデータから、対象物体に相当する点群を自動で抽出する物体認識装置および物体認識方法に係り、特に、３次元点群のデータから対象物体を認識するのに適した装置および方法並びにプログラムに関するものである。

インフラ設備の高経年化に伴い、安全確保や長寿命化のために、インフラ設備の定期メンテナンスを行う必要がある。近年、インフラ設備の保守業務において、損傷、劣化の状態を正確に診断するために、レーザー距離計のような距離センサを利用した３次元計測による所有設備の管理が行われている。得られた３次元形状データをコンピュータ上で確認することができ、より正確に所有設備の形状や姿勢を把握することができる。３次元形状データは、３次元座標が付加された点の集合という形で得られることが多く、一般にこれを３次元点群と呼ぶ。

しかし所有設備が広く散在するにつれ、３次元点群を所有設備ごとに目視確認するのは非常に作業量が大きい。３次元点群には所有設備以外の情報も含まれていることが多い。そのため大量の３次元点群の中から、所有する設備に相当する点群を探す必要がある。その結果、作業に要する時間や費用が大きくなるため、３次元点群から効率的に所有設備を確認するシステムが求められている。そのために、３次元点群から効率的に所有設備に相当する点群を認識し、抽出する処理が必要となる。

このような所有設備の点群を効率的に抽出する方法として特許文献１、２に示すような技術が知られている。
特許文献１では、距離画像より注目点を検出し、その注目点の特徴量を用いて、予め作成され物体のモデルと入力データのマッチングを行う、物体認識方法、物体認識装置、及び自律移動ロボットが開示されている。
特許文献２では、３次元点群に対し、人手で点群を指定することにより、部材ごとに点群を区分し、効率的にＣＡＤ（Ｃｏｍｐｕｔｅｒ Ａｉｄｅｄ Ｄｅｓｉｇｎ）データを作成するＣＡＤデータ作成装置及び情報加工方法が開示されている。

特表２０１２−５２６３３５号公報 特開２００３−３２３４６１号公報

３次元点群から対象物体に相当する点群を自動抽出するには、計測値の入力である３次元点群（計測点群）と対象物体のモデル点群とのマッチングを行うのが、一般的である。しかし計測点群中には、対象物体以外の点群も多く存在するため、計算時間が大きい、マッチングに失敗する等の問題がある。

計算時間を削減するために、上記の特許文献１では、計測点群とモデル点群を距離画像に変換し、各画像の注目点を画像処理によって抽出する。そして、その注目点の周辺の画素値を用いて特徴量を算出し、画像間で特徴マッチングを行う。各点群を距離画像として扱い、また注目点とその周辺のみを用いてマッチングを行っているため、計算時間を削減することができるが、対象物体の注目点が非常に少ない場合は、特徴マッチングができないという問題があり、また点群にノイズが含まれる場合などは、間違えて注目点を検出してしまうことが多いため、マッチングに失敗するという問題がある。また距離画像を用いるため、対象物体に対し、複数の視点から取得された距離画像を用いないとオクルージョンに対応できないという問題もある。

上記の特許文献２では、人手で点群を指定することにより、計測点群を部材ごとに区分することができる。モデル点群を要しないという利点があるが、部材ごとの点群の指定においては各部材の構成に関する専門知識が必要であり、非常に簡単な形状の物体しか抽出することができないという問題点がある。また人手の作業を要するために、依然として作業量が多いという問題点がある。

本発明の課題は、計測点群の情報から物体を認識する物体認識装置および認識方法において、計算時間を削減でき、かつ、マッチング精度の向上を図ることにある。

本発明の代表的なものを示すと、次の通りである。物体認識装置は、点の集合である点群の情報を記憶する点群記憶部と、前記点群情報に関する情報の入出力を行うための入出力部と、前記点群の形状属性を推定する形状認識部と、前記点群情報における対象物体の存在を認識する物体認識部とを備え、前記点群情報は、計測値の入力である計測点群の情報と、認識すべき対象物体に対応するモデル点群の情報とを含んでおり、前記形状認識部は、前記計測点群及び前記モデル点群の各点について、該各点に対する近傍点の相対的な座標情報より決定される形状属性を推定し、前記物体認識部は、同一の前記形状属性を持つ前記計測点群と前記モデル点群の前記各形状属性のマッチング処理を行い、前記形状属性の一致度に基づき、前記計測点群中における前記モデル点群の存在情報を取得することを特徴とする。

本発明では、同一の形状属性を持つ点群同士のみでマッチングを行うことを特徴とする。そのためモデルマッチングの際の最近傍点探索の候補を少なくすることができ、計算時間を削減できる。また基本形状属性が異なる点群同士ではマッチングを行わないため、マッチング精度の向上が実現できる。

本発明の第１の実施例の物体認識装置の基本構成を表すブロック図である。 図１Ａの物体認識装置に入力される計測点群と、この物体認識装置から出力される認識点群の一例を示す図である。 第１の実施例の物体認識装置のハードウェア構成の一例を示す図である。 本発明における、点及び点群について説明する図である。 第１の実施例の形状認識部で行われる形状認識の処理を表す図である。 第１の実施例の局所領域分割部で行われる処理例の説明図である。 第１の実施例のモデル点群データベース（ＤＢ）のデータ構造例である。 第１の実施例の計測点群記憶部のデータ構造例である。 第１の実施例の形状別点群情報記憶部のデータ構造例である。 第１の実施例の基本形状特徴記憶部のデータ構造例である。 第１の実施例の局所領域点群記憶部のデータ構造例である。 第１の実施例の形状認識部と物体認識部で行われる処理例の説明図である。 第１の実施例の形状別座標変換量記憶部のデータ構造例である。 第１の実施例の物体認識部で行われる処理のフロー図である。 第１の実施例の物体認識部で行われる処理例の説明図である。 第１の実施例の物体認識装置のデータ表示部を示した画面である。 第１の実施例の物体認識装置のデータ表示部を示した画面である。 第１の実施例の物体認識装置のデータ表示部を示した画面である。 本発明の第２の実施例の物体認識装置の基本構成を表すブロック図である。 第２の実施例の物体認識装置で行われる処理を表すフロー図である。 本発明の第３の実施例の形状認識部の基本構成を表すブロック図である。 第３の実施例の形状認識部で行われる処理を表すフロー図である。

本発明は、計測点群すなわち２次元点群や３次元点群から、ユーザにより指定された認識すべき対象物体に相当する認識点群を自動的に認識して抽出する物体認識装置や物体認識方法に関するものである。
本発明の概要を以下に述べる。本発明の物体認識装置は、計測点群とモデル点群を記憶する計測点群記憶部と、これらの各点群を局所領域点群に分割し、形状特徴量を計算することにより基本形状属性を付加する形状認識部と、基本形状属性別に点群を記憶する形状別点群記憶部と、基本形状属性ごとに分類された点群から座標変換量を算出し、基本形状属性別の座標変換量を統合した後に、対象物体の点群を計測点群から抽出する物体認識部と、抽出された点群をユーザインターフェースに出力する認識点群出力部と、を備える。

以下では、３次元点群を例に挙げて説明する。まず、入力である３次元点群（計測点群）と対象物体のモデル点群の各点に対し、基本形状属性を付加する。そして計測点群とモデル点群の中で一致する基本形状属性を持つ点群同士のマッチングにより、基本形状属性別に座標変換量を得る。最後に得られた座標変換量を統合することにより、計測点群中のモデル点群の存在情報を取得する。ここでいう点群の形状属性とは、点とその点の近傍に存在する点群の座標値等の相対的な関係から決定される属性情報のことを指す。例えば平面、曲面、線等のような属性を形状属性と定義してもよい。また点群の座標値だけでなく、その他の属性として点の色情報やアルファ値等の情報を用いて形状属性を定義してもよい。例えば、赤い平面、青い平面といった属性を形状属性として定義してもよい。また存在情報とは、計測点群中でモデル点群がどのような姿勢で存在しているかという情報でもよいし、または計測点群中でモデル点群に対応する点群でもよい。
以下、本発明の実施例を、図面を参照して詳細に説明する。

本発明の実施例１を、図１Ａ乃至図１３Ｃを参照しながら説明する。
図１Ａは、本実施例の物体認識装置の基本構成を表すブロック図である。物体認識装置１０は、計測点群入力部１００と、計測点群記憶部１０１と、形状認識部１０２と、モデル点群データベース（ＤＢ）１０３と、形状別点群記憶部１０４と、物体認識部１０５と、認識点群出力部１０６と、入出力ＩＦ部１０７と、モデル選択部１０８とを備えている。入出力ＩＦ部１０７は、ユーザインターフェースとしての表示部１０７０を有する。
図１Ｂは、物体認識装置１０に入力される計測点群３０と、物体認識装置１０から出力される認識点群５０の一例を示す図である。物体認識装置１０は、図１Ｂに示したような計測点群３０を受け取った後、物体認識処理を行って、認識点群５０を提供する。この例では、計測点群３０の中の電柱が認識点群５０として出力されている。

なお、本実施例では、物体認識装置１０を単一の装置として示しているが、この物体認識装置と同じ機能を、１つ若しくは複数のサーバと端末とがネットワークを介して相互に接続された物体認識システムによって実現しても良い。本発明の物体認識装置は、このような物体認識システムも含むものとする。

計測点群入力部１００は、ユーザによって入出力ＩＦ部７から入力された計測点群３０を受け取り、計測点群記憶部１０１に前記データを格納する。計測点群記憶部１０１は、計測点群情報１０１１を備える。具体的には、計測点群入力部１００より受け取った計測点群３０のデータを記憶する。データ構造については後述する。

形状認識部１０２は、計測点群記憶部１０１から計測点群情報１０１１を、モデル選択部１０８から認識すべき対象物体のモデルに関する情報を、モデル点群ＤＢ１０３から対象物体のモデルに対応するモデル点群の情報を、各々受け取り、計測点群情報１０１１に対して得られる形状別点群情報である計測点群情報１０４１と、モデル点群に対して得られる形状別点群情報であるモデル点群情報１０４２とを生成し、形状別点群記憶部１０４に提供する。形状別点群記憶部１０４に格納されるこれらのデータのデータ構造については後述する。物体認識部１０５は、形状別点群記憶部１０４から、計測点群情報１０４１と、モデル点群情報１０４２と、を受け取り、計測点群３０から認識すべき対象物体に対応する計測点群５０を抽出して認識点群出力部１０６へ提供する。

なお、認識すべき対象物体のモデルは、ユーザが入出力ＩＦ部１０７からモデル選択部１０８に所定の情報を入力して指定する。あるいはまた、物体認識装置が特定の対象物体のモデルのみを抽出するように予め設定しておいても良い。後者の場合、物体認識装置は入力された計測点群の中から特定の物体、例えば車のみ、を認識する機能を有する。

前記機能を実現するために、形状認識部１０２は、局所領域分割部１０２１と、形状特徴量算出部１０２２と、基本形状特徴ＤＢ１０２３と、形状分類部１０２４と、局所領域点群記憶部１０２５と、を備える。局所領域点群記憶部１０２５は、計測点群情報１０２５１とモデル点群情報１０２５２とを備える。上記各部が実行する処理、各部間で転送されるデータ、各部内に格納されるデータについては後述する。

モデル点群ＤＢ１０３は、複数の対象物体のモデル点群の情報を格納し、ユーザによって指定された認識すべき対象物体のモデル点群を形状認識部１０２に提供する。前記モデル点群ＤＢ１０３に格納されるデータのデータ構造については後述する。

形状別点群記憶部１０４は、計測点群情報１０４１と、モデル点群情報１０４２と、を備える。具体的には形状認識部１０２より、計測点群情報１０１１を形状別に分割したデータと、モデル点群を形状別に分割したデータを受け取り、計測点群情報１０４１、モデル点群情報１０４２として格納する。そして計測点群情報１０４１と、モデル点群情報１０４２を物体認識部へ提供する。前記形状別点群記憶部１０４に格納されるデータのデータ構造については後述する。

物体認識部１０５は、前記機能を実現するために、座標変換量算出部１０５１と、形状統合部１０５２と、認識点群抽出部１０５３と、形状別座標変換情報記憶部１０５４と、を備える。形状別座標変換情報記憶部１０５４は、各形状ごとに算出された座標変換量である座標変換情報１０５４１を備える。上記各部が実行する処理、各部間で転送されるデータ、各部内で格納される格納されるデータについては後述する。

認識点群出力部１０６は、物体認識部１０５より計測点群５０を受け取り、入出力ＩＦ部１０７を介してユーザに前記計測点群５０を表示する機能を持つ。計測点群５０を表示する際、計測点群３０の中で、ユーザによって指定された認識すべき対象物体として抽出された点群のみを表示してもよいし、対象物体として抽出された点群とそれ以外の点群のそれぞれの色を変更して表示してもよい。

図２Ａは、物体認識装置１０のハードウェア構成である。物体認識装置１０は、操作部１１０１、表示部１１０２と、プロセッサ１１０３と、メインメモリ１１０４と、記憶装置１１０５と、を備える計算機である。
プロセッサ１１０３は、メインメモリ１１０４に格納されたプログラムを実行する。
メインメモリ１１０４は、例えば半導体メモリであり、プロセッサ１１０３によって実行されるプログラム及びプロセッサ１１０３によって参照されるデータを格納する。具体的には、記憶装置１１０５に格納されたプログラム及びデータの少なくとも一部が、必要に応じてメインメモリ１１０４にコピーされる。

プロセッサ１１０３は、各機能部のプログラムに従って動作することによって、所定の機能を実現する機能部として動作する。例えば、物体認識プログラムに従って動作することで、プロセッサ１１０３は物体認識部１０５として機能する。他のプログラムについても同様である。物体認識装置１０は、これらの機能部を含む装置である。

操作部１１０１は、ユーザからの入力操作を受ける。操作部は、例えばキーボードまたはマウス等を含んでもよい。

表示部１１０２は、図１Ａの物体認識装置の表示部１０７０に相当するものであり、ユーザへ情報を出力する。表示部１１０２は、例えば液晶ディスプレイのような画像表示装置であってもよい。

記憶装置１１０５は、例えばハードディスク装置（ＨＤＤ）又はフラッシュメモリのような不揮発性の記憶装置である。本実施例の記憶装置１１０５は、少なくとも形状認識部１０２、物体認識部１０５が格納される。なお、各ＤＢや記憶部も、記憶装置１１０５に格納されてもよい。

また物体認識装置１０の各機能を実現するプログラム、ＤＢ等の情報は、記憶装置１１０５や不揮発性半導体メモリ、ハードディスク装置、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）等の記憶デバイス、または、ＩＣカード、ＳＤカード、ＤＶＤ等の計算機読み取り可能な非一時的データ記憶媒体に格納することができる。

図２Ｂで、本発明における、点及び点群について、簡単に説明する。
１つの画像は、例えば約８００万、あるいは約８０００万の画素（点、ピクセル）で構成されている。これら各画素をここでは、点ｐ１（ｘ１，ｙ１，ｚ１），ｐ２（ｘ２，ｙ２，ｚ２），−，ｐｉ（ｘｉ，ｙｉ，ｚｉ），〜として表す。点の集合が点群である。本発明においては、各点ｐｉに対し、基本形状属性を付加する。なお、ある点ｐｉに対して所定の範囲を、点の近傍と定義する。例えば、三次元データの場合、点ｐｉから半径１０ｃｍの球面内を、点の近傍とする。二次元データの場合は、例えば、点ｐｉから所定の半径の円内を、点の近傍とする。点群の形状属性とは、点とその点の近傍に存在する点群の座標値等の相対的な関係から決定される属性情報のことを指す。例えば平面、曲面、線等のような属性を形状属性と定義してもよい。また点群の座標値だけでなく、その他の属性として、点の色情報やアルファ値等の情報を用いて形状属性を定義してもよい。なお、本発明における形状属性の分類は、平面、曲面、線、その他の４つの分類に限定されるものではない。

また、点の局所領域とは、ある点に空間的に連続する十分に小さいと見なせる領域のことを指し、局所領域内に含まれる点群を局所領域点群と呼ぶ。例えば、各軸の座標値を量子化することによって生成したボクセルを局所領域としても良いし、計測点群に対し、再帰的に空間分割を行っていき、数回行った後に止めて、得られた領域を局所領域としても良い。

図３は、形状認識部１０２で行われる処理を説明したブロック図である。以下、形状認識部１０２で行われる処理（ステップ２１〜ステップ２４）について説明する。

ステップ２１では、形状認識部１０２が、計測点群情報１０１１、もしくはモデル点群ＤＢ１０３から対象物体のモデル点群や計測点群を受信した後、まず局所領域分割部１０２１によって受信したこれらの点群を局所領域ごとの点群に分割し、形状特徴量算出部１０２２へ提供する。すなわち、局所領域分割部１０２１では、三次元データに関して、点群情報を容積が一定値以下となる空間的に連続する局所領域ごとに分割する。二次元の点群データに関しては、点群情報を面積が一定値以下となる面内で連続する局所領域ごとに分割する。このステップ２１についての詳細な処理については、後述する。

ステップ２２では、形状特徴量算出部１０２２は、分割された局所領域の点群を受信した後、各局所領域内の点群に関し、特徴量を算出し、局所領域点群記憶部１０２５へ格納する。前記ステップ２２で算出される特徴量とは、複数の点の座標値、色情報、もしくはその両方より演算されるスカラー量、もしくはベクトル量である。例えば、複数の３次元座標に対し主成分分析を適用することによって得られる分散共分散行列でも良いし、Ｓｐｉｎ Ｉｍａｇｅ等の特徴量を用いてもよい。

ステップ２３では、形状分類部１０２４は、基本形状特徴ＤＢ１０２３から提供された基本形状特徴量を用いることにより、局所領域点群記憶部１０２５に格納された各局所領域の点群を、形状ごとに分類する。前記ステップ２３で行われる形状分類は、基本形状特徴ＤＢ１０２３から提供された基本形状特徴量を学習データとし、局所領域点群記憶部１０２５から提供された局所領域点群の特徴量を分類する教師付き分類である。例えば、ＳＶＭ（Ｓｕｐｐｏｒｔ Ｖｅｃｔｏｒ Ｍａｃｈｉｎｅ）やＧＭＭ（Ｇａｕｓｓｉａｎ Ｍｉｘｔｕｒｅ Ｍｏｄｅｌ）などのアルゴリズムを適用することにより、前記の教師付き分類を実現することができる。なおこの教師付き分類を行う際、前記のＳＶＭやＧＭＭ等では、学習データの存在する形状属性ごとにしか分類することができないが、Ｏｎｅ ｃｌａｓｓ ＳＶＭを用いたり、ＧＭＭにおける正規分布の信頼区間の判定を用いることにより、学習データの存在しないその他クラスに分類することができる。

なお形状ごとの分類を行う際に、各形状に関して同時に分類する必要はなく、分類しやすい形状から分類していってもよい。この場合、形状Ａか形状Ａ以外かに分類し、形状Ａ以外の局所領域点群を形状Ｂか形状Ｂ以外に分類し、ということを繰り返して分類する。例えば、形状属性が、線、平面、曲面、その他という属性だった際、線→平面→曲面→その他の順に形状分類してもよい。また形状別に分類を行う際に、誤分類が生じることも多々ある。例えば、形状Ａに分類された点群を見た時に、本来ならば形状Ａに分類されるべき点が存在していなかったり（ｆａｌｓｅ ｎｅｇａｔｉｖｅ）、形状Ｂ等の他の形状の点が存在する場合（ｆａｌｓｅ ｐｏｓｉｔｉｖｅ）がある。このｆａｌｓｅ ｎｅｇａｔｉｖｅとｆａｌｓｅ ｐｏｓｉｔｉｖｅの割合は最終的なマッチング精度に影響を及ぼすこともある。例えば分類を行う際に、分類器に閾値処理を入れて、ｆａｌｓｅ ｎｅｇａｔｉｖｅとｆａｌｓｅ ｐｏｓｉｔｉｖｅの割合を調整できるようにしてもよい。

ステップ２４では、形状分類部１０２４は、分類された対象物体の点群を形状ごとに統合し、形状別点群を作成し、形状別点群記憶部１０４へ格納する。

図４は、局所領域分割部１０２１にて行われる処理（ステップ２１）の例である。局所領域分割部１０２１では、計測点群３０から、局所領域３１の領域内に含まれる局所領域点群３２を抽出する。但し、得られた局所領域点群は一定数以上の点を含む必要がある。もし局所領域点群３２に含まれる点数が一定数未満となる場合、その局所領域点群は無視するか、空間的に隣接するいずれかの局所領域点群に統合する等の処理を行う必要がある。この点群を局所領域ごとに分割する処理を行った後、点群に対して各局所領域のＩＤを割り当て、局所領域点群記憶部１０２５に格納する。

図５Ａは、モデル点群ＤＢ１０３の説明図である。
モデル点群ＤＢ１０３には、ユーザが管理すべき対象物体のモデル点群の情報８１、８２が格納されている。３次元点群から対象物体の点群を抽出する際に、ユーザが抽出したい対象物体を前記モデル点群ＤＢ１０３から選択し、その選択された対象物体のモデル点群が形状認識部１０２に提供される。

モデル名８１は、ユーザが管理している対象物体の名前、例えば電柱１、電柱２、等である。点群８２は、モデル名８１、例えば電柱１に対応する実際のモデル点群の座標情報である。この際、モデルの各点に対して、座標情報だけでなく、色情報やアルファ値等を含んでいてもよい。

図５Ｂは、計測点群記憶部１０１の説明図である。
計測点群記憶部１０１は、ユーザが入力した計測点群３０（３次元点群）に関する情報８３、８４を格納する。格納されている３次元点群の情報は、計測データである３次元点群から対象物体の認識点群を抽出する際に、形状認識部１０２に提供される。
ＩＤ８３は、３次元点群を構成する各点のＩＤである。

点情報８４は、ＩＤ８３に対応する点の座標情報である。この際、各点に対して、座標情報だけでなく、色情報やアルファ値等を含んでいてもよい。

図６は、形状別点群情報記憶部１０４の説明図である。前記形状別点群情報記憶部１０４は、形状認識部１０２により形状ごとに分割された計測点群やモデル点群の情報を格納し、物体認識部１０５に格納した情報８５、８６を提供する。なお図６では、一つのテーブルのみ表記しているが、実際には計測点群用とモデル点群用の二つのテーブルを設計する必要がある。
形状ＩＤ８５は、形状認識部１０２が点群を形状ごとに分類する際の、各形状属性に関するＩＤである。点群８６は、点群内で、形状認識部１０２が対応する形状ＩＤ８５の属性が割り当てられた点群の座標情報である。座標情報だけでなく、色情報やアルファ値等を含んでいてもよい。

図７は、基本形状特徴ＤＢ１０２３の説明図である。基本形状特徴ＤＢ１０２３は、形状分類部１０２４に各形状の特徴量を提供することにより、形状分類部１０２４は局所領域点群を形状ごとに分類することができるようになる。基本形状特徴ＤＢ１０２３は、形状情報８７〜８９を格納する。形状ＩＤ８７は、形状認識部１０２が点群を形状ごとに分類する際の、各形状属性に関するＩＤである。形状属性８８は、対応する形状ＩＤ８７の属性名である。特徴量８９は、各形状属性を持つ点群情報を演算することによって得られる特徴量の集合である。例えば、点群が持つ座標情報や色情報、アルファ値等、あるいはそれらの組み合わせた値に対し、主成分分析を適用した際の分散共分散行列でも良いし、Ｓｐｉｎ Ｉｍａｇｅ等の特徴量でも良い。但し、特徴量８９は、形状特徴量算出部１０２２にて算出される特徴量と同一種類の特徴量である必要がある。

図８は、局所領域点群記憶部１０２５の説明図である。局所領域点群記憶部１０２５は、局所領域分割部１０２１によって局所領域ごとに分割された点群と、形状特徴量算出部１０２２が各局所領域点群に対して算出した特徴量を格納し、形状分類部１０２４に格納データを提供する。局所領域点群記憶部１０２５は、局所領域点群に関する情報９０〜９２を格納する。なお図８では、一つのテーブルのみ記述しているが、局所領域点群は、計測点群とモデル点群の両方について提供されるものなので、実際には二つのテーブルを設計する必要がある。

局所領域ＩＤ９０は、分割された局所領域点群ごとに割り当てられるＩＤである。点群９１は、対応する局所領域ＩＤ９０の点の座標情報の集合である。この際、座標情報だけでなく、色情報、アルファ値等の情報も含んでいてもよい。局所特徴量９２は、対応する点群９１を形状特徴量算出部１０２２が処理することによって、提供される特徴量である。例えば、点群が持つ座標情報や色情報、アルファ値等、あるいはそれらの組み合わせた値に対し、主成分分析を適用した際の分散共分散行列でも良いし、Ｓｐｉｎ Ｉｍａｇｅ等の特徴量でも良い。

図９は、形状認識部１０２と物体認識部１０５で行われる処理の説明図である。
形状認識部１０２では、計測点群３０とモデル点群４０を形状ごとに分割する。計測点群３０を形状Ａ‘と分類された点群を形状別点群３０１として出力し、同様に形状Ｂ‘〜Ｄ‘と分類された点群を形状別点群３０２、３０３、３０４として出力する。またモデル点群４０に対しても、形状Ｂ、Ｃとして分類された形状別点群４０１、４０２を出力する。なおこの例は、形状Ａ、Ａ‘が平面、形状Ｂ、Ｂ‘が曲面、形状Ｃ、Ｃ’が線、形状Ｄ、Ｄ‘がその他、という形状属性を持つ場合である。また形状別点群３０１〜３０４は計測点群３０を分割することにより生成されているため、全て同じ座標系によって表現されており、形状別点群４０１、４０２もモデル点群４０と同じ座標系によって表現されている。

物体認識部１０５では、同じ形状の点群同士、例えば形状ＢとＢ‘の点群同士、形状ＣとＣ’の点群同士、を比較することにより、計測点群から対象物体の点群を抽出する。物体認識部１０５に備えられている座標変換量算出部１０５１が、同じ形状の点群同士を比較する処理を行う。

図１０は、物体認識部１０５の形状別座標変換量記憶部１０５４の説明図である。形状別座標変換量記憶部１０５４には、計測点群の形状別点群とモデル点群の形状別点群を用いることにより座標変換量算出部１０５１から算出された情報９３〜９９が格納されている。

形状ＩＤ９３は、形状認識部１０２が点群を形状ごとに分類した際の、各形状属性に関するＩＤである。変換量ＩＤ９４は、各形状ごとに複数候補の座標変換量を算出した際に、形状別にそれぞれの座標変換量に割り当てられるＩＤである。回転量９５は、座標変換量算出部１０５１によって提供された、対応する形状ＩＤ９３、変換量ＩＤ９４の回転行列である。並進量９６は、座標変換量算出部１０５１によって提供された、対応する形状ＩＤ９３、変換量９４の並進ベクトルである。入力点数９７は、対応する形状ＩＤ９３に分類された形状別点群の計測点群情報１０４１の点数である。モデル点数９８は、対応する形状ＩＤ９３に分類された形状別点群のモデル点群情報１０４２の点数である。

評価値９９は、対応する回転量９５と並進量９６を用いた時の、対応する形状ＩＤ９３に分類された形状別点群の計測点群情報１０４１とモデル点群情報１０４２のマッチングの評価値である。前記評価値は、マッチングの誤差と正の相関を持つパラメータである。例えば、形状ＩＤ９３に対応するモデル点群情報１０４２を回転量９５と並進量９６を用いて座標変換を行い、前記座標変換されたモデル点群情報１０４２の各点に対し、形状ＩＤ９３に対応する計測点群情報１０４１の最近傍点を探索し、前記モデル点群情報１０４２の各点と前記計測点群情報１０４１の距離の二乗の総和をとったパラメータを前記評価値９９としてもよい。

図９に戻って、モデル点群４０には形状Ａ、Ｄとなる点群は存在しないため、物体認識部１０５では、形状Ｂ‘の形状別点群３０２に関しては形状別点群４０１の形状Ｂとのマッチングを行い、形状Ｃ’の形状別点群３０３に関しては形状別点群４０２の形状Ｃとのマッチングを行う。例えばＩＣＰ（Ｉｔｅｒａｔｉｖｅ Ｃｌｏｓｅｓｔ Ｐｏｉｎｔ）やＮＤＴ（Ｎｏｒｍａｌ Ｄｉｓｔｒｉｂｕｔｉｏｎ Ｔｒａｎｓｆｏｒｍ）などのアルゴリズムを適用することにより、マッチングを実現することができる。例えばＩＣＰを用いる場合、形状別点群３０２の座標系における座標値を式（１）、形状別点群４０１の座標系における座標値を式（２）とすると、式（３）となるような、回転量９５であるＲ_Ｒと並進量９６であるｔ_Ｒを求めることにより、マッチングを行うことができる。

但し、Ｒ_Ｒは３×３の行列であり、回転行列と呼ばれる。またｔ_Ｒは、３次元ベクトルであり、並進ベクトルと呼ばれる。前記回転量９５と並進量９６を合わせて、座標変換量と呼ぶ。物体認識部１０５の座標変換量算出部１０５１は座標変換量を算出した後、形状別座標変換情報記憶部１０５４に座標変換量を格納する。ＩＣＰやＮＤＴを用いて座標変換量を算出する際、局所解が複数算出されることもある。その場合、座標変換量が複数の解候補を持つため、全ての候補を形状別座標変換情報記憶部１０５４に格納する。また座標変換量を格納する際に、そのマッチング時の評価値と、形状別点群３０２、４０１の点数等の情報を格納してもよい。この後、形状統合部１０５２と認識点群抽出部１０５３の処理を行うことにより、計測点群から対象物体の点群を抽出することができる。各部の処理については、後述する。

図１１は、物体認識部１０５で行われる処理のフローを示すブロック図である。以下物体認識部１０５にて行われる処理（ステップ５０〜ステップ５８）について詳細に説明する。ステップ５０では、認識すべきモデル点群の形状の数（Ｎ）を取得し、この数（Ｎ）だけ以下に述べる処理を行う。
ステップ５１では、形状別点群記憶部１０４に格納された計測点群とモデル点群の形状別点群を参照し、モデル点群が持つ形状属性の中で、計測点群には存在しない形状属性が存在するかどうかを判定する。上記判定でＹｅｓの場合はステップ５２に進み、Ｎｏの場合はステップ５３に進む。換言すると、テップ５１では、形状の分類において誤分類が生じているか（判定でＹｅｓ）、否かを判定するものである。

ステップ５２では、計測点群には存在しない形状属性を持つ、モデル点群の形状別点群の点数を参照し、その点数が一定の閾値以上かどうかを判定する。上記判定でＹｅｓの場合は抽出失敗となり、物体認識部１０５で行われる処理が終了する。Ｎｏの場合はステップ５３に進む。ステップ５２により、計測点群中に抽出したい対象物体が存在するかどうかを判定することができる。すなわち、点数が一定の閾値以上の場合（判定でＹｅｓ）には、誤分類の可能性が殆ど無いので、抽出したい対象物体が存在しないと判定される。換言すると、抽出したい対象物体が存在する場合、及び、誤分類が生じている場合には、ステップ５３に進む。

ステップ５３では、座標変換量算出部１０５１が、計測点群とモデル点群に関する形状別点群を、形状別点群記憶部１０４より受信した後、形状別に計測点群とモデル点群を比較することにより、形状ごとに複数候補の座標変換量を算出し、形状別座標変換情報記憶部１０５４に格納する。但し、計測点群の形状別点群の点数が０となり、モデル点群の形状別点群の点数が１以上となるような形状属性が存在する時は、その形状属性の座標変換量は算出せず、今後無視して処理を続けるものとする。

ステップ５４では、形状統合部１０５２が、形状別座標変換情報記憶部１０５４に格納された複数の座標変換量から、形状間で座標変換量の組み合わせを作成する。この際、全通りの組み合わせを作成してもよいし、形状間で座標変換量の差に正の相関を持つパラメータを算出し、前記パラメータが一定の閾値以下となるように、座標変換量の組み合わせを作成してもよい。例えば、並進量９６の差の絶対値が一定の閾値以下となる組み合わせを作成してもよいし、前記の条件に加え、回転量９５から算出されたオイラー角、もしくはＲｏｌｌ、Ｐｉｔｃｈ、Ｙａｗの各角度のそれぞれの差が一定の閾値以下となる組み合わせを作成してもよい。回転量９５からＲｏｌｌ、Ｐｉｔｃｈ、Ｙａｗの各角度を算出する場合、回転行列Ｒは例えば、（式４）と表してもよいため、ここからα、β、γに関する連立方程式を立てることができ、これを解くことによってＲｏｌｌ、Ｐｉｔｃｈ、Ｙａｗの角度に相当する値を求めることができる。オイラー角に関しても同様である。

ステップ５５では、ステップ５４で得られた座標変換量の組み合わせについて、評価値９９を算出する。この評価値は、全ての組み合わせについて、各座標変換量でマッチングした際の評価値９９と正の相関を持つパラメータを用いて算出される。また評価値９９は、入力点数９７、モデル点数９８、回転量９５、並進量９６、計測点群情報１０４１、モデル点群情報１０４２等から算出されてもよい。

ステップ５６では、ステップ５４で得られた座標変換量の組み合わせが妥当であるかどうかを、ステップ５５で得られた評価値９９が閾値以下かどうかで判定する。上記判定でＹｅｓの場合はステップ５７へ進み、Ｎｏの場合は抽出失敗として物体認識部１０５の処理を終了する。

ステップ５７では、最終的な座標変換量を決定する。前記ステップ５３で評価値９９が閾値以下となった座標変換量の各組み合わせに対し、座標変換量を決定する。この座標変換量は対応する座標変換量の組み合わせに対し、一つ決定される値であり、回転量９５、並進量９６を用いて決定される。回転量９５、並進量９６に加え、入力点数９７、モデル点数９８、評価値９９等を用いて決定してもよい。例えば、各形状ごとに存在する回転量９５の平均値と並進量９６の平均値を決定値としてもよいし、モデル点数９８が最も多い時の回転量９５、並進量９６を決定値としてもよい。

ステップ５８では、計測点群から対象物体に相当すると判定された点群を抽出する。これはステップ５７で決定された座標変換量を用いて、モデル点群の座標変換を行い、変換されたモデル点群の各点から一定距離内に存在する計測点群の点を対象物体に相当すると判定してもよい。モデル点群の各点から一定距離内に存在する計測点群の点が存在しない場合は、抽出失敗として判定する。

図１２は、前記座標変換量算出部１０５１にて行われるステップ５１の処理の説明図であり、形状Ｂとして分類された計測点群４０の形状別点群と、同じ形状Ｂ‘として分類されたモデル点群３０の２つの形状別点群３０２−１、３０２−２とのマッチングを行う。

マッチングは例えばＩＣＰ等によって実現される。その際に、回転量Ｒ_Ｒや並進量ｔ_Ｒ等を用いることにより形状別点群４０を座標変換し、座標変換された形状別点群４０の各点に対し、計測点群３０の形状別点群との最近傍距離を求め、その二乗和を評価値９９とし、評価値が一定の閾値以下となるような座標変換量を求めることにより、マッチングを実現する。ＩＣＰ等は初期値依存性の高いアルゴリズムであるため、様々な初期値を与え、複数回ＩＣＰを適用してもよい。形状別点群４０が形状別点群３０２−１の位置に収束するような座標変換量と、形状別点群４０が形状別点群３０２−２の位置に収束するような座標変換量を算出することができるが、その際の評価値が一定の閾値以下であるものを形状別座標変換情報記憶部１０５４に格納する。格納データは、評価値９９と座標変換量と計測点群とモデル点群から抽出された形状別点群の点数等である。

ＩＣＰ等において、通常は評価値が最小となる場合、モデル点群が実際の対象物体の位置に収束していることが多いが、物体認識部１０５で前記処理を行う前に、形状認識部１０２にて行う形状分類処理にて、誤分類が生じてしまう可能性もあるため、点群にノイズや欠損値等が含まれる場合がある。そのため、必ずしも評価値が最小となる座標変換量が最適な結果になるとは限らないため、複数候補の座標変換量を算出する。これにより、マッチングに失敗する可能性が低くなるという効果がある。

図１３Ａ〜図１３Ｃは、物体認識装置１０の表示部１０７０を示した画面イメージである。ボタン７０１は形状分類、ボタン７０２は形状表示切替、ボタン７０３は形状統合、ボタン７０４はモデルマッチング、ボタン７０５はモデル選択、の各入力操作を行う機能を有する。ユーザがボタン７０１〜７０５を選択することにより、各処理を行うことが可能である。この際、ボタンはタッチパネルのようにユーザが画面に触れるだけで選択することができてもよいし、マウスのカーソルやキーボード入力等によってボタンを選択することができてもよい。

図１３Ａの画面１０７０−１は、ユーザが入力した計測点群３０を描画した画面である。ユーザがモデル選択ボタン７０５を選択することにより、図５Ａのデータベースに保持されたモデル点群が表示され、ユーザにより認識すべき形状のモデル点群が選択される。形状分類ボタン７０１を選択することにより、計測点群とモデル点群に対し、形状認識部１０２の処理が実行される。形状表示切替ボタン７０２を選択することにより、形状属性ごとに形状別点群３０２等を図１３Ｂの画面１０７０−２のように表示することができる。この表示は形状認識部１０２の処理が終了している時のみ実行される。モデルマッチングボタン７０４を選択することにより、物体認識部１０５の座標変換量算出部１０５１の処理が実行される。形状統合ボタン７０３を選択することにより、物体認識部１０５の形状統合部１０５２と認識点群抽出部１０５３の処理が実行され、認識点群出力部１０６により計測点群から対象物体に相当する点群を抽出した画面１０７０−３が表示される。但し、前記処理は座標変換量算出部１０５１の処理が終了している時のみ実行される。

図１３Ｂの画面１０７０−２は、形状認識部１０２によって形状別点群３０２を生成し、その中でも形状Ｂ‘に相当する形状別点群を描画した画面である。テキストボックス７１１に現在表示している形状Ｂ‘が記述されている。形状表示切替ボタン７０２を選択することにより、表示する形状が変わり、同時にテキストボックス７１１の内容も変化する。この際、表示点群３０２は当該形状の点群とそれ以外の点群の色を変化させて表示してもよいし、当該形状の点群のみを表示してもよい。なお座標変換量算出部１０５１の処理が終わっている場合は、算出された座標変換量を用いて変換されたモデル点群の形状別点群を重畳表示してもよい。各形状属性において複数候補の座標変換量が存在する場合は、それぞれの評価値によって色を変化させて、重畳表示させてもよい。

図１３Ｃの画面１０７０−３は、計測点群３０からユーザにより指定された対象物体に相当する認識点群５０を実際に抽出した画面であり、物体認識部１０５の処理が終了した後に表示される。

なお表示部１１０２を通して、３次元点群からの対象物体の点群抽出処理に失敗した際に、ユーザがその結果を修正することができてもよい。例えば画面１０７０−２で計測点群の形状別点群に対し、モデル点群の形状別点群を重畳表示し、モデル点群の形状別点群をマウスのカーソルやキーボード等で選択することにより、形状統合処理に用いる座標変換量を選択することができてもよい。

本実施例によれば、計測点群と対象物体のモデル点群の各点に対し、形状属性を付加し、その属性ごとに各点群を分解する。そして一致する形状属性の点群同士をマッチングすることにより、計算時間の削減と、マッチング精度の向上を実現することができる。

以下、本発明の第２の実施例について、図１４乃至図１５を参照しながら説明する。
図１４は、本発明の第２の実施例における物体認識装置１００の基本構成を表すブロック図である。物体認識装置１００は、計測点群入力部１０７と、計測点群記憶部１０１と、形状認識部１０２と、形状別点群記憶部１０４と、物体認識部１０５と、認識点群出力部１０６と、入出力ＩＦ部１０７と、モデル生成部１３０７とを備えている。計測点群入力部１００と、形状別点群記憶部１０４と、認識点群出力部１０６と、入出力ＩＦ部１０７は、それぞれ第１の実施例の各部と同一である。具体的には、図３〜図１３（Ａ〜Ｃ）は第２の実施例でも適用される。以下、第２の実施例について、第１の実施例と異なる点のみ説明する。

第２の実施例において、モデル生成部１３０７は、対象物体の形を表す方程式等からモデル点群を生成する。物体認識部１０５はモデル判定部１３０５５を備える。モデル判定部１３０５５は、モデル生成部１３０７が生成した対象物体のモデル点群が適切かどうかを判定する。例えば、電柱の規格には様々な種類のものがあるため、計測点群から電柱に相当する点群を抽出する場合、各規格の電柱モデル点群を用いる必要がある。どの規格の電柱モデル点群が計測点群に含まれているかは分からないことも多い。各規格の電柱モデル点群を用いた場合、モデル判定部１３０５５は、どの規格の電柱モデル点群が最適かを判断するため、精度が向上するという効果がある。

第２の実施例において、計測点群記憶部１０１、モデル生成部１３０７、形状認識部１０２、形状認識部１０２は、先述の通り第１の実施例と同一であるが、モデル点群はモデル生成部１３０７において方程式等を用いて生成するため、事前に形状情報が判明している場合が多い。例えば、電柱モデルの場合、柱の側面部分は全て曲面となる。そのため、モデル点群に関しては、形状認識部１０２の処理を行わずに、形状別点群記憶部１０４にそれらのデータを格納してもよい。

計測点群記憶部１３０１は、計測点群情報１３０１１と、モデル点群情報１３０１２を備える。計測点群記憶部１３０１は、計測点群入力部１３００から計測点群１３１を、モデル生成部１３０７からモデル点群を受け取り、格納する。また計測点群１３１とモデル点群を形状認識部１３０２に提供する。計測点群情報１３０１１は、第１の実施例の計測点群情報１０１１と同一である。モデル点群情報１３０１２はモデル点群の情報を格納する。データ構造は第１の実施例と同一である。

物体認識部１０５は、座標変換量算出部１３０５１と、形状統合部１３０５２と、認識点群抽出部１３０５３と、形状別座標変換１３０５４と、モデル判定部１３０５５と、を備える。座標変換量算出部１３０５１と、形状統合部１３０５２と、認識点群抽出部１３０５３と、形状別座標変換情報記憶部１３０５４は、それぞれ第１の実施例の座標変換量算出部１０５１と、形状統合部１０５２と、認識点群抽出部１０５３と、形状別座標変換情報記憶部１０５４と同一である。

モデル生成部１３０７は、ユーザより指定された対象物体の形を表す方程式等からモデル点群を生成する。具体的な処理内容については、後述する。

図１５は、物体認識部１０５で行われる処理のブロック図である。以下物体認識部１０５にて行われる処理（ステップ１４１〜ステップ１４８）について説明する。

ステップ１４１では、モデル生成部１３０７がユーザより指定された対象物体の形を表す方程式等からモデル点群を生成し、点群情報記憶部１３０１に格納する。例えば、対象物体が電柱であるため、円柱モデル点群を生成する場合、（式５）の３つの方程式のいずれかを満たす点を、複数個生成することにより、円柱モデル点群を生成することができる。

ここで、ｒ，Ｈはそれぞれ円柱の半径と高さである。この時、方程式は１つもしくは複数のパラメータを持っており、モデルを生成する際にパラメータを設定できるようにしておいてもよい。このパラメータをモデルパラメータと呼ぶ。ステップ１４１では、方程式を満たす点が、できる限り空間的に一様に分布するように点を生成しなくてはいけない。なお単位体積当たりに含まれる点の数は、計測点群の単位体積当たりに含まれる点の数より少なくてもよいし、同程度でもよい。

ステップ１４２は、第１の実施例のステップ２１〜２４と同一である。ステップ１４２の後、ステップ１４３に進む。ステップ１４３は、第１の実施例のステップ５１〜５３と同一である。ステップ５１〜５３の過程にて抽出失敗として判定された場合は、ステップ１４６に進む。それ以外の場合は、ステップ１４４に進む。ステップ１４４は、第１の実施例のステップ５４〜５７と同一である。ステップ５４〜５７の過程にて抽出失敗として判定された場合は、ステップ１４６に進む。それ以外の場合は、ステップ１４５に進む。

ステップ１４５では、ステップ１４４にて算出された座標変換量を用いて評価値を算出し、閾値以上かどうかを判定する。この時算出する評価値は、座標変換量を用いてモデル点群に対し座標変換と行った点群と計測点群の一致度に正の相関を持つ。また前記評価値はモデルパラメータを用いて演算されてもよい。前記判定がＹｅｓの時はステップ１４７へ進み、Ｎｏの時はステップ１４６へ進む。この判定はモデル生成部１３０７で生成されたモデル点群が適切だったかどうかを判定していることに相当する。

ステップ１４６では、物体認識部１０５の処理が始まってから、ステップ１４６の処理を何回行ったかを参照し、ステップ１４６の処理回数が閾値以上かどうかを判定する。前記判定がＹｅｓであれば、抽出失敗として処理を終了し、Ｎｏであれば、ステップ１４６へ進む。

ステップ１４７では、モデル生成部１３０７でモデル点群を生成する時の方程式等のモデルパラメータを変更する処理を行う。例えばステップ１４１の説明で記述の方程式を用いる場合であれば、の値を変更すればよい。またどのような値に変更するかはユーザが操作部１１０１を操作することにより、値を決めてもよい。ステップ１４７を行った後に、ステップ１４１へ進む。ステップ１４８は、第１の実施例のステップ５８と同一である。

第１の実施例では、ユーザがモデル点群ＤＢ１０３より対象物体のモデルを選択することにより、モデル点群を取得している。そのため、例えば対象物体が電柱である場合を考えると、様々な高さの電柱モデル点群をモデル点群ＤＢ１０３に格納しておく必要がある。これに対し、第２の実施例では、対象物体の形を表す方程式等からモデル点群を生成する。そのため、電柱の形が円錐台であると仮定すると、上底と下底と高さのパラメータを持つだけで、電柱モデル点群を生成することができる。これにより、モデル点群ＤＢ１０３を用意する必要がないという効果がある。

以下、本発明の第３の実施例について図１６乃至図１７を参照しながら説明する。
第３の実施例は、形状認識部１０２以外は全て第１の実施例と同一である。具体的には、図４〜１３は第３の実施例でも適用される。なお第２の実施例と第３の実施例を組み合わせてもよい。以下、第３の実施例について、第１の実施例と異なる点のみ説明する。

図１６は、本発明の第３の実施例における物体認識装置１０の基本構成を表すブロック図である。物体認識装置１０は、計測点群入力部１００と、計測点群記憶部１０１と、形状認識部１０２と、モデル点群ＤＢ１０３と、形状別点群記憶部１０４と、物体認識部１０５と、認識点群出力部１０６と、を備える。計測点群入力部１００と、計測点群記憶部１０１と、モデル点群ＤＢ１０３と、形状別点群記憶部１０４と、物体認識部１０５と、認識点群出力部１０６は、それぞれ第１の実施例の各部と同一である。

形状認識部１０２は、局所領域分割部１６０２１と、形状特徴量算出部１６０２２と、モデル点群分類部１６０２３と、形状分類部１６０２４と、局所領域点群記憶部１６０２５と、を備える。局所領域分割部１６０２１と、形状特徴量算出部１６０２２と、局所領域点群記憶部１６０２５は第１の実施例の各部と同一である。なお形状認識部１６０２で行われる処理については、後述する。

図１７は、形状認識部１０２で行われる処理のブロック図である。以下形状認識部１０２にて行われる処理（ステップ１７１〜ステップ１７５）について説明する。

ステップ１７１、１７２は、それぞれ第１の実施例のステップ２１、２２と同一である。ステップ１７１の後にステップ１７２の処理を行い、その後ステップ１７３へ進む。

ステップ１７３では、モデル点群分類部１６０２３が、モデル点群から算出された局所領域点群の特徴量に対して、教師なし分類を適用し、形状属性を付加する。教師なし分類は、ＧＭＭ（Ｇａｕｓｓｉａｎ Ｍｉｘｔｕｒｅ Ｍｏｄｅｌ）やｋ−ｍｅａｎｓ法等を適用することにより、実現できる。この際、形状属性数は、ノンパラメトリックベイズの枠組みや赤池情報量基準等を用いて推定してもよいし、適当な値にしてもよい。ステップ１７３の処理を行った後、ステップ１７４へ進む。

ステップ１７４では、形状分類部１６０２４が、ステップ１７３にて学習したパラメータを用い、教師付き分類を行う。教師付き分類には、教師なし分類で用いた分類器と同様の分類器を用いてもよいし、新しい分類器を用いてもよい。但しこの時、教師なし分類で得られた形状属性とそれ以外の形状属性にも分類するようにする。例えば、教師なし分類で形状Ａ、Ｂ、Ｃが得られた場合、教師付き分類では、形状Ａ、Ｂ、Ｃとその他という４種類の形状属性に分類する。

ステップ１７５では、形状分類部１６０２４は、分類された点群を形状ごとに統合し、形状別点群を作成し、形状別点群記憶部１０４へ格納する。

第１の実施例では、形状分類部１０２４は、基本形状特徴ＤＢ１０２３の格納データを学習データとして、計測点群とモデル点群の局所領域点群を分類している。これに対し、第３の実施例では、モデル点群の局所領域点群に対し、教師なし分類を行い、その結果を学習データとして、計測点群の局所領域点群を分類する。これにより、基本形状特徴ＤＢ１０２３を備える必要がないという効果がある。

１０ 物体認識装置
１１ 計測点群
１２ 認識点群
１００ 計測点群入力部
１０１ 計測点群記憶部
１０２ 形状認識部
１０２１ 局所領域分割部
１０２２ 形状特徴量算出部
１０２３ 基本形状特徴ＤＢ
１０２４ 形状分類部
１０２５ 局所領域点群記憶部
１０３ モデル点群ＤＢ
１０４ 形状別点群記憶部
１０５ 物体認識部
１０５１ 座標変換量算出部
１０５２ 形状統合部
１０５３ 認識点群抽出部
１０５４ 形状別座標変換情報記憶部
１０６ 認識点群出力部
１０７ 入出力ＩＦ部
１０８ モデル選択部
１１０１ 操作部
１１０２ 表示部
１１０３ プロセッサ
１１０４ メインメモリ
１１０５ 記憶装置
１０７０ 表示部
１３０７ モデル生成部
１３０５５ モデル判定部
１６０２３ モデル点群分類部。

Claims (15)

1. 点の集合である点群の情報を記憶する点群記憶部と、
   前記点群情報に関する情報の入出力を行うための入出力部と、
   前記点群の形状属性を推定する形状認識部と、
   前記点群情報における対象物体の存在を認識する物体認識部とを備え、
   前記点群情報は、計測値の入力である計測点群の情報と、認識すべき対象物体に対応するモデル点群の情報とを含んでおり、
   前記形状認識部は、
   前記計測点群及び前記モデル点群の各点について、該各点に対する近傍点の相対的な座標情報より決定される形状属性を推定し、
   前記物体認識部は、
   同一の前記形状属性を持つ前記計測点群と前記モデル点群の前記各形状属性のマッチング処理を行い、前記形状属性の一致度に基づき、前記計測点群中における前記モデル点群の存在情報を取得する
   ことを特徴とする物体認識装置。
2. 請求項１において、
   前記形状認識部は、
   前記点群情報を面積若しくは容積が一定値以下となる連続する局所領域ごとに分割する局所領域分割部と、
   前記局所領域に存在する前記点群から、前記近傍点の相対的な座標情報より算出される形状特徴量を推定する形状特徴量算出部と、
   前記局所領域分割部と前記形状特徴量算出部から取得したデータを格納する局所領域点群記憶部と、
   前記形状属性と前記形状特徴量のデータを格納する基本形状特徴データベースと、
   前記局所領域点群記憶部と前記基本形状特徴データベースに格納された前記データを用いて前記点群情報の各点ごとの形状属性を推定する形状分類部とを備える
   ことを特徴とする物体認識装置。
3. 請求項１において、
   前記物体認識部は、
   同一の形状属性を持つ前記モデル点群から前記計測点群への、１つ以上の形状属性別座標変換量を算出する座標変換量算出部と、
   前記形状属性別座標変換量を統合し前記モデル点群から前記計測点群への統合座標変換量を算出する形状統合部と、
   前記統合座標変換量を用いて前記計測点群から前記モデル点群を抽出する認識点群抽出部とを備える
   ことを特徴とする物体認識装置。
4. 請求項３において、
   前記形状統合部は、
   前記形状属性別座標変換量の各組み合わせに対してそれぞれ算出される評価値が最小となる組み合わせを統合し、前記モデル点群から前記計測点群への統合座標変換量を算出し、
   前記評価値は、
   前記形状属性別座標変換量の差に正の相関を持ち、
   前記統合座標変換量は、
   前記形状属性別座標変換量、形状属性別の計測点群、モデル点群が持つ点の数のうちの少なくとも一つを含むパラメータより算出される
   ことを特徴とする物体認識装置。
5. 請求項３において、
   前記物体認識装置は、前記認識すべき対象物体のモデル選択に関する情報を受け付けるモデル選択部を備えており、
   前記入出力部は、前記形状分類部、前記形状統合部、前記マッチング処理、前記モデル選択、の何れかの入力操作を行う機能を有する表示部を備えている
   ことを特徴とする物体認識装置。
6. 請求項３において、
   前記物体認識装置は、
   物体の表面形状を表す方程式よりモデル点群を生成し、前記計測点群記憶部へ前記モデル点群を格納するモデル生成部を備え、
   前記物体認識部は、
   前記統合座標変換量を用いて座標変換を行った前記モデル点群と前記計測点群の一致度に正の相関を持つパラメータを算出し、前記モデル点群が最適かどうかを判定するモデル判定部とを備える
   ことを特徴とする物体認識装置。
7. 請求項１において、
   前記形状認識部は、
   前記点群情報を面積若しくは容積が一定値以下となる連続する局所領域ごとに分割する局所領域分割部と、
   前記局所領域に存在する点群から近傍点の相対的な座標情報より算出される形状特徴量を推定する形状特徴量算出部と、
   前記局所領域分割部と前記形状特徴量算出部から取得したデータを格納する局所領域点群記憶部と、
   前記局所領域点群記憶部に格納された前記モデル点群の局所領域点群を前記形状属性ごとに分類するモデル点群分類部と、
   前記モデル点群分類部から取得した前記形状属性と前記モデル点群の形状特徴量を用いて前記計測点群の局所領域点群を前記形状属性ごとに分類する形状分類部とを備える
   ことを特徴とする物体認識装置。
8. 請求項１において、
   前記形状属性は、平面、線、曲面、その他の４つの属性を含み、
   前記形状分類部は、
   前記線、前記平面、前記曲面、前記その他の順番に前記形状属性を推定する
   ことを特徴とする物体認識装置。
9. 請求項１において、
   前記形状認識部は、
   前記点群情報を容積が一定値以下となる空間的に連続する局所領域ごとに分割する局所領域分割部と、
   前記局所領域に存在する前記点群から近傍点の相対的な座標情報より算出される形状特徴量を推定する形状特徴量算出部と、
   前記局所領域分割部と前記形状特徴量算出部から取得したデータを格納する局所領域点群記憶部と、
   前記形状属性と形状特徴量のデータを格納する基本形状特徴データベースと、
   前記局所領域点群記憶部と基本形状特徴データベースに格納されたデータを用いて点群情報の各点ごとの形状属性を推定する形状分類部とを備え、
   前記物体認識部は、
   同一の形状属性を持つ前記モデル点群から前記計測点群への、１つ以上の形状属性別座標変換量を算出する座標変換量算出部と、
   前記形状属性別座標変換量を統合し前記モデル点群から前記計測点群への統合座標変換量を算出する形状統合部と、
   前記統合座標変換量を用いて前記計測点群から前記認識点群を抽出する認識点群抽出部とを備える
   ことを特徴とする物体認識装置。
10. 請求項９において、
    前記形状統合部は、
    前記形状属性別座標変換量の各組み合わせに対してそれぞれ算出される評価値が最小となる組み合わせを統合し、前記モデル点群から前記計測点群への統合座標変換量を算出し、
    前記評価値は、
    前記形状属性別座標変換量の差に正の相関を持ち、
    前記統合座標変換量は、
    前記形状属性別座標変換量、形状属性別の前記計測点群、前記モデル点群が持つ点の数のうちの少なくとも一つを含むパラメータより算出されること
    を特徴とする物体認識装置。
11. 請求項１において、
    前記物体認識部は、
    同一の形状属性を持つ前記モデル点群から前記計測点群への、１つ以上の形状属性別座標変換量を算出する座標変換量算出部と、
    前記形状属性別座標変換量を統合し前記モデル点群から前記計測点群への統合座標変換量を算出する形状統合部と、
    前記統合座標変換量を用いて前記計測点群から前記認識点群を抽出する認識点群抽出部とを備え、
    前記形状認識部は、
    点群情報を容積が一定値以下となる空間的に連続する局所領域ごとに分割する局所領域分割部と、
    前記局所領域に存在する点群から近傍点の相対的な座標情報より算出される形状特徴量を推定する形状特徴量算出部と、
    前記局所領域分割部と前記形状特徴量算出部から取得したデータを格納する局所領域点群記憶部と、
    前記局所領域点群記憶部に格納された前記モデル点群の局所領域点群を前記形状属性ごとに分類するモデル点群分類部と、
    前記モデル点群分類部から取得した前記形状属性と前記モデル点群の形状特徴量を用いて前記計測点群の局所領域点群を前記形状属性ごとに分類する形状分類部とを備える
    ことを特徴とする物体認識装置。
12. 物体を認識させるためにコンピュータを、
    点の集合である点群の情報を記憶する点群記憶手段、
    前記点群情報に関する情報の入出力を行うための入出力手段、
    前記点群の形状属性を推定する形状認識手段、及び、
    前記点群情報における対象物体の存在を認識する物体認識手段として機能させ、
    前記点群情報は、計測値の入力である計測点群の情報と、認識すべき対象物体に対応するモデル点群の情報とを含んでおり、
    前記点群の形状属性は、前記点の各々と該各点の近傍に存在する前記点群の座標値等の相対的な関係から決定される属性情報であり、
    前記形状認識手段は、
    前記計測点群及び前記モデル点群の各点について、該各点に対する近傍点の相対的な座標情報より決定される形状属性を推定し、
    前記物体認識手段は、
    同一の前記形状属性を持つ前記計測点群と前記モデル点群の前記各形状属性のマッチング処理を行い、前記形状属性の一致度に基づき、前記計測点群中における前記モデル点群の存在情報を取得する
    ことを特徴とする物体認識プログラム。
13. 請求項１２において、
    前記コンピュータを、
    前記点群情報を面積若しくは容積が一定値以下となる連続する局所領域ごとに分割する局所領域分割手段、
    前記局所領域に存在する前記点群から、前記近傍点の相対的な座標情報より算出される形状特徴量を推定する形状特徴量算出手段、
    前記形状属性と前記形状特徴量のデータを格納する基本形状特徴記憶手段、及び
    前記局所領域点群記憶手段と前記基本形状特徴記憶手段に格納された前記データを用いて前記点群情報の各点ごとの形状属性を推定する形状分類手段として機能させる
    ことを特徴とする物体認識プログラム。
14. 物体認識装置による物体認識方法であって、
    前記物体認識装置は、
    点の集合である点群の情報を記憶する点群記憶部と、
    前記点群情報に関する情報の入出力を行うための入出力部と、
    前記点群の形状属性を推定する形状認識部と、
    前記点群情報における対象物体の存在を認識する物体認識部とを備え、
    前記点群情報は、計測値の入力である計測点群の情報と、認識すべき対象物体に対応するモデル点群の情報とを含んでおり、
    前記形状認識部において、
    前記計測点群及び前記モデル点群の各点について、該各点に対する近傍点の相対的な座標情報より決定される形状属性を推定し、
    前記物体認識部において、
    同一の前記形状属性を持つ前記計測点群と前記モデル点群の前記各形状属性のマッチング処理を行い、前記形状属性の一致度に基づき、前記計測点群中における前記モデル点群の存在情報を取得する
    ことを特徴とする物体認識方法。
15. 請求項１４において、
    前記物体認識装置は、前記認識すべき対象物体のモデル選択に関する情報を受け付けるモデル選択部を備えており、
    前記形状属性は、平面、線、曲面、その他の４つの属性を含み、
    前記形状認識部において、
    前記点群情報を容積が一定値以下となる空間的に連続する局所領域ごとに分割し、
    前記局所領域に存在する前記点群から近傍点の相対的な座標情報より算出される形状特徴量を推定し、
    前記局所領域の前記形状属性と前記形状特徴量を用いて前記点群情報の各点ごとの形状属性を推定し、
    前記物体認識部において、
    同一の前記形状属性を持つ前記モデル点群から前記計測点群への、１つ以上の前記形状属性別座標変換量を算出し、
    前記形状属性別座標変換量を統合し前記モデル点群から前記計測点群への統合座標変換量を算出し、
    前記統合座標変換量を用いて前記計測点群から前記認識点群を抽出する
    ことを特徴とする物体認識方法。

Images