JP7003455B2 - テンプレート作成装置、物体認識処理装置、テンプレート作成方法及びプログラム - Google Patents

Description

本発明は、テンプレートマッチングによる物体認識で用いられるテンプレートを作成する技術に関する。

物体認識画像から対象物体を検出する方法の一つとしてテンプレートマッチングがある。テンプレートマッチングは、検出対象となる物体のモデル（テンプレート）を予め用意しておき、入力画像とモデルのあいだの画像特徴の一致度を評価することで、入力画像に含まれる物体の2次元位置や姿勢を検出するというものである。テンプレートマッチングによる物体検出は、ＦＡ（Factory Automation）における検査やピッキング、ロボット・ビジョン、監視カメラなど多岐にわたる分野で利用されている。特に、近時のテンプレートマッチングにおいては、２次元計測を利用した対象物体の位置・姿勢の検出から、３次元計測を利用した対象物体の位置・姿勢の検出へ応用する技術に注目が集まっている。

３次元計測を利用したテンプレートマッチングとして、対象物体を様々な視点から見た姿勢ごとに個別のテンプレートを用意し、それらのテンプレートに対して総当たりでマッチングを行う探索処理方法が提案されているが、２次元計測を利用した場合に比べて用意しなければならないテンプレートの数が非常に多くなり、テンプレートを用いたマッチングのための処理時間の増大が問題となる。

このような問題への対応策として、粗密探索によるテンプレートマッチングが知られている。粗密探索は、テンプレートマッチングによる探索処理を高速化する技術の一つであり、解像度を段階的に異ならせた画像群（いわゆる、画像ピラミッド）を用意し、低解像度の画像で粗い探索を行い、探索結果をもとに探索範囲を絞り込み、絞り込んだ探索範囲について高解像度の画像でさらに探索を行う、という処理を繰り返し行い、最終的に元の解像度における対象物体の位置・姿勢を検出（物体の位置・姿勢を認識；以下、単に「物体認識」と略称）するといったものである。

ここで、図１０は、画像ピラミッドを利用した粗密探索の基本概念を示す図である。
図１０に示すように、粗密探索では、解像度を段階的に異ならせた第１層から第ｋ層（ｋ≧２以上の整数）のｋ枚の画像群（画像ピラミッド）を用いる。第１層の解像度が最も解像度が低く、第２層、…、第ｋ層の順位で解像度が高くなる。図１０は、ｋ＝３の例であり、第３層が元画像に対応しており、第２層、第１層の順で解像度が低くなっている。

粗密探索では、最初に最も低解像度の第１層画像に対してテンプレートマッチング（照合）による探索処理が行われ、第１層のなかでの物体の存在位置（正解候補）が検出される（図１０の第１層画像内に示す検出位置参照）。次に、第２層に対する探索処理では、第１層での検出位置に対応する第２層画像が探索範囲として設定され、その探索範囲に対する探索処理が行われる（図１０の第２層画像内に示す検出位置参照）。同様に、第２層での検出結果に基づき第３層画像での探索範囲が設定され、その探索範囲に対する探索処理が行われ、最終的に第３層（元画像）内での物体位置が特定される（図１０の第３層画像内に示す検出位置参照）。

通常のテンプレートマッチングであれば多くのテンプレートとのマッチングが必要となるが、粗密探索では低解像度の画像（以下、「低解像度画像」ともいう。）から高解像度の画像（以下、「高解像度画像」ともいう。）に向けて探索範囲を段階的に絞りこんでいくことで、テンプレートのマッチング回数を削減でき、処理時間を短縮することができる。

近時においては、粗密探索によるテンプレートマッチングの処理を高速化するため、テンプレートを作成する際、階層ごとに（解像度ごとに）、様々なカメラの位置（視点）からみた２次元投影後の画像どうしを比較し、それら画像の類似度に基づいて、似たような見え方となる視点をグルーピングし、マッチングに用いるテンプレート数を間引くことでマッチング処理の高速化を図る技術が提案されている（例えば、特許文献１参照）。

欧州特許第２０４８５９９号明細書

上記方法を採用した場合、似たような見え方をする視点が近くに集中している箇所では、視点のグルーピングによって間引くことができるテンプレートの数が多くなり、テンプレートを用いたマッチング処理を高速化することができる一方、似たような見え方をする視点が近くに集中していない箇所では、視点のグルーピングによって間引くことができるテンプレートの数は少なく、テンプレートを用いたマッチング処理を高速化することは難しい。このように、上記方法では、似たような見え方をする視点が近くに集中している場所と、似たような見え方をする視点が近くに集中していない場所との間に、マッチング処理にかかる時間に大きなばらつきが生じる。
また、上記方法では、テンプレートを作成する際に、似たような見え方をする視点があるか否かを逐次判別する必要があり、さらに、似たような見え方をする視点が見つかった場合には、これらをまとめてグルーピングしていかなければならず、テンプレートの作成に多くの時間を費やす必要があった。

本発明は、以上説明した事情を鑑みてなされたものであり、テンプレートマッチングによる物体認識で用いられるテンプレートの作成時間を短縮する技術を提供することを目的とする。

本発明の一態様に係るテンプレート作成装置は、テンプレートマッチングに利用される物体認識用の階層的なテンプレートを作成するテンプレート作成装置であって、各頂点の間隔が略均等、かつ、各頂点が各視点位置として設定される近似球形状を複数作成する作成部であり、作成する近似球形状ごとに、各視点位置の間隔が異なっている視点位置作成部と、近似球形状ごとに、設定された各視点位置から見た対象物体に対応する複数のテンプレートを作成するテンプレート作成部とを具備する。

上記構成によれば、各頂点の間隔が略均等、かつ、各頂点が各視点位置として設定される複数の近似球形状を利用して、テンプレートを作成する。ここで、近似球形状の頂点に設定される各視点位置の間隔は、近似球形状ごとに異なっている。視点位置の間隔が広い近似球形状（別言すれば、設定される視点の数が少ない近似球形状）については、各視点位置から見た対象物体の２次元投影後の画像に基づき、各視点に対応する低解像度用のテンプレートを作成する。一方、視点位置の間隔が狭い近似球形状（別言すれば、設定される視点の数が多い近似球形状）については、各視点位置から見た対象物体の２次元投影後の画像に基づき、各視点に対応する高解像度用のテンプレートを作成する。かかる構成によれば、従来技術のごとく、テンプレートを作成する際に、似たような見え方をする視点があるか否かを逐次判別する処理や、似たような見え方をする視点をまとめてグルーピングする処理を実施する必要はなく、従来技術に比べてテンプレートの作成時間を短縮することができる。

本発明の他の態様に係るテンプレート作成方法は、テンプレートマッチングに利用される物体認識用の階層的なテンプレートを作成するテンプレート作成方法であって、各頂点の間隔が略均等、かつ、各頂点が各視点位置として設定される近似球形状を複数作成するステップであり、作成する近似球形状ごとに、各視点位置の間隔が異なっている視点位置作成ステップと、近似球形状ごとに、設定された各視点位置から見た対象物体に対応する複数のテンプレートを作成するテンプレート作成ステップとを含む。

本発明の他の態様に係るプログラムは、コンピュータに、テンプレートマッチングに利用される物体認識用の階層的なテンプレートを作成させるためのプログラムであって、コンピュータに、各頂点の間隔が略均等、かつ、各頂点が各視点位置として設定される近似球形状を複数作成するステップであり、作成する近似球形状ごとに、各視点位置の間隔が異なっている視点位置作成ステップと、近似球形状ごとに、設定された各視点位置から見た対象物体に対応する複数のテンプレートを作成するテンプレート作成ステップとを実行させる。

本発明によれば、テンプレートマッチングによる物体認識で用いられるテンプレートの作成時間を短縮する技術を提供することが可能となる。

物体認識装置の全体構成を示す図である。 物体認識装置のハードウェア構成を示す図である。 画像処理装置の構成を示す図である。 視点位置の作成原理を示す図である。 近似球形状間の頂点の関連性を示す図である。 視点位置作成処理を示すフローチャートである。 テンプレート作成処理を示すフローチャートである。 物体認識処理を示すフローチャートである。 従来手法を用いた場合のテンプレートマッチングの処理時間を説明するための図である。 本願手法を用いた場合のテンプレートマッチングの処理時間を説明するための図である。 画像ピラミッドを利用した粗密探索の基本概念を示す図である。

以下、図面を参照して本発明の実施形態について詳細に説明する。なお、同一の要素には同一の符号を付し、重複する説明を省略する。また、以下の実施の形態は、本発明を説明するための例示であり、本発明をその実施の形態のみに限定する趣旨ではない。さらに、本発明は、その要旨を逸脱しない限り、さまざまな変形が可能である。

Ａ．本実施形態
Ａ－１．（物体認識装置の全体構成）
図１を参照して、本発明の実施形態に係る物体認識装置の全体構成及び適用場面について説明する。

物体認識装置１は、ピッキングシステムを備えた生産ラインなどに設置され、カメラ１１から取り込まれた画像を用いて、テンプレートマッチングによりトレイ３上の物体２の位置・姿勢を認識（３次元の物体認識）するシステムである。トレイ３上には、認識対象の物体（以下、「対象物体」ともいう。）２がバラ積みされている。物体認識装置１は、カメラ１１から所定の時間間隔で画像を取り込み、画像処理装置１０によって画像に含まれる各対象物体２の位置及び姿勢を認識する処理を実行し、その結果を例えばＰＬＣ（プログラマブルロジックコントローラ）４やディスプレイ１２などに出力する。物体認識装置１の出力である認識結果は、例えば、ピッキング・ロボットの制御、加工装置や印字装置の制御、対象物体２の検査や計測などに利用される。

Ａ－２．（ハードウェア構成）
図２を参照して、物体認識装置１のハードウェア構成を説明する。物体認識装置１は、概して、カメラ１１と画像処理装置１０から構成される。
カメラ１１は、対象物体２のデジタル画像を画像処理装置１０に取り込むための撮像デバイスであり、例えばＣＭＯＳ（Complementary Metal-Oxide-Semiconductor）カメラやＣＣＤ（Charge-Coupled Device）カメラを好適に用いることができる。解像度、カラー／モノクロ、静止画像／動画、階調、データ形式などの入力画像の形式は任意であり、対象物体２の種類やセンシングの目的に合わせて適宜選択することができる。Ｘ線画像やサーモ画像など、可視光像以外の特殊な画像を物体認識や検査に利用する場合には、その画像に合わせたカメラを用いてもよい。

画像処理装置１０は、ＣＰＵ（中央演算処理装置）１０ａと、ワークメモリとして用いられるメインメモリ１０ｂと、固定記憶部であるハードディスク１０ｅと、カメラインターフェイス１０ｃと、入力インターフェイス１０ｆと、表示コントローラ１０ｇと、ＰＬＣインターフェイス１０ｈと、通信インターフェイス１０ｉと、データリーダ／ライタ１０ｊとを含む。これらの各部は、バス１０ｋを介して、互いにデータ通信可能に接続されている。

カメラインターフェイス１０ｃは、ＣＰＵ１０ａとカメラ１１との間のデータ伝送を仲介する部分であり、カメラ１１からの画像データを一時的に蓄積するための画像バッファ１０ｄを有していてもよい。入力インターフェイス１０ｆは、ＣＰＵ１０ａと入力部との間のデータ伝送を仲介する。入力部には、マウス１３、キーボード、タッチパネル、ジョグコントローラなどが含まれていてもよい。表示コントローラ１０ｇは、液晶モニタなどのディスプレイ１２に接続され、当該ディスプレイでの表示を制御する。ＰＬＣインターフェイス１０ｈは、ＣＰＵ１０ａとＰＬＣ４との間のデータ伝送を仲介する。通信インターフェイス１０ｉは、ＣＰＵ１０ａとコンソール、あるいはパーソナルコンピュータやサーバ装置などとの間のデータ伝送を仲介する。データリーダ／ライタ１０ｊは、ＣＰＵ１０ａと記録媒体であるメモリカード１４との間のデータ伝送を仲介する。

画像処理装置１０は、汎用的なアーキテクチャを有するコンピュータで構成可能であり、ＣＰＵ１０ａが、ハードディスク１０ｅ又はメモリカード１４に格納されたプログラムを読み込むことで、各種処理を実行する。このようなプログラムは、メモリカード１４や光ディスクなどのコンピュータ読取可能な記録媒体に格納された状態で流通するか、インターネットなどを通じて提供される。なお、本実施形態に係るプログラムは単体のアプリケーションプログラムとして提供されてもよいし、他のプログラムの一部に組み込まれるモジュールとして提供されてもよい。また、そのプログラムによって実行される処理の一部又は全部をＡＳＩＣなどの専用回路で実行してもよい。

Ａ－３．（画像処理装置の構成）
図３に、画像処理装置１０の構成を示す。画像処理装置１０は、ＣＰＵ１０ａが、ハードディスク１０ｅ等に格納されたプログラムを読み込み、実行することで、視点位置作成装置１１０、テンプレート作成装置１２０、物体認識処理部１３０として動作する。

視点位置作成装置１１０は、テンプレート作成に必要な全ての視点位置を作成（設定）し、視点位置関連パラメータ設定部１１１、視点位置作成部１１２、最適視点位置作成部１１３、視点位置情報出力部１１４を備える。
テンプレート作成装置１２０は、物体認識処理で利用するテンプレートを作成し、視点位置情報取得部１２１、３次元ＣＡＤデータ取得部１２２、２次元投影画像作成部１２３、特徴抽出部１２４、テンプレート作成部１２５、テンプレート情報出力部１２６を備える。
物体認識処理装置１３０は、カメラ１１から取り込まれた画像に対し、テンプレート作成装置１２０によって作成・記憶されたテンプレートを用いてテンプレートマッチングを実行することで、画像中の物体を認識する。物体認識処理装置１３０は、テンプレート情報取得部１３１、画像取得部１３２、画像ピラミッド生成部１３３、特徴抽出部１３４、テンプレートマッチング部１３５、認識結果出力部１３６を備える。視点位置作成装置１１０、テンプレート作成装置１２０及び物体認識処理装置１３０の詳細は、後述する。

Ａ－４．（視点位置の作成原理）
Ａ－４－１．（近似球形状の利用）
図４は、本実施形態に係る視点位置の作成原理を示す図である。
本実施形態では、視点間の距離が略均等となるように、多面体で構成された近似球形状ＡＧの頂点を視点位置ＶＰとして利用する（図４に示す近似球形状ＡＧ１参照）。そして、解像度の低いテンプレートを作成する場合から、解像度の高いテンプレートを作成する場合へと、作成するテンプレートが変化するのに合わせて視点の数（すなわち頂点数）が多くなる近似球形状ＡＧを利用する。具体的には、最も解像度の低いテンプレート（以下、「第１テンプレート」ともいう。）の作成時に利用する近似球形状ＡＧとして正２０面体ＡＧ１（頂点数；１２）を用い、第１テンプレートよりも解像度の高いテンプレート（以下、「第２テンプレート」ともいう。）の作成時に利用する近似球形状ＡＧとして８０面体ＡＧ２（頂点数；４２）を用いる。同様に、第２テンプレートよりも解像度の高いテンプレート（以下、「第３テンプレート」ともいう。）の作成時に利用する近似球形状ＡＧとして３２０面体ＡＧ３（頂点数；１６２）を用い、最も解像度の高いテンプレート（以下、「第４テンプレート」ともいう。）の作成時に利用する近似球形状ＡＧとして１２８０面体ＡＧ４（頂点数；６４２）を用いる。なお、図４ではテンプレートの階層数が「４」である場合を例示するが、いかなる階層数とするかは任意に設定・変更可能である。また、近似球形状ＡＧを求める方法として、オルタネート分割法やトリアコン分割法を用いたジオデシックドーム等が知られているが、本発明は複数の頂点を有する近似球形状であればよく、ジオデシックドームに限定する趣旨でないのはもちろんである。

ここで、各近似球形状ＡＧ１とＡＧ２の間、各近似球形状ＡＧ２とＡＧ３の間、各近似球形状ＡＧ３とＡＧ４の間の頂点の関連性に言及すると、解像度が低い方のテンプレートに対応する近似球形状ＡＧの各視点（以下、「親視点」ともいう。）に関連づけられる、解像度が高い方のテンプレートに対応する近似球形状ＡＧの各視点（以下、「子視点」ともいう。）の数は、３または４個で略均等にできる。さらに、各近似球形状ＡＧにおける親視点と、親視点に関連づけられる子視点との間の距離が近いものから３または４個選択して、親視点に対する子視点を設定することで、各視点からの見え方の変化は均等になりやすい。このように、近似球形状ＡＧの各頂点を視点位置として利用する本実施形態では、従来技術のごとく、テンプレートを作成する際に、似たような見え方をする視点をまとめてグルーピングするといった処理等を行う必要がないため、テンプレートの作成時間を短縮することができる。

Ａ－４－２．（近似球形状の角度の最適化）
図５は、近似球形状ＡＧ１と近似球形状ＡＧ２との間の頂点の関連性を示す図であり、αは回転させなかった場合の近似球形状ＡＧ２を示し、βは所定量だけ回転させた場合の近似球形状ＡＧ２を示す。なお、以下の説明では球の半径を「１」と仮定する。
αに示すように、近似球形状ＡＧ２を回転させなかった場合における、近似球形状ＡＧ１の親視点と近似球形状ＡＧ２の子視点との最大距離Ｌｍａｘは、「０．７３９」であるのに対し、βに示すように、近似球形状ＡＧ２を所定量（具体的には、Ｘ軸周り３３度、Ｙ軸周り２９度、Ｚ軸周り１５度）だけ回転させたときの近似球形状ＡＧ１の親視点と近似球形状ＡＧ２の子視点との最大距離Ｌｍａｘは、「０．７１２」となる。

ここで、マッチング処理の対象物体の見え方の変化（相違）は、親視点から子視点までの距離が短いほど小さくなる。対象物体の見え方の変化が小さければ、粗密探索における高解像度テンプレートを用いたマッチング処理と低解像度テンプレートを用いたマッチング処理との間のギャップは小さくなり、認識精度の低下を抑制することができる。

以上を踏まえ、本実施形態では、まず、親視点に関連づけられる複数の子視点のうち、親視点からの距離が最も長くなる子視点について、親視点との間の距離（すなわち最大距離）Ｌｍａｘを求める。そして、親視点と関連づけられる子視点の最大距離Ｌｍａｘが最小となるように、さらには、親視点と関連づけられる子視点の数が略均等（本実施形態では３または４個）となるように、近似球形状ＡＧ２の回転角度を求め、求めた回転角度で近似球形状ＡＧ２を回転させる。このような回転を行うことで、親視点から関連づけられる各子視点までの距離は、回転させない場合と比較して短くなるため、マッチング処理の対象物体の見え方の変化は小さくなり、認識精度の低下を抑制することができる。なお、親視点と関連づけられる子視点の最大距離Ｌｍａｘを最小とする近似球形状ＡＧの回転角度を求める代わりに、親視点と関連づけられる子視点の平均距離Ｌａｖｅを最小とする近似球形状ＡＧの回転角度を求めるようにしてもよい。

Ａ－５．（視点位置作成処理）
以下、図６のフローに従って、視点位置作成装置１１０によって実行される視点位置作成処理を説明する。
視点位置関連パラメータ設定部１１１は、視点位置を決定するために、いかなる近似球形状ＡＧを利用するかを決定（設定）する（ステップＳ１１１）。一例として、ユーザが操作ボタン等を適宜操作することで、図４に示す正２０面体ＡＧ１、８０面体ＡＧ２などを利用する複数の近似球形状ＡＧとして設定する。もっとも、利用する近似球形状ＡＧの設定方法は、これに限る趣旨ではない。例えば、視点位置関連パラメータ設定部１１１は、入力される対象物体の大きさや形状に関する情報（対象物体情報）に基づき、対象物体に適した視点位置間隔などを自動計算し、求めた視点位置間隔などから利用すべき複数の近似球形状ＡＧを設定してもよい。

視点位置作成部１１２は、視点位置関連パラメータ設定部１１１によって設定された複数の近似球形状ＡＧに対し、各視点位置（すなわち各頂点）を作成する（ステップＳ１１２）。例えば、視点位置関連パラメータ設定部１１１によって、図４に示す正２０面体ＡＧ１、８０面体ＡＧ２などが設定されている場合には、視点位置作成部１１２は、正２０面体ＡＧ１、８０面体ＡＧ２などの各頂点に、各視点位置を作成（設定）する。視点位置作成部１１２は、視点位置間隔の広い近似球形状ＡＧ（例えば正２０面体ＡＧ１）から視点位置間隔の狭い近似球形状ＡＧ（例えば１２８０面体ＡＧ４）まで各視点位置を作成すると、各近似球形状ＡＧの視点位置を最適視点位置作成部１１３に出力する。

最適視点位置作成部１１３は、親視点に関連づけられる子視点の数が略均等、かつ、親視点に関連づけられる子視点の最大距離Ｌｍａｘ（又は親視点と関連づけられる子視点の平均距離Ｌａｖｅ）が最小となる回転角度（以下、「最適回転角度」と略称する。）を算出する（ステップＳ１１３）。一例として、Ｘ軸、Ｙ軸、Ｚ軸のそれぞれの軸周りに所定角ａ、ｂ、ｃだけ回転させた場合の上記最大距離Ｌｍａｘを求める。そして、最適視点位置作成部１１３は、各軸周りの所定角ａ、ｂ、ｃの値を順次変化させ、そのときに得られる上記最大距離Ｌｍａｘから、所定角ａ、ｂ、ｃと最大距離Ｌｍａｘとの相関を求め、上記最大距離Ｌｍａｘが最も小さくなるときの所定角ａ、ｂ、ｃを、最適回転角度として算出する。その後、最適視点位置作成部１１３は、視点位置作成部１１２から出力される各近似球形状ＡＧの視点位置に対し、算出した最適回転角度で回転させる処理を施すことで最適視点位置を算出する（ステップＳ１１４）。最適視点位置作成部１１３は、算出した最適視点位置を視点位置情報出力部１１４に出力する。

視点位置情報出力部１１４は、最適視点位置作成部１１３から供給される複数の最適視点位置について、最適視点位置をあらわす視点位置情報を生成し（ステップＳ１１５）、テンプレート作成装置１２０に出力する。

Ａ－６．（テンプレート作成処理）
次に、図７のフローに従って、テンプレート作成装置（テンプレート作成部）１２０によって実行されるテンプレート作成処理を説明する。
視点位置情報取得部１２１は、視点位置作成装置１１０の視点位置情報出力部１１４から出力される各最適視点位置をあらわす視点位置情報を取得する（ステップ１２１）。
３次元ＣＡＤデータ取得部１２２は、対象物体の３次元形状を表す３次元データを取得する（ステップＳ１２２）。３次元ＣＡＤデータ取得部１２２は、対象物体を立体図形として認識可能な任意の３次元データを取得することができ、本実施形態では、３次元ＣＡＤデータを取得するものとする。３次元ＣＡＤデータ取得部１２２は、外部の３次元ＣＡＤサーバ等から３次元ＣＡＤデータを取得することもできるし、メモリ（図示略）から３次元ＣＡＤデータを取得することもできる。

２次元投影画像作成部１２３は、視点位置情報取得部１２１が取得した視点位置情報及び３次元ＣＡＤデータ取得部１２２が取得した３次元データを用いて、各最適視点から見た対象物体の投影画像（すなわち２Ｄ画像）を生成する（ステップＳ１２３）。

特徴抽出部１２４は、最適視点ごとの投影画像から複数の特徴点の特徴量を抽出する（ステップＳ１２４）。特徴量としては、例えば、ピクセル値（輝度）、輝度勾配方向、量子化勾配方向、Ｈｏｇ（Histograms of Oriented Gradients）、ＨＡＡＲ－Ｌｉｋｅ、ＳＩＦＴ（Scale-Invariant Feature Transform）などを用いることができる。輝度勾配方向とは、特徴点を中心とする局所領域での輝度の勾配の方向(角度)を連続値で表すものであり、量子化勾配方向とは、特徴点を中心とする局所領域での輝度の勾配の方向を離散値で表す(例えば、８方向を０～７の１バイトの情報で保持する)ものである。

テンプレート作成部１２５は、特徴抽出部１２４によって抽出された最適視点ごとの投影画像の特徴量に基づき、複数のテンプレートを作成する（ステップＳ１２５）。ここで、テンプレートは、対象物体の画像特徴を表すデータであり、テンプレートには任意の形式を用いることができる。例えば、テンプレートとして投影画像中の特徴点の特徴量を記述した配列形式を用いることができる。

前述したように、本実施形態では、解像度が段階的に異なる各層の画像（画像ピラミッド）を用いた粗密探索を行うため、各層ごとのテンプレートを作成する必要がある。よって、テンプレート作成部１２５は、各層ごとに解像度が異なる複数のテンプレートを作成する。すなわち、テンプレート作成部１２５は、各層ごとに、対応する近似球形状ＡＧ（例えば正２０面体）の頂点として設定されている各最適視点から見た各投影画像を用いて複数のテンプレートを作成する。

テンプレート情報出力部１２６は、最適視点ごとに、テンプレート作成部１２５が作成したテンプレートをテンプレート情報として物体認識処理装置１３０に出力する（ステップＳ１２６）。

Ａ－７．（物体認識処理）
次に、図８のフローに従って、物体認識処理装置１３０によって実行される物体認識処理を説明する。

まず、テンプレート情報取得部１３１は、テンプレート作成装置１２０のテンプレート情報出力部１２６から出力されるテンプレート情報を取得し、テンプレートマッチング部１３５に供給する（ステップＳ１３１）。
画像取得部１３２は、カメラ１１から入力画像を取り込む（ステップＳ１３２）。この画像には、任意の姿勢の対象物体が写っているものとする。

画像ピラミッド生成部１３３は、取り込まれた入力画像（元画像）から低解像度画像を生成し、画像ピラミッドを生成する（ステップＳ１３３）。例えば、第１層画像として１６０画素×１２０画素、第２層画像として３２０画素×２４０画素等で構成される画像ピラミッドを構成することができる。

特徴抽出部１３４は、画像ピラミッドを構成する各層画像に対し特徴抽出処理を施す（ステップＳ１３４）。抽出される特徴量は、テンプレートのものと同種の特徴量であり、例えば量子化勾配方向などが挙げられる。最上層である第１層画像（もっとも低解像度の画像）に対する特徴抽出処理の結果として、第１層画像と同じ解像度を有し、第１層画像の各画素位置で抽出された特徴量データを画素値としてもつ画像（以下、「第１層特徴画像」ともいう。）が得られる。同様に、第２層画像に対する特徴抽出処理の結果として第２層特徴画像が得られる。

テンプレートマッチング部１３５は、テンプレート情報取得部１３１から供給される最適視点ごとのテンプレート情報と、各テンプレート情報に対応する特徴抽出部１３４が算出した各特徴量とを用いてテンプレートマッチングを行う（ステップＳ１３５）。

詳述すると、テンプレートマッチング部１３５は、まず、第１層特徴画像と第１層用の最適視点ごとのテンプレートを用いてマッチング処理を行う。テンプレートマッチング部１３５は、第１層用の最適視点ごとのテンプレートを用いたマッチング処理の結果、正解候補となるテンプレートを検出すると、検出結果に基づき、第２層特徴画像の探索範囲を設定し、第２層特徴画像と第２層用の最適視点ごとのテンプレートを用いてマッチング処理を行う。第３層画像、第４層画像が存在する場合には、これらの層画像に対しても同様な処理が行われる。例えば、第３層画像が存在する場合、テンプレートマッチング部１３５は、第２層画像でのマッチング処理の結果に基づき、第３層特徴画像の探索範囲を設定し、第３層特徴画像と第３層用の最適視点ごとのテンプレートを用いてマッチング処理を行う。このような処理が行われる結果、最下層（この場合は第４層）における物体の存在位置を認識することが可能となる。

テンプレートマッチング部１３５は、対象物体の存在位置や姿勢などを認識すると、認識結果を示す認識情報を認識結果出力部１３６に出力する。認識結果出力部１３６は、テンプレートマッチング部１３５から供給される認識情報を、外部装置や液晶パネルなどに出力する（ステップＳ１３６）。認識情報は、例えば、対象物体の検査・計測や、ピッキング・ロボットの制御などに利用される。

ここで、図９Ａは、従来手法を用いたテンプレートマッチングの処理時間を説明するための図であり、図９Ｂは、本願手法を用いたテンプレートマッチングの処理時間を説明するための図である。なお、図９Ａ及び図９Ｂでは、第１層の解像度が最も低く、第２層は第１層の４倍、さらに、第３層は第２層の４倍の解像度を有しているものとする。また、各層用のテンプレートに含まれる特徴点の数は、上位層から下位層に進むにつれ４倍ずつ増えるため、テンプレートマッチングの処理時間も、上位層から下位層に進むにつれ４倍ずつ長くなるものと仮定する。すなわち、第１層での１テンプレートあたりの処理時間を「１」とすると、第２層での１テンプレートあたりの処理時間は「４」、第３層での１テンプレートあたりの処理時間は「１６」となる。

従来手法は、テンプレート同士の類似度を求めて視点をグルーピングし、マッチング処理に用いるテンプレートの数を減らすことで処理の高速化を図っている。テンプレート同士の類似度を求めて視点をグルーピングする方法では、例えば図９Ａに示すように、第２層においてテンプレート数が「３」の探索範囲に絞り込まれたとしても、第３層ではテンプレート数が「１」の探索範囲３Ａ－１、テンプレート数が「５」の探索範囲３Ａ－２、テンプレート数が「１０」の探索範囲３Ａ－３のそれぞれの範囲でテンプレートマッチングを行う必要がある。第３層での１テンプレートあたりの処理時間は「１６」であるから、各探索範囲３Ａ－１～３Ａ－３の処理時間は、それぞれ１６（＝１６×１）、８０（＝１６×５）、１６０（＝１６×１０）とあらわすことができる。このため、各探索範囲３Ａ－１～３Ａ－３でのトータルの処理時間（すなわち、第１層から第３層までのトータルの処理時間）は、それぞれ２９（＝１６＋１２＋１）、９３（＝８０＋１２＋１）、１７３（＝１６０＋１２＋１）となる。このように、従来手法を用いた場合には、テンプレートのマッチング（すなわち対象物体の位置や姿勢の認識）に要する処理時間は大きくばらつく。

一方、本願手法では、親視点に関連づけられる（すなわち、グルーピングされる）子視点の数が略３または４個で均等、かつ、各視点間の距離も略一定（等間隔）となるように各最適視点位置が定められ、最適視点ごとに作成されたテンプレートを用いてマッチング処理が行われる。したがって、図９Ｂに示すように、第２層においてテンプレート数が「４」の探索範囲に絞り込まれると、第３層ではテンプレート数がすべて同一（図９Ｂでは「４」）の探索範囲３Ｂ－１～３Ｂ－４でテンプレートマッチングが行われることになる。第３層での１テンプレートあたりの処理時間は「１６」であるから、各探索範囲３Ｂ－１～３Ｂ－４の処理時間は、いずれも６４（＝１６×４）とあらわすことができ、各探索範囲３Ａ－１～３Ａ－３のトータルの処理時間は、いずれも８１（＝６４＋１６＋１）となる。このように、本願手法を用いた場合には、テンプレートのマッチングに要する処理時間は略均等となる。

以上説明したように、本実施形態によれば、近似球形状ＡＧの各頂点を視点位置として各解像度のテンプレートを作成する。このため、従来技術のごとく、テンプレートを作成する際に、各視点からの見え方の類似度を判定し、視点をグルーピングするといった処理を行う必要がなく、テンプレートの作成時間を短縮することができる。

また、本実施形態によれば、親視点に関連づけられる子視点の数は、３または４個で略均等になり、かつ、各視点間の距離も略一定となる。各探索範囲に割り当てられる視点の数は略均等になるため、各探索範囲でのテンプレートのマッチングに要する処理時間も略均等となる。

さらに、本実施形態によれば、親視点と関連づけられる子視点の最大距離Ｌｍａｘ（又は親視点と関連づけられる子視点ｆの平均距離Ｌａｖｅ）が最小となるように、さらには、親視点と関連づけられる子視点の数が略均等となるように、近似球形状ＡＧ２の回転角度を求め、求めた回転角度で近似球形状ＡＧ２を回転させる。このような回転を行うことで、親視点から関連づけられる各子視点までの距離は、回転させない場合と比較して短くなるため、マッチング処理の対象物体の見え方の変化は小さくなり、認識精度の低下を抑制することができる。

Ｂ．その他
上記実施形態では、入力される対象物体の大きさや形状に関する対象物体情報に基づき、対象物体に適した視点位置間隔などを自動計算し、求めた視点位置間隔などから利用すべき複数の近似球形状ＡＧを設定したが、対象物体にかかわらず、常に同一の近似球形状ＡＧのセット（例えば、図４に示す近似球形状ＡＧ１～ＡＧ４）を利用してもよい。

本明細書において、「部」とは、単に物理的構成を意味するものではなく、その「部」が実行する処理をソフトウェアによって実現する場合も含む。また、１つの「部」や装置が実行する処理を２つ以上の物理的構成や装置により実現されても、２つ以上の「部」や装置が実行する処理を１つの物理的手段や装置により実現されてもよい。

本明細書において上述した各処理におけるステップは、処理内容に矛盾を生じない範囲で任意に順番を変更し、または並列に実行することができる。

本明細書において説明した各処理を実施するプログラムは、記録媒体に記憶させてもよい。この記録媒体を用いれば、画像処理装置１０を構成する各装置に、上記プログラムをインストールすることができる。ここで、上記プログラムを記憶した記録媒体は、非一過性の記録媒体であっても良い。非一過性の記録媒体は特に限定されないが、例えば、ＣＤ－ＲＯＭ等の記録媒体であっても良い。

（付記１）
少なくとも１つのメモリと前記メモリに接続された少なくとも１つのハードウェアプロセッサを備え、テンプレートマッチングに利用される物体認識用の階層的なテンプレートを作成するテンプレート作成装置であって、
前記ハードウェアプロセッサは、前記メモリに格納された所定のプログラムを実行することにより、
各頂点の間隔が略均等、かつ、前記各頂点が各視点位置として設定される近似球形状を複数作成する作成部であり、作成する前記近似球形状ごとに、前記各視点位置の間隔が異なっている視点位置作成部と、
前記近似球形状ごとに、設定された前記各視点位置から見た対象物体に対応する複数のテンプレートを作成するテンプレート作成部として処理を実行する、テンプレート作成装置。
（付記２）
少なくとも１つのハードウェアプロセッサによって、テンプレートマッチングに利用される物体認識用の階層的なテンプレートを作成するテンプレート作成方法であって、
前記ハードウェアプロセッサは、
各頂点の間隔が略均等、かつ、前記各頂点が各視点位置として設定される近似球形状を複数作成するステップであり、作成する前記近似球形状ごとに、前記各視点位置の間隔が異なっている視点位置作成ステップと、
前記近似球形状ごとに、設定された前記各視点位置から見た対象物体に対応する複数のテンプレートを作成するテンプレート作成ステップとを実行する、テンプレート作成方法。

１…物体認識装置、２…対象物体、３…トレイ、４…ＰＬＣ、１０…画像処理装置、１１…カメラ、１２…ディスプレイ、１３…マウス、１４…メモリカード、１１０…視点位置作成装置、１１１…視点位置関連パラメータ設定部、１１２…視点位置作成部、１１３…最適視点位置作成部、１１４…視点位置情報出力部、１２０…テンプレート作成装置、１２１…視点位置情報取得部、１２２…３次ＣＡＤデータ取得部、１２３…２次元投影画像作成部、１２４…特徴抽出部、１２５…テンプレート作成部、１２６…テンプレート情報出力部、１３０…物体認識処理装置、１３１…テンプレート情報取得部、１３２…画像取得部、１３３…画像ピラミッド生成部、１３４…特徴抽出部、１３５…テンプレートマッチング部、１３６…認識結果出力部、ＡＧ，ＡＧ１，ＡＧ２，ＡＧ３，ＡＧ４…近似球形状、ＶＰ…視点位置。

Claims (7)

1. テンプレートマッチングに利用される物体認識用の階層的なテンプレートを作成するテンプレート作成装置であって、
   各頂点の間隔が略均等、かつ、前記各頂点が各視点位置として設定される近似球形状を複数作成する作成部であり、作成する前記近似球形状ごとに、前記各視点位置の間隔が異なっている視点位置作成部と、
   前記近似球形状ごとに、設定された前記各視点位置から見た対象物体に対応する複数のテンプレートを作成するテンプレート作成部とを具備し、
   前記各頂点は、対応する前記近似球形状の球面上に設けられ、
   前記近似球形状ごとに、前記各視点位置の間隔が異なるとともに、前記視点位置の数が異なり、
   前記各視点位置の間隔が広い方の前記近似球形状の一つの視点に対し、前記各視点位置の間隔が狭い方の前記近似球形状の複数の視点を対応づけることで、前記一つの視点に対応づけられる前記複数の視点の数が略均等となっている、テンプレート作成装置。
2. テンプレートマッチングに利用される物体認識用の階層的なテンプレートを作成するテンプレート作成装置であって、
   各頂点の間隔が略均等、かつ、前記各頂点が各視点位置として設定される近似球形状を複数作成する作成部であり、作成する前記近似球形状ごとに、前記各視点位置の間隔が異なっている視点位置作成部と、
   前記近似球形状ごとに、設定された前記各視点位置から見た対象物体に対応する複数のテンプレートを作成するテンプレート作成部とを具備し、
   前記間隔が広い方の前記近似球形状に設定された前記各視点位置を各親視点とし、前記間隔が狭い方の前記近似球形状に設定された前記各視点位置を各子視点とした場合、
   前記各親視点に関連づけられる前記各子視点の数が略均等、かつ、前記各親視点と関連づけられる前記各子視点との間の最大距離が、最小となる回転角度を算出し、算出した前記回転角度で前記各近似球形状を回転させる処理を施すことで、回転後の前記各視点位置に対応する各最適視点位置を算出する最適視点位置作成部をさらに備え、
   前記テンプレート作成部は、前記近似球形状ごとに、設定された前記各最適視点位置から見た前記対象物体に対応する複数のテンプレートを作成する、テンプレート作成装置。
3. 対象物体の形状、大きさに適した視点位置の間隔を設定する視点位置関連パラメータ設定部をさらに備え、
   前記視点位置作成部は、設定された前記視点位置の間隔に基づき、前記近似球形状を複数作成する、請求項１に記載のテンプレート作成装置。
4. 請求項１に記載のテンプレート作成装置によって作成された前記複数のテンプレートを用いて、物体の認識を行う物体認識処理装置であって、
   前記対象物体の入力画像を取得する画像取得部と、
   前記テンプレート作成部によって作成された前記各視点位置から見た前記対象物体に対応する前記複数のテンプレートを用いて、前記対象物体の入力画像とのマッチングを行うテンプレートマッチング部と
   を具備する物体認識処理装置。
5. 粗密探索におけるテンプレートマッチングにより前記対象物体の認識を行う、請求項４に記載の物体認識処理装置。
6. テンプレートマッチングに利用される物体認識用の階層的なテンプレートを作成するテンプレート作成方法であって、
   各頂点の間隔が略均等、かつ、前記各頂点が各視点位置として設定される近似球形状を複数作成するステップであり、作成する前記近似球形状ごとに、前記各視点位置の間隔が異なっている視点位置作成ステップと、
   前記近似球形状ごとに、設定された前記各視点位置から見た対象物体に対応する複数のテンプレートを作成するテンプレート作成ステップとを含み、
   前記各頂点は、対応する前記近似球形状の球面上に設けられ、
   前記近似球形状ごとに、前記各視点位置の間隔が異なるとともに、前記視点位置の数が異なり、
   前記各視点位置の間隔が広い方の前記近似球形状の一つの視点に対し、前記各視点位置の間隔が狭い方の前記近似球形状の複数の視点を対応づけることで、前記一つの視点に対応づけられる前記複数の視点の数が略均等となっている、テンプレート作成方法。
7. コンピュータに、テンプレートマッチングに利用される物体認識用の階層的なテンプレートを作成させるためのプログラムであって、
   前記コンピュータに、
   各頂点の間隔が略均等、かつ、前記各頂点が各視点位置として設定される近似球形状を複数作成するステップであり、作成する前記近似球形状ごとに、前記各視点位置の間隔が異なっている視点位置作成ステップと、
   前記近似球形状ごとに、設定された前記各視点位置から見た対象物体に対応する複数のテンプレートを作成するテンプレート作成ステップとを実行させ、
   前記各頂点は、対応する前記近似球形状の球面上に設けられ、
   前記近似球形状ごとに、前記各視点位置の間隔が異なるとともに、前記視点位置の数が異なり、
   前記各視点位置の間隔が広い方の前記近似球形状の一つの視点に対し、前記各視点位置の間隔が狭い方の前記近似球形状の複数の視点を対応づけることで、前記一つの視点に対応づけられる前記複数の視点の数が略均等となっている、プログラム。
   

Images