JP6684475B2 - 画像処理装置、画像処理方法及びプログラム - Google Patents

Description

本発明は、画像処理装置、画像処理方法及びプログラムに関する。

画像から対象物を検出する方法の一つにテンプレートマッチングと呼ばれる手法がある。テンプレートマッチングの基本処理は、検出対象となる物体のテンプレートを予め用意しておき、入力画像とテンプレートとの間の画像特徴の一致度を評価することで、画像中の物体の位置や姿勢を検出するというものである。テンプレートマッチングによる物体検出は、例えばＦＡ（Factory Automation）における検査やピッキング、ロボット・ビジョン・監視カメラ等様々な分野で実用されている。最近は、画像の高画像度化や、動画像に対するリアルタイム処理の要請等から、テンプレートマッチングのさらなる高速化が求められている。

そこで、テンプレートマッチングにおいて精度の高い認識結果を維持しながら処理速度の高速化を図るために、検出対象となる物体の基準画像と入力画像を同一比率で縮小し、縮小画像間で画像特徴の一致度を評価することが行われている（例えば、特許文献１）。

特許第３０６６１７３号公報

従来は、特定の縮小率を設定して、テンプレートマッチングを行っていた。ここで、３次元での物体認識において、同一の物体であっても視点によって大きく見え方が異なる場合、大きく見える視点に合わせて縮小率を高く設定すると、小さく見える視点でのテンプレートは解像度が低くなる。そのため、小さく見える視点でのテンプレートについて、最適な数の特徴点を抽出することができず、認識精度の低下につながる。一方、小さく見える視点に合わせて縮小率を低く設定すると、大きく見える視点でのテンプレートは必要以上に解像度が高くなる。そのため、大きく見える視点でのテンプレートについて照合すべき特徴点が多くなり、処理速度の低下につながる。

そこで、本発明は、視点毎に最適な解像度を有する縮小画像を用いて物体認識処理を実行することができる画像処理装置、画像処理方法及びプログラムを提供することを目的とする。

本発明の一態様に係る画像処理装置は、認識対象の物体の３次元形状を表す３次元データを用いて、複数の視点から見た物体の２次元画像を生成し、視点毎に縮小率を決定する縮小率決定部と、生成した各視点の２次元画像を、その視点に対して決定した縮小率を用いて縮小し、縮小した画像から特徴量を算出してテンプレートを作成するテンプレート作成部と、視点毎に、テンプレートと、当該テンプレートの作成に用いた縮小率とを関連付けて出力するテンプレート情報出力部とを備える。

この態様によれば、１つの物体に対して視点毎に縮小率を決定することにより、視点によって大きく見え方が異なる物体の物体認識処理において、認識精度を低下させることなく、ＣＰＵ（中央演算処理装置）の処理速度の高速化を図ることができる。

上記画像処理装置において、縮小率決定部は、各視点のテンプレートに含まれる特徴点の数、又は、各視点の縮小した画像に含まれる物体の面積に基づいて、縮小率を決定してもよい。この態様によれば、視点毎の認識精度及び処理速度がばらつくことを防ぐことができる。視点毎の認識精度のばらつきを防ぐことにより、例えば、認識結果を用いた後続の処理において、物体の姿勢に影響されることなく一定の処理を行うことができ、後続の処理においても精度の向上及び処理の高速化を図ることができる。また、視点毎の処理速度のばらつきを防ぐことにより、例えば、視点毎の認識処理を並列処理として実行する場合に、複数のＣＰＵへの処理の割り当てを効率的に無駄なく行うことができる。

上記画像処理装置において、縮小率決定部は、各視点に対して決定した縮小率を統合してもよい。この態様によれば、物体認識処理時の画像縮小処理や特徴量の算出処理等が共通化され、ＣＰＵの処理速度の更なる高速化を図ることができる。

上記画像処理装置において、縮小率決定部は、既定となる視点を設定し、既定となる視点との位置関係が所定の条件を満たす視点について、既定となる視点と同一グループにグループ分けし、同一グループの視点に同一の縮小率を設定することで縮小率を統合してもよい。この態様によれば、縮小率を統合する際に、物体の形状に即したグループ分けを容易に行うことができ、ＣＰＵへの負荷を減らすことができる。

上記画像処理装置において、入力画像を取得する画像取得部と、取得した入力画像を、テンプレート情報出力部が出力した複数の縮小率を用いて縮小し、複数の縮小入力画像を生成する画像縮小部と、生成した各縮小入力画像において、特徴量を算出する特徴量算出部であって、特徴量は、テンプレート作成部が算出したものと同種の特徴量である、特徴量算出部と、テンプレートと、当該テンプレートに関連付けられた縮小率の縮小入力画像において特徴量算出部が算出した特徴量とに基づいて縮小入力画像において物体の位置を探索して、複数の照合結果を得るテンプレートマッチング部と、複数の照合結果を統合した認識結果を出力する認識結果出力部とを更に備えてもよい。

この態様によれば、視点によって大きく見え方が異なる物体について、認識精度を低下させることなく、ＣＰＵの処理速度の高速化を図りながら、物体認識処理を実行することができる。また、複数の照合結果を統合した認識結果を出力することにより、例えば、認識結果を用いた後続の処理において、物体が認識された位置を考慮した効率的な動作を実行させることができる。

上記画像処理装置において、照合結果は、縮小入力画像中に認識された物体の座標、及び当該座標ごとに縮小入力画像とテンプレートとの間の画像特徴の一致度を示す照合スコアを含み、認識結果出力部は、同一の座標に異なる照合結果が出力される場合、最も高い照合スコアを有するテンプレートが当該座標上に認識されたと決定して、認識結果を出力してもよい。この態様によれば、１つの物体に対して視点毎に縮小率が決定される態様において、同一の座標に異なる照合結果が出力される場合に対処し得る。

本発明の他の態様に係るコンピュータが実行する画像処理方法は、認識対象の物体の３次元形状を表す３次元データを用いて、複数の視点から見た物体の２次元画像を生成する工程と、視点毎に縮小率を決定する工程と、生成した各視点の２次元画像を、その視点に対して決定した縮小率を用いて縮小し、縮小画像を生成する工程と、縮小画像から特徴量を算出してテンプレートを作成する工程と、視点毎に、テンプレートと、当該テンプレートの作成に用いた縮小率とを関連付けて出力する工程とを含む。

上記画像処理方法において、入力画像を取得する工程と、取得した入力画像を、出力した複数の縮小率を用いて縮小し、複数の縮小入力画像を生成する工程と、生成した各縮小入力画像において、特徴量を算出する工程であって、特徴量は、テンプレートの作成に用いた特徴量と同種の特徴量である、工程と、テンプレートと、当該テンプレートに関連付けられた縮小率の縮小入力画像において算出した特徴量とに基づいて縮小入力画像において物体の位置を探索して、複数の照合結果を得る工程と、複数の照合結果を統合した認識結果を出力する工程とを更に含んでもよい。

本発明の他の態様に係るプログラムは、コンピュータに、認識対象の物体の３次元形状を表す３次元データを用いて、複数の視点から見た物体の２次元画像を生成する処理と、視点毎に縮小率を決定する処理と、生成した各視点の２次元画像を、その視点に対して決定した縮小率を用いて縮小し、縮小画像を生成する処理と、縮小画像から特徴量を算出してテンプレートを作成する処理と、視点毎に、テンプレートと、当該テンプレートの作成に用いた縮小率とを関連付けて出力する処理とを実行させる。

上記プログラムにおいて、コンピュータに、入力画像を取得する処理と、取得した入力画像を、出力した複数の縮小率を用いて縮小し、複数の縮小入力画像を生成する処理と、生成した各縮小入力画像において、特徴量を算出する処理であって、特徴量は、テンプレートの作成に用いた特徴量と同種の特徴量である、処理と、テンプレートと、当該テンプレートに関連付けられた縮小率の縮小入力画像において算出した特徴量とに基づいて縮小入力画像において物体の位置を探索して、複数の照合結果を得る処理と、複数の照合結果を統合した認識結果を出力する処理とを更に実行させてもよい。

本発明によれば、１つの物体に対して視点毎に最適な縮小率を設定することで、視点毎に最適な解像度を有する縮小画像を用いて物体認識処理を実行することができる画像処理装置、画像処理方法及びプログラムを提供することができる。

物体認識装置の全体構成を示す図である。 物体認識装置のハードウェア構成を示す図である。 画像処理装置の機能構成を示す図である。 テンプレート作成装置によって実行されるテンプレート登録処理の流れを示すフローチャートである。 （ａ）カメラから取得される入力画像、（ｂ）複数の視点から見た物体の２次元画像を生成する概念図、（ｃ）特定の視点から見た物体の２次元画像、（ｄ）特定の視点から見た物体の２次元画像、をそれぞれ例示する図である。 物体認識処理装置によって実行される物体認識処理の流れを示すフローチャートである。

添付図面を参照して、本発明の好適な実施形態について説明する。なお、以下の実施形態は、本発明の理解を容易にするためのものであり、本発明を限定して解釈するためのものではない。また、本発明は、その要旨を逸脱しない限り、さまざまな変形が可能である。さらに、当業者であれば、以下に述べる各要素を均等なものに置換した実施形態を採用することが可能であり、係る実施形態も本発明の範囲に含まれる。

（物体認識装置の全体構成）
図１を参照して、本発明の実施形態に係る物体認識装置の全体構成及び適用場面について説明する。

物体認識装置１は、生産ライン等に設置され、カメラ１１から取り込まれた画像を用いてトレイ３内の物体２の認識を行うシステムである。トレイ３には、認識対象の物体２がバラ積みされている。物体認識装置１は、カメラ１１から所定の時間間隔で画像を取り込み、画像処理装置１０によって画像に含まれる各物体２の位置及び姿勢を認識する処理を実行し、その結果をＰＬＣ（プログラマブルロジックコントローラ）４やディスプレイ１２等に出力する。物体認識装置１の出力である認識結果は、例えば、ピッキング・ロボットの制御、加工装置や印字装置の制御、物体２の検査や計測等に利用される。

（ハードウェア構成）
図２を参照して、物体認識装置１のハードウェア構成を説明する。物体認識装置１は、概して、カメラ１１と画像処理装置１０から構成される。

カメラ１１は、物体２のデジタル画像を画像処理装置１０に取り込むための撮像デバイスであり、例えばＣＭＯＳ（Complementary Metal-Oxide-Semiconductor）カメラやＣＣＤ（Charge-Coupled Device）カメラを好適に用いることができる。解像度、カラー／モノクロ、静止画像／動画、階調、データ形式等の入力画像の形式は任意であり、物体２の種類やセンシングの目的に合わせて適宜選択することができる。Ｘ線画像やサーモ画像等、可視光像以外の特殊な画像を物体認識や検査に利用する場合には、その画像に合わせたカメラを用いてもよい。

画像処理装置１０は、ハードウェアプロセッサに相当するＣＰＵ１１０と、ワークメモリとして用いられるメインメモリ１１２と、固定記憶部であるハードディスク１１４と、カメラインターフェイス１１６と、入力インターフェイス１１８と、表示コントローラ１２０と、ＰＬＣインターフェイス１２２と、通信インターフェイス１２４と、データリーダ／ライタ１２６とを含む。これらの各部は、バス１２８を介して、互いにデータ通信可能に接続されている。

カメラインターフェイス１１６は、ＣＰＵ１１０とカメラ１１との間のデータ伝送を仲介する部分であり、カメラ１１からの画像データを一時的に蓄積するための画像バッファ１１６ａを有している。入力インターフェイス１１８は、ＣＰＵ１１０と入力部との間のデータ伝送を仲介する。入力部には、マウス１３、キーボード、タッチパネル、ジョグコントローラ等が含まれる。表示コントローラ１２０は、液晶モニタ等のディスプレイ１２に接続され、当該ディスプレイでの表示を制御する。ＰＬＣインターフェイス１２２は、ＣＰＵ１１０とＰＬＣ４との間のデータ伝送を仲介する。通信インターフェイス１２４は、ＣＰＵ１１０とコンソール、あるいはパーソナルコンピュータやサーバ装置等との間のデータ伝送を仲介する。データリーダ／ライタ１２６は、ＣＰＵ１１０と記録媒体であるメモリカード１４との間のデータ伝送を仲介する。

画像処理装置１０は、汎用的なアーキテクチャを有するコンピュータで構成可能であり、ＣＰＵ１１０が、ハードディスク１１４又はメモリカード１４に格納されたプログラムを読み込み、実行することで、各種機能を提供する。このようなプログラムは、メモリカード１４や光ディスク等のコンピュータ読取可能な記録媒体に格納された状態で流通するか、インターネット等を通じて提供される。なお、本実施形態に係るプログラムは単体のアプリケーションプログラムとして提供されてもよいし、他のプログラムの一部に組み込まれるモジュールとして提供されてもよい。また、その機能の一部又は全部がＡＳＩＣ等の専用回路で代替されてもよい。

（機能構成）
図３に、画像処理装置１０の機能構成を示す。画像処理装置１０は、テンプレート作成装置２０としての機能部と、物体認識処理装置３０としての機能部と、記憶装置４０とを備える。

テンプレート作成装置２０は、物体認識処理で利用するテンプレートを作成する機能部である。テンプレート作成装置２０によって作成されたテンプレートは、記憶装置４０のテンプレートデータベース（ＤＢ）４０１に登録される。物体認識処理装置３０は、カメラ１１から取り込まれた画像に対しテンプレートＤＢ４０１に登録されたテンプレートを用いてテンプレートマッチングを実行することで、画像中の物体を認識する機能部である。

ここで、本明細書に記載のテンプレートは、認識対象の物体２の画像特徴を表すデータである。テンプレートには任意の形式を用いることができ、例えば、画像中の複数の特徴点の特徴量を記述した配列形式を用いることができる。なお、特徴点とは、画像の中の物体の境界、物体の輪郭線の屈折部および屈曲部など、予め定められた特徴を示す画像座標上の位置である。

テンプレート作成装置２０は、３次元データ取得部２０１、縮小率決定部２０２、テンプレート作成部２０３及びテンプレート情報出力部２０４を備えている。

３次元データ取得部２０１は、認識対象の物体２の３次元形状を表す３次元データを取得する。３次元データ取得部２０１は、認識対象の物体２を立体図形として認識可能な任意の３次元データを取得することができ、本実施形態では、３次元ＣＡＤデータを取得するものとする。３次元データ取得部２０１は、外部の３次元ＣＡＤサーバ等から３次元ＣＡＤデータを取得することもできるし、記憶装置４０から３次元ＣＡＤデータを取得することもできる。

縮小率決定部２０２は、３次元データ取得部２０１が取得した３次元データを用いて、複数の視点から見た物体２の２次元画像を生成し、視点毎に最適な縮小率を決定する。縮小率が高いほど処理の高速化が図れる一方、前述したように、縮小率を高くしすぎると認識精度の低下につながる。したがって、処理速度及び認識精度のトレードオフを考慮した適切な縮小率が視点毎に存在する。本実施形態では、縮小率決定部２０２は、各視点のテンプレートに含まれる特徴点の数が所定の数以上となるように、及び／又は、各視点の縮小した画像に含まれる物体２の面積が一定になるように縮小率を決定することができる。

縮小率決定部２０２は、また、各視点に対して決定した縮小率を統合することができる。例えば、縮小率決定部２０２は、グループ内の縮小率のばらつきが所定の閾値以下となるように、複数の視点の縮小率をグループ分けし、グループ毎に縮小率を決定することができる。グループ内の縮小率のばらつきの値は、例えば、縮小率の標準偏差や分散等により示される。縮小率決定部２０２は、ｋ−ｍｅａｎｓ法等の任意のクラスタリングアルゴリズムを用いて、複数の視点のグループ分けを行うことができる。

縮小率を統合する別の方法として、例えば、縮小率決定部２０２は、視点位置が近い場合には見え方も似ているという傾向を利用して、既定となる視点から所定の範囲内の視点については縮小率１を、他の既定となる視点から所定の範囲内の視点については縮小率２を、という具合に、視点位置によって縮小率を決定することもできる。

各グループの縮小率については、縮小率決定部２０２は、例えば、グループ内の縮小率の平均値、中央値、最頻値等として決定することができる。このようにすることで、後述の物体認識処理装置３０による画像縮小処理や特徴量の算出処理等が共通化され、処理速度の高速化を図ることができる。

テンプレート作成部２０３は、縮小率決定部２０２が生成した各視点の２次元画像を、その視点に対して決定した縮小率を用いて縮小し、縮小した画像から特徴量を算出してテンプレートを作成する。なお、テンプレート作成時に行われる特徴点の検出及び特徴量の算出については公知の任意の手法を利用できるため、本明細書では詳しい説明を省略する。

特徴量としては、例えば、ピクセル値（輝度）、輝度勾配方向、量子化勾配方向、Ｈｏｇ（Histograms of Oriented Gradients）、ＨＡＡＲ−Ｌｉｋｅ、ＳＩＦＴ（Scale-Invariant Feature Transform）等を用いることができる。輝度勾配方向とは、特徴点を中心とする局所領域での輝度の勾配の方向(角度)を連続値で表すものであり、量子化勾配方向とは、特徴点を中心とする局所領域での輝度の勾配の方向を離散値で表す(例えば、８方向を０〜７の１バイトの情報で保持する)ものである。

テンプレート情報出力部２０４は、視点毎に、テンプレート作成部２０３が作成したテンプレートと、当該テンプレートの作成に用いた縮小率とを関連付けて、記憶装置のテンプレートＤＢ４０１に登録する。

物体認識処理装置３０は、画像取得部３０１、画像縮小部３０２、特徴量算出部３０３、テンプレートマッチング部３０４及び認識結果出力部３０５を備えている。

画像取得部３０１は、カメラ１１から入力画像を取得する。画像縮小部３０２は、画像取得部３０１が取得した入力画像を、記憶装置４０のテンプレートＤＢ４０１に登録されている各縮小率を用いて縮小し、テンプレートＤＢ４０１に登録されている縮小率の数分の縮小入力画像を生成する。

特徴量算出部３０３は、画像縮小部３０２が生成した各縮小入力画像において、特徴量を算出する。ここで算出される特徴量は、テンプレート作成時にテンプレート作成部２０３が算出したものと同種の特徴量である。

テンプレートマッチング部３０４は、テンプレートＤＢ４０１に登録されているテンプレートと、当該テンプレートに関連付けられた縮小率の縮小入力画像において特徴量算出部３０３が算出した特徴量とに基づいて縮小入力画像において物体２の位置を探索して、複数の照合結果を得る。すなわち、テンプレートマッチング部３０４は、テンプレートＤＢ４０１に登録されているテンプレートの数分だけ、探索処理を行う。本実施形態では、テンプレートＤＢにおいて登録されている全てのテンプレートについて、縮小入力画像中に認識された物体２の座標、及び当該座標ごとに縮小入力画像とテンプレートとの間の画像特徴の一致度を示す照合スコアを照合結果として得る。

認識結果出力部３０５は、テンプレートマッチング部３０４が得た複数の照合結果を統合して、最終的な認識結果を出力する。本実施形態では、認識結果出力部３０５は、縮小入力画像中の座標を元の入力画像中の座標に変換し、同一の座標に異なる照合結果が出力される場合、最も高い照合スコアを有するテンプレートが当該座標上に認識されたと決定して、認識結果を出力する。

記憶装置４０は、テンプレートＤＢ４０１を備えている。テンプレートＤＢ４０１には、各視点のテンプレートと、当該テンプレートの縮小率とが関連付けて格納されている。前述したように、縮小率決定部２０２は、各視点に対して決定した縮小率を統合することができるので、テンプレートＤＢ４０１には、同一の縮小率を有する複数のテンプレートが存在し得る。

（テンプレート登録処理）
次に、図４のフローチャートに沿って、テンプレート作成装置２０によって実行されるテンプレート登録処理について説明する。なお、図４に示すテンプレート登録処理は、画像処理装置１０を新たに設置した際や、認識対象の物体２が変更になった際に実行される。本実施形態では、図５（ａ）に示される物体２の物体認識処理を行うためのテンプレートを登録するものとする。図５（ａ）に示されるように、入力画像中には複数の物体２が含まれており、各物体２の位置及び姿勢は任意である。

ステップＳ４０１において、テンプレート作成装置２０の３次元データ取得部２０１は、認識対象の物体２の３次元データを取得する。例えば、本実施形態では、３次元データ取得部２０１は、外部の３次元ＣＡＤサーバから３次元ＣＡＤデータを取得する。

次に、ステップＳ４０２において、テンプレート作成装置２０の縮小率決定部２０２は、３次元データ取得部２０１が取得した３次元データを用いて、複数の視点から見た物体の２次元画像を生成する。本実施形態では、縮小率決定部２０２は、３次元ＣＡＤデータを用いて、例えば、図５（ｂ）に示されるように、物体２を包含する多面体５０１の各頂点から見た物体２の２次元画像を生成する。図５（ｃ）に、矢印５０２により示される真上から見た物体２の２次元画像、図５（ｄ）に、矢印５０３により示される真横から見た物体の２次元画像を示す。

続いて、Ｓ４０３において、縮小率決定部２０２は、Ｓ４０２で生成した各視点の２次元画像について、視点毎に最適な縮小率を決定する。本実施形態では、縮小率決定部２０２は、各視点のテンプレートに含まれる特徴点の数、又は、各視点の縮小した画像に含まれる物体２の面積に基づいて、縮小率を決定することができる。

さらに、Ｓ４０４において、縮小率決定部２０２は、各視点に対して決定した縮小率を統合する。例えば、本実施形態では、縮小率決定部２０２は、任意の既定となる視点を設定し、既定となる視点との位置関係が所定の条件を満たす視点について、既定となる視点と同一グループにグループ分けを行う。そして、縮小率決定部２０２は、同一グループの視点に同一の縮小率を設定することで、縮小率を統合する。具体的には、例えば、縮小率決定部２０２は、既定となる視点として矢印５０２により示される真上の頂点５０４からの視点、及び矢印５０３により示される真横の頂点５０５からの視点を設定する。縮小率決定部２０２は、特定の既定の視点、多面体５０１の中心、ある視点１の３点により構成される角度が２０度以内の場合に、この視点１を既定となる視点と同一グループにグループ分けし、同一グループの視点に既定となる視点の縮小率を設定する。

その後、Ｓ４０５において、テンプレート作成装置２０のテンプレート作成部２０３は、縮小率決定部２０２が生成した各視点の２次元画像を、Ｓ４０３又はＳ４０４においてその視点に対して決定した縮小率を用いて縮小し、Ｓ４０６において、縮小した画像から特徴量を算出してテンプレートを作成する。本実施形態では、テンプレート作成部２０３は、縮小率決定部２０２が生成した各視点の２次元画像を、Ｓ４０３又はＳ４０４においてその視点に対して決定した縮小率を用いて縮小し、縮小した画像から量子化勾配方向を算出してテンプレートを作成する。

最後に、Ｓ４０７において、テンプレート作成装置２０のテンプレート情報出力部２０４は、視点毎に、テンプレート作成部２０３が作成したテンプレートと、当該テンプレートの作成に用いた縮小率とを関連付けて、記憶装置４０のテンプレートＤＢ４０１に登録する。本実施形態では、テンプレート作成部２０３は、視点毎に、Ｓ４０６で算出した複数の特徴点の量子化勾配方向を記述した配列形式のデータを、縮小率と関連付けて登録する。

（物体認識処理）
次に、図６のフローチャートに沿って、物体認識処理装置３０によって実行される物体認識処理について説明する。

ステップＳ６０１において、物体認識処理装置３０の画像取得部３０１は、カメラ１１から入力画像を取得する。次に、ステップＳ６０２において、物体認識処理装置３０の画像縮小部３０２は、画像取得部３０１が取得した入力画像を、記憶装置４０のテンプレートＤＢ４０１に登録されている各縮小率を用いて縮小し、テンプレートＤＢ４０１に登録されている縮小率の数分の縮小入力画像を生成する。

続いて、ステップＳ６０３において、物体認識処理装置３０の特徴量算出部３０３は、画像縮小部３０２が生成した各縮小入力画像において、特徴量を算出する。ここで算出される特徴量は、テンプレート作成時にテンプレート作成部２０３が算出したものと同種の特徴量であり、本実施形態では、量子化勾配方向である。

その後、ステップＳ６０４において、物体認識処理装置３０のテンプレートマッチング部３０４は、テンプレートＤＢ４０１に登録されているテンプレートと、当該テンプレートに関連付けられた縮小率の縮小入力画像において特徴量算出部３０３が算出した特徴量とに基づいて縮小入力画像において物体２の位置を探索して、複数の照合結果を得る。すなわち、テンプレートマッチング部３０４は、テンプレートＤＢ４０１に登録されているテンプレートの数分だけ、探索処理を行う。本実施形態では、テンプレートＤＢにおいて登録されている全てのテンプレートについて、縮小入力画像中に認識された物体２の座標、及び当該座標ごとに縮小入力画像とテンプレートとの間の画像特徴の一致度を示す照合スコアを照合結果として得る。

最後に、ステップＳ６０５において、物体認識処理装置３０の認識結果出力部３０５は、テンプレートマッチング部３０４が得た複数の照合結果を統合して、最終的な認識結果を出力する。本実施形態では、認識結果出力部３０５は、縮小入力画像中の座標を元の入力画像中の座標に変換し、同一の座標に異なる照合結果が出力される場合、最も高い照合スコアを有するテンプレートが当該座標上に認識されたと決定して、認識結果を出力する。

なお、本発明は、テンプレートマッチングの具体的な手法を限定するものではなく、物体認識処理装置３０は、テンプレートマッチングの任意の手法を採用することができる。本実施形態では、物体認識処理装置３０は、量子化勾配方向に基づいて物体認識処理を行っているが、他の特徴量に基づいて物体認識処理を行うこともできるし、輝度や色等、画素値そのものを用いて物体認識処理を行うこともできる。テンプレート作成装置２０は、物体認識処理装置３０が採用するテンプレートマッチングに応じたテンプレートを作成する必要があることは、当業者であれば容易に理解される。また、粗密探索等の高速化のためのアルゴリズムは任意のものを適用することができる。

また、本明細書において説明した各処理を実施するプログラムは、記録媒体に記憶させてもよい。この記録媒体を用いれば、画像処理装置１０に、上記プログラムをインストールすることができる。ここで、上記プログラムを記憶した記録媒体は、非一過性の記録媒体であっても良い。非一過性の記録媒体は特に限定されないが、例えば、ＣＤ−ＲＯＭ等の記録媒体であっても良い。

また、上記の実施形態の一部又は全部は、以下の付記のようにも記載され得るが、以下には限られない。

（付記１）
少なくとも１つのメモリと、前記メモリと接続された少なくとも１つのハードウェアプロセッサとを備え、
前記ハードウェアプロセッサが、
認識対象の物体の３次元形状を表す３次元データを用いて、複数の視点から見た前記物体の２次元画像を生成し、視点毎に縮小率を決定し、
生成した各視点の前記２次元画像を、その視点に対して決定した前記縮小率を用いて縮小し、前記縮小した画像から特徴量を算出してテンプレートを作成し、
視点毎に、前記テンプレートと、当該テンプレートの作成に用いた縮小率とを関連付けて出力する、
画像処理装置。

（付記２）
少なくとも１つ以上のハードウェアプロセッサによって、認識対象の物体の３次元形状を表す３次元データを用いて、複数の視点から見た前記物体の２次元画像を生成し、
前記ハードウェアプロセッサによって、視点毎に縮小率を決定し、
前記ハードウェアプロセッサによって、生成した各視点の前記２次元画像を、その視点に対して決定した前記縮小率を用いて縮小し、縮小画像を生成し、
前記ハードウェアプロセッサによって、前記縮小画像から特徴量を算出して、テンプレートを作成し、
前記ハードウェアプロセッサによって、視点毎に、テンプレートと、当該テンプレートの作成に用いた縮小率とを関連付けて出力する、
画像処理方法。

１…物体認識装置、２…物体、３…トレイ、４…ＰＬＣ、１０…画像処理装置、１１…カメラ、１２…ディスプレイ、１３…マウス、１４…メモリカード、１１２…メインメモリ、１１４…ハードディスク、１１６…カメラインターフェイス、１１６ａ…画像バッファ、１１８…入力インターフェイス、１２０…表示コントローラ、１２２…インターフェイス、１２４…通信インターフェイス、１２６…ライタ、１２８…バス、２０…テンプレート作成装置、２０１…３次元データ取得部、２０２…縮小率決定部、２０３…テンプレート作成部、２０４…テンプレート情報出力部、３０…物体認識処理装置、３０１…画像取得部、３０２…画像縮小部、３０３…特徴量算出部、３０４…テンプレートマッチング部、３０５…認識結果出力部、４０…記憶装置、４０１…テンプレートＤＢ、５０１…多面体、５０２…矢印、５０３…矢印、５０４…真上の頂点、５０５…真横の頂点

Claims (10)

1. 認識対象の物体の３次元形状を表す３次元データを用いて、複数の視点から見た前記物体の２次元画像を生成し、視点毎に縮小率を決定する縮小率決定部と、
   生成した各視点の前記２次元画像を、その視点に対して決定した前記縮小率を用いて縮小し、前記縮小した画像から特徴量を算出してテンプレートを作成するテンプレート作成部と、
   視点毎に、前記テンプレートと、当該テンプレートの作成に用いた縮小率とを関連付けて出力するテンプレート情報出力部と
   を備えた画像処理装置。
2. 前記縮小率決定部は、各視点の前記テンプレートに含まれる特徴点の数、又は、各視点の前記縮小した画像に含まれる前記物体の面積に基づいて、前記縮小率を決定する、請求項１に記載の画像処理装置。
3. 前記縮小率決定部は、各視点に対して決定した前記縮小率を統合する、請求項１又は２に記載の画像処理装置。
4. 前記縮小率決定部は、既定となる視点を設定し、前記既定となる視点との位置関係が所定の条件を満たす視点について、前記既定となる視点と同一グループにグループ分けし、同一グループの視点に同一の縮小率を設定することで前記縮小率を統合する、請求項３に記載の画像処理装置。
5. 入力画像を取得する画像取得部と、
   取得した前記入力画像を、前記テンプレート情報出力部が出力した複数の縮小率を用いて縮小し、複数の縮小入力画像を生成する画像縮小部と、
   生成した各縮小入力画像において、特徴量を算出する特徴量算出部であって、前記特徴量は、前記テンプレート作成部が算出したものと同種の特徴量である、特徴量算出部と、
   前記テンプレートと、当該テンプレートに関連付けられた縮小率の縮小入力画像において前記特徴量算出部が算出した特徴量とに基づいて前記縮小入力画像における前記物体の位置を探索して、複数の照合結果を得るテンプレートマッチング部と、
   前記複数の照合結果を統合した認識結果を出力する認識結果出力部と
   を更に備えた請求項１から４のいずれか一項に記載の画像処理装置。
6. 前記照合結果は、前記縮小入力画像中に認識された前記物体の座標、及び当該座標ごとに前記縮小入力画像と前記テンプレートとの間の画像特徴の一致度を示す照合スコアを含み、
   前記認識結果出力部は、同一の座標に異なる照合結果が出力される場合、最も高い照合スコアを有するテンプレートが当該座標上に認識されたと決定して、前記認識結果を出力する、請求項５に記載の画像処理装置。
7. コンピュータが実行する画像処理方法であって、
   認識対象の物体の３次元形状を表す３次元データを用いて、複数の視点から見た前記物体の２次元画像を生成する工程と、
   視点毎に縮小率を決定する工程と、
   生成した各視点の前記２次元画像を、その視点に対して決定した前記縮小率を用いて縮小し、縮小画像を生成する工程と、
   前記縮小画像から特徴量を算出して、テンプレートを作成する工程と、
   視点毎に、テンプレートと、当該テンプレートの作成に用いた縮小率とを関連付けて出力する工程と
   を含む画像処理方法。
8. 入力画像を取得する工程と、
   取得した前記入力画像を、前記出力した複数の縮小率を用いて縮小し、複数の縮小入力画像を生成する工程と、
   生成した各縮小入力画像において、特徴量を算出する工程であって、前記特徴量は、前記テンプレートの作成に用いた特徴量と同種の特徴量である、工程と、
   前記テンプレートと、当該テンプレートに関連付けられた縮小率の縮小入力画像において算出した特徴量とに基づいて前記縮小入力画像における前記物体の位置を探索して、複数の照合結果を得る工程と、
   前記複数の照合結果を統合した認識結果を出力する工程と
   を更に含む請求項７に記載の画像処理方法。
9. コンピュータに、
   認識対象の物体の３次元形状を表す３次元データを用いて、複数の視点から見た前記物体の２次元画像を生成する処理と、
   視点毎に縮小率を決定する処理と、
   生成した各視点の前記２次元画像を、その視点に対して決定した前記縮小率を用いて縮小し、縮小画像を生成する処理と、
   前記縮小画像から特徴量を算出して、テンプレートを作成する処理と、
   視点毎に、テンプレートと、当該テンプレートの作成に用いた縮小率とを関連付けて出力する処理と
   を実行させるプログラム。
10. 前記コンピュータに、
    入力画像を取得する処理と、
    取得した前記入力画像を、前記出力した複数の縮小率を用いて縮小し、複数の縮小入力画像を生成する処理と、
    生成した各縮小入力画像において、特徴量を算出する処理であって、前記特徴量は、前記テンプレートの作成に用いた特徴量と同種の特徴量である、処理と、
    前記テンプレートと、当該テンプレートに関連付けられた縮小率の縮小入力画像において算出した特徴量とに基づいて前記縮小入力画像における前記物体の位置を探索して、複数の照合結果を得る処理と、
    前記複数の照合結果を統合した認識結果を出力する処理と
    を更に実行させる請求項９に記載のプログラム。