JP6863946B2

JP6863946B2 - 画像処理装置

Info

Publication number: JP6863946B2
Application number: JP2018206021A
Authority: JP
Inventors: 勇太並木; 翔太郎小倉
Original assignee: FANUC Corp
Current assignee: FANUC Corp
Priority date: 2018-10-31
Filing date: 2018-10-31
Publication date: 2021-04-21
Anticipated expiration: 2038-10-31
Also published as: CN111199533A; US11074718B2; DE102019216321A1; US20200134865A1; JP2020071739A; CN111199533B

Description

本発明は、複数の特徴点からなる基準形状情報に基づいて入力画像から対象物を検出する画像処理装置に関する。

従来、入力画像の中から特定の対象物の像を検出する方法において、対象の画像と、特定する対象物を示す基準形状情報（モデルパターンやテンプレート等と呼ばれる情報）と、を比較するマッチングを行って入力画像から対象物を検出する技術が知られている。マッチングでは、特徴量の一致度が指定されたレベル（閾値）を越えたときに対象物が検出されたと判断される。

特徴量のマッチングでは、複数の特徴点からなる特徴点群を使用される例がある。非特許文献１には、モデルパターンを構成する特徴点として入力画像からエッジ点を抽出する法について記載されている。エッジ点は画像中での輝度変化が大きな点である。一般に対象物の輪郭線の像は輝度勾配が大きくなるので、エッジ点を特徴量として使うことで対象物の輪郭線形状のマッチングを行う。例えば、検出すべき対象物を含む画像から抽出したエッジ点群をモデルパターンとして記憶しておき、撮像装置によって取得された入力画像から抽出されたエッジ点群とモデルパターンのエッジ点群の合致度に基づいて対象物を検出する。この類の手法として一般化ハフ変換等が知られている。また、エッジ点以外にもモデルパターンを構成する要素を抽出する方法を開示するものとして非特許文献２がある。非特許文献２では入力画像からＳＩＦＴ特徴点を抽出する方法について記載されている。

この種の技術において、モデルパターンの中でも特徴のある範囲に注目し、判定精度を向上させる方法が知られている、例えば、特許文献１には、規範画像において規範パターンを取り囲むように第一領域を設定するとともに、規範画像において規範パターンの位置及び姿勢を特徴づける第二領域を設定する外観検査装置が記載されている。この外観検査装置は、第一領域から抽出された特徴を検査対象画像からサーチすることで規範パターンの位置及び姿勢を粗に求め、第二領域から抽出された特徴を検査対象画像からサーチすることで、規範パターンの位置及び姿勢の少なくとも一方を細密に求めている。

特開２０１７−９６７４９号公報

「コンピュータビジョン」（David A. Forsyth (著), Jean Ponce (著), 大北剛 (翻訳) 共立出版）２００７．１ "Object Recognition from Local Scale-Invariant Features", David G. Lowe, Proc. of the International Conference on Computer Vision, Corfu (Sept. 1999)

モデルパターンの一部の特徴する範囲又は特徴点群を考慮に入れないと、画像中の対象物の位置を正しく特定できない場合がある。例えば、図１に示すようなキー溝の形状の対象物１００の場合、溝１０１以外は円形である。そのため、溝１０１を含む領域１１０の位置がずれていたとしても、溝１０１以外の部分の一致度に基づいて対象物が検出されてしまうおそれがある。また、図２に示すような長い直線２００の近くに小さな円２０１が存在する形状の場合も、直線２００が平行にずれて円２０１を含む領域２１０がずれていたとしても、ずれた状態を対象物として検出するおそれがある。このように、特定の領域１１０，２１０の外側の特徴量の一致度に基づいて対象物の検出が位置や姿勢が誤った状態で行われるおそれがある。また、図３に示すように、輪郭が同じ２種類の対象物を区別しなければならない場合がある。この場合において、第２の対象物３０１には、第１の対象物３００にはない円３０２が存在しているものの、第１の対象物３００と第２の対象物３０１は輪郭が同じであるため、全体の一致度が高い検出結果となる。従って、円３０２に注目することなく第１の対象物３００と第２の対象物３０１を区別して検出することは難しい。

このように、モデルパターンの中で注目する領域を設定することにより、安定的な対象物の検出が可能となる。しかし、注目する領域の選択を人間が手動で行う場合、図１〜３のように注目すべき領域が明らかな場合は選択を間違えにくいが、モデルパターンが複雑になると注目すべき領域の判断が難しくなる。また、人間のケアレスミスによって、注目すべきではない領域を選択し、検出精度が低下する可能性もある。この点、特許文献１でも、第２領域を注目する領域として設定しているものの、作業者がコンソールの操作に応じて第二領域の形状（例：矩形や円形等）を選択し、コンソールの更なる操作に応じて第二領域のサイズと位置を設定している。注目すべき領域の正確な設定という点で改善の余地があった。

本発明は、対象物の形状に関わらず、基準形状情報に基づいて画像中の対象物を正確な位置、姿勢で検出できる画像処理装置を提供することを目的とする。

（１）本発明は、複数の特徴点（例えば、後述する特徴点１５１，１５２）からなる基準形状情報（例えば、後述するモデルパターン１５０）に基づいて入力画像（例えば、後述する入力画像９０）から対象物（例えば、後述する対象物１００）を検出する画像処理装置（例えば、後述する画像処理装置１０）であって、前記対象物を含む１又は複数の前記入力画像を取得し、前記基準形状情報の前記特徴点と前記入力画像から抽出した入力側特徴点（例えば、後述する入力側特徴点１２０，１２１）を比較した検出結果を取得する結果取得部（例えば、後述する結果取得部４１）と、前記基準形状情報と前記対象物の位置姿勢が異なる複数の検出結果を取得し、前記基準形状情報の前記特徴点ごとに、前記入力画像中に前記入力側特徴点が検出された頻度を算出する頻度算出部（例えば、後述する頻度算出部４２）と、前記頻度算出部が算出した頻度に基づいて前記基準形状情報が有する複数の前記特徴点から注目する特徴点（例えば、後述する特徴点１５２）を選択する特徴点選択部（例えば、後述する特徴点選択部４３）と、を備える画像処理装置に関する。

（２）（１）に記載の画像処理装置において、前記特徴点選択部は、前記基準形状情報が有する複数の前記特徴点のうち、前記対象物が正しく検出された正検出結果では前記入力側特徴点が検出される頻度が高く、前記対象物が正しく検出されなかった誤検出結果では前記入力側特徴点が検出される頻度が低い前記特徴点を注目する特徴点として選択することが好ましい。

（３）（２）に記載の画像処理装置において、前記結果取得部は、前記基準形状情報を作成した基になった基礎画像を前記入力画像として取得し、前記特徴点選択部は、前記基礎画像と同じ位置姿勢の前記対象物が検出された検出結果を前記正検出結果とし、前記正検出結果と異なる位置姿勢の検出結果を誤検出結果とすることが好ましい。

（４）（２）に記載の画像処理装置において、複数の前記検出結果のそれぞれに対し、前記正検出結果又は前記誤検出結果を設定する正誤設定部（例えば、後述する操作盤３５）を更に備えることが好ましい。

本発明の画像処理装置によれば、対象物の形状に関わらず、基準形状情報に基づいて画像中の対象物を正確な位置、姿勢で検出できる。

画像から検出される対象物の形状がキー溝の例を示す模式図である。画像から検出される対象物の形状が直線と小さな円である例を示す模式図である。同じ画像に２種類の対象物が含まれる例を示す模式図である。本実施形態の画像処理システムが適用される視覚センサの位置が固定される装置の例を示す模式図である。本実施形態の画像処理システムが適用される視覚センサの位置が移動する装置の例を示す模式図である。本実施形態の画像処理システムの機能ブロック図である。モデルパターンを作成する手順を示すフローチャートである。画像にモデルパターン指定領域を指定した様子を示す図である。複数の特徴点から構成されるモデルパターンを示す図である。本実施形態のモデルパターンの注目範囲を設定する手順を示すフローチャートである。キー溝形状の対象物を検出対象とする入力画像を示す模式図である。キー溝形状の対象物から作成されたモデルパターンを示す模式図である。モデルパターンと対象物の位置及び姿勢が一致した正しい検出結果を示す模式図である。モデルパターンと対象物の姿勢が一致していない正しくない検出結果の一例を示す模式図である。モデルパターンと対象物の姿勢が一致していない正しくない検出結果の一例を示す模式図である。変形例のモデルパターンの注目範囲を設定する手順を示すフローチャートである。

以下、本発明の好ましい実施形態について、図面を参照しながら説明する。本発明の一実施形態に係る画像処理システム１は、対象物２の像の特徴を表すモデルパターン５０に基づいて入力画像５から前記対象物の像を検出するためのシステムである。まず、本実施形態の画像処理システム１が適用される装置について２つの例を説明する。

図４は、本実施形態の画像処理システム１が適用される視覚センサ１１の位置が固定される装置６の例を示す模式図である。図４に示すように、対象物２は作業台４に設置されている。視覚センサ１１は、対象物２を撮像するためのカメラである。視覚センサ１１は、支持手段（図示省略）により対象物２を撮像できる位置に固定される。視覚センサ１１が取得した画像情報は画像処理装置１０に送信される。画像処理装置１０は、視覚センサ１１から受信した入力画像５（図５参照）に基づいて後述する画像処理により対象物２の像を検出する。

図４では、視覚センサ１１の位置が固定される例を説明した。次に、視覚センサ１１の位置が移動する場合について図５を参照して説明する。図５は、本実施形態の画像処理システム１が適用される視覚センサ１１の位置が移動する装置７の例を示す模式図である。なお、図４を参照して説明した装置６の構成と共通又は同様の構成については同じ符号を付してその説明を省略する場合がある。

図５には、先端にロボットハンド２１が装着されるアーム型のロボット２０が示される。この例の視覚センサ１１はロボット２０の手先となるロボットハンド２１に固定される。ロボットハンド２１は、ロボット２０や自身の機構により移動する可動部である。従って、視覚センサ１１の位置も移動することになる。画像処理を行う画像処理装置１０は、ロボット２０の動き等を制御するロボット制御装置２５と通信可能に構成されており、画像処理装置１０とロボット２０の間で相互に情報のやり取りが行えるようになっている。画像処理装置１０は、ロボット２０及びロボットハンド２１の移動や状態を考慮しながら視覚センサ１１からの入力画像５（図５参照）に基づいて後述する画像処理により対象物２の像の検出を行う。

以上説明したように、本実施形態の画像処理システム１は、視覚センサ１１の位置が固定型の装置６及び視覚センサ１１の位置が可動型の装置７の何れにも適用できる。次に、画像処理システム１による画像処理について説明する。図６は、本実施形態の画像処理システム１の機能ブロック図である。

図６に示すように、本実施形態の画像処理システム１は、画像処理を行うコンピュータである画像処理装置１０と、入力画像５を取得する視覚センサ１１と、操作者が入力画像５から生成したモデルパターン５０の修正等を行う操作盤（操作部）３５と、入力画像５やモデルパターン５０等の画像情報を表示する表示装置（出力部）３６と、を備える。

画像処理装置１０は、ＣＰＵや所定のソフトウェアを記憶する記憶媒体等を備えるコンピュータにより実現される。本実施形態の画像処理装置１０は、モデルパターン記憶部３１と、取得した入力画像５に対して画像処理を行う画像処理部３２と、を含んで構成される。

モデルパターン記憶部３１は、画像処理の検出処理に用いられるモデルパターン５０を記憶する。モデルパターン５０は、対象物の特徴点から構成される基準形状情報である。

画像処理部３２は、モデルパターン記憶部３１に記憶されたモデルパターン５０に基づいて入力画像５から対象物の形状の検出等、各種の画像処理を行う。本実施形態の画像処理部３２は、結果取得部４１と、頻度算出部４２と、特徴点選択部４３と、を備える。なお、結果取得部４１、頻度算出部４２及び特徴点選択部４３の機能については後述する。

次に、モデルパターン５０の作成例について説明する。図７は、モデルパターン５０を作成する手順を示すフローチャートである。図８は、画像にモデルパターン指定領域６０を指定した様子を示す図である。図９は、複数の特徴点Ｐ_ｉから構成されるモデルパターン５０を示す図である。

図７に示すように、モデルパターン５０として教示したい対象物２を視覚センサ１１の視野内に配置して当該対象物２の画像を撮像し、対象物２が含まれる入力画像５を取得する（ステップＳ１０１）。このとき、視覚センサ１１と対象物２の位置関係は、実際の使用時に対象物２を検出するときの位置関係と同じ位置関係になるように行うことが好ましい。

撮像した画像において、対象物２が映った領域をモデルパターン５０の領域として指定する（ステップＳ１０２）。以下、このステップＳ１０２で指定した領域をモデルパターン指定領域６０と称する。本実施形態のモデルパターン指定領域６０は、対象物２を囲むように矩形や円形で指定される。

次に、特徴点の抽出を行う（ステップＳ１０３）。特徴点は、モデルパターン５０を構成するものである。モデルパターン指定領域６０から複数の特徴点Ｐ_ｉ（ｉ＝１〜ＮＰ）が抽出される。特徴点Ｐ_ｉの抽出方法としては、種々の方法を用いることができる。本実施形態では、画像中で輝度勾配が大きな点であり、対象物の輪郭形状を取得するために使用できるエッジ点を特徴点Ｐ_ｉとして用いる。なお、エッジ点の抽出は、ＳｏｂｅｌフィルタやＣａｎｎｙエッジ検出器を利用してもよい。

エッジ点の物理量は、そのエッジ点の位置、輝度勾配方向、輝度勾配の大きさ等がある。エッジ点の輝度勾配の方向を特徴点の姿勢と定義すると、位置とあわせて特徴点の位置姿勢を定義することができる。特徴点の物理量としてエッジ点の物理量、即ちエッジ点の位置、姿勢（輝度勾配の方向）、輝度勾配の大きさを記憶する。

モデルパターン座標系５１を定義し、モデルパターン座標系５１及び原点Ｏに基づいて特徴点Ｐ_ｉの姿勢ベクトルｖ_Ｐｉや位置ベクトルｔ_Ｐｉ等で表現する。モデルパターン座標系５１に設定される原点Ｏは、例えば、モデルパターン５０を構成する全ての特徴点Ｐ_ｉの重心が原点Ｏとして定義される。なお、原点Ｏの定義方法は、特徴点Ｐ_ｉから任意の１点を選択する等、適宜の方法を採用できる。また、モデルパターン座標系５１を用いる方法も一例であり、他の方法を利用して特徴点Ｐ_ｉの位置や姿勢を表すこともできる。また、モデルパターン座標系５１の軸方向（姿勢）は、例えば、モデルパターン５０を構成する特徴点Ｐ_ｉから任意の２点を選択して、その一方から他方に向かう方向がＸ軸方向となるように定義し、当該Ｘ軸方向に直交する方向をＹ軸方向と定義してもよい。また、モデルパターン５０の作成を行った画像において画像座標系とモデルパターン座標系５１が平行になるように定義することもできる。このように、モデルパターン座標系５１及び原点Ｏの設定は、事情に応じて適宜変更できる。

次に、抽出された特徴点Ｐ_ｉの物理量に基づいてモデルパターン５０の生成を行う（ステップＳ１０４）。抽出された特徴点Ｐ_ｉの物理量が、モデルパターン５０を構成する特徴点Ｐ_ｉとしてモデルパターン記憶部３１に記憶される。本実施形態では、モデルパターン指定領域６０内にモデルパターン座標系５１を定義し、特徴点Ｐ_ｉの位置や姿勢を、画像座標系７０（図８参照）で表現された値から、モデルパターン座標系５１（図９参照）で表現された値で記憶される。

モデルパターン５０を修正する必要がある場合、モデルパターンの修正を行う（ステップＳ１０５）。このステップＳ１０５におけるモデルパターン５０の修正は、操作者又は画像処理部３２によって行われる。操作者によって修正されたときの操作者生成情報を修正情報として取得し、機械学習等で用いてもよい。

以上説明した一連の処理により、モデルパターン５０が作成される。次に、注目する特徴点を設定する方法について説明する。

以下の説明では、図１に示す対象物１００を例として注目すべき特徴点の選択について説明する。図１０は、モデルパターン１５０の注目範囲を設定する手順を示すフローチャートである。図１１は、キー溝形状の対象物１００を検出対象とする入力画像を示す模式図である。図１２は、キー溝形状の対象物１００から作成されたモデルパターン１５０を示す模式図である。

画像処理部３２の結果取得部４１は、図１１に示すように、キー溝形状の対象物１００が含まれる入力画像を取得する（ステップＳ２０１）。本実施形態のステップＳ２０１で取得する入力画像は、モデルパターン１５０の作成に用いた画像である。

結果取得部４１は、モデルパターン指定領域６０を設定し、モデルパターン指定領域６０の内側でエッジ抽出を行う（ステップＳ２０２）。モデルパターン指定領域６０は、矩形や円形等、適宜の形状で所定の範囲を指定するものである。図１１に示すように、エッジ抽出の処理によって円周方向に沿う入力側特徴点１２０と、溝部分の入力側特徴点１２１が抽出される。なお、特徴点の抽出は、上述と同様に一例である。

ステップＳ２０２のエッジ抽出処理の後に、図１２に示すモデルパターン１５０を用いた対象物１００の検出を行う（ステップＳ２０３）。ここで用いられるモデルパターン１５０は、上述の通り、入力画像から作成されたものである。モデルパターン１５０は、作成は、上述の図７〜図９を参照した方法と同様の方法で作成される。図１２に示すように、対象物１００に対応するモデルパターン１５０は、円周方向に沿う特徴点１５１と、溝部分の特徴点１５２と、を含んでいる。

ステップＳ２０２の対象物１００の検出処理について図１３Ａ〜図１３Ｃを参照しながら説明する。図１３Ａは、モデルパターン１５０と対象物１００の位置及び姿勢が一致した正しい検出結果（正検出結果）を示す模式図である。図１３Ｂ及び図１３Ｃは、何れも、モデルパターン１５０と対象物１００の姿勢が一致していない正しくない検出結果（誤検出結果）の一例を示す模式図である。

対象物１００の検出処理では、モデルパターン１５０と対象物１００の位置及び姿勢を合わせる探索処理が行われる。この探索処理では、モデルパターン１５０の平行移動や回転移動が行われる。図１３Ａ〜図１３Ｃは、何れも、モデルパターン１５０と対象物１００の位置が一致しており、モデルパターン１５０の姿勢が異なる例が示されている。

図１３Ａに示す正しい検出結果では、対象物１００から抽出された入力側特徴点１２０，１２１が、モデルパターン１５０の特徴点１５１，１５２に一致している。これに対して、図１３Ｂ及び図１３Ｃは、何れも、モデルパターン１５０の円周方向に沿う特徴点１５１が対象物１００の円周方向に沿う入力側特徴点１２０と重なっているものの、溝部分の特徴点１５２が対象物１００の溝部分の入力側特徴点１２１と一致していない。より具体的には、図１３Ｂでは、対象物１００の溝部分の入力側特徴点１２１に対して、モデルパターン１５０の溝部分の特徴点１５２が反時計回りの方向に少しずれている様子が示されている。図１３Ｃでは、対象物１００の溝部分の入力側特徴点１２１に対して、モデルパターン１５０の溝部分の特徴点１５２が時計回りの方向に大きくずれている様子が示されている。

なお、探索処理では、図１３Ａ〜図１３Ｃに示した姿勢に限られず、モデルパターン１５０の特徴点１５１，１５２と対象物１００の入力側特徴点１２０，１２１の比較は姿勢を変えながら複数行われる。比較結果ごとにモデルパターン１５０の特徴点１５１，１５２のそれぞれに対象物１００の入力側特徴点１２０，１２１と一致したか否かがモデルパターン記憶部３１に記憶される。例えば、図１３Ａの場合は溝部分の特徴点１５２は一致していると判断され、図１３Ｂ及び図１３Ｃの場合は溝部分の特徴点１５２が一致していないと判断される。なお、ここでいう一致とは、完全に一致している場合に加え、一部一致している場合も含まれる。

対象物１００の検出処理の後、画像処理部３２の頻度算出部４２は、対応する特徴点が見つかった頻度を算出する（ステップＳ２０４）。検出結果のそれぞれにおいて、モデルパターン１５０の各特徴点１５１，１５２に対応する入力側特徴点１２０，１２１が入力画像に含まれていたか否かを確認し、モデルパターン１５０の特徴点１５１，１５２ごとに、入力画像中に対応する特徴点が見つかった頻度を算出する。

上述の通り、複数回の検出処理の結果、モデルパターン１５０の各特徴点１５１，１５２のそれぞれは、一致する頻度が異なってくる。今回の例において、モデルパターン１５０を対象物１００の位置で所定の姿勢ごとに回転させた場合、溝部分の特徴点１５２は、正しい位置又はその近傍のときのみ一致するが、円周方向に沿う特徴点１５１は溝部分の特徴点１５２が対象物１００の溝１０１に一致していない状態でも一致が検出されることになる。従って、溝部分の特徴点１５２とそれ以外の特徴点１５１の間で対象物１００に一致した頻度が大きく異なることになる。

ステップＳ２０４の処理の後、画像処理部３２の特徴点選択部４３は、モデルパターン１５０の特徴点１５１，１５２と対象物１００の入力側特徴点１２０，１２１が一致する頻度に基づいて注目する特徴点を特定する処理を行う。本実施形態では、正しい検出結果（図１３Ａ参照）と正しくない検出結果（図１３Ｂ，図１３Ｃ参照）を考慮に入れて注目する特徴点が特定される。

本実施形態では、正しい検出結果か正しくない検出結果かは、モデルパターン１５０として設定された位置及び姿勢に基づいて判定される。即ち、複数の検出結果のうち、モデルパターン１５０の作成基になった入力画像におけるモデルパターン１５０の位置及び姿勢に一致する検出結果が正しい検出結果と判定され、それ以外の検出結果を正しくない検出結果と判定する。そして、モデルパターン１５０の特徴点１５１，１５２のうち、正しい検出結果において対応する特徴点が入力画像から見つかった頻度が高く、間違った検出結果においては対応する特徴点が入力画像から見つかった頻度の低い特徴点を、注目する特徴点とする。今回の例では、モデルパターン１５０の溝部分の特徴点１５２が注目すべき特徴点に設定される。

なお、本実施形態では、モデルパターン指定領域６０が設定されているので、正しい検出結果と正しくない検出結果の区別をより正確に行うことができる。なお、モデルパターン１５０の領域のみを切り取って対象物の検出を行ってもよい。これによっても、正しい検出結果と正しくない検出結果の区別をより正確に行うことができる。

以上、図１の対象物１００を検出対象とする例について説明した。図２に示す例の場合も同様の方法で領域２１０内の円に位置する特徴点を注目する特徴点として設定することができる。なお、図２に示す例では、直線２００に対して平行移動等を用いることで、円２０１を注目する特徴点として正確に選択することができる。

以上、注目する特徴点の特定について説明した。実際の画像検出処理では、この注目する特徴点を加味して画像から対象物１００の検出が行われる。例えば、モデルパターン１５０を含むようにモデルパターン指定領域６０を設定した後、当該領域内をモデルパターン１５０に基づいてマッチングを行って当該モデルパターンの位置及び姿勢を求める。次に、注目する特徴点に基づいてモデルパターンの位置及び姿勢を精密に求めることができる。なお、注目する特徴点を利用する方法は、この方法に限られず、対象物を検出する種々の処理に適用可能である。

上記実施形態によれば、以下のような効果を奏する。
本実施形態の画像処理装置１０は、複数の特徴点１５１，１５２からなる基準形状情報としてのモデルパターン１５０に基づいて入力画像９０から対象物１００を検出する画像処理装置１０であって、対象物１００を含む１又は複数の入力画像９０を取得し、モデルパターン１５０の特徴点１５１，１５２と入力画像９０から抽出した入力側特徴点１２０，１２１を比較した検出結果を取得する結果取得部４１と、モデルパターン１５０と対象物１００の位置姿勢が異なる複数の検出結果を取得し、モデルパターン１５０の特徴点１５１，１５２ごとに、入力画像９０中に入力側特徴点１２０，１２１が検出された頻度を算出する頻度算出部４２と、頻度算出部４２が算出した頻度に基づいてモデルパターン１５０が有する複数の特徴点１５１，１５２から注目する特徴点を選択する特徴点選択部４３と、を備える。

これにより、図１〜図３に示すような形状を検出対象とする場合であっても、注目すべき特徴点を選び出すことができ、対象物１００の位置や姿勢を安定して検出可能となる。また、頻度に基づいて注目する特徴点が選択されるので、人間による注目すべき特徴点であるか否かの判断を必要とせず、ケアレスミス等によって注目すべきではない特徴点を選択する事態の発生を防止できる。

また、本実施形態では、特徴点選択部４３は、モデルパターン１５０が有する複数の特徴点１５１，１５２のうち、対象物１００が正しく検出された正検出結果では入力側特徴点１２１が検出される頻度が高く、対象物が正しく検出されなかった誤検出結果では入力側特徴点１２１が検出される頻度が低い特徴点１５２を注目する特徴点として選択する。

これにより、正検出結果と誤検出結果の結果が考慮されるので、注目すべき特徴点をより精度よく選択することができる。

また、本実施形態では、結果取得部４１は、モデルパターン１５０を作成した基になった基礎画像を入力画像９０として取得し、特徴点選択部４３は、基礎画像と同じ位置姿勢の対象物１００が検出された検出結果を正検出結果とし、正検出結果と異なる位置姿勢の検出結果を誤検出結果とする。

これにより、明らかなモデルパターン１５０の作成基になった基礎画像における対象物１００の位置姿勢を利用して正検出結果を正確かつ自動的に特定することができ、注目すべき特徴点をより一層正確に選択することができる。

上記実施形態では、モデルパターン１５０の作成基になった入力画像９０を利用して正しい検出結果と正しくない検出結果を自動的に区別する構成であるが、この構成に限定されない。次に、正しい検出結果か正しくない検出結果をユーザが判定する変形例について説明する。

図１４は、変形例のモデルパターンの注目範囲を設定する手順を示すフローチャートである。本変形例では、図３に示す２種類の第１の対象物３００と第２の対象物３０１の中から対象物３０１を区別して検出する方法について説明する。上述のように、対象物３００と対象物３０１の間には、第２の対象物３０１に円３０２がある点のみが相違点とする。

図１４に示すように、まず、第１の対象物３００及び第２の対象物３０１の入力画像を取得する（ステップＳ３０１）。ここでいう複数とは、第１の対象物３００の入力画像と第２の対象物３０１の入力画像のことである。

次に、第１の対象物３００及び第２の対象物３０１のエッジを抽出する。エッジの抽出方法は、上記実施形態と同様である。次に、入力画像からモデルパターンを用いて対象物３０１の検出を行う（ステップＳ３０２）。なお、モデルパターンは、入力される入力画像から作成してもよいし、予め設定されていてもよい。

次に、ユーザがユーザインターフェースである操作盤３５を操作し、正しいと判断した検出結果にはＯＫ情報を設定し、正しくないと判断した検出結果にはＮＧ情報を設定する（ステップＳ３０４）。即ち、第１の対象物３００を検出していた場合には当該検出結果にＮＧ情報を設定し、第２の対象物３０１を検出した場合には当該検出結果にＯＫ情報を設定する。次に、頻度算出部４２が頻度を算出し（ステップＳ３０５）、算出した頻度から特徴点選択部４３が注目する特徴点を選択する（ステップＳ３０６）。

以上説明したように、本変形例では、複数の検出結果のそれぞれに対し、正検出結果又は誤検出結果を設定する正誤設定部としての操作盤３５を更に備える。

これにより、図３に示すような形状においても、ユーザが設定したＯＫ情報とＮＧ情報に基づいて注目する特徴点を選択して正確に第２の対象物３０１を検出することができる。

以上、本発明の好ましい実施形態及び変形例について説明したが、本発明は、上述の実施形態に制限されるものではなく、適宜変更が可能である。

上記実施形態では、撮像装置で撮像した画像から基準形状情報としてのモデルパターンを形成する方法を説明したが、この構成に限定されない。モデルパターンを円や矩形等の図形を組み合せて生成することもできる。

また、２次元の画像データに限られず、３次元の形状情報や３次元の点群情報を有する３次元データに対しても本発明を適用することができる。次に、３次元データに本発明を適用した例として、３次元ＣＡＤデータに基づいてモデルパターンを作成する方法について説明する。まず、（１）カメラの撮像面上に原点を置くローカル座標系を定義する。（２）カメラを予めキャリブレーションしておく。これにより、ローカル座標系で表現された３次元点をカメラ画像上の２次元点に変換することができる。（３）次に、ローカル座標系にＣＡＤデータとして表現された対象物を仮想的に配置する。配置されたＣＡＤデータはローカル座標系で表現される。カメラと対象物の相対関係は、実際に対象物の検出を行うときの相対関係と略同じになるようにする。（４）輪郭線から所定の間隔で輪郭線上の3次元点群を取得する。必要があれば、ＣＡＤデータの中からモデルパターンとして使う輪郭線を指定する。（５）３次元点群をカメラ画像上に投影し、画像座標系上の２次元点群を求める。CADデータ上で明暗の向きを指定すれば、輝度勾配の方向も付加することができる。ここで、明暗の向きとは、輪郭線を境界とする二つの領域のどちらが明るいかを示すものである。（６）そして、求められた画像座標系上の２次元点群をモデル座標系で表現するように変換し、特徴点としてモデルパターン記憶部に記憶する。

なお、３次元データに基づいてモデルパターンを作成する場合においても、注目する特徴点の特定方法は、上記実施形態と同様である。位置や姿勢の異なる検出結果に基づいて注目する特徴点が特定される。

１０画像処理装置
４１結果取得部
４２頻度算出部
４３特徴点選択部
９０入力画像
１００対象物
１２０，１２１入力側特徴点
１５０モデルパターン（基準形状情報）
１５１，１５２特徴点

Claims

複数の特徴点からなる基準形状情報に基づいて入力画像から対象物を検出する画像処理装置であって、
前記対象物を含む１又は複数の前記入力画像を取得し、前記基準形状情報の前記特徴点と前記入力画像から抽出した入力側特徴点を比較した検出結果を取得する結果取得部と、
前記基準形状情報と前記対象物の位置姿勢が異なる複数の検出結果を取得し、前記基準形状情報の前記特徴点ごとに、前記入力画像中に前記入力側特徴点が検出された頻度を算出する頻度算出部と、
前記頻度算出部が算出した頻度に基づいて前記基準形状情報が有する複数の前記特徴点から注目する特徴点を選択する特徴点選択部と、
を備え、
前記特徴点選択部は、
前記基準形状情報が有する複数の前記特徴点のうち、
前記対象物が正しく検出された正検出結果での前記入力側特徴点の検出される頻度と、
前記対象物が正しく検出されなかった誤検出結果での前記入力側特徴点の検出される頻度に基づいて前記特徴点を注目する特徴点として選択する画像処理装置。
前記結果取得部は、前記基準形状情報を作成した基になった基礎画像を前記入力画像として取得し、
前記特徴点選択部は、前記基礎画像と同じ位置姿勢の前記対象物が検出された検出結果を前記正検出結果とし、前記正検出結果と異なる位置姿勢の検出結果を誤検出結果とする請求項１に記載の画像処理装置。
複数の前記検出結果のそれぞれに対し、前記正検出結果又は前記誤検出結果を設定する正誤設定部を更に備える請求項１に記載の画像処理装置。