JP5438574B2 - 画像探索方法 - Google Patents

Description

本発明は、被探索画像から対象物を探索するための画像探索方法に関する。

予め登録された探索対象物を撮像画像のエッジの形状や勾配の比較から探索する方法としては、Geometric Hashingの一般理論を使用する方法が知られている。
このGeometric Hashingの一般理論を使用する探索方法は、大きく、探索対象物の基準座標群の作成と被探索画像における特徴点の照合とに分かれている。
図２８に基づいて、基準座標群（つまり、テンプレート）の作成概念を説明する。図２８（Ａ）に示すように、探索対象物であるモデルＭの形状は輪郭上に設定された６つの特徴点Ａ〜Ｆで表される。これらの６つの特徴点から任意に二つを選択し（ここでは、特徴点ＡとＢとする。以下、これらの二つの特徴点のペアを基底ペアという）、特徴点Ａを始点、特徴点Ｂを終点とするベクトル（以下、基底ベクトルという）の大きさを１、角度を０°にする正規化を図るためのモデルＭの変換量（図２８（Ｂ））を求めて保持しておく。この変換量を用いて、モデルの６つの特徴点を全て変換し、データテーブルＡｃ〜Ｆｃ（図２８（Ｃ））を取得する。図２８（Ｄ）は正規化後のモデルＭを示している。
これらの座標点は、照合しやすいようにハッシュ表とよばれる２次元のデータテーブルで管理される（図２８（Ｅ））。
なお、基底ベクトルを選択するための二つの特徴点を選ぶ組み合わせは、全特徴点から二つ選ぶ順列の数、例えば、６つの特徴点であれば３０通りの基準ベクトルが選択可能である。

図２９に基づいて、被探索画像の特徴点の照合概念について説明する。予め登録しておいた形状がスケール変動、回転変動を受けた状態で被探索画像上にあることを前提に前述したモデルＭの探索を行う。
図２９（Ａ）に示す被探索画像上から六つの特徴点ａ〜ｆを抽出し、これら六つの特徴点から２つの特徴点を順次選定して基底ベクトルを定め、当該基底ベクトルを大きさ１、角度を０°にする変換量（図２９（Ｃ））を求めて、図２９（Ｂ）に示すように、すべての特徴点を変換（正規化）する。そして、正規化された各特徴点を前述したモデルＭのハッシュ表と照合して、一致する点について１点づつ加算していく。この図の例では、特徴点数が６であるので、６点が満点となる（図２９（Ｄ））。
抽出した六つの特徴点から２つ選ぶ順列の数、即ち、この図２９の例では３０通りの基底ベクトルについて照合を行い、最大点数となる基底ベクトルを探す。また、図２９の例では特徴点が六つの場合を例示したが、実際には被探索画像中にはより多くの特徴点が得られる場合もあり、その場合には、それらの特徴点の中から六つの特徴点の組み合わせを全て選出し、各組み合わせごとに上記処理を行い、最大得点となる基底ベクトルを探索する。

ここまでの処理が完了した時点では、予め登録しておいたモデルＭの相似形が画像上に存在していることは分かるが、モデルがどこにどのような姿勢で存在するかはまだ特定されていない。
そこで、前述したモデルＭの正規化の際の変換量（図２９（Ｂ）参照）と被探索画像の各特徴点の正規化の際の変換量（図２９（Ｃ）参照）とを用いて被探索画像におけるモデルＭの位置及び姿勢を判別する。

上式（１）〜（３）は予め登録しておいたモデルＭの被探索画像上での位置取得式であり、式（１）は位置変換量、式（２）はスケール変換量、式（３）は角度変換量を示している。これらの式により、探しているモデルＭがどこにどのような姿勢で存在するかを取得できる。

また、上述したGeometric Hashingの一般理論からさらに処理速度の改善を試みた方法として、特許文献１に示す方法が案出されている。
この特許文献１の先行技術では、まず、第１特徴点を一定の間隔で輪郭上に設定し、然る後に、第１特徴点における輪郭の法線の方向に対し所定の角度を持つ直線（法線そのものでも良い）と輪郭が交差する点を第２特徴点として設定する。
そして、被探索画像上でも同様に一定の間隔で第１特徴点を設定し、各第１特徴点で所定角度で輪郭に交差する直線を引き出して、輪郭の１つ以上の交差点を第２特徴点の候補として設定し、第１，第２の特徴点のペアの組み合わせについてのみ、ハッシュ表での照合を行うこととし、照合点数を減らすことにより探索処理の高速化を図っている。

特許第３８８４４６８号公報

しかしながら、Geometric Hashingの一般理論を使用する方法を用いた場合、探索対象物の形状パターンが複雑化したり、大きくなったりして、形状パターンを示す特徴点の数が増加すると、計算回数が多くなり、処理時間が増大するという問題があった。特にこのGeometric Hashingの一般理論においては、比較の基準となるペアとなる２つの特徴点の選択の組み合わせが基本的に特徴点の数の２乗のオーダーとなってしまうので、特に、特徴点の増加は処理時間を急激に増大させる要因となっていた。

また、特許文献１に示す方法の場合、第１特徴点を輪郭上に一定間隔で設定することを前提とする。つまり、第１特徴点は、形状によらず設定されるので、かならずしも対応付けに適した点（モデルの特徴を表す点）とは限らなくなる。特に、無理に間隔を大きくすると形状パターンの特徴的な部分が欠落してしまい、検出精度が低下して誤検出となる可能性もある。また、誤検出までは至らずとも無駄なハッシュ表との照合処理の発生は避けられない。
例えば、直線部に発生した第１特徴点は精度良く勾配ベクトルを求めることができ、第２特徴点を安定して得ることができるが、第１特徴点の候補は多数存在することになる。
これらを判別するためにはハッシュ表の照合まで行わなければならない。
逆に、第１特徴点がコーナ等の比較的対応が取りやすい部分に発生した場合は、第１特徴点の候補は限定されるが、このような部分では対象物の姿勢によって勾配ベクトルがばらつくので、第２特徴点がばらつく可能性がある。従って、このような場合も、ハッシュ表の照合を行わなければならない。
また、必要な特徴的な部分を欠落させないために間隔を細かくすると、特徴点の数が増加して計算量も増加することとなり、処理の高速化を図ることができなくなる。

本発明は、被探索画像から探索対象物を探索する処理の高速化を図ることをその目的とする。

請求項１記載の発明は、探索対象物の基準撮像画像から得られた前記探索対象物の輪郭線上に複数の特徴点を設定する工程と、前記各特徴点の内の二つの特徴点からなる少なくとも一組の基底ペアを設定する工程と、前記基底ペアの一方の特徴点を始点とし、他方の特徴点を終点とする基底ベクトルを正規化する座標変換量を求め、当該座標変換量に従って前記各特徴点について座標変換を行い、前記基底ベクトルとそれ以外の特徴点とが相対的な位置関係を保った基準座標点群を予め登録する工程と、被探索画像の撮像画像データから特徴点を抽出する工程と、前記被探索画像の各特徴点の中の二つの特徴点からなる特徴点ペアのベクトルを正規化する座標変換量を求め、当該座標変換量に従って前記被探索画像の各特徴点について座標変換を行う工程と、前記座標変換された被探索画像の各特徴点と前記基準座標点群との照合を行う工程と、前記照合により前記基底ペアと一致すると判定された前記特徴点ペアの座標変換量と前記基底ペアの座標変換量とにより前記被探索画像上での探索対象物の角度、スケール、撮像平面における位置を取得する画像探索方法において、前記基底ペアの始点となる特徴点を基準として前記輪郭線の境界追跡を行い、前記輪郭線に沿った各位置でのエッジ勾配ベクトルの方向の差が規定範囲以下となる安定区間を探す工程と、前記安定区間と前記基底ペアの始点との相対位置関係と、前記安定区間のエッジ勾配ベクトルと前記基底ベクトルの相対角度と、前記基底ペアの始点と終点の相対位置関係とを含む基底ペア情報を求める工程と、前記被探索画像の前記各特徴点を前記基底ペアの始点と仮定し、前記基底ペア情報に基づいて、基底ペア終点の被探索画像上での座標位置を予測する工程と、前記予測される基底ペアの終点の座標位置に基づいて前記基底ペアの終点に該当する特徴点を探索する工程と、前記基底ペアの終点の探索結果に基づいて、前記基底ペアの始点と見なして前記被探索画像の各特徴点と前記基準座標点群との照合を行う特徴点の絞り込みを行うことを特徴とする。

請求項２記載の発明は、請求項１記載の発明と同様の構成を備えると共に、前記基底ペアの始点を中心として前後の輪郭線の境界追跡を行い、２つの前記安定区間を探すと共に、前記基準撮像画像と前記被探索画像での前記基底ペアの始点から前記各安定区間までの距離の比からスケール変動を予測し、前記基底ペアの終点の探索に反映することを特徴とする。

請求項３記載の発明は、請求項１又は２記載の発明と同様の構成を備えると共に、前記基準撮像画像の探索対象物の面積と前記被探索画像の前記特徴点群の最外輪郭線に囲まれた領域の面積とをそれぞれ求める工程と、前記各面積の面積比から前記基準撮像画像に対する前記被探索画像のスケールを算出する工程とを備え、前記基底ペア終点の被探索画像上での座標位置を予測する工程において、前記スケールに基づく前記基底ペア終点の予測座標位置の絞り込みを行うことを特徴とする。

請求項４記載の発明は、請求項３記載の発明と同様の構成を備えると共に、前記基底ペア終点の被探索画像上での座標位置を予測する工程において、前記基底ペアの始点の候補を、前記被探索画像の前記特徴点群の最外輪郭線上にある特徴点に絞り込むことを特徴とする。

請求項５記載の発明は、請求項１から４のいずれか一項に記載の発明と同様の構成を備えると共に、前記被探索画像の特徴点の座標を木構造で管理し、基底ペアの始点を基準とした扇形の探索領域を指定、もしくは基底ペアの終点を中心とした円形の探索領域を指定して高速に基底ペアの終点の探索を行うことを特徴とする。

請求項６記載の発明は、請求項１から５のいずれか一項の発明と同様の構成を備えると共に、前記探索対象物の基準撮像画像の各特徴点について、基準点としての適性を示す属性値を算出する工程と、前記基底ペアとして二つの特徴点を組み合わせる場合の前記各属性値を統合した評価値を算出する工程と、前記評価値に基づいて前記基底ペアの候補となる特徴点を絞り込む工程とを備えることを特徴とする。

請求項７記載の発明は、請求項６記載の発明と同様の構成を備えると共に、前記属性値として、コーナー度を示す評価値、基底ペア間の距離、その特徴点を取得するのに使ったエッジ点数を用いることを特徴とする。

請求項８記載の発明は、請求項６又は７記載の発明と同様の構成を備えると共に、前記属性値としての各要素に対して正規化と重み付けを行い、ひとつの評価値として統合することを特徴とする。

請求項９記載の発明は、請求項６から８のいずれか一項の発明と同様の構成を備えると共に、前記属性値として、二番目以降の基底ペアの候補を選択する場合に、先に選択した基底ペアの線分との距離を評価値の一つに加え、前記距離が離れているほど高い評価値とすることを特徴とする。

請求項１記載の発明は、基底ペア情報に基づいて被探索画像中の基底ペアの始点の候補となる特徴点の絞り込みを行うので、全特徴点同士の照合を行う前に対象となる特徴点を減ずることができ、探索処理の所要時間を低減し、処理の高速化を図ることが可能となる。
さらに、基底ペア情報に、安定区間に基づくエッジ勾配ベクトルと基底ベクトルの相対角度（角度差）を含むので、基底ベクトルの始点におけるエッジ勾配ベクトルと基底ベクトルの相対角度（角度差）を用いる場合に比して、基底ベクトルの方向を安定して特定することが可能となり、基底ベクトルの終点の予測をより正確に行い、探索の錯誤を低減して精度の良い画像探索を可能とする。

請求項２記載の発明は、基準撮像画像と前記被探索画像での基底ペアの始点から各安定区間までの距離の比からスケール変動を予測するので、早期の段階でスケール変動の予測が可能となり、探索精度のさらなる向上及び画像探索処理のさらなる高速化を図ることが可能となる。

請求項３記載の発明は、基底ペア終点の被探索画像上での座標位置を予測する工程で、面積比から求められたスケールに基づいて基底ペア終点の予測座標位置の絞り込みを行うので、対象となる予測位置の領域をより限定することができ、処理の迅速化を図ると共に基底ペアの探索をより高精度で行うことが可能となる。

請求項４記載の発明は、基底ペア終点の被探索画像上での座標位置を予測する工程で、基底ペアの始点の候補を被探索画像の特徴点群の最外輪郭線上にある特徴点に絞り込むので、不要な特徴点を基底ペアの始点して終点を探索することを回避することができ、処理の迅速化を図ることが可能となる。

請求項５記載の発明は、木構造により被探索画像の特徴点を管理することで、基底ペア情報に基づく基底ペアの終点の予測位置又は予測範囲内の特徴点を高速に抽出することが可能となる。

請求項６から９記載の発明は、探索対象物の基準撮像画像の各特徴点について、基準点としての適性を示す属性値を求め、特徴点の絞り込みを行うので、演算の対象となる特徴点数を低減し、画像探索の処理のさらなる高速化を図ることが可能となる。

本実施の形態に係る電子部品実装装置の全体を示す平面図である。 電子部品実装装置の制御系を示すブロック図である。 テンプレート作成処理のフローチャートである。 特徴抽出処理のフローチャートである。 コーナー度を計算する手法を示す説明図である。 局所領域のエッジ形状によってコーナー度が変わることを示す説明図である。 変曲点の抽出方法を示す説明図であり、図７（Ａ）〜（Ｃ）の順番で抽出工程が進行する。 基底ペア選定処理のフローチャートである。 図８に続く基底ペア選定処理のフローチャートである。 探索対象画像において選定された基底ペアを示す説明図である。 探索対象物の撮像画像における各特徴点の配置を示す説明図である。 基底ペアの視点となる特徴点近傍のエッジ勾配ベクトルを示す説明図である。 特徴点の相対位置情報を作成するための後述する安定区間取得処理を示すフローチャートである。 相対位置情報の内容を示す説明図である。 被探索画像サーチ処理を示すフローチャートである。 ２Ｄ木の概念に基づく特徴点の画像配置イメージである。 被探索画像中の各特徴点の木構造に基づく管理構造を示す概念図である。 基底ペア終点候補取得処理を示すフローチャートである。 基底ペア終点候補取得処理における扇形の探索範囲の例を示す説明図である。 基底ペア終点候補取得処理における円形の探索範囲の例を示す説明図である。 基底ペア終点探索処理を示すフローチャートである。 特徴点の中から凸多角形を検出する概念の説明図であり、図２２（Ａ）は凸多角形検出処理を示し、図２２（Ｂ）は凸多角形検出結果を示す。 特徴点のなかから凸多角形を検出する処理のフローチャートである。 面積算出可能な場合のテンプレート作成処理のフローチャートである。 面積算出可能な場合のサーチ処理のフローチャートである。 面積算出可能な場合の基底終点予測処理のフローチャートである。 面積比からスケールを求めた場合の基底ペア終点候補取得処理における扇形の探索範囲の例を示す説明図である。 基準座標群の作成概念の説明図であり、図２８（Ａ）は正規化前のモデルの特徴点配置を示し、図２８（Ｂ）は正規化を図るためのモデルの変換量を示し、図２８（Ｃ）はモデルの６つの特徴点を全て変換したデータテーブルを示し、図２８（Ｄ）は正規化後のモデルの特徴点配置を示し、図２８（Ｅ）は照合のためのハッシュ表を示す。 被探索画像の特徴点の照合概念の説明図であり、図２９（Ａ）は被探索画像の特徴点配置を示し、図２９（Ｂ）は正規化後の各特徴点配置を示し、図２９（Ｃ）は正規化を図るためのモデルの変換量を示し、図２９（Ｄ）は照合のためのハッシュ表を示す。

（第１の実施形態の全体構成）
本発明の第１の実施形態について、図１乃至図２１に基づいて説明する。本実施形態は、撮像画像内で探索対象物である電子部品を探索するための画像解析装置１０が電子部品実装装置１００に搭載され、後述する吸着ノズルに吸着された電子部品の位置を検出する目的に利用される場合の例を示している。

（電子部品実装装置）
図１は電子部品実装装置１００の平面図、図２は制御系を示すブロック図である。電子部品実装装置１００は、基板に各種の電子部品の搭載を行うものであって、電子部品の搭載手段として、図１に示すように、搭載される電子部品を供給する複数の電子部品フィーダ１０１と、電子部品フィーダ１０１を複数並べて保持する電子部品供給部としてのフィーダバンク１０２と、一定方向に基板を搬送する基板搬送手段１０３と、当該基板搬送手段１０３による基板搬送経路の途中に設けられた基板に対する電子部品搭載作業を行うための搭載作業部１０４と、電子部品を吸着する吸着ノズル１０５を保持して電子部品の保持を行う部品保持手段としてのヘッド１０６と、ヘッド１０６を所定範囲内の任意の位置に駆動搬送するヘッド移動手段としてのＸ−Ｙガントリ１０７と、吸着ノズル１０５に吸着された電子部品の撮像を行う標準カメラ１１５及び高解像度カメラ１１６と、撮像位置に照明光を照射する照明装置１１７と、電子部品実装装置１００の各構成に対して制御を行う制御装置１２０と、カメラ１１５，１１６の撮像画像から探索対象となる電子部品の探索処理を実行する画像処理装置１０とを備えている。
画像解析装置１０は、カメラ１１５，１１６による電子部品Ｃの撮像画像から正確な位置情報を求め、制御装置１２０に出力することでヘッド１０６の位置決め動作に反映させるために利用される。
標準カメラ１１５及び高解像度カメラ１１６はいずれもＣＣＤカメラであり、搭載が行われる電子部品の電極サイズによって使い分けられるようになっている。以下の記載では、標準カメラ１１５が使用される前提で説明を行うこととする。
また、以下の説明において、水平面に沿って互いに直交する一の方向をＸ軸方向とし、他の方向をＹ軸方向とし、垂直上下方向をＺ軸方向と称することとする。

基板搬送手段１０３は、図示しない搬送ベルトを備えており、その搬送ベルトにより基板をＸ軸方向に沿って搬送する。
また、前述したように、基板搬送手段１０３による基板搬送経路の途中には、電子部品を基板へ搭載する搭載作業部１０４が設けられている。基板搬送手段１０３は、搭載作業部１０４まで基板を搬送すると共に停止して、図示しない保持機構により基板の保持を行う。つまり、基板は保持機構により保持された状態で安定した電子部品の搭載作業が行われる。

ヘッド１０６は、その先端部で空気吸引により電子部品を保持する吸着ノズル１０５と、この吸着ノズル１０５をＺ軸方向に駆動する駆動源であるＺ軸モータ１１１と、吸着ノズル１０５を介して保持された電子部品をＺ軸方向を中心として回転駆動させる回転駆動源であるθ軸モータ１１２とが設けられている。
また、各吸着ノズル１０５は負圧発生装置１０８に接続され、当該吸着ノズル１０５の先端部において吸気吸引を行うことにより電子部品の吸着及び保持が行われる。
つまりこれらの構造により、搭載作業時には、吸着ノズル１０５の先端部で所定の電子部品フィーダ１０１から電子部品を吸着し、所定位置で基板に向かって吸着ノズル１０５を下降させると共に吸着ノズル１０５を回転させて電子部品の向きの調整を行いつつ搭載作業が行われる。
また、前述した各カメラ１１５，１１６は、ベースフレーム１１４に搭載されており、Ｘ−Ｙガントリ１０７によりヘッド１０６が各カメラ１１５，１１６の位置決めされて撮像が行われるようになっている。
各カメラ１１５，１１６は、ベースフレーム１１４から上方に向けられた状態で保持されており、吸着ノズル１０５に吸着された電子部品Ｃを下方から撮像し、撮像画像を画像処理装置１０に出力する。

Ｘ−Ｙガントリ１０７は、Ｘ軸方向にヘッド１０６の移動を案内するＸ軸ガイドレール１０７ａと、このＸ軸ガイドレール１０７ａと共にヘッド１０６をＹ軸方向に案内する二本のＹ軸ガイドレール１０７ｂと、Ｘ軸方向に沿ってヘッド１０６を移動させる駆動源であるＸ軸モータ１０９と、Ｘ軸ガイドレール１０７ａを介してヘッド１０６をＹ軸方向に移動させる駆動源であるＹ軸モータ１１０とを備えている。そして、各モータ１０９，１１０の駆動により、ヘッド１０６を二本のＹ軸ガイドレール１０７ｂの間となる領域のほぼ全体に搬送することを可能としている。
なお、各モータは、ぞれぞれの回転量が制御装置１２０に認識され、所望の回転量となるように制御されることにより、ヘッド１０６を介して吸着ノズル１０５や各カメラ１１５，１１６の位置決めを行っている。
また、電子部品の必要上、前記したフィーダバンク１０２，搭載作業部１０４とはいずれもＸ−Ｙガントリ１０７によるヘッド１０６の搬送可能領域内に配置されている。

フィーダバンク１０２には、複数の電子部品フィーダ１０１がＸ軸方向に沿って羅列して載置装備される。
各電子部品フィーダ１０１は、後端部に電子部品が一列に並んで封止された部品テープのリール（図示略）が保持されており、部品テープはリールから電子部品フィーダ１０１の先端部（基板側の端部）の上側に設けられた部品受け渡し位置１０１ａまで繰り出され、当該部品受け渡し位置１０１ａにおいて吸着ノズル１０５により電子部品の吸着が行われるようになっている。

制御装置１２０は、基板Ｋに搭載する電子部品Ｃのリスト、搭載順番、各電子部品の部品吸着位置（いずれの電子部品フィーダ１０１から受け取るか）及び基板Ｋにおける搭載位置等が定められた搭載プログラムを記録し、当該搭載プログラムに従ってＸ軸モータ１０９、Ｙ軸モータ１１０及びＺ軸モータ１１１を制御し、ヘッド１０６の位置決め制御を行う。また、この制御装置１２０は、吸着時の電子部品に対してθ軸モータ１１２を駆動して吸着ノズル１０５を回転させて角度修正制御を行い、Ｘ軸モータ１０９及びＹ軸モータ１１０により位置修正制御を行う。
かかる制御装置１２０は、電子部品Ｃの吸着ノズル１０５による吸着後に標準カメラ１１５又は高解像度カメラ１１６による撮像が行われ、当該撮像画像に基づいて画像処理装置１０が求めた電子部品の正確な位置及び向きに基づいて電子部品Ｃの向きをθ軸モータ１１２により補正し、Ｘ軸モータ１０９及びＹ軸モータ１１０により搭載時のヘッド１０６による搭載位置を補正するようになっている。

（画像解析装置）
画像解析装置１０は、各カメラ１１５，１１６及びその照明装置１１７と画像解析装置全体を制御する制御部１１と、各カメラ１１５，１１６の画像信号をデジタル化するＡ／Ｄ変換器１２と、デジタル化された撮像画像データを記憶する画像メモリ１３と、撮像画像データに基づいて電子部品や半田パターンなどの探索対象を探索するための画像処理を実行する演算部１４と、画像処理や各部の制御において作業領域となる作業用メモリ１５と、探索を行う画像処理において探索対象のモデルとなる電子部品又は半田パターンのテンプレートデータが記憶されるテンプレートデータ格納メモリ１６と、画像処理装置１０
の制御部１１が制御装置１２０とのデータ通信を行うインターフェイス１７とを備えている。
以下、電子部品の撮像画像からこの画像処理装置１０が行う電子部品の探索処理について説明することととする。

（テンプレートの作成処理）
画像処理装置１０は、カメラ１１５（又は１１６）を用いて予め探索対象である電子部品Ｃの撮像を行い、電子部品Ｃのテンプレートの作成を行う。図３はテンプレートの作成処理を示すフローチャートである。
このテンプレートの作成処理は、電子部品実装装置１００の制御装置１２０により、ヘッド１０６を位置制御して電子部品Ｃを吸着した吸着ノズル１０５をカメラ１１５の撮像位置にセットし、照明装置１１７を点灯されると、画像処理装置１０にインターフェイス１７を介して、選択されたカメラチャネル情報と共に処理実行が指示されることで開始される。

画像処理装置１０は、指定されたカメラ１１５を制御し、電子部品Ｃの画像を撮像し、撮像信号をＡ／Ｄコンバータ１２でデジタル化し、画像メモリ１３に多値画像データとして記憶させる（ステップＳ２１）。
次いで、エッジ抽出処理により画像データから電子部品Ｃの輪郭を抽出し、抽出データを作業用メモリ１５に格納する（ステップＳ２２）。
そして、抽出したエッジ点についてラベリング処理を行い、連結し、輪郭線として分類したデータ管理を行えるようにする。これらのデータを用い、輪郭線上の形状特徴部分を特徴点として抽出する。特徴抽出方法としては、HarrisやＳＵＳＡＮなどのコーナー検出オペレータを用いる、境界追跡により曲率の高い点を抽出する、などのいろいろな方法が考えられる（ステップＳ２３）。なお、この特徴点抽出処理については詳細を後述する。

そして、これらの特徴点の中から位置決めの基準に使う二つの特徴点からなる特徴点ペア(基底ペア)を選定する（ステップＳ２４）。選定するペア数が多ければ、特徴点の欠落などへの対応力が上がるが、処理時間は増大する。従って、選定する基底ペアの数は、用途に応じて、探索精度と処理時間とのバランスを考慮して調整すればよい。
そして、基底ペアが選定されると、当該基底ペアの一方の特徴点を始点、他方を終点とするベクトルを正規化する座標変換を行い、同様に基底ペア以外の特徴点の座標変換を行うと共に、変換された座標群をテンプレートデータ格納メモリ１６に記録する（ステップＳ２５）。

なお、従前のGeometric Hashingの一般理論では、特徴点は座標値しか管理しない。ある特徴点を基底ペアの始点であると仮定した場合、そのペアである終点は始点以外のすべての特徴点が候補になる。従って、±180°の変動があるとすれば角度による絞込みはできない。また、スケール変動があるとすれば、２点間距離による絞込みもできない。これらはハッシュ表の照合を行った後、間違いであることが分かるのである。これらの組み合わせは特徴点が増えれば増えるほど２乗のオーダーで増加し、正解は１つであるので、その増加分はほとんどが無駄な処理であるといえる。
そこで本発明では、基底ペアの始点を基準に終点の座標が予測できるように２つの点の間の相対位置情報を作成する（ステップＳ２６）。終点を予測するためには、本来、対象物のスケール、傾きが分からなければならない。しかし、その２つの値こそ、最終的に求めたい値である。
つまり、ここでいう予測とは、これらの変動の影響を受けづらい局所領域でおおよそのスケール、傾きを求め、終点の候補の存在する大体の領域に絞り込んだ後、対応する正確な特徴点を求め、正確なスケール、傾きを求める行為である。
そして、相対位置情報（基底ペア情報）が求まると、テンプレートデータとして、テンプレートデータ格納メモリ１６に格納され、テンプレート作成処理が終了する（ステップＳ２７）。

（特徴点の抽出処理）
前述した画像処理装置１０が行う特徴点の抽出処理（前述したステップＳ２３）について図４のフローチャートに基づいて説明する。
この処理は、コーナー検出オペレータと境界追跡を組み合わせて輪郭上の形状特徴部分を特徴点として抽出し、さらに各エッジセグメントの重心も特徴点に加える。
まず、前述のステップＳ２２で検出したエッジ点について、例えばHarrisやSUSANなど、コーナー抽出器を用いてコーナー度を計算する。計算結果は、各エッジ点の属性データとして、作業用メモリ１５に格納される（ステップＳ３１）。
コーナー度とは、濃度変化の激しさを示すものであり、局所領域をずらしたときの類似度を用いて算出することができる。図５に示すように、局所領域Ｒは撮像画像中の一定の領域であり、Ｒａは（ｄｘ，ｄｙ）だけずらした状態を示している。
例えば、濃度が一様な領域（図６：ＲＡ）では、局所領域をずらしても常に類似度が大きくなる。次に、一方向に沿ったエッジのみしか含まれない領域の場合（図６：ＲＢ）には、エッジ方向に沿って局所領域をずらしても類似度は変わらない。しかし、複数の方向のエッジ成分が含まれている領域（図６：ＲＣ）は、少しずらすと類似度は大きく低下する。HarrisやＳＵＳＡＮなどのコーナー抽出器はこのような特性を評価するためのオペレータである。このような濃度変化が激しい場所は、他の形状との区別がしやすく、対応付けが取りやすい場所であるので、特徴点として適した場所だといえる。

次に、エッジ点についてラベリングを行い、隣接するエッジ点をつなぎ合わせ、複数のエッジセグメントを生成する（ステップＳ３２）。
そして、各エッジセグメントごとに次のステップＳ３３〜Ｓ３５の処理が繰り返し実行される。

ステップＳ３３では、各エッジセグメント別に重心を算出し、特徴点とする。重心は、エッジセグメントを構成する複数のエッジ点の代表点であり、対象物の形状に欠損等がない場合、非常に不変性の高い点として用いることができる。このとき、重心を計算した各エッジセグメントのエッジ点数が多いほど、その計算結果は信頼度が高く、不変性の高い点といえる。

次に、エッジセグメントの境界追跡のための起点を設定する（ステップＳ３４）。安定した出力結果を得るために、起点には不変性の高い点を用いる必要がある。この点は、ステップＳ３１で求めたコーナー度の値がセグメント内で一番高い点とする。
そして、各エッジセグメントについて、境界追跡を行い、変曲点を抽出し、当該変曲点を特徴点とする（ステップＳ３５）。
変曲点（曲率の高い点）の抽出方法はいろいろ考えられるが、例えば図７に示すような方法で得ることができる。まず、起点と終点を結ぶ直線Ｌ１に対して、画素列の中で一番遠い点Ｐｆを選ぶ（図７（Ａ））。その点Ｐｆでエッジ点である画素列を２分して、それぞれの画素列に同様の処理を再帰的に繰り返す（図７（Ｂ），（Ｃ））。このとき、線分と点との距離の最小値を決めておき、その値より小さくなれば再帰処理を終了するものとする。
このとき、検出した際の再帰の回数がより少ないほど、そのセグメントの輪郭線においてより抽象度の高い重要な特徴点といえる。従って、特徴点として抽出した際、この値（検出再帰回数）も一緒に記録しておく。再帰処理が終了した際、最大の再帰ネスト回数を分母として正規化を行い、０〜１の値で特徴点の重要度を表すようにする。
さらに、前後の特徴点（変曲点）間のエッジ点数の１／２も特徴点の属性として記録しておく。

全てのセグメントについて上記ステップＳ３３〜Ｓ３５の処理が行われると、抽出された各特徴点は、それぞれの抽出方法によってレベルの差はあるものの、特徴点としての適性を示す評価値を得ることができ、これらを特徴点の属性値として記憶する（ステップＳ３６）。
まず、「対応付けのしやすさ」を示すものとして、ステップＳ３１で求める「コーナー度」、ステップＳ３５で求める「再帰回数」がある。「コーナー度」については、全ての特徴抽出が完了した段階で、コーナー度の最大値を求め、これを分母として正規化し、やはり０〜１の値で表すようにする。これら２つに重みを設定し、加重平均を取り、一つの評価値としてまとめる。
次に、特徴点が何点のエッジ点を代表するのかという値を使って、その特徴点の「信頼度」を示す評価値とする。具体的には、ステップＳ３４の重心演算で用いたエッジ点数、ステップＳ３５で求めた各変曲点間のエッジ数を用いることにする。これらは全エッジ点数を分母として正規化する。
さらに、３つ目の評価値として、ある基準位置からの距離を追加する。
Geometric Hashingでは基底ペアの照合を行なう際、基底ペアベクトルの傾きを求め、これを用いて全特徴点の座標変換を行う。すなわち、傾きはより正確で安定している程、正確な照合につながり、安定した照合が行なえることになる。傾きの精度は基底ペアの特徴点間距離が長い程、高くなる。つまり、より特徴点間距離が長い基底ペアを選んだ方が有利である。
また、基底ペアは最低１つあれば位置決めを行うことは可能であるが、サーチ時に隠蔽など基底ペアのいずれかが欠落する可能性がある場合は、やはり複数の基底ペアを用意しておく必要がある。
対象物の隠蔽に対しての耐性を強くすることを考えた場合、２つめ以降の基底ペアは、先に選択したペアと離れた箇所に発生するようにすべきである。そのために、評価値として、先に選択したペア線分との距離も評価値に加えるようにする。
選定するペア数は、多ければ、特徴点の欠落などへの対応力が上がる、また、各基底ペアの位置決め結果の平均をとるなどして総合的に位置決め精度が上がるなどの効果を得ることができるが、処理時間は増大する。本発明は単純に基底ペア数を減らして速度アップを図るのではなく、より効果的な基底ペアから順に選択していくものである。選定数は必要な処理時間に合わせて調整すればよい。本発明では、その範囲の中でより安定した結果を得ることができるペアを選択することができることに特徴がある。

（特徴点のペア選定処理）
前述した画像処理装置１０が行う特徴点の基底ペア選定処理（前述したステップＳ２４）について図８及び図９のフローチャート及び図１０の探索対象画像の説明図に基づいて説明する。この図１０はコーナー点がある閉セグメントＥ１と、円形の閉セグメントＥ２と、開セグメントＥ３と、方向性のある閉曲セグメントＥ４からなり、後述する第一の基底ペアＡＢと第二の基底ペアＣＤとが図示されている。
基底ペアの候補は全特徴点の順列の数だけある。選択ペアの評価値を０で初期化し（ステップＳ４１）、全基底ペア候補について評価値を求め、その最大値を求めるループ処理（ステップＳ４２〜Ｓ４６）を実行する。

基底ペア候補となる２つの特徴点について、特徴点の抽出処理の際にステップＳ３６で設定された属性データを読み出す。
まず、対応付けのしやすさを示す値として、「コーナー度」と「再帰回数」から算出した評価値を読み出す（ステップＳ４２）。
次いで、信頼度を示す値として、ステップＳ３３の重心演算で用いたエッジ点数、ステップＳ３５で求めた変曲点間のエッジ数を全エッジ点数を分母として、正規化した評価値を読み出す（ステップＳ４３）。
これらの属性データは０〜１に正規化された数値であり、大きい程、特徴点としての適性が高いことを示す。
さらに、選択されている２つの特徴点間の距離を求める（ステップＳ４４）。この特徴点間の距離について、ステップＳ４２、Ｓ４３で求めた２つの特徴点の計４つの値を掛けて、基底ペア選択の評価値とする。この値は２つ目以降のペア選択にも使用するので、作業用メモリ８に格納しておく（ステップＳ４５）。
そして、全基底ペア候補についてのループ処理により、ステップＳ４５で求まる評価値を毎回比較し、評価値が大きい方の基底ペアを更新して記録する（ステップＳ４６）。これにより、最終的に評価値が最大の基底ペアが選出され、第１基底ペア（一番目の候補）が決定する。

次に、２つ目以降の基底ペア（二番目以降の候補）の選択処理に移る。基底ペアの候補は全特徴点の順列の数から既に確定したペアを除外した数となる。また、第１基底ペア選択の際に一旦、評価値を計算しているので、閾値を設けてそれより低い値のものは予め除外しておき、ループ回数を低減させることが望ましい。
まず、選択ペアの評価値を０で初期化し（ステップＳ５１）、全基底ペア候補について、評価値を求め、その最大値を求めるループ処理（ｓ５２〜ｓ５６）に移行する。

まず、第１基底ペア線分との位置関係をチェックする。候補となるためには、第２基底ペア線分は第１基底ペア線分と交差していなければならない（図１０の第一の基底ペアＡＢと第二の基底ペアＣＤ参照）。交差していない場合は、次の候補へと進む（ステップＳ５２）。
交差している場合には、ペアとなる２つ特徴点について、第１基底ペア線分との距離を算出する（ステップＳ５３）。
そして、第１基底ペア選択時に作業用メモリに格納しておいた評価値を取り出し、上記第一の基底ペアとの距離を評価値に統合させる計算を行う（ステップＳ５４）。この新しい評価値は、元の評価値に対して、２つの距離値を足し込み、求めるものとする。
そして、全基底ペア候補についてのループ処理において、ステップＳ５５で求まる評価値を比較し、先の基底ペアより大きな評価値の場合にその基底ペアを記録する（ステップＳ５６）。これにより、第１の基底ペアに続く評価値となる第２の基底ペアが決定される。

なお、図９では第２基底ペアの選択フローしか記載していないが、さらに基底ペアを選ぶ場合は、ステップＳ５１〜Ｓ５５の処理を必要となる基底ペアの数だけ繰り返し行えばよい。

（特徴点の相対位置情報作成処理）
前述した画像処理装置１０が行う基底ペアを構成する特徴点の相対位置情報作成処理（前述したステップＳ２６）について図１１〜図１４に基づいて説明する。図１１は探索対象物の撮像画像における各特徴点の配置を示す説明図、図１２は基底ペアの視点となる特徴点近傍のエッジ勾配ベクトルを示す説明図、図１３は特徴点の相対位置情報を作成するための後述する安定区間取得処理を示すフローチャート、図１４は相対位置情報（基底ペア情報）の内容を示す説明図である。

前述したように、基底ペアを構成する特徴点の相対位置情報は、基底ペアの始点を基準に終点の座標が予測できるようにするための情報である。
ここで、図１１を用いて、基底終点の予測方法について、詳細に説明する。最も局所的な方法で傾きを取得するには、基底ペア始点のエッジ勾配ベクトルと基底ペアベクトルとの角度差を求めればよい。しかし、特徴点が対応付けのしやすいコーナー等に設定されている場合、そのエッジ勾配ベクトルは姿勢によって不安定であり、予測精度が悪い。そこで、コーナー位置そのもののエッジ勾配ベクトルではなく、コーナー位置から少し離れた、例えばコーナーを生成する直線部（以下、「エッジ勾配ベクトル安定区間」とする）のエッジ勾配ベクトルと基底ペアベクトルの方向を関連付けておけば、被探索画像上でのこの安定区間のエッジ勾配ベクトルの方向は分かるので、基底ペア始点から終点の方向を得ることができることになる。
また、基底ペア始点とこの安定区間との距離（例えば、安定区間の中点を基準点として基底ペア始点から安定区間の中点までの距離をとる）を求め、相対位置情報として記録しておくことにより、基準画像（テンプレート）と被探索画像との比でスケールの予測が可能となる。図１１の例では、基底ペア始点に対して、前後に２つの安定区間を設けているが、この安定区間は最低一つあれば足りる。但し、前後に２つの安定区間を設定することで、予測の信頼性が向上し、輪郭線の追跡方向の判定が不要になるというメリットを得ることが可能である。

以下に、エッジ勾配ベクトル安定区間とその取得方法を含めて相対位置情報の取得処理について説明する。
エッジ勾配ベクトル安定区間とは、その区間内にある画素について、エッジ勾配ベクトルの角度の差が指定許容値以内である区間のことであり、基底ペアの始点を起点に、輪郭線上を起点から遠ざかる方向に移動しながら探索する（図１２参照）。
図１３のフローチャートに従って説明すると、エッジ勾配ベクトル安定区間の探索起点は基底ペアの始点であり、探索終点は、基底ペアの始点を含むエッジセグメントの始点、もしくは終点となる。エッジセグメントが長い場合は、探索起点からの距離で探索終点を規定する。
まず、安定区間の探索の終了を判定し（ステップＳ６１）、終了ではない場合には、区間先頭点から順にエッジ勾配ベクトル角度を求める（ステップＳ６２）。そして、区間の終了判定を行い（ステップＳ６３）、終了ではない場合には、次の点のエッジ勾配ベクトル角度を求め（ステップＳ６４）、当該エッジ勾配ベクトル角度と、ステップＳ６２で求めたエッジ勾配ベクトル角度との差を計算し、その差がしきい値以内かどうか判定を行う（ステップＳ６５）。しきい値以内である限り、安定区間の各点について順番にステップＳ６３〜Ｓ６５の処理を繰り返し行い、途中でしきい値以上となった場合には、その区間
処理を中断し、探索区間を進めて次の点を新たな区間の始点として、ステップＳ６２から処理をやり直す（ステップＳ６６）。
そして、区間終了点に到達すると（ステップＳ６３）、当該区間内の全てが閾値以内か判定し（ステップＳ６７）、閾値以内であったなら、安定区間と判定し、安定区間情報をテンプレートに登録する（ステップＳ６８）。また、区間の全ての点の中で閾値以上となる点が存在した場合には、当該区間は安定区間ではないと判定する（ステップＳ６９）。

そして、安定区間が検出されると、図１４に示すように、(1)基底ペア間距離、(2)基底ペアベクトルの方向（安定区間のエッジ勾配ベクトルとのなす角度）、(3)基底ペア始点から安定区間中点までの距離が算出され、これらの相対位置情報（基底ペア情報）がテンプレートデータとしてテンプレートデータ格納メモリ１６に記録される。

（被探索画像サーチ処理）
次に、吸着ノズル１０５に吸着された電子部品Ｃのカメラ１１５又は１１６による撮像画像を被探索画像として、電子部品Ｃの探索を行い、撮像範囲内の電子部品Ｃの位置及び向きを取得するために画像処理装置１０が実行する被探索画像サーチ処理について、図１５のフローチャートに基づいて説明する。

電子部品実装装置１００の制御装置１２０は、テンプレート作成時と同様に、電子部品の電極サイズによって、撮像するカメラ１１５，１１６を選択し、電子部品Ｃを吸着ノズル１０５で吸着し、ヘッド１０６を選択したカメラ１１５又は１１６の撮像位置に位置決めし、照明装置１１７を移動、点灯させ、画像処理装置１０にインターフェイス１７を介して、選択したカメラチャネル情報とともに処理実行を指示する。

画像処理装置１０は、処理実行指示に応じて、指定されたカメラ１１５もしくは１１６を制御し、電子部品Ｃの撮像画像を撮像、Ａ／Ｄコンバータ１２でデジタル化し、画像メモリ１３に多値画像データとして記憶させる（ステップＳ７１）。
そして、画像処理装置１０は、画像メモリ１３のデータに対して、エッジ検出処理を行い、抽出データを作業用メモリ１５に格納する（ステップＳ７２）。
さらに、特徴抽出処理を行い、抽出データを作業用メモリ８に格納する（ステップＳ７３）。
ここまでの処理については、テンプレート作成時と同等のものになる。

サーチ処理においては、特徴点を高速に探索するために、２Ｄ木で管理するようになっており、特徴点が抽出されると、２Ｄ木が作成される（ステップＳ７４）。
図１６に２Ｄ木の概念に基づく特徴点の画像配置イメージを示す。かかる画像配置イメージは被探索画像における特徴点の座標を２次元で表現し、各点における分割線を記述したものである。この分割線を基準に左右、もしくは上下の２つの領域に分割し、特徴点をそれぞれ２つの領域に属するグループに分割し、リンク管理する。そして、領域の分割を属する特徴点が１つになるまで、再帰的に繰り返し、木構造を生成する。
図１７に各特徴点の管理構造を示す。この構造は指定領域内にある特徴点を高速に探索するのに有効な管理構造である。この管理構造を用いて探索する方法の詳細については後述する。ここまでがサーチ処理を行うための前処理部分である。

以下のステップＳ７５〜Ｓ８０が本発明により高速化される処理部分である。
基本は、すべての特徴点について、基底ペア始点と仮定し（ステップＳ７７）、終点となる位置に特徴点が存在するか探査し（ステップＳ７８）、終点の有無に応じて投票を行う（ステップＳ７９）という処理であり、これをさらに基底ペアの数、繰り返すことになる（ステップＳ７６）。
このループ処理の中で、基底ペアの終点候補数を減らすことで不正解の投票処理を削減でき、高速化を実現することが可能となる。
このようにして、基底ペアの終点候補取得を行った結果、１つも候補が見つからなかった場合は、投票自体をスキップし、次の特徴点の処理へと移る（ステップＳ７９）。
そして、被探索画像中のすべての特徴点、基底ペアの組み合わせについて、照合スコアを集計、最大スコアの基底ペアを見つけ出す（ステップＳ８２）。
そして、被探索画像における最大スコアの基底ペアの正規化座標系への２つの変換量（テンプレートの変換量、被探索画像の変換量）がわかれば、前述した式（１）〜（３）より探索対象である電子部品Ｃの位置情報（位置及び角度）を取得することができる。

（基底ペア終点候補取得処理）
前述した画像処理装置１０が行う基底ペア終点候補取得処理（前述したステップＳ７８）について図１８のフローチャートに基づいて説明する。
この処理は、基底ペアの終点座標を予測、候補点の存在領域を設定する処理と、その領域内にある特徴点を探索する処理から成る。

ある特徴点を基底ペア始点と仮定したなら、テンプレートデータ格納メモリ１６から相対位置情報（基底ペア情報（仮定した基底ペア始点と安定区間との距離））を取り出す（ステップＳ９１）。
等倍時の２つの安定区間のエッジ勾配ベクトルの相対関係を比較し、スケール予測が可能であるかどうか判定する。基底ペア始点から安定区間までなだらかにエッジ勾配ベクトルが変化する区間にある程度の長さがある形状についてのみ、スケール予測が可能である（ステップＳ９２）。
この条件が成り立つ場合にはスケール予測を行う（ステップＳ９３）。
スケール予測が出来ない場合は、ステップＳ９３の処理をスキップして、スケール誤差を考慮して候補点の存在領域を設定する。

次いで、テンプレート作成時と同様に、被探索画像から基底ペアの始点を起点としてエッジ勾配ベクトルの安定区間を求め、そのエッジ勾配ベクトル角度を取得する（ステップＳ９４）。さらに、複数の安定区間が設定されていた場合はそれらの結果を統合する（ステップＳ９５）。
こうして求めた方向と、等倍時の距離から等倍時の基底ペアの終点の予測位置を取得する。この時、ステップＳ９３の処理によるスケール予測値がある場合は、その位置に対してスケール補正を行う（ステップＳ９６）。
さらに、ステップＳ９６で求められた出力点を中心に角度、スケール誤差を考慮して許容範囲を含む探索範囲を設定する（ステップＳ９７）。例えば、探索範囲としては、図１９に示すような扇形の探索範囲、もしくは、図２０に示すような円形の探索範囲を設定す
る。
そして、設定された探索範囲内から２Ｄ木を利用して、基底ペア終点の候補となる特徴点を探索する（ステップＳ９８）。

（基底ペア終点探索処理）
前述した画像処理装置１０が行う基底ペア終点探索処理（前述したステップＳ９８）について図２１のフローチャートに基づいて説明する。
基底ペア終点探索処理では、前述した各特徴点の２Ｄ木に基づく管理構造を利用する。
ここでは、説明の明確性のために、探索範囲が矩形の場合を例に説明する。画像上にある矩形の探索範囲が設定され（図１６の領域Ｔ）、その矩形内に入っている特徴点を探索しようとする場合、矩形領域Ｔの位置と特徴点毎に設定した領域分割線の位置関係を元に図１７の木構造を辿れば、高速にその矩形内の特徴点を取得することができる。
以下に探索の手順を示す。
(I)矩形領域は点Ａより上にある。→上側のリンクを辿る。
(II)矩形領域は点Ｅを含み、さらに右に拡がる。→点Ｅを候補として取得。さらに右側のリンクを辿る。
(III)点Ｆは矩形領域内にある。→上下両方のリンクを辿る。
(IV)矩形領域は点Ｋの左にある。→以降のリンクはすべて矩形領域外である。
(V)矩形領域は点Ｐの左にある。→以降のリンクはすべて矩形領域外である。
ここまでの探索で、矩形領域と特徴点の位置関係は確定し、探索終了となる。
ここまでの探索で矩形領域内にあると判定された点はＥとＦの２点である。
このようにして、予測領域に含まれる特徴点の抽出が行われ、基底ペアの候補が選択される。

図２１に一般化したさらに詳しい基底ペア終点探索処理のフローチャートを示す。
探索処理は再帰処理となる。
まず、２Ｄ木のルートより、注目ノードの点が指定された領域内に入っているか、つまり、探索ノードであるかを判定する（ステップＳ１３１）。
領域内に入っていれば、候補点の情報を書き出すためのブロック（出力リストブロック）を作成する（ステップＳ１３２）。
注目ノードがノード終点であれば処理は終了する（ステップＳ１３３）。
次に、出力リストブロックリンク先の取得を行う（ステップＳ１３４）。
注目ノードの左ノードにリンクがある場合かどうか判定する（ステップＳ１３５）。
リンクがある場合、左ノードより左側に探索領域があるかどうか判定する（ステップＳ１３６）。探索領域が左ノードより左側にある場合は、以降のリンクを辿る必要はなく、ここが探索の終点ということになるので、右ノードの処理へ進む。
左ノードより右側にある場合は、この２Ｄ木探索を再帰的に終点条件が成り立つまで、呼び出ししていくことになる。（ｓ１３７）
前述したステップＳ１３４で出力リストブロックリンク先が取得できているかどうかチェックし（ステップＳ１３８）、取得できている場合は、出力リストリンクにステップＳ１３２で作成した出力リストブロックを接続する（ステップＳ１３９）。
取得できない場合は、ここで作成した出力リストブロックがリンク先頭であるということになる。
右ノードについても同様の処理となる。（ｓ１４１〜ｓ１４５）
即ち、注目ノードの左ノードにリンクがある場合かどうか判定し（ステップＳ１４２）リンクがある場合、右ノードより右側に探索領域があるかどうか判定する（ステップＳ１４３）。探索領域が右ノードより右側にある場合は、以降のリンクを辿る必要はない。
右ノードより左側にある場合は、この２Ｄ木探索を再帰的に終点条件が成り立つまで、呼び出ししていくことになる（ステップＳ１４４）。そして、出力リストブロックリンク先が取得できているかどうかチェックし（ステップＳ１４５）、取得できている場合は、出力リストリンクにステップＳ１３２で作成した出力リストブロックを接続する（ステップＳ１４６）。

このようにして、基底ペアの終点探索を行った結果、１つも終点候補が見つからなかった場合は、前述の投票をスキップし、次の特徴点の処理へと移る。そして、すべての特徴点、基底ペアの組み合わせについて、最大スコアの基底ペアを見つけ出し、これにより、テンプレートと被探索画像の変換量を求めて電子部品Ｃの位置情報（位置、角度）を取得するのは前述した通りである。
なお、ここで、正解の基底ペア（照合スコアがしきい値以上、エッジ勾配ベクトルの相関値がしきい値以上の基底ペア）が見つからなかった場合や、基底ペアの絞り込みに失敗して、正解の基底ペアを投票前に削除してしまう場合等がある。
このようなトラブルを防止するためには、図１５のステップＳ７５〜Ｓ８２の処理について、基底ペア終点候補探索範囲を広げてリトライする処理を追加しておけばよい。

（第１の実施形態の効果）
以上のように、画像処理装置１０を用いて上述の画像探索方法を実施することにより、基底ペア情報に基づいて被探索画像中の基底ペアの始点の候補となる特徴点の絞り込みを行うので、全特徴点同士の照合を行う前に対象となる特徴点を低減することができ、探索処理の所要時間を低減し、処理の高速化を図ることが可能となる。
さらに、基底ペア情報に、安定区間に基づくエッジ勾配ベクトルと基底ベクトルの相対角度（角度差）を含むので、基底ベクトルの始点におけるエッジ勾配ベクトルと基底ベクトルの相対角度（角度差）を用いる場合に比して、基底ベクトルの方向を安定して特定することが可能となり、基底ベクトルの終点の予測をより正確に行い、探索の錯誤を低減して精度の良い画像探索を可能とする。

（第２の実施形態）
この第２の実施形態では、前述した第１の実施形態である画像解析装置１０に対して、面積比によるスケールの概念を取り込んて画像探索を行う例について説明する。
基準撮像画像に探索対象物の全体が写っている場合、基準撮像画像の探索対象物の面積と被探索画像の探索対象物の面積を求め、面積比の平方根を取ることで基準撮像画像の探索対象物に対する被探索画像の撮像対象物のスケールを算出することが可能である。
面積値は、対象物の姿勢によらず一定となるので面積比を利用すると対象物の姿勢が未知の状態でもスケールが取得可能となる。従って、前述したサーチ処理において基底ペアをの探索（図１５のステップＳ７４〜Ｓ８１）の前に、スケールを計算しておくことで、基底ペア終点候補点のサーチ範囲をより絞り込むことができ、更なる高速化を実現することができる。

ここで面積取得処理について図２２及び図２３に基づいて説明する。かかる面積取得処理は、基準撮像画像から探索対象物の面積を取得する場合と、被探索画像から探索対象物の面積を取得する場合の両方において適用される処理である。なお、被探索画像については、画像内から抽出された特徴点群の最外輪郭線に囲まれた領域を探索対象物と見なしてその面積の算出を行う。
面積を求める一般的な方法としては、設定した閾値以上の濃度値を持つ画素数をカウントする手法が挙げられる。かかる方法を採用しても良いが、この方法は基準撮像画像と被探索画像で明度差がない場合は有効であるが、明度変動がある場合、正しく面積を求めることができない。また、すべての画素に対して判定処理するため、処理時間がかかるという問題がある。そこで、探索対象物について検出したエッジ点を用い、エッジ点の最外周の点を選び、点を結んでできる凸多角形を検出し、その面積を求めることで、高速かつ高精度に撮像対象物の面積を近似することが可能となる。
凸多角形の面積Ｗは、下記式により求まる。但し、Ｎは頂点数（最外周のエッジ点数）である。

さらに、面積取得処理をより詳細に説明すると、まず、特徴点からｙ座標が最小となる点を凸多角形の検出始点として選択する（図２３：ステップＳ１５１）。図２２（Ａ）では、点aが始点となる。次に、始点ａを基準点として（図２３：ステップＳ１５２）、ｘ軸に平行な掃引線ｂを引き（図２３：ステップＳ１５３）、掃引線ｂを時計回りに回転させ、初めに接触した点ｄを選択する（図２３：ステップＳ１５４）。そして、点ｄを新たな基準点とし（図２３：ステップＳ１５５）、以降、再び、始点ａが基準点として選択されるまでステップＳ１５３〜Ｓ１５５の処理を繰り返すと、点ｆ、点ｈ、…と順次凸多角形の頂点となる特徴点が選ばれていき、最終的には、図２２（Ｂ）に示すような凸多角形が検出される。
そして、上記全基準点の位置座標を式（４）に代入することで探索対象物の面積が算出される。

そして、基準画像における探索対象物の面積と被探索画像における探索対象物の面積とから上式（５）によりスケールが算出される。

即ち、この面積比に基づくスケールを利用したサーチ範囲の絞り込みを行うために、前述した図３のテンプレート作成処理に必要な修正を付加したテンプレート作成処理のフローチャートを図２４に示し、図１５のサーチ処理に必要な修正を加えたサーチ処理のフローチャートを図２５に示し、図１８の基底ペア終点座標予測処理に必要な修正を加えた基底ペア終点座標予測処理のフローチャートを図２６に示す。なお、これらのフローチャート中で元のフローチャートと同様の処理が行われるステップについては同じステップ番号を付して重複する説明は省略するものとする。

面積は、被探索画像上での対象物の姿勢によらず、一定の値となるので、被探索画面内において探索対象物の姿勢が未知の状態でもスケールの取得が可能となる。
従って、サーチ処理において、被探索画像中の各特徴点を始点とした場合における終点候補予測範囲に他の特徴点が存在するか否かを判定する処理（図１５のステップＳ７５）より前に、予めスケールを算出する処理（図２５のステップＳ７４１〜Ｓ７４３参照）を設けることで、基底ペア終点予測ごとに必要だったスケール予測（図１８のステップＳ９３）が不要となる。さらに、面積比により、より高精度にスケールを求めることができているので、終点候補予測範囲（図２７の探索領域）の絞りこみが可能となる。

つまり、前述した図１９の例では、基底ペア始点を中心とした安定区間までの距離からスケールを予測し、スケール誤差を考慮して設定した基底終点座標の予測範囲で終点の位置を予測するものであった。
これに対して、図２７に面積比で高精度なスケールを求めることが出来ている場合の基底終点候補予測範囲Ｓを表す。予め、面積比により高精度なスケールを求めることが出来れば、スケール誤差を小さく設定することができ、図２７に示すように予測範囲Ｓが狭まり、サーチ時間が短縮される。さらに終点候補となる特徴点が削減できるため、サーチ処理における投票（ステップＳ８０）にかかる時間が短縮できる。

また、図２０に示す例のように、基底ペア終点位置を中心とする探索範囲の設定を行った場合には、角度誤差とスケール誤差の値を比較し、より大きい値を半径とした予測範囲を決定するため、もともと角度誤差の値がスケール誤差の値より大きい場合には、予測範囲を狭めることはできない。しかし、既にスケール値が分かっているので、取得した候補点との距離をチェックし、候補点を絞り込むことができ、サーチ処理における投票（ステップＳ８０）にかかる時間が短縮できる。

次に、面積比によるスケールが算出可能な場合の全体的な処理を図２４、図２５、図２６に基づいて説明する。
まず、テンプレート作成処理では、図２４に示すように、基準画像から探索対象物の面積を取得し（ステップＳ２３１）。テンプレートデータとしてテンプレートデータ収納メモリ１６に格納する（ステップＳ２３２）。このとき、面積の取得ができない場合は、その旨をテンプレートデータとして記録する。例えば、面積値に０を格納する。

テンプレートデータに探索対象物の面積値が記録されていることに対応して、サーチ処理では、図２５に示すように、テンプレート作成時と同様の方法で被探索画像内の探索対象物の面積を取得し（ステップＳ７４１）、基準画像における探索対象物の面積との面積比からスケールを算出する（ステップＳ７４２）。

但し、被探索画像の背景部にノイズ等があると、正しく面積が算出できない場合があるので、スケールの算出結果について、妥当性を検査する必要がある（ステップＳ７４３）。
かかる妥当性検査は、算出したスケール値が、予め設定しておいた被探索画像の変動範囲内であるかどうかで判定する。変動範囲内であれば算出したスケールをサーチ時に用いる。範囲外の場合は、先に記載したようなノイズ等の原因により、正しく取得できなかったとみなし、面積比に基づくスケール値を採用せず、従来どおり、スケール予測を行い（図２６：ステップＳ９２，Ｓ９３）、基底終点候補を抽出する。
変動範囲内で妥当なスケールが得られた場合には、サーチ処理において各特徴点を基底ペア始点と仮定した場合（ステップＳ７７）に、当該特徴点が、面積取得時に得た最外輪郭線上の点か否かを判断する（ステップＳ７７１）ことで、最外輪郭線上にない点を排除して基底ペア始点候補を絞り込む。

また、妥当なスケールが得られた場合には、基底終点座標予測処理において、図２６のステップＳ９１１に示すように、スケール予測（ステップＳ９３）処理をスキップする。
また、その後の許容範囲を設定する（ｓ９７）際の誤差マージンは、与えるスケール値の精度により切り替え、スケール予測（ｓ９３）した場合よりも小さくする。

（第２の実施形態の効果）
上記第２の実施形態では、第１の実施形態と同様の効果を具備すると共に、基準撮像画像に探索対象物の全体が写っている場合においては、基準撮像画像と被探索対象画像から探索対象物の面積をそれぞれ求めることが可能となり、大局的な評価値（対象物全体の面積比）でスケールを求めるため、基底ベクトルの始点における局所領域から基底ベクトルの終点を予測した場合と比べて、予測精度を格段に向上させることとが可能となる（例えば、小数点以下４桁までの精度まで向上する）。この様に高精度なスケール値を算出することで、基底ベクトル終点の予測をより正確に行い、基底ベクトル終点の絞りこみを行うので、探索処理時間の所要時間を低減し、処理の高速化を図ることが可能となる。

なお、上記各実施形態の画像処理装置は、電子部品実装装置に搭載された場合を例示したが、基準撮像画像に基づく探索対象物を被探索画像中から探索する必要があるいずれの装置にも適用可能である。

１０ 画像処理装置
１１ 制御部
１３ 画像メモリ
１４ 演算部
１５ 作業用メモリ
１６ テンプレートデータ格納メモリ
１００ 電子部品実装装置
１０５ 吸着ノズル
１０６ ヘッド
１１５ 標準カメラ
１１６ 高解像度カメラ
１２０ 制御装置
Ｃ 電子部品

Claims (9)

1. 探索対象物の基準撮像画像から得られた前記探索対象物の輪郭線上に複数の特徴点を設定する工程と、
   前記各特徴点の内の二つの特徴点からなる少なくとも一組の基底ペアを設定する工程と、
   前記基底ペアの一方の特徴点を始点とし、他方の特徴点を終点とする基底ベクトルを正規化する座標変換量を求め、当該座標変換量に従って前記各特徴点について座標変換を行い、前記基底ベクトルとそれ以外の特徴点とが相対的な位置関係を保った基準座標点群を予め登録する工程と、
   被探索画像の撮像画像データから特徴点を抽出する工程と、
   前記被探索画像の各特徴点の中の二つの特徴点からなる特徴点ペアのベクトルを正規化する座標変換量を求め、当該座標変換量に従って前記被探索画像の各特徴点について座標変換を行う工程と、
   前記座標変換された被探索画像の各特徴点と前記基準座標点群との照合を行う工程と、
   前記照合により前記基底ペアと一致すると判定された前記特徴点ペアの座標変換量と前記基底ペアの座標変換量とにより前記被探索画像上での探索対象物の角度、スケール、撮像平面における位置を取得する画像探索方法において、
   前記基底ペアの始点となる特徴点を基準として前記輪郭線の境界追跡を行い、前記輪郭線に沿った各位置でのエッジ勾配ベクトルの方向の差が規定範囲以下となる安定区間を探す工程と、
   前記安定区間と前記基底ペアの始点との相対位置関係と、前記安定区間のエッジ勾配ベクトルと前記基底ベクトルの相対角度と、前記基底ペアの始点と終点の相対位置関係とを含む基底ペア情報を求める工程と、
   前記被探索画像の前記各特徴点を前記基底ペアの始点と仮定し、前記基底ペア情報に基づいて、基底ペア終点の被探索画像上での座標位置を予測する工程と、
   前記予測される基底ペアの終点の座標位置に基づいて前記基底ペアの終点に該当する特徴点を探索する工程と、
   前記基底ペアの終点の探索結果に基づいて、前記基底ペアの始点と見なして前記被探索画像の各特徴点と前記基準座標点群との照合を行う特徴点の絞り込みを行うことを特徴とする画像探索方法。
2. 前記基底ペアの始点を中心として前後の輪郭線の境界追跡を行い、２つの前記安定区間を探すと共に、
   前記基準撮像画像と前記被探索画像での前記基底ペアの始点から前記各安定区間までの距離の比からスケール変動を予測し、前記基底ペアの終点の探索に反映することを特徴とする請求項１に記載の画像探索方法。
3. 前記基準撮像画像の探索対象物の面積と前記被探索画像の前記特徴点群の最外輪郭線に囲まれた領域の面積とをそれぞれ求める工程と、
   前記各面積の面積比から前記基準撮像画像に対する前記被探索画像のスケールを算出する工程とを備え、
   前記基底ペア終点の被探索画像上での座標位置を予測する工程において、前記スケールに基づく前記基底ペア終点の予測座標位置の絞り込みを行うことを特徴とする請求項１又は２記載の画像探索方法。
4. 前記基底ペア終点の被探索画像上での座標位置を予測する工程において、
   前記基底ペアの始点の候補を、前記被探索画像の前記特徴点群の最外輪郭線上にある特徴点に絞り込むことを特徴とする請求項３記載の画像探索方法。
5. 前記被探索画像の特徴点の座標を木構造で管理し、基底ペアの始点を基準とした扇形の探索領域を指定、もしくは基底ペアの終点を中心とした円形の探索領域を指定して高速に基底ペアの終点の探索を行うことを特徴とする請求項１から４のいずれか一項に記載の画像探索方法。
6. 前記探索対象物の基準撮像画像の各特徴点について、基準点としての適性を示す属性値を算出する工程と、
   前記基底ペアとして二つの特徴点を組み合わせる場合の前記各属性値を統合した評価値を算出する工程と、
   前記評価値に基づいて前記基底ペアの候補となる特徴点を絞り込む工程とを備えることを特徴とする請求項１から５のいずれか一項に記載の画像探索方法。
7. 前記属性値として、コーナー度を示す評価値、基底ペア間の距離、その特徴点を取得するのに使ったエッジ点数を用いることを特徴とする請求項６に記載の画像探索方法。
8. 前記属性値としての各要素に対して正規化と重み付けを行い、ひとつの評価値として統合することを特徴とする請求項６又は７に記載の画像探索方法。
9. 前記属性値として、二番目以降の基底ペアの候補を選択する場合に、先に選択した基底ペアの線分との距離を評価値の一つに加え、前記距離が離れているほど高い評価値とすることを特徴とする請求項６から８のいずれか一項に記載の画像探索方法。

Images