JP4860452B2 - テンプレートマッチングを用いたマーク位置決め方法及び装置 - Google Patents

Description

本発明は、認識画像上を、マークを含むテンプレート画像を逐次移動させ、最大相関位置を求めるテンプレートマッチングを用いたマーク位置決め方法及び装置に係り、特に、部品実装機でマークを位置決めする際に、円形や多角形のマークの中心位置を精度良く検出することが可能なマーク位置決め方法及び装置に関する。

プリント基板上に配置された各種アライメントマークの位置決め方法として、マークをカメラで撮像し、何らかの画像処理を施してマーク位置を検出する手法が一般的である。

マークの位置決め手法として、例えばテンプレートマッチングを用いた手法がある。これは、認識画像上を、マークを含むテンプレート画像を逐次移動させ、最大相関位置を求める手法であるが、画素単位でしか相関を求められないため、画素より小さなサブピクセル単位で位置決めを行なうための手法が数多く提案されている（特許文献１、２、３）。

マーク等の図形をテンプレートマッチングによって位置決めする場合、認識したい画像と同じ形状・サイズのテンプレート画像を作成する必要がある。認識しようとする図形と、テンプレート画像上の図形にずれがある場合、相関位置のピークが出難い。

例えば円形のマークで、認識マークとテンプレート上のマークが同じサイズの場合と、サイズにずれがある場合との相関分布の違いを図１に例示する。図１（Ａ）に示す如く、認識マークとテンプレート上のマークのサイズが一致している場合は、最大相関位置で高く尖ったピークとなるのに対して、図１（Ｂ）に示す如く、マークサイズが一致していない場合は、低く平坦なピークとなる。更に、図１（Ｂ）の下段に拡大して示すように、認識画像の濃度ムラやノイズの影響によって、平坦部には小さな凹凸が存在している。この状態で最大相関位置を検出し、先の手法によりサブピクセル精度で位置決めを行なっても、それは局所的な小さなピークを検出しているだけであって、実際に求めたいマーク位置とは大きく異なっている。又、濃度ムラやノイズの有無は撮影画像によって異なるので、検出位置が大きくばらつく原因にもなる。

部品実装機のマーク位置決めの場合、基板によってマークサイズにばらつきが大きかったり、同一マークを複数のカメラで認識したりするため、同一マークの認識であっても、認識の都度マークサイズが変動する場合がある。そのため、マークの位置決め精度が安定せず問題であった。

このような問題に対し、特許文献４では、テンプレートマッチングでの位置決めを粗位置決めとし、粗位置決めした周辺でマークエッジを検出し、検出したエッジの良否判定を行ない、良エッジのみからマークのサイズや位置を求める手法が提案されている。

又、特許文献５には、１段階前の解像度で検出したピーク情報から、次の解像度とのマッチング領域を設定することにより、等倍画像になるまで解像度を段階的に高めていくピラミッドマッチングを行なうことが記載されている。

特開平４−１１５３７６号公報 特許第２９４３２５７号公報 特開昭６１−２６０２３５号公報 特許第３５２０７５８号公報 特開２００１−１４８０１４号公報（段落［０００５］図８）

しかしながら、特許文献４の手法では、エッジの良否判定、マークサイズの取得、マーク位置検出の各アルゴリズムを、マーク形状によって切換える必要がある。又、テンプレートマッチングの他に、詳細位置決めのための処理が必要なため、処理時間がかかってしまうという問題点がある。

又、特許文献５の手法のみでは、特許文献１〜３と同様の問題を解決できない。

本発明は、前記従来の問題点を解決するべくなされたもので、認識したいマークとテンプレート画像上のマークのサイズが異なっていても、テンプレートマッチングの他に詳細位置決めのための処理を必要とすることなく、精度良く位置決め可能とすることを課題とする。

本発明は、認識画像上を、マークを含むテンプレート画像を逐次移動させ、最大相関位置を求めるテンプレートマッチングを用いたマーク位置決め方法において、ピーク全体形状を把握し、尖ったピークであればピーク頂上部周辺の狭い範囲、平坦なピークであれば頂上の平坦部を全て含む広い範囲をサンプリング領域として、該サンプリング領域内で、座標に対して相関値の重みを付ける相関分布の加重平均から検出位置を算出するようにして、前記課題を解決したものである。

又、前記テンプレートマッチングに際して、１段階前の解像度で検出したピーク情報から、次の解像度でのマッチング領域を設定することにより、等倍画像になるまで解像度を段階的に高めていくピラミッドマッチングを行なうことができる。

本発明は、又、認識画像上を、マークを含むテンプレート画像を逐次移動させ、最大相関位置を求めるテンプレートマッチングを用いたマーク位置決め装置において、ピーク全体形状を把握する手段と、尖ったピークであればピーク頂上部周辺の狭い範囲、平坦なピークであれば頂上の平坦部を全て含む広い範囲をサンプリング領域とする手段と、該サンプリング領域内で、座標に対して相関値の重みを付ける相関分布の加重平均から検出位置を算出する手段と、を備えたことを特徴とするテンプレートマッチングを用いたマーク位置決め装置を提供するものである。

本発明によれば、認識したいマークとテンプレート画像上のマークのサイズが異なっていても、テンプレートマッチングの他に詳細位置決めのための処理を必要とすることなく、精度良く位置決めすることが可能となる。

以下図面を参照して、本発明の実施形態を詳細に説明する。

本発明の適用対象の一例である部品実装機を図２に示す。図において、吸着ヘッド１の吸着ノズル１ａは、ＸＹ駆動機構（図示せず）により駆動されて、フィーダ２の位置に移動し、該フィーダ２から供給される部品３を吸着した後、認識カメラ６の上方に移動する。そこで部品３が下方から撮像され、その画像が処理されて、部品３の吸着ノズル１ａにおける吸着位置ずれが補正され、搬送路１１を介して搬送されてくる基板１０上の所定位置に部品が実装される。部品３の正確な実装には、基板１０が基準位置にあることが前提となるので、基板１０の所定位置に基板マーク１０ａ、１０ｂ、１０ｃを形成し、これを吸着ヘッド１に取り付けたＣＣＤカメラ（画像読取手段）１２で上方から撮像して画像認識し、基板１０の基準位置からのずれを求め、これを補正して部品搭載が行なわれている。

前記ＣＣＤカメラ１２で撮像される基板マークの画像を処理する画像処理装置２０の構成を図３に示す。ＣＣＤカメラ１２からのアナログの画像信号は、画像処理装置２０のＡ／Ｄ変換器２０ａにより、所定フォーマットのデジタル画像データに変換される。Ａ／Ｄ変換器２０ａの出力する画像データは、画像メモリ２０ｂに一旦記憶され、必要に応じて（あるいは所定の画像処理を経た後）Ｄ／Ａ変換器２０ｃを介してアナログデータに戻され、モニタ２１で表示できるようになっている。

前記画像処理装置２０の各部は、ＣＰＵ２０ｄにより制御され、ＣＰＵ２０ｄには、各種プログラム等を格納したＲＯＭ２０ｅ、ＣＰＵ２０ｄのワークエリア等として使用されるＲＡＭ２０ｆ、認識対象となるマークの形状やサイズ等を記憶するマークデータ領域２０ｇ、生産用テンプレートメモリ２０ｈが接続されている。又、ＣＰＵ２０ｄは、各部のコントローラ２２を介して、他の装置、例えば部品実装機の基板１０を搬送する搬送系、部品を吸着する吸着ヘッド１等を画像処理した結果に応じて制御できるようになっている。

このような構成において、図４及び図５のフローチャートを参照して、基板マークに適するモデルテンプレートの取得（ティーチング）及びマーク認識の手順を説明する。

ティーチングに際しては、図４に示す如く、まず、吸着ヘッド１を、例えば基板マーク１０ａの領域に移動させ、吸着ヘッド１に取り付けられたＣＣＤカメラ１２により、基板マーク１０ａを読み取り、Ａ／Ｄ変換器２０ａでデジタルデータに変換して、画像メモリ２０ｂに格納する（ステップＳ１）。続いて、画像メモリ２０ｂ内の画像データに対してマッチング処理を行なうべき領域、即ち、マッチングウィンドウＷを設定する（ステップＳ２）。このマッチングウィンドウＷの設定は、基板上のマーク領域から、濃度情報の検索等により基板マーク１０ａの位置等を粗く検出し、マッチング処理領域を特定するものであるので、その設定には、それ程の精度を必要とするものではない。

続いて、マッチングウィンドウＷ内の画像データから、濃度変化カーブ、その変極点、あるいは、これらの情報のマッチングウィンドウＷ内での位置等の特徴が抽出される（ステップＳ３）。ここでは、後述の生成されるモデルテンプレートを用いて基板マーク１０ａを認識するのに、少なくとも最低限必要な特徴部分が取り出され、例えば、基板マーク１０ａの射影データ、サイズ、濃度情報の最大／最小値の特徴が抽出される。

次にステップＳ４において、モデルテンプレートを作成する。例えば図６の３１〜３９の形状に対応している場合、ステップＳ３で抽出した画像の特徴、即ち、画像の最大濃度、最小濃度や、マークサイズに基づいて、まず３１の形状で階調濃淡データを有する２次元のモデルテンプレートを生成する。

このようにして生成したモデルテンプレートと、マッチングウィンドウＷの画像データと相関演算を行ない（ステップＳ５）、マッチング結果、例えばマッチング係数（相関係数）を、生成したモデルテンプレート、形状名と共にＲＡＭ２０ｆに保存する（ステップＳ６）。

次いで、他のモデル形状３２〜３９でもモデルテンプレートを作成し、上記処理を繰り返す。全ての形状に対してモデルテンプレートを生成して、上記処理が終了した場合（ステップＳ７のＹＥＳ）には、基板マーク１０ａに適するモデルテンプレートがあったかどうかを検索する（ステップＳ８）。これは、マッチング結果をモニタ２１上に表示し、マッチング係数が設定値よりも大きいモデルテンプレートがあったかどうかを調べることにより行なわれる。設定値よりも大きいモデルテンプレートがあった場合（ステップＳ８のＹＥＳ）には、そのうちマッチング係数が最大なものを基板マーク１０ａ用のモデルテンプレートとして選択する（ステップＳ９）。

一方、ステップＳ８において、マッチング係数が設定値よりも大きいものが無く、適するテンプレートが無い場合には、モニタ２１上にテンプレート一覧を表示し、その中からオペレータの確認作業によって、基板マーク１０ａに対するモデルテンプレートを選択する（ステップＳ１０）。

次に、以上の処理を基板マーク１０ｂ、１０ｃに対して行なう（ステップＳ１２）。これにより、基板１０の全ての基板マークのティーチングが行われたことになる。

ティーチング動作により得られたマーク形状やマークサイズは、マークの探索範囲や期待するマッチング係数等と共に、認識マーク毎にＩＤが付され、マークデータ領域２０ｇに格納される（ステップＳ１３）。

基板生産時には、図５に示す如く、まず生産（搭載）すべき基板種類（ＩＤ）が入力される（ステップＳ２０）。続いて、この基板種の各基板マークに対応するモデルテンプレートを、マークデータ領域２０ｇに格納されたマークデータから、それぞれ生成する（ステップＳ２１）。なお、生成したモデルテンプレートは生産用テンプレートメモリ２０ｈに格納しておく。ここでＲＡＭ２０ｆに余裕がある場合は、図４のステップＳ１３でマークデータを格納した段階でモデルテンプレートを生成し、ＲＡＭ２０ｆに予め格納しておくこともできる。

基板１０が搬送路１１に入って沿って搬入される（ステップＳ２２）と、吸着ヘッド１は、基板マークが形成されているマーク領域にそれぞれ移動し、ＣＣＤカメラ１２により、各基板マークの画像がそれぞれ読み取られる（ステップ２３）。続いて、ステップＳ２１で生成された該基板マークに対応するモデルテンプレートを用いて、テンプレートマッチングを行ない、各基板マークがそれぞれ認識される（ステップＳ２４）。本発明は、この工程でのテンプレートマッチングを精度良く行なうためのものであり、詳細は後述する。

このマーク認識の結果に従って、基板の補正値が演算され（ステップＳ２５）、コントローラ２２を介して搬送路１１を制御し、基板１０の位置を補正し、基板１０の位置決めが行なわれ（ステップＳ２６）、続いて、部品搭載が行なわれる（ステップＳ２７）。

本発明では、図１（Ａ）のような高く尖ったピークに対しても、図１（Ｂ）のような低く平坦なピークに対しても有効で、しかも精度良く位置決めできるテンプレートマッチングを提供する。その位置決め手法の模式図（２次元表現）を図７に示す。

要は、最大相関位置周辺の局所演算を用いてサブピクセル演算を行なうのではなく、ピーク全体形状を把握し、尖ったピークであればピーク頂上部の狭い範囲、平坦なピークであれば、頂上の平坦部を含む広い範囲をサンプリング領域として、該サンプリング領域内の相関値の加重平均から検出位置を算出するというものである。

テンプレートマッチングでは、処理時間の短縮のため、一般的にピラミッドマッチングが用いられる。これは、特許文献５に記載されているように、等倍画像でテンプレートマッチングを行なう前に、解像度を何段階か落として、まず解像度が最も粗い画像で候補位置を絞り込み、この絞り込んだ領域内のみを対象として、次段階の解像度画像でマッチング演算を行ない、最終的に等倍画像で位置決めを行なうという手法である。

本実施形態では、このピラミッド演算と組合せて本発明を説明する。図８に本実施形態の手順を示す。

まず、認識画像、テンプレート画像共、解像度を落としたピラミッド画像を生成する（ステップＳ３０）。最粗解像度をどこまで落とすかは、画像の大きさや認識マークサイズに応じて決めるようにする。

次に、解像度を最も落とした認識画像とテンプレート画像とでマッチング演算を行なう（ステップＳ３１）。ここで求まる相関値の分布は、例えば図９（Ａ）のようになっており、ある適当な閾値を設けることにより、図９（Ｂ）に黒色で示すように、この閾値を超えるピークを抜き出すことができる（ステップＳ３２）。このとき用いる閾値は、最大相関値の何％かで求めても良いし、ユーザが期待するマークの相関値が分かっている場合は、この値を基準に閾値を定めても良い。ここで検出したピークの外接矩形を、図１０に例示するように求めておく。

以降は、等倍画像になるまで解像度を段階的に上げていき（ステップＳ３３）、前の階層で検出した各ピーク付近のみにマッチング演算を行なう。即ち、１段階前の解像度で検出したピーク情報から、次のマッチング領域を設定し（ステップＳ３４）、ピークを囲む矩形（ピーク算出時に求めた外接矩形又は１段階前のマッチング領域）内で、ピークの中心位置、ピークの尖度（ピークの広がり量）を算出し、これを用いて、マッチング領域を設定し、このようにして求めたマッチング領域内でテンプレートマッチングを行なう（ステップＳ３５）。

具体的には、図１１に２次元で例示した如く、ピークを囲む矩形Ａの境界４辺上（Ｓｐ上、Ｅｐ上）の最大相関値ｔｈｒを閾値として得られる塊の外接矩形を、中心演算矩形Ｂとして設定する。

次いで、該中心演算矩形Ｂ内で、次式に示す如く、座標ｘに対して相関値Ｖ（ｘ）の重みを付ける相関分布の加重平均を行ない、ピーク中心位置Ｃｐを算出する。

これにより、ピーク平坦部の凹凸に影響を受けず、ピーク中心が算出できる。

次いで、ピーク中心位置Ｃｐから放射線状に周辺の相関分布を調査して、ピーク中心部の相関値に対して大きく変動する（例えばピーク相関位置の５％変動等）位置を算出する。このとき、相関分布を平滑化しても良い。

次いで、先に求めた変動位置を囲む矩形Ｄを、次のマッチング領域とする。

最粗層で検出した全てのピークに対してマッチングを終えたら（ステップＳ３６でＹＥＳ）、解像度を上げ（ステップＳ３３）、ステップＳ３４とＳ３５を繰り返す。

等倍画像でのマッチングを終えたら（ステップＳ３７でＹＥＳ）、検出したピークの中で最も高いピークを選択し（ステップＳ３８）、ピーク中心位置を算出し（ステップＳ３９）、これを最終的な検出位置とする。

本実施形態においては、ピラミッドマッチングを併用しているので、簡単な計算で、ピーク中心位置を正確に求めることができる。なお、ピラミッドマッチングを行うことなく、等倍画像で直接、本発明によるテンプレートマッチングを行うこともできる。

前記実施形態においては、本発明が部品実装機に適用されていたが、本発明の適用対象は、これに限定されない。

従来の問題点を説明するための図 本発明の適用対象の一例である部品実装機の要部構成を示す斜視図 同じく画像処理装置の構成を示すブロック図 同じく基板マークに適するモデルテンプレートの取得（ティーチング）の手順を示す流れ図 同じくマーク認識の手順を示す流れ図 同じく基板マークの例を示す平面図 本発明によるテンプレートマッチングの概念を示す図 本発明の実施形態における処理手順を示す流れ図 同じく相関値の分布の例を示す図 同じく外接矩形を示す平面図 本発明による処理手順の詳細を示す図

符号の説明

１…吸着ヘッド
２…フィーダ
３…部品
１０…基板
１０ａ、１０ｂ、１０ｃ…基板マーク
１１…搬送路
１２…ＣＣＤカメラ
２０…画像処理装置
２２…コントローラ

Claims (3)

1. 認識画像上を、マークを含むテンプレート画像を逐次移動させ、最大相関位置を求めるテンプレートマッチングを用いたマーク位置決め方法において、
   ピーク全体形状を把握し、
   尖ったピークであればピーク頂上部周辺の狭い範囲、平坦なピークであれば頂上の平坦部を全て含む広い範囲をサンプリング領域として、
   該サンプリング領域内で、座標に対して相関値の重みを付ける相関分布の加重平均から検出位置を算出することを特徴とするテンプレートマッチングを用いたマーク位置決め方法。
2. 前記テンプレートマッチングに際して、１段階前の解像度で検出したピーク情報から、次の解像度でのマッチング領域を設定することにより、等倍画像になるまで解像度を段階的に高めていくピラミッドマッチングを行なうことを特徴とする請求項１に記載のテンプレートマッチングを用いたマーク位置決め方法。
3. 認識画像上を、マークを含むテンプレート画像を逐次移動させ、最大相関位置を求めるテンプレートマッチングを用いたマーク位置決め装置において、
   ピーク全体形状を把握する手段と、
   尖ったピークであればピーク頂上部周辺の狭い範囲、平坦なピークであれば頂上の平坦部を全て含む広い範囲をサンプリング領域とする手段と、
   該サンプリング領域内で、座標に対して相関値の重みを付ける相関分布の加重平均から検出位置を算出する手段と、
   を備えたことを特徴とするテンプレートマッチングを用いたマーク位置決め装置。

Images