JP5409237B2

JP5409237B2 - パターン検出装置、その処理方法及びプログラム

Info

Publication number: JP5409237B2
Application number: JP2009223461A
Authority: JP
Inventors: 俊太舘
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2009-09-28
Filing date: 2009-09-28
Publication date: 2014-02-05
Anticipated expiration: 2029-09-28
Also published as: JP2011070602A; US20110075937A1; US8532365B2

Description

本発明は、パターン検出装置、その処理方法及びプログラムに関する。

製品の組み立てや梱包に際しては、例えば、敷居で区切られたトレーの小区画（又はスロット）に部品や製品を収める工程、又はそこから部品をピックアップする工程がある。このような工程は、例えば、視覚センサー及びマニピュレーターを用いた画像認識により自動化できる。画像認識により工程を自動化をした場合、予め登録された区画やスロットの形状を用いて正規化相関法などのテンプレートマッチングが実行され、個々の区画の位置決めがなされる。これにより、当該区画に製品が収められたり、当該規格から製品がピックアップされたりする。

また、これに類する画像認識の課題として、例えば、周期的な構造を持った物体（例えば、基板部品やディスプレイパネル等）に対する欠陥検査が挙げられる。このような欠陥検査における画像認識においては、一般に、パターンの周期性を利用してパターンの一単位を切り出し基準画像と比較する方法や、切り出したパターンを相互に比較することによって欠陥を検出する方法等が用いられる。

繰り返しパターンの周期成分が未知である場合には、フーリエ変換して得られる周波数成分、又は自己相関関数等に基づき周期を推定する手法が採られる。特許文献１の技術では、自己相関関数を利用して周期を推定している。そして、自己相関関数のピークが周期成分の整数倍の間隔で複数個生じることを利用して繰り返しパターンを相互に比較し、欠陥を検出している。

特許平０７−１５９３４４号公報

これら手法においては、パネルやトレー等の対象となる物体の繰り返しパターンがある程度一定の周期で繰り返され、その周期から大きく外れないことを前提としている。その他、繰り返しパターンに無関係な構造物が存在したとしてもその影響が無視できる程度に小さいこと、外乱の数に対してパターンの繰り返しの個数が十分に多いこと、といった点も前提としている。

しかし、実際の製造現場においては、このような前提を満たさない場合が多々生じる。例えば、製造部品をトレーのスロットに収めていく手作業をマニピュレーターに置き換えた場合、
（１）人の手によってトレーが工作されているため、個々のスロットの形状や間隔が正確でない、
（２）トレー等の規格が定まっていないため、トレー毎スロットの数や形状が異なる、
（３）生産調整に合わせてスロットの大きさや個数をネジ留めで調節している、
（４）経年変化、組み立て精度の低さや素材の剛性不足などによりトレーに歪みが存在する、
（５）トレーを補強する梁など、繰り返しパターンに無関係な構造物が混在する、
（６）無関係な構造物に対してパターンの繰り返しの数が十分にない、
といった外乱要因が生じることがあり、繰り返しパターンの周期の推定やパターン検出が困難になってしまう。

このような外乱要因を排除するため、トレーを高精度の専用治具に変更し、バーコードやＲＦＩＤタグなどで管理することも考えられるが、この場合、収納や管理に要するコストがかさんでしまう。また、専用治具は、生産調整や規格の変更に対して柔軟性を欠くため、例えば、少量多品種の生産に不向きである。また、例えば、梱包用の段ボールの間仕切りの中に製品を収納する場合等には、収納用品を別のものに置き換えることが現実的でない場合もある。

この他、経年変化による歪みなどを軽減するため、高剛性のトレー（例えば、金属製）を用いる場合もある。しかし、部品のハンドリング中に部品やマニピュレーターがトレーに接触した時には、部品やマニピュレーターに傷や故障が生じ易くなってしまう。

そこで、本発明は、繰り返しパターンの周期に揺らぎを含む物体や、繰り返しパターンに無関係な外乱を含む物体の画像であっても、当該繰り返しパターンにおける個々のパターンの位置を正確に検出できるようにした技術を提供することを目的とする。

上記課題を解決するため、本発明の一態様によるパターン検出装置は、
繰り返しパターンを含む物体の画像を入力する入力手段と、
前記入力手段により入力された前記物体における前記繰り返しパターンの周期を推定する推定手段と、
前記推定手段により推定された周期に基づいて、前記画像を分割する分割手段と、
前記分割手段による分割位置を補正する補正手段と、
前記補正された分割位置で分割された画像に基づいて参照画像を生成する生成手段と、
前記生成手段により生成された参照画像と、前記入力手段により入力された前記物体の画像とを比較する比較手段と、
前記比較手段による比較の結果に基づいて前記繰り返しパターンにおける個々のパターンの位置を検出するパターン検出手段と
を具備することを特徴とする。

本発明によれば、繰り返しパターンの周期に揺らぎを含む物体や、繰り返しパターンに無関係な外乱を含む物体の画像であっても、当該繰り返しパターンにおける個々のパターンの位置を正確に検出できる。

本発明の一実施の形態に係わるパターン検出装置の機能的な構成の一例を示す図。パターン検出装置１０における処理の流れの一例を示すフローチャート。パターン検出の概要の一例を示す図。パターン検出装置１０における処理の流れの一例を示すフローチャート。パターン検出装置１０における処理の流れの一例を示すフローチャート。周期の推定方法の概要の一例を示す図。周期の推定を２段階に行なう場合の処理の流れの一例を示すフローチャート。周期の推定を２段階に行なう場合の概要の一例を示す図。周期の推定方法の変形例の処理の流れの一例を示すフローチャート。実施形態２に係わるパターン検出装置１０の機能的な構成の一例を示す図。非周期パターンを検出する場合の処理の流れの一例を示すフローチャート。非周期パターンを検出する場合の処理の流れの一例を示すフローチャート。実施形態３に係わるパターン検出装置１０の機能的な構成の一例を示す図。変形実施形態の概要の一例を示す図。変形実施形態の処理の流れの一例を示すフローチャート。変形実施形態の概要の一例を示す図。

以下、本発明に係わるパターン検出装置、その処理方法及びプログラムの一実施の形態について添付図面を参照して詳細に説明する。

（実施形態１）
図１は、本発明の一実施の形態に係わるパターン検出装置の機能的な構成の一例を示す。

パターン検出装置１０には、コンピュータが組み込まれている。コンピュータには、ＣＰＵ等の主制御手段、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、ＨＤＤ（Hard Disk Drive）等の記憶手段が具備される。また、コンピュータにはその他、キーボード、マウス、ディスプレイ、ボタン又はタッチパネル等の入出力手段、等も具備される。これら各構成手段は、バス等により接続され、主制御手段が記憶手段に記憶されたプログラムを実行することで制御される。

ここで、パターン検出装置１０は、画像入力部１１と、周期推定部１２と、参照画像生成部１３と、比較部１４と、パターン検出部１５とを具備して構成される。

画像入力部１１は、繰り返しパターンを持つ物体を含む画像を入力する。ここで、物体の画像（物体画像）には、繰り返しパターンの繰り返し周期に揺らぎ、又は繰り返しパターンと無関係な外乱、の少なくともいずれかが生じている。なお、繰り返しパターンの個数やパターンの形状は未知である。

周期推定部１２は、当該入力された物体画像から繰り返しパターンの周期を推定する。参照画像生成部１３は、当該推定された周期に基づいて参照画像を生成する。参照画像は、パターンを検出するためのテンプレートとなる画像である。

比較部１４は、参照画像と、画像入力部１１により入力された物体画像とを比較し、繰り返しパターン内のパターン個々について参照画像との適合度の空間分布を取得する。パターン検出部１５は、当該適合度の空間分布に基づいて個々のパターンの位置を検出する。以上が、パターン検出装置１０の機能的な構成の一例についての説明である。

次に、図２を用いて、図１に示すパターン検出装置１０における処理の流れの一例について説明する。ここでは、図３（ａ）に示す物体画像５１ａから画像認識（パターン検出）を行なう場合を例に挙げて説明する。物体画像５１ａには、繰り返しパターンが平面上に配列されている。この繰り返しパターンは、行方向及び列方向にある程度の揺らぎを持って配列されている。また、繰り返しパターンには、繰り返しパターンと無関係な外乱（例えば、梁状の構造物５３、刻印５４）も含まれる。

この処理が開始すると、パターン検出装置１０は、画像入力部１１において、画像を入力するとともに、当該入力した画像に対して前処理を行なう（Ｓ１）。前処理では、例えば、輝度値の正規化、ガンマ補正やシェーディング補正などの一般的な画像処理が行なわれる。また、この前処理においては、物体画像に傾きがあるか否かが判断され、傾きがあれば、水平補正が実施される。すなわち、画像に傾きがあれば、以降の処理に影響を与えてしまうため、ここで補正する。傾き補正には、どのような技術を用いてもよく、その手法は特に問わない。例えば、二次元フーリエ変換を実施し、画像ｆ（ｘ，ｙ）から二次元フーリエ像Ｆ（ｕ，ｖ）を取得し、周波数空間上の最大ピーク（ｕ^＊，ｖ^＊）を求める。そして、θ＝ａｒｃｔａｎ（ｕ^＊／ｖ^＊）を求め、その値を画像の傾きとすればよい。また、これ以外の手法としては、例えば、二次元フーリエ像Ｆ（ｕ，ｖ）を極座標変換し、Ｆ^Ｐｏｌ（ｒ，θ）を求める。そして、「数式１」に示すように、Ｆ^Ｐｏｌの対数値をｒについて加算し、そのときに最大となるθ^＊を求め、その値を画像の傾きとしてもよい。

ここで、図３（ｂ）には、水平補正後の物体画像５１ｂが示される。なお、上述した前処理においては、水平補正のみならず、その他の処理を実施してもよい。例えば、平行四辺形状のパターン配列の歪み（シアー変形）を補正してもよい。具体的には、第１のピークθ^Ｈ＊を求めるとともに、当該第１のピークθ^Ｈ＊＋０．５πの周辺に第２のピークθ^Ｖ＊が存在するか否かを探索する。所定の閾値以上のピークθ^ｖ＊が存在すれば、第１のピークθ^Ｈ＊が０度、第２のピークθ^Ｖ＊が９０度になるべく変形を与えるアフィン行列Ａを求め、水平補正とシアー変形の補正を行なう。例えば、碁盤目状の構造を持ったトレーが経年変化により平行四辺形状に変形している場合等に、当該平行四辺形における水平線分及び斜行線分の方向を第１のピークθ^Ｈ＊及び第２のピークθ^ｖ＊としてそれぞれ検出できる。そして、この検出結果に基づいてアフィン行列Ａを求め、補正をかけることにより、平行四辺形状を長方形状に補正する。なお、いずれの様態を用いる場合においても、マニピュレータに指令を行なうときには、逆アフィン行列Ａ^−１を用いるなどして補正前の値を渡して指令する。

次に、パターン検出装置１０は、周期推定部１２において、繰り返しパターンの周期を推定する（Ｓ２）。この処理では、繰り返しパターンの検出対象となるｘ方向の走査範囲（範囲）を決め、当該範囲内においてｘ方向の周期を推定する。なお、ｘ方向の範囲は、予め決められていてもよいし、背景と物体との境界を検出し、当該検出結果に基づいて走査範囲を決めてもよい。後者の手法においては、例えば、画像内におけるｘ方向に沿った輝度の差分値（絶対値）を参照し、当該差分値が所定の閾値を越えた場合、その位置を境界として検出する。そして、その境界間をｘ方向における走査範囲とする。なお、周期の推定方法の詳細については後述する。

周期の推定が済むと、パターン検出装置１０は、参照画像生成部１３において、当該推定した周期に基づいて繰り返しパターンを個々のパターン単位に分割する（Ｓ３）。ここで、図４を用いて、当該パターン単位への分割処理の詳細について説明する。

この処理が開始すると、参照画像生成部１３は、図２で説明したＳ２の処理で推定された周期に対応する波長を求め、当該波長で走査範囲をｘ方向に分割する。これにより、図３（ｂ）の符号５５ａ〜ｃに示すように、物体画像５１ｂが列方向に分割される（Ｓ３１）。以降、この画像の列をパターン列と呼ぶ。

次に、参照画像生成部１３は、繰り返しパターンと無関係な背景や構造物のみを含むパターン列を削除する（Ｓ３２）。これは、背景や構造物のみを含むパターン列は、繰り返しパターンの検出に不要なためである。削除には、どのような技術を用いてもよく、その手法は特に問わない。例えば、複数のパターン列を加算してパターン列の平均画像を生成し、平均画像と各パターン列とをテンプレートマッチングする。そして、類似度が所定の閾値よりも低いパターン列を削除すればよい。なお、テンプレートマッチングの方法としては、例えば、一般的な正規化相関法を用いればよい。また、例えば、各パターン列の輝度分布のヒストグラムを作成し、当該ヒストグラム間の距離に基づいて類似度を求め、その結果に従ってパターン列を削除してもよい。このようにして不要なパターン列が削除されると、図３（ｃ）に示す画像が得られる。

次に、参照画像生成部１３は、パターン列の中心の位置を補正する（Ｓ３３）。この補正では、例えば、（１）全パターン列を一斉に左右にずらし、全パターン列の画像の相互の類似度が最大になる位置を探す。具体的には、正規化相関法で比較し、類似度の総和が最大になる位置を探す。その際、各パターン列に所定の幅のガウス窓をかけてマスクする。これにより、パターン列の中心のみを比較するようにする。また、このときのパターン列の中心を仮の中心位置とする。（２）仮の中心位置が決まると、次に、平均画像を再作成する。（３）平均画像とパターン列とのテンプレートマッチングを各パターン列について個別に行なう。そして、最も適合度の高い位置を各パターン列の中心とする（Ｓ３４）。この結果、図３（ｄ）に示す画像が得られる。

次に、参照画像生成部１３は、ｘ方向への分割時と同様の手順により、ｙ方向への分割を実施し、物体画像５１ｂを行方向に分割する。これにより、図３（ｅ）に示すように、物体画像５１ｂが複数のパターン行に分割される（Ｓ３５〜Ｓ３８）。以上の処理により、行及び列の位置が決定し、行及び列が交差する区画（セル）が得られる。そして、当該セルで画像を分割し、例えば、ＲＡＭ等にそれを記憶する（Ｓ３９）。

図２に戻り、パターン検出装置１０は、参照画像生成部１３において、当該分割した画像に基づいて参照画像を生成する（Ｓ４）。本実施形態においては、参照画像として図３（ｆ）に示す画像５７を生成する場合を例に挙げて説明するが、参照画像は、例えば、Ｓ３の処理で分割されたセル画像全てを含む画像であってもよい。また、当該分割されたセル画像を単純加算平均した１枚の画像であってもよい。平均画像は、図５に示す手順で生成してもよい。具体的には、サブピクセル（画素サイズ以下）の精度で個々のセル画像における位置の相対的なずれを検出し（Ｓ４１〜Ｓ４３）、バイキュービック法などの補間法を用いて各セルに対してサブピクセル単位のずれを補間した補間画像を生成する（Ｓ４４）。そして、これら補間画像を重ね合わせて（Ｓ４５）、精度の高い平均画像を得るようにしてもよい。ここで、サブピクセル精度の位置合わせを行なうには、例えば、テンプレートマッチングによって得られる適合値を放物線フィッティングすればよい。なお、所定の規則（例えば、近傍のパターンに強く重み付け）に基づいて重み付けした平均画像を参照画像として用いてもよい。

図２に戻り、パターン検出装置１０は、比較部１４において、参照画像と、画像入力部１１により入力された物体画像とを相互に照らし合わせて比較（テンプレートマッチング）する。これにより、繰り返しパターン内のパターン個々について参照画像との適合度の空間分布を取得する（Ｓ５）。テンプレートマッチングには、一般的な、正規化相関法を用いればよい。この処理により、図３（ｇ）に示す適合度の空間分布が得られる。

次に、パターン検出装置１０は、パターン検出部１５において、Ｓ５の処理で得られた適合度の空間分布に基づいて、パターン個々の位置を検出する（Ｓ６）。具体的には、適合度の空間分布の中で各セル毎に最も大きいピークを選択する。これが、繰り返しパターン内における個々のパターンの位置となる。このとき、所定の閾値よりも小さいピークしか得られなかったセルは、選択せずに不適合なセルとして削除する。これにより、図３（ｈ）に示すように、全ての個別パターンが検出される。

次に、図６を用いて、周期推定部１２における周期の推定方法について説明する。なお、ここでは、画像の自己相関関数を用いて周期の推定を行なう場合を例に挙げて説明する。

まず、画像Ｉ（ｘ,ｙ）のｘ方向の自己相関関数及びｙ方向の自己相関関数を以下のように定義する。

図６（ａ）は、物体画像６１を示しており、図６（ｂ）は、当該物体画像６１の自己相関関数である。ここで、周期推定部１２においては、自己相関関数の中心ピーク６３と２番目に高いピーク６４との間隔６５を基本周期として出力する。なお、物体画像に外乱が多い場合には、自己相関関数に余計なピークが生じてしまい、周期の推定に誤りが生じてしまう可能性がある。この場合、図６（ｃ）に示すように、真の周期よりも短く周期を推定してしまう。このような事態を避けるため、例えば、所定閾値以下の大きさの自己相関関数の谷と山とを埋めてから周期を推定するようにしてもよい。また、一般に、画像の自己相関関数は、輝度値について算出されることが多いが、複数の自己相関関数を相補的に用いて周期を推定してもよい。複数のそれぞれ異なる画像処理により得られる画像（例えば、輝度値、ラプラシアンによる輪郭画像、ヘシアン行列によるコーナー点検出画像）それぞれについて個別に自己相関関数を計算し、所定の値で自己相関関数を重み付けして平均する。これにより、得られた自己相関関数を検出対象となる画像の特性に応じて用いれば、周期の推定の精度が向上する。

また、周期の推定は、２段階に行なうようにしてもよい。ここで、図７及び図８を用いて、２段階に周期推定を行なう場合の処理について説明する。この処理では、例えば、図８（ａ）に示すように、推定したｘ方向の第１の周期ｆ_ｘの周波数成分から当該周波数成分のｙ方向のパワーの分布Ａ（ｙ）６６を生成する。ここで、Ａ（ｙ）は、以下の数式で算出される。

Ｉ_ｆｘは、画像Ｉの周期ｆ_ｘの周波数成分である。「数式５」の右辺は、Ｉ_ｆｘとその複素共役との積によってｙ方向のパワーを求めている。なお、ここでは、ｆ_ｘ単一のパワーを求めているが、これに限られない。例えば、中心周波数がｆ_ｘで幅デルタｆを持つ帯域通過フィルタを用いてパワーの分布Ａ（ｙ）を得るようにしてもよい。

次に、周期推定部１２においては、図８（ａ）に示すように、Ａ（ｙ）から所定の閾値よりも大きなピーク６７（６７ａ〜６７ｃ）を検出する。そして、当該検出した各ピークが存在する近傍の画像を切り出す。これにより、図８（ｄ）に示すように、行方向に分割された複数の画像６１０（６１０ａ〜６１０ｃ等）が得られる。

その後、周期推定部１２は、複数の画像６１０を再び連結し、図８（ｅ）に示す再構成画像６１１を生成する（Ｓ１１〜Ｓ１３）。再構成画像６１１は、第１の推定周波数を多く含む領域のみで構成される。再構成画像６１１について再び自己相関関数を計算すると、図８（ｆ）に示すように、雑音の少ない自己相関関数６１２が得られる。ここで、周期推定部１２においては、自己相関関数６１２の中心ピーク６１３と２番目に高いピーク６１４との間隔６１５を基本周期として出力する（Ｓ１４〜Ｓ１５）。なお、ある程度大まかな値としてパターンの周期が既知であれば、それを第１の周期として上述した手順で再構成画像を生成し、２段階目の処理で正確な周期を検出するようにしてもよい。

ここで、図９を用いて、更に確実性を向上させる周期の推定方法について簡単に説明する。この処理では、まず、画像Ｉの自己相関関数を求め（Ｓ２１）、自己相関のピークを高い順にｋ個抽出する（Ｓ２２及びＳ２３）。なお、自己相関関数は、偶関数なので対象とするピークは正の象限のピークに限定する。そして、それぞれのピークが対応する周期を用いて上記同様に画像を再構成し（Ｓ２４）、再度、周期を推定する（Ｓ２５、Ｓ２６）。このようにして得られるｋ個のピークのうち高さが最大のピークを選び、それを推定周期とする（Ｓ２７〜Ｓ２９）。

なお、フーリエ変換を行なってパワースペクトルから基本周波数を求めるようにしてもよいが、離散フーリエ変換で求められるスペクトルの周期に対応する波長は、画像長を整数で割った飛び飛びの値（Ｎ／２，Ｎ／３，Ｎ／４，・・・，２）となる。そのため、例えば、パターンの繰り返しが十分にない場合には、パターンの周期を精度よく求められない可能性がある。連続フーリエ変換を用いれば、この問題はないが、計算量がかかる。これに対して自己相関関数のピークに基づいて周期を推定する手法では、波長が取りうる値は連続した整数（２，３，４，…Ｎ）である。このような理由から、本実施形態においては、自己相関関数を用いる手法が有効であるといえる。

以上説明したように実施形態１によれば、物体の画像から繰り返しパターンの周期を推定し、当該推定した周期に基づいて参照画像を生成する。そして、参照画像と物体の画像とを比較し、その比較結果に基づいて繰り返しパターンを構成する個々のパターンの位置を検出する。これにより、繰り返しパターンの周期に揺らぎを含む物体や、繰り返しパターンに無関係な外乱を含む物体の画像であっても、当該繰り返しパターンにおける個々のパターンの位置を正確に検出できる。

（実施形態２）
次に、実施形態２について説明する。実施形態２においては、実施形態１に加えて更に、非周期パターンを検出する場合を例に挙げて説明する。図１０は、実施形態２に係わるパターン検出装置１０の機能的な構成の一例を示す。

パターン検出装置１０には、実施形態１の構成に加えて、非周期パターン検出部１６が設けられる。なお、実施形態１を説明した図１と同じ符号のものは、同様の機能を果たすため、ここではその説明については省略する。

非周期パターン検出部１６は、物体画像から繰り返しパターン取り除き、非周期パターンを抽出する。繰り返しパターンの取り除き方としては、例えば、（１）位相限定相関法を用いて参照画像と物体画像とを位置合わせして、その画像間差分を計算する。（２）そして、閾値以上の差分値を持つ画素を非周期成分として検出する。

ここで、上述した図２のＳ６の処理において、パターン検出部１５により個々のパターンが検出されると、非周期パターン検出部１６は、図１１に示す処理を実施する。すなわち、各セルについて参照画像と物体画像との差分画像を求める（Ｓ１０１）。そして、当該求めた差分画像を統合し、それを非同期パターンとして検出する（Ｓ１０２）。

なお、非同期パターンの検出方法は、これに限られず、例えば、繰り返しパターンが検出された領域を画像平均の値で充填し、その残りの画像を非周期成分（非同期パターン）として検出してもよい。

また、上述した図１１に示す処理の場合、個々のパターンに局所的な変形や傾き等があると、単純な差分操作では、参照画像と一致しない部分が非周期成分として検出されてしまう可能性がある。これを防ぐには、図１２に示すように、参照画像と個々のパターンとを位置合わせする際に、参照画像を変形させながら個々のパターンにフィッティングさせてもよい（Ｓ１１１）。具体的には、勾配法等の繰り返し計算によって徐々にアフィン変形させていき、回転やシアー変形に対しても適応的にマッチングさせる。これにより、各セルについて、アフィン変形した参照画像と物体画像との差分画像を求め（Ｓ１１２）、当該差分画像を統合し、それを非同期パターンとして検出する（Ｓ１１３）。

以上説明したように実施形態２によれば、実施形態１に加えて更に、物体画像内における繰り返しパターンと、非周期成分とを外乱に対してより頑健に分離して抽出できる。

（実施形態３）
次に、実施形態３について説明する。実施形態３においては、実施形態１に加えて更に、パターン検査を行なう場合を例に挙げて説明する。図１３は、実施形態３に係わるパターン検出装置１０の機能的な構成の一例を示す。

パターン検出装置１０には、実施形態１の構成に加えて、パターン検査部１７が設けられる。なお、実施形態１を説明した図１と同じ符号のものは、同様の機能を果たすため、ここでは説明を省略する。

パターン検査部１７は、物体画像から検出された繰り返しパターンの欠陥を検査する。具体的には、上述した図２のＳ６の処理において、パターン検出部１５は、パターン各々の位置を検出するため、参照画像との適合度の空間分布の中で各セル毎に最も大きいピークを選択する。このとき、パターン検査部１７は、所定の閾値よりも小さいピークしか得られなかったセル（パターン）に外観的な欠陥が存在する旨検出する。

なお、パターン検査の方法は、これに限られない。例えば、パターン検出部１５により検出された個々のパターンの領域と、参照画像との差分の絶対値が所定の閾値よりも大きい画素をカウントする。そして、当該カウントされた画素の割合が所定の閾値以上あれば、当該パターン領域は欠陥が生じていると検出するようにしてもよい。

また、例えば、パターン検出部１５により検出された個々のパターンの位置と各セルの中心の位置（所定の基準位置）との比較に基づいて欠陥の有無を検出するようにしてもよい。すなわち、当該比較により得られた値が、所定の値よりも大きくずれている場合に、当該パターンについては欠陥（位置ずれ）がある旨検出する。

以上説明したように実施形態３によれば、実施形態１に加えて更に、繰り返しパターン内における欠陥を外乱に対してより頑健に検査できる。

以上が本発明の代表的な実施形態の一例であるが、本発明は、上記及び図面に示す実施形態に限定することなく、その要旨を変更しない範囲内で適宜変形して実施できるものである。例えば、上述した実施形態１〜３を組み合わせて実施してもよい。

なお、本発明は、例えば、システム、装置、方法、プログラム若しくは記憶媒体等としての実施態様を採ることもできる。具体的には、複数の機器から構成されるシステムに適用してもよいし、また、一つの機器からなる装置に適用してもよい。

（変形実施形態１）
上述した説明では、比較部１４において、テンプレートマッチングを行なうことでパターン個々についての適合度の空間分布を取得していたが、テンプレートマッチング以外の方法でこの処理を行なってもよい。例えば、位相限定相関法を用いてマッチングを行なってもよい。位相限定相関法は、信号の周波数成分の位相成分のみに限定した比較手法である。

ここで、位相限定相関法の数理的詳細について説明する。本実施形態で用いる位相限定相関法は、テンプレートマッチング手法として一般的な正規化相関法に関連する手法である。位相限定相関法では、画像信号の周波数成分のうちエネルギー成分を除いて位相成分のみで画像間の適合度の比較や位置合わせを行なう。位相限定相関法は、正規化相関法に比べて、信号の急激な立ち上がりや立ち下がりに敏感に反応し適合度を評価するため、輪郭によってパターンが形成されるようなパターン同志の正確な位置合わせに適している。

画像ｇ（ｘ，ｙ）と画像ｈ（ｘ，ｙ）の離散フーリエ変換Ｇ（ｕ，ｖ）とＨ（ｕ，ｖ）を次式で表わす。

更に、画像ｇ及びｈの位相に限定した適合度の空間の空間分布ｒ（ｘ，ｙ）をＧ（ｕ，ｖ）とＨ（ｕ，ｖ）の複素共役及びｒ（ｘ，ｙ）のフーリエ変換Ｒ（ｕ，ｖ）及び離散逆フーリエ変換を用いて以下のように定義する。

ここで、「数式８」の右辺の分母は、信号のパワースペクトルを表し、信号の各周波数成分の強度を全て１に正規化している。適合度の空間分布ｒ（ｘ，ｙ）の最大ピークの位置（ｘ^＊，ｙ^＊）は、画像ｇ及びｈが最も良く適合する空間上の位置を示している。ピークの大きさｒ^＊＝ｒ（ｘ^＊，ｙ^＊）は、ｇ及びｈの適合度の大きさを表す。

（変形実施形態２）
上述した説明では、検出対象となる繰り返しパターンが行方向及び列方向の二次元に配列された画像を例に挙げて説明したが、これに限られない。例えば、行方向や列方向のいずれかのみにパターンが配列されている画像や、行方向や列方向のいずれかのパターンに周期性のない画像であってもよい。また、例えば、図１４（ａ）に示すように、複数の異なる周期の繰り返しパターンが混在していてもよい。この場合、図１５に示すように、まず、１段階目のパターン検出処理を行なう（Ｓ６１〜Ｓ６３）。そして、検出したパターンを記憶した後、図１４（ｃ）に示すように、検出したパターンの領域７３ａを物体画像の平均輝度で充填して取り除く（Ｓ６４）。残りの領域が閾値以上であれば、再度繰り返しパターンの検出を行ない（Ｓ６５）、パターンの検出された画像領域７３ｂを同様にして取り除く（Ｓ６１〜Ｓ６４）。このようなパターン検出処理を再帰的に繰り返した結果、有効な繰り返し周期が検出されなくなると（Ｓ６２でＮＯ）、この処理は終了する。なお、有効な繰り返し周期が検出されない状態とは、例えば、自己相関関数の２番目に高いピークの高さが所定の閾値以下になった場合や、推定した周期が所定の適正な範囲にない場合、又は残余の画像領域の面積が所定の割合以下になった場合、等が挙げられる。

また、上述した説明では、参照画像として平均画像を用いる場合を重点的に説明したが、例えば、隣接するセルの画像を参照画像に用いてもよい。具体的には、図１６（ａ）に示すように、分割された個々のセル８１ａ〜８１ｄをテンプレートとし、それぞれに隣接するセル８１ａ〜８１ｄとテンプレートマッチングを行なう。これにより、隣接セルとの適合度の空間分布８３ａ〜８３ｄが得られる。これらは断片的なパターン配置の集合である。次に、基準となるセル（この場合、８１ａ）を決め、局所的な空間分布を連結していくことにより、画像全体で定義されたパターンの適合度の空間分布８４を得る（図１６（ｂ））。具体的には、テンプレート８２ａを８１ｂと比較し、その結果得られる適合度分布８３ａ内における最大ピークを求める（８３ａの白丸）。最大ピークの８３ａの中心からのズレ量を記憶し、８２ｂと８１ｄとを比較し、その結果得られる適合度の空間分布８３ｃを上記ズレ量分ずらして８３ａと連結する。これを全隣接セル間で繰り返し行なう。これにより、画像の全領域で連結された適合度分布８４が得られる（図１６（ｃ））。このように平均画像を用いずに局所的な比較のみから全パターンの空間分布を推定することもできる。本手法には、シェーディングやパターンの形状変化などの画像全体に現れるゆっくりとした変化に影響されずにパターンの検出や検査ができるという利点がある。

（その他の実施形態）
本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

Claims

繰り返しパターンを含む物体の画像を入力する入力手段と、
前記入力手段により入力された前記物体における前記繰り返しパターンの周期を推定する推定手段と、
前記推定手段により推定された周期に基づいて、前記画像を分割する分割手段と、
前記分割手段による分割位置を補正する補正手段と、
前記補正された分割位置で分割された画像に基づいて参照画像を生成する生成手段と、
前記生成手段により生成された参照画像と、前記入力手段により入力された前記物体の画像とを比較する比較手段と、
前記比較手段による比較の結果に基づいて前記繰り返しパターンにおける個々のパターンの位置を検出するパターン検出手段と
を具備することを特徴とするパターン検出装置。
前記パターン検出手段により検出された前記個々のパターンを前記物体の画像から除き、前記物体における非周期パターンを検出する非周期パターン検出手段
を更に具備することを特徴とする請求項１記載のパターン検出装置。
前記パターン検出手段により検出された前記個々のパターンについて欠陥の有無を検査するパターン検査手段
を更に具備することを特徴とする請求項１又は２記載のパターン検出装置。
前記パターン検査手段は、
前記参照画像と、前記パターン検出手段により検出された前記個々のパターンとの比較に基づいて当該パターンの外観的な欠陥の有無を検査する
ことを特徴とする請求項３記載のパターン検出装置。
前記パターン検査手段は、
前記パターン検出手段により検出された前記個々のパターンの位置と、所定の基準位置との比較に基づいて当該パターンの位置ずれの欠陥の有無を検査する
ことを特徴とする請求項３又は４記載のパターン検出装置。
前記推定手段は、
前記繰り返しパターンの周期を推定するとともに、該推定した周期に基づいて検出した前記繰り返しパターンを含む領域を用いて前記物体の画像を再構成し、該再構成した物体の画像から再度、周期を推定する
ことを特徴とする請求項１から５いずれか１項に記載のパターン検出装置。
前記推定手段は、
前記物体の画像について自己相関関数を求め、該自己相関関数に基づいて前記周期の推定を行なうことを特徴とする請求項１から６いずれか１項に記載のパターン検出装置。
前記推定手段は、
前記物体の画像に対して複数の異なる画像処理を行なって得られる複数の画像それぞれについて複数の自己相関関数を求め、該複数の自己相関関数に基づいて前記周期の推定を行なう
ことを特徴とする請求項１から６いずれか１項に記載のパターン検出装置。
前記生成手段は、
前記推定手段により推定された周期に基づいて前記画像を行及び列に分割するとともに、該分割により得られる複数の区画の画像を平均した画像を前記参照画像として生成し、
前記比較手段は、
前記生成手段により生成された参照画像と、前記複数の区画の画像とを相互に照らし合わせることで前記比較を行なう
ことを特徴とする請求項１から８いずれか１項に記載のパターン検出装置。
前記生成手段は、
前記推定手段により推定された周期に基づいて前記画像を行及び列に分割するとともに、該分割により得られる複数の区画の画像を所定の規則に基づいて重み付けした後、平均した画像を前記参照画像として生成し、
前記比較手段は、
前記生成手段により生成された参照画像と、前記複数の区画の画像とを相互に照らし合わせることで前記比較を行なう
ことを特徴とする請求項１から８いずれか１項に記載のパターン検出装置。
前記生成手段は、
前記分割手段により前記画像を行及び列に分割するとともに、該分割により得られる複数の区画の画像を位置合わせした後、平均した画像を前記参照画像として生成し、
前記比較手段は、
前記生成手段により生成された参照画像と、前記複数の区画の画像とを相互に照らし合わせることで前記比較を行なう
ことを特徴とする請求項１から８いずれか１項に記載のパターン検出装置。
前記生成手段は、
画素サイズ以下の精度で前記位置合わせを行なうことを特徴とする請求項１１に記載のパターン検出装置。
前記比較手段は、
前記比較に際して前記物体の画像の周波数成分のうち位相成分のみを用いることを特徴とする請求項１から１２いずれか１項に記載のパターン検出装置。
前記パターン検出手段は、
前記検出した個々のパターンが位置する領域を前記画像から取り除いた後、残余の画像から再帰的に前記パターンの検出を行なう
ことを特徴とする請求項１から１３いずれか１項に記載のパターン検出装置。
前記繰り返しパターンは、
繰り返し周期に揺らぎ、又は該繰り返しパターンと無関係な外乱の少なくともいずれかを含み、該繰り返しパターンの個数やパターンの形状は未知である
ことを特徴とする請求項１から１４いずれか１項に記載のパターン検出装置。
パターン検出装置の処理方法であって、
入力手段が、繰り返しパターンを含む物体の画像を入力する工程と、
推定手段が、前記入力手段により入力された前記物体における前記繰り返しパターンの周期を推定する工程と、
分割手段が、前記推定手段により推定された周期に基づいて、前記画像を分割する工程と、
補正手段が、前記分割手段による分割位置を補正する工程と、
生成手段が、前記補正された分割位置で分割された画像に基づいて参照画像を生成する工程と、
比較手段が、前記生成手段により生成された参照画像と、前記入力手段により入力された前記物体の画像とを比較する工程と、
パターン検出手段が、前記比較手段による比較の結果に基づいて前記繰り返しパターンにおける個々のパターンの位置を検出する工程と
を含むことを特徴とする処理方法。
コンピュータを、
繰り返しパターンを含む物体の画像を入力する入力手段、
前記入力手段により入力された前記物体における前記繰り返しパターンの周期を推定する推定手段、
前記推定手段により推定された周期に基づいて、前記画像を分割する分割手段と、
前記分割された画像の分割位置を補正する補正手段と、
前記補正された分割位置で分割された画像に基づいて参照画像を生成する生成手段、
前記生成手段により生成された参照画像と、前記入力手段により入力された前記物体の画像とを比較する比較手段、
前記比較手段による比較の結果に基づいて前記繰り返しパターンにおける個々のパターンの位置を検出するパターン検出手段
として機能させるためのプログラム。
繰り返しパターンを含む物体の画像を入力する入力手段と、
前記入力手段により入力された前記物体における前記繰り返しパターンの周期を推定する推定手段と、
前記推定手段により推定された周期で分割された画像に基づいて参照画像を生成する生成手段と、
前記生成手段により生成された参照画像と、前記入力手段により入力された前記物体の画像とを比較する比較手段と、
前記比較手段による比較の結果に基づいて前記繰り返しパターンにおける個々のパターンの位置を検出するパターン検出手段と、
前記パターン検出手段により検出された前記個々のパターンを前記物体の画像から除き、前記物体における非周期パターンを検出する非周期パターン検出手段
を具備することを特徴とするパターン検出装置。
繰り返しパターンを含む物体の画像を入力する入力手段と、
前記入力手段により入力された前記物体における前記繰り返しパターンの周期を推定する推定手段と、
前記推定手段により推定された周期で分割された画像に基づいて参照画像を生成する生成手段と、
前記生成手段により生成された参照画像と、前記入力手段により入力された前記物体の画像とを比較する比較手段と、
前記比較手段による比較の結果に基づいて前記繰り返しパターンにおける個々のパターンの位置を検出するパターン検出手段とを具備し、
前記推定手段は、
前記繰り返しパターンの周期を推定するとともに、該推定した周期に基づいて検出した前記繰り返しパターンを含む領域を用いて前記物体の画像を再構成し、該再構成した物体の画像から再度、周期を推定する
ことを特徴とするパターン検出装置。
繰り返しパターンを含む物体の画像を入力する入力手段と、
前記入力手段により入力された前記物体における前記繰り返しパターンの周期を推定する推定手段と、
前記推定手段により推定された周期で分割された画像に基づいて参照画像を生成する生成手段と、
前記生成手段により生成された参照画像と、前記入力手段により入力された前記物体の画像とを比較する比較手段と、
前記比較手段による比較の結果に基づいて前記繰り返しパターンにおける個々のパターンの位置を検出するパターン検出手段とを具備し、
前記パターン検出手段は、
前記検出した個々のパターンが位置する領域を前記画像から取り除いた後、残余の画像から再帰的に前記パターンの検出を行なう
ことを特徴とするパターン検出装置。