JP4709762B2 - 画像処理装置及び方法 - Google Patents

Description

本発明は、被写体を複数の部分画像に分割して撮影し、撮影された部分画像を貼り合わせて被写体の全体画像を構成する画像処理装置及び方法に関する。
本願は、２００４年７月９日に出願された特願２００４−２０３１０８号に基づき優先権を主張し、その内容をここに援用する。

ＦＰＤ（フラットパネルディスプレイ）基板やＰＤＰ（プラズマディスプレイ）基板、半導体ウエハ等を検査する工業用途の顕微鏡や検査装置において、基板の機能上問題となる欠陥を検査する方法として画像情報を利用した方法が一般的に行われている。
上記検査において、パターン形成等に影響する微細な欠陥を高い精度で検査する際には、検査対象のパターンを正常な基準パターンと比較して欠陥の検出を行う必要があるため、低倍率で被写体全体をカバーする画像だけではなく、より高倍率で被写体全体をカバーできる「高精細（高分解能）」な画像を必要とするケースが多くなってきている。

しかしながら、高精細画像においては、被写体の大きさによっては、一度にこの被写体全体、または必要な範囲を取得することができない。
このため、この高精細画像を得る方法の一つとしては、被写体全体を複数の領域に分割し、これらの領域を各々撮像し、撮像によって得られた部分画像を、互いに貼り合せる事により、被写体全体の高精細画像を得る方法が良く用いられている。
上記高精細画像を得る方法において、倍率の低い全体画像をもとにして、倍率の高い部分画像を撮像し、撮像した部分画像を貼り合せ処理を行う方法が多用されており、工業用途に限らず、様々なアプリケーションに利用されている。

先行技術として、全体画像と拡大した全体画像中の部分画像を撮像し、部分画像が全体画像のどこに対応するかを推定して貼り合せを行うことで高精細画像を得る方法がある（例えば、特許文献１参照）。
また、低倍率の顕微鏡画像から一部の領域を指定し、その指定した領域を複数の高倍率の顕微鏡画像で撮像して、貼り合せ処理を行うことで高精細画像を得る方法もある（例えば、特許文献２参照）。
特開２０００−５９６０６号公報 特開平１１−２７１６４５号公報

しかしながら、特許文献１に示す高精細画像作成装置にあっては、風景を撮像した画像と異なり、工業用途の検査装置でＦＰＤ基板やＰＤＰ基板といった周期的なパターンの画像を対象とする場合において、全体画像に対して部分画像がどこに対応するのかを探し出すことが、すなわちパターン形状が周期的に同一であるため、部分画像同士の貼り合わせの際、位置あわせにおける位置の特定が困難となり、重ね合わせ部分の対応が取れないケースが発生する。

また、特許文献２に示す顕微鏡画像表示装置は、工業用途の検査装置でパターン密度が疎である画像を対象とする場合において、指定領域の場所によっては、部分画像の貼り合せ処理の際、パターンが存在しないところを重複して貼り合せようとすることが発生するケースがあり、貼り合わせにおける重複領域のパターンがないために貼り合せ処理が行えない、または貼り合わせ領域が極端にずれた貼り合せ画像が生成される等の欠点を有している不具合を生じる。

本発明は、このような事情に鑑みてなされたもので、ＦＰＤ基板やＰＤＰ基板等のように、パターン（回路パターン及び配線パターン）が周期的かつ／または疎な部分を含む画像に対しても、部分画像を貼り合わせて、高精細（高解像度）画像を生成する画像処理装置及び方法を提供するものである。

本発明の画像処理装置は、所定の解像度で撮影した被対象物の部分画像を所定の重複領域を持たせて貼り合わせ、所定の大きさの該対象物の全体または一部の対象画像を生成する画像処理装置であり、被対象物を第１の倍率で撮影して第１の画像情報を得るとともに、前記被対象物を前記第１の倍率より高い倍率である第２の倍率で撮影して、前記部分画像として第２の画像情報を得る撮影手段と、前記対象画像の大きさと部分画像における重複領域の度合を重複領域情報とから、前記部分画像を貼り合わせて生成される対象画像のモデルを生成する画像モデル生成手段と、前記部分画像を貼り合わせて生成する対象画像の、第１の画像情報における配置位置を、前記モデルを用いて探索する撮影位置算出手段（例えば、実施例におけるパターン密度評価値算出部１７及び撮影位置算出部１８）と、前記配置位置に基づいて、前記部分画像を貼り合わせて前記対象画像を生成する高精細画像生成手段とを有することを特徴とする。
本発明の画像処理方法は、所定の解像度で撮影した被対象物の部分画像を所定の重複領域を持たせて貼り合わせ、所定の大きさの該対象物の全体または一部の対象画像を生成する画像処理方法であり、被対象物を第１の倍率で撮影して第１の画像情報を得るとともに、前記被対象物を前記第１の倍率より高い倍率である第２の倍率で撮影して、前記部分画像として第２の画像情報を得る撮影過程と、前記対象画像の大きさと部分画像における重複領域の度合を重複領域情報とから、前記部分画像を貼り合わせて生成される対象画像のモデルを生成する画像モデル生成過程と、前記部分画像を貼り合わせて生成する対象画像の、第１の画像情報における配置位置を、前記モデルを用いて探索する撮影位置算出過程と、前記配置位置に基づいて、前記部分画像を貼り合わせて前記対象画像を生成する高精細画像生成過程とを有することを特徴とする。
上述した構成により、本発明の画像処理装置は、部分画像を貼り合わせるとき、低解像度（低倍率）の第１の画像情報により、部分画像で貼り合わせて合成する対象画像のモデルを予め形成して、このモデルを用いて広範囲な第１の画像情報の所定の領域内において、重複領域を含めて高解像度の対象画像を生成する部分画像の撮影位置を調整するため、あらかじめ高解像度で撮影した部分画像を貼り合わせる従来の手法と比較すると、より広範囲な視野領域において、適切な部分画像の撮影位置を演算により求めることができ、所望の高解像度（高倍率）の高精細画像を容易に生成することが可能となる。

本発明の画像処理装置は、前記撮影位置算出手段が、前記第１の画像情報における、前記モデルの貼り合わせにおける重複領域の最適な配置位置を検出することにより、対象画像の配置位置を探索することを特徴とする。
上述した構成により、本発明の画像処理装置は、貼り合わせの際に、重なり合って合成される重複部分を積極的に、部分画像の撮影位置の探索に使用する（すなわち、貼り合わせ時に、重複領域の貼り合わせが容易となる画像パターンの部分を抽出できる）ため、対象画像を生成する際に、部分画像の貼り合わせ位置、すなわち重複部分の貼り合わせの精度を向上させ、従来に比較して容易に高い精度で所望の高解像度の高精細画像を生成することが可能となる。

本発明の画像処理装置は、前記撮影位置算出手段が前記第１の画像情報の予め設定された探索領域内において、前記モデルを所定の移動距離により移動させつつ、重複領域の配置位置を探索することを特徴とする。
上述した構成により、本発明の画像処理装置は、繰り返しパターンにて構成される対象物の高精細画像を生成する場合など特に、予め所定の大きさの探索領域を設定して、この探索領域内において前記モデルを、所定の位置から定義された方向に各々所定の移動距離（例えば複数ピクセル単位）にて移動させつつ、重複領域の配置位置の探索を行うため、探索処理を高速化することが可能となる。

本発明の画像処理装置は、前記撮影位置算出手段が前記重複領域のパターン情報に基づいて、前記探索領域内における重複領域の配置位置を探索することを特徴とする。
上述した構成により、本発明の画像処理装置は、重複領域のパターン情報（例えばパターンの密度を示すパターン密度評価値）により、重複領域の配置位置を設定しているため、重複する領域のパターンが密である位置を検出することが可能となるため、部分画像を貼り合わせる際、貼り合わせの位置あわせを容易に行える位置を重複領域として選択することができ、高い精度で所望の高解像度の高精細画像を生成することが可能となる。

本発明の画像処理装置は、前記撮影位置算出手段が前記重複領域のパターン情報に基づいて、前記探索領域内において、モデルにおける重複領域情報を変更させて、配置位置を探索することを特徴とする。
上述した構成により、本発明の画像処理装置は、画像のパターン情報（例えばパターンの粗密の情報）に応じて、部分画像の貼り合わせ処理の際に必要となる重複領域情報、例えば重複領域の重複率を変更するため、基板のパターンが粗であるか又は密であるかによらず、必要に応じてパターン情報をマッチングに適した数値に変更することが可能となり、最適な部分画像の位置、すなわち対象画像の生成位置を算出することができ、容易に高精細な画像を生成することができる。

本発明の画像処理装置は、前記撮影手段に対し、対象物をＸ−Ｙ方向に各々所定の距離単位で相対的に移動させる移動手段を有し、前記撮影位置算出手段が前記モデルにより検出した対象画像の配置位置に基づき、前記対象物における対象画像の撮影位置を設定することを特徴とする。
上述した構成により、本発明の画像処理装置は、相対的な移動手段を有するため、撮影位置が検出された時点において、その位置に移動させて撮影する処理が行えるため、撮影位置の算出及び撮影の処理をリアルタイムに行い、高解像度の高精細画像の生成速度を向上させることが可能となる。

本発明の画像処理装置は、前記撮影位置と、前記モデルにより検出した対象画像の配置位置とに基づき、貼り合わせに用いる部分画像の撮影位置を算出することを特徴とする。
上述した構成により、本発明の画像処理装置は、モデルにより重複領域の配置位置を設定しているため、重複する領域のパターンが密である位置を検出することから、対象画像の撮影位置が算出され、これにより貼り合わせに用いる部分画像の撮影位置を容易に算出することができ、高い精度で所望の高解像度の高精細画像を生成することが可能となる。

本発明の画像処理装置は、前記撮影手段に得られる第１の画像情報及び第２の画像情報各々が、歪補正または／及びシェーディング補正されたものであることを特徴とする。
上述した構成により、本発明の画像処理装置は、歪みやシェーディングの影響のない高精細画像を生成することが可能となる。

以上説明したように、本発明によれば、部分画像を貼り合わせるとき、低解像度の第１の画像情報により、部分画像で貼り合わせて合成する対象画像のモデルを予め形成して、このモデルを用いて広範囲な第１の画像情報の所定の領域内において、重複領域を含めて高解像度の対象画像を生成する部分画像の撮影位置を調整するため、第１の画像情報による広範囲な視野領域において、適切な部分画像の撮影位置を演算により求めることができ、所望の高解像度の高精細画像を容易に生成することが可能となる。

図１は、本発明の一実施例による顕微鏡装置の構成例を示す概念図である。 図２は、図１の画像処理部５の構成例を示すブロック図である。 図３は、図２の画像モデル生成部１６で生成されるモデルを説明するための概念図である。 図４は、Ｓｏｂｅｌフィルタを説明するための概念図である。 図５は、パターン密度評価値の説明をするための概念図である。 図６は、第１の実施例による画像処理部５からなる顕微鏡装置の動作例を示すフローチャートである。 図７は、第１の実施例による画像処理部５の動作を説明する概念図である。 図８は、第１の実施例による画像処理部５の動作を説明する概念図である。 図９は、第１の実施例による画像処理部５の動作を説明する概念図である。 図１０は、パターン密度評価値の探索領域内での最大値の検出処理を説明する概念図である。 図１１は、第２の実施例による画像処理部５からなる顕微鏡装置の動作例を示すフローチャートである。 図１２は、第２の実施例による画像処理部５の動作を説明する概念図である。 図１３は、第２の実施例による画像処理部５の動作を説明する概念図である。 図１４は、第２の実施例による画像処理部５の動作を説明する概念図である。 図１５は、第２の実施例による画像処理部５の動作を説明する概念図である。 図１６は、第２の実施例による画像処理部５の動作を説明する概念図である。 図１７は、第２の実施例による画像処理部５の動作を説明する概念図である。 図１８は、部分画像枠の重複率の最大値及び最小値を説明するための概念図である。 図１９は、第３の実施例による検査装置を説明する概念図である。 図２０は、第４の実施例による検査装置を説明する概念図である。

符号の説明

１ 鏡筒
２ 対物レンズ
３ 撮影用カメラ
４ ステージ
５ 画像処理部
６ ステージ移動制御部
７ システム制御部
８ 顕微鏡Ｚ軸移動制御部
１１ 撮像制御部
１２ シェーディング・歪補正処理部
１３ 撮像画像データ記憶バッファ部
１４ 第１撮影画像読込部
１５ 第２撮影画像読込部
１６ 画像モデル生成部
１７ パターン密度評価値算出部
１８ 撮影位置算出部
１９ 画像生成部
２０ 画像記憶部
Ｆ１，Ｆ２，Ｆ３，Ｆ４ 部分画像枠

＜第１の実施例＞
以下、本発明の第１の実施例による画像処理装置を図面を参照して説明する。図１は同実施例の構成例を示すブロック図である。
この図において、第１の実施例は顕微鏡に対し、本発明の画像処理機能を搭載したものであり、顕微鏡には対物レンズ２をつける鏡筒１をＺ軸方向（図から見て上下）に駆動することが可能な上下駆動機構が備わっている。
顕微鏡Ｚ軸移動制御部８は、上記上下駆動機構を制御して、鏡筒１を上下に移動させ、ステージ４上に置かれた被対象物に対するピントの調整を行う。

上記ステージ４は、顕微鏡の下部に設けられており、Ｘ方向及びＹ方向（図から見て左右方向及び奥行き方向）に駆動する機構（２軸移動駆動機構）を有しており、上部に観察用のサンプルである上記被対象物が載せられる。
ステージ移動制御部６は、ステージ４の２軸における移動制御を行い、対物レンズ２と被対象物との相対的な位置調整を行う。
また、鏡筒１の上部には撮影用カメラ３が設けられており、この撮影用カメラ３から出力される映像信号（画像信号）は画像処理部５に転送され各種画像処理が行われる。
撮影用カメラ３は、ＣＣＤカメラであり、例えば、ＲＧＢ対応画素毎の階調度（輝度）データを画像情報として出力する。
画像処理部５、ステージ移動制御部６、顕微鏡Ｚ軸移動制御部８はシステム制御部７により必要に応じて夫々の制御が行われる。

次に、本発明の第１の実施例による画像処理部５を図面を参照して説明する。図２は同実施例の画像処理部５の構成例を示すブロック図である。
破線で囲まれた部分が画像処理部５であり、撮像制御部１１、シェーディング・歪補正処理部１２、撮像画像データ記憶バッファ部１３、第１撮影画像読込部１４、第２撮影画像読込部１５、画像モデル生成部１６、パターン密度評価値算出部１７、撮影位置算出部１８、画像生成部１９及び画像記憶部２０から構成されている。

撮像制御部１１は、システム制御部７の制御により、対物レンズ２のレンズの交換による倍率変更及び顕微鏡Ｚ軸移動制御部８によるピント調整されて、撮影用カメラ３により撮影された低倍率の画像情報（第１の画像情報、すなわち被対象物の全体を撮影した全体画像）または高倍率の画像情報（第２の画像情報、すなわち部分画像）を入力し、シェーディング・歪補正処理部１２へ出力する。
シェーディング・歪補正処理部１２は、上記第１の画像情報及び第２の画像情報各々に、対物レンズ２を含む撮像系から生じるシェーディングや歪に対するシェーディング補正及び歪補正を行った後、撮像画像データ記憶バッファ部１３に、各々倍率の情報を付加して記憶する。
この倍率の情報は、対物レンズ２のレンズの情報として、システム制御部７を介して、撮像制御部１１において、第１の画像情報及び第２の画像情報各々に付加される。

第１撮影画像読込部１４は、撮像画像データ記憶バッファ部１３から、付加された倍率の情報が低倍率を示す第１の画像情報を読み出し、この第１の画像情報を一時的に格納する。
第２撮影画像読込部１５は、撮像画像データ記憶バッファ部１３から、付加された倍率の情報が高倍率の第２の画像情報（以下、部分画像）を読み出し、この部分画像を一時的に格納する。

画像モデル生成部１６は、部分画像を貼り合わせて最終的に生成される対象画像のモデルを生成する。このモデルには、部分画像を貼り合わせる際に重ね合わせ部分となる重複領域が含まれている。
すなわち、画像モデル生成部１６は、システム制御部７から入力される、予めユーザが設定した低倍率としての第１の倍率と、高倍率としての第２の倍率と、部分画像を貼り合わせて生成する画像サイズと、貼り合わせる際に重ねる重複領域の寸法とから上記モデルを生成する。

パターン密度評価値算出部１７は、上記画像モデル生成部１６からモデルを読み込み、また、第１撮影画像読込部１４から第１の画像情報を読み込み、対象画像を生成する部分を探索する探索領域がシステム制御部７により、第１画像情報において設定される（ユーザが画面を確認しつつ設定）。
また、パターン密度評価値算出部１７は、図３に示すように、上記探索領域内において、上記モデルを所定の位置、例えば探索領域の左上を開始位置として、所定の移動距離、例えば複数ピクセル単位にて、Ｘ軸方向及びＹ軸方向に移動させつつ、重複領域内におけるパターン密度評価値（パターン情報）を算出し、これらを順次、計算した位置に対応させて記憶する。

ここで、探索領域内における移動距離は、１画素（ピクセル）単位で行っても良いが、対象となるパターンによっては移動させる前後において変化が見られず、得られるパターン密度評価値もほぼ同様な値となることから、本発明において無駄な計算時間を削減し、重複領域の探索効率を向上させるため、所定の画素数単位としている。
この移動距離としては、本実施例のように被対象物が周期的なパターンであれば、１周期をなす画素数の１／５，１／１０，１／５０，１／１００，…と言うように、パターン周期の画素数に合わせて設定される。

また、重複領域に含まれた対象となるパターンの最小サイズ（例えば、電流が流れる信号線の幅など）が既知であれば、最小パターンの幅の画素数の１倍，２倍，３倍，…と言うように、パターンのサイズに対応させて移動距離を設定しても良い。
パターンのサイズに応じた移動距離は、移動する前後において、重複領域からパターン全体が現れる、または消えることによりパターン密度評価値が変化することを考慮している。

パターン密度評価値は、部分画像のサイズのブロック毎（横方向及び縦方向毎）に、隣接するブロックの重ね合わせ単位、すなわち、１つの算出位置ごとに４つの計算値（後述する垂直方向及び水平方向のエッジ強度）として計算される。
ここで、パターン密度評価値は、以下に示すような流れにより、パターン密度評価値算出部１７において計算される。
本実施例においては、方向別のエッジ強度（パターンにおける輝度変化の大きさ）に着目して、パターン密度評価値を求める。

上記方向別のエッジ強度とは、垂直（画面の上下）方向，及び水平（画面の左右）方向それぞれに対してエッジ強度を表すものである。
エッジ強度を算出する方法として、Ｓｏｂｅｌフィルタを用いる。このＳｏｂｅｌフィルタは、ある注目画素を中心として、近傍、すなわち隣接する上下左右の９つの画素値に対して、図４に示すような係数（中央が注目画素）マスクをそれぞれ乗算して結果を合計し、垂直方向及び水平方向の二つの係数行列を用いてこの処理を行う。

すなわち、マスクの中心の画素（Ｘ，Ｙ）（Ｘは水平方向に関する画面上の座標値であり、原点に対して右方向を正とし、左方向を負とし、Ｙは垂直方向に関する画面上の座標値であり、原点に対して下方向を正とし、上方向を負とする）に対する各方向のエッジ強度を、画素（Ｘ，Ｙ）の輝度値をＩ（Ｘ，Ｙ）と表し、また、数値Ｒの絶対値をAbs(Ｒ)として以下の式により、水平方向の強度ＥＨ（Ｘ，Ｙ）及び垂直方向の強度ＥＶ（Ｘ，Ｙ）として求める。

強度ＥＨ（Ｘ，Ｙ）＝Abs{Ｉ(X+1,Y-1)＋２×Ｉ(X+1,Y)＋Ｉ(X+1,Y+1)
−Ｉ(X-1,Y-1)−２×Ｉ(X-1,Y)−Ｉ(X-1,Y+1)}
強度ＥＶ（Ｘ，Ｙ）＝Abs{Ｉ(X-1,Y+1)＋２×Ｉ(X,Y+1)＋Ｉ(X+1,Y+1)
−Ｉ(X-1,Y-1)−２×Ｉ(X,Y-1)−Ｉ(X+1,Y-1)}

上述した式を用いて、対象となる領域（重複領域）内の各画素各々に対して算出する（このとき、画像の端部はエッジ強度が算出できないので対象外とする）。
ここで、パターン密度評価値算出部１７は、対象となる領域において、算出された画素毎のエッジ強度を方向単位に加算し、水平方向のエッジ強度総和値ＡＥＨと、垂直方向のエッジ強度総和値ＡＥＶとを求める。
しかしながら、いずれかの方向のエッジ強度が極端に低い場合があり、例えば、図５に示すように、重複領域の内部が水平方向の線パターンのみで形成されていると、垂直方向においてはパターンのエッジが存在するために、ある数値のエッジ強度総和値ＡＥＶが求まるが、水平方向のエッジ強度総和値ＡＥＨは輝度の変化が横方向において存在しないためほぼ「０」となる。
この場合、片方向のパターンのみで貼り合わせ処理を行おうとすると、マッチング箇所を限定できないため、最適なマッチング処理を行えない。

このため、パターン密度評価値算出部１７は、エッジ強度総和値ＡＥＨとエッジ強度総和値ＡＥＶとに対し、所定の閾値Ｔhresを求め、各エッジ強度総和値が上記閾値Ｔhres以上の場合のみ、この閾値Ｔhres以上の値をパターン密度評価値として出力する。
この閾値Ｔhresはノイズの影響を考慮して、例えば１画素に関するＳｏｂｅｌフィルタのエッジとして検出する最小の輝度差をＱとして以下の式により表す。
Ｔhres ＝ ４・Ｑ×（重複領域におけるＳｏｂｅｌフィルタ演算対象の画素数）
上記閾値Ｔhresには所定の係数を乗じた値を実際の閾値として用いる。この乗じる係数としては、ノイズの影響を抑えるためであれば、１または２などの小さな値でよい。
また、エッジ強度が大きい、すなわちパターンの特徴がはっきりしている領域を取り出す場合、Ｑの値に応じて大きな値（輝度の階調が２５６であり、Ｑが１０であれば、１０〜１５の間の値等）とする。

また、パターン密度評価値算出部１７は、上記式を用いてパターン密度評価値ＰＤＥＶを以下のように算出する。
ＡＥＨ＜ＴhresまたはＡＥＶ＜Ｔhresの場合、ＰＤＥＶを０とし、
ＡＥＨ≧ＴhresかつＡＥＶ≧Ｔhresの場合、ＰＤＥＶ＝ＡＥＨ＋ＡＥＶとする。
これにより、算出されるパターン密度評価値は、いずれか一方のエッジ強度が閾値より低い場合（極端に小さい場合）、部分画像の貼り合わせの際に、パターンマッチングが失敗する可能性が高いことから後の評価の対象から外され、貼り合わせ処理の際、正確なパターンマッチングが可能となる配置位置の数値のみが残ることとなる。
ここで、エッジ強度が大きいほど、輝度差が大きいことを示し、貼り合わせにおける、重複領域における部分画像のマッチングの精度が向上する。
すなわち、パターンが比較的、疎である全体画像であっても、重複領域のパターンが密となるモデルの位置を探索できることとなる。

次に、図２に戻り、撮影位置算出部１８は、パターン密度評価値算出部１７が選択した、最もパターン密度評価値の大きい位置、すなわち第１の画像情報（全体画像）における対象画像の撮影位置に基づき、各部分画像の撮影場所を求めて、この撮影場所の撮影位置情報をシステム制御部７へ出力する。
画像生成部１９は、上記撮影位置算出部１８が出力した撮影位置に基づいて、システム制御部７が顕微鏡Ｚ軸移動制御部８，ステージ移動制御部６，撮像制御部１１及び撮影用カメラ３を制御し、モデルのブロック分の複数枚撮影された部分画像を貼り合わせる。
画像記憶部２０は、画像生成部１９において部分画像が貼り合わされて生成された対象画像（高精細画像）を記憶する。
システム制御部７は、ユーザからのアクセスにより、画像記憶部２０から対象画像を読み出し、図示しない表示装置に表示させる。

また、パターン情報としては、上述した第１の実施例においては、画像の輝度値の変化を示すエッジ強度を用いたが、この画像の輝度値をベースに方向という「空間特性」を利用したものでなく、純粋に輝度値だけから構成される評価値、例えば、画像の輝度値から形成されるヒストグラムに関する輝度平均値、最小値と最大値との差（ダイナミックレンジ）、最頻値、中央値、分散（標準偏差）をそれぞれパターン情報とすることも可能である。

ここで、パターン情報として、重複領域に関する最頻値の輝度値に関するヒストグラムの度数ＦＲ、及びこのヒストグラムの標準偏差ＳＤを用い、この度数ＦＲ及び標準偏差ＳＤからパターン密度評価値ＰＤＥＶを形成し、２のべき乗を２^ｘとして表す。
ＰＤＥＶ＝ＦＲ＋（２^ｘ）×ＳＤ
このパターン密度評価値ＰＤＥＶは０〜２^ｘ−1までを度数ＦＲにより、また２^ｘ以上を標準偏差ＳＤで表している。ただし、上記式において、「ＦＲ＜２^ｘ」である。
これにより、まずパターン密度評価値算出部１７は、度数ＦＲのみに注目して、所定の閾値以上であるか否かを判定し、この閾値以上である場合、標準偏差に対しても評価する。
ＦＲは最大値が(２^ｘ)になることにより、上述した探索方法が可能となる。
また、上述した演算は、ビット演算（論理演算）により実現され、特性が異なるパターン情報も一つのパターン密度評価値として用いることが可能である。

次に、図１，図２及び図６を参照して、上述した画像処理装置の動作を説明する。図６は、図１の第１の実施例による画像処理装置の一動作例を具体的に示すフローチャートである。
ここで被対象物としては、図７に示すＦＰＤ基板を例にとして説明する。ＦＰＤ基板は、画素部分とこの画素を駆動するトランジスタが周期的に配列されている。
ユーザがシステム制御部７に対して、図示しない入力装置により、処理のパラメータとして、全体画像の倍率（第１の倍率），部分画像の倍率（第２の倍率），貼り合わせ画像（対象画像）のサイズ，及び各部分画像の重複率を設定する（ステップＳ１）。

次に、対象画像の取得の処理が開始されると、システム制御部７は、ステージ移動制御部６によりステージ４を駆動し、対物レンズ２と被対象物との相対位置の調整を行い、上記第１の倍率となるよう対物レンズ２を切り替える。
そして、システム制御部７は、顕微鏡Ｚ軸移動制御部８を介して、鏡筒１を上下させてピントの調整を行い、被対象物の図７に示す全体画像を撮像し、撮像制御部１１を介してシェーディング・歪補正処理部１２へ、この全体画像を転送する。
また、図７の上記全体画像に対して、部分画像としての視野枠（第２の倍率で撮像した場合の撮影可能範囲：部分画像枠）としては図８に示す破線内の領域となる。

そして、シェーディング・歪補正処理部１２は、入力される全体画像に対して、歪補正及びシェーディング補正を行い、撮像画像データ記憶バッファ部１３に一旦記憶させる（ステップＳ２）。
次に、画像モデル生成部１６は、対象画像の大きさ（縦の画素数×横の画素数）と、この対象画像を生成する際に貼り合わせたときの部分画像の重複率とから、図３に示すような重複領域を有する対象画像のモデルを生成する（ステップＳ３）。

そして、画像モデル生成部１６は、重複領域が部分画像に対して上記重複率となるよう、部分画像の数及びこの重複領域のサイズを演算して求める（ステップＳ４）。
例えば、図９において、図８に示した部分画像枠から部分画像の枠は４となり、重複領域は４つの部分画像枠のいずれか２つ以上が相互に重なり合う斜線部分（画面中央に＋の形で示されている部分）として定義される。
この結果、本実施例においては、対象画像が４つの部分画像により形成され、対象画像のサイズのモデルは４つの部分画像枠により構成される。
次に、ユーザは表示装置に表示されている全体画像において、上記モデルから対象画像の撮影位置を探索する探索領域の設定を行う（ステップＳ５）。
この探索領域は、全体画像全体でも、モデルの大きさよりも大きければ、全体画像の任意の一部分としても良い。

そして、パターン密度評価値算出部１７は、所定の移動距離にて、Ｘ軸方向及びＹ軸方向に移動させ（ずらし）つつ、パターン密度評価値の算出を各移動位置にて行い、探索範囲全体が探索されるまで上記処理が繰り返され、順次、計算されたパターン密度評価値を全体画像における座標値（計算した位置）に対応付けて、内部の記憶部に記憶し、探索領域全体におけるパターン密度評価値の計算を終了すると処理をステップＳ７へ進める（ステップＳ６）。

次に、パターン密度評価値算出部１７は、内部の記憶部に記憶されているパターン密度評価値のなかから最も大きな値を探索し、探索されたパターン密度評価値に対応する座標値を貼り合わせの際の対象画像の最適位置として出力する（ステップＳ７）。
このとき、パターン密度評価値算出部１７は、図１０に示すように、評価した座標値（Ｘ−Ｙ平面上）毎にＺ軸方向にパターン密度評価値の大きさを示す３次元グラフにおいて、各座標値におけるパターン密度評価値を順次比較し、最大のパターン密度評価値を探索する。
例えば、図１０においては、左側のパターン密度評価値が最大であることから、このモデルの位置、すなわち座標値が最適な対象画像の生成位置として出力される。

次に、撮影位置算出部１８は、パターン密度評価値算出部１７が出力する対象画像の生成位置から、部分画像の撮影位置の演算を行う（ステップＳ８）。
このとき、撮影位置算出部１８は、上記生成位置におけるモデルの部分画像枠の配置位置を、第２の倍率（高倍率）で撮影する部分画像の撮影位置として、対象画像を構成する複数の部分画像各々に対応する部分画像枠の座標値を、部分画像位置として出力する。
また、撮影位置算出部１８は、本実施例の場合、対象画像が４つの部分画像から構成されているため、この４つの部分画像に対応する部分画像枠の座標値をシステム制御部７に出力する。

次に、システム制御部７は、顕微鏡Ｚ軸移動制御部８を介して対物レンズ２を第２の倍率に対応するレンズに変更し、撮影位置算出部１８より入力される上記部分画像位置に対応させ、ステージ移動制御部６を介してステージ４を撮影用カメラ３で撮影する座標位置に移動させ、顕微鏡Ｚ軸移動制御部８にてピントを合わせて、撮影用カメラ３により各部分画像の撮影を行う。
ここで、システム制御部７は、対象画像を構成する複数の部分画像全てを、上述した処理により撮影する。
そして、撮像用制御部１１は、撮影用カメラ３から入力される部分画像各々をシェーディング・歪補正処理部１２へ出力する。
これにより、シェーディング・歪補正処理部１２は、順次入力される部分画像に対して、歪補正及びシェーディング補正の処理を行い、撮像画像データ記憶バッファ部１３に格納する（ステップＳ９）。

次に、画像処理部５は、撮像画像データバッファ部１３から対象画像を構成する部分画像を読み出し、第２撮影画像読込部１５に一旦格納する。
そして、画像生成部１９は、第２撮影画像読込部１５から順次部分画像を読み出し、図９に示すモデルに基づいて、すなわち、モデルの部分画像枠毎に、この部分画像枠の部分画像位置に対応して撮影した部分画像を配置し、部分画像を貼り合わせて対象画像の生成の処理を行い、生成した高精細画像である対象画像を画像記憶部２０に格納する（ステップＳ１０）。

このとき、画像生成部１９は、重複領域に配置されたパターンを重ね合わせて、パターンマッチングを行い、貼り合わせの位置あわせを行っている。このため、重複領域としては、パターン密度評価値が所定の密度を超える領域、すなわち所定の閾値を超える領域を用いることが必要となる。
したがって、本実施例においては、貼り合わせる重複領域の配置位置を、パターン密度評価値等のパターン情報により決定しているため、図７に示すＦＰＤ基板のパターンのように、基板上に形成されるパターンが疎の部分が多く、貼り合わせ処理に適さない周期性を有する被対象物でも、高い精度で貼り合わせ画像を生成することができる。
システム制御部７は、必要に応じて画像記憶部２０から上記対象画像を読み出して、この対象画像を表示部に表示する。

＜第２の実施例＞
第２の実施例は、第１の実施例と同様の構成であり、第１の実施例と異なる点のみを、以下に説明する。
図１１は第２の実施例における一動作例を具体的に示すフローチャートである。
異なる点は第１の実施例のステップＳ８がステップＳ１５に変更された点であり、このステップについて説明する。
第１の実施例においては、部分画像を貼り合せるモデルの最適位置からモデル内における部分画像枠の位置に基づいて、高精細な部分画像を取得する部分画像位置、すなわち撮影位置を決定しており、モデルにおける部分画像枠間の重複領域を固定として探索領域内での探索を行っている。
一方、第２の実施例においては、貼り合せモデルの最適位置が決定したところで、低倍率の全体画像（第１の画像情報）を用いて、貼り合せモデルを構成する部分画像枠の位置を決定している。

ステップＳ６において、固定した重複領域のモデルにより、所定の移動距離により、探索領域を移動させつつ、各位置におけるパターン密度評価値を算出する。
このとき、以下に示す式として最低パターン密度閾値ＰＤＥＶ＿Ｍｉｎを設定する。
ＰＤＥＶ＿Ｍｉｎ＝ＡＥＨ＿Ｍｉｎ ＋ ＡＥＶ＿Ｍｉｎ
＝４・Ｑ×ＰｉｘＮｕｍ ＋ ４・Ｑ×ＰｉｘＮｕｍ
＝８・Ｑ×ＰｉｘＮｕｍ
ここで、ＰｉｘＮｕｍ＝「重複領域におけるＳｏｂｅｌフィルタ演算対象の画素数」
そして、パターン密度評価値算出部１７は、パターン密度評価値の算出を各移動位置にて行い、探索範囲全体が探索されるまで上記処理が繰り返し、上記閾値ＰＤＥＶ＿Ｍｉｎを超えるものを、順次、計算されたパターン密度評価値を全体画像における座標値（計算した位置）に対応付け、内部の記憶部に記憶し、探索領域全体におけるパターン密度評価値の計算を終了すると処理をステップＳ７へ進む。

ステップＳ７において、パターン密度評価値算出部１７は、第１の実施例と同様に、内部記憶部の中から最も大きなパターン密度評価値を選択して出力する。
次に、ステップＳ１５において、この選択したパターン密度評価値に対応する座標値のモデルにおける重複領域のパターン密度評価値の再計算を行う。
このとき、モデルにおける部分画像枠の重複領域は、図１２の部分画像枠Ｆ１及びＦ２による領域Ａ，図１３の部分画像枠Ｆ３及びＦ４による領域Ｂ，図１４の部分画像枠Ｆ１及びＦ３による領域Ｃ，図１５の部分画像枠Ｆ２及びＦ４による領域Ｄとなる。
これらについて、領域Ａ〜Ｄ各々のパターン密度評価値を、各部分画像枠に対して、低倍率の全体画像の対応する位置の画像から算出する。

ここで、パターン密度評価値算出部１７は、各領域Ａ〜Ｄ各々が所定の閾値を超えているか否かの判定を行う。
この閾値は、第１の実施例においては横方向と縦方向とのパターン密度評価値として求めていたが、第２の実施例においては、横方向及び縦方向で隣接した２つの部分画像枠の重複領域単位となるため、以下の式で定義される値とする。
Ｔhres2 ＝ ２・Ｑ×（重複領域におけるＳｏｂｅｌフィルタ演算対象の画素数）
そして、パターン密度評価値算出部１７は、領域Ａ〜Ｄ全てのパターン密度が上記閾値を超えていることを検出すると、処理をステップＳ９へ進め、以降、第１の実施例と同様の処理を行う。
上記閾値Ｔhres2には所定の係数を乗じた値を実際の閾値として用いる。この乗じる係数としては、ノイズの影響を抑えるためであれば、１または２などの小さな値でよい。
また、エッジ強度が大きい、すなわちパターンの特徴がはっきりしている領域を取り出す場合、Ｑの値に応じて大きな値（輝度の階調が２５６であり、Ｑが１０であれば、１０〜１５の間の値等）とする。

一方、パターン密度評価値算出部１７は、上記閾値Ｔhres2を超えない領域に対して、例えば、図１６の斜線で示す領域Ａのパターン密度評価値が閾値Ｔhres2を超えないことを検出すると、図１７に示すように、所定の移動距離により部分画像枠Ｆ１を右方向に移動させて、部分画像枠Ｆ１及び部分画像枠Ｆ２との重複領域である領域Ａの面積を広げる。
そして、パターン密度評価値算出部１７は、再度、上記領域Ａのパターン密度評価値を算出して、このパターン密度評価値が閾値Ｔhres2を超えたか否かの検出を行い、超えていることを検出すると処理をステップＳ９へ進め、また、超えていなければ再度、部分画像枠Ｆ１を右方向に移動させて、領域Ａのパターン密度評価値の判定を行う。

ここで、部分画像枠を移動させた場合における重複領域の重複率の制限について、図を参照して説明する。図１８は重複領域の重複率を説明するための概念図である。
重複率の最大値としては、同一パターンが２つの部分画像に含まれるようにすると、５０％が適当である。
すなわち、重複率を５０％以上とすると、同一のパターンが３枚の部分画像に含まれることとなる。
そして、パターン密度評価値算出部１７は、重複領域の重複率が最大値を超えた場合、重複領域全体のパターン密度評価値が２番目に大きい数値のモデルの座標において再度上述した処理を行う。

一方、重複率の最低値としては、基板に形成されるパターンにおいて最小パターンの画素数に対し、１倍以上の実数倍の画素数の規定値を設け、この規定値の部分画像全体における割合から求める。
例えば、部分画像のサイズが６４０（水平方向）×４８０（垂直方向）画素に対して、最小パターンが４（水平方向）×４（垂直方向）画素とすると、この最小パターンの２倍の画素数を規定値とする。
これにより、水平方向の最小の重複率としては（４×２／６４０）＝１．２５％であり、垂直方向の最小の重複率としては（４×２／４８０）＝１．６７％となる。

上述したように、第２の実施例においては、貼り合せのモデルの最適位置を決定する際に、探索領域全体でモデルにおける領域Ａ〜Ｄの全てのパターン密度評価値が閾値を超えない場合、最初は全体として評価値が最大である位置を全体画像において決定し、この座標値において個々の部分画像枠の重複部分について、パターン密度評価値が閾値を超えるように部分画像枠の位置を調整して、重複領域の重複率を変化させ、撮影する部分画像の撮影位置を決定する。

また、重複領域の重複率を変化させて、パターン密度評価値を適時調整するため、探索の自由度が実施例１に対して増加し、適当に設定した撮影位置をスタートとしても（探索領域全体を探索しなくても）、パターン密度評価値を用いて自動的に貼り合せに最適な撮影位置を決定することができる。
したがって、本実施例においては、貼り合わせる重複領域の配置位置を、パターン密度評価値等のパターン情報により決定しているため、図７に示すＦＰＤ基板のパターンのように、基板上に形成されるパターンが疎の部分が多く、貼り合わせ処理に適さない周期性を有する被対象物でも、また、適当に設定した重複部分では貼り合せ処理が失敗するような場合であっても、高い精度で貼り合わせ画像を生成することができる。

＜第３の実施例＞
図１９に示す第３の実施例は顕微鏡を搭載した大型の基板検査装置である。図１９に示す基板検査装置は、顕微鏡や対物レンズ２、撮影用カメラ３等の観察系等の構成が第１及び第２の実施例と同様である。
異なる点は、被対象物のＦＰＤ基板を対物レンズ２に対して移動させる駆動機構であり、ステージ移動制御部６は被対象物が配置されているステージ４を１軸方向（図１９では右上−左下方向：矢印Ｏ）にのみ駆動させる。
一方において、システム制御部７は顕微鏡Ｔ自身をステージ４とは垂直の方向（図１９では左上−右下方向：矢印Ｐ）の１軸方向に駆動する。
これにより、対物レンズ２と被対象物との相対位置を、Ｘ−Ｙ方向に移動させることができる。

＜第４の実施例＞
第１〜第３の実施例において生成された高精細画像である対象画像は、基板の欠陥を検出するときに、検査されている基板の画像と比較する基準画像（比較するため正常な基板から生成された画像）として検査装置において用いられる。
例えば、ＦＰＤ基板の検査において、図２０に示す検査装置は、撮像手段としてラインセンサが設けられており、校正用サンプルにより、撮像手段の調整がなされた後、保持移動手段によりステージが矢印Ｇ方向に移動し、所定の移動距離毎にラインセンサにより、照明手段から放射される光の反射光を検出する。
そして、統合制御手段が、検出された反射光の強度と、直前にサンプリングした反射光の検出値とを比較し、所定の範囲を超えて異なっていると、不良候補として検出し、この基板上における座標値を記憶する。

そして、第１〜第３の実施例における画像処理装置のステージ４に、上記ＦＰＤ基板を載せて、システム制御部７に対し不良候補の座標値を入力する。
これにより、システム制御部７は、ステージ移動制御部６を介してステージ４を移動させ、不良候補の位置が対物レンズ２の位置、すなわち撮影用カメラ３により不良候補の基板部分が撮像できる位置に移動する。
このとき、システム制御部７は、高精細な画像として、すなわち第２の倍率により不良候補の位置を含んだ状態で、かつ、第１〜第３の実施例において対象画像を生成した、すなわち最適なモデルの位置と対応する場所に移動させる。

そして、システム制御部７は、撮影した不良候補を含む画像情報と、第１〜第２の実施例にて生成した対象画像とを、パターンマッチングにより比較し、不良候補のパターン形状と、基準画像である対象画像の対応する部分のパターン形状とを比較し、異なっているか否かの判定を行う。
このとき、システム制御部７は、異なっていないことを検出すると、この不良候補を良品と判定し、一方、異なっていることを検出すると、この不良候補を不良と判定し、たとえば、判定結果を表示装置に表示する。
上述した本発明の検査方法により、ラインセンサによる高速な検査において不良候補と判定したものを、実際の正常な基板パターンと比較することにより正確に判定することで、検査速度を向上させ、かつ検査の精度をも向上させることが可能となる。

なお、図１及び図２における画像処理部の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより画像処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータシステム」は、ホームページ提供環境（あるいは表示環境）を備えたＷＷＷシステムも含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（ＲＡＭ）のように、一定時間プログラムを保持しているものも含むものとする。

また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であっても良い。

本発明の画像処理装置および画像処理方法によれば、部分画像を貼り合わせるとき、低解像度の第１の画像情報により、部分画像で貼り合わせて合成する対象画像のモデルを予め形成して、このモデルを用いて広範囲な第１の画像情報の所定の領域内において、重複領域を含めて高解像度の対象画像を生成する部分画像の撮影位置を調整するため、第１の画像情報による広範囲な視野領域において、適切な部分画像の撮影位置を演算により求めることができ、所望の高解像度の高精細画像を容易に生成することが可能となる。

Claims (11)

1. 所定の解像度で撮影した被対象物の部分画像を所定の重複領域を持たせて貼り合わせ、所定の大きさの該対象物の全体または一部の対象画像を生成する画像処理装置であり、
   被対象物を第１の倍率で撮影して第１の画像情報を得るとともに、前記被対象物を前記第１の倍率より高い倍率である第２の倍率で撮影して、前記部分画像として第２の画像情報を得る撮影手段と、
   前記対象画像の大きさと部分画像における重複領域の度合を示す画像領域情報とから、前記部分画像を貼り合わせて生成される対象画像のモデルを生成する画像モデル生成手段と、
   前記部分画像を貼り合わせて生成する対象画像の、第１の画像情報における配置位置を、前記モデルを用いて探索する撮影位置算出手段と、
   前記配置位置に基づいて、前記部分画像を貼り合わせて前記対象画像を生成する高精細画像生成手段と
   を有する画像処理装置。
2. 請求項１に記載の画像処理装置において、前記撮影位置算出手段が、前記第１の画像情報における、前記モデルの貼り合わせにおける重複領域の最適な配置位置を検出することにより、対象画像の配置位置を探索する画像処理装置。
3. 請求項２に記載の画像処理装置において、前記撮影位置算出手段が前記第１の画像情報の予め設定された探索領域内において、前記モデルを所定の移動距離により移動させつつ、重複領域の配置位置を探索する画像処理装置。
4. 請求項２または請求項３に記載の画像処理装置において、前記撮影位置算出手段が前記重複領域のパターン情報に基づいて、前記探索領域内における重複領域の配置位置を探索する画像処理装置。
5. 請求項１から請求項４に記載の画像処理装置において、前記撮影位置算出手段が前記重複領域のパターン情報に基づいて、前記探索領域内において、モデルにおける重複領域情報を変更させて、配置位置を探索する画像処理装置。
6. 請求項１から請求項５のいずれかに記載の画像処理装置において、前記撮影手段に対し、対象物をＸ−Ｙ方向に各々所定の距離単位で相対的に移動させる移動手段を有し、
   前記撮影位置算出手段が前記モデルにより検出した対象画像の配置位置に基づき、前記対象物における対象画像の撮影位置を設定する画像処理装置。
7. 請求項６に記載の画像処理装置において、前記撮影位置と前記モデルにより検出した対象画像の配置位置とに基づき、貼り合わせに用いる部分画像の撮影位置を算出する画像処理装置。
8. 請求項１から請求項７のいずれかに記載の画像処理装置において、前記撮影手段に得られる第１の画像情報及び第２の画像情報各々が、歪補正または／及びシェーディング補正されている画像処理装置。
9. 所定の解像度で撮影した被対象物の部分画像を所定の重複領域を持たせて貼り合わせ、所定の大きさの該対象物の全体または一部の対象画像を生成する画像処理方法であり、
   被対象物を第１の倍率で撮影して第１の画像情報を得るとともに、前記被対象物を前記第１の倍率より高い倍率である第２の倍率で撮影して、前記部分画像として第２の画像情報を得る撮影過程と、
   前記対象画像の大きさと部分画像における重複領域の度合を示す重複領域情報とから、前記部分画像を貼り合わせて生成される対象画像のモデルを生成する画像モデル生成過程と、
   前記部分画像を貼り合わせて生成する対象画像の、第１の画像情報における配置位置を、前記モデルを用いて探索する撮影位置算出過程と、
   前記配置位置に基づいて、前記部分画像を貼り合わせて前記対象画像を生成する高精細画像生成過程と
   を有する画像処理方法。
10. 請求項９に記載の画像処理方法において、前記撮影位置算出過程において、前記第１の画像情報における、前記モデルの貼り合わせにおける重複領域の最適な配置位置を検出することにより、対象画像の配置位置を探索する画像処理方法。
11. 請求項１０に記載の画像処理方法において、前記撮影位置算出過程において、前記第１の画像情報の予め設定された探索領域内にて、前記モデルを所定の移動距離により移動させつつ、重複領域の配置位置を探索する画像処理方法。

Images