JPH0915506A - 画像処理方法および装置 - Google Patents

Abstract

(57)【要約】 【課題】 微細な被試験品を簡単な回路構成により高精
度の二次元または三次元画像により表示する。 【解決手段】 焦点位置の異なる複数の被試験品におけ
る画像データをビデオカメラ２により取り込み、Ａ／Ｄ
変換部３によりデジタルデータに変換し、フレームメモ
リ４に格納する。画像処理部５に設けられた領域分割回
路７はフレームメモリ４に格納されている画像データを
取り込み、領域分割回路７により所定の画素数の領域に
分割を行って焦点位置演算回路８によりそれぞれの領域
における最適な焦点位置の計算を空間フィルタリング検
出方法、ヒストグラム判定方法および周波特性解析方法
などにより行い、最適焦点位置と判断された画像データ
を画像合成回路９が全画面にわたって合成し、表示部６
に表示する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、画像処理方法およ
び装置に関し、特に、被試験品における三次元形状の画
像処理に適用して有効な技術に関するものである。

【０００２】

【従来の技術】本発明者が検討したところによれば、半
導体ウエハ上に形成されたパターンなどの被試験品にお
ける三次元形状を測定するこの種の画像処理装置として
は、たとえば、共焦点（走査型）顕微鏡などの特殊光学
顕微鏡がある。

【０００３】この共焦点顕微鏡は、レーザ光源などの点
光源を使用し、ピンホールを通過した光のみを光電変換
器により電気信号に変換し、試料の位置を三次元的に移
動することにより、任意の位置の三次元形状の情報を得
ている。

【０００４】なお、共焦点顕微鏡を詳しく述べてある特
許の例として、米国特許第３０１３４６７号がある。

【０００５】

【発明が解決しようとする課題】ところが、上記のよう
な共焦点顕微鏡による画像処理技術では、次のような問
題点があることが本発明者により見い出された。

【０００６】すなわち、共焦点顕微鏡では、微小被写体
の計測などに適しているが、光学系が大形で複雑となる
ため高価になり、１画面分の画像データを採取するため
の時間がかかるという問題があった。

【０００７】本発明の目的は、簡単な回路構成により焦
点誤差のない画像を表示できる画像処理方法および装置
を提供することにある。

【０００８】

【課題を解決するための手段】本願において開示される
発明のうち、代表的なものの概要を簡単に説明すれば、
以下の通りである。

【０００９】すなわち、本発明の画像処理方法は、焦点
位置の異なる画像データを取り込む工程と、取り込まれ
た画像データを任意の領域に分割し、それぞれの領域に
おける焦点誤差を計算する工程と、該焦点誤差の計算結
果に基づいて、各々の領域における最適焦点位置の画像
データだけを合成処理する工程とを有するものである。

【００１０】それにより、短時間で確実に焦点誤差のな
い、高精度の画像を表示することができる。

【００１１】また、本発明の画像処理方法は、被試験品
における焦点位置の異なる画像データおよびサンプルに
おける焦点位置の異なる補助画像データを取り込む工程
と、取り込んだ画像データと補助画像データとを任意の
領域に分割し、それぞれの画像データの領域に対応する
補助画像データの領域を比較し、その差分を計算する工
程と、該差分に基づいて対応する領域毎における焦点誤
差を計算する工程と、その計算結果に基づいて最適焦点
位置の画像データだけを合成処理する工程とを有するも
のである。

【００１２】それにより、複雑な繰り返しパターンによ
り形成された被試験品であっても高精度の画像を表示す
ることができる。

【００１３】さらに、本発明の画像処理方法は、焦点位
置の異なる画像データを取り込む工程と、取り込まれた
画像データを任意の領域に分割し、それぞれの領域にお
ける焦点誤差を計算する工程と、該焦点誤差に基づい
て、２点以上の合焦点位置を決定する工程と、それぞれ
の領域における合焦点位置の画像データだけを合成処理
する工程または三次元画像に合成して表示する工程とを
有するものである。

【００１４】それにより、被試験品が多層であっても各
々の層の合焦点位置の画像データだけを合成処理または
三次元画像に合成して表示することができる。

【００１５】また、本発明の画像処理方法は、被試験品
における焦点位置の異なる画像データおよびサンプルに
おける焦点位置の異なる補助画像データを取り込む工程
と、取り込んだ画像データと補助画像データとを任意の
領域に分割し、それぞれの画像データの領域に対応する
補助画像データの領域を比較し、その差分を計算する工
程と、該差分に基づいて対応する領域毎における焦点誤
差を計算する工程と、その計算結果に基づいて、１ない
し２点以上の合焦点位置を決定する工程と、決定された
合焦点位置が１点であると焦点誤差を零とし、２点以上
であると、合焦点位置の差分を三次元画像に合成し、表
示を行う工程とを有するものである。

【００１６】それにより、被試験品における各々の領域
の最適焦点位置の画像データだけを合成処理したり、最
適焦点位置を三次元画像に合成して表示することができ
る。

【００１７】さらに、本発明の画像処理方法は、それぞ
れの領域における合焦点位置の領域の高さを計算する工
程と、計算された領域の高さに基づいて三次元画像に合
成し、表示を行う工程とを有するものである。

【００１８】それにより、被試験品における合焦点位置
が１点の場合には焦点誤差を零とし、合焦点位置が２点
以上の場合には、これらの合焦点位置の差分を三次元画
像に合成して表示することができる。

【００１９】また、本発明の画像処理方法は、前記焦点
誤差に基づいてそれぞれの領域を有効領域と無効領域に
分離する工程と、該有効領域に関して焦点位置の異なる
画像データより最適焦点位置を決定する工程と、無効領
域に関して隣接する有効領域より順次最適焦点位置を決
定する工程とを有するものである。

【００２０】それにより、被試験品における１ないし２
点以上の最適焦点位置を決定することが可能となり、最
適焦点位置が１点の場合には焦点誤差を零とし、２点以
上の場合にはこれらの最適焦点位置の差分を三次元画像
に合成して表示することができる。

【００２１】さらに、本発明の画像処理方法は、前記焦
点誤差の計算が、画像データにおける所定の領域に隣接
する他の領域の画素に重み付けをした画像データを空間
フィルタ演算するものである。

【００２２】それにより、容易に簡単な回路構成によっ
て短時間で焦点誤差の計算を行うことができる。

【００２３】また、本発明の画像処理方法は、前記焦点
誤差の計算が、焦点誤差が計算される１画素を含んだ所
定の領域におけるヒストグラムを計算し、そのヒストグ
ラムの標準偏差またはヒストグラムの最大値と最小値の
差を計算するものである。

【００２４】それにより、短時間で高精度に被試験品に
おける焦点誤差を計算することができる。

【００２５】さらに、本発明の画像処理方法は、前記焦
点誤差の計算が、焦点誤差が計算される１画素を含んだ
所定の領域における一次元または二次元の周波数解析を
行い、その周波数解析で得られる高周波成分の大きさか
ら計算または焦点誤差が計算される１画素を含んだ所定
の領域における任意の画素を重み付けし、一次元または
二次元の周波数解析を行い、その周波数解析で得られる
高周波成分の大きさから計算するものである。

【００２６】それにより、短時間でより高精度に被試験
品のおける焦点誤差を計算することができる。

【００２７】さらに、本発明の画像処理方法は、分割さ
れる領域が、１画素または２画素以上の任意に細分化さ
れたブロックにより構成されているものである。

【００２８】それによっても、短時間で確実に焦点誤差
の計算を行うことができる。

【００２９】また、本発明の画像処理方法は、最適焦点
位置と焦点誤差とに基づいて焦点位置ずれ量を計算し、
その焦点位置ずれ量に応じて輝度変調または色変調して
表示する工程または最適焦点位置の画像データと焦点誤
差の計算結果に基づいた焦点位置誤差を三次元画像に合
成して表示する工程のいずれかを有するものである。

【００３０】それにより、被試験品における画像形状の
認識を容易にすることができる。

【００３１】さらに、本発明の画像処理装置は、焦点位
置の異なる画像データを取り込む撮影手段と、該撮影手
段により取り込まれた画像データを任意の領域に分割を
行う領域分割手段と、該領域分割手段によって分割され
たそれぞれの領域における焦点誤差を計算する焦点演算
手段と、該焦点演算手段の計算結果に基づいて、それぞ
れの領域における最適焦点位置の画像データだけを合成
処理する画像合成手段と、該画像合成手段により合成処
理された画像データを表示する表示手段とよりなるもの
である。

【００３２】また、本発明の画像処理装置は、被試験品
における焦点位置の異なる画像データおよびサンプルに
おける焦点位置の異なる補助画像データを取り込む撮影
手段と、該撮影手段によって取り込まれた画像データと
補助画像データとを任意の領域に分割する領域分割手段
と、対応する画像データの領域と補助画像データの領域
との比較を行い、その差分を計算する差分演算手段と、
該差分演算手段により計算された差分に基づいて対応す
る領域毎における焦点誤差を計算する焦点演算手段と、
該焦点演算手段の計算結果に基づいて最適焦点位置の画
像データだけを合成処理する画像合成手段と、該画像合
成手段により合成処理された画像データを表示する表示
手段とよりなるものである。

【００３３】それらにより、複雑な繰り返しパターンな
どが形成された被試験品であっても高精度の画像を短時
間で確実に表示することができる。

【００３４】以上のことにより、画像処理技術が用いら
れる装置を低コストにすることができ、作業時間も大幅
に短縮することができる。

【００３５】

【発明の実施の形態】以下、本発明の実施の形態を図面
に基づいて詳細に説明する。

【００３６】（実施の形態１）図１は、本発明の実施の
形態１による画像検出処理部のブロック図、図２は、本
発明の実施の形態１による画像検出処理部における画像
処理部のブロック図、図３（ａ）〜（ｅ）は、本発明の
実施の形態１による画像データと焦点位置との関係を示
した説明図、図４（ａ）〜（ｅ）は、本発明の実施の形
態１による被試験品における画像データおよび焦点検出
信号レベルを示した説明図、図５は、本発明の実施の形
態１によるエッジ検出における焦点位置演算回路のブロ
ック図、図６（ａ），（ｂ）は、本発明の実施の形態１
による空間フィルタにおける係数の構成図、図７は、本
発明の実施の形態１によるヒストグラム判定における焦
点位置演算回路のブロック図、図８は、本発明の実施の
形態１による周波数特性解析における焦点位置演算回路
のブロック図、図９は、本発明の実施の形態１による画
像データの分割例を示す画像表示図、図１０（ａ）〜
（ｅ）は、被試験物が複数の層構造を有し、光が一部透
過する対象の場合の画像データおよび焦点検出信号レベ
ルを示した説明図、図１１（ａ）〜（ｅ）は、本発明の
実施の形態１による画像データと焦点位置との関係を示
した別の説明図、図１２（ａ）〜（ｅ）は、本発明の実
施の形態１による被試験品における画像データおよび焦
点検出信号レベルを示した別の説明図、図１３は、本発
明の実施の形態１による画像検出処理部における画像処
理部の中の焦点位置演算回路の別のブロック図、図１４
（ａ）〜（ｃ）は、本発明の実施の形態１による有効／
無効領域判定を使用した焦点位置推定手順を説明する波
形図である。

【００３７】本実施の形態１において、半導体装置の異
物検査装置などにおける画像検出処理部１は、たとえ
ば、ＣＣＤカメラなどのビデオカメラ（撮影手段）２が
設けられ、ビデオカメラ２はアナログ信号をデジタル信
号に変換するＡ／Ｄ変換部３に接続されている。

【００３８】また、画像検出処理部１には、Ａ／Ｄ変換
部３の後段に接続されたフレームメモリ４が設けられて
おり、このフレームメモリ４によりＡ／Ｄ変換部３から
出力されたビデオカメラ２の画像データが格納される。

【００３９】さらに、画像検出処理部１には、画像処理
部５が設けられ、この画像処理部５によってフレームメ
モリ４に格納された任意の位置の画像データが必要に応
じて読み出され画像処理される。

【００４０】そして、画像処理部５は、たとえば、モニ
タなどの表示部（表示手段）６に接続されており、該画
像処理部５により合成処理された画像データが表示され
る。

【００４１】また、該画像処理部５は、図２に示すよう
に、フレームメモリ４に格納された画像データの内、Ｘ
（横）方向およびＹ（縦）方向に一定の画素数領域に分
割する領域分割回路（領域分割手段）７が設けられてい
る。

【００４２】さらに、画像処理部５には、焦点位置の演
算を行う焦点位置演算回路（焦点演算手段）８が設けら
れ、領域分割回路７と接続されており、焦点位置演算回
路８の後段には焦点位置演算回路８の演算結果に基づい
て画像の合成を行う画像合成回路（画像合成手段）９が
接続されている。

【００４３】次に、本実施の形態の作用について説明す
る。

【００４４】まず、図３（ａ）〜（ｅ）を用いて、反射
型の光学顕微鏡を使用した場合の最適焦点位置の検出原
理を説明する。

【００４５】ここでは説明を単純化するため、平面上に
高さｈの正方形の板Ｔ１があり、これを高倍率（数十〜
数百倍）の反射型光学顕微鏡で観察した場合を示す。板
Ｔ１の高さｈは焦点深度とほぼ同程度のもの（数μｍ程
度）と仮定する。

【００４６】また、図３（ａ）〜（ｅ）においては、向
かって左側に板Ｔ１における顕微鏡の焦点位置を、向か
って右側には焦点位置を変化させた画像ｍ１〜ｍ５を概
念的に示したものである。

【００４７】ここで、議論を単純化するために平面上に
は図３（ｄ）に示すように右上から左下に向かう斜線の
パターンが存在し、板Ｔ１の上には、図３（ｂ）に示す
ように、左上から右下に向かう斜線のパターンが存在す
る場合を考える。なお、図３（ａ）〜（ｅ）におけるハ
ッチングは表面上のパターンを示すものであり、断面を
示すものではない。

【００４８】まず、板Ｔ１の表面に着目すると、焦点位
置が図３（ａ）〜（ｅ）のように変化した場合、図３
（ｂ）の位置で斜線パターンが最もはっきりと観測さ
れ、この位置から離れるに従って斜線パターンがぼけて
しまう。

【００４９】これに対して、平面上のパターンに関して
は、図３（ｄ）の位置で斜線パターンが最もはっきりと
観測され、この位置から離れるに従って斜線パターンが
ぼけてしまう。

【００５０】よって、焦点位置を変化させて撮像した画
像から、板Ｔ１の部分に関しては図３（ｂ）に示す位置
が最適焦点位置と判定でき、平面上の部分に関しては図
３（ｄ）の位置が最適焦点位置であると判定することが
できる。

【００５１】次に、平面上や板Ｔ１の上に図３のような
パターンがない、平坦部の場合の処理について述べる。
この場合、反射光の強度が焦点位置により変化する。す
なわち、照明光が被写体の表面に絞り込まれて照射さ
れ、光学系の焦点が被写体に合っている場合には、絞り
による影響、いわゆる、けられが最小となり、反射強度
が最大となり、焦点ずれが大きくなるにしたがって反射
強度は小さくなる。

【００５２】なお、光学系によっては反射光の強度が焦
点位置によりあまり変化しない場合がある。この場合の
処理に関しては後述する。

【００５３】したがって、焦点ずれの計算は画像を複数
の領域に分割し、それぞれの領域で最適焦点位置を計算
すればよいことになる。

【００５４】次に、図２に示す画像検出処理部１におけ
る作用を説明する。

【００５５】まず、半導体ウエハ上に形成されたパター
ンなどである被試験品の画像データをビデオカメラ２に
より取り込み、Ａ／Ｄ変換部３により、その画像データ
をデジタルデータに変換し、フレームメモリ４に格納す
る。

【００５６】その後、画像処理部５に設けられた領域分
割回路７はフレームメモリ４に格納されている画像デー
タを取り込み、水平方向におけるＹ（縦）方向およびＸ
（横）方向に所定の画素数、たとえば、４画素または８
画素を１単位とした領域（ブロック）に分割を行う。な
お、このブロックの大きさは任意である。

【００５７】そして、領域分割回路７により分割された
画像データは、図４（ａ）〜（ｅ）に示すようになる。
なお、図４（ａ）、（ｂ）、（ｄ）、（ｅ）におけるハ
ッチングは焦点のずれを示すものであり、断面を示すも
のでない。

【００５８】この図４（ａ）〜（ｅ）において、向かっ
て左側は、取り込まれた焦点位置の異なる５つのフレー
ムの画像データＭ１〜Ｍ５の例であり、これら画像デー
タＭ１〜Ｍ５における領域Ａ〜Ｅは分割された領域全体
を示すものである。

【００５９】また、Ｘ方向に切り出した１ライン分の画
像データブロックをＡＨ−１〜ＥＨ−１とする。

【００６０】さらに、右側は画像データＭ１〜Ｍ５にお
けるＸ方向の１ライン分の画像データブロックであるラ
インＡＨ−１〜ＥＨ−１における焦点検出信号レベルを
模式的に示したものであり、横軸は水平方向の位置を示
しており、ＰＴ１は板Ｔ１の位置を、Ｐは平面を示して
いる。

【００６１】この場合、ＰＴ１の位置の焦点検出信号レ
ベルに注目すると、図４（ｂ）で最大（極大）となる。
また、平面Ｐの焦点検出信号レベルは図４（ｄ）で最大
（極大）となる。

【００６２】また、この場合の領域分割の処理は、フレ
ームメモリ４からの読み出しアドレスを切り換えること
により実現できる。

【００６３】このように、図２に示す領域分割回路７に
よって分割された画像データは、焦点位置演算回路８に
入力され、二次元画像のＸ方向およびＹ方向に関して、
前述した１単位の領域における最適な焦点位置の計算を
行う。

【００６４】また、この焦点位置演算回路８による焦点
ずれの計算方法には、空間フィルタリング検出方法、ヒ
ストグラム判定方法および周波特性解析方法などがあ
る。

【００６５】まず、空間フィルタリング検出方法による
焦点ずれの計算方法を説明する。

【００６６】空間フィルタリング検出方法において、焦
点位置演算回路８は、図５に示すように、所定の係数か
らなる空間フィルタ８ａおよび該空間フィルタ８ａの係
数に基づいて微分演算を行う成分比較回路８ｂから構成
されている。

【００６７】これは焦点が最も合っている画像に関して
は、所定の領域における画素の信号とその周辺における
画素の信号の差が最も大きくなるという性質を利用する
ものである。

【００６８】また、この空間フィルタ８ａにおける係数
を示す例としては、図６（ａ）に示すように、４近傍ラ
プラシアンがあり、所定の領域におけるＸ方向とＹ方向
に関する微分演算を行うものである。

【００６９】したがって、Ｘ方向またはＹ方向に変化が
あれば大きな信号が出力される。

【００７０】同様に、空間フィルタ８ａにおける係数を
示す例としては、図６（ｂ）に示すように、８近傍ラプ
ラシアンがあり、この場合、Ｘ方向とＹ方向以外に斜め
方向の変化があると信号が出力される。

【００７１】また、図５に示す空間フィルタ８ａとして
は、これら４近傍ラプラシアンならびに８近傍ラプラシ
アン以外に、Ｒｏｂｅｒｔｓフィルタ、Ｆｏｒｓｅｎフ
ィルタやレンジフィルタなど種々のフィルタが適用可能
である。

【００７２】そして、この空間フィルタ８ａの出力を成
分比較回路８ｂに入力し、図４（ａ）〜（ｅ）に示す焦
点位置の異なる５フレームの画像データＭ１〜Ｍ５にお
ける領域Ａ〜Ｅに関してそれぞれの信号レベルの比較を
行う。

【００７３】それにより、ＰＴ１の位置の焦点検出信号
レベルは図４（ｂ）で最大、平面Ｐの位置の焦点検出信
号レベルは図４（ｄ）で最大と判定され、この結果を画
像合成回路９に出力し、全画面にわたって合成すればよ
い。

【００７４】そして、画像合成回路９によって合成され
た画像データは、表示部６に表示されることになる。

【００７５】次に、ヒストグラム判定方法における焦点
位置演算回路８は、図７に示すように、ヒストグラムを
計算するヒストグラム計算回路８ｃおよび該ヒストグラ
ム計算回路８ｃの計算結果に基づいてヒストグラムの分
散の大きさを比較する成分比較回路８ｄにより構成され
ている。

【００７６】これは焦点が最も合っている画像に関して
は、着目する所定の領域の画像信号のヒストグラムの分
布が広がるという性質を利用するものであり、焦点位置
がずれると隣接画素からの信号がミックスされるため、
平均化されることになる。

【００７７】したがって、ヒストグラムの分散が最大と
なるかあるいは信号の最大値と最小値の差が最も大きく
なった位置を焦点が最も合っていると判断すればよい。

【００７８】よって、図７に示すヒストグラム計算回路
８ｃでは、所定の領域内のヒストグラムを計算し、この
結果を成分比較回路８ｄに入力する。この回路では、図
４（ａ）〜（ｂ）に示す焦点位置の異なる５フレームに
おける画像データＭ１〜Ｍ５に関して、それぞれヒスト
グラムの分散の大きさを比較する。

【００７９】そして、その結果、ＰＴ１の位置の焦点検
出信号レベルは図４（ｂ）で最大、平面Ｐの焦点検出信
号レベルは図４（ｄ）で最大と判断され、これを図７に
示す画像合成回路９に出力する。同様に他の領域におい
ても最適焦点位置の画像データを出力し、全画面にわた
って画像データを合成すればよい。

【００８０】また、同様に、画像合成回路９により合成
された画像データは、図２に示す表示部６に表示される
ことになる。

【００８１】次に、周波数特性解析方法による焦点位置
演算回路８は、図８に示すように、たとえば、図４に示
す画像データＭ１〜Ｍ５おける一次元または二次元の周
波数成分を計算する周波数変換回路８ｅおよび該周波数
変換回路８ｅの計算結果に基づいて高周波成分の比較を
行う成分比較回路８ｆにより構成されている。

【００８２】ここで、周波数変換器８ｅとしては、高速
フーリエ変換（ＦＦＴ）回路、離散コサイン変換（ＤＣ
Ｔ）回路、ウェーブレット変換回路、アダマール変換回
路やハール変換回路などを使用すればよい。

【００８３】また、この周波数特性解析方法は焦点が最
も合っている画像に関して、着目する所定の領域におけ
る画像データの信号が焦点ずれのある領域に比較して高
周波数成分が大きくなるという性質を利用するものであ
る。

【００８４】したがって、焦点位置がずれると隣接する
領域からの信号がミックスされるため、高周波成分が急
激に低下するので、高周波成分が最も大きくなった位置
を焦点が最も合っていると判断すればよい。

【００８５】よって、図８に示す周波数変換回路８ｅで
は、所定の領域内の画像データに関して、一次元または
二次元の周波数成分を計算し、この結果を成分比較回路
８ｆに入力する。

【００８６】この計算結果に基づいて、成分比較回路８
ｆが周波数成分の比較を行い、高周波成分が最も大きい
と判断された画像データ、すなわち、最適焦点位置の画
像データを画像合成回路９に出力し、同様に全画面にわ
たって合成すればよい。

【００８７】この場合も、合成された画像データは、最
適焦点位置の画像として図２に示す表示部６に表示され
る。

【００８８】次に、画像合成回路９では、前述した領域
毎に焦点ずれ量と合焦点位置の画像を次のように処理す
る。

【００８９】最適焦点像合成表示においては、所定の領
域毎に最適焦点位置の画像データが出力されるので、こ
れを領域毎に合成して全画面を構成すれば、画面のどの
位置でもピントのあった画像を表示部６に表示すること
が可能となる。

【００９０】また、上記の焦点ずれの計算結果に基づい
て、高さ方向の情報を統合することにより、被写体の高
さを決定することが可能となる。

【００９１】したがって、この高さ情報を、計算した焦
点ずれの量に基づいて輝度変調または色変調して表示す
ることにより、人間が認識しやすい形で高さ情報を表示
することが可能となる。

【００９２】同様に、焦点ずれの量に基づいて、この高
さ情報に関して斜め上方から見た画像を三次元画像に合
成して表示することにより、人間がより認識しやすい表
示形式とすることができる。

【００９３】また、領域分割回路７の別の例としては、
画像データにおける信号の特徴量による分割方法があ
る。

【００９４】たとえば、図９に示すように、画像データ
Ｍ６における信号レベルまたはエッジ部分によって領域
を複数に分割する。ここでは、領域を境界が存在する領
域Ｇ１〜Ｇ３と残りの領域との４つに分割することにな
る。

【００９５】また、被試験品の画像によっては、画像デ
ータにおける信号レベルに対応して画像データの領域を
分割する方法や光の波長に対応して画像データの領域を
分割する方法なども有効である。

【００９６】次に、被試験物が複数の層構造を有し、光
が一部透過する対象の場合における層構造の合焦点位置
を決定する場合の処理について説明する。

【００９７】まず、図１０に、被試験物が複数の層構造
を有する場合の撮像画面例と焦点検出信号レベルを示
す。この図１０は前述した図４の条件と同じであるので
詳細な説明を省略する。

【００９８】ここで、平面Ｐの信号レベルは図４と同じ
であるが、ＰＴ１の部分の反射率が異なっており、光を
一部透過する構造となっているものとする。この場合、
図１０に示したように、ＰＴ１の表面（第１層）と下層
の表面（第２層）の２ヶ所で焦点が合うことになる。こ
の結果、図１０（ｂ），（ｄ）で焦点検出信号レベルが
極大値を取る。

【００９９】したがって、板Ｔ１（図３）の第１層また
は第２層を指定して全画面の画像を合成すれば、画面の
任意の位置の層構造を表示部６（図１）に表示すること
が可能となる。

【０１００】さらに、板Ｔ１の第１層と第２層の高さ
（厚さ）の差を計算して、これを三次元画像に合成して
表示すれば、板Ｔ１の高さのみを表示することも可能と
なる。

【０１０１】同様に、被試験物が複数の層構造を有する
場合でも、焦点位置の異なる画像データを取り込み、２
点以上の合焦点位置の差分を三次元画像に合成して表示
することが可能となる。

【０１０２】次に、平面上や板Ｔ１上に図３に示すよう
なパターンが無く、反射率がほぼ一定の平坦部の場合の
処理について述べる。

【０１０３】この場合、反射光の強度が焦点位置により
変化する場合には、前述したけられが最小となり、反射
強度が最大になって焦点ずれが大きくなるにしたがって
反射強度は小さくなる。

【０１０４】しかし、光学系によっては反射光の強度が
焦点位置によりあまり変化しない場合がある。また、反
射光の強度が十分ではなく、信号対雑音比（Ｓ／Ｎ）が
焦点誤差の計算に悪影響を与える場合がある。

【０１０５】この場合の処理方法の原理を、図１１
（ａ）〜（ｅ）、図１２（ａ）〜（ｅ）を用いて説明す
る。

【０１０６】まず、図１１（ａ）〜（ｅ）においては、
前述した図３（ａ）〜（ｅ）と類似の状態を示したもの
であり、右側に焦点位置を左側に撮像画面を示してい
る。また、議論をわかりやすくするため平面上に所定の
高さの台形の板Ｔ１がある場合を考える。

【０１０７】ここで、焦点位置を上方から順番に変化さ
せてくると、まず図１１（ｂ）で板Ｔ１の上部に焦点が
合い、図１１（ｄ）で板Ｔ１の下部に焦点が合う。な
お、図１１（ａ）〜（ｅ）では、最も焦点が合っている
部分の輪郭部を太い線で表し、焦点がずれるに従って線
の太さが細くなるように表現している。

【０１０８】次に、図１２（ａ）〜（ｅ）は、図４
（ａ）〜（ｅ）と類似の状態を示したものであり、右側
に撮像画面を左側に焦点検出信号レベルを示している。
板Ｔ１（図１１）の中央部の平坦部や、境界の無い平面
部では焦点検出レベルが非常に小さい。

【０１０９】板Ｔ１の上部の境界部は、図１２（ｂ）で
焦点検出レベルが最大となり、板Ｔ１の下部の平面との
境界部は図１２（ｄ）で焦点検出レベルが最大となる。

【０１１０】このように、対象の境界部のみでしか焦点
誤差信号が得られない場合には、図１３に示す回路構成
によって処理を行えばよい。

【０１１１】図１３において、画像処理部５に設けられ
た領域分割回路７は、フレームメモリ４（図２）に格納
されている画像データを取り込み、Ｙ（縦）方向および
Ｘ（横）方向に所定の画素数、たとえば、４×４画素ま
たは８×８画素を１単位とした領域に分割を行う。な
お、この領域ブロックの大きさは任意である。

【０１１２】次に、図１３に示すように、焦点位置演算
回路８の回路構成は、焦点ずれ計算回路８ｈ、有効／無
効領域判定回路８ｉ、有効領域焦点推定回路８ｊ、無効
領域焦点推定回路８ｋ、最適焦点位置推定回路８ｍから
構成されている。

【０１１３】焦点ずれ計算回路８ｈでは、前述した方法
で焦点ずれ量を計算して、有効／無効領域判定回路８ｉ
に出力する。この有効／無効領域判定回路８ｉでは、焦
点ずれ量が設定値以上の場合に有効な焦点ずれ量が検出
されたと判断し、有効領域焦点位置推定回路８ｊに出力
する。設定値としては、たとえば、図１２（ａ）〜
（ｅ）に示す平坦部のレベルとすればよい。

【０１１４】次に、有効領域焦点推定回路８ｊ回路で
は、図１２（ａ）〜（ｅ）までの有効領域の結果を利用
して有効領域の焦点位置を推定する。

【０１１５】ここで、焦点ずれ量が設定値以下の場合に
は平坦部と判断し、無効領域として信号を無効領域焦点
推定回路８ｋに出力する。また、無効領域と判断された
場合、正確な焦点位置を決定できないため、周辺の有効
領域の結果を利用して焦点位置を推定する。

【０１１６】次に、無効領域焦点推定回路８ｋの処理手
順を信号波形的に示した図１４（ａ）〜（ｃ）を用いて
説明する。ここで、横軸は撮像画面の水平方向の位置１
〜１２で、縦軸は最適焦点位置である位置ａ〜ｅを示し
ている。なお、図１４の最上部には板Ｔ１を同時に示し
てある。

【０１１７】まず、第１段階では、有効／無効領域判定
回路８ｉで焦点ずれ量が設定値以上と判断された位置
３，４，７，８のデータを、有効領域焦点位置推定回路
８ｊに出力する。

【０１１８】これらの結果から、図１４（ａ）に示すよ
うに位置３、８の最適焦点位置は、焦点位置である位置
ｄ、位置４，７の最適焦点位置は位置ｂと推定し、この
結果を最適焦点位置推定回路８ｍに出力する。この段階
では、これ以外の位置の焦点位置は決定できない。

【０１１９】そして、第２段階では、最適焦点位置が決
定された位置３，４，７，８に隣接する位置２，５，
６，９に関して最適焦点位置を決定する。位置３，８の
最適焦点位置は位置ｄであるので、これに隣接する位置
２，９の最適焦点位置も位置ｄと推定する。同様に位置
４，７の最適焦点位置が位置ｂであるので、これに隣接
する位置５，６の最適焦点位置も位置ｂと推定する。

【０１２０】次に、第３段階では、同様の処理により位
置１，１０の最適焦点位置を位置ｄと推定する。これを
全領域にわたって処理を行えばよい。

【０１２１】よって、この結果、平坦部の焦点ずれ量が
直接計算できない場合でも、エッジ部などの有効領域に
隣接している等の条件より焦点ずれ量を推定することが
可能となる。

【０１２２】それにより、本実施の形態１では、画像処
理部５が焦点ずれ量に基づいて最適焦点位置の画像デー
タを合成するので、簡単な回路構成で高精度の画像を短
時間で表示することができる。

【０１２３】また、表示される画像を輝度変調、色変調
または三次元表示させることもできるので、被試験品の
形状をより認識しやすくすることができる。

【０１２４】さらに、本実施の形態１における機能は、
ソフトウェアによって実現することも可能である。

【０１２５】（実施の形態２）図１５は、本発明の実施
の形態２による画像検出処理部における画像処理部のブ
ロック図である。

【０１２６】本実施の形態２においては、画像処理部５
が、図１５に示すように、領域分割回路（領域分割手
段）７、焦点位置演算回路（焦点演算手段）８、画像合
成回路（画像合成手段）９および同じ焦点位置にある所
定の画像データの差を計算する差分演算回路（差分演算
手段）１０により構成されている。

【０１２７】また、画像処理部５の前段に設けられたフ
レームメモリ４は、画像処理部５における領域分割回路
７に接続されている。

【０１２８】そして、この領域分割回路７は、焦点位置
演算回路８および差分演算回路１０と接続され、焦点位
置演算回路８は、画像合成回路９に接続されている。

【０１２９】次に、本実施の形態の作用について説明す
る。

【０１３０】まず、正常品であるサンプルの補助画像デ
ータと被試験品における画像データとを焦点位置を変え
てビデオカメラ２により取り込み、その取り込んだアナ
ログデータをＡ／Ｄ変換部３によりデジタルデータに変
換し、フレームメモリ４に格納する。このフレームメモ
リの内容は、画像処理部５から必要に応じて任意の位置
のデータが読み出される。

【０１３１】そして、領域分割回路７は、フレームメモ
リ４に格納されているサンプルの補助画像データおよび
被試験品の画像データを取り込み、前記実施の形態と同
様に、たとえば、４画素または８画素を１単位とした領
域に分割を行う。

【０１３２】次に、差分演算回路１０によって、これら
サンプルの補助画像データおよび被試験品の画像データ
におけるそれぞれを比較して、その差分を算出し、その
結果を焦点位置演算回路８に入力して焦点ずれを計算す
る。

【０１３３】また、この焦点ずれの計算は、たとえば、
画像データにおけるエッジ部などを利用して計算する。

【０１３４】よって、サンプルの補助画像データと被試
験品の画像データとの差分だけによる焦点ずれを計算す
るので、欠陥の画像データのみの三次元形状が検出され
ることになる。

【０１３５】また、本実施の形態において、焦点ずれの
計算、画像データの合成および画像データの表示は、前
記実施の形態１と同様の処理が行われ、表示部６に欠陥
箇所の画像データのみの三次元形状により表示されるこ
とになる。

【０１３６】さらに、この場合では、欠陥の画像データ
のみの画像信号に対して誤差ずれの計算が行われるが、
サンプルの補助画像データと被試験品の画像データとの
差が設定値以下の場合には、誤差ずれの計算を省略する
ことにより、処理時間を大幅に短縮することもできる。

【０１３７】なお、サンプルの補助画像データと被試験
品の画像データにおける領域の位置が完全に一致しない
場合には、この誤差ずれを補正した後に画像データの差
分を計算し、この結果に対して焦点ずれを計算すればよ
い。

【０１３８】また、焦点ずれの計算を画像データにおけ
るエッジ部などを利用して計算したが、たとえば、エッ
ジ部がない平坦部だけの領域に関しては信号レベルが極
大または極小となるので、その信号レベルに基づいて最
適焦点位置を求めてもよい。

【０１３９】さらに、焦点ずれの計算は、最初に広い領
域で焦点位置演算回路８ならびに差分演算回路１０が誤
差ずれの計算を行うことによって大まかな判断を行い、
その後、その領域を次第に細分化して分割しながら誤差
ずれを複数回（２回以上）計算することによって、より
高精度な画像を表示できる。

【０１４０】また、エッジ部がないような領域に関して
も、周辺のエッジ部のある領域に隣接しているかどうか
でも焦点ずれを精度よく計算することができる。

【０１４１】それにより、本実施の形態２によれば、差
分演算回路１０によって簡単な回路構成により短時間で
欠陥の画像データのみを検出し、三次元形状で表示させ
ることができる。

【０１４２】また、欠陥の画像データのみが三次元形状
で表示されるので、半導体ウエハに形成された半導体素
子や配線などの繰り返しパターンなどの欠陥をより認識
しやすくすることができる。

【０１４３】さらに、本実施の形態２における機能も、
ソフトウェアによって実現することが可能である。

【０１４４】以上、本発明者によってなされた発明を発
明の実施の形態に基づき具体的に説明したが、本発明は
前記実施の形態に限定されるものではなく、その要旨を
逸脱しない範囲で種々変更可能であることはいうまでも
ない。

【０１４５】たとえば、前記実施の形態１，２では、被
試験品における三次元形状の画像処理について記載した
が、通常のテレビカメラなどによる画像に対して適用す
ることができる。

【０１４６】

【発明の効果】本願によって開示される発明のうち、代
表的なものによって得られる効果を簡単に説明すれば、
以下のとおりである。

【０１４７】（１）本発明によれば、簡単な回路構成お
よびシステム構成により、高精度の画像を短時間で表示
することができる。

【０１４８】（２）また、本発明では、表示される画像
の高さ方向の情報を輝度変調、色変調による区別または
三次元により表示させることができ、被試験品の形状を
より認識しやすくできる。

【０１４９】（３）さらに、発明においては、上記
（１），（２）により、異物検査装置などの画像処理技
術が用いられた装置が低コストとなり、画像処理におけ
る作業時間も大幅に短縮できる。

【図面の簡単な説明】

【図１】本発明の実施の形態１による画像検出処理部の
ブロック図である。

【図２】本発明の実施の形態１による画像検出処理部に
おける画像処理部のブロック図である。

【図３】（ａ）〜（ｅ）は、本発明の実施の形態１によ
る画像データと焦点位置との関係を示した説明図であ
る。

【図４】（ａ）〜（ｅ）は、本発明の実施の形態１によ
る被試験品における画像データおよび焦点検出信号レベ
ルを示した説明図である。

【図５】本発明の実施の形態１によるエッジ検出におけ
る焦点位置演算回路のブロック図である。

【図６】（ａ），（ｂ）は、本発明の実施の形態１によ
る空間フィルタにおける係数の構成図である。

【図７】本発明の実施の形態１によるヒストグラム判定
における焦点位置演算回路のブロック図である。

【図８】本発明の実施の形態１による周波数特性解析に
おける焦点位置演算回路のブロック図である。

【図９】本発明の実施の形態１による画像データの分割
例を示す画像表示図である。

【図１０】（ａ）〜（ｅ）は、被試験物が複数の層構造
を有し、光が一部透過する対象の場合の画像データおよ
び焦点検出信号レベルを示した説明図である。

【図１１】（ａ）〜（ｅ）は、本発明の実施の形態１に
よる画像データと焦点位置との関係を示した別の説明図
である。

【図１２】（ａ）〜（ｅ）は、本発明の実施の形態１に
よる被試験品における画像データおよび焦点検出信号レ
ベルを示した別の説明図である。

【図１３】本発明の実施の形態１による画像検出処理部
における画像処理部の中の焦点位置演算回路の別のブロ
ック図である。

【図１４】（ａ）〜（ｃ）は、本発明の実施の形態１に
よる有効／無効領域判定を使用した焦点位置推定手順を
説明する波形図である。

【図１５】本発明の実施の形態２による画像検出処理部
における画像処理部のブロック図である。

【符号の説明】

１ 画像検出処理部 ２ ビデオカメラ（撮影手段） ３ Ａ／Ｄ変換部 ４ フレームメモリ ５ 画像処理部 ６ 表示部（表示手段） ７ 領域分割回路（領域分割手段） ８ 焦点位置演算回路（焦点演算手段） ８ａ 空間フィルタ ８ｂ 成分比較回路 ８ｃ ヒストグラム計算回路 ８ｄ 成分比較回路 ８ｅ 周波数変換回路 ８ｆ 成分比較回路 ８ｈ 焦点ずれ計算回路 ８ｉ 有効／無効領域判定回路 ８ｊ 有効領域焦点推定回路 ８ｋ 無効領域焦点推定回路 ８ｍ 最適焦点位置推定回路 ９ 画像合成回路（画像合成手段） １０ 差分演算回路（差分演算手段） Ｔ１ 板 Ｍ１〜Ｍ６ 画像データ ｍ１〜ｍ５ 画像 ＡＨ−１〜ＥＨ−１ ライン Ａ〜Ｅ 領域 Ｇ１〜Ｇ３ 領域

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.⁶ 識別記号 庁内整理番号 ＦＩ 技術表示箇所 Ｇ０６Ｔ 7/00 Ｇ０６Ｆ 15/68 ３１０Ｊ // Ｈ０１Ｌ 21/66 9061−5Ｈ 15/70 ４６０Ｚ (72)発明者 岡橋 卓夫 東京都小平市上水本町５丁目22番１号 株 式会社日立マイコンシステム内 (72)発明者 吉武 康裕 神奈川県横浜市戸塚区吉田町292番地 株 式会社日立製作所生産技術研究所内

Claims (13)

【特許請求の範囲】
1. 【請求項１】 焦点位置の異なる画像データを取り込む
   工程と、 取り込まれた画像データを任意の領域に分割し、それぞ
   れの領域における焦点誤差を計算する工程と、 前記焦点誤差の計算結果に基づいて、各々の領域におけ
   る最適焦点位置の画像データだけを合成処理する工程と
   を有することを特徴とする画像処理方法。
2. 【請求項２】 被試験品における焦点位置の異なる画像
   データおよびサンプルにおける焦点位置の異なる補助画
   像データを取り込む工程と、 取り込んだ画像データと補助画像データとを任意の領域
   に分割し、それぞれの画像データの領域に対応する補助
   画像データの領域を比較し、その差分を計算する工程
   と、 前記差分に基づいて対応する領域毎における焦点誤差を
   計算する工程と、 その計算結果に基づいて最適焦点位置の画像データだけ
   を合成処理する工程とを有することを特徴とする画像処
   理方法。
3. 【請求項３】 焦点位置の異なる画像データを取り込む
   工程と、 取り込まれた画像データを任意の領域に分割し、それぞ
   れの領域における焦点誤差を計算する工程と、 前記焦点誤差に基づいて、２点以上の合焦点位置を決定
   する工程と、 それぞれの領域における合焦点位置の画像データだけを
   合成処理する工程または三次元画像に合成して表示する
   工程とを有することを特徴とする画像処理方法。
4. 【請求項４】 被試験品における焦点位置の異なる画像
   データおよびサンプルにおける焦点位置の異なる補助画
   像データを取り込む工程と、 取り込んだ画像データと補助画像データとを任意の領域
   に分割し、それぞれの画像データの領域に対応する補助
   画像データの領域を比較し、その差分を計算する工程
   と、 前記差分に基づいて対応する領域毎における焦点誤差を
   計算する工程と、 その計算結果に基づいて、１ないし２点以上の合焦点位
   置を決定する工程と、 決定された前記合焦点位置が１点であると焦点誤差を零
   とし、２点以上であると、前記合焦点位置の差分を三次
   元画像に合成し、表示を行う工程とを有することを特徴
   とする画像処理方法。
5. 【請求項５】 請求項３記載の画像処理方法において、 それぞれの領域における合焦点位置の領域の高さを計算
   する工程と、 計算された領域の高さに基づいて三次元画像に合成し、
   表示を行う工程とを有することを特徴とする画像処理方
   法。
6. 【請求項６】 請求項１〜３のいずれか１項に記載の画
   像処理方法において、 前記焦点誤差に基づいてそれぞれの領域を有効領域と無
   効領域に分離する工程と、 前記有効領域に関して前記焦点位置のことなる画像デー
   タより最適焦点位置を決定する工程と、 前記無効領域に関して隣接する前記有効領域より順次最
   適焦点位置を決定する工程とを有することを特徴とする
   画像処理方法。
7. 【請求項７】 請求項１〜４のいずれか１項に記載の画
   像処理方法において、前記焦点誤差の計算が、画像デー
   タにおける所定の領域に隣接する他の領域の画素に重み
   付けをした画像データを空間フィルタ演算することを特
   徴とする画像処理方法。
8. 【請求項８】 請求項１〜４のいずれか１項に記載の画
   像処理方法において、前記焦点誤差の計算が、前記焦点
   誤差が計算される１画素を含んだ所定の領域におけるヒ
   ストグラムを計算し、そのヒストグラムの標準偏差また
   はヒストグラムの最大値と最小値の差を計算することを
   特徴とする画像処理方法。
9. 【請求項９】 請求項１〜４のいずれか１項に記載の画
   像処理方法において、前記焦点誤差の計算が、前記焦点
   誤差が計算される１画素を含んだ所定の領域における一
   次元または二次元の周波数解析を行い、その周波数解析
   で得られる高周波成分の大きさから計算または前記焦点
   誤差が計算される１画素を含んだ所定の領域における任
   意の画素を重み付けし、一次元または二次元の周波数解
   析を行い、その周波数解析で得られる高周波成分の大き
   さから計算することを特徴とする画像処理方法。
10. 【請求項１０】 請求項１〜９のいずれか１項に記載の
    画像処理方法において、分割される領域が、１画素また
    は２画素以上の任意に細分化されたブロックにより構成
    されていることを特徴とする画像処理方法。
11. 【請求項１１】 請求項１〜１０のいずれか１項に記載
    の画像処理方法において、前記最適焦点位置と焦点誤差
    とに基づいて焦点位置ずれ量を計算し、その焦点位置ず
    れ量に応じて輝度変調または色変調して表示する工程ま
    たは最適焦点位置の画像データと焦点誤差の計算結果に
    基づいた焦点位置誤差を三次元画像に合成して表示する
    工程のいずれかを有することを特徴とする画像処理方
    法。
12. 【請求項１２】 焦点位置の異なる画像データを取り込
    む撮影手段と、 前記撮影手段により取り込まれた画像データを任意の領
    域に分割を行う領域分割手段と、 前記領域分割手段によって分割されたそれぞれの領域に
    おける焦点誤差を計算する焦点演算手段と、 前記焦点演算手段の計算結果に基づいて、それぞれの領
    域における最適焦点位置の画像データだけを合成処理す
    る画像合成手段と、 前記画像合成手段により合成処理された画像データを表
    示する表示手段とよりなることを特徴とする画像処理装
    置。
13. 【請求項１３】 被試験品における焦点位置の異なる画
    像データおよびサンプルにおける焦点位置の異なる補助
    画像データを撮影手段と、 前記撮影手段によって取り込まれた画像データと補助画
    像データとを任意の領域に分割する領域分割手段と、 対応する画像データの領域と補助画像データの領域との
    比較を行い、その差分を計算する差分演算手段と、 前記差分演算手段により計算された差分に基づいて対応
    する領域毎における焦点誤差を計算する焦点演算手段
    と、 前記焦点演算手段の計算結果に基づいて最適焦点位置の
    画像データだけを合成処理する画像合成手段と、 前記画像合成手段により合成処理された画像データを表
    示する表示手段とよりなることを特徴とする画像処理装
    置。