JPH0226206B2 - - Google Patents

Description

【発明の詳細な説明】

〔産業上の利用分野〕 本発明は、主として、金属の熔解、精錬、圧
延、加工、熱処理及び超LSI，半導体，微生物等
の検査等の分野において、画像による品質管理，
検査，観察等を能率的に実施するための自動焦点
合せ装置に関するものである。 〔従来の技術〕 自動焦点合せ装置については、従来いくつかの
方法が提案されており、大別すると、次のように
なる。 (1) 影像対象面とレンズ間の距離を機械的に測定
する方法（例：特開昭51−107825号公報）。 (2) 影像対象面に焦点合せ用の光を当て、合焦位
置を検出する方法（例：特開昭58−196509号公
報）。 (3) 入射光そのものの情報から合焦位置を検出す
る方法（例：特開昭51−56628号公報）。 しかし、上記(1)の方法は、顕微鏡の焦点合せに
用いる場合、油侵顕微鏡には使えないという問題
がある。又既存の顕微鏡及びITVカメラ等の光
学系に対して自動焦点機能等を新たに付加する事
は非常に困難である。 又上記(2)の方法は、三角測量の原理を用いてお
り、投光手段と受光手段と撮影レンズが分離した
配置であり、油侵顕微鏡には使えないことは上記
(1)の方法と同様な問題を有するほか、特開昭58−
196509号公報による発明は、該光学系について、
開ループ制御であるから、部品加工の誤差等は吸
収出来ず、又、輝度標準偏差が左右非対称なる場
合の対策がない。 従つて、上記(1)，(2)の方法よりも(3)の方法の方
が有利である。 一方(3)の方式としては、 (A) 画像の輝度標準偏差の最大値から合焦位置を
求める方法（例：特開昭51−56628号公報）と、 (B) 画像の高調波パワーの最大値から合焦位置を
求める方法（例：特開昭54−40633号公報） が知られている。上記(A)，(B)の方法は、共に「画
像は光学系が合焦した時にそのコントラストが最
大となる」という事を前提条件としており、その
評価は、光電変換手段によつて光を電気信号に変
換し、その信号のばらつき又は高調波成分のパワ
ーによつて行つている。 一般には、第２図に示すように、合焦位置にお
いて、バラツキ（輝度標準偏差）又は、高調波成
分のパワーが最大値をとり、この最大値から合焦
位置が求められる。 〔発明が解決しようとする問題点〕 従来技術において、光電変換手段として、
ITVカメラ等を用いて、前述の輝度標準偏差の
変化を調べ、焦点合せを行うと、次のような問題
が生ずる。 (a) 光電変換手段のダイナミツクレンジを越える
光量が受光素子に入射した場合、出力信号が飽
和してしまう。そのため、第３図ａのAA′線で
示される部分の出力信号レベルは、第３図ｂに
示すように、本来輝度に対応して得られるべき
信号レベルL₁より低いL₂となる。 第３図ａの画像がボケた場合には、第４図ａ
に示す様になり、第４図ａのＢ―B′ライン上
の出力信号は、第３図ｂの場合と同様にL₂の
レベルで飽和を起す。ただし第４図ａ上でL₂
のレベル信号が出力される範囲は、像のボケの
ために第３図ａより広くなる。その結果第３図
ａ及び第４図ｂが多数の画素から構成されると
考えた時、出力信号の度数分布は各々第３図ｃ
及び第４図ｃに示される様になり、輝度標準偏
差の値は第５図に示すように像がボケた時の方
が大きくなる。 (b) 第６図ａに示すように、合焦位置における画
像が光電変換面外であつて、第６図ｂに示すよ
うにボケた時の画像はボケ点像分布関数の広が
り幅分だけ広がるために、合焦時に光電変換面
外にあつた物体像Ａがボケた時にはA′となり
光電変換面内に入いる。そのために第６図の例
では第７図に示す様に輝度標準偏差σは合焦位
置からずれる程大きくなり、輝度標準偏差は合
焦位置で最大値をとらない。 (c) 光学系として、顕微鏡を用いた場合の像のボ
ケ方は、対象が合焦位置から手前にずれた時と
遠くにずれた場合とで必ずしも対称性を示さ
ず、輝度標準偏差σの変化が第８図に示すよう
になる時がある。（ただし、第８図でσの変曲
点は合焦位置と一致している）。又、前記(a)，
(b)の現象が同時に生じた場合には、第９図に示
す様に輝度標準偏差はより複雑な変化を示し、
これ等の場合には、輝度標準偏差は合焦位置で
必ずしも最大値を示さない。 (d) 顕微鏡ステージの移動時の振動による画面の
振れや、ビデオ信号に重畳するノイズは、演算
した輝度標準偏差の変化にノイズとして重畳す
るため、輝度標準偏差が最大値をとる位置はこ
れらのノイズによつて変動しやすい。 上記(a)，(b)，(c)，(d)の問題は、輝度標準偏差か
ら合焦位置を求める場合に限らず、高調度パワー
から合焦位置を求める場合にも生ずる問題であつ
て、画像によつて焦点位置を検出する時における
本質的な問題である。 従つて、従来提起されている画像の合焦方式
は、高級な合焦を必要とする場合にはそのまゝ実
用にならない場合がある。 〔問題点を解決するための手段〕 この発明は。前述の問題に鑑みてなされたもの
であり、光電変換装置の飽和、視野の外の物体像
の影響、ボケの合焦位置に対する非対称性等があ
る場合にも、光電変換装置と対称との距離を変化
させつゝ得られる画像の輝度標準偏差の変化の２
階差分信号が合焦位置に対して対称であるという
性質に着目し、輝度標準偏差の変化の２階差分信
号の最も対称性の高い位置を合焦位置として検出
することにより、高い信頼性で合焦を行うもので
ある。 この発明は、例えば顕微鏡の様な光学系に対し
てITVカメラ等の光電変換手段を用いて被写体
の像の輝度信号を得、この信号から輝度標準偏差
を求め、次に光学系として顕微鏡を用いておれば
ステージの位置を、又カメラの様な光学系であれ
ばレンズの位置を、一定のピツチでスチツプ的に
移動させながら各位置において得られる画像の輝
度標準偏差σを求める。輝度標準偏差は、一般に
は、合焦位置にて最大値を示す量であり、これは
次の様に証明される。 合焦位置における画像の輝度分布：ｆ（ｘ・ｙ） 焦点の外れ位置における画像の輝度分布：ｇ
（ｘ・ｙ） 焦点外れ時のボケ点像分布関数：ｈ（ｘ・ｙ） （ただし、ｈ（ｘ・ｙ）は合焦位置からのずれ量
によつて変化する） とおくと、ボケ画像の輝度分布ｇは、ｈ及びｆの
関数として〔１〕式の様に表わせる。 ｇ（ｘ・ｙ）＝∫∫^∞ _-∞ｈ（ｘ−x′，ｙ−y′）ｆ（x
′・y′）
dx′dy′ ……〔１〕 この時、焦点外れ時の画像ｇ（ｘ・ｙ）の輝度
分布の標準偏差の２乗σ² _gと、合焦位置における画
像の輝度分布の標準偏差の２乗σ² _fとの差は、〔２〕
式の条件下に〔４〕式で示され、〔３〕式の条件
下に、非負の値となる。 〔条件１〕 ∫∫^∞ _-∞ｈ（ｘ・ｙ）dxdy＝Ｈ（０，０）＝１
……〔２〕 〔条件２〕 ｜Ｈ（fx・fy）｜｜Ｈ（０，０）｜ ……〔３〕 σ² _f−σ² _g＝∫∫^∞ _-∞（１−｜Ｈ（fx・fy）｜²）
｜Ｆ（fx・fy）｜²dfxdfy０……〔４〕 ここで〔２〕式は、焦点外れ時の光電変換面へ
の全入射光量が合焦時の全入射量と変わらないと
いう条件を示しており、〔３〕式はボケが空間的
なローパスフイルターであることを示している。 これらの条件は、一般的には、顕微鏡その他の
光学系において成立するものであり、従つて、
〔４〕式に示す様に、画像の輝度標準偏差σは合
焦時において最大となるものであるが、現実に
は、先に述べたように、以下のケースの場合にそ
の関係が成立しなくなる。 (1) 光電変換装置のサチユレーシヨン：〔４〕式
の導出にあたつて、ｆ（ｘ・ｙ）及びｇ（ｘ・
ｙ）は入射光量の値に比例して０〜∞の値をと
りうるものとして計算しているが、現実の光電
変換装置ではダイナミツクレンジが有限である
ため、サチユレーシヨンレベルV_s以上の値は
全てV_sとして評価される。従つて、サチユレ
ーシヨンが起つた場合には、〔４〕式の関係が
必ずしも成立しない。 (2) 視野の外の物体像の影響：〔４〕式の導出に
あたつて、光電変換装置の視野ｘ，ｙは−∞〜
∞の範囲をとりうるものとして計算している
が、現実の光電変換装置では、視野が有限であ
る。従つて、焦点の外れ時の輝度標準偏差演算
時に、視野内の画像の視野外にボケた成分が無
視されるとともに、視野外の画像が視野内にボ
ケ込んだ成分が加味されるため、〔４〕式の関
係が成立しない場合がおこりうる。 (3) ボケの合焦位置に対する非対称性：焦点外れ
の光電変換面への全入射光量は、合焦時の全入
射光量とは、厳密には一致せず、かつ合焦位置
に対して手前にボケた場合と、遠方にボケた場
合とで異なる。従つて、〔２〕式の前提は厳密
には成立せず〔４〕式の関係が成立たない場合
がある。 これ等の問題を背景として、発明者らは、種々
の実験を繰り返した結果、第１０図に比較対照し
て示す様に、これ等の外乱要因があつた場合にも
輝度標準偏差の変化の２階差分値が合焦位置に対
して対称となることを見出した。そして、輝度標
準偏差の変化の２階差分値において、最も対称と
なる位置を合焦位置として見出すべく、以下に示
す新たな評価関数Ｕ（ｚ）を導入した。 Ｕ（ｚ）＝∫^z0-|^z|_-z0+|_z|σ″（ｚ−ζ）σ″（ｚ＋
ζ）dζ
……〔５〕 σ″：輝度標準偏差の変化の２階差分値 −ｚ〜z₀：顕微鏡ステージ又は光学系レンズ走査
範囲 この評価関数Ｕ（ｚ）は、σ″（ｚ）がｚに関して
最も線対称となる位置において常に最大値をとる
ので、Ｕ（ｚ）が最大となる位置として合焦位置
を求めることができる（Ｕ（ｚ）はσ″（−ｚ）との
相互相関関数を意味している）。なおＵ（ｚ）は輝
度標準偏差の２階差分値の対称性を評価しうる関
数であればよく、〔５〕式に限定するものではな
い。 〔作 用〕 前揚の手段によつて顕微鏡、ITVカメラなど
の合焦をすることにより、正しくかつ速やかに未
熟練者でも合焦作業をすることが出来るばかり
か、製造，検査工程中の多数の試料を自動的に撮
影出来るようになるので、品質管理のための検査
などを極めて能率的に行なうことが出来る。 〔実施例〕 前述の方式に基づいた、具体的な実施例につい
て、以下に述べる。 第１図は本装置を顕微鏡に実施した時のプロツ
クダイヤグラムである。図において、１は顕微鏡
であり、２は試料である。試料２は顕微鏡ステー
ジ３上に固定されており、焦点合せは、顕微鏡ス
テージ３を顕微鏡の光軸方向（Ｚ軸方向）に上下
する事によつて行なわれる。又試料２は、投光手
段４，５によつて投光される。本実施例において
は、落射照明を用いているが、顕微鏡の投光手段
は、本実施例に限定されるべき性質のものではな
い。４は光源であり、５は光源４の光路を変える
ために使用されるハーフミラー又はプリズムであ
る。 顕微鏡ステージ３は、Ｚステージモータコント
ローラ６及びXYステージモータコントローラ７
によつて、Ｚステージ移動用モータ８及びXYス
テージ移動用モータ９を駆動する事により、一定
距離を正確に顕微鏡光軸方向（Ｚ軸方向）及びス
テージの面方向（XY方向）に移動させることが
出来る。Ｚステージモータコントローラ６及び
XYステージモータコントローラ７は、設定され
た移動距離信号を移動用モータ８，９を駆動する
信号に変換し、設定値分だけモータを駆動させる
ための回路である。 １０は顕微鏡１の結像面に設置された光電変換
手段で、多数個の光電変換素子から形成されてお
り、試料２の像の輝度に対応した電気出力がアナ
ログの時系列信号として出力されるものであつ
て、ITVカメラ等がこれに相当する。１１は同
期信号分離回路であり、光電変換手段１０により
得られる輝度の時系列信号より同期信号を分離
し、合焦制御回路１２に同期信号を供給するため
の手段である。 １２は同期信号分離回路１１より得られる同期
信号に従い、顕微鏡ステージ３上の位置を上方又
は下方に一定ピツチで移動させるための信号をＺ
ステージモータコントローラ６に与えると共に、
合焦判定回路１３に演算指令信号を発し、かつ、
合焦判定回路１３によつて合焦位置が検出された
後に、合焦判定回路１３によつて検出された合焦
位置信号の位置に顕微鏡ステージ３を移動させる
ための信号をＺステージモータコントローラ６に
発し、顕微鏡ステージ３を合焦位置に設定し、焦
点合せを行うと共に、必要であれば、顕微鏡ステ
ージ３のXY方向の位置を任意に制御し、試料２
の任意の位置にて合焦を行う機能を持つ合焦制御
回路である。 なお、同期信号は光電変換手段１０の同期信号
を同期信号分離回路１１によつて分離して得る方
法に限定されるものではなく、別途に同期信号発
生回路を設け、この信号により光電変換手段１０
及び合焦制御回路１２を駆動する方法もあり、こ
の場合には前記の同期信号分離回路１１は不必要
となる。 １３は合焦判定回路で、１４，１５，１６，１
７，１８，１９，２０に示す回路によつて構成さ
れており、光電変換手段１０によつて得られる各
ステージ位置Ziにおける信号から合焦位置を判定
し、合焦位置信号を合焦制御回路１２に発するも
のであつて、具体的な回路構成は以下に示される
ようになつている。 １４はアナログ／デイジタル変換回路であり、
光電変換手段１０から得られる多量の輝度信号を
正確にす速く演算するために、光電変換されたア
ナログ出力量をデジタル量に変換する。１５は輝
度標準偏差演算回路で、光電変換された時点での
各ステージ位置Ziにおける輝度標準偏差σ（Zi）
を計算する為の回路であり、輝度標準変差σは周
知の計算式 σ＝｛_M 〓^m-1 （Im−）²／Ｍ｝^1/2 ＝｛MΣI²m−（ΣIm）²｝^1/2／Ｍ ……〔６〕 但し、ｍ：光電変換素子部を区別する為の番号 Im：ｍ番目の光電変換素子の光電変換
出力のデジタル値 Ｍ：光電変換素子の総数 ＝_M 〓^m-1 Im／Ｍ によつて求められる。 １６は合焦制御回路１２によつて合焦測定範囲
（ステージ移動範囲） −Ｎ△ＺZiＮ△Ｚ（ｉ＝−Ｎ，…，Ｏ，…，
Ｎ） ……〔７〕 但し △Ｚ：Ｚ方向のスキヤニングピツチ の各位置において輝度標準偏差σ（Zi）を求めた
後、輝度標準偏差の２階差分値σ″（Zi）を計算す
る時の精度を向上させるためのノイズ除去回路で
ある。ノイズ要因としては、ステージ移動時のス
テージ振動等があり、これらの要因によるσの変
動の影響を低減する為にノイズ除去回路１６はσ
（Zi）に対して移動平均をかける。１７はノイズ
除去回路１６によつて得られたσ（Zi）に対して
２階差分を施し、輝度標準偏差の２階差分値
σ″（Zi）を求める輝度標準偏差２階差分演算回路
である。１８はσ″（Zi）の左右の線対称性を判定
する為の回路であり、左右の対称度は〔５〕式に
基づいて計算される。但しZiは離散値をとり、 ζn＝ｎ・△Ｚ（ｎ＝−Ｎ，…，Ｏ，…，Ｎ）
……〔８〕 とすれば〔５〕式の対称度合の評価関数Ｕ（Ｚ）
は、〔７〕，〔８〕式により、例えば Ｕ（zi）＝Ｕ（ｉ△ｚ）＝Ｎ−｜ｉ｜ 〓 〓 ｎ＝Ｎ＋｜ｉ｜σ（ｉ△ｚ＋ｎ△ｚ）σ″（ｉ△ｚ＋ｎ
−ｎ△ｚ）・△ｚ……〔9〕 で表わされる。

〔９〕式は第１１図ａに示すよう
に、各ステージ位置ζn＝（ｎ＝−Ｎ，…，Ｏ，
…，Ｎ）におけるσ″（ζn）（ｎ＝−Ｎ，…，Ｏ，
…，Ｎ）に対して、Ziだけづらした第１１図ｂの
σ″（ζn＋Zi）と、第１１図ｃの第１１図ａをζn＝
０にて左右折返しの関数をづらしたσ″（−ζn−Zi）
の積をとつたものであり、Ziをｉについてｉ＝
Ｎ，…，Ｏ，…，Ｎまで変化させた時の値Ｕ（Zi）
は第１１図ｄに示されるようになり、σ″（ζn）と
σ″（−ζn）の相互相関が求められる。ただし
〔５〕式の相関演算方法は、

〔９〕式のみに限定さ
れるものではなく、高速フーリエ変換（FFT）
によつても演算可能なものである。 第１図の１９は第１１図に示されるようにＵ
（Zi）の演算データは｜zi｜がＮ△Ｚに近づくに
従い演算データ数が少なくなり、その結果Ｕ（Zi）
の値の信頼性が低下するために信頼性の重み関数
Ｗ（Zi）を乗ずるウインドウ演算回路である。 このＷ（Zi）は演算データ数の減少と共に単調
減少する関数であればよく、例えばcosineの関数 Ｗ（Zi）＝cos（π・ｉ／2N） ……〔10〕 〔ｉ＝Ｎ，…，Ｏ，…，Ｎ） が用いられる。重み関数Ｗ（Zi）を乗じられた結
果左右対称性の評価関数Ｕ（Zi）は、 U^〜（Zi）＝Ｕ（Zi）・Ｗ（Zi） ……〔11〕 となる。２０は〔11〕式で示される左右対称性の
評価関数U^〜（Zi）が最大値をとるステージ位置、
即ち、顕微鏡１が合焦する合焦位置Zfを求める合
焦位置検出回路であり、又Zfの位置信号を合焦制
御回路１２へフイードバツクする事により顕微鏡
ステージ３を合焦位置へ移動させる。 なお、この発明は、合焦パラメータとして、画
像の輝度標準偏差σの２階差分を用いた場合のみ
ならず例えば、画像の高調波成分のパワーを用い
た場合等にも一般的に適用可能である。 〔発明の効果〕 この発明によれば、以下に示すような顕著な効
果が得られる。 (1) 画像の輝度標準偏差の最大値から合焦位置を
求める方法に比べ、光電変換手段の信号の飽
和，光電変換面を逸脱した像の影響，ボケの非
対称性等の外乱要因を受ける事なく合焦が可能
であり、又相互相関関数という統計量を用いて
評価しているため、ステージの振動等によるノ
イズの影響を受けにくい。 (2) 光電変換手段と、光学的な距離移動手段（顕
微鏡ステージ移動機構等）及び信号処理手段が
明確に分離されており、かつ、既存の光学系に
自動焦点合せ専用の光学系を組込む必要がな
く、構成が簡単である。

【図面の簡単な説明】

第１図はこの発明の一実施例を示すブロツク
図、第２図は顕微鏡、ITVカメラ等の焦点距離
と輝度標準偏差との関係を示す線図、第３図ａ，
ｂ，ｃは、ａは合焦時の画像、ｂは合焦時の出力
レベル、ｃは画素の度数分布の説明図、第４図
ａ，ｂ，ｃは、ａはボケ時の画像、ｂは出力レベ
ル、ｃは度数分布の説明図、第５図は光電変換素
子がサチユレーシヨンした時の標準偏差の線図、
第６図ａ，ｂは合焦時とボケ時の画像を示す模式
図、第７図は光電変換面外の物体像の影響を示す
線図、第８図はボケが非対称なσの線図、第９図
はボケが非対称なσの特異な線図、第１０図は輝
度標準偏差σの変化と、その２階差分σ″の変化の
線図の対照図、第１１図は評価関数

〔９〕式など
の線図。 図において、１は顕微鏡、２は試料、３は顕微
鏡ステージ、４は光源、５はハーフミラー、６は
Ｚステージモータコントローラ、７はXYステー
ジモータコントローラ、８はＺステージ移動用モ
ータ、９はXYステージ移動用モータ、１０は光
電変換手段、１１は同期信号分離回路、１２は合
焦制御回路、１３は合焦判定回路、１４はアナロ
グ／デジタル変換回路、１５は輝度標準偏差演算
回路、１６はノイズ除去回路、１７は輝度標準偏
差２階差分演算回路、１８は対称性判定回路、１
９はウインドウ演算回路、２０は合焦位置検出回
路。

Claims (1)

1. 【特許請求の範囲】 １ 光電変換手段と、この光電変換手段上に物体
   像を結像させるための光学系と、前記光電変換手
   段と光学系との距離をステツプ的に変化させる光
   学系駆動手段と、各光学系距離において光電変換
   された信号の標準変差を求める輝度標準偏差演算
   手段と、この輝度標準偏差演算手段によつて求め
   られた各光学距離における輝度標準偏差の変化の
   ２階差分値を求める輝度標準偏差２階差分手段
   と、この輝度標準偏差２階差分手段の出力信号の
   線対称性を判定する線対称性判定手段と、光学系
   駆動手段により最も線対称と判定された位置に光
   学距離を設定する合焦手段とを備えたことを特徴
   とする自動焦点合せ装置。 ２ 輝度標準偏差２階差分手段の出力信号の線対
   称性を判定する評価関数として、 Ｕ（ｚ）＝∫^z0-|^z|_-z0+|_z|σ″（ｚ−ζ）σ″（ｚ＋
   ζ）dζ ただしσ″：輝度標準偏差の２階差分信号 −ｚ〜z₀：光学距離走査範囲 を用いて、Ｕ（ｚ）が最大値をとる位置に光学距
   離を設定することを特徴とする特許請求の範囲第
   １項記載の自動焦点合せ装置。 ３ 光電変換手段によつて得られる信号に対し
   て、空間的な高域通過フイルタを施し、その出力
   信号を求めた後に各光学距離における出力信号の
   変化の２階差分信号の線対称性を判定し、最も線
   対称となる位置に光学距離を設定することを特徴
   とする特許請求の範囲第１項記載の自動焦点合せ
   装置。