JP3794744B2 - 合焦面検出方法及び画像入出力装置及び光学顕微鏡 - Google Patents
合焦面検出方法及び画像入出力装置及び光学顕微鏡 Download PDFInfo
- Publication number
- JP3794744B2 JP3794744B2 JP651496A JP651496A JP3794744B2 JP 3794744 B2 JP3794744 B2 JP 3794744B2 JP 651496 A JP651496 A JP 651496A JP 651496 A JP651496 A JP 651496A JP 3794744 B2 JP3794744 B2 JP 3794744B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- axis direction
- contrast
- line
- curve
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Testing Or Measuring Of Semiconductors Or The Like (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Measurement Of Optical Distance (AREA)
- Focusing (AREA)
- Microscoopes, Condenser (AREA)
- Automatic Focus Adjustment (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、光学顕微鏡から取り込まれた観察画像を加算して焦点深度の深い画像を生成する画像機器において、標本の加算すべき複数の合焦面を検出するための合焦面検出方法及び画像入出力装置及び光学顕微鏡に関する。
【０００２】
【従来の技術】
一般に、解像度にすぐれ、かつ、明るさの大きな画像を光学的に取り込むためには、画像を形成する結像光学系に開口の大きな光学素子を用いる必要がある。ところが、レンズに代表される結像用光学素子は、一般に開口が大きくなるのに応じて焦点深度が浅くなる傾向にある。しかるに、顕微鏡、カメラ、内視鏡等の画像機器の分野では、得られた画像が解像度や明るさに優れていることが望ましいのは勿論のこと、同時に焦点深度の深い画像であることが強く望まれる。
【０００３】
たとえば、光学顕微鏡による標本検査観察においては、半導体ウエハのパターン、凹凸のある生物標本、液晶パネル等、段差のある標本検査では、従来の焦点深度の浅いままの画像では観察画像にぼけ画像が混在して検査過程に支障をきたす可能性がある。特に、半導体ウエハのパターン検査工程では、簡単な操作によりぼけの少ない焦点深度を拡大した画像を得ることが強く望まれる。
【０００４】
従来は、合焦位置の異なる複数の画像を加算し、この加算画像にフーリエ変換等の適当な回復処理を施すことにより、解像度や明るさを損なうこと無く、焦点深度の深い画像を再生していた。具体的には、被写体をプリスキャンして画像を取り込み、その画像から被写体の合焦面の数、及び位置を検出し、その中から必要とする合焦面のみを選択して加算し、この加算画像に回復処理を加えることにより処理画像を得ている。
【０００５】
特開平５−２９６７６５号に、複数の合焦面の検出方法が開示されている。この検出方法によれば、撮影した画像からコントラストを検出し、このコントラスト検出を被写体を移動しながら撮影した画像に対して行い、各合焦方向位置（Ｚ位置）に対するコントラストカーブを求める。このコントラストカーブに対してフーリエ変換を行うことによりノイズとなる低周波成分を除去する。さらに、逆フーリエ変換することにより得られたコントラストカーブからピークを検出し、ピーク位置を合焦面と判断する。図１０は、以上の処理によって得られたコントラストカーブの具体例を示している。ピークａ，ｂ，ｃに対応したｚa ，ｚb ，ｚc が合焦位置となる。
【０００６】
上記した合焦面検出方法では、各合焦位置の合焦情報として画像のコントラストカーブを検出し、この検出したコントラストカーブのピーク値から加算すべき必要な合焦面を選択している。この合焦面検出方法は、合焦画像とぼけ画像の差に違いが見えるような被写体、特にぼけ画像の中にコントラストのはっきりとした部分がなかったり、又はその逆の被写体に対しては有効であり、最終的に加算し回復処理することにより良好な処理画像が得られる。
【０００７】
ところが、顕微鏡で観察するような試料では、上述したようなコントラストカーブから各合焦面においてコントラストのピーク値が現れるとは限らない。画像全体の面積に対して合焦領域が小さくなるような試料では、合焦面でのコントラスト値が極めて小さいので、図１１に示すように全体的にブロードなコントラスト特性のカーブとなってしまう。このようなコントラストカーブではピーク値がはっきりせずコントラストのピーク値による合焦面選択法が適用できない。
【０００８】
図１１に示すようなブロードなコントラスト特性の被写体の場合は、上述した合焦面選択法が適用できないので、図１２に示すように焦点深度に等しい間隔で画像（ａ，ｂ，ｃ，ｄ，ｅ，ｆ，ｇ，ｈ）を加算し、必要な合焦情報を持つ画像を形成している。
【０００９】
【発明が解決しようとする課題】
しかしながら、図１０に示すコントラストカーブのピーク値から必要な合焦面を選択して加算することにより焦点深度の深い画像を取得する方法は、図１１に示すようなピーク値を判断できないコントラスト特性を示す被写体の場合には合焦面または合焦範囲を選択できない場合があり、処理画像の情報に欠陥が生じる可能性がある。
【００１０】
また、図１２に示すように適当な間隔で画像を加算することにより焦点深度の深い画像を取得する方法は、どの面を選択しても合焦情報に漏れがなく、処理画像として観察できる利点はあるが、図１０に示すコントラストカーブを持った試料の場合には、画質を劣化させるコントラストの低い画像まで加算する可能性がある。
【００１１】
本発明は、以上のような実情に鑑みてなされたもので、どのような凹凸の試料であっても加算すべき適切な合焦面を検出することができ、合焦範囲でぼけのない画像を取りこぼすこと無く順次入力加算でき、良好な観察画像を得ることのできる合焦面検出方法及び画像入出力装置及び光学顕微鏡を提供することを目的とする。
【００１２】
【課題を解決するための手段】
本発明は、上記目的を達成するために以下のような手段を講じた。
請求項１に対応する発明は、結像光学系を通過した画像を標本の光軸方向の複数位置に焦点を合わせて複数枚の画像を取込む工程と、この取込まれた複数枚の画像についてＸ軸方向及びＹ軸方向のコントラスト値の変化を示すＸラインコントラストカーブ及びＹラインコントラストカーブをそれぞれ求める工程と、前記ＸラインコントラストカーブをＹ軸方向に連続する複数のＸラインについて加算することによりＸライン代表カーブを求め、前記ＹラインコントラストカーブをＸ軸方向に連続する複数のＹラインについて加算することによりＹライン代表カーブを求める工程と、前記複数枚の画像について求めた前記Ｘライン代表カーブを加算してＸライン代表コントラスト値を求め、前記複数枚の画像について求めた前記Ｙライン代表カーブを加算してＹライン代表コントラスト値を求める工程と、Ｘライン代表コントラスト値とＹライン代表コントラスト値とを比較して、光軸方向の各位置において大きい方の値を選択して前記標本の光軸方向のコントラストカーブを求める工程と、前記光軸方向のコントラストカーブから予め設定したしきい値を越えるピーク位置を検出して該ピーク位置を合焦面として選択し、前記コントラストカーブが前記しきい値を下回るまで前記ピーク位置を起点として前記光軸方向の前後に前記結像光学系の焦点深度だけ繰り返し移動して移動後の各点を合焦面として選択する工程とを備える。
【００１４】
本発明の合焦面検出方法によれば、どのような凹凸の試料であっても加算すべき適切な合焦面を検出することができる。
【００１５】
請求項２に対応する発明は、光学機器から取込まれた画像及び加算画像を記憶する画像メモリと、前記光学機器から取込まれた画像を前記画像メモリから読み出された画像又は加算画像に加算して再び前記画像メモリに記憶する画像加算手段と、前記画像加算手段から読出した加算画像に対して回復処理を加える画像処理手段と、前記画像処理手段で回復処理した加算画像を表示する表示手段と、前記光学機器に光軸方向の画像取込み位置を指示する駆動制御手段と、前記駆動制御手段に設定する光軸方向の画像取込み位置を検出する合焦面検出手段とを備えた画像入出力装置であり、前記合焦面検出手段は、前記光学機器を制御して標本の光軸方向の複数位置に焦点を合わせて複数枚の画像を取込む工程と、この取込まれた前記複数枚の画像についてＸ軸方向及びＹ軸方向のコントラスト値の変化を示すＸラインコントラストカーブ及びＹラインコントラストカーブをそれぞれ求める工程と、前記ＸラインコントラストカーブをＹ軸方向に連続する複数のＸラインについて加算することによりＸライン代表カーブを求め、前記ＹラインコントラストカーブをＸ軸方向に連続する複数のＹラインについて加算することによりＹライン代表カーブを求める工程と、前記複数枚の画像について求めた前記Ｘライン代表カーブを加算してＸライン代表コントラスト値を求め、前記複数枚の画像について求めた前記Ｙライン代表カーブを加算してＹライン代表コントラスト値を求める工程と、Ｘライン代表コントラスト値とＹライン代表コントラスト値とを比較して、光軸方向の各位置において大きい方の値を選択して前記標本の光軸方向のコントラストカーブを求める工程と、前記光軸方向のコントラストカーブから予め設定したしきい値を越えるピーク位置を検出して該ピーク位置を合焦面として選択し、前記コントラストカーブが前記しきい値を下回るまで前記ピーク位置を起点として前記光軸方向の前後に前記結像光学系の焦点深度だけ繰り返し移動して移動後の各点を合焦面として選択する工程とを備える。
請求項３に対応する発明は、搭載した標本をＸ，Ｙ方向へ移動可能なステージと、前記ステージ上の前記標本の標本像を取り込む対物レンズと、前記ステージ上の前記標本を昭明するための照明装置を取り付けていると共に、前記対物レンズから取り込まれる前記標本像を撮影するためのカメラを装備する顕微鏡本体と、前記顕微鏡本体の前記カメラから取込まれた画像及び加算画像を記憶する画像メモリと、前記顕微鏡本体の前記カメラから取込まれた画像を前記画像メモリから読み出された画像又は加算画像に加算して再び前記画像メモリに記憶する画像加算手段と、前記画像加算手段から読出した加算画像に対して回復処理を加える画像処理手段と、相対的な距離が光軸方向で移動可能な前記ステージと前記対物レンズとの光軸方向の画像取込み位置を指示する駆動制御手段と、前記駆動制御手段に設定する光軸方向の画像取込み位置を検出する合焦面検出手段と、を備えた光学顕微鏡であり、前記合焦面検出手段は、前記光学顕微鏡を制御して標本の光軸方向の複数位置に焦点を合わせて複数枚の画像を取込む工程と、この取込まれた前記複数枚の画像についてＸ軸方向及びＹ軸方向のコントラスト値の変化を示すＸラインコントラストカーブ及びＹラインコントラストカーブをそれぞれ求める工程と、前記ＸラインコントラストカーブをＹ軸方向に連続する複数のＸラインについて加算することによりＸライン代表カーブを求め、前記ＹラインコントラストカーブをＸ軸方向に連続する複数のＹラインについて加算することによりＹライン代表カーブを求める工程と、前記複数枚の画像について求めた前記Ｘライン代表カーブを加算してＸライン代表コントラスト値を求め、前記複数枚の画像について求めた前記Ｙライン代表カーブを加算してＹライン代表コントラスト値を求める工程と、Ｘライン代表コントラスト値とＹライン代表コントラスト値とを比較して、光軸方向の各位置において大きい方の値を選択して前記標本の光軸方向のコントラストカーブを求める工程と、前記光軸方向のコントラストカーブから予め設定したしきい値を越えるピーク位置を検出して該ピーク位置を合焦面として選択し、前記コントラストカーブが前記しきい値を下回るまで前記ピーク位置を起点として前記光軸方向の前後に前記結像光学系の焦点深度だけ繰り返し移動して移動後の各点を合焦面として選択する工程とを備える。
【００１６】
本発明の画像入出力装置及び光学顕微鏡によれば、どのような凹凸の試料であっても加算すべき適切な合焦面を検出することができるので、合焦範囲でぼけのない画像を取りこぼすこと無く順次入力加算でき、良好な観察画像を得ることができる。
【００１７】
【発明の実施の形態】
以下、本発明の実施の形態について説明する。
図１に本発明の実施の形態を示す。同図に示す光学顕微鏡１は、搭載した標本を互いに直交する３軸方向となるＸ，Ｙ，Ｚ方向へ移動可能なステージ２を備える。顕微鏡本体には、ステージ２上の標本を照明するための照明装置２が取り付けられると共に、対物レンズ４から取り込まれる標本像を撮影するためのＴＶカメラ５が装備されている。ＴＶカメラ５から送出される映像信号は画像入出力部６に入力する。
【００１８】
画像入出力部６は、試料の合焦面検出、顕微鏡画像の加算及び回復処理を行う部分である。ＴＶカメラ５から画像入出力部６へ入力する映像信号をＡ／Ｄコンバータ７でアナログ／デジタル変換して演算加算器８に入力する。演算加算器８の出力段に第１の画像メモリ９が接続される。第１の画像メモリ９から読み出した画像データを演算加算器８に与えてＡ／Ｄコンバータ７から出力された画像データに加算するようにしている。
【００１９】
また、第１の画像メモリ９の出力段に加算画像の回復処理を行う空間フィルタ１１が設けられ、空間フィルタ１１の出力段に第２の画像メモリ１２が接続されている。第１及び第２の画像メモリ９，１２のリード／ライト及び同期制御を記憶制御部１３がコントロールする。演算加算器８から第２の画像メモリ１２の間の画像処理部及びステージ駆動部１７を含む駆動制御部全体をＣＰＵ１４がコントロールする。
【００２０】
第２の画像メモリ１２から読出した画像データはＤ／Ａコンバータ１５でデジタル／アナログ変換して表示部１６に表示できるようにしている。また、ステージ２のＸ，Ｙ，Ｚ方向の移動はステージ駆動部１７によって行われる。ＣＰＵ１４は、ステージ駆動部１７に移動方向と移動距離相当のパルス信号を与えて移動距離及び移動方向を制御する。
【００２１】
以上のように構成された実施の形態の具体的な動作内容について説明する。 図７に、加算すべき複数の画像を選択するために観察標本の凹凸に対応した複数の合焦面位置を検出する前処理に関するフローチャートを示す。
前処理では、オペレータがステージ２の移動方向（アプローチ方向）と移動距離を指示するパルス数とをＣＰＵ１４に対して入力する。ＣＰＵ１４は、ステージ駆動部１７に光軸方向のアプローチのスタート基準位置１へ測定画像位置が移動するようにステージ２を駆動する指令を与える。図２はステージ２のアプローチ方向を示している。
【００２２】
ＣＰＵ１４が、ステージ駆動部１７に対して上記入力条件に基づいたパルスモータ駆動用パルスを与えてステージ２をスタート基準位置１からアプローチ方向に向けて所定間隔で移動する。ＣＰＵ１４は、ステージ２が目的の位置に来たら１枚ずつ観察標本の画像データを取り込み内部メモリに保存する。
【００２３】
次に、ＣＰＵ１４が画像データを使用してコントラスト計算を実行する。
図８はコントラスト計算の詳細を示すフローチャートである。ＣＰＵ１４は、光軸方向の各位置で取り込んで画像から最初に取り込んだ画像データをメモリより読み出し、その輝度画像データからＸ軸方向，Ｙ軸方向について隣接する画素間の輝度差の２乗値を計算し、それぞれＸ軸方向，Ｙ軸方向のコントラスト値とする。この計算を２次元平面のＸ軸，Ｙ軸方向の縦横各ラインについて実行し、それぞれのコントラストの変化カーブを求める。図３は、解析対象となる輝度画像データ、及び上記した計算にて求めたコントラストの変化カーブを示している。Ｘ軸，Ｙ軸方向それぞれの各ラインｙj ，Ｘj におけるコントラスト値ＣＸ11，ＣＹ11は、次のように表せる。
【００２４】
ＣＸ11（ｘi ，ｙj ）＝（（Ｄ（ｘi ，ｙj ）−Ｄ（ｘi+1 ，ｙj ））2
ＣＸ11（ｘj ，ｙi ）＝（（Ｄ（ｘj ，ｙi ）−Ｄ（ｘj ，ｙi+1 ））2
ここで、ｘi ，ｙi は画像の位置座標で、Ｄ（ｘi ，ｙi ）はその位置での画像データである。ＣＰＵ１４で、コントラスト値ＣＸ11，ＣＹ11を計算することにより、Ｘ軸，Ｙ軸方向それぞれの各ラインのコントラスト変化カーブを求めることができる。
【００２５】
さらに、ＣＰＵ１４において、Ｘ軸，Ｙ軸方向の各ラインのコントラスト変化カーブを、Ｘ軸，Ｙ軸方向の同方向毎に加算して、Ｘ軸，Ｙ軸方向のそれぞれの代表カーブＣＸ12，ＣＹ12を求める。図４は、Ｘ軸，Ｙ軸方向のそれぞれのラインの代表カーブＣＸ12，ＣＹ12の具体例を示している。Ｘ，Ｙ軸方向のラインの代表カーブＣＸ12，ＣＹ12は、次のように表せる。
【００２６】
【数１】
【００２７】
ここで、ｘj ，ｙj はコントラスト変化カーブの座標位置である。
【００２８】
以上の処理により１枚の画像についてＸ，Ｙ軸方向のラインの代表カーブＣＸ12，ＣＹ12が求められたならば、次に光軸方向の位置で取り込んだ画像データをメモリから読出し、その輝度画像データを使用して上記同様の計算によって該２枚目の画像についてのＸ，Ｙ軸方向の代表カーブＣＸ12，ＣＹ12を求める。以下、同様にして、先に取り込んだ全ての画像についてＸ，Ｙ軸方向の代表カーブＣＸ12，ＣＹ12を求める。
【００２９】
次に、ＣＰＵ１４でＸ，Ｙ軸方向の代表カーブＣＸ12，ＣＹ12をＸ，Ｙ軸方向毎に加算し、当該標本画像でのＸ，Ｙ成分の画像のコントラストの代表値ＣＸ1 （ｚ），ＣＹ1 （ｚ）とする。図５（ａ）（ｂ）は、ある標本でのＸ，Ｙ成分の画像のコントラストの代表値ＣＸ，ＣＹの具体例を示している。
【００３０】
Ｘ，Ｙ成分の画像のコントラストの代表値ＣＸ1 （ｚ），ＣＹ1 （ｚ）は、次のように表せる。
【００３１】
【数２】
【００３２】
次に、上記ＣＸ1 （ｚ），ＣＹ1 （ｚ）を用いて、光軸方向の各位置においてＸ軸方向、Ｙ軸方向のどちらのコントラスト値ＣＸ1 （ｚ），ＣＹ1 （ｚ）が大きいかを判断し、大きい方のコントラスト値から代表コントラスト値Ｃ（ｚ）のコントラスカーブＣ（ｚ）を作成する。
【００３３】
【数３】
【００３４】
以上の処理によって光軸方向に対する画像のコントラストカーブＣ（ｚ）が求まる。図５（ｃ）は、このようにして求めたコントラストカーブＣ（ｚ）の具体例を示している。
【００３５】
以上のようなコントラストカーブＣ（ｚ）の計算が完了したら、次に合焦面の検出を行う。
【００３６】
なお、図５（ｃ）に示すコントラストカーブＣ（ｚ）では波形が複雑であるので、説明を分かり易くするために図６に示す波形のコントラストカーブＣ（ｚ）が絵得られたものとして以下の説明を行う。
【００３７】
図６に示すように、求められたコントラストカーブＣ（ｚ）に対して、予め設定したしきい値を越えるピーク位置（ａ，ｄ）を求める。
【００３８】
次に、コントラストカーブＣ（ｚ）がしきい値を越える範囲が、しきい値ラインと交差する点を求め、各ピーク位置（ａ，ｄ）から前後の交差点までの長さ（ｌａ1 ，ｌａ2 ，ｌｄ1 ，ｌｄ2 ）を求める。
【００３９】
ピーク位置ａについてみれば、ピーク位置ａからコントラストカーブＣ（ｚ）がしきい値ラインと交差する点までの距離（ｌａ1 ，ｌａ2 ）は顕微鏡の焦点深度（１ｆ）の長さを越えていない。このように顕微鏡の焦点深度を越えない場合は、そのピーク位置ａのみを合焦面として採用する。
【００４０】
一方、ピーク位置ｄについてみれば、ピーク位置ｄからコントラストカーブＣ（ｚ）がしきい値ラインと交差する点までの距離（ｌｄ1 ，ｌｄ2 ）は顕微鏡の焦点深度（１ｆ）の長さを越えている。このように顕微鏡の焦点深度を越える場合は、ピーク位置ｄを中心として前後に焦点深度の長さ（１ｆ）だけ移動した位置（ｃ，ｅ）のコントラスト値をしきい値と比較する。この位置でのコントラスト値がしきい値を越えている場合には、新たに位置ｃ，ｅも入力加算に用いる合焦面位置として採用する。この新たに加えた位置ｃ，ｅの各々について、さらにその前後へ焦点深度の幅だけ移動し、コントラスト値がしきい値を越えるかどうかを求める。移動後の位置でコントラスト値がしきい値を越えなくなるまで、各移動後の位置を入力加算用の合焦面位置として加えていく。図６に示す例であれば、位置Ｚa 〜Ｚe が入力加算用の合焦面位置として検出されたことになる。
【００４１】
ここで、しきい値の決め方は、プリスキャンを行って求めたコントラストカーブから、（コントラスト最大値−コントラスト最小値）を求め、この値に係数を掛けることによって決定することができる。又は、入力加算用に用いるメモリ容量が限定されている場合は、そのメモリ容量から物理的に入力可能な画像取り込み枚数を求め、コントラストカーブにしきい値を設定する際に、コントラスト値がしきい値を越え、合焦面として検出される画面数が入力加算可能な枚数になるように、しきい値を決めることもできる。
【００４２】
次に、以上の前処理により求められた合焦面位置（Ｚa 〜Ｚe ）に応じたパルス数をＣＰＵ１４からステージ駆動部１７に設定する。ステージ駆動部１７がＣＰＵ１４から設定されたパルス数だけステージ２を駆動することにより最初の合焦面位置（Ｚa ）に移動する。この位置Ｚa で対物レンズ４から取り込まれてＴＶカメラ５の撮像面上に結像された標本像が映像信号に変換され画像入出力部６へ送出される。
【００４３】
画像入出力部６では、位置Ｚa で撮像された標本の映像信号がＡ／Ｄコンバータ７で所定周期のクロック信号に同期してＡ／Ｄ変換し、演算加算器８を通過して第１の画像メモリ９に記憶される。
【００４４】
同様にして、ＣＰＵ１４からパルス数の設定されたステージ駆動部１７がステージ２を順次合焦面位置（Ｚb 〜Ｚe ）へ移動して、各位置で画像が取り込まれて画像入出力部６へ送られる。画像入出力部６では、位置Ｚb の画像データが入って来た時には、第１の画像メモリ９から読出した位置Ｚa の画像データが演算加算器８に入力しているようにタイミングが制御され、演算加算器８で位置Ｚa の画像データと位置Ｚb の画像データとが加算される。この加算画像は第１の画像メモリ９に記憶され、位置Ｚc の画像データが演算加算器８に入力したと時に（Ｚa ＋Ｚb ）の加算画像が演算加算器８に入力しているようにタイミングが制御される。最終的に、（Ｚa 〜Ｚe ）の全画像を加算した加算画像を空間フィルタ１１へ入力する。なお、第１の画像メモリ９に対する画像の記憶及び読出しのタイミング制御は記憶制御部１３によってコントロールされている。
【００４５】
第１の画像メモリ９から加算後の標本画像データが入力した空間フィルタ１１では、加算画像に対して周波数成分の高いエッジ部などを強調して加算後のぼけ部分を除いて焦点の合った画像のみを復元する回復処理を行う。このようにして回復処理の行なわれた画像データを第２の画像メモリ１２に記憶する。そして、第２の画像メモリ１２から回復処理を施した画像データを読出し、Ｄ／Ａコンバータ１５でデジタル／アナログ変換して表示部１６に処理した標本画像を表示させる。
【００４６】
このような実施の形態によれば、被写体を光軸方向の複数位置で撮像した複数枚の画像からＸ，Ｙ軸方向の代表カーブＣＸ12，ＣＹ12を求め、これら代表カーブＣＸ12，ＣＹ12を画像間でＸ，Ｙ軸方向毎に加算してコントラストの代表値ＣＸ1 （ｚ），ＣＹ1 （ｚ）を求め、このコントラストの代表値ＣＸ1 （ｚ），ＣＹ1 （ｚ）から代表コントラスト値Ｃ（ｚ）のコントラスカーブＣ（ｚ）を作成し、このコントラスカーブＣ（ｚ）にしきい値を設定して、ピーク位置からしきい値ラインと交差する点までの距離が焦点深度を越えるまで、ピーク位置を中心として前後に焦点深度の長さ（１ｆ）だけ移動した位置を合焦面位置として検出するようにしたので、コントラスト値がピーク値を持つ標本、またはブロードな特性を持つ標本であっても、画像加算に使用すべき合焦面を検出することができ、位置を焦点深度範囲内で注目する合焦範囲でぼけのない画像を取りこぼすことなく順次入力加算でき、回復処理を行うことで最終的に良好な観察画像が得られる。
【００４７】
なお、上記説明ではステージ駆動部１７によるステージ２の移動はステップ状の駆動であったが、一定速度で移動する直線駆動にしても良い。例えばＮＴＳＣ方式による画像入力を行う場合、画像入力時間となる撮像素子の１フレーム蓄積時間が約１／３０秒である。パルスモータの移動速度が高速直線駆動に対応できるのであれば、１フレーム蓄積時間内に所望の合焦面の画像データを入力できるように駆動する。つまり、入力する合焦面が対物レンズの特性から導かれる光軸方向の標本焦点深度内を移動している間に画像入力が完了するような一定速度で駆動する。この条件を満たすように駆動速度を決定して設定する。また、画像取り込み位置情報は前処理により算出した合焦面の位置データを基に画像取り込みタイミングを発生させる。
【００４８】
また、以上の説明では標本の合焦制御にパルスモータステージ駆動部１７を使用しているが、対物レンズ４を保持しているレボルバーを昇降させることにより、又はテレビカメラ５に標本像を結像させる結像レンズを光軸方向に駆動させることにより、検出した各合焦面へ合焦制御しても良い。また、駆動部の駆動源にパルスモータではなく、電磁モータ、超音波モータ、ピエゾ素子を用いることもできる。さらに、テレビカメラ５の方式は、ＰＡＬ、ＳＥＣＡＭの信号方式のものを使用したり、より高帯域の映像を撮像できるハイビジョン方式のものを使用することもできる。
【００４９】
また、カラー画像を表示する場合は、図９に示すようにテレビカメラ５の出力段にデコーダを設け、デコーダの出力段に画像処理部６−１〜６−３を併設する。各画像処理部６−１〜６−３は図１に示す画像処理部６と同一構成であるものとする。
【００５０】
この様な構成において、テレビカメラ５から出力される映像のコンポジット信号をデコーダでＲ，Ｇ，Ｂの信号成分に分離し、Ｒ，Ｇ，Ｂの成分別に画像処理部６−１〜６−３へ入力して上記実施の形態と同様の処理を行うようにする。なお、合焦面の検出はいずれか一つの画像処理部にて代表して行っても良いし、又は標本によって注目する色成分に対して合焦面検出、画像加算を行ってもよい。本発明は上記実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲内で種々変形実施可能である。
【００５１】
【発明の効果】
以上詳記したように本発明によれば、どのような凹凸の試料であっても加算すべき適切な合焦面を検出することができ、合焦範囲でぼけのない画像を取りこぼすこと無く順次入力加算でき、良好な観察画像を得ることのできる合焦面検出方法及び画像入出力装置及び光学顕微鏡を提供できる。
【図面の簡単な説明】
【図１】本発明の実施の形態に係る顕微鏡及び画像処理部の構成を示す図である。
【図２】ステージのアプローチ方向を示す図である。
【図３】入力画像のＸ軸、Ｙ軸方向の１ラインの輝度データを示す図である。
【図４】ある画像のＸ軸、Ｙ軸方向のコントラストカーブを示す図である。
【図５】全画像のコントラストカーブをＸ軸、Ｙ軸方向毎に加算したコントラストカーブを示す図、及び代表コントラストカーブを示す図である。
【図６】合焦面検出原理を説明するための代表コントラストカーブを示す図である。
【図７】本実施の形態における合焦面検出動作を示すフローチャートである。
【図８】コントラストＣ（ｚ）の計算の詳細を示すフローチャートである。
【図９】カラー画像に拡張した実施の形態の構成図である。
【図１０】ピークの現れるコントラストカーブを示す図である。
【図１１】ブロードなコントラストカーブを示す図である。
【図１２】ブロードなコントラストカーブを持つ標本の加算画像位置を示す図である。
【符号の説明】
１…光学顕微鏡
２…ステージ
３…照明装置
４…対物レンズ
５…テレビカメラ
６…画像入出力部
７…Ａ／Ｄコンバータ
８…演算加算器
９…第１の画像メモリ
１１…空間フィルタ
１２…第２の画像メモリ
１３…記憶制御部
１４…ＣＰＵ
１５…Ｄ／Ａコンバータ
１６…表示部。
【発明の属する技術分野】
本発明は、光学顕微鏡から取り込まれた観察画像を加算して焦点深度の深い画像を生成する画像機器において、標本の加算すべき複数の合焦面を検出するための合焦面検出方法及び画像入出力装置及び光学顕微鏡に関する。
【０００２】
【従来の技術】
一般に、解像度にすぐれ、かつ、明るさの大きな画像を光学的に取り込むためには、画像を形成する結像光学系に開口の大きな光学素子を用いる必要がある。ところが、レンズに代表される結像用光学素子は、一般に開口が大きくなるのに応じて焦点深度が浅くなる傾向にある。しかるに、顕微鏡、カメラ、内視鏡等の画像機器の分野では、得られた画像が解像度や明るさに優れていることが望ましいのは勿論のこと、同時に焦点深度の深い画像であることが強く望まれる。
【０００３】
たとえば、光学顕微鏡による標本検査観察においては、半導体ウエハのパターン、凹凸のある生物標本、液晶パネル等、段差のある標本検査では、従来の焦点深度の浅いままの画像では観察画像にぼけ画像が混在して検査過程に支障をきたす可能性がある。特に、半導体ウエハのパターン検査工程では、簡単な操作によりぼけの少ない焦点深度を拡大した画像を得ることが強く望まれる。
【０００４】
従来は、合焦位置の異なる複数の画像を加算し、この加算画像にフーリエ変換等の適当な回復処理を施すことにより、解像度や明るさを損なうこと無く、焦点深度の深い画像を再生していた。具体的には、被写体をプリスキャンして画像を取り込み、その画像から被写体の合焦面の数、及び位置を検出し、その中から必要とする合焦面のみを選択して加算し、この加算画像に回復処理を加えることにより処理画像を得ている。
【０００５】
特開平５−２９６７６５号に、複数の合焦面の検出方法が開示されている。この検出方法によれば、撮影した画像からコントラストを検出し、このコントラスト検出を被写体を移動しながら撮影した画像に対して行い、各合焦方向位置（Ｚ位置）に対するコントラストカーブを求める。このコントラストカーブに対してフーリエ変換を行うことによりノイズとなる低周波成分を除去する。さらに、逆フーリエ変換することにより得られたコントラストカーブからピークを検出し、ピーク位置を合焦面と判断する。図１０は、以上の処理によって得られたコントラストカーブの具体例を示している。ピークａ，ｂ，ｃに対応したｚa ，ｚb ，ｚc が合焦位置となる。
【０００６】
上記した合焦面検出方法では、各合焦位置の合焦情報として画像のコントラストカーブを検出し、この検出したコントラストカーブのピーク値から加算すべき必要な合焦面を選択している。この合焦面検出方法は、合焦画像とぼけ画像の差に違いが見えるような被写体、特にぼけ画像の中にコントラストのはっきりとした部分がなかったり、又はその逆の被写体に対しては有効であり、最終的に加算し回復処理することにより良好な処理画像が得られる。
【０００７】
ところが、顕微鏡で観察するような試料では、上述したようなコントラストカーブから各合焦面においてコントラストのピーク値が現れるとは限らない。画像全体の面積に対して合焦領域が小さくなるような試料では、合焦面でのコントラスト値が極めて小さいので、図１１に示すように全体的にブロードなコントラスト特性のカーブとなってしまう。このようなコントラストカーブではピーク値がはっきりせずコントラストのピーク値による合焦面選択法が適用できない。
【０００８】
図１１に示すようなブロードなコントラスト特性の被写体の場合は、上述した合焦面選択法が適用できないので、図１２に示すように焦点深度に等しい間隔で画像（ａ，ｂ，ｃ，ｄ，ｅ，ｆ，ｇ，ｈ）を加算し、必要な合焦情報を持つ画像を形成している。
【０００９】
【発明が解決しようとする課題】
しかしながら、図１０に示すコントラストカーブのピーク値から必要な合焦面を選択して加算することにより焦点深度の深い画像を取得する方法は、図１１に示すようなピーク値を判断できないコントラスト特性を示す被写体の場合には合焦面または合焦範囲を選択できない場合があり、処理画像の情報に欠陥が生じる可能性がある。
【００１０】
また、図１２に示すように適当な間隔で画像を加算することにより焦点深度の深い画像を取得する方法は、どの面を選択しても合焦情報に漏れがなく、処理画像として観察できる利点はあるが、図１０に示すコントラストカーブを持った試料の場合には、画質を劣化させるコントラストの低い画像まで加算する可能性がある。
【００１１】
本発明は、以上のような実情に鑑みてなされたもので、どのような凹凸の試料であっても加算すべき適切な合焦面を検出することができ、合焦範囲でぼけのない画像を取りこぼすこと無く順次入力加算でき、良好な観察画像を得ることのできる合焦面検出方法及び画像入出力装置及び光学顕微鏡を提供することを目的とする。
【００１２】
【課題を解決するための手段】
本発明は、上記目的を達成するために以下のような手段を講じた。
請求項１に対応する発明は、結像光学系を通過した画像を標本の光軸方向の複数位置に焦点を合わせて複数枚の画像を取込む工程と、この取込まれた複数枚の画像についてＸ軸方向及びＹ軸方向のコントラスト値の変化を示すＸラインコントラストカーブ及びＹラインコントラストカーブをそれぞれ求める工程と、前記ＸラインコントラストカーブをＹ軸方向に連続する複数のＸラインについて加算することによりＸライン代表カーブを求め、前記ＹラインコントラストカーブをＸ軸方向に連続する複数のＹラインについて加算することによりＹライン代表カーブを求める工程と、前記複数枚の画像について求めた前記Ｘライン代表カーブを加算してＸライン代表コントラスト値を求め、前記複数枚の画像について求めた前記Ｙライン代表カーブを加算してＹライン代表コントラスト値を求める工程と、Ｘライン代表コントラスト値とＹライン代表コントラスト値とを比較して、光軸方向の各位置において大きい方の値を選択して前記標本の光軸方向のコントラストカーブを求める工程と、前記光軸方向のコントラストカーブから予め設定したしきい値を越えるピーク位置を検出して該ピーク位置を合焦面として選択し、前記コントラストカーブが前記しきい値を下回るまで前記ピーク位置を起点として前記光軸方向の前後に前記結像光学系の焦点深度だけ繰り返し移動して移動後の各点を合焦面として選択する工程とを備える。
【００１４】
本発明の合焦面検出方法によれば、どのような凹凸の試料であっても加算すべき適切な合焦面を検出することができる。
【００１５】
請求項２に対応する発明は、光学機器から取込まれた画像及び加算画像を記憶する画像メモリと、前記光学機器から取込まれた画像を前記画像メモリから読み出された画像又は加算画像に加算して再び前記画像メモリに記憶する画像加算手段と、前記画像加算手段から読出した加算画像に対して回復処理を加える画像処理手段と、前記画像処理手段で回復処理した加算画像を表示する表示手段と、前記光学機器に光軸方向の画像取込み位置を指示する駆動制御手段と、前記駆動制御手段に設定する光軸方向の画像取込み位置を検出する合焦面検出手段とを備えた画像入出力装置であり、前記合焦面検出手段は、前記光学機器を制御して標本の光軸方向の複数位置に焦点を合わせて複数枚の画像を取込む工程と、この取込まれた前記複数枚の画像についてＸ軸方向及びＹ軸方向のコントラスト値の変化を示すＸラインコントラストカーブ及びＹラインコントラストカーブをそれぞれ求める工程と、前記ＸラインコントラストカーブをＹ軸方向に連続する複数のＸラインについて加算することによりＸライン代表カーブを求め、前記ＹラインコントラストカーブをＸ軸方向に連続する複数のＹラインについて加算することによりＹライン代表カーブを求める工程と、前記複数枚の画像について求めた前記Ｘライン代表カーブを加算してＸライン代表コントラスト値を求め、前記複数枚の画像について求めた前記Ｙライン代表カーブを加算してＹライン代表コントラスト値を求める工程と、Ｘライン代表コントラスト値とＹライン代表コントラスト値とを比較して、光軸方向の各位置において大きい方の値を選択して前記標本の光軸方向のコントラストカーブを求める工程と、前記光軸方向のコントラストカーブから予め設定したしきい値を越えるピーク位置を検出して該ピーク位置を合焦面として選択し、前記コントラストカーブが前記しきい値を下回るまで前記ピーク位置を起点として前記光軸方向の前後に前記結像光学系の焦点深度だけ繰り返し移動して移動後の各点を合焦面として選択する工程とを備える。
請求項３に対応する発明は、搭載した標本をＸ，Ｙ方向へ移動可能なステージと、前記ステージ上の前記標本の標本像を取り込む対物レンズと、前記ステージ上の前記標本を昭明するための照明装置を取り付けていると共に、前記対物レンズから取り込まれる前記標本像を撮影するためのカメラを装備する顕微鏡本体と、前記顕微鏡本体の前記カメラから取込まれた画像及び加算画像を記憶する画像メモリと、前記顕微鏡本体の前記カメラから取込まれた画像を前記画像メモリから読み出された画像又は加算画像に加算して再び前記画像メモリに記憶する画像加算手段と、前記画像加算手段から読出した加算画像に対して回復処理を加える画像処理手段と、相対的な距離が光軸方向で移動可能な前記ステージと前記対物レンズとの光軸方向の画像取込み位置を指示する駆動制御手段と、前記駆動制御手段に設定する光軸方向の画像取込み位置を検出する合焦面検出手段と、を備えた光学顕微鏡であり、前記合焦面検出手段は、前記光学顕微鏡を制御して標本の光軸方向の複数位置に焦点を合わせて複数枚の画像を取込む工程と、この取込まれた前記複数枚の画像についてＸ軸方向及びＹ軸方向のコントラスト値の変化を示すＸラインコントラストカーブ及びＹラインコントラストカーブをそれぞれ求める工程と、前記ＸラインコントラストカーブをＹ軸方向に連続する複数のＸラインについて加算することによりＸライン代表カーブを求め、前記ＹラインコントラストカーブをＸ軸方向に連続する複数のＹラインについて加算することによりＹライン代表カーブを求める工程と、前記複数枚の画像について求めた前記Ｘライン代表カーブを加算してＸライン代表コントラスト値を求め、前記複数枚の画像について求めた前記Ｙライン代表カーブを加算してＹライン代表コントラスト値を求める工程と、Ｘライン代表コントラスト値とＹライン代表コントラスト値とを比較して、光軸方向の各位置において大きい方の値を選択して前記標本の光軸方向のコントラストカーブを求める工程と、前記光軸方向のコントラストカーブから予め設定したしきい値を越えるピーク位置を検出して該ピーク位置を合焦面として選択し、前記コントラストカーブが前記しきい値を下回るまで前記ピーク位置を起点として前記光軸方向の前後に前記結像光学系の焦点深度だけ繰り返し移動して移動後の各点を合焦面として選択する工程とを備える。
【００１６】
本発明の画像入出力装置及び光学顕微鏡によれば、どのような凹凸の試料であっても加算すべき適切な合焦面を検出することができるので、合焦範囲でぼけのない画像を取りこぼすこと無く順次入力加算でき、良好な観察画像を得ることができる。
【００１７】
【発明の実施の形態】
以下、本発明の実施の形態について説明する。
図１に本発明の実施の形態を示す。同図に示す光学顕微鏡１は、搭載した標本を互いに直交する３軸方向となるＸ，Ｙ，Ｚ方向へ移動可能なステージ２を備える。顕微鏡本体には、ステージ２上の標本を照明するための照明装置２が取り付けられると共に、対物レンズ４から取り込まれる標本像を撮影するためのＴＶカメラ５が装備されている。ＴＶカメラ５から送出される映像信号は画像入出力部６に入力する。
【００１８】
画像入出力部６は、試料の合焦面検出、顕微鏡画像の加算及び回復処理を行う部分である。ＴＶカメラ５から画像入出力部６へ入力する映像信号をＡ／Ｄコンバータ７でアナログ／デジタル変換して演算加算器８に入力する。演算加算器８の出力段に第１の画像メモリ９が接続される。第１の画像メモリ９から読み出した画像データを演算加算器８に与えてＡ／Ｄコンバータ７から出力された画像データに加算するようにしている。
【００１９】
また、第１の画像メモリ９の出力段に加算画像の回復処理を行う空間フィルタ１１が設けられ、空間フィルタ１１の出力段に第２の画像メモリ１２が接続されている。第１及び第２の画像メモリ９，１２のリード／ライト及び同期制御を記憶制御部１３がコントロールする。演算加算器８から第２の画像メモリ１２の間の画像処理部及びステージ駆動部１７を含む駆動制御部全体をＣＰＵ１４がコントロールする。
【００２０】
第２の画像メモリ１２から読出した画像データはＤ／Ａコンバータ１５でデジタル／アナログ変換して表示部１６に表示できるようにしている。また、ステージ２のＸ，Ｙ，Ｚ方向の移動はステージ駆動部１７によって行われる。ＣＰＵ１４は、ステージ駆動部１７に移動方向と移動距離相当のパルス信号を与えて移動距離及び移動方向を制御する。
【００２１】
以上のように構成された実施の形態の具体的な動作内容について説明する。 図７に、加算すべき複数の画像を選択するために観察標本の凹凸に対応した複数の合焦面位置を検出する前処理に関するフローチャートを示す。
前処理では、オペレータがステージ２の移動方向（アプローチ方向）と移動距離を指示するパルス数とをＣＰＵ１４に対して入力する。ＣＰＵ１４は、ステージ駆動部１７に光軸方向のアプローチのスタート基準位置１へ測定画像位置が移動するようにステージ２を駆動する指令を与える。図２はステージ２のアプローチ方向を示している。
【００２２】
ＣＰＵ１４が、ステージ駆動部１７に対して上記入力条件に基づいたパルスモータ駆動用パルスを与えてステージ２をスタート基準位置１からアプローチ方向に向けて所定間隔で移動する。ＣＰＵ１４は、ステージ２が目的の位置に来たら１枚ずつ観察標本の画像データを取り込み内部メモリに保存する。
【００２３】
次に、ＣＰＵ１４が画像データを使用してコントラスト計算を実行する。
図８はコントラスト計算の詳細を示すフローチャートである。ＣＰＵ１４は、光軸方向の各位置で取り込んで画像から最初に取り込んだ画像データをメモリより読み出し、その輝度画像データからＸ軸方向，Ｙ軸方向について隣接する画素間の輝度差の２乗値を計算し、それぞれＸ軸方向，Ｙ軸方向のコントラスト値とする。この計算を２次元平面のＸ軸，Ｙ軸方向の縦横各ラインについて実行し、それぞれのコントラストの変化カーブを求める。図３は、解析対象となる輝度画像データ、及び上記した計算にて求めたコントラストの変化カーブを示している。Ｘ軸，Ｙ軸方向それぞれの各ラインｙj ，Ｘj におけるコントラスト値ＣＸ11，ＣＹ11は、次のように表せる。
【００２４】
ＣＸ11（ｘi ，ｙj ）＝（（Ｄ（ｘi ，ｙj ）−Ｄ（ｘi+1 ，ｙj ））2
ＣＸ11（ｘj ，ｙi ）＝（（Ｄ（ｘj ，ｙi ）−Ｄ（ｘj ，ｙi+1 ））2
ここで、ｘi ，ｙi は画像の位置座標で、Ｄ（ｘi ，ｙi ）はその位置での画像データである。ＣＰＵ１４で、コントラスト値ＣＸ11，ＣＹ11を計算することにより、Ｘ軸，Ｙ軸方向それぞれの各ラインのコントラスト変化カーブを求めることができる。
【００２５】
さらに、ＣＰＵ１４において、Ｘ軸，Ｙ軸方向の各ラインのコントラスト変化カーブを、Ｘ軸，Ｙ軸方向の同方向毎に加算して、Ｘ軸，Ｙ軸方向のそれぞれの代表カーブＣＸ12，ＣＹ12を求める。図４は、Ｘ軸，Ｙ軸方向のそれぞれのラインの代表カーブＣＸ12，ＣＹ12の具体例を示している。Ｘ，Ｙ軸方向のラインの代表カーブＣＸ12，ＣＹ12は、次のように表せる。
【００２６】
【数１】
ここで、ｘj ，ｙj はコントラスト変化カーブの座標位置である。
【００２８】
以上の処理により１枚の画像についてＸ，Ｙ軸方向のラインの代表カーブＣＸ12，ＣＹ12が求められたならば、次に光軸方向の位置で取り込んだ画像データをメモリから読出し、その輝度画像データを使用して上記同様の計算によって該２枚目の画像についてのＸ，Ｙ軸方向の代表カーブＣＸ12，ＣＹ12を求める。以下、同様にして、先に取り込んだ全ての画像についてＸ，Ｙ軸方向の代表カーブＣＸ12，ＣＹ12を求める。
【００２９】
次に、ＣＰＵ１４でＸ，Ｙ軸方向の代表カーブＣＸ12，ＣＹ12をＸ，Ｙ軸方向毎に加算し、当該標本画像でのＸ，Ｙ成分の画像のコントラストの代表値ＣＸ1 （ｚ），ＣＹ1 （ｚ）とする。図５（ａ）（ｂ）は、ある標本でのＸ，Ｙ成分の画像のコントラストの代表値ＣＸ，ＣＹの具体例を示している。
【００３０】
Ｘ，Ｙ成分の画像のコントラストの代表値ＣＸ1 （ｚ），ＣＹ1 （ｚ）は、次のように表せる。
【００３１】
【数２】
次に、上記ＣＸ1 （ｚ），ＣＹ1 （ｚ）を用いて、光軸方向の各位置においてＸ軸方向、Ｙ軸方向のどちらのコントラスト値ＣＸ1 （ｚ），ＣＹ1 （ｚ）が大きいかを判断し、大きい方のコントラスト値から代表コントラスト値Ｃ（ｚ）のコントラスカーブＣ（ｚ）を作成する。
【００３３】
【数３】
以上の処理によって光軸方向に対する画像のコントラストカーブＣ（ｚ）が求まる。図５（ｃ）は、このようにして求めたコントラストカーブＣ（ｚ）の具体例を示している。
【００３５】
以上のようなコントラストカーブＣ（ｚ）の計算が完了したら、次に合焦面の検出を行う。
【００３６】
なお、図５（ｃ）に示すコントラストカーブＣ（ｚ）では波形が複雑であるので、説明を分かり易くするために図６に示す波形のコントラストカーブＣ（ｚ）が絵得られたものとして以下の説明を行う。
【００３７】
図６に示すように、求められたコントラストカーブＣ（ｚ）に対して、予め設定したしきい値を越えるピーク位置（ａ，ｄ）を求める。
【００３８】
次に、コントラストカーブＣ（ｚ）がしきい値を越える範囲が、しきい値ラインと交差する点を求め、各ピーク位置（ａ，ｄ）から前後の交差点までの長さ（ｌａ1 ，ｌａ2 ，ｌｄ1 ，ｌｄ2 ）を求める。
【００３９】
ピーク位置ａについてみれば、ピーク位置ａからコントラストカーブＣ（ｚ）がしきい値ラインと交差する点までの距離（ｌａ1 ，ｌａ2 ）は顕微鏡の焦点深度（１ｆ）の長さを越えていない。このように顕微鏡の焦点深度を越えない場合は、そのピーク位置ａのみを合焦面として採用する。
【００４０】
一方、ピーク位置ｄについてみれば、ピーク位置ｄからコントラストカーブＣ（ｚ）がしきい値ラインと交差する点までの距離（ｌｄ1 ，ｌｄ2 ）は顕微鏡の焦点深度（１ｆ）の長さを越えている。このように顕微鏡の焦点深度を越える場合は、ピーク位置ｄを中心として前後に焦点深度の長さ（１ｆ）だけ移動した位置（ｃ，ｅ）のコントラスト値をしきい値と比較する。この位置でのコントラスト値がしきい値を越えている場合には、新たに位置ｃ，ｅも入力加算に用いる合焦面位置として採用する。この新たに加えた位置ｃ，ｅの各々について、さらにその前後へ焦点深度の幅だけ移動し、コントラスト値がしきい値を越えるかどうかを求める。移動後の位置でコントラスト値がしきい値を越えなくなるまで、各移動後の位置を入力加算用の合焦面位置として加えていく。図６に示す例であれば、位置Ｚa 〜Ｚe が入力加算用の合焦面位置として検出されたことになる。
【００４１】
ここで、しきい値の決め方は、プリスキャンを行って求めたコントラストカーブから、（コントラスト最大値−コントラスト最小値）を求め、この値に係数を掛けることによって決定することができる。又は、入力加算用に用いるメモリ容量が限定されている場合は、そのメモリ容量から物理的に入力可能な画像取り込み枚数を求め、コントラストカーブにしきい値を設定する際に、コントラスト値がしきい値を越え、合焦面として検出される画面数が入力加算可能な枚数になるように、しきい値を決めることもできる。
【００４２】
次に、以上の前処理により求められた合焦面位置（Ｚa 〜Ｚe ）に応じたパルス数をＣＰＵ１４からステージ駆動部１７に設定する。ステージ駆動部１７がＣＰＵ１４から設定されたパルス数だけステージ２を駆動することにより最初の合焦面位置（Ｚa ）に移動する。この位置Ｚa で対物レンズ４から取り込まれてＴＶカメラ５の撮像面上に結像された標本像が映像信号に変換され画像入出力部６へ送出される。
【００４３】
画像入出力部６では、位置Ｚa で撮像された標本の映像信号がＡ／Ｄコンバータ７で所定周期のクロック信号に同期してＡ／Ｄ変換し、演算加算器８を通過して第１の画像メモリ９に記憶される。
【００４４】
同様にして、ＣＰＵ１４からパルス数の設定されたステージ駆動部１７がステージ２を順次合焦面位置（Ｚb 〜Ｚe ）へ移動して、各位置で画像が取り込まれて画像入出力部６へ送られる。画像入出力部６では、位置Ｚb の画像データが入って来た時には、第１の画像メモリ９から読出した位置Ｚa の画像データが演算加算器８に入力しているようにタイミングが制御され、演算加算器８で位置Ｚa の画像データと位置Ｚb の画像データとが加算される。この加算画像は第１の画像メモリ９に記憶され、位置Ｚc の画像データが演算加算器８に入力したと時に（Ｚa ＋Ｚb ）の加算画像が演算加算器８に入力しているようにタイミングが制御される。最終的に、（Ｚa 〜Ｚe ）の全画像を加算した加算画像を空間フィルタ１１へ入力する。なお、第１の画像メモリ９に対する画像の記憶及び読出しのタイミング制御は記憶制御部１３によってコントロールされている。
【００４５】
第１の画像メモリ９から加算後の標本画像データが入力した空間フィルタ１１では、加算画像に対して周波数成分の高いエッジ部などを強調して加算後のぼけ部分を除いて焦点の合った画像のみを復元する回復処理を行う。このようにして回復処理の行なわれた画像データを第２の画像メモリ１２に記憶する。そして、第２の画像メモリ１２から回復処理を施した画像データを読出し、Ｄ／Ａコンバータ１５でデジタル／アナログ変換して表示部１６に処理した標本画像を表示させる。
【００４６】
このような実施の形態によれば、被写体を光軸方向の複数位置で撮像した複数枚の画像からＸ，Ｙ軸方向の代表カーブＣＸ12，ＣＹ12を求め、これら代表カーブＣＸ12，ＣＹ12を画像間でＸ，Ｙ軸方向毎に加算してコントラストの代表値ＣＸ1 （ｚ），ＣＹ1 （ｚ）を求め、このコントラストの代表値ＣＸ1 （ｚ），ＣＹ1 （ｚ）から代表コントラスト値Ｃ（ｚ）のコントラスカーブＣ（ｚ）を作成し、このコントラスカーブＣ（ｚ）にしきい値を設定して、ピーク位置からしきい値ラインと交差する点までの距離が焦点深度を越えるまで、ピーク位置を中心として前後に焦点深度の長さ（１ｆ）だけ移動した位置を合焦面位置として検出するようにしたので、コントラスト値がピーク値を持つ標本、またはブロードな特性を持つ標本であっても、画像加算に使用すべき合焦面を検出することができ、位置を焦点深度範囲内で注目する合焦範囲でぼけのない画像を取りこぼすことなく順次入力加算でき、回復処理を行うことで最終的に良好な観察画像が得られる。
【００４７】
なお、上記説明ではステージ駆動部１７によるステージ２の移動はステップ状の駆動であったが、一定速度で移動する直線駆動にしても良い。例えばＮＴＳＣ方式による画像入力を行う場合、画像入力時間となる撮像素子の１フレーム蓄積時間が約１／３０秒である。パルスモータの移動速度が高速直線駆動に対応できるのであれば、１フレーム蓄積時間内に所望の合焦面の画像データを入力できるように駆動する。つまり、入力する合焦面が対物レンズの特性から導かれる光軸方向の標本焦点深度内を移動している間に画像入力が完了するような一定速度で駆動する。この条件を満たすように駆動速度を決定して設定する。また、画像取り込み位置情報は前処理により算出した合焦面の位置データを基に画像取り込みタイミングを発生させる。
【００４８】
また、以上の説明では標本の合焦制御にパルスモータステージ駆動部１７を使用しているが、対物レンズ４を保持しているレボルバーを昇降させることにより、又はテレビカメラ５に標本像を結像させる結像レンズを光軸方向に駆動させることにより、検出した各合焦面へ合焦制御しても良い。また、駆動部の駆動源にパルスモータではなく、電磁モータ、超音波モータ、ピエゾ素子を用いることもできる。さらに、テレビカメラ５の方式は、ＰＡＬ、ＳＥＣＡＭの信号方式のものを使用したり、より高帯域の映像を撮像できるハイビジョン方式のものを使用することもできる。
【００４９】
また、カラー画像を表示する場合は、図９に示すようにテレビカメラ５の出力段にデコーダを設け、デコーダの出力段に画像処理部６−１〜６−３を併設する。各画像処理部６−１〜６−３は図１に示す画像処理部６と同一構成であるものとする。
【００５０】
この様な構成において、テレビカメラ５から出力される映像のコンポジット信号をデコーダでＲ，Ｇ，Ｂの信号成分に分離し、Ｒ，Ｇ，Ｂの成分別に画像処理部６−１〜６−３へ入力して上記実施の形態と同様の処理を行うようにする。なお、合焦面の検出はいずれか一つの画像処理部にて代表して行っても良いし、又は標本によって注目する色成分に対して合焦面検出、画像加算を行ってもよい。本発明は上記実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲内で種々変形実施可能である。
【００５１】
【発明の効果】
以上詳記したように本発明によれば、どのような凹凸の試料であっても加算すべき適切な合焦面を検出することができ、合焦範囲でぼけのない画像を取りこぼすこと無く順次入力加算でき、良好な観察画像を得ることのできる合焦面検出方法及び画像入出力装置及び光学顕微鏡を提供できる。
【図面の簡単な説明】
【図１】本発明の実施の形態に係る顕微鏡及び画像処理部の構成を示す図である。
【図２】ステージのアプローチ方向を示す図である。
【図３】入力画像のＸ軸、Ｙ軸方向の１ラインの輝度データを示す図である。
【図４】ある画像のＸ軸、Ｙ軸方向のコントラストカーブを示す図である。
【図５】全画像のコントラストカーブをＸ軸、Ｙ軸方向毎に加算したコントラストカーブを示す図、及び代表コントラストカーブを示す図である。
【図６】合焦面検出原理を説明するための代表コントラストカーブを示す図である。
【図７】本実施の形態における合焦面検出動作を示すフローチャートである。
【図８】コントラストＣ（ｚ）の計算の詳細を示すフローチャートである。
【図９】カラー画像に拡張した実施の形態の構成図である。
【図１０】ピークの現れるコントラストカーブを示す図である。
【図１１】ブロードなコントラストカーブを示す図である。
【図１２】ブロードなコントラストカーブを持つ標本の加算画像位置を示す図である。
【符号の説明】
１…光学顕微鏡
２…ステージ
３…照明装置
４…対物レンズ
５…テレビカメラ
６…画像入出力部
７…Ａ／Ｄコンバータ
８…演算加算器
９…第１の画像メモリ
１１…空間フィルタ
１２…第２の画像メモリ
１３…記憶制御部
１４…ＣＰＵ
１５…Ｄ／Ａコンバータ
１６…表示部。
Claims (3)
- 結像光学系を通過した画像を標本の光軸方向の複数位置に焦点を合わせて複数枚の画像を取込む工程と、
この取込まれた複数枚の画像についてＸ軸方向及びＹ軸方向のコントラスト値の変化を示すＸラインコントラストカーブ及びＹラインコントラストカーブをそれぞれ求める工程と、
前記ＸラインコントラストカーブをＹ軸方向に連続する複数のＸラインについて加算することによりＸライン代表カーブを求め、前記ＹラインコントラストカーブをＸ軸方向に連続する複数のＹラインについて加算することによりＹライン代表カーブを求める工程と、
前記複数枚の画像について求めた前記Ｘライン代表カーブを加算してＸライン代表コントラスト値を求め、前記複数枚の画像について求めた前記Ｙライン代表カーブを加算してＹライン代表コントラスト値を求める工程と、
Ｘライン代表コントラスト値とＹライン代表コントラスト値とを比較して、光軸方向の各位置において大きい方の値を選択して前記標本の光軸方向のコントラストカーブを求める工程と、
前記光軸方向のコントラストカーブから予め設定したしきい値を越えるピーク位置を検出して該ピーク位置を合焦面として選択し、前記コントラストカーブが前記しきい値を下回るまで前記ピーク位置を起点として前記光軸方向の前後に前記結像光学系の焦点深度だけ繰り返し移動して移動後の各点を合焦面として選択する工程と
を具備したことを特徴とする合焦面検出方法。 - 光学機器から取込まれた画像及び加算画像を記憶する画像メモリと、
前記光学機器から取込まれた画像を前記画像メモリから読み出された画像又は加算画像に加算して再び前記画像メモリに記憶する画像加算手段と、
前記画像加算手段から読出した加算画像に対して回復処理を加える画像処理手段と、
前記画像処理手段で回復処理した加算画像を表示する表示手段と、
前記光学機器に光軸方向の画像取込み位置を指示する駆動制御手段と、
前記駆動制御手段に設定する光軸方向の画像取込み位置を検出する合焦面検出手段と、
を備えた画像入出力装置であり、
前記合焦面検出手段は、
前記光学機器を制御して標本の光軸方向の複数位置に焦点を合わせて複数枚の画像を取込む工程と、
この取込まれた前記複数枚の画像についてＸ軸方向及びＹ軸方向のコントラスト値の変化を示すＸラインコントラストカーブ及びＹラインコントラストカーブをそれぞれ求める工程と、
前記ＸラインコントラストカーブをＹ軸方向に連続する複数のＸラインについて加算することによりＸライン代表カーブを求め、前記ＹラインコントラストカーブをＸ軸方向に連続する複数のＹラインについて加算することによりＹライン代表カーブを求める工程と、
前記複数枚の画像について求めた前記Ｘライン代表カーブを加算してＸライン代表コントラスト値を求め、前記複数枚の画像について求めた前記Ｙライン代表カーブを加算してＹライン代表コントラスト値を求める工程と、
Ｘライン代表コントラスト値とＹライン代表コントラスト値とを比較して、光軸方向の各位置において大きい方の値を選択して前記標本の光軸方向のコントラストカーブを求める工程と、
前記光軸方向のコントラストカーブから予め設定したしきい値を越えるピーク位置を検出して該ピーク位置を合焦面として選択し、前記コントラストカーブが前記しきい値を下回るまで前記ピーク位置を起点として前記光軸方向の前後に前記結像光学系の焦点深度だけ繰り返し移動して移動後の各点を合焦面として選択する工程と
からなる前処理を実行することを特徴とする画像入出力装置。 - 搭載した標本をＸ，Ｙ方向へ移動可能なステージと、
前記ステージ上の前記標本の標本像を取り込む対物レンズと、
前記ステージ上の前記標本を昭明するための照明装置を取り付けていると共に、前記対物レンズから取り込まれる前記標本像を撮影するためのカメラを装備する顕微鏡本体と、
前記顕微鏡本体の前記カメラから取込まれた画像及び加算画像を記憶する画像メモリと、
前記顕微鏡本体の前記カメラから取込まれた画像を前記画像メモリから読み出された画像又は加算画像に加算して再び前記画像メモリに記憶する画像加算手段と、
前記画像加算手段から読出した加算画像に対して回復処理を加える画像処理手段と、
相対的な距離が光軸方向で移動可能な前記ステージと前記対物レンズとの光軸方向の画像取込み位置を指示する駆動制御手段と、
前記駆動制御手段に設定する光軸方向の画像取込み位置を検出する合焦面検出手段と、
を備えた光学顕微鏡であり、
前記合焦面検出手段は、
前記光学顕微鏡を制御して標本の光軸方向の複数位置に焦点を合わせて複数枚の画像を取込む工程と、
この取込まれた前記複数枚の画像についてＸ軸方向及びＹ軸方向のコントラスト値の変化を示すＸラインコントラストカーブ及びＹラインコントラストカーブをそれぞれ求める工程と、
前記ＸラインコントラストカーブをＹ軸方向に連続する複数のＸラインについて加算することによりＸライン代表カーブを求め、前記ＹラインコントラストカーブをＸ軸方向に連続する複数のＹラインについて加算することによりＹライン代表カーブを求める工程と、
前記複数枚の画像について求めた前記Ｘライン代表カーブを加算してＸライン代表コントラスト値を求め、前記複数枚の画像について求めた前記Ｙライン代表カーブを加算してＹライン代表コントラスト値を求める工程と、
Ｘライン代表コントラスト値とＹライン代表コントラスト値とを比較して、光軸方向の各位置において大きい方の値を選択して前記標本の光軸方向のコントラストカーブを求める工程と、
前記光軸方向のコントラストカーブから予め設定したしきい値を越えるピーク位置を検出して該ピーク位置を合焦面として選択し、前記コントラストカーブが前記しきい値を下回るまで前記ピーク位置を起点として前記光軸方向の前後に前記結像光学系の焦点深度だけ繰り返し移動して移動後の各点を合焦面として選択する工程と
を有する前処理を実行することを特徴とする光学顕微鏡。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP651496A JP3794744B2 (ja) | 1996-01-18 | 1996-01-18 | 合焦面検出方法及び画像入出力装置及び光学顕微鏡 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP651496A JP3794744B2 (ja) | 1996-01-18 | 1996-01-18 | 合焦面検出方法及び画像入出力装置及び光学顕微鏡 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH09196621A JPH09196621A (ja) | 1997-07-31 |
| JP3794744B2 true JP3794744B2 (ja) | 2006-07-12 |
Family
ID=11640525
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP651496A Expired - Fee Related JP3794744B2 (ja) | 1996-01-18 | 1996-01-18 | 合焦面検出方法及び画像入出力装置及び光学顕微鏡 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3794744B2 (ja) |
Families Citing this family (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| AU2003217694A1 (en) * | 2002-02-22 | 2003-09-09 | Bacus Research Laboratories, Inc. | Focusable virtual microscopy apparatus and method |
| JP4522668B2 (ja) * | 2002-06-03 | 2010-08-11 | オリンパス株式会社 | 画像処理装置 |
| JP3961438B2 (ja) * | 2003-03-25 | 2007-08-22 | 株式会社東芝 | パターン計測装置、パターン計測方法および半導体装置の製造方法 |
| JP4384446B2 (ja) * | 2003-06-03 | 2009-12-16 | オリンパス株式会社 | オートフォーカス方法及びその装置 |
| JP4674472B2 (ja) * | 2005-01-18 | 2011-04-20 | 株式会社ニコン | デジタルカメラ |
| JP2007334141A (ja) * | 2006-06-16 | 2007-12-27 | Sanyo Electric Co Ltd | 培養物観察システム |
| JP5830310B2 (ja) * | 2011-09-01 | 2015-12-09 | オリンパス株式会社 | 顕微鏡装置、及び、顕微鏡装置の合焦方法 |
| JP5705096B2 (ja) | 2011-12-02 | 2015-04-22 | キヤノン株式会社 | 画像処理装置及び画像処理方法 |
| US9942534B2 (en) | 2011-12-20 | 2018-04-10 | Olympus Corporation | Image processing system and microscope system including the same |
| JP5846895B2 (ja) * | 2011-12-20 | 2016-01-20 | オリンパス株式会社 | 画像処理システム及びそれを備えた顕微鏡システム |
| JP6116277B2 (ja) * | 2012-06-07 | 2017-04-19 | キヤノン株式会社 | 撮像装置及びその制御方法 |
| JP6044125B2 (ja) * | 2012-06-11 | 2016-12-14 | 株式会社リコー | 検出装置および多色画像形成装置 |
| JP2015108837A (ja) * | 2015-01-07 | 2015-06-11 | キヤノン株式会社 | 画像処理装置及び画像処理方法 |
-
1996
- 1996-01-18 JP JP651496A patent/JP3794744B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JPH09196621A (ja) | 1997-07-31 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3733392B2 (ja) | 画像の構図変化検出方法 | |
| JP3794744B2 (ja) | 合焦面検出方法及び画像入出力装置及び光学顕微鏡 | |
| EP1381229A1 (en) | Real-time omnifocus microscope camera | |
| JP2004101871A (ja) | 顕微鏡画像撮影装置 | |
| JP2002277756A (ja) | 変倍機能を有する電子内視鏡装置 | |
| JP2016125913A (ja) | 画像取得装置及び画像取得装置の制御方法 | |
| KR101453561B1 (ko) | 동화상 처리 장치 및 방법 | |
| JPH07253548A (ja) | 標本像の自動追尾装置及び追尾方法 | |
| JP2006145793A (ja) | 顕微鏡画像撮像システム | |
| JPH1048512A (ja) | オートフォーカス装置 | |
| JP3666429B2 (ja) | オートフォーカス装置及び方法、並びにカメラ | |
| JP4146916B2 (ja) | 画像入力装置 | |
| JP2007060520A (ja) | 撮像装置 | |
| JPH11287618A (ja) | 画像処理装置 | |
| JP5948062B2 (ja) | 撮像装置および顕微鏡システム | |
| JP3652014B2 (ja) | 距離計測装置 | |
| JP2004029537A (ja) | 顕微鏡、三次元画像生成方法、三次元画像を生成する制御をコンピュータに行わせるプログラム、及びそのプログラムを記録した記録媒体 | |
| JP2004056587A (ja) | 顕微鏡用撮像装置 | |
| JP2883648B2 (ja) | 画像入出力装置 | |
| JP3043034B2 (ja) | 画像入出力装置 | |
| JP3725606B2 (ja) | 撮影装置 | |
| JP3624037B2 (ja) | 画像入力装置および画像処理装置 | |
| JP3992302B2 (ja) | 画像入出力装置 | |
| JP4663670B2 (ja) | 動画像処理装置及び方法 | |
| JPH05227460A (ja) | 大きな焦点深度を得るための撮像方法及び大きな焦点深度が得られる撮像システム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20040621 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040706 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040901 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050419 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050617 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20060404 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20060411 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090421 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100421 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110421 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120421 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130421 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140421 Year of fee payment: 8 |
|
| LAPS | Cancellation because of no payment of annual fees |