JP3955115B2 - Confocal microscope focusing device and focusing method - Google Patents

Confocal microscope focusing device and focusing method Download PDF

Info

Publication number
JP3955115B2
JP3955115B2 JP30303296A JP30303296A JP3955115B2 JP 3955115 B2 JP3955115 B2 JP 3955115B2 JP 30303296 A JP30303296 A JP 30303296A JP 30303296 A JP30303296 A JP 30303296A JP 3955115 B2 JP3955115 B2 JP 3955115B2
Authority
JP
Japan
Prior art keywords
sample
image data
image
optical system
confocal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP30303296A
Other languages
Japanese (ja)
Other versions
JPH10142516A (en
Inventor
等 鈴木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Priority to JP30303296A priority Critical patent/JP3955115B2/en
Publication of JPH10142516A publication Critical patent/JPH10142516A/en
Application granted granted Critical
Publication of JP3955115B2 publication Critical patent/JP3955115B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Description

【0001】
【発明の属する技術分野】
本発明は、共焦点型顕微鏡に適用される合焦装置及び合焦方法に関するものである。
【0002】
【従来の技術】
従来、広く用いられている合焦装置には、画像信号の高周波成分に現れるコントラスト値をデフォーカス量として扱い、焦点検出を行うものが知られている。つまり、このような合焦装置では、試料の撮像画像をCCDで取り込み、この時の画像信号の高周波成分に現れるコントラスト値が図12に示すように合焦位置ではコントラスト値が最大となり、デフォーカス量の増大とともにコントラスト値が減少していく特性を利用して、いわゆる山登りサーボ方式により合焦制御を行うようにしている。
【0003】
このような方法によれば、合焦位置の近傍ではコントラスト値の変化が緩やかになることから、この緩やかな範囲で合焦位置を見付けることになり、さらにこの緩やかな範囲が狭いほど合焦位置の精度が高いものになる。
【0004】
【発明が解決しようとする課題】
ところが、実際は、コントラスト値の変化の緩やかな範囲から合焦位置を決定するのは難しく、合焦位置がある程度ばらつくことがある。これに対して、例えば、CCDカメラを用いた光学顕微鏡の場合であれば、観察光学系の焦点深度が大きいので、CCDカメラの撮像画像の合焦位置のばらつきは吸収され、ピントのあった画像が得られるが、共焦点型顕微鏡の場合には、共焦点画像の焦点深度が非常に小さいため、合焦位置のばらつきを吸収し切れず、ピントのずれた画像になってしまうことがある。
【0005】
また、従来では、コントラスト値を利用しているので、観察範囲の中でコントラストの高い領域に合焦してしまい、これは観察したい場所に合焦するとは限らないという問題もあった。本発明は、上記事情に鑑みてなされたもので、安定した自動合焦を実現できる共焦点型顕微鏡の合焦装置及び合焦方法を提供することを目的とする。
【0006】
【課題を解決するための手段】
請求項1記載の発明は、試料に対して光源からの光を走査し、該走査に応じた試料像の共焦点検出を可能にした共焦点光学系を有する共焦点型顕微鏡において、
前記共焦点光学系より深い焦点深度を有し前記試料像を検出可能にした検出光学系と、
この検出光学系により検出される試料像から、この試料像上の任意の位置情報と前記試料の光軸方向の移動範囲の1回ごとの移動量を設定する設定手段と、
この設定手段に設定された1回の移動量に応じた移動ごとの前記共焦点光学系により検出された試料像について前記任意の位置情報に対応する画像データを記憶する記憶手段と、
この記憶手段に記憶された画像データから最大輝度に対応する合焦位置を演算する合焦位置演算手段とにより構成している。
【0007】
請求項2記載の発明は、請求項1記載において、記憶手段は、前記任意の位置情報に対応する画像データと該画像データ近傍の画像データの平均値を記憶し、合焦位置演算手段は、前記記憶手段に記憶された平均化された画像データから最大輝度に対応する合焦位置を演算するようにしている。
【0008】
請求項3記載の発明は、請求項1記載において、さらに、前記設定手段に設定された1回の移動量に応じた移動ごとの前記共焦点光学系により検出された試料像について前記任意の位置情報に対応する画像データとともに予め設定された所定範囲の画像データを記憶する第2の記憶手段と、この第2の記憶手段に記億された画像データを所定の重み付けで処理して前記任意の位置情報に対応する画像データに置換える画像データ処理手段とを有し、
この画像データ処理手段により置換えられた画像データを前記任意の位置情報に対応する画像データとして前記記憶手段に記憶し、該記憶手段に記憶された画像データから最大輝度に対応する合焦位置を演算するようにしている。
請求項4記載の発明は、請求項1乃至3のいずれか1項において、さらに、前記共焦点光学系により出された離散的なデータに対して、多項式演算を行う演算手段を有し、この演算手段の演算結果から、最大輝度での合焦位置を求めるようにしている。
請求項5記載の発明は、試料に対して光源からの光を走査し、該走査に応じた試料像の共焦点検出を可能にした共焦点光学系を有する共焦点型顕微鏡の合焦方法であって、前記共焦点光学系より深い焦点深度を有する検出光学系により前記試料像を検出し、この検出された試料像から、この試料像上の任意の位置情報と前記試料の光軸方向の移動範囲の1回ごとの移動量を設定し、この設定された1回の移動量に応じた移動ごとの前記共焦点光学系により検出された試料像について前記任意の位置情報に対応する画像データを記憶し、この記憶された画像データから最大輝度に対応する合焦位置を演算するようにしている。
【0009】
この結果、請求項1記載の発明によれば、予め共焦点光学系より深い焦点深度を有する検出光学系を用い、この検出光学系にて得られた試料像により、この試料像上の任意の位置情報と試料の光軸方向の移動範囲の1回ごとの移動量が設定され、この設定された1回の移動量に応じた移動ごとの共焦点光学系により検出された試料像について任意の位置情報に対応する画像データを記憶手段に記憶し、この記憶された画像データから最大輝度に対応する合焦位置を演算するようにしているので、合焦したい位置の画像データに複数点のデータを合焦候補として取り込むようになり、始めから1点の画像データのみを採用するのに比べ、合焦したい位置に対して精度の高い自動合焦を実現できる。
【0010】
また、請求項2記載の発明によれば、試料表面に凹凸があっても安定した光軸方向の輝度分布が得られ、安定した自動合焦を実現できる。
また、請求項3記載の発明によれば、段差のある試料の段部の境界部を指示したような場合でも、段差の上段または下段を安定的に検出できるようになり、安定した自動合焦を実現できる。
また、請求項4記載の発明によれば、共焦点光学系により検出された離散的なデータに対して、多項式演算を行う演算手段を有し、この演算手段の演算結果から、最大輝度での合焦位置を求めることができるようになり、安定した自動合焦を実現できる。
また、請求項5記載の発明によれば、試料に対して光源からの光を走査し、該走査に応じた試料像の共焦点検出を可能にした共焦点検出光学系を有する共焦点型顕微鏡の合焦方法であって、前記共焦点光学系より深い焦点深度の前記試料像を検出し、この検出された試料像により、この試料像上の任意の位置情報と前記試料の光軸方向の移動範囲の1回ごとの移動量を設定し、この設定された1回の移動量に応じた移動ごとの前記共焦点光学系により検出された試料像について前記任意の位置情報に対応する画像データを記憶し、この記憶された画像データから最大輝度に対応する合焦位置を演算するようにしているので、合焦したい位置の画像データに複数点のデータを合焦候補として取り込むようになり、始めから1点の画像データのみを採用するのに比べ、合焦したい位置に対して精度の高い自動合焦を実現できる。
【0011】
【発明の実施の形態】
以下、本発明の実施の形態を図面に従い説明する。
(第1の実施の形態)
図1は、本発明が適用される共焦点型顕微鏡の合焦装置の概略構成を示している。図において、1は共焦点型顕微鏡本体で、この共焦点型顕微鏡本体1は、レーザ光源2、走査光学系3、対物レンズ4、ビームスプリッタ5、ミラー6、共焦点光学系7、非共焦点光学系8、ステージ10を有している。
【0012】
そして、レーザ光源2から出力されたレーザ光をビームスプリッタ5を介して走査光学系3に入射し、対物レンズ4を通ってステージ10上の試料9に照射するようにしている。
【0013】
ここで、走査光学系3は、レーザビームを2次元走査するためのもので、2つの光偏向器を有し、第1の光偏向器でレーザ光をX方向に偏向し、第2の光偏向器によりY方向に偏向することにより、レーザ光を光軸に垂直な面に沿って2次元に偏向するようにしている。なお、走査光学系3に対する走査の制御は、後述するコントローラボックス11を介してコンピュータ16からの指示により行われる。これにより、対物レンズ4を通してステージ10の試料9上に集光されるレーザ光を、微小なスポットとして、走査光学系3の走査制御に合わせて試料9上をTVのラスター走査と同じようにして2次元に移動するようにしている。
【0014】
一方、試料9上から反射したレーザ光を、入射した光路と逆に戻して、ビームスプリッタ5で反射してミラー6に入射するようにしている。このミラー6は、光路に対して出し入れ自在になっていて、ミラー6を光路に挿入した場合、反射光を共焦点光学系7に入射して共焦点画像を得、ミラー6を光路から外した場合、反射光を非共焦点光学系8に入射して非共焦点画像を得られるようにしている。
【0015】
このように構成した共焦点型顕微鏡本体1には、コントロールボックス11を接続し、このコントロールボックス11にコンピュータ16を接続している。コントロールボックス11は、画像用メモリ12、ラインメモリ13、演算回路14を有している。
【0016】
画像用メモリ12は、共焦点光学系7および非共焦点光学系8からの画像信号を輝度データとして保存するものである。この場合の輝度画像は、上述したXY走査が行われる度に毎回更新される。そして、画像用メモリ12の出力データを、コンピュータ16に送って、ディスプレイ17に試料9の輝度信号として表示し、また、この出力データの一部を、ラインメモリ13に送るようにしている。
【0017】
ラインメモリ13は、試料9が光軸方向に移動する度に、画像用メモリ12から輝度データを取り込み、これを保存するものである。ここでの試料9の光軸方向の移動は、コンピュータ16の指示によりZ駆動回路15によってステージ10を光軸方向に移動することで実現している。また、自動合焦時におけるステージ10の駆動は、一定の処理にしたがって自動的に行うようにしている。
【0018】
演算回路14は、ラインメモリ13の輝度データとコンピュータ16からの光軸方向の移動データをもとに合焦位置を演算するもので、この演算結果をコンピュータ16に送り、Z駆動回路15に対し駆動信号を出力することで、ステージ10を合焦位置に移動させるようにしている。
【0019】
ここで、自動合焦時以外では、ステージ10は、コンピュータ16より観察者が自由に制御できるようになっている。
なお、18は、コンピュータ16に接続したマウスである。
【0020】
次に、このように構成した実施の形態の動作を説明する。
まず、最初にステージ10に試料9を載置し、コンピュータ16よりレーザ走査の指示を行う。この場合、予めミラー6を光路より外し試料9からの反射光を非共焦点光学系8に入射させて、この非共焦点光学系8からの画像をディスプレイ17に表示するように設定しておく。これは、非共焦点光学系8の方が、共焦点光学系7の画像に比べ焦点深度の深い画像が得られるためで、自動合焦を行いたい試料9上の位置設定を簡単に行うためにも必要である。
【0021】
この状態から、レーザ走査開始によりレーザ光源2からのレーザ光をビームスプリッタ5、走査光学系3および対物レンズ4を通してステージ10上の試料9に照射すると、試料9からの反射光が、入射した光路と逆に戻って、ビームスプリッタ5を介して非共焦点光学系8に入射される。これにより、非共焦点光学系8からの画像信号が画像用メモリ12に記憶され、さらに画像用メモリ12の出力データがコンピュータ16よりディスプレイ17に送られる。
【0022】
しかし、ここで、試料9が合焦位置から大きく外れているものとすると、画像用メモリ12の出力データは、ほとんどゼロに近い値になるので、ディスプレイ17には何も表示されない。
【0023】
そこで、観察者がコンピュータ16に指示を与えてステージ10を動かすか、図示しないステージ10の粗動ハンドルを回転させて試料9を大まかな合焦位置まで移動させる。
【0024】
この状態で、例えば、試料9面が図2に示すように高さの異なるA、B、C面を有するものとし、このうちのB面がほぼ合焦する位置に一致したとすると、ディスプレイ17に表示される試料9の画像は、図3に示すようにB面ではほぼピントの合った状態で、図示斜線部分のA面とC面ではピントの合っていない状態で表示されるようになる。
【0025】
ここから、ピントの合っていないC面に合焦させるには、まず、新たな合焦位置を指示するため、図3に示すように矢印Mにより合焦させたいC面を指示する。具体的には、観察者は、コンピュータ16に接続されているマウス18を操作し、矢印MをC面上の合焦させたい位置Xに移動させ、目的とする位置に矢印Mが移動したところでマウス18でクリック操作し、この位置Xの情報をコンピュータ16に記憶させる。
【0026】
この場合、ディスプレイ17に表示されている画像の位置は、コントロールボックス11の画像用メモリ12の画素と1対1で対応するので、マウス18のクリック操作で入力された位置Xの情報がコントロールボックス11に送られ、この位置Xに対応した画像用メモリ12の画素のデータがラインメモリ13に出力される。
【0027】
次に、位置Xの光軸方向の輝度分布を得るため、試料9を光軸方向に移動させる。この場合、上述したように輝度分布のデータは、試料9の移動ごとにラインメモリ13に記憶されるので、試料9の移動は離散的に行われることになる。ここで、一回当りの試料9の移動量を細かくすれば、情報量が多くなるので、後の合焦位置の計算結果の精度が上がるが、データ収集に時間がかかり速やかな合焦動作が望めない。したがって、観察者は、この点を考慮しながら、移動範囲と1回の光軸方向の移動量の設定を行う。
【0028】
その後、試料9の移動範囲と1回の光軸方向の移動量の設定が完了すると、観察者はコンピュータ16に自動合焦の命令を与える。
この場合、コンピュータ16により、図4に示すフローが実行される。まず、ステップ401で、ラインメモリ13の内容をクリアする。次いで、ステップ402で、ミラー6を光路に挿入し、試料9からの反射光を共焦点光学系7に入射させることで共焦点光学系7を選択する。この場合、共焦点光学系7は、非共焦点光学系8と共通の光学系により画像が得られるので、非共焦点光学系8の際に設定した位置Xは、共焦点光学系7でもまったく同位置となる。
【0029】
次に、ステップ403で、試料9を移動範囲の上限位置もしくは下限位置に移動する。ここでは上限位置に移動するものとする。
この状態から、ステップ404で、レーザ走査を開始する。すると、試料9からの反射光が、ビームスプリッタ5、ミラー6を介して,今度は共焦点光学系7に入射される。この場合、共焦点光学系7では、試料9が合焦位置にないと、反射光がピンホールによって遮光されるため、画像用メモリ12には、ほとんどゼロに近い値のデータが保存される。
【0030】
その後、ステップ405で、1回のレーザ走査を終了すると、ステップ406で、画像用メモリ12のうち位置Xに対応した画素データがラインメモリ13に出力され記憶される。そして、ステップ408で、予め設定された移動量でステージ10を光軸に沿って下限方向に移動させ、この移動が終了すると、ステップ404に戻って、再びレーザ走査を行う。このような動作は、ステップ407で、ステージ10が下限位置に到達するのを検出されるまで繰り返し実行される。
【0031】
そして、ステージ10が下限位置に達すると、すべての動作を一旦停止し、ラインメモリ13のデータに基づく合焦位置の演算を行う。
この場合、共焦点光学系7は、焦点深度が非常に浅いため、合焦位置の近傍で輝度強度が急激に変化する。従って、輝度強度が最大の位置を求めれば、合焦位置を検出できることになる。
【0032】
図5は、横軸にステージ10の光軸方向の移動距離を取った場合のラインメモリ13での輝度データの変化の一例を示したものである。この場合、図からも明らかなように、ラインメモリ13の輝度データは、離散的なため、このデータをそのまま使用すると、例えば輝度データaと輝度データbの間に本当の最大輝度データがあるような場合も、輝度データaを最大輝度と判断してしまう。つまり、ラインメモリ13の輝度データだけから合焦位置を求めようとすると、真の合焦位置からずれを生じることがある。
【0033】
そこで、本発明では、真の合焦位置を求めるため、ステップ409で、ラインメモリ13の離散的なデータに対してさらに演算回路14で、2次もしくは3次の多項式近似を演算し、この演算結果から、ステップ410で、最大輝度でのステージ位置(合焦位置)を求めるようになる。
【0034】
この場合、演算回路14の演算結果は、図6に示すようになり、同図から明らかなように真の最大輝度が求められるとともに、真の合焦位置が判明する。ここで、演算回路14により演算される多項式のアルゴリズムは、周知のスプライン補間による適正化手法などにより一般化された方法が用いられる。これにより、演算回路14は、1チップマイコンにより実現が可能である。
【0035】
そして、演算回路14で求められた真の合焦位置情報は、コンピュータ16に送られ、コンピュータ16は、送られてきた情報に基づいて、ステップ411で、移動指令をZ駆動回路15に出力する。これにより、ステージ10は、合焦位置に移動し、試料9に対して正確な合焦が行われるようになる。
【0036】
従って、このようにすれば、予め共焦点光学系7より深い焦点深度を有する非共焦点光学系8を用意し、この非共焦点光学系8にて得られた試料像から合焦させたい位置Xと試料9の光軸方向の移動範囲の1回ごとの移動量を設定し、次に、共焦点光学系7に切換えて、予め設定された1回の移動量に応じた移動ごとの試料像について位置Xに対応する画像データをラインメモリ13に記憶し、この記憶された画像データから演算回路14により最大輝度に対応する合焦位置を演算するようしたので、合焦したい位置Xに対して複数点のデータを合焦候補として取り込むことができるようになり、始めから1点の画像データのみを採用するのに比べ、合焦したい位置に対して精度の高い自動合焦が可能になり、これにより顕微鏡観察においてピントずれによる影響をなくして常に精度の高い観察が可能になる。
(第2の実施の形態)
図7は、第2の実施の形態の概略構成を示すもので、図1と同一部分には同符号を付している。
【0037】
この場合、共焦点型顕微鏡本体1には、最初の合焦位置を求めるのに、TV画像を用いている。ここでは、TV画像を得るため、非共焦点光学系8に代えて、白色光源60、ハーフミラー61、切換えミラー62および撮像素子63を有している。白色光源60は、ハロゲンランプなどの従来の光学顕微鏡で用いられているものと同一である。そして、白色光源60からの照明光をハーフミラー61を通し、走査光学系3と対物レンズ4の間に挿入される切換えミラー62で反射させ、対物レンズ4を介して試料9を照明するようにしている。また、試料9からの反射光を切換えミラー62で反射させ、さらにハーフミラー61で反射させて撮像素子63に集光するようにしている。ここで、切換えミラー62は、自動合焦が開始されると、光路から退避するようになっている。
【0038】
撮像素子63には、CCDが用いられ、試料9の画像を撮像する。そして、撮像素子63からの信号をコントロールボックス11を経由してコンピュータ16に取り込み、ディスプレイ17に表示する。
【0039】
しかして、撮像素子63で得られる画像は、第1の実施の形態における非共焦点光学系8と同じで、共焦点光学系7に比べて焦点深度の深い画像であることから、非共焦点光学系8の説明で述べたように、最初の合焦位置を決定する際の画像として使用することができる。この場合、撮像素子63としてカラーCCDを用いれば、試料9の色情報も得られるので、さらに位置設定が容易になる。
【0040】
なお、第2の実施の形態の場合、合焦位置の設定をTV画像で行い、合焦処理は、共焦点光学系7で行うようになっていて、異なる2つの光学系を用いているので、それぞれの位置関係については、予め調整する必要がある。これには、例えば画像処理によってスケールなどの試料をTV画像と共焦点光学系7の画像を重ねて表示し、共焦点光学系7の画像がTV画像と一致するように、走査光学系の振り幅を調整するようにすればよい。
【0041】
従って、このようにしても第1の実施の形態で述べたと同様な効果が期待できる。
また、この第2の実施の形態では、さらに、画像用メモリ12とラインメモリ13の間に平均処理回路64を配置している。
【0042】
つまり、第1の実施の形態では、画像上の1点の情報をラインメモリ13に記憶している。この場合、試料9の表面が鏡面であれば1点の情報でも問題ないが表面全体に細かい凹凸があるような場合は、試料表面の状態によっては、反射光の光量が不安定になることがあり、このような状態では、図5に示すような輝度分布のデータが得られなくなってしまう。
【0043】
そこで、第2の実施の形態では、図3で指定した位置Xでの輝度データとともに、その周辺の画像の輝度データを平均処理回路64で平均化したものを使用している。これにより、試料表面に凹凸があるような場合でも、安定した反射光量が確保できることから、正確な輝度データが確保できることになる。
【0044】
なお、平均化を行うための位置Xの周辺の範囲は、コンピュータ16により観察者が自由に設定できるようになっている。
従って、このようにすれば、さらに、試料9の表面に凹凸があっても安定した光軸方向の輝度分布が得られるようになり、安定した自動合焦を実現できる。
(第3の実施の形態)
第1の実施の形態では、マウス18により入力されて指示された位置Xの1点の画像データをラインメモリ13に順次格納するようになっており、また、第2の実施の形態では、微小領域の画像信号の平均値をラインメモリ13に格納するもので、反射光の光量が不安定の場合にも安定した輝度データを得られるようになっているが、例えば、試料9上に段差があるような場合で、指示した試料上り位置が段差の境界部であったような場合、段差の上段、下段のいずれの位置を輝度ピークとして検出するかが不安定になることがある。
【0045】
そこで、この第3の実施の形態では、段差のある試料の境界部を指示した場合でも段差の上段または下段を安定的に検出できるようにしている。
この場合、図8は、第3の実施の形態の要部を示すもので、画像メモリ12とラインメモリ13の間に空間メモリ70およびフィルタ演算機構71を挿入している。その他は、図1と同様である。
【0046】
つまり、かかる第3の実施の形態では、上述した第1の実施の形態のラインメモリ13は、指示位置である1点の画像データの内容を観察高さの順に格納する1次元的なものであったが、このラインメモリ13の他に図9に示すように3次元の空間メモリ70を用いている。
【0047】
この空間メモリ70は、指示位置の画像データの内容とともに、その近傍の画像データの内容も同時に記憶できるようにしたものである。つまり、最初の観察高さ位置での指示位置の画像データの値を空間メモリ70の1階層目のeに格納するとともに、その近傍の画像データをa、b、c、d、f、g、h、iにそれぞれの位置に対応して格納するようにしている。
【0048】
そして、ラインメモリ13の場合と同様に、観察位置を順に変更し、それぞれの高さの位置での画像データを空間メモリ70の2階層目、3階層目と順に格納していく。この時、格納位置は、1階層目と同様に指示位置の画像データがeに格納し、その近傍の画像データをa、b、c、d、f、g、h、iの位置に格納するようにしている。
【0049】
そして、このような空間メモリ70の各階層での代表値を決めるための演算処理をフィルタ演算機構71により行うようにしている。このフィルタ演算機構71は、ワンチップマイコンの組み込みにより容易に実現可能である他、演算回路を使って演算処理することで実現することも可能である。
【0050】
つまり、空間メモリ70に格納された指示位置およびその近傍の観察高さ位置に対応した画像データについてフィルタ演算機構71により演算処理を実行して、図10に示すようなフィルタ処理後の値として各階層の代表値を求め、これら各階層の代表値をラインメモリ13に格納し、第1の実施の形態で説明したと同様な処理によって段差の上段、下段を選択的に検出するようにしている。
【0051】
図10では、72が空間メモリ70に格納された各階層の画像データを示し、これをフィルタ演算機構71のフィルタ73の画像フィルタ係数により処理することで、各階層の出力代表値74を求めるようにしている。
【0052】
ここでのフィルタ73での各画像フィルタ係数は、X方向のソーベルフィルタと呼ばれるもので、X方向の左から右に輝度が高く変化すると出力代表値が大きくなり、逆に左から右に輝度が低く変化すると出力代表値が負の方向に大きくなるようなものである。
【0053】
しかして、いま、図11に示すような段差を有する試料9の場合で、試料9のZ方向の各位置(1)(2)(3)を観察した場合の、それぞれの観察画像を像(1)、像(2)、像(3)とすると、これらの画像データに対しフィルタ73の画像フィルタ係数を用いて求められた代表値は、図示右端に示すものとなる。
【0054】
ここでの画像データの値は、画像用メモリ12の1画素が8bitの場合で計算しており、(1)(3)の明部が256、暗部が0の場合の結果を示し、また、(2)の中間の場合は、画像データがすべて128として計算している。
【0055】
これにより、左から暗から明に変化する場合に最大値1024となり、逆に明から暗に変化する場合は最小値−1024となる。
この性質を用いて右側の上段に焦点を合わせる場合は、代表値が最大となる位置を検出すればよく、左側の下段に焦点を合わせる場合は代表値の符号を反転させた値が最大となる位置を検出すればよい。
【0056】
なお、フィルタ73の画像フィルタ係数は、画像データの輝度変化に応じて、Y方向の輝度変化を検出するようにフィルタ係数の値を変えて使うことも可能である。また、ここまでは、空間メモリ70の各階層での処理対象とするデータ範囲を3×3の9データとしてきたが、より広い領域の情報に基づいてピーク位置を検出するには、5×5、7×7としても前述の効果は同様に得られる。
【0057】
従って、このようにすれば、さらに段差のある試料の段部の境界部を指示した場合でも、段差の上段または下段を安定的に検出できるようになり、安定した自動合焦を実現できる。
【0058】
【発明の効果】
以上述べたように本発明によれば、合焦したい位置に対して精度の高い自動合焦を実現でき、共焦点顕微鏡観察においてピントずれによる影響をなくして精度の高い観察が実現できる。また、試料表面に凹凸があっても安定した光軸方向の輝度分布が得られ、安定した自動合焦を実現できる。さらに、段差のある試料の段部の境界部を指示したような場合でも、段差の上段または下段を安定的に検出できるようになり、安定した自動合焦を実現できる。
【図面の簡単な説明】
【図1】 本発明の第1の実施の形態の共焦点型顕微鏡の合焦装置の概略構成を示す図。
【図2】 第1の実施の形態に用いられる試料面を説明するための図。
【図3】 第1の実施の形態に用いられる試料面でのピントの状態を説明するための図。
【図4】 第1の実施の形態の動作を説明するためのフローチャート。
【図5】 第1の実施の形態に用いられるラインメモリでの輝度データの変化の一例を示す図。
【図6】 第1の実施の形態に用いられる演算回路での演算結果を示す図。
【図7】 本発明の第2の実施の形態の概略構成を示す図。
【図8】 本発明の第3の実施の形態の要部のみの概略構成を示す図。
【図9】 第3の実施の形態に用いられる空間メモリを説明するための図。
【図10】 第3の実施の形態での代表値の決定方法を説明するための図。
【図11】 第3の実施の形態での段差のある試料を説明するための図。
【図12】 従来の自動合焦の方法の一例を説明するための図。
【符号の説明】
1…共焦点型顕微鏡本体、
2…レーザ光源、
3…走査光学系、
4…対物レンズ、
5…ビームスプリッタ、
6…ミラー、
7…共焦点光学系、
8…非共焦点光学系、
9…試料、
10…ステージ、
11…コントローラボックス、
12…画像用メモリ、
13…ラインメモリ、
14…演算回路、
15…Z駆動回路、
16…コンピュータ、
17…ディスプレイ、
18…マウス、
60…白色光源、
61…ハーフミラー、
62…切換えミラー、
63…撮像素子、
64…平均処理回路、
70…空間メモリ、
71…フィルタ演算機構、
72…各階層の画像データ、
73…フィルタ、
74…各階層の出力代表値。
[0001]
BACKGROUND OF THE INVENTION
  The present invention relates to a focusing device applied to a confocal microscope.And focusing methodIt is about.
[0002]
[Prior art]
2. Description of the Related Art Conventionally, as a focusing device widely used, a device that performs focus detection by treating a contrast value appearing in a high-frequency component of an image signal as a defocus amount is known. That is, in such a focusing apparatus, the captured image of the sample is captured by the CCD, and the contrast value appearing in the high-frequency component of the image signal at this time becomes the maximum at the in-focus position as shown in FIG. Focusing control is performed by a so-called hill-climbing servo system using the characteristic that the contrast value decreases as the amount increases.
[0003]
According to such a method, since the change in the contrast value becomes gentle in the vicinity of the in-focus position, the in-focus position is found in this gentle range. The accuracy will be high.
[0004]
[Problems to be solved by the invention]
However, in practice, it is difficult to determine the in-focus position from a gentle range of contrast value changes, and the in-focus position may vary to some extent. On the other hand, for example, in the case of an optical microscope using a CCD camera, since the depth of focus of the observation optical system is large, the variation in the focus position of the captured image of the CCD camera is absorbed, and the focused image However, in the case of a confocal microscope, since the depth of focus of the confocal image is very small, variations in focus position may not be completely absorbed, resulting in an out-of-focus image.
[0005]
  Further, conventionally, since the contrast value is used, there is a problem that a region having high contrast in the observation range is focused, and this does not always focus on a place where observation is desired. The present invention has been made in view of the above circumstances, and is a confocal microscope focusing device capable of realizing stable automatic focusing.And focusing methodThe purpose is to provide.
[0006]
[Means for Solving the Problems]
  According to the first aspect of the present invention, the sample is scanned with the light from the light source, and the confocal light that enables the confocal detection of the sample image corresponding to the scanningSpotlightIn a confocal microscope with an academic system,
  A detection optical system having a depth of focus deeper than the confocal optical system and capable of detecting the sample image;
  Sample image detected by this detection optical systemFromSetting means for setting an arbitrary position information on the sample image and a moving amount for each movement of the moving range of the sample in the optical axis direction;
  Storage means for storing image data corresponding to the arbitrary position information for the sample image detected by the confocal optical system for each movement according to the amount of movement set once in the setting means;
  The in-focus position calculating means calculates the in-focus position corresponding to the maximum luminance from the image data stored in the storage means.
[0007]
The invention described in claim 2 is the storage device according to claim 1, wherein the storage means stores the average value of the image data corresponding to the arbitrary position information and the image data in the vicinity of the image data, and the in-focus position calculation means includes: An in-focus position corresponding to the maximum luminance is calculated from the averaged image data stored in the storage means.
[0008]
  A third aspect of the present invention is the first aspect according to the first aspect, wherein the arbitrary position of the sample image detected by the confocal optical system for each movement according to a single movement amount set in the setting unit. A second storage means for storing a predetermined range of image data set together with the image data corresponding to the information, and processing the image data stored in the second storage means with a predetermined weight to obtain the arbitrary data Image data processing means for replacing with image data corresponding to the position information,
The image data replaced by the image data processing means is stored in the storage means as image data corresponding to the arbitrary position information, and the in-focus position corresponding to the maximum luminance is calculated from the image data stored in the storage means. Like to do.
  According to a fourth aspect of the present invention, in any one of the first to third aspects, the apparatus further includes arithmetic means for performing a polynomial operation on the discrete data output by the confocal optical system. The in-focus position at the maximum brightness is obtained from the calculation result of the calculation means.
  According to the fifth aspect of the present invention, the sample is scanned with light from the light source, and confocal detection of the sample image corresponding to the scanning is enabled.SpotlightA focusing method for a confocal microscope having an academic system, wherein the depth of focus is deeper than that of the confocal optical system.With detection optical system havingThe sample image is detected, and the detected sample imageFromArbitrary position information on the sample image and a movement amount for each movement of the movement range of the sample in the optical axis direction are set, and the confocal optical system for each movement according to the set one movement amount The image data corresponding to the arbitrary position information is stored for the sample image detected by the above, and the in-focus position corresponding to the maximum luminance is calculated from the stored image data.
[0009]
  As a result, according to the first aspect of the present invention, a detection optical system having a depth of focus deeper than that of the confocal optical system is used in advance, and a sample image obtained by the detection optical system.By thisArbitrary position information on the sample image and the movement amount for each movement of the movement range in the optical axis direction of the sample are set and detected by the confocal optical system for each movement according to the set movement amount. Image data corresponding to arbitrary position information is stored in the storage means, and the in-focus position corresponding to the maximum luminance is calculated from the stored image data. A plurality of points of data are captured as in-focus candidates, and automatic focusing with high accuracy can be realized at a position to be focused as compared with the case where only one point of image data is employed from the beginning.
[0010]
  According to the second aspect of the present invention, a stable luminance distribution in the direction of the optical axis can be obtained even when the sample surface is uneven, and stable automatic focusing can be realized.
  According to the third aspect of the present invention, even when the boundary of the step portion of the sample having a step is indicated, the upper step or the lower step of the step can be stably detected, and the stable automatic focusing can be performed. Can be realized.
According to the invention of claim 4, it has a calculation means for performing a polynomial calculation on the discrete data detected by the confocal optical system. From the calculation result of the calculation means, the maximum brightness is obtained. The in-focus position can be obtained, and stable automatic focusing can be realized.
According to the invention described in claim 5, the confocal microscope having the confocal detection optical system that scans the sample with the light from the light source and enables the confocal detection of the sample image according to the scan. The sample image having a depth of focus deeper than that of the confocal optical system is detected, and an arbitrary position information on the sample image and an optical axis direction of the sample are detected based on the detected sample image. Image data corresponding to the arbitrary position information is set for the sample image detected by the confocal optical system for each movement corresponding to the set one movement amount. Since the focus position corresponding to the maximum brightness is calculated from the stored image data, a plurality of points of data are captured as focus candidates in the image data at the position where the focus is desired. Only one point of image data from the beginning Compared to employ, it can be realized focus highly accurate automatic focus with respect to the position to be focused.
[0011]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, embodiments of the present invention will be described with reference to the drawings.
(First embodiment)
FIG. 1 shows a schematic configuration of a focusing device of a confocal microscope to which the present invention is applied. In the figure, reference numeral 1 denotes a confocal microscope main body. The confocal microscope main body 1 includes a laser light source 2, a scanning optical system 3, an objective lens 4, a beam splitter 5, a mirror 6, a confocal optical system 7, and a non-confocal optical system. An optical system 8 and a stage 10 are provided.
[0012]
The laser light output from the laser light source 2 enters the scanning optical system 3 via the beam splitter 5, and irradiates the sample 9 on the stage 10 through the objective lens 4.
[0013]
Here, the scanning optical system 3 is for scanning a laser beam two-dimensionally, has two optical deflectors, the first optical deflector deflects the laser light in the X direction, and the second light By deflecting in the Y direction by a deflector, the laser light is deflected two-dimensionally along a plane perpendicular to the optical axis. Note that scanning control for the scanning optical system 3 is performed by an instruction from the computer 16 via a controller box 11 described later. As a result, the laser beam condensed on the sample 9 of the stage 10 through the objective lens 4 is made into a minute spot, and the sample 9 is set in the same manner as the TV raster scan in accordance with the scanning control of the scanning optical system 3. It moves in two dimensions.
[0014]
On the other hand, the laser beam reflected from the sample 9 is returned to the opposite direction of the incident optical path, reflected by the beam splitter 5 and incident on the mirror 6. The mirror 6 can be inserted into and removed from the optical path. When the mirror 6 is inserted into the optical path, the reflected light enters the confocal optical system 7 to obtain a confocal image, and the mirror 6 is removed from the optical path. In this case, the reflected light is incident on the non-confocal optical system 8 so that a non-confocal image can be obtained.
[0015]
A control box 11 is connected to the confocal microscope main body 1 configured as described above, and a computer 16 is connected to the control box 11. The control box 11 includes an image memory 12, a line memory 13, and an arithmetic circuit 14.
[0016]
The image memory 12 stores image signals from the confocal optical system 7 and the non-confocal optical system 8 as luminance data. The luminance image in this case is updated every time the XY scanning described above is performed. The output data of the image memory 12 is sent to the computer 16 and displayed on the display 17 as the luminance signal of the sample 9, and a part of this output data is sent to the line memory 13.
[0017]
The line memory 13 fetches luminance data from the image memory 12 and saves it every time the sample 9 moves in the optical axis direction. The movement of the sample 9 in the optical axis direction here is realized by moving the stage 10 in the optical axis direction by the Z drive circuit 15 according to an instruction from the computer 16. In addition, the stage 10 is automatically driven in accordance with a certain process during automatic focusing.
[0018]
The arithmetic circuit 14 calculates the in-focus position based on the luminance data of the line memory 13 and the movement data in the optical axis direction from the computer 16, and sends the calculation result to the computer 16 for the Z drive circuit 15. By outputting a driving signal, the stage 10 is moved to the in-focus position.
[0019]
Here, the stage 10 can be freely controlled by the observer from the computer 16 except during automatic focusing.
Reference numeral 18 denotes a mouse connected to the computer 16.
[0020]
Next, the operation of the embodiment configured as described above will be described.
First, the sample 9 is first placed on the stage 10 and a laser scanning instruction is issued from the computer 16. In this case, it is set in advance that the mirror 6 is removed from the optical path, the reflected light from the sample 9 is incident on the non-confocal optical system 8, and an image from the non-confocal optical system 8 is displayed on the display 17. . This is because the non-confocal optical system 8 can obtain an image with a deeper depth of focus than the image of the confocal optical system 7, so that the position on the sample 9 to be automatically focused can be easily set. Is also necessary.
[0021]
In this state, when the laser beam from the laser light source 2 is irradiated onto the sample 9 on the stage 10 through the beam splitter 5, the scanning optical system 3, and the objective lens 4 by starting the laser scanning, the reflected light from the sample 9 is incident on the optical path. In reverse, the light is incident on the non-confocal optical system 8 via the beam splitter 5. As a result, the image signal from the non-confocal optical system 8 is stored in the image memory 12, and the output data of the image memory 12 is sent from the computer 16 to the display 17.
[0022]
However, if the sample 9 is greatly deviated from the in-focus position, the output data of the image memory 12 is almost zero, so that nothing is displayed on the display 17.
[0023]
Therefore, the observer gives an instruction to the computer 16 to move the stage 10 or rotate the coarse movement handle of the stage 10 (not shown) to move the sample 9 to a rough focus position.
[0024]
In this state, for example, if the surface of the sample 9 has A, B, and C surfaces with different heights as shown in FIG. As shown in FIG. 3, the image of the sample 9 displayed on the surface B is substantially in focus on the B surface, and is not in focus on the A surface and C surface in the shaded area in the figure. .
[0025]
From this point, in order to focus on the out-of-focus C-plane, first, in order to indicate a new focusing position, the C-plane to be focused is indicated by an arrow M as shown in FIG. Specifically, the observer operates the mouse 18 connected to the computer 16 to move the arrow M to the position X to be focused on the C plane, and when the arrow M has moved to the target position. A click operation is performed with the mouse 18, and the information on the position X is stored in the computer 16.
[0026]
In this case, the position of the image displayed on the display 17 has a one-to-one correspondence with the pixel of the image memory 12 of the control box 11, so the information of the position X input by the click operation of the mouse 18 is the control box. 11, the pixel data of the image memory 12 corresponding to the position X is output to the line memory 13.
[0027]
Next, in order to obtain the luminance distribution in the optical axis direction at the position X, the sample 9 is moved in the optical axis direction. In this case, as described above, the luminance distribution data is stored in the line memory 13 every time the sample 9 is moved, so that the sample 9 is moved discretely. Here, if the amount of movement of the sample 9 per time is made finer, the amount of information increases, so the accuracy of the calculation result of the subsequent in-focus position increases. However, it takes time to collect data and a quick in-focus operation is performed. I can't hope. Therefore, the observer sets the movement range and the movement amount in one optical axis direction while taking this point into consideration.
[0028]
Thereafter, when the setting of the movement range of the sample 9 and one movement amount in the optical axis direction is completed, the observer gives an instruction for automatic focusing to the computer 16.
In this case, the flow shown in FIG. 4 is executed by the computer 16. First, in step 401, the contents of the line memory 13 are cleared. Next, in step 402, the confocal optical system 7 is selected by inserting the mirror 6 into the optical path and causing the reflected light from the sample 9 to enter the confocal optical system 7. In this case, since the confocal optical system 7 can obtain an image by an optical system common to the non-confocal optical system 8, the position X set in the non-confocal optical system 8 is completely the same even in the confocal optical system 7. At the same position.
[0029]
Next, in step 403, the sample 9 is moved to the upper limit position or the lower limit position of the movement range. Here, it is assumed to move to the upper limit position.
From this state, in step 404, laser scanning is started. Then, the reflected light from the sample 9 is incident on the confocal optical system 7 this time via the beam splitter 5 and the mirror 6. In this case, in the confocal optical system 7, since the reflected light is blocked by the pinhole unless the sample 9 is in the in-focus position, data having a value close to zero is stored in the image memory 12.
[0030]
Thereafter, when one laser scan is completed in step 405, pixel data corresponding to the position X in the image memory 12 is output to the line memory 13 and stored in step 406. Then, in step 408, the stage 10 is moved in the lower limit direction along the optical axis by a preset amount of movement. When this movement is completed, the process returns to step 404 and laser scanning is performed again. Such an operation is repeatedly executed until it is detected in step 407 that the stage 10 reaches the lower limit position.
[0031]
When the stage 10 reaches the lower limit position, all operations are temporarily stopped and the in-focus position is calculated based on the data in the line memory 13.
In this case, since the confocal optical system 7 has a very shallow depth of focus, the luminance intensity changes rapidly in the vicinity of the in-focus position. Therefore, if the position having the maximum luminance intensity is obtained, the in-focus position can be detected.
[0032]
FIG. 5 shows an example of changes in luminance data in the line memory 13 when the horizontal axis represents the movement distance of the stage 10 in the optical axis direction. In this case, as apparent from the figure, the luminance data of the line memory 13 is discrete, so that when this data is used as it is, for example, there is true maximum luminance data between the luminance data a and the luminance data b. In this case, the luminance data a is determined as the maximum luminance. That is, if an in-focus position is obtained only from the luminance data of the line memory 13, a deviation from the true in-focus position may occur.
[0033]
Therefore, in the present invention, in order to obtain the true in-focus position, in step 409, the arithmetic circuit 14 further calculates a quadratic or cubic polynomial approximation on the discrete data in the line memory 13, and this calculation is performed. From the result, in step 410, the stage position (focus position) at the maximum luminance is obtained.
[0034]
In this case, the calculation result of the calculation circuit 14 is as shown in FIG. 6, and the true maximum luminance is obtained and the true in-focus position is determined as is apparent from the figure. Here, as a polynomial algorithm calculated by the arithmetic circuit 14, a method generalized by a known optimization method using spline interpolation or the like is used. Thus, the arithmetic circuit 14 can be realized by a one-chip microcomputer.
[0035]
Then, the true in-focus position information obtained by the arithmetic circuit 14 is sent to the computer 16, and the computer 16 outputs a movement command to the Z drive circuit 15 in step 411 based on the sent information. . As a result, the stage 10 moves to the in-focus position, so that the sample 9 is accurately focused.
[0036]
Accordingly, in this way, a non-confocal optical system 8 having a depth of focus deeper than that of the confocal optical system 7 is prepared in advance, and a position to be focused from the sample image obtained by the non-confocal optical system 8 X and the movement distance of the sample 9 in the direction of the optical axis are set for each movement, and then the sample is switched to the confocal optical system 7 for each movement according to the movement amount set in advance. Since the image data corresponding to the position X for the image is stored in the line memory 13 and the in-focus position corresponding to the maximum luminance is calculated from the stored image data by the arithmetic circuit 14, the in-focus position X to be focused is calculated. As a result, multiple points of data can be captured as in-focus candidates, and automatic focusing with higher accuracy is possible for the position to be in focus than when only one point of image data is used from the beginning. This makes it possible for microscopic observation Always allowing accurate observation by eliminating the influence of the cement displacement.
(Second Embodiment)
FIG. 7 shows a schematic configuration of the second embodiment, and the same components as those in FIG.
[0037]
In this case, a TV image is used for the confocal microscope main body 1 to obtain the first in-focus position. Here, in order to obtain a TV image, a white light source 60, a half mirror 61, a switching mirror 62, and an image sensor 63 are provided instead of the non-confocal optical system 8. The white light source 60 is the same as that used in a conventional optical microscope such as a halogen lamp. The illumination light from the white light source 60 passes through the half mirror 61 and is reflected by the switching mirror 62 inserted between the scanning optical system 3 and the objective lens 4 to illuminate the sample 9 via the objective lens 4. ing. Further, the reflected light from the sample 9 is reflected by the switching mirror 62 and further reflected by the half mirror 61 so as to be condensed on the image sensor 63. Here, the switching mirror 62 is retracted from the optical path when automatic focusing is started.
[0038]
A CCD is used for the image sensor 63 and captures an image of the sample 9. Then, a signal from the image sensor 63 is taken into the computer 16 via the control box 11 and displayed on the display 17.
[0039]
Thus, the image obtained by the image sensor 63 is the same as the non-confocal optical system 8 in the first embodiment, and is an image having a deeper focal depth than the confocal optical system 7. As described in the description of the optical system 8, it can be used as an image when determining the first in-focus position. In this case, if a color CCD is used as the image sensor 63, the color information of the sample 9 can also be obtained, so that the position setting is further facilitated.
[0040]
In the case of the second embodiment, the in-focus position is set by a TV image, and the in-focus processing is performed by the confocal optical system 7, and two different optical systems are used. Each positional relationship needs to be adjusted in advance. For example, a sample such as a scale is displayed by superimposing a TV image and an image of the confocal optical system 7 by image processing, and the scanning optical system is swung so that the image of the confocal optical system 7 matches the TV image. The width may be adjusted.
[0041]
Accordingly, even in this way, the same effect as described in the first embodiment can be expected.
In the second embodiment, an average processing circuit 64 is further arranged between the image memory 12 and the line memory 13.
[0042]
That is, in the first embodiment, information on one point on the image is stored in the line memory 13. In this case, if the surface of the sample 9 is a mirror surface, there is no problem with information on one point, but if there are fine irregularities on the entire surface, the amount of reflected light may become unstable depending on the state of the sample surface. In such a state, luminance distribution data as shown in FIG. 5 cannot be obtained.
[0043]
Therefore, in the second embodiment, the luminance data at the position X designated in FIG. 3 and the luminance data of the surrounding image are averaged by the average processing circuit 64 are used. Thereby, even when the sample surface has irregularities, a stable amount of reflected light can be secured, so that accurate luminance data can be secured.
[0044]
The range around the position X for averaging can be freely set by the observer using the computer 16.
Therefore, in this way, a stable luminance distribution in the direction of the optical axis can be obtained even if the surface of the sample 9 is uneven, and stable automatic focusing can be realized.
(Third embodiment)
In the first embodiment, one point of image data at the position X input and instructed by the mouse 18 is sequentially stored in the line memory 13, and in the second embodiment, minute data is stored. The average value of the image signal of the area is stored in the line memory 13 so that stable luminance data can be obtained even when the amount of reflected light is unstable. For example, there is a step on the sample 9. In some cases, when the instructed sample ascending position is at the step boundary, it may be unstable which position of the upper or lower step is detected as a luminance peak.
[0045]
Therefore, in the third embodiment, even when a boundary portion of a sample having a step is indicated, the upper or lower step of the step can be stably detected.
In this case, FIG. 8 shows a main part of the third embodiment, and a spatial memory 70 and a filter operation mechanism 71 are inserted between the image memory 12 and the line memory 13. Others are the same as FIG.
[0046]
That is, in the third embodiment, the line memory 13 of the first embodiment described above is a one-dimensional one that stores the contents of one point of image data that is the designated position in the order of observation height. However, in addition to the line memory 13, a three-dimensional space memory 70 is used as shown in FIG.
[0047]
The space memory 70 can simultaneously store the contents of the image data at the designated position and the contents of the image data in the vicinity thereof. That is, the value of the image data at the designated position at the first observation height position is stored in e of the first layer of the space memory 70, and the image data in the vicinity thereof is stored in a, b, c, d, f, g, The h and i are stored corresponding to the respective positions.
[0048]
Then, as in the case of the line memory 13, the observation position is changed in order, and the image data at each height position is stored in order from the second hierarchy to the third hierarchy of the space memory 70. At this time, the image data at the designated position is stored in e as in the first layer, and the image data in the vicinity thereof is stored in positions a, b, c, d, f, g, h, i. I am doing so.
[0049]
The filter calculation mechanism 71 performs calculation processing for determining a representative value in each layer of the space memory 70. This filter operation mechanism 71 can be easily realized by incorporating a one-chip microcomputer, and can also be realized by performing arithmetic processing using an arithmetic circuit.
[0050]
That is, calculation processing is executed by the filter calculation mechanism 71 on the image data corresponding to the indicated position stored in the spatial memory 70 and the observation height position in the vicinity thereof, and each value after the filter processing as shown in FIG. The representative values of the hierarchies are obtained, the representative values of the respective hierarchies are stored in the line memory 13, and the upper and lower steps of the steps are selectively detected by the same processing as described in the first embodiment. .
[0051]
In FIG. 10, 72 represents image data of each layer stored in the spatial memory 70, and this is processed by the image filter coefficient of the filter 73 of the filter calculation mechanism 71 to obtain the output representative value 74 of each layer. I have to.
[0052]
Each image filter coefficient in the filter 73 here is called an X-direction Sobel filter. When the luminance changes from left to right in the X direction, the output representative value increases, and conversely, the luminance from left to right. The output representative value becomes larger in the negative direction when the value changes to a lower value.
[0053]
Thus, now, in the case of the sample 9 having a step as shown in FIG. 11, the observation images when the respective positions (1), (2), and (3) in the Z direction of the sample 9 are observed are images ( Assuming 1), image (2), and image (3), the representative values obtained by using the image filter coefficients of the filter 73 for these image data are those shown at the right end of the figure.
[0054]
The value of the image data here is calculated when one pixel of the image memory 12 is 8 bits, and shows the result when the bright part of (1) and (3) is 256 and the dark part is 0, In the middle of (2), all image data are calculated as 128.
[0055]
As a result, the maximum value is 1024 when changing from dark to bright from the left, and the minimum value is -1024 when changing from light to dark.
When focusing on the upper right side using this property, it is only necessary to detect the position where the representative value is maximized. When focusing on the lower left side, the value obtained by inverting the sign of the representative value is maximized. What is necessary is just to detect a position.
[0056]
Note that the image filter coefficient of the filter 73 can be used by changing the value of the filter coefficient so as to detect the luminance change in the Y direction in accordance with the luminance change of the image data. Up to this point, the data range to be processed in each layer of the spatial memory 70 has been set to 9 × 3 × 3. However, in order to detect a peak position based on information on a wider area, 5 × 5 , 7 × 7 can achieve the same effect as described above.
[0057]
Therefore, in this way, even when the boundary portion of the step portion of the sample having a further step is indicated, the upper or lower step of the step can be stably detected, and stable automatic focusing can be realized.
[0058]
【The invention's effect】
As described above, according to the present invention, high-precision automatic focusing can be realized at a position where focusing is desired, and high-precision observation can be realized by eliminating the influence of focus shift in confocal microscope observation. In addition, a stable luminance distribution in the optical axis direction can be obtained even if the sample surface has irregularities, and stable automatic focusing can be realized. Furthermore, even when the boundary of the step portion of the sample having a step is indicated, the upper step or the lower step of the step can be stably detected, and stable automatic focusing can be realized.
[Brief description of the drawings]
FIG. 1 is a diagram showing a schematic configuration of a focusing device of a confocal microscope according to a first embodiment of the present invention.
FIG. 2 is a view for explaining a sample surface used in the first embodiment.
FIG. 3 is a view for explaining a state of focus on a sample surface used in the first embodiment.
FIG. 4 is a flowchart for explaining the operation of the first embodiment;
FIG. 5 is a diagram illustrating an example of changes in luminance data in the line memory used in the first embodiment.
FIG. 6 is a diagram showing a calculation result in an arithmetic circuit used in the first embodiment.
FIG. 7 is a diagram showing a schematic configuration of a second embodiment of the present invention.
FIG. 8 is a diagram showing a schematic configuration of only a main part of a third embodiment of the present invention.
FIG. 9 is a diagram for explaining a spatial memory used in the third embodiment;
FIG. 10 is a diagram for explaining a representative value determination method according to the third embodiment;
FIG. 11 is a view for explaining a sample having a step in the third embodiment;
FIG. 12 is a diagram for explaining an example of a conventional automatic focusing method.
[Explanation of symbols]
1 ... Confocal microscope body,
2 ... Laser light source,
3. Scanning optical system,
4 ... Objective lens,
5 ... Beam splitter,
6 ... mirror,
7 ... Confocal optical system,
8 ... Non-confocal optics
9 ... Sample,
10 ... stage,
11 ... Controller box,
12: Image memory,
13: Line memory,
14 ... arithmetic circuit,
15 ... Z drive circuit,
16 ... computer,
17 ... Display,
18 ... mouse,
60 ... white light source,
61 ... Half mirror,
62 ... Switching mirror,
63 ... Image sensor,
64: Average processing circuit,
70: Spatial memory,
71: Filter operation mechanism,
72 ... image data of each layer,
73 ... Filter,
74: Output representative value of each layer.

Claims (5)

試料に対して光源からの光を走査し、該走査に応じた試料像の共焦点検出を可能にした共焦点光学系を有する共焦点型顕微鏡において、
前記共焦点光学系より深い焦点深度を有し前記試料像を検出可能にした検出光学系と、
この検出光学系により検出される試料像から、この試料像上の任意の位置情報と前記試料の光軸方向の移動範囲の1回ごとの移動量を設定する設定手段と、
この設定手段に設定された1回の移動量に応じた移動ごとの前記共焦点光学系により検出された試料像について前記任意の位置情報に対応する画像データを記憶する記憶手段と、
この記憶手段に記憶された画像データから最大輝度に対応する合焦位置を演算する合焦位置演算手段とを具備したことを特徴とする共焦点型顕微鏡の合焦装置。
Scanning the light from the light source to the sample, in a confocal microscope having a confocal optical science system that enables confocal detection of sample images corresponding to the scanning,
A detection optical system having a depth of focus deeper than the confocal optical system and capable of detecting the sample image;
From the sample image detected by the detection optical system, and setting means for setting a movement amount for each one arbitrary position information and the moving range of the optical axis direction of the sample on the sample image,
Storage means for storing image data corresponding to the arbitrary position information for the sample image detected by the confocal optical system for each movement according to the amount of movement set once in the setting means;
A focusing apparatus for a confocal microscope, comprising: a focusing position calculation unit that calculates a focusing position corresponding to the maximum luminance from the image data stored in the storage unit.
記憶手段は、
前記任意の位置情報に対応する画像データと該画像データ近傍の画像データの平均値を記憶し、
合焦位置演算手段は、前記記憶手段に記憶された平均化された画像データから最大輝度に対応する合焦位置を演算することを特徴とする請求項1記載の共焦点型顕微鏡の合焦装置。
The storage means
Storing the average value of image data corresponding to the arbitrary position information and image data in the vicinity of the image data;
2. A focusing apparatus for a confocal microscope according to claim 1, wherein the focusing position calculation means calculates a focusing position corresponding to the maximum brightness from the averaged image data stored in the storage means. .
さらに、前記設定手段に設定された1回の移動量に応じた移動ごとの前記共焦点光学系により検出された試料像について前記任意の位置情報に対応する画像データとともに予め設定された所定範囲の画像データを記憶する第2の記憶手段と、
この第2の記憶手段に記億された画像データを所定の重み付けで処理して前記任意の位置情報に対応する画像データに置換える画像データ処理手段とを有し、
この画像データ処理手段により置換えられた画像データを前記任意の位置情報に対応する画像データとして前記記憶手段に記憶し、
該記憶手段に記憶された画像データから最大輝度に対応する合焦位置を演算することを特徴とする請求項1記載の共焦点型顕微鏡の合焦装置。
Further, the sample image detected by the confocal optical system for each movement corresponding to one movement amount set in the setting unit is set in a predetermined range together with image data corresponding to the arbitrary position information. Second storage means for storing image data;
Image data processing means for processing the image data stored in the second storage means with a predetermined weight and replacing it with image data corresponding to the arbitrary position information,
The image data replaced by the image data processing means is stored in the storage means as image data corresponding to the arbitrary position information,
2. A focusing apparatus for a confocal microscope according to claim 1, wherein a focusing position corresponding to the maximum luminance is calculated from the image data stored in the storage means.
さらに、前記共焦点光学系により出された離散的なデータに対して、多項式演算を行う演算手段を有し、
この演算手段の演算結果から、最大輝度での合焦位置を求めることを特徴とする請求項1乃至3のいずれか1項記載の共焦点型顕微鏡の合焦装置。
Furthermore, it has a calculation means for performing a polynomial calculation on the discrete data output by the confocal optical system,
4. A focusing apparatus for a confocal microscope according to claim 1, wherein a focusing position at a maximum luminance is obtained from a calculation result of the calculation means.
試料に対して光源からの光を走査し、該走査に応じた試料像の共焦点検出を可能にした共焦点光学系を有する共焦点型顕微鏡の合焦方法であって、
前記共焦点光学系より深い焦点深度を有する検出光学系により前記試料像を検出し、
この検出された試料像から、この試料像上の任意の位置情報と前記試料の光軸方向の移動範囲の1回ごとの移動量を設定し、
この設定された1回の移動量に応じた移動ごとの前記共焦点光学系により検出された試料像について前記任意の位置情報に対応する画像データを記憶し、
この記憶された画像データから最大輝度に対応する合焦位置を演算することを特徴とする共焦点型顕微鏡の合焦方法。
Scanning the light from the light source to the sample, a confocal microscope of the focusing method with the confocal optical science system that enables confocal detection of sample images corresponding to the scanning,
Detecting the sample image by a detection optical system having a depth of focus deeper than the confocal optical system;
From the detected sample image, set the amount of movement each time an arbitrary position information and the moving range of the optical axis direction of the sample on the sample image,
Storing image data corresponding to the arbitrary position information with respect to the sample image detected by the confocal optical system for each movement according to the set one movement amount;
A focusing method for a confocal microscope, wherein a focusing position corresponding to the maximum luminance is calculated from the stored image data.
JP30303296A 1996-11-14 1996-11-14 Confocal microscope focusing device and focusing method Expired - Fee Related JP3955115B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP30303296A JP3955115B2 (en) 1996-11-14 1996-11-14 Confocal microscope focusing device and focusing method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP30303296A JP3955115B2 (en) 1996-11-14 1996-11-14 Confocal microscope focusing device and focusing method

Publications (2)

Publication Number Publication Date
JPH10142516A JPH10142516A (en) 1998-05-29
JP3955115B2 true JP3955115B2 (en) 2007-08-08

Family

ID=17916117

Family Applications (1)

Application Number Title Priority Date Filing Date
JP30303296A Expired - Fee Related JP3955115B2 (en) 1996-11-14 1996-11-14 Confocal microscope focusing device and focusing method

Country Status (1)

Country Link
JP (1) JP3955115B2 (en)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000039562A (en) * 1998-07-23 2000-02-08 Olympus Optical Co Ltd Scanning laser microscope
JP4912545B2 (en) * 2001-07-13 2012-04-11 オリンパス株式会社 Confocal laser scanning microscope
JP5572464B2 (en) * 2010-07-14 2014-08-13 オリンパス株式会社 Confocal microscope
JP2012078727A (en) * 2010-10-05 2012-04-19 Olympus Corp Confocal microscope and automatic focus adjustment method by confocal microscope
JP5732265B2 (en) * 2011-01-24 2015-06-10 株式会社キーエンス Microscope system, focus position detection method, and focus position detection program
JP6811950B2 (en) * 2016-12-09 2021-01-13 オリンパス株式会社 Scanning confocal microscope, scanning control method, and program

Also Published As

Publication number Publication date
JPH10142516A (en) 1998-05-29

Similar Documents

Publication Publication Date Title
US8174762B2 (en) 3-D optical microscope
EP2273302B1 (en) Image acquiring apparatus, image acquiring method and image acquiring program
US8400709B2 (en) Laser scan confocal microscope
KR20220092999A (en) A digital scanning apparatus
JP2001208974A (en) Confocal type microscope and collective illumination type microscope
CN111819485B (en) Autofocus device, optical device provided with same, and microscope
US5270527A (en) Method for autofocusing of microscopes and autofocusing system for microscopes
JP5053691B2 (en) Specimen scanner device and specimen position detection method using the device
KR20090024076A (en) Laser processing device
JP3955115B2 (en) Confocal microscope focusing device and focusing method
JPS6113722B2 (en)
JP3631304B2 (en) Microscope automatic focusing device
JP3579166B2 (en) Scanning laser microscope
JP5019279B2 (en) Confocal microscope and method for generating focused color image
JP3180091B2 (en) Non-contact dimension measurement method by laser autofocus
JPH0787378A (en) Focusing detection device
JP2738322B2 (en) Autofocus control method and observation device
JPH09230250A (en) Automatic focusing device for optical microscope
US20230333452A1 (en) Autofocus method and associated optical imaging system
JP4819991B2 (en) Method and apparatus for adjusting magnification of scanning optical microscope
JPH09274142A (en) Scanning type microscope
JP7134839B2 (en) MICROSCOPE DEVICE, CONTROL METHOD AND PROGRAM
JP2011221280A (en) Virtual slide creating device and virtual slide creating method
JPH11352392A (en) Focus controller and focus controlling method
JP2004170573A (en) Two-dimensional test pattern used for color confocal microscope system and adjustment of the system

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20051215

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20070130

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070328

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20070424

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20070501

FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100511

Year of fee payment: 3

FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110511

Year of fee payment: 4

FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120511

Year of fee payment: 5

FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130511

Year of fee payment: 6

FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140511

Year of fee payment: 7

LAPS Cancellation because of no payment of annual fees