JP3955115B2 - Confocal microscope focusing device and focusing method - Google Patents
Confocal microscope focusing device and focusing method Download PDFInfo
- Publication number
- JP3955115B2 JP3955115B2 JP30303296A JP30303296A JP3955115B2 JP 3955115 B2 JP3955115 B2 JP 3955115B2 JP 30303296 A JP30303296 A JP 30303296A JP 30303296 A JP30303296 A JP 30303296A JP 3955115 B2 JP3955115 B2 JP 3955115B2
- Authority
- JP
- Japan
- Prior art keywords
- sample
- image data
- image
- optical system
- confocal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Description
【0001】
【発明の属する技術分野】
本発明は、共焦点型顕微鏡に適用される合焦装置及び合焦方法に関するものである。
【0002】
【従来の技術】
従来、広く用いられている合焦装置には、画像信号の高周波成分に現れるコントラスト値をデフォーカス量として扱い、焦点検出を行うものが知られている。つまり、このような合焦装置では、試料の撮像画像をCCDで取り込み、この時の画像信号の高周波成分に現れるコントラスト値が図12に示すように合焦位置ではコントラスト値が最大となり、デフォーカス量の増大とともにコントラスト値が減少していく特性を利用して、いわゆる山登りサーボ方式により合焦制御を行うようにしている。
【0003】
このような方法によれば、合焦位置の近傍ではコントラスト値の変化が緩やかになることから、この緩やかな範囲で合焦位置を見付けることになり、さらにこの緩やかな範囲が狭いほど合焦位置の精度が高いものになる。
【0004】
【発明が解決しようとする課題】
ところが、実際は、コントラスト値の変化の緩やかな範囲から合焦位置を決定するのは難しく、合焦位置がある程度ばらつくことがある。これに対して、例えば、CCDカメラを用いた光学顕微鏡の場合であれば、観察光学系の焦点深度が大きいので、CCDカメラの撮像画像の合焦位置のばらつきは吸収され、ピントのあった画像が得られるが、共焦点型顕微鏡の場合には、共焦点画像の焦点深度が非常に小さいため、合焦位置のばらつきを吸収し切れず、ピントのずれた画像になってしまうことがある。
【0005】
また、従来では、コントラスト値を利用しているので、観察範囲の中でコントラストの高い領域に合焦してしまい、これは観察したい場所に合焦するとは限らないという問題もあった。本発明は、上記事情に鑑みてなされたもので、安定した自動合焦を実現できる共焦点型顕微鏡の合焦装置及び合焦方法を提供することを目的とする。
【0006】
【課題を解決するための手段】
請求項1記載の発明は、試料に対して光源からの光を走査し、該走査に応じた試料像の共焦点検出を可能にした共焦点光学系を有する共焦点型顕微鏡において、
前記共焦点光学系より深い焦点深度を有し前記試料像を検出可能にした検出光学系と、
この検出光学系により検出される試料像から、この試料像上の任意の位置情報と前記試料の光軸方向の移動範囲の1回ごとの移動量を設定する設定手段と、
この設定手段に設定された1回の移動量に応じた移動ごとの前記共焦点光学系により検出された試料像について前記任意の位置情報に対応する画像データを記憶する記憶手段と、
この記憶手段に記憶された画像データから最大輝度に対応する合焦位置を演算する合焦位置演算手段とにより構成している。
【0007】
請求項2記載の発明は、請求項1記載において、記憶手段は、前記任意の位置情報に対応する画像データと該画像データ近傍の画像データの平均値を記憶し、合焦位置演算手段は、前記記憶手段に記憶された平均化された画像データから最大輝度に対応する合焦位置を演算するようにしている。
【0008】
請求項3記載の発明は、請求項1記載において、さらに、前記設定手段に設定された1回の移動量に応じた移動ごとの前記共焦点光学系により検出された試料像について前記任意の位置情報に対応する画像データとともに予め設定された所定範囲の画像データを記憶する第2の記憶手段と、この第2の記憶手段に記億された画像データを所定の重み付けで処理して前記任意の位置情報に対応する画像データに置換える画像データ処理手段とを有し、
この画像データ処理手段により置換えられた画像データを前記任意の位置情報に対応する画像データとして前記記憶手段に記憶し、該記憶手段に記憶された画像データから最大輝度に対応する合焦位置を演算するようにしている。
請求項4記載の発明は、請求項1乃至3のいずれか1項において、さらに、前記共焦点光学系により出された離散的なデータに対して、多項式演算を行う演算手段を有し、この演算手段の演算結果から、最大輝度での合焦位置を求めるようにしている。
請求項5記載の発明は、試料に対して光源からの光を走査し、該走査に応じた試料像の共焦点検出を可能にした共焦点光学系を有する共焦点型顕微鏡の合焦方法であって、前記共焦点光学系より深い焦点深度を有する検出光学系により前記試料像を検出し、この検出された試料像から、この試料像上の任意の位置情報と前記試料の光軸方向の移動範囲の1回ごとの移動量を設定し、この設定された1回の移動量に応じた移動ごとの前記共焦点光学系により検出された試料像について前記任意の位置情報に対応する画像データを記憶し、この記憶された画像データから最大輝度に対応する合焦位置を演算するようにしている。
【0009】
この結果、請求項1記載の発明によれば、予め共焦点光学系より深い焦点深度を有する検出光学系を用い、この検出光学系にて得られた試料像により、この試料像上の任意の位置情報と試料の光軸方向の移動範囲の1回ごとの移動量が設定され、この設定された1回の移動量に応じた移動ごとの共焦点光学系により検出された試料像について任意の位置情報に対応する画像データを記憶手段に記憶し、この記憶された画像データから最大輝度に対応する合焦位置を演算するようにしているので、合焦したい位置の画像データに複数点のデータを合焦候補として取り込むようになり、始めから1点の画像データのみを採用するのに比べ、合焦したい位置に対して精度の高い自動合焦を実現できる。
【0010】
また、請求項2記載の発明によれば、試料表面に凹凸があっても安定した光軸方向の輝度分布が得られ、安定した自動合焦を実現できる。
また、請求項3記載の発明によれば、段差のある試料の段部の境界部を指示したような場合でも、段差の上段または下段を安定的に検出できるようになり、安定した自動合焦を実現できる。
また、請求項4記載の発明によれば、共焦点光学系により検出された離散的なデータに対して、多項式演算を行う演算手段を有し、この演算手段の演算結果から、最大輝度での合焦位置を求めることができるようになり、安定した自動合焦を実現できる。
また、請求項5記載の発明によれば、試料に対して光源からの光を走査し、該走査に応じた試料像の共焦点検出を可能にした共焦点検出光学系を有する共焦点型顕微鏡の合焦方法であって、前記共焦点光学系より深い焦点深度の前記試料像を検出し、この検出された試料像により、この試料像上の任意の位置情報と前記試料の光軸方向の移動範囲の1回ごとの移動量を設定し、この設定された1回の移動量に応じた移動ごとの前記共焦点光学系により検出された試料像について前記任意の位置情報に対応する画像データを記憶し、この記憶された画像データから最大輝度に対応する合焦位置を演算するようにしているので、合焦したい位置の画像データに複数点のデータを合焦候補として取り込むようになり、始めから1点の画像データのみを採用するのに比べ、合焦したい位置に対して精度の高い自動合焦を実現できる。
【0011】
【発明の実施の形態】
以下、本発明の実施の形態を図面に従い説明する。
(第1の実施の形態)
図1は、本発明が適用される共焦点型顕微鏡の合焦装置の概略構成を示している。図において、1は共焦点型顕微鏡本体で、この共焦点型顕微鏡本体1は、レーザ光源2、走査光学系3、対物レンズ4、ビームスプリッタ5、ミラー6、共焦点光学系7、非共焦点光学系8、ステージ10を有している。
【0012】
そして、レーザ光源2から出力されたレーザ光をビームスプリッタ5を介して走査光学系3に入射し、対物レンズ4を通ってステージ10上の試料9に照射するようにしている。
【0013】
ここで、走査光学系3は、レーザビームを2次元走査するためのもので、2つの光偏向器を有し、第1の光偏向器でレーザ光をX方向に偏向し、第2の光偏向器によりY方向に偏向することにより、レーザ光を光軸に垂直な面に沿って2次元に偏向するようにしている。なお、走査光学系3に対する走査の制御は、後述するコントローラボックス11を介してコンピュータ16からの指示により行われる。これにより、対物レンズ4を通してステージ10の試料9上に集光されるレーザ光を、微小なスポットとして、走査光学系3の走査制御に合わせて試料9上をTVのラスター走査と同じようにして2次元に移動するようにしている。
【0014】
一方、試料9上から反射したレーザ光を、入射した光路と逆に戻して、ビームスプリッタ5で反射してミラー6に入射するようにしている。このミラー6は、光路に対して出し入れ自在になっていて、ミラー6を光路に挿入した場合、反射光を共焦点光学系7に入射して共焦点画像を得、ミラー6を光路から外した場合、反射光を非共焦点光学系8に入射して非共焦点画像を得られるようにしている。
【0015】
このように構成した共焦点型顕微鏡本体1には、コントロールボックス11を接続し、このコントロールボックス11にコンピュータ16を接続している。コントロールボックス11は、画像用メモリ12、ラインメモリ13、演算回路14を有している。
【0016】
画像用メモリ12は、共焦点光学系7および非共焦点光学系8からの画像信号を輝度データとして保存するものである。この場合の輝度画像は、上述したXY走査が行われる度に毎回更新される。そして、画像用メモリ12の出力データを、コンピュータ16に送って、ディスプレイ17に試料9の輝度信号として表示し、また、この出力データの一部を、ラインメモリ13に送るようにしている。
【0017】
ラインメモリ13は、試料9が光軸方向に移動する度に、画像用メモリ12から輝度データを取り込み、これを保存するものである。ここでの試料9の光軸方向の移動は、コンピュータ16の指示によりZ駆動回路15によってステージ10を光軸方向に移動することで実現している。また、自動合焦時におけるステージ10の駆動は、一定の処理にしたがって自動的に行うようにしている。
【0018】
演算回路14は、ラインメモリ13の輝度データとコンピュータ16からの光軸方向の移動データをもとに合焦位置を演算するもので、この演算結果をコンピュータ16に送り、Z駆動回路15に対し駆動信号を出力することで、ステージ10を合焦位置に移動させるようにしている。
【0019】
ここで、自動合焦時以外では、ステージ10は、コンピュータ16より観察者が自由に制御できるようになっている。
なお、18は、コンピュータ16に接続したマウスである。
【0020】
次に、このように構成した実施の形態の動作を説明する。
まず、最初にステージ10に試料9を載置し、コンピュータ16よりレーザ走査の指示を行う。この場合、予めミラー6を光路より外し試料9からの反射光を非共焦点光学系8に入射させて、この非共焦点光学系8からの画像をディスプレイ17に表示するように設定しておく。これは、非共焦点光学系8の方が、共焦点光学系7の画像に比べ焦点深度の深い画像が得られるためで、自動合焦を行いたい試料9上の位置設定を簡単に行うためにも必要である。
【0021】
この状態から、レーザ走査開始によりレーザ光源2からのレーザ光をビームスプリッタ5、走査光学系3および対物レンズ4を通してステージ10上の試料9に照射すると、試料9からの反射光が、入射した光路と逆に戻って、ビームスプリッタ5を介して非共焦点光学系8に入射される。これにより、非共焦点光学系8からの画像信号が画像用メモリ12に記憶され、さらに画像用メモリ12の出力データがコンピュータ16よりディスプレイ17に送られる。
【0022】
しかし、ここで、試料9が合焦位置から大きく外れているものとすると、画像用メモリ12の出力データは、ほとんどゼロに近い値になるので、ディスプレイ17には何も表示されない。
【0023】
そこで、観察者がコンピュータ16に指示を与えてステージ10を動かすか、図示しないステージ10の粗動ハンドルを回転させて試料9を大まかな合焦位置まで移動させる。
【0024】
この状態で、例えば、試料9面が図2に示すように高さの異なるA、B、C面を有するものとし、このうちのB面がほぼ合焦する位置に一致したとすると、ディスプレイ17に表示される試料9の画像は、図3に示すようにB面ではほぼピントの合った状態で、図示斜線部分のA面とC面ではピントの合っていない状態で表示されるようになる。
【0025】
ここから、ピントの合っていないC面に合焦させるには、まず、新たな合焦位置を指示するため、図3に示すように矢印Mにより合焦させたいC面を指示する。具体的には、観察者は、コンピュータ16に接続されているマウス18を操作し、矢印MをC面上の合焦させたい位置Xに移動させ、目的とする位置に矢印Mが移動したところでマウス18でクリック操作し、この位置Xの情報をコンピュータ16に記憶させる。
【0026】
この場合、ディスプレイ17に表示されている画像の位置は、コントロールボックス11の画像用メモリ12の画素と1対1で対応するので、マウス18のクリック操作で入力された位置Xの情報がコントロールボックス11に送られ、この位置Xに対応した画像用メモリ12の画素のデータがラインメモリ13に出力される。
【0027】
次に、位置Xの光軸方向の輝度分布を得るため、試料9を光軸方向に移動させる。この場合、上述したように輝度分布のデータは、試料9の移動ごとにラインメモリ13に記憶されるので、試料9の移動は離散的に行われることになる。ここで、一回当りの試料9の移動量を細かくすれば、情報量が多くなるので、後の合焦位置の計算結果の精度が上がるが、データ収集に時間がかかり速やかな合焦動作が望めない。したがって、観察者は、この点を考慮しながら、移動範囲と1回の光軸方向の移動量の設定を行う。
【0028】
その後、試料9の移動範囲と1回の光軸方向の移動量の設定が完了すると、観察者はコンピュータ16に自動合焦の命令を与える。
この場合、コンピュータ16により、図4に示すフローが実行される。まず、ステップ401で、ラインメモリ13の内容をクリアする。次いで、ステップ402で、ミラー6を光路に挿入し、試料9からの反射光を共焦点光学系7に入射させることで共焦点光学系7を選択する。この場合、共焦点光学系7は、非共焦点光学系8と共通の光学系により画像が得られるので、非共焦点光学系8の際に設定した位置Xは、共焦点光学系7でもまったく同位置となる。
【0029】
次に、ステップ403で、試料9を移動範囲の上限位置もしくは下限位置に移動する。ここでは上限位置に移動するものとする。
この状態から、ステップ404で、レーザ走査を開始する。すると、試料9からの反射光が、ビームスプリッタ5、ミラー6を介して,今度は共焦点光学系7に入射される。この場合、共焦点光学系7では、試料9が合焦位置にないと、反射光がピンホールによって遮光されるため、画像用メモリ12には、ほとんどゼロに近い値のデータが保存される。
【0030】
その後、ステップ405で、1回のレーザ走査を終了すると、ステップ406で、画像用メモリ12のうち位置Xに対応した画素データがラインメモリ13に出力され記憶される。そして、ステップ408で、予め設定された移動量でステージ10を光軸に沿って下限方向に移動させ、この移動が終了すると、ステップ404に戻って、再びレーザ走査を行う。このような動作は、ステップ407で、ステージ10が下限位置に到達するのを検出されるまで繰り返し実行される。
【0031】
そして、ステージ10が下限位置に達すると、すべての動作を一旦停止し、ラインメモリ13のデータに基づく合焦位置の演算を行う。
この場合、共焦点光学系7は、焦点深度が非常に浅いため、合焦位置の近傍で輝度強度が急激に変化する。従って、輝度強度が最大の位置を求めれば、合焦位置を検出できることになる。
【0032】
図5は、横軸にステージ10の光軸方向の移動距離を取った場合のラインメモリ13での輝度データの変化の一例を示したものである。この場合、図からも明らかなように、ラインメモリ13の輝度データは、離散的なため、このデータをそのまま使用すると、例えば輝度データaと輝度データbの間に本当の最大輝度データがあるような場合も、輝度データaを最大輝度と判断してしまう。つまり、ラインメモリ13の輝度データだけから合焦位置を求めようとすると、真の合焦位置からずれを生じることがある。
【0033】
そこで、本発明では、真の合焦位置を求めるため、ステップ409で、ラインメモリ13の離散的なデータに対してさらに演算回路14で、2次もしくは3次の多項式近似を演算し、この演算結果から、ステップ410で、最大輝度でのステージ位置(合焦位置)を求めるようになる。
【0034】
この場合、演算回路14の演算結果は、図6に示すようになり、同図から明らかなように真の最大輝度が求められるとともに、真の合焦位置が判明する。ここで、演算回路14により演算される多項式のアルゴリズムは、周知のスプライン補間による適正化手法などにより一般化された方法が用いられる。これにより、演算回路14は、1チップマイコンにより実現が可能である。
【0035】
そして、演算回路14で求められた真の合焦位置情報は、コンピュータ16に送られ、コンピュータ16は、送られてきた情報に基づいて、ステップ411で、移動指令をZ駆動回路15に出力する。これにより、ステージ10は、合焦位置に移動し、試料9に対して正確な合焦が行われるようになる。
【0036】
従って、このようにすれば、予め共焦点光学系7より深い焦点深度を有する非共焦点光学系8を用意し、この非共焦点光学系8にて得られた試料像から合焦させたい位置Xと試料9の光軸方向の移動範囲の1回ごとの移動量を設定し、次に、共焦点光学系7に切換えて、予め設定された1回の移動量に応じた移動ごとの試料像について位置Xに対応する画像データをラインメモリ13に記憶し、この記憶された画像データから演算回路14により最大輝度に対応する合焦位置を演算するようしたので、合焦したい位置Xに対して複数点のデータを合焦候補として取り込むことができるようになり、始めから1点の画像データのみを採用するのに比べ、合焦したい位置に対して精度の高い自動合焦が可能になり、これにより顕微鏡観察においてピントずれによる影響をなくして常に精度の高い観察が可能になる。
(第2の実施の形態)
図7は、第2の実施の形態の概略構成を示すもので、図1と同一部分には同符号を付している。
【0037】
この場合、共焦点型顕微鏡本体1には、最初の合焦位置を求めるのに、TV画像を用いている。ここでは、TV画像を得るため、非共焦点光学系8に代えて、白色光源60、ハーフミラー61、切換えミラー62および撮像素子63を有している。白色光源60は、ハロゲンランプなどの従来の光学顕微鏡で用いられているものと同一である。そして、白色光源60からの照明光をハーフミラー61を通し、走査光学系3と対物レンズ4の間に挿入される切換えミラー62で反射させ、対物レンズ4を介して試料9を照明するようにしている。また、試料9からの反射光を切換えミラー62で反射させ、さらにハーフミラー61で反射させて撮像素子63に集光するようにしている。ここで、切換えミラー62は、自動合焦が開始されると、光路から退避するようになっている。
【0038】
撮像素子63には、CCDが用いられ、試料9の画像を撮像する。そして、撮像素子63からの信号をコントロールボックス11を経由してコンピュータ16に取り込み、ディスプレイ17に表示する。
【0039】
しかして、撮像素子63で得られる画像は、第1の実施の形態における非共焦点光学系8と同じで、共焦点光学系7に比べて焦点深度の深い画像であることから、非共焦点光学系8の説明で述べたように、最初の合焦位置を決定する際の画像として使用することができる。この場合、撮像素子63としてカラーCCDを用いれば、試料9の色情報も得られるので、さらに位置設定が容易になる。
【0040】
なお、第2の実施の形態の場合、合焦位置の設定をTV画像で行い、合焦処理は、共焦点光学系7で行うようになっていて、異なる2つの光学系を用いているので、それぞれの位置関係については、予め調整する必要がある。これには、例えば画像処理によってスケールなどの試料をTV画像と共焦点光学系7の画像を重ねて表示し、共焦点光学系7の画像がTV画像と一致するように、走査光学系の振り幅を調整するようにすればよい。
【0041】
従って、このようにしても第1の実施の形態で述べたと同様な効果が期待できる。
また、この第2の実施の形態では、さらに、画像用メモリ12とラインメモリ13の間に平均処理回路64を配置している。
【0042】
つまり、第1の実施の形態では、画像上の1点の情報をラインメモリ13に記憶している。この場合、試料9の表面が鏡面であれば1点の情報でも問題ないが表面全体に細かい凹凸があるような場合は、試料表面の状態によっては、反射光の光量が不安定になることがあり、このような状態では、図5に示すような輝度分布のデータが得られなくなってしまう。
【0043】
そこで、第2の実施の形態では、図3で指定した位置Xでの輝度データとともに、その周辺の画像の輝度データを平均処理回路64で平均化したものを使用している。これにより、試料表面に凹凸があるような場合でも、安定した反射光量が確保できることから、正確な輝度データが確保できることになる。
【0044】
なお、平均化を行うための位置Xの周辺の範囲は、コンピュータ16により観察者が自由に設定できるようになっている。
従って、このようにすれば、さらに、試料9の表面に凹凸があっても安定した光軸方向の輝度分布が得られるようになり、安定した自動合焦を実現できる。
(第3の実施の形態)
第1の実施の形態では、マウス18により入力されて指示された位置Xの1点の画像データをラインメモリ13に順次格納するようになっており、また、第2の実施の形態では、微小領域の画像信号の平均値をラインメモリ13に格納するもので、反射光の光量が不安定の場合にも安定した輝度データを得られるようになっているが、例えば、試料9上に段差があるような場合で、指示した試料上り位置が段差の境界部であったような場合、段差の上段、下段のいずれの位置を輝度ピークとして検出するかが不安定になることがある。
【0045】
そこで、この第3の実施の形態では、段差のある試料の境界部を指示した場合でも段差の上段または下段を安定的に検出できるようにしている。
この場合、図8は、第3の実施の形態の要部を示すもので、画像メモリ12とラインメモリ13の間に空間メモリ70およびフィルタ演算機構71を挿入している。その他は、図1と同様である。
【0046】
つまり、かかる第3の実施の形態では、上述した第1の実施の形態のラインメモリ13は、指示位置である1点の画像データの内容を観察高さの順に格納する1次元的なものであったが、このラインメモリ13の他に図9に示すように3次元の空間メモリ70を用いている。
【0047】
この空間メモリ70は、指示位置の画像データの内容とともに、その近傍の画像データの内容も同時に記憶できるようにしたものである。つまり、最初の観察高さ位置での指示位置の画像データの値を空間メモリ70の1階層目のeに格納するとともに、その近傍の画像データをa、b、c、d、f、g、h、iにそれぞれの位置に対応して格納するようにしている。
【0048】
そして、ラインメモリ13の場合と同様に、観察位置を順に変更し、それぞれの高さの位置での画像データを空間メモリ70の2階層目、3階層目と順に格納していく。この時、格納位置は、1階層目と同様に指示位置の画像データがeに格納し、その近傍の画像データをa、b、c、d、f、g、h、iの位置に格納するようにしている。
【0049】
そして、このような空間メモリ70の各階層での代表値を決めるための演算処理をフィルタ演算機構71により行うようにしている。このフィルタ演算機構71は、ワンチップマイコンの組み込みにより容易に実現可能である他、演算回路を使って演算処理することで実現することも可能である。
【0050】
つまり、空間メモリ70に格納された指示位置およびその近傍の観察高さ位置に対応した画像データについてフィルタ演算機構71により演算処理を実行して、図10に示すようなフィルタ処理後の値として各階層の代表値を求め、これら各階層の代表値をラインメモリ13に格納し、第1の実施の形態で説明したと同様な処理によって段差の上段、下段を選択的に検出するようにしている。
【0051】
図10では、72が空間メモリ70に格納された各階層の画像データを示し、これをフィルタ演算機構71のフィルタ73の画像フィルタ係数により処理することで、各階層の出力代表値74を求めるようにしている。
【0052】
ここでのフィルタ73での各画像フィルタ係数は、X方向のソーベルフィルタと呼ばれるもので、X方向の左から右に輝度が高く変化すると出力代表値が大きくなり、逆に左から右に輝度が低く変化すると出力代表値が負の方向に大きくなるようなものである。
【0053】
しかして、いま、図11に示すような段差を有する試料9の場合で、試料9のZ方向の各位置(1)(2)(3)を観察した場合の、それぞれの観察画像を像(1)、像(2)、像(3)とすると、これらの画像データに対しフィルタ73の画像フィルタ係数を用いて求められた代表値は、図示右端に示すものとなる。
【0054】
ここでの画像データの値は、画像用メモリ12の1画素が8bitの場合で計算しており、(1)(3)の明部が256、暗部が0の場合の結果を示し、また、(2)の中間の場合は、画像データがすべて128として計算している。
【0055】
これにより、左から暗から明に変化する場合に最大値1024となり、逆に明から暗に変化する場合は最小値−1024となる。
この性質を用いて右側の上段に焦点を合わせる場合は、代表値が最大となる位置を検出すればよく、左側の下段に焦点を合わせる場合は代表値の符号を反転させた値が最大となる位置を検出すればよい。
【0056】
なお、フィルタ73の画像フィルタ係数は、画像データの輝度変化に応じて、Y方向の輝度変化を検出するようにフィルタ係数の値を変えて使うことも可能である。また、ここまでは、空間メモリ70の各階層での処理対象とするデータ範囲を3×3の9データとしてきたが、より広い領域の情報に基づいてピーク位置を検出するには、5×5、7×7としても前述の効果は同様に得られる。
【0057】
従って、このようにすれば、さらに段差のある試料の段部の境界部を指示した場合でも、段差の上段または下段を安定的に検出できるようになり、安定した自動合焦を実現できる。
【0058】
【発明の効果】
以上述べたように本発明によれば、合焦したい位置に対して精度の高い自動合焦を実現でき、共焦点顕微鏡観察においてピントずれによる影響をなくして精度の高い観察が実現できる。また、試料表面に凹凸があっても安定した光軸方向の輝度分布が得られ、安定した自動合焦を実現できる。さらに、段差のある試料の段部の境界部を指示したような場合でも、段差の上段または下段を安定的に検出できるようになり、安定した自動合焦を実現できる。
【図面の簡単な説明】
【図1】 本発明の第1の実施の形態の共焦点型顕微鏡の合焦装置の概略構成を示す図。
【図2】 第1の実施の形態に用いられる試料面を説明するための図。
【図3】 第1の実施の形態に用いられる試料面でのピントの状態を説明するための図。
【図4】 第1の実施の形態の動作を説明するためのフローチャート。
【図5】 第1の実施の形態に用いられるラインメモリでの輝度データの変化の一例を示す図。
【図6】 第1の実施の形態に用いられる演算回路での演算結果を示す図。
【図7】 本発明の第2の実施の形態の概略構成を示す図。
【図8】 本発明の第3の実施の形態の要部のみの概略構成を示す図。
【図9】 第3の実施の形態に用いられる空間メモリを説明するための図。
【図10】 第3の実施の形態での代表値の決定方法を説明するための図。
【図11】 第3の実施の形態での段差のある試料を説明するための図。
【図12】 従来の自動合焦の方法の一例を説明するための図。
【符号の説明】
1…共焦点型顕微鏡本体、
2…レーザ光源、
3…走査光学系、
4…対物レンズ、
5…ビームスプリッタ、
6…ミラー、
7…共焦点光学系、
8…非共焦点光学系、
9…試料、
10…ステージ、
11…コントローラボックス、
12…画像用メモリ、
13…ラインメモリ、
14…演算回路、
15…Z駆動回路、
16…コンピュータ、
17…ディスプレイ、
18…マウス、
60…白色光源、
61…ハーフミラー、
62…切換えミラー、
63…撮像素子、
64…平均処理回路、
70…空間メモリ、
71…フィルタ演算機構、
72…各階層の画像データ、
73…フィルタ、
74…各階層の出力代表値。[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a focusing device applied to a confocal microscope.And focusing methodIt is about.
[0002]
[Prior art]
2. Description of the Related Art Conventionally, as a focusing device widely used, a device that performs focus detection by treating a contrast value appearing in a high-frequency component of an image signal as a defocus amount is known. That is, in such a focusing apparatus, the captured image of the sample is captured by the CCD, and the contrast value appearing in the high-frequency component of the image signal at this time becomes the maximum at the in-focus position as shown in FIG. Focusing control is performed by a so-called hill-climbing servo system using the characteristic that the contrast value decreases as the amount increases.
[0003]
According to such a method, since the change in the contrast value becomes gentle in the vicinity of the in-focus position, the in-focus position is found in this gentle range. The accuracy will be high.
[0004]
[Problems to be solved by the invention]
However, in practice, it is difficult to determine the in-focus position from a gentle range of contrast value changes, and the in-focus position may vary to some extent. On the other hand, for example, in the case of an optical microscope using a CCD camera, since the depth of focus of the observation optical system is large, the variation in the focus position of the captured image of the CCD camera is absorbed, and the focused image However, in the case of a confocal microscope, since the depth of focus of the confocal image is very small, variations in focus position may not be completely absorbed, resulting in an out-of-focus image.
[0005]
Further, conventionally, since the contrast value is used, there is a problem that a region having high contrast in the observation range is focused, and this does not always focus on a place where observation is desired. The present invention has been made in view of the above circumstances, and is a confocal microscope focusing device capable of realizing stable automatic focusing.And focusing methodThe purpose is to provide.
[0006]
[Means for Solving the Problems]
According to the first aspect of the present invention, the sample is scanned with the light from the light source, and the confocal light that enables the confocal detection of the sample image corresponding to the scanningSpotlightIn a confocal microscope with an academic system,
A detection optical system having a depth of focus deeper than the confocal optical system and capable of detecting the sample image;
Sample image detected by this detection optical systemFromSetting means for setting an arbitrary position information on the sample image and a moving amount for each movement of the moving range of the sample in the optical axis direction;
Storage means for storing image data corresponding to the arbitrary position information for the sample image detected by the confocal optical system for each movement according to the amount of movement set once in the setting means;
The in-focus position calculating means calculates the in-focus position corresponding to the maximum luminance from the image data stored in the storage means.
[0007]
The invention described in
[0008]
A third aspect of the present invention is the first aspect according to the first aspect, wherein the arbitrary position of the sample image detected by the confocal optical system for each movement according to a single movement amount set in the setting unit. A second storage means for storing a predetermined range of image data set together with the image data corresponding to the information, and processing the image data stored in the second storage means with a predetermined weight to obtain the arbitrary data Image data processing means for replacing with image data corresponding to the position information,
The image data replaced by the image data processing means is stored in the storage means as image data corresponding to the arbitrary position information, and the in-focus position corresponding to the maximum luminance is calculated from the image data stored in the storage means. Like to do.
According to a fourth aspect of the present invention, in any one of the first to third aspects, the apparatus further includes arithmetic means for performing a polynomial operation on the discrete data output by the confocal optical system. The in-focus position at the maximum brightness is obtained from the calculation result of the calculation means.
According to the fifth aspect of the present invention, the sample is scanned with light from the light source, and confocal detection of the sample image corresponding to the scanning is enabled.SpotlightA focusing method for a confocal microscope having an academic system, wherein the depth of focus is deeper than that of the confocal optical system.With detection optical system havingThe sample image is detected, and the detected sample imageFromArbitrary position information on the sample image and a movement amount for each movement of the movement range of the sample in the optical axis direction are set, and the confocal optical system for each movement according to the set one movement amount The image data corresponding to the arbitrary position information is stored for the sample image detected by the above, and the in-focus position corresponding to the maximum luminance is calculated from the stored image data.
[0009]
As a result, according to the first aspect of the present invention, a detection optical system having a depth of focus deeper than that of the confocal optical system is used in advance, and a sample image obtained by the detection optical system.By thisArbitrary position information on the sample image and the movement amount for each movement of the movement range in the optical axis direction of the sample are set and detected by the confocal optical system for each movement according to the set movement amount. Image data corresponding to arbitrary position information is stored in the storage means, and the in-focus position corresponding to the maximum luminance is calculated from the stored image data. A plurality of points of data are captured as in-focus candidates, and automatic focusing with high accuracy can be realized at a position to be focused as compared with the case where only one point of image data is employed from the beginning.
[0010]
According to the second aspect of the present invention, a stable luminance distribution in the direction of the optical axis can be obtained even when the sample surface is uneven, and stable automatic focusing can be realized.
According to the third aspect of the present invention, even when the boundary of the step portion of the sample having a step is indicated, the upper step or the lower step of the step can be stably detected, and the stable automatic focusing can be performed. Can be realized.
According to the invention of
According to the invention described in
[0011]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, embodiments of the present invention will be described with reference to the drawings.
(First embodiment)
FIG. 1 shows a schematic configuration of a focusing device of a confocal microscope to which the present invention is applied. In the figure,
[0012]
The laser light output from the
[0013]
Here, the scanning
[0014]
On the other hand, the laser beam reflected from the
[0015]
A
[0016]
The
[0017]
The
[0018]
The
[0019]
Here, the
[0020]
Next, the operation of the embodiment configured as described above will be described.
First, the
[0021]
In this state, when the laser beam from the
[0022]
However, if the
[0023]
Therefore, the observer gives an instruction to the
[0024]
In this state, for example, if the surface of the
[0025]
From this point, in order to focus on the out-of-focus C-plane, first, in order to indicate a new focusing position, the C-plane to be focused is indicated by an arrow M as shown in FIG. Specifically, the observer operates the
[0026]
In this case, the position of the image displayed on the
[0027]
Next, in order to obtain the luminance distribution in the optical axis direction at the position X, the
[0028]
Thereafter, when the setting of the movement range of the
In this case, the flow shown in FIG. 4 is executed by the
[0029]
Next, in
From this state, in
[0030]
Thereafter, when one laser scan is completed in
[0031]
When the
In this case, since the confocal
[0032]
FIG. 5 shows an example of changes in luminance data in the
[0033]
Therefore, in the present invention, in order to obtain the true in-focus position, in
[0034]
In this case, the calculation result of the
[0035]
Then, the true in-focus position information obtained by the
[0036]
Accordingly, in this way, a non-confocal
(Second Embodiment)
FIG. 7 shows a schematic configuration of the second embodiment, and the same components as those in FIG.
[0037]
In this case, a TV image is used for the confocal microscope
[0038]
A CCD is used for the image sensor 63 and captures an image of the
[0039]
Thus, the image obtained by the image sensor 63 is the same as the non-confocal
[0040]
In the case of the second embodiment, the in-focus position is set by a TV image, and the in-focus processing is performed by the confocal
[0041]
Accordingly, even in this way, the same effect as described in the first embodiment can be expected.
In the second embodiment, an
[0042]
That is, in the first embodiment, information on one point on the image is stored in the
[0043]
Therefore, in the second embodiment, the luminance data at the position X designated in FIG. 3 and the luminance data of the surrounding image are averaged by the
[0044]
The range around the position X for averaging can be freely set by the observer using the
Therefore, in this way, a stable luminance distribution in the direction of the optical axis can be obtained even if the surface of the
(Third embodiment)
In the first embodiment, one point of image data at the position X input and instructed by the
[0045]
Therefore, in the third embodiment, even when a boundary portion of a sample having a step is indicated, the upper or lower step of the step can be stably detected.
In this case, FIG. 8 shows a main part of the third embodiment, and a
[0046]
That is, in the third embodiment, the
[0047]
The
[0048]
Then, as in the case of the
[0049]
The
[0050]
That is, calculation processing is executed by the
[0051]
In FIG. 10, 72 represents image data of each layer stored in the
[0052]
Each image filter coefficient in the
[0053]
Thus, now, in the case of the
[0054]
The value of the image data here is calculated when one pixel of the
[0055]
As a result, the maximum value is 1024 when changing from dark to bright from the left, and the minimum value is -1024 when changing from light to dark.
When focusing on the upper right side using this property, it is only necessary to detect the position where the representative value is maximized. When focusing on the lower left side, the value obtained by inverting the sign of the representative value is maximized. What is necessary is just to detect a position.
[0056]
Note that the image filter coefficient of the
[0057]
Therefore, in this way, even when the boundary portion of the step portion of the sample having a further step is indicated, the upper or lower step of the step can be stably detected, and stable automatic focusing can be realized.
[0058]
【The invention's effect】
As described above, according to the present invention, high-precision automatic focusing can be realized at a position where focusing is desired, and high-precision observation can be realized by eliminating the influence of focus shift in confocal microscope observation. In addition, a stable luminance distribution in the optical axis direction can be obtained even if the sample surface has irregularities, and stable automatic focusing can be realized. Furthermore, even when the boundary of the step portion of the sample having a step is indicated, the upper step or the lower step of the step can be stably detected, and stable automatic focusing can be realized.
[Brief description of the drawings]
FIG. 1 is a diagram showing a schematic configuration of a focusing device of a confocal microscope according to a first embodiment of the present invention.
FIG. 2 is a view for explaining a sample surface used in the first embodiment.
FIG. 3 is a view for explaining a state of focus on a sample surface used in the first embodiment.
FIG. 4 is a flowchart for explaining the operation of the first embodiment;
FIG. 5 is a diagram illustrating an example of changes in luminance data in the line memory used in the first embodiment.
FIG. 6 is a diagram showing a calculation result in an arithmetic circuit used in the first embodiment.
FIG. 7 is a diagram showing a schematic configuration of a second embodiment of the present invention.
FIG. 8 is a diagram showing a schematic configuration of only a main part of a third embodiment of the present invention.
FIG. 9 is a diagram for explaining a spatial memory used in the third embodiment;
FIG. 10 is a diagram for explaining a representative value determination method according to the third embodiment;
FIG. 11 is a view for explaining a sample having a step in the third embodiment;
FIG. 12 is a diagram for explaining an example of a conventional automatic focusing method.
[Explanation of symbols]
1 ... Confocal microscope body,
2 ... Laser light source,
3. Scanning optical system,
4 ... Objective lens,
5 ... Beam splitter,
6 ... mirror,
7 ... Confocal optical system,
8 ... Non-confocal optics
9 ... Sample,
10 ... stage,
11 ... Controller box,
12: Image memory,
13: Line memory,
14 ... arithmetic circuit,
15 ... Z drive circuit,
16 ... computer,
17 ... Display,
18 ... mouse,
60 ... white light source,
61 ... Half mirror,
62 ... Switching mirror,
63 ... Image sensor,
64: Average processing circuit,
70: Spatial memory,
71: Filter operation mechanism,
72 ... image data of each layer,
73 ... Filter,
74: Output representative value of each layer.
Claims (5)
前記共焦点光学系より深い焦点深度を有し前記試料像を検出可能にした検出光学系と、
この検出光学系により検出される試料像から、この試料像上の任意の位置情報と前記試料の光軸方向の移動範囲の1回ごとの移動量を設定する設定手段と、
この設定手段に設定された1回の移動量に応じた移動ごとの前記共焦点光学系により検出された試料像について前記任意の位置情報に対応する画像データを記憶する記憶手段と、
この記憶手段に記憶された画像データから最大輝度に対応する合焦位置を演算する合焦位置演算手段とを具備したことを特徴とする共焦点型顕微鏡の合焦装置。Scanning the light from the light source to the sample, in a confocal microscope having a confocal optical science system that enables confocal detection of sample images corresponding to the scanning,
A detection optical system having a depth of focus deeper than the confocal optical system and capable of detecting the sample image;
From the sample image detected by the detection optical system, and setting means for setting a movement amount for each one arbitrary position information and the moving range of the optical axis direction of the sample on the sample image,
Storage means for storing image data corresponding to the arbitrary position information for the sample image detected by the confocal optical system for each movement according to the amount of movement set once in the setting means;
A focusing apparatus for a confocal microscope, comprising: a focusing position calculation unit that calculates a focusing position corresponding to the maximum luminance from the image data stored in the storage unit.
前記任意の位置情報に対応する画像データと該画像データ近傍の画像データの平均値を記憶し、
合焦位置演算手段は、前記記憶手段に記憶された平均化された画像データから最大輝度に対応する合焦位置を演算することを特徴とする請求項1記載の共焦点型顕微鏡の合焦装置。The storage means
Storing the average value of image data corresponding to the arbitrary position information and image data in the vicinity of the image data;
2. A focusing apparatus for a confocal microscope according to claim 1, wherein the focusing position calculation means calculates a focusing position corresponding to the maximum brightness from the averaged image data stored in the storage means. .
この第2の記憶手段に記億された画像データを所定の重み付けで処理して前記任意の位置情報に対応する画像データに置換える画像データ処理手段とを有し、
この画像データ処理手段により置換えられた画像データを前記任意の位置情報に対応する画像データとして前記記憶手段に記憶し、
該記憶手段に記憶された画像データから最大輝度に対応する合焦位置を演算することを特徴とする請求項1記載の共焦点型顕微鏡の合焦装置。Further, the sample image detected by the confocal optical system for each movement corresponding to one movement amount set in the setting unit is set in a predetermined range together with image data corresponding to the arbitrary position information. Second storage means for storing image data;
Image data processing means for processing the image data stored in the second storage means with a predetermined weight and replacing it with image data corresponding to the arbitrary position information,
The image data replaced by the image data processing means is stored in the storage means as image data corresponding to the arbitrary position information,
2. A focusing apparatus for a confocal microscope according to claim 1, wherein a focusing position corresponding to the maximum luminance is calculated from the image data stored in the storage means.
この演算手段の演算結果から、最大輝度での合焦位置を求めることを特徴とする請求項1乃至3のいずれか1項記載の共焦点型顕微鏡の合焦装置。Furthermore, it has a calculation means for performing a polynomial calculation on the discrete data output by the confocal optical system,
4. A focusing apparatus for a confocal microscope according to claim 1, wherein a focusing position at a maximum luminance is obtained from a calculation result of the calculation means.
前記共焦点光学系より深い焦点深度を有する検出光学系により前記試料像を検出し、
この検出された試料像から、この試料像上の任意の位置情報と前記試料の光軸方向の移動範囲の1回ごとの移動量を設定し、
この設定された1回の移動量に応じた移動ごとの前記共焦点光学系により検出された試料像について前記任意の位置情報に対応する画像データを記憶し、
この記憶された画像データから最大輝度に対応する合焦位置を演算することを特徴とする共焦点型顕微鏡の合焦方法。Scanning the light from the light source to the sample, a confocal microscope of the focusing method with the confocal optical science system that enables confocal detection of sample images corresponding to the scanning,
Detecting the sample image by a detection optical system having a depth of focus deeper than the confocal optical system;
From the detected sample image, set the amount of movement each time an arbitrary position information and the moving range of the optical axis direction of the sample on the sample image,
Storing image data corresponding to the arbitrary position information with respect to the sample image detected by the confocal optical system for each movement according to the set one movement amount;
A focusing method for a confocal microscope, wherein a focusing position corresponding to the maximum luminance is calculated from the stored image data.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP30303296A JP3955115B2 (en) | 1996-11-14 | 1996-11-14 | Confocal microscope focusing device and focusing method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP30303296A JP3955115B2 (en) | 1996-11-14 | 1996-11-14 | Confocal microscope focusing device and focusing method |
Publications (2)
Publication Number | Publication Date |
---|---|
JPH10142516A JPH10142516A (en) | 1998-05-29 |
JP3955115B2 true JP3955115B2 (en) | 2007-08-08 |
Family
ID=17916117
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP30303296A Expired - Fee Related JP3955115B2 (en) | 1996-11-14 | 1996-11-14 | Confocal microscope focusing device and focusing method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3955115B2 (en) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000039562A (en) * | 1998-07-23 | 2000-02-08 | Olympus Optical Co Ltd | Scanning laser microscope |
JP4912545B2 (en) * | 2001-07-13 | 2012-04-11 | オリンパス株式会社 | Confocal laser scanning microscope |
JP5572464B2 (en) * | 2010-07-14 | 2014-08-13 | オリンパス株式会社 | Confocal microscope |
JP2012078727A (en) * | 2010-10-05 | 2012-04-19 | Olympus Corp | Confocal microscope and automatic focus adjustment method by confocal microscope |
JP5732265B2 (en) * | 2011-01-24 | 2015-06-10 | 株式会社キーエンス | Microscope system, focus position detection method, and focus position detection program |
JP6811950B2 (en) * | 2016-12-09 | 2021-01-13 | オリンパス株式会社 | Scanning confocal microscope, scanning control method, and program |
-
1996
- 1996-11-14 JP JP30303296A patent/JP3955115B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JPH10142516A (en) | 1998-05-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8174762B2 (en) | 3-D optical microscope | |
EP2273302B1 (en) | Image acquiring apparatus, image acquiring method and image acquiring program | |
US8400709B2 (en) | Laser scan confocal microscope | |
KR20220092999A (en) | A digital scanning apparatus | |
JP2001208974A (en) | Confocal type microscope and collective illumination type microscope | |
CN111819485B (en) | Autofocus device, optical device provided with same, and microscope | |
US5270527A (en) | Method for autofocusing of microscopes and autofocusing system for microscopes | |
JP5053691B2 (en) | Specimen scanner device and specimen position detection method using the device | |
KR20090024076A (en) | Laser processing device | |
JP3955115B2 (en) | Confocal microscope focusing device and focusing method | |
JPS6113722B2 (en) | ||
JP3631304B2 (en) | Microscope automatic focusing device | |
JP3579166B2 (en) | Scanning laser microscope | |
JP5019279B2 (en) | Confocal microscope and method for generating focused color image | |
JP3180091B2 (en) | Non-contact dimension measurement method by laser autofocus | |
JPH0787378A (en) | Focusing detection device | |
JP2738322B2 (en) | Autofocus control method and observation device | |
JPH09230250A (en) | Automatic focusing device for optical microscope | |
US20230333452A1 (en) | Autofocus method and associated optical imaging system | |
JP4819991B2 (en) | Method and apparatus for adjusting magnification of scanning optical microscope | |
JPH09274142A (en) | Scanning type microscope | |
JP7134839B2 (en) | MICROSCOPE DEVICE, CONTROL METHOD AND PROGRAM | |
JP2011221280A (en) | Virtual slide creating device and virtual slide creating method | |
JPH11352392A (en) | Focus controller and focus controlling method | |
JP2004170573A (en) | Two-dimensional test pattern used for color confocal microscope system and adjustment of the system |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20051215 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070130 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070328 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20070424 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070501 |
|
FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100511 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110511 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120511 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130511 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140511 Year of fee payment: 7 |
|
LAPS | Cancellation because of no payment of annual fees |