JPWO2005114287A1 - 顕微鏡装置 - Google Patents

顕微鏡装置 Download PDF

Info

Publication number
JPWO2005114287A1
JPWO2005114287A1 JP2006513760A JP2006513760A JPWO2005114287A1 JP WO2005114287 A1 JPWO2005114287 A1 JP WO2005114287A1 JP 2006513760 A JP2006513760 A JP 2006513760A JP 2006513760 A JP2006513760 A JP 2006513760A JP WO2005114287 A1 JPWO2005114287 A1 JP WO2005114287A1
Authority
JP
Japan
Prior art keywords
imaging
focus control
image
optical path
sample
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2006513760A
Other languages
English (en)
Inventor
政文 大城
政文 大城
更治 市江
更治 市江
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hamamatsu Photonics KK
Original Assignee
Hamamatsu Photonics KK
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hamamatsu Photonics KK filed Critical Hamamatsu Photonics KK
Publication of JPWO2005114287A1 publication Critical patent/JPWO2005114287A1/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/24Base structure
    • G02B21/241Devices for focusing
    • G02B21/244Devices for focusing using image analysis techniques
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/24Base structure
    • G02B21/241Devices for focusing
    • G02B21/245Devices for focusing using auxiliary sources, detectors

Landscapes

  • Physics & Mathematics (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Microscoopes, Condenser (AREA)
  • Automatic Focus Adjustment (AREA)

Abstract

対物レンズ21、及び試料Sの光像を分岐するビームスプリッタ27a、27bを含む導光光学系20と、試料Sの画像を取得する光検出器31と、ビームスプリッタ27a、27bで分岐される光路上に設置された焦点制御用の2つのCCDカメラ33、34とを備えて顕微鏡装置を構成する。また、カメラ33、34を、z軸方向に沿って互いに逆方向に導光光学系20での光路長が変化するように、光路に対して傾いた状態でそれぞれ設置する。そして、これらのカメラ33、34によって取得された画像を焦点制御部37で解析し、その解析結果に基づいて試料Sに対する撮像の焦点を制御する。これにより、試料の画像を取得する際の焦点制御を好適に行うことが可能な顕微鏡装置が実現される。

Description

本発明は、試料の画像の取得に用いられる顕微鏡装置に関するものである。
顕微鏡を用いて試料の画像を取得する場合、装置内の光学系、機構系の傾き、あるいは試料自体の傾き、凹凸形状などによる焦点ずれが問題となる。これに対して、従来、顕微鏡装置において、CCDカメラなどの撮像装置による撮像の焦点を制御する自動焦点(オートフォーカス)が行われている。このような焦点制御を行う装置としては、例えば、文献1:特許第3390106号公報、文献2:特開平9−230250号公報、文献3:特開平8−21961号公報、文献4:特開平11−264937号公報に記載された装置がある。
特許第3390106号公報 特開平9−230250号公報 特開平8−21961号公報 特開平11−264937号公報
上記文献のうち、文献1に記載された顕微鏡では、光軸に対して傾いた状態で設置されたラインセンサと、ラインセンサの前段に配置された回動する反射鏡とを用いる。そして、試料にレーザ光を照射して、反射鏡を介してラインセンサに入射される反射レーザ光の光量を参照して焦点を制御している。また、文献2に記載された顕微鏡では、光量を検出するフォトセンサと、フォトセンサの前段に配置された厚み変化ガラスとを用いる。そして、上記文献1と同様に試料にレーザ光を照射して、厚み変化ガラスを介してフォトセンサに入射される反射レーザ光の光量を参照して焦点を制御している。
しかしながら、これらの装置構成では、焦点を制御する際に、焦点計測用のレーザ光を試料に照射する必要がある。このため、焦点計測部分を含めた顕微鏡装置の全体として、その装置構成や撮像動作が複雑化するという問題がある。
一方、文献3に記載された顕微鏡の自動焦点装置では、試料の画像を取得するための撮像装置において、光軸に対して垂直になる垂直位置と、所定角度で傾いた傾斜位置とで取付け角度を変化させて焦点の制御を行っている。しかしながら、このような装置構成では、焦点制御の精度が充分に得られない場合がある。
また、文献4に記載された顕微鏡では、自動焦点調整部において、結像光学系から分岐された光像を検出するセンサ部を設けている。そして、このセンサ部を予定焦点面の前方及び後方にずらして、2つの光像のコントラストレベルの差分を検出して焦点調整を行っている。しかしながら、このような装置構成では、センサ部を移動させて2つの光像を取得しなくてはならないため、その装置構成や撮像動作が複雑化する。また、センサ部を移動させる際に、試料とセンサ部との間の光路長が固定されないうちに試料の光像を取り込むと光像がぼやけてしまうため、その光路長が固定されるまでの待ち時間が必要となる。このため、焦点調整及び試料の画像取得を短時間で行うことができないという問題がある。
本発明は、以上の問題点を解決するためになされたものであり、試料の画像を取得する際の焦点制御を好適に行うことが可能な顕微鏡装置を提供することを目的とする。
このような目的を達成するために、本発明による顕微鏡装置は、(1)試料の光像を焦点制御に用いられる焦点制御用光路へと導く導光光学系と、(2)焦点制御用光路上に設置され、焦点制御用光路へと導かれた光像による2次元の画像を取得する焦点制御用撮像手段と、(3)焦点制御用撮像手段によって取得された画像を解析し、その解析結果に基づいて、試料を撮像する際の焦点制御情報を取得する焦点制御手段とを備え、(4)焦点制御用撮像手段は、撮像面内において所定の変化方向に沿って導光光学系での光路長が変化するように構成された第1撮像手段と、撮像面内において変化方向に沿うとともに第1撮像手段とは異なる変化率で光路長が変化するように構成された第2撮像手段とを有することを特徴とする。
上記した顕微鏡装置においては、画像取得の対象となる試料に対して、焦点制御に用いられる撮像手段として、2次元の画像を取得可能な撮像手段を用いるとともに、光像が試料から導光される光路長が所定方向で変化する撮像条件となるように撮像手段を配置している。このような撮像手段を用いて取得された2次元の画像を解析して焦点制御を行う構成によれば、試料への焦点計測用のレーザ光の照射等が不要となる。したがって、焦点計測部分を含めた顕微鏡装置の全体として、その装置構成や撮像動作を簡単化することができる。
また、上記した装置では、所定の変化方向に沿って互いに異なる変化率で光路長が変化するように構成された第1撮像手段及び第2撮像手段によって焦点制御用撮像手段を構成している。これらの撮像手段によって取得された2種類の画像を用いて焦点計測を行うことにより、試料の画像を取得する際の焦点制御情報を精度良く求めることが可能となる。また、このようにして求められた焦点制御情報を用いれば、試料の画像を取得する際に焦点制御を好適に行うことが可能となる。また、焦点制御用撮像手段を構成する第1撮像手段及び第2撮像手段については、所定の変化方向に沿って互いに逆方向に光路長が変化するように構成することが好ましい。これにより、取得される焦点制御情報の精度を向上することができる。
ここで、上記した顕微鏡装置は、導光光学系が、試料の光像を焦点制御に用いられる焦点制御用光路、及び試料を撮像する際に用いられる画像取得用光路へと導くように構成され、画像取得用光路上に設置され、画像取得用光路へと導かれた光像による1次元または2次元の画像の取得に用いられる画像取得用撮像手段と、画像取得用撮像手段による画像の取得を制御する画像取得制御手段とを備えることが好ましい。これにより、試料の画像取得と、撮像の焦点制御とを好適に両立することができる。なお、画像取得制御手段は、さらに試料に対する撮像位置の設定を制御することとしても良い。
具体的な構成としては、導光光学系は、試料の光像を画像取得用光路及び焦点制御用光路へと分岐する光分岐手段を含み、画像取得用撮像手段は、焦点制御用撮像手段とは別個に構成されることとしても良い。これは、焦点制御用及び画像取得用の撮像手段として別個の撮像装置を用いる構成である。
あるいは、導光光学系は、焦点制御用光路と同一の光路を画像取得用光路として構成され、画像取得用撮像手段は、焦点制御用撮像手段に含まれる一の撮像装置を用いて構成されることとしても良い。これは、焦点制御用及び画像取得用の撮像手段として同一の撮像装置を用いる構成である。
焦点制御用の画像を取得するための焦点制御用撮像手段の具体的な構成については、第1撮像手段及び第2撮像手段のそれぞれは、変化方向に沿って光路長が変化するように撮像面が焦点制御用光路に対して所定角度で傾いた状態で設置された撮像装置を有する構成を用いることができる。このような構成によれば、焦点制御用の画像取得を好適に行うことができる。
あるいは、第1撮像手段及び第2撮像手段のそれぞれは、撮像装置と、撮像装置の撮像面に対して所定位置に、変化方向に沿って光路長が変化するように設置された光路長変更手段とを有する構成を用いることができる。このような構成によっても、焦点制御用の画像取得を好適に行うことができる。このような光路長変更手段としては、例えば、所定勾配のウエッジ形状に形成され光を透過する光路長変更部材がある。
あるいは、焦点制御用撮像手段は、単一の撮像装置を有し、第1撮像手段は、撮像装置の撮像面の第1撮像領域に対して所定位置に、変化方向に沿って光路長が変化するように設置された第1光路長変更手段を用いて構成され、第2撮像手段は、撮像装置の撮像面の第2撮像領域に対して所定位置に、変化方向に沿うとともに第1光路長変更手段とは異なる変化率で光路長が変化するように設置された第2光路長変更手段を用いて構成されていることとしても良い。このような構成では、焦点制御用撮像手段が単一の撮像装置から構成されるため、その装置構成を簡単化することができる。
この場合、第1光路長変更手段及び第2光路長変更手段を、撮像装置の撮像面に対して焦点制御用光路上にある位置、及び焦点制御用光路から外れた位置の間で駆動する駆動手段を備える構成を用いることができる。
あるいは、撮像装置は、その撮像面が、第1撮像領域及び第2撮像領域を含んで焦点制御用撮像手段として機能する焦点計測領域と、試料を撮像する際に用いられる画像取得用撮像手段として機能する画像取得領域とを有する構成を用いることができる。これらの構成では、焦点制御用及び画像取得用の撮像手段を単一の撮像装置から構成することが可能となる。
また、上記構成において、第1光路長変更手段と第2光路長変更手段とは、変化方向に沿うとともに互いに逆方向に光路長が変化するように設置されていることが好ましい。これにより、取得される焦点制御情報の精度を向上することができる。
焦点制御用撮像手段によって取得された画像を用いた焦点制御情報の取得については、焦点制御手段は、焦点制御用撮像手段によって取得された画像における変化方向についての画像のコントラスト変化を解析し、その解析結果に基づいて焦点制御情報を取得することが好ましい。これにより、試料の光像による2次元の画像を用いた撮像の焦点制御を精度良く実現することができる。
この場合、具体的には、焦点制御手段は、焦点制御用撮像手段によって取得された画像から変化方向に沿った所定幅の計測対象画像を切り出し、計測対象画像、及び計測対象画像を変化方向と垂直方向にシフトさせたシフト画像の差分絶対値画像によって画像のコントラスト変化を解析する構成を用いることが好ましい。
さらに、焦点制御手段は、焦点制御用撮像手段によって取得された画像が焦点制御情報の取得に適用可能な画像であるかどうかを判断し、適用可能と判断した場合に画像を解析し、その解析結果に基づいて焦点制御情報を取得することが好ましい。これにより、不適当な画像を用いて焦点制御が行われることを防止して、撮像の焦点制御を好適に行うことができる。
本発明の顕微鏡装置によれば、所定の変化方向に沿って互いに異なる変化率で光路長が変化するように構成され、2次元の画像を取得可能な第1撮像手段及び第2撮像手段を有する焦点制御用撮像手段を設け、これらの撮像手段によって取得された2種類の画像を用いて焦点計測を行うことにより、試料の画像を取得する際の焦点制御情報を精度良く求めて、焦点制御を好適に行うことが可能となる。
図1は、顕微鏡装置の第1実施形態の構成を示すブロック図である。 図2は、焦点制御部の構成の一例を示すブロック図である。 図3は、単一の撮像装置を用いた場合の焦点制御方法の一例を示すフローチャートである。 図4は、図3に示した焦点制御方法について示す模式図である。 図5は、2つの撮像装置を用いた場合の焦点制御方法の一例を示すフローチャートである。 図6は、単一の撮像装置を用いた場合の焦点制御方法の他の例を示すフローチャートである。 図7は、単一の撮像装置を用いた場合の焦点制御方法の他の例を示すフローチャートである。 図8は、焦点制御に用いられる計測対象画像の例を示す図である。 図9は、焦点制御に用いられる計測対象画像の例を示す図である。 図10は、焦点制御に用いられる計測対象画像の例を示す図である。 図11は、焦点制御に用いられる計測対象画像の例を示す図である。 図12は、焦点制御に用いられる計測対象画像の例を示す図である。 図13は、図8〜図12に示した計測対象画像でのコントラスト変化を示す図である。 図14は、図8〜図12に示した計測対象画像でのコントラスト変化を示す図である。 図15は、顕微鏡装置の第2実施形態の構成を示すブロック図である。 図16は、光路長変更部材の構成の例を示す斜視図である。 図17は、顕微鏡装置の第3実施形態の構成を示すブロック図である。 図18は、焦点制御方法の一例を示すフローチャートである。 図19は、顕微鏡装置の第4実施形態の構成を示すブロック図である。 図20は、顕微鏡装置の第5実施形態の構成を示すブロック図である。 図21は、撮像装置及び光路長変更部材の構成の例を示す斜視図である。 図22は、焦点制御方法の一例を示すフローチャートである。 図23は、焦点制御方法の他の例を示すフローチャートである。 図24は、顕微鏡装置の第6実施形態の構成を示すブロック図である。 図25は、焦点制御用の撮像装置に対する光分岐光学系について示す図である。
符号の説明
10…照射光源、11…集光レンズ、15…試料ステージ(XYステージ)、16…XYステージ駆動部、20…導光光学系、21…対物レンズ、22…ピエゾアクチュエータ、23…ピエゾ駆動部、27a、27b…ビームスプリッタ、28、29a、29b…結像レンズ、29c…駆動モータ、31、41…光検出器、33、34、43、44、51…CCDカメラ、43a、44a、51a、51b、53a、53b…光路長変更部材、53c…光路長調整部材、52…駆動モータ、36、46、56…画像取得制御部、37、47、57…焦点制御部、37a…A/D変換器、37b…画像メモリ、37c…データ処理部、37d…データ記憶部、80…照射光源、81…レンズ、85…照射光学系、86…ダイクロイックミラー、87…励起フィルタ、88…カットフィルタ。
以下、図面とともに本発明による顕微鏡装置の好適な実施形態について詳細に説明する。なお、図面の説明においては同一要素には同一符号を付し、重複する説明を省略する。また、図面の寸法比率は、説明のものと必ずしも一致していない。
図1は、本発明による顕微鏡装置の第1実施形態の構成を示すブロック図である。この顕微鏡装置は、試料Sの画像の取得に用いられる透過型の顕微鏡として構成されている。画像取得の対象となる試料Sは、例えば生物サンプルであり、試料ステージ15上に載置されている。
試料ステージ15は、x方向及びy方向(水平方向)に可動なXYステージからなり、このXYステージ15をxy面内で駆動することにより、試料Sに対する撮像位置が設定または変更される。また、試料ステージ15は、XYステージ駆動部16によって駆動制御されている。試料ステージ15の下方には、撮像対象となる光像を生成するための光を試料Sへと照射する照射光源10、及び照射光源10からの光を試料Sで設定されている撮像位置へと集光する集光レンズ11が設置されている。
照射光源10からの光が照射される試料ステージ15上の試料Sに対し、試料ステージ15の上方に、試料Sの光像を導光するための導光光学系20が設けられている。本実施形態においては、導光光学系20は、試料Sからの光が入射する対物レンズ21と、対物レンズ21の後段に配置されたビームスプリッタ27a、27bとを有している。このうち、ビームスプリッタ27a、27bは、試料Sの光像を画像取得用光路及び焦点制御用光路へと分岐する光分岐手段である。
図1においては、対物レンズ21からの光がビームスプリッタ27a、27bを通過する光路が、試料Sを撮像する際に用いられる画像取得用光路となっている。また、対物レンズ21からの光がビームスプリッタ27aで反射される光路、及びビームスプリッタ27bで反射される光路が、それぞれ試料Sを撮像する際の焦点制御情報の取得に用いられる焦点制御用光路となっている。
前段のビームスプリッタ27a、及び後段のビームスプリッタ27bは、それぞれ画像取得用光路に対して約45°の角度で配置されており、ビームスプリッタ27a、27bからの焦点制御用光路のそれぞれは、画像取得用光路に対して略直交している。ここで、説明の便宜のため、照射光源10及び対物レンズ21を含む顕微鏡光学系の光軸方向であり、画像取得用光路に沿う方向をz軸方向、画像取得用光路に直交する焦点制御用光路に沿う方向をy軸方向、y軸及びz軸に直交する方向をx軸方向とする。
また、対物レンズ21に対して、ピエゾアクチュエータ22が設けられている。ピエゾアクチュエータ22は、対物レンズ21をz軸方向(垂直方向、光軸方向)に駆動する対物レンズ駆動手段である。また、ピエゾアクチュエータ22は、ピエゾ駆動部23によって駆動制御されている。本顕微鏡装置では、このピエゾアクチュエータ22を用いて対物レンズ21のz軸方向の位置を変えることにより、試料Sの画像取得における撮像の焦点が調整可能になっている。
画像取得用光路上には、ビームスプリッタ27a、27bを通過した試料Sの光像の結像面に対応する位置に、光検出器31が設置されている。光検出器31は、ビームスプリッタ27a、27bで画像取得用光路へと分岐された光像による画像の取得に用いられる画像取得用撮像手段である。この光検出器31としては、具体的には、試料Sの1次元の画像を取得可能なリニアセンサ、または2次元の画像を取得可能なイメージセンサが用いられる。
一方、前段の焦点制御用光路上には、ビームスプリッタ27aで反射された試料Sの光像の結像面に対応する位置に、撮像装置33が設置されている。また、後段の焦点制御用光路上には、ビームスプリッタ27bで反射された試料Sの光像の結像面に対応する位置に、撮像装置34が設置されている。撮像装置33、34は、それぞれ2次元の画像を取得可能なCCDカメラからなる。
CCDカメラ33、34は、ビームスプリッタ27a、27bで分岐された光像による画像を取得する第1、第2撮像手段であり、これらのカメラ33、34によって、本実施形態における焦点制御用撮像手段が構成されている。すなわち、図1に示した顕微鏡装置では、これらのCCDカメラ33、34によって取得される試料Sの2次元の画像を用いて、試料Sを光検出器31によって撮像する際の焦点制御情報の取得、及び得られた焦点制御情報に基づく焦点制御が行われる。
具体的には、焦点制御用撮像手段の第1撮像手段であるCCDカメラ33は、その撮像面が光路に直交するxz面と略一致するとともに、z軸方向を傾き方向として角度θで光路に対して傾いた状態で設置されている。このとき、CCDカメラ33の撮像面内において、z軸方向を変化方向として、試料SからCCDカメラ33へと光が導かれる導光光学系20での光路長がz軸方向に沿って変化するようになっている。
また、焦点制御用撮像手段の第2撮像手段であるCCDカメラ34は、その撮像面が光路に直交するxz面と略一致するとともに、z軸方向を傾き方向として角度θで光路に対してカメラ33とは逆方向に傾いた状態で設置されている。このとき、CCDカメラ34の撮像面内において、z軸方向を変化方向として、試料SからCCDカメラ34へと光が導かれる導光光学系20での光路長がz軸方向に沿うとともにカメラ33とは逆方向に変化するようになっている。
これらの試料ステージ15、導光光学系20、光検出器31、及びCCDカメラ33、34に対し、画像取得制御部36、及び焦点制御部37が設けられている。画像取得制御部36は、試料Sの画像の取得、及び試料Sに対する撮像位置の設定を制御することによって、試料Sの画像取得動作を制御する制御手段である。具体的には、画像取得制御部36は、光検出器31による画像の取得を制御する。また、制御部36は、XYステージ駆動部16を介して試料ステージ15を駆動制御することにより、試料ステージ15上に載置された試料Sで顕微鏡光学系の光軸上にある撮像位置を設定または変更する。
焦点制御部37は、CCDカメラ33、34によって取得された画像について所定の解析方法で解析を行う。そして、その解析結果に基づいて、光検出器31によって試料Sを撮像する際の焦点制御情報を取得する。あるいはさらに、焦点制御部37は、取得された焦点制御情報に基づいて、光検出器31による撮像の焦点を制御する。本実施形態においては、焦点制御部37は、ピエゾ駆動部23を介してピエゾアクチュエータ22を駆動制御して対物レンズ21のz軸方向の位置を調整することにより、撮像の焦点制御を行う。
ここで、焦点制御用撮像手段であるカメラ33、34は、上記したようにそれぞれ焦点制御用光路の光軸に対して傾いて配置されている。このため、CCDカメラ33、34によって取得される2次元の画像は、それぞれz軸方向に沿って焦点位置からのずれが変化する画像となる。このような所定の変化方向に沿って焦点位置からのずれが変化する画像を、焦点制御部37において解析することにより、撮像の焦点のずれ、焦点調整の必要性の有無、焦点を合わせるために必要な補正量などについての焦点制御情報が得られる。さらに、カメラ33、34によって取得される画像は、焦点位置からのずれが変化する方向が互いに逆方向となる。このような2種類の画像を用いることにより、焦点制御情報を精度良く求めることが可能となる。
図2は、焦点制御部37の具体的な構成の一例を示すブロック図である。本構成例においては、焦点制御部37は、A/D変換器37a、画像メモリ37b、データ処理部37c、及びデータ記憶部37dから構成されている。CCDカメラ33、34によって取得された画像のデータ信号は、A/D変換器37aでA/D変換された後、焦点制御用の画像データとして画像メモリ37bに格納される。データ処理部37cは、画像メモリ37bから必要な画像データを読み出し、その解析を行うとともに、解析結果に基づいて、試料Sを光検出器31によって撮像する際の焦点制御情報を取得して、データ記憶部37dに情報を記憶する。また、実際に光検出器31によって試料Sの画像の取得を行う場合には、データ処理部37cは、取得された焦点制御情報を参照してピエゾ駆動部23を制御し、撮像の焦点制御を行う。
本実施形態による顕微鏡装置の効果について説明する。
図1に示した顕微鏡装置においては、画像取得の対象となる試料Sに対して、焦点制御に用いられる撮像手段として、2次元の画像を取得可能なCCDカメラ33、34を用いるとともに、光像が試料Sから導光される光路長が所定方向で変化する撮像条件となるようにそれぞれのカメラ33、34を配置している。このようなカメラ33、34を用いて取得された2次元の画像を解析して焦点制御を行う構成によれば、試料への焦点計測用のレーザ光の照射等が不要となる。したがって、焦点計測部分を含めた顕微鏡装置の全体として、その装置構成や撮像動作を簡単化することができる。
また、上記した装置では、所定の変化方向に沿って互いに逆方向に光路長が変化するように構成された第1撮像手段であるCCDカメラ33、及び第2撮像手段であるCCDカメラ34によって焦点制御用撮像手段を構成している。このような撮像手段によって取得された2種類の画像を用いて焦点計測を行うことにより、試料Sの画像を画像取得用撮像手段である光検出器31によって取得する際の焦点制御情報を精度良く求めることが可能となる。また、このようにして求められた焦点制御情報を用いれば、試料Sの画像を取得する際に焦点制御を好適に行うことが可能となる。
具体的には、上記構成では、z軸方向を傾き方向として互いに逆方向に傾いた状態で設置された2つのCCDカメラ33、34を、焦点制御情報の取得に用いている。このように、逆方向に傾いた2つの撮像装置を用いて焦点計測を行うことにより、試料S自体のコントラストパターンが不均一な場合においても、その影響を低減して好適に焦点制御を行うことができる。また、このような構成では、2つのカメラ33、34を光軸に対して傾きが対称となるように配置することが好ましい。
なお、焦点制御部37による焦点制御情報の取得の実行と、実際の焦点制御の実行とについては、光検出器31による画像取得をカメラ33、34による焦点計測と並行して同時に行うことが可能である。この場合には、カメラ33、34で取得された画像から焦点制御部37において焦点制御情報を求めると同時に、その情報を用いて撮像の焦点をフィードバック制御することができる。
このように、光検出器31による試料Sの画像の取得を行いつつ、CCDカメラ33、34によって取得される試料Sの2次元の画像を用いた焦点制御をリアルタイムで行うリアルタイムフォーカス技術は、試料Sの画像取得作業を高速化する上で有効である。例えば、近年、生物サンプルの全体を画像データとして電子化するバーチャルスライドの開発がすすめられているが、このようなサンプルの電子化を高速で行うためには、リアルタイムでの焦点制御が非常に重要となる。
あるいは、光検出器31による画像取得と、カメラ33、34による焦点計測とを別々に行うこととしても良い。例えば、あらかじめ試料Sでの撮像位置をスキャンしつつカメラ33、34による焦点計測を行って、試料Sに対する焦点制御情報のマップを作成することも可能である。この場合、焦点制御情報のマップを作成した後に、そのマップを参照して焦点制御を実行して、試料Sでの撮像位置をスキャンしつつ光検出器31による画像取得を行えば良い。このように、焦点制御情報のマップの作成を行う際には、画像取得用の光検出器31は不要である。また、焦点計測においては、導光光学系20は、試料Sの光像が焦点制御用光路へと導かれるように構成されていれば良い。この場合、ビームスプリッタなどの光分岐手段は、不要であれば設けなくても良い。
なお、焦点制御情報のマップの作成においては、必ずしも試料Sのすべての撮像領域に対して焦点計測及び焦点制御情報の取得を実行しなくても良い。例えば、試料S上において適宜選択された複数の撮像領域に対して焦点計測を行って焦点制御情報を取得する。そして、得られた複数の焦点制御情報を利用し、焦点計測を未実行の撮像領域について焦点制御情報を補間処理することによって、撮像領域全体についての焦点制御情報のマップを作成することが可能である。このような方法では、焦点制御情報のマップの作成に要する時間が短縮される。
また、本実施形態においては、焦点制御用撮像手段を構成するCCDカメラ33、34について、上記したように所定の変化方向に沿って互いに逆方向に光路長が変化するように構成している。これにより、取得される焦点制御情報の精度を向上することができる。この焦点制御用撮像手段の第1撮像手段及び第2撮像手段については、一般には、所定の変化方向に沿って互いに異なる変化率で光路長が変化するように構成すれば良い。そのような構成としては、例えば、同方向であるが互いに異なる変化量で光路長が変化する構成がある。
また、上記実施形態では、試料Sから光検出器31への焦点制御を、ピエゾアクチュエータ22を駆動制御して対物レンズ21のz軸方向の位置を調整することによって行っている。これにより、CCDカメラ33、34で取得された画像を用いた焦点のフィードバック制御を高速で確実に実行することができる。ただし、このような焦点制御には、対物レンズ21を駆動する構成に限らず、例えば試料Sが載置される試料ステージ15をz軸方向に駆動する構成を用いても良い。また、対物レンズ21や試料ステージ15を駆動する駆動機構としては、ピエゾアクチュエータ以外にも、例えばステッピングモータなどを用いることができる。
また、焦点制御に用いられる試料Sの2次元の画像を取得するための撮像装置については、CCDカメラ以外にも、例えばCMOS型の撮像装置など、2次元の画像を取得可能な他の撮像装置を用いても良い。
図1に示した顕微鏡装置における焦点制御方法について説明する。
まず、焦点制御用撮像手段として単一のCCDカメラ33のみを用いた場合の焦点制御方法について説明しておく。図3は、焦点制御方法の具体的な一例を示すフローチャートである。また、図4は、図3に示した焦点制御方法について示す模式図である。なお、以下に説明する焦点制御は、図1に示した構成において焦点制御部37によって行われる。
この制御方法では、まず、図4に示すように、CCDカメラ33により、その撮像面の傾き方向であるz軸方向にa画素、傾きと垂直方向であるx軸方向にb画素で、a×b画素からなる試料Sの2次元の画像Xを取得する(ステップS101)。そして、この画像Xから、傾き方向の全幅(a画素)、傾きと垂直方向の一定の幅(b’画素)からなる、傾き方向に沿った計測対象画像X’を切り出す(S102)。
次に、切り出した計測対象画像X’について、傾きと垂直方向に一定画素(s画素)だけシフトさせたシフト画像X”を作成する(S103)。また、画像X”と画像X’との間で差分(X’−X”)をとり、さらに、その絶対値|X’−X”|の計算を行って、差分絶対値画像Yを作成する(S104)。この差分画像Yは、計測対象画像X’をシフトさせた画素分が無効画素となるため、a×(b’−s)画素の画像となる。ここで、計測対象画像X’をシフトさせる画素数sについては、光学的な倍率及び対物レンズの開口数NAを考慮して適当な画素数を選択することが好ましい。
続いて、差分絶対値画像Yについて、傾きと垂直方向のb’−s画素分で平均値を求めて、傾き方向のa画素のデータ列Zを作成する(S105)。この差分絶対値画像Y、及び傾きと垂直方向について平均したデータ列Zは、傾き方向に沿った計測対象画像X’の各位置での画像成分の微分の絶対値を求めたものに相当する。
一方、画像取得の対象となる試料Sのコントラストパターンが均一な場合、カメラ33で取得される画像では、焦点が合っているほど画像のコントラストが大きくなる。また、画像のコントラストが大きいと、対応する画像成分の微分の絶対値が大きくなる。したがって、データ列Zにおいて、傾き方向についての画像のコントラスト変化に相当するデータ値の変化を求める解析を行うことにより、焦点制御についての情報が得られる。また、その解析結果を参照することにより、撮像の焦点制御を好適に実行することができる。
図3においては、具体的には、図4に示すように、データ列Zの各データについて、その傾き方向に沿った中心位置のアドレスを0、前方に傾いているz軸の正の方向にある各位置のアドレスを−、後方に傾いているz軸の負の方向にある各位置のアドレスを+として、それぞれの位置のデータにアドレスを割り振る。そして、そのデータ列Zでのアドレスとデータとの積をとり、それらの総和Tを計算する(S106)。
このようにして求められる総和Tにおいて、総和Tが負の値の場合、現在の焦点位置は正しい焦点位置よりも近い位置にあり、また、その絶対値が大きいほど正しい焦点位置からのずれが大きい。一方、総和Tが正の値の場合、現在の焦点位置は正しい焦点位置よりも遠い位置にあり、また、その絶対値が大きいほど正しい焦点位置からのずれが大きい。したがって、このような総和Tの値を参照して焦点制御を行えば、実際の焦点位置を正しい焦点位置に近付けることができる。
この場合の具体的な制御方法としては、例えば、総和Tに対して負の側の閾値m、及び正の側の閾値nを設定しておき、総和Tがこれらの閾値m〜nの範囲外になったときに焦点位置を調整する方法がある。この方法では、図3に示すように、総和Tが負の閾値mよりも小さい(T<閾値m)かどうかを判定する(S107)。そして、閾値mよりも小さい場合に、焦点位置を上げるように焦点制御を行う(S108)。また、総和Tが正の閾値nよりも大きい(T>閾値n)かどうかを判定する(S109)。そして、閾値nよりも大きい場合に、焦点位置を下げるように焦点制御を行う(S110)。
以上のステップS101〜S110の焦点制御動作を、試料Sでの撮像位置をスキャンしつつ繰返し行うことにより、試料Sの画像を良好な画質で高速に取得することが可能となる。
なお、上記した焦点制御方法では、データ列Zの作成を画素毎に行っているが、データ列Zの具体的な作成方法は上記方法に限定されない。例えば、複数画素毎にサンプリングによる間引き処理を行ってデータ列Zを作成しても良い。このような方法では、焦点制御をさらに高速化することができる。
次に、焦点制御用撮像手段として上記したCCDカメラ33、34の2つのカメラを用いた場合の焦点制御方法について説明する。図5は、焦点制御方法の一例を示すフローチャートである。なお、以下に説明する焦点制御は、図1に示した構成において焦点制御部37によって行われる。また、画像の具体的な解析方法については、図3及び図4に示した焦点制御方法と同様である。
この制御方法では、まず、CCDカメラ33、34により、試料Sの2つの2次元の画像X,Xを取得する(ステップS501)。そして、これらの画像X,Xから、それぞれ傾き方向に沿った計測対象画像X’,X’を切り出す(S502)。これらの計測対象画像X’,X’は、上記したように、z軸方向について逆方向に傾いた画像である。
次に、切り出した計測対象画像X’,X’について、傾きと垂直方向に一定画素だけシフトさせたシフト画像X”,X”を作成する(S503)。また、カメラ33で取得された画像Xについて、画像X”と画像X’との間で差分(X’−X”)をとり、さらに、その絶対値|X’−X”|の計算を行って、差分絶対値画像Yを作成する。また、カメラ34で取得された画像Xについて、画像X”と画像X’との間で差分(X’−X”)をとり、さらに、その絶対値|X’−X”|の計算を行って、差分絶対値画像Yを作成する(S504)。
続いて、差分絶対値画像Y,Yについて、傾きと垂直方向で平均値を求めて、傾き方向のデータ列Z,Zを作成する(S505)。また、データ列Z,Zの各データについて、中心位置のアドレスを0として、それぞれの位置のデータにアドレスを割り振る。そして、そのデータ列Z,Zでのアドレスとデータとの積をとり、それらの総和T,Tを計算する(S506)。なお、データ列Z,Zに対するアドレスの割り振りは、撮像面の傾き方向であるz軸方向について同方向に行う。
図5に示す焦点制御方法においては、さらに、これらのカメラ33、34で取得された2画像X,Xに対して求められた総和T,Tについて、その差分T=T−Tを計算する(S511)。そして、この総和の差分Tを参照して、閾値m,nを用いた焦点制御を行う(S507〜S510)。
以上のステップS501〜S511の焦点制御動作を、試料Sでの撮像位置をスキャンしつつ繰返し行うことにより、試料Sの画像を良好な画質で高速に取得することが可能となる。特に、本実施形態においては、互いに逆方向に傾いたCCDカメラ33、34によって取得された画像X,Xを用い、それぞれについて求められた総和T,Tの差分Tをとって焦点制御を行うことにより、試料S自体のコントラストパターンの影響を低減することができる。なお、上記した焦点制御方法において、焦点制御情報のマップの作成など、焦点制御情報の取得のみを行う場合には、得られた焦点制御についての情報をデータ記憶部に記憶しておき、必要に応じて焦点制御に用いれば良い。
なお、上記した焦点制御方法では、データ列Z,Zの作成を画素毎に行っているが、データ列Z,Zの具体的な作成方法は上記方法に限定されない。例えば、複数画素毎にサンプリングによる間引き処理を行ってデータ列Z,Zを作成しても良い。このような方法では、焦点制御をさらに高速化することができる。
また、具体的な焦点の制御方法については、上記した方法以外にも、以下の図6、図7に示すように、様々な方法を用いることができる。なお、図6、図7に示すフローチャートは、それぞれ単一のCCDカメラを用いる場合の図3に対応するものであるが、2つのCCDカメラを用いる場合の図5の焦点制御方法に対しても、同様に適用可能である。
図6は、焦点制御方法の他の例を示すフローチャートである。この制御方法において、ステップS201〜S210については、図3の制御方法におけるステップS101〜S110と同様である。
この制御方法では、差分絶対値画像Yを作成するステップS204と、傾き方向のデータ列Zを作成するステップS205との間に、ノイズ除去を行うステップS211を設けている。ここでは、差分絶対値画像Yにおける画像のノイズなどの焦点制御への影響を取り去るために、各画素のデータ値に対してノイズレベルpを設定している。
そして、差分絶対値画像Yの各画素のうち、そのデータ値がノイズレベルpよりも小さければ、ノイズデータであるとしてその画素のデータ値を0とし、ノイズ除去がなされた差分絶対値画像Y’を作成する(S211)。傾き方向のデータ列Zは、このノイズ除去画像Y’を用いて作成される。これにより、導光光学系20やCCDカメラ33に起因するノイズなどが焦点制御に与える影響を抑制することができる。
図7は、焦点制御方法の他の例を示すフローチャートである。この制御方法において、ステップS301〜S310については、図3の制御方法におけるステップS101〜S110と同様である。
この制御方法では、焦点制御部37は、CCDカメラ33によって取得された画像が撮像の焦点の制御に適用可能な画像であるかどうかを判断する。そして、適用可能であると判断した場合に画像を解析し、その解析結果に基づいて撮像の焦点を制御することとしている。
具体的には、まず、計測対象画像X’を切り出すステップS302と、シフト画像X”を作成するステップS303との間に、ステップS311〜S313を追加している。ここでは、計測対象画像X’について、画像X’をブロックに分割し、それぞれのブロックの標準偏差を計算して、標準偏差データ列SDを作成する。また、この標準偏差データ列SDから、その標準偏差SdSD及び平均値AvSDを計算し(S311)、標準偏差と平均値との比SdSD/AvSDが閾値pよりも大きい(SdSD/AvSD>閾値p)かどうかを判断する(S312)。そして、閾値pよりも大きい場合に、試料S自体のコントラストが不均一であり、したがって、焦点位置の判断不可(S313)であるとして焦点制御を行わないこととする。
また、傾き方向のデータ列Zを作成するステップS305と、データ列Zのアドレスとデータとの積の総和Tを計算するステップS306との間に、ステップS321、S322を追加している。ここでは、計測対象画像X’について、傾きと垂直方向のb’画素分で平均値を求めて、傾き方向のa画素のデータ列Aを作成するとともに、データ列Zの平均値/データ列Aの平均値(変化量/明るさ、すなわちコントラストに相当)が閾値rよりも小さい(Zの平均値/Aの平均値<閾値r)かどうかを判定する(S321)。そして、閾値rよりも小さい場合に、撮像位置に試料Sが存在しないか、または焦点が大きくずれており、したがって、焦点位置の判断不可(S322)であるとして焦点制御を行わないこととする。
このように、CCDカメラによって取得された画像について焦点制御に適当な画像かどうかを判断した上で画像の解析及び焦点制御を行うことにより、不適当な画像を用いて焦点制御が行われることを防止して、撮像の焦点制御を好適に行うことができる。
なお、上記した各焦点制御方法では、焦点制御用の画像のコントラスト変化の解析を、撮像面の傾き方向に沿って所定幅で切り出した計測対象画像と、そのシフト画像との差分絶対値画像を用いて行っている。このような方法を用いることにより、画像のコントラスト変化を簡易な方法で確実に解析することができる。ただし、コントラストの具体的な解析方法については、上記以外の方法を用いても良い。
また、上記した焦点制御方法では、データ列A及びZの作成を画素毎に行っているが、これらのデータ列の具体的な作成方法は上記方法に限定されない。例えば、複数画素毎にサンプリングによる間引き処理を行って各データ列を作成しても良い。このような方法では、焦点制御をさらに高速化することができる。
また、図7に示した方法では、ステップS311及びS312において画像X’を分割するブロックは、2次元マトリクス状の分割に限らず、一方向のブロック分割としても良い。また、ブロックのサイズについては、光学的な倍率、CCDカメラのサイズ、画素数等を考慮して適当なサイズに設定することが好ましい。
また、上記方法では、ステップS313及びS322において、対象画像が均一なコントラストパターンでない場合、あるいは画像の一部にのみ試料Sが存在して充分なコントラストレベルが得られない場合等に、焦点位置が判断不可であるとして焦点制御を行わないこととしている。これに対して、ステージ15を駆動させて試料Sの画像を順次取得する際には、焦点位置が判断不可の撮像位置に関する焦点制御情報は、他の撮像位置についての焦点制御情報を参照して設定しても良い。この場合、例えば、焦点位置が判断不可の撮像位置に関する焦点制御情報を、一連の焦点計測で取得されてデータ記憶部37dに記憶された任意の焦点制御情報、もしくは直近(最新)の焦点制御情報と同一とみなして焦点制御を実行する方法を用いることができる。
また、CCDカメラ33、34によって取得された画像を用いた焦点制御については、画像のコントラスト変化を解析する方法を用いることにより、撮像の焦点制御を精度良く実現することができる。ただし、このような焦点制御方法については、コントラスト変化を用いる以外の方法を用いても良い。
上記した顕微鏡装置を用いた焦点制御方法の具体的な一実施例について説明する。ここで、以下においては、焦点制御用撮像手段を構成する2つのCCDカメラ33、34について、前段のCCDカメラ33をカメラ1、後段のCCDカメラ34をカメラ2とする。
本実施例では、試料Sとして口腔肉腫瘤の病理サンプルを用いる。この病理サンプルを顕微鏡(NIKONTMD,20×,NA0.75)にセットし、CCDカメラ(ORCA,浜松ホトニクス製)を配置する。本実施例では、傾き方向が逆方向の2つの画像を用いることによる効果の確認を目的とするため、単一のCCDカメラを用い、その配置角度をθ=±25°で変えて2度の焦点計測を行う。このとき、CCDの撮像面の傾き方向の両端は、光軸方向に約3.7mmの深さを持つ。これは、試料S上での光軸方向の変化は撮像面上では倍率の自乗となることから、サンプル上での深さに換算すると約9μmとなる。
また、2つのCCDカメラのそれぞれで取得される焦点制御用の画像において、計測対象画像X’,X’のサイズをa×b’=1024画素×190画素とし、焦点位置の正しい焦点位置からのずれが−4μm、−2μm、0μm、2μm、4μmの5点について焦点計測を行った。
図8〜図12は、焦点制御に用いられる計測対象画像の例を示す図である。ここで、図8の画像(a)、(b)は、焦点位置のずれが−4μmの場合について取得された(a)カメラ1の計測対象画像X’、及び(b)カメラ2の計測対象画像X’を示している。また、図9の画像(a)、(b)は、焦点位置のずれが−2μmの場合について取得された(a)カメラ1の計測対象画像X’、及び(b)カメラ2の計測対象画像X’を示している。
また、図10の画像(a)、(b)は、焦点位置のずれが0μmの場合について取得された(a)カメラ1の計測対象画像X’、及び(b)カメラ2の計測対象画像X’を示している。また、図11の画像(a)、(b)は、焦点位置のずれが2μmの場合について取得された(a)カメラ1の計測対象画像X’、及び(b)カメラ2の計測対象画像X’を示している。また、図12の画像(a)、(b)は、焦点位置のずれが4μmの場合について取得された(a)カメラ1の計測対象画像X’、及び(b)カメラ2の計測対象画像X’を示している。
このような2種類の計測対象画像X’,X’に対し、4画素のシフトでシフト画像X”,X”を作成し、画像X’、X”から差分絶対値画像Y,Y、及びデータ列Z,Zを求める。そして、データ列Z,Zでのアドレスとデータとの積の総和T,Tである焦点重心のデータF1,F2を求める。また、この焦点重心のデータF1,F2の差分F=F1−F2(総和T,Tの差分T=T−T)を求めて、焦点制御に用いる。
図13は、図8〜図12の画像(a)に示したカメラ1の計測対象画像Xでのコントラスト変化を示す図である。図13のグラフ(a)〜(e)において、横軸は傾き方向の画素位置を示し、縦軸は各位置でのコントラストに対応するデータ列Zを示している。また、図13のグラフ(a)〜(e)は、それぞれ図8の画像(a)、図9の画像(a)、図10の画像(a)、図11の画像(a)、図12の画像(a)に対応している。
これらのデータ列Zから、各焦点位置に対する焦点重心F1(総和T)は、(a)焦点位置−4μmに対してF1=5.4、(b)焦点位置−2μmに対してF1=49.0、(c)焦点位置0μmに対してF1=75.2、(d)焦点位置2μmに対してF1=94.1、(e)焦点位置4μmに対してF1=120.8とそれぞれ求められる。この結果では、焦点位置のずれに対してデータ列Zから求められる焦点重心F1の値の変化において、F1のすべてが正の値であって負の値から正の値へと移行する点が存在しない。このような焦点重心F1の値の変化は、試料S自体のコントラストパターンの変化に起因するものである。
一方、図14は、図8〜図12の画像(b)に示したカメラ2の計測対象画像Xでのコントラスト変化を示す図である。図14のグラフ(a)〜(e)において、横軸は傾き方向の画素位置を示し、縦軸は各位置でのコントラストに対応するデータ列Zを示している。また、図14のグラフ(a)〜(e)は、それぞれ図8の画像(b)、図9の画像(b)、図10の画像(b)、図11の画像(b)、図12の画像(b)に対応している。
これらのデータ列Zから、各焦点位置に対する焦点重心F2(総和T)は、(a)焦点位置−4μmに対してF2=89.2、(b)焦点位置−2μmに対してF2=55.8、(c)焦点位置0μmに対してF2=12.0、(d)焦点位置2μmに対してF2=−13.4、(e)焦点位置4μmに対してF2=−61.6とそれぞれ求められる。
また、これらの焦点重心F1、F2から焦点重心の差分F(総和の差分T)は、(a)焦点位置−4μmに対してF=−83.8、(b)焦点位置−2μmに対してF=−6.8、(c)焦点位置0μmに対してF=63.2、(d)焦点位置2μmに対してF=107.5、(e)焦点位置4μmに対してF=182.4とそれぞれ求められる。この結果より、上記のように光軸に対して逆方向に傾いた2つのカメラによって取得される画像を解析して得られる解析結果では、試料S自体が有するコントラストパターンにかかわらず、焦点位置のずれと、データ列Z,Zから求められる焦点重心の差分Fの値の変化とが、良く対応していることがわかる。したがって、このような解析結果を参照することで、撮像の焦点制御情報を好適に取得することができる。
本発明による顕微鏡装置について、さらに説明する。
図15は、本発明による顕微鏡装置の第2実施形態の構成を示すブロック図である。本実施形態において、照射光源10、集光レンズ11、試料ステージ15、XYステージ駆動部16、導光光学系20、ピエゾアクチュエータ22、及びピエゾ駆動部23については、図1に示した実施形態と同様である。
画像取得用光路上には、ビームスプリッタ27a、27bを通過した試料Sの光像の結像面に対応する位置に、光検出器41が設置されている。光検出器41は、ビームスプリッタ27a、27bで画像取得用光路へと分岐された光像による画像の取得に用いられる画像取得用撮像手段である。この光検出器41としては、具体的には、試料Sの1次元の画像を取得可能なリニアセンサ、または2次元の画像を取得可能なイメージセンサが用いられる。
一方、前段の焦点制御用光路上には、ビームスプリッタ27aで反射された試料Sの光像の結像面に対応する位置に、撮像装置43が設置されている。また、後段の焦点制御用光路上には、ビームスプリッタ27bで反射された試料Sの光像の結像面に対応する位置に、撮像装置44が設置されている。撮像装置43、44は、それぞれ2次元の画像を取得可能なCCDカメラからなる。
CCDカメラ43、44は、ビームスプリッタ27a、27bで分岐された光像による画像を取得する第1、第2撮像手段であり、これらのカメラ43、44によって、本実施形態における焦点制御用撮像手段が構成されている。すなわち、図15に示した顕微鏡装置では、これらのCCDカメラ43、44によって取得される試料Sの2次元の画像を用いて、試料Sを光検出器41によって撮像する際の焦点制御情報の取得、及び得られた焦点制御情報に基づく焦点制御が行われる。
具体的には、焦点制御用撮像手段の第1撮像手段であるCCDカメラ43は、その撮像面が光路に直交するxz面と略一致するように配置されている。また、ビームスプリッタ27aとカメラ43との間で撮像面に対して所定位置に、光路長変更部材43aが設置されている。光路長変更部材43aは、試料Sからの光を透過する光透過材料により、z軸方向に沿って厚さが変化していくウエッジ形状に形成されている。このとき、CCDカメラ43の撮像面内において、z軸方向を変化方向として、試料Sからカメラ43へと光が導かれる導光光学系20での光路長がz軸方向に沿って変化するようになっている。
また、焦点制御用撮像手段の第2撮像手段であるCCDカメラ44は、その撮像面が光路に直交するxz面と略一致するように配置されている。また、ビームスプリッタ27bとカメラ44との間で撮像面に対して所定位置に、光路長変更部材44aが設置されている。光路長変更部材44aは、試料Sからの光を透過する光透過材料により、z軸方向に沿うとともに光路長変更部材43aとは逆方向に厚さが変化していくウエッジ形状に形成されている。このとき、CCDカメラ44の撮像面内において、z軸方向を変化方向として、試料Sからカメラ44へと光が導かれる導光光学系20での光路長がz軸方向に沿うとともにカメラ43とは逆方向に変化するようになっている。
これらの試料ステージ15、導光光学系20、光検出器41、及びCCDカメラ43、44に対し、画像取得制御部46、及び焦点制御部47が設けられている。画像取得制御部46は、試料Sの画像の取得、及び試料Sに対する撮像位置の設定を制御することによって、試料Sの画像取得動作を制御する制御手段である。具体的には、画像取得制御部46は、光検出器41による画像の取得を制御する。また、制御部46は、XYステージ駆動部16を介して試料ステージ15を駆動制御することにより、試料ステージ15上に載置された試料Sで顕微鏡光学系の光軸上にある撮像位置を設定または変更する。
焦点制御部47は、CCDカメラ43、44によって取得された画像について所定の解析方法で解析を行う。そして、その解析結果に基づいて、光検出器41によって試料Sを撮像する際の焦点制御情報を取得する。あるいはさらに、焦点制御部47は、取得された焦点制御情報に基づいて、光検出器41による撮像の焦点を制御する。本実施形態においては、焦点制御部47は、ピエゾ駆動部23を介してピエゾアクチュエータ22を駆動制御して対物レンズ21のz軸方向の位置を調整することにより、撮像の焦点制御を行う。
ここで、焦点制御用撮像手段であるカメラ43、44では、上記したようにそれぞれ焦点制御用光路の光軸に対して前方側にウエッジ形状の光路長変更部材43a、44aが配置されている。このため、CCDカメラ43、44によって取得される2次元の画像は、CCDカメラ33、34を傾けて配置する図1に示した構成と同様に、それぞれz軸方向に沿って焦点位置からのずれが変化する画像となる。このような所定の変化方向に沿って焦点位置からのずれが変化する画像を、焦点制御部47において解析することにより、撮像の焦点のずれ、焦点調整の必要性の有無、焦点を合わせるために必要な補正量などについての焦点制御情報が得られる。さらに、カメラ43、44によって取得される画像は、焦点位置からのずれが変化する方向が互いに逆方向となる。このような2種類の画像を用いることにより、焦点制御情報を精度良く求めることが可能となる。
本実施形態による顕微鏡装置の効果について説明する。
図15に示した顕微鏡装置においては、画像取得の対象となる試料Sに対して、焦点制御に用いられる撮像手段として、2次元の画像を取得可能なCCDカメラ43、44を用いるとともに、光像が試料Sから導光される光路長が所定方向で変化する撮像条件となるようにそれぞれのカメラ43、44を配置している。このようなカメラ43、44を用いて取得された2次元の画像を解析して焦点制御を行う構成によれば、試料への焦点計測用のレーザ光の照射等が不要となる。したがって、焦点計測部分を含めた顕微鏡装置の全体として、その装置構成や撮像動作を簡単化することができる。
また、上記した装置では、所定の変化方向に沿って互いに逆方向に光路長が変化するように構成された第1撮像手段であるCCDカメラ43、及び第2撮像手段であるCCDカメラ44によって焦点制御用撮像手段を構成している。このような撮像手段によって取得された2種類の画像を用いて焦点計測を行うことにより、試料Sの画像を画像取得用撮像手段である光検出器41によって取得する際の焦点制御情報を精度良く求めることが可能となる。また、このようにして求められた焦点制御情報を用いれば、試料Sの画像を取得する際に焦点制御を好適に行うことが可能となる。
具体的には、上記構成では、z軸方向を変化方向として互いに逆方向に光路長が変化するように光路長変更部材43a、44aが設置された2つのCCDカメラ43、44を、焦点制御情報の取得に用いている。このように、逆方向に光路長が変化する2つの撮像装置を用いて焦点計測を行うことにより、試料S自体のコントラストパターンが不均一な場合においても、その影響を低減して好適に焦点制御を行うことができる。
また、焦点制御に用いられる撮像装置を光軸に対して傾いた状態で設置する図1の構成に対し、本構成では、撮像装置と光路長変更部材とを組み合わせて用いることによって焦点計測を行っている。このような構成によっても、撮像の焦点制御を好適に実現することが可能である。一般には、焦点制御用撮像手段を構成する第1、第2撮像手段は、それぞれの光路上に、その撮像面内において所定の変化方向に沿って導光光学系での光路長が変化するように構成、配置されていれば良い。
特に、光路長変更部材を用いる構成では、撮像装置を傾けて配置する必要がなく顕微鏡へのマウントが簡単になるという利点がある。また、CCDカメラの撮像面に対して斜めに光が入射したときに、画素の不均一性に起因する固定パターンノイズが顕著となる場合があるが、光軸に対して垂直に撮像装置を配置する上記構成では、そのようなノイズの問題は発生しない。
また、試料S上での光軸方向の変化は撮像面上では倍率の自乗となるため、撮像装置を傾ける構成では制御可能な焦点位置の範囲に限界がある。これに対して、光路長変更部材を用いる構成では、制御しようとする焦点位置の範囲に合わせて光路長変更部材の形状を選択することが可能である。なお、このように光路長変更部材を用いた場合の光路長(光学距離)の差Δxは、変更部材のガラスなどの厚みd、及び屈折率nからΔx=d(n−1)/nと求められる。
また、本実施形態においては、焦点制御用撮像手段を構成するCCDカメラ43、44について、上記したように所定の変化方向に沿って互いに逆方向に光路長が変化するように構成している。これにより、取得される焦点制御情報の精度を向上することができる。この焦点制御用撮像手段の第1撮像手段及び第2撮像手段については、一般には、所定の変化方向に沿って互いに異なる変化率で光路長が変化するように構成すれば良い。そのような構成としては、例えば、同方向であるが互いに異なる変化量で光路長が変化する構成がある。
焦点制御用の撮像装置の前方側に設置される光路長変更部材については、図16の構成例(a)〜(f)に示すように、具体的には様々な形状のものを用いて良い。これらの図16に示す光路長変更部材のうち、図16の構成例(a)は、図15に関して上述した光路長の変化方向に沿って厚さが連続的に変化するウエッジ形状のものである。また、図16の構成例(b)は、厚さが階段状に変化するステップウエッジ形状のものである。また、図16の構成例(c)では、焦点距離が異なる複数のマイクロレンズを変化方向に沿って配列したレンズアレイを、光路長変更部材としている。
また、図16の構成例(d)〜(f)では、厚さが変化する変化量や変化していく方向(厚さの変化率)が異なる複数のウエッジ形状の光路長変更部材を組み合わせて用いる構成を示している。このように複数種類の部材を用いることにより、様々な条件での焦点計測が可能となる。例えば、図16の構成例(e)に示すように、厚さの変化率に相当するウエッジの勾配が小さいウエッジ部材と大きいウエッジ部材とを組み合わせて使用する構成では、ウエッジの勾配に応じて焦点計測の計測範囲及び分解能を選択して、精度良く焦点制御を行うことができる。
この場合、例えば、次のような焦点制御方法が可能である。最初に勾配が大きいウエッジ部材を用いて焦点位置を計測して、低精度で焦点位置を調整する。次に、勾配が小さいウエッジ部材を用いて高精度で焦点位置を調整する。このような制御方法では、画像取得の開始時などにおいて、焦点位置の設定を高速かつ簡単に行うことができる。
あるいは、画像取得中に勾配が小さいウエッジ部材を用いて焦点位置の調整を行う。そして、焦点位置が計測されない場合に、勾配が大きいウエッジ部材を用いて焦点位置を計測して、低精度で焦点位置を調整する。さらに、再び勾配が小さいウエッジ部材を用いて高精度で焦点位置を調整する。このような制御方法では、画像取得の対象となる試料が厚さの変化の大きい試料である場合にも好適に焦点制御を実現することができる。
また、顕微鏡が複数の倍率に設定可能な構成である場合には、複数の倍率のそれぞれに対応した勾配のウエッジ部材を設けておくことが好ましい。これにより、顕微鏡の倍率を変更する場合にも焦点計測部分の光学的、機構的な変更が不要な構成の顕微鏡装置とすることができる。
なお、光路長変更部材を用いる構成では、変更部材は、撮像装置に密着させて直接取り付けるか、または多少の距離をあけて配置しても良い。また、光路長変更手段としては、光を透過する光路長変更部材以外の光学素子を用いても良い。また、図15に示した顕微鏡装置においても、その具体的な焦点制御方法については、図1に示した顕微鏡装置に関して上述したものと同様である。
また、撮像装置の前方側に光路長変更部材を配置することによって光路長を変化させる構成では、2つの撮像装置を用いる図15の構成に限らず、例えば図16の構成例(d)に示したように、厚さの変化方向が逆方向となる2種類の光路長変更部材を1つの撮像装置に対して設ける構成を用いることが可能である。この場合、焦点制御用撮像手段を単一の撮像装置を用いて構成して、顕微鏡装置の構成を簡単化することができる。
すなわち、焦点制御用撮像手段を構成する第1撮像手段を、撮像装置の撮像面の第1撮像領域に対して所定位置に、所定の変化方向に沿って光路長が変化するように設置された第1光路長変更手段を用いて構成する。また、焦点制御用撮像手段を構成する第2撮像手段を、撮像装置の撮像面の第2撮像領域に対して所定位置に、上記変化方向に沿うとともに第1光路長変更手段とは異なる変化率、好ましくは逆方向に光路長が変化するように設置された第2光路長変更手段を用いて構成する。このように顕微鏡装置を構成することにより、図15に示した構成と同様の焦点制御を実行することができる。
また、上記した各実施形態では、導光光学系20に光分岐手段であるビームスプリッタを配置し、ビームスプリッタによって分岐された画像取得用光路、焦点制御用光路に対してそれぞれ画像取得用撮像手段、焦点制御用撮像手段を設置している。これに対して、導光光学系20に光分岐手段を配置せず、同一の光路を画像取得用光路及び焦点制御用光路として用いる構成とすることも可能である。
この場合、同一の撮像装置を画像取得用撮像手段及び焦点制御用撮像手段として用いる構成とすることができる。一般には、画像取得用撮像手段を、焦点制御用撮像手段に含まれる一の撮像装置によって構成すれば良い。
図17は、本発明による顕微鏡装置の第3実施形態の構成を示すブロック図である。本実施形態において、照射光源10、集光レンズ11、試料ステージ15、及びXYステージ駆動部16については、図1に示した構成と同様である。
試料Sに対し、試料ステージ15の上方に導光光学系20が設けられている。本実施形態においては、導光光学系20は、対物レンズ21と、対物レンズ21の後段に配置された結像レンズ28とを有している。図17においては、対物レンズ21からの光が結像レンズ28を通過して結像される光路が、試料Sの画像取得に用いられる画像取得用光路、及び試料Sを撮像する際の焦点制御に用いられる焦点制御用光路に共用されている。
対物レンズ21に対して、対物レンズ21をz軸方向に駆動するピエゾアクチュエータ22が設けられている。また、ピエゾアクチュエータ22は、ピエゾ駆動部23によって駆動制御されている。本顕微鏡装置では、このピエゾアクチュエータ22を用いて対物レンズ21のz軸方向の位置を変えることにより、試料Sの画像取得における撮像の焦点が調整可能になっている。
画像取得用光路及び焦点制御用光路として共用される光路上には、結像レンズ28を通過した試料Sの光像の結像面に対応する位置に、撮像装置51が設置されている。撮像装置51は、2次元の画像を取得可能なCCDカメラからなる。本実施形態においては、このカメラ51により、試料Sの画像の取得に用いられる画像取得用撮像手段、及び焦点制御に用いられる焦点制御用撮像手段が構成されている。すなわち、図17に示した顕微鏡装置では、このカメラ51によって取得される試料Sの2次元の画像を用いて、試料Sを撮像する際の焦点制御情報の取得、及び得られた焦点制御情報に基づく焦点制御が行われる。
具体的には、CCDカメラ51は、撮像面が光路に直交するxy面と略一致するように配置されている。また、その撮像面には、x軸方向について第1撮像領域及び第2撮像領域の2つの撮像領域が設定されている。そして、その第1撮像領域に対して所定位置に、y軸方向に沿って厚さが変化していくウエッジ形状の第1光路長変更部材51aが設置されることにより、焦点制御用撮像手段の第1撮像手段が構成されている。このとき、カメラ51の撮像面の第1撮像領域内において、y軸方向を変化方向として、試料Sからカメラ51へと光が導かれる導光光学系20での光路長がy軸方向に沿って変化するようになっている。
また、カメラ51の第2撮像領域に対して所定位置に、y軸方向に沿うとともに第1光路長変更部材51aとは逆方向に厚さが変化していくウエッジ形状の第2光路長変更部材51bが設置されることにより、焦点制御用撮像手段の第2撮像手段が構成されている。このとき、カメラ51の撮像面の第2撮像領域内において、y軸方向を変化方向として、試料Sからカメラ51へと光が導かれる導光光学系20での光路長がy軸方向に沿うとともに第1撮像領域とは逆方向に変化するようになっている。
また、CCDカメラ51の前方側に設置された上記した光路長変更部材51a、51bに対し、駆動モータ52が設けられている。この駆動モータ52は、光路長変更部材51a、51bを、カメラ51の撮像面に対して光路上にある位置、及び光路から外れた位置の間で駆動する駆動手段である。駆動モータ52により光路長変更部材51a、51bを光路上に配置した状態では、カメラ51は焦点制御用撮像手段として機能する。一方、駆動モータ52により光路長変更部材51a、51bを光路外に配置した状態では、カメラ51は画像取得用撮像手段として機能する。なお、図17においては、光路長変更部材51a、51bが光路上に配置された状態を示している。
これらの試料ステージ15、導光光学系20、CCDカメラ51、及び駆動モータ52に対し、画像取得制御部56、及び焦点制御部57が設けられている。画像取得制御部56は、試料Sの画像の取得、試料Sに対する撮像位置の設定を制御する。また、本実施形態においては、画像取得制御部56は、駆動モータ52による光路長変更部材51a、51bの駆動を制御する。これにより、光路長変更部材51a、51bが光路上に配置された焦点計測モード、及び光路外に配置された画像取得モードが切り換えられる。
焦点制御部57は、変更部材51a、51bが光路上に配置された状態でCCDカメラ51によって取得された画像について所定の解析方法で解析を行う。そして、その解析結果に基づいて、変更部材51a、51bが光路外に配置された状態でカメラ51によって試料Sを撮像する際の焦点制御情報を取得する。あるいはさらに、焦点制御部57は、取得された焦点制御情報に基づいて、カメラ51による撮像の焦点を制御する。
ここで、カメラ51の第1、第2撮像領域では、上記したようにそれぞれウエッジ形状の光路長変更部材51a、51bが配置されている。このため、カメラ51の第1、第2撮像領域でそれぞれ取得される2次元の画像は、図1及び図15に示した構成と同様に、y軸方向に沿って焦点位置からのずれが変化する画像となる。このような所定の変化方向に沿って焦点位置からのずれが変化する画像を、焦点制御部57において解析することにより、撮像の焦点のずれ、焦点調整の必要性の有無、焦点を合わせるために必要な補正量などについての焦点制御情報が得られる。さらに、カメラ51の第1、第2撮像領域で取得される画像は、焦点位置からのずれが変化する方向が互いに逆方向となる。このような2種類の画像を用いることにより、焦点制御情報を精度良く求めることが可能となる。
本実施形態による顕微鏡装置の効果について説明する。
図17に示した顕微鏡装置においては、画像取得の対象となる試料Sに対して、焦点制御に用いられる撮像手段として、2次元の画像を取得可能なカメラ51の第1、第2撮像領域を用いるとともに、光像が試料Sから導光される光路長が所定方向で変化する撮像条件となるようにそれぞれの撮像領域に対して光路長変更部材51a、51bを設置している。このようなカメラ51を用いて取得された2次元の画像を解析して焦点制御を行う構成によれば、試料への焦点計測用のレーザ光の照射等が不要となる。したがって、焦点計測部分を含めた顕微鏡装置の全体として、その装置構成や撮像動作を簡単化することができる。
また、上記した装置では、第1、第2撮像領域の2つの撮像領域が設定されたCCDカメラ51によって焦点制御用撮像手段を構成している。このような撮像領域で取得された2種類の画像を用いて焦点計測を行うことにより、試料Sの画像を取得する際の焦点制御情報を精度良く求めることが可能となる。また、このようにして求められた焦点制御情報を用いれば、試料Sの画像を取得する際に焦点制御を好適に行うことが可能となる。
また、上記構成では、単一のCCDカメラ51を、画像取得用撮像手段及び焦点制御用撮像手段として共用している。このような構成によれば、別個に撮像装置を設ける構成と比べて、顕微鏡装置の構成を簡単化することができる。
図17に示した顕微鏡装置における焦点制御方法について説明する。図18は、焦点制御方法の一例を示すフローチャートである。なお、以下に説明する焦点制御、光路長変更部材の駆動、及び試料の画像取得は、図17に示した構成において画像取得制御部56及び焦点制御部57によって行われる。また、焦点制御における画像の具体的な解析方法については、図3〜図5に示した焦点制御方法と同様である。
まず、CCDカメラ51に対して駆動モータ52によって光路長変更部材51a、51bを駆動し、変更部材51a、51bを光路上の位置に挿入して、焦点制御情報取得のための焦点計測モードの状態とする。また、XYステージ駆動部16によって試料ステージ15を駆動し、照射光源10及び対物レンズ21による顕微鏡光学系の光軸上となる計測位置が最初の計測位置となるように試料Sを移動する(ステップS601)。
次に、設定された計測位置について、カメラ51によって取得された画像を解析して焦点位置を計測し、取得された焦点制御情報を記憶する(S602)。制御情報取得を終了したら、光軸上の計測位置が次の計測位置となるように試料Sを移動する(S603)。そして、すべての計測位置について焦点計測を完了したかどうかを判断し(S604)、完了していなければ、焦点計測のステップS602、S603を繰り返す。一方、焦点計測を完了していれば、焦点計測作業を終了する。
続いて、駆動モータ52によって光路長変更部材51a、51bを駆動し、変更部材51a、51bを光路上の位置から外して、試料Sの画像取得のための画像取得モードの状態とする。また、XYステージ駆動部16によって試料ステージ15を駆動して、光軸上の計測位置が最初の撮像位置となるように試料Sを移動する(S605)。
次に、設定された撮像位置について、先に取得されている焦点制御情報を参照して焦点制御を行うとともに、カメラ51によって試料Sの画像を取得、記憶する(S606)。画像取得を終了したら、光軸上の撮像位置が次の撮像位置となるように試料Sを移動する(S607)。そして、すべての撮像位置について試料Sの画像取得を完了したかどうかを判断し(S608)、完了していなければ、画像取得のステップS606、S607を繰り返す。一方、画像取得を完了していれば、画像取得作業を終了する。
以上のような焦点制御方法により、図17に示した構成の顕微鏡装置において、試料Sの画像取得と、撮像の焦点制御とを好適に実行することができる。なお、上記した方法において、画像取得時に設定される試料Sの撮像位置は、焦点制御情報の適用のため、焦点計測時の計測位置と同一の位置とすることが好ましい。また、上記した方法では、試料Sの全体で焦点計測を完了した後に画像取得を行っているが、試料Sを複数の領域に分け、領域毎に焦点計測、及び画像取得を交互に行っても良い。あるいは、試料S上において適宜選択された複数の撮像領域に対して焦点計測を行うとともに、得られた複数の焦点制御情報を利用し、焦点計測を未実行の撮像領域について焦点制御情報を補間処理することによって、撮像領域全体についての焦点制御情報のマップを作成しても良い。
図19は、本発明による顕微鏡装置の第4実施形態の構成を示すブロック図である。本実施形態において、照射光源10、集光レンズ11、試料ステージ15、XYステージ駆動部16、ピエゾアクチュエータ22、ピエゾ駆動部23、CCDカメラ51、光路長変更部材51a、51b、駆動モータ52、画像取得制御部56、及び焦点制御部57については、図17に示した構成と同様である。
試料Sに対し、試料ステージ15の上方に導光光学系20が設けられている。本実施形態においては、導光光学系は、対物レンズ21と、対物レンズ21の後段に配置された結像レンズ29a、29bとを有している。また、これらの結像レンズ29a、29bは、光軸に垂直な方向に連結されるとともに、駆動モータ29cによって光路上にあるレンズを切り換え可能に構成されている。また、駆動モータ29cによるレンズ29a、29bの駆動は、画像取得制御部56によって制御されている。
ここで、試料S上での光軸方向の変化は撮像面上では倍率の自乗となるため、画像取得に必要な結像レンズが高い倍率の場合、焦点計測に必要な光路長変更部材でのウエッジが厚くなり、製造上の問題または変更部材での全反射の問題などを生じる場合がある。これに対して、上記構成のように倍率の異なる結像レンズ29a、29bを切り換え可能な構成とし、焦点計測時には低い倍率のレンズを用いることにより、画像取得時の倍率に影響されることなく好適に焦点計測を行うことができる。
図20は、本発明による顕微鏡装置の第5実施形態の構成を示すブロック図である。本実施形態において、照射光源10、集光レンズ11、試料ステージ15、XYステージ駆動部16、導光光学系20、ピエゾアクチュエータ22、ピエゾ駆動部23、CCDカメラ51、画像取得制御部56、及び焦点制御部57については、図17に示した構成と同様である。
本実施形態においては、CCDカメラ51は、その撮像面において、x軸方向について画像取得に用いられる画像取得領域、及び焦点計測に用いられる焦点計測領域の2つの撮像領域が設定されている。また、上記した2つの撮像領域のうちの焦点計測領域には、さらに、x軸方向について第1撮像領域及び第2撮像領域の2つの撮像領域が設定されている。また、焦点計測領域の第1、第2撮像領域に対し、図17に示した光路長変更部材51a、51bと同様の光路長変更部材53a、53bが設置されている。
このような構成において、CCDカメラ51の画像取得領域は、画像取得用撮像手段として機能する。また、光路長変更部材53a、53bが設けられた焦点計測領域は、焦点制御用撮像手段として機能する。このような構成では、光路長変更部材53a、53bを駆動するための駆動モータは不要である。また、カメラ51の画像取得領域及び焦点計測領域を利用することにより、試料Sの画像取得と、撮像の焦点制御とを同時に行うことも可能である。
図21は、CCDカメラ及び光路長変更部材の構成の例を示す図である。図21の構成例(a)に示す構成では、カメラ51の画像取得領域511及び焦点計測領域512のうち、焦点計測領域512に対して、ウエッジ形状の上記した光路長変更部材53a、53bが設置されている。
また、図21の構成例(b)に示す構成では、カメラ51の画像取得領域511及び焦点計測領域512のうち、焦点計測領域512に対して、ウエッジ形状の上記した光路長変更部材53a、53bが設置されている。また、画像取得領域511に対して、光路長調整用の板状のガラス部材53cが設置されている。図21の構成例(a)では、光路長変更部材53a、53bの中心位置での厚さによる光路長(光学距離)の増加分について、画像取得において光路長を補正する必要がある。これに対して、構成例(b)では、光路長調整部材53cを設けていることにより、このような補正が不要となる。
図20に示した顕微鏡装置における焦点制御方法について説明する。図22は、焦点制御方法の一例を示すフローチャートである。ここでは、試料の画像取得と、撮像の焦点制御とを別個に行う場合の制御方法を示している。
まず、XYステージ駆動部16によって試料ステージ15を駆動し、照射光源10及び対物レンズ21による顕微鏡光学系の光軸上となる計測位置が最初の計測位置となるように試料Sを移動する(ステップS701)。
次に、設定された計測位置について、光路長変更部材53a、53bが設置されたカメラ51の焦点計測領域を用いて取得された画像を解析して焦点位置を計測し、取得された焦点制御情報を記憶する(S702)。制御情報取得を終了したら、光軸上の計測位置が次の計測位置となるように試料Sを移動する(S703)。そして、すべての計測位置について焦点計測を完了したかどうかを判断し(S704)、完了していなければ、焦点計測のステップS702、S703を繰り返す。一方、焦点計測を完了していれば、焦点計測作業を終了する。
続いて、XYステージ駆動部16によって試料ステージ15を駆動して、光軸上の計測位置が最初の撮像位置となるように試料Sを移動する(S705)。
次に、設定された撮像位置について、先に取得されている焦点制御情報を参照して焦点制御を行うとともに、カメラ51の画像取得領域を用いて試料Sの画像を取得、記憶する(S706)。画像取得を終了したら、光軸上の撮像位置が次の撮像位置となるように試料Sを移動する(S707)。そして、すべての撮像位置について試料Sの画像取得を完了したかどうかを判断し(S708)、完了していなければ、画像取得のステップS706、S707を繰り返す。一方、画像取得を完了していれば、画像取得作業を終了する。
図23は、焦点制御方法の他の例を示すフローチャートである。ここでは、試料の画像取得と、撮像の焦点制御とを同時に行う場合の制御方法を示している。
まず、XYステージ駆動部16によって試料ステージ15を駆動し、照射光源10及び対物レンズ21による顕微鏡光学系の光軸上となる撮像位置が最初の撮像位置となるように試料Sを移動する(ステップS801)。この例では、画像取得及び焦点制御を同時に行うため、この撮像位置が焦点計測の計測位置となる。
次に設定された撮像位置について、光路長変更部材53a、53bが設置されたカメラ51の焦点計測領域を用いて取得された画像を解析して焦点位置を計測し、焦点制御情報を取得する(S802)。さらに、取得された焦点制御情報を参照して焦点制御を行うとともに、カメラ51の画像取得領域を用いて試料Sの画像を取得する(S803)。画像取得を終了したら、光軸上の撮像位置が次の撮像位置となるように試料Sを移動する(S804)。そして、すべての撮像位置について試料Sの画像取得を完了したかどうかを判断し(S805)、完了していなければ、画像取得のステップS802〜S804を繰り返す。一方、画像取得を完了していれば、画像取得作業を終了する。
以上のような焦点制御方法により、図20に示した構成の顕微鏡装置において、試料Sの画像取得と、撮像の焦点制御とを好適に実行することができる。また、このような構成では、上記したように画像取得及び焦点制御を別個に、または同時に実行することが可能である。
本発明による顕微鏡装置は、上記した実施形態及び構成例に限られるものではなく、様々な変形が可能である。例えば、上記した各実施形態では、顕微鏡装置を透過型の顕微鏡として構成しているが、反射型の顕微鏡、または蛍光顕微鏡に対しても同様に焦点制御を行うことが可能である。
図24は、本発明による顕微鏡装置の第6実施形態の構成を示すブロック図である。本顕微鏡装置は、図1に示した顕微鏡装置の変形例である。具体的には、試料ステージ15の下方に照射光源10及び集光レンズ11を設置した図1に示した透過型の構成に対し、図24に示す顕微鏡装置は、照射光源10及び集光レンズ11に代えて照射光源80、レンズ81、及び照射光学系85を設置した蛍光顕微鏡の構成となっている。
すなわち、図24においては、導光光学系20において、前段のビームスプリッタ27aと、対物レンズ21との間に、ダイクロイックミラー86が配置されている。ダイクロイックミラー86は、照射光源80からレンズ81を介して入射される光を反射して励起光として試料Sへと照射するとともに、試料Sで発生した蛍光をビームスプリッタ27aへと通過させる。また、ダイクロイックミラー86と照射光源80との間、ダイクロイックミラー86と対物レンズ21との間には、それぞれ励起フィルタ87、カットフィルタ88が配置され、これらのダイクロイックミラー86、励起フィルタ87、及びカットフィルタ88によって照射光学系85(Fluorescence filter cube)が構成されている。
このような構成の蛍光顕微鏡においても、上記した透過型の顕微鏡の場合と同様に焦点制御を行うことができる。また、顕微鏡を反射型の構成とする場合には、図24の構成において、ダイクロイックミラー86をハーフミラーに置き換え、フィルタ87、88を取り除けば良い。
なお、撮像装置の前方側に光路長変更部材を配置することによって光路長を変化させる構成では、上記したように、例えば図16の構成例(d)に示したように、厚さの変化方向が逆方向となる2種類の光路長変更部材を1つの撮像装置に対して設ける構成を用いることが可能である。この場合、撮像装置の撮像面の第1撮像領域に対して、所定の変化方向に沿って光路長が変化する第1光路長変更部材を配置し、撮像面の第2撮像領域に対して、上記変化方向に沿うとともに異なる変化率、好ましくは逆方向に光路長が変化する第2光路長変更部材を配置する構成とする。
このような構成では、通常、第1撮像領域、及び第2撮像領域に入射する光像が異なるものとなる。これに対して、焦点制御用の画像を取得するための光像を、第1光路長変更部材及び撮像装置の撮像面の第1撮像領域への第1光路、及び第2光路長変更部材及び撮像装置の撮像面の第2撮像領域への第2光路へと分岐する光分岐光学系を備えることが好ましい。
図25は、焦点制御用の撮像装置に対する光分岐光学系について示す図である。図25の構成(a)では、焦点制御用の画像を取得するための撮像装置100の第1撮像領域101に対して第1光路長変更部材111を配置し、第2撮像領域102に対して第1光路長変更部材111とは逆方向に光路長が変化する第2光路長変更部材112を配置している。この場合、上記したように、撮像装置100の2つの撮像領域101、102に入射する光像が異なるものとなる。
一方、図25の構成(b)では、光像を第1撮像領域101へと反射する50%反射ミラー121、及び光像を第2撮像領域102へと反射する100%反射ミラー122を有する光分岐光学系120を設けている。これにより、光分岐光学系120で分岐された同一の光像が撮像領域101、102に入射することとなり、焦点制御の精度を向上することができる。
なお、この構成(b)では、光分岐光学系120の前段に100%反射ミラー125を配置している。このような反射ミラー125を設けることにより、撮像装置100へと入射される光像の視野を絞って、撮像領域101、102間での光像の重畳等を防止することができる。ただし、このような反射ミラー125については、不要であれば設けなくても良い。また、この構成(b)では、反射ミラー122と第2撮像領域102との間に光路長調整部材126を設置して、光路長の補正を行っている。また、光分岐光学系としては、図25の構成(c)に示す光分岐プリズム130等を用いても良い。
また、上記した構成では、撮像領域101、102で取得された2つの計測対象画像X’,X’に対して求められた総和T,Tについて、それらの輝度差を補正するため、TをT×(X’の平均/X’の平均)に置き換えることが好ましい(図5のフローチャート参照)。
本発明による顕微鏡装置は、試料の画像を取得する際の焦点制御を好適に行うことが可能な顕微鏡装置として利用可能である。すなわち、本発明の顕微鏡装置によれば、所定の変化方向に沿って互いに異なる変化率で光路長が変化するように構成され、2次元の画像を取得可能な第1撮像手段及び第2撮像手段を有する焦点制御用撮像手段を設け、これらの撮像手段によって取得された2種類の画像を用いて焦点計測を行うことにより、試料の画像を取得する際の焦点制御情報を精度良く求めて、焦点制御を好適に行うことが可能となる。

Claims (14)

  1. 試料の光像を焦点制御に用いられる焦点制御用光路へと導く導光光学系と、
    前記焦点制御用光路上に設置され、前記焦点制御用光路へと導かれた前記光像による2次元の画像を取得する焦点制御用撮像手段と、
    前記焦点制御用撮像手段によって取得された画像を解析し、その解析結果に基づいて、前記試料を撮像する際の焦点制御情報を取得する焦点制御手段とを備え、
    前記焦点制御用撮像手段は、
    撮像面内において所定の変化方向に沿って前記導光光学系での光路長が変化するように構成された第1撮像手段と、
    撮像面内において前記変化方向に沿うとともに前記第1撮像手段とは異なる変化率で前記光路長が変化するように構成された第2撮像手段と
    を有することを特徴とする顕微鏡装置。
  2. 前記導光光学系は、前記試料の光像を焦点制御に用いられる前記焦点制御用光路、及び前記試料を撮像する際に用いられる画像取得用光路へと導くように構成され、
    前記画像取得用光路上に設置され、前記画像取得用光路へと導かれた前記光像による1次元または2次元の画像の取得に用いられる画像取得用撮像手段と、
    前記画像取得用撮像手段による画像の取得を制御する画像取得制御手段と
    を備えることを特徴とする請求項1記載の顕微鏡装置。
  3. 前記導光光学系は、前記試料の光像を前記画像取得用光路及び前記焦点制御用光路へと分岐する光分岐手段を含み、
    前記画像取得用撮像手段は、前記焦点制御用撮像手段とは別個に構成されることを特徴とする請求項2記載の顕微鏡装置。
  4. 前記導光光学系は、前記焦点制御用光路と同一の光路を前記画像取得用光路として構成され、
    前記画像取得用撮像手段は、前記焦点制御用撮像手段に含まれる一の撮像装置を用いて構成されることを特徴とする請求項2記載の顕微鏡装置。
  5. 前記第1撮像手段及び前記第2撮像手段のそれぞれは、
    前記変化方向に沿って前記光路長が変化するように撮像面が前記焦点制御用光路に対して所定角度で傾いた状態で設置された撮像装置
    を有することを特徴とする請求項1記載の顕微鏡装置。
  6. 前記第1撮像手段及び前記第2撮像手段のそれぞれは、
    撮像装置と、
    前記撮像装置の撮像面に対して所定位置に、前記変化方向に沿って前記光路長が変化するように設置された光路長変更手段と
    を有することを特徴とする請求項1記載の顕微鏡装置。
  7. 前記焦点制御用撮像手段は、単一の撮像装置を有し、
    前記第1撮像手段は、前記撮像装置の撮像面の第1撮像領域に対して所定位置に、前記変化方向に沿って前記光路長が変化するように設置された第1光路長変更手段を用いて構成され、
    前記第2撮像手段は、前記撮像装置の撮像面の第2撮像領域に対して所定位置に、前記変化方向に沿うとともに前記第1光路長変更手段とは異なる変化率で前記光路長が変化するように設置された第2光路長変更手段を用いて構成されている
    ことを特徴とする請求項1記載の顕微鏡装置。
  8. 焦点制御用の画像を取得するための前記光像を、前記第1光路長変更手段及び前記撮像装置の撮像面の前記第1撮像領域への第1光路、及び前記第2光路長変更手段及び前記撮像装置の撮像面の前記第2撮像領域への第2光路へと分岐する光分岐光学系を備えることを特徴とする請求項7記載の顕微鏡装置。
  9. 前記第1光路長変更手段及び前記第2光路長変更手段を、前記撮像装置の撮像面に対して前記焦点制御用光路上にある位置、及び前記焦点制御用光路から外れた位置の間で駆動する駆動手段を備えることを特徴とする請求項7記載の顕微鏡装置。
  10. 前記撮像装置は、その撮像面が、前記第1撮像領域及び前記第2撮像領域を含んで前記焦点制御用撮像手段として機能する焦点計測領域と、前記試料を撮像する際に用いられる画像取得用撮像手段として機能する画像取得領域とを有することを特徴とする請求項7記載の顕微鏡装置。
  11. 前記第1光路長変更手段と前記第2光路長変更手段とは、前記変化方向に沿うとともに互いに逆方向に前記光路長が変化するように設置されていることを特徴とする請求項7記載の顕微鏡装置。
  12. 前記焦点制御手段は、前記焦点制御用撮像手段によって取得された画像における前記変化方向についての画像のコントラスト変化を解析し、その解析結果に基づいて前記焦点制御情報を取得することを特徴とする請求項1記載の顕微鏡装置。
  13. 前記焦点制御手段は、前記焦点制御用撮像手段によって取得された画像から前記変化方向に沿った所定幅の計測対象画像を切り出し、前記計測対象画像、及び前記計測対象画像を前記変化方向と垂直方向にシフトさせたシフト画像の差分絶対値画像によって前記画像のコントラスト変化を解析することを特徴とする請求項12記載の顕微鏡装置。
  14. 前記焦点制御手段は、前記焦点制御用撮像手段によって取得された画像が前記焦点制御情報の取得に適用可能な画像であるかどうかを判断し、適用可能と判断した場合に前記画像を解析し、その解析結果に基づいて前記焦点制御情報を取得することを特徴とする請求項1記載の顕微鏡装置。
JP2006513760A 2004-05-24 2005-05-24 顕微鏡装置 Pending JPWO2005114287A1 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2004153871 2004-05-24
JP2004153871 2004-05-24
PCT/JP2005/009443 WO2005114287A1 (ja) 2004-05-24 2005-05-24 顕微鏡装置

Publications (1)

Publication Number Publication Date
JPWO2005114287A1 true JPWO2005114287A1 (ja) 2008-03-27

Family

ID=35428505

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006513760A Pending JPWO2005114287A1 (ja) 2004-05-24 2005-05-24 顕微鏡装置

Country Status (3)

Country Link
US (3) US7813579B2 (ja)
JP (1) JPWO2005114287A1 (ja)
WO (1) WO2005114287A1 (ja)

Families Citing this family (45)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006293222A (ja) * 2005-04-14 2006-10-26 Olympus Corp 焦点検出装置
JP4917330B2 (ja) * 2006-03-01 2012-04-18 浜松ホトニクス株式会社 画像取得装置、画像取得方法、及び画像取得プログラム
JP4664871B2 (ja) * 2006-07-10 2011-04-06 オリンパス株式会社 自動焦点検出装置
FR2923619B1 (fr) * 2007-11-13 2009-11-20 Thales Sa Dispositif de mesure de defauts d'un instrument d'imagerie a capteur opto-electronique et dispositif de correction le comportant
JP5499732B2 (ja) * 2009-06-23 2014-05-21 ソニー株式会社 生体サンプル像取得装置、生体サンプル像取得方法及び生体サンプル像取得プログラム
PT2531880T (pt) * 2010-02-01 2016-10-31 Illumina Inc Resumo
JP2011180442A (ja) * 2010-03-02 2011-09-15 Sony Corp サンプル像取得装置、サンプル像取得方法及びサンプル像取得プログラム
BR112012029152A8 (pt) 2010-05-18 2018-02-06 Koninklijke Philips Electronics Nv Sistema de formação de imagem de autofoco para um microscópio, método para formação de iimagem de autofoco de um microscópio, meio legível por computador e elemento de programa para formação de imagem de autofoco de um microscópio
EP2390706A1 (en) * 2010-05-27 2011-11-30 Koninklijke Philips Electronics N.V. Autofocus imaging.
CN103038692B (zh) * 2010-06-24 2015-12-16 皇家飞利浦电子股份有限公司 基于差分测量的自动聚焦
JP5626367B2 (ja) * 2011-01-21 2014-11-19 株式会社ニコン 焦点位置維持装置及び顕微鏡
US20120238032A1 (en) 2011-03-18 2012-09-20 International Business Machines Corporation Lab on a chip
US8464076B2 (en) * 2011-03-24 2013-06-11 International Business Machines Corporation Born encrypted optical data
GB201113071D0 (en) * 2011-07-29 2011-09-14 Ffei Ltd Method and apparatus for image scanning
JP5220172B2 (ja) * 2011-08-22 2013-06-26 キヤノン株式会社 画像取得装置、画像取得システム、および対物光学系
JP5848596B2 (ja) * 2011-12-19 2016-01-27 浜松ホトニクス株式会社 画像取得装置及び画像取得装置のフォーカス方法
WO2014112083A1 (ja) 2013-01-17 2014-07-24 浜松ホトニクス株式会社 画像取得装置及び画像取得装置のフォーカス方法
WO2014112085A1 (ja) 2013-01-17 2014-07-24 浜松ホトニクス株式会社 画像取得装置及び画像取得装置のフォーカス方法
EP2845045B1 (en) 2012-05-02 2023-07-12 Leica Biosystems Imaging, Inc. Real-time focusing in line scan imaging
JP2014056078A (ja) * 2012-09-12 2014-03-27 Canon Inc 画像取得装置、画像取得システム及び顕微鏡装置
JP5923026B2 (ja) * 2012-10-31 2016-05-24 浜松ホトニクス株式会社 画像取得装置及び画像取得方法
US20140168402A1 (en) * 2012-12-13 2014-06-19 Vala Sciences, Inc. Continuous-Scanning Image Acquisition in Automated Microscopy Using Reflective Autofocus
CN105008975B (zh) 2013-01-17 2018-06-26 浜松光子学株式会社 图像取得装置以及图像取得装置的聚焦方法
EP3333608B1 (en) 2013-01-17 2021-02-24 Hamamatsu Photonics K.K. Image capturing appartus and focusing method thereof
US9215425B1 (en) * 2013-02-04 2015-12-15 Bruker Nano Inc. Camera-aided focusing in optical metrology
EP2990849B1 (en) 2013-04-26 2020-09-02 Hamamatsu Photonics K.K. Image acquisition device and method and system for creating focus map for specimen
HUE052624T2 (hu) 2013-04-26 2021-05-28 Hamamatsu Photonics Kk Képfelvevõ berendezés és eljárás és rendszer fókuszálási információ szerzésére minta számára
CN105143952B (zh) * 2013-04-26 2018-09-28 浜松光子学株式会社 图像取得装置以及图像取得装置的聚焦方法
JP5986041B2 (ja) * 2013-06-13 2016-09-06 浜松ホトニクス株式会社 画像取得装置及び画像取得装置のフォーカス方法
US8809809B1 (en) * 2013-09-27 2014-08-19 Hong Kong Applied Science and Technology Research Institute Company Limited Apparatus and method for focusing in fluorescence microscope
US20150205088A1 (en) * 2014-01-23 2015-07-23 U&U Engineering Inc. Bevel-axial auto-focusing microscopic system and method thereof
WO2016022359A1 (en) * 2014-08-06 2016-02-11 Cellomics, Inc. Image-based laser autofocus system
WO2016030897A1 (en) * 2014-08-27 2016-03-03 S.D. Sight Diagnostics Ltd System and method for calculating focus variation for a digital microscope
EP3201310B1 (en) * 2014-10-01 2021-02-17 Purdue Research Foundation Microorganism identification
EP3204809B1 (de) * 2014-10-06 2021-04-21 Leica Microsystems (Schweiz) AG Mikroskop
US9921399B2 (en) * 2015-03-31 2018-03-20 General Electric Company System and method for continuous, asynchronous autofocus of optical instruments
EP3353601A4 (en) 2015-09-24 2019-10-02 Leica Biosystems Imaging, Inc. REAL-TIME FOCUSING IN LINE-BUTASTING IMAGING
JP6887751B2 (ja) * 2015-12-25 2021-06-16 大塚電子株式会社 光学特性測定装置
US10712548B2 (en) 2017-06-08 2020-07-14 Microscope International, LLC Systems and methods for rapid scanning of images in digital microscopes
US10444486B2 (en) 2017-09-04 2019-10-15 Microscopes International, Llc Systems and methods for detection of blank fields in digital microscopes
US11112952B2 (en) 2018-03-26 2021-09-07 Microscopes International, Llc Interface for display of multi-layer images in digital microscopy
US11330164B2 (en) * 2020-03-17 2022-05-10 KLA Corp. Determining focus settings for specimen scans
JP2022127536A (ja) * 2021-02-19 2022-08-31 株式会社キーエンス 拡大観察装置、拡大画像観察方法、拡大画像観察プログラム及びコンピュータで読み取り可能な記録媒体並びに記憶した機器
DE112022003975T5 (de) * 2021-08-18 2024-06-27 Onto Innovation Inc. Hochauflösendes bildgebungssystem mit mehreren blickfeldern
CN116893502B (zh) * 2023-07-31 2024-07-16 江苏集萃华科智能装备科技有限公司 一种显微镜用投影裂像图案的光学模组及方法

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS597320A (ja) 1982-07-02 1984-01-14 Nippon Kogaku Kk <Nikon> ピントずれ量の検出装置
JPS6011810A (ja) 1983-06-30 1985-01-22 Minolta Camera Co Ltd 焦点検出装置
JPH03117182A (ja) 1989-09-29 1991-05-17 Sony Corp ビデオカメラ
US5235375A (en) * 1990-04-12 1993-08-10 Olympus Optical Co., Ltd. Focusing position detecting and automatic focusing apparatus with optimal focusing position calculation method
JP2916202B2 (ja) 1990-04-12 1999-07-05 オリンパス光学工業株式会社 合焦位置検出装置
JPH0821961A (ja) 1994-07-08 1996-01-23 Matsushita Electric Ind Co Ltd 顕微鏡の自動焦点装置
JP3390106B2 (ja) 1995-06-06 2003-03-24 株式会社日立国際電気 自動合焦点装置を備えた光学顕微鏡
WO1997025812A1 (fr) * 1996-01-11 1997-07-17 Sony Corporation Dispositif et procede de reglage de la nettete
JPH09230250A (ja) 1996-02-26 1997-09-05 Hitachi Denshi Ltd 光学顕微鏡自動合焦点装置
JPH1096848A (ja) * 1996-09-20 1998-04-14 Olympus Optical Co Ltd 自動焦点検出装置
JP3338322B2 (ja) * 1997-02-25 2002-10-28 三洋電機株式会社 オートフォーカスカメラ
JP3863993B2 (ja) 1998-03-18 2006-12-27 オリンパス株式会社 顕微鏡
JP2000147306A (ja) * 1998-08-31 2000-05-26 Kokusai Electric Co Ltd 波長領域多重光スタ―カプラ、通信局、及び光伝送システム
JP3688185B2 (ja) 2000-05-08 2005-08-24 株式会社東京精密 焦点検出装置及び自動焦点顕微鏡
JP4933706B2 (ja) 2000-09-22 2012-05-16 オリンパス株式会社 顕微鏡
JP2002365517A (ja) * 2001-06-04 2002-12-18 Fuji Photo Optical Co Ltd 撮影レンズのピント状態検出装置
JP4334784B2 (ja) 2001-06-11 2009-09-30 日本放送協会 オートフォーカス装置及びそれを用いた撮像装置
US7232980B2 (en) 2004-05-24 2007-06-19 Hamamatsu Photonics K.K. Microscope system
HUP0401802A2 (en) 2004-09-02 2006-03-28 3D Histech Kft Focusing method object carriers on fast-moving digitalization and object carrier moving mechanics, focusing optic, optical distance-measuring instrument

Also Published As

Publication number Publication date
US8184920B2 (en) 2012-05-22
US20110298914A1 (en) 2011-12-08
US8027548B2 (en) 2011-09-27
US20100328445A1 (en) 2010-12-30
WO2005114287A1 (ja) 2005-12-01
US7813579B2 (en) 2010-10-12
US20050270611A1 (en) 2005-12-08

Similar Documents

Publication Publication Date Title
JPWO2005114287A1 (ja) 顕微鏡装置
JPWO2005114293A1 (ja) 顕微鏡装置
KR102411099B1 (ko) 실시간 오토포커스 스캐닝
RU2710004C1 (ru) Устройство и способы для предиктивного отслеживания фокуса
JP2017194704A (ja) 顕微鏡、およびspim顕微鏡検査方法
US20150301327A1 (en) Image capturing apparatus and image capturing method
JP4322971B2 (ja) 顕微鏡用のオートフォーカス装置
JP2014178474A (ja) デジタル顕微鏡装置、その合焦位置探索方法およびプログラム
JP2010101959A (ja) 顕微鏡装置
JP6027875B2 (ja) 撮像装置及び顕微鏡システム
JP2010256530A (ja) 顕微鏡装置
JP2008268815A (ja) 自動合焦装置
JP2007102102A (ja) 共焦点顕微鏡及び合焦カラー画像の生成方法
JP2013088570A (ja) 顕微鏡装置
JP4878708B2 (ja) 共焦点走査型顕微鏡、その位置合わせ方法、プログラム及び記憶媒体
JP2006030304A (ja) 顕微鏡の焦点検出装置
KR20190063027A (ko) 라인 스캐닝 방식의 공초점 현미경에서의 자동초점조절 방법 및 장치
JP2004078175A (ja) 共焦点顕微鏡
JP2011221280A (ja) バーチャルスライド作成装置およびバーチャルスライド作成方法
WO2021020262A1 (ja) 顕微鏡、顕微鏡で試料を撮像する方法、プログラム、および制御装置
JP3645625B2 (ja) 顕微鏡自動焦点検出方法及び顕微鏡自動焦点検出装置及びそれを用いた顕微鏡
JP4684646B2 (ja) オートフォーカス方法
JP2008070428A (ja) 焦点調節装置およびカメラ
JPH11271623A (ja) 顕微鏡用オートフォーカス装置
JP2003042720A (ja) 高さ測定装置