以下、図面を参照して本発明に係る顕微鏡システムの好適な実施形態について説明する。なお、図面の説明においては同一要素には同一符合を付し重複する説明は省略する。
図1は、本発明に係る顕微鏡システムの一実施形態の概略構成図である。図1に示すように、顕微鏡システム1は、観察対象としての試料Sの光像の取得に利用される透過型の顕微鏡であり、バーチャル顕微鏡で使用されるデジタルスライドとなるべき試料Sの光像の画像データを高解像度で取得するためのものである。以下の説明では、水平方向において互いに直交する2つの方向をX軸方向及びY軸方向とし、水平方向に直交する方向(鉛直方向)をZ軸方向とする。
観察対象としての試料Sは、例えば、生物サンプル、より具体的にはスライドガラスに密封された顕微鏡スライド、例えば病理組織試料などであり、試料ステージ3上に載置されている。試料ステージ3は、例えば、ステッピングモータやアクチュエータを用いて構成されX軸方向及びY軸方向(水平方向)に移動可能なXYステージからなる。この試料ステージ3は、顕微鏡システム1の一部を構成するステージコントローラ(以下、単に「コントローラ」と称す)5によってXY方向に駆動される。そして、試料ステージ3をXY面内で駆動することにより試料Sに対する撮影位置が設定又は変更されることになる。試料ステージ3の下方には、撮影対象となる光像を生成するための光を試料Sへと照射する照射光源7、及び照射光源7からの光を試料Sに集光する集光レンズ9が設置されている。
試料ステージ3の上方(照射光源7と反対側)には、試料S側から順次、対物レンズ11、導光光学系13及び撮像装置15が配置されている。対物レンズ11、導光光学系13及び撮像装置15は、それらの間の間隔及び光軸等が調整された状態で一体に固定されている。
対物レンズ11は、試料Sを透過した光を集光して試料Sの光像を形成する。そして、導光光学系13は、例えば、チューブレンズであって、試料Sの光像を撮像装置15に導光する。対物レンズ11は、Z軸方向(試料ステージ3に垂直な方向)に移動可能なZ軸ステージ17に設けられており、Z軸ステージ17は、コントローラ5に接続されコントローラ5によってZ軸方向に駆動される。Z軸ステージ17は、例えば、ステッピングモータやアクチュエータを用いて構成されている。
このZ軸ステージ17によって対物レンズ11のZ軸方向の位置を変えることにより試料Sの画像取得時の撮影での焦点調整が可能になっている。図1では、対物レンズ11は一つとしているが、例えば、レボルバなどに倍率の異なる複数の対物レンズ11が設けられていることは好適である。この際、Z軸ステージ17はレボルバに取り付けられていればよい。
撮像装置15は、3板式CCDカメラであり、試料Sの光像を、赤色光、緑色光、青色光に対応する画像データとしてそれぞれ取得する。撮像装置15は、試料Sからの光を受け画像データを取得する撮像部19と、撮像部19を制御する撮像制御部21とを有する。撮像装置15は、2次元センサとしての機能と、TDIセンサとしての機能を有している。撮像装置15については後述する。
この撮像装置15とコントローラ5とは、電気的に接続されている。コントローラ5は、前述したように試料ステージ3及びZ軸ステージ17を制御する。顕微鏡システム1では、撮像装置15をTDIセンサとして機能させる場合、すなわち、TDI動作により試料Sの画像を取得する時には、コントローラ5が試料Sを所定の方向に移動させる。そして、コントローラ5は、その移動ステップに対応する信号を外部トリガ信号として撮像装置15に入力する。これにより、撮像装置15は、試料Sの移動に同期して試料Sの画像を取得できることになる。
顕微鏡システム1では、撮像装置15、コントローラ5及び照射光源7に対して制御装置23が設けられている。制御装置23は、例えば、CPU及び必要なメモリ、ハードディスクなどの記憶装置を含むコンピュータである。制御装置23は、撮像装置15による試料Sの画像取得を制御したり、試料Sの画像取得についての合焦点位置を含む焦点情報の取得、及び試料Sの画像取得時における焦点の制御などを行う。更に、撮像装置15で取得された画像のブラックバランス及びホワイトバランスの調整をする。また、制御装置23は、撮像装置15で取得された各色に対応する画像データからカラー画像を再構成する。
この制御装置23に対して入力装置25及び表示装置27が接続されている。入力装置25は、例えば、コンピュータに接続されたキーボードやマウスなどから構成され、顕微鏡システム1における試料Sの画像取得時の動作等に必要な情報、指示の入力等に利用される。また、表示装置27は、例えばコンピュータに接続されたCRTディスプレイや液晶ディスプレイ等から構成され、顕微鏡システム1における画像データ取得に関する必要な情報や画像等の表示利用される。
次に、顕微鏡システム1の特徴部分をなす撮像装置15、及びその撮像装置15を制御して試料Sの画像を取得せしめる制御装置23についてより詳細に説明する。
図2は、撮像装置の概略構成図である。撮像装置15の一部を構成する撮像部19は、モアレ縞を抑制するためのローパスフィルタ31と、ローパスフィルタ31を透過した光のうち赤外線を更にカットするIRフィルタ33とを有する。また、撮像部19は、IRフィルタ33を透過した入射光L10を3つの色成分の緑色光L11、赤色光L12及び青色光L13に分解する色分解光学系35を有する。
色分解光学系35は、IRフィルタ33側から順に配置された3つのプリズム(ダイクロイックプリズム)37,39,41から構成されている。そして、色分解光学系35の一部を構成するプリズム37のうち、プリズム39と対面する面上には赤色領域の波長の光成分を反射するダイクロイック膜D1が形成されており、プリズム39とプリズム41との間には、青色領域の波長の光成分を反射するダイクロイック膜D2が形成されている。ダイクロイック膜D1,D2は、何れも緑色領域の波長の光成分を透過させる。
従って、プリズム37が有しIRフィルタ33と対面する受光面F10から入射した入射光L10のうち緑色光L11は色分解光学系35内を直進し、プリズム41が有する光出射面F11から出力される。また、赤色光L12は、ダイクロイック膜D1で反射した後、プリズム37内で更に反射してからプリズム37が有する光出射面F12から出力される。更に、青色光L13は、ダイクロイック膜D1を透過した後にダイクロイック膜D2によって反射し、プリズム39内で更に反射してからプリズム39が有する光出射面F13から出力される。
各光出射面F11,F12,F13上には、各色成分の光の分光特性を整えるためのトリミングフィルタ43,43,43を介して固体撮像素子としてのCCD(Charge Coupled Device)素子45,45,45が設けられており、各CCD素子45は、撮像制御部21に接続されている。
図3は、CCD素子の構成の一例を示すブロック図である。CCD素子45は、フレーム転送型のものであって、受光部47と、蓄積部49,51と、電荷転送部53,55とを有する。
受光部47は、光電変換機能を有し光入射量に応じて電荷を生成する複数の画素Pが2次元アレイ状に配置されたものである。図中のハッチング部は、複数の画素のうちの一つの画素Pを模式的に示したものである。以下の説明では、受光部47における画素Pの配列方向のうち、図中、右から左に向かう方向がX軸方向に対応し、図中、下から上に向かう方向がY軸方向に対応しているものとする。また、CCD素子45について説明する際、X軸方向を水平方向とも称し、Y軸方向を垂直方向とも称す。
より具体的に受光部47の構成について説明する。受光部47は、X軸方向に4096セル、Y軸方向に70ラインで、4096×70画素から構成されており、Y軸方向を電荷転送方向とした複数の垂直シフトレジスタを構成している。なお、Y軸方向(垂直方向)については、上下のそれぞれ3ラインずつがダミー領域47bとされ、内側の64ラインが光検出に用いられる領域47aとされている。
受光部47の各画素Pは、2相駆動されるようになっており、CCD素子45が有する入力端子φ1及び入力端子φ2に電気的に接続されている。各画素Pでは、入力端子φ1,φ2から入力される信号がHighレベルのときに入力端子φ1,φ2に接続された各電極に対応する領域のポテンシャルが深くなり、入射光量に応じた電荷が蓄積される。そして、入力端子φ1,φ2に入力する第1駆動クロック信号及び第2駆動クロック信号のタイミングを変えることによって、上から下、又は、下から上に向かって電荷を転送することが可能となっている。
また、受光部47には、ブルーミングを抑制するためのブルーミング抑制機構(不図示)が2つの画素Pに対して1つ配置されている。そして、CCD素子45が有する入力端子φ3に入力されるブルーミング抑制クロック信号に応じてブルーミングを抑制できるようになっている。
この受光部47の上下方向には、受光部47を挟むように蓄積部49,51が設けられている。蓄積部49(51)は、受光部47と同数の画素が同様に配置されており、受光部47の各画素Pで生成された電荷による画像データを読み出すための読出部として、受光部47と電荷転送部53(55)との間に配置されている。この蓄積部49,51は、不透明な金属などによってマスクされ光の検出には用いられず、受光部47の各画素Pで生成された電荷の蓄積、及び電荷転送部53,55への電荷の転送に用いられる。
蓄積部49、51を構成する各画素は、単相駆動されるようになっており、CCD素子45が有する入力端子φ4,φ5に電気的に接続されている。そして、入力端子φ4,φ5に入力される第3駆動クロック信号によって駆動される。
蓄積部49,51を構成する各画素は、入力端子φ4,φ5から入力される信号がHighレベルのときに入力端子φ4,φ5に接続された電極に対応する領域のポテンシャルが深くなり、電荷を蓄積できる。そして、入力される信号がHighレベルからLowレベルに変化するときにライン間で電荷を転送できるので、第3駆動クロック信号により駆動されることで、蓄積部49(51)の各画素に蓄積された電荷が、電荷転送部53(55)に転送されることになる。
各蓄積部49,51に隣接して、X軸方向に沿って延びる電荷転送部53,55が設けられている。この電荷転送部53,55は、受光部47を構成する複数の垂直シフトレジスタから出力されて並列に入力された電荷を、所定の出力方向(図中、X軸の正の方向)に転送して出力端から出力する。
電荷転送部53は、X軸方向について複数に分割された16個の部分電荷転送部としてのタップT01〜T16を有しており、同様に電荷転送部55は、部分電荷転送部としてのタップT17〜T32を有している。タップT01〜T32は、それぞれ複数且つ同数の画素を有し、タップT01〜T16は、図中の左側から右側に順に配置されており、タップT17〜T32は、図中の右側から左側に順に配置されている。
タップT01〜T32が有する複数の画素は、例えば、256個のアクティブセルと4つのダミーセルから構成されている。また、タップT01〜T32のそれぞれでの電荷転送方向は前述したようにX軸の正の方向であり、その左端部に向けて電荷が転送される。そして、各タップT01〜T32の左端部には出力端子(不図示)が接続された読み出しアンプが設けられており、読み出しアンプは、転送されてきた電荷を電荷電圧変換して出力端子から画像データとして出力する。
このタップT01〜T16が有する各画素は、転送クロック信号を入力する入力端子φ6に接続されている。また、各画素は、水平転送クロック信号を入力する入力端子φ7に電気的に接続されており、単相駆動される。そして、各画素は、入力端子φ7から入力される信号がHighレベルのときに電荷を蓄積でき、入力される信号がHighレベルからLowレベルに変化するときに電荷が隣の画素に転送されるようになっている。更に、タップT01〜T16が有する読み出しアンプには、リセットクロック信号を入力する入力端子φ8に電気的に接続されている。
同様に、タップT17〜T32が有する各画素は、転送クロック信号を入力する入力端子φ9に接続されている。また、各画素は、水平転送クロック信号を入力する入力端子φ10に接続されており、タップT17〜T32が有する読み出しアンプは、リセットクロック信号を入力する入力端子φ11に電気的に接続されている。
そして、転送クロック信号が入力端子φ6(φ9)に入力されることにより、垂直転送時に発生する余剰なノイズとしての電荷がクリアドレインに転送され、ノイズ分の電荷が画素からクリアされる。また、水平転送クロック信号が入力端子φ7(φ10)に入力されることにより、水平方向に電荷が転送され、リセットクロック信号が入力端子φ8(φ11)に入力されることにより、読み出しアンプ内の電荷がクリアされて次の電荷を待つ状態となる。
上記構成のCCD素子45では、複数の画素Pが2次元アレイ状に配置されているので、試料Sの2次元画像を取得する2次元センサとして動作することが可能である。また、CCD素子45の受光部47の構成は、X軸方向に画素Pを4096個有するラインセンサがY軸方向に70列配置されたものに相当するため、試料Sの移動ステップに同期させてライン間で電荷を転送する、いわゆるTDI動作をさせることも可能である。
以下の説明では、CCD素子45を2次元センサとして駆動することを「CCDモードで駆動する」とも称し、CCD素子45をTDI動作させることを「TDIモードで駆動する」とも称す。
このCCD素子45は、撮像装置15の一部を構成する撮像制御部21によって制御されてCCDモード及びTDIモードで駆動される。次に、図4を利用して撮像制御部21について説明する。
図4は、CCD素子45、撮像制御部21、コントローラ5及び制御装置23の電気的な接続関係を示すためのブロック図である。
撮像制御部21は、I/F回路21A、タイミング信号発生回路21B及び駆動ドライバ21Cを有する。I/F回路21Aは、制御装置23に電気的に接続されており、制御装置23からの制御信号としての制御コマンドを受け、制御コマンドに応じてCCD素子45をCCDモードで駆動するかTDIモードで駆動するかを指定するモード切替信号をタイミング信号発生回路21Bに入力する。また、I/F回路21Aは、CCD素子45で取得された試料Sの光像に対応する画像データを制御装置23に入力する。
タイミング信号発生回路21Bは、CCD素子45での垂直転送動作及び読み出し動作(水平転送動作)の開始、終了のタイミングを制御するタイミング制御手段である。このタイミング信号発生回路21Bから出力されるタイミング信号により、CCD素子45の受光部47での電荷取得期間、及び蓄積部49,51での読み出し期間が制御される。
タイミング信号発生回路21Bは、コントローラ5に電気的に接続されており、コントローラ5が試料SをY軸方向に移動させるときに出力する信号を外部トリガ信号として受ける。そして、タイミング信号発生回路21Bは、CCD素子45をTDIモードで駆動する旨のモード切替信号をI/F回路21Aから受け、且つ外部トリガ信号が入力されたとき、TDIモードに対応したタイミング信号を発生させ、駆動ドライバ21Cを介してCCD素子45に入力する。
また、タイミング信号発生回路21Bは、CCD素子45をCCDモードで駆動する旨のモード切替信号をI/F回路21Aから受けたとき、CCDモードに対応したタイミング信号を発生させ、駆動ドライバ21Cを介してCCD素子45に入力する。
また、撮像制御部21は、増幅回路21D及びA/Dコンバータ21Eを更に有する。増幅回路21Dは3つのCCD素子45の出力端子に接続されている。そして、CCD素子45から出力された出力信号は、増幅回路21Dによって増幅され、A/Dコンバータ21Eによってデジタル信号に変換された後、I/F回路21Aを介して制御装置23に入力される。この際、撮像装置15は、3つのCCD素子45を有しているため、制御装置23には、試料Sの光像のうち緑色光L11、赤色光L12及び青色光L13に対応する画像データが入力されることになる。
ここで、上記撮像装置15の動作について説明する。先ず、CCD素子45をCCDモードで駆動する場合について説明する。図5は、撮像装置のCCDモードでの画像取得時の動作を示すフローチャートである。
先ず、制御装置23(より具体的には、後述する撮影範囲設定部23A、焦点制御部23B又はバランス調整部23D)からI/F回路21AにCCDモードで撮影する旨の制御コマンドが入力されると(S10)、I/F回路21Aからタイミング信号発生回路21BにCCDモードで駆動する旨のモード切替信号が入力される(S11)。
このモード切替信号を受けたタイミング信号発生回路21Bは、受光部47の70ラインの電荷を蓄積部49(又は51)に垂直転送する旨のタイミング信号を駆動ドライバ21Cに入力する(S12)。これにより、駆動ドライバ21CによってCCD素子45が駆動され受光部47の電荷が蓄積部49に転送されることになる。
図6は、S12において、タイミング信号発生回路21Bから駆動ドライバ21Cを介してCCD素子45に入力されるタイミング信号のタイミングチャートを示す図である。図6は、受光部47の電荷を蓄積部49に転送するときのタイミングチャートを示している。
図6(a)は、入力端子φ1に入力されるタイミング信号としての第1駆動クロック信号のタイミングチャート、図6(b)は、入力端子φ2に入力されるタイミング信号としての第2駆動クロック信号のタイミングチャート、図6(c)は、入力端子φ4に入力されるタイミング信号としての第3駆動クロック信号のタイミングチャート、図6(d)は、入力端子φ6に入力されるタイミング信号としての転送クロック信号のタイミングチャート、図6(e)は、入力端子φ3に入力されるタイミング信号としてのブルーミング抑制クロック信号のタイミングチャート、図6(f)は、入力端子φ7に入力されるタイミング信号としての水平転送クロック信号のタイミングチャート、図6(g)は、入力端子φ8に入力されるタイミング信号としてのリセットクロック信号のタイミングチャートを示している。
図6(a)に示すように、入力端子φ1には、パルス状の第1駆動クロック信号が70パルス分入力される。この第1駆動クロック信号のパルス幅及びパルス間隔は、例えば、約100nsである。この70パルス分の第1駆動クロック信号のうち一番最初のパルスが入力されたときを基準時(図中、0ns)とする。
そして、図6(b)及び図6(c)に示すように、入力端子φ2には、第1駆動クロック信号に対してパルス幅の半分の時間(約50ns)だけ遅延したパルス状の第2駆動クロック信号が入力され、入力端子φ4には、第1駆動クロック信号に対してパルス幅分の時間(約100ns)だけ遅延したパルス状の第3駆動クロック信号が入力される。第2駆動クロック信号及び第3駆動クロック信号のパルス幅及びパルス間隔は第1駆動クロック信号と同様である。
これによって、受光部47及び蓄積部49を構成する各ラインの電荷が受光部47から蓄積部49に向かう方向(上から下)に転送され、受光部47の電荷が蓄積部49に移動することになる。この際、図6(e)に示すように、基準時より、例えば、約50ns前から70パルス分の第3駆動クロック信号が全て入力されるまで、入力端子φ3には、通常のバイアスレベルより若干低いバイアスレベルの状態が維持されたブルーミング抑制クロック信号が入力されている。これによってブルーミング抑制クロック信号が垂直転送によって振られることによるフルウエルの低下が起こることが抑制される。
また、図6(d)に示すように、入力端子φ6には、第2駆動クロック信号と同様のタイミングで変化するパルス状の転送クロック信号が入力されている。これにより、電荷転送部53の各画素におけるノイズ分としての電荷がクリアされた状態で、蓄積部49から電荷が転送されてくることになる。
更に、図6(f)に示すように、入力端子φ7には、Lowレベル状態の水平転送クロック信号が入力されている。この場合にも、蓄積部51から電荷転送部53に電荷が転送される。また、図6(g)に示すように、入力端子φ8には、垂直転送開始から70ライン分の転送が終了するまでの間、Highレベル状態が維持されたリセットクロック信号が入力されている。これにより、読み出しアンプの電荷は随時リセットされることになる。
再度、図5を参照して撮像装置15の動作について説明する。S12において受光部47から蓄積部49に電荷を移したのちに、受光部47を露光する(S13)。具体的には、制御装置23が照射光源7を制御して試料Sを照射する。受光部47の露光は、操作者が手動で行ってもよい。これにより、受光部47に新たに電荷が蓄積されることになる。そして、受光部47を露光している間に、蓄積部49に蓄積されている電荷の読み出しを実施する(S14)。
図7は、1ライン水平読み出しを行う場合のタイミングチャートである。図7(a)〜図7(g)で示している各タイミング信号は、図6(a)〜図6(g)の場合と同様に、タイミング信号としての第1駆動クロック信号、第2駆動クロック信号、第3駆動クロック信号、転送クロック信号、ブルーミング抑制クロック信号、水平転送クロック信号、リセットクロック信号のタイミングチャートを示している。
図7(c)に示すように、入力端子φ4には、パルス状の第3駆動クロック信号が1パルス分入力される。パルス幅としては、例えば、80nsである。これにより、第3駆動クロック信号がHighレベルからLowレベルになるときに蓄積部49から電荷転送部53に電荷が移動する。この第3駆動クロック信号が入力されたとき(LowレベルからHighレベルになったとき)を基準時(0ns)とする。
なお、図7(d)に示すように、入力端子φ6には、第3駆動クロック信号より約20ns前から第3駆動クロック信号と同様のパルス幅を有する転送クロック信号が1パルス分入力される。これにより、電荷転送部53における各画素のノイズ分の電荷がクリアされた状態で、蓄積部49から電荷転送部53に電荷が移動することになる。
そして、図7(f)及び図7(g)に示すように、入力端子φ7及び入力端子φ8には、基準時より前(例えば、約50ns前)から第3駆動クロック信号が入力された後(例えば、基準時から440ns後)までの間、Lowレベル状態に維持され、その前後(図中、×印の領域)では、HighレベルとLowレベル状態が交互に高速で繰り返されてなるパルス列を有する水平転送クロック信号及びリセットクロック信号が入力されている。
この場合、蓄積部49から電荷転送部53に電荷が移動する際には、水平転送クロック信号がLowレベルであるため、電荷転送部53に移動した電荷が確実に蓄積されることになる。そして、1ライン分の電荷の転送が終了した後は、HighレベルとLowレベルとが高速で繰り返されることによって、T01〜T16の各画素の電荷が水平方向に転送され、読み出しアンプで電荷電圧変換されて出力される。この際、リセットクロック信号を水平転送クロック信号に対して適切に遅延させることによって、読み出しアンプ内に入力され電荷電圧変換された電荷を一度クリアして次の電荷を受けることができるようになっている。
また、図7(a)及び図7(b)に示すように、入力端子φ1,φ2には、Lowレベルに維持された第1駆動クロック信号及び第2クロック信号が入力されている。この場合、入力端子φ1,φ2に入力される電圧レベルが同じであるため、受光部47において垂直転送は実施されないことになる。更に、図7(e)に示すように、入力端子φ3には、基準時より約50ns前から約150nsの間だけ通常のバイアスレベルより若干低いバイアスレベルの状態が維持されたブルーミング抑制クロック信号が入力されている。
図7に示すタイミングチャートで示されたタイミング信号でCCD素子45が駆動されることによって、1ライン分の電荷が水平読み出しされる。そして、その水平読み出しを70ライン分繰り返すことによって試料Sの光像の2次元画像データを得ることができる。なお、各ラインの読み出しが重ならないように1ライン読み出した後、所定の間隔を開けて次のラインの読み出しに移る。
図5に示すように、蓄積部51に蓄積された電荷の読み出しが終了したとき、すなわち、図7に示したタイミングによるCCD素子45の動作を70回繰り返したとき、受光部47の露光を停止し、露光終了とする(S15)。そして、S14を実施している間に受光部47に取得した電荷を読み出すために、S12に戻り、撮影終了時までS13及びS14を繰り返す。なお、上記では、蓄積部51での電荷の読み出しが終了した時点で露光終了とし、S12に戻るとしたが、蓄積部51での電荷の読み出し終了から所定の時間経過後に露光を終了しても良い。これによって、受光部47への露光時間を調整することが可能である。また、S14での70ライン分の読み出しが終了したときに露光が終了していない場合は、再度S12に戻ればよい。また、図5に示すように、露光前にS11から直接S12での垂直転送を実施することは、受光部47及び蓄積部49の初期化に対応する。
次に、CCD素子45をTDIモードで駆動しながら試料Sの画像を取得する方法について説明する。図8は、TDIモードで画像を取得する場合の画像取得方法を示すフローチャートである。TDIモードで試料Sの画像データを取得する場合には、試料ステージ3が所定の方向(Y軸の負の方向)に一定の速度で駆動されているものとする。
制御装置23(より具体的には、後述する画像取得制御部23C)からI/F回路21AにTDIモードで撮影する旨の制御コマンドが入力されると(S20)、I/F回路21Aからタイミング信号発生回路21BにTDIモードで駆動する旨のモード切替信号が入力される(S21)。
そして、試料ステージ3の移動ステップに対応した外部トリガ信号がタイミング信号発生回路21Bに入力されると(S22)、タイミング信号発生回路21Bから駆動ドライバ21Cに垂直転送信号及び水平読み出し信号が入力され、受光部47及び蓄積部51の全ライン、1ラインの電荷がシフトされ、更に、蓄積部51より1ライン水平読み出しが実施される(S23)。S23を図9を利用してより具体的に説明する。
図9は、CCD素子をTDIモードで駆動するときのタイミングチャートの一例である。図9では、外部トリガ信号が1回(1パルス分)入力されたときにCCD素子45に入力されるタイミング信号のタイミングチャートを示している。図9(a)〜図9(g)は、図6(a)〜図6(g)と同様に、タイミング信号としての第1駆動クロック信号、第2駆動クロック信号、第3駆動クロック信号、転送クロック信号、ブルーミング抑制クロック信号、水平転送クロック信号、リセットクロック信号のタイミングチャートを示している。
図9(a)に示すように、入力端子φ1には、パルス状の第1駆動クロック信号が1パルス分入力される。また、図9(b)に示すように、入力端子φ2には、第1駆動クロック信号に対して50ns遅延したパルス状の第2クロック信号が1パルス分入力される。更に、図9(c)に示すように、入力端子φ4には、第1駆動クロック信号に対して100ns遅延したパルス状の第3クロック信号が1パルス分入力される。第1駆動クロック信号、第2駆動クロック信号及び第3駆動クロック信号のパルス幅は、例えば、100nsである。
これにより、受光部49及び蓄積部51を構成する各ラインの電荷が隣のラインに移動することになり、蓄積部51から1ライン分の電荷が電荷転送部53に転送される。
なお、図9(e)に示すように、パルス状の第1駆動クロック信号が入力されたときを基準時(0ns)として、基準時より、例えば約100ns前から200ns後まで通常のバイアスレベルより若干低いバイアスレベルの状態が維持されたブルーミング抑制クロック信号が入力端子φ3に入力されている。
また、図9(d)に示すように、基準時より約50ns前から約200nsの間、パルス状の転送クロック信号が入力される。これにより、蓄積部49から電荷転送部53に電荷が転送される前に、電荷転送部53におけるノイズに対応する電荷がクリアされることになる。
また、図9(f)及び図9(g)に示すように、入力端子φ7及び入力端子φ8には、基準時より前(例えば、約80ns前)から第3駆動クロック信号が入力されるまでの間、Lowレベル状態に維持され、その前後(図中、×印の領域)では、HighレベルとLowレベル状態が交互に高速で繰り返されてなるパルス列を有する水平転送クロック信号及びリセットクロック信号が入力されている。
この図9(f)及び図9(g)に示した水平転送クロック信号及びリセットクロック信号は、Low状態が維持されている長さ以外は、図7(f)及び図7(g)の場合と同様である。そのため、図7(f)及び図7(g)の場合と同様に電荷転送部53から電荷が読み出されることになる。
以上説明したように、上記タイミング信号の各入力端子φ1〜φ4及びφ6〜φ8への入力によって、1つの外部トリガ信号に対応して1ライン分の電荷が隣のラインに移動する(言い換えれば、1ライン分垂直転送される)ので、蓄積部49から1ライン分の電荷が電荷転送部53に転送される。そして、電荷転送部53に移動した電荷が出力端子から出力され、読み出される。
再度、図8を参照すると、S23での水平読み出しが終了したときに、撮影終了状態になっている場合には(S24で「Yes」)、そのまま撮影を終了する。ここで、撮影終了状態とは、例えば、それまでに読み出したライン数の合計が指定されたライン数に達しているときや、終了命令としてのコマンドが入力された場合である。
また、撮影終了状態でない場合には(S24で「No」)、S22に戻りS23,S24を撮影終了状態になるまで繰り返す。より具体的には、例えば、S23で読み出したラインの総数が指定されたライン数に達したときや終了命令としてのコマンドが入力されたときまでS23,S24を繰り返す。
以上説明したように、撮像装置15では、試料Sの移動ステップに同期した外部トリガ信号毎に図9に示した各タイミングでCCD素子45を駆動することによって、試料Sの移動ステップに同期させながら電荷を隣のラインに転送できる。これは、受光部47の1ラインが有する観察フィールドからの光に対応する電荷が時間積分されることに相当し、いわゆるTDI動作が可能となっている。
この撮像制御部21を制御する制御装置23について図4を利用してより詳細に説明する。
図4に示すように、制御装置23は、撮影範囲設定部23Aと、焦点制御部23Bと、画像取得制御部23Cと、バランス調整部23Dとを有する。
撮影範囲設定部23Aは、撮像装置15を制御し、CCDモードで駆動された各CCD素子45によって試料Sの画像データを取得する。そして、撮影範囲設定部23Aは、取得した画像データに基づいて操作者から入力される試料Sの撮影範囲情報を受け付けて撮影範囲を設定する。撮影範囲設定部23Aは、設定した撮影範囲情報を焦点制御部23B及び画像取得制御部23Cに入力する。
焦点制御部23Bは、TDIモードで駆動されたCCD素子45によって試料Sの画像を取得する時に自動的に焦点を合わせるために利用される焦点情報を取得するための各種条件設定を行う。そして、焦点制御部23Bは、コントローラ5及び撮像装置15を制御して、焦点情報の取得を実施する。焦点制御部23Bは、取得した焦点情報を画像取得制御部23Cの図示されない記憶部に記録する。
画像取得制御部23Cは、TDIモードでCCD素子45を駆動して試料Sの画像データを取得するための各種条件(読み出すラインの総数、試料Sの移動ステップのステップ間隔など)の設定や操作者からの終了コマンドの受け付けなどを行う。そして、画像取得制御部23Cは、それらの設定された条件に基づいて各撮像装置15及びコントローラ5を制御することによって、CCD素子45をTDIモードで駆動させ、且つ、焦点制御部23Bで取得した焦点情報を利用して対物レンズ11の焦点を自動的に調整しながら試料Sの画像データを取得する。
バランス調整部23Dは、撮像装置15を制御してCCDモードで駆動されたCCD素子45によって画像データを取得する。そして、取得した画像データに基づいてブラックバランス及びホワイトバランスを調整する。
次に、顕微鏡システム1によるバーチャル顕微鏡用の画像データの取得方法について説明する。図10は、顕微鏡システムでの画像取得方法を示すフローチャートである。
顕微鏡システム1では、先ず、撮影範囲設定工程(S30)において、TDIモードで駆動されるCCD素子45によって試料Sの画像データを取得するための試料Sの撮影範囲を設定する。次に、焦点情報取得工程(S40)において、TDIモードでの撮影の際に利用するオートフォーカス用の焦点情報を取得し、次いで、画像取得工程(S50)で、TDIモードによってCCD素子45を駆動しながら試料Sの画像データを取得する。以下、各工程について順に説明する。
先ず、撮影範囲設定工程(S30)について説明する。図11は、撮影範囲設定工程のフローチャートを示す図である。
先ず、操作者が試料Sを試料ステージ3上にセットし(S31)、次いで、対物レンズ11を低倍率のものに変える(S32)。この対物レンズ11の交換は、手動で行ってもよいし、制御装置23を介してレボルバを回転させ所望の倍率の対物レンズ11に交換するようにしてもよい。撮影範囲設定工程で使用する対物レンズ11の倍率は、対物レンズ11の観察領域内に試料Sの全体が含まれるものであればよい。なお、S31とS32との順番は入れ替えることができる。
次に、撮影範囲設定部23Aが、I/F回路21Aに各CCD素子45をCCDモードで駆動する旨の制御コマンドを送信することによってCCD素子45をCCDモードで駆動せしめて(S33)、試料Sを撮影し画像データを取得する(S34)。
そして、取得した画像データから試料Sの画像を再構成して、その画像を、例えば、表示装置27に表示させることなどによって操作者に示し、操作者からの撮影範囲の設定(撮影開始位置及び撮影終了位置)の指示コマンド(撮影範囲情報)を入力装置25を介して受け付ける。そのマクロ画像に基づいて撮影範囲を設定する(S35)。撮影範囲設定部23Aは、設定した撮影範囲情報を焦点制御部23B及び画像取得制御部23Cに入力する。
次に、焦点情報取得工程(S40)について説明する。図12は、焦点情報取得工程のフローチャートである。
先ず、対物レンズ11を、TDIモードでの画像取得に利用する高倍率の対物レンズ11に変更する(S41)。この対物レンズ11の変更は、操作者が手動で実施してもよいし、制御装置23を介しても良い。更に、予め入力されているデータに基づいて焦点制御部23Bが行っても良い。
次に、焦点制御部23Bは、CCD素子45をCCDモードで駆動する旨の制御コマンドをI/F回路21Aに入力する。これにより、CCD素子45がCCDモードで確実に駆動されることになる(S42)。
そして、焦点制御部23Bは、撮影範囲内の少なくとも3つの焦点計測位置を設定し、各焦点計測位置において対物レンズの合焦点位置を算出する(S43)。なお、撮影開始位置及び撮影終了位置、並びに、撮影範囲内のそれら以外の3つの位置の、合計5つの焦点計測位置を設定してもよい。
合焦点位置の算出方法は次の通りである。すなわち、焦点制御部23Bは、前述した3つの焦点計測位置のうちの1つである撮影開始位置において、コントローラ5を介してZ軸ステージ17を駆動し、対物レンズ11と試料SとのZ軸方向の距離(試料Sにおける焦点距離)を連続的に変化させる。
そして、この焦点距離の連続的に変化させている間に、焦点制御部23Bは、撮像装置15を制御して所定の間隔毎に試料Sを撮影することで画像データを取得する。この撮影によって得られた各Z位置での画像データから標準偏差を算出する。標準偏差は、緑色光L11、赤色光L12、青色光L13を受けたCCD素子45,45,45の少なくとも1つから出力される画像データからYUYVや輝度などに基づいて算出すればよい。
そして、焦点制御部23Bは、算出した標準偏差に基づいて撮影開始位置での対物レンズ11の合焦点位置を決定する。この合焦点位置は、例えば、標準偏差の最大値の位置として決定したり、標準偏差から回帰曲線を求めそのピーク値の位置として決定することができる。
焦点制御部23Bは、他の2つの焦点計測位置でも同様にして合焦点位置を算出する。そして、得られた3つの合焦点位置を利用して三点計測を実施することによって、TDIモードでの撮影時に対物レンズ11の焦点を合わせるべき撮影対象平面(焦点情報)を算出し、画像取得制御部23Cの図示されない記憶部に記録する(S44)。このような三点計測による撮影対象平面の算出は、例えば、3点の焦点計測位置で求められた合焦点位置から、直線補完によって撮影範囲内の任意の観察位置に対する合焦点位置を求めれば良い。このような方法によれば、撮影範囲に対する合焦点位置などの焦点情報を効率的に取得することが可能である。また、撮影範囲内で4点以上の焦点計測位置を設定した場合は、最小二乗法によって撮影範囲内の任意の観察位置に対する合焦点位置を求めることとすれば、更に精度良く焦点位置を制御することができる。
この撮影対象平面は、上記三点計測によって推定される合焦点位置のマッピングデータ(フォーカスマップ)に対応するので、試料Sの画像データを取得する際、対物レンズ11と撮影対象平面との距離が一定になるようにZ軸ステージ17を駆動することによって焦点のあった画像データを得ることが可能となっている。
続いて、画像取得工程(S50)について説明する。図13は、画像取得工程を示すフローチャートである。
先ず、画像取得制御部23Cは、CCD素子45をTDIモードで駆動する旨の制御コマンドをI/F回路21Aに入力する(S51)。これにより、I/F回路21Aからタイミング信号発生回路21Bに、CCD素子45をTDIモードで駆動する旨を指定するモード切替信号が入力されることになる。
また、画像取得制御部23Cは、コントローラ5を介して試料ステージ3を所定の方向(Y軸の負の方向)に一定の速度で駆動して試料Sを移動せしめる(S52)。この際、画像取得制御部23Cは、コントローラ5を介してZ軸ステージ17をS40で取得し記憶されたフォーカスマップに基づいて駆動することによって焦点制御部23Bで算出された対物レンズ11の焦点が撮影対象平面に沿うように対物レンズ11と試料Sとの間の距離を試料Sの移動に応じて調整する。
なお、本実施形態では、顕微鏡スライドの対象(すなわち試料S)毎にフォーカスマップを作成・記憶することしているが、標準的なキャリブレーションサンプルに対して作成されたフォーカスマップを予め記憶部に記録しておき、その情報に基づいてZ軸ステージ17を駆動するようにしてもよい。
コントローラ5は、試料ステージ3の移動ステップに同期した外部トリガ信号をタイミング信号発生回路21Bに入力する(S53)。前述したように、タイミング信号発生回路21Bには、CCD素子45をTDIモードで駆動する旨のモード切替信号が入力されているので、コントローラ5からの信号としての外部トリガ信号が入力されることによって、CCD素子45がTDIモードにより駆動され、試料Sの画像データが取得される(S54)。そして、画像取得制御部23Cは、I/F回路21Aを介して入力される画像データを制御装置23のメモリ等に保存する(S55)。
この制御装置23に保存される画像データは、3つのCCD素子45で取得されたものであり、試料Sの光像のうち、緑色領域、赤色領域、青色領域の光成分に対応する画像データである。そのため、これらの画像データからカラー画像を再構成できるため、バーチャル顕微鏡において有効である。
上記方法により、TDIモードで駆動したCCD素子45によって試料Sの画像を取得できる。なお、画像取得の前にCCD素子45のブラックバランス及びホワイトバランスを調整しておくことはより正確な画像を取得するために好適である。ここで、ブラックバランス及びホワイトバランスの調整方法について説明する。
ブラックバランス及びホワイトバランスを調整する際には、制御装置23のバランス調整部23Dは、CCDモードでCCD素子45を駆動する旨の制御コマンドをI/F回路21Aに入力し、CCD素子45をCCDモードで駆動する。
次に、照射光源7を駆動することによってCCD素子45を露光する。そして、バランス調整部23Dは、撮像装置15を制御して、ホワイトバランス調整用の画像データとして受光部47の70ラインに蓄積された電荷を蓄積部49に転送させた後に読み出す。
更に、オーバースキャンによってブラックバランス用に蓄積部49から例えば8ライン分の画像データを読み出す。オーバースキャンとは、蓄積部49に蓄積された画像データを一度読み出した後に更に蓄積部49から電荷を読み出すことである。蓄積部49は例えばマスクによって覆われているので光の入力がない状態に対応する画像データを取得できることになる。
そして、バランス調整部23Dは、取得した70ライン分の画像データ(受光部47で取得した画像データ)からホワイトバランスを調整し、更にオーバースキャンによって取得した8ライン分の画像データからブラックバランスの調整を実施する。
このように、ホワイトバランス及びブラックバランスを調整することによって実際の試料Sのカラーをより正確に表した試料Sの画像を取得できることになる。なお、ホワイトバランス及びブラックバランスの調整は、試料Sの画像を取得する毎に実行することが好ましく、通常、撮影範囲設定工程(S30)の前に実施する。また、ホワイトバランスを調整しない場合には、露光は要しないため、蓄積部49の複数のラインからの画像データに基づいてブラックバランス調整をすればよい。
以上、説明したように、顕微鏡システム1では、撮像装置15が有する3つのCCD素子45,45,45をTDIモードで駆動することができ、TDIモードで駆動されたCCD素子45はTDIセンサとして機能する。この場合、CCD素子45の受光部47が有する1ラインの観察フィールドで試料Sをスキャンしながら試料Sの画像データを取得するため、高解像度の画像データを取得できる。また、試料Sの移動に同期させて順次隣接するラインに電荷を転送することによって、時間積分しながら画像データを取得するので、高感度である。
ところで、例えば、ラインセンサなどをTDI動作させる際には、試料をスキャンするため試料の傾きや試料の形状などによる焦点位置の変化が問題となる。そのため、従来では、TDI動作させるラインセンサなどの検出手段とは別に焦点調整用の2次元画像の取得が可能なCCDカメラ等のイメージセンサなどが用いられていた。
この場合、イメージセンサや、試料からの光を焦点調整用イメージセンサに分岐させる光学系を有するため、顕微鏡システムの構成が複雑になり、また、TDI動作させるラインセンサに入射する光量が減少するため感度が低下する虞があった。
これに対して、図1に示した顕微鏡システム1では、CCD素子45をCCDモードとして駆動することによって2次元画像を取得するための2次元センサとして機能する。これによって、CCD素子45を利用して、バーチャル顕微鏡用の試料Sの画像取得時に利用する焦点情報を取得できることになる。
従って、撮像装置15とは別に焦点情報取得のためのセンサを設けなくて良いため、顕微鏡システム1の構成が簡易になっており、顕微鏡システム1の設備コストの低減が図れている。また、CCD素子45に入力される試料Sからの光を焦点情報取得用に分岐させていないので、試料Sからの光を有効に利用でき感度の低下の抑制が図れている。
以上、本発明の好適な実施形態について説明したが、本発明の顕微鏡システムは、上記実施形態に限定されない。例えば、撮像装置15は3つのCCD素子45を有する3板式CCDカメラとしたが、CCD素子は1つでもよい。また、顕微鏡システム1は、透過型としているが、反射型の顕微鏡システムとすることができる。また、ステージ3はXYステージを例示したが、XYZステージとすることも可能である。この場合は、Z軸ステージ17は必ずしも要しない。また、外部トリガ信号は、コントローラ5からタイミング信号発生回路21Bに入力されるとしたが、制御装置23から入力することも可能である。
また、上記顕微鏡システム1は、バーチャル顕微鏡で使用されるデジタルスライド用の画像データを取得するために利用されるとしたが、これに限定されず、例えば、試料Sを高解像で撮影する場合に好適に利用できる。
更に、上記実施形態で示した、CCD素子45の画素数やタイミング信号のパルス幅や駆動時間などは一例であり、上記実施形態の数値に限定されない。更にまた、上記実施形態のCCD素子45では、受光部45の画素Pは2相駆動されるとし、蓄積部49,51及び電荷転送部53,55が有する画素は単相駆動されるとしたが、この場合に限定ない。すなわち、受光部45の画素Pの電荷を蓄積部49(51)を介して電荷転送部53(55)の画素に転送でき、電荷転送部53(55)の画素の電荷を読み出せるように各画素が駆動されるようになっていればよい。また、CCD素子45は、2つの蓄積部49,51及び電荷転送部53,55を有するとしたが、蓄積部49と電荷転送部53の組及び蓄積部51と電荷転送部55との組の何れか一方を有していればよい。
また、上記実施形態では、段落「0089」、「0094」、「0096」に記載したように、レボルバを回転するなどにより低倍率の対物レンズ11に変えて撮影範囲を設定するための試料Sの全体像(マクロ画像)を取得するようにしているが、これに限定されない。例えば、別途観察光学系を並列に設けておき、その観察光学系で試料Sの全体像を撮影し、制御装置23の図示していない記憶部に記録し、その記憶部に記録された画像に基づいて撮影範囲を設定してもよい。
1…顕微鏡システム、3…試料ステージ(ステージ)、11…対物レンズ、15…撮像装置、21…撮像制御部、21A…I/F回路(切替信号出力部)、21B…タイミング信号発生回路、21C…駆動ドライバ、23…制御装置、23B…焦点制御部、23C…画像取得制御部、35…色分解光学系、45…CCD素子、P…画素、S…試料。