JP5289879B2 - 顕微鏡システム、顕微鏡システムにおけるフォーカスドリフトの補正方法及びプログラム。 - Google Patents

Description

本発明は、フォーカスドリフトを補正する機能を有する顕微鏡システムに関する。

一般に顕微鏡の視野より大きな観察体を顕微鏡で撮影を行うときは、特許文献１に示すように、ステージを対物レンズと観察体とを結ぶ光軸に対して水平な方向（以下ＸＹ方向という）に移動させながら撮影を行ってゆき、これらの画像をつなぎ合わせて画像を得ている。

現在、顕微鏡観察においては、観察方法の多様化から、長時間に渡って観察体の観察を行う要求が存在する。特に経時的に多点を観察するような状況下においては、観察体又は、基準物に対して光を照射し、その反射光から合焦座標を特定するアクティブフォーカス方式を応用したフォーカスドリフト補正装置が一般的である。

しかしながら、アクティブフォーカス方式を応用したフォーカスドリフト補正装置は、専用の光学系を含む専用装置の導入が必須であるため、コスト面で大きく不利となる。
そこで、特許文献２に示すように、近年向上したビデオフォーカス技術により、あらかじめ観察体上の任意のポイントにおける合焦座標をサンプリングし、そのサンプリング結果を基として所望観察部位の撮像や合焦座標の予測を行ういわゆるフォーカスマップ方式が用いられている。

このようなフォーカスマップ方式ではあらかじめ作成した複数の位置情報（フォーカスマップ）に従って、ステージ・照準部を移動させて順次撮像を行うため、多点観察を高速に行うことが可能である。

特に特許文献１や特許文献３に示す様な、いわゆるバーチャルスライド機能を有する顕微鏡装置にあっては、観察を所望する領域の区画全てに対してピント合わせを行うと、多大な時間を要するため、フォーカスマップを作成し合焦座標の予測を行うことでタイル画像取得の時間を短縮し、合成画像作成の高速化を図ることが可能である。

一方でこのようなフォーカスマップ方式では、フォーカスマップを作成し、そのフォーカスマップの合焦座標に従って順次タイル画像の取得を行うため、フォーカスマップサンプリング時と撮像時において、対物レンズと観察体との距離が同一でなければピントのずれた画像が撮像されてしまう。
特に顕微鏡装置では内蔵する光源等から発せられる熱により、電源投入時から経時的に顕微鏡筐体が歪んでいく。この歪みにより、フォーカスマップ方式において重要とされる対物レンズと観察体との距離が経時的に変化させられる（フォーカスドリフトする）ため、この様な条件下で取得されたタイル画像を合成してもピントのぼけた画像が作成されてしまう。

このフォーカスドリフトに対処した顕微鏡としては、特許文献４や特許文献５のものがある。
特許文献４の顕微鏡では、所定の時間毎に観察対象物の像を撮像することによってフォーカスドリフトに対処している。

また特許文献５の顕微鏡では、フォーカス検出光路と観察光路のフォーカスドリフトを同じになるように構成している。
特開平１０−３３３０５６号公報 特開２００４−３１７９７０号公報 特表２００２−５１４３１９号公報 特開２００７−１４８２２１号公報 特開２００５−１０７３０２号公報

しかしながら現在ある顕微鏡には、特許文献１や特許文献３のようにバーチャルスライドを行う顕微鏡で、熱によるフォーカスドリフトに対処しているものが無かった。
本発明では、このような事情に鑑みてなされたもので、熱的な要因により顕微鏡装置に歪みが生じても、フォーカスドリフトを補正して明瞭な画像を取得することができ、且つコストを抑え、高速な合成画像の取得を可能とした顕微鏡装置を提供することを課題とする。

本発明の顕微鏡システムは、観察体の観察を行う顕微鏡装置と、当該顕微鏡装置を制御する情報処理装置を有する顕微鏡システムにおいて、前記観察体の任意の位置での合焦位置を取得する合焦座標取得部と、前記任意の位置及び前記合焦座標を、基準座標として記憶する記憶部と、前記基準座標を用いて予測を行い、前記観察体を観察する観察領域に分布する合焦座標を示すフォーカスマップを作成するフォーカスマップ作成部と、予め定められた条件を満たしたとき前記フォーカスマップを更新するフォーカスマップ補正部と、前記フォーカスマップを用いて前記観察領域を複数の分割領域に分割して撮像を行う撮像部と、前記撮像部が撮像した画像を前記観察領域における位置を示す情報と関連づけて格納する画像記憶部と、前記フォーカスマップ補正部が前記フォーカスマップを更新するとき、前記更新したフォーカスマップの合焦点座標の、前記顕微鏡装置の対物レンズと前記観察体とを結ぶ光軸方向であるＺ軸方向のズレが前記対物レンズの焦点深度を超えたかどうかを検出し、前記焦点深度を超えたとき、前記撮像部に前記検出を行う直前に撮像した分割領域を再び撮像させる焦点深度補正部と、を備えることを特徴とする。

また本発明のフォーカスドリフトの補正方法は、観察体の観察を行う顕微鏡システムにおけるフォーカスドリフトの補正方法であって、前記観察体の任意の位置での合焦位置を取得し、前記任意の位置及び前記合焦座標を、基準座標として記憶し、前記基準座標を用いて予測を行い、前記観察体を観察する観察領域に分布する合焦座標を示すフォーカスマップを作成し、予め定められた条件を満たしたとき前記フォーカスマップを更新し、前記フォーカスマップを用いて前記観察領域を複数の分割領域に分割して撮像を行い、前記撮像した画像を前記観察領域における位置を示す情報と関連づけて格納し、前記フォーカスマップを更新するとき、前記更新したフォーカスマップの合焦点座標の、前記顕微鏡システムの対物レンズと前記観察体とを結ぶ光軸方向であるＺ軸方向のズレが前記対物レンズの焦点深度を超えたかどうかを検出し、前記焦点深度を超えたとき、前記検出を行う直前に撮像した分割領域を再び撮像させる、ことを特徴とする。

本発明によるプログラムは、観察体の観察を行う顕微鏡装置に接続された情報処理装置で実行されるプログラムであって、前記観察体の任意の位置での合焦位置を取得し、前記任意の位置及び前記合焦座標を、基準座標として記憶し、前記基準座標を用いて予測を行い、前記観察体を観察する観察領域に分布する合焦座標を示すフォーカスマップを作成し、予め定められた条件を満たしたとき前記フォーカスマップを更新し、前記フォーカスマップを用いて前記観察領域を複数の分割領域に分割して撮像を行い、前記撮像した画像を前記観察領域における位置を示す情報と関連づけて格納し、前記フォーカスマップを更新するとき、前記更新したフォーカスマップの合焦点座標の、前記顕微鏡装置の対物レンズと前記観察体とを結ぶ光軸方向であるＺ軸方向のズレが前記対物レンズの焦点深度を超えたかどうかを検出し、前記焦点深度を超えたとき、前記検出を行う直前に撮像した分割領域を再び撮像させる、ことを前記情報処理装置に実行させる。

本発明によれば、熱的な要因によるフォーカスドリフトが生じても、その影響をほとんど受けずに観察体の多点観察を、高速且つ明瞭に行うことが出来、また安価に実現することが出来る。

また撮像される画像は、ズレが焦点深度内のピントがあった画像を得ることが出来る。

以下、図面を参照して本発明の実施形態について詳細に説明する。
図１は本実施形態に係る顕微鏡システムの構成の一例を示した概念図である。
本実施形態の顕微鏡システム１は顕微鏡１０に、ビデオ信号入力ボード４０、ＴＶコントローラ５０、及び顕微鏡コントロール部６０を介して、熱ドリフト補正装置３０が共にモニター２１が接続されているホストシステム２０が接続される構成となっている。

顕微鏡装置１０は、観察用光学系１１、対物レンズ１２、観察用光学系を通じて観察体の撮像を行うビデオカメラ１３、観察体７０を載置し対物レンズと観察体とを結ぶ光軸に対して水平・垂直方向に駆動可能な電動ステージ１４、この電動ステージ１４を光軸に水平な方向（ＸＹ方向）へ駆動制御を行うステージＸ−Ｙ駆動制御部１５、光軸に水平な方向（Ｚ方向）へ駆動制御を行うステージＺ駆動制御部１６、落射光源１７及び透過光源１８を有している。

なお電動ステージ１４は不図示の原点センサによる原点検出機能を用いて、載置した観察体の各部に対して任意の座標を設定することができる。これら電動ステージ１４の制御部であるステージＸ−Ｙ駆動制御部６１及びステージＺ駆動制御部６２は、顕微鏡コントロール部６０に接続され、顕微鏡コントロール部６０からの制御信号により動作して電動ステージ１４を動かす。

顕微鏡装置１０に設置されているビデオカメラ１３は、対物レンズ１２と観察光学系１１を通して観察体７０の撮像を行う。ビデオカメラ１３はホストシステム２０によって、ＴＶコントローラ５０を経由して操作される。

ホストシステム２０は、顕微鏡システム１全体を制御する機能を有するものである。
図２にホストシステム２０の構成例を示す。
同図においてホストシステム２０は、ＣＰＵ（中央演算装置）８１、ＲＡＭ等の主記憶装置８２、ハードディスク等の補助記憶装置８３、ディスプレイインタフェース、キーボード、ポインティングデバイス等の入出力装置（Ｉ／Ｏ）８４、通信インタフェースやモデム等のネットワーク接続装置８５、及びディスク、磁気テープなどの可搬記憶媒体８７から記憶内容を読み出す媒体読み取り装置８６を有し、これらが互いにバス８８により接続される構成を備えている。そして各構成要素は、バス８８を介して互いにデータのやり取りを行う。また、ビデオカメラ１３により撮像された画像データを取り込むための不図示のビデオ信号入力ボード、ビデオカメラを操作するＴＶコントローラ５０、画像を表示するモニター２１、顕微鏡コントロール部６０、及び熱ドリフト補正装置３０内のフォーカスマップ作成部３１及びフォーカスマップ補正部３２に接続されており、各種データの入出力と演算を行っている。

ＣＰＵ８１は、補助記憶装置８３上のプログラムやネットワーク接続装置８５を介してインストールしたプログラムを、主記憶装置８２をワークメモリとして実行することにより、後述する図６や図７に示した処理を実現する。

ビデオカメラ１３によって撮像された観察体７０の顕微鏡画像は、ＴＶコントローラ４０を介してホストシステム２０に取り込まれる。ホストシステム２０は、ビデオカメラ１３に対して、自動ゲイン制御のＯＮ／ＯＦＦ、ゲイン設定、自動露出制御のＯＮ／ＯＦＦ、及び露光時間の設定を、ＴＶコントローラ４０を介して行うことができる。また、ホストシステム２０は、ビデオカメラ１３から送られてきた顕微鏡画像を、画像データファイルとして補助記憶装置に保存することができる。補助記憶装置に記録された画像データはホストシステム２０によって読み出され、モニター２１に表示させることができる。

熱ドリフト補正装置３０は、本実施形態における顕微鏡システム１における熱的な要因によるフォーカスドリフトに対する補正処理を司るものでフォーカスマップ作成部３１及びフォーカスマップ補正部３２を備えている。

フォーカスマップ作成部３１は、ビデオカメラ１３によって撮像された画像のコントラストに基づいて合焦動作を行う、いわゆるビデオＡＦ機能も提供し、ビデオＡＦ機能によって得られた合焦位置の座標の記録を行ない、ステージの座標と合焦座標から合焦座標の分布を示すフォーカスマップを作成する。フォーカスマップ補正部３２は、時間や温度等による特定条件が成立するとフォーカスマップを更新する。

顕微鏡コントロール部６０は、ホストシステム２０からの指示に基づいて顕微鏡１０の制御を行うものである。
なお、ホストシステム２０は、上述した制御プログラムを実行することによって顕微鏡システム全体の動作制御を司るＣＰＵ８１、このＣＰＵ８１が必要に応じてワークメモリとして使用する主記憶装置８２の他に、ポインティングデバイスやキーボードなどといったユーザからの各種の指示を取得するための入出力装置８４、この顕微鏡システム１の各構成要素との間で各種データの授受を管理するインタフェースユニット、及び各種のプログラムやデータを記憶しておく例えばハードディスク装置などの補助記憶装置８３を有している、ごく標準的な構成のコンピュータである。

よって、ＴＶコントローラ４０、ビデオ信号入力ボード５０、顕微鏡コントロール部６０、及び熱ドリフト補正装置３０は、それぞれ独立した装置として実現するのではなく、ホストシステム２０の一部分として実現しても良い。例えばホストシステム２０に挿入される拡張ボードとして、あるいはホストシステム２０のＣＰＵ８１が主記憶装置８２や補助記憶装置８３上の制御プログラムを実行することによって実現される機能の１つとして、ソフトウエア的手法やハードウエア的手法により実現しても良い。

このような構成の顕微鏡システム１を用いて観察体７０の観察を行う際の、事前処理として行われるフォーカスマップの作成について説明する。
図３は、フォーカスマップ作成部３１によって行われるフォーカスマップの作成を説明する図である。

図３（ａ）に示すように、まず観察体７０を観察するに当たって観察画像を撮像する領域を決める。図３（ａ）では、太線で示した範囲９１が選択された領域を示している。この太線９１に示す範囲は、顕微鏡装置１０の視野よりも広いものとする。

次に図３（ｂ）に示すように、図３（ａ）の撮像範囲９１を格子状に複数の領域に分割する。この１つの領域は顕微鏡装置１０の視野と同じかそれより狭く設定する。したがって対物レンズ１２が交換されると、それに基づいてこの分割の仕方も変更される。この分割された領域９２から撮影を行う枚数ｍを算出する。

次に図３（ｃ）に示すように、撮像範囲９１内の複数の任意の点を基準座標Ｐ_stn （ｘ_stn ，ｙ_stn ，ｚ_stn ）として選択し、この座標群の値をフォーカスマップとしてメモリに記憶する。

そして次にフォーカスマップから、基準座標と基準座標の間にある各領域９２の合焦予測位置を算出する。
図４は、この算出を説明する図である。

同図（ａ）は、メモリに記憶されているフォーカスマップを示す図である。
同図（ａ）のフォーカスマップでは、Ｐ_stn1（ｘ_stn1，ｙ_stn1，ｚ_stn1）、Ｐ_stn2（ｘ_stn2，ｙ_stn2，ｚ_stn2）、Ｐ_stn3（ｘ_stn3，ｙ_stn3，ｚ_stn3）、Ｐ_stn4（ｘ_stn4，ｙ_stn4，ｚ_stn4），及びＰ_stn5（ｘ_stn5，ｙ_stn5，ｚ_stn5）の５つの基準座標が記憶されている。

このフォーカスマップの基準座標を用いて、フォーカスマップ作成部３１は基準座標が無い領域９２に対して合焦位置を予測する。同図（ａ）では点線９３が交わる位置が、合焦位置を予測する位置（合焦予測位置）を表している。

図４（ｂ）は、この合焦予測位置を示す図である。
同図では、合焦予測位置の座標である合焦予測位置座標はＰ₁ （ｘ₁ ，ｙ₁ ，ｚ₁ ）、Ｐ₂ （ｘ₂，ｙ₂ ，ｚ₂ ）、・・・、Ｐ_n （ｘ_n ，ｙ_n，ｚ_n ）で表されている。この合焦予測位置座標は、近傍の２つ以上の基準座標から予測して求め、値をフォーカスマップとしてメモリ（主記憶装置８２若しくは補助記憶装置８３）に記憶する。

本実施形態の顕微鏡システム１では、このようにして求めたフォーカスマップを用いて合焦位置を予測して、観察体７０を観察してゆく。しかしその観察に時間がかかる場合には、熱的な要因によるフォーカスドリフトによってフォーカスマップ内の座標値と実際の観察体７０の合焦位置とがずれてくる。このずれを表したのが図４（ｃ）である。

同図（ｃ）では、フォーカスマップ内の基準座標Ｐ_stn1（ｘ_stn1，ｙ_stn1，ｚ_stn1）、・・・、Ｐ_stn5（ｘ_stn5，ｙ_stn5，ｚ_stn5）に対して、観察体７０の実際の座標値Ｐ’_stn1（ｘ_stn1，ｙ_stn1，ｚ’_stn1）、・・・、Ｐ’_stn5（ｘ_stn5，ｙ_stn5，ｚ’_stn5）は熱的な要因によるフォーカスドリフトの影響でｚ座標がずれてきているのを示している。

この熱的な要因によるフォーカスドリフトによる座標のずれに対処するため、本実施形態の顕微鏡システム１では、特定の条件を満たしたとき、例えば特定時間が経過したときや特定の温度変化が生じたときに基準座標の座標値を再収得し、新しい基準座標から再度合焦予測位置を算出してフォーカスマップを更新する。そして観察体７０の観察は、この新規フォーカスマップを用いて行われる。

これにより、本実施形態の顕微鏡システム１では、観察体７０の観察に時間を要して、熱的な要因によるフォーカスドリフトが生じても、そのずれを補正した合焦位置を求め、観察を続けることが出来る。

図５は、フォーカスマップの基準座標の設定の仕方を示す図である。
同図（ａ）では、基準座標は撮像範囲９１全域を対象として複数箇所（図５（ａ）では５箇所）決定し、この基準座標を元にフォーカスマップを算出している。

また別の方法としては、同図（ｂ）に示すように撮像範囲９１を複数の中領域（図５（ｂ）ではＡ〜Ｆの６領域）に分け、それぞれの中領域Ａ〜Ｆ単位で基準座標を取得し、各中領域Ａ〜Ｆにおいてそれぞれの基準座標を用いて合焦点予測位置を求めてフォーカスマップを算出している。

このように図５（ａ）のように撮像範囲９１全体に対する基準座標を求めてからフォーカスマップを算出しても、撮像範囲９１複数の中領域に分けて基準座標を求めてからフォーカスマップを算出しても、或いは他の方法でフォーカスマップを求めても良い。

図６は、本実施形態の顕微鏡システム１による観察体７０の撮影時の処理を示すフローチャートである。
同図の処理が開始されると、まずステップＳ１において、顕微鏡システム１では撮像範囲９１をユーザに選択させる。この選択はユーザが、ホストシステム２０が備えている入出力装置８４を操作して行なわれる。

次にステップＳ２として、ホストシステム２０はステップＳ１でユーザが選択した撮像範囲９１を、対物レンズ１２の倍率等で決定される分割領域９２に分割し、また分割領域９２の数ｍを算出する。そしてこのｍの値をホストシステム２０のメモリに格納する。

次に顕微鏡システム１は、ステップＳ３として、フォーカスマップ作成部３１によって、ステップＳ１でユーザが選択した撮像範囲９１内の任意のｘ，ｙ座標を選択し、その位置においてオートフォーカス（ＡＦ）を行う。このＡＦで得られた合焦点位置をｚ座標とし、ｘ，ｙ座標と共に基準座標Ｐ_stn （ｘ_stn ，ｙ_stn ，ｚ_stn ）としてホストシステム２０のメモリに記憶する。なおここで用いられるＡＦの方式は何でも良い。

次にフォーカスマップ作成部３１は、ステップＳ４において、ステップＳ３でメモリに記憶したフォーカスマップを用いて各分割領域９２の合焦予測位置を算出する。そして求めた合焦予測位置をホストシステム２０のメモリに格納する。この合焦予測位置の算出は、例えば求める位置の近傍の基準座標間の差分を求め、この差分を用いて直線的に補間を行うことによって行われる。

そして次にホストシステム２０は、ステップＳ５として、基準座標更新時間の値を補助記憶装置８３から読出し、主記憶装置８２に基準座標更新時間ｔ_std として格納する。
そして事前処理の最後として、撮像枚数のカウンタ値ｎを１に初期化する（ステップＳ６）。

以上の事前処理が終了すると、ホストシステム２０は、分割領域９２の撮像を開始する。またこのときの時刻を撮像スタート時刻として時刻変数ｔに格納する。この時刻変数ｔはメモリに記憶される。なお撮像スタート時刻は、顕微鏡システム１の電源投入時でも良い。

次にホストシステム２０は、ステップＳ８として、現在時刻ｔ_tmp を取得し、この現在時刻ｔ_tmp から撮影スタート時刻ｔを引いた値、すなわち撮像が行われている時間、が基準座標更新時間ｔ_stdに達したかどうかを判定する。その結果基準座標更新時間ｔ_std に達していなければ（ステップＳ９、Ｎｏ）、ステップＳ１０として、ステージＸ−Ｙ駆動制御部６１及びステージＺ駆動制御部６２によってステージ１４と照準を駆動してＰ_n（ｘ_n ，ｙ_n ，ｚ_n ）に焦点を合わせ、ステップＳ１１としてビデオカメラ１３を制御して観察体７０を撮像する。

Ｐ_n （ｘ_n，ｙ_n ，ｚ_n ）での撮像が終了したならば、撮像枚数のカウンタ値ｎをインクリメントし（ステップＳ１２）、カウンタ値ｎ＝ｍ＋１となり、これまでに撮像した枚数が撮像枚数ｍに達したならば（ステップＳ１３、Ｙｅｓ）、処理を終了し、撮像枚数ｍに達していなければ（ステップＳ１３、Ｎｏ）、処理をステップＳ８に戻す。

このステップＳ８乃至Ｓ１３に示した撮像処理中に時間が経過し、その結果ステップＳ９において、これまで撮像に費やされた時間が基準座標更新時間ｔ_std に達しておりｔ_tmp −ｔ＞ｔ_stdならば（ステップＳ９、Ｙｅｓ）、ステップＳ１４としてフォーカスマップ補正部３２は、ｎ_tmp ＝ｎを行い、基準座標更新時間に達する直前の撮像枚数を変数ｎ_tmpに退避させる。

そしてフォーカスマップ補正部３２は、ステップＳ１５として再度基準座標全てにＡＦを行い、各基準座標のｚ座標を更新する。そして、ステップＳ１６としてフォーカスマップ補正部３２は、ステップＳ１５で更新されたフォーカスマップを用いて分割領域９２の合焦予測位置を再度算出し、得られた結果をホストシステム２０のメモリに格納する。この処理は、Ｐ_n （ｘ_n ，ｙ_n ，ｚ_n）＝Ｐ_n ’（ｘ_n ，ｙ_n ，ｚ’_n ）（ｎ＝１、・・・、ｍ）と表せる。

次にフォーカスマップ補正部３２は、ステップＳ１７として、変数ｎ_tmp の値から基準座標更新直前の撮像枚数を読出し、ｎ＝ｎ_tmp として退避していたｎの値を戻す。そして次にフォーカスマップ補正部３２は、ステップＳ１８において、時刻変数ｔの値をｔ＝ｔ_tmpと更新した後、処理をステップＳ８に戻し、撮像処理を再スタートする。

この図６の処理フローによって撮像された画像は、ホストシステム２０の補助記憶装置８３にその座標情報と関連づけてデータベース化して保存される。そしてユーザは、観察体７０の撮像後に、あたかも現在観察体７０を撮影しているようにモニター２１上に撮像画像を表示させることが出来る。またその画像は、全て観察体７０に対してピントが合っている。またユーザが、表示画像のＸＹ座標を変更すると、複数の撮像画像があたかも１枚の画像のようにシームレスに表示される。

このように、本実施形態の顕微鏡システム１では、観察体７０に対する撮像を行っている最中に撮像時間が規定時間に達するとフォーカスマップを更新する。これにより、熱的な要因によるフォーカスドリフトが生じても、その影響をほとんど受けずに観察体の多点観察を高速且つ明瞭に行うことができる。

次に本実施形態の顕微鏡システム１における第２の処理例を示す。
この第２の処理例では、熱ドリフトによって対物レンズの焦点深度を超えてズレが生じてしまい、ピントが合わなくなってしまうに対処したものである。

図６に示した処理によっても、基準座標更新時間ｔ_std の値を小さくすることによって上記問題点は解決されるが、基準座標更新時間ｔ_std を小さくするとフォーカスマップの更新を頻繁に行うこととなり、撮像時間がかかる。

それに対して第２の処理例では、焦点深度を超えてズレが生じているのを検出し、像がボケ始めたところから撮像をやり直す。これにより上記問題点を解決すると共に、高速な撮像を行うことが出来る。

図７は、この第２の処理例における顕微鏡システム１の動作処理を示すフローチャートである。
同図中、ステップＳ２１乃至ステップＳ３３までの処理は、図６のステップＳ１乃至ステップＳ１３の処理と基本的に同じ内容なので説明は省略する。

ステップＳ２８乃至ステップＳ３３に示した撮像処理中に時間が経過し、その結果ステップＳ２９において、これまで撮像に費やされた時間が基準座標更新時間ｔ_std に達しておりｔ_tmp −ｔ＞ｔ_stdならば（ステップＳ２９、Ｙｅｓ）、ステップＳ３４としてフォーカスマップ補正部３２は、ｎ_tmp ＝ｎを行い、基準座標更新時間に達する直前の撮像枚数を変数ｎ_tmpに退避させる。

そしてフォーカスマップ補正部３２は、ステップＳ３５として再度基準座標全てに対してＡＦを行い、各基準座標のｚ座標を更新し、得られた結果をＰ_stn ’（ｘ_stn ，ｙ_stn，ｚ’_stn ）としてホストシステム２０のメモリに格納する。

またフォーカスマップ補正部３２は、ステップＳ３６として、ステップＳ３５で更新されたフォーカスマップを用いて分割領域９２の合焦予測位置を再度算出し、得られた結果をＰ_n ’（ｘ_n ，ｙ_n ，ｚ’_n）（ｎ＝１、・・・、ｍ）としてホストシステム２０のメモリに格納する。

次にフォーカスマップ補正部３２は、ステップＳ３７として退避した撮像枚数のカウンタ値ｎ_tmp をメモリから読出し、ｎ_tmp までの合焦予測座標Ｐ_ntmp、とＰ’_ntmpのｚ座標のズレが焦点深度を超えているかどうかを判断する。この判定は、焦点深度をｆｄとすると、｜Ｐ_ntmp−Ｐ’_ntmp｜＞ｆｄとなったときｚ座標のズレが焦点深度を超えたものと判定する。そしてｚ座標のズレが焦点深度を超えていた場合には、すでに撮像した画像がボケている可能性がある。

したがって、ステップＳ３７において、ｚ座標のズレが焦点深度を超えたものと判定したとき（ステップＳ３７、Ｙｅｓ）、ステップＳ３８として、フォーカスマップ補正部３２は、ｚ座標のズレが焦点深度を超えた際の撮影カウント数をｎ_overとしてホストシステム２０のメモリに格納する。

続いてフォーカスマップ補正部３２は、ステップＳ３９として、退避した撮像枚数のカウンタ値ｎ_tmp をｎ_over−１に更新する。これにより、ｚ座標のズレが焦点深度を超える直前の撮像から撮像処理をやり直すこととなる。

なおステップＳ３７において、フォーカスマップ補正部３２が、ｚ座標のズレが焦点深度を超えていないものと判定したとき（ステップＳ３７、Ｎｏ）、上述したステップＳ３８、Ｓ３９の処理はスキップする。

次にフォーカスマップ補正部３２は、ステップＳ４０としてステップＳ３５でメモリに格納した基準座標Ｐ_stn ’（ｘ_stn ，ｙ_stn，ｚ’_stn ）をＰ_stn （ｘ_stn ，ｙ_stn ，ｚ_stn）として、基準座標を更新する。またステップＳ３６でメモリに格納したＰ_n ’（ｘ_n ，ｙ_n ，ｚ’_n）（ｎ＝１、・・・、ｍ）をＰ_n （ｘ_n ，ｙ_n ，ｚ_n ）（ｎ＝１、・・・、ｍ）として合焦予測座標もまた更新する。

そして次にフォーカスマップ補正部３２は、ステップＳ４１として基準座標更新直前の値であるｎ_tmp の値を読出し、これに＋１した値をカウンタ値ｎにセットする。そしてステップＳ４２としてフォーカスマップ補正部３２は、時刻変数ｔの値をｔ＝ｔ_tmpと更新した後、処理をステップＳ２８に戻し、撮像処理を再スタートする。

このように図７に示した第２の動作例によれば、図６の動作例の効果に加え、ｚ座標のズレが焦点深度を超えてしまった場合でも、ボケだ画像ではなく焦点のあった画像を取り直すことが出来る。

なお図６及び図７のフローでは、フォーカスマップの更新を経過時間を条件にして行っていたが、他の条件、例えば熱変化を条件にして、フォーカスマップの更新を行うようにしても良い。あるいは例えば１０枚撮像する毎等、撮像した枚数を条件にしてフォーカスマップの更新を行うようにしても良い。更には観察体７０とのｚ座標方向の距離を１乃至複数点で測る距離センサを設け、この距離センサの値が特定値以上変化した場合にフォーカスマップの更新を行うようにしても良い。

熱変化によってフォーカスマップを更新するようにするには、熱センサを顕微鏡装置１０本体や電動ステージ１４に設け、その出力をホストシステム２０が検出できるように構成する。そして熱センサによる値が一定範囲を超えたならばフォーカスマップを更新するようにする。これにより、熱的な要因によるフォーカスドリフトが生じても、その影響をほとんど受けずに観察体の多点観察を高速且つ明瞭に行うことができる。

また図６及び図７のフローに示す処理では、フォーカスマップの更新は、常に一定時間毎に行われるが、本実施形態はこのような方法に限定されるものではなく、例えば最初はフォーカスマップの更新までの時間を短くし、時間が経つ毎に更新までの時間を長くするようにしても良い。

さらに基準座標更新時間ｔ_std は、常に一定の値であったが顕微鏡装置１０で用いられる対物レンズ１２の種類によって変更するようにしても良い。

本実施形態に係る顕微鏡システムの構成の一例を示した概念図である。 ホストシステムの構成例を示す図である。 フォーカスマップ作成部によって行われるフォーカスマップの作成を説明する図である。 フォーカスマップから基準座標と基準座標の間にある各領域の合焦予測位置を説明する図である。 フォーカスマップの基準座標の設定の仕方を示す図である。 本実施形態の顕微鏡システムによる観察体の撮影時の処理を示すフローチャートである。 本実施形態の顕微鏡システムによる観察体の撮影時の第２の処理例を示すフローチャートである。

符号の説明

１ 顕微鏡システム
１０ 顕微鏡装置
１１ 観察用光学系
１２ 対物レンズ
１３ ビデオカメラ
１４ 電動ステージ
１５ ステージＸ−Ｙ駆動制御部
１６ ステージＺ駆動制御部
１７ 落射光源
１８ 透過光源
２０ ホストシステム
２１ モニター
３０ 熱ドリフト補正装置
３１ フォーカスマップ作成部
３２ フォーカスマップ補正部
４０ ＴＶコントローラ
５０ ビデオ信号入力ボード
６０ 顕微鏡コントロール部
７０ 観察体
８１ ＣＰＵ
８２ 主記憶装置
８３ 補助記憶装置
８４ 入出力装置
８５ ネットワーク接続装置
８６ 媒体読み取り装置
８７ 可搬記憶媒体
８８ バス
９１ 撮像範囲
９２ 分割領域

Claims (4)

1. 観察体の観察を行う顕微鏡装置と、当該顕微鏡装置を制御する情報処理装置を有する顕微鏡システムにおいて、
   前記観察体の任意の位置での合焦位置を取得する合焦座標取得部と、
   前記任意の位置及び前記合焦座標を、基準座標として記憶する記憶部と、
   前記基準座標を用いて予測を行い、前記観察体を観察する観察領域に分布する合焦座標を示すフォーカスマップを作成するフォーカスマップ作成部と、
   予め定められた条件を満たしたとき前記フォーカスマップを更新するフォーカスマップ補正部と、
   前記フォーカスマップを用いて前記観察領域を複数の分割領域に分割して撮像を行う撮像部と、
   前記撮像部が撮像した画像を前記観察領域における位置を示す情報と関連づけて格納する画像記憶部と、
   前記フォーカスマップ補正部が前記フォーカスマップを更新するとき、前記更新したフォーカスマップの合焦点座標の、前記顕微鏡装置の対物レンズと前記観察体とを結ぶ光軸方向であるＺ軸方向のズレが前記対物レンズの焦点深度を超えたかどうかを検出し、前記焦点深度を超えたとき、前記撮像部に前記検出を行う直前に撮像した分割領域を再び撮像させる焦点深度補正部と、
   を備えることを特徴とする顕微鏡システム。
2. 前記フォーカスマップを用いて前記観察領域を複数の分割領域に分割して撮像を行う撮像部を更に備え、
   前記フォーカスマップ補正部は、前記撮影部が特定枚数の画像を撮像するごとに前記フォーカスマップを更新することを特徴とする請求項１に記載の顕微鏡システム。
3. 観察体の観察を行う顕微鏡システムにおけるフォーカスドリフトの補正方法であって、
   前記観察体の任意の位置での合焦位置を取得し、
   前記任意の位置及び前記合焦座標を、基準座標として記憶し、
   前記基準座標を用いて予測を行い、前記観察体を観察する観察領域に分布する合焦座標を示すフォーカスマップを作成し、
   予め定められた条件を満たしたとき前記フォーカスマップを更新し、
   前記フォーカスマップを用いて前記観察領域を複数の分割領域に分割して撮像を行い、
   前記撮像した画像を前記観察領域における位置を示す情報と関連づけて格納し、
   前記フォーカスマップを更新するとき、前記更新したフォーカスマップの合焦点座標の、前記顕微鏡システムの対物レンズと前記観察体とを結ぶ光軸方向であるＺ軸方向のズレが前記対物レンズの焦点深度を超えたかどうかを検出し、前記焦点深度を超えたとき、前記検出を行う直前に撮像した分割領域を再び撮像させる
   ことを特徴とするフォーカスドリフトの補正方法。
4. 観察体の観察を行う顕微鏡装置に接続された情報処理装置で実行されるプログラムであって、
   前記観察体の任意の位置での合焦位置を取得し、
   前記任意の位置及び前記合焦座標を、基準座標として記憶し、
   前記基準座標を用いて予測を行い、前記観察体を観察する観察領域に分布する合焦座標を示すフォーカスマップを作成し、
   予め定められた条件を満たしたとき前記フォーカスマップを更新し、
   前記フォーカスマップを用いて前記観察領域を複数の分割領域に分割して撮像を行い、
   前記撮像した画像を前記観察領域における位置を示す情報と関連づけて格納し、
   前記フォーカスマップを更新するとき、前記更新したフォーカスマップの合焦点座標の、前記顕微鏡装置の対物レンズと前記観察体とを結ぶ光軸方向であるＺ軸方向のズレが前記対物レンズの焦点深度を超えたかどうかを検出し、前記焦点深度を超えたとき、前記検出を行う直前に撮像した分割領域を再び撮像させる
   ことを前記情報処理装置に実行させるプログラム。