JP6146265B2 - 顕微鏡システムおよびオートフォーカス方法 - Google Patents

Description

本技術は、顕微鏡システムおよびそのオートフォーカス方法に関する。

近年、標本内の蛍光物質の分布を観察でき、かつ、その蛍光物質を鮮明で定量性のよい画像データとして取得することができる生体観察装置が開示されている（例えば、特許文献１参照）。この生体観察装置では、明視野画像および蛍光画像を取得し、これらの画像を合成している。

また、近年、複数の画像として撮影された被写体を含めた画像全体の動き（グローバル動きベクトル、Global Motion Vector、ＧＭＶ）を算出する方法（Global Motion vector Estimation、ＧＭＥ）が開示されている（例えば、特許文献２参照）。

特開２００９−１７５６６１号公報 特開２００９−６５３３２号公報

しかし、特許文献１の生体観察装置では、ピント合わせは手動で行われており、明視野画像および蛍光画像の両方を撮影しているにも拘わらず、それらの画像から得られる情報をフィードバックすることによる撮影の適正化やオートフォーカス（ＡＦ）機能の適正化は行われていなかった。

このように、これまでの顕微鏡撮影では、顕微鏡撮影を自動化する上で重要なオートフォーカス機能には不十分な点が多々あった。

以上のような事情に鑑み、本技術の目的は、適切なオートフォーカス機能を実現した顕微鏡システムおよびそのオートフォーカス方法を提供することにある。

上記目的を達成するため、本技術の一形態に係る顕微鏡システムは、蛍光染色された生体標本を載置し、移動可能なステージと、前記ステージ上に載置された前記生体標本の明視野画像を撮像する明視野画像撮像部と、前記ステージ上に載置された前記生体標本の蛍光画像を撮像する蛍光画像撮像部と、異なる時刻において前記明視野画像撮像部に前記明視野画像を各々撮像させ、前記明視野画像の撮影ごとに、撮像された前記明視野画像と前回の時刻に撮像された前記明視野画像との間の動きを算出し、前記動きを打ち消すように、前記ステージを移動させ、前記蛍光画像撮像部に前記蛍光画像を撮像させる制御部とを具備する。

上記目的を達成するため、本技術の一形態に係る顕微鏡システムでは、前記制御部は、前記明視野画像の撮像、前記動きの算出、前記ステージの移動、および前記蛍光画像の撮像を繰り返す構成でもよい。

上記目的を達成するため、本技術の一形態に係る顕微鏡システムは、前記撮像に用いる対物レンズをさらに具備し、前記制御部は、前記対物レンズの焦点位置を探索するために用いる、前記対物レンズの光軸に直交するＸＹ平面内の領域を検波枠として設定し、前記蛍光画像において、ＲＯＩ（Region of interest）領域を設定し、連続して撮像された複数の前記蛍光画像に基づいて、前記ＲＯＩ領域の動きを算出し、前記ＲＯＩ領域の動きに基づいて、前記検波枠を前記ＸＹ平面内で移動させる構成でもよい。

上記目的を達成するため、本技術の一形態に係る顕微鏡システムは、前記ステージの温度を計測する温度センサと、前記ステージの温度と前記ステージの前記光軸方向の歪みとの関係情報を予め記憶した記憶部とをさらに具備し、前記制御部は、前記温度センサから前記ステージの温度を取得し、取得した前記温度に基づき、前記関係情報を参照して、前記焦点位置を探索する前記光軸方向の範囲を設定する構成でもよい。

上記目的を達成するため、本技術の一形態に係る顕微鏡システムでは、前記制御部は、前記明視野画像間の前記動きを打ち消すように、前記ステージを移動させるために必要な時間を算出し、算出した前記時間が前記明視野画像の撮影間隔より長いとき、前記ステージの前記移動を無効化し、前記明視野画像間の前記動きを前記記憶部に記憶させる構成でもよい。

上記目的を達成するため、本技術の一形態に係るオートフォーカス方法では、明視野画像撮像部が移動可能なステージ上に載置され蛍光染色された生体標本の明視野画像を異なる時刻において撮像し、制御部が撮像した各時刻の前記明視野画像間の動きを算出し、制御部が前記動きを打ち消すように、前記ステージを移動させ、前記ステージの移動後、蛍光画像撮像部が前記生体標本の蛍光画像を撮像する。

以上のように、本技術によれば、適切なオートフォーカス機能を実現することが出来る。

なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。

本技術を用いたレーザ走査型顕微鏡システムの構成図である。 本実施形態の顕微鏡システム１において行われるズレの補正の流れについて、全体的な処理を説明するフローチャートである。 撮影する蛍光画像に対して検波枠Ｆが適切に設定されている例を示す図である。 ＸＹ方向の動きベクトルの算出について、詳細を説明するためのフローチャートである。 蛍光画像においてＲＯＩ領域を求めた様子を示す図である。 蛍光画像においてＲＯＩ領域を拡張した様子を示す図である。 蛍光画像において輝度重心を求めた様子を示す図である。 蛍光画像において重心エリアを複数のブロックに分割した様子を示す図である。 蛍光画像において、ブロックごとに動きベクトルを算出した様子を示す図である。 時刻ごとのＸＹＺ方向の位置をプロットした点を繋ぎ、細胞が移動した軌跡を表した図である。 複数時刻のＺスタックを用いて、ある細胞の動きを追尾し、その細胞の３次元での動きベクトル（３Ｄ ＭＶ）を算出する方法の概略を説明する概略図である。 本実施形態における解析処理の流れについて説明するためのフローチャートである。 本変形例における解析処理の流れについて説明するためのフローチャートである。

以下、本技術に係る実施形態を、図面を参照しながら説明する。
＜第１の実施形態＞
本実施形態では、本技術のオートフォーカス方法、より具体的には、オートフォーカスを行うために検波を行う範囲の設定方法を、レーザ走査型顕微鏡システムに適用した場合の構成について説明する。なお、本技術は、レーザ走査型顕微鏡以外にも適用できるものである。

［背景］
タイムラプス観察という顕微鏡による細胞の観察方法では、長時間の撮影必要になる。オートフォーカスによる長時間の撮影では、オートフォーカスの対象範囲（検波枠）のズレやフォーカスのズレが発生する。

例えば、検波枠のズレは、ドリフトや細胞の経時変化（細胞の個別の動き）などに起因し、観察者が観察したい対象である被写体が検波枠から外れてしまうものである。被写体が検波枠から外れると、適切にオートフォーカスすることは出来ない。また、フォーカスのズレは、温度変化による顕微鏡の歪みなどに起因するものである。

ここで、ドリフトとは、観察対象の試料が、細胞培養のディッシュであったり、ｉｎ ｖｉｖｏの観察であったりする場合に、撮影される画像内の被写体が同じ方向にずれてしまうことを言う。また、細胞の個別の動きとは、個々の細胞が、独立して移動する動きである。

検波枠のズレは、顕微鏡の対物レンズの光軸に直交する方向をＸＹ方向、光軸の方向をＺ方向とすると、ＸＹ方向のズレである。また、フォーカスのズレは、Ｚ方向のズレである。

本技術は、上記の、時間の経過による、ドリフト、細胞の個々の移動、温度変化による歪みによって生じた様々なズレを補正し、オートフォーカス用に検波する範囲を適切に設定するものである。

なお、ピントを合わせるためのオートフォーカス方法それ自体、例えばコントラストによるオートフォーカス方法や位相差によるオートフォーカス方法などは、公知の方法を用いるものである。

［顕微鏡システムの構成］
上述したように、本実施形態では、本技術をレーザ走査型顕微鏡システムに用いた構成を説明する。図１は、本技術を用いたレーザ走査型顕微鏡システムの構成図である。

顕微鏡システム１は、レーザ光源ユニット１０、スキャナユニット２０、顕微鏡３０、顕微鏡コントローラ４０、システムコントロールＰＣ（Personal Computer）５０を具備している。なお、システムコントロールＰＣ５０で行われる画像解析などの処理は、ローカルネットワーク上にある画像解析サーバ１００、またはインターネットクラウド上にある画像解析クラウドサーバ２００により行われてもよい。

レーザ光源ユニット１０は、蛍光標識された細胞などの標本から蛍光を発生させるための励起光を生成する。生成された励起光は、スキャナユニット２０に導入される。

レーザ光源ユニット１０は、レーザコントローラ１１を具備しており、レーザコントローラ１１により、励起光の強度や発光間隔などが制御される。

スキャナユニット２０は、スキャナコントローラ２１、ガルバノミラー２２、ダイクロイックミラー２３、および光検出器２４（蛍光画像撮像部）を具備している。

ガルバノミラー２２は、レーザ光源ユニット１０から導入された励起用のレーザ光が顕微鏡３０のステージ３５上に置かれた標本の水平方向（ＸＹ方向）に移動して照射されるように、Ｘ方向およびＹ方向それぞれでレーザ光の向きを変更する。ガルバノミラー２２で方向を整えられたレーザ光は、ダイクロイックミラー２３を透過後、顕微鏡３０に導入される。顕微鏡３０に導入されたレーザ光は、標本に照射され、照射により励起された蛍光が顕微鏡３０からスキャナユニット２０に戻ってくる。

ダイクロイックミラー２３は、顕微鏡３０から戻ってきたレーザ光および蛍光のうち、蛍光のみを光検出器２４に向けて反射させる。

光検出器２４は、一般にＰＭＴ（Photomultiplier Tube、光電子増倍管）が用いられ、レーザ光が照射された標本において励起された蛍光を検出する。なお、共焦点顕微鏡の場合、光路上、光検出器２４の手前にピンホールが設置される。このピンホールが設置される位置は、後述する対物レンズ３２の焦点位置と共役位置にある。

スキャナコントローラ２１は、標本をＸＹ方向に走査するために、ガルバノミラー２２を制御したり、光検出器２４を制御したりする。光検出器２４により検出された信号は、走査されるＸＹ平面上の１点ごとの輝度値として、システムコントロールＰＣ５０に伝送される。

顕微鏡３０は、フィルタ３１、対物レンズ３２、ステージ３５、ステージ駆動部３４、結像レンズ３６、撮像部３７（明視野画像撮像部）、および温度センサ３８を具備している。なお、ステージ３５上には、観察が行われる標本が載置される。

フィルタ３１は、スキャナユニット２０から導入されたレーザ光を対物レンズ３２に導く。また、フィルタ３１は、レーザ照射により標本から発生した蛍光をスキャナユニット２０に導いたり、明視野光源（図示せず）から標本に照射され、反射または透過した光を結像レンズ３６に導いたりする。

対物レンズ３２は、フィルタ３１を経由してスキャナユニット２０から導入されたレーザ光を、対物レンズ３２の焦点位置に集光させる。また、対物レンズ３２は、標本から発生した蛍光を、フィルタ３１を介してスキャナユニット２０に導いたり、明視野光源から標本に照射された光を、フィルタ３１を介して結像レンズ３６に導いたりする。

ステージ３５には、標本が載置される、ステージ３５は、ステージ駆動部３４により、対物レンズ３２の光軸と垂直なＸＹ方向に、そして対物レンズ３２の光軸に沿ったＺ方向に、ステージ３５を移動される。

結像レンズ３６は、対物レンズ３２およびフィルタ３１を透過してきた明視野光を撮像部３７の撮像素子（図示せず）上に結像させる。

撮像部３７は、結像レンズ３６により撮像素子上に結像した明視野画像を撮像する。撮像された画像は、システムコントロールＰＣ５０に送られ、解析される。

温度センサ３８は、顕微鏡３０内の温度を計測し、計測値をシステムコントロールＰＣ５０に送る。温度センサ３８を設置する位置は、Ｚ方向のフォーカスのズレを発生させる温度変化を検知できる位置であれば、顕微鏡３０内のどの位置に設置されてもよい。

顕微鏡コントローラ４０は、システムコントロールＰＣ５０からの、オートフォーカスや細胞追尾露光などに関する指示、特に、上述した、ドリフトや個々の細胞の動き、温度変化によるズレを補正する指示に基づき、ステージ駆動部３４に対し、ステージ３５を移動させる。

システムコントロールＰＣ５０は、制御部５１および記憶部５２を具備している。

制御部５１は、顕微鏡システム１全体の制御を行ったり、光検出器２４で検出された輝度値とその輝度値が検出されたＸＹ平面上の座標値とから蛍光画像を合成したり、合成された蛍光画像を解析して最適なレーザ光強度を算出してレーザ光の強度を制御したりする。また、制御部５１は、上述した通り、顕微鏡コントローラ４０を制御し、顕微鏡３０のオートフォーカス機能や細胞追尾露光などの機能を実現する。

また、制御部５１は、ドリフトの動きをＧＭＥなどの方法によりＧＭＶとして算出したり、個々の細胞の動きを算出したり、顕微鏡３０内で計測された温度に基づくＺ方向のフォーカスのズレを判断したりする。制御部５１は算出したズレを補正するように、顕微鏡コントローラ４０に指示を出す。なお、制御部５１は、ＣＰＵ（Central Processing Unit）により、記憶部５２に記憶されたプログラムが実行されることにより実現される。

記憶部５２は、ハードディスクドライブや半導体メモリにより構成され、ＣＰＵで実行される上記のプログラム群や、スキャナユニット２０から取得された蛍光画像、そして、温度・Ｚ方向位置変動テーブル５２ａ（関係情報）などが記憶される。記憶部５２に記憶される温度・Ｚ方向位置変動テーブル５２ａは、顕微鏡３０内の温度と、ステージ３５のＺ方向の位置変動（フォーカスのズレ）との関係を予め計測したものである。

以上、顕微鏡システム１の構成について概略を説明した。

［ズレに対する対策の概要］
（ドリフトの対策）
本実施形態では、観察者が最終的に観察したい画像は蛍光画像である。しかし、蛍光画像のみではドリフトを検出することが困難である為、明視野画像を用いることにより、適切なドリフトの検出を行っている。

ドリフトは、細胞群全体の動きであるから、まず細胞群にピントを合わせて明視野画像を撮影し、その明視野画像に基づいて、ＧＭＥなどの方法により、ＧＭＶすなわち、細胞群全体のドリフトの動きを検出する。検出したＧＭＶに基づき、可能な場合はＸＹ方向にステージ３５を移動させ、ＧＭＶを打ち消すように、補正が行われる。

ドリフトの補正を行ってから、蛍光部分にピントを合わせて蛍光画像を撮影することにより、個々の細胞の独立した動きや蛍光部分の移動のみを蛍光画像として撮影することが出来る。

なお、マーカ（ビーズなど）を用いることにより、明視野画像を用いずに蛍光画像のみを用いてドリフトを検出することが出来るが、その場合、蛍光画像にマーカが映り込んでしまい、マーカと蛍光部分が重なり合う場合は、適切な解析が行えない場合もある。そのため、本技術のように、蛍光画像に写り込むマーカは用いずに、明視野画像を用いてドリフトを検出することが好ましい。

なお、明視野画像を用いてドリフトを検出する際には、蛍光画像に写り込まず明視野画像のみに写すことが出来るマーカを用いてもよい。

（細胞（蛍光体）の個々の動きに対する対策）
観察者が観察したい領域（ＲＯＩ領域）の動き（ズレ）を、２枚の蛍光画像の差分（差分絶対値和（ＳＡＤ）など）から求める。そして、求めた動き（動きベクトル）に合わせて、オートフォーカスを行う検波枠をＸＹ方向に移動させることにより、ＲＯＩ領域のズレに対応することが出来る。

（温度変化によるズレに対する対策）
予め、温度と、その温度におけるＺ方向のステージ３５の変位との関係を計測し、温度・Ｚ方向位置変動テーブル５２ａを作成する。実際の観察時には、顕微鏡３０内の温度を計測し、計測した温度に基づいて温度・Ｚ方向位置変動テーブル５２ａを参照することにより、オートフォーカスを行う際の、Ｚ方向の検波範囲を適切に決定することが出来る。

以上、タイムラプス観察など長時間観察時に発生する３つのズレに対する対策の概要について説明した。

［全体の処理］
次に、本実施形態の顕微鏡システム１において行われるズレ補正の処理について、全体的な流れを説明する。図２は、本実施形態の顕微鏡システム１において行われるズレの補正の流れについて、全体的な処理を説明するフローチャートである。

最初に、システムコントロールＰＣ５０の制御部５１は、観察を終了するか否かを判断する（ステップＳ１０）。

観察を行う場合（ステップＳ１０のＮ）、制御部５１は、以下の処理を、観察が終了するまで繰り返す。

次に、制御部５１は、顕微鏡コントローラ４０などに指示して、標本の明視野画像を撮影させる（ステップＳ２０）。このとき、ピントは蛍光体ではなく、細胞に合うようにオートフォーカスが制御される。なお、ここでは明視野画像を用いるとしたが、これに限らず、位相差像や微分干渉像などを用いてもよい。

次に、制御部５１は、取得した明視野画像（時刻ｔ＝ｎのもの、ｎは正の実数）と記憶してある明視野画像（時刻ｔ＝ｎ−１のもの）から、ＧＭＥなど公知の方法によりＧＭＶを算出し、算出したＧＭＶをドリフト量とする（ステップＳ３０）。

次に、前ステップにおいて算出したドリフト量に対する補正をステージ３５の移動により行うことが可能か否かを判断する（ステップＳ４０）。ここでいう移動が可能か否かとは、１つの撮影が終わった後、次の撮影までの時間内に、ドリフト量を打ち消す方向にステージ３５の適切な移動を行うことが出来るか否かということである。次の撮影までの時間が短い場合、適切に移動させることは出来ないと判断される。

補正をステージ３５の移動により行うことが出来る場合（ステップＳ４０のＹ）、制御部５１は、ステージ駆動部３４を用いて、ステージ３５をＸＹ方向の適切な位置に移動させる（ステップＳ５０）。

補正をステージ３５の移動により行うことが出来ない場合（ステップＳ４０のＮ）、制御部５１は、観察（撮影）終了後の解析時に補正が行えるように、ドリフト量を記憶部５２などに記憶させ保存する（ステップＳ６０）。

ステップＳ２０からここまでの処理が、ドリフトに対する対策の処理となる。

次に、制御部５１は、顕微鏡システム１の各部に指示を出し、蛍光画像を撮影させる（ステップＳ７０）。このとき、ピントは、蛍光体に合わせられる。

次に、制御部５１は、撮影した蛍光画像を用いて、ＸＹ方向の動きベクトル（ＭＶ）の算出を行う（ステップＳ８０）。この処理の詳細は、後述する。

次に、制御部５１は、前ステップで算出した動きベクトルに基づいて、オートフォーカスの検波枠をＸＹ方向に移動させる（ステップＳ９０）。図３は、撮影する蛍光画像に対して検波枠Ｆが適切に設定されている例を示す図である。

ステップＳ８０からステップＳ９０までの処理が、細胞の個々の移動による検波枠からのズレに対する対策である。

次に、制御部５１は、顕微鏡３０内の温度を温度センサ３８により計測する。そして、計測値を温度・Ｚ方向位置変動テーブル５２ａと照らし合わせて、Ｚ方向のズレを補正する（ステップＳ１００）。この補正により、オートフォーカスにおいて検波を行うＺ方向の範囲が適切に設定される。このステップが温度変化によるズレへの対策である。

次に、制御部５１は、適切に設定された検波枠（ＸＹ方向のオートフォーカス対象範囲）および検波範囲（Ｚ方向のオートフォーカス対象範囲）を用いて、ピントを合わせる（ステップＳ１１０）。ピント合わせの方法は、上述したとおり、公知の方法を用いればよい。

以上、本実施形態の顕微鏡システム１において行われるズレ補正の処理について、全体的な流れを説明した。

［ＸＹ方向の動きベクトルの算出］
次に、全体の処理の流れで上述した、ＸＹ方向の動きベクトルの算出について、詳細を説明する。図４は、ＸＹ方向の動きベクトルの算出について、詳細を説明するためのフローチャートである。

最初に、制御部５１が、観察者からＲＯＩ領域（蛍光体のある領域）の指定を受け付けるか、または制御部５１がＲＯＩ領域を検出する（ステップＳ８１）。図５は、蛍光画像においてＲＯＩ領域を求めた様子を示す図である。

次に、制御部５１が、ＲＯＩ領域の拡張処理を行う（ステップＳ８２）。図６は、蛍光画像においてＲＯＩ領域を拡張した様子を示す図である。この処理は、例えば、輝度の２値化処理により行うことが出来る。すなわち、適切に輝度のしきい値を設けることにより、輝度の低い領域も、ＲＯＩ領域として設定することが出来る。また、例えば、拡張処理を簡略化するのであれば、拡張前のＲＯＩ領域を一定の幅で一律に拡張する方法も考えられる。このＲＯＩ領域の拡張処理は、蛍光の経時的な形状変化に対応するために行うものである。

次に、制御部５１は、拡張されたＲＯＩ領域に対する輝度重心を計算する（ステップＳ８３）。輝度重心とは、それぞれの画素の輝度値を使って求めた重心であり、明るさの中心を示すものである。輝度重心を用いるのは、経時的な変化により蛍光体の形状が変化しても、輝度重心の位置は殆ど変化しないためである。輝度重心の算出方法は公知の方法による。この輝度重心をＸＹ方向の動きを算出するために追跡される指標（マーカ）とすることも出来る。

なお、以下の処理では、ステップＳ８２において拡張され、輝度重心を含む領域を、重心エリアと呼ぶ。図７は、蛍光画像において輝度重心を求めた様子を示す図である。なお、この図では、分かりやすさを考慮して輝度重心を面積のある円として描いているが、実際には輝度重心は点である。

次に、制御部５１は、重心エリアのブロック化を行う（ステップＳ８４）。ブロック化は、ＲＯＩ領域の動きベクトルを計算し易いように、重心エリアを分割するために行う。図８は、蛍光画像において重心エリアを複数のブロックに分割した様子を示す図である。ブロックにより蛍光領域の殆どが覆われていることが分かる。なおブロックは、輝度重心の位置に１つだけ設けてもよい。複数のブロックを用いるのは、蛍光体が広く同程度の輝度で分布している場合である。

次に、制御部５１は、ブロックごとに、ＳＡＤ（差分絶対値和）計算など公知の方法により、動きベクトルを算出する（ステップＳ８５）。図９は、蛍光画像において、ブロックごとに動きベクトルを算出した様子を示す図である。

以上、ＸＹ方向の動きベクトルの算出について、詳細を説明した。

［変形例１］
ここでは、上述した第１の実施形態の構成の変形例を説明する。上記の構成では、細胞（蛍光）の動きに合わせ、ステージ３５をＸＹ方向およびＺ方向に移動させて経時的な撮影を行っている。それに対し、この変形例では、さらに、撮影を行うごとに撮影を行ったときのステージ３５の位置を記憶し蓄積しておく。そして、解析時に時刻ごとのＸＹ方向およびＺ方向の位置をプロットすることにより、細胞が３次元空間内をどのように移動したか、その軌跡を見ることが出来る。図１０は、時刻ごとのＸＹＺ方向の位置をプロットした点を繋ぎ、細胞が移動した軌跡を表した図である。

以上、第１の実施形態について説明した。

＜第２の実施形態＞
第１の実施形態では、経時的に蛍光画像を撮影する際に発生する様々なズレを補正してオートフォーカス撮影する技術について説明した。すなわち、第１の実施形態の技術は撮影の適正化を図るものであった。これに対し、第２の実施形態で説明する技術は、撮影後の解析時に、解析者の負荷を軽減するためのものである。

なお、第１の実施形態の構成は、ある時刻、あるＸＹ方向の位置において、最もピントの合った蛍光画像を撮影するものであったのに対し、この実施形態の構成では、ある時刻、あるＸＹ方向の位置において、複数のＺ方向の焦点位置における蛍光画像を撮影する。すなわち、ピントの合っていない画像も撮影されることになる。この様なＺ方向の焦点位置のみ異なる複数の画像のセットをここでは「Ｚスタック」と呼ぶ。

Ｚスタックを構成する画像の焦点位置としては、例えば、標本の試料を載せるスライドガラスの上面から試料を覆うカバーガラスの下面までの範囲で、所定の間隔ごとに決められた位置を用いることが出来る。

［構成］
この実施形態は、撮影された複数枚の画像を解析するものであるので、一般的なＰＣを用いることが出来る。一般的なＰＣにおいて、以下の解析を行うプログラムにより、ＰＣのＣＰＵで実現される機能ブロックをここでは解析部と呼ぶ。

［３次元トラッキング（細胞追尾）のイメージ］
ここでは、複数時刻のＺスタックを用いて、ある細胞の動きを追尾し、その細胞の３次元での動きベクトルを算出する方法の概略を説明する。図１１は、複数時刻のＺスタックを用いて、ある細胞の動きを追尾し、その細胞の３次元での動きベクトル（３Ｄ ＭＶ）を算出する方法の概略を説明する概略図である。

まず、時刻ｔ＝１において、Ｚ方向の焦点位置が異なる５枚の蛍光画像を解析する。そして、上から３枚目の画像に追跡したい細胞の蛍光があることが分かったとする。なお、この細胞は、解析者により指定されてもよいし、自動的に検出されてもよい。

次に、時刻ｔ＝２において、解析部は、追跡したい細胞が写っていた３枚目のＺ方向位置の画像と、それに上下方向に隣接する２枚の画像、合計３枚の画像のみを解析する。なお、この３枚の画像を「サーチフレーム」と呼び、実際に動きベクトルを算出する領域を「サーチエリア」と呼ぶ。サイズに関しては、（サーチフレームのサイズ）＞（サーチエリアのサイズ）の関係となる。なお、サーチフレームは、複数枚の画像により構成されていればよく、３枚に限るものではない。図において、サーチフレームは、斜線を引いていない画像により示している。この解析により、上から２枚目のＺ位置の画像に、目的とする細胞が移動したことが分かる。

次に、時刻ｔ＝３において、上から２枚目のＺ位置の画像を中心に、その上下２枚を含む３枚の画像をサーチフレームに設定し、これら３枚のみ、解析を行う。この解析により、目的とする細胞が、上から１枚目のＺ位置の画像に移動したことが分かる。

最期に、目的の細胞が、ｔ＝１において３枚目のＺ位置、ｔ＝２において２枚目のＺ位置、ｔ＝３において１枚目のＺ位置にあることから、３次元の動きベクトル（３Ｄ ＭＶ）を算出する。３Ｄ ＭＶの算出には、３Ｄ ＳＡＤ計算および３Ｄ重心計算を用いてもよい。

このように、本実施形態では、時刻ｔ＝１を除き、ｔ＝ｎにおけるＺスタックを解析する際には、ｔ＝ｎ−１において目的とする細胞があると判断されたＺ位置およびその上下の画像を含んだサーチフレームの画像のみを解析する。そのため、Ｚスタック全ての画像を解析する方法に比べ、より高速に解析を行うことが出来る。

そして、３次元でのトラッキングが出来れば、目的とする細胞への合焦状態を維持したまま、あたかも２次元での動きのように、細胞の経時観察を行うことが出来る。

なお、本実施形態では、時刻ｔ＝ｎ−１において特定された細胞と、時刻ｔ＝ｎにおいて発見された細胞とが同じものであるか否かは、細胞の輝度値とその広がりや標準偏差から総合的に判断を行う。つまり、個々の細胞は非常に似た形状をしており、評価値（ＳＡＤ演算の結果の値）が高くなるベクトルが多く存在することになる。そこで、過去の細胞移動の動きベクトルの情報に基づいて、細胞の推定移動速度を算出し、適切なベクトルを選択する。

以上、複数時刻のＺスタックを用いて、ある細胞の動きを追尾し、その細胞の３次元での動きベクトルを算出する方法の概略を説明した。

［処理の流れ］
次に、本実施形態における解析処理の流れについて説明する。図１２は、本実施形態における解析処理の流れについて説明するためのフローチャートである。

最初に、解析者は、ｔ＝１におけるＺスタックに含まれる蛍光画像から、ＲＯＩ領域（蛍光体の領域）を指定する（ステップＳ２００）。

次に、解析部は、同一時刻のＺスタック内での最大輝度画像を検出する（ステップＳ２１０）。

次に、解析部は、ＲＯＩ領域の拡張処理を行う（ステップＳ８２）。なお、ステップＳ８２からステップＳ８４までの処理は、第１の実施形態と同じ処理である。

次に、解析部は、輝度重心の計算を行う（ステップＳ８３）。

次に、解析部は、重心エリアのブロック化を行う（ステップＳ８４）。

次に、解析部は、次の時刻におけるＺスタックにおける、Ｚ方向のサーチフレームの設定を行う（ステップＳ２２０）。

全ての時刻において、目的とするＲＯＩ領域の位置を特定した後、解析部は、Ｎ個のフレームに亘る（全時刻に亘って特定された）蛍光画像に対して、ブロックＭＥ（Motion vector Estimation、動きベクトル演算）の実行を行う（ステップＳ２３０）。この処理により、３次元での動きベクトルを得ることが出来る。

最後に、解析部は、前ステップで算出した３次元動きベクトルに対し、実距離での補正を行う（ステップＳ２４０）。ここで、３次元動きベクトルを補正するのは、ＸＹ平面内とＺ方向との空間分解能の違いにより隣接する画素間の実空間距離が変わってくるからである。このステップにおいて、実空間距離に基づく重み係数をかけて３次元動きベクトルを補正することにより、より確かな動き推定が可能となる。なお、ここで補正し算出した動きベクトルに基づいて、ＲＯＩ領域にピントを合わせた２次元での経時観察を行うことが出来る。また、上述した第１の実施形態における変形例と同様に、３次元空間でＲＯＩ領域が動いた軌跡を求めることが出来る。軌跡が求まれば、ＲＯＩ領域の実移動距離を算出することが出来る。

なお、ここでは、ＸＹ平面でのＲＯＩ領域の動きを検出し、３次元に拡張したが、これに限らず、分解能に応じて、ＸＺ平面やＹＺ平面でのＲＯＩ領域の動きを検出する方法を用いてもよい。

［変形例２］
ここでは、第２の実施形態に関する変形例を説明する。第２の実施形態では、ＲＯＩ領域の動きに関し、まずＸＹ方向の位置を特定してから、それを３次元に拡張し、Ｚ方向の位置を特定した。これに対し、本変形例では、解析部は、最初から、ＲＯＩ領域の３次元での位置を特定し、３次元空間での正規格子単位であるボクセルに分割してその動きを解析する。

図１３は、本変形例における解析処理の流れについて説明するためのフローチャートである。

最初に、解析者は、ｔ＝１におけるＺスタックに含まれる蛍光画像から、ＲＯＩ領域を指定する（ステップＳ２００）。

次に、解析部は、同一時刻のＺスタック内での最大輝度画像を検出する（ステップＳ２１０）。

次に、解析部は、ＲＯＩ領域の３Ｄ拡張処理（輝度２値化）を行う（ステップＳ３００）。

次に、解析部は、３Ｄ輝度重心の計算を行う（ステップＳ３１０）。

次に、解析部は、重心エリアのボクセル化を行う（ステップＳ３２０）。

次に、解析部は、次の時刻における３次元空間でのサーチ空間の設定を行う（ステップＳ３３０）。

次に、解析部は、ボクセルごとにＳＡＤ計算を行うことにより、ボクセルＭＥ（Motion vector Estimation、動きベクトル演算）を実行する（ステップＳ３４０）。

最後に、解析部は、実距離における動きベクトルの補正を行い、３Ｄ動きベクトルを算出する（ステップＳ２４０）。

以上、第２の実施形態に関する変形例を説明した。

［補足事項］
その他、本技術は、上述の実施形態にのみ限定されるものではなく、本技術の要旨を逸脱しない範囲内において種々変更を加え得ることは勿論である。

［本技術の別の構成］
なお、本技術は以下のような構成もとることができる。
（１）
蛍光染色された生体標本を載置し、移動可能なステージと、
前記ステージ上に載置された前記生体標本の明視野画像を撮像する明視野画像撮像部と、
前記ステージ上に載置された前記生体標本の蛍光画像を撮像する蛍光画像撮像部と、
異なる時刻において前記明視野画像撮像部に前記明視野画像を各々撮像させ、
前記明視野画像の撮影ごとに、
撮像された前記明視野画像と前回の時刻に撮像された前記明視野画像との間の動きを算出し、
前記動きを打ち消すように、前記ステージを移動させ、
前記蛍光画像撮像部に前記蛍光画像を撮像させる
制御部と
を具備する顕微鏡システム。
（２）
前記（１）に記載の顕微鏡システムであって、
前記制御部は、
前記明視野画像の撮像、前記動きの算出、前記ステージの移動、および前記蛍光画像の撮像を繰り返す
顕微鏡システム。
（３）
前記（１）または（２）に記載の顕微鏡システムであって、
前記撮像に用いる対物レンズをさらに具備し、
前記制御部は、
前記対物レンズの焦点位置を探索するために用いる、前記対物レンズの光軸に直交するＸＹ平面内の領域を検波枠として設定し、
前記蛍光画像において、ＲＯＩ領域を設定し、
連続して撮像された複数の前記蛍光画像に基づいて、前記ＲＯＩ領域の動きを算出し、
前記ＲＯＩ領域の動きに基づいて、前記検波枠を前記ＸＹ平面内で移動させる
顕微鏡システム。
（４）
前記（１）から（３）のうちいずれか１つに記載の顕微鏡システムであって、
前記ステージの温度を計測する温度センサと、
前記ステージの温度と前記ステージの前記光軸方向の歪みとの関係情報を予め記憶した記憶部と
をさらに具備し、
前記制御部は、
前記温度センサから前記ステージの温度を取得し、
取得した前記温度に基づき、前記関係情報を参照して、前記焦点位置を探索する前記光軸方向の範囲を設定する
顕微鏡システム。
（５）
前記（１）から（４）のうちいずれか１つに記載の顕微鏡システムであって、
前記制御部は、
前記明視野画像間の前記動きを打ち消すように、前記ステージを移動させるために必要な時間を算出し、
算出した前記時間が前記明視野画像の撮影間隔より長いとき、
前記ステージの前記移動を無効化し、前記明視野画像間の前記動きを前記記憶部に記憶させる
顕微鏡システム。
（６）
明視野画像撮像部が移動可能なステージ上に載置され蛍光染色された生体標本の明視野画像を異なる時刻において撮像し、
制御部が撮像した各時刻の前記明視野画像間の動きを算出し、
制御部が前記動きを打ち消すように、前記ステージを移動させ、
前記ステージの移動後、蛍光画像撮像部が前記生体標本の蛍光画像を撮像する
オートフォーカス方法。

１ … 顕微鏡システム
１０ … レーザ光源ユニット
１１ … レーザコントローラ
２０ … スキャナユニット
２１ … スキャナコントローラ
２２ … ガルバノミラー
２３ … ダイクロイックミラー
２４ … 光検出器
３０ … 顕微鏡
３１ … フィルタ
３２ … 対物レンズ
３３ … 標本
３４ … ステージ駆動部
３５ … ステージ
３６ … 結像レンズ
３７ … 撮像部
３８ … 温度センサ
４０ … 顕微鏡コントローラ
５０ … システムコントロールＰＣ
５１ … 制御部
５２ … 記憶部
５２ａ… 温度・Ｚ方向位置変動テーブル

Claims (5)

1. 蛍光染色された細胞群を含む生体標本を載置し、移動可能なステージと、
   前記ステージ上に載置された前記生体標本の明視野画像を撮像する明視野画像撮像部と、
   前記ステージ上に載置された前記生体標本の蛍光画像を撮像する蛍光画像撮像部と、
   前記撮像に用いる対物レンズと、
   異なる時刻において前記明視野画像撮像部に前記明視野画像を各々撮像させ、
   前記明視野画像の撮像ごとに、
   撮像された前記明視野画像と前回の時刻に撮像された前記明視野画像との間の前記細胞群のドリフトの動きを算出し、
   前記動きを打ち消すように、前記ステージを移動させ、
   前記蛍光画像撮像部に前記蛍光画像を撮像させ、
   前記対物レンズの焦点位置を探索するために用いる、前記対物レンズの光軸に直交するＸＹ平面内の領域を検波枠として設定し、
   前記蛍光画像において、ＲＯＩ領域を設定し、
   連続して撮像された複数の前記蛍光画像に基づいて、前記ＲＯＩ領域の動きを算出し、
   前記ＲＯＩ領域の動きに基づいて、前記検波枠を前記ＸＹ平面内で移動させる
   ように構成された制御部と
   を具備する顕微鏡システム。
2. 請求項１に記載の顕微鏡システムであって、
   前記制御部は、
   前記明視野画像の撮像、前記動きの算出、前記ステージの移動、および前記蛍光画像の撮像を繰り返すように構成された
   顕微鏡システム。
3. 請求項１または２に記載の顕微鏡システムであって、
   前記ステージの温度を計測する温度センサと、
   前記ステージの温度と前記ステージの前記光軸方向の歪みとの関係情報を予め記憶した記憶部と
   をさらに具備し、
   前記制御部は、
   前記温度センサから前記ステージの温度を取得し、
   取得した前記温度に基づき、前記関係情報を参照して、前記焦点位置を探索する前記光軸方向の範囲を設定する
   ように構成された
   顕微鏡システム。
4. 請求項１ないし３のいずれか１項に記載の顕微鏡システムであって、
   前記制御部は、
   前記明視野画像間の前記動きを打ち消すように、前記ステージを移動させるために必要な時間を算出し、
   算出した前記時間が前記明視野画像の撮影間隔より長いとき、
   前記ステージの前記移動を無効化し、前記明視野画像間の前記動きを前記記憶部に記憶させる
   ように構成された
   顕微鏡システム。
5. 明視野画像撮像部が移動可能なステージ上に載置され蛍光染色された細胞群を含む生体標本の明視野画像を異なる時刻において撮像し、
   制御部が撮像した各時刻の前記明視野画像間の前記細胞群のドリフトの動きを算出し、
   制御部が前記動きを打ち消すように、前記ステージを移動させ、
   前記ステージの移動後、蛍光画像撮像部が前記生体標本の蛍光画像を撮像し、
   制御部が、前記撮像に用いる対物レンズの焦点位置を探索するために用いる、前記対物レンズの光軸に直交するＸＹ平面内の領域を検波枠として設定し、
   制御部が前記蛍光画像において、ＲＯＩ領域を設定し、
   制御部が連続して撮像された複数の前記蛍光画像に基づいて、前記ＲＯＩ領域の動きを算出し、
   制御部が前記ＲＯＩ領域の動きに基づいて、前記検波枠を前記ＸＹ平面内で移動させる
   オートフォーカス方法。