JP4720119B2

JP4720119B2 - 顕微鏡観察画像取得方法および顕微鏡システム

Info

Publication number: JP4720119B2
Application number: JP2004200892A
Authority: JP
Inventors: 正文三村
Original assignee: Nikon Corp
Current assignee: Nikon Corp
Priority date: 2004-07-07
Filing date: 2004-07-07
Publication date: 2011-07-13
Anticipated expiration: 2024-07-07
Also published as: JP2006023494A

Description

本発明は、顕微鏡による観察画像の取得方法に関する。

細胞などの標本を観察する培養顕微鏡が知られている。また、標本の複数の観察箇所において、タイムラプス撮影を行うことができる顕微鏡も知られている（特許文献１参照）。このような顕微鏡で複数の観察箇所においてタイムラプス撮影を行うためには、標本を搭載するステージを定期的に順次駆動して複数の観察箇所を巡回して観察する必要がある。

特開２００２−２７７７５４号公報

しかし、一通りの観察箇所を巡った後の同一観察箇所の観察において、ステージ位置決めに誤差が生じる場合がある。ステージ位置決めに誤差が生じると、観察画像がぶれるなどの問題が生じる。このような誤差を少なくするには、高精度に位置決めがなされるステージが必要になる。しかし、装置が高価になり大型化するという問題が生じる。

請求項１に記載の発明は、同一観察箇所について時間的にずれた複数の観察画像を取得する顕微鏡観察画像取得方法において、顕微鏡を通して撮像手段により撮像された第１の観察画像を取得し、前記第１の観察画像の取得後に顕微鏡を通して撮像手段により撮像された第２の観察画像を取得し、前記第１の観察画像を所定の数の領域に分割し、前記第２の観察画像を前記所定の数の領域に分割し、前記分割した領域単位で、前記第１の観察画像と前記第２の観察画像とを、前記第１の観察画像をテンプレートとして第１のテンプレートマッチングを行い、前記分割した領域単位で行った前記第１のテンプレートマッチングの結果に基づき、前記分割した領域単位で、前記第１の観察画像と前記第２の観察画像との第１の位置のずれ量を検出し、前記分割した領域単位で検出した前記所定の数の第１の位置のずれ量に基づき、前記第２の観察画像全体の位置のずれ量を計算し、前記第２の観察画像全体の位置のずれ量に基づき、前記取得した第２観察画像を補正した新たな第２の観察画像を生成することを特徴とする。
請求項４に記載の発明は、同一観察箇所について時間的にずれた複数の観察画像を取得する顕微鏡観察画像取得方法において、顕微鏡を通して撮像手段により撮像された第１の観察画像を取得し、前記第１の観察画像の取得後に顕微鏡を通して撮像手段により撮像された第２の観察画像を取得し、前記第１の観察画像を所定の数の領域に分割し、前記第２の観察画像を前記所定の数の領域に分割し、前記分割した領域単位で、前記第１の観察画像と前記第２の観察画像とを、前記第１の観察画像をテンプレートとして第１のテンプレートマッチングを行い、前記分割した領域単位で行った前記第１のテンプレートマッチングの結果に基づき、前記分割した領域単位で、前記第１の観察画像と前記第２の観察画像との第１の位置のずれ量を検出し、前記分割した領域単位で検出した前記所定の数の第１の位置のずれ量に基づき、前記第２の観察画像全体の位置のずれ量を計算し、前記第２の観察画像全体の位置のずれ量に基づき、前記取得した第２観察画像を補正した新たな第２の観察画像を生成し、前記第２の観察画像の取得後に、顕微鏡を通して撮像手段により撮像された第３の観察画像を取得し、前記新たな第２の観察画像を前記所定の数の領域に分割し、前記第３の観察画像を前記所定の数の領域に分割し、前記分割した領域単位で、前記新たな第２の観察画像と前記第３の観察画像とを、前記新たな第２の観察画像をテンプレートとして第２のテンプレートマッチングを行い、前記第１のテンプレートマッチングは、前記テンプレートと前記第２の観察画像との相対的な位置をずらしながら、前記テンプレートと前記第２の観察画像との相関値を算出する相関演算を行い、前記第２のテンプレートマッチングは、前記テンプレートと前記第３の観察画像との相対的な位置をずらしながら、前記テンプレートと前記第２の観察画像との相関値を算出する相関演算を行い、
前記第１のテンプレートマッチングにおける前記相関が最も高いときの相関値と前記第２のテンプレートマッチングにおける前記相関が最も高いときの相関値との差が所定の値以上である領域については除外し、前記除外対象の領域を除外した前記第２の観察画像と、前記第３の観察画像とを、前記除外対象の領域を除外した前記第２の観察画像をテンプレートとして、前記両者の観察画像全体同士で第３のテンプレートマッチングを行い、前記第３のテンプレートマッチングの結果に基づき、前記観察画像全体で、前記第３の観察画像全体の位置のずれ量を計算し、前記第３の観察画像全体の位置のずれ量に基づき、前記新たな第２の観察画像に対する位置のずれ量が補正された新たな第３の観察画像を生成することを特徴とする。

本発明は、以上説明したように構成しているので、次のような効果を奏する。
テンプレートマッチングなどの画像処理で観察画像の位置ずれを補正しているので、安価な構成で位置ずれが補正された観察画像を取得することができる。特に、位置決め精度の高いステージの駆動機構が不要となり、コストが軽減され、装置の大型化を防ぐことができる。観察画像の位置決め精度の高い顕微鏡システムが、安価かつ小型に実現できる。

−第１の実施形態−
図１は、本発明の第１の実施の形態の顕微鏡システムのブロック図である。本実施の形態の顕微鏡システムは、顕微鏡本体１、カメラ２、ステージ３、制御装置４、ステージ駆動部５、記憶装置６、モニタ７などから構成される。

顕微鏡本体１は、接眼レンズや対物レンズを備えた顕微鏡であり、観察対象の標本をステージ３に搭載して観察する。接眼レンズ側にはＣＣＤなどの撮像素子を備えたカメラ２が装着され、顕微鏡本体１を通して拡大された標本像を撮像する。すなわち、カメラ２は顕微鏡による観察画像を生成し、制御装置４へ出力する。

制御装置４は、マイクロコンピュータおよびその周辺回路などから構成され、ステージ駆動部５を介してステージ３の駆動制御や、カメラ２の撮影制御を行う。制御装置４は、また、カメラ２から取得した観察画像に対して、後述する種々の画像処理を行う。記憶装置６は、カメラ２で撮像され生成された観察画像や、制御装置４で画像処理をした後の観察画像や、制御装置４が使用する種々のデータなどを格納する。

モニタ７は、観察画像などを表示する表示装置である。制御装置４は、カメラ２が撮像した観察画像をリアルタイムにモニタ７に表示することもできるし、記憶装置６に格納された観察画像を表示することもできる。記憶装置６に格納された観察画像には、後述するように動画に編集されて格納されているものもある。

本実施の形態の顕微鏡システムは、自動巡回培養顕微鏡システムとも言い、培養する生物標本などの観察に主に使用される。特に、本実施の形態の顕微鏡システムは、培養する生物標本の複数の観察箇所を所定の時間間隔で巡回して観察し、それぞれの観察箇所においてタイムラプス撮影（微速度撮影）を行うのに適している。これにより、標本の複数の観察箇所において、時間とともに変形したり移動したりする細胞などの観察を行うことができる。

複数の観察箇所でタイムラプス撮影を行うためには、標本が入ったシャーレなどをステージ３に搭載し、ステージ３を適宜駆動制御する必要がある。図２は、複数の観察箇所を巡回して観察画像を取得する様子を説明する図である。図２（ａ）では、例えば、ステージ上のシャーレ１１内で、観察箇所１から観察箇所４が指定されている。観察は、観察箇所１、観察箇所２、観察箇所３、観察箇所４の順で巡回し、所定の時間間隔で繰り返し行われる。図２（ｂ）は、観察箇所１で順次取得される観察画像を示す。

制御装置４は、指定された各観察箇所の座標値に基づき、ステージ駆動部５を介して、各観察箇所が順次対物レンズの直下にくるようにステージ３を駆動する。しかし、ステージの位置決めには物理的誤差があり、同じ座標値に基づきステージ３を駆動しても、顕微鏡視野に若干ずれが生じる。図２（ｂ）に示されている通り、ｔ＝１での顕微鏡視野で取得した観察画像Ｉ１と、一巡してｔ＝２での顕微鏡視野で取得した観察画像Ｉ２と、２巡目のｔ＝３での顕微鏡視野で取得した観察画像Ｉ３との間では、観察対象（被検物）の位置にずれが生じている。

このように観察対象の位置のずれが生じた観察画像を使用して、タイムラプス画像のような動画を再生すると、観察対象がぶれるなどして適切ではない。本実施の形態の顕微鏡システムでは、このような観察対象の位置のずれを画像処理で補正をして、観察対象の位置ずれの生じない適切な観察画像を取得するものである。

図３は、ある同一の観察箇所Ｐで取得したＮ枚の観察画像について、観察対象の位置ずれを補正する制御のフローチャートを示す図である。制御装置４が、所定のプログラムを実行することにより本制御を実行する。符号１２は、記憶装置６が、観察箇所Ｐで所定の時間間隔で順次取得したＮ枚の観察画像を格納していることを示す。

（手順１）初期テンプレートの作成
ステップＳ１では、制御装置４は、記憶装置６から初期観察画像Ｉ１（ｔ＝１）を読み出す。初期観察画像Ｉ１は、ある観察箇所Ｐにおいて、観察対象（被検物）が視野の中心付近に写っていることを条件とした画像である。ステップＳ２では、初期観察画像Ｉ１を、中心付近から定められたサイズでトリミングする。図４は、初期観察画像Ｉ１からトリミング画像を抽出する様子を説明する図である。トリミング時のサイズはステージの位置決め精度の最悪値で決定する。ステップＳ３では、ステップＳ２でトリミングした画像を、記憶装置６に格納するとともに、時刻ｔ＝１の位置決め画像すなわちテンプレート画像Ｔとして制御装置４内部のメモリ（不図示）上に保存する。

（手順２）テンプレートマッチング
初期テンプレートの作成が終了すると、ステップＳ１１に進む。ステップＳ１１では、記憶装置６から観察箇所Ｐの時刻ｔにおける観察画像Ｉｔを読み出し入力する。初期テンプレート作成の直後では、時刻ｔ＝２の観察画像Ｉ２を読み出すことになる。ステップＳ１２では、メモリに保存してある画像Ｔをテンプレートとして、観察画像Ｉｔとテンプレートマッチングを行う。

テンプレートマッチングは、観察画像Ｉｔの画像位置をずらしながらテンプレート画像Ｔとの相関値が最大となる位置を探索する処理である。相関値Ｃｒｒ（ｘ，ｙ）は、入力画像をＩ（ｘ，ｙ）、時刻ｔ−１から得られた画像をテンプレートＴ（ｘ，ｙ）、画像サイズをｔｘ×ｔｙとして、次式（１）の正規化相互相関式より求める。相関値は、評価値と言ってもよい。正規化相互相関値が最大となる位置Ｐ（ｘ，ｙ）を求める。Ｉ（ｉ，ｊ）、Ｔ（ｉ，ｊ）は、位置（ｘ，ｙ）＝（ｉ，ｊ）での輝度値を示す。

なお、その他の手法として、次式（１）’を使用して差分の絶対値の和が最小となる位置Ｐ（ｘ，ｙ）を計測する手法などがある。

相関値は、画像が完全に一致する場合を１とし、画像の一致度が小さいほど値が小さくなる値である。ステップＳ１３では、テンプレートマッチングで相関値が最大となったときの観察画像Ｉｔのずれ量ｄｔ（ｄｘｔ，ｄｙｔ）と、そのときの相関値Ｃｔを求める。ずれ量ｄｔは、入力された観察画像Ｉｔを相関値が最大になるまで２次元移動させたときの移動量である。ステップＳ１４では、そのずれ量を補正量としてメモリに格納する。

（手順３）相関値変化量の評価
ステップＳ１５では、手順２のステップＳ１３で算出された相関値Ｃｔの時間に対する変化量（Ｃ０−Ｃｔ）を、規定しきい値Ｔｃを用いて次の条件式（２）（３）のように評価する。相関値の変化量（Ｃ０−Ｃｔ）は、微分値でとも言える。基準相関値Ｃ０は、ステップＳ１６において、ひとつ手前のテンプレートマッチングで求められた相関値Ｃｔを代入するものであるが、初期値としては０が予め設定されている。規定しきい値Ｔｃも予め設定されている値である。

Ｃ０−Ｃｔ＜Ｔｃならば手順４のステップＳ１７へ．．．（２）
Ｃ０−Ｃｔ ≧ Ｔｃならば補正時エラーとして終了．．．（３）

（Ｃ０−Ｃｔ）がＴｃより小さいとは、今回の相関値が前回の相関値に比べてしきい値Ｔｃ以上に下回っていないことを意味する。（Ｃ０−Ｃｔ）がＴｃ以上とは、今回の相関値が前回の相関値に比べてしきい値Ｔｃ以上に下回っていることを意味する。これは、相関値が大きく下回り、観察対象に何らかの異常が生じたことを意味するので、ステップＳ１８に進み、補正処理ができないとしてエラー処理を行う。エラー処理とは、位置ずれの補正を行わないとともに、エラーがあった旨の情報を観察画像のファイルに格納する。また、観察画像の画像データに位置ずれ補正ができなかったことに関する表示を上書きするようにしてもよい。

観察対象の何らかの異常とは、細胞が分裂したような場合、細胞が突然大きく変形・変異したような場合、細胞が消滅したような場合、ステージ３の位置決めに失敗したような場合である。（Ｃ０−Ｃｔ）＜Ｔｃの場合は、このような異常がなかったとして、ステップＳ１７へ進む。

図５は、相関値と相関値の変化量の例をグラフにした図である。図５（ａ）は、各テンプレートマッチングで求められた相関値のグラフを示し、図５（ｂ）は、その相関値の変化量（微分値）をグラフに示した図である。図５（ａ）の符号２１の箇所で、相関値が大きく下回り、図５（ｂ）の符号２２の箇所で、その変化量がしきい値Ｔｃ（図５（ｂ）の場合は０．１８）を越していることが示されている。従って、計測番号６０あたりで取得された観察画像は、エラー処理がなされ、位置の補正処理はなされない。

（手順４）位置補正とテンプレート更新
ステップＳ１７では、入力観察画像Ｉｔの画像中心を、補正量ｄｔ（ｄｘｔ，ｄｙｔ）でずらし、ずらした画像中心から定められたサイズでトリミング（抽出）を行う。そして、トリミングした画像を記憶装置６に格納する。記憶装置６に格納されたトリミング画像は、補正量ｄｔで位置の補正がなされた画像である。ステップＳ３では、ステップＳ１７でトリミングされた画像を、新たなテンプレート画像Ｔとして更新する。また、（Ｃ０−Ｃｔ）＜Ｔｃの場合、ステップＳ１６において、探索時に算出された相関値Ｃｔを使用して、基準相関値Ｃ０＝Ｃｔとして更新する。

（手順５）終了条件
ステップＳ２０では、ｔ＝Ｎかを判断する。ｔ＝Ｎであると判断すると、すべての画像について補正処理が終了したとして処理を終了する。ｔ＝Ｎでないと判断すると、ｔ＝ｔ＋１として手順２のステップＳ１１にもどり処理を繰り返す。なお、図６は、上記の処理の様子をまとめて示す図である。

以上のように構成する第１の実施の形態の顕微鏡システムは、次のような効果を奏する。
（１）位置ずれの補正がされた時間的にずれた複数の観察画像を取得するので、観察対象がぶれない観察画像を得ることができる。特に、タイムラプス撮影による動画化において、観察対象がぶれないので、正確かつ適切な顕微鏡観察が可能となる。なお、観察画像の位置のずれを補正するとは、テンプレートとした観察画像と位置のずれを補正した観察画像をモニタ７に表示したとき、観察対象（被検物）がモニタ７の画面上実質同一位置に表示されるような観察画像の画像データを得ることである。
（２）テンプレートマッチングなどの画像処理で観察画像の位置ずれを補正しているので、安価な構成で位置ずれが補正された観察画像を取得することができる。特に、位置決め精度の高いステージの駆動機構が不要となり、コストが軽減され、装置の大型化を防ぐことができる。すなわち、観察画像の位置決め精度の高い顕微鏡システムが、安価かつ小型に実現できる。
（３）観察画像自体の画像処理で位置ずれの補正をしているので、ステージの位置決め誤差以外の要因で位置ずれが生じても補正することができる。
（４）テンプレートマッチングで、画像が必ずしも完全に一致しなくても位置ずれの補正を可能としている。これにより、培養する生きた細胞のように少々変形する観察対象であっても、位置ずれの補正がなされた観察画像を取得することができる。
（５）画像処理により補正をしているので、人間の目を頼りにする補正が不要となり、観察者の負担が軽減できる。
（６）テンプレートマッチングにより、相関値が大きく下回ったときには、エラー処理をする。これにより、観察対象が大きく変化して連続観察画像を取得する意味がないようなときには、その状況を把握することができる。また、不要な画像が作成されず、処理が迅速に行われる。

−第２の実施形態−
次に、第２の実施の形態の顕微鏡システムについて説明する。第２の実施の形態の顕微鏡システムの構成は、第１の実施の形態の顕微鏡システムの構成と同様であるので、その説明を省略する。第２の実施の形態では、テンプレートマッチングの処理において、第１の実施の形態と異なる。従って、この処理を中心に説明をする。

図７は、第２の実施の形態を説明するための、観察画像の図である。一般に、時刻ｔの観察画像と時刻ｔ＋１の観察画像において、顕微鏡視野がステージの位置決め誤差によってずれていると同時に、時間をおいて撮影されたために細胞の変形が含まれている。この細胞の変形は画像全体に渡って変形量が小さいことが望ましいが、時として図７（ａ）から図７（ｂ）へ変化するように、局所的に細胞の変形が大きい箇所が撮影される場合がある。

このような場合、第１の実施の形態の位置補正量算出のような画像全体をテンプレートマッチングを行う手法よりも、この領域を除外した上でマッチングさせたほうが適切な補正量を算出できる可能性がある。第２の実施の形態では、図７（ｃ）、図７（ｄ）に示すように、観察画像を所定の数の領域に分割し、分割した領域の単位でテンプレートマッチングを行うものである。以下、この処理の詳細を説明する。

（手順１）画像の局所領域の決定と初期テンプレートの作成
図８は、第２の実施の形態の、観察対象の位置ずれを補正する制御のフローチャートを示す図である。制御装置４が、所定のプログラムを実行することにより本制御を実行する。符号３１は、記憶装置６が、観察箇所Ｐで所定の時間間隔で順次取得したＮ枚の観察画像を格納していることを示す。

ステップＳ３１では、制御装置４は、記憶装置６から初期観察画像Ｉ１（ｔ＝１）を読み出す。初期観察画像Ｉ１は、ある観察箇所Ｐにおいて、観察対象（被検物）が視野の中心付近に写っていることを条件とした画像である。ステップＳ３２では、初期観察画像Ｉ１を、中心付近から定められたサイズでトリミングする。トリミング時のサイズはステージの位置決め精度の最悪値で決定する。トリミングした画像は、記憶装置６に格納する。

ステップＳ３３では、時刻ｔ＝１の初期観察画像Ｉ１をテンプレート画像Ｔとする。具体的には、図７（ｃ）のようにメッシュ状にｍ個に分割し、各局所領域をテンプレートとする。また、各局所領域の基準相関値Ｃ０ｍを予めすべて０とし、相関値の規定しきい値Ｔｃを予め決めておく。また、局所領域において最低限採用する領域個数をＴｍとして決めておく。

（手順２）各局所領域におけるテンプレートマッチング
画像の局所領域の決定と初期テンプレートの作成が終了すると、ステップＳ４１に進む。ステップＳ４１では、記憶装置６から観察箇所Ｐの時刻ｔにおける観察画像Ｉｔを読み出し入力する。初期テンプレート作成の直後では、時刻ｔ＝２の観察画像Ｉ２を読み出すことになる。読み込んだ観察画像Ｉｔを、初期観察画像Ｉ１と同様にメッシュ状にｍ個に分割する。

ステップＳ４２では、ステップＳ３３のテンプレート画像Ｔのｍ個の各局所領域をテンプレートとして、時刻ｔの画像においてテンプレートマッチングを行う。この場合、各テンプレートを画像全体に渡って計算する必要は無く、各局所領域付近のテンプレートマッチングで十分である。テンプレートマッチングは、第１の実施の形態と領域のサイズが異なるのみであり、同様に行えばよい。

（手順３）補正量と評価値の算出
ステップＳ４３では、手順２のステップＳ４２でおこなったテンプレートマッチングに基づき、各領域における位置ずれ量ｄｔｍ（ｄｘｔｍ，ｄｙｔｍ）、および、そのときの相関値Ｃｔｍが計算される。

（手順４）各領域における相関値変化量の評価
ステップＳ４４からステップＳ４５では、手順３のステップＳ４３で算出された各領域における相関値Ｃｔｍの時間に対する変化量（Ｃ０ｍ−Ｃｔｍ）を、規定しきい値Ｔｃを用いて次のように評価する。すなわち、（Ｃ０ｍ−Ｃｔｍ）＜Ｔｃが否定判定ならば、その箇所を「補正対象外領域」とする（ステップＳ４６、Ｓ４７）。

（手順５）補正対象外領域数の評価
ステップＳ４８では、手順４において、ｍ個の領域中、補正対象外領域となった領域数をＮ個とするとき、次の条件によって補正時の評価を行う。
Ｎ＜Ｔｍならば、ステップＳ４９で補正時エラーとして終了
Ｎ ≧ Ｔｍならば、手順６のステップＳ５０へ

（手順６）位置補正量とテンプレート更新
ステップＳ５０では、手順４の補正対象外領域を除いた各領域における位置のずれ量の平均値を求め、それをその時刻における観察画像全体の位置のずれ量ｄｔ（ｄｘｔ，ｄｙｔ）とする。ステップＳ５１では、観察画像全体の位置のずれ量を補正量としてメモリに格納する。なお、このとき、補正対象外領域の相関値の変化量に応じて、各ずれ量に重み付けをして加重平均計算をしてもよい。さらには、すべての領域のそれぞれの相関値の変化量に応じて、各ずれ量に重み付けをして加重平均値計算をしてもよい。

ステップＳ５２では、入力観察画像Ｉｔの画像中心を、補正量ｄｔ（ｄｘｔ，ｄｙｔ）でずらし、ずらした画像中心から定められたサイズでトリミング（抽出）を行う。そして、トリミングした画像を記憶装置６に格納する。トリミングされ記憶装置６に格納された画像は、補正量ｄｔで位置の補正がなされた画像である。ステップＳ３３では、ステップＳ５２でトリミングされた画像を、新たなテンプレート画像Ｔとして更新する。また、ステップＳ５４では、手順３における各局所領域の相関値Ｃｔｍを各局所領域の基準相関値Ｃ０ｍとして更新する。手順４の補正対象外領域の基準相関値は０とする。

（手順７）終了条件
ステップＳ５５では、ｔ＝Ｎかを判断する。ｔ＝Ｎであると判断すると、すべての画像について補正処理が終了したとして処理を終了する。ｔ＝Ｎでないと判断すると、ｔ＝ｔ＋１として手順２のステップＳ４１にもどり処理を繰り返す。

次に、図８の改良された実施の形態について説明する。図１２は、改良された第２の実施の形態の、観察対象の位置ずれを補正する制御のフローチャートを示す図である。図８においては、ステップＳ５１の補正量算出が観察画像の分割された各領域の相関値とずれ量平均値とに基づくものであった。ここで説明する改良された実施の形態では、ステップＳ５１の補正量算出が異なる。

以下に、具体的に図８のものと異なる点を説明するが、他の処理は図８と同じであるので省略する。図８と異なるところは、図８のステップＳ５０、Ｓ５１、Ｓ５２が、図１２においてステップＳ１５０〜Ｓ１５４となっている点である。

図８のステップＳ５０に代えて、図１２のステップＳ１５０〜Ｓ１５２では、以下の処理を行う。すなわち、ステップＳ１５０では、補正によって手順２における各局所領域の相関値Ｃｔｍを各局所領域の基準相関値Ｃ０ｍとして更新する。前述の手順４の補正対象外領域の基準相関値は０とする。ステップＳ１５１では、前述の手順４で求めた補正対象外領域をマスク（使用禁止領域）し、観察画像全体からなる新たなテンプレート画像Ｔを作成する。このテンプレート画像Ｔは、マスクにより、穴あきの状態となる。このテンプレート画像Ｔは、マスク以外の箇所だけを用いて、補正の対象となる時刻ｔ＋１の観察画像全体とテンプレートマッチングを行い、相関が最大となる位置を算出する。そして、ステップＳ１５２では、その位置の画像中心からの距離（＝ずれ量）を補正量ｄｔ（ｄｘｔ、ｄｙｔ）とする。また、探索で算出された相関値Ｃｔを算出する。

ステップＳ１５３では、ステップＳ５１と同様に、この補正量をメモリに格納する。ステップＳ１５４では、ステップＳ５２に代えて、入力観察画像Ｉｔの画像中心を、上記補正量ｄｔ（ｄｘｔ、ｄｙｔ）でずらし、ずらした画像中心から定められたサイズでトリミングを行い、テンプレート画像Ｔとして画像を記憶装置６に格納する。

上記のように構成する第２の実施の形態の顕微鏡システムは、第１の実施の形態の顕微鏡システムの効果に加えて次のような効果を奏する。
（１）観察画像を分割してテンプレートマッチングを行っているので、より適切な補正量を計算することができる。
（２）分割された領域のうち相関値が大きく下回る領域については、補正量の計算から除外するようにした。これにより、細胞の観察において一部の細胞のみが大きく変化しても、適切な補正量を計算することができ、適切に補正された観察画像を取得することができる。
（３）各領域の相関値の変化に応じて、各領域のずれ量を加重平均計算するので、より適切な補正量を求めることができる。

−第３の実施形態−
次に、第３の実施の形態の顕微鏡システムについて説明する。第３の実施の形態の顕微鏡システムの構成は、第１の実施の形態の顕微鏡システムの構成と同様であるので、その説明を省略する。第３の実施の形態は、位置の補正がなされた観察画像を使用して動画像を生成するところに特徴がある。

通常、ステージ位置決めに誤差が生じている場合、同一箇所での時間的連続した画像を動画化すると、位置ずれにより観察対象物が上下左右にぶれた状態での動画となり、観察には適さない。そこで、第１の実施の形態や第２の実施の形態で取得したトリミング画像を使用すれば、観察対象物がぶれない観察用動画像を作成することができる。

しかし、第１の実施の形態や第２の実施の形態では、トリミング範囲を予め決定するため、トリミング範囲は、すべての位置ずれが生じた観察画像から抽出できる範囲としてある程度狭い範囲にならざるを得ない。第３の実施の形態は、この点を改良したものである。

図９は、第３の実施の形態の、位置ずれが補正された観察画像を使用して動画像を作成する制御のフローチャートを示す図である。制御装置４が、所定のプログラムを実行することにより本制御を実行する。符号３２は、記憶装置６が、観察箇所Ｐで所定の時間間隔で順次取得したＮ枚の観察画像を格納していることを示す。

（手順１）補正量の算出
ステップＳ６１では、第１の実施の形態あるいは第２の実施の形態と同様にして、各観察画像Ｉｔの位置ずれの補正量ｄｔ（ｄｘｔ，ｄｙｔ）を算出する。各観察画像Ｉｔは、所定時間間隔の時間的連続画像である。

（手順２）最大補正量と最小補正量
ステップＳ６２では、ステップＳ６１で求めたＮ枚の観察画像の補正量の中から、Ｘ方向、Ｙ方向それぞれの最大補正量（ｄｘｍａｘ，ｄｙｍａｘ）、最小補正量（ｄｘｍｉｎ，ｄｙｍｉｎ）を算出する。

（手順３）重なった領域の決定
ステップＳ６３では、位置ずれを補正した各観察画像が重なる領域を決定する。図１０は、重なる領域の決定を説明する図である。図１０の例では、位置ずれの補正がされた観察画像Ｉ１からＩ４の４枚が示され、左上点Ｐｔおよび右下点Ｑｔで規定される重なった領域４１が示されている。

各観察画像内の左上座標Ｐｔ、右下座標Ｑｔは、ステップＳ６２で求めた最大補正量（ｄｘｍａｘ，ｄｙｍａｘ）、最小補正量（ｄｘｍｉｎ，ｄｙｍｉｎ）を使用して、次式（４）（５）によりに決定することができる。ただし、入力画像の横サイズをＸｓｉｚｅ、縦サイズをＹｓｉｚｅとする。最大補正量（ｄｘｍａｘ，ｄｙｍａｘ）、最小補正量（ｄｘｍｉｎ，ｄｙｍｉｎ）は、図１０のようなｘｙ座標において、符号も考慮した値である。
左上座標Ｐｔ（ｄｘｍａｘ−ｄｘｔ，ｄｙｍａｘ−ｄｙｔ）．．．（４）
右下座標Ｑｔ（ｄｘｍｉｎ＋Ｘｓｉｚｅ−ｄｘｔ，ｄｙｍｉｎ＋Ｙｓｉｚｅ−ｄｙｔ）
．．．（５）

（手順４）各画像のトリミングと動画化
ステップＳ６４からステップＳ６６では、各観察画像Ｉｔから、ステップＳ６３で求めた各観察画像の左上座標Ｐｔと右下座標Ｑｔを基にトリミングを行う。ステップＳ６７では、ステップＳ６４からステップＳ６６でトリミングした画像を集めることにより、動画像を作成することができる。

以上のように構成する第３の実施の形態の顕微鏡システムは、次のような効果を奏する。
（１）位置ずれが補正された観察画像を取得することにより、観察対象がぶれないタイムラプス画像などの動画を得ることができる。さらに、観察できる範囲が、できるだけ広い範囲となり、より適切な動画観察ができる。

−第４の実施形態−
次に、第４の実施の形態の顕微鏡システムについて説明する。第４の実施の形態の顕微鏡システムの構成は、第１の実施の形態の顕微鏡システムの構成と同様であるので、その説明を省略する。第４の実施の形態は、第１の実施の形態や第２の実施の形態と同様な方法で観察画像の位置ずれを求め、その結果に基づきステージ自体の位置決め補正を行うところに特徴がある。

ステージ位置決めに誤差が存在し、複数箇所において巡回観察するような観察系において、同一箇所での位置ずれは巡回箇所だけ誤差が蓄積される。これを繰り返し行うと、誤差はさらに蓄積され、大きくずれるおそれがある。これを防ぐためには、ある一箇所以上の観察箇所において定期的にステージ位置補正を行えばよい。

第４の実施の形態では、ステージ上の標本の複数箇所（ｍ箇所）を巡回して観察する系（例えば、第１の実施の形態の図２を参照）において、１番からｍ番までの巡回を繰り返し行う。各巡回ごとに、ある所定の観察箇所Ｐで観察画像を取得し、第１の実施の形態や第２の実施の形態と同様に観察画像の位置のずれ量を求める。その位置のずれ量が、所定の値、例えば、ステージの位置決め精度を上回る値であれば、ステージの位置補正を行う。

（手順１）ステージの巡回駆動
図１１は、第４の実施の形態の、ステージの位置補正を行う制御のフローチャートを示す図である。制御装置４が、所定のプログラムを実行することにより本制御を実行する。ステップＳ７１では、ステージ３を、ステージ駆動部５を介して観察箇所Ｐまで巡回させる。巡回は、指定された観察箇所を指定された順番で巡回するように行う。

（手順２）補正量の算出
ステップＳ７２では、観察箇所Ｐにおいて、第１の実施の形態あるいは第２の実施の形態と同様な手法によって、観察画像の位置補正量（位置ずれ量）ｄｔ（ｄｘｔ，ｄｙｔ）を算出する。また、第１の実施の形態あるいは第２の実施の形態と同様に、算出された位置補正量に基づき、観察画像の位置の補正を行い、トリミングした観察画像を記憶装置６に格納する処理も行われる。

（手順３）ステージ補正
ステップＳ７３では、ステップＳ７２で求めたＸ方向またはＹ方向の補正量が、ステージ位置決め誤差（精度）Ｔｓを上回るかどうかを判断する。上回ったと判断するとステップＳ７４に進み、上回っていないと判断するとステップＳ７５に進む。ステップＳ７４では、補正量に従ったステージ補正を行う。例えば、制御装置４は、ステージ駆動信号に補正量をバイアスしてステージ駆動部５へ出力するようにする。

（手順４）終了条件
ステップＳ７５では、ｔ＝Ｎかを判断する。ｔ＝Ｎであると判断すると、処理を終了し、ｔ＝Ｎでないと判断すると、ｔ＝ｔ＋１として手順１のステップＳ７１にもどり処理を繰り返す。Ｎは予め指定された観察回数である。

以上のように構成する第４の実施の形態の顕微鏡システムは、次のような効果を奏する。
（１）ステージの位置決め補正が、画像処理の結果により行うことができる。これにより、特別な機構等が必要なく、簡単な構成で安価に行うことができる。

上記実施の形態では、培養顕微鏡の例を説明したが、必ずしもこの内容に限定する必要はない。その他の顕微鏡であってもよい。

上記の実施の形態では、制御装置４が実行する制御プログラムは、すでにインストールされた状態で説明をした。これらの制御プログラムやそのインストールプログラムなどはＤＶＤなどの記録媒体で提供すればよい。なお、記録媒体はＤＶＤに限定する必要はなく、ＣＤ−ＲＯＭ、磁気テープやその他のあらゆる記録媒体を使用するようにしてもよい。さらに、それらのプログラムをインターネットなどに代表される通信回線などの伝送媒体を介して提供することも可能である。すなわち、プログラムを、伝送媒体を搬送する搬送波上の信号に変換して送信することも可能である。

なお、上述の制御プログラムをパソコン上で実行させて、パソコンが顕微鏡システムの制御装置４やモニタ７や記憶装置６を構成するようにしてもよい。

上記では、種々の実施の形態および変形例を説明したが、本発明はこれらの内容に限定されるものではない。本発明の技術的思想の範囲内で考えられるその他の態様も本発明の範囲内に含まれる。

本発明の第１の実施の形態の顕微鏡システムのブロック図である。複数の観察箇所を巡回して観察画像を取得する様子を説明する図である。同一の観察箇所Ｐで取得したＮ枚の観察画像について、観察対象の位置ずれを補正する制御のフローチャートを示す図である。初期観察画像Ｉ１からトリミング画像を抽出する様子を説明する図である。相関値と相関値の変化量の例をグラフにした図である。第１の実施の形態の処理の様子をまとめて示す図である。第２の実施の形態を説明するための、観察画像の図である。第２の実施の形態の、観察対象の位置ずれを補正する制御のフローチャートを示す図である。第３の実施の形態の、位置ずれが補正された観察画像を使用して動画像を作成する制御のフローチャートを示す図である。重なる領域の決定を説明する図である。第４の実施の形態の、ステージの位置補正を行う制御のフローチャートを示す図である。改良された第２の実施の形態の、観察対象の位置ずれを補正する制御のフローチャートを示す図である。

符号の説明

１顕微鏡本体
２カメラ
３ステージ
４制御装置
５ステージ駆動部
６記憶装置
７モニタ

Claims

同一観察箇所について時間的にずれた複数の観察画像を取得する顕微鏡観察画像取得方法において、
顕微鏡を通して撮像手段により撮像された第１の観察画像を取得し、
前記第１の観察画像の取得後に顕微鏡を通して撮像手段により撮像された第２の観察画像を取得し、
前記第１の観察画像を所定の数の領域に分割し、
前記第２の観察画像を前記所定の数の領域に分割し、
前記分割した領域単位で、前記第１の観察画像と前記第２の観察画像とを、前記第１の観察画像をテンプレートとして第１のテンプレートマッチングを行い、
前記分割した領域単位で行った前記第１のテンプレートマッチングの結果に基づき、前記分割した領域単位で、前記第１の観察画像と前記第２の観察画像との第１の位置のずれ量を検出し、
前記分割した領域単位で検出した前記所定の数の第１の位置のずれ量に基づき、前記第２の観察画像全体の位置のずれ量を計算し、
前記第２の観察画像全体の位置のずれ量に基づき、前記取得した第２の観察画像を補正した新たな第２の観察画像を生成することを特徴とする顕微鏡観察画像取得方法。
請求項１に記載の顕微鏡観察画像取得方法において、
さらに前記第２の観察画像の取得後に、顕微鏡を通して撮像手段により撮像された第３の観察画像を取得し、
前記新たな第２の観察画像を前記所定の数の領域に分割し、
前記第３の観察画像を前記所定の数の領域に分割し、
前記分割した領域単位で、前記新たな第２の観察画像と前記第３の観察画像とを、前記新たな第２の観察画像をテンプレートとして第２のテンプレートマッチングを行い、
前記分割した領域単位で行った前記第２のテンプレートマッチングの結果に基づき、前記分割した領域単位で、前記新たな第２の観察画像と前記第３の観察画像との第２の位置のずれ量を検出し、
前記分割した領域単位で検出した前記所定の数の第２の位置のずれ量に基づき、前記第３の観察画像全体の位置のずれ量を計算し、
前記計算した第３の観察画像全体の位置のずれ量に基づき、前記取得した第３の観察画像を補正した新たな第３の観察画像を生成し、
前記第１のテンプレートマッチングは、前記テンプレートと前記第２の観察画像との相対的な位置をずらしながら、前記テンプレートと前記第２の観察画像との相関値を算出する相関演算を行い、
前記第２のテンプレートマッチングは、前記テンプレートと前記第３の観察画像との相対的な位置をずらしながら、前記テンプレートと前記第３の観察画像との相関値を算出する相関演算を行い、
前記第３の観察画像全体の位置のずれ量を計算するとき、前記第１のテンプレートマッチングにおける前記相関が最も高いときの相関値と前記第２のテンプレートマッチングにおける前記相関が最も高いときの相関値との差が所定の値以上である前記領域については計算から除外することを特徴とする顕微鏡観察画像取得方法。
請求項２に記載の顕微鏡観察画像取得方法において、
さらに顕微鏡を通して撮像手段により撮像されたｎ（ｎ≧４）番目までの観察画像を取得し、
前記ｎ番目までの観察画像のそれぞれについて、前記第３の観察画像と同様に新たなｎ番目までの観察画像をそれぞれ生成し、
前記第１の観察画像と、前記新たな第２の観察画像から前記新たなｎ番目までの観察画像と、からなるｎ枚の観察画像の相互に重なる画像部分を用いて動画を生成することを特徴とする顕微鏡観察画像取得方法。
同一観察箇所について時間的にずれた複数の観察画像を取得する顕微鏡観察画像取得方法において、
顕微鏡を通して撮像手段により撮像された第１の観察画像を取得し、
前記第１の観察画像の取得後に顕微鏡を通して撮像手段により撮像された第２の観察画像を取得し、
前記第１の観察画像を所定の数の領域に分割し、
前記第２の観察画像を前記所定の数の領域に分割し、
前記分割した領域単位で、前記第１の観察画像と前記第２の観察画像とを、前記第１の観察画像をテンプレートとして第１のテンプレートマッチングを行い、
前記分割した領域単位で行った前記第１のテンプレートマッチングの結果に基づき、前記分割した領域単位で、前記第１の観察画像と前記第２の観察画像との第１の位置のずれ量を検出し、
前記分割した領域単位で検出した前記所定の数の第１の位置のずれ量に基づき、前記第２の観察画像全体の位置のずれ量を計算し、
前記第２の観察画像全体の位置のずれ量に基づき、前記取得した第２観察画像を補正した新たな第２の観察画像を生成し、
前記第２の観察画像の取得後に、顕微鏡を通して撮像手段により撮像された第３の観察画像を取得し、
前記新たな第２の観察画像を前記所定の数の領域に分割し、
前記第３の観察画像を前記所定の数の領域に分割し、
前記分割した領域単位で、前記新たな第２の観察画像と前記第３の観察画像とを、前記新たな第２の観察画像をテンプレートとして第２のテンプレートマッチングを行い、
前記第１のテンプレートマッチングは、前記テンプレートと前記第２の観察画像との相対的な位置をずらしながら、前記テンプレートと前記第２の観察画像との相関値を算出する相関演算を行い、
前記第２のテンプレートマッチングは、前記テンプレートと前記第３の観察画像との相対的な位置をずらしながら、前記テンプレートと前記第２の観察画像との相関値を算出する相関演算を行い、
前記第１のテンプレートマッチングにおける前記相関が最も高いときの相関値と前記第２のテンプレートマッチングにおける前記相関が最も高いときの相関値との差が所定の値以上である領域については除外し、
前記除外対象の領域を除外した前記第２の観察画像と、前記第３の観察画像とを、前記除外対象の領域を除外した前記第２の観察画像をテンプレートとして、前記両者の観察画像全体同士で第３のテンプレートマッチングを行い、
前記第３のテンプレートマッチングの結果に基づき、前記観察画像全体で、前記第３の観察画像全体の位置のずれ量を計算し、
前記第３の観察画像全体の位置のずれ量に基づき、前記新たな第２の観察画像に対する位置のずれ量が補正された新たな第３の観察画像を生成することを特徴とする顕微鏡観察画像取得方法。
顕微鏡システムであって、
顕微鏡本体と、
前記顕微鏡本体を通して標本の観察画像を取得する撮像手段と、
前記標本を搭載するステージ手段と、
前記ステージ手段を駆動するステージ駆動手段と、
前記撮像手段と前記ステージ駆動手段を制御するとともに、前記撮像手段で取得した観察画像について画像処理を行う制御手段とを備え、
前記制御手段は、
前記標本の複数の観察箇所のそれぞれについて時間的にずれた複数の観察画像を取得するよう前記撮像手段と前記ステージ駆動手段を制御し、
前記標本の複数の観察箇所の少なくとも一の観察箇所において時間的にずれた複数の観察画像を取得し、
請求項１から４のいずれかに記載の顕微鏡観察画像取得方法を実行することを特徴とする顕微鏡システム。