JP6619217B2 - 顕微鏡システムとその制御方法 - Google Patents

Description

本発明は、顕微鏡システムとその制御方法に関するものである。

従来、標本を搭載したステージを移動させることにより、視野を移動させながら取得した複数の静止画像を貼り合わせ、広画角の貼り合わせ画像を生成する顕微鏡システムが知られている（例えば、特許文献１参照。）。

特開２０１０−１３４３７４号公報

しかしながら、特許文献１の顕微鏡システムでは、ユーザは貼り合わせに適した画像が取得される位置までステージを移動させる操作、その位置にステージを停止させる操作および撮影指令を行う操作を繰り返す必要があり、操作が煩雑で画像の取得に時間がかかるという不都合がある。

本発明は、上述した事情に鑑みてなされたものであって、ユーザによる操作を簡略化して、貼り合わせ画像の取得に要する時間を短縮することができる顕微鏡システムとその制御方法を提供することを目的としている。

上記目的を達成するため、本発明は以下の手段を提供する。
本発明の一態様は、標本を搭載し観察光軸に直交する方向に移動可能なステージと、該ステージの位置を検出する位置検出部と、前記ステージの移動速度を検出する速度検出部と、前記ステージ上の標本を撮影する撮像部と、該撮像部により取得された標本の画像を貼り合わせて貼り合わせ画像を生成する画像生成部と、前記位置検出部により検出された前記ステージの位置が、前記撮像部による新たに貼り合わせを行う画像の撮影に適した位置であるか否かを判定する判定部と、該判定部による判定の結果、前記新たに貼り合わせを行う画像の撮影に適した位置であると判定された場合に、その旨を報知する報知部と、該報知部により撮影に適した位置であることが報知されている状態で、前記速度検出部により検出された前記ステージの移動速度が所定の閾値以下となった場合に、前記撮像部により取得された画像を貼り合わせるように前記画像生成部を制御する制御部とを備える顕微鏡システムを提供する。

本態様によれば、ステージに標本を搭載して観察光軸上に配置し、ステージを移動させながら撮影を行い、取得された画像を貼り合わせることにより、標本の広範囲にわたる貼り合わせ画像を取得することができる。この場合において、ステージを移動させると位置検出部によりステージの位置が検出され、速度検出部によりステージの移動速度が検出される。

ステージの位置に基づいて判定部が、現在のステージの位置が撮影に適した位置であるか否かを判定し、撮影に適した位置である場合には報知部により報知される。そして、報知部により撮影に適した位置である旨が報知されている状態で、速度検出部により検出されるステージの移動速度が所定の閾値以下に低下すると、その位置で撮像部により取得された画像が貼り合わせられるように画像生成部が制御部によって制御される。これにより、ユーザは撮影指令を行うための操作をステージの操作と切り離して行う必要がなく、ユーザによる操作を簡略化して、貼り合わせ画像の取得に要する時間を短縮することができる。

上記態様においては、前記貼り合わせ画像と前記撮像部の視野範囲とを表示する表示部を備え、前記報知部が、前記表示部上において、撮影に適した位置である旨を報知してもよい。
このようにすることで、ユーザは表示部を見ながらステージを操作するだけで、表示部上において撮影に適した位置である旨が報知部により報知されたときに、ステージを操作する手を緩めるだけで、その時点で撮像部により撮影された画像が貼り合わせ画像の一部として貼り合わせられる。

また、上記態様においては、前記撮像部が、所定のフレームレートで複数の画像を取得し、前記位置検出部が、前記撮像部により連続して取得された前記複数の画像の取得位置間の相対位置を累積した累積値により前記ステージの位置を検出してもよい。
このようにすることで、撮像部により所定のフレームレートで連続して取得された複数の画像の取得位置間の相対位置が算出され、その相対位置が累積された累積値がステージの位置として検出される。特別な位置センサを設けることなく、ステージの位置を検出することができる。

また、上記態様においては、前記撮像部が、所定のフレームレートで複数の画像を取得し、前記速度検出部が、前記撮像部により連続して取得された前記複数の画像の取得位置間の相対位置に基づいて、前記ステージの移動速度を検出してもよい。
このようにすることで、連続して取得された複数の画像の取得位置間の相対位置をフレームレートで除算することにより、簡易にステージの移動速度を検出することができる。特別な速度センサを設けることなく、ステージの移動速度を検出することができる。

また、上記態様においては、前記撮像部が、所定のフレームレートで複数の画像を取得し、前記位置検出部が、前記画像生成部により生成された貼り合わせ画像を構成するいずれかの画像の取得位置と撮像部により取得された画像の取得位置との相対位置を前記ステージの位置として検出してもよい。
このようにすることで、既に取得されている貼り合わせ画像に新たに貼り合わせる画像として適した位置に配置されているか否かを直接的に判定することができる。

また、上記態様においては、前記速度検出部が、前記位置検出部により検出されたステージの位置の時間変化を移動速度として検出してもよい。
このようにすることで、特別なセンサを設けることなく、ステージの位置から移動速度を簡易に検出することができる。

また、上記態様においては、前記画像生成部が、前記撮像部により取得された画像を前記貼り合わせ画像に貼り合わせるのに先立って、前記撮像部により取得された前記画像と前記貼り合わせ画像との位置合わせを行ってもよい。
このようにすることで、誤差の蓄積による実際のステージの位置との誤差の発生を抑えて、貼り合わせ画像における不連続な境界の発生を防止することができる。

また、本発明の他の態様は、標本を搭載し観察光軸に直交する方向に移動可能なステージの位置および速度を検出し、前記ステージ上の標本を撮影し、検出された前記ステージの位置が、新たに貼り合わせを行う画像の撮影に適した位置であるか否かを判定し、判定の結果、新たに貼り合わせを行う画像の撮影に適した位置であると判定された場合に、その旨を報知し、撮影に適した位置であることが報知されている状態で、検出された前記ステージの移動速度が所定の閾値以下となった時点で撮影により取得された画像を貼り合わせる顕微鏡システムの制御方法を提供する。

本発明によれば、ユーザによる操作を簡略化して、貼り合わせ画像の取得に要する時間を短縮することができるという効果を奏する。

本発明の一実施形態に係る顕微鏡システムを示す全体構成図である。 本発明の一実施形態に係る顕微鏡システムの制御方法を示すフローチャートである。 図１の顕微鏡システムの表示部の表示例であって、（ａ）貼り合わせ画像に視野範囲の枠が形成された状態、（ｂ）（ａ）の位置から視野範囲が移動した状態、（ｃ）貼り合わせ画像と視野範囲との重複範囲が所定の範囲内に収まった状態、（ｄ）（ｃ）の視野範囲の画像を貼り合わせた新たな貼り合わせ画像が形成された状態を示す図である。 図１の顕微鏡システムの変形例を示す全体構成図である。 図１の顕微鏡システムの変形例を示す全体構成図である。

本発明の一実施形態に係る顕微鏡システム１について、図面を参照して以下に説明する。
本実施形態に係る顕微鏡システム１は、図１に示されるように、顕微鏡本体２と、演算部３と、表示部４とを備えている。

顕微鏡本体２は、搭載した標本を３次元方向に移動可能なステージ５と、鉛直方向に観察光軸を配置した対物レンズ６と、該対物レンズ６により集光された標本Ｓからの光を撮影するカメラ（撮像部）７とを備えている。また、顕微鏡本体２には、ユーザがステージ５を手動で対物レンズ６の観察光軸に対して直交する２方向（水平方向）に移動させるために操作する操作部８と、ステージ５の位置および速度を検出するためのエンコーダ（位置検出部、速度検出部）９とが備えられている。

カメラ７は、所定のフレームレートで撮影される複数の画像からなるライブ画像を取得し、演算部３に送るようになっている。
演算部３は、例えば、汎用のパーソナルコンピュータやワークステーション、組み込みプロセッサやＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ａｒｒａｙ）を用いた計算機である。演算部３は、カメラ７から送られてきた画像を貼り合わせて貼り合わせ画像を生成する画像生成部１０と、画像生成部１０により生成された貼り合わせ画像を記憶する記憶部１１と、エンコーダ９からの信号に基づいて判定を行う判定部１２と、判定結果を報知する報知部１３と、画像生成部１０を制御する制御部１４とを備えている。また、演算部３は、カメラ７から送られてきたライブ画像をそのまま表示部４に出力し、表示部４に表示させるようになっている。

画像生成部１０は、制御部１４からの指令により、カメラ７により取得された画像と、記憶部１１に記憶されている貼り合わせ画像とを、エンコーダ９により取得されたステージ５の位置情報に基づいて貼り合わせ、新たな貼り合わせ画像を生成するようになっている。記憶部１１は、メモリ、ＨＤＤ、ＳＳＤ等の任意の記憶装置であって、画像生成部１０から新たな貼り合わせ画像が送られてくると、記憶している貼り合わせ画像を更新するようになっている。

判定部１２は、エンコーダ９から送られてくるステージ５の位置情報と、記憶部１１に記憶されている貼り合わせ画像とに基づいて、当該ステージ５の位置が、新たに貼り合わせを行う画像の撮影に適した位置であるか否かを判定するようになっている。新たに貼り合わせを行う画像の撮影に適した位置か否かの判定は、記憶部１１に記憶されている貼り合わせ画像と、新たに貼り合わせを行う画像との重複部分の面積のカメラ７の画角に対する比率が、所定の範囲（例えば、２０％）以内に収まっているか否かを判断することにより行われるようになっている。
判定部１２は、重複部分の面積の比率が所定の範囲内に収まっている場合には、撮影に適した位置であると判定するようになっている。

ここで、判定部１２は、エンコーダ９から送られてくるステージ５の位置情報に基づいて、当該ステージ５の位置が、新たに貼り合わせを行う画像の撮影に適した位置であるか否かを判定するようにしてもよい。
具体的には、判定部１２は、前回撮影した（前回貼り合わせを行った）ステージ５位置と現在のステージ５位置との距離を計算し、その距離が所定の値の範囲に収まった場合に、撮影に適した（貼り合わせに適した）位置であると判定する。

報知部１３は、エンコーダ９から送られてくるステージ５の位置情報に基づいて、当該ステージ５の位置に対応するカメラ７の視野範囲を示す枠（例えば、赤色）Ｆを生成し、表示部４に出力するようになっている。また、報知部１３は、判定部１２から撮影に適した位置であるとの判定結果が送られてきたときには、表示部４に出力する枠Ｆの色を、例えば青色に変更するようになっている。表示部４を見ているユーザは、表示されている枠
Ｆの色が青色に変わることで、撮影に適した位置になったことを知ることができる。

制御部１４は、判定部１２から送られてくる判定結果と、エンコーダ９から送られてくるステージ５の移動速度情報とに基づいて、新たに貼り合わせる画像を決定し、貼り合わせ画像を生成するように画像生成部１０を制御するようになっている。
具体的には、判定部１２から送られてくる判定結果が、撮影に適した位置であるとの判定結果であり、かつ、エンコーダ９から送られてくるステージ５の移動速度が所定の閾値以下となった場合に、制御部１４が画像生成部１０に対して画像生成指令を行うようになっている。そして、画像生成部１０は、制御部１４から画像生成指令が入力された時点でカメラ７により取得された画像を新たに貼り合わせる画像として決定し貼り合わせ画像を生成するようになっている。

表示部４は、例えば、液晶ディスプレイであり、貼り合わせ画像およびライブ画像を表示するとともに、報知部１３から送られてくる現在の視野範囲を示す枠Ｆを表示するようになっている。

このように構成された本実施形態に係る顕微鏡システム１の制御方法について、以下に説明する。
顕微鏡本体２においては、所定のフレームレートでカメラ７によるライブ画像の撮影が継続して行われており、表示部４にライブ画像が表示されていることを前提として説明する。

本実施形態に係る顕微鏡システム１を用いて貼り合わせ画像を生成するには、図２に示されるように、貼り合わせ処理を開始させた後に、カメラ７から最初に送られてきた標本Ｓの画像が画像生成部１０に送られて、最初の貼り合わせ画像Ｇが生成され（ステップＳ１）、記憶部１１に記憶されるとともに、図３（ａ）に示されるように、表示部４に表示される（ステップＳ２）。

そして、ユーザにより操作部８が操作されてステージ５が水平方向に移動させられると、エンコーダ９によりステージ５の位置および移動速度が検出される（ステップＳ３）。そして、図３（ａ）に示されるように、エンコーダ９により検出されたステージ５の位置に対応する視野範囲を示す枠Ｆが報知部１３により生成されて、貼り合わせ画像Ｇに重ねて表示部４に表示される（ステップＳ４）。

次いで、エンコーダ９により検出されたステージ５の位置と記憶部１１に記憶されている貼り合わせ画像Ｇとに基づいて、新たな貼り合わせを行う画像の撮影に適した位置であるか否かが判定部１２により判定される（ステップＳ５）。
ステージ５の移動初期には、図３（ａ）および図３（ｂ）に示されるように、貼り合わせ画像Ｇと視野範囲を示す枠Ｆとは大きく重複しており、判定部１２は、撮影に適していないと判定するので、報知部１３により生成される枠Ｆは赤色に設定され（ステップＳ６）、ステップＳ３からの処理が繰り返される。ユーザは、表示部４に表示されている枠Ｆが赤色であることから、撮影に適した位置ではないと報知されることになり、ステージ５の操作を続けることになる。

ユーザがステージ５の操作を続けることにより、表示部４に表示されている枠Ｆの位置が更新され、図３（ｃ）に示されるように、貼り合わせ画像Ｇと視野範囲を示す枠Ｆとの重複範囲が所定の範囲内に収まったときには、判定部１２が、新たな貼り合わせを行う画像の撮影に適した位置であると判定する（ステップＳ５）。これにより、報知部１３が、枠Ｆを青色に設定する（ステップＳ７）。
ユーザは、表示部４に表示されている枠Ｆが青色となったときには、撮影に適した位置になったことを報知されることになり、ステージ５を停止させるように操作部８を操作するようになる。

その結果、制御部１４において、エンコーダ９により検出されるステージ５の移動速度が所定の閾値以下となったか否かが判定され（ステップＳ８）、所定の閾値以下となっている場合には、画像生成部１０に貼り合わせを行うように指令がなされ、貼り合わせ画像Ｇが生成される（ステップＳ９）。所定の閾値より大きい場合には、ステップＳ３からの処理が繰り返される。

画像生成部１０は、貼り合わせの指令が制御部１４から入力されたときには、その時点（例えば、図３（ｃ）に示される時点）でカメラ７から送られてきた画像を新たに貼り合わせを行う画像として決定する。そして、画像生成部１０は、記憶部１１から読み出した貼り合わせ画像Ｇに重ねて貼り合わせ処理を行い、図３（ｄ）に示されるように生成された貼り合わせ画像Ｇを記憶部１１に格納するとともに表示部４に表示する。

そして、貼り合わせ画像の生成処理が終了したか否かがが判定され（ステップＳ１０）、終了していない場合には、ステップＳ６からの処理が繰り返される。
すなわち、新たな貼り合わせ画像Ｇが生成された時点では、カメラ７の視野範囲を示す枠Ｆと貼り合わせ画像Ｇとの重複範囲は大きくなるので、図３（ｄ）に示されるように、報知部１３が表示部４に表示されている枠Ｆの色を赤色に戻すことで、ユーザに次の撮影箇所へのステージ５の移動が促される。

貼り合わせ処理の終了の判定は、貼り合わせ画像を生成するステップＳ１０の後に行うこととしているが、ユーザが貼り合わせ処理を終了したい任意のタイミングで終了できることにしてもよい。

このように構成された本実施形態に係る顕微鏡システム１とその制御方法によれば、ユーザが表示部４に表示されている貼り合わせ画像Ｇおよび枠Ｆを見ながらステージ５の移動操作および停止操作を繰り返すだけで、貼り合わせ画像Ｇを生成していくことができる。
すなわち、ユーザは、表示部４に表示される枠Ｆが赤色である場合にはステージ５を移動させ、青色になったときにはステージ５を停止させるように操作するだけで貼り合わせ画像Ｇを生成でき、その時点で枠Ｆが赤色に戻るので次の画像の取得位置までステージ５を移動させる操作を迅速に再開させることができる。

ステージ５の移動操作および停止操作という単純操作のみであり、撮影のための操作や位置決め操作が不要であるため、ユーザの操作における負担を軽減することができ、貼り合わせ画像Ｇの生成に要する時間を大幅に短縮することができるという利点がある。
さらに、本実施形態に係る顕微鏡システム１とその制御方法によれば、ステージ５の移動速度が所定の閾値以下となったときに撮影された画像のみを用いて貼り合わせ画像Ｇを生成するので、カメラ７の露光に起因する露光ボケの少ない高品位な貼り合わせ画像Ｇを取得することができるという利点もある。

なお、本実施形態においては、顕微鏡本体２に備えられたエンコーダ９によってステージ５の位置および移動速度を検出することとしたが、これに代えて、図４に示されるように、カメラ７により取得された画像を処理してステージ５の位置および移動速度を検出することにしてもよい。
すなわち、図４に示されるように、演算部３が、取得された画像から動きベクトルを検出する動きベクトル検出部（速度検出部）１５と、該動きベクトル検出部１５により検出された動きベクトルを累積することでステージ５の位置を検出する位置検出部１６とを備えていてもよい。

動きベクトルの検出には、ＳＡＤ（Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅ）やＮＣＣ（Ｎｏｒｍａｌｉｚｅｄ Ｃｒｏｓｓ−Ｃｏｒｒｅｌａｔｉｏｎ）に代表されるテンプレートマッチングや空間周波数の相関に基づく位相限定相関法などの公知技術を利用することができる。動きベクトル検出部１５により検出された動きベクトルは、所定のフレームレートで取得された連続する画像間の移動方向と移動距離とを示しているので、移動距離をフレームレートで除算することにより移動速度を算出することができる。

このようにすることで、エンコーダ９を有しない手動ステージを有する顕微鏡本体２においても、エンコーダ９等の検出器を追加することなく、本実施形態と同様の効果を得ることができる。

また、ステージ５の移動速度およびステージ５の位置を画像から検出する場合に、カメラ７により取得された画像のみを用いる場合の他、記憶部１１に記憶されている貼り合わせ画像とカメラ７により取得された画像とを用いて検出してもよい。
具体的には、図５に示されるように、演算部３が、ステージ位置検出部（位置検出部）１７と、ステージ速度検出部（速度検出部）１８とを備えている。ステージ位置検出部１７は、カメラ７により取得された画像の一部をテンプレートとして、貼り合わせ画像上でテンプレートマッチングを行うことにより、貼り合わせ画像上で各画像の相対位置を検出する。相対位置の検出には上述した手法を用いることができる。これにより、ステージ５の位置を検出することができる。

一方、ステージ速度検出部１８は。ステージ位置検出部１７で検出された毎フレームのステージ５の位置の時間微分、具体的には、フレーム間差分値を算出することにより、ステージ５の移動速度を検出するようになっていればよい。

また、顕微鏡本体２に備えられたエンコーダ９によるステージ５の位置および移動速度の検出には誤差が存在する。特に、顕微鏡本体２で高倍率の対物レンズ６が選択されている場合には、その誤差は、カメラ７で取得される画像上で大きな誤差となる。ステージ５の位置に誤差を含む状態で貼り合わせ処理が行われると、不連続な境界が貼り合わせ画像上に発生することになる。

また、動きベクトルを累積してステージ５の位置を検出する場合においても、露光に伴う動きボケやサブピクセルでの移動などの要因により、検出結果に誤差が含まれることがある。そのため、動きベクトルを累積してステージ５の位置を算出すると、その誤差が累積されて、実際の物理的なステージ５の位置に対して誤差が発生してしまい、貼り合わせ画像上に不連続な境界が発生してしまうことになる。

これらの不都合を回避するために、ステージ位置検出部１７により出力されるステージ５の位置情報をそのまま使用するのではなく、記憶部１１に記憶されている貼り合わせ画像と貼り合わせを行うフレーム画像との間で位置合わせを行ってから貼り合わせ処理を行うことが好ましい。このようにすることで、ステージ位置検出部１７により検出されたステージ５の位置に誤差が存在しても、貼り合わせ時の位置ズレに伴う境界の発生を軽減することができ、高品位な貼り合わせ画像を生成することができるという利点がある。

また、本実施形態においては、報知部１３が、表示部４に表示する枠Ｆを生成して、その色を赤色から青色に変化させることにより、撮影に適した位置にステージ５が移動したことを報知することとしたが、枠Ｆの色としては、変化が分かる色であれば任意の色を採用できる。
また、枠Ｆの色によってユーザに報知することに代えて、枠Ｆの形状、文字、音声、画面の色や点滅等の任意の方法で撮影に適した位置にステージ５が移動したことを報知してもよい。

１ 顕微鏡システム
４ 表示部
５ ステージ
７ カメラ（撮像部）
９ エンコーダ（位置検出部、速度検出部）
１０ 画像生成部
１２ 判定部
１３ 報知部
１４ 制御部
１５ 動きベクトル検出部（速度検出部）
１６ 位置検出部
１７ ステージ位置検出部（位置検出部）
１８ ステージ速度検出部（速度検出部）
Ｓ 標本

Claims (8)

1. 標本を搭載し観察光軸に直交する方向に移動可能なステージと、
   該ステージの位置を検出する位置検出部と、
   前記ステージの移動速度を検出する速度検出部と、
   前記ステージ上の標本を撮影する撮像部と、
   該撮像部により取得された標本の画像を貼り合わせて貼り合わせ画像を生成する画像生成部と、
   前記位置検出部により検出された前記ステージの位置が、前記撮像部による新たに貼り合わせを行う画像の撮影に適した位置であるか否かを判定する判定部と、
   該判定部による判定の結果、前記新たに貼り合わせを行う画像の撮影に適した位置であると判定された場合に、その旨を報知する報知部と、
   該報知部により撮影に適した位置であることが報知されている状態で、前記速度検出部により検出された前記ステージの移動速度が所定の閾値以下となった場合に、前記撮像部により取得された画像を貼り合わせるように前記画像生成部を制御する制御部とを備える顕微鏡システム。
2. 前記貼り合わせ画像と前記撮像部の視野範囲とを表示する表示部を備え、
   前記報知部が、前記表示部上において、撮影に適した位置である旨を報知する請求項１に記載の顕微鏡システム。
3. 前記撮像部が、所定のフレームレートで複数の画像を取得し、
   前記位置検出部が、前記撮像部により連続して取得された前記複数の画像の取得位置間の相対位置を累積した累積値により前記ステージの位置を検出する請求項１または請求項２に記載の顕微鏡システム。
4. 前記撮像部が、所定のフレームレートで複数の画像を取得し、
   前記速度検出部が、前記撮像部により連続して取得された前記複数の画像の取得位置間の相対位置に基づいて、前記ステージの移動速度を検出する請求項１から請求項３のいずれかに記載の顕微鏡システム。
5. 前記撮像部が、所定のフレームレートで複数の画像を取得し、
   前記位置検出部が、前記画像生成部により生成された貼り合わせ画像を構成するいずれかの画像の取得位置と撮像部により取得された画像の取得位置との相対位置を前記ステージの位置として検出する請求項１または請求項２に記載の顕微鏡システム。
6. 前記速度検出部が、前記位置検出部により検出されたステージの位置の時間変化を移動速度として検出する請求項５に記載の顕微鏡システム。
7. 前記画像生成部が、前記撮像部により取得された画像を前記貼り合わせ画像に貼り合わせるのに先立って、前記撮像部により取得された前記画像と前記貼り合わせ画像との位置合わせを行う請求項１から請求項６のいずれかに記載の顕微鏡システム。
8. 標本を搭載し観察光軸に直交する方向に移動可能なステージの位置および速度を検出し、
   前記ステージ上の標本を撮影し、
   検出された前記ステージの位置が、新たに貼り合わせを行う画像の撮影に適した位置であるか否かを判定し、
   判定の結果、前記新たに貼り合わせを行う画像の撮影に適した位置であると判定された場合に、その旨を報知し、
   撮影に適した位置であることが報知されている状態で、検出された前記ステージの移動速度が所定の閾値以下となった時点で撮影により取得された画像を貼り合わせる顕微鏡システムの制御方法。

Images