JP5197246B2 - 顕微鏡システム - Google Patents

Description

本発明は、複数の対物レンズを有し、微小な試料の拡大観察を行う、各種光学部材がモータによって駆動される顕微鏡システムに関する。

顕微鏡装置は、工業分野を始め、生物分野における研究や検査等において広く利用されている。このような顕微鏡装置を使用して検査を行う場合には、一般に拡大倍率の異なる複数の対物レンズを有し、対物レンズからの観察光路と直交する平面内で観察試料を移動できる電動ステージを操作し、観察、検査を行っている。

顕微鏡装置については、各種の提案が為されている。
例えば、特許文献１には、多色蛍光観察においても各蛍光色を重ね合わせた重ね合わせ画像をほぼリアルタイムで表示、更新できる蛍光顕微鏡装置が提案されている。

また、例えば、特許文献２には、観察体の顕微鏡画像が画像データの形式で提供されるいわゆるバーチャル顕微鏡システムにおいて、検鏡法（観察方法）の切り換えがスムーズに行えるようにした顕微鏡装置が提案されている。
特開２００７−１７９３０号公報 特開２００５−３３１８８７号公報

近年は電子化が進み、観察画像をビデオカメラ等で撮影してモニターにて観察を行うことが多くなってきている。しかしながら、蛍光観察方法による観察においては、標本の輝度が低くなるために、カメラでの観察時に露出時間が長くなってしまう。このため、観察部位を検察するためにステージ等を移動させた場合には、露出不足のため、標本が見えづらくなってしまったり、又はぶれてしまったり、さらには見えなくかってしまい、標本がそこに存在するのかもわからない状態になることもあり、非常に操作性が悪くなってしまうという問題点が生じていた。

本発明は、上記実情に鑑み、特に蛍光観察時において、観察部位を検察するためにステージ等を移動させた場合に、露出不足のため、標本が見えづらくなってしまったり、ぶれてしまったり、又は標本が見えなくなってしまう場合においても、標本を見つけやすくすることが可能であり、操作性向上とユーザーの負担低減を図ることが可能な顕微鏡システムを提供することを目的とする。

上記目的を達成するため、本発明の第１の態様に係る装置は、各種光学部材の駆動を行うことで第一の観察方法と第二の観察方法である蛍光観察を切り換えて観察を行う顕微鏡システムであって、観察体を移動させるステージと、前記観察体の撮影を行う撮像手段と、前記撮像手段により撮影された前記観察体の画像を蓄積する画像蓄積手段と、前記観察体の画像の表示を行う画像表示手段と、前記画像蓄積手段により蓄積された前記第一の観察方法における前記観察体の画像から、前記蛍光観察による観察時に使用される前記観察体の指標画像を作成する画像処理手段と、前記観察体の画像に前記指標画像を重ね合わせ表示する画像重ね合わせ手段と、を有し、前記画像重ね合わせ手段は、前記蛍光観察による観察時、前記観察体の画像に前記指標画像を重ね合わせ表示し、前記指標画像が前記ステージの動きに連動して移動する、ことを特徴とする。

また、本発明の第２の態様に係る装置は、上記第１の態様において、観察倍率を変換する倍率変換手段を更に有し、前記画像重ね合わせ手段は、前記蛍光観察による観察時において、前記観察体の画像に前記指標画像を重ね合わせ表示する際に、前記指標画像を前記蛍光観察における観察倍率に連動して拡大縮小する、ことを特徴とする。

また、本発明の第３の態様に係る装置は、上記第１又は２の態様において、前記指標画像は、予め第一の観察方法において撮影されたマクロ画像から作成されたものである、ことを特徴とする。

また、本発明の第４の態様に係る装置は、上記第２の態様において、前記画像重ね合わせ手段は、前記ステージが移動中である時の前記蛍光観察における前記観察体の画像に前記指標画像を重ね合わせ表示する、ことを特徴とする。

また、本発明の第５の態様に係る装置は、上記第２の態様において、前記第一の観察方法は、微分干渉観察方法又は位相差観察方法である、ことを特徴とする。

また、本発明の第６の態様に係る装置は、上記第５の態様において、前記画像重ね合わせ手段は、前記蛍光観察方法における観察波長に応じて、前記指標画像の表示色を可変させる、ことを特徴とする。

また、本発明の第７の態様に係る装置は、上記第１の態様において、前記指標画像は、前記観察体のエッジを示した画像である、ことを特徴とする。

本発明によれば、観察中の画像に対して、ステージの移動に連動して指標画像を重ね合わせ表示することで、特に蛍光観察時において、観察部位を検察するためにステージ等を移動させた場合に、露出不足のため、標本が見えづらくなってしまったり、ぶれてしまったり、又は標本が見えなくなってしまう場合においても、標本を見つけやすくすることが可能であり、操作性向上とユーザーの負担低減を図ることが可能となる。

以下、図面を参照しながら本発明の実施の形態を説明する。
図１は、本発明の一実施の形態に係る顕微鏡システムの構成例を示す図である。
ここで、観察体の画像に指標画像を重ね合わせ表示する画像重ね合わせ手段は顕微鏡装置１に接続されたホストシステム２が、撮像手段はビデオカメラ３が、画像蓄積手段は画像データ記録部４が、画像表示手段はモニター５が、それぞれ対応する。

顕微鏡装置１には、透過観察用光学系として、透過照明用光源６と、透過照明用光源６の照明光を集光するコレクタレンズ７と、透過用フィルタユニット８と、透過視野絞り９と、透過開口絞り１０と、コンデンサ光学素子ユニット１１と、トップレンズユニット１２とが備えられている。また、落射観察光学系として、落射照明用光源１３と、コレクタレンズ１４と、落射用フィルタユニット１５と、落射シャッタ１６と、落射視野絞り１７と、落射開口絞り１８とが備えられている。

また、これらの透過観察用光学系の光路と落射観察用光学系の光路とが重なる観察光路上には、観察体１９が載置される、上下左右各方向に移動可能な電動ステージ２０を備えている。この電動ステージ２０の移動の制御はステージＸ−Ｙ駆動制御部２１とステージＺ駆動制御部２２とによって行われる。なお、電動ステージ２０は原点センサによる原点検出機能（不図示）を有しており、電動ステージ２０に載置した観察体１９の各部に対して座標を設定することができる。

また、観察光路上には、複数装着された対物レンズ２３ａ、２３ｂ、…（以下、必要に応じて「対物レンズ２３」と総称する）から観察に使用するものを回転動作により選択するレボルバ２４と、観察方法（検鏡方法）を切り換えるキューブユニット２５が備えられている。更に、微分干渉観察用のポラライザー２８、ＤＩＣ（Differential Interference Contrast）プリズム２９、及びアナライザー３０は観察光路に挿入可能となっている。なお、これらの各ユニットは電動化されており、その動作は後述する顕微鏡コントローラ３１によって制御される。

ホストシステム２に接続された顕微鏡コントローラ３１は、顕微鏡装置１全体の動作を制御する機能を有するものであり、ホストシステム２からの制御信号に応じ、観察方法の変更（切り換え）、透過照明用光源６及び落射照明用光源１３の調光を行うと共に、現在の顕微鏡装置１による現在の検鏡状態（観察状態）をホストシステム２へ送出する機能を有している。また、顕微鏡コントローラ３１はステージＸ−Ｙ駆動制御部２１及びステージＺ駆動制御部２２にも接続されており、電動ステージ２０の制御もホストシステム２で行うことができる。

ビデオカメラ３内の撮像素子であるＣＣＤによって撮像された観察体１９の顕微鏡画像は、ビデオボード３２を介してホストシステム２に取り込まれる。ホストシステム２は、ビデオカメラ３に対して、自動ゲイン制御のＯＮ／ＯＦＦ、ゲイン設定、自動露出制御のＯＮ／ＯＦＦ、及び露光時間の設定を、カメラコントローラ３３を介して行うことができる。また、ホストシステム２は、ビデオカメラ３から送られてきた顕微鏡画像を、画像データファイルとして画像データ記録部４に保存することができる。画像データ記録部４に記録された画像データはホストシステム２によって読み出され、当該画像データで表わされている顕微鏡画像を、表示部であるモニター５で表示させることができる。

更に、ホストシステム２は、ビデオカメラ３によって撮像された画像のコントラストに基づいて合焦動作を行う、いわゆるビデオＡＦ機能も提供し、ビデオＡＦ機能によって得られた合焦位置の座標を撮影座標記録部３４に記録を行う機能も有している。

なお、ホストシステム２は、制御プログラムの実行によって顕微鏡システム全体の動作制御を司るＣＰＵ（中央演算装置）、このＣＰＵが必要に応じてワークメモリとして使用するメインメモリ、マウスやキーボードなどといったユーザーからの各種の指示を取得するための入力部、この顕微鏡システムの各構成要素との間で各種データの授受を管理するインタフェースユニット、及び各種のプログラムやデータを記憶しておく例えばハードディスク装置などの補助記憶装置を有している、ごく標準的な構成のコンピュータである。

以下、図２乃至１２を参照しながら、この顕微鏡システムの動作について説明する。
本実施形態では、第一の観察方法として微分干渉観察方法(DIC:Differential Interference Contrast)を、第二の観察方法として蛍光観察方法(FL:Fluorescence)を適用するものとし、第二の観察方法により標本観察を行う場合を例に、本動作を説明する。

まず、図１に示した顕微鏡システムにて第一の観察方法における指標画像を取得する処理を説明する。
図２は、ホストシステム２によって行われる、その指標画像取得処理の処理内容を示すフローチャートである。なお、この処理は、ホストシステム２のＣＰＵが所定の制御プログラムを実行することによって実現され、開始される。

同図に示したように、標本である観察体１９が電動ステージ２０にセットされると（ステップ（以下単に「Ｓ」という）１０１）、顕微鏡装置１による観察方法を第一の観察方法である微分干渉観察方法へ切り換え（Ｓ１０２）、使用する対物レンズを低倍率（低解像度）の対物レンズへ切り換える（Ｓ１０３）。続いて、ビデオカメラ３にて第一の観察方法である微分干渉観察方法におけるマクロ画像の撮影（Ｓ１０４）及び作成（Ｓ１０５）を行う。ここで、マクロ画像は、例えば、図４に示すような観察体１９が複数回（同図の例では６回）に分けて撮影された低倍率の画像（同図の画像４１乃至４６）を、図５に示すようなホストシステム２による画像処理によって張り合わせを行った合成画像となっており、このマクロ画像には電動ステージ２０におけるＸＹ座標情報も付加されたものとなっている。なお、Ｓ１０４にて複数回に分けて撮影された低倍率の画像は、一旦、画像データ記録部４に記録される。また、Ｓ１０５にて作成されるマクロ画像は、その画像データ記録部４に記録された低倍率の複数の画像から作成されるものである。

なお、ここでは、複数回に分けて撮影された低倍率の画像を張り合わせてマクロ画像が作成される場合の例を示したが、１回の撮影により得られた低倍率の画像をマクロ画像とすることも可能である。

続いて、Ｓ１０５にて作成された、第一の観察方法である微分干渉観察方法におけるマクロ画像から、ホストシステム２による画像処理によって指標画像の作成を行う（Ｓ１０６）。ここで、指標画像は、一般的な画像処理によって得ることができる観察体１９のエッジを示した画像（フレーム画像）である。例えば、図５に示したマクロ画像からは、図６に示したような観察体１９のエッジを示した画像である指標画像が作成される。そして、Ｓ１０６にて作成した指標画像を画像データ記録部４に記録し（Ｓ１０７）、この指標画像処理が終了する。

次に、図１に示した顕微鏡システムにて指標画像の重ね合わせ表示を行う観察処理を説明する。
図３は、ホストシステム２によって行われる、その観察処理の処理内容を示すフローチャートである。なお、この処理も、ホストシステム２のＣＰＵが所定の制御プログラムを実行することによって実現され、開始される。

ここでは、観察体１９の指標画像として図６に示した指標画像が得られているときに、第二の観察方法である蛍光観察方法により、図７に示すように、その観察体１９のａ地点を観察した後に、電動ステージ２０の移動を行い、ｂ地点を経由してｃ地点で停止するような観察を行う場合を例に説明する。

なお、図７に示した観察体１９におけるａｗ、ｂｗ、及びｃｗの点線枠で示す範囲は、ａ、ｂ、及びｃ地点のそれぞれの座標において現在観察を行っている視野範囲に対応したものとなっており、モニター５に表示が行われる範囲となっている。また、図６に示した指標画像におけるａｗ’ｂｗ’、及びｃｗ’の点線枠で示す範囲は、それぞれ図７に示した観察体１９におけるａｗ、ｂｗ、及びｃｗの点線枠で示す範囲に対応したものとなっている。

図３において、この観察処理では、まず、顕微鏡装置１による観察方法が第２の観察方法である蛍光観察方法であるか否かを判定し（Ｓ２０１）、その判定結果がＹｅｓの場合には、電動ステージ２０が移動中であるか否かを判定する（Ｓ２０２）。

Ｓ２０１又はＳ２０２の判定結果がＮｏの場合には、観察体１９の観察画像のみをモニター５に表示する（Ｓ２０９）。例えば、上述のように、蛍光観察方法により観察が行われており、図７に示した観察体１９におけるａ地点において電動ステージ２０が停止している場合には、図８に示すように、そのａ地点の視野範囲ａｗに対応した蛍光観察画像のみがモニター５に表示される。

一方、Ｓ２０２の判定結果がＹｅｓの場合には、現在の電動ステージ２０のステージ座標（ＸＹ座標）と現在選択（使用）されている観察倍率（対物レンズの倍率）を検出し（Ｓ２０３及び２０４）、現在ビデオカメラ３にて撮影されている観察体１９の範囲、すなわちモニター５に表示されている観察体１９の範囲に対応した指標画像の範囲（表示範囲となる範囲）を決定する（Ｓ２０５）。例えば、上述のように、図７に示した観察体１９におけるａ地点から電動ステージ２０の移動が行われてｂ地点を通過中の場合には、そのｂ地点の視野範囲ｂｗに対応する図６に示した指標画像における点線枠ｂｗ’に示した範囲が、指標画像の表示範囲となる範囲として決定される。

続いて、Ｓ２０５にて決定された指標画像の範囲を読み出し（Ｓ２０６）、この範囲の画像を、ビデオカメラ３にて撮影されている観察体１９の観察画像に重ね合わせて表示する（Ｓ２０７）。例えば、上述のように、図７に示した観察体１９におけるａ地点から電動ステージ２０の移動が行われてｂ地点を通過中の場合には、そのｂ地点の視野範囲ｂｗに対応する図９に示す蛍光観察画像と、その視野範囲ｂｗに対応する指標画像における点線枠ｂｗ’に示した範囲の画像とが、図１０に示すように、重ね合わせて表示される。このように、電動ステージ２０の移動中は、観察体１９の他の地点においても、図１０に示したものと同様に、現在表示されている観察体１９の蛍光観察画像に対応する範囲の指標画像が重ねて表示されることになる。

Ｓ２０７又はＳ２０９の後は、観察処理を継続するか否かを判定し（Ｓ２０８）、その判定結果がＹｅｓの場合にはＳ２０１へ戻り、Ｎｏの場合には、この観察処理が終了する。なお、このＳ２０８の判定は、例えばホストシステム２が図示しない入力部を介してユーザーからの観察終了指示を検出したか否かによって行うことができる。

例えば、ユーザーからの観察終了指示が為されないままで、上述のように、電動ステージ２０がｂ地点を経由してｃ地点で再び停止した場合には、図１１に示すように停止直前の視野範囲に対応する蛍光観察画像とそれに対応する指標画像の範囲の画像との重ね合わせ画像がモニター５に表示された状態から、図１２に示すようにｃ地点の視野範囲ｃｗに対応した蛍光観察画像のみがモニター５に表示された状態となる。

なお、この観察処理中において、使用する対物レンズが切り換えられたことにより観察倍率が変更され、モニター５に表示される観察体１９の視野範囲が変更された場合には、その視野範囲に対応する指標画像の範囲が読み出され、画像の重ね合わせが行われることとなる。但し、このときには、読み出された指標画像の範囲が、変更された観察倍率に連動して拡大又は縮小された上で、画像の重ね合わせが行われる。

以上のように、本実施形態に係る顕微鏡システムによれば、現在観察中の画像に対して、電動ステージ２０の移動に連動して指標画像を重ね合わせ表示することで、特に蛍光観察時において観察部位を検察するために電動ステージ２０等を移動させた場合に、露出不足のため、標本が見えづらくなってしまったり、ぶれてしまったり、又は標本が見えなくなってしまう場合においても、標本を見つけやすくすることが可能であり、操作性向上とユーザーの負担低減を図ることが可能となる。

なお、本実施形態に係る顕微鏡システムにおいては、第一の観察方法として微分干渉観察方法を適用し、その第一の観察方法である微分干渉観察方法において取得した画像情報をもとに指標画像を作成する場合の例を説明したが、もちろん、第一の観察方法として位相差観察方法を適用し、その第一の観察方法である位相差観察方法において取得した画像情報をもとに指標画像を作成するようにすることも可能である。

また、第一の観察方法の下で取得した画像情報をもとに指標画像を作成し、第二の観察方法の下で観察を行うという観点では、もちろん、第一の観察方法及び第二の観察方法は例示した観察方法に限定されるものではなく、その他の観察方法に置き換えることも可能である。

また、第２の観察方法として適用した蛍光観察方法による観察では、一種類の波長の励起光のみ（例えばＢ励起光のみ）を用いて観察を行うようにすることも可能であるし、複数種類の波長の励起光（例えばＢ励起光とＧ励起光）を順次切り換えて観察を行うようにすることも可能である。また、複数種類の波長の励起光を順次切り換えて観察を行うようにした場合には、励起光の波長毎、すなわち、観察波長毎に、指標画像の表示色（例えば指標画像における観察体１９のエッジの色）を可変させるように構成することも可能である。

また、本実施形態に係る顕微鏡システムにおいて、電動ステージ２０の移動速度を検出するステージ速度検出手段を備えるようにし、電動ステージ２０の移動速度が所定速度以上である場合に観察画像と指標画像との重ね合わせ画像をモニター５に表示し、それが所定速度未満である場合に観察画像のみを表示するように構成することも可能である。

ところで、図２及び図３のフローチャートで示した処理を、前述したような標準的な構成のコンピュータのＣＰＵに行わせるための制御プログラムを作成してコンピュータ読み取り可能な記録媒体に記録させておき、そのプログラムを記録媒体からコンピュータに読み込ませてＣＰＵで実行させるようにしても、本発明の実施は可能である。

記録させた制御プログラムをコンピュータで読み取ることの可能な記録媒体としては、例えば、コンピュータに内蔵若しくは外付けの付属装置として備えられるＲＯＭやハードディスク装置などの記憶装置、コンピュータに備えられる媒体駆動装置へ挿入することによって記録された制御プログラムを読み出すことのできるフレキシブルディスク、ＭＯ（光磁気ディスク）、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭなどといった携帯可能記録媒体等が利用できる。

また、記録媒体は通信回線を介してコンピュータと接続される、プログラムサーバとして機能するコンピュータシステムが備えている記憶装置であってもよい。この場合には、制御プログラムを表現するデータ信号で搬送波を変調して得られる伝送信号を、プログラムサーバから伝送媒体である通信回線を通じてコンピュータへ伝送するようにし、コンピュータでは受信した伝送信号を復調して制御プログラムを再生することでこの制御プログラムをコンピュータのＣＰＵで実行できるようになる。

以上、本発明の実施形態を説明したが、本発明は、上述した実施形態に限定されることなく、本発明の要旨を逸脱しない範囲内で種々の改良・変更が可能である。
例えば、上述した実施形態に係る顕微鏡システムにおいては、顕微鏡装置１として正立顕微鏡装置を採用していたが、その代わりに、倒立顕微鏡装置を採用することももちろん可能であり、また、顕微鏡装置を組み込んだライン装置といった各種システムに本実施形態を適応することも可能である。

一実施の形態に係る顕微鏡システムの構成例を示す図である。 一実施の形態に係る指標画像取得処理の処理内容を示すフローチャートである。 一実施の形態に係る観察処理の処理内容を示すフローチャートである。 複数回に分けて撮影された低倍率の画像の一例を示す図である。 図４に示した低倍率の複数の画像が張り合わされて作成されたマクロ画像の一例を示す図である。 図５に示したマクロ画像から作成された指標画像の一例を示す図である。 観察体の一例を示す図である。 図７に示した観察体におけるａ地点の視野範囲ａｗに対応した蛍光観察画像の一例を示す図である。 図７に示した観察体におけるｂ地点の視野範囲ｂｗに対応した蛍光観察画像の一例を示す図である。 図９に示した蛍光観察画像と、図７に示した観察体におけるｂ地点の視野範囲ｂｗに対応する図６に示した指標画像における点線枠ｂｗ’に示した範囲の画像との、重ね合わせ画像の一例を示す図である。 電動ステージが停止する直前の、視野範囲に対応する蛍光観察画像とそれに対応する指標画像の範囲の画像との重ね合わせ画像の一例を示す図である。 図７に示した観察体におけるｃ地点の視野範囲ｃｗに対応した蛍光観察画像の一例を示す図である。

符号の説明

１ 顕微鏡装置
２ ホストシステム
３ ビデオカメラ
４ 画像データ記録部
５ モニター
６ 透過照明用光源
７ コレクタレンズ
８ 透過用フィルタユニット
９ 透過視野絞り
１０ 透過開口絞り
１１ コンデンサ光学素子ユニット
１２ トップレンズユニット
１３ 落射照明用光源
１４ コレクタレンズ
１５ 落射用フィルタユニット
１６ 落射シャッタ
１７ 落射視野絞り
１８ 落射開口絞り
１９ 観察体
２０ 電動ステージ
２１ ステージＸ−Ｙ駆動制御部
２２ ステージＺ駆動制御部
２３ 対物レンズ
２４ レボルバ
２５ キューブユニット
２８ 微分干渉観察用のポラライザー
２９ ＤＩＣプリズム
３０ アナライザー
３１ 顕微鏡コントローラ
３２ ビデオボード
３３ カメラコントローラ
３４ 撮影座標記録部
４１、４２、４３、４４、４５、４６ 画像

Claims (7)

1. 各種光学部材の駆動を行うことで第一の観察方法と第二の観察方法である蛍光観察を切り換えて観察を行う顕微鏡システムであって、
   観察体を移動させるステージと、
   前記観察体の撮影を行う撮像手段と、
   前記撮像手段により撮影された前記観察体の画像を蓄積する画像蓄積手段と、
   前記観察体の画像の表示を行う画像表示手段と、
   前記画像蓄積手段により蓄積された前記第一の観察方法における前記観察体の画像から、前記蛍光観察による観察時に使用される前記観察体の指標画像を作成する画像処理手段と、
   前記観察体の画像に前記指標画像を重ね合わせ表示する画像重ね合わせ手段と、
   を有し、
   前記画像重ね合わせ手段は、前記蛍光観察による観察時、前記観察体の画像に前記指標画像を重ね合わせ表示し、前記指標画像が前記ステージの動きに連動して移動する、
   ことを特徴とする顕微鏡システム。
2. 観察倍率を変換する倍率変換手段を更に有し、
   前記画像重ね合わせ手段は、前記蛍光観察による観察時において、前記観察体の画像に前記指標画像を重ね合わせ表示する際に、前記指標画像を前記蛍光観察における観察倍率に連動して拡大縮小する、
   ことを特徴とする請求項１記載の顕微鏡システム。
3. 前記指標画像は、予め第一の観察方法において撮影されたマクロ画像から作成されたものである、
   ことを特徴とする請求項１又は２記載の顕微鏡システム。
4. 前記画像重ね合わせ手段は、前記ステージが移動中である時の前記蛍光観察における前記観察体の画像に前記指標画像を重ね合わせ表示する、
   ことを特徴とする請求項２記載の顕微鏡システム。
5. 前記第一の観察方法は、微分干渉観察方法又は位相差観察方法である、
   ことを特徴とする請求項２記載の顕微鏡システム。
6. 前記画像重ね合わせ手段は、前記蛍光観察方法における観察波長に応じて、前記指標画像の表示色を可変させる、
   ことを特徴とする請求項５記載の顕微鏡システム。
7. 前記指標画像は、前記観察体のエッジを示した画像である、
   ことを特徴とする請求項１記載の顕微鏡システム。