本発明の実施形態に係る顕微鏡システムは、顕微鏡、撮像手段、選択指示手段、重畳手段、表示制御手段、検出手段、重畳解除手段を備える。
顕微鏡は、複数の観察方法を切り替えて観察体の観察を行うことができる。顕微鏡は、例えば本発明の実施形態で言えば、顕微鏡装置1に相当する。
撮像手段は、前記観察体の光学画像を撮像する。撮像手段は、例えば本発明の実施形態で言えば、ビデオカメラ3に相当する。
選択指示手段は、前記複数の観察方法のうち少なくとも1つの観察方法を選択させるための選択指示が与えられる。選択指示手段は、例えば本発明の実施形態で言えば、ビデオカメラ3に相当する。各蛍光キューブによる観察方法への切り換え指示ボタン92を示す。
重畳手段は、前記選択された観察方法に基づいて、前記撮像した画像同士を重畳させる。重畳手段は、例えば本発明の実施形態で言えば、ホストシステム2により実行されるS506〜S507の処理に相当する。
表示制御手段は、前記重畳させた画像を表示させる制御を行う。表示制御手段は、例えば本発明の実施形態で言えば、ホストシステム2により実行されるS507の処理に相当する。
検出手段は、前記観察体を撮影する観察環境の変化を生じさせる前記顕微鏡の動作を検出する。検出手段は、例えば本発明の実施形態で言えば、ホストシステム2により実行されるS511の処理に相当する。
重畳解除手段は、前記検出結果に基づいて、前記重畳させた画像の重畳状態を解除する。重畳解除手段は、例えば本発明の実施形態で言えば、ホストシステム2により実行されるS512の処理に相当する。
このように構成することにより、本発明では、同一の観察体に対して複数の観察方法で撮像した観察画像を重畳させて観察しているときに、観察環境の変化を生じさせる顕微鏡の動作が行われた場合でも、表示上の煩わしさがなく、容易に観察体の追跡を行うことができる。
前記重畳手段は、前記表示制御手段により表示させていた画像に対して、前記選択指示による観察方法の画像を累積的に重畳させる。このように構成することにより、記憶した観察画像をLIVE画像に重畳させることができる。
前記検出手段は、前記観察体を載置するステージの移動、倍率の変更、及び合焦のうち少なくともいずれかに関する動作を検出することができる。このように構成することにより、観察体を撮影する観察環境の変化を生じさせる顕微鏡の動作を検出することができる。
ここで、前記重畳解除手段は、前記顕微鏡の動作が検出された場合、前記表示させていた画像に対して重畳させていた前記画像を消去して前記画像の重畳状態を解除することができる。このように構成することにより、ステージ移動時や対物レンズ交換時等において、重畳画像を解消し、LIVE画像とすることができるので、観察体を見つけやすくすることが可能であり、操作性向上とのユーザの負担低減を図ることができる。
また、前記選択指示手段は、前記画像を表示させるグラフィカルユーザインターフェースの一部として表示されている。このとき、前記表示制御手段は、前記選択指示手段に前記選択指示が与えられた場合、該選択指示手段の表示形態を第1の表示形態から第2の表示形態に変更することができる。このように構成することにより、選択された観察方法を視覚的に容易に判別することができる。
また、前記表示制御手段は、前記選択指示手段により選択解除指示が与えられた場合には該選択指示手段の表示形態を前記第2の表示形態から前記第1の表示形態に変更し、前記検出手段により顕微鏡の動作が検出された場合には該選択指示手段の表示形態を前記第2の表示形態から第3の表示形態に変更するができる。このように構成することにより、ユーザ自身が解除した観察方法と、観察環境の変化により強制的に解除された観察方法とを視覚的に容易に判別することができる。
前記観察方法は、波長毎に蛍光観察を行う蛍光観察法であってもよい。また、明視野観察法、暗視野観察法、位相差観察法、及び微分干渉コントラスト法のうち少なくともいずれか2つであってもよい。
以下、図面を参照しながら本発明の実施の形態の詳細を説明する。
図1は、本発明を実施する顕微鏡システムの構成例を示す図である。顕微鏡装置1には、透過観察用光学系として、透過照明用光源6と、透過照明用光源6の照明光を集光するコレクタレンズ7と、透過用フィルタユニット8と、透過視野絞り9と、透過開口絞り10と、コンデンサ光学素子ユニット11と、トップレンズユニット12とが備えられている。また、落射観察光学系として、落射照明用光源13と、コレクタレンズ14と、落射用フィルタユニット15と、落射シャッタ16と、落射視野絞り17と、落射開口絞り18とが備えられている。
また、これらの透過観察用光学系の光路と落射観察用光学系の光路とが重なる観察光路上には、観察体(標本)19が載置される電動ステージ20が備えられている。電動ステージ20は、上下左右の各方向に移動可能である。この電動ステージ20の移動の制御は、ステージX−Y駆動制御部21と、ステージZ駆動制御部22とによって行われる。
なお、電動ステージ20は、原点センサによる原点検出機能(不図示)を有している。これにより、電動ステージ20に載置した標本19の座標検出及び座標指定による移動制御を行うことができる。
また、観察光路上には、レボルバ24と、キューブユニット25と、ズーム光学系27とが備えられている。レボルバ24は、複数装着された対物レンズ23a,23b,…(以下、必要に応じて「対物レンズ23」と総称する)から観察に使用するものを回転動作により選択する。キューブユニット25は、検鏡方法を切り替える。
さらに、微分干渉観察用のポラライザー28、DIC(Differential Interference Contrast)プリズム29、及びアナライザー30は観察光路に挿入可能となっている。これらの各ユニットは電動化されており、その動作は後述する顕微鏡コントローラ31によって制御される。また、対物レンズ23には、カバーガラスによる厚みの補正を行う収差補正機能を有する、いわゆる補正環付対物レンズが装着されている(不図示)。また、顕微鏡コントローラ31によって補正環位置の制御も可能となっている。
ホストシステム2に接続された顕微鏡コントローラ31は、顕微鏡装置1全体の動作を制御する機能を有する。顕微鏡コントローラ31は、ホストシステム2からの制御信号に応じ、検鏡方法の変更、透過照明用光源6及び落射照明用光源13の調光を行う機能を有する。また、顕微鏡コントローラ31は、現在の顕微鏡装置1による検鏡状態(顕微鏡状態)をホストシステム2へ送出する機能を有する。また、顕微鏡コントローラ31は、ステージX−Y駆動制御部21及びステージZ駆動制御部22にも接続されている。それにより、電動ステージ20の制御もホストシステム2で行うことができる。
顕微鏡操作部34は、顕微鏡装置1の動作指示を入力するための各種入力部を備えたハンドスイッチである。さらに、ハンドスイッチに備えられたジョイスティックやエンコーダ(表記せず)によって、電動ステージ20の操作も行えるものとなっている。
ビデオカメラ3によって撮像された標本19の顕微鏡画像は、ビデオボード32を介してホストシステム2に取り込まれる。ホストシステム2は、ビデオカメラ3に対して、自動ゲイン制御のON/OFF、ゲイン設定、自動露出制御のON/OFF、及び露光時間の設定を、カメラコントローラ33を介して行うことができる。
また、ホストシステム2は、ビデオカメラ3から送られてきた標本19の画像データを操作来歴記録部4に保存することができる。操作来歴記録部4に記録された画像データはホストシステム2によって読み出され、表示部であるモニター5に表示させることができる。画像記録部88は、ビデオカメラ3によって撮像された標本19の顕微鏡画像を記録する。
また、ホストシステム2は、撮像した観察体の観察画像を重ね合わせる等の画像処理を行うことができる。また、ホストシステム2は、モニター5に表示させるグラフィカルユーザインターフェース(GUI)の表示形態を制御する。更に、ホストシステム2は、ビデオカメラ3によって撮像された画像のコントラストに基づいて合焦動作を行う、いわゆるビデオAF機能も提供している。
なお、ホストシステム2は、CPU(中央演算装置)、メインメモリ、入力部99、インターフェースユニット、補助記憶装置等を有しているコンピュータである。CPUは、制御プログラムの実行によって顕微鏡システム全体の動作を制御する。メインメモリは、CPUが必要に応じてワークメモリとして使用する。入力部99は、ユーザからの各種の指示を取得するマウスやキーボード等の入力装置である。インターフェースユニットは、この顕微鏡システムの各構成要素との間で各種データの授受を管理する。補助記憶装置は、各種のプログラムやデータを記憶しておく例えばハードディスク装置などである。
次に、ホストシステム2によってモニター5に1つずつ操作メニュー画面として表示される4つのウィザード画面について説明する。
図2は、その4つのウィザード画面の概要を説明する図である。同図に示したように、4つのウィザード画面には、ウィザード画面A、ウィザード画面B、ウィザード画面C、及びウィザード画面Dがある。ウィザード画面Aは、スタートメニュー画面である。ウィザード画面Bは、標本チェックメニュー画面である。ウィザード画面Cは、標本サーチメニュー画面である。ウィザード画面Dは、撮影メニュー画面である。
これら4つのウィザード画面の各々は、顕微鏡観察における複数(本例では4つとする)の観察ステップの各々に対応して設けられている。そして、顕微鏡観察を行う場合、ユーザが観察ステップに応じてウィザード画面を順次切り替えて使用する。なお、ウィザード画面の切り替えは、同図の矢印に示したように、各ウィザード画面から他の3つのウィザード画面の何れへも切り替えることが可能になっている。
各ウィザード画面では、対応する観察ステップにおいて必要となる設定及び操作のみを受け付けることが可能なように、その設定及び操作が可能なユニットとの関連付けが行われる。そのため、各ウィザード画面では、ユーザが不用意に不必要な設定及び操作を行うことができない。また、各ウィザード画面にて受け付けた設定及び操作は、来歴データとして、操作来歴記録部4に記録される。
次に、4つのウィザード画面の各々を詳細に説明する。
図3は、ウィザード画面Aの一例を示す図である。同図に示したウィザード画面Aは、観察を開始するための最初の操作メニュー画面となるスタートメニュー画面(撮影コース選択メニュー画面)である。
このウィザード画面Aでは、ユーザが、これから観察を行う標本(スライドガラス)19のセット(交換)作業と、これから観察を行う検鏡方法(明視野観察、微分干渉観察、蛍光観察等)の選択と、使用する光学素子(対物レンズ23、キューブ等)の選択と、撮影画像サイズの設定等を行うことができる。
ウィザード画面Aにおいて、標本交換ボタン36は、標本19を交換するための指示を行うためのボタンである。標本交換ボタン36が押下(例えばマウスによるクリック)されると、ホストシステム2は顕微鏡コントローラ31を介して電動ステージ20に対して指示を送る。この指示に基づいて、電動ステージ20は、標本19の交換を行うためのステージ位置座標(標本交換位置座標)へ移動する。
なお、標本19のセット後に、ユーザがウィザード画面Aに所定の操作(例えば標本交換ボタン36の再押下)をした場合、標本19の位置を中心ステージ位置座標(観察開始デフォルト座標)へセットするように電動ステージ20を移動させることもできる。
エリア35は、ウィザード画面Aにおけるメインエリアとなっている。エリア35内のボタン43,44,45は、いずれも検鏡方法選択ボタンである。ボタン43は、蛍光観察選択ボタンである。ボタン44は、微分干渉観察選択ボタンである。ボタン45は、明視野観察選択ボタンである。
ボタン46〜49は、いずれも撮影方法選択ボタンである。例えば、ボタン46は、通常撮影を選択するボタンである。ボタン47は、Zスタック撮影を選択するボタンである。ボタン48は、タイムラプス撮影を選択するボタンである。
また、ボタン51は、次の観察ステップに対応するウィザード画面Bへ移行するためのボタンである。ボタン52は、ウィザード画面Aに移行する前のウィザード画面に戻るためのボタンである。例えば、ウィザード画面Dからウィザード画面Aに移行していた場合には、ボタン52が押下(例えばマウスによるクリック)されると、ウィザード画面Dへ戻ることとなる。エリア50は、各種説明表示用のエリアである。
エリア37は、使用する光学素子の選択、追加、交換(物理的交換)のためのエリアである。ユーザは、このエリア37を介して、選択されている検鏡方法による観察で使用するキューブ等の設定を行うことができる。すなわち、ユーザは、顕微鏡装置1で駆動可能な各種光学素子のうち、ウィザード画面Aにて選択した検鏡方法に関連する光学素子のみの設定を行うことが可能となる。
ボタン38〜41は、いずれも他のウィザード画面にダイレクトに移行するためのボタンである。ボタン38は、ウィザード画面Aに移行するためのボタンである。ボタン39は、ウィザード画面Bに移行するためのボタンである。ボタン40は、ウィザード画面Cに移行するためのボタンである。ボタン41は、ウィザード画面Dに移行するためのボタンである。但し、モニター5に表示されているウィザード画面と同一のウィザード画面へ移行するためのボタンが押下(例えばマウスによるクリック)された場合には、ウィザード画面の移行は行われない。なお、ボタン38〜41は、後述のウィザード画面B、ウィザード画面C、及びウィザード画面Dにおいても設けられるものである。
また、このウィザード画面Aでは、ビデオカメラ3で撮影を行う際の画像サイズを設定することも可能となっている。
このように、ウィザード画面Aにおいてユーザが行うことのできる設定及び操作は、原則として、標本19の交換を行うための電動ステージ20の移動指示を行うためのものと、撮影コース(検鏡方法)を選択するためのものと、光学素子を交換するためのものと、撮影画像サイズを設定するためのものとなっている。よって、その他のユニットに対する設定及び操作は、ウィザード画面Aから行うことができないものとなっている。さらにエリア50は各種説明表示用のメニューとなっている。
図4は、ウィザード画面Bの一例を示す図である。同図に示したウィザード画面Bは、マクロ画像(低倍対物レンズによる撮影画像)における初期観察スタート位置の検索とそのマクロ画像におけるAF動作(合焦動作)を行わせるための操作メニュー画面となる標本チェックメニュー画面である。
このウィザード画面Bにおいて、スライドイメージエリア53における矩形で示されるエリア54の範囲は、標本19であるスライドガラス全体に対する電動ステージ20の動作可能範囲を示している。
マクロ画像表示エリア56は、ビデオカメラ3によりリアルタイムに撮影される標本19のLIVE画像となるマクロ画像が表示されるエリアである。なお、ウィザード画面Bがモニター5に表示されているときには、使用する対物レンズ23が低倍(ここでは4x(4倍)の対物レンズとする)のものに固定される。
また、マクロ画像表示エリア56に表示されるマクロ画像は、図3に示したウィザード画面Aにて選択された検鏡方法の下で撮影されたマクロ画像となるのが原則である。しかしながら、ウィザード画面Aにて選択された検鏡方法が蛍光観察であった場合には、標本19における観察対象の褪色を防止する必要がある。そのために、ウィザード画面Bでは、検鏡方法が微分干渉観察へ切り替えられ、その微分干渉観察の下で撮影されたマクロ画像が表示されるようになっている。
また、スライドイメージエリア53においては、そのマクロ画像表示エリア56に表示されているマクロ画像に対応する範囲が矩形枠54として示される。また、スライドイメージエリア53における十字マーク55の位置がマクロ画像表示エリア56にてマクロ画像として表示されている中心位置となっている。
マクロ画像表示エリア56の周囲には、標本19を4方向に移動させるためのボタン57〜60が設けられている。ユーザがボタン57〜60の何れかを押下(例えばマウスによりクリック)すると、そのボタンに対応する方向へ電動ステージ20が移動し、標本19がその方向へ移動するようになっている。
従って、ユーザは、スライドイメージエリア53及びマクロ画像表示エリア56の表示内容を確認しながらボタン57〜60を押下することにより、標本19における観察対象が存在する初期観察スタート位置を選択することができる。初期観察スタート位置の選択が行われると、AF動作を実行させることができる。これにより、マクロ画像における合焦座標(Z座標)を決定することができる。
また、この初期観察スタート位置の選択が行われた後、ユーザによるボタン61の押下(例えばマウスのクリック)により、AF動作を実行させることができ、マクロ画像における合焦座標(Z座標)を決定することができる。
なお、ウィザード画面Aにて蛍光観察が選択されていた場合には、上述の通り、検鏡方法が一時的に微分干渉観察に切り替えられ、その微分干渉観察の下で撮影されたマクロ画像がマクロ画像表示エリア56に表示される。そのため、上記の初期観察スタート位置の選択とマクロ画像における合焦座標の決定も、その微分干渉観察の下で撮影されたマクロ画像に対して行われることとなる。
ボタン61は、上記のAF動作の実行の他、次の観察ステップに対応するウィザード画面Cへ移行するための移動指示ボタンである。ユーザによるボタン61の押下により、ウィザード画面Cに移行する。ボタン62は、ウィザード画面Bに移行する前のウィザード画面に戻るためのボタンである。
このように、ウィザード画面Bにおいてユーザが行うことのできる設定及び操作は、標本19における観察対象が存在する初期観察スタート位置を選択するためのものと、マクロ画像におけるAF動作を行わせるためのものとなっている。
なお、ウィザード画面Aからウィザード画面Bに移行した時には、ウィザード画面Aにて選択された検鏡方法への切り替えが自動的に行われる。これにより、ウィザード画面Bのマクロ表示エリア56に、ウィザード画面Aにて選択させた検鏡方法による画像を表示させることができる。但し、検鏡方法として蛍光観察が選択されていた場合には、上述の通り、微分干渉観察への切り替えが行われる。この検鏡方法の切り替えでは、対物レンズ23及びその他の設定が、切り替えられる検鏡方法に応じたデフォルト値に設定される。
図5は、ウィザード画面Cの一例を示す図である。同図に示したウィザード画面Cは、標本19における撮影位置の検索及び撮影倍率を選択するための操作メニュー画面となる標本サーチメニュー画面である。
このウィザード画面Cにおいて、マクロLIVE画像エリア63は、ビデオカメラ3によりリアルタイムに撮影される標本19のLIVE画像となるマクロ画像が表示されるエリアである。
マクロLIVE画像エリア63において、ユーザは標本19における撮影対象位置の検索と撮影範囲の選択を行うことが可能になっている。なお、ウィザード画面Cがモニター5に表示されているときにも、ウィザード画面Bのときと同様に、使用する対物レンズ23が低倍(ここでは4xの対物レンズとする)のものに固定される。
範囲指定枠64は、次の観察ステップに対応するウィザード画面Dにおけるビデオカメラ3による撮影範囲を示すものであり、矩形で示されている。すなわち、範囲指定枠64が示す範囲は、次のウィザード画面Dにおいて撮影時に使用する対物レンズ23による視野範囲に対応したものとなっている。また、この範囲指定枠64は、マウスによるドラッグ及びドロップ操作によって、マクロLIVE画像エリア63の範囲内を移動可能となっている。
範囲指定枠切替エリア67は、範囲指定枠64の大きさ(撮影倍率)を変更するためのエリアである。範囲指定枠切替エリア67において、ユーザがスライダー67aを左右に移動させることにより、範囲指定枠64の大きさ(撮影倍率)を変更することが可能となっている(ここでは20x〜60x(20倍〜60倍)の範囲内で変更が可能であるとする)。
スライドエリア65は、標本19であるスライドガラス全体に対するマクロLIVE画像エリア63の位置を示すエリアである。スライドエリア65において、十字マーク66がマクロLIVE画像エリア63に表示されているマクロ画像の中心に対応する位置を示している。
ツールエリア69は、マクロLIVE画像エリア63に表示されているマクロ画像の明るさ等の調整を行うためのものである。
フォーカスエリア68は、マクロLIVE画像エリア63に表示されているマクロ画像のフォーカス調整を行うためのエリアである。フォーカスエリア68において、ユーザがスライドバー68aを上下に移動させることにより、光軸方向(Z方向)への電動ステージ20の移動指示が行われ、フォーカス位置を変更することが可能となっている。
なお、その光軸方向に直行する方向(XY方向)への電動ステージ20の移動指示は、ユーザがマクロLIVE画像エリア63上でのマウスのドラック&ドロップ操作によるマクロ画像のスクロール操作を行うことによって可能となっている。
ボタン70は、範囲指定枠64により指定された範囲の撮影を行うための次の観察ステップに対応するウィザード画面Dへ移行するためのボタンである。ボタン71は、ウィザード画面Cに移行する前のウィザード画面に戻るためのボタンである。
このように、ウィザード画面Cにおいてユーザが行うことのできる設定及び操作は、標本19における撮影位置の検索のためのものと、撮影倍率を選択するためのものとなっている。
図6は、ウィザード画面Dの一例を示す図である。同図に示したウィザード画面Dは、ウィザード画面Cの範囲指定枠64により指定された範囲の撮影を行うための操作メニュー画面となる撮影メニュー画面である。
このウィザード画面Dにおいて、画像表示エリア72は、ウィザード画面Cの範囲指定枠64により指定された範囲の標本19がビデオカメラ3によりリアルタイムに撮影されたLIVE画像が表示されるエリア、又は、その範囲の標本19がビデオカメラ3により撮影されたPAUSE画像が表示されるエリアである。
なお、この画像表示エリア72では、LIVE画像が表示されているときにユーザが画像表示エリア72内の位置を指定(例えばマウスのダブルクリック)することによって、指定された位置が画像表示エリア72の中心位置となるように電動ステージ20を移動させることが可能になっている。従って、ユーザは、画像表示エリア72上から、撮影位置調整のための電動ステージ20の移動指示を行うことも可能になっている。
表示画像切替エリア85は、画像表示エリア72に表示させる画像を、リアルタイム画像であるLIVE画像、又は、撮影した画像であるPAUSE画像の何れかに切り替えるためのエリアである。
この表示画像切替エリア85内のボタン86は、画像表示エリア72に表示させる画像をLIVE画像に切り替えるためのものである。ボタン87は、画像表示エリア72に表示させる画像をPAUSE画像に切り替えるためのものである。なお、蛍光画像表示中においては、退色防止のため、一定時間操作が行われないとPAUSE画像を表示するものとなっている。
フォーカス・補正環エリア73は、画像表示エリア72に表示されている画像のフォーカス及びAF動作を行わせるためのものとなっている。このフォーカス・補正環エリア73において、スライドバー74はフォーカス調整を行うためのものである。
なお、このスライドバー74は、ウィザード画面Cにおけるスライドバー68aと同様に、ユーザがスライドバー74を上下に移動させることによって、光軸方向(Z方向)への電動ステージ20の移動指示が行われ、フォーカス位置を変更することが可能となっている。
AFボタン75は、AF動作(合焦動作)を行わせるためのものである。また、補正環調整ボタン76A及び76Bは、カバーガラスによる厚みの収差補正を行うための補正環の駆動指示を行うためのものである。
ステージコントロール・マップエリア77は、画像表示エリア72の表示範囲とその周辺の画像を表示すると共に、当該エリア77に表示される画像のスクロールをも可能にするエリアである。なお、このステージコントロール・マップエリア77において、画像表示エリア72の表示範囲は、矩形枠78として示される。
ボタン79は、現在の観察条件(検鏡方法、使用中のキューブ、対物レンズの倍率(撮影倍率)、撮影画像サイズ等)に同一又は類似の観察条件の下で過去に撮影された画像を一覧表示させるためのボタンである。
ボタン80は、光学倍率(ズーム)の変更指示を行うものである。ボタン80は、左にスライドされると低倍率に変更でき、右にスライドさせると高い倍率に変更できる。
SHOTボタン81は、画像表示エリア72に表示されているLIVE画像の撮影を行うためのボタンである。エリア84は、ユーザが撮影条件をマニュアルで設定するためのものである。ボタン82は、ウィザード画面Cへ移行するためのボタンである。ボタン83は、ウィザード画面Dに移行する前のウィザード画面に戻るためのボタンである。
検鏡方法変更指示エリア89は検鏡方法の切り換えの指示を行うエリアである。本例では、蛍光キューブA,B,C及びDIC観察の切り換えを行える。検鏡方法変更指示エリア89の操作については、図20以降で詳述する。
このように、ウィザード画面Dにおいてユーザが行うことのできる設定及び操作は、ウィザード画面Cの範囲指定枠64により指定された範囲の撮影を行うためのものとなっている。
次に、上述の4つのウィザード画面を使用しながら標本観察を行うときの顕微鏡システムの動作を説明する。以下では、検鏡方法として蛍光観察を選択し、使用するキューブとして蛍光キューブAを選択し、蛍光キューブAを用いた蛍光観察の下で標本19の撮影を行う場合を例に、その動作を説明することにする。
図7〜図10は、その標本観察動作のフローチャートを示す図である。これらのフローは、ホストシステム2により制御される。図11〜図19は、その動作中にモニター5に表示されるウィザード画面の一例を示す図である。
まず始めに、標本観察を開始するために、ユーザによる所定の操作により、モニター5にウィザード画面A(図3参照)が表示される。これにより、スタートメニュー画面であるウィザード画面Aに係る図7に示した処理がスタートする。
図7において、まず、ユーザによる標本交換ボタン36の押下に応じて、ホストシステム2は、標本(観察体)19を交換するためのステージ位置座標(標本交換位置座標)へ電動ステージ20を移動させる。電動ステージ20の移動完了後、標本19がユーザによりセットされる(S101)。
標本19がセットされると、ユーザによるウィザード画面Aに対する所定の操作(例えば標本交換ボタン36の再押下)に応じて、ホストシステム2は、標本19の位置が電動ステージ20の予め定められている中心ステージ位置座標(観察開始デフォルト座標)となるように電動ステージ20を移動させる(S102)。これにより、電動ステージ20の位置が基準点座標にセットさせる。
続いて、ユーザによるボタン43〜45の何れか1つの押下により、検鏡方法が選択される(S103)。これにより、観察を行う検鏡方法が選択される。本例では、蛍光観察を選択するとしていることから、ここではボタン43が押下されたものとする。
続いて、ユーザによるエリア37に対する操作により、キューブが選択される(S104)。これにより、観察に使用されるキューブが選択される。本例では、蛍光キューブAを使用するとしていることから、ここでは蛍光キューブAが選択されたものとする。
続いて、カメラ初期設定として、ユーザによるウィザード画面Aに対する所定の操作により、ビデオカメラ3で撮影を行う際の画像サイズが設定される(105)。本例では、撮影画像サイズとして、M×N(M>0、N>0)が設定されたとする。
続いて、ユーザによるボタン51の押下に応じて、ホストシステム2は、S101〜S105で行われた設定及び操作を来歴データとして操作来歴記録部4に記録する(S106)。本例では、検鏡方法として蛍光観察が選択されたこと、使用するキューブとして蛍光キューブAが選択されたこと、撮影画像サイズがM×Nに設定されたこと等が、来歴データとして操作来歴記録部4に記録される。そして、モニター5に表示されていたウィザード画面Aをウィザード画面B(図4参照)に切り替える。これにより、標本チェックメニュー画面であるウィザード画面Bに係る図8に示すフローチャートがスタートする。
図8において、ウィザード画面Bに移行すると、まず、ホストシステム2は顕微鏡コントローラ31に対して指示を行う。この指示に基づいて、顕微鏡コントローラ31は、予め定められた標準ピント(Z座標)位置へ電動ステージ20を移動させ(S201)、使用する対物レンズ23を4xのものへ切り替える(S202)。
続いて、ホストシステム2は、S103で選択された検鏡方法を操作来歴記録部4から読み出す(S203)。そして、ホストシステム2は、現在の検鏡方法を、その読み出した検鏡方法に対応する検鏡方法へ切り替える(S204)。
本例では、検鏡方法として蛍光観察が選択されたことが操作来歴記録部4に記録されていることから、選択された検鏡方法として蛍光観察が読み出される。そして、現在の検鏡方法が、読み出された蛍光観察に対応する検鏡方法として微分干渉観察に切り替えられる。
このように、ウィザード画面Bにおいて、選択されている検鏡方法が蛍光観察であった場合には、上述の通り、観察対象の褪色防止のため、蛍光観察ではなく微分干渉観察への切り替えが行われる。これにより、現在の検鏡方法に応じた顕微鏡装置1の設定が、微分干渉観察に応じた顕微鏡装置1の設定に切り替えられる。
検鏡方法の切り替えが終了すると、ホストシステム2は、切り替えた検鏡方法の下でビデオカメラ3によりリアルタイムで標本19を撮影し、そのLIVE画像となるマクロ画像をマクロ画像表示エリア56へ表示することを開始する。
本例では、微分干渉観察へ切り替えられたことから、ホストシステム2は、その微分干渉観察の下でビデオカメラ3によりリアルタイムに標本19を撮影して、そのLIVE画像となるマクロ画像をマクロ画像表示エリア56に表示することが開始される。図11は、この時のウィザード画面Bの一例を示す図である。
続いて、ユーザによるボタン57〜60の押下に応じて、ホストシステム2は、電動ステージ20を移動させる(S205)。この操作により、標本19における観察対象が存在する初期観察スタート位置が選択される(S206)。これにより、ユーザは、スライドイメージエリア53及びマクロ画像表示エリア56の表示内容を確認しながらボタン57〜60を押下することにより、標本19における観察対象が存在する初期観察スタート位置を検索することができる。そして、ユーザは、所望の位置を初期観察スタート位置として選択することができる。
なお、この初期観察スタート位置として選択される位置は、マクロ画像表示エリア56に表示されているマクロ画像の中心位置となっている。本例では、図11に示したウィザード画面Bのマクロ画像表示エリア56に表示されているマクロ画像上のa点を初期観察スタート位置として選択する。この場合、そのa点がマクロ画像表示エリア56の中心位置となるようにボタン57〜60が押下される。
そして、図12に示したように、そのa点がマクロ画像表示エリア56の中心位置となり、初期観察スタート位置として選択されたものとする。この時の初期観察スタート位置のXY座標を(x_a、y_a)とする。また、a点がマクロ画像表示エリア56の中心に移動したことに伴い、図12に示したウィザード画面Bのスライドイメージエリア53では矩形枠54が対応する位置へ移動する。
初期観察スタート位置の選択が終了した後、ユーザによるボタン61の押下に応じて、ホストシステム2は、選択された初期観察スタート位置でのAF動作の制御を行う(S207)。本例では、AF動作後の合焦座標であるZ座標を(z_a)とする。
続いて、ホストシステム2は、S201〜S207で行われた設定及び操作を来歴データとして操作来歴記録部4に記録する(S208)。
本例では、上記のXY座標(x_a,y_a)とZ座標(z_a)とが来歴データとして操作来歴記録部4に記録される。そして、モニター5に表示されていたウィザード画面Bをウィザード画面C(図5参照)に切り替える。これにより、標本サーチメニュー画面であるウィザード画面Cに係る図9のフローチャートで示す処理がスタートする。
図9において、ウィザード画面Cに移行すると、まず、ホストシステム2は顕微鏡コントローラ31に対して指示を行い、使用する対物レンズ23が4xのものでない場合には4xのものに切り替える(S301)。
続いて、ホストシステム2は、選択された検鏡方法を操作来歴記録部4から読み出し(S302)、現在の検鏡方法を、読み出した検鏡方法へ切り替える(S303)。
本例では、検鏡方法として蛍光観察が選択されたことが操作来歴記録部4に記録されていることから、選択された検鏡方法として蛍光観察が読み出される。その読み出しと共に、選択されたキューブとして蛍光キューブAが読み出される。そして、現在の検鏡方法及びキューブが、読み出された蛍光観察及び蛍光キューブAに切り替えられる。これにより、現在の検鏡方法に応じた顕微鏡装置1の設定が、蛍光キューブAを用いた蛍光観察に応じた顕微鏡装置1の設定に切り替えられる。
検鏡方法の切り替えが終了すると、ホストシステム2は、切り替えた検鏡方法の下でビデオカメラ3によりリアルタイムに標本19を撮影し、そのLIVE画像となるマクロ画像をマクロLIVE画像エリア63に表示することを開始する。
本例では、蛍光キューブAを用いた蛍光観察に切り替えられたことから、ホストシステム2は、その蛍光キューブAを用いた蛍光観察の下でビデオカメラ3によりリアルタイムに標本19を撮影し、そのLIVE画像となるマクロ画像をマクロLIVE画像エリア63に表示することを開始する。図13は、この時のウィザード画面Cの一例を示す図である。
続いて、ユーザによるマクロLIVE画像エリア63の範囲指定枠64の操作(マウスによるドラッグ&ドロップ)に応じて、ホストシステム2は、範囲指定枠64を移動させる。又は、ユーザによるマクロLIVE画像エリア63上でのマウスのドラック&ドロップ操作によるマクロ画像のスクロール操作に応じて、ホストシステム2は、電動ステージ20を移動させる(S304)。これにより、観察ターゲット(撮影ターゲット)が決定される(S305)。これにより、ユーザは、観察ターゲットの検索を行うことができると共に、所望の範囲を範囲指定枠64に合わせることによりその範囲を観察ターゲットとして決定させることができる。
本例では、図13に示したウィザード画面CのマクロLIVE画像エリア63に表示されているマクロ画像上のb点を観察ターゲットとして決定する。この場合、そのb点が範囲指定枠64の中心位置となるように範囲指定枠64が操作される。そして、図14に示したように、そのb点が範囲指定枠64の中心位置となり、観察ターゲットとして決定される。なお、図14において、枠64’は、移動後の範囲指定枠64を示している。
続いて、ホストシステム2は、S305で決定された観察ターゲットを撮影対象位置として決定する。それと共に、ユーザによる範囲指定枠切替エリア67のスライダー67aの操作に応じて、ホストシステム2は、範囲指定枠64の大きさを変更し、撮影倍率(対物レンズ倍率)を決定する(S306)。
本例では、図14に示した範囲指定枠64’内のb点が撮影対象位置として決定される。それと共に、ユーザによるスライダー67aの操作に応じて撮影倍率が20xの対物レンズが決定されたものとする。なお、b点の位置のXY座標を(x_b,y_b)とする。
続いて、ユーザによるボタン70の押下に応じて、ホストシステム2は、この時にマクロLIVE画像エリア63に表示されている範囲を撮影する。ホストシステム2は、この時の撮影で得られたマクロ画像と、S301〜S306で行われた設定及び操作とを、来歴データとして操作来歴記録部4に記録する(S307)。
本例では、この時にマクロLIVE画像エリア63に表示されている範囲を撮影したマクロ画像をマクロ画像(pic_m_b)とする。すると、操作来歴記録部4には、このマクロ画像(pic_m_b)と、撮影対象位置の座標として上記のb点のXY座標(x_b、y_b)と、変更後の範囲指定枠64の大きさに応じた撮影倍率(20x)等が、来歴データとして記録される。そして、モニター5に表示されていたウィザード画面Cをウィザード画面D(図6参照)に切り替える。これにより、撮影メニュー画面であるウィザード画面Dに係る図10のフローチャートで示す処理がスタートする。
図10において、ウィザード画面Dに移行すると、まず、ホストシステム2は、決定された撮影対象位置の座標及び撮影倍率を操作来歴記録部4から読み出す(S401)。ホストシステム2は、対物レンズ23を、読み出した撮影倍率に対応する対物レンズ23へ切り替える(S402)。更に、ホストシステム2は、読み出した撮影対象位置の座標へ電動ステージ20を移動させる(S403)。
本例では、撮影対象位置の座標(x_b、y_b)と撮影倍率(20x)が操作来歴記録部4に記録されたことから、20xのものへ対物レンズ23が切り替えられ、撮影対象位置の座標(x_b、y_b)へ電動ステージ20が移動する。
そして、ホストシステム2は、切り替えられた対物レンズ23を用いてビデオカメラ3によりリアルタイムに標本19の撮影対象位置を撮影し、そのLIVE画像を画像表示エリア72へ表示することを開始する。また、ウィザード画面Dへ移行する直前に操作来歴記録部4に記録されたマクロ画像がホストシステム2により読み出され、そのマクロ画像がステージコントロール・マップエリア77に表示される。
本例では、切り替えられた20xの対物レンズ(図14に示した範囲指定枠64’の大きさに応じて決定された20xの対物レンズ)を用いてビデオカメラ3によりリアルタイムに撮影対象位置となるb点が撮影され、そのLIVE画像を画像表示エリア72へ表示することが開始される。また、ウィザード画面Dへ移行する直前に操作来歴記録部4に記録されたマクロ画像(pic_m_b)が読み出される。そのマクロ画像(pic_m_b)がステージコントロール・マップエリア77に表示される。図15は、この時のウィザード画面Dの一例を示す図である。
図15のウィザード画面Dに示したように、撮影対象位置となるb点が画像表示エリア72の中心に表示される。さらに、マクロ画像(pic_m_b)がステージコントロール・マップエリア77に表示される。
続いて、ユーザによる画像表示エリア72内の位置の指定に応じて、ホストシステム2は、指定された位置が画像表示エリア72の中心位置となるように電動ステージ20を移動させる(S404)。これにより、ユーザは、撮影対象位置(撮影を行う範囲)の微調整を行うことができる。
本例では、図15に示したウィザード画面Dの画像表示エリア72に表示されているLIVE画像上のc点を撮影対象位置とする。ユーザによりそのc点が指定されると、ホストシステム2は、そのc点が画像表示エリア72の中心位置となるように電動ステージ20を移動させる。
そして、図16に示したように、そのc点が画像表示エリア72の中心位置となって撮影対象位置とされたものとする。また、この時には、c点が画像表示エリア72の中心に移動したことに伴い、ステージコントロール・マップエリア77では、矩形枠78がそのC点に対応する位置へ移動する。なお、c点の位置のXY座標を(x_c,y_c)とする。
続いて、ユーザによるフォーカス・補正環エリア73におけるAFボタン75の押下(例えばマウスによるクリック)に応じて、ホストシステム2は、AF動作(合焦動作)の制御を行う(S405)。
また、このAF動作の後に、ユーザによるフォーカス・補正環エリア73におけるスライドバー74の操作に応じて電動ステージ20を光軸方向(z方向)へ移動することにより、合焦位置の変更を行うこともできる。これにより、ユーザは、合焦位置の微調整を行うこともできる。なお、S405で行われるAF動作自体を、スライドバー74の操作のみによるマニュアルによって行うようにすることもできる。合焦位置の座標であるZ座標を(z_c)とする。
続いて、ホストシステム2は、現在の標本19に対する補正環データ(補正環位置)が操作来歴記録部4に記録されているか否かを判定する(S406)。
ここで、S406の判定結果がNoの場合には、ホストシステム2は、補正環位置調整・決定の処理を行う(S407)。この処理では、ユーザによるフォーカス・補正環エリア73における補正環調整ボタン76A及び76Bの押下に応じて、ホストシステム2は、使用中の対物レンズ23の補正環を駆動する制御を行う。これにより、ユーザは、画像表示エリア72に表示されているLIVE画像を確認しながら補正環調整ボタン76A及び76Bを押下することで、最適な補正環位置を調整することができる。よって、カバーガラスによる厚みの収差補正を行うことができる。
そして、ユーザによるウィザード画面Dに対する所定の操作に応じて、ホストシステム2は、現在の補正環位置を、調整後(補正後)の補正環位置(補正環データ)として操作来歴記録部4に記録する。これにより、ユーザは、調整後の補正環位置を操作来歴記録部4に記録させることができる。本例では、補正環データとして補正環位置(h_1)が操作来歴記録部4に記録されたものとする。
一方、S406の判定結果がYesの場合には、ホストシステム2は、操作来歴記録部4に記録された補正環データを読み出し、その補正環データに応じた位置へ補正環を駆動する(S408)。これにより、最適な位置へ補正環が駆動され、カバーガラスによる厚みの収差補正を行うことができる。例えば、補正環データとして上記の補正環位置(h_1)が操作来歴記録部4に記録されていたとすると、その補正環データに応じて補正環が補正環位置(h_1)へ駆動される。
このようなS406〜S408の処理により、本フローでは、1つの標本に対してS407の処理が一度だけ行われるようになる。そして、S407の処理が一度行われた後は、標本が交換されるまでS407の処理は行われず、代わりにS408の処理が行われるようになる。
S407又はS408の処理が終了すると、ホストシステム2は、ユーザによりボタン79が押下されたか否かを判定する(S409)。なお、この判定は、ビデオカメラ3の撮影条件を設定するにあたり、過去の撮影時に使用した撮影条件を使用するか否かを判定するものである。
ここで、S409の判定結果がYesの場合には、ホストシステム2は、現在の観察条件(検鏡方法、使用中のキューブ、対物レンズの倍率(撮影倍率)、撮影画像サイズ等)に同一又は類似の観察条件の下で過去にビデオカメラ3により撮影され操作来歴記録部4に記録された画像(但しマクロ画像を除く)を検索する。そして、ホストシステム2は、該当する画像を、ウィザード画面Dとは別に表示されるウィンドウ内に一覧表示する(S410)。図17は、この時のウィンドウの一例を示す図である。
図17に示したウィンドウの例では、類似度の高い上位4つの画像(pic_1〜pic_4)に加え、直近に撮影された画像(但し、マクロ画像を除く)(pic_0)も表示するようにしている。なお、図17において、pic_0〜pic_4は説明の便宜のために示したものであり、実際には表示されるものではない。
続いて、ユーザによる画像選択操作(例えばマウスによるクリック)により、ウィンドウ内の1つの画像が選択される。ホストシステム2は、その選択された画像を撮影した時の撮影条件を設定し、その撮影条件をメニュー84に表示する(S411)。これにより、ユーザは、ウィンドウ内の所望の画像を選択することにより、その画像を撮影した時に使用した撮影条件を容易に再現させることができる。
なお、ウィンドウ内で選択された画像に対しては、例えば、図17に示したように太点線枠(pic_0の画像を参照)が設けられ、選択されていない画像と区別可能に表示される。また、このウィンドウは、例えば、ウィザード画面Dが他のウィザード画面に切り替えられると、消えるようになっている。
本フローでは、再現可能な撮影条件を、露出、調光(NDフィルタ含む)、W/B(ホワイトバランス)、及びB/B(ブラックバランス)の各撮影条件とし、撮影時の電動ステージ20のXY座標及びZ座標は再現させない条件とする。また、再現可能な撮影条件においては、更に、撮影条件毎に、再現させるか否かを選択可能となっている。
なお、この選択は、例えば、画像が一覧表示されたウィンドウ内から行うようにすることができる。この場合、一覧表示されたウィンドウ内からユーザが所望の画像を選択すると、例えば、その画像を撮影した時の撮影条件が同ウィンドウ内に併せて表示される。それにより、再現しない或いは再現する撮影条件をユーザが選択できるように構成することにより実現することができる。
本例では、図17に示したウィンドウの例において、ユーザにより画像(pic_2)が選択され、撮影条件として、露出(ae_2)、調光(l_2)、W/B(wb_2)、B/B(bb_2)が設定・再現されたものする。
一方、S409の判定結果がNoの場合には、ホストシステム2は、最後に撮影が行われた時の撮影条件(但しマクロ画像撮影時の撮影条件を除く)を設定し、その撮影条件をメニュー84に表示する。なお、このときの撮影条件の設定及び表示は、ウィザード画面Dに切り替えられた直後に行うようにすることも可能である。
このようにして撮影条件が設定されると、続いて、ユーザによるメニュー84に対する撮影条件を変更するための操作(例えばマウスのクリック)に応じて、ホストシステム2は、設定された撮影条件を変更する(S412)。これにより、ユーザは、設定された撮影条件の微調整を行うことができる。また、これによりユーザがマニュアルで撮影条件を設定することができることは勿論のことである。
続いて、ユーザによるSHOTボタン81の押下に応じて、ホストシステム2は、画像表示エリア72に表示されているLIVE画像の撮影を行う(S413)。本例では、この時の撮影条件(c点を撮影した時の撮影条件)を、露出(ae_c)、調光(l_c)、W/B(wb_c)、及びB/B(bb_c)とし、撮影された画像を(pic_c)とする。なお、このLIVE画像の撮影が行われると、撮影された画像がPAUSE画像として画像表示エリア72に表示される。
続いて、ホストシステム2は、S401〜S413で行われた設定及び操作を来歴データとして操作来歴記録部4に記録する(S414)。本例では、現在のXY座標及びZ座標でもある上記のXY座標(x_c,y_c)及びZ座標(z_c)と、S413でc点を撮影した時の撮影条件である、露出(ae_c)、調光(l_c)、W/B(wb_c)、及びB/B(bb_c)と、その撮影画像(pic_c)等が、操作来歴記録部4に記録される。また、このS414では、ユーザによるボタン86の押下により、画像表示エリア72に表示されているPAUSE画像をLIVE画像に切り替えることも可能である。
以上が、ウィザード画面を使用しながら標本観察を行う一連の動作である。しかし、各ウィザード画面では、上述のとおり、必要に応じて他のウィザード画面へ切り替えることも可能である。この場合、ボタン38の押下により、ウィザード画面Aへ切り替えて図7に示したフローを再開させることが可能である。また、ボタン39の押下により、ウィザード画面Bへ切り替えて図8に示したフローを再開させることが可能である。また、ボタン40又はボタン82の押下により、ウィザード画面Cへ切り替えて図9に示したフローを再開させることが可能である。また、ボタン41の押下により、ウィザード画面Dへ切り替えて図10に示したフローを再開させることが可能である。
これにより、例えば、上記のS414の処理が終了した後に、ユーザがボタン82を押下すると、引き続き、別の撮影ポイントとなる観察ターゲットを探索することが可能となる。この場合は、ユーザによるボタン82の押下に応じて、モニター5に表示されているウィザード画面Dがウィザード画面Cに切り替えられる。そして、使用する対物レンズ23が20xのものから4xのものに変更される。そして、マクロLIVE画像エリア63に再び4xの対物レンズによるマクロ画像(LIVE画像)が表示される。
なお、この時のXY座標及びZ座標が、ウィザード画面Dからウィザード画面Cへ切り替わる直前のXY座標及びZ座標から引き継がれるものとなることは、ウィザード画面Cに係るフローチャート(図9参照)から明らかである。
従って、本例では、XY座標及びZ座標が、ウィザード画面Cへ切り替わる直前のXY座標(x_c,y_c)及びZ座標(z_c)から引き継がれるものとなる。図18は、この時のウィザード画面Cの一例を示す図である。
ここで、ユーザによる図18のウィザード画面Cに対する操作により、マクロLIVE画像エリア63に表示されているd点が新たな観察ターゲットとして決定され、撮影倍率として20xが決定され、そして、ウィザード画面Dに切り替えられる。
すると、そのウィザード画面Dにおける画像表示エリア72には、20xの対物レンズによるd点のLIVE画像が表示される。図19は、この時のウィザード画面Dの一例を示す図である。
ここで、ユーザは再び、撮影条件として、最後に撮影が行われた時の撮影条件を設定することも可能である。また、ボタン79の押下により、過去の撮影時に使用した撮影条件を設定することも可能である。また、ユーザは、そのようにして設定した撮影条件の微調整を、メニュー84を介して行うこともできる。
次に、蛍光キューブA、蛍光キューブB、蛍光キューブCによる観察画像の重ね合わせ操作について説明する。以下では、図20〜図32の画面及び図33のフローチャートを参照しながら、ユーザが撮影を行う範囲の微調整を行う場合(S404)に使用可能な機能について説明する。
図20Aは、ウィザード画面Dの検鏡方法変更指示エリア89を示した図である。図20Bは、検鏡方法変更指示エリア89のGUIの一例を示した図である。ボタン92Aは、蛍光キューブAによる観察方法への切り換え指示ボタンを示す。ボタン92Bは、蛍光キューブBによる観察方法への切り換え指示ボタンを示す。ボタン92Cは、蛍光キューブCによる観察方法への切り換え指示ボタンを示す。ボタン92Dは、蛍光DIC観察への切り換え指示ボタンを示す。
ボタン92A,92B,92C,92D(これらを総称して「ボタン92」で表す)はそれぞれ選択されると、L1からL2へスライドする。すなわちボタン92の左端がL1に到達している場合はそのボタンに対応した検鏡方法が選択状態を示す。ボタン92の左端がL2にある場合は非選択状態を示す。
また、ボタン92A〜92DのGUIの表示形態は、さらに図21(a)〜(c)において符号93〜95に示す表示形態に変化する。形態93で示すボタンのGUIは、現在そのボタンに対応する検鏡方法がメインとして選択させており、LIVE画像が観察画像表示エリア72に表示されている状態を示す。形態94で示すボタンのGUIは、そのボタンに対応する検鏡方法が非メイン(メインとして選択されていない)または非選択状態を示す。形態95で示すボタンのGUIは、後述する顕微鏡の動作によって、そのボタンに対応する検鏡方法による画像が非表示となった状態を示す。
ボタン90は、マルチカラー表示をON/OFFするボタンであって、各蛍光キューブによる検鏡方法にて撮影した蛍光観察画像を重ね合せて表示させる(以下、「重ね合わせ表示」という)ためのボタンである。ボタン91は、後述する重ね合わせ画像の再表示指示ボタンである。
このようなボタンの選択/非選択状態等を表すための表示形態の制御は、本実施形態にかかるプログラムを読み込んだホストシステム2のCPUまたは画面制御用のプロセッサ等により行われている。
まずは、図20〜図23を用いて、重ね合わせ表示を行わない場合の検鏡方法切り換え動作について説明する。ボタン90にてマルチカラー表示のOFFが選択されているものとする(S501で「N」)。
図20Aにおいて、ボタン92Aが選択状態、すなわち蛍光キューブAが選択されている。この場合、観察画像表示エリア72には蛍光キューブAによるLIVE画像が表示されている。
この状態で蛍光キューブBの選択指示ボタン92Bを選択する。すると、ボタン92Bの左端はL1の位置に移動し、ボタン92Bの形態は形態94から形態93へ変更される。ホストシステム2は、顕微鏡コントローラ31を通して蛍光キューブB(35b)を観察光路上へ挿入する指示を行う(S523)。
すると、図22に示すように観察画像表示エリア72には、蛍光キューブBによる観察画像(LIVE画像)の表示が行われる(S524)。また、ボタン92AはL2の位置に移動し、その形態は形態93から形態94へ変更される。
続いて、蛍光キューブCの選択指示ボタン92Cを選択する。すると、ボタン92Cの左端はL1の位置に移動し、その形態は形態94から形態93へ変更される。ホストシステム2は、顕微鏡コントローラ31に対して蛍光キューブC(35c)を観察光路上へ挿入する指示を行う(S523)。
すると、図23に示すように、観察画像表示エリア72には、蛍光キューブCによる観察画像(LIVE画像)の表示が行われる(S524)。また、ボタン92Bは、L2の位置に移動し、その形態は形態93から形態94へ変更される。
続いて、図24〜図26を用いて重ね合わせ表示を行う場合の検鏡方法切り換え操作について説明する。すなわち、ボタン90にてマルチカラー表示のONが選択されている場合について説明する。
図24に示すように、観察画像表示エリア72にキューブAによるLIVE画像が表示されている状態で、マルチカラー表示ボタン90がON(S501)にされている。この場合に、蛍光キューブBを選択するためのボタン92Bを選択する(S502で「Y」)。
すると、ホストシステム2は、観察画像表示エリア72に表示されているキューブAによるLIVE画像の画像を画像記録部88へ保存する(S503)。ボタン92Bの左端はL1の位置に移動し、その形態は、形態94から形態93へ変更される。
ホストシステム2は、顕微鏡コントローラ31に対して蛍光キューブB(35b)を観察光路上へ挿入する指示を行う(S504)。すると、ホストシステム2の制御により、観察画像表示エリア72には蛍光キューブBによる観察画像(LIVE画像)が表示される(S505)。
それから、ホストシステム2は、画像記録部88に保存された蛍光キューブAの画像の読み出しを行う(S506)。図25に示すように、ホストシステム2は、蛍光キューブBによる観察画像(LIVE画像)に対して、その読み出した蛍光キューブAの画像を重ね合わせ表示する(S507)。このとき、ボタン92AはL1の位置のままで、ボタン92Aの形態が形態93から形態94へ変更される。即ち、観察画像表示エリア72には蛍光キューブBによる観察画像(LIVE画像)に対して、画像記録部88に保存された蛍光キューブAの画像が重ね合わせ表示される。
続いて、図25に示す状態で蛍光キューブCの選択指示ボタン92Cを選択すると(S502)、ホストシステム2は、観察画像表示エリア72に表示されているキューブBによるLIVE画像の画像を画像記録部88へ保存する(S503)。ボタン92Cの左端はL1の位置に移動し、その形態は形態94から形態93へ変更される。
ホストシステム2は、顕微鏡コントローラ31を通して蛍光キューブC(35c)を観察光路上へ挿入する指示を行う。観察画像表示エリア72には、蛍光キューブCによる観察画像(LIVE画像)が表示される(S505)。ホストシステム2は、画像記録部88に保存された蛍光キューブA及び蛍光キューブBの画像の読み出しを行う(S506)。
図26に示すように、ホストシステム2は、重ね合わせ表示を行う(S507)。即ち、観察画像表示エリア72には蛍光キューブCによる観察画像(LIVE画像)に対して、画像記録部88に保存された蛍光キューブA及び蛍光キューブBの画像が重ね合わせ表示される。このとき、ボタン92BはL1の位置のままで、その形態は形態93から形態94へ変更される。
続いて図26に示す状態で蛍光キューブAの選択指示ボタン92Aを選択すると(S502)、ホストシステム2は観察画像表示エリア72に表示されているキューブCによるLIVE画像の画像を画像記録部88へ保存する(S503)。ボタン92Aの左端はL1の位置に移動し、その形態は形態94から形態93へ変更される。
ホストシステム2は、顕微鏡コントローラ31を通して蛍光キューブA(35a)を観察光路上へ挿入する指示を行う。観察画像表示エリア72には蛍光キューブAによる観察画像(LIVE画像)の表示が行われる(S505)。ホストシステム2は、画像記録部88に保存された蛍光キューブB及び蛍光キューブCによる画像の読み出す(S506)。
図27に示すように、ホストシステム2は、蛍光キューブAによる観察画像(LIVE画像)に対して、読み出した蛍光キューブB及び蛍光キューブCによる画像を重ね合わせ表示する(S507)。
また、ボタン92CはL1の位置のままで、その形態が形態93から形態94へ変更される。また、観察画像表示エリア72には蛍光キューブAによる観察画像(LIVE画像)に画像記録部88に保存された蛍光キューブB、蛍光キューブCの画像が重ね合わせ表示される。
次に、図27〜図28を用いて重ね合わせ表示のされている検鏡方法の解除の操作について説明する。重ね合わせ表示のうち蛍光キューブCによる観察画像を解除する場合、図27に示す状態で重ね合わせ表示解除対象である蛍光キューブCの選択するためにボタン92Cを選択する(S508で「Y」)。
すると、ホストシステム2は、画像記録部88から読み出しを行っていた蛍光キューブCの重ね合わせ表示を解除する(S509)。すると、図28に示すように、観察画像表示エリア72には蛍光キューブAによる観察画像に、画像記録部88に保存された蛍光キューブBの画像のみが重ね合わせ表示されている。即ち、観察画像表示エリア72には蛍光キューブAによる観察画像(LIVE画像)に対して、画像記録部88に保存された蛍光キューブBの画像のみが重ね合わせ表示される。また、ボタン92Cの形態は、形態94のままでL2の位置に移動が行われる。
なお、重ね合せ表示中、ボタンのGUIが形態93で示されるボタンに対応するLIVE画像の解除はできない。したがって、重ね合せ表示からLIVE画像を解除する場合には、LIVE画像を他の蛍光キューブによる観察画像(LIVE画像)に切り替えた後に、解除することになる。
続いて、図28〜図29を用いてステージの移動による重ね合わせ表示のされている検鏡方法の解除の操作について説明する。
図28では、蛍光キューブAによるLIVE画像に、蛍光キューブBによる観察画像が重ね合わせ表示されている状態で、ステージの移動が行われた場合、例えば、マウスのクリック等によりステージの移動が行われた場合、ホストシステム2はステージ移動が行われたことを検出する(S511で「Y」)。この場合、ホストシステム2は画像記録部88から読み出しを行っていた蛍光キューブBによる観察画像の重ね合わせ表示を解除する(S512)。
すると、図29に示すように、観察画像表示エリア72には蛍光キューブAによる観察画像(LIVE画像)が表示される。即ち、ホストシステム2は、ステージの移動や倍率の変更動作といった重ね合わせを行うと、現在表示されているLIVE画像とずれが生じる顕微鏡操作が行われた場合は、重ね合わせ表示を解除する。すると、観察画像表示エリア72には蛍光キューブAによる観察画像(LIVE画像)のみが表示される。
また、ボタン92Bは、L2の位置に移動し、その形態は形態94から形態95へ変更される。このように、蛍光キューブBの画像は、ユーザによって任意に解除された場合の蛍光キューブCの形態94とは区別される。すなわち、ボタンの形態が、ステージの移動によって解除が行われた場合のGUI95に変更されている。
続いて、図29〜図30を用いて、ステージの移動等によって重ね合わせ表示が解除された検鏡方法の再表示動作について説明する。図29において、ボタン91は、解除された重ね合わせ画像の再表示指示ボタンである。すなわち、ボタン91は、ステージの移動や倍率の変更で重ね合わせ表示が解除された検鏡方法の画像を再び重ね合わせ表示を行う指示を与える。さらに、ステージの移動や倍率の変換動作が終了した場合に、ボタン91は有効となる(S513で「Y」)。図29に示されるように、観察画像表示エリア72には蛍光キューブAの観察画像の表示が行われている。蛍光キューブBの選択は、ステージの移動によって解除されている。蛍光キューブCの選択は、ユーザによって任意に解除されたものとなっている。
ここで、ボタン91をクリックすると(S514で「Y」)、ホストシステム2は顕微鏡コントローラ31に対して蛍光キューブB(35b)を観察光路上へ挿入する指示を行う(S516)。すると、ホストシステム2はその蛍光キューブB(35b)を介して撮影し、そのキューブBによる観察画像を画像記録部88へ保存する(S517)。
ホストシステム2は、ステージの移動等によって重ね合わせ表示が解除された検鏡方法で撮影された画像であって、記録されていない画像があるかを判定する(S518)。重ね合わせ表示が解除された検鏡方法で撮影された画像であって、記録されていない画像がある場合(S518で「Y」)、S516〜S518を繰り返す。
重ね合わせ表示が解除された検鏡方法の画像の記録が終わった場合(S518で「N」)、再びホストシステム2は顕微鏡コントローラ31を通して蛍光キューブA(35a)を観察光路上へ挿入する指示を行う(S519)。観察画像表示エリア72には、蛍光キューブAによる観察画像(LIVE画像)の表示が行われる(S520)。
ホストシステム2は、画像記録部88に保存された蛍光キューブBの画像の読み出しを行う(S521)。それから、図30に示すように、ホストシステム2は、重ね合わせ表示を行う(S521)。即ち、観察画像表示エリア72にはステージ移動終了後の蛍光キューブAによる観察画像(LIVE画像)に、ステージ移動によって解除された蛍光キューブBの画像が重ね合わせ表示される。
続いて、図30〜図32を用いて蛍光キューブAのLIVE画像に蛍光キューブBが重ね合わせ表示されている状態で、倍率の行われた場合について説明する。ボタン80による指示等で、光学倍率の変更が行われる。すると、ホストシステム2は光学倍率の変更が行われたことを検出する(S511で「Y」)。
ホストシステム2は、画像記録部88から読み出しを行っていた蛍光キューブBの重ね合わせ表示を解除する(S512)。図31に示すように、観察画像表示エリア72には蛍光キューブAによる観察画像(LIVE画像)が表示される。また、ボタン92BはL2の位置に移動し、その形態は形態94から形態95へ変更される。これにより、ボタン92Bは、ユーザによって任意に解除された蛍光キューブCの形態94とは区別される。すなわち、ボタン92Bは、ステージの移動によって解除が行われたことを示す形態95で表されるGUIとなる。ここで、ボタン91をクリックすると(S514)、ホストシステム2は顕微鏡コントローラ31に対して蛍光キューブB(35b)を観察光路上へ挿入する指示を行う(S516)。
すると、ホストシステム2はその蛍光キューブB(35b)を介して撮影し、そのキューブBによる観察画像を画像記録部88へ保存する(S517)。ホストシステム2は、倍率の変更等によって重ね合わせ表示が解除された検鏡方法で撮影された画像であって、記録されていない画像があるかを判定する(S518)。重ね合わせ表示が解除された検鏡方法で撮影された画像で、記録されていない画像がある場合(S518で「Y」)、S516〜S518を繰り返す。重ね合わせ表示が解除された検鏡方法の画像の記録が終わった場合(S518で「N」)、再びホストシステム2は顕微鏡コントローラ31に対して蛍光キューブA(35a)を観察光路上へ挿入する指示を行う(S519)。観察画像表示エリア72には蛍光キューブAによる観察画像(LIVE画像)の表示が行われる(S520)。
それから、ホストシステム2は、画像記録部88に保存された蛍光キューブBの画像の読み出しを行う(S521)。図32に示すように、ホストシステム2は、重ね合わせ表示を行う(S521)。即ち、観察画像表示エリア72には光学倍率変更後の蛍光キューブAによる観察画像(LIVE画像)に、ステージ移動によって解除された蛍光キューブBの画像が重ね合わせ表示される。また、本実施例ではステージの動作の検出はXY方向の動作について説明したが、XY方向に加えてZ方向の動きも同様に検出することができる。この場合、合焦動作によってステージのZ方向の動きを検出した場合も同様に、重ね合わせ動作を自動的に解除することができる。
なお、ボタン91を押下して、重ね合わせ表示が解除された画像を再表示させる場合において、S516〜S518を繰り返している間(すなわち、重ね合わせ表示が解除された画像を再取得中)は、モニター5に表示させている画像を一旦消去し、画像取得後に重ね合わせ表示を行う。
他のウィザード画面へ移動するまで、検鏡方法変更指示エリア89を操作することができる(S515)。
以上のように、本実施形態に係る顕微鏡システムは、観察体の画像に変化が生じる顕微鏡動作の検出を行う検出手段を有する。これにより、蛍光観察時において、ステージの移動、倍率の変更やAF動作を行った場合においても、観察画像のオーバーレイ表示状態の解除を行うことができる。その結果、観察画像を重ね合わせたまま顕微鏡を操作した場合に、LIVE画像とそのLIVE画像に重ね合せた観察画像とがずれて観察しづらく、操作が煩わしくなるという弊害を防止できる。よって、顕微鏡の操作性向上とのユーザの負担低減を図ることが可能となる。また、観察時間の短縮化を図ってユーザの負担を大きく低減することが可能となる。
さらに、ボタン92の表示形態に応じて、強制的に重ね合わせ表示が解除された観察方法と、任意に重ね合わせ表示を解除した観察方法とを容易に区別することができる。その結果、再度重ね合わせ表示させる場合に、強制的に重ね合わせ表示が解除された観察方法を容易に判別して選択することができる。
なお、本実施形態では、ステージの移動や倍率の変更で重ね合わせ表示が解除された検鏡方法の画像を再び重ね合わせ表示を行う指示はボタン91にて行ったが、ステージの移動や倍率の変換動作が終了したことを検出して自動的に行うようにしてもよい。
さらに、本実施形態では選択されている検鏡方法の画像は、LIVE画像として表示されている場合について示した。しかし、LIVE/PAUSE切替・表示エリア85の説明でも述べたように、蛍光画像における退色防止のために、一定時間操作がない場合は自動的にPAUSE画像に切り替わるようにしてもよい。
なお、本実施形態においては、蛍光観察、DIC観察、明視野観察の組み合わせの例について説明したが、これに限定されない。例えば、DIC観察を位相差観察に置き換えてもよく、またその他の検鏡方法の組み合わせであってもよい。
また、本実施例の顕微鏡装置は、複数の対物レンズを有し、これを随時切り換えていく構成として説明したが、ズーム機構を有する対物レンズであってもよい。また、標本としてスライドガラスを例に説明を行ったが、これに限定されるものではなく、ディッシュやその他の標本であってもよい。
例えば、上述した実施形態に係る顕微鏡システムでは顕微鏡装置1として正立型顕微鏡装置を採用していたが、その代わりに、倒立型顕微鏡装置を採用してもよい。また、顕微鏡装置を組み込んだライン装置といった各種システムに本実施形態を適応してもよい。
図7〜図10、及び図33のフローチャートで示した処理は、前述したような標準的な構成のコンピュータのCPUに行わせるための制御プログラムを作成してコンピュータ読み取り可能な記録媒体に記録させておいてもよい。この場合、そのプログラムを記録媒体からコンピュータに読み込ませてCPUで実行させることにより、本発明を実施することができる。
記録させた制御プログラムをコンピュータで読み取ることの可能な記録媒体としては、例えば、コンピュータに内蔵若しくは外付けの付属装置として備えられるROMやハードディスク装置などの記憶装置、コンピュータに備えられる媒体駆動装置へ挿入することによって記録された制御プログラムを読み出すことのできるフレキシブルディスク、MO(光磁気ディスク)、CD−ROM、DVD−ROMなどといった携帯可能記録媒体等が利用できる。
また、記録媒体は、通信回線を介してコンピュータと接続される、プログラムサーバとして機能するコンピュータシステムが備えている記憶装置であってもよい。この場合には、制御プログラムを表現するデータ信号で搬送波を変調して得られる伝送信号を、プログラムサーバから伝送媒体である通信回線を通じてコンピュータへ伝送するようにし、コンピュータでは受信した伝送信号を復調して制御プログラムを再生することでこの制御プログラムをコンピュータのCPUで実行できるようになる。
以上、本発明の実施形態を説明したが、本発明は、上述した各実施形態に限定されることなく、本発明の要旨を逸脱しない範囲内で種々の改良・変更が可能である。