JP6797659B2 - 顕微鏡装置、プログラム、観察方法 - Google Patents

Description

本発明は、マップ画像を作成する顕微鏡装置及びプログラム及び観察方法に関する。

従来、顕微鏡の観察技術として、取得した複数の画像を組み合わせることで大きなマップ画像を作成する技術が知られている（特許文献１）。このような技術によって、顕微鏡に備わる対物レンズの視野よりも広い領域における画像を生成することができ、広範囲で標本の特徴を観察することができる。

特表2001-519944号公報

マップ画像の作成処理中に顕微鏡装置の設定を変更する場合、設定変更の内容によってはマップ画像の作成処理を中断することとなる。マップ画像の作成処理を中断するような設定変更とは、例えば光学系の切り替えや、露光時間、倍率等を変更することであり、その設定の変更によって現在作成中のマップ画像を構成するのに適した画像を取得できなくなるようなものである（以下、そのような顕微鏡装置の設定変更を観察条件の変更と記す）。

例えば、マップ画像の作成処理中に倍率を変更してしまうと、倍率を変更した状態で取得した画像（マップ画像を構成するための画像ではない画像）がマップ画像作成に用いられてしまい、正常なマップ画像とはならなくなる。即ち、現在作成中のマップ画像を構成するための画像が取得できなくなるため、マップ画像作成処理を中断する必要がある。

また、共焦点レーザスキャニング光学系とカラー観察光学系といった複数の光学系が搭載されている顕微鏡では、一方の光学系（ここではカラー観察光学系）のみでマップ画像を作成することが多い。即ち、マップ画像作成中に光学系の切り替えを行う場合においても、現在作成中のマップ画像を構成するための画像が取得できなくなるため、マップ画像作成処理を中断する必要がある。

そして、そのような観察条件の変更の度に行うマップ画像作成処理の中断、開始等の操作は、従来観察者によって行われている。従って、上記のような倍率の切り替えや、光学系の切り替え等を行う度に、観察者が頻繁にマップ画像作成処理の中断、再開の指示を入力しなければならず、操作が煩わしいという問題があった。

本発明では、マップ画像作成時における観察条件の変更に伴う、観察者の操作負担を軽減することを目的とする。

本発明の一態様における顕微鏡装置は、標本の観察画像を取得する撮像装置と、特定の観察条件で前記撮像装置が前記観察画像を取得している状態で、前記特定の観察条件で複数取得された前記観察画像を組み合わせてマップ画像を作成するマップ画像作成処理を実
行するとともに、該状態から前記特定の観察条件以外の観察条件である状態に遷移した場合に前記マップ画像作成処理を停止し、再び前記特定の観察条件で前記撮像装置が前記観察画像を取得している状態に遷移した場合に前記マップ画像作成処理を再開する画像処理
装置と、を備え、前記画像処理装置は、前記特定の観察条件で前記観察画像を取得している状態から前記特定の観察条件以外の観察条件である状態へ遷移後から、前記特定の観察条件で前記観察画像を取得している状態に復帰するまでの間に取得された前記観察画像を、前記マップ画像の作成に使用しないことを特徴とする。

本発明の一態様におけるプログラムは、撮像装置が標本の観察画像を取得し、画像処理装置が、特定の観察条件で前記撮像装置が前記観察画像を取得している状態で、前記特定の観察条件で複数取得された前記観察画像を組み合わせてマップ画像を作成するマップ画像作成処理を実行するとともに、該状態から前記特定の観察条件以外の観察条件である状態に遷移した場合に前記マップ画像作成処理を停止し、再び前記特定の観察条件で前記撮像装置が前記観察画像を取得している状態に遷移した場合に前記マップ画像作成処理を再開し、前記特定の観察条件で前記観察画像を取得している状態から前記特定の観察条件以外の観察条件である状態へ遷移後から、前記特定の観察条件で前記観察画像を取得している状態に復帰するまでの間に取得された前記観察画像を、前記マップ画像の作成に使用しないように前記撮像装置と前記画像処理装置とを動作させる処理をコンピュータに実行させることを特徴とする。

本発明の一態様における観察方法は、標本の観察画像を取得し、特定の観察条件で前記観察画像を取得している状態で、前記特定の観察条件で複数取得された前記観察画像を組み合わせてマップ画像を作成するマップ画像作成処理を実行するとともに、該状態から前記特定の観察条件以外の観察条件である状態に遷移した場合に前記マップ画像作成処理を停止し、再び前記特定の観察条件で前記観察画像を取得している状態に遷移した場合に前記マップ画像作成処理を再開し、前記画像処理装置が、前記特定の観察条件で前記観察画像を取得している状態から前記特定の観察条件以外の観察条件である状態へ遷移後から、前記特定の観察条件で前記観察画像を取得している状態に復帰するまでの間に取得された前記観察画像を、前記マップ画像の作成に使用しないことを特徴とする観察方法。

本発明によれば、マップ画像作成時における観察条件の変更に伴う、観察者の操作負担を軽減することができる。

第１の実施形態における顕微鏡装置の構成を示す図。 第１の実施形態における制御装置の構成を示す図。 第１の実施形態における制御装置の機能構成を示す図。 画像処理部の処理により作成されるマップ画像を示す図。 制御装置によって、マップ画像が作成される処理手順を示すフローチャート。 作成途中のマップ画像を表示媒体に出力している状態を示す図。 第２の実施形態における顕微鏡装置の構成を示す図。

以下、本発明の第１の実施形態における顕微鏡装置１０について図面を参照しつつ説明する。図１は、顕微鏡装置１０の構成を示す図である。

顕微鏡装置１０は、二つの異なる光学系である、カラー観察光学系１と共焦点レーザスキャニング光学系２と、対物レンズ７と、標本Ｓを積載して固定するステージ８と、駆動モータ１５、１７と、ステージ位置検知機構１６と、制御装置２０とを備える。

カラー観察光学系１は、白色光源３と、カラーカメラ４と、ハーフミラー５とを備える。カラー観察光学系１を用いて観察を行う場合には、白色光源３から射出される照明光を、ハーフミラー５で反射させ、対物レンズ７を介して標本Ｓに照射する。標本Ｓでの反射光が照明光と同じ光路を辿りカラーカメラ４で検出されることで、カラーの明視野観察画像が取得される。

カラーカメラ４は、標本Ｓからの反射光を検出し、標本Ｓの観察画像を取得する撮像装置（第１の撮像装置）である。カラーカメラ４が取得する観察画像を第１の観察画像とも表記する。カラーカメラ４としては、ＣＣＤカメラやＣＭＯＳイメージセンサ等が用いられる。

共焦点レーザスキャニング光学系２は、レーザ光源９と、ハーフミラー１２と、二次元スキャナ１１と、ダイクロイックミラー６と、ピンホール１３と、光検出器１４とを備える。ダイクロイックミラー６は、レーザ光源９からの照明光を反射し、白色光源３からの照明光を透過する。ピンホール１３は、対物レンズ７の焦点面と略共役な面に配置され、対物レンズ７の焦点面上から生じる光のみを通過させる。また、二次元スキャナ１１は、共焦点レーザスキャニング光学系２の光路上で照明光の光線の角度を変更することで、標本ＳのＸＹ平面上で照明光を走査する手段である。二次元スキャナ１１は、例えば、ガルバノスキャナ等が用いられる。

共焦点レーザスキャニング光学系２を用いて観察を行う場合には、レーザ光源９から射出される照明光をハーフミラー１２、ダイクロイックミラー６で反射させ、二次元スキャナ１１及び対物レンズ７を介して標本Ｓに照射する。二次元スキャナ１１によりその照明光を走査しつつ、照明光と同じ光路を辿ってハーフミラー１２を透過してピンホール１３へ到達する標本Ｓからの反射光のうち、ピンホール１３を通過した光のみが光検出器１４で検出される。従って、共焦点レーザスキャニング光学系２を用いて観察を行う場合には、白黒の共焦点画像が得られる。

光検出器１４は、標本Ｓからの反射光を検出し、標本Ｓの観察画像を取得する撮像装置（第２の撮像装置）である。光検出器１４が取得する観察画像を、第２の観察画像とも表記する。光検出器１４としては、ＰＭＴ等が用いられる。

対物レンズ７は、駆動モータ１５と接続されている。駆動モータ１５は、制御装置２０の制御によって作動し、対物レンズ７をその光軸方向に移動させることで照明光の合焦位置をＺ軸方向に変更する。共焦点レーザスキャニング光学系２を用いて観察を行うときに、二次元スキャナ１１の動作に加えて、駆動モータ１５による対物レンズ７の移動により照明光の合焦位置をＺ軸方向に変更することで、Ｘ、Ｙ、Ｚ方向を含む３次元での画像取得を行うことができる。

また、複数の対物レンズを備え、複数の対物レンズの中から光路上に配置して使用する対物レンズ７を切り替えることができるようなリボルバを備えていても良い。

ステージ８は、標本Ｓを積載して固定すると共に、ステージ位置検知機構１６と駆動モータ１７と接続されている。

ステージ位置検知機構１６は、ステージ８の位置情報を検知する。ステージ位置検知機構１６は例えばステージ８に付属するスケールの値を読み取り、制御装置２０へその値を位置情報として出力する。

駆動モータ１７は、ステージ８をＸ、Ｙ、Ｚ方向に移動させることで、照明光の照射位置をＸ、Ｙ、Ｚ方向に変更する。カラー観察光学系１を用いて観察を行うときに、駆動モータ１７によるステージ８の移動により照明光の照射位置を変更することができる。

制御装置２０は、顕微鏡装置１０の各構成を制御するコンピュータである。図２は、制御装置２０の構成例を示している。

制御装置２０は、例えば、入力インタフェース（入力ＩＦ）２１、出力インタフェース（出力ＩＦ）２２、記憶装置２３、メモリ２４、ＣＰＵ２５、可搬媒体駆動装置２６、を備えていて、それらはバス２８により互いに接続されている。

ＣＰＵ２５は、メモリ２４を利用してプログラムを実行する。ＣＰＵ２５がプログラムを実行することにより、制御装置２０は、顕微鏡装置１０の各構成を制御する制御装置として、また観察時に特定の観察条件であることを検出する検出装置として、またマップ画像作成処理の実行、停止、再開等の処理を行う画像処理装置として機能する。メモリ２４は、例えば、Read Only Memory（ＲＯＭ）、Random Access Memory（ＲＡＭ）などの半導体メモリである。記憶装置２３は、例えば磁気ディスク装置であり、ハードディスクドライブであってもよい。なお、記憶装置２３は、テープ装置であってもよく、フラッシュメモリなどの半導体メモリであってもよい。記憶装置２３は、プログラム、観察画像データ、マップ画像データ、などを格納する。記憶装置２３に格納されたプログラム、観察画像データ、及びマップ画像データは、メモリ２４にロードして使用される。

可搬媒体駆動装置２６は、可搬記録媒体２７を駆動する装置であり、可搬記録媒体２７の記録内容にアクセスする。可搬記録媒体２７は、例えば、半導体デバイス（ＵＳＢメモリ等）、磁気的作用により情報が入出力される媒体（磁気ディスク等）、光学的作用により情報が入出力される媒体（ＣＤ−ＲＯＭ、ＤＶＤ等）などである。可搬記録媒体２７は、プログラム、観察画像データ、及び、マップ画像データなどを格納してもよい。可搬記録媒体２７に格納されたプログラム、観察画像データ、及び、マップ画像データが、メモリ２２にロードされ、使用されてもよい。

出力ＩＦ２２は、観察画像データ、マップ画像データを不図示のモニタ等の表示媒体へ画像信号として出力するインタフェースである。入力ＩＦ２１は、例えば、不図示の入力装置（キーボードやマウスなど）からデータを受信するインタフェースであり、観察者からの入力を受け付ける。

図３は、制御装置２０の機能構成図である。制御装置２０は、顕微鏡装置１０の各構成を制御する制御装置であり、光源制御部３１、露光制御部３２、画像入出力部３３、条件検出部３４、相対位置関係検出部３５、画像処理部３６、走査制御部３７、ステージ制御部３８を備えている。

光源制御部３１は、白色光源３、レーザ光源９のＯＮ、ＯＦＦを制御する。また、白色光源３、レーザ光源９に使用する光源の波長の切り替え等を制御してもよい。

露光制御部３２は、カラーカメラ４、光検出器１４の露光を制御する。即ち、光源制御部３１と露光制御部３２の制御により、カラー観察光学系１と共焦点レーザスキャニング光学系２のいずれか、または両方を用いて標本Ｓの撮像を行うかを選択する。用いる光学系の選択は、観察者からの入力を検知することで実行される。

画像入出力部３３は、カラーカメラ４、光検出器１４からの画像信号（標本Ｓの観察画像データである）を受信し、不図示の表示媒体に画像データを出力する。画像入出力部３３が出力する画像データは、後述する画像処理部３６で作成されたマップ画像等である。

条件検出部３４は、特定の観察条件であることを検出する。観察条件とは、顕微鏡装置１０内の設定や動作状況により決まる条件であり、特定の観察条件とは観察条件のうち、画像処理部３６がマップ画像作成処理を実行するトリガーとなる、ある決まった条件である。本実施形態では、特定の観察条件は、カラー観察光学系１を用いて、第１の撮像装置であるカラーカメラ４が観察画像である第１の観察画像を取得していること、である。条件検出部３４は、特定の観察条件、即ちここではカラーカメラ４が観察画像を取得していることを、例えば、用いる光学系の選択に関する入力を検知することで、検出する。

尚、特定の観察条件は、顕微鏡装置１０内の設定や動作状況により決まる観察条件であって、マップ画像の作成に適した条件であれば任意の条件であってよく、上記条件に限定されない。例えば、特定の観察条件は、特定の倍率で観察画像を取得していることであってもよい。特定の観察条件が特定の倍率で観察画像を取得していることである場合、条件検出部３４は、観察者からの倍率切替の入力を検知することで、特定の観察条件を検出してもよい。尚、ここでいう倍率切替は、対物レンズ７の種類の切替、取得された観察画像に対して行われるデジタルズーム、の両方を含む。また、観察者が手動で対物レンズ７を切り替えることで倍率を変更するような場合には、対物レンズ７の切替を検知するセンサを備え、そのセンサからの信号を受信することで、特定の観察条件であるかどうかを検出してもよい。また、特定の観察条件は、複数の観察条件の組み合わせであってもよく、例えば、特定の観察条件は、カラー観察光学系１を用いて観察画像を取得していることと、特定の倍率で観察画像を取得していることを含んでいてもよい。

相対位置関係検出部３５は、標本Ｓと対物レンズ７との相対位置関係を検出する。相対位置関係は、対物レンズ７に対する標本Ｓの相対的な位置であり、規定の座標（以下、観察座標と記す）上の位置座標として記録される。尚、観察座標は、X、Y、Z方向それぞれの座標情報を有していてもよいが、ここではX、Y方向の座標情報を有していればよい。相対位置関係は、例えば、ステージ位置検知機構１６が検知したステージ８の位置情報に基づいて決定される。

尚、相対位置関係は、取得された２枚以上の観察画像の重複領域において共通する特徴をテンプレートとして、その２枚以上の観察画像を重ねて配置するようなパターンマッチング処理を実行することで検出されてもよい。具体的には、重複部分を有する観察画像を、テンプレートを一致させるように制御装置２０内の仮想的な座標（後述するマップ画像座標）上で配置することで、二つの観察画像の相対的な位置関係が把握される。

画像処理部３６は、第１の撮像装置であるカラーカメラ４が取得した複数の観察画像（第１の観察画像）を組み合わせてマップ画像を作成する処理を行う。図４は、画像処理部３６の処理により作成されるマップ画像を示す図である。マップ画像Ａは、対物レンズ７の視野範囲内で取得される観察画像である観察画像Ｂを複数組み合わせて作成される画像である。このようなマップ画像Ａを作成することで、一枚の観察画像Ｂよりもはるかに広い範囲の標本Ｓの情報を含む画像を観察者に提供することができる。

上記のようなマップ画像は、例えば、観察画像と、相対位置関係と、相対位置関係を規定する座標系である観察座標系とマップ画像座標系との相対関係と、に基づいて作成される。このようにしてマップ画像を作成することをマップ画像作成処理、または、マップ画像の作成処理と記載する。マップ画像座標とは、観察画像を組み合わせる際に、観察画像を配置する座標系のことである。制御装置２０には、予めこのマップ画像座標と観察座標とを対応させる相対関係が記憶されている。即ち、各相対位置関係で取得した観察画像をマップ画像座標と観察座標との相対関係に基づいてマップ画像座標上に配置していくことで、一つのマップ画像を作成する。

また、相対位置関係をステージ８の位置情報ではなく、パターンマッチング処理を用いて検出する場合には、例えば画像処理部３６において以下のようにマップ画像の作成処理が行われる。マップ画像の作成にあたり、最初に取得した観察画像をマップ画像の座標系に配置する。その後、共通する特徴となるテンプレートが得られるような重複領域を有するように複数の観察画像を取得していき、パターンマッチング処理によりマップ画像座標上で観察画像を配置していくことで、一つのマップ画像を作成する。このようなマップ画像の作成処理では、パターンマッチング処理によりマップ画像座標上で観察画像を配置していく過程で、各観察画像の位置を決定する相対位置関係が検出される。

また、相対位置関係は、ステージ８の位置情報と、パターンマッチング処理を組み合わせて検出されるものとしてもよい。その場合、例えば、画像処理部３６は、ステージ位置検知機構１６が検知したステージ８の位置情報に基づいて相対位置関係を検出し、各相対位置関係で取得した観察画像をマップ画像座標と観察座標との相対関係に基づいてマップ画像座標上に配置していく。その後、マップ画像座標上に配置された複数の観察画像（即ちマップ画像を構成する観察画像）に対し、さらにパターンマッチング処理を実行し、複数の観察画像の相対位置関係を補正する。このようにステージ８の位置情報をもとにマップ画像座標上に観察画像を配置し、その後パターンマッチング処理を実行することで、観察画像間の位置ズレ等が補正された、より信頼性の高いマップ画像を作成することが可能となる。

ここで、画像処理部３６は、上記のマップ画像作成処理を、特定の観察条件で行うことを特徴としている。より詳しくは、画像処理部３６は、特定の観察条件で撮像装置（ここでは第１の撮像装置であるカラーカメラ４、即ちマップ画像の作成に用いる観察画像を取得する撮像装置）が観察画像を取得している状態で、特定の観察条件で複数取得された観察画像を組み合わせてマップ画像を作成するマップ画像作成処理を実行する。さらに、画像処理部３６は、特定の観察条件以外の観察条件である状態に遷移した場合にマップ画像作成処理を停止し、再び特定の観察条件で撮像装置（マップ画像の作成に用いる観察画像を取得する撮像装置）が観察画像を取得している状態に遷移した場合にマップ画像作成処理を再開する。尚、特定の観察条件以外の観察条件とは、特定の観察条件ではない観察条件であり、例えば本実施形態では、カラー観察光学系１のカラーカメラ４を用いず、共焦点レーザスキャニング光学系２の光検出器１４による画像取得のみを行っているような場合等である。即ち、画像処理部３６を有する制御装置２０は、顕微鏡装置１０が特定の観察条件である場合と、特定の観察条件以外である場合との間で、自動的にマップ画像の作成処理を実行、または、停止を行う画像処理装置として機能する。

また、ここでいうマップ画像作成処理の再開は、停止前に作成したマップ画像に対し、取得された観察画像を同じマップ画像座標上に配置していくことで、停止前に作成したマップ画像を更新するようにマップ画像作成処理を行うことを示す。

このような機能を有することで、マップ画像の作成中にマップ画像を作成する条件に適さないような観察条件に変更されてしまったとしても、その条件で取得された観察画像がマップ画像の作成に用いられることを自動的に防止することができる。

また、観察者がマップ画像の作成に適した観察条件（特定の観察条件）であるかどうかを判別し、マップ画像の作成を停止、または再開するための入力をする、といった作業を行わずとも、マップ画像の作成、停止の判断と処理が自動的に実行される。従って、観察者は、一度マップ画像の作成を指示した後、マップ画像の作成が完了するまでの間にマップ画像の作成に伴う判断や操作を装置に任せることができ、観察者の操作負担が軽減される。

例えば、本実施形態のようにカラーカメラ４が観察画像を取得している状態を特定の観察条件とした場合、マップ画像の作成中に、観察者によって使用する光学系がカラー観察光学系１から共焦点レーザスキャニング光学系２に切り替えられたときに、画像処理部３６によりマップ画像作成処理が自動的に停止される。また、再度、使用する光学系がカラー観察光学系１に切り替えられたとき、画像処理部３６によりマップ画像作成処理が自動的に再開される。従って、顕微鏡装置１０がカラー観察光学系１を用いてマップ画像を作成している最中に、一時的に観察者が共焦点レーザスキャニング光学系２に切り替えて観察を行ったとしても、画像処理部３６がマップ画像作成処理の停止、再開を自動的に判断し、処理するため、観察者の操作負担が軽減される。

また、特定の倍率で観察画像を取得している状態を特定の観察条件とした場合においても画像処理部３６の処理は同様であり、例えば、マップ画像の作成中に、観察画像を特定の倍率以外の倍率で取得するように倍率変更を行なったとき、画像処理部３６によりマップ画像作成処理が自動的に停止される。また、再度、観察画像を特定の倍率で取得するような状態に戻ったとき、画像処理部３６によりマップ画像作成処理が自動的に再開される。従って、顕微鏡装置１０が特定の倍率で取得した観察画像を用いてマップ画像を作成している最中に、一時的に観察者が倍率を変更して観察を行ったとしても、画像処理部３６がマップ画像作成処理の停止、再開を自動的に判断し、処理するため、観察者の操作負担が軽減される。

一般に、マップ画像を作成するための観察画像を取得している最中に倍率を変更した場合、本来組み合わせるべき画像（同倍率で取得された画像）ではない画像同士が組み合わされ、誤ったマップ画像が作成されてしまう。一方で、顕微鏡装置１０によれば、特定の観察条件を特定の倍率で観察画像を取得している状態とすることで、一時的に倍率を変更したとしても、その状態で取得した観察画像がマップ画像作成処理に用いられないため、誤ったマップ画像が作成されてしまうことを防止できる。

走査制御部３７は、共焦点レーザスキャニング光学系２を用いて観察画像を取得している状態で、照明光の走査を行う手段である。走査制御部３７は、二次元スキャナ１１と、駆動モータ１５とを制御する。

ステージ制御部３８は、カラー観察光学系１を用いて観察画像を取得している状態で、照明光の走査を行う手段である。ステージ制御部３８は、駆動モータ１７を制御する。

以上の構成を有する顕微鏡装置１０によって、マップ画像を作成する処理手順についてフローチャートを用いて説明する。図５は、顕微鏡装置１０における制御装置２０によって、マップ画像が作成される処理手順を示すフローチャートである。図５の処理は、制御装置２０が、観察者からのマップ画像の作成を開始する指示を受信した後に開始される。また、ここでは特定の観察条件を、カラー観察光学系１のカラーカメラ４が観察画像を取得していること、に限定して説明する。

ステップＳ１では、制御装置２０が標本Ｓの観察画像を、画像入出力部３３を介して取得する。尚、ここで取得される観察画像は、対物レンズ７の一視野領域でカラー観察光学系１、共焦点レーザスキャニング光学系２のいずれかで取得された観察画像を示している。

ステップＳ２では、制御装置２０は相対位置検出部３５によってステップＳ１で取得した観察画像に対応する相対位置関係を取得する。ステップＳ２の処理は、ステップＳ１で取得される観察画像に対応した処理である。

ステップＳ３では、画像処理部３６がステップＳ１で取得した観察画像を用いてマップ画像作成処理を実行するかどうかを決定するために、画像処理部３６は、特定の観察条件で観察画像を取得している状態であるかどうかを判定する。例えば、条件検出部３４は、観察者からの入力を監視することで観察条件の変更（即ち、特定の観察条件とその他の観察条件間の遷移）を検出し得る状態であるため、現在の観察条件は制御装置２０内で把握されている。画像処理部３６が、特定の観察条件で観察画像を取得している状態であると判定した場合にステップＳ４に進行し、特定の観察条件で観察画像を取得している状態ではないと判定した場合には、ステップＳ１へ戻り、ステップＳ４以降の処理を行わずに撮像を続行する。

ステップＳ４では、ステップＳ１で取得した観察画像をマップ画像座標系に配置する。ここでは、観察座標系とマップ画像座標系の相対関係に基づいて、観察画像の相対位置関係を元に観察画像をマップ画像座標系に配置する。即ち、ステップＳ４では、特定の観察条件で取得された観察画像を組み合わせてマップ画像を作成するマップ画像作成処理が実行される。

ステップＳ５では、所望のマップ画像が作成済みであるかどうかを判定する。所望のマップ画像が作成済みである状態は、例えば、観察者によってマップ画像が完成したものと見なされ、観察者から終了指示が出された場合である。または、観察者が予め指定した標本ＳのＸＹ平面上の範囲に対応するマップ画像が作成された状態である。所望のマップ画像が作成済みでない場合（マップ画像が作成途中である場合）は、ステップＳ１に戻る。所望のマップ画像が作成済みである場合は、図５の処理を終了する。

図５の処理後には、制御装置２０は、作成済みのマップ画像を表示媒体へ出力する。尚、制御装置２０は、図５の処理過程で作成途中のマップ画像を、マップ画像が作成されていく過程を含めリアルタイムで表示媒体に出力してもよい。図６は、作成途中のマップ画像を表示媒体１８にリアルタイムで出力している状態を示す図である。マップ画像Ｃは、観察者が予め指定した範囲で取得され得る観察画像が全て配置されていない作成途中のマップ画像であって、いくつかの取得された観察画像Ｂにより構成されている。この状態では、制御装置２０は、図５に示す処理を進行させていくことで、即ち、観察者が予め指定した範囲のうち観察画像の未取得領域である領域Ｄ内で観察画像を取得していき、マップ画像座標上に配置していくことで、所望のマップ画像を作成する。このようにマップ画像の作成の途中経過を、表示媒体を通して観察者が把握できるように構成されていてもよい。

また、観察者によって予め標本Ｓ上でマップ画像を作成する範囲が指定されていない場合であっても、作成途中のマップ画像を、マップ画像が更新されていく過程を含めリアルタイムで表示媒体に出力してもよい。

以上の顕微鏡装置１０によれば、マップ画像の作成処理が特定の観察条件のときにのみ行われる。また、特定の観察条件とその他の観察条件との間の遷移に際して自動的にマップ画像作成処理の停止、再開が行われる。このような機能を有することで、マップ画像作成時における観察条件の変更に伴う観察者の操作負担を軽減することができる。

また、特定の観察条件は、上述のとおり、顕微鏡装置１０内の設定や動作状況により決まる観察条件であって、マップ画像の作成に適した条件であれば任意の条件であってもよいとしている。第１の実施形態の変形例として、例えば、スタック画像取得中ではないことを特定の観察条件に加えてもよい。スタック画像は、ステージ８をＺ方向に一定のステップで移動させながら複数取得される観察画像であり、スタック画像の取得は、ピント位置を探ることで、３次元の立体形状を検出するために行われる。即ち、スタック画像取得中は、ＸＹ平面でのマップ画像作成処理が行われるのに適した状態ではない。従って、本変形例では、Ｚ方向にスタック撮影が行われている状態において取得されたマップ画像作成処理に適さない観察画像を用いて誤ったマップ画像が作成されてしまうことを防止することができる。

その他の変形例としては、オートフォーカス（ＡＦ）動作中ではないことを特定の観察条件に加えてもよい。ここで実行されるＡＦは、例えば、取得した観察画像のコントラストを計測することで標本Ｓの合焦位置の測距を行うパッシブ型のＡＦである。ＡＦ動作中は、Ｚ方向に異なる位置で観察画像が取得されるため、ＸＹ平面でのマップ画像作成処理が行われるのに適した状態ではない。従って、本変形例では、マップ画像作成処理に適さないＡＦ中に取得された観察画像を用いて誤ったマップ画像が作成されてしまうことを防止することができる。

また、顕微鏡装置１０は、例えば、標本Ｓを他のサンプルと交換する際に、作成したマップ画像を一旦消去、または、制御装置２０内に記憶するように動作してもよい。即ち、新しいサンプルを標本Ｓとして設置後、新たなマップ画像の作成を行う状態となるように設定されてもよい。サンプルの交換の有無は、例えば、観察者からの入力を制御装置２０が検知することで行う。

以下、本発明の第２の実施形態における顕微鏡装置４０について図面を参照しつつ説明する。図７は、顕微鏡装置４０の構成を示す図である。

顕微鏡装置４０は、共焦点レーザスキャニング光学系を備えておらず、また、カラー観察光学系で複数の検鏡法を実行できるような構成を有している点で顕微鏡装置１０とは異なる。

顕微鏡装置４０は、白色光源４１と、挿脱可能なハーフミラー４２と、対物レンズ４３と、駆動モータ４４、４７と、ステージ４５と、ステージ位置検知機構４６と、カラーカメラ４８と、不図示の制御装置を備えている。顕微鏡装置４０は、さらに、光路中に挿脱可能な構成として、白色光源４１から入射する照明光の光軸を含む平面に対して片側半分を遮断する偏斜観察用の遮光板４９と、暗視野照明による観察を行うための暗視野キューブ５０と、偏光観察及び微分干渉観察を行うためのポラライザ５４とアナライザ５３と、微分干渉観察を行うためのＤＩＣプリズム５５と、を備えている。

尚、対物レンズ４３、ステージ４５は、第１の実施形態で説明した対物レンズ７とステージ８と同様である。また、駆動モータ４４、４７は、駆動モータ１５、１７と同様の制御を実行するものであり、それぞれ対物レンズ４３、ステージ４５の移動制御を行なう。また、ステージ位置検知機構４６についてもステージ位置検知機構１６と同様であり、ステージ４５の位置情報を取得する。

また、顕微鏡装置４０に備わる不図示の制御装置は、制御装置２０と同様の機能構成を有するコンピュータである。また、不図示の制御装置は、以下に記載する検鏡法の切替動作を行うにあたり、挿脱可能な構成の挿脱を制御する。

顕微鏡装置４０では、上記の構成を用いて、明視野観察、暗視野観察、偏斜観察、偏光観察、微分干渉観察を行うことができる。

明視野観察は、上記挿脱可能な構成のうち、ハーフミラー４２のみを挿入した状態で行われる。即ち、顕微鏡装置１０のカラー観察光学系１を用いて行われる観察と同様である。

暗視野観察は、ハーフミラー４２の代わりに、暗視野キューブ５０が挿入され、その他の挿脱可能な構成が光路から外された状態で行われる。暗視野キューブ５０は、照明光軸から離れた位置に開口が形成された遮光板５２と、中心に開口が形成された遮光板５１とを含む。遮光板５２は円形開口であってもよい。暗視野観察時には、白色光源４１から射出された照明光は、遮光板５２の開口のみを通過し、遮光板５１、対物レンズ４３を介してステージ４５上の標本Ｓに斜めから照射される。標本Ｓで反射された光のうち、遮光板５１の開口を通過した光がカラーカメラ４８に到達する。遮光板５１の開口を通過する光は、斜めから標本Ｓに照射された照明光が散乱した光であり、即ち、カラーカメラ４８でその散乱光を検出することで暗視野画像を取得することができる。

偏斜観察は、偏斜観察用の遮光板４９と、ハーフミラー４２が挿入され、その他の挿脱可能な構成が光路から外された状態で行われる。偏斜観察時には、遮光板４９で白色光源４１から入射する照明光の片側半部が遮断されるため、対物レンズ７の瞳の半分のみに照明光が入射し、標本Ｓに偏斜照明が行われる。偏斜照明により、影が生じ、立体的な観察画像を取得することができる。

偏光観察は、ポラライザ５４と、アナライザ５３と、ハーフミラー４２が挿入され、その他の挿脱可能な構成が光路から外された状態で行われる。ポラライザ５４とアナライザ５３は、振動方向が直角となるように配置される。偏光観察によれば、標本Ｓの偏光特性に応じたコントラストを有する観察画像を取得することができる。

微分干渉観察は、ポラライザ５４と、アナライザ５３と、ＤＩＣプリズム５５と、ハーフミラー４２が挿入され、その他の挿脱可能な構成が光路から外された状態で行われる。DICプリズム５５は、適切なリタデーションが生じるように配置角度が調整されている。即ち、微分干渉観察時には、DICプリズム５５で分割された二つの偏光により、標本Ｓのわずかに異なる位置に二つの偏光を照射することができ、その２つの偏光の干渉を利用することで立体的な観察画像を取得することができる。

以上の構成を有する顕微鏡装置４０では、例えば、明視野観察時に取得した観察画像を用いてマップ画像を作成するマップ画像作成処理が実行される。一方で、明視野観察中に、顕微鏡装置４０で実行することが可能なその他の検鏡法（暗視野観察、偏斜観察等）に切り替えて標本Ｓの観察画像の取得を行うような場合もある。

本実施形態では、特定の観察条件が明視野観察をしていること、を含むように設定されることを特徴とする。このように特定の観察条件を設定することで、明視野観察時にマップ画像作成を行っている最中に、その他の検鏡法に一時的に切り替えて標本Ｓの観察画像の取得を行うような場合であっても、明視野観察時以外の検鏡法を用いている状態で取得した観察画像がマップ画像作成処理に用いられることがなく、誤ったマップ画像が作成されてしまうことを防止できる。

また、特定の観察条件でマップ画像作成処理を実行する構成により、マップ画像の作成に適した画像かそうでないかの判断を、観察者が行うことなく制御装置が自動的に行ってマップ画像作成処理を実行することから、観察者の操作負担を軽減することができることについては、第１の実施形態の顕微鏡装置１０で説明した効果と同様である。

上述した実施形態は、発明の理解を容易にするために具体例を示したものであり、本発明はこれらの実施形態に限定されるものではない。上述した顕微鏡装置、及び、プログラム、及び、観察方法は、特許請求の範囲に記載した本発明を逸脱しない範囲において、さまざまな変形、変更が可能である。

１０、４０ 顕微鏡装置
１ カラー観察光学系
２ 共焦点レーザスキャニング光学系
３、４１ 白色光源
４、４８ カラーカメラ
５、１２、４２ ハーフミラー
６ ダイクロイックミラー
７、４３ 対物レンズ
８、４５ ステージ
９ レーザ光源
１１ 二次元スキャナ
１３ ピンホール
１４ 光検出器
１５、１７、４４、４７ 駆動モータ
１６、４６ ステージ位置検知機構
１８ 表示媒体
４９、５１、５２ 遮光板
５０ 暗視野キューブ
５３ アナライザ
５４ ポラライザ
５５ DICプリズム
２０ 制御装置
２１ 入力IF
２２ 出力IF
２３ 記憶装置
２４ メモリ
２５ CPU
２６ 可搬記憶媒体駆動装置
２７ 可搬記憶媒体
３１ 光源制御部
３２ 露光制御部
３３ 画像入出力部
３４ 条件検出部
３５ 相対位置関係検出部
３６ 画像処理部
３７ 走査制御部
３８ ステージ制御部
A、C マップ画像
B 観察画像
D 領域
Ｓ 標本

Claims (9)

1. 標本の観察画像を取得する撮像装置と、
   特定の観察条件で前記撮像装置が前記観察画像を取得している状態で、前記特定の観察条件で複数取得された前記観察画像を組み合わせてマップ画像を作成するマップ画像作成処理を実行するとともに、該状態から前記特定の観察条件以外の観察条件である状態に遷移した場合に前記マップ画像作成処理を停止し、再び前記特定の観察条件で前記撮像装置が前記観察画像を取得している状態に遷移した場合に前記マップ画像作成処理を再開する画像処理装置と、を備え、
   前記画像処理装置は、前記特定の観察条件で前記観察画像を取得している状態から前記特定の観察条件以外の観察条件である状態へ遷移後から、前記特定の観察条件で前記観察画像を取得している状態に復帰するまでの間に取得された前記観察画像を、前記マップ画像の作成に使用しない
   ことを特徴とする顕微鏡装置。
2. 請求項１に記載の顕微鏡装置であって、さらに、
   対物レンズと、
   前記標本と前記対物レンズとの相対位置関係を検出する相対位置関係検出装置と、を備え、
   前記画像処理装置は、前記観察画像と、前記相対位置関係と、前記相対位置関係を規定する座標系である観察座標系とマップ画像座標系との相対関係と、に基づいて前記マップ画像作成処理を実行する
   ことを特徴とする顕微鏡装置。
3. 請求項１または請求項２に記載の顕微鏡装置であって、さらに、
   カラー観察光学系と、
   共焦点レーザスキャニング光学系と、を備え、
   前記撮像装置は、前記カラー観察光学系を通して前記標本の前記観察画像である第１の観察画像を取得する第１の撮像装置と、前記共焦点レーザスキャニング光学系を通して第２の観察画像を取得する第２の撮像装置と、を含む
   ことを特徴とする顕微鏡装置。
4. 請求項３に記載の顕微鏡装置であって、
   前記特定の観察条件は、前記第１の撮像装置が前記観察画像である第１の観察画像を取得していることを含む
   ことを特徴とする顕微鏡装置。
5. 請求項１乃至請求項４のいずれか１項に記載の顕微鏡装置であって、
   前記特定の観察条件は、特定の倍率で前記観察画像を取得していることを含む
   ことを特徴とする顕微鏡装置。
6. 請求項１または請求項２に記載の顕微鏡装置であって、
   前記特定の観察条件は、明視野観察をしていることを含む
   ことを特徴とする顕微鏡装置。
7. 請求項１乃至請求項６のいずれか１項に記載の顕微鏡装置であって、さらに、
   前記特定の観察条件であることを検出する検出装置を備える
   ことを特徴とする顕微鏡装置。
8. 撮像装置が標本の観察画像を取得し、
   画像処理装置が、特定の観察条件で前記撮像装置が前記観察画像を取得している状態で、前記特定の観察条件で複数取得された前記観察画像を組み合わせてマップ画像を作成するマップ画像作成処理を実行するとともに、該状態から前記特定の観察条件以外の観察条件である状態に遷移した場合に前記マップ画像作成処理を停止し、再び前記特定の観察条件で前記撮像装置が前記観察画像を取得している状態に遷移した場合に前記マップ画像作成処理を再開し、
   前記画像処理装置が、前記特定の観察条件で前記観察画像を取得している状態から前記特定の観察条件以外の観察条件である状態へ遷移後から、前記特定の観察条件で前記観察画像を取得している状態に復帰するまでの間に取得された前記観察画像を、前記マップ画像の作成に使用しない
   ように前記撮像装置と前記画像処理装置とを動作させる処理をコンピュータに実行させる
   ことを特徴とするプログラム。
9. 標本の観察画像を取得し、
   特定の観察条件で前記観察画像を取得している状態で、前記特定の観察条件で複数取得された前記観察画像を組み合わせてマップ画像を作成するマップ画像作成処理を実行するとともに、該状態から前記特定の観察条件以外の観察条件である状態に遷移した場合に前記マップ画像作成処理を停止し、再び前記特定の観察条件で前記観察画像を取得している状態に遷移した場合に前記マップ画像作成処理を再開し、
   前記特定の観察条件で前記観察画像を取得している状態から前記特定の観察条件以外の観察条件である状態へ遷移後から、前記特定の観察条件で前記観察画像を取得している状態に復帰するまでの間に取得された前記観察画像を、前記マップ画像の作成に使用しない
   ことを特徴とする観察方法。