JP5006062B2 - バーチャルスライド作成装置、バーチャルスライド作成方法およびバーチャルスライド作成プログラム - Google Patents

Description

本発明は、高倍率で撮像した顕微鏡画像を貼り合わせた、いわゆるバーチャルスライドを作成するためのバーチャルスライド作成装置、バーチャルスライド作成方法およびバーチャルスライド作成プログラムに関し、特に、高品質なバーチャルスライドを迅速に作成することが可能なバーチャルスライド作成装置、バーチャルスライド作成方法およびバーチャルスライド作成プログラムに関する。

従来、顕微鏡を用いて観察体を観察する場合、一度に観察できる範囲（観察範囲）は主に対物レンズの倍率によって決定される。ここで、高倍率の対物レンズを使用するとその観察範囲は観察体のごく一部分に限られてくる。ところが、例えば細胞や組織診といった病理診断においては、診断箇所の見落としを防止するために観察体の全体像を把握したいという要請がある。

また、情報処理技術の発達により、このような病理診断においても画像の電子情報化が促進されており、ビデオカメラ等を介して取り込む顕微鏡観察像についても旧来の銀塩フィルム並の高い解像度を得たいという要請がある。

これらの要望を実現するために、従来技術においては、予め観察体の画像を小区画に分割し、当該小区画に対応する観察体の部分を高解像度の対物レンズで撮像し、得られた小区画毎の顕微鏡画像を貼り合わせることにより、観察体の画像を再構築するシステムが開示されている（例えば、特許文献１、特許文献２参照。）。このような、いわゆるバーチャル顕微鏡システムを用いれば、実際に観察体が存在しない環境でも観察体の顕微鏡観察を行なうことができ、また、画像処理技術の利用により、観察体を実体観察する行為と同様の、以下のような観察を行なうことができる。

すなわち、まず、低倍観察時には、例えば貼り合わせた顕徴鏡画像を縮小表示することで広画角の画像を提供する一方で、高倍観察時には、小区画毎に撮像された部分画像を表示することで高い解像度を提供する。また、観察者によるＸ−Ｙ方向操作（光軸に対して垂直な面上での水平方向の移動操作）に対応させて表示中の顕微鏡画像の表示範囲を移動させる。

このようなシステムでは、時間の制約にとらわれることなく観察体の診断が可能であり、また、顕微鏡画像を表している画像データを複数の診断者で共有しておくことにより、同時に複数の診断者が例え異なる場所に在っても同一観察体の別々の場所を観察することができる。

また、観察体の実体を使用してＸ−Ｙ方向操作をしながら観察を行なう際には、観察体の傾きなどにより生じるピントずれを補正しなければならないが、上述したようなシステムでは、常にピントがあった状態で観察を続けることができるため、観察効率が高まり、ピントずれによる観察漏れも減り、それだけ診断の信頼性も高くなる。

また、例えば病理診断者への教育の際において、従来では同一の観察体を複数作成して観察実習等の教育を行なう必要があったのに対し、上述したようなシステムによれば、画像データを共有化できる利点を活かし、同一の観察体画像を用いた教育が可能となる。

更に、スライドガラスに封入した実体の観察体は、色褪せを生じさせてしまったり破損させてしまったりした場合には同じ状態のものを復元することは極めて困難であるが、画像データはバックアップが可能であるので、上述したようなシステムでは、同じ状態の観察体をいつでもどこででも観察することができる。

以上のように、バーチャル顕微鏡システムは、観察体の実体を用いる顕微鏡観察に対して、効率的であって高精度であり、高い信頼性を有している。
特開平９−２８１４０５号公報 特表２００２−５１４３１９号公報

上述のような技術では、小区画毎の顕微鏡画像を貼り合わせる（繋ぎ合わせ）場合において、従来技術のようにあらかじめ重複領域（オーバーラップ領域）を設けて撮像し、お互いに貼り合わせる画像間のオーバーラップ領域から、画像マッチング等の演算で画像の貼り合わせを行なうための座標を算出し、貼り合わせを行なっていた。

しかしながら、従来のバーチャル顕微鏡システムにおいては、同一標本（観察体）であっても複数の検鏡方法の画像を撮像する場合、検鏡方法毎にそれぞれの画像においてオーバーラップ領域から画像貼り合わせ情報の演算を行なっていたために、非常に時間がかかってしまうという問題点があった。

また、特に蛍光画像における観察体の撮像を行なう場合、画像貼り合わせ情報を算出するためのオーバーラップ領域の画像が非常に暗いために画像情報ノイズ成分が多く含まれてしまい、画像貼り合わせ情報の算出の精度が低くなってしまうという問題があった。

さらに、蛍光画像においては、貼り合わせ時に画像貼り合わせ情報を算出するためのオーバーラップ領域に余計に照明光をあてることのために、観察体の退色をまねいてしまうという問題も生じていた。

本発明は、上記問題点に鑑みてなされたものであり、予め観察体を撮像し、画像をつなぎ合わせることによって観察体の画像を再構築するシステム、いわゆるバーチャル顕微鏡システムにおいて、複数の検鏡方法における画像貼り合わせ演算の短縮をはかり、特に蛍光観察画像の撮像においても退色の防止と高品質な画像の取得が可能な顕微鏡システムを提供することを目的とする。

本発明は、上記課題を解決するため、下記のような構成を採用した。
すなわち、本発明の一態様によれば、本発明のバーチャルスライド作成装置は、顕微鏡で観察する同一観察体を複数の検鏡方法で、各検鏡方法毎に撮像した複数の観察画像を重複領域を設けて貼り合せることにより各検鏡方法毎のバーチャルスライドを作成するバーチャルスライド作成装置であって、第１の観察方法により撮像した複数の観察画像から前記重複領域に関する画像貼り合わせ情報を算出する画像貼り合わせ情報算出手段と、前記画像貼り合わせ情報算出手段によって算出された画像貼り合わせ情報に基づいて、蛍光観察方法により撮像した複数の画像領域を貼り合わせる画像貼り合わせ手段と、前記蛍光観察方法の場合、前記重複する領域を前記照明範囲から外すように照明光を制御するための照明光制御手段とを備えることを特徴とする。

本発明によれば、予め観察体を高解像レンズで撮像し、画像をつなぎ合わせることにより、観察体の画像を再構築するシステム、いわゆるバーチャル顕微鏡システムにおいて、処理速度の向上と特に蛍光画像取得において、貼り合わせ精度の向上と退色の防止をはかることが可能となり、高品質な、高解像度の蛍光観察画像取得が可能な顕微鏡システムを提供することができる。

以下、本発明を適用した実施の形態について図面を参照しながら説明する。
（第１の実施の形態）
図１は、本発明を適用した第１の実施の形態に係る顕微鏡システムの構成例を示す図である。

図１において、顕微鏡装置１は、透過観察用光学系として、透過照明用光源６と、透過照明用光源６の照明光を集光するコレクタレンズ７と、透過用フィルタユニット８と、透過視野絞り９と、透過開口絞り１０と、コンデンサ光学素子ユニット１１と、トップレンズユニット１２とを備えている。また、落射観察光学系として、落射照明用光源１３と、コレクタレンズ１４と、落射用フィルタユニット１５と、落射シャッタ１６と、落射視野絞り１７と、落射開口絞り１８とを備えている。

また、これらの透過観察用光学系の光路と落射観察用光学系の光路とが重なる観察光路上には、上下左右各方向に移動可能な電動ステージ２０が備えられ、その電動ステージ２０上には観察体１９が載置されている。この電動ステージ２０の移動の制御は、ステージＸ−Ｙ駆動制御部２１とステージＺ駆動制御部２２とによって行われる。なお、電動ステージ２０は原点センサによる原点検出機能（不図示）を有しており、電動ステージ２０に載置した観察体１９の各部に対して座標を設定することができる。

また、観察光路上には、複数装着された対物レンズ２３ａ、２３ｂ、・・・（以下、必要に応じて「対物レンズ２３」と総称する）から観察に使用するものを回転動作により選択するレボルバ２４と、検鏡法を切り替えるためのキューブユニット２５と、観察光路を接眼レンズ２６側とビデオカメラ３側とに分岐するビームスプリッタ２７とが備えられている。

更に、微分干渉観察用のポラライザー２８、ＤＩＣ（Differential Interference Contrast）プリズム２９、及びアナライザー３０は観察光路に挿入可能となっている。
なお、これらの各ユニットは電動化されており、その動作は後述する顕微鏡コントローラ３１によって制御される。

ホストシステム２に接続された顕微鏡コントローラ３１は、顕微鏡装置１全体の動作を制御する機能を有するものであり、ホストシステム２からの制御信号に応じ、検鏡法の変更、透過照明用光源６及び落射照明用光源１３の調光を行なうと共に、現在の顕微鏡装置１による現在の検鏡状態をホストシステム２へ送出する機能を有している。

また、顕微鏡コントローラ３１は、ステージＸ−Ｙ駆動制御部２１及びステージＺ駆動制御部２２にも接続されており、電動ステージ２０の制御もホストシステム２で行なうことができる。

ビデオカメラ３内の撮像素子であるＣＣＤによって撮像された観察体１９の顕微鏡画像は、ビデオボード３２を介してホストシステム２に取り込まれる。
ホストシステム２は、ビデオカメラ３に対して、自動ゲイン制御のＯＮ／ＯＦＦ、ゲイン設定、自動露出制御のＯＮ／ＯＦＦ、及び露光時間の設定を、カメラコントローラ３３を介して行なうことができる。また、ホストシステム２は、ビデオカメラ３から送られてきた顕微鏡画像を、画像データファイルとして画像データ記録部４に保存することができる。画像データ記録部４に記録された画像データはホストシステム２によって読み出され、当該画像データで表わされている顕微鏡画像を、モニター５で表示させることができる。更に、ホストシステム２は、ビデオカメラ３によって撮像された画像のコントラストに基づいて合焦動作を行なう、いわゆるビデオＡＦ機能も提供し、ビデオＡＦ機能によって得られた合焦位置の座標を画像貼り合わせ情報記録部３５に記録を行なう機能も有している。

重複領域設定部３４は、複数の区分における撮像の重なり領域を設定し、顕微鏡装置１に接続されたホストシステム２が、観察体１９を複数の区画に分割し、小区画の重複領域から画像を単一画像に貼り合わせを行なう。

なお、ホストシステム２は、制御プログラムの実行によって顕微鏡システム全体の動作制御を司るＣＰＵ（中央演算装置）、このＣＰＵが必要に応じてワークメモリとして使用するメインメモリ、マウスやキーボードなどといったユーザからの各種の指示を取得するための入力部、この顕微鏡システムの各構成要素との間で各種データの授受を管理するインタフェースユニット、及び各種のプログラムやデータを記憶しておく、例えばハードディスク装置などの補助記憶装置を有している、ごく標準的な構成のコンピュータである。

次に、上述のように構成された第１の実施の形態における顕微鏡システムの動作について説明する。
本第１の実施の形態では、第一の検鏡方法として微分干渉観察（ＤＩＣ）を、第二の検鏡方法として蛍光観察（ＦＬ）を選択し、この２つの検鏡方法における観察画像の貼り合わせを行なう場合について説明する。

図２は、第１の実施の形態のホストシステム２によって実行される顕微鏡画像データ取得処理の流れを示すフローチャートである。
この顕微鏡画像データ取得処理は、図１に示した顕微鏡システムで観察体１９についての顕微鏡画像データの取得を行なうための処理であり、ホストシステム２のＣＰＵが所定の制御プログラムを実行することによって実現され、開始される。

まず、ステップＳ１０１において、全体画像の撮像を行なう際の対物レンズ２３の倍率の設定と、貼り合わせを行なう画像の撮像を行なう際の対物レンズ２３の倍率の設定を行なう。ここではそれぞれ５倍の対物レンズ２３ａと２０倍の対物レンズ２３ｂを選択したものとし、すなわち、２０倍の対物レンズ２３ｂで撮像された顕微鏡画像の貼り合わせを行なうものとする。

続いてステップＳ１０２において、２０倍の対物レンズ２３ｂの画像の貼り合わせにおいて、あらかじめ重複領域（オーバーラップ領域）を設けて撮像し、お互いに貼り合わせる画像間のオーバーラップ領域から、画像マッチング等の演算で画像の貼り合わせを行なうための座標の演算を行なうための領域である重複領域設定の設定を行なう。

図３は、撮像領域と重複領域との関係を示す図である。
図３において、Ｓ＿Ａの範囲が重複領域を含んだ形の２０倍の対物レンズ２３ｂにおけるビデオカメラ３内の撮像素子（ＣＣＤ）による撮像範囲を示したものであり、斜線で示した領域が画像貼り合わせにおけるオーバーラップ領域である重複領域となる。すなわち、重複領域を除いたＳ＿Ｂの大きさが、貼り合わせ画像における分割エリアの最少単位である小区画（メッシュ）の大きさとなり、図２のステップＳ１０３において、このメッシュサイズが設定される。なお、本第１の実施の形態では貼り合わせにおける重複領域はそれぞれｓ＿ｘ、ｓ＿ｙの長さで規定されているものとする。

図２の説明に戻る。
続いてステップＳ１０４において、観察体１９の観察における検鏡法の指示をユーザから取得する処理が行われる。ここでは検鏡方法は第一の検鏡方法として微分干渉観察（ＤＩＣ）方法、第二の検鏡方法は蛍光観察（ＦＬ）方法が指示されたものとする。

そして、ステップＳ１０５において、顕微鏡コントローラ３１に対して、顕微鏡装置１の設定をステップＳ１０４の処理で設定した第一の検鏡方法へと変更させる処理が行われる。顕微鏡コントローラ３１は、この指示に応じ、顕微鏡装置１の各構成要素の動作制御を行って当該検鏡法での撮像を行なうための状態とする。ここでは微分干渉観察用のポラライザー２８、ＤＩＣプリズム２９、アナライザー３０の観察光路への挿入等、各構成要素の動作制御を行なう事によって顕微鏡装置１を微分干渉観察（ＤＩＣ）での撮像を行なうための状態とする。

次に、ステップＳ１０６において、顕微鏡コントローラ３１へ指示を与え、レボルバ２４を回転させて５倍の対物レンズ２３ａを選択させる処理が行われる。
続いて、ステップＳ１０７において、カメラコントローラ３３へ指示を与えることにより、観察体１９の全体像をビデオカメラ３で撮像させる処理が行われ、ステップＳ１０８において、当該撮像によって得られた低解像度の顕微鏡画像をビデオカメラ３からホストシステム２へビデオボード３２を介して取り込む処理が行われる。

そして、ステップＳ１０９において、この顕微鏡画像データ取得処理が開始された後に、５倍の対物レンズ２３ａを用いて撮像された低解像度の顕微鏡画像に対し、ステップＳ１０３で定義された２０倍の対物レンズ２３ｂを用いた観察体１９の撮像時における小区画（メッシュ）を定義する処理が行われる。

図４は、メッシュの定義を説明するための図である。
図２のステップＳ１０９でのメッシュ定義は、例えば、図４に示すように、３×４（３行４列）の矩形のメッシュを定義するものとする。さらに、微分干渉観察（ＤＩＣ）画像と後記する蛍光観察（ＦＬ）画像とを区別するために、図４中の左上のものをメッシュ１１１、右下のものをメッシュ４３１とする。

図２の説明に戻る。
続くステップＳ１１０において、定義されたメッシュによって分割された低解像度の顕微鏡画像の各部分領域に観察体１９の部分の画像が含まれているかを判別して、２０倍の対物レンズ２３ｂを用いた撮像を行なう対象のメッシュと撮像経路を決定する処理が行われる。なお、この判別は、例えば、隣接画素の差分を算出することによって得られる観察体１９の輪郭像（コントラスト像）の有無や、各メッシュの画像の色彩などに基づいて行なうことができ、本第１の実施の形態では、すべてのメッシュが選択させたものとする。

図５は、撮像を行なう対象のメッシュと撮像経路を決定する処理を説明するための図である。
図５に示すように、図２のステップＳ１１１では、２０倍の対物レンズ２３ｂを用いた撮像を行なう対象のメッシュと撮像経路（左上のメッシュから右方向へ、そして、次の行の左から右へ、最後の行の左から右へ）とが決定される。

図２の説明に戻る。
ステップＳｌｌｌにおいて、顕微鏡コントローラ３１へ指示を与えることにより、レボルバ２４を回転させて２０倍の対物レンズ２３ｂを選択させる処理が行われる。

そして、ステップＳ１１２において、顕微鏡コントローラ３１へ指示を与えることにより、ステップＳ１１０の処理によって決定された高解像度撮像対象のメッシュのうち、未撮像であるメッシュの領域に２０倍の対物レンズ２３ｂの直下に位置するように電動ステージ２０を移動させる処理が行われる。ここでは図５におけるメッシュ１１１（ＤＩＣ）への移動が行なわれる事となる。

次に、ステップＳｌ１３において、後述するステップＳ１１９の処理で蛍光観察（ＦＬ）に変更されている場合は、顕微鏡コントローラ３１へ指示を与えることにより、顕微鏡装置１の設定を微分干渉観察（ＤＩＣ）状態へと変更を行なう。

次に、Ｓｌ１４において、ビデオカメラ３を用いて、ステップＳｌ１２で移動したメッシュ位置であるメッシュ１１１（ＤＩＣ）における観察体１９の撮像が行なわれる。
図６は、観察体１９における微分干渉観察（ＤＩＣ）画像におけるメッシュ位置の関係を示す図であり、図７は、観察体１９の蛍光観察（ＦＬ）画像におけるメッシュ位置の関係を示す図である。

図６及び図７において、メッシュ１１１（ＤＩＣ）とメッシュ１１２（ＦＬ）とが、メッシュ２１１（ＤＩＣ）とメッシュ２１２（ＦＬ）とが、それぞれ検鏡方法のみ異なる同一座標の関係となっている。

図２の説明に戻る。
次のステップＳｌ１５からＳｌ１８までは貼り合わせ処理であるため、撮像された画像がまだ１つの場合はスキップする。この貼り合わせ処理については後述する。

統いてステップＳｌ１９において、顕微鏡コントローラ３１へ指示を与えることにより、顕微鏡装置１の各構成要素の動作制御を行って顕微鏡装置１を蛍光観察（ＦＬ）にての撮像を行なうための状態とする。

そして、ステップＳ１２０において、図７のメッシュ１１２（ＦＬ）位置における観察体１９の顕微鏡画像の撮像が行なわれる。
次のステップＳｌ２１からＳｌ２３までは貼り合わせ処理であるため、撮像された画像がまだ１つの場合はスキップする。この貼り合わせ処理については後述する。

そして、ステップＳ１２４において、未撮像のメッシュが残っているかの判定を行ない、残っている場合（ステップＳ１２４：Ｙｅｓ）は、次のメッシュに対してステップ１１２以降のメッシュの撮像及び貼り合わせ処理を、設定された全てのメッシュの撮像及び貼り合わせ処理が終了するまで繰り返す。すなわち、メッシュ１１１（ＤＩＣ）、メッシュ１１２（ＦＬ）、メッシュ２１１（ＤＩＣ）、メッシュ２１２（ＦＬ）、メッシュ３１１（ＤＩＣ）、メッシュ３１２（ＦＬ）・・・と撮像が進められていくことになる。

続いて、上述でスキップした貼り合わせ処理について、図６のメッシュ１１１（ＤＩＣ）とメッシュ２１１（ＤＩＣ）、図７のメッシュ１１２（ＦＬ）とメッシュ２１２（ＦＬ）を用いて説明する。

図８は、図６におけるメッシュ１１１（ＤＩＣ）を撮像した画像を示す図であり、図９は、図６におけるメッシュ２１１（ＤＩＣ）を撮像した画像を示す図であり、図１０は、画像マッチングしたメッシュ１１１（ＤＩＣ）を撮像した画像とメッシュ２１１（ＤＩＣ）を撮像した画像を示す図であり、図１１は、貼り合わせ処理後のメッシュ１１１（ＤＩＣ）を撮像した画像とメッシュ２１１（ＤＩＣ）を撮像した画像を示す図である。また、図１２は、図７におけるメッシュ１１２（ＦＬ）を撮像した画像を示す図であり、図１３は、図７におけるメッシュ２１２（ＦＬ）を撮像した画像を示す図であり、図１４は、画像マッチングしたメッシュ１１２（ＦＬ）を撮像した画像とメッシュ２１２（ＦＬ）を撮像した画像を示す図であり、図１５は、貼り合わせ処理後のメッシュ１１２（ＦＬ）を撮像した画像とメッシュ２１２（ＦＬ）を撮像した画像を示す図である。

図２のステップＳｌ１４でメッシュ２１１（ＤＩＣ）を撮像後、既に撮像されたメッシュ１１１（ＤＩＣ）にそのまま貼り合わせを行なっても、電動ステージ２０のガタ等により、貼り合わせ画像にずれが生じてしまう。そこで、ステップＳｌ１５において、メッシュ１１１（ＤＩＣ）に、メッシュ２１１（ＤＩＣ）を貼り合わせるため画像貼り合わせ情報である、画像貼り合わせ情報の演算が実行される。すなわち、メッシュ２１１（ＤＩＣ）のＰの位置の座標の演算が行なわれることとなる。この座標演算はホストシステム２によって、図８および図９に斜線で示した重複領域において、いわゆる画像マッチング法により行なわれるものである。この座標演算により、図１０に示すように、メッシュ２１１のＰにおける画像貼り合わせ座標（ｘ＿ｐ、ｙ＿ｐ）が算出される。

次に、ステップＳｌ１６において、ステップＳ１１５で算出された画像貼り合わせ座標（ｘ＿ｐ、ｙ＿ｐ）をもとに、同じくホストシステム２によって、図１１に示すようにメッシュ１１１（ＤＩＣ）に対するメッシュ２１１（ＤＩＣ）貼り合わせ処理を行ない、さらにステップＳｌ１７において、画像データ記録部４に微分干渉観察の貼り合わせ画像の記録を行なう。そして、ステップＳｌ１８において、画像貼り合わせ座標（ｘ＿ｐ、ｙ＿ｐ）を画像貼り合わせ情報記録部３５に記録する。

次に、蛍光画像のメッシュ１１２（ＦＬ）とメッシュ２１２（ＦＬ）の貼り合わせ処理について説明を行なう。
ステップＳ１１８で画像貼り合わせ座標ｘ＿ｐ、ｙ＿ｐを画像貼り合わせ情報記録部３５に記録した後、ステップＳｌ１９で蛍光観察に切り替えを行ない、ステップＳ１２０でメッシュ２１２（ＦＬ）の撮像を行なう。そして、メッシュ２１２（ＦＬ）の撮像終了後、メッシュ１１２（ＦＬ）に対する貼り合わせ処理が行なわれる。すなわち、メッシュ１１２（ＦＬ）に対するメッシュ２１２（ＦＬ）のＰ’座標は、図１２に示したようなメッシュ１１２（ＦＬ）を撮像した画像と図１３に示したようなメッシュ２１２（ＦＬ）を撮像した画像に対して、図１４に示すように、ステップＳ１１５で算出されたメッシュ１１１（ＤＩＣ）とメッシュ２１１（ＤＩＣ）画像貼り合わせ座標（ｘ＿ｐ、ｙ＿ｐ）を用いる。

具体的には、ステップＳ１２１において、ステップＳｌ１５で算出された画像貼り合わせ座標（ｘ＿ｐ、ｙ＿ｐ）を画像貼り合わせ情報記録部３５から読み出し、ステップＳ１２２において、ホストシステム２によって図１５に示すようにメッシュ１１２（ＦＬ）との貼り合わせ処理を行なう。そして、ステップＳ１２２の貼り合わせ処理終了後、ステップＳ１２３において、画像データ記録部４に蛍光観察（ＦＬ）の貼り合わせ画像の記録を行なう。

その後、ステップＳ１２４において、未撮像のメッシュが残っているか否かの判定を行ない、残っている場合（ステップＳ１２４：Ｙｅｓ）は、ステップＳ１１２以降の未撮像メッシュの撮像及び貼り合わせ処理を繰り返し、設定された全てのメッシュの撮像、貼り合わせが終了させるまで行なう。すなわち、ステップＳｌ１９からステップＳ１２３のフローでステップＳｌ１５によって得られた微分干渉観察（ＤＩＣ）による画像貼り合わせ情報によって、蛍光観察画像（ＦＬ）の貼り合わせ処理（ステップＳ１２１）が繰り返し行なわれることとなる。

以上のように、本第１の実施の形態に係る顕微鏡システムでは、観察体１９を撮像して得られた顕微鏡画像を貼り合わせることで観察体１９の画像を再構築する、いわゆるバーチャル顕微鏡システムにおいて、微分干渉観察（ＤＩＣ）、蛍光観察（ＦＬ）の検鏡方法における貼り合わせ画像作成に際して、画像貼り合わせ情報記録部３５を設けることで貼り合わせ演算処理が共通化され、処理スピードの向上をはかる事が可能となる。

さらに、蛍光観察画像の貼り合わせ処理において、貼り合わせ部分の画像にノイズ成分が多くなり画像貼り合わせの制度が悪くなってしまう場合においても、他の微分干渉観察（ＤＩＣ）の検鏡方法における演算結果を用いる事で、蛍光画像の貼り合わせ精度を向上させる事が可能となり、高品質の蛍光貼り合わせ画像の提供が可能となる。

なお、本第１の実施の形態においては、微分干渉観察（ＤＩＣ）において取得した画像貼り合わせ情報をもとに、蛍光観察（ＦＬ）画像の貼り合わせについて説明したが、ある検鏡方法下の撮像情報をもとに、異なる検鏡方法下の撮像を行なうという観点ではもちろん例示した検鏡方法に限定されるものでなく、その他の検鏡法に置き換えてもよい。

また、検鏡方法を２つの場合について説明したが、さらに複数の検鏡方法であってもよい。
さらに、微分干渉観察（ＤＩＣ）画像は貼り合わせ画像の作成は行なわず、蛍光観察（ＦＬ）画像の貼り合わせ演算のためにだけに用いてもよい。

また、第一の観察方法である微分干渉観察（ＤＩＣ）において、画像情報の欠落等により画像貼り合わせ情報の渉算が行なえなかった場合は、規定（デフォルト）座標による貼り合わせを行なうようにしてもよい。
（第２の実施の形態）
続いて、本発明を適用した第２の実施の形態について説明する。

図１６は、本発明を適用した第２の実施の形態に係る顕微鏡システムの構成例を示す図である。
本第２の実施の形態は、上述の第１の実施の形態における落射視野絞り１７に代わり電動落射視野絞り１７ｂを備え、さらに、ＦＳ駆動制御部３６を備える構成となっている。その他の構成は、第１の実施の形態と同一であるので同一の符号を付してその説明を省略する。

電動落射視野絞り１７ｂは、矩形開口の電動視野絞りであり、その開口の縦横の大きさが可変である。例えば、２つの絞り（後述する図１９および図２０に示すＨ＿ＡとＨ＿Ｂ）から構成され、それぞれがＸ−Ｙ方向に駆動可能な構成となることにより開口の縦横の大きさが可変となる。

そして、ＦＳ駆動制御部３４は、その電動落射視野絞り１７ｂの開口の縦横の大きさの制御を行なう。具体的には、ホストシステム２よりの指令を受け、顕領鏡コントローラ３１に接続されたＦＳ駆動制御部３４によって、２つの絞り（後述する図１９および図２０に示すＨ＿ＡとＨ＿Ｂ）をそれぞれＸ−Ｙ方向に駆動を行なうことで開口の大きさが可変制御され、観察体１９の撮像時の照明範囲を可変できるものとなっている。

次に、上述のように構成された第２の実施の形態における顕微鏡システムの動作について説明する。
本第２の実施の形態では、第１の実施の形態と同様、第一の検鏡方法として微分干渉観察（ＤＩＣ）を、第二の検鏡方法として蛍光観察（ＦＬ）を選択し、この２つの検鏡方法における観察画像の貼り合わせを行なう場合について説明する。

図１７は、第２の実施の形態のホストシステム２によって実行される顕微鏡画像データ取得処理の流れを示すフローチャートである。
図１７において、ステップＳ１０１の「撮像倍率の設定」乃至ステップＳ１１１の「高解像度対物レンズに切り替え」まで、およびステップＳ１１２、Ｓ１１３、Ｓ１１４乃至Ｓ１１９、Ｓ１２０乃至Ｓ１２４のループは、上述した第１の実施の形態と同様である。本第２の実施の形態は、さらに、ステップＳ１１３の後にステップＳ２０１で微分干渉観察（ＤＩＣ）における「開口サイズ（照明範囲）変更」の処理、ステップＳ１１９の後にステップＳ２０２で蛍光観察（ＦＬ）における「開口サイズ（照明範囲）変更」の処理が加わっている。

図１８は、メッシュ画像撮像時の照明範囲を説明するための図であり、図１９は、微分干渉観察（ＤＩＣ）時の照明範囲を説明するための図であり、図２０は、蛍光観察（ＦＬ）時の照明範囲を説明するための図である。

図１８に示したように、図１７のステップＳ１１４またはステップＳ１２０のメッシュ画像撮像時の照明範囲は、図１８中に示したメッシュで規定されたＳ＿Ａの範囲でよい。しかしながら、図１８中の斜線で示している画像貼り合わせのための重複（オーバーラップ）領域をもうけているため、図１７のステップＳ１２０の蛍光観察画像の取り込みにおいては、この斜線部で示した重複（オーバーラップ）領域に２重に照明が行なわれることとなり、観察体１９の退色を招いてしまうこととなる。

そこで、ＦＳ駆動制御部３６は、図１７のステップＳ２０１において、微分干渉観察（ＤＩＣ）におけるメッシュ画像取り込みの際、図１９に示す取り込み範囲Ｓ＿ＡをカバーしたＦＳ＿Ａの照明範囲となるように電動落射視野絞り１７ｂの開口の大きさの制御を行なう。

そして、ＦＳ駆動制御部３６は、図１７のステップＳ２０２において、蛍光観察（ＦＬ）におけるメッシュ画像取り込みの際、図２０に示すように、重複（オーバーラップ）領域を除いたＳ＿Ｂの範囲をカバーするＦＳ＿Ｂの照明範囲となるように電動落射視野絞り１７ｂの開口の大きさの制御を行なう。

図２１は、メッシュ１１１（ＤＩＣ）撮像時におけるメッシュと照明範囲の関係を示す図であり、図２２は、メッシュ１１２（ＦＬ）の撮像時におけるメッシュと照明範囲の関係を示す図である。

上述のようにして電動落射視野絞り１７ｂの開口の大きさを制御することにより、図２１に示したようなメッシュ１１１（ＤＩＣ）撮像時におけるメッシュと照明範囲の関係は、図２２に示すようなメッシュ１１２（ＦＬ）の撮像時におけるメッシュと照明範囲の関係となり、重複（オーバーラップ）領域に照明光を必要以上にあてることを防ぐこととなる。

なお、画像の貼り合わせ処理は第１の実施の形態と同様に、微分干渉観察（ＤＩＣ）における画像貼り合わせ情報を、画像貼り合わせ情報記録部３５から読み出し、このデータをもとに蛍光（ＦＬ）画像における貼り合わせ処理の実施を行なう。

以上のように、本第２の実施の形態に係る顕微鏡システムでは、観察体１９を撮像して得られた顕微鏡画像を貼り合わせることで観察体１９の画像を再構築する、いわゆるバーチャル顕微鏡システムにおいて、複数の検鏡方法における貼りあわせ画像作成において、縦横の大きさが可変である矩形開口の電動落射視野絞り１７ｂと、視野絞りの開口の縦横の大きさの制御を行なうＦＳ駆動制御手段３６を有し、蛍光観察（ＦＬ）画像の貼り合わせ処理において、開口の大きさを可変させることで、重複（オーバーラップ）領域に対して重複して照明が行なわれないように観察体１９に対する照明範囲を可変させることが可能となり、観察体（標本）１９の退色の防止をはかることが可能となる。

なお、本第２の実施の形態では、照明範囲の可変手段を矩形開口の電動ＦＳとしたが、観察体１９の対する重複（オーバーラップ）領域に余計な照明光を当てないという観点では、これに限定されるものではなく、たとえばＤＭＤ等、その他の照明範囲可変手段であってもよい。

以上、本発明を適用した第１及び第２の実施の形態を説明してきたが、図２または図１７のフローチャートで示した処理を、前述したような標準的な構成のコンピュータのＣＰＵに行なわせるための制御プログラムを作成してコンピュータ読み取り可能な記録媒体に記録させておき、そのプログラムを記録媒体からコンピュータに読み込ませてＣＰＵで実行させるようにしても、本発明の実施は可能である。

記録させた制御プログラムをコンピュータで読み取ることの可能な記録媒体としては、例えば、コンピュータに内蔵若しくは外付けの付属装置として備えられるＲＯＭやハードディスク装置などの記憶装置、コンピュータに備えられる媒体駆動装置へ挿入することによって記録された制御プログラムを読み出すことのできるフレキシブルディスク、ＭＯ（光磁気ディスク）、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭなどといった携帯可能記録媒体等が利用できる。

また、記録媒体は通信回線を介してコンピュータと接続される、プログラムサーバとして機能するコンピュータシステムが備えている記憶装置であってもよい。この場合には、制御プログラムを表現するデータ信号で搬送波を変調して得られる伝送信号を、プログラムサーバから伝送媒体である通信回線を通じてコンピュータへ伝送するようにし、コンピュータでは受信した伝送信号を復調して制御プログラムを再生することでこの制御プログラムをコンピュータのＣＰＵで実行できるようになる。

以上、本発明を適用した実施の形態を説明したが、本発明は、上述した各実施の形態に限定されることなく、本発明の要旨を逸脱しない範囲内で種々の改良、変更が可能である。例えば、上述した各実施の形態に係る顕微鏡システムにおいては、顕微鏡装置１として正立顕微鏡装置を採用していたが、その代わりに、倒立顕微鏡装置を採用することももちろん可能であり、また、顕微鏡装置を組み込んだライン装置といった各種システムに本実施の形態を適応することも可能である。

本発明を適用した第１の実施の形態に係る顕微鏡システムの構成例を示す図である。 第１の実施の形態のホストシステム２によって実行される顕微鏡画像データ取得処理の流れを示すフローチャートである。 撮像領域と重複領域との関係を示す図である。 メッシュの定義を説明するための図である。 撮像を行なう対象のメッシュと撮像経路を決定する処理を説明するための図である。 観察体１９における微分干渉観察（ＤＩＣ）画像におけるメッシュ位置の関係を示す図である。 観察体１９の蛍光観察（ＦＬ）画像におけるメッシュ位置の関係を示す図である。 図６におけるメッシュ１１１（ＤＩＣ）を撮像した画像を示す図である。 図６におけるメッシュ２１１（ＤＩＣ）を撮像した画像を示す図である。 画像マッチングしたメッシュ１１１（ＤＩＣ）を撮像した画像とメッシュ２１１（ＤＩＣ）を撮像した画像を示す図である。 貼り合わせ処理後のメッシュ１１１（ＤＩＣ）を撮像した画像とメッシュ２１１（ＤＩＣ）を撮像した画像を示す図である。 図７におけるメッシュ１１２（ＦＬ）を撮像した画像を示す図である。 図７におけるメッシュ２１２（ＦＬ）を撮像した画像を示す図である。 画像マッチングしたメッシュ１１２（ＦＬ）を撮像した画像とメッシュ２１２（ＦＬ）を撮像した画像を示す図である。 貼り合わせ処理後のメッシュ１１２（ＦＬ）を撮像した画像とメッシュ２１２（ＦＬ）を撮像した画像を示す図である。 本発明を適用した第２の実施の形態に係る顕微鏡システムの構成例を示す図である。 第２の実施の形態のホストシステム２によって実行される顕微鏡画像データ取得処理の流れを示すフローチャートである。 メッシュ画像撮像時の照明範囲を説明するための図である。 微分干渉観察（ＤＩＣ）時の照明範囲を説明するための図である。 蛍光観察（ＦＬ）時の照明範囲を説明するための図である。 メッシュ１１１（ＤＩＣ）撮像時におけるメッシュと照明範囲の関係を示す図である。 メッシュ１１２（ＦＬ）の撮像時におけるメッシュと照明範囲の関係を示す図である。

符号の説明

１ 顕微鏡装置
２ ホストシステム
３ ビデオカメラ
６ 透過照明用光源
７ コレクタレンズ
８ 透過用フィルタユニット
９ 透過視野絞り
１０ 透過開口絞り
１１ コンデンサ光学素子ユニット
１２ トップレンズユニット
１３ 落射照明用光源
１４ コレクタレンズ
１５ 落射用フィルタユニット
１６ 落射シャッタ
１７ 落射視野絞り
１８ 落射開口絞り
１９ 観察体
２０ 電動ステージ
２１ ステージＸ−Ｙ駆動制御部
２２ ステージＺ駆動制御部
２３、２３ａ、２３ｂ 対物レンズ
２４ レボルバ
２５ キューブユニット
２６ 接眼レンズ
２７ ビームスプリッタ
２８ ポラライザー
２９ ＤＩＣ（Differential Interference Contrast）プリズム
３０ アナライザー
３１ 顕微鏡コントローラ
３２ ビデオボード
３３ カメラコントローラ
３４ 重複領域設定部
３５ 撮像貼り合わせ情報記録部
３６ ＦＳ駆動制御部

Claims (1)

1. 顕微鏡で観察する同一観察体を複数の検鏡方法で、各検鏡方法毎に撮像した複数の観察画像を重複領域を設けて貼り合せることにより各検鏡方法毎のバーチャルスライドを作成するバーチャルスライド作成装置において、
   第１の観察方法により撮像した複数の観察画像から前記重複領域に関する画像貼り合わせ情報を算出する画像貼り合わせ情報算出手段と、
   前記画像貼り合わせ情報算出手段によって算出された画像貼り合わせ情報に基づいて、蛍光観察方法により撮像した複数の画像領域を貼り合わせる画像貼り合わせ手段と、
   前記蛍光観察方法の場合、前記重複する領域を前記照明範囲から外すように照明光を制御するための照明光制御手段と、
   を備えることを特徴とするバーチャルスライド作成装置。

Images