JP6563517B2 - 顕微鏡観察システム、顕微鏡観察方法、及び顕微鏡観察プログラム - Google Patents

Description

本発明は、顕微鏡装置において取得された画像を介して被写体を観察する顕微鏡観察システム、顕微鏡観察方法、及び顕微鏡観察プログラムに関する。

工業用顕微鏡を用いてワイヤーなど高低差のある被写体を観察する際や、焦点深度が数十μｍレベルの生物顕微鏡を用いて細胞核や幹細胞等の厚みのある被写体を観察する際、観察光学系の光軸に沿った奥行き方向（Ｚ方向）に存在する注目部位を速やかに特定したいというユーザのニーズがある。このようなニーズに対し、観察光学系の焦点面を光軸に沿ってずらしながら順次撮像を行うことにより焦点面が異なる複数の画像を取得し、この複数の画像を三次元的に配置して表示する方法がある。このような三次元的な表示により、任意の方向から三次元情報を観察して、注目部位の位置を確認することができる。このように取得された焦点面が異なる複数の画像をまとめて、Ｚスタック画像ともいう。

一方で、透明な被写体や高低差のある被写体のように奥行き方向に複数の合焦構造が存在する場合、従来の三次元表示では観察方向の手前に存在する別構造や、非焦点位置によるボケが背後にある構造を隠す状態（オクルージョン）が発生するため、直接（直感的に）構造を見ることができない領域が出てきてしまう。オクルージョンが発生している場合は、観察したい構造が存在する位置で撮影した画像を探して二次元的に確認しなければならない。このほか、奥行き方向で最大輝度を持つ構造のみを表示することによって三次元的な位置を確認する方法もあるが、最大輝度を持たない構造は再現されないという問題がある。

そこで、Ｚスタック画像から全焦点画像を生成することで、二次元上で重なった構造の存在およびＸＹ位置を確認した上で奥行き方向に探索する方法が用いられることもある。全焦点画像の生成方法として、Ｚスタック画像を重畳して合成した多重焦点重畳画像を復元する方法や、各Ｚスタック画像内の合焦点領域を抽出して合成する方法がある。このような全焦点画像は、奥行き方向に複数存在する構造配置のスクリーニングとしては有用である。

例えば、特許文献１には、Ｚスタック画像から生成した全焦点画像からユーザインタフェースを用いて観察したい領域を選択し、合焦度に基づいて合焦しているＺスタック画像を抽出して表示する方法が開示されている。

また、特許文献２には、Ｚスタック画像内で合焦度を算出し、奥行き方向の合焦度に基づいて抽出候補を選択し、合焦度に応じた重み付けを行って合成する方法が開示されている。特許文献２では、各ＸＹ位置で合焦ピークに基づいて深度マップを生成することが可能であり、この深度マップにより合焦ピークのＺ位置を知ることができる。

また、特許文献３には、被写体の近端側及び遠端側にそれぞれ合焦した２つの画像と、被写体の近端側から遠端側にイメージセンサをスイープしながら撮像して生成した全焦点画像とを取得し、近端側及び遠端側にそれぞれ合焦した画像を、全焦点画像で復元することにより、画像内の部分領域におけるボケ量を算出し、それにより光学系から被写体までの距離を取得して距離マップを作成する技術が開示されている。

特開２０１４−２１４９０号公報 特開２０１４−２１４８９号公報 国際公開第２０１１／１５８４９８号

しかしながら、特許文献１が開示する技術は、全焦点画像内の領域に対し、最も合焦しているＺスタック画像を選択するため、奥行き方向で重なった構造に対応していない。また、特許文献２が開示する技術は、全焦点画像自体は奥行きの位置情報を有していないため、直接（直感的に）奥行き方向で重なった構造の前後関係を確認することはできない。

ここで、生体等に見られる透明被写体を全焦点画像により観察する場合において、奥行き方向に複数の構造が存在するとき、これらの構造の各々に合焦していると、各構造の奥行き方向における位置を把握することは難しい。また、奥行き方向において複数の構造が重なっている場合には、それらの構造同士の前後関係、即ち奥行き方向における位置関係を把握することも困難である。さらに、Ｚスタック画像は撮像に時間がかかる上に、記憶すべきデータ量や画像処理における演算量が膨大になるという問題もある。

このような問題に関し、上記特許文献２、３においては、深度マップや距離マップを生成することにより、画像に写った構造のＺ位置を視覚的に把握することはできる。しかしながら、深度マップや距離マップでは奥行き方向における構造同士の前後関係（合焦位置）を視覚的に再現することができず、ユーザが、深度マップや距離マップから重なった構造の相対的な位置関係を直接（直感的に）把握することは困難である。

本発明は上記に鑑みてなされたものであり、画像に写った構造のＺ方向における位置や構造同士の前後関係をユーザが視覚的且つ直感的に把握することができる視認性の高い画像を、従来よりも短時間で生成することができ、且つ、データ量や画像処理における演算量を従来よりも抑制することができる顕微鏡観察システム、顕微鏡観察方法、及び顕微鏡観察プログラムを提供することを目的とする。

上述した課題を解決し、目的を達成するために、本発明に係る顕微鏡観察システムは、顕微鏡の観察光学系により生成される被写体像を撮像して画像を取得する撮像部と、前記観察光学系の焦点面及び視野の位置をシフトさせるシフト手段と、前記撮像部の１露光期間中に、前記焦点面及び前記視野の位置をシフトさせることにより、前記観察光学系の光軸方向の複数の面における画像情報を含む多重焦点重畳画像を前記撮像部に取得させる撮像制御部と、前記視野の位置をシフトさせるシフト量を取得するシフト量取得処理部と、前記シフト量が異なる複数の条件の下でそれぞれ取得された複数の多重焦点重畳画像と、前記シフト量に応じた画像のボケ情報とをもとに、複数の全焦点画像をそれぞれ生成する全焦点画像生成部と、前記全焦点画像生成部が生成した前記複数の全焦点画像を連続的に表示する表示部と、を備えることを特徴とする。

上記顕微鏡観察システムにおいて、前記撮像制御部は、前記シフト量取得処理部が取得した前記シフト量に基づいて、前記複数の多重焦点重畳画像の各々を取得する際の撮像開始位置を決定する、ことを特徴とする。

上記顕微鏡観察システムにおいて、外部からなされる操作に応じて前記複数の全焦点画像のうちのいずれかの全焦点画像から選択された領域を観察領域として決定する観察領域決定処理部と、前記観察領域を選択された全焦点画像以外の全焦点画像から前記観察領域に対応する領域を抽出すると共に、前記観察領域を選択された全焦点画像における前記観察領域の位置と、前記領域が抽出された全焦点画像における前記領域の位置との間のシフト量に基づいて、前記観察領域に対応する被写体内の構造が含まれるスライスの位置を取得する注目スライス取得部と、をさらに備えることを特徴とする。

上記顕微鏡観察システムにおいて、前記ボケ情報は、前記シフト量と、前記画像のボケを表す点拡がり関数とを用いて生成された情報であることを特徴とする。

上記顕微鏡観察システムにおいて、前記撮像制御部は、前記多重焦点重畳画像の複数の面における画像情報を、同一のシフト量で前記撮像部に取得させることを特徴とする。

本発明に係る顕微鏡観察方法は、顕微鏡の観察光学系により生成される被写体像を撮像部により撮像して画像を取得する顕微鏡観察方法において、前記撮像部の１露光期間中に、前記観察光学系の焦点面及び視野の位置をシフトさせることにより、前記観察光学系の光軸方向の複数の面における画像情報を含む多重焦点重畳画像を取得する撮像ステップと、前記視野の位置をシフトさせるシフト量が異なる複数の条件の下でそれぞれ取得された複数の多重焦点重畳画像と、前記シフト量に応じた画像のボケ情報とをもとに、複数の全焦点画像をそれぞれ生成する全焦点画像生成ステップと、前記全焦点画像生成部が生成した前記複数の全焦点画像を連続的に表示させる表示ステップと、を含むことを特徴とする。

本発明に係る顕微鏡観察プログラムは、顕微鏡の観察光学系により生成される被写体像を撮像部により撮像して画像を取得する顕微鏡観察プログラムにおいて、前記撮像部の１露光期間中に、前記観察光学系の焦点面及び視野の位置をシフトさせることにより、前記観察光学系の光軸方向の複数の面における画像情報を含む多重焦点重畳画像を取得する撮像手順と、前記視野の位置をシフトさせるシフト量が異なる複数の条件の下でそれぞれ取得された複数の多重焦点重畳画像と、前記シフト量に応じた画像のボケ情報とをもとに、複数の全焦点画像をそれぞれ生成する全焦点画像生成手順と、前記全焦点画像生成手順で生成した前記複数の全焦点画像を連続的に表示させる表示手順と、をコンピュータに実行させることを特徴とする。

本発明によれば、画像に写った構造のＺ方向における位置や構造同士の前後関係をユーザが視覚的且つ直感的に把握することができる視認性の高い画像を、従来よりも短時間で生成することができ、且つ、データ量や画像処理における演算量を従来よりも抑制することができるという効果を奏する。

図１は、本発明の実施の形態１に係る顕微鏡観察システムの構成例を示すブロック図である。 図２は、図１に示す顕微鏡装置の構成例を示す模式図である。 図３は、図１に示す顕微鏡観察システムの動作を示すフローチャートである。 図４は、複数の多重焦点重畳画像の取得処理を説明するための模式図である。 図５は、複数の全焦点画像の生成処理の詳細を示すフローチャートである。 図６は、多重焦点重畳画像の取得処理における画像取得の設定画面を説明するための模式図である。 図７は、図１に示す表示装置に表示させる全焦点画像の一例を示す図である。 図８は、図１に示す表示装置に表示させる全焦点画像の一例を示す図である。 図９は、図１に示す表示装置に表示させる全焦点画像の一例を示す図である。 図１０は、図１に示す表示装置に表示させる全焦点画像の一例を示す図である。 図１１は、図１に示す表示装置に表示させる全焦点画像の一例を示す図である。 図１２は、本発明の実施の形態１の変形例１における多重焦点重畳画像の取得方法を説明するための模式図である。 図１３は、本発明の実施の形態１の変形例１における多重焦点重畳画像の取得方法を説明するための模式図である。 図１４は、本発明の実施の形態１の変形例３において表示装置に表示させる全焦点画像の一例を示す図である。 図１５は、本発明の実施の形態１の変形例３において表示装置に表示させる全焦点画像の一例を示す図である。 図１６は、本発明の実施の形態１の変形例３において表示装置に表示させる全焦点画像の一例を示す図である。 図１７は、本発明の実施の形態１の変形例３において表示装置に表示させる全焦点画像の一例を示す図である。 図１８は、本発明の実施の形態１の変形例３において表示装置に表示させる全焦点画像の一例を示す図である。 図１９は、本発明の実施の形態１の変形例３において表示装置に表示させる全焦点画像の一例を示す図である。 図２０は、本発明の実施の形態１の変形例３において表示装置に表示させる全焦点画像の一例を示す図である。 図２１は、本発明の実施の形態１の変形例３において表示装置に表示させる全焦点画像の一例を示す図である。 図２２は、本発明の実施の形態１の変形例３において表示装置に表示させる全焦点画像の一例を示す図である。 図２３は、本発明の実施の形態１の変形例３において表示装置に表示させる全焦点画像の一例を示す図である。 図２４は、本発明の実施の形態１の変形例３において表示装置に表示させる全焦点画像の一例を示す図である。 図２５は、本発明の実施の形態１の変形例３において表示装置に表示させる全焦点画像の一例を示す図である。 図２６は、本発明の実施の形態１の変形例４における多重焦点重畳画像の取得方法を説明するための模式図である。 図２７は、本発明の実施の形態１の変形例４における多重焦点重畳画像の取得方法を説明するための模式図である。 図２８は、本発明の実施の形態２に係る顕微鏡観察システムの構成例を示すブロック図である。 図２９は、図２８に示す顕微鏡観察システムの動作を示すフローチャートである。 図３０は、複数の多重焦点重畳画像を示す模式図である。 図３１は、観察領域の選択方法の一例を示す模式図である。 図３２は、全焦点画像における観察領域指定処理における設定画面を説明するための模式図である。 図３３は、全焦点画像における観察領域指定処理における設定画面を説明するための模式図である。 図３４は、全焦点画像における観察領域指定処理における設定画面を説明するための模式図である。 図３５は、本発明の実施の形態２における多重焦点重畳画像の取得方法を説明するための模式図である。 図３６は、観察領域のＺ位置情報の取得処理の詳細を示すフローチャートである。 図３７は、本発明の実施の形態２の変形例における多重焦点重畳画像の取得処理を説明するための模式図である。 図３８は、本発明の実施の形態３における多重焦点重畳画像の取得処理における画像取得の設定画面を説明するための模式図である。

以下、本発明に係る顕微鏡観察システム、顕微鏡観察方法、及び顕微鏡観察プログラムの実施の形態について、図面を参照しながら詳細に説明する。なお、これらの実施の形態により本発明が限定されるものではない。また、各図面の記載において、同一部分には同一の符号を付して示している。

（実施の形態１）
図１は、本発明の実施の形態１に係る顕微鏡観察システムの構成例を示すブロック図である。図１に示すように、実施の形態１に係る顕微鏡観察システム１は、被写体像を生成する顕微鏡装置１０と、該顕微鏡装置１０が生成した拡大像の画像を取得して処理する撮像装置２０と、撮像装置２０が処理した画像を表示する表示装置３０とを備える。

図２は、顕微鏡装置１０の構成例を示す模式図である。図２に示すように、顕微鏡装置１０は、略Ｃ字形のアーム１００と、該アーム１００上に三眼鏡筒ユニット１０１を介して支持された鏡筒１０２及び接眼レンズユニット１０３と、アーム１００に設けられた落射照明ユニット１１０及び透過照明ユニット１２０と、被写体Ｓが載置されるステージ１３１を含む電動ステージユニット１３０と、鏡筒１０２の一端側に三眼鏡筒ユニット１０１を介してステージ１３１と対向するように設けられ、被写体Ｓからの観察光を結像する対物レンズ１４０とを備える。この対物レンズ１４０と、三眼鏡筒ユニット１０１を介して接続された鏡筒１０２と、該鏡筒１０２の他端側に設けられた撮像部２１１（後述）とが、観察光学系（撮像光学系）１０４を構成する。

三眼鏡筒ユニット１０１は、対物レンズ１４０から入射した観察光を、ユーザが被写体Ｓを直接観察するための接眼レンズユニット１０３と、後述する撮像部２１１との方向に分岐する。

落射照明ユニット１１０は、落射照明用光源１１１及び落射照明光学系１１２を備え、被写体Ｓに対して落射照明光を照射する。落射照明光学系１１２は、落射照明用光源１１１から出射した照明光を集光して、観察光学系１０４の光軸Ｌの方向に導く種々の光学部材、具体的にはフィルタユニット、シャッタ、視野絞り、開口絞り等を含む。

透過照明ユニット１２０は、透過照明用光源１２１及び透過照明光学系１２２を備え、被写体Ｓに対して透過照明光を照射する。透過照明光学系１２２は、透過照明用光源１２１から出射した照明光を集光して光軸Ｌの方向に導く種々の光学部材、具体的にはフィルタユニット、シャッタ、視野絞り、開口絞り等を含む。

これらの落射照明ユニット１１０及び透過照明ユニット１２０は、検鏡法に応じていずれかが選択されて使用される。なお、顕微鏡装置１０に、落射照明ユニット１１０と透過照明ユニット１２０とのいずれか一方のみを設けることとしてもよい。

電動ステージユニット１３０は、ステージ１３１と、該ステージ１３１を移動させるステージ駆動部１３２と、位置検出部１３３とを備える。ステージ駆動部１３２は、例えばモータによって構成される。ステージ１３１の被写体載置面１３１ａは、対物レンズ１４０の光軸と直交するように設けられている。以下においては、被写体載置面１３１ａをＸＹ平面とし、該ＸＹ平面の法線方向、即ち光軸と平行な方向をＺ方向とする。Ｚ方向においては、図の下方向、即ちステージ１３１（被写体載置面１３１ａ）が対物レンズ１４０から離れる方向をプラス方向とする。

ステージ１３１をＸＹ平面内で移動させることにより、対物レンズ１４０の視野の位置をシフトさせることができる。また、ステージ１３１をＺ方向に移動させることにより、対物レンズ１４０の焦点面を光軸Ｌに沿ってシフトさせることができる。即ち、電動ステージユニット１３０は、後述する撮像制御部２２の制御のもとでステージ１３１を移動させることにより焦点面及び視野の位置をシフトさせるシフト手段である。

なお、図２においては、焦点面及び視野の位置をシフトさせる際、鏡筒１０２〜対物レンズ１４０を含む観察光学系１０４の位置を固定し、ステージ１３１側を移動させる構成としているが、ステージ１３１の位置を固定し、観察光学系１０４側を移動させてもよい。或いは、ステージ１３１と観察光学系１０４との双方を互いに反対方向に移動させてもよい。つまり、観察光学系１０４と被写体Ｓとが相対的に移動可能な構成であれば、どのような構成であっても構わない。また、焦点面のシフトは観察光学系１０４のＺ方向における移動により行い、視野Ｖの位置のシフトはステージ１３１のＸＹ平面における移動により行うこととしてもよい。

位置検出部１３３は、例えばモータからなるステージ駆動部１３２の回転量を検出するエンコーダによって構成され、ステージ１３１の位置を検出して検出信号を出力する。なお、ステージ駆動部１３２及び位置検出部１３３の代わりに、後述する撮像制御部２２の制御に従ってパルスを発生するパルス発生部及びステッピングモータを設けてもよい。

対物レンズ１４０は、倍率が互いに異なる複数の対物レンズ（例えば、対物レンズ１４０、１４１）を保持可能なレボルバ１４２に取り付けられている。レボルバ１４２を回転させ、ステージ１３１と対向する対物レンズ１４０、１４１を変更することにより、撮像倍率を変化させることができる。なお、図２は、対物レンズ１４０がステージ１３１と対向している状態を示している。

再び図１を参照すると、撮像装置２０は、顕微鏡装置１０の観察光学系１０４により生成された被写体像を撮像することにより画像を取得する画像取得部２１と、該画像取得部２１の撮像動作を制御する撮像制御部２２と、当該撮像装置２０における各種動作を制御すると共に、画像取得部２１が取得した画像を処理する制御部２３と、画像取得部２１が取得した画像の画像データや制御プログラム等の各種情報を記憶する記憶部２４と、当該撮像装置２０に対する指示や情報を入力するための入力部２５と、記憶部２４に記憶された画像データに基づく画像やその他各種情報を外部機器に出力する出力部２６とを備える。

画像取得部２１は、撮像部２１１及びメモリ２１２を備える。撮像部２１１は、例えばＣＣＤやＣＭＯＳ等からなる撮像素子（イメージャ）２１１ａを備え、撮像素子２１１ａが備える各画素においてＲ（赤）、Ｇ（緑）、Ｂ（青）の各バンドにおける画素レベル（画素値）を持つカラー画像を撮像可能なカメラを用いて構成される。或いは、各画素における画素レベル（画素値）として輝度値Ｙを出力するモノクロ画像を撮像可能なカメラを用いて撮像部２１１を構成してもよい。

図２に示すように、撮像部２１１は、光軸Ｌが撮像素子２１１ａの受光面の中心を通るように、鏡筒１０２の一端に設けられ、対物レンズ１４０〜鏡筒１０２を含む観察光学系１０４を介して受光面に入射した観察光を光電変換することにより、対物レンズ１４０の視野に入った被写体像の画像データを生成する。

メモリ２１２は、例えば更新記録可能なフラッシュメモリ、ＲＡＭ、ＲＯＭといった半導体メモリ等の記録装置からなり、撮像部２１１が生成した画像データを一時的に記憶する。

撮像制御部２２は、撮像部２１１の１露光期間中に、顕微鏡装置１０に制御信号を出力してステージ１３１を移動させることにより、対物レンズ１４０の焦点面や視野の位置をシフトさせ、それにより観察光学系１０４の光軸Ｌ方向の複数の面における画像情報を含む多重焦点重畳画像を取得させる制御を行う。

制御部２３は、例えばＣＰＵ等のハードウェアによって構成され、記憶部２４に記憶されたプログラムを読み込むことにより、記憶部２４に記憶された各種パラメータや入力部２５から入力される情報等に基づき、撮像装置２０及び顕微鏡観察システム１全体の動作を統括的に制御する。また、制御部２３は、画像取得部２１から入力された画像データに所定の画像処理を施すことにより全焦点画像を生成する処理を実行するとともに、生成した全焦点画像を表示装置３０に表示させる制御を行う。

詳細には、制御部２３は、多重焦点重畳画像を取得する際に観察光学系１０４の視野の位置をシフトさせるシフト量を取得するシフト量取得処理部２３１と、画像のボケを表す点拡がり関数（Point Spread Function：ＰＳＦ）を用いて多重焦点重畳画像を復元することにより全焦点画像を生成する全焦点画像生成部２３２とを備える。

記憶部２４は、更新記録可能なフラッシュメモリ、ＲＡＭ、ＲＯＭといった半導体メモリ等の記録装置や、内蔵若しくはデータ通信端子で接続されたハードディスク、ＭＯ、ＣＤ−Ｒ、ＤＶＤ−Ｒ等の記録媒体と該記録媒体に対して情報を書き込むと共に該記録媒体に記録された情報を読み取る書込読取装置とによって構成される。記憶部２４は、制御部２３における演算に使用されるパラメータを記憶するパラメータ記憶部２４１と、設定情報記憶部２４２と、各種プログラムを記憶するプログラム記憶部２４３とを備える。このうち、パラメータ記憶部２４１は、多重焦点重畳画像を取得する際に視野の位置をシフトさせるシフト量等のパラメータを記憶する。また、プログラム記憶部２４３は、当該撮像装置２０に所定の動作を実行させるための制御プログラムや、画像処理プログラム等を記憶する。

入力部２５は、キーボード、各種ボタン、各種スイッチ等の入力デバイスや、マウスやタッチパネル等のポインティングデバイス等により構成され、これらのデバイスに対してなされる操作に応じた信号を制御部２３に入力する。

出力部２６は、画像取得部２１により取得された画像データに基づく画像や、制御部２３において生成された全焦点画像や、その他各種情報を表示装置３０等の外部機器に出力し、所定の形式で表示させる外部インタフェースである。

このような撮像装置２０は、例えば、パーソナルコンピュータやワークステーション等の汎用の装置に、外部インタフェースを介して汎用のデジタルカメラを組み合わせることにより構成することができる。

表示装置３０は、例えばＬＣＤ、ＥＬディスプレイ又はＣＲＴディスプレイ等によって構成され、出力部２６から出力された画像や関連情報を表示する。なお、実施の形態１においては、表示装置３０を撮像装置２０の外部に設けているが、撮像装置２０の内部に設けてもよい。

次に、顕微鏡観察システム１の動作について説明する。図３は、顕微鏡観察システム１の動作を示すフローチャートである。

まず、ステップＳ１０〜Ｓ１６において、画像取得部２１は、シフト量が異なる複数の多重焦点重畳画像を取得する。図４は、複数の多重焦点重畳画像の取得処理を説明するための模式図である。以下においては、図４に示すように、被写体Ｓ内の厚さＤ（μｍ）の範囲を重畳撮像する場合を説明する。この厚さＤの範囲を重畳撮像範囲と呼ぶ。図４においては、重畳撮像範囲を複数のスライスＦ_j（ｊ＝０〜Ｎ）に分割して示している。実施の形態１において、各スライスＦ_jの厚さΔｚは、観察光学系１０４の被写界深度に相当する。また、各スライスＦ_jにおいて太線で囲む領域が、撮像対象となる観察光学系１０４の視野Ｖであり、視野Ｖに重ねて示す矢印は、焦点面及び視野の位置をシフトさせる方向を示している。

ステップＳ１０の処理開始時においては、図４の（ａ）に示すように、観察光学系１０４の焦点面がユーザ所望のＺ位置であるスライスＦ₀に合わせられ、視野Ｖがユーザ所望のＸＹ位置に合わせられているものとする。この位置合わせは、ユーザが手動で行ってもよいし、自動制御で行われるものとしてもよい。

ステップＳ１０において、画像取得部２１は、シフト量ゼロ（σ₁₁＝０）の多重焦点重畳画像を取得する。詳細には、図４の（ａ）に示すように、撮像制御部２２の制御の下で撮像部２１１における露光を開始し、１露光期間中に観察光学系１０４の焦点面を＋Ｚ方向に厚さＤの分だけ移動させる。それにより、スライスＦ₀〜Ｆ_NにおいてＸ位置が同じ視野Ｖの像が重畳された多重焦点重畳画像ＳＩ₁₁が取得される。

その後、ステップＳ１１において、全焦点画像生成部２３２は、各スライスＦ_jの像における画像ボケを表す点拡がり関数（ＰＳＦ）情報を取得し、このＰＳＦ情報に基づくＰＳＦ画像を生成する。点拡がり関数は、顕微鏡装置１０における対物レンズ１４０の倍率等の撮像条件やスライスＦ_jと関連づけられて、予めパラメータ記憶部２４１に記憶されている。全焦点画像生成部２３２は、対物レンズ１４０の倍率等の撮像条件に基づき、スライスＦ_jに応じた点拡がり関数をパラメータ記憶部２４１から読み出し、点拡がり関数をもとに視野Ｖの画像内の各画素位置に対応する画素値を算出することで、スライスＦ_jごとのＰＳＦ画像を生成する。

続くステップＳ１２において、全焦点画像生成部２３２は、多重焦点重畳画像ＳＩ₁₁に対応するシフト量ゼロの多重焦点重畳ＰＳＦ画像を生成する。詳細には、ステップＳ１１において生成したスライスＦ_jにそれぞれ対応する複数のＰＳＦ画像の間で位置が対応する画素同士の画素値を加算平均することにより、多重焦点重畳ＰＳＦ画像の各画素の画素値を算出する。

ステップＳ１３において、全焦点画像生成部２３２は、多重焦点重畳ＰＳＦ画像を用いて、ステップＳ１０において生成した多重焦点重畳画像ＳＩ₁₁を復元する。それにより、シフト量ゼロの多重焦点重畳ＰＳＦ画像から全焦点画像が生成される。

ステップＳ１０〜Ｓ１３において、シフト量ゼロの全焦点画像を生成後、シフト量取得処理部２３１が、複数の多重焦点重畳画像を取得する際に用いるシフト量σ_i（ｉ＝１２、…、ｎ）を取得する（ステップＳ１４）。ここで、添え字ｉは、多重焦点重畳画像の取得順序を示す変数である。ここでは、図４の（ｂ）〜（ｅ）に示すように、ゼロでない大きさの異なるシフト量σ₁₂〜σ₁₅であって、σ₁₂＜σ₁₃＜σ₁₄＜σ₁₅の順に大きいシフト量σ₁₂〜σ₁₅の多重焦点重畳画像を取得する場合について説明する。

続くステップＳ１５において、撮像制御部２２は、ステップＳ１４において取得されたシフト量σ_iに基づいて撮像パラメータを設定する。具体的には、まず、撮像制御部２２は、撮像パラメータとして、撮像開始位置及びその撮像開始位置まで視野Ｖを移動させる移動距離、シフト速度を算出する。

撮像制御部２２は、まず、次の撮像開始位置まで視野を移動させる移動距離ｔ_i＝σ_i×Ｎを算出する。ここで、Ｎは、重畳撮像範囲の厚さＤに含まれる被写界深度Δｚの数である。この移動距離は、顕微鏡装置１０においては、撮像部２１１の画素ピッチｐ、観察倍率Ｍ倍を用いて、距離σ_i×Ｎ×ｐ／Ｍだけステージ１３１をＸ方向に沿って移動させることに相当する。

また、撮像制御部２２は、撮像パラメータとして、１露光期間中に視野ＶをＸ方向に沿ってシフトさせるシフト速度ｖ_iを算出する。シフト速度ｖ_iは、１回の露光期間Ｔ_i、撮像部２１１の画素ピッチｐ、数Ｎ、及び観察倍率Ｍ倍を用いて、次式（１）によって与えられる。
ｖ_i＝（ｐ×σ_i／Ｍ）／（Ｔ_i／Ｎ） ・・・（１）

続くステップＳ１６において、画像取得部２１は、ステップＳ１５において設定された撮像パラメータに基づく撮像制御部２２の制御のもとで、撮像部２１１の１露光期間中に観察光学系１０４の焦点面及び視野Ｖの位置をシフトさせながら被写体Ｓを撮像することにより、シフト量σ_iの多重焦点重畳画像を取得する。

図４の（ｂ）〜図４の（ｅ）に示すように、まず、視野ＶをＸ方向に距離ｔ_i（ｔ₁₂，ｔ₁₄）だけシフトさせる。この位置が次の多重焦点重畳画像の撮像開始位置である。そして、撮像部２１１において露光を開始し、１露光期間中に視野ＶをＸ方向に速度ｖ_iでシフトさせると共に、焦点面をＺ方向に速度Ｄ／Ｔ_iでシフトさせる。それにより、各スライスＦ₀〜Ｆ_Nにおける視野Ｖの像が重畳された多重焦点重畳画像（多重焦点重畳画像ＳＩ₁₂〜ＳＩ₁₅）が取得される。例えば、シフト量がσ₁₂の場合、１露光期間中に視野Ｖを−Ｘ方向に速度ｖ₁₂でシフトさせると共に、焦点面を−Ｚ方向に速度Ｄ／Ｔ₁₂でシフトさせる。それにより、各スライスＦ₀〜Ｆ_Nにおける視野Ｖの像が重畳された多重焦点重畳画像ＳＩ₁₂が取得される。

ここで、焦点面及び視野Ｖの位置をシフトさせる方向は、図４に示す矢印の方向に限定されない。例えば、図４の（ａ）に示す多重焦点重畳画像ＳＩ₁₁を取得する際、焦点面を−Ｚ方向（スライスＦ_N→Ｆ_０）にシフトさせてもよいし、図４の（ｂ）に示す多重焦点重畳画像ＳＩ₁₂を取得する際、焦点面を＋Ｚ方向にシフトさせつつ視野Ｖを＋Ｘ方向にシフトさせてもよい。好ましくは、ステージ１３１の移動回数や移動量ができるだけ少なくなるように、複数の多重焦点重畳画像ＳＩ₁₂〜ＳＩ₁₅を取得する順序や焦点面及び視野Ｖの位置のシフト方向を設定する。

ステップＳ１６に続くステップＳ１７において、全焦点画像生成部２３２は、ステップＳ１６において取得された複数の多重焦点重畳画像をもとに、全焦点画像を生成する。

図５は、全焦点画像の生成処理の詳細を示すフローチャートである。ステップＳ１７１において、全焦点画像生成部２３２は、多重焦点重畳画像ＳＩ_iを生成する際に使用されたシフト量σ_iを取得し、このシフト量σ_iに基づいて各スライスＦ_jに対応するＰＳＦ画像をシフトさせる。即ち、多重焦点重畳画像ＳＩ₁₁を生成する際と同様に、最上面のスライスＦ₀に対応するＰＳＦ画像に対し、他のスライスＦ_jに対応するＰＳＦ画像をシフト量ｓ_j＝σ_i×ｊだけシフトさせる。

続くステップＳ１７２において、全焦点画像生成部２３２は、ステップＳ１７１におけるシフト処理後の複数のＰＳＦ画像を用いて、シフト量σ_iの多重焦点重畳ＰＳＦ画像ＰＩ_iを生成する。詳細には、シフト処理後の複数のＰＳＦ画像の間で位置が対応する画素同士の画素値を加算平均することにより、多重焦点重畳ＰＳＦ画像ＰＩ_iの各画素の画素値を算出する。

ステップＳ１７３において、全焦点画像生成部２３２は、多重焦点重畳ＰＳＦ画像ＰＩ_iを用いて、ステップＳ１６において取得した多重焦点重畳画像ＳＩ_iを復元する。それにより、多重焦点重畳画像ＳＩ_iから全焦点画像ＡＩ_iが生成される。その後、制御部２３の動作はメインルーチンに戻る。

ステップＳ１７に続くステップＳ１８において、撮像装置２０は、ステップＳ１７において生成した全焦点画像の画像データを表示装置３０に出力し、この全焦点画像を表示させる。なお、ステップＳ１３において生成されたシフト量ゼロの全焦点画像は、ステップＳ１３の後に表示してもよいし、ステップＳ１８において表示してもよい。

ステップＳ１８に続くステップＳ１９において、制御部２３は、変数ｉが最大値ｎに至ったか否かを判定する。変数ｉが最大値ｎに至っていない場合（ステップＳ１９：Ｎｏ）、制御部２３は、変数ｉをインクリメントする（ステップＳ２０）。その後、制御部２３の動作はステップＳ１４に戻る。このようにステップＳ１４〜Ｓ１８を繰り返すことにより、シフト量σ_iが異なる複数の多重焦点重畳画像ＳＩ_iが取得され、表示装置３０に順次表示される。また、変数ｉが最大値ｎに至っている場合（ステップＳ１９：Ｙｅｓ）、制御部２３は、全焦点画像の生成、表示動作を終了する。

ここで、多重焦点重畳画像ＳＩ_iの取得順序や、撮像開始位置や、焦点面及び視野Ｖの位置のシフト方向を制御する撮像パラメータを適切に設定することにより、ステージ１３１の移動量を抑制し、トータルの撮像時間を短縮して多重焦点重畳画像ＳＩ_iを効率的に取得することができる。

具体的には、まず、図４の（ａ）に示すように、１露光期間中に焦点面を＋Ｚ方向にシフトさせることにより、シフト量σ₁₁＝０の多重焦点重畳画像ＳＩ₁₁を取得する。続いて、図４の（ｂ）に示すように、撮像開始位置を＋Ｘ方向に距離ｔ₁₂（ｔ₁₂＝σ₁₂×Ｎ）だけ移動させた上で露光を開始し、焦点面を−Ｚ方向にシフトさせながら視野Ｖを−Ｘ方向にシフト量σ₁₂のペースでシフトさせることにより、多重焦点重畳画像ＳＩ₁₂を取得する。続いて、図４の（ｃ）に示すように、直前の撮像終了位置において露光を開始し、焦点面を−Ｚ方向にシフトさせながら視野Ｖを＋Ｘ方向にシフト量σ₁₃のペースでシフトさせることにより、多重焦点重畳画像ＳＩ₁₃を取得する。続いて、図４の（ｄ）に示すように、撮像開始位置を＋Ｘ方向に距離ｔ₁₄（ｔ₁₄＝σ₁₄×Ｎ−σ₁₃×Ｎ）だけ移動させた上で露光を開始し、焦点面を−Ｚ方向にシフトさせながら視野Ｖを−Ｘ方向にシフト量σ₁₄のペースでシフトさせることにより、多重焦点重畳画像ＳＩ₁₄を取得する。さらに、図４の（ｅ）に示すように、直前の撮像終了位置において露光を開始し、焦点面を＋Ｚ方向にシフトさせながら視野Ｖを＋Ｘ方向にシフト量σ₁₅のペースでシフトさせることにより、多重焦点重畳画像ＳＩ₁₅を取得する。

ここで、Ｚ方向の撮像範囲、シフトさせないＺ位置、シフト量、シフト回数などは、ユーザによって設定可能としてもよい。図６は、多重焦点重畳画像の取得処理における画像取得の設定画面を説明するための模式図である。図６に示す設定画面Ｗ１には、例えば、シフト量ゼロにおける全焦点画像が表示されるとともに、Ｚ方向の撮像範囲、シフトさせないＺ位置、シフト量、シフト回数を設定するための画像が表示されている。設定画面Ｗ１では、各設定パラメータについて、プルダウンリストが設定され、ユーザは、プルダウンリストから所望の数値を選択することで、上述したパラメータを設定することができる。また、ＰＳＦ情報についても、設定画面Ｗ１で設定された情報をもとにシフト情報が設定される。

例えば、Ｚ方向の撮像範囲の設定としては、例えば、被写界深度を大、中、小のいずれかを選択することができる。シフトさせないＺ位置の設定としては、例えば、Ｚ方向を遠点（Far）側に固定する位置（固定位置）のいずれかを選択することができる。シフト量の設定としては、例えば、シフト量を大、中、小のいずれかを選択することができる。シフト回数の設定としては、例えば、シフト回数を２０、３０、４０のいずれかを選択することができる。

図７は、表示装置３０に表示させる全焦点画像の一例を示す図であって、シフト量ゼロの場合の全焦点画像ＡＩ₀を示す図である。図８は、表示装置３０に表示させる全焦点画像の一例を示す図であって、＋Ｘ方向にシフト量σ₁（＞０）分シフトさせた場合の全焦点画像ＡＩ₊₁を示す図である。図９は、表示装置３０に表示させる全焦点画像の一例を示す図であって、＋Ｘ方向にシフト量σ₂（＞σ₁）分シフトさせた場合の全焦点画像ＡＩ₊₂を示す図である。図１０は、表示装置３０に表示させる全焦点画像の一例を示す図であって、−Ｘ方向にシフト量σ₁分シフトさせた場合の全焦点画像ＡＩ_-1を示す図である。図１１は、表示装置３０に表示させる全焦点画像の一例を示す図であって、−Ｘ方向にシフト量σ₂分シフトさせた場合の全焦点画像ＡＩ_-2を示す図である。全焦点画像ＡＩ₀は、上述した全焦点画像ＡＩ₁₁に相当する。表示装置３０は、同じ表示領域において、生成された複数の全焦点画像ＡＩ₀，ＡＩ₊₁，ＡＩ₊₂，ＡＩ_-1，ＡＩ_-2を時系列に順次（連続的に）表示する。表示装置３０は、制御部２３の制御のもと、全焦点画像ＡＩ₀、全焦点画像ＡＩ₊₁、全焦点画像ＡＩ₊₂、全焦点画像ＡＩ_-1、全焦点画像ＡＩ_-2の順で全焦点画像を表示する。なお、上述した全焦点画像は、一部を抜粋したものであり、実際には各画像間に複数の全焦点画像が存在し、連続的に表示される。

以上説明したように、本発明の実施の形態１においては、複数の多重焦点重畳画像ＳＩ_iの間でシフト量σ_iの大きさを変化させるので、仮想的に、より広い範囲の複数の方向から被写体Ｓを観察した状態を再現し、全焦点画像として連続的に表示装置３０に表示させることができる。従って、ユーザは、被写体Ｓ内の構造のＺ方向における位置、構造同士の重なり具合や前後関係を直感的かつよりリアルに把握することが可能となる。

また、上記実施の形態１によれば、１露光期間中に焦点面を移動させて撮像を行うことにより多重焦点重畳画像を取得するので、複数回の撮像によりＺスタック画像を取得し、このＺスタック画像を加算平均して多重焦点重畳画像を取得する場合と比較して、撮像を短時間で行うことができるとともに、データ量や画像処理における演算量を大幅に抑制することが可能となる。

これらのシフト量σ_iは、予め設定された量であってもよく、ユーザ操作に応じて入力部２５から入力された情報に基づいて取得してもよい。ユーザ操作に応じてシフト量σ_iを決定する場合には、被写体Ｓの真上の方向に対してユーザの目線を傾けたときの角度を入力させるとよい。この場合、撮像部２１１の画素ピッチをｐ（μｍ／ピクセル）、入力された角度をθ_iとすると、シフト量σ_i（ピクセル）は、撮像部２１１の画素ピッチｐ、対物レンズ１４０から被写体Ｓ内の各深度までの距離Ｚ（近似値）を用いて、次式（２）によって与えられる。
σ_i＝（Ｚ／ｔａｎθ_i）／ｐ ・・・（２）
式（２）において距離Ｚは、対物レンズ１４０から被写体Ｓ内の各深度までの距離によって近似することができる。

なお、上述した実施の形態１では、シフト量が異なる複数の多重焦点重畳画像を取得する処理において、シフト量がゼロ（σ₁₁＝０）の処理を最初に行っているが、順次シフト量を変えていく途中でシフト量ゼロの画像を取得する構成でもよい。また、上述した実施の形態１では、シフト量がゼロ（σ₁₁＝０）を含む（ステップＳ１０〜Ｓ１３）ものとして説明したが、これに限らず、シフト量がゼロを含まなくてもよい。この場合は、ステップＳ１４〜Ｓ２０までの処理を行うことにより、全焦点画像を生成して表示することができる。このため、シフト量がゼロを含まない場合（σ≠０）であっても、上述した効果を得ることができる。

（実施の形態１の変形例１）
次に、本発明の実施の形態１の変形例１について説明する。図１２及び図１３は、変形例１における多重焦点重畳画像の取得方法を説明するための模式図である。

上記実施の形態１においては、ステージ１３１に対して観察光学系１０４の光軸を直交させ、シフト量σ_iの多重焦点重畳画像ＳＩ_iを取得する際には、ステージ１３１をＺ方向及びＸ方向に移動させながら撮像を行った。しかしながら、ステージ１３１に対して観察光学系１０４の光軸を予め傾斜させて撮像を行ってもよい。

例えば図１２に示すように、ステージ１３１の被写体載置面１３１ａを水平に設置し、この被写体載置面１３１ａの法線に対して観察光学系１０４の光軸Ｌを角度αだけ傾斜させる。それにより、撮像部２１１の焦点面Ｐｆは、被写体載置面１３１ａに対して角度αで傾斜することになる。この場合、観察光学系１０４を光軸Ｌに沿って被写体載置面１３１ａに近づく方向に移動させることにより、被写体Ｓに対して焦点面Ｐｆが＋Ｚ方向に移動すると共に、視野が＋Ｘ方向にシフトする。即ち、観察光学系１０４を２次元的に移動させる制御が不要となり、観察光学系１０４に対する駆動制御を簡素化させることができる。

或いは、図１３に示すように、ステージ１３１の被写体載置面１３１ａを水平に設置すると共に、この被写体載置面１３１ａに対して観察光学系１０４の光軸Ｌを直交させて設置する。そして、底面に対して角度αの斜面を有する台座１６１をステージ１３１に設置する。この台座１６１の斜面１６１ａ上に被写体Ｓを載置させることにより、撮像部２１１の焦点面Ｐｆは、斜面１６１ａに対して角度αで傾斜することになる。この場合、ステージ１３１を−Ｚ方向に移動させる、又は観察光学系１０４を＋Ｚ方向に移動させることにより、被写体Ｓに対する焦点面Ｐｆが＋Ｚ方向に移動すると共に、視野が＋Ｘ方向にシフトする。この場合には、ステージ１３１又は観察光学系１０４を２次元的に移動させる制御が不要となり、ステージ１３１又は観察光学系１０４に対する駆動制御を簡素化させることができる。

このように、被写体Ｓに対して焦点面Ｐｆを傾斜させる場合、各種撮像パラメータの設定は次のようにして行う。多重焦点重畳画像ＳＩ_iにおける隣り合うスライス間のシフト量をσ_i（ピクセル）、撮像部２１１の画素ピッチをｐ（μｍ／ピクセル）、厚さＤの重畳撮像範囲に含まれる被写界深度Δｚの数をＮ（Ｎ＝Ｄ／Δｚ）、観察倍率をＭ倍とすると、角度α_iは次式（３）によって与えられる。
α_i＝ｔａｎ^-1｛（ｐ×σ_i×Ｎ/Ｍ）/Ｄ｝ …（３）

シフト量取得処理部２３１は、シフト量σ_iに基づいて角度α_iを算出して出力する。撮像制御部２２は、この角度α_iに基づき、図１２に示すように、被写体載置面１３１ａに対する観察光学系１０４の焦点面Ｐｆを角度α_iだけ傾斜させる制御を行う。

或いは、図１３に示すように台座１６１を設置する場合には、ユーザが入力部２５を用いて、被写体載置面１３１ａに対する斜面１６１ａの角度αを入力する。この場合、シフト量取得処理部２３１は、式（３）から角度αに対応するシフト量σを算出し、撮像制御部２２は、このシフト量σに基づいて各種制御パラメータを算出する。

（実施の形態１の変形例２）
次に、本発明の実施の形態１の変形例２について説明する。上記実施の形態１においては、撮像部２１１の１露光期間中にシャッタを開放させたまま焦点面及び視野Ｖの位置を連続的にシフトさせることにより、多重焦点重畳画像を取得した。しかし、１露光期間中に、撮像部２１１への光の入射を遮るシャッタを所定の周期で開閉し、シャッタが閉じている間に焦点面や視野Ｖの位置を段階的にシフトさせることとしてもよい。

１露光期間中にシャッタを開閉する回数、即ち、撮像部２１１に対して被写体Ｓを露出する回数、或いは焦点面及び視野Ｖの位置をシフトさせる回数や、１回当たりの焦点面及び視野Ｖの位置のシフト量は、撮像部２１１における１回の露光期間及びシャッタ速度等に応じて適宜設定される。

例えば、図４の（ａ）に示すシフト量ゼロの多重焦点重畳画像ＳＩ₁₁を取得する際には、シャッタが開いている間に焦点面を所定の重畳撮像範囲、具体的には被写界深度の複数倍（ｋ×Δｚ、ｋは自然数）移動させる。また、図４の（ｂ）に示すシフト量σ_iの多重焦点重畳画像ＳＩ_iを取得する際には、シャッタが開いている間に焦点面を所定の重畳撮像範囲、具体的には被写界深度の複数倍（ｋ×Δｚ）移動させながら、視野Ｖの位置をシフト量σ_iの複数倍（ｋ×σ_i）シフトさせる。

この場合、図３のステップＳ１１においては、シャッタが開いてから閉じるまでの複数スライスに対応するＰＳＦ画像を生成する。また、図５のステップＳ１７１においては、シャッタの開閉周期に応じた視野Ｖの位置のシフト量に合わせて、ＰＳＦ画像をシフトさせる。ステップＳ１２、Ｓ１７２、Ｓ１７３における処理は、上記実施の形態１と同様である。

（実施の形態１の変形例３）
次に、本発明の実施の形態１の変形例３について説明する。上記実施の形態１においては、理解を促進するため、観察光学系１０４の視野ＶをＸ方向においてのみシフトさせる場合を説明したが、Ｙ方向、ＸＹ方向についても同様の処理を行うことができる。この場合、被写体Ｓに対する仮想的な視点をＹ方向又はＸＹ方向に沿って移動させた場合に相当する全焦点画像を生成する。なお、ＸＹ方向は、直交する２方向に沿ってそれぞれ全焦点画像を生成する。また、観察光学系１０４の視野ＶをＸ方向、Ｙ方向及びＸＹ方向の４方向にシフトさせることにより、被写体Ｓに対する仮想的な視点を水平面内において移動させた場合に相当する全焦点画像を生成することも可能である。

図１４〜図２５は、上述したシフト量ゼロの全焦点画像ＡＩ₀（＝全焦点画像ＡＩ₁₁）に対してＹ方向またはＸＹ方向に沿って移動させた場合の全焦点画像の一例を示す図である。図１４は、表示装置３０に表示させる全焦点画像の一例を示す図であって、＋Ｙ方向にシフト量σ₂₁（＞０）分シフトさせた場合の全焦点画像ＡＩ₊₂₁を示す図である。図１５は、表示装置３０に表示させる全焦点画像の一例を示す図であって、＋Ｙ方向にシフト量σ₂₂（＞σ₂₁）分シフトさせた場合の全焦点画像ＡＩ₊₂₂を示す図である。図１６は、表示装置３０に表示させる全焦点画像の一例を示す図であって、−Ｙ方向にシフト量σ₂₁分シフトさせた場合の全焦点画像ＡＩ_-21を示す図である。図１７は、表示装置３０に表示させる全焦点画像の一例を示す図であって、−Ｙ方向にシフト量σ₂₂分シフトさせた場合の全焦点画像ＡＩ_-22を示す図である。

また、図１８は、表示装置３０に表示させる全焦点画像の一例を示す図であって、＋Ｘ方向及び＋Ｙ方向にシフト量σ₃₁（＞０）分シフトさせた場合の全焦点画像ＡＩ₊₃₁を示す図である。図１９は、表示装置３０に表示させる全焦点画像の一例を示す図であって、＋Ｘ方向及び＋Ｙ方向にシフト量σ₃₂（＞σ₃₁）分シフトさせた場合の全焦点画像ＡＩ₊₃₂を示す図である。図２０は、表示装置３０に表示させる全焦点画像の一例を示す図であって、−Ｘ方向及び−Ｙ方向にシフト量σ₃₁分シフトさせた場合の全焦点画像ＡＩ_-31を示す図である。図２１は、表示装置３０に表示させる全焦点画像の一例を示す図であって、−Ｘ方向及び−Ｙ方向にシフト量σ₃₂分シフトさせた場合の全焦点画像ＡＩ_-32を示す図である。

また、図２２は、表示装置３０に表示させる全焦点画像の一例を示す図であって、−Ｘ方向及び＋Ｙ方向にシフト量σ₄₁（＞０）分シフトさせた場合の全焦点画像ＡＩ₊₄₁を示す図である。図２３は、表示装置３０に表示させる全焦点画像の一例を示す図であって、−Ｘ方向及び＋Ｙ方向にシフト量σ₄₂（＞σ₄₁）分シフトさせた場合の全焦点画像ＡＩ₊₄₂を示す図である。図２４は、表示装置３０に表示させる全焦点画像の一例を示す図であって、＋Ｘ方向及び−Ｙ方向にシフト量σ₄₁分シフトさせた場合の全焦点画像ＡＩ_-41を示す図である。図２５は、表示装置３０に表示させる全焦点画像の一例を示す図であって、＋Ｘ方向及び−Ｙ方向にシフト量σ₄₂分シフトさせた場合の全焦点画像ＡＩ_-42を示す図である。なお、シフト量σ₂₁，σ₂₂，σ₃₁，σ₃₂，σ₄₁，σ₄₂は、互いに同じであってもよいし、異なっていてもよいし、同じものと異なるものとの組み合わせであってもよい。なお、上述した全焦点画像は、一部を抜粋したものであり、実際には各画像間に複数の全焦点画像が存在し、連続的に表示される。

表示装置３０は、同じ表示領域において、生成された複数の全焦点画像ＡＩ₀，ＡＩ₊₁，ＡＩ₊₂，ＡＩ_-1，ＡＩ_-2に加え、全焦点画像ＡＩ₊₂₁，ＡＩ₊₂₂，ＡＩ_-21，ＡＩ_-22，ＡＩ₊₃₁，ＡＩ₊₃₂，ＡＩ_-31，ＡＩ_-32，ＡＩ₊₄₁，ＡＩ₊₄₂，ＡＩ_-41，ＡＩ_-42を時系列に順次（連続的に）表示する。ここで、ＸＹ方向へのシフトは、鏡筒１０２およびステージ１３１を移動又は回転させることによって実現可能である。

以上説明したように、本変形例３においては、複数の多重焦点重畳画像ＳＩ_iの間でシフト量σ_iの大きさを変化させ、さらにＸＹ平面において異なる方向にシフトさせるので、仮想的に、より広い範囲の複数の方向から被写体Ｓを観察した状態を再現し、全焦点画像として連続的に表示装置３０に表示させることができる。従って、ユーザは、被写体Ｓ内の構造のＺ方向における位置、構造同士の重なり具合や前後関係を直感的かつよりリアルに把握することが可能となる。

（実施の形態１の変形例４）
次に、本発明の実施の形態１の変形例４について説明する。上記実施の形態１においては、観察光学系１０４の視野Ｖを予め決まった方向にシフトさせる場合を説明したが、ユーザによってシフトする方向を指示するようにしてもよい。図２６及び図２７は、本発明の実施の形態１の変形例４における多重焦点重畳画像の取得方法を説明するための模式図である。

本変形例４では、任意の全焦点画像からユーザが指定した方向に基づいて複数の視点方向の全焦点画像を連続的に表示する。方向の指定方法は、マウス移動、視線、画面をタッチした指の移動、空間的なユーザ動作（指、手等）など移動させたい方向が特定できれば、どういう手段を用いてもよい。

ユーザにより表示する全焦点画像の選択設定の入力があると、表示部２３の制御のもと、任意の全焦点画像（例えば、シフト量ゼロの全焦点画像）が表示される。ユーザは、マウスなどを操作することによって、入力部２５を介してシフトさせたい方向にポインタを移動させる。具体的に、ポインタ移動から方向を決定する場合、マウスなどの操作により画面内のポインタＰ₁がポインタＰ₂の位置まで移動した際の軌跡Ｌ₁から移動ベクトルＶx、Ｖyを取得しＸＹ平面位置のシフト方向とすればよい。実測されるＶx、Ｖy（ピクセル）に対して、そのＶxとＶyと比率から方向成分（傾き成分）を算出し、この成分の方向をシフト方向とし、実施の形態１と同様に所定のシフト量σ_iでシフト回数β回撮影したβ個の多重焦点重畳画像から全焦点画像を生成し表示する。

さらに、マウスなどの操作により画面内のポインタＰ₂がポインタＰ₃の位置まで移動した際は、移動したポインタの軌跡Ｌ₂から移動ベクトルＶx、Ｖyを取得しＸＹ平面位置のシフト方向とすればよい。

また、ここではポインタの移動方向のみに基づいた全焦点画像表示について記載しているが、この限りではなく、例えば、Ｖx、Ｖyの移動量と所定のシフト量σ_iからシフト回数βを決定することも可能である。

本変形例４によれば、ユーザの操作に応じたシフト方向の全焦点画像を表示することにより、観察被写体を自身で動かしているような直感的な観察を実現することができる。

（実施の形態２）
次に、本発明の実施の形態２について説明する。図２８は、本発明の実施の形態２に係る顕微鏡観察システムの構成例を示すブロック図である。図２８に示すように、実施の形態２に係る顕微鏡観察システム２は、顕微鏡装置１０と、該顕微鏡装置１０が生成した被写体像の画像を取得して処理する撮像装置４０と、撮像装置４０が処理した画像等を表示する表示装置５０とを備える。このうち、顕微鏡装置１０の構成及び動作は実施の形態１と同様である（図２参照）。

撮像装置４０は、図１に示す制御部２３の代わりに制御部４１を備える。制御部４１は、制御部２３に対して、注目スライス取得部４１１をさらに備える。なお、シフト量取得処理部２３１及び全焦点画像生成部２３２の動作は、実施の形態１と同様である。

注目スライス取得部４１１は、後述する表示装置５０から入力部２５を介して入力される観察領域に対応する被写体Ｓ内の構造が含まれるスライスのＺ方向における位置を取得し、このスライスを注目スライスとして決定する。

表示装置５０は、例えばＬＣＤ、ＥＬディスプレイ又はＣＲＴディスプレイ等によって構成され、出力部２６から出力された画像や関連情報を表示する画像表示部５１と、外部からなされる操作に応じて、画像表示部５１に表示される全焦点画像内の領域を観察領域として決定し、該観察領域を表す信号を制御部４１に入力する観察領域決定部５２とを備える。

次に、顕微鏡観察システム２の動作を説明する。図２９は、顕微鏡観察システム２の動作を示すフローチャートである。なお、ステップＳ１０〜Ｓ２０における動作は実施の形態１と同様である。また、図３０は、ステップＳ１０において生成される複数の多重焦点重畳画像ＳＩ_i（ｉ＝５１〜５４）を示す模式図である。実施の形態２においては、これらの多重焦点重畳画像ＳＩ_iを復元することにより複数の全焦点画像ＡＩ_iがそれぞれ生成され、画像表示部５１に順次切り替えて表示されるものとする。

ステップＳ１９において、変数ｉが最大値ｎに至っている場合（ステップＳ１９：Ｙｅｓ）、観察領域決定部５２は、画像表示部５１に表示された全焦点画像ＡＩ₅₁、ＡＩ₅₂、ＡＩ₅₃、ＡＩ₅₄のいずれかに対して任意の観察領域を選択するユーザ操作がなされたか否かを判定する（ステップＳ２１）。

ユーザ操作がなされない場合（ステップＳ２１：Ｎｏ）、顕微鏡観察システム２の動作はステップＳ１２に戻る。

一方、ユーザ操作がなされた場合（ステップＳ２１：Ｙｅｓ）、観察領域決定部５２は、ユーザ操作により選択された領域を観察領域として決定し、該観察領域を表す信号を制御部４１に入力する（ステップＳ２２）。図３１は、観察領域の選択方法の一例を示す模式図である。観察領域の選択は、例えば図２６に示すように、マウス等を用いたポインタ操作により画像表示部５１に表示された全焦点画像内の所望の観察領域Ｒを指示することによって行われる。

ここで、例えば、シフト量がゼロの全焦点画像からでは選択したい領域を確認できない場合がある。この場合は、シフトさせて得られた全焦点画像に表示を切り替えることで、ユーザが選択したい領域を確認できるようにしてもよい。この場合、各方向にシフトさせて得られた全焦点画像が記憶部２４に記憶されているものとして説明する。

図３２〜図３４は、全焦点画像における観察領域指定処理における設定画面を説明するための模式図である。図３２に示す設定画面Ｗ２では、例えばシフト量ゼロの全焦点画像が表示されている。この全焦点画像中のワイヤーＢｗの下を観察領域として選択したい場合、シフト量ゼロの全焦点画像では、ポインタＰ₄を配置してもワイヤーＢｗが邪魔になり、ユーザは観察領域を選択できない。この際、ユーザは、マウスなどを操作してポインタＰ₄を、図３３に示すように、シフト方向を示す矢印（図３２〜図３４中のブロック矢印）まで移動させて、シフトさせたい方向の矢印を選択する。図３２〜図３４において右方向を＋Ｘ方向、上方向を＋Ｙ方向とした場合、例えば、図３３に示すように、ポインタＰ₅によって−Ｘ方向及び−Ｙ方向を示す矢印を選択することができる。

ポインタＰ₅によって−Ｘ方向及び−Ｙ方向を示す矢印を選択した状態で、マウスのクリックなどにより当該矢印を選択入力すると、シフト量ゼロの全焦点画像が、その方向に所定量シフトして得られた全焦点画像に切り替えることができる。このようにして、全焦点画像をシフトさせて、選択したい観察領域が確認できる全焦点画像が表示されると、図３４に示すように、ポインタＰ₆によって、観察領域Ｒが選択される。

図３５は、本発明の実施の形態２における多重焦点重畳画像の取得方法を説明するための模式図であって、上述したシフト処理後に表示された全焦点画像を示す図である。図３５に示すシフト処理後の全焦点画像は、図３１に示す全焦点画像と比して、ワイヤーＢｗがずれており、ユーザは、この全焦点画像から選択したい観察領域Ｒを選択して指示することが可能となる。

続くステップＳ２３において、制御部４１は、観察領域決定部５２から入力された観察領域を表す情報に基づいて、観察領域のＺ位置情報を取得する。図３６は、観察領域のＺ位置情報の取得処理の詳細を示すフローチャートである。以下においては、一例として、図３０に示す全焦点画像ＡＩ₅₄内の領域Ｒ₅₄が観察領域として決定されたものとして説明する。

ステップＳ２３１において、注目スライス取得部４１１は、全焦点画像ＡＩ₅₄における観察領域Ｒ₅₄のＸＹ位置情報を取得する。

続くステップＳ２３２において、注目スライス取得部４１１は、全焦点画像ＡＩ₅₄以外の各全焦点画像ＡＩ₅₁、ＡＩ₅₂、ＡＩ₅₃から、観察領域Ｒ₅₄に対応する領域Ｒ’₅₁、Ｒ’₅₂、Ｒ’₅₃を抽出し、各領域のＸＹ位置情報を取得する。領域Ｒ’₅₁、Ｒ’₅₂、Ｒ’₅₃は、パターンマッチングや、ＳＡＤ（Sum of Absolute Difference）による類似度検索等の公知の画像認識技術を用いて抽出することができる。以下、これらの領域Ｒ’₅₁、Ｒ’₅₂、Ｒ’₅₃を観察領域ともいう。

続くステップＳ２３３において、注目スライス取得部４１１は、全焦点画像ＡＩ₅₁、ＡＩ₅₂、ＡＩ₅₃、ＡＩ₅₄間における観察領域Ｒ’₅₁、Ｒ’₅₂、Ｒ’₅₃、Ｒ₅₄のＸＹ位置のシフト量を取得する。図３０の（ａ）〜（ｄ）の場合、全焦点画像ＡＩ₅₁における観察領域Ｒ’₅₁のＸ位置と全焦点画像ＡＩ₅₂における観察領域Ｒ’₅₂の位置との間のシフト量、全焦点画像ＡＩ₅₂における観察領域Ｒ’₅₂のＸ位置と全焦点画像ＡＩ₅₃における観察領域Ｒ’₅₃の位置との間のシフト量、及び、全焦点画像ＡＩ₅₃における観察領域Ｒ’₅₃のＸ位置と全焦点画像ＡＩ₅₄における観察領域Ｒ₅₄の位置との間のシフト量が取得される。

続くステップＳ２３４において、注目スライス取得部４１１は、観察領域Ｒ’₅₁、Ｒ’₅₂、Ｒ’₅₃、Ｒ₅₄のシフト量に基づいて、観察領域Ｒ’₅₁、Ｒ’₅₂、Ｒ’₅₃、Ｒ₅₄が含まれるスライスＦ_jを取得する。

ここで、全焦点画像ＡＩ_iにおけるシフト量がσ_iであった場合、最上面のスライスＦ₀における視野Ｖの位置に対する各スライスＦ_jにおける視野Ｖの位置のシフト量ｓ_i,jは、次式（４）によって与えられる。
ｓ_i,j＝σ_i×ｊ …（４）

従って、観察領域Ｒ’₅₁、Ｒ’₅₂、Ｒ’₅₃、Ｒ₅₄間のシフト量｜ｓ_(i+1),j−ｓ_i,j｜が与えられれば、次式（５）により、当該観察領域Ｒ’₅₁、Ｒ’₅₂、Ｒ’₅₃、Ｒ₅₄が含まれるスライスＦ_jを特定することができる。
｜ｓ_(i+1),j−ｓ_i,j｜＝σ_i+1×ｊ−σ_i×ｊ
ｊ＝｜ｓ_(i+1),j−ｓ_i,j｜／（σ_i+1−σ_i） …（５）

例えば図３０の（ｃ）、（ｄ）に示すように、全焦点画像ＡＩ₅₃におけるシフト量σ₅₃が２ピクセル、全焦点画像ＡＩ₅₄におけるシフト量σ₅₄が３ピクセル、観察領域Ｒ’₅₃、Ｒ₅₄間のシフト量が２ピクセルであるとき、式（５）より、ｊ＝２となる。即ち、観察領域Ｒ₅₄はスライスＦ₂に含まれることがわかる。

注目スライス取得部４１１は、このようにして取得したスライスＦ_jを観察領域のＺ位置情報として出力する。その後、制御部４１の動作はメインルーチンに戻る。

ステップＳ２３に続くステップＳ２４において、制御部４１は、注目スライス取得部４１１が出力したＺ位置情報に基づき、観察領域Ｒ₅₄を取得する。

続くステップＳ２５において、撮像制御部２２は、観察領域Ｒ₅₄を中心とした多重焦点重畳画像を取得する。この際、シフト方向は、上述したＸ方向、Ｙ方向及びＸＹ方向の少なくとも一つの方向にシフトさせた多重焦点重畳画像が取得される。

続くステップＳ２６において、全焦点画像生成部２３２は、取得した多重焦点重畳画像をもとに、全焦点画像を生成する。

続くステップＳ２７において、制御部４１は、生成された全焦点画像を表示装置５０の画像表示部５１に表示させる。その後、顕微鏡観察システム２の動作は終了する。

以上説明した本発明の実施の形態２によれば、ユーザは、平面上では重なって見える構造のＺ方向における位置や、構造同士の前後関係を直感的に容易に把握することが可能となる。

（実施の形態２の変形例）
次に、本発明の実施の形態２の変形例について説明する。上記実施の形態２においては、取得した観察領域を中心に、重畳撮像範囲を変えることなく撮影するものとして説明したが、観察領域を中心に、重畳撮像範囲を変更してもよい。

図３７は、本発明の実施の形態２の変形例における多重焦点重畳画像の取得処理を説明するための模式図である。例えば、図３７の（ａ）のように、重畳撮像範囲Ｄ₁で多重焦点重畳画像が取得されて全焦点画像が生成された場合、観察領域Ｒ₅₅が選択されて、上述したように観察領域が特定されると、図３７の（ｂ）のように、重畳撮像範囲Ｄ₂（＜Ｄ₁）で撮影して多重焦点重畳画像を取得して、全焦点画像を生成する。

重畳撮像範囲Ｄ₂としては、例えば、観察倍率に基づく被写界深度（Depth Of Field：ＤＯＦ）を用いて、観察領域Ｒ₅₅を含むスライスＦ_nを中心に深度方向の浅い側及び深い側にそれぞれ５ＤＯＦの範囲を重畳撮像範囲とする。これにより、観察領域Ｒ₅₅を含むスライスＦ_nと、深度方向で浅い側、深い側のスライスＦ_n-1、Ｆ_n-2、Ｆ_n+1、Ｆ_n+2を有する多重焦点重畳画像を取得する。

本変形例によれば、撮影範囲を限定することにより、深度方向に観察領域が含まれる前後のスライスに限定された全焦点画像を生成するため、ユーザにとって観察領域を観察しやすい全焦点画像を生成して表示させることができる。

（実施の形態３）
次に、本発明の実施の形態３について説明する。図３８は、本発明の実施の形態３における多重焦点重畳画像の取得処理における画像取得の設定画面を説明するための模式図である。上記実施の形態２では、一つの観察領域に対してシフトさせることによって観察量を確認するものとして説明したが、本実施の形態３では、奥行き方向（Ｚ方向）に重なっている構造を確認するため、別方向にシフトさせた全焦点画像を連続的に表示させる。

具体的に、図３８に示すように、全焦点画像において二つの観察領域（観察領域Ｒ₁、Ｒ₂）が選択されると、上述した実施の形態２のステップＳ２３の処理と同様にして、観察領域Ｒ₁、Ｒ₂それぞれについてＺ位置情報が取得される。その後、取得された二つのＺ位置情報の中央位置をシフト中心に設定し、Ｘ方向、Ｙ方向及びＸＹ方向のうち少なくとも一つの方向、又は予め設定されている方向、ユーザにより指定された方向にシフトさせた全焦点画像を連続的に表示する。

以上説明した本発明の実施の形態３によれば、二つの観察領域が選択された場合に、該二つの観察領域から取得されたＺ位置情報の中間位置を回転中心として、所定の方向にシフトさせた全焦点画像を連続的に表示させるようにしたので、二つの観察領域が異なる位置に存在するように表示させることで、ユーザは、二つの観察領域を容易に把握することが可能となる。

以上説明した実施の形態１〜３及び変形例はそのままに限定されるものではなく、各実施の形態及び変形例に開示されている複数の構成要素を適宜組み合わせることによって、種々の発明を形成することができる。例えば、実施の形態に示される全構成要素からいくつかの構成要素を除外して形成してもよい。あるいは、異なる実施の形態に示した構成要素を適宜組み合わせて形成してもよい。

このように、本発明は、ここでは記載していない様々な実施の形態等を含み得るものであり、請求の範囲に記載した技術的思想を逸脱しない範囲内において適宜設計変更等を行うことが可能である。

１、２ 顕微鏡観察システム
１０ 顕微鏡装置
２０、４０ 撮像装置
２１ 画像取得部
２２ 撮像制御部
２３、４１ 制御部
２４ 記憶部
２５ 入力部
２６ 出力部
３０、５０ 表示装置
５１ 画像表示部
５２ 観察領域決定部
１００ アーム
１０１ 三眼鏡筒ユニット
１０２ 鏡筒
１０３ 接眼レンズユニット
１０４ 観察光学系
１１０ 落射照明ユニット
１１１ 落射照明用光源
１１２ 落射照明光学系
１２０ 透過照明ユニット
１２１ 透過照明用光源
１２２ 透過照明光学系
１３０ 電動ステージユニット
１３１ ステージ
１３２ ステージ駆動部
１３３ 位置検出部
１４０、１４１ 対物レンズ
１４２ レボルバ
１６１ 台座
１６１ａ 斜面
２１１ 撮像部
２１２ メモリ
２３１ シフト量取得処理部
２３２ 全焦点画像生成部
２４１ パラメータ記憶部
２４２ 設定情報記憶部
２４３ プログラム記憶部
４１１ 注目スライス取得部

Claims (7)

1. 顕微鏡の観察光学系により生成される被写体像を撮像して画像を取得する撮像部と、
   前記観察光学系の焦点面及び視野の位置をシフトさせるシフト手段と、
   前記撮像部の１露光期間中に、前記焦点面及び前記視野の位置をシフトさせることにより、前記観察光学系の光軸方向の複数の面における画像情報を含む多重焦点重畳画像を前記撮像部に取得させる撮像制御部と、
   前記視野の位置をシフトさせるシフト量を取得するシフト量取得処理部と、
   前記シフト量が異なる複数の条件の下でそれぞれ取得された複数の多重焦点重畳画像と、前記シフト量に応じた画像のボケ情報とをもとに、複数の全焦点画像をそれぞれ生成する全焦点画像生成部と、
   前記全焦点画像生成部が生成した前記複数の全焦点画像を連続的に表示する表示部と、
   を備えることを特徴とする顕微鏡観察システム。
2. 前記撮像制御部は、前記シフト量取得処理部が取得した前記シフト量に基づいて、前記複数の多重焦点重畳画像の各々を取得する際の撮像開始位置を決定する、ことを特徴とする請求項１に記載の顕微鏡観察システム。
3. 外部からなされる操作に応じて前記複数の全焦点画像のうちのいずれかの全焦点画像から選択された領域を観察領域として決定する観察領域決定処理部と、
   前記観察領域を選択された全焦点画像以外の全焦点画像から前記観察領域に対応する領域を抽出すると共に、前記観察領域を選択された全焦点画像における前記観察領域の位置と、前記領域が抽出された全焦点画像における前記領域の位置との間のシフト量に基づいて、前記観察領域に対応する被写体内の構造が含まれるスライスの位置を取得する注目スライス取得部と、
   をさらに備えることを特徴とする請求項１に記載の顕微鏡観察システム。
4. 前記ボケ情報は、前記シフト量と、前記画像のボケを表す点拡がり関数とを用いて生成された情報である
   ことを特徴とする請求項１に記載の顕微鏡観察システム。
5. 前記撮像制御部は、前記多重焦点重畳画像の複数の面における画像情報を、同一のシフト量で前記撮像部に取得させることを特徴とする請求項４に記載の顕微鏡観察システム。
6. 顕微鏡の観察光学系により生成される被写体像を撮像部により撮像して画像を取得する顕微鏡観察方法において、
   前記撮像部の１露光期間中に、前記観察光学系の焦点面及び視野の位置をシフトさせることにより、前記観察光学系の光軸方向の複数の面における画像情報を含む多重焦点重畳画像を取得する撮像ステップと、
   前記視野の位置をシフトさせるシフト量が異なる複数の条件の下でそれぞれ取得された複数の多重焦点重畳画像と、前記シフト量に応じた画像のボケ情報とをもとに、複数の全焦点画像をそれぞれ生成する全焦点画像生成ステップと、
   前記全焦点画像生成ステップで生成した前記複数の全焦点画像を連続的に表示させる表示ステップと、
   を含むことを特徴とする顕微鏡観察方法。
7. 顕微鏡の観察光学系により生成される被写体像を撮像部により撮像して画像を取得する顕微鏡観察プログラムにおいて、
   前記撮像部の１露光期間中に、前記観察光学系の焦点面及び視野の位置をシフトさせることにより、前記観察光学系の光軸方向の複数の面における画像情報を含む多重焦点重畳画像を取得する撮像手順と、
   前記視野の位置をシフトさせるシフト量が異なる複数の条件の下でそれぞれ取得された複数の多重焦点重畳画像と、前記シフト量に応じた画像のボケ情報とをもとに、複数の全焦点画像をそれぞれ生成する全焦点画像生成手順と、
   前記全焦点画像生成手順で生成した前記複数の全焦点画像を連続的に表示させる表示手順と、
   をコンピュータに実行させることを特徴とする顕微鏡観察プログラム。