JP6772442B2 - 顕微鏡装置および観察方法 - Google Patents

Description

本発明は、顕微鏡装置および観察方法に関する。

顕微鏡装置は、例えば、生物の組織を含む標本の観察などに用いられる。顕微鏡装置は、例えば、標本のうち観察対象の面（以下、標本面という）に照明光を照射し、標本からの光を検出する。顕微鏡装置は、標本面において照明光の収差が大きくなると、得られる標本の像が劣化する。収差を低減する技術として、例えば、照明光の波面を調整する技術が挙げられる（例えば、特許文献１参照）。

特開平１１−１０１９４２号公報

ところで、標本の表面は、凹凸を有している場合もあり、顕微鏡装置の照明光学系の光軸に対して傾いている場合もある。このような場合、標本の表面形状に起因して発生する照明光の収差により、顕微鏡装置により得られる像が劣化する。本発明は、上記の事情に鑑みなされたものであり、照明光の収差を低減できる顕微鏡装置および観察方法を提供することを目的とする。

本発明の態様に従えば、対物レンズを有し、標本に照明光を照射する照明光学系と、照明光の波面を調整する波面調整部と、標本からの光を検出する検出部と、検出部からの光に基づいて生成される標本の三次元画像に基づいて、標本の表面形状を検出する表面検出部と、表面検出部の検出結果を使って、照明光の収差を算出する収差算出部と、収差算出部の算出結果に基づいて、波面調整部を制御する制御部と、を備え、制御部は、対物レンズと標本の位置との相対位置を、対物レンズの光軸方向に変化させ、検出部からの光に基づいて複数の画像を生成し、表面検出部は、複数の画像から取得される標本の三次元画像をもとに標本の表面形状に関する座標を検出することにより、標本の表面形状を検出し、収差算出部は、表面検出部により検出された表面形状に関する情報と、入力部により入力された屈折率、対物レンズの光軸方向における標本の標本面の位置、および照明光学系の開口率に基づいて、収差を算出する、顕微鏡装置が提供される。また、本発明の態様に従えば、標本の表面形状を検出することと、表面形状の検出結果を使って、標本に照射される照明光の収差を算出することと、収差の算出結果に基づいて、照明光の波面を調整することと、標本からの光を検出することと、を含み、標本の表面形状の検出においては、対物レンズと標本の位置との相対位置を、対物レンズの光軸方向に変化させ、検出した標本からの光に基づいて複数の画像を生成し、複数の画像に基づき標本の表面形状に関する座標を検出することにより、標本の表面形状を検出し、収差の算出においては、検出された標本の表面形状に関する情報と、入力部により入力された屈折率、対物レンズの光軸方向における標本の標本面の位置、および照明光学系の開口率に基づいて、収差を算出する、観察方法が提供される。本発明の第１の態様に従えば、標本に照明光を照射する照明光学系と、照明光の波面を調整する波面調整部と、標本の表面形状を検出する表面検出部と、表面検出部の検出結果を使って、照明光の収差を算出する収差算出部と、収差算出部の算出結果に基づいて、波面調整部を制御する制御部と、波面調整部が制御された状態で標本からの光を検出する検出部と、を備える顕微鏡装置が提供される。

本発明の第２の態様に従えば、標本の表面形状を検出することと、表面形状の検出結果を使って、標本に照射される照明光の収差を算出することと、収差の算出結果に基づいて、照明光の波面を調整することと、照明光の波面が調整された状態で標本からの光を検出することと、を含む観察方法が提供される。

本発明によれば、照明光の収差を低減できる顕微鏡装置および観察方法を提供することができる。

本実施形態に係る顕微鏡装置を示す図である。 本実施形態に係る表面検出処理を示す図である。 本実施形態に係る収差の算出条件を示す図である。 本実施形態に係る収差算出処理を示す図である。 本実施形態に係る表面検出処理の他の例を示す図である。 本実施形態に係る収差算出処理の他の例を示す図である。 本実施形態に係る観察方法を示す図である。 本実施形態に係る収差の計算条件設定処理を示す図である。

以下、図面を参照しながら実施形態について説明する。図１は、本実施形態に係る顕微鏡装置１（顕微鏡装置システム）を示す図である。顕微鏡装置１は、照明光の照射により標本Ｓから放射される光（以下、検出光という）を検出可能であり、標本Ｓの観察などに利用される。顕微鏡装置１は、例えば、蛍光顕微鏡装置であり、検出光は蛍光、りん光などである。以下、顕微鏡装置１が走査型の共焦点蛍光顕微鏡および多光子励起蛍光顕微鏡を含むものとして説明するがこれらの顕微鏡に限られない。顕微鏡装置１は、共焦点蛍光顕微鏡および多光子励起蛍光顕微鏡以外の蛍光顕微鏡を含んでもよい。例えば、顕微鏡装置１は、STED(Stimulated emission depletion)顕微鏡などの超解像顕微鏡を含んでもよい。また、顕微鏡装置１は、蛍光顕微鏡でなくてもよく、例えば反射型共焦点顕微鏡を含んでもよい。蛍光顕微鏡以外の顕微鏡を用いる場合、検出光は、標本Ｓで反射した照明光であってもよいし、標本Ｓを透過した照明光であってもよい。また、顕微鏡装置１は、走査型の顕微鏡装置でなくてもよい。

標本Ｓは、例えば、観察対象物である生物標本（生体の組織等）を含んでいてもよいし、生物標本以外（ＩＣウェハ等）を含んでいてもよい。標本Ｓは、観察対象物を保持する保持部材（例、カバーガラス、シャーレ）を含んでいてもよく、標本Ｓの表面は、この保持部材の表面であってもよい。

顕微鏡装置１は、ステージ２と、光源部３と、照明光学系４と、波面調整部５と、第１検出部６と、第２検出部７と、表面検出部８と、収差算出部９と、制御部１０と、表示部１１と、入力部１２と、記憶部１３とを備える。

顕微鏡装置１の各部は、概略すると以下のように動作する。照明光学系４は、光源部３から発せられた照明光を、ステージ２上の標本Ｓに照明光を照射する。波面調整部５は、照明光の波面を調整する。表面検出部８は、標本Ｓからの光を検出した結果をもとに、標本Ｓの表面形状を検出（抽出）する。収差算出部９は、表面検出部８の検出結果を使って、照明光の収差を算出する。制御部１０は、収差算出部９の算出結果に基づいて、波面調整部５を制御する。第１検出部６又は第２検出部７は、波面調整部５により照明光の波面が調整された状態で、標本Ｓからの光を検出する。以下、顕微鏡装置１の各部について詳しく説明する。

ステージ２は、その上面２ａに標本Ｓを配置可能である。ステージ２の上面２ａは、例えば、水平方向と平行に設定される。ステージ２は、上面２ａに標本Ｓが配置された状態で、上面２ａに垂直な方向（例、鉛直方向）に移動可能である。制御部１０は、ステージ２を制御することにより、ステージ２上に配置されている標本Ｓの鉛直方向の位置を制御することができる。ステージ２は、標本Ｓを、上面２ａと平行な方向に移動可能であってもよいし、上面２ａの法線方向を軸として回転可能であってもよく、上面２ａと平行な方向を軸として回転可能であってもよい。

光源部３は、制御部１０に制御され、照明光を発生する。光源部３は、光源２０および
光強度変調器２１を備える。光源２０は、例えば、射出するレーザ光の波長が互いに異なる複数のレーザ光源を含む。光源２０は、波長が異なる複数のレーザ光を、同時又は個別に射出可能である。光源２０は、例えば、赤外光と可視光の２種類のレーザ光を射出可能である。光源２０から射出される赤外光は、例えば、標本Ｓに含まれる蛍光物質の多光子励起を誘発するパルス状の光（以下、ＩＲパルス光という）である。ＩＲパルス光は、所定の周期（例、１００フェムト秒）で射出される。光強度変調器は、例えば音響光学素子（Acousto-Optic Modulator；ＡＯＭ）である。光強度変調器２１は、光源２０からの照明光が入射する位置に配置されている。光強度変調器２１は、通過する照明光の強度を０％以上１００％以下の間で変化させる。

照明光学系４は、光源部３からの照明光を、波面調整部５を介して標本Ｓへ導く。照明光学系４は、光源部３側から波面調整部５側に向かう順に、複数のミラー２２、ダイクロイックミラー２３、走査部２４、及びレンズ２５を備える。複数のミラー２２は、例えば折り曲げミラーであり、光源部３の光強度変調器２１を透過したレーザ光をダイクロイックミラー２３へ導く。ダイクロイックミラー２３は、光源部３からの照明光が透過し、標本Ｓからの検出光が透過する特性を有する。走査部２４は、例えばガルバノミラーを含み、ダイクロイックミラー２３からの照明光を反射により偏向する。走査部２４の反射面は、例えば、その少なくとも一部が対物レンズ４３の瞳面（後側焦平面）Ｐ０と光学的に共役な瞳共役面Ｐ１に配置される。制御部１０は、走査部２４を制御することによって、走査部２４から射出される照明光の向きを制御する。

波面調整部５は、光源部３側から標本Ｓ側に向かう順に、レンズ２６、ミラー２７、波面調整素子２８、レンズ２９、ミラー３０、及びミラー３１を備える。なお、波面調整部５の少なくとも一部は、照明光学系４に含まれていてもよい。レンズ２６は、レンズ２５からの照明光が入射する位置に配置される。レンズ２５およびレンズ２６は、例えば、瞳面Ｐ０と光学的に共役な瞳共役面Ｐ２を形成する。ミラー２７は、レンズ２６からの照明光を波面調整素子２８へ導く。

波面調整素子２８は、入射した光の波面を調整（変化）させることができる。波面調整素子２８は、球面収差やコマ収差等の各種光学収差に対応するツェルニケ（Zernike）多項式の各項の係数の値を決定、設定、実現することが可能である。波面調整素子２８は、ツェルニケ（Zernike）係数で表される収差量を決定、設定、実現することが可能である。波面調整素子２８は、ツェルニケ(Zernike)多項式の係数を設定することで、その係数に相当する位相を入射した光の波面に与えることができる。ここでは、波面調整素子２８がデフォーマブルミラーであるものとして説明する。波面調整素子２８は、例えば、その反射面の少なくとも一部が瞳共役面Ｐ２（対物レンズ４３の後側焦点位置と共役な位置）またはその近傍に配置される。なお、波面調整素子２８は、反射型または透過型の液晶素子などの空間光変調素子であってもよい。波面調整素子２８が液晶素子である場合に、その液晶層の少なくとも一部は、例えば瞳共役面Ｐ２またはその近傍に配置される。

なお、波面調整素子２８としてデフォーマブルミラーを用いる場合、波面調整部５には、デフォーマブルミラーの形状をモニタするモニタ装置３４が設けられる。モニタ装置３４は、照明光がデフォーマブルミラーに照射されている間に、デフォーマブルミラーに参照光を照射する。モニタ装置３４は、例えば、参照レーザ装置３５、光ファイバ３６、ハーフミラー３７、ミラー３８、リレーレンズ３９、及び波面センサ４０を備える。

参照レーザ装置３５からの参照光は、光ファイバ３６を介して、ハーフミラー３７に入射する。ハーフミラー３７で反射した参照光は、デフォーマブルミラー（波面調整素子２８の反射面）に法線方向から入射する。デフォーマブルミラーで反射した参照光の一部は、ハーフミラー３７を通ってミラー３８で反射し、リレーレンズ３９を通って波面センサ４０に入射する。

波面センサ４０は、例えば、シャックハルトマン方式、干渉方式で参照光の波面の状態を検出する。制御部１０は、波面センサ４０の検出結果をもとに、デフォーマブルミラーの形状が目標の形状に近づくように、デフォーマブルミラーをフィードバック制御する。これらの一連のプロセスは、例えば、文献「Adaptive control of a micromachined continuous-membrane deformable mirror for aberration compensation(APPLIED OPTICS y Vol. 38, No. 1 y 1 January 1999),Methods for the characterization of deformable membrane mirrors(August 2005 Vol.44, No. 24 APPLIED OPTICS)」に記載されている手法を適用したものでよい。また、デフォーマブルミラーに対する制御はオープン制御でもよい。

波面調整素子２８で反射した照明光は、レンズ２９を通ってミラー３０で反射した後、ミラー３１で反射する。ミラー３１で反射した照明光は、照明光学系４のうち波面調整部５よりも標本Ｓ側に配置されている光学系に入射する。この光学系（照明光学系４）は、波面調整部５から標本Ｓに向かう順に、レンズ４１、ダイクロイックミラー４２、及び対物レンズ４３を備える。波面調整部５のミラー３１で反射した照明光は、レンズ４１に入射する。波面調整部５のレンズ２９、及びレンズ４１は、例えば、対物レンズ４３の瞳面Ｐ０と瞳共役面Ｐ２とを光学的に共役にする。レンズ４１からの照明光は、対物レンズ４３を介して標本Ｓに照射される。ダイクロイックミラー４２は、レンズ４１と対物レンズ４３との間の光路に挿脱可能である。ダイクロイックミラー４２は、照明光が透過し、検出光のうち、第２検出部７で検出するための光（例、蛍光、多光子励起による第２次高調波）を反射する特性を有する。

第１検出部６は、例えば、共焦点法（ピンホールを介して検出器で検出する方法）により検出光を検出する。第１検出部６は、例えば、標本Ｓでの反射光を検出する反射型共焦点顕微鏡であるが、標本Ｓからの蛍光を検出する共焦点顕微鏡でもよい。第１検出部６は、照明光学系４のうちダイクロイックミラー２３から標本Ｓまでの光路に配置される構成要素を、照明光学系４と共用している。標本Ｓからの検出光（例、蛍光）は、照明光と同じ光路を逆に進行してダイクロイックミラー２３に入射し、ダイクロイックミラー２３を透過する。第１検出部６は、ダイクロイックミラー２３に対する検出光の透過側に、レンズ５０、遮光部材５１、レンズ５２、ミラー５３、レンズ５４、及び光ファイバ５５を備える。

ダイクロイックミラー２３を透過した検出光は、レンズ５０を通って遮光部材５１に入射する。遮光部材５１は、対物レンズ４３の前側焦点面と共役な位置に配置されている。遮光部材５１は、レンズ５０の焦点位置近傍にピンホール５１ａを有する。標本Ｓのうち対物レンズ４３の焦点位置から外れた部分からの検出光は、遮光部材５１によって遮られる。標本Ｓのうち対物レンズ４３の焦点位置に配置されている部分からの検出光は、ピンホール５１ａを通ってレンズ５２に入射した後、ミラー５３で反射してレンズ５４に入射する。レンズ５４からの検出光は、光ファイバ５５によって導かれる。

第１検出部６は、光ファイバ５５における検出光の射出側に、レンズ５６、ダイクロイックミラー５７、レンズ５８、光検出器５９、レンズ６０、及び光検出器６１を備える。光ファイバ５５からの検出光は、レンズ５６を通ってダイクロイックミラー５７に入射する。ダイクロイックミラー５７は、第１波長帯の光が透過し、第２波長帯の光が反射する特性を有する。検出光のうち第１波長帯の光は、ダイクロイックミラー５７を透過し、レンズ５８を通って光検出器５９に入射する。光検出器５９は、例えば光電子倍増管（Photo Multiplier Tube；ＰＭＴ）を含む。

光検出器５９の検出結果を用いると、標本Ｓからの第１波長帯の光に応じた標本面の二次元画像を生成することができる。例えば、光検出器５９の出力値を階調値で表し、この階調値を、標本Ｓ上の照明光の入射位置と関連付けて配列することにより、二次元画像が得られる。なお、標本Ｓ上の照明光の入射位置は、走査部２４による照明光の偏向方向により定まり、制御部１０による走査部２４の制御情報から得られる。第１検出部がＰＭＴを含む場合、ＰＭＴの出力を画像形式に変換する変換部は、第１検出部６に設けられていてもよいし、制御部１０に設けられていてもよい。例えば、制御部１０は、光検出器５９の出力値を取得し、この出力値および走査部２４の制御情報を用いて、光検出器５９の出力結果を画像形式に変換してもよい。

なお、第１検出部６は、例えば、ＰＭＴの代わりにＣＣＤセンサやＣＭＯＳセンサなどのイメージセンサを含んでいてもよい。また、検出光が照明光と同じ波長帯である場合、ダイクロイックミラー２３の代わりにハーフミラーを用いればよい。また、検出光が照明光の第２高調波である場合、ダイクロイックミラー２３として、照明光が反射し、かつ照明光の第２高調波が透過する特性のものを用いて、対物レンズ４３とレンズ４１との間の光路からダイクロイックミラー４２を退避させておけばよい。

検出光のうち第２波長帯の光は、ダイクロイックミラー５７で反射し、レンズ６０を通って光検出器６１に入射する。光検出器６１は、例えば光検出器５９と同様にして、第２波長帯の光を検出する。光検出器６１の検出結果を用いると、標本Ｓからの第２波長帯の光に応じた標本面の二次元画像を生成することができる。

第２検出部７は、例えば２光子励起顕微鏡などの多光子励起顕微鏡である。第２検出部７は、標本Ｓからの検出光のうちダイクロイックミラー４２で反射した光を検出する。第２検出部７は、ダイクロイックミラー４２に対する検出光の反射側に、レンズ６５、ダイクロイックミラー６６、レンズ６７、光検出器６８、レンズ６９、及び光検出器７０を備える。ダイクロイックミラー４２で反射した検出光は、レンズ６５を通ってダイクロイックミラー６６に入射する。ダイクロイックミラー６６は、第３波長帯の光が透過し、第４波長帯の光が反射する特性を有する。検出光のうち第３波長帯の光は、ダイクロイックミラー６６を透過し、レンズ６７を通って光検出器６８に入射する。

光検出器６８は、例えば第１検出部６の光検出器５９と同様にして、第３波長帯の光を検出する。光検出器６８の検出結果を用いると、標本Ｓからの第３波長帯の光に応じた標本面の二次元画像を生成することができる。検出光のうち第４波長帯の光は、ダイクロイックミラー６６で反射し、レンズ６９を通って光検出器７０に入射する。光検出器７０は、例えば第１検出部６の光検出器５９と同様にして、第４波長帯の光を検出する。光検出器７０の検出結果を用いると、標本Ｓからの第４波長帯の光に応じた標本面の二次元画像を生成することができる。

制御部１０は、顕微鏡装置１の各部を制御する。制御部１０は、例えば、メモリおよびＣＰＵを有するコンピュータシステムにより構成される。表示部１１、入力部１２、及び記憶部１３は、それぞれ、制御部１０と接続されている。表示部１１は、例えば、制御部１０から供給される画像のデータにより、画像を表示する。制御部１０は、例えば、取得した標本の画像のデータ、顕微鏡装置１の設定情報を示す画像のデータなどを表示部１１に供給する。入力部１２は、例えば、顕微鏡装置１の動作を指令する入力、顕微鏡装置１の設定を指定する入力などを受け付ける。入力部１２は、例えばオペレータからの入力を制御部１０に供給する。記憶部１３は、例えば、取得した標本の画像のデータ、顕微鏡装置１の設定情報などを記憶する。

次に、照明光の収差の補正に係る構成について説明する。本実施形態において、制御部１０には、表面検出部８および収差算出部９が組み込まれている。表面検出部８は、例えば第１検出部６の検出結果を使って、標本Ｓの表面形状を検出する。収差算出部９は、表面検出部の検出結果を使って、照明光の収差を算出する。

図２は、本実施形態に係る表面検出処理を示す図である。図２において、Ｚ方向は、対物レンズ４３の光射出側の光軸と平行な方向であり、例えば、鉛直方向に設定される。また、Ｘ方向は、Ｚ方向に垂直な方向であり、例えば水平方向の任意の方向に設定される。Ｙ方向は、Ｚ方向およびＸ方向のそれぞれに垂直な方向である。ここでは、標本Ｓの表面が上に凸の曲面であるものとする。

制御部１０は、表面検出処理において、対物レンズ４３（図１参照）の焦点面と標本Ｓとの相対位置を、対物レンズ４３の光軸と平行な方向に変化させながら、標本Ｓの二次元画像を取得する。例えば、制御部１０は、ステージ２を制御して標本Ｓの位置を変化させながら、第１検出部６に標本Ｓからの光を検出させ、標本Ｓの二次元画像を取得する。これにより、図２（Ａ）に示すように、複数の画像ＰＺ１〜ＰＺ５が得られる。

なお、表面検出処理における照明光の波長帯は、標本Ｓの蛍光観察時と同じであってもよいし、例えば標本Ｓに対するダメージが少ない波長帯に設定されていてもよい。例えば、表面検出処理における照明光の波長帯は、標本Ｓの観察時における照明光の波長帯よりも長波長に設定されていてもよい。また、標本Ｓが蛍光物質を含む場合、表面検出処理における照明光の波長帯は、蛍光物質の活性化波長または励起波長を外して設定されていてもよい。

表面検出部８は、例えば、標本Ｓの画像に基づいて、標本Ｓの表面を検出する。例えば、表面検出部８は、図２（Ｂ）に示すように、複数の画像ＰＺ１〜ＰＺ５をそれぞれ二値化し、各画像における標本Ｓの表面（例、外縁Ｓｅ（エッジ）を検出する。二値化の基準になる閾値は、シグナルとノイズを分離できるように設定される。例えば、同じ環境で標本が無い状態の信号（例、光検出器５９の出力）を予め取得しておき、その値を閾値として設定してもよい。第１検出部６は、共焦点法により標本Ｓからの検出光を検出するので、標本Ｓのうち対物レンズ４３の焦点面に配置されている部分のコントラストが高く、標本Ｓのエッジを精度よく検出することができる。

複数の画像ＰＺ１〜ＰＺ２のそれぞれにおいて検出された標本Ｓのエッジは、各画像を取得した際の対物レンズ４３の標本面における標本Ｓのエッジに相当する。表面検出部８は、例えば、画像ＰＺ１における標本Ｓのエッジの検出結果をもとに、標本ＳのエッジのＸ方向の座標およびＹ方向の座標と、画像ＰＺ１の元になる光を検出した際の標本ＳのＺ方向の座標とを関連付ける。表面検出部８は、他の画像についても同様に、標本Ｓのエッジの座標とＺ方向の座標とを関連付けことにより、標本Ｓの表面上の複数の点の３次元座標を含む表面データを生成する。

なお、表面検出部８は、図２（Ｃ）に示すように、標本Ｓの表面上の複数の点の三次元座標をもとに、標本Ｓの高さの分布を示す分布図Ｉｍ１を生成することができる。また、表面検出部８は、図２（Ｄ）に示すように、標本Ｓの表面上の複数の点の三次元座標をもとに、標本Ｓの表面形状を示す斜視図Ｉｍ２を生成してもよい。制御部１０は、分布図Ｉｍ１を示す画像、斜視図Ｉｍ２を示す画像を、表示部１１（図１参照）に表示させることができる。

なお、本実施形態において、表面検出部８は、第１検出部６の検出結果を利用して標本Ｓの表面を検出するが、他の検出部（例、第２検出部７）の検出結果を利用して標本Ｓの表面を検出してもよい。また、表面検出部８は、標本Ｓの観察（例、蛍光観察）に用いない検出部の検出結果を利用して、標本Ｓの表面を検出してもよい。また、標本Ｓの表面を検出する手法に限定はなく、例えば、表面検出部８は、標本Ｓの画像を二値化しないで標本Ｓの表面を検出してもよい。

図３は、本実施形態に係る収差の算出条件を示す図である。収差算出部９は、例えば、照明光学系４における複数の位置それぞれから標本Ｓに向かう光線を追跡し、照明光の収差を算出する。例えば、収差算出部９は、理想球面ＩＳから対物レンズ４３の焦点４３ａに向かう複数の光線を追跡し、収差を算出する。理想球面ＩＳは、対物レンズ４３の光射出側の端面と、対物レンズ４３の焦点面４３ｂとの間に設定される仮想的な面である。理想球面ＩＳは、焦点４３ａを中心とする球面の一部である。理想球面ＩＳを出発点とする光線追跡を行う場合、標本Ｓの表面で生じる収差を、照明光学系４で発生する収差と分離して算出することができる。そのため、計算負荷を低減することができ、例えば計算時間を短縮することができる。

なお、収差算出部９は、照明光学系４内の光路に設定される任意の面を出発点とする光線追跡を行ってもよい。例えば、収差算出部９は、波面調整素子２８を出発点とする光線追跡を行ってもよい。また、収差算出部９は、瞳面Ｐ０を出発点とする光線追跡を行ってもよいし、瞳共役面Ｐ２を出発点とする光線追跡を行ってもよい。収差算出部９は、照明光学系４において波面調整部５（波面調整素子２８）と共役な複数の位置それぞれから標本Ｓに向かう光線を追跡し、照明光の収差を算出してもよい。

図４は、本実施形態に係る収差算出処理を示す図である。光線追跡においては、例えば、理想球面ＩＳから出た光線Ｂについて、標本Ｓの表面Ｓａで屈折しないと仮定した場合の理想光線Ｂ１と、標本Ｓの表面Ｓａで屈折する場合の光線Ｂ２との光路長のずれを算出する。ここで、焦点４３ａに向かう光線がＺ方向（対物レンズ４３の光軸）となす角度θは、標本Ｓの表面Ｓａで屈折しないと仮定した場合の理想光線の焦点面４３ｂに対する入射角であり、以下の説明において方位角θという。方位角θの最大値は、照明光学系４の開口数（ＮＡ）により定まる。収差算出部９は、例えば、方位角θが最大値以下の範囲において光線追跡を行う。

収差算出部９は、例えばオペレータに指定される計算条件の設定に従って、複数のグリッドＧｒを設定する。グリッドＧｒは、例えば、ＸＺ平面に平行な面と理想球面ＩＳとが交わるグリッド線ＧＬｘ（図４（Ｂ）に示す）と、ＹＺ平面に平行な面と理想球面ＩＳとが交わるグリッド線ＧＬｙ（図４（Ｂ）に示す）との交点（格子点）である。なお、図４（Ａ）には、ＸＺ平面上でのグリッドＧｒを図示したが、図４（Ｂ）に示すように、複数のグリッドＧｒは、ＸＺ平面と垂直な方向にも設定されている。複数のグリッドＧｒの配置は、Ｘ方向およびＹ方向に等間隔であってもよいし、Ｘ方向とＹ方向の少なくとも一方において粗密を有していてもよい。

また、収差算出部９は、光線Ｂの方向ベクトルを算出する。光線Ｂの方向ベクトルは、理想球面ＩＳ上のグリッドＧｒと焦点４３ａを結ぶ方向である。収差算出部９は、光線Ｂと標本Ｓの表面Ｓａとの交点Ｓｂを算出する。表面検出部８が生成した表面データが複数の点の座標で表される場合、収差算出部９は、表面データに含まれる複数の点のうち光線Ｂに最も近い点を抽出し、この点を交点Ｓｂとする。そして、収差算出部９は、交点Ｓｂにおける表面Ｓａの法線ベクトルを求める。なお、収差算出部９は、表面データに含まれる複数の点のうち光線Ｂに近い方から３点を抽出し、この３点により定まる平面の法線方向をＳｂにおける表面Ｓａの法線ベクトルとしてもよい。

次に、収差算出部９は、光線Ｂの方向ベクトル、交点Ｓｂにおける法線ベクトル、標本Ｓの表面Ｓａに対して理想球面ＩＳ側の屈折率、及び標本Ｓの屈折率を用いて、表面Ｓａで屈折した光線Ｂ２の方向ベクトルを算出する。表面Ｓａに対して理想球面ＩＳ側の屈折率は、例えば、浸液を用いた観察においては浸液の屈折率であり、雰囲気ガスを介した観察においては雰囲気ガスの屈折率である。標本Ｓの屈折率は、例えば、標本Ｓと同様の組成物に対して測定した測定値であってもよいし、標本Ｓの組成に応じた推定値であってもよい。

また、収差算出部９は、焦点４３ａと表面Ｓｂとの間の光線Ｂ１の光路長と、焦点４３ａから光線Ｂ２に引いた垂線と光線Ｂ２との交点Ｂ２ａと表面Ｓｂとの間の光線Ｂ２の光路長との差を算出する。このようにして、１本の光線に関する収差が算出される。各グリッドＧｒからの光線に対して同様に収差を算出することによって、波面が得られる。なお、収差算出部９は、図４（Ｃ）に示すように、算出した収差をもとに、波面図Ｉｍ３を生成することができる。制御部１０は、波面図Ｉｍ３を示す画像を表示部１１（図１参照）に表示させることができる。

ところで、対物レンズ４３の焦点４３ａに対する方位角が大きい光線であるほど（ＮＡが大きいほど）、収差が非線形的に大きくなる。そのため、ＸＹ平面と平行な方向において対物レンズ４３の光軸から離れるにつれてグリッドＧｒが密に配置されている場合、収差分布を精度よく解像できる。このように、グリッドＧｒ（複数の位置）は、照明光学系４の光軸から離れるにつれて密になるように配置されてもよい。

収差算出部９は、例えば、算出した収差に基づいて波面を算出する。例えば、収差算出部９は、得られた波面を、瞳面Ｐ０における波面に変換し、変換した波面に基づいて、瞳共役面Ｐ２に配置されている、波面調整素子２８における補正量を算出する。例えば、理想球面ＩＳが、焦点４３ａを中心とする半径ａの球であり、瞳面Ｐ０における理想球面ＩＳが、焦点４３ａを中心とする半径ｂの球であった場合、得られた波面のｘ座標、ｙ座標をｂ／ａ倍することにより、瞳面Ｐ０における波面に変換することができる。また、理想球面ＩＳを、予め、瞳面Ｐ０上における理想球面としてもよい。収差算出部９は、例えば、算出した収差に基づいてツェルニケ係数を算出する。例えば、収差算出部９は、得られた波面をもとに、標本Ｓの表面Ｓａでの屈折により発生する収差を表す情報として、ツェルニケ多項式の各項の係数の値を算出する。

図５は、本実施形態に係る表面検出処理の他の例を示す図である。図５において、標本Ｓの表面は、Ｚ方向に対して傾いた平面であるものとする。例えば、標本Ｓが生物の組織と組織を覆うカバーガラスを含む場合、標本Ｓの表面Ｓａはカバーガラスの表面となり、ほぼ平面とみなせる場合がある。

制御部１０は、対物レンズ４３の焦点面と標本Ｓとの相対位置を、対物レンズ４３の光軸と平行な方向に変化させながら、図５（Ａ）に示すように、複数の画像ＰＺ１〜ＰＺ５を取得する。なお、上述のように表面Ｓａが平面状であることが予め分かっている場合、標本Ｓの表面の検出に必要とされる画像の数を減らすことができる。例えば、制御部１０は、オペレータに標本Ｓの表面が平面状であることを指定された場合、表面検出処理で取得する画像の数を、表面の形状が指定されていない場合よりも少ない値に設定することもできる。

表面検出部８は、図５（Ｂ）に示すように、複数の画像ＰＺ１〜ＰＺ５をそれぞれ二値化し、各画像における標本Ｓのエッジを検出する。表面検出部８は、標本Ｓのエッジの座標とＺ方向の座標とを関連付けことにより、標本Ｓの表面上の複数の点の３次元座標を求め、近似法などにより標本Ｓの表面形状を表す数式の係数を算出する。図５においては、標本Ｓの表面が平面状であるので、表面形状を表す数式はＡＸ＋ＢＹ＋ＣＺ＝Ｄで表される。表面形状を表す数式は、例えば球面などの曲面を表す数式であってもよい。また、表面検出部８は、表面形状の一部を数式で近似してもよい。表面検出部８は、表面形状の一部を平面で近似し、表面形状の他の一部を曲面で近似してもよい。顕微鏡装置１は、表面形状を数式で表すか否かの設定、表面形状を数式で表す際の関数形の設定などを、予め定めておくこともできるし、オペレータの指定により更新することもできる。

なお、表面検出部８は、図５（Ｃ）に示すように、標本Ｓの高さの分布を示す分布図Ｉｍ１を生成することができる。また、表面検出部８は、図４（Ｄ）に示すように、標本Ｓの表面形状を示す斜視図Ｉｍ２を生成することができる。表面検出部８は、例えば表面形状を表す数式を用いて、分布図Ｉｍ１や斜視図Ｉｍ２を生成してもよい。

図６は、図５に示した表面検出処理に対応する収差算出処理を示す図である。収差算出部９は、光線Ｂの方向ベクトルを算出し、光線Ｂと標本Ｓの表面Ｓａとの交点Ｓｂを算出する。標本Ｓの表面形状が数式で表されている場合、交点Ｓｂの算出に要する計算負荷を減らすことができる。また、収差算出部９は、交点Ｓｂにおける法線ベクトルを算出する。標本Ｓの表面形状が数式で表されている場合、交点Ｓｂにおける法線ベクトルの算出に要する計算負荷を減らすことができる。例えば、表面Ｓａが平面として数式で表されている場合、法線ベクトルは、交点Ｓｂの位置に依らずに一定であるため、計算負荷が非常に少ない。

また、収差算出部９は、光線Ｂの方向ベクトル、Ｓｂにおける法線ベクトル、標本Ｓの表面Ｓｂに対して理想球面ＩＳ側の屈折率、及び標本Ｓの屈折率を用いて、表面Ｓａで屈折した光線Ｂ２の方向ベクトルを算出する。そして、図４を参照して説明したように、収差算出部９は、光線Ｂ１と光線Ｂ２との光路長の差を算出する。収差算出部９は、各グリッドＧｒにおいて、上述した光路長の差を算出することにより、波面を求める。収差算出部９は、得られた波面をもとにツェルニケ係数を算出する。なお、収差算出部９は、図６（Ｂ）に示すように、算出した収差をもとに、波面図Ｉｍ３を生成することができる。

制御部１０は、上述した収差算出部９の算出結果に基づいて、波面調整部５を制御する。制御部１０は、波面調整素子２８に対して、補正対象の光学収差に対応するツェルニケ多項式の各項の係数を選択し、各項の係数の最適値を実現する制御パラメータによって波面調整素子２８を制御する。なお、ツェルニケ多項式のいずれの項に対応する収差を補正するかは、適宜設定できる。例えば、ツェルニケ多項式の１項から４項（Ｚ（１）〜Ｚ（４））の係数（ツェルニケ係数）に応じた収差は、ステージ２を移動することなどで補正できるため、波面調整素子２８による補正を行わなくてもよい。また、例えば図６に示したように標本Ｓの表面Ｓａが傾いている場合、ツェルニケ多項式の１項から４項（Ｚ（１）〜Ｚ（４））の係数（ツェルニケ係数）に応じた収差を補正することにより、ステージ２の移動による補正を省略あるいは簡略化することもできる。また、例えば、ツェルニケ多項式の１６以上の項の係数（ツェルニケ係数）に応じた収差は、波面調整素子で補正しなくてもよい。つまり、ツェルニケ多項式の項の係数の一部に応じた収差は、波面調整素子２８により補正されなくてもよい。なお、収差算出部９は、波面調整素子２８により補正しない収差に対応するツェルニケ係数を算出しなくてもよい。

なお、顕微鏡装置１によりタイムラプス測定を行う場合、検出部（例、第１検出部６、第２検出部７）は、標本Ｓからの光を第１の時間間隔で検出する。また、表面検出部８は、第２の時間間隔で標本Ｓの表面形状を検出する。例えば、表面検出部８は、検出部が蛍光を検出してから次に蛍光を検出するまでの間に、標本Ｓの表面形状の少なくとも一部を検出してもよい。例えば、制御部１０は、検出部に標本Ｓからの蛍光を検出させ、次に検出部に標本Ｓからの蛍光を検出させるまでの間に、表面検出部８に標本Ｓの表面形状を検出させてもよい。

次に、上述のような顕微鏡装置１の動作に基づき、本実施形態に係る観察方法について説明する。ここでは、一例として、標本Ｓの表面形状を、共焦点観察により抽出し、標本Ｓの観察を多光子蛍光観察（特に２光子蛍光観察）で行う場合について説明する。図７は、本実施形態に係る観察方法を示す図である。

標本Ｓの多光子蛍光観察に先立ち、制御部１０は、共焦点観察で、ステップＳ１において標本Ｓの三次元画像を取得させる。例えば、制御部１０は、ステージ２および対物レンズ４３の少なくとも一方をＺ方向（光軸方向）に移動させながら、第１検出部６によって標本Ｓの複数の画像を取得させる（図２（Ａ）参照）。Ｚ方向の位置が異なる複数の画像を取得することにより、標本の三次元画像が得られる。そして、表面検出部８は、ステップＳ２において、標本Ｓの三次元画像をもとに標本Ｓの表面形状を抽出する（図２（Ｂ）参照）。

ステップＳ３において、制御部１０（例、表面検出部８）は、表面形状を数式化する処理（数式化処理）を実行するか否かを判定する。例えば、制御部１０は、図１に示した表示部１１に、数式化処理を実行するか否かをオペレータに求める画像を表示し、オペレータから入力部１２に入力された指令に応じて、数式化処理を実行するか否かを判定する。なお、数式化処理を実行するか否かを示す設定情報が記憶部１３などに記憶されており、制御部１０は、この設定情報に従って判定してもよい。

表面検出部８は、数式化処理を実行すると判定された場合（ステップＳ３；Ｙｅｓ）、ステップＳ４において表面形状を表す数式を算出する。制御部１０は、ステップＳ４の処理後、又は数式化処理を実行しないと判定された場合（ステップＳ３；Ｎ０）、ステップＳ５において収差の計算条件を設定する。

図８は、本実施形態に係る計算条件設定処理を示す図である。制御部１０は、計算条件設定処理において、例えば図８に示すような設定ウィンドウＩｍ４（グラフィカルユーザーインターフェース）を表示部１１に表示させる。設定ウィンドウＩｍ４は、例えば、グリッド刻みの設定値を示す窓Ｗ１、標本Ｓと対物レンズ４３との間の屈折率１の設定値を示す窓Ｗ２、標本Ｓの屈折率２の設定値を示す窓Ｗ３、Ｚ方向における標本面の位置の設定値を示す窓Ｗ４、照明光学系４のＮＡの設定値を示す窓Ｗ５を含む。

グリッド刻みの設定値は、例えば、Ｘ方向およびＹ方向のそれぞれにおけるグリッド（図４に示したグリッドＧｒ）の数である。屈折率１の設定値は、浸液を介して観察を行う場合、浸液の屈折率に設定され、雰囲気ガスを介して観察を行う場合、雰囲気ガスの屈折率に設定される。屈折率２の設定値は、例えば、標本Ｓの組成に応じた推定値、または測定値が用いられる。オペレータは、例えば、変更する設定値がある場合、入力部１２を操作することにより、項目を選択して設定値を入力することができる。

また、設定ウィンドウＩｍ４は、表面検出部８が検出した標本Ｓの表面形状を表示する窓Ｗ６、及び波面の情報を示す窓Ｗ７を含む。窓Ｗ６には、例えばオペレータの指令により、図２（Ｃ）に示した標本Ｓの高さの分布を示す分布図Ｉｍ１を表示することもできるし、図２（Ｄ）に示した標本Ｓの斜視図を表示することもできる。窓Ｗ７には、例えば、収差算出処理前にグリッド刻みに応じた計算メッシュＭを表示され、収差算出処理後に、得られた波面図が表示される。なお、窓Ｗ７に計算メッシュＭを表示するか否か、波面図を表示するか否かは、オペレータの指令により切替可能である。表示部１１は、例えば、算出（検出）された表面形状と波面との少なくとも一方を表示する。

また、設定ウィンドウＩｍ４は、収差算出処理後に、算出されたツェルニケ係数が表示される窓Ｗ８を含む。ここでは、ｎ次のツェルニケ係数をｚ（ｎ）で表され、図８の例では、各項のツェルニケ係数（ｚ（１）〜ｚ（１５））を示す窓が設けられている。なお、オペレータは、ツェルニケ係数のうち算出の対象とする項を、設定ウィンドウＩｍ４を利用して設定することもできる。

図７の説明に戻り、ステップＳ６において、収差算出部９は、ステップＳ５において設定された計算条件に従って収差を算出し、収差の補正に必要とされるツェルニケ係数を求める。また、ステップＳ７において、制御部１０は、収差算出部９が算出したツェルニケ係数に基づいて、標本Ｓの表面での屈折による収差の少なくとも一部を相殺するように、波面調整部５を制御する。例えば、制御部１０は、ステップＳ７において波面調整素子２８の駆動パラメータを設定することで、波面調整部５を制御する。

ステップＳ８において制御部１０は、光源部３を制御することにより、照明光学系４から標本Ｓへ照明光を照射させる。標本Ｓに含まれる蛍光物質を２光子励起するためには、例えば、超短パルス光で照射すると、励起効率を上げることができるため効率的に蛍光物質を２光子励起できる。標本Ｓに照明光が照射されると、標本Ｓに含まれる蛍光物質は、２光子励起され、蛍光を発する。この蛍光は、対物レンズ４３を通ってダイクロイックミラー４２に入射し、ダイクロイックミラー４２で反射して第２検出部７に入射する。ステップＳ９において、制御部１０は、第２検出部７を制御し、波面が調整された照明光が照射されている標本Ｓからの蛍光を検出させる。制御部１０は、例えば、第２検出部７の出力値を使って標本Ｓの蛍光像を示す画像を生成する。制御部１０は、例えば、標本Ｓの蛍光像を示す画像を表示部１１に表示させる。このように、表面検出部８は、共焦点法を用いて得られる標本Ｓの検出結果に基づいて、標本Ｓの表面形状を検出し、第２検出部７は、多光子励起顕微鏡において、標本Ｓからの光を検出してもよい。また、表面検出部８は、共焦点法を用いて得られる標本Ｓの検出結果に基づいて、標本Ｓの表面形状を検出し、検出部（例、第１検出部６）は、共焦点法を用いて、標本Ｓからの光を検出してもよい。

なお、１光子励起による蛍光観察を行う場合、顕微鏡装置１は、標本Ｓに含まれる蛍光物質の励起波長を含む波長帯の照明光を、照明光学系４から標本Ｓに照射する。また、顕微鏡装置１は、レンズ４１と対物レンズ４３との間の光路からダイクロイックミラー４２を退避させておき、標本Ｓで発生した蛍光を例えば第１検出部６により検出する。これにより、標本Ｓの蛍光像が得られる。この場合、波面調整素子２８が照明光の収差を補正するので、標本Ｓにおける蛍光の発生効率を上げることができる。また、波面調整素子２８は、標本Ｓで発生した蛍光を検出する際に発生する収差も補正すことができるので、ピンホール５１ａにおける蛍光の集光効率を上げること（遮光部材５１における蛍光のロスを減らすこと）ができる。

なお、標本ＳにおいてＺ方向の位置が異なる複数の標本面（観察対象の面）を設定する場合、収差算出部９は、各標本面に設定したときの収差を予め算出しておき、制御部１０は、波面調整素子２８の駆動パラメータを標本面ごとに設定する。なお、Ｚ方向の位置が異なる複数の標本面に対する観察を行う場合、第１標本面の観察用の収差補正量を算出しておき、第１標本面の観察の少なくとも一部と並行して、次の第２標本面の観察用の収差補正量を算出してもよい。

上述のような本実施形態に係る顕微鏡装置１は、対物レンズ４３の焦点面４３ｂにおいて照明光の収差を減らすように、照明光の波面を波面調整部５によって調整できるので、例えば焦点面からずれた位置での蛍光の発生が抑制される。そのため、標本Ｓのうち焦点面から部分からの蛍光などが、標本面からの蛍光（シグナル）に対してノイズとなることが抑制される。

また、顕微鏡装置１は、表面検出部８により標本Ｓの表面を検出し、その検出結果をもとに収差算出部９により収差を算出（推定）するので、例えば、標本Ｓの内部を観察するよりも前に、波面調整部５による調整量を決定しておくことができる。そのため、例えば、標本Ｓの内部の観察時の検出結果を利用して波面をフィードバック制御する手法と比較して、高速化すること等が可能である。また、標本面の位置を変更する場合、照明光の波長を変更する場合などにおいて、既に取得されている標本Ｓの表面形状をもとに収差を算出しておくことができるので、高速化すること等が可能である。

上述の実施形態において、制御部１０は、コンピュータシステムを含み、記憶部１３に記憶されている顕微鏡制御プログラムを読み出し、このプログラムに従って各種処理を実行する。この顕微鏡制御プログラムは、例えばコンピュータに、標本Ｓの表面形状を検出することと、表面形状の検出結果を使って、標本に照射される照明光の収差を算出することと、収差の算出結果に基づいて、照明光の波面を調整することと、照明光の波面が調整された状態で前記標本を撮像することと、を実行させるプログラムである。このプログラムは、コンピュータ読み取り可能な記録媒体に記録されていてもよい。

なお、本発明の技術範囲は、上記の実施形態に限定されるものではない。例えば、上記の実施形態で説明した要件の１つ以上は、省略されることがある。また、上記の実施形態で説明した要件は、適宜組み合わせることができる。

１ 顕微鏡装置、４ 照明光学系、５ 波面調整部、８ 表面検出部、９ 収差算出部、１０ 制御部、Ｓ 標本

Claims (13)

1. 対物レンズを有し、標本に照明光を照射する照明光学系と、
   前記照明光の波面を調整する波面調整部と、
   前記標本からの光を検出する検出部と、
   前記検出部からの光に基づいて生成される前記標本の三次元画像に基づいて、前記標本の表面形状を検出する表面検出部と、
   前記表面検出部の検出結果を使って、前記照明光の収差を算出する収差算出部と、
   前記収差算出部の算出結果に基づいて、前記波面調整部を制御する制御部と、を備え、
   前記制御部は、前記対物レンズと前記標本の位置との相対位置を、前記対物レンズの光軸方向に変化させ、前記検出部からの光に基づいて複数の画像を生成し、
   前記表面検出部は、前記複数の画像から取得される前記標本の三次元画像をもとに前記標本の表面形状に関する座標を検出することにより、前記標本の表面形状を検出し、
   前記収差算出部は、前記表面検出部により検出された表面形状に関する情報と、入力部により入力された屈折率、前記対物レンズの光軸方向における前記標本の標本面の位置、および前記照明光学系の開口率に基づいて、前記収差を算出する、顕微鏡装置。
2. 前記収差算出部は、前記算出した収差に基づいて波面に関する情報を算出し、
   前記制御部は、収差を算出するためのパラメータ入力を受け付けるパラメータ入力受付部および前記収差算出部により算出された波面に関する情報を出力する情報出力部を有するＧＵＩ画面を表示部に表示させる、請求項１に記載の顕微鏡装置。
3. 前記収差算出部は、前記照明光学系における複数の位置それぞれから前記標本に向かう光線を追跡し、前記照明光の収差を算出する、請求項１または請求項２に記載の顕微鏡装置。
4. 前記複数の位置は、前記波面調整部と共役な位置である、請求項３に記載の顕微鏡装置。
5. 前記収差算出部は、前記表面検出部の検出結果から算出される前記標本の表面形状を表す数式をもとに、前記収差を算出する、請求項１から請求項４のいずれか一項に記載の顕微鏡装置。
6. 前記波面調整部は、前記対物レンズの後側焦点位置と共役な位置に配置される、請求項１から請求項５のいずれか一項に記載の顕微鏡装置。
7. 前記収差算出部は、前記算出した収差に基づいてツェルニケ係数を算出する、請求項１から請求項６のいずれか一項に記載の顕微鏡装置。
8. 前記収差算出部は、前記算出した収差に基づいて波面を算出する、請求項１から請求項７のいずれか一項に記載の顕微鏡装置。
9. 前記検出部は、第１の時間間隔で光を検出し、
   前記表面検出部は、第２の時間間隔で前記標本の表面形状を検出する、請求項１から請求項８のいずれか一項に記載の顕微鏡装置。
10. 前記表面検出部は、共焦点法を用いて得られる前記標本の検出結果に基づいて、前記標本の表面形状を検出し、
    前記検出部は、多光子励起顕微鏡において、前記標本からの光を検出する、請求項１から請求項９のいずれか一項に記載の顕微鏡装置。
11. 前記表面検出部は、共焦点法を用いて得られる前記標本の検出結果に基づいて、前記標本の表面形状を検出し、
    前記検出部は、前記共焦点法を用いて、前記標本からの光を検出する、請求項１から請求項９のいずれか一項に記載の顕微鏡装置。
12. 前記表面検出部は、前記標本を撮像した画像を二値化し、前記標本の表面形状を検出する、請求項１から請求項１１のいずれか一項に記載の顕微鏡装置。
13. 標本の表面形状を検出することと、
    前記表面形状の検出結果を使って、前記標本に照射される照明光の収差を算出することと、
    前記収差の算出結果に基づいて、前記照明光の波面を調整することと、
    前記標本からの光を検出することと、を含み、
    前記標本の表面形状の検出においては、対物レンズと前記標本の位置との相対位置を、前記対物レンズの光軸方向に変化させ、前記検出した前記標本からの光に基づいて複数の画像を生成し、
    前記複数の画像に基づき前記標本の表面形状に関する座標を検出することにより、前記標本の表面形状を検出し、
    前記収差の算出においては、検出された前記標本の表面形状に関する情報と、入力部により入力された屈折率、前記対物レンズの光軸方向における前記標本の標本面の位置、および照明光学系の開口率に基づいて、前記収差を算出する、観察方法。