JP5202936B2

JP5202936B2 - 走査型顕微鏡

Info

Publication number: JP5202936B2
Application number: JP2007323588A
Authority: JP
Inventors: 光裕中野
Original assignee: Olympus Corp
Current assignee: Olympus Corp
Priority date: 2007-12-14
Filing date: 2007-12-14
Publication date: 2013-06-05
Anticipated expiration: 2027-12-14
Also published as: US7982948B2; EP2071381A1; JP2009145680A; US20090153955A1; EP2071381B1

Description

本発明は、走査型顕微鏡に関するものである。

従来、長時間観察中における顕微鏡本体の温度上昇等による撓みにより、焦点位置が上下方向にずれる不都合を防止するために、観察対象である標本を乗せたガラスの標本外におけるガラス面からの反射光の輝度値を監視し、レーザ光の走査を行う毎に、ガラス面からの反射光の輝度値が変動しないように対物レンズあるいはステージの位置を上下方向に調節するレーザ走査型顕微鏡が知られている（例えば、特許文献１参照。）。

特開２００４−１３３１５６号公報

しかしながら、特許文献１に記載されたレーザ走査型顕微鏡では、顕微鏡本体の撓み等による焦点位置ズレを補正することはできるが、生細胞の場合のように標本が移動するような場合には、これを補正することができないという不都合がある。特に、標本の移動は、上下方向のみならず左右方向にも行われるが、特許文献１のレーザ走査型顕微鏡ではこれを補正することができない。また、標本外におけるガラス面からの反射光を監視するために、視野を標本外に移動する必要があり、標本の観察画像が途切れたり、標本の変化を見逃したりする不都合がある。

本発明は上述した事情に鑑みてなされたものであって、顕微鏡本体の変形のみならず、標本がいずれの方向に移動した場合においても、これに追従するように観察位置を自動的に補正することができるレーザ走査型顕微鏡を提供することを目的としている。

上記目的を達成するために、本発明は以下の手段を提供する。
本発明は、照明光を出射する光源と、該光源からの照明光を光軸に交差する２次元方向に走査するスキャナと、該スキャナにより走査された照明光を標本に照射する一方、標本からの戻り光を集光する対物レンズと、該対物レンズの光軸方向の焦点位置を調整する合焦位置調節手段と、前記対物レンズにより集光された戻り光を検出する光検出器と、該光検出器により検出された戻り光の強度と、前記スキャナおよび前記合焦位置調節手段により設定された照明光の照射位置の位置情報とを対応づけて記憶する記憶部と、該記憶部に時間間隔をあけて記憶された戻り光の強度と照射位置の位置情報とに基づいて光軸に平行な複数の２次元画像を構成し、これらの２次元画像を処理して、標本における注目領域の光軸方向に沿う移動量を検出する画像処理部と、該画像処理部により検出された注目領域の移動量に応じて前記照明光の集光位置を補正するよう前記合焦位置調節手段を制御する制御部と、を備え、前記記憶部が、前記スキャナにより照明光が走査される間に取得される光軸に交差する方向に沿う２次元的な画像情報を光軸方向に複数取得してなる３次元的な画像情報を時間間隔をあけて複数組記憶し、前記画像処理部が、前記記憶部に記憶されている複数組の３次元的な画像情報に基づいて光軸に平行な複数の２次元画像を構成し、光軸に平行な２次元画像の少なくとも１つが、３次元的な画像情報の取得に先立って、光軸に平行な面内における前記照明光の２次元走査により画像を取得するプレスキャンによって取得され、該プレスキャンによって取得された２次元画像と前記記憶部に記憶されている３次元的な画像情報に基づいて構成された光軸に平行な２次元画像とを用いて前記注目領域の光軸方向に沿う移動量を検出し、この検出結果を前記プレスキャン後の３次元的画像情報の取得に反映させる走査型顕微鏡を提供する。

本発明によれば、光源から出射された照明光が、スキャナにより光軸に交差する２次元方向に走査されることにより、対物レンズを介して標本上に２次元的に照射される。また、合焦位置調整手段の作動により、対物レンズの光軸方向の焦点位置を調節することにより、照明光の照射平面を光軸方向に移動させることができる。照明光を照射した結果標本から戻る戻り光は対物レンズにより集光されて光り検出器により検出され、照明光の照射位置と対応づけて記憶部に記憶される。これにより、所定の深さ位置において光軸に交差する方向に広がる２次元的な画像あるいは、３次元的な画像を構築することができる。

この場合において、本発明によれば、画像処理部の作動により、記憶部に記憶されている戻り光の強度と照射位置の位置情報とから光軸に平行な２次元画像を抽出することができ、異なる時刻に取得された２次元画像を処理することにより、標本における注目領域の光軸方向に沿う移動量が検出される。そして、画像処理部により、標本における注目領域の光軸方向に沿う移動量が検出された場合には、制御部の作動により合焦位置調整手段が制御され、注目領域の移動に合わせて、照明光の集光位置が補正される。

すなわち、標本外のガラス面からの反射光を監視する従来の方法とは異なり、標本の画像情報を処理して、顕微鏡本体の変形のみならず標本の合焦位置のずれや移動に自動的に追従するので、観察状態を維持しつつ、注目領域を見失うことなく鮮明な画像を取得することができる。

また、前記記憶部が、前記スキャナにより照明光が走査される間に取得される光軸に交差する方向に沿う２次元的な画像情報を光軸方向に複数取得してなる３次元的な画像情報を時間間隔をあけて複数組記憶し、前記画像処理部が、前記記憶部に記憶されている複数組の３次元的な画像情報に基づいて光軸に平行な複数の２次元画像を構成するので、観察に使用する３次元的な画像情報のみに基づいて、光軸方向への注目領域の移動に追従して合焦位置を調節し、注目領域を見失うことなく鮮明な画像を取得することができる。

さらに、光軸に平行な２次元画像の少なくとも１つが、３次元的な画像情報の取得に先立って取得されるプレスキャンによって取得され、前記２次元画像と前記記憶部に記憶されている３次元的な画像情報に基づいて構成された光軸に平行な２次元画像とを用いて前記注目領域の光軸方向に沿う移動量を検出し、この検出結果を前記プレスキャン後の３次元的画像情報の取得に反映させるので、観察に使用する３次元的な画像情報の取得に先立って、光軸に平行な２次元画像を取得し、それを注目領域の移動量の検出に利用することで、より短い時間間隔での注目領域の移動を検出でき、より正確に照明光の集光位置を補正することができ、相関演算を行う２次元画像どうしを時間的により近接させることができ、プレスキャン後に行われる３次元的な画像情報の取得に検出結果を反映させて、よりきめ細かい補正を行うことができる。

すなわち、時間間隔をあけて取得される２組の３次元的な画像情報の内、後側の３次元的な画像情報の取得前に光軸に平行な２次元画像を取得する。これにより、当該２次元画像と、それ以前に取得された３次元的な画像情報から抽出した光軸に平行な２次元画像とを処理できる。そして、このようにして注目領域の移動を検出すれば、２組の３次元的な画像情報から抽出した２つの２次元画像どうしを処理する場合よりも、時間的に近接して取得された２次元画像を用いて処理することができる。
上記した発明において、前記プレスキャンによって取得される光軸に平行な２次元画像の少なくとも１つが、注目領域に隣接する領域のみの画像であることとしてもよい。
また、上記した発明において、前記プレスキャンによって取得される光軸に平行な２次元画像の少なくとも１つが、注目領域のみの画像であることとしてもよい。
さらに、上記した発明において、前記プレスキャンによって取得される光軸に平行な２次元画像の少なくとも１つが、３次元的な画像情報を取得する場合のスキャナの走査範囲よりも広い範囲の画像であることとしてもよい。

本発明によれば、顕微鏡本体の変形のみならず、標本がいずれの方向に移動した場合においても、これに追従するように観察位置を自動的に補正することができるという効果を奏する。

本発明の一実施形態に係るレーザ走査型顕微鏡１について、図１〜図３を参照して以下に説明する。
本実施形態に係るレーザ走査型顕微鏡１は、顕微鏡本体２と、該顕微鏡本体２を制御する制御部３とを備えている。

顕微鏡本体２は、標本Ａを搭載し、水平２方向および鉛直方向に標本Ａを移動させる電動ステージ４と、レーザ光を出射するレーザ光源５と、該レーザ光源５からのレーザ光を２次元的に走査するスキャナ６と、該スキャナ６により走査されたレーザ光を標本Ａに照射し、標本Ａから戻る戻り光を集光する対物レンズ７と、該対物レンズ７およびスキャナ６を介して戻る戻り光を検出する光電子増倍管（ＰＭＴ：Photo Multiplier Tube）のような光検出器８と、該光検出器８により検出され、Ａ／Ｄ変換器９を介してディジタル信号に変換された輝度情報をコンピュータ１０に転送する一方、コンピュータ１０からの指令に基づいて、前記電動ステージ４、レーザ光源５およびスキャナ６を制御するコントロールユニット１１とを備えている。

制御部３は、観察条件を入力する入力部１２と、該入力部１２から入力された観察条件に基づいて電動ステージ４、レーザ光源５およびスキャナ６を駆動するよう指令信号をコントロールユニット１１に送る一方、コントロールユニット１１から転送されてきた輝度情報およびスキャナ６による走査位置情報および電動ステージ４の位置情報に基づいて画像情報を構築するコンピュータ１０と、入力部１２から入力された観察条件およびコンピュータ１０により構築された画像情報を記憶する記憶部１３と、コンピュータ１０により構築された画像情報を記憶するフレームメモリ１４と、該フレームメモリ１４に記憶された画像情報を表示する表示部１５とを備えている。

入力部から入力される観察条件としては、標本Ａ上における観察ポイントの合焦位置、スキャナ６による走査範囲、電動ステージ４による鉛直方向の移動範囲、スライス枚数、画像取得の条件等が挙げられる。コンピュータ１０は入力された観察条件に基づいて、観察ポイント毎の電動ステージ４の位置、レーザ光源５から出射するレーザ光の波長や強度、光検出器８の感度、スキャナ６を構成するガルバノミラー（図示略）の揺動角度、電動ステージ４の鉛直方向送り量等を演算してコントロールユニット１１に出力するようになっている。

これにより、記憶部１３に記憶されている観察条件に基づいて、コントロールユニット１１が電動ステージ４を作動させ、対物レンズ７によるレーザ光の合焦位置を、標本Ａ上の所定の観察ポイントに一致させる。そして、選択された波長および強度のレーザ光をレーザ光源５から出射させ、設定された走査範囲でスキャナ６によってレーザ光を水平方向（ＸＹ方向）に走査させる。そして、レーザ光が照射された標本Ａ上の各位置から発生した戻り光が対物レンズ７およびスキャナ６を介して光検出器８により検出され、その輝度情報が、走査位置と対応づけて記憶されることにより、１枚のＸＹ方向の２次元画像が取得されるようになっている。

そして、コントロールユニット１１が電動ステージ４を作動させて所定の鉛直方向送り量で走査平面を鉛直方向に移動させるステップと、上記ＸＹ方向の２次元画像の取得ステップとを繰り返すことにより、複数枚のＸＹ方向の２次元画像の束からなる３次元的な画像情報を取得することができるようになっている。

また、コンピュータ１０は、時間間隔をあけて取得された３次元的な画像情報を処理することにより、各観察ポイント毎に、標本Ａにおける注目領域の移動量を検出するようになっている。ここでは、注目領域として最も輝度の高い領域を例に挙げて説明する。

そして、標本Ａにおける注目領域が鉛直方向に移動した場合には、電動ステージ４を作動させて観察ポイントの合焦位置を検出された移動量分だけ移動するように補正するようになっている。また、標本Ａにおける注目領域が水平方向に移動した場合には、スキャナ６による走査範囲を検出された移動量分だけ移動するように補正するようになっている。

さらに具体的には、コンピュータ１０は、図２に示されるように、時間間隔をあけて取得された２組の３次元的な画像情報Ｇ１，Ｇ２が存在する場合に、各組の画像情報Ｇ１，Ｇ２から、ＸＺ方向の２次元画像の組と、ＹＺ方向の２次元画像の組とを生成する。そして、２組のＸＹ方向の対応する２次元画像どうし、および２組のＸＺ方向の対応する２次元画像どうしを相関演算した後、演算結果の平均値を算出することにより、標本Ａにおける注目領域のＸ，Ｙ，Ｚ方向の移動量をそれぞれ算出するようになっている。

ここで、相関演算は、図３に示されるように、時間Δｔだけ間隔をあけて取得された２枚の２次元画像が存在する場合に、１枚の２次元画像に対して他の１枚の２次元画像をずらしながら、その重なり量（図３（ｃ）の斜線部の面積）が最大となる位置を探すことによりそのずらし量を移動量として算出するものである。演算量が膨大になるため、相関演算に先立って高速フーリエ変換を行い、相関演算後に、逆高速フーリエ変換を行うことにしてもよい。

このように構成された本実施形態に係るレーザ走査型顕微鏡１の作用について以下に説明する。
本実施形態に係るレーザ走査型顕微鏡１によれば、入力部１２から入力され、記憶部１３に記憶された観察条件に基づいて、コンピュータ１０において、レーザ光源５から出射されるレーザ光の波長および強度、電動ステージ４による標本Ａの移動位置、スキャナ６の走査範囲および光検出器８の感度が設定され、コントロールユニット１１に対して指令される。

コントロールユニット１１はコンピュータ１０からの指令に従って、レーザ光の波長および強度、スキャナ６の走査範囲および光検出器８の感度を設定し、電動ステージ４を駆動して標本Ａの観察ポイントにレーザ光を合焦させる。その位置で、スキャナ６によりレーザ光がＸＹ方向に走査されると、標本Ａにおけるレーザ光の照射位置から発生した戻り光が、対物レンズ７およびスキャナ６を介して光検出器８により検出される。

光検出器８により検出された戻り光の輝度情報と、そのときのスキャナ６の走査位置とが対応づけられて記憶部１３に記憶されることにより、１枚のＸＹ方向の２次元画像情報が取得される。取得された２次元画像情報はフレームメモリ１４にも記憶され、表示部１５に表示される。

そして、電動ステージ４により標本ＡをＺ方向に送りながらＸＹ方向の２次元画像情報の取得を繰り返すことにより、複数枚のＸＹ方向の２次元画像がＺ方向に束ねられた１組の３次元的な画像情報が取得される。この３次元的な画像情報の取得動作を、時間間隔をあけて繰り返すことにより、複数組の３次元的な画像情報を取得することができる。

この場合において、２組の３次元的な画像情報Ｇ１，Ｇ２が取得された時点で、コンピュータ１０は、各組の３次元的な画像情報Ｇ１，Ｇ２から、光軸に平行な２次元画像を抽出する。具体的には、複数枚のＸＹ方向の２次元画像の組から、複数枚のＸＺ方向の２次元画像の組および複数枚のＹＺ方向の２次元画像の組を抽出する。

そして、抽出された２組のＸＺ方向の対応する２次元画像どうし、および抽出された２組のＹＺ方向の対応する２次元画像どうしを相関演算することにより、注目領域の移動量が算出される。光軸に平行な２次元画像どうしの相関演算により、光軸方向に沿う注目領域の移動をも検出することができる。

注目領域の移動が検出されたときは、コンピュータ１０は記憶部１３に記憶されていた観察条件を補正する。注目領域がＺ方向に移動しているときには、レーザ光の標本Ａへの合焦位置を補正するよう電動ステージ４による標本Ａの位置決め高さを補正する。注目領域がＸ方向またはＹ方向に移動しているときには、スキャナ６による走査範囲を検出された移動量分だけ並進移動させるよう補正する。

これにより、標本Ａが生細胞である場合のように、経時的な観察の途中で動いてしまうような場合であっても、これを見失うことなく追従して、観察状態を維持することができる。標本Ａ外のガラス面からの反射光を監視する従来の方法とは異なり、標本Ａの画像情報を処理して、顕微鏡本体２の変形のみならず標本Ａの移動による観察位置のずれを補正して、鮮明な画像を取得することができるという利点がある。

なお、本実施形態においては、ＸＹ方向の２次元画像の束からＸＺ方向の２次元画像およびＹＺ方向の２次元画像をそれぞれ抽出して、Ｘ，Ｙ，Ｚ方向の注目領域の移動量を検出することとしたが、これに代えて、ＸＺ方向またはＹＺ方向の２次元画像のみを抽出し、Ｚ方向の移動量については抽出されたＸＺ方向またはＹＺ方向の２次元画像により検出し、ＸＹ方向については抽出前のＸＹ方向の２次元画像を相関演算することにより移動量を検出してもよい。

また、ＸＺ方向およびＹＺ方向の移動を検出したが、Ｘ，Ｙ，Ｚ方向について１軸ずつ検出して補正することにしてもよい。
また、本実施形態においては、抽出したＸＺ方向およびＹＺ方向の全ての２次元画像について相関演算により算出した移動量の平均値を注目領域の移動量とすることとしたが、これに代えて、抽出したＸＺ方向およびＹＺ方向の２次元画像の束の中央付近の２次元画像のみを用いて移動量を検出してもよい。このようにすることで計算量を減らして迅速に補正を行うことができるという利点がある。

また、図４に示されるように、３次元的な画像情報Ｇ２の取得に先立って、ＸＺ方向またはＹＺ方向の代表的な２次元画像を取得（プレスキャン）することにすれば、それ以前に取得された３次元的な画像情報Ｇ１から抽出されたＸＺ方向またはＹＺ方向の２次元画像との相関演算により注目領域の移動を検出することができる。このようにすることで、相関演算を行う２次元画像どうしを時間的により近接させることができ、プレスキャン後に行われる３次元的な画像情報Ｇ２の取得に検出結果を反映させて、よりきめ細かい補正を行うことができる。

また、プレスキャンを行う場合、図５に示されるように、注目領域に隣接する領域のみのＸＺ方向またはＹＺ方向の代表的な２次元画像を取得して相関演算を行うことにしてもよい。このようにすることで、注目領域に余分なレーザ光を照射することなく、注目領域の移動量を推測できる。したがって、レーザ光の照射による標本Ａの注目領域の劣化を防止し、標本Ａを健全な状態に維持しつつ観察を行うことができる。

また、時間間隔をあけて取得された光軸に平行な２つのプレスキャン画像を用いて相関演算する場合に、実際の観察のために取得する画像は１箇所のＺ方向位置におけるＸＹ画像でもよい。

なお、標本Ａの劣化を無視し得る場合には、図６に示されるように、注目領域のみのＸＺ方向またはＹＺ方向の代表的な２次元画像をプレスキャンにより取得して相関演算を行うことにしてもよい。このようにすることで、注目領域のより正確な移動を検出することができる。

また、図７に示されるように、３次元的な画像情報Ｇ１，Ｇ２を取得する場合のスキャナの走査範囲よりも広い範囲にわたって、ＸＺ方向またはＹＺ方向の代表的な２次元画像をプレスキャンにより取得し、取得された２つのプレスキャン画像を用いて相関演算を行うことにしてもよい。このようにすることで、標本Ａの動きが大きい場合に、画像取得範囲を超えて移動したとしてもこれを見失うことなくその移動量を検出して補正し、画像取得を失敗する確率を低減することができる。

また、３次元的な画像取得Ｇ１，Ｇ２のインターバルが長い場合には、そのインターバルの間に、複数回のプレスキャンを行い、逐次補正することにしてもよい。これにより、長いインターバルの間に、標本Ａが移動して走査範囲から外れてしまう不都合の発生を未然に防止することができるという利点がある。

また、本実施形態においては、取得された３次元的な画像情報Ｇ１，Ｇ２から光軸に平行な２次元画像を抽出し、相関演算によって移動量を検出することとしたが、他の画像処理方法により移動量を検出することにしてもよい。

本発明の一実施形態に係るレーザ走査型顕微鏡を示す全体構成図である。図１のレーザ走査型顕微鏡により取得された３次元的な画像情報から標本の注目領域の移動量の検出ステップを説明する図である。図２の移動量の検出ステップにおける相関演算を説明する図であり、（ａ）比較画像、（ｂ）比較画像の輝度分布、（ｃ）重なり領域をそれぞれ示している。図２の移動量の検出ステップの第１の変形例であり、プレスキャンを行う場合について説明する図である。図２の移動量の検出ステップの第２の変形例であり、注目領域の隣接領域のみについてプレスキャンを行う場合について説明する図である。図２の移動量の検出ステップの第２の変形例であり、注目領域のみについてプレスキャンを行う場合について説明する図である。図２の移動量の検出ステップの第３の変形例であり、画像情報取得時の走査範囲よりも広い範囲にわたってプレスキャンを行う場合について説明する図である。

符号の説明

Ａ標本
Ｇ１，Ｇ２３次元的な画像情報
１レーザ走査型顕微鏡（走査型顕微鏡）
４電動ステージ合焦位置調節手段）
５レーザ光源（光源）
６スキャナ
７対物レンズ
８光検出器
１０コンピュータ（画像処理部、制御部）
１３記憶部

Claims

照明光を出射する光源と、
該光源からの照明光を光軸に交差する２次元方向に走査するスキャナと、
該スキャナにより走査された照明光を標本に照射する一方、標本からの戻り光を集光する対物レンズと、
該対物レンズの光軸方向の焦点位置を調整する合焦位置調節手段と、
前記対物レンズにより集光された戻り光を検出する光検出器と、
該光検出器により検出された戻り光の強度と、前記スキャナおよび前記合焦位置調節手段により設定された照明光の照射位置の位置情報とを対応づけて記憶する記憶部と、
該記憶部に時間間隔をあけて記憶された戻り光の強度と照射位置の位置情報とに基づいて光軸に平行な複数の２次元画像を構成し、これらの２次元画像を処理して、標本における注目領域の光軸方向に沿う移動量を検出する画像処理部と、
該画像処理部により検出された注目領域の移動量に応じて前記照明光の集光位置を補正するよう前記合焦位置調節手段を制御する制御部と、を備え、
前記記憶部が、前記スキャナにより照明光が走査される間に取得される光軸に交差する方向に沿う２次元的な画像情報を光軸方向に複数取得してなる３次元的な画像情報を時間間隔をあけて複数組記憶し、
前記画像処理部が、前記記憶部に記憶されている３次元的な画像情報に基づいて光軸に平行な２次元画像を構成し、
光軸に平行な２次元画像の少なくとも１つが、３次元的な画像情報の取得に先立って、光軸に平行な面内における前記照明光の２次元走査により画像を取得するプレスキャンによって取得され、該プレスキャンによって取得された２次元画像と前記記憶部に記憶されている３次元的な画像情報に基づいて構成された光軸に平行な２次元画像とを用いて前記注目領域の光軸方向に沿う移動量を検出し、この検出結果を前記プレスキャン後の３次元的画像情報の取得に反映させる走査型顕微鏡。
前記プレスキャンによって取得される光軸に平行な２次元画像の少なくとも１つが、注目領域に隣接する領域のみの画像であることを特徴とする請求項１に記載の走査型顕微鏡。
前記プレスキャンによって取得される光軸に平行な２次元画像の少なくとも１つが、注目領域のみの画像であることを特徴とする請求項１に記載の走査型顕微鏡。
前記プレスキャンによって取得される光軸に平行な２次元画像の少なくとも１つが、３次元的な画像情報を取得する場合のスキャナの走査範囲よりも広い範囲の画像であることを特徴とする請求項１に記載の走査型顕微鏡。