JP4350365B2

JP4350365B2 - Laser scanning microscope

Info

Publication number: JP4350365B2
Application number: JP2002362466A
Authority: JP
Inventors: 広平山
Original assignee: Olympus Corp
Current assignee: Olympus Corp
Priority date: 2002-12-13
Filing date: 2002-12-13
Publication date: 2009-10-21
Anticipated expiration: 2022-12-13
Also published as: JP2004191846A

Description

【０００１】
【発明の属する技術分野】
本発明は、ステージ上に載せられた標本上の複数ポイントにおける時間経過に伴って変化する３次元的な様子を観察するために、各観察ポイントにおける３次元画像データを所定時間毎に繰り返し取得するレーザ走査型顕微鏡に関する。
【０００２】
【従来の技術】
レーザ走査型顕微鏡は、共焦点光学系を有する。この共焦点光学系は、対物レンズによる標本の焦点と共役な位置にピンホールを配置し、標本の非焦点位置からのボケ像を除外し、焦点位置の像のみをピンホールに通過させる。これにより、共焦点光学系は、高い共焦点効果（光学的セクショニング効果）を得る。この共焦点光学系を用いれば、所定の厚さを有する標本の断層面のスライス像が容易に取得できる。
【０００３】
レーザ走査型顕微鏡としては、例えば特許文献１に記載されている。この特許文献１は、標本として生きている細胞に対して様々な刺激を与え、この刺激に対する標本の経時的な反応を観察することによって、標本の３次元的な時間変化を観察することを記載する。
【０００４】
又、レーザ走査型顕微鏡は、電動ステージを有する。この共焦点光学顕微鏡は、複数の観察ポイントを指定することにより、電動ステージの駆動により各観察ポイントに自動的に移動し、これら観察ポイント毎の３次元的な時間変化を観察する。
【０００５】
【特許文献１】
特開平６−２７３８３号公報
【０００６】
【発明が解決しようとする課題】
標本を長時間観察する場合、時間経過によって共焦点光学顕微鏡の状態が変化する。例えばレーザ走査型顕微鏡は、温度変化により顕微鏡本体に歪みが生じる。これにより、レーザ走査型顕微鏡は、標本に対するフォーカスすなわち対物レンズと標本との間隔が変化する。
【０００７】
標本は、時間経過に伴って位置を移動したり又は形状を変化する。これにより、標本は、常に同一位置（ＸＹ平面上の位置）に存在しなくなる。このため、レーザ走査型顕微鏡において観察開始時に決定した条件、例えばステージ位置、フォーカス位置などの条件を変えずに観察を続けると、観察の途中から標本の位置がずれてしまう。この結果、標本の観察像から期待するデータが取得できなくなる。
【０００８】
このような事から標本の３次元画像の観察の合間に、標本の観察ポイントやフォーカス位置の調整作業が必要になる。このため、観察者は、標本の観察中に観察ポイントやフォーカス位置の調整作業を強いられる。そのうえ電動ステージを有するレーザ走査型顕微鏡では、複数の観察ポイントの各ステージ位置や各フォーカス位置をそれぞれ標本の観察中に調整作業しなければならず、非常に煩雑な調整作業になる。
【０００９】
そこで本発明は、標本の観察中の調整作業を不要とすると共に、長時間に及ぶ観察でも確実に期待できる３次元画像データを取得できるレーザ走査型顕微鏡を提供することを目的とする。
【００１０】
【課題を解決するための手段】
本発明のレーザ走査型顕微鏡の第１の態様は、標本上の観察ポイントにおける３次元画像データを所定時間毎に繰り返し取得するレーザ走査型顕微鏡において、前記所定時間毎に繰り返し取得された前記３次元画像データを保存する画像保存手段と、この画像保存手段に保存された前記３次元画像データのうち互いに画像取得に時間差のある前記各３次元画像データ同士を比較し、これら３次元画像データから時間経過に伴う前記標本に関する変化量を検出する変化量検出手段と、前記標本に関する前記変化量を検出した後に前記観察ポイントの３次元画像データを取得するとき、前記変化量検出手段により検出された前記変化量に基づいて前記標本の位置を補正する補正手段と、前記変化量検出手段により検出された前記変化量に基づいて前記標本の形状が変化して前記画像データの領域外に出たと判断すると、前記観察ポイントに隣接して新たな観察ポイントを追加する観察ポイント追加手段と、を具備し、前記変化量検出手段は、前記標本のＸＹ平面上における位置ずれ及びＺ方向におけるフォーカスずれのうち少なくとも何れか一方を前記変化量として検出することを特徴とする。
【００１１】
本発明におけるレーザ走査型顕微鏡の第２の態様は、前記第１の態様のレーザ走査型顕微鏡であって、前記補正手段は、前記標本のＸＹ平面上における位置ずれ及びＺ方向におけるフォーカスずれのうち少なくとも何れか一方に基づいて、前記ステージを前記ＸＹ方向及びＺ方向のうち少なくとも何れか一方に補正する
【００１２】
本発明のレーザ走査型顕微鏡の第３の態様は、第２の態様のレーザ走査型顕微鏡であって、観察ポイント追加手段は前記新たな観察ポイントを複数追加する。
【００１３】
本発明におけるレーザ走査型顕微鏡の第４の態様は、第１の態様のレーザ走査型顕微鏡であって、前記標本上の複数の前記観察ポイントに対する前記ステージの各ステージ位置を記憶する記憶手段を有し、前記補正手段は、前記ステージを移動して任意の前記観察ポイントの３次元画像データを取得するときに、前記標本のＸＹ平面上の位置ずれ及びＺ方向のフォーカスずれのうち少なくともいずれか一方に基づいて、前記記憶手段に記憶されている前記観察ポイントの前記ステージ位置を補正する。
本発明の第５の態様に係るレーザ走査型顕微鏡は、第１の態様乃至第３の態様のうち何れか一つに係るレーザ走査型顕微鏡であって、前記変化量検出手段は、前回及び前々回に取得された各３次元画像データに基づいて前記変化量を検出し、前記補正手段は、検出された前記変化量を用いて、次に３次元画像データを取得する際の標本位置を補正することを特徴とする。
【００１４】
本発明のレーザ走査型顕微鏡は、標本上の複数の観察ポイントに対するステージの各ステージ位置を記憶する記憶手段を有し、補正手段は、ステージを移動して任意の観察ポイントの３次元画像データを取得するときに、標本のＸＹ平面上の位置ずれ又はＺ方向のフォーカスずれのいずれか一方又は両方に基づいて記憶手段に記憶されている観察ポイントのステージ位置を補正することが好ましい。
【００１５】
【発明の実施の形態】
以下、本発明の第１の実施の形態について図面を参照して説明する。
【００１６】
図１はレーザ走査型顕微鏡の構成図である。このレーザ走査型顕微鏡は、レーザ走査型顕微鏡本体１とコンピュータシステム２とを有する。レーザ走査型顕微鏡本体１は、共焦点光学系を有する。このレーザ走査型顕微鏡本体１のコ字形状の顕微鏡筐体３に対物レンズ４と電動ステージ５とが対向して設けられている。標本６は、電動ステージ５上に載置される。
【００１７】
又、レーザ走査型顕微鏡本体１は、３つレーザ光源７〜９、例えばＡｒレーザ７、ＨｅＮｅ−Ｇレーザ８及びＨｅＮｅ−Ｒレーザ９を有する。このうち各レーザ光源７、８から出射される各レーザ光の光路上にそれぞれ各合成用ダイクロイックミラー１０、１１が設けられている。又、レーザ光源９から出射されるレーザ光の光路上にミラー１２が設けられている。これら合成用ダイクロイックミラー１０、１１は、ミラー１２の反射光路上に設けられている。
【００１８】
従って、レーザ光源７から出射されたレーザ光は、合成用ダイクロイックミラー１０を透過する。レーザ光源８から出射されたレーザ光は、合成用ダイクロイックミラー１１で反射して合成用ダイクロイックミラー１０に入射して反射する。レーザ光源９から出射されたレーザ光は、ミラー１２で反射し、合成用ダイクロイックミラー１１を透過し、合成用ダイクロイックミラー１０に入射して反射する。これにより、各レーザ光源７〜９から出射された各レーザ光は、合成される。
【００１９】
合成用ダイクロイックミラー１０から出射される合成レーザ光の光路上にミラー１３が設けられている。なお、選択されるレーザ光源７〜９が１つであれば、合成用ダイクロイックミラー１０から出射されるレーザ光は、複数のレーザ光を合成したものでない。しかし、ここでは便宜上、合成用ダイクロイックミラー１０から出射されるレーザ光の全ては、合成レーザ光と称する。
【００２０】
反射ミラー１３の反射光路上に分光フィルタ１４が設けられている。この分光フィルタ１４は、標本６で発生した蛍光成分を反射する。
【００２１】
走査ユニット１５は、Ｘ走査ガルバノミラーとＹ走査ガルバノミラーとを有する。この走査ユニット１５は、分光フィルタ１４を透過した合成レーザ光をＸ走査ガルバノミラーとＹ走査ガルバノミラーとの動作により２次元平面上（ＸＹ軸方向）に走査する。この走査ユニット１５は、ＸＹ軸方向に走査した合成レーザを対物レンズ４に送り、かつ標本６で発生した蛍光又は反射光を分光フィルタ１４に戻す。
【００２２】
この分光フィルタ１４の反射光路上に分光フィルタ１６が設けられている。この分光フィルタ１６は、予め設定された波長を境に短波長の光と長波長の光とに波長選択する。この分光フィルタ１６は、例えば短波長の光を透過し、長波長の光を反射する。
【００２３】
この分光フィルタ１６の透過光路上にバリアフィルタ１７が設けられている。このバリアフィルタ１７は、分光フィルタ１６を透過した短波長の光を予め設定された波長帯域で透過する。
【００２４】
光検出器１８は、バリアフィルタ１７を透過した短波長の光を入射し、標本６の画像信号を出力する。
【００２５】
又、分光フィルタ１６の反射光路上にミラー１９を介してバリアフィルタ２０が設けられている。このバリアフィルタ２０は、分光フィルタ１６で反射した長波長の光を予め設定された波長帯域で透過する。
【００２６】
光検出器２１は、バリアフィルタ２０を透過した長波長の光を入射し、標本６の画像信号を出力する。
【００２７】
コントロールユニット２２は、コンピュータシステム２から発せられる走査指示指令を受けると、この走査指示指令に従った走査制御信号を走査ユニット１５に送出する。
【００２８】
又、コントロールユニット２２は、各レーザ光源７〜９のうち１乃至３つのレーザ光源７〜９を組み合わせて動作制御し、標本６上にＸＹ走査するレーザ光を選択する。
【００２９】
又、コントロールユニット２２は、各光検出器１８、２１から出力された各画像信号を入力し、これら画像信号からそれぞれ標本６の各画像データを作成してコンピュータシステム２に転送する。
【００３０】
このコンピュータシステム２は、接続インターフェース２３を介してレーザ走査型顕微鏡本体１に接続されている。このコンピュータシステム２は、ＣＰＵ３０、記憶媒体３１、キーボード３２、マウス３３及びモニタ装置３４を有する。
【００３１】
記憶媒体３１は、レーザ走査型顕微鏡本体１の制御、レーザ走査型顕微鏡本体１から転送される画像データの記憶、画像処理などを行うための制御プログラムを記憶する。
【００３２】
又、記憶媒体３１は、標本６上にレーザ光をＸＹ軸方向に走査するに必要な条件データを記憶する。この条件データは、標本６上の複数の観察ポイントの位置と、これら観察ポイントにおける各フォーカス位置と、標本６上にレーザ光を走査するときのレーザ光のＺ軸上の範囲と、レーザ走査型顕微鏡本体１の共焦点光学系のセクショニング効果を利用して取得する標本６のＺ軸上のスライス画像の枚数と、各光検出器１８、２１の各感度と、各レーザ光源７〜９から出射される各レーザ光の強度等を有する。
【００３３】
又、記憶媒体３１は、コントロールユニット２２から転送された標本６の画像データなどを記憶する。なお、これら制御プログラムや条件データ、画像データなどは、それぞれ別々の記憶領域（メモリ部とも称する）に記憶される。
【００３４】
ＣＰＵ３０は、記憶媒体３１に記憶されている制御プログラムを実行し、レーザ走査型顕微鏡本体１の制御、レーザ走査型顕微鏡本体１から転送される画像データの記憶、画像処理などを行う。
【００３５】
又、ＣＰＵ３０は、記憶媒体３１に記憶されている制御プログラムを実行し、コントロールユニット２２から転送された標本６の画像データを基に３次元画像データを作成して記憶媒体３１に記憶する。
【００３６】
又、ＣＰＵ３０は、記憶媒体３１に記憶されている制御プログラムを実行し、記憶媒体３１に記憶された３次元画像データのうち互いに画像取得に時間差のある各３次元画像データ同士を比較し、これら３次元画像データから時間経過に伴う標本６のＸＹ軸方向の変化量（以下、位置ずれと称する）、又はＺ軸方向の変化量（以下、フォーカスずれと称する）のいずれか一方又は両方を検出する。以下、このＣＰＵ３０の動作は、変化量検出部３５として説明する。
【００３７】
又、ＣＰＵ３０は、標本６のＸＹ軸方向への位置ずれを検出した後に観察ポイントの３次元画像データを取得するとき、変化量検出部３５により検出された位置ずれ又はフォーカスずれに基づいて電動ステージ５のＸＹ軸方向の位置又はＺ軸方向の高さのいずれか一方又は両方を補正する。以下、このＣＰＵ３０の動作は、補正部３６として説明する。
【００３８】
次に、上記の如く構成された装置の動作について説明する。
【００３９】
観察者は、例えばレーザ走査型顕微鏡本体１の接眼レンズを通して標本６の拡大像を観察する。そして、観察者は、標本６の拡大像を観察しながら電動ステージ５を操作し、標本６上に複数の観察ポイントを決定する。図２は標本６上に決定された複数の観察ポイントＮｏ．１〜Ｎｏ．３の例を示す。
【００４０】
次に、観察者は、例えば複数の観察ポイントＮｏ．１〜Ｎｏ．３における位置と、これら観察ポイントＮｏ．１〜Ｎｏ．３における各フォーカス位置と、各観察ポイントＮｏ．１〜Ｎｏ．３にレーザ光を走査するときのレーザ光のＺ軸上の範囲と、スライス画像の枚数などの条件を設定する。これと共に観察者は、各光検出器１８、２１の各感度や各レーザ光源７〜９から出射される各レーザ光の強度等を調整する。
【００４１】
これら観察ポイントＮｏ．１〜Ｎｏ．３における位置や各フォーカス位置、レーザ光のＺ軸上の範囲、スライス画像の枚数、各光検出器１８、２１の各感度、各レーザ光源７〜９から出射される各レーザ光の強度等は、例えば観察者のキーボード３２やマウス３３の操作により条件データとして記憶媒体３１に記憶される。
【００４２】
次に、観察者は、キーボード３２やマウス３３を操作してコンピュータシステム２にレーザ光の走査開始を指示する。コンピュータシステム２は、記憶媒体３１に記憶されている観察ポイントＮｏ．１の条件データを読み出し、この条件データを接続インターフェース２３を介してレーザ走査型顕微鏡本体１のコントロールユニット２２に設定する。
【００４３】
これにより、コントロールユニット２２に観察ポイントＮｏ．１の位置と、観察ポイントＮｏ．１のフォーカス位置と、観察ポイントＮｏ．１にレーザ光を走査するときのレーザ光のＺ軸上の範囲と、スライス画像の枚数と、各光検出器１８、２１の各感度と、各レーザ光源７〜９から出射される各レーザ光の強度等が設定される。
【００４４】
次に、コンピュータシステム２は、コントロールユニット２２に走査開始指示を送出する。このコントロールユニット２２は、走査ユニット１５に対して走査制御信号を送出する。又、コントロールユニット２２は、各レーザ光源７〜９から標本６上に走査するレーザ光を出力する１つ乃至３のレーザ光源７、８又は９を選択する。
【００４５】
レーザ光源７から出射されたレーザ光は、合成用ダイクロイックミラー１０を透過する。レーザ光源８から出射されたレーザ光は、合成用ダイクロイックミラー１１で反射し、次の合成用ダイクロイックミラー１０でも反射する。レーザ光源９から出射されたレーザ光は、ミラー１２で反射し、合成用ダイクロイックミラー１１を透過し、次の合成用ダイクロイックミラー１０で反射する。これにより、各レーザ光源７〜９から出射された各レーザ光は、合成用ダイクロイックミラー１０で合成される。
【００４６】
この合成用ダイクロイックミラー１０から出射された合成レーザ光は、ミラー１３で反射し、分光フィルタ１４を透過して走査ユニット１５に入射する。
【００４７】
この走査ユニット１５は、分光フィルタ１４を透過した合成レーザ光をＸ走査ガルバノミラーとＹ走査ガルバノミラーとの動作により２次元平面上（ＸＹ軸方向）に走査する。
【００４８】
これにより合成レーザ光は、対物レンズ４を通して標本６上にスポット光としてＸＹ軸方向に走査される。
【００４９】
標本６で発生した蛍光又は反射光は、合成レーザ光の標本６への入射光路と逆光路を戻る。すなわち、蛍光又は反射光は、対物レンズ４から走査ユニット１５を通り分光フィルタ１４に入射する。
【００５０】
この分光フィルタ１４は、標本６で発生した蛍光成分を反射する。この蛍光成分は、分光フィルタ１６により予め設定された波長を境に短波長の光と長波長の光とに波長選択する。例えば蛍光成分の短波長の光は、分光フィルタ１６を透過する。蛍光成分の長波長の光は、分光フィルタ１６で反射する。
【００５１】
このうち蛍光成分の短波長の光は、バリアフィルタ１７に入射し、このバリアフィルタ１７で予め設定された波長帯域内の波長成分のみが透過する。この透過した蛍光成分の短波長の光は、光検出器１８に入射する。
【００５２】
この光検出器１８は、バリアフィルタ１７を透過した蛍光成分の短波長の光を入射し、標本６の画像信号を出力する。
【００５３】
これと共に蛍光成分の長波長の光は、ミラー１９で反射してバリアフィルタ２０に入射する。この蛍光成分の長波長の光は、バリアフィルタ２０で予め設定された波長帯域内の波長成分のみが透過する。この透過した蛍光成分の長波長の光は、光検出器２１に入射する。
【００５４】
この光検出器２１は、バリアフィルタ２０を透過した蛍光成分の長波長の光を入射し、観察ポイントＮｏ．１における標本６の画像信号を出力する。
【００５５】
コントロールユニット２２は、各光検出器１８、２１から出力された各画像信号を入力し、これら画像信号からそれぞれ標本６の各画像データを作成してコンピュータシステム２に転送する。
【００５６】
このコンピュータシステム２は、標本６の各画像データを記憶媒体３１に記憶すると共に、モニタ装置３４に表示する。
【００５７】
この場合、レーザ走査型顕微鏡本体１は、条件データにおける観察ポイントＮｏ．１のフォーカス位置と、レーザ光を走査するときのレーザ光のＺ軸上の範囲と、スライス画像の枚数などに基づいて電動ステージ５をＺ軸方向に上下移動させ、共焦点光学系によって標本６のスライス像を複数枚取得する。
【００５８】
従って、コンピュータシステム２は、観察ポイントＮｏ．１における複数枚のスライス画像データを３次元画像データとして記憶媒体３１に記憶する。
【００５９】
次に、コンピュータシステム２は、記憶媒体３１に記憶されている観察ポイントＮｏ．２の条件データを読み出し、この条件データを接続インターフェース２３を介してレーザ走査型顕微鏡本体１のコントロールユニット２２に設定する。
【００６０】
これにより、上記観察ポイントＮｏ．１の場合と同様に、観察ポイントＮｏ．２における複数枚のスライス像が取得される。従って、コンピュータシステム２は、観察ポイントＮｏ．２における複数枚のスライス画像データを３次元画像データとして記憶媒体３１に記憶する。
【００６１】
以上のようにして指定された全ての観察ポイントＮｏ．１〜Ｎｏ．３ごとの複数枚の３次元画像データがそれぞれ記憶媒体３１に記憶される。これにより、これら３次元画像データをモニタ装置３４に表示することにより、各観察ポイントＮｏ．１〜Ｎｏ．３の観察が行なわれる。なお、この観察を第１回目の観察と称する。
【００６２】
この後、予め設定されたインターバル時間が経過すると、再度、コンピュータシステム２は、上記同様に各観察ポイントＮｏ．１〜Ｎｏ．３ごとに条件データを読み出し、この条件データを接続インターフェース２３を介してレーザ走査型顕微鏡本体１のコントロールユニット２２に設定する。これにより、コンピュータシステム２は、上記同様に各観察ポイントＮｏ．１〜Ｎｏ．３におけるインターバル時間を経過した複数枚のスライス画像データを取得し、これらスライス画像データを３次元画像データとして記憶媒体３１に記憶する。これにより、予め設定されたインターバル時間経過後における各観察ポイントＮｏ．１〜Ｎｏ．３の観察が行なわれる。なお、この観察を第２回目の観察と称する。
【００６３】
さらに、予め設定されたインターバル時間が経過すると、第３回目の観察が行なわれる。この第３回目の観察において、コンピュータシステム２の変化量検出部３５は、記憶媒体３１に記憶された各観察ポイントＮｏ．１〜Ｎｏ．３の第１回目と第２回目との各観察における各３次元画像データを読み出す。
【００６４】
次に、変化量検出部３５は、各観察ポイントＮｏ．１〜Ｎｏ．３ごとに第１回目と第２回目との各観察で取得された各３次元画像データ同士を比較し、この比較結果からインターバル時間の経過に伴う標本６のＸＹ軸方向の位置ずれを検出する。
【００６５】
ここで、標本６のＸＹ軸方向の位置ずれ検出方法について具体的に説明する。
【００６６】
各観察ポイントＮｏ．１〜Ｎｏ．３ごとの第１回目と第２回目との各３次元画像データの取得が終了すると、変化量検出部３５は、各観察ポイントＮｏ．１〜Ｎｏ．３ごとに、それぞれ３次元画像データの各スライス画像データ毎に当該スライス画像データ中で最も輝度の高いピクセルを抽出する。例えば図３に示すように観察ポイントＮｏ．１におけるＺ軸方向の例えばＺ_１位置、Ｚ_２位置、Ｚ_３位置における各スライス画像データＤ_１、Ｄ_２、Ｄ_３中の最も輝度の高い各ピクセル部分Ｐ_１、Ｐ_２、Ｐ_３、Ｐ_４を抽出する。これらピクセル部分Ｐ_１、Ｐ_２、Ｐ_３、Ｐ_４は、最も高い輝度であることから各Ｚ_１位置、Ｚ_２位置、Ｚ_３位置においてそれぞれジャストフォーカスになっている。
【００６７】
次に、変化量検出部３５は、各ピクセル部分Ｐ_１、Ｐ_２、Ｐ_３、Ｐ_４を合わせてＸＹ軸方向のエクステンド画像データＥを作成して記憶媒体３１に記憶する。これにより、エクステンド画像データＥからは、Ｚ軸方向の全てのＺ位置に対してフォーカスの合った画像データを取得できる。
【００６８】
次に、変化量検出部３５は、各観察ポイントＮｏ．１〜Ｎｏ．３ごとに、第１回目と第２回目とで取得された各３次元画像データからそれぞれ第１回目と第２回目との各エクステンド画像データＥを取得する。
【００６９】
次に、変化量検出部３５は、各観察ポイントＮｏ．１〜Ｎｏ．３ごとに、第１回目と第２回目との各エクステンド画像データＥ同士を比較し、この比較結果から検出される例えば各ピクセル部分Ｐ_１、Ｐ_２、Ｐ_３、Ｐ_４の画素単位のずれから標本６のＸＹ軸方向の位置ずれを検出する。
【００７０】
なお、標本６のＸＹ軸方向の位置ずれの検出方法は、別の方法を用いてもよい。その一方法は、例えば、上記同様に観察ポイントにおける第１回目と第２回目との各観察の各エクステンド画像データＥを取得する。
【００７１】
次に、これらエクステンド画像データＥをそれぞれ２値化する。
【００７２】
次に、これら２値化した各エクステンド画像データＥにおいてそれぞれ標本６中の観察対象の各重心位置を求める。
【００７３】
次に、第１回目と第２回目との各観察の観察対象の各重心位置の位置変化を求め、これを標本６のＸＹ軸方向の位置ずれとして検出する。
【００７４】
さらに一方法は、例えば、上記同様に観察ポイントにおける第１回目と第２回目との各観察の各エクステンド画像データＥを取得する。
【００７５】
次に、これらエクステンド画像データＥにおいてそれぞれ観察対象物のエッジを検出する。
【００７６】
次に、これらエッジに対してパターン認識を行うことで、第１回目と第２回目との各観察の観察対象の位置変化を求め、これを標本６のＸＹ軸方向の位置ずれとして検出する。
【００７７】
次に、補正部３６は、第３回目の観察において、各観察ポイントＮｏ．１〜Ｎｏ．３の３次元画像データを取得するとき、変化量検出部３５により検出された標本６のＸＹ軸方向の位置ずれに基づいて電動ステージ５のＸＹ軸方向の位置を補正する。
【００７８】
ここで、電動ステージ５の位置補正について具体的に説明する。
【００７９】
例えば観察ポイントＮｏ．１における第１回目の観察時の電動ステージ５の位置は、例えば図４に示すように（Ｘ_Ｐ１，Ｙ_Ｐ１）である。なお、このステージ位置（Ｘ_Ｐ１，Ｙ_Ｐ１）は、第２回目の観察位置と同じである。
【００８０】
第１回目と第２回目との各観察による標本６のＸＹ軸方向の位置ずれが例えばΔＸ_３，ΔＹ_３の場合、観察ポイントＮｏ．１に対する第３回目の観察の移動先は、例えば図５に示すように（Ｘ_Ｐ１＋ΔＸ_３，Ｙ_Ｐ１＋ΔＹ_３）にする。
【００８１】
なお、ＸＹ軸方向の位置ずれΔＸ_３，ΔＹ_３は、第１回目と第２回目の各観察で取得された各エクステンド画像データＥ間における観察対象の移動量と、第１回目と第２回目の各観察での電動ステージ５の位置の差を含む。
【００８２】
これにより、第ｎ回目の観察での電動ステージ５の移動先は、図４に示すように（Ｘ_Ｐ１＋ΔＸ_ｎ，Ｙ_Ｐ１＋ΔＹ_ｎ）になる。なお、ｎは自然数である。ここで、ΔＸ_ｎ，ΔＹ_ｎは、第１回目と第ｎ−１回目の各観察で取得された各エクステンド画像データＥ及び電動ステージ５の位置によって求まる標本６中の観察対象の移動量になる。
【００８３】
従って、補正部３６は、第ｎ回目の観察ポイントＮｏ．１の観察において、電動ステージ５の移動先を（Ｘ_Ｐ１＋ΔＸ_ｎ，Ｙ_Ｐ１＋ΔＹ_ｎ）にする補正指令をコントロールユニット２２に送出する。これにより、電動ステージ５は、
（Ｘ_Ｐ１＋ΔＸ_ｎ，Ｙ_Ｐ１＋ΔＹ_ｎ）の位置に移動する。
【００８４】
標本を長時間観察する場合、時間経過によってレーザ走査型顕微鏡において例えば温度変化により顕微鏡本体に歪みを生じる。又、標本６は、時間経過に伴って位置を移動する。これにより、レーザ走査型顕微鏡は、電動ステーシ５のステージ位置を調整しなければ、同一位置の観察ポイントＮｏ．１で標本６を観察できなくなる。
【００８５】
これに対して補正部３６は、電動ステージ５のステージ位置を補正するので、レーザ走査型顕微鏡は、第ｎ回目、例えば第３回目の観察において、観察ポイントＮｏ．１の観察対象の３次元画像データを確実に取得できる。
【００８６】
なお、レーザ走査型顕微鏡は、電動ステージ５を移動させて各観察ポイントＮｏ．１〜Ｎｏ．３の観察対象の３次元画像データを所定のインターバル時間毎に繰り返し取得する。このとき、補正部３６は、各観察ポイントＮｏ．１〜Ｎｏ．３への移動毎に電動ステージ５のステージ位置を補正する。この結果、レーザ走査型顕微鏡は、各観察ポイントＮｏ．１〜Ｎｏ．３において観察対象の３次元画像データを確実に取得できる。
【００８７】
なお、標本６のＸＹ軸方向の位置ずれの補正方法は、別の方法を用いてもよい。その一方法は、標本６中の観察対象の位置ずれの変化量を考慮したものである。
【００８８】
先ず、観察ポイントＮｏ．１において、上記同様に第３回目の観察により標本６中の観察対象の位置ずれを求める。この位置ずれは、
例えば（ΔＸ_４，ΔＹ_４）である。
【００８９】
次に、位置ずれ（ΔＸ_４，ΔＹ_４）と上記位置ずれ（ΔＸ_３，ΔＹ_３）との差分（ΔＸ_４−ΔＸ_３，ΔＹ_４−ΔＹ_３）を求める。
【００９０】
次に、上記電動ステージ５の移動先（Ｘ_Ｐ１＋ΔＸ_４，Ｙ_Ｐ１＋ΔＹ_４）に
差分（ΔＸ_４−ΔＸ_３，ΔＹ_４−ΔＹ_３）を付加する。次の電動ステージ５の移動先は、
（Ｘ_Ｐ１＋（２・ΔＸ_４−ΔＸ_３），Ｙ_Ｐ１＋（２・ΔＹ_４−ΔＹ_３）になる。
【００９１】
従って、第ｎ回目の観察時の電動ステージ５の移動先は、
（Ｘ_Ｐ１＋２・ΔＸ_ｎ−ΔＸ_ｎ−１，Ｙ_Ｐ１＋２・ΔＹ_ｎ−ΔＹ_ｎ−１）になる。
【００９２】
ここで、ΔＸ_ｎ、ΔＹ_ｎは、第１回目と第ｎ−１回目の各観察で取得された３次元画像データ及びこれら観察での電動ステージ５のステージ位置による観察対象の位置ずれを示す。又、ΔＸ_ｎ−１、ΔＹ_ｎ−１は、第１回目と第ｎ−２回目の各観察で取得された３次元画像データ及びこれら観察での電動ステージ５のステージ位置による観察対象の位置ずれを示す。
【００９３】
次に、標本６のＺ軸方向の高さずれ、すわわちフォーカスずれの検出方法について具体的に説明する。
【００９４】
先ず、変化量検出部３５は、各観察ポイントＮｏ．１〜Ｎｏ．３ごとに、それぞれの三次元画像データから任意のＹ軸位置からＸＺ切片画像を抽出する。これにより、変化量検出部３５は、図７に示すようなＺ切片画像データＱを作成する。
【００９５】
なお、このＺ切片画像データＱは、第１回目と第２回目の各観察ごとに作成される。これらＺ切片画像データＱは、記憶媒体３１に記憶される。
【００９６】
次に、変化量検出部３５は、各観察ポイントＮｏ．１〜Ｎｏ．３ごとに、第１回目と第２回目の各Ｚ切片画像データＱ同士を比較し、この比較結果から検出される例えば各ピクセル部分Ｐ_２、Ｐ_３の画素単位のずれから標本６のＺ軸方向のフォーカスずれを検出する。
【００９７】
次に、補正部３６は、第３回目の観察において、各観察ポイントＮｏ．１〜Ｎｏ．３の３次元画像データを取得するとき、変化量検出部３５により検出された標本６のＺ軸方向のフォーカスずれに基づいて電動ステージ５のＺ軸方向の位置を補正する。
【００９８】
標本を長時間観察する場合、時間経過によって例えばレーザ走査型顕微鏡における温度変化により顕微鏡本体が歪む。これにより、レーザ走査型顕微鏡は、標本６に対するフォーカス位置が変化する。このため、レーザ走査型顕微鏡において観察開始時に決定したフォーカス位置を変えずに観察を続けると、観察の途中から標本６に対するフォーカス位置がずれてしまう。
【００９９】
これに対して補正部３６は、電動ステージ５のＺ軸方向を補正するので、レーザ走査型顕微鏡は、第ｎ回目、例えば第３回目の観察において、観察ポイントＮｏ．１の観察対象に対するフォーカスの合った３次元画像データを確実に取得できる。
【０１００】
なお、標本６のフォーカスずれの補正方法は、別の方法を用いてもよい。その一方法は、図６に示すようなエクステンド画像データＥを作成するとき、最も高い輝度を有するピクセルのＺ位置データを輝度に割り付けてエクステンド画像データを作成する。このとき、Ｚ位置の低いピクセルの輝度を小さくすると共に、Ｚ位置の高いピクセルの輝度を大きく割付ける。このＺ位置データのエクステンド画像データは、第１回目と第２回目の各観察ごとに作成され、記憶媒体３１に記憶される。
【０１０１】
これにより、第１回目と第２回目の各観察で取得された各エクステンド画像データにおける各観察対象の位置を比較することにより、標本６のＸＹ軸方向の位置ずれが求められる。又、これらエクステンド画像データにおける輝度値すなわちＺ位置データを比較することにより、標本６に対するフォーカスずれが求められる。
【０１０２】
この結果、電動ステージ５のＺ軸方向を補正することにより、例えば第３回目の観察において、観察ポイントＮｏ．１の観察対象に対するフォーカスの合った３次元画像データを確実に取得できる。
【０１０３】
このように上記第１の実施の形態においては、予め設定されたインターバル時間間隔で複数の観察ポイントＮｏ．１〜Ｎｏ．３における例えば第１回目と第２回目の各観察で取得さたれ各３次元画像データの各エクステンド画像データＥを作成し、これらエクステンド画像データＥを比較して時間経過に伴う標本６のＸＹ軸方向の位置ずれとＺ軸方向のフォーカスずれとを検出し、これら位置ずれとフォーカスずれとに基づいて電動ステージ５のＸＹ軸方向の位置又はＺ軸方向の高さを補正する。
【０１０４】
従って、標本を長時間観察する場合、時間経過によってレーザ走査型顕微鏡において例えば温度変化により顕微鏡本体に歪みを生じたり、標本６が時間経過に伴って位置を移動したとしても、複数の観察ポイントＮｏ．１〜Ｎｏ．３において標本６中の観察対象をレーザ走査型顕微鏡の視野内に確実に捉え続けることができる。又、時間経過によってレーザ走査型顕微鏡に例えば温度変化による顕微鏡本体の歪みが発生しても、複数の観察ポイントＮｏ．１〜Ｎｏ．３において標本６に対するフォーカスを合わせ続けることができる。
【０１０５】
これにより、標本６の位置が時間経過に伴ってずれても、又標本６に対するフォーカスがずれたとしても、自動的に電動ステージ５をＸＹ軸方向又はＺ軸方向に補正できる。観察者は、標本６の長時間の観察中に非常に煩雑なステージ位置の調整作業をしなくてよい。
【０１０６】
この結果、例えば標本６として生きている細胞に対して様々な刺激を与え、この刺激に対する標本６の経時的な反応を観察することによって、標本６の３次元的な時間変化が観察できる。
【０１０７】
次に、本発明の第２の実施の形態について図面を参照して説明する。なお、図１と同一部分には同一符号を付してその詳しい説明は省略する。
【０１０８】
図８はレーザ走査型顕微鏡の構成図である。このレーザ走査型顕微鏡は、コンピュータシステム２に観察ポイント追加部３７を有する。この観察ポイント追加部３７は、変化量検出部３５により検出された時間経過に伴う標本６のＸＹ軸方向の位置ずれとＺ軸方向のフォーカスずれとに基づいて標本６の形状が変化して３次元画像データの領域外に出たか否かを判断する。
【０１０９】
この判断の結果、標本６が３次元画像データの領域外に出たと判断すると、観察ポイント追加部３７は、例えば図９に示すように複数の観察ポイントＮｏ．１〜Ｎｏ．３、例えば観察ポイントＮｏ．２に隣接して新たな観察ポイントＮｏ．２−１を追加する。
【０１１０】
この観察ポイント追加部３７は、例えば観察ポイントＮｏ．２に隣接して新たな観察ポイントＮｏ．２−１を１つ追加するに限らず、例えば観察ポイントＮｏ．２に隣接して新たな複数の観察ポイントＮｏ．２−１を追加したり、これら新たな各観察ポイントＮｏ．２−１に隣接してそれぞれ新たな複数の観察ポイントＮｏ．２−１を追加してもよい。
【０１１１】
次に、上記の如く構成された装置の動作について説明する。
【０１１２】
標本６は、例えば神経細胞６ａである。この神経細胞６ａは、時間経過に伴って形状が変化する。例えば図１０に示すように観察ポイントＮｏ．２において、神経細胞６ａは、時間経過（時刻Ｔ１、Ｔ２、Ｔ３）に伴って形状を変化させる。これにより、神経細胞６ａは、３次元画像データの領域から出てしまう。いわゆる観察対象である神経細胞６ａの画像の欠けが生じる。
【０１１３】
このため、神経細胞６ａを長時間観察する場合、複数の観察ポイントＮｏ．１〜Ｎｏ．３におけるＸＹ軸方向の位置ずれとＺ軸方向のフォーカスずれとの調整では不十分になる。
【０１１４】
従って、先ず、変化量検出部３６は、上記第１の実施の形態と同様に、予め設定されたインターバル時間間隔で複数の観察ポイントＮｏ．１〜Ｎｏ．３における例えば第１回目と第２回目の各観察で取得さたれ各３次元画像データの各エクステンド画像データＥを作成する。
【０１１５】
次に、観察ポイント追加部３７は、変化量検出部３５により作成した複数の観察ポイントＮｏ．１〜Ｎｏ．３における第１回目と第２回目の各観察での各エクステンド画像データＥ上で神経細胞６ａの画像に欠けが生じたか否かを判断する。
【０１１６】
この判断の結果、神経細胞６ａの画像が例えば図１０に示すように観察ポイントＮｏ．２において時刻Ｔ３に欠けたと判断すると、観察ポイント追加部３７は、神経細胞６ａの画像の欠けた位置を判断する。
【０１１７】
次に、観察ポイント追加部３７は、図９に示すように観察ポイントＮｏ．２における神経細胞６ａの画像の欠けた位置に隣接して新たな観察ポイントＮｏ．２−１を追加する。
【０１１８】
この後、変化量検出部３６は、上記第１の実施の形態と同様に、予め設定されたインターバル時間間隔で複数の観察ポイントＮｏ．２−１における例えば第１回目と第２回目の各観察で取得さたれ各３次元画像データの各エクステンド画像データＥを作成する。
【０１１９】
次に、変化量検出部３６は、観察ポイントＮｏ．２−１における例えば第１回目と第２回目での各エクステンド画像データＥを比較して時間経過に伴う標本６のＸＹ軸方向の位置ずれとＺ軸方向のフォーカスずれとを検出する。
【０１２０】
次に、補正部３７は、標本６のＸＹ軸方向の位置ずれとＺ軸方向のフォーカスずれとに基づいて電動ステージ５のＸＹ軸方向の位置又はＺ軸方向の高さを補正する。
【０１２１】
この結果、神経細胞６ａの形状が時間経過に伴って変化しても、神経細胞６ａの画像に欠けが生じることはない。これにより、時間経過に伴って形状が変化する神経細胞６ａの画像データを取りこぼすことなく、神経細胞６ａの全体の３次元画像データが確実に取得できる。従って、時間経過に伴って形状の変化する神経細胞６ａを長時間観察しても、神経細胞６ａの３次元的な時間変化が確実に観察できる。
【０１２２】
そのうえ観察ポイント追加部３７は、例えば観察ポイントＮｏ．２に隣接して新たな観察ポイントＮｏ．２−１を１つ追加するに限らず、例えば観察ポイントＮｏ．２に隣接して新たな複数の観察ポイントＮｏ．２−１を追加したり、これら新たな各観察ポイントＮｏ．２−１に隣接してそれぞれ新たな複数の観察ポイントＮｏ．２−１を追加する。
【０１２３】
これにより、観察ポイント追加部３７は、神経細胞６ａの形状がＸＹ平面内のあらゆる方向に変化しても、神経細胞６ａの形状変化に追従して新たな観察ポイントＮｏ．２−１を追加できる。
【０１２４】
なお、これら新たに追加した各観察ポイントＮｏ．２−１に対しても、標本６のＸＹ軸方向の位置ずれ及び標本６のＺ軸方向のフォーカスずれを補正できることは言うまでもない。
【０１２５】
ここで、本発明のレーザ走査型顕微鏡における特徴とするところについて説明する。
【０１２６】
本発明は、標本６上の観察ポイントにおける３次元画像データを所定のインターバル時間毎に繰り返し取得するレーザ走査型顕微鏡を動作制御するのに、所定のインターバル時間毎に繰り返し取得された３次元画像データを保存する第１の工程と、この第１の工程により保存された３次元画像データのうち互いに画像取得に時間差のある各３次元画像データ同士を比較し、これら３次元画像データから時間経過に伴う標本６に関する変化量、例えば標本６のＸＹ軸方向の位置ずれ又は標本６のＺ軸方向のフォーカスずれのいずれか一方又は両方を検出する第２の工程と、標本６に関する上記変化量を検出した後に観察ポイントの３次元画像データを取得するとき、第２の工程により検出された変化量に基づいて標本６の位置を補正する第３の工程とを有することを特徴とするレーザ走査型顕微鏡の制御方法である。
【０１２７】
又、本発明のレーザ走査型顕微鏡の記憶媒体３１に記憶されている制御プログラムは、所定のインターバル時間毎に繰り返し取得された３次元画像データを保存する第１のステップと、この第１のステップにより保存された３次元画像データのうち互いに画像取得に時間差のある各３次元画像データ同士を比較し、これら３次元画像データから時間経過に伴う標本６に関する変化量、例えば標本６のＸＹ軸方向の位置ずれ又は標本６のＺ軸方向のフォーカスずれのいずれか一方又は両方を検出する第２のステップと、標本６に関する上記変化量を検出した後に観察ポイントの３次元画像データを取得するとき、第２のステップにより検出された変化量に基づいて標本６の位置を補正する第３のステップとを有する。
【０１２８】
なお、本発明は、上記第１及び第２の実施の形態に限定されるものでなく、実施段階ではその要旨を逸脱しない範囲で種々に変形することが可能である。
【０１２９】
さらに、上記実施形態には、種々の段階の発明が含まれており、開示されている複数の構成要件における適宜な組み合わせにより種々の発明が抽出できる。例えば、実施形態に示されている全構成要件から幾つかの構成要件が削除されても、発明が解決しようとする課題の欄で述べた課題が解決でき、発明の効果の欄で述べられている効果が得られる場合には、この構成要件が削除された構成が発明として抽出できる。
【０１３０】
例えば、フォーカスずれの補正は、電動ステージ５をＺ軸方向に調整するのに限らず、対物レンズ４をＺ軸方向に上下移動させてもよい。
【０１３１】
又、標本６のＸＹ軸方向の位置ずれ検出方法や標本６のＺ軸方向のフォーカスずれの検出方法は、上記第１及び第２の実施の形態に記載した各方法に限らず、各種方法を用いてもよい。
【０１３２】
【発明の効果】
以上詳記したように本発明によれば、標本の観察中の調整作業を不要とすると共に、長時間に及ぶ観察でも確実に期待できる３次元画像データを取得できるレーザ走査型顕微鏡を提供できる。
【図面の簡単な説明】
【図１】本発明に係わるレーザ走査型顕微鏡の第１の実施の形態を示す構成図。
【図２】標本上に決定された複数の観察ポイントの例を示す図。
【図３】本発明に係わるレーザ走査型顕微鏡の第１の実施の形態における変化量検出部により抽出された各スライス画像データ中の最も輝度の高いピクセル部分を示す模式図。
【図４】本発明に係わるレーザ走査型顕微鏡の第１の実施の形態における電動ステージ５の位置補正方法を説明するための図。
【図５】観察ポイントの移動先の一例をしめす図。
【図６】本発明に係わるレーザ走査型顕微鏡の第１の実施の形態におけるエクステンド画像データからのＺ切片画像の抽出位置を示す模式図。
【図７】Ｚ切片画像データの模式図。
【図８】本発明に係わるレーザ走査型顕微鏡の第２の実施の形態を示す構成図。
【図９】本発明に係わるレーザ走査型顕微鏡の第２の実施の形態における新たな観察ポイントの追加を示す図。
【図１０】神経細胞の時間経過に伴う形状変化による神経細胞の画像の欠けを示す模式図。
【図１１】本発明に係わるレーザ走査型顕微鏡の第２の実施の形態における新たな観察ポイントでの３次元画像データを示す模式図。
【符号の説明】
１：レーザ走査型顕微鏡本体
２：コンピュータシステム
３：顕微鏡筐体
４：対物レンズ
５：電動ステージ
６：標本
６ａ：神経細胞
７〜９：レーザ光源
１０，１１：合成用ダイクロイックミラー
１２，１３，１９：ミラー
１４，１６：分光フィルタ
１５：走査ユニット
１７：バリアフィルタ
１８：光検出器
２０：バリアフィルタ
２１：光検出器
２２：コントロールユニット
２３：接続インターフェース
３０：ＣＰＵ
３１：記憶媒体
３２：キーボード
３３：マウス
３４：モニタ装置
３５：変化量検出部
３６：補正部
３７：観察ポイント追加部[0001]
BACKGROUND OF THE INVENTION
The present invention repeatedly acquires three-dimensional image data at each observation point every predetermined time in order to observe a three-dimensional state that changes with time at a plurality of points on a specimen placed on a stage. The present invention relates to a laser scanning microscope.
[0002]
[Prior art]
The laser scanning microscope has a confocal optical system. This confocal optical system arranges a pinhole at a position conjugate with the focal point of the specimen by the objective lens, excludes a blurred image from the non-focal position of the specimen, and allows only the image at the focal position to pass through the pinhole. Thereby, the confocal optical system obtains a high confocal effect (optical sectioning effect). By using this confocal optical system, a slice image of a tomographic plane of a specimen having a predetermined thickness can be easily obtained.
[0003]
A laser scanning microscope is described in Patent Document 1, for example. This Patent Document 1 describes observing a three-dimensional temporal change of a specimen by giving various stimuli to living cells as a specimen and observing the specimen's response to the stimulus over time. To do.
[0004]
The laser scanning microscope has an electric stage. The confocal optical microscope automatically moves to each observation point by driving the electric stage by designating a plurality of observation points, and observes a three-dimensional time change for each observation point.
[0005]
[Patent Document 1]
JP-A-6-27383
[0006]
[Problems to be solved by the invention]
When the specimen is observed for a long time, the state of the confocal optical microscope changes with time. For example, in a laser scanning microscope, distortion occurs in the microscope body due to temperature changes. As a result, the laser scanning microscope changes the focus on the specimen, that is, the distance between the objective lens and the specimen.
[0007]
The specimen moves or changes its shape with time. As a result, the specimen does not always exist at the same position (position on the XY plane). For this reason, if the observation is continued without changing the conditions determined at the start of observation in the laser scanning microscope, for example, the conditions such as the stage position and the focus position, the position of the specimen is shifted from the middle of the observation. As a result, expected data cannot be acquired from the observation image of the specimen.
[0008]
For this reason, it is necessary to adjust the observation point and focus position of the specimen between observations of the three-dimensional image of the specimen. For this reason, the observer is forced to adjust the observation point and the focus position during observation of the specimen. In addition, in a laser scanning microscope having an electric stage, each stage position and each focus position of a plurality of observation points must be adjusted during sample observation, which is a very complicated adjustment work.
[0009]
SUMMARY OF THE INVENTION An object of the present invention is to provide a laser scanning microscope that does not require adjustment work during specimen observation and that can acquire three-dimensional image data that can be reliably expected even during long-term observation.
[0010]
[Means for Solving the Problems]
  According to a first aspect of the laser scanning microscope of the present invention, in the laser scanning microscope that repeatedly acquires the three-dimensional image data at the observation point on the specimen every predetermined time, the three-dimensional image that is repeatedly acquired every predetermined time. Image storage means for storing image data, and the three-dimensional image data stored in the image storage means are compared with each other, and the three-dimensional image data having a time difference in image acquisition are compared. A change amount detecting means for detecting a change amount relating to the specimen with progress, and the three-dimensional image data of the observation point after detecting the change amount relating to the specimen; A correction means for correcting the position of the sample based on a change amount; and a change amount detected by the change amount detection means. An observation point adding means for adding a new observation point adjacent to the observation point when it is determined that the shape of the sample has changed and has come out of the area of the image data, and the change amount detection means , At least one of a positional shift of the sample on the XY plane and a focus shift in the Z direction.AboveIt is detected as a change amount.
[0011]
  The laser scanning microscope of the present inventionA second aspect is the laser scanning microscope according to the first aspect, wherein the correction unit is based on at least one of a positional deviation of the sample on the XY plane and a focal deviation in the Z direction. The stage is corrected to at least one of the XY direction and the Z direction.
[0012]
  Laser scanning microscope of the present inventionThe third aspect of the present invention is the laser scanning microscope according to the second aspect, wherein the observation point adding means adds a plurality of the new observation points..
[0013]
  Laser scanning microscope in the present inventionThe fourth aspect of the present invention is the laser scanning microscope according to the first aspect, comprising storage means for storing each stage position of the stage with respect to the plurality of observation points on the specimen, and the correction means comprises: When the stage is moved to acquire three-dimensional image data of an arbitrary observation point, the storage unit is based on at least one of a positional deviation of the specimen on the XY plane and a focal deviation in the Z direction. To correct the stage position of the observation point stored in.
  A laser scanning microscope according to a fifth aspect of the present invention is the laser scanning microscope according to any one of the first to third aspects, wherein the change amount detecting means is the last and last time. The change amount is detected based on each of the three-dimensional image data acquired in step S1, and the correction unit corrects the sample position when the next three-dimensional image data is acquired using the detected change amount. It is characterized by that.
[0014]
The laser scanning microscope of the present invention has storage means for storing each stage position of the stage with respect to a plurality of observation points on the specimen, and the correction means moves the stage and obtains three-dimensional image data at an arbitrary observation point. At the time of acquisition, it is preferable to correct the stage position of the observation point stored in the storage unit based on one or both of the positional deviation of the specimen on the XY plane and the focal deviation in the Z direction.
[0015]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, a first embodiment of the present invention will be described with reference to the drawings.
[0016]
FIG. 1 is a configuration diagram of a laser scanning microscope. This laser scanning microscope has a laser scanning microscope main body 1 and a computer system 2. The laser scanning microscope main body 1 has a confocal optical system. An objective lens 4 and an electric stage 5 are provided facing the U-shaped microscope casing 3 of the laser scanning microscope main body 1. The specimen 6 is placed on the electric stage 5.
[0017]
The laser scanning microscope main body 1 includes three laser light sources 7 to 9, for example, an Ar laser 7, a HeNe-G laser 8, and a HeNe-R laser 9. Of these, the dichroic mirrors 10 and 11 for synthesis are provided on the optical paths of the laser beams emitted from the laser light sources 7 and 8, respectively. A mirror 12 is provided on the optical path of the laser light emitted from the laser light source 9. These synthesizing dichroic mirrors 10 and 11 are provided on the reflection optical path of the mirror 12.
[0018]
Accordingly, the laser light emitted from the laser light source 7 passes through the synthesizing dichroic mirror 10. The laser light emitted from the laser light source 8 is reflected by the synthesizing dichroic mirror 11 and incident on the synthesizing dichroic mirror 10 to be reflected. The laser beam emitted from the laser light source 9 is reflected by the mirror 12, passes through the synthesis dichroic mirror 11, enters the synthesis dichroic mirror 10, and is reflected. Thereby, each laser beam radiate | emitted from each laser light source 7-9 is synthesize | combined.
[0019]
A mirror 13 is provided on the optical path of the combined laser beam emitted from the combining dichroic mirror 10. If one laser light source 7 to 9 is selected, the laser light emitted from the synthesizing dichroic mirror 10 is not a combination of a plurality of laser lights. However, for the sake of convenience, all of the laser beams emitted from the synthesizing dichroic mirror 10 are referred to as synthetic laser beams.
[0020]
A spectral filter 14 is provided on the reflection optical path of the reflection mirror 13. The spectral filter 14 reflects the fluorescent component generated in the sample 6.
[0021]
The scanning unit 15 includes an X scanning galvanometer mirror and a Y scanning galvanometer mirror. The scanning unit 15 scans the combined laser light transmitted through the spectral filter 14 on a two-dimensional plane (XY axis direction) by the operation of the X scanning galvanometer mirror and the Y scanning galvanometer mirror. The scanning unit 15 sends the combined laser scanned in the XY axis direction to the objective lens 4 and returns the fluorescence or reflected light generated in the sample 6 to the spectral filter 14.
[0022]
A spectral filter 16 is provided on the reflected light path of the spectral filter 14. The spectral filter 16 selects wavelengths of short wavelength light and long wavelength light with a preset wavelength as a boundary. The spectral filter 16 transmits, for example, short wavelength light and reflects long wavelength light.
[0023]
A barrier filter 17 is provided on the transmitted light path of the spectral filter 16. The barrier filter 17 transmits short wavelength light transmitted through the spectral filter 16 in a preset wavelength band.
[0024]
The photodetector 18 receives light having a short wavelength that has passed through the barrier filter 17 and outputs an image signal of the sample 6.
[0025]
A barrier filter 20 is provided on the reflected light path of the spectral filter 16 via a mirror 19. The barrier filter 20 transmits the long wavelength light reflected by the spectral filter 16 in a preset wavelength band.
[0026]
The photodetector 21 receives long-wavelength light that has passed through the barrier filter 20 and outputs an image signal of the sample 6.
[0027]
When receiving a scanning instruction command issued from the computer system 2, the control unit 22 sends a scanning control signal according to the scanning instruction command to the scanning unit 15.
[0028]
Further, the control unit 22 controls the operation by combining one to three laser light sources 7 to 9 among the laser light sources 7 to 9 and selects laser light to be XY scanned on the specimen 6.
[0029]
The control unit 22 receives image signals output from the photodetectors 18 and 21, creates image data of the specimen 6 from these image signals, and transfers the image data to the computer system 2.
[0030]
The computer system 2 is connected to the laser scanning microscope main body 1 via a connection interface 23. The computer system 2 includes a CPU 30, a storage medium 31, a keyboard 32, a mouse 33, and a monitor device 34.
[0031]
The storage medium 31 stores a control program for performing control of the laser scanning microscope body 1, storage of image data transferred from the laser scanning microscope body 1, image processing, and the like.
[0032]
The storage medium 31 stores condition data necessary for scanning the sample 6 with laser light in the XY-axis direction. This condition data includes the positions of a plurality of observation points on the specimen 6, the focus positions at these observation points, the range on the Z-axis of the laser light when the specimen 6 is scanned with the laser light, and the laser scanning type. The number of slice images on the Z-axis of the specimen 6 acquired by using the sectioning effect of the confocal optical system of the microscope body 1, the sensitivities of the photodetectors 18 and 21, and the laser light sources 7 to 9 are emitted. And the intensity of each laser beam.
[0033]
The storage medium 31 stores the image data of the specimen 6 transferred from the control unit 22. These control programs, condition data, image data, and the like are stored in separate storage areas (also referred to as memory units).
[0034]
The CPU 30 executes a control program stored in the storage medium 31, and performs control of the laser scanning microscope main body 1, storage of image data transferred from the laser scanning microscope main body 1, image processing, and the like.
[0035]
Further, the CPU 30 executes a control program stored in the storage medium 31, creates three-dimensional image data based on the image data of the specimen 6 transferred from the control unit 22, and stores it in the storage medium 31.
[0036]
In addition, the CPU 30 executes a control program stored in the storage medium 31, compares the three-dimensional image data having a time difference with each other among the three-dimensional image data stored in the storage medium 31, and compares them. Detects one or both of the amount of change in the XY axis direction (hereinafter referred to as “position shift”) and the amount of change in the Z axis direction (hereinafter referred to as “focus shift”) of the sample 6 over time from the three-dimensional image data. To do. Hereinafter, the operation of the CPU 30 will be described as the change amount detection unit 35.
[0037]
In addition, when the CPU 30 acquires the three-dimensional image data of the observation point after detecting the positional deviation of the sample 6 in the XY axis direction, the electric stage is based on the positional deviation or the focus deviation detected by the change amount detection unit 35. Either one or both of the position in the XY-axis direction and the height in the Z-axis direction are corrected. Hereinafter, the operation of the CPU 30 will be described as the correction unit 36.
[0038]
Next, the operation of the apparatus configured as described above will be described.
[0039]
The observer observes an enlarged image of the specimen 6 through an eyepiece of the laser scanning microscope main body 1, for example. Then, the observer operates the electric stage 5 while observing an enlarged image of the sample 6 to determine a plurality of observation points on the sample 6. FIG. 2 shows a plurality of observation point Nos. Determined on the specimen 6. 1-No. The example of 3 is shown.
[0040]
Next, the observer, for example, has a plurality of observation point numbers. 1-No. 3 and these observation points No. 1-No. 3 and each observation position No. 1-No. 3 sets conditions such as the range of the laser beam on the Z-axis and the number of slice images when scanning the laser beam. At the same time, the observer adjusts the sensitivity of each of the photodetectors 18 and 21 and the intensity of each laser beam emitted from each of the laser light sources 7 to 9.
[0041]
These observation points No. 1-No. 3 and the focus position, the range of the laser beam on the Z-axis, the number of slice images, the sensitivities of the photodetectors 18 and 21, the intensities of the laser beams emitted from the laser light sources 7 to 9, etc. For example, it is stored in the storage medium 31 as condition data by the operation of the observer's keyboard 32 and mouse 33.
[0042]
Next, the observer operates the keyboard 32 and the mouse 33 to instruct the computer system 2 to start scanning with laser light. The computer system 2 uses the observation point No. stored in the storage medium 31. 1 condition data is read, and this condition data is set in the control unit 22 of the laser scanning microscope main body 1 via the connection interface 23.
[0043]
As a result, the observation point no. 1 and the observation point no. 1 focus position and observation point no. 1, the range on the Z-axis of the laser beam when scanning the laser beam, the number of slice images, the sensitivities of the photodetectors 18 and 21, and the laser beams emitted from the laser light sources 7 to 9 Is set.
[0044]
Next, the computer system 2 sends a scan start instruction to the control unit 22. The control unit 22 sends a scanning control signal to the scanning unit 15. In addition, the control unit 22 selects one to three laser light sources 7, 8, or 9 that output laser light that scans the specimen 6 from the laser light sources 7 to 9.
[0045]
The laser light emitted from the laser light source 7 passes through the synthesis dichroic mirror 10. The laser light emitted from the laser light source 8 is reflected by the synthesizing dichroic mirror 11 and also reflected by the next synthesizing dichroic mirror 10. The laser light emitted from the laser light source 9 is reflected by the mirror 12, passes through the synthesizing dichroic mirror 11, and is reflected by the next synthesizing dichroic mirror 10. As a result, the laser beams emitted from the laser light sources 7 to 9 are combined by the combining dichroic mirror 10.
[0046]
The combined laser light emitted from the combining dichroic mirror 10 is reflected by the mirror 13, passes through the spectral filter 14, and enters the scanning unit 15.
[0047]
The scanning unit 15 scans the combined laser light transmitted through the spectral filter 14 on a two-dimensional plane (XY axis direction) by the operation of the X scanning galvanometer mirror and the Y scanning galvanometer mirror.
[0048]
As a result, the synthesized laser light is scanned in the XY axis direction as spot light on the specimen 6 through the objective lens 4.
[0049]
The fluorescence or reflected light generated in the specimen 6 returns to the incident optical path and the reverse optical path of the synthetic laser light to the specimen 6. That is, fluorescence or reflected light enters the spectral filter 14 from the objective lens 4 through the scanning unit 15.
[0050]
The spectral filter 14 reflects the fluorescent component generated in the sample 6. This fluorescent component is wavelength-selected between short wavelength light and long wavelength light with a wavelength preset by the spectral filter 16 as a boundary. For example, the short wavelength light of the fluorescent component is transmitted through the spectral filter 16. The long wavelength light of the fluorescent component is reflected by the spectral filter 16.
[0051]
Among these, the short wavelength light of the fluorescent component enters the barrier filter 17, and only the wavelength component within the wavelength band preset by the barrier filter 17 is transmitted. The transmitted short wavelength light of the fluorescent component enters the photodetector 18.
[0052]
This photodetector 18 receives the short wavelength light of the fluorescent component that has passed through the barrier filter 17 and outputs the image signal of the sample 6.
[0053]
At the same time, the long wavelength light of the fluorescent component is reflected by the mirror 19 and enters the barrier filter 20. Only the wavelength component within the wavelength band preset by the barrier filter 20 is transmitted through the long wavelength light of the fluorescent component. The long-wavelength light of the transmitted fluorescent component is incident on the photodetector 21.
[0054]
The light detector 21 receives the long-wavelength light of the fluorescent component that has passed through the barrier filter 20. 1 outputs the image signal of the sample 6 in 1.
[0055]
The control unit 22 receives the image signals output from the photodetectors 18 and 21, creates image data of the specimen 6 from the image signals, and transfers the image data to the computer system 2.
[0056]
The computer system 2 stores each image data of the specimen 6 in the storage medium 31 and displays it on the monitor device 34.
[0057]
In this case, the laser scanning microscope main body 1 has an observation point No. in the condition data. The motorized stage 5 is moved up and down in the Z-axis direction based on the focus position of 1, the range on the Z-axis of the laser beam when scanning with the laser beam, the number of slice images, etc. Acquire multiple slice images.
[0058]
Therefore, the computer system 2 has the observation point No. A plurality of slice image data in 1 is stored in the storage medium 31 as three-dimensional image data.
[0059]
Next, the computer system 2 uses the observation point No. stored in the storage medium 31. 2 condition data is read out, and this condition data is set in the control unit 22 of the laser scanning microscope main body 1 via the connection interface 23.
[0060]
As a result, the observation point no. As in the case of No. 1, the observation point no. A plurality of slice images in 2 are acquired. Therefore, the computer system 2 has the observation point No. 2 is stored in the storage medium 31 as three-dimensional image data.
[0061]
All observation point Nos. Specified as described above are used. 1-No. A plurality of three-dimensional image data for every three are stored in the storage medium 31, respectively. Thereby, by displaying these three-dimensional image data on the monitor device 34, each observation point No. 1-No. Three observations are made. This observation is referred to as the first observation.
[0062]
Thereafter, when a preset interval time elapses, the computer system 2 again checks each observation point No. as described above. 1-No. Condition data is read every three, and this condition data is set in the control unit 22 of the laser scanning microscope main body 1 via the connection interface 23. As a result, the computer system 2 causes each observation point no. 1-No. A plurality of slice image data having passed the interval time in 3 are acquired, and these slice image data are stored in the storage medium 31 as three-dimensional image data. Thereby, each observation point No. after the preset interval time elapses. 1-No. Three observations are made. This observation is referred to as the second observation.
[0063]
Furthermore, when a preset interval time elapses, a third observation is performed. In the third observation, the change amount detection unit 35 of the computer system 2 receives each observation point No. stored in the storage medium 31. 1-No. Each three-dimensional image data in each of the first and second observations is read out.
[0064]
Next, the change amount detection unit 35 receives each observation point No. 1-No. The three-dimensional image data acquired in the first and second observations are compared every three, and the positional deviation in the XY-axis direction of the sample 6 with the passage of the interval time is detected from the comparison result. .
[0065]
Here, a method for detecting the positional deviation of the sample 6 in the XY axis direction will be specifically described.
[0066]
Each observation point No. 1-No. When the acquisition of the three-dimensional image data for the first time and the second time for every three is completed, the change amount detection unit 35 receives each observation point No. 1-No. For every three, for each slice image data of the three-dimensional image data, the pixel having the highest luminance is extracted from the slice image data. For example, as shown in FIG. 1 in the Z-axis direction in 1₁Position, Z₂Position, Z₃Each slice image data D at the position₁, D₂, D₃Each pixel portion P having the highest brightness₁, P₂, P₃, P₄To extract. These pixel parts P₁, P₂, P₃, P₄Is the highest luminance, so each Z₁Position, Z₂Position, Z₃Each position is just focused.
[0067]
Next, the change amount detection unit 35 receives each pixel portion P.₁, P₂, P₃, P₄The extended image data E in the X and Y axis directions is created and stored in the storage medium 31. As a result, from the extended image data E, it is possible to acquire image data in focus at all Z positions in the Z-axis direction.
[0068]
Next, the change amount detection unit 35 receives each observation point No. 1-No. For each of the three, the first and second extended image data E are acquired from the three-dimensional image data acquired at the first time and the second time, respectively.
[0069]
Next, the change amount detection unit 35 receives each observation point No. 1-No. For example, each of the first and second extended image data E is compared every three, and for example, each pixel portion P detected from the comparison result₁, P₂, P₃, P₄The positional deviation of the sample 6 in the XY axis direction is detected from the deviation of the pixel unit.
[0070]
Note that another method may be used as a method of detecting the positional deviation of the specimen 6 in the XY axis direction. For example, the extended image data E of the first and second observations at the observation point is acquired as one method.
[0071]
Next, each of these extended image data E is binarized.
[0072]
Next, the respective gravity center positions of the observation objects in the specimen 6 are obtained in each of the binarized extended image data E.
[0073]
Next, a change in the position of the center of gravity of each observation target in the first and second observations is obtained, and this is detected as a positional deviation of the sample 6 in the XY axis direction.
[0074]
Furthermore, one method acquires each extended image data E of each observation of the 1st time and the 2nd time in an observation point like the above, for example.
[0075]
Next, the edge of the observation object is detected in each of the extended image data E.
[0076]
Next, by performing pattern recognition on these edges, a change in the position of the observation target for the first and second observations is obtained, and this is detected as a positional deviation of the sample 6 in the XY axis direction.
[0077]
Next, in the third observation, the correction unit 36 sets each observation point No. 1-No. 3, the position of the electric stage 5 in the XY-axis direction is corrected based on the displacement in the XY-axis direction of the sample 6 detected by the change amount detection unit 35.
[0078]
Here, the position correction of the electric stage 5 will be specifically described.
[0079]
For example, the observation point No. The position of the electric stage 5 at the time of the first observation in FIG._P1, Y_P1). This stage position (X_P1, Y_P1) Is the same as the second observation position.
[0080]
  The positional deviation in the XY-axis direction of the specimen 6 due to the first and second observations is, for example, ΔX₃, ΔY₃In this case, the observation point No. For example, as shown in FIG._P1+ ΔX₃, Y_P1+ ΔY₃).
[0081]
  Note that the positional deviation ΔX in the XY axis direction₃, ΔY₃Shows the difference between the amount of movement of the observation object between each extended image data E acquired in each of the first and second observations, and the position of the electric stage 5 in each of the first and second observations. Including.
[0082]
Thereby, the movement destination of the electric stage 5 in the n-th observation is (X_P1+ ΔX_n, Y_P1+ ΔY_n)become. Note that n is a natural number. Where ΔX_n, ΔY_nIs the amount of movement of the observation target in the sample 6 determined by each extended image data E acquired in each of the first and n−1th observations and the position of the electric stage 5.
[0083]
Therefore, the correction unit 36 has the n-th observation point No. 1, the movement destination of the electric stage 5 is (X_P1+ ΔX_n, Y_P1+ ΔY_n) Is sent to the control unit 22. Thereby, the electric stage 5 is
(X_P1+ ΔX_n, Y_P1+ ΔY_n) Position.
[0084]
When the specimen is observed for a long time, the microscope main body is distorted due to, for example, a temperature change in the laser scanning microscope over time. The sample 6 moves in position with time. Thereby, the laser scanning microscope does not adjust the observation point No. at the same position unless the stage position of the electric stage 5 is adjusted. 1 makes it impossible to observe the specimen 6.
[0085]
On the other hand, since the correction unit 36 corrects the stage position of the electric stage 5, the laser scanning microscope has an observation point No. in the n-th observation, for example, the third observation. The three-dimensional image data of one observation object can be reliably acquired.
[0086]
In the laser scanning microscope, each electric point 5 is moved by moving the electric stage 5. 1-No. Three observation target three-dimensional image data is repeatedly acquired at predetermined intervals. At this time, the correction unit 36 sets each observation point No. 1-No. The stage position of the electric stage 5 is corrected every time the movement to 3 is performed. As a result, the laser scanning microscope has each observation point no. 1-No. 3, the three-dimensional image data to be observed can be reliably acquired.
[0087]
Note that another method may be used as a method of correcting the positional deviation of the specimen 6 in the XY axis direction. One method considers the amount of change in the displacement of the observation target in the sample 6.
[0088]
  First, observation point no. 1, the positional deviation of the observation target in the sample 6 is obtained by the third observation as described above. This misalignment is
For example (ΔX₄, ΔY₄).
[0089]
  Next, the displacement (ΔX₄, ΔY₄) And the above displacement (ΔX₃, ΔY₃) (ΔX)₄-ΔX₃, ΔY₄-ΔY₃)
[0090]
  Next, the movement destination (X_P1+ ΔX₄, Y_P1+ ΔY₄)
Difference (ΔX₄-ΔX₃, ΔY₄-ΔY₃). NextThe destination of the electric stage 5 is
(X_P1+(2.ΔX₄-ΔX₃ ), Y_P1+(2.ΔY₄-ΔY₃)become.
[0091]
Therefore, the movement destination of the electric stage 5 during the n-th observation is
(X_P1+ 2 · ΔX_n-ΔX_n-1, Y_P1+ 2 · ΔY_n-ΔY_n-1)become.
[0092]
Where ΔX_n, ΔY_nIndicates three-dimensional image data acquired in each of the first and (n-1) th observations, and the positional deviation of the observation target due to the stage position of the electric stage 5 in these observations. ΔX_n-1, ΔY_n-1These show the three-dimensional image data acquired by each observation of the 1st time and the n-2nd observation, and the position shift of the observation object by the stage position of the electric stage 5 in these observations.
[0093]
Next, a method for detecting the height deviation of the sample 6 in the Z-axis direction, that is, the focus deviation will be specifically described.
[0094]
First, the change amount detection unit 35 receives each observation point No. 1-No. For every three, an XZ slice image is extracted from an arbitrary Y-axis position from each three-dimensional image data. Thereby, the change amount detection unit 35 creates the Z-intercept image data Q as shown in FIG.
[0095]
The Z slice image data Q is created for each observation of the first time and the second time. These Z-intercept image data Q are stored in the storage medium 31.
[0096]
Next, the change amount detection unit 35 receives each observation point No. 1-No. For example, each of the first and second Z-intercept image data Q is compared every three, and for example, each pixel portion P detected from the comparison result₂, P₃The focus shift in the Z-axis direction of the sample 6 is detected from the shift in pixel units.
[0097]
Next, in the third observation, the correction unit 36 sets each observation point No. 1-No. 3, the position of the electric stage 5 in the Z-axis direction is corrected based on the focus shift in the Z-axis direction of the specimen 6 detected by the change amount detection unit 35.
[0098]
When the specimen is observed for a long time, the microscope main body is distorted due to a temperature change in a laser scanning microscope, for example, with the passage of time. Thereby, the laser scanning microscope changes the focus position with respect to the specimen 6. For this reason, if the observation is continued without changing the focus position determined at the start of observation in the laser scanning microscope, the focus position with respect to the specimen 6 is shifted from the middle of the observation.
[0099]
On the other hand, since the correction unit 36 corrects the Z-axis direction of the electric stage 5, the laser scanning microscope has an observation point No. in the n-th observation, for example, the third observation. It is possible to reliably acquire focused three-dimensional image data for one observation target.
[0100]
Note that another method may be used as a method of correcting the focus shift of the sample 6. In one method, when the extended image data E as shown in FIG. 6 is created, the extended image data is created by assigning the Z position data of the pixel having the highest luminance to the luminance. At this time, the luminance of the pixel having a low Z position is reduced, and the luminance of the pixel having a high Z position is assigned to be large. The extended image data of the Z position data is created for each of the first and second observations and is stored in the storage medium 31.
[0101]
Thereby, the positional deviation of the specimen 6 in the XY-axis direction is obtained by comparing the positions of the observation targets in the extended image data acquired in the first and second observations. Further, by comparing the brightness values in the extended image data, that is, the Z position data, a focus shift with respect to the sample 6 is obtained.
[0102]
As a result, by correcting the Z-axis direction of the electric stage 5, for example, in the third observation, the observation point No. It is possible to reliably acquire focused three-dimensional image data for one observation target.
[0103]
As described above, in the first embodiment, a plurality of observation point Nos. Are set at preset time intervals. 1-No. 3, for example, each extended image data E of each three-dimensional image data acquired in each of the first and second observations is created, and these extended image data E are compared, and the XY axes of the specimen 6 over time are compared. The position shift in the direction and the focus shift in the Z-axis direction are detected, and the position in the XY axis direction or the height in the Z-axis direction of the electric stage 5 is corrected based on the position shift and the focus shift.
[0104]
Therefore, when observing a specimen for a long time, even if the microscope body is distorted due to, for example, a temperature change in the laser scanning microscope over time or the position of the specimen 6 is moved over time, a plurality of observation points No. . 1-No. 3, the observation object in the sample 6 can be reliably kept within the field of view of the laser scanning microscope. Further, even if the laser scanning microscope is distorted due to a temperature change in the laser scanning microscope over time, a plurality of observation point Nos. 1-No. 3, it is possible to continue focusing on the specimen 6.
[0105]
As a result, even if the position of the sample 6 is shifted with time, or the focus on the sample 6 is shifted, the electric stage 5 can be automatically corrected in the XY axis direction or the Z axis direction. The observer does not have to perform a very complicated stage position adjustment operation during long-time observation of the sample 6.
[0106]
As a result, for example, by applying various stimuli to the living cells as the specimen 6 and observing the temporal response of the specimen 6 to this stimulus, the three-dimensional temporal change of the specimen 6 can be observed.
[0107]
Next, a second embodiment of the present invention will be described with reference to the drawings. The same parts as those in FIG. 1 are denoted by the same reference numerals, and detailed description thereof is omitted.
[0108]
FIG. 8 is a configuration diagram of a laser scanning microscope. This laser scanning microscope has an observation point adding unit 37 in the computer system 2. The observation point adding unit 37 changes the shape of the sample 6 based on the positional deviation of the sample 6 in the XY axis direction and the focus deviation in the Z axis direction with the passage of time detected by the change amount detecting unit 35. It is determined whether or not the dimensional image data is out of the area.
[0109]
As a result of this determination, if it is determined that the specimen 6 has moved out of the region of the 3D image data, the observation point adding unit 37, for example, as shown in FIG. 1-No. 3, for example, observation point no. A new observation point no. 2-1 is added.
[0110]
The observation point adding unit 37 is, for example, an observation point No. A new observation point no. For example, the observation point no. A plurality of new observation points No. 2 adjacent to 2-1, or adding each of these new observation points. A plurality of new observation points No. 2 adjacent to 2-1. 2-1 may be added.
[0111]
Next, the operation of the apparatus configured as described above will be described.
[0112]
The specimen 6 is, for example, a nerve cell 6a. The shape of the nerve cell 6a changes with time. For example, as shown in FIG. In 2, the neuron 6a changes its shape with time (time T1, T2, T3). Thereby, the nerve cell 6a comes out of the area | region of three-dimensional image data. A missing image of a so-called observation target nerve cell 6a occurs.
[0113]
Therefore, when the nerve cell 6a is observed for a long time, a plurality of observation points No. 1-No. The adjustment of the positional deviation in the XY axis direction and the focus deviation in the Z axis direction at 3 is insufficient.
[0114]
Therefore, first, the change amount detection unit 36, as in the first embodiment, has a plurality of observation point Nos. At predetermined interval time intervals. 1-No. For example, each extended image data E of the three-dimensional image data obtained in the first observation and the second observation in 3 is created.
[0115]
Next, the observation point adding unit 37 includes a plurality of observation point Nos. Created by the change amount detecting unit 35. 1-No. 3, it is determined whether or not the image of the nerve cell 6 a is missing on each extended image data E in the first and second observations.
[0116]
As a result of this determination, the image of the nerve cell 6a is displayed as an observation point No. as shown in FIG. If it is determined that the time T3 is missing at time 2, the observation point adding unit 37 determines the position where the image of the nerve cell 6a is missing.
[0117]
Next, as shown in FIG. 2 is adjacent to the position where the image of the neuron 6a is missing. 2-1 is added.
[0118]
Thereafter, the change amount detection unit 36, as in the first embodiment, has a plurality of observation point Nos. At predetermined intervals. For example, each extended image data E of the three-dimensional image data acquired in each of the first and second observations in 2-1 is created.
[0119]
Next, the change amount detection unit 36 has an observation point No. For example, the extended image data E at the first time and the second time in 2-1 are compared to detect the positional deviation of the sample 6 in the XY-axis direction and the focus deviation in the Z-axis direction over time.
[0120]
Next, the correction unit 37 corrects the position in the XY axis direction or the height in the Z axis direction of the electric stage 5 based on the positional deviation of the sample 6 in the XY axis direction and the focus deviation in the Z axis direction.
[0121]
As a result, even if the shape of the nerve cell 6a changes with the passage of time, the image of the nerve cell 6a does not lack. Thereby, the whole three-dimensional image data of the nerve cell 6a can be reliably acquired without losing the image data of the nerve cell 6a whose shape changes with time. Therefore, even if the nerve cell 6a whose shape changes with the passage of time is observed for a long time, the three-dimensional time change of the nerve cell 6a can be reliably observed.
[0122]
In addition, the observation point adding unit 37 is, for example, an observation point No. A new observation point no. For example, the observation point no. A plurality of new observation points No. 2 adjacent to 2-1, or adding each of these new observation points. A plurality of new observation points No. 2 adjacent to 2-1. 2-1 is added.
[0123]
Thereby, even if the shape of the nerve cell 6a changes in all directions in the XY plane, the observation point adding unit 37 follows the change in the shape of the nerve cell 6a and sets a new observation point No. 2-1 can be added.
[0124]
Each newly added observation point No. Needless to say, the positional deviation of the specimen 6 in the XY axis direction and the focal deviation of the specimen 6 in the Z axis direction can also be corrected for 2-1.
[0125]
Here, the features of the laser scanning microscope of the present invention will be described.
[0126]
The present invention controls the operation of a laser scanning microscope that repeatedly obtains three-dimensional image data at an observation point on a specimen 6 every predetermined interval time, so that the three-dimensional image data obtained repeatedly every predetermined interval time is used. And the three-dimensional image data stored in the first step, and the three-dimensional image data having a time difference in image acquisition are compared with each other. A second step of detecting a change amount related to the sample 6, for example, one or both of a position shift of the sample 6 in the XY-axis direction and a focus shift of the sample 6 in the Z-axis direction, and the change amount related to the sample 6 are detected. When the three-dimensional image data of the observation point is acquired after the third step, a third position for correcting the position of the sample 6 based on the amount of change detected by the second step A laser scanning microscope control method characterized by having a degree.
[0127]
The control program stored in the storage medium 31 of the laser scanning microscope of the present invention includes a first step for storing three-dimensional image data repeatedly obtained at predetermined intervals, and the first step. The three-dimensional image data stored in step 3 are compared with each other, and the amount of change with respect to the sample 6 over time from the three-dimensional image data, for example, the XY axis direction of the sample 6 is compared. A second step of detecting either or both of the positional deviation of the specimen 6 or the focus deviation of the specimen 6 in the Z-axis direction, and when obtaining the three-dimensional image data of the observation point after detecting the amount of change related to the specimen 6; And a third step of correcting the position of the sample 6 based on the amount of change detected in the second step.
[0128]
In addition, this invention is not limited to the said 1st and 2nd embodiment, In the implementation stage, it can change variously in the range which does not deviate from the summary.
[0129]
Furthermore, the above embodiments include inventions at various stages, and various inventions can be extracted by appropriately combining a plurality of disclosed constituent requirements. For example, even if some constituent elements are deleted from all the constituent elements shown in the embodiment, the problem described in the column of the problem to be solved by the invention can be solved, and is described in the column of the effect of the invention. If the effect is obtained, a configuration from which this configuration requirement is deleted can be extracted as an invention.
[0130]
For example, the correction of the focus shift is not limited to adjusting the electric stage 5 in the Z-axis direction, but the objective lens 4 may be moved up and down in the Z-axis direction.
[0131]
Further, the method for detecting the positional deviation of the specimen 6 in the XY axis direction and the method for detecting the focal deviation of the specimen 6 in the Z-axis direction are not limited to the methods described in the first and second embodiments, and various methods can be used. It may be used.
[0132]
【The invention's effect】
As described above in detail, according to the present invention, it is possible to provide a laser scanning microscope that does not require adjustment work during observation of a specimen and can acquire three-dimensional image data that can be reliably expected even during long-time observation.
[Brief description of the drawings]
FIG. 1 is a configuration diagram showing a first embodiment of a laser scanning microscope according to the present invention.
FIG. 2 is a diagram showing an example of a plurality of observation points determined on a specimen.
FIG. 3 is a schematic diagram showing a pixel portion having the highest luminance in each slice image data extracted by a change amount detection unit in the first embodiment of the laser scanning microscope according to the present invention.
FIG. 4 is a view for explaining a method for correcting the position of the electric stage 5 in the first embodiment of the laser scanning microscope according to the present invention.
FIG. 5 is a diagram illustrating an example of a movement destination of an observation point.
FIG. 6 is a schematic diagram showing the extraction position of a Z-intercept image from extended image data in the first embodiment of the laser scanning microscope according to the present invention.
FIG. 7 is a schematic diagram of Z-section image data.
FIG. 8 is a configuration diagram showing a second embodiment of a laser scanning microscope according to the present invention.
FIG. 9 is a diagram showing addition of a new observation point in the second embodiment of the laser scanning microscope according to the present invention.
FIG. 10 is a schematic diagram showing a missing image of a nerve cell due to a shape change with the passage of time of the nerve cell.
FIG. 11 is a schematic diagram showing three-dimensional image data at a new observation point in the second embodiment of the laser scanning microscope according to the present invention.
[Explanation of symbols]
1: Laser scanning microscope body
2: Computer system
3: Microscope housing
4: Objective lens
5: Electric stage
6: Specimen
6a: nerve cell
7-9: Laser light source
10, 11: Dichroic mirror for synthesis
12, 13, 19: Mirror
14, 16: Spectral filter
15: Scanning unit
17: Barrier filter
18: Photodetector
20: Barrier filter
21: Photodetector
22: Control unit
23: Connection interface
30: CPU
31: Storage medium
32: Keyboard
33: Mouse
34: Monitor device
35: Change amount detection unit
36: Correction unit
37: Observation point addition part

Claims

In a laser scanning microscope that repeatedly obtains three-dimensional image data at an observation point on a specimen every predetermined time,
Image storage means for storing the three-dimensional image data repeatedly acquired every predetermined time;
Of the three-dimensional image data stored in the image storage means, the three-dimensional image data having a time difference with respect to each other are compared with each other, and the amount of change with respect to the sample over time is detected from these three-dimensional image data. Change amount detecting means,
Correction means for correcting the position of the specimen based on the amount of change detected by the amount of change detection means when acquiring the three-dimensional image data of the observation point after detecting the amount of change with respect to the specimen;
Observation that adds a new observation point adjacent to the observation point when it is determined that the shape of the sample has changed and has moved out of the area of the image data based on the variation detected by the variation detection means Point addition means,
Comprising
It said variation detecting means includes a laser scanning microscope, which comprises detecting at least either one as the change amount of the positional deviation and focus deviation in the Z direction on the XY plane of the sample.

The correction means corrects the stage to at least one of the XY direction and the Z direction based on at least one of a positional shift of the sample on the XY plane and a focus shift in the Z direction. 2. The laser scanning microscope according to claim 1, wherein:

The laser scanning microscope according to claim 2, wherein the observation point adding means adds a plurality of the new observation points.

Storage means for storing each stage position of the stage with respect to a plurality of the observation points on the specimen;
The correction means is based on at least one of a positional deviation on the XY plane of the specimen and a focal deviation in the Z direction when the stage is moved to acquire three-dimensional image data of an arbitrary observation point. The laser scanning microscope according to claim 1, wherein the stage position of the observation point stored in the storage unit is corrected.

The change amount detecting means detects the change amount based on each three-dimensional image data acquired at the previous time and the last time,
The correction unit corrects a sample position when the next three-dimensional image data is acquired, using the detected change amount. The laser scanning microscope described.