JP3896196B2

JP3896196B2 - Scanning microscope

Info

Publication number: JP3896196B2
Application number: JP25342797A
Authority: JP
Inventors: 広平山
Original assignee: Olympus Corp
Current assignee: Olympus Corp
Priority date: 1997-09-18
Filing date: 1997-09-18
Publication date: 2007-03-22
Anticipated expiration: 2017-09-18
Also published as: JPH1195119A

Description

【０００１】
【発明の属する技術分野】
本発明は、ステージ上に載置された試料上にスポット光を走査することで試料を観察する走査型顕微鏡に関するものである。
【０００２】
【従来の技術】
周知のように、走査型顕微鏡は、スポット光であるレーザビームを対物レンズを介して観察試料上に照射し、試料からの反射光を、再び対物レンズ、光学系を介して点状に結像し、これを光検出器で検出して像の濃淡情報を得るようにしたもので、この場合、試料上にレーザビームが照射しただけでは、点状の濃淡情報しか得られないことから、実際は、レーザビームを試料表面で走査し、この走査にともなう試料表面での濃淡分布情報を取り込みモニターなどに表示することにより、試料表面の画像を得るようにしている。
【０００３】
この場合、観察者は、レーザビームが走査される観察試料領域の画像をモニター上で確認しながら、常に鮮明な画像が観察できるように光検出器の感度を調整するなどの一連の操作を行うようにもしている。
【０００４】
【発明が解決しようとする課題】
ところで、このような走査型顕微鏡では、レーザビームを試料表面で連続して走査するため、ガルバノメータが用いられているが、このガルバノメータは、その特性上、高速で走査することができず、レーザビームを試料面で走査して１画面分の画像を取り込むには、数秒程度の時間を要している。
【０００５】
このため、実際の試料観察に際して、試料上の注目領域について、さらに鮮明な観察画像を取り込みたいため、光検出器の感度を繰り返し調整することがあると、この所望する鮮明画像を得られるまでに多大な手間と時間がかかってしまう。つまり、このような場合、光検出器の所定の感度で取り込んだ画像を見て、光検出器の感度を調整し、その後、次の１画像が得られるまで数秒待って、画像がどのように変化したかを確認し、さらに光検出器の感度調整を行うという、操作の繰り返しが必要となり、操作性が悪いばかりでなく、時間もかかるという問題があった。
【０００６】
そこで、従来、間引き走査を行う方法があるが、この方法によると、走査ライン数が半分になるので、１画面の取り込み時間は半分に短縮できるが、試料表面の画像情報量も半減するため、鮮明な画像が得られなくなり、また、この場合も、試料上の注目領域、およびそれ以外の領域を含めた範囲について、同じような走査が行われるので、上述した操作性の悪さは解消されない。
本発明は、上記事情に鑑みてなされたもので、試料に対する所望する観察画像を速やかに得られる走査型顕微鏡を提供することを目的とする。
【０００７】
【課題を解決するための手段】
請求項１記載の発明は、ステージ上に載置された試料上にスポット光を走査することで試料を観察する走査型顕微鏡において、前記スポット光の走査を行う走査手段と、前記ステージ上の試料を撮像する撮像手段を有するとともに該撮像手段により撮像された観察画像を取込む画像取込み手段と、この画像取込み手段により取込まれた観察画像の少なくとも1ラインごとの輝度情報から前記観察画像中の輝度の分布を求める輝度分布検出手段と、この輝度分布検出手段の検出結果に基づいて、前記走査手段による１画面分の走査ラインのうち前記スポット光を実際に走査するラインを決定する走査ライン決定手段と、前記走査ライン決定手段により決定された走査ラインだけを前記走査手段により走査させて走査画像を生成する制御手段とを具備し、前記決定された走査ラインは１画面分の走査ライン数より少ないことを特徴としている。
【０００８】
請求項２記載の発明は、ステージ上に載置された試料上にスポット光を走査することで試料を観察する走査型顕徴鏡において、前記スポット光の走査を行う走査手段と、前記ステージ上の試料を撮像する撮像手段を有するとともに該撮像手段により撮像された観察画像を取込む画像取込み手段と、この画像取込み手段により取込まれた観察画像の２値化処理により前記観察画像中の輝度の分布を求める輝度分布検出手段と、この輝度分布検出手段の検出結果に基づいて、前記走査手段による１画面分の走査領域のうち前記スポット光を実際に走査する領域を決定する走査領域決定手段と、前記走査領域決定手段により決定された走査領域だけを前記走査手段により走査させて走査画像を生成する制御手段とを具備し、前記決定された走査領域は１画面分の走査領域より小さいことを特徴としている。
【０００９】
請求項３記載の発明は、ステージ上に載置された試料上にスポット光を走査することで試料を観察する走査型顕微鏡において、前記スポット光の走査を行う走査手段と、前記ステージ上の試料を撮像する撮像手段を有するとともに該撮像手段により撮像された観察画像を取込む画像取込み手段と、この画像取込み手段により取込まれた観察画像中の輝度の分布を求める輝度分布検出手段と、この輝度分布検出手段の検出結果に基づいて、前記走査手段による１画面分の走査領域のうち前記スポット光を実際に走査する領域を決定する走査領域決定手段と、この走査領域決定手段により決定されたスポット光走査領域が所定の走査領域内にあるかを判断する走査領域判断手段と、この走査領域判断手段の判断結果により前記走査領域決定手段により決定されたスポット光走査領域を前記所定の走査領域内に位置するように前記試料を載置したステージを移動するステージ駆動手段と、前記走査領域決定手段により決定された走査領域だけを前記走査手段により走査させて走査画像を生成する制御手段とを具備し、前記決定された走査領域は１画面分の走査領域より小さいことを特徴としている。
請求項４記載の発明は、前記決定された領域を前記観察画像にオーバレイ表示する表示手段を具備したことを特徴としている。
請求項５記載の発明は、前記決定された領域を前記観察画像にオーバレイ表示する表示手段と、前記表示手段に表示される前記決定された走査領域の修正、追加を行う操作手段と、前記操作手段により変更された走査領域の情報を記憶する手段とを備え、前記制御手段は、前記記憶手段に記憶された走査領域情報に基づいて、この走査領域情報に対応する走査領域だけを前記走査手段により走査するように制御することを特徴としている。
【００１０】
この結果、請求項１記載の発明によれば、ステージ上に載置された試料を撮像した観察画像を取込み、この観察画像の少なくとも１ラインごとの輝度情報から観察画像中の輝度の分布を求め、この輝度分布に基づいて走査ライン決定手段により試料上のスポット光を走査するラインを決定するようにしたので、観察対象に対し必要最小限のスポット光走査により観察画像を取込むことができる。
【００１１】
請求項２記載の発明によれば、ステージ上に載置された試料を撮像した観察画像を取込み、この観察画像の２値化処理により観察画像中の輝度の分布を求め、この輝度分布に基づいて走査領域決定手段により試料上のスポット光を走査する領域を決定するようにしたので、観察対象に対し必要最小限のスポット光走査により観察画像を取込むことができる。
【００１２】
請求項３記載の発明によれば、ステージ上に載置された試料を撮像した観察画像を取込み、この観察画像の２値化処理により観察画像中の輝度の分布を求め、この輝度分布に基づいて走査領域決定手段により試料上のスポット光を走査する領域を決定し、この決定したスポット光走査領域が所定の走査領域内にない場合は、ステージを移動してスポット光走査領域を所定の走査領域に位置させるようにして試料上のスポット光走査を行うようにできるので、所定領域外の観察対象に対しても必要最小限のスポット光走査により観察画像を取込むことができる。
【００１３】
【発明の実施の形態】
以下、本発明の実施の形態を図面に従い説明する。
（第１の実施の形態）
図１は、本発明の第１の実施の形態の概略構成を示すもので、ここでは、走査型レーザ顕微鏡システムに本発明を適用した例を示している。
【００１４】
図において、１は走査型レーザ顕微鏡本体で、この顕微鏡本体１は、レーザ光源２、ミラー３、ダイクロイックミラー４、２次元走査ユニット５、レボルバ６、対物レンズ７、ステージ８、試料９、レンズ１０、ピンホール板１１、共焦点光検出器１２、光源１３および光路切替えユニット１４を有している。
【００１５】
ここで、レーザ光源２は、試料９の表面を走査するスポット光としてのレーザ光を発生するためのもので、このレーザ光源２からのレーザ光をミラー３により反射させ、ダイクロイックミラー４を介して２次元走査ユニット５に導くようにしている。２次元走査ユニット５は、ミラー３より与えられたレーザ光源２からのレーザ光を試料９上に２次元走査するためのもので、例えばＸ軸方向走査用のガルバノミラーとＹ軸方向走査用のガルバノミラーを有していて、これらガルバノミラーをＸ軸方向およびＹ軸方向に振ることで対物レンズ７に対するスポット光の光路をＸＹ方向に振らせるようになっている。レボルバ６は、倍率の異なる複数の対物レンズ７を保持するもので、レボルバ６の切り替えにより、複数の対物レンズ７のうち所望の倍率を持つ対物レンズ７を顕微鏡の観察光路中に選択挿入するようにしている。そして、この選択挿入された対物レンズ７を通して２次元走査ユニット５により２次元走査されたスポット光をステージ８上の試料９に照射するようにしている。
【００１６】
試料９からの反射光や蛍光などの画像情報を、対物レンズ７を通して２次元走査ユニット５に戻し、この２次元走査ユニット５を介してダイクロイックミラー４に戻すようにしている。このダイクロイックミラー４は、２次元走査ユニット５に対するレーザ光源２の出射光路上に設けられた半透明鏡であって、２次元走査ユニット５を介して与えられる試料９からの画像情報を光検出系に導くためのものである。
【００１７】
ダイクロイックミラー４を介して得た２次元走査ユニット５からの画像情報をレンズ１０で集光し、ピンホール板１１に与えるようにしている。このピンホール板１１は、所定径のピンホールを開けたもので、共焦点光検出器１２の受光面の前面の結像位置に、そのピンホールを位置させるように配置している。また、共焦点光検出器１２は、ピンホール板１１のピンホールを介して得られる光をその光量対応の電気信号に変換する光検出素子からなっている。
【００１８】
一方、光源１３は、通常の光学顕微鏡として使用する場合に点灯されるもので、対物レンズ７を通してステージ８上の試料９を照明するものである。そして、例えばミラーの下方にハーフミラーを備えた光路切替えユニット１４は、２次元走査ユニット５とレボルバ６の間に設けられ、光学顕微鏡として光源１３が点灯している状態で光路上に挿入され、レーザ走査用の光路から後述する撮像手段のＴＶカメラ１９による画像取込み用の光路に切替えるようにしている。
【００１９】
走査型レーザ顕微鏡本体１の共焦点光検出器１２には、コントローラ１５を接続し、このコントローラ１５には、操作パネル１６、メモリ１７、画像モニタ１８、ＴＶカメラ１９およびステージ駆動装置２０を接続している。
【００２０】
操作パネル１６は、キーボードの他に、トラックボールやジョイスティクあるいはマウスなどのポインティングデバイスを含んでおり、ユーザからの指示によりコントローラ１５に対して走査指示などを出力するようにしている。
【００２１】
コントローラ１５は、操作パネル１６から走査指示が入力されると、光路切替えユニット１４に対しＴＶカメラ１９による画像取込み用光路への切替指令を出力するとともに、ＴＶカメラ１９に対して試料９の観察画像の取込みを指示し、ＴＶカメラ１９より取込んだ試料９のＴＶ画像をメモリ１７に転送するとともに、このＴＶ画像の輝度情報に基づいて２次元走査ユニット５の走査を決定するようにしている。この場合、ＴＶカメラ１９のＴＶ画像の輝度情報から、画像中の輝度の分布を求める方法には、各ライン上の輝度値の平均を求める手段を採用し、また、２次元走査ユニット５の走査を決定する基準としては、予め輝度のしきい値を設定しておき、このしきい値と輝度値の平均に基づいて観察対象の有無を判定するとともに、この判定結果に基づいて走査を決定するようにしている。
【００２２】
また、コントローラ１５は、光路切替えユニット１４に対しレーザ走査用光路への切替え指令を出力するとともに、２次元走査ユニット５の走査の決定に基づいて走査開始位置信号を出力し、２次元走査ユニット５の走査より得られた光検出器１２の試料９の画像情報をメモリ１７に転送するようにしている。また、必要に応じてステージ駆動装置２０にステージ８の移動指令を出力するようにもしている。
【００２３】
ＴＶカメラ１９は、コントローラ１５の指示に従い、ステージ８上の試料９の１画面分の画像を取込み、この画像取込みが終了すると、画像取り込み完了信号をコントローラ１５に出力するようにしている。また、メモリ１７は、ＴＶカメラ１９および光検出器１２からコントローラ１５を介して転送される試料９にかかる画像情報を記憶するものである。画像モニタ１８は、メモリ１７に記憶された試料９の画像情報を表示するものである。そして、ステージ駆動装置２０は、コントローラ１５の指示によりステージ８をＸおよびＹ方向に移動するものである。
【００２４】
次に、以上のように構成した実施の形態の動作を説明する。
まず、通常の顕微鏡観察により試料９上の観察領域を決定し、その後、操作パネル１６よりコントローラ１５に走査開始指令を出力する。
【００２５】
これにより、図２に示すフローチャートが実行される。
この場合、操作パネル１６よりコントローラ１５に走査開始指令を出力すると、ステップ２０１で、コントローラ１５より光路切替えユニット１４に切替指令が出力され、ＴＶカメラ１９による画像取込み用光路に切替えられる。
【００２６】
次いで、ステップ２０２で、コントローラ１５よりＴＶカメラ１９に対して試料９の観察画像の取込みが指示されると、ステージ８上の試料９の観察画像がＴＶカメラ１９により撮像され、ＴＶ画像として取込まれる。この場合、光源１３が点灯され、試料９は照明される。
【００２７】
そして、ステップ２０３で、ＴＶカメラ１９による試料９の１画面分の画像取込みが終了すると、コントローラ１５への画像取り込み完了信号により、ＴＶ画像はメモリ１７に転送され記憶される。
【００２８】
この後、ステップ２０４で、コントローラ１５より光路切替えユニット１４に切替指令が出力されると、今度は、レーザ走査用光路に切替えられる。
次に、ステップ２０５で、コントローラ１５によりメモリ１７に記憶されたＴＶ画像の輝度情報に基づいて２次元走査ユニット５の走査が決定される。この場合、まず、ＴＶ画像の最初の１ラインが着目され、ステップ２０６で、この１ライン上の輝度の平均値が求められる。そして、ステップ２０７で、この求められた輝度値の平均値は、予め設定されているしきい値と比較され、ここで、求められた平均値が、仮に、しきい値より大きいと判断されると、ステップ２０８で、コントローラ１５により２次元走査ユニット５に走査開始位置信号が出力され、２次元走査ユニット５の走査よりレーザ光源２からのレーザ光が、対物レンズ７を介して試料９上に１ライン分照射され、このレーザ光照射により得られた試料９からの蛍光による画像情報がピンホール板１１を介して光検出器１２に取込まれる。そして、ステップ２０９で、光検出器１２に取込まれた画像情報は、メモリ１７に転送され格納される。つまり、１ライン上の輝度の平均値がしきい値より大きい場合に、観察対象であると判定され、この１ラインについての走査が決定される。
【００２９】
一方、ステップ２０７で、１ライン上の輝度の平均値がしきい値以下と判断された場合は、２次元走査ユニット５による実際の走査は行わず、ステップ２１０で、１ライン分のデータが０にセットされ、ステップ２０９で、データ０がメモリ１７に格納される。そして、ステップ２１１で、画像モニタ１８にメモリ１７に記憶された試料９の画像情報が表示される。
【００３０】
次に、ステップ２１２で、ＴＶ画像の最終ラインまでの処理が終了したかが判断し、最終ラインまでの処理が終了していなければ、ステップ２１３で、メモリ１７に記憶されたＴＶ画像の次のラインに処理対象が移され、ステップ２０６に戻って、ステップ２０６からステップ２１３までの処理が繰り返される。その後、１画面分の画像データの処理が終わって、ステップ２１２で、最終ラインの処理と判断されると、ステップ２１４により、操作パネル１６より観察者が走査終了を指示するまで、ステップ２０５に戻って、ステップ２０５からステップ２１４までの処理が繰り返される。
【００３１】
従って、このようにすれば、ステージ８上に載置された試料９をＴＶカメラ１９により撮像し、この撮像された観察画像をコントローラ１５に取込み、この観察画像の各ライン上の輝度値の平均値と予め設定されたしきい値から、観察画像中の輝度の分布を求め、この輝度分布に基づいて２次元走査ユニット５による試料９上のスポット光を走査するラインを決定するようにしたので、試料９上の観察対象に対し必要最小限のスポット光走査により観察画像を取込むことができる。つまり、この場合、図３に示すようにＴＶカメラ１９により撮像されたＴＶ画像３１に対して、試料９上の観察対象３２の部分のみがスポット光走査領域３３に設定され、この観察対象３２に対してのみスポット光の走査が行われ、観察画像が得られるようになる。これにより、試料上の注目領域について鮮明な観察画像を取り込みたいため光検出器などの感度を繰り返し調整する場合も、短時間で感度調整後の観察画像を取込むことができるので、蛍光試料の退色を招くことなく、速やかに所望する観察画像を入手できるとともに、この際の操作性も改善することができる。
（第２の実施の形態）
次に、本発明の第２の実施の形態について説明する。この場合、第２の実施の形態が適用される走査型レーザ顕微鏡システムについては、第１の実施の形態で述べた図１のものと同様なので、ここでは、図１を援用して説明を省略する。
【００３２】
この実施の形態のコントローラ１５は、ＴＶカメラ１９から得られたＴＶ画像の輝度の分布を算出する方法として、２値化処理を行う手段を採用し、予め２値化のためのしきい値を設定しているものとする。
【００３３】
次に、以上のように構成した実施の形態の動作を説明する。
まず、通常の顕微鏡観察により試料９上の観察領域を決定し、その後、操作パネル１６よりコントローラ１５に走査開始指令を出力する。
【００３４】
これにより、図４に示すフローチャートが実行される。
この場合、操作パネル１６よりコントローラ１５に走査開始指令を出力すると、ステップ４０１で、コントローラ１５より光路切替えユニット１４に切替指令が出力され、ＴＶカメラ１９による画像取込み用光路に切替えられる。
【００３５】
次いで、ステップ４０２で、コントローラ１５よりＴＶカメラ１９に対して試料９の観察画像の取込みが指示されると、ステージ８上の試料９の観察画像がＴＶカメラ１９により撮像され、ＴＶ画像として取込まれる。この場合、光源１３が点灯され、試料９は照明される。
【００３６】
そして、ステップ４０３で、ＴＶカメラ１９による試料９の１画面分の画像取込みが終了すると、コントローラ１５への画像取り込み完了信号により、ＴＶ画像はメモリ１７に転送され記憶される。
【００３７】
この後、ステップ４０４で、コントローラ１５より光路切替えユニット１４に切替指令が出力されると、今度は、レーザ走査用光路に切替えられる。
ここまでは、第１の実施の形態と同様である。
【００３８】
次に、ステップ４０５で、メモリ１７に記憶されたＴＶ画像に対し、予め設定されたしきい値に基づいた２値化処理が行われる。そして、ステップ４０６で、２値化処理により得られたデータについて画像として残った部分に着目し、この画像部分に外接する矩形を求め、この矩形範囲を走査すべき領域と判定する。この走査領域の情報は、ステップ４０７で、メモリ１７に記憶される。
【００３９】
次に、ステップ４０８で、コントローラ１５により走査領域以外で走査を行わない領域のために、メモリ１７に１画面分の０データを書き込む。
次いで、ステップ４０９で、メモリ１７に記憶された最初の走査領域情報を着目し、ステップ４１０で、この走査領域情報に対応する走査領域について２次元走査ユニット５によるレーザ光の走査が行われる。この場合、コントローラ１５により２次元走査ユニット５に走査開始位置信号が出力されると、２次元走査ユニット５の走査よりレーザ光源２からのレーザ光は、対物レンズ７を介して試料９上の走査領域上に照射され、このレーザ光の照射により得られた試料９からの蛍光による画像情報がピンホール板１１を介して光検出器１２に取込まれる。
【００４０】
ステップ４１１で、光検出器１２に取込まれた画像情報は、メモリ１７に転送され格納される。そして、ステップ４１２で、画像モニタ１８にメモリ１７に記憶された画像情報が表示される。
【００４１】
次に、ステップ４１３で、全ての走査領域情報に対応する走査領域について、処理が終了したかが判断され、処理が終了していなければ、ステップ４１４で、メモリ１７に記憶された次の走査領域情報に対応する走査領域に処理対象が移され、ステップ４１０に戻って、ステップ４１０からステップ４１４までの処理が繰り返される。その後、１画面分の全ての走査領域情報に対応する処理が終わると、次に、ステップ４１５で、操作パネル１６より観察者が走査終了を指示するまで、ステップ４０９に戻って、ステップ４０９からステップ４１５までの処理が繰り返される。
【００４２】
従って、このようにしても、ステージ８上に載置された試料９をＴＶカメラ１９により撮像し、この撮像された観察画像をコントローラ１５に取込み、この観察画像の２値化処理により観察画像中の輝度の分布を求め、この輝度分布に基づいて２次元走査ユニット５による試料９上のスポット光を走査する領域を決定するようにしたので、試料９上の観察対象に対し必要最小限のスポット光走査により観察画像を取込むことができる。つまり、この場合、図５に示すようにＴＶカメラ１９により撮像されたＴＶ画像３４に対して試料９上の観察対象３５、３６のそれぞれにスポット光走査領域３７に設定され、これら観察対象３５、３６を含む領域３７に対してのみスポット光の走査が行われ、観察画像が得られるようになる。これにより、第１の実施の形態と同様な効果を期待できる。
（第３の実施の形態）
次に、本発明の第３の実施の形態について説明する。この場合、第３の実施の形態が適用される走査型レーザ顕微鏡システムについては、第１の実施の形態で述べた図１のものと同様なので、ここでも、図１を援用して説明を省略する。
【００４３】
第２の実施の形態では、走査領域を判定すると、この判定結果の走査領域情報をメモリ１７に記憶するようにしたが、この第３の実施の形態では、走査領域の判定結果をＴＶ画像上にオーバレイ表示し、走査領域の修正および追加などを可能にしている。
【００４４】
この場合、コントローラ１５に走査開始指令を出力すると、図６に示すフローチャートが実行される。
まず、操作パネル１６よりコントローラ１５に走査開始指令を出力すると、ステップ６０１で、コントローラ１５より光路切替えユニット１４に切替指令が出力され、ＴＶカメラ１９による画像取込み用光路に切替えられる。
【００４５】
次いで、ステップ６０２で、コントローラ１５よりＴＶカメラ１９に対して試料９の観察画像の取込みが指示されると、ステージ８上の試料９の観察画像がＴＶカメラ１９により撮像され、ＴＶ画像として取込まれる。この場合、光源１３が点灯され、試料９は照明される。
【００４６】
そして、ステップ６０３で、ＴＶカメラ１９による試料９の１画面分の画像取込みを終了すると、コントローラ１５への画像取り込み完了信号により、ＴＶ画像はメモリ１７に転送され記憶される。
【００４７】
この後、ステップ６０４で、コントローラ１５より光路切替えユニット１４に切替指令が出力されると、今度は、レーザ走査用光路に切替えられる。
次に、ステップ６０５で、メモリ１７に記憶されたＴＶ画像に対し、予め設定されたしきい値に基づいた２値化処理が行われる。そして、ステップ６０６で、２値化処理により得られたデータについて画像として残った部分に着目し、この画像部分に外接する矩形を求め、この矩形範囲を走査すべき領域と判定する。
【００４８】
次いで、ステップ６０７で、走査領域の判定結果を画像モニタ１８のＴＶ画像上にオーバレイで表示させ、ステップ６０８で、走査領域の修正および追加などを可能にする。この場合、観察者は、画像モニタ１８の画面を見ながら操作パネル１６を使って走査領域の修正および追加などの変更を行うようになる。
【００４９】
そして、これら変更が加えられた走査領域の情報は、ステップ６０９で、メモリ１７に記憶される。
次に、ステップ６１０で、コントローラ１５により走査領域以外で走査を行わない領域のために、メモリ１７に１画面分の０データが書き込まれる。
【００５０】
次いで、ステップ６１１で、メモリ１７に記憶された最初の走査領域情報を着目し、ステップ６１２で、この走査領域情報に対応する走査領域について２次元走査ユニット５によるレーザ光の走査が行われる。この場合、コントローラ１５により２次元走査ユニット５に走査開始位置信号が出力されると、２次元走査ユニット５の走査よりレーザ光源２からのレーザ光は、対物レンズ７を介して試料９上の走査領域上に照射され、このレーザ光の照射により得られた試料９からの蛍光による画像情報がピンホール板１１を介して光検出器１２に取込まれる。
【００５１】
ステップ６１３で、光検出器１２に取込まれた画像情報は、メモリ１７に転送され格納される。そして、ステップ６１４で、画像モニタ１８にメモリ１７に記憶された画像情報が表示される。
【００５２】
次に、ステップ６１５で、全ての走査領域情報に対応する走査領域について、処理が終了したかが判断され、処理が終了していなければ、ステップ６１６で、メモリ１７に記憶された次の走査領域情報に対応する走査領域に処理対象が移され、ステップ６１２に戻って、ステップ６１２からステップ６１６までの処理が繰り返される。その後、１画面分の全ての走査領域情報に対応する処理が終わると、次に、ステップ６１７で、操作パネル１６より観察者が走査終了を指示するまで、ステップ６１１に戻って、ステップ６１１からステップ６１７までの処理が繰り返される。
【００５３】
従って、このようにすれば、第２の実施の形態と同様な効果を期待でき、さらに観察画像中の走査領域の修正および追加などの変更にも簡単に応じることができる。
（第４の実施の形態）
次に、本発明の第４の実施の形態について説明する。この場合、第４の実施の形態が適用される走査型レーザ顕微鏡システムについては、第１の実施の形態で述べた図１のものと同様なので、ここでも、図１を援用して説明を省略する。
【００５４】
一般に、ＬＳＭ（レーザ走査顕微鏡）の走査領域は、ガルバノメータの特性から顕微鏡視野全体をカバーすることはできず、このため、ＬＳＭの走査領域外に観察対象がある場合、そのままでは、試料観察を行うことができない。この第４の実施の形態では、ＬＳＭの走査領域よりＴＶ画像の方がより広い領域を観察できることに着目して、ＬＳＭの走査領域外にある観察対象の観察も可能にしている。
【００５５】
この場合、コントローラ１５に走査開始指令を出力すると、図７に示すフローチャートが実行される。
まず、操作パネル１６よりコントローラ１５に走査開始指令を出力すると、ステップ７０１で、コントローラ１５より光路切替えユニット１４に切替指令が出力され、ＴＶカメラ１９による画像取込み用光路に切替えられる。
【００５６】
次いで、ステップ７０２で、コントローラ１５よりＴＶカメラ１９に対して試料９の観察画像の取込みが指示されると、ステージ８上の試料９の観察画像がＴＶカメラ１９により撮像され、ＴＶ画像として取込まれる。この場合、光源１３が点灯され、試料９は照明される。
【００５７】
そして、ステップ７０３で、ＴＶカメラ１９による試料９の１画面分の画像取込みを終了すると、コントローラ１５への画像取り込み完了信号により、ＴＶ画像はメモリ１７に転送され記憶される。
【００５８】
この後、ステップ７０４で、コントローラ１５より光路切替えユニット１４に切替指令が出力されると、今度は、レーザ走査用光路に切替えられる。
次に、ステップ７０５で、メモリ１７に記憶されたＴＶ画像に対し、予め設定されたしきい値に基づいて２値化処理が行われる。そして、ステップ７０６で、２値化処理により得られたデータについて画像として残った部分に着目し、この部分に外接する矩形を求め、この矩形範囲を走査すべき領域と判定する。
【００５９】
次いで、ステップ７０７で、走査領域の判定結果を画像モニタ１８のＴＶ画像上にオーバレイで表示させ、ステップ７０８で、走査領域の修正および追加などを可能にする。この場合、観察者は、画像モニタ１８の画面を見ながら操作パネル１６を使って走査領域の修正および追加などの変更を行うようになる。
【００６０】
そして、これら変更が加えられた走査領域の情報は、ステップ７０９で、メモリ１７に記憶される。
次に、ステップ７１０で、コントローラ１５により走査領域以外で走査を行わない領域のために、メモリ１７に１画面分の０データが書き込まれる。
【００６１】
次いで、ステップ７１１で、メモリ１７に記憶された最初の走査領域情報を着目し、ステップ７１２で、観察対象の走査領域がＬＳＭの走査領域の外側にあるかが判断される。この場合、例えば、図８に示すように顕微鏡の視野３８に対して観察対象３９が、ＬＳＭの走査領域４０の外側で、しかもＴＶ画像４１の内側に位置するものとすると、ステップ７１２では、走査領域がＬＳＭの走査領域の外側にあると判断される。
【００６２】
すると、ステップ７１３で、コントローラ１５によりステージ駆動装置２０が駆動され、観察対象の走査領域がＬＳＭの走査領域の内側にくるまでステージ８が移動される。さらに、ステップ７１４で、ステージ８の移動量を考慮した走査領域が求められ、ステップ７１５で、この領域に対し２次元走査ユニット５によるレーザ光の走査が行われる。この場合、コントローラ１５により２次元走査ユニット５に走査開始位置信号が出力されると、２次元走査ユニット５の走査よりレーザ光源２からのレーザ光は、対物レンズ７を介して試料９上の走査領域上に照射され、このレーザ光の照射により得られた試料９からの蛍光による画像情報がピンホール板１１を介して光検出器１２に取込まれる。
【００６３】
その後、ステップ７１６で、ステージ８が元の位置に戻され、ステップ７１７で、光検出器１２に取込まれた画像情報は、メモリ１７に転送され格納される。一方、ステップ７１２で、走査領域がＬＳＭの走査領域の内側にあると判断された場合は、ステップ７１８で、この走査領域について２次元走査ユニット５によるレーザ光の走査が行われ、この走査により光検出器１２に取込まれた画像情報は、ステップ７１７で、メモリ１７に転送され格納される。
【００６４】
そして、ステップ７１９で、画像モニタ１８にメモリ１７に記憶された画像情報が表示される
次に、ステップ７２０で、全ての走査領域情報に対応する走査領域について、処理が終了したかが判断され、処理が終了していなければ、ステップ７２１で、メモリ１７に記憶された次の走査領域情報に対応する走査領域に処理対象が移され、ステップ７１２に戻って、ステップ７１２からステップ７２１までの処理が繰り返される。その後、１画面分の全ての走査領域情報に対応する処理が終わると、次に、ステップ７２２で、操作パネル１６より観察者が走査終了を指示するまで、ステップ７１１に戻って、ステップ７１１からステップ７２２までの処理が繰り返される。
【００６５】
従って、このようにすれば、ステージ８上に載置された試料９をＴＶカメラ１９により撮像し、この撮像された観察画像をコントローラ１５に取込み、この観察画像の２値化処理により観察画像中の輝度の分布を求め、この輝度分布に基づいて２次元走査ユニット５による試料９上のスポット光を走査する領域を決定し、この決定したスポット光走査領域がＬＳＭ走査領域内にない場合は、ステージ駆動装置２０によりステージ８を移動してスポット光走査領域をＬＳＭ走査領域内に位置させるようにして、試料９上のスポット光走査を行うようにできるので、第１の実施の形態と同様な効果を期待でき、さらに、ＬＳＭ走査領域外の観察対象に対しても必要最小限のスポット光走査により観察画像を取込むことができる。
【００６６】
【発明の効果】
以上述べたように本発明によれば、試料上の観察対象に対してのみスポット光の走査が行われ、観察画像が得られるので、試料上の注目領域について鮮明な観察画像を取り込みたいため光検出器などの感度を繰り返し調整する場合も、短時間で感度調整後の観察画像を取込むことができるので、蛍光試料の退色を招くことなく、速やかに所望する観察画像を入手できるとともに、この際の操作性も改善することができる。
【図面の簡単な説明】
【図１】本発明の第１の実施の形態の概略構成を示す図。
【図２】第１の実施の形態の動作を説明するためのフローチャート。
【図３】第１の実施の形態を説明するための図。
【図４】本発明の第２の実施の形態の動作を説明するためのフローチャート。
【図５】第２の実施の形態を説明するための図。
【図６】本発明の第３の実施の形態の動作を説明するためのフローチャート。
【図７】本発明の第４の実施の形態の動作を説明するためのフローチャート。
【図８】第４の実施の形態を説明するための図。
【符号の説明】
１…走査型レーザ顕微鏡本体、
２…レーザ光源、
３…ミラー、
４…ダイクロイックミラー、
５…２次元走査ユニット、
６…レボルバ、
７…対物レンズ、
８…ステージ、
９…試料、
１０…レンズ、
１１…ピンホール板、
１２…共焦点光検出器、
１３…光源、
１４…光路切替えユニット、
１５…コントローラ、
１６…操作パネル、
１７…メモリ、
１８…画像モニタ、
１９…ＴＶカメラ、
２０…ステージ駆動装置。[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a scanning microscope that observes a sample by scanning spot light on the sample placed on a stage.
[0002]
[Prior art]
As is well known, a scanning microscope irradiates an observation sample with a laser beam, which is a spot light, through an objective lens, and forms reflected light from the sample in a dot shape again through the objective lens and optical system. However, this is detected by a photodetector to obtain image density information.In this case, only point-like density information can be obtained only by irradiating the sample with a laser beam. The image of the sample surface is obtained by scanning the laser beam on the sample surface and capturing the density distribution information on the sample surface along with this scanning and displaying it on a monitor or the like.
[0003]
In this case, the observer performs a series of operations such as adjusting the sensitivity of the photodetector so that a clear image can always be observed while confirming the image of the observation sample area scanned by the laser beam on the monitor. I am also doing so.
[0004]
[Problems to be solved by the invention]
By the way, in such a scanning microscope, a galvanometer is used in order to continuously scan the laser beam on the surface of the sample. However, this galvanometer cannot scan at high speed due to its characteristics. It takes about several seconds to capture an image for one screen by scanning the sample surface.
[0005]
For this reason, when actually observing the sample, in order to capture a clearer observation image of the region of interest on the sample, if the sensitivity of the photodetector is repeatedly adjusted, the desired clear image can be obtained. It takes a lot of time and effort. That is, in such a case, look at the image captured with the predetermined sensitivity of the photodetector, adjust the sensitivity of the photodetector, and then wait a few seconds until the next one image is obtained. It was necessary to repeat the operation of confirming whether it had changed, and further adjusting the sensitivity of the photodetector, which caused not only poor operability but also time.
[0006]
Therefore, conventionally, there is a method of performing thinning scanning. According to this method, since the number of scanning lines is halved, the time for capturing one screen can be reduced to half, but the amount of image information on the sample surface is also halved. A clear image cannot be obtained. Also in this case, since the same scanning is performed on the region of interest on the sample and the range including the other regions, the above-described poor operability cannot be solved.
The present invention has been made in view of the above circumstances, and an object thereof is to provide a scanning microscope that can quickly obtain a desired observation image on a sample.
[0007]
[Means for Solving the Problems]
  The invention according to claim 1 is a scanning microscope that observes a sample by scanning spot light on the sample placed on the stage.Scanning means for scanning the spot light;An image capturing unit that captures an image of the sample on the stage, captures an observation image captured by the image capturing unit, and luminance information for at least one line of the observation image captured by the image capturing unit. Based on the luminance distribution detection means for obtaining the luminance distribution in the observation image, and the detection result of the luminance distribution detection means,Of the scanning lines for one screen by the scanning meansThe spot lightactuallyScanning line determining means for determining a line to be scanned;And control means for generating a scanned image by causing the scanning means to scan only the scanning lines determined by the scanning line determining means, wherein the determined scanning lines are less than the number of scanning lines for one screen. It is characterized by.
[0008]
  According to a second aspect of the present invention, there is provided a scanning microscope for observing a sample by scanning spot light on a sample placed on a stage, scanning means for scanning the spot light, and on the stage An image capturing unit that captures an image of the sample, and an image capturing unit that captures an observation image captured by the image capturing unit, and luminance in the observation image by binarization processing of the observation image captured by the image capturing unit Brightness distribution detecting means for obtaining the distribution of the light, and scanning area determining means for determining an area in which the spot light is actually scanned among the scanning areas for one screen by the scanning means based on the detection result of the brightness distribution detecting means And control means for generating a scanned image by causing the scanning means to scan only the scanning area determined by the scanning area determining means.The scanning area is smaller than the scanning area for one screen.It is a feature.
[0009]
  According to a third aspect of the present invention, there is provided a scanning microscope for observing a sample by scanning the spot light on the sample placed on the stage, a scanning means for scanning the spot light, and the sample on the stage An image capturing means for capturing the image, and an image capturing means for capturing an observation image captured by the image capturing means, and the image capturingmeansOf luminance in the observed image captured bydistributionA luminance distribution detecting means for obtaining a scanning area determining means for determining an area in which the spot light is actually scanned among scanning areas for one screen by the scanning means based on a detection result of the luminance distribution detecting means; A scanning area determination means for determining whether the spot light scanning area determined by the scanning area determination means is within a predetermined scanning area, and a spot determined by the scanning area determination means based on the determination result of the scanning area determination means A stage driving unit that moves a stage on which the sample is placed so that an optical scanning region is positioned within the predetermined scanning region, and only the scanning region determined by the scanning region determining unit is scanned by the scanning unit. Control means for generating a scanned image, the determinedThe scanning area must be smaller than the scanning area for one screen.It is characterized by.
  According to a fourth aspect of the invention, there is provided display means for displaying the determined area on the observation image as an overlay.
  According to a fifth aspect of the present invention, there is provided display means for overlaying the determined area on the observation image, operation means for correcting and adding the determined scanning area displayed on the display means, and the operation Means for storing information on the scanning area changed by the means, and the control means, based on the scanning area information stored in the storage means, applies only the scanning area corresponding to the scanning area information to the scanning means. It is characterized by controlling so that it scans by.
[0010]
As a result, according to the first aspect of the present invention, the observation image obtained by imaging the sample placed on the stage is taken, and the luminance distribution in the observation image is obtained from the luminance information for each line of the observation image. Since the line for scanning the spot light on the sample is determined by the scanning line determination means based on this luminance distribution, the observation image can be captured by the minimum necessary spot light scanning for the observation target.
[0011]
According to the second aspect of the present invention, an observation image obtained by imaging the sample placed on the stage is taken, and the distribution of luminance in the observation image is obtained by binarization processing of the observation image. Based on this luminance distribution Thus, the scanning area determining means determines the area for scanning the spot light on the sample, so that the observation image can be captured by the minimum necessary spot light scanning for the observation target.
[0012]
  According to the third aspect of the present invention, an observation image obtained by imaging the sample placed on the stage is taken, and the distribution of luminance in the observation image is obtained by binarization processing of the observation image. Based on this luminance distribution If the spot light scanning area on the sample is scanned by the scanning area determination means, and the determined spot light scanning area is not within the predetermined scanning area, the stage is moved to scan the spot light scanning area. Since the spot light scanning on the sample can be performed so as to be positioned in the region, the observation image can be captured by the minimum necessary spot light scanning even for the observation object outside the predetermined region.
[0013]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, embodiments of the present invention will be described with reference to the drawings.
(First embodiment)
FIG. 1 shows a schematic configuration of the first embodiment of the present invention. Here, an example in which the present invention is applied to a scanning laser microscope system is shown.
[0014]
In the figure, reference numeral 1 denotes a scanning laser microscope main body. The microscope main body 1 includes a laser light source 2, a mirror 3, a dichroic mirror 4, a two-dimensional scanning unit 5, a revolver 6, an objective lens 7, a stage 8, a sample 9, and a lens 10. A pinhole plate 11, a confocal light detector 12, a light source 13, and an optical path switching unit 14.
[0015]
Here, the laser light source 2 is for generating laser light as spot light for scanning the surface of the sample 9. The laser light from the laser light source 2 is reflected by the mirror 3, and passes through the dichroic mirror 4. The two-dimensional scanning unit 5 is guided. The two-dimensional scanning unit 5 is for two-dimensionally scanning the laser beam from the laser light source 2 provided from the mirror 3 on the sample 9, for example, a galvano mirror for X-axis direction scanning and a Y-axis direction scanning. A galvanometer mirror is provided, and the galvanometer mirror is swung in the X-axis direction and the Y-axis direction so that the optical path of the spot light with respect to the objective lens 7 is swung in the XY direction. The revolver 6 holds a plurality of objective lenses 7 having different magnifications. By switching the revolver 6, the objective lens 7 having a desired magnification among the plurality of objective lenses 7 is selectively inserted into the observation optical path of the microscope. I have to. Then, the sample 9 on the stage 8 is irradiated with the spot light that is two-dimensionally scanned by the two-dimensional scanning unit 5 through the objective lens 7 that is selectively inserted.
[0016]
Image information such as reflected light and fluorescence from the sample 9 is returned to the two-dimensional scanning unit 5 through the objective lens 7 and then returned to the dichroic mirror 4 via the two-dimensional scanning unit 5. The dichroic mirror 4 is a semi-transparent mirror provided on the outgoing light path of the laser light source 2 with respect to the two-dimensional scanning unit 5, and image information from the sample 9 given via the two-dimensional scanning unit 5 is detected by a light detection system. It is to lead to.
[0017]
The image information from the two-dimensional scanning unit 5 obtained through the dichroic mirror 4 is condensed by the lens 10 and given to the pinhole plate 11. The pinhole plate 11 has a pinhole of a predetermined diameter, and is arranged so that the pinhole is positioned at the imaging position on the front surface of the light receiving surface of the confocal photodetector 12. The confocal light detector 12 includes a light detection element that converts light obtained through the pinhole of the pinhole plate 11 into an electric signal corresponding to the light amount.
[0018]
On the other hand, the light source 13 is turned on when used as a normal optical microscope, and illuminates the sample 9 on the stage 8 through the objective lens 7. For example, the optical path switching unit 14 provided with a half mirror below the mirror is provided between the two-dimensional scanning unit 5 and the revolver 6 and is inserted into the optical path with the light source 13 turned on as an optical microscope. The optical path for laser scanning is switched to the optical path for capturing an image by the TV camera 19 of the imaging means described later.
[0019]
A controller 15 is connected to the confocal light detector 12 of the scanning laser microscope main body 1, and an operation panel 16, a memory 17, an image monitor 18, a TV camera 19, and a stage driving device 20 are connected to the controller 15. ing.
[0020]
In addition to the keyboard, the operation panel 16 includes a pointing device such as a trackball, a joystick, or a mouse, and outputs a scanning instruction or the like to the controller 15 according to an instruction from the user.
[0021]
When a scanning instruction is input from the operation panel 16, the controller 15 outputs a command for switching to the optical path for capturing an image by the TV camera 19 to the optical path switching unit 14, and the observation image of the sample 9 to the TV camera 19. The TV image of the sample 9 acquired from the TV camera 19 is transferred to the memory 17 and the scanning of the two-dimensional scanning unit 5 is determined based on the luminance information of the TV image. In this case, as a method for obtaining the luminance distribution in the image from the luminance information of the TV image of the TV camera 19, means for obtaining the average of the luminance values on each line is adopted, and the scanning of the two-dimensional scanning unit 5 is performed. As a reference for determining the brightness, a threshold value of brightness is set in advance, and the presence / absence of an observation target is determined based on the average of the threshold value and the brightness value, and scanning is determined based on the determination result. I am doing so.
[0022]
The controller 15 outputs a command for switching to the optical path for laser scanning to the optical path switching unit 14 and outputs a scanning start position signal based on the determination of scanning by the two-dimensional scanning unit 5. The image information of the sample 9 of the photodetector 12 obtained by the scanning is transferred to the memory 17. Further, a movement command for the stage 8 is output to the stage driving device 20 as necessary.
[0023]
The TV camera 19 captures an image of one screen of the sample 9 on the stage 8 in accordance with an instruction from the controller 15, and outputs an image capture completion signal to the controller 15 when the image capture is completed. The memory 17 stores image information relating to the sample 9 transferred from the TV camera 19 and the photodetector 12 via the controller 15. The image monitor 18 displays the image information of the sample 9 stored in the memory 17. The stage driving device 20 moves the stage 8 in the X and Y directions according to instructions from the controller 15.
[0024]
Next, the operation of the embodiment configured as described above will be described.
First, an observation region on the sample 9 is determined by normal microscope observation, and then a scanning start command is output from the operation panel 16 to the controller 15.
[0025]
Thereby, the flowchart shown in FIG. 2 is executed.
In this case, when a scanning start command is output from the operation panel 16 to the controller 15, in step 201, a switching command is output from the controller 15 to the optical path switching unit 14, and the TV camera 19 is switched to the image capturing optical path.
[0026]
Next, in step 202, when the controller 15 instructs the TV camera 19 to capture the observation image of the sample 9, the observation image of the sample 9 on the stage 8 is captured by the TV camera 19 and captured as a TV image. It is. In this case, the light source 13 is turned on and the sample 9 is illuminated.
[0027]
Then, in step 203, when the image capture of one screen of the sample 9 by the TV camera 19 is completed, the TV image is transferred to the memory 17 and stored by an image capture completion signal to the controller 15.
[0028]
Thereafter, when a switching command is output from the controller 15 to the optical path switching unit 14 in step 204, this time, switching to the optical path for laser scanning is performed.
Next, in step 205, the scanning of the two-dimensional scanning unit 5 is determined based on the luminance information of the TV image stored in the memory 17 by the controller 15. In this case, first, the first line of the TV image is focused, and in step 206, the average value of luminance on this one line is obtained. In step 207, the average value of the obtained luminance values is compared with a preset threshold value. Here, it is determined that the obtained average value is larger than the threshold value. In step 208, the controller 15 outputs a scanning start position signal to the two-dimensional scanning unit 5, and laser light from the laser light source 2 is scanned on the sample 9 via the objective lens 7 from the scanning of the two-dimensional scanning unit 5. One line is irradiated, and image information by fluorescence from the sample 9 obtained by this laser beam irradiation is taken into the photodetector 12 through the pinhole plate 11. In step 209, the image information captured by the photodetector 12 is transferred to and stored in the memory 17. That is, when the average luminance value on one line is larger than the threshold value, it is determined that the object is an observation target, and scanning for this one line is determined.
[0029]
On the other hand, if it is determined in step 207 that the average luminance value on one line is equal to or lower than the threshold value, actual scanning by the two-dimensional scanning unit 5 is not performed, and in step 210, data for one line is 0. In step 209, data 0 is stored in the memory 17. In step 211, the image information of the sample 9 stored in the memory 17 is displayed on the image monitor 18.
[0030]
Next, in step 212, it is determined whether the processing up to the last line of the TV image has been completed. If the processing up to the final line has not been completed, in step 213, the next TV image stored in the memory 17 is stored. The processing target is moved to the line, the process returns to step 206, and the processing from step 206 to step 213 is repeated. Thereafter, when the processing of the image data for one screen is completed and it is determined in step 212 that the process is the final line, the process returns to step 205 until the observer instructs the end of scanning from the operation panel 16 in step 214. Thus, the processing from step 205 to step 214 is repeated.
[0031]
Accordingly, in this case, the sample 9 placed on the stage 8 is imaged by the TV camera 19, the observed image taken is taken into the controller 15, and the average of the luminance values on each line of the observed image is taken. Since the luminance distribution in the observation image is obtained from the value and the preset threshold value, the line for scanning the spot light on the sample 9 by the two-dimensional scanning unit 5 is determined based on the luminance distribution. The observation image can be captured by the minimum necessary spot light scanning with respect to the observation object on the sample 9. That is, in this case, only the portion of the observation target 32 on the sample 9 is set in the spot light scanning region 33 with respect to the TV image 31 captured by the TV camera 19 as shown in FIG. Only the spot light is scanned, and an observation image can be obtained. As a result, even when the sensitivity of a photodetector or the like is repeatedly adjusted to capture a clear observation image of a region of interest on the sample, the observation image after sensitivity adjustment can be captured in a short time. The desired observation image can be obtained quickly without causing fading, and the operability at this time can also be improved.
(Second Embodiment)
Next, a second embodiment of the present invention will be described. In this case, the scanning laser microscope system to which the second embodiment is applied is the same as that of FIG. 1 described in the first embodiment, and therefore description thereof is omitted here with the aid of FIG. To do.
[0032]
The controller 15 of this embodiment employs means for performing binarization processing as a method for calculating the luminance distribution of the TV image obtained from the TV camera 19, and sets a threshold for binarization in advance. It is assumed that it is set.
[0033]
Next, the operation of the embodiment configured as described above will be described.
First, an observation region on the sample 9 is determined by normal microscope observation, and then a scanning start command is output from the operation panel 16 to the controller 15.
[0034]
Thereby, the flowchart shown in FIG. 4 is executed.
In this case, when a scan start command is output from the operation panel 16 to the controller 15, in step 401, a switch command is output from the controller 15 to the optical path switching unit 14, and the TV camera 19 is switched to an image capturing optical path.
[0035]
Next, in step 402, when the controller 15 instructs the TV camera 19 to capture the observation image of the sample 9, the observation image of the sample 9 on the stage 8 is captured by the TV camera 19 and captured as a TV image. It is. In this case, the light source 13 is turned on and the sample 9 is illuminated.
[0036]
In step 403, when the image capture of one screen of the sample 9 by the TV camera 19 is completed, the TV image is transferred to the memory 17 and stored by an image capture completion signal to the controller 15.
[0037]
Thereafter, when a switching command is output from the controller 15 to the optical path switching unit 14 in step 404, this time, switching to the optical path for laser scanning is performed.
The process up to this point is the same as in the first embodiment.
[0038]
Next, in step 405, a binarization process based on a preset threshold value is performed on the TV image stored in the memory 17. In step 406, attention is paid to a portion remaining as an image in the data obtained by the binarization processing, a rectangle circumscribing the image portion is obtained, and this rectangular range is determined as a region to be scanned. This scanning area information is stored in the memory 17 in step 407.
[0039]
Next, in step 408, 0 data for one screen is written in the memory 17 for an area that is not scanned by the controller 15 other than the scanning area.
Next, in step 409, the first scanning area information stored in the memory 17 is focused. In step 410, the scanning area corresponding to the scanning area information is scanned with the laser light by the two-dimensional scanning unit 5. In this case, when the controller 15 outputs a scanning start position signal to the two-dimensional scanning unit 5, the laser light from the laser light source 2 is scanned on the sample 9 via the objective lens 7 by the scanning of the two-dimensional scanning unit 5. Irradiated onto the region, image information by fluorescence from the sample 9 obtained by the laser light irradiation is taken into the photodetector 12 through the pinhole plate 11.
[0040]
In step 411, the image information captured by the photodetector 12 is transferred to and stored in the memory 17. In step 412, the image information stored in the memory 17 is displayed on the image monitor 18.
[0041]
Next, in step 413, it is determined whether the processing has been completed for the scanning regions corresponding to all the scanning region information. If the processing has not been completed, the next scanning region stored in the memory 17 in step 414. The processing target is moved to the scanning area corresponding to the information, the process returns to step 410, and the processing from step 410 to step 414 is repeated. After that, when the processing corresponding to all the scanning area information for one screen is completed, the process returns to step 409 until the observer instructs the end of scanning from the operation panel 16 in step 415. The process up to 415 is repeated.
[0042]
Accordingly, even in this case, the sample 9 placed on the stage 8 is imaged by the TV camera 19, and the captured observation image is taken into the controller 15, and the observation image is binarized by the binarization process. Since the area for scanning the spot light on the sample 9 by the two-dimensional scanning unit 5 is determined based on this luminance distribution, the minimum necessary spot for the observation target on the sample 9 is determined. Observation images can be captured by optical scanning. That is, in this case, as shown in FIG. 5, the spot light scanning region 37 is set for each of the observation objects 35 and 36 on the sample 9 with respect to the TV image 34 captured by the TV camera 19. Only the area 37 including 36 is scanned with spot light, and an observation image is obtained. As a result, the same effect as that of the first embodiment can be expected.
(Third embodiment)
Next, a third embodiment of the present invention will be described. In this case, the scanning laser microscope system to which the third embodiment is applied is the same as that of FIG. 1 described in the first embodiment, and therefore, description thereof is omitted here with the aid of FIG. To do.
[0043]
In the second embodiment, when the scanning area is determined, the scanning area information of the determination result is stored in the memory 17, but in the third embodiment, the determination result of the scanning area is displayed on the TV image. Overlay display is made possible, and correction and addition of the scanning area are made possible.
[0044]
In this case, when a scanning start command is output to the controller 15, the flowchart shown in FIG. 6 is executed.
First, when a scanning start command is output from the operation panel 16 to the controller 15, in step 601, a switching command is output from the controller 15 to the optical path switching unit 14, and the TV camera 19 is switched to an image capturing optical path.
[0045]
In step 602, when the controller 15 instructs the TV camera 19 to capture the observation image of the sample 9, the observation image of the sample 9 on the stage 8 is captured by the TV camera 19 and captured as a TV image. It is. In this case, the light source 13 is turned on and the sample 9 is illuminated.
[0046]
In step 603, when the image capture for one screen of the sample 9 by the TV camera 19 is completed, the TV image is transferred to the memory 17 and stored by an image capture completion signal to the controller 15.
[0047]
Thereafter, when a switching command is output from the controller 15 to the optical path switching unit 14 at step 604, the optical path is switched to the laser scanning optical path.
Next, in step 605, a binarization process based on a preset threshold value is performed on the TV image stored in the memory 17. In step 606, attention is paid to a portion remaining as an image in the data obtained by the binarization processing, a rectangle circumscribing the image portion is obtained, and this rectangular range is determined as a region to be scanned.
[0048]
Next, in step 607, the determination result of the scanning area is displayed as an overlay on the TV image of the image monitor 18, and in step 608, the scanning area can be corrected and added. In this case, the observer uses the operation panel 16 while viewing the screen of the image monitor 18 to make changes such as correction and addition of the scanning area.
[0049]
Then, the information on the scanning area to which these changes are made is stored in the memory 17 in step 609.
Next, in step 610, 0 data for one screen is written in the memory 17 for an area that is not scanned by the controller 15 other than the scanning area.
[0050]
Next, in step 611, attention is paid to the first scanning area information stored in the memory 17, and in step 612, the scanning area corresponding to the scanning area information is scanned with the laser light by the two-dimensional scanning unit 5. In this case, when the controller 15 outputs a scanning start position signal to the two-dimensional scanning unit 5, the laser light from the laser light source 2 is scanned on the sample 9 via the objective lens 7 by the scanning of the two-dimensional scanning unit 5. Irradiated onto the region, image information by fluorescence from the sample 9 obtained by the laser light irradiation is taken into the photodetector 12 through the pinhole plate 11.
[0051]
In step 613, the image information captured by the photodetector 12 is transferred to the memory 17 and stored therein. In step 614, the image information stored in the memory 17 is displayed on the image monitor 18.
[0052]
Next, in step 615, it is determined whether or not the processing has been completed for the scanning regions corresponding to all the scanning region information. If the processing has not been completed, the next scanning region stored in the memory 17 in step 616. The processing target is moved to the scanning region corresponding to the information, the process returns to step 612, and the processing from step 612 to step 616 is repeated. After that, when the processing corresponding to all the scanning area information for one screen is completed, the process returns to step 611 until the observer instructs the end of scanning from the operation panel 16 in step 617, and from step 611 to step 611. The process up to 617 is repeated.
[0053]
Therefore, in this way, it is possible to expect the same effect as in the second embodiment, and it is possible to easily respond to changes such as correction and addition of the scanning area in the observation image.
(Fourth embodiment)
Next, a fourth embodiment of the present invention will be described. In this case, the scanning laser microscope system to which the fourth embodiment is applied is the same as that of FIG. 1 described in the first embodiment, and therefore, description thereof is omitted here with the aid of FIG. To do.
[0054]
In general, the scanning region of the LSM (laser scanning microscope) cannot cover the entire field of view of the microscope due to the characteristics of the galvanometer. For this reason, when the observation target is outside the scanning region of the LSM, the sample is observed as it is. I can't. In the fourth embodiment, paying attention to the fact that a TV image can be observed in a wider area than the LSM scanning area, it is also possible to observe an observation object outside the LSM scanning area.
[0055]
In this case, when a scanning start command is output to the controller 15, the flowchart shown in FIG. 7 is executed.
First, when a scanning start command is output from the operation panel 16 to the controller 15, a switching command is output from the controller 15 to the optical path switching unit 14 in step 701, and the TV camera 19 switches to the optical path for image capture.
[0056]
In step 702, when the controller 15 instructs the TV camera 19 to capture the observation image of the sample 9, the observation image of the sample 9 on the stage 8 is captured by the TV camera 19 and captured as a TV image. It is. In this case, the light source 13 is turned on and the sample 9 is illuminated.
[0057]
In step 703, when the image capture of one screen of the sample 9 by the TV camera 19 is completed, the TV image is transferred to the memory 17 and stored by an image capture completion signal to the controller 15.
[0058]
Thereafter, when a switching command is output from the controller 15 to the optical path switching unit 14 in step 704, this time, switching to the optical path for laser scanning is performed.
Next, in step 705, the binarization process is performed on the TV image stored in the memory 17 based on a preset threshold value. In step 706, attention is paid to a portion remaining as an image in the data obtained by the binarization processing, a rectangle circumscribing this portion is obtained, and this rectangular range is determined as a region to be scanned.
[0059]
Next, in step 707, the determination result of the scanning area is displayed as an overlay on the TV image of the image monitor 18, and in step 708, the scanning area can be corrected and added. In this case, the observer uses the operation panel 16 while viewing the screen of the image monitor 18 to make changes such as correction and addition of the scanning area.
[0060]
Then, the information on the scanning area to which these changes are made is stored in the memory 17 in step 709.
Next, in step 710, 0 data for one screen is written in the memory 17 for an area that is not scanned by the controller 15 except for the scanning area.
[0061]
Next, in step 711, attention is paid to the first scanning area information stored in the memory 17, and in step 712, it is determined whether the scanning area to be observed is outside the LSM scanning area. In this case, for example, as shown in FIG. 8, assuming that the observation target 39 is located outside the LSM scanning area 40 and inside the TV image 41 with respect to the microscope visual field 38, in step 712, scanning is performed. It is determined that the area is outside the LSM scanning area.
[0062]
Then, in step 713, the stage drive device 20 is driven by the controller 15, and the stage 8 is moved until the scanning region to be observed is located inside the LSM scanning region. Further, in step 714, a scanning region in consideration of the movement amount of the stage 8 is obtained, and in step 715, the laser beam is scanned by the two-dimensional scanning unit 5 in this region. In this case, when the controller 15 outputs a scanning start position signal to the two-dimensional scanning unit 5, the laser light from the laser light source 2 is scanned on the sample 9 via the objective lens 7 by the scanning of the two-dimensional scanning unit 5. Irradiated onto the region, image information by fluorescence from the sample 9 obtained by the laser light irradiation is taken into the photodetector 12 through the pinhole plate 11.
[0063]
Thereafter, in step 716, the stage 8 is returned to its original position, and in step 717, the image information captured by the photodetector 12 is transferred to and stored in the memory 17. On the other hand, if it is determined in step 712 that the scanning region is inside the LSM scanning region, in step 718, the scanning region is scanned with laser light by the two-dimensional scanning unit 5, and the light is scanned by this scanning. The image information captured by the detector 12 is transferred to the memory 17 and stored in step 717.
[0064]
In step 719, the image information stored in the memory 17 is displayed on the image monitor 18.
Next, in step 720, it is determined whether the processing has been completed for the scanning regions corresponding to all the scanning region information. If the processing has not been completed, the next scanning region stored in the memory 17 in step 721. The processing target is moved to the scanning area corresponding to the information, the process returns to step 712, and the processing from step 712 to step 721 is repeated. Thereafter, when the processing corresponding to all the scanning area information for one screen is completed, the process returns to step 711 until the observer instructs the end of scanning from the operation panel 16 in step 722. The process up to 722 is repeated.
[0065]
Accordingly, in this case, the sample 9 placed on the stage 8 is imaged by the TV camera 19, the observed image taken is taken into the controller 15, and the observation image is binarized by the binarization process. If the spot light scanning area is not within the LSM scanning area, the area for scanning the spot light on the sample 9 by the two-dimensional scanning unit 5 is determined based on the luminance distribution. Since the stage 8 is moved by the stage driving device 20 so that the spot light scanning region is positioned within the LSM scanning region, the spot light scanning on the sample 9 can be performed, so that it is the same as in the first embodiment. An effect can be expected, and furthermore, an observation image can be captured even with respect to an observation object outside the LSM scanning region by a minimum necessary spot light scanning.
[0066]
【The invention's effect】
As described above, according to the present invention, the spot light is scanned only on the observation target on the sample, and an observation image is obtained. Even when the sensitivity of the detector, etc. is adjusted repeatedly, the observation image after sensitivity adjustment can be captured in a short time, so that the desired observation image can be obtained quickly without causing the fading of the fluorescent sample. The operability can be improved.
[Brief description of the drawings]
FIG. 1 is a diagram showing a schematic configuration of a first embodiment of the present invention.
FIG. 2 is a flowchart for explaining the operation of the first embodiment;
FIG. 3 is a diagram for explaining the first embodiment;
FIG. 4 is a flowchart for explaining the operation of the second exemplary embodiment of the present invention.
FIG. 5 is a diagram for explaining a second embodiment;
FIG. 6 is a flowchart for explaining the operation of the third exemplary embodiment of the present invention.
FIG. 7 is a flowchart for explaining the operation of the fourth embodiment of the present invention;
FIG. 8 is a diagram for explaining a fourth embodiment;
[Explanation of symbols]
1 ... scanning laser microscope main body,
2 ... Laser light source,
3 ... mirror,
4 ... Dichroic mirror,
5 ... 2D scanning unit,
6 ... Revolver,
7 ... Objective lens,
8 ... stage,
9 ... Sample,
10 ... Lens,
11 ... pinhole plate,
12 ... Confocal photodetector,
13 ... light source,
14: Optical path switching unit,
15 ... Controller,
16 ... operation panel,
17 ... Memory,
18 ... Image monitor,
19 ... TV camera,
20: Stage drive device.

Claims

In a scanning microscope that observes a sample by scanning spot light on the sample placed on the stage,
Scanning means for scanning the spot light;
An image capturing means for capturing an observation image captured by the image capturing means and an image capturing means for capturing an image of the sample on the stage;
Luminance distribution detecting means for obtaining a luminance distribution in the observed image from luminance information for at least one line of the observed image captured by the image capturing means;
Based on the detection result of the luminance distribution detecting means, scanning line determining means for determining a line for actually scanning the spot light among scanning lines for one screen by the scanning means;
Control means for generating a scanned image by causing the scanning means to scan only the scanning lines determined by the scanning line determining means,
The scanning microscope characterized in that the determined scanning lines are smaller than the number of scanning lines for one screen.

In a scanning microscope that observes a sample by scanning spot light on the sample placed on the stage,
Scanning means for scanning the spot light;
An image capturing means for capturing an observation image captured by the image capturing means and an image capturing means for capturing an image of the sample on the stage;
Luminance distribution detecting means for obtaining a luminance distribution in the observed image by binarization processing of the observed image captured by the image capturing means;
Based on the detection result of the luminance distribution detecting means, scanning area determining means for determining an area in which the spot light is actually scanned among scanning areas for one screen by the scanning means;
Control means for generating a scanned image by causing the scanning means to scan only the scanning area determined by the scanning area determining means,
The determined scanning area is smaller than the scanning area for one screen .

In a scanning microscope that observes a sample by scanning spot light on the sample placed on the stage,
Scanning means for scanning the spot light;
An image capturing means for capturing an observation image captured by the image capturing means and an image capturing means for capturing an image of the sample on the stage;
A luminance distribution detecting means for determining the distribution of luminance of the observation in images captured by the image capturing means,
Based on the detection result of the luminance distribution detecting means, scanning area determining means for determining an area in which the spot light is actually scanned among scanning areas for one screen by the scanning means;
Scanning area determination means for determining whether the spot light scanning area determined by the scanning area determination means is within a predetermined scanning area;
Stage driving means for moving the stage on which the sample is placed so that the spot light scanning area determined by the scanning area determining means is positioned within the predetermined scanning area based on the determination result of the scanning area determining means;
Control means for generating a scanned image by causing the scanning means to scan only the scanning area determined by the scanning area determining means,
The determined scanning area is smaller than the scanning area for one screen .

3. The scanning microscope according to claim 2, further comprising display means for displaying the determined area as an overlay on the observation image.

Display means for displaying the determined area as an overlay on the observation image, operation means for correcting and adding the determined scanning area displayed on the display means, and scanning area changed by the operating means Means for storing information, and the control means controls based on the scanning area information stored in the storage means so that only the scanning area corresponding to the scanning area information is scanned by the scanning means. The scanning microscope according to claim 2.