JP4912545B2 - 共焦点レーザ走査型顕微鏡 - Google Patents
共焦点レーザ走査型顕微鏡 Download PDFInfo
- Publication number
- JP4912545B2 JP4912545B2 JP2001212988A JP2001212988A JP4912545B2 JP 4912545 B2 JP4912545 B2 JP 4912545B2 JP 2001212988 A JP2001212988 A JP 2001212988A JP 2001212988 A JP2001212988 A JP 2001212988A JP 4912545 B2 JP4912545 B2 JP 4912545B2
- Authority
- JP
- Japan
- Prior art keywords
- sample
- confocal
- light quantity
- display
- objective lens
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Microscoopes, Condenser (AREA)
- Automatic Focus Adjustment (AREA)
Description
【０００１】
【発明の属する技術分野】
試料の画像が存在する位置または領域を迅速かつ容易に見つけることができる共焦点レーザ走査型顕微鏡に関する。
【０００２】
【従来の技術】
従来より、レーザ走査型顕微鏡がある。レーザ走査型顕微鏡は、レーザビームの点光源を試料のＸ軸とＹ軸の２次元方向に走査して、試料からの蛍光または反射光を光学系を介して抽出し、この抽出した光をフォトマルチプライヤあるいはフォトダイオード等からなる光検出器で光電変換し、この光電変換した電気信号を輝度情報として輝度画像データを生成し、これをディスプレイにより表示出力し、またはカラープリンタにより印刷出力する。
【０００３】
このようなレーザ走査型顕微鏡の中でも、共焦点光学系を用いたものを共焦点レーザ走査型顕微鏡と呼んでいる。共焦点光学系は、結像する位置( 合焦位置) に共焦点アパーチャ（ピンホール）を置くことで合焦位置以外からの光を一切排除する光学系であり、光学顕微鏡に比べてフレアのないコントラストの良い像（共焦点画像）を得ることができる。
【０００４】
この共焦点レーザ走査型顕微鏡における試料の焦点調節方法では、試料の蛍光または反射光の光学系を介し共焦点アパーチャを通り光検出器で検出された輝度情報が一番明るくなるように、試料と対物レンズとの相対距離を調整する。その一番明るくなった相対距離が合焦位置とされる。一般に、上記の試料と対物レンズとの相対方向は試料のＺ軸方向として定義される。
【０００５】
レーザ走査型顕微鏡は、レーザビームの点光源の走査によって画像データを取得しているため、表示画面１枚分の合焦画像を表示するには比較的長い時間を要する。他方、レーザ走査による共焦点画像は、焦点深度が極端に浅いため、ユーザが手動でＺ軸方向の距離（試料と対物レンズとの相対距離）を調整し合焦画像を得るには高度の熟練を要する。特に上記のように合焦画像をディスプレイ上に表示しながらＺ軸方向の距離を手動調整する場合、Ｚ軸方向距離の僅かな動きで合焦位置から外れ、本来あるはずの画像が表示されなくなり、このためユーザがＺ軸方向距離の調整位置を見失うということが多々有った。
【０００６】
ところで、特開平９−２１８３５５号公報には、試料と光検出器の間にピンホールを設けた共焦点検出部と、ピンホールを設けない非共焦点検出部を使い分け、非共焦点検出部で輝度が最大値であり一定レベルを維持するＺ位置（Ｚ軸方向の距離位置）の範囲を絞り込み、その後、共焦点検出部に切り替えて上記検出されている範囲の中で輝度が最大になるＺ位置すなわち合焦位置を更に絞り込むという方式が開示されている。
【０００７】
また、特開平１１−２４９０２２号公報には、共焦点検出部で試料の光量がほぼ「０」である期間は、Ｘ軸、Ｙ軸の走査速度を速くすることによって、鋭敏な合焦操作を提供すること、および共焦点検出部の輝度情報を、横軸に時間、縦軸に明るさをとったグラフで表示することが開示されている。
【０００８】
【発明が解決しようとする課題】
ところで、特開平９−２１８３５５号公報に開示されている方式は、前述したように共焦点画像は極端に焦点深度が浅いため、非共焦点検出部で概略のＺ位置の範囲を絞り込んだ後、共焦点検出部に光路を切り替えてしまうと、合焦位置を見失う虞があり、一旦合焦位置を見失うと、非共焦点検出部で得られた情報が無になり、再度、非共焦点検出処理に戻ってもう一度合焦位置近傍のＺ位置範囲の絞り込みを行うという作業が発生して手数と時間がかかる。
【０００９】
また、特開平１１−２４９０２２号公報に開示されている方式は、試料から得られた画像を１画面に構成する時間を短縮するために提案されたものであり、合焦操作のためだけであれば、そのように１画面分の画像を形成する必要はない。また、共焦点検出処理後の輝度情報を時間軸と明るさ軸でグラフ表示したものは、時間的に変化する輝度情報はわかるものの、調整しなければならないＺ軸方向の位置がどの位置にあるのかの判断が難しい。
【００１０】
本発明の課題は、上記の技術の更なる改良を目的とし、合焦点すなわち試料の画像が存在する位置または領域を迅速かつ容易に見つけることができる共焦点レーザ走査型顕微鏡を提供することである。
【００１１】
【課題を解決するための手段】
以下に、本発明に係わる共焦点レーザ走査型顕微鏡の構成を述べる。
本発明の共焦点レーザ走査型顕微鏡は、試料と対物レンズとの相対距離を調整することにより試料画像の合焦位置を得るレーザ走査型顕微鏡であって、上記試料に対しレーザ光を走査して得られた試料からの光を共焦点光電変換回路と非共焦点光電変換回路に同時に照射し、上記試料からの光量を共焦点光電変換回路と非共焦点光電変換回路とで２種類のデータとしてサンプリングする光量見本抽出手段と、該光量見本抽出手段によりサンプリングされた上記２種類のデータをＡ／Ｄ変換して量子化する光量見本量子化手段と、該光量見本量子化手段により量子化された上記２種類のデータを上記試料と上記対物レンズとの相対方向における位置に対する光量情報としてディスプレイ上にグラフ表示する表示手段と、を有して構成される。そして、この共焦点レーザ走査型顕微鏡は、例えば、上記試料と上記対物レンズとの相対距離を調整する調整移動量を電気信号に変換して出力する調整移動量出力手段と、上記光量見本量子化手段により量子化されるデータと上記調整移動量出力手段により出力される調整移動量とに基づいて、上記試料と上記対物レンズとの相対方向において共焦点の光量が最大となる位置データを出力する位置データ出力手段と、を更に備え、上記表示手段は、上記位置データ出力手段により出力される上記位置データに基づいて上記共焦点の光量が最大となる位置への調整移動の向きを上記ディスプレイに表示するように構成される。
【００１２】
また、本発明の共焦点レーザ走査型顕微鏡は、試料と対物レンズとの相対距離を調整することにより試料画像の合焦位置を得るレーザ走査型顕微鏡であって、上記試料に対しレーザ光を走査して得られた光量を共焦点光電変換回路と非共焦点光電変換回路とでサンプリングする光量見本抽出手段と、該光量見本抽出手段によりサンプリングされたデータをＡ／Ｄ変換して量子化する光量見本量子化手段と、該光量見本量子化手段により量子化されたデータを上記試料と上記対物レンズとの相対方向における位置に対する光量情報としてディスプレイ上にグラフ表示する表示手段と、上記試料と上記対物レンズとの相対距離を調整する調整移動量を電気信号に変換して出力する調整移動量出力手段と、上記光量見本量子化手段により量子化されるデータと上記調整移動量出力手段により出力される調整移動量とに基づいて、上記試料と上記対物レンズとの相対方向において共焦点の光量が最大となる位置データを出力する位置データ出力手段と、を備え、上記表示手段は、上記位置データ出力手段により出力される上記位置データに基づいて上記共焦点の光量が最大となる位置への調整移動の向きを上記ディスプレイに表示する、ように構成される。また、本発明の共焦点レーザ走査型顕微鏡は、例えば、上記位置データ出力手段により出力される上記位置データに基づいて上記試料と上記対物レンズとの相対距離を電動的に制御する相対距離制御手段を更に備えて構成される。
【００１３】
これにより、この共焦点レーザ走査型顕微鏡は、試料の画像が存在する位置または領域を迅速かつ容易に見つけることができる。
【００１４】
【発明の実施の形態】
以下、本発明の実施の形態を図面を参照しながら説明する。
図１は、第１の実施の形態における共焦点レーザ走査型顕微鏡のシステム構成を模式的に示す図である。同図に示す共焦点レーザ走査型顕微鏡のシステムは、先ず、試料（例えば、蛍光を発する試料）９と、この試料９を固定して上下方向の位置調節が可能なステージ２０と、このステージ２０を手動で調整するための不図示のステージハンドルと、このステージハンドルと連動しステージ２０を電動で上下動させるＺ制御装置２１とを設けた顕微鏡本体を備えている。
【００１５】
次に、試料９の蛍光を励起させるために照射する１つまたは複数のレーザ発振器１と、このレーザ発振器１のレーザ光をレーザ発振器１から試料９まで誘導し、また、試料９の蛍光を試料９から後述する２つの光電変換回路へ誘導するための光学系と、レーザ発振器１のレーザ光を試料９上に２次元、線、または点で走査させるために設けられた走査制御装置１７とを備えている。
【００１６】
更に、共焦点アパーチャ１０を経て光電変換を行う共焦点光電変換回路１２′と、共焦点アパーチャ１０を経ないで光電変換を行う非共焦点光電変換回路１２とが設けられており、これら共焦点光電変換回路１２′と非共焦点光電変換回路１２の信号をローパスフィルタ１３を通過後量子化するアナログデジタル（Ａ／Ｄ）変換器１４と、それら量子化されたデータを蓄積し、輝度信号として画像を構成し、各部制御装置に命令を出力するデータ処理装置１５と、画像を表示するためのＣＲＴモニタ１６とを備えている。なお、表示はＣＲＴモニタに限らず、液晶モニタ、プラズマディスプレイ等を用いて行ってもよい。
【００１７】
また、この共焦点レーザ走査型顕微鏡は、以下に述べる合焦支援装置を備えている。先ず、複数設けることが可能なレーザ発振器１からのレーザビーム（照明光）は、ビームエキスパンダ２を通過し、ビームスプリッタやダイクロイックミラーなどからなる光路分割素子３で反射し、ガルバノを用いたＸ方向スキャナ４及びＹ方向スキャナ５に入射する。例えば２次元走査等をすべく偏向してＹ方向スキャナ５を出射したレーザビームは、瞳投影レンズ６及び結像レンズ７を介して対物レンズ８に入射して試料９面を２次元走査する。
【００１８】
この走査光により試料９から発光した蛍光は、レーザビームと同一の光路を逆に辿って光路分割素子３に達し、更に光路分割素子３からダイクロイックミラー１１に到達する。そして、ダイクロイックミラー１１で反射した方の蛍光は、非共焦点光電変換回路１２に受光され、ダイクロイックミラー１１を透過した方の蛍光は、共焦点アパーチャ１０を介し、ミラー１１′で反射され、共焦点光電変換回路１２′で受光される。
【００１９】
非共焦点光電変換回路１２は、ダイクロイックミラー１１を介して受光した試料９からの蛍光を輝度情報を示す電気信号に変換する。この電気信号化された輝度情報はローパスフィルタ１３を介してＡ／Ｄ変換回路１４により量子化すなわちデジタルデータに変換される。このデジタルデータは試料９に対する検出信号としてデータ処理装置１５に入力される。同様に、共焦点光電変換回路１２′は、ダイクロイックミラー１１′を介して受光した試料９からの蛍光を輝度情報を示す電気信号に変換する。この電気信号化された輝度情報も、ローパスフィルタ１３を介してＡ／Ｄ変換回路１４に入力され、デジタルデータに変換され、試料９に対する検出信号としてデータ処理装置１５に入力される。
【００２０】
データ処理装置１５は、Ａ／Ｄ変換回路１４からのデジタルデータを処理して画像情報を生成し、その画像をＣＲＴモニタ１６に表示させる。また、データ処理装置１５はレーザ光の光点を、詳しくは後述する２次元、線、又は点で走査させるための走査命令を走査制御装置１７へ送信し、走査制御装置１７はその走査命令に従って走査駆動回路１８及び１９を駆動してＸ方向スキャナ４及びＹ方向スキャナ５を制御する。また、データ処理装置１５は、Ｚ制御装置２１を制御してステージ２０を上下動させる機能を有している。
【００２１】
ここで、共焦点で検出される輝度と、非共焦点で検出される輝度の違いについて説明する。
図２は、共焦点の検出輝度と非共焦点の検出輝度との相関を示す特性図である。同図は横軸にＺ位置、縦軸に検出輝度を示しており、曲線ａは非共焦点での検出輝度、曲線ｂは共焦点での検出輝度を示している。同図から分かるように、非共焦点における検出輝度ａは横軸に示すＺ位置の移動量に対して広い範囲ｍで分布しており、その中央部の最大輝度分布も広い範囲ｎに分布している。これに対して、共焦点の検出輝度ｂの分布範囲は、非共焦点検出輝度の最大輝度分布の範囲ｎ内にあって更にそれよりも狭い範囲ｍ′に分布している。そして、その最大輝度を示す範囲ｎ′は極めて狭い。
【００２２】
本実施形態の発明は、このような非共焦点と共焦点それぞれの輝度分布の特性を利用して合焦位置（試料の画像が存在する位置または領域）を迅速かつ容易に取得しようとするものである。
図３は、上記第１の実施の形態における合焦支援装置すなわちデータ処理装置１５による処理のフローチャートである。
【００２３】
図４は、そのデータ処理装置１５による処理においてＣＲＴモニタに表示される画像表示の例を示す図である。これらの図３及び図４を用いて合焦支援装置による合焦支援処理を説明する。尚、この処理はユーザから合焦支援処理を行うように指示する命令入力によって開始される。また、処理の開始にあたり、試料９に対するレーザ走査を、２次元走査、線走査、または点走査のいずれの走査方法で行うかを、ユーザによって予め選択されて設定されている。
【００２４】
先ず、データ処理装置１５は、ＣＲＴモニタ１６に、図４に示す合焦支援画面２２を表示する（ステップＳ１）。同図に示すように、合焦支援画面２２には、左方に大きく光量表示領域２３が設けられ、それよりも狭いＺ位置表示領域２４が右方に設けられている。
【００２５】
左方の光量表示領域２３には上下二段に分かれて非共焦点バーグラフの表示窓枠２５と共焦点バーグラフの表示窓枠２６が表示されている。この初期表示の段階では、実際には、これらの表示窓枠２５及び２６内には、同図に示すようにバーグラフ２７、２７′が表示されているとは限らないが、いずれの表示窓枠２５、２６も、左方が「暗」、右方にいくほど「明」を表わし、バーグラフ２７又は２７′が数を増やして右方に伸びるほど明るい（輝度が高い）ことを示している。
【００２６】
また、合焦支援画面２２の右方のＺ位置表示領域２４には、スクロールバー２８が上下移動する縦長のスクロール窓２９が表示され、このスクロール窓２９の上端と下端には、それぞれ上矢印ボタン３１と下矢印ボタン３２が表示されている。
【００２７】
データ処理装置１５は、ＣＲＴモニタ１６に上記の合焦支援装置の初期表示を行った後、試料９に対し、ユーザにより任意に選択されて設定された２次元、線、または点の、いずれかの走査方法でレーザ走査を開始するよう走査制御装置１７に命令を送信する（ステップＳ２）。
【００２８】
そして、データ処理装置１５は、非共焦点光電変換回路１２の出力と、共焦点光電変換回路１２′の出力を常に監視し（ステップＳ３）、それら双方の出力に基づいて、それら双方の輝度状態を表わすバーグラフデータを生成し、図４に示すように、合焦支援画面２２の光量表示領域２３の表示窓枠２５及び２６内にバーグラフ２７を表示する（ステップＳ４）。
【００２９】
このバーグラフデータを生成するについては、上述した２次元、線、または点の、レーザ光の走査方法にもよるが、その走査によって得られた輝度信号の平均または最大値をとってバーグラフデータを生成する。
上述したように、共焦点の最大輝度範囲ｎ′は、非共焦点の最大輝度範囲ｎの中にあるから、Ｚ位置を移動させていったとき、非共焦点の輝度を表わすバーグラフ２７が増加していくようであれば、そのまま同方向にＺ位置を移動させ、非共焦点のバーグラフ２７の増加が止まったときから、いずれかの時点で共焦点の最大輝度を表わすバーグラフ２７′が表示されるから、ユーザはそのときのＺ位置を確認すればよい。
【００３０】
また、初期表示の段階で非共焦点の輝度を表わすバーグラフ２７が表示されているのであれば、いずれかの方向へＺ位置を移動させ、共焦点の最大輝度を表わすバーグラフ２７′が表示されれば、それでよく、非共焦点の輝度を表わすバーグラフ２７が減少するようであればＺ位置を反対方向へ移動させる。これによって非共焦点のバーグラフ２７の増加が表示され、これにより共焦点の最大輝度を示す位置にＺ位置が移動していることが判明する。
【００３１】
試料９が載置されているステージ２０に上下移動つまりＺ位置移動を行わせるには、ユーザによるステージハンドルを用いた手動によっても制御が可能であるが、合焦支援画面２２のＺ位置表示領域２４のスクロールバー２８を用い、データ処理装置１５及びＺ制御装置２１を介して、電動的に制御することも可能である。
【００３２】
そこでデータ処理装置１５は、スクロールバー２８がユーザによって操作されているか否かを判別し（ステップＳ５）、操作されていなければ（Ｓ５がＮｏ）、ステップＳ３に戻ってステップＳ３、Ｓ４、Ｓ５を繰り返す。そして、スクロールバー２８が操作されていれば（Ｓ５がＹｅｓ）、その操作方向へステージ２０を移動させるようにＺ制御装置２１に命令を出力する（ステップＳ６）。
【００３３】
そして、ユーザによる終了指示が入力されているか否かを判別し（ステップＳ７）、まだ、終了指示が入力されていなければ（Ｓ７がＮｏ）、ステップＳ３に戻ってステップＳ３〜Ｓ７を繰り返す。これにより、ステージ２０の移動に伴って合焦支援画面２２の輝度を示すバーグラフの表示が変化する。
【００３４】
ここで、上記のレーザ走査について説明する。合焦位置検出のためだけであれば、試料９上を２次元走査して試料画像の１画面分の表示を行う必要は無く、試料９の蛍光が抽出できる部分であれば一部分を走査すれば良い。
したがって、ユーザは、合焦支援画面２２上に、試料９を画像として構成した場合の、限られた範囲の２次元走査による平均または最大光量を図４のように表示させるか、１ラインまたは数ラインの走査から得られた平均または最大光量を図４のように表示させるか、あるいは、蛍光抽出可能部分の点を走査して得られた平均または最大光量を図４のように表示させるかを、任意に設定することができる。
【００３５】
また、上記のライン走査を行う場合でも、Ｘ軸又はＹ軸に平行なライン走査のみでなく、斜めまたは円等の走査も可能である。このことによって、レーザ光による走査の制御効率を上げ、図４に示すように、リアルタイム性の高い輝度情報を合焦支援画面２２上に表示して、ユーザに報知することができる。これにより、ユーザは合焦位置すなわち試料９の蛍光画像が存在する位置または領域を迅速かつ容易に見つけることができる。
【００３６】
ユーザにより合焦位置が見出され、合焦支援処理の終了指示が入力されたことを検出すると（Ｓ７がＹｅｓ）、データ処理装置１５は処理を終了する。
尚、上述した共焦点及び非共焦点の輝度サンプリング方式においては、共焦点輝度検出部と非共焦点輝度検出部を別々に設けて、レーザ走査に対応して同時のサンプリングを行ってているが、共焦点と非共焦点の輝度サンプリングはこれに限ることなく、共焦点アパーチャ１０を自動着脱が可能な構成にし、この共焦点アパーチャ１０を交互に着脱して、レーザ走査を２回実行することにより、共焦点と非共焦点の輝度サンプルを取得するようにしてもよい。そのようにすれば、上記２つの光電変換回路が１つでよいことになるので、コストの低減したシステムを構成することができる。
【００３７】
図５は、第２の実施の形態における共焦点レーザ走査型顕微鏡のシステム構成を模式的に示す図である。同図に示す共焦点レーザ走査型顕微鏡のシステムは、図１に示した構成に新たにＺ位置検出装置３３を加えて構成されている。このＺ位置検出装置３３は、ステージ２０を上下移動させる不図示のステージハンドルの回転量を電気信号に変換して出力するこれも不図示のエンコーダからなる。尚、その他の構成部分は図１の場合と同一であるので図１と同一の番号を付与して示している。
【００３８】
図６(a) は、上記本例の構成において、ＣＲＴモニタ１６に表示される合焦支援装置の表示例の一つであるバーグラフを示す図であり、同図(b) は同じく表示例の他の例として折れ線グラフを示す図である。図６(a) に示す合焦支援画面３４も図４に示した合焦支援画面２２と同様に、左方に光量表示領域３５が設けられ、右方にはＺ位置表示領域３６が設けられている。ただし図４の場合は右方のＺ位置表示領域２４にはスクロール窓２９（スクロールバー２８、上矢印ボタン３１、下矢印ボタン３２を含む）のみが設けられていたが、この図６に示す合焦支援画面３４では、スクロール窓３７の他に７個の合焦マーク３８（３８ａ〜３８ｇ）が表示されている。
【００３９】
いま、左方の光量表示領域３５の非共焦点バーグラフの表示窓枠３９には、非共焦点の輝度を示すバーグラフ４１が最高輝度を示しており、この最高輝度表示範囲内（図２の範囲ｎ参照）において、ユーザによるステージハンドルの手動操作、又はデータ処理装置１５による自動制御によってＺ位置調整が適切に行われたことにより、共焦点バーグラフの表示窓枠４２には共焦点の最高輝度を示すバーグラフ４３が表示されている。そして、このようにＺ位置が共焦点の最高輝度範囲（図２(b) の範囲ｎ′参照）に一致したことにより、Ｚ位置表示領域３６の７個の合焦マーク３８の内、中央の合焦マーク３８ｄが点灯表示されている。このように合焦支援画面３４が表示されるようになるまでの処理を以下に説明する。
【００４０】
先ず、合焦支援画面３４の初期表示の段階で、ユーザによりＺ位置表示領域３６の左下隅に表示されている「ＡＦ」ボタン４４がクリック操作される。これにより、オートフォーカス機能が起動する。このオートフォーカス機能では、先ず、データ処理装置１５は、試料９に対し、ユーザにより任意に選択され設定されている２次元、線、または点の走査方法のいずれかでレーザ走査を開始するように走査制御装置１７に命令を送信する。
【００４１】
次に、データ処理装置１５は、Ｚ制御装置２１へ非共焦点光電変換回路１２の出力が暗になるまで試料９と対物レンズ８との相対距離を離すよう命令を出力する。これにより、非共焦点光電変換回路１２の出力が暗になる。この後、データ処理装置１５は、図６(a) に示す合焦支援画面３４のＺ位置表示領域３６の７個の合焦マーク３８の内の合焦マーク３８ｃ、３８ｂ、及び３８ａを順に点滅させて、合焦位置へ調整すべくステージ２０を上げて試料９と対物レンズ８との相対距離を縮めるように、ユーザに表示報知する。
【００４２】
ユーザは、この表示報知に従って、ステージハンドルによる手動操作又はＺ位置表示領域３６のスクロール窓３７の操作によってステージ２０を上に移動させる。
この間、データ処理装置１５は、非共焦点光電変換回路１２の出力と共焦点光電変換回路１２′の出力を監視し、監視して得られた輝度状態をバーグラフデータに変換して、図６(a) に示すように、光量表示領域３５の非共焦点バーグラフの表示窓枠３９に非共焦点の輝度を示すバーグラフ４１を表示し、同じく共焦点バーグラフの表示窓枠４２に共焦点の輝度を示すバーグラフ４３を表示する。
【００４３】
Ｚ位置表示領域３６の中央の合焦マーク３８ｄは、非共焦点光電変換回路１２の出力が或る閾値以上に明るくなると点滅するように設定されており、これにより合焦位置が近いことをユーザに報知することができる。
また、データ処理装置１５が例えば合焦マーク３８ｃ、３８ｂ、及び３８ａの順次点滅によってステージ２０を上へ移動させるようにユーザに表示報知しているにも拘らず、ステージ２０が下へ移動された場合は、合焦マーク３８の表示状態は更新されずに維持される。この逆に、合焦マーク３８ｅ、３８ｆ、及び３８ｇの順次点滅によって下へ移動させるようにとの表示報知に対してステージ２０が上へ移動された場合も同様に合焦マーク３８の表示は変化しない。
【００４４】
一方、ステージ２０を合焦マークの表示報知に従って移動させた結果、共焦点光電変換回路１２′の出力が輝度最大値を超えて暗くなる場合には、現在動かしているステージ２０の方向と逆方向にステージ２０を動かすように、例えば合焦マーク３８ｃ、３８ｂ、及び３８ａの順次点滅表示から、合焦マーク３８ｅ、３８ｆ、及び３８ｇの順次点滅表示に、表示報知の処理手順を更新する。
【００４５】
これによって、ステージ２０をどちらの向きに移動させれば合焦位置に近づくことができるのかを、ユーザに対し視覚的に通知することができる。
上記の動作は、ユーザによるステージハンドルの手動操作又はＺ位置表示領域３６のスクロール窓３７の操作によってステージ２０を上又は下に移動させるものであるが、これを完全自動で行うこともできる。
【００４６】
すなわち、その場合は、上記のようにＺ制御装置２１へ非共焦点光電変換回路１２の出力が暗になるまで試料９と対物レンズ８との相対距離を離すよう命令を出力して非共焦点光電変換回路１２の出力が暗になった後、データ処理装置１５は試料９と対物レンズ８との相対距離を近づけるようにＺ制御装置２１に命令する。
【００４７】
そして、非共焦点光電変換回路１２の出力と共焦点光電変換回路１２′の出力を監視しながら、ステージ２０を僅かずつ移動させ、先ず非共焦点光電変換回路１２の出力が高くなったところでステージ２０の移動速度を落として共焦点光電変換回路１２′の出力が高くなる点を探索する。そして共焦点の輝度が最大値を超えてそれよりも暗くなった瞬間にステージ２０の移動を停止させ、今度はステージ２０を、それまでの対物レンズ８が試料９に近づく方向から遠ざかる方向に微動させながら、再び共焦点の輝度が最大値となる点を探索する。これを繰り返して最終杓に共焦点光電変換回路１２′の出力が最大になる場所でステージ２０を停止させる。そして、このように合焦位置が得られたことによりＣＲＴモニタ１６に「ＡＦ終了」のメッセージを表示報知する。
【００４８】
このようにすれば、ユーザは最初に２次元、線、または点の走査方法のいずれかのレーザ走査を設定し、次に「ＡＦ」ボタン４４をクリック操作するだけで、あとは自動的に合焦位置を取得することができる。
尚、合焦支援画面２２の光量表示領域２３の表示または合焦支援画面３４の光量表示領域３５の表示については、バーグラフに限るものではなく、例えば折れ線グラフで示すようにしてもよい。図６(b) の合焦支援画面４５の光量表示領域４６には、一例として、横軸にＺ位置をとり縦軸に明るさ（輝度）をとって、非共焦点の輝度情報（共焦点の輝度情報は未だ現れていない）が折れ線グラフで示されている。勿論、サンプリングを細かくすれば、このグラフは折れ線でなく曲線で表わされる。
【００４９】
本例においては、図６(a) に示す表示方法と同図(b) に示す表示方法は任意に選択することが可能であり、特に同図(b) に示す折れ線グラフで表示する方法は、Ｚ位置を微調整しながら確実に輝度の高いポイントを得たいときには極めて有効な方法である。
【００５０】
尚、本実施形態から以下のように表現することができる方法発明を引き出すことができる。これを付記として、以下に述べる。
（付記１）レーザ走査型顕微鏡において試料と対物レンズとの相対距離を調整することにより前記試料の合焦位置を得る合焦支援方法であって、前記試料に対しレーザ光を走査して得られた光量を共焦点光電変換回路と非共焦点光電変換回路とでサンプリングする光量見本抽出工程と、該光量見本抽出工程によりサンプリングされたデータをＡ／Ｄ変換して量子化する光量見本量子化工程と、該光量見本量子化工程により量子化されたデータを前記試料と前記対物レンズとの相対方向における位置に対する光量情報としてディスプレイ上にグラフ表示する表示工程と、を含むことを特徴とする合焦支援方法。
（付記２）前記試料と前記対物レンズとの相対距離を調整する調整移動量を電気信号に変換して出力する調整移動量出力工程と、前記光量見本量子化工程により量子化されるデータと前記調整移動量出力工程により出力される調整移動量とに基づいて、前記試料と前記対物レンズとの相対方向において共焦点の光量が最大となる位置データを出力する位置データ出力工程と、を更に含み、前記表示工程は、前記位置データ出力工程により出力される前記位置データに基づいて前記共焦点の光量が最大となる位置への調整移動の向きを前記ディスプレイに表示する、ことを特徴とする付記１記載の合焦支援方法。
（付記３）前記位置データ出力工程により出力される前記位置データに基づいて前記試料と前記対物レンズとの相対距離を電動的に制御する相対距離制御工程を更に備えたことを特徴とする付記２記載の合焦支援方法。
【００５１】
【発明の効果】
以上詳細に説明したように、本発明によれば、共焦点の輝度情報のみでなく非共焦点の輝度情報を同時に検出してこれら２つの輝度情報をディスプレイに同時表示するので、非共焦点の輝度情報による追い込みから共焦点の輝度情報による絞り込みへの切り替えで絞り込むべき位置を見失うことなく、試料の画像が存在する位置または領域を迅速かつ容易に見つけて合焦画像を得ることができる。
【図面の簡単な説明】
【図１】第１の実施の形態における共焦点レーザ走査型顕微鏡のシステム構成を模式的に示す図である。
【図２】共焦点の検出輝度と非共焦点の検出輝度との相関を示す特性図である。
【図３】第１の実施の形態における合焦支援装置による処理のフローチャートである。
【図４】第１の実施の形態における合焦支援装置による処理においてＣＲＴモニタに表示される画像表示の例を示す図である。
【図５】第２の実施の形態における共焦点レーザ走査型顕微鏡のシステム構成を模式的に示す図である。
【図６】 (a),(b) は第２の実施の形態における共焦点レーザ走査型顕微鏡においてＣＲＴモニタに表示される合焦支援装置の表示の例を示す図である。
【符号の説明】
１ レーザ発振器
２ ビームエキスパンダ
３ 光路分割素子
４ Ｘ方向スキャナ
５ Ｙ方向スキャナ
６ 瞳投影レンズ
８ 対物レンズ
９ 試料
１０ 共焦点アパーチャ
１１ ダイクロイックミラー
１１′ ミラー
１２ 非共焦点光電変換回路
１２′ 共焦点光電変換回路
１３ ローパスフィルタ
１４ Ａ／Ｄ変換回路
１５ データ処理装置
１６ ＣＲＴモニタ
１７ 走査制御装置
１８、１９ 走査駆動回路
２０ ステージ
２１ Ｚ制御装置
２２ 合焦支援画面
２３ 光量表示領域
２４ Ｚ位置表示領域
２５ 非共焦点バーグラフ表示窓枠
２６ 共焦点バーグラフ表示窓枠
２７、２７′バーグラフ
２８ スクロールバー
２９ スクロール窓
３１ 上矢印ボタン
３２ 下矢印ボタン
３３ Ｚ位置検出装置
３４ 合焦支援画面
３５ 光量表示領域
３６ Ｚ位置表示領域
３７ スクロール窓
３８（３８ａ〜３８ｇ） 合焦マーク
３９ 非共焦点バーグラフ表示窓枠
４１ 非共焦点輝度バーグラフ
４２ 共焦点バーグラフ表示窓枠
４３ 共焦点輝度バーグラフ
４４ 「ＡＦ」ボタン
４５ 合焦支援画面
４６ 光量表示領域
４７ 折れ線グラフ
【発明の属する技術分野】
試料の画像が存在する位置または領域を迅速かつ容易に見つけることができる共焦点レーザ走査型顕微鏡に関する。
【０００２】
【従来の技術】
従来より、レーザ走査型顕微鏡がある。レーザ走査型顕微鏡は、レーザビームの点光源を試料のＸ軸とＹ軸の２次元方向に走査して、試料からの蛍光または反射光を光学系を介して抽出し、この抽出した光をフォトマルチプライヤあるいはフォトダイオード等からなる光検出器で光電変換し、この光電変換した電気信号を輝度情報として輝度画像データを生成し、これをディスプレイにより表示出力し、またはカラープリンタにより印刷出力する。
【０００３】
このようなレーザ走査型顕微鏡の中でも、共焦点光学系を用いたものを共焦点レーザ走査型顕微鏡と呼んでいる。共焦点光学系は、結像する位置( 合焦位置) に共焦点アパーチャ（ピンホール）を置くことで合焦位置以外からの光を一切排除する光学系であり、光学顕微鏡に比べてフレアのないコントラストの良い像（共焦点画像）を得ることができる。
【０００４】
この共焦点レーザ走査型顕微鏡における試料の焦点調節方法では、試料の蛍光または反射光の光学系を介し共焦点アパーチャを通り光検出器で検出された輝度情報が一番明るくなるように、試料と対物レンズとの相対距離を調整する。その一番明るくなった相対距離が合焦位置とされる。一般に、上記の試料と対物レンズとの相対方向は試料のＺ軸方向として定義される。
【０００５】
レーザ走査型顕微鏡は、レーザビームの点光源の走査によって画像データを取得しているため、表示画面１枚分の合焦画像を表示するには比較的長い時間を要する。他方、レーザ走査による共焦点画像は、焦点深度が極端に浅いため、ユーザが手動でＺ軸方向の距離（試料と対物レンズとの相対距離）を調整し合焦画像を得るには高度の熟練を要する。特に上記のように合焦画像をディスプレイ上に表示しながらＺ軸方向の距離を手動調整する場合、Ｚ軸方向距離の僅かな動きで合焦位置から外れ、本来あるはずの画像が表示されなくなり、このためユーザがＺ軸方向距離の調整位置を見失うということが多々有った。
【０００６】
ところで、特開平９−２１８３５５号公報には、試料と光検出器の間にピンホールを設けた共焦点検出部と、ピンホールを設けない非共焦点検出部を使い分け、非共焦点検出部で輝度が最大値であり一定レベルを維持するＺ位置（Ｚ軸方向の距離位置）の範囲を絞り込み、その後、共焦点検出部に切り替えて上記検出されている範囲の中で輝度が最大になるＺ位置すなわち合焦位置を更に絞り込むという方式が開示されている。
【０００７】
また、特開平１１−２４９０２２号公報には、共焦点検出部で試料の光量がほぼ「０」である期間は、Ｘ軸、Ｙ軸の走査速度を速くすることによって、鋭敏な合焦操作を提供すること、および共焦点検出部の輝度情報を、横軸に時間、縦軸に明るさをとったグラフで表示することが開示されている。
【０００８】
【発明が解決しようとする課題】
ところで、特開平９−２１８３５５号公報に開示されている方式は、前述したように共焦点画像は極端に焦点深度が浅いため、非共焦点検出部で概略のＺ位置の範囲を絞り込んだ後、共焦点検出部に光路を切り替えてしまうと、合焦位置を見失う虞があり、一旦合焦位置を見失うと、非共焦点検出部で得られた情報が無になり、再度、非共焦点検出処理に戻ってもう一度合焦位置近傍のＺ位置範囲の絞り込みを行うという作業が発生して手数と時間がかかる。
【０００９】
また、特開平１１−２４９０２２号公報に開示されている方式は、試料から得られた画像を１画面に構成する時間を短縮するために提案されたものであり、合焦操作のためだけであれば、そのように１画面分の画像を形成する必要はない。また、共焦点検出処理後の輝度情報を時間軸と明るさ軸でグラフ表示したものは、時間的に変化する輝度情報はわかるものの、調整しなければならないＺ軸方向の位置がどの位置にあるのかの判断が難しい。
【００１０】
本発明の課題は、上記の技術の更なる改良を目的とし、合焦点すなわち試料の画像が存在する位置または領域を迅速かつ容易に見つけることができる共焦点レーザ走査型顕微鏡を提供することである。
【００１１】
【課題を解決するための手段】
以下に、本発明に係わる共焦点レーザ走査型顕微鏡の構成を述べる。
本発明の共焦点レーザ走査型顕微鏡は、試料と対物レンズとの相対距離を調整することにより試料画像の合焦位置を得るレーザ走査型顕微鏡であって、上記試料に対しレーザ光を走査して得られた試料からの光を共焦点光電変換回路と非共焦点光電変換回路に同時に照射し、上記試料からの光量を共焦点光電変換回路と非共焦点光電変換回路とで２種類のデータとしてサンプリングする光量見本抽出手段と、該光量見本抽出手段によりサンプリングされた上記２種類のデータをＡ／Ｄ変換して量子化する光量見本量子化手段と、該光量見本量子化手段により量子化された上記２種類のデータを上記試料と上記対物レンズとの相対方向における位置に対する光量情報としてディスプレイ上にグラフ表示する表示手段と、を有して構成される。そして、この共焦点レーザ走査型顕微鏡は、例えば、上記試料と上記対物レンズとの相対距離を調整する調整移動量を電気信号に変換して出力する調整移動量出力手段と、上記光量見本量子化手段により量子化されるデータと上記調整移動量出力手段により出力される調整移動量とに基づいて、上記試料と上記対物レンズとの相対方向において共焦点の光量が最大となる位置データを出力する位置データ出力手段と、を更に備え、上記表示手段は、上記位置データ出力手段により出力される上記位置データに基づいて上記共焦点の光量が最大となる位置への調整移動の向きを上記ディスプレイに表示するように構成される。
【００１２】
また、本発明の共焦点レーザ走査型顕微鏡は、試料と対物レンズとの相対距離を調整することにより試料画像の合焦位置を得るレーザ走査型顕微鏡であって、上記試料に対しレーザ光を走査して得られた光量を共焦点光電変換回路と非共焦点光電変換回路とでサンプリングする光量見本抽出手段と、該光量見本抽出手段によりサンプリングされたデータをＡ／Ｄ変換して量子化する光量見本量子化手段と、該光量見本量子化手段により量子化されたデータを上記試料と上記対物レンズとの相対方向における位置に対する光量情報としてディスプレイ上にグラフ表示する表示手段と、上記試料と上記対物レンズとの相対距離を調整する調整移動量を電気信号に変換して出力する調整移動量出力手段と、上記光量見本量子化手段により量子化されるデータと上記調整移動量出力手段により出力される調整移動量とに基づいて、上記試料と上記対物レンズとの相対方向において共焦点の光量が最大となる位置データを出力する位置データ出力手段と、を備え、上記表示手段は、上記位置データ出力手段により出力される上記位置データに基づいて上記共焦点の光量が最大となる位置への調整移動の向きを上記ディスプレイに表示する、ように構成される。また、本発明の共焦点レーザ走査型顕微鏡は、例えば、上記位置データ出力手段により出力される上記位置データに基づいて上記試料と上記対物レンズとの相対距離を電動的に制御する相対距離制御手段を更に備えて構成される。
【００１３】
これにより、この共焦点レーザ走査型顕微鏡は、試料の画像が存在する位置または領域を迅速かつ容易に見つけることができる。
【００１４】
【発明の実施の形態】
以下、本発明の実施の形態を図面を参照しながら説明する。
図１は、第１の実施の形態における共焦点レーザ走査型顕微鏡のシステム構成を模式的に示す図である。同図に示す共焦点レーザ走査型顕微鏡のシステムは、先ず、試料（例えば、蛍光を発する試料）９と、この試料９を固定して上下方向の位置調節が可能なステージ２０と、このステージ２０を手動で調整するための不図示のステージハンドルと、このステージハンドルと連動しステージ２０を電動で上下動させるＺ制御装置２１とを設けた顕微鏡本体を備えている。
【００１５】
次に、試料９の蛍光を励起させるために照射する１つまたは複数のレーザ発振器１と、このレーザ発振器１のレーザ光をレーザ発振器１から試料９まで誘導し、また、試料９の蛍光を試料９から後述する２つの光電変換回路へ誘導するための光学系と、レーザ発振器１のレーザ光を試料９上に２次元、線、または点で走査させるために設けられた走査制御装置１７とを備えている。
【００１６】
更に、共焦点アパーチャ１０を経て光電変換を行う共焦点光電変換回路１２′と、共焦点アパーチャ１０を経ないで光電変換を行う非共焦点光電変換回路１２とが設けられており、これら共焦点光電変換回路１２′と非共焦点光電変換回路１２の信号をローパスフィルタ１３を通過後量子化するアナログデジタル（Ａ／Ｄ）変換器１４と、それら量子化されたデータを蓄積し、輝度信号として画像を構成し、各部制御装置に命令を出力するデータ処理装置１５と、画像を表示するためのＣＲＴモニタ１６とを備えている。なお、表示はＣＲＴモニタに限らず、液晶モニタ、プラズマディスプレイ等を用いて行ってもよい。
【００１７】
また、この共焦点レーザ走査型顕微鏡は、以下に述べる合焦支援装置を備えている。先ず、複数設けることが可能なレーザ発振器１からのレーザビーム（照明光）は、ビームエキスパンダ２を通過し、ビームスプリッタやダイクロイックミラーなどからなる光路分割素子３で反射し、ガルバノを用いたＸ方向スキャナ４及びＹ方向スキャナ５に入射する。例えば２次元走査等をすべく偏向してＹ方向スキャナ５を出射したレーザビームは、瞳投影レンズ６及び結像レンズ７を介して対物レンズ８に入射して試料９面を２次元走査する。
【００１８】
この走査光により試料９から発光した蛍光は、レーザビームと同一の光路を逆に辿って光路分割素子３に達し、更に光路分割素子３からダイクロイックミラー１１に到達する。そして、ダイクロイックミラー１１で反射した方の蛍光は、非共焦点光電変換回路１２に受光され、ダイクロイックミラー１１を透過した方の蛍光は、共焦点アパーチャ１０を介し、ミラー１１′で反射され、共焦点光電変換回路１２′で受光される。
【００１９】
非共焦点光電変換回路１２は、ダイクロイックミラー１１を介して受光した試料９からの蛍光を輝度情報を示す電気信号に変換する。この電気信号化された輝度情報はローパスフィルタ１３を介してＡ／Ｄ変換回路１４により量子化すなわちデジタルデータに変換される。このデジタルデータは試料９に対する検出信号としてデータ処理装置１５に入力される。同様に、共焦点光電変換回路１２′は、ダイクロイックミラー１１′を介して受光した試料９からの蛍光を輝度情報を示す電気信号に変換する。この電気信号化された輝度情報も、ローパスフィルタ１３を介してＡ／Ｄ変換回路１４に入力され、デジタルデータに変換され、試料９に対する検出信号としてデータ処理装置１５に入力される。
【００２０】
データ処理装置１５は、Ａ／Ｄ変換回路１４からのデジタルデータを処理して画像情報を生成し、その画像をＣＲＴモニタ１６に表示させる。また、データ処理装置１５はレーザ光の光点を、詳しくは後述する２次元、線、又は点で走査させるための走査命令を走査制御装置１７へ送信し、走査制御装置１７はその走査命令に従って走査駆動回路１８及び１９を駆動してＸ方向スキャナ４及びＹ方向スキャナ５を制御する。また、データ処理装置１５は、Ｚ制御装置２１を制御してステージ２０を上下動させる機能を有している。
【００２１】
ここで、共焦点で検出される輝度と、非共焦点で検出される輝度の違いについて説明する。
図２は、共焦点の検出輝度と非共焦点の検出輝度との相関を示す特性図である。同図は横軸にＺ位置、縦軸に検出輝度を示しており、曲線ａは非共焦点での検出輝度、曲線ｂは共焦点での検出輝度を示している。同図から分かるように、非共焦点における検出輝度ａは横軸に示すＺ位置の移動量に対して広い範囲ｍで分布しており、その中央部の最大輝度分布も広い範囲ｎに分布している。これに対して、共焦点の検出輝度ｂの分布範囲は、非共焦点検出輝度の最大輝度分布の範囲ｎ内にあって更にそれよりも狭い範囲ｍ′に分布している。そして、その最大輝度を示す範囲ｎ′は極めて狭い。
【００２２】
本実施形態の発明は、このような非共焦点と共焦点それぞれの輝度分布の特性を利用して合焦位置（試料の画像が存在する位置または領域）を迅速かつ容易に取得しようとするものである。
図３は、上記第１の実施の形態における合焦支援装置すなわちデータ処理装置１５による処理のフローチャートである。
【００２３】
図４は、そのデータ処理装置１５による処理においてＣＲＴモニタに表示される画像表示の例を示す図である。これらの図３及び図４を用いて合焦支援装置による合焦支援処理を説明する。尚、この処理はユーザから合焦支援処理を行うように指示する命令入力によって開始される。また、処理の開始にあたり、試料９に対するレーザ走査を、２次元走査、線走査、または点走査のいずれの走査方法で行うかを、ユーザによって予め選択されて設定されている。
【００２４】
先ず、データ処理装置１５は、ＣＲＴモニタ１６に、図４に示す合焦支援画面２２を表示する（ステップＳ１）。同図に示すように、合焦支援画面２２には、左方に大きく光量表示領域２３が設けられ、それよりも狭いＺ位置表示領域２４が右方に設けられている。
【００２５】
左方の光量表示領域２３には上下二段に分かれて非共焦点バーグラフの表示窓枠２５と共焦点バーグラフの表示窓枠２６が表示されている。この初期表示の段階では、実際には、これらの表示窓枠２５及び２６内には、同図に示すようにバーグラフ２７、２７′が表示されているとは限らないが、いずれの表示窓枠２５、２６も、左方が「暗」、右方にいくほど「明」を表わし、バーグラフ２７又は２７′が数を増やして右方に伸びるほど明るい（輝度が高い）ことを示している。
【００２６】
また、合焦支援画面２２の右方のＺ位置表示領域２４には、スクロールバー２８が上下移動する縦長のスクロール窓２９が表示され、このスクロール窓２９の上端と下端には、それぞれ上矢印ボタン３１と下矢印ボタン３２が表示されている。
【００２７】
データ処理装置１５は、ＣＲＴモニタ１６に上記の合焦支援装置の初期表示を行った後、試料９に対し、ユーザにより任意に選択されて設定された２次元、線、または点の、いずれかの走査方法でレーザ走査を開始するよう走査制御装置１７に命令を送信する（ステップＳ２）。
【００２８】
そして、データ処理装置１５は、非共焦点光電変換回路１２の出力と、共焦点光電変換回路１２′の出力を常に監視し（ステップＳ３）、それら双方の出力に基づいて、それら双方の輝度状態を表わすバーグラフデータを生成し、図４に示すように、合焦支援画面２２の光量表示領域２３の表示窓枠２５及び２６内にバーグラフ２７を表示する（ステップＳ４）。
【００２９】
このバーグラフデータを生成するについては、上述した２次元、線、または点の、レーザ光の走査方法にもよるが、その走査によって得られた輝度信号の平均または最大値をとってバーグラフデータを生成する。
上述したように、共焦点の最大輝度範囲ｎ′は、非共焦点の最大輝度範囲ｎの中にあるから、Ｚ位置を移動させていったとき、非共焦点の輝度を表わすバーグラフ２７が増加していくようであれば、そのまま同方向にＺ位置を移動させ、非共焦点のバーグラフ２７の増加が止まったときから、いずれかの時点で共焦点の最大輝度を表わすバーグラフ２７′が表示されるから、ユーザはそのときのＺ位置を確認すればよい。
【００３０】
また、初期表示の段階で非共焦点の輝度を表わすバーグラフ２７が表示されているのであれば、いずれかの方向へＺ位置を移動させ、共焦点の最大輝度を表わすバーグラフ２７′が表示されれば、それでよく、非共焦点の輝度を表わすバーグラフ２７が減少するようであればＺ位置を反対方向へ移動させる。これによって非共焦点のバーグラフ２７の増加が表示され、これにより共焦点の最大輝度を示す位置にＺ位置が移動していることが判明する。
【００３１】
試料９が載置されているステージ２０に上下移動つまりＺ位置移動を行わせるには、ユーザによるステージハンドルを用いた手動によっても制御が可能であるが、合焦支援画面２２のＺ位置表示領域２４のスクロールバー２８を用い、データ処理装置１５及びＺ制御装置２１を介して、電動的に制御することも可能である。
【００３２】
そこでデータ処理装置１５は、スクロールバー２８がユーザによって操作されているか否かを判別し（ステップＳ５）、操作されていなければ（Ｓ５がＮｏ）、ステップＳ３に戻ってステップＳ３、Ｓ４、Ｓ５を繰り返す。そして、スクロールバー２８が操作されていれば（Ｓ５がＹｅｓ）、その操作方向へステージ２０を移動させるようにＺ制御装置２１に命令を出力する（ステップＳ６）。
【００３３】
そして、ユーザによる終了指示が入力されているか否かを判別し（ステップＳ７）、まだ、終了指示が入力されていなければ（Ｓ７がＮｏ）、ステップＳ３に戻ってステップＳ３〜Ｓ７を繰り返す。これにより、ステージ２０の移動に伴って合焦支援画面２２の輝度を示すバーグラフの表示が変化する。
【００３４】
ここで、上記のレーザ走査について説明する。合焦位置検出のためだけであれば、試料９上を２次元走査して試料画像の１画面分の表示を行う必要は無く、試料９の蛍光が抽出できる部分であれば一部分を走査すれば良い。
したがって、ユーザは、合焦支援画面２２上に、試料９を画像として構成した場合の、限られた範囲の２次元走査による平均または最大光量を図４のように表示させるか、１ラインまたは数ラインの走査から得られた平均または最大光量を図４のように表示させるか、あるいは、蛍光抽出可能部分の点を走査して得られた平均または最大光量を図４のように表示させるかを、任意に設定することができる。
【００３５】
また、上記のライン走査を行う場合でも、Ｘ軸又はＹ軸に平行なライン走査のみでなく、斜めまたは円等の走査も可能である。このことによって、レーザ光による走査の制御効率を上げ、図４に示すように、リアルタイム性の高い輝度情報を合焦支援画面２２上に表示して、ユーザに報知することができる。これにより、ユーザは合焦位置すなわち試料９の蛍光画像が存在する位置または領域を迅速かつ容易に見つけることができる。
【００３６】
ユーザにより合焦位置が見出され、合焦支援処理の終了指示が入力されたことを検出すると（Ｓ７がＹｅｓ）、データ処理装置１５は処理を終了する。
尚、上述した共焦点及び非共焦点の輝度サンプリング方式においては、共焦点輝度検出部と非共焦点輝度検出部を別々に設けて、レーザ走査に対応して同時のサンプリングを行ってているが、共焦点と非共焦点の輝度サンプリングはこれに限ることなく、共焦点アパーチャ１０を自動着脱が可能な構成にし、この共焦点アパーチャ１０を交互に着脱して、レーザ走査を２回実行することにより、共焦点と非共焦点の輝度サンプルを取得するようにしてもよい。そのようにすれば、上記２つの光電変換回路が１つでよいことになるので、コストの低減したシステムを構成することができる。
【００３７】
図５は、第２の実施の形態における共焦点レーザ走査型顕微鏡のシステム構成を模式的に示す図である。同図に示す共焦点レーザ走査型顕微鏡のシステムは、図１に示した構成に新たにＺ位置検出装置３３を加えて構成されている。このＺ位置検出装置３３は、ステージ２０を上下移動させる不図示のステージハンドルの回転量を電気信号に変換して出力するこれも不図示のエンコーダからなる。尚、その他の構成部分は図１の場合と同一であるので図１と同一の番号を付与して示している。
【００３８】
図６(a) は、上記本例の構成において、ＣＲＴモニタ１６に表示される合焦支援装置の表示例の一つであるバーグラフを示す図であり、同図(b) は同じく表示例の他の例として折れ線グラフを示す図である。図６(a) に示す合焦支援画面３４も図４に示した合焦支援画面２２と同様に、左方に光量表示領域３５が設けられ、右方にはＺ位置表示領域３６が設けられている。ただし図４の場合は右方のＺ位置表示領域２４にはスクロール窓２９（スクロールバー２８、上矢印ボタン３１、下矢印ボタン３２を含む）のみが設けられていたが、この図６に示す合焦支援画面３４では、スクロール窓３７の他に７個の合焦マーク３８（３８ａ〜３８ｇ）が表示されている。
【００３９】
いま、左方の光量表示領域３５の非共焦点バーグラフの表示窓枠３９には、非共焦点の輝度を示すバーグラフ４１が最高輝度を示しており、この最高輝度表示範囲内（図２の範囲ｎ参照）において、ユーザによるステージハンドルの手動操作、又はデータ処理装置１５による自動制御によってＺ位置調整が適切に行われたことにより、共焦点バーグラフの表示窓枠４２には共焦点の最高輝度を示すバーグラフ４３が表示されている。そして、このようにＺ位置が共焦点の最高輝度範囲（図２(b) の範囲ｎ′参照）に一致したことにより、Ｚ位置表示領域３６の７個の合焦マーク３８の内、中央の合焦マーク３８ｄが点灯表示されている。このように合焦支援画面３４が表示されるようになるまでの処理を以下に説明する。
【００４０】
先ず、合焦支援画面３４の初期表示の段階で、ユーザによりＺ位置表示領域３６の左下隅に表示されている「ＡＦ」ボタン４４がクリック操作される。これにより、オートフォーカス機能が起動する。このオートフォーカス機能では、先ず、データ処理装置１５は、試料９に対し、ユーザにより任意に選択され設定されている２次元、線、または点の走査方法のいずれかでレーザ走査を開始するように走査制御装置１７に命令を送信する。
【００４１】
次に、データ処理装置１５は、Ｚ制御装置２１へ非共焦点光電変換回路１２の出力が暗になるまで試料９と対物レンズ８との相対距離を離すよう命令を出力する。これにより、非共焦点光電変換回路１２の出力が暗になる。この後、データ処理装置１５は、図６(a) に示す合焦支援画面３４のＺ位置表示領域３６の７個の合焦マーク３８の内の合焦マーク３８ｃ、３８ｂ、及び３８ａを順に点滅させて、合焦位置へ調整すべくステージ２０を上げて試料９と対物レンズ８との相対距離を縮めるように、ユーザに表示報知する。
【００４２】
ユーザは、この表示報知に従って、ステージハンドルによる手動操作又はＺ位置表示領域３６のスクロール窓３７の操作によってステージ２０を上に移動させる。
この間、データ処理装置１５は、非共焦点光電変換回路１２の出力と共焦点光電変換回路１２′の出力を監視し、監視して得られた輝度状態をバーグラフデータに変換して、図６(a) に示すように、光量表示領域３５の非共焦点バーグラフの表示窓枠３９に非共焦点の輝度を示すバーグラフ４１を表示し、同じく共焦点バーグラフの表示窓枠４２に共焦点の輝度を示すバーグラフ４３を表示する。
【００４３】
Ｚ位置表示領域３６の中央の合焦マーク３８ｄは、非共焦点光電変換回路１２の出力が或る閾値以上に明るくなると点滅するように設定されており、これにより合焦位置が近いことをユーザに報知することができる。
また、データ処理装置１５が例えば合焦マーク３８ｃ、３８ｂ、及び３８ａの順次点滅によってステージ２０を上へ移動させるようにユーザに表示報知しているにも拘らず、ステージ２０が下へ移動された場合は、合焦マーク３８の表示状態は更新されずに維持される。この逆に、合焦マーク３８ｅ、３８ｆ、及び３８ｇの順次点滅によって下へ移動させるようにとの表示報知に対してステージ２０が上へ移動された場合も同様に合焦マーク３８の表示は変化しない。
【００４４】
一方、ステージ２０を合焦マークの表示報知に従って移動させた結果、共焦点光電変換回路１２′の出力が輝度最大値を超えて暗くなる場合には、現在動かしているステージ２０の方向と逆方向にステージ２０を動かすように、例えば合焦マーク３８ｃ、３８ｂ、及び３８ａの順次点滅表示から、合焦マーク３８ｅ、３８ｆ、及び３８ｇの順次点滅表示に、表示報知の処理手順を更新する。
【００４５】
これによって、ステージ２０をどちらの向きに移動させれば合焦位置に近づくことができるのかを、ユーザに対し視覚的に通知することができる。
上記の動作は、ユーザによるステージハンドルの手動操作又はＺ位置表示領域３６のスクロール窓３７の操作によってステージ２０を上又は下に移動させるものであるが、これを完全自動で行うこともできる。
【００４６】
すなわち、その場合は、上記のようにＺ制御装置２１へ非共焦点光電変換回路１２の出力が暗になるまで試料９と対物レンズ８との相対距離を離すよう命令を出力して非共焦点光電変換回路１２の出力が暗になった後、データ処理装置１５は試料９と対物レンズ８との相対距離を近づけるようにＺ制御装置２１に命令する。
【００４７】
そして、非共焦点光電変換回路１２の出力と共焦点光電変換回路１２′の出力を監視しながら、ステージ２０を僅かずつ移動させ、先ず非共焦点光電変換回路１２の出力が高くなったところでステージ２０の移動速度を落として共焦点光電変換回路１２′の出力が高くなる点を探索する。そして共焦点の輝度が最大値を超えてそれよりも暗くなった瞬間にステージ２０の移動を停止させ、今度はステージ２０を、それまでの対物レンズ８が試料９に近づく方向から遠ざかる方向に微動させながら、再び共焦点の輝度が最大値となる点を探索する。これを繰り返して最終杓に共焦点光電変換回路１２′の出力が最大になる場所でステージ２０を停止させる。そして、このように合焦位置が得られたことによりＣＲＴモニタ１６に「ＡＦ終了」のメッセージを表示報知する。
【００４８】
このようにすれば、ユーザは最初に２次元、線、または点の走査方法のいずれかのレーザ走査を設定し、次に「ＡＦ」ボタン４４をクリック操作するだけで、あとは自動的に合焦位置を取得することができる。
尚、合焦支援画面２２の光量表示領域２３の表示または合焦支援画面３４の光量表示領域３５の表示については、バーグラフに限るものではなく、例えば折れ線グラフで示すようにしてもよい。図６(b) の合焦支援画面４５の光量表示領域４６には、一例として、横軸にＺ位置をとり縦軸に明るさ（輝度）をとって、非共焦点の輝度情報（共焦点の輝度情報は未だ現れていない）が折れ線グラフで示されている。勿論、サンプリングを細かくすれば、このグラフは折れ線でなく曲線で表わされる。
【００４９】
本例においては、図６(a) に示す表示方法と同図(b) に示す表示方法は任意に選択することが可能であり、特に同図(b) に示す折れ線グラフで表示する方法は、Ｚ位置を微調整しながら確実に輝度の高いポイントを得たいときには極めて有効な方法である。
【００５０】
尚、本実施形態から以下のように表現することができる方法発明を引き出すことができる。これを付記として、以下に述べる。
（付記１）レーザ走査型顕微鏡において試料と対物レンズとの相対距離を調整することにより前記試料の合焦位置を得る合焦支援方法であって、前記試料に対しレーザ光を走査して得られた光量を共焦点光電変換回路と非共焦点光電変換回路とでサンプリングする光量見本抽出工程と、該光量見本抽出工程によりサンプリングされたデータをＡ／Ｄ変換して量子化する光量見本量子化工程と、該光量見本量子化工程により量子化されたデータを前記試料と前記対物レンズとの相対方向における位置に対する光量情報としてディスプレイ上にグラフ表示する表示工程と、を含むことを特徴とする合焦支援方法。
（付記２）前記試料と前記対物レンズとの相対距離を調整する調整移動量を電気信号に変換して出力する調整移動量出力工程と、前記光量見本量子化工程により量子化されるデータと前記調整移動量出力工程により出力される調整移動量とに基づいて、前記試料と前記対物レンズとの相対方向において共焦点の光量が最大となる位置データを出力する位置データ出力工程と、を更に含み、前記表示工程は、前記位置データ出力工程により出力される前記位置データに基づいて前記共焦点の光量が最大となる位置への調整移動の向きを前記ディスプレイに表示する、ことを特徴とする付記１記載の合焦支援方法。
（付記３）前記位置データ出力工程により出力される前記位置データに基づいて前記試料と前記対物レンズとの相対距離を電動的に制御する相対距離制御工程を更に備えたことを特徴とする付記２記載の合焦支援方法。
【００５１】
【発明の効果】
以上詳細に説明したように、本発明によれば、共焦点の輝度情報のみでなく非共焦点の輝度情報を同時に検出してこれら２つの輝度情報をディスプレイに同時表示するので、非共焦点の輝度情報による追い込みから共焦点の輝度情報による絞り込みへの切り替えで絞り込むべき位置を見失うことなく、試料の画像が存在する位置または領域を迅速かつ容易に見つけて合焦画像を得ることができる。
【図面の簡単な説明】
【図１】第１の実施の形態における共焦点レーザ走査型顕微鏡のシステム構成を模式的に示す図である。
【図２】共焦点の検出輝度と非共焦点の検出輝度との相関を示す特性図である。
【図３】第１の実施の形態における合焦支援装置による処理のフローチャートである。
【図４】第１の実施の形態における合焦支援装置による処理においてＣＲＴモニタに表示される画像表示の例を示す図である。
【図５】第２の実施の形態における共焦点レーザ走査型顕微鏡のシステム構成を模式的に示す図である。
【図６】 (a),(b) は第２の実施の形態における共焦点レーザ走査型顕微鏡においてＣＲＴモニタに表示される合焦支援装置の表示の例を示す図である。
【符号の説明】
１ レーザ発振器
２ ビームエキスパンダ
３ 光路分割素子
４ Ｘ方向スキャナ
５ Ｙ方向スキャナ
６ 瞳投影レンズ
８ 対物レンズ
９ 試料
１０ 共焦点アパーチャ
１１ ダイクロイックミラー
１１′ ミラー
１２ 非共焦点光電変換回路
１２′ 共焦点光電変換回路
１３ ローパスフィルタ
１４ Ａ／Ｄ変換回路
１５ データ処理装置
１６ ＣＲＴモニタ
１７ 走査制御装置
１８、１９ 走査駆動回路
２０ ステージ
２１ Ｚ制御装置
２２ 合焦支援画面
２３ 光量表示領域
２４ Ｚ位置表示領域
２５ 非共焦点バーグラフ表示窓枠
２６ 共焦点バーグラフ表示窓枠
２７、２７′バーグラフ
２８ スクロールバー
２９ スクロール窓
３１ 上矢印ボタン
３２ 下矢印ボタン
３３ Ｚ位置検出装置
３４ 合焦支援画面
３５ 光量表示領域
３６ Ｚ位置表示領域
３７ スクロール窓
３８（３８ａ〜３８ｇ） 合焦マーク
３９ 非共焦点バーグラフ表示窓枠
４１ 非共焦点輝度バーグラフ
４２ 共焦点バーグラフ表示窓枠
４３ 共焦点輝度バーグラフ
４４ 「ＡＦ」ボタン
４５ 合焦支援画面
４６ 光量表示領域
４７ 折れ線グラフ
Claims (3)
- 試料と対物レンズとの相対距離を調整することにより試料画像の合焦位置を得るレーザ走査型顕微鏡であって、
前記試料に対しレーザ光を走査して得られた試料からの光を共焦点光電変換回路と非共焦点光電変換回路に同時に照射し、前記試料からの光量を共焦点光電変換回路と非共焦点光電変換回路とで２種類のデータとしてサンプリングする光量見本抽出手段と、
該光量見本抽出手段によりサンプリングされた前記２種類のデータをＡ／Ｄ変換して量子化する光量見本量子化手段と、
該光量見本量子化手段により量子化された前記２種類のデータを前記試料と前記対物レンズとの相対方向における位置に対する光量情報としてディスプレイ上にグラフ表示する表示手段と、
前記試料と前記対物レンズとの相対距離を調整する調整移動量を電気信号に変換して出力する調整移動量出力手段と、
前記光量見本量子化手段により量子化されるデータと前記調整移動量出力手段により出力される調整移動量とに基づいて、前記試料と前記対物レンズとの相対方向において共焦点の光量が最大となる位置データを出力する位置データ出力手段と、
を備え、
前記表示手段は、前記位置データ出力手段により出力される前記位置データに基づいて前記共焦点の光量が最大となる位置への調整移動の向きを前記ディスプレイに表示する、
を有することを特徴とする共焦点レーザ走査型顕微鏡。 - 試料と対物レンズとの相対距離を調整することにより試料画像の合焦位置を得るレーザ走査型顕微鏡であって、
前記試料に対しレーザ光を走査して得られた光量を共焦点光電変換回路と非共焦点光電変換回路とでサンプリングする光量見本抽出手段と、
該光量見本抽出手段によりサンプリングされたデータをＡ／Ｄ変換して量子化する光量見本量子化手段と、
該光量見本量子化手段により量子化されたデータを前記試料と前記対物レンズとの相対方向における位置に対する光量情報としてディスプレイ上にグラフ表示する表示手段と、 前記試料と前記対物レンズとの相対距離を調整する調整移動量を電気信号に変換して出力する調整移動量出力手段と、
前記光量見本量子化手段により量子化されるデータと前記調整移動量出力手段により出力される調整移動量とに基づいて、前記試料と前記対物レンズとの相対方向において共焦点の光量が最大となる位置データを出力する位置データ出力手段と、
を備え、
前記表示手段は、前記位置データ出力手段により出力される前記位置データに基づいて前記共焦点の光量が最大となる位置への調整移動の向きを前記ディスプレイに表示する、
ことを特徴とする共焦点レーザ走査型顕微鏡。 - 前記位置データ出力手段により出力される前記位置データに基づいて前記試料と前記対物レンズとの相対距離を電動的に制御する相対距離制御手段を更に備えたことを特徴とする請求項１又は２記載の共焦点レーザ走査型顕微鏡。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001212988A JP4912545B2 (ja) | 2001-07-13 | 2001-07-13 | 共焦点レーザ走査型顕微鏡 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001212988A JP4912545B2 (ja) | 2001-07-13 | 2001-07-13 | 共焦点レーザ走査型顕微鏡 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2003029152A JP2003029152A (ja) | 2003-01-29 |
| JP4912545B2 true JP4912545B2 (ja) | 2012-04-11 |
Family
ID=19048045
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2001212988A Expired - Fee Related JP4912545B2 (ja) | 2001-07-13 | 2001-07-13 | 共焦点レーザ走査型顕微鏡 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4912545B2 (ja) |
Families Citing this family (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4567458B2 (ja) * | 2002-11-18 | 2010-10-20 | ナノフォーカス アクチエンゲゼルシャフト | 共焦点顕微鏡を用いてシリンダ内壁の表面を測定するための装置 |
| JP2007279085A (ja) * | 2006-04-03 | 2007-10-25 | Nikon Corp | 共焦点顕微鏡 |
| JP2008040154A (ja) * | 2006-08-07 | 2008-02-21 | Olympus Corp | 共焦点レーザ顕微鏡 |
| JP5010897B2 (ja) * | 2006-11-10 | 2012-08-29 | オリンパス株式会社 | 共焦点レーザ顕微鏡 |
| KR101393514B1 (ko) * | 2011-09-06 | 2014-05-13 | 서울대학교산학협력단 | 고감도 실시간 공초점 형광 현미경 |
| JP6180130B2 (ja) * | 2013-02-20 | 2017-08-16 | オリンパス株式会社 | 顕微鏡システム、プログラム、及び球面収差を補正する方法 |
| JP6281193B2 (ja) * | 2013-05-30 | 2018-02-21 | ソニー株式会社 | レーザー走査型顕微鏡システム |
| EP3035104B1 (en) | 2014-12-15 | 2019-02-20 | Olympus Corporation | Microscope system and setting value calculation method |
| JP6555811B2 (ja) | 2015-07-16 | 2019-08-07 | オリンパス株式会社 | 顕微鏡システム、特定方法、及び、プログラム |
| EP3542710A1 (de) * | 2018-03-23 | 2019-09-25 | JenLab GmbH | Multimodales bildgebungssystem und verfahren zur nicht-invasiven untersuchung eines untersuchungsobjekts |
Family Cites Families (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0679207B2 (ja) * | 1987-07-06 | 1994-10-05 | 富士ファコム制御株式会社 | 輝度スケ−ル表示装置 |
| JPH07199077A (ja) * | 1993-12-29 | 1995-08-04 | Olympus Optical Co Ltd | 顕微鏡システム |
| JP3789516B2 (ja) * | 1994-12-02 | 2006-06-28 | 株式会社キーエンス | レーザ顕微鏡 |
| JP3579166B2 (ja) * | 1996-02-14 | 2004-10-20 | オリンパス株式会社 | 走査型レーザ顕微鏡 |
| JP3955115B2 (ja) * | 1996-11-14 | 2007-08-08 | オリンパス株式会社 | 共焦点型顕微鏡の合焦装置及びその合焦方法 |
| JPH1195113A (ja) * | 1997-09-19 | 1999-04-09 | Olympus Optical Co Ltd | 共焦点顕微鏡及びこれに適用される回転ディスク |
| JP4473987B2 (ja) * | 1999-09-10 | 2010-06-02 | 株式会社キーエンス | 共焦点顕微鏡 |
-
2001
- 2001-07-13 JP JP2001212988A patent/JP4912545B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2003029152A (ja) | 2003-01-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US7304790B2 (en) | Examination apparatus and focusing method of examination apparatus | |
| JP4912545B2 (ja) | 共焦点レーザ走査型顕微鏡 | |
| JP2000098259A (ja) | 共焦点顕微鏡用撮影装置 | |
| KR100930766B1 (ko) | 화상 촬상 장치 및 화상 촬상 장치의 합초 방법 | |
| JP3861000B2 (ja) | 走査型レーザー顕微鏡 | |
| JP5053691B2 (ja) | 標本スキャナ装置、該装置による標本位置検出方法 | |
| EP2273301A1 (en) | Laser scanning microscope | |
| JP2009145826A (ja) | 走査型顕微鏡装置 | |
| JP2009056507A (ja) | レーザ加工装置 | |
| JP2007140183A (ja) | 共焦点走査型顕微鏡装置 | |
| JP4576112B2 (ja) | 共焦点レーザ顕微鏡 | |
| JP4477170B2 (ja) | 走査型顕微鏡装置 | |
| JP2003029151A (ja) | 共焦点レーザ走査型顕微鏡装置および制御プログラム | |
| JPH09304701A (ja) | 共焦点レーザ走査顕微鏡 | |
| JP4493453B2 (ja) | 光検出回路および該光検出回路を備えた走査型共焦点顕微鏡 | |
| JP4290413B2 (ja) | 測定反復モードを有する共焦点顕微鏡システム | |
| JP2008292722A (ja) | 走査型光学装置 | |
| JPH1138324A (ja) | レーザ走査顕微鏡 | |
| KR20110121497A (ko) | Ｐｚｔ 스테이지를 이용한 공초점 현미경 시스템 및 그 스캔방법 | |
| JP4914567B2 (ja) | 走査型共焦点顕微鏡 | |
| JP7021870B2 (ja) | 顕微鏡装置 | |
| JP2010262104A (ja) | 走査型共焦点顕微鏡 | |
| JP4128256B2 (ja) | 走査型レーザ顕微鏡 | |
| JP2004177732A (ja) | 光学測定装置 | |
| JP2009092795A (ja) | 撮像型顕微鏡装置における画像の明度の調整方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20080620 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20110713 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110802 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110929 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20111018 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20111213 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20120110 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20120118 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150127 Year of fee payment: 3 |
|
| S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| LAPS | Cancellation because of no payment of annual fees |