JP3745034B2 - 顕微鏡システム - Google Patents

顕微鏡システム Download PDF

Info

Publication number
JP3745034B2
JP3745034B2 JP16580796A JP16580796A JP3745034B2 JP 3745034 B2 JP3745034 B2 JP 3745034B2 JP 16580796 A JP16580796 A JP 16580796A JP 16580796 A JP16580796 A JP 16580796A JP 3745034 B2 JP3745034 B2 JP 3745034B2
Authority
JP
Japan
Prior art keywords
control
specimen
observation
objective lens
focus position
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP16580796A
Other languages
English (en)
Other versions
JPH1010433A (ja
Inventor
実成 小嶋
伸之 永沢
隆 長野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Priority to JP16580796A priority Critical patent/JP3745034B2/ja
Publication of JPH1010433A publication Critical patent/JPH1010433A/ja
Application granted granted Critical
Publication of JP3745034B2 publication Critical patent/JP3745034B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Description

【0001】
【発明の属する技術分野】
本発明は、自動焦点検出機能を備えた顕微鏡システムに関する。
【0002】
【従来の技術】
現在、微細な試料を拡大観察したり、観察像を写真やビデオ画像として記録することの出来る顕微鏡装置が、生物分野の研究をはじめ工業分野の検査工程等で幅広く利用されている。
【0003】
従来の顕微鏡装置では、写真撮影を行う場合、特に焦点深度の深い低倍対物レンズで写真撮影を行うためには、写真撮影の際のピント合わせ操作にかなりの熟練を要していた。また、高倍対物レンズで拡大観察する場合、標本やステージの傾き等により、標本を光軸と水平方向に移動しただけでもピントがズレてしまうことがあり、この場合には標本を移動する度に再度ピント合わせ操作を行わなければならなかった。
【0004】
そこで、顕微鏡写真撮影の際のピント合わせに関する操作性や写真撮影性能の向上を図るために種々の技術が開発されてきた。本出願人は、特公平5−87804号(特願昭58−47647号)において、顕微鏡写真撮影性能や写真撮影の操作性を改善するための技術を開示している。具体的には、標本をスライドガラス標本に限定して、予めピント位置付近にオートフォーカス開始の基準位置を設け、自動焦点検出(AF制御)動作を開始すると基準位置まで標本移動ステージを光軸と垂直方向へ無条件で移動させ、その基準位置からピント合わせ動作を行う、というものである。このような技術手段を自動合焦機能に組み込むことにより、ピント合わせの高速化を達成している。
【0005】
また、対物レンズの変更や照明光状態の変更により観察法を切換えることのできる顕微鏡装置がある。顕微鏡の観察法にはさまざまなものがあるが、周知のものでは明視野観察、暗視野観察、微分干渉観察、偏光観察、位相差観察、蛍光観察などがある。標本の種類により、照明光の照射方向(透過/落射照明)を切換えることにより標本の種類、特性に応じた観察法で観察を行っている。
【0006】
ところで、対物レンズの変換やコンデンサの変更により観察法が切換えられた場合、その都度条件に合わせて照明光の明るさや絞りの状態を最適な状態にしなければ顕微鏡の性能を充分に生かすことができない。ところが、このような操作は顕微鏡操作にかなりの熟練を有していなければ円滑に行ない得なかった。
【0007】
そこで、対物レンズの状態、光路設定状態に連動して撮影像の明るさを一定に保つように制御する顕微鏡システムが開発された。本出願人は、特願平7−015812号等において、対物レンズの状態等に応じて撮影像の明るさを制御することのできる顕微鏡システムを開示している。具体的には、各観察法での絞り、明るさ、照明状態の調整値等の観察条件を記憶しておき、観察法が切り換わる毎に最適な観察条件を読出して自動的に再現するものである。このような技術手段を顕微鏡システムに採用することで、観察法切換えの操作性の向上を図り、顕微鏡操作を最適化するようにしている。
【0008】
【発明が解決しようとする課題】
ところが、従来の顕微鏡装置は、顕微鏡写真の撮影性能、撮影の際の操作性は改善されたものの、単一標本(スライドガラス標本)を使用することを前提として自動合焦機能のシステム構成が採られているため、観察対象の標本がスライドガラス標本から他の標本へ変わった場合、例えば金属標本のような反射標本やスライドガラスよりも厚みのある標本に変わった場合には適応できずに不具合が生じる可能性がある。
【0009】
例えば、観察対象の標本がスライドガラス標本から当該スライドガラス標本よりも厚い他の標本へ変わっている場合、予めスライドガラス標本に対して衝突が生じないようにピント位置付近に設定した基準位置よりも他の標本の表面のほうが突出していると、AF制御を行うときに、基準位置に達する前に対物レンズと標本が衝突する結果となってしまう。
【0010】
また、従来の顕微鏡システムは、観察法が切換わる毎に最適な観察条件を再現できるようにすることで観察法の切換えに伴う調整作業の操作性を改善しているが、AF制御動作として単一モードの制御しか実施していないことから、上記同様の問題が生じる可能性がある。
【0011】
本発明は、以上のような実情に鑑みてなされたもので、標本の種類に対応して自動合焦機能を選択的に切換えることができ、標本に合わせて最適なAF制御が可能で、標本及び対物レンズの衝突を確実に回避し得る顕微鏡システムを提供することを目的とする。
【0012】
【課題を解決するための手段】
本発明は、上記目的を達成するために以下のような手段を講じた。
対物レンズと標本との間の光軸方向の距離を変化させて自動的に合焦位置を検出する自動焦点検出機能を備えたものにおいて、複数の AF 制御モードが格納された記憶手段と、外部から与えられる選択条件に基づいて前記記憶手段に記憶された AF 制御モードを切換える切換え手段と、選択された前記 AF 制御モードに応じて合焦位置を検出するための処理を実行する合焦位置検出動作実行手段とを具備する。
【0013】
本発明によれば、記憶手段に合焦位置検出のための処理内容が複数種類用意され、合焦制御実行手段で使用する合焦位置検出のための処理内容が制御内容切換手段により外部から与えられる選択条件に基づいて切換えられる。したがって、標本が変わった場合に、制御内容切換手段に変更後の標本に適した処理内容を選択条件として与えてやることにより変更後の標本に適した処理内容の自動焦点検出が実行されるものとなる。
【0014】
制御内容切換手段に対して選択条件を入力するための入力装置を接続して、観察者が変更後の標本の種別を指示するだけで当該変更後の標本に適した自動焦点検出のモードが選択されるようにする。
【0015】
スライドガラス標本に対するAF制御の処理内容としてAF制御開始時に対物レンズ又はステージを無条件で基準位置へ移動させる処理を含んだ処理内容を設定し、反射標本に対するAF制御の処理内容としてAF制御開始時にコントラストの有無を判断してコントラストが無い時にはマニュアル操作可能な状態にしてコントラスト値をモニタし、コントラスト値が有りの状態となった段階で所定の合焦制御へ移行する。
【0016】
指示された観察法に合わせて観察条件を自動的に再設定する観察法自動切換え機能と、対物レンズと標本との間の光軸方向の距離を変化させて自動的に合焦位置を検出する自動焦点検出機能とを備えた顕微鏡システムにおいて、合焦位置検出のための複数種の処理内容が格納された記憶手段と、前記記憶手段から取り出した合焦位置検出のための処理内容に基づいて合焦位置を検出するための処理を実行する合焦制御実行手段と、観察法に応じて前記合焦制御実行手段で使用する合焦位置検出のための処理内容を切換える制御内容切換手段とを具備する。
【0017】
本発明によれば、使用する観察法によって観察対象の標本の種類が特定されるので、観察法に応じて合焦位置検出のための処理内容を切換えることにより標本に対して最適なAF制御を自動的に選択できるようになる。
【0018】
合焦位置検出のための処理内容に対応した複数の制御モードと観察法の種類との対応を管理するモード管理テーブルを備え、制御内容切換手段が前記モード管理テーブルを参照して観察法に対応した処理内容を認識できるようにした。
【0019】
【発明の実施の形態】
以下、本発明の実施の形態について説明する。
(第1の実施の形態)
第1の実施の形態の顕微鏡装置は、種類の異なる複数の標本について個々の標本毎にAF制御内容の異なる各AF制御用プログラムを記憶しておき、観察者から観察対象となる標本の種別データを入力できるようにして、種別データに基づいて実行すべきAF制御用プログラム(サブルーチンを含む)を選択するようにしている。
【0020】
図1は、第1の実施の形態に係わる顕微鏡装置の全体構成を示している。
スライドガラスに作成した染色標本等の透過性のある標本を観察するための光を照射するための透過用光源1を備えている。透過用光源1から発した照明光でステージ2に載置された標本3を透過照明光学系を介して透過照明する。照明された標本3の標本像は対物レンズ4で拡大されてから所定位置で結像し、当該標本像を接眼レンズ5から拡大観察できるようになっている。
【0021】
また、金属組織標本など反射光を利用して観察する為の光源となる落射用光源6を備えている。落射用光源6を使用して標本3を照明する場合、光路中に落射キューブ7を挿入する。落射用光源6から発した光を、図1に示すように光路上に配置した落射キューブ7にて対物レンズ側へ反射し、対物レンズ4を通して落射照明する。
【0022】
対物レンズ4から出射される標本像の光束を、接眼レンズ5と自動焦点用光学系に分割するための鏡筒8が光路上に配置されている。同図に示す例では、反射光は接眼レンズ側へ入射し、透過光は自動焦点用光学系へ入射する。
【0023】
自動焦点用光学系には、AF制御に使用される像の入力部となるCCDセンサ9が設置されている。CCDセンサ9上には結像レンズ10にて標本像を結像させている。CCDセンサ9面上には光路差分割プリズム11により光路差を持たせた2つの像を結像位置を変えて結像させる。
【0024】
CCDセンサ9の蓄積時間のコントロールやCCDセンサ9に印加するシフトパルスはタイミングジェネレータ12が発生させる。CCDセンサ9から読み出されたアナログデータをアナログ処理部13で処理してからA/D変換部14でデジタルデータに変換する。A/D変換部14から出力されるデジタルデータは制御回路15へ与えられる。
【0025】
制御回路15の内部構成は、周知のCPU回路であり、観察作業をサポートするためのアプリケーションプログラムを格納したROM、演算用データを格納するためのRAM等を含んでおり、装置全体のコントロールを行う。ROMの中には、2種類のAF制御用の上記プログラムが格納されており、後述する入力装置19からの標本種別データに基づいてその制御モードを切り換えることが可能になっている。
【0026】
駆動回路16からの信号によりモータ17を駆動してステージ2を光軸と垂直方向に上下動させるようにしている。モータ17によりステージ2が移動した場合にステージ位置を検出するための位置検出回路18を備えている。制御回路15は位置検出回路18からステージ位置検出信号を取り込んで駆動回路16へ指示を与える。
【0027】
また、自動焦点動作開始信号等の指示を与えるための入力装置19が制御回路15に接続されている。図4は入力装置19のスイッチ構造を示している。入力装置19はAF動作のON/OFF制御を行う為のAFスイッチ20と、AF制御モードの選択を行う為のMODEスイッチ21,22で構成されている。スイッチ20〜22は周知の接点スイッチ回路で構成されており、その状態が制御回路15で読み取れる様になっている。
【0028】
以上のように構成された顕微鏡装置は以下のように動作する。
この顕微鏡装置はAF制御に光路差AF方式を採用しているものとする。光路差AF方式は、基本的にはCCDセンサ9上に基準結像面を挟んで光軸方向に前後する2ケ所の結像位置を配置し、それぞれの受光像に基づいて、駆動回路16を介してモータ17を駆動しステージ2を上下動させてピント合わせを行うものである。この基準結像面に対して前後2ケ所に結像位置を配置させる役割を果たすのが光路差分割プリズム11である。
【0029】
基準結像面より前の結像位置に配置された受光素子に結像した像(以下前ピン像と呼ぶ)のコントラスト信号と、基準結像面より後の結像位置に配置された受光素子に結像した像(以下後ピン像と呼ぶ)のコントラスト信号は、図2の様な特性を示す。尚、同図における縦軸はコントラスト値、横軸はデフォーカス量を示している。
【0030】
図2に示すように、前ピン像のコントラストは合焦点からステージ2の光軸と垂直方向の+側へ少し離れた位置で最大となる。また、後ピン像のコントラストは合焦点から前ピン像と反対側のステージ2の光軸と垂直方向の−側へ少し離れた位置で最大となる。このときCCDセンサ9上の前後2ケ所の結像位置は、合焦点から等距離ずれた位置の像となる。よって、前ピン像、後ピン像のコントラストの最大値をとる場所は合焦点から等距離になる。
【0031】
図2における後ピン像のコントラスト値(A)から前ピン像のコントラスト値(B)を差し引いた値(以下、Sカーブとよぶ)を図3に示す。同図における縦軸は差分コントラスト値、横軸はデフォーカス量である。
【0032】
図3に示すように、合焦点は(A−B)の値が0となる点と一致する。この点をクロスポイントと呼ぶ。また、標本3が合焦点へ近づいている場合、(A−B)は正の値となり、一方、標本が合焦点から離れている場合は(A−B)は負の値となる。
【0033】
制御回路15は、前ピン/後ピン像のコントラスト値の差分をとり、その正負の極性でステージ3を移動させる方向を決定し、駆動回路16を介してモータ17によりステージ3を制御する。この動作を前ピン/後ピン像のコントラスト値の差分が0となるまで繰り返すことにより対物レンズ4の焦点位置を標本3に一致させるものである。
【0034】
この実施の形態は上記AF制御を実行する前段で前記2つのAF制御モードの切換え処理を実行している。図6にAF制御モードの切換え処理を含んだAF制御動作のフローチャートを示している。AF制御モードとして、2つのモードを含んでおり、一つはスライドガラス標本を対象としたものであり、もう一つは金属組織標本等の反射標本を対象としたものである。ここでは、MODEスイッチ21はスライドガラス標本に対応したAF制御モードのスイッチ、MODEスイッチ22は金属組織標本に対応したAF制御モードのスイッチが割当られているものとする。
【0035】
スライドガラス標本を使用する場合
操作者が、ステージ2上にスライドガラスの標本3をセットし、透過照明光による観察を行うべく透過用光源1を点灯し、落射キューブ7を光路外へ移動する操作を行う。そして、観察標本がスライドガラス標本であるので、入力装置19のMODEスイッチ21を押し、ピント合わせを行うためにAFスイッチ20を押す。
【0036】
制御回路15は、MODEスイッチ21が選択されたことを入力装置19の接点状態から認識すると、保持しているモードデータをスライドガラス標本に対応したAF制御モードを示すモード1にデータ更新する。また、MODEスイッチ22が選択された場合には金属組織標本に対応したAF制御モードを示すモード2にデータ更新する。
【0037】
AFスイッチ20が押されると、そのとき保持しているモードデータを確認する。今、AF制御モードとしてモード1が保持されているので、モード1に対応したAF制御用プログラムを実行する。モード1に対応したAF制御用プログラムは、ステージ2をピント面付近の基準位置まで無条件で移動させる処理を含んでいる。そのため、駆動回路16に指示を与えてモータ17を駆動し、位置検出回路18の信号をモニターしながらステージ2を駆動することにより、ピント面付近の基準位置を検出する。スライドガラスの一般的な厚みは、0.9〜1.4mm程であるので、スライドガラスの厚みを考慮に入れて理論上の合焦位置より、0.5mm下の付近に基準位置を設定しておくことが好ましい。
【0038】
制御回路15は、ステージ2が基準位置に達したことを検出すると、実際にCCDセンサ9の信号を確認しながらのピント合わせ動作に移る。制御回路15からタイミングジェネレータ12に駆動信号を与えてCCDセンサ9を駆動する。CCDセンサ9で得られた像のデータは、アナログ処理部13に入力され、ここでA/D変換部14の入力仕様に適合した信号レベルに増幅される。増幅された信号は、A/D変換部14に送られ制御回路15で扱えるデジタルデータに変換される。A/D変換部14で変換された像データ(デジタルデータ)により、制御回路15は、駆動回路16、モータ17で前述した光路差AF方式を用いて、ピント合わせ動作を実行する。そして、ピントが検出されると(Sカーブが0となると)、その時点でAF動作を終了する。
【0039】
金属組織標本を使用する場合
次に、操作者が、観察している標本3を例えば金属組織標本などの透過性のない厚い標本に交換したものとする。
操作者は、透過性のない標本を観察するのに適した観察条件を設定する。そのため、現在点灯している透過用光源1を消灯し、落射用光源6を点灯させ、反射光により観察を行うため落射キューブ7を光路中に挿入する。これにより、落射用光源6からの光は、落射キューブ7により対物レンズ4側に反射され、対物レンズ4を通して標本3に照射される。標本3に照射された光は、標本3により反射され再び対物レンズ4、落射キューブ7を介して鏡筒8、接眼レンズ5を通り観察可能になる。
【0040】
次にAF制御モードの切換えを行う。標本3が金属組織標本なので、MODEスイッチ22を選択する。入力装置19でMODEスイッチ22が押されると、制御回路15では保持しているモードデータをモード2に更新する。そして、AFスイッチ20が押されると、制御回路15は現在保持しているモードをモード2と認識し、モード2に対応したAF制御用プログラムを実行する。モード2に対応したAF制御用プログラムは、モード1のようなステージ2を無条件で基準位置まで移動させる処理は含んでいない。モード1とは標本が異なるため、モード1の様な動作ではAF制御できないからである。モード1では、理論上のピント位置から0.5mm下の基準位置まで強制的にステージ2を移動していたが、モード2では標本の厚さが規定できないため基準位置の設定が不可能である。仮にモード1と同じ位置に設定した場合を考えると、スライドガラスの最大厚み1.4mmより厚い標本がステージ2に載置されると、ステージ2が基準位置に達する前に対物レンズ4と標本3が衝突してしまう恐れがあるためである。
【0041】
この実施の形態では、モード2に対応したAF制御用プログラムに、光路差AF方式によるAF制御を実行する前に、受光像の結像状態を確認してコントラストを求める処理が入っている。
【0042】
制御回路15は、モード2でAFスイッチ20が押された場合は、直ちにタイミングジェネレータ12を駆動し、現在のCCDセンサ9上の受光像の結像状態を確認する。そして、A/D変換部14からのデータによりコントラスト値の演算を行い、コントラストの無い状態ならばAF動作を待機状態にする。この時、制御回路15は、CCDセンサ9の駆動は続行させておく。
【0043】
制御回路15は、図5に示す様にコントラストカーブに対してしきい値(同図c点)を設定して、コントラストがそのしきい値以上か又はしきい値未満かによりコントラストの状態(コントラストの有無)を判断する。コントラスト値がしきい値以上であればコントラスト有りと認識し、しきい値未満ならコントラスト無しと認識する。
【0044】
AF待機状態の場合、制御回路15は駆動回路16への信号出力を中止することにより、モータ17をフリー状態にする。モータ17がフリー状態になると、ステージ2は図示しない焦準ハンドルによる手動操作が可能になる。操作者は、接眼レンズ5を覗きながら焦準ハンドルを回し、ステージ2を移動させる。この時も、CCDセンサ9では絶えず受像し、制御回路15はコントラスト演算をつづけてコントラストの状態を判断する。
【0045】
制御回路15は、コントラスト値が大きくなってしきい値を越えた状態までステージ2が移動されたことを検出すると、AF待機状態を解除し、駆動回路16を介してモータ17を駆動し、AF動作を開始する。
【0046】
後のAF制御動作は「スライドガラス標本の場合」と同様であり、光路差AF方式を使用して前ピン像のコントラスト値と後ピン像のコントラスト値との差分が0になるようにステージ2を駆動して合焦点の検出を行い、検出後にAF動作を終了する。
【0047】
一方、AFスイッチ20が押された状態でコントラストがしきい値を越えていた場合は、待機状態とはならずに、そのままAF動作に移る。
このように、第1の実施の形態によれば、複数種の標本にそれぞれ最適なAF制御用プログラムを記憶し、AF制御に使用するAF制御用プログラムをモード1,2として観察者から切換え可能にしておき、観察者から指示されたモードに対応したAF制御用プログラムを使用してAF制御を行うので、観察している標本に最適なAF制御が可能となった。また、金属組織標本を使用した場合には、標本及び対物レンズを保護するようなAF制御を行い、標本と対物レンズの衝突の可能性が著しく減少する。
【0048】
上記した第1の実施の形態では、2つのAF制御モードを選択できるように構成したが、観察対象にする標本の種類が増えるのに応じてそれぞれの標本に適したAF制御モードを適宜増加することも可能である。
【0049】
(第2の実施の形態)
第2の実施の形態に係る顕微鏡システムは、観察法の切換えが発生した場合に観察条件を自動的に再調整する機能を備えたシステムであり、観察者にモードの入力を求めることなく観察法に応じて自動的にAF制御内容を切換えるようにしたものである。
【0050】
図7は、第2の実施の形態に係る顕微鏡システムの全体構成を示している。
この顕微鏡システムにおける光学系では、例えばハロゲンランプからなる透過照明用光源101からの光をコレクタレンズ102で集光して透過用フィルターユニット103へ入射する。
【0051】
透過用フィルターユニット103は、透過照明用光源101の色温度を変えずに明るさの調光を行う複数枚のNDフィルターと、色補正を行うための複数枚の補正フィルターとからなり、任意のフィルターを照明光学系の光路中に選択的に挿脱可能になっている。
【0052】
上記透過用フィルターユニット103を透過した照明光を、透過視野絞り104,透過開口絞り105,コンデンサ光学素子ユニット106,コンデンサトップレンズユニット107を介して試料ステージ108の下方からステージ上の観察試料Sを照明するように透過照明光学系が構成されている。
【0053】
コンデンサ光学素子ユニット106は、光路中に選択的に挿入される暗視野観察用、微分干渉観察用、位相差観察用の複数の光学素子106a〜106cからなる。
【0054】
コンデンサトップレンズユニット107は、光路中に選択的に挿入される複数のトップレンズ107a,107bからなる。トップレンズ107aは低倍観察時に使用され、トップレンズ107bは高倍観察時に使用される。
【0055】
試料ステージ108は、観察試料Sを光軸と直交する平面内で2次元移動可能になっていると共に、ピント合わせのため光軸方向へ移動可能になっている。試料ステージ上方には複数の対物レンズ109a〜109cがレボルバー109に保持されている。
【0056】
キューブユニット111は、各種観察法により選択的に挿入される落射明視野用、落射暗視野用、落射蛍光用の複数のキューブ111a〜111cからなる。キューブユニット111を透過した光は観察用プリズム113を介して接眼レンズ114へ導いている。
【0057】
一方、水銀ランプ等からなる落射照明用光源115からの光を、落射用フィルターユニット116,落射シャッター117,落射視野絞り118,落射開口絞り119を介して、キューブユニット111の光路中に挿入されているキューブに入射し、観察試料S側へ反射させて落射照明するのが落射照明光学系である。
【0058】
落射用フィルターユニット116は、落射照明用光源115の色温度を変えずに明るさの調光を行う複数枚のNDフィルターと、色補正を行うための複数枚の補正フィルターとから構成される。落射シャッター117は、光路中に挿脱可能で落射用光源115を遮光するためのシャッターである。
【0059】
本顕微鏡システムの電気制御系は以下のように構成されている。
システム全体の動作を管理しているメインコントロール部130に対して、落射絞りコントロール部131、落射フィルターコントロール部132、コンデンサコントロール部133、透過視野絞りコントロール部134、透過フィルターコントロール部135、フレームコントロール部136、AFコントロール部140を、専用シリアルバス137を介してそれぞれ接続している。
【0060】
落射絞りコントロール部131は落射視野絞り118と落射開口絞り119を駆動及び制御するコントロール部であり、落射フィルターコントロール部132は落射用フィルターユニット116を駆動及び制御するコントロール部である。
【0061】
コンデンサコントロール部133は、コンデンサ光学素子ユニット106,コンデンサトップレンズユニット107,透過用開口絞り105の駆動及び制御を行う部分である。また、透過視野絞りコントロール部134は透過用視野絞り104の駆動及び制御を行うコントロール部であり、透過フィルターコントロール部135は透過用フィルターユニット103の駆動及び制御を行うコントロール部である。フレームコントロール部136は、透過照明用光源101,落射照明用光源115,レボルバー109,キューブユニット111,落射シャッター117を駆動制御するコントロール部である。
【0062】
AF制御コントロール部140は、CCDセンサ9から入力する信号からコントラスト値を演算して焦点検出を行い、ステージ108を光軸方向へ上下動させてピント合わせを行うコントロール部である。
【0063】
上記各コントロール部131〜136、140は、図8に示す回路構成を夫々備えている。CPU回路141と、このCPU回路141からの指令で制御対象の光学ユニットを駆動する駆動回路142と、制御対象である駆動部の位置を検出してCPU回路141へ知らせる位置検出回路143と、CPU回路141と専用シリアルバス137とを接続する専用シリアル通信I/F回路144と、その他の図示しない周辺回路とをコントロール部内に内蔵している。
【0064】
上記CPU回路141は、CPU145がROM146,RAM147にCPUバス148を介して接続され、ROM146に各々の制御内容を記述したプログラムが記憶され、RAM147に制御演算用のデータが格納されている。そして各コントロール部131〜136及び140に専用シリアルバス137を介してメインコントロール部130から制御指示が送り込まれ、CPU145がROM146のプログラムに従って動作することにより各々受け持ちの光学ユニット等の制御を行う。
【0065】
図9は、メインコントロール部130の構成を示す図である。
メインコントロール部130は、各コントロール部131〜136,140と同様に構成されたCPU回路141−Mに加えて、顕微鏡の各種設定状態を記憶し電源遮断後もその記憶内容を記憶している不揮発性メモリ150と、各種操作SWを設けたSW入力部151と、各種情報を表示するための表示部152と、専用シリアルバス137をコントロールする為の専用シリアルバス駆動回路153とにより構成されている。
【0066】
次に、以上のように構成された本実施の形態の動作内容について説明する。
図10は実施形態全体における動作の流れを示している。すなわち、電源が投入されると操作画面を表示して、「初期設定処理」「対物レンズ切換処理」「観察法切換処理」のいずれかの処理を受け付ける。図11に「観察法切換処理」に関するフローチャートを示している。また、図12は観察法の切換処理が実行された後にAF制御の指示が与えられた場合に実行されるAF制御処理のフローチャートを示している。
(初期設定処理)
顕微鏡操作の前段階として、観察法の変更に伴う観察条件の自動調整の為に必要となる各種パラメータの設定操作を行う。実際には、図13に示す制御パラメータテーブルを作成して不揮発性メモリ150へ保存する。
【0067】
具体的には、図示しない電源SWが押されるとメインコントロール部130のCPU145−MがROM146−Mから操作画面表示データを読出して表示部152に操作画面を表示する。
【0068】
図20は操作画面の構成例を示している。操作画面は、初期設定画面を呼び出すためのINITIALスイッチ300、観察法の切換えを行うスイッチ表示領域310、照明系の切換えを行うスイッチ表示領域320、対物レンズの指定を行うスイッチ表示領域330から構成されている。領域310は、明視野観察法指定スイッチ311、暗視野観察法指定スイッチ312、微分干渉観察指定スイッチ313、位相差観察法指定スイッチ314、蛍光観察法指定スイッチ315が備えられている。領域320は、落射照明を選択する落射照明選択スイッチ321、透過照明を選択する透過照明選択スイッチ322が備えられている。
【0069】
操作画面において、INITIALスイッチ300が押された場合に初期設定処理が実行されるように設定する。初期設定処理では、図13に示す制御用パラメータテーブルのレボルバ位置Noを指定して該当項目に対物レンズに関する情報を設定していく。なお、観察法に応じた絞り情報等は予め設定しておくことができる。
【0070】
また、図14に示す観察法に対応したAF制御モードテーブルを記憶させる。同図には、第1の実施の形態と同様にスライドガラス標本のAF制御に適したAF制御モードであるモード1と、金属標本のAF制御に適したAF制御モードであるモード2とが設定されている例が示されている。観察法により使用する標本の種類が限定されるので、観察法毎にモード1又はモード2のうち適しているほうのモードを設定している。
【0071】
なお、モード1およびモード2の各々に対応して各AF制御用プログラムが選択的に実行可能に搭載されているものとする。
次に、実際に顕微鏡装置を操作する時の作用について説明する。
【0072】
今、操作者が操作画面(図20)に対して観察法指定スイッチの一つである明視野指定スイッチ311(BF)を選択すると、CPU145−MがSW入力部151と表示部152の表示内容より、透過明視野観察が指定されたものと判断し、透過明視野観察法への切換え動作を開始する。すなわち、図11に示すフローチャートに基づいて以下の(1)〜(5)の手順からなる観察法切換処理を実行する。
(1) 対物レンズの適合性チェック
メインコントロール部130において、図13の制御パラメータテーブルを参照して現在選択されている対物レンズ(観察光学系の光路上に挿入されている対物レンズのこと)が指定観察法での観察に適しているかどうかをチェックする。対物レンズが指定観察法に不適合であれば、対物レンズの変更を実行する。
【0073】
対物レンズの変更が必要な場合は、制御パラメータテーブルを参照することにより指定観察法に対して適している複数の対物レンズのなかから倍率の小さい対物レンズを選択する。
【0074】
変更対物レンズが決定したらCPU145−Mが専用シリアルバス駆動回路153を駆動し、専用シリアルバス137を介してフレームコントロール部136にレボルバー109の回転指示を与える。この回転指示を受けたフレームコントロール部136が駆動回路142を駆動してレボルバー109の指定取付け穴位置を光軸位置に挿入する。
(2) 照明経路の変更
指定観察法が指定されると、当該指定観察法にあった照明、観察が行えるように照明経路を確保する処理を実行する。
【0075】
先ず、透過観察法か落射観察法かによりランプ電圧の供給先を切り換えて光源を適正化する。透過観察法の場合は透過照明用光源101、落射観察法の場合は落射照明用光源115を点燈させるべくCPU145−Mは、フレームコントロール部136に照明用光源制御指示を専用シリアルバス137を使用して通知する。その結果、照明用光源の印加電圧は、図13の制御パラメータテーブルに登録されているランプ電圧(Lvol)に制御される。
【0076】
キューブの適正化が行われる。CPU145−Mは、不揮発メモリ150に予め記憶してあるキューブ種別テーブルからキューブの設定条件を取得する。
図15はキューブ種別テーブルの構成を示している。キューブ種別テーブルは、キューブユニット111におけるキューブ位置と、各位置に取り付けられているキューブの種別とを対応させたテーブルである。
【0077】
キューブ種別テーブルから指定観察法に適合したキューブデータを取得して、取得したキューブデータに基づいて該当するキューブが観察光軸上に挿入するようフレームコントロール部136に制御指示を送る。
【0078】
フレームコントロール部136は、制御指示が送られてくると指定キューブを光軸位置へ挿入すべく駆動回路142でキューブユニット111を駆動する。
最後に、コンデンサ139の制御を行う。コンデンサ139の制御は、コンデンサトップレンズユニット107と光学素子ユニット106の2つのユニットを制御することにより行われる。図13の制御パラメータテーブルを参照して、現在挿入されている対物レンズの倍率に応じてコンデンサトップレンズの倍率を選択する。
【0079】
挿入すべきトップレンズが決定したら、コンデンサコントロール部133に制御指示を送出して、トップレンズ107aあるいは107bのどちらかを光軸上に挿入させる。
【0080】
次に、光学素子種別テーブルから取得した設定条件に基づいて光学素子ユニット106の光学素子を適正化する指令をコンデンサコントロール部133へ出すことにより光学素子ユニット106の光学素子を調整する。
【0081】
図16は光学素子種別テーブルの構成例を示している。このテーブルは、光学素子ユニット106における光学素子位置と、各位置に取り付けられている光学素子の種別とを対応させたテーブルである。
【0082】
光学素子種別テーブルから指定観察法に適合した光学素子及び位置データを取得し、光学素子の位置が決定したらコンデンサトップレンズユニット107と同様、コンデンサコントロール部133に制御指示を出す。
(3) 明るさの調整
透過用フィルタユニット103に装着されている複数のNDフィルターの組み合わせを変えることにより透過照明側の照明光の明るさを調整し、落射用フィルタユニット116に装着されている複数のNDフィルターの組み合わせを変えることにより落射照明側の照明光の明るさを調整する。
【0083】
図18は、透過用フィルターユニット103に装着されている各種フィルターの種類とフィルター取付け位置との対応を示すテーブルを示している。No1〜No4のNDフィルターは、色温度を変えずに明るさのコントロールを行う為のものである。この4枚の組み合わせで光の透過量を調整し、光量の制御を行うことができる。これらフィルターは透過フィルターコントロール部135により、照明光路中に任意に挿入可能となっている。
【0084】
図19は、No1〜No4のNDフィルターの組み合わせと光量比との関係を表したテーブルである。なお、光量比はNDフィルター未挿入の状態を基準値として、基準値からの減光率を示している。このような光量比−NDフィルタ組合せテーブルを不揮発性メモリ150に記憶しておく。
【0085】
観察時の像面の照度Lは透過観察法の場合、(1)式、落射観察法の場合(2)式で表すことができる。
L={Kk(LA×ND×AS)×OB}×Km …………………(1)
L={Kk(LA×ND×AS)}×Km …………………………(2)
“LA”は基準対物レンズを使用し、AS径100%の時の像面照度(基準照度)である。このLAは使用する照明光学系により各々異なる。“ND”は透過用フィルターユニット103、或いは落射用フィルターユニット116のNDフィルターの組合わせ濃度比率である。
【0086】
実際のNDフィルター組み合わせを求めるために、図13の制御パラメータテーブルより対物レンズ明るさ係数logaOB、観察法別の明るさ係数logaKk、明るさマニュアル補正値logaKmを取得して、これらのデータからlogaNDを計算する。ROM146−Mに予め格納してあるND係数−光量比対応テーブルからlogaNDに対応した光量比を決める。そして、図19に示す光量比−NDフィルタ組合せテーブルから前記光量比となるようなNDフィルタの組合せを求める。その求めた組み合わせとなるように透過フィルターユニット103の透過フィルタコントロール部135に指令を出す。
【0087】
専用シリアルバス137で、メインコントロール部130からの制御指示を受けた透過フィルターユニット103は、駆動回路142でその指示された組み合わせとなるようにNDフィルターの組み合わせを変更する。
(4) 視野絞りの調整
視野絞り径を算出する。透過視野絞り径の算出式を(3)式に、落射視野絞り径の算出式を(4)式に示す。
【0088】
透過視野絞り径={OCfr/(OBmag×FSmag)}×Kfs…(3)
落射視野絞り径=(OCfr/FSmag)×Kfs …(4)
“OCfr”は接眼レンズ114の視野数であり、本実施例では、26.5を使用する。“OBmag”は対物レンズの倍率であり、図13の制御パラメータテーブルから現在選択されている対物レンズの倍率を参照する。“FSmag”は、FS像の投影倍率であり、これは、現在使用されているコンデンサトップレンズにより異なる。FS像の投影倍率(FSmag)のデータは、メインコントロール部130のROM146に実行プログラムと共に予め格納してあり、図17に示すようにトップレンズの種別テーブルとなっている。
【0089】
透過視野絞り104がこのようにして求められたFS径になるように透過視野絞りコントロール部134に指令(FS径データを)送る。専用シリアルバス137を介してデータを受けた透過視野絞りコントロール部134は、駆動回路142を駆動してFS径を更新する。
【0090】
また、落射視野絞り118を制御する場合は、FS径演算モジュールが(4)式を使用して落射照明系に設置した視野絞り118の最適なFS径を求めてFS径を落射絞りコントロール部131に指示する。視野数OCfr及び視野絞り投影倍率(FSmag)は固定値として扱うことができるので、予めROM146−Mに格納したプログラム内に設定しておく。
(5) 開口絞りの調整
最後に、標本のコントラストを調整するための開口絞りを制御する。開口絞りの算出は、(5)式、(6)式で決定される。
【0091】
透過開口絞り=2×OBna×CDf×Kas …………………(5)
落射開口絞り=2×OBna×OBfb×ASmag×Kas …(6)
“OBna”は対物レンズの開口数であり、対物レンズ毎に個有値を持つ。“CDf”は使用しているコンデンサトップレンズの焦点距離であり、これも使用トップレンズ毎に個有値を持つ。“Kas”は補正係数である。この値を変えることにより,各観察法、対物レンズ毎に固有の絞り値を設定する事が出来る。
【0092】
このようにして求められたAS径に透過開口絞り105を制御するためコンデンサコントロール部133にデータを送る。専用シリアルバス137を介してデータを受けたコンデンサコントロール部133は、駆動回路142を駆動してAS径を更新する。また、落射開口絞り115の絞り径を制御する場合は(6)式を使用して開口絞り径を求める。求めた絞り径を落射絞りコントロール部131へ送信する。
【0093】
以上の(1)〜(5)の処理により、指定された観察法に適した観察状態となるように顕微鏡システムの光学系の各部が自動的に調整されることになる。この様にして変更した観察法の準備が整ったところで、観察すべき標本Sをステージ108に載置する。実際の観察を行う場合は、対物レンズのピントを標本Sに合わせるためにAF制御の指令を顕微鏡システムに対して入力することになる。
【0094】
図12のフローチャートに基づいてAF制御が実行される。すなわち、図20に示す操作画面においてAFスイッチ340が押されると、メインコントロール部130はまず、現在の観察法に対応したAFモードを選択し、AFコントロール部140にそのモードを通知する。メインコントロール部130のROM146−Mに予め格納されている図14のAFモードテーブルに各観察法で決まる最適なAF制御内容のAFモードが設定されているので、そのテーブルを参照することでAF制御モードを決定する。
【0095】
具体的には、図14のAFモードテーブルにしたがえば透過観察の明視野、暗視野、微分干渉、位相差、及び落射の蛍光観察がスライドガラス標本対応のモード1で、落射の明視野、暗視野がモード2となっている。即ち、透過観察の明視野、暗視野、微分干渉位相差、及び落射の蛍光観察状態でAFスイッチ340が押されると、AFコントロール140部は、第1の実施の形態で説明した「スライドガラス標本の場合」と同じシーケンスでAF制御動作を行い、逆に落射の明視野、暗視野でAFスイッチ340が押されれば、「金属組織標本の場合」と同じ動作で自動焦点検出を実行することになる。
【0096】
このような、第2の実施の形態によれば、観察法の変更があった場合に、変更後の観察法にて観察対象となる標本の種類に適したAF制御内容に自動的に切り換えられるので、観察法の切り換えに応じて標本を変更した場合には最適なAF制御内容に切換えることができ、またモード切換え作業の省力化と、切換えミスなどの誤操作を防止できる。
【0097】
また、第2の実施の形態ではAF制御モードとしてモード1、モード2の2つを用意しているが、切換えるモード数は2種類に限定されるものでは無く、種々選択可能である。
【0098】
また、焦点検出方法として、瞳分割法など光路差以外のものにも適用することができる。また、アクティブ方式とパッシブ方式等焦点検出方法自体を切り換えられるようにしてもよい。さらに、ステージ駆動方式として、対物レンズ上下方式等他の部位を駆動するようにしてもよい。観察法として、透過/落射の同時観察も制御方法切換え対象とすることができる。
本発明は上記実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲内で種々変形実施可能である。
【0099】
【発明の効果】
以上詳記したように本発明によれば、使用される標本により、自動焦点検出に係る制御内容を切り換えて制御することができ、標本に合わせた最適な自動焦点検出動作が選択できる。これにより、顕微鏡、標本破損の危険が無くなり、操作性が良い顕微鏡を達成できる。
【0100】
また、本発明によれば、使用される観察法に応じて自動焦点検出に係る制御内容を切り換えることで、自動焦点検出動作の選択作業を省力化でき、更に操作性の優れた顕微鏡が達成できる。
【図面の簡単な説明】
【図1】第1の実施の形態に係る顕微鏡装置の全体構成図である。
【図2】後ピン像と前ピン像のコントラストと特性を示す図である。
【図3】後ピン像と前ピン像のコントラストに基づいたSカーブを示す図である。
【図4】第1の実施の形態に係る顕微鏡装置に備えた入力装置のスイッチ構造を示す図である。
【図5】後ピン像と前ピン像のコントラスト特性に対してコントラスト有無を判断するためのしきい値を設定した状態を示す図である。
【図6】第1の実施の形態におけるAF制御のフローチャートである。
【図7】第2の実施の形態に係る顕微鏡システムの全体構成図である。
【図8】第2の実施の形態に係る顕微鏡システムに備えたコントロール部の構成図である。
【図9】第2の実施の形態に係る顕微鏡システムに備えたメインコントロール部の構成図である。
【図10】第2の実施の形態に係る顕微鏡システムの全体的な動作を示すフローチャートである。
【図11】第2の実施の形態における観察法切換処理のフローチャートである。
【図12】第2の実施の形態におけるAF制御のフローチャートである。
【図13】制御パラメータテーブルのデータ構造を示す図である。
【図14】AF制御モードテーブルのデータ構造を示す図である。
【図15】キューブ位置テーブルのデータ構造を示す図である。
【図16】光学素子種別テーブルのデータ構造を示す図である。
【図17】トップレンズ種別テーブルのデータ構造を示す図である。
【図18】フィルター種類−取付け位置の対応テーブルを示す図である。
【図19】フィルター組み合わせと光量比の対応テーブルを示す図である。
【図20】操作画面の構成図である。
【符号の説明】
1…透過用光源
2…ステージ
3…標本
4…対物レンズ
5…接眼レンズ
6…落射用光源
7…落射キューブ
8…鏡筒
9…CCDセンサ
10…結像レンズ
11…光路差分割プリズム
12…タイミングジェネレータ
13…アナログ処理部
15…制御回路
19…入力装置
20…AFスイッチ
21…MODEスイッチ

Claims (5)

  1. 対物レンズと標本との間の光軸方向の距離を変化させて自動的に合焦位置を検出する自動焦点検出機能を備えた顕微鏡システムにおいて、
    複数の AF 制御モードが格納された記憶手段と、
    外部から与えられる選択条件に基づいて前記記憶手段に記憶された AF 制御モードを切換える切換え手段と、
    選択された前記 AF 制御モードに応じて合焦位置を検出するための処理を実行する合焦位置検出動作実行手段と、
    を具備したことを特徴とする顕微鏡システム。
  2. 検体を載置するステージと当該検体の像を対物レンズと標本との間の光軸方向の距離を変化させて自動的に合焦位置を検出する自動焦点検出機能を備えた顕微鏡システムにおいて、
    対物レンズと前記ステージ上の標本との間の光軸方向の距離が所定の基準間隔である合焦位置検出動作開始状態に自動的に移行した後に合焦位置検出動作を開始する第一の AF 制御モードと、
    対物レンズと前記ステージ上の標本との間の光軸方向の距離を手動で変動させ、前記対物レンズを介して撮像される観察像のコントラストが所定の閾値を超えた場合に、前記合焦位置検出動作を開始する第二の AF 制御モードと、
    を格納する記憶手段と、
    外部から与えられる選択条件に基づいて前記記憶手段に記憶された第一及び第二の AF 制御モードを切換える切換え手段と、
    選択された前記 AF 制御モードに応じて合焦位置を検出するための処理を実行する合焦位置検出動作実行手段と、
    を具備したことを特徴とする顕微鏡システム。
  3. 前記選択条件は、観察対象の標本種別であることを特徴とする請求項1から2記載の顕微鏡システム。
  4. 前記選択条件は、観察法(検鏡法)であることを特徴とする請求項1から2記載の顕微鏡システム。
  5. 外部から与えられる選択条件に基づいて観察条件を自動的に切り替える観察条件切り替え手段を備える請求項1から4記載の顕微鏡システム。
JP16580796A 1996-06-26 1996-06-26 顕微鏡システム Expired - Fee Related JP3745034B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP16580796A JP3745034B2 (ja) 1996-06-26 1996-06-26 顕微鏡システム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP16580796A JP3745034B2 (ja) 1996-06-26 1996-06-26 顕微鏡システム

Publications (2)

Publication Number Publication Date
JPH1010433A JPH1010433A (ja) 1998-01-16
JP3745034B2 true JP3745034B2 (ja) 2006-02-15

Family

ID=15819377

Family Applications (1)

Application Number Title Priority Date Filing Date
JP16580796A Expired - Fee Related JP3745034B2 (ja) 1996-06-26 1996-06-26 顕微鏡システム

Country Status (1)

Country Link
JP (1) JP3745034B2 (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6075613A (en) * 1999-02-26 2000-06-13 General Scanning, Inc. Optical scanner calibration device
JP4027546B2 (ja) * 1999-10-21 2007-12-26 オリンパス株式会社 顕微鏡システム
JP2006078668A (ja) * 2004-09-08 2006-03-23 Fujinon Corp レンズ装置
JP2007219029A (ja) * 2006-02-15 2007-08-30 Sharp Corp 自動焦点調整装置
US9444995B2 (en) * 2013-10-11 2016-09-13 Mitutoyo Corporation System and method for controlling a tracking autofocus (TAF) sensor in a machine vision inspection system
CN108040206A (zh) * 2017-12-18 2018-05-15 信利光电股份有限公司 一种利用深度摄像设备进行重对焦的方法、装置及设备

Also Published As

Publication number Publication date
JPH1010433A (ja) 1998-01-16

Similar Documents

Publication Publication Date Title
US5703714A (en) Microscope system for controlling optical elements in interlock with a variation in observation conditions
US6674574B1 (en) Focusing system for a microscope and a reflected illumination fluorescence microscope using the focusing system
US8203642B2 (en) Selection of an auto focusing method in an imaging apparatus
EP0510329B1 (en) Photographing apparatus for microscopes
US6795238B2 (en) Electronic camera for microscope
EP1553436A1 (en) Fluorescence microscope with LED light source and controller unit for synchronizing imaging and switching the light source on and off
JP4599941B2 (ja) 自動焦点検出装置およびこれを備える顕微鏡システム
JP3447357B2 (ja) 顕微鏡システム
JP2009162974A (ja) 顕微鏡システム及びその制御方法
JP3745034B2 (ja) 顕微鏡システム
JP2004004856A (ja) 顕微鏡システム
JPH0516566B2 (ja)
US20090168156A1 (en) Microscope system, microscope system control program and microscope system control method
JPH0516565B2 (ja)
JP3695818B2 (ja) 顕微鏡用焦点検出装置
JP2675290B2 (ja) 自動制御式照明光学系を備えた顕微鏡
JP2634580B2 (ja) 自動制御式照明光学系を備えた顕微鏡
JP3670331B2 (ja) 顕微鏡装置
JP2005250151A (ja) 顕微鏡装置、その調光方法、及びその調光プログラム
JPH08179218A (ja) 顕微鏡システム
JP4828738B2 (ja) 顕微鏡装置及びこの顕微鏡装置を使用した観察方法
JPH0580247A (ja) 自動焦点装置を備えた顕微鏡
JP3439259B2 (ja) 自動焦点検出装置
JP4157195B2 (ja) レボルバ連動照明制御装置
JP2002182118A (ja) 顕微鏡

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20050630

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20050712

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20050909

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20051108

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20051116

FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20081202

Year of fee payment: 3

FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20091202

Year of fee payment: 4

FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101202

Year of fee payment: 5

FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111202

Year of fee payment: 6

FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111202

Year of fee payment: 6

FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121202

Year of fee payment: 7

FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131202

Year of fee payment: 8

LAPS Cancellation because of no payment of annual fees