JPH09113810A - 顕微鏡の自動焦点整合装置 - Google Patents

顕微鏡の自動焦点整合装置

Info

Publication number
JPH09113810A
JPH09113810A JP27543695A JP27543695A JPH09113810A JP H09113810 A JPH09113810 A JP H09113810A JP 27543695 A JP27543695 A JP 27543695A JP 27543695 A JP27543695 A JP 27543695A JP H09113810 A JPH09113810 A JP H09113810A
Authority
JP
Japan
Prior art keywords
focus
focusing
degree calculation
stage
calculation range
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP27543695A
Other languages
English (en)
Other versions
JP3631304B2 (ja
Inventor
康輝 ▲高▼濱
Yasuteru Takahama
Nobuyuki Nagasawa
伸之 永沢
Sanenari Kojima
実成 小嶋
Takashi Yoneyama
貴 米山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Optical Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Optical Co Ltd filed Critical Olympus Optical Co Ltd
Priority to JP27543695A priority Critical patent/JP3631304B2/ja
Publication of JPH09113810A publication Critical patent/JPH09113810A/ja
Application granted granted Critical
Publication of JP3631304B2 publication Critical patent/JP3631304B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Landscapes

  • Focusing (AREA)
  • Microscoopes, Condenser (AREA)
  • Automatic Focus Adjustment (AREA)

Abstract

(57)【要約】 【課題】 顕微鏡ステージを走査しながら標本の異なる
部位を順次観察する場合に標本の厚さ等にバラツキがあ
っても正確にピント合わせを行なう。 【解決手段】 本発明は、標本像の合焦度を演算し対物
レンズの光軸に対して略垂直な平面内で走査可能なX−
Yステージ又は対物レンズを光軸方向に移動することに
より、標本に対して合焦を行なう顕微鏡の自動焦点整合
装置において、X−Yステージの光軸に対する位置を示
すX−Y座標を検出するX−Y座標検出手段(15)
と、X−Yステージ等の光軸方向の移動可能範囲のう
ち、X−Yステージの複数の特定範囲に対する標本像の
合焦度演算範囲を設定する合焦度演算範囲設定手段(2
2)と、X−Y座標に対応する合焦度演算範囲に基づい
て、X−Yステージ又は対物レンズを光軸方向に移動さ
せて標本に対して合焦を行なう合焦手段(15,16,
20,21)とを具備したことを特徴とする。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、顕微鏡ステージの
標本に自動的にピント合わせを行なう顕微鏡の自動焦点
整合装置に関する。
【0002】
【従来の技術】一般に、顕微鏡で標本を観察する場合、
対物レンズの焦点深度は浅く画像が見える光軸方向の範
囲が狭いので、顕微鏡用自動焦点整合装置では、第1ス
テップとしてステージまたは対物レンズを光軸方向に移
動させて、ある程度のコントラストが得られる位置を探
し、その後第2ステップとして、コントラスト等の合焦
度評価値を演算しながら合焦位置までステージまたは対
物レンズを移動させるという制御が行なわれている。
【0003】例えば、特開昭64−54408号公報に
よれば、載置台(ステージ)を所定回数を限定として予
め定められた一定距離ずつ移動させるとともに、各位置
でのコントラストを検出し、コントラストが予め定めた
しきい値以上となる位置を探索する。
【0004】そして、該探索結果を基に載置台を予め定
めた一定距離ずつ移動して、コントラストが上記しきい
値以上となる範囲で、その中間位置でのコントラストが
最大となる連続した3位置を求め、それぞれの位置のコ
ントラストの値を用い加重平均演算により得られる位置
を焦点位置として位置合わせを行う自動焦点整合方法が
開示されている。
【0005】ところが、特開昭64−54408号公報
に示された従来技術においては、標本が対物レンズの焦
点深度範囲から大きくはずれて画像が見えていなくても
常に一定間隔でコントラスト演算を行なうので、画像検
出までに時間を要する結果、合焦時間が長くなってしま
う。
【0006】特に、画像が暗い場合には、像のコントラ
ストを演算するためのイメージセンサの蓄積時間を長く
しなければならないので、合焦時間がさらに長くなると
いう欠点を有する。
【0007】このような欠点を解消するものとして、特
願平6−111178号公報では、対物レンズにより形
成される標本像をCCDイメージセンサ上に投影し、得
られた電気信号を所定の評価関数に従って演算し、この
演算結果に基づいて焦点状態を検出しつつ標本と対物レ
ンズの相対距離を調節することにより焦点調整を行う顕
微鏡自動焦点検出装置において、焦点状態を検出するた
めの評価関数を、第1ステップとして像の明るさを示す
関数とし、第2ステップで像のコントラスト等の合焦度
を示す関数に切換えて、合焦度が所定の値になるように
標本と対物レンズの相対距離を調節するようにした顕微
鏡自動焦点検出方法が開示されている。
【0008】前述の特開昭64−54408号公報で
は、画像が見えていなくても常に一定間隔でコントラス
ト演算を行っていたのに対し、特願平6−111178
号公報では、画像の明るさと合焦度との対応に着目し、
画像が見えないうちは画像の明るさを示す評価関数によ
り焦点状態を検出し、画像の明るさが最大となる位置に
調整を行ない、画像が検出されてから評価関数を像のコ
ントラスト等の合焦度を示す関数に切換えて焦点状態を
検出するため、画像を検出するまでの時間が短縮され、
その結果、合焦時間を短かくすることが可能である。
【0009】画像の明るさの演算は、画像のコントラス
ト等の合焦度の演算に比べれば単純であり演算時間も短
かいが、対物レンズとステージの相対距離を調節しなが
ら、画像の明るさが最大となるように制御が行なわれる
ので、対物レンズまたはステージの移動速度を極端に大
きくすることはできず、画像検出までの時間の短縮化に
も限度がある。
【0010】上述の他に、標本をスライドガラス標本に
限定したものとして、特公平5−16566号公報に示
された自動焦点装置がある。特公平5−16566号公
報によれば、対物レンズのピント位置よりスライドガラ
ス厚、カバーガラス厚およびこれらを含むステージ等の
精度のバラツキを含む量だけ下方にステージの基準位置
を設定し、ステージが基準位置よりも下方にある場合に
は、まず、ステージを基準位置まで移動した後に、画像
のコントラスト等の合焦度演算を開始するようにしたの
で、スライドガラス標本に対しては画像の見えない部分
では合焦度演算を行なわないようになっており迅速なピ
ント合わせが可能である。
【0011】しかしながら、スライドガラス標本以外の
標本、例えば、スライドガラスよりも厚みがある金属標
本等には対応できないので汎用性に欠けるという欠点を
有する。
【0012】また、顕微鏡で標本を観察する場合は、目
的とする観察部位の全領域を一度に観察できる場合は少
なく、X−Yステージを走査しながら、標本の異なる小
領域を順次観察していくのが通常である。
【0013】前述の3つの従来例においては、標本のあ
る一部分についての焦点調整を迅速、正確に行うことを
主眼としているが、このようにX−Yステージを走査し
ながら標本の異なる小領域を順次観察する場合の自動焦
点調整については、記述されていない。
【0014】特開昭63−167313号公報では、X
−Yステージの走査によって生じる対物レンズとステー
ジ間の相対距離の変化によるピントずれに対する自動焦
点制御方法について記載されている。
【0015】同公報によると、顕微鏡の対物レンズを上
下方向に駆動する対物レンズ駆動装置と、ステージを水
平方向に駆動するステージ駆動装置と、顕微鏡画像を光
電変換して得られた電気信号を用いて焦点信号を出力す
る自動焦点装置とを備えたものにおいて、顕微鏡を用い
て観察、測定をする前にあらかじめステージの任意の格
子点における合焦点位置を求めて記憶しておき、実際の
測定時には記憶されている近傍の合焦点位置より測定点
の合焦点位置を内挿し、対物レンズを、求めた近似合焦
点位置に高速移動させた後に自動焦点を行なうようにし
ている。
【0016】この例においては、標本の観察、測定を行
なう前にステージの任意の格子点における合焦点位置が
記憶されていることにより、実際の測定時には、測定点
の近傍の格子点より測定点における近似合焦点位置が求
められ、測定点の真の合焦点位置の近くから自動焦点処
理を実行することが可能であるため、ステージを水平方
向に走査しながら、標本の異なる領域を順次観察する場
合に有効な方法である。
【0017】
【発明が解決しようとする課題】特開昭63−1673
13号公報に示された従来例では、観察、測定の前にあ
らかじめステージの任意の格子点における合焦点位置を
求めて記憶するという初期動作を行なっている。
【0018】この初期動作の際には、参照すべき合焦点
位置データ等は存在しないため標本の一点における焦点
調整に時間を要する上に、この動作を格子点の数だけ行
なう必要があるので初期動作全体にかなりの時間がかか
る。
【0019】また、異なる標本を順次交換して観察、測
定を行なう場合、標本の厚みに全くバラツキがなければ
問題ないが、そのようなことは実際にはほとんどなく標
本を交換する度に初期動作を行わなければならないとい
う欠点を有する。
【0020】さらに、標本の平面度が悪く、うねりがあ
る場合には、近似合焦点位置まで対物レンズを移動した
後に自動焦点動作を開始するのが必ずしも最適であると
は限らず、前回の合焦点位置から自動焦点動作を開始し
た方が処理が早い場合がある。
【0021】本発明は上記実情に鑑みてなされたもの
で、顕微鏡ステージを走査しながら標本の異なる部位を
順次観察する場合に、ステージの機械的精度や、標本の
厚み、平面度等にバラツキがあっても迅速かつ正確なピ
ント合わせを行なうことができる顕微鏡の自動焦点整合
装置を提供することにある。
【0022】
【課題を解決するための手段】従って、まず、上記目的
を達成するために請求項1に係る発明は、コントラスト
等の評価値により標本像の合焦度を演算し、対物レンズ
の光軸に対して略垂直な平面内で走査可能なX−Yステ
ージ又は対物レンズを光軸方向に移動することにより、
標本に対して合焦を行なう顕微鏡の自動焦点整合装置に
おいて、前記X−Yステージの光軸に対する位置を示す
X−Y座標を検出するX−Y座標検出手段と、前記X−
Yステージ又は前記対物レンズの光軸方向の移動可能範
囲のうち、前記X−Yステージの複数の特定範囲に対す
る標本像の合焦度演算範囲を設定する合焦度演算範囲設
定手段と、前記X−Y座標検出手段にて検出されたX−
Y座標に対応する前記合焦度演算範囲設定手段により設
定された合焦度演算範囲に基づいて、前記X−Yステー
ジ又は対物レンズを光軸方向に移動させて前記標本に対
して合焦を行なう合焦手段とを具備したことを特徴とす
る。
【0023】また、請求項2に係る発明は、請求項1記
載の顕微鏡の自動焦点整合装置において、前記対物レン
ズの倍率を検出する倍率検出手段と、前記倍率検出手段
により検出された対物レンズの倍率に基づいて、前記合
焦度演算範囲設定手段にて設定された複数の合焦度演算
範囲を前記対物レンズの倍率に適合する合焦度演算範囲
に変換する合焦度演算範囲変換手段とを付加したことを
特徴とする。
【0024】さらに、請求項3に係る発明は、請求項1
記載の顕微鏡の自動焦点整合装置において、前記合焦手
段により合焦が行なわれた際のX−Yステージと対物レ
ンズとの光軸方向の相対位置を示すz座標を検出するz
座標検出手段と、前記z座標検出手段により検出された
z座標及びこのときのX−Y座標検出手段により検出さ
れるX−Y座標を逐次記憶する記憶手段と、前記記憶手
段により記憶された特定範囲に対応するX−Y座標及び
z座標に基づいて、合焦動作の都度、それぞれの特定範
囲に対応する予測合焦位置を算出する予測合焦位置算出
手段と、前記予測合焦位置算出手段により算出された予
測合焦位置に基づいて、新たに合焦度演算範囲を算出
し、合焦動作の都度、前記合焦度演算範囲設定手段によ
り設定された合焦度演算範囲に代えて、新たに算出され
た合焦度演算範囲を設定する合焦度演算範囲再設定手段
とを付加したことを特徴とする。
【0025】請求項1に係る発明は、合焦度演算範囲設
定手段によりX−Yステージ又は対物レンズの光軸方向
の移動可能範囲のうち、X−Yステージの複数の特定範
囲に対する標本像の合焦度演算範囲を設定し、合焦手段
により、X−Y座標検出手段にて検出されたX−Y座標
に対応する合焦度演算範囲設定手段により設定された合
焦度演算範囲に基づいて、X−Yステージ又は対物レン
ズを光軸方向に移動させて標本に対して合焦を行なうの
で、標本の厚みに変化があったり、XYステージの精度
が悪くしても、合焦度演算範囲を小さくすることがで
き、合焦動作に要する時間を著しく短縮することができ
る。
【0026】請求項2に係る発明は、合焦度演算範囲変
換手段により、倍率検出手段により検出された対物レン
ズの倍率に基づいて、合焦度演算範囲設定手段にて設定
された複数の合焦度演算範囲を対物レンズの倍率に適合
する合焦度演算範囲に変換するので、対物レンズの倍率
に合わせて合焦度演算範囲が縮小され、その結果、合焦
動作に要する時間をさらに短縮することができる。
【0027】請求項3に係る発明は、予測合焦位置算出
手段により、記憶手段により記憶された特定範囲に対応
するX−Y座標及びz座標に基づいて、合焦動作の都
度、それぞれの特定範囲に対応する予測合焦位置を算出
し、合焦度演算範囲再設定手段により、予測合焦位置算
出手段により算出された予測合焦位置に基づいて、新た
に合焦度演算範囲を算出し、合焦動作の都度、前記合焦
度演算範囲設定手段により設定された合焦度演算範囲に
代えて、新たに算出された合焦度演算範囲を設定するの
で、標本の厚みやステージの精度に合わせて、常に最適
な合焦度演算範囲が自動的に設定され、常に迅速かつ正
買な合焦動作を実現することができる。
【0028】
【発明の実施の形態】以下、図面を参照して、本発明の
実施の形態について説明する。 <第1の実施の形態>図1は、本発明の第1の実施の形
態に係る顕微鏡の構成を示す図である。同図において、
顕微鏡フレーム(以下単にフレームと略す)1の背面下
方に取付けられた光源2からの光はミラー3によって上
方に反射させられる。そして、このミラー3で反射した
反射光は、コンデンサレンズ4を通過してXYステージ
5上の標本Sに照射される。
【0029】そして、標本Sを透過、回折した光が対物
レンズ6により集光された後、フレーム1の前側上方に
取付けられた鏡筒7内の図示しない分割プリズムによっ
て2分される。この二分割された光のうち、一方は、接
眼レンズ8へ導かれ、他方は鏡筒7をそのまま通過し
て、鏡筒7の上部に取付けられたセンサヘッド9へと導
かれる。
【0030】このセンサヘッド9内には、対物レンズ6
からの光束を2分するハーフミラー10が設けられてお
り、ミラー10で反射した光束は合焦度検出のためのイ
メージセンサ11へと導かれ、ミラー10を通過した光
束は、センサヘッド9の上部に取付けられた撮像手段1
2へと導かれるようになっている。
【0031】なお、鏡筒7内の図示しない分割プリズム
およびセンサヘッド9内のハーフミラー10は、光路に
対してそれぞれ独立して退避、挿入が可能である。ま
た、分割プリズムやハーフミラー10の代わりに光束全
てを反射する全反射プリズムや全反射ミラーが光路に対
して挿入退避できるような構成であってもよい。
【0032】対物レンズ6は、電動レボルバ13に取付
けられており、電動レボルバ駆動制御手段14により図
示しない倍率の異なる複数の対物レンズへと電動切換が
可能となっている。
【0033】15は対物レンズ6の光軸に対するXYス
テージ5の位置を表すXY座標を検出するXY座標検出
手段であり、ここで検出されたXY座標はCPU16へ
と入力される。一方、17はCPU16からの制御によ
り適正なタイミングでイメージセンサ11へ駆動パルス
を出力するイメージセンサ駆動回路である。
【0034】イメージセンサ11は入力された駆動パル
スに従ったタイミングで受光した画像を電気信号に変換
する。18は、この電気信号に所定の処理を施すための
アナログ信号処理回路であり、処理後の信号を、コント
ラスト等の標本の合焦度を検出するための合焦度演算手
段19に送る。
【0035】合焦度演算手段19では、所定の演算式に
従って合焦度が演算され、その結果がCPU16に送ら
れるようになっている。また、20は、XYステージ5
を対物レンズ6の光軸に沿ってZ方向に駆動し標本Sに
ピントを合わせるためのZ駆動制御手段であり、CPU
16の指令により適切な速度で指定量の駆動を行うこと
によって標本Sにピントが合わされるようになってい
る。
【0036】21はXYステージ5の光軸方向位置を検
出するZ座標検出手段である。22は合焦動作開始の指
示やその他の設定を入力するための外部コントローラで
ある。
【0037】この外部コントローラ21には、合焦度演
算手段19の合焦度演算範囲を設定してCPU16に記
憶させるための合焦度演算範囲設定手段や、マニュアル
でピント合わせを行うためのパワーフォーカス指示手段
も含まれている。
【0038】23は、対物レンズ6の倍率を検知する倍
率検知手段であり、検知される倍率データはCPU16
に入力されるようになっている。さらに、XYステージ
5について図2を参照して説明する。図2は、XYステ
ージ5を対物レンズ6の光軸上方よりみた図である。
【0039】同図において、31は図示しない下ステー
ジに対しY方向に移動自在の上ステージ、32はスライ
ドガラス標本を保持し、上ステージ31上でX方向に移
動自在のクレンメルであり、2枚のスライドガラス標本
S1 およびS2 を保持できるようになっている。
【0040】33は操作ハンドルで、X方向移動用ハン
ドル(以下単にXハンドルと称す)と、Y方向移動用ハ
ンドル(以下単にYハンドルと称す)とが同軸に構成さ
れており、Yハンドルを回転することにより上ステージ
31が図示しない下ステージに対してY方向に移動し、
Xハンドルを回転することによりクレンメル32が上ス
テージ31に対してX方向に移動するので、標本S1 お
よびS2 が光軸位置0に対してXY方向に移動し、標本
S1 およびS2 が光軸位置0に対してXY方向に自在に
位置合わせできるようになっている。
【0041】そして、34は上ステージ31に対するク
レンメル32のX方向位置を検出するべく上ステージ3
1に取付けられたX座標検出手段、35は、図示しない
下ステージに対する上ステージ31のY方向位置を検出
するべく下ステージに取付けられたY座標検出手段であ
る。
【0042】図示しない下ステージが光軸位置0に対し
て所定の位置に取付けられているので、その結果、これ
らX座標検出手段34およびY座標検出手段35の検出
結果により光軸位置0に対する標本S1 およびS2 のX
Y方向位置が認識されることになる。なお、これらXお
よびY座標検出手段は、それぞれ周知のリニアエンコー
ダ等で構成できる。
【0043】次に上述の如く構成された顕微鏡の動作に
ついて図3に示すフローチャートを参照して説明する。
外部コントローラ22により、まず合焦動作を行うため
の初期設定を以下の手順で行なう。外部コントローラ2
2に含まれるパワーフォーカス指示手段からの指示によ
り、XYステージ5をZ方向にマニュアル駆動させ、X
Yステージ5の操作ハンドル33を操作して標本S1 を
光軸位置0に移動させることにより、標本S1 に該略の
ピント合わせを行なう(step1)。
【0044】そして、標本S1 の範囲に対応したY座標
の始点YS1および終点YE1、さらに、このY座標範囲に
おける合焦度演算手段19の演算範囲ΔZαを外部コン
トローラ22の入力手段により入力する。
【0045】同様に、操作ハンドル33を操作して標本
S2 に該略のピント合わせを行ない、標本S2 の範囲に
対応したY座標の始点YS2および終点TE2さらに合焦度
演算手段19の演算範囲ΔZβを入力する。この操作に
より、標本S1 に対応するY座標範囲における合焦度演
算範囲は、 下限位置 ZL1=Zc1−ΔZα … (1) 上限位置 ZH1=Zc1+ΔZα … (2) (ただしZc1は標本S1 の該略ピント位置) 標本S2 に対応するY座標範囲における合焦度演算範囲
は 下限位置 ZL2=Zc2−ΔZβ … (3) 上限位置 ZH2=Zc2+ΔZβ … (4) (ただしZc2は標本S2 の該略ピント位置) と設定できる(step2)。これら座標の関係を図4
に示す。
【0046】次に、実際の合焦動作について説明する。
まず、観察部位へステージを移動する(step3)。
外部コントローラ22により、合焦動作開始の指令が発
せられると(step4)、XY座標検出手段15で検
出(step5)されたXYステージ5のXY座標を参
照して、CPU16がそのXY座標に対する合焦度演算
範囲を設定する(step6)。
【0047】ここでは、Y座標に応じて合焦度演算範囲
の下限位置をZL1あるいはZL2に設定する。そして、Z
座標検出手段21で検出(step7)されたZ座標
が、これら合焦度演算範囲の下限位置ZL1あるいはZL2
よりも下側(対物レンズ6と離れる方向を下側という)
にある場合は、CPU16がZ駆動制御手段20に指令
を出し、前述の下限位置ZL1あるいはZL2までXYステ
ージ5をZ方向に駆動する(step8、step
9)。
【0048】XYステージ5が前述の下限位置ZL1ある
いはZL2に達すると、CPU16の制御により、合焦度
演算(step10)と、所定量のZ駆動とを1サイク
ルとしてこれを繰返すモードに入る。
【0049】このモードにおけるXYステージ5のZ方
向駆動について図5を参照して説明する。このモードで
は、イメージセンサ11の蓄積時間に応じた時間Δts
の間XYステージ5を対物レンズ6の光軸方向に駆動せ
ずに、イメージセンサ11からの電気信号をアナログ信
号処理回路18を経由して合焦度演算手段19で合焦度
評価値に変換するステップと、時間Δtz の間XYステ
ージ5を対物レンズ6の光軸方向にΔZ1 だけ駆動する
ステップとが図5に示されるよう階段状に繰り返され
る。
【0050】そして、合焦度演算手段19からCPU1
6に入力される合焦度評価値が所定の値になるとCPU
16からの指令によりXYステージ5の駆動がこの合焦
位置Zf で停止されるとともに(step11、ste
p12)、外部コントローラ22に設けられた表示部に
合焦完了の表示が行なわれる(step13)。
【0051】また、所定時間tL の間上記のモードで合
焦動作を行っても合焦度評価値が所定の値とならない場
合には、CPU16からの指令によりXYステージ5の
駆動が停止されるとともに(step15、step1
6)、外部コントローラ22の表示部に非合焦の表示が
行なわれる(step17)。
【0052】また、時間tL 以内であっても、合焦度評
価値が所定の値とならないままXYステージ5のZ座標
が最初に設定した合焦度演算範囲の上限ZH1あるいはZ
H2に達した場合(step18、step19)にも、
CPU16からの指令によりXYステージ5の駆動が停
止され(step16)、外部コントローラ22の表示
部に非合焦の表示が行なわれる(step17)。
【0053】以上のように本実施の形態においては、X
Yステージ5のXY座標により、合焦度演算手段19の
演算範囲を可変できるようにしたので、XYステージ5
上に異なる2枚のスライドガラス標本を載せて観察する
場合等標本のピント位置にバラツキがあった場合でも、
合焦点の演算範囲を適切に小さくできるので、ピント合
わせが迅速かつ正確に行なうことができる。
【0054】なお、上述の説明においては、図4に示さ
れるように合焦度演算範囲をY座標によってのみ変える
ようにしたが、もちろんX座標によっても変えることが
できる。
【0055】また、本実施の形態の説明においては、X
Yステージを移動させる場合について説明したが、対物
レンズを移動することにより、焦点を合わせるようにし
てもよい。
【0056】合焦度演算範囲の入力方法も座標の始点と
終点を指示する方法を採用したが、この方法に限ったも
のではない。また、本実施の形態においては、XYステ
ージ5のXY駆動操作は操作ハンドル33による手動操
作としたが、アクチュエータを用いて電動駆動するタイ
プのものであってもよいのは当然のことである。 <第2の実施の形態>次に本発明の第2の実施の形態に
係る顕微鏡について説明する。
【0057】本実施の形態においては、合焦度演算手段
19の演算範囲を倍率検知手段23によって検知される
対物レンズの倍率データに応じて可変とする。例えば、
対物レンズ6が40倍〜100倍のような高倍率の場合
を基準に観察者が合焦度演算範囲ΔZαを入力した場
合、演算範囲は前述の第1の実施の形態において述べた
ように、 ZL1=Zc1−ΔZα ≦ Z ≦ ZH1=Zc1+ΔZα … (5) となるが、対物レンズ6を低倍率のものに切換えた場
合、CPU16により、低倍率の場合の合焦度演算範囲
を、 ΔZα′=k・ΔZα … (6) (kは対物レンズの焦点深度に比例した定数)と定め、
自動的に演算範囲を ZL1′=Zc1−ΔZα′≦Z≦ ZH1=Zc1+ΔZα′ … (7) と設定する。
【0058】図6は、変換前後の合焦度演算範囲の関係
を示す図である。したがって、観察者は、倍率の異なる
対物レンズ毎に合焦度演算範囲を設定する必要がなく、
特定の倍率における演算範囲のみを入力するだけで、各
倍率の対物レンズに適した合焦度演算範囲を自動的に設
定できるため、操作の簡略化が計れるという利点を有す
る。
【0059】なお、本実施の形態においては、合焦度演
算範囲を低倍率と高倍率とで分けるようにしたが、さら
に細かく対物レンズの倍率毎に演算範囲を設定するよう
に構成することで、さらに合焦動作の効率化が可能であ
ることは言うまでもない。 <第3の実施の形態>次に、本発明の第3の実施の形態
にかかる顕微鏡の動作について、図7のフローチャート
を参照して説明する。上述の第1の実施の形態に係る顕
微鏡と本実施の形態に係る顕微鏡と異なる点は、合焦度
演算手段19の合焦度演算範囲の設定方法にある。
【0060】まず、標本S1 の適切な部位で該略のピン
トを合わせるために、外部コントローラ22に設けられ
たパワーフォーカス指示手段の指示によりXYステージ
5をZ方向にマニュアル駆動させる(step31)。
【0061】次に、ほぼピントが合ったことを確認した
ら、初期の合焦度演算範囲として、演算範囲中心値Zc
および演算範囲ΔZαを外部コントローラ22の操作に
より入力する。この操作により初期の合焦度演算範囲
は、 ZL1= Zc −ΔZα ≦ Z ≦ ZH1=Zc +ΔZα … (8) と設定される(step32)。
【0062】そして、標本S1 の観察したい部位を光軸
o上に合わせるべくXYステージ5をXY平面内で移動
し(step33)、合焦動作開始の指令を外部コント
ローラ22によって与える(step34)。
【0063】合焦動作開始の指令が発せられると、CP
U16はまず、今回の合焦動作が何回目の動作かを判断
する(step35)。1回目あるいは2回目の合焦動
作であれば、Z座標検出手段21で検出されるZ座標
(step39)と初期設定された合焦度演算範囲ZL
≧Z≧ZH とを比較し、現在のZ座標が合焦度演算範囲
内にあることを確認して、合焦度の演算に移る(ste
p40、step42)。
【0064】現在のZ座標が合焦度演算範囲外であれ
ば、XYステージ5を演算範囲下限ZL へ駆動(ste
p41)してから合焦度の演算を開始する。そして、第
1の実施の形態及び第2の実施形態において述べたよう
に、合焦度演算と所定量のZ駆動とを1サイクルとして
これを繰返し行なうことにより(step43、48、
51、52)、最終的に所定時間tL 内かつ合焦度演算
範囲内で合焦度評価値が所定の値となった場合にはXY
ステージ5がその位置が停止し合焦が得られる(ste
p44、45)。
【0065】1回目の合焦完了時の座標(x1 ,y1
1 )、そして2回目の合焦動作であればさらに2回目
の合焦完了時の座標(x2 ,y2 ,z2 )は順にCPU
16内の合焦座標記憶手段に記憶される(step4
6)。
【0066】一般に、顕微鏡で標本を観察する場合Xあ
るいはY座標のうち、一方は固定のまま、X方向あるい
はY方向にのみステージを移動しながら観察するケース
も少なくない。
【0067】今、Y座標を固定してX方向にXYステー
ジ5を移動している場合、すなわち前述の合焦座標(x
1 ,y1 ,z1 )、(x2 ,y2 ,z2 )において、y
1 =y2 である場合を考える。
【0068】3回目の合焦動作を行う場合、3回目の観
察部位のXY座標(x3 ,y3 )においてもy1 =y2
=y3 であり、X方向に極端に大きな移動でなければ、
この3回目の観察部位における合焦完了時のZ座標Z3
は、前回の1回目、2回目の合焦座標(x1 ,z1 )、
(x2 ,z2 )を通る直線上に存在すると仮定し予測す
ることができる。
【0069】即ち、予測合焦位置Z3 ′は連立一次方程
式を解くことにより z3 ′={z1 (x3 −x2 )−z2 (x3 −x1 )}/(x1 −x2 ) …(9) と求められる。
【0070】同様にして、N回目の予測合焦位置ZN ′
は、その直前2回の記憶された合焦座標(xN-1 ,z
N-1 )、(xN-2 ,zN-2 )を用いて次のように求めら
れる。 zN ′={zN-2 (xN −xN-1 ) −zN-1 (xN −xN-2 )}/(xN-2 −xN-1 ) … (10) 図8は、記憶された合焦位置と予測合焦位置との関係を
示す図である。
【0071】また、XYステージ5をX方向にもY方向
にも移動させながら観察を行う場合には、直前3回の記
憶された合焦座標(xN-1 ,yN-1 ,zN-1 )、(x
N-2 ,yN-2 ,zN-2 )、(xN-3 ,yN-3 ,zN-3
を3次元空間上の平面を表す一般式 ax+by+c=z … (11) に代入して得られる連立一次方程式を周知の数値演算法
で解くことにより予測合焦位置zN ′が求められる。以
上のように予測合焦位置ZN ′が求められたら、CPU
16に記憶されている合焦度演算範囲を消去し、新たに
合焦度演算範囲を ZLN=ZN ′−ΔZα ≦ Z ≦ ZHN=ZN ′+ΔZα … (12) のように設定する。
【0072】そして、現在のZ座標を検出し、更新設定
された合焦度演算範囲ZLN≦Z≦ZHNと比較し、1回
目、2回目と同様のステップでCPU16が制御を行
い、合焦動作完了に到る。
【0073】従って、本実施の形態においては、毎回の
合焦動作によって得られる合焦座標データを用いて次の
観察部位における予測合焦点位置を求め、この予測合焦
点位置に基づいて合焦度を演算する範囲を設定しこれを
合焦動作の都度更新するようにしたので、標本の厚みに
変化があったり、ステージが傾いていたりしても合焦度
演算範囲を小さくすることができ無駄な合焦度演算を行
なわずに合焦までに要する時間を短縮できる。
【0074】また、本実施の形態においては、予測合焦
位置を、直前の2回もしくは3回の合焦座標データを用
いて直線あるいは平面上の点として求めたが、3回以上
の合焦座標データを用いて2次曲線あるいは曲面上の点
として求めることも有効である。
【0075】さらに、第1の実施の形態と同様に、XY
ステージをアクチュエータで駆動する電動ステージとし
て構成することも当然可能である。さらに、本実施の形
態においては、観察部位を移動する度に合焦動作開始の
指令を入力するようにしたが、CPUの制御により観察
部位を移動しながら適切な時間間隔で合焦動作を繰り返
すような連続型の焦点制御法に適用することも可能であ
る。
【0076】
【発明の効果】以上詳記したように、本発明によれば、
XYステージの座標を検出するXY座標検出手段と、標
本像の合焦度を演算する範囲を設定する合焦度演算範囲
設定手段を設け、検出されるXY座標に応じて合焦度演
算範囲を可変とするようにしたので、標本の厚みに変化
があったり、XYステージの精度が悪くても、合焦度演
算範囲を小さくすることができ、合焦動作に要する時間
を著しく短縮することができる。
【0077】また、対物レンズの倍率を検知する倍率検
知手段を設け、合焦度演算範囲を対物レンズの倍率によ
って可変とするようにしたので、観察者の操作の簡略化
できる上に、対物レンズの倍率に合わせて合焦度演算範
囲がさらに縮小される結果合焦動作に要する時間をさら
に短縮することができる。
【0078】さらに、合焦動作完了時の座標を逐次記憶
する合焦座標記憶手段を設け、直前の合焦座標を含む少
くとも2個の合焦座標データを用いて次の観察部位にお
ける予測合焦位置を求め、この予測合焦点位置を基に合
焦度演算範囲を設定し、これを合焦動作の都度更新する
ようにしたので、標本の厚みやステージの精度に合わせ
て常に最適な合焦度演算範囲が自動的に設定され、標本
の広範囲な領域に渡り、常に迅速かつ正確な合焦動作が
可能となる。
【図面の簡単な説明】
【図1】本発明の第1の実施の形態に係る顕微鏡の構成
を示す図である。
【図2】同第1の実施の形態における顕微鏡のXYステ
ージの構成を示す図である。
【図3】同第1の実施の形態における顕微鏡の動作を説
明するためのフローチャートである。
【図4】同第1の実施の形態における顕微鏡の合焦度演
算範囲を示す図である。
【図5】同第1の実施の形態における顕微鏡のXYステ
ージの駆動を説明するための図である。
【図6】本発明の第2の実施の形態に係る顕微鏡の変換
前後の合焦演算範囲の関係を示す図である。
【図7】本発明の第3の実施の形態に係る顕微鏡の動作
を説明するフローチャートである。
【図8】同第3の実施の形態に係る顕微鏡の合焦位置と
予測合焦位置との関係を示す図である。
【符号の説明】
1…顕微鏡フレーム、2…光源、3…ミラー、4…コン
デンサレンズ、5…XYステージ、6…対物レンズ、7
…鏡筒、8…接眼レンズ、9…センサヘッド、10…ハ
ーフミラー、11…イメージセンサ、12…撮像手
段、、13…電動レボルバ、14…電動レボルバ駆動制
御手段、15…XY座標検出手段、16…CPU、17
…イメージセンサ駆動回路、18…アナログ信号処理回
路、19…合焦度演算手段、20…Z駆動制御手段、2
1…Z座標検出手段、22…外部コントローラ、23…
倍率検知手段、31…上ステージ、32…クレンメル、
33…操作ハンドル、34…X座標検出手段、35…Y
座標検出手段。
─────────────────────────────────────────────────────
【手続補正書】
【提出日】平成7年12月8日
【手続補正1】
【補正対象書類名】明細書
【補正対象項目名】0025
【補正方法】変更
【補正内容】
【0025】請求項1に係る発明は、合焦度演算範囲設
定手段によりX−Yステージ又は対物レンズの光軸方向
の移動可能範囲のうち、X−Yステージの複数の特定範
囲に対する標本像の合焦度演算範囲を設定し、合焦手段
により、X−Y座標検出手段にて検出されたX−Y座標
に対応する合焦度演算範囲設定手段により設定された合
焦度演算範囲に基づいて、X−Yステージ又は対物レン
ズを光軸方向に移動させて標本に対して合焦を行なうの
で、標本の厚みに変化があったり、XYステージの精度
悪くても、合焦度演算範囲を小さくすることができ、
合焦動作に要する時間を著しく短縮することができる。
【手続補正2】
【補正対象書類名】明細書
【補正対象項目名】0027
【補正方法】変更
【補正内容】
【0027】請求項3に係る発明は、予測合焦位置算出
手段により、記憶手段により記憶された特定範囲に対応
するX−Y座標及びz座標に基づいて、合焦動作の都
度、それぞれの特定範囲に対応する予測合焦位置を算出
し、合焦度演算範囲再設定手段により、予測合焦位置算
出手段により算出された予測合焦位置に基づいて、新た
に合焦度演算範囲を算出し、合焦動作の都度、前記合焦
度演算範囲設定手段により設定された合焦度演算範囲に
代えて、新たに算出された合焦度演算範囲を設定するの
で、標本の厚みやステージの精度に合わせて、常に最適
な合焦度演算範囲が自動的に設定され、常に迅速かつ
な合焦動作を実現することができる。
【手続補正3】
【補正対象書類名】図面
【補正対象項目名】図1
【補正方法】変更
【補正内容】
【図1】 ─────────────────────────────────────────────────────
【手続補正書】
【提出日】平成8年2月26日
【手続補正1】
【補正対象書類名】明細書
【補正対象項目名】0037
【補正方法】変更
【補正内容】
【0037】この外部コントローラ22には、合焦度演
算手段19の合焦度演算範囲を設定してCPU16に記
憶させるための合焦度演算範囲設定手段や、マニュアル
でピント合わせを行うためのパワーフォーカス指示手段
も含まれている。
【手続補正2】
【補正対象書類名】明細書
【補正対象項目名】0057
【補正方法】変更
【補正内容】
【0057】本実施の形態においては、合焦度演算手段
19の演算範囲を倍率検知手段23によって検知される
対物レンズの倍率データに応じて可変とする。例えば、
対物レンズ6が40倍〜100倍のような高倍率の場合
を基準に観察者が合焦度演算範囲ΔZαを入力した場
合、演算範囲は前述の第1の実施の形態において述べた
ように、 ZL1=Zc1−ΔZα ≦ Z ≦ ZH1=Zc1+ΔZα … (5) となるが、対物レンズ6を低倍率のものに切換えた場
合、CPU16により、低倍率の場合の合焦度演算範囲
を、 ΔZα′=k・ΔZα … (6) (kは対物レンズの焦点深度に比例した定数)と定め、
自動的に演算範囲を ZL1′=Zc1−ΔZα′≦Z≦ ZH1=Zc1+ΔZα′ … (7) と設定する。
フロントページの続き (72)発明者 米山 貴 東京都渋谷区幡ヶ谷2丁目43番2号 オリ ンパス光学工業株式会社内

Claims (3)

    【特許請求の範囲】
  1. 【請求項1】 コントラスト等の評価値により標本像の
    合焦度を演算し、対物レンズの光軸に対して略垂直な平
    面内で走査可能なX−Yステージ又は対物レンズを光軸
    方向に移動することにより、標本に対して合焦を行なう
    顕微鏡の自動焦点整合装置において、 前記X−Yステージの光軸に対する位置を示すX−Y座
    標を検出するX−Y座標検出手段と、 前記X−Yステージ又は前記対物レンズの光軸方向の移
    動可能範囲のうち、前記X−Yステージの複数の特定範
    囲に対する標本像の合焦度演算範囲を設定する合焦度演
    算範囲設定手段と、 前記X−Y座標検出手段にて検出されたX−Y座標に対
    応する前記合焦度演算範囲設定手段により設定された合
    焦度演算範囲に基づいて、前記X−Yステージ又は対物
    レンズを光軸方向に移動させて前記標本に対して合焦を
    行なう合焦手段とを具備したことを特徴とする顕微鏡の
    自動焦点整合装置。
  2. 【請求項2】 前記対物レンズの倍率を検出する倍率検
    出手段と、 前記倍率検出手段により検出された対物レンズの倍率に
    基づいて、前記合焦度演算範囲設定手段にて設定された
    複数の合焦度演算範囲を前記対物レンズの倍率に適合す
    る合焦度演算範囲に変換する合焦度演算範囲変換手段と
    を付加したことを特徴とする請求項1記載の顕微鏡の自
    動焦点整合装置。
  3. 【請求項3】 前記合焦手段により合焦が行なわれた際
    のX−Yステージと対物レンズとの光軸方向の相対位置
    を示すz座標を検出するz座標検出手段と、 前記z座標検出手段により検出されたz座標及びこのと
    きのX−Y座標検出手段により検出されるX−Y座標を
    逐次記憶する記憶手段と、 前記記憶手段により記憶された特定範囲に対応するX−
    Y座標及びz座標に基づいて、合焦動作の都度、それぞ
    れの特定範囲に対応する予測合焦位置を算出する予測合
    焦位置算出手段と、 前記予測合焦位置算出手段により算出された予測合焦位
    置に基づいて、新たに合焦度演算範囲を算出し、合焦動
    作の都度、前記合焦度演算範囲設定手段により設定され
    た合焦度演算範囲に代えて、新たに算出された合焦度演
    算範囲を設定する合焦度演算範囲再設定手段とを付加し
    たことを特徴とする請求項1記載の顕微鏡の自動焦点整
    合装置。
JP27543695A 1995-10-24 1995-10-24 顕微鏡の自動焦点整合装置 Expired - Fee Related JP3631304B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP27543695A JP3631304B2 (ja) 1995-10-24 1995-10-24 顕微鏡の自動焦点整合装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP27543695A JP3631304B2 (ja) 1995-10-24 1995-10-24 顕微鏡の自動焦点整合装置

Publications (2)

Publication Number Publication Date
JPH09113810A true JPH09113810A (ja) 1997-05-02
JP3631304B2 JP3631304B2 (ja) 2005-03-23

Family

ID=17555499

Family Applications (1)

Application Number Title Priority Date Filing Date
JP27543695A Expired - Fee Related JP3631304B2 (ja) 1995-10-24 1995-10-24 顕微鏡の自動焦点整合装置

Country Status (1)

Country Link
JP (1) JP3631304B2 (ja)

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2001022147A1 (fr) * 1999-09-24 2001-03-29 Olympus Optical Co., Ltd. Systeme de transfert d'image a microscope
JP2003098436A (ja) * 2001-09-20 2003-04-03 Olympus Optical Co Ltd 透過型顕微鏡装置
JP2004514920A (ja) * 2000-05-03 2004-05-20 ダーク・ソーンクセン 全自動迅速顕微鏡用スライドスキャナ
JP2004163499A (ja) * 2002-11-11 2004-06-10 Matsushita Electric Ind Co Ltd 細胞の観察方法
JP2006010770A (ja) * 2004-06-22 2006-01-12 Olympus Corp レーザ走査型顕微鏡装置
JP2006215259A (ja) * 2005-02-03 2006-08-17 Olympus Corp 顕微鏡システム、観察方法および観察プログラム
US7167305B2 (en) 2002-07-30 2007-01-23 Nikon Corporation Microscope system
JP2009223164A (ja) * 2008-03-18 2009-10-01 Olympus Corp 顕微鏡画像撮影装置
US7755696B2 (en) 2004-09-16 2010-07-13 Fujitsu Semiconductor Limited Image pickup device and focusing notification method
JP2011095500A (ja) * 2009-10-29 2011-05-12 Olympus Corp 顕微鏡装置および顕微鏡観察方法
US8923597B2 (en) 2004-05-27 2014-12-30 Leica Biosystems Imaging, Inc. Creating and viewing three dimensional virtual slides
WO2016031214A1 (en) * 2014-08-29 2016-03-03 Canon Kabushiki Kaisha Image acquisition apparatus and control method thereof
US9535243B2 (en) 2000-05-03 2017-01-03 Leica Biosystems Imaging, Inc. Optimizing virtual slide image quality

Cited By (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN100442099C (zh) * 1999-09-24 2008-12-10 奥林巴斯光学工业株式会社 显微镜图象传送系统和显微镜图象传送方法
WO2001022147A1 (fr) * 1999-09-24 2001-03-29 Olympus Optical Co., Ltd. Systeme de transfert d'image a microscope
JP2004514920A (ja) * 2000-05-03 2004-05-20 ダーク・ソーンクセン 全自動迅速顕微鏡用スライドスキャナ
JP2011232762A (ja) * 2000-05-03 2011-11-17 Aperio Technologies Inc 全自動迅速顕微鏡用スライドスキャナ
US9386211B2 (en) 2000-05-03 2016-07-05 Leica Biosystems Imaging, Inc. Fully automatic rapid microscope slide scanner
US9851550B2 (en) 2000-05-03 2017-12-26 Leica Biosystems Imaging, Inc. Fully automatic rapid microscope slide scanner
US9535243B2 (en) 2000-05-03 2017-01-03 Leica Biosystems Imaging, Inc. Optimizing virtual slide image quality
JP2003098436A (ja) * 2001-09-20 2003-04-03 Olympus Optical Co Ltd 透過型顕微鏡装置
US7167305B2 (en) 2002-07-30 2007-01-23 Nikon Corporation Microscope system
US7262908B2 (en) 2002-07-30 2007-08-28 Nikon Corporation Microscope system
JP2004163499A (ja) * 2002-11-11 2004-06-10 Matsushita Electric Ind Co Ltd 細胞の観察方法
US8923597B2 (en) 2004-05-27 2014-12-30 Leica Biosystems Imaging, Inc. Creating and viewing three dimensional virtual slides
US9069179B2 (en) 2004-05-27 2015-06-30 Leica Biosystems Imaging, Inc. Creating and viewing three dimensional virtual slides
JP2006010770A (ja) * 2004-06-22 2006-01-12 Olympus Corp レーザ走査型顕微鏡装置
US7755696B2 (en) 2004-09-16 2010-07-13 Fujitsu Semiconductor Limited Image pickup device and focusing notification method
JP2006215259A (ja) * 2005-02-03 2006-08-17 Olympus Corp 顕微鏡システム、観察方法および観察プログラム
JP2009223164A (ja) * 2008-03-18 2009-10-01 Olympus Corp 顕微鏡画像撮影装置
US8730315B2 (en) 2009-10-29 2014-05-20 Olympus Corporation Microscope apparatus and microscope observation method
JP2011095500A (ja) * 2009-10-29 2011-05-12 Olympus Corp 顕微鏡装置および顕微鏡観察方法
WO2016031214A1 (en) * 2014-08-29 2016-03-03 Canon Kabushiki Kaisha Image acquisition apparatus and control method thereof

Also Published As

Publication number Publication date
JP3631304B2 (ja) 2005-03-23

Similar Documents

Publication Publication Date Title
JP5015955B2 (ja) 自動顕微鏡の自動焦点調節法及びシステム
JPH09113810A (ja) 顕微鏡の自動焦点整合装置
WO2014069053A1 (ja) 画像取得装置及び画像取得装置のフォーカス方法
JPS6398615A (ja) 自動焦点調節方法
JP2005156554A (ja) 画像測定検査システムの推定最良焦点位置決定制御方法、画像測定検査システムの訓練モード動作の制御方法
US5235375A (en) Focusing position detecting and automatic focusing apparatus with optimal focusing position calculation method
EP2333602B1 (en) Spherical aberration correction for non-descanned applications
KR101921762B1 (ko) 높이 측정 방법 및 높이 측정 장치
US5270527A (en) Method for autofocusing of microscopes and autofocusing system for microscopes
CN105785561B (zh) 一种数字显微镜及其聚焦方法
JPH1096848A (ja) 自動焦点検出装置
JPH09218355A (ja) 走査型レーザ顕微鏡
JP2001091821A (ja) 顕微鏡用オートフォーカスシステム
JP3290606B2 (ja) 顕微鏡用オートフォーカス装置
JPH05196561A (ja) 硬度測定装置および硬度測定方法
JP3349711B2 (ja) 自動焦点検出装置
JPH1130740A (ja) ズームレンズの調整方法およびズームレンズ
JP2672498B2 (ja) ズームレンズの像補正装置
EP0451865B1 (en) Automatic focusing apparatus with optimal focusing position calculation method
CN117041710B (zh) 一种跟焦器及其控制方法
CN117170083B (zh) 一种叠加动态像质补偿的自动对焦方法、系统及存储介质
JP5881445B2 (ja) 顕微鏡
JP3403451B2 (ja) 顕微鏡用自動合焦装置
WO2006097123A1 (en) Autofocussing system for microscope systems
JP3403445B2 (ja) 自動合焦装置とこの自動合焦装置を用いた顕微鏡

Legal Events

Date Code Title Description
A977 Report on retrieval

Effective date: 20041118

Free format text: JAPANESE INTERMEDIATE CODE: A971007

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20041207

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20041216

FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20081224

Year of fee payment: 4

FPAY Renewal fee payment (prs date is renewal date of database)

Year of fee payment: 4

Free format text: PAYMENT UNTIL: 20081224

FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20091224

Year of fee payment: 5

FPAY Renewal fee payment (prs date is renewal date of database)

Year of fee payment: 6

Free format text: PAYMENT UNTIL: 20101224

FPAY Renewal fee payment (prs date is renewal date of database)

Year of fee payment: 7

Free format text: PAYMENT UNTIL: 20111224

FPAY Renewal fee payment (prs date is renewal date of database)

Year of fee payment: 7

Free format text: PAYMENT UNTIL: 20111224

FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121224

Year of fee payment: 8

FPAY Renewal fee payment (prs date is renewal date of database)

Year of fee payment: 9

Free format text: PAYMENT UNTIL: 20131224

LAPS Cancellation because of no payment of annual fees