JP3794670B2 - 顕微鏡のオートフォーカス方法及び装置 - Google Patents

顕微鏡のオートフォーカス方法及び装置 Download PDF

Info

Publication number
JP3794670B2
JP3794670B2 JP2000129873A JP2000129873A JP3794670B2 JP 3794670 B2 JP3794670 B2 JP 3794670B2 JP 2000129873 A JP2000129873 A JP 2000129873A JP 2000129873 A JP2000129873 A JP 2000129873A JP 3794670 B2 JP3794670 B2 JP 3794670B2
Authority
JP
Japan
Prior art keywords
sample
point
focus
image
microscope
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
JP2000129873A
Other languages
English (en)
Other versions
JP2001311866A (ja
Inventor
完 臣永
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Kokusai Electric Inc
Original Assignee
Hitachi Kokusai Electric Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Kokusai Electric Inc filed Critical Hitachi Kokusai Electric Inc
Priority to JP2000129873A priority Critical patent/JP3794670B2/ja
Publication of JP2001311866A publication Critical patent/JP2001311866A/ja
Application granted granted Critical
Publication of JP3794670B2 publication Critical patent/JP3794670B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Images

Landscapes

  • Microscoopes, Condenser (AREA)
  • Automatic Focus Adjustment (AREA)

Description

【0001】
【発明の属する技術分野】
本発明はテレビカメラを用いた顕微鏡のオートフォーカス装置に関するものである。
【0002】
【従来の技術】
従来のテレビ顕微鏡のオートフォーカス装置には、合焦点時には物体像の輪郭がくっきりすること、すなわち、テレビ信号の水平走査期間内の信号レベルの変化(微分値)が大きくなることを利用して対物レンズまたは試料を遠近方向(フォーカス方向:Z方向)に位置を変えながら、映像信号を監視して、映像信号の微分値を水平走査期間積分した値が大きくなる方向へ移動させ、映像信号の微分値の水平方向積分値が最大となる位置を合焦点位置として位置決めする方法があった。
【0003】
この方法は、テレビ信号を検出して合焦点位置を検出する為に正確に合焦点できる特徴があるが、対物レンズ、または、試料を1ステップづつZ方向に移動させる必要がある。また、映像信号のサンプリング周期が1テレビ画面でNTSC方式で1/30秒である為に、オートフォーカス時間が2〜3秒〜数秒かかってしまう欠点があった。
【0004】
また、別の方法として、レーザダイオードで作る点光源をコリメートレンズの焦点に置き、この点光源とコリメートレンズとの間に、光束をミラー背面で半分遮光するナイフエッジ付ミラーを設置し、点光源から出射し、コリメートレンズを通って平行になった光を、レーザダイオードの波長域のみ反射するダイクロイックミラーで対物レンズに導いて、試料に結像させ、試料面で反射して反射してくる戻り光を、ダイクロイックミラーでコリメートレンズに戻し、さらに戻り光をナイフエッジ付ミラーで反射して2分割ダイオードに入れ、2分割ダイオードの各々のダイオードへの入射光量から焦点ずれの方向と、ずれ量を検出し、この焦点ずれ量から対物レンズ、または試料を合焦点位置に位置決めする方法があった。この方法は、常に焦点ずれの方向と、ずれ量を検出できるためにオートフォーカス動作を数十m秒という高速で行えるという特徴がある。しかしこの方法は、レーザダイオード点光源の像が結像する視野内の1点のみの光でオートフォーカス動作をする為に、例えば視野内の試料面に段差があって、点光源の結像位置と被測定ポイントがずれている場合には、測定ポイントでの焦点合わせができないという重大な欠点があった。
【0005】
【発明が解決しようとする課題】
このように、前述の従来技術には焦点を合わせるための時間、すなわち、合焦点のための時間が長いか、または、視野内の所望の位置に焦点合わせをすることができないという欠点があった。本発明はこれらの欠点を除去し、視野内に段差のある試料でも、視野内の所望の位置に、高速で、高精度に焦点合わせをできる顕微鏡用オートフォーカス方法及び装置を提供することを目的とする。
【0006】
【課題を解決するための手段】
本発明はこのような目的を達成する為に、レーザーによる点光源をコリメートレンズで平行光にして顕微鏡光路に入射し、試料面に結像させ、その戻り光をフォトダイオードに入射して、該フォトダイオードの入射光量から、焦点ずれの方向と、ずれ量を検出して、レンズまたは試料をその合焦点方向にずれ量だけ移動させると共に、この合焦点動作に合わせ、テレビカメラと、画像処理部とを働かせて、あらかじめ登録しておいた被測定位置の画像と、撮像画像とのマッチングを図り、被測定ポイントの位置合わせを行い、被測定ポイントと、フォーカスポイントを一致させるようにして視野内の任意の点に高速で高精度にオートフォーカスできるようにしたものである。
【0007】
更に詳しくは、本発明はこの目的を達成する為に、点光源をコリメートレンズで平行光にして顕微鏡光路に入射し、ダイクロイックミラーで対物レンズに導き、対物レンズで試料面に結像させ、その戻り光をダイクロイックミラーでコリメートレンズに戻して、コリメートレンズを通過した戻り光をナイフエッジ付ミラーで反射し、ナイフエッジ付ミラーで反射した光の焦点面に設けた2分割フォトダイオードに入射して、2つのフォトダイオードの入射光量から、焦点ずれの方向と、ずれ量を検出して、対物レンズまたは試料を合焦点方向にずれ量だけ移動させると共に、合焦点動作中にテレビカメラと、画像処理部とを働かせて、あらかじめ登録しておいた被測定位置の画像と、だんだん焦点が合って来た撮像画像とをマッチング探査を行わせて、視野内の被測定ポイントの位置を検出してコンピュータに送り、コンピュータがこの被測定ポイントの位置とあらかじめ視野中央に設定しておいたフォーカス用点光源の結像位置とのずれ量を算出し、このずれ量を打消すように試料を搭載したステージを移動させるようにステージ制御部を動作させて、被測定ポイントと、フォーカスポイントを一致させるようにして視野内の任意の点に高速で高精度にオートフォーカスできるようにしたものである。
【0008】
【発明の実施の形態】
以下本発明の一実施例を図1〜図6によって説明する。
これらの図において、図1は本発明の一実施例を示す全体構成図、図2は特にフォーカス光学系光路図について詳細に示した構成図、図3は本発明の実施例における視野内の測定ポイントとフォーカスポイント、画像処理登録エリアの関係を示す説明図。図4は本発明の実施例におけるオートフォーカス後の測定ポイントとフォーカスポイントを示す視野内画像説明。図5は登録パターンを示す図、図6はフォーカス動作の動作ブロック図である。
【0009】
図1〜図6において、同一の参照符号は同一物を示す。次に参照符号について説明する。
1は顕微鏡対物レンズ、2は顕微鏡結像レンズ、3は顕微鏡光軸、4は資料を照らすための照明装置、5は照明装置4の光を反射し、試料に導くと共に試料の像を顕微鏡決像レンズ側に供給するハーフミラー、6は顕微鏡の像を電気信号に変換、出力するテレビカメラ、7はテレビカメラ6の出力の画像処理部、8は全体の動作を制御するためのコンピュータ、9はコンピュータ8からの指令に基づき、資料を所定の位置に位置決めするXYステージ、10はX−Yステージ制御部、11は焦点を求めるためのレーザー光を発生するレーザダイオードで、例えば、波長785nmの近赤外レーザダイオードである。12はレーザーダイオード11からのレーザー光を平行レーザー光に変換するコリメートレンズ、13はダイクロイックミラー、14はナイフエッジ付ミラー、15はレーザーダイオード11の点光源光軸、16は戻りレーザー光の光軸、17は戻りレーザー光の焦点面、19はフォトダイオード18のアンプ、20はフォーカス制御部、21は試料である。
【0010】
次に図2のフォーカス光学系光路図の参照符号を説明する。18A,18Bは2分割フォトダイオード、22は試料21の合焦点位置、23は対物レンズ1と試料21が近すぎたときの試料面の位置、24は対物レンズ1と試料21が遠すぎたときの位置、25は合焦点時の戻り光の光路、26は前記近すぎ時の戻り光路、27は同じく遠すぎ時の戻り光路を示す。
【0011】
次に図3、図4、図5を参照する。30はレーザー光線が照射されているフォーカスポイント、31は試料21の被測定ポイント、32はパターン幅を測定する場合の測定位置、33は測定ポイント31とは高さの異るパターン、破線で示す34は登録パターン(図5参照)である。図3は試料21の位置が登録パターン34とずれている状態であり、図4が、登録パターンと試料21の位置が一致し、測定ポイント31とフォーカスポイント30が合致した状態を示す。
【0012】
次にこの動作を動作ブロック図、図6に従い説明する。
コンピュータ8のスタート51後、フォーカス制御開始命令52によって、フォーカス制御53を開始する。つまり、顕微鏡対物レンズ1と結像レンズ2、照明装置4、ハーフミラー5等で構成される顕微鏡光学系に、コリメートレンズ12で平行光にされたレーザダイオード11で形成したレーザー光線を入射する。このレーザー光線は顕微鏡光軸3上に設けたダイクロイックミラー13で、対物レンズ1に導かれる。そして、対物レンズ1で試料21上に、例えば直径2μmの点光源像を結像させる。その戻り光をダイクロイックミラー13でコリメートレンズ12に戻し、コリメートレンズ12を通った戻り光をさらにナイフエッジ付ミラー14で、コリメートレンズ12の焦点面17上でかつ戻り光の光軸16上に分割線のある2分割フォトダイオード18上に導く。この時に試料21から反射して戻る点光源からの光は図2に詳しく示すように、試料21が対物レンズの焦点面22にある場合には実線で示す光路25を通る。そして、2分割フォトダイオード18Aと18Bの中間に結像する。試料21の面が焦点より対物レンズ1に近い位置23にずれた場合には破線で示す光路26を通ってフォトダイオード18B側に結像する。また、反対に遠い位置24にずれた時には一点鎖線で示す光路27を通ってフォトダイオード18A側に結像する。従って、フォトダイオード18A及び18Bは試料21の合焦点の度合いに応じてそれぞれ光電流が発生する。アンプ19は、この合焦点度に応じて発生する光電流をZ軸制御部20に送る。Z軸制御部20はこの光電流に基づいて、光軸方向(Z方向)の位置決め制御信号を発生する。そして、試料21が合焦点位置に来るように対物レンズ1を顕微鏡の光軸方向に位置決めする。
【0013】
この合焦点位置決めの動作は、フォトダイオード18A及び18Bが常に戻り光から焦点ずれの方向とずれ量とを測定している為に非常に早く(例えば、数十m秒)で合焦させることができる。一方、この合焦点動作中にも、テレビカメラ6は試料21を撮像している。従って、テレビカメラ6は焦点が合ってくるに従って、次第に試料21のパターンを明瞭に捉えるようになってくる。すると画像処理部7はコンピュータ8の測定位置抽出命令54によって、テレビカメラ6から送られた画像データから、あらかじめ登録しておいた図5に示す測定エリアのパターン34とそのパターンが対応する試料21の位置(X―Y座標値を得る55。コンピュータ8はこのようにして得た測定点位置に基づき、測定点位置決定命令56を出力する。なお、このような測定位置を求める技術は周知のパターンマッチングにより十分可能である。コンピュータ8は登録パターン34の位置データから、測定ポイント31のずれ量(x1、y1)を算出する。つまり、図3に示す測定ポイント31と、あらかじめ視野の中央に設定してある点光源が結像する点(フォーカスポイント)30との位置ずれ方向と位置ずれ量とを算出し、その位置ずれを打消すべく測定店位置決め指令57を出力し、XYステージ9を移動させる移動データをステージ制御部10に送る。ステージ制御部10はこの移動データに基づきXYステージ9を位置決めする。このときの状況を図4示す。XYステージ9を移動すると試料21高さが変化するため、フォーカスポイント30でのZ方向位置が若干ずれる。しかし、先に説明したとおり、この方向のずれは直ちに2分割フォトダイオード18A,18Bが検知し、これを受けてZ軸制御部20が対物レンズ1をZ方向に位置決めし直し、オートフォーカス動作を完了する。
【0014】
なお、本実施例では、波長785nmのレーザー点光源を用いており、レーザー光がテレビ画像に写り込むことが無いようにでき、測定への影響を無くすことができる。但し、この場合、可視光の焦点位置がわずかにずれる為に、画面から判断して、予め、最適フォーカス位置で2分割フォトダイオードへの入力光量が等しくなるよう2分割ダイオードの位置を調整しておく必要がある。
【0015】
このオートフォーカス動作は視野内の被測定点とフォーカスポイントを完全に一致させることができるため、例え段差のある試料であっても測定ポイントを任意の位置に指定できるため高精度な測定ができる。
また、動作時間はフォーカス動作の途中からの画像処理と、XY位置決め時間と、フォーカス時間の加算値であり0.5秒程度と比較的高速なオートフォーカスが実現できる。
【0016】
さらに装置構成も、自動測定にはもともと必要な画像処理装置とステージ制御装置が付加されているのみであるから、低コストで高精度、高速なオートフォーカス装置が構成できる。
【0017】
なお、この実施例では11は波長785nmの近赤外レーザダイオードとしたがこれに限られるものではない。
【0018】
【発明の効果】
以上説明したように、本発明によれば、合焦点時間を大幅に短縮することができる。さらに、測定対象の視野内における所望の位置に焦点を合わせることができる。したがって、本発明は視野内に段差のある試料でも、視野内の所望の位置に、高速、高精度に焦点合わせをできる顕微鏡用オートフォーカス装置を提供することができる。
【図面の簡単な説明】
【図1】本発明の実施例における全体構成図。
【図2】本発明の実施例におけるフォーカス光学系光路図。
【図3】本発明の実施例における視野内の測定ポイントとフォーカスポイント、画像処理登録エリアの関係を示す説明図。
【図4】本発明の実施例におけるオートフォーカス後の測定ポイントとフォーカスポイントを示す視野内画像説明。
【図5】本発明の実施例における登録パターンの説明図。
【図6】本発明の実施例の動作ブロック図。
【符号の説明】
1:対物レンズ、6:カメラ、7:画像処理部、8:コンピュータ、9:XYステージ、10:XYステージ制御部、11:レーザダイオード、12:コリメートレンズ、13:ダイクロイックミラー、14:ナイフエッジ付ミラー、18A,18B:2分割フォトダイオード、20:フォーカス制御部、21:試料。

Claims (4)

  1. 平行レーザー光線を顕微鏡光路に入射し、これを試料面に結像させ、該試料面からの戻り光を第1と第2のフォトダイオードに入射し、入射光量により第1と第2のフォトダイオードに発生する光電流から、焦点ずれの方向と、ずれ量を検出して、該焦点ずれの方向と量を補正するように対物レンズと試料面との距離を移動し、合焦点動作を行うと同時に、前記試料面顕微鏡画像を撮像するテレビカメラからの画像を基に、試料面の被測定ポイントと、前記合焦点動作のフォーカスポイントを一致させるように前記試料を載置するステージを移動するようにしたことを特徴とする顕微鏡のオートフォーカス方法。
  2. 平行レーザー光線を顕微鏡光路に入射し、これを試料面に結像させ、該試料面からの戻り光を第1と第2のフォトダイオードに入射し、入射光量により第1と第2のフォトダイオードに発生する光電流から、焦点ずれの方向と、ずれ量を検出して、レンズまたは試料をその合焦点方向にずれ量だけ補正するように移動させる合焦点動作を行うと共に、前記試料面顕微鏡画像を撮像するテレビカメラからの画像を画像処理により、予め登録しておいた試料面の被測定位置の画像と、前記撮像画像とのマッチングを図り、被測定ポイントと、フォーカスポイントを一致させるように前記試料を載置するステージを移動するようにしたことを特徴とする顕微鏡のオートフォーカス方法。
  3. 試料側に設けた対物レンズと、結像レンズと、照明装置とテレビカメラを備えたテレビ顕微鏡装置において、
    点光源と、この点光源が焦点に一致するように配設したコリメートレンズと、前記テレビ顕微鏡の光軸上に配設された前記コリメートレンズを通過した光を前記対物レンズに向けて反射しかつ前記試料側からの戻り光を前記コリメートレンズに戻すダイクロイックミラーと、戻り光を反射するナイフエッジ付反射鏡と、該反射鏡を通過した戻り光の焦点面に配設されたフォトダイオードと、フォトダイオードの出力を受けて前記対物レンズと前記試料との距離を調整し合焦点方向に位置決めするフォーカス制御部と、該フォーカス制御部による位置決め制御中に、前記テレビカメラからの画像から被測定部の画面内位置を検出する画像処理部と、画像処理部からの被測定位置データを受けて前記オートフォーカス用点光源の結像位置と前記試料の被測定点とのずれ量を補正するように前記試料を位置決めするXYステージ制御部と、前記資料を載置し前記XYステージ制御部により制御されるXYステージより成ることを特徴とする顕微鏡オートフォーカス装置。
  4. 対物レンズと結像レンズと照明装置とテレビカメラを備えたテレビ顕微鏡装置において、
    点光源とこの点光源が焦点に一致するように配設したコリメートレンズと、前記テレビ顕微鏡の光軸上に配設されて前記コリメートレンズを通過した平行光を前記対物レンズに向けて反射し、かつこの反射した平行光が前記対物レンズを通して試料面に結像、反射して戻った、戻り平行光のみを選択的に反射して前記コリメートレンズに戻すダイクロイックミラーと、前記点光源と前記コリメートレンズ間に配設され、かつエッジラインが戻り光の光軸を通って、戻り光を反射するナイフエッジ付反射鏡と、この反射鏡を通過した戻り光の焦点面と戻り光光軸に分割面が一致するように配設された2分割フォトダイオードと、この2分割フォトダイオードの出力を受けて、前記対物レンズまたは試料を合焦点方向に位置決めしてフォーカス制御をするオートフォーカス制御部と、このオートフォーカス制御部の働きによって前記テレビカメラによって、画像処理可能なテレビ画像が得られると直ちに、被測定部の画面内位置を検出する画像処理部と、画像処理部からの被測定位置データを受けて、既知のオートフォーカス用点光源の結像位置とのずれ量を算出し、この位置ずれを打消すよう試料を位置決めさせるべく位置決めデータを出力し位置決め終了後直ちにフォーカス制御部にフォーカス制御命令を出すコンピュータと、このコンピュータからの位置決めデータを受けて試料を位置決め制御する位置決め制御部と、位置決め制御部からの制御を受けて試料を位置決めする位置決めステージで構成されることを特徴とする顕微鏡オートフォーカス装置。
JP2000129873A 2000-04-28 2000-04-28 顕微鏡のオートフォーカス方法及び装置 Expired - Lifetime JP3794670B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2000129873A JP3794670B2 (ja) 2000-04-28 2000-04-28 顕微鏡のオートフォーカス方法及び装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2000129873A JP3794670B2 (ja) 2000-04-28 2000-04-28 顕微鏡のオートフォーカス方法及び装置

Publications (2)

Publication Number Publication Date
JP2001311866A JP2001311866A (ja) 2001-11-09
JP3794670B2 true JP3794670B2 (ja) 2006-07-05

Family

ID=18639080

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2000129873A Expired - Lifetime JP3794670B2 (ja) 2000-04-28 2000-04-28 顕微鏡のオートフォーカス方法及び装置

Country Status (1)

Country Link
JP (1) JP3794670B2 (ja)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4785480B2 (ja) * 2005-09-22 2011-10-05 三鷹光器株式会社 光学計測システム
JP5601539B2 (ja) 2009-07-13 2014-10-08 株式会社ニコン 3次元方向ドリフト制御装置および顕微鏡装置
CA2842723C (en) * 2009-10-19 2016-02-16 Ventana Medical Systems, Inc. Imaging system and techniques
KR101734628B1 (ko) * 2011-09-09 2017-05-11 벤타나 메디컬 시스템즈, 인코포레이티드 에러 신호를 이용한 포커스 및 이미징 시스템 및 기법들
US20140168402A1 (en) * 2012-12-13 2014-06-19 Vala Sciences, Inc. Continuous-Scanning Image Acquisition in Automated Microscopy Using Reflective Autofocus
GB201318919D0 (en) 2013-10-25 2013-12-11 Isis Innovation Compact microscope
GB201507021D0 (en) 2015-04-24 2015-06-10 Isis Innovation Compact microscope
CN113029919B (zh) * 2021-03-13 2024-04-02 长春长光辰英生物科学仪器有限公司 一种细胞富集与荧光计数的检测装置以及检测、计数方法
CN114994896B (zh) * 2022-06-08 2024-05-10 合肥埃科光电科技股份有限公司 用于微纳台阶样品的显微镜自动对焦系统及其对焦方法

Also Published As

Publication number Publication date
JP2001311866A (ja) 2001-11-09

Similar Documents

Publication Publication Date Title
JP2995411B2 (ja) 顕微鏡の自動焦点合わせ装置
US6856381B2 (en) Method for carrying out the non-contact measurement of geometries of objects
KR101931967B1 (ko) 광학 현미경의 자동 초점 조절 장치
JP4021183B2 (ja) 合焦状態信号出力装置
JPH0623808B2 (ja) 光学器械の自動焦点調節装置
KR101891182B1 (ko) 자동초점 조절장치
JP3794670B2 (ja) 顕微鏡のオートフォーカス方法及び装置
KR0132269B1 (ko) 노광장비에서의 자동초점과 자동수평 조절장치 및 조절방법
JPH10161195A (ja) オートフォーカス方法及びオートフォーカス装置
JP2005241607A (ja) 角度測定装置
JP2002321080A (ja) レーザ微細加工用オートフォーカス装置
JP2018032005A (ja) オートフォーカスシステム、方法及び画像検査装置
CN116540393B (zh) 自动对焦系统及方法、半导体缺陷检测系统及方法
JPH10239037A (ja) 観察装置
TWI574072B (zh) 自動對焦系統及其對焦方法
US20200355900A1 (en) Method and apparatus for autofocussing an optical microscope and dynamic focus tracking
JP2000352661A (ja) 合焦装置
KR102058780B1 (ko) 라인 스캐닝 방식의 공초점 현미경에서의 자동초점조절 방법 및 장치
JPH09230250A (ja) 光学顕微鏡自動合焦点装置
JPH0580246A (ja) 自動合焦装置及びそれを備えた観察装置
JP2004102032A (ja) 走査型共焦点顕微鏡装置
JP2828145B2 (ja) 光切断顕微鏡装置及びその光学手段の位置合わせ方法
JPH11167060A (ja) 合焦検出装置及び方法
JPH0762604B2 (ja) アライメント装置
JP2008032524A (ja) レーザ加工装置および計測用レーザ光の焦点検出方法

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20051104

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20051212

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20060209

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20060410

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20060410

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100421

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110421

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120421

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130421

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140421

Year of fee payment: 8

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250