JP4754665B2 - 自動合焦装置 - Google Patents

自動合焦装置 Download PDF

Info

Publication number
JP4754665B2
JP4754665B2 JP7357899A JP7357899A JP4754665B2 JP 4754665 B2 JP4754665 B2 JP 4754665B2 JP 7357899 A JP7357899 A JP 7357899A JP 7357899 A JP7357899 A JP 7357899A JP 4754665 B2 JP4754665 B2 JP 4754665B2
Authority
JP
Japan
Prior art keywords
focus
focusing
stage
factor
control
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP7357899A
Other languages
English (en)
Other versions
JP2000266992A (ja
Inventor
順一 小野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Priority to JP7357899A priority Critical patent/JP4754665B2/ja
Publication of JP2000266992A publication Critical patent/JP2000266992A/ja
Application granted granted Critical
Publication of JP4754665B2 publication Critical patent/JP4754665B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Description

【0001】
【発明の属する技術分野】
本発明は、顕微鏡や光学測定器などの光学機器に用いられる合焦装置に関するものである。
【0002】
【従来の技術】
従来、顕微鏡や光学測定器などの光学機器には、観察対象物に対し、自動的に焦点を合わせる自動合焦装置が用いられている。
【0003】
そして、このような自動合焦装置としては、従来、特開昭58−217909号公報や特開昭60−42725号公報に開示された装置が知られている。
【0004】
図4は、これらに開示される自動合焦装置を示すもので、測定光源1から出射される直線偏光の測定用光束を、コリメータレンズ2を介して平行光束に規制した後、偏光ビームスプリッタ3、λ/4板4を透過させて円偏光に変換し、さらにダイクロイックミラー5で所定の波長を有する測定用光束のみを反射して対物レンズ6を介してステージ7上の観察対象物8に照射させる。また、観察対象物8の表面で反射された反射光束を、再び対物レンズ6を介してダイクロイックミラー5に入射させ、その一部を透過して観察用結像レンズ9を介して結像位置10に像を結び、一方、残りの部分をダイクロイックミラー5で反射し、λ/4板4を透過させて最初の直線偏光に対して90°ずれた直線偏光として、偏光ビームスプリッタ3で反射させ、結像レンズ11を介して受光素子12で受光させる。そして、この受光素子12で受光した反射光束の結像状態を演算制御装置13により検知し、その出力を駆動装置14に入力し、この駆動装置14によりステージ7または対物レンズ6を光軸方向に移動させることで光学系の合焦を行なうようにしている。
【0005】
【発明が解決しようとする課題】
ところで、このような自動合焦装置では、合焦のための動作の途中で、例えば対物レンズの交換や検鏡方式を切換えるなどの原因により、合焦動作を続けることができなくなるので、スイッチを切り自動的に合焦動作を停止させる必要がある。そして、必要な操作が終わって、合焦動作を再開させるには、改めて合焦動作のスタートスイッチなどを操作するようにしている。
【0006】
ところが、このように合焦の動作途中で停止した場合、停止原因が無くなる度に、改めて合焦動作のスタートスイッチを操作して合焦動作を再開させているため、例えば、流れ作業で行なわれるウェハ基板の表面検査工程での観察用顕微鏡に適用されたような場合は、その都度スタートスイッチを再操作するようになり、このためのタクトタイムが加算され、作業能率が低下するという問題があった。
【0007】
本発明は、上記事情に鑑みてなされたもので、合焦作業の簡単化を実現できる自動合焦装置を提供することを目的とする。
【0008】
【課題を解決するための手段】
請求項1記載の発明は、対物レンズまたはステージを光軸方向に移動して前記ステージ上の観察対象物に対する合焦制御を自動的に行なう自動合焦動作手段と、前記観察対象物に対する前記合焦制御の実行中に、各光学素子の切換えや前記ステージの前記光軸方向に直交するXY方向への移動を指示する駆動制御信号または前記各光学素子切換えや前記ステージのXY方向への移動を検出するセンサからの出力信号から合焦評価が不能または合焦ができなくなる要因を検出する要因検出手段と、この要因検出手段からの出力により、前記要因を検出した場合に前記合焦制御を一時停止させ、前記要因が除去されると前記一時停止を解除して合焦制御を実行する制御手段と、を具備したことを特徴としている。
【0009】
請求項2記載の発明は、請求項1記載の発明において、制御手段は、前記要因検出手段からの出力により合焦動作の一時停止があった後、前記要因検出手段からの出力により対物レンズと観察対象物の位置関係が合焦状態にあるかどうか、合焦状態になければ合焦の状態よりどの方向にどの程度離れているかを評価する合焦評価できることを条件に、前記観察対象物に対する合焦制御を可能にしたことを特徴としている。
【0010】
この結果、本発明によれば、自動合焦のための合焦評価が不能または合焦できなくなる要因が生じると、一時的に自動合焦を停止し、これらの要因が除去されると、自動的に合焦動作を再開できるので、合焦作業の簡単化を実現できる。
【0011】
また、本発明によれば、自動合焦のための合焦評価が不能または合焦できなくなる要因が生じても、合焦の可能性があれば合焦まで移行できるので、効率のよい合焦動作を得られる。
【0012】
【発明の実施の形態】
以下、本発明の一実施の形態を図面に従い説明する。
【0013】
図1は、本発明の合焦装置が適用される落射照明型顕微鏡の概略構成を示している。図において、21は焦点光学系で、この焦点光学系21は、上述した図4で述べたと同様な構成をなしていて、同図と同一部分には、同符号を付している。
【0014】
このような焦点光学系21には、表示部22を接続している。この表示部22は、CCDカメラ22aとモニタ22bを有するもので、焦点光学系21の観察用結像レンズ9を介した結像位置10にCCDカメラ22aを配置し、観察対象物8を撮像するとともに、撮像した観察対象物8の画像をモニタ22bに表示するようにしている。
【0015】
また、焦点光学系21には、制御部23を接続している。この制御部23は、A/D変換器23a、CPU23bを有するもので、このうちCPU23bには、駆動装置24の他に、自動合焦のための合焦評価が不能または合焦できなくなる要因を検出するための要因検出手段として対物レンズ切換え検出部25、検鏡変更検出部26、ステージ移動検出部27、ローダ/アンローダ動作検出部28を接続している。
【0016】
ここで、A/D変換器23aは、焦点光学系21の受光素子12で集光された反射光束に応じた電気信号をデジタル信号に変換するもので、このデジタル信号をCPU23bに入力するようにしている。
【0017】
対物レンズ切換え検出部25は、焦点光学系21での対物レンズ6の倍率などを切換えるため図示しないレボルバの動作状態を検出するものである。検鏡変更検出部26は、顕微鏡の検鏡方法の変更などの切換え動作状態を検出するものである。ステージ移動検出部27は、観察対象物8を動かすためステージ7をXY方向に移動する状態を検出するものである。ローダ/アンローダ動作検出部28は、ステージ7上への観察対象物8の取り換え状態を検出するものである。
【0018】
なお、要因検出手段としては、各光学素子やステージの駆動制御信号または切換えや移動を検出するセンサからの出力信号を検出したり、さらに操作部の指令信号を検出するなど合焦評価が不能または合焦できなくなる要因を検出できるものであればよい。
【0019】
CPU23bは、A/D変換器23aからのデジタル信号に基づいて合焦評価を行ない合焦動作が可能か否かを判断するとともに、この結果に基づいて駆動装置24によりステージ7または対物レンズ6を光軸方向に移動させて光学系の自動合焦を行ない、また、対物レンズ切換え検出部25、検鏡変更検出部26、ステージ移動検出部27、ローダ/アンローダ動作検出部28より自動合焦のための合焦評価不能または合焦ができなくなる各種要因に相当する出力が与えられると、この時点のA/D変換器23aからのデジタル信号に対する合焦評価の結果から、これら要因が除去されるまで自動合焦を一時停止するようになっている。
【0020】
ここで、合焦評価とは、対物レンズ6と観察対象物8の位置関係が合焦状態にあるかどうか、合焦状態になければ合焦の状態よりどの方向にどの程度離れているかなどの評価である。
【0021】
次に、以上のように構成した実施の形態の動作を説明する。
【0022】
まず、観察対象物8をステージ7に載置し、合焦を自動で行なう自動合焦動作を設定する。
【0023】
この状態から、焦点光学系21において、ステージ7上の観察対象物8に測定用光束を照射し、観察対象物8の表面で反射された反射光束が受光素子12で受光すると、この受光素子12より出力される電気信号が、A/D変換器23aによりデジタル信号に変換され、CPU23bに入力される。
【0024】
すると、CPU23bにおいて、A/D変換器23aからのデジタル信号に基づいて合焦評価が行なわれ合焦動作が可能か否かが判定され、この判定結果が駆動装置24に出力される。これによりステージ7または対物レンズ6は、光軸方向に移動され、自動合焦が行なわれる。そして、このような自動合焦動作により得られる観察対象物8の観察像は、焦点光学系21の観察用結像レンズ9を介して結像位置10に配置されたCCDカメラ22aにより撮像されるとともに、モニタ22bに表示される。
【0025】
次に、このような自動合焦動作において、一時停止要因である、例えば観察対象物8を動かすためステージ7をXY方向に移動した場合を説明する。
【0026】
この場合、図2に示すフローチャートが実行される。
【0027】
まず、ステップ201で、焦点光学系21での自動合焦による合焦への追い込み動作が実行されているものとする。このような合焦動作の状態からステップ202で、観察対象物8を動かしたいためステージ7をXY方向に移動することがあると、ステージ7の移動をステージ移動検出部27が検出し、検出出力を制御部23のCPU23bに出力する。
【0028】
CPU23bでは、ステップ203で、ステージ移動検出部27からの出力により合焦評価が可能か否か、または合焦できるか否かの判断を行なう。ここでの合焦評価は、対物レンズ6と観察対象物8の位置関係が合焦状態にあるかどうか、合焦状態になければ合焦の状態よりどの方向にどの程度離れているかの評価である。
【0029】
ここで、合焦評価できると判断されると、ステップ201に戻り、合焦への追い込み動作が続けられる。一方、合焦評価できないと判断されると、ステップ204に進み、CPU23bにより自動合焦を一時停止させる指令が出力される。
【0030】
ステップ205では、合焦評価の不能または合焦できなくなる要因の発生により合焦動作が一時停止した場合でも、合焦評価の判定を行ない合焦評価が合焦の指標になる場合は、合焦動作の一時停止を解除し、合焦追い込み動作を開始させる。このステップ205で、合焦評価できないと判断されると、ステップ206で、観察対象物8の移動が終了したか否かがステージ移動検出部27の出力から判断される。ここで、観察対象物8の移動が続いていると判断されると、ステップ204の一時停止状態を維持し続ける。また、観察対象物8の移動終了が判断されると、ステップ207に進み、合焦開始のシーケンスに移行する。
【0031】
この合焦開始のシーケンスでは、図3に示すフローチャートが実行される。
【0032】
まず、ステップ301で、ステージ7上の観察対象物8に測定用光束を照射し、観察対象物8の表面で反射された反射光束が受光素子12で受光する。そして、の受光素子12より出力される電気信号が、A/D変換器23aを介してCPU23bに入力されると、ステップ302で、A/D変換器23aのデジタル信号に基づいて合焦評価できる信号レベルかが判断される。ここで、合焦評価できる信号レベルと判断されると、ステップ303に進み、この時の合焦評価の結果に基づいて合焦に追い込む動作を実行する。ここでの合焦に追い込む動作とは、合焦評価により合焦に達していない場合、その結果(合焦よりどの方向にどの程度離れているか)を利用して対物レンズ6と観察対象物8の位置関係が合焦になるように動作させることである。
【0033】
一方、ステップ302で、合焦評価できる信号レベルでないと判断されると、ステップ304に進み、合焦評価できる信号レベルを得られる位置をサーチ(検索)する。ここでのサーチ(検索)とは、対物レンズ6と観察対象物8の取り得る位置の全範囲を移動させながら合焦評価できるポイントを検索することである。
【0034】
そして、ステップ302に戻って、再び合焦評価できる信号レベルかの判断が行なわれる。
【0035】
従って、このようにすれば、対物レンズ6またはステージ7を光軸方向に移動し、この移動にともなうA/D変換器23aからのデジタル信号から合焦評価を行い、この結果に基づいてステージ7上の観察対象物8に対する合焦制御を行なうようになっていて、例えば観察対象物8上の観察位置を変更するためステージ7がXY方向に移動され、この状態をステージ移動検出部27が検出すると、この検出された観察対象物8の移動という要因が除去されるまで観察対象物8に対する合焦制御を一時停止させるようにしたので、オペレータは、観察対象物の観察に合焦操作のことを全く考えることなく、また、合焦操作に知識が全くなくても、最終的に合焦状態を得られるようになり、合焦作業の簡単化を実現できる。そして、このような自動合焦装置を、例えば、流れ作業で行なわれるウェハ基板の表面検査工程での観察用顕微鏡に適用すると、合焦動作を再開させる度にスタートスイッチを再操作するような面倒な手間が省略できるので、タクトタイムを短縮でき、作業能率の向上を図ることができる。
【0036】
また、自動合焦のための合焦評価ができなくなる要因が生じても、合焦の可能性があれば観察対象物8に対する合焦制御を継続できるようになっているので、不必要に合焦動作を一時停止することがなくなり、効率のよい合焦動作を得られる。
【0037】
なお、上述では、自動合焦動作の一時停止要因として、ステージ移動検出部27により検出されるステージ7のXY方向に動かし観察対象物8を移動させる場合について述べたが、対物レンズ切換え検出部25により検出される対物レンズ6の倍率などを切換えるため図示しないレボルバが動作される場合、検鏡変更検出部26により検出される顕微鏡の検鏡方法の変更などの切換えの場合、ローダ/アンローダ動作検出部28により検出されるステージ7上への観察対象物8の取り換えの場合にも、同様にして自動合焦動作が一時的に停止にされ、一時停止の原因が解消されるのを待って合焦動作が再び実行されるようになる。
【0038】
また、上述した実施の形態では、自動合焦のための合焦評価ができなくなる要因を検出するための例として、対物レンズ切換え検出部25、検鏡変更検出部26、ステージ移動検出部27、ローダ/アンローダ動作検出部28を述べたが、これら以外の要因を検出するものについても適用できることは勿論である。また、このような各種の検出手段を用いずに、対物レンズ切換え、検鏡変更、ステージ移動、ローダ/アンローダ動作のコントローラのコントロールの状態に基づいて、自動合焦のための合焦評価ができなくなる要因の有無を検知するようにすることもできる。
【0039】
さらに、上述した実施の形態では、本発明の合焦装置を落射照明型顕微鏡に適用した例を述べたが、光学測定器などの光学機器への適用も可能である。
【0040】
【発明の効果】
以上述べたように、本発明によれば、自動合焦のための合焦評価ができなくなる要因が生じると、一時的に自動合焦を停止し、これらの要因が除去されると、自動的に合焦動作を再開できるので、観察対象物の観察に合焦操作のことを全く考えることなく、また、合焦操作に知識が全くなくても、最終的に合焦状態を得られるようになり、合焦作業の簡単化を実現できる。
【0041】
また、自動合焦のための合焦評価ができなくなる要因が生じても、合焦の可能性があれば合焦まで移行できるので、不必要に合焦動作を一時停止することがなくなり、効率のよい合焦動作を得られる。
【図面の簡単な説明】
【図1】本発明の一実施の形態の概略構成を示す図。
【図2】一実施の形態の動作を説明するためのフローチャート。
【図3】一実施の形態の動作を説明するためのフローチャート。
【図4】従来の自動合焦装置の一例の概略構成を示す図。
【符号の説明】
1…測定光源
2…コリメータレンズ
3…偏光ビームスプリッタ
4…λ/4板
5…ダイクロイックミラー
6…対物レンズ
7…ステージ
8…観察対象物
9…観察用結像レンズ
10…結像位置
11…結像レンズ
12…受光素子
13…演算制御装置
14…駆動装置
21…焦点光学系
22…表示部
22a…CCDカメラ
22b…モニタ
23…制御部
23a…A/D変換器
23b…CPU
24…駆動装置
25…対物レンズ切換え検出部
26…検鏡変更検出部
27…ステージ移動検出部
28…ローダ/アンローダ動作検出部

Claims (2)

  1. 対物レンズまたはステージを光軸方向に移動して前記ステージ上の観察対象物に対する合焦制御を自動的に行なう自動合焦動作手段と、
    前記観察対象物に対する前記合焦制御の実行中に、各光学素子の切換えや前記ステージの前記光軸方向に直交するXY方向への移動を指示する駆動制御信号または前記各光学素子切換えや前記ステージのXY方向への移動を検出するセンサからの出力信号から合焦評価が不能または合焦ができなくなる要因を検出する要因検出手段と、
    この要因検出手段からの出力により、前記要因を検出した場合に前記合焦制御を一時停止させ、前記要因が除去されると前記一時停止を解除して合焦制御を実行する制御手段と、
    を具備したことを特徴とする自動合焦装置。
  2. 制御手段は、前記要因検出手段からの出力により合焦動作の一時停止があった後、前記要因検出手段からの出力により対物レンズと観察対象物の位置関係が合焦状態にあるかどうか、合焦状態になければ合焦の状態よりどの方向にどの程度離れているかを評価する合焦評価ができることを条件に、前記観察対象物に対する合焦制御を可能にしたことを特徴とする請求項1記載の自動合焦装置。
JP7357899A 1999-03-18 1999-03-18 自動合焦装置 Expired - Fee Related JP4754665B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP7357899A JP4754665B2 (ja) 1999-03-18 1999-03-18 自動合焦装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP7357899A JP4754665B2 (ja) 1999-03-18 1999-03-18 自動合焦装置

Publications (2)

Publication Number Publication Date
JP2000266992A JP2000266992A (ja) 2000-09-29
JP4754665B2 true JP4754665B2 (ja) 2011-08-24

Family

ID=13522329

Family Applications (1)

Application Number Title Priority Date Filing Date
JP7357899A Expired - Fee Related JP4754665B2 (ja) 1999-03-18 1999-03-18 自動合焦装置

Country Status (1)

Country Link
JP (1) JP4754665B2 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4828738B2 (ja) * 2001-08-10 2011-11-30 オリンパス株式会社 顕微鏡装置及びこの顕微鏡装置を使用した観察方法
JP4121849B2 (ja) * 2002-12-26 2008-07-23 オリンパス株式会社 欠陥検査装置及び欠陥検査方法
JP5359778B2 (ja) * 2009-10-23 2013-12-04 オムロン株式会社 オートフォーカス制御装置およびその制御を用いた計測処理装置、ならびにオートフォーカス制御方法
US9444995B2 (en) * 2013-10-11 2016-09-13 Mitutoyo Corporation System and method for controlling a tracking autofocus (TAF) sensor in a machine vision inspection system

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS59177508A (ja) * 1983-03-29 1984-10-08 Olympus Optical Co Ltd 自動焦点装置を備えた顕微鏡
JPH0713701B2 (ja) * 1985-05-16 1995-02-15 株式会社ニコン 自動焦点調節装置
JPS6415723A (en) * 1987-07-10 1989-01-19 Canon Kk Automatic focusing device
JPH07199077A (ja) * 1993-12-29 1995-08-04 Olympus Optical Co Ltd 顕微鏡システム
JPH0868752A (ja) * 1994-08-31 1996-03-12 Shimadzu Corp 顕微鏡
JPH09197286A (ja) * 1996-01-17 1997-07-31 Olympus Optical Co Ltd 顕微鏡装置
JPH09197288A (ja) * 1996-01-22 1997-07-31 Olympus Optical Co Ltd 光学顕微鏡
JPH09257411A (ja) * 1996-03-21 1997-10-03 Olympus Optical Co Ltd 測定顕微鏡
JPH1020209A (ja) * 1996-07-04 1998-01-23 Sankyo Seiki Mfg Co Ltd 顕微鏡写真撮影システムおよびオートフォーカス装置
JPH1048505A (ja) * 1996-08-02 1998-02-20 Sankyo Seiki Mfg Co Ltd オートフォーカス装置
JPH10253873A (ja) * 1997-03-13 1998-09-25 Olympus Optical Co Ltd 自動焦点検出制御装置及び光学検査機械
JPH10288734A (ja) * 1997-04-15 1998-10-27 Nikon Corp オートフォーカス装置
JP3953591B2 (ja) * 1997-09-04 2007-08-08 オリンパス株式会社 自動焦点顕微鏡

Also Published As

Publication number Publication date
JP2000266992A (ja) 2000-09-29

Similar Documents

Publication Publication Date Title
JP4121849B2 (ja) 欠陥検査装置及び欠陥検査方法
JP4097761B2 (ja) 自動焦点顕微鏡及び自動合焦検出装置
JP2005128493A (ja) 顕微鏡システム
JP2006184303A (ja) 画像検査装置
JP5053691B2 (ja) 標本スキャナ装置、該装置による標本位置検出方法
JPH1096848A (ja) 自動焦点検出装置
JP4076249B2 (ja) 自動焦点顕微鏡
JP4754665B2 (ja) 自動合焦装置
JP4192370B2 (ja) 検査装置及び検査方法
JP2001091821A (ja) 顕微鏡用オートフォーカスシステム
JP2009053485A (ja) オートフォーカス装置、オートフォーカス方法および計測装置
JP4322992B2 (ja) 合焦装置
JP2007047447A (ja) 焦点検出装置及びこれを備えた顕微鏡装置
JP3851701B2 (ja) 焦点検出装置
JP3078083B2 (ja) 自動合焦装置
JP2010008458A (ja) 光学式測定装置および投影板に形成されたパターン
JP2006162462A (ja) 画像測定装置
JP2001296467A (ja) 自動焦点検出装置
JPH0588072A (ja) 自動焦点装置
JP2005021916A (ja) 欠陥修正機能付き顕微鏡装置
JP2009014838A (ja) 走査型共焦点顕微鏡
JP2005274609A (ja) 自動合焦方法及びその装置
JP2002277729A (ja) 顕微鏡用オートフォーカス装置および方法
JP2007292895A (ja) 合焦検出装置、顕微鏡装置、及び合焦検出方法
JP2018097214A (ja) 顕微鏡装置、プログラム、観察方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20060317

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20090401

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090623

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090818

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100302

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100506

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20101116

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20101224

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110517

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110526

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140603

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140603

Year of fee payment: 3

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

LAPS Cancellation because of no payment of annual fees