JP3509088B2 - 3次元形状計測用光学装置 - Google Patents

3次元形状計測用光学装置

Info

Publication number
JP3509088B2
JP3509088B2 JP05548597A JP5548597A JP3509088B2 JP 3509088 B2 JP3509088 B2 JP 3509088B2 JP 05548597 A JP05548597 A JP 05548597A JP 5548597 A JP5548597 A JP 5548597A JP 3509088 B2 JP3509088 B2 JP 3509088B2
Authority
JP
Japan
Prior art keywords
objective lens
minute
angle
dimensional shape
parallel plane
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP05548597A
Other languages
English (en)
Other versions
JPH10239036A (ja
Inventor
満宏 石原
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Takaoka Electric Mfg Co Ltd
Original Assignee
Takaoka Electric Mfg Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Takaoka Electric Mfg Co Ltd filed Critical Takaoka Electric Mfg Co Ltd
Priority to JP05548597A priority Critical patent/JP3509088B2/ja
Publication of JPH10239036A publication Critical patent/JPH10239036A/ja
Application granted granted Critical
Publication of JP3509088B2 publication Critical patent/JP3509088B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Landscapes

  • Length Measuring Devices By Optical Means (AREA)
  • Microscoopes, Condenser (AREA)

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、物体の3次元形状
計測を行うために用いられる光学装置であり、特に合焦
情報を用いて物体の光軸方向の位置を検出する装置に関
する。
【0002】
【従来の技術】共焦点光学系を用いると物体の光軸方向
(以下Z方向と呼ぶ)の位置(以下高さと呼ぶ)を精度
良く計測することが可能である。従来技術の説明に先立
ち共焦点光学系による高さ計測の原理を解説する。共焦
点光学系の基本構成を図11に示す。点光源101から
でた光は対物レンズ103により集光され物体に投影さ
れる。物体から反射して再び対物レンズ103に入射し
た光はハーフミラー102を介して点光源101と光学
的に同じ位置にあるピンホール104に入射し、ピンホ
ール104を通過した光の量が検出器105により計測
される。これが共焦点光学系の基本的な構造である。こ
のような光学系を用いると物体表面上の点の高さが次の
ようにして計測できる。物体表面が点光源101に共役
な位置にある場合、反射光は同じく共役な位置であるピ
ンホール104面に収束し多くの反射光がピンホール1
04を通過する。しかし物体表面が点光源に共役な位置
から離れるとピンホール104を通過する光量は急速に
減少する。このことから物体と対物レンズ103との距
離を変化させて検出器105が最大出力を示す点を見つ
ければ物体表面の高さがわかることになる。以上が共焦
点光学系による高さ計測の原理である。
【0003】共焦点光学系は基本的に物体表面上の1点
のみを計測対象としているが、3次元形状計測のために
は面的な計測が必要である。共焦点光学系を用いて2次
元画像(以下共焦点画像と呼ぶ)を得るためには何らか
の走査手段を持つかまたは共焦点光学系の並列化かを行
う必要がある。後者の並列化を行う典型的な光学系とし
て2次元配列型共焦点光学系がある。2次元配列型共焦
点光学系は共焦点光学系による2次元画像の各点を同時
並列に露光することが可能であることから非常に高速な
計測が可能であるという特徴がある。2次元配列型共焦
点光学系を持つ装置としては本発明者により既に出願さ
れた特願平8−94682号明細書がある。この装置を
2次元配列型共焦点光学系の代表例として図10を用い
て説明する。
【0004】光源1から射出された照明光は照明ピンホ
ール2とコリメーターレンズ3とによって平行光となっ
てビームスプリッター4に入射する。ビームスプリッタ
ー4を下方に通過した照明光はマイクロレンズアレイ5
に入射し、マイクロレンズアレイ5の各レンズ毎に各レ
ンズの焦点位置に微小スポットを形成する。マイクロレ
ンズアレイ5の焦点面はピンホールアレイ6となってお
り、各ピンホールはマイクロレンズアレイ5の各レンズ
と同軸である。このため照明光のほとんどはピンホール
アレイ6を通過する。ピンホールアレイ6からでる照明
光はちょうど点光源が並列に並べられていることに相当
し、レンズ7a、レンズ7bと絞り8よりなる両側テレ
セントリックな対物レンズ7によりピンホールアレイ7
の像(つまり多数の微小スポット)となって物体Aに投
影されることになる。物体Aからの反射光は対物レンズ
7によりピンホールアレイ6付近に集光される。ピンホ
ールアレイ6は点計測型の共焦点光学系の検出器の前の
ピンホールの役目を持っており、物体Aに投影された各
微小スポットの焦点位置(収束位置)に物体表面があれ
ば対応するピンホールを多くの反射光が通過するが、物
体Aの表面が焦点位置からはずれると反射光がピンホー
ルを通過する光量は小さくなる。ピンホールアレイ6を
通過した反射光はマイクロレンズアレイ5により各レン
ズから平行ビームとなって射出され、ビームスプリッタ
ー4により偏向せられ、縮小レンズ9によりビーム径が
縮小されて2次元検出器10によりその強度が検出され
る。
【0005】このような構造により共焦点画像全点が同
時並列的に検出されることになる。z軸方向に移動して
焦点位置の異なる複数の共焦点画像を得て、画像各点毎
に強度が最大となる画像を見つければ物体Aの表面形状
が計測できる。
【0006】2次元配列型共焦点光学系は画像全点が同
時露光できることから高速であり、可動部がなく、シャ
ッターを用いることができることから工業用として適し
ている。
【0007】
【発明が解決しようとする課題】この光学系の問題点は
対象物が粗面である場合に発生する。物体Aに投影され
るスポットは基本的に点光源から射出されたコヒーレン
ト性の高い光であり、スポット内で物体表面上に凸凹が
あるとこれらの反射光が結像面であるピンホールアレイ
6付近で干渉を起こしてしまう。つまりスペックルが発
生する。スペックルが発生すると、高さ計測の結果に著
しい悪影響を与えてしまう。スペックルはコヒーレント
性が高い光であるほどコントラスト(以下スペックルコ
ントラストと呼ぶ)が高く、このスペックルコントラス
トが高いほど高さ計測への影響が大きい。
【0008】画像処理により近傍平滑化処理を行ってス
ペックルコントラストを低減することは可能であり、高
さ計測の精度も向上するが、これではXY方向の解像度
が著しく低下してしまう。
【0009】また物体を振動させることで平滑化を行う
ことも可能であるが、高周波振動による物体へのダメー
ジや、物体の重さや大きさによっては高周波振動が不可
能であり2次元配列型共焦点光学系の高速性が失われる
可能性があり、望ましくない。
【0010】そこで本発明は、物体を動かすことなくか
つXY方向の解像度を大きく低下させることなくスペッ
クルコントラストを低減することができる3次元形状
測用光学装置を提供することを目的とする。
【0011】
【課題を解決するための手段】手段の説明に先立ちその
根拠を説明する。スペックルはスポット内での物体表面
の凸凹により発生するから、凸凹がランダムであれば
(粗面は一般的にランダムである)スポットを走査すれ
ば凸凹の状態が変化しスペックルコントラストがランダ
ムに変わる。走査によりランダムに変化するスペックル
コントラストを重畳すれば、平滑化の効果によりスペッ
クルコントラストを低減できる。一般的には走査するこ
とによりスペックルコントラストを重畳すればXY方向
の分解能が低下してしまうが、2次元配列型共焦点光学
系は次のような理由により1画素の範囲内で、つまりX
Y方向の分解能が落ちない範囲内で走査することでスペ
ックルコントラストを低減することが可能である。
【0012】2次元配列型共焦点光学系はスポット(ピ
ンホールアレイの像)を物体に投影するが、図9に示す
ようにスポット径に対してスポットピッチは5から10
倍取る必要がある。これは、あるピンホールに隣接のピ
ンホールのぼけた光が入射しないようにするためであ
る。この条件により2次元配列型共焦点光学系の各点の
画素開口率(スポット面積/1画素分の面積)は非常に
低くなっている。このようにスポット径に対して画素サ
イズが大きいことは1画素内でスポットを走査する程度
の微小な走査であってもスポットに含まれる物体表面が
十分に変化できる、つまりスペックルコントラストの変
化が十分に現れることを意味する。この微小走査を2次
元検出器の露光時間内に実行すれば時間的にスペックル
コントラストの変化が重畳されて平滑化されることにな
る。このように2次元配列型共焦点光学系は1画素分程
度の微小な走査を2次元検出器の露光時間内に行うこと
によりXY方向の分解能を落とすことなくスペックルコ
ントラストを低減することができる。以上のような理屈
を3次元形状計測用光学装置として以下のように構成す
る。
【0013】請求項1の発明では、少なくとも一つの対
物レンズを通して一つ以上の微小なスポットを物体に投
影し、物体からの反射光を同じ対物レンズにより集光
し、集光した反射光を検出し、反射光の合焦情報から物
体の表面位置を計測する光学装置において、反射光検出
器の露光時間内に前記スポットを微小走査させる微小走
査手段を備えたことを特徴とする。
【0014】請求項2では、微小走査手段は、対物レン
ズと物体との間に配設した平行平面と、この平行平面の
光軸に対する角度を変化させる角度変化手段とにより構
成されたことを特徴とする。
【0015】請求項3では、微小走査手段を、対物レン
ズと物体との間に光軸に対して傾けて配設した平行平面
と、この平行平面を回転させる回転手段とにより構成さ
れたことを特徴とする。
【0016】請求項4では、微小走査手段を、対物レン
ズの開口絞り位置に配設した偏向用ミラーと、この偏向
用ミラーの角度を変化させる角度変化手段とにより構成
されたことを特徴とする。
【0017】請求項5では、微小走査手段を、対物レン
ズの開口絞り位置に配設した光束を偏向する偏向プリズ
ムと、この偏向プリズムを回転させる回転手段とにより
構成されたことを特徴とする。
【0018】
【発明の実施の形態】以下、図面を参照して本発明の実
施の形態について説明する。図1に本発明の実施の形態
の第一の例を示す。Sは従来技術で説明した2次元配列
型共焦点光学系である。2次元検出器10として現在最
も一般的なCCDテレビカメラを用いている。対物レン
ズ7と物体Aの間には微小走査手段11が挿入されてい
る。微小走査手段11は平行平面11aと平行平面11
aの角度を変化させる角度変化手段11bより構成され
る。角度変化手段11bはガルバノメーター11b
(1)とコントローラ11b(2)より構成される。コ
ントローラー11b(2)はガルバノメーター11b
(1)をコントロールする部分でありガルバノメーター
11b(1)に対して駆動信号を発生する。また、コン
トローラー11b(2)はガルバノメーター11b
(1)に対する駆動信号に同期して2次元検出器10へ
シャッタータイミング信号も発行する。
【0019】このような構成によりスポットの微小走査
が次のように実現される。ガルバノメーター11b
(1)は平行平面11aの傾きをコントローラ11b
(2)の駆動信号により高速に変化させることができ
る。図2に示すように光路に挿入された平行平面11a
の傾きはスポット全体の平行移動となるから平行平面1
1aの角度を変化させることによりスポット全体の走査
が可能となる。例えば2mm程度の厚さの平行平面11
aを±1度変化させることにより±10μm程度の微小
走査が可能である。ガルバノメーター11b(1)はこ
のような角度変化の制御に適している。コントローラー
11b(2)により2次元検出器10の露光タイミング
に合わせてガルバノメーター11b(1)を駆動するこ
とで2次元検出器10の露光時間内でのスポットの微小
走査が達成できる。
【0020】この例では一次元的な微小走査であるが、
2枚の平行平面11aを用いて2次元的な微小走査も可
能である。また角度変化手段11bは、平行平面11a
の角度が変化できるものであれば必ずしもガルバノメー
ター11b(1)である必要はなく、例えば共振型スキ
ャナーであってもよいし音叉でも良い。また、必ずしも
2次元検出器10の露光タイミングを制御する必要はな
く、制御した方がより精度の高い計測が可能であると考
えられるのでこの例では制御するようになっているにす
ぎない。
【0021】図3に本発明の実施の形態の第二の例を示
す。微小走査手段13の構造以外は第一の例と同じであ
る。この例は、第一の例のように平行平面の角度を変化
させるのではなく、平行平面の傾いている方向を変化さ
せて微小走査を実現する。図4は第二の例の微小走査手
段13を詳細に示している。平行平面13aを回転させ
る回転手段13bはリング型超音波モーター13b
(1)とコントローラー13b(2)とで構成され、リ
ング型超音波モーター13b(1)の中空部分には平行
平面13aが微小角度傾けて取り付けてある。コントロ
ーラー13b(2)は第一の例と同じようにリング型超
音波モーター13b(1)の駆動信号と2次元検出器へ
の露光タイミング信号を出力する。リング型超音波モー
ター13b(1)の回転軸と対物レンズ7の光軸を一致
させてリング型超音波モーター13b(1)を回転させ
るとそれに伴って平行平面13aが回転し、平行平面1
3aの傾いている方向が変わることになる。平行平面1
3aの傾きは第一の例で述べたようにスポット全体の平
行移動の効果があるから、傾きの方向が変わると平行移
動の方向が変わることになり、リング型超音波モーター
13b(1)の回転によってスポットの円形走査が行わ
れることになる。
【0022】もちろん回転手段11bのモーターはリン
グ型超音波モーター13b(1)である必要はなく、一
般的な中心軸を持つモーターでギアやベルトなどを用い
て平行平面13aを回転させても良い。また、図5のよ
うに大きい平行平面の円周部を対物レンズ7の光路に挿
入するような形でも同様な効果が得られる。
【0023】図6に本発明の実施の形態の第三の例を示
す。2次元配列型共焦点光学系は第一、第二の例のもの
と基本的に同じであるが対物レンズ7の光路が絞りの位
置で90度折れ曲がっている点が異なる。絞りの位置に
は偏向用ミラー14aと偏向用ミラー14aの角度を変
化させる角度変化手段14bが取り付けられており、偏
向用ミラー14aは光軸に対して45度の角度となって
いる。角度変化手段14bの構成は第一の例と同じくガ
ルバノメーター14b(1)とコントローラー14b
(2)よりなり、コントローラー14b(2)の役割は
第一の例と同じである。偏向用ミラー14aの角度が変
わると全主光線の方向が変わることになるから結果的に
スポット全体が平行移動することになる。つまり角度変
化手段14bにより偏向用ミラー14aの角度を振るこ
とにより走査が可能となる。この走査機構は一般的なレ
ーザー走査顕微鏡の走査機構と同じである。ただ異なる
のはレーザー走査の場合は1つのスポットを走査するの
に対し、本例は全スポットを同時に走査することにな
る。
【0024】図7に本発明の実施の形態の第四の例を示
す。2次元配列型共焦点光学系は第一、第二の例のもの
と基本的に同じである。対物レンズ7の絞りの位置には
微小走査手段15が配置されている。微小走査手段15
は、図8に示すように偏向プリズム15aと偏向プリズ
ム15aの回転手段15bよりなり、偏向プリズム15
aはくさび形の形状でリング型超音波モーター15b
(1)の中空部に取り付けられている。コントローラー
15b(2)の役割は第二の例と同じである。偏向プリ
ズム15bは主光線を含む全ての光線の方向を変えるか
ら、第三の例のミラーが傾いているのと同じようにスポ
ット全体が平行移動する。回転手段15bにより偏向プ
リズム15bを回転させると平行移動する方向が変化す
るから円形の走査がなされることになる。
【0025】以上の例は2次元配列型共焦点光学系を対
象としたものであるが、当然のことながら1次元配列型
共焦点光学系であっても点計測型共焦点光学系であって
もよい。基本的に対物レンズを通して微小なスポットを
物体に投影し、同じ対物レンズを通して反射光を集光し
て焦点ずれやぼけ量を評価するタイプの計測光学系は、
たとえ照明光がレーザー光でなくても(白色光であって
も)そのスポット内の物体表面に凸凹があればスペック
ルの問題は発生すると考えられる。本発明はこのような
計測光学系すべてに対して適用できる。
【0026】
【発明の効果】本発明によれば、モーターやガルバノメ
ーターのような高速動作が可能なアクチュエーターを用
いて1画素程度の微小距離の走査を検出器の露光時間内
に行うため計測光学系の高速性や、XY方向の解像度を
ほとんど落とすことなく粗面の物体に対するスペックル
コントラストを低減することが可能であり、高速、高精
度な3次元形状計測が実現できる。
【図面の簡単な説明】
【図1】本発明の実施の形態の第一の例を示した図であ
る。
【図2】本発明の実施の形態の第一の例の微小走査手段
を説明するための図である。
【図3】本発明の実施の形態の第二の例を示した図であ
る。
【図4】本発明の実施の形態の第二の例の微小走査手段
を説明するための図である。
【図5】本発明の実施の形態の第二の例の微小走査手段
の他の実現方法を説明するための図である。
【図6】本発明の実施の形態の第三の例を示した図であ
る。
【図7】本発明の実施の形態の第四の例を示した図であ
る。
【図8】本発明の実施の形態の第四の例の微小走査手段
を説明するための図である。
【図9】ピンホール径とピンホールピッチの関係を説明
するための図である。
【図10】本発明の従来技術を説明するための図であ
る。
【図11】共焦点光学系を説明するための図である。
【符号の説明】 A 物体 1 光源部 2 照明ピンホール 3 コリメーターレンズ 4 偏光ビームスプリッター 5 マイクロレンズアレイ 6 ピンホールアレイ 7 対物レンズ 8 絞り 9 縮小レンズ 10 2次元検出器 11 微小走査手段 13 微小走査手段 14 微小走査手段 15 微小走査手段

Claims (5)

    (57)【特許請求の範囲】
  1. 【請求項1】 少なくとも一つの対物レンズを通して一
    つ以上の微小なスポットを物体に投影し、物体からの反
    射光を同じ対物レンズにより集光し、集光した反射光を
    検出し、反射光の合焦情報から物体の表面位置を計測す
    る光学装置において、反射光検出器の露光時間内に前記
    スポットを微小走査させる微小走査手段を備えたことを
    特徴とする3次元形状計測用光学装置。
  2. 【請求項2】 微小走査手段は、対物レンズと物体との
    間に配設した平行平面と、この平行平面の光軸に対する
    角度を変化させる角度変化手段とにより構成されたこと
    を特徴とする請求項1記載の3次元形状計測用光学装
    置。
  3. 【請求項3】 微小走査手段は、対物レンズと物体との
    間に光軸に対して傾けて配設した平行平面と、この平行
    平面を回転させる回転手段とにより構成されたことを特
    徴とする請求項1記載の3次元形状計測用光学装置。
  4. 【請求項4】 微小走査手段は、対物レンズの開口絞り
    位置に配設した偏向用ミラーと、この偏向用ミラーの角
    度を変化させる角度変化手段とにより構成されたことを
    特徴とする請求項1記載の3次元形状計測用光学装置。
  5. 【請求項5】 微小走査手段は、対物レンズの開口絞り
    位置に配設した光束を偏向する偏向プリズムと、この偏
    向プリズムを回転させる回転手段とにより構成されたこ
    とを特徴とする請求項1記載の3次元形状計測用光学装
    置。
JP05548597A 1997-02-25 1997-02-25 3次元形状計測用光学装置 Expired - Fee Related JP3509088B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP05548597A JP3509088B2 (ja) 1997-02-25 1997-02-25 3次元形状計測用光学装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP05548597A JP3509088B2 (ja) 1997-02-25 1997-02-25 3次元形状計測用光学装置

Publications (2)

Publication Number Publication Date
JPH10239036A JPH10239036A (ja) 1998-09-11
JP3509088B2 true JP3509088B2 (ja) 2004-03-22

Family

ID=12999935

Family Applications (1)

Application Number Title Priority Date Filing Date
JP05548597A Expired - Fee Related JP3509088B2 (ja) 1997-02-25 1997-02-25 3次元形状計測用光学装置

Country Status (1)

Country Link
JP (1) JP3509088B2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2762828A1 (en) 2013-02-05 2014-08-06 Canon Kabushiki Kaisha Measurement apparatus and method of manufacturing article

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3440465B2 (ja) * 1998-12-17 2003-08-25 株式会社高岳製作所 マルチスリット走査撮像装置
JP4060494B2 (ja) * 1999-08-30 2008-03-12 アンリツ株式会社 三次元表面形状測定装置
US20030025918A1 (en) * 2001-07-16 2003-02-06 August Technology Corp. Confocal 3D inspection system and process
US7030383B2 (en) 2003-08-04 2006-04-18 Cadent Ltd. Speckle reduction method and apparatus
JP2006106378A (ja) * 2004-10-06 2006-04-20 Yokogawa Electric Corp 共焦点顕微鏡
JP4788968B2 (ja) * 2006-12-11 2011-10-05 株式会社高岳製作所 焦点面傾斜型共焦点表面形状計測装置
JP4970211B2 (ja) * 2007-10-18 2012-07-04 ヘキサゴン・メトロジー株式会社 3次元形状測定器
DE102011054914A1 (de) * 2011-10-28 2013-05-02 Leica Microsystems Cms Gmbh Verfahren und Anordnung zur Beleuchtung einer Probe
JP5955574B2 (ja) * 2012-02-03 2016-07-20 株式会社東光高岳 立体形状計測装置
JP2014010216A (ja) * 2012-06-28 2014-01-20 Lithotech Co Ltd 多焦点共焦点顕微鏡
CN107991766A (zh) * 2016-10-26 2018-05-04 中国科学技术大学 一种具有三维成像能力的显微镜和成像方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2762828A1 (en) 2013-02-05 2014-08-06 Canon Kabushiki Kaisha Measurement apparatus and method of manufacturing article

Also Published As

Publication number Publication date
JPH10239036A (ja) 1998-09-11

Similar Documents

Publication Publication Date Title
JP3440465B2 (ja) マルチスリット走査撮像装置
US8610902B2 (en) Apparatus and method for inspecting an object with increased depth of field
US7030383B2 (en) Speckle reduction method and apparatus
US6825454B2 (en) Automatic focusing device for an optical appliance
KR102086992B1 (ko) 핀홀 어레이를 사용하는 물체의 공초점형 이미징
JP3509088B2 (ja) 3次元形状計測用光学装置
JP2000275027A (ja) スリット共焦点顕微鏡とそれを用いた表面形状計測装置
JP2510786B2 (ja) 物体の形状検出方法及びその装置
JP2008051576A (ja) 形状測定装置および形状測定方法
JPH1068616A (ja) 形状計測装置
JP4787012B2 (ja) 断面形状測定装置及び断面形状測定方法
JP2001318302A (ja) 焦点検出装置及び自動焦点顕微鏡
JP4788968B2 (ja) 焦点面傾斜型共焦点表面形状計測装置
JP2000509825A (ja) 光走査デバイス
JP3048895B2 (ja) 近接露光に適用される位置検出方法
JPH09230250A (ja) 光学顕微鏡自動合焦点装置
KR20190063027A (ko) 라인 스캐닝 방식의 공초점 현미경에서의 자동초점조절 방법 및 장치
JPH10197336A (ja) レーザビーム計測装置
JPH09269278A (ja) レンズ性能測定方法及び測定装置
JP2001235313A (ja) 三次元形状測定装置
JPH10242037A (ja) 斜光軸光学系を用いた位置検出装置及び方法
JP2000046535A (ja) 角度測定装置
JP2002005853A (ja) レンズ検査装置
JP2001227923A (ja) 輪郭形状測定方法及び輪郭形状測定装置
JP2001091211A (ja) 高さ測定装置

Legal Events

Date Code Title Description
A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20031221

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080109

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090109

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090109

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100109

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110109

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110109

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120109

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130109

Year of fee payment: 9

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

LAPS Cancellation because of no payment of annual fees