JP4183219B2 - フーリエ変換を用いた縞解析方法 - Google Patents
フーリエ変換を用いた縞解析方法 Download PDFInfo
- Publication number
- JP4183219B2 JP4183219B2 JP36324199A JP36324199A JP4183219B2 JP 4183219 B2 JP4183219 B2 JP 4183219B2 JP 36324199 A JP36324199 A JP 36324199A JP 36324199 A JP36324199 A JP 36324199A JP 4183219 B2 JP4183219 B2 JP 4183219B2
- Authority
- JP
- Japan
- Prior art keywords
- coordinate system
- fringe
- image data
- fourier transform
- analysis method
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/002—Measuring arrangements characterised by the use of optical techniques for measuring two or more coordinates
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
- G01B11/2441—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures using interferometry
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Instruments For Measurement Of Length By Optical Means (AREA)
- Length Measuring Devices By Optical Means (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、フーリエ変換を用いた縞解析方法に関し、特に、干渉縞等の閉じた縞パターンを有する画像データを解析する際にもフーリエ変換法を有効に用いることができる縞解析方法に関するものである。
【０００２】
【従来の技術】
従来より、物体表面の精密測定に関する重要な手段として光波干渉法が知られているが、近年1/10波長以下の面精度や波面収差を計測することの必要性から１干渉縞（１フリンジ）以下の情報を読み取る干渉計測法（サブフリンジ干渉計測法）の開発が急務である。
【０００３】
このようなサブフリンジ干渉計測法として、例えば、「光学」第１３巻第１号（１９８４年２月）第５５頁〜第６５頁の「サブフリンジ干渉計測基礎論」に記載されている如くフーリエ変換法を用いた技術が注目されている。
【０００４】
【発明が解決しようとする課題】
しかしながら、原理的に優れているフーリエ変換法もいくつかの問題が未解決のままであり、必ずしも有効に実用化されてはいなかった。
【０００５】
このような問題の１つとして、閉じた干渉縞パターンに対してフーリエ変換法をどのように適応していくかという問題がある。
【０００６】
すなわち、被観察体形状が球面あるいは放物面に近い形状を有する場合には、干渉縞は閉じた同心円形状の如き形状のパターンを呈することとなるが、このような閉じた干渉縞に対してフーリエ変換法を用いた場合、フーリエ・スペクトル中で、低周波信号成分とキャリア周波数成分（フーリエ変換法においては被観察面と基準面を相対的に傾けるためキャリア周波数成分が重畳されている）を確実に分離することが困難であることから、被観察体の表面形状を解析することが困難であった。
【０００７】
本発明は、上記事情に鑑みてなされたものであり、閉じた縞画像データに対してフーリエ変換法を用いて縞解析を行う場合に、フーリエ・スペクトル中において、低周波信号成分とキャリア周波数成分を確実に分離することが可能なフーリエ変換を用いた縞解析方法を提供することを目的とする。
【０００８】
【課題を解決するための手段】
本発明のフーリエ変換を用いた縞解析方法は、直交座標系で表された被観察体の縞画像データを、異なる座標系で表される縞画像データに変換し、この変換データにフーリエ変換を施して該被観察体の該異なる座標系におけるパターンを得、この後、該異なる座標系におけるパターンを直交座標系におけるパターンに変換するフーリエ変換を用いた縞解析方法であって、
前記異なる座標系が極座標系であり、
前記直交座標系で表された縞画像データが閉じた縞パターンからなり、前記極座標系の原点位置を最も内側の閉じた縞パターンの範囲内に設定することを特徴とするものである。
【００１０】
前記原点位置が前記縞パターンの範囲内における中心近傍であることが好ましい。
また、本発明のフーリエ変換を用いた縞解析方法は、前記直交座標系で表された、位相情報を担持した縞画像データに、キャリア縞が重畳されているものに適用することが特に効果的である。
【００１１】
特に、前記縞画像データが干渉縞画像データであり、該干渉縞画像データには、該被観察体の表面と基準面とを相対的に傾けたことによるキャリア縞が重畳されている場合に有効であり、さらに上記縞画像データが、モアレ縞や他の縞画像データであっても、それなりの効果を奏することができる。
【００１２】
また、前記極座標系で表される縞画像データのデータ無効領域を間挿法等により補間し、この後前記フーリエ変換を施すことが好ましい。
また、前記極座標系で表される縞画像データに対し、所定の窓関数を乗算することが好ましい。
【００１３】
さらに、前記直交座標系で表された縞画像データを複数のデータ領域に分割し、分割された各々の領域を極座標系で表される縞画像データに変換し、フーリエ変換を施して該被観察体の極座標系における各々の領域の表面形状を得、この後、極座標系で表されるこれら複数領域の表面形状を合成することが好ましい。
【００１４】
【発明の実施の形態】
以下、本発明の実施形態方法を図面を用いて詳細に説明する。
【００１５】
この方法は、閉じた干渉縞画像データに対しフーリエ変換法を用いて被観察体表面形状を解析する場合に、直交座標系で表された原画像データを一旦極座標系で表される干渉縞画像データに変換し、この変換データにフーリエ変換を施し、さらに逆極座標変換により直交座標系に戻すようにして、被観察体の表面形状を解析するようにしたもので、フーリエ・スペクトル中における、低周波信号成分とキャリア周波数成分の混在信号の中から低周波信号成分を確実に分離することを可能としたものである。
【００１６】
すなわち、図２に示すような球面形状の被観察体を干渉計で測定し、図３に示すような干渉縞が得られた場合について検討する。
【００１７】
図３から分かるように、このような球面状の被観察体では干渉縞がリング状に閉じている。これは、被観察体が例えば放物面に近似した形状であっても同様である。このような干渉縞をフーリエ変換を用いて解析すると、図４に示す如きフーリエ・スペクトルが得られる。図４から明らかなように、このフーリエ・スペクトルにもリング状のパターンが点在しており、通常のフーリエ変換縞解析手法によっては、位相情報を担持した低周波信号成分とキャリア周波数成分を確実に分離することは原理的に困難である。
【００１８】
したがって、通常のフーリエ変換縞解析手法により解析すると図５に示すような形状が得られてしまう。このようにして得られた結果は、この図５から明らかなように、被観察体の原形状とは全く異なった形状のものとなってしまう。
【００１９】
そこで、本実施形態方法においては、例えば同心円パターンを表す最も有効な座標系が極座標系であることに着目し、平面直角座標系（ｘ、ｙ）で表されている干渉縞画像データを一旦平面極座標系（ｒ、θ）に変換する（図６、７参照）ようにしている。
【００２０】
なお、周知の如く、平面直角座標系（ｘ、ｙ）と平面極座標系（ｒ、θ）の間には次の関係がある。
ｘ＝r・cosθ，ｙ＝ｒ・sinθ …（１）
ここで、本実施形態方法の前提となるフーリエ変換法について説明する。
【００２１】
図１２に示すように、例えばマイケルソン型干渉計１によりサブフリンジオーダーの被観察体表面２の形状測定を行う場合には、基準面３となる平面鏡を若干量傾けて微小角θのティルトを与えるものである。この場合に、基準面３を傾ける代わりに被観察体表面２を傾けることも可能ではあるが、基準面３を傾けることがより好ましい。
【００２２】
この場合に、干渉縞が形成される被観察体表面に係る干渉縞の強度分布ｇ（ｘ,ｙ）は、
ｇ（ｘ，ｙ）＝ａ（ｘ，ｙ）＋ｂ（ｘ，ｙ）cos［２πｆ０ｘ＋φ（ｘ，ｙ）］…（２）
となり、空間周波数ｆ０=２tanθ/λのキャリア信号である細かい縦縞φ（ｘ，ｙ）により空間的に位相変調されたものになる。ここで、ａ（ｘ，ｙ）は干渉する２光波の強度和からなる項で干渉縞のバックグラウンドの強度分布を表し、ｂ（ｘ，ｙ）は干渉する２光波の振幅の積からなる項で干渉縞の明暗変化の振幅を表す。
【００２３】
上述した、求めたい位相成分である低周波信号φ（ｘ，ｙ）と不要な信号ａ（ｘ，ｙ），ｂ（ｘ，ｙ）は共に、ティルトにより導入されたキャリア信号と同様の空間的な信号である。
【００２４】
上記(２)式は、下記(３)式に変換される。
ｇ（ｘ，ｙ）＝ａ（ｘ，ｙ）＋ｃ（ｘ，ｙ）exp（２πｊｆ０ｘ）＋ｃ＊（ｘ，ｙ）exp（-２πｊｆ０ｘ） …（３）
ここで、
ｃ（ｘ，ｙ）＝(１/２)ｂ（ｘ，ｙ）exp[ｊφ（ｘ，ｙ）]
であり、＊は複素共役を表す。
【００２５】
上記（３）式の強度分布をｙを固定し、変数ｘのみについて１次元フーリエ変換し、変数ｘに関する空間周波数スペクトルＧ（ｆ，ｙ）を計算すると、下記（４）式のようになる。
【００２６】
【数１】
【００２７】
ここで大文字は変数ｘに関する空間周波数スペクトルを表す。
【００２８】
キャリア空間周波数ｆ０による変化の速さに比べて、ａ（ｘ,ｙ）やｂ（ｘ,ｙ）の変化は極めて穏やかであり、また、サブフリンジオーダーの被観察体表面においてはφ（ｘ,ｙ）の変化も穏やかである。
したがって、上記（４）式の３つのスペクトルはキャリア周波数ｆ０により完全に分離される。
【００２９】
ここに、正のキャリア周波数ｆ０に重畳されている信号のスペクトルＣ（ｆ−ｆ０,ｙ）のみを取り出し、それをｆ０だけ原点方向にシフトさせてＣ（ｆ,ｙ）を得る。この空間周波数フィルタリングにより一方の不要信号ａ（ｘ,ｙ）が除かれ、また、スペクトルを原点方向にシフトさせることによりキャリア周波数、すなわちティルトが除かれることとなる。
【００３０】
このようにして得られたＣ（ｆ，ｙ）をｆの変数として１次元フーリエ逆変換することにより上記（３）式におけるｃ（ｘ，ｙ）が求められる。
【００３１】
この後、複素対数で表わされる下記（５）式を計算することで、虚部を実部の不要項から完全に分離して位相φ（ｘ，ｙ）を求めることができる。
log［ｃ（ｘ，ｙ）］＝log［（１／２）ｂ（ｘ，ｙ）］+ｊφ（ｘ、ｙ）…（５）
【００３２】
以下、本実施形態を図１に示すフローチャートを用いて説明する。
図１２に示すようなマイケルソン型干渉計１において、被観察体表面２（球面とされている）と基準面３からの両反射光束によって形成される干渉縞（図３に示される如き閉じた縞パターン）はＣＣＤ４により撮像され、画像入力基板５を介してモニタ画面６上に表示される。なお、ＣＣＤ４から出力される干渉縞画像データは図示されないＣＰＵの処理によりメモリ内に格納されるようになっている。
【００３３】
ここで、モニタ画面６を観察しつつ、干渉縞の中心が画面中央に位置するように被観察体の位置を調整する（Ｓ１）。
【００３４】
次に、ＣＣＤ４上に形成された干渉縞像を光電変換により取り込み、そのデータを上記メモリに格納する（Ｓ２）。
【００３５】
次に、メモリに格納した縞画像データにおいて、閉じた縞の中心を原点とし（Ｓ３）、極座標系の縞画像データに変換する（Ｓ４）。このようにして得られた極座標系の縞画像データは図８に示す如く平行な縞パターンとなり、閉じた縞パターンとはなっていない。このことは、バウムクーヘンの側部に切り込みを入れ、ここからその円筒を開くようにして年輪が略平行線となるまで変形した様子を思い浮かべると概念的に理解しやすいと考えられる。
【００３６】
ただし、この座標変換は線形変換ではないので、直交座標系においてフーリエ変換に適した正方形データを極座標系に変換した場合、その一部端部において、図８に示す如き、有効データがない領域（無効データ領域）が生じることになる。無効データ領域は解析誤差を生ぜしめるので、この領域を無視するようにしてもよいが、その領域を有効に利用する場合には疑似データを用い、周知の外挿法によりこの無効データ領域をデータ補間する（Ｓ５、Ｓ６）。図９は、このようにして無効データ領域を疑似データで補間して得られた干渉縞画像を示すものである。
【００３７】
なお、離散フーリエ変換（ＤＦＴ）により上記変換を行う場合には整数しか使用しないので、離散の直行座標で表した干渉縞を離散の極座標で表示する際に、疑似データを用い、周知の内挿法によりデータ補間する必要がある。
【００３８】
次に、必要であれば、上記ステップ５、６（Ｓ５、Ｓ６）の処理により得られた画像データに対して所定の窓関数を乗算する（Ｓ７、Ｓ８）。
これは、干渉縞のキャリア周波数が整数でない場合は、被観察体の解析画像の辺縁部で誤差が大きいことから、周知の窓関数（例えば、画像データの辺縁部を排除する領域を与える窓関数）を乗じることによって、解析誤差を低減することができる。
【００３９】
なお、直交座標系の干渉縞画像データを極座標系に変換した場合のθ方向が０〜２πまで変化することから、これは丁度三角関数の一周期に相当する。したがって、θ方向で窓関数を乗じる必要はない。一方、ｒ方向ではキャリア周波数が一般的に整数とはならないので、窓関数を乗じて解析誤差を低減することが望ましい。
【００４０】
この後、上記極座標系に変換された干渉縞画像データについて、前述した周知のフーリエ変換処理を行う（Ｓ９）。このようにして得られたフーリエスペクトルは、開いた干渉縞から得られたものであるから、低周波信号成分とキャリア周波数成分を確実に分離でき、これにより、図１０に示す如き干渉縞解析による極座標形状が得られる（Ｓ１０）。
【００４１】
次に、ステップ１０において得られた極座標形状を逆極座標変換処理により直交座標系に変換し（Ｓ１１）、上記ステップ６においてデータ補間していれば、この補間した無効データ領域を除去する（Ｓ１２）ことで、被観察体の表面形状（球面波形状）を得る（Ｓ１３）。
【００４２】
図１１は、元の球面波形状の断面と、本実施形態方法で求めた被観察体の表面形状（球面波形状）の断面を比較するための２つの曲線（任意単位）、およびその誤差量（％）を表している。なお、横軸は位置（ＣＣＤ画素数）を表す。
【００４３】
図１１から明らかなように、上記誤差は被測定球面波の約０．３％程度以下である。
【００４４】
また、このような誤差をさらに減少させたい場合には、直交座標系の干渉縞画像データを、θ＝０〜πとθ＝π〜２πの２つの領域に分割し、各領域毎に極座標系への変換を行う。そして極座標系に変換された上記２つの領域の干渉縞画像をｒ＝０の位置で合成する。両領域の干渉縞画像データは、極座標系に変換された後もｒ＝０の位置で干渉縞強度が等しくなるので、合成した干渉縞画像は連続的となる。
【００４５】
干渉縞データの領域分割手法は、上記２分割に限られるものではなく、その他の任意の数の小領域に分割することが可能である。例えば、直交座標系の閉じた干渉縞画像データを、θ＝０〜π/２、θ＝π/２〜π、θ＝π〜３π/２、θ＝３π/２〜２πの４つの領域に分割し、各領域毎に極座標系への変換を行うようにしてもよい。また、縞の中心が複数存在する場合のように、一干渉縞画像上に複数のパターンが存在する場合には、各パターン毎に領域を分けるようにし、それぞれの領域毎に上記変換を行うようにすることが好ましい。
【００４６】
この場合には、θ方向は三角関数の一周期とはならないので、θ方向にも窓関数を乗じる必要がある。しかし、窓関数を乗じても、求められた形状の辺縁部での誤差が大きいために合成する際に誤差の影響が残る。そこで、被解析干渉縞を分割する際に、各領域が重なり合う部分を有するようにし、合成する際には誤差の大きい各領域辺縁部を除去することが望ましい。
【００４７】
なお、本発明のフーリエ変換を用いた縞解析方法は上記実施形態のものに限られるものではなく、その他の種々の態様の変更が可能である。
また、上記実施形態のものにおいては、干渉縞画像をマイケルソン型干渉計を用いて撮像しているが、フィゾー型等のその他の干渉計を用いて得られた干渉縞画像データに対しても同様に適用できることは勿論である。
【００４８】
さらに、本発明方法は、干渉縞のみならずモアレ縞やスペックル縞、その他の種々の縞画像に対しても同様に適用可能である。
また、本発明方法は、閉じた縞の部分解析に適用することもできる。
なお、上記実施形態においては一次元フーリエ変換を用いる場合について説明しているが、二次元フーリエ変換を用いるようにすることも可能である。
【００４９】
さらに、上記実施形態においては、被観察体が球面あるいは放物面に類似した形状とされている場合について説明しているが、その他の、閉じた縞パターンが生成されるような面を被観察体とすることが可能である。
また、上記実施形態においては、直交座標系と異なる座標系として極座標系を用いているが、本発明方法としては、この直交座標系と異なる座標系として対数座標系、指数座標系、あるいはその他の線形、非線形に係る種々の座標系を用いることが可能である。
【００５０】
【発明の効果】
本発明の、フーリエ変換を用いた縞解析方法によれば、直交座標系で表された被観察体の縞画像データを、極座標系で表される縞画像データに変換し、この変換データにフーリエ変換を施して極座標系で形状解析を行い、最後に、この解析データを直交座標系に変換して、被観察体の表面形状を得るようにしている。
【００５１】
すなわち、直交座標系で表された縞画像データが閉じた縞パターン形状をなしていても、このデータを極座標系に変換した場合には開いた縞パターン形状とすることができるから、その後のフーリエ変換により低周波信号成分とキャリア周波数成分を確実に分離でき、この後、キャリア周波数成分を除去して得られた形状データを直交座標系に戻すことにより、被観察体の形状を良好に得ることができる。
【図面の簡単な説明】
【図１】本発明の実施形態を説明するためのフローチャート
【図２】被観察体の形状（球面波形状）を表す概略図
【図３】図２に示す被観察体から得られた閉じた干渉縞を表す図
【図４】図３に示す干渉縞の画像データをそのままフーリエ変換したときのフーリエ・スペクトルを表す図
【図５】図４に示すフーリエ・スペクトルから求められた被観察体の形状を表す図
【図６】直角座標系における画像データの座標を表す図
【図７】極座標系における画像データの座標を表す図
【図８】図３に示す閉じた干渉縞を極座標変換して得られた開いた干渉縞を表す図
【図９】図８の干渉縞の無効データ領域にデータ補間して得られた干渉縞を表す図
【図１０】図９に示す干渉縞の画像データをフーリエ変換して得られた、極座標系での被観察体形状を表す図
【図１１】元の球面波形状の断面を表す曲線、本発明の実施形態方法で求めた被観察体の表面形状（球面波形状）の断面を表す曲線、およびその誤差を表す図
【図１２】本発明方法を実施するためのシステムの一例を示す概略図
【符号の説明】
１ マイケルソン型干渉計
２ 被観察体表面
３ 基準面
４ ＣＣＤ
５ 画像入力基板
６ モニタ画面
【発明の属する技術分野】
本発明は、フーリエ変換を用いた縞解析方法に関し、特に、干渉縞等の閉じた縞パターンを有する画像データを解析する際にもフーリエ変換法を有効に用いることができる縞解析方法に関するものである。
【０００２】
【従来の技術】
従来より、物体表面の精密測定に関する重要な手段として光波干渉法が知られているが、近年1/10波長以下の面精度や波面収差を計測することの必要性から１干渉縞（１フリンジ）以下の情報を読み取る干渉計測法（サブフリンジ干渉計測法）の開発が急務である。
【０００３】
このようなサブフリンジ干渉計測法として、例えば、「光学」第１３巻第１号（１９８４年２月）第５５頁〜第６５頁の「サブフリンジ干渉計測基礎論」に記載されている如くフーリエ変換法を用いた技術が注目されている。
【０００４】
【発明が解決しようとする課題】
しかしながら、原理的に優れているフーリエ変換法もいくつかの問題が未解決のままであり、必ずしも有効に実用化されてはいなかった。
【０００５】
このような問題の１つとして、閉じた干渉縞パターンに対してフーリエ変換法をどのように適応していくかという問題がある。
【０００６】
すなわち、被観察体形状が球面あるいは放物面に近い形状を有する場合には、干渉縞は閉じた同心円形状の如き形状のパターンを呈することとなるが、このような閉じた干渉縞に対してフーリエ変換法を用いた場合、フーリエ・スペクトル中で、低周波信号成分とキャリア周波数成分（フーリエ変換法においては被観察面と基準面を相対的に傾けるためキャリア周波数成分が重畳されている）を確実に分離することが困難であることから、被観察体の表面形状を解析することが困難であった。
【０００７】
本発明は、上記事情に鑑みてなされたものであり、閉じた縞画像データに対してフーリエ変換法を用いて縞解析を行う場合に、フーリエ・スペクトル中において、低周波信号成分とキャリア周波数成分を確実に分離することが可能なフーリエ変換を用いた縞解析方法を提供することを目的とする。
【０００８】
【課題を解決するための手段】
本発明のフーリエ変換を用いた縞解析方法は、直交座標系で表された被観察体の縞画像データを、異なる座標系で表される縞画像データに変換し、この変換データにフーリエ変換を施して該被観察体の該異なる座標系におけるパターンを得、この後、該異なる座標系におけるパターンを直交座標系におけるパターンに変換するフーリエ変換を用いた縞解析方法であって、
前記異なる座標系が極座標系であり、
前記直交座標系で表された縞画像データが閉じた縞パターンからなり、前記極座標系の原点位置を最も内側の閉じた縞パターンの範囲内に設定することを特徴とするものである。
【００１０】
前記原点位置が前記縞パターンの範囲内における中心近傍であることが好ましい。
また、本発明のフーリエ変換を用いた縞解析方法は、前記直交座標系で表された、位相情報を担持した縞画像データに、キャリア縞が重畳されているものに適用することが特に効果的である。
【００１１】
特に、前記縞画像データが干渉縞画像データであり、該干渉縞画像データには、該被観察体の表面と基準面とを相対的に傾けたことによるキャリア縞が重畳されている場合に有効であり、さらに上記縞画像データが、モアレ縞や他の縞画像データであっても、それなりの効果を奏することができる。
【００１２】
また、前記極座標系で表される縞画像データのデータ無効領域を間挿法等により補間し、この後前記フーリエ変換を施すことが好ましい。
また、前記極座標系で表される縞画像データに対し、所定の窓関数を乗算することが好ましい。
【００１３】
さらに、前記直交座標系で表された縞画像データを複数のデータ領域に分割し、分割された各々の領域を極座標系で表される縞画像データに変換し、フーリエ変換を施して該被観察体の極座標系における各々の領域の表面形状を得、この後、極座標系で表されるこれら複数領域の表面形状を合成することが好ましい。
【００１４】
【発明の実施の形態】
以下、本発明の実施形態方法を図面を用いて詳細に説明する。
【００１５】
この方法は、閉じた干渉縞画像データに対しフーリエ変換法を用いて被観察体表面形状を解析する場合に、直交座標系で表された原画像データを一旦極座標系で表される干渉縞画像データに変換し、この変換データにフーリエ変換を施し、さらに逆極座標変換により直交座標系に戻すようにして、被観察体の表面形状を解析するようにしたもので、フーリエ・スペクトル中における、低周波信号成分とキャリア周波数成分の混在信号の中から低周波信号成分を確実に分離することを可能としたものである。
【００１６】
すなわち、図２に示すような球面形状の被観察体を干渉計で測定し、図３に示すような干渉縞が得られた場合について検討する。
【００１７】
図３から分かるように、このような球面状の被観察体では干渉縞がリング状に閉じている。これは、被観察体が例えば放物面に近似した形状であっても同様である。このような干渉縞をフーリエ変換を用いて解析すると、図４に示す如きフーリエ・スペクトルが得られる。図４から明らかなように、このフーリエ・スペクトルにもリング状のパターンが点在しており、通常のフーリエ変換縞解析手法によっては、位相情報を担持した低周波信号成分とキャリア周波数成分を確実に分離することは原理的に困難である。
【００１８】
したがって、通常のフーリエ変換縞解析手法により解析すると図５に示すような形状が得られてしまう。このようにして得られた結果は、この図５から明らかなように、被観察体の原形状とは全く異なった形状のものとなってしまう。
【００１９】
そこで、本実施形態方法においては、例えば同心円パターンを表す最も有効な座標系が極座標系であることに着目し、平面直角座標系（ｘ、ｙ）で表されている干渉縞画像データを一旦平面極座標系（ｒ、θ）に変換する（図６、７参照）ようにしている。
【００２０】
なお、周知の如く、平面直角座標系（ｘ、ｙ）と平面極座標系（ｒ、θ）の間には次の関係がある。
ｘ＝r・cosθ，ｙ＝ｒ・sinθ …（１）
ここで、本実施形態方法の前提となるフーリエ変換法について説明する。
【００２１】
図１２に示すように、例えばマイケルソン型干渉計１によりサブフリンジオーダーの被観察体表面２の形状測定を行う場合には、基準面３となる平面鏡を若干量傾けて微小角θのティルトを与えるものである。この場合に、基準面３を傾ける代わりに被観察体表面２を傾けることも可能ではあるが、基準面３を傾けることがより好ましい。
【００２２】
この場合に、干渉縞が形成される被観察体表面に係る干渉縞の強度分布ｇ（ｘ,ｙ）は、
ｇ（ｘ，ｙ）＝ａ（ｘ，ｙ）＋ｂ（ｘ，ｙ）cos［２πｆ０ｘ＋φ（ｘ，ｙ）］…（２）
となり、空間周波数ｆ０=２tanθ/λのキャリア信号である細かい縦縞φ（ｘ，ｙ）により空間的に位相変調されたものになる。ここで、ａ（ｘ，ｙ）は干渉する２光波の強度和からなる項で干渉縞のバックグラウンドの強度分布を表し、ｂ（ｘ，ｙ）は干渉する２光波の振幅の積からなる項で干渉縞の明暗変化の振幅を表す。
【００２３】
上述した、求めたい位相成分である低周波信号φ（ｘ，ｙ）と不要な信号ａ（ｘ，ｙ），ｂ（ｘ，ｙ）は共に、ティルトにより導入されたキャリア信号と同様の空間的な信号である。
【００２４】
上記(２)式は、下記(３)式に変換される。
ｇ（ｘ，ｙ）＝ａ（ｘ，ｙ）＋ｃ（ｘ，ｙ）exp（２πｊｆ０ｘ）＋ｃ＊（ｘ，ｙ）exp（-２πｊｆ０ｘ） …（３）
ここで、
ｃ（ｘ，ｙ）＝(１/２)ｂ（ｘ，ｙ）exp[ｊφ（ｘ，ｙ）]
であり、＊は複素共役を表す。
【００２５】
上記（３）式の強度分布をｙを固定し、変数ｘのみについて１次元フーリエ変換し、変数ｘに関する空間周波数スペクトルＧ（ｆ，ｙ）を計算すると、下記（４）式のようになる。
【００２６】
【数１】
ここで大文字は変数ｘに関する空間周波数スペクトルを表す。
【００２８】
キャリア空間周波数ｆ０による変化の速さに比べて、ａ（ｘ,ｙ）やｂ（ｘ,ｙ）の変化は極めて穏やかであり、また、サブフリンジオーダーの被観察体表面においてはφ（ｘ,ｙ）の変化も穏やかである。
したがって、上記（４）式の３つのスペクトルはキャリア周波数ｆ０により完全に分離される。
【００２９】
ここに、正のキャリア周波数ｆ０に重畳されている信号のスペクトルＣ（ｆ−ｆ０,ｙ）のみを取り出し、それをｆ０だけ原点方向にシフトさせてＣ（ｆ,ｙ）を得る。この空間周波数フィルタリングにより一方の不要信号ａ（ｘ,ｙ）が除かれ、また、スペクトルを原点方向にシフトさせることによりキャリア周波数、すなわちティルトが除かれることとなる。
【００３０】
このようにして得られたＣ（ｆ，ｙ）をｆの変数として１次元フーリエ逆変換することにより上記（３）式におけるｃ（ｘ，ｙ）が求められる。
【００３１】
この後、複素対数で表わされる下記（５）式を計算することで、虚部を実部の不要項から完全に分離して位相φ（ｘ，ｙ）を求めることができる。
log［ｃ（ｘ，ｙ）］＝log［（１／２）ｂ（ｘ，ｙ）］+ｊφ（ｘ、ｙ）…（５）
【００３２】
以下、本実施形態を図１に示すフローチャートを用いて説明する。
図１２に示すようなマイケルソン型干渉計１において、被観察体表面２（球面とされている）と基準面３からの両反射光束によって形成される干渉縞（図３に示される如き閉じた縞パターン）はＣＣＤ４により撮像され、画像入力基板５を介してモニタ画面６上に表示される。なお、ＣＣＤ４から出力される干渉縞画像データは図示されないＣＰＵの処理によりメモリ内に格納されるようになっている。
【００３３】
ここで、モニタ画面６を観察しつつ、干渉縞の中心が画面中央に位置するように被観察体の位置を調整する（Ｓ１）。
【００３４】
次に、ＣＣＤ４上に形成された干渉縞像を光電変換により取り込み、そのデータを上記メモリに格納する（Ｓ２）。
【００３５】
次に、メモリに格納した縞画像データにおいて、閉じた縞の中心を原点とし（Ｓ３）、極座標系の縞画像データに変換する（Ｓ４）。このようにして得られた極座標系の縞画像データは図８に示す如く平行な縞パターンとなり、閉じた縞パターンとはなっていない。このことは、バウムクーヘンの側部に切り込みを入れ、ここからその円筒を開くようにして年輪が略平行線となるまで変形した様子を思い浮かべると概念的に理解しやすいと考えられる。
【００３６】
ただし、この座標変換は線形変換ではないので、直交座標系においてフーリエ変換に適した正方形データを極座標系に変換した場合、その一部端部において、図８に示す如き、有効データがない領域（無効データ領域）が生じることになる。無効データ領域は解析誤差を生ぜしめるので、この領域を無視するようにしてもよいが、その領域を有効に利用する場合には疑似データを用い、周知の外挿法によりこの無効データ領域をデータ補間する（Ｓ５、Ｓ６）。図９は、このようにして無効データ領域を疑似データで補間して得られた干渉縞画像を示すものである。
【００３７】
なお、離散フーリエ変換（ＤＦＴ）により上記変換を行う場合には整数しか使用しないので、離散の直行座標で表した干渉縞を離散の極座標で表示する際に、疑似データを用い、周知の内挿法によりデータ補間する必要がある。
【００３８】
次に、必要であれば、上記ステップ５、６（Ｓ５、Ｓ６）の処理により得られた画像データに対して所定の窓関数を乗算する（Ｓ７、Ｓ８）。
これは、干渉縞のキャリア周波数が整数でない場合は、被観察体の解析画像の辺縁部で誤差が大きいことから、周知の窓関数（例えば、画像データの辺縁部を排除する領域を与える窓関数）を乗じることによって、解析誤差を低減することができる。
【００３９】
なお、直交座標系の干渉縞画像データを極座標系に変換した場合のθ方向が０〜２πまで変化することから、これは丁度三角関数の一周期に相当する。したがって、θ方向で窓関数を乗じる必要はない。一方、ｒ方向ではキャリア周波数が一般的に整数とはならないので、窓関数を乗じて解析誤差を低減することが望ましい。
【００４０】
この後、上記極座標系に変換された干渉縞画像データについて、前述した周知のフーリエ変換処理を行う（Ｓ９）。このようにして得られたフーリエスペクトルは、開いた干渉縞から得られたものであるから、低周波信号成分とキャリア周波数成分を確実に分離でき、これにより、図１０に示す如き干渉縞解析による極座標形状が得られる（Ｓ１０）。
【００４１】
次に、ステップ１０において得られた極座標形状を逆極座標変換処理により直交座標系に変換し（Ｓ１１）、上記ステップ６においてデータ補間していれば、この補間した無効データ領域を除去する（Ｓ１２）ことで、被観察体の表面形状（球面波形状）を得る（Ｓ１３）。
【００４２】
図１１は、元の球面波形状の断面と、本実施形態方法で求めた被観察体の表面形状（球面波形状）の断面を比較するための２つの曲線（任意単位）、およびその誤差量（％）を表している。なお、横軸は位置（ＣＣＤ画素数）を表す。
【００４３】
図１１から明らかなように、上記誤差は被測定球面波の約０．３％程度以下である。
【００４４】
また、このような誤差をさらに減少させたい場合には、直交座標系の干渉縞画像データを、θ＝０〜πとθ＝π〜２πの２つの領域に分割し、各領域毎に極座標系への変換を行う。そして極座標系に変換された上記２つの領域の干渉縞画像をｒ＝０の位置で合成する。両領域の干渉縞画像データは、極座標系に変換された後もｒ＝０の位置で干渉縞強度が等しくなるので、合成した干渉縞画像は連続的となる。
【００４５】
干渉縞データの領域分割手法は、上記２分割に限られるものではなく、その他の任意の数の小領域に分割することが可能である。例えば、直交座標系の閉じた干渉縞画像データを、θ＝０〜π/２、θ＝π/２〜π、θ＝π〜３π/２、θ＝３π/２〜２πの４つの領域に分割し、各領域毎に極座標系への変換を行うようにしてもよい。また、縞の中心が複数存在する場合のように、一干渉縞画像上に複数のパターンが存在する場合には、各パターン毎に領域を分けるようにし、それぞれの領域毎に上記変換を行うようにすることが好ましい。
【００４６】
この場合には、θ方向は三角関数の一周期とはならないので、θ方向にも窓関数を乗じる必要がある。しかし、窓関数を乗じても、求められた形状の辺縁部での誤差が大きいために合成する際に誤差の影響が残る。そこで、被解析干渉縞を分割する際に、各領域が重なり合う部分を有するようにし、合成する際には誤差の大きい各領域辺縁部を除去することが望ましい。
【００４７】
なお、本発明のフーリエ変換を用いた縞解析方法は上記実施形態のものに限られるものではなく、その他の種々の態様の変更が可能である。
また、上記実施形態のものにおいては、干渉縞画像をマイケルソン型干渉計を用いて撮像しているが、フィゾー型等のその他の干渉計を用いて得られた干渉縞画像データに対しても同様に適用できることは勿論である。
【００４８】
さらに、本発明方法は、干渉縞のみならずモアレ縞やスペックル縞、その他の種々の縞画像に対しても同様に適用可能である。
また、本発明方法は、閉じた縞の部分解析に適用することもできる。
なお、上記実施形態においては一次元フーリエ変換を用いる場合について説明しているが、二次元フーリエ変換を用いるようにすることも可能である。
【００４９】
さらに、上記実施形態においては、被観察体が球面あるいは放物面に類似した形状とされている場合について説明しているが、その他の、閉じた縞パターンが生成されるような面を被観察体とすることが可能である。
また、上記実施形態においては、直交座標系と異なる座標系として極座標系を用いているが、本発明方法としては、この直交座標系と異なる座標系として対数座標系、指数座標系、あるいはその他の線形、非線形に係る種々の座標系を用いることが可能である。
【００５０】
【発明の効果】
本発明の、フーリエ変換を用いた縞解析方法によれば、直交座標系で表された被観察体の縞画像データを、極座標系で表される縞画像データに変換し、この変換データにフーリエ変換を施して極座標系で形状解析を行い、最後に、この解析データを直交座標系に変換して、被観察体の表面形状を得るようにしている。
【００５１】
すなわち、直交座標系で表された縞画像データが閉じた縞パターン形状をなしていても、このデータを極座標系に変換した場合には開いた縞パターン形状とすることができるから、その後のフーリエ変換により低周波信号成分とキャリア周波数成分を確実に分離でき、この後、キャリア周波数成分を除去して得られた形状データを直交座標系に戻すことにより、被観察体の形状を良好に得ることができる。
【図面の簡単な説明】
【図１】本発明の実施形態を説明するためのフローチャート
【図２】被観察体の形状（球面波形状）を表す概略図
【図３】図２に示す被観察体から得られた閉じた干渉縞を表す図
【図４】図３に示す干渉縞の画像データをそのままフーリエ変換したときのフーリエ・スペクトルを表す図
【図５】図４に示すフーリエ・スペクトルから求められた被観察体の形状を表す図
【図６】直角座標系における画像データの座標を表す図
【図７】極座標系における画像データの座標を表す図
【図８】図３に示す閉じた干渉縞を極座標変換して得られた開いた干渉縞を表す図
【図９】図８の干渉縞の無効データ領域にデータ補間して得られた干渉縞を表す図
【図１０】図９に示す干渉縞の画像データをフーリエ変換して得られた、極座標系での被観察体形状を表す図
【図１１】元の球面波形状の断面を表す曲線、本発明の実施形態方法で求めた被観察体の表面形状（球面波形状）の断面を表す曲線、およびその誤差を表す図
【図１２】本発明方法を実施するためのシステムの一例を示す概略図
【符号の説明】
１ マイケルソン型干渉計
２ 被観察体表面
３ 基準面
４ ＣＣＤ
５ 画像入力基板
６ モニタ画面
Claims (7)
- 直交座標系で表された被観察体の縞画像データを、異なる座標系で表される縞画像データに変換し、この変換データにフーリエ変換を施して該被観察体の該異なる座標系におけるパターンを得、この後、該異なる座標系におけるパターンを直交座標系におけるパターンに変換するフーリエ変換を用いた縞解析方法であって、
前記異なる座標系が極座標系であり、
前記直交座標系で表された縞画像データが閉じた縞パターンからなり、前記極座標系の原点位置を最も内側の閉じた縞パターンの範囲内に設定することを特徴とするフーリエ変換を用いた縞解析方法。 - 前記原点位置が前記縞パターンの範囲内における中心近傍であることを特徴とする請求項１記載のフーリエ変換を用いた縞解析方法。
- 前記直交座標系で表された、位相情報を担持した縞画像データには、キャリア縞が重畳されていることを特徴とする請求項１または２記載のフーリエ変換を用いた縞解析方法。
- 前記縞画像データが干渉縞画像データであり、該干渉縞画像データには、前記被観察体の表面と基準面とを相対的に傾けたことによるキャリア縞が重畳されていることを特徴とする請求項３記載のフーリエ変換を用いた縞解析方法。
- 前記極座標系で表される縞画像データのデータ無効領域を所定のデータで補間し、この後前記フーリエ変換を施すことを特徴とする請求項１から４のうちいずれか１項記載のフーリエ変換を用いた縞解析方法。
- 前記極座標系で表される縞画像データに対し、所定の窓関数を乗算することを特徴とする請求項１から５のうちいずれか１項記載のフーリエ変換を用いた縞解析方法。
- 前記直交座標系で表された縞画像データを複数のデータ領域に分割し、分割された各々の領域を極座標系で表される縞画像データに変換し、フーリエ変換を施して該被観察体の極座標系における各々の領域の表面形状を得、この後、極座標系で表されるこれら複数領域の表面形状を合成することを特徴とする請求項１から６のうちいずれか１項記載のフーリエ変換を用いた縞解析方法。
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP36324199A JP4183219B2 (ja) | 1999-12-21 | 1999-12-21 | フーリエ変換を用いた縞解析方法 |
| US09/732,921 US6693715B2 (en) | 1999-12-21 | 2000-12-11 | Fringe analysis method using fourier transform |
| DE10064037A DE10064037B4 (de) | 1999-12-21 | 2000-12-21 | Streifenanalyseverfahren unter Verwendung der Fouriertransformation |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP36324199A JP4183219B2 (ja) | 1999-12-21 | 1999-12-21 | フーリエ変換を用いた縞解析方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2001174235A JP2001174235A (ja) | 2001-06-29 |
| JP4183219B2 true JP4183219B2 (ja) | 2008-11-19 |
Family
ID=18478851
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP36324199A Expired - Fee Related JP4183219B2 (ja) | 1999-12-21 | 1999-12-21 | フーリエ変換を用いた縞解析方法 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US6693715B2 (ja) |
| JP (1) | JP4183219B2 (ja) |
| DE (1) | DE10064037B4 (ja) |
Families Citing this family (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3871309B2 (ja) * | 2001-01-31 | 2007-01-24 | フジノン株式会社 | 位相シフト縞解析方法およびこれを用いた装置 |
| JP4782958B2 (ja) * | 2001-09-21 | 2011-09-28 | 株式会社リコー | 表面形状測定装置及びその方法、プログラム並びに記憶媒体 |
| JP3946586B2 (ja) * | 2002-06-28 | 2007-07-18 | フジノン株式会社 | 縞画像の円形領域抽出方法 |
| US7079260B2 (en) * | 2003-07-31 | 2006-07-18 | Harris Corporation | Optical profile determining apparatus and associated methods including the use of a plurality of wavelengths in the reference beam and a plurality of wavelengths in a reflective transit beam |
| JP4649189B2 (ja) * | 2004-12-10 | 2011-03-09 | キヤノン株式会社 | 画像形成装置 |
| JP4652798B2 (ja) * | 2004-12-17 | 2011-03-16 | キヤノン株式会社 | カラー画像形成装置 |
| JP2009025119A (ja) * | 2007-07-19 | 2009-02-05 | General Electric Co <Ge> | 輪郭測定装置及び動作方法 |
| JP5538936B2 (ja) * | 2010-02-10 | 2014-07-02 | キヤノン株式会社 | 解析方法、プログラム、記憶媒体、ｘ線位相イメージング装置 |
| US20140052648A1 (en) * | 2011-12-06 | 2014-02-20 | Teresa Lavonne Pointer | System and method for intellectual property management |
| CN116907379B (zh) * | 2023-07-17 | 2024-07-02 | 西安工业大学 | 一种干涉条纹波面迭代方法及装置 |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH06274736A (ja) * | 1993-03-24 | 1994-09-30 | Mitsubishi Heavy Ind Ltd | 貨幣識別装置 |
| JP3309743B2 (ja) * | 1996-11-27 | 2002-07-29 | 富士ゼロックス株式会社 | 形状測定方法及び装置 |
| JPH10281711A (ja) * | 1997-04-04 | 1998-10-23 | Nikon Corp | アライメント誤差補正方法 |
| JP2001343208A (ja) * | 2000-03-30 | 2001-12-14 | Fuji Photo Optical Co Ltd | フーリエ変換を用いた縞解析方法および装置 |
| JP4583619B2 (ja) * | 2000-09-13 | 2010-11-17 | 富士フイルム株式会社 | 縞画像解析誤差検出方法および縞画像解析誤差補正方法 |
-
1999
- 1999-12-21 JP JP36324199A patent/JP4183219B2/ja not_active Expired - Fee Related
-
2000
- 2000-12-11 US US09/732,921 patent/US6693715B2/en not_active Expired - Fee Related
- 2000-12-21 DE DE10064037A patent/DE10064037B4/de not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| DE10064037B4 (de) | 2006-08-17 |
| US6693715B2 (en) | 2004-02-17 |
| JP2001174235A (ja) | 2001-06-29 |
| DE10064037A1 (de) | 2001-07-12 |
| US20010049709A1 (en) | 2001-12-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Reid | Automatic fringe pattern analysis: a review | |
| Quan et al. | Phase-retrieval techniques in fringe-projection profilometry | |
| Surrel | Fringe analysis | |
| Hipp et al. | Digital evaluation of interferograms | |
| Kulkarni et al. | Optical measurement techniques–A push for digitization | |
| Carmon et al. | Phase retrieval by demodulation of a Hartmann–Shack sensor | |
| JP4183219B2 (ja) | フーリエ変換を用いた縞解析方法 | |
| Ri et al. | Spatiotemporal phase-shifting method for accurate phase analysis of fringe pattern | |
| US5943006A (en) | RF image reconstruction and super resolution using fourier transform techniques | |
| JPH0743282B2 (ja) | 強度関係による空間波頭評価 | |
| Kimbrough et al. | The spatial frequency response and resolution limitations of pixelated mask spatial carrier based phase shifting interferometry | |
| Miao et al. | Analysis of phase distortion in phase-shifted fringe projection | |
| Vlad et al. | Direct spatial reconstruction of optical phase from phase-modulated images | |
| CN117053716A (zh) | 一种圆形孔径干涉图轮廓参数自动检测方法 | |
| Karaalioglu et al. | Measurement of thin film thickness by electronic speckle pattern interferometry | |
| Ibrahim | Demodulation of a parabolic interferogram in time domain for rough surface characterization | |
| Sun et al. | 3D deformation measurement based on colorful electronic speckle pattern interferometry | |
| Picart et al. | Basic fundamentals of digital holography | |
| Shough | Beyond fringe analysis | |
| Qian et al. | Adaptive filter for unwrapping noisy phase image in phase-stepping interferometry | |
| Arai et al. | Improvement of measuring accuracy of spatial fringe analysis method using a Kalman filter and its application | |
| Takao et al. | Minute displacement and strain analysis using lensless Fourier transformed holographic interferometry | |
| Hernández et al. | The 2nd Continuous Wavelet Transform: Applications in Fringe Pattern Processing for Optical Measurement Techniques | |
| Chatterjee et al. | Comparative analysis of single and multistep interferogram processing techniques | |
| Heikkinen et al. | Full-field high-strain gradient evaluation from wrapped ESPI data using phasors |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060920 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20080604 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080612 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080804 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080828 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080901 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110912 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 4183219 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110912 Year of fee payment: 3 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110912 Year of fee payment: 3 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120912 Year of fee payment: 4 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130912 Year of fee payment: 5 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |