JP4718231B2 - Shape measuring apparatus and program - Google Patents

Shape measuring apparatus and program Download PDF

Info

Publication number
JP4718231B2
JP4718231B2 JP2005122485A JP2005122485A JP4718231B2 JP 4718231 B2 JP4718231 B2 JP 4718231B2 JP 2005122485 A JP2005122485 A JP 2005122485A JP 2005122485 A JP2005122485 A JP 2005122485A JP 4718231 B2 JP4718231 B2 JP 4718231B2
Authority
JP
Japan
Prior art keywords
image
differential interference
component
region
forming
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2005122485A
Other languages
Japanese (ja)
Other versions
JP2006300714A (en
Inventor
剛 劉
裕 石渡
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Priority to JP2005122485A priority Critical patent/JP4718231B2/en
Publication of JP2006300714A publication Critical patent/JP2006300714A/en
Application granted granted Critical
Publication of JP4718231B2 publication Critical patent/JP4718231B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Description

本発明は、偏光成分のリターデーション量が異なる観察物体の少なくとも2つの微分干渉画像からその観察物体の形状の計測を行うための技術に関する。   The present invention relates to a technique for measuring the shape of an observation object from at least two differential interference images of the observation object with different polarization component retardation amounts.

微分干渉顕微鏡では、物体に照射する光を2つに分け、これらの光の干渉によって生じる位相差や干渉色を可視化することができる。そのため、生体や透明な試料でも染色することなく、その形状を観察できるという利点を有している。それにより、生体やICパターン等の微細構造を持つ物体の観察に広く用いられている。また、観察の他に、物体の位相分布や微細形状の計測にも用いられるようになっている。形状計測装置は、微分干渉顕微鏡により得られた微分干渉画像を用いてその計測を行うものである。従来の形状計測装置としては、例えば特許文献1、2、或いは非特許文献1に記載されたものがある。   In the differential interference microscope, the light applied to the object is divided into two, and the phase difference and interference color caused by the interference of these lights can be visualized. Therefore, there is an advantage that the shape can be observed without staining even a living body or a transparent sample. Accordingly, it is widely used for observing an object having a fine structure such as a living body or an IC pattern. In addition to observation, it is also used for measuring the phase distribution and fine shape of an object. The shape measuring apparatus performs measurement using a differential interference image obtained by a differential interference microscope. Examples of conventional shape measuring apparatuses include those described in Patent Documents 1 and 2 or Non-Patent Document 1.

例えば特許文献1には、微分干渉顕微鏡をシャーリング干渉計、及びマッハツェンダー干渉計と考えて、位相シフトレチクルの欠陥検出や位相検出に応用できる形状計測装置が記載されている。しかし、その形状計測装置は、周知の干渉計測技術を応用したものであり、観察物体面で発生する光の回折の影響は考慮されていない。また、観察物体における光の反射率や透過率の変化による光の強度変化に対する影響についても考慮されていない。これらのことから、形状が平滑でないような観察物体では計測精度が低かった。   For example, Patent Document 1 describes a shape measuring apparatus that can be applied to phase shift reticle defect detection and phase detection, assuming that the differential interference microscope is a shearing interferometer and a Mach-Zehnder interferometer. However, the shape measuring apparatus applies a known interference measuring technique, and does not consider the influence of light diffraction generated on the observation object surface. Also, no consideration is given to the influence on the change in light intensity due to the change in the reflectance and transmittance of light in the observation object. For these reasons, the measurement accuracy is low for an observation object whose shape is not smooth.

観察物体面での光の回折や強度変化の影響を考慮した従来の形状計測装置としては、例えば特許文献2、或いは非特許文献1に記載されたものがある。その形状計測装置は、微分干渉顕微鏡によって得られた画像から、観察物体の位相情報を以下のようにして抽出している。ここでは説明を簡単にするため、1次元データの画像を想定して行うことにする。   For example, Patent Document 2 or Non-Patent Document 1 discloses a conventional shape measuring apparatus that takes into account the effects of light diffraction and intensity change on the observation object surface. The shape measuring apparatus extracts the phase information of the observation object from the image obtained by the differential interference microscope as follows. Here, in order to simplify the explanation, it is assumed that an image of one-dimensional data is assumed.

微分干渉顕微鏡における2つの偏向成分の相対的なリターデーション(位相差)量をθとすると、微分干渉顕微鏡における1次元画像の強度分布I(x,θ)は、以下のように表せる。   If the relative retardation (phase difference) amount of two deflection components in the differential interference microscope is θ, the intensity distribution I (x, θ) of the one-dimensional image in the differential interference microscope can be expressed as follows.

ここで、Φ(f)は観察物体の位相分布Φ(x)のフーリエ係数、Cはx点での透過率、又は反射率、fは空間周波数、Δはノマルスキープリズムのシアー量、をそれぞれ表している。式(1)右辺の第1〜第3項はそれぞれ、回折されずに透過した光成分、位相分布の微分値成分、及び観察物体面での屈折した光成分と倍周波数の非線形画像成分、を表している。また、微分干渉顕微鏡に搭載された結像光学系の瞳関数をP(ξ)、照明光学系の瞳の強度分布関数をS(ξ)とすると、式(1)中のM(f)、m0(f)、及びmd(f)は、以下のように表すことができる。 Here, Φ (f) is the Fourier coefficient of the phase distribution Φ (x) of the observation object, C is the transmittance or reflectance at the point x, f is the spatial frequency, and Δ is the shear amount of the Nomarski prism. ing. Each of the first to third terms of equation (1) right-hand side, the transmitted light component without being diffracted, the differential value component of the phase distribution, and refracted light component and multiple non-linear image component of the frequency of the observation object surface, the It is table. If the pupil function of the imaging optical system mounted on the differential interference microscope is P (ξ), and the intensity distribution function of the pupil of the illumination optical system is S (ξ), M (f) in equation (1), m0 (f) and md (f) can be expressed as follows.

偏光成分のリターデーション量がθと−θとなっている2つの微分干渉画像の差画像情報と和画像情報を用いることにより、観察物体の位相情報は分離して抽出することができる。具体的には、差画像情報、及び和画像情報はそれぞれ式(1)を用いて、以下のような式(2)、式(3)で近似することができる。   By using the difference image information and the sum image information of two differential interference images in which the polarization component retardation amounts are θ and −θ, the phase information of the observation object can be separated and extracted. Specifically, the difference image information and the sum image information can be approximated by the following expressions (2) and (3) using Expression (1), respectively.

観察物体の段差部分の位相分布θe(x)は、式(2)と式(3)を用いて導出される式(4)により求めることができる。その位相分布θe(x)を求める処理はデコンボリューション処理と呼ばれる。   The phase distribution θe (x) of the stepped portion of the observation object can be obtained by Expression (4) derived using Expression (2) and Expression (3). The process for obtaining the phase distribution θe (x) is called a deconvolution process.

このようなことから、微分干渉画像に対する微分干渉顕微鏡の光学応答特性を用いたデコンボリューション処理を行うことにより、観察物体の位相分布θe(x)を求めることができる。観察物体が段差等のエッジを有する構造のものである場合には、そのエッジ部分での光の回折や散乱の影響を考慮し、正確な位相量を計測することができる。
特開平5−149719号公報 特開平9−15504号公報 “位相変調型微分干渉顕微鏡を用いた高精度段差計測”、OplusE、Vol.23、No.12
Therefore, the phase distribution θe (x) of the observation object can be obtained by performing the deconvolution process using the optical response characteristic of the differential interference microscope for the differential interference image. When the observation object has a structure having an edge such as a step, an accurate phase amount can be measured in consideration of the effects of light diffraction and scattering at the edge portion.
JP-A-5-149719 JP-A-9-15504 “High-precision step measurement using a phase modulation differential interference microscope”, Oplus E, Vol. 23, no. 12

ところで、空間周波数がゼロ(平面)の付近では、微分顕微鏡の周波数応答関数(OTF)の値は0に近いものとなる。そのため、デコンボリューション処理により観察物体上の平面に近い部分の位相分布θe(x)を求める際に、1/(sin(πΔf)M(f))の計算結果が不安定となる。それにより、その部分では、デコンボリューション処理を適用できない。   By the way, when the spatial frequency is near zero (plane), the value of the frequency response function (OTF) of the differential microscope is close to zero. Therefore, the calculation result of 1 / (sin (πΔf) M (f)) becomes unstable when the phase distribution θe (x) of the portion near the plane on the observation object is obtained by the deconvolution process. As a result, the deconvolution process cannot be applied to that portion.

その解決策としては、有効桁数を大きくするなどしてデータ量を増やしてデコンボリューション処理を行うという方法が考えられる。しかし、そのような方法を採用しても、不安定性を完全には解消することはできない。また、処理時間がより長くなる、処理にはより大きいメモリ量が必要となる、といった別の不具合が発生してしまう。このようなことから、その方法の採用は望ましくはないと言える。   As a solution, a method of increasing the amount of data by increasing the number of significant digits and performing the deconvolution process can be considered. However, even if such a method is adopted, the instability cannot be completely eliminated. In addition, other problems such as a longer processing time and a larger amount of memory are required for the processing. Therefore, it can be said that the adoption of this method is not desirable.

観察物体の平面、及びそれに近い部分(以降「平面状部分」と総称する)では、入射光は正反射または透過し、回折光は発生しないと考えても良いため、微分干渉画像は反射光または透過光だけの干渉によって形成されるものとして扱っても差し支えないと言える。それにより、観察物体に存在する平面状部分の形状の計測では、デコンボリューション処理は必ずしも採用する必要はないと考えられる。   In the plane of the observation object and a portion close thereto (hereinafter collectively referred to as a “planar portion”), it may be considered that incident light is regularly reflected or transmitted and diffracted light is not generated. It can be said that it can be handled as being formed by interference of only transmitted light. Accordingly, it is considered that the deconvolution process is not necessarily employed in the measurement of the shape of the planar portion existing in the observation object.

本発明は、観察物体の形状に係わらず、つまりエッジ部分や平面状部分が混在しているか否かといったことに係わらず、その形状分布、或いは位相分布といった形状を示す情報を高精度に計測できる形状計測装置を提供することを目的とする。   The present invention can measure information indicating a shape such as a shape distribution or a phase distribution with high accuracy regardless of the shape of an observation object, that is, whether or not an edge portion or a planar portion is mixed. It aims at providing a shape measuring device.

本発明の第1の態様の形状計測装置は、観察物体の偏光成分のリターデーション量が異なる少なくとも2つの微分干渉画像から該観察物体の形状の計測を行う形状計測装置であって、微分干渉画像を取得する画像取得手段と、画像取得手段により取得した少なくとも2つの微分干渉画像から、観察物体の微分値に関連した画像成分を持つ関連成分画像を形成する画像形成手段と、画像形成手段が形成した関連成分画像をコントラストに注目して1種類以上の領域に分割する領域分割手段と、領域分割手段が分割した領域毎に、該領域の種類に応じた処理を行い、位相分布の形成を行う成分形成手段と、を具備し、成分形成手段は、領域の種類に応じた処理として、コントラストの変化が比較的に大きい種類の領域では微分干渉画像を撮像した微分干渉顕微鏡での偏光成分の分離量、及び該微分干渉顕微鏡の光学特性から求まる応答特性を用いたデコンボリューション処理を行い、該コントラストの変化が比較的に大きくない種類の領域では該偏光成分の分離量を用いた積分処理を行う。 The shape measurement apparatus according to the first aspect of the present invention is a shape measurement apparatus that measures the shape of an observation object from at least two differential interference images having different amounts of retardation of the polarization component of the observation object. an image acquisition unit configured to acquire, from at least two differential interference image acquired by the image acquiring means, image forming means for forming an associated component image having image components associated with the differential value of the observation object, an image forming means A region distribution unit that divides the formed related component image into one or more types of regions by paying attention to the contrast, and performs processing according to the type of each region divided by the region division unit to form a phase distribution. Component forming means to perform, and the component forming means picked up a differential interference image in a region of a type having a relatively large contrast change as a process according to the type of the region. Perform deconvolution processing using the separation characteristics of the polarization components in the interference microscope and the response characteristics obtained from the optical characteristics of the differential interference microscope, and in a region where the contrast change is not relatively large, Perform integration using the amount of separation.

本発明の第2の態様の形状計測装置は、上記第1の態様における構成に加えて、領域分割手段が関連成分画像を複数種類の領域に分割した場合に、成分形成手段が領域毎に形成する位相分布の合成を行い、観察物体の位相分布を再生する合成手段、を更に具備する。 In the shape measuring apparatus according to the second aspect of the present invention, in addition to the configuration of the first aspect, the component forming unit forms each region when the region dividing unit divides the related component image into a plurality of types of regions. It performs synthesis of position phase distribution you, synthesizing means for play the position phase distribution of the observation object, further comprising the.

なお、上記合成手段は、領域分割手段が分割した領域間の包含関係を考慮して、合成を行う、ことが望ましい。
上位画像形成手段は、画像取得手段により取得した少なくとも2つの微分干渉画像から、夫々対応する画素毎に減算を行い、画像成分を持つ関連成分画像を形成する、ことが望ましい。または、画像取得手段により取得した少なくとも2つの微分干渉画像から、夫々対応する画素毎に減算を行って得られる差画像、及び夫々対応する画素毎に加算を行って得られる和画像をそれぞれ形成し、該形成した差画像、及び和画像を用いて関連成分画像を形成するか、或いは画像取得手段により取得した少なくとも2つの微分干渉画像から、夫々対応する画素毎に減算を行って得られる差画像、及び夫々対応する画素毎に乗算を行って得られる積画像をそれぞれ形成し、該形成した差画像、及び積画像を用いて関連成分画像を形成する、ことが望ましい。
In addition, it is desirable that the synthesizing unit performs the synthesis in consideration of the inclusion relationship between the areas divided by the area dividing unit.
The upper image forming unit desirably subtracts each corresponding pixel from at least two differential interference images acquired by the image acquiring unit to form a related component image having an image component. Alternatively, a difference image obtained by performing subtraction for each corresponding pixel and a sum image obtained by performing addition for each corresponding pixel are formed from at least two differential interference images acquired by the image acquisition unit. A difference image obtained by forming a related component image using the formed difference image and the sum image, or subtracting each corresponding pixel from at least two differential interference images acquired by the image acquisition means It is desirable to form product images obtained by performing multiplication for each corresponding pixel, and to form related component images using the formed difference images and product images.

上記領域分割手段は、コントラストに注目することにより、該コントラストの変化の大きさに応じて2種類の領域に関連成分画像を分割する、ことが望ましい It is desirable that the region dividing unit divides the related component image into two types of regions according to the magnitude of the contrast change by paying attention to the contrast .

本発明のプログラムは、観察物体の偏光成分のリターデーション量が異なる少なくとも2つの微分干渉画像から該観察物体の形状の計測を行う形状計測装置として用いられるコンピュータに、微分干渉画像を取得する機能と、取得する機能により取得した少なくとも2つの微分干渉画像から、観察物体の位相分布の微分値に関連した画像成分を持つ関連成分画像を形成する機能と、形成する機能により形成した関連成分画像をコントラストに注目して1種類以上の領域に分割する機能と、分割する機能により分割した領域毎に、該領域の種類に応じた処理を行い、位相分布の形成を行う機能と、を実現させ、位相分布の形成を行う機能により、前記領域の種類に応じた処理として、前記コントラストの変化が比較的に大きい種類の領域では前記微分干渉画像を撮像した微分干渉顕微鏡での前記偏光成分の分離量、及び該微分干渉顕微鏡の光学特性から求まる応答特性を用いたデコンボリューション処理を行い、該コントラストの変化が比較的に大きくない種類の領域では該偏光成分の分離量を用いた積分処理を行う。
The program of the present invention has a function of acquiring a differential interference image in a computer used as a shape measuring apparatus that measures the shape of the observation object from at least two differential interference images having different retardation amounts of the polarization component of the observation object; , from at least two differential interference image acquired by the function of acquiring a function to form an associated component image having image components associated with the differential value of the phase distribution of the observation object, the associated component image formed by the function of forming A function of dividing the region into one or more types by paying attention to the contrast, and a function of performing processing according to the type of the region for each region divided by the dividing function, and forming a phase distribution; As a process according to the type of the region, the function for performing the phase distribution is used for the region with a relatively large change in contrast. A type in which the deconvolution process using the amount of separation of the polarization component in the differential interference microscope capturing the differential interference image and the response characteristic obtained from the optical characteristics of the differential interference microscope is performed, and the change in contrast is not relatively large In this area, integration processing using the separation amount of the polarization component is performed.

本発明によれば、観察物体の形状に係わらず、つまりエッジ(段差)部分や平面状部分が混在しているか否かといったことに係わらず、その形状分布、或いは位相分布といった形状を示す情報を高精度に計測することができる。   According to the present invention, the information indicating the shape such as the shape distribution or the phase distribution is obtained regardless of the shape of the observation object, that is, whether or not the edge (step) portion or the planar portion is mixed. It can measure with high accuracy.

以下、図面を参照しながら本発明の実施の形態について述べる。
<第1の実施の形態>
図1は、第1の実施の形態による形状計測装置が採用された形状計測用システムの構成図である。
Embodiments of the present invention will be described below with reference to the drawings.
<First Embodiment>
FIG. 1 is a configuration diagram of a shape measurement system in which the shape measurement apparatus according to the first embodiment is employed.

そのシステムは、図1に示すように、光源1と、照明光学系、及び結像光学系を有し、その結像光学系により観察物体SMの微分干渉画像を結像する微分干渉顕微鏡2と、その結像光学系により結像された微分干渉画像を撮像するためのCCDカメラ3と、本実施の形態による形状計測装置4と、を備えた構成となっている。それにより、本実施の形態による形状計測装置は、そのカメラ3により撮像した微分干渉画像を用いて観察物体SMの形状の計測を行うものとして実現されている。   As shown in FIG. 1, the system includes a light source 1, an illumination optical system, and an imaging optical system, and a differential interference microscope 2 that forms a differential interference image of the observation object SM by the imaging optical system. The CCD camera 3 for capturing the differential interference image formed by the imaging optical system and the shape measuring device 4 according to the present embodiment are provided. Thereby, the shape measuring apparatus according to the present embodiment is realized as a device that measures the shape of the observation object SM using the differential interference image captured by the camera 3.

上記微分干渉顕微鏡2は、リターデーション量を変化させるためのリターデーション変化装置21と、その変化装置21の光が入射する側に配置されたレンズ22、絞り23、及びレンズ24と、その変化装置21により直線偏光された光を観察物体SMに向けて反射するハーフミラー25と、そのミラー25が反射した光を互いに直交する2つの直線偏光に分割するノマルスキープリズム26と、そのプリズム26を透過した光を観察物体SM上に集光する対物レンズ27と、観察物体SMからの反射光が対物レンズ27、ノマルスキープリズム26、及びハーフミラー25を介して入射する検光子28と、その検光子28によって2つの偏光を干渉させた後の光を集光して観察物体SMの微分干渉画像を結像する結像レンズ29と、を備えて構成されている。   The differential interference microscope 2 includes a retardation changing device 21 for changing the amount of retardation, a lens 22, a diaphragm 23 and a lens 24 arranged on the light incident side of the changing device 21, and a changing device therefor. A half mirror 25 that reflects the light linearly polarized by the light 21 toward the observation object SM, a Nomarski prism 26 that divides the light reflected by the mirror 25 into two linearly polarized lights orthogonal to each other, and the prism 26 transmitted therethrough. An objective lens 27 that condenses the light on the observation object SM, an analyzer 28 on which reflected light from the observation object SM enters through the objective lens 27, the Nomarski prism 26, and the half mirror 25, and the analyzer 28. An imaging lens 29 that focuses the light after the two polarized light beams interfere with each other and forms a differential interference image of the observation object SM; It is configured Te.

上記微分干渉顕微鏡2では、光源1から出射された光はレンズ22、絞り23、及びレンズ24を介してリターデーション変化装置21に入射する。その変化装置21は、ノマルスキープリズム26に入射する偏光に対し任意のリターデーション量を与えるためのものである。例えば図3に示すように、図3中に一点鎖線で示す光軸を中心に配置された偏光子21a、及びλ/4板21bと、その光軸を中心にして偏光子21aを回転させるためのモータ21cと、を備えた構成となっている。そのような構成とすることにより、リターデーション量は偏光子21aの回転角のモータ21cによる調整(変更)を通して任意に変更できるようになっている。モータ21cは、形状計測装置4によって駆動される。なお、リターデーション量の変更は、偏光子21aの代わりにλ/4板21bを回転させることで行うようにしても良い。   In the differential interference microscope 2, the light emitted from the light source 1 enters the retardation changing device 21 through the lens 22, the diaphragm 23, and the lens 24. The changing device 21 is for giving an arbitrary amount of retardation to the polarized light incident on the Nomarski prism 26. For example, as shown in FIG. 3, a polarizer 21a and a λ / 4 plate 21b arranged around the optical axis indicated by the alternate long and short dash line in FIG. 3 and the polarizer 21a are rotated around the optical axis. The motor 21c is provided. With such a configuration, the retardation amount can be arbitrarily changed through adjustment (change) of the rotation angle of the polarizer 21a by the motor 21c. The motor 21 c is driven by the shape measuring device 4. Note that the retardation amount may be changed by rotating the λ / 4 plate 21b instead of the polarizer 21a.

リターデーション変化装置21によって直線偏光された光は、ハーフミラー25によって反射され、ノマルスキープリズム26に入射する。それにより、その光はプリズム26によって互いに直交する2つの直線偏光に分割され、分割された直線偏光は対物レンズ27によって観察物体SM上にそれぞれ集光される。観察物体SM上で反射されたそれらの偏光は、再度、対物レンズ27を透過した後、ノマルスキープリズム26により合波される。合波された偏光は、ハーフミラー25を透過した後、検光子28を透過することにより干渉しあうことになる。そのようにして合成・干渉させた偏光を結像レンズ29に入射させることにより、CCDカメラ3上に観察物体SMの微分干渉画像が結像する。形状計測装置4は、そのように結像され、CCDカメラ3によって撮像される微分干渉画像を用いて観察物体SMの形状計測を行う。   The light linearly polarized by the retardation changing device 21 is reflected by the half mirror 25 and enters the Nomarski prism 26. Thereby, the light is divided into two linearly polarized lights orthogonal to each other by the prism 26, and the divided linearly polarized lights are respectively condensed on the observation object SM by the objective lens 27. Those polarized lights reflected on the observation object SM are again transmitted through the objective lens 27 and then combined by the Nomarski prism 26. The combined polarized light passes through the half mirror 25 and then passes through the analyzer 28 to interfere with each other. By making the combined and interfered polarized light incident on the imaging lens 29, a differential interference image of the observation object SM is formed on the CCD camera 3. The shape measuring device 4 measures the shape of the observation object SM using the differential interference image formed as such and imaged by the CCD camera 3.

図2は、その形状計測装置4の機能構成を説明する図である。図2に示すように、CCDカメラ3が撮像して電気信号に変換した微分干渉画像を取得する画像取得部41と、その取得部41が取得した微分干渉画像を対象に演算処理を行う演算処理部42と、リターデーション変化装置21を構成するモータ21cを駆動するためのモータ駆動部43と、ユーザーが各種入力を行うための入力部44と、表示装置上に画像を表示させるための表示部45と、装置4全体の制御を行う制御部46と、各種データを記憶できる記憶部47と、を備えた構成となっている。   FIG. 2 is a diagram for explaining the functional configuration of the shape measuring apparatus 4. As shown in FIG. 2, an image acquisition unit 41 that acquires a differential interference image captured by the CCD camera 3 and converted into an electrical signal, and an arithmetic process that performs arithmetic processing on the differential interference image acquired by the acquisition unit 41. Unit 42, motor drive unit 43 for driving motor 21c constituting retardation changing device 21, input unit 44 for a user to make various inputs, and display unit for displaying an image on a display device 45, a control unit 46 that controls the entire apparatus 4, and a storage unit 47 that can store various data.

上記機能構成を備えた形状計測装置4は、例えばコンピュータ(データ処理装置)に、各部41〜44、及び46を実現させるプログラムをロードすることにより実現させたものである。上記記憶部47は、例えばハードディスク装置であり、そのプログラムは記憶部47に格納されている。演算処理部42、及び制御部46は、コンピュータに搭載された資源を随時、用いつつ、CPUが記憶部47に格納されたそのプログラムを実行することで実現される。画像取得部41、及びモータ駆動部43はそれぞれ、例えば外部装置と接続するためのインターフェースであり、入力部44、及び表示部45はそれぞれ、例えばそのようなインターフェース、或いは1つ以上の装置である。例えば入力部44であれば、インターフェース、キーボード、及びマウス等のポインティングデバイスである。ここでは便宜的に、入力部44、及び表示部45はそれぞれ後者、つまり入力部44であればユーザが操作の対象となる装置やそのインターフェース等を含むものとして以降の説明を行う。   The shape measuring apparatus 4 having the above-described functional configuration is realized by loading a program that realizes the units 41 to 44 and 46 into a computer (data processing apparatus), for example. The storage unit 47 is, for example, a hard disk device, and the program is stored in the storage unit 47. The arithmetic processing unit 42 and the control unit 46 are realized by the CPU executing the program stored in the storage unit 47 while using the resources installed in the computer as needed. Each of the image acquisition unit 41 and the motor drive unit 43 is an interface for connecting to an external device, for example, and each of the input unit 44 and the display unit 45 is, for example, such an interface or one or more devices. . For example, the input unit 44 is a pointing device such as an interface, a keyboard, and a mouse. Here, for convenience, the following description will be made assuming that the input unit 44 and the display unit 45 each include the latter, that is, the input unit 44, including a device that is a target of operation by the user, its interface, and the like.

上記の構成において、その動作を説明する。
ユーザは入力部44を操作することで観察物体SMの形状計測を指示する。その指示を行うと、制御部46はモータ駆動部43に指示してモータ21cを駆動させ、予め定めたリターデーション量となるように偏光子21aを回転させる。その回転後に、画像取得部41に指示してCCDカメラ3による微分干渉画像の撮像を行わせ、その画像を取得させる。そのようにして1つの微分干渉画像を取得した後は、別のリターデーション量となるようにモータ駆動部43にモータ21cを駆動させて、そのリターデーション量での微分干渉画像の撮像を行わせる。
The operation of the above configuration will be described.
The user operates the input unit 44 to instruct the shape measurement of the observation object SM. When the instruction is given, the control unit 46 instructs the motor driving unit 43 to drive the motor 21c, and rotates the polarizer 21a so as to obtain a predetermined retardation amount. After the rotation, the image acquisition unit 41 is instructed to take a differential interference image by the CCD camera 3, and the image is acquired. After acquiring one differential interference image in this manner, the motor drive unit 43 is driven so that another retardation amount is obtained, and the differential interference image is captured with the retardation amount. .

このようにして、リターデーション量の異なる少なくとも2つの微分干渉画像を取得する。ここでは便宜的に、取得する微分干渉画像は2つ、リターデーション量はθ、−θであるとする。取得した2つの微分干渉画像は演算処理部42に送られる。   In this way, at least two differential interference images having different retardation amounts are acquired. Here, for convenience, it is assumed that two differential interference images are acquired and the retardation amounts are θ and −θ. The acquired two differential interference images are sent to the arithmetic processing unit 42.

その演算処理部42は、画像形成部51、領域分割部52、位相部53、合成部54、及び変換部55、を備えた機能構成となっている。各部51〜55は、それぞれ以下のような処理を行う。   The arithmetic processing unit 42 has a functional configuration including an image forming unit 51, a region dividing unit 52, a phase unit 53, a combining unit 54, and a converting unit 55. Each part 51-55 performs the following processes, respectively.

画像形成部51は、画像取得部41が取得した2つの微分干渉画像(画像データ)から、夫々対応する画素毎に差演算(減算)を行ってそれらの間の差分を画素のデータとする差画像Dを形成し、形成した差画像Dを用いて、観察物体SMの位相分布の微分値に関連した画像成分を持つ画像(以降「関連成分画像」と呼ぶ)を形成する。その関連成分画像は、具体的には以下のようにして形成する。   The image forming unit 51 performs a difference operation (subtraction) for each corresponding pixel from the two differential interference images (image data) acquired by the image acquisition unit 41, and uses the difference therebetween as pixel data. An image D is formed, and an image having an image component related to the differential value of the phase distribution of the observation object SM (hereinafter referred to as “related component image”) is formed using the formed difference image D. The related component image is specifically formed as follows.

特許文献2に記載されているように、差画像Dを形成することにより、従来の縞走査法と同様に位相成分を分離することができる。先ず、そのことを簡単に説明する。
特許文献1には、微分干渉顕微鏡に干渉計測で用いられている縞走査法を採用して観察物体の位相分布を計測する方法が記載されている。通常、微分干渉顕微鏡に縞走査法を採用した場合、偏光成分のリターデーション量が0、π/2、π、及び3π/2の4つの微分干渉画像を取り込み、これら4つの微分干渉画像の各画素データを用いて以下のように観察物体の位相分布の微分値を求めている。
As described in Patent Document 2, by forming the difference image D, the phase components can be separated as in the conventional fringe scanning method. First, this will be briefly described.
Patent Document 1 describes a method of measuring the phase distribution of an observation object by adopting a fringe scanning method used for interference measurement in a differential interference microscope. Normally, when the fringe scanning method is adopted in the differential interference microscope, four differential interference images having polarization component retardation amounts of 0, π / 2, π, and 3π / 2 are captured, and each of these four differential interference images is captured. The differential value of the phase distribution of the observation object is obtained using the pixel data as follows.

偏光成分のリターデーション量が例えば±π/2の微分干渉画像を取り込み、差画像を形成すると、その差画像からI(x,π/2)−I(x,3π/2)に相当する情報が得られる。これは、任意のリターデーション量でも同様である。このようなことから、差画像Dを形成することにより、観察物体SMの位相分布の微分値に関連した画像成分を形成することができる。   When a differential interference image having a polarization component retardation amount of, for example, ± π / 2 is captured and a difference image is formed, information corresponding to I (x, π / 2) −I (x, 3π / 2) is obtained from the difference image. Is obtained. The same applies to any retardation amount. For this reason, by forming the difference image D, it is possible to form an image component related to the differential value of the phase distribution of the observation object SM.

また、取り込んだリターデーション量がθ、−θである2つの微分干渉画像から、夫々対応する画素毎に加算を行ってそれらの間の合計を画素のデータとする和画像Sを形成することにより、強度成分を分離することができる。さらに、((1−cosθ)/sinθ)・(D/S)の演算を行うことにより、強度成分の変動に左右されない観察物体SMの位相分布の微分値に関連した画像成分を形成することができる。このことから、本実施の形態では、関連成分画像として、差画像Dと和画像から((1−cosθ)/sinθ)・(D/S)の演算結果で形成される画像成分を持つものを形成している。差画像Dを関連成分画像として採用しても良い。   Further, by adding each corresponding pixel from the two differential interference images whose acquired retardation amounts are θ and −θ, and forming a sum image S using the sum between them as pixel data, , The strength component can be separated. Further, by calculating ((1−cos θ) / sin θ) · (D / S), it is possible to form an image component related to the differential value of the phase distribution of the observation object SM that is not affected by the fluctuation of the intensity component. it can. Therefore, in the present embodiment, as the related component image, an image component having an image component formed by the calculation result of ((1−cos θ) / sin θ) · (D / S) from the difference image D and the sum image is used. Forming. The difference image D may be adopted as the related component image.

領域分割部52は、画像形成部51から関連成分画像を受け取り、領域分割を行う。その領域分割は、関連成分画像に存在するエッジを抽出するための処理を行い、その結果に対する2値化により行う。   The area dividing unit 52 receives the related component image from the image forming unit 51 and performs area division. The region division is performed by performing processing for extracting an edge existing in the related component image and binarizing the result.

エッジの抽出は、1次微分演算によって行うことができるが、SOBELフィルタ、或いはラプラシアンフィルタなどの2次微分系のフィルタによって行っても良い。2値化は、所定の閾値以上か否かにより行い、その閾値以上の画素の値は1、その閾値より小さい画素の値は0、とさせる。ノイズ成分を除去(カット)するために、2値化画像に対する膨張処理、及び収縮処理を行っている。   Edge extraction can be performed by a first-order differential operation, but may be performed by a second-order differential filter such as a SOBEL filter or a Laplacian filter. The binarization is performed based on whether or not the threshold value is equal to or greater than a predetermined threshold value. In order to remove (cut) the noise component, expansion processing and contraction processing are performed on the binarized image.

上述したような2値化により、関連成分画像は、画像コントラスト変化の大きい部分(1−画素部分)、そのコントラスト変化の大きくない(小さい)部分(0−画素部分)の2種類の領域に分割される。微分干渉顕微鏡2の特性により、画像コントラスト変化の大きい部分(1−画素部分)は観察物体SM上の段差部分に対応し、画像コントラスト変化の小さい部分(0−画素部分)は観察物体SM上の平面状(平面、或いは平面に近い形状)部分に対応する。位相演算部53には、関連成分画像、及び2値化(領域分割)結果が渡される。   By the binarization as described above, the related component image is divided into two types of regions, that is, a portion where the image contrast change is large (1-pixel portion) and a portion where the contrast change is not large (small) (0-pixel portion). Is done. Due to the characteristics of the differential interference microscope 2, a portion where the image contrast change is large (1-pixel portion) corresponds to a step portion on the observation object SM, and a portion where the image contrast change is small (0-pixel portion) is on the observation object SM. Corresponds to a planar (plane or near plane) portion. The phase calculation unit 53 receives the related component image and the binarization (region division) result.

位相演算部53は、関連成分画像から位相分布を演算するものであり、第1、及び第2の位相分布算出部53a、53bを備えている。第1の位相分布算出部53aは、1−画素部分(段差部分)を対象にして、微分干渉顕微鏡2の偏光成分の分離量と光学特性から求まる応答特性OTFによりデコンボリューション処理(式(4)参照)を行い、位相分布φeを算出する。第2の位相分布算出部53bは、以下のようにして、0−画素部分の位相分布φsを算出する。   The phase calculation unit 53 calculates a phase distribution from the related component image, and includes first and second phase distribution calculation units 53a and 53b. The first phase distribution calculation unit 53a targets the 1-pixel portion (stepped portion) as a deconvolution process (formula (4)) using a response characteristic OTF obtained from the polarization component separation amount and optical characteristics of the differential interference microscope 2. To obtain a phase distribution φe. The second phase distribution calculation unit 53b calculates the phase distribution φs of the 0-pixel portion as follows.

観察物体SM上の平面状部分では、光が正反射または透過するために回折成分が得にくい。それにより、微分干渉顕微鏡2における1次元画像の強度分布I(x,θ)は、次のように近似することができる。   In the planar portion on the observation object SM, light is regularly reflected or transmitted, so that it is difficult to obtain a diffraction component. Thereby, the intensity distribution I (x, θ) of the one-dimensional image in the differential interference microscope 2 can be approximated as follows.

I(x,θ)≒(C/2)m0(f’)(1−cos(2πf’+θ)) ・・・(6)
ここで、f’は平面状部分に現れる特定の周波数である。
周波数f’が十分に小さいと仮定すると、2つの偏光成分の分離方向rに対応する観察物体SM面上の位相分布の微分値(∂φs/∂r)は以下に示す式(7)または式(8)のように近似できる。
I (x, θ) ≈ (C / 2) m0 (f ′) (1-cos (2πf ′ + θ)) (6)
Here, f ′ is a specific frequency appearing in the planar portion.
Assuming that the frequency f ′ is sufficiently small, the differential value (∂φs / ∂r) of the phase distribution on the observation object SM surface corresponding to the separation direction r of the two polarization components is expressed by the following equation (7) or It can be approximated as in (8).

∂φs/∂r≒D ・・・ (7)
∂φs/∂r≒((1−cosθ)/sinθ)・(D/S) ・・・ (8)
このようなことから、第2の位相分布算出部53bは、微分干渉顕微鏡2の偏光成分の分離量を用いた積分処理を行うことにより位相分布φsを算出する。
∂φs / ∂r≈D (7)
∂φs / ∂r≈ ((1-cos θ) / sin θ) · (D / S) (8)
For this reason, the second phase distribution calculation unit 53b calculates the phase distribution φs by performing an integration process using the polarization component separation amount of the differential interference microscope 2.

上述したようにして、本実施の形態では、関連成分画像を画像コントラスト変化の大きさに応じて2種類の領域に分割し、分割した領域毎に、その種類にとって適切な処理を行い、位相分布φを算出する。このため、有効桁数を大きくするなどの対応を採用しなくとも、観察物体SMの形状に係わらず、常に高精度に位相分布φを算出(計測)することができる。従って、そのような対応を採用することによって処理時間がより長くなる、必要なメモリ量がより大きくなる、といったようなことは確実に回避できることとなる。   As described above, in the present embodiment, the related component image is divided into two types of regions according to the magnitude of the image contrast change, and processing appropriate to the type is performed for each divided region to obtain the phase distribution. Calculate φ. Therefore, the phase distribution φ can always be calculated (measured) with high accuracy regardless of the shape of the observation object SM, without adopting measures such as increasing the number of significant digits. Therefore, by adopting such a correspondence, it is possible to reliably avoid the processing time becoming longer and the required memory amount becoming larger.

位相分布φの算出は、リターデーション量が同じ、或いはほぼ同じで符号が異なる2つの微分干渉画像から行っている。それにより、特許文献2に記載された技術と比較して、より少ない画像から位相分布φを算出している。このため、観察物体SMの撮像はより短時間に行えるようになり、位相分布φはより迅速、且つ容易に得られることとなる。   The calculation of the phase distribution φ is performed from two differential interference images having the same or almost the same retardation amount but different signs. Accordingly, the phase distribution φ is calculated from fewer images compared to the technique described in Patent Document 2. Therefore, the imaging of the observation object SM can be performed in a shorter time, and the phase distribution φ can be obtained more quickly and easily.

合成部54は、位相演算部53から、第1、及び第2の位相分布算出部53a、53bがそれぞれ算出した位相分布φe、φs、及び2値化結果を受け取る。それら位相分布φe、φsは、領域毎に算出されたものである。このことから、合成部54は、2値化結果を参照して、それらのデータの合成を行う。その合成は、より具体的には以下のようにして行っている。   The synthesizer 54 receives from the phase calculator 53 the phase distributions φe and φs calculated by the first and second phase distribution calculators 53a and 53b, respectively, and the binarization result. The phase distributions φe and φs are calculated for each region. Therefore, the synthesizing unit 54 synthesizes the data with reference to the binarization result. More specifically, the synthesis is performed as follows.

先ず、2値化結果(2値化画像)を参照し、例えば1−画素部分の連結性を調べることにより、1−画素が形成している領域を全て特定し、特定した領域を連結成分集合CEの要素としてまとめる。同様に、0−画素が形成している領域を全て特定し、特定した領域を連結成分集合CSの要素としてまとめる。それらをまとめた後は、連結成分集合CE、CSをそれぞれ構成する要素(領域)間の包含関係の判定を行う。位相分布φe、φsの合成は、判定した包含関係を考慮して行う。   First, referring to the binarization result (binarized image), for example, by examining the connectivity of the 1-pixel portion, all areas formed by 1-pixels are specified, and the specified areas are connected component sets. Summarize as CE elements. Similarly, all the areas formed by 0-pixels are specified, and the specified areas are collected as elements of the connected component set CS. After putting them together, the inclusion relationship between the elements (regions) constituting the connected component sets CE and CS is determined. The phase distributions φe and φs are combined in consideration of the determined inclusion relationship.

図6は、合成部54によるデータ合成方法を説明する図である。ここで、図6を参照し、そのデータ合成方法についてより具体的に説明する。その図6では、上方にCS0、CE0等の領域を有する観察物体SMの画像を、下方にはその画像に引いたラインL上の位相成分φをそれぞれ表している。例えばCS0は連結成分集合CSに属する0番目の要素を表している。他のCS1、CE0も同様である。このことから、図6に示す例では、要素間の包含関係は、要素CS1は要素CE0に包含され、その要素CE0は要素CS0に包含されているというものとなる。ここでは、要素CS0上の点Aでの元の位相成分(位相値)はφAと表記し、他の点B〜Dでの位相成分(位相値)も同様に表記する。合成後の位相成分)位相値)は「’」を付して表記する。   FIG. 6 is a diagram for explaining a data synthesis method by the synthesis unit 54. Here, the data synthesis method will be described more specifically with reference to FIG. In FIG. 6, an image of the observation object SM having regions such as CS0 and CE0 above is shown, and a phase component φ on the line L drawn on the image is shown below. For example, CS0 represents the 0th element belonging to the connected component set CS. The same applies to the other CS1 and CE0. Therefore, in the example shown in FIG. 6, the inclusion relationship between the elements is that the element CS1 is included in the element CE0, and the element CE0 is included in the element CS0. Here, the original phase component (phase value) at the point A on the element CS0 is expressed as φA, and the phase components (phase values) at the other points B to D are also expressed in the same manner. The phase component after synthesis) and the phase value) are indicated with “′”.

領域毎に位相成分φの算出を行っていることから、図6に示すように、元の位相成分φは要素(領域)の境界で不連続となっている。しかし、そのような不連続は実際には生じない。このことから、その不連続性を解消するためにデータ合成を行っている。   Since the phase component φ is calculated for each region, as shown in FIG. 6, the original phase component φ is discontinuous at the boundary of the element (region). However, such discontinuities do not actually occur. For this reason, data synthesis is performed to eliminate the discontinuity.

本実施の形態では、不連続性の解消、つまりデータ合成は、境界を形作る一方の要素における位相成分φを他方の要素の位相成分φに合わせる形で行っている。そのようにして不連続性を解消させる場合、位相成分φを操作するほうを適切に選択する必要がある。そうしないと、或る境界で不連続性を解消させた影響が他の境界に及ぼし、不連続性を解消できないことも発生するためである。図6に示す例では、例えば点Bの位相成分φBを点Aの位相成分φAに合わせた後、点Cの位相成分φCを点Dの位相成分φDに合わせると、合わせた点B、Aの位相成分φB、φAは合わなくなってしまうためである。そのようなことを回避するために、要素間の包含関係を考慮して、位相成分φを操作する側を決定している。   In the present embodiment, discontinuity elimination, that is, data synthesis, is performed by matching the phase component φ of one element forming the boundary with the phase component φ of the other element. In order to eliminate the discontinuity as described above, it is necessary to appropriately select the operation of the phase component φ. Otherwise, the effect of eliminating the discontinuity at a certain boundary will affect other boundaries and the discontinuity may not be resolved. In the example shown in FIG. 6, for example, after the phase component φB at the point B is matched with the phase component φA at the point A, the phase component φC at the point C is matched with the phase component φD at the point D. This is because the phase components φB and φA are not matched. In order to avoid such a situation, the side on which the phase component φ is operated is determined in consideration of the inclusion relationship between the elements.

図6に示す例では、要素CE0は要素CS1を包含し、要素CS0は要素CE0を包含する関係となっている。このことから、要素CS0、CS1、及びCE0のみを対象にする場合には、例えば要素CS0とCE0間、要素CE0とCS1間の順序でデータ合成を行う。それにより、要素CS0を基準にする形でデータ合成を行う。   In the example shown in FIG. 6, the element CE0 includes the element CS1, and the element CS0 includes the element CE0. Therefore, when only the elements CS0, CS1, and CE0 are targeted, data synthesis is performed in the order between the elements CS0 and CE0 and between the elements CE0 and CS1, for example. Thereby, data composition is performed in a form based on the element CS0.

要素CS0を基準にする場合、位相成分φAはφ’Aとして扱う。それにより、位相成分φ’AとφBの差(=φ’A−φB)を用いて要素CE0の位相成分φへの操作を行い、それらの合成を行う。その結果、位相成分φ’B、φ’Cはそれぞれ以下のようになる。   When the element CS0 is used as a reference, the phase component φA is treated as φ′A. As a result, an operation is performed on the phase component φ of the element CE0 using the difference (= φ′A−φB) between the phase components φ′A and φB to synthesize them. As a result, the phase components φ′B and φ′C are as follows.

φ’B=φB+|φ’A−φB|、φ’C=φC+|φ’A−φB| ・・・(9)
要素CS1の位相成分φへの操作も同様に、位相成分φ’CとφDの差(=φ’C−φD)を用いて行う。その結果、位相成分φ’Dは以下のようになる。
φ′B = φB + | φ′A−φB |, φ′C = φC + | φ′A−φB | (9)
Similarly, the operation on the phase component φ of the element CS1 is performed using the difference between the phase components φ′C and φD (= φ′C−φD). As a result, the phase component φ′D is as follows.

φ’D=φD+|φ’C−φD ・・・(10)
要素間の包含関係を参照することにより、上述したようにして、基準とする要素と隣接する要素、その隣接する要素に隣接する要素、といった順序で注目する要素を変更しながらデータ合成を行う。それにより、要素間で位相成分φの不連続が生じないように、適切に合成を行っている。合成後のデータ(位相成分)が変換部55に送られる。
φ′D = φD + | φ′C−φD (10)
By referring to the inclusion relationship between the elements, as described above, data synthesis is performed while changing the element of interest in the order of the element adjacent to the reference element and the element adjacent to the adjacent element. Thereby, the composition is appropriately performed so that the discontinuity of the phase component φ does not occur between the elements. The combined data (phase component) is sent to the conversion unit 55.

変換部55は、以下のようにして位相成分φの高さhへの変換を行う。
h=k・φ ・・・(11)
式(11)中のkは、光源1から射出される光の波長をλとするとき、微分干渉顕微鏡2は観察物体SMを反射観察するタイプであることから、k=λ/(4π(n−1))である。観察物体SMを透過観察するタイプであった場合には、k=λ/(2π(n−1))である。透過観察するタイプであれば、観察物体SMが透明であっても形状計測を行うことができる。
The conversion unit 55 converts the phase component φ to the height h as follows.
h = k · φ (11)
K in the equation (11) is a type in which the differential interference microscope 2 reflects and observes the observation object SM when the wavelength of the light emitted from the light source 1 is λ, and therefore k = λ / (4π (n -1)). When the observation object SM is of a type that transmits and observes, k = λ / (2π (n−1)). If it is a type that performs transmission observation, shape measurement can be performed even if the observation object SM is transparent.

変換部55は各点で高さhを算出する。それにより、1画像分の高さ情報を生成し、制御部46に送る。制御部46は、その高さ情報を記憶部47に記憶させるか、或いはそれを表示部45に表示させる。   The conversion unit 55 calculates the height h at each point. Thereby, height information for one image is generated and sent to the control unit 46. The control unit 46 stores the height information in the storage unit 47 or displays it on the display unit 45.

図4は、演算処理のフローチャートである。上記演算処理部42は、その演算処理をCPUが実行することにより実現される。次に図4を参照して、その演算処理について詳細に説明する。その演算処理を実現させるプログラムは記憶部47に記憶されている。そのプログラムは、例えばユーザが入力部44を操作して、観察物体SMの形状計測を指示することで起動される。   FIG. 4 is a flowchart of the calculation process. The arithmetic processing unit 42 is realized by the CPU executing the arithmetic processing. Next, the arithmetic processing will be described in detail with reference to FIG. A program for realizing the arithmetic processing is stored in the storage unit 47. The program is activated, for example, when the user operates the input unit 44 to instruct the shape measurement of the observation object SM.

先ず、ステップS1では、モータ駆動部43によりリターデーション変化装置21の偏光子21aを回転させ、画像取得部41によりCCDカメラ3に撮像を行わせることにより、リターデーション量がθ、−θの2つの微分干渉画像を順次、取得し、それらの微分干渉画像から差画像D、和画像Sを形成し、形成した差画像D、及び和画像Sを用いて関連成分画像を形成する。その関連成分画像を形成した後はステップS2に移行する。演算処理部42を構成する画像形成部51は、このステップS1を実行することで実現される。   First, in step S1, the polarizer 21a of the retardation changing device 21 is rotated by the motor drive unit 43, and the CCD camera 3 is imaged by the image acquisition unit 41, so that the retardation amounts are 2 of θ and −θ. Two differential interference images are sequentially acquired, a difference image D and a sum image S are formed from the differential interference images, and a related component image is formed using the formed difference image D and sum image S. After the related component image is formed, the process proceeds to step S2. The image forming unit 51 constituting the arithmetic processing unit 42 is realized by executing this step S1.

ステップS2では、関連成分画像上のエッジを抽出し、その抽出結果を用いて領域分割を行う。その分割後は、画像コントラスト変化が比較的に大きい領域はステップS3で位相成分φeの算出を行い、その変化が比較的に大きくない(小さい)領域はステップS4で位相成分φsの算出を行う。そのようにして種類別に領域の位相成分φを算出した後はステップS5に移行する。演算処理部42を構成する領域分割部52はステップS2、位相演算部53はステップS3、及びS4をそれぞれ実行することで実現される。位相演算部53では、より具体的には、第1の位相分布算出部53aはステップS3、第2の位相分布算出部53bはステップS4をそれぞれ実行することで実現される。   In step S2, an edge on the related component image is extracted, and region extraction is performed using the extraction result. After the division, the phase component φe is calculated in step S3 in a region where the image contrast change is relatively large, and the phase component φs is calculated in step S4 in a region where the change is not relatively large (small). Thus, after calculating the phase component φ of the region for each type, the process proceeds to step S5. The area dividing unit 52 constituting the calculation processing unit 42 is realized by executing Step S2, and the phase calculation unit 53 is executed by executing Steps S3 and S4. More specifically, in the phase calculation unit 53, the first phase distribution calculation unit 53a is realized by executing step S3, and the second phase distribution calculation unit 53b is executed by executing step S4.

ステップS5では、種類別に算出した領域の位相分布φを合成するためのデータ合成処理を行う。続くステップS6では、その合成処理の実行により得られる観察物体SMの微分干渉画像全体の位相成分φを高さに変換する処理を行う(式(11))。そのようにして得られた高さの情報を記憶部47に格納するか、或いは表示部45に表示させた後、一連の処理を終了する。合成部54はステップS5、変換部55はステップS6をそれぞれ実行することで実現される。   In step S5, a data synthesis process for synthesizing the phase distribution φ of the region calculated for each type is performed. In subsequent step S6, a process of converting the phase component φ of the entire differential interference image of the observation object SM obtained by executing the synthesis process into a height is performed (formula (11)). The height information thus obtained is stored in the storage unit 47 or displayed on the display unit 45, and then a series of processing is terminated. The combining unit 54 is realized by executing step S5, and the converting unit 55 is executed by executing step S6.

微分干渉画像によっては、その全体を段差部分、或いは平面状部分と見なすことがありうる。そのような画像を取得した場合、ステップS3、及びS4の一方のみが実行される。ステップS5のデータ合成処理では実質的にデータ合成は行われなくなる。   Depending on the differential interference image, the entire image may be regarded as a stepped portion or a planar portion. When such an image is acquired, only one of steps S3 and S4 is executed. In the data synthesizing process in step S5, data synthesis is substantially not performed.

図5は、上記ステップS5として実行されるデータ合成処理のフローチャートである。次に図5を参照して、データ合成処理について詳細に説明する。そのデータ合成処理は、上述したように、ステップS2での領域の分割結果を考慮して行われる。   FIG. 5 is a flowchart of the data composition process executed as step S5. Next, the data composition process will be described in detail with reference to FIG. As described above, the data synthesizing process is performed in consideration of the region division result in step S2.

先ず、ステップS11では、その分割結果を参照しつつ、1−画素部分の連結性を調べることにより、1−画素が形成している領域を全て特定し、特定した領域を連結成分集合CEの要素として抽出する。続くステップS12では同様に、0−画素が形成している領域を全て特定し、特定した領域を連結成分集合CSの要素として抽出する。その後はステップS13に移行する。   First, in step S11, by referring to the division result, the connectivity of the 1-pixel portion is examined to identify all regions formed by 1-pixels, and the identified regions are identified as elements of the connected component set CE. Extract as Similarly, in the subsequent step S12, all the areas formed by the 0-pixels are specified, and the specified areas are extracted as elements of the connected component set CS. Thereafter, the process proceeds to step S13.

ステップS13では、連結成分集合CE、CSをそれぞれ構成する要素(領域)間の包含関係の判定を行う。その次に移行するステップS14では、判定した包含関係を考慮して、各領域で算出した位相分布φの合成を行う。一連の処理は、その合成を行った後に終了する。   In step S13, the inclusion relation between the elements (regions) constituting the connected component sets CE and CS is determined. In the next step S14, the phase distribution φ calculated in each region is synthesized in consideration of the determined inclusion relation. A series of processing ends after the synthesis.

上述したように、包含関係を判定し、それを考慮して位相分布φの合成を行うことにより、位相成分φ(データ)の合成を適切に行うことができる。
なお、第1の実施の形態では、位相分布φから高さhへの変換を合成後に行っているが、合成前に行うようにしても良い。
<第2の実施の形態>
上記第1の実施の形態では、差画像D、及び和画像Sを用いて関連成分画像の形成を行っている。これに対し、第2の実施の形態は、差画像D、及び積画像Mを用いて関連成分画像の形成を行うようにしたものである。その積画像Mは、画像取得部41が取得した2つの微分干渉画像(画像データ)から、夫々対応する画素毎に積演算(乗算)を行ってそれらの乗算値を画素のデータとして持つものである。
As described above, it is possible to appropriately synthesize the phase component φ (data) by determining the inclusion relationship and synthesizing the phase distribution φ in consideration thereof.
In the first embodiment, the conversion from the phase distribution φ to the height h is performed after the synthesis, but may be performed before the synthesis.
<Second Embodiment>
In the first embodiment, the related component image is formed using the difference image D and the sum image S. On the other hand, in the second embodiment, the related component image is formed using the difference image D and the product image M. The product image M is obtained by performing product operation (multiplication) for each corresponding pixel from the two differential interference images (image data) acquired by the image acquisition unit 41 and having those multiplication values as pixel data. is there.

第2の実施の形態による形状計測装置の構成は基本的に第1の実施の形態におけるそれと同じである。動作も大部分は同じか、或いは基本的に同じである。このようなことから、第1の実施の形態の説明で付した符号をそのまま用いて、第1の実施の形態から異なる部分についてのみ説明する。   The configuration of the shape measuring apparatus according to the second embodiment is basically the same as that in the first embodiment. The operation is largely the same or basically the same. For this reason, only the parts different from the first embodiment will be described using the reference numerals in the description of the first embodiment as they are.

第2の実施の形態では、差画像D、及び積画像Mは、リターデーション量がπ/2、−π/2の2つの微分干渉画像から形成する。画像形成部51は、それら差画像D、及び積画像Mを用いて、tan-1[D/(2√M)]を算出することにより関連成分画像を形成している。 In the second embodiment, the difference image D and the product image M are formed from two differential interference images having retardation amounts of π / 2 and −π / 2. The image forming unit 51 forms a related component image by calculating tan −1 [D / (2√M)] using the difference image D and the product image M.

第1の実施の形態では、差画像D、及び和画像Sを用いた((1−cosθ)/sinθ)・(D/S)の演算を行い、関連成分画像を形成している。そのように関連成分画像を形成することにより、従来の縞走査法(式(5))と相当な情報を得ることができるが、完全に一致しているわけではない。しかし、tan-1[D/(2√M)]の演算を行う場合、その縞走査法と一致する情報を得ることができる。 In the first embodiment, the calculation of ((1-cos θ) / sin θ) · (D / S) using the difference image D and the sum image S is performed to form a related component image. By forming the related component image in this way, considerable information can be obtained with the conventional fringe scanning method (formula (5)), but it is not completely consistent. However, when tan -1 [D / (2√M)] is calculated, information consistent with the fringe scanning method can be obtained.

第2の実施の形態では、画像形成部51は上述したようにして関連成分画像を形成する。演算処理部42を構成する他の各部52〜55は第1の実施の形態と同様の処理を行う。このことから、図4に示す演算処理では、ステップS1の処理内容に相違する部分がある。   In the second embodiment, the image forming unit 51 forms a related component image as described above. The other units 52 to 55 constituting the arithmetic processing unit 42 perform the same processing as in the first embodiment. For this reason, in the arithmetic processing shown in FIG. 4, there is a difference in the processing content of step S1.

上述したようにして形成される関連成分画像上の平面状部分での画像成分は、位相成分φsの微分値∂φs/∂rと以下のような関係が成り立つ。
∂φs/∂r=tan-1[D/(2√M)] ・・・ (12)
このことから、その平面状部分では第1の実施の形態と同様に積分処理を行う。
The image component in the planar portion on the related component image formed as described above has the following relationship with the differential value ∂φs / ∂r of the phase component φs.
∂φs / ∂r = tan −1 [D / (2√M)] (12)
Therefore, integration processing is performed on the planar portion in the same manner as in the first embodiment.

図7は、第2の実施の形態で扱う各種画像を説明する図である。図7(a)はリターデーション量がπ/2の微分干渉画像、図7(b)はリターデーション量が−π/2の微分干渉画像、図7(c)はそれら微分干渉画像から得られた、形状、または位相分布の微分値の画像化結果(関連成分画像)、及び図7(d)は最終的に再生された形状、または位相分布結果(の三次元図)、である。   FIG. 7 is a diagram for explaining various images handled in the second embodiment. FIG. 7A shows a differential interference image with a retardation amount of π / 2, FIG. 7B shows a differential interference image with a retardation amount of −π / 2, and FIG. 7C shows the differential interference image. Further, the imaging result (related component image) of the differential value of the shape or phase distribution, and FIG. 7D are the finally reproduced shape or phase distribution result (three-dimensional diagram thereof).

図7(a)〜(d)は、段差部分と平坦な部分が交互に並んだ形状の観察物体SMの形状計測を行った場合のものである。そのような観察物体SMであっても、図7(d)から明らかなように、その全体像を正確に再生することができる。これは、第1の実施の形態でも同様である。   FIGS. 7A to 7D show a case where the shape of the observation object SM having a shape in which stepped portions and flat portions are alternately arranged is measured. Even with such an observation object SM, the entire image can be accurately reproduced as is apparent from FIG. The same applies to the first embodiment.

なお、本実施の形態(第1、及び第2の実施の形態)では、リターデーション量が異なる2つの微分干渉画像から観察物体SMの形状計測を行うようにしているが、微分干渉画像はそれよりも多くしても良い。例えばリターデーション量が0、π/2、及び3π/2の3つの微分干渉画像を用いて形状計測を行うようにしても良い。リターデーション量の組み合わせ、画像の数は別のものであっても良い。   In this embodiment (the first and second embodiments), the shape of the observation object SM is measured from two differential interference images having different retardation amounts. May be more. For example, shape measurement may be performed using three differential interference images with retardation amounts of 0, π / 2, and 3π / 2. The combination of retardation amounts and the number of images may be different.

関連成分画像を対象にした領域分割は、コントラスト変化の大きさに注目して、それが比較的に大きいか否かにより2種類の領域に分けることで行っているが、それよりも多くの種類に領域を分けるようにしても良い。各領域での位相成分φの算出は、その種類にとって適切な処理方法であれば別の処理方法を任意に採用しても良い。   Region segmentation for related component images is performed by focusing on the magnitude of contrast change and dividing it into two types of regions depending on whether it is relatively large or not. You may make it divide an area | region into. For the calculation of the phase component φ in each region, another processing method may be arbitrarily adopted as long as the processing method is appropriate for the type.

その微分干渉画像は微分干渉顕微鏡2から直接、取得する形となっているが、通信ネットワーク、或いは可搬性の記録媒体を介して取得しても良い。図2に示す各部41〜46の全て、或いはその一部を実現させるプログラムも同様に、通信ネットワーク、或いは記録媒体を介してコンピュータ(データ処理装置)にロードするようにしても良い。そのようにした場合には、コンピュータ、或いは既存の形状計測装置にそのプログラムをロードすることにより、本発明を適用した形状計測装置を実現させることができる。本発明の要旨を逸脱しない範囲内で上述した以外の種々の変形を行っても良い。   The differential interference image is acquired directly from the differential interference microscope 2, but may be acquired via a communication network or a portable recording medium. Similarly, a program that realizes all or a part of each of the units 41 to 46 shown in FIG. 2 may be loaded into a computer (data processing apparatus) via a communication network or a recording medium. In such a case, the shape measuring apparatus to which the present invention is applied can be realized by loading the program into a computer or an existing shape measuring apparatus. Various modifications other than those described above may be made without departing from the scope of the present invention.

第1の実施の形態による形状計測装置が採用された形状計測用システムの構成図である。1 is a configuration diagram of a shape measuring system in which a shape measuring device according to a first embodiment is employed. 第1の実施の形態による形状計測装置の機能構成を説明する図である。It is a figure explaining the functional composition of the shape measuring device by a 1st embodiment. リターデーション変化装置の構成を説明する図である。It is a figure explaining the structure of a retardation change apparatus. 演算処理のフローチャートである。It is a flowchart of a calculation process. データ合成処理のフローチャートである。It is a flowchart of a data composition process. データ合成方法を説明する図である。It is a figure explaining a data composition method. 第2の実施の形態で扱う各種画像を説明する図である。It is a figure explaining the various images handled by 2nd Embodiment.

符号の説明Explanation of symbols

1 光源
2 微分干渉顕微鏡
3 CCDカメラ
4 形状計測装置
21 リターデーション変化装置
41 画像取得部
42 演算処理部
43 モータ駆動部
44 入力部
45 表示部
46 制御部
47 記憶部
51 画像形成部
52 領域分割部
53 位相演算部
53a 第1の位相分布算出部
53b 第2の位相分布算出部
54 合成部
55 変換部

DESCRIPTION OF SYMBOLS 1 Light source 2 Differential interference microscope 3 CCD camera 4 Shape measuring device 21 Retardation change device 41 Image acquisition part 42 Operation processing part 43 Motor drive part 44 Input part 45 Display part 46 Control part 47 Storage part 51 Image formation part 52 Area division part 53 Phase calculator 53a First phase distribution calculator 53b Second phase distribution calculator 54 Synthesizer 55 Converter

Claims (8)

観察物体の偏光成分のリターデーション量が異なる少なくとも2つの微分干渉画像から該観察物体の形状の計測を行う形状計測装置であって、
前記微分干渉画像を取得する画像取得手段と、
前記画像取得手段により取得した少なくとも2つの微分干渉画像から、前記観察物体の位相分布の微分値に関連した画像成分を持つ関連成分画像を形成する画像形成手段と、
前記画像形成手段が形成した関連成分画像をコントラストに注目して1種類以上の領域に分割する領域分割手段と、
前記領域分割手段が分割した領域毎に、該領域の種類に応じた処理を行い、前記位相分布の形成を行う成分形成手段と、を具備し、
前記成分形成手段は、前記領域の種類に応じた処理として、前記コントラストの変化が比較的に大きい種類の領域では前記微分干渉画像を撮像した微分干渉顕微鏡での前記偏光成分の分離量、及び該微分干渉顕微鏡の光学特性から求まる応答特性を用いたデコンボリューション処理を行い、該コントラストの変化が比較的に大きくない種類の領域では該偏光成分の分離量を用いた積分処理を行う、
ことを特徴とする形状計測装置。
A shape measurement device that measures the shape of an observation object from at least two differential interference images having different amounts of retardation of the polarization component of the observation object,
Image acquisition means for acquiring the differential interference image;
From at least two differential interference image acquired by the image acquiring means, image forming means for forming an associated component image having image components associated with the differential value of the phase distribution before Symbol observation object,
A region dividing unit that divides the related component image formed by the image forming unit into one or more types of regions focusing on contrast;
For each region divided by the region dividing unit, a process according to the type of the region is performed, and a component forming unit that forms the phase distribution, and
The component forming means, as a process according to the type of the region, the separation amount of the polarization component in the differential interference microscope that has captured the differential interference image in the region of the type where the change in contrast is relatively large, and the Perform deconvolution processing using response characteristics obtained from the optical characteristics of the differential interference microscope, and perform integration processing using the separation amount of the polarization component in a region where the change in contrast is not relatively large.
A shape measuring apparatus characterized by that.
前記領域分割手段が前記関連成分画像を複数種類の領域に分割した場合に、前記成分形成手段が前記領域毎に形成する前記位相分布の合成を行い、前記観察物体の位相分布を再生する合成手段、
を更に具備することを特徴とする請求項1記載の形状計測装置。
When the region dividing unit divides the related component image into a plurality of types of regions, the component forming unit combines the phase distribution formed for each region and reproduces the phase distribution of the observation object. ,
The shape measuring apparatus according to claim 1, further comprising:
前記合成手段は、前記領域分割手段が分割した領域間の包含関係を考慮して、前記合成を行う、
ことを特徴とする請求項2記載の形状計測装置。
The synthesizing means performs the synthesis in consideration of an inclusion relationship between the areas divided by the area dividing means;
The shape measuring apparatus according to claim 2.
前記画像形成手段は、前記画像取得手段により取得した少なくとも2つの微分干渉画像から、夫々対応する画素毎に減算を行い、前記画像成分を持つ関連成分画像を形成する、
ことを特徴とする請求1記載の形状計測装置。
The image forming unit performs subtraction for each corresponding pixel from at least two differential interference images acquired by the image acquisition unit to form a related component image having the image component.
The shape measuring apparatus according to claim 1.
前記画像形成手段は、前記画像取得手段により取得した少なくとも2つの微分干渉画像から、夫々対応する画素毎に減算を行って得られる差画像、及び夫々対応する画素毎に加算を行って得られる和画像をそれぞれ形成し、該形成した差画像、及び和画像を用いて前記関連成分画像を形成する、
ことを特徴とする請求1記載の形状計測装置。
The image forming unit includes a difference image obtained by performing subtraction for each corresponding pixel from at least two differential interference images acquired by the image acquisition unit, and a sum obtained by performing addition for each corresponding pixel. Forming each image, and forming the related component image using the formed difference image and the sum image;
The shape measuring apparatus according to claim 1.
前記画像形成手段は、前記画像取得手段により取得した少なくとも2つの微分干渉画像から、夫々対応する画素毎に減算を行って得られる差画像、及び夫々対応する画素毎に乗算を行って得られる積画像をそれぞれ形成し、該形成した差画像、及び積画像を用いて前記関連成分画像を形成する、
ことを特徴とする請求1記載の形状計測装置。
The image forming means includes a difference image obtained by subtracting each corresponding pixel from at least two differential interference images obtained by the image obtaining means, and a product obtained by multiplying each corresponding pixel. Forming each image, and forming the related component image using the formed difference image and product image;
The shape measuring apparatus according to claim 1.
前記領域分割手段は、前記コントラストに注目することにより、該コントラストの変化の大きさに応じて2種類の領域に前記関連成分画像を分割する、
ことを特徴とする請求1、2、または3記載の形状計測装置。
The region dividing unit divides the related component image into two types of regions according to the magnitude of the contrast change by paying attention to the contrast.
The shape measuring apparatus according to claim 1, 2, or 3.
観察物体の偏光成分のリターデーション量が異なる少なくとも2つの微分干渉画像から該観察物体の形状の計測を行う形状計測装置として用いられるコンピュータに、
前記微分干渉画像を取得する機能と、
前記取得する機能により取得した少なくとも2つの微分干渉画像から、前記観察物体の位相分布の一方の微分値に関連した画像成分を持つ関連成分画像を形成する機能と、
前記形成する機能により形成した関連成分画像をコントラストに注目して1種類以上の領域に分割する機能と、
前記分割する機能により分割した領域毎に、該領域の種類に応じた処理を行い、前記位相分布の形成を行う機能と、を実現させ、
前記位相分布の形成を行う機能により、前記領域の種類に応じた処理として、前記コントラストの変化が比較的に大きい種類の領域では前記微分干渉画像を撮像した微分干渉顕微鏡での前記偏光成分の分離量、及び該微分干渉顕微鏡の光学特性から求まる応答特性を用いたデコンボリューション処理を行い、該コントラストの変化が比較的に大きくない種類の領域では該偏光成分の分離量を用いた積分処理を行う、
ことを特徴とするプログラム。
In a computer used as a shape measuring device for measuring the shape of an observation object from at least two differential interference images having different retardation amounts of the polarization component of the observation object,
A function of acquiring the differential interference image;
From at least two differential interference image acquired by the function of the obtaining, the function of forming an associated component image having image components associated with one of the differential value of the phase distribution before Symbol observation object,
A function of dividing the related component image formed by the function to be formed into one or more types of regions by paying attention to contrast;
For each of the areas divided by the function of dividing, the processing according to the type of the area is performed, and the function of forming the phase distribution is realized,
As a process corresponding to the type of the region, the polarization component is separated by a differential interference microscope that captures the differential interference image in a region having a relatively large change in contrast as a process according to the type of the region by the function of forming the phase distribution. And a deconvolution process using a response characteristic obtained from the optical characteristics of the differential interference microscope, and an integration process using a separation amount of the polarization component in a region where the contrast change is not relatively large ,
A program characterized by that.
JP2005122485A 2005-04-20 2005-04-20 Shape measuring apparatus and program Active JP4718231B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2005122485A JP4718231B2 (en) 2005-04-20 2005-04-20 Shape measuring apparatus and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2005122485A JP4718231B2 (en) 2005-04-20 2005-04-20 Shape measuring apparatus and program

Publications (2)

Publication Number Publication Date
JP2006300714A JP2006300714A (en) 2006-11-02
JP4718231B2 true JP4718231B2 (en) 2011-07-06

Family

ID=37469180

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005122485A Active JP4718231B2 (en) 2005-04-20 2005-04-20 Shape measuring apparatus and program

Country Status (1)

Country Link
JP (1) JP4718231B2 (en)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6124774B2 (en) 2013-03-22 2017-05-10 オリンパス株式会社 Phase distribution measuring method and phase distribution measuring apparatus
JP6253400B2 (en) * 2013-12-26 2017-12-27 オリンパス株式会社 Image forming method and image forming apparatus

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07239212A (en) * 1994-02-28 1995-09-12 Nikon Corp Position detector
JP2000098253A (en) * 1998-09-22 2000-04-07 Olympus Optical Co Ltd Device for detecting physycal quantity of observed object and detecting method using the same
JP2001159736A (en) * 1999-09-20 2001-06-12 Olympus Optical Co Ltd Method for detecting physical quantity of observation object and detector using the same

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07239212A (en) * 1994-02-28 1995-09-12 Nikon Corp Position detector
JP2000098253A (en) * 1998-09-22 2000-04-07 Olympus Optical Co Ltd Device for detecting physycal quantity of observed object and detecting method using the same
JP2001159736A (en) * 1999-09-20 2001-06-12 Olympus Optical Co Ltd Method for detecting physical quantity of observation object and detector using the same

Also Published As

Publication number Publication date
JP2006300714A (en) 2006-11-02

Similar Documents

Publication Publication Date Title
JP5818218B2 (en) Method, apparatus, and program for analyzing phase distribution of fringe image using high-dimensional luminance information
Singh Mehta et al. Quantitative phase imaging of human red blood cells using phase-shifting white light interference microscopy with colour fringe analysis
US20100141752A1 (en) Microscope System, Specimen Observing Method, and Computer Program Product
JP4978470B2 (en) Microscope apparatus and observation method
CN105758799B (en) A kind of super-resolution array virtual architecture optical illumination imaging device and its imaging method
US20080069467A1 (en) Methods and devices for miages processing with higher harmonics of an illumination grating
WO2013040345A1 (en) Systems and methods of dual-plane digital holograghic microscopy
EP3712596A1 (en) Quantitative phase image generating method, quantitative phase image generating device, and program
JP5743419B2 (en) Shape measuring method and apparatus and strain measuring method and apparatus
JP2015132509A (en) Image data acquiring system, and image data acquiring method
CN110914634A (en) Holographic interferometry method and system
CN105510229B (en) A kind of super-resolution virtual architecture optical illumination imaging device and its imaging method
TW202020400A (en) Surface shape measurement device and surface shape measurement method
JP4718231B2 (en) Shape measuring apparatus and program
JP2008216778A (en) Structured illuminating microscope
JP2010276540A (en) Living tissue surface analyzer, living tissue surface analysis program, and living tissue surface analysis method
JP2013186089A (en) Surface shape measurement method and measurement device
US9618452B2 (en) Fluorescence hyperspectral microscopy system featuring structured illumination and parallel recording comprising a frequency-dividing reflection element
JP4756148B2 (en) Gloss / color reproduction system, gloss / color reproduction program
JP2009300589A (en) Microscope apparatus
WO2017159387A1 (en) Observing device and observing method
US9282304B1 (en) Full-color images produced by white-light interferometry
KR101501512B1 (en) 2D Phase-Matched Nonlinear Optical Structured Illumination Microscopy Apparatus and Method of The Same
JP5518187B2 (en) Deformation measurement method
JP2006084334A (en) Method and device for measuring surface shape and/or film thickness

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20080415

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20101007

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20101019

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20101207

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110111

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110228

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110329

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110331

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140408

Year of fee payment: 3

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250