JP5003112B2 - 磁区観察方法、磁区観察装置および磁区観察プログラム - Google Patents

磁区観察方法、磁区観察装置および磁区観察プログラム Download PDF

Info

Publication number
JP5003112B2
JP5003112B2 JP2006310419A JP2006310419A JP5003112B2 JP 5003112 B2 JP5003112 B2 JP 5003112B2 JP 2006310419 A JP2006310419 A JP 2006310419A JP 2006310419 A JP2006310419 A JP 2006310419A JP 5003112 B2 JP5003112 B2 JP 5003112B2
Authority
JP
Japan
Prior art keywords
image
difference
images
pixels
evaluation value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2006310419A
Other languages
English (en)
Other versions
JP2008128664A (ja
Inventor
利明 永井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Priority to JP2006310419A priority Critical patent/JP5003112B2/ja
Publication of JP2008128664A publication Critical patent/JP2008128664A/ja
Application granted granted Critical
Publication of JP5003112B2 publication Critical patent/JP5003112B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Measuring Magnetic Variables (AREA)
  • Investigating Or Analyzing Materials By The Use Of Magnetic Means (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)

Description

本発明は、磁気ヘッド等の磁性体の磁化分布を観察する磁気光学効果を利用した顕微鏡を用いた磁区観察に関し、より詳細には磁区コントラストの劣化を画像処理によって低減して明瞭な磁化画像を得ることができる磁区観察方法、磁区観察装置および磁区観察プログラムに関するものである。
磁性体の微細な磁区構造を磁気カー効果等の磁気光学効果により観察するために、偏光光学系とデジタルカメラ等の画像検出手段を備えた顕微鏡が使用される。しかしながら、パーマロイ等では磁気カー効果が小さいため、磁化の変化によって得られる画像信号が小さく、特に高い倍率の対物レンズで観察する場合にはそのままでは十分な磁区コントラストが得られない。そこで、電磁石で観察対象の磁性体試料に飽和磁界を印加して取り込んだ画像データを基準画像とし、任意の強さの磁界を印加して取り込んだ画像(ここでは、対象画像と称することとする)から基準画像をデジタル処理で差を取り、磁区コントラストを強調した磁化画像を生成、表示する方法が行なわれている。
基準画像としては、一方向に飽和磁界を印加した状態で取得してもよいが、この基準画像を対象画像から引くと、一方向に磁化が揃った状態からの磁区変化が画像化されることになり、やや見難い画像となる。そこで、互いに逆向きの飽和磁界を印加してそれぞれの画像データを取り込み、その平均画像を基準画像とすることも行なわれている(例えば、非特許文献1)。
この基準画像は試料の磁化が仮想的にゼロの状態の画像データに相当するため、これと対象画像との差を取ると、観察する画像(ここでは、観察画像と称する)として見易いものとなる。
また、対象画像と基準画像との間に位置ずれがあると、対象画像と基準画像との差から得られる画像は劣化する。この位置ずれを観察者が観察画像を見ながら対象画像又は基準画像を1ピクセルずつ動かして位置ずれを補正することが行なわれている。
Journal of Applied Physics Vol.53, No. 11, November 1982, pp.8380-8382
上記に述べたように、対象画像の取得時と基準画像の取得時の間で画像の位置ずれが生じると、両画像の差を取って得られる磁化画像のコントラストが一般に低下する。画像の位置ずれは、観察する試料の位置ずれや顕微鏡光学系の位置ずれによって生じる。サイズが数十μm以上の表面が平坦な磁性体を観察する場合は、磁化以外の画像信号が殆ど平坦であるため、多少の位置ずれが生じても磁区コントラストの低下は比較的少ない。しかし、近年では磁気ヘッド等1μm程度のサイズの微細構造をもつ磁性体を観察する場合が多くなってきている。このよう場合は磁化以外の画像信号が1μm程度以下のサイズの範囲内で著しく変化しているため、僅かな位置ずれであっても微小な磁化による画像信号が磁化以外の画像信号のずれに埋もれて見えなくなる。例えば、100倍程度の対物レンズを使用した場合、数十ナノメートルから数ナノメートルの位置ずれが生じても磁化画像のコントラストが低下してしまうことになる。
従来行われているようにデジタルカメラにより取得したデジタル画像データをピクセル単位でずらして位置ずれを調整しても、カメラの1ピクセルのサイズは、100倍程度の対物レンズを使用した場合で観察試料表面における100ナノメートル程度のサイズに相当するため、実際に問題となる数十ナノメートル以下の分解能で位置ずれを補正することができず、殆どの場合に効果がない。
また、観察面内方向(水平方向)の位置ずれだけでなく、それに垂直な方向にも位置ずれが生じて、磁化画像のコントラストが低下するという問題がある。
本発明は、上記に述べた位置ずれに起因する磁化画像のコントラスト低下の問題を解決する磁区観察方法、磁区観察装置および磁区観察プログラムを提供することを目的とする。
本発明の磁区観察方法、磁区観察装置および磁区観察プログラムは以下のように構成される。
(1)第1の発明
第1の発明は、図1に示すように第1画像取得手順10、第2画像取得手順20、位置ずれ量計算手順30、位置ずれ補正手順40および差画像生成手順50で構成する。
第1画像取得手順10は、磁性体試料に対して第1の磁界印加条件の下で第1の画像を取得する。この第1の画像は前述した対象画像に相当する。
第2画像取得手順20は、第2の磁界印加条件のもとで第2の画像を取得する。例えば、磁性体試料に対して任意の方向に磁性体試料の磁化が飽和する磁界を印加した状態で第2の画像を取得する。あるいは、異なる複数の磁界を印加して取得した複数の画像の平均画像を第2の画像としてもよい。例えば、互いに逆向きの2方向の飽和磁界、又は90度ずつ異なる4方向の飽和磁界を印加してそれぞれの画像データを取り込み、その平均画像を第2の画像としてもよい。この場合の第2の画像は、仮想的に磁化がゼロの状態の画像となる。あるいは、磁性体試料に対して交流磁界を印加しながら、異なる磁界印加条件下での画像を時間的に積算、又は複数の画像データを取得してデジタル計算により加算平均してもよい。
この第2の画像は前述した基準画像に相当する。第1画像取得手順10と第2画像取得手順20とはどちらが先であってもかまわない。また、第1画像取得手順10は、印加磁界を変えて複数回行って複数の画像を取得し、夫々の画像に対して本発明を適用して逐次観察用の画像を生成してもよい。また、各画像は画質を改善するためにそれぞれ複数回画像を取得してデジタル計算により加算平均をとっても良い。
位置ずれ量計算手順30は、画像差評価値が第1の画像と第2の画像に対して最小になる画像移動量をサブピクセル単位で求めて位置ずれ量とする。こここで、画像差評価値は二つの画像間の違いの程度を表す評価値である。
画像差評価値としては、例えば、二つの画像の差をとり、その各画素値(輝度値)の二乗の和をその和を取った画素数で割った値を使うことが出来る。
二つの画像間の位置ずれ量をサブピクセル単位で効率よく高い精度で求めるには、以下の方法がある。即ち、一方の画像をピクセル単位、又はサブピクセル単位で複数の位置に計算で移動させ、各位置でもう一方の画像との画像差評価値を求め、これに2次曲面等の単一の極小点をもつ曲面を最小二乗法によって当てはめてその曲面の極小点位置として位置ずれ量をサブピクセル単位で求めることができる。
ここで、サブピクセル単位で移動させた画像の各画素の画像値を得るには、画像領域を縦横のピクセル数で細分した仮想的な画素領域を考え、それをサブピクセル単位で移動させた時に、その移動させた画素の画像値として、移動後の画素が移動前の各画素にオーバーラップした面積を画素の面積で割った値を各ピクセルの画像値にかけてそれらを加算した値をとればよい。以上のようにしてサブピクセル単位の位置ずれ量を求めることができる。
位置ずれ補正手順40は、位置ずれ量計算手順30で求めたサブピクセル単位の位置ずれ量で第1の画像と第2の画像間の位置ずれを補正する。ここで、サブピクセル単位で移動させた画像の各画素の画像値を得る方法は、上記と同様の方法をとることができる。
差画像生成手順50は、位置ずれ補正手順40で補正した第1と第2の画像との差分を求めて観察用の画像を生成する。即ち、一方の画像との差を取ることで、磁区のコントラストを改善した観察用の磁化画像を得ることができる。
(2)第2の発明
上記の第1の発明において、異なる複数の磁界を印加して取得した複数の画像の平均値を第2の画像とすることができるが、この異なる磁界の印加により磁性体試料や対物レンズなどの顕微鏡光学系の位置が僅かに動いたり、温度変化による各部の熱膨張で位置ずれが生じ、基準画像としての第2の画像の画質が劣化する場合がある。この時には、第1の画像と第2の画像との位置ずれのみを上記のように補正しても、差画像生成手順で得られる観察用の磁化画像の画質が十分に向上しない場合がある。
そこで第2の発明では、異なる複数の第2の磁界印加条件で取得した複数の画像に対してそれぞれ位置ずれ補正を行った後に、これらの複数の画像の平均値をとって第2の画像とする。この位置ずれ補正は、これらの異なる磁界で取得した複数の画像の中から適当に選んだ一つの画像に対して行ってもよい。又は、夫々の位置ずれ補正を第1の画像に対して行ってもよい。
これにより、異なる磁界印加などによって生じる位置ずれによる第2の画像の基準画像としての劣化を防ぐことができる。
(3)第3の発明
第1および第2の発明における画像間の位置ずれの補正は、観察面内方向の位置ずれを補正するものであるが、実際の位置ずれは垂直方向(観察面に対して直交する方向)にもいわゆるフォーカスずれとして生じ、観察用の磁化画像のコントラストを劣化させる。フォーカスのずれた画像は、フォーカスの合った画像に対してローパスフィルタの画像処理、即ち、画像の帯域縮小処理を行ったものに近いものになる。逆に、フォーカスのずれた画像に先鋭化処理、すなわち帯域拡大処理を行うと、フォーカスの合った画像に近づく。画像の帯域縮小処理と帯域拡大処理は、連続した一つのパラメータで記述することができ、ここではこれをフィルタ帯域パラメータとよぶことにする。
そこで、第1の画像と第2の画像の位置ずれ補正と共に、第1の画像、又は第2の画像の一方の画像に帯域拡大縮小処理を行い、画像差評価値が第1と第2の画像に対して最小になるフィルタ帯域パラメータの最適値を求め、求めたフィルタ帯域パラメータ最適値で第1と第2の画像との差をとることで、垂直方向の位置ずれによる画質劣化を低減することができる。
(4)第4の発明
第4の発明の発明は、第1の発明にによる磁区観察装置の発明である。
(5)第5の発明
第5の発明の発明は、第1の発明による磁区観察プログラムの発明である。
上述のように本発明によれば、次に示す効果が得られる。
第1の発明により、画像差評価値により対象画像と基準画像との観察面内のサブピクセル単位の位置ずれ補正が自動で正確に可能となるので、磁性体試料表面の微細なパターンや凹凸と画像間の位置ずれによって生じる差画像の画質の劣化が低減でき、高コントラストで明瞭な観察用の磁化画像を得る磁区観察方法の提供ができる。
第2の発明により、基準画像として複数の磁界印加条件のもとで取得した画像の平均をとる際に、異なる磁界の印加などによって生じる画像間の位置ずれの補正が可能となるので、基準画像としての画質劣化を低減し、その結果、高コントラストで明瞭な観察用の磁化画像を得る磁区観察方法の提供ができる。
第3の発明により、観察面と直交する垂直方向の位置ずれが発生しても、フォーカスずれによる画像鮮鋭度の違いの補正が可能となるので、高コントラストで明瞭な観察用の磁化画像を安定に得る磁区観察方法の提供ができる。
第4、および第5の発明により、第1と発明と同様の効果を有する磁区観察装置、および磁区観察プログラムの提供ができる。
(第1の実施形態)
本発明の磁区観察方法を実施する磁区観察装置の構成例を図2に示す。
磁区観察装置100は、偏光顕微鏡200と制御・画像処理装置300とで構成する。
さらに、偏光顕微鏡200は光源や所要のレンズ、偏光子、検光子などから構成する光学系210、磁気光学効果によって得られる光学像を撮像するカメラ220(例えば、CCD(Charge-Coupled Device)等の固体撮像素子のカメラ)、および磁性体試料に電磁コイル等により磁界を印加する磁界印加部230からなる。
制御・画像処理装置300は、プログラムやデータを制御する制御部310、カメラ220や磁界印加部230、観察する画像を表示するモニタ240の入出力機器を制御する入出力制御部320、取得した画像や生成した画像を格納する画像データ記憶部330、および主メモリ340上に展開した磁区観察プログラム350から構成する。
磁区観察プログラム350は、さらに第1画像取得部351、第2画像取得部352、位置ずれ量計算部353、位置ずれ補正部354および差画像生成部355から構成し、第1画像取得部351は入出力制御部320を介して磁界印加部230に観察したい第1の磁界印加条件を指示して磁性体試料に磁界を印加し、カメラ220から入出力制御部320を介して第1の画像を取得する。第2画像取得部352は、同様に磁界印加部230に第2の磁界印加条件を指示して磁性体試料に磁界を印加し、カメラ220から第2の画像を取得する。具体的には、例えば、磁性体試料の磁化を飽和するのに十分な強度の磁界を印加し、第2の画像を取得する。あるいは、磁性体試料の磁化を飽和するのに十分な強度の互いに逆向きの磁界を印加し、夫々の画像を取得してその平均画像を第2の画像としてもよい。位置ずれ量計算部353は第1と第2の画像を用いて画像差評価値が最小となる位置ずれ量をサブピクセル単位で求め、位置ずれ補正部354は求めた位置ずれ量で画像間の位置ずれの補正を行なう。そして、差画像生成部355では、位置ずれ補正を行なった第1と第2の画像の差を取り観察用の画像の生成を行ない、モニタ240にその画像を表示する。
上記に述べた各プログラムの概要は第1の実施形態のアルゴリズムそのものであるが、図3にフローの形で改めて示す。まずステップ10(以降、S10と表す)において磁区を観察したい第1の磁界印加条件の下で第1の画像を取得し、続いてS20で第2の磁界印加条件、例えば、磁性体試料が飽和する強度の磁界を印加して第2の画像を取得する。あるいは、磁性体試料の磁化を飽和するのに十分な強度の互いに逆向きの磁界を印加して夫々の画像を取得し、その平均画像を第2の画像としてもよい(順序を逆にして、互いに逆向きの飽和磁界を印加して第2の画像の取得した後に、観察磁界を印加して第1の画像を取得してもよい)。第1と第2の画像は、S/Nを向上させるために、複数の画像を取得してその平均画像にしてもよく、これは他の実施例でも同様である。
次のS30で、第1と第2の両画像間の複数の位置ずらし量に対して画像差評価値を計算する。このときの位置ずらし量の単位は、1ピクセル単位で行ってもよいが、より精度を高めるために、0.2とか0.25、あるいは0.5ののサブピクセル単位で行ってもよい(即ち、第1と第2の画像の相対位置をサブピクセル単位で複数ずらしながら画像差評価値を計算する)。
図4は、サブピクセル単位でずらした画像の各画素の画像値の求め方を説明するための図である。カメラの画像領域をカメラの縦横のピクセル数で等分した仮想的な領域を考えて、この細分された領域がカメラの各ピクセル領域に対応すると考える。すなわち、実際のカメラには存在する各ピクセル間の隙間は無視する。図4に示す、面内で任意の位置にずらしたピクセル領域を示す点線で示す画素の画像値Iは、それがオーバーラップしている位置ずれ前の実線で示す4画素a,b,c,dの各画像値、Ia, Ib, Ic, Idと、点線の画素とそれがオーバーラップする左下端の画素aとの位置ずれ量を夫々縦横の仮想的なサブピクセルサイズを単位にして計ったdx, dyから、以下の式で計算する。
Figure 0005003112
Figure 0005003112
とおいて、NxとNyを適当な整数に選んで、0≦dx<1, 0≦dy<1としたものである。画像領域の端近くでは(1)式の計算が出来ない画素が生じるが、その画素は以下の計算から除外するか、又は近傍の画素の画像値で代用するなどすればよい。
画像差評価値Vとしては、例えば、両画像の対応する位置の画素の画像値I1とI2の差の二乗をとり、画像領域全体でこの和を取り、この和を取った数Nで割った値をとる。すなわち、I1(Mx,My;Dxi,Dyi)を位置ずらし量Dxi,Dyjでずらした第1の画像のピクセル位置(Mx,My)(但し、Mx,MyはそれぞれX軸とY軸方向のピクセル位置を指定する座標)で指定される画素の画像値、I2(Mx,My)を第2の画像のピクセル位置(Mx,My)で指定される画素の画像値として、
Figure 0005003112
以上のようにして、画像差評価値V(Dxi,Dyj)が複数の位置ずらし量(Dxi,Dyj)(但し、i,jはそれぞれX軸とY軸方向の各位置ずらし量を指定する自然数)に対して求まり、これに例えば2次曲面
Figure 0005003112
を最小二乗法により当てはめて定数a0〜a5を求め、この曲面が極小値を取る位置の値を
Figure 0005003112
から求める。この値が計算で求めた位置ずれ量Dx,Dyで、サブピクセルの精度で求まることになる(S40)。
S50において、この位置ずれ量Dx,Dyを使用して、第1の画像の(Mx,My)で指定される各画素に、位置ずれ量をDx,Dyとして(1)式により画像値I1(Mx,My;Dx,Dy)を計算し、位置ずれを補正した第1の画像を得る。
S60において、I2(Mx,My)を第2の画像の(Mx,My)で指定される画素の画像値として、
Figure 0005003112
を各画素に対して計算して位置ずれ補正を行った磁化画像を得、表示する(即ち、両画像の差画像を得、これを観察のための磁化画像として表示する)。
なお、ここでは第1の画像と第2の画像間の位置ずれを補正する際に、第2の画像を固定したまま第1の画像に対して位置ずれ補正を行ったが、第1の画像を固定したまま第2の画像に対して位置ずれ補正を行ってもよい。
また、S50内の(1)式による計算とS60内の(6)式による計算は、各画素について繰り返し計算を行う1つの計算ループ内に存在していてもよい。さらに、(6)式で得られた各画素の表示をこの計算ループ内で行ってもよい。
以上により、第2の画像の磁化状態を基準とした磁区コントラストの画像を位置ずれによる画質劣化を著しく低減して明瞭な観察画像を得ることができる。
図5は、実際の磁区観察顕微鏡を使用してパーマロイ製磁性膜パターンを観察し、図3のアルゴリズムのS30で画像データを面内X、Y軸方向に±1ピクセルの間を0.25ピクセルステップでずらして、9×9=81点で画像差評価値Vを計算した例である。このように滑らかな極小点をもつグラフが得られ、これに2次曲面を最小二乗法により当てはめて、極小値をとる位置の座標(即ち、位置ずれ量)をサブピクセルの精度で求めることができる(図3のS40)。
次のS50で、求めたサブピクセルの位置ずれ量で第1の画像と第2の画像の位置ずれを補正する。この位置ずれ補正した画像の各画像値を算出する方法は、図4で説明した方法を使えばよい。
次のS60で、両画像間の差画像を計算して磁化画像として表示する。
図6(a)は位置ずれ補正なしでの磁化画像のプロファイルで、図6(b)は本発明の位置ずれ補正を行った場合の磁化画像のプロファイルである。磁化画像は図6のプロファイル図の紙面に直交する方向の磁化成分の画像である。○印の付いた線が反射光量画像、×印の付いた線が磁化画像のプロファイルである。パーマロイ磁性膜はプロファイルの反射光量が大きくなっている(1)、(2)、(3)の矢印の領域にあり、他は非磁性領域である。(2)の領域の幅は約1μmで、図6(a)の位置ずれ補正なしの磁化画像のプロファイルでは、各磁性膜領域の境界で偽の信号が大きく乗っており、特に(2)の領域の磁化が(1)や(3)の領域の磁化方向と同じか異なるか判別できない。それに対し、図6(b)の位置ずれ補正を行った場合の磁化画像のプロファイルでは、(2)の領域の磁化信号のレベルが(1)や(2)と異なっており、磁化が逆を向いていることが明瞭に分り、本発明の著しい有効性が分る。なお、位置ずれ補正後の磁化画像プロファイルにおいても、まだ磁性膜の境界で偽の信号が残っているが、これは主にフォーカスずれの影響によるものである。このフォーカスずれは、後の第3の実施形態の説明のためにわざと発生させておいたものである。
なお、このようにして位置ずれ補正を行うと、その位置ずれ量が1ピクセルより十分小さくない場合、例えば、0.2ピクセル程度以上の場合には、カメラの各ピクセルの感度のばらつきが位置ずれ補正後の画質を劣化させて問題になる場合がある。この場合、あらかじめカメラの受光面に一様な明るさの光を照射して、各ピクセルの感度を求めて登録しておき、画像データを取得する際に登録しておいた感度で規格化処理をすればよい。また、各ピクセルの暗電流のばらつきが問題になる場合も、あらかじめカメラの受光面に光が当たらない状態での画像を取得して登録しておき、画像データを取得する際に登録しておいた暗電流分布を除去する処理をすればよい。このような補正は、他の請求項でも同様に使用できる。
(第2の実施形態)
第2の実施形態は、第1の実施形態における第2の画像を第3と第4の画像の平均画像とする例である。第2の実施形態においても図2の構成例と同じであるが、第2の画像処理部画像取得部352が以下に述べるように多少異なる。
図7は第2の実施形態を示すアルゴリズム例である。まずS110において、磁性体試料に観察したい第1の磁界を印加して第1の画像を取得する。
続けてS120において、任意方向の磁性体試料の磁化が飽和する磁界(ここでは、飽和磁界という)を印加して第3の画像を取得し、S130でこれと逆向きの飽和磁界を印加して第4の画像を取得する。順序を逆にして、互いに逆向きの飽和磁界を印加して第3の画像と第4の画像を取得した後に、観察磁界を印加して第1の画像を取得してもよい。また、各印加磁界における画像は、S/Nを向上させるために、複数の画像を取得してその平均画像にしてもよい。S140で第3と第4の画像に対して、前述した第1と第2の画像の位置ずれ補正と同様の方法で位置ずれ量を求め、両画像間の位置ずれの補正を行なう。そしてS150で、補正を行なった第3と第4との画像の平均画像を求め、この平均画像を第2の画像とする。
以降は第1の実施形態と同様で、第1と第2の位置ずれ量を求めて(S160)位置補正を行い(S170)、位置ずれ補正済の第1と第2の画像の差画像を求めて磁化画像として表示する(S180)。
以上により、第2の画像の取得時に互いに逆向きの飽和磁界を印加したことによる位置ずれによる第2の画像の劣化を低減し、磁化ゼロを基準とした磁化コントラストの画像を位置ずれによる画質劣化を著しく低減して得ることができる。
なお、ここでは第2の画像を取得するために、互いに逆向きの飽和磁界を印加して取得した第3の画像と第4の画像の二つの画像を使用したが、複数の磁界を印加して取得した画像間の位置ずれを求め、求めた位置ずれ量で画像間の位置ずれを補正した後に、これらの画像を平均した画像を第2の画像としてもよい。
(第3の実施形態)
第3の実施形態は、第1および第2の実施形態における第1と第2の画像の観察面内における位置ずれ(水平方向の位置ずれ)に加え、観察面に直交する位置ずれ(垂直方向の位置ずれ)に対する補正を行なう例である。
図8は、第3の実施形態におけるアルゴリズムを示すものである。S210〜S230では第1の画像と第2の画像を取得し、その後に両画像間の観察面内の位置ずれをサブピクセル単位で補正する。ここ迄は、図7のS110〜S150と同一である。
図8に戻り、S240で第1、または第2の画像に対して図9の帯域拡大縮小処理を行った後に、二つの画像間の画像差評価値を計算する。パラメータWを複数の値で変えてこの計算を行い、S250において得られた画像差評価値をWの関数とみなして、例えば2次式を最小二乗法で当てはめて、得られた2次式の極小点を求めることにより、パラメータWの最適値が求まる。そして、求めたWの最適値を使用して一方の画像にフィルタをかけた後に2画像の差画像を計算して、磁化画像として表示する(S260)。このとき、一方の画像に対して一定のパラメータWのフィルタをかけてから、もう一方の画像にパラメータWを複数の値で変えたフィルタをかけて、最小二乗法で求めてもよい。
なお、ここでは第1の画像と第2の画像の間の位置ずれ補正を先に行った後、帯域拡大縮小処理を行っているが、この順序を逆にしてもよい。
また、図10のように、帯域拡大縮小処理のパラメータWを変えながら、その画像に対して位置ずれ補正処理を行った後の画像差評価値を求め、パラメータWの最適値を最小二乗法により求めても良い。この場合にはXY方向の位置ずれ補正量とフィルタ帯域パラメータWの3次元の自由度の中での完全な最適化が行われる。
実際の磁区観察顕微鏡を使用して、図6と同じ画像データに対して図10の方法でパラメータWを変えてそれぞれ画像面内XY方向の位置ずれ補正処理を行った後の画像差評価値の例を図11(a)に示す。最小二乗法で当てはめた2次曲線V2(W)も線で示した。その極小値は、この例ではW=0.31と求まる。このW=0.31を使用した帯域拡大縮小処理(実際には帯域縮小処理)と、画像面内XY方向の位置ずれ補正処理を行った後の磁化画像のプロファイルを図11(b)に示す。図6(b)の磁化信号プロファイルに比べて、磁性膜領域の境界における偽の画像信号が著しく低減しており、本発明の著しい有効性が分る。
なお、この帯域拡大縮小処理は、第2の実施形態における第3の画像と第4の画像間の補正にも用いることができる。
(第4の実施形態)
画像差評価値を求める際に、画素数は通常数十万画素以上あるため、計算に時間がかかる。また、観察試料が観察画像領域の一部分しか占めず、そのほかの領域が画像差を評価するのに役立たない場合もある。また、観察画素の一部分に限って計算を行っても十分な精度で求まる場合がある。このような場合、上記の画像差評価値を求める際に、画像全画素のうちの一部の画素のみを使用すれば計算時間を短縮できる。
図12(a)は、画像差評価領域を黒色で示す画像領域の一部の領域に制限している。図12(b)は、画像評価画素を画像領域全体に渡って等間隔で間引いて画素を制限している。図12(a)の制限された領域を、さらに図12(b)ように間引いて画像評価画像を制限してもよい。このように画像差評価値を計算する画素を制限することで、位置ずれ補正を必要な領域に絞って最適化したり、計算時間を短縮できる。
(第5の実施形態)
観察画像領域内で観察試料が一部の領域しか占めない場合に、第4の実施形態で述べたような理由により、上記の画像差評価値を求める画素領域を磁性体領域周辺に限りたい場合がある。第3の画像と第4の画像の差画像は、位置ずれ等による画像差が無視できれば、磁性体領域で絶対値が一定値以上の値をとり、適当な閾値を指定してそれ以上の領域を検出することで、磁性体領域を自動的に検出できる。そこで、二つの画像間の違いの程度を表す画像差評価値を求める際に、第3の画像と第4の画像の差画像で絶対値が所定の値より大きい画素、又はそれにその周辺を加減した画素のみ計算に利用する。
図13は、第5の実施形態のアルゴリズムを示す。互いに逆向きの飽和磁界を印加して第3の画像と第4の画像を取得し、その差画像の絶対値が所定の値以上の画素を2値の磁性体領域として検出する。こうして得られた2値画像に対して、必要に応じて膨張又は収縮処理を行い、磁性体領域周辺を加減して磁性体周辺領域を決定する。そして、画像差評価値を求める際に、この決定した領域の画素を使用する(S410〜S440)。
この処理は図7のS130の後、図8のS220の後などで行うことが出来る。それ以降の位置ずれ量を求める時に画像差評価値を計算する際に、ここで決定した磁性体周辺領域の画素のみを使用する。このようにして、注目すべき磁性膜領域とその周辺を自動的に検出して、位置ずれ補正の計算に使用する画素数を絞って、位置ずれ補正を必要な領域のみで最適化することができ、計算時間も短縮できる。
(第6の実施形態)
第5の実施形態では、画像差評価値を求める際に、磁性体領域周辺の画素のみ計算に使用するようにした。しかし、磁性体領域は磁化画像信号が含まれており、純粋に位置ずれによって生じる画像差に比べて、磁化画像信号が無視できない場合には、磁性体領域は位置ずれを検出するための画像差評価値に対して誤差を与える領域になる。
このような場合、第5の実施形態とは逆に画像差評価値を求める際に、第3の画像と第4の画像の差画像で絶対値が所定の値より大きい画素、又はそれにその周辺を加減した画素を計算から除外する。
図14は第6の実施形態のアルゴリズム(S510〜S540)を示すもので、図13と最後のステップのみが異なる。
以上の実施例に関し、さらに以下の付記を開示する。
(付記1)
磁性体試料に対して第1の磁界印加条件のもとで第1の画像を取得する第1画像取得手順と、
前記第1の画像取得手順を実施する前、または後に、前記磁性体試料に対して第2の磁界印加条件のもとで第2の画像を取得する第2画像取得手順と、
前記第1の画像と前記第2の画像とを、画像を構成するピクセルのピクセル単位、またはサブピクセル単位で平面内の位置を相対的にずらすことを複数回行い、それぞれの位置に対して二つの画像間の違いの程度を表す画像差評価値を計算し、該画像差評価値から二つの画像間の違いが最小になる位置をサブピクセル単位で求めて位置ずれ量とする、位置ずれ量計算手順と、
前記第1の画像と前記第2の画像間の位置ずれを前記位置ずれ量計算手順で求めた位置ずれ量で補正する位置ずれ補正手順と、
前記位置ずれ量で補正した前記第1の画像と前記第2の画像との差分を求めて観察用の画像を生成する差画像生成手順と
を備えることを特徴とする磁区観察方法。
(付記2)
前記第2の画像は、複数の前記第2の磁界印加条件により取得した画像に対して、該画像を構成するピクセルのピクセル単位、またはサブピクセル単位で平面内の位置を相対的にずらすことを複数回行い、それぞれの位置に対して二つの画像間の違いの程度を表す画像差評価値を計算し、該画像差評価値から二つの画像間の違いが最小になる位置をサブピクセル単位で求めた位置ずれ量で画像間の位置ずれを補正した後に、これらの画像を平均した画像とする
ことを特徴とする付記1に記載の磁区観察方法。
(付記3)
前記磁区観察方法は、さらに、
前記第1の画像または前記第2の画像に複数のフィルタ帯域パラメータ値の帯域拡大縮小フィルタ処理を施し、各フィルタ帯域パラメータ値に対して二つの画像間の違いの程度を表す画像差評価値を計算し、該画像差評価値から二つの画像間の違いが最小になるフィルタ帯域パラメータ最適値を求めるフィルタ帯域パラメータ最適値計算手順を備え、
前記差画像生成手順は前記位置ずれ量と前記フィルタ帯域パラメータ最適値とで補正した前記第1の画像と前記第2の画像との差分を求めて観察用の画像を生成する
ことを特徴とする付記1または付記2に記載の磁区観察方法。
(付記4)
磁性体試料に対して第1の磁界印加条件のもとで第1の画像を取得する第1画像取得手段と、
前記磁性体試料に対して第2の磁界印加条件のもとで第2の画像を取得する第2画像取得手段と、
前記第1の画像と前記第2の画像とを、画像を構成するピクセルのピクセル単位、またはサブピクセル単位で平面内の位置を相対的にずらすことを複数回行い、それぞれの位置に対して二つの画像間の違いの程度を表す画像差評価値を計算し、該画像差評価値から二つの画像間の違いが最小になる位置をサブピクセル単位で求めて位置ずれ量とする、位置ずれ量計算手段と、
前記第1の画像と前記第2の画像間の位置ずれを前記位置ずれ量計算手順で求めた位置ずれ量で補正する位置ずれ補正手段と、
前記位置ずれ量で補正した前記第1の画像と前記第2の画像との差分を求めて観察用の画像を生成する差画像生成手段と
を備えることを特徴とする磁区観察装置。
(付記5)
磁区観察装置のコンピュータに、
磁性体試料に対して第1の磁界印加条件のもとで第1の画像を取得する第1画像取得手順と、
前記第1の画像取得手順を実施する前、または後に、前記磁性体試料に対して第2の磁界印加条件のもとで第2の画像を取得する第2画像取得手順と、
前記第1の画像と前記第2の画像とを、画像を構成するピクセルのピクセル単位、またはサブピクセル単位で平面内の位置を相対的にずらすことを複数回行い、それぞれの位置に対して二つの画像間の違いの程度を表す画像差評価値を計算し、該画像差評価値から二つの画像間の違いが最小になる位置をサブピクセル単位で求めて位置ずれ量とする、位置ずれ量計算手順と、
前記第1の画像と前記第2の画像間の位置ずれを前記位置ずれ量計算手順で求めた位置ずれ量で補正する位置ずれ補正手順と、
前記位置ずれ量で補正した前記第1の画像と前記第2の画像との差分を求めて観察用の画像を生成する差画像生成手順と
を実行させるための磁区観察プログラム。
(付記6)
前記第2の画像は、任意方向に前記磁性体試料の磁化を飽和させる磁界を印加して磁化飽和した該磁性体試料の第3の画像を取得し、該任意方向とは逆向きの方向に該磁性体試料の磁化を飽和させる磁界を印加して磁化飽和した該磁性体試料の第4の画像を取得し、該第3と第4の画像との平均画像とする
ことを特徴とする付記1に記載の磁区観察方法。
(付記7)
前記平均画像は、前記第3の画像と前記第4の画像とを、画像を構成するピクセルのピクセル単位、またはサブピクセル単位で平面内の位置を相対的にずらすことを複数回行い、それぞれの位置に対して二つの画像間の違いの程度を表す画像差評価値を計算し、画像差評価値が最小になる位置をサブピクセル単位で求めて位置ずれ量とし、該位置ずれ量で補正した該第3と第4の画像とを平均した画像とする
ことを特徴とする付記6に記載の磁区観察方法。
(付記8)
前記第2画像取得手順における前記第3と第4の画像の位置ずれ補正においてさらに、該第3の画像と該第4の画像の一方の画像に帯域拡大縮小処理を行い、前記画像差評価値が該第3と第4の画像に対して最小になるように帯域拡大縮小処理のパラメータを最適化して該第3と第4の画像との垂直方向の位置ずれによる画質劣化を補正する
ことを特徴とする付記7に記載の磁区観察方法。
(付記9)
前記画像差評価値を求める際に、画像領域内の一部の画素のみを使用する
ことを特徴とする付記1乃至付記8記載の磁区観察方法。
(付記10)
前記画像差評価値を求める際に、前記第3と第4の画像の差画像で絶対値が所定の値より大きい画素、又はそれにその周辺を加減した画素のみ計算に利用する
ことを特徴とする付記6乃至付記8に記載の磁区観察方法。
(付記11)
前記画像差評価値を求める際に、前記第3と第4の画像の差画像で絶対値が所定の値より大きい画素、又はそれにその周辺を加減した画素を除外した画素のみ計算に利用する
ことを特徴とする付記6乃至付記8に記載の磁区観察方法。
発明の原理図である。 磁区観察装置の構成例である。 磁区観察のアルゴリズム例(第1の実施形態)である。 位置ずれさせた画像の各画素の画像値の算出方法を説明する図である。 位置ずれ補正の具体例(その1)である。 位置ずれ補正の具体例(その2)である。 磁区観察のアルゴリズム例(第2の実施形態)である。 磁区観察のアルゴリズム例(第3の実施形態−その1)である。 フォーカスずれの補正を行なう空間フィルタを説明する図である。 磁区観察のアルゴリズム例(第3の実施形態−その2)である。 図10のアルゴリズムを適用した磁区観察の具体例である。 画素を限定して位置ずれ補正を行なう例(第4の実施形態)である。 画像差評価値を求める画素領域限定の例(第5の実施形態)である。 画像差評価値を求める画素領域限定の例(第6の実施形態)である。
符号の説明
10 第1画像取得手順
20 第2画像取得手順
30 位置ずれ量計算手順
40 位置ずれ補正手順
50 差画像生成手順
100 磁区観察装置
200 偏光顕微鏡
210 光学系
220 カメラ
230 磁界印加部
240 モニタ
300 制御・画像処理装置
310 制御部
320 入出力制御部
330 画像データ記憶部
340 主メモリ
350 磁区観察プログラム
351 第1画像取得部
352 第2画像取得部
353 位置ずれ量計算部
354 位置ずれ補正部
355 差画像生成部
400 画像領域
410 画像差評価領域
420 画像領域、画像差評価領域

Claims (5)

  1. 磁性体試料に対して第1の磁界印加条件のもとで第1の画像を取得する第1画像取得手順と、
    前記第1の画像取得手順を実施する前、または後に、前記磁性体試料に対して複数の第2の磁界印加条件により画像を取得し、取得した画像に対して、該画像を構成するピクセルのピクセル単位、またはサブピクセル単位で平面内の位置を相対的にずらすことを複数回行い、それぞれの位置に対して二つの画像間の違いの程度を表す画像差評価値を計算し、該画像差評価値から二つの画像間の違いが最小になる位置をサブピクセル単位で求めた位置ずれ量で画像間の位置ずれを補正した後に、これらの画像を平均した画像を第2の画像とする第2画像取得手順と、
    前記第1の画像と前記第2の画像とを、画像を構成するピクセルのピクセル単位、またはサブピクセル単位で平面内の位置を相対的にずらすことを複数回行い、それぞれの位置に対して二つの画像間の違いの程度を表す画像差評価値を計算し、該画像差評価値から二つの画像間の違いが最小になる位置をサブピクセル単位で求めて位置ずれ量とする、位置ずれ量計算手順と、
    前記第1の画像と前記第2の画像間の位置ずれを前記位置ずれ量計算手順で求めた位置ずれ量で補正する位置ずれ補正手順と、
    前記位置ずれ量で補正した前記第1の画像と前記第2の画像との差分を求めて観察用の画像を生成する差画像生成手順と
    を備えることを特徴とする磁区観察方法。
  2. 前記磁区観察方法は、さらに、
    前記第1の画像または前記第2の画像に複数のフィルタ帯域パラメータ値の帯域拡大縮小フィルタ処理を施し、各フィルタ帯域パラメータ値に対して二つの画像間の違いの程度を表す画像差評価値を計算し、該画像差評価値から二つの画像間の違いが最小になるフィルタ帯域パラメータ最適値を求めるフィルタ帯域パラメータ最適値計算手順を備え、
    位置ずれ補正手順は、前記第1の画像と前記第2の画像間の位置ずれを、前記位置ずれ量と前記フィルタ帯域パラメータ最適値とで補正し、
    前記差画像生成手順は、前記位置ずれ量と前記フィルタ帯域パラメータ最適値とで補正した前記第1の画像と前記第2の画像との差分を求めて観察用の画像を生成する
    ことを特徴とする請求項1に記載の磁区観察方法。
  3. 磁性体試料に対して第1の磁界印加条件のもとで第1の画像を取得する第1画像取得手順と、
    前記第1の画像取得手順を実施する前、または後に、前記磁性体試料に対して第2の磁界印加条件のもとで第2の画像を取得する第2画像取得手順と、
    前記第1の画像と前記第2の画像とを、画像を構成するピクセルのピクセル単位、またはサブピクセル単位で平面内の位置を相対的にずらすことを複数回行い、それぞれの位置に対して二つの画像間の違いの程度を表す画像差評価値を計算し、該画像差評価値から二つの画像間の違いが最小になる位置をサブピクセル単位で求めて位置ずれ量とする、位置ずれ量計算手順と、
    前記第1の画像または前記第2の画像に複数のフィルタ帯域パラメータ値の帯域拡大縮小フィルタ処理を施し、各フィルタ帯域パラメータ値に対して二つの画像間の違いの程度を表す画像差評価値を計算し、該画像差評価値から二つの画像間の違いが最小になるフィルタ帯域パラメータ最適値を求めるフィルタ帯域パラメータ最適値計算手順と、
    前記第1の画像と前記第2の画像間の位置ずれを、前記位置ずれ量と前記フィルタ帯域パラメータ最適値とで補正する位置ずれ補正手順と、
    前記位置ずれ量と前記フィルタ帯域パラメータ最適値とで補正した前記第1の画像と前記第2の画像との差分を求めて観察用の画像を生成する差画像生成手順と
    を備えることを特徴とする磁区観察方法。
  4. 磁性体試料に対して第1の磁界印加条件のもとで第1の画像を取得する第1画像取得手段と、
    前記第1の画像取得手段を実施する前、または後に、前記磁性体試料に対して複数の第2の磁界印加条件により画像を取得し、取得した画像に対して、該画像を構成するピクセルのピクセル単位、またはサブピクセル単位で平面内の位置を相対的にずらすことを複数回行い、それぞれの位置に対して二つの画像間の違いの程度を表す画像差評価値を計算し、該画像差評価値から二つの画像間の違いが最小になる位置をサブピクセル単位で求めた位置ずれ量で画像間の位置ずれを補正した後に、これらの画像を平均した画像を第2の画像とする第2画像取得手段と、
    前記第1の画像と前記第2の画像とを、画像を構成するピクセルのピクセル単位、またはサブピクセル単位で平面内の位置を相対的にずらすことを複数回行い、それぞれの位置に対して二つの画像間の違いの程度を表す画像差評価値を計算し、該画像差評価値から二つの画像間の違いが最小になる位置をサブピクセル単位で求めて位置ずれ量とする、位置ずれ量計算手段と、
    前記第1の画像と前記第2の画像間の位置ずれを前記位置ずれ量計算手段で求めた位置ずれ量で補正する位置ずれ補正手段と、
    前記位置ずれ量で補正した前記第1の画像と前記第2の画像との差分を求めて観察用の画像を生成する差画像生成手段と
    を備えることを特徴とする磁区観察装置。
  5. 磁区観察装置のコンピュータに、
    磁性体試料に対して第1の磁界印加条件のもとで第1の画像を取得する第1画像取得手順と、
    前記第1の画像取得手順を実施する前、または後に、前記磁性体試料に対して複数の第2の磁界印加条件により画像を取得し、取得した画像に対して、該画像を構成するピクセルのピクセル単位、またはサブピクセル単位で平面内の位置を相対的にずらすことを複数回行い、それぞれの位置に対して二つの画像間の違いの程度を表す画像差評価値を計算し、該画像差評価値から二つの画像間の違いが最小になる位置をサブピクセル単位で求めた位置ずれ量で画像間の位置ずれを補正した後に、これらの画像を平均した画像を第2の画像とする第2画像取得手順と、
    前記第1の画像と前記第2の画像とを、画像を構成するピクセルのピクセル単位、またはサブピクセル単位で平面内の位置を相対的にずらすことを複数回行い、それぞれの位置に対して二つの画像間の違いの程度を表す画像差評価値を計算し、該画像差評価値から二つの画像間の違いが最小になる位置をサブピクセル単位で求めて位置ずれ量とする、位置ずれ量計算手順と、
    前記第1の画像と前記第2の画像間の位置ずれを前記位置ずれ量計算手順で求めた位置ずれ量で補正する位置ずれ補正手順と、
    前記位置ずれ量で補正した前記第1の画像と前記第2の画像との差分を求めて観察用の画像を生成する差画像生成手順と
    を実行させるための磁区観察プログラム。
JP2006310419A 2006-11-16 2006-11-16 磁区観察方法、磁区観察装置および磁区観察プログラム Expired - Fee Related JP5003112B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2006310419A JP5003112B2 (ja) 2006-11-16 2006-11-16 磁区観察方法、磁区観察装置および磁区観察プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006310419A JP5003112B2 (ja) 2006-11-16 2006-11-16 磁区観察方法、磁区観察装置および磁区観察プログラム

Publications (2)

Publication Number Publication Date
JP2008128664A JP2008128664A (ja) 2008-06-05
JP5003112B2 true JP5003112B2 (ja) 2012-08-15

Family

ID=39554657

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006310419A Expired - Fee Related JP5003112B2 (ja) 2006-11-16 2006-11-16 磁区観察方法、磁区観察装置および磁区観察プログラム

Country Status (1)

Country Link
JP (1) JP5003112B2 (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101125282B1 (ko) 2010-05-20 2012-03-21 손대락 자구 관측 장치
JP6083064B2 (ja) * 2012-03-29 2017-02-22 ネオアーク株式会社 磁気特性測定装置、磁気特性測定方法及び磁界測定方法
CN108710090B (zh) * 2018-05-22 2020-07-24 复旦大学 一种利用磁光克尔效应测量反铁磁磁畴分布的方法
JP2020088037A (ja) * 2018-11-19 2020-06-04 大同特殊鋼株式会社 軟磁性金属粉体
JP7291618B2 (ja) * 2019-12-24 2023-06-15 株式会社日立製作所 画像取得システム及び画像取得方法
CN111257802B (zh) * 2020-01-16 2022-06-21 上海科技大学 一种利用磁光效应实现铁磁磁畴形貌构建的方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS61286763A (ja) * 1985-06-13 1986-12-17 Tdk Corp 磁気ヘツド評価方法
JPH04109104A (ja) * 1990-08-30 1992-04-10 Toshiba Corp パターン欠陥検査装置
JPH07287059A (ja) * 1994-04-15 1995-10-31 Nippon Steel Corp 磁性材料の磁区検出装置
JP3808169B2 (ja) * 1997-05-23 2006-08-09 株式会社ルネサステクノロジ 検査方法およびその装置並びに半導体基板の製造方法
JPH11231031A (ja) * 1998-02-13 1999-08-27 Tdk Corp 磁区観察方法および磁区観察装置

Also Published As

Publication number Publication date
JP2008128664A (ja) 2008-06-05

Similar Documents

Publication Publication Date Title
JP5003112B2 (ja) 磁区観察方法、磁区観察装置および磁区観察プログラム
JP5911296B2 (ja) 画像処理装置、撮像装置、顕微鏡システム、画像処理方法、及び画像処理プログラム
EP2536125B1 (en) Imaging device and method, and image processing method for imaging device
JP2010139890A (ja) 撮像装置
JP2015203652A (ja) 情報処理装置および情報処理方法
CN106504290A (zh) 一种高精度的摄像机动态标定方法
WO2010050136A1 (ja) 試料観察方法、及び電子顕微鏡
JP2013531268A (ja) 符号化開口を使用した距離の測定
JP7232326B2 (ja) 粒子顕微鏡を用いる画像記録方法
KR101677822B1 (ko) 주사형 전자 현미경의 화상 처리 장치 및 주사 방법
Hansen et al. Super resolution digital image correlation (SR-DIC): an alternative to image stitching at high magnifications
Rouwane et al. High resolution and large field of view imaging using a stitching procedure coupled with distortion corrections
JP6163063B2 (ja) 走査透過電子顕微鏡及びその収差測定方法
JP6853572B2 (ja) 走査型白色干渉顕微鏡を用いた三次元形状計測方法
JP5149984B2 (ja) 撮像装置
JP2016524696A (ja) イメージ取得方法及びこれを利用したイメージ取得装置
JP4644595B2 (ja) ディスプレイの評価装置、評価方法及びプログラム
JP5209137B2 (ja) 撮像装置
Wu et al. Discontinuity-induced measurement artifact reduction of structured light system based on a deconvolution method
Ferrer et al. Optimizing rectangular-shaped object tracking with subpixel resolution
JP2008111726A (ja) 3次元位相計測方法とそれに使われる微分干渉顕微鏡
JP2008028538A (ja) 要素画像群補正装置、要素画像群取得システム、要素画像群補正方法及び要素画像群補正プログラム
KR20150124069A (ko) 카메라 파라미터 산출 방법
JP2019016222A (ja) 画像処理装置およびその制御方法
JP5981353B2 (ja) 3次元計測装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20090810

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20110829

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110920

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20111118

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120424

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120507

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150601

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees