JP4518979B2 - 微細な試料を可視化する装置と方法、微細な格子の乱れを可視化する装置と方法 - Google Patents
微細な試料を可視化する装置と方法、微細な格子の乱れを可視化する装置と方法 Download PDFInfo
- Publication number
- JP4518979B2 JP4518979B2 JP2005058733A JP2005058733A JP4518979B2 JP 4518979 B2 JP4518979 B2 JP 4518979B2 JP 2005058733 A JP2005058733 A JP 2005058733A JP 2005058733 A JP2005058733 A JP 2005058733A JP 4518979 B2 JP4518979 B2 JP 4518979B2
- Authority
- JP
- Japan
- Prior art keywords
- function
- distribution
- estimated distribution
- original image
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Description
半導体集積回路を低コストで効率良く生産するためには、製造プロセス中に発生する問題を迅速に且つ正確に検出することが重要である。このため、フォトマスクの形状などの微細パターンを精度良く観察し、健全性を検査できる技術に対する需要が高まっている。
なお、以下では微細な部位の情報が失われた、実際に取得される画像のことを劣化画像と呼び、微細な部位の情報が失われていない、理想的な画像のことを原画像と呼ぶ。確率統計の理論に基づいて、劣化画像から原画像を復元する処理については、本出願人が先に出願した特許出願2004−300206号および特許出願2004−300207号に詳述されている。ただし、これらの特許出願は、本願出願の時点で公開されていないことに注意されたい。
本発明は複雑で高価な装置を用いることなく、光を用いた観察によって、微細な試料や微細な格子の乱れを可視化することが可能な技術を提供する。
その復元装置は、
(A1)取得した画像データを劣化画像の分布に変換する処理と、
(B1)原画像の最初の推定分布を特定する処理と、
(C1)伝達系のインパルス応答の最初の推定分布を特定する処理と、
(D1)前記劣化画像の分布と、原画像の推定分布と、インパルス応答の推定分布に基づいて、インパルス応答の推定分布を更新する処理と、
(E1)前記劣化画像の分布と、原画像の推定分布と、インパルス応答の推定分布に基づいて、原画像の推定分布を更新する処理と、
(F1)上記(D1)と(E1)の処理を交互に繰返す処理と、
(G1)更新された原画像の推定分布を画像データに変換する処理、
を実施する。
その(D1)のインパルス応答の推定分布を更新する処理は、
(D1−1)原画像の推定分布をフーリエ変換して、原画像の推定分布のスペクトル分布を得る処理と、
(D1−2)インパルス応答の推定分布をフーリエ変換して第1の関数を得る処理と、
(D1−3)前記第1の関数に前記原画像の推定分布のスペクトル分布を乗じて第2の関数を得る処理と、
(D1−4)前記第2の関数を逆フーリエ変換して第3の関数を得る処理と、
(D1−5)前記劣化画像の分布を前記第3の関数で除して第4の関数を得る処理と、
(D1−6)前記第4の関数をフーリエ変換して第5の関数を得る処理と、
(D1−7)前記第5の関数に前記原画像の推定分布のスペクトル分布の反転関数を乗じて第6の関数を得る処理と、
(D1−8)前記第6の関数を逆フーリエ変換して第7の関数を得る処理と、
(D1−9)前記インパルス応答の推定分布に前記第7の関数を乗じて、インパルス応答の次の推定分布を得る処理と、
(D1−10)インパルス応答の次の推定分布をインパルス応答の推定分布に置き換える処理
を備えている。
その(E1)の原画像の推定分布を更新する処理は、
(E1−1)インパルス応答の推定分布をフーリエ変換して、伝達系の周波数応答の推定分布を得る処理と、
(E1−2)原画像の推定分布をフーリエ変換して第8の関数を得る処理と、
(E1−3)前記第8の関数に前記周波数応答の推定分布を乗じて第9の関数を得る処理と、
(E1−4)前記第9の関数を逆フーリエ変換して第10の関数を得る処理と、
(E1−5)前記劣化画像の分布を前記第10の関数で除して第11の関数を得る処理と、
(E1−6)前記第11の関数をフーリエ変換して第12の関数を得る処理と、
(E1−7)前記第12の関数に前記周波数応答の推定分布の反転関数を乗じて第13の関数を得る処理と、
(E1−8)前記第13の関数を逆フーリエ変換して第14の関数を得る処理と、
(E1−9)原画像の推定分布に前記第14の関数を乗じて、原画像の次の推定分布を得る処理と、
(E1−10)原画像の次の推定分布を原画像の推定分布に置き換える処理
を備えている。
撮像面に形成される像は、伝達の過程で、種々の要因によってぼけてしまっており、微細な部位に関する情報が失われている。すなわち、劣化している。従って、撮像面に形成された像をそのまま扱ったとしても、細部まで詳細に観察することができない。本発明の可視化装置では、この劣化した画像データに復元処理を施して、細部まで詳細に観察可能な画像データにまで復元する。
原画像の座標(x、y)に光が結像する事象は、その座標(x、y)に点光源が存在する事象として扱うことができる。原画像の座標(x1、y1)において点光源が存在する事象をV(x1、y1)、劣化画像の座標(x2、y2)において点像が結像する事象をA(x2、y2)とした場合、それぞれの事象の確率P(V)およびP(A)は以下で表現される。
上式の両辺に、P(A(x2、y2))=g(x2、y2)を乗じて、すべての(x2、y2)に関して積分すると、次式が得られる。
上記の関係を満たす分布f(x、y)は、式(14)の右辺のf(x、y)をfk(x、y)とし、式(14)の左辺のf(x、y)をfk+1(x、y)として、fk(x、y)に関する反復計算を実施し、fk(x、y)の収束値を求めることで算出することができる。上記の反復計算によって求まるfk(x、y)の収束値は、Bayesの理論に基づく原画像の推定分布に相当する。
そこで、PSFの代わりに正確な位相特性を含ませることが容易であるOTFを用いることで、より正確に原画像を復元することが可能となる。また、復元の過程で位相特性を正確に評価するために、原画像の推定分布fk(x、y)(k=0,1,2,・・・)を複素関数に拡張し、その実部が画像分布を表現するものとして取扱う。上式の右辺に、フーリエ変換と逆フーリエ変換を用いることで、OTFを用いた形式に変更することができる。フーリエ変換をFT()、逆フーリエ変換をFT−1()で表現すると、式(14)は以下で表現される。
まず伝達系の特性に基づいて、OTFであるH(s、t)を特定する。
次に原画像の最初の推定分布として、f0(x、y)の実部をg(x、y)として、f0(x、y)の虚部を0とする。
次に以下に示す演算を、fk(x、y)が収束するまで繰り返し実施する。ここでFT()は二次元のフーリエ変換を表し、FT−1()は二次元の逆フーリエ変換を表す。またH#(s、t)は、H(s、t)の反転関数であり、H#(s、t)=H(−s、−t)である。
まず劣化画像の分布g(x、y)と、原画像の分布f(x、y)を特定する。本発明の方法では、g(x、y)の実部を劣化画像における照度の分布として、g(x、y)の虚部を0とする。またf(x、y)の実部を原画像における照度の分布として、f(x、y)の虚部を0とする。
次に原画像の分布f(x、y)をフーリエ変換して、原画像の分布のスペクトル分布F(s、t)を算出する。
次に、PSFの最初の推定分布h0(x、y)を特定する。PSFの最初の推定分布h0(x、y)は、どのような分布としてもよい。例えば、PSFの最初の推定分布h0(x、y)は、実部を1として、虚部を0とする。
次に以下に示す演算を、hk(x、y)が収束するまで繰り返し実施する。ここでFT()は二次元のフーリエ変換を表し、FT−1()は二次元の逆フーリエ変換を表す。またF#(s、t)は、F(s、t)の反転関数であり、F#(s、t)=F(−s、−t)である。
hk(x、y)が収束したら、それをフーリエ変換して、OTFの推定分布Hk(s、t)を算出する。
これらを組み合わせることによって、劣化画像のみに基づいて、OTFを推定し、原画像を復元することが可能となる。
すなわち、原画像とPSFのそれぞれについて、適当な分布を仮定しておき、上記したPSFの推定(すなわち、OTFの推定)と原画像の推定とを交互に繰返し実施していくことによって、原画像を復元する。
OTFに関しては、劣化画像の分布と、原画像の推定分布を用いて、Bayesの理論に基づく計算によって、より改善された推定分布を得ることができる。OTFの推定に用いる原画像の推定分布が、真の原画像の分布に近いほど、真のOTFの分布に近い推定分布を得ることができる。
原画像に関しては、劣化画像の分布と、OTFの推定分布を用いて、Bayesの理論に基づく計算によって、より改善された推定分布を得ることができる。原画像の推定に用いるOTFの推定分布が、真のOTFの分布に近いほど、真の原画像の分布に近い推定分布を得ることができる。
従って、上記したOTFの推定と原画像の推定を交互に繰返し実施していくことによって、原画像の推定分布はより真の原画像の分布に近づいていき、OTFの推定分布はより真のOTFの分布に近づいていき、結果として良好に復元された原画像と良好に推定されたOTFの双方を得ることができる。
まず原画像の最初の推定分布と、PSFの最初の推定分布を設定する。原画像の最初の推定分布は、どのような分布を用いてもよい。一般に、劣化画像の分布は原画像の分布から大きく異なることはないため、原画像の最初の推定分布としては劣化画像の分布を用いることが好ましい。PSFの最初の推定分布は、どのような分布を用いてもよい。
次に、式(27)〜(29)の計算を実施して、より改善されたPSFの推定分布hk(s、t)を取得して、得られたhk(s、t)をフーリエ変換してOTFの推定分布Hk(s、t)を取得する。上記の推定を実施することによって、より真のOTF分布に近いOTFの推定分布を得ることができる。
次に、式(16)〜(18)の計算を実施して、より改善された原画像の推定分布fk(x、y)を取得する。上記の推定を実施することによって、より真の原画像分布に近い原画像の推定分布を得ることができる。
上記したOTFの推定と原画像の推定を、交互に繰返し実施していくことによって、推定される原画像の分布は真の原画像の分布に近づいていき、推定されるOTFの分布は真のOTFの分布に近づいていく。従って、上記の反復計算を実施することによって、原画像を復元することが可能となる。
また、格子の形状は四角形に限らず、三角形格子や、六角形格子であってもよい。
本発明に用いる載置板の格子のサイズは、試料を可視化する際に、所望のサイズでの特徴を可視化できるように、調整することができる。本発明の原理によれば、自然に存在する結晶格子を載置板として用いることも可能と考えられる。この場合は数オングストロームから数nm程度の格子間隔であるから、同程度に微細な試料についても可視化することが可能と考えられる。
この可視化装置によれば、レンズを用いることなく試料の特徴を拡大して可視化することが可能である。このような可視化装置は簡素な構成で実現することが可能であり、安価に製作することができる。
本発明の方法は、微細な試料を可視化する方法である。その方法は、試料を載置可能な載置面を備え載置面に沿って格子状に変化する光透過特性の分布を備える載置板に試料を載置する工程と、載置板に光を照射する工程と、載置板で回折された光が、載置面と略平行な撮像面に形成する像の画像データを取得する工程と、取得した画像データを復元する工程を備えている。
その復元する工程は、
(A3)取得した画像データを劣化画像の分布に変換する工程と、
(B3)原画像の最初の推定分布を特定する工程と、
(C3)伝達系のインパルス応答の最初の推定分布を特定する工程と、
(D3)前記劣化画像の分布と、原画像の推定分布と、インパルス応答の推定分布に基づいて、インパルス応答の推定分布を更新する工程と、
(E3)前記劣化画像の分布と、原画像の推定分布と、インパルス応答の推定分布に基づいて、原画像の推定分布を更新する工程と、
(F3)上記(D3)と(E3)の工程を交互に繰返す工程と、
(G3)更新された原画像の推定分布を画像データに変換する工程と
を備えている。
その(D3)のインパルス応答の推定分布を更新する工程は、
(D3−1)原画像の推定分布をフーリエ変換して、原画像の推定分布のスペクトル分布を得る工程と、
(D3−2)インパルス応答の推定分布をフーリエ変換して第1の関数を得る工程と、
(D3−3)前記第1の関数に前記原画像の推定分布のスペクトル分布を乗じて第2の関数を得る工程と、
(D3−4)前記第2の関数を逆フーリエ変換して第3の関数を得る工程と、
(D3−5)前記劣化画像の分布を前記第3の関数で除して第4の関数を得る工程と、
(D3−6)前記第4の関数をフーリエ変換して第5の関数を得る工程と、
(D3−7)前記第5の関数に前記原画像の推定分布のスペクトル分布の反転関数を乗じて第6の関数を得る工程と、
(D3−8)前記第6の関数を逆フーリエ変換して第7の関数を得る工程と、
(D3−9)前記インパルス応答の推定分布に前記第7の関数を乗じて、インパルス応答の次の推定分布を得る工程と、
(D3−10)インパルス応答の次の推定分布をインパルス応答の推定分布に置き換える工程
を備えている。
その(E3)の原画像の推定分布を更新する工程は、
(E3−1)インパルス応答の推定分布をフーリエ変換して、伝達系の周波数応答の推定分布を得る工程と、
(E3−2)原画像の推定分布をフーリエ変換して第8の関数を得る工程と、
(E3−3)前記第8の関数に前記周波数応答の推定分布を乗じて第9の関数を得る工程と、
(E3−4)前記第9の関数を逆フーリエ変換して第10の関数を得る工程と、
(E3−5)前記劣化画像の分布を前記第10の関数で除して第11の関数を得る工程と、
(E3−6)前記第11の関数をフーリエ変換して第12の関数を得る工程と、
(E3−7)前記第12の関数に前記周波数応答の推定分布の反転関数を乗じて第13の関数を得る工程と、
(E3−8)前記第13の関数を逆フーリエ変換して第14の関数を得る工程と、
(E3−9)原画像の推定分布に前記第14の関数を乗じて、原画像の次の推定分布を得る工程と、
(E3−10)原画像の次の推定分布を原画像の推定分布に置き換える工程と、
を備えている。
例えば半導体装置の製造過程においては、規則正しい格子模様を備えるフォトマスクが利用される。このようなフォトマスクにおいて、格子模様にもともと備わっている形状不整を可視化することができれば、フォトマスクの健全性を正確に評価することができる。
その復元装置は、
(A2)取得した画像データを劣化画像の分布に変換する処理と、
(B2)原画像の最初の推定分布を特定する処理と、
(C2)伝達系のインパルス応答の最初の推定分布を特定する処理と、
(D2)前記劣化画像の分布と、原画像の推定分布と、インパルス応答の推定分布に基づいて、インパルス応答の推定分布を更新する処理と、
(E2)前記劣化画像の分布と、原画像の推定分布と、インパルス応答の推定分布に基づいて、原画像の推定分布を更新する処理と、
(F2)上記(D2)と(E2)の処理を交互に繰返す処理と、
(G2)更新された原画像の推定分布を画像データに変換する処理、
を実施するものである。
その(D2)のインパルス応答の推定分布を更新する処理は、
(D2−1)原画像の推定分布をフーリエ変換して、原画像の推定分布のスペクトル分布を得る処理と、
(D2−2)インパルス応答の推定分布をフーリエ変換して第1の関数を得る処理と、
(D2−3)前記第1の関数に前記原画像の推定分布のスペクトル分布を乗じて第2の関数を得る処理と、
(D2−4)前記第2の関数を逆フーリエ変換して第3の関数を得る処理と、
(D2−5)前記劣化画像の分布を前記第3の関数で除して第4の関数を得る処理と、
(D2−6)前記第4の関数をフーリエ変換して第5の関数を得る処理と、
(D2−7)前記第5の関数に前記原画像の推定分布のスペクトル分布の反転関数を乗じて第6の関数を得る処理と、
(D2−8)前記第6の関数を逆フーリエ変換して第7の関数を得る処理と、
(D2−9)前記インパルス応答の推定分布に前記第7の関数を乗じて、インパルス応答の次の推定分布を得る処理と、
(D2−10)インパルス応答の次の推定分布をインパルス応答の推定分布に置き換える処理
を備えている。
その(E2)の原画像の推定分布を更新する処理は、
(E2−1)インパルス応答の推定分布をフーリエ変換して、伝達系の周波数応答の推定分布を得る処理と、
(E2−2)原画像の推定分布をフーリエ変換して第8の関数を得る処理と、
(E2−3)前記第8の関数に前記周波数応答の推定分布を乗じて第9の関数を得る処理と、
(E2−4)前記第9の関数を逆フーリエ変換して第10の関数を得る処理と、
(E2−5)前記劣化画像の分布を前記第10の関数で除して第11の関数を得る処理と、
(E2−6)前記第11の関数をフーリエ変換して第12の関数を得る処理と、
(E2−7)前記第12の関数に前記周波数応答の推定分布の反転関数を乗じて第13の関数を得る処理と、
(E2−8)前記第13の関数を逆フーリエ変換して第14の関数を得る処理と、
(E2−9)原画像の推定分布に前記第14の関数を乗じて、原画像の次の推定分布を得る処理と、
(E2−10)原画像の次の推定分布を原画像の推定分布に置き換える処理と、
を備えている。
上記の可視化装置によれば、格子模様にもともと備わっている微小な格子の乱れを可視化することができる。例えば格子模様を備えるフォトマスクに適用することで、フォトマスクの健全性を、安価な装置を用いて、迅速且つ正確に評価することができる。
本発明の他の1つの方法は、微細な格子の乱れを可視化する方法である。その方法は、格子に光を照射する工程と、格子で回折された光が格子の面と略平行な撮像面に形成する像の画像データを取得する工程と、取得した画像データを復元する工程を備えている。
その復元する工程は、
(A4)取得した画像データを劣化画像の分布に変換する工程と、
(B4)原画像の最初の推定分布を特定する工程と、
(C4)伝達系のインパルス応答の最初の推定分布を特定する工程と、
(D4)前記劣化画像の分布と、原画像の推定分布と、インパルス応答の推定分布に基づいて、インパルス応答の推定分布を更新する工程と、
(E4)前記劣化画像の分布と、原画像の推定分布と、インパルス応答の推定分布に基づいて、原画像の推定分布を更新する工程と、
(F4)上記(D4)と(E4)の工程を交互に繰返す工程と、
(G4)更新された原画像の推定分布を画像データに変換する工程と
を備えている。
その(D4)のインパルス応答の推定分布を更新する工程は、
(D4−1)原画像の推定分布をフーリエ変換して、原画像の推定分布のスペクトル分布を得る工程と、
(D4−2)インパルス応答の推定分布をフーリエ変換して第1の関数を得る工程と、
(D4−3)前記第1の関数に前記原画像の推定分布のスペクトル分布を乗じて第2の関数を得る工程と、
(D4−4)前記第2の関数を逆フーリエ変換して第3の関数を得る工程と、
(D4−5)前記劣化画像の分布を前記第3の関数で除して第4の関数を得る工程と、
(D4−6)前記第4の関数をフーリエ変換して第5の関数を得る工程と、
(D4−7)前記第5の関数に前記原画像の推定分布のスペクトル分布の反転関数を乗じて第6の関数を得る工程と、
(D4−8)前記第6の関数を逆フーリエ変換して第7の関数を得る工程と、
(D4−9)前記インパルス応答の推定分布に前記第7の関数を乗じて、インパルス応答の次の推定分布を得る工程と、
(D4−10)インパルス応答の次の推定分布をインパルス応答の推定分布に置き換える工程
を備えている。
その(E4)の原画像の推定分布を更新する工程は、
(E4−1)インパルス応答の推定分布をフーリエ変換して、伝達系の周波数応答の推定分布を得る工程と、
(E4−2)原画像の推定分布をフーリエ変換して第8の関数を得る工程と、
(E4−3)前記第8の関数に前記周波数応答の推定分布を乗じて第9の関数を得る工程と、
(E4−4)前記第9の関数を逆フーリエ変換して第10の関数を得る工程と、
(E4−5)前記劣化画像の分布を前記第10の関数で除して第11の関数を得る工程と、
(E4−6)前記第11の関数をフーリエ変換して第12の関数を得る工程と、
(E4−7)前記第12の関数に前記周波数応答の推定分布の反転関数を乗じて第13の関数を得る工程と、
(E4−8)前記第13の関数を逆フーリエ変換して第14の関数を得る工程と、
(E4−9)原画像の推定分布に前記第14の関数を乗じて、原画像の次の推定分布を得る工程と、
(E4−10)原画像の次の推定分布を原画像の推定分布に置き換える工程と、
を備えている。
また本発明の可視化装置または方法によれば、格子模様がもともと備えている微小な形状不整を可視化することができる。例えば半導体デバイスの製造に用いる格子模様を備えたフォトマスクの健全性の検査を高度な正確さで行うことができる。
図面を参照しながら、本実施例の可視化装置102について説明する。
図1は本実施例の可視化装置102の構成を示す概略図である。本実施例の可視化装置102は、試料114を載置可能なプレート112と、光源104と、イメージセンサ106と、復元装置108を備えている。
図2はプレート112を上方から見た場合の拡大図である。プレート112は、照射される光を透過する透過部204と、照射された光を遮蔽する格子状に形成された遮蔽部202を備えている。従って、プレート112は光源104から照射される光に対して、回折格子の役割を果たす。本実施例の可視化装置102では、透過部202の横幅d1および縦幅d3はそれぞれ5nmである。また本実施例の可視化装置102では、遮蔽部204の格子の横幅d2および縦幅d4はそれぞれ5nmである。
本実施例の可視化装置102では、例えばペプチド、タンパクを始めとする生体高分子を試料114として、その微細な構造を可視化することができる。
本実施例の可視化装置102では、1つの撮像素子の寸法を、10μm×10μmとする。
光源104から照射された光は、プレート112と試料114によって回折され、一部は散乱し、一部は透過する。
プレート112を透過した光は回折して、プレート112の後側に格子と相似な像の列を形成する。このようにして形成される像はフーリエイメージと呼ばれる。フーリエイメージは以下で特定される位置zに形成される。ただし、aは光源104からプレート112までの距離であり、zはプレート112から後側への距離である。λは照射される光の波長である。nは任意の自然数である。dはプレート112の格子の繰返し周期であり、本実施例の可視化装置102の場合、d=d1+d2=10nmである。
撮像面110に結像された像は、イメージセンサ106によって読取られ、データとして復元装置108へ送信される。
本実施例の可視化装置102は、上記した撮像面110で取得される像を、光学系を伝達したことによって劣化した画像として捉え、復元装置108で復元処理を施して、劣化後の画像から細部まで表現された画像を復元する。
以下では復元装置108が行う復元処理について説明する。
まずステップS302では、復元装置108に受信された画像データから、RGBそれぞれの色成分の照度の分布gr(x、y)、gg(x、y)、gb(x、y)を特定する。各色成分の照度の分布gr(x、y)、gg(x、y)、gb(x、y)は、各色成分の照度を実数で表現した変数である。本実施例の復元装置108は、上記した各色成分の照度の分布gr(x、y)、gg(x、y)、gb(x、y)のそれぞれについて、ステップS304以降の処理を実施して、画像を復元する。以下では例示として、gr(x、y)の分布を復元する処理を説明する。gg(x、y)、gb(x、y)の復元処理については、gr(x、y)と同様の処理を行うため、説明を省略する。
またステップS306では、光学系のインパルス応答である、点像分布関数PSFの最初の推定分布h0(x、y)を設定する。PSFの最初の推定分布h0(x、y)としては、任意の分布を設定することができる。本実施例の方法では、PSFの最初の推定分布h0(x、y)として、全ての(x、y)に対して実部が1であり、虚部が0である関数を用いる。
さらにステップS306では、反復計算の繰返し数kを0に設定する。
上記したステップS304からステップS318までの一連の処理によって、R成分の照度分布gr(x、y)から、R成分の照度分布fr(x、y)が復元される。上記した処理をgg(x、y)、gb(x、y)についても実施することによって、照度分布fg(x、y)、fb(x、y)についても復元される。復元されたfr(x、y)、fg(x、y)、fb(x、y)から、画像データを得ることができる。
上記の方法によって復元されたfr(x、y)、fg(x、y)、fb(x、y)は、ディスプレーに表示してもよいし、印刷装置を用いて紙に印刷してもよいし、ハードディスクなどの記憶装置に記憶してもよいし、通信回線を経由して他のコンピュータに送信してもよい。
上記の反復計算は、劣化画像分布g(x、y)と、原画像分布fk−1(x、y)から、PSFの分布hk(x、y)を推定することに相当する。原画像分布fk−1(x、y)が、真の原画像分布f(x、y)に近いほど、上記の反復計算によって推定されるhk(x、y)は、真のPSFの分布h(x、y)に近づく。
上記の反復計算は、劣化画像分布g(x、y)と、OTF分布Hk(s、t)とに基づいて、原画像分布fk(x、y)を推定することに相当する。OTF分布Hk(s、t)が、真のOTF分布H(s、t)に近いほど、上記の反復計算によって推定されるfk(x、y)は、真の原画像の分布f(x、y)に近づく。
図面を参照しながら、本実施例の可視化装置602について説明する。第1実施例と同様のものについては、同一符号を付して説明を省略する。
可視化装置602は、格子状の光透過模様を備えるマスク612と、光源604と、レンズ614と、イメージセンサ106と、復元装置108を備える。
マスク612はCCDデバイスを製造する際に使用するフォトマスクであって、エレクトロンビームの照射によって格子模様を形成されている。このように格子模様を形成する場合、折り返し点や繰り返し点において格子に段差を生じることがある。このような段差はフォトマスクの欠陥の一種であって、EBストライピング欠陥またはEB段差欠陥と呼ばれる。本実施例のマスク612では、透過部の幅が9.9μm、遮蔽部の幅が1.1μmの格子模様を備えるフォトマスクであって、縦と横にEB段差808、810を備えている。
光源604はマスク612に対して偏斜した光軸LBに沿って光を照射する。マスク612に照射された光は、マスク612の格子模様で回折され、光源604から見てマスク612の後方に分光する。図8では、照射された光と同じ波長の光をL0で、照射された光より高次の波長の光の1次光、2次光、・・・をL1、L2、・・・・で、−1次光、−2次光、・・・・をL−1、L−2、・・・で表現している。
レンズ614へ入射する高次光は、レンズ614の位置や開口数を変更することによって、調整することができる。例えば19次光のみをレンズ614へ入射し、他の成分はレンズ614へ入射させないこともできる。
図9は図7に示すマスク612を用いた場合に撮像面110に形成される像906を示す。像906は、マスク612で回折された光のうち19次光のみが入射されるように、レンズ614の位置と開口数を調整した状態で取得されたものである。
像906はぼやけており、マスク612の格子模様はほとんど識別できないが、段差808に対応する位置に線908が、段差810に対応する位置に線910が、強調されて現れていることが分かる。
撮像面110に得られた像906を、光学系を伝達したことによって劣化した画像として捉え、復元処理を施すことによって、このような格子の乱れをさらに鮮明に可視化することができる。
復元装置108はイメージセンサ106から送信される画像データに基づいて、復元処理を実施して、復元された画像データを作成する。復元装置108が実施する復元処理は第1実施例と同様であるから、説明を省略する。
また、本明細書または図面に説明した技術要素は、単独であるいは各種の組み合わせによって技術的有用性を発揮するものであり、出願時請求項記載の組み合わせに限定されるものではない。また、本明細書または図面に例示した技術は複数目的を同時に達成するものであり、そのうちの一つの目的を達成すること自体で技術的有用性を持つものである。
104・・・点光源
106・・・イメージセンサ
108・・・復元装置
110・・・撮像面
112・・・プレート
114・・・試料
202・・・遮蔽部
204・・・透過部
602・・・可視化装置
604・・・光源
612・・・マスク
614・・・レンズ
802・・・透過部
804・・・遮蔽部
808、810・・・段
906・・・画像
908、910・・・線
Claims (10)
- 微細な試料を可視化する装置であって、
試料を載置可能な載置面を備え、載置面に沿って格子状に変化する光透過特性の分布を備える載置板と、
載置板に光を照射する光源と、
載置面と略平行な撮像面を備えており、載置板で回折された光が撮像面に形成する像の画像データを取得する画像データ取得手段と、
取得した画像データを復元する復元装置を備えており、
前記復元装置は、
(A1)取得した画像データを劣化画像の分布に変換する処理と、
(B1)原画像の最初の推定分布を特定する処理と、
(C1)伝達系のインパルス応答の最初の推定分布を特定する処理と、
(D1)前記劣化画像の分布と、原画像の推定分布と、インパルス応答の推定分布に基づいて、インパルス応答の推定分布を更新する処理と、
(E1)前記劣化画像の分布と、原画像の推定分布と、インパルス応答の推定分布に基づいて、原画像の推定分布を更新する処理と、
(F1)上記(D1)と(E1)の処理を交互に繰返す処理と、
(G1)更新された原画像の推定分布を画像データに変換する処理、
を実施するものであり、
前記(D1)のインパルス応答の推定分布を更新する処理は、
(D1−1)原画像の推定分布をフーリエ変換して、原画像の推定分布のスペクトル分布を得る処理と、
(D1−2)インパルス応答の推定分布をフーリエ変換して第1の関数を得る処理と、
(D1−3)前記第1の関数に前記原画像の推定分布のスペクトル分布を乗じて第2の関数を得る処理と、
(D1−4)前記第2の関数を逆フーリエ変換して第3の関数を得る処理と、
(D1−5)前記劣化画像の分布を前記第3の関数で除して第4の関数を得る処理と、
(D1−6)前記第4の関数をフーリエ変換して第5の関数を得る処理と、
(D1−7)前記第5の関数に前記原画像の推定分布のスペクトル分布の反転関数を乗じて第6の関数を得る処理と、
(D1−8)前記第6の関数を逆フーリエ変換して第7の関数を得る処理と、
(D1−9)前記インパルス応答の推定分布に前記第7の関数を乗じて、インパルス応答の次の推定分布を得る処理と、
(D1−10)インパルス応答の次の推定分布をインパルス応答の推定分布に置き換える処理
を備えており、
前記(E1)の原画像の推定分布を更新する処理は、
(E1−1)インパルス応答の推定分布をフーリエ変換して、伝達系の周波数応答の推定分布を得る処理と、
(E1−2)原画像の推定分布をフーリエ変換して第8の関数を得る処理と、
(E1−3)前記第8の関数に前記周波数応答の推定分布を乗じて第9の関数を得る処理と、
(E1−4)前記第9の関数を逆フーリエ変換して第10の関数を得る処理と、
(E1−5)前記劣化画像の分布を前記第10の関数で除して第11の関数を得る処理と、
(E1−6)前記第11の関数をフーリエ変換して第12の関数を得る処理と、
(E1−7)前記第12の関数に前記周波数応答の推定分布の反転関数を乗じて第13の関数を得る処理と、
(E1−8)前記第13の関数を逆フーリエ変換して第14の関数を得る処理と、
(E1−9)原画像の推定分布に前記第14の関数を乗じて、原画像の次の推定分布を得る処理と、
(E1−10)原画像の次の推定分布を原画像の推定分布に置き換える処理と、
を備えている、
ことを特徴とする可視化装置。 - 前記光源は載置板に近接する点光源であって、
前記撮像面は、載置板の光透過特性の分布に応じたフーリエ面に位置する
ことを特徴とする請求項1の可視化装置。 - 試料画像検出装置をさらに備え、
前記試料画像検出装置は、載置板に試料を載置した状態で取得された画像データから復元された画像データと、載置板に試料を載置していない状態で取得された画像データから復元された画像データの差異を検出することを特徴とする請求項2の可視化装置。 - 載置板で回折された光を前記撮像面に結像するレンズをさらに備え、
前記光源は、載置面に対して偏斜した軸を光軸とする光を照射し、
前記レンズは、載置板で回折された高次光を前記撮像面に結像する、
ことを特徴とする請求項1の可視化装置。 - 微細な格子の乱れを可視化する装置であって、
格子に光を照射する光源と、
格子の面と略平行な撮像面を備えており、格子で回折された光が撮像面に形成する像の画像データを取得する画像データ取得手段と、
取得した画像データを復元する復元装置を備えており、
前記復元装置は、
(A2)取得した画像データを劣化画像の分布に変換する処理と、
(B2)原画像の最初の推定分布を特定する処理と、
(C2)伝達系のインパルス応答の最初の推定分布を特定する処理と、
(D2)前記劣化画像の分布と、原画像の推定分布と、インパルス応答の推定分布に基づいて、インパルス応答の推定分布を更新する処理と、
(E2)前記劣化画像の分布と、原画像の推定分布と、インパルス応答の推定分布に基づいて、原画像の推定分布を更新する処理と、
(F2)上記(D2)と(E2)の処理を交互に繰返す処理と、
(G2)更新された原画像の推定分布を画像データに変換する処理、
を実施するものであり、
前記(D2)のインパルス応答の推定分布を更新する処理は、
(D2−1)原画像の推定分布をフーリエ変換して、原画像の推定分布のスペクトル分布を得る処理と、
(D2−2)インパルス応答の推定分布をフーリエ変換して第1の関数を得る処理と、
(D2−3)前記第1の関数に前記原画像の推定分布のスペクトル分布を乗じて第2の関数を得る処理と、
(D2−4)前記第2の関数を逆フーリエ変換して第3の関数を得る処理と、
(D2−5)前記劣化画像の分布を前記第3の関数で除して第4の関数を得る処理と、
(D2−6)前記第4の関数をフーリエ変換して第5の関数を得る処理と、
(D2−7)前記第5の関数に前記原画像の推定分布のスペクトル分布の反転関数を乗じて第6の関数を得る処理と、
(D2−8)前記第6の関数を逆フーリエ変換して第7の関数を得る処理と、
(D2−9)前記インパルス応答の推定分布に前記第7の関数を乗じて、インパルス応答の次の推定分布を得る処理と、
(D2−10)インパルス応答の次の推定分布をインパルス応答の推定分布に置き換える処理
を備えており、
前記(E2)の原画像の推定分布を更新する処理は、
(E2−1)インパルス応答の推定分布をフーリエ変換して、伝達系の周波数応答の推定分布を得る処理と、
(E2−2)原画像の推定分布をフーリエ変換して第8の関数を得る処理と、
(E2−3)前記第8の関数に前記周波数応答の推定分布を乗じて第9の関数を得る処理と、
(E2−4)前記第9の関数を逆フーリエ変換して第10の関数を得る処理と、
(E2−5)前記劣化画像の分布を前記第10の関数で除して第11の関数を得る処理と、
(E2−6)前記第11の関数をフーリエ変換して第12の関数を得る処理と、
(E2−7)前記第12の関数に前記周波数応答の推定分布の反転関数を乗じて第13の関数を得る処理と、
(E2−8)前記第13の関数を逆フーリエ変換して第14の関数を得る処理と、
(E2−9)原画像の推定分布に前記第14の関数を乗じて、原画像の次の推定分布を得る処理と、
(E2−10)原画像の次の推定分布を原画像の推定分布に置き換える処理と、
を備えている、
ことを特徴とする可視化装置。 - 前記光源は格子に近接する点光源であって、
前記撮像面は、格子のフーリエ面に位置する
ことを特徴とする請求項5の可視化装置。 - 格子の乱れ検出装置をさらに備え、
前記格子の乱れ検出装置は、格子に乱れのある状態で取得された画像データから復元された画像データと、格子に乱れのない状態で取得された画像データから復元された画像データの差異を検出することを特徴とする請求項6の可視化装置。 - 格子で回折された光を前記撮像面に結像するレンズをさらに備え、
前記光源は、格子の面に対して偏斜した軸を光軸とする光を照射し、
前記レンズは、格子で回折された高次光を前記撮像面に結像する、
ことを特徴とする請求項5の可視化装置。 - 微細な試料を可視化する方法であって、
試料を載置可能な載置面を備え、載置面に沿って格子状に変化する光透過特性の分布を備える載置板に、試料を載置する工程と、
載置板に光を照射する工程と、
載置板で回折された光が、載置面と略平行な撮像面に形成する像の画像データを取得する工程と、
取得した画像データを復元する工程を備えており、
前記復元する工程は、
(A3)取得した画像データを劣化画像の分布に変換する工程と、
(B3)原画像の最初の推定分布を特定する工程と、
(C3)伝達系のインパルス応答の最初の推定分布を特定する工程と、
(D3)前記劣化画像の分布と、原画像の推定分布と、インパルス応答の推定分布に基づいて、インパルス応答の推定分布を更新する工程と、
(E3)前記劣化画像の分布と、原画像の推定分布と、インパルス応答の推定分布に基づいて、原画像の推定分布を更新する工程と、
(F3)上記(D3)と(E3)の工程を交互に繰返す工程と、
(G3)更新された原画像の推定分布を画像データに変換する工程と
を備えており、
前記(D3)のインパルス応答の推定分布を更新する工程は、
(D3−1)原画像の推定分布をフーリエ変換して、原画像の推定分布のスペクトル分布を得る工程と、
(D3−2)インパルス応答の推定分布をフーリエ変換して第1の関数を得る工程と、
(D3−3)前記第1の関数に前記原画像の推定分布のスペクトル分布を乗じて第2の関数を得る工程と、
(D3−4)前記第2の関数を逆フーリエ変換して第3の関数を得る工程と、
(D3−5)前記劣化画像の分布を前記第3の関数で除して第4の関数を得る工程と、
(D3−6)前記第4の関数をフーリエ変換して第5の関数を得る工程と、
(D3−7)前記第5の関数に前記原画像の推定分布のスペクトル分布の反転関数を乗じて第6の関数を得る工程と、
(D3−8)前記第6の関数を逆フーリエ変換して第7の関数を得る工程と、
(D3−9)前記インパルス応答の推定分布に前記第7の関数を乗じて、インパルス応答の次の推定分布を得る工程と、
(D3−10)インパルス応答の次の推定分布をインパルス応答の推定分布に置き換える工程
を備えており、
前記(E3)の原画像の推定分布を更新する工程は、
(E3−1)インパルス応答の推定分布をフーリエ変換して、伝達系の周波数応答の推定分布を得る工程と、
(E3−2)原画像の推定分布をフーリエ変換して第8の関数を得る工程と、
(E3−3)前記第8の関数に前記周波数応答の推定分布を乗じて第9の関数を得る工程と、
(E3−4)前記第9の関数を逆フーリエ変換して第10の関数を得る工程と、
(E3−5)前記劣化画像の分布を前記第10の関数で除して第11の関数を得る工程と、
(E3−6)前記第11の関数をフーリエ変換して第12の関数を得る工程と、
(E3−7)前記第12の関数に前記周波数応答の推定分布の反転関数を乗じて第13の関数を得る工程と、
(E3−8)前記第13の関数を逆フーリエ変換して第14の関数を得る工程と、
(E3−9)原画像の推定分布に前記第14の関数を乗じて、原画像の次の推定分布を得る工程と、
(E3−10)原画像の次の推定分布を原画像の推定分布に置き換える工程と、
を備えている、
ことを特徴とする可視化方法。 - 微細な格子の乱れを可視化する方法であって、
格子に光を照射する工程と、
格子で回折された光が格子の面と略平行な撮像面に形成する像の画像データを取得する工程と、
取得した画像データを復元する工程を備えており、
前記復元する工程は、
(A4)取得した画像データを劣化画像の分布に変換する工程と、
(B4)原画像の最初の推定分布を特定する工程と、
(C4)伝達系のインパルス応答の最初の推定分布を特定する工程と、
(D4)前記劣化画像の分布と、原画像の推定分布と、インパルス応答の推定分布に基づいて、インパルス応答の推定分布を更新する工程と、
(E4)前記劣化画像の分布と、原画像の推定分布と、インパルス応答の推定分布に基づいて、原画像の推定分布を更新する工程と、
(F4)上記(D4)と(E4)の工程を交互に繰返す工程と、
(G4)更新された原画像の推定分布を画像データに変換する工程と
を備えており、
前記(D4)のインパルス応答の推定分布を更新する工程は、
(D4−1)原画像の推定分布をフーリエ変換して、原画像の推定分布のスペクトル分布を得る工程と、
(D4−2)インパルス応答の推定分布をフーリエ変換して第1の関数を得る工程と、
(D4−3)前記第1の関数に前記原画像の推定分布のスペクトル分布を乗じて第2の関数を得る工程と、
(D4−4)前記第2の関数を逆フーリエ変換して第3の関数を得る工程と、
(D4−5)前記劣化画像の分布を前記第3の関数で除して第4の関数を得る工程と、
(D4−6)前記第4の関数をフーリエ変換して第5の関数を得る工程と、
(D4−7)前記第5の関数に前記原画像の推定分布のスペクトル分布の反転関数を乗じて第6の関数を得る工程と、
(D4−8)前記第6の関数を逆フーリエ変換して第7の関数を得る工程と、
(D4−9)前記インパルス応答の推定分布に前記第7の関数を乗じて、インパルス応答の次の推定分布を得る工程と、
(D4−10)インパルス応答の次の推定分布をインパルス応答の推定分布に置き換える工程
を備えており、
前記(E4)の原画像の推定分布を更新する工程は、
(E4−1)インパルス応答の推定分布をフーリエ変換して、伝達系の周波数応答の推定分布を得る工程と、
(E4−2)原画像の推定分布をフーリエ変換して第8の関数を得る工程と、
(E4−3)前記第8の関数に前記周波数応答の推定分布を乗じて第9の関数を得る工程と、
(E4−4)前記第9の関数を逆フーリエ変換して第10の関数を得る工程と、
(E4−5)前記劣化画像の分布を前記第10の関数で除して第11の関数を得る工程と、
(E4−6)前記第11の関数をフーリエ変換して第12の関数を得る工程と、
(E4−7)前記第12の関数に前記周波数応答の推定分布の反転関数を乗じて第13の関数を得る工程と、
(E4−8)前記第13の関数を逆フーリエ変換して第14の関数を得る工程と、
(E4−9)原画像の推定分布に前記第14の関数を乗じて、原画像の次の推定分布を得る工程と、
(E4−10)原画像の次の推定分布を原画像の推定分布に置き換える工程と、
を備えている、
ことを特徴とする可視化方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005058733A JP4518979B2 (ja) | 2005-03-03 | 2005-03-03 | 微細な試料を可視化する装置と方法、微細な格子の乱れを可視化する装置と方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005058733A JP4518979B2 (ja) | 2005-03-03 | 2005-03-03 | 微細な試料を可視化する装置と方法、微細な格子の乱れを可視化する装置と方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2006242746A JP2006242746A (ja) | 2006-09-14 |
JP4518979B2 true JP4518979B2 (ja) | 2010-08-04 |
Family
ID=37049315
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2005058733A Expired - Fee Related JP4518979B2 (ja) | 2005-03-03 | 2005-03-03 | 微細な試料を可視化する装置と方法、微細な格子の乱れを可視化する装置と方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4518979B2 (ja) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4930277B2 (ja) * | 2007-08-21 | 2012-05-16 | カシオ計算機株式会社 | 撮像装置及びそのコンピュータプログラム |
JP2010079875A (ja) * | 2008-08-27 | 2010-04-08 | Sony Corp | 情報処理装置、情報処理方法、及びプログラム |
JP5419403B2 (ja) | 2008-09-04 | 2014-02-19 | キヤノン株式会社 | 画像処理装置 |
US8331714B2 (en) * | 2009-02-23 | 2012-12-11 | Sharp Laboratories Of America, Inc. | Methods and systems for image processing |
US9196025B2 (en) * | 2009-09-15 | 2015-11-24 | Nec Corporation | Image processing apparatus, image processing method and image processing program |
JP5546229B2 (ja) * | 2009-12-09 | 2014-07-09 | キヤノン株式会社 | 画像処理方法、画像処理装置、撮像装置および画像処理プログラム |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0845999A (ja) * | 1994-07-29 | 1996-02-16 | Rohm Co Ltd | 規則的パターンを有するウェハの表面検査方法 |
JPH11258057A (ja) * | 1997-12-26 | 1999-09-24 | Japan Science & Technology Corp | 複素信号検出方法、複素顕微鏡、および複素回折装置 |
JP2000123168A (ja) * | 1998-10-19 | 2000-04-28 | Risou Kagaku Kenkyusho:Kk | ぼけ補正用逆フィルタ決定装置と方法、ぼけ補正機能を備える画像装置、及び記録媒体 |
JP2000329708A (ja) * | 1999-03-15 | 2000-11-30 | Denso Corp | モノリス担体の欠陥検査方法及び欠陥検査装置 |
JP2001021332A (ja) * | 1999-07-06 | 2001-01-26 | Sumitomo Chem Co Ltd | 表面検査装置及び表面検査方法 |
JP2004186901A (ja) * | 2002-12-02 | 2004-07-02 | Sony Corp | 撮像装置及び方法、プログラム及び記録媒体 |
-
2005
- 2005-03-03 JP JP2005058733A patent/JP4518979B2/ja not_active Expired - Fee Related
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0845999A (ja) * | 1994-07-29 | 1996-02-16 | Rohm Co Ltd | 規則的パターンを有するウェハの表面検査方法 |
JPH11258057A (ja) * | 1997-12-26 | 1999-09-24 | Japan Science & Technology Corp | 複素信号検出方法、複素顕微鏡、および複素回折装置 |
JP2000123168A (ja) * | 1998-10-19 | 2000-04-28 | Risou Kagaku Kenkyusho:Kk | ぼけ補正用逆フィルタ決定装置と方法、ぼけ補正機能を備える画像装置、及び記録媒体 |
JP2000329708A (ja) * | 1999-03-15 | 2000-11-30 | Denso Corp | モノリス担体の欠陥検査方法及び欠陥検査装置 |
JP2001021332A (ja) * | 1999-07-06 | 2001-01-26 | Sumitomo Chem Co Ltd | 表面検査装置及び表面検査方法 |
JP2004186901A (ja) * | 2002-12-02 | 2004-07-02 | Sony Corp | 撮像装置及び方法、プログラム及び記録媒体 |
Also Published As
Publication number | Publication date |
---|---|
JP2006242746A (ja) | 2006-09-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CA2564597C (en) | High resolution imaging | |
JP4518979B2 (ja) | 微細な試料を可視化する装置と方法、微細な格子の乱れを可視化する装置と方法 | |
AU2009323838B2 (en) | Provision of image data | |
JP5717296B2 (ja) | 回折顕微法 | |
KR101810637B1 (ko) | 티코그래피에서 프로브의 보정 | |
Li et al. | Compressed sensing of scanning transmission electron microscopy (STEM) with nonrectangular scans | |
JP4587742B2 (ja) | 荷電粒子線顕微方法及び荷電粒子線応用装置 | |
CN110796631A (zh) | 使用模拟样本图像训练人工神经网络 | |
JP6521205B1 (ja) | 結晶方位図生成装置、荷電粒子線装置、結晶方位図生成方法およびプログラム | |
Postek et al. | Comparison of electron imaging modes for dimensional measurements in the scanning electron microscope | |
Batey | Ptychographic imaging of mixed states | |
Joy et al. | Evaluating SEM performance from the contrast transfer function | |
GB2403616A (en) | Diffraction pattern imaging using moving aperture. | |
De Caro et al. | Keyhole electron diffractive imaging (KEDI) | |
Hujsak et al. | Stage-Rocked Electron Channeling for Crystal Orientation Mapping | |
Mukhtar et al. | Measuring multielectron beam imaging fidelity with a signal-to-noise ratio analysis | |
JP6643470B2 (ja) | デジタルホログラフィック撮像装置、撮像方法 | |
Ren et al. | A Practical Reconstruction Method for Three-Dimensional Phase Contrast Atomic Electron Tomography | |
Lobato et al. | Deep convolutional neural networks to restore single-shot electron microscopy images | |
Cizmar et al. | Advances in modeling of scanning charged-particle-microscopy images | |
US20230005123A1 (en) | Sample observation system and image processing method | |
Allars | Near field electron ptychography | |
Lee et al. | Lens-free reflective topography for super-resolution wafer inspection | |
Bhat et al. | Insights and alternative proposals on the phase retrieval in high resolution transmission electron microscopy | |
Hujsak et al. | Stage-Rocked Electron Channeling for Crystal Orientation Mapping (Postprint) |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20070702 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20100106 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20100427 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20100518 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130528 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 4518979 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130528 Year of fee payment: 3 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313117 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130528 Year of fee payment: 3 |
|
R360 | Written notification for declining of transfer of rights |
Free format text: JAPANESE INTERMEDIATE CODE: R360 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130528 Year of fee payment: 3 |
|
R360 | Written notification for declining of transfer of rights |
Free format text: JAPANESE INTERMEDIATE CODE: R360 |
|
R371 | Transfer withdrawn |
Free format text: JAPANESE INTERMEDIATE CODE: R371 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313117 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130528 Year of fee payment: 3 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R371 | Transfer withdrawn |
Free format text: JAPANESE INTERMEDIATE CODE: R371 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
LAPS | Cancellation because of no payment of annual fees | ||
R371 | Transfer withdrawn |
Free format text: JAPANESE INTERMEDIATE CODE: R371 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |