JP4111614B2 - 顕微鏡における複素信号検出方法 - Google Patents

顕微鏡における複素信号検出方法 Download PDF

Info

Publication number
JP4111614B2
JP4111614B2 JP37359798A JP37359798A JP4111614B2 JP 4111614 B2 JP4111614 B2 JP 4111614B2 JP 37359798 A JP37359798 A JP 37359798A JP 37359798 A JP37359798 A JP 37359798A JP 4111614 B2 JP4111614 B2 JP 4111614B2
Authority
JP
Japan
Prior art keywords
image
complex
signal
real
measurement
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP37359798A
Other languages
English (en)
Other versions
JPH11258057A (ja
Inventor
国昭 永山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Japan Science and Technology Agency
National Institute of Japan Science and Technology Agency
Original Assignee
Japan Science and Technology Agency
National Institute of Japan Science and Technology Agency
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Japan Science and Technology Agency, National Institute of Japan Science and Technology Agency filed Critical Japan Science and Technology Agency
Priority to JP37359798A priority Critical patent/JP4111614B2/ja
Publication of JPH11258057A publication Critical patent/JPH11258057A/ja
Application granted granted Critical
Publication of JP4111614B2 publication Critical patent/JP4111614B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Landscapes

  • Length Measuring Devices By Optical Means (AREA)
  • Testing Or Calibration Of Command Recording Devices (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)
  • Image Processing (AREA)

Description

【0001】
【発明の属する技術分野】
この発明は、顕微鏡における複素信号検出方法に関するものである。さらに詳しくは、この発明は、マイクロ波、赤外線、可視光、紫外線、X線およびγ線などのような電磁波を用いる光学装置や、電子線、中性子線およびミューオンなどのような物質波を用いる光学装置において、位相の検出を可能なものとする、新しい複素信号検出方法に関するものである。
【0002】
【従来の技術とその課題】
従来より、電磁波または物質波の振幅の2乗(つまり、強度=単位時間、単位面積当たりのエネルギー値)を検出する光学装置とてしては様々なものが開発されてきており、たとえば透過型電子顕微鏡、透過型光学顕微鏡、反射型光学顕微鏡、ホログラフィーなどが知られている
しかしながら、これらの各種光学装置にはそれぞれ、以下に述べるような解決すべき課題があるのが実情である。
【0003】
i)透過型電子顕微鏡
透過型電子顕微鏡は、物質波である電子波を用いる顕微鏡であり、2つの根本的な問題を有している。
一つの問題は、その空間分解能が、用いる電子波の波長に比べて、1/20以下、場合によっては1/100ぐらい悪いということである。たとえば、100kVの加速電圧の電子線の波長は約0.04Åであるが、この電子波に対する現在の最高分解能は約1Åと、大きさが波長の25倍という非常に低い分解能しか得られていない。光学顕微鏡が、用いる光の波長の1/3の分解能を得られるまでになっているのに比べて、電子顕微鏡の性能はAbbeの理論限界の約1/75にとどまっている。
【0004】
一つの問題は、その空間分解能が、用いる電子波の波長に比べて、1/20以下、場合によっては1/100ぐらい悪いということである。たとえば、100kVの加速電圧の電子線の波長は約0.04Åであるが、この電子波に対する現在の最高分解能は約1Åと、大きさが波長の25倍という非常に低い分解能しか得られていない。光学顕微鏡が、用いる光の波長の1/3の分解能を得られるまでになっているのに比べて、電子顕微鏡の性能はAbbeの理論限界の約1/75にとどまっている。
【0005】
もう一つの問題は、試料を透過する電子波からレンズ系を介して得られる像の本質的な歪である。この像の歪は、電子顕微鏡のレンズ系の収差に伴うボケに起因するものであり、コントラスト伝達関数の問題と言われている。
【0006】
たとえば電子線吸収のある金属試料の場合、収差は像関数の空間周波数の高周波成分劣化として現れ、分解能が悪化する。一方、生物試料のような電子線の吸収がない物体の場合には、コントラスト伝達関数がさらに悪く作用し、収差は像関数の空間周波数の低周波成分および高周波成分両方の劣化として現れて、像のボケのみならず、像に本質的歪をもたらす。このことは、像の形がピントの合わせ方に強く左右することを意味し、生物試料では高分解能で正しい像を得ることを不可能なものとしている。
【0007】
上述したような分解能の低減および像の本質的歪は共に、電子顕微鏡レンズの多大な球面収差とそれに由来するコントラスト伝達関数に起因する。この問題を解決するために、従来より電子線用凹レンズの作成が種々試みられてきた。
【0008】
一方、コンピュータ画像処理による収差除去もしくはコントラスト伝達関数補正は、画像を複素画像として正しく再生できれば実現可能であることが知られている。
【0009】
まず、複素画像すなわち複素信号再生法としては、Gaborによるホログラフィーが知られている("A New Microsopic Principle", D.Gabor, Nature No.4098 (1948))。このGaborによる方法では、本質的に実数信号が得られるので、複素共役の2つの複素画像(ΨとΨ* )が重なってしまっている。そこで、この困難性を除くために二つの方法が提案された。その一つは、従来の電子顕微鏡法を拡張し、相補的な二つの半円絞りを用いて、二回の計測検出を組み合わせる方法である("Single-Sideband Holography", O.Bryngdahl and A.Lohmann, Journal of the Optical Society of America Vol.58 No.5(1968), "An lternative to Holography for Determining Phase from Image Intensity Measurements in Optics", D.L.Misell, R.E.Burge and A.H.Greenaway, Nature Vol.247(1974))。もう一つは、斜めの参照光を用いるoff−axisホログラフィーである("Reconstructed Wavefronts and Communication Theory", E.N.Leith and J.Upatnieks, Journal of the Optical Society of America Vol. 52No.10(1962) )。この方法の電子光学への応用は後述する。
【0010】
相補的半円絞りを用いる方法は、二つの画像をフーリエ変換した後、不必要部分を除いて合成し、再度フーリエ変換する。こうして重なりのない複素画像Ψを得る。しかし、この方法は本質的に弱い光学物体にしか応用できず、また半円絞りによる感度の1/2の低減という欠点を持っていた。レンズ系の収差問題はコントラスト伝達関数を通じて画像に表れ、これをハードウェア的に回避するために、電子顕微鏡ではレンズの開口数を極めて小さく(1/100以下)とることが行われているが、これが理論限界の1/75という分解能低減の原因となっている。さらに、開口数が小さいことは、物体から散乱する電子波のほとんどを排除するためにコントラストが十分つかず、光学顕微鏡に比べて極めて暗い光源系を作る原因にもなっている。
【0011】
一方、光学顕微鏡では、収差をレンズの組み合わせで取り除き、且つ開口数を大きくして、光の波長と同程度の高い分解能、および高いコントラストを実現している。このようなことが電子顕微鏡で実現できないのは、ハードウェア的にもソフトウェア的にも、凹レンズが存在しないために収差がコントラスト伝達関数を通じて像を歪ませるにもかかわらず、その影響を除けないからである。
【0012】
この問題は電子波の複素信号を正しく画像として取り出せれば解決する。
【0013】
ii)透過型および反射型光学顕微鏡
電子顕微鏡に比べ、電磁波を用いる光学顕微鏡はその歴史が長く、ある程度完成された顕微鏡といえる。それというのも、光学顕微鏡には凸レンズと凹レンズとの両方が存在するので、収差補正が可能であり、Abbeの論理限界に近い性能が達成されているからである。
【0014】
しかしながら、この光学顕微鏡による像も、人間の眼、写真、CCDカメラ、各種撮像管などで記録する限り強度値検出であり、複合レンズ系を用いて各種収差を除いても、像を構成する本来の複素信号を記録できないため不完全なものである。複素信号を構成する強度と位相を顕微画像として得るためには、干渉計の応用として画像信号に外部参照信号を加えて干渉を作り、実数成分信号、虚数成分信号に対応する画像を作る方法が知られている("Digital Wavefront Measuring Interferometer for Testing Optical Surfaces and Lenses", J.H.Bruning et al., Applied Optics Vol.13 No.11(1974), "New Common-Path Phase ShiftingInterferometer using a Polarization Technique", H.Kadono et al., AppliedOptics Vol.26 No.5(1987), "Phase Shifting Common Path Interferometer using a Liquid-crystal", H.Kadono et al., Optics Communications 110(1994)391-400 )。一般に位相のπ/2異なる四つの参照信号を用意し、画像信号との干渉を得て、これを検出し、その結果を組み合わせ複素信号を取り出す。したがって、この方法を用いても最低4回の計測検出が必要である。また画像信号と参照信号間の相対位相が事前にはわからないため、画像信号の位相は定数項の不定さを残す。よって、この方法の問題点は、(1)外部参照信号が必要であること、(2)計測検出は最低4回必要であること、(3)相対位相の不定さが位相象に残ることである。
【0015】
さらにまた、対象物体の光学的性質に応じて、たとえば光の吸収物体の場合、反射物体の場合、透明物体の場合に応じて、透過型顕微鏡、反射型顕微鏡、位相差顕微鏡などの光学顕微鏡が存在する。これらの光学顕微鏡はそれぞれ、光に対する物体の性質の一部を見ている。すなわち、物体による光の吸収係数、反射率、屈折率などを見ているのである。
【0016】
こうした光学情報は、本来電磁波の中に複素信号として一度に顕現しているが、通常の強度値検出では、複素信号は絶対値の2乗でしか得られないので、装置を替えてそれぞれの光学的性質を個別的に取り出す工夫がされている。各種の光学顕微鏡が存在しているのはこのためである。もし、複素信号を正しく取り出す方法および光学顕微鏡があれば、こうした多種類の顕微鏡は不必要であり、各種顕微鏡で得られる結果と同等の結果は複素信号を情報処理することで全てシミュレートできるようになる。
【0017】
iii)ホログラフィー
ホログラムは物体からの回折光と参照光との干渉パターンを記録する。ホログラムから像を起こすため、像の再生は記録の逆過程で行われる。しかしながら、再生結像を完全なものとするには、極めて分解能の高い干渉縞の記録と角度調整された参照光が必要である。ホログラム自体は再生用の参照光なしで見たときは像のない複雑な干渉縞模様である。
【0018】
ホログラフィーは現在立体画表示に用いられているが、Gaborの本来目指した電子顕微鏡の分解能向上にも用いられている。それはoff−axisホログラフィーの応用として複素共役した複素画像の重なり(ΨとΨ* )の分離を行うものである。すなわち、ΨとΨ* のそれぞれを、片方は高周波側へ、もう一方は低周波側へシフトして分離を行う。この方法では、ホログラムをフーリエ変換し、たとえば低周波数シフトした信号成分
【0019】
【数1】
【0020】
、および二乗信号
【0021】
【数2】
【0022】
を捨て、高周波シフトした信号成分
【0023】
【数3】
【0024】
のみを取り出す。次に逆関数をかけ、シフト項
【0025】
【数4】
【0026】
を除くことでフーリエ変換象をもう一度原点に戻し、Ψk とし、再度フーリエ変換して、複素画像の一つΨを取り出している("Electron Holography Approaching Atomic Resolution", H.Lichte, Ultramicroscopy 20(1986)293-304)。この方法の問題点は、(1)周波数空間のフーリエ変換像に含まれる信号のうちの一部、全体の1/3しか使えないこと、(2)複素画像の周波数シフトによる分離を保証するため、画像がもともと帯域制限されていなければならないこと、(3)off−axisホログラフィーなので互いに角度をなす二つのコヒーレント照射光が必要であることである。
【0027】
また、ホログラフィーにはイメージホログラムという写真と同じ結像系を使うものがあるが、像再生に角度調整された参照光が必要なこと、実像、虚像、透過光の分離を光学的にのみ行うことは、一般のホログラムと同じである。もし、複素信号を取り出すことができれば、写真のように像自体が画像化され、純粋な強度画像や位相画像が分離される。ここで、強度画像は吸光係数画像に対応し、位相画像は屈折率画像に対応する。
【0028】
そこで、この発明は、以上の通りの事情に鑑みてなされたものであり、上述した従来方法の問題点を解消し、光学系の明るさおよび感度の減少の原因となる半円絞りを用いる必要がなく、また、複素信号成分のみを取り出すので二乗信号が邪魔にならず、測定試料を弱い光学吸収体や弱い位相物体に制限する必要もなく、したがって広い適用性を有するとともに、内部参照信号を用いるので外部参照信号を必要とせず、且つ、内部参照信号を用いた場合に要求される画像−参照信号間の可干渉性を自動的に保証することができ、さらには、測定試料の画像信号に対する帯域制限を予め要求することのない、完全な複素信号検出を実現することのできる、新しい複素信号検出方法を提供することを目的としている。
【0029】
【課題を解決するための手段】
この出願の発明は、上記の課題を解決するために、レンズを有し数値化デジタル画像を取得できる顕微鏡において、明視野条件|Z(r)|<<1(Z(r)は試料の検出前の複素波動関数、rは画像空間の座標(x,y)である)を適用できる試料に対し、明視野像を得る第1の計測と、レンズの後方の焦点面の焦点にπ/2位相板を設けて位相差像を得る第2の計測の2回の計測を行い、第1の計測の実数像を実数成分顕微画像ΣsΣs*(Σsは試料の明視野像の複素画像信号、*は共役複素数を作る記号(以下同じ)である)とし、第2の計測の実数像を虚数成分顕微画像ΣscΣsc*(Σscはπ/2位相板を置いたときの試料の複素画像信号である)とし、その2つの実数像の複素和ΣsΣs*+iΣscΣsc*をとることにより、実数成分信号と虚数成分信号を含む複素数値からなり、Z(r)を検出前の複素波動関数とする、複素顕微画像1+i+2Z(r)を得ることを特徴とする顕微鏡における複素信号検出方法を提供する。
【0030】
また、上記発明において、明視野条件|Z(r)|<<1が適用できない試料に対し、暗視野像を得るため、レンズの後方の焦点面の焦点にπ/2位相板に代えて遮光板を設けて試料透過光のみを遮光した像を得る第3の計測を行い、第3の計測の実数像を二乗顕微画像ΣssΣss*(Σssは遮光板を置いたときの試料の複素画像信号)とし、第1の計測で得た実数像の明視野像と第2の計測で得た実数像の位相差像と第3の計測で得た実数像の二乗顕微画像とを組み合わせ、複素和ΣsΣs*+iΣscΣsc*-(1+i)ΣssΣss*をとることにより、実数成分信号と虚数成分信号を含む複素数値からなり、Z(r)を検出前の複素波動関数とする、複素顕微画像1+i+2Z(r)を得ることを特徴とする顕微鏡における複素信号検出方法を提供する。
【0031】
さらに、上記発明において、複素顕微鏡画像のレンズ収差およびフォーカスのズレによるピンぼけをコントラスト伝達関数の逆関数を用いて補正することを態様とする。
【0032】
【発明の実施の形態】
i)複素光学
まず、この発明の基本概念となっている複素光学について説明する。複素光学は、目的とする複素信号(Z)にコヒーレントで強い参照信号を混ぜ、両信号の和の強度値検出を行う。この際、複素信号と参照信号の交叉項が生じ、複素信号に比例した量が取り出される。
【0033】
しかしながら、強度値検出の性質から、このように取り出される値は交叉項の実数成分(Re(Z))であり、複素信号そのものではない。そこで、交叉項の虚数成分(Im(Z))を取り出すために、複素信号に虚数成分を取り出すコヒーレントで強い参照信号を混ぜて、上述と同様の検出を行う。そして、このようにして取り出された実数成分および虚数成分を複素的に足す(つまり複素和)と、Re(Z)+iIm(Z)=Zとなり、本来の複素信号が得られることになる。
【0034】
したがって、複素光学は、本質的に2回もしくは後述するように3回の計測検出を必要とし、しかも、その実施には、たとえば1とiというように、複素空間で互いに直交する参照信号を作り出す装置が不可欠である。第一段階の実数成分検出は、前述したホログラフィーの原理に似ているが、レンズ系を用いる場合、参照信号自体を複素信号の中から抽出する点でより一般的である。
【0035】
こうした一連の操作が可能なのはレンズの後側の焦点面が物体に対するフーリエ変換を与え、複素信号と参照信号とを分離して光学的な加工ができるためである。以下に、このような複素光学を基本概念としたこの発明の複素信号検出方法の原理についてそれぞれ説明する。
【0036】
ii)複素画像信号の検出
ここでは、2次元の空間情報を持つ複素信号、つまり複素画像信号を、この発明の複素信号検出方法によって検出する場合について説明する。なお、物体試料に照射される照射信号としての電磁波および物質波は、単色で、且つコヒーレント(つまり干渉性)であるとする。
【0037】
A)0次回折光との干渉を利用する複素画像信号検出
明視野像のとき、すなわち、物体試料が半透明で照射光の透過が大きく、物体光と照射光の両方を観測するとき、または反射体で照射光の反射が大きいとき(これは写真のハレーション条件)、複素信号は次式で与えられる。
【0038】
【数5】
【0039】
aおよびbはともに、場所に依存して変るため(画像)、空間依存性の関数である。|Z|<<1の条件は、吸収や散乱に比べ、照射光の透過が大きいことを示す。複素信号の式(数5)における定数項1が物体の影響を受けない参照信号となる。まず、第一段階検出として、試料を透過した光をレンズ系を用いて検出する。この際、その振幅の2乗、つまり強度値(単位時間、単位面積あたりのエネルギー)が測定される。
【0040】
この強度値は次式で与えられる。
【0041】
【数6】
【0042】
上式は、|Z|<<1の条件を考慮すると、
【0043】
【数7】
【0044】
と近似される。
【0045】
この式から明らかなように、第一段階検出では、試料の実数成分信号しか検出されていない。したがって、試料の正しい複素画像信号Z、つまり実数成分信号および虚数成分信号からなる複素画像信号を再生するには、虚部射影Imを得るようにする必要がある。
【0046】
そこで、第二段階検出として、レンズの後側の焦点面において、たとえば小さなπ/2位相板を設けて、この透過光の0次回折光(つまり、散乱されなかった照射光の焦点集光)のみの位相をπ/2シフトさせる。このπ/2シフトした透過照射光を参照信号として、結像時に画像信号を持つ物体光と混ぜ、両者の和の強度値を検出する。なお、透過照射光と物体光との混合はレンズの結像が自動的に行う。
【0047】
虚数成分検出用参照信号を含む複素画像信号ΣS C 、つまり相補的複素画像信号ΣS C は、次式により表される。
【0048】
【数8】
【0049】
この相補的複素画像信号の強度値は次式のように示される。
【0050】
【数9】
【0051】
数5において示した|Z|<<1という条件を考慮すると、数7と同様にして、数9は、
【0052】
【数10】
【0053】
と近似的に表すことができる。そして、数7の検出強度値(つまり実数成分を含む信号)と数10の検出強度値(つまり虚数成分を含む信号)との複素和を算出する。この算出結果は次式のようになる。
【0054】
【数11】
【0055】
この式において、定数項(1+i)を除けば、複素信号Z(r)が正しく得られる。この定数項(1+i)を除くには、数11にフーリエ変換を施し、原点近傍を0とし、再びフーリエ変換すればよい。以上のようにして試料が明視野像の場合において、この発明の複素信号検出方法によって、明視野像試料の実数成分信号と虚数成分信号とからなる複素信号、つまり試料本来の像を検出することができる。
【0056】
図1(a)および図(b)は、それぞれ、数7および数10それぞれに対応する複素画像信号検出光学系の要部構成を例示したものである。図1(a)に例示した複素画像信号検出光学系では、実数成分信号を含む信号ΣS ΣS の検出が行われる。但し、焦点面後の透過照射光=1、物体光=Zである。
【0057】
図1(b)に例示した複素画像信号検出光学系では、虚数成分信号を含む信号ΣS C ΣS C*の検出が行われる。但し、焦点面後の透過照射光=i、物体光=Zである。図1における透過光は原点にのみくるように示されているが、実際は像の背景光として像面に広がる。この事情は後述の図4のように照射光の光束の広がりを考えると明確である。
【0058】
この発明では、第一段階画像信号ΣS 検出および第二段階画像信号ΣS C 検出において、それぞれの強度値測定の条件を全て同じにして、第二段階画像信号検出では、照射透過光の位相をπ/2ずらす小さな位相板のみを焦点面中央に挿入して用いるだけで虚数成分信号を検出することができる。次に、|Z|<<1という条件のない一般の複素画像においてZZ* =|Z|2 の項を消去するための第三の計測検出の付加について説明する。たとえば試料が不透明で光が通りにくいとき、写真や映画のように照明光が直接映ること(ハレーション条件)を避けるとき、0次回折光が弱くなり|Z|2 項が相対的に強くなる。この|Z|2 項がZの一次の項を邪魔するので消去する必要がある。
【0059】
上述した数7では画像データの中のZZ* の項を省略したが、これは定数項でないのでフーリエ変換後の原点まわりの0化では消すことができない。そこで、まず、(1+i)の項を0化で消去し、次に以下のようにして|Z|2 の項を完全に消去させることができる。|Z|2 を含む本来の検出信号は次式にように示される。
【0060】
【数12】
【0061】
|Z|2 の信号を得るには、図1(c)に示したようにレンズの後側の焦点面の焦点にπ/2位相板と同じ小さな遮光板を置けばよい。これにより0次回折光がなくなるので、そのときの複素画像信号ΣS S は次式で示される。
【0062】
【数13】
【0063】
この数13から分かるように、ΣS S の二乗信号を検出し、以下の画像を得る。
【0064】
【数14】
【0065】
数12のZ0(r)と数14の二乗画像信号|Z|2 を用いて純粋複素画像を与える次式を得る。
【0066】
【数15】
【0067】
このような三つの計測検出からなる場合(三計測検出法とも呼ぶことができる)のこの発明の複素信号検出方法では、同一の光学系と試料を用いて、絞りのみを3種類(通常のもの、π/2位相板を焦点に持つもの、遮光板を焦点に持つもの)用意し、各絞りをたとえば交換して3回計測検出をする。次いで、それぞれの計測検出から得られた3つの検出画像信号を数値化し、コンピュータ内で以下の複素和を得ることになる。
【0068】
【数16】
【0069】
この複素和信号中の0次回折光(すなわち1+i)を除くにはフーリエ変換し、原点を0化すればよい。しかし、一般にはZ(r)が正しい背景値を取るように、フーリエ変換の際、原点の値(0次回折光の値)が調整される。最終的には、次式で示す純粋な複素画像が取り出される。
【0070】
【数17】
【0071】
上記の複素画像が得られたら、二次元の画像表示として二つの方法が可能である。すなわち、次式で表されるi)振幅像、ii)位相像である。
【0072】
【数18】
【0073】
また、Re (Z)とIm (Z)をいろいろ組み合わせ、情報抽出用の特別な画像を作ることもできる。
B)相補対(Σ,Σ)を得るための参照光(信号)が完全に直交していない場合における複素画像信号検出
ΣとΣの相補対は、参照光(信号)の位相がπ/2ずれ、直交するようにしなければならない。この参照光の直交性が悪いとき、さらに強度が等しくないときの誤差は以下のように補正することができる。
【0074】
ここで、説明を簡単なものとするために、1とiの参照光対の場合について説明する。なお、|Z|<<1とする。
【0075】
【数19】
【0076】
【数20】
【0077】
【数21】
【0078】
【数22】
【0079】
【数23】
【0080】
数21数22との複数和は、数20で示される条件を考慮して演算すると、次式のように得られる。
【0081】
【数24】
【0082】
このような演算では、aとθとについて予め知識が必要である。
【0083】
完全にZを予測できる形の定まった標準物体を用いて、
【0084】
【数29】
【0085】
を予測するには、以下のようにする。
【0086】
aおよびθは装置定数であるので、この決定は1回行えば良い。既知Zを用いてZ+Z* を作り、数21から定数項1を推定する。数22をその推定値で引くと次式が残る。
【0087】
【数30】
【0088】
Zが実数である場所の値を用いると、数26は、
【0089】
【数27】
【0090】
となり、これを2Zで除すると、acosθが得られる。Zが虚数である場所の値を用いると、数26は、
【0091】
【数28】
【0092】
となり、これを−2|Z|で除すると、asinθが得られる。数27および数28の結果から、[(acosθ)2 +(asinθ)2 1/2 よりaを、またcosθとisinθとの和から
【0093】
【数29】
【0094】
が得られる。
【0095】
以上のようにして、この発明の複素画像検出方法によって、試料の実数成分信号および虚数成分信号からなる複素画像信号、つまり物体本来の像を検出することができる。
【0096】
iii)π/2位相板の具体的要件
光学顕微鏡では公知のゼルニケの位相差顕微鏡でπ/2位相板が使われている。しかし、光学顕微鏡は、分解能向上のため平行照射せずにコニカル(つまり円錐型)照射光を用いるので、0次回折光が後側焦点面でリング状に広がり、位相板は、やはりリングの形態を取る。
【0097】
位相差顕微鏡は、吸収が弱いが屈折率が1と異なる物質の観察を行うため、0次回折光に対し位相をπ/2ずらし、虚数信号である位相差を実数に変換して観測していた。ただし、吸収がある場合では、後述する数37に示すように像は単純に位相差だけの関数ではない。また、透過光が強い背景光となり、この上に像の位相が背景光からの位相の差としてコントラストに変換される。すなわち、吸収成分、位相成分、透過光成分の全てが不分離である。
【0098】
この発明の方法では、こうした複雑な事情を明確にし、実数画像に対する虚数画像を誤差少なく取り出すために、平行照射により0次回折光を後側焦点面の極限的に狭い空間に焦光させ(焦点のこと)、その部分のみを小さいπ/2位相板で覆うことで、0次回折光以外の散乱光に影響を与えないようにしている。このため、π/2位相板の大きさは平行照射の平行性(コヒーレンス)が良い限り、観察する物体より1/10〜1/100の大きさに取り得るので、他の物体からの散乱光に影響を与えない。
【0099】
この際、図2に例示したように、透過収束光間にはπ/2位相板を通る行路に少しの差が生じ、これが実数像と虚数像の直交性を悪くすることが考えられる。光束を2d、焦点距離をfとすると、レンズに垂直に通る光路と斜めに通る光路では、次式程度の角度差が生じる。
【0100】
【数30】
【0101】
これが両者のπ/2位相板内の光路差を与えるが、それはπ/2を1/cosΔθ程度大きくする働きとなる。これを近似すると垂直光路と斜め光路との差は、次式のようになる。
【0102】
【数31】
【0103】
たとえばΔθ=1/10なら、これは誤差1/100を与えるにすぎない。次に、電子線、レーザ光のような強力な透過光の通過によるπ/2位相板へのダメージを回避する方法について説明する。このようなダメージは、たとえば図3に例示したように、π/2位相板を照射透過光ではなく散乱光側に入れることにより回避することができる。
【0104】
すなわち、弱い散乱光側にπ/2位相板を入れて位相をπ/2ずらし、強い透過光を、実数像観察と同じく、そのまま焦点面通過させれば良い。これによって、Σc は次式のようになるが、その強度値は通常の図1(b)の場合と同じようになる。
【0105】
【数32】
【0106】
この場合、複素和は次式に示したように複素差となる。
【0107】
【数33】
【0108】
以下は前に述べた手続きと同じである。
【0109】
以下は前に述べた手続きと同じである。
iv)この発明の複素信号検出方法を用いた複素電子顕微鏡における収差補正
前述したように、電子顕微鏡のみならず各種顕微鏡の画像には、レンズ系特有の収差とピントズレとによる、ボケが生じてしまう。このことを、電子顕微鏡では、像関数にコントラスト伝達関数がかかると表現する。ただし、このコントラスト伝達関数は、画像をフーリエ変換したいわゆる波数ベクトル空間(k空間)において、像関数に乗算されるため、一般に大変分かりにくい。このことが、電子顕微鏡の原理の理解を困難なものにし、分解能改善を妨げる一因となっていた。コントラスト伝達関数は、一見、電子顕微鏡というハードウェアに由来する固有の問題に見えるが、実際は、従来の光学測定の欠陥、つまり電磁波を正しく複素信号として検出できなかったことに由来する。
【0110】
そこで、この発明の複素信号検出方法により、上述のコントラスト伝達関数の問題を解消し、電子顕微鏡の分解能の改善を行う。まず、単色性のよい電子線を平行照射(平面波と同じ)した後の試料からの散乱電子の波動関数は、次式で表すことができる。
【0111】
【数34】
【0112】
電子顕微鏡は多重散乱を防ぐために薄い試料が用いられる。このため物体から散乱されずに透過する透過光(入射電子線そのもの)があり、数34における散乱電子波は、この透過光を用いて数5における複素信号と同様に、次式で表される。ただし、物体関数z(r)は最終的に像関数Z(r)に変換されるべき物の光学的性質をあらわしている。また、|z|≪1の仮定を行っているが、すでに述べたようにこの発明の複素信号検出方法における三計測検出法ではこの条件は除かれ、あらゆる光学対象に対し応用可能となる。
【0113】
【数35】
【0114】
この散乱電子波、つまり散乱光は、対物レンズで集光されて結像されるが、レンズ後側の焦点面では物体の回折像、すなわちフーリエ変換像ができているので、ここに絞りを置く。また、光路長の定まった光学系では、像のピント合わせは焦点距離を調節して行うが、この焦点位置の絞り固定面からのずれをデフォーカス量として定義する。
【0115】
散乱光Ψ(r)のフーリエ変換O(k)は、近似の範囲で次式のように表される。
【0116】
【数36】
【0117】
ψ(r)の中のψ0 は、定数項であり、強度検出のときに1(ψ0 ψ0 * =1)となるので、ここでは省略した。この関数O(k)(以後、k空間の物体関数と呼ぶ)に、前述した絞り、収差、およびデフォーカス由来の関数がかかる。絞り、収差、およびデフォーカスは全て、電子波の位相のずれ、もしくはそれらの積分に由来する波数ベクトルの減衰効果として、次式のように表すことができる。
【0118】
【数37】
【0119】
ここで、exp[ε(k)]が絞り、色収差、光源の広がりからくる波数ベクトルの制限、すなわち分解能の制限であり、一般に、kの単調減少関数である。また、exp[iγ(k)]は、球面収差、コマ収差、デフォーカスに由来するkに依存した位相シフト効果である。H(k)は、光学顕微鏡では物体伝達関数(OTF)と呼ばれている。
【0120】
球面収差とデフォーカスのみを考慮した場合、数37は、次式のような仮定をすることができる。
【0121】
【数38】
【0122】
s は、電子波の波数k0 と球面収差によって一意的に定まり、Kd は、波数k0 とデフォーカスによって一意的に定まる(図4参照)。図4は、exp[iγ(k)]の位相γ(k)、実部=cos(γ(k))=−2sinγ(k)、および虚部=sin(γ(k))=−2cosγ(k)の波数k(つまり2次元波数ベクトルの絶対値)依存性を例示したものである。なお、図4では、波数kは正規化した波数を用いている。
【0123】
この図4において、各値は次式のように表される。
【0124】
【数39】
【0125】
対物レンズの結像、すなわち物体の再生像関数は、O(k)にH(k)がかけられたものをもう一回フーリエ変換して得られる。つまり、次式で与えられる。
【0126】
【数40】
【0127】
ここで、mは倍率であり、符号は像が逆転することを示している。
【0128】
再生像ψi は、種々の画像記録装置に像として記録および保管されるが、検出される像は強度値に対応して次式の形を取る。
【0129】
【数41】
【0130】
上式を含め以後、倍率mおよび像の逆転は考慮せずに、物体関数z(r)と像関数Z(r)の関係を考える。ψi 自体は、元来、複素信号だが、前述したように、強度値検出により得られるものはその実部である(数7参照)。数36のO(k)および数37におけるH(k)を数40に入れ、フーリエ変換を実行すると、像関数I(r)は、(k空間の掛け算は実空間でコンボリューションになるというフーリエ変換の定石から、)次式のように表される(数7参照)。
【0131】
【数42】
【0132】
上式において、cosγ(k)およびsinγ(k)は電子顕微鏡でのコントラスト伝達関数(CTF)の実部と虚部である。また、|z|2 の項は省略した(以下同じ)。このI(r)は、物体が生物試料のように透明な場合には、|α|<<|β|であるため、さらに次式で表される。
【0133】
【数43】
【0134】
この場合、sinγ(k)は、図4(c)に例示したように、k=0付近で0、且つkの大きい所で激しく振動して、像の再生に極めて不都合な関数である。特に、sinγ(k)=0となる付近では本質的に像情報が失われているために、再生像をフーリエ変換しH(k)の乗算を除算で補正しようとしても像情報を復活できないということになる(0で割れない)。
【0135】
これは、複素分光の原理を用いて複素画像を作ることにより回避することができる。すなわち、H(k)の一部が乗算された数42または数43の像関数I(r)の形ではなく、H(k)がそのまま乗算された再生像を作る必要がある。この方法は、すでに述べたが、画像の虚数成分を、実数成分とは別に、検出し、実数成分と虚数成分との複素和を取る方法である。すなわち、数35のなかの透過光1の部分をπ/2位相板を用いてiに変換した散乱電子波を取れば良い。
【0136】
この散乱電子波は次式により表される。
【0137】
【数44】
【0138】
この電子波の与える画像Ic (r)は最終的に次式により与えられる。
【0139】
【数45】
【0140】
今まで|z|2 の項を無視したが、この発明の複素信号検出方法における三計測検出法では、図1(c)に示したような二乗信号検出Is (r) を行い、それとI(r)、Ic (r) との複素和をとることにより、|z|2 の項を引くことができる。したがって、最終的な複素画像は、
【0141】
【数46】
【0142】
となる。この式をフーリエ変換し、exp(−iγ(k))を乗算すると次式が得られる。
【0143】
【数47】
【0144】
上記の演算は、本質的にcosγ(k)とsinγ(k)との掛け算であり、除算でないので、0点問題は起こらない。数47の第1項(1+i)δ(k)exp(−iγ(k))はk=0に集中する関数なのでそれを0と置くことができる。さらにexp(ε(k))の減衰項を処理すれば、収差は完全に除かれることとなる。結局残るのはO(k)exp(ε(k))の項で、このフーリエ変換が複素画像Z(r)を与えることになる。exp(ε(k))が分解能を定めるが、最も大きく寄与するのが絞り、すなわち開口数である。コントラスト伝達関数exp[iγ(k)]の影響を除くことのできる本発明の方法は、従来の電子顕微鏡がkの高い値で激しく振動するsinγ(k)のCTFを恐れて絞りを小さく取り、対物レンズの開口数を0.01〜0.001にしていたのに比べ、その効果を除けるので開口数を0.1程度にまで高められる。顕微鏡では開口数の逆数が分解能に比例するので従来と比べて10倍程度の分解能を達成できることになる。また、開口数が10倍になれば、それだけ多くの電子散乱波を集められるので、コントラストは自動的に改善される。
【0145】
図5は、この発明の複素信号検出方法を用いて複素電子顕微鏡の画像形成と画像再生のシミュレーションの流れおよび結果像を例示したものである。この発明では、光学における回折現象はレンズ系を使った場合にフーリエ変換という数値計算に置き換えることができるという原理を使っている。このため、現実の装置を作る前に種々の光学計測検出を計算機を用いてシミュレートできる。
【0146】
このシミュレーションは次のように行った。まず、一枚のポートレートを用意し、二次元像z(r)をディジタル信号としてコンピュータに読み取る。これは実数信号なので、この実数像を、完全な位相物体を仮定して複素物体関数eiZ(r) に変換する。これは物体からの位相おくれがポートレートのような空間分布をしていることを意味している。ここで、この発明の方法が強い光学体(吸収、位相)にも適用できことを示すために、位相おくれの最大値πを最も暗い部分に対応させた。
【0147】
この位相物体を仮定した複素物体関数eiZ(r) にフーリエ変換を施すことによりk空間物体関数、つまり回折像を得て、得られたk空間像にCTFをかけてk空間CTF変調像を得る。このk空間CTF変調像に、プレートなしの場合のフーリエ変換、位相板ありの場合のフーリエ変換、遮光板ありの場合のフーリエ変換を施す。
【0148】
ここまでが、三つの計測検出による三つの像形成過程に対応するシミュレーションであり、図5における中段の画像(a)(b)(c)がそれぞれ得られたシミュレーション像、つまり図1(a)(b)(c)で得られる画像である。このときの画像シミュレーションのパラメータは
【0149】
【数48】
【0150】
とした。図4に例示したように、正規化されたデフォーカス
【0151】
【数49】
【0152】
のときはシェルツァーフォーカス(Scherzer Focus)と呼ばれる。図4(b)の位相CTFから明らかなように、kの小さいところでは、広い範囲にわたりCTFが一定値(ほぼ−2)をとり、画像に与える変調の度合いが小さい。これはシェルツァーにより見出された("The Theoretical Resolution Limit of the Electron Microscopy", O.Scherzer,Journal Applied Physics 20(1949) 20-29) 。一般には、さらに
【0153】
【数50】
【0154】
の大きい深いデフォーカス、たとえば9/√(2π)が使われる。これによりkの原点付近でCTFが急に立ち上がり、物の形を決める低周波数の信号が回復する。このため、このシミュレーションでは、
【0155】
【数51】
【0156】
としている。
【0157】
このようにして得られた三つの実数像は、原二次元像Z(r)とはコントラストも異なり、また境界がCTFの変調のためボケている。次いで、これら三つの実数像から数44に従って複素和をとり、これにフーリエ変換を施した後、得られたk空間CTF変調像にすでにわかっているCTFの逆数(インバースフィルター)、つまり
【0158】
【数52】
【0159】
をかけることにより、CTFの変調を消去して収差とデフォーカスを補正し、且つ再度フーリエ変換を施すことにより、CTF無変調像を得る。そして、このCTF無変調像の背景レベルを調節し、定数項σ0 を除いて、純複素象eiZ(r) を得る。この純複素像の位相像tan-1{Im [eiZ(r) ]/Re [eiZ(r) ]}(図5における下段)がポートレートの再生像Z(r)を与える。三つの計測検出で得られる実数像(図5中段)とCTFの変調を除いて得た実位相像Z(r) (図5下段)とを比較すると、この発明の複素信号検出方法により、分解能とコントラストを非常に良く改善でき、細部にわたって完全な再現が実現されていることがわかる。
【0160】
v)この発明の複素信号検出方法を用いた複素光学顕微鏡における分解能向上一般に、Abbe理論で与えられる光学顕微鏡の空間分解能は次式により定義される。
【0161】
【数53】
【0162】
λは使用する光の波長、nは試料の置かれた空間の屈折率、θは対物レンズの試料部に対する開き角の1/2を示しており、nsinθが開口数である。また、αはコンデンサーレンズで光を集めたコニカル(円錐型)照射光を用いるときのもので、試料面へ垂直に入る平行照射(コヒーレント平行光)の場合は、1となる。
【0163】
ここでは、複素光学顕微鏡は平行照射条件を用いることとして、δはλ/nsinθを採用する。このことを、焦点面の回折像で表現すると、平行照射の場合、δの逆数、すなわちnsinθ/λのところに対応するkの値までしか回折パターンが得られないことを意味する。
【0164】
θ=π/2は開き角の限界であり、平行照射の場合、λ/nが分解能の理論限界となる。従って、ハードウェア的にこのAbbeの限界を破る方法は存在しない。ソフトウェア的にも、kの高い値の所は、iv)の複素電子顕微鏡でも述べたように、一般に収差が大きいため、コントラスト伝達関数が表面にでてやはり補正できない。この収差を補正する光学レンズ系は、従来より多くの収差補正複合レンズが開発されてきているが、収差を完全に補正できるものはなく、上記の数53を満足する分解能は達成されていない。
【0165】
【発明の効果】
以上詳しく説明した通り、この発明によって、実数成分信号、虚数成分信号、二乗信号を別々に容易に検出することができ、さらに三つの信号の複素和をとることによって物体本来の複素信号を他の画像信号の干渉なしに得ることのできる、新しい複素信号検出方法が提供される。また、この発明の複素信号検出方法は、顕微鏡の収差補正および分解能向上を実現させること、さらに回折像の位相決定を行うこともできる。さらには、上述したこの発明の複素信号検出方法を用い、物体本来の複素信号を完全に得ることのできる複素顕微鏡手法が提供される。
【図面の簡単な説明】
【図1】 (a)(b)(c)は、各々、実数成分信号を検出するレンズを用いた画像検出光学系、虚数成分信号を検出するレンズを用いた画像検出光学系、および二乗信号を検出するレンズを用いた画像検出光学系を例示した要部構成図である。
【図2】 焦点面での照射透過光のπ/2位相板内の光路差を例示した概念図である。
【図3】 この発明の複素信号検出方法を用いた他の虚数成分検出光学系を例示した要部構成図である。
【図4】(a)(b)(c)は、コントラスト伝達関数exp[iγ(k)]の位相γ(k)、実部[cos(γ(k))]および虚部[sin(γ(k))]の正規化した波数k(つまり2次元波数ベクトルの絶対値)依存性を例示した図である。
【図5】 この発明の複素信号検出方法を用いて複素電子顕微鏡の画像形成と画像再生のシミュレーションの流れおよび結果像を例示した図である。

Claims (3)

  1. レンズを有し数値化デジタル画像を取得できる顕微鏡において、明視野条件|Z(r)|<<1(Z(r)は試料の検出前の複素波動関数、rは画像空間の座標(x,y)である)を適用できる試料に対し、明視野像を得る第1の計測と、レンズの後方の焦点面の焦点にπ/2位相板を設けて位相差像を得る第2の計測の2回の計測を行い、第1の計測の実数像を実数成分顕微画像ΣsΣs*(Σsは試料の明視野像の複素画像信号、*は共役複素数を作る記号(以下同じ)である)とし、第2の計測の実数像を虚数成分顕微画像ΣscΣsc*(Σscはπ/2位相板を置いたときの試料の複素画像信号である)とし、その2つの実数像の複素和ΣsΣs*+iΣscΣsc*をとることにより、実数成分信号と虚数成分信号を含む複素数値からなり、Z(r)を検出前の複素波動関数とする、複素顕微画像1+i+2Z(r)を得ることを特徴とする顕微鏡における複素信号検出方法。
  2. 請求項1の方法において、明視野条件|Z(r)|<<1が適用できない試料に対し、暗視野像を得るため、レンズの後方の焦点面の焦点にπ/2位相板に代えて遮光板を設けて試料透過光のみを遮光した像を得る第3の計測を行い、第3の計測の実数像を二乗顕微画像ΣssΣss*(Σssは遮光板を置いたときの試料の複素画像信号)とし、第1の計測で得た実数像の明視野像と第2の計測で得た実数像の位相差像と第3の計測で得た実数像の二乗顕微画像とを組み合わせ、複素和ΣsΣs*+iΣscΣsc*-(1+i)ΣssΣss*をとることにより、実数成分信号と虚数成分信号を含む複素数値からなり、Z(r)を検出前の複素波動関数とする、複素顕微画像1+i+2Z(r)を得ることを特徴とする顕微鏡における複素信号検出方法。
  3. 複素顕微鏡画像のレンズ収差およびフォーカスのズレによるピンぼけをコントラスト伝達関数の逆関数を用いて補正することを特徴とする請求項1または2に記載の顕微鏡における複素信号検出方法。
JP37359798A 1997-12-26 1998-12-28 顕微鏡における複素信号検出方法 Expired - Fee Related JP4111614B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP37359798A JP4111614B2 (ja) 1997-12-26 1998-12-28 顕微鏡における複素信号検出方法

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP36143997 1997-12-26
JP9-361439 1997-12-26
JP37359798A JP4111614B2 (ja) 1997-12-26 1998-12-28 顕微鏡における複素信号検出方法

Publications (2)

Publication Number Publication Date
JPH11258057A JPH11258057A (ja) 1999-09-24
JP4111614B2 true JP4111614B2 (ja) 2008-07-02

Family

ID=26581267

Family Applications (1)

Application Number Title Priority Date Filing Date
JP37359798A Expired - Fee Related JP4111614B2 (ja) 1997-12-26 1998-12-28 顕微鏡における複素信号検出方法

Country Status (1)

Country Link
JP (1) JP4111614B2 (ja)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7419833B2 (en) 2000-11-17 2008-09-02 Nagayama Ip Holdings Llc Method for nucleic acid sequencing
JP2002153271A (ja) 2000-11-17 2002-05-28 Jeol Ltd Dnaあるいはrnaの塩基配列決定方法およびdnaシーケンサー
KR101159495B1 (ko) * 2004-03-11 2012-06-22 이코스비젼 시스팀스 엔.브이. 파면 조정 및 향상된 3?d 측정을 위한 방법 및 장치
JP4852758B2 (ja) * 2004-05-20 2012-01-11 国立大学法人北海道大学 電子顕微方法およびそれを用いた電子顕微鏡
WO2006041127A1 (ja) * 2004-10-14 2006-04-20 Lightron Co., Ltd. 劣化情報復元方法と復元装置
KR20070085363A (ko) * 2004-10-14 2007-08-27 라이트론 가부시키가이샤 열화 정보 복원 방법, 복원 장치 및 프로그램이 기록된 기록 매체
JP4518979B2 (ja) * 2005-03-03 2010-08-04 ライトロン株式会社 微細な試料を可視化する装置と方法、微細な格子の乱れを可視化する装置と方法

Also Published As

Publication number Publication date
JPH11258057A (ja) 1999-09-24

Similar Documents

Publication Publication Date Title
JP4772961B2 (ja) ディジタル・ホログラムを数値的に再構成することにより、振幅コントラスト画像と定量的位相コントラスト画像を同時に形成する方法
US11644791B2 (en) Holographic imaging device and data processing method therefor
JP5130311B2 (ja) 波面の位相情報を回復するためのシステムおよび方法
JP6424313B2 (ja) ホログラフィック顕微鏡および高分解能ホログラム画像用のデータ処理方法
JP7352292B2 (ja) ホログラフィック撮像装置およびホログラフィック撮像方法
JP4111614B2 (ja) 顕微鏡における複素信号検出方法
WO2021003380A1 (en) Calibration-free phase shifting procedure for self-interference holography
Shen et al. High-throughput artifact-free slightly off-axis holographic imaging based on Fourier ptychographic reconstruction
Zhang et al. Computational incoherent edge enhancement imaging based on self-interference digital holography
WO2023015621A1 (zh) 一种基于衍射模糊成像原理的无串扰全息3d显示方法
Pavillon et al. Artifact-free reconstruction from off-axis digital holograms through nonlinear filtering
JP2019144121A (ja) X線微分干渉顕微鏡及び像形成方法
Wang et al. An interference iterative reconstruction algorithm based on a single off-axis digital hologram
JP7432227B2 (ja) 位相イメージング装置、位相イメージング方法
Ade Digital techniques in electron off-axis holography
CN111880389A (zh) 一种消除红外数字全息零级衍射的方法
Liu et al. Computational Optical Phase Imaging
Zhang et al. Incoherent frequency-selective phase coded holography and axial overlap information stripping
Huang et al. Non-interferometric accurate phase imaging via linear-convergence iterative optimization
Zhang et al. Frequency-selective phase reconstruction of coded aperture correlation holography and overlapping image stripping with I-COACH
JP3795954B2 (ja) ホログラフィ撮像装置、ホログラフィシステムおよびホログラフィ表示方法
Buitrago-Duque et al. Speckle Reduction in Digital Holographic Microscopy by Physical Manipulation of the Pupil Function
JP7324047B2 (ja) ホログラム記録再生装置及び立体像再生方法
MOMEY et al. In-line Digital Holographic Microscopy Sample Reconstruction
Lai et al. Low-frequency moiré fringes synthesize by mutual correlation for resolution enhancement in structured illumination digital holographic microscopy

Legal Events

Date Code Title Description
A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A712

Effective date: 20031031

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20031219

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20031219

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20040129

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20040323

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20041115

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20051004

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20051202

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20061003

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20061204

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20061205

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20070703

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070828

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20080318

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20080408

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110418

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees