JP5588507B2 - 超解像光ゆらぎイメージング(sofi) - Google Patents
超解像光ゆらぎイメージング(sofi) Download PDFInfo
- Publication number
- JP5588507B2 JP5588507B2 JP2012514089A JP2012514089A JP5588507B2 JP 5588507 B2 JP5588507 B2 JP 5588507B2 JP 2012514089 A JP2012514089 A JP 2012514089A JP 2012514089 A JP2012514089 A JP 2012514089A JP 5588507 B2 JP5588507 B2 JP 5588507B2
- Authority
- JP
- Japan
- Prior art keywords
- function
- image
- sofi
- pixel
- pixels
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000003384 imaging method Methods 0.000 title claims description 34
- 230000003287 optical effect Effects 0.000 title claims description 23
- 238000000034 method Methods 0.000 claims description 62
- 230000002123 temporal effect Effects 0.000 claims description 18
- 238000005314 correlation function Methods 0.000 claims description 16
- 238000005311 autocorrelation function Methods 0.000 claims description 11
- 239000011159 matrix material Substances 0.000 claims description 4
- 239000000463 material Substances 0.000 claims 3
- 239000011358 absorbing material Substances 0.000 claims 1
- 238000000386 microscopy Methods 0.000 description 26
- 238000010586 diagram Methods 0.000 description 23
- 210000004027 cell Anatomy 0.000 description 16
- 230000004397 blinking Effects 0.000 description 12
- 238000013459 approach Methods 0.000 description 11
- 230000002596 correlated effect Effects 0.000 description 11
- 230000005284 excitation Effects 0.000 description 9
- 239000000523 sample Substances 0.000 description 9
- 238000005286 illumination Methods 0.000 description 8
- 238000004422 calculation algorithm Methods 0.000 description 7
- 238000000799 fluorescence microscopy Methods 0.000 description 7
- 230000009467 reduction Effects 0.000 description 7
- 238000004458 analytical method Methods 0.000 description 5
- 230000006872 improvement Effects 0.000 description 5
- 239000002096 quantum dot Substances 0.000 description 5
- 230000007704 transition Effects 0.000 description 5
- 238000010521 absorption reaction Methods 0.000 description 4
- 230000007423 decrease Effects 0.000 description 4
- 238000001228 spectrum Methods 0.000 description 4
- 238000007619 statistical method Methods 0.000 description 4
- 238000001514 detection method Methods 0.000 description 3
- 238000002059 diagnostic imaging Methods 0.000 description 3
- 238000009792 diffusion process Methods 0.000 description 3
- 239000000975 dye Substances 0.000 description 3
- 238000012634 optical imaging Methods 0.000 description 3
- 229920013655 poly(bisphenol-A sulfone) Polymers 0.000 description 3
- 238000005070 sampling Methods 0.000 description 3
- 230000035945 sensitivity Effects 0.000 description 3
- LFQSCWFLJHTTHZ-UHFFFAOYSA-N Ethanol Chemical compound CCO LFQSCWFLJHTTHZ-UHFFFAOYSA-N 0.000 description 2
- 102000029749 Microtubule Human genes 0.000 description 2
- 108091022875 Microtubule Proteins 0.000 description 2
- FAPWRFPIFSIZLT-UHFFFAOYSA-M Sodium chloride Chemical compound [Na+].[Cl-] FAPWRFPIFSIZLT-UHFFFAOYSA-M 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 230000001413 cellular effect Effects 0.000 description 2
- 230000000875 corresponding effect Effects 0.000 description 2
- 238000010790 dilution Methods 0.000 description 2
- 239000012895 dilution Substances 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000001727 in vivo Methods 0.000 description 2
- 238000012880 independent component analysis Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 230000004807 localization Effects 0.000 description 2
- 210000004688 microtubule Anatomy 0.000 description 2
- 230000010287 polarization Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000001454 recorded image Methods 0.000 description 2
- 229920006395 saturated elastomer Polymers 0.000 description 2
- UCSJYZPVAKXKNQ-HZYVHMACSA-N streptomycin Chemical compound CN[C@H]1[C@H](O)[C@@H](O)[C@H](CO)O[C@H]1O[C@@H]1[C@](C=O)(O)[C@H](C)O[C@H]1O[C@@H]1[C@@H](NC(N)=N)[C@H](O)[C@@H](NC(N)=N)[C@H](O)[C@H]1O UCSJYZPVAKXKNQ-HZYVHMACSA-N 0.000 description 2
- 238000010869 super-resolution microscopy Methods 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 210000001519 tissue Anatomy 0.000 description 2
- KRQUFUKTQHISJB-YYADALCUSA-N 2-[(E)-N-[2-(4-chlorophenoxy)propoxy]-C-propylcarbonimidoyl]-3-hydroxy-5-(thian-3-yl)cyclohex-2-en-1-one Chemical compound CCC\C(=N/OCC(C)OC1=CC=C(Cl)C=C1)C1=C(O)CC(CC1=O)C1CCCSC1 KRQUFUKTQHISJB-YYADALCUSA-N 0.000 description 1
- 108091003079 Bovine Serum Albumin Proteins 0.000 description 1
- 241000283707 Capra Species 0.000 description 1
- 101100453960 Drosophila melanogaster klar gene Proteins 0.000 description 1
- 239000006144 Dulbecco’s modified Eagle's medium Substances 0.000 description 1
- SXRSQZLOMIGNAQ-UHFFFAOYSA-N Glutaraldehyde Chemical compound O=CCCCC=O SXRSQZLOMIGNAQ-UHFFFAOYSA-N 0.000 description 1
- 241001465754 Metazoa Species 0.000 description 1
- 229930040373 Paraformaldehyde Natural products 0.000 description 1
- 229930182555 Penicillin Natural products 0.000 description 1
- JGSARLDLIJGVTE-MBNYWOFBSA-N Penicillin G Chemical group N([C@H]1[C@H]2SC([C@@H](N2C1=O)C(O)=O)(C)C)C(=O)CC1=CC=CC=C1 JGSARLDLIJGVTE-MBNYWOFBSA-N 0.000 description 1
- 238000010870 STED microscopy Methods 0.000 description 1
- CZMRCDWAGMRECN-UGDNZRGBSA-N Sucrose Chemical compound O[C@H]1[C@H](O)[C@@H](CO)O[C@@]1(CO)O[C@@H]1[C@H](O)[C@@H](O)[C@H](O)[C@@H](CO)O1 CZMRCDWAGMRECN-UGDNZRGBSA-N 0.000 description 1
- 229930006000 Sucrose Natural products 0.000 description 1
- 102000004243 Tubulin Human genes 0.000 description 1
- 108090000704 Tubulin Proteins 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- JJWKPURADFRFRB-UHFFFAOYSA-N carbonyl sulfide Chemical compound O=C=S JJWKPURADFRFRB-UHFFFAOYSA-N 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 239000003795 chemical substances by application Substances 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 239000006185 dispersion Substances 0.000 description 1
- 230000005670 electromagnetic radiation Effects 0.000 description 1
- 238000001493 electron microscopy Methods 0.000 description 1
- 230000008030 elimination Effects 0.000 description 1
- 238000003379 elimination reaction Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- DEFVIWRASFVYLL-UHFFFAOYSA-N ethylene glycol bis(2-aminoethyl)tetraacetic acid Chemical compound OC(=O)CN(CC(O)=O)CCOCCOCCN(CC(O)=O)CC(O)=O DEFVIWRASFVYLL-UHFFFAOYSA-N 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 239000012894 fetal calf serum Substances 0.000 description 1
- 210000002950 fibroblast Anatomy 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 239000007850 fluorescent dye Substances 0.000 description 1
- 102000034287 fluorescent proteins Human genes 0.000 description 1
- 108091006047 fluorescent proteins Proteins 0.000 description 1
- 239000012634 fragment Substances 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- PCHJSUWPFVWCPO-UHFFFAOYSA-N gold Chemical compound [Au] PCHJSUWPFVWCPO-UHFFFAOYSA-N 0.000 description 1
- 230000005283 ground state Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000003834 intracellular effect Effects 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 239000012528 membrane Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 231100001085 no phototoxicity Toxicity 0.000 description 1
- 238000000399 optical microscopy Methods 0.000 description 1
- 229920002866 paraformaldehyde Polymers 0.000 description 1
- 229940049954 penicillin Drugs 0.000 description 1
- 230000002186 photoactivation Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000010791 quenching Methods 0.000 description 1
- 230000000171 quenching effect Effects 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000004621 scanning probe microscopy Methods 0.000 description 1
- 229910000033 sodium borohydride Inorganic materials 0.000 description 1
- 239000012279 sodium borohydride Substances 0.000 description 1
- 239000011780 sodium chloride Substances 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
- 229960005322 streptomycin Drugs 0.000 description 1
- 239000005720 sucrose Substances 0.000 description 1
- 238000002287 time-lapse microscopy Methods 0.000 description 1
- GPRLSGONYQIRFK-MNYXATJNSA-N triton Chemical compound [3H+] GPRLSGONYQIRFK-MNYXATJNSA-N 0.000 description 1
- 230000005641 tunneling Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
- G02B21/365—Control or image processing arrangements for digital or video microscopes
- G02B21/367—Control or image processing arrangements for digital or video microscopes providing an output produced by processing a plurality of individual source images, e.g. image tiling, montage, composite images, depth sectioning, image comparison
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/58—Optics for apodization or superresolution; Optical synthetic aperture systems
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/95—Computational photography systems, e.g. light-field imaging systems
- H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
- G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
- G01N21/64—Fluorescence; Phosphorescence
- G01N21/645—Specially adapted constructive features of fluorimeters
- G01N21/6456—Spatial resolved fluorescence measurements; Imaging
- G01N21/6458—Fluorescence microscopy
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/0004—Microscopes specially adapted for specific applications
- G02B21/002—Scanning microscopes
- G02B21/0024—Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
- G02B21/0052—Optical details of the image generation
- G02B21/0076—Optical details of the image generation arrangements using fluorescence or luminescence
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/0004—Microscopes specially adapted for specific applications
- G02B21/002—Scanning microscopes
- G02B21/0024—Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
- G02B21/008—Details of detection or image processing, including general computer control
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10056—Microscopic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10064—Fluorescence image
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Optics & Photonics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Chemical & Material Sciences (AREA)
- Analytical Chemistry (AREA)
- Signal Processing (AREA)
- Computing Systems (AREA)
- Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)
- Microscoopes, Condenser (AREA)
- Image Processing (AREA)
- Television Systems (AREA)
Description
をピクセルの時間軌道毎に計算して、結果としてG2(ri,0,1)の値の行列を得る。一般性を喪失することなく、τ1=0及びτ2=0を設定すると、0は、動画の第1のフレームの時点を表し、1は、2つの隣接するフレーム間の時間差を表す(しかしながら、記録された時間範囲内におけるτ1及びτ2対しては、如何なる時間差の値を選んでも良い)(図1(e)及び図3(a))。この数学操作の有益な結果は、無相関なバックグランドを排除することである。
である。その結果、PSFの幅は、x,y,zのそれぞれの方向において、係数√2によって減少する。PSFは多くの場合、上記式が正当であることを証明する3次元のガウス分布として近似させてモデル化することができる。このことは、エアリーディスクなどのPSFのより正確な説明又は実際の実験的手法で決まったPSFについても言える。SOFI修正されたPSFは、形式U2(r)を依然として持つが、幅は結果として縮小する。
任意の時間差τjに対する2次自己相関関数G2(ri,τ1,τ2)は、
によって与えられる。
SOFI画像は、段落0019から0022において説明したように時間差τ1=0及びτ2=1に対してだけではなく、τ1、τ2の任意の組み合わせに対する時間差2次自己相関関数を用いて生成することができる(図3(b))。多くのそのような組み合わせを重ね合わせることでもSOFI画像を生成することができる(式(5)及び図3(c))。
好適な実施形態及び実施例1(段落0016〜0034)の上記説明では、2次自己相関を利用する。自己キュムラントの概念を利用して高次SOFI画像を生成することができる。自己キュムラントは、自己相関関数から導き出すことができ、次数1、2、3(1次相関は、時間平均値に対応する)に対する自己相関関数と同じである。高次自己相関関数(ピクセルriに対する)は、
によって、自己キュムラント(メンデル(J.Mendel)、「信号処理における高次統計(スペクトラ)及びシステム論理に関するチュートリアル:論理的結果及び応用(Tutorial on Higher-Order Statistics (Spectra) in Signal Processing and System Theory: Theoretical Results and Some Applications)」、1991年、IEEE予稿集、第19巻、3番、式A−1)を利用して計算され、Gn(ri,τ1,...,τn)は、以下の自己キュムラントCnと自己相関Gnとの間の関係を表す式(7)によって計算することができる(4次までの関係のみを示す)。
2次自己相関SOFI法(段落0016〜0031)に類似した方法で、時空間的2次相互相関に基づくSOFI法を定義することができる。この場合、異なるピクセルのri1及びri2の時間軌道は、時間差τ1=0及びτ2=1において相関性がある。2次相互相関XG2は、
によって与えられる(図4(a)参照)。
元々のPSFがいくつかのピクセルによってオーバーサンプリングされ、これらのピクセルが相関するように近隣のエミッタからゆらぎを記録する場合はいつでも、相互相関を計算することができる。異なるピクセルの時間軌道を用いて相互相関のタームを計算するけれども、XG2の値は、
による特定のSOFI画像のピクセルに割り当てられる。ここで、kは視野/サンプルに存在する全てのエミッタに渡って延び、rkは、エミッタkの位置を表す。ri1及びri2は、相互相関に用いるピクセル時間軌道の位置を表す。XG2の値は、最終的なSOFI画像における位置
実施例1にあるように、2次相互相関の手法は任意の時間差τjまで広げることができる。
SOFI画像は、実施例3において説明したように時間差τ1=0及びτ2=1に対してだけではなく、τ1、τ2の任意の組み合わせに対する時間差2次相互相関関数を用いて生成することができる(図4(b))。多くのそのような組み合わせを重ね合わせることでもSOFI画像を生成することができる(式(14)及び図4(c))。
2次相互相関に基づくSOFIピクセルの位置は、2つのピクセルri1、ri2
より高次の時間的自己キュムラント法(実施例2)に類似した方法で、より高次な空間時間的相互キュムラントに基づくSOFIの手法を定義することができる。この場合、異なるピクセルの時間軌道は、相関性がある。相互キュムラントは、相互相関関数から導き出すことができ、次数2及び3に対するものと同じである。より高次時の空間的相互相関関数XGnは、入力として、n組のピクセルの時間軌道(ri1,ri2,...,rin)及びn組の時間差(τ1,τ2,...,τn)を有する。XGnは、
によって与えられ、相互キュムラント(メンデル(J.Mendel)、「信号処理における高次統計(スペクトラ)及びシステム論理に関するチュートリアル:論理的結果及び応用(Tutorial on Higher-Order Statistics (Spectra) in Signal Processing and System Theory: Theoretical Results and Some Applications)」、1991年、IEEE予稿集、19巻、3号、式A−1)を利用して計算することができる。XGn(ri1,...,rin|τ1,...,τn)は、相互キュムラントXCnと相互相関XGnとの関係を説明する以下の式(17)によって計算することができる。(4次までの関係のみを示す。)
元々のエミッタのPSFの画像がいくつかのピクセルによってオーバーサンプルされるだけ十分に大きく、それらのピクセルが相関したゆらぎを検出できる時はいつも、相互相関を、1つの領域を互いにオーバーサンプルするピクセル間において行うことができる。各計算された相互キュムラントを用いてSOFI画像を生成することができる。相互キュムラントは、異なるピクセルの時間軌道を入力として計算に入れるが、ユニークな位置(ピクセル)を、最終的なSOFI画像の結果として得られる相関キュムラントの値に対して割り当てることが可能である。XCnは、以下の式によって与えられる。
及び時間重み付け係数wk(τ1,...,τn)を有する形式Un(rk−r)のPSFの組み合わせが含まれる。3次元ガウスPSFの近似に関しては、PSFの幅が係数√nによって改善する。PSFのより正確な近似(エアリーディスク又は、実験的に決定したPSF)に関しては、結果として得られる解像度の改善は、Un(r)及びU(r)の相対的幅によって決まる。
インターリーブピクセルは、幾何学的中心が物理的(「実際の」)ピクセル同士の範囲に入るピクセルの相互相関軌道によって生成することができる。図5(a)は、インターリーブされたピクセルを、2次相互相関によって生成する方法を示す図である。2つの隣接するピクセルの時間軌道は相互相関し、その結果として、2つの物理的ピクセルの間に位置するインターリーブされたピクセルを得る。例えば、座標r1=100のピクセルの時間軌道と座標r2=101のピクセルの時間軌道との間の2次相互相関は、座標r=100.5のピクセルを生成する。この手法は、より高次のキュムラントに対しても当てはまる。相互キュムラントは、相互キュムラントを生成するために用いられるピクセルの時間軌道の距離に基づく係数によって重み付けされる(図5(b)及び5(c))。
この距離係数(式(23))は、SOFI画像における各ピクセルにとって公知でなければならない。そして、全てのピクセルに対するSOFIの値は、式(20)式(21)、式(22)のそれぞれに従って計算することができる。近隣のピクセルの可能な組み合わせを考えると、近隣のピクセル同士の2次相互相関の計算は、各水平、垂直、斜めの組み合わせの間の中間に有効なピクセルを生成する(図6及び図7(a)〜7(d))。同様に、より高次の相互相関は、各可能な組み合わせによって与えられるより多くの有効ピクセルを生成する。例えば、4次相互キュムラントによって4つの異なるピクセルの時間軌道の組み合わせが可能となる。
相互相関を用いて、異なるピクセルの時間軌道の組(n次のSOFI画像に対して、それぞれのピクセル時間軌道の3組又はn組)を用いてピクセル(仮想又は実際の)SOFIの値を複数回計算することができる。各相互キュムラントが異なるピクセル時間軌道の組(n次SOFI画像に対して、それぞれのピクセル時間軌道の3組又はn組)から得られたものだが同じ情報を伝えるので、この手法を用いてノイズの多い信号を強めることができる。どのピクセル時間軌道を相互相関させなければならないかは、式(19)から分かる。例えば、図9(a)及び9(b)を参照のこと。
SOFIは、蛍光顕微鏡法の応用に特に適している。ほぼ全ての蛍光顕微鏡において、2つ以上の強度、寿命、偏光又は、スペクトル状態の間を独立して遷移するフルオロフォアを用いて、超解像及びバックグランド低減をもたらすために用いることができる。そのようなフルオロフォア遷移の例には、量子ドット点滅、その間光を発しないフルオロフォア三重項状態、特定の波長(及び低強度であっても良い)の照明下でのスペクトラの電源を切る又は変更する可能性を有する光スイッチ可能なプローブが含まれる。
SOFIは、電磁放射特性、吸収特性又は散乱特性において点滅する/ゆらぐ全ての物体に用いることができる。例えば、確率的に再配向/回転拡散する小さな金ナノロッドは、異方的に光を拡散する。偏光光学及び適切なカメラを備える広視野かつ暗視野の顕微鏡は、そのように再配向する物体の光拡散におけるゆらぎを結像し記憶して、SOFIと互換性のあるデータセットを取得することができる。同様に、吸収双極子の配向性における変化を利用してSOFI分析にかけることができる。
SOFIの応用は、顕微鏡法に限定されるものではない。ゆらいでいる点のような発光し/吸収し/拡散するソースからの信号を記憶する、電磁遠視野画像システム又は、回折限度を受ける波動現象は、SOFIアルゴリズムを利用することができる。可能な応用には、望遠鏡使用法、医用イメージング及び、他の形式の電磁波イメージングが含まれる。
相関関数は、任意の時間差τj又は相関する信号値同士の相対的時間遅延に対して役立つ。しかしながら、典型的なゆらぎ/点滅の時間スケール(レート)、時間取得フレームレート及び、選択した相関時間差の間を注意深く整合することが、SOFIアルゴリズムを正しく実施するには必要である。アフターパルスなどの通常は不要な短い時間スケールの検出器のゆらぎ、すなわち、カウントのすぐ後に他のカウントを生成する検出器における傾向又は、1つのフレームから直後のフレームへの信号強度における非相関の統計的ゆらぎであるショットノイズを含ませる又は排除することに影響を与える。
SOFI画像を取得する速度は、イメージングシステム及びゆらぎの時間スケールによって与えられる。そのため、複数の画像スタックを取得し、超解像を盛り込んだSOFI画像のシーケンス(SOFI動画)を生成することができる。具体的には、結像された対象物が動いている時、潜在的に短い取得時間が有利であることが分かるが、それは、そうでなければぼやけた画像となってしまうためである。SOFI画像の計算は、ソフトウェア又はハードウェアのどちらかを用いる手法によって非常に効率的かつ素早く行うことができる。
SOFI画像の生成は、平均信号レベルに対する時間信号のゆらぎの分析に依存する。その結果、一定のままのバックグランド信号又は、非常に小さいゆらぎを発生させるバックグランド信号が抑制され、結果としてバックグランドが低減された(バックグランドがない場合さえある)コントラストが向上したSOFI画像を得ることになる。このバックグランド低減は、非常に大きな一定信号を排除することができるので、より小さいゆらぎの信号を見えるようにすることができる。これにより、大きなバックグランドでは見失ったり見えなかったりする(超解像以上の)構造の観察が可能となる。
SOFIの手法は、本質的にPSFを3方向全てにおいて縮ませる。そのため、3次元超解像を実現することができる。実際、2次元のSOFI画像でさえ、焦点に近いエミッタからの信号を向上させるので、z方向において解像度が増加している。3次元に超解像されたスタックは、いくつかの異なる深さ(セクション)のそれぞれにおける画像スタックを取得し、各セクションについてSOFI画像を計算するだけで得られるので、3次元に超解像されたバックグランドが低減されたSOFI画像スタックとなる。
NIH−3T3(ATCC、マナッサス、バージニア州、米国)細胞をダルベッコ変法イーグル培地(ACCT、カタログ番号30、2002年)において〜80%の合流レベル及び、10%のウシ胎仔血清(10082−147、インビトロジェン社、カールスバッド)及び、100単位のペニシリンストレプトマイシン(Pen−Strep、15140122、インビトロジェン社、カールスバッド)まで成長させた。固化させるために以下の手順を適用した。細胞は、室温において15分間CBバッファ(10mMMES、pH6.2、140mM、NaCl、2.5mM EGTA、5mM MgCl2)、11%のスクロース、3.7%のパラホルムアルデヒド、0.5%のグルタルアルデヒド、0.25%のトリトンを定着剤として用いて培養した。CBにおいて0.5mg/mlの水酸化ホウ素ナトリウムにおいて8分間のクエンチング行った。細胞を一度PBSで洗浄し、室温で1時間2%のBSA+PBSにおいてブロックした。微小管を2%のBSA+PBSにおいてDM1Aの抗αチューブリン単クローン抗体(シグマ社)の1:500の希釈を用いて着色した。それから細胞を量子ドット(QD)QD625の標識ヤギF(ab)2の1:400の希釈及び、6%のBSA+PBSにおける抗マウスIgG抗体(H+L)(インビトロジェン社、カールスバッド)を用いて、PBSで3回洗浄して室温で1時間培養した。細胞をPBSで3回洗浄した。全てのステップは、湿度室において行われた。標本は、30%、70%、90%、100%のエタノールにおいて5秒間連続してカバースリップを浮かせることで乾燥させた。その後、1mg/mlのPVAで優しくスピンコート(〜500rpm)した。
動画を反転広視野顕微鏡(オリンパス、IX71)で撮影した。470nmLEDアレイ装置を光源(ルーメンコア社、アウラライトエンジン(Aura Light Engine)、ビバートン、オレゴン州、米国)として用いる。サンプル励起及び蛍光収集を、高開口数の物体(オリンパス、UPlanApro 60x、1.45、オイル、センターバレー、ペンシルバニア州、米国)を用いて行った。励起光は、620/40バンドパス吸収フィルタ(D620/40、クロマテクノロジー社、ロッキンガム、バーモント州、米国)を用いて蛍光からフィルタされる。蛍光は、CCDカメラ(Andor、iXonEM+885、ベルファスト、北アイルランド)に集光された。35nm/ピクセルを得られるように倍率を調整した。
動画を、3000フレーム、100ms/フレームで取得した。
上記段落0016〜0031において説明した特注したマットラブ(Matlab)のソフトウェアを用いるSOFIアルゴリズムを用いて動画を分析した。
Claims (9)
- 独立して点滅する物体の視野を分析する方法であって、
(i)1つ以上の光学的特性において確率的及び互いに独立的にゆらぐ光学的に信号を伝達する物体の集合からの物体からなるサンプル又は観察画像を選択するステップと、
(ii)時間関数として前記物体の繰り返される光学画像のシーケンスを取得してピクセルのx,y,t画像スタックを生成するステップと、
(iii)前記画像スタックからピクセル毎に時間軌道を抽出するステップと、
(iv)各ピクセルの時間軌道の自己相関又は自己キュムラントを少なくとも2次まで計算するステップと、
(v)自己相関関数又は自己キュムラント関数の選択した時間差又は、時間差の範囲に渡る自己相関関数又は自己キュムラント関数の有限積分の値を用いて、強度値が振幅であるピクセルを含む前記計算された関数から、超解像されバックグランド低減された画像を生成するステップと、を含む方法。
- 前記独立して点滅する物体は、使用したイメージングシステムの回折限界で解像した距離よりも短い距離によって分離させることができる上記請求項1に記載の方法。
- 前記サンプル又は前記観察画像を含む前記サンプル物体は、発光材料、吸収材料又は、拡散材料及びそのような材料で標識付けられた物体からなる集合から選択される上記請求項1に記載の方法。
- 前記光学画像のシーケンスは、走査ビーム又は走査サンプルから平行又は連続する広視野、或いは、ピクセル毎のシーケンスにおいて生成される上記請求項1に記載の方法。
- 前記生成された関数は、相互相関関数又は相互キュムラント関数のどちらかを含む上記請求項1に記載の方法。
- 前記相関関数又はキュムラント関数は、2次よりも高次の関数である上記請求項5に記載の方法。
- 前記取得した光学画像のシーケンスは、複数の画像スタックの組を含む上記請求項6に記載の方法。
- 解像度が回折限界よりも低い物体の視野を、前記視野における光学エミッタが、使用したイメージングシステムの回折限界を解像した距離よりも短い距離の間隙を介して配置され、時間と共に独立してゆらぐことができるシステムにおいてイメージングする方法であって、
(i)時間関数として任意の点広がり関数の光学システムを有する視野を光学的にイメージングして、強度がサブ回折の大きさの独立したエミッタから放出される信号の重ね合わせである様々なピクセルシーケンスをそれぞれが含むx,y,tのスタックを生成するステップと、
(ii)ピクセル毎の前記画像スタックから時間軌道を抽出するステップと、
(iii)少なくとも2次までの各ピクセルの前記時間軌道の相関関数又はキュムラント関数を計算するステップと、
(iv)ピクセルを含む新しい画像を生成するステップと、を含み、
ピクセルの強度値は、選択した時間差又は時間差の範囲に渡る前記関数の有限関数に従って相関関数又はキュムラント関数に関連付けられて、超解像されバックグランド低減された光学画像を導き出す方法。
- 前記エミッタのサイズは、前記点広がり関数よりも実質的に小さく、前記方法は、ピクセルが点広がり関数画像サイズの断片となるように前記視野を拡大することを含み、ゼロ平均ゆらぎ信号は、各ピクセルの前記時間軌道から導かれ減算され、2次相関関数又はキュムラント関数をピクセル毎に計算して、2次SOFI画像におけるSOFIピクセルの前記強度を定義する行列を構成する上記請求項8に記載の方法。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US18351909P | 2009-06-02 | 2009-06-02 | |
US61/183,519 | 2009-06-02 | ||
PCT/US2010/037099 WO2010141608A1 (en) | 2009-06-02 | 2010-06-02 | Superresolution optical fluctuation imaging (sofi) |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014149779A Division JP5856252B2 (ja) | 2009-06-02 | 2014-07-23 | 超解像光ゆらぎイメージング(sofi) |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2012529119A JP2012529119A (ja) | 2012-11-15 |
JP5588507B2 true JP5588507B2 (ja) | 2014-09-10 |
Family
ID=43220309
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012514089A Expired - Fee Related JP5588507B2 (ja) | 2009-06-02 | 2010-06-02 | 超解像光ゆらぎイメージング(sofi) |
JP2014149779A Expired - Fee Related JP5856252B2 (ja) | 2009-06-02 | 2014-07-23 | 超解像光ゆらぎイメージング(sofi) |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014149779A Expired - Fee Related JP5856252B2 (ja) | 2009-06-02 | 2014-07-23 | 超解像光ゆらぎイメージング(sofi) |
Country Status (4)
Country | Link |
---|---|
US (2) | US8625863B2 (ja) |
EP (1) | EP2438555B1 (ja) |
JP (2) | JP5588507B2 (ja) |
WO (1) | WO2010141608A1 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2014207018A (ja) * | 2009-06-02 | 2014-10-30 | ソーファスト ゲーエムベーハー | 超解像光ゆらぎイメージング(sofi) |
Families Citing this family (32)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP2309302A1 (en) * | 2009-10-09 | 2011-04-13 | Deutsches Krebsforschungszentrum | Localization light emitting molecules of unknown orientation |
DE102011001091C5 (de) * | 2010-10-19 | 2022-07-14 | Leica Microsystems Cms Gmbh | Verfahren und Einrichtung zur mikroskopischen Bildaufnahme einer Probenstruktur |
DE102011077269A1 (de) * | 2011-06-09 | 2012-12-13 | Carl Zeiss Microimaging Gmbh | Hochauflösende Lumineszenzmikroskopie |
EP2535755A1 (en) * | 2011-06-14 | 2012-12-19 | Ecole Polytechnique Fédérale de Lausanne (EPFL) | Cumulant microscopy |
DE102011084315A1 (de) * | 2011-10-12 | 2013-04-18 | Carl Zeiss Microscopy Gmbh | Hochauflösende Lumineszenzmikroskopie |
JP6140737B2 (ja) * | 2012-02-23 | 2017-05-31 | ザ ユナイテッド ステイツ オブ アメリカ, アズ リプレゼンテッド バイ ザ セクレタリー, デパートメント オブ ヘルス アンド ヒューマン サービシーズ | 多焦点構造化照射顕微鏡検査システムおよび方法 |
DE102012205032A1 (de) * | 2012-03-28 | 2013-10-02 | Carl Zeiss Microscopy Gmbh | Hochauflösende Fluoreszenzmikroskopie |
ITPI20120034A1 (it) | 2012-03-31 | 2013-10-01 | Cnr Consiglio Naz Delle Ricer Che | Metodo e dispositivo perfezionati per microscopia video-confocale |
US9435993B2 (en) | 2013-03-24 | 2016-09-06 | Bruker Nano, Inc. | Three dimensional microscopy imaging |
US10701287B1 (en) * | 2013-05-23 | 2020-06-30 | Rockwell Collins, Inc. | Passive clear air turbulence detection system and method |
DE102013216124A1 (de) | 2013-08-14 | 2015-02-19 | Carl Zeiss Microscopy Gmbh | Hochauflösende 3D-Fluoreszenzmikroskopie |
NL2012169C2 (en) * | 2014-01-30 | 2015-08-06 | Univ Delft Tech | Determining the average number of localizations per emitter and the average number of emitters associated with one site in localization microscopy. |
JP6355961B2 (ja) * | 2014-04-30 | 2018-07-11 | オリンパス株式会社 | 標本観察装置 |
JP6300658B2 (ja) * | 2014-06-19 | 2018-03-28 | オリンパス株式会社 | 標本観察装置 |
KR101641777B1 (ko) * | 2014-09-26 | 2016-07-21 | 한국과학기술원 | 이미지 생성 장치 및 이미지 생성 방법 |
CN104515760B (zh) * | 2014-12-17 | 2017-10-31 | 深圳市纳观生物有限公司 | 双色荧光定位超分辨率生物显微方法及系统 |
DE102015107367A1 (de) | 2015-05-11 | 2016-11-17 | Carl Zeiss Ag | Auswertung von Signalen der Fluoreszenzrastermikroskopie unter Verwendung eines konfokalen Laserscanning-Mikroskops |
DE102015112628A1 (de) * | 2015-07-31 | 2017-02-02 | Carl Zeiss Microscopy Gmbh | Verfahren zur Erzeugung eines digitalen Fluoreszenzbildes |
WO2017085618A1 (en) * | 2015-11-16 | 2017-05-26 | Ecole Polytechnique Federale De Lausanne (Epfl) | Superresolved synthetic aperture microscope |
CN105825526B (zh) * | 2016-03-22 | 2018-09-07 | 辽宁师范大学 | 基于视频数据3d自相关性的视频多尺度几何分析方法 |
DE102016110407A1 (de) * | 2016-06-06 | 2017-12-07 | Carl Zeiss Microscopy Gmbh | Digitales Mikroskop mit einem Objektiv und mit einem Bildsensor |
WO2018008136A1 (ja) * | 2016-07-07 | 2018-01-11 | オリンパス株式会社 | 画像処理装置および画像処理装置の作動方法 |
US10217190B2 (en) | 2016-12-27 | 2019-02-26 | Kla-Tencor Corporation | System and method for reconstructing high-resolution point spread functions from low-resolution inspection images |
US10908072B2 (en) | 2016-12-15 | 2021-02-02 | The Board Of Regents Of The University Of Texas System | Total internal reflection and transmission illumination fluorescence microscopy imaging system with improved background suppression |
US10983059B2 (en) * | 2017-02-09 | 2021-04-20 | Technion Research & Development Foundation Ltd. | Sparsity-based super-resolution correlation microscopy |
CN108470099B (zh) * | 2018-03-15 | 2021-11-02 | 长沙天玖卫星科技有限公司 | 光学成像类小卫星成像能力分析与姿态控制指标分析方法 |
JP7298993B2 (ja) * | 2018-04-09 | 2023-06-27 | 浜松ホトニクス株式会社 | 試料観察装置及び試料観察方法 |
DE102018128590A1 (de) | 2018-11-14 | 2020-05-14 | Carl Zeiss Microscopy Gmbh | Fluktuationsbasierte Fluoreszenzmikroskopie |
EP3690510A1 (en) | 2019-02-04 | 2020-08-05 | Max-Planck-Gesellschaft zur Förderung der Wissenschaften e.V. | Method of and apparatus for imaging light emitting objects on an image sensor |
CN110836892B (zh) * | 2019-11-26 | 2021-06-11 | 清华大学 | 衍射超分辨显微成像方法及系统 |
CN113658056B (zh) * | 2021-07-14 | 2024-04-26 | 复旦大学 | 一种基于图像梯度方差分析的序列图像超分辨修正方法 |
DE102023201620B3 (de) | 2023-02-22 | 2024-08-01 | Carl Zeiss Microscopy Gmbh | Verfahren und Mikroskop zur Bestimmung von Eigenschaften sich bewegender Objekte in einer biologischen Probe |
Family Cites Families (23)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR970003395B1 (ko) * | 1993-12-01 | 1997-03-18 | 삼성전자 주식회사 | 팩시밀리의 기록지 이송과 자동 절단장치 |
WO1995021393A2 (de) * | 1994-02-01 | 1995-08-10 | Stefan Hell | Vorrichtung und verfahren zum optischen messen eines probenpunktes einer probe mit hoher ortsauflösung |
US5671085A (en) | 1995-02-03 | 1997-09-23 | The Regents Of The University Of California | Method and apparatus for three-dimensional microscopy with enhanced depth resolution |
WO2001079820A1 (en) * | 2000-04-13 | 2001-10-25 | Ecole Polytechnique Federale De Lausanne (Epfl) | Assembly and method for a correlator structure |
DE10154699B4 (de) * | 2001-11-09 | 2004-04-08 | MAX-PLANCK-Gesellschaft zur Förderung der Wissenschaften e.V. | Verfahren und Vorrichtung zum räumlich eng begrenzten Anregen eines optischen Übergangs |
AU2002348826A1 (en) * | 2001-11-30 | 2003-06-10 | Yissum Research Development Company Of The Hebrew University Of Jerusalem | System and method for providing multi-sensor super-resolution |
JP3984132B2 (ja) * | 2002-09-17 | 2007-10-03 | オリンパス株式会社 | 蛍光分光分析装置 |
WO2004072624A1 (ja) * | 2003-02-13 | 2004-08-26 | Hamamatsu Photonics K.K. | 蛍光相関分光解析装置 |
US7430045B2 (en) * | 2003-04-13 | 2008-09-30 | Max-Planck-Gesellschaft Zur Forderung Der Wissenschaften E.V. | High spatial resolution imaging |
US7064824B2 (en) | 2003-04-13 | 2006-06-20 | Max-Planck-Gesellschaft Zur Forderung Der Wissenschaften E.V. | High spatial resoulution imaging and modification of structures |
US7847234B2 (en) * | 2003-08-06 | 2010-12-07 | The United States Of America As Represented By The Secretary Of The Army | Method and system for observing a subject at a first location based upon quantum properties measured at a second location |
US7602997B2 (en) * | 2005-01-19 | 2009-10-13 | The United States Of America As Represented By The Secretary Of The Army | Method of super-resolving images |
DE102005013969A1 (de) * | 2005-03-26 | 2006-10-05 | MAX-PLANCK-Gesellschaft zur Förderung der Wissenschaften e.V. | Verfahren zur mikroskopischen Untersuchung einer räumlichen Feinstruktur |
EP2453237B1 (en) | 2005-05-23 | 2016-12-21 | Harald F. Hess | Optical microscopy with phototransformable optical labels |
DE102005027896B4 (de) * | 2005-06-16 | 2012-03-15 | MAX-PLANCK-Gesellschaft zur Förderung der Wissenschaften e.V. | Verfahren zum optischen Messen einer Probe |
JP5094036B2 (ja) * | 2006-04-17 | 2012-12-12 | オリンパスメディカルシステムズ株式会社 | 内視鏡挿入方向検出装置 |
US8611639B2 (en) * | 2007-07-30 | 2013-12-17 | Kla-Tencor Technologies Corp | Semiconductor device property extraction, generation, visualization, and monitoring methods |
US9123114B2 (en) * | 2007-12-06 | 2015-09-01 | The United States Of America As Represented By The Secretary Of The Army | System and processor implemented method for improved image quality and enhancement based on quantum properties |
US9628811B2 (en) * | 2007-12-17 | 2017-04-18 | Qualcomm Incorporated | Adaptive group of pictures (AGOP) structure determination |
WO2009115108A1 (en) * | 2008-03-19 | 2009-09-24 | Ruprecht-Karls-Universität Heidelberg | A method and an apparatus for localization of single dye molecules in the fluorescent microscopy |
US8153446B2 (en) * | 2008-05-23 | 2012-04-10 | Kent State University | Fluorogenic compounds converted to fluorophores by photochemical or chemical means and their use in biological systems |
US8097864B2 (en) * | 2009-01-26 | 2012-01-17 | The General Hospital Corporation | System, method and computer-accessible medium for providing wide-field superresolution microscopy |
WO2010141608A1 (en) * | 2009-06-02 | 2010-12-09 | Imflux Llc | Superresolution optical fluctuation imaging (sofi) |
-
2010
- 2010-06-02 WO PCT/US2010/037099 patent/WO2010141608A1/en active Application Filing
- 2010-06-02 JP JP2012514089A patent/JP5588507B2/ja not_active Expired - Fee Related
- 2010-06-02 US US12/791,997 patent/US8625863B2/en active Active
- 2010-06-02 EP EP10784026.6A patent/EP2438555B1/en not_active Not-in-force
-
2013
- 2013-09-09 US US14/021,553 patent/US9111366B2/en not_active Expired - Fee Related
-
2014
- 2014-07-23 JP JP2014149779A patent/JP5856252B2/ja not_active Expired - Fee Related
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2014207018A (ja) * | 2009-06-02 | 2014-10-30 | ソーファスト ゲーエムベーハー | 超解像光ゆらぎイメージング(sofi) |
Also Published As
Publication number | Publication date |
---|---|
US20100303386A1 (en) | 2010-12-02 |
EP2438555B1 (en) | 2017-03-08 |
WO2010141608A1 (en) | 2010-12-09 |
EP2438555A1 (en) | 2012-04-11 |
JP5856252B2 (ja) | 2016-02-09 |
EP2438555A4 (en) | 2013-07-31 |
JP2014207018A (ja) | 2014-10-30 |
US9111366B2 (en) | 2015-08-18 |
US20140099043A1 (en) | 2014-04-10 |
JP2012529119A (ja) | 2012-11-15 |
US8625863B2 (en) | 2014-01-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5856252B2 (ja) | 超解像光ゆらぎイメージング(sofi) | |
Hedde et al. | Stimulated emission depletion-based raster image correlation spectroscopy reveals biomolecular dynamics in live cells | |
CN111656246B (zh) | 用于定位显微的方法和系统、计算机可读存储介质 | |
US20140198198A1 (en) | Cumulant microscopy | |
Enderlein | Breaking the diffraction limit with dynamic saturation optical microscopy | |
Sheppard et al. | Signal-to-noise ratio in confocal microscopes | |
Wiseman | Image correlation spectroscopy: mapping correlations in space, time, and reciprocal space | |
Franke et al. | Frequency-domain fluorescence lifetime imaging system (pco. flim) based on a in-pixel dual tap control CMOS image sensor | |
Stuurman et al. | Impact of new camera technologies on discoveries in cell biology | |
Ball et al. | A cell biologist's guide to high resolution imaging | |
CN111579486A (zh) | 基于低功率受激发射损耗的超分辨成像方法及成像系统 | |
Zeng et al. | Computational methods in super-resolution microscopy | |
De Luca et al. | Re-scan confocal microscopy (RCM) improves the resolution of confocal microscopy and increases the sensitivity | |
Naredi‐Rainer et al. | Confocal microscopy | |
Liu et al. | Parallelized fluorescence lifetime imaging microscopy (FLIM) based on photon reassignment | |
Junod et al. | Obtaining 3D super-resolution images by utilizing rotationally symmetric structures and 2D-to-3D transformation | |
Mayerich et al. | Superresolution Image Processing | |
Silberberg et al. | pawFLIM: reducing bias and uncertainty to enable lower photon count in FLIM experiments | |
Diouf et al. | Multiphoton imaging using a quantitative CMOS camera | |
Dilipkumar et al. | Taylor series expansion based multidimensional image reconstruction for confocal and 4pi microscopy | |
Ovesný | Computational methods in single molecule localization microscopy | |
Ward et al. | Super-resolution Microscopy | |
Mazidi et al. | A robust statistical estimation (RoSE) algorithm jointly recovers the 3D location and intensity of single molecules accurately and precisely | |
Wang et al. | Structural anisotropy quantification improves the final superresolution image of localization microscopy | |
Stein et al. | Stochastic optical fluctuation imaging |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20130507 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20131225 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20140114 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20140311 |
|
A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20140318 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20140514 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20140701 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20140725 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5588507 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |