JP5969463B2 - ラベル付けされた生体試料の画像化のための方法と装置 - Google Patents

ラベル付けされた生体試料の画像化のための方法と装置 Download PDF

Info

Publication number
JP5969463B2
JP5969463B2 JP2013506667A JP2013506667A JP5969463B2 JP 5969463 B2 JP5969463 B2 JP 5969463B2 JP 2013506667 A JP2013506667 A JP 2013506667A JP 2013506667 A JP2013506667 A JP 2013506667A JP 5969463 B2 JP5969463 B2 JP 5969463B2
Authority
JP
Japan
Prior art keywords
image
biological sample
labeled
images
time
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2013506667A
Other languages
English (en)
Other versions
JP2013531221A5 (ja
JP2013531221A (ja
Inventor
ムンク セバスチャン
ムンク セバスチャン
アナールト ウィム
アナールト ウィム
フェルストレケン パトリク
フェルストレケン パトリク
Original Assignee
フェーイーベー フェーゼットウェー
フェーイーベー フェーゼットウェー
カトリーケ ユニベルシテイト ルーベン,カー.ユー.ルーベン エルアンドデー
カトリーケ ユニベルシテイト ルーベン,カー.ユー.ルーベン エルアンドデー
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by フェーイーベー フェーゼットウェー, フェーイーベー フェーゼットウェー, カトリーケ ユニベルシテイト ルーベン,カー.ユー.ルーベン エルアンドデー, カトリーケ ユニベルシテイト ルーベン,カー.ユー.ルーベン エルアンドデー filed Critical フェーイーベー フェーゼットウェー
Publication of JP2013531221A publication Critical patent/JP2013531221A/ja
Publication of JP2013531221A5 publication Critical patent/JP2013531221A5/ja
Application granted granted Critical
Publication of JP5969463B2 publication Critical patent/JP5969463B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/50Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64Fluorescence; Phosphorescence
    • G01N21/6408Fluorescence; Phosphorescence with measurement of decay time, time resolved fluorescence
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64Fluorescence; Phosphorescence
    • G01N21/6428Measuring fluorescence of fluorescent products of reactions or of fluorochrome labelled reactive substances, e.g. measuring quenching effects, using measuring "optrodes"
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64Fluorescence; Phosphorescence
    • G01N21/645Specially adapted constructive features of fluorimeters
    • G01N21/6456Spatial resolved fluorescence measurements; Imaging
    • G01N21/6458Fluorescence microscopy
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/0004Microscopes specially adapted for specific applications
    • G02B21/002Scanning microscopes
    • G02B21/0024Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
    • G02B21/0052Optical details of the image generation
    • G02B21/0076Optical details of the image generation arrangements using fluorescence or luminescence
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/0004Microscopes specially adapted for specific applications
    • G02B21/002Scanning microscopes
    • G02B21/0024Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
    • G02B21/008Details of detection or image processing, including general computer control
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/36Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365Control or image processing arrangements for digital or video microscopes
    • G02B21/367Control or image processing arrangements for digital or video microscopes providing an output produced by processing a plurality of individual source images, e.g. image tiling, montage, composite images, depth sectioning, image comparison
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/58Optics for apodization or superresolution; Optical synthetic aperture systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/69Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/693Acquisition
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64Fluorescence; Phosphorescence
    • G01N21/6428Measuring fluorescence of fluorescent products of reactions or of fluorochrome labelled reactive substances, e.g. measuring quenching effects, using measuring "optrodes"
    • G01N2021/6439Measuring fluorescence of fluorescent products of reactions or of fluorochrome labelled reactive substances, e.g. measuring quenching effects, using measuring "optrodes" with indicators, stains, dyes, tags, labels, marks
    • G01N2021/6441Measuring fluorescence of fluorescent products of reactions or of fluorochrome labelled reactive substances, e.g. measuring quenching effects, using measuring "optrodes" with indicators, stains, dyes, tags, labels, marks with two or more labels
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10064Fluorescence image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20212Image combination
    • G06T2207/20224Image subtraction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30024Cell structures in vitro; Tissue sections in vitro
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30096Tumor; Lesion

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Optics & Photonics (AREA)
  • Immunology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Pathology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Biochemistry (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Chemical Kinetics & Catalysis (AREA)
  • Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)
  • Investigating Or Analysing Biological Materials (AREA)
  • Microscoopes, Condenser (AREA)

Description

関連出願へのクロスリファレンス
本出願は、2010年4月28日に出願された英国特許出願番号1007055.5号に基づく優先権とその利益を要求するものである。
本願発明の分野は、ラベル付けされた生体試料の画像化のための方法、装置、および、コンピュータ・プログラム製品に関するものである。
いくつかのいわゆる「超解像度」画像化技術が最近登場してきた。これらの超解像度画像化技術は、誘導放射抑制(STED:Stimulated Emission Depletion)、光活性化局在顕微鏡法(PALM:photo-activated localization microscopy)、および、確率的光学再構築顕微鏡法(STORM:stochastic optical reconstruction microscopy)を含む。これらの超解像度画像化技術は、空間的または時間的に生体試料に付着したフルオロフォア標識の放出を切り離すことによって、ラベル付けされた生体試料の画像化を可能にし、それにより、従来の光学顕微鏡の解像度限界を克服する。PALMとSTORMのような方法は、フルオロフォア標識の少数だけを活性化させ、その後に調整される。これらの方法は、放出(蛍光)が単一の点から来ると仮定している。第2のドーナツ形のSTEDレーザを用いて、エミッタ(フルオロフォア)の近傍のものを回転することによって、STEDはこれを達成する。したがって、そのような従来の方法は、単一のラベル付けされた分子だけを局所化する、あるいは、空間的不均一照射および非線形光応答を使用する。生物学的研究へのインパクトが与えられると、超解像度画像化技術は、このように、大いに注目を得た。超解像度デバイスのアセンブリ、および、超解像度デバイスを動作させる、あるいは、統合化ソリューションを得ることはコストが高くなりえる。また、カスタマイズされたシステムは、現在、商用システムを上回る性能を示している。
共焦点レーザ走査型顕微鏡法は、ある程度の深さ選択性を有する複合オブジェクトの高解像度光学画像を得るための方法の1つの例である。複合オブジェクトは、生物学的試料であり得る。しかし、それに制限するものではない。複合オブジェクトの光学画像は、光検出デバイスによって得られ、その後、コンピュータによって再構築される。このコンピュータ再構築は、複合オブジェクトの三次元再構築の生成を可能にする。
共焦点レーザ走査型顕微鏡において、レーザ光線は、開口を貫通し、レーザ光線は、対物レンズによってその後、生物学的試料の表面の内に、または、その上に小体積に焦束される。生物学的試料、抗体または蛍光粒子は、蛍光分子のようなフルオロフォアでラベル付けすることができる。フルオロフォアによる生物学的試料のラベリングは、特に、顕微鏡法の生物学的応用に対して、一般的である。散乱し、反射したレーザ光線は、生物学的試料のラベリングのフルオロフォアからいかなる蛍光とも同様に、対物レンズによって集められる。従って、ビーム・スプリッタは、そのスペクトル特性に基づいて集めた光を切り離す。次に、集めた光は、例えば、光感応デバイスなどのセンサによって検出される。コンフォーカル顕微鏡法で使われる、この光感応デバイスは、例えば、光電子増倍管などの典型的なポイント検出器である。スピニング・ディスク顕微鏡において、光感応デバイスは、CCDでありえる。さらに、光感応デバイスの前に、当初の波長のレーザ光線(すなわち、散乱し、反射したレーザ光線)をブロックして、特定の蛍光波長で光の選択的な通過を可能とするフィルタがあってもよい。光感応デバイスは、コンピュータに伝達される光信号を電気信号に変える。その電気信号は、コンピュータの画像メモリに格納される。
特定のオブジェクトの時系列画像がつくられ、差分画像が生成される、画像システムのいくつかの例が、当該技術において知られている。例えば、米国特許第4542459号は、注入されたX線造影剤が関心領域の血管に到着する前後に、低エネルギーと高エネルギーとのX線露出が行われるX線ハイブリッド減算のための整合フィルタを教示する。’459の特許は、ハイブリッド減算画像の信号ないしデータ表現を生み出す一連のX線像を得るための2つの異なる手順を教示する。’459の方法は、骨による信号を除くのに用いることができ、X線造影剤残余で満たされた血管の信号表現を確実にすることができる。
米国特許第6061476号は、異なる時間に特定のオブジェクト2つの画像が取られるオブジェクトを検出し、1つの画像が、他の画像から引かれる方法を教示する。結果として生じる引かれた画像は、2つのコンポーネント、ポジティブ差分画像とネガティブ差分画像に分けられる。2つのコンポーネントは、オブジェクトが存在するか否かを決定するために処理される。’476の特許において挙げられた例では、その方法は、オブジェクトが存在か否かに関して、ソルダーペーストを調べるのに用いられる。
米国特許第4542459号 米国特許第6061476号
ラベル付けされた生体試料の画像化のための方法が開示される。この方法は、ラベル付けされた生体試料を一定時間にわたり照明することを含む。次に、ラベル付けされた生体試料の時系列画像が生成され、時系列画像の後のメンバーと前記時系列画像の初期のメンバーと間の複数の差分画像が生成される。次に、ラベル付けされた生体試料の最終画像を生成するために、その差分画像が結合される。
この方法は、従来の技術の共焦点または広視野顕微鏡法に基づいた従来の方法により提供されるものより大きな解像度(約100nm)を持つ画像の生成を可能にする。
ここでの開示の方法は、2つのエミッタ、すなわち、生体試料に付着されるラベル、がスパロウ制限によって説明されるように2つのエミッタが単一の識別できない回折像を形成するような程に近接しているポイントの遠く向こうで下位回折画像化を可能にする。ここでの開示で記述されるアプローチは、時系列画像を得ために、同じ領域を複数回画像化することから抽出している空間情報に基づいている。このように、フルオロフォアを漂白する。通常単一の走査において得られる画像は、このように複数の系列画像に「切り離される」。この系列画像から、生体試料の下にある構造の位置情報を差分画像を形成するために、系列画像を処理することとエミッタの局所漂白された蛍光の最大を検出することによって抽出することができる。次に、複数の系列画像が組み合わされて、「超解像度」画像を構築する。差分画像の処理は、エミッタの全てが同時に画像化されるよりよい、下にある構造の再構成と局在化を可能にするこの方法は、既存の顕微鏡(すなわちカスタム化することなく)の解像度の強化を可能にし、複数の検出チャンネルに適用できる。
単一のエミッタの明白な識別は、(点描画法のアプローチと違って)例えば、前述したPALM法とSTORM方法などは、この方法に対しては要求されない。したがって、位置ごとの複数のエミッタの異なる漂白率を用いることができる。本願の開示の方法は、既存の方法と同様の超解像度を可能にする。しかし、専門的な計装、専門的に特別仕立てのラベルまたは単一の分子精度の必要を取り除く。一方、マルチチャネル実験を可能にしている。
ここでの開示の方法は、単一つのラベル付けされた分子、または不均一性のフォト照明の画像化を必要としない。エミッタとして特別仕立てのフルオロフォアの要求がない。この方法は、エミッタの繰り返しの点滅を必要とせず、したがって、超解像度光学揺らぎ画像化(SOFI)のような従来の方法で使われる揺らぎ分析とは異なる。この開示の方法は、画像化された生体試料の領域の中で輝度関係を維持する。
ここで開示した方法は、また、例えば、STED方法、またはエミッタの飽和励起を含んでいる方法から知られる空間的に制御された飽和フルオロフォア・デプリーションの必要もない。
本願開示の1つの態様において、生成された最終画像の解像度を改良するために、数学的フィルタを、差分画像に適用することができる。この数学的フィルタはハイパスフィルタである。しかし、例えば、トップハット・フィルタやメキシカンハット・フィルタを除外するものではない。数学的フィルタは、また、逆畳込みフィルタであることもできる。
ラベル付けされた生体試料は、一般的に、例えばレーザなどの励起光源から照明されるこの励起光源は、蛍光を生じるラベルとして使われるフルオロフォアを励起する。
本願開示のさらなる態様において、生体試料の合成三次元画像を生成するために、ラベル付けされた生体試料の三次元画像と共に生成された最終画像を結合することができる。
ラベル付けされた生体試料の画像化のための装置も、また、開示されている。この装置は、少なくとも一部のラベル付けされた生体試料を照明するための照明源と、ラベル付けされた生体試料から放射線を検出するための検出デバイスとを備える。この装置は、検出デバイスと画像プロセッサによって生成された時系列画像のメンバーを格納する画像メモリを更に含む。画像プロセッサは、時系列画像の後のメンバーと時系列画像の以前のメンバーとの間の複数の差分画像を生成するのに適している。画像プロセッサは、ラベル付けされた生体試料の最終画像を生成するために複数の差分画像を結合する。
装置は、共焦点レーザ走査型顕微鏡または広視野顕微鏡でありえる。
画像プロセッサは、例えば、トップハット・フィルタまたはメキシカンハット・フィルタなどハイパスフィルタ、を含むことができる。しかし、それらに限られるものではない。他のタイプのフィルタ、例えば、逆畳込みフィルタは、制限なく使用することができる。
ラベル付けされた生体試料の画像化のためのコンピュータ・プログラム製品も、開示される。コンピュータ・プログラム製品は、ラベル付けされた生体試料の画像化の方法を実行するために、走査型共焦点顕微鏡法を行わせる制御ロジックをその中で格納する非一時的コンピュータ読取り可能媒体を含む。
本願開示の方法と装置は、構造と挙動または生体系の調査において多数の応用を見つけることができる。この方法と装置は、また、外科や診断手順に使うこともできる。
本願開示の態様にしたがう装置の実施例を示す。 本願開示の態様にしたがう方法の概要を示す。 本願開示の方法にしたがって生成された画像の種々の例を示す。図3Aにおいて、スケールバーは100nmである。 本願開示の方法にしたがって生成された画像のさらなる例を示す。図4A、 4K、 4Lにおいて、スケールバーは1μmである。図4Mにおいて、スケールバーは100nmである。図4Pおよび4Sにおいて、スケールバーは200nmである。図4Gは、三次元表現を示す。図4H〜4Jは、GFPタグ付けダブルコルチン(DCX)のライブ画像化を示す。 本願開示の方法のインシリコ・モデルの結果を示す。 本願開示の方法を使用する二次元テスト画像処理を示す。 ショウジョウバエ神経筋接合部(NMJ)のシナプス・ボタンの画像化のために、本願開示の方法を用いたものと、用いないものの視野顕微鏡の使用を示す。
本願発明は、次に、図面に基づいて記述される。ここに記述される発明の実施形態と態様は、例としてのみであり、いかなる形であれ、特許請求の範囲の保護範囲を制限しないことが理解される。本願発明は、特許請求の範囲とその均等価物によって定義される。本願発明の1つの態様または実施例の特徴は、本願発明の異なる実施形態や態様の特徴と結合することができることが理解される。
図1は、特に、顕微鏡10における本願発明の態様にしたがう装置の実施例を示す。生体試料20は、励起光源60から発される光65で照明される。光65は、第1の開口50を通って、対物レンズ30に通過する。対物レンズ30が、光65を生体試料20に照明し集中させるのに用いられる。
本願開示で用いられる用語「生体試料」または「生物学的試料」は、複雑な試料を指し、たとえば、人間や動物、植物、バクテリア、ウイルス、イースト、真菌、その他の生物源から採集した生物物質のサンプルを意味する。用語「生体試料」は、制限的な目的なしで、器官、オルガネラ、組織、体液、細胞、組織または細胞の培養物、ならびに、それらの上澄とリンスを含む。生体試料は、また、例えば多糖などの分子、核酸、蛋白、ペプチド、脂質、および、それらの由来物を含む生体試料は、また、例えば、均質化または抽出など必要に応じて生体試料に前処理を受けることによって、得ることができる。そのような前処理は、検査対象の生体試料に依存して、当業者によって適切に選ぶことができる。本願開示はまた、制限的ではなく、例えば、舌下細胞、脳サンプル、皮膚サンプル、器官サンプル、胎盤組織、胎児細胞またはその入手可能な細胞の他のどのソースを含む人間のまたは動物の体からの組織サンプルなどの生体試料を含む。本願開示はまた、例えば人間や動物の体からの体液などの生体試料を含む。特に、サンプルは、全血、血漿、血清、脳体液、痰、便、生検材料、骨髄、口のリンス、組織、尿またはそれらの混合物でありえる。
本願開示で使われる用語「ラベル付けされた生体試料」は、検出可能なラベルを含む生体試料20の任意のタイプを含むことを意図する。生体試料20は、検出可能なラベルとして機能する粒子(図示せず)でラベル付けすることができる。検出可能なラベルは、制限するものではないが、酵素、フルオロフォア、蛍光染料、電磁ラベルまたは放射性ラベルであり得る。本願開示の態様において、ラベル付けされた生体試料20で使われる検出可能なラベルは、フルオロフォアであり、励起光源60は、レーザである。この励起光源60は、前記検出可能なラベル(すなわちフルオロフォア)にラベル付けされた生体試料20において、蛍光を発光させるのに適している波長の光を発する。励起光源60は、レーザに限られておらず、ラベル付けされた生体試料20を可視化するいかなる光源60でも光源60として使用することができることが理解される。
ラベルの非限定的な例は、さらにここ(下記の例参照)に提供される。特定の例にしたがって、生体試料20は、複数の検出可能なラベルを運ぶことができる。したがって、生体試料は、以下に記すように、2、3以上の検出可能なラベルを有することができる。検出可能なラベルは、同一のラベル(例えば信号を強化するために)でありえる。検出可能なラベルは、同じ性質を有するが互いと異なる場合があり、(例えば2枚の異なる蛍光ラベル)、異なる性質を有する(例えば蛍光と電磁ラベル)場合がある、あるいは、その組合せもあり得る(例えば、2つの同一の蛍光ラベルと、第3の異なる蛍光ラベル)。
蛍光を発するとともに、光65は、ラベル付けされた生体試料20から散乱し、反射する。光65は、また、対物レンズ30によって集められ、ビーム・スプリッタ40にパスされる。ビーム・スプリッタ40は、散乱し、反射した蛍光を分離し、散乱し、反射した蛍光を、第2の開口70を通して、フォト検出デバイス80へパスする。フォト検出デバイス80は、光電子増倍管チューブ、APD、相補型MOSデバイス(CMOS)またはCCDのうちの1つでありえる。例えば散光と反射光など(ただし、蛍光ではない)特定の波長の光を取り除くために、フィルタ(図示せず)を、フォト検出デバイス80の前に配置することができる。フォト検出デバイス80は、フォト検出デバイス80によって受け取られる光信号をコンピュータ100にパスされる電気信号に変換する。
コンピュータ100は、コンピュータ100と、ラベル付けされた生体試料20の画像を表示できる(または印刷できる)ディスプレイ120に接続された画像メモリ110を有する。コンピュータ100は、画像プロセッサ105を更に含む。画像プロセッサ105は、特殊画像プロセッサか、コンピュータ100の従来のプロセッサでありえる。画像プロセッサは、ラベル付けされた生体試料20の画像を処理するように構成される。
本願発明の1つの態様において、光源65を静止状態に保って、生体試料20は、平面的に移動させることができる(図1の中のx−y軸として示される)。典型的には、生体試料20は、生体試料20の表面に入る光65が生体試料20の表面ないし体積上で走査するように動くことができるステージ(図示せず)の上へマウントされる。他の態様において、ラベル付けされた生体試料20を静止状態に保って、光源60は、平面的に移動させることができる(図1の中のx−y軸として示される)。
光検出デバイス80は、ラベル付けされた生体試料20の照明された部分からの光信号を記録する。次に、光検出デバイス80は記録された光信号を電気信号として、コンピュータ100にパスする。ここで、ラベル付けされた生体試料の20照明された部分の画像が画像メモリ110に格納される。当該技術において知られていているように、ラベル付けされた生体試料20の画像メモリ110の複数の画像部分は、ラベル付けされた生体試料20の単一の画像を形成するために結合することができる。
例えば、顕微鏡の露光時間、利得、光源60の電力や、他の設定値を調整するためにフィードバックループを装置10に含むことがさらに可能である。これらのフィードバックループは、コンピュータ100に実装することができる。
ラベル付けされた生体試料20の画像化のための改善が、図2に関して示されるように、ラベル付けされた生体試料20の画像化のための方法に関連して説明される。
ステップ200において、ラベル付けされた生体試料20は、光源60からの光65で照明される。ラベル付けされた生体試料20は、光65がラベル付けされた生体試料20の表面の関心領域のすべての部分を連続して照明するように、ステージで移動される。
ステップ205において、ラベル付けされた生体試料20の時系列画像の第1のメンバーは、画像メモリ110においてフォト検出デバイス80によって記録される光信号から生成される。
ステップ210において、更なる画像は、ラベル付けされた生体試料20の関心領域の部分について生成される。更なる画像は、毎秒2コマの率で画像を取ることによって、典型的には生成される。
次に、画像の更なるセットは、ステップ210で繰り返し生成される。画像の更なるセットは、時系列画像の相当な数のメンバーが生成されるまで(たとえば毎秒2コマの率で)期間ごとに後繰り返し生成される生成された画像数は、後で説明されるように、要因の数に依存する。典型的には、数百画像もの時系列画像の画像が生成される。
ステップ215において、一連のラベル付けされた生体試料20の差分画像が生成される。ラベル付けされた生体試料20の差分画像のこの系列は、時系列内の画像と次のあるいは逐次の画像を選択することによってなされる。コンピュータ100の画像プロセッサ105は、次のあるいは逐次の画像を比較して、差分画像を生成する。差分画像の生成は、画像のそれぞれにおけるピクセルの強度を比較することによって行うことができる。
差分画像の系列の結果は、画像メモリ110に格納することができる。
時系列における非順次画像が、差分画像を生成するために、互いに比較される、または、微分画像が、最大強度に関して正規化され、(例えば、カールマン)雑音を推定するためのフィルタが使われる、という状況がありえる・ことが、また、理解される。微分画像が正規化されないならば、第1の(より強い)画像の方への固有のバイアスが存在することが理解される。また、ピクセルの合計数にわたって正規化することが可能である。
放射光の強度の個々の揺らぎは、たとえば圧力感知性フォト変換またはフルオロフォア漂白など、主に光物理的イベントに起因する。これらの光物理的イベントは、系列画像の連続したものにおける局所的な減少した強度という結果になる。例えば、増加した局所的な強度、などの個々の揺らぎは、ラベル付けされた生体試料20における、(検出可能なラベルから生じる)蛍光、ショット雑音と染料点滅を量子化するホモ親和性蛍光共鳴エネルギー転移に起因する場合がある。これらの光物理イベントは、ラベル付けされた生体試料20における、個々の分子の蛍光と関係しており、次に、画像の中で個別化された分子の正確な局在化に貢献することができる。
数学的フィルタは、ステップ220で差分画像の系列に適用される。適用される数学的フィルタは、典型的にはより高い空間周波数にたいして濾過することを目的とするハイパスフィルタであり、ステップ215において、フィルタ処理した差分画像を供給するために、生成される差分画像の違いを強調する。これは、差分画像で雑音を減らしているなかで、光漂白のピークの強化という結果になる。
フィルタ処理した差分画像は、ステップ225で、次に合計される。フィルタ処理した差分画像の追加は、表示装置120の上で次に表示することができるか、あるいは、さらに処理することができるラベル付けされた生体試料20の最終画像を生成する。フィルタ処理した差分画像の追加は、以下の方程式によって説明することができる。
ここでI(reconstructed)は、最終の生成画像であり、I(xy)は、時刻t.nにおいて取得された画像のセットのメンバーである。
フィルタリング・ステップについては、以下のトップハット数学的フィルタが、例示的に使用された。
更なる処理の1つの例は、最終画像を、ラベル付けされた生体試料20の三次元画像を生成するために従来の共焦点レーザ走査型顕微鏡法によって生成された画像と結合することである。
本願発明の方法は、既存の顕微鏡に取り込むことができるコンピュータ・プログラム製品によって実行することができる。
以下に記す例において、光漂白が、光物理効果として使われる。他の光物理効果を使うことができ、また、この光物理効果と互いに組み合わせることもできることが理解される。ラベル付けされた生体試料20の全てが、照明される必要があるというわけではないことが、さらに、理解される。照明の任意のパターンを使用することができる。
ラベル付けされた生体試料20に付着されるラベルは、複数であってもよいことが理解される。つまり、従来の技術において知られていているように、ある程度の冗長性がある。例えば、インビトロゲンによって生み出される二次抗体は、5つの複数のフルオロフォアを持つ。したがって、(下で述べるように)5つの潜在的なラベルがある。
複数のラベリングの理由は、光漂白の間に、構造的情報が決定されることである。上で説明されたように、いくつかの画像は、十分な情報を回復するために取得される。複数のラベリング(ラベリングの冗長性)は、最終生成画像I(reconstructed)を生成するのに十分な情報を回復するのに、有益である。
これは、典型的生物学的製剤を考慮する以下の例から理解されることができる。読み出される構造的情報と標準的なラベリングと、表現プロトコルを、考慮することができる。次の例は、下の例で説明されるように、Brpと微小管を用いる。25Brp分子が単一のTバーを形成すると期待される。それは、一次抗体は、それらの抗原を高度な特異性で結びつけていることを意味する。次に、多クローンの二次抗体が使われる。多クローンの二次抗体の複数のものは、一次抗体の単一のものを結びつけることができる。二次抗体は、複数のフルオロフォアでラベル付けされる市販の抗体である。たとえば、インビトロゲン・マニュアルは、免疫グロブリンG Alexa全体抗体複合体は、2−8フルオロフォアを有することを開示する。
したがって、当業者は、ラベルの5つのフルオロフォアは、標準的な二次抗体の妥当な見積であることを理解する。当業者は、異なるフルオロフォアを持つことができるであることを理解するが、5つのフルオロフォアの各々は、典型的には同一である、したがって、Tバーにつき250フルオロフォアと推定される。微細管に対して、およそ13のプロト・フィラメントが、準螺旋形のシリンダー(25nmの幅)を、1回転が4nm長で、形成する。それは、構造的情報は55nm(25nm+二重二次抗体長×2(2*15nm))であることを意味する。それは、およそ13回転で169抗原の結果になる。微細管結合タンパク質のために、抗原のおよそ半分が利用できるならば、およそ840フルオロフォアを期待できる。タンパク質を結合するGFP接合微細管を使用する場合には、84フルオロフォアを期待することができる。以下に記すシミュレーションにおいて、50〜100の間のフルオロフォアが使用された。ラベル付けされた生体試料20が準備される方法から、フルオロフォアのクラスタの仮定が合理的であることが分かる。
[例1.インシリコ・モデル]
ここでの開示の方法は、コンピュータでモデル化され、この方法は、次に、いくつかのシミュレーションされた状況の下でテストされた。16の定期的に配置された蛍光性ラベル付けされた構造のオブジェクトを含んでいるモデルが生成された。16のラベル付けされた構造の各々は、100のフルオロフォアを、最初に含み、Abbe(0.5λ/NA)で定義されるような回折制限の92%の他のものの各々から離れて配置される(Abbe E (1873)Contributions to the theory of the microscope and the microscopic perception.Arch Mikr Anat 9 : 413-468参照)。100のフルオロフォアによるモデリングを正当化する理由は、上で概説される。
16のラベル付けされた構造を含んでいるオブジェクトが、図5aで示すように159.9nmの相互の距離において55ピクセルの一次元配列でモデル化された。そうすると、ラベル付けされた構造の個々のものの間の距離は、回折制限より短い。シミュレーションされた点広がり関数(PSF)は、均一な台地を形成し、したがって、図5aの一次元の配列の上の相対的強度を図示する図5bで示すように、個々のラベル付けされた構造の解像度をじゃまする。PSFは、Nassetほかの結果を使って、数値的に計算された(Nasset MJ & Woehl JC (2010)."Realistic modelling of the illumination point spread functionin confocal scanning optical microscopy".J. Opt. Soc. Am. A 27: 295-302参照)。それらの積分が1に等しいように、PSFの個々のものは正規化された。共焦点照明PSFが単純さのために使用され、100のフルオロフォアが表現された。
フルオロフォアの(この例における光物理イベントである)次の統計漂白イベントは、100の画像の時系列の取得の間に、シミュレーションされる。16のラベル付けされた構造の各々に位置するフルオロフォアの一定の漂白率を仮定する場合には、期間(t、t+τ)内の漂白剤イベントの数の可能性は、ポアソン・プロセスによって説明される。光漂白は、ポアソン分散ランダム数を、出発状態としての100分子においてK=5の場合、期待値が以前の値の0.05倍である出発状態ないし以前の状態から引くことによって、近似される。これは、図5cに示される。第1のフレームに対する漂白イベントの期待数は、5(K=5)であり、5つの異なる走査に対して、各々16ポイントにおいて漂白されたフルオロフォアの数が示される。典型的には、微分画像は、光漂白イベントの統計ピークを示す。そのような不均一性光漂白ピークは、微分画像の中で検出可能な強度の最大という結果になる。光漂白(図5b)の前に、台地状を示した強度プロフィールは、次に、フルオロフォアの統計光漂白イベントにおけるピークと谷(図5c、右辺)を示す。対応する微分画像は、下にある16の個々の点における光漂白イベントに対応する回折限界(光漂白)の最大を表す。100の微分画像の中の個々の(写真−漂白)最大は、10の隣接ピクセルのスライディング最大の検出を使って決定された。微分画像は、トップハット・フィルタを使ってフィルタされ、続いて、ヘヴィサイド階段関数によって、マイナス値がゼロにセットされる。最後に、フィルタ処理した微分画像を合計して、回折制限(図5d)より近くに配置される16ポイントの位置を明らかにする。
本願開示の方法の1つの態様は、微分画像の中で漂白イベントを検出する能力を使用する。漂白率の貢献をテストするために、55本のピクセル配列で画像化された16のラベル付けされた構造のモデルが採用され、非常に低い光漂白率が、シミュレーションされ、(未満のフルオロフォア;(フレームにつき1つのフルオロフォアより少なく、K=0.1、単一フルオロフォア検出アプローチをまねする)徐々に、より多くの漂白剤イベント(K=5とK=100)が同時に起こる。16のラベル付けされた構造は、各々、100のフルオロフォアを有し、光子雑音は、フルオロフォアにつき10000の光子にセットされた。あるいは、代替の実験においては、フルオロフォア(図5g)につき1000の光子にセットされた。一つの例を示すよりはむしろ、状態ごとにシリコ実験において、同じことが、100回繰り返された。平均強度は±SEMを報告した(図5g)。独立した実験は、再現性を支えるごくわずかなバリエーションしか示さなかった(16のピークの平均ピーク高さは、10000の光子、K=5のケースに対して、0.4である、個々のラベル付けされた構造上で、最大SEMで11であった)。
データは、非常に低い光漂白率があまりに小さい非対称が微分画像の中で検出されるので、より高い光漂白率が16ポイントを分解することができず、光子雑音の結果としての劣った解像度という結果になることを示す。したがって、回折制限を越えて構造を分解する方法の能力は、画像化された生体試料20の光漂白率と結合している。この方法が動作する範囲の評価をするために、スパロウ制限(50/50のラベリング密度、10000/1000の光子)の下で設定された所定の距離に対して2つのガウス・プロフィールの分離が、異なる漂白率に対して測定された。図5H(500の繰返しの平均が示される)は、極値は別として、2つの構造は、光漂白率の幅広い範囲において、よく分離されていることを示す。分離の値は、y軸で曲線をシフトして実際の距離から変動することができることに留意する。
本願開示の方法の解像度限界を近似するために、スパロウ基準の下で2つの構造が、2つのガウス・プロフィールを使った上記のシミュレーションと同様に、シミュレーションされた(25/25のラベリング密度、K−2.1、10000の光子)。1.4のNA対物レンズと500nmにおける蛍光放射を考慮し、画像の上で、レーリー基準を適用することにより、(0.61λ/NA、それは、2つの構造の間で20%のディップに対応する)この例における解像度限界は、通常の光学顕微鏡法解像度のおよそ半分であると見積もることができる(218nmではなく107nm)。
より複雑な二次元のテスト画像が、図6に示される。「PIMP」という語がフォト漂白されて、画像化されている。図6の第1の線は、時間上の語(オブジェクト)を示す。語がフォト漂白されて、認識できなくなった。第100番目の画像の強度は、第100番目の画像は、さもなければ事実上見えないので、増加したのであることに留意すべきである。
2本目の線は、その語がどのように共焦顕微鏡で画像化されるかを示す。時間とともに、語がぼやけるのを見ることができる。ここでも、第100番目の画像は、強度が増えている。3本目の線は、微分画像を示す(すなわち第1および第2の画像の微分画像、第9と第10の画像の間の微分画像、第19と第20の画像の間で微分画像、そして、最後に第100と第99の画像の間の(高輝度)微分画像)。3本目の線のこれらの微分画像は、適用されたトップハット・フィルタの非線形の変形を有する(マイナス値は非線形性を導入するためにゼロにとめられた)。使用されたトップハット・フィルタは、最も高い最大を選び出し、そして、また、いかなる第二のピークも考慮する。
最後に、5本目の線は、シーケンシャルなフィルタ処理した微分画像の合計を示す第1の画像(PIMPに1−10とラベルをつけた)の方法の使用を示す(すなわち1−2、2−3、3−4、4−5、5−6、6−7、7−8、8−9、9−10)。同様に、第2の画像(PIMP1−20とラベルをつけた)が、第20番目の画像(2本目の線の上の第3の画像)まで、シーケンシャルなフィルタ処理した微分画像の全てを含む。第3番目の画像(PIMPに1−100とラベルをつけた)は、第100番目の画像(2本目の線の上の第4の画像)まで順次フィルタ処理した微分画像の全てを含む。この例は、本願開示の方法が、たとえ生画像がぼやけるとしても、語に関して情報の回復を可能にすることを示す。
また、たとえば、バンドパス・フィルタリングによって、またはウィーナーフィルタリングなど、画像に関してデータを前処理することも、考えられる、前処理は漂白の可視性を強化することができ、雑音を抑制することができる。
[例2]
図3aは、本願開示に従ってデータが処理される方法の更なる例を表す。この例は、生体試料20として515nmで発光するインビトロゲン(カールズバッド、カリフォルニア)によって供給される40nmのビーズを利用する、系列画像の個々のメンバーは、画像1から最後の画像nまで示され、第1カラムの中にオリジナル走査画像を含み、第2のカラムの中に差分画像を含む。第3のカラムは、フィルタ処理した差分画像を示す。
図3a(nライン)の第4行は、n画像の時系列の終わりに、蛍光画像は見られないことを示す。差分画像(第3のカラム)は、興味領域について何も現さないことが予期される。図3aの第4行の第4のカラムは、(n−1)差分画像の全ての合計を示す。
図3bは、図3aの一番上の線で、矢印で示される線プロフィールのための正規化強度分布を示す。半値全幅(FHMW)は、本願発明によって、従来の共焦点顕微鏡法と比較して減少する。つまり、40nmのビーズは、従来の共焦点顕微鏡法によって観察されるときに、本願発明によって、>160nmと比較して70nmの直径で観察することができることが分かる。
[例3]
微細管は、マウス胎生期線維芽細胞(MEF)で免疫標識され、図4に示される。
図4Aは、共焦点顕微鏡を用いた第1の画像を示し、図4Bは、共焦点顕微鏡を用いて撮られた96のシーケンシャルな系列画像の合計を示す。図4Cは、トップハット・フィルタを使ってフィルタに通される図4Bの画像を示す。一方、図4Dは、この開示の教示を使って得られた画像を示す。
免疫ラベル付けされた微細管の細胞は、共焦点顕微鏡10を用いて、202回走査された。生体試料の進行的な漂白という結果になった(図4F)。画像の個々のものは、微分画像を生成するために互いに引かれ、微分画像の中の最大は、マイナス値の0クリッピングと結合され、トップハット・フィルタを使って強化された。合計されたフィルタ処理した微分画像(図4D)は、ラベル付けされた微細管を、1つのエアリー(Airy)に対応するピンホールを使用して(図4B)、通常の共焦点像取得と比較して、より高い解像度に現した。この方法は、微分画像(図4C、4E)の上で使われる前処理ステップの対象となる共焦点画像よりよく微細管を現す(図4B)。異なる深さの免疫ラベル付けされた微細管の走査は、免疫ラベル付けされた微細管の複雑な三次元細胞小器官組織の分析を可能とする(図4G)。
MEFは、10%FCSを補ったDNEN/F12で成長し、PBSで4%のパラホルムアルデヒドで固定され、直接免疫蛍光法で処理された。MEFの微細管は、α−tubulinに対してmAbを使用し(Sigmaによって供給されたmAb DMIA)、続いてAlexa−568複合化ヤギ抗マウス二次抗体(インビトロゲンによって供給される)を使用して、免疫標識された。MEFの活性のもの(例9)は、メーカーの指示によって、リポフェクタミン2000(インビトロゲンから)とダブルコルチン−GFP(フォームドクターケスター)でトランスフェクションされた。
[例4]
本願開示の方法が、活性領域関連のBruchpilotタンパク質(BRP)に対して免疫標識された、ラベル付けされたシナプス活性領域(いわゆるTバー)の時系列画像を得るために、ショウジョウバエ神経筋接合部(神経筋接合部(NMJ))生体試料に適用された。上記は、「R. J. Kittel他、Science 312, 1051 (19 May 2006)」により知られる。
三齢野生型ショウジョウバエ幼虫が固定され、「Fouquet他、 J. Cell Biol. 186, 129 (13 July 2009)」により以前に記述された免疫染色の処理をされた。野生型とGFPタグ構成を表す変異体を用いた。以下の抗体とGFPタグ構成が使用された:C末端BRPを認識する単クローン抗体NC82(mAb NC82)(Developmental Studies Hybridoma Bank, Iowa);N末端BRPを認識するポリクローナル抗体BRP−N−term(S. Sigrist, FU Berlinから)(Fouquetその他, J. Cell Biol. 186, 129 (13 July 2009));GFPタグ構成UAS−GluRIIA(GAL4ドライバなしのGFPタグ・グルタミン酸塩受容体タイプIIAを表す)(S. Sigrist, FU Berlinから)。二次抗体は、Alexa−488、パシフィックブルーとAlexa−555(インビトロゲンからの蛍光染料)に接合された。使用されたレーザ線は、青励起のための405nm、緑励起のための488nmと赤励起のための561nmであった。
ラベル付けされたシナプスは、小出力の通常の共焦点顕微鏡を用いて300回走査された(150mWのレーザ・モジュールの1%が低い漂白率を供給するために使われた)。使われた顕微鏡は、ニコン(株)、東京、日本からのTI2000倒立顕微鏡の上に搭載されたニコンAI R共焦点ユニットであったこの顕微鏡は、1.40のN. A.によるPlan Apo 60x油浸レンズを備えていた。Plan Apo 60x油浸レンズは、いくつかの収差、視野平面性、色収差に対して修正される対物レンズである。
時系列画像のシーケンシャルなものは、図4で示すように、拡張解像度でBRP点の再構築を可能にするために、引かれた。図4Kは、従来の共焦点レーザ走査型顕微鏡法を使用した結果を示し、図4Lは、本願開示の方法による結果を示す。
本願開示(図4L)による結果がBRP−NC82抗原のリング状外観を示すことが明らかに観測される。従来の技術システムにおいて、BRP−NC82抗原のリング状の外観は、「Kittel 他, Science, 312, 1051 (19 May 2006)」で報告された超解像誘導放射抑制顕微鏡法(STED:Stimulated Emission Depletion)によってのみ視覚化することができた。
さらに、透過型電子顕微鏡(TEM)に視覚化されたTバーのサイズは、本願開示によって、測定した内リング直径と、非常によく合致する(図4M)。透過型電子顕微鏡によって視覚化されたTバーのサイズの比較、および、本願開示を、図4Nに示す。ここで、バーPIMPは、本願開示の結果であり、バーEMは、透過型電子顕微鏡を使っている結果である。生体試料の構造が、図40に示される。解剖した三齢野生型幼虫が、「Kasprowicz et al, J Cell Biol 182, 1007 (8 Sept 2008)」に以前に記載されたように、TEMのために処理された。シナプス・ボタンとTバーの電子顕微鏡写真が、00kVで作動するJEOL2100のEM顕微鏡を用いて、得られた。Tバー・サイズは、3匹の動物からとられた19のTバーの「テーブル・トップ」長として測定された。
本願開示の方法に対して、図4Nで示すTバーの環サイズは、19のTバーの内リング直径として測定された。
[例5]
本願開示の教示を、ナノスコピック・レンジの解像度における多色の画像化に使用することができる。
「W. Fouquet 他, J Cell Biol 186 129 (13 July 2009)」から、BRPは、シナプス後グルタミン酸塩受容体クラスタに対して、Tバー内のクラスタで適応することが知られている。三色方法が、ラベルBRP−NとC末端特異抗体とグルタミン酸塩−レセプター−GFP(例4)と、図4Pおよび4Sで示される隣接ドメインを明確に示すのに用いられた。したがって、複数の色方法は、マクロ分子構造の特別な解像度を可能にする。
図40は、Bruchpilotタンパク質および、シナプスのグルタミン酸塩受容体クラスタの組織のモデルを示す。図40で示すこのモデルは、以前提案され、「W. Fouquet 他, J Cell Biol. 186, 129 (Jul 13, 2009)」の論文に記載されている。しかしながら、「W. Fouquet 他, J Cell Biol. 186, 129 (Jul 13, 2009)」に記載されたセットアップは、1つの超解像度チャンネルだけを有しており、W.フーケほかの教示による結果は、構造を決定するために、長い時間を要した。
図4P、4Qおよび図4Rは、図40に示される特徴の個々の部分の画像を示す。
図4Sに、三色チャンネルのオーバーレイが使用された図4P、4Qおよび4Rで示す特徴の完全な組合せが示される。
図4Pにおいて、Bruchpilotタンパク質のNC82染色が示されれ、図4L、図4Qにおいて、シナプス後側でグルタミン酸塩受容体を示すように、環構造が示される。図4Rは、BRPのN末端側を示す。
図4A−4Gの結果は、本願開示の教示が、三色超解像度測定のために使ることができること、単一の超解像度方法を用いて異なる生体試料を使って考え出されたW.フーケほかによって以前に記述されたモデルを確かめることができることを示す。複数色チャンネルをハイライトする図4P、4Aおよび4Rの結果は、マルチカラー超解像度画像を作るために、本願開示により用いることができ、そしてそれは従来の方法と比較して本願開示の融通性を示す。
[例6]
本願開示は、3次元での複雑な微小管性ネットワークの画像化を可能にする。その結果は、図4A〜4Gに示される。図4Aは、複雑な微小管性ネットワークの共焦点画像を示し、図4Dは、本願開示による、複雑な微小管性ネットワークの画像を示す。図4Aの中のスケールバーは、1μmである(図4A〜4Gにおいても同一値)。図4Dにおいて、本願開示によって、解像度は、従来の技術に比較的に明らかにより大きい。
図4Gも、本願開示の方法を用いて、従来の共焦点レーザ走査型顕微鏡によって生成された画像と、本願開示によって生成される画像を組み合わせることよる、三次元画像の生成を図示する。三次元画像が図4Gに示され、3−D−PIMPとして参照される。
MEF細胞は、10%のウシ胎仔血清(FCS)を補ったDMEM/F12の細胞培養培地で成長し、リン酸緩衝液(PBS)で、4%のパラホルムアルデヒドで固定された。次に、これは、間接蛍光抗体法で処理された。MEF細胞の微小管は、α−tubulin(mAb DMIA、Sigma)に対して単クローン抗体(mAb)、続いて、Alexa−568複合化ヤギ抗マウス二次抗体(インビトロゲン)を用いて免疫標識された。RPE細胞は、蛋白REPlp、GM130、GMAP210に対してトリプル免疫染色された。内因性RERlpは、主に、中間コンパートメント(IC)に存在し、(「Spasic 他, J Cell Biol 176, 629 (2007)」)GM130とGMAP210の両方は、シス・ゴルジの異なったサブドメインに局所化される(「Cardenas 他, BMC Biol. 7, 56 (2009)」)。GM130とポリクローナル抗体GMAP210に対する単クローン抗体は、「Biosciences」と「Cardenas他」グループによって、それぞれ供給された。純化されたRERlpポリクローナル抗体(「Spasic 他, J Cell Biol. 176, 629 (2007)」)は、メーカーの説明によると、Alexafluor−555(Zenon, Pierce)に直接接合された。GM130とGMAP210は、ヤギ反ウサギと抗マウス二次抗体(インビトロゲン)をそれぞれ接合したAlexa−488とAlexa−647を用いてラベル付けされた。
[例7]
本願開示は、図4Tを参照して見られるように決定するために、始原海馬ニューロンのポスト−シナプス部位からプレ・シナプス部位の区別と解像度を可能にする。また、本願開示の教示もまた、図4Uに参照して見られるように、並設された中間のコンパートメントとRPE細胞のシス・ゴルジ槽の区別と解像度を可能にする。本願開示発明による結果は、図において「PIMP」として参照され、従来の技術の図では、「共焦点」として参照される。本願開示による図は、従来の技術の教えにしたがって、生成された図より、より大きな解像度を持つことは、明らかである。RPE細胞は、10%のウシ胎仔血清(FCS)を補ったDMEM/F12の細胞培養培地で成長した。リン酸緩衝液(PBS)で、4%のパラホルムアルデヒドで固定された。
始原海馬ニューロンは、胎生期日17ネズミ胚に由来し(生体外(DIV)の17日)、完全に区別される(21のDIV)まで、膠フィーダー層のもとで培養された。固定ニューロンのシナプスは、ポスト−シナプスタンパク質PSD95(ポリクローナル抗体(pAb)B102、インビトロゲン)とシナプス前シナプトフィジン(Syn)(クローンSVP38(Sigma)から生じたmAb)に対して抗体で免疫標識され、Alexa−488、Alexa−568接合ヤギ反ウサギ・マウス二次抗体を用いて視覚化された。蛍光DAPI核酸着色(4′、6−ジアミジノ−2−フェニルインドール)が、核を染色するのに用いられた。
[例8]
ゆっくり進行するプロセスをライブでの画像化(フレーム:分)のために、GFPにタグを付けられたダブルコルチン(DCX)、MEFs(図4H〜4J)のニューロン微細管結合タンパク質をもう一度表すことによって、本願開示の方法が使用された。25秒にわたる0.5Hzの微分画像が生成され、1つの時点に、50画像を割り当てた。この時点内において、ミクロ細管を結びつけているフルオロフォアの全てが漂白されたわけではなく、おそらく、続くの時点において、50の画像(いわゆるFRAP効果)の漂白系列を生成するために使用することができるフルオロフォアの新しいものが、組み込まれた。このように、時間分解能が分の範囲であるが、微細管の成長をモニターすることがライブで、本願開示の方法を用いたナノスコピック解像度であることは、まだ可能である。達成できる時間分解能は、主に描画速度と画像を再構築するために必要な微分画像の数に依存している。しかしながら、PALM画像化とは異なり、再構築のために必要とされる画像の数は非常に少ない。
[例9]
前記の例は、高いNAレンズ付きの共焦顕微鏡10を用いた、この開示の方法を図示した。ショウジョウバエ神経筋接合部(NMJ)のシナプス・ボタンにおける後シナプス・マーカ・シンダピンが、異なる対物レンズを用いた広視野システムで、画像化された。図7Aでは、0.45NA20xレンズが使用された。個々のボタンの広視野画像は、場構造として現れる。同じ対物レンズとカメラを使用して、同一領域を多数回画像化し、この開示の教示によってデータを処理することで、シナプス領域の論文を可能にする解像度の増加を現した(図7A〜7C)。
1.4NA 100xレンズが、また、用いられ(図7E)、シンダピンのラベルが付いた神経筋接合部(NMJ)の広視野画像が得られた。これらの状況の下の画像化は、シンダピン・ラベルの後シナプス蓄積を明らかにする。この開示の教示による例の広視野画像の処理は、シンダピン・ラベルは、DLG/PSD 95を含む他のシナプス後性局所化蛋白と同類の並べて置かれたシナプス側の別々の焦点に集中することを示す(図7F)。これらの所見は、共焦点顕微鏡法を使って確かめられた(図7G、7H)。
[例10]
ここで開示した方法は、外科的なセッティングで使われる稼動中の顕微鏡に取り込むことができる。そのような稼動中の顕微鏡は、典型的には、殺菌することが可能で、患者と実質的に直接に接するように配置可能でありえるコンポーネントを含む。患者の関心領域の生物組織は、フルオロフォアのラベルで染めることができ、着色された生物組織は、レーザ光線で照明される。
外科医は、モニターで生物組織を見ることができ、取り除かれる必要がある不健康な生物組織を取り除くことができる。一方、実質的に、除去される必要はない健康な組織を保つことができる。例えば、エミッタで腫瘍にラベルをつけることが、できる。健康な組織を保ちつつ、外科医はガン組織を取り出すことができる。
[画像化]
図7A−Fで得られる画像以外のすべての画像化は、Ti2000の倒立顕微鏡(ニコン株式会社、東京)に搭載されたNIKON AIR共焦点ユニットを使って実行された。この顕微鏡は、Plan Apo 60x液浸レンズ(NA 1.40)を備えていた。0.1μm小球体(ビーズ)は、ニコン1.4のNA油浸レンズを備えたRadiance2100共焦点顕微鏡を用いて、画像化された。図7A−Dにおいて、0.45のNA 20xレンズ付きの広視野システムが使用された(IN Cell Analyzer、GE Healthcare)。図7E−Fにおいて、63×1.4のNA油浸レンズを備えているツァイス直立部分顕微鏡が使用された。Qimaging QICAMカメラ(サリー、BC、カナダ)および、シャッターは、μManagerソフトウェアにより駆動された。サンプルは、表1にリストされる画像化状況を使って、シーケンシャルに画像化された。
画像化状況と抗体希釈レーザ強度は、オフル(Ophir Optronics, Jerusalem)ノバ・レーザ・パワーメータを使って測定された。
本願発明の種々の実施形態が上で記述されるが、それらは例証として紹介されているのみであり、それらは制限でないことを理解すべきである。発明の要旨を逸脱しない範囲で、形態および細部の種々の変化は、その範囲でなされることができることは当業者にとって明らかである。
特許によって保護の望むことは、以下の特許請求の範囲において述べられる。
10 顕微鏡
20 生体試料
30 対物レンズ
40 ビーム分離器
50 開口
60 光ソース
65 光
70 第2の開口
80 光検出デバイス
100 コンピュータ
105 画像プロセッサ
110 画像メモリ
120 ディスプレイ・デバイス
200 生体試料を照明
205 画像を生成
210 画像化を繰り返す
215 差分画像を生成
220 フィルタを適用
225 最終画像を生成
230 三次元画像を生成

Claims (15)

  1. ラベル付けされた生体試料(20)を、該生体試料の放射光の変動する強度を用いて画像化する方法であって、
    励起光源(60)から放射される光(65)により、ラベル付けされた生体試料(20)の関心領域部分を照明する(200)ステップと、
    前記ラベル付けされた生体試料(20)から、散乱し、反射し、蛍光する光を、繰り返し集光し、それによって、前記生体試料の前記関心領域部分の時系列画像を生成する(205、210)ステップであって、該時系列画像の画像は放射光の変動する強度を有する、ステップと、
    複数の差分画像を生成するステップであって、各差分画像が、前記時系列画像の後期メンバーと前記時系列画像の初期のメンバーとの間の前記時系列画像における2つの画像を選択し、該後期のものから、該初期のもののピクセル強度を引くことにより生成される、ステップと、
    最終画像を生成するために前記複数の差分画像をフィルタ処理し、続いて、和をとるステップと、を含む方法。
  2. 前記フィルタ処理に用いるフィルタは、ハイパス・フィルタ、トップハット・フィルタまたはメキシカンハット・フィルタのうちの1つである、請求項1に記載の方法。
  3. 前記照明は、レーザー照射によって提供される、請求項1または2に記載の方法。
  4. 前記ラベル付けされた生体試料(20)は、フルオロフォアでラベル付けされている、請求項1ないし3のいずれか1項に記載の方法。
  5. 前記時系列画像のメンバーの1つを生成するために、ラベル付けされた生体試料(20)をスキャンするステップを更に含む請求項1ないし4のいずれか1項に記載の方法。
  6. 前記複数の差分画像の前記生成するステップ(215)は、前記時系列画像のシーケンシャルなメンバーの間で前記差分画像を生成するステップを含む、請求項1ないし5のいずれか1項に記載の方法。
  7. 合成三次元画像を生成するために、前記最終画像をラベル付けされた生体試料の三次元画像と結合する(230)ステップを更に含む請求項1ないし6のいずれか1項に記載の方法。
  8. ラベル付けされた生体試料(20)を、該生体試料の放射光の変動する強度を用いて画像化するための装置(10)であって、
    前記ラベル付けされた生体試料(20)の関心領域部分を照明するための励起光源(60)と、
    前記ラベル付けされた生体試料(20)から、散乱し、反射し、蛍光する光を、繰り返し集光し、それによって、前記生体試料の前記関心領域部分の時系列画像を生成する検出デバイス(80)であって、該時系列画像の画像は放射光の変動する強度を有する、検出デバイス(80)と、
    前記検出デバイス(80)によって生成される時系列画像のメンバーを保存するための画像メモリ(110)と、
    複数の差分画像であって、各差分画像が、前記時系列画像の後期メンバーと前記時系列画像の初期のメンバーとの間の前記時系列画像における2つの画像を選択し、該後期のものから、該初期のもののピクセル強度を引くことにより生成される、複数の差分画像を生成し、最終画像を生成するために前記複数の差分画像をフィルタ処理し、続いて、和をとる画像プロセッサ(105)と、
    を備える、装置。
  9. 前記励起光源(60)は、走査型レーザーである、請求項8に記載の装置。
  10. 前記検出デバイス(80)は、電荷結合素子である、請求項8ないし9のいずれか1項に記載の装置。
  11. 前記ラベル付けされた生体試料(20)からの放射線は、蛍光放射線である、請求項8ないし10のいずれか1項に記載の装置。
  12. 前記画像プロセッサ(105)は、前記差分画像にフィルタを適用するのに適応している、請求項8ないし10のいずれか1項に記載の装置。
  13. 前記最終像を表示するための表示装置(120)を更に備える請求項8ないし12のいずれか1項に記載の装置。
  14. 顕微鏡に、請求項1ないし7のいずれか1項に記載の方法による、ラベル付けされた生体試料(20)の画像化のための方法を実行させるコンピュータ・プログラム。
  15. ラベル付けされた生体試料を形成するためにラベルで腫瘍細胞にラベル付けするステップと、
    請求項1ないし7のいずれか1項に記載の方法にしたがって、ラベル付けされた生体試料を画像化するステップであって、それによって腫瘍細胞を識別する、ステップと、
    を含む、腫瘍細胞の識別のための方法。
JP2013506667A 2010-04-28 2011-04-28 ラベル付けされた生体試料の画像化のための方法と装置 Expired - Fee Related JP5969463B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
GB1007055.5 2010-04-28
GBGB1007055.5A GB201007055D0 (en) 2010-04-28 2010-04-28 Method and apparatus for the imaging of a labelled sample
PCT/EP2011/056784 WO2011135049A1 (en) 2010-04-28 2011-04-28 Method and apparatus for the imaging of a labelled biological sample

Publications (3)

Publication Number Publication Date
JP2013531221A JP2013531221A (ja) 2013-08-01
JP2013531221A5 JP2013531221A5 (ja) 2014-06-05
JP5969463B2 true JP5969463B2 (ja) 2016-08-17

Family

ID=42270933

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013506667A Expired - Fee Related JP5969463B2 (ja) 2010-04-28 2011-04-28 ラベル付けされた生体試料の画像化のための方法と装置

Country Status (5)

Country Link
US (1) US9569828B2 (ja)
EP (1) EP2564257A1 (ja)
JP (1) JP5969463B2 (ja)
GB (1) GB201007055D0 (ja)
WO (1) WO2011135049A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220026476A (ko) * 2020-08-25 2022-03-04 한국과학기술원 반복색분리를 통한 분자 다중 이미징 방법 및 장치
US20220343465A1 (en) * 2018-01-25 2022-10-27 King Abdullah University Of Science And Technology Deep-learning based structure reconstruction method and apparatus

Families Citing this family (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102011077269A1 (de) * 2011-06-09 2012-12-13 Carl Zeiss Microimaging Gmbh Hochauflösende Lumineszenzmikroskopie
JP5714997B2 (ja) * 2011-07-14 2015-05-07 オリンパス株式会社 蛍光顕微鏡装置
JP6389763B2 (ja) * 2012-03-02 2018-09-12 ザ リージェンツ オブ ザ ユニヴァーシティー オブ カリフォルニアThe Regents Of The University Of California 時間分解蛍光画像化およびパルス成形のためのシステムおよび方法
DE102012205032A1 (de) * 2012-03-28 2013-10-02 Carl Zeiss Microscopy Gmbh Hochauflösende Fluoreszenzmikroskopie
JP6335160B2 (ja) * 2012-04-13 2018-05-30 バイオアキシアル エスエーエス 光学測定方法および光学測定装置
US9921156B2 (en) * 2013-02-04 2018-03-20 The General Hospital Corporation System and method for fluorescence detection
US9570487B2 (en) * 2013-02-11 2017-02-14 The United States of America, Naval Undersea Warfare Center Optical output photodetector
DE102014102425B4 (de) 2014-02-25 2018-06-28 Carl Zeiss Meditec Ag Mikroskopsystem und Mikroskopieverfahren unter Verwendung digitaler Marker
JP6355961B2 (ja) * 2014-04-30 2018-07-11 オリンパス株式会社 標本観察装置
EP3273285A4 (en) * 2015-03-18 2018-11-21 National Tsing Hua University Optical system for high-speed three-dimensional imaging
US10802262B2 (en) * 2015-10-29 2020-10-13 The Board Of Trustees Of The Leland Stanford Junior University Methods and systems for imaging a biological sample
JP6635125B2 (ja) * 2015-11-27 2020-01-22 株式会社ニコン 顕微鏡、観察方法、及び画像処理プログラム
DE102015016353A1 (de) 2015-12-16 2017-06-22 Horst Wochnowski PALM-Verfahren mit mehreren sich nur marginal voneinander unterscheidenden Fluorophoren
US10748283B2 (en) * 2015-12-24 2020-08-18 Konica Minolta, Inc. Image processing device and program
CA3032089A1 (en) * 2016-08-03 2018-02-08 Royal Melbourne Institute Of Technology A method for distinguishing between more than one fluorescent species present in a sample
CN107144951B (zh) * 2017-06-30 2023-03-21 中国计量大学 一种基于半球微结构的超分辨显微装置
JP7228917B2 (ja) 2018-01-02 2023-02-27 キングス カレッジ ロンドン 局在化顕微鏡法のための方法及びシステム
DE102018210606A1 (de) * 2018-06-28 2020-01-02 Carl Zeiss Microscopy Gmbh Mikroskopisches Abbildungsverfahren unter Verwendung eines Korrekturfaktors
US10724956B1 (en) * 2019-02-01 2020-07-28 Essen Instruments, Inc. Spectral unmixing
CN111913293B (zh) * 2019-12-12 2022-04-05 南开大学 一种荧光激发光谱超分辨显微系统和方法
EP3961194B1 (en) * 2020-08-25 2023-11-08 Korea Advanced Institute of Science and Technology Method and apparatus for multiplexed imaging of biomolecules through iterative unmixing of fluorophore signals
DE102022131448A1 (de) 2022-11-28 2024-05-29 Carl Zeiss Microscopy Gmbh Verfahren und Vorrichtung zum Aufbereiten von Daten zum Identifizieren von Analyten
DE102022131444A1 (de) 2022-11-28 2024-05-29 Carl Zeiss Microscopy Gmbh Verfahren zum Identifizieren von Analyten in einer Bildfolge
DE102022131447A1 (de) 2022-11-28 2024-05-29 Carl Zeiss Microscopy Gmbh Verfahren und Vorrichtung zum Aufbereiten von Daten zum Identifizieren von Analyten
DE102022131449A1 (de) 2022-11-28 2024-05-29 Carl Zeiss Microscopy Gmbh Verfahren und Vorrichtung zum Aufbereiten von Daten zum Identifizieren von Analyten
DE102022131451A1 (de) 2022-11-28 2024-05-29 Carl Zeiss Microscopy Gmbh Verfahren und Vorrichtung zum Bestimmen einer Signal-Zusammensetzung von Signalfolgen einer Bildfolge
DE102022131445A1 (de) 2022-11-28 2024-05-29 Carl Zeiss Microscopy Gmbh Verfahren und Vorrichtung zum Aufbereiten von Daten zum Identifizieren von Analyten
DE102022131450A1 (de) 2022-11-28 2024-05-29 Carl Zeiss Microscopy Gmbh Verfahren und Vorrichtung zum Aufbereiten von Daten zum Identifizieren von Analyten
DE102022131446A1 (de) 2022-11-28 2024-05-29 Carl Zeiss Microscopy Gmbh Verfahren und Vorrichtung zum Aufbereiten von Daten zum Identifizieren von Analyten

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3242372A (en) 1962-05-31 1966-03-22 Sylvania Electric Prod Incandescent lamp containing iodine, oxygen and inert gas
US4542459A (en) 1982-11-26 1985-09-17 General Electric Company Matched filter for x-ray hybrid subtraction
US6061476A (en) 1997-11-24 2000-05-09 Cognex Corporation Method and apparatus using image subtraction and dynamic thresholding
DE19908883A1 (de) * 1999-03-02 2000-09-07 Rainer Heintzmann Verfahren zur Erhöhung der Auflösung optischer Abbildung
JP2000325295A (ja) * 1999-05-21 2000-11-28 Fuji Photo Film Co Ltd 蛍光診断情報出力方法および装置
JP2001299676A (ja) * 2000-04-25 2001-10-30 Fuji Photo Film Co Ltd センチネルリンパ節検出方法および検出システム
JP4545337B2 (ja) * 2001-03-23 2010-09-15 オリンパス株式会社 顕微鏡
JP2004184379A (ja) * 2002-12-06 2004-07-02 Mitsubishi Rayon Co Ltd マイクロアレイの読取方法
US7262419B2 (en) * 2004-05-05 2007-08-28 1192062 Alberta Ltd. Fluorescence absorption microscopy
JP4339746B2 (ja) * 2004-05-17 2009-10-07 オリンパス株式会社 蛍光検出装置の励起光照射タイミングの決定方法
JP5028008B2 (ja) * 2004-12-08 2012-09-19 オリンパス株式会社 蛍光内視鏡装置
EP2453239B1 (en) * 2005-05-23 2017-04-26 Harald F. Hess Optical microscopy with transformable optical labels
US20070057211A1 (en) * 2005-05-25 2007-03-15 Karsten Bahlman Multifocal imaging systems and method
WO2007009812A1 (de) 2005-07-22 2007-01-25 Carl Zeiss Microimaging Gmbh Auflösungsgesteigerte lumineszenz-mikroskopie
JP2007222073A (ja) * 2006-02-23 2007-09-06 Yamaguchi Univ 画像処理により細胞運動特性を評価する方法、そのための画像処理装置及び画像処理プログラム
US7772569B2 (en) * 2008-04-01 2010-08-10 The Jackson Laboratory 3D biplane microscopy
GB0814297D0 (en) * 2008-08-05 2008-09-10 Ge Healthcare Uk Ltd Microscopy

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220343465A1 (en) * 2018-01-25 2022-10-27 King Abdullah University Of Science And Technology Deep-learning based structure reconstruction method and apparatus
US11836895B2 (en) * 2018-01-25 2023-12-05 King Abdullah University Of Science And Technology Deep-learning based structure reconstruction method and apparatus
KR20220026476A (ko) * 2020-08-25 2022-03-04 한국과학기술원 반복색분리를 통한 분자 다중 이미징 방법 및 장치
KR102655200B1 (ko) 2020-08-25 2024-04-08 한국과학기술원 반복색분리를 통한 분자 다중 이미징 방법 및 장치

Also Published As

Publication number Publication date
US9569828B2 (en) 2017-02-14
EP2564257A1 (en) 2013-03-06
WO2011135049A1 (en) 2011-11-03
JP2013531221A (ja) 2013-08-01
GB201007055D0 (en) 2010-06-09
US20140118524A1 (en) 2014-05-01

Similar Documents

Publication Publication Date Title
JP5969463B2 (ja) ラベル付けされた生体試料の画像化のための方法と装置
Wu et al. Iterative tomography with digital adaptive optics permits hour-long intravital observation of 3D subcellular dynamics at millisecond scale
Rodríguez et al. Adaptive optical microscopy for neurobiology
Quirin et al. Simultaneous imaging of neural activity in three dimensions
Grewe et al. Optical probing of neuronal ensemble activity
Cooper et al. Confocal microscopic analysis of morphogenetic movements
CN109923401B (zh) 高光谱成像系统
Silvestri et al. Correlative two-photon and light sheet microscopy
Kumar et al. Using stage-and slit-scanning to improve contrast and optical sectioning in dual-view inverted light sheet microscopy (diSPIM)
Amor et al. Widefield two-photon excitation without scanning: Live cell microscopy with high time resolution and low photo-bleaching
Chalmers et al. Flicker-assisted localization microscopy reveals altered mitochondrial architecture in hypertension
Chen et al. High-resolution two-photon transcranial imaging of brain using direct wavefront sensing
Owen et al. Super-resolution imaging by localization microscopy
Lemmens et al. Advanced microscopy techniques for quantitative analysis in neuromorphology and neuropathology research: current status and requirements for the future
Velicky et al. Saturated reconstruction of living brain tissue
WO2016126250A1 (en) Particle tracking using spatiotemporal offset light beams
Truong et al. Selective volume illumination microscopy offers synchronous volumetric imaging with high contrast
Yang et al. New bone formation and microstructure assessed by combination of confocal laser scanning microscopy and differential interference contrast microscopy
Huang et al. All-optical volumetric physiology for connectomics in dense neuronal structures
Tao et al. Ultrastructural analysis of neuronal synapses using state-of-the-art nano-imaging techniques
Li et al. Real-time denoising of fluorescence time-lapse imaging enables high-sensitivity observations of biological dynamics beyond the shot-noise limit
Löschberger et al. Super-resolution imaging by dual iterative structured illumination microscopy
MacGillavry et al. Single‐Molecule Tracking Photoactivated Localization Microscopy to Map Nano‐Scale Structure and Dynamics in Living Spines
Descamps et al. A qualitative comparison of 3D visualization in Xenopus laevis using a traditional method and a non-destructive method
Ishikawa et al. Functional Multiple-Spine Calcium Imaging from Brain Slices

Legal Events

Date Code Title Description
A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140416

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20140416

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20150130

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150217

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150518

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150818

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20151117

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160202

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160322

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160406

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160518

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160607

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20160707

R150 Certificate of patent or registration of utility model

Ref document number: 5969463

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees