JP6359819B2 - 蛍光イメージング装置 - Google Patents

蛍光イメージング装置 Download PDF

Info

Publication number
JP6359819B2
JP6359819B2 JP2013224399A JP2013224399A JP6359819B2 JP 6359819 B2 JP6359819 B2 JP 6359819B2 JP 2013224399 A JP2013224399 A JP 2013224399A JP 2013224399 A JP2013224399 A JP 2013224399A JP 6359819 B2 JP6359819 B2 JP 6359819B2
Authority
JP
Japan
Prior art keywords
fluorescence
phase
image
pixel
fluorescent
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2013224399A
Other languages
English (en)
Other versions
JP2015087171A (ja
Inventor
尚宜 高本
尚宜 高本
光人 間瀬
光人 間瀬
與儀 修
修 與儀
厳 建部
厳 建部
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hamamatsu Photonics KK
Original Assignee
Hamamatsu Photonics KK
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hamamatsu Photonics KK filed Critical Hamamatsu Photonics KK
Priority to JP2013224399A priority Critical patent/JP6359819B2/ja
Publication of JP2015087171A publication Critical patent/JP2015087171A/ja
Application granted granted Critical
Publication of JP6359819B2 publication Critical patent/JP6359819B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)

Description

本発明は、蛍光イメージング装置に関するものである。
一般に、イメージセンサで取得した画像に基づいて3次元画像を構築する手法として、視差を利用する場合が多い。この手法は、2台のカメラを利用し、両カメラの間の視差を基準に画像再構築が行われる。しかしながら、この手法を蛍光イメージングに適用する場合、高感度化のイメージセンサを用いる必要があり、コストの増加につながる。また、カメラの位置を移動しながら撮像して3次元画像を構築する手段も有るが、この手法は、メカニカルな機構を必要とするので、コストの増加となる。一方、蛍光イメージングでは、共焦点レーザ顕微鏡を用いた光学断層像から3次元蛍光イメージングを行う例が多数報告されているが、この技術は、装置が大掛かりであり、価格が高いなどの問題がある。
安価に3次元蛍光イメージングを行うことができる装置が望まれている。3次元イメージングを安価に行うためには、安価な光源や固体イメージセンサを組み合わせて装置を構築することが重要である。例えば、ロックインイメージセンサ技術を用いたTOF(Time of Flight)方式のセンサによる3次元イメージング(距離イメージング)が好適である。この距離イメージングを行うことができる素子として、例えば、浜松ホトニクス株式会社製の2次元距離画像センサS11962(X)、S11963(X)等が実用化されている。
この距離イメージセンサを用いた蛍光寿命イメージングの手法として、周波数ドメイン法では特許文献1に開示された発明が知られており、時間ドメイン法では特許文献2に開示された発明が知られている。また、固体イメージセンサにおいて変調光と同期して蛍光を検出する技術は、非特許文献1にて発表されており、ロックインイメージセンサ技術が提唱されている。しかしながら、これは、2次元蛍光画像を取得するものであり、距離イメージングの機能を有していない。
特許文献3の図15に周波数ドメイン法を用いた蛍光イメージングの例が記載されているが、これは、蛍光造影剤の2次元的な分布の取得に留まっており、3次元的な情報を取り出す仕組みとはなっていない。また、FLIM(蛍光寿命イメージング顕微鏡法)の応用として、レーザ顕微鏡において2光子吸収を用いて時間相関光子計数を行う技術が非特許文献2に記載されているが、この文献には距離を識別する手順の記載はない。
米国特許第7508505号明細書 特開2008−103647号公報 特表2000−500228号公報
T. Spirig, P. Seitz, O. Vietze,and F. Heitger, "The Lock-In CCD Two-DimensionalSynchronous Detection of Light," IEEE Journal QuantumElectronics, Vol.31, No.9, pp1705-1708, September 1995. Stringari C, Cinquin A, CinquinO, Digman MA, Donovan PJ, and Gratton E (2011) Phasor approach tofluorescence lifetime microscopy distinguishes different metabolic states ofgerm cells in a live tissue. Proc Natl Acad Sci USA 108:13582-13587.
本発明は、上記問題点を解消する為になされたものであり、対象物に含まれる蛍光成分を判別するとともに距離情報を求めることができ安価かつ簡易な蛍光イメージング装置を提供することを目的とする。
本発明の蛍光イメージング装置は、周波数ドメイン法における位相シフト法を用いて蛍光イメージングを行う装置であって、(1) 単一の周波数fで時間的に強度変調された励起光を対象物に照射する励起部と、(2) 励起部による励起光照射によって対象物で発生した蛍光の画像を周波数fで同期して撮像する撮像部と、(3) 撮像部により撮像された蛍光画像の各画素について蛍光強度変化の変調度mおよび位相θを求め、蛍光画像中の基準点に対応する特定画素に対する他の画素の位相θの差を求めて、蛍光画像の各画素について蛍光成分の判別を行い基準点からの相対的距離情報を求める解析部と、を備えることを特徴とする。
本発明の蛍光イメージング装置では、解析部が、x=m・cosθ,y=m・sinθ としたときのxy平面であるmθプロットにおいて、特定画素について、xy位置に基づいて周波数fにおける蛍光成分の蛍光寿命τを求め、変調度mおよび位相θに対応する点を原点(0,0)の周りに中心(0.5,0)で半径0.5の円弧上に達するまで回転させて位相θを補正し、特定画素以外の他の画素について、特定画素と同じ位相θの補正をした後、特定画素との位相θの差に基づいて相対的距離情報を求めるのが好適である。
本発明の蛍光イメージング装置では、蛍光画像において複数の蛍光成分が存在する場合に、解析部が、x=m・cosθ,y=m・sinθ としたときのxy平面であるmθプロットにおいて、特定画素について、xy位置に基づいて周波数fにおける複数の蛍光成分それぞれの蛍光寿命τを求め、変調度mおよび位相θに対応する点を原点(0,0)の周りに特定の既知のmθ位置に達するまで回転させて位相θを補正し、複数の蛍光成分を個々に分離して、特定画素以外の他の画素について、特定画素と同じ位相θの補正をした後、特定画素との位相θの差に基づいて相対的距離情報を求めるのが好適である。特定の既知のmθ位置は、中心(0.5,0)で半径0.5の円弧上の位置であってもよいし、該円弧上の既知の2つのmθ点を結ぶ弦上の位置であってもよい。また、特定画素は、単一の蛍光成分を有する画素であってもよいし、任意の点に対応する画素であってもよい。
本発明によれば、安価かつ簡易な構成で、対象物に含まれる蛍光成分を判別するとともに距離情報を求めることができる。
本実施形態の蛍光イメージング装置1の構成を示す図である。 他の実施形態の蛍光イメージング装置2の構成を示す図である。 周波数ドメイン法により蛍光寿命を計測する際の一般的な手順を示すフローチャートである。 図3中の励起光像の取得(ステップS10)および蛍光像の取得(ステップS12)の手順を示すフローチャートである。 図3中の励起光の変調度mexおよび位相θexの算出(ステップS11)ならびに蛍光の変調度mflおよび位相θflの算出(ステップS13)の手順を示すフローチャートである。 蛍光強度(DC成分)の画像を示す図である。 励起光強度(DC成分)の画像を示す図である。 蛍光の真の変調度mの画像を示す図である。 蛍光の真の位相θの画像を示す図である。 mθプロットの2次元ヒストグラムを示す図である。 励起光強度(DC成分)の画像を示す図である。 距離画像を示す図である。 3次元蛍光イメージングの手順を示すフローチャートである。 図13中の装置関数の取得(ステップS40)の手順を示すフローチャートである。 試料を傾斜させたときに得られた蛍光強度(DC成分)の画像を示す図である。 装置関数で補正した周波数応答を示すmθプロットの2次元ヒストグラムを示す図である。 距離画像を示す図である。 図17中の中心位置(基準点)を含む水平ライン上の距離分布を示す図である。 蛍光プローブが2成分以上であって特に各画素において蛍光成分が単一である場合のmθプロットを示す図である。 蛍光プローブが2成分であって各画素において蛍光成分が2つ存在する場合のmθプロットを示す図である。
以下、添付図面を参照して、本発明を実施するための形態を詳細に説明する。なお、図面の説明において同一の要素には同一の符号を付し、重複する説明を省略する。
図1は、本実施形態の蛍光イメージング装置1の構成を示す図である。蛍光イメージング装置1は、励起部10、レンズ11、励起フィルタ12、撮像部20、レンズ21、バリヤフィルタ22、解析部30およびダイクロイックミラー40を備え、対象物50の蛍光画像を取得して、該蛍光画像の各画素について蛍光成分の判別を行い相対的距離情報を求めることができる。
励起部10は、対象物50に照射すべき励起光を出力する。この励起光は、対象物50に含まれる蛍光成分を励起し得る波長であって、周波数fで強度変調された光である。励起部10から出力された励起光は、投影用のレンズ11および励起フィルタ12を経て、ダイクロイックミラー40で反射されて、対象物90に照射される。励起光照射によって対象物90で発生した蛍光は、ダイクロイックミラー40を透過し、バリヤフィルタ22および撮像用のレンズ21を経て撮像部20により受光される。撮像部20は、励起光照射によって対象物90で発生した蛍光の画像を周波数fで同期して撮像する。
解析部30は、撮像部20により撮像された蛍光画像の各画素について蛍光強度変化の変調度mおよび位相θを求め、蛍光画像中の基準点に対応する特定画素に対する他の画素の変調度mおよび位相θの差を検出し、その検出結果に基づいて、蛍光画像の各画素について蛍光成分の判別を行い基準点からの相対的距離情報を求める。
例えば、撮像部20は、浜松ホトニクス株式会社製の2次元距離画像センサS11962(X)、S11963(X)またはS11962に列ゲインアンプを組み込んだ構成を有する。このセンサは、CCDと同様な構造が1画素毎にCMOSプロセスで作製されたものであって、2つの電荷蓄積領域を有し、ゲート電極動作により高速電荷転送(例えばf=50MHz)が可能である。また、このセンサは、構造的には2tap型のロックインイメージセンサの形態であり、読み出し時における受光部の電荷をリセットするためのゲート電極動作機能も有することで、高効率・高精度な光検出が可能である。
例えば、励起部10は発光ダイオードを含む構成を有する。蛍光成分がAlexaFluorR 488の蛍光色素である場合、励起部10は青色発光ダイオードを含む。また、この場合、ダイクロイックミラー40は中心波長が505nmであり、励起フィルタ12は透過帯域450〜490nmのバンドパスフィルタであり、バリヤフィルタ22はカットオフ波長520nmのロングパスフィルタである。
蛍光イメージング装置1は、励起光像および蛍光像を個別に取得することができる。すなわち、蛍光像は、上述した構成により取得することができる。一方、励起光像を取得する際には、対象物90をミラーまたは拡散板に交換し、ダイクロイックミラー40をハーフミラーに交換するとともに、バリヤフィルタ22をNDフィルタおよびバンドパスフィルタ(透過帯域450〜490nm)の組み合わせに交換することにより、励起光像を取得することができる。解析部30は、励起光画像に基づいて励起光の周波数応答である変調度と位相を求め、蛍光画像に基づいて蛍光の周波数応答である変調度と位相を求め、これらに基づいて所要の解析を行って、光画像の各画素について蛍光成分の判別を行い相対的距離情報を求める。
図2は、他の実施形態の蛍光イメージング装置2の構成を示す図である。この蛍光イメージング装置2は、ダイクロイックミラーを備えていない。励起部10から対象物90への励起光の光路と、対象物90から撮像部20への蛍光の光路とは、別個のものとなっている。この蛍光イメージング装置2は、ダイクロイックミラーを必要としないので、イメージ伝送が可能な光ファイバを用いたシステムとすることができる。
次に、蛍光イメージング装置を用いた周波数応答計測について説明する。撮像部20に含まれる2tap型ロックインイメージセンサから周波数fのデジタル信号が出力されており、この信号を用いて励起部10は周波数fで直接強度変調した励起光を出力する。例えば、撮像部20から出力される周波数fのデジタル信号をバンドパスフィルタ(中心周波数f)に入力させて該バンドパスフィルタから正弦波信号を出力し、さらに電力増幅しバイアスを調節して、励起部10に含まれる発光ダイオードに印加される周波数fの駆動信号とする。これにより、2tap型ロックインイメージセンサにおけるゲート電極動作に同期した励起光の強度変調が行われる。
2tap型ロックインイメージセンサを周波数f=50MHz(周期T=20nsec)で駆動した場合、10nsecのゲート電極動作では、周期Tに対し、0〜T/2(0〜10nsec)の区間で検出された光電子は一方の電荷蓄積領域へ同期した転送がなされ、T/2〜T(10〜20nsec)の区間で検出された光電子は他方の電荷蓄積領域へ同期した転送がなされる。これを30msec毎に読みだすと、0〜T/2、T/2〜Tといった位相に同期した光検出(ロックイン検出)がなされる。また、読み出し期間中の受光部の電荷は、電荷蓄積領域への電荷転送の後にリセット用のゲート電極動作を行ってから、次の電荷蓄積を行うので、正確なロックイン検出を行うことができる。
さらに、撮像部20から出力される周波数fのデジタル信号に対して、励起部10に印加される周波数fの駆動信号に遅延(位相シフト量φ)を与えることで、位相シフト法による光の波形計測を行うことができる。撮像部20の2tap型ロックインイメージセンサの2つの出力をVout1、Vout2とする。各画素について、0〜T/2の区間をVout1側とし、T/2〜Tの区間をVout2側として、電荷転送および電荷蓄積を行うと、撮像部20に入力する光を全て検出することができる。正弦波に強度変調された光を検出することを前提にすると、位相πずれた区間をそれぞれ光検出していることになる。
撮像部20に入力する変調光の強度Iを下記(1)式で表す。ここで、ωは強度変調の角周波数であり、θは初期位相であり、φは同期における位相シフト量である。θは、励起部10から対象物90を経て撮像部20に到るまでの光路の長さに応じたものである。各画像に入力する変調光をロックイン検出したときに得られる出力値Vout1、Vout2は、(1)式を定積分した結果に比例する。
ロックイン検出により常に同位相にて検出を行うことができるので、2tap型ロックインイメージセンサの出力Vout1を0〜T/2(0〜10nsec)の区間の電荷蓄積結果とし、出力Vout2をT/2〜T(10〜20nsec)の区間の電荷蓄積結果とした場合、30msecの電荷蓄積後のセンサからの出力は下記(2)式で表される。
この(2)式は、2tap型ロックインイメージセンサのゲート電極動作に対して位相シフト量φ(遅延時間)を変化させた際に、(1)式の変調光が変換された形で復元されたものである。これは、一般的に周波数ドメイン法における位相シフト法と呼ばれるもので、(2)式によりセンサに入力する変調光を計測することができることを意味している。
(2)式での変調度mは、交流成分(AC成分)と直流成分(DC成分)との比となって、m=2B/πA なる式で表される。位相はθである。(2)式の余弦関数の符号から、Vout1とVout2とは位相がπだけ異なる。位相シフト量φに対して、周波数fにおける変調度mおよび位相θを見積もることができる。
Vout1、Vout2の出力波形については、個別に解析してもよいし、位相がπだけ異なる2波形として同時に解析してもよい。後者で、2tap型ロックインイメージセンサを利用した場合、光検出した信号を無駄なく処理できるので効率の良い計測を行うことができる。
次に、蛍光イメージング装置を用いた蛍光寿命計測について説明する。蛍光物質における蛍光寿命は、周波数ドメイン法の場合、任意の周波数における応答(すなわち、変調度m、位相θ)という形で表現することができる。この場合、単に蛍光の周波数応答だけを計測しても、これには装置全体の周波数応答が重畳されている。そこで、励起光の変調度mex、位相θexとし、蛍光の変調度mfl、位相θflとして、下記(3)式により、蛍光物質の入力側に対する出力側における周波数fにおける応答を計測することで、蛍光の真の周波数応答を導くことができる。
また、蛍光の真の周波数応答((3)式の変調度m、位相θ)と蛍光物質の蛍光寿命τとの間の関係は、単一成分を計測した場合、下記(4)式となる。したがって、励起光像および蛍光像について、(2)、(3)式から画素毎に変調度mおよび位相θを求めることで、蛍光寿命τに対する画像へのマッピングを行うことができる。
非特許文献2に記載されているように、x=m・cosθ,y=m・sinθ としたときのxy平面であるmθプロット(2次元ヒストグラム)と蛍光強度画像とを組み合わせた蛍光寿命マッピングがある。この方法では、複数の蛍光物質に対してマッピングや蛍光寿命の経時変化を検出することができる。特に、蛍光物質の周波数応答である変調度mや位相θを高精度に計測することで、その解析能力が高まる。
図3は、周波数ドメイン法により蛍光寿命を計測する際の一般的な手順を示すフローチャートである。このフローチャートは、これまでに説明した蛍光寿命計測の手順を示すものである。ステップS10において励起光像を取得し、ステップS11において励起光像の各画素について励起光の変調度mexおよび位相θexを求める。ステップS12において蛍光像を取得し、ステップS13において蛍光像の各画素について蛍光の変調度mflおよび位相θflを求める。そして、ステップS14において、(3)式を用いて蛍光の真の変調度mおよび位相θを求め、(4)式を用いて蛍光寿命τを計算する。
図4は、図3中の励起光像の取得(ステップS10)および蛍光像の取得(ステップS12)の手順を示すフローチャートである。ステップS20において、周波数f、位相シフト増分Δφ、積算時間および画像積算回数などのパラメータを設定する。ステップS21において、励起光像または蛍光像を取得する。ステップS22において、位相シフト量φをΔφだけ変化させる。ステップS23において、周波数fに対し1周期の光強度波形の推定を行うことができるか否かを判断する。周波数fに対し1周期の光強度波形の推定が行えるまでステップS21〜S23を繰り返す。画像のSN比が悪い場合には、ステップS20のパラメータ設定において、蓄積時間または画像積算回数を増やすことでSN比の改善を図る。
図5は、図3中の励起光の変調度mexおよび位相θexの算出(ステップS11)ならびに蛍光の変調度mflおよび位相θflの算出(ステップS13)の手順を示すフローチャートである。図4の処理により位相シフト量φの各値についての画像(位相シフト増分Δφに対応する時間間隔の時系列の画像)が取得されているので、ステップS30において、この時系列の画像に基づいて画素毎に光強度波形データを求める。この光強度波形データは(2)式と等価な性質を有するので、ステップS31において、(2)式への波形フィッティングを行うことにより、周波数fにおける周波数応答を計算することができる。ステップS32において、全画素について計算が終了したか否かを判断する。全画素の計算が終了するまでステップS30〜S32を繰り返す。ステップS33において、励起光像については各画素の変調度mexおよび位相θexを計算することができ、蛍光像については各画素の変調度mflおよび位相θflを計算することができる。
次に、蛍光イメージング装置を用いて蛍光寿命計測を行った結果を図6〜図10に示す。励起部10として青色発光ダイオードを用い、計測時間については位相シフト毎に1フレーム30msecの蓄積時間として、読み出し後に10回加算平均を行って画像を取得した。蛍光物質としてAlexa FluorR 488蛍光色素を用い、これを水に溶解させて濃度10μMとし、この液滴を白色の紙に5滴落とし、変調周波数f=50MHzにおける蛍光の周波数応答を計測した。励起光像を取得する際には、対象物90を拡散板に置き換えた。
位相シフト増分Δφを2.5nsec相当とし、位相シフト量φを0〜15nsec相当の範囲として、7枚の画像を取得した。これら7枚の画像から、画素毎に、光強度波形データを求め、(2)式への波形フィッティングを行うことにより、周波数fにおける周波数応答を計算した。図6は、蛍光強度(DC成分)の画像を示す図である。図7は、励起光強度(DC成分)の画像を示す図である。これらのDC成分は、(2)式の右辺の第1項(AT/2)に相当する。
また、(3)式を用いて、蛍光の真の変調度mおよび位相θを求めた。図8は、蛍光の真の変調度mの画像を示す図である。図9は、蛍光の真の位相θの画像を示す図である。このように、変調周波数f=50MHzにおける周波数応答が画素毎にマッピングされることになる。
図8および図9に示された蛍光の真の変調度mおよび位相θに基づいて解析をすると、蛍光寿命τは4.75nsであると見積もられる。図10は、mθプロットの2次元ヒストグラムを示す図である。mθプロットは、周波数応答を評価する際に用いられる手法で、下記(5)式に従って変調度mおよび位相θをxy平面上の位置に表すものである。
図10中の円弧(半円)L1は、蛍光成分が単一である場合におけるωτの軌跡である。円弧L1は、位置(0.5,0)を中心とし、半径が0.5である。変調周波数f=50MHzの場合に蛍光寿命τ=4.75nsであるとき、原点(0,0)を通りx軸となす角度がθである直線L2と円弧L1との交点が蛍光の周波数応答になる。すなわち、各画素に対しmθプロットの2次元ヒストグラムを作成して、その分布を評価することにより、蛍光成分数を確認することができる。同図から、蛍光寿命は単一成分と判定することができる。
次に、蛍光イメージング装置を用いて距離計測を行った結果を図11,図12に示す。蛍光イメージング装置1,2は、画素毎に励起部10から対象物90(または拡散板)を経て撮像部20に到るまでの光路の長さ、すなわち、対象物90(または拡散板)の3次元形状を計測することができる。ここでは、対象物90を略平坦な表面を有する拡散板に置き換え、この拡散板を傾斜させて、位相シフト法を用いて距離計測を行った。
図11は、励起光強度(DC成分)の画像を示す図である。このDC成分は、(2)式の右辺の第1項(AT/2)に相当する。図7に示された傾斜していないときの励起光強度と、図11に示される傾斜しているときの励起光強度とに基づいて、画素毎の位相θを求めて、距離画像を求めた。図12は、距離画像を示す図である。
図12に示されるように、拡散板を傾けることにより、拡散板の左端から右端まで距離70mm程度の差が検出された。位相θは、励起部10から出力された励起光が拡散板で反射されて撮像部20に到るまでの光路長に相当する。したがって、位相θの1/2の値がセンサから拡散板までの距離に相当する。周波数f=50MHzでは、1周期(2π)が20nsecとなるので、光速度を用いて距離に換算することができる。
次に、蛍光イメージング装置を用いた3次元蛍光イメージングについて説明する。以下に説明する3次元蛍光イメージングは、これまでに説明してきた蛍光イメージング装置を用いた蛍光寿命計測と距離計測とを組み合わせたものである。図13は、3次元蛍光イメージングの手順を示すフローチャートである。図14は、図13中の装置関数の取得(ステップS40)の手順を示すフローチャートである。
図13に示されるように、先ずステップS40において、装置関数を取得する。装置関数の取得は、図4および図5に示されたフローチャートに従って行われ得る。装置関数の取得(ステップS40)の手順は図14に示されている。
図14に示されるように、ステップS60において励起光像を取得し、ステップS61において励起光像に基づいて周波数応答(励起光の変調度mexおよび位相θex)を求める。ステップS62において、対象物に含まれる蛍光プローブが既知であるか否かを判断する。蛍光プローブが既知でなければ、ステップS63において蛍光像を取得し、ステップS64において蛍光像に基づいて周波数応答(蛍光の変調度mflおよび位相θfl)を求め、ステップS65において蛍光寿命τを計算して蛍光成分を特定する。
なお、装置関数の取得は、略平坦な対象物または拡散板を用いて行われる。ステップS60,S63は、図4に示されたフローチャートに従って行われる。また、ステップS61,S64は、図5に示されたフローチャートに従って行われる。ここで取得された装置関数は、後の補正の為に用いられる。
装置関数の取得に際して、励起光強度を変化させたときに変調度mexの変動が見られる場合、センサ出力のリニアリティの補正を行う。また、センサ内部の配線が非常に複雑であることから、画素毎にゲートタイミングのズレが生じるので、このようなタイミングの補正も行う。これらは、センサ特有のエラーであるので、固定パターンとして補正することが可能である。
図13に示されるように、ステップS40に続くステップS41において蛍光像を取得する。ステップS41は、図4に示されたフローチャートに従って行われる。続くステップS42において蛍光像に基づいて周波数応答(蛍光の変調度mflおよび位相θfl)を求める。ステップS42は、図5に示されたフローチャートに従って行われる。
ステップS43において、蛍光画像中の任意の点を基準点とし、その基準点に対応する画素を特定画素とする。以降のステップにおいて、この特定画素に対する他の画素の変調度mおよび位相θの差を検出し、その検出結果に基づいて、蛍光画像の各画素について蛍光成分の判別を行い前記基準点からの相対的距離情報を求める。
ステップS44において、対象物に含まれる蛍光プローブが1成分であるか否かを判断する。蛍光プローブが1成分である場合、ステップS45,S46の後にステップS50〜S53を行う。蛍光プローブが2成分以上である場合、ステップS47〜S49の後にステップS50〜S53を行う。
蛍光プローブが1成分である場合、ステップS45において蛍光画像の各画素について周波数応答(変調度mおよび位相θ)を算出し、ステップS46において各画素について位相θを補正する。基準点に対応する特定画素の蛍光寿命から求められる位相θを基準として定義し、他の各画素の位相の変動を相対距離として分離し換算する(位相θの補正)。
蛍光プローブが1成分である場合、図6に蛍光像が示された測定結果は、図10に示されたmθプロットから単一成分であることが判る。図15は、試料を傾斜させたときに得られた蛍光強度(DC成分)の画像を示す図である。図16は、装置関数で補正した周波数応答を示すmθプロットの2次元ヒストグラムを示す図である。図16中の原点を中心とする円弧(1/4円)L3は、既知である蛍光物質の周波数応答に対し、変調度mが変化せず一定であって位相θのみが変化した際の軌跡を示している。図16のmθプロット(ヒストグラム)は、図15の画像中心部を基準点として位相θを補正した結果を示す。
図10と図16とは、同じ試料を測定した結果を示している。両図を対比すると、図16での分布の変化を距離の変動として検知することができ、各画素について距離に換算すると図17および図18に示す結果を得ることができる。図17は、距離画像を示す図である。同図は、基準点に対応する特定画素と各画素との位相の差だけを距離に換算したもので、画素間における関連性を全く考慮していない結果である。図18は、図17中の中心位置(基準点)を含む水平ライン上の距離分布を示す図である。図18から、試料の左端から右端までの差が略70mmであることが判る。
蛍光プローブが2成分以上である場合、図13中のステップS47において蛍光成分を分離し、ステップS48において各蛍光成分・各画素について周波数応答(変調度mおよび位相θ)を算出し、ステップS49において各蛍光成分・各画素について位相θを補正する。
蛍光プローブが2成分以上であって特に各画素において蛍光成分が単一である場合では、mθプロットを行うと、図19に示されるように、変調度mおよび位相θは、円弧L1付近に離散的に分布することになる。蛍光成分が既知であるので、どの蛍光成分がmθプロットのどの領域に分布するかを予測することができ、その情報を基に蛍光成分の区別をし、その後に各画素について位相θの補正を行うことで、基準点との相対距離を求めることができる。この場合、基準点が円弧L1上に分布するように位相θを補正するが、その他の画素についても蛍光成分の分離後にxy座標の原点を中心として回転移動させ、円弧L1上のそれぞれの成分との回転角の差を求めることで距離情報を求めることができる。さらに、基準点における位相θの補正を適用することで、基準点との距離情報を求めることができる。
また、蛍光プローブが2成分であって各画素において蛍光成分が2つ存在する場合では、mθプロットを行うと、図20に示されるように、変調度mおよび位相θは、円弧L1上のωτとωτとを結ぶ弦L4上の領域に分布することになる。τ、τは蛍光寿命である。また、この場合、弦L4上の点で分けられる線分の比率が蛍光強度比に対応するので、蛍光強度比が蛍光物質濃度比に依存する場合、τマッピングが可能である。蛍光物質が既知であるので、蛍光画像中で基準点を決めた場合、その基準点に対応する特定画素の変調度mについて、xy座標の原点を中心として特定の既知のmθ位置に達するまで回転させて位相θの補正を行う。特定の既知のmθ位置は、中心(0.5,0)で半径0.5の円弧L1上の位置であってもよいし、該円弧L1上の既知の2つのmθ点を結ぶ弦L4上の位置であってもよい。また、特定画素は、単一の蛍光成分を有する画素であってもよいし、任意の点に対応する画素であってもよい。特定画素以外の他の画素についても、xy座標の原点を中心として同じ位相θの補正をすることで距離情報に換算することができ、且つ位相θの補正をすることで基準点との距離情報を求めることができる。また、いずれの場合においても、蛍光成分が分離されているのでτマッピングの表示を行うことができる。
図13中のステップS50において上述したような距離計算を行い、ステップS51において上述したようなτマッピングを行う。ステップS52において3次元画像構築を行い、ステップS53において計測を終了したか否かを判断する。蛍光物質が既知であるので、蛍光寿命の異なる複数の蛍光物質を使ったとしても、mθプロット上で、各蛍光物質の分布を決めることができ、xy座標の原点に対して回転移動させ、どの位置に一致するかで蛍光物質の識別を行うことができる。さらに、その回転角は距離情報を示す。識別を容易にするために、周波数fを変更して計測を行い、複数の周波数におけるmθプロットにて評価すると更に効果的である。また、基準点の回転角を位相θの補正とすることで距離ゼロ点を決めることができるので、前者の回転角と位相θの補正とにより3次元情報を構築することができる。これを厳密に実行するために、装置関数の補正を行い、さらに光検出条件(蓄積時間、積算回数)の最適化によるSN比の向上等を的確に行うことで、3次元蛍光イメージングは達成される。
本実施形態では、図1または図2に示される蛍光イメージング装置を用い、図13に示される処理を行うことで、3次元蛍光イメージングを行うことができる。周波数ドメイン法における位相シフト法を用い、蛍光寿命に関係する変調度mおよび位相θを計測することで、既知蛍光物質の判別および蛍光強度比等をマッピングすることができ、且つ、3次元構造体の相対的な位置情報をも取得することができる。周波数fを可変にすることで、mθプロットにおける蛍光物質または蛍光プローブの分布を変更することができるので、位相θの補正を複数の周波数にて評価することができ、この場合、測定精度の向上を図ることができる。また、3次元構造体について、その位置情報が既知の場合においては、本実施形態を応用することで、2次元分布に変換することが可能となり、未知蛍光寿命を計測することもできる。
本実施形態では、機械的な動作を有しない一台の撮像部を用いて、蛍光像から相対距離情報を見積もることができ、さらに既知の蛍光物質または蛍光プローブの分布を3次元的に計測できる。すなわち、本実施形態では、安価かつ簡易な構成で、対象物に含まれる蛍光成分を判別するとともに距離情報を求めることができる。また、本実施形態では、位相シフト法の周波数応答解析から距離情報の分離を行うことができ、短時間で画像計測を行うことができる。簡易な装置構成による3次元蛍光イメージングは、生体における蛍光腫瘍イメージングに応用することができ、且つ、複数の蛍光プローブを同時に利用することで生体分子の相互作用に関連した解析にも活用することができる。3次元構造を有する蛍光寿命解析において、その位置情報が既知であるの場合、未知蛍光物質の蛍光寿命を推定することができる。
1,2…蛍光イメージング装置、10…励起部、11…レンズ、12…励起フィルタ、20…撮像部、21…レンズ、22…バリヤフィルタ、30…解析部、40…ダイクロイックミラー、90…対象物。

Claims (3)

  1. 周波数ドメイン法における位相シフト法を用いて蛍光イメージングを行う装置であって、
    単一の周波数fで時間的に強度変調された励起光を対象物に照射する励起部と、
    前記励起部による励起光照射によって前記対象物で発生した蛍光の画像を前記周波数fで同期して撮像する撮像部と、
    前記撮像部により撮像された蛍光画像の各画素について蛍光強度変化の変調度mおよび位相θを求め、蛍光画像中の基準点に対応する特定画素に対する他の画素の位相θの差を求めて、蛍光画像の各画素について蛍光成分の判別を行い前記基準点からの相対的距離情報を求める解析部と、
    を備えることを特徴とする蛍光イメージング装置。
  2. 前記解析部が、
    x=m・cosθ,y=m・sinθとしたときのxy平面であるmθプロットにおいて、
    前記特定画素について、xy位置に基づいて前記周波数fにおける蛍光成分の蛍光寿命τを求め、変調度mおよび位相θに対応する点を原点(0,0)の周りに中心(0.5,0)で半径0.5の円弧上に達するまで回転させて位相θを補正し、
    前記特定画素以外の他の画素について、前記特定画素と同じ位相θの補正をした後、前記特定画素との位相θの差に基づいて前記相対的距離情報を求める、
    ことを特徴とする請求項1に記載の蛍光イメージング装置。
  3. 蛍光画像において複数の蛍光成分が存在する場合に、
    前記解析部が、
    x=m・cosθ,y=m・sinθとしたときのxy平面であるmθプロットにおいて、
    前記特定画素について、xy位置に基づいて前記周波数fにおける前記複数の蛍光成分それぞれの蛍光寿命τを求め、変調度mおよび位相θに対応する点を原点(0,0)の周りに特定の既知のmθ位置に達するまで回転させて位相θを補正し、
    前記複数の蛍光成分を個々に分離して、前記特定画素以外の他の画素について、前記特定画素と同じ位相θの補正をした後、前記特定画素との位相θの差に基づいて前記相対的距離情報を求める、
    ことを特徴とする請求項1に記載の蛍光イメージング装置。
JP2013224399A 2013-10-29 2013-10-29 蛍光イメージング装置 Active JP6359819B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2013224399A JP6359819B2 (ja) 2013-10-29 2013-10-29 蛍光イメージング装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2013224399A JP6359819B2 (ja) 2013-10-29 2013-10-29 蛍光イメージング装置

Publications (2)

Publication Number Publication Date
JP2015087171A JP2015087171A (ja) 2015-05-07
JP6359819B2 true JP6359819B2 (ja) 2018-07-18

Family

ID=53050117

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013224399A Active JP6359819B2 (ja) 2013-10-29 2013-10-29 蛍光イメージング装置

Country Status (1)

Country Link
JP (1) JP6359819B2 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6409978B2 (ja) * 2015-08-28 2018-10-24 パナソニックIpマネジメント株式会社 撮像装置および撮像方法
WO2017082218A1 (ja) * 2015-11-09 2017-05-18 国立研究開発法人理化学研究所 光子検出装置、光子検出方法、蛍光相関分光測定装置、蛍光相互相関分光測定装置、動的光散乱測定装置、及び、蛍光顕微鏡
KR101758114B1 (ko) 2015-11-30 2017-07-14 재단법인 오송첨단의료산업진흥재단 에너지 전이에 따른 형광 수명을 측정하는 방법
JP6894019B1 (ja) 2020-01-17 2021-06-23 浜松ホトニクス株式会社 検査装置及び検査方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003051988A (ja) * 2001-08-07 2003-02-21 Inst Of Physical & Chemical Res 固体撮像素子
US7729750B2 (en) * 2005-01-20 2010-06-01 The Regents Of The University Of California Method and apparatus for high resolution spatially modulated fluorescence imaging and tomography
US8078265B2 (en) * 2006-07-11 2011-12-13 The General Hospital Corporation Systems and methods for generating fluorescent light images
WO2010025331A1 (en) * 2008-08-28 2010-03-04 Mesa Imaging Ag Demodulation pixel with daisy chain charge storage sites and method of operation therefor
US10222335B2 (en) * 2010-10-27 2019-03-05 The Regents Of The University Of California Phasor method to fluorescence lifetime microscopy to discriminate metabolic state of cells in living tissue

Also Published As

Publication number Publication date
JP2015087171A (ja) 2015-05-07

Similar Documents

Publication Publication Date Title
US11792384B2 (en) Processing color information for intraoral scans
JP4767300B2 (ja) 蛍光寿命測定方法および装置
JP6359819B2 (ja) 蛍光イメージング装置
CN111971606B (zh) 具有高空间分辨率的时间分辨成像方法
US20150241351A1 (en) Methods for resolving positions in fluorescence stochastic microscopy using three-dimensional structured illumination
US11449964B2 (en) Image reconstruction method, device and microscopic imaging device
JP2009008393A (ja) 光画像計測装置
CN105486638B (zh) 一种超分辨阵列扫描结构光照明成像装置及其成像方法
Churchman et al. Colocalization of fluorescent probes: accurate and precise registration with nanometer resolution
JP2016527490A (ja) X線イメージング
JP6025411B2 (ja) 形状測定装置および形状測定方法
JP5169857B2 (ja) 蛍光寿命測定装置、蛍光寿命測定方法及びプログラム
JP2016099370A (ja) 顕微鏡システム
JP2014153343A (ja) 形状測定装置
US10921573B2 (en) Determining the arrangement of a sample object by means of angle-selective illumination
JP5514641B2 (ja) レーザー干渉バンプ測定器
JP2010276540A (ja) 生体組織表面解析装置、生体組織表面解析プログラム、および生体組織表面解析方法
WO2021053245A1 (en) Pattern activated structured illumination localization microscopy
JP5086197B2 (ja) 共焦点顕微鏡
JP2014001966A (ja) 形状測定装置および形状測定方法
TW201638628A (zh) 結構照明平行接收之螢光超光譜顯微系統
US20220113528A1 (en) Observation apparatus, method of operating observation apparatus, and observation control program
JP6853572B2 (ja) 走査型白色干渉顕微鏡を用いた三次元形状計測方法
Chen et al. Widefield multifrequency fluorescence lifetime imaging using a two‐tap complementary metal‐oxide semiconductor camera with lateral electric field charge modulators
JP2020042165A (ja) 測定装置および測定方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20160704

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20170517

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170530

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170720

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20171205

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180619

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180621

R150 Certificate of patent or registration of utility model

Ref document number: 6359819

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150