JP5870821B2 - 多重蛍光画像の画像解析のための装置、システム、方法、およびプログラム - Google Patents

多重蛍光画像の画像解析のための装置、システム、方法、およびプログラム Download PDF

Info

Publication number
JP5870821B2
JP5870821B2 JP2012084643A JP2012084643A JP5870821B2 JP 5870821 B2 JP5870821 B2 JP 5870821B2 JP 2012084643 A JP2012084643 A JP 2012084643A JP 2012084643 A JP2012084643 A JP 2012084643A JP 5870821 B2 JP5870821 B2 JP 5870821B2
Authority
JP
Japan
Prior art keywords
series
image data
spectral
fluorescent substance
fading
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2012084643A
Other languages
English (en)
Other versions
JP2013213756A (ja
Inventor
裕一 尾崎
裕一 尾崎
昌宏 上田
昌宏 上田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
RIKEN Institute of Physical and Chemical Research
Original Assignee
RIKEN Institute of Physical and Chemical Research
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by RIKEN Institute of Physical and Chemical Research filed Critical RIKEN Institute of Physical and Chemical Research
Priority to JP2012084643A priority Critical patent/JP5870821B2/ja
Publication of JP2013213756A publication Critical patent/JP2013213756A/ja
Application granted granted Critical
Publication of JP5870821B2 publication Critical patent/JP5870821B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Description

本発明は多重蛍光画像の画像解析のための装置、システム、方法、およびプログラムに関する。さらに詳細には本発明は、多重蛍光画像から蛍光物質別の濃度画像を得る画像解析または画像取得解析のための装置、システム、方法、およびプログラムに関する。
共同的に働く細胞内コンポーネントの挙動を解析し抗体や蛍光タンパクなどの空間的・時間的挙動を観察する目的の下、蛍光顕微鏡法が利用されている。その一つとして、多色蛍光イメージングと呼ばれる手法が利用されている。多色蛍光イメージングでは、複数の蛍光色素により多重染色された撮影対象からは、顕微鏡像などにより多重蛍光画像が取得される。この多重蛍光画像は、複数種の蛍光物質からの蛍光が重ね合わさった画像である。典型的な多色蛍光イメージングにおいては、蛍光波長がオーバーラップしないような蛍光色素の組み合わせを利用して蛍光色素別に濃度の分布する様子を観察するため、蛍光色素を励起する励起光の波長と蛍光フィルタが観察条件に合わせが慎重に選択される。このような手法において、分離して観察することが可能な蛍光色素の種類数は、上限が６種程度であり、頻繁に利用されるのは４種ほどである。
ライブイメージングのように、蛍光波長のオーバーラップが不可避な場合の多重染色のためには、リニア・アンミキシングと呼ばれる解析方法も用いられる。リニア・アンミキシングでは、多重染色された対象物からの光を分光するスペクトルイメージングを行ない、複数種の蛍光色素の蛍光が重ね合わさった画像の各画素のスペクトルを取得する。そして、そのスペクトルを、事前に用意した単染色のリファレンスサンプルの蛍光スペクトル（リファレンス・スペクトル）を利用して、各蛍光色素の成分へと分離する。しかし現状では、リニア・アンミキシングはさほど普及していない。その普及の障害となっているのは主として次の３つの理由による。第１に、蛍光波長は温度や酸性度（ｐＨ）などの環境要因により変動するため、リファレンスサンプルと多重染色サンプルの蛍光スペクトルの数値的な同一性は保証できない。しかもそのような変動は検出すること自体が不可能である。第２に、細胞などの試料の組織はそれ自体が蛍光を発する自家蛍光（intrinsic fluorescence）を伴うことがあるためである。多数の蛍光成分の混合である自家蛍光については、原理的に、リニア・アンミキシングに必要となる個々の蛍光成分のリファレンスサンプルを用意することができない。第３に、リファレンスサンプルを用意すること自体が問題となる。例えば上記上限の６色またはそれを超えるほどの多色ともなるとその手間は無視できない。
多重染色された蛍光波長の分離を用いる別の分野であるフローサイトメトリー分野では、上記リニア・アンミキシングの原理を利用した１８色同時観察が既に実用化されている。しかしフローサイトメトリーにおける１８色同時観察は一般の蛍光タンパクに適用することはできない。その理由は、特殊な励起・蛍光スペクトルを持つタンデム蛍光色素が不可欠なためである。なお、フローサイトメトリーでは、単染色のサンプルのミクスチャーを使うことにより各蛍光チャネルの間の相関を無相関とするように校正を掛けることができる。しかし、イメージングを利用する際にはそのようなサンプルを作製することができない。
同様に、撮影対象からの蛍光を波長により分離するさらに別の分野であるケモメトリクス分野でも、多数の励起波長に対する混合試料の蛍光スペクトルの情報から各試料についてのスペクトルと混合比とを一度に決定するブラインド・デコンポジション法が実用化されている。実際、生細胞に対し３４０〜４９０ｎｍの範囲の９つの波長の励起光を照射し、４７チャネルでの分光測定をすることにより、１５〜２０種程度の蛍光色素の情報を分離しうることが報告されている（非特許文献１：Shirakawa H et. al., Biophys J 86 : 1739-1752）。非特許文献１においては、ＰＡＲＡＦＡＣ（parallel factor analysis）法と呼ばれる手法により、蛍光色素を励起するための励起波長と、蛍光色素から発光する蛍光の発光波長との双方を変化させ分光測定したデータを解析することが開示されている。
さらに、蛍光顕微鏡観察法において、蛍光波長ではなく蛍光色素の別の性質に着目して多重染色された画像を分離する手法も報告されている。例えば、蛍光色素の光漂白（photobleaching）を利用する手法が報告されている（非特許文献２：R P Haugland et. al., “Multicolor Microscopy Using Fluorophores with Strongly Overlapping Spectra”, Presented at the 1st International Cytomics Conference）。非特許文献２で試行されているのは、別々の蛍光色素が互いに異なる光漂白特性を有するとき、蛍光色素同士の蛍光スペクトルがオーバーラップしている場合であっても、その光漂白の特性の違いを強調する画像処理を行なうことである。非特許文献２には、各蛍光色素の位置を強調した表示が可能であることが示されている（非特許文献２、Figure 6）。
Shirakawa H and Miyazaki S, "Blind spectral decomposition of single-cell fluorescence by parallel factor analysis." Biophys J 86 : 1739-1752. (2004). Richard P. Haugland, Ian Clements, Mike Janes, Jason Kilgore, Joe Beechem, and Michael J. Ignatius, "Multicolor Microscopy Using Fluorophores with Strongly Overlapping Spectra", Presented at the 1st International Cytomics Conference, Newport, Wales, UK (2003). http://probes.invitrogen.com/media/publications/295.pdf
しかしながら、フローサイトメトリー分野やケモメトリクス分野における非特許文献１の報告のものは、空間的な分布の画像化すなわちイメージングを行なわず、空間の１点の情報を測定対象としているに過ぎない。そのような場合に１次元や２次元の空間的な分離により蛍光色素別にイメージングするためには、例えばレーザー走査顕微鏡と組み合わせることが考えられる。しかし、必要な励起波長の数と同数のレーザー光源を用意してレーザー走査顕微鏡を動作させることは現実的ではない。可変波長レーザーを使うとしても、それ自体が高価なばかりか可変波長域が狭く、可視域をカバーするには可変波長レーザーが複数必要となるためである。さらには、ビームスプリッタやバリアフィルタにも波長特性の可変性が要求され、複雑な実験設備が必要となってしまう。
また、非特許文献２の報告では、スペクトルの情報を利用せず、光漂白のみを利用することにより、オーバーラップしたスペクトルの蛍光色素が区別してイメージングされている。しかし、その蛍光色素の種類は、高々３種程度に留まっている。
本発明は上記問題点の少なくともいずれかを解決するためになされたものである。本発明は、生物関連サンプルの観察などに適用される蛍光顕微鏡法において、複数の蛍光物質を含む撮影対象における蛍光物質の分布の画像上での分離を精密に行なうことが可能な画像解析装置、画像取得解析システムおよび画像解析方法を提供する。これにより、本発明は、蛍光標識抗体、蛍光タンパク質などの空間的・時間的挙動をイメージベースで蛍光観察する際に、同定することが可能となる蛍光物質の種類の数を増大させた画像解析装置の実現に貢献するものである。
上記課題を吟味した結果、本願の発明者らは、画像取得や画像解析の手法を工夫することにより、多種の蛍光物質からの各蛍光を画像上で分離することが可能であるとの結論に至った。蛍光物質別の画像に分離するため、本発明者らは、複数の蛍光物質からの発光スペクトルばかりでなく、蛍光物質の材料特性の一つである退色、すなわち、励起光の繰り返しの照射またはある照射期間の照射に応じた蛍光物質の失活をも利用することを着想した。しかもその際、多重蛍光画像の解析のために、蛍光スペクトル、退色系列、および各蛍光物質の濃度の積の寄与として表現するＰＡＲＡＦＡＣ（parallel factor）モデルを利用することが有効であることを見出した。これらの工夫により、各蛍光物質の濃度の高精度な位置分布を画像化するイメージングつまり蛍光物質別の濃度画像の分離が可能となる。
すなわち、本発明のある態様においては、退色系列分光画像データを受け付けるようになっている分光画像データ受信部と、ここで該退色系列分光画像データは、複数種の蛍光物質を含む撮影対象に向けて少なくとも１種の励起光を繰り返しまたはある照射期間にわたり照射し、励起光の照射に応じて前記撮影対象から発せられた光を分光してイメージングすることにより得られた前記撮影対象の少なくとも一部分の分光画像のデータ系列であり、ＰＡＲＡＦＡＣモデルを利用して、蛍光物質別の発光波長分布のための蛍光スペクトル系列Ｓ、励起光の繰り返しの各照射または前記照射期間中の時刻に対応する蛍光物質別の退色変化のための退色系列Ｄ、および各画素位置における蛍光物質別の濃度画像データのための濃度Ｃを、前記分光画像データ受信部が受け付けた前記退色系列分光画像データに適合するように決定するブラインド・デコンポジション解析部と、ここで前記ＰＡＲＡＦＡＣモデルは、前記退色系列分光画像データの各画素位置の強度値となるべき値を各蛍光物質からの寄与の和により表現し、各蛍光物質からの寄与を、前記蛍光スペクトル系列Ｓと前記退色系列Ｄと前記濃度Ｃとの三者の積とすることによりモデル化したものであり、前記ブラインド・デコンポジション解析部により決定された各画素位置の前記濃度Ｃを蛍光物質別の濃度画像データとして格納する濃度画像記録部とを備えてなる画像解析装置が提供される。
本態様において、複数種の蛍光物質を含む撮影対象とは、典型的には、細胞や細胞が浮遊している分散媒に蛍光色素を添加して細胞の各部分に集積させたり、細胞に蛍光タンパクを発現させたり、蛍光色素でラベルした抗体を用いた免疫蛍光染色したりした細胞を含む。蛍光物質は、例えば、撮影対象の一部のみを選択的に染色するような蛍光色素が用いられる。複数種の蛍光物質は、例えば、発光スペクトルおよび退色系列の少なくともいずれかが互いに相違する蛍光色素の組合せである。一般には、これらの部位を区別しイメージングするために複数種の蛍光色素それぞれを選択する。例えば、オルガネラ特異的抗体を蛍光色素でラベルするサンプルでは、蛍光色素の種類が、ラベルしたい抗体の種類に合わせて組み合わせられる。なお、蛍光物質のうちには、自家蛍光を生じさせる細胞組織など、蛍光を発する目的で作成されたとはいえない物質も含まれている。本態様の撮影対象には、分光イメージングが可能な任意の手法において撮影される物体が、含まれている。つまり、本態様の撮影対象には、例えば蛍光顕微鏡などで観察される対象物一般を含んでいる。したがって、いくつかの非限定的な具体例を示せば、組織切片や動物個体、無細胞系の標本（例えば、細胞から抽出したタンパクを固相化したもの）なども撮影対象とすることができる。加えて、蛍光顕微鏡を利用せずに撮影された対象物も本態様における撮影対象となる。例えば、内視鏡を用いて消化管内壁の自家蛍光スペクトルを得て、癌などの異常組織を識別する手法が開発されている。同様の原理を応用し、精肉の肉質を非接触で調べる手法も開発されている。これらに例示されるように、分光イメージングが可能な任意の手法において撮影される任意の物体が本態様の撮影対象となる。
本態様において、励起光を繰り返しまたはある照射期間にわたり照射するとは、典型的には、マイクロ秒からミリ秒程度の短い期間の光パルスを繰り返し照射するもの、照射光を走査することにより各部を繰り返し照射するもの、あるいは、連続した光をある期間照射するものを含んでいる。励起光の繰り返し回数、照射期間、照射強度といった照射条件は、イメージングされる退色系列のデータの上で、別々の蛍光物質を区別してイメージングを行ないうるように決定する。
励起光の照射に応じて撮影対象から発せられた光とは、励起光により励起状態となった蛍光色素が放つ光が典型である。上記光には自家蛍光が含まれている場合もある。本態様における分光のためには、発光スペクトルの相違を検出できる波長範囲において、その相違を検出するのに必要な数以上のチャネル数（波長刻み数）に光を分ける任意の機器（分光器）を利用することができる。
本態様におけるイメージングは、任意の光検出部を有し、受光した光強度に応じた信号またはそのデータを出力する装置である限り特段限定はない。イメージャーの典型例は、ガルバノミラーと光検出素子の組合せ、１次元または２次元光検出素子アレイによるものなどである。退色系列分光画像データは、そのイメージングした画像信号または画像データであり、分光によるスペクトル成分に区別され、励起光による蛍光色素の退色に応じた系列をなすものである。つまり、個別の分光画像をある範囲の波長にわたり取得するスペクトルイメージングの処理を、蛍光色素の退色が進むのに応じて繰り返し実行することにより、退色系列分光画像データが取得される。なお、退色系列分光画像データは、撮影対象の少なくとも一部分の分光画像のデータ系列である。
本態様において画像解析のために利用するモデルはＰＡＲＡＦＡＣモデルである。本態様においては特に、蛍光スペクトル系列Ｓ、蛍光色素別の退色変化のための退色系列Ｄ、濃度画像データのための濃度Ｃ、という三者の積によりきまる各蛍光色素からの寄与の蛍光色素についての和によって、退色系列分光画像データが表現される、というモデルとする。そして、当該和と退色系列分光画像データとは、退色系列分光画像データの画像領域の少なくとも一部において比較され、当該和が、退色系列分光画像データに適合するように、蛍光スペクトル系列Ｓ、退色系列Ｄ、濃度Ｃを決定する。この決定のためには、最終的な蛍光色素別の分布像を与える濃度Ｃだけでなく、蛍光スペクトル系列Ｓおよび退色系列Ｄについての事前の知識は不要である。この意味において、退色系列分光画像データに適合するようなＰＡＲＡＦＡＣモデルにより表現されている成分（ｃｏｍｐｏｎｅｎｔｓ）それぞれを、事前の知識無く決定するために本願の発明者らが採用する手法をブラインド・デコンポジション法と呼ぶ。ただし、実施形態において詳述するように、適合の程度を判定するために補助的な制約条件（規格化など）が必要となる場合がある。その詳細については、具体的な表式とともに実施形態の欄において詳述する。
最終的に、ブラインド・デコンポジション解析部により決定された各画素位置の濃度Ｃは、蛍光色素別の濃度画像データとして濃度画像記録部に格納される。この蛍光色素別の濃度画像データは、撮影対象における各位置に各蛍光色素がどの程度存在するか、を示す空間情報であり、必要な表示装置などにより目し確認されたり、濃度画像データの画素値から絶対値または相対値として値が算出されたり、といった観察に利用される。
とりわけ、本発明の上記態様においては、ブラインド・デコンポジションを行なうことにより、事前の知識を必要とせずに蛍光物質別の発光スペクトルすなわち蛍光スペクトル系列Ｓが決定される。本願の発明者らは、このスペクトル系列Ｓは、実際の撮影対象に与えられた蛍光物質の発光スペクトルを実測したものといいうることに着目した。このため、このスペクトル系列Ｓは、その後のリニア・アンミキシングのためのリファレンス・スペクトルとして利用できるのである。しかも、都合のよいことに、本態様のブラインド・デコンポジションにより得られたスペクトル系列Ｓを利用することにより、リニア・アンミキシングにおける上述の問題点のうち蛍光波長が環境要因により変動する問題も、リファレンスサンプルを用意する手間の問題も解決する。
したがって本発明においては、前記撮影対象の少なくとも一部分の撮影に基づいて前記ブラインド・デコンポジション解析部が決定し既知となった蛍光物質別の前記スペクトル系列Ｓを含む蛍光物質別リファレンス・スペクトル系列ＳＲを格納する蛍光物質別リファレンス・スペクトル系列記録部をさらに備え、前記分光画像データ受信部は、前記撮影対象、または前記複数種の蛍光物質のうちスペクトル系列Ｓが既知となった蛍光物質を少なくとも１種含む別の撮影対象のいずれかである今次の撮影対象に向けて少なくとも１種の追加励起光を照射し、該追加励起光の照射に応じて該今次の撮影対象から発せられた光を分光してイメージングすることにより得られた該今次の撮影対象の分光画像である追加分光画像データを受け付けるようになっており、前記蛍光物質別リファレンス・スペクトル系列ＳＲを前記蛍光物質別リファレンス・スペクトル系列記録部から呼び出して、線形和モデルを利用して、各画素位置における蛍光物質別の濃度画像データのための濃度Ｃを、前記分光画像データ受信部が受け付けた前記追加分光画像データに適合するように決定するリニア・アンミキシング解析部をさらに備え、ここで前記線形和モデルは、前記追加分光画像データの各画素位置の強度値となるべき値を各蛍光物質からの寄与の和により表現し、各蛍光物質からの寄与を、前記蛍光物質別リファレンス・スペクトル系列ＳＲと前記濃度Ｃとの積とすることによりモデル化したものであり、前記濃度画像記録部が、前記リニア・アンミキシング解析部により決定された、前記今次の撮影対象についての各画素位置の前記濃度Ｃを蛍光物質別の濃度画像データとして格納するものである上記態様の画像解析装置も提供される。
リファレンス・スペクトルのためにブラインド・デコンポジションを行なう撮影対象と、後のリニア・アンミキシングのための撮影対象とは、同一であっても別々であってもよい。本態様のリファレンス・スペクトルは、一般には、撮影対象の一部から取得することができる。その後のリニア・アンミキシングは、それと同一の撮影対象か、または別の撮影対象（総称して「今次の撮影対象」という）からの分光画像を対象として行なわれる。なお、リファレンス・スペクトルを取得する撮影対象とは別の撮影対象をリニア・アンミキシングの対象とする場合にも、その別の撮影対象は、スペクトル系列が取得されて既知となった複数種の蛍光物質のうちの少なくとも１種の蛍光物質により染色されているものである。このため、既知となった蛍光物質別のスペクトル系列は、ブラインド・デコンポジションを行なう撮影対象ではない別の撮影対象にとっても、リファレンス・スペクトルとして利用できるようになっている。また追加励起光は、繰り返し照射する必要も、ある期間の間照射する必要もない。これは、リニア・アンミキシングにおいては、本態様のブラインド・デコンポジションとは異なり、退色系列が利用されないためである。追加分光画像データは、追加励起光の照射に応じて得られる分光画像のデータである。
線形和モデルは、追加分光画像データの各画素位置の強度値となるべき値を各蛍光物質からの寄与の和により表現し、各蛍光物質からの寄与を、撮影対象の少なくとも一部分から取得した蛍光物質別リファレンス・スペクトル系列ＳＲと濃度Ｃとの積とすることによりモデル化したものである。線形和モデルは、いわば、上述した本態様のＰＡＲＡＦＡＣモデルにおいて退色系列の成分を考慮しないモデルといえる。
さらに、本発明においては、上記各態様の特徴を有する画像解析方法および画像解析プログラム、ならびに、画像取得解析システムおよび画像取得解析方法も提供される。
本発明のいずれかの態様においては、従来のリニア・アンミキシングの問題点を克服し、各蛍光物質の事前のリファレンス・スペクトルを必要とせずに、蛍光物質別の画像を分離することが可能となる。
本発明のある実施形態における画像を取得するために利用する画像取得解析システムの一例の概略構成を示す構成図である。 本発明のある実施形態において採用するＰＡＲＡＦＡＣモデルの概念図である。 本発明のある実施形態が退色系列分光画像データに含まれている情報を模式的に示す説明図である。 本発明のある実施形態の画像解析装置の構成を示すブロック図である。 本発明のある実施形態の画像解析装置における処理を示すフローチャートである。 本発明のある実施形態の画像解析装置のより詳細な構成を示すブロック図である。 本発明のある実施形態において拡張されたＰＡＲＡＦＡＣモデルの模式図を図２に準じて示す概念図である。 本発明のある実施形態におけるリニア・アンミキシングの処理を行なう機能手段を示すブロック図である。 本発明のある実施形態においてシミュレーションに用いた画像データの様子を示す画像データの表示である 本発明のある実施形態において各画像の各プレーンに対応させる６種類の蛍光物質の発光スペクトルと退色系列を示すグラフである。 本発明のある実施形態のシミュレーションにおいて、復元画像とオリジナル画像からの残差のヒストグラムである。
以下、本発明に係る画像取得解析手法の実施形態を図面に基づいて説明する。当該説明に際し特に言及がない限り、全図にわたり共通する部分または要素には共通する参照符号が付されている。また、図中、各実施形態の要素のそれぞれは、必ずしも互いの縮尺比を保って示してはいない。
＜実施形態＞
本発明の実施形態として説明するものは、上述した着想が期待通りに実施可能であるかどうかを確認したものである。実施形態として，まず、動作原理を説明し、次に、装置構成等の細部を説明する。さらに、シミュレーション例によりこれらの確認内容について説明し、最後に変形例を説明する。
［１ 基本原理（光学的構成）］
図１は、本実施形態において画像を取得するために利用する画像取得解析システム１００００の概略構成を示す構成図である。画像取得解析システム１００００は、励起光照射分光検出光学系１１００（以下「検出光学系１１００」と記す）と画像解析装置１２００から構成されている。画像解析装置１２００は、ブラインド・デコンポジション解析部２００（「ＢＤ解析部２００」）および濃度画像記録部３００を備えている。これら以外にも、画像解析装置１２００は、蛍光物質別リファレンス・スペクトル系列記録部１４００（「ＳＲ記録部１４００」）、リニア・アンミキシング解析部１５００（「ＬＵ解析部１５００」）も備えている。ＳＲ記録部１４００、ＬＵ解析部１５００についての詳細は「１−５ 応用：リニア・アンミキシング」の欄にて述べる。画像取得解析システム１００００は、任意選択として表示部１３００を備えており、濃度画像記録部３００の画像データなどをユーザーに提示することができるように構成されている。
検出光学系１１００は、実際には、蛍光顕微鏡（図示しない）に共焦点スキャナ１０とレーザーコンバイナ１２とを組合せたものである。蛍光顕微鏡の一部も含めて検出光学系１１００の主要な要素を説明する。レーザーコンバイナ１２では、蛍光物質を励起する励レーザーを複数組み合わせて励起光とする。典型的な励起波長は、レーザーダイオード（ＬＤ）の４７３ｎｍ、アルゴン（Ａｒ）の４５８ｎｍ、Ａｒの５１５ｎｍ、ＬＤの４０５ｎｍ、ＬＤの５５９ｎｍ、ＬＤの６３５ｎｍである。レーザーコンバイナ１２から出射してダイクロイックミラー１４により反射した励起光Ｌ１は、ガルバノミラー１６により走査のために偏向され、次いで、蛍光顕微鏡の対物レンズ１８を通して撮影対象Ｓ１に照射される。撮影対象Ｓ１に含まれている蛍光物質から発した蛍光のうち対物レンズ１８の受光角範囲に向かう蛍光ＦＬは、励起光Ｌ１とは逆向きに対物レンズ１８を通ってガルバノミラー１６により励起光Ｌ１の光路を逆進する。その後蛍光ＦＬは、ダイクロイックミラー１４を通過した後にピンホール２０に入射する。ピンホール２０を通過する光は、撮影対象Ｓ１の蛍光物質から発した蛍光のうち、ピンホール２０の微小な開口に対して共焦点の位置をなす撮影対象Ｓ１のごく薄い厚みの領域からの光のみとなる。ピンホール２０を通過した蛍光は回折格子２２により分光され、受光素子アレイ２４の各位置の各受光素子により分光された波長別に受光される。この受光により生成される信号またはデータが、分光画像のデータとなる。ここで、ガルバノミラー１６はミラー駆動部（図示しない）により制御されているため、撮影対象Ｓ１における位置情報つまり分光画像における画素位置の情報は、ガルバノミラー１６の向きにより定まる。また、分光画像の各画素位置における波長分解能は、回折格子２２および受光素子アレイ２４により形成される分光チャネル数により決定される。回折格子２２は必要に応じて角度を調整して波長範囲を調整可能なように作製されている。なお、ここに説明した画像取得解析システム１００００は、本実施形態として実施しうる画像取得解析システムの一例である。例えば、励起光をレーザー以外の光源としたり、対物レンズ１８を通さずに撮影対象Ｓ１に照射するような構成を利用することもできる。また、励起光の種類も少なくとも１種の励起光であればよい。
以上のような構成の検出光学系１１００は、比較的単純な光学系に過ぎない。既存の共焦点顕微鏡に分光器を付加するのみにて実現可能であり、または、通常のレーザー走査顕微鏡の出力ポートはイメージング分光器を付加することができるためである。しかも、撮影対象を調整するといった実験操作も、通常の蛍光顕微鏡法と同程度の煩雑さに留まる。蛍光分光の検出にある程度の素子数が必要となる場合、通常よく用いられる光電子増倍管ではなく、例えば高速電荷結合素子（ＣＣＤ）カメラを用いることができる。ダイクロイックミラー１４にはシャープエッジフィルタないしはラマンノッチフィルタを利用することができる。
本実施形態の画像取得解析システム１００００では、受光素子アレイからの出力である分光画像１枚分のデータを利用するのではなく、励起光Ｌ１を繰り返し、または、ある照射期間にわたり照射して得られる分光画像のデータ系列（退色系列分光画像データＤＳＩ（Decay-Spectral Image data））が利用される。退色系列分光画像データＤＳＩは、ＢＤ解析部２００に入力されて、解析対象のデータとされる。
［１−１ 解析原理の概要］
以下、画像解析装置１２００における解析原理について説明する。まず、本実施形態の説明に先立ち、蛍光物質別の発光波長分布のみを利用する手法（リニア・アンミキシング法）、および、退色を利用する手法について説明する。そして本実施形態の構成について説明する。
［１−１−１ リニア・アンミキシング］
本実施形態の退色系列分光画像データＤＳＩではなく、分光画像のデータに基づくリニア・アンミキシングについて簡単に説明する。リニア・アンミキシングは、蛍光物質の発光波長スペクトルを利用して蛍光物質の濃度画像を算出する手法である。リニア・アンミキシングでは、１枚の分光画像のデータが式（１）のように表現される。
ここでｘｍ，ｌは、画素位置および波長それぞれのためのインデックスｍとｌ（エル）により特定される分光画像データの画素値である。また、ｎは蛍光物質を特定するインデックスである。Ｓｌ，ｎ、Ｃｍ，ｎは、それぞれ、蛍光物質ｎの発光スペクトル、および、蛍光物質ｎの画素位置ｍにおける単位体積あたりの物質量すなわち濃度である。そしてｅｍ，ｌは残差（ｒｅｓｉｄｕａｌ ｅｒｒｏｒ）である。
従来のリニア・アンミキシングでは、解析の目的が、分光画像のデータから、蛍光物質別の各位置の濃度Ｃｍ，ｎを、残差ｅｍ，ｌをできるだけ小さくするように決定すること、すなわち、濃度Ｃｍ，ｎを推定することである。この推定処理は、適当な仮定をおくことにより線形演算により容易に実行することができる。しかし、上述したように、蛍光物質ｎの発光スペクトルＳｌ，ｎが事前の知識として必要となる。
［１−１−２ 退色（光漂白）のみによる解析］
次に、本実施形態の退色系列分光画像データＤＳＩではなく、退色の依存性のみを保持する系列データに基づいて、蛍光物質の発光の退色系列により蛍光物質の濃度画像を算出する手法を簡単に説明する。ここでの系列データとは、分光されていない画像や、分光されていても単一の波長の画像（以下総称して「系列画像」という）のデータである。１系列の系列画像のデータも、式（１）と類似の式（２）のように表現される。
ここでｘｍ，ｔは、画素位置および退色系列それぞれのためのインデックスｍとｔにより特定される分光画像データの画素値である。また、ｎは式（１）と同様に蛍光物質を特定するインデックスである。Ｄｔ，ｎおよびＣｍ，ｎは、それぞれ、蛍光物質ｎの退色系列、および、蛍光物質ｎの画素位置ｍにおける濃度である。そしてｅｍ，ｔは残差である。
上述した退色を利用する解析の目的は、１系列の退色画像のデータから、残差ｅｍ，ｔをできるだけ小さくなるように蛍光物質別の各位置の濃度Ｃｍ，ｎを決定すること、すなわち、濃度Ｃｍ，ｎを推定することである。この推定処理は、上述したリニア・アンミキシングと同様の処理であり容易に実施することができる。しかし、この場合にも、蛍光物質ｎの退色系列、Ｄｔ，ｎが事前の知識として必要となる。なお、退色の依存性のみを利用し蛍光物質の濃度画像を導く従来の手法について、非特許文献２のFigure 6を除き本願の発明者らは把握していない。上述したように式（２）により数値的に解析することによって退色の依存性のみを活用する本欄の内容が公知のものかどうかは不明である。
［１−２ 画像取得解析システムの概要］
上述したリニア・アンミキシングや、退色のみによる解析とは異なり、本実施形態の画像取得解析システム１００００においては、退色系列分光画像データＤＳＩを利用して、蛍光スペクトル系列Ｓおよび退色系列Ｄについての事前の知識を利用することなく蛍光物質別の濃度Ｃの画像を推定する。ここで、蛍光スペクトル系列Ｓは蛍光物質別の発光波長分布を示す。また、退色系列Ｄは励起光の繰り返しの各照射または照射期間中の時刻に対応する蛍光物質別の退色変化を示す。そして、濃度Ｃは各画素位置における蛍光物質別の濃度画像データである。この推定を実行するために用いるモデルをＰＡＲＡＦＡＣモデルと呼ぶ。
［１−２−１ ＰＡＲＡＦＡＣモデル］
ＰＡＲＡＦＡＣモデルは式（３）により表現される。
ここでｘｍ，ｌ，ｔは、退色系列分光画像データＤＳＩの各画素位置、波長、退色系列により特定される画素値である。各インデックスｍ、ｌ、ｔ、およびｎが示す成分は式（１）、（２）と同様である。また、Ｄｔ，ｎ、Ｓｌ，ｎ、Ｃｍ，ｎについても、それぞれ、蛍光物質ｎの退色系列、蛍光物質ｎの発光スペクトル、および、蛍光物質ｎの画素位置ｍにおける濃度である。また、ｅｍ，ｌ，ｔは残差である。
図２は本実施形態において採用するＰＡＲＡＦＡＣモデルの概念図であり、式（３）のテンソルの次元を模式的に表現するものである。式（３）の左辺ｘｍ，ｌ，ｔは、退色系列分光画像データＤＳＩに含まれる個々の画素値であるが、退色系列分光画像データＤＳＩ全体は、図２の左側の直方体Ｘに表現される。この直方体Ｘの各辺に、インデックスｍ、ｌ、ｔを割り振る。ここで、図２においてｍの軸に付された「ｓａｍｐｌｅｓ」の文字列は、検出光学系１１００（図１）により取得された画像の標本点つまり撮影対象Ｓ１の各位置、より直接的には画素位置を意味している。同様に、「ｅｍｉｓｓｉｏｎ」は蛍光物質の波長を、「ｄｅｃａｙ」は退色系列の退色変化を説明する量（繰り返し回数、照射時間など）を示している。したがって、直方体Ｘのうちｍ、ｌ、ｔにより特定される位置に退色系列分光画像データＤＳＩに含まれる個々の画素値ｘｍ，ｌ，ｔが格納されているように考えると、式（３）と図２の模式図との対応が容易に理解される。また、右端の直方体Ｅについても、これが直方体Ｘと同様の広がりを有する残差ｅｍ，ｌ，ｔを示すことは同様である。式（３）の蛍光物質ｎによる和により表現されている右辺第１項は、その和記号により積算されるものが、退色系列Ｄ、蛍光スペクトル系列Ｓ、および、濃度Ｃの三者の積である。この三者の積の和という表現形式はトリリニアリティー（trilinearity）とも呼ばれる。この表現に対応する図２の中央の図表現では、各成分を、依存性を示す軸の向きに延びる長方形により描いている。これら三者は蛍光物質ｎに依存しているものの、三者の積をすべての蛍光物質ｎにより和を取ることによって、直方体Ｘ、Ｅと数値的に比較できる。
再び式（３）に戻ると、式（３）の右辺第１項の和記号により積算される個別の蛍光物質ｎの項は、ｍ、ｌ、ｔにより特定される退色系列分光画像データＤＳＩの要素ｘｍ，ｌ，ｔ（左辺）に対する蛍光物質ｎからの寄与である。そしてその寄与の蛍光物質ｎについての和である式（３）の右辺第１項を説明すれば、もし残差のない完全な推定ができたとするなら各画素位置の画素値ｘｍ，ｌ，ｔと同一となる値、といえる。そのような完全な推定を目指すという意味において、式（３）の右辺第１項は、退色系列分光画像データＤＳＩの各画素位置の強度値となるべき値である。したがって、式（３）において、残差ｅｍ，ｌ，ｔが小さくなるようにすることは、退色系列Ｄ、蛍光スペクトル系列Ｓ、および、濃度Ｃを、退色系列分光画像データＤＳＩに適合させることを意味している。
［１−２−２ ブラインド・デコンポジション］
本実施形態において、ＰＡＲＡＦＡＣモデルを利用し、退色系列Ｄ、蛍光スペクトル系列Ｓ、および、濃度Ｃを、退色系列分光画像データＤＳＩに適合させる目的のために採用する解析方法（パラメータ推定方法）をブラインド・デコンポジション法と呼ぶ。ブラインド・デコンポジション法は、ＰＡＲＡＦＡＣモデルのパラメータ推定を実行することができる任意の手法を含んでいる。例えば、一般に最尤法や交互最小二乗法によりＰＡＲＡＦＡＣモデルのパラメータ推定を実行することができる。本実施形態において採用することができる具体例として、「１−３−１ 処理フロー」の欄において交互最小二乗法による推定手法を説明する。
［１−２−３ 蛍光物質別の濃度画像］
最終的に利用される情報は蛍光物質別の濃度Ｃの画像である。どの画素位置にどの蛍光物質がどの程度分布しているかの情報である蛍光物質別の濃度Ｃの画像が多重蛍光画像から分離できれば、画像解析の目的が達成される。濃度Ｃをすべての蛍光物質ｎについて推定して決定する処理が蛍光物質別の分布情報を取得する処理にほかならない。
［１−３ 処理フローと装置構成の詳細］
以下、本実施形態の画像取得解析システム１００００の各要素のより具体的な機能および詳細なアルゴリズムについて図３〜図６を参照して説明する。図３は、退色系列分光画像データに含まれている情報を模式的に示す説明図である。また図４は、本実施形態の画像解析装置１２００の構成を示すブロック図である。図５は、画像解析装置１２００における処理を示すフローチャートである。そして図６は、画像解析装置１２００のより詳細な構成を示すブロック図である。
［１−３−１ 処理フロー］
画像解析装置１２００（図４）は、退色系列分光画像データＤＳＩを受け付けるようになっている分光画像データ受信部１５０、ブラインド・デコンポジション解析部２００と、濃度画像記録部３００とを有している。分光画像データ受信部１５０は、退色系列分光画像データＤＳＩを受け付けるようになっている。
図３に示すように、退色系列分光画像データＤＳＩには、図３の紙面上の左右方向に延びるように示された蛍光の分光波長と、下向きに延びるように示された退色系列との二つのインデックスにより特定される画像情報を含んでいる。図３においては、その画像が合計２３０枚（分光波長方向に２３枚、退色系列方向に１０枚）示されている。退色系列分光画像データＤＳＩは、検出光学系１１００のガルバノミラー１６の示す位置情報と受光素子アレイ２４（図１）から直接得られた画像である。このため、退色系列分光画像データＤＳＩの各画像は、図３においてに拡大して模式的に示すように、実空間における位置情報を保持している。退色系列分光画像データＤＳＩの画像は、本実施形態の画像解析手法を実施する場合には、１波長、退色系列の一つの位置において各蛍光物質からの蛍光が重ね合わされた光がつくる画像である。後述するシミュレーションでは、サンプル画像（Ｌｅｎｎａと呼ばれる女性、Ｍａｎｄｒｉｌｌと呼ばれるサルの両画像）の重ね合わせであり、図３はその様子を示している。この段階における各画像は、分光波長と退色系列とにおけるインデックスを指定すれば一意に特定される、各画素位置に分光画像データの強度値を画素値として有するような単色画像となる。
図４に示すように、その退色系列分光画像データＤＳＩは、検出光学系１１００から分光画像データ受信部１５０を通じて画像解析装置１２００に入力される。画像解析装置１２００では、式（３）により説明したＰＡＲＡＦＡＣモデルを利用して、退色系列Ｄ、蛍光スペクトル系列Ｓ、および濃度Ｃが決定される。この決定は、分光画像データ受信部１５０が受け付けた退色系列分光画像データＤＳＩに適合するように行なわれる推定処理といえる。最終的に画像解析装置１２００により決定された各画素位置の濃度Ｃは、例えば、蛍光物質ｎ１の濃度Ｃが濃度画像３０２、蛍光物質ｎ２の濃度Ｃが濃度画像３０４、というように、蛍光物質別の濃度画像データとして濃度画像記録部３００に格納される。
図５に示すように、画像を取得し解析する処理は、大別して、画像取得処理Ｓ１００と、退色系列分光画像データＤＳＩを受信するステップＳ１５０と、ブラインド・デコンポジション解析ステップＳ２００（「ＢＤ解析ステップＳ２００」）と、各画素位置の濃度Ｃを濃度画像記録部３００に格納する処理Ｓ３００とを含んでいる。画像取得処理Ｓ１００は、図１に示した検出光学系１１００における退色系列分光画像データＤＳＩを取得する処理、つまり、励起光照射Ｓ１０２、分光Ｓ１０４、イメージングＳ１０６を行ない受光素子アレイから退色系列分光画像データＤＳＩを出力する処理である。
ＢＤ解析ステップＳ２００は、交互最小二乗法（ａｌｔｅｒｎａｔｉｎｇ ｌｅａｓｔ ｓｑｕａｒｅｓ：ＡＬＳ）によりＢＤ解析部２００において行なわれる。すなわち、まず、退色系列Ｄ、蛍光スペクトル系列Ｓ、濃度Ｃの初期値をＰＡＲＡＦＡＣモデルに代入する処理が行なわれる（Ｓ２０２）。具体的には、式（３）の右辺第１項の和の計算を退色系列Ｄ、蛍光スペクトル系列Ｓ、濃度Ｃの初期値に対して実行する。そして式（３）の右辺第２項である残差を算出して、その残差それ自体、または、残差を二乗した値などの残差に関する値（以下「残差を示す値」という）を、ブラインド・デコンポジションの対象とする画素の全てについて積算した値（残差積算値）を適当な記憶部に格納しておく（Ｓ２０４）。最も典型的な残差積算値は、いわゆる残差二乗和である。この時点では、退色系列Ｄ、蛍光スペクトル系列Ｓ、濃度Ｃは、一度も推定されていない。
次に、収束させる対象として退色系列Ｄ、蛍光スペクトル系列Ｓ、濃度Ｃのうち、いずれか一つを選ぶ（Ｓ２０６）。そして、収束対象のものについての推定値を算出する（Ｓ２０８）。この算出は、例えば残差二乗和を残差積算値とする場合には、行列の積と差の計算を一回ずつ行なう程度の、多数ではあるが独立した重回帰の計算に過ぎず、線形計算であるため容易に行なうことが可能である。さらに、退色系列Ｄ、蛍光スペクトル系列Ｓ、濃度Ｃのうちの収束対象のもののみ値を更新された状態で、新たな残差を算出する（Ｓ２１０）。そして、この新たな残差が減少しているかどうかが比較される（Ｓ２１２）。より直接的には、新たな残差についての残差を示す値が、直前の残差を示す値として格納されているものよりも、残差の減少を示すようになっているかどうかが判定される。例えば残差二乗和が減少していることをもって、残差が減少していることとする。残差が減少している場合は収束途上にあるため、ＹＥＳの分岐に示すように、退色系列Ｄ、蛍光スペクトル系列Ｓ、濃度Ｃのうちからの収束対象を変更する処理が行なわれる（Ｓ２１４）。この処理は残差の減少がみられなくなるまでを繰り返す。収束が完了すると（Ｓ２１２、ＮＯの分岐）、その時点での濃度Ｃを濃度画像記録部３００に格納する（Ｓ３００）。このような、退色系列Ｄ、蛍光スペクトル系列Ｓ、濃度Ｃの推定するべき収束対象を順次変更しながら行なう最小二乗法の処理を、交互最小二乗法という。その後、必要に応じて濃度画像記録部３００から濃度Ｃを呼び出し表示部１３００（図１）により提示すれば、濃度Ｃつまり撮影対象における蛍光物質別の分布情報を利用することが可能となる。
なお、推定される濃度Ｃは、撮影対象の少なくとも一部分の分光画像のデータ系列でよいことには留意されたい。濃度Ｃを撮影対象のすべての分光画像のデータから得られたすべての画素とすることも不可能ではないものの、収束計算の計算量が増大するおそれがある。そのような場合には、退色系列分光画像データＤＳＩとして画素位置の任意の一部のみのデータを利用することより、その一部の位置に対して濃度Ｃを推定することが有用である。その場合、当該一部以外の画素位置の濃度Ｃは上述した処理では推定されないこととなる。そこで、推定すべの濃度画像を得るためには、収束が完了した段階において、推定済の退色系列Ｄおよび蛍光スペクトル系列Ｓを利用して、すべての蛍光物質について、求めるすべての画素の濃度Ｃが一度推定され（Ｓ２５０）、その濃度Ｃが濃度画像記録部３００に格納される（Ｓ３００）。
本手法は特殊な設備を必要とせず、また様々な蛍光色素や蛍光タンパクを標識に利用可能であるため、多重蛍光染色を広く普及させるものと期待される。
［１−３−２ 装置構成の詳細］
次に、上記処理フローを実施するためのより詳細な画像解析装置１２００の構成を説明する。図６に示すように、画像解析装置１２００は、少なくとも一時的にデータを格納可能な任意の記憶部に、退色系列分光画像データ記憶部２１０（「ＤＳＩ記憶部２１０」）と、変数記憶部２２０と、残差記憶部２３０とを有している。これらの記憶部はＢＤ解析ステップＳ２００の処理に利用される。ＤＳＩ記憶部２１０は分光画像データ受信部１５０により受信した退色系列分光画像データＤＳＩを格納する。変数記憶部２２０は、退色系列Ｄ記憶部２２２、蛍光スペクトル系列記憶部２２４、および濃度記憶部２２６を備えている。また、画像解析装置１２００は、演算処理の機能手段として、モデル算出部２４０、残差算出部２５０、および収束判定部２６０を備えている。収束判定部２６０は、推定値算出部２６２、推定後残差算出部２６４、および変数選択部２６６を備えている。本実施形態の画像解析装置１２００は、これらの記憶部や機能手段を利用しＢＤ解析ステップＳ２００の処理を実行する。
図５に示した処理フローは典型的にはコンピュータ（図示しない）の画像処理として実現される。すなわち、典型的な実施形態は、記憶装置、演算装置、および入力装置を備えるコンピュータを利用して、分光画像データ受信ステップＳ１５０、ＢＤ解析ステップＳ２００、および濃度画像記録ステップＳ３００をプログラムにより実行することである。この際、ＢＤ解析ステップＳ２００に関連して述べた交互最小二乗法も実施することができる。図６に示した画像解析装置１２００の詳細な記憶部や機能手段の構成も、コンピュータプログラムとして実装することに支障はない。
［１−３−３ 画像取得解析システム］
これまでの説明において、検出光学系１１００と画像解析装置１２００との動作を別々に説明したが、本実施形態は両者を備える画像取得解析システムとして実施することも可能である。例えば検出光学系１１００をコンピュータから制御してより撮影対象Ｓ１００（図５）の各ステップを実行することにより、当該コンピュータを画像解析装置１２００として動作させることも好適な実施形態である。
［１−４ 複数種の励起光の場合への拡張（拡張したＰＡＲＡＦＡＣモデル）］
次に、励起光が複数種である場合について説明する。図１に示したレーザーコンバイナ１２により複数の波長の光源それぞれを逐次照射すれば、蛍光物質の吸収スペクトルが異なる性質を利用して、蛍光物質の励起効率の違いを利用した分離が可能となる。なお、複数種の励起光を照射するタイミングについては特段の制約はない。例えば、ある種類の励起光による励起光照射および撮影を一連の処理により行ない、その後に別の種類の励起光による励起光照射および撮影を一連の処理により行なう、といった処理によっても、蛍光物質の吸収スペクトルが異なる性質を利用することが可能となる。さらに、複数の波長の光源を照射する態様は、繰り返しまたはある照射期間にわたり照射される。このため、典型的な態様では、複数の波長の光源自体が別々の単一波長の光源の集合により構成されており、各光源からの光が逐次に繰り返し照射される。そして、撮影は、どの光源による励起光を撮影しているかが区別できるような任意のタイミングで撮影される。典型的には、光源を切り替えながら逐次に撮影される。
複数種類の励起光を利用する場合においても、本実施形態ではＰＡＲＡＦＡＣモデルを採用する。区別して説明するため、複数種類の励起光を利用するものを拡張されたＰＡＲＡＦＡＣモデルと呼ぶこととする。拡張されたＰＡＲＡＦＡＣモデルは、式（４）
のように表現される。式（３）との相違点は、式（４）における退色系列Ｄが蛍光物質別の励起波長の依存性をも担っていることである。その区別のため、ここでは退色系列Ｄ’と記す。図７は、拡張されたＰＡＲＡＦＡＣモデルの模式図を図２に準じて示す概念図である。励起光の種類が１種類である場合の退色系列Ｄは退色系列のみを説明する変数成分であった。励起光の種類を増やした場合、その分だけテンソル空間を延長した退色系列Ｄ’を利用する。これは、図３の退色系列分光画像データの説明図では、退色系列の軸であるｔの軸をさらに延長して、別々の励起波長により撮影された画像の数を増やすことに相当する。
なお、ＰＡＲＡＦＡＣモデル（式（３））から拡張されたＰＡＲＡＦＡＣモデル（式（４））への変更に伴う処理フローや装置構成の修正は、複数種の励起光を用いること以外は必要ない。つまり、退色系列分光画像データＤＳＩが複数種の励起光の種類別に得られれば、ＰＡＲＡＦＡＣモデルと同様に処理することができる。
複数種の励起光を利用すれば、例えば１０〜２０色もの多重蛍光染色サンプルを各蛍光物質の画像に分解して、各蛍光物質の濃度の高精度な位置分布を画像化することが可能となる。
［１−５ 応用：リニア・アンミキシング］
次に、ここまでに述べたブラインド・デコンポジション法を応用して実施することができる実用性の高い応用形態について説明する。上記「１−２−１ ＰＡＲＡＦＡＣモデル」の欄にて説明したように、ブラインド・デコンポジションによる推定対象に、蛍光物質別の蛍光スペクトル系列Ｓが含まれていることに本願の発明者らは着目した。ＰＡＲＡＦＡＣモデル（式（３））を利用する本実施形態においては、事前の知識無く蛍光物質別の蛍光スペクトル系列Ｓが得られる。このことは、従来は取得が難しかった蛍光スペクトル系列データＳを、実際の対象物質中において、その場で推定できること、つまり蛍光スペクトル系列データＳを測定していることを意味している。この推定された蛍光物質別の蛍光スペクトル系列Ｓは、環境に左右されやすく、測定に手間を要するなどの理由により取得が難しかった点から、その情報自体の利用価値が高い。
これに加え、特に発明者らが注目したのは、推定された蛍光物質別の蛍光スペクトル系列Ｓが得られれば、従来のリニア・アンミキシング（式（１））の難点が克服されることである。具体的には、本実施形態の応用として、従来のリニア・アンミキシングにおいて必要であったリファレンス・スペクトルに代えて、ＰＡＲＡＦＡＣモデルとブラインド・デコンポジション法により推定した蛍光物質別の蛍光スペクトル系列Ｓを利用することを着想した。
［１−５−１ 線形和モデルのリニア・アンミキシングによる推定の手法と利点］
本実施形態における線形和モデルは、式（５）により示される。
これのみ用いる線形和モデルでは、上述したように、蛍光物質ｎの発光スペクトルＳｌ，ｎが事前の知識として必要となる。そこで、ブラインド・デコンポジション法により得て既知となったＰＡＲＡＦＡＣモデルからの蛍光物質別の蛍光スペクトル系列Ｓを、蛍光物質別リファレンス・スペクトル系列ＳＲとして利用する。式（５）は、式（１）と対比させれば明らかなように、この置き換えを反映させたものである。つまり、線形和モデルは、追加分光画像データの各画素位置の強度値となるべき値を各蛍光物質からの寄与の和により表現し、各蛍光物質からの寄与を、撮影対象の少なくとも一部分から取得した蛍光物質別リファレンス・スペクトル系列ＳＲと濃度Ｃとの積とすることによりモデル化したものである。なお、追加分光画像データは、退色系列分光画像データＤＳＩではなく、退色系列をなしていない分光画像データである。
リニア・アンミキシングの解析の目的は、追加分光画像のデータから、蛍光物質別の各位置の濃度Ｃｍ，ｎを推定することとなる。この推定は、残差ｅｍ，ｌをできるだけ小さくするように濃度Ｃｍ，ｎを適合させることにより行なわれる。このため、ブラインド・デコンポジション法のような、残差を示す値の収束を判定したり、収束させる成分を順次切り替える交互最小二乗法の処理は不要である。図５に示したＢＤ解析ステップＳ２００の処理に基づいて説明すれば、モデルへの代入Ｓ２０２と推定値の算出Ｓ２０８の線形演算以外の処理は不要となる。したがって、リニア・アンミキシングではブラインド・デコンポジション法に比べて遙かに処理が迅速に行なえ実用性が高い。しかも、解析対象のデータは退色系列をなしていない分光画像データであるため、撮影のために、励起光を繰り返し照射したりある期間にわたり照射し続けることは要さない。
［１−５−２ リファレンス・スペクトルの作製］
次に、線形和モデルをリニア・アンミキシング法により処理するための機能について図４および図８を参照して説明する。図８は、本実施形態におけるリニア・アンミキシングの処理を行なう機能手段を示すブロック図である。上述したように、撮影対象の少なくとも一部から取得した退色系列分光画像データＤＳＩを利用して少なくとも一度ブラインド・デコンポジション法を実行する。その際、図４に示した画像解析装置１２００により濃度Ｃを推定するのと併せて、蛍光物質別の蛍光スペクトル系列Ｓも推定されている。この蛍光物質別の蛍光スペクトル系列Ｓが、各蛍光物質について既知となった蛍光スペクトルである蛍光物質別リファレンス・スペクトル系列ＳＲとしてＳＲ記録部１４００に格納される。
［１−５−３ 装置構成と処理フロー］
この蛍光物質別リファレンス・スペクトル系列ＳＲは。図８に示すように、ＬＵ解析部１５００に入力される。また、ＬＵ解析部１５００に接続されている分光画像データ受信部１５０は、追加分光画像データＡＳＩ（Additional Spectral Image data）を受け付けるようになっている。この追加分光画像データＡＳＩは、検出光学系１１００により追加励起光を照射して撮影することが可能なものである。ただし、リニア・アンミキシングにより処理する撮影対象（「今次の撮影対象」）は、蛍光物質別リファレンス・スペクトル系列ＳＲを得た撮影対象と同一の撮影対象であるか、または、別の撮影対象であっても、スペクトル系列Ｓが既知となって蛍光物質別リファレンス・スペクトル系列ＳＲが得られている蛍光物質を少なくとも１種含むものである。追加分光画像データＡＳＩは、追加励起光の照射に応じて今次の撮影対象から発せられた光を分光してイメージングすることにより得られた撮影対象の分光画像である。
次に、ＬＵ解析部１５００は、蛍光物質別リファレンス・スペクトル系列ＳＲをＳＲ記録部１４００から呼び出して、各画素位置における蛍光物質別の濃度画像データのための濃度Ｃを、分光画像データ受信部が受け付けた追加分光画像データＡＳＩに適合するように決定する。この決定のために式（５）の線形和モデルが利用される。そして、今次の撮影対象についての各画素位置の濃度Ｃが、蛍光物質別の濃度画像データとして濃度画像記録部３００に格納される。
上記処理フローを実施するためのより詳細なＬＵ解析部１５００の構成は図６に示されている。ＬＵ解析部１５００は、少なくとも一時的にデータを格納可能な任意の記憶部に、追加分光画像データ記憶部５１０（「ＡＳＩ記憶部５１０」）および変数記憶部５２０を備えている。変数記憶部５２０は、リファレンス・スペクトル系列記憶部５２２、および濃度記憶部５２４を備えている。また、ＬＵ解析部１５００は、推定値算出部５３０も備えている。本実施形態のＬＵ解析部１５００は、これらの記憶部や機能手段を利用して線形和モデルに基づいて、蛍光物質別リファレンス・スペクトル系列ＳＲから蛍光物質別の濃度画像データのための濃度Ｃを推定する。
ＬＵ解析部１５００による処理は、上述したように、図５に示したＢＤ解析ステップＳ２００の処理のうち、モデルへの代入Ｓ２０２と推定値の算出Ｓ２０８の線形演算に相当する処理以外は不要となる。このため、コンピュータによる処理は容易である。また、検出光学系１１００を利用して今次の撮影対象から追加分光画像データＡＳＩを得ることも、励起光の繰り返しの照射やある期間の照射が不要となるため迅速に行える。したがって、リニア・アンミキシング法の実用性をブラインド・デコンポジション法により高める本実施形態では、高速な処理と処理効率の向上を達成することが可能となる。例えば、ＬＵ解析部１５００による処理は即時に行なうことも可能であり、蛍光物質別の濃度画像データのための濃度Ｃの画像の連なりである動画をリアルタイムで得ることも可能となる。
［２ シミュレーション例］
本願の発明者らは、上述した構成の実用性を確かめるためシミュレーションによる確認を行なった。そして、任意の濃度分布をもつ蛍光物質が同時に存在し、蛍光波長範囲がオーバーラップしていても、ＰＡＲＡＦＡＣモデルをブラインド・デコンポジション法により解析する画像解析装置１２００の処理が十分な精度をもたらすことを確認した。以下のシミュレーション例に示す手法、処理内容、処理手順、要素や具体的処理等は本発明の趣旨を逸脱しない限り適宜変更することかできる。したがって、本発明の範囲は以下の具体例に限定されるものではない。説明には、図９〜１２に加え図３〜８も適宜参照する。
［２−１ シミュレーションの手法］
図９は、シミュレーションに用いた画像データの様子を示す画像データの表示である。図９（ａ）に示す６画像（（ａ１）〜（ａ６））は、多重蛍光画像を模擬して重ね合わせる前のオリジナル画像であるのに対し、図９（ｂ）の６画像（（ｂ１）〜（ｂ６））は、画像解析装置１２００により分離した状況を模擬した復元画像である。また、図１０は、各画像の各プレーンに対応させる６種類の蛍光物質の発光スペクトルと退色系列を示すグラフである。図１０（ａ）の２画像（（ａ１）、（ａ２））は、それぞれ、オリジナル画像に対応させる発光スペクトルおよび退色系列であり、図１０（ｂ）の２画像（（ｂ１）、（ｂ２））は、それぞれ、画像解析装置１２００による分離処理の際に推定された発光スペクトルおよび退色系列である。
本実施形態の画像解析装置１２００の性能を確認するために、次の４ステップの手順でシミュレーションを実施した。
ステップ１：まず、Ｌｅｎｎａと呼ばれる女性と、Ｍａｎｄｒｉｌｌと呼ばれるサルとについての写真のデジタル画像データを準備した。これらの画像データは、ＤＳＩＢＡ（Ｓｔａｎｄａｒｄ Ｉｍａｇｅ Ｄａｔａ−ＢＡｓｅ）に含まれている。これらの画像を総称してオリジナル画像と呼ぶ。オリジナル画像の画素サイズはいずれも２５６×２５６画素であり、ＬｅｎｎａおよびＭａｎｄｒｉｌｌのそれぞれが赤（Ｒ）、青（Ｂ）、緑（Ｇ）の各プレーンを持ち、各プレーンの各画素が最大２５６階調のビット深度の画素値である（図９（ａ））。
ステップ２：次に、解析対象の退色系列分光画像データＤＳＩを準備した。具体的には、上記オリジナル画像それぞれの各プレーン（全６プレーン）を対象として、蛍光物質は６種類とした。各プレーンに１種ずつの蛍光物質を対応させた。重ね合わせは、各プレーンの各画素が、当該プレーンに対応付けされた蛍光物質の発光スペクトル、退色時系列を示すとともに、一つひとつのブレーン内での分布が画素値に対応しているとした。なお、６種類の蛍光物質の発光スペクトルは、実在の蛍光物質（ＡＴＴＯ４８８、Ａｌｅｘａ４８８、ＢＯＤＩＰＹ ＦＬ、ＦＩＴＣ、ＯｒｅｇｏｎＧｒｅｅｎ４８８、ＳＹＴＯＸ Ｇｒｅｅｎ）の発光スペクトルであるものの、退色時系列は実在のものを参考に作成した仮想の退色時系列である（図１０（ａ））。これらのデータ数は、発光スペクトルの各波長（４９０ｎｍ〜６００ｎｍ、５ｎｍ刻みで２３チャネル）および退色系列の各タイミング（照射光の照射タイミング毎の１０タイミング）とした。重ね合わせて得られた２３０枚の画像（「重ね合わせ画像」）のデータを退色系列分光画像データとする。この段階の重ね合わせ画像を図示したものが図３である。
ステップ３：退色系列分光画像データを対象に、ＰＡＲＡＦＡＣモデルの退色系列Ｄ、蛍光スペクトル系列Ｓ、濃度Ｃをブラインド・デコンポジション法により推定した。この際、退色系列分光画像データ、上記モデル、補助的な制約条件（定数倍の不定性を避けるために課すΣＳｎ＝１およびＤ１，ｎ＝１の条件）、そして蛍光物質が６種であること（ｎが１〜６であること）のみを与える。この際、各蛍光物質の発光スペクトルも退色系列も実際の値は与えず、計算が可能な初期値のみを与える。この初期値の例は、退色なし（すべでのｔについてＤｔ，ｎ＝１）、区間［０，１］の一様乱数のスペクトルＳｎを代入する。ブラインド・デコンポジション法の計算手法としては交互最小二乗法を採用する（図５、ＢＤ解析ステップＳ２００）。なお、計算では、計算誤差の蓄積などの点を考慮して、画素値などの浮動小数点計算の精度は倍精度（６４ビット）とした。なお、ステップ３の具体的処理では、ＢＤ解析ステップＳ２００（図５）のフローにおいて、収束計算の部分（Ｓ２０４〜Ｓ２１２）はすべての画素ではなく一部の画素のみを対象とした。具体的には、２５６×２５６のサイズの画像の中央を通る縦１ラインと横1ラインからなる５１２画素のみを選択した。したがって、式（３）のｍは１〜５１２である。そのデータのみを利用しＢＤ解析ステップＳ２００として退色系列Ｄ、蛍光スペクトル系列Ｓ、濃度Ｃを収束計算により推定した。そして全濃度Ｃの推定（Ｓ２５０）において、全蛍光物質について、推定が完了している退色系列Ｄと蛍光スペクトル系列Ｓを用いて、２５６×２５６のサイズの画像すべての濃度Ｃを計算した。
ステップ４：分離された画像を評価した。つまり、ブラインド・デコンポジション法により推定された退色系列Ｄ、蛍光スペクトル系列Ｓ、濃度Ｃのうち、濃度Ｃが、蛍光物質６種類に対応する濃度画像となっているかどうかを確認した。なお、濃度画像がいずれの蛍光物質のものであるかを決定するには、同時に推定される退色系列Ｄ、蛍光スペクトル系列Ｓを通じて特定することができる。
以上の４ステップのシミュレーションのうち、ステップ１および２は、検出光学系１１００において退色系列分光画像データを得る実験状況を模擬するものである。そしてステップ３により、事前知識無しでの退色系列分光画像データを対象とする、画像解析装置としての動作を模擬する。最後のステップ４は、画像解析装置１２００が意図通りに動作したかどうかを確認する段階である。
［２−２ シミュレーション結果］
以下、上記シミュレーションの結果について説明する。まず、ステップ３により推定された復元画像や推定された蛍光物質の特性は図９（ｂ）および図１０（ｂ）に示した通りである。図９（ｂ）の６枚の復元画像は、対応するオリジナル画像と目視しても見分けが付かない。同様に、図１０（ｂ）の発光スペクトルおよび退色時系列のグラフもステップ２において与えたものと見分けが付かない。また、目視確認する限り、図１０（ｂ１）のＬｅｎｎａのＲプレーンの画像に、図１０（ｂ４）〜（ｂ６）のＭａｎｄｒｉｌｌのいずれのプレーンの画像が混じっている痕跡は確認できない。
さらに、ＬｅｎｎａおよびＭａｎｄｒｉｌｌそれぞれにおける各プレーン間での混じり合い、といった、元々互いに高い相関のある画像における復元の精度を確認するため、数値的な評価を行なった。表１は、各プレーンの２５６×２５６画素の画素値を標本としたときのオリジナル画像と復元画像の代表的な統計量をまとめたものである。表１は、項目名を示す欄を除き、各行が各プレーンに対応し、各列が順にオリジナル画像の画素値の平均値、最小値および最大値、ならびに、復元画像の画素値の平均値、最小値および最大値である。
表１から分かるように、２５６×２５６個の全画素にわたる平均値、最小値および最大値のいずれをみても、画素深度８ビット（２５６階調）のフォーマット上でＬＳＢ（最下位ビット、値の「１」）を超えるような差はみられない。
より厳密な比較のために、各プレーンの２５６×２５６画素の左右および上下の画像のすべての画素値を対象とした画素毎の対比による差分を標本として、主要な統計量をまとめたのが表２である。また、その標本に対するヒストグラムを図１１に示す。なお、上記差分は残差（式（３）、右辺第２項）に該当する。表２は、項目名を示す欄を除き、各行が各プレーンに対応し、各列が順にオリジナル画像と復元画像の画素値の差分の平均値、標準偏差、最小値および最大値である。表２直下には、６プレーンすべての画素をまとめた場合の平均、標準偏差、最小値および最大値を記している。
表２および図１１に示すように、２５６×２５６画素の全画素においてオリジナル画像と復元画像の差分は、ＬＳＢである１に比べて、平均値、最小値および最大値のいずれも絶対値が十分に０に近い値である。すなわち、少なくとも８桁程度の精度で復元画像がオリジナル画像と一致している。このため、本実施形態の手法は、シミュレーションの画像の２５６階調程度の精度を大きく上回る高い精度により画像を復元しうる能力を持つものといえる。以上のように、本実施形態の画像解析装置１２００の動作によるブラインド・デコンポジション法によって非常に高い精度でオリジナル画像を復元しうることをシミュレーションにより確認した。
留意すべきは、この高い精度が、互いに相関がある画像、つまりＬｅｍｍａやＭａｎｄｒｉｌｌそれぞれのＲ、Ｂ、Ｇプレーン間の画像同士を分離する際にも達成されていることである。つまり、画像解析装置１２００による画像解析処理の実用性は蛍光物質の分離性の点で十分に高精度であり、撮影対象において近い位置をラベルする可能性のある蛍光物質が、蛍光スペクトルにオーバーラップを有している、といった分離が難しい条件をも克服することができる。しかも、画像解析装置１２００による画像解析処理は、十分に高精度な数値的な分離を行ないうるものであり、定量性と再現性の点にも問題が生じにくい。
本願の発明者らは、これらのシミュレーションによる確認事実が、画像解析装置１２００による蛍光物質別の濃度画像を高精度に分離する処理が様々な場面において有用であることを示すと確信している。例えば、実際の撮影対象に複数の蛍光物質を含ませて検出光学系１１００により撮影した場合には、シミュレーションと異なり、蛍光の光の粒子性によるノイズが問題となるなど、実験上の様々な精度低下要因が存在する場合がある。その場合であっても、例えば、分光条件を変更したり、画像の蓄積を行なったりといった周知の画像精度改善手法を本実施形態に適用することは容易である。したがって、実際の対象物質に蛍光物質の蛍光スペクトルが近接したりオーパーラップがあるような複数種の蛍光物質によりラベルする条件であっても、発光スペクトルと退色系列についての事前の知識を必要とせず、個々の蛍光物質別の濃度画像を推定することは十分に可能である。
さらに、本願の発明者らは、図１０に示した蛍光物質の発光スペクトルと退色系列の値も、推定された発光スペクトルや退色系列は、６つのプレーンに対応させた蛍光物質の発光スペクトルや退色系列に十分近い値であると考えている。このため、例えばブラインド・デコンポジション法により推定された蛍光スペクトルを利用してリニア・アンミキシングを行なう「１−５ 応用：リニア・アンミキシング」の欄にて説明した手法を採用するとしても、十分に高い精度で今次の撮影対象の復元を実行することが可能となると考えている。
さらに本願の発明者らは、処理アルゴリズムの頑健性（robustness）の観点から、図４〜図８に示した画像解析手法が十分な実用性を備えていることを確認している。具体的には、現実に撮影された画像には、ショットノイズに代表される各種のノイズが不可避的に含まれている。本発明者らが確認した点は、解析される退色系列分光画像データにノイズが重畳している場合には、ノイズに起因した分離精度の劣化が生じること、しかしその劣化の程度は、画像解析手法の実用性を損なうほどに急激なものではないこと、である。光を利用する画像撮影手法である以上、本実施形態の画像解析手法も、例えば光が弱く光の粒子性によるショットノイズが生じればその影響からは免れ得ない。ただし、本実施形態の画像解析手法におけるノイズの影響は、ノイズの量の増大に応じ徐々に画像が劣化するものであった。これらの点から、本実施形態の画像解析手法は十分に頑健であると結論づけられる。
［３ 変形例］
［３−１ 多色励起への応用］
上述したシミュレーションは、励起波長を１波長とした場合に対応する状況において、６種の蛍光物質（６色）による多重蛍光画像から復元画像を生成しうることを確認したものである。本実施形態では、吸収スペクトルに違いがある蛍光物質を利用する限り、多種の励起光を照射した得た励起光別の退色系列分光画像データからより多数種類の多重蛍光画像からの個別蛍光物質の分布画像の再現が可能である。
［３−２ マイクロアレイ］
マイクロアレイなどの蛍光を用いた生化学アッセイに本実施形態の画像解析装置１２００を応用することも有用である。複数の蛍光物質を利用した蛍光標識を組み合わせることにより、共同的に働く複数の細胞内コンポーネントの挙動を解析する処理を効率良く実行することが可能となる。
［３−３ 自家蛍光の積極的利用］
撮影対象それ自体の組織が何らかの蛍光を示す自家蛍光がみられる場合であっても、上述した画像解析装置１２００を利用することにより、想定される自家蛍光成分の数を指定することのみで、その自家蛍光成分が、等価的には蛍光物質よる蛍光であるかのような取扱いができる。このため、画像解析装置１２００では、自家蛍光を同定すること、ひいてはその自家蛍光成分を除外することが可能となる。つまり、蛍光スペクトルや退色系列についての事前の知識を要しない本実施形態の手法においては、自家蛍光成分についても同様に分離同定可能である。しかも、複数種の自家蛍光が生じる場合にも、自家蛍光の空間分布を種類別に得ることが可能である。これにより、蛍光イメージングにおいて大幅なＳ／Ｎ比の向上が期待される。これまで省みられなかった退色と自家蛍光を積極的に利用し、蛍光イメージングの質的向上を図ることが可能となるのである。
［３−４ データの順序］
上述したＰＡＲＡＦＡＣモデルやブラインド・デコンポジション法には、様々な観点で変形し工夫することが可能な処理が残されている。例えば、式（３）のｍ、ｔ、ｌそれぞれの付与の仕方については、例えばｍつまり画素位置を示すインデックスは、ラスタースキャンのように主走査と副走査を組み合わせ全画素を網羅することは必要ではない。同様に、退色系列のためのインデックスｔについても、照射光の繰り返しの順序に合わせる必要も無い。ブラインド・デコンポジション法においては、画素間の相関は使用せず、発光スペクトルを表式で近似したりせず、また、退色系列に特定の時間変化を仮定してもいない。したがって、ＰＡＲＡＦＡＣモデルとして説明した成分の組合せにより表現される限り、収束計算の観点や様々な観点により、データの処理順序を変更することが可能である。
［３−５ コンピュータによる実施形態の多様性］
画像解析装置１２００の実装をコンピュータにより行なう場合、ＢＤ解析部２００や濃度画像記録部３００（図４）を実装する画像解析用コンピュータの形式や数は特に限定されない。例えば、検出光学系１１００とコンピュータネットワークを利用し接続された任意のコンピュータにＢＤ解析部２００や濃度画像記録部３００のいずれかまたは一方のみを実装することが可能である。
［３−６ 動画への適用とその利点］
濃度画像記録部３００（図４）に記録される蛍光物質別の濃度Ｃは、その画像自体を観察のために利用できるほか、動画の構成要素としても利用することが可能である。例えば適当な時間間隔で継続的に撮影した濃度Ｃを時間順に並べれば、動画を構成することができる。この際、励起光の照射に対し蛍光物質が退色する依存性は、退色系列Ｄにのみ反映され濃度Ｃに陽には含まれない。このことは、濃度Ｃを時間に沿って配置した動画においては、たとえ蛍光物質が退色するようなものであっても、その蛍光の変化がキャンセルされることを意味している。つまり、本実施形態の手法により得た動画は、退色による見かけ上の変化にほとんど影響されずに蛍光物質の空間分布の時間的挙動をより正確に把握することを可能にするものといえる。
以上、本発明の実施形態を具体的に説明した。上述した実施形態およびシミュレーション例は、発明を説明するために記載されたものであり、本出願の発明の範囲は、特許請求の範囲の記載に基づき定められるべきものである。また、上述した実施形態の他の組合せを含む本発明の範囲内に存在する変形例もまた、特許請求の範囲に含まれるものである。
本発明の画像解析手法は、蛍光抗体染色、ＦＩＳＨ（蛍光 ｉｎ ｓｉｔｕ ハイブリダイゼーション）、ライブイメージングはもとより、マイクロアレイなどの蛍光を用いた生化学アッセイの多色化によるハイスループット化に貢献する。
１００００ 画像取得解析システム
１１００ 励起光照射分光検出光学系（検出光学系）
１０ 共焦点スキャナ
１２ レーザーコンバイナ
１４ ダイクロイックミラー
１６ ガルバノミラー
１８ 対物レンズ
２０ ピンホール
２２ 回折格子
２４ 受光素子アレイ
１２００ 画像解析装置
１５０ 分光画像データ受信部
２００ デコンポジション解析部（ＢＤ解析部）
２１０ 退色系列分光画像データ記憶部（ＤＳＩ記憶部）
２２０ 変数記憶部
２２２ 退色系列Ｄ記憶部
２２４ 蛍光スペクトル系列Ｓ記憶部
２２６ 濃度Ｃ記憶部
２３０ 残差記憶部
２４０ モデル算出部
２５０ 残差算出部
２６０ 収束判定部
２６２ 推定値算出部
２６４ 推定後残差算出部
２６６ 変数選択部
３００ 濃度画像記録部
３０２、３０４ 蛍光物質別の濃度画像
１３００ 表示部
１４００ スペクトル系列記録部（ＳＲ記録部）
１５００ アンミキシング解析部（ＬＵ解析部）
５１０ 追加分光画像データ記憶部（ＡＳＩ記憶部）
５２０ 変数記憶部
５３０ 推定値算出部

Claims (14)

  1. 退色系列分光画像データを受け付けるようになっている分光画像データ受信部と、ここで該退色系列分光画像データは、複数種の蛍光物質を含む撮影対象に向けて少なくとも１種の励起光を繰り返しまたはある照射期間にわたり照射し、励起光の照射に応じて前記撮影対象から発せられた光を分光してイメージングすることにより得られた前記撮影対象の少なくとも一部分の分光画像のデータ系列であり、
    ＰＡＲＡＦＡＣモデルを利用して、蛍光物質別の発光波長分布のための蛍光スペクトル系列Ｓ、励起光の繰り返しの各照射または前記照射期間中の時刻に対応する蛍光物質別の退色変化のための退色系列Ｄ、および各画素位置における蛍光物質別の濃度画像データのための濃度Ｃを、前記分光画像データ受信部が受け付けた前記退色系列分光画像データに適合するように決定するブラインド・デコンポジション解析部と、ここで前記ＰＡＲＡＦＡＣモデルは、前記退色系列分光画像データの各画素位置の強度値となるべき値を各蛍光物質からの寄与の和により表現し、各蛍光物質からの寄与を、前記蛍光スペクトル系列Ｓと前記退色系列Ｄと前記濃度Ｃとの三者の積とすることによりモデル化したものであり、
    前記ブラインド・デコンポジション解析部により決定された各画素位置の前記濃度Ｃを蛍光物質別の濃度画像データとして格納する濃度画像記録部と
    を備えてなる
    画像解析装置。
  2. 前記退色系列分光画像データが、互いに異なる励起光スペクトルを持つ複数種の励起光それぞれを、繰り返しまたはある照射期間にわたり照射して得られたものであり、
    前記ブラインド・デコンポジション解析部は、拡張したＰＡＲＡＦＡＣモデルを利用して、前記分光画像データ受信部が前記複数種の励起光の種類別に受け付けた前記退色系列分光画像データに適合するように、前記蛍光スペクトル系列Ｓ、前記退色系列Ｄ、および前記濃度Ｃを前記励起光の種類別に決定するものであり、ここで前記拡張したＰＡＲＡＦＡＣモデルは、前記励起光の種類別に、前記退色系列分光画像データの各画素位置の強度値となるべき値を各蛍光物質からの寄与の和により表現し、各蛍光物質からの寄与を、前記蛍光スペクトル系列Ｓと前記退色系列Ｄと前記濃度Ｃとの三者の積とすることにより前記励起光の種類別にモデル化したものである
    請求項１に記載の画像解析装置。
  3. 前記ブラインド・デコンポジション解析部は、前記寄与の和と前記退色系列分光画像データの各画素位置の強度値との間の残差を示す値を前記退色系列分光画像データの範囲について積算した値である残差積算値を減少させるように、交互最小二乗法によって、前記スペクトル系列Ｓと前記照射系列Ｄと前記濃度Ｃとを決定するものである
    請求項１または請求項２に記載の画像解析装置。
  4. 前記撮影対象の少なくとも一部分の撮影に基づいて前記ブラインド・デコンポジション解析部が決定し既知となった蛍光物質別の前記スペクトル系列Ｓを含む蛍光物質別リファレンス・スペクトル系列ＳＲを格納する蛍光物質別リファレンス・スペクトル系列記録部
    をさらに備え、
    前記分光画像データ受信部は、前記撮影対象、または前記複数種の蛍光物質のうちスペクトル系列Ｓが既知となった蛍光物質を少なくとも１種含む別の撮影対象のいずれかである今次の撮影対象に向けて少なくとも１種の追加励起光を照射し、該追加励起光の照射に応じて該今次の撮影対象から発せられた光を分光してイメージングすることにより得られた該今次の撮影対象の分光画像である追加分光画像データを受け付けるようになっており、
    前記蛍光物質別リファレンス・スペクトル系列ＳＲを前記蛍光物質別リファレンス・スペクトル系列記録部から呼び出して、線形和モデルを利用して、各画素位置における蛍光物質別の濃度画像データのための濃度Ｃを、前記分光画像データ受信部が受け付けた前記追加分光画像データに適合するように決定するリニア・アンミキシング解析部
    をさらに備え、
    ここで前記線形和モデルは、前記追加分光画像データの各画素位置の強度値となるべき値を各蛍光物質からの寄与の和により表現し、各蛍光物質からの寄与を、前記蛍光物質別リファレンス・スペクトル系列ＳＲと前記濃度Ｃとの積とすることによりモデル化したものであり、
    前記濃度画像記録部が、前記リニア・アンミキシング解析部により決定された、前記今次の撮影対象についての各画素位置の前記濃度Ｃを蛍光物質別の濃度画像データとして格納するものである
    請求項１または請求項２に記載の画像解析装置。
  5. 退色系列分光画像データを受け付ける分光画像データ受信ステップと、ここで該退色系列分光画像データは、複数種の蛍光物質を含む撮影対象に向けて少なくとも１種の励起光を繰り返しまたはある照射期間にわたり照射し、該励起光の照射に応じて前記撮影対象から発せられた光を分光してイメージングすることにより得られた前記撮影対象の少なくとも一部分の分光画像のデータ系列であり、
    ＰＡＲＡＦＡＣモデルを利用して、蛍光物質別の発光波長分布のための蛍光スペクトル系列Ｓ、励起光の繰り返しの各照射または前記照射期間中の時刻に対応する蛍光物質別の退色変化のための退色系列Ｄ、および各画素位置における蛍光物質別の濃度画像データのための濃度Ｃを、受け付けた前記退色系列分光画像データに適合するように決定するブラインド・デコンポジション解析ステップと、ここで前記ＰＡＲＡＦＡＣモデルは、前記退色系列分光画像データの各画素位置の強度値となるべき値を各蛍光物質からの寄与の和により表現し、各蛍光物質からの寄与を、前記蛍光スペクトル系列Ｓと前記退色系列Ｄと前記濃度Ｃとの三者の積とすることによりモデル化したものであり、
    前記ブラインド・デコンポジション解析ステップにより決定された各画素位置の前記濃度Ｃを蛍光物質別の濃度画像データとして濃度画像記録部に格納する濃度画像記録ステップと
    を含んでなる
    画像解析方法。
  6. 前記退色系列分光画像データが、互いに異なる励起光スペクトルを持つ複数種の励起光それぞれを、繰り返しまたはある照射期間にわたり照射して得られた前記複数種の励起光の種類別のものであり、
    前記ブラインド・デコンポジション解析ステップは、拡張したＰＡＲＡＦＡＣモデルを利用して、前記複数種の励起光の種類別に受け付けた前記退色系列分光画像データに適合するように、前記蛍光スペクトル系列Ｓ、前記退色系列Ｄ、および前記濃度Ｃを前記励起光の種類別に決定するものであり、ここで前記拡張したＰＡＲＡＦＡＣモデルは、前記励起光の種類別に、前記退色系列分光画像データの各画素位置の強度値となるべき値を各蛍光物質からの寄与の和により表現し、各蛍光物質からの寄与を、前記蛍光スペクトル系列Ｓと前記退色系列Ｄと前記濃度Ｃとの三者の積とすることにより前記励起光の種類別にモデル化したものである
    請求項５に記載の画像解析方法。
  7. 前記ブラインド・デコンポジション解析ステップは、前記寄与の和と前記退色系列分光画像データの各画素位置の強度値との間の残差を示す値を前記退色系列分光画像データの範囲について積算した値である残差積算値を減少させるように、交互最小二乗法によって、前記スペクトル系列Ｓと前記照射系列Ｄと前記濃度Ｃとを決定するものである
    請求項５または請求項６に記載の画像解析方法。
  8. 前記撮影対象の少なくとも一部分の撮影に基づいて前記ブラインド・デコンポジション解析ステップにより決定され既知となった蛍光物質別の前記スペクトル系列Ｓを含む蛍光物質別リファレンス・スペクトル系列ＳＲを蛍光物質別リファレンス・スペクトル系列記録部に格納する蛍光物質別リファレンス・スペクトル系列記録ステップ
    をさらに含み、
    前記分光画像データ受信ステップは、前記撮影対象、または前記複数種の蛍光物質のうちスペクトル系列Ｓが既知となった蛍光物質を少なくとも１種含む別の撮影対象のいずれかである今次の撮影対象に向けて少なくとも１種の追加励起光を照射し、該追加励起光の照射に応じて該今次の撮影対象から発せられた光を分光してイメージングすることにより得られた該今次の撮影対象の分光画像である追加分光画像データを受け付けるものであり、
    前記蛍光物質別リファレンス・スペクトル系列ＳＲを前記蛍光物質別リファレンス・スペクトル系列記録部から呼び出して、線形和モデルを利用して、各画素位置における蛍光物質別の濃度画像データのための濃度Ｃを、前記分光画像データ受信ステップにおいて受け付けた前記追加分光画像データに適合するように決定するリニア・アンミキシング解析ステップ
    をさらに含み、
    ここで前記線形和モデルは、前記追加分光画像データの各画素位置の強度値となるべき値を各蛍光物質からの寄与の和により表現し、各蛍光物質からの寄与を、前記蛍光物質別リファレンス・スペクトル系列ＳＲと前記濃度Ｃとの積とすることによりモデル化したものであり、
    前記濃度画像記録ステップは、前記リニア・アンミキシング解析ステップにより決定された、前記今次の撮影対象についての各画素位置の前記濃度Ｃを蛍光物質別の濃度画像データとして濃度画像記録部に格納するものである
    請求項５または請求項６に記載の画像解析方法。
  9. 記憶装置、演算装置、および入力装置を備えるコンピュータに、請求項５〜請求項７のいずれかに記載の分光画像データ受信ステップ、ブラインド・デコンポジション解析ステップ、および濃度画像記録ステップを実行させる
    画像解析プログラム。
  10. 前記コンピュータに、請求項８に記載の蛍光物質別リファレンス・スペクトル系列記録ステップおよびリニア・アンミキシング解析ステップをさらに実行させる
    請求項９に記載の画像解析プログラム。
  11. 請求項１〜請求項３のいずれか１項に記載の画像解析装置と
    複数種の蛍光物質を含む撮影対象に向けて少なくとも１種の励起光を繰り返しまたはある照射期間にわたり照射する励起光照射部と、
    前記励起光の照射に応じて前記撮影対象から発せられた光を分光することにより分光出力を得る分光部と、
    該分光出力を受光し、前記励起光の繰り返しの各照射または前記照射期間中の時刻に対応する前記撮影対象の少なくとも一部分の分光画像のデータ系列を前記退色系列分光画像データとして出力するイメージャーと
    を備えてなる
    画像取得解析システム。
  12. 請求項４に記載の画像解析装置と、
    複数種の蛍光物質を含む撮影対象に向けて少なくとも１種の励起光を繰り返しまたはある照射期間にわたり照射するとともに、前記撮影対象、または前記複数種の蛍光物質のうちスペクトル系列Ｓが既知となった蛍光物質を少なくとも１種含む別の撮影対象のいずれかである今次の撮影対象に向けて少なくとも１種の追加励起光を照射する励起光照射部と、
    前記励起光の照射に応じて前記撮影対象から発せられた光を分光することにより分光出力を得るとともに、前記追加励起光の照射に応じて前記今次の撮影対象から発せられた光を分光することにより追加分光出力を得る分光部と、
    該分光出力を受光し、前記励起光の繰り返しの各照射または前記照射期間中の時刻に対応する前記撮影対象の少なくとも一部分の分光画像のデータ系列を前記退色系列分光画像データとして出力するとともに、前記追加分光出力を受光し、前記追加励起光に対応する前記今次の撮影対象の少なくとも一部分の分光画像のデータ系列を前記追加分光画像データとして出力するイメージャーと
    を備えてなる
    画像取得解析システム。
  13. 複数種の蛍光物質を含む撮影対象に向けて少なくとも１種の励起光を繰り返しまたはある照射期間にわたり照射する励起光照射ステップと、
    前記励起光の照射に応じて前記撮影対象から発せられた光を分光することにより分光出力を得る分光ステップと、
    該分光出力を受光し、前記励起光の繰り返しの各照射または前記照射期間中の時刻に対応する前記撮影対象の少なくとも一部分の分光画像のデータ系列を退色系列分光画像データとして出力するイメージングステップと、
    ＰＡＲＡＦＡＣモデルを利用して、蛍光物質別の発光波長分布のための蛍光スペクトル系列Ｓ、励起光の繰り返しの各照射または前記照射期間中の時刻に対応する蛍光物質別の退色変化のための退色系列Ｄ、および各画素位置における蛍光物質別の濃度画像データのための濃度Ｃを、受け付けた前記退色系列分光画像データに適合するように決定するブラインド・デコンポジション解析ステップと、ここで前記ＰＡＲＡＦＡＣモデルは、前記退色系列分光画像データの各画素位置の強度値となるべき値を各蛍光物質からの寄与の和により表現し、各蛍光物質からの寄与を、前記蛍光スペクトル系列Ｓと前記退色系列Ｄと前記濃度Ｃとの三者の積とすることによりモデル化したものであり、
    前記ブラインド・デコンポジション解析ステップにより決定された各画素位置の前記濃度Ｃを蛍光物質別の濃度画像データとして濃度画像記録部に格納する濃度画像記録ステップと
    を含んでなる
    画像取得解析方法。
  14. 前記撮影対象の少なくとも一部分の撮影に基づいて前記ブラインド・デコンポジション解析ステップにより決定され既知となった蛍光物質別の前記スペクトル系列Ｓを含む蛍光物質別リファレンス・スペクトル系列ＳＲを蛍光物質別リファレンス・スペクトル系列記録部に格納する蛍光物質別スペクトル系列記録ステップ
    をさらに含み、
    前記分光画像データ受信ステップは、前記撮影対象、または前記複数種の蛍光物質のうちスペクトル系列Ｓが既知となった蛍光物質を少なくとも１種含む別の撮影対象のいずれかである今次の撮影対象に向けて少なくとも１種の追加励起光を照射し、該追加励起光の照射に応じて該今次の撮影対象から発せられた光を分光してイメージングすることにより得られた前記撮影対象の分光画像である追加分光画像データを受け付けるものであり、
    前記蛍光物質別リファレンス・スペクトル系列ＳＲを前記蛍光物質別スペクトル系列記録部から呼び出して、線形和モデルを利用して、各画素位置における蛍光物質別の濃度画像データのための濃度Ｃを、前記分光画像データ受信ステップにおいて受け付けた前記追加分光画像データに適合するように決定するリニア・アンミキシング解析ステップ
    をさらに含み、
    ここで前記線形和モデルは、前記追加分光画像データの各画素位置の強度値となるべき値を各蛍光物質からの寄与の和により表現し、各蛍光物質からの寄与を、前記蛍光物質別リファレンス・スペクトル系列ＳＲと前記濃度Ｃとの積とすることによりモデル化したものであり、
    前記濃度画像記録ステップは、前記リニア・アンミキシング解析ステップにより決定された、前記今次の撮影対象についての各画素位置の前記濃度Ｃを蛍光物質別の濃度画像データとして濃度画像記録部に格納するものである
    請求項１３に記載の画像取得解析方法。
JP2012084643A 2012-04-03 2012-04-03 多重蛍光画像の画像解析のための装置、システム、方法、およびプログラム Expired - Fee Related JP5870821B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2012084643A JP5870821B2 (ja) 2012-04-03 2012-04-03 多重蛍光画像の画像解析のための装置、システム、方法、およびプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012084643A JP5870821B2 (ja) 2012-04-03 2012-04-03 多重蛍光画像の画像解析のための装置、システム、方法、およびプログラム

Publications (2)

Publication Number Publication Date
JP2013213756A JP2013213756A (ja) 2013-10-17
JP5870821B2 true JP5870821B2 (ja) 2016-03-01

Family

ID=49587172

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012084643A Expired - Fee Related JP5870821B2 (ja) 2012-04-03 2012-04-03 多重蛍光画像の画像解析のための装置、システム、方法、およびプログラム

Country Status (1)

Country Link
JP (1) JP5870821B2 (ja)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104677875B (zh) * 2015-03-24 2017-03-29 江南大学 一种三维荧光光谱结合平行因子鉴别不同品牌白酒的方法
DE102015112628A1 (de) * 2015-07-31 2017-02-02 Carl Zeiss Microscopy Gmbh Verfahren zur Erzeugung eines digitalen Fluoreszenzbildes
JP6787561B2 (ja) * 2016-04-18 2020-11-18 学校法人 工学院大学 情報処理装置、方法、及びプログラム
JP7204121B2 (ja) * 2018-08-24 2023-01-16 国立大学法人鳥取大学 細胞識別装置及び細胞識別方法
JP7260189B2 (ja) * 2018-09-18 2023-04-18 国立大学法人 東京大学 物質特定装置、物質特定方法及び物質特定プログラム
JP2021081342A (ja) * 2019-11-20 2021-05-27 ソニーグループ株式会社 情報処理システムおよび情報処理装置
CN112834472B (zh) * 2021-01-05 2023-09-29 广州睿贝医学科技有限公司 多重荧光检测的光谱拆分方法、装置、设备、介质及系统
WO2023026742A1 (ja) * 2021-08-25 2023-03-02 浜松ホトニクス株式会社 色素画像取得方法、色素画像取得装置、及び色素画像取得プログラム
CN114565609B (zh) * 2022-04-27 2022-07-15 河南银金达新材料股份有限公司 一种光致变色膜光学性能在线检测方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6985224B2 (en) * 2003-03-14 2006-01-10 The United States Of America As Represented By The Secretary Of The Navy Light emitting diode (LED) array for excitation emission matrix (EEM) fluorescence spectroscopy
JP4321716B2 (ja) * 2004-09-29 2009-08-26 富士フイルム株式会社 蛍光画像補正方法および装置ならびにプログラム
JP4537231B2 (ja) * 2005-03-07 2010-09-01 独立行政法人理化学研究所 多重蛍光からの蛍光色素濃度の推定方法および多重蛍光からの蛍光強度の推定方法
JP5228729B2 (ja) * 2008-09-16 2013-07-03 株式会社ニコン スペクトル画像処理方法、スペクトル画像処理プログラム、及びスペクトルイメージングシステム
FR2961597B1 (fr) * 2010-06-16 2017-02-24 Spectralys Innovation Procede de caracterisation d'un produit agroalimentaire et appareil pour la mise en oeuvre d'un tel procede.
FR2988473B1 (fr) * 2012-03-22 2014-04-18 Spectralys Innovation Procede et appareil de caracterisation d'echantillons par mesure de la diffusion lumineuse et de la fluorescence.

Also Published As

Publication number Publication date
JP2013213756A (ja) 2013-10-17

Similar Documents

Publication Publication Date Title
JP5870821B2 (ja) 多重蛍光画像の画像解析のための装置、システム、方法、およびプログラム
JP4634304B2 (ja) 蛍光色素の濃度を定量する方法およびシステム
US11869176B2 (en) Hyperspectral imaging system
US10803558B2 (en) Hyperspectral imaging system
US10126242B2 (en) Pure spectrum extraction from biological samples in fluorescence multispectral imaging
US9310302B2 (en) Multi-modality contrast and brightfield context rendering for enhanced pathology determination and multi-analyte detection in tissue
JP5772425B2 (ja) 微小粒子測定装置
US10032064B2 (en) Visualization and measurement of cell compartments
JP4537231B2 (ja) 多重蛍光からの蛍光色素濃度の推定方法および多重蛍光からの蛍光強度の推定方法
Alvarez et al. SP8 FALCON: a novel concept in fluorescence lifetime imaging enabling video-rate confocal FLIM
US20110293154A1 (en) Method and system for characterizing a sample by imaging fluorescence microscopy
JP2005526255A (ja) 試料検査のための方法および装置
JP4964568B2 (ja) 蛍光検出装置、蛍光検出方法および蛍光検出プログラム
US20090103801A1 (en) Separation of Spectrally Overlaid or Color-Overlaid Image Contributions in a Multicolor Image, Especially Transmission Microscopic Multicolor Image
JP6015735B2 (ja) 微小粒子測定装置
JP3706914B2 (ja) 成分分布可視化方法および成分分布可視化装置
JP4037294B2 (ja) 分光画像から複数の固有スペクトル成分の存在割合を求める方法
EP2175301A1 (en) Method for imaging a sample using a microscope, microscope and data storage carrier
US20090290780A1 (en) Analysis method for chemical and/or biological samples
JP7284457B2 (ja) 量子効率分布の取得方法、量子効率分布の表示方法、量子効率分布の取得プログラム、量子効率分布の表示プログラム、分光蛍光光度計及び表示装置
Ghirardello et al. A novel photoluminescence hyperspectral camera for the study of artworks
De Mey et al. Fast 4D microscopy
WO2021005904A1 (ja) 情報処理装置およびプログラム
WO2024003253A1 (en) Computer-implemented multispectral imaging method and system
Fauch et al. Calibration of multispectral imaging system with light emitting diodes

Legal Events

Date Code Title Description
RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20131206

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20131227

RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7426

Effective date: 20140207

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20150113

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20151126

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20151210

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20151228

R150 Certificate of patent or registration of utility model

Ref document number: 5870821

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees