JP2024507724A - 光子到着時間データを有するデジタル画像を処理するためのデータ処理装置および方法 - Google Patents

Abstract

本発明は、入力画像位置（ｘｉ）における入力光子到着時間データ（Ｐｉ（ｘｉ,ｔ））を有するデジタル入力画像（Ｉ）を処理するためのデータ処理装置（１００）および方法に関する。データ処理装置（１００）は、デコンボリューション（１０２）により、デジタル入力画像（Ｉ）に基づいてデジタル出力画像（Ｏ）を計算するように構成されており、デジタル出力画像（Ｏ）は、出力画像位置（ｘｏ）における出力光子到着時間データ（Ｐｏ（ｘｏ,ｔ））を有し、出力光子到着時間データ（Ｐｏ（ｘｏ,ｔ））は、入力光子到着時間データ（Ｐｉ（ｘｉ,ｔ））のぼけのないグラウンドトゥルースの推定値（Ｅ（ｍ）（ｘｉ,ｔ））を表す。デコンボリューション（１０２）は、更新関数（Ｕ）を使用して反復アルゴリズム（１０４）によって計算される。更新関数（Ｕ）は、点拡がり関数（ｐｓｆ（ｘｉ[,ｔ]））と、グラウンドトゥルース（ＩＧＴ（ｘｉ,ｔ））の先行推定値（Ｅ（ｍ－１）（ｘｉ,ｔ））と、入力光子到着時間データ（Ｐｉ（ｘｉ,ｔ））と、に依存する。

Description

本発明は、デジタル入力画像を処理するためのデータ処理装置および方法に関する。デジタル入力画像は、画像位置において入力光子到着時間データを有する。本発明はさらに、このようなデータ処理装置を有する蛍光寿命イメージングデバイスに関する。

光子到着時間データの処理は、例えば、蛍光寿命イメージング顕微鏡法（ＦＬＩＭ：fluorescence lifetime imaging microscopy）から公知である。ＦＬＩＭでは、それぞれの画像位置において、すなわちそれぞれのピクセルまたはボクセルにおいて、検出される光子の到着時間ヒストグラムが格納される。

ＦＬＩＭの主要なゴールは、光子の到着時間から蛍光の寿命、言い換えると減衰時間を推定することである。蛍光は、蛍光トリガ波長帯域を有する光によって照明された蛍光体から放出される。寿命は特に蛍光体の化学状態を示しており、ゆえに蛍光体の化学環境についての結論を導き出すことができる。

光子到着時間データは通常、極めてノイズが多い。さらに、検出システムにより、記録画像に空間的ブラーが不可避的に生じてしまう。ゆえに、光子到着時間データから計算される画像は、ぼけてしまう傾向がある。

それぞれの画像位置において１つまたは複数の時間非依存の強度値を有する典型的な画像データとは異なり、標準的なデコンボリューションアルゴリズム、例えばウィーナーデコンボリューション等は、（強度値が光子計数によって表されると考えられる場合）強度値の時系列を含む画像を鮮鋭化するために適用することはできない。

しかしながら、例えば、O’Connor, D. V.、Ware, W. R.およびAndre, J. C.による“Deconvolution of Fluorescence Decay Curves. A Critical Comparison of Techniques”、Journal of Physical Chemistry、83（10）、1333-1343、1979からは、到着時間データにデコンボリューションを適用することが公知である。しかしながらこのデコンボリューションにより、到着時間データのぼけだけが除去される。空間分解能は向上しない。

到着時間データを有するデジタル入力画像にマルチ画像デコンボリューションを適用することも公知である。これは、例えば、Castello, M.、Diaspro, A.およびVicidomini, G.による“Multi-images Deconvolution Improves Signal-to-Noise Ratio on Gated Stimulation Emission Depletion Microscopy”、Applied Physics Letters、105（23）: 234106、2014に記載されている。しかしながら、このアプローチは、光子到着時間についての情報が失われてしまうデジタル出力画像が結果的に生じてしまう点で不十分である。ゆえにＦＬＩＭのような解析はもはや不可能である。さらに、マルチ画像デコンボリューションは別の欠点を有する。例えば、これは、ノイズによって大きく影響を受けてしまう。また、全ての時間ステップについて別々にデコンボリューションを実行する必要があるため、マルチ画像デコンボリューションは、計算が非効率的でもある。最後に、入力画像データに２つ以上の蛍光体があり、ゆえに２つ以上の蛍光放出スペクトルが存在する場合には、マルチ画像デコンボリューションによって解決手段は提供されない。

ゆえに、光子到着時間データを含むデジタル画像のぼけを除去することができ、計算が効率的であり、かつ到着時間情報を結果的に保持する装置および方法を提供することが強く求められている。

この要求は、デジタル入力画像を処理するためのデータ処理装置によって満たされ、このデータ処理装置は、デコンボリューションにより、デジタル入力画像に基づき、デジタル出力画像を計算するように構成されており、デジタル出力画像は、出力画像位置において出力光子到着時間データを有し、出力光子到着時間データは、入力光子到着時間データのぼけのないグラウンドトゥルースの推定値を表し、データ処理装置はさらに、更新関数を使用して反復アルゴリズムにより、デコンボリューションを計算するように構成されており、更新関数は、点拡がり関数と、グラウンドトゥルースの先行推定値と、入力光子到着時間データと、に依存する。

上記の要求はまた、デジタル入力画像を処理する、コンピュータ実装式の方法によって満たされ、デジタル入力画像は、入力画像位置において入力光子到着時間データを有し、デコンボリューションにより、デジタル入力画像からデジタル出力画像を計算し、デジタル出力画像は、出力画像位置において出力光子到着時間データを有し、出力光子到着時間データは、入力光子到着時間データのぼけのないグラウンドトゥルースの推定値を表し、更新関数を使用して反復アルゴリズムにより、デコンボリューションを計算し、更新関数は、点拡がり関数と、グラウンドトゥルースの先行推定値と、入力光子到着時間データと、に依存する。

上記の要求はまた、上記のようなデータ処理装置を有する蛍光寿命イメージング装置によって満たされ、コンピュータによって実行される場合にこのコンピュータにデータ処理方法を実施させる命令を有するコンピュータプログラム製品および／またはコンピュータ読取可能媒体によって満たされる。

さらに、上記の要求は、デジタル入力画像を処理するための機械学習製品または装置によって満たされ、デジタル入力画像は、入力画像位置において入力画像データを有し、入力画像データは、入力光子到着時間データを有し、機械学習製品は、デジタル出力画像を計算するように構成されており、デジタル出力画像は、出力画像位置において出力画像データを有し、デジタル出力画像データは、出力画像位置において出力光子到着時間データを有し、機械学習製品は、異なるデジタル入力画像とデジタル出力画像とのペアによってトレーニングされており、ペアのデジタル入力画像から計算されるペアのそれぞれのデジタル出力画像は、上述のデジタル出力信号処理方法を使用する。

最後に、上記の要求はまた、上述のデータ処理方法を使用して機械学習製品をトレーニングする方法によって取り扱われる。

上述の解決手段によって結果的に、光子到着時間データを含むデジタル出力画像が得られる。ゆえに、上述の解決手段は、ＦＬＩＭ関連解析と完全に互換性を有する。反復アルゴリズムおよび更新関数により、計算が効率的なアルゴリズムが使用可能になる。最後に、グラウンドトゥルース、すなわちノイズおよび歪みを有しない「リアルな」ピクチャの推定値により、光子到着時間データおよび空間位置の両方が考慮されるため、光子到着時間データの空間分解能および信号対雑音比が改善される。

上述の解決手段は、互いに独立して組み合わせ可能な次の特徴によってさらに改善可能である。この文脈において、装置またはデバイスに関して次に説明する特徴はまた、方法を改善するためにも使用可能であり、方法に関して次に説明する特徴は、装置またはデバイスを改善するためにも使用可能である。

例えば、デジタル入力画像は、線画像すなわち１次元画像、２次元画像、３次元画像またはより高次元の画像であってよい。

デジタル出力画像は好ましくは、デジタル入力画像と同じ次元数を有するため、情報が失われることがない。特に、デジタル入力画像およびデジタル出力画像は、同じ個数の画像位置を有していてよい。好ましくは、デジタル入力画像およびデジタル出力画像の画像位置は、互いに対応する。これらの特徴のいずれかによって保証されるのは、デジタル出力画像に含まれる情報が、互いに相関付けされ得ることである。デジタル入力画像および／または出力画像が表面データまたはボリュームデータを表すか否かに応じて、入力画像位置および／または出力画像位置は、ピクセルおよびボクセルの１つであってよい。

入力画像次元および／または出力画像次元の少なくとも１つ、好ましくは少なくとも２つは、空間次元であってよい。

一般的に、入力光子到着時間データには、１つまたは複数の蛍光体の光子の到着時間データが含まれていてよい。

別の実施形態では、入力光子到着時間データは、色素分離可能である。例えば、それぞれの画像位置において、異なる蛍光体、すなわち異なる蛍光帯域における光子をそれぞれの集合が表す、光子到着時間データの２つ以上の集合が存在してよい。注意すべきであるのは、これらの集合は、単一のデジタル入力画像および／またはデジタル出力画像に組み合わせ可能であり、それぞれのデジタル入力画像および／またはデジタル出力画像の付加的な次元を表し得ることである。例えば、デジタル出力画像は、３つの空間次元Ｘ，Ｙ，Ｚを有し、それぞれの画像位置において、光子到着時間データの２つの集合は、５次元のデジタル出力画像と見なすことができる。

さらに、光子到着時間データが空集合すなわちＮＵＬＬであっても、それぞれの入力画像位置にこれらのデータが含まれることは好ましいが、必須ではない。

別の１つの実施形態では、デジタル入力画像は、光学デバイスによって、特に（共焦点）レーザ走査型顕微鏡によって記録されるかまたは記録されている。

デジタル入力画像は、光子計数デバイス、例えば時間相関光子計数デバイスおよび／またはゲート式光インテンシファイアおよびＣＣＤセンサまたはカメラを有するアセンブリ等によって記録され得るかまたは記録されていてよい。より一般的には、入力画像データを有し、それ自体が、入力画像位置において入力光子到着時間データを有するデジタル入力画像を生成するための任意のデバイスが使用可能である。

光学デバイスおよび／または光子計数デバイスは、点拡がり関数によって特徴付け可能である。点拡がり関数は、時不変または時間依存であってよい。同じことは、更新関数にも当てはまる。

別の１つの実施形態によると、入力画像位置における入力光子到着時間データは、入力画像位置に対応する出力画像位置における出力光子到着時間データとは異なっていてよい。特に、特定の時点における出力光子到着時間データおよび出力画像位置は、少なくとも１つの異なる入力画像位置からの、この特定の時点における入力光子到着時間データの重ね合わせから結果的に得られてよい。特に、特定の到着時間における入力光子到着時間データは、反復アルゴリズムにより、出力画像データにおける異なる位置にシフト可能である。これは、更新関数により、何らかの誤差制約またはコスト関数を最小化するために、これらの到着時間データが別の画像位置に割り当てられるため、起こり得る。換言すると、反復アルゴリズムまたは更新関数によって、より適切であると思われる出力画像位置に、１つの入力画像位置において取り込まれた「浮遊」光子をシフトさせることができる。

ゆえに、更新関数は、点拡がり関数に応じて、光子到着時間データの再分配を表すことができる。

一般的に、デコンボリューション、特に反復アルゴリズムは、以下の数学的な形式のうちの１つを仮定することができる。すなわち、
Ｅ^（ｍ）（ｘ _i,ｔ）＝
Ｅ^{（ｍ－１）}（ｘ _i,ｔ）・Ｕ（Ｅ^{（ｍ－１）}（ｘ _i,ｔ）,ｐｓｆ（ｘ _ｉ[,ｔ]）,Ｐ_ｉ（ｘ _ｉ,ｔ））
または
Ｅ^（ｍ）（ｘ _i,ｔ）＝
Ｅ^{（ｍ－１）}（ｘ _i,ｔ）＋Ｕ（Ｅ^{（ｍ－１）}（ｘ _i,ｔ）,ｐｓｆ（ｘ _ｉ[,ｔ]）,Ｐ_ｉ（ｘ _ｉ,ｔ））
である。ここで、ｘ _ｉは、入力画像位置、典型的には座標および／または配列インデックスの集合を表し、ｔは時間を表し、ｐｓｆ（ｘ _ｉ［，ｔ］）は、角括弧によってシンボリックに表されているように時間依存であり得る点拡がり関数を表し、Ｐ_ｉは、入力光子到着時間データを表し、Ｅ^{（ｍ－１）}は、反復ステップｍ－１におけるグラウンドトゥルースの推定値を表し、Ｕは更新関数である。

ゆえに、反復アルゴリズムは、更新関数と、入力光子到着時間データのぼけのないグラウンドトゥルースの先行推定値との組み合わせを有していてよく、この組み合わせは、加法的および乗算的の少なくとも１つである。

しかしながら、点拡がり関数、グラウンドトゥルース推定値、および更新関数の少なくとも１つが、時間非依存であることが好ましい。このために、これらの関数は、それ自体が時不変である必要はない。例えば、デコンボリューションは、入力画像データ、点拡がり関数、およびぼけのないグラウンドトゥルースの先行推定値の少なくとも１つに対する演算を含むことができ、この演算は、そのオペランドの時間依存性を除去するように構成されている。

ゆえに、演算Ｔのオペランドとしての時間依存の点拡がり関数は、次のように、この演算によって時間非依存にすることが可能である、すなわち、
ｐｓｆ（ｘ _ｉ）＝Ｔ（ｐｓｆ（ｘ _ｉ,ｔ））
である。当然のことながら、時不変の点拡がり関数が使用される場合、演算Ｔを適用する必要はない。

次のようにオペランドとして用いることによって、演算Ｔにより、時間非依存のグラウンドトゥルース推定を得ることができる。すなわち、
Ｅ^{（ｍ－１）}（ｘ _i）＝Ｔ（Ｅ^{（ｍ－１）}（ｘ _i,ｔ））
である。

演算Ｔのオペランドとしての入力光子到着時間データは、同様に演算Ｔを適用することによって時間非依存にすることができる。すなわち、
Ｐ_ｉ（ｘ _ｉ）＝Ｔ（Ｐ_ｉ（ｘ _ｉ,ｔ））
である。

上述のそれぞれの例について、異なる演算Ｔが使用可能である。例えば、演算Ｔには、統計的なモーメント、時間にわたる和、および／または時間における特定の時点ｔ_１における演算Ｔのオペランドの値が含まれていてよい。演算Ｔおよびそれらの適用の例を以下に示す。これらの例のいずれも、任意の組み合わせで使用可能である。

演算Ｔが統計モーメントを表す場合、これは

のように表すことができ、ここで、ｋは、べき指数を表し、オペランドＦ（ｘ _ｉ,ｔ）は、点拡がり関数ｐｓｆ（ｘ _ｉ,ｔ）、グラウンドトゥルース推定値Ｅ^{（ｍ－１）}（ｘ _ｉ,ｔ）または入力光子到着時間データＰ_ｉ（ｘ _ｉ,ｔ_１）であってよい。

入力光子到着時間データおよび／またはグラウンドトゥルース推定値の和を取ることが演算Ｔに含まれる場合、信号対雑音比が著しく低減される。

演算Ｔ、および／または時不変の点拡がり関数を使用することにより、次のように時間非依存の更新関数を取得することができる。すなわち、
Ｅ^（ｍ）（ｘ _i,ｔ）＝
Ｅ^{（ｍ－１）}（ｘ _i,ｔ）＋Ｕ（Ｔ（Ｅ^{（ｍ－１）}（ｘ _i,ｔ））,ｐｓｆ（ｘ _ｉ）,Ｔ（Ｐ_ｉ（ｘ _ｉ,ｔ）））
または
Ｅ^（ｍ）（ｘ _i,ｔ）＝
Ｅ^{（ｍ－１）}（ｘ _i,ｔ）・Ｕ（Ｔ（Ｅ^{（ｍ－１）}（ｘ _i,ｔ））,ｐｓｆ（ｘ _ｉ）,Ｔ（Ｐ_ｉ（ｘ _ｉ,ｔ）））
または
Ｅ^（ｍ）（ｘ _i,ｔ）＝
Ｅ^{（ｍ－１）}（ｘ _i,ｔ）＋Ｕ（Ｔ（Ｅ^{（ｍ－１）}（ｘ _i,ｔ））,Ｔ（ｐｓｆ（ｘ _ｉ,ｔ））,Ｔ（Ｐ_ｉ（ｘ _ｉ,ｔ）））
または
Ｅ^（ｍ）（ｘ _i,ｔ）＝
Ｅ^{（ｍ－１）}（ｘ _i,ｔ）・Ｕ（Ｔ（Ｅ^{（ｍ－１）}（ｘ _i,ｔ））,Ｔ（ｐｓｆ（ｘ _ｉ,ｔ））,Ｔ（Ｐ_ｉ（ｘ _ｉ,ｔ）））
である。

上述の式は、特定の時点における光子計数値が、全ての反復にわたり、その特定の時点において保持されると物理的に解釈可能である。しかしながら、更新関数に依存して、その特定の光子計数値の位置を変更することができる。ゆえに、上述の更新関数により、光子計数値が空間にわたって「再分配」される。

反復アルゴリズムのこの形態は、グラウンドトゥルース推定値Ｅ^（ｍ）が時間依存である、すなわち、更新関数Ｕが時間非依存であるのにもかかわらず、グラウンドトゥルース推定値Ｅ（ｍ）が、このそれぞれの画像位置における到着時間データを依然として含んでいる、という利点を有する。これにより、結果に対し、ＦＬＩＭに関連した解析が可能になる。

別の利点として、時不変の更新を使用することにより、公知のかつ効率的なデコンボリューションアルゴリズムを使用することができ、ゆえに特別な解決手段は必要ない。例えば、リチャードソン・ルーシーデコンボリューションを使用して、更新関数を計算することができる。この場合、更新関数は、以下の形式、すなわち、

を有することができ、ただし、

は、空間コンボリューションを表す。

反復アルゴリズムは、例えば、収束基準が満たされる場合、Ｍ番目の反復の後、終了する。ただしｍ＝１，…，Ｍである。考えられる収束基準は、以下である、すなわち、

であり、
ただし、κは、収束基準、例えばある実数、例えば０．２等である。

収束基準が満たされる場合、Ｍ番目の反復におけるグラウンドトゥルース推定値は、出力画像の出力光子到着時間データＰ_ｏ（ｘ _ｉ,ｔ）を表す、すなわち、
Ｐ_ｏ（ｘ _ｏ,ｔ）＝Ｅ^（ｍ）（ｘ _ｉ,ｔ）であると考えられる。

基本的には、１つの入力画像位置における入力光子到着時間データにおいて表される蛍光体の個数にかかわらず、上述のデコンボリューションが使用可能である。

しかしながら、２つ以上の蛍光体の光子到着時間が入力光子到着時間データに含まれる場合、デコンボリューションを実行する前に、異なる蛍光光子を分離することが推奨され得る。

ゆえに、１つの実施形態では、入力光子到着時間データＰ_ｉ（ｘ _ｉ,ｔ）は結果的に、異なる蛍光体の総数Ｆの入力光子到着時間データＰ_ｉ ^（ｆ）（ｘ _ｉ,ｔ）（ただしｆ＝１，…，Ｆであり、数Ｆは１よりも大きい）の組み合わせから、例えば、次のように、すなわち

のように得ることができる。

このような場合、入力光子到着時間データＰ_ｉ（ｘ _ｉ,ｔ）は、Ｆ個の蛍光体それぞれの異なる入力光子到着時間データＰ_ｉ ^（ｆ）（ｘ _ｉ,ｔ）の和と見なすことができる。ｆ番目の蛍光体から結果的に得られる入力光子到着時間データＰ_ｉ ^（ｆ）（ｘ _ｉ,ｔ）を、以下では色素分離入力光子到着時間データと称する。

組み合わせた入力光子到着時間データが、色素分離入力光子到着時間データに分離され、集合において色素分離入力光子到着時間データの個数が、異なる蛍光体の個数に対応することが好ましい。異なる色素分離入力光子到着時間データのそれぞれは、異なる蛍光体の時間にわたる蛍光の発展を表す。原則的には、デコンボリューション後に色素分離光子到着時間データを計算することも可能であるが、色素分離入力光子到着時間データのそれぞれについて別々にデコンボリューションが実行される場合、これによって異なる蛍光体について異なる点拡がり関数を適用することができるため、より良好な結果が得られる。

入力光子到着時間データの色素分離の結果、入力画像Ｉ（ｘ _ｉ,ｔ）は、Ｆ個の色素分離入力画像Ｉ^（ｆ）（ｘ _ｉ,ｔ）（ただしｆ＝１，…，Ｆ）に分割され、ｆ番目の色素分離入力画像は、入力画像位置において、ｆ番目の蛍光体の色素分離入力光子到着時間データＰ_ｉ ^（ｆ）（ｘ _ｉ,ｔ）を有する。

複数の色素分離入力光子到着時間データへの入力光子到着時間データの分離は、例えば、異なる蛍光体のそれぞれについて異なる、あらかじめ定めた少なくとも１つの色素減衰曲線に応じて実行可能である。

例えば、１つの特定の蛍光体ｆについての色素減衰曲線は、次の形式、すなわち、

であると仮定することができ、ただしｈ（ｔ）は、光子の検出に対する装置応答であり、＊_ｔは、時間におけるコンボリューションであり、τ_ｆは、この特定の蛍光体についての蛍光寿命である。装置応答は、光子計数デバイスのシステム応答を表す。

第１のステップとして、異なる蛍光体の寿命τ_ｆは、デジタル入力画像から推定可能である。このステップでは、複数の入力画像位置における、特にデジタル入力画像の全ての入力画像位置における入力光子到着時間データを使用することにより、寿命を推定することができる。

例えば、複数の入力画像位置からの入力光子到着時間データの組み合わせから、例えば、これらの入力光子到着時間データを加算的かつ／または乗算的に組み合わせることにより、集計入力光子到着時間データが計算可能である。

このような集計入力光子到着時間データＰ_Σ（ｔ）を計算する例は、次のように、すなわち、

のように与えられる。

集計入力光子到着時間データからは、異なる蛍光体のそれぞれの個数について、色素減衰曲線が計算可能である。このような計算には、例えば、集計入力光子到着時間データに、あらかじめ定めた減衰曲線の、好ましくは線形結合をフィッティングすることが含まれていてよい。フィッティングは、例えば、それぞれの蛍光体ｆについて最小化方式を使用して、例えば、次の形式で、すなわち、

で計算可能である。

この最小化の結果として、ｆ番目の蛍光体についての重み付け係数ａ_ｆおよび寿命τ_ｆの推定値が取得される。パラメータ

および

は、最小化に使用される推定値を示している。重み付けパラメータａ_ｆは、さらなる色素分離には必要ないため、破棄可能である。

上述の最小化は、最小二乗フィッティングを使用して解決可能である。このフィッティングには、ガウス・ニュートンおよび／またはレーベンバーグ・マルカートアルゴリズムが含まれていてよい。レーベンバーグ・マルカートの１つの例は、Marquardt, D., W.著、”An Algorithm for Least-Squares Estimation of Nonlinear parameters”、Journal of the Society for Industrial and Applied Mathematics、11（2）、 431-441、1963に示されている。

次のステップでは、集計入力光子到着時間データから計算した異なる蛍光体についての集計色素寿命を使用し、それぞれの入力画像位置において、色素分離光子到着時間データＰ_ｉ ^（ｆ）（ｘ _ｉ,ｔ）が計算可能である。

このステップは、それぞれの入力画像位置、または少なくとも１つの入力画像位置において、組み合わせた入力光子到着時間データＰ_ｉ（ｘ _ｉ,ｔ）に、それぞれの色素寿命τ_ｆを含むｆ番目の色素減衰曲線Ｄ^（ｆ）（ｔ;τ_ｆ）をフィッティングすることによって実行可能である。換言すると、種々異なる色素寿命を決定するためにデータの集計に、すなわち複数の入力画像位置の入力光子到着時間データを用いて最初に実行したステップをここでは、それぞれの入力画像位置において繰り返し、この位置に存在する入力光子到着時間データにこれらの寿命をフィッティングする。

入力画像位置における光子到着時間データへのこの入力画像位置における色素減衰曲線のフィッティングは、以下の形式の最小化問題を解くことによって計算可能である。すなわち、

である。ここで、ｂ^（ｆ）（ｘ _ｉ）は、入力画像位置ｘ _ｉにおけるｆ番目の蛍光体の色素減衰曲線Ｄ^（ｆ）（ｔ；τ_ｆ）についての位置において使用される重み付け係数であり、

は、最小化における推定値または最小化の引数である。

ここでも、この最小化は、最小二乗フィッティングアルゴリズム、例えばガウス・ニュートンまたはレーベンバーグ・マルカートアルゴリズム等の最小二乗フィッティングアルゴリズムを使用することによって解くことができる。

上述の最小化問題に対する別の解決手段は、次の形式で解析的に導出可能である。すなわち、

である。

組み合わせた入力光子到着時間データＰ_ｉ（ｘ _ｉ,ｔ）に、それぞれの入力画像位置ｘ _ｉにおけるそれぞれの蛍光体ｆについての色素減衰曲線Ｄ^（ｆ）（ｔ；τ_ｆ）をフィッティングするという解決手段により、結果的に、それぞれの入力画像位置におけるｆ個の色素分離入力光子到着時間データＰ_ｉ ^（ｆ）（ｘ _ｉ,ｔ）の集合が生じる。色素分離入力光子到着時間データの集合は、複数の入力画像位置、好ましくは全ての入力画像位置において計算される。

当然のことながら、例えば、異なる蛍光体の色素減衰曲線および／または寿命のライブラリから、あらかじめ定めた色素減衰曲線が既に利用可能である場合には色素寿命を計算する必要はない。この場合、それぞれの異なる蛍光体の寿命を計算する必要がないことがあり、その代わりに、例えば、あらかじめ定めた色素減衰曲線および／または寿命を使用し、それぞれの入力画像位置ｘ _ｉにおける上述の最小化問題を使用して、重み付け係数ｂ^（ｆ）（ｘ _ｉ）の計算に直接に進むことができる。あらかじめ定めた色素減衰曲線および／または寿命は、データ処理装置のメモリに記憶可能である。

上述のようにデコンボリューションが実行される場合、それぞれの色素分離入力画像Ｉ^（ｆ）（ｘ _ｉ,ｔ）は、入力光子到着時間データとしてのそれぞれの色素分離入力光子到着時間データＰ_ｉ ^（ｆ）（ｘ _ｉ,ｔ）を有する別個の入力画像として、デコンボリューションに使用可能である。

ゆえに、デコンボリューションの後、入力光子到着時間データＰ_ｉ ^（ｆ）（ｘ _ｉ,ｔ）を有するｆ個の色素分離入力画像Ｉ^（ｆ）（ｘ _ｉ,ｔ）から、出力光子到着時間データＰ_ｏ ^（ｆ）（ｘ _ｏ,ｔ）を有するｆ個の色素分離出力画像Ｏ^（ｆ）（ｘ _ｏ,ｔ）が得られる。

色素分離出力光子到着時間データからは、単一の出力光子到着時間データを次のように計算可能である。すなわち、

である。

等価的には、色素分離出力画像Ｏ^（ｆ）は、単一の出力画像に到達するまで加算可能であり、すなわち、

である。

この場合、出力光子到着時間データＰ_ｏ（ｘ _ｉ,ｔ）は、単一の出力画像Ｏの出力画像データＯ（ｘ _ｏ,ｔ）の一部であってよい。これは、ｘ _ｉがｘ _ｏに対応する場合には容易に行われ、そうでない場合、入力画像位置が出力画像位置に対応しないときには空間補間が含まれていてよい。

上述のいずれかの実施形態におけるデータ処理装置を含み、かつ／または上述のいずれかの実施形態におけるデータ処理方法を実施するように構成された蛍光寿命イメージングデバイスは、光源、例えばパルスレーザ等を有することができる。蛍光寿命イメージングデバイスにはさらに、光源からの光をサンプルに案内するための照明光学系が含まれていてよい。この光源は、少なくとも１つの蛍光体の蛍光励起周波数において光を放出するように構成されている。複数の蛍光体が存在する場合、すなわち２つ以上の蛍光体が存在する場合には、この光源は好ましくは、複数の蛍光体のそれぞれの蛍光励起周波数において光を放出するように構成されている。

蛍光寿命イメージングデバイスはさらに、入力光子到着時間データを記録するように構成された光子計数部を有していてよい。入力光子到着時間データは、組み合わせた入力光子到着時間データとして記録可能であり、異なる蛍光体からの光子は画像位置において重ね合わされる。その一方では、入力光子到着時間データはまた、色素分離入力光子到着時間データとして記録可能である。

蛍光寿命イメージングデバイスには、放出した蛍光を光子計数デバイスに案内するための検出光学系が含まれていてよい。

検出光学系は、異なる蛍光体からの光子を分離しかつ色素分離入力光子到着時間データを記録することができる蛍光分離フィルタ要素を有していてよい。

蛍光寿命イメージングデバイスはステージを有することができ、このステージは、サンプルを収容し、また一方では少なくとも１つの光源と光子計数デバイスとの間の相対運動を、他方では少なくとも１つの光源とサンプルとの間の相対運動を生成するように構成されている。この相対運動により、異なる入力画像位置において入力光子到着時間データが収集可能である。

好ましくは、蛍光寿命イメージングデバイスは、共焦点レーザ走査顕微鏡であり、この共焦点レーザ走査顕微鏡は、少なくとも１つのパルス光源または（パルスレーザ光を放出する）スーパーコンティニウムレーザ光源と、サンプルにおいて少なくとも１つの蛍光体を励起するための少なくとも１つの放出光波長帯域を選択するための適切な選択手段と、を有することができ、さらに、少なくとも２つの光子計数デバイスにより、励起された少なくとも２つの蛍光体によって放出される蛍光を別々にスペクトル検出するためのスペクトル検出器を有する。

上述の特徴は、方法の文脈において記載されているかまたは装置の文脈において説明されているかにかかわらず、方法と、方法を実施するように構成された装置と、の両方に独立して適用されてよいことに注意されたい。

以下では、図面を参照して１つの実施形態を例示的に説明する。上で示した説明によると、この実施形態で説明する特徴は、特定の用途においてその技術的作用が要求されないかまたは不利な場合には省略可能である。逆に、以下で説明する実施形態には含まれないが上述の明細書部分に含まれる特徴は、この特徴の特定の作用が、特定の用途に必要であるかまたは有益である場合には追加されることがある。

図面では、機能および／または構造に関して互いに対応する要素は、同じ参照番号を有する。

蛍光寿命イメージングデバイスおよびデータ処理装置の概略図である。 組み合わせた光子到着時間データを色素分離光子到着時間データに分離する概略図である。 光子到着時間データを使用してデコンボリューションを計算するための反復アルゴリズムの概略図である。 デジタル出力画像の概略図である。 光子到着時間データを有するデジタル入力画像のぼけを除去する手法の概略図である。 図６ａは、特定の時点におけるデジタル入力画像の例を示す図であり、図６ｂは、図６ａのデジタル入力画像の特定の時点におけるデジタル出力画像の例を示す図であり、図６ｃは、図６ａに示した位置の線に沿ってグラウンドトゥルース、デジタル入力画像およびデジタル出力画像の両方の光子計数値の概略図であり、図６ｄは、図６ａに示した位置におけるデジタル入力画像、デジタル出力画像およびグラウンドトゥルースの到着時間ヒストグラムの概略図である。 図７ａは、図６ａのデジタル入力画像における光子到着時間データのフェーザプロットの概略図であり、図７ｂは、図６ｂの出力画像における光子到着時間データのフェーザプロットの概略図である。 データ処理装置および蛍光寿命イメージングデバイスの別の概略図である。

図１を最初に参照して、蛍光寿命イメージングデバイス１２８、例えば顕微鏡の一部であってよいデータ処理装置１００の構造および機能を説明する。

サンプル１０６、例えば細胞または細胞の一部等を光源１１４、例えばレーザ１３４またはパルスレーザ１３６によって照明する。

サンプル１０６には、１つまたは複数の蛍光体１０８が含まれていてよい。蛍光体１０８の総数Ｆは、１以上である。

好ましくは光源１１４により、１つまたは複数の蛍光体１０８の蛍光をトリガする波長で光が放出される。

蛍光寿命イメージングデバイス１２８はさらに、光源１１４からの光ビーム１１８をサンプル１０６に集束させる照明光学系１１６を有していてよい。サンプル１０６および光ビーム１１８または光源１１４は、矢印１３８によって示したように、互いに相対的に移動可能である。光ビーム１１８または光パルス１２０は、サンプル１０６における位置ｘに向けられる。この位置において、蛍光がトリガされ、１つまたは複数の光子１３２が放出される。光子１３２は、光子計数デバイス１１２によって検出され、この光子計数デバイス１１２は、時間相関計数デバイス、またはゲート式光インテンシファイアおよびＣＣＤセンサもしくはカメラを有するアセンブリであってよい。光子計数デバイス１１２はまた、蛍光寿命イメージングデバイス１２８の一部であってもよい。蛍光寿命イメージングデバイス１２８はさらに、検出光学系１１０を有していてよい。

光子計数デバイス１１２は、光源１１４に固定に結合されていてよく、これにより、光源１１４とサンプル１０６との間に相対運動がある場合、光子計数デバイス１１２は、光源１１４に対するその相対位置を維持する。これによって保証されるのは、光源１１４がサンプル１０６を照明する位置を光子計数デバイス１１２が常に指し示すことである。

光子計数デバイス１１２は、それぞれの位置ｘにおいて、入力光子到着時間データＰ_ｉ、例えば、単一の光パルス１２０に応答して受け取られる光子１３２のヒストグラムを生成する。入力光子到着時間データＰ_ｊから入力画像Ｉが生成される。例えば、位置ｘにおける入力光子到着時間データＰ_ｉが、入力画像における位置ｘ _ｉに割り当てられ、結果的に入力光子到着時間データＰ_ｉ（ｘ _ｉ,ｔ）が得られる。

特定の時間が経過した後、例えば、光子計数デバイス１１２にもはや光子が到達しない場合、またはあらかじめ設定した時間の後、サンプル１０６または光ビーム１１８が別の位置ｘに移動させられ、この別の位置ｘにおいて、次の光パルス１２０により、光子１３２の別の集合の放出がトリガされる。次いで、この位置からの入力光子到着時間データが、入力画像における別の位置ｘ _ｉに割り当てられ、この別の位置ｘ _ｉによって好ましくは、サンプルにおける複数の後続の位置ｘ間の位置関係が最もよく保存される。このようにして、位置ｘが画像ラスタ１２２に沿って移動させられる。

より信頼性の高い入力光子到着時間データＰ_ｉ（ｘ _ｉ,ｔ）を得るために、例えば、光またはレーザパルス１２０のシーケンスに光子１３２の放出をトリガさせることにより、またシーケンスにおいてそれぞれの光パルスに対して相対的に同じ開始点から時間ｔを進めることによって、このシーケンスの異なるパルスからの様々な光子計数を重ね合わせることにより、１つの位置ｘにおいて２つ以上の測定を行うことができる。

図１には、時間にわたる光子計数値Ｎを示すヒストグラムが、サンプルにおける３つの異なる位置について例示的に示されており、これらは３つの異なる入力画像位置に対応する。これらのヒストグラムは、入力光子到着時間データに対応する。

画像ラスタ１２２に沿ってサンプル１０６全体をスキャンすることにより、入力画像Ｉが生成される。入力画像Ｉには入力画像データＩ（ｘ _ｉ,ｔ）が含まれており、ここでは入力画像Ｉのそれぞれの位置ｘ _ｉにおいて、入力光子到着時間データＰ_ｉ（ｘ _ｉ,ｔ）が含まれている。それぞれの位置において入力画像には付加的な情報も符号化可能であり、これにより、入力光子到着時間データＰ_ｉ（ｘ _ｉ,ｔ）は単に、全ての入力画像位置ｘ _ｉにおける入力画像データＩ（ｘ _ｉ,ｔ）の部分集合であってよい。

入力画像Ｉは、グラウンドトゥルースＩ_ＧＴに対する、すなわち、サンプル１０６の完全に忠実な表現に対する近似に過ぎない。というのは、例えば、検出光学系１１０および光子計数デバイス１１２により、ノイズおよびアーチファクトが取り込まれるからである。

例えば、点拡がり関数の有限幅に起因して現在位置とは異なる位置から放出された、または蛍光によって形成されなかった浮遊光子１３４が、光子計数デバイス１１２によって記録されることがある。

サンプル１０６が２つ以上の蛍光体１０８を有する場合、すなわちＦが１より大きい場合、２つの可能性がある。すなわち、
第１に、異なる蛍光体の光子は、単一のヒストグラムに組み合わせ可能であり、結果的に入力光子到着時間データＰ_ｉ（ｘ _ｉ,ｔ）が得られ、入力光子到着時間データＰ_ｉ（ｘ _ｉ,ｔ）は基本的に、それぞれの個別の蛍光体ｆについて個別の入力光子到着時間データＰ_ｉ ^（ｆ）（ｘ _ｉ,ｔ）の重ね合わせであり、ただし、ｆは、異なる蛍光体の計数であり、ｆ＝１，…，Ｆである。表記Ｐ_ｉ ^（ｆ）は、ｆ番目の蛍光体の入力光子到着時間データを示す。
第２に、入力画像Ｉの位置ｘ _ｉにおけるそれぞれのヒストグラムには、単一の蛍光体、すなわち蛍光体ｆだけの色素分離入力光子到着時間データＰ_ｉ ^（ｆ）が含まれていてよく、ただしｆ＝１，…，Ｆである。このために、検出光学系１１０は、例えば、１つまたは複数の色素分離フィルタを有していてよく、それぞれの色素分離フィルタは、異なる光子計数デバイスに対応付けられている。これにより、異なる光子計数デバイス１１２により、それぞれの蛍光体について入力光子到着時間データＰ_ｉ ^（ｆ）を記録することができる。このようなケースでは、蛍光寿命イメージングデバイス１２８は、２つ以上の光子計数デバイス１１２を有していてよく、それぞれの光子計数デバイス１１２は、異なる蛍光体を記録するように構成されている。このようにして、異なる色素分離入力画像Ｉ^（ｆ）が、それぞれの光子計数デバイス１１２によって記録される。

別の１つの変形実施形態では、光源１１４は調節可能であってよい。光源１１４は、例えば、サンプル１０６のそれぞれの位置ｘにおいて、あらかじめ定めた個数の後続の光パルス１２０を送出するように構成可能であり、この際には一連のそれぞれの光パルス１２０には相違があり、ゆえに異なる蛍光体１０８の蛍光がトリガされる。このケースでは、入力光子到着時間データＰ_ｉ ^（ｆ）は、別々にかつ続いて記録されることになり、また異なる色素分離入力画像Ｉ^（ｆ）に割り当て可能である。

蛍光寿命イメージングデバイス１２８の一部であってよいプロセッサ１４４は、上述の記録方法に依存して、入力画像Ｉ（ｘ _ｉ,ｔ）またはＩ^（ｆ）（ｘ _ｉ,ｔ）に、異なる入力光子到着時間データＰ_ｉ（ｘ,ｔ）またはＰ_ｉ ^（ｆ）（ｘ _ｉ,ｔ）を組み合わせるように構成されている。

プロセッサ１４４は、例えばＣＰＵと、好ましくはＧＰＵおよび／またはベクトルプロセッサと、を有する汎用コンピュータであってよい。

データ処理装置１００は、プロセッサ１４４と同一またはプロセッサ１４４とは別のエンティティであってよい。これは特に、プロセッサ１４４が汎用コンピュータまたは専用の画像処理コンピュータの一部であるケースであり、この時にこれは、データ処理装置１００の機能を引き受けることができる。

データ処理装置１００は、デコンボリューション１０２によって入力画像Ｉから出力画像Ｏを計算するように構成されている。入力画像は、１つまたは複数の蛍光体の到着時間データが入力光子到着時間データＰ_ｉに組み合わせられた入力画像、または色素分離入力画像であってよい。

デジタル出力画像Ｏは、入力画像Ｉとして、出力画像位置ｘ _ｏにおける出力画像データＯ（ｘ _ｏ,ｔ）を有する。好ましくは出力画像Ｏには、入力画像と同じ個数の位置および同じ次元が含まれている。出力画像位置ｘ _ｏは、入力画像位置ｘ _ｉに対応していてよい。

特に、出力画像データＯ（ｘ _ｏ,ｔ）は、出力光子到着時間データＰ_ｏ（ｘ,ｔ）を有していてよい。入力画像Ｉ^（ｆ）が色素分離入力画像である場合、出力画像Ｏもまた、色素分離出力光子到着時間データＰ_ｏ ^（ｆ）（ｘ,ｔ）を含む複数の色素分離出力画像Ｏ^（ｆ）を含んでいてもよい。データ処理装置１００は、デコンボリューション１０２によってデジタル入力画像Ｉからデジタル出力画像Ｏを計算するように構成されている。デコンボリューション１０２は、ソフトウェア、すなわち、データ処理装置１００によって実行されるコンピュータ命令によって、かつ／またはデータ処理装置１００の一部であるハードウェアによって実装可能である。

デジタル出力画像Ｏは、ぼけのないグラウンドトゥルースＩ_ＧＴの推定を表す。より具体的には、デジタル出力画像Ｏは、出力画像位置ｘ _ｏにおける出力光子到着時間データＰ_ｏ（ｘ _ｏ,ｔ）を有していてよく、この出力光子到着時間データＰ_ｏ（ｘ _ｏ,ｔ）は、入力光子到着時間データのぼけのないグラウンドトゥルースの推定値Ｅ^（ｍ）（ｘ _ｉ,ｔ）を表すことができる。

光子計数デバイス１１２は、ぼけのないグラウンドトゥルースＩ_ＧＴにノイズおよびアーチファクトを加えてしまう可能性があり、これらは次いで入力画像Ｉに反映されてしまう。光子計数デバイス１１２および／または検出光学系１１０の特性は、角括弧によって示されているように時間に依存し得る点拡がり関数ｐｓｆ（ｘ _ｉ［，ｔ］）によって表される。

入力画像Ｉにおけるぼけを低減するために、デコンボリューション１０２を実行することができ、結果的に鮮鋭化された、またはぼけが除去された出力画像Ｏが得られる。デコンボリューション１０２は好ましくは、反復アルゴリズム１０４を有し、この反復アルゴリズム１０４により、収束基準が満たされるまでそれぞれの反復ｍにおいて、グラウンドトゥルースＩ_ＧＴの推定値Ｅ^（ｍ）（ｘ _ｉ,ｔ）が更新される。推定値Ｅを更新するために更新関数Ｕを使用する。

特に、データ処理装置１００は、推定値Ｅ^（ｍ）（ｘ _ｉ,ｔ）を次のように、すなわち、
Ｅ^（ｍ）（ｘ _i,ｔ）＝
Ｅ^{（ｍ－１）}（ｘ _i,ｔ）・Ｕ（Ｅ^{（ｍ－１）}（ｘ _i,ｔ）,ｐｓｆ（ｘ _ｉ[,ｔ]）,Ｐ_ｉ（ｘ _ｉ,ｔ））
または
Ｅ^（ｍ）（ｘ _i,ｔ）＝
Ｅ^{（ｍ－１）}（ｘ _i,ｔ）＋Ｕ（Ｅ^{（ｍ－１）}（ｘ _i,ｔ）,ｐｓｆ（ｘ _ｉ[,ｔ]）,Ｐ_ｉ（ｘ _ｉ,ｔ））
と計算するように構成可能である。
ここでは、更新関数Ｕは、現在の推定値Ｅ^{（ｍ－１）}と、点拡がり関数ｐｓｆ（ｘ _ｉ［，ｔ］）と、色素分離可能な入力光子到着時間データＰ_ｉと、に依存する。更新関数は、時間および位置所の両方に依存することができ、Ｕ＝Ｕ（ｘ _ｉ,ｔ）であり、
Ｅ^（ｍ）（ｘ _i,ｔ）＝Ｅ^{（ｍ－１）}（ｘ _i,ｔ）・Ｕ（ｘ _i,ｔ）
または
Ｅ^（ｍ）（ｘ _i,ｔ）＝Ｅ^{（ｍ－１）}（ｘ _i,ｔ）＋Ｕ（ｘ _i,ｔ）
である。

しかしながら、時間依存の更新関数を含む反復アルゴリズムは、計算の効率が悪くかつ著しく複雑なデコンボリューションアルゴリズムを生じさせる可能性があるため、更新アルゴリズム１０４では、時間非依存の更新関数Ｕ（ｘ_ｉ）を有することが有利になり得る。すなわち、
Ｅ^（ｍ）（ｘ _i,ｔ）＝Ｅ^{（ｍ－１）}（ｘ _i,ｔ）・Ｕ（ｘ _i）
または
Ｅ^（ｍ）（ｘ _i,ｔ）＝Ｅ^{（ｍ－１）}（ｘ _i,ｔ）＋Ｕ（ｘ _i）
である。

これにより、デコンボリューション１０２に標準デコンボリューションアルゴリズム、例えばルーシー・リチャードソンデコンボリューションを使用できるようになる。

図４に、時不変の更新関数の作用が示されており、この図では、位置ｘ _ｉ１における時点ｔ_１での先行推定値Ｅ^{（ｍ－１）}の入力光子到着時間データは、同じ時点ｔ_１において維持されるが、更新された推定値Ｅ^（ｍ）では別の位置ｘ _ｉ２にシフトされる。図４では、シフトされた光子計数が黒で示されている。

時間非依存の更新関数は、引数を時間非依存にする演算Ｔが導入される場合に得ることができる。例えば、演算Ｔには、本明細書の一般的な部分に記載したように、時間にわたる和、統計モーメント、または特定の時点における時間依存関数の値が含まれていてよい。演算Ｔは、ハードウェアおよび／またはソフトウェアによってデータ処理装置１００に実装されてよい。

演算Ｔを使用すると、反復アルゴリズムは、次の形式であると仮定可能である。すなわち、
Ｅ^（ｍ）（ｘ _i,ｔ）＝
Ｅ^{（ｍ－１）}（ｘ _i,ｔ）＋Ｕ（Ｔ（Ｅ^{（ｍ－１）}（ｘ _i,ｔ））,Ｔ（ｐｓｆ（ｘ _ｉ,ｔ））,Ｔ（Ｐ_ｉ（ｘ _ｉ,ｔ）））
または
Ｅ^（ｍ）（ｘ _i,ｔ）＝
Ｅ^{（ｍ－１）}（ｘ _i,ｔ）・Ｕ（Ｔ（Ｅ^{（ｍ－１）}（ｘ _i,ｔ））,Ｔ（ｐｓｆ（ｘ _ｉ,ｔ））,Ｔ（Ｐ_ｉ（ｘ _ｉ,ｔ）））
である。

当然のことながら、点拡がり関数が既に時間非依存である場合、演算Ｔを点拡がり関数に演算Ｔを適用する必要はない。すなわちｐｓｆ＝ｐｓｆ（ｘ _ｉ）である。

例示的に説明した実施形態では、演算Ｔには時間にわたる和が含まれ、点拡がり関数は、時不変であると仮定される。ゆえに、反復アルゴリズム１０４は、以下の形式を有していてよい。すなわち、

である。

このような場合、データ処理装置１００は、例えば、次の更新関数、すなわち

を適用するように構成可能であり、ただし、

は、空間コンボリューションを示す。

デコンボリューションアルゴリズム１０２とは択一的に、データ処理装置１００は、機械学習製品１３０を有することができ、これは、入力画像Ｉと出力画像Ｏとによってトレーニングされており、出力画像Ｏは、デコンボリューション１０２を使用して入力画像Ｉから計算されている。このような機械学習製品は、デコンボリューション１０２を実行しないが、デコンボリューション１０２が実行したように入力画像Ｉを処理する。

光子到着時間データＰ_ｉが、例えば、重ね合わせにおいて、２つ以上の蛍光体の蛍光を含む場合、すなわち、

であり、デコンボリューションは、それぞれの蛍光体の色素分離入力光子到着時間データＰ_ｉ ^（ｆ）について別々に実行されるべきである。この場合、それぞれの蛍光体についての入力光子到着時間データＰ_ｉ ^（ｆ）は、組み合わせた入力光子到着時間データＰ_ｉにおいて識別されるべきである。以下、２つの蛍光体、すなわちＦ＝２の場合について、図２を参照してこのことを説明する。当然のことながら、蛍光体のこの個数は単に例として示されており、蛍光体の個数はより大きくてもよい。蛍光体をさらに追加することにより、色素分離処理は変化しない。Ｆだけが大きくなる。

図２の上部では、入力光子到着時間データＰ_ｉ（ｘ _ｉ,ｔ）が、例示的に、３つの異なる入力画像位置ｘ _ｉ１，ｘ _ｉ２，ｘ _ｉ３においてＰ_ｉ（ｘ _ｉ１,ｔ），Ｐ_ｉ（ｘ _ｉ２,ｔ），Ｐ_ｉ（ｘ _ｉ３,ｔ）と例示的に示されている。これらの３つの位置のそれぞれにおいて、また任意の与えられた時点ｔにおいて、光子計数値Ｎは、未知の２つのＰ_ｉ ^（１）（ｘ _ｉ,ｔ）およびＰ_ｉ ^（２）（ｘ _ｉ,ｔ）から結果的に得られる未知の２つの光子計数値の和であり、ただし、Ｐ_ｉ ^（１）（ｘ _ｉ,ｔ）は、第１の蛍光体、ｆ＝１の入力光子到着時間データを表し、Ｐ_ｉ ^（２）（ｘ _ｉ,ｔ）は、第２の蛍光体、ｆ＝２の入力光子到着時間データを表す。

それぞれの蛍光体についての個別の色素分離入力光子到着時間データを計算するために、複数の入力画像位置ｘ _ｉにわたる積分または加算により、組み合わせた入力光子到着時間データから、集計入力光子到着時間データＰ_Σを、例えば次のように計算する。すなわち、

である。

入力光子到着時間データから導出した集計入力光子到着時間データＰ_Σは、図２の中央に略示されている。

集計入力光子到着時間データは、入力画像位置ｘ _ｉの部分集合だけから、または入力画像位置ｘ _ｉ全体から計算可能である。

さらに、異なる蛍光体についての入力光子到着時間データＰ_ｉ ^（ｆ）は、何らかの既知の色素減衰曲線Ｄ^（ｆ）（ｔ;τ_ｆ）に従うと仮定することができ、ここで、τ_ｆは、ｆ番目の蛍光体の蛍光の未知の寿命である。

寿命τ_ｆは、Ｆ個の蛍光体について、例えば、最小化、特に最小二乗最小化を次のように使用して、例えば異なる蛍光体について、減衰曲線

を集計入力光子到着時間データＰ_Σにフィッティングすることによって計算可能である。すなわち、

である。

この最小化の結果として、ｆ番目の蛍光体についての重み付け係数ａ_ｆおよび寿命τ_ｆの推定値が取得される。パラメータ

および

は、最小化において使用される推定値を示す。重み付けパラメータａ_ｆは、さらなる色素分離には必要ないため、破棄可能である。

式（２）のこの最小化は、レーベンバーグ・マルカートアルゴリズムによって計算可能である。結果として、Ｆ個（ただしｆ＝１，…，Ｆ）の蛍光体のそれぞれについて集計累計寿命τ_ｆが得られる。換言すると、複数の入力画像位置ｘ _ｉの入力光子到着時間データを組み合わせることによって、それぞれの蛍光体についての減衰曲線が、カーブフィッティングによって計算可能である。集計光子到着時間データに複数の入力光子到着時間データを組み合わせることに起因して、結果的に得られる集計光子到着時間データのノイズは低減され、この場合には結果的に減衰曲線についてより正確な推定が得られる。

最小化において使用可能な色素減衰曲線Ｄ^（ｆ）（ｔ;τ_ｆ）の単純な例は、
以下、すなわち

であり、ただし、ｈ（ｔ）は、光子の検出に対する光子計数デバイス１１２の応答であり、＊_ｔは、時間におけるコンボリューションである。

当然のことながら、あらかじめ定めた減衰曲線またはあらかじめ定めた寿命が使用される場合、それぞれの蛍光体について色素減衰曲線を計算するステップは省略可能である。このようなあらかじめ定めた減衰曲線は、例えば、データ処理装置１００の記憶装置またはメモリ１４６（図１）から取り出すことができる。あらかじめ定めた色素減衰曲線は、経験的および／または解析的に決定可能である。

全ての蛍光体について色素減衰曲線が既知になると、これらは、それぞれの入力画像位置ｘ _ｉにおいて、色素分離入力光子到着時間データＰ_ｉ ^（ｆ）に入力光子到着時間データを分離するために使用される。これは、それぞれの画像位置ｘ _ｉにおいて入力光子到着時間データＰ_ｉに、既知の寿命τ_ｆを有する色素減衰曲線Ｄ^（ｆ）（ｔ;τ_ｆ）をフィッティングするかまたは線形結合することによって行われる。

例えば、次の最小化問題は、それぞれの入力画像位置においてそれぞれの蛍光体について色素分離入力光子到着時間データを計算するために解くことができる。すなわち、

であり、ただし、ｂ^（ｆ）（ｘ _ｉ）は、入力画像位置ｘ _ｉにおけるｆ番目の蛍光体の色素減衰曲線Ｄ^（ｆ）（ｔ;τ_ｆ）についての位置において使用される重み付け係数であり、

は、最小化における推定または最小化の引数である。

上述の最小化はここでも、レーベンバーグ・マルカートアルゴリズムを使用して、それぞれの入力画像位置において解決可能である。

上述の最小化問題に対する別の解は、次の形式で解析的に導出可能である。すなわち、

である。

色素分離入力光子到着時間データＰ_ｉ ^（ｆ）は、次の式を使用して決定可能である。すなわち、

である。

これがなされると、色素分離入力光子到着時間データＰ_ｉ ^（ｆ）が、それぞれの入力画像位置ｘ _ｉにおいてＦ個のそれぞれの蛍光体について利用可能になる。

次いで、上述のように、入力光子到着時間データＰ_ｉの代わりに、それぞれの色素分離入力光子到着時間データＰ_ｉ ^（ｆ）について、または等価的には入力画像Ｉの代わりに、それぞれの色素分離入力画像Ｉ^（ｆ）について、デコンボリューション１０２を別々に実行する。それぞれの入力画像Ｉ^（ｆ）について、出力画像Ｏ^（ｆ）を、または等価的には、それぞれの色素分離入力光子到着時間データＰ_ｉ ^（ｆ）について、図３に示したようにデコンボリューション１０２によって色素分離出力光子到着時間データＰ_ｏ ^（ｆ）を計算する。

次いで、色素分離出力光子到着時間データＰ_ｏ ^（ｆ）画像を蛍光体にわたって加算することができ、これによって出力光子到着時間データＰ_ｏに到達する。すなわち、

である。

等価的には、色素分離出力画像Ｏ^（ｆ）は、加算可能であり、これによって出力画像に到達する。すなわち

である。

図５の概略的なフローチャートには、データ処理装置１００によって実行され得る上述の処理がまとめられている。入力画像データＩ（ｘ _ｉ）を有する入力画像Ｉ、すなわち、それぞれの入力画像位置ｘ _ｉにおける入力光子到着時間データＰ_ｉ（ｘ _ｉ,ｔ）を有する入力画像データから出発して、ステップ５１０ではまず、入力光子到着時間データＰ_ｉに２つ以上の蛍光体が表されているか否か、すなわちＦが１よりも大きいか否かを決定する。

Ｆ＝１の場合、上述のように、入力光子到着時間データにより、デコンボリューション１０２を使用して出力画像Ｏ（ｘ _ｉ,ｔ）を計算する。

Ｆ＞１、すなわち、入力光子到着時間データＰ_ｉに２つ以上の蛍光体が含まれている場合、色素分離入力光子到着時間データＰ_ｉ ^（ｆ）に入力光子到着時間データを分割し、全ての入力位置ｘ _ｉにわたり、それぞれの色素分離入力光子到着時間データＰ_ｉ ^（ｆ）について別々にコンボリューションを計算する。

さらなる処理は、それぞれの蛍光体について利用可能な、既にあらかじめ定めた色素減衰曲線Ｄ^（ｆ）（ｔ;τ_ｆ）および／または蛍光寿命τ_ｆが存在するか否かに依存する。ステップ５１２においてこのことをチェックする。

あらかじめ定めた色素減衰曲線Ｄ^（ｆ）（ｔ;τ_ｆ）またはあらかじめ定めた寿命τ_ｆがそれぞれの蛍光体について既に利用可能である場合、ステップ５００では、あらかじめ定めた色素減衰曲線を使用して、例えば、個別にあらかじめ定めた色素減衰曲線の線形結合を使用して、例えば、組み合わせた入力光子到着時間データにこれらをフィッティングすることにより、色素分離入力光子到着時間データＰ_ｉ ^（ｆ）を計算することができる。これは、式（４）を解くためにガウス・ニュートンまたはレーベンバーグ・マルカートアルゴリズムを使用して行うことができる。

あらかじめ定めた色素減衰曲線が、入力画像に含まれる異なる蛍光体に利用できない場合、ステップ５０２においてこれらの曲線を決定する必要がある。ステップ５０２には、２つのステップ、すなわちステップ５０４および５０６が含まれていてよい。

ステップ５０４では、例えば式（１）を使用して、集計入力光子到着時間データＰ_Σを計算することができる。ステップ５０６では、集計入力光子到着時間データＰ_Σを使用し、例えば式（３）に示した色素減衰関数を使用し、例えば式（２）に従って、異なる蛍光体の色素減衰曲線Ｄ^（ｆ）（ｔ;τ_ｆ）または寿命τ_ｆを計算する。

この場合、これらの減衰曲線は、それぞれの蛍光体について色素分離入力光子到着時間データを計算するためにステップ５００で使用した、あらかじめ定めた色素減衰曲線と同じように使用可能である。

色素分離入力光子到着時間データＰ_ｉ ^（ｆ）を使用することにより、元の入力画像Ｉが、ｆ個の色素分離入力画像Ｉ^（ｆ）に分離され、それぞれの色素分離入力画像には、ただ１つの蛍光体の色素分離入力光子到着時間データが含まれる。ステップ５１４では次いで、それぞれの色素分離入力画像について、別々にデコンボリューション１０２を実行し、結果的に出力画像Ｏ^（ｆ）を得る。当然のことながら、ただ１つの蛍光体だけが存在する場合には、入力光子到着時間データＰ_ｉだけが存在し、出力光子到着時間データＰ_ｏだけを有する単一の入力画像および単一の出力画像だけが存在する。

元の入力画像Ｉに２つ以上の蛍光体が含まれていた場合、出力画像Ｏ^（ｆ）は、ステップ５０８において、例えば式（５）を使用して上述したように、単一の出力画像Ｏに組み合わせ可能である。

出力画像は、任意のデバイスに、例えばモニタ、プロジェクタ、またはゴーグル等に表示可能である。モニタは、データ処理装置および／または蛍光寿命イメージングデバイスの一部であってよい。

デコンボリューション１０２を評価するために、２つの寿命τ_１＝３．８ｎｓおよびτ_２＝１．３ｎｓを有するランダム蛍光スポットをシミュレートした。シミュレートしたデータは、２５６×２５６ピクセルの空間次元を有していた。入力光子到着時間データには１００個の時間ステップ、すなわちｔ＝ｔ_１，…，ｔ_１００が含まれていた。蛍光体の個数は２、すなわちＦ＝２であった。最大信号対雑音比は、５に設定されていた。

図６ａには、時点ｔ_１＝０における入力光子到着時間データＰ_ｉ＝Σ_ｆＰ_ｉ ^（ｆ）が示されている。図６ｂには、同じ時点ｔ_１＝０における色素分離およびデコンボリューションの後の結果Ｐ_ｏ＝Σ_ｆＰ_ｏ ^（ｆ）、すなわちＰ_ｏ（ｘ _ｏ,ｔ_１＝０）が示されており、ただしｘ _ｉ＝ｘ _ｏである。出力光子到着時間データには、ぼけ除去の作用がはっきりと見て取れる。

ぼけ除去作用は、図６ｃの強度断面にも見られ、この強度断面は、図６ａにおける白線上の入力画像位置に沿って取られている。

図６ｃでは、この線に沿った入力光子到着時間データが「raw」で示されており、グラウンドトゥルースの強度分布、すなわちノイズのない蛍光スポットが「GT」で示されており、出力光子到着時間データが「decon」で示されている。デコンボリューション処理の結果は、グラウンドトゥルースに極めて近くなり、「raw」、すなわちノイズの多い入力画像データに対して著しい改善を表している。

図６ｄには、図６ａの線上の星印によって示されている１つの蛍光スポットにおいて、入力光子到着時間、「raw」、２つのrawデータ、グラウンドトゥルース、およびデコンボリューションが示されている。ここでも、上述のデコンボリューションの結果はグラウンドトゥルースに極めて近く、rawデータに対して著しい改善を表している。図６ｃおよび図６ｄでは、入力画像位置ｘ _ｉに対応する、すなわち、同じ線に沿いかつ同じ蛍光スポットからの出力画像位置ｘ _ｏにおいて、出力画像からのデータが取得されている。

明らかに、デコンボリューションにより、分解能が向上し、信号対雑音比が著しく減少している。ピーク信号対雑音比は、raw入力画像データにおける３６から、デコンボリューションを行った出力画像データにおける４４に大幅に改善されている。

図６ａ～図６ｄと同じデータを使用して、入力画像データについて図７ａで、また出力画像データについて図７ｂに示したフェーザプロットにおいて、同じ品質改善を見て取ることができる。入力画像データの図７ａにおけるフェーザプロットは、ノイズに起因する大きな変動を示している。色素分離デコンボリューション後、フェーザ空間における全ての点を１つの蛍光体に割り当てることができる。

本明細書で使用されるように、用語「および／または（かつ／または）」は、関連する記載項目のうちの１つまたは複数の項目のあらゆる全ての組み合わせを含んでおり、「／」として略記されることがある。

いくつかの態様を装置の文脈において説明してきたが、これらの態様が、対応する方法の説明も表していることが明らかであり、ここではブロックまたは装置がステップまたはステップの特徴に対応している。同様に、ステップの文脈において説明された態様は、対応する装置の対応するブロックまたは項目または特徴の説明も表している。

いくつかの実施形態は、図１から図７の１つまたは複数の図に関連して説明されたようなシステムを含んでいる顕微鏡に関する。択一的に、顕微鏡は、図１から図７の１つまたは複数の図に関連して説明されたようなシステムの一部であってもよい、または図１から図７の１つまたは複数の図に関連して説明されたようなシステムに接続されていてもよい。

図８は、本明細書に記載された方法を実施するように構成されたシステム８００の概略図を示している。システム８００は、顕微鏡８１０とコンピュータシステム８２０とを含んでいる。顕微鏡８１０は、撮像するように構成されており、かつコンピュータシステム８２０に接続されている。コンピュータシステム８２０は、本明細書に記載された方法の少なくとも一部を実施するように構成されている。コンピュータシステム８２０は、機械学習アルゴリズムを実行するように構成されていてもよい。コンピュータシステム８２０と顕微鏡８１０は別個の存在物であってもよいが、１つの共通のハウジング内に一体化されていてもよい。コンピュータシステム８２０は、顕微鏡８１０の中央処理システムの一部であってもよく、かつ／またはコンピュータシステム８２０は、顕微鏡８１０のセンサ、アクター、カメラまたは照明ユニット等の、顕微鏡８１０の従属部品の一部であってもよい。

コンピュータシステム８２０は、１つまたは複数のプロセッサおよび１つまたは複数のストレージデバイスを備えるローカルコンピュータデバイス（例えば、パーソナルコンピュータ、ラップトップ、タブレットコンピュータまたは携帯電話）であってもよく、または分散コンピュータシステム（例えば、ローカルクライアントおよび／または１つまたは複数のリモートサーバファームおよび／またはデータセンター等の様々な場所に分散されている１つまたは複数のプロセッサおよび１つまたは複数のストレージデバイスを備えるクラウドコンピューティングシステム）であってもよい。コンピュータシステム８２０は、任意の回路または回路の組み合わせを含んでいてもよい。１つの実施形態では、コンピュータシステム８２０は、任意の種類のものとすることができる、１つまたは複数のプロセッサを含んでいてもよい。本明細書で使用されるように、プロセッサは、例えば、顕微鏡または顕微鏡部品（例えばカメラ）のマイクロプロセッサ、マイクロコントローラ、複合命令セットコンピューティング（ＣＩＳＣ）マイクロプロセッサ、縮小命令セットコンピューティング（ＲＩＳＣ）マイクロプロセッサ、超長命令語（ＶＬＩＷ）マイクロプロセッサ、グラフィックプロセッサ、デジタル信号プロセッサ（ＤＳＰ）、マルチコアプロセッサ、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）または任意の他の種類のプロセッサまたは処理回路等のあらゆる種類の計算回路を意図していてもよいが、これらに限定されない。コンピュータシステム８２０に含まれ得る他の種類の回路は、カスタム回路、特定用途向け集積回路（ＡＳＩＣ）等であってもよく、例えばこれは、携帯電話、タブレットコンピュータ、ラップトップコンピュータ、双方向無線機および類似の電子システム等の無線装置において使用される１つまたは複数の回路（通信回路等）等である。コンピュータシステム８２０は、ランダムアクセスメモリ（ＲＡＭ）の形態のメインメモリ等の特定の用途に適した１つまたは複数の記憶素子を含み得る１つまたは複数のストレージデバイス、１つまたは複数のハードドライブおよび／またはコンパクトディスク（ＣＤ）、フラッシュメモリカード、デジタルビデオディスク（ＤＶＤ）等のリムーバブルメディアを扱う１つまたは複数のドライブ等を含んでいてもよい。コンピュータシステム８２０はディスプレイ装置、１つまたは複数のスピーカーおよびキーボードおよび／またはマウス、トラックボール、タッチスクリーン、音声認識装置を含み得るコントローラ、またはシステムのユーザーがコンピュータシステム８２０に情報を入力すること、および、コンピュータシステム８２０から情報を受け取ることを可能にする任意の他の装置も含んでいてもよい。

ステップの一部または全部は、例えば、プロセッサ、マイクロプロセッサ、プログラマブルコンピュータまたは電子回路等のハードウェア装置（またはハードウェア装置を使用すること）によって実行されてもよい。いくつかの実施形態では、極めて重要なステップのいずれか１つまたは複数が、そのような装置によって実行されてもよい。

一定の実装要件に応じて、本発明の実施形態は、ハードウェアまたはソフトウェアで実装され得る。この実装は、非一過性の記録媒体によって実行可能であり、非一過性の記録媒体は、各方法を実施するために、プログラマブルコンピュータシステムと協働する（または協働することが可能である）、電子的に読取可能な制御信号が格納されている、デジタル記録媒体等であり、これは例えば、フロッピーディスク、ＤＶＤ、ブルーレイ、ＣＤ、ＲＯＭ、ＰＲＯＭおよびＥＰＲＯＭ、ＥＥＰＲＯＭまたはＦＬＡＳＨメモリである。したがって、デジタル記録媒体は、コンピュータ読取可能であってもよい。

本発明のいくつかの実施形態は、本明細書に記載のいずれかの方法が実施されるように、プログラマブルコンピュータシステムと協働することができる、電子的に読取可能な制御信号を有するデータ担体を含んでいる。

一般的に、本発明の実施形態は、プログラムコードを備えるコンピュータプログラム製品として実装可能であり、このプログラムコードは、コンピュータプログラム製品がコンピュータ上で実行されるときにいずれかの方法を実施するように作動する。このプログラムコードは、例えば、機械可読担体に格納されていてもよい。

別の実施形態は、機械可読担体に格納されている、本明細書に記載のいずれかの方法を実施するためのコンピュータプログラムを含んでいる。

したがって、換言すれば、本発明の実施形態は、コンピュータプログラムがコンピュータ上で実行されるときに本明細書に記載のいずれかの方法を実施するためのプログラムコードを有するコンピュータプログラムである。

したがって、本発明の別の実施形態は、プロセッサによって実行されるときに本明細書に記載のいずれかの方法を実施するために、格納されているコンピュータプログラムを含んでいる記録媒体（またはデータ担体またはコンピュータ読取可能な媒体）である。データ担体、デジタル記録媒体または被記録媒体は、典型的に、有形である、かつ／または非一過性である。本発明の別の実施形態は、プロセッサと記録媒体を含んでいる、本明細書に記載されたような装置である。

したがって、本発明の別の実施形態は、本明細書に記載のいずれかの方法を実施するためのコンピュータプログラムを表すデータストリームまたは信号シーケンスである。データストリームまたは信号シーケンスは例えば、データ通信接続、例えばインターネットを介して転送されるように構成されていてもよい。

別の実施形態は、処理手段、例えば、本明細書に記載のいずれかの方法を実施するように構成または適合されているコンピュータまたはプログラマブルロジックデバイスを含んでいる。

別の実施形態は、本明細書に記載のいずれかの方法を実施するために、インストールされたコンピュータプログラムを有しているコンピュータを含んでいる。

本発明の別の実施形態は、本明細書に記載のいずれかの方法を実施するためのコンピュータプログラムを（例えば、電子的にまたは光学的に）受信機に転送するように構成されている装置またはシステムを含んでいる。受信機は、例えば、コンピュータ、モバイル機器、記憶装置等であってもよい。装置またはシステムは、例えば、コンピュータプログラムを受信機に転送するために、ファイルサーバを含んでいてもよい。

いくつかの実施形態では、プログラマブルロジックデバイス（例えばフィールド・プログラマブル・ゲート・アレイ）が、本明細書に記載された方法の機能の一部または全部を実行するために使用されてもよい。いくつかの実施形態では、フィールド・プログラマブル・ゲート・アレイは、本明細書に記載のいずれかの方法を実施するためにマイクロプロセッサと協働してもよい。一般的に、有利には、任意のハードウェア装置によって方法が実施される。

実施形態は、機械学習モデルまたは機械学習アルゴリズムの使用に基づいていてもよい。機械学習は、モデルおよび推論に依存する代わりに、コンピュータシステムが、明示的な命令を使用することなく、特定のタスクを実行するために使用し得るアルゴリズムおよび統計モデルを参照してもよい。例えば、機械学習では、ルールに基づくデータ変換の代わりに、過去のデータおよび／またはトレーニングデータの分析から推論されるデータ変換が使用されてもよい。例えば、画像コンテンツは、機械学習モデルを使用して、または機械学習アルゴリズムを使用して分析されてもよい。機械学習モデルが画像コンテンツを分析するために、機械学習モデルは、入力としてのトレーニング画像と出力としてのトレーニングコンテンツ情報を使用してトレーニングされてもよい。多数のトレーニング画像および／またはトレーニングシーケンス（例えば単語または文）および関連するトレーニングコンテンツ情報（例えばラベルまたは注釈）によって機械学習モデルをトレーニングすることによって、機械学習モデルは、画像コンテンツを認識することを「学習」するので、トレーニングデータに含まれていない画像コンテンツが機械学習モデルを用いて認識可能になる。同じ原理が、同じように他の種類のセンサデータに対して使用されてもよい：トレーニングセンサデータと所望の出力を用いて機械学習モデルをトレーニングすることによって、機械学習モデルは、センサデータと出力との間の変換を「学習し」、これは、機械学習モデルに提供された非トレーニングセンサデータに基づいて出力を提供するために使用可能である。提供されたデータ（例えばセンサデータ、メタデータおよび／または画像データ）は、機械学習モデルへの入力として使用される特徴ベクトルを得るために前処理されてもよい。

機械学習モデルは、トレーニング入力データを用いてトレーニングされてもよい。上記の例は、「教師あり学習」と称されるトレーニング方法を使用する。教師あり学習では、機械学習モデルは、複数のトレーニングサンプルを用いてトレーニングされ、ここで各サンプルは複数の入力データ値と複数の所望の出力値を含んでいてもよく、すなわち各トレーニングサンプルは、所望の出力値と関連付けされている。トレーニングサンプルと所望の出力値の両方を指定することによって、機械学習モデルは、トレーニング中に、提供されたサンプルに類似する入力サンプルに基づいてどの出力値を提供するのかを「学習」する。教師あり学習の他に、半教師あり学習が使用されてもよい。半教師あり学習では、トレーニングサンプルの一部は、対応する所望の出力値を欠いている。教師あり学習は、教師あり学習アルゴリズム（例えば分類アルゴリズム、回帰アルゴリズムまたは類似度学習アルゴリズム）に基づいていてもよい。出力が、値（カテゴリー変数）の限られたセットに制限される場合、すなわち入力が値の限られたセットのうちの１つに分類される場合、分類アルゴリズムが使用されてもよい。出力が（範囲内の）任意の数値を有していてもよい場合、回帰アルゴリズムが使用されてもよい。類似度学習アルゴリズムは、分類アルゴリズムと回帰アルゴリズムの両方に類似していてもよいが、２つのオブジェクトがどの程度類似しているかまたは関係しているかを測定する類似度関数を用いた例からの学習に基づいている。教師あり学習または半教師あり学習の他に、機械学習モデルをトレーニングするために教師なし学習が使用されてもよい。教師なし学習では、入力データ（だけ）が供給される可能性があり、教師なし学習アルゴリズムは、（例えば、入力データをグループ化またはクラスタリングすること、データに共通性を見出すことによって）入力データにおいて構造を見出すために使用されてもよい。クラスタリングは、複数の入力値を含んでいる入力データを複数のサブセット（クラスター）に割り当てることであるので、同じクラスター内の入力値は１つまたは複数の（事前に定められた）類似度判断基準に従って類似しているが、別のクラスターに含まれている入力値と類似していない。

強化学習は機械学習アルゴリズムの第３のグループである。換言すれば、強化学習は機械学習モデルをトレーニングするために使用されてもよい。強化学習では、１つまたは複数のソフトウェアアクター（「ソフトウェアエージェント」と称される）が、周囲において行動を取るようにトレーニングされる。取られた行動に基づいて、報酬が計算される。強化学習は、（報酬の増加によって明らかにされるように）累積報酬が増加し、与えられたタスクでより良くなるソフトウェアエージェントが得られるように行動を選択するように、１つまたは複数のソフトウェアエージェントをトレーニングすることに基づいている。

さらに、いくつかの技術が、機械学習アルゴリズムの一部に適用されてもよい。例えば、特徴表現学習が使用されてもよい。換言すれば、機械学習モデルは、少なくとも部分的に特徴表現学習を用いてトレーニングされてもよい、かつ／または機械学習アルゴリズムは、特徴表現学習構成要素を含んでいてもよい。表現学習アルゴリズムと称され得る特徴表現学習アルゴリズムは、自身の入力に情報を保存するだけでなく、多くの場合、分類または予測を実行する前の前処理ステップとして、有用にするように情報の変換も行ってもよい。特徴表現学習は、例えば、主成分分析またはクラスター分析に基づいていてもよい。

いくつかの例では、異常検知（すなわち、外れ値検知）が使用されてもよく、これは、入力またはトレーニングデータの大部分と著しく異なることによって疑念を引き起こしている入力値の識別を提供することを目的としている。換言すれば、機械学習モデルは、少なくとも部分的に異常検知を用いてトレーニングされてもよく、かつ／または機械学習アルゴリズムは、異常検知構成要素を含んでいてもよい。

いくつかの例では、機械学習アルゴリズムは、予測モデルとして決定木を使用してもよい。換言すれば、機械学習モデルは、決定木に基づいていてもよい。決定木において、項目（例えば、入力値のセット）に関する観察は、決定木のブランチによって表されてもよく、この項目に対応する出力値は、決定木のリーフによって表されてもよい。決定木は、出力値として離散値と連続値の両方をサポートしてもよい。離散値が使用される場合、決定木は、分類木として表されてもよく、連続値が使用される場合、決定木は、回帰木として表されてもよい。

相関ルールは、機械学習アルゴリズムにおいて使用され得る別の技術である。換言すれば、機械学習モデルは、１つまたは複数の相関ルールに基づいていてもよい。相関ルールは、大量のデータにおける変数間の関係を識別することによって作成される。機械学習アルゴリズムは、データから導出された知識を表す１つまたは複数の相関的なルールを識別してもよい、かつ／または利用してもよい。これらのルールは、例えば、知識を格納する、操作するまたは適用するために使用されてもよい。

機械学習アルゴリズムは通常、機械学習モデルに基づいている。換言すれば、用語「機械学習アルゴリズム」は、機械学習モデルを作成する、トレーニングするまたは使用するために使用され得る命令のセットを表していてもよい。用語「機械学習モデル」は、（例えば、機械学習アルゴリズムによって実行されるトレーニングに基づいて）学習した知識を表すデータ構造および／またはルールのセットを表していてもよい。実施形態では、機械学習アルゴリズムの用法は、基礎となる１つの機械学習モデル（または基礎となる複数の機械学習モデル）の用法を意味していてもよい。機械学習モデルの用法は、機械学習モデルおよび／または機械学習モデルであるデータ構造／ルールのセットが機械学習アルゴリズムによってトレーニングされることを意味していてもよい。

例えば、機械学習モデルは、人工ニューラルネットワーク（ＡＮＮ）であってもよい。ＡＮＮは、網膜または脳において見出されるような、生物学的ニューラルネットワークによって影響を与えられるシステムである。ＡＮＮは、相互接続された複数のノードと、ノード間の、複数の接合部分、いわゆるエッジと、を含んでいる。通常、３種類のノードが存在しており、すなわち入力値を受け取る入力ノード、他のノードに接続されている（だけの）隠れノードおよび出力値を提供する出力ノードが存在している。各ノードは、人工ニューロンを表していてもよい。各エッジは、１つのノードから別のノードに、情報を伝達してもよい。ノードの出力は、その入力（例えば、その入力の和）の（非線形）関数として定義されてもよい。ノードの入力は、入力を提供するエッジまたはノードの「重み」に基づく関数において使用されてもよい。ノードおよび／またはエッジの重みは、学習過程において調整されてもよい。換言すれば、人工ニューラルネットワークのトレーニングは、与えられた入力に対して所望の出力を得るために、人工ニューラルネットワークのノードおよび／またはエッジの重みを調整することを含んでいてもよい。

択一的に、機械学習モデルは、サポートベクターマシン、ランダムフォレストモデルまたは勾配ブースティングモデルであってもよい。サポートベクターマシン（すなわち、サポートベクターネットワーク）は、（例えば、分類または回帰分析において）データを分析するために使用され得る、関連する学習アルゴリズムを伴う、教師あり学習モデルである。サポートベクターマシンは、２つのカテゴリのいずれかに属する複数のトレーニング入力値を伴う入力を提供することによってトレーニングされてもよい。サポートベクターマシンは、２つのカテゴリのいずれかに新しい入力値を割り当てるようにトレーニングされてもよい。択一的に、機械学習モデルは、確率有向非巡回グラフィカルモデルであるベイジアンネットワークであってもよい。ベイジアンネットワークは、有向非巡回グラフを用いて、確率変数とその条件付き依存性のセットを表していてもよい。択一的に、機械学習モデルは、検索アルゴリズムと自然淘汰の過程を模倣した発見的方法である遺伝的アルゴリズムに基づいていてもよい。

１００ データ処理装置
１０２ デコンボリューション
１０４ 反復アルゴリズム
１０６ サンプル
１０８ 蛍光体
１１０ 検出光学系
１１２ 光子計数デバイス
１１４ 光源
１１６ 照明光学系
１１８ 光ビーム
１２０ 光パルス
１２２ 画像ラスタ
１２８ 蛍光寿命イメージングデバイス
１３０ 機械学習製品
１３２ 光子
１３４ レーザ
１３６ パルスレーザ
１３８ サンプルと光子計数デバイスとの間の相対運動
１４０ 浮遊光子
１４２ パルス周期
１４４ プロセッサ
１４６ 記憶装置／メモリ
５００ 色素分離入力光子到着時間データの計算
５０２ 異なる蛍光体の色素減衰曲線の計算
５０４ 異なる蛍光体の蛍光寿命の計算
５０６ 入力画像位置における色素減衰曲線の計算
５０８ それぞれの蛍光体について色素分離出力画像を組み合わせる
５１０ 入力光子到着時間データにおいて蛍光体の個数を特定する
５１２ あらかじめ定めた色素減衰曲線および／または蛍光寿命が利用可能であるか否か特定する
５１４ デコンボリューションの実行
ａ^（ｆ），ｂ^（ｆ） 蛍光体ｆの色素減衰曲線を適合するための重み付け係数

最小化に使用される重み付け係数
Ｄ^（ｆ）（ｘ _ｉ,ｔ） 位置ｘ _ｉにおける蛍光体ｆの色素減衰曲線
Ｅ，Ｅ^（ｍ）（ｘ _ｉ,ｔ） 反復ｍにおけるグラウンドトゥルースの推定値
ｆ 蛍光体計数値
Ｆ 蛍光体の個数
Ｉ デジタル入力画像
Ｉ（ｘ _ｉ,ｔ） 入力画像データ
Ｉ_ＧＴ（ｘ _ｉ,ｔ） ぼけのないグラウンドトゥルース
ｔ 時間
Ｎ 光子計数値
ｍ 反復回数
Ｍ 最大反復
Ｏ デジタル出力画像
Ｏ（ｘ _ｉ,ｔ） 出力画像データ
Ｐ_ｉ，Ｐ_ｉ（ｘ _ｉ,ｔ） 入力光子到着時間データ
Ｐ_Σ，Ｐ_Σ（ｘ _ｉ,ｔ） 集計入力光子到着時間データ
Ｐ_ｉ ^（ｆ），Ｐ_ｉ ^（ｆ）（ｘ _ｉ,ｔ） ｆ番目の蛍光体についての色素分離入力光子到着時間データ
Ｐ_ｏ，Ｐ_ｏ（ｘ _ｏ,ｔ） 出力光子到着時間データ
Ｐ_ｏ ^（ｆ），Ｐ_ｏ ^（ｆ）（ｘ _ｏ,ｔ） ｆ番目の蛍光体についての出力光子到着時間データ
ｐｓｆ（ｘ _ｉ[,ｔ]） 点拡がり関数
Ｔ 引数を時間非依存にするための演算
Ｕ 更新関数
ｘ サンプルにおける位置
ｘ _ｉ 入力画像位置
ｘ _ｏ 出力画像位置

Claims (16)

1. デジタル入力画像（Ｉ）を処理するためのデータ処理装置（１００）であって、
   前記デジタル入力画像（Ｉ）は、入力画像位置（ｘ _ｉ）における入力光子到着時間データ（Ｐ_ｉ（ｘ _ｉ,ｔ））を有し、
   前記データ処理装置（１００）は、デコンボリューション（１０２）により、前記デジタル入力画像（Ｉ）に基づいてデジタル出力画像（Ｏ）を計算するように構成され、
   前記デジタル出力画像（Ｏ）は、出力画像位置（ｘ _ｏ）における出力光子到着時間データ（Ｐ_ｏ（ｘ _ｏ,ｔ））を有し、前記出力光子到着時間データ（Ｐ_ｏ（ｘ _ｏ,ｔ））は、前記入力光子到着時間データ（Ｐ_ｉ（ｘ _ｉ,ｔ））のぼけのないグラウンドトゥルースの推定値（Ｅ^（ｍ）（ｘ _ｉ,ｔ））を表すように構成されており、
   前記データ処理装置（１００）は、更新関数（Ｕ）を使用して反復アルゴリズム（１０４）により、前記デコンボリューション（１０２）を計算するように構成され、
   前記更新関数（Ｕ）は、点拡がり関数（ｐｓｆ（ｘ _ｉ[,ｔ]））と、前記グラウンドトゥルース（Ｉ_ＧＴ（ｘ _ｉ,ｔ））の先行推定値（Ｅ^{（ｍ－１）}（ｘ _ｉ,ｔ））と、前記入力光子到着時間データ（Ｐ_ｉ（ｘ _ｉ,ｔ））と、に依存する、
   データ処理装置（１００）。
2. 前記点拡がり関数（ｐｓｆ（ｘ _ｉ））および前記更新関数（Ｕ）の少なくとも１つは、時間非依存である、
   請求項１記載のデータ処理装置（１００）。
3. 前記デコンボリューション（１０２）には、それぞれのオペランドとして、前記入力光子到着時間データ（Ｐ_ｉ（ｘ _ｉ,ｔ），Ｐ_ｉ ^（ｆ）（ｘ _ｉ,ｔ））と、前記点拡がり関数と、前記先行推定値と、の少なくとも１つに対する演算（Ｔ）が含まれており、前記演算（Ｔ）は、オペランド（Ｐ_ｉ（ｘ _ｉ,ｔ），Ｐ_ｉ ^（ｆ）（ｘ _ｉ,ｔ），ｐｓｆ（ｘ _ｉ[,ｔ]），Ｅ^{（ｍ－１）}（ｘ _ｉ,ｔ））の時間依存性を除去するように構成されている、
   請求項１または２記載のデータ処理装置（１００）。
4. 前記演算（Ｔ）には、そのオペランド（Ｐ_ｉ（ｘ _ｉ,ｔ），Ｐ_ｉ ^（ｆ）（ｘ _ｉ,ｔ），ｐｓｆ（ｘ _ｉ[,ｔ]），Ｅ^{（ｍ－１）}（ｘ _ｉ,ｔ））の時間にわたる和と、入力画像位置および特定の時点（ｔ_１）における前記オペランドの値と、の少なくとも１つが含まれる、
   請求項３記載のデータ処理装置（１００）。
5. 前記反復アルゴリズム（１０４）は、前記更新関数（Ｕ）と前記推定値（Ｅ^{（ｍ－１）}（ｘ _ｉ,ｔ））との組み合わせを有し、前記組み合わせは、加算および乗算の少なくとも１つである、
   請求項１から４までのいずれか１項記載のデータ処理装置（１００）。
6. 前記入力光子到着時間データ（Ｐ_ｉ（ｘ _ｉ,ｔ））は、異なる蛍光体（１０８）の個数（Ｆ）の入力光子到着時間データを有し、前記個数（Ｆ）は１よりも大きく、
   前記データ処理装置（１００）は、異なる色素分離入力光子到着時間データ（Ｐ_ｉ ^（ｆ）（ｘ _ｉ,ｔ））の個数（Ｆ）を計算するように構成されており、色素分離入力光子到着時間の前記個数（Ｆ）は、異なる蛍光体（１０８）の前記個数（Ｆ）に対応し、
   前記データ処理装置（１００）は、前記入力光子到着時間データ（Ｐ_ｉ（ｘ _ｉ,ｔ））として、それぞれの前記色素分離入力光子到着時間データ（Ｐ_ｉ ^（ｆ）（ｘ _ｉ,ｔ））について別々に前記デコンボリューション（１０２）を計算するように構成されている、
   請求項１から５までのいずれか１項記載のデータ処理装置（１００）。
7. 前記データ処理装置（１００）は、
   複数の入力画像位置（ｘ _ｉ）からの前記入力光子到着時間データ（Ｐ_ｉ（ｘ _ｉ,ｔ））の組み合わせから、集計入力光子到着時間データ（Ｐ_Σ（ｘ _ｉ,ｔ））を計算し、
   蛍光体（１０８）の前記個数（Ｆ）のそれぞれについて、前記集計入力光子到着時間データ（Ｐ_Σ（ｘ _ｉ,ｔ））への、あらかじめ定めた減衰曲線の組み合わせのフィッティングから、色素減衰曲線（Ｄ^（ｆ）（ｘ _ｉ,ｔ））を計算する、
   ように構成されている、
   請求項６記載のデータ処理装置（１００）。
8. 蛍光体（１０８）の前記個数（Ｆ）の蛍光体についての色素減衰曲線（Ｄ^（ｆ）（ｘ _ｉ,ｔ））の計算には前記蛍光体の寿命（τ_ｆ）の計算が含まれている、
   請求項７記載のデータ処理装置（１００）。
9. 前記データ処理装置（１００）は、前記色素減衰曲線（Ｄ^（ｆ）（ｘ _ｉ,ｔ））およびあらかじめ定めた色素減衰曲線（Ｄ^（ｆ）（ｘ _ｉ,ｔ））の線形結合の、入力画像位置（ｘ _ｉ）における前記入力光子到着時間データ（Ｐ_ｉ（ｘ _ｉ,ｔ））へのフィッティングの１つにより、前記入力画像位置（ｘ _ｉ）における前記色素分離入力光子到着時間データ（Ｐ_ｉ ^（ｆ）（ｘ _ｉ,ｔ））を計算するように構成されている、
   請求項７または８記載のデータ処理装置（１００）。
10. 請求項１から９までのいずれか１項記載のデータ処理装置（１００）を有する蛍光寿命イメージングデバイス（１２８）。
11. デジタル入力画像（Ｉ）を処理するコンピュータ実装式の方法であって、
    前記デジタル入力画像（Ｉ）は、入力画像位置（ｘ _ｉ）における入力光子到着時間データ（Ｐ_ｉ（ｘ _ｉ,ｔ））を有し、
    デジタル出力画像（Ｏ）は、デコンボリューション（１０２）により、前記デジタル入力画像（Ｉ）から計算され、
    前記デジタル出力画像（Ｏ）は、出力画像位置（ｘ _ｏ）における出力光子到着時間データ（Ｐ_ｏ（ｘ _ｏ,ｔ））を有し、前記出力光子到着時間データ（Ｐ_ｏ（ｘ _ｏ,ｔ））は、前記入力光子到着時間データ（Ｐ_ｉ（ｘ _ｉ,ｔ））のぼけのないグラウンドトゥルースの推定値（Ｅ^（ｍ）（ｘ _ｉ,ｔ））を表し、
    前記デコンボリューション（１０２）は、更新関数（Ｕ）を使用して反復アルゴリズム（１０４）により計算され、
    前記更新関数（Ｕ）は、点拡がり関数（ｐｓｆ（ｘ _ｉ[,ｔ]））と、前記グラウンドトゥルース（Ｉ_ＧＴ（ｘ _ｉ,ｔ））の先行推定値（Ｅ^{（ｍ－１）}（ｘ _ｉ,ｔ））と、前記入力光子到着時間データ（Ｐ_ｉ（ｘ _ｉ,ｔ））と、に依存する、
    方法。
12. 請求項１から９までのいずれか１項記載のデータ処理装置（１００）を作動させるように適合させられた、請求項１１記載のコンピュータ実装式の方法。
13. プログラムがコンピュータによって実行される場合に、前記コンピュータに請求項１１または１２の記載の方法を実施行させる命令を有するコンピュータプログラム製品。
14. コンピュータによって実行される場合に、前記コンピュータに請求項１１または１２の方法を実行させる命令を有するコンピュータ読取可能媒体。
15. デジタル入力画像（Ｉ）を処理するための機械学習製品（１３０）であって、
    前記デジタル入力画像（Ｉ）は、入力画像位置（ｘ _ｉ）における入力光子到着時間データ（Ｐ_ｉ（ｘ _ｉ,ｔ））を有し、
    前記機械学習製品は、デジタル出力画像（Ｏ）を計算するように構成されており、
    前記デジタル出力画像（Ｏ）は、出力画像位置（ｘ _ｏ）における出力光子到着時間データ（Ｐ_ｏ（ｘ _ｏ,ｔ））を有し、前記出力光子到着時間データ（Ｐ_ｏ（ｘ _ｏ,ｔ））は、前記入力光子到着時間データ（Ｐ_ｉ（ｘ _ｉ,ｔ））のぼけのないグラウンドトゥルースの推定値（Ｅ^（ｍ）（ｘ _ｉ,ｔ））を表し、
    前記機械学習製品は、異なるデジタル入力画像（Ｉ）およびデジタル出力画像（Ｏ）のペアによってトレーニングされており、ペアの前記デジタル入力画像（Ｉ）から計算された前記ペアのそれぞれのデジタル出力画像（Ｏ）は、請求項１１または１２記載の方法と、請求項１から９までのいずれか１項記載のデータ処理装置（１００）と、の少なくとも１つを使用する、
    機械学習製品（１３０）。
16. 異なるデジタル入力画像（Ｉ）およびデジタル出力画像（Ｏ）のペアによって機械学習製品（１３０）をトレーニングする方法であって、ペアの前記デジタル入力画像（Ｉ）から計算された前記ペアのそれぞれのデジタル出力画像（Ｏ）は、請求項１１または１２記載の方法と、請求項１から９までのいずれか１項記載のデータ処理装置（１００）と、の少なくとも１つを使用する、機械学習製品（１３０）をトレーニングする方法。

Images