JP5228729B2 - スペクトル画像処理方法、スペクトル画像処理プログラム、及びスペクトルイメージングシステム - Google Patents

Description

本発明は、複数種類の蛍光物質で標識された被観察物のスペクトル画像（波長成分毎の画像）に基づき、被観察物の各位置に対する各物質の寄与率を計算するスペクトル画像処理方法、スペクトル画像処理プログラム、及びスペクトルイメージングシステムに関する。

生細胞の動態観察では、蛍光試薬や蛍光タンパクなどの蛍光物質で被観察物を標識し、それを蛍光レーザ顕微鏡等の光学顕微鏡で観察することがある。特に、被観察物を標識した蛍光試薬の種類数が複数であった場合には、被観察物からスペクトル画像（実測スペクトル画像）を取得し、それをコンピュータ上で蛍光物質毎の画像に分離する解析方法が有効である。本明細書ではこの解析を「アンミックス」と称す。

アンミックスでは、複数種類の蛍光試薬の各々に固有の発光スペクトルであるリファレンススペクトルを説明変数とした最小二乗法等により、被観察物の各位置に対する複数の蛍光試薬の寄与率を推定する。因みに、リファレンススペクトルが未知である場合、そのアンミックスはブラインドアンミックスとなる。

従来のブラインドアンミックスは、実測スペクトル画像の中から単一の蛍光試薬の寄与しか受けていない幾つかの画素（最適サンプリング画素）を幾何学的に見いだし、複数種類の蛍光試薬のリファレンススペクトルを、それら最適サンプリング画素の実測スペクトルと同等とみなしてアンミックスを行っている（例えば特許文献１を参照。）。
特開２００４−２８６５１５号公報

しかしながら従来の方法では、最適サンプリング画素を適切かつ容易に選定できない可能性があるため、ブラインドアンミックスの演算精度を高めることが難しいことが判明した。

そこで本発明は、複数種類の蛍光物質で標識された被観察物のスペクトル画像を高精度にブラインドアンミックスすることのできるスペクトル画像処理方法、スペクトル画像処理プログラム、及びスペクトルイメージングシステムを提供することを目的とする。

本発明を例示するスペクトル画像処理方法の一態様は、被観察物の実測スペクトル画像を構成する各画素を、そのスペクトルの次元より低次元のＭ次元色空間へと写像する次元削減手順と、前記Ｍ次元色空間上で各画素の位置ベクトルの平均ベクトルを法線とした超平面を算出し、その超平面へ向けて前記各画素を原点から中心射影し、その超平面における前記各画素の分布域を示す超多面体のＭ個の頂点を見いだし、それら頂点に位置するＭ個の画素を最適サンプリング画素に選定する選定手順と、最適サンプリング画素に選定された前記Ｍ個の画素の各々の実測スペクトルに基づき、前記被観察物を標識した複数種類の物質に固有の発光スペクトルを推定し、それら発光スペクトルと前記実測スペクトル画像とに基づき前記被観察物の各位置に対する前記複数種類の物質の寄与率を計算するアンミックス手順とを含むことを特徴とする。

また、本発明を例示するスペクトル画像処理プログラムの一態様は、前記スペクトル画像処理方法をコンピュータに実効させることを特徴とする。

また、本発明を例示するスペクトルイメージングシステムの一態様は、被観察物から実測スペクトル画像を取得するスペクトルイメージング装置と、取得された前記実測スペクトル画像を取り込み、前記スペクトル画像処理方法を実行するスペクトル画像処理装置とを備えたことを特徴とする。

本発明によれば、複数種類の蛍光物質で標識された被観察物のスペクトル画像を高精度にブラインドアンミックスすることのできるスペクトル画像処理方法、スペクトル画像処理プログラム、及びスペクトルイメージングシステムが実現する。

［第１実施形態］
本発明の第１実施形態を説明する。本実施形態は、スペクトルイメージング蛍光レーザコンフォーカル顕微鏡システムの実施形態である。

図１は、本システムの構成図である。図１に示すとおり本システムには、顕微鏡本体１０と、それに接続されたコンピュータ２０と、それに接続された入力器３０及び表示器４０とが備えられる。入力器３０はマウスやキーボードなどであり、表示器４０はＬＣＤなどである。

顕微鏡本体１０には、レーザ光源１１と、ダイクロイックミラー１２と、光スキャナ１３と、対物レンズ１４と、標本１５と、観察レンズ１６と、共焦点絞りの役割を果たすピンホールマスク１７と、分光素子１８と、多チャンネル光検出器１９とが配置される。標本１５は、１種類又は複数種類の蛍光試薬で標識されており、多チャンネル光検出器１９は、試薬数Ｍよりも十分に多いＮ個（例えばＮ＝３２）の波長チャンネルを有している。なお、本実施形態のコンピュータ２０は、後述するとおりブラインドアンミックスを行うので、試薬数Ｍと、各蛍光試薬のリファレンススペクトルとは、それぞれ未知であっても構わない。

コンピュータ２０には、ＣＰＵ２３と、ＣＰＵ２３の基本的動作プログラムが書き込まれたＲＯＭ２４と、ＣＰＵ２３の動作中の一時的な記憶手段として使用されるＲＡＭと、データを長期保存するためのハードディスクドライブ２６と、入力器３０及び表示器４０とのインタフェースをとるインタフェース回路２７と、多チャンネル光検出器１９の波長チャンネル数と同数のＡ／Ｄ変換回路２１_１，２１_２，…，２１_Ｎと、それと同数のフレームメモリ２２_１，２２_２，…，２２_Ｎとが備えられる。なお、フレームメモリ２２_１，２２_２，…，２２_Ｎ、ハードディスクドライブ２６、ＣＰＵ２３、ＲＯＭ２４、ＲＡＭ２５、インタフェース回路２７は、バス２０Ｂを介して接続されており、ハードディスクドライブ２６には、本システムに必要なＣＰＵ２３の動作プログラムが予め格納されている。

顕微鏡本体１０のレーザ光源１１からは、レーザ光（例えば白色レーザ光）が発せられる。このレーザ光は、ダイクロイックミラー１２を反射し、光スキャナ１３及び対物レンズ１４を順に介して標本１５上の１点に集光する。その集光点の近傍では様々な波長成分からなる蛍光が生じ、その蛍光は、対物レンズ１４及び光スキャナ１３を順に介してダイクロイックミラー１２へ入射すると、そのダイクロイックミラー１２を透過し、観察レンズ１６を介してピンホールマスク１７へ入射する。このピンホールマスク１７のピンホールは、観察レンズ１６及び対物レンズ１４により前記集光点と共役関係に結ばれており、標本１５で発生した蛍光のうち、前記集光点から射出した必要な光線のみを通過させる働きがある。ピンホールマスク１７を通過した蛍光は、分光素子１８へ入射すると、複数の波長成分に分離される。それらの各波長成分は、多チャンネル光検出器１９の互いに異なる波長チャンネルへ入射し、独立かつ同時に検出される。

多チャンネル光検出器１９のＮ個の波長チャンネルは、例えば、可視光域内のＮ種類の波長成分を同時かつ個別に検出する。それらＮ個の波長チャンネルから出力される各信号は、コンピュータ２０へ並列に取り込まれ、Ａ／Ｄ変換回路２１_１，２１_２，…，２１_Ｎを介してフレームメモリ２２_１，２２_２，…，２２_Ｎへ個別に入力される。

この多チャンネル光検出器１９と前述した光スキャナ１３とは同期駆動され、これによって、標本１５上を集光点で二次元的に走査している期間に、多チャンネル光検出器１９から繰り返し信号が出力される。このとき、フレームメモリ２２_１，２２_２，…，２２_Ｎには、標本１５の各波長チャンネルの画像が徐々に蓄積されることになる。フレームメモリ２２_１，２２_２，…，２２_Ｎに蓄積された各波長チャンネルの画像（チャンネル画像Ｄ_１，Ｄ_２，…，Ｄ_Ｎ）は、適当なタイミングでＣＰＵ２３によって読み出され、１つのスペクトル画像（実測スペクトル画像）Ｄに纏められてからハードディスクドライブ２６へ格納される。ＣＰＵ２３は、この実測スペクトル画像Ｄに対して後述するアンミックス処理（ブラインドアンミックス）を施す。

図２は、アンミックスの基本原理を示す図である。なお、基本原理の説明では、蛍光試薬の種類数を「３」と仮定する。

先ず、３種類の蛍光試薬のリファレンススペクトルＳ_１，Ｓ_２，Ｓ_３（図２（Ａ）参照）は、それぞれ式（１）のとおりベクトルで表される。以下、これらのベクトルＳ_１，Ｓ_２，Ｓ_３を「リファレンススペクトルベクトルＳ_１，Ｓ_２，Ｓ_３」と称す。リファレンススペクトルベクトルＳ_ｉの成分ｓ_ｉｊは、第ｊ蛍光試薬のｉ番目の波長チャンネルの強度（輝度値）である。

また、実測スペクトル画像Ｄにおける或る画素の実測スペクトルｆ（図２（Ｂ）参照）も、式（２）のとおりベクトルで表される。以下、このベクトルｆを「実測スペクトルベクトルｆ」と称す。この実測スペクトルベクトルｆの成分ｆ_ｉは、この画素のｉ番目の波長チャンネルの強度（輝度値）である。

よって、或る画素の実測スペクトルベクトルｆと３種類の蛍光試薬のリファレンススペクトルベクトルＳ_１，Ｓ_２，Ｓ_３と、その画素に対する３種類の蛍光試薬の寄与率ｐ_１、ｐ_２、ｐ_３との間には、式（３）が成り立つ（図２（Ｃ）参照）。

よって、式（４）、（５）に示すとおり、３つのリファレンススペクトルベクトルＳ_１，Ｓ_２，Ｓ_３を並べてできる行列（リファレンススペクトル行列）Ｓと、３つの寄与率ｐ_１，ｐ_２，ｐ_３を並べてできるベクトル（寄与率ベクトル）Ｐとによって、式（３）は式（６）のとおり整理される。

よって、或る画素のアンミックス（図２（Ｄ）参照）では、その画素の実測スペクトルベクトルｆと、リファレンススペクトル行列Ｓとを式（６）へ当てはめ、それを寄与率ベクトルＰについて解けばよい。

但し、本システムでは、波長チャンネルの数（チャンネル数Ｎ）が蛍光試薬の種類数（ここでは３）よりも十分に多く設定されているので、最小二乗法（最小二乗アンミックス）が適用される。その最小二乗アンミックスでは、式（６）において誤差εを考慮した式（７）が用意され、その誤差εの二乗値が最小となるような寄与率ベクトルＰが求められる。

因みに、最小二乗法による寄与率ベクトルＰの算出式を具体的に示すと、式（８）に示す通りである。式（８）においてＳ^Ｔは、Ｓの転置行列である。

図３は、ＣＰＵ２３によるアンミックス処理（ブラインドアンミックス）のフローチャートである。以下、各ステップを順に説明する。

ステップＳ１：ＣＰＵ２３は、ハードディスクドライブ２６からＲＡＭ２５上へ実測スペクトル画像Ｄを読み出す。

ステップＳ２：ＣＰＵ２３は、実測スペクトル画像Ｄを構成するチャンネル画像Ｄ_１，Ｄ_２，…，Ｄ_Ｎの各々に対して空間方向の平滑化処理、例えば式（９）で表されるガウシアンフィルタ処理を施す。これによって、チャンネル画像_１，Ｄ_２，…，Ｄ_Ｎの各々に重畳されていたランダムノイズが軽減される。また、ＣＰＵ２３は、平滑化処理の前又は後に、チャンネル画像_１，Ｄ_２，…，Ｄ_Ｎの各々に対し背景レベルを除去するための閾値処理を施す。これによって、チャンネル画像Ｄ_１，Ｄ_２，…，Ｄ_Ｎの各々に発生していた暗電流ノイズが除去される。

ステップＳ３：ＣＰＵ２３は、ノイズ除去後の実測スペクトル画像Ｄを示す行列Ｆを作成する。この行列Ｆは、各画素のノイズ除去後の実測スペクトルベクトルｆ（式（２））を並べてできる行列であって、行列Ｆの行数（縦の成分数）はチャンネル数Ｎ（例えば３２）と同じであり、行列Ｆの列数（横の成分数）は画素数Ｌ（例えば５１２×５１２）と同じである。

さらにＣＰＵ２３は、行列Ｆを特異値分解し、式（１０）で表される特異値行列Λを取得する。なお、式（１０）においてＵはユニタリ行列であり、Ｖ^ｔはユニタリ行列の随伴行列である。特異値行列Λは、行列Ｆのランクを示す行列であって、非対角成分は全てゼロである。

そしてＣＰＵ２３は、特異値行列Λの対角成分に現れた値（特異値）を参照し、それらの特異値の中で予め決められた閾値を超える有効特異値の個数を計数し、試薬数Ｍの初期値を、その有効特異値の個数と同じに設定する。

図４は、或る実測スペクトル画像Ｄから得られた特異値を次数順に並べたグラフであり、図５は、別の実測スペクトル画像Ｄから得られた特異値を次数順に並べたグラフである。これらの例では、閾値を超える有効特異値の個数が３なので、試薬数Ｍの初期値も３に設定される。以下、試薬数Ｍの初期値は３に設定されたものと仮定する。

なお、本ステップで使用される閾値は、例えば次の手順で設定されたものである。すなわち、試薬数が既知である実測スペクトル画像から同様の手順で特異値行列が取得され、その特異値行列に含まれる特異値のうち試薬数と同じ次数の特異値と、それよりも１だけ次数の大きい特異値とを参照し、両者の中間値に上記閾値が設定される。但し、試薬数Ｍの初期値が実際の試薬数以上に設定されるよう、その閾値は意図的に低めに設定されてもよい。なぜなら試薬数Ｍは、後段のステップにおいて適宜に修正することが可能であり、また、標本１５が自家蛍光を発する場合には、その自家蛍光の寄与率も蛍光試薬の寄与率と共に算出されることが望ましいからである。

ステップＳ４：ＣＰＵ２３は、或る画素のノイズ除去後の実測スペクトルｆを、図６に示すとおり２つの分割線Ｂ_１、Ｂ_２によって波長方向に亘り３分割する。これによって、試薬数Ｍの初期値と同じ個数（つまり３個）の部分実測スペクトルが得られる。そしてＣＰＵ２３は、その画素を、それら部分実測スペクトルの各々の積算強度（又は平均強度）Ｉ_１、Ｉ_２、Ｉ_３によって規定される３次元色空間上の点へと写像する。この積算強度（又は平均強度）Ｉ_１、Ｉ_２、Ｉ_３は、単純に実測スペクトルからサンプリングされたＭ個の特定波長の強度Ｉ_１”、Ｉ_２”、Ｉ_３”よりもＳＮが良い。例えば、サンプリングされた或る波長の強度にたまたまノイズが乗っていた場合には後の処理に大きな影響を与える可能性があり、それを防ぐためにも分割した範囲における積算や平均が有効である。

さらにＣＰＵ２３は、他の各画素についても同様にして同じ３次元色空間上の点へと写像する（図７（Ａ）参照）。これによって、各画素のスペクトルベクトルの次元が３次元に削減されたことになる。

そしてＣＰＵ２３は、その３次元色空間における各画素の分布を示す行列Ｆを作成する。この行列Ｆは、次元削減後の各画素のスペクトルベクトル、すなわちベクトル（Ｉ_１、Ｉ_２、Ｉ_３）を並べてできる行列であって、行列Ｆの行数（縦の成分数）は３（＝試薬数Ｍの初期値）であり、行列Ｆの列数（横の成分数）は画素数Ｌ（例えば５１２×５１２）と同じである。そしてＣＰＵ２３は、その行列Ｆを特異値分解し、式（１０）で表される特異値行列Λを取得する。

ＣＰＵ２３は、特異値行列Λの対角成分に現れた３個の特異値の総和を、現時点における３次元色空間の評価値として算出する。この評価値が高いほど３次元色空間における各画素の分布域が広がるので好ましい。

ステップＳ５：ＣＰＵ２３は、分割線Ｂ_１、Ｂ_２の組み合わせの異なる全ての３次元色空間に関して評価値が算出済みであるか否かを判別し、算出済みでない場合はステップＳ６へ移行し、算出済みである場合はステップＳ７へ移行する。

ステップＳ６：ＣＰＵ２３は、分割線Ｂ_１、Ｂ_２の組み合わせを変更してからステップＳ４へ戻る。

ステップＳ７：ＣＰＵ２３は、分割線Ｂ_１、Ｂ_２の組み合わせの異なる全ての３次元色空間に関して算出した評価値を比較し、その評価値が最大となった３次元色空間を、最適サンプリング画素の選定に使用されるべき３次元色空間（最適３次元色空間）に決定する。

ステップＳ８：ＣＰＵ２３は図７（Ａ）に示すとおり、最適３次元色空間に写像された各画素の位置ベクトルの平均（平均ベクトル）Ｖａを求め、その平均ベクトルＶａを法線とする平面Ｐａを算出する。そしてＣＰＵ２３は、最適３次元色空間上で原点から平面Ｐａに向けて各画素を中心射影する。その平面Ｐａにおける各画素の分布域は、図７（Ｂ）に示すような最適三角形Ａａによって表される。

但し、ＣＰＵ２３は、中心射影に先立ち各画素の位置ベクトルの長さを評価し、その長さが予め決められた閾値以下である画素については、中心射影の対象から外すことが望ましい。なぜなら、原点からの距離が近すぎる画素（つまり輝度が低すぎる画素）の実測スペクトルはＳＮが悪いからである。

なお、ここでは試薬数Ｍの初期値を３と仮定した（色空間の次元を３とした）ので、平均ベクトルＶａを法線とする超平面は平面となったが（図７（Ａ）参照）、試薬数Ｍの初期値が２である場合（色空間の次元が２である場合）は、平均ベクトルＶａを法線とする超平面は直線となる（図８（Ａ）参照）。

また、ここでは試薬数Ｍの初期値を３と仮定した（色空間の次元を３とした）ので、各画素の分布域を示す超多面体は三角形となったが（図７（Ｂ）参照）、試薬数Ｍの初期値が２である場合（色空間の次元が２である場合）は、各画素の分布域を示す超多面体は線分となり（図８（Ｂ）参照）、試薬数Ｍの初期値が４である場合（色空間の次元が４である場合）は、各画素の分布域を示す超多面体は４個の頂点を有した４面体となる（不図示）。

ステップＳ９：ＣＰＵ２３は、平面Ｐａにおける各画素の凸包（Convex Hull）を算出する。例えば、最適３次元色空間における各画素の実際の分布が図９に示すとおりであって、平面Ｐａにおける各画素の分布が図１０に示すとおりであったとすると、それら各画素の凸包は、図１０中に矢印で示した１２個の点を頂点とした１２角形となる。

ステップＳ１０：ＣＰＵ２３は、凸包の何れか３つの頂点が成す三角形のうち面積が最大となるものを探索し、その三角形を図１０に示すとおり最適三角形Ａａとおく。そしてＣＰＵ２３は、最適三角形Ａａの頂点に位置する３個の画素ａ、ｂ、ｃを、最適サンプリング画素に選定する。このようにして選定された最適サンプリング画素ａ、ｂ、ｃは、１種類の蛍光試薬の寄与しか受けていない画素とみなせる。

なお、ここでは試薬数Ｍの初期値を３と仮定した（色空間の次元を３とした）ので、凸包の中から面積が最大となる三角形が探索されたが、試薬数Ｍの初期値が２である場合（色空間の次元が２である場合）は、凸包の中から長さが最大となる線分が探索され、試薬数Ｍの初期値が４である場合（色空間の次元が４である場合）は、凸包の中から体積が最大となる４面体が探索される。

ステップＳ１１：ＣＰＵ２３は、試薬数Ｍの初期値（ここでは３）と同数の蛍光試薬（第１蛍光試薬、第２蛍光試薬、第３蛍光試薬）を想定し、リファレンススペクトル行列Ｓの初期値を次のとおり設定する。

まず、ＣＰＵ２３は、図１１に示すとおり実測スペクトル画像Ｄ上に１つ目の最適サンプリング画素ａを中心とした矩形領域を設定し、その矩形領域内の複数画素の実測スペクトルベクトルの平均（平均実測スペクトルベクトルｆａ）を求め、第１蛍光試薬のリファレンススペクトルベクトルＳ_１の値を、そのスペクトルベクトルｆａと同じ値に設定する。

また、ＣＰＵ２３は、図１１に示すとおり実測スペクトル画像Ｄ上に２つ目の最適サンプリング画素ｂを中心とした矩形領域を設定し、その矩形領域内の複数画素の実測スペクトルベクトルの平均（平均実測スペクトルベクトルｆｂ）を求め、第２蛍光試薬のリファレンススペクトルベクトルＳ_２の値を、そのスペクトルベクトルｆｂと同じ値に設定する。

また、ＣＰＵ２３は、図１１に示すとおり実測スペクトル実測Ｄ上に３つ目の最適サンプリング画素ｃを中心とした矩形領域を設定し、その矩形領域内の複数画素の実測スペクトルベクトルの平均（平均実測スペクトルベクトルｆｃ）を求め、第３蛍光試薬のリファレンススペクトルベクトルＳ_３の値を、そのスペクトルベクトルｆｃと同じ値に設定する。

そして、ＣＰＵ２３は、リファレンススペクトルベクトルＳ_１、Ｓ_２、Ｓ_３を並べてできる行列（式（４）を参照。）を、リファレンススペクトル行列Ｓの初期値とする。

なお、本ステップでは、最適サンプリング画素ａ、ｂ、ｃの実測スペクトルベクトルを、それらの画素に対して空間的に近接する画素の実測スペクトルベクトルで平均化したが、この平均化によれば、実測スペクトルベクトルに含まれるノイズがリファレンススペクトル行列Ｓに与える影響を抑えることができる。

ステップＳ１２：ＣＰＵ２３は、リファレンススペクトル行列Ｓと、アンミックスの対象である画素の実測スペクトルベクトルｆとを式（８）に当てはめることにより、その画素の最小二乗アンミックスを行い、式（８）の未知数であった寄与率ベクトルＰを既知とする。

なお、本ステップにおける寄与率ベクトルＰの次元は、試薬数Ｍと同じに設定される。例えば、試薬数Ｍが３である場合は、寄与率ベクトルＰの成分は、第１蛍光試薬の寄与率ｐ_１、第２蛍光試薬の寄与率ｐ_２、第３蛍光試薬の寄与率ｐ_３の３つとなる。

ステップＳ１３：ＣＰＵ２３は、最小二乗アンミックスで算出された寄与率の中に負値（異常値）が含まれているか否かを判別する。負値が含まれていた場合にはステップＳ１４へ移行し、負値が含まれていない場合にはステップＳ１５へ移行する。

ステップＳ１４：ＣＰＵ２３は、最小二乗アンミックスで算出された寄与率のうち、負値であった寄与率の個数を計数し、その個数の分だけ試薬数Ｍの値を減算する。これによって試薬数Ｍが小さい値に修正される。また、ＣＰＵ２３は、リファレンススペクトル行列Ｓから、その寄与率に対応する蛍光試薬のリファレンススペクトルベクトルを削除する。これによって、リファレンススペクトル行列Ｓの次元が低い次元に修正される。

その後、ＣＰＵ２３はステップＳ１２へ移行し、修正後の試薬数Ｍと、修正後のリファレンススペクトル行列Ｓとにより、同じ画素の最小二乗アンミックスを行う。

ステップＳ１５：ＣＰＵ２３は、最小二乗アンミックスが全画素について終了したか否かを判別する。終了していなかった場合はステップＳ１６へ移行し、終了していた場合はステップＳ１７へ移行する。

ステップＳ１６：ＣＰＵ２３は、試薬数Ｍ及びリファレンススペクトル行列Ｓをそれぞれ初期値に戻すと共にアンミックスの対象を次の画素に変更してからステップＳ１２へ移行する。

ステップＳ１７：ＣＰＵ２３は、全画素に関して個別に算出された寄与率をカラー画像化して表示器４０へ表示し、フローを終了する。なお、上述したステップＳ１１〜Ｓ１６では試薬数Ｍが画素毎に修正されるので、３つの寄与率が算出される画素と、２つの寄与率しか算出されない画素と、１つの寄与率しか算出されない画素とが混在している可能性がある。

以上、本実施形態のＣＰＵ２３は、平均ベクトルＶａを法線とした平面Ｐａを算出し（図７（Ａ）参照）、その平面Ｐａへ向けて各画素を原点から中心射影し（図７（Ｂ）参照）、その平面Ｐａ上で各画素の分布域を示す最適三角形Ａａを求めるので（図７（Ｂ）参照）、最適サンプリング画素を正確に選定することができる。

また、本実施形態のＣＰＵ２３は、最適サンプリング画素を選定するための３次元色空間として、３つの部分実測スペクトルの積算強度（又は平均強度）Ｉ_１、Ｉ_２、Ｉ_３によって規定される３次元色空間を使用する（図６参照）。このような３次元色空間は、３つの特定波長の強度で規定される３次元色空間よりも、各画素のスペクトル情報を正しく反映させることができると考えられる。

また、本実施形態のＣＰＵ２３は、試薬数Ｍの初期値を、実測スペクトル画像を示す行列Ｆのランク（特異値行列Λの有効特異値数）と同等に設定するので、アンミックスに要する演算量を必要最小限に抑えることができる。

また、本実施形態のＣＰＵ２３は、各画素の分布域が最大となるような３次元色空間を最適３次元色空間として使用するので、最適サンプリング画素の選定精度を最大に高めることができる。

また、本実施形態のＣＰＵ２３は、最適三角形Ａａを見いだすに当たって各画素の凸包を求めるので、最適三角形Ａａの頂点の候補になり得ないような画素を高速に排除することができる。

また、本実施形態のＣＰＵ２３は、或る画素に対する或る蛍光試薬の寄与率が負値（異常値）として計上された場合には、試薬数Ｍとリファレンススペクトル行列Ｓの次元とを修正してからその画素に関するアンミックスを再実行するので、アンミックス精度が高い。

［各実施形態の変形例］
なお、上述したステップＳ１１〜Ｓ１６では、或る画素に対する或る蛍光試薬の寄与率が負値（異常値）として計上された場合に、試薬数Ｍとリファレンススペクトル行列Ｓの次元とを修正してからその画素に関するアンミックスを再実行したが、負値として計上された寄与率をゼロに置換するのみとしてもよい。但し、アンミックスを再実行する方が、寄与率を高精度に求めることができる。

また、上述したステップＳ１０では、凸包の中から面積（超体積）が最大となる三角形（超多面体）を探索したが、内包画素数が最大となる三角形（超多面体）を探索してもよい。なお、前者を採用した場合は処理の高速化が可能であり、後者を採用した場合は処理の高精度化が可能となる。

また、本実施形態のＣＰＵ２３は、ユーザに試薬数を指定させなかったが、ユーザに試薬数を指定させ、指定された試薬数、又は指定された試薬数に幾つかの数（例えば１）を加算した値を、試薬数Ｍの初期値としてもよい。

また、本実施形態のシステムでは、ＣＰＵ２３の動作プログラムがハードディスクドライブ２６に予め格納されていたが、そのプログラムの一部又は全部は、インターネットや記憶媒体などを介して外部からコンピュータ２０へインストールされたものであってもよい。

また、本実施形態のシステムでは、各処理がコンピュータ２０によって実行されたが、コンピュータ２０の一部又は全部の動作は、顕微鏡本体１０に専用の装置（制御・画像処理装置）によって実行されてもよい。

また、本実施形態の顕微鏡本体１０は、入射光の各波長成分を検出するために多チャンネル光検出器１９を使用しているが、多チャンネル光検出器１９の代わりに、１チャンネル光検出器と可動マスクとの組み合わせ、複数の１チャンネル光検出器と複数のフィルタとの組み合わせなどを使用してもよい。但し、多チャンネル光検出器１９を使用すると、各チャンネルの同時検出と省スペース化との双方が可能である。

また、本実施形態の顕微鏡本体１０は、標本１５からの光を共焦点検出する顕微鏡（共焦点顕微鏡）であるが、その共焦点検出の機能を省略しても構わない。その場合、ピンホールマスク１７は不要となる。

また、本実施形態の顕微鏡本体１０は、標本１５上を光走査する走査型顕微鏡であるが、非走査型顕微鏡に変形しても構わない。その場合、光スキャナ１３は不要となる。すなわち、本発明は、スペクトルイメージングを行う各種の装置に適用することが可能である。

［課題を解決するための手段の補足］
前述したスペクトル画像処理方法の一態様において、前記Ｍ次元色空間は、前記各画素の実測スペクトルを波長方向にＭ分割してできるＭ個の部分実測スペクトルの各々の積算強度又は平均強度で規定される色空間であってもよい。

また、前記分割の分割位置は、前記Ｍ次元色空間における各画素の分布を示す行列の特異値行列に含まれる特異値の総和が最大となるような分割位置に設定されてもよい。

また、前記Ｍ次元色空間の次元Ｍは、前記実測スペクトル画像を示す行列の特異値行列に含まれる有効特異値の個数と同じに設定されてもよい。

また、前記超多面体は、前記超平面における前記各画素の凸包の何れかＭ個の頂点が成す超多面体のうち、超体積が最大の超多面体であってもよい。

また、前記超多面体は、前記超平面における前記各画素の凸包の何れかＭ個の頂点が成す超多面体のうち、内包画素数が最大の超多面体であってもよい。

また、前記アンミックス手順では、前記被観察物の或る位置に対する或る物質の寄与率が負値として計上された場合には、その画素に対するその物質の寄与率をゼロに置換してもよい。

また、前記アンミックス手順では、前記被観察物の或る位置に対する或る物質の寄与率が負値として計上された場合には、その物質の固有の発光スペクトルをゼロに置換してから、その画素に関する前記寄与率の計算を再実行してもよい。

本システムの構成図である。 アンミックスの基本原理を示す図である。 ＣＰＵ２３によるアンミックス処理（ブラインドアンミックス）のフローチャートである。 或る実測スペクトル画像Ｄから得られた特異値を次数順に並べたグラフである。 別の実測スペクトル画像Ｄから得られた特異値を次数順に並べたグラフである。 実測スペクトルｆと、分離線Ｂ_１、Ｂ_２と、積算強度Ｉ_１、Ｉ_２、Ｉ_３との関係を示す図である。 ステップＳ７〜Ｓ９を説明する図である（Ｍ＝３の場合）。 ステップＳ７〜Ｓ９を説明する図である（Ｍ＝２の場合）。 ３次元色空間における各画素の実際の分布を示す例である。 平面Ｐａにおける各画素の実際の分布を示す例である。 最適サンプリング画素ａ、ｂ、ｃと、第１蛍光試薬のリファレンススペクトルベクトルＳ_１、第１蛍光試薬のリファレンススペクトルベクトルＳ_２、第３蛍光試薬のリファレンススペクトルベクトルＳ_３の関係を説明する図である。

符号の説明

１０・・・顕微鏡本体、２０・・・コンピュータ、３０・・・入力器、４０・・・表示器、１１・・・レーザ光源、１２・・・ダイクロイックミラー、１３・・・光スキャナ、１４・・・対物レンズ、１５・・・標本、１６・・・観察レンズ、１７・・・ピンホールマスク、１８・・・分光素子、１９・・・多チャンネル光検出器

Claims (10)

1. 被観察物の実測スペクトル画像を構成する各画素を、そのスペクトルの次元より低次元のＭ次元色空間へと写像する次元削減手順と、
   前記Ｍ次元色空間上で各画素の位置ベクトルの平均ベクトルを法線とした超平面を算出し、その超平面へ向けて前記各画素を原点から中心射影し、その超平面における前記各画素の分布域を示す超多面体のＭ個の頂点を見いだし、それら頂点に位置するＭ個の画素を最適サンプリング画素に選定する選定手順と、
   最適サンプリング画素に選定された前記Ｍ個の画素の各々の実測スペクトルに基づき、前記被観察物を標識した複数種類の物質に固有の発光スペクトルを推定し、それら発光スペクトルと前記実測スペクトル画像とに基づき前記被観察物の各位置に対する前記複数種類の物質の寄与率を計算するアンミックス手順と
   を含むことを特徴とするスペクトル画像処理方法。
2. 請求項１に記載のスペクトル画像処理方法において、
   前記Ｍ次元色空間は、
   前記各画素の実測スペクトルを波長方向にＭ分割してできるＭ個の部分実測スペクトルの各々の積算強度又は平均強度で規定される色空間である
   ことを特徴とするスペクトル画像処理方法。
3. 請求項２に記載のスペクトル画像処理方法において、
   前記分割の分割位置は、
   前記Ｍ次元色空間における各画素の分布を示す行列の特異値行列に含まれる特異値の総和が最大となるような分割位置に設定される
   ことを特徴とするスペクトル画像処理方法。
4. 請求項１〜請求項３の何れか一項に記載のスペクトル画像処理方法において、
   前記Ｍ次元色空間の次元Ｍは、
   前記実測スペクトル画像を示す行列の特異値行列に含まれる有効特異値の個数と同じに設定される
   ことを特徴とするスペクトル画像処理方法。
5. 請求項１〜請求項４の何れか一項に記載のスペクトル画像処理方法において、
   前記超多面体は、
   前記超平面における前記各画素の凸包の何れかＭ個の頂点が成す超多面体のうち、超体積が最大の超多面体である
   ことを特徴とするスペクトル画像処理方法。
6. 請求項１〜請求項４の何れか一項に記載のスペクトル画像処理方法において、
   前記超多面体は、
   前記超平面における前記各画素の凸包の何れかＭ個の頂点が成す超多面体のうち、内包画素数が最大の超多面体である
   ことを特徴とするスペクトル画像処理方法。
7. 請求項１〜請求項６の何れか一項に記載のスペクトル画像処理方法において、
   前記アンミックス手順では、
   前記被観察物の或る位置に対する或る物質の寄与率が負値として計上された場合には、その画素に対するその物質の寄与率をゼロに置換する
   ことを特徴とするスペクトル画像処理方法。
8. 請求項１〜請求項６の何れか一項に記載のスペクトル画像処理方法において、
   前記アンミックス手順では、
   前記被観察物の或る位置に対する或る物質の寄与率が負値として計上された場合には、その物質の固有の発光スペクトルをゼロに置換してから、その画素に関する前記寄与率の計算を再実行する
   ことを特徴とするスペクトル画像処理方法。
9. 請求項１〜請求項８の何れか一項に記載のスペクトル画像処理方法をコンピュータに実効させることを特徴とするスペクトル画像処理プログラム。
10. 被観察物から実測スペクトル画像を取得するスペクトルイメージング装置と、
    取得された前記実測スペクトル画像を取り込み、請求項１〜請求項８の何れか一項に記載のスペクトル画像処理方法を実行するスペクトル画像処理装置と
    を備えたことを特徴とするスペクトルイメージングシステム。
    

Images