JPWO2007097170A1 - スペクトル画像処理方法、コンピュータ実行可能なスペクトル画像処理プログラム、スペクトルイメージングシステム - Google Patents
スペクトル画像処理方法、コンピュータ実行可能なスペクトル画像処理プログラム、スペクトルイメージングシステム Download PDFInfo
- Publication number
- JPWO2007097170A1 JPWO2007097170A1 JP2007526098A JP2007526098A JPWO2007097170A1 JP WO2007097170 A1 JPWO2007097170 A1 JP WO2007097170A1 JP 2007526098 A JP2007526098 A JP 2007526098A JP 2007526098 A JP2007526098 A JP 2007526098A JP WO2007097170 A1 JPWO2007097170 A1 JP WO2007097170A1
- Authority
- JP
- Japan
- Prior art keywords
- spectrum
- spectral
- image processing
- pixel
- spectral image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000003595 spectral effect Effects 0.000 title claims abstract description 96
- 238000003672 processing method Methods 0.000 title claims abstract description 32
- 238000000701 chemical imaging Methods 0.000 title claims description 19
- 238000001228 spectrum Methods 0.000 claims abstract description 144
- 238000000034 method Methods 0.000 claims abstract description 85
- 238000010606 normalization Methods 0.000 claims abstract description 55
- 238000012545 processing Methods 0.000 claims abstract description 35
- 238000009499 grossing Methods 0.000 claims abstract description 24
- 239000000126 substance Substances 0.000 claims description 16
- 238000003384 imaging method Methods 0.000 claims 1
- 239000003153 chemical reaction reagent Substances 0.000 description 39
- 238000000295 emission spectrum Methods 0.000 description 24
- 230000003287 optical effect Effects 0.000 description 14
- 239000011159 matrix material Substances 0.000 description 12
- 230000015654 memory Effects 0.000 description 10
- 238000005259 measurement Methods 0.000 description 8
- QFTYEBTUFIFTHD-UHFFFAOYSA-N 1-[6,7-dimethoxy-1-[1-(6-methoxynaphthalen-2-yl)ethyl]-3,4-dihydro-1H-isoquinolin-2-yl]-2-piperidin-1-ylethanone Chemical compound C1=CC2=CC(OC)=CC=C2C=C1C(C)C(C1=CC(OC)=C(OC)C=C1CC1)N1C(=O)CN1CCCCC1 QFTYEBTUFIFTHD-UHFFFAOYSA-N 0.000 description 6
- 238000006243 chemical reaction Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 6
- 238000001514 detection method Methods 0.000 description 4
- 238000001914 filtration Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 238000012935 Averaging Methods 0.000 description 2
- 241000207961 Sesamum Species 0.000 description 2
- 235000003434 Sesamum indicum Nutrition 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 2
- 238000007796 conventional method Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 102000034287 fluorescent proteins Human genes 0.000 description 2
- 108091006047 fluorescent proteins Proteins 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 230000003252 repetitive effect Effects 0.000 description 2
- 150000003839 salts Chemical class 0.000 description 2
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
- G01N21/25—Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
- G01N21/27—Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands using photo-electric detection ; circuits for computing concentration
- G01N21/274—Calibration, base line adjustment, drift correction
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
- G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
- G01N21/64—Fluorescence; Phosphorescence
- G01N21/645—Specially adapted constructive features of fluorimeters
- G01N21/6456—Spatial resolved fluorescence measurements; Imaging
- G01N21/6458—Fluorescence microscopy
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
-
- G06T5/70—
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/40—Picture signal circuits
- H04N1/409—Edge or detail enhancement; Noise or error suppression
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10056—Microscopic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10064—Fluorescence image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30024—Cell structures in vitro; Tissue sections in vitro
Abstract
本発明は、必要な情報をなるべく損なうことなくノイズを低減することのできるスペクトル画像処理方法を提供する。本発明のスペクトル画像処理方法は、被観察物のスペクトル画像に対し処理を施すスペクトル画像処理方法であって、前記スペクトル画像を構成する各画素のスペクトル（＝分光輝度曲線）を輝度レベルが揃うように正規化する手順（Ｓ１）と、前記正規化されたスペクトルを前記各画素の空間方向に平滑化する手順（Ｓ２）と、前記平滑化によって得られた各画素のスペクトルに、それに対応する画素の輝度レベル又はそれに応じた値を乗ずる逆正規化の手順（Ｓ３）とを含む。これによって、画像上の輝度分布の情報を保ったまま、ノイズを低減することができる。
Description
本発明は、顕微鏡などで取得されたスペクトル画像を処理するスペクトル画像処理方法、及びコンピュータ実行可能なスペクトル画像処理プログラムに関する。また、本発明は、スペクトルイメージング蛍光レーザ顕微鏡などのスペクトルイメージングシステムに関する。
生細胞の動態観察では、蛍光試薬や蛍光タンパクなどの蛍光物質で標本を標識し、それを蛍光レーザ顕微鏡等の光学顕微鏡で観察することがある。複数の蛍光物質を同時に使用したときには、波長成分毎の画像（スペクトル画像）を検出する必要がある。
しかし、複数の蛍光物質の発光波長が重複している場合、それら物質毎の画像を光学顕微鏡で分離することはできないので、顕微鏡が検出したスペクトル画像をコンピュータへ取り込み、それを物質毎の画像に分離（アンミックス）する解析方法が有効となる（特許文献１等参照）。因みに、このアンミックスでは、試薬メーカ等が公開している各物質の発光スペクトルデータが用いられる。
Timo Zimmermann,JensRietdorf,Rainer Pepperkok,"Spectral imaging and its applications in live cell microsopy",FEBS Letters 546(2003),P87-P92,16 May 2003
しかし、複数の蛍光物質の発光波長が重複している場合、それら物質毎の画像を光学顕微鏡で分離することはできないので、顕微鏡が検出したスペクトル画像をコンピュータへ取り込み、それを物質毎の画像に分離（アンミックス）する解析方法が有効となる（特許文献１等参照）。因みに、このアンミックスでは、試薬メーカ等が公開している各物質の発光スペクトルデータが用いられる。
しかし、実測データであるスペクトル画像には、顕微鏡の光源の不安定性、顕微鏡の光検出素子の電気ノイズなどが原因で測定ノイズが重畳されており、それはアンミックスの精度に強く影響する。特に、複数の蛍光試薬のスペクトルが似ている、例えば、ピーク波長が互いに近接している場合には、測定ノイズが大きいとアンミックスの精度が悪くなる。
この対策として、空間フィルタ処理を行って隣接する画素間で平滑化する方法、例えば、平均化フィルタ処理やメディアンフィルタ処理が挙げられ、ノイズを低減する方法としては有効である。しかし、このような方法では輝度も平均化されるので、空間分解能を劣化させると共に、単純平均では輝度の高い画素の影響が高くなり、必ずしもノイズ低減は十分ではないという問題がある。
そこで本発明は、必要な情報をなるべく損なうことなくノイズを低減することのできるスペクトル画像処理方法及びコンピュータ実行可能なスペクトル画像処理プログラムを提供することを目的とする。また、本発明は、高性能なスペクトルイメージングシステムを提供することを目的とする。
本発明のスペクトル画像処理方法は、被観察物のスペクトル画像に対し処理を施すスペクトル画像処理方法であって、前記スペクトル画像を構成する各画素のスペクトル（＝分光輝度曲線）を輝度レベルが揃うように正規化する手順と、前記正規化されたスペクトルを前記各画素の空間方向に平滑化する手順と、前記平滑化によって得られた各画素のスペクトルに、それに対応する画素の輝度レベル又はそれに応じた値を乗ずる逆正規化の手順と、を含むことを特徴とする。
なお、前記正規化は、前記スペクトルの輝度積分値が揃うように行われ、前記逆正規化は、前記スペクトルの輝度積分値が前記正規化前の値に戻るように行われることが望ましい。
また、前記正規化は、前記スペクトルの輝度最大値が揃うように行われ、前記逆正規化は、前記スペクトルの輝度最大値が前記正規化前の値に戻るように行われてもよい。
また、前記正規化は、前記スペクトルの輝度最大値が揃うように行われ、前記逆正規化は、前記スペクトルの輝度最大値が前記正規化前の値に戻るように行われてもよい。
また、本発明の別のスペクトル画像処理方法は、本発明の何れかのスペクトル画像処理方法を用いて画像処理されたスペクトル画像と、前記被観察物に含まれる複数物質の発光スペクトル情報とに基づき、前記スペクトル画像に対する前記複数物質の各々の寄与を分離して求めるアンミックス手順を含むことを特徴とする。
また、本発明のスペクトル画像処理プログラムは、本発明の何れかのスペクトル画像処理方法をコンピュータに実行させることを特徴とする。
また、本発明のスペクトル画像処理プログラムは、本発明の何れかのスペクトル画像処理方法をコンピュータに実行させることを特徴とする。
また、本発明のスペクトルイメージングシステムは、被観察物のスペクトル画像を取得するスペクトルイメージング装置と、前記取得されたスペクトル画像を取り込み、本発明の何れかのスペクトル画像処理方法を実行するスペクトル画像処理装置とを備えたことを特徴とする。
本発明によれば、必要な情報をなるべく損なうことなくノイズを低減することのできるスペクトル画像処理方法及びコンピュータ実行可能なスペクトル画像処理プログラムが実現する。また、本発明によれば、高性能なスペクトルイメージングシステムが実現する。
本発明の実施形態を説明する。本実施形態は、スペクトルイメージング蛍光レーザコンフォーカル顕微鏡システムの実施形態である。
先ず、本システムの構成を説明する。
図１は、本システムの構成図である。図１に示すとおり、本システムには、顕微鏡本体１０と、それに接続されたコンピュータ２０と、それに接続された入力器３０及び表示器４０とが備えられる。入力器３０は、マウスやキーボードなどであり、表示器４０は、ＬＣＤなどである。
先ず、本システムの構成を説明する。
図１は、本システムの構成図である。図１に示すとおり、本システムには、顕微鏡本体１０と、それに接続されたコンピュータ２０と、それに接続された入力器３０及び表示器４０とが備えられる。入力器３０は、マウスやキーボードなどであり、表示器４０は、ＬＣＤなどである。
顕微鏡本体１０には、レーザ光源１１と、ダイクロイックミラー１２と、光スキャナ１３と、対物レンズ１４と、標本１５と、観察レンズ１６と、ピンホールマスク１７と、分光素子１８と、多チャンネル光検出器１９とが配置される。標本１５は、複数種類（例えば３種類）の蛍光試薬で標識されており、多チャンネル光検出器１９は、多数（例えば３２個）の波長チャンネルを有している。
コンピュータ２０には、ＣＰＵ２３と、ＣＰＵ２３の基本的動作プログラムが書き込まれたＲＯＭ２４と、ＣＰＵ２３の動作中の一時的な記憶手段として使用されるＲＡＭと、情報を長期保存するためのハードディスクドライブ２６と、入力器３０及び表示器４０とのインタフェースをとるインタフェース回路２７と、多チャンネル光検出器１９の波長チャンネルと同数のＡ／Ｄ変換回路２１1，２１2，…，２１32と、それと同数のフレームメモリ２２1，２２2，…，２２32とが備えられる。フレームメモリ２２1，２２2，…，２２32、ハードディスクドライブ２６、ＣＰＵ２３、ＲＯＭ２４、ＲＡＭ２５、インタフェース回路２７は、バス２０Ｂを介して接続されている。ハードディスクドライブ２６には、本システムに必要なＣＰＵ２３の動作プログラムが予め格納されている。
顕微鏡本体１０のレーザ光源１１からは、レーザ光（例えば、波長４８８ｎｍ）が発せられる。このレーザ光は、ダイクロイックミラー１２を反射し、光スキャナ１３及び対物レンズ１４を順に介して標本１５上の１点に集光する。その集光点では蛍光（例えば、波長５１０〜５５０ｎｍ）が生じ、その蛍光は、対物レンズ１４及び光スキャナ１３を順に介してダイクロイックミラー１２へ入射すると、そのダイクロイックミラー１２を透過し、観察レンズ１６を介してピンホールマスク１７へと入射する。このピンホールマスク１７は、観察レンズ１６及び対物レンズ１４により標本１５と共役関係に結ばれており、標本１５で発生した蛍光のうち、必要な光線のみを通過させる働きがある。これによって、顕微鏡本体１０の共焦点効果が得られる。ピンホールマスク１７を通過した蛍光は、分光素子１８へ入射すると、複数の波長成分に分離される。それらの各波長成分は、多チャンネル光検出器１９の互いに異なる波長チャンネルへ入射し、独立かつ同時に検出される。
多チャンネル光検出器１９の各波長チャンネル（ここでは３２個の波長チャンネル）は、例えば、５１０ｎｍ〜５５０ｎｍの波長範囲の５ｎｍずつ異なる３２種類の波長成分を検出する。それら３２個の波長チャンネルから出力される各信号は、コンピュータ２０へ並列に取り込まれ、Ａ／Ｄ変換回路２１1，２１2，…，２１32を介してフレームメモリ２２1，２２2，…，２２32へ個別に入力される。
この多チャンネル光検出器１９と光スキャナ１３とは同期駆動され、これによって、標本１５上を集光点で二次元的に走査している期間に、多チャンネル光検出器１９から繰り返し信号が出力される。このとき、フレームメモリ２２1，２２2，…，２２32には、標本１５の各波長チャンネルの画像が徐々に蓄積されることになる。フレームメモリ２２1，２２2，…，２２32に蓄積された各波長チャンネルの画像（チャンネル画像Ｄ1，Ｄ2，…，Ｄ32）は、適当なタイミングでＣＰＵ２３によって読み出され、１つのスペクトル画像Ｆに纏められてから、ハードディスクドライブ２６へ格納される。
なお、コンピュータ２０のハードディスクドライブ２６には、このスペクトル画像Ｆの他に、標本１５に使用された蛍光試薬の発光スペクトルデータが予め格納されている。この発光スペクトルデータは、蛍光試薬のメーカ等が公開しているものであって、例えばインターネットや記憶媒体などを介してコンピュータ２０へ取り込まれる。
次に、スペクトル画像Ｆの取得後のＣＰＵ２３の動作を説明する。
次に、スペクトル画像Ｆの取得後のＣＰＵ２３の動作を説明する。
図２は、ＣＰＵ２３の動作フローチャートである。図２に示すとおり、ＣＰＵ２３は、正規化処理（ステップＳ１），平滑化処理（ステップＳ２），逆正規化処理（ステップＳ３）からなるノイズ除去処理を実行した後に、アンミックス処理（ステップＳ４）、表示処理（ステップＳ５）を実行する。以下、これらのステップを順に説明する。
正規化処理（ステップＳ１）：
本ステップでは、先ず、ＣＰＵ２３は、図３（Ａ）に示すとおり、スペクトル画像Ｆから各画素のスペクトルカーブを参照する。図３（Ａ）には、或る４画素（第１画素、第２画素、第３画素、第４画素）のスペクトルカーブのみを示した。スペクトルカーブの横軸は波長チャンネルであり、縦軸は輝度値である。
正規化処理（ステップＳ１）：
本ステップでは、先ず、ＣＰＵ２３は、図３（Ａ）に示すとおり、スペクトル画像Ｆから各画素のスペクトルカーブを参照する。図３（Ａ）には、或る４画素（第１画素、第２画素、第３画素、第４画素）のスペクトルカーブのみを示した。スペクトルカーブの横軸は波長チャンネルであり、縦軸は輝度値である。
各画素のスペクトルカーブの輝度レベルは、図３（Ａ）に示すとおり様々である。第１画素のスペクトルカーブの輝度積分値Ａ1は、第１画素のトータル輝度を示しており、第２画素のスペクトルカーブの輝度積分値Ａ2は、第２画素のトータル輝度を示しており、第３画素のスペクトルカーブの輝度積分値Ａ3は、第３画素のトータル輝度を示しており、第４画素のスペクトルカーブの輝度積分値Ａ4は、第４画素のトータル輝度を示している。
また、図３（Ａ）に示すとおり、各画素の間では、スペクトルカーブの形状も様々である。近接した画素の間では、スペクトルカーブの大まかな形状が似る可能性は高いが、ランダムな測定ノイズが重畳されるので、スペクトルカーブの微細な形状は、たとえ画素が近接していても互いに異なるものとなる。
次に、ＣＰＵ２３は、図３（Ｂ）に示すとおり、各画素のスペクトルカーブを、その輝度積分値Ａが１となるように正規化する。各スペクトルカーブの正規化では、スペクトルカーブの各波長チャンネルの輝度値に対し、正規化係数＝（１／現在の輝度積分値）を乗算すればよい。
次に、ＣＰＵ２３は、図３（Ｂ）に示すとおり、各画素のスペクトルカーブを、その輝度積分値Ａが１となるように正規化する。各スペクトルカーブの正規化では、スペクトルカーブの各波長チャンネルの輝度値に対し、正規化係数＝（１／現在の輝度積分値）を乗算すればよい。
ここで、図３の右側に示すように、正規化後のスペクトルカーブが成すスペクトル画像Ｆ’を参照すると、そのスペクトル画像Ｆ’では、各画素のトータル輝度が何れも１となる。つまり、このスペクトル画像Ｆ’からは、各画素のスペクトルカーブの輝度情報は排除され、各画素のスペクトルカーブの形状情報のみが維持されることになる。以下、このスペクトル画像Ｆ’の各波長成分（チャンネル画像）を、Ｄ1’，Ｄ2’，…，Ｄ32’とおく。
平滑化処理（ステップＳ２）：
本ステップでは、ＣＰＵ２３は、図４（Ａ）に示すとおり、上述したチャンネル画像Ｄ1’，Ｄ2’，…，Ｄ32’の各々に対し平均フィルタ処理を施す。これにより、チャンネル画像Ｄ1’，Ｄ2’，…，Ｄ32’の各々は、空間方向に平滑化される。
チャンネル画像Ｄ’に対する平均フィルタ処理では、例えば、縦３画素・横３画素の開口を有したマスク（演算上のマスクである。）が使用される。このマスクがチャンネル画像Ｄに当てはめられ、マスクの開口中心に位置する着目画素の輝度値が、開口内の全画素の輝度平均値に置換される。この処理が、チャネル画像Ｄ’上のマスク位置をずらしながら繰り返し行われることによって、画像全域の処理が完了する。
本ステップでは、ＣＰＵ２３は、図４（Ａ）に示すとおり、上述したチャンネル画像Ｄ1’，Ｄ2’，…，Ｄ32’の各々に対し平均フィルタ処理を施す。これにより、チャンネル画像Ｄ1’，Ｄ2’，…，Ｄ32’の各々は、空間方向に平滑化される。
チャンネル画像Ｄ’に対する平均フィルタ処理では、例えば、縦３画素・横３画素の開口を有したマスク（演算上のマスクである。）が使用される。このマスクがチャンネル画像Ｄに当てはめられ、マスクの開口中心に位置する着目画素の輝度値が、開口内の全画素の輝度平均値に置換される。この処理が、チャネル画像Ｄ’上のマスク位置をずらしながら繰り返し行われることによって、画像全域の処理が完了する。
ここで、図４の左下に示すように、平滑化後の各チャンネル画像をＤ1”，Ｄ2”，…，Ｄ32”とおき、それらチャンネル画像Ｄ1”，Ｄ2”，…，Ｄ32”が成すスペクトル画像Ｆ”を参照すると、そのスペクトル画像Ｆ”では、図４（Ｂ）に示すとおり、各画素のスペクトルカーブの形状が滑らかになっている。平滑化により、各画素のスペクトルカーブの形状が、隣接画素のスペクトルカーブの形状に影響されたからである。このことは、各画素のスペクトルカーブの形状情報から、ノイズが除去されたことを示す。
逆正規化処理（ステップＳ３）：
本ステップでは、ＣＰＵ２３は、図４（Ｃ）に示すとおり、スペクトル画像Ｆ”を構成する各画素のスペクトルカーブを、その輝度積分値が正規化前の輝度積分値（図３（Ａ）参照）に戻るように逆正規化する。第１画素のスペクトルカーブに関しては、その輝度積分値が正規化前の値Ａ1に戻るよう逆正規化し、第２画素のスペクトルカーブに関しては、その輝度積分値が正規化前の値Ａ2に戻るよう逆正規化し、第３画素のスペクトルカーブに関しては、その輝度積分値が正規化前の値Ａ3に戻るよう逆正規化し、第４画素のスペクトルカーブに関しては、その輝度積分値が正規化前の値Ａ4に戻るよう逆正規化する。各スペクトルカーブの逆正規化では、スペクトルカーブの各波長チャンネルの輝度値に対し、逆正規化係数＝（正規化前の輝度積分値／現在の輝度積分値）を乗算すればよい。
本ステップでは、ＣＰＵ２３は、図４（Ｃ）に示すとおり、スペクトル画像Ｆ”を構成する各画素のスペクトルカーブを、その輝度積分値が正規化前の輝度積分値（図３（Ａ）参照）に戻るように逆正規化する。第１画素のスペクトルカーブに関しては、その輝度積分値が正規化前の値Ａ1に戻るよう逆正規化し、第２画素のスペクトルカーブに関しては、その輝度積分値が正規化前の値Ａ2に戻るよう逆正規化し、第３画素のスペクトルカーブに関しては、その輝度積分値が正規化前の値Ａ3に戻るよう逆正規化し、第４画素のスペクトルカーブに関しては、その輝度積分値が正規化前の値Ａ4に戻るよう逆正規化する。各スペクトルカーブの逆正規化では、スペクトルカーブの各波長チャンネルの輝度値に対し、逆正規化係数＝（正規化前の輝度積分値／現在の輝度積分値）を乗算すればよい。
以上の逆正規化後のスペクトルカーブが成すスペクトル画像は、図４右下に示すように、スペクトル画像Ｆとして改めてハードディスクドライブ２６へ格納される。
このスペクトル画像Ｆでは、逆正規化により、各画素のスペクトルカーブの輝度情報が回復している。しかも、各画素のスペクトルカーブの形状情報からは、前述したとおりノイズが除去されている。したがって、このスペクトル画像Ｆは、標本１５の状態を正確に表すことになる。
このスペクトル画像Ｆでは、逆正規化により、各画素のスペクトルカーブの輝度情報が回復している。しかも、各画素のスペクトルカーブの形状情報からは、前述したとおりノイズが除去されている。したがって、このスペクトル画像Ｆは、標本１５の状態を正確に表すことになる。
アンミックス処理（ステップＳ４）：
本ステップでは、先ず、ＣＰＵ２３は、ハードディスクドライブ２６からスペクトル画像Ｆと、蛍光試薬の発光スペクトルデータとを読み出す。
発光スペクトルデータは、図５（Ａ），（Ｂ），（Ｃ）に示すとおり、３種類の蛍光試薬（第１試薬、第２試薬、第３試薬）の発光スペクトルカーブＳ1，Ｓ2，Ｓ3を表す。これらの発光スペクトルカーブＳ1，Ｓ2，Ｓ3は、式（１）のような一次元行列で表現される。
本ステップでは、先ず、ＣＰＵ２３は、ハードディスクドライブ２６からスペクトル画像Ｆと、蛍光試薬の発光スペクトルデータとを読み出す。
発光スペクトルデータは、図５（Ａ），（Ｂ），（Ｃ）に示すとおり、３種類の蛍光試薬（第１試薬、第２試薬、第３試薬）の発光スペクトルカーブＳ1，Ｓ2，Ｓ3を表す。これらの発光スペクトルカーブＳ1，Ｓ2，Ｓ3は、式（１）のような一次元行列で表現される。
但し、式（１）中の要素ｓijは、第ｊ試薬のｉ番目の波長の輝度値である。この行列の波長方向の要素数は、スペクトル画像Ｆの波長方向のデータ量（＝多チャンネル光検出器１９の波長チャンネル数）に合わせて３２とした。
ＣＰＵ２３は、この発光スペクトルカーブＳ1，Ｓ2，Ｓ3に基づきスペクトル画像Ｆのアンミックス処理を行うが、そのアンミックスはスペクトル画像Ｆの画素毎に行われる。
ＣＰＵ２３は、この発光スペクトルカーブＳ1，Ｓ2，Ｓ3に基づきスペクトル画像Ｆのアンミックス処理を行うが、そのアンミックスはスペクトル画像Ｆの画素毎に行われる。
スペクトル画像Ｆに含まれる或る画素のスペクトルカーブｆは、式（２）のような一次元行列で表現される。要素ｆiは、この画素のｉ番目の波長チャネルの輝度値である。
したがって、この画素に対する第１試薬の寄与率をｐ1とおき、第２試薬の寄与率をｐ2とおき、第３試薬の寄与率をｐ3とおくと、この画素のスペクトルカーブｆは、式（３）で表される。
さらに、３種類の蛍光試薬の各々の発光スペクトルカーブを、式（４）に示すとおり１つの行列Ｓで纏めて表し、３種類の蛍光試薬の各々の寄与率を、式（５）に示すとおり１つの行列Ｐで纏めて表すと、式（３）は式（６）のとおり変形される。
よって、ＣＰＵ２３は、式（６）に対し、この画素のスペクトルカーブｆの情報と、発光スペクトルカーブＳの情報とを当てはめ、それを寄与率Ｐについて解くことで、この画素に関するアンミックスを行うことができる。
但し、本システムでは、上述したとおり、波長チャンネルの数（ここでは３２）が蛍光試薬の種類数（ここでは３）よりも多く設定されたので、ＣＰＵ２３は、最小二乗法を適用する。
但し、本システムでは、上述したとおり、波長チャンネルの数（ここでは３２）が蛍光試薬の種類数（ここでは３）よりも多く設定されたので、ＣＰＵ２３は、最小二乗法を適用する。
最小二乗法は、式（６）において誤差εを考慮した式（７）を用意し、その誤差εの二乗値が最小となるような寄与率Ｐを求めるものである。
この最小二乗法による寄与率Ｐの算出式を示すと、式（８）の通りである。
但し、ＳTは、Ｓの転置行列である。
したがって、ＣＰＵ２３は、この式（８）に対し、この画素のスペクトルカーブｆの情報と、発光スペクトルカーブＳの情報とを当てはめることにより、この画素に関するアンミックスを行う。そして、ＣＰＵ２３は、このアンミックスを、スペクトル画像Ｆの全画素についてそれぞれ行い、本ステップを終了する。
したがって、ＣＰＵ２３は、この式（８）に対し、この画素のスペクトルカーブｆの情報と、発光スペクトルカーブＳの情報とを当てはめることにより、この画素に関するアンミックスを行う。そして、ＣＰＵ２３は、このアンミックスを、スペクトル画像Ｆの全画素についてそれぞれ行い、本ステップを終了する。
以上、本ステップのアンミックス処理は、周知の最小二乗法によるものであるが、上述したとおり、スペクトル画像Ｆが標本１５の状態を正確に表しているので、このアンミックス処理の精度は従来のそれよりも高い。
表示処理（ステップＳ５）：
本ステップでは、ＣＰＵ２３は、アンミックス処理で求まった寄与率の情報（各画素に対する各蛍光試薬の寄与率）を表示器４０へ表示する。寄与率の情報は、数値データとして表示してもよいが、ユーザへ直感的に知らせるため、ＣＰＵ２３は、寄与率に応じて色づけされたアンミックス画像を作成し、それを表示することが望ましい。
表示処理（ステップＳ５）：
本ステップでは、ＣＰＵ２３は、アンミックス処理で求まった寄与率の情報（各画素に対する各蛍光試薬の寄与率）を表示器４０へ表示する。寄与率の情報は、数値データとして表示してもよいが、ユーザへ直感的に知らせるため、ＣＰＵ２３は、寄与率に応じて色づけされたアンミックス画像を作成し、それを表示することが望ましい。
以上、本システムのコンピュータ２０は、アンミックス処理に先立ち、スペクトル画像からノイズを除去するが、このノイズ除去処理は、上述したとおり、各画素のスペクトルカーブの輝度情報を何ら損なうことがないので、標本１５の状態を正確に表すスペクトル画像Ｆを得ることができる。したがって、コンピュータ２０によるアンミックス処理の精度、すなわち本システムの性能は、確実に向上する。
なお、本システムのノイズ除去処理（ステップＳ１〜Ｓ３）では、スペクトルカーブの正規化及び逆正規化の基準を、スペクトルカーブの輝度積分値としたが、輝度積分値の代わりに輝度最大値や輝度中間値などとしてもよい。
図６、図７には、正規化及び逆正規化の基準を輝度最大値とした場合のスペクトルカーブの変化を示した。図６，図７を参照すると、各画素のスペクトルカーブのピークは、正規化前にはＩ1，Ｉ2，Ｉ3，Ｉ4であったのに対し、正規化後には全て１となり、逆正規化後には、正規化前の値Ｉ1，Ｉ2，Ｉ3，Ｉ4に戻っていることがわかる。
図６、図７には、正規化及び逆正規化の基準を輝度最大値とした場合のスペクトルカーブの変化を示した。図６，図７を参照すると、各画素のスペクトルカーブのピークは、正規化前にはＩ1，Ｉ2，Ｉ3，Ｉ4であったのに対し、正規化後には全て１となり、逆正規化後には、正規化前の値Ｉ1，Ｉ2，Ｉ3，Ｉ4に戻っていることがわかる。
また、本システムの平滑化処理（ステップＳ２）では、平均フィルタ処理を適用したが、平均フィルタ処理の代わりに、重み付き平均フィルタ処理、メディアンフィルタ処理などの他の空間フィルタ処理を適用してもよい。因みに、メディアンフィルタ処理は、開口内の全画素の輝度平均値を算出する代わりに、その輝度中間値を見出すものである。このようなフィルタ処理の種類は、顕微鏡本体１０で発生する測定ノイズの種類に応じて適切に選定されることが望ましい。因みに、平均フィルタ処理は、チャンネル画像上で均一的にノイズが発生している場合に有効であり、メディアンフィルタ処理は、チャンネル画像上で突発的にノイズが発生している（ごま塩ノイズ）場合に有効である。
また、本システムの平滑化処理（ステップＳ２）では、マスクのサイズ（フィルタのサイズ）が３画素×３画素＝９画素であったが、他のサイズに代えてもよい。このサイズは、顕微鏡本体１０で発生する測定ノイズの種類に応じて適切に選定されることが望ましい。
また、本システムのノイズ除去処理（ステップＳ１〜Ｓ３）では、平滑化処理の開始タイミングが、全画素のスペクトルカーブの正規化後であったが、平滑化処理を行いつつ、必要となった画素のスペクトルカーブを、その都度正規化することとしてもよい。
また、本システムのノイズ除去処理（ステップＳ１〜Ｓ３）では、平滑化処理の開始タイミングが、全画素のスペクトルカーブの正規化後であったが、平滑化処理を行いつつ、必要となった画素のスペクトルカーブを、その都度正規化することとしてもよい。
また、本システムでは、ＣＰＵ２３の動作プログラムがハードディスクドライブ２６に予め格納されていたが、そのプログラムの一部又は全部は、インターネットや記憶媒体などを介して外部からコンピュータ２０へインストールされたものであってもよい。
また、本システムでは、各処理がコンピュータ２０によって実行されたが、コンピュータ２０の一部又は全部の動作は、顕微鏡本体１０に専用の装置（制御・画像処理装置）によって実行されてもよい。
また、本システムでは、各処理がコンピュータ２０によって実行されたが、コンピュータ２０の一部又は全部の動作は、顕微鏡本体１０に専用の装置（制御・画像処理装置）によって実行されてもよい。
また、本システムの顕微鏡本体１０は、入射光の各波長成分を検出するために多チャンネル光検出器１９を使用しているが、多チャンネル光検出器１９の代わりに、１チャンネル光検出器と可動マスクとの組み合わせ、複数の１チャンネル光検出器と複数のフィルタとの組み合わせなどを使用してもよい。但し、多チャンネル光検出器１９を使用すると、省スペースが可能である点で有利である。
また、本システムの顕微鏡本体１０は、標本１５にて生じた蛍光を検出する蛍光顕微鏡であるが、標本１５を照明する光の透過光又は反射光を検出する顕微鏡であっても構わない。その場合、ダイクロイックミラー１２の代わりにビームスプリッタが使用される。
また、本システムの顕微鏡本体１０は、標本１５からの光を共焦点検出するコンフォーカル顕微鏡であるが、その共焦点検出の機能を省略しても構わない。その場合、ピンホールマスク１７は不要となる。
また、本システムの顕微鏡本体１０は、標本１５からの光を共焦点検出するコンフォーカル顕微鏡であるが、その共焦点検出の機能を省略しても構わない。その場合、ピンホールマスク１７は不要となる。
また、本システムの顕微鏡本体１０は、標本１５上を光走査する走査型顕微鏡であるが、非走査型顕微鏡であっても構わない。その場合、光スキャナ１３は不要となる。
すなわち、本発明は、スペクトルイメージングを行う各種の装置に適用することが可能である。
すなわち、本発明は、スペクトルイメージングを行う各種の装置に適用することが可能である。
本発明は、顕微鏡などで取得されたスペクトル画像を処理するスペクトル画像処理方法、及びコンピュータ実行可能なスペクトル画像処理プログラムに関する。また、本発明は、スペクトルイメージング蛍光レーザ顕微鏡などのスペクトルイメージングシステムに関する。
生細胞の動態観察では、蛍光試薬や蛍光タンパクなどの蛍光物質で標本を標識し、それを蛍光レーザ顕微鏡等の光学顕微鏡で観察することがある。複数の蛍光物質を同時に使用したときには、波長成分毎の画像（スペクトル画像）を検出する必要がある。
しかし、複数の蛍光物質の発光波長が重複している場合、それら物質毎の画像を光学顕微鏡で分離することはできないので、顕微鏡が検出したスペクトル画像をコンピュータへ取り込み、それを物質毎の画像に分離（アンミックス）する解析方法が有効となる（非特許文献１等参照）。因みに、このアンミックスでは、試薬メーカ等が公開している各物質の発光スペクトルデータが用いられる。
Timo Zimmermann,JensRietdorf,Rainer Pepperkok,"Spectral imaging and its applications in live cell microscopy",FEBS Letters 546(2003),P87-P92,16 May 2003
Timo Zimmermann,JensRietdorf,Rainer Pepperkok,"Spectral imaging and its applications in live cell microscopy",FEBS Letters 546(2003),P87-P92,16 May 2003
しかし、実測データであるスペクトル画像には、顕微鏡の光源の不安定性、顕微鏡の光検出素子の電気ノイズなどが原因で測定ノイズが重畳されており、それはアンミックスの精度に強く影響する。特に、複数の蛍光試薬のスペクトルが似ている、例えば、ピーク波長が互いに近接している場合には、測定ノイズが大きいとアンミックスの精度が悪くなる。
この対策として、空間フィルタ処理を行って隣接する画素間で平滑化する方法、例えば、平均化フィルタ処理やメディアンフィルタ処理が挙げられ、ノイズを低減する方法としては有効である。しかし、このような方法では輝度も平均化されるので、空間分解能を劣化させると共に、単純平均では輝度の高い画素の影響が高くなり、必ずしもノイズ低減は十分ではないという問題がある。
そこで本発明は、必要な情報をなるべく損なうことなくノイズを低減することのできるスペクトル画像処理方法及びコンピュータ実行可能なスペクトル画像処理プログラムを提供することを目的とする。また、本発明は、高性能なスペクトルイメージングシステムを提供することを目的とする。
本発明のスペクトル画像処理方法は、被観察物のスペクトル画像に対し処理を施すスペクトル画像処理方法であって、前記スペクトル画像を構成する各画素のスペクトル（＝分光輝度曲線）を輝度レベルが揃うように正規化する手順と、前記正規化されたスペクトルを前記各画素の空間方向に平滑化する手順と、前記平滑化によって得られた各画素のスペクトルに、それに対応する画素の輝度レベル又はそれに応じた値を乗ずる逆正規化の手順と、を含むことを特徴とする。
なお、前記正規化は、前記スペクトルの輝度積分値が揃うように行われ、前記逆正規化は、前記スペクトルの輝度積分値が前記正規化前の値に戻るように行われることが望ましい。
また、前記正規化は、前記スペクトルの輝度最大値が揃うように行われ、前記逆正規化は、前記スペクトルの輝度最大値が前記正規化前の値に戻るように行われてもよい。
また、本発明の別のスペクトル画像処理方法は、本発明の何れかのスペクトル画像処理方法を用いて画像処理されたスペクトル画像と、前記被観察物に含まれる複数物質の発光スペクトル情報とに基づき、前記スペクトル画像に対する前記複数物質の各々の寄与を分離して求めるアンミックス手順を含むことを特徴とする。
また、本発明のスペクトル画像処理プログラムは、本発明の何れかのスペクトル画像処理方法をコンピュータに実行させることを特徴とする。
また、本発明のスペクトルイメージングシステムは、被観察物のスペクトル画像を取得するスペクトルイメージング装置と、前記取得されたスペクトル画像を取り込み、本発明の何れかのスペクトル画像処理方法を実行するスペクトル画像処理装置とを備えたことを特徴とする。
本発明によれば、必要な情報をなるべく損なうことなくノイズを低減することのできるスペクトル画像処理方法及びコンピュータ実行可能なスペクトル画像処理プログラムが実現する。また、本発明によれば、高性能なスペクトルイメージングシステムが実現する。
本発明の実施形態を説明する。本実施形態は、スペクトルイメージング蛍光レーザコンフォーカル顕微鏡システムの実施形態である。
先ず、本システムの構成を説明する。
図１は、本システムの構成図である。図１に示すとおり、本システムには、顕微鏡本体１０と、それに接続されたコンピュータ２０と、それに接続された入力器３０及び表示器４０とが備えられる。入力器３０は、マウスやキーボードなどであり、表示器４０は、ＬＣＤなどである。
顕微鏡本体１０には、レーザ光源１１と、ダイクロイックミラー１２と、光スキャナ１３と、対物レンズ１４と、標本１５と、観察レンズ１６と、ピンホールマスク１７と、分光素子１８と、多チャンネル光検出器１９とが配置される。標本１５は、複数種類（例えば３種類）の蛍光試薬で標識されており、多チャンネル光検出器１９は、多数（例えば３２個）の波長チャンネルを有している。
コンピュータ２０には、ＣＰＵ２３と、ＣＰＵ２３の基本的動作プログラムが書き込まれたＲＯＭ２４と、ＣＰＵ２３の動作中の一時的な記憶手段として使用されるＲＡＭ２５と、情報を長期保存するためのハードディスクドライブ２６と、入力器３０及び表示器４０とのインタフェースをとるインタフェース回路２７と、多チャンネル光検出器１９の波長チャンネルと同数のＡ／Ｄ変換回路２１1，２１2，…，２１32と、それと同数のフレームメモリ２２1，２２2，…，２２32とが備えられる。フレームメモリ２２1，２２2，…，２２32、ハードディスクドライブ２６、ＣＰＵ２３、ＲＯＭ２４、ＲＡＭ２５、インタフェース回路２７は、バス２０Ｂを介して接続されている。ハードディスクドライブ２６には、本システムに必要なＣＰＵ２３の動作プログラムが予め格納されている。
顕微鏡本体１０のレーザ光源１１からは、レーザ光（例えば、波長４８８ｎｍ）が発せられる。このレーザ光は、ダイクロイックミラー１２を反射し、光スキャナ１３及び対物レンズ１４を順に介して標本１５上の１点に集光する。その集光点では蛍光（例えば、波長５１０〜５５０ｎｍ）が生じ、その蛍光は、対物レンズ１４及び光スキャナ１３を順に介してダイクロイックミラー１２へ入射すると、そのダイクロイックミラー１２を透過し、観察レンズ１６を介してピンホールマスク１７へと入射する。このピンホールマスク１７は、観察レンズ１６及び対物レンズ１４により標本１５と共役関係に結ばれており、標本１５で発生した蛍光のうち、必要な光線のみを通過させる働きがある。これによって、顕微鏡本体１０の共焦点効果が得られる。ピンホールマスク１７を通過した蛍光は、分光素子１８へ入射すると、複数の波長成分に分離される。それらの各波長成分は、多チャンネル光検出器１９の互いに異なる波長チャンネルへ入射し、独立かつ同時に検出される。
多チャンネル光検出器１９の各波長チャンネル（ここでは３２個の波長チャンネル）は、例えば、５１０ｎｍ〜５５０ｎｍの波長範囲の５ｎｍずつ異なる３２種類の波長成分を検出する。それら３２個の波長チャンネルから出力される各信号は、コンピュータ２０へ並列に取り込まれ、Ａ／Ｄ変換回路２１1，２１2，…，２１32を介してフレームメモリ２２1，２２2，…，２２32へ個別に入力される。
この多チャンネル光検出器１９と光スキャナ１３とは同期駆動され、これによって、標本１５上を集光点で二次元的に走査している期間に、多チャンネル光検出器１９から繰り返し信号が出力される。このとき、フレームメモリ２２1，２２2，…，２２32には、標本１５の各波長チャンネルの画像が徐々に蓄積されることになる。フレームメモリ２２1，２２2，…，２２32に蓄積された各波長チャンネルの画像（チャンネル画像Ｄ1，Ｄ2，…，Ｄ32）は、適当なタイミングでＣＰＵ２３によって読み出され、１つのスペクトル画像Ｆに纏められてから、ハードディスクドライブ２６へ格納される。
なお、コンピュータ２０のハードディスクドライブ２６には、このスペクトル画像Ｆの他に、標本１５に使用された蛍光試薬の発光スペクトルデータが予め格納されている。この発光スペクトルデータは、蛍光試薬のメーカ等が公開しているものであって、例えばインターネットや記憶媒体などを介してコンピュータ２０へ取り込まれる。
次に、スペクトル画像Ｆの取得後のＣＰＵ２３の動作を説明する。
図２は、ＣＰＵ２３の動作フローチャートである。図２に示すとおり、ＣＰＵ２３は、正規化処理（ステップＳ１），平滑化処理（ステップＳ２），逆正規化処理（ステップＳ３）からなるノイズ除去処理を実行した後に、アンミックス処理（ステップＳ４）、表示処理（ステップＳ５）を実行する。以下、これらのステップを順に説明する。
正規化処理（ステップＳ１）：
本ステップでは、先ず、ＣＰＵ２３は、図３（Ａ）に示すとおり、スペクトル画像Ｆから各画素のスペクトルカーブを参照する。図３（Ａ）には、或る４画素（第１画素、第２画素、第３画素、第４画素）のスペクトルカーブのみを示した。スペクトルカーブの横軸は波長チャンネルであり、縦軸は輝度値である。
本ステップでは、先ず、ＣＰＵ２３は、図３（Ａ）に示すとおり、スペクトル画像Ｆから各画素のスペクトルカーブを参照する。図３（Ａ）には、或る４画素（第１画素、第２画素、第３画素、第４画素）のスペクトルカーブのみを示した。スペクトルカーブの横軸は波長チャンネルであり、縦軸は輝度値である。
各画素のスペクトルカーブの輝度レベルは、図３（Ａ）に示すとおり様々である。第１画素のスペクトルカーブの輝度積分値Ａ1は、第１画素のトータル輝度を示しており、第２画素のスペクトルカーブの輝度積分値Ａ2は、第２画素のトータル輝度を示しており、第３画素のスペクトルカーブの輝度積分値Ａ3は、第３画素のトータル輝度を示しており、第４画素のスペクトルカーブの輝度積分値Ａ4は、第４画素のトータル輝度を示している。
また、図３（Ａ）に示すとおり、各画素の間では、スペクトルカーブの形状も様々である。近接した画素の間では、スペクトルカーブの大まかな形状が似る可能性は高いが、ランダムな測定ノイズが重畳されるので、スペクトルカーブの微細な形状は、たとえ画素が近接していても互いに異なるものとなる。
次に、ＣＰＵ２３は、図３（Ｂ）に示すとおり、各画素のスペクトルカーブを、その輝度積分値Ａが１となるように正規化する。各スペクトルカーブの正規化では、スペクトルカーブの各波長チャンネルの輝度値に対し、正規化係数＝（１／現在の輝度積分値）を乗算すればよい。
ここで、図３の右側に示すように、正規化後のスペクトルカーブが成すスペクトル画像Ｆ’を参照すると、そのスペクトル画像Ｆ’では、各画素のトータル輝度が何れも１となる。つまり、このスペクトル画像Ｆ’からは、各画素のスペクトルカーブの輝度情報は排除され、各画素のスペクトルカーブの形状情報のみが維持されることになる。以下、このスペクトル画像Ｆ’の各波長成分（チャンネル画像）を、Ｄ1’，Ｄ2’，…，Ｄ32’とおく。
平滑化処理（ステップＳ２）：
本ステップでは、ＣＰＵ２３は、図４（Ａ）に示すとおり、上述したチャンネル画像Ｄ1’，Ｄ2’，…，Ｄ32’の各々に対し平均フィルタ処理を施す。これにより、チャンネル画像Ｄ1’，Ｄ2’，…，Ｄ32’の各々は、空間方向に平滑化される。
本ステップでは、ＣＰＵ２３は、図４（Ａ）に示すとおり、上述したチャンネル画像Ｄ1’，Ｄ2’，…，Ｄ32’の各々に対し平均フィルタ処理を施す。これにより、チャンネル画像Ｄ1’，Ｄ2’，…，Ｄ32’の各々は、空間方向に平滑化される。
チャンネル画像Ｄ’に対する平均フィルタ処理では、例えば、縦３画素・横３画素の開口を有したマスク（演算上のマスクである。）が使用される。このマスクがチャンネル画像Ｄ’に当てはめられ、マスクの開口中心に位置する着目画素の輝度値が、開口内の全画素の輝度平均値に置換される。この処理が、チャネル画像Ｄ’上のマスク位置をずらしながら繰り返し行われることによって、画像全域の処理が完了する。
ここで、図４の左下に示すように、平滑化後の各チャンネル画像をＤ1”，Ｄ2”，…，Ｄ32”とおき、それらチャンネル画像Ｄ1”，Ｄ2”，…，Ｄ32”が成すスペクトル画像Ｆ”を参照すると、そのスペクトル画像Ｆ”では、図４（Ｂ）に示すとおり、各画素のスペクトルカーブの形状が滑らかになっている。平滑化により、各画素のスペクトルカーブの形状が、隣接画素のスペクトルカーブの形状に影響されたからである。このことは、各画素のスペクトルカーブの形状情報から、ノイズが除去されたことを示す。
逆正規化処理（ステップＳ３）：
本ステップでは、ＣＰＵ２３は、図４（Ｃ）に示すとおり、スペクトル画像Ｆ”を構成する各画素のスペクトルカーブを、その輝度積分値が正規化前の輝度積分値（図３（Ａ）参照）に戻るように逆正規化する。第１画素のスペクトルカーブに関しては、その輝度積分値が正規化前の値Ａ1に戻るよう逆正規化し、第２画素のスペクトルカーブに関しては、その輝度積分値が正規化前の値Ａ2に戻るよう逆正規化し、第３画素のスペクトルカーブに関しては、その輝度積分値が正規化前の値Ａ3に戻るよう逆正規化し、第４画素のスペクトルカーブに関しては、その輝度積分値が正規化前の値Ａ4に戻るよう逆正規化する。各スペクトルカーブの逆正規化では、スペクトルカーブの各波長チャンネルの輝度値に対し、逆正規化係数＝（正規化前の輝度積分値／現在の輝度積分値）を乗算すればよい。
本ステップでは、ＣＰＵ２３は、図４（Ｃ）に示すとおり、スペクトル画像Ｆ”を構成する各画素のスペクトルカーブを、その輝度積分値が正規化前の輝度積分値（図３（Ａ）参照）に戻るように逆正規化する。第１画素のスペクトルカーブに関しては、その輝度積分値が正規化前の値Ａ1に戻るよう逆正規化し、第２画素のスペクトルカーブに関しては、その輝度積分値が正規化前の値Ａ2に戻るよう逆正規化し、第３画素のスペクトルカーブに関しては、その輝度積分値が正規化前の値Ａ3に戻るよう逆正規化し、第４画素のスペクトルカーブに関しては、その輝度積分値が正規化前の値Ａ4に戻るよう逆正規化する。各スペクトルカーブの逆正規化では、スペクトルカーブの各波長チャンネルの輝度値に対し、逆正規化係数＝（正規化前の輝度積分値／現在の輝度積分値）を乗算すればよい。
以上の逆正規化後のスペクトルカーブが成すスペクトル画像は、図４右下に示すように、スペクトル画像Ｆとして改めてハードディスクドライブ２６へ格納される。
このスペクトル画像Ｆでは、逆正規化により、各画素のスペクトルカーブの輝度情報が回復している。しかも、各画素のスペクトルカーブの形状情報からは、前述したとおりノイズが除去されている。したがって、このスペクトル画像Ｆは、標本１５の状態を正確に表すことになる。
アンミックス処理（ステップＳ４）：
本ステップでは、先ず、ＣＰＵ２３は、ハードディスクドライブ２６からスペクトル画像Ｆと、蛍光試薬の発光スペクトルデータとを読み出す。
本ステップでは、先ず、ＣＰＵ２３は、ハードディスクドライブ２６からスペクトル画像Ｆと、蛍光試薬の発光スペクトルデータとを読み出す。
発光スペクトルデータは、図５（Ａ），（Ｂ），（Ｃ）に示すとおり、３種類の蛍光試薬（第１試薬、第２試薬、第３試薬）の発光スペクトルカーブＳ1，Ｓ2，Ｓ3を表す。これらの発光スペクトルカーブＳ1，Ｓ2，Ｓ3は、式（１）のような一次元行列で表現される。
但し、式（１）中の要素ｓijは、第ｊ試薬のｉ番目の波長の輝度値である。この行列の波長方向の要素数は、スペクトル画像Ｆの波長方向のデータ量（＝多チャンネル光検出器１９の波長チャンネル数）に合わせて３２とした。
ＣＰＵ２３は、この発光スペクトルカーブＳ1，Ｓ2，Ｓ3に基づきスペクトル画像Ｆのアンミックス処理を行うが、そのアンミックスはスペクトル画像Ｆの画素毎に行われる。
スペクトル画像Ｆに含まれる或る画素のスペクトルカーブｆは、式（２）のような一次元行列で表現される。要素ｆiは、この画素のｉ番目の波長チャネルの輝度値である。
したがって、この画素に対する第１試薬の寄与率をｐ1とおき、第２試薬の寄与率をｐ2とおき、第３試薬の寄与率をｐ3とおくと、この画素のスペクトルカーブｆは、式（３）で表される。
さらに、３種類の蛍光試薬の各々の発光スペクトルカーブを、式（４）に示すとおり１つの行列Ｓで纏めて表し、３種類の蛍光試薬の各々の寄与率を、式（５）に示すとおり１つの行列Ｐで纏めて表すと、式（３）は式（６）のとおり変形される。
よって、ＣＰＵ２３は、式（６）に対し、この画素のスペクトルカーブｆの情報と、発光スペクトルカーブＳの情報とを当てはめ、それを寄与率Ｐについて解くことで、この画素に関するアンミックスを行うことができる。
但し、本システムでは、上述したとおり、波長チャンネルの数（ここでは３２）が蛍光試薬の種類数（ここでは３）よりも多く設定されたので、ＣＰＵ２３は、最小二乗法を適用する。
最小二乗法は、式（６）において誤差εを考慮した式（７）を用意し、その誤差εの二乗値が最小となるような寄与率Ｐを求めるものである。
この最小二乗法による寄与率Ｐの算出式を示すと、式（８）の通りである。
但し、ＳTは、Ｓの転置行列である。
したがって、ＣＰＵ２３は、この式（８）に対し、この画素のスペクトルカーブｆの情報と、発光スペクトルカーブＳの情報とを当てはめることにより、この画素に関するアンミックスを行う。そして、ＣＰＵ２３は、このアンミックスを、スペクトル画像Ｆの全画素についてそれぞれ行い、本ステップを終了する。
以上、本ステップのアンミックス処理は、周知の最小二乗法によるものであるが、上述したとおり、スペクトル画像Ｆが標本１５の状態を正確に表しているので、このアンミックス処理の精度は従来のそれよりも高い。
表示処理（ステップＳ５）：
本ステップでは、ＣＰＵ２３は、アンミックス処理で求まった寄与率の情報（各画素に対する各蛍光試薬の寄与率）を表示器４０へ表示する。寄与率の情報は、数値データとして表示してもよいが、ユーザへ直感的に知らせるため、ＣＰＵ２３は、寄与率に応じて色づけされたアンミックス画像を作成し、それを表示することが望ましい。
本ステップでは、ＣＰＵ２３は、アンミックス処理で求まった寄与率の情報（各画素に対する各蛍光試薬の寄与率）を表示器４０へ表示する。寄与率の情報は、数値データとして表示してもよいが、ユーザへ直感的に知らせるため、ＣＰＵ２３は、寄与率に応じて色づけされたアンミックス画像を作成し、それを表示することが望ましい。
以上、本システムのコンピュータ２０は、アンミックス処理に先立ち、スペクトル画像からノイズを除去するが、このノイズ除去処理は、上述したとおり、各画素のスペクトルカーブの輝度情報を何ら損なうことがないので、標本１５の状態を正確に表すスペクトル画像Ｆを得ることができる。したがって、コンピュータ２０によるアンミックス処理の精度、すなわち本システムの性能は、確実に向上する。
なお、本システムのノイズ除去処理（ステップＳ１〜Ｓ３）では、スペクトルカーブの正規化及び逆正規化の基準を、スペクトルカーブの輝度積分値としたが、輝度積分値の代わりに輝度最大値や輝度中間値などとしてもよい。
図６、図７には、正規化及び逆正規化の基準を輝度最大値とした場合のスペクトルカーブの変化を示した。図６，図７を参照すると、各画素のスペクトルカーブのピークは、正規化前にはＩ1，Ｉ2，Ｉ3，Ｉ4であったのに対し、正規化後には全て１となり、逆正規化後には、正規化前の値Ｉ1，Ｉ2，Ｉ3，Ｉ4に戻っていることがわかる。
また、本システムの平滑化処理（ステップＳ２）では、平均フィルタ処理を適用したが、平均フィルタ処理の代わりに、重み付き平均フィルタ処理、メディアンフィルタ処理などの他の空間フィルタ処理を適用してもよい。因みに、メディアンフィルタ処理は、開口内の全画素の輝度平均値を算出する代わりに、その輝度中間値を見出すものである。このようなフィルタ処理の種類は、顕微鏡本体１０で発生する測定ノイズの種類に応じて適切に選定されることが望ましい。因みに、平均フィルタ処理は、チャンネル画像上で均一的にノイズが発生している場合に有効であり、メディアンフィルタ処理は、チャンネル画像上で突発的にノイズが発生している（ごま塩ノイズ）場合に有効である。
また、本システムの平滑化処理（ステップＳ２）では、マスクのサイズ（フィルタのサイズ）が３画素×３画素＝９画素であったが、他のサイズに代えてもよい。このサイズは、顕微鏡本体１０で発生する測定ノイズの種類に応じて適切に選定されることが望ましい。
また、本システムのノイズ除去処理（ステップＳ１〜Ｓ３）では、平滑化処理の開始タイミングが、全画素のスペクトルカーブの正規化後であったが、平滑化処理を行いつつ、必要となった画素のスペクトルカーブを、その都度正規化することとしてもよい。
また、本システムでは、ＣＰＵ２３の動作プログラムがハードディスクドライブ２６に予め格納されていたが、そのプログラムの一部又は全部は、インターネットや記憶媒体などを介して外部からコンピュータ２０へインストールされたものであってもよい。
また、本システムでは、各処理がコンピュータ２０によって実行されたが、コンピュータ２０の一部又は全部の動作は、顕微鏡本体１０に専用の装置（制御・画像処理装置）によって実行されてもよい。
また、本システムの顕微鏡本体１０は、入射光の各波長成分を検出するために多チャンネル光検出器１９を使用しているが、多チャンネル光検出器１９の代わりに、１チャンネル光検出器と可動マスクとの組み合わせ、複数の１チャンネル光検出器と複数のフィルタとの組み合わせなどを使用してもよい。但し、多チャンネル光検出器１９を使用すると、省スペースが可能である点で有利である。
また、本システムの顕微鏡本体１０は、標本１５にて生じた蛍光を検出する蛍光顕微鏡であるが、標本１５を照明する光の透過光又は反射光を検出する顕微鏡であっても構わない。その場合、ダイクロイックミラー１２の代わりにビームスプリッタが使用される。
また、本システムの顕微鏡本体１０は、標本１５からの光を共焦点検出するコンフォーカル顕微鏡であるが、その共焦点検出の機能を省略しても構わない。その場合、ピンホールマスク１７は不要となる。
また、本システムの顕微鏡本体１０は、標本１５上を光走査する走査型顕微鏡であるが、非走査型顕微鏡であっても構わない。その場合、光スキャナ１３は不要となる。
すなわち、本発明は、スペクトルイメージングを行う各種の装置に適用することが可能である。
Claims (6)
- 被観察物のスペクトル画像に対し処理を施すスペクトル画像処理方法であって、
前記スペクトル画像を構成する各画素のスペクトル（＝分光輝度曲線）を輝度レベルが揃うように正規化する手順と、
前記正規化されたスペクトルを前記各画素の空間方向に平滑化する手順と、
前記平滑化によって得られた各画素のスペクトルに、それに対応する画素の輝度レベル又はそれに応じた値を乗ずる逆正規化の手順と、
を含むことを特徴とするスペクトル画像処理方法。 - 請求項１に記載のスペクトル画像処理方法において、
前記正規化は、
前記スペクトルの輝度積分値が揃うように行われ、
前記逆正規化は、
前記スペクトルの輝度積分値が前記正規化前の値に戻るように行われる
ことを特徴とするスペクトル画像処理方法。 - 請求項１に記載のスペクトル画像処理方法において、
前記正規化は、
前記スペクトルの輝度最大値が揃うように行われ、
前記逆正規化は、
前記スペクトルの輝度最大値が前記正規化前の値に戻るように行われる
ことを特徴とするスペクトル画像処理方法。 - 請求項１〜請求項３の何れか一項に記載のスペクトル画像処理方法を用いて画像処理されたスペクトル画像と、前記被観察物に含まれる複数物質の発光スペクトル情報とに基づき、前記スペクトル画像に対する前記複数物質の各々の寄与を分離して求めるアンミックス手順を含む
ことを特徴とするスペクトル画像処理方法。 - 請求項１〜請求項４の何れか一項に記載のスペクトル画像処理方法をコンピュータに実行させることを特徴とするコンピュータ実行可能なスペクトル画像処理プログラム。
- 被観察物のスペクトル画像を取得するスペクトルイメージング装置と、
前記取得されたスペクトル画像を取り込み、請求項１〜請求項４の何れか一項に記載のスペクトル画像処理方法を実行するスペクトル画像処理装置と
を備えたことを特徴とするスペクトルイメージングシステム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2007526098A JP4826586B2 (ja) | 2006-02-23 | 2007-02-01 | スペクトル画像処理方法、コンピュータ実行可能なスペクトル画像処理プログラム、スペクトルイメージングシステム |
Applications Claiming Priority (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2006046508 | 2006-02-23 | ||
| JP2006046508 | 2006-02-23 | ||
| PCT/JP2007/051698 WO2007097170A1 (ja) | 2006-02-23 | 2007-02-01 | スペクトル画像処理方法、コンピュータ実行可能なスペクトル画像処理プログラム、スペクトルイメージングシステム |
| JP2007526098A JP4826586B2 (ja) | 2006-02-23 | 2007-02-01 | スペクトル画像処理方法、コンピュータ実行可能なスペクトル画像処理プログラム、スペクトルイメージングシステム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPWO2007097170A1 true JPWO2007097170A1 (ja) | 2009-07-09 |
| JP4826586B2 JP4826586B2 (ja) | 2011-11-30 |
Family
ID=38437209
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2007526098A Active JP4826586B2 (ja) | 2006-02-23 | 2007-02-01 | スペクトル画像処理方法、コンピュータ実行可能なスペクトル画像処理プログラム、スペクトルイメージングシステム |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US8055035B2 (ja) |
| EP (1) | EP1988383B1 (ja) |
| JP (1) | JP4826586B2 (ja) |
| WO (1) | WO2007097170A1 (ja) |
Families Citing this family (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4872914B2 (ja) * | 2006-02-23 | 2012-02-08 | 株式会社ニコン | スペクトル画像処理方法、スペクトル画像処理プログラム、及びスペクトルイメージングシステム |
| US8055035B2 (en) | 2006-02-23 | 2011-11-08 | Nikon Corporation | Spectral image processing method, computer-executable spectral image processing program, and spectral imaging system |
| CN104939806B (zh) | 2008-05-20 | 2021-12-10 | 大学健康网络 | 用于基于荧光的成像和监测的装置和方法 |
| JP2010102196A (ja) * | 2008-10-24 | 2010-05-06 | Olympus Corp | 顕微鏡画像の自動調整方法、顕微鏡システム |
| US20120061590A1 (en) * | 2009-05-22 | 2012-03-15 | British Columbia Cancer Agency Branch | Selective excitation light fluorescence imaging methods and apparatus |
| JP5506443B2 (ja) * | 2010-02-10 | 2014-05-28 | オリンパス株式会社 | 蛍光観察装置 |
| JP5721959B2 (ja) * | 2010-03-16 | 2015-05-20 | オリンパス株式会社 | 蛍光内視鏡装置 |
| CN102074008B (zh) * | 2011-01-05 | 2013-02-06 | 哈尔滨工程大学 | 高光谱图像的全约束最小二乘线性光谱混合分析方法 |
| WO2014118326A2 (en) | 2013-01-31 | 2014-08-07 | Ventana Medical Systems, Inc. | Systems and methods for calibrating, configuring and validating an imaging device or system for multiplex tissue assays |
| EP4250143A3 (en) * | 2013-12-31 | 2023-10-04 | Ventana Medical Systems, Inc. | Systems and methods for spectral unmixing of microscopic images using pixel grouping |
| JP5839077B2 (ja) * | 2014-05-02 | 2016-01-06 | 株式会社ニコン | レーザ励起蛍光顕微鏡 |
| ES2894912T3 (es) | 2014-07-24 | 2022-02-16 | Univ Health Network | Recopilación y análisis de datos con fines de diagnóstico |
| EP3166072A1 (en) * | 2015-11-06 | 2017-05-10 | Thomson Licensing | Method for denoising an image and apparatus for denoising an image |
| WO2019002281A1 (en) * | 2017-06-28 | 2019-01-03 | Ventana Medical Systems, Inc. | CALIBRATION OF SYSTEM LEVEL |
| US11480513B2 (en) | 2017-09-08 | 2022-10-25 | Sony Corporation | Fine particle measurement apparatus, information processing apparatus, and information processing method |
| WO2020197787A1 (en) * | 2019-03-22 | 2020-10-01 | Becton, Dickinson And Company | Spectral unmixing of fluorescence imaging using radiofrequency-multiplexed excitation data |
| CN113175994B (zh) * | 2021-03-26 | 2023-04-07 | 上海卫星工程研究所 | 星载傅里叶变换红外光谱仪光谱噪声分析方法、系统及介质 |
| RU2767607C1 (ru) * | 2021-04-23 | 2022-03-18 | Российская Федерация, от имени которой выступает ФОНД ПЕРСПЕКТИВНЫХ ИССЛЕДОВАНИЙ | Способ формирования сигналов разноспектральных изображений |
Family Cites Families (32)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5798262A (en) * | 1991-02-22 | 1998-08-25 | Applied Spectral Imaging Ltd. | Method for chromosomes classification |
| US5991456A (en) * | 1996-05-29 | 1999-11-23 | Science And Technology Corporation | Method of improving a digital image |
| US6015667A (en) | 1996-06-03 | 2000-01-18 | The Perkin-Emer Corporation | Multicomponent analysis method including the determination of a statistical confidence interval |
| JP3783815B2 (ja) * | 1997-12-18 | 2006-06-07 | 株式会社リコー | 画像処理装置 |
| US6415233B1 (en) * | 1999-03-04 | 2002-07-02 | Sandia Corporation | Classical least squares multivariate spectral analysis |
| US6341257B1 (en) * | 1999-03-04 | 2002-01-22 | Sandia Corporation | Hybrid least squares multivariate spectral analysis methods |
| US6750964B2 (en) * | 1999-08-06 | 2004-06-15 | Cambridge Research And Instrumentation, Inc. | Spectral imaging methods and systems |
| US6888963B2 (en) * | 2000-07-18 | 2005-05-03 | Matsushita Electric Industrial Co., Ltd. | Image processing apparatus and image processing method |
| JP3815188B2 (ja) * | 2000-07-21 | 2006-08-30 | 三菱電機株式会社 | 画像表示装置および画像表示方法 |
| US6894699B2 (en) * | 2000-07-21 | 2005-05-17 | Mitsubishi Denki Kabushiki Kaisha | Image display device employing selective or asymmetrical smoothing |
| JP2002152762A (ja) * | 2000-08-30 | 2002-05-24 | Nikon Corp | 画像処理装置および画像処理プログラムを記録した記録媒体 |
| US20020047907A1 (en) * | 2000-08-30 | 2002-04-25 | Nikon Corporation | Image processing apparatus and storage medium for storing image processing program |
| JP3690271B2 (ja) * | 2000-11-29 | 2005-08-31 | 株式会社島津製作所 | 核酸の塩基配列決定のためのマトリックス値を得る方法 |
| US20040064299A1 (en) * | 2001-08-10 | 2004-04-01 | Howard Mark | Automated system and method for spectroscopic analysis |
| JP2003083894A (ja) | 2001-09-14 | 2003-03-19 | Sumitomo Electric Ind Ltd | 蛍光値補正方法、蛍光値補正装置、蛍光値補正プログラム及び前記蛍光値補正プログラムを記録した記録媒体 |
| DE10222779A1 (de) * | 2002-05-16 | 2004-03-04 | Carl Zeiss Jena Gmbh | Verfahren und Anordnung zur Untersuchung von Proben |
| US6763308B2 (en) * | 2002-05-28 | 2004-07-13 | Sas Institute Inc. | Statistical outlier detection for gene expression microarray data |
| US6906859B2 (en) * | 2002-06-05 | 2005-06-14 | Nikon Corporation | Epi-illumination apparatus for fluorescent observation and fluorescence microscope having the same |
| US7480083B2 (en) * | 2002-07-30 | 2009-01-20 | Canon Kabushiki Kaisha | Image processing system, apparatus, and method, and color reproduction method |
| AU2003270619A1 (en) * | 2002-09-12 | 2004-04-30 | Molecular Probes, Inc. | Site-specific labeling of affinity tags in fusion proteins |
| JP3903000B2 (ja) | 2002-11-14 | 2007-04-11 | アークレイ株式会社 | 測定装置、蛍光測定装置及び蛍光測定方法 |
| US7471831B2 (en) * | 2003-01-16 | 2008-12-30 | California Institute Of Technology | High throughput reconfigurable data analysis system |
| US7283684B1 (en) * | 2003-05-20 | 2007-10-16 | Sandia Corporation | Spectral compression algorithms for the analysis of very large multivariate images |
| CN1817047A (zh) * | 2003-06-30 | 2006-08-09 | 株式会社尼康 | 用于处理具有排列的不同色彩分量的图像的图像处理装置,图像处理程序,电子照相机,以及图像处理方法 |
| US7321791B2 (en) * | 2003-09-23 | 2008-01-22 | Cambridge Research And Instrumentation, Inc. | Spectral imaging of deep tissue |
| EP1677097A4 (en) | 2003-10-10 | 2010-09-01 | Hamamatsu Photonics Kk | METHOD AND SYSTEM FOR DETERMINING THE CONCENTRATION OF A FLUORESCENT PIGMENT |
| JP4021414B2 (ja) * | 2003-11-26 | 2007-12-12 | オリンパス株式会社 | スペクトラルデコンボリューション法及びスペクトラルブラインドデコンボリューション法 |
| US20050285023A1 (en) * | 2004-06-23 | 2005-12-29 | Lambda Solutions, Inc. | Automatic background removal for input data |
| US7457472B2 (en) * | 2005-03-31 | 2008-11-25 | Euclid Discoveries, Llc | Apparatus and method for processing video data |
| ATE527619T1 (de) * | 2005-01-27 | 2011-10-15 | Cambridge Res & Instrumentation Inc | Klassifizierung der bildeigenschaften |
| US20070099535A1 (en) * | 2005-11-03 | 2007-05-03 | Riebersal Michael A | Water throwing toy |
| US8055035B2 (en) | 2006-02-23 | 2011-11-08 | Nikon Corporation | Spectral image processing method, computer-executable spectral image processing program, and spectral imaging system |
-
2007
- 2007-02-01 US US11/913,281 patent/US8055035B2/en active Active
- 2007-02-01 JP JP2007526098A patent/JP4826586B2/ja active Active
- 2007-02-01 WO PCT/JP2007/051698 patent/WO2007097170A1/ja active Application Filing
- 2007-02-01 EP EP07707884.8A patent/EP1988383B1/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| US20090080722A1 (en) | 2009-03-26 |
| JP4826586B2 (ja) | 2011-11-30 |
| US8055035B2 (en) | 2011-11-08 |
| WO2007097170A1 (ja) | 2007-08-30 |
| EP1988383B1 (en) | 2020-09-30 |
| EP1988383A4 (en) | 2016-08-24 |
| EP1988383A1 (en) | 2008-11-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4826586B2 (ja) | スペクトル画像処理方法、コンピュータ実行可能なスペクトル画像処理プログラム、スペクトルイメージングシステム | |
| JP4872914B2 (ja) | スペクトル画像処理方法、スペクトル画像処理プログラム、及びスペクトルイメージングシステム | |
| JP5489469B2 (ja) | 蛍光信号解析装置および蛍光信号解析方法 | |
| US7420674B2 (en) | Method and arrangement for analyzing samples | |
| US20090263002A1 (en) | Wave field microscope with sub-wavelength resolution and methods for processing microscopic images to detect objects with sub-wavelength dimensions | |
| CA2724563A1 (en) | Imaging system with dynamic range maximization | |
| US20050239117A1 (en) | Biochip measuring method and biochip measuring apparatus | |
| JP5746161B2 (ja) | 顕微鏡画像における蛍光の評価方法 | |
| US10416427B2 (en) | Scan-based imaging with variable scan speed using predictions of region-of-interest positions | |
| JP2012190021A (ja) | レーザ走査顕微鏡およびその動作方法 | |
| JP4539342B2 (ja) | 解析装置、顕微鏡、および、解析プログラム | |
| JP5228729B2 (ja) | スペクトル画像処理方法、スペクトル画像処理プログラム、及びスペクトルイメージングシステム | |
| JP2006317261A (ja) | 走査型サイトメータの画像処理方法及び装置 | |
| JP6681068B2 (ja) | データ復元装置、顕微鏡システム、およびデータ復元方法 | |
| US7158294B2 (en) | Laser scanning confocal microscope apparatus, image recording method, and recording medium | |
| KR20160014340A (ko) | 형광수명 분석 시스템 및 그 분석 방법 | |
| WO2022249583A1 (ja) | 情報処理装置、生体試料観察システム及び画像生成方法 | |
| WO2023149296A1 (ja) | 情報処理装置、生体試料観察システム及び画像生成方法 | |
| US20230175963A1 (en) | Method of analyzing a mixed fluorescence response of a plurality of fluorophores, fluorescence analyzer, fluorescence microscope and computer program | |
| WO2023276219A1 (ja) | 情報処理装置、生体試料観察システム及び画像生成方法 | |
| US11238566B2 (en) | Image processing device, system, and method for improving signal-to-noise of microscopy images | |
| WO2023189393A1 (ja) | 生体試料観察システム、情報処理装置及び画像生成方法 | |
| WO2023276327A1 (ja) | 光学画像処理方法、機械学習方法、学習済みモデル、機械学習の前処理方法、光学画像処理モジュール、光学画像処理プログラム、及び光学画像処理システム | |
| JP4468642B2 (ja) | 共焦点レーザ走査型顕微鏡装置及び試料情報記録方法 | |
| JP2006195076A (ja) | 走査型光学装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20100107 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110107 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20110816 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20110829 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140922 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 4826586 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140922 Year of fee payment: 3 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20071009 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |