JP5117274B2 - 画像処理装置および画像処理プログラム - Google Patents

Description

本発明は、複数の色素で染色された染色標本を撮像した染色標本画像から、前記染色標本の色素量を推定する画像処理装置および画像処理プログラムに関する。

被写体に固有の物理的性質を表す物理量の一つに分光透過率スペクトルがある。分光透過率は、各波長における入射光に対する透過光の割合を表す物理量であり、ＲＧＢ値等の照明光の変化に依存する色情報とは異なり、外因的影響によって値が変化しない物体固有の情報である。このため、分光透過率は、被写体自体の色を再現するための情報として様々な分野で利用されている。例えば、生体組織標本、特に病理標本を用いた病理診断の分野では、標本を撮像した画像の解析に分光特性値の一例として分光透過率の推定技術が利用されている。

病理診断では、臓器摘出によって得たブロック標本や針生検によって得た病理標本を厚さ数ミクロン程度に薄切した後、様々な所見を得るために顕微鏡を用いて拡大観察することが広く行われている。中でも光学顕微鏡を用いた透過観察は、機材が比較的安価で取り扱いが容易である上、歴史的に古くから行われてきたこともあって、最も普及している観察方法の一つである。この場合、薄切された標本は光を殆ど吸収および散乱せず無色透明に近いため、観察に先立って色素による染色を施すのが一般的である。

染色手法としては種々のものが提案されており、その総数は１００種類以上にも達するが、特に病理標本に関しては、色素として青紫色のヘマトキシリンと赤色のエオジンの２つを用いるヘマトキシリン−エオジン染色（以下、「Ｈ＆Ｅ染色」と称す。）が標準的に用いられている。

ヘマトキシリンは植物から採取された天然の物質であり、それ自身には染色性はない。しかし、その酸化物であるヘマチンは好塩基性の色素であり、負に帯電した物質と結合する。細胞核に含まれるデオキシリボ核酸（ＤＮＡ）は、構成要素として含むリン酸基によって負に帯電しているため、ヘマチンと結合して青紫色に染色される。なお、前述の通り、染色性を有するのはヘマトキシリンでは無く、その酸化物であるヘマチンであるが、色素の名称としてはヘマトキシリンを用いるのが一般的であるため、以下それに従う。一方エオジンは、好酸性の色素であり、正に帯電した物質と結合する。アミノ酸やタンパク質が正負どちらに帯電するかはｐＨ環境に影響を受け、酸性下では正に帯電する傾向が強くなる。このため、エオジン溶液に酢酸を加えて用いることがある。細胞質に含まれるタンパク質は、エオジンと結合して赤から薄赤に染色される。

Ｈ＆Ｅ染色後の標本（染色標本）では、細胞核や骨組織等が青紫色に、細胞質や結合組織、赤血球等が赤色に染色され、容易に視認できるようになる。この結果、観察者は、細胞核等の組織を構成する要素の大きさや位置関係等を把握でき、標本の状態を形態学的に判断することが可能となる。

標本の観察は、観察者の目視によるものの他、この標本をマルチバンド撮像して外部装置の表示画面に表示することによっても行われている。表示画面に表示する場合には、撮像したマルチバンド画像から標本各点の分光透過率を推定する処理や、推定した分光透過率に基づいて標本を染色している色素の色素量を推定する処理、推定した色素量に基づいて画像の色を補正する処理等が行われ、カメラの特性や染色状態のばらつき等が補正されて、表示用の標本のＲＧＢ画像が合成される。図１９は、合成されたＲＧＢ画像の一例を示す図である。色素量の推定を適切に行えば、濃く染色された標本や薄く染色された標本を、適切に染色された標本と同等の色を有する画像に補正することができる。

標本のマルチバンド画像から標本各点の分光透過率を推定する手法としては、例えば、主成分分析による推定法（例えば、非特許文献１参照）や、ウィナー（Wiener）推定による推定法（例えば、非特許文献２参照）等が挙げられる。ウィナー推定は、ノイズの重畳された観測信号から原信号を推定する線形フィルタ手法の一つとして広く知られており、観測対象の統計的性質とノイズ（観測ノイズ）の特性とを考慮して誤差の最小化を行う手法である。カメラからの信号には何らかのノイズが含まれるため、ウィナー推定は原信号を推定する手法として極めて有用である。

ここで、標本のマルチバンド画像からＲＧＢ画像を合成する方法について説明する。先ず、標本のマルチバンド画像を撮像する。例えば、特許文献１に開示されている技術を用い、１６枚のバンドパスフィルタをフィルタホイールで回転させて切り替えながら、面順次方式でマルチバンド画像を撮像する。これにより、標本の各点において１６バンドの画素値を有するマルチバンド画像が得られる。なお、色素は、本来観察対象となる標本内に３次元的に分布しているが、通常の透過観察系ではそのまま３次元像として捉えることはできず、標本内を透過した照明光をカメラの撮像素子上に投影した２次元像として観察される。したがって、ここでいう各点は、投影された撮像素子の各画素に対応する標本上の点を意味している。

撮像されたマルチバンド画像の任意の点ｘについて、バンドｂにおける画素値ｇ（ｘ，ｂ）と、対応する標本上の点の分光透過率ｔ（ｘ，λ）との間には、カメラの応答システムに基づく次式（１）の関係が成り立つ。

λは波長、ｆ（ｂ，λ）はｂ番目のフィルタの分光透過率、ｓ（λ）はカメラの分光感度特性、ｅ（λ）は照明の分光放射特性、ｎ（ｂ）はバンドｂにおける観測ノイズをそれぞれ表す。ｂはバンドを識別する通し番号であり、ここでは１≦ｂ≦１６を満たす整数値である。

実際の計算では、式（１）を波長方向に離散化した次式（２）を用いる。
Ｇ（ｘ）＝ＦＳＥＴ（ｘ）＋Ｎ ・・・（２）
波長方向のサンプル点数をＤ、バンド数をＢとすれば（ここではＢ＝１６）、Ｇ（ｘ）は、点ｘにおける画素値ｇ（ｘ，ｂ）に対応するＢ行１列の行列である。同様に、Ｔ（ｘ）は、ｔ（ｘ，λ）に対応するＤ行１列の行列、Ｆは、ｆ（ｂ，λ）に対応するＢ行Ｄ列の行列である。一方、Ｓは、Ｄ行Ｄ列の対角行列であり、対角要素がｓ（λ）に対応している。同様に、Ｅは、Ｄ行Ｄ列の対角行列であり、対角要素がｅ（λ）に対応している。Ｎは、ｎ（ｂ）に対応するＢ行１列の行列である。なお、式（２）では、行列を用いて複数のバンドに関する式を集約しているため、バンドを表す変数ｂが陽に記述されていない。また、波長λに関する積分は行列の積に置き換えられている。

ここで、表記を簡単にするため、次式（３）で定義される行列Ｈを導入する。Ｈはシステム行列とも呼ばれる。
Ｈ＝ＦＳＥ ・・・（３）

次に、ウィナー推定を用いて、撮像したマルチバンド画像から標本各点における分光透過率を推定する。分光透過率の推定値（分光透過率データ）Ｔ＾（ｘ）は、次式（４）で計算することができる。なお、Ｔ＾は、Ｔの上に推定値を表すハット「＾」が付いていることを示す。

ここで、Ｗは次式（５）で表され、「ウィナー推定行列」あるいは「ウィナー推定に用いる推定オペレータ」と呼ばれる。以下の説明では、Ｗを単に「推定オペレータ」と称す。

Ｒ_SSは、Ｄ行Ｄ列の行列であり、標本の分光透過率の自己相関行列を表す。また、Ｒ_NNは、Ｂ行Ｂ列の行列であり、撮像に使用するカメラのノイズの自己相関行列を表す。

このようにして分光透過率データＴ＾（ｘ）を推定したならば、次に、このＴ＾（ｘ）に基づいて対応する標本点（対応点）における色素量を推定する。推定の対象とする色素は、ヘマトキシリン、細胞質を染色したエオジン、赤血球を染色したエオジンまたは染色されていない赤血球の色素の３種類であり、それぞれ色素Ｈ、色素Ｅ、色素Ｒと略記する。なお、厳密には、染色を施さない状態であっても赤血球はそれ自身特有の色を有しており、Ｈ＆Ｅ染色後は、赤血球自身の色と染色過程において変化したエオジンの色が重畳して観察される。このため、正確には両者を併せたものを色素Ｒと呼称する。

一般に、光を透過する物質では、波長λ毎の入射光の強度Ｉ₀（λ）と射出光の強度Ｉ(λ)との間に、次式（６）で表されるランベルト・ベール（Lambert-Beer）の法則が成り立つことが知られている。

ｋ（λ）は波長に依存して決まる物質固有の値、ｄは物質の厚さをそれぞれ表す。また、式（６）の左辺は分光透過率を意味している。

Ｈ＆Ｅ染色された標本が、色素Ｈ、色素Ｅ、色素Ｒの３種類の色素で染色されている場合、ランベルト・ベールの法則により各波長λにおいて次式（７）が成立する。

ｋ_H（λ），ｋ_E（λ），ｋ_R（λ）は、それぞれ色素Ｈ、色素Ｅ、色素Ｒに対応するｋ（λ）を表し、例えば、標本を染色している各色素の基準分光特性値である。またｄ_H，ｄ_E，ｄ_Rは、マルチバンド画像の各画像位置に対応する標本各点における色素Ｈ、色素Ｅ、色素Ｒの仮想的な厚さを表す。本来色素は、標本中に分散して存在するため、厚さという概念は正確ではないが、標本が単一の色素で染色されていると仮定した場合と比較して、どの程度の量の色素が存在しているかを表す相対的な色素量の指標となる。すなわち、ｄ_H，ｄ_E，ｄ_Rはそれぞれ色素Ｈ、色素Ｅ、色素Ｒの色素量を表しているといえる。なお、ｋ_H（λ），ｋ_E（λ），ｋ_R（λ）は、色素Ｈ、色素Ｅ、色素Ｒを用いてそれぞれ個別に染色した標本を予め用意し、その分光透過率を分光器で測定することによって、ランベルト・ベールの法則から容易に求めることができる。

式（７）の両辺の対数を取ると、次式（８）となる。

このようにして推定された分光透過率データＴ＾（ｘ）の波長λに対応する要素をｔ＾（ｘ，λ）とし、これを式（８）に代入すると、次式（９）を得る。なお、ｔ＾は、ｔの上に推定値を表すハット「＾」が付いていることを示す。

ここで、推定吸光度ａ＾（ｘ，λ）は、分光透過率ｔ＾（ｘ，λ）をもとに、次式（１０）に従って算出できる。なお、ａ＾は、ａの上に推定値を表すハット「＾」が付いていることを示す。

したがって、式（９）は、次式（１１）に置き換えることができる。

式（１１）において未知変数はｄ_H，ｄ_E，ｄ_Rの３つであるから、少なくとも３つの異なる波長λについて式（１１）を連立させれば、これらを解くことができる。より精度を高めるために、４つ以上の異なる波長λに対して式（１１）を連立させ、重回帰分析を行ってもよい。例えば、３つの波長λ₁，λ₂，λ₃について式（１１）を連立させた場合、次式（１２）のように行列表記できる。

ここで、式（１２）を次式（１３）に置き換える。

波長方向のサンプル点数をＤとすれば、Ａ＾（ｘ）は、ａ＾（ｘ，λ）に対応するＤ行１列の行列であり、Ｋは、ｋ（λ）に対応するＤ行３列の行列、ｄ（ｘ）は、点ｘにおけるｄ_H，ｄ_E，ｄ_Rに対応する３行１列の行列であり、εは、誤差に対応するＤ行１列の行列である。なお、Ａ＾は、Ａの上に推定値を表すハット「＾」が付いていることを示す。

そして、式（１３）に従い、最小二乗法を用いて色素量ｄ_H，ｄ_E，ｄ_Rを算出する。最小二乗法とは単回帰式において誤差の二乗和を最小にするようにｄ（ｘ）を決定する方法であり、次式（１４）で算出できる。

以上のようにして、色素量ｄ_H，ｄ_E，ｄ_Rが求まれば、これらを修正することで、標本における色素量の変化をシミュレートすることができる。すなわち、適当な係数α_H，α_E，α_Rを各色素量ｄ_H，ｄ_E，ｄ_Rにそれぞれ乗じて調整し、式（７）に代入すれば、次式（１５）によって新たな分光透過率ｔ^*（ｘ，λ）が得られる。

そして、式（１５）を式（１）に代入すれば、色素量を仮想的に変化させた標本の画像を合成することができる。この場合は、ノイズｎ（ｂ）をゼロとして計算してよい。

以上の手順により、マルチバンド画像の任意の点ｘにおける色素量を推定することによって、標本各点における色素量を仮想的に調整し、調整後の標本の画像を合成することで標本の色素量を補正することができる。したがって、例えば、標本に染色ばらつきがあっても、ユーザは、適正な染色状態に調整された画像を観察することができ、染色ばらつきの問題が解決できる。

特開平７−１２０３２４号公報 "Development of support systems for pathology using spectral transmittance - The quantification method of stain conditions"，Proceedings of SPIE，Vol.4684，2002，p.1516-1523 "Color Correction of Pathological Images Based on Dye Amount Quantification"，OPTICAL REVIEW，Vol.12，No.4，2005，p.293-300

非特許文献１に開示されている手法に従い、推定オペレータを用いてマルチバンド画像から標本各点の分光透過率を推定する場合には、式（１）に示して説明したように、撮像されたマルチバンド画像の位置ｘについて、バンドｂにおける画素値ｇ（ｘ，ｂ）と、対応する標本上の点の分光透過率ｔ（ｘ，λ）との間に、カメラの応答システムに基づく関係が成り立つ。このとき、フィルタの分光透過率ｆ（ｂ，λ）、カメラの分光感度特性ｓ（λ）、照明の分光放射特性ｅ（λ）および分光透過率ｔ（ｘ，λ）によって求まる信号値に対して観測ノイズｎ（ｂ）の値が大きい場合、画素値ｇ（ｘ，ｂ）に含まれる情報量のうちの信号値に対する観測ノイズの割合が高くなり、分光透過率の推定精度に寄与する信号値の情報量が少なくなる。特に、低画素値の場合、すなわち分光透過率の値が小さい場合に、この傾向が顕著であり、画素値が低いと観測ノイズの影響を強く受けて分光特性値の推定精度が低下してしまう。この結果、色素量の推定精度が低下してしまうという問題があった。ここで、画素値が低いということはいずれかの染色が濃いということを意味しており、Ｈ＆Ｅ染色された標本のマルチバンド画像を用いてヘマトキシリンやエオジンの染色状態を解析するために重要な画素と考えられるため、低画素値の画素についても分光透過率を精度よく推定し、色素量を精度良く推定する必要がある。

また、一方で、色素量の推定の際には、式（１４）に示したように、予め各色素について波長毎の基準分光特性値を１つ定めておき、これを用いる。しかしながら、実際には、各色素について波長毎の分光特性値を測定すると、各波長での値にばらつきが生じる。このため、各色素の基準分光特性値の波形と、この画素中に含まれる各色素の分光特性値の波形とが一致しない場合が発生し、色素量の推定精度が低下する場合があった。

本発明は、上記した従来の問題点に鑑みて為されたものであり、複数の色素で染色された染色標本の色素量を精度良く推定することができる画像処理装置および画像処理プログラムを提供することを目的とする。

上記した課題を解決し、目的を達成するための、本発明のある態様にかかる画像処理装置は、複数の色素で染色された染色標本を撮像した染色標本画像から、前記染色標本の色素量を推定する画像処理装置であって、前記染色標本画像を構成する画素の画素値をもとに、前記画素に対応する前記染色標本上の対応点における波長毎の分光特性値を推定する分光特性推定部と、前記分光特性推定部によって推定された波長毎の分光特性値をもとに、波長毎の重み値を設定する重み設定部と、前記分光特性推定部によって推定された波長毎の分光特性値をもとに、前記波長毎の重み値を用いて前記染色標本上の対応点の色素量を重み付き色素量として推定する重み付き色素量推定部と、を備える。

また、本発明の別の態様にかかる画像処理装置は、複数の色素で染色された染色標本を撮像した染色標本画像から、前記染色標本の色素量を推定する画像処理装置であって、前記染色標本画像を構成する画素の画素値をもとに、前記画素に対応する前記染色標本上の対応点における波長毎の分光特性値を推定する分光特性推定部と、予め設定される画素値と波長毎の分光特性値との対応関係に従って、前記画素の画素値に対応する分光特性値をもとに、波長毎の重み値を設定する重み設定部と、前記分光特性推定部によって推定された波長毎の分光特性値をもとに、前記波長毎の重み値を用いて前記染色標本上の対応点の色素量を重み付き色素量として推定する重み付き色素量推定部と、を備える。

また、本発明の別の態様にかかる画像処理装置は、複数の色素で染色された染色標本を撮像した染色標本画像から、前記染色標本の色素量を推定する画像処理装置であって、前記染色標本画像を構成する画素の画素値をもとに、前記画素に対応する前記染色標本上の対応点における波長毎の分光特性値を推定する分光特性推定部と、前記複数の色素で個別に染色された単染色標本について測定された色素別の単染色分光特性値のいずれかを用いて、波長毎の重み値を設定する重み設定部と、前記分光特性推定部によって推定された波長毎の分光特性値をもとに、前記波長毎の重み値を用いて前記染色標本上の対応点の色素量を重み付き色素量として推定する重み付き色素量推定部と、を備える。

また、本発明の別の態様にかかる画像処理プログラムは、複数の色素で染色された染色標本を撮像した染色標本画像から、前記染色標本の色素量を推定するコンピュータに、前記染色標本画像を構成する画素の画素値をもとに、前記画素に対応する前記染色標本上の対応点における波長毎の分光特性値を推定する分光特性推定ステップと、前記分光特性推定ステップで推定された波長毎の分光特性値をもとに、波長毎の重み値を設定する重み設定ステップと、前記分光特性推定ステップで推定された波長毎の分光特性値をもとに、前記波長毎の重み値を用いて前記染色標本上の対応点の色素量を重み付き色素量として推定する重み付き色素量推定ステップと、を実行させる。

また、本発明の別の態様にかかる画像処理プログラムは、複数の色素で染色された染色標本を撮像した染色標本画像から、前記染色標本の色素量を推定するコンピュータに、前記染色標本画像を構成する画素の画素値をもとに、前記画素に対応する前記染色標本上の対応点における波長毎の分光特性値を推定する分光特性推定ステップと、予め設定される画素値と波長毎の分光特性値との対応関係に従って、前記画素の画素値に対応する分光特性値をもとに、波長毎の重み値を設定する重み設定ステップと、前記分光特性推定ステップで推定された波長毎の分光特性値をもとに、前記波長毎の重み値を用いて前記染色標本上の対応点の色素量を重み付き色素量として推定する重み付き色素量推定ステップと、を実行させる。

また、本発明の別の態様にかかる画像処理プログラムは、複数の色素で染色された染色標本を撮像した染色標本画像から、前記染色標本の色素量を推定するコンピュータに、前記染色標本画像を構成する画素の画素値をもとに、前記画素に対応する前記染色標本上の対応点における波長毎の分光特性値を推定する分光特性推定ステップと、前記複数の色素で個別に染色された単染色標本について測定された色素別の単染色分光特性値のいずれかを用いて、波長毎の重み値を設定する重み設定ステップと、前記分光特性推定ステップで推定された波長毎の分光特性値をもとに、前記波長毎の重み値を用いて前記染色標本上の対応点の色素量を重み付き色素量として推定する重み付き色素量推定ステップと、を実行させる。

本発明によれば、複数の色素で染色された染色標本の色素量を精度良く推定することができる。

以下、図面を参照し、本発明の好適な実施の形態について詳細に説明する。本実施の形態では、Ｈ＆Ｅ染色された生体組織標本（染色標本）を撮像対象とする。そして、撮像したマルチバンド画像をもとに、ウィナー推定を用いて染色標本の標本各点の分光透過率の推定を行い、ランベルト・ベールの法則を用いて標本各点の色素量の推定を行う。なお、この実施の形態によって本発明が限定されるものではない。また、図面の記載において、同一部分には同一の符号を付して示している。

（実施の形態１）
図１は、実施の形態１の画像処理装置の構成を説明する模式図である。図１に示すように、画像処理装置１は、パソコン等のコンピュータで構成され、染色標本のマルチバンド画像を取得する画像取得部１１０を備える。

画像取得部１１０は、画像取得動作を行ってＨ＆Ｅ染色された色素量の推定対象の染色標本（以下、「対象標本」という。）を撮像し、６バンドのマルチバンド画像を取得する。この画像取得部１１０は、ＣＣＤ等の撮像素子等を備えたＲＧＢカメラ１１１、対象標本Ｓが載置される標本保持部１１３、標本保持部１１３上の対象標本Ｓを透過照明する照明部１１５、対象標本Ｓからの透過光を集光して結像させる光学系１１７、結像する光の波長帯域を所定範囲に制限するためのフィルタ部１１９等を備える。

ＲＧＢカメラ１１１は、デジタルカメラ等で広く用いられているものであり、モノクロの撮像素子上にモザイク状にＲＧＢのカラーフィルタを配置したものである。このＲＧＢカメラ１１１は、撮像される画像の中心が照明光の光軸上に位置するように設置される。図２は、カラーフィルタの配列例およびＲＧＢ各バンドの画素配列を模式的に示す図である。この場合、各画素はＲ，Ｇ，Ｂいずれかの成分しか撮像することはできないが、近傍の画素値を利用することで、不足するＲ，Ｇ，Ｂ成分が補間される。この手法は、例えば特許第３５１００３７号公報で開示されている。なお、３ＣＣＤタイプのカメラを使用すれば、最初から各画素におけるＲ，Ｇ，Ｂ成分を取得できる。実施の形態１では、いずれの撮像方式を用いても構わないが、以下ではＲＧＢカメラ１１１で撮像された画像の各画素においてＲ，Ｇ，Ｂ成分が取得できているものとする。

フィルタ部１１９は、それぞれ異なる分光透過率特性を有する２枚の光学フィルタ１１９１ａ，１１９１ｂを具備しており、これらが回転式の光学フィルタ切替部１１９３に保持されて構成されている。図３は、一方の光学フィルタ１１９１ａの分光透過率特性を示す図であり、図４は、他方の光学フィルタ１１９１ｂの分光透過率特性を示す図である。例えば先ず、光学フィルタ１１９１ａを用いて第１の撮像を行う。次いで、光学フィルタ切替部１１９３の回転によって使用する光学フィルタを光学フィルタ１１９１ｂに切り替え、光学フィルタ１１９１ｂを用いて第２の撮像を行う。この第１の撮像および第２の撮像によって、それぞれ３バンドの画像が得られ、両者の結果を合わせることによって６バンドのマルチバンド画像が得られる。なお、光学フィルタの数は２枚に限定されるものではなく、３枚以上の光学フィルタを用いることができる。取得された染色標本のマルチバンド画像は、対象標本画像として画像処理装置１の記憶部１５０に保持される。

この画像取得部１１０において、照明部１１５によって照射された照明光は、標本保持部１１３上に載置された対象標本Ｓを透過する。そして、対象標本Ｓを透過した透過光は、光学系１１７および光学フィルタ１１９１ａ，１１９１ｂを経由した後、ＲＧＢカメラ１１１の撮像素子上に結像する。光学フィルタ１１９１ａ，１１９１ｂを具備するフィルタ部１１９は、照明部１１５からＲＧＢカメラ１１１に至る光路上のいずれかの位置に設置されていればよい。照明部１１５からの照明光を、光学系１１７を介してＲＧＢカメラ１１１で撮像する際の、Ｒ，Ｇ，Ｂ各バンドの分光感度の例を、図５に示す。

図６は、実施の形態１の画像処理装置１の機能構成を説明するブロック図である。実施の形態１では、画像処理装置１は、図１に示して説明した画像取得部１１０と、入力部１２０と、表示部１３０と、画像処理部１４０と、記憶部１５０と、装置各部を制御する制御部１６０とを備える。

入力部１２０は、例えば、キーボードやマウス、タッチパネル、各種スイッチ等の各種入力装置によって実現されるものであり、操作入力に応じた入力信号を制御部１６０に出力する。表示部１３０は、ＬＣＤやＥＬＤ等の表示装置によって実現されるものであり、制御部１６０から入力される表示信号に基づいて各種画面を表示する。

画像処理部１４０は、ＣＰＵ等のハードウェアによって実現される。この画像処理部１４０は、分光特性推定部１４１と、重み設定部１４２と、重み付き色素量推定部１４３と、重み付き分光特性合成部１４４と、画像合成部１４５とを含む。分光特性推定部１４１は、対象標本画像を構成する画素に対応する対象標本上の対応点（以下、「対象標本点」と呼ぶ。）における波長毎の分光透過率を推定する。ここで、分光特性推定部１４１によって推定される分光透過率を「推定分光透過率」と呼ぶ。重み設定部１４２は、波長毎の推定分光透過率をもとに、色素量推定の際に用いる波長毎の重み値を設定する。重み付き色素量推定部１４３は、波長毎の推定分光透過率をもとに、波長毎の重み値を用いて対象標本点の色素量を重み付き色素量として推定する。重み付き分光特性合成部１４４は、重み付き色素量をもとに分光透過率を合成することで、重み付き合成分光特性値の一例である波長毎の重み付き合成分光透過率を算出する。画像合成部１４５は、波長毎の重み付き合成分光透過率を用いて表示用のＲＧＢ画像を合成する。

記憶部１５０は、更新記憶可能なフラッシュメモリ等のＲＯＭやＲＡＭといった各種ＩＣメモリ、内蔵あるいはデータ通信端子で接続されたハードディスク、ＣＤ−ＲＯＭ等の情報記憶媒体およびその読取装置等によって実現されるものである。この記憶部１５０には、画像処理装置１を動作させ、この画像処理装置１が備える種々の機能を実現するためのプログラムや、これらプログラムの実行中に使用されるデータ等が格納される。例えば、対象標本画像の画像データ等が格納される。また、対象標本画像から推定した波長毎の推定分光透過率をもとに波長毎の重み値を設定し、この設定した波長毎の重み値を用いて対象標本の色素量を推定する処理を実現するための画像処理プログラム１５１が格納される。

制御部１６０は、ＣＰＵ等のハードウェアによって実現される。この制御部１６０は、入力部１２０から入力される入力信号や画像取得部１１０から入力される画像データ、記憶部１５０に格納されるプログラムやデータ等に基づいて画像処理装置１を構成する各部への指示やデータの転送等を行い、画像処理装置１全体の動作を統括的に制御する。また、制御部１６０は、マルチバンド画像取得制御部１６１と、画像表示制御部１６３とを含む。マルチバンド画像取得制御部１６１は、画像取得部１１０の動作を制御して対象標本画像を取得する。画像表示制御部１６３は、画像合成部１４５によって合成されたＲＧＢ画像を表示部１３０に表示する制御を行う。

次に、実施の形態１の画像処理装置１が行う処理手順について説明する。図７は、実施の形態１の画像処理装置１が行う処理手順を示すフローチャートである。なお、ここで説明する処理は、記憶部１５０に格納された画像処理プログラム１５１に従って画像処理装置１の各部が動作することによって実現される。

図７に示すように、先ず、マルチバンド画像取得制御部１６１が、画像取得部１１０の動作を制御して色素量の推定対象の対象標本をマルチバンド撮像し、対象標本画像を取得する（ステップａ１）。

続いて、分光特性推定部１４１が、ステップａ１で取得した対象標本画像の推定対象画素の画素値をもとに、対象標本点の波長毎の分光透過率（推定分光透過率）を推定する（ステップａ３）。具体的には、背景技術で示した次式（４）に従って、対象標本画像の推定対象画素である任意の点ｘにおける画素の画素値の行列表現Ｇ（ｘ）から対応する対象標本点における波長毎の分光透過率の推定値である波長毎の推定分光透過率Ｔ＾（ｘ）を算出する。得られた波長毎の推定分光透過率Ｔ＾（ｘ）は、記憶部１５０に格納される。

なお、このとき、背景技術で説明したように、次式（３）で定義されるシステム行列Ｈを導入する。
Ｈ＝ＦＳＥ ・・・（３）
単位時間当たりの照明の分光放射特性Ｅ（＾）、光学フィルタ１１９１ａ，１１９１ｂの分光透過率Ｆ、ＲＧＢカメラ１１１の分光感度特性Ｓは、使用する機器を選定の後、分光器等を用いて予め測定しておく。また、標本の分光透過率の自己相関行列Ｒ_SSおよびＲＧＢカメラ１１１のノイズの自己相関行列Ｒ_NNについても、事前に測定しておく。Ｒ_SSは、Ｈ＆Ｅ染色された典型的な標本を用意し、分光器によって複数の点の分光透過率を測定して自己相関行列を求めることによって得られる。Ｒ_NNは、標本を設置しない状態で画像取得部１１０によってマルチバンド画像を取得し、得られた６バンドのマルチバンド画像の各バンドについて画素値の分散を求め、これを対角成分とする行列を生成することによって得られる。ただし、バンド間でノイズの相関はないと仮定している。

続いて、重み設定部１４２が、ステップａ３で推定された波長毎の推定分光透過率Ｔ＾（ｘ）をもとに、波長毎の重み値を設定する（ステップａ５）。ここで、ステップａ５で行う重み値の設定原理について説明する。図８は、高画素値の画素の波長毎の推定分光透過率の一例を示す図であり、図９は、図８の推定分光透過率を対数変換して求めた波長毎の吸光度の一例を示す図である。一方、図１０は、低画素値の画素の波長毎の推定分光透過率の一例を示す図であり、図１１は、図１０の推定分光透過率を対数変換して求めた波長毎の吸光度の一例を示す図である。各図において、推定分光透過率を実線、色素Ｈによる分光透過率を一点鎖線、色素Ｈと色素Ｅとによる分光透過率を二点鎖線、色素Ｈと色素Ｅと色素Ｒとによる分光透過率を破線で示している。ここで、図８および図１０に示す各推定分光透過率を波長毎に比較すると、特に、５２０〜５４０ｎｍの波長帯域での推定分光透過率の値が小さく、他の波長帯域と比較して観測ノイズによる影響を受け易いと考えられる。また、図８および図１０に示す各分光透過率の波形の比較について述べると、図１０に示す低画素値の画素の推定分光透過率は、図８に示す高画素値の画素の推定分光透過率と比較して値が小さく、高画素値の場合と比較して観測ノイズによる影響を受け易いと考えられる。したがって、推定分光透過率の値が小さいほど、分光透過率の推定精度が低いと予測できる。これに対し、推定分光透過率の値が大きい波長帯域では、推定分光透過率の値が小さい波長帯域と比較して観測ノイズの影響を受け難いため、分光透過率の推定精度が高いと予測できる。

ここで、推定分光透過率の値をもとに色素量の推定を行うため、分光透過率の推定精度が低いと、色素量の推定精度が低下してしまう。一方で、色素量の推定は、図９または図１１に示すように推定分光透過率の値を対数変換して得た吸光度の値を用いて行う。このため、推定分光透過率の値に含まれる観測ノイズによる誤差が吸光度に変換することで増幅してしまうという問題がある。さらに、この吸光度の値を用いて推定した色素量をもとに分光透過率を合成してＲＧＢ値を算出するため、最小二乗法を用いて誤差が最小となるように色素量を推定したにも関わらず、合成した各波長の分光透過率に含まれる観測ノイズによる誤差にばらつきが生じてしまうという問題もある。

そこで、分光透過率の推定精度が低いと予測される波長における分光透過率の推定結果が色素量推定に反映され難く、推定精度が高いと予測される波長における分光透過率の推定結果が色素量推定に反映され易くなるように波長毎に重み値ω_λを設定する。具体的には、実施の形態１では、次式（１６）に従い、波長毎の推定分光透過率の値を波長毎の重み値ω_λとして設定する。このとき、推定分光透過率の値が最も大きい波長での重み値ω_λを最大値である“１”として正規化し、各波長での重み値ω_λを設定することとしてもよい。ω_λは、波長λにおける重み値である。

これを波長数Ｄだけ繰り返し、ω₁，ω₂，・・・，ω_Dを求める。求めたω₁，ω₂，・・・，ω_Dの各値は、記憶部１５０に格納される。

このようにして波長毎の推定分光透過率の値を波長毎の重み値ω_λとすることで、色素量の推定精度を向上させることができるとともに、推定分光透過率を吸光度に変換するために生じる観測ノイズによる誤差の増幅や、観測ノイズによる誤差のばらつきを軽減できる。

なお、重み値ω_λの設定方法は、上記の手法に限定されるものではない。例えば、次式（１７），（１８）に従って、推定分光透過率ｔ＾（ｘ，λ）の値が予め設定される閾値ｔ_threshold以上の波長での重み値ω_λを“１”とし、閾値ｔ_thresholdより小さい波長での重み値ω_λを“０”として重み値ω_λを設定することとしてもよい。これによれば、分光透過率の推定精度が低いと予測される波長での推定分光透過率ｔ＾（ｘ，λ）の値を色素量の推定に用いないようにすることができる。

ここで、閾値ｔ_thresholdは適宜設定することができるが、色素量推定の精度が高まるような値を予め設定しておく。例えば、推定分光透過率をもとに従来の手法で行った色素量推定の結果を用いる等して最も色素量の推定精度が高まるように閾値ｔ_thresholdを設定しておく。

また、このようにして１つの閾値ｔ_thresholdを設定し、波長毎の重み値ω_λを２段階で設定する場合に限らず、閾値を多段的に複数設定しておき、推定分光透過率の値に応じて波長毎の重み値を段階的に設定してもよい。

続いて、図７に示すように、重み付き色素量推定部１４３が、ステップａ３で推定された波長毎の推定分光透過率Ｔ＾（ｘ）をもとに、ステップａ５で設定された波長毎の重み値ω_λを用いて対象標本の色素量を重み付き色素量として推定する（ステップａ７）。ここで推定の対象とする色素は、ヘマトキシリン（色素Ｈ）と、細胞質を染色したエオジン（色素Ｅ）と、赤血球を染色したエオジンまたは染色されていない赤血球の色（色素Ｒ）であり、対象標本画像の点ｘにおける波長毎の推定分光透過率Ｔ＾（ｘ）をもとに、点ｘに対応する対象標本点に固定された色素Ｈ、色素Ｅ、色素Ｒそれぞれの色素量を推定する。すなわち、背景技術で示したランベルト・ベールの法則から導かれる次式（１３）を複数の波長λに関して連立させ、ｄ_H，ｄ_E，ｄ_Rについて解く。

そして、この式（１３）に従って、最小二乗法を用いて重み付き色素量ｄ_H，ｄ_E，ｄ_Rを算出する。実施の形態１では、次式（１９），（２０）を用い、重み値ω_λ（ω₁，ω₂，・・・，ω_D）を加味して重み付き色素量ｄ_H，ｄ_E，ｄ_Rを算出する。

ωは、重み値ω_λに対応するＤ行Ｄ列の行列であり、ｄｉａｇ（）は、対角行列を表す。この重み値ω_λを用いて推定された対象標本画像の点ｘに対応する染色標本点における重み付き色素量ｄ_H，ｄ_E，ｄ_Rは、記憶部１５０に格納される。

続いて、重み付き分光特性合成部１４４が、ステップａ７で推定された重み付き色素量ｄ_H，ｄ_E，ｄ_Rをもとに分光透過率を合成し、波長毎の重み付き合成分光透過率を算出する（ステップａ９）。具体的には、背景技術で示した式（１５）にここで求めた重み付き色素量ｄ_H，ｄ_E，ｄ_Rを代入し、次式（２１）によって新たな分光透過率である重み付き合成分光透過率ｔ^〜（ｘ，λ）を得る。ｔ^〜（ｘ，λ）は、波長毎の重み付き合成分光透過率のうち、波長λに対応する成分である。なお、ｔ^〜は、ｔの上に記号「〜」が付いていることを示す。

ここで、式（２１）によって算出した複数の波長に対するｔ^〜（ｘ，λ）を行列形式にまとめたものをＴ^〜（ｘ）と記述すると、Ｔ^〜（ｘ）は波長毎の重み付き合成分光透過率を表す。この波長毎の重み付き合成分光透過率データＴ^〜（ｘ）は、記憶部１５０に格納される。なお、Ｔ^〜は、Ｔの上に記号「〜」が付いていることを示す。

続いて、画像合成部１４５が、波長毎の重み付き合成分光透過率Ｔ^〜（ｘ）を用いて表示用のＲＧＢ画像を合成する（ステップａ１１）。すなわち、対象標本画像上の全ての点ｘを推定対象画素としてステップａ３〜ステップａ９の処理を行い、波長毎の重み付き合成分光透過率Ｔ^〜（ｘ）を求める。そして、各点ｘについて求めた波長毎の重み付き合成分光透過率Ｔ^〜（ｘ）をＲＧＢ値に変換する処理（ステップａ１１）を画像全体に渡って反復すれば、撮像したマルチバンド画像と同じ幅と高さを有するＲＧＢ画像が得られる。波長毎の重み付き合成分光透過率Ｔ^〜（ｘ）をＲＧＢ値Ｇ_RGB（ｘ）に変換するには、背景技術で示した式（２）におけるノイズ成分Ｎを除外した次式（２２）を用いる。

ここで行列Ｓは、ＲＧＢカメラ１１１の分光感度特性に対応している。なお、この分光感度特性は、ＲＧＢカメラ１１１のものを用いるのが簡便であるが、他のＲＧＢカメラのものであっても構わない。合成された表示用のＲＧＢ画像のデータは、記憶部１５０に格納され、病理診断等に利用される。例えば、画像表示制御部１６３が、ステップａ１１で合成されたＲＧＢ画像を表示部１３０に表示する制御を行う（ステップａ１３）。

以上説明したように、実施の形態１によれば、対象標本画像の推定対象画素の画素値をもとに推定した対象標本点における波長毎の推定分光透過率をもとに、波長毎の重み値を設定することができる。そして、対象標本点における波長毎の推定分光透過率をもとに、設定した重み値を用いて対象標本点の色素量を推定することができる。具体的には、推定分光透過率の値が小さく、分光透過率の推定精度が低いと予測される波長に対する重み値を小さくして色素量の推定を行うことができる。これにより、観測ノイズの影響を受けて分光透過率の推定精度が低下していると予測される波長を考慮して色素量を推定することができ、色素量の推定精度を向上させることができる。

なお、上記した実施の形態１では、波長毎の推定分光透過率をもとに波長毎の重み値を設定し、この重み値を用いて色素量を推定する方法を説明したが、波長毎の推定分光透過率を対数変換した波長毎の吸光度をもとに重み値を設定し、この重み値を用いて重み付き色素量を推定するようにしてもよい。あるいは、波長毎の推定分光透過率の値をそのまま重み値として用いるのではなく、例えば波長毎の推定分光透過率の二乗値等、推定分光透過率の値をもとに２次的に算出した変換値を重み値とすることもできる。あるいは、波長毎の推定分光透過率から求まる波長毎の吸光度をもとに変換値を算出し、重み値としてもよい。例えば、波長毎の推定分光透過率を対数変換して波長毎の吸光度を求める。そして、求めた波長毎の吸光度の逆数を変換値として算出し、重み値としてもよい。また、求めた波長毎の吸光度の逆数と波長毎の推定分光透過率の平方根とを乗じて変換値を算出し、重み値としてもよい。このようにして重み値を設定すれば、波長毎の推定分光透過率と、推定色素量から合成される分光透過率との差分（すなわち推定誤差）が減少し、表示用のＲＧＢ画像を合成した際の色再現性が高くなるという利点がある。

また、分光透過率の値は、画素値に応じて一意に求まる。したがって、画素値とその分光透過率との対応関係を予め設定しておくことが可能である。例えば、予めあらゆる画素値の組み合わせに対する分光透過率を求めてテーブル化し、記憶部１５０に記憶しておくこととしてもよい。そして、推定対象画素の画素値に対応する分光透過率の値を読み出し、この値をもとに波長毎の重み値を設定することとしてもよい。あるいは、画素値の組み合わせに対する分光透過率をもとに予め波長毎の重み値を設定し、画素値の組み合わせと波長毎の重み値との対応関係をテーブル化して記憶部１５０に記憶しておくこととしてもよい。そして、推定対象画素の画素値に対応する波長毎の重み値を読み出して用いることとしてもよい。

（実施の形態２）
次に、実施の形態２について説明する。図１２は、実施の形態２の画像処理装置１ｂの機能構成を説明するブロック図である。なお、実施の形態１で説明した構成と同一の構成については、同一の符号を付する。実施の形態２では、画像処理装置１ｂは、図１に示して説明した画像取得部１１０と、入力部１２０と、表示部１３０と、画像処理部１４０ｂと、記憶部１５０ｂと、装置各部を制御する制御部１６０とを備える。

画像処理部１４０ｂは、分光特性推定部１４１と、色素量推定部１４６と、分光特性合成部１４７と、差分分光特性算出部１４８と、重み設定部１４２ｂと、重み付き色素量推定部１４３と、重み付き分光特性合成部１４４と、画像合成部１４５とを含む。色素量推定部１４６は、分光特性推定部１４１によって推定された波長毎の推定分光透過率をもとに、対象標本点の色素量を推定する。ここで、色素量推定部１４６によって推定される色素量を「推定色素量」と呼ぶ。分光特性合成部１４７は、推定色素量をもとに分光透過率を合成し、波長毎の合成分光透過率を算出する。差分分光特性算出部１４８は、波長毎の推定分光透過率から波長毎の合成分光透過率を差し引いて波長毎の差分分光透過率を算出する。重み設定部１４２ｂは、波長毎の差分分光透過率をもとに、色素量推定の際に用いる波長毎の重み値を設定する。

また、記憶部１５０ｂには、波長毎の差分分光透過率を算出し、この波長毎の差分分光透過率をもとに波長毎の重み値を設定して対象標本の色素量を推定する処理を実現するための画像処理プログラム１５１ｂが格納される。

図１３は、実施の形態２の画像処理装置１ｂが行う処理手順を示すフローチャートである。なお、ここで説明する処理は、記憶部１５０ｂに格納された画像処理プログラム１５１ｂに従って画像処理装置１ｂの各部が動作することによって実現される。

図１３に示すように、先ず、マルチバンド画像取得制御部１６１が、画像取得部１１０の動作を制御して色素量の推定対象の対象標本をマルチバンド撮像し、対象標本画像を取得する（ステップｂ１）。

続いて、分光特性推定部１４１が、実施の形態１と同様にして、ステップｂ１で取得した対象標本画像の推定対象画素の画素値をもとに、対象標本点の波長毎の分光透過率（推定分光透過率）を推定する（ステップｂ３）。

続いて、色素量推定部１４６が、ステップｂ３で推定された波長毎の推定分光透過率Ｔ＾（ｘ）をもとに、対象標本の色素量（推定色素量）を推定する（ステップｂ５）。このとき、色素量推定部１４６は、背景技術で示した次式（１４）に従い、最小二乗法を用いて推定色素量ｄ´_H，ｄ´_E，ｄ´_Rを算出する。すなわち、重み値を用いない従来の手法で色素量の推定を行う。この推定色素量ｄ´_H，ｄ´_E，ｄ´_Rは、記憶部１５０ｂに格納される。

続いて、分光特性合成部１４７が、ステップｂ５で推定された推定色素量ｄ´_H，ｄ´_E，ｄ´_Rをもとに分光透過率を合成し、波長毎の合成分光透過率を算出する（ステップｂ７）。具体的には、背景技術で示した式（１５）に推定色素量ｄ´_H，ｄ´_E，ｄ´_Rを代入し、次式（２３）によって新たな分光透過率（合成分光透過率）ｔ´^〜（ｘ，λ）を得る。ｔ´^〜（ｘ，λ）は、波長毎の合成分光透過率のうち、波長λに対応する成分である。なお、ｔ´^〜は、ｔ´の上に記号「〜」が付いていることを示す。

ここで、式（２３）によって算出した複数の波長に対するｔ´^〜（ｘ，λ）を、行列形式にまとめたものをＴ´^〜（ｘ）と記述すると、Ｔ´^〜（ｘ）は波長毎の合成分光透過率を表す。この波長毎の合成分光透過率データＴ^〜（ｘ）は、記憶部１５０ｂに格納される。なお、Ｔ´^〜は、Ｔ´の上に記号「〜」が付いていることを示す。

続いて、差分分光特性算出部１４８が、次式（２４）に従って、波長毎の推定分光透過率Ｔ＾（ｘ）から波長毎の合成分光透過率Ｔ´^〜（ｘ）を減算し、波長毎の差分分光透過率Ｔ_diff（ｘ）を算出する（ステップｂ９）。この波長毎の差分分光透過率Ｔ_diff（ｘ）は、記憶部１５０ｂに格納される。

続いて、重み設定部１４２ｂが、ステップｂ９で算出された波長毎の差分分光透過率Ｔ_diff（ｘ）をもとに、波長毎の重み値を設定する（ステップｂ１１）。ここで、差分分光透過率Ｔ_diff（ｘ）の波長λに対応する要素をｔ_diff（ｘ，λ）と表記すると、差分分光透過率ｔ_diff（ｘ，λ）の値が大きいほど色素量推定での誤差が大きいことを示しており、色素量の推定精度が低下していると考えられる。実施の形態２では、差分分光透過率ｔ_diff（ｘ，λ）が大きい波長での重み値を小さくし、差分分光透過率ｔ_diff（ｘ，λ）が小さい波長での重み値を大きくする。

具体的には、次式（２５）に従い、波長毎の重み値ω_λを、差分分光透過率ｔ_diff（ｘ，λ）と反比例する値として設定する。このとき、差分分光透過率ｔ_diff（ｘ，λ）が最も大きい波長での重み値ω_λを最大値である“１”として正規化し、各波長での重み値ω_λを設定することとしてもよい。

これを波長数Ｄだけ繰り返し、ω₁，ω₂，・・・，ω_Dを求める。求めたω₁，ω₂，・・・，ω_Dの各値は、記憶部１５０ｂに格納される。

なお、重み値ω_λの設定方法は、上記の手法に限定されるものではない。例えば、差分分光透過率を予め設定される所定の閾値と比較し、この閾値との大小関係に従って波長毎の重み値を２段階で設定することとしてもよい。あるいは、閾値を多段的に複数設定しておき、差分分光透過率の値に応じて波長毎の重み値を段階的に設定してもよい。

続いて、重み付き色素量推定部１４３が、ステップｂ３で推定された波長毎の推定分光透過率Ｔ＾（ｘ）を再度吸光度に変換し、ステップｂ１１で設定された波長毎の重み値ω_λを用いて対象標本の色素量（重み付き色素量）を推定する（ステップｂ１３）。ここでの処理は、実施の形態１と同様にして行うことができる。続いて、重み付き分光特性合成部１４４が、ステップｂ１３で推定された重み付き色素量をもとに分光透過率を合成し、波長毎の重み付き合成分光透過率を算出する（ステップｂ１５）。そして、画像合成部１４５が、波長毎の重み付き合成分光透過率を用いて表示用のＲＧＢ画像を合成し（ステップｂ１７）、画像表示制御部１６３が、ステップｂ１７で合成されたＲＧＢ画像を表示部１３０に表示する制御を行う（ステップｂ１９）。

以上説明したように、実施の形態２によれば、先ず、対象標本点における波長毎の推定分光透過率をもとに、色素量の推定を行う。そして、波長毎の合成分光透過率を算出し、波長毎の推定分光透過率との差分である波長毎の差分分光透過率を算出する。そして、この波長毎の差分分光透過率をもとに波長毎の重み値を設定し、対象標本点における波長毎の推定分光透過率をもとに、設定した重み値を用いて対象標本点の色素量を推定することができる。具体的には、差分分光透過率の値が大きく、分光透過率の推定精度が低いと予測される波長の重み値を小さくして色素量の推定を行うことができる。したがって、色素量の推定精度を向上させることができる。

（実施の形態３）
次に、実施の形態３について説明する。先ず、実施の形態３で行う重み値の算出原理について説明する。図１４は、色素Ｈで染色された単染色標本上の複数の位置で測定した吸光度である単染色吸光度をグラフ化した図であり、図１５は、色素Ｅで染色された単染色標本上の複数の位置で測定した吸光度である単染色吸光度をグラフ化した図であり、図１６は、色素Ｒで染色された単染色標本上の複数の位置で測定した吸光度である単染色吸光度をグラフ化した図である。ここで、式（１４）に示して説明したように、色素量推定では、予め各色素について１つの基準分光特性値を定め、これを用いる。しかしながら、図１４〜図１６に示すように、単染色標本上の複数の位置について測定した吸光度の値は、各波長での値にばらつきがある。特に、図１４に示す色素Ｈの単染色吸光度や図１６に示す色素Ｒの単染色吸光度は、図１５に示す色素Ｅの単染色吸光度と比べてそのばらつきが大きい。例えば、色素Ｈでは、全波長に亘って広くばらつきが生じている。また、色素Ｒでは、４３０〜５６０ｎｍの波長帯域でばらつきが大きくなっている。このように、単染色吸光度の各波長での値がばらついているということは、採用する基準分光特性値によって各色素の基準分光特性値の波形と推定対象画素中に含まれる各色素の分光特性値の波形とが一致しない場合が発生し、色素量の推定精度が低下すると予測できる。そこで、実施の形態３では、図１４〜図１６に示す各色素についての単染色吸光度を単染色分光特性値として予め測定して記憶部１５０ｃに記憶しておく。なお、各色素でそれぞれ染色された単染色標本上の複数の位置での分光透過率の値を単染色分光特性値として記憶しておくこととしてもよい。そして、対象標本点において支配的な色素を特定し、この色素についての色素別の単染色分光特性値を用いて色素量推定の際に用いる波長毎の重み値を設定する。

図１７は、実施の形態３の画像処理装置１ｃの機能構成を説明するブロック図である。なお、実施の形態１または実施の形態２で説明した構成と同一の構成については、同一の符号を付する。実施の形態３では、画像処理装置１ｃは、図１に示して説明した画像取得部１１０と、入力部１２０と、表示部１３０と、画像処理部１４０ｃと、記憶部１５０ｃと、装置各部を制御する制御部１６０とを備える。

画像処理部１４０ｃは、分光特性推定部１４１と、色素量推定部１４６と、単染色分光特性選択部１４９と、重み設定部１４２ｃと、重み付き色素量推定部１４３と、重み付き分光特性合成部１４４と、画像合成部１４５とを含む。単染色分光特性選択部１４９は、色素量推定部１４６によって推定された推定色素量をもとに対象標本点において支配的な色素を特定し、この特定した色素に従って波長毎の重み値を設定するために用いる色素別の単染色分光特性値を選択する。重み設定部１４２ｃは、単染色分光特性選択部１４９によって選択された単染色分光特性値を用い、色素量推定の際に用いる波長毎の重み値を設定する。

また、記憶部１５０ｃには、色素別単染色分光特性データ１５３ｃが格納され、色素Ｈ、色素Ｅ、色素Ｒの各色素別の単染色分光特性値が設定される。この色素別の単染色分光特性値は、図１４〜図１６に示したように、それぞれその色素で染色された単染色標本上の複数の位置について測定された複数の波長毎の単染色分光特性値で構成される。また、記憶部１５０ｃには、色素別の単染色分光特性値のいずれかを用いて波長毎の重み値を設定し、対象標本の色素量を推定する処理を実現するための画像処理プログラム１５１ｃが格納される。

図１８は、実施の形態３の画像処理装置１ｃが行う処理手順を示すフローチャートである。なお、ここで説明する処理は、記憶部１５０ｃに格納された画像処理プログラム１５１ｃに従って画像処理装置１ｃの各部が動作することによって実現される。

図１８に示すように、先ず、マルチバンド画像取得制御部１６１が、画像取得部１１０の動作を制御して色素量の推定対象の対象標本をマルチバンド撮像し、対象標本画像を取得する（ステップｃ１）。続いて、分光特性推定部１４１が、実施の形態１と同様にして、ステップｃ１で取得した対象標本画像の推定対象画素の画素値をもとに、対象標本点の波長毎の分光透過率（推定分光透過率）を推定する（ステップｃ３）。そして、色素量推定部１４６が、実施の形態２と同様にして、ステップｃ３で推定された波長毎の推定分光透過率をもとに、対象標本の色素量（推定色素量）を推定する（ステップｃ５）。

続いて、単染色分光特性選択部１４９が、ステップｃ５で推定された推定色素量をもとに、対象標本点において支配的な色素を特定する（ステップｃ７）。すなわち、先ず、対象標本画像の推定対象画素である点ｘを染色している色素のうち、その色素量が最も大きい色素を特定する。各色素の色素量の比較には、例えば次式（２６）によって算出されるｄ_ｊ ^〜を用いる。なお、ｄ_ｊ ^〜は、ｄ_ｊの上に記号「〜」が付いていることを示す。

ｋ_ｊ（λ）は、色素ｊに対応したｋ（λ）を表し、ｄ_ｊは、色素ｊの仮想的な厚さを表す。この式（２６）に従って、色素Ｈ、色素Ｅ、色素Ｒの各色素について順次ｄ_ｊ ^〜の値を算出し、このｄ_ｊ ^〜の値が最も大きい色素ｊ^maxを対象標本点において支配的な色素として特定する。このように、対象標本画像の推定対象画素である点ｘを染色している色素Ｈ、色素Ｅ、色素Ｒについて算出したｄ_ｊ ^〜の値を比較することによって、点ｘを染色している色素Ｈ、色素Ｅ、色素Ｒのうち、その割合が最も大きい色素を選出することができる。選出した色素を、点ｘにおいて色素量が最も大きく支配的な色素として特定する。この色素ｊ^maxは、記憶部１５０ｃに格納される。そして、単染色分光特性選択部１４９は、特定した色素に従って色素別単染色分光特性データ１５３ｃから該当する色素についての単染色分光特性値を選択する（ステップｃ９）。

続いて、重み設定部１４２ｃが、ステップｃ９で選択された色素別の単染色分光特性値から、各波長での値の標準偏差を算出し、算出結果をもとに、波長毎の重み値を設定する（ステップｃ１１）。例えば、各波長での値の標準偏差が大きい波長での重み値を小さくし、標準偏差が小さい波長での重み値を大きくして重み値を設定する。

具体的には、次式（２７）に従い、波長毎の重み値を、各波長について求めた標準偏差と反比例する値として設定する。このとき、波長毎に求めた標準偏差が最も大きい波長での重み値を最大値である“１”として正規化し、各波長での重み値を設定することとしてもよい。

これを波長数Ｄだけ繰り返し、ω₁，ω₂，・・・，ω_Dを求める。求めたω₁，ω₂，・・・，ω_Dの各値は、記憶部１５０ｃに格納される。

なお、重み値ω_λの設定方法は、上記の手法に限定されるものではない。例えば、各波長について求めた標準偏差を予め設定される所定の閾値と比較し、この閾値との大小関係に従って波長毎の重み値を２段階で設定することとしてもよい。あるいは、閾値を多段的に複数設定しておき、標準偏差の値に応じて波長毎の重み値を段階的に設定してもよい。

続いて、重み付き色素量推定部１４３が、ステップｃ３で推定された波長毎の推定分光透過率Ｔ＾（ｘ）を再度吸光度に変換し、ステップｃ１１で設定された波長毎の重み値ω_λを用いて対象標本の色素量（重み付き色素量）を推定する（ステップｃ１３）。ここでの処理は、実施の形態１と同様にして行うことができる。続いて、重み付き分光特性合成部１４４が、ステップｃ１３で推定された重み付き色素量をもとに分光透過率を合成し、波長毎の重み付き合成分光透過率を算出する（ステップｃ１５）。そして、画像合成部１４５が、波長毎の重み付き合成分光透過率を用いて表示用のＲＧＢ画像を合成し（ステップｃ１７）、画像表示制御部１６３が、ステップｃ１７で合成されたＲＧＢ画像を表示部１３０に表示する制御を行う（ステップｃ１９）。

以上説明したように、実施の形態３によれば、先ず、対象標本点における波長毎の推定分光透過率をもとに、色素量の推定を行う。そして、対象標本点において支配的な色素を特定し、この色素についての色素別の単染色分光特性値を用いて波長毎の重み値を設定する。そして、対象標本点における波長毎の推定分光透過率をもとに、設定した重み値を用いて対象標本点の色素量を推定することができる。具体的には、選択した色素別の単染色分光特性値をもとに各波長での値の標準偏差を算出し、算出結果から各波長での値のばらつきが大きく、色素量の推定精度が低いと予測される波長の重み値を小さくして色素量の推定を行うことができる。したがって、色素量の推定精度を向上させることができる。

なお、実施の形態３では、波長毎の推定分光透過率から推定した色素量をもとに、対象標本点において支配的な色素を特定する場合について説明したが、染色標本画像の推定対象画素の画素値をもとに対象標本点における支配的な色素を特定することとしてもよい。あるいは、波長毎の推定分光透過率をもとに、対象標本点において支配的な色素を特定することもできる。すなわち、分光透過率の値は、画素値に応じて一意に求まる。また、分光透過率の値から、色素量および色素量が最大の色素が一意に決定される。したがって、画素値と、分光透過率と、色素量および色素量が最大の色素との対応関係を予め設定しておくことが可能である。例えば、予めあらゆる画素値の組み合わせに対する分光透過率を求め、この分光透過率から決定される色素量および色素量が最大の色素とともにテーブル化して、記憶部１５０ｃに記憶しておく。そして、推定対象画素の画素値に対応する色素量が最大の色素を読み出し、対象標本点における支配的な色素を特定することとしてもよい。あるいは、波長毎の推定分光透過率をもとに、対応する色素量が最大の色素を読み出し、対象標本点における支配的な色素を特定することとしてもよい。

また、上記した実施の形態３では、色素別の単染色分光特性値を予め測定し、色素別単染色分光特性データ１５３ｃとして記憶部１５０ｃに記憶しておく場合について説明したが、これに限定されるものではない。例えば、分光器を用いた分光特性測定部を設けて画像処理装置を構成する。そして、色素Ｈ、色素Ｅ、色素Ｒの各色素によって個別に染色された単染色標本の分光特性値を、必要に応じて分光特性推定部で測定し、記憶部１５０ｃの色素別単染色分光特性データ１５３ｃを生成・更新するように構成することもできる。

また、上記の各実施の形態１〜３では、病理標本を撮像したマルチバンド画像から分光透過率のスペクトル特徴値を推定する場合について説明したが、分光特性値として、分光反射率や吸光度のスペクトル特徴値を推定する場合にも、同様に適用できる。

実施の形態１の画像処理装置の構成を説明する模式図である。 カラーフィルタの配列例およびＲＧＢ各バンドの画素配列を模式的に示す図である。 一の光学フィルタの分光透過率特性を示す図である。 他の光学フィルタの分光透過率特性を示す図である。 Ｒ，Ｇ，Ｂ各バンドの分光感度の例を示す図である。 実施の形態１の画像処理装置の機能構成を説明するブロック図である。 実施の形態１の画像処理装置が行う処理手順を示すフローチャートである。 高画素値の画素の波長毎の推定分光透過率の一例を示す図である。 図８の推定分光透過率を対数変換して求めた波長毎の吸光度の一例を示す図である。 低画素値の画素の波長毎の推定分光透過率の一例を示す図である。 図１０の推定分光透過率を対数変換して求めた波長毎の吸光度の一例を示す図である。 実施の形態２の画像処理装置の機能構成を説明するブロック図である。 実施の形態２の画像処理装置が行う処理手順を示すフローチャートである。 色素Ｈで染色した単染色標本から取得した単染色分光特性値をグラフ化した図である。 色素Ｅで染色した単染色標本から取得した単染色分光特性値をグラフ化した図である。 色素Ｒで染色した単染色標本から取得した単染色分光特性値をグラフ化した図である。 実施の形態３の画像処理装置の機能構成を説明するブロック図である。 実施の形態３の画像処理装置が行う処理手順を示すフローチャートである。 ＲＧＢ画像の一例を示す図である。

符号の説明

１，１ｂ，１ｃ 画像処理装置
１１０ 画像取得部
１２０ 入力部
１３０ 表示部
１４０，１４０ｂ，１４０ｃ 画像処理部
１４１ 分光特性推定部
１４２，１４２ｂ，１４２ｃ 重み設定部
１４３ 重み付き色素量推定部
１４４ 重み付き分光特性合成部
１４５ 画像合成部
１４６ 色素量推定部
１４７ 分光特性合成部
１４８ 差分分光特性算出部
１４９ 単染色分光特性選択部
１５０，１５０ｂ，１５０ｃ 記憶部
１５１，１５１ｂ，１５１ｃ 画像処理プログラム
１５３ｃ 色素別単染色分光特性データ
１６０ 制御部
１６１ マルチバンド画像取得制御部
１６３ 画像表示制御部

Claims (24)

1. 複数の色素で染色された染色標本を撮像した染色標本画像から、前記染色標本の色素量を推定する画像処理装置であって、
   前記染色標本画像を構成する画素の画素値をもとに、前記画素に対応する前記染色標本上の対応点における波長毎の分光特性値を推定する分光特性推定部と、
   前記分光特性推定部によって推定された波長毎の分光特性値をもとに、波長毎の重み値を設定する重み設定部と、
   前記分光特性推定部によって推定された波長毎の分光特性値をもとに、前記波長毎の重み値を用いて前記染色標本上の対応点の色素量を重み付き色素量として推定する重み付き色素量推定部と、
   を備えることを特徴とする画像処理装置。
2. 前記重み設定部は、前記分光特性推定部によって推定された波長毎の分光特性値を前記波長毎の重み値として設定することを特徴とする請求項１に記載の画像処理装置。
3. 前記重み設定部は、前記分光特性推定部によって推定された波長毎の分光特性値を予め設定される閾値と比較し、該閾値との大小関係に従って前記波長毎の重み値を設定することを特徴とする請求項１に記載の画像処理装置。
4. 前記重み設定部は、前記分光特性推定部によって推定された波長毎の分光特性値から所定の変換値を算出し、該変換値を前記波長毎の重み値として設定することを特徴とする請求項１に記載の画像処理装置。
5. 前記波長毎の分光特性値は分光透過率のスペクトル特徴値であり、
   前記重み設定部は、前記波長毎の分光特性値を対数変換することにより得られる波長毎の吸光度の逆数を前記変換値として算出することを特徴とする請求項４に記載の画像処理装置。
6. 前記波長毎の分光特性値は分光透過率のスペクトル特徴値であり、
   前記重み設定部は、前記波長毎の分光特性値の平方根と、前記波長毎の分光特性値を対数変換することにより得られる波長毎の吸光度の逆数とを乗じた値を前記変換値として算出することを特徴とする請求項４に記載の画像処理装置。
7. 前記分光特性推定部によって推定された波長毎の分光特性値をもとに、前記染色標本の色素量を推定する色素量推定部と、
   前記色素量推定部によって推定された色素量をもとに分光特性値を合成し、波長毎の合成分光特性値を算出する分光特性合成部と、
   前記分光特性推定部によって推定された波長毎の分光特性値から前記波長毎の合成分光特性値を差し引いて波長毎の差分分光特性値を算出する差分分光特性算出部と、
   を備え、
   前記重み設定部は、前記差分分光特性算出部によって算出された波長毎の差分分光特性値をもとに、前記波長毎の重み値を設定することを特徴とする請求項１に記載の画像処理装置。
8. 前記重み設定部は、前記差分分光特性値が大きい波長に対して設定する重み値を、前記差分分光特性値が小さい波長に対して設定する重み値よりも小さくすることを特徴とする請求項７に記載の画像処理装置。
9. 複数の色素で染色された染色標本を撮像した染色標本画像から、前記染色標本の色素量を推定する画像処理装置であって、
   前記染色標本画像を構成する画素の画素値をもとに、前記画素に対応する前記染色標本上の対応点における波長毎の分光特性値を推定する分光特性推定部と、
   予め設定される画素値と波長毎の分光特性値との対応関係に従って、前記画素の画素値に対応する分光特性値をもとに、波長毎の重み値を設定する重み設定部と、
   前記分光特性推定部によって推定された波長毎の分光特性値をもとに、前記波長毎の重み値を用いて前記染色標本上の対応点の色素量を重み付き色素量として推定する重み付き色素量推定部と、
   を備えることを特徴とする画像処理装置。
10. 複数の色素で染色された染色標本を撮像した染色標本画像から、前記染色標本の色素量を推定する画像処理装置であって、
    前記染色標本画像を構成する画素の画素値をもとに、前記画素に対応する前記染色標本上の対応点における波長毎の分光特性値を推定する分光特性推定部と、
    前記複数の色素で個別に染色された単染色標本について測定された色素別の単染色分光特性値のいずれかを用いて、波長毎の重み値を設定する重み設定部と、
    前記分光特性推定部によって推定された波長毎の分光特性値をもとに、前記波長毎の重み値を用いて前記染色標本上の対応点の色素量を重み付き色素量として推定する重み付き色素量推定部と、
    を備えることを特徴とする画像処理装置。
11. 前記分光特性推定部によって推定された波長毎の分光特性値をもとに、前記染色標本の色素量を推定する色素量推定部と、
    前記色素量推定部によって推定された色素量をもとに前記染色標本上の対応点において支配的な色素を特定し、該特定した色素に従って前記色素別の単染色分光特性値のいずれかを選択する単染色分光特性選択部と、
    を備えることを特徴とする請求項１０に記載の画像処理装置。
12. 前記分光特性推定部によって推定された波長毎の分光特性値をもとに前記染色標本上の対応点において支配的な色素を特定し、該特定した色素に従って前記色素別の単染色分光特性値のいずれかを選択する単染色分光特性選択部を備えることを特徴とする請求項１０に記載の画像処理装置。
13. 前記染色標本画像の画素値をもとに前記染色標本上の対応点において支配的な色素を特定し、該特定した色素に従って前記色素別の単染色分光特性値のいずれかを選択する単染色分光特性選択部を備えることを特徴とする請求項１０に記載の画像処理装置。
14. 前記色素別の単染色分光特性値は、対応する色素で染色された前記単染色標本上の複数の対応点について測定した複数の波長毎の単染色分光特性値で構成され、
    前記重み設定部は、前記単染色分光特性選択部によって選択された単染色分光特性値から各波長の標準偏差を算出し、その算出した結果をもとに前記波長毎の重み値を設定することを特徴とする請求項１０〜１３のいずれか一つに記載の画像処理装置。
15. 前記単染色標本それぞれの波長毎の単染色分光特性値を、分光器で測定する単染色分光特性測定部を備えることを特徴とする請求項１０〜１４のいずれか一つに記載の画像処理装置。
16. 前記重み付き色素量推定部によって推定された重み付き色素量をもとに分光特性値を合成することで、波長毎の合成分光特性値を重み付き合成分光特性値として算出する重み付き分光特性合成部と、
    前記波長毎の重み付き合成分光特性値をもとにＲＧＢ画像を合成する画像合成部と、
    を備えることを特徴とする請求項１〜１５のいずれか一つに記載の画像処理装置。
17. 前記分光特性推定部は、前記染色標本画像を構成する全ての画素について波長毎の分光特性値を推定し、
    前記重み付き色素量推定部は、前記染色標本画像を構成する全ての画素について推定された前記波長毎の分光特性値をもとに、前記染色標本画像の各画素に対応する前記染色標本上の対応点の色素量を重み付き色素量としてそれぞれ推定し、
    前記重み付き分光特性合成部は、前記染色標本画像の各画素に対応する前記染色標本上の対応点の重み付き色素量をもとに、前記染色標本画像の各画素における波長毎の重み付き合成分光特性値を算出し、
    前記画像合成部は、前記染色標本画像の各画素における波長毎の重み付き合成分光特性値をそれぞれＲＧＢ値に変換して前記ＲＧＢ画像を合成することを特徴とする請求項１６に記載の画像処理装置。
18. 前記画像合成部によって合成されたＲＧＢ画像を表示部に表示する画像表示制御部を備えることを特徴とする請求項１６または１７に記載の画像処理装置。
19. 前記複数の色素は、ヘマトキシリン、エオジン、赤血球を染色したエオジンおよび染色されていない赤血球の色素のいずれかを含むことを特徴とする請求項１〜１８のいずれか一つに記載の画像処理装置。
20. 前記重み付き色素量推定部による重み付き色素量の推定は、ランベルト・ベールの法則を用いて行うことを特徴とする請求項１〜１９のいずれか一つに記載の画像処理装置。
21. 前記分光特性値は、分光透過率、分光反射率または吸光度のスペクトル特徴値であることを特徴とする請求項１〜２０のいずれか一つに記載の画像処理装置。
22. 複数の色素で染色された染色標本を撮像した染色標本画像から、前記染色標本の色素量を推定するコンピュータに、
    前記染色標本画像を構成する画素の画素値をもとに、前記画素に対応する前記染色標本上の対応点における波長毎の分光特性値を推定する分光特性推定ステップと、
    前記分光特性推定ステップで推定された波長毎の分光特性値をもとに、波長毎の重み値を設定する重み設定ステップと、
    前記分光特性推定ステップで推定された波長毎の分光特性値をもとに、前記波長毎の重み値を用いて前記染色標本上の対応点の色素量を重み付き色素量として推定する重み付き色素量推定ステップと、
    を実行させることを特徴とする画像処理プログラム。
23. 複数の色素で染色された染色標本を撮像した染色標本画像から、前記染色標本の色素量を推定するコンピュータに、
    前記染色標本画像を構成する画素の画素値をもとに、前記画素に対応する前記染色標本上の対応点における波長毎の分光特性値を推定する分光特性推定ステップと、
    予め設定される画素値と波長毎の分光特性値との対応関係に従って、前記画素の画素値に対応する分光特性値をもとに、波長毎の重み値を設定する重み設定ステップと、
    前記分光特性推定ステップで推定された波長毎の分光特性値をもとに、前記波長毎の重み値を用いて前記染色標本上の対応点の色素量を重み付き色素量として推定する重み付き色素量推定ステップと、
    を実行させることを特徴とする画像処理プログラム。
24. 複数の色素で染色された染色標本を撮像した染色標本画像から、前記染色標本の色素量を推定するコンピュータに、
    前記染色標本画像を構成する画素の画素値をもとに、前記画素に対応する前記染色標本上の対応点における波長毎の分光特性値を推定する分光特性推定ステップと、
    前記複数の色素で個別に染色された単染色標本について測定された色素別の単染色分光特性値のいずれかを用いて、波長毎の重み値を設定する重み設定ステップと、
    前記分光特性推定ステップで推定された波長毎の分光特性値をもとに、前記波長毎の重み値を用いて前記染色標本上の対応点の色素量を重み付き色素量として推定する重み付き色素量推定ステップと、
    を実行させることを特徴とする画像処理プログラム。

Images