JP5508792B2 - 画像処理方法、画像処理装置および画像処理プログラム - Google Patents

Description

本発明は、所定の染色色素で染色された染色標本を撮像した染色標本画像を処理する画像処理方法、画像処理装置および画像処理プログラムに関するものである。

例えば病理診断では、臓器摘出や針生検によって得た組織検体を厚さ数ミクロン程度に薄切して標本を作成し、様々な所見を得るために顕微鏡を用いて拡大観察することが広く行われている。中でも光学顕微鏡を用いた透過観察は、機材が比較的安価で取り扱いが容易である上、歴史的に古くから行われてきたこともあって、最も普及している観察方法の一つである。ここで、生体から採取した検体は光をほとんど吸収および散乱せず、無色透明に近い。このため、標本の作成に際し、色素による染色を施すのが一般的である。

染色手法としては種々のものが提案されており、その総数は１００種類以上にも達するが、特に病理標本に関しては、青紫色のヘマトキシリン（以下、「色素Ｈ」と表記する。）および赤色のエオジン（以下、「色素Ｅ」と表記する。）の２つの色素を染色色素として用いるヘマトキシリン−エオジン染色（以下、「Ｈ＆Ｅ染色」と呼ぶ。）が標準的に用いられている。このＨ＆Ｅ染色後の標本（染色標本）では、細胞核や骨組織等が青紫色に、細胞質や結合織、赤血球等が赤色に染色され、これらが容易に視認できる。この結果、観察者は、細胞核等の組織を構成する要素の大きさや位置関係等を把握でき、標本の状態を形態学的に判断することが可能となる。

ところで、染色標本の観察は、目視によって行われる他、染色標本を撮像して表示装置に画面表示することによっても行なわれており、染色標本画像を画像処理して解析し、医師等による観察・診断を支援しようとする試みが提案されている。その一例として、従来から、染色標本をマルチバンド撮像して得た染色標本画像をもとに染色標本上の点（標本点）を染色している染色色素の色素量を定量推定する手法が知られており、様々な目的に応用されている。例えば、非特許文献１には、色素量を推定し、推定した色素量をもとに染色標本画像の色情報を補正する手法が開示されている。また、非特許文献２には、推定した色素量をもとに標本の染色状態を定量評価する手法が開示されている。また、特許文献１には、推定した色素量をもとに標本内の組織を分類し、画像を組織毎の領域に領域分割する手法が開示されている。

ここで、染色標本画像（マルチバンド画像）から色素量を定量推定する方法について、Ｈ＆Ｅ染色された染色標本を例に挙げて説明する。色素量の推定に先立ち、例えば照明光を照射した状態で標本なしの背景を撮像して背景（照明光）のマルチバンド画像を取得しておく。先ず、背景のマルチバンド画像をＩ₀とし、観察対象の染色標本のマルチバンド画像をＩとして、次式（１）に従って各画素位置の分光透過率ｔ（ｘ，λ）を算出する。ｘはマルチバンド画像の画素を表す位置ベクトルであり、λは波長である。また、Ｉ（ｘ，λ）はマルチバンド画像Ｉの波長λにおける画素位置（ｘ）の画素値を表し、Ｉ₀（ｘ，λ）はマルチバンド画像Ｉ₀の波長λにおける画素位置（ｘ）の画素値を表す。

分光透過率ｔ（ｘ，λ）に関しては、ランベルト・ベール（Laｍbert-Beer）の法則が成り立つ。例えば、染色標本が色素Ｈおよび色素Ｅの２種類の染色色素で染色されている場合、ランベルト・ベールの法則により、各波長λにおいて次式（２）が成り立つ。

式（２）において、ｋ_H（λ）およびｋ_E（λ）は、波長λに依存して決まる物質固有の係数であり、ｋ_H（λ）は色素Ｈに対応する係数、ｋ_E（λ）は色素Ｅに対応する係数である。例えば、ｋ_H（λ），ｋ_E（λ）の各値は、染色標本を染色している色素Ｈおよび色素Ｅの色素分光特性値（以下、染色標本を染色している染色色素の色素分光特性値を「基準スペクトル」と呼ぶ。）である。また、ｄ_H（ｘ），ｄ_E（ｘ）は、マルチバンド画像の各画素位置（ｘ）に対応する染色標本の各標本点における色素Ｈおよび色素Ｅの色素量に相当する。より詳細には、ｄ_H（ｘ）は、色素Ｈのみで染色された染色標本における色素Ｈの色素量を「１」としたときのこの色素量に対する相対的な値として求められる。同様に、ｄ_E（ｘ）は、色素Ｅのみで染色された染色標本における色素Ｅの色素量を「１」としたときのこの色素量に対する相対的な値として求められる。なお、色素量は、濃度とも呼ばれる。

ここで、上記式（２）は、波長λ毎に独立して成り立つ。また、式（２）はｄ_H（ｘ），ｄ_E（ｘ）の線形式であり、これを解く手法は一般には重回帰分析として知られている。例えば、２つ以上の異なる波長について式（２）を連立させれば、これらを解くことができる。

例えば、Ｍ個（Ｍ≧２）の波長λ₁，λ₂，・・・，λ_Mについて式を連立させると、次式（３）のように表記できる。［］^tは転置行列、［］^-tは逆行列を表す。

そして、最小二乗推定を用いて上記式（３）を解くと次式（４）が得られ、色素Ｈの色素量の推定値ｄ＾_H（ｘ）および色素Ｅの色素量の推定値ｄ＾_E（ｘ）がそれぞれ求まる。なお、ｄ＾は、ｄの上に推定値を表す記号「＾（ハット）」が付いていることを示す。

そして、この式（４）によって、染色標本上の任意の標本点における色素Ｈおよび色素Ｅの色素量の推定値が得られる。

特開２００５−３３１３９４号公報

"Cｏｌｏr Cｏrrectｉｏｎ ｏf Pathｏｌｏgｉcaｌ Iｍages Based ｏｎ Dye Aｍｏuｎt Quaｎtｉfｉcatｉｏｎ"，OPTICAL REVIEW Vｏｌ.12，Nｏ.4(2005)，p.293-300 "Deveｌｏpｍeｎt ｏf suppｏrt systeｍs fｏr pathｏｌｏgy usｉｎg spectraｌ traｎsｍｉttaｎce - The quaｎtｉfｉcatｉｏｎ ｍethｏd ｏf staｉｎ cｏｎdｉtｉｏｎs"，Prｏceedｉｎgs ｏf SPIE - Iｍage Prｏcessｉｎg Vｏｌ.4684(2002)，p.1516-1523

ところで、上記したｋ_H（λ）やｋ_E（λ）といった色素量の推定に用いる染色色素の基準スペクトルは、例えば、その染色色素を用いてそれぞれ個別に染色した標本（以下、「単一染色標本」と呼ぶ。）を用意し、測定機器等を用いてその分光特性値（スペクトル）を測定することによって得られ、１つの染色色素に対して１つ取得される。

しかしながら、実際に染色標本を染色している染色色素のスペクトルは、染色標本内の部位（組織）によって変動する場合がある。すなわち、同じ染色色素であっても、例えば染色している染色標本内の部位が細胞核なのか細胞質なのかによってそのスペクトルが変動する場合がある。また、前述のように測定機器等を用いて基準スペクトルを予め取得する場合、単一染色標本上のどの位置を選ぶかによってスペクトルが変動し得る。そして、選び方によっては、その染色色素として特徴的な標本点が選ばれずに基準スペクトルの信頼性が低下するという事態も生じ得る。

このため、観察対象の染色標本を染色している染色色素のスペクトルが事前に求められる基準スペクトルと異なる場合が発生してしまい、色素量の推定精度が低下するという問題があった。

本発明は、上記した従来の問題点に鑑みて為されたものであり、所定の染色色素で染色された染色標本の色素量を精度良く推定することができる画像処理方法、画像処理装置および画像処理プログラムを提供することを目的とする。

上記した課題を解決し、目的を達成するための、本発明のある態様にかかる画像処理方法は、所定の染色色素で染色された観察対象の染色標本を撮像した染色標本画像を用い、前記染色標本の色素量を推定する画像処理方法であって、前記染色標本画像を構成する画素の画素値をもとに、該画素に対応する前記染色標本上の標本点における分光特性値を取得する分光特性取得工程と、前記染色色素についての段階的な複数の色素分光特性値を取得する色素分光特性取得工程と、前記分光特性取得工程で取得された分光特性値をもとに、前記染色色素についての前記段階的な複数の色素分光特性値を用いて前記染色標本上の標本点における前記染色色素の色素量を推定する色素量推定工程と、を含むことを特徴とする。

この態様にかかる画像処理方法によれば、染色標本画像を構成する各画素の画素値をもとに対応する染色標本上の標本点における分光特性値を取得し、観察対象の染色標本を染色している染色色素についての段階的な複数の色素分光特性値を取得することができる。そして、取得した分光特性値をもとに、取得した段階的な複数の色素分光特性値を用いて染色標本上の標本点における染色色素の色素量を推定することができる。これによれば、色素量推定に用いる染色色素の色素分光特性値を細分化できるので、実際に観察対象の染色標本を染色している染色色素の色素分光特性値が変動する場合であっても、その色素量を精度良く推定することができる。

また、本発明の別の態様にかかる画像処理装置は、所定の染色色素で染色された観察対象の染色標本を撮像した染色標本画像を用い、前記染色標本の色素量を推定する画像処理装置であって、前記染色標本画像を構成する画素の画素値をもとに、該画素に対応する前記染色標本上の標本点における分光特性値を取得する分光特性取得手段と、前記染色色素についての段階的な複数の色素分光特性値を取得する色素分光特性取得手段と、前記分光特性取得手段によって取得された分光特性値をもとに、前記染色色素についての前記段階的な複数の色素分光特性値を用いて前記染色標本上の標本点における前記染色色素の色素量を推定する色素量推定手段と、を備えることを特徴とする。

また、本発明の別の態様にかかる画像処理プログラムは、コンピュータに、所定の染色色素で染色された観察対象の染色標本を撮像した染色標本画像を用い、前記染色標本の色素量を推定させるための画像処理プログラムであって、前記染色標本画像を構成する画素の画素値をもとに、該画素に対応する前記染色標本上の標本点における分光特性値を取得する分光特性取得ステップと、前記染色色素についての段階的な複数の色素分光特性値を取得する色素分光特性取得ステップと、前記分光特性取得ステップで取得された分光特性値をもとに、前記染色色素についての前記段階的な複数の色素分光特性値を用いて前記染色標本上の標本点における前記染色色素の色素量を推定する色素量推定ステップと、を前記コンピュータに実行させることを特徴とする。

本発明によれば、所定の染色色素で染色された染色標本の色素量を精度良く推定することができる。

図１は、実施の形態１における画像処理装置の機能構成を示すブロック図である。 図２は、実施の形態１の画像処理装置が行う処理手順を示すフローチャートである。 図３は、基準スペクトル取得処理の詳細な処理手順を示すフローチャートである。 図４は、基準領域選択画面の一例を示す図である。 図５は、基準領域確認画面の一例を示す図である。 図６は、主成分分析の結果をグラフ表示した図である。 図７は、特徴差分の算出手順を説明する図である。 図８は、クラス分類結果の一例を示す図である。 図９は、基準スペクトルの一例を示す図である。 図１０は、実施の形態１における画像表示処理の詳細な処理手順を示すフローチャートである。 図１１は、実施の形態１における観察画面の一例を示す図である。 図１２は、実施の形態１における観察画面の他の例を示す図である。 図１３は、変形例において基準スペクトルを取得する際に行う処理手順を示すフローチャートである。 図１４は、本変形例において観察染色標本の色素量を推定する際に行う処理手順を示すフローチャートである。 図１５は、実施の形態２における画像処理装置の機能構成を示すブロック図である。 図１６は、実施の形態２における画像表示処理の詳細な処理手順を示すフローチャートである。 図１７は、実施の形態２における観察画面の一例を示す図である。

以下、図面を参照し、本発明の好適な実施の形態について詳細に説明する。本実施の形態では、観察対象とする染色標本としてＨ＆Ｅ染色された病理標本（生体組織標本）を例示する。そして、この染色標本を被写体としてマルチバンド撮像し、得られたマルチバンド画像をもとに染色標本の各点（標本点）の色素量を推定する画像処理装置について説明する。なお、この実施の形態によって本発明が限定されるものではない。また、図面の記載において、同一部分には同一の符号を付して示している。

ここで、本実施の形態では、前述のようにＨ＆Ｅ染色された染色標本を観察対象とする。このため、染色標本を染色している色素は、色素Ｈおよび色素Ｅであるが、実際の染色標本内には、これら染色色素の吸収成分の他に、無染色時において吸収成分を持つ例えば赤血球等の組織が存在し得る。すなわち、赤血球は、染色を施さない状態であってもそれ自身が特有の色を有しており、Ｈ＆Ｅ染色後において赤血球自身の色として観察される。そこで、以下では、染色色素を色素Ｈ、色素Ｅおよび赤血球自身の色（以下、「色素Ｒ」と表記する。）の３種類として説明する。

（実施の形態１）
図１は、実施の形態１における画像処理装置１の機能構成を示すブロック図である。実施の形態１の画像処理装置１は、染色標本画像を撮像する染色標本画像撮像部１１と、操作部１２と、表示部１３と、画像処理部１４と、記憶部１６と、装置各部を制御する制御部１７とを備える。ここで、染色標本画像撮像部１１を除く構成は、例えばワークステーションやパソコン等の汎用コンピュータを用いて実現できる。

染色標本画像撮像部１１は、撮像対象の染色標本の観察像をマルチバンド撮像するマルチバンドカメラで構成され、例えば、チューナブルフィルタや二次元ＣＣＤカメラ、チューナブルフィルタを透過する光の波長を調整するフィルタ制御器、二次元ＣＣＤカメラを制御するカメラ制御器等で構成される。実施の形態１では、観察対象の染色標本（以下、観察対象の染色標本を「観察染色標本」と呼ぶ。）や単一の染色色素で染色された単一染色標本、染色が施されていない無染色標本を撮像対象とする。ここで、無染色標本は、全体として無色透明で、赤血球の領域においてその色を有するものであり、色素Ｒのみで染色された単一染色標本に相当する。以下、無染色標本を、「Ｒ単一染色標本」と呼ぶ。すなわち、実施の形態１で撮像対象とする単一染色標本は、色素Ｈのみで染色された単一染色標本（以下、「Ｈ単一染色標本」と呼ぶ。）、色素Ｅのみで染色された単一染色標本（以下、「Ｅ単一染色標本」と呼ぶ。）および無染色標本であるＲ単一染色標本の３種類である。

ここで、染色標本画像撮像部１１は、染色標本を透過観察可能な光学顕微鏡と接続されている。この光学顕微鏡は、照明光を射出する光源や対物レンズ、染色標本を載置して対物レンズの光軸方向およびこの光軸方向と垂直な面内を移動する電動ステージ、電動ステージ上の染色標本を透過照明するための照明光学系、対物レンズ、染色標本の観察像を結像させるための観察光学系等を備え、照明光学系によって光源からの照明光を染色標本に照射するとともに、対物レンズと協働し、観察光学系によって染色標本の観察像を結像させる。

染色標本画像撮像部１１は、この光学顕微鏡によって観察される染色標本の観察像をチューナブルフィルタを介して二次元ＣＣＤカメラの撮像素子上に投影し、マルチバンド撮像して染色標本画像を得る。チューナブルフィルタは、透過光の波長を電気的に調整可能なフィルタであって、実施の形態１では、１〔ｎｍ〕以上の任意の幅（以下、「選択波長幅」と呼ぶ。）の波長帯域を選択可能なものを用いる。例えば、ケンブリッジリサーチアンドインストルメンテーション社製の液晶チューナブルフィルタ「ＶａｒｉＳｐｅｃ（バリスペック）」等、市販のものを適宜用いることができる。例えば、染色標本画像撮像部１１は、このチューナブルフィルタによって所定の選択波長幅毎に順次波長帯域を選択しながら染色標本の観察像を撮像することで、染色標本画像をマルチバンド画像として得る。

この染色標本画像撮像部１１によって得られる染色標本画像の画素値は、チューナブルフィルタが選択した波長帯域における光の強度に相当し、染色標本の各標本点について選択した波長帯域の画素値が得られる。ここで、染色標本の各標本点とは、投影された撮像素子の各画素に対応する染色標本上の各位置のことであり、以下では、染色標本上の各標本点が染色標本画像の各画素位置に対応しているものとする。

なお、染色標本画像撮像部１１の構成としてチューナブルフィルタを用いた構成を例示したが、これに限定されるものではなく、撮像対象とする染色標本の各標本点における光の強度情報が取得できればよい。例えば、特開平７−１２０３２４号公報に開示されている撮像方式を用い、所定枚数（例えば１６枚）のバンドパスフィルタをフィルタホイールで回転させて切り替えながら、面順次方式で染色標本をマルチバンド撮像する構成としてもよい。

操作部１２は、例えば、キーボードやマウス、タッチパネル、各種スイッチ等によって実現されるものであり、操作入力に応じた操作信号を制御部１７に出力する。表示部１３は、ＬＣＤやＥＬディスプレイ等のフラットパネルディスプレイ、あるいはＣＲＴディスプレイ等の表示装置によって実現されるものであり、制御部１７から入力される表示信号に従って各種画面を表示する。

画像処理部１４は、ＣＰＵ等のハードウェアによって実現される。この画像処理部１４は、分光特性取得手段および単一染色分光特性取得手段としてのスペクトル取得部１４１と、色素分光特性取得手段としての基準スペクトル取得部１４２と、色素量推定手段としての色素量推定部１４８と、表示画像生成手段としての表示画像生成部１４９とを含む。

スペクトル取得部１４１は、染色標本画像撮像部１１が撮像した染色標本画像を構成する各画素位置のスペクトルを取得する。

基準スペクトル取得部１４２は、観察染色標本を染色している染色色素（色素Ｈ、色素Ｅおよび色素Ｒ）の基準スペクトルを取得する。なお、色素Ｒの基準スペクトルについては、予め設定しておいた固定値を用いる構成としてもよい。この基準スペクトル取得部１４２は、基準領域設定手段としての基準領域設定部１４３と、スペクトル特徴算出手段としての基準領域特徴算出部１４４と、特徴差分算出手段としての特徴差分算出部１４５と、クラス分類手段としての単一染色クラス分類処理部１４６と、色素分光特性算出手段としての基準スペクトル算出部１４７とを備える。

基準領域設定部１４３は、基準領域候補選択部１７１による選択入力依頼に応答して操作部１２から入力されたユーザ操作に従って、Ｈ単一染色標本の染色標本画像（以下、「Ｈ単一染色標本画像」と呼ぶ。）中のＨ基準領域を設定し、Ｅ単一染色標本の染色標本画像（以下、「Ｅ単一染色標本画像」と呼ぶ。）中のＥ基準領域を設定し、Ｒ単一染色標本の染色標本画像（以下、「Ｒ単一染色標本画像」と呼ぶ。）中のＲ基準領域を設定する。

基準領域特徴算出部１４４は、基準領域設定部１４３が設定したＨ基準領域、Ｅ基準領域およびＲ基準領域のスペクトル特徴を算出する。

特徴差分算出部１４５は、Ｈ基準領域のスペクトル特徴をもとにＨ基準領域の領域外の各画素の特徴差分を算出し、Ｅ基準領域のスペクトル特徴をもとにＥ基準領域の領域外の各画素の特徴差分を算出し、Ｒ基準領域のスペクトル特徴をもとにＲ基準領域の領域外の各画素の特徴差分を算出する。

単一染色クラス分類処理部１４６は、Ｈ基準領域の領域外の各画素の特徴差分をもとにＨ単一染色標本画像内の各画素を複数の階層レベルに振り分け、複数の色素クラスにクラス分類する。また、単一染色クラス分類処理部１４６は、Ｅ基準領域の領域外の各画素の特徴差分をもとにＥ単一染色標本画像内の各画素を複数の階層レベルに振り分け、複数の色素クラスにクラス分類する。そして、単一染色クラス分類処理部１４６は、Ｒ基準領域の領域外の各画素の特徴差分をもとにＲ単一染色標本画像内の各画素を複数の階層レベルに振り分け、複数の色素クラスにクラス分類する。

基準スペクトル算出部１４７は、単一染色クラス分類処理部１４６がクラス分類した色素クラス毎に基準スペクトルを算出し、色素Ｈ、色素Ｅおよび色素Ｒそれぞれについて色素クラス毎の複数の基準スペクトルを得る。

色素量推定部１４８は、スペクトル取得部１４１が観察染色標本の染色標本画像の各画素位置について取得したスペクトルをもとに、基準スペクトル取得部１４２が取得した色素Ｈ、色素Ｅおよび色素Ｒそれぞれの色素クラス毎の複数の基準スペクトルを用いて観察染色標本の色素量を推定する。表示画像生成部１４９は、観察染色標本の表示用の画像（表示画像）を生成する。

記憶部１６は、更新記憶可能なフラッシュメモリ等のＲＯＭやＲＡＭといった各種ＩＣメモリ、内蔵或いはデータ通信端子で接続されたハードディスク、ＣＤ−ＲＯＭ等の情報記憶媒体およびその読取装置等によって実現されるものである。この記憶部１６には、画像処理装置１を動作させ、この画像処理装置１が備える種々の機能を実現するためのプログラムや、このプログラムの実行中に使用されるデータ等が一時的または永続的に記憶される。また、観察染色標本上の各標本位置における色素量を推定するための画像処理プログラム１６１が記憶される。

制御部１７は、ＣＰＵ等のハードウェアによって実現される。この制御部１７は、操作部１２から入力される操作信号や染色標本画像撮像部１１から入力される画像データ、記憶部１６に記憶されるプログラムやデータ等に基づいて画像処理装置１を構成する各部への指示やデータの転送等を行い、画像処理装置１全体の動作を統括的に制御する。

また、制御部１７は、基準領域候補選択手段としての基準領域候補選択部１７１と、色素クラス選択依頼手段としての色素選択入力依頼部１７３と、表示処理手段としての画像表示処理部１７５とを含む。基準領域候補選択部１７１は、染色色素毎にシーズ領域の指定入力を依頼する処理を行い、操作部１２を介して例えば病理医や臨床検査技師等のユーザによるシーズ領域の指定操作を受け付ける。そして、基準領域候補選択部１７１は、指定操作されたシーズ領域をもとに各染色色素の基準領域（Ｈ基準領域、Ｅ基準領域およびＲ基準領域）の候補領域（基準領域候補）を選択する。色素選択入力依頼部１７３は、表示対象色素の選択入力を依頼する処理を行い、操作部１２を介してユーザによる表示対象色素の選択操作を受け付ける。画像表示処理部１７５は、例えば観察染色標本の表示画像等を表示部１３に表示する処理を行う。

図２は、実施の形態１の画像処理装置１が行う処理手順を示すフローチャートである。なお、ここで説明する処理は、記憶部１６に記憶された画像処理プログラム１６１に従って画像処理装置１の各部が動作することによって実現される。

実施の形態１では、図２に示すように先ず、制御部１７が染色標本画像撮像部１１の動作を制御し、観察染色標本、Ｈ単一染色標本、Ｅ単一染色標本およびＲ単一染色標本を順次マルチバンド撮像する（ステップａ１）。得られた観察染色標本、Ｈ単一染色標本、Ｅ単一染色標本およびＲ単一染色標本それぞれの染色標本画像の画像データは、記憶部１６に記憶される。

続いて、スペクトル取得部１４１が、観察染色標本の染色標本画像（以下、「観察染色標本画像」と呼ぶ。）、Ｈ単一染色標本画像、Ｅ単一染色標本画像およびＲ単一染色標本画像それぞれについて、各画素位置のスペクトルを取得する（ステップａ３）。例えば、スペクトル取得部１４１は、観察染色標本画像、Ｈ単一染色標本画像、Ｅ単一染色標本画像およびＲ単一染色標本画像の各染色標本画像を順次処理対象とする。そして、処理対象の染色標本画像を構成する画素毎に対応する染色標本上の標本点におけるスペクトルを推定することによって、各画素位置のスペクトルを取得する。

ここで、詳細なスペクトル推定の手順について説明する。染色標本上の標本点における分光透過率ｔ（ｘ，λ）は、背景技術で次式（１）に示したように、マルチバンド撮像した染色標本画像の位置ベクトルｘで表される任意の画素位置（ｘ）の画素値Ｉ（ｘ，λ）を背景（照明光）のマルチバンド画像の対応する画素位置（ｘ）の画素値Ｉ₀（ｘ，λ）で除算することによって得られる。

実際には、波長λは離散的にしか観測できない。このため、波長方向のサンプル点数をＭとすると、分光透過率ｔ（ｘ，λ）は、次式（５）に示すようにＭ次元のベクトルとして表される。［］^ｔは、転置行列を表す。

得られた分光透過率ｔ（ｘ，λ）は、次式（６）に従って分光吸光度ａ（ｘ，λ）に変換できる。以下、分光吸光度を単に「吸光度」と呼ぶ。
ａ（ｘ，λ）＝−ｌｏｇ（ｔ（ｘ，λ）） ・・・（６）

実施の形態１では、スペクトル取得部１４１は、式（５）に従って分光透過率ｔ（ｘ，λ）を算出し、式（６）に従って分光透過率ｔ（ｘ，λ）を吸光度ａ（ｘ，λ）に変換する処理を観察染色標本画像、Ｈ単一染色標本画像、Ｅ単一染色標本画像およびＲ単一染色標本画像の各染色標本画像の全ての画素について行い、各画素位置（ｘ）のスペクトルとして吸光度ａ（ｘ，λ）を取得する。取得した観察染色標本画像、Ｈ単一染色標本画像、Ｅ単一染色標本画像およびＲ単一染色標本画像それぞれの各画素位置（ｘ）のスペクトル（吸光度ａ（ｘ，λ））のデータは、取得過程で算出した各画素位置（ｘ）の分光透過率ｔ（ｘ，λ）のデータとともに記憶部１６に記憶される。

その後、図２に示すように、スペクトル取得部１４１は、取得した各染色標本画像それぞれの各画素位置のスペクトルをもとに、観察染色標本、Ｈ単一染色標本、Ｅ単一染色標本およびＲ単一染色標本それぞれのＲＧＢ画像を合成する（ステップａ５）。合成した観察染色標本、Ｈ単一染色標本、Ｅ単一染色標本およびＲ単一染色標本それぞれのＲＧＢ画像の画像データは、記憶部１６に記憶され、適宜表示部１３に表示処理されてユーザに提示される。なお、以下では、各単一染色標本のＲＧＢ画像を「単一染色ＲＧＢ画像」と呼び、観察染色標本のＲＧＢ画像を「観察染色ＲＧＢ画像」と呼ぶ。

具体的には、スペクトル取得部１４１は、観察染色標本画像、Ｈ単一染色標本画像、Ｅ単一染色標本画像およびＲ単一染色標本画像の各染色標本画像を順次処理対象とする。そして、処理対象の染色標本画像の各画素位置についてスペクトルを取得する過程で算出した分光透過率をＲＧＢ値に変換し、ＲＧＢ画像を合成する。染色標本画像上の任意の画素位置（ｘ）における分光透過率をＴ（ｘ）とすると、ＲＧＢ値Ｇ_RGB（ｘ）は、次式（７）で表される。
Ｇ_RGB（ｘ）＝ＨＴ（ｘ） ・・・（７）

ここで、式（７）のＨは、次式（８）で定義される行列である。この行列Ｈはシステム行列とも呼ばれており、Ｆはチューナブルフィルタの分光透過率、Ｓはカメラの分光感度特性、Ｅは照明の分光放射特性をそれぞれ表す。
Ｈ＝ＦＳＥ ・・・（８）

続いて、図２に示すように、基準スペクトル取得処理に移る（ステップａ７）。図３は、基準スペクトル取得処理の詳細な処理手順を示すフローチャートである。

図３に示すように、基準スペクトル取得処理では先ず、基準領域候補選択部１７１が、ユーザ操作に従って染色色素毎に基準領域候補を選択する（ステップｂ１）。例えば、基準領域候補選択部１７１は、基準領域選択画面を表示部１３に表示し、色素Ｈ、色素Ｅおよび色素Ｒそれぞれのシーズ領域の指定入力依頼をユーザに通知する処理を行う。そして、基準領域候補選択部１７１は、この指定入力依頼の通知に応答してユーザが各染色色素について操作入力したシーズ領域をもとに基準領域候補を選択し、その選択情報を基準領域設定部１４３に通知する。

図４は、基準領域選択画面の一例を示す図である。図４に示すように、基準領域選択画面は、単一染色画像表示部Ｗ１１を備える。この単一染色画像表示部Ｗ１１には、図２のステップａ５で選択対象の染色色素（選択対象色素）について合成された単一染色ＲＧＢ画像が表示される。ここで、選択対象色素は、染色色素メニューＭ１１で選択できるようになっている。すなわち、染色色素メニューＭ１１には、色素Ｈ、色素Ｅまたは色素Ｒを択一的に選択可能なラジオボタンＲＢ１１１，ＲＢ１１３，ＲＢ１１５が配置されており、図４に例示するようにラジオボタンＲＢ１１１によって色素Ｈを選択すると、単一染色画像表示部Ｗ１１には色素Ｈの単一染色ＲＧＢ画像が表示される。同様に、ラジオボタンＲＢ１１３によって色素Ｅを選択すると色素Ｅの単一染色ＲＧＢ画像が、ラジオボタンＲＢ１１５によって色素Ｒを選択すると色素Ｒの単一染色ＲＧＢ画像が、それぞれ単一染色画像表示部Ｗ１１に表示される。

また、基準領域選択画面は、選択モードメニューＭ１３と、ｍａｎｕａｌ設定メニューＭ１５と、グラフモードメニューＭ１７とを備える。この他、基準領域選択画面には、操作を確定するＯＫボタンＢ１１が配置されている。

選択モードメニューＭ１３には、基準領域候補の選択モードとして「ｍａｎｕａｌ」「ｌｅａｒｎｉｎｇ」「ｉｍａｇｅ ｐｒｏｃｅｓｓ」のいずれか１つを択一的に選択可能なラジオボタンＲＢ１３１，ＲＢ１３３，ＲＢ１３５が配置されている。「ｍａｎｕａｌ」は、ユーザ操作に従って基準領域候補を手動で選択する選択モードであり、例えばユーザが単一染色画像表示部Ｗ１１上で指定したシーズ領域を選択対象色素の基準領域候補として選択する。「ｌｅａｒｎｉｎｇ」は、予め学習された学習条件をもとに選択対象色素の基準領域候補を自動選択する選択モードである。「ｉｍａｇｅ ｐｒｏｃｅｓｓ」は、予め設定された選出条件をもとに選択対象色素の基準領域候補を自動選択する選択モードである。

ｍａｎｕａｌ設定メニューＭ１５では、選択モードの１つである「ｍａｎｕａｌ」に関する設定を行う。例えば、ｍａｎｕａｌ設定メニューＭ１５には、ブロックサイズを入力する入力ボックスＩＢ１５１と、ブロック数を入力する入力ボックスＩＢ１５３とが配置されており、それぞれ所望の値を設定することができる。ブロックサイズは、単一染色画像表示部Ｗ１１上で指定するシーズ領域のサイズであり、図４中に例示するように例えば入力ボックスＩＢ１５１に「２」を入力した場合には、１つのシーズ領域は２×２画素のサイズとされる。また、シーズ領域は複数個指定することができるようになっており、その数がブロック数に相当する。ユーザは、所望のブロック数を入力ボックスＩＢ１５３に入力する（図４では「１」）。

また、選択モードが「ｍａｎｕａｌ」の場合、単一染色画像表示部Ｗ１１上でシーズ領域を指定すると、該当する画素位置ついて取得されているスペクトルがグラフ表示部Ｗ１３においてグラフ表示されるようになっている。グラフモードメニューＭ１７では、このグラフ表示部Ｗ１３におけるグラフ表示に関する設定を行う。例えば、グラフモードメニューＭ１７には、グラフ表示部Ｗ１３において単一染色画像表示部Ｗ１１上で指定したシーズ領域のスペクトル平均グラフを表示させるためのチェックボックスＣＢ１７１が配置されている。チェックボックスＣＢ１７１をチェックしない場合には、シーズ領域を構成する各画素位置のスペクトルグラフがグラフ表示される。例えば、ｍａｎｕａｌ設定メニューＭ１５の入力ボックスＩＢ１５１の入力値が「２」の場合には、シーズ領域は４画素で構成されており、該当する４つの画素位置についてそれぞれ波長毎に取得されているスペクトルをプロットしたスペクトルグラフが表示される。一方、チェックボックスＣＢ１７１をチェックした場合には、これらシーズ領域を構成する各画素位置のスペクトルグラフと併せて、そのスペクトルの波長毎の平均値をプロットしたスペクトル平均グラフが表示される。例えば、図４中のグラフ表示部Ｗ１３では、破線で示す各画素位置のスペクトルグラフと、実線で示すスペクトル平均グラフとが表示されている。

また、グラフモードメニューＭ１７には、グラフ表示部Ｗ１３に表示させるスペクトルグラフの種類として吸光度グラフまたは分光透過率グラフを択一的に選択可能なラジオボタンＲＢ１７１，ＲＢ１７３が配置されている。ラジオボタンＲＢ１７１によって吸光度を選択すれば、シーズ領域の各画素位置について取得されているスペクトルである吸光度がグラフ表示される。一方、ラジオボタンＲＢ１７３によって分光透過率を選択した場合には、吸光度を取得する過程で算出した分光透過率がグラフ表示される。

例えば、選択モードとして「ｍａｎｕａｌ」を選び、基準領域候補を選択する場合の操作手順としては、ユーザは先ず、操作部１２を構成するマウスによって単一染色画像表示部Ｗ１１上の所望の位置をクリックし、シーズ領域を指定する。このとき、単一染色画像表示部Ｗ１１上には、指定した（クリックした）位置にシーズ領域を示すマーカＭＫ１１が表示されるようになっている。また、グラフ表示部Ｗ１３には、シーズ領域を構成する各画素位置のスペクトルがグラフ表示される。一旦指定したシーズ領域は、単一染色画像表示部Ｗ１１上で例えばマーカＭＫ１１をドラッグ＆ドロップ操作する等して移動させることが可能である。これによれば、ユーザは、グラフ表示部Ｗ１３にてスペクトルを確認しながらシーズ領域を指定できる。また、ブロック数として２以上の値を入力している場合には、単一染色画像表示部Ｗ１１上の別の位置を再度クリックすることで、新たなシーズ領域を指定する。操作を確定する場合には、ＯＫボタンＢ１１をクリックする。

以上のようにして操作を確定すると、基準領域候補選択部１７１は、図３のステップｂ１の処理として、指定されたシーズ領域（単一染色画像表示部Ｗ１１上のマーカＭＫ１１の画素位置）を選択対象色素の基準領域候補として選択する。このとき、基準領域候補選択部１７１は、基準候補領域の選択情報を画像処理部１４の基準領域設定部１４３に通知する。ここで、基準領域候補の選択情報は、例えば選択対象色素（色素Ｈ、色素Ｅまたは色素Ｒ）の識別情報や基準領域候補の画素位置等を含む。

なお、ここでは、基準領域候補選択部１７１が、ユーザが指定したシーズ領域を基準領域候補として選択する場合について例示した。これに対し、基準領域候補選択部１７１が、選択対象色素の単一染色ＲＧＢ画像の画素毎に、ユーザが指定したシーズ領域との類似度を判定するようにしてもよい。類似度は、例えば、選択対象色素の単一染色ＲＧＢ画像の各画素について、その輝度値とシーズ領域の輝度値との差分を求めることによって判定することができる。シーズ領域が複数の画素で構成されている場合には、各画素の輝度値をシーズ領域の輝度値平均や輝度値分散と比較することによって類似度を判定することとしてもよい。また、各画素の色分布をシーズ領域の色分布と比較して類似度を判定することとしてもよい。あるいは、各画素の画素位置ついて取得されているスペクトルの分光波形（スペクトルグラフ）をシーズ領域の画素の画素位置について取得されているスペクトルの分光波形（スペクトルグラフ）と比較して類似度を判定することとしてもよい。

そして、基準領域候補選択部１７１が、選択対象色素の単一染色ＲＧＢ画像の各画素のうち、シーズ領域との類似度が高いと判定した画素について、類似度を高いと判定した他の画素との連結数を連結面積として計数するようにしてもよい。そして、この連結面積が所定面積以上（類似度が高いと判定した画素の連結数が所定数以上）である画素の領域を基準領域候補として選択するようにしてもよい。

また、図４の基準領域選択画面において、選択モードメニューＭ１３にて選択モードとして「ｌｅａｒｎｉｎｇ」を選んだ場合には、内部処理として所定の学習条件に従い画素位置を抽出する処理が行われ、基準領域候補が選択される。学習条件としては、例えば、各染色色素によって特徴的に染色される組織の代表的な分光特性パターンや、特徴的に染色される組織の色情報等が予め学習処理によって学習された内容が設定される。

また、選択モードとして「ｉｍａｇｅ ｐｒｏｃｅｓｓ」を選んだ場合には、内部処理として所定の選出条件を満足する画素位置を抽出する処理が行われ、基準領域候補が選択される。選出条件は、選択対象色素の単一染色ＲＧＢ画像の画素値をもとに設定できる。例えば、単一染色ＲＧＢ画像を構成する各画素の輝度平均値を選出条件としてもよいし、ヒストグラムを生成して分布最頻度値を算出し、選出条件としてもよい。あるいは、これらを組み合わせた選出条件としてもよい。また、ＲＧＢ値によって定まるその他の値を適宜用いて選出条件を設定することとしてもよい。

そして、基準領域候補が選択されると、続いて、図３に示すように、基準領域設定部１４３が、各染色色素の基準領域を設定する（ステップｂ３）。例えば、基準領域設定部１４３は、基準領域候補選択部１７１から通知された基準領域候補の選択情報をもとに、この選択情報に設定されている選択対象色素の単一染色ＲＧＢ画像中で、その基準領域候補と画素値が類似する画素を探索する処理を行い、選択対象色素の基準領域を設定する。

具体的な処理手順としては先ず、基準領域設定部１４３は、選択対象色素の単一染色ＲＧＢ画像の各画素値をＲＢ色空間に写像する。このとき、基準領域候補が複数の画素位置で構成されている場合には、例えば基準領域候補を構成する各画素の写像点の平均値（基準領域候補の各画素のＲＢ色空間における座標値の平均値）を算出し、基準領域候補代表点とする。

続いて、基準領域設定部１４３は、基準領域候補以外の各画素を順次処理対象とし、基準領域候補の写像点（または基準領域候補代表点）と処理対象の画素の写像点との距離Ｄｉｓｔを算出する。そして、得られた距離Ｄｉｓｔを処理対象の画素についての類似度として得る。ここで、基準領域候補の写像点（または基準領域候補代表点）をＳ（Ｒ，Ｂ）とし、処理対象の画素（ｘ_ｉ，ｙ_ｉ）（ｉ＝１，２，・・・，ｎ）の写像点（ＲＧ色空間における座標値）をｓ（ｒ_ｉ，ｂ_ｉ）（ｉ＝１，２，・・・，ｎ）とすると、ｓ（ｒ_ｉ，ｂ_ｉ）とＳ（Ｒ，Ｂ）との距離Ｄｉｓｔは、次式（９）で表される。ｎは、処理対象とする基準領域候補以外の画素の数を表す。

そして、基準領域設定部１４３は、得られた基準領域候補以外の各画素の類似度を閾値処理し、類似度が高い画素（例えば類似度が所定の閾値以上の画素）を抽出する。そして、基準領域設定部１４３は、ここで抽出した画素および基準領域候補の各画素で構成される領域を基準領域とする。閾値処理で用いる閾値ＳＴｈは、単一染色ＲＧＢ画像中の基準領域候補の画素値をもとに設定する。例えば、基準領域候補が複数の画素位置で構成されている場合には、各画素の写像点（ＲＢ色空間における座標値）の分散Ｖ（Ｓ）を求め、次式（１０）に従って設定する。ｆは係数であり、任意に設定できる。

なお、類似度の算出方法は、上記した手法に限定されるものではなく、適宜選択して用いることができる。例えば、輝度値の類似度や色分布の類似度、あるいはスペクトルの類似度等を算出する。このとき１つの類似度を算出することとしてもよいし、これら複数の類似度を組み合わせて総合的な類似度を算出してもよい。

以上のようにして設定された選択対象色素の基準領域は、表示部１３に確認表示されてユーザに提示されるようになっている。例えば基準領域候補選択部１７１が、基準領域確認画面を表示部１３に表示する処理を行う。またこのとき、基準領域候補選択部１７１は、基準領域の修正入力依頼をユーザに通知する処理を行う。

図５は、基準領域確認画面の一例を示す図である。図５に示すように、基準領域確認画面は、単一染色画像表示部Ｗ２１と、基準領域表示部Ｗ２３とを備える。単一染色画像表示部Ｗ２１には、選択対象色素（図５では色素Ｈ）の単一染色ＲＧＢ画像が表示される。また、基準領域表示部Ｗ２３には、単一染色ＲＧＢ画像中の基準領域を識別表示した基準領域識別画像が表示される。例えば、基準領域外の画素値を所定の色（例えば白）に置き換えて基準領域外の各画素を非表示とした画像が表示される。

この基準領域確認画面は、修正モードメニューＭ２１を備え、設定された基準領域に過不足があり不十分と判断した場合に修正できるようになっている。修正モードメニューＭ２１には、基準領域の修正モードとして「追加」または「削除」を択一的に選択可能なラジオボタンＲＢ２１１，ＲＢ２１３が配置されている。また、この他、基準領域確認画面には、操作を確定する確定ボタンＢ２１が配置されている。

例えばユーザは、基準領域表示部Ｗ２３の基準領域識別画像によって基準領域の設定漏れが生じていると判断した場合には、ラジオボタンＲＢ２１１を選択した上で、例えば単一染色画像表示部Ｗ２１上の基準領域として追加したい画素（追加画素）の位置をクリックする。一方、基準領域表示部Ｗ２３の基準領域識別画像によって基準領域が過剰に設定されていると判断した場合には、ラジオボタンＲＢ２１３を選択した上で、例えば単一染色画像表示部Ｗ２１上の基準領域から除外したい画素（除外画素）の位置をクリックする。操作を確定する場合には、確定ボタンＢ２１をクリックする。

そして、以上のようにして修正入力依頼の通知に応答して修正操作が入力されると（図３のステップｂ５：Ｙｅｓ）、基準領域候補選択部１７１が、修正情報を基準領域設定部１４３に通知するようになっている。ここで、修正情報は、選択対象色素の識別情報や、追加画素として指定された画素位置、除外画素として指定された画素位置等を含む。基準領域設定部１４３は、この修正情報に従って選択対象色素の基準領域を修正する（ステップｂ７）。

例えば、基準領域設定部１４３は、修正情報に追加画素が設定されている場合には、選択対象色素の単一染色ＲＧＢ画像の画素値をもとに、追加画素と類似する画素であって、追加画素と連結する画素を抽出する。例えば、追加画素の隣接画素から順番にその輝度値を閾値処理する。閾値は、例えば追加画素の輝度値をもとに設定する。そして、追加画素と輝度値が類似する画素を、追加画素と連結している限り抽出する。基準領域設定部１４３は、このようにして抽出した画素を基準領域に追加する。一方、基準領域設定部１４３は、修正情報に除外画素が設定されている場合には、選択対象色素の単一染色ＲＧＢ画像の画素値をもとに、除外画素と類似する画素であって、除外画素と連結する画素を抽出する。例えば、除外画素の隣接画素から順番にその輝度値を閾値処理する。閾値は、例えば除外画素の輝度値をもとに設定する。そして、除外画素と輝度値が類似する画素を、除外画素と連結している限り抽出する。基準領域設定部１４３は、このようにして抽出した画素を基準領域から除外する。

最終的に、基準領域設定部１４３は、以上のようにして各染色色素について設定・修正した基準領域を構成する各画素の画素位置に、基準領域ラベルを付与する。すなわち、選択対象色素を色素Ｈとして設定した基準領域であるＨ基準領域の画素位置に基準領域ラベルＬ_Hを付与する。同様に、選択対象色素を色素Ｅとして設定した基準領域であるＥ基準領域の画素位置に基準領域ラベルＬ_Eを付与し、選択対象色素を色素Ｒとして設定した基準領域であるＲ基準領域の画素位置に基準領域ラベルＬ_Rを付与する。

ここで、各染色色素の基準領域（Ｈ基準領域、Ｅ基準領域およびＲ基準領域）は、該当する染色色素の単一染色標本内において代表的な領域であるのが望ましく、図４の基準領域選択画面でユーザが指定するシーズ領域が、この代表的な領域であるのが望ましい。例えば、色素Ｈは、標本内の組織のうち、特に核を染色する。このため、ユーザによってＨ単一染色標本画像中の核の位置がシーズ領域として指定され、Ｈ単一染色標本画像中の核の領域がＨ基準領域として設定されるのが望ましい。一方、色素Ｅは、細胞質を染色する。このため、ユーザによってＥ単一染色標本画像中の細胞質の位置がシーズ領域として指定され、Ｅ単一染色標本画像中の細胞質の領域がＨ基準領域として設定されるのが望ましい。ただし、これに限定されるものではなく、組織に関わらずユーザが所望する位置をシーズ領域として指定することとしてよい。

続いて、図３に示すように、基準スペクトル取得部１４２が、染色色素を順次処理染色色素としてループＡの処理を実行する（ステップｂ９〜ステップｂ２５）。実施の形態１では、色素Ｈ、色素Ｅおよび色素ＲについてそれぞれループＡの処理を行う。

すなわち、ループＡでは先ず、基準領域特徴算出部１４４が、ステップｂ３で設定しステップｂ７で修正した処理染色色素について設定した基準領域（処理染色色素の基準領域ラベルが付与された画素位置）のスペクトル特徴を算出する（ステップｂ１１）。例えば、処理染色色素が色素Ｈの場合には、Ｈ基準領域である基準領域ラベルＬ_Hが付与された画素位置のスペクトル特徴を算出する。同様に、処理染色色素が色素Ｅの場合には、Ｅ基準領域である基準領域ラベルＬ_Eが付与された画素位置のスペクトル特徴を算出する。また、処理染色色素が色素Ｒの場合には、Ｒ基準領域である基準領域ラベルＬ_Rが付与された画素位置のスペクトル特徴を算出する。

ここで、具体的な算出手順の一例として、吸光度空間における基準領域の主成分をもとにスペクトル特徴を算出する手法について説明する。先ず、基準領域特徴算出部１４４は、吸光度空間において基準領域の主成分分析を行う。この主成分分析では、処理染色色素の基準領域を構成する画素（処理染色色素の基準領域ラベルが付与された画素位置の画素）についてスペクトル取得部１４１が取得したスペクトルを用いる。これら基準領域内の画素をｉ（ｉ＝１，２，３，・・・，ｎ）とし、スペクトルの波長数をＤとすると、吸光度ベクトルＡ（λ）は、次式（１１）で表される。

また、吸光度ベクトルＡ（λ）の平均ベクトルＧ（λ）は、次式（１２）で表される。

そして、吸光度ベクトルＡ（λ）の分散共分散行列Ｓは、次式（１３）で表される。分散共分散行列Ｓは、Ｄ×Ｄ次元の行列である。

基準領域特徴算出部１４４は、この分散共分散行列Ｓをもとに次式（１４）の固有方程式を解き、固有値ｅ_d（ｄ＝１，２，・・・，Ｄ）を得る。ｅは実数を表し、Ｘは固有ベクトルを表す。
ＳＸ＝ｅＸ ・・・（１４）

そして、得られた固有値ｅ_dを値の大きい順に第１主成分、第２主成分、・・・、第Ｄ主成分とし、主成分毎に固有値ｅ_dに属する固有ベクトルＸ_p（ｐ＝１，２，３，・・・，Ｄ）を算出する。ここで算出される固有ベクトルＸ_pは、次式（１５）で表される。

そして、算出した主成分毎の固有ベクトルＸ_pを係数とし、対応する主成分の単位ベクトルε_ｉ（ｉ＝１，２，・・・，Ｄ）に乗じた式である次式（１６）に示す主成分の式Ｚ_pを得る。
Ｚ_p＝ｘ_p1・ε₁＋ｘ_p2・ε₂＋・・・＋ｘ_pD・ε_D＋ｘ₀ ・・・（１６）

この主成分の式Ｚ_pは、基準領域における吸光度分布の特性（すなわち基準領域の特性）を表している。ここで、上位の主成分ほど情報量が多いため、その特性表現における寄与度が高い。そこで、基準領域特徴算出部１４４は、続いて、以上のようにして得た主成分分析の結果をもとに基準領域の特性を十分に表現可能な上位所定数の主成分を判別する。例えば、寄与率Ｒ_ｉ（ｉ＝１，２，・・・，Ｄ）を閾値処理して主成分数Ｋを決定することによって行う。先ず、次式（１７）に従って各主成分の寄与率Ｒ_ｉを算出する。

そして、算出した各主成分の寄与率Ｒ_ｉを順次閾値処理し、主成分数Ｋを決定する。ここで、閾値処理の際に用いる閾値をＴｈとすると、主成分数Ｋは次式（１８）で決定できる。決定した第１主成分〜第Ｄ主成分および主成分数Ｋのデータは、記憶部１６に記憶される。
Ｒ_ｉ+1＞Ｔｈ≧Ｒ_ｉならば、Ｋ＝ｉ ・・・（１８）

なお、主成分数Ｋの決定方法は、上記した手法に限定されるものではない。例えば、Ｋの値を予め固定値として設定しておく構成としてもよい。あるいは、ユーザ操作に従ってＫの値を可変に設定する構成としてもよい。ユーザ操作に従って設定する場合には、制御部１７は、主成分分析の結果を表示部１３に表示する処理を行うようにしてもよい。例えば、各主成分の固有ベクトルＸ_pをグラフ表示した主成分分析結果画面を表示部１３に表示処理し、併せて主成分数Ｋの入力を受け付けるようにしてもよい。図６は、主成分分析の結果得られた固有ベクトルＸ_pの一例をグラフ表示した図である。図６では、第１〜第５の５つの主成分について得た固有ベクトルＸ_pについてその要素ｘ_pをプロットしたグラフを示している。このように各主成分の固有ベクトルＸ_pをグラフ表示すれば、ユーザは、そのグラフ形状を確認しながら主成分数Ｋを決定することができる。

ここで、各主成分の固有ベクトルＸ_pは、そのグラフ形状が処理染色色素のスペクトルの波形（既知）と類似しているほど、処理染色色素の特性に関する情報量を多く含んでいる。なお、下位の主成分ほど、ノイズ成分が多く含まれる。したがって、各主成分のグラフ形状は、ユーザにとって、主成分数Ｋを決定する際の判断材料となる。

以上のようにして処理染色色素の基準領域について第１主成分〜第Ｄ主成分を取得し、主成分数Ｋを決定したならば、続いて基準領域特徴算出部１４４は、処理染色色素の基準領域を構成する画素を（ｘ，ｙ）とし、基準領域内の画素（ｘ，ｙ）それぞれについてスペクトル差分△_d（ｘ，ｙ）を算出する。例えば、基準領域内の画素（ｘ，ｙ）のスペクトルから、基準領域の特性を十分に表現可能であるとして決定した上位Ｋ個の主成分（第１主成分〜第Ｋ主成分）で再現される基準領域内の画素（ｘ，ｙ）の吸光度成分（以下、第１主成分〜第Ｋ主成分で再現される吸光度成分を「１〜Ｋ主成分スペクトル」と呼ぶ。）を差し引いて、基準領域内の画素（ｘ，ｙ）のスペクトル差分△_d（ｘ，ｙ）とする。

ここで、画素（ｘ，ｙ）のスペクトルは、第１主成分〜第Ｄ主成分で再現される画素（ｘ，ｙ）の吸光度成分（以下、第１主成分〜第Ｄ主成分で再現される吸光度成分を「１〜Ｄ主成分スペクトル」と呼ぶ。）に相当する。したがって、スペクトル差分△_d（ｘ，ｙ）は、第１主成分〜第Ｄ主成分から上位Ｋ個の第１主成分〜第Ｋ主成分を除いた第Ｋ＋１主成分〜第Ｄ主成分で再現される画素（ｘ，ｙ）の吸光度成分（以下、第Ｋ＋１主成分〜第Ｄ主成分で再現される吸光度成分を「Ｋ＋１〜Ｄ主成分スペクトル」と呼ぶ。）に相当する。このスペクトル差分△_d（ｘ，ｙ）は、次式（１９）で表される。

このスペクトル差分△_d（ｘ，ｙ）の具体的な算出式を示す。画素（ｘ，ｙ）における１〜Ｄ主成分スペクトルＡＢＳ（λ_d）（ｘ，ｙ）は、各主成分の固有ベクトルＸ_pを用いた次式（２０）で表される。
ＡＢＳ（λ_d）（ｘ，ｙ）＝ｃ₁Ｘ₁＋ｃ₂Ｘ₂＋・・・＋ｃ_DＸ_D ・・・（２０）

ここで、式（２０）中の各係数ｃ_p（ｐ＝１，２，・・・，Ｄ）は、次式（２１）で表される。

スペクトル差分△_d（ｘ，ｙ）は、第Ｋ＋１主成分〜第Ｄ主成分の固有ベクトルＸ_pと式（２１）中の第Ｋ＋１主成分〜第Ｄ主成分についての各係数ｃ_pを用いた次式（２２）で表される。

そして、基準領域特徴算出部１４４は、このスペクトル差分△_d（ｘ，ｙ）の平均値△_d￣を算出し、基準領域のスペクトル特徴とする。なお、△_d￣は、△_dの上に平均値を表す記号「￣」が付いていることを示す。算出した基準領域のスペクトル特徴（スペクトル差分△_d（ｘ，ｙ）の平均値△_d￣）のデータは、記憶部１６に記憶される。

以上のように、実施の形態１では、基準領域特徴算出部１４４は、基準領域について主成分分析を行い、得られた主成分のうちの下位の第Ｋ＋１主成分〜第Ｄ主成分をもとにスペクトル特徴（スペクトル差分△_d（ｘ，ｙ）の平均値△_d￣）を算出する。これによれば、基準領域の特性をほぼ表現可能な上位Ｋ個の第１主成分〜第Ｋ主成分では表現できない特性（第１主成分〜第Ｋ主成分には含まれない情報によって表現される特性）を表すスペクトル成分を抽出することができ、これを基準領域のスペクトル特徴とすることができる。

なお、基準領域のスペクトル特徴の算出方法は、上記した手法に限定されるものではない。例えば、処理染色色素の単一染色標本画像について取得されているスペクトル（吸光度）をもとに、この吸光度を二次微分することで基準領域を特徴付ける波形を取得し、取得した波形をもとに特徴的な波長を検出することとしてもよい。例えば、波形変化が大きい波長を特徴的な波長として検出することとしてもよい。そして、検出した波長の二次微分値をスペクトル特徴としてもよい。波長ｉ（ｉ＝１，２，・・・，Ｄ）における吸光度をａ（ｉ）とすると、その二次微分値Ｓｄ（ｉ）（ｉ＝１，２，・・・，Ｄ）は、次式（２３）で表される。
Ｓｄ（ｉ）＝ａ（ｉ−１）＋ａ（ｉ＋１）−２ａ（ｉ） ・・・（２３）

ここで、吸光度の二次微分値は、特徴的な波形だけでなくノイズ成分についても強調してしまう。このため、ノイズが強調されて発生したアーチファクトを特徴点として誤検出する可能性がある。この誤検出を防止するため、二次微分値の移動平均Ｍａ（ｉ）を次式（２４）に従って算出するようにしてもよい。そして、算出した移動平均Ｍａ（ｉ）をもとに特徴的な波形を有する波長の検出を行い、スペクトル特徴を得るようにしてもよい。

あるいは、事前にＲＧＢ値あるいは輝度値毎にスペクトルを測定しておくこととしてもよい。そして、測定しておいたＲＧＢ値あるいは輝度値毎のスペクトルから、基準領域内の各画素のＲＧＢ値あるいは輝度値に応じたスペクトルを選択してスペクトル特徴として用いることとしてもよい。

スペクトル特徴を算出したならば、続いて、図３に示すように、特徴差分算出部１４５が、処理染色色素の基準領域外の画素（処理染色色素の基準領域ラベルが付与されていない画素位置の画素）を（ｘ，ｙ）とし、画素（ｘ，ｙ）それぞれについて特徴差分ω_d（ｘ，ｙ）を算出する（ステップｂ１３）。

例えば先ず、基準領域について得た第１主成分〜第Ｄ主成分の主成分空間に対し、基準領域外の画素（ｘ，ｙ）について取得されているスペクトルを写像する。これにより、基準領域外の画素（ｘ，ｙ）の１〜Ｄ主成分スペクトルを得る。そして、上記した基準領域特徴算出部１４４による処理手順と同様に、得られた１〜Ｄ主成分スペクトルから、基準領域の特性を十分に表現可能であるとしてステップｂ１１の算出過程で決定した上位Ｋ個の第１主成分〜第Ｋ主成分で再現される基準領域外の画素（ｘ，ｙ）の１〜Ｋ主成分スペクトルを減算し、得られた値をスペクトル差分δ_d（ｘ，ｙ）とする。

このスペクトル差分δ_d（ｘ，ｙ）は、第Ｋ＋１主成分〜第Ｄ主成分で再現される画素（ｘ，ｙ）のＫ＋１〜Ｄ主成分スペクトルに相当し、次式（２５）で表される。

このスペクトル差分δ_d（ｘ，ｙ）の値が小さい基準領域外の画素（ｘ，ｙ）ほど、その特性が基準領域と類似しているとして判別できる。図７は、特徴差分特徴差分ω_d（ｘ，ｙ）の算出手順を説明する図であり、横軸を波長とし、図３のステップｂ１１で基準領域特徴算出部１４４が算出した基準領域のスペクトル特徴（スペクトル差分△_d（ｘ，ｙ）の平均値△_d￣）の値をプロットしたグラフＧ３１と、基準領域外の１つの画素（ｘ，ｙ）について以上のように算出したスペクトル差分δ_d（ｘ，ｙ）の値をプロットしたグラフＧ３３とを示している。図７に示すように、特徴差分算出部１４５は、基準領域のスペクトル特徴である△_d￣と、基準領域外の画素（ｘ，ｙ）について算出したスペクトル差分δ_d（ｘ，ｙ）との差分を波長毎に算出し、特徴差分ω_d（ｘ，ｙ）とする。

具体的には、特徴差分算出部１４５は、基準領域のスペクトル特徴である△_d￣と基準領域外の各画素（ｘ，ｙ）のスペクトル差分δ_d（ｘ，ｙ）との差分を次式（２６）に従って算出する。算出した基準領域外の各画素（ｘ，ｙ）の特徴差分ω_d（ｘ，ｙ）のデータは、記憶部１６に記憶される。

なお、スペクトル特徴の算出方法の変形例として上記したように、吸光度を二次微分することで特徴的な波形を検出し、その二次微分値をスペクトル特徴とする場合には、検出した波長についてのみ特徴差分を算出すればよい。

処理染色色素について基準領域外の各画素の特徴差分ω_d（ｘ，ｙ）を算出したならば、続いて、単一染色クラス分類処理部１４６が、処理染色色素の単一染色標本画像内の各画素を所定数の階層レベルに振り分けてクラス分類する。

具体的には、単一染色クラス分類処理部１４６は先ず、図３に示すように、処理染色色素の基準領域外の各画素についてステップｂ１３で算出されている波長毎の特徴差分ω_d（ｘ，ｙ）の値をもとに、例えばその値の絶対値が最大となる波長λを特徴波長λ_ｍaxとして検出する（ステップｂ１５）。

続いて、単一染色クラス分類処理部１４６は、基準領域外の画素毎に、その特徴波長λ_ｍaxにおける特徴差分の絶対値｜ω（ｘ，ｙ）｜_ｍaxを閾値処理する。そして、基準領域外の画素のうち、所定の閾値より値が大きい画素を後順のステップｂ１９で行う階層レベルの振分対象から除外する（ステップｂ１７）。なお、閾値処理で用いる閾値は、予め固定値として設定しておく構成としてもよいし、ユーザ操作に従って可変に設定する構成としてもよい。

このように、特徴波長λ_ｍaxにおける特徴差分の絶対値｜ω（ｘ，ｙ）｜_ｍaxを閾値処理することで、特徴差分が大きい画素を後順のステップｂ１９で階層レベルに振り分けないようにし、ステップｂ２３で基準スペクトルを算出する際に参照しないようにすることができる。なお、処理染色色素の単一染色ＲＧＢ画像を適宜表示部１３に表示処理し、ユーザ操作に従って振分対象から除外する画素を選択する構成としてもよい。

そして、単一染色クラス分類処理部１４６は、処理染色色素の単一染色標本画像内の振分対象の画素（基準領域外の画素であって、ステップｂ１７で振分対象から除外されていない画素）を所定数ｊの階層レベルｓｔｅｐ_ｉ（ｉ＝１，２，・・・，ｊ）に振り分ける（ステップｂ１９）。ここで、ｉは階層番号を表す。なお、ｊの値は、例えば予め設定される固定値（ここではｊ＝２）とする。なお、ｊの値はユーザ操作に従って可変に設定する構成としてもよい。

具体的な処理手順としては先ず、次式（２７）に従い、階層レベルｓｔｅｐ_ｉ毎の範囲条件である特徴差分量ｖａｌｕｅ（ｉ）（ｉ＝１，２，・・・，ｊ）を決定する。ここで、｜ω｜_ｍaxは、振分対象の画素それぞれの特徴波長λ_ｍaxにおける特徴差分の絶対値｜ω（ｘ，ｙ）｜_ｍaxのうちの最大値を表す。

そして、決定した階層レベルｓｔｅｐ_ｉ毎の特徴差分量ｖａｌｕｅ（ｉ）をもとに、振分対象の各画素をいずれかの階層レベルに振り分ける。例えば、振分対象の画素を順次処理対象とし、処理対象の画素の特徴波長λ_ｍaxにおける特徴差分の絶対値｜ω（ｘ，ｙ）｜_ｍaxが含まれる階層レベルの階層番号τを次式（２８），（２９）に従って決定する。特徴差分量ｖａｌｕｅ（ｉ−１）_ｍax（ｉ＝１，２，・・・，ｊ）は、ｖａｌｕｅ（ｉ−１）の上限値であり、特徴差分量ｖａｌｕｅ（ｉ）_ｍax（ｉ＝１，２，・・・，ｊ）は、ｖａｌｕｅ（ｉ）の上限値である。

そして、処理対象の画素を決定した階層番号τの階層レベルに振り分ける。そして、処理対象の画素に決定した階層レベルを表す階層ラベルｓｔｅｐＬ_τを付与する。

その後、単一染色クラス分類処理部１４６は、図３に示すように、基準領域内の各画素をステップｂ１９で振り分けた階層レベルｓｔｅｐ_ｉとは別の階層レベルに振り分け、最終的に処理染色色素の単一染色標本画像内をｊ＋１個の色素クラスにクラス分類する（ステップｂ２１）。このとき、処理染色色素の単一染色標本画像の各画素位置に、その画素が属する色素クラスのクラスラベルＬ_k（ｋ＝０，１，・・・，ｊ）を付与する。

本例では、前述のようにｊ＝２であるため、処理染色色素の単一染色標本画像内は３つの色素クラスにクラス分類される。すなわち、例えば、クラスラベルＬ₀を基準領域内の各画素に付与し、ステップｂ１９で振り分けた２つの階層レベルにそれぞれ属する各画素（階層ラベルｓｔｅｐＬ_τが付与された画素）に対し、クラスラベルＬ₁，Ｌ₂を付与する。図８は、クラス分類結果の一例を示す図である。図８では、クラスラベルＬ₀が付与された色素Ｈ０の色素クラスを実線で、クラスラベルＬ₁が付与された色素Ｈ１の色素クラスを一点鎖線で、クラスラベルＬ₂が付与された色素Ｈ２の色素クラスを二点鎖線で示している。ここで、色素Ｈ０の色素クラスは、Ｈ基準領域内の各画素を振り分けた階層レベルの色素クラスであり、色素Ｈ１，Ｈ２の各色素クラスは、Ｈ基準領域外の各画素を振り分けた２つの階層レベル毎の色素クラスである。これによって、Ｈ単一染色標本画像内をそのスペクトルに従って色素Ｈ０，Ｈ１，Ｈ２の３つの色素クラスに細分化することができる。

なお、本例では、式（２７），（２８），（２９）に従い、決定した階層レベルｓｔｅｐ_ｉ毎の特徴差分量ｖａｌｕｅ（ｉ）をもとに、振分対象の各画素をいずれかの階層レベルに振り分けることとした。そして、これら階層レベルとは別の階層レベルに基準領域内の各画素を振り分けることとした。そして、処理染色色素の単一染色標本画像内を、振分対象の各画素を振り分けた各階層レベル毎の色素クラスと、基準領域内の各画素を振り分けた色素クラスとにクラス分類することとした。ここで、この手法は、ステップｂ３において基準領域設定部１４３が各染色色素の基準領域を過不足なく設定したことを前提としている。しかしながら、このときの基準領域の設定が不十分な場合、本来は基準領域として設定すべき画素が、基準領域外の各画素（振分対象の各画素）に含まれることとなる。そこで、このような基準領域設定部１４３によるステップｂ３の処理で基準領域として設定しきれなかった（ユーザが見落とした）基準領域外の画素を判別し、基準領域内の画素を振り分けた色素クラスに振り分けるようにしてもよい。

この場合には、例えば、上記した例と同様に３つの色素クラスにクラス分類する場合であれば、ｊ＝３とする。そして、上記した式（２７）にかえて次式（３０）を用い、階層レベルｓｔｅｐ_ｉ毎の範囲条件である特徴差分量ｖａｌｕｅ（ｉ−１）（ｉ＝１，２，・・・，ｊ）を決定する。

そして、決定した階層レベルｓｔｅｐ_ｉ毎の特徴差分量ｖａｌｕｅ（ｉ−１）をもとに、基準領域外の各画素（振分対象の各画素）を次式（２８），（３１）に従っていずれかの階層レベルに振り分ける。

その後、ステップｂ２１の処理にかえて、基準領域内の各画素をτ＝０である階層レベルｓｔｅｐ₀に振り分け、処理染色色素の単一染色標本画像内を各階層レベル毎のｊ個の色素クラスにクラス分類する。このようにすれば、基準領域外の画素のうちの階層レベルｓｔｅｐ₀に振り分けられた画素を基準領域の画素として修正できる。したがって、基準領域外の画素のうちの本来基準領域内の画素とすべき画素を、基準領域として設定された画素と同一の色素クラスにクラス分類することができる。

なお、基準領域内の各画素を階層レベルｓｔｅｐ₀に振り分ける前に、階層レベルｓｔｅｐ₀に振り分けられた基準領域外の画素位置を表示部１３に確認表示し、ユーザに提示するようにしてもよい。例えば、選択対象色素の単一染色ＲＧＢ画像上で、既に基準領域として設定されている画素位置と、階層レベルｓｔｅｐ₀に振り分けられた画素位置とを識別可能に表示するようにしてもよい。また、これと併せて、階層レベルｓｔｅｐ₀に振り分けられた画素を基準領域内の画素と同じ色素クラスにクラス分類するか否かのユーザによる判断操作の入力を促すようにしてもよい。これによれば、階層レベルｓｔｅｐ₀に振り分けられた基準領域外の画素を基準領域の画素とするか否かを最終的にユーザが判断できるので、基準領域の画素の正確性が向上する。

また、本例では、図３のステップｂ１３において、特徴差分算出部１４５が、基準領域外の画素を対象として特徴差分を算出することとした。これに対し、処理染色色素の単一染色標本画像を構成する全ての画素を対象として特徴差分を算出することとしてもよい。そしてこの場合には、ステップｂ２１において、単一染色クラス分類処理部１４６が、算出した特徴差分をもとに、処理染色色素の単一染色標本画像内の各画素を所定数の色素クラスに分類することとしてもよい。

また、図８に示すクラス分類結果を表示部１３に表示処理してユーザに提示する構成としてもよい。そして、各色素クラスの領域に対して新たな領域を追加する操作や各色素クラスの領域から一部を除外する操作、複数の階層レベルの１つの階層レベルとして色素クラスを統合する操作等を受け付け、クラス分類結果を修正する構成としてもよい。

また、ここでは、波長毎の特徴差分ω_d（ｘ，ｙ）の絶対値が最大となる波長を特徴波長λ_ｍaxをとすることとした。これに対し、予め特徴波長とする特定の波長あるいは波長帯域を設定しておく構成としてもよい。このとき、染色色素毎に特徴波長を設定しておくこととしてもよい。例えば、染色色素毎にその染色色素について特徴的な波長あるいは波長帯域を特徴波長として設定しておくこととしてもよい。これによれば、短波長付近や長波長付近で発生しやすいノイズによる影響を抑えることができる。

また、図３のステップｂ１７において特徴波長λ_ｍaxにおける特徴差分の絶対値｜ω（ｘ，ｙ）｜_ｍaxを閾値処理することとしたが、本処理を行わずに、基準領域外の全ての画素を振分対象として階層レベルに振り分ける構成としてもよい。

処理染色色素の単一染色標本画像内を複数の色素クラスにクラス分類したならば、続いて、図３に示すように、基準スペクトル算出部１４７が、分類した色素クラス毎に基準スペクトルｋ_ｉ（ｉ＝１，２，・・・，ｍ）を算出する（ステップｂ２３）。例えば、基準スペクトル算出部１４７は、各色素クラスを順次処理対象とする。そして、基準スペクトル算出部１４７は、処理対象の色素クラスに属する各画素について取得されているスペクトルの平均値を算出し、処理対象の色素クラスについての基準スペクトルｋ_ｉとする。算出した色素クラス毎の基準スペクトルｋ_ｉは、そのクラスに割り当てられたクラスラベルＬ_k（ｋ＝０，１，・・・，ｊ）と対応付けられて記憶部１６に記憶される。ここでの処理によって、基準領域内の各画素を振り分けた色素クラスについて得た基準スペクトルｋ_ｉが、第１の色素分光特性値に相当する。そして、基準領域外の各画素を振り分けた色素クラスについて得た基準スペクトルｋ_ｉが、第２の色素分光特性値に相当する。その後、処理染色色素についてのループＡの処理を終える。

図９は、基準スペクトルｋ_ｉの一例を示す図であり、横軸を波長、縦軸を吸光度として色素Ｈについて取得した３つの基準スペクトルｋ_ｉ（ｉ＝０，１，２）を示している。より詳細には、図９では、Ｈ基準領域内の各画素を振り分けた階層レベルの色素クラス（色素Ｈ０）、およびＨ基準領域外の各画素を振り分けた２つの階層レベル毎の色素クラス（色素Ｈ１および色素Ｈ２）の３つの色素クラスについて取得した３つの基準スペクトルｋ_ｉを示している。この場合には、色素Ｈは、色素Ｈ０，Ｈ１，Ｈ２の各色素クラスに対応する３つの基準スペクトルｋ_ｉによって特徴付けられる。

最終的に、基準スペクトル取得部１４２は、図９で色素Ｈについて例示したような色素クラス毎の複数の基準スペクトルｋ_ｉを、各染色色素それぞれについて取得する。すなわち、基準スペクトル取得部１４２は、色素Ｈ、色素Ｅおよび色素Ｒの各染色色素をそれぞれ処理染色色素としてループＡの処理を行い、その後、図２のステップａ７にリターンしてステップａ９に移行する。

そして、ステップａ９では、色素量推定部１４８が、観察染色標本画像の各画素位置について取得されているスペクトル（吸光度ａ（ｘ，λ））をもとに、ステップａ７の基準スペクトル取得処理で各染色色素についてそれぞれ取得した色素クラス毎の複数の基準スペクトルｋ_ｉを用いて観察染色標本の各染色色素の色素量を色素クラス単位で推定する。

ここで、色素Ｈについてその色素クラス毎に取得した複数の基準スペクトルｋ_ｉをｋ_Hｉ（ｉ＝０，１，・・・，ｍ_H）、色素Ｅについてその色素クラス毎に取得した複数の基準スペクトルｋ_ｉをｋ_Eｉ（ｉ＝０，１，・・・，ｍ_E）、色素Ｒについてその色素クラス毎に取得した複数の基準スペクトルｋ_ｉをｋ_Rｉ（ｉ＝０，１，・・・，ｍ_R）と表記する。

背景技術で式（２）に示して説明したように、分光透過率ｔ（ｘ，λ）に関しては、ランベルト・ベールの法則が成り立つ。また、分光透過率ｔ（ｘ，λ）は、上記した式（６）を用いて吸光度ａ（ｘ，λ）に変換できる。色素量推定部１４８は、これらの式を適用して色素量を推定するが、このとき、色素Ｈの色素クラス毎のｍ_H個の基準スペクトルｋ_Hｉ、色素Ｅの色素クラス毎のｍ_E個の基準スペクトルｋ_Eｉ、色素Ｒの色素クラス毎のｍ_R個の基準スペクトルｋ_Rｉを用いて、各色素クラスを表す色素Ｈ０〜色素Ｈｍ_H、色素Ｅ０〜色素Ｅｍ_Eおよび色素Ｒ０〜色素Ｒｍ_Rそれぞれの色素量を推定する。すなわち、ランベルト・ベールの法則によれば、観察染色標本画像の各画素（ｘ，ｙ）に対応する観察染色標本上の各標本点における吸光度ａ（ｘ，λ）は、次式（３２）で表される。

各画素（ｘ，ｙ）に対応する観察染色標本上の各標本点における色素クラス（色素Ｈ０〜色素Ｈｍ_H，色素Ｅ０〜色素Ｅｍ_E，色素Ｒ０〜色素Ｒｍ_R）の色素量は、例えば背景技術で式（３）に示して説明した手法を適用し、重回帰分析を行うことで推定（算出）することができる。このようにして色素クラス単位で推定した各染色色素（色素Ｈ、色素Ｅおよび色素Ｒ）の色素量のデータは、記憶部１６に記憶される。

以上のように色素量を推定したならば、図２に示すように、画像表示処理に移る（ステップａ１１）。この画像表示処理では、ステップａ９で推定した色素量をもとに観察染色標本の表示用の画像（表示画像）を生成し、表示部１３に表示する処理を行う。図１０は、実施の形態１における画像表示処理の詳細な処理手順を示すフローチャートである。

画像表示処理では先ず、画像表示処理部１７５が、図２のステップａ５で合成された観察染色標本のＲＧＢ画像（観察染色ＲＧＢ画像）を表示画像として表示部１３に表示する処理を行う（ステップｃ１）。

続いて、色素選択入力依頼部１７３が、表示対象色素の選択入力依頼の通知を表示部１３に表示する処理を行い、この選択入力依頼の通知に応答して表示対象色素の選択操作が入力されず、表示対象色素の選択がない間は（ステップｃ３：Ｎｏ）、ステップｃ９に移行する。

一方、ユーザによる表示対象色素の選択操作が入力された場合には（ステップｃ３：Ｙｅｓ）、表示画像生成部１４９が、観察染色ＲＧＢ画像をもとに、表示対象色素によって染色されている観察染色標本上の領域（表示対象色素を含む画素位置）を識別可能に表した表示画像を生成する（ステップｃ５）。例えば、表示画像生成部１４９は、図２のステップａ９で観察染色標本画像の画素毎に推定された観察染色標本上の各標本点における色素量をもとに、表示対象色素を含む（表示対象色素の色素量が“０”ではない）画素位置を選出し、表示対象色素染色領域とする。ここで、表示対象色素は、色素クラス単位で選択できるようになっており、色素クラス（表示対象色素クラス）が選択された場合には、選択された色素クラスについての色素量を含む（その色素クラスについての色素量が“０”ではない）画素位置を選出して表示対象色素染色領域を設定する。そして、表示画像生成部１４９は、観察染色ＲＧＢ画像をもとに、表示対象色素染色領域内の画素をその他の画素と識別可能に表した表示画像を生成する。

続いて画像表示処理部１７５が、ステップｃ５で生成された表示画像を表示部１３に表示する処理を行い（ステップｃ７）、その後ステップｃ９に移行する。このとき、ステップｃ５で生成された表示画像を、既に表示処理されている表示画像にかえて表示処理することとしてもよいし、これらを並べて表示処理する構成としてもよい。

そして、ステップｃ９では、画像表示の終了判定を行い、終了しない間は（ステップｃ９：Ｎｏ）、ステップｃ３に戻って表示対象色素の選択操作を受け付ける。例えばユーザによって画像表示の終了操作が入力された場合には終了すると判定する（ステップｃ９：Ｙｅｓ）。この場合には図２のステップａ１１にリターンし、その後処理を終える。

ここで、ユーザが表示画像を観察する際の操作例について説明する。図１１は、実施の形態１における表示画像の観察画面の一例を示す図である。図１１に示す観察画面は、２つの画像表示部Ｗ４１，Ｗ４３を備える。また、観察画面は、表示対象色素を選択するための色素Ｈ選択メニューＭ４１、色素Ｅ選択メニューＭ４３および色素Ｒ選択メニューＭ４５を備え、染色色素毎に色素クラス単位で表示対象色素の選択が可能となっている。すなわち、色素Ｈ選択メニューＭ４１には、色素Ｈを表示とするか非表示とするかを択一的に選択可能なラジオボタンＲＢ４１１，ＲＢ４１２が配置されるとともに、表示する場合の表示対象色素として色素Ｈ０、色素Ｈ１および色素Ｈ２をそれぞれ個別に選択するためのチェックボックスＣＢ４１１〜ＣＢ４１３が配置されている。図１１では、ラジオボタンＲＢ４１１によって色素Ｈについて表示が選択されており、チェックボックスＣＢ４１１がチェックされて表示対象色素として色素クラスである色素Ｈ０が選択されている。なお、表示対象色素として色素Ｈを選択したい場合には、チェックボックスＣＢ４１１〜ＣＢ４１３を全てチェックすればよい。色素Ｅ選択メニューＭ４３および色素Ｒ選択メニューＭ４５も同様に構成され、各染色色素がその色素クラス単位で個別に選択できるようになっている。

そして、図１１中に向かって左側の画像表示部Ｗ４１には、例えば観察染色ＲＧＢ画像が表示される。一方、向かって右側の画像表示部Ｗ４３には、表示対象色素染色領域を識別表示した表示対象色素識別画像が表示される。この表示対象色素識別画像は、図１０のステップｃ５の処理で生成される表示画像の一例であり、例えば、表示対象色素染色領域を表示し、それ以外の領域を非表示とした画像として生成される。表示対象色素として色素クラスが選択されている場合には、選択されている色素クラス以外の色素クラスを非表示とした（選択されている色素クラスについての色素量を含まない領域を非表示とした）画像が生成される。図１１では、観察染色ＲＧＢ画像中の色素Ｈ０について設定した表示対象色素染色領域を表示し、それ以外の画素を非表示とした表示対象色素識別画像が表示されている。この場合の内部処理としては例えば、表示画像生成部１４９は、色素Ｈ選択メニューＭ４１、色素Ｅ選択メニューＭ４３および色素Ｒ選択メニューＭ４５で選択されている表示対象色素をもとに表示対象色素領域を設定し、設定した表示対象色素染色領域外の画素値を所定の色（例えば白）に置き換えて表示対象色素識別画像を生成する。

さらに、観察画面は、画像表示部Ｗ４３に表示される表示対象色素識別画像の描画モードを指定する描画メニューＭ４７を備える。例えば、図１１の例では、描画モードとして「なし」「輪郭」「色」「パターン」のいずれか１つを択一的に選択可能なラジオボタンが配置されている。図１１に例示するように、描画メニューＭ４７にて「なし」を選択すると、表示対象色素識別画像がそのまま表示対象色素表示部Ｗ４３に表示される。「輪郭」を選択すると、表示対象色素識別画像中で、表示対象色素毎の表示対象色素染色領域が輪郭線で囲まれて識別表示される。「色」を選択すると、表示対象色素識別画像中で、表示対象色素毎の表示対象色素染色領域が所定の描画色に置き換えられて識別表示される。描画色は、表示対象色素毎に予め設定しておく。「パターン」を選択すると、表示対象色素識別画像中で、表示対象色素毎の表示対象色素染色領域が所定の塗り潰しパターンで識別表示される。塗り潰しパターンは、表示対象色素毎に予め設定しておく。例えば、色素選択メニューＭ４１，Ｍ４３，Ｍ４５で表示対象色素を２つ以上選択した場合に、この描画メニューＭ４７で「色」や「パターン」を選択すれば、各表示対象色素それぞれの表示対象色素染色領域を識別可能に表示させることができる。また、描画メニューＭ４７には、ユーザ設定ボタンＢ４７が配置されており、クリックすることで表示対象色素に割り当てる色や塗り潰しパターン、あるいは描画メニューＭ４７で提示する識別表示項目の編集等が行える。

図１２は、描画メニューＭ４７にて「パターン」を選択した場合の観察画面の一例を示す図である。図１２の例では、色素Ｈ選択メニューＭ４１および色素Ｅ選択メニューＭ４３で表示対象色素として選択されている色素Ｈ０、色素Ｈ２および色素Ｅ０の表示対象色素染色領域を、色素Ｈ０，Ｈ２，Ｅ０に割り当てられている塗り潰しパターンで表した表示対象色素識別画像が画像表示部Ｗ４３に表示されている。

なお、識別表示の方法は、上記したものに限定されるものではない。例えば、表示対象色素を含む各画素位置について、その色合いを色素量の値に応じて段階的に変化させるといったことも可能である。

以上説明したように、実施の形態１によれば、Ｈ単一染色標本画像をもとに各画素位置のスペクトルを取得し、取得したスペクトルをもとに、色素Ｈを複数の色素クラスにクラス分類して色素クラス毎に段階的な複数の基準スペクトルを取得することができる。このとき、Ｈ単一染色標本画像内の各画素を、Ｈ基準領域の画素について取得されているスペクトルとの特徴差分をもとにクラス分類でき、Ｈ単一染色標本画像内を適切にクラス分類して色素Ｈについての複数の基準スペクトルを取得することができる。

同様に、Ｅ単一染色標本画像をもとに各画素位置のスペクトルを取得し、取得したスペクトルをもとに、色素Ｅを複数の色素クラスにクラス分類して色素クラス毎に段階的な複数の基準スペクトルを取得することができる。そしてこのとき、Ｅ単一染色標本画像内の各画素を、Ｅ基準領域の画素について取得されているスペクトルとの特徴差分をもとにクラス分類でき、Ｅ単一染色標本画像内を適切にクラス分類して色素Ｅについての複数の基準スペクトルを取得することができる。

また、Ｒ単一染色標本画像をもとに各画素位置のスペクトルを取得し、取得したスペクトルをもとに、色素Ｒを複数の色素クラスにクラス分類して色素クラス毎に段階的な複数の基準スペクトルを取得することができる。そしてこのとき、Ｒ単一染色標本画像内の各画素を、Ｒ基準領域の画素について取得されているスペクトルとの特徴差分をもとにクラス分類でき、Ｅ単一染色標本画像内を適切にクラス分類して色素Ｒについての複数の基準スペクトルを取得することができる。

そして、観察染色標本画像の各画素について取得したスペクトルをもとに、取得した色素クラス毎の段階的な複数の基準スペクトルを用いて観察染色標本上の標本点における染色色素の色素量を色素クラス毎に推定することができる。

これによれば、色素量推定に用いる各染色色素の基準スペクトルを複数に細分化できるので、実際に観察対象の染色標本を染色している染色色素の色素分光特性値が変動する場合であっても、その色素量を精度良く推定することができる。

また、測定機器等を用いて基準スペクトルを予め取得する場合のように、ユーザが単一染色標本上の基準スペクトルとする画素位置を選ぶ必要がない。これによれば、ユーザの手間を省くことができるとともに、基準スペクトルとする画素位置を選んだユーザによって各染色色素の基準スペクトルがバラつき、その信頼性が低下するという事態も生じない。

また、ユーザ操作に従って、色素クラス単位で表示対象色素を選択することができる。そして、色素クラス単位で推定した各染色色素の色素量をもとに、選択した表示対象色素を含む（表示対象色素として色素クラスを選択した場合にはその色素クラスについての色素量を含む）観察染色標本画像の画素位置を選出し、表示対象色素によって染色されている観察染色標本上の領域（表示対象色素を含む画素位置）を識別可能に表した表示画像を生成することができる。したがって、観察染色標本内を視認性良く表した画像をユーザに提示することができる。これによれば、ユーザによる観察効率を向上させることができる。ユーザにとっては、観察したい所望の染色色素を色素クラス単位で選択することによって、観察染色標本中の所望の染色色素の領域を色素クラス単位で個別にあるいは組み合わせて視認性良く観察できる。

なお、上記した実施の形態１では、観察染色標本の色素量を推定する際、その都度基準スペクトル取得処理を行うこととした。これに対し、この基準スペクトル取得処理を色素量の推定の度に行うこととせずに、所望の取得タイミングで事前に行う構成としてもよい。そして、観察染色標本の色素量を推定する際には、事前に基準スペクトル取得処理を行うことによって予め取得しておいた異なる染色状態での複数の基準スペクトルを読み出して用いることとしてもよい。図１３は、本変形例において基準スペクトルを取得する際に行う処理手順を示すフローチャートである。また、図１４は、本変形例において観察染色標本の色素量を推定する際に行う処理手順を示すフローチャートである。

図１３に示すように、本変形例において事前に行う基準スペクトルを取得する際の処理では、先ず、制御部１７が染色標本画像撮像部１１の動作を制御し、Ｈ単一染色標本、Ｅ単一染色標本およびＲ単一染色標本を順次マルチバンド撮像する（ステップｄ１）。続いて、スペクトル取得部１４１が、Ｈ単一染色標本画像、Ｅ単一染色標本画像およびＲ単一染色標本画像それぞれについて各画素位置のスペクトルを取得する（ステップｄ３）。その後、スペクトル取得部１４１は、取得した各単一染色標本画像それぞれの各画素位置のスペクトルをもとに、Ｈ単一染色標本、Ｅ単一染色標本およびＲ単一染色標本それぞれのＲＧＢ画像を合成する（ステップｄ５）。

そして、上記した実施の形態１で図３に示して説明した基準スペクトル取得処理を行い、観察染色標本を染色している各染色色素（色素Ｈ、色素Ｅおよび色素Ｒ）それぞれについて色素クラス毎の複数の基準スペクトルを得る（ステップｄ７）。取得された各染色色素の色素クラス毎の基準スペクトルは記憶部１６に記憶され、色素量を推定する際に読み出されて用いられる。

すなわち、図１４に示すように、本変形例において色素量を推定する際の処理では、先ず制御部１７が染色標本画像撮像部１１の動作を制御し、観察染色標本を順次マルチバンド撮像する（ステップｅ１）。続いて、スペクトル取得部１４１が、観察染色標本画像の各画素位置のスペクトルを取得する（ステップｅ３）。その後、スペクトル取得部１４１は、取得した観察染色標本画像の各画素位置のスペクトルをもとに、観察染色標本のＲＧＢ画像を合成する（ステップｅ５）。

続いて、色素量推定部１４８が、事前に取得されて記憶部１６に記憶されている各染色色素の色素クラス毎の基準スペクトルを読み出す（ステップｅ７）。そして、色素量推定部１４８は、観察染色標本画像の各画素位置について取得されているスペクトルをもとに、読み出した染色色素それぞれの色素クラス毎の複数の基準スペクトルを用いて観察染色標本の各染色色素の色素量を色素クラス単位で推定する（ステップｅ９）。その後、上記した実施の形態１で図１０に示して説明した画像表示処理を行う（ステップｅ１１）。

また、予め染色標本に含まれる組織毎に染色色素およびその含有分布を学習しておけば、観察染色標本内の組織をサポートベクターマシン（ＳＶＭ）等によって判別することも可能である。具体的には、細胞質、線維領域、核、核周囲の細胞質といった組織毎に、各組織を染色する染色色素およびその含有比率を予め学習し、教師データとして記憶しておく。

例えば、細胞質の染色色素が色素Ｈおよび色素Ｅであり、これらの含有比率を学習した場合には、これら染色色素の種類および含有比率を既知データとして記憶しておく。ここで、例えば、細胞質を染色している色素Ｈを色素Ｈ＿ｂ、色素Ｅを色素Ｅ＿ａと表記する。同様に、線維領域、核、核周囲の細胞質についても学習した結果を既知データとして記憶しておくが、例えば、線維領域を染色している色素Ｈを色素Ｈ＿ｃ、色素Ｅを色素Ｅ＿ａと表記し、核を染色している色素ＨをＨ＿ａ、色素ＥをＥ＿ｂと表記し、核周囲の細胞質を染色している色素ＨをＨ＿ｂ、色素Ｅを色素Ｅ＿ａと表記する。なお、これら色素Ｈ＿ａ，Ｈ＿ｂ，Ｈ＿ｃ，Ｅ＿ａ，Ｅ＿ｂの分光特性値（スペクトル）は、例えば予め測定する等しておく。

そして、色素Ｈ＿ａ，Ｈ＿ｂ，Ｈ＿ｃ，Ｅ＿ａ，Ｅ＿ｂが上記した実施の形態１を適用して分類したいずれかの色素クラスに該当する場合には、これら各色素と該当する色素クラスとが対応するものとして対応関係を設定しておく。一方、これら色素Ｈ＿ａ，Ｈ＿ｂ，Ｈ＿ｃ，Ｅ＿ａ，Ｅ＿ｂがいずれの色素クラスにも該当しない場合には、例えば最小二乗誤差が最小となる色素クラスを選択することによって、各色素Ｈ＿ａ，Ｈ＿ｂ，Ｈ＿ｃ，Ｅ＿ａ，Ｅ＿ｂを該当する染色色素のいずれかの色素クラスと対応付ける。例えば、細胞質の色素Ｈ＿ｂを色素Ｈ１、色素Ｅ＿ａを色素Ｅ０の色素クラスとそれぞれ対応付ける。同様に、線維領域の色素Ｈ＿ｃを色素Ｈ２、色素Ｅ＿ａを色素Ｅ０と対応付ける。また、核の色素Ｈ＿ａを色素Ｈ０、色素Ｅ＿ｂを色素Ｅ１と対応付ける。また、核周囲の細胞質の色素Ｈ＿ｂを色素Ｈ３、色素Ｅ＿ａを色素Ｅ０と対応付ける。これらの対応付けはあくまでも例示であるが、このように対応関係を設定しておけば、実際に色素量推定を行った結果得られる各画素位置の色素クラス毎の色素量およびその含有比率から、各画素が属する組織を判定することができる。また、この場合には、このようにして画素毎に判定した組織をもとに、観察染色標本内の組織毎の領域を表した画像を生成して表示部１３に表示処理するようにしてもよい。あるいは、観察染色ＲＧＢ画像上で組織毎の領域を組織の領域を識別表示するようにしてもよい。

（実施の形態２）
図１５は、実施の形態２における画像処理装置１ｂの機能構成を示すブロック図である。なお、図１５において、実施の形態１で説明した画像処理装置１と同様の構成については同一の符号を付して示している。

図１５に示すように、実施の形態２の画像処理装置１ｂは、染色標本画像撮像部１１と、操作部１２と、表示部１３と、画像処理部１４ｂと、記憶部１６ｂと、制御部１７ｂとを備える。

画像処理部１４ｂは、スペクトル取得部１４１と、基準スペクトル取得部１４２と、色素量推定部１４８と、色素量補正手段としての色素量補正部１５０ｂと、分光特性合成手段としてのスペクトル合成部１５１ｂと、表示画像生成手段としての表示画像生成部１４９ｂとを含む。色素量補正部１５０ｂは、色素量調整入力依頼部１７７ｂによる調整入力依頼に応答して操作部１２から入力されたユーザ操作に従って、色素量推定部１４８が推定した色素Ｈ、色素Ｅおよび色素Ｒの色素量を色素クラス単位で補正する。スペクトル合成部１５１ｂは、色素量補正部１５０ｂによる補正後の色素Ｈ、色素Ｅおよび色素Ｒの色素クラス毎の色素量をもとに分光透過率ｔ（ｘ，λ）を合成する。

また、記憶部１６ｂには、観察染色標本上の各標本位置における色素量を推定し補正するための画像処理プログラム１６１ｂが記憶される。

そして、制御部１７ｂは、基準領域候補選択部１７１と、色素クラス選択依頼手段としての色素選択入力依頼部１７３と、色素量調整入力依頼部１７７ｂと、表示処理手段としての画像表示処理部１７５ｂとを含む。色素量調整入力依頼部１７７ｂは、色素量の調整入力を依頼する処理を行い、操作部１２を介してユーザによる色素量の調整操作を受け付ける。

この実施の形態２の画像処理装置１ｂは、実施の形態１において図２に示した処理手順において、ステップａ１１の画像表示処理にかえて図１６に示す画像表示処理を行う。なお、画像処理装置１ｂが行う処理は、記憶部１６ｂに記憶された画像処理プログラム１６１ｂに従って画像処理装置１ｂの各部が動作することによって実現される。

画像表示処理では先ず、図１６に示すように、画像表示処理部１７５ｂが、実施の形態１で説明した図２のステップａ５で合成されている観察染色ＲＧＢ画像を表示画像として表示部１３に表示する処理を行う（ステップｆ１）。

続いて、色素選択入力依頼部１７３が、表示対象色素の選択入力依頼の通知を表示部１３に表示する処理を行う。そして、この選択入力依頼の通知に応答して表示対象色素の選択操作が入力された場合には（ステップｆ３：Ｙｅｓ）、色素量補正部１５０ｂが、表示対象色素以外の色素を非表示として色素量を補正する（ステップｆ５）。例えば、実施の形態１で説明した図２のステップａ９で観察染色標本画像の画素毎に推定された色素量のうち、表示対象色素以外の色素の色素量を例えば全て“０”に置き換えて補正する。ここで、表示対象色素は、実施の形態１と同様に色素クラス単位で選択できるようになっており、色素量の補正は、色素クラス単位で行う。

続いて、スペクトル合成部１５１ｂが、補正後の色素Ｈ、色素Ｅおよび色素Ｒの色素クラス毎の色素量をもとに分光透過率ｔ（ｘ，λ）を合成する（ステップｆ７）。例えば、スペクトル合成部１５１ｂは、次式（３３）に従い、実施の形態１で示した図３の基準スペクトル取得処理で取得した色素クラス毎の複数の基準スペクトルを用いて画素位置（ｘ）における分光透過率ｔ（ｘ，λ）を新たに合成する。

続いて、表示画像生成部１４９ｂが、新たに合成した各画素位置（ｘ）の分光透過率ｔ（ｘ，λ）をＲＧＢ値に変換し、ＲＧＢ画像を合成することによって表示画像を生成する（ステップｆ９）。分光透過率ｔ（ｘ，λ）をＲＧＢ値に変換する処理は、図２のステップａ３の手順と同様に、実施の形態１で上記した式（７），（８）を用いて行う。ここで合成されるＲＧＢ画像は、表示対象色素のみの染色状態を表した（表示対象色素の色素量のみを視覚化した）画像である。

続いて画像表示処理部１７５ｂが、ステップｆ９で生成された表示画像を表示部１３に表示する処理を行い（ステップｆ１１）、その後ステップｆ２３に移行する。このとき、ステップｆ９で生成された表示画像を、既に表示されている表示画像にかえて表示処理することとしてもよいし、これらを並べて表示処理する構成としてもよい。

また、以上のようにして表示画像を表示している間、表示対象色素についての色素量の調整操作を受け付けるようになっている。例えば、色素量調整入力依頼部１７７ｂは、色素量の調整入力依頼の通知を表示部１３に表示する処理を行い、この調整入力依頼の通知に応答して色素量の調整操作が入力されると（ステップｆ１３：Ｙｅｓ）、入力された調整量を色素量補正部１５０ｂに通知する。

そして、色素量補正部１５０ｂが、表示対象色素の色素量を、色素量調整入力依頼部１７７ｂから通知された調整量に従って補正する（ステップｆ１５）。その後、スペクトル合成部１５１ｂが、補正後の色素Ｈ、色素Ｅおよび色素Ｒの色素クラス毎の色素量をもとに、ステップｆ７と同様の手順で上記した式（３３）に従って新たに分光透過率ｔ（ｘ，λ）を合成する（ステップｆ１７）。そして、表示画像生成部１４９ｂが、新たに合成した各画素位置の分光透過率ｔ（ｘ，λ）を、ステップｆ９と同様の手順で上記した式（７），（８）を用いてＲＧＢ値に変換し、ＲＧＢ画像を合成することによって表示画像を生成する（ステップｆ１９）。

続いて画像表示処理部１７５ｂが、ステップｆ１９で生成された表示画像を表示部１３に表示する処理を行い（ステップｆ２１）、その後ステップｆ２３に移行する。このとき、ステップｆ１９で生成された表示画像を、既に表示されている表示画像にかえて表示処理することとしてもよいし、これらを並べて表示処理する構成としてもよい。

そして、ステップｆ２３では、画像表示の終了判定を行い、終了しない間は（ステップｆ２３：Ｎｏ）、ステップｆ３に戻って表示対象色素の選択操作を受け付ける。例えばユーザによって画像表示の終了操作が入力された場合には終了すると判定する（ステップｆ２３：Ｙｅｓ）。

ここで、ユーザが表示画像を観察する際の操作例について説明する。図１７は、実施の形態２における表示画像の観察画面の一例を示す図である。図１７に示す観察画面は、３つの画像表示部Ｗ５１，Ｗ５３，Ｗ５５を備える。また、観察画面は、実施の形態１と同様に表示対象色素を選択するための色素Ｈ選択メニューＭ５１、色素Ｅ選択メニューＭ５３および色素Ｒ選択メニューＭ５５を備え、染色色素毎に色素クラス単位で表示対象色素の選択が可能となっている。

そして、図１７中に向かって左側の画像表示部Ｗ５１には、例えば観察染色ＲＧＢ画像が表示される。一方、向かって中央および右側の画像表示部Ｗ５３，Ｗ５５には、それぞれ表示対象色素の色素量のみを表した表示対象色素染色画像が表示される。この表示対象色素染色画像は、図１６のステップｆ９の処理で生成される表示画像に相当し、図１７では、表示対象色素として選択されている色素Ｈ０のみの染色状態を表した画像が表示される。

さらに、観察画面は、色素量調整メニューＭ５７を備え、表示対象色素の色素量を調整するためのスライダーバーＳＢ５７や、スライダーバーＳＢ５７での操作を確定するＯＫボタンＢ５７等が配置されている。例えば、画像表示部Ｗ５３や画像表示部Ｗ５５に表示されている表示対象色素染色画像を観察・診断中に、表示対象色素の染色状態を濃くしたい、あるいは薄くしたいといった場合に、ユーザは、この色素量調整メニューＭ５７においてスライダーバーＳＢ５７を操作し、表示対象色素の色素量の調整量を入力する。図１７中、右側の画像表示部Ｗ５５に表示されている表示対象色素染色画像は、スライダーバーＳＢ５７を用い、中央の画像表示部Ｗ５３に表示されている表示対象色素染色画像よりも色素Ｈ０の色素量を薄く調整することによって表示させた画像である。

以上説明したように、実施の形態２によれば、実施の形態１と同様の効果を奏するとともに、ユーザの調整操作に従って推定した表示対象色素の色素量を色素クラス単位で補正することができる。そして、補正後の各染色色素の色素量をもとに各画素位置のスペクトルを合成し、ＲＧＢ画像を合成することによって表示画像を生成することができる。あるいは、表示対象色素以外の色素の色素量をゼロに補正することで、表示対象色素の色素量のみを視覚化した画像を表示画像として生成することができる。したがって、各染色色素による染色状態をユーザ操作に従って色素クラス単位で補正し、観察染色標本内を視認性良く表した画像をユーザに提示することができる。ユーザにとっては、所望の染色色素を色素クラス単位で選択して色素量を調整したり、観察・診断に不要な染色色素あるいは観察・診断に不要な色素クラスの色素を除く等して、各染色色素による染色状態を色素クラス単位で個別に調整して視認性良く観察でき、診断精度が向上する。

また、上記した各実施の形態では、Ｈ＆Ｅ染色が施された染色標本を観察対象とする場合について説明し、Ｈ＆Ｅ染色された染色標本を対象としているため、色素Ｈ、色素Ｅおよび色素Ｒの色素量を推定する場合を例示した。これに対し、本発明は、他の染色色素で染色された標本に対しても同様に適用することができ、その色素量を推定できる。また、上記した各実施の形態における色素Ｒのように、標本自体が有する固有の色についても同様に扱うことができる。

以上のように、本発明の画像処理方法、画像処理装置および画像処理プログラムは、所定の染色色素で染色された染色標本の色素量を精度良く推定するのに適している。

１，１ｂ 画像処理装置
１１ 染色標本画像撮像部
１２ 操作部
１３ 表示部
１４，１４ｂ 画像処理部
１４１ スペクトル取得部
１４２ 基準スペクトル取得部
１４３ 基準領域設定部
１４４ 基準領域特徴算出部
１４５ 特徴差分算出部
１４６ 単一染色クラス分類処理部
１４７ 基準スペクトル算出部
１４８ 色素量推定部
１４９，１４９ｂ 表示画像生成部
１５０ｂ 色素量補正部
１５１ｂ スペクトル合成部
１６，１６ｂ 記憶部
１６１，１６１ｂ 画像処理プログラム
１７，１７ｂ 制御部
１７１ 基準領域候補選択部
１７３ 色素選択入力依頼部
１７５，１７５ｂ 画像表示処理部
１７７ｂ 色素量調整入力依頼部

Claims (19)

1. 少なくとも２つの染色色素で染色された染色標本を撮像することにより取得された染色標本画像を構成する画素の画素値をもとに、該画素に対応する前記染色標本上の標本点における分光特性値を取得する分光特性取得工程と、
   前記少なくとも２つの染色色素に含まれる単一の染色色素に対する複数の基準分光特性値を取得する基準分光特性取得工程と、
   前記分光特性取得工程で取得された前記分光特性値と、前記基準分光特性取得工程で取得された前記複数の基準分光特性値と、を用いて、前記染色標本上の標本点における前記少なくとも２つの染色色素の各々の色素量を推定する色素量推定工程と、
   を含むことを特徴とする画像処理方法。
2. 前記複数の基準分光特性値は、
   前記単一の染色色素で染色された単一染色標本を撮像した単一染色標本画像を取得し、
   前記単一染色標本画像における分光特性値を画素毎に取得し、
   画素毎に取得した前記分光特性値に基づき、前記単一染色標本の前記単一の染色色素に対して前記複数の基準分光特性値を算出する、
   ことにより取得されることを特徴とする請求項１に記載の画像処理方法。
3. 前記基準分光特性取得工程は、
   前記単一染色標本画像を構成する画素の画素値をもとに、該画素に対応する前記単一染色標本上の標本点における分光特性値を取得する単一染色分光特性取得工程と、
   前記単一染色標本画像中に所定の基準領域を設定する基準領域設定工程と、
   前記基準領域を構成する画素について前記単一染色分光特性取得工程で取得した分光特性値をもとに、前記基準領域のスペクトル特徴を算出するスペクトル特徴算出工程と、
   前記単一染色標本画像を構成する画素毎に、該画素について前記単一染色分光特性取得工程で取得した分光特性値と前記スペクトル特徴との特徴差分を算出する特徴差分算出工程と、
   前記特徴差分をもとに、前記単一染色標本画像を構成する画素を複数の色素クラスに振り分けてクラス分類するクラス分類工程と、
   前記色素クラス毎に、該当する色素クラスに属する画素について前記単一染色分光特性取得工程で取得した分光特性値をもとに前記複数の基準分光特性値を算出する基準分光特性算出工程と、
   を含むことを特徴とする請求項２に記載の画像処理方法。
4. 前記単一染色標本画像中の所定の基準領域候補を選択する基準領域候補選択工程をさらに含み、
   前記基準領域設定工程は、前記基準領域候補を構成する画素の画素値と類似する前記単一染色標本画像内の画素を抽出して前記基準領域を設定することを特徴とする請求項３に記載の画像処理方法。
5. 前記基準領域候補選択工程は、
   前記単一染色標本画像中の１つまたは複数の画素で構成されるシーズ領域の指定入力を依頼するシーズ領域指定依頼工程と、
   前記単一染色標本画像の画素位置毎に、前記シーズ領域指定依頼工程での依頼に対して指定入力されたシーズ領域との類似度を判定する類似度判定工程と、
   を含み、
   前記類似度判定工程で類似度が高いと判定された画素のうち、類似度が高いと判定された他の画素との連結面積が予め設定される所定面積以上である画素の領域を前記基準領域候補として選択することを特徴とする請求項４に記載の画像処理方法。
6. 前記類似度判定工程は、前記単一染色標本画像の各画素位置の輝度値、輝度値平均、輝度値分散、色分布および前記画素について前記単一染色分光特性取得工程で取得した分光特性値の分光波形のうちの少なくとも１つをもとに前記類似度を判定することを特徴とする請求項５に記載の画像処理方法。
7. 前記クラス分類工程は、前記基準領域を構成する画素を振り分けた色素クラスと、前記基準領域外の画素のうち、前記特徴差分が所定の範囲条件を満たす画素を振り分けた少なくとも１つの色素クラスとにクラス分類することを特徴とする請求項３に記載の画像処理方法。
8. 前記色素量推定工程は、前記基準分光特性算出工程で前記色素クラス毎に算出した前記複数の基準分光特性値を用い、前記染色標本上の標本点における前記染色色素の色素量を前記色素クラス毎に推定することを特徴とする請求項３に記載の画像処理方法。
9. 少なくとも２つの染色色素で染色された染色標本を撮像することにより取得された染色標本画像を構成する画素の画素値をもとに、該画素に対応する前記染色標本上の標本点における分光特性値を取得する分光特性取得手段と、
   前記少なくとも２つの染色色素に含まれる単一の染色色素に対する複数の基準分光特性値を取得する基準分光特性取得手段と、
   前記分光特性取得手段によって取得された前記分光特性値と、前記基準分光特性取得手段によって取得された前記複数の基準分光特性値と、を用いて、前記染色標本上の標本点における前記少なくとも２つの染色色素の各々の色素量を推定する色素量推定手段と、
   を備えることを特徴とする画像処理装置。
10. 前記複数の基準分光特性値は、
    前記単一の染色色素で染色された単一染色標本を撮像した単一染色標本画像を取得し、
    前記単一染色標本画像における分光特性値を画素毎に取得し、
    画素毎に取得した前記分光特性値に基づき、前記単一染色標本の前記単一の染色色素に対して前記複数の基準分光特性値を算出する、
    ことにより取得されることを特徴とする請求項９に記載の画像処理装置。
11. 前記基準分光特性取得手段は、
    前記単一染色標本画像を構成する画素の画素値をもとに、該画素に対応する前記単一染色標本上の標本点における分光特性値を取得する単一染色分光特性取得手段と、
    前記単一染色標本画像中に所定の基準領域を設定する基準領域設定手段と、
    前記基準領域を構成する画素について前記単一染色分光特性取得手段が取得した分光特性値をもとに、前記基準領域のスペクトル特徴を算出するスペクトル特徴算出手段と、
    前記単一染色標本画像を構成する画素毎に、該画素について前記単一染色分光特性取得手段が取得した分光特性値と前記スペクトル特徴との特徴差分を算出する特徴差分算出手段と、
    前記特徴差分をもとに、前記単一染色標本画像を構成する画素を複数の色素クラスに振り分けてクラス分類するクラス分類手段と、
    前記色素クラス毎に、該当する色素クラスに属する画素について前記単一染色分光特性取得手段が取得した分光特性値をもとに前記複数の基準分光特性値を算出する基準分光特性算出手段と、
    を有することを特徴とする請求項１０に記載の画像処理装置。
12. 前記単一染色標本画像中の所定の基準領域候補を選択する基準領域候補選択手段をさらに備え、
    前記基準領域設定手段は、前記基準領域候補を構成する画素の画素値と類似する前記単一染色標本画像内の画素を抽出して前記基準領域を設定することを特徴とする請求項１１に記載の画像処理装置。
13. 前記クラス分類手段は、前記基準領域を構成する画素を振り分けた色素クラスと、前記基準領域外の画素のうち、前記特徴差分が所定の範囲条件を満たす画素を振り分けた少なくとも１つの色素クラスとにクラス分類することを特徴とする請求項１１に記載の画像処理装置。
14. 前記色素量推定手段は、前記基準分光特性算出手段が前記色素クラス毎に算出した前記複数の基準分光特性値を用い、前記染色標本上の標本点における前記染色色素の色素量を前記色素クラス毎に推定することを特徴とする請求項１１に記載の画像処理装置。
15. 表示対象色素クラスの選択入力を依頼する色素クラス選択依頼手段と、
    前記色素量推定手段によって前記色素クラス毎に推定された前記染色色素の色素量をもとに、前記色素クラス選択依頼手段による依頼に対して選択入力された前記表示対象色素クラスについての色素量を含む前記染色標本画像中の画素位置を、他の画素位置と識別可能に表した表示画像を生成する表示画像生成手段と、
    前記表示画像を表示部に表示処理する表示処理手段と、
    を備えることを特徴とする請求項１４に記載の画像処理装置。
16. 前記色素量推定手段によって前記色素クラス毎に推定された前記染色色素の色素量を補正する色素量補正手段と、
    前記色素量補正手段による補正後の前記色素クラス毎の前記染色色素の色素量をもとに分光特性値を合成する分光特性合成手段と、
    前記分光特性合成手段によって合成された分光特性値をもとにＲＧＢ画像を合成し、前記染色色素による前記色素クラス毎の染色状態を補正後の前記色素クラス毎の前記染色色素の色素量で表した表示画像を生成する表示画像生成手段と、
    前記表示画像を表示部に表示処理する表示処理手段と、
    を備えることを特徴とする請求項１４に記載の画像処理装置。
17. 表示対象色素クラスの選択入力を依頼する色素クラス選択依頼手段を備え、
    前記色素量補正手段は、前記色素クラス選択依頼手段による依頼に対して選択入力された前記表示対象色素クラスについての色素量を補正することを特徴とする請求項１６に記載の画像処理装置。
18. 表示対象色素クラスの選択入力を依頼する色素クラス選択依頼手段を備え、
    前記色素量補正手段は、前記色素クラス選択依頼手段による依頼に対して選択入力された前記表示対象色素クラス以外の色素クラスについての色素量をゼロに補正し、
    前記表示画像生成手段は、前記表示対象色素クラス以外の色素クラスを非表示として前記表示画像を生成することを特徴とする請求項１６に記載の画像処理装置。
19. 少なくとも２つの染色色素で染色された染色標本を撮像することにより取得された染色標本画像を構成する画素の画素値をもとに、該画素に対応する前記染色標本上の標本点における分光特性値を取得する分光特性取得ステップと、
    前記少なくとも２つの染色色素に含まれる単一の染色色素に対する複数の基準分光特性値を取得する基準分光特性取得ステップと、
    前記分光特性取得ステップで取得された前記分光特性値と、前記基準分光特性取得ステップで取得された前記複数の基準分光特性値と、を用いて、前記染色標本上の標本点における前記少なくとも２つの染色色素の各々の色素量を推定する色素量推定ステップと、
    をコンピュータに実行させることを特徴とする画像処理プログラム。