WO2018131091A1 - 画像処理装置、画像処理方法、及び画像処理プログラム - Google Patents

Abstract

画像処理装置３は、２種以上の染色が施された標本を撮像した染色標本画像から各染色の単染色画像をそれぞれ算出する単染色画像算出部３６１と、対象とする染色の単染色画像から当該対象とする染色による染色領域を抽出する抽出処理を特異性が高い染色から順に実行する染色領域抽出部３６６と、対象とする染色の単染色画像から当該対象とする染色よりも特異性が高い全ての染色の染色領域を除いて当該単染色画像を修正する修正処理を特異性が最も高い第１染色を除く少なくとも１種の第２染色全てについて特異性が高い染色から順に実行する単染色画像修正部３６７と、染色領域に基づいて画像解析を行う解析部３６８とを備える。染色領域抽出部３６６は、第２染色による染色領域を抽出する際、対象とする染色の単染色画像に対して修正処理が実行された修正単染色画像から当該対象とする染色による染色領域を抽出する。

Description

画像処理装置、画像処理方法、及び画像処理プログラム

　本発明は、染色された標本を撮像した染色標本画像を処理する画像処理装置、画像処理方法、及び画像処理プログラムに関する。

　被写体に固有の物理的性質を表す物理量の一つに分光透過率がある。分光透過率は、各波長における入射光に対する透過光の割合を表す物理量であり、照明光の変化に依存するＲＧＢ値等の色情報とは異なり、外因的影響によって値が変化しない物体固有の情報である。このため、分光透過率は、被写体自体の色を再現するための情報として様々な分野で利用されている。例えば、生体組織標本、特に病理標本を用いた病理診断の分野では、標本を撮像した画像の解析に分光特性値の一例として分光透過率が利用されている。

　病理診断の一つとして、病変部位の組織を採取して顕微鏡で観察することにより、病気の診断または病変の拡大の程度を調べる組織診が知られている。この組織診は、生検（バイオプシー）とも呼ばれ、臓器摘出によって得たブロック標本や針生検によって得た病理標本を厚さ数ミクロン程度に薄切りした後、様々な所見を得るために顕微鏡を用いて拡大観察することが広く行われている。なかでも、光学顕微鏡を用いた透過観察は、機材が比較的安価で取扱いが容易である上、歴史的に古くから行われてきたこともあって、最も普及している観察方法の一つである。この場合、薄切りされた標本は、光を殆ど吸収及び散乱せず、無色透明に近いため、観察に先立って色素による染色を施すのが一般的である。

　染色手法としては、種々のものが提案されており、その総数は１００種類以上にも達するが、特に病理標本に関しては、色素として青紫色のヘマトキシリンと赤色のエオジンの２つを用いるヘマトキシリン－エオジン染色（以下、「ＨＥ染色」と記載）が標準的に用いられている。
　ヘマトキシリンは、植物から採取された天然の物質であり、それ自身には染色性はない。しかし、その酸化物であるヘマチンは、好塩基性の色素であり、負に帯電した物質と結合する。細胞核に含まれるデオキシリボ核酸（ＤＮＡ）は、構成要素として含むリン酸基によって負に帯電しているため、ヘマチンと結合して青紫色に染色される。なお、前述の通り、染色性を有するのはヘマトキシリンではなく、その酸化物であるヘマチンであるが、色素の名称としてはヘマトキシリンを用いるのが一般的であるため、以下それに従う。
　一方、エオジンは、好酸性の色素であり、正に帯電した物質と結合する。アミノ酸やタンパク質が正負どちらに帯電するかは、ｐＨ環境に影響を受け、酸性下では正に帯電する傾向が強くなる。このため、エオジン溶液に酢酸を加えて用いることがある。細胞質に含まれるタンパク質は、エオジンと結合して赤から薄赤に染色される。
　ＨＥ染色後の標本（以下、染色標本と記載）では、細胞核や骨組織等が青紫色に、細胞質や結合組織、赤血球等が赤色に染色され、容易に視認することができるようになる。この結果、観察者は、細胞核等の組織を構成する要素の大きさや位置関係等を把握することができ、染色標本の状態を形態学的に判断することが可能となる。

　染色標本の観察は、観察者の目視によるものの他、当該染色標本をマルチバンド撮像して外部装置の表示画面に表示することによっても行われている。表示画面に表示する場合には、撮像したマルチバンド画像から染色標本上の各点の分光透過率を推定する処理や、推定した分光透過率を基に染色標本を染色している色素の色素量を推定する処理等が行われ、表示用の染色標本のＲＧＢ画像である表示画像が合成される。
　染色標本のマルチバンド画像から当該染色標本上の各点の分光透過率を推定する手法としては、例えば、主成分分析による推定法や、ウィナー（Wiener）推定による推定法等が挙げられる。ウィナー推定は、ノイズの重畳された観測信号から原信号を推定する線形フィルタ手法の一つとして広く知られており、観測対象の統計的性質とノイズ（観測ノイズ）の特性とを考慮して誤差の最小化を行う手法である。カメラからの信号には、何らかのノイズが含まれるため、ウィナー推定は原信号を推定する手法として極めて有用である。

　以下、染色標本のマルチバンド画像から表示画像を合成する従来の方法について説明する。
　先ず、染色標本のマルチバンド画像を撮像する。例えば、１６枚のバンドパスフィルタをフィルタホイールで回転させて切り替えながら、面順次方式でマルチバンド画像を撮像する。これにより、染色標本上の各点において１６バンドの画素値を有するマルチバンド画像が得られる。なお、色素は、本来、観察対象となる染色標本内に３次元的に分布しているが、通常の透過観察系ではそのまま３次元像として捉えることはできず、染色標本内を透過した照明光をカメラの撮像素子上に投影した２次元像として観察される。したがって、ここでいう各点は、投影された撮像素子の各画素に対応する染色標本上の点を意味している。

　ここで、撮像されたマルチバンド画像の任意の点（画素）ｘについて、バンドｂにおける画素値ｇ（ｘ，ｂ）と、対応する染色標本上の点の分光透過率ｔ（ｘ，λ）との間には、カメラの応答システムに基づく以下の式（１）の関係が成り立つ。

　式（１）において、λは波長、ｆ（ｂ，λ）はｂ番目のバンドパスフィルタの分光透過率、ｓ（λ）はカメラの分光感度特性、ｅ（λ）は照明の分光放射特性、ｎ（ｂ）はバンドｂにおける観測ノイズをそれぞれ表す。ｂはバンドを識別する通し番号であり、ここでは１≦ｂ≦１６を満たす整数値である。実際の計算では、式（１）を波長方向に離散化した以下の式（２）が用いられる。

　式（２）において、波長方向のサンプル点数をＤ、バンド数をＢ（ここではＢ＝１６）とすれば、Ｇ（ｘ）は、点ｘにおける画素値ｇ（ｘ，ｂ）に対応するＢ行１列の行列である。同様に、Ｔ（ｘ）は、ｔ（ｘ，λ）に対応するＤ行１列の行列、Ｆは、ｆ（ｂ，λ）に対応するＢ行Ｄ列の行列である。一方Ｓは、Ｄ行Ｄ列の対角行列であり、対角要素がｓ（λ）に対応している。同様に、Ｅは、Ｄ行Ｄ列の対角行列であり、対角要素がｅ（λ）に対応している。Ｎは、ｎ（ｂ）に対応するＢ行１列の行列である。なお、式（２）では、行列を用いて複数のバンドに関する式を集約しているため、バンドを表す変数ｂが記述されていない。また、波長λに関する積分は、行列の積に置き換えられている。
　ここで、表記を簡単にするため、以下の式（３）で定義される行列Ｈを導入する。この行列Ｈは、システム行列とも呼ばれる。

　よって、式（２）は、以下の式（４）に置き換えられる。

　次に、ウィナー推定を用いて、撮像したマルチバンド画像から染色標本上の各点における分光透過率を推定する。分光透過率の推定値（以下、分光透過率データと記載）Ｔ^（ｘ）は、以下の式（５）で計算することができる。なお、Ｔ^は、Ｔの上に推定値を示す記号「^（ハット）」が付いていることを示す。

　式（５）において、Ｗは、以下の式（６）で表され、「ウィナー推定行列」あるいは「ウィナー推定に用いる推定オペレータ」と呼ばれる。

　式（６）において、Ｒ_SSは、Ｄ行Ｄ列の行列であり、染色標本の分光透過率の自己相関行列を表す。また、Ｒ_NNは、Ｂ行Ｂ列の行列であり、撮像に使用するカメラのノイズの自己相関行列を表す。なお、任意の行列Ｘに対し、行列Ｘ^Tは行列Ｘの転置行列を表し、行列Ｘ^-1は行列Ｘの逆行列を表す。システム行列Ｈを構成する行列Ｆ、Ｓ、Ｅ、すなわち、バンドパスフィルタの分光透過率、カメラの分光感度特性、及び照明の分光放射特性と、行列Ｒ_SSと、行列Ｒ_NNとは予め取得しておく。

　以上のように分光透過率データＴ^（ｘ）を推定した後、当該分光透過率データＴ^（ｘ）を基に対応する染色標本上の点（以下、標本点と記載）における色素量を推定する。ここでは、推定の対象とする色素は、ヘマトキシリン、細胞質を染色したエオジン、赤血球を染色したエオジンまたは染色されていない赤血球本来の色素の３種類であり、それぞれＨ色素、Ｅ色素、Ｒ色素と略記する。なお、厳密には、染色を施さない状態であっても赤血球はそれ自身特有の色を有しており、ＨＥ染色後は、赤血球自身の色と染色過程において変化したエオジンの色とが重畳して観察される。このため、正確には両者を併せたものをＲ色素と呼称する。
　一般に、光を透過する物質では、波長λ毎の入射光の強度Ｉ_０（λ）と射出光の強度Ｉ（λ）との間に、以下の式（７）で表されるランベルト・ベール（Lambert-beer）の法則が成り立つことが知られている。

　式（７）において、ｋ（λ）は波長に依存して決まる物質固有の値、ｄは物質の厚さをそれぞれ表す。ここで、式（７）の左辺は分光透過率ｔ（λ）を意味しているため、式（７）は、以下の式（８）に置き換えられる。

　また、分光吸光度ａ（λ）は、以下の式（９）で表される。

　よって、式（８）は、以下の式（１０）に置き換えられる。

　ＨＥ染色された染色標本がＨ色素、Ｅ色素、及びＲ色素の３種類の色素で染色されている場合、ランベルト・ベールの法則により各波長λにおいて、以下の式（１１）が成立する。

　式（１１）において、ｋ_H（λ）、ｋ_E（λ）、及びｋ_R（λ）は、それぞれＨ色素、Ｅ色素、及びＲ色素に対応するｋ（λ）を表し、例えば、染色標本を染色している各色素の色素スペクトル（以下、「基準色素スペクトル」と記載）である。また、ｄ_H、ｄ_E、及びｄ_Rは、マルチバンド画像の各画素位置に対応する各標本点におけるＨ色素、Ｅ色素、及びＲ色素の仮想的な厚さを表す。本来、色素は、染色標本中に分散して存在するため、厚さという概念は正確ではないが、染色標本が単一の色素で染色されていると仮定した場合と比較して、どの程度の量の色素が存在しているかを表す相対的な色素量の指標となる。すなわち、ｄ_H、ｄ_E、及びｄ_Rは、それぞれＨ色素、Ｅ色素、及びＲ色素の色素量を表していると言える。なお、ｋ_H（λ）、ｋ_E（λ）、及びｋ_R（λ）は、Ｈ色素、Ｅ色素、及びＲ色素を用いてそれぞれ個別に染色した染色標本を予め用意し、その分光透過率を分光器で測定することによって、ランベルト・ベールの法則から容易に求めることができる。
　ここで、位置ｘにおける分光透過率をｔ（ｘ，λ）とし、分光吸光度をａ（ｘ，λ）とすると、式（９）は、以下の式（１２）に置き換えられる。

　そして、式（５）を用いて推定された分光透過率データＴ^（ｘ）の波長λにおける推定分光透過率をｔ^（ｘ，λ）、推定分光吸光度をａ^（ｘ，λ）とすると、式（１２）は、以下の式（１３）に置き換えられる。なお、ｔ^は、ｔの上に記号「^」が付いていることを示し、ａ^は、ａの上に記号「^」が付いていることを示す。

　式（１３）において未知変数はｄ_H、ｄ_E、及びｄ_Rの３つであるから、少なくとも３つの異なる波長λについて式（１３）を連立させれば、これらを解くことができる。より精度を高めるために、４つ以上の異なる波長λに対して式（１３）を連立させ、重回帰分析を行ってもよい。例えば、３つの波長λ₁，λ₂，λ₃について式（１３）を連立させた場合、以下の式（１４）のように行列表記することができる。

　ここで、式（１４）を以下の式（１５）に置き換える。

　式（１５）において、波長方向のサンプル点数をＤとすれば、Ａ^（ｘ）はａ^（ｘ，λ）に対応するＤ行１列の行列であり、Ｋはｋ（λ）に対応するＤ行３列の行列、ｄ（ｘ）は点ｘにおけるｄ_H、ｄ_E、及びｄ_Rに対応する３行１列の行列である。なお、Ａ^は、Ａの上に記号「^」が付いていることを示す。
　そして、式（１５）に従い、最小二乗法を用いて色素量ｄ_H，ｄ_E，ｄ_Rを算出する。最小二乗法とは単回帰式において誤差の二乗和を最小にするようにｄ（ｘ）を決定する方法であり、以下の式（１６）で算出することができる。

　式（１６）において、ｄ^（ｘ）は、推定された色素量である。推定された色素量ｄ_H^，ｄ_E^，ｄ_R^を式（１２）に代入すれば、復元した復元分光吸光度ａ~（ｘ，λ）は、以下の式（１７）で求められる。なお、ａ~は、ａの上に記号「~（チルダ）」が付いていることを示す。

　よって、色素量推定における推定誤差ｅ（λ）は、推定分光吸光度ａ^（ｘ，λ）と復元分光吸光度ａ~（ｘ，λ）から以下の式（１８）で求められる。

　以下、ｅ（λ）を残差スペクトルと記載する。式（１７），（１８）を用いて、推定分光吸光度ａ^（ｘ，λ）は、以下の式（１９）でも表される。

　色素量ｄ_H^，ｄ_E^，ｄ_R^が求まれば、これを修正することで、染色標本における色素量の変化をシミュレートすることができる。ここで、染色法によって染色された色素量ｄ_H^，ｄ_E^を修正する。赤血球本来の色である色素量ｄ_R^は修正しない。すなわち、補正色素量ｄ_H^^*，ｄ_E^^*は、適当な係数α_H，α_Eを用いて以下の式（２０），（２１）で求められる。

　補正色素量ｄ_H^^*，ｄ_E^^*を式（１７）に代入すれば、新たな復元分光吸光度α~^*（ｘ，λ）は、以下の式（２２）から求められる。

　また、残差スペクトルｅ（λ）を含める場合、新たな推定分光吸光度α^^*（ｘ，λ）は、以下の式（２３）から求められる。

　新たな復元分光吸光度α~^*（ｘ，λ）または新たな推定分光吸光度α^^*（ｘ，λ）を式（１０）に代入すれば、新たな分光透過率ｔ^＊（ｘ，λ）は、以下の式（２４）から求められる。

　式（２４）において、分光吸光度ａ^＊（ｘ，λ）は、新たな復元分光吸光度α~^*（ｘ，λ）または新たな推定分光吸光度α^^*（ｘ，λ）のいずれかを意味する。
　式（２４）を式（１）に代入すると、新たな画素値ｇ^＊（ｘ，ｂ）は、以下の式（２５）から求めることができる。この場合、観測ノイズｎ（ｂ）をゼロとして計算してよい。

　ここで、式（２５）を以下の式（２６）に置き換える。

　式（２６）において、Ｇ^＊（ｘ）はｇ^＊（ｘ，ｂ）に対応するＢ行１列の行列、Ｔ^＊（ｘ）はｔ^＊（ｘ，ｂ）に対応するＤ行１列の行列である。よって、色素量を仮想的に変化させた染色標本の画素値Ｇ^＊（ｘ）を合成することができる。以上の手順により、染色標本の色素量を仮想的に調整することができる。

　ランベルト・ベールの法則は、屈折や散乱が無いと仮定した場合に半透明物体を透過する光の減衰を定式化したものであるが、実際の染色標本では屈折も散乱も起こり得る。そのため、染色標本による光の減衰をランベルト・ベールの法則のみでモデル化した場合、このモデル化に伴った誤差が生じる。しかしながら、生体標本内での屈折や散乱を含めたモデルの構築は、極めて困難であり、実用上は実行不可能である。そこで、屈折や散乱の影響を含めたモデル化の誤差である残差スペクトルを加えることで、物理モデルによる不自然な色変動を引き起こさないようにすることができる。

　近年では、上述した式（１）～（２６）を利用して、染色標本のマルチバンド画像から染色標本を染色している複数の染色色素のうち、対象とする１つの染色色素による染色状態を表した単染色画像を算出する技術が提案されている（例えば、特許文献１参照）。なお、当該複数の染色色素としては、上述したＨ色素及びＥ色素の他、ＥＧＦＲ受容体を認識するＥＧＦＲ抗体を用い、ＤＡＢ反応による発色（以下、ＤＡＢ色素と記載）等が採用されている。
　そして、特許文献１に記載の技術によれば、Ｈ色素による染色状態を表した単染色画像（以下、Ｈ色素量画像と記載）を閾値処理して陰性細胞を抽出するとともに、ＤＡＢ色素による染色状態を表した単染色画像（以下、ＤＡＢ色素量画像と記載）を閾値処理して陽性細胞を抽出することで、陽性陰性判定を行うことができる。ここで、細胞の抽出方法としては、例えば、単染色画像における画素値（色素量）のヒストグラムに大津の方法等を用いて閾値を自動算出して二値化することにより、細胞を抽出する方法を例示することができる。

特許第５４９０５６８号公報

　図１８ないし図２２は、従来の課題を説明する図である。具体的に、図１８は、マルチバンド画像（染色標本画像）１００を示す図である。なお、図１８において、最も濃い部分は、Ｈ色素及びＤＡＢ色素により可視化された陽性細胞ＰＣである。また、次に濃い部分は、Ｈ色素により可視化された陰性細胞ＮＣである。図１９は、図１８に示したマルチバンド画像１００から算出したＤＡＢ色素量画像２００を示す図である。なお、図１９では、白に近付くにしたがって、ＤＡＢ色素の色素量が多い部分を示している。図２０は、図１８に示したマルチバンド画像１００から算出したＨ色素量画像３００を示す図である。なお、図２０では、白に近付くにしたがって、Ｈ色素の色素量が多い部分を示している。図２１は、Ｈ色素量画像３００における画素値（色素量）のヒストグラムを示す図である。なお、図２１において、横軸は色素量を示し、縦軸は頻度を示している。また、図２１の（ａ）は、Ｈ色素量画像３００全体のヒストグラムを示している。図２１の（ｂ）は、図２１の（ａ）に示したヒストグラムにおいて、画素値（色素量）の一部の範囲（０．０１～０．１）のみを抽出したヒストグラムである。図２１の（ｃ）は、図２１の（ａ）に示したヒストグラムにおいて、画素値（色素量）の一部の範囲（０．１～２）のみを抽出したヒストグラムである。図２２は、図２１に示したヒストグラムに大津の方法等を用いて閾値を自動算出して二値化し、Ｈ色素によるＨ染色領域ＡｒＨ´（白で示した部分）を抽出した画像４００を示す図である。

　ところで、マルチバンド画像においてバンド数が少ない場合には、情報が少ないため、算出する単染色画像の精度が低下してしまう。例えば、染色標本に対してＤＡＢ色素で陽性細胞ＰＣを可視化する細胞核免疫染色とＨ色素で陰性細胞ＮＣを可視化する細胞核対比染色が施されている場合には、Ｈ色素量画像３００において、陽性細胞ＰＣ領域でＨ色素が過検出される傾向にある（図１８～図２０）。すなわち、Ｈ色素量画像３００における画素値（色素量）のヒストグラムにおいて、高色素量範囲にアーチファクトが生じる（図２１）。このため、Ｈ色素量画像３００における画素値のヒストグラムに大津の方法等を用いて閾値を自動算出した場合には、当該ヒストグラムにアーチファクトが存在するため、好適に閾値を算出することができない。結果として、図１８に示したマルチバンド画像１００や図１９に示したＤＡＢ色素量画像２００と図２２に示したＨ染色領域ＡｒＨ´とを比較して分かるように、陽性細胞ＰＣを陰性細胞ＮＣとして抽出してしまう場合があり、好適に細胞を抽出することができない、という問題がある。

　本発明は、上記に鑑みてなされたものであって、好適に細胞を抽出することができる画像処理装置、画像処理方法、及び画像処理プログラムを提供することを目的とする。

　上述した課題を解決し、目的を達成するために、本発明に係る画像処理装置は、２種以上の染色が施された標本を撮像した染色標本画像から各染色による染色状態をそれぞれ表した単染色画像をそれぞれ算出する単染色画像算出部と、対象とする染色の前記単染色画像から当該対象とする染色による染色領域を抽出する抽出処理を前記２種以上の染色全てについて標的部位に対する特異性が高い染色から順に実行する染色領域抽出部と、対象とする染色の前記単染色画像から当該対象とする染色よりも前記特異性が高い全ての染色の前記染色領域を除いて当該単染色画像を修正する修正処理を前記２種以上の染色のうち前記特異性が最も高い第１染色を除く少なくとも１種の第２染色全てについて前記特異性が高い染色から順に実行する単染色画像修正部と、前記染色領域に基づいて画像解析を行う解析部とを備え、前記染色領域抽出部は、前記第２染色による前記染色領域を抽出する際、対象とする染色の前記単染色画像に対して前記修正処理が実行された修正単染色画像から当該対象とする染色による前記染色領域を抽出することを特徴とする。

　また、本発明に係る画像処理装置では、上記発明において、前記２種以上の染色の前記特異性に基づいて、前記抽出処理及び前記修正処理での前記２種以上の染色の処理順位を設定する処理順位設定部をさらに備えることを特徴とする。

　また、本発明に係る画像処理装置では、上記発明において、前記２種以上の染色の前記特異性を示す特異性情報を記憶する記憶部をさらに備え、前記処理順位設定部は、前記特異性情報に基づいて、前記処理順位を設定することを特徴とする。

　また、本発明に係る画像処理装置では、上記発明において、前記染色標本画像には、前記２種以上の染色の前記特異性を示す特異性情報が付加されており、前記処理順位設定部は、前記特異性情報に基づいて、前記処理順位を設定することを特徴とする。

　また、本発明に係る画像処理装置では、上記発明において、前記染色領域抽出部は、対象とする染色の前記単染色画像における画素値のヒストグラムを固定割合及び自動算出値の一方の閾値で二値化することで当該対象の染色による前記染色領域を抽出することを特徴とする。

　また、本発明に係る画像処理装置では、上記発明において、前記解析部は、前記染色領域に基づいて対象の染色で染色された細胞の数を計数することを特徴とする。

　また、本発明に係る画像処理装置では、上記発明において、前記染色領域を示す画像、及び前記細胞の数の少なくとも一方を表示する表示部をさらに備えることを特徴とする。

　また、本発明に係る画像処理装置では、上記発明において、前記単染色画像算出部は、前記染色標本画像に基づいて各染色の画素毎の色素量をそれぞれ推定する色素量推定部と、前記色素量推定部で推定された前記各染色の画素毎の色素量に基づいて当該各染色の前記単染色画像をそれぞれ算出する算出部とを備えることを特徴とする。

　また、本発明に係る画像処理装置では、上記発明において、前記単染色画像算出部は、前記染色標本画像から各画素の分光透過率を推定する分光透過率推定部をさらに備え、前記色素量推定部は、前記分光透過率推定部で推定された前記分光透過率を用いて前記各染色の画素毎の色素量をそれぞれ推定することを特徴とする。

　本発明に係る画像処理方法は、２種以上の染色が施された標本を撮像した染色標本画像から各染色による染色状態をそれぞれ表した単染色画像をそれぞれ算出する単染色画像算出ステップと、対象とする染色の前記単染色画像から当該対象とする染色による染色領域を抽出する抽出処理を前記２種以上の染色全てについて標的部位に対する特異性が高い染色から順に実行する染色領域抽出ステップと、対象とする染色の前記単染色画像から当該対象とする染色よりも前記特異性が高い全ての染色の前記染色領域を除いて当該単染色画像を修正する修正処理を前記２種以上の染色のうち前記特異性が最も高い第１染色を除く少なくとも２種の第２染色全てについて前記特異性が高い染色から順に実行する単染色画像修正ステップと、前記染色領域に基づいて画像解析を行う解析ステップとを備え、前記染色領域抽出ステップでは、前記第２染色による前記染色領域を抽出する際、対象とする染色の前記単染色画像に対して前記修正処理が実行された修正単染色画像から当該対象とする染色による前記染色領域を抽出することを特徴とする。

　本発明に係る画像処理プログラムは、上述した画像処理方法を画像処理装置に実行させることを特徴とする。

　本発明に係る画像処理装置、画像処理方法、及び画像処理プログラムによれば、好適に細胞を抽出することができる、という効果を奏する。

図１は、本実施の形態１に係る撮像システムの構成を示すブロック図である。 図２は、図１に示した撮像装置の構成を模式的に示す図である。 図３は、図２に示したＲＧＢカメラの分光感度特性の一例を示す図である。 図４は、図２に示した第１フィルタの分光特性の一例を示す図である。 図５は、図２に示した第２フィルタの分光特性の一例を示す図である。 図６は、図１に示した撮像システムの動作を示すフローチャートである。 図７は、図６に示したステップＳ２の処理手順を示すフローチャートである。 図８は、図７に示した単染色画像算出ステップＳ２Ａの処理手順を示すフローチャートである。 図９は、図７に示した染色領域抽出ステップＳ２Ｃで算出されたＤＡＢ色素量画像の画素値のヒストグラムの一例を示す図である。 図１０は、図７に示した染色領域抽出ステップＳ２ＣでＤＡＢ染色領域が抽出された画像の一例を示す図である。 図１１は、図７に示した単染色画像修正ステップＳ２Ｄで算出されたＨ修正色素量画像の一例を示す図である。 図１２は、図７に示した染色領域抽出ステップＳ２Ｅで算出されたＨ修正色素量画像の画素値のヒストグラムの一例を示す図である。 図１３は、図７に示した染色領域抽出ステップＳ２ＥでＨ染色領域が抽出された画像の一例を示す図である。 図１４は、本実施の形態２に係る画像処理方法を示すフローチャートである。 図１５は、細胞核免疫染色、細胞質免疫染色、及び細胞核対比染色の３種の染色が施された染色標本のマルチバンド画像（染色標本画像）の一例を示す図である。 図１６は、図１４に示した単染色画像修正ステップＳ２Ｊで算出された第２修正色素量画像の一例を示す図である。 図１７は、図１４に示した単染色画像修正ステップＳ２Ｌで算出された第３修正色素量画像の一例を示す図である。 図１８は、従来の課題を説明する図である。 図１９は、従来の課題を説明する図である。 図２０は、従来の課題を説明する図である。 図２１は、従来の課題を説明する図である。 図２２は、従来の課題を説明する図である。

　以下、図面を参照して、本発明を実施するための形態（以下、実施の形態）について説明する。なお、以下に説明する実施の形態によって本発明が限定されるものではない。さらに、図面の記載において、同一の部分には同一の符号を付している。

  （実施の形態１）
　〔撮像システムの概略構成〕
　図１は、本実施の形態１に係る撮像システム１の構成を示すブロック図である。
　撮像システム１は、２種以上の染色が施された染色標本を撮像し、当該撮像による染色標本画像を処理するシステムである。
　ここで、染色標本に施された２種以上の染色は、抗体としてＫｉ－６７、ＥＲ、あるいはＰｇＲ等を用いる細胞核免疫染色、抗体としてＨＥＲ２等を用いる細胞膜免疫染色、抗体としてセロトニン等を用いる細胞質免疫染色、色素としてヘマトキシリン（Ｈ）を用いる細胞核対比染色、色素としてエオジン（Ｅ）を用いる細胞質対比染色等を例示することができる。
　そして、撮像システム１は、図１に示すように、撮像装置２と、画像処理装置３とを備える。

　〔撮像装置の構成〕
　図２は、撮像装置２の構成を模式的に示す図である。
　撮像装置２は、２種以上の染色が施された染色標本Ｓのマルチバンド画像（本発明に係る染色標本画像に相当）を取得する装置である。この撮像装置２は、図２に示すように、ステージ２１と、照明部２２と、結像レンズ２３と、ＲＧＢカメラ２４と、フィルタ部２５とを備える。
　ステージ２１は、染色標本Ｓが載置される部分であり、画像処理装置３による制御の下、移動することで染色標本Ｓの観察箇所を変更可能に構成されている。
　照明部２２は、画像処理装置３による制御の下、ステージ２１上に載置された染色標本Ｓに照明光を照射する。
　結像レンズ２３は、染色標本Ｓに照射され、当該染色標本Ｓを透過した透過光をＲＧＢカメラ２４に結像させる。

　図３は、ＲＧＢカメラ２４の分光感度特性の一例を示す図である。
　ＲＧＢカメラ２４は、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）等の撮像素子を備え、画像処理装置３による制御の下、染色標本Ｓを透過した透過光を撮像する。このＲＧＢカメラ２４は、例えば、図３に示すＲ（赤），Ｇ（緑），Ｂ（青）の各バンドの分光感度特性を有する。

　図４は、第１フィルタ２５２の分光特性の一例を示す図である。図５は、第２フィルタ２５３の分光特性の一例を示す図である。
　フィルタ部２５は、結像レンズ２３からＲＧＢカメラ２４に至る光路上に配設され、ＲＧＢカメラ２４に結像する光の波長帯域を所定範囲に制限する。このフィルタ部２５は、画像処理装置３による制御の下、回転可能とするフィルタホイール２５１と、当該フィルタホイール２５１に設けられ、Ｒ，Ｇ，Ｂの各バンドの透過波長領域を２分するように、それぞれ異なる分光特性（例えば、図４，図５の分光特性）を有する第１，第２フィルタ２５２，２５３とを備える。

　そして、撮像装置２は、画像処理装置３による制御の下、以下に示すように、染色標本Ｓのマルチバンド画像を取得する。
　先ず、撮像装置２は、照明部２２からＲＧＢカメラ２４に至る光路上に第１フィルタ２５２を位置付けるとともに、照明部２２から染色標本Ｓに照明光を照射する。そして、ＲＧＢカメラ２４は、染色標本Ｓを透過し、第１フィルタ２５２及び結像レンズ２３を介した透過光を撮像する（第１の撮像）。
　次に、撮像装置２は、照明部２２からＲＧＢカメラ２４に至る光路上に第２フィルタ２５３を位置付け、第１の撮像と同様にして第２の撮像を行う。
　これにより、第１，第２の撮像でそれぞれ異なる３バンドの画像を取得し、合計で６バンドのマルチバンド画像を取得する。

　なお、フィルタ部２５に設けるフィルタの数は、２枚に限らず、３枚以上のフィルタを設けて、さらに多くのバンドの画像を取得しても構わない。また、撮像装置２は、フィルタ部２５を省略して、ＲＧＢカメラ２４によりＲＧＢ画像のみを取得するように構成しても構わない。さらに、フィルタ部２５の代わりに、分光特性を変えることができる液晶チューナブルフィルタや音響光学チューナブルフィルタを採用しても構わない。また、分光特性の異なる複数の光を切り替えて染色標本Ｓに照射することで、マルチバンド画像を取得しても構わない。

　〔画像処理装置の構成〕
　画像処理装置３は、撮像装置２で取得された染色標本Ｓのマルチバンド画像を処理する装置である。この画像処理装置３は、図１に示すように、画像取得部３１と、制御部３２と、記憶部３３と、入力部３４と、表示部３５と、演算部３６とを備える。
　画像取得部３１は、撮像システム１の態様に応じて適宜構成される。例えば、撮像装置２を画像処理装置３に接続する場合、画像取得部３１は、撮像装置２から出力されたマルチバンド画像（画像データ）を取り込むインターフェースによって構成される。また、撮像装置２によって取得されたマルチバンド画像を保存しておくサーバを設置する場合、画像取得部３１は、当該サーバと接続される通信装置等により構成され、当該サーバとデータ通信を行ってマルチバンド画像を取得する。あるいは、画像取得部３１を、可搬型の記録媒体を着脱自在に装着し、当該記録媒体に記録されたマルチバンド画像を読み出すリーダ装置によって構成しても構わない。

　制御部３２は、ＣＰＵ（Central Processing Unit）等を用いて構成されている。この制御部３２は、画像取得部３１や撮像装置２の動作を制御してマルチバンド画像を取得する画像取得制御部３２１を有する。そして、制御部３２は、入力部３４から入力される入力信号、画像取得部３１から入力されるマルチバンド画像、及び記憶部３３に格納されているプログラムやデータ等に基づいて画像取得部３１及び撮像装置２の動作を制御する。
　記憶部３３は、更新記録可能なフラッシュメモリ等のＲＯＭ（Read Only Memory）やＲＡＭ（Random Access Memory）等の各種ＩＣメモリ、内蔵若しくはデータ通信端子で接続されたハードディスク、若しくはＣＤ－ＲＯＭ等の情報記憶装置及び当該情報記憶装置に対する情報の書込読取装置等によって構成されている。この記憶部３３は、図１に示すように、画像処理プログラムを記憶するプログラム記憶部３３１と、画像取得部３１で取得されたマルチバンド画像、当該画像処理プログラムの実行中に使用される画像データや各種パラメータ等を記憶する画像データ記憶部３３２と、例えば以下の表１に示す特異性情報を記憶する特異性情報記憶部３３３とを備える。

　特異性情報は、演算部３６での後述する抽出処理及び修正処理での処理順位を設定する際に用いられる情報であり、染色の標的とする標的部位に対する特異性が高い（結合力が強い）染色から順に順位付けされた情報である。
　具体的に、特異性情報では、表１に示すように、細胞核免疫染色が最も高い順位とされ、細胞膜免疫染色、細胞質免疫染色、細胞核対比染色、及び細胞質対比染色の順に順位が下がるように設定されている。なお、下記表１は、一例であり、個々に製造された抗体により、順位は、変化する。例えば、セロトニンが順位１で、Ｋｉ－６７が順位３になることも、製造された抗体により決定される。

　以下、染色標本Ｓに施された２種以上の染色のうち、順位の最も高い（特異性が最も高い）染色を第１染色と記載し、その他の染色を第２染色と記載する。

　入力部３４は、例えば、キーボードやマウス、タッチパネル、各種スイッチ等の各種入力装置によって構成され、操作入力に応じた入力信号を制御部３２に出力する。例えば、入力部３４には、ユーザ操作に応じて、染色標本Ｓに施された染色の種別が入力される。そして、制御部３２は、当該入力された染色の種別を示す情報をメタデータとして画像データ記憶部３３２に記憶されたマルチバンド画像に付加する。
　表示部３５は、ＬＣＤ（Liquid Crystal Display）やＥＬ（Electro Luminescence）ディスプレイ、ＣＲＴ（Cathode Ray Tube）ディスプレイ等の表示装置によって実現され、制御部３２から入力される表示信号を基に各種画面を表示する。

　演算部３６は、ＣＰＵ等を用いて構成されている。この演算部３６は、画像データ記憶部３３２に記憶されたマルチバンド画像を読み出し、当該マルチバンド画像に付加されたメタデータにより、染色標本Ｓに施された染色の種別を認識する。そして、演算部３６は、認識した各染色に応じて、当該マルチバンド画像に画像処理を施す。この演算部３６は、図１に示すように、単染色画像算出部３６１と、処理順位設定部３６５と、染色領域抽出部３６６と、単染色画像修正部３６７と、解析部３６８とを備える。
　単染色画像算出部３６１は、マルチバンド画像から各染色による染色状態をそれぞれ表した単染色画像をそれぞれ算出する。この単染色画像算出部３６１は、図１に示すように、分光透過率推定部３６２と、色素量推定部３６３と、算出部３６４とを備える。
　分光透過率推定部３６２は、マルチバンド画像から各画素の分光透過率を推定する。
　色素量推定部３６３は、分光透過率推定部３６２で推定された分光透過率を用いて各染色の画素毎の色素量をそれぞれ推定する。
　算出部３６４は、色素量推定部３６３で推定された各染色の画素毎の色素量に基づいて当該各染色の単染色画像をそれぞれ算出する。

　処理順位設定部３６５は、特異性情報記憶部３３３に記憶された特異性情報に基づいて、染色領域抽出部３６６の抽出処理、及び単染色画像修正部３６７の修正処理での染色標本Ｓに施された各染色の処理順位を設定する。
　染色領域抽出部３６６は、対象とする染色の単染色画像から当該対象とする染色による染色領域を抽出する処理を染色標本Ｓに施された各染色全てについて処理順位設定部３６５で設定された処理順位の順に実行する。また、染色領域抽出部３６６は、第２染色による染色領域を抽出する際、対象とする染色の単染色画像に対して単染色画像修正部３６７で修正処理が実行された修正単染色画像から当該対象とする染色による染色領域を抽出する。
　単染色画像修正部３６７は、対象とする染色の単染色画像から、当該対象とする染色よりも処理順位設定部３６５で設定された処理順位の高い全ての染色の染色領域を除いて当該単染色画像を修正する修正処理を第２染色全てについて当該処理順位の順に実行する。
　解析部３６８は、染色領域抽出部３６６で抽出された染色領域に基づいて画像解析を行う。

　〔撮像システムの動作〕
　次に、上述した撮像システム１の動作について説明する。
　図６は、撮像システム１の動作を示すフローチャートである。
　先ず、画像取得制御部３２１は、撮像装置２の動作を制御し、染色標本Ｓのマルチバンド画像を取得する（ステップＳ１）。撮像装置２で取得されたマルチバンド画像は、画像取得部３１を介して、記憶部３３（画像データ記憶部３３２）に記憶される。
　以下では、染色標本Ｓに対して、細胞核免疫染色及び細胞核対比染色の２種の染色が施されているものとする。すなわち、撮像装置２で取得されたマルチバンド画像１００は、例えば、図１８に示すように、ＤＡＢ色素及びＨ色素により、陽性細胞ＰＣ及び陰性細胞ＮＣがそれぞれ可視化されたものとなる。以下では、説明の便宜上、当該細胞核免疫染色をＤＡＢ染色と記載し、当該細胞核対比染色をＨ染色と記載する。

　ステップＳ１の後、演算部３６は、画像データ記憶部３３２に記憶されたマルチバンド画像１００を読み出し、当該マルチバンド画像１００に付加されたメタデータにより、染色標本Ｓに施された染色の種別（ここでは、ＤＡＢ染色及びＨ染色）を認識する。そして、演算部３６は、認識した各染色に応じて、マルチバンド画像１００に画像処理を施す（ステップＳ２）。
　図７は、ステップＳ２の処理手順を示すフローチャートである。なお、図７に示すフローチャートは、本発明に係る画像処理方法に相当する。
　単染色画像算出部３６１は、マルチバンド画像１００からＤＡＢ染色及びＨ染色の各染色による染色状態をそれぞれ表した単染色画像をそれぞれ算出する（ステップＳ２Ａ：単染色画像算出ステップ）。
　なお、本実施の形態１では、単染色画像算出部３６１は、単染色画像として、画素値を色素量とした色素量画像を算出する。

　図８は、単染色画像算出ステップＳ２Ａの処理手順を示すフローチャートである。
　分光透過率推定部３６２は、例えばウィナー推定（上述した式（１）～（６））により、マルチバンド画像１００から各画素の分光透過率を推定する（ステップＳ２Ａ１）。
　ステップＳ２Ａ１の後、色素量推定部３６３は、例えばランベルト・ベールの法則（上述した式（７）～（１６））により、分光透過率推定部３６２で推定された分光透過率を用いてＤＡＢ染色及びＨ染色の各染色の画素毎の色素量をそれぞれ推定する（ステップＳ２Ａ２）。
　ステップＳ２Ａ２の後、算出部３６４は、色素量推定部３６３で推定されたＤＡＢ染色の画素毎の色素量を各画素値としたＤＡＢ色素量画像２００（図１９）、及び色素量推定部３６３で推定されたＨ染色の画素毎の色素量を各画素値としたＨ色素量画像３００（図２０）をそれぞれ算出する（ステップＳ２Ａ３）。

　ステップＳ２Ａの後、処理順位設定部３６５は、特異性情報記憶部３３３に記憶された特異性情報に基づいて、ＤＡＢ染色及びＨ染色の処理順位を設定する（ステップＳ２Ｂ）。すなわち、処理順位設定部３６５は、ステップＳ２Ｂにおいて、ＤＡＢ染色（第１染色）を１番目の処理順位とし、Ｈ染色（第２染色）を２番目の処理順位とする。

　ステップＳ２Ｂの後、染色領域抽出部３６６は、処理順位設定部３６５で１番目の処理順位として設定されたＤＡＢ染色（第１染色）のＤＡＢ色素量画像２００からＤＡＢ染色によるＤＡＢ染色領域を抽出する抽出処理を実行する（ステップＳ２Ｃ：染色領域抽出ステップ）。
　図９は、染色領域抽出ステップＳ２Ｃで算出されたＤＡＢ色素量画像２００の画素値のヒストグラムの一例を示す図である。なお、図９の（ａ）～（ｃ）は、図２１の（ａ）～（ｃ）にそれぞれ対応したヒストグラムである。図１０は、染色領域抽出ステップＳ２ＣでＤＡＢ染色領域ＡｒＤ（白で示した部分）が抽出された画像５００の一例を示す図である。
　具体的に、染色領域抽出部３６６は、ステップＳ２Ｃにおいて、ＤＡＢ色素量画像２００の画素値のヒストグラム（図９）を算出する。そして、染色領域抽出部３６６は、当該算出したヒストグラムに大津の方法やＫ－ｍｅａｎｓ法等を用いて閾値を自動算出して二値化し、ＤＡＢ染色によるＤＡＢ染色領域ＡｒＤ（図１０）を抽出する。

　図１１は、単染色画像修正ステップＳ２Ｄで算出されたＨ修正色素量画像３０１の一例を示す図である。なお、図１１では、白に近付くにしたがって、Ｈ色素の色素量が多い部分を示している。
　ステップＳ２Ｃの後、単染色画像修正部３６７は、処理順位設定部３６５で２番目の処理順位として設定されたＨ染色（第２染色）のＨ色素量画像３００から、処理順位設定部３６５で１番目の処理順位として設定されたＤＡＢ染色（第１染色）のＤＡＢ染色領域ＡｒＤを除いてＨ色素量画像３００を修正したＨ修正色素量画像３０１（図１１）を算出する（ステップＳ２Ｄ：単染色画像修正ステップ）。
　なお、Ｈ修正色素量画像３０１において、除かれたＤＡＢ染色領域ＡｒＤは、その後の処理（ステップＳ２Ｅ）において処理対象にはならない部分である。

　ステップＳ２Ｄの後、染色領域抽出部３６６は、処理順位設定部３６５で２番目の処理順位として設定されたＨ染色（第２染色）のＨ修正色素量画像３０１からＨ染色によるＨ染色領域を抽出する抽出処理を実行する（ステップＳ２Ｅ：染色領域抽出ステップ）。
　図１２は、染色領域抽出ステップＳ２Ｅで算出されたＨ修正色素量画像３０１の画素値のヒストグラムの一例を示す図である。なお、図１２の（ａ）～（ｃ）は、図２１の（ａ）～（ｃ）にそれぞれ対応したヒストグラムである。図１３は、染色領域抽出ステップＳ２ＥでＨ染色領域ＡｒＨ（白で示した部分）が抽出された画像６００の一例を示す図である。
　具体的に、染色領域抽出部３６６は、ステップＳ２Ｅにおいて、Ｈ修正色素量画像３０１の画素値のヒストグラム（図１２）を算出する。そして、染色領域抽出部３６６は、当該算出したヒストグラムに大津の方法やＫ－ｍｅａｎｓ法等を用いて閾値を自動算出して二値化し、Ｈ染色によるＨ染色領域ＡｒＨ（図１３）を抽出する。

　ステップＳ２Ｅの後、解析部３６８は、ＤＡＢ染色領域ＡｒＤ及びＨ染色領域Ｈに基づいて画像解析を行う（ステップＳ２Ｆ：解析ステップ）。
　例えば、解析部３６８は、ステップＳ２Ｆにおいて、ＤＡＢ染色領域ＡｒＤに対して、膨張、収縮、穴埋め等のモフォロジー処理を行うことで、陽性細胞の形状を補正するとともに、当該陽性細胞を計数する。また、解析部３６８は、Ｈ染色領域ＡｒＨに対して、上述したモフォロジー処理を行うことで、陰性細胞の形状を補正するとともに、当該陰性細胞を計数する。そして、解析部３６８は、陽性陰性判定を行う。

　ステップＳ２の後、制御部３２は、演算部３６による処理結果（ＤＡＢ染色領域ＡｒＤやＨ染色領域ＡｒＨを示す画像、陽性細胞及び陰性細胞の各計数値、陽性陰性判定の結果等）を表示部３５に表示させる（ステップＳ３）。

　以上説明した本実施の形態１によれば、以下の効果を奏する。
　本実施の形態１に係る画像処理装置３は、対象とする色素量画像から当該対象とする染色による染色領域を抽出する抽出処理を染色標本Ｓに施された各染色全てについて特異性が高い染色から順に実行する。また、画像処理装置３は、対象とする染色の色素量画像から当該対象とする染色よりも特異性が高い全ての染色の染色領域を除いて当該色素量画像を修正する修正処理を染色標本Ｓに施された各染色のうち特異性が最も高い第１染色を除く少なくとも１種の第２染色全てについて特異性が高い染色から順に実行する。さらに、画像処理装置３は、第２染色による染色領域を抽出する際、対象とする染色の色素量画像に対して修正処理が実行された修正単染色画像から当該対象とする染色による染色領域を抽出する。そして、画像処理装置３は、抽出した染色領域に基づいて画像解析を行う。
　すなわち、画像処理装置３では、図１２に示したヒストグラムと図２１に示したヒストグラムとを比較して分かるように、Ｈ染色領域ＡｒＨを抽出する際に用いるＨ修正色素量画像３０１において、高色素量範囲に存在していたアーチファクトを除去することができる。このため、Ｈ修正色素量画像３０１における画素値のヒストグラムに大津の方法等を用いれば、好適に閾値を自動算出することができる。
　したがって、本実施の形態１に係る画像処理装置３によれば、図１３に示したＨ染色領域ＡｒＨと図２２に示したＨ染色領域ＡｒＨ´とを比較して分かるように、Ｈ染色領域ＡｒＨを好適に抽出し、陽性細胞ＰＣを陰性細胞ＮＣとして抽出してしまう場合がない。すなわち、好適に細胞を抽出することができる、という効果を奏する。

　また、本実施の形態１に係る画像処理装置３は、特異性情報記憶部３３３に記憶された特異性情報に基づいて、抽出処理及び修正処理での染色標本Ｓに施された各染色の処理順位を設定する。このため、抽出処理及び修正処理において、適切な処理順位で処理を行うことができ、染色領域を適切に抽出し、かつ、修正色素量画像を適切に算出することができる。

　また、本実施の形態１に係る画像処理装置３は、色素量画像を算出する際、ウィナー推定等によりマルチバンド画像から各画素の分光透過率を推定し、ランベルト・ベールの法則により当該分光透過率を用いて各染色の画素毎の色素量を推定する。このため、各染色の画素毎の色素量を精度良く推定することができる。

（実施の形態２）
　次に、本実施の形態２について説明する。
　以下の説明では、上述した実施の形態１と同様の構成及びステップには同一符号を付し、その詳細な説明は省略または簡略化する。
　上述した実施の形態１では、染色標本Ｓに対して２種の染色が施された場合での演算部３６の処理について説明した。
　本実施の形態２では、染色標本Ｓに対して３種の染色が施された場合での演算部３６の処理について説明する。

　図１４は、本実施の形態２に係る画像処理方法を示すフローチャートである。なお、図１４は、図７に対応したステップＳ２の処理手順を示すフローチャートである。図１５は、細胞核免疫染色、細胞質免疫染色、及び細胞核対比染色の３種の染色が施された染色標本Ｓのマルチバンド画像（染色標本画像）７００の一例を示す図である。
　以下では、染色標本Ｓに対して、細胞核免疫染色、細胞質免疫染色、及び細胞核対比染色の３種の染色が施されているものとする。すなわち、撮像装置２で取得されたマルチバンド画像７００には、例えば、図１５に示すように、細胞核免疫染色Ｓｔ１により可視化された部分と、細胞質免疫染色Ｓｔ２により可視化された部分と、細胞核対比染色Ｓｔ３により可視化された部分とが存在する。

　ステップＳ２において、先ず、単染色画像算出部３６１は、上述した実施の形態１で説明したステップＳ２Ａと同様の処理により、マルチバンド画像７００から細胞核免疫染色Ｓｔ１、細胞質免疫染色Ｓｔ２、及び細胞核対比染色Ｓｔ３の各染色による染色状態をそれぞれ表した単染色画像をそれぞれ算出する（ステップＳ２Ｇ：単染色画像算出ステップ）。すなわち、単染色画像算出部３６１は、ステップＳ２Ｇにおいて、細胞核免疫染色Ｓｔ１の画素毎の色素量を各画素値とした第１色素量画像（図示略）、細胞質免疫染色Ｓｔ２の画素毎の色素量を各画素値とした第２色素量画像（図示略）、及び細胞核対比染色Ｓｔ３の画素毎の色素量を各画素値とした第３色素量画像（図示略）をそれぞれ算出する。

　ステップＳ２Ｇの後、処理順位設定部３６５は、上述した実施の形態１で説明したステップＳ２Ｂと同様の処理により、特異性情報記憶部３３３に記憶された特異性情報に基づいて、細胞核免疫染色Ｓｔ１、細胞質免疫染色Ｓｔ２、及び細胞核対比染色Ｓｔ３の処理順位を設定する（ステップＳ２Ｈ）。すなわち、処理順位設定部３６５は、ステップＳ２Ｈにおいて、細胞核免疫染色（第１染色）Ｓｔ１を１番目の処理順位とし、細胞質免疫染色（第２染色）Ｓｔ２を２番目の処理順位とし、細胞核対比染色（第２染色）Ｓｔ３を３番目の処理順位とする。

　ステップＳ２Ｈの後、染色領域抽出部３６６は、上述した実施の形態１で説明したステップＳ２Ｃと同様の処理により、処理順位設定部３６５で１番目の処理順位として設定された細胞核免疫染色（第１染色）Ｓｔ１の第１色素量画像から細胞核免疫染色Ｓｔ１による第１染色領域Ａｒ１（図１６参照）を抽出する抽出処理を実行する（ステップＳ２Ｉ：染色領域抽出ステップ）。

　図１６は、単染色画像修正ステップＳ２Ｊで算出された第２修正色素量画像８００の一例を示す図である。
　ステップＳ２Ｉの後、単染色画像修正部３６７は、上述した実施の形態１で説明したステップＳ２Ｄと同様の処理により、処理順位設定部３６５で２番目の処理順位として設定された細胞質免疫染色（第２染色）Ｓｔ２の第２色素量画像から、処理順位設定部３６５で１番目の処理順位として設定された細胞核免疫染色Ｓｔ１の第１染色領域Ａｒ１を除いて当該第２色素量画像を修正した第２修正色素量画像８００（図１６）を算出する（ステップＳ２Ｊ：単染色画像修正ステップ）。
　なお、第２修正色素量画像８００において、除かれた第１染色領域Ａｒ１は、その後の処理（ステップＳ２Ｋ）において処理対象にならない部分である。

　ステップＳ２Ｊの後、染色領域抽出部３６６は、上述した実施の形態１で説明したステップＳ２Ｅと同様の処理により、処理順位設定部３６５で２番目の処理順位として設定された細胞質免疫染色（第２染色）Ｓｔ２の第２修正色素量画像８００から細胞質免疫染色Ｓｔ２による第２染色領域Ａｒ２（図１７参照）を抽出する抽出処理を実行する（ステップＳ２Ｋ：染色領域抽出ステップ）。

　図１７は、単染色画像修正ステップＳ２Ｌで算出された第３修正色素量画像９００の一例を示す図である。
　ステップＳ２Ｋの後、単染色画像修正部３６７は、上述したステップＳ２Ｊと同様の処理により、処理順位設定部３６５で３番目の処理順位として設定された細胞核対比染色（第２染色）Ｓｔ３の第３色素量画像から、処理順位設定部３６５で１，２番目の処理順位としてそれぞれ設定された細胞核免疫染色Ｓｔ１及び細胞質免疫染色Ｓｔ２の第１，第２染色領域Ａｒ１，Ａｒ２を除いて当該第３色素量画像を修正した第３修正色素量画像９００（図１７）を算出する（ステップＳ２Ｌ：単染色画像修正ステップ）。
　なお、第３修正色素量画像９００において、除かれた第１，第２染色領域Ａｒ１，Ａｒ２は、その後の処理（ステップＳ２Ｍ）において処理対象にならない部分である。

　ステップＳ２Ｌの後、染色領域抽出部３６６は、ステップＳ２Ｉ，Ｓ２Ｋと同様の処理により、処理順位設定部３６５で３番目の処理順位として設定された細胞核対比染色（第２染色）Ｓｔ３の第３修正色素量画像９００から細胞核対比染色Ｓｔ３による第３染色領域Ａｒ３（図１７）を抽出する抽出処理を実行する（ステップＳ２Ｍ：染色領域抽出ステップ）。
　ステップＳ２Ｍの後、解析部３６８は、上述した実施の形態１で説明したステップＳ２Ｆと同様に、第１～第３染色領域Ａｒ１～Ａｒ３に基づいて画像解析を行う（ステップＳ２Ｎ：解析ステップ）。
　以上説明した本実施の形態２のように染色標本Ｓに３種の染色が施されている場合であっても、上述した実施の形態１と同様の効果を奏する。

（その他の実施形態）
　ここまで、本発明を実施するための形態を説明してきたが、本発明は上述した実施の形態１，２によってのみ限定されるべきものではない。
　上述した実施の形態１，２では、本発明に係る単染色画像として、色素量を画素値とした色素量画像を採用していたが、これに限らない。
　例えば、ステップＳ２Ａ３において、各染色の画素毎の色素量をそれぞれ推定した後、当該色素量から、上述した式（１７）～（２６）により、ＲＧＢ値を画素値（Ｇ^＊（ｘ））とした単染色色再現画像を算出し、当該単染色色再現画像を本発明に係る単染色画像として採用しても構わない。なお、対象とする染色の単染色色再現画像を算出する際には、上述した式（２０）や式（２１）において、当該対象とする染色の色素量に対する係数αを１とし、その他の染色の色素量に対する係数αを０とする。
　また、上述した単染色色再現画像に対して各バンドの平均値を算出し、得られたグレースケール画像を本発明に係る単染色画像として採用しても構わない。
　さらに、マルチバンド画像における各画素の画素値から直接、ルックアップテーブルや変換行列を用いて、ＲＧＢ値を画素値とした各染色の単染色色再現画像をそれぞれ算出し、当該単染色色再現画像を本発明に係る単染色画像として採用しても構わない。

　上述した実施の形態１，２では、ステップＳ２Ａ３において、マルチバンド画像から各画素の分光透過率を推定し、当該分光透過率を用いて各染色の画素毎の色素量をそれぞれ推定していたが、これに限らない。
　例えば、マルチバンド画像における各画素の画素値から直接、ルックアップテーブルや、回帰分析で求めた色素量推定行列を用いて、各染色の画素毎の色素量をそれぞれ推定しても構わない。

　上述した実施の形態１，２では、画像処理装置３は、マルチバンド画像に付加されたメタデータから染色標本Ｓに施された染色の種別を認識し、特異性情報記憶部３３３に記憶された特異性情報に基づいて、抽出処理及び修正処理での各染色の処理順位を設定していたが、これに限らない。
　例えば、入力部３４には、ユーザ操作に応じて、染色標本Ｓに施された染色の種別の他、特異性情報が入力される。そして、制御部３２は、当該入力された染色の種別を示す情報及び特異性情報をメタデータとして画像データ記憶部３３２に記憶されたマルチバンド画像に付加する。すなわち、処理順位設定部３６５は、メタデータ（染色の種別を示す情報、及び特異性情報）に基づいて、抽出処理及び修正処理での各染色の処理順位を設定する。このため、このように構成した場合には、特異性情報記憶部３３３を省略することができる。
　また、入力部３４には、ユーザ操作に応じて、染色標本Ｓに施された染色の種別の他、各染色の処理順位が入力される。そして、制御部３２は、当該入力された染色の種別を示す情報及び各染色の処理順位を示す情報をメタデータとして画像データ記憶部３３２に記憶されたマルチバンド画像に付加する。すなわち、染色領域抽出部３６６及び単染色画像修正部３６７は、当該メタデータに記載の処理順位にしたがって抽出処理及び修正処理をそれぞれ実行する。このため、このように構成した場合には、処理順位設定部３６５及び特異性情報記憶部３３３を省略することができる。

　上述した実施の形態１，２では、画像処理装置３は、マルチバンド画像に付加されたメタデータから染色標本Ｓに施された染色の種別を認識していたが、これに限らない。
　例えば、マルチバンド画像の色分布等から染色標本Ｓに施された染色の種別を判定しても構わない。
　上述した実施の形態１，２において、染色標本Ｓに施す染色の組み合わせは、実施の形態１，２で説明した組み合わせに限らず、その他の組み合わせを採用しても構わない。また、当該染色の種類も４種以上としても構わない。
　上述した実施の形態１，２では、ステップＳ２Ｃ，Ｓ２Ｅ，Ｓ２Ｉ，Ｓ２Ｋ，Ｓ２Ｍにおいて、算出したヒストグラムに大津の方法等を用いて閾値を自動算出していたが、これに限らない。例えば、全画素数に対して色素量の上位５～２０％程度の固定割合を当該閾値として採用しても構わない。

　１　撮像システム
　２　撮像装置
　３　画像処理装置
　２１　ステージ
　２２　照明部
　２３　結像レンズ
　２４　ＲＧＢカメラ
　２５　フィルタ部
　３１　画像取得部
　３２　制御部
　３３　記憶部
　３４　入力部
　３５　表示部
　３６　演算部
　１００，７００　マルチバンド画像
　２００　ＤＡＢ色素量画像
　２５１　フィルタホイール
　２５２，２５３　第１，第２フィルタ
　３００　Ｈ色素量画像
　３０１　Ｈ修正色素量画像
　３２１　画像取得制御部
　３３１　プログラム記憶部
　３３２　画像データ記憶部
　３３３　特異性情報記憶部
　３６１　単染色画像算出部
　３６２　分光透過率推定部
　３６３　色素量推定部
　３６４　算出部
　３６５　処理順位設定部
　３６６　染色領域抽出部
　３６７　単染色画像修正部
　３６８　解析部
　４００，５００，６００　画像
　８００，９００　第２，第３修正色素量画像
　Ａｒ１～Ａｒ３　第１～第３染色領域
　ＡｒＤ　ＤＡＢ染色領域
　ＡｒＨ，ＡｒＨ´　Ｈ染色領域
　ＮＣ　陰性細胞
　ＰＣ　陽性細胞
　Ｓ　染色標本
　Ｓｔ１　細胞核免疫染色
　Ｓｔ２　細胞質免疫染色
　Ｓｔ３　細胞核対比染色

Claims (11)

1. 　２種以上の染色が施された標本を撮像した染色標本画像から各染色による染色状態をそれぞれ表した単染色画像をそれぞれ算出する単染色画像算出部と、
   　対象とする染色の前記単染色画像から当該対象とする染色による染色領域を抽出する抽出処理を前記２種以上の染色全てについて標的部位に対する特異性が高い染色から順に実行する染色領域抽出部と、
   　対象とする染色の前記単染色画像から当該対象とする染色よりも前記特異性が高い全ての染色の前記染色領域を除いて当該単染色画像を修正する修正処理を前記２種以上の染色のうち前記特異性が最も高い第１染色を除く少なくとも１種の第２染色全てについて前記特異性が高い染色から順に実行する単染色画像修正部と、
   　前記染色領域に基づいて画像解析を行う解析部とを備え、
   　前記染色領域抽出部は、
   　前記第２染色による前記染色領域を抽出する際、対象とする染色の前記単染色画像に対して前記修正処理が実行された修正単染色画像から当該対象とする染色による前記染色領域を抽出する
   　ことを特徴とする画像処理装置。
2. 　前記２種以上の染色の前記特異性に基づいて、前記抽出処理及び前記修正処理での前記２種以上の染色の処理順位を設定する処理順位設定部をさらに備える
   　ことを特徴とする請求項１に記載の画像処理装置。
3. 　前記２種以上の染色の前記特異性を示す特異性情報を記憶する記憶部をさらに備え、
   　前記処理順位設定部は、
   　前記特異性情報に基づいて、前記処理順位を設定する
   　ことを特徴とする請求項２に記載の画像処理装置。
4. 　前記染色標本画像には、
   　前記２種以上の染色の前記特異性を示す特異性情報が付加されており、
   　前記処理順位設定部は、
   　前記特異性情報に基づいて、前記処理順位を設定する
   　ことを特徴とする請求項２に記載の画像処理装置。
5. 　前記染色領域抽出部は、
   　対象とする染色の前記単染色画像における画素値のヒストグラムを固定割合及び自動算出値の一方の閾値で二値化することで当該対象の染色による前記染色領域を抽出する
   　ことを特徴とする請求項１～４のいずれか一つに記載の画像処理装置。
6. 　前記解析部は、
   　前記染色領域に基づいて対象の染色で染色された細胞の数を計数する
   　ことを特徴とする請求項１～５のいずれか一つに記載の画像処理装置。
7. 　前記染色領域を示す画像、及び前記細胞の数の少なくとも一方を表示する表示部をさらに備える
   　ことを特徴とする請求項６に記載の画像処理装置。
8. 　前記単染色画像算出部は、
   　前記染色標本画像に基づいて各染色の画素毎の色素量をそれぞれ推定する色素量推定部と、
   　前記色素量推定部で推定された前記各染色の画素毎の色素量に基づいて当該各染色の前記単染色画像をそれぞれ算出する算出部とを備える
   　ことを特徴とする請求項１～７のいずれか一つに記載の画像処理装置。
9. 　前記単染色画像算出部は、
   　前記染色標本画像から各画素の分光透過率を推定する分光透過率推定部をさらに備え、
   　前記色素量推定部は、
   　前記分光透過率推定部で推定された前記分光透過率を用いて前記各染色の画素毎の色素量をそれぞれ推定する
   　ことを特徴とする請求項８に記載の画像処理装置。
10. 　２種以上の染色が施された標本を撮像した染色標本画像から各染色による染色状態をそれぞれ表した単染色画像をそれぞれ算出する単染色画像算出ステップと、
    　対象とする染色の前記単染色画像から当該対象とする染色による染色領域を抽出する抽出処理を前記２種以上の染色全てについて標的部位に対する特異性が高い染色から順に実行する染色領域抽出ステップと、
    　対象とする染色の前記単染色画像から当該対象とする染色よりも前記特異性が高い全ての染色の前記染色領域を除いて当該単染色画像を修正する修正処理を前記２種以上の染色のうち前記特異性が最も高い第１染色を除く少なくとも１種の第２染色全てについて前記特異性が高い染色から順に実行する単染色画像修正ステップと、
    　前記染色領域に基づいて画像解析を行う解析ステップとを備え、
    　前記染色領域抽出ステップでは、
    　前記第２染色による前記染色領域を抽出する際、対象とする染色の前記単染色画像に対して前記修正処理が実行された修正単染色画像から当該対象とする染色による前記染色領域を抽出する
    　ことを特徴とする画像処理方法。
11. 　請求項１０に記載の画像処理方法を画像処理装置に実行させる
    　ことを特徴とする画像処理プログラム。

Images