以下、図面を参照し、本発明の好適な実施の形態について詳細に説明する。本実施の形態では、H&E染色された染色標本(生体組織標本)を被写体とし、この染色標本を撮像した染色標本画像であるマルチバンド画像から血管領域を特定する場合について説明する。なお、この実施の形態によって本発明が限定されるものではない。また、図面の記載において、同一部分には同一の符号を付して示している。
先ず、本実施の形態で行う染色標本画像中の血管領域の特定処理の概要について説明する。図1−1は、中央部に血管が写る染色標本画像の一例を示す図である。また、図1−2は、染色標本画像中の血管の周囲に存在する弾性線維を識別可能に示した図である。本実施の形態では、図1−1に示す血管や空孔を特定するとともに、図1−2中に可視化して示した弾性線維を特定する。ここで、図1−1に示すように、中央に白く写った血管内腔や、血管の周囲に白く写る組織が存在していない領域である空孔は、染色標本画像内において高輝度画素を持つ領域として現れる。そこで、H&E染色標本を撮像した染色標本画像から高輝度領域を抽出することによって、血管の領域(血管領域)または空孔の領域(空孔領域)として特定する。そして、抽出した高輝度領域のうちの血管領域の特定は、血管壁を構成する組織である弾性線維のその高輝度領域の周囲における存在確率に基づいて行う。
(実施の形態1)
先ず、実施の形態1について説明する。実施の形態1は、高輝度領域の周囲に存在する弾性線維の存在確率の一例である高輝度領域の近傍に存在する弾性線維の出現パターンを検出し、検出した出現パターンに基づいて血管領域を特定するものである。
図2は、実施の形態1における画像処理装置1の機能構成を示すブロック図である。実施の形態1の画像処理装置1は、画像撮像部110と、操作部120と、表示部130と、画像処理部140と、記憶部150と、装置各部を制御する制御部160とを備える。
画像撮像部110は、16枚のバンドパスフィルタをフィルタホイールで回転させて切り替えながら、面順次方式でマルチバンド画像を撮像する。この撮像方式は、例えば、特開平7−120324号公報等で開示され、広く知られている。これにより、標本の各点に対して16バンドの画素値を有するマルチバンド画像が得られる。各バンドの画素値は、波長帯域λにおける光の強度に該当する。
操作部120は、例えば、キーボードやマウス、タッチパネル、各種スイッチ等によって実現されるものであり、操作入力に応じた操作信号を制御部160に出力する。
表示部130は、LCD,ELディスプレイ等のフラットパネルディスプレイやCRTディスプレイ等の表示装置によって実現されるものであり、制御部160から入力される表示信号に基づいて各種画面を表示する。
画像処理部140は、CPU等のハードウェアによって実現される。この画像処理部140は、組織抽出処理部141と、抽出手段としての高輝度領域抽出処理部142と、第2の血管特定手段としての赤血球位置判定処理部143と、分割手段としての特徴量算出処理部144と、パターン検出手段および第1の血管特定手段としての弾性線維位置判定処理部145と、高輝度領域拡張処理部146とを含む。組織抽出処理部141は、染色標本画像から弾性線維と赤血球とを抽出する。高輝度領域抽出処理部142は、染色標本画像から高輝度領域を抽出する。赤血球位置判定処理部143は、赤血球と高輝度領域との位置関係を判定し、判定した位置関係に基づいて血管領域を特定する。特徴量算出処理部144は、高輝度領域の特徴量を算出する。弾性線維位置判定処理部145は、弾性線維と高輝度領域との位置関係を判定し、判定した位置関係に基づいて血管領域を特定する。高輝度領域拡張処理部146は、所定条件を満たす高輝度領域を拡張し、複数の高輝度領域によって構成されている血管の概略位置を決定する。
記憶部150は、更新記憶可能なフラッシュメモリ等のROMやRAMといった各種ICメモリ、内蔵或いはデータ通信端子で接続されたハードディスク、CD−ROM等の情報記憶媒体及びその読取装置等によって実現されるものである。この記憶部150には、画像処理装置1を動作させ、この画像処理装置1が備える種々の機能を実現するためのプログラムや、このプログラムの実行中に使用されるデータ等が一時的または永続的に記憶される。また、染色標本画像を処理してこの染色標本画像内の血管領域を特定するための画像処理プログラム151が格納される。
制御部160は、CPU等のハードウェアによって実現される。この制御部160は、操作部120から入力される操作信号や画像撮像部110から入力される画像データ、記憶部150に格納されるプログラムやデータ等に基づいて画像処理装置1を構成する各部への指示やデータの転送等を行い、画像処理装置1全体の動作を統括的に制御する。
図3は、画像処理装置1が行う処理手順を示すフローチャートである。なお、ここで説明する処理は、記憶部150に格納された画像処理プログラム151に従って画像処理装置1の各部が動作することによって実現される。
画像処理装置1では、先ず、画像撮像部110が染色標本をマルチバンド撮像し、染色標本画像を取得する(ステップa1)。取得した染色標本画像の画像データは、記憶部150に格納される。
続いて、組織抽出処理部141が、染色標本画像から弾性線維と赤血球とを抽出する(ステップa3)。具体的には、組織抽出処理部141は先ず、画像撮像部110が撮像した染色標本画像から染色標本上の各点の分光透過率を取得する。ここで、本来色素は、観察対象の染色標本内に3次元的に分布しているが、通常の透過観察系ではそのまま3次元像として捉えることはできず、染色標本内を透過した照明光をカメラの撮像素子上に投影した2次元像として観察される。したがって、ここでいう「染色標本上の各点」とは、投影された撮像素子の各画素に対応する染色標本上の各点のことであり、染色標本上の点xは、マルチバンド画像上の画像位置(画素)xに対応しているものとする。
次に、組織抽出処理部141は、取得した分光透過率を特徴量とし、サポートベクターマシン(SVM)等の判別器を用いた学習判別処理によって弾性線維に該当する画素と赤血球に該当する画素とを抽出する。なお、弾性線維は、ある特定のバンドにおいて分光透過率が1.0以上となる現象が起こることがあるため、この現象に基づいて弾性線維に該当する画素を抽出してもよい。組織抽出処理部141は、抽出した弾性線維に該当する画素に弾性線維ラベルEFを付与し、赤血球に該当する画素に赤血球ラベルRDCを付与する。付与された弾性線維ラベルEFおよび赤血球ラベルRDCの情報は、記憶部150に格納される。
続いて、高輝度領域抽出処理部142が、染色標本画像から高輝度領域を抽出する(ステップa5)。上記したように、染色標本画像内の高輝度領域は、血管領域であるか、または組織が存在していない空孔領域であると考えられる。高輝度領域抽出処理部142は、先ず、染色標本画像をグレースケール画像に変換する。次に、高輝度領域抽出処理部142は、各画像位置(画素)の画素値について予め設定される閾値Thgを用いた閾値処理を行うことによって高輝度画素を抽出するとともに、赤血球ラベルRDCが付与された画素を高輝度画素に変換する。閾値Thgは、画素値のヒストグラムに基づいて自動的に決定することも可能である。例えば、グレースケール画像の画素値の平均Gmeanと、画素値の標準偏差Gstdとを用い、次式(1)に従って閾値Thgを算出する。そして、グレースケール画像中の閾値Thgより大きい画素値を持つ画素を高輝度画素として抽出する。
Thg=Gmean+Gstd ・・・(1)
このようにして抽出された高輝度画素のうち、連結している高輝度画素群を1つの高輝度領域として、高輝度ラベルHn(n=1,2,3,・・・,N)を付与する。Nは、染色標本画像内に存在する高輝度領域の数である。高輝度画素に付与された高輝度領域毎の高輝度ラベルHnの情報は、記憶部150に格納される。
なお、付与された高輝度ラベルHnの情報をユーザに視覚的に提示し、ユーザ操作に従って閾値Thgを設定する構成としてもよい。この場合には、高輝度領域抽出処理部142は、高輝度ラベルHnに基づいて各画素を2値化した2値画像を生成する。そして、制御部160が、この2値画像を表示部130に表示する制御を行うとともに、閾値Thgの設定依頼の通知を表示する制御を行なう。ユーザは、表示部130に表示された2値画像を観察しながら操作部120を操作して、直接閾値Thgの値を入力する。高輝度領域抽出処理部142は、この設定依頼の通知に対する応答に従って高輝度画素の抽出を行う。
また、組織抽出処理部141および高輝度領域抽出処理部142による処理結果をユーザに視覚的に提示することとしてもよい。具体的には、弾性線維ラベルEFが付与された領域、赤血球ラベルRDCが付与された領域および高輝度ラベルHnが付与された領域のうち、2つ以上の領域を示す領域位置画像を生成し、表示部130に表示する構成としてもよい。図4は、赤血球、弾性線維および高輝度領域の領域位置を示す領域位置画像の一例を示す図であり、赤血球ラベルRDCが付与された領域Ea、弾性線維ラベルEFが付与された領域Ebおよび高輝度ラベルHnが付与された領域Ec1,Ec3の3種類の領域を示している。各領域Ea、EbおよびEc1,Ec3は、それぞれ表示色や表示パターン等の表示形態を変更することによって、目視による区別可能に表示することができる。
続いて、赤血球位置判定処理部143が、図3に示すように、高輝度領域内の赤血球の存在率を算出して赤血球と高輝度領域との位置関係を判定し、血管領域を特定する(ステップa7)。すなわち、赤血球位置判定処理部143は、先ず高輝度領域内の赤血球の存在率を算出する。具体的には、高輝度領域毎に赤血球ラベルRDCが付与された画素数を計数する。そして、高輝度領域の画素数(面積)に対する赤血球ラベルRDCが付与された画素数の割合を存在率として算出する。次に、赤血球位置判定処理部143は、算出した存在率が予め設定される閾値以上である高輝度領域を血管領域として特定する。ここで用いる閾値は、高輝度領域の面積や周囲長に基づいて設定することができる。
なお、存在率を判定するための閾値をユーザ操作に従って設定する構成としてもよい。例えば、制御部160は、図4に例示したような領域位置画像を表示部130に表示する制御を行うとともに、存在率を判定するための閾値の設定依頼の通知を表示する制御を行う。ユーザは、表示部130に表示された領域位置画像を観察しながら、操作部120を操作して直接閾値の値を入力する。あるいは、ユーザ操作に従って血管領域に該当する高輝度領域を特定するように構成してもよい。例えば、領域位置画像とともに、血管領域に該当する高輝度領域の指定依頼の通知を表示部130に表示する制御を行う。ユーザは、内部に赤血球が存在する高輝度領域を目視によって判断し、操作部120を操作して高輝度領域を選択することによって、血管領域を指定する。
そして、赤血球位置判定処理部143は、血管領域として特定された高輝度領域の各画素に血管ラベルBVを付与する。付与された血管ラベルBVの情報は、記憶部150に格納される。このように、実施の形態1では、赤血球位置判定処理部143は、高輝度領域内にある程度の割合で赤血球が存在している場合に、この高輝度領域を血管領域として特定する。
続いて、図3に示すように、特徴量算出処理部144が、高輝度領域の輪郭、重心位置(以下、「高輝度重心」と呼ぶ。)、周囲長等を特徴量として算出し、高輝度領域を楕円近似して近似楕円の領域である楕円領域(以下、単に「楕円」と呼ぶ。)を設定するとともに、この楕円の拡大近似楕円の領域であるK倍楕円領域(以下、単に「K倍楕円」と呼ぶ。)を設定する(ステップa9)。続いて、特徴量算出処理部144は、高輝度領域と、この高輝度領域について設定した楕円およびK倍楕円とを所定数の分割領域に分割する(ステップa11)。
図5は、図4に示した領域位置画像の高輝度領域Ec1について求めた高輝度重心と、この高輝度領域Ec1を楕円近似して設定した楕円11およびK倍楕円13を示す図である。K倍楕円とは、楕円と重心位置が同一であって、楕円のK倍の面積を有するものをいう。Kの値は適宜設定できるが、例えばここでは、K=1.7としている。楕円近似の手法としては、既知の手法を適宜選択して用いることができるが、例えば、主成分分析による近似方法を用いることができる。
すなわち、例えば、それぞれ高輝度ラベルH
nが付与された高輝度領域の高輝度重心をg
Hnとし、この高輝度ラベルH
nの高輝度領域がnum個の画素p
Hn,k(k=,2,3,・・・,num)で構成されているとすると、この高輝度領域の分散・共分散行列M
Hnは、次式(2)で定義される。(p
Hn,k−g
Hn)は、高輝度領域を構成している画素p
Hn,kと高輝度重心g
Hnとの距離を示す行列であり、(p
Hn,k−g
Hn)
Tは、(p
Hn,k−g
Hn)の転置行列を表す。
式(2)で定義される高輝度領域の分散・共分散行列M
Hnについて主成分分析を行うと、次式(3)によって第1主成分e1
Hnを求めることができる。この第1主成分e1
Hnがこの高輝度領域の長軸となる。
高輝度領域とその楕円およびK倍楕円の分割は、式(3)によって算出した高輝度領域の長軸を基準とし、これらの領域を周方向に等角度で分割することによって行う。図6は、高輝度領域の長軸15を基準として領域を分割する様子を示す図である。例えば、領域分割数をIとし、I個の領域に分割する場合、長軸15を基準として360/I度毎に分割を行う。図6では、例えばI=8とし、高輝度領域Ec1とその楕円11およびK倍楕円13を45度毎に8個の領域に分割している。このようにして高輝度領域とその楕円およびK倍楕円を分割したならば、特徴量算出処理部144は、高輝度領域および楕円の領域を包含しているK倍楕円の分割領域に領域ラベルRHn,i(n=1,2,3,・・・N/i=1,2,3,・・・,I)を付与し、以降の処理においてこの領域ラベルRHn,iによって分割領域を識別する。図6中にハッチングを付して示した領域16が、領域ラベルRHn,iが付与されるK倍楕円の1つの分割領域である。付与された領域ラベルRHn,iの情報は、記憶部150に格納される。
このとき、特徴量算出処理部144は、領域ラベルRHn,iが付与された分割領域毎に、その分割領域内に含まれる高輝度領域の輪郭位置を特定し、その分割領域内における高輝度領域の輪郭の長さを算出するとともに、その分割領域内に含まれる楕円の輪郭の長さおよびK倍楕円の輪郭の長さを算出する。この高輝度領域、楕円およびK倍楕円の輪郭の長さは、それぞれその分割領域内における輪郭位置の画素の数を計数することによって算出する。図7は、分割領域16について算出される高輝度領域Ec1の輪郭の長さ17(Eli(i=1,2,3,・・・,I))およびこの高輝度領域のK倍楕円の輪郭の長さ19を示す図である。算出された各分割領域における高輝度領域の輪郭の長さ、楕円の輪郭の長さおよびK倍楕円の輪郭の長さの情報は、記憶部150に格納される。
また、特徴量算出処理部144は、分割領域毎に、その分割領域内に存在する弾性線維と高輝度重心gHnとの距離を算出する。図8は、分割領域16について算出される弾性線維Ebと高輝度重心gHnとの距離21(li(i=1,2,3,・・・T))を示す図である。分割領域16に着目すると、特徴量算出処理部144は、この分割領域16内に存在する各弾性線維Eb(具体的には、分割領域16内に含まれる弾性線維ラベルEFが付与された各画素)について、それぞれ高輝度重心gHnとの矢印で示す距離21(li)を算出する。Tは、領域ラベルRHn,iの分割領域内に含まれる弾性線維ラベルEFが付与された画素の数である。算出された各分割領域における弾性線維と高輝度重心gHnとの距離liの情報は、記憶部150に格納される。
また、特徴量算出処理部144は、分割領域毎に、その分割領域内に含まれる高輝度領域の輪郭位置と高輝度重心gHnとの距離を算出する。図9は、分割領域16について算出される高輝度領域Ec1の輪郭位置と高輝度重心gHnとの距離23を示す図である。分割領域16に着目すると、特徴量算出処理部144は、この分割領域16内の高輝度領域の各輪郭位置について、それぞれ高輝度重心gHnとの矢印で示す距離23を算出する。算出された各分割領域における高輝度領域の輪郭位置と高輝度重心gHnとの距離の情報は、記憶部150に格納される。
さらに、特徴量算出処理部144は、分割領域毎に、その分割領域内に含まれるK倍楕円の輪郭位置と高輝度重心g
Hnとの距離を算出する。図10は、分割領域16について算出されるK倍楕円13の輪郭位置と高輝度重心g
Hnとの距離25(E
KRn,m)を示す図である。分割領域16に着目すると、特徴量算出処理部144は、この分割領域16内のK倍楕円13の輪郭位置と高輝度重心g
Hnとの矢印で示す距離25(E
KRn,m)を算出する。具体的には、分割領域内に含まれるK倍楕円の各輪郭位置と高輝度重心g
Hnとの距離の平均値E
KRn,mを次式(4)に従って算出し、K倍楕円の輪郭位置と高輝度重心g
Hnとの距離とする。算出された各分割領域におけるK倍楕円の輪郭位置と高輝度重心g
Hnとの距離の情報は、記憶部150に格納される。
続いて、弾性線維位置判定処理部145が、図3に示すように、投票値条件を満足するか否かによって弾性線維と高輝度領域との位置関係を領域ラベルRHn,iの分割領域毎に判定し、血管領域を特定するとともに血管候補領域を抽出する(ステップa13)。
具体的には、弾性線維位置判定処理部145は、先ず、高輝度領域の近傍における弾性線維の出現パターンを分割領域毎に検出する。そして、弾性線維位置判定処理部145は、検出した出現パターンに基づいて、高輝度領域の外郭に弾性線維が存在するか否かを分割領域毎に判定する。すなわち、処理対象の分割領域における弾性線維の出現パターンを検出した結果に基づいて、この分割領域内に存在する弾性線維と高輝度重心gHnとの距離がこの分割領域内に含まれる高輝度領域の輪郭位置と高輝度重心gHnとの距離よりも大きく、且つ、高輝度領域の輪郭位置の外側においてこの輪郭位置の近傍に弾性線維が所定量以上存在しているか否か(ある程度密集しているかどうか)を判定する。これは、高輝度領域の輪郭位置から大きく外側に離れた位置に存在する弾性線維や、輪郭位置の外側近傍に弾性線維が存在する場合であっても、それぞれが離れた位置に点在している弾性線維は、ノイズ等の可能性があると考えられるためである。本実施の形態では、処理対象の分割領域内に存在する弾性線維、すなわち、処理対象の分割領域内の弾性線維ラベルEFが付された画素に対し、高輝度重心gHnとの距離に応じた重み付き投票を行うことによってこの分割領域における弾性線維の出現パターンを検出し、その分割領域内の高輝度領域の外郭に存在する弾性線維の有無を判定する。
重み付き投票の具体的な処理手順について説明する。先ず、領域ラベルR
Hn,iの分割領域内の弾性線維ラベルEFが付与された各画素に対し、その高輝度重心g
Hnとの距離l
i(i=1,2,3,・・・T)に応じた重み付きポイントWP
i(i=1,2,3,・・・T)を、次式(5)に従って付与する。τは、任意の値が設定される係数である。
次に、重み付きポイントWPiを加算し、領域ラベルRHn,iの分割領域内における投票値VoteHn,i(n=1,2,3,・・・,N/i=1,2,3,・・・,I)とする。この投票値VoteHn,iは、分割領域内の弾性線維と高輝度重心gHnとの距離liおよびその分割領域内に存在する弾性線維の数に基づいて定まる値であり、高輝度重心gHnとの距離liが近い弾性線維が多い程その値が大きくなり、高輝度重心gHnとの距離liが遠い弾性線維が多く存在する場合や、弾性線維が点在する場合には、その値が小さくなる。
次に、弾性線維位置判定処理部145は、分割領域毎に求めた投票値VoteHn,iが投票値条件を満足するか否かによって、その分割領域内に含まれる高輝度領域の外郭に存在する弾性線維の有無を判定する。すなわち先ず、領域ラベルRHn,iの高輝度領域の輪郭の長さEliを用い、領域ラベルRHn,iの分割領域内に含まれる高輝度領域の輪郭位置についての投票値EdgeHn,i(n=1,2,3,・・・/N、i=1,2,3,・・・,I)を求める。続いて、K倍楕円の輪郭位置と高輝度重心gHnとの距離EKRn,mおよびK倍楕円の輪郭の長さEliを用い、領域ラベルRHn,iの分割領域内に含まれるK倍楕円の輪郭位置についての投票値EllHn,i(n=1,2,3,・・・,N、i=1,2,3,・・・,I)を求める。上記のように、距離EKRn,mは、その分割領域内に含まれるK倍楕円の各輪郭位置と高輝度重心gHnとの距離の平均値である。
ここで、高輝度領域の外郭とは、高輝度領域の輪郭位置に近い周囲である。したがって、次式(6)に示すように、弾性線維の投票値投票値VoteHn,iが、高輝度領域の輪郭よりも外側に位置するK倍楕円輪郭の投票値EllHn,iより大きく、高輝度領域の輪郭の投票値EdgeHn,iよりも小さいことを投票値条件とする。この投票値条件を満たすということは、その分割領域内の高輝度領域の外郭にある程度の弾性線維が存在していることを示しており、この投票値条件を満たす場合には、その分割領域について高輝度領域の外郭に弾性線維が存在すると判定する。各分割領域が投票値条件を満足したか否かの情報は、高輝度ラベルHnと対応付けて記憶部150に格納される。
EllHn,i<VoteHn,i<EdgeHn,i ・・・(6)
そして、投票値条件を満たした分割領域の数が領域分割数I=8と一致した場合、すなわち、全ての分割領域において投票値条件を満たしている場合には、その高輝度ラベルHnの高輝度領域を血管領域として特定し、血管ラベルBVを付与する。一方、少なくとも1つの分割領域が投票値条件を満たしている場合には、その高輝度ラベルHnの高輝度領域を血管候補領域として抽出し、血管候補ラベルCandHnを付与する。さらに、この血管候補ラベルCandHnに、投票値条件を満たした領域ラベルRHn,iの分割領域を存在領域として登録するとともに、投票条件を満たしていない領域ラベルRHn,iの分割領域を非存在領域として登録する。さらに存在領域として登録した領域ラベルRHn,iの分割領域内に存在する弾性線維の画素に付与された弾性線維ラベルEFに、血管候補ラベルCandHnを登録する。付与された血管ラベルBVや血管候補ラベルCandHnの情報や、血管候補ラベルCandHnに登録された存在領域および非存在領域の情報、弾性線維ラベルEFに登録された血管候補ラベルCandHnの情報は、記憶部150に格納される。
このように、弾性線維位置判定処理部145は、高輝度領域の外郭に弾性線維が存在するか否かを分割領域毎に判定し、存在する場合にはその分割領域内に存在する弾性線維が投票値条件を満足するか否かを判定する。そして、弾性線維位置判定処理部145は、全ての分割領域において投票値条件を満足する場合に、その高輝度領域を血管領域として特定する。また、いずれか1つの分割領域において投票値条件を満足する場合には、その高輝度領域を血管候補領域とする。
なお、このとき、付与された血管ラベルBVや血管候補ラベルCandHnの情報をユーザに視覚的に提示するようにしてもよい。例えば、図4に例示したような領域位置画像中で、血管領域として特定されて血管ラベルBVが付与された高輝度領域や、血管候補ラベルCandHnが付与されて血管候補領域として抽出された高輝度領域を他と異なる表示形態で区別可能に表示した画像を生成し、表示部130に表示する構成としてもよい。またこのとき、血管候補ラベルCandHnに登録された存在領域および非存在領域の情報に基づき、血管候補領域中の存在領域と非存在領域との表示形態を変更してこれらを区別可能に表示するようにしてもよい。
続いて、高輝度領域拡張処理部146が、図3に示すように、血管候補領域として抽出された高輝度領域を拡張して複数の高輝度領域を統合し、複数の高輝度領域によって構成された血管の概略位置を決定して血管領域を特定する(ステップa15)。
図11−1および図11−2は、隣接する2つの血管候補領域(高輝度領域)Ec11,Ec13を統合して血管の概略位置を決定する様子を示す図である。具体的には、図11−1では、血管候補領域Ec11中の存在領域として登録された分割領域にハッチングを付して示しており、図11−2では、血管候補領域Ec13中の存在領域として登録された分割領域にハッチングを付して示している。例えば、血管候補領域Ec11に付与された血管候補ラベルをCandHiとすると、図11−1に示す血管候補ラベルCandHiの血管候補領域Ec11には、ハッチングを付した分割領域が存在領域として登録されており、これらの存在領域内に存在する弾性線維の弾性線維ラベルEFに血管候補ラベルCandHiが登録されている。一方で、血管候補領域Ec13に付与された血管候補ラベルをCandHjとすると、図11−2に示す血管候補ラベルCandHjの血管候補領域Ec13には、ハッチングを付した分割領域が存在領域として登録されており、これらの存在領域内に存在する弾性線維の弾性線維ラベルEFに血管候補ラベルCandHjが登録されている。
この場合、血管候補ラベルCandHiの高輝度領域の存在領域内の弾性線維ラベルEFの中に、血管候補ラベルCandHjが重複して登録されている弾性線維ラベルEFが存在することとなる。一方で、血管候補ラベルCandHiの高輝度領域の非存在領域と、血管候補ラベルCandHjの高輝度領域の非存在領域とが重複している。このように、血管候補ラベルCandHiの高輝度領域の存在領域内の弾性線維ラベルEFに他の血管候補ラベルCandHjが登録されている場合であって、且つこの血管候補ラベルCandHiに登録されている非存在領域と他の血管候補ラベルCandHjに登録されている非存在領域とが重複している場合、血管候補ラベルCandHiとCandHjとがそれぞれの外郭で弾性線維ラベルEFを共有していると判定でき、血管候補領域が隣接して存在していると考えられる。すなわち、このような血管候補領域(高輝度領域)Ec11,Ec13は、1つの血管領域が、分離した複数の高輝度領域として抽出されたと考えられ、このような場合は、これらの高輝度領域を1つの領域に統合する。
血管候補ラベルCandHi,CandHjの各高輝度領域の統合は、それぞれの領域を拡張し、公知の動的輪郭抽出処理の手法を用いて統合領域の輪郭位置を決定することにより行い、概略位置を決定する。図12−1および図12−2は、血管候補ラベルCandHi,CandHjの各高輝度領域を統合して統合領域の輪郭位置を決定する様子を示す図である。すなわち、動的輪郭抽出処理では、統合する各血管候補領域(高輝度領域)Ec11,Ec13のK倍楕円の輪郭によって定まる図12−1中に一点鎖線で示す初期境界L21に基づき、図12−2中に二点鎖線で示す統合領域の輪郭位置L23を決定する。高輝度領域拡張処理部146は、このようにして高輝度領域を統合した統合領域を血管領域として特定し、血管ラベルBVを付与する。付与された血管レベルBVの情報は、記憶部150に格納される。
そして、図3に示すように、制御部160が、血管領域として特定され、血管ラベルBVが付与された高輝度領域を示す血管画像を生成して表示部130に表示する制御を行う(ステップa17)。なお、このとき、血管画像を染色標本画像上に重畳させて表示するようにしてもよい。
以上説明したように、実施の形態1によれば、高輝度領域の近傍に存在する弾性線維の出現パターンを検出することによって、高輝度領域の外郭に存在する弾性線維の有無を判定することができる。具体的にはこのとき、高輝度領域の近似楕円を拡大したK倍楕円領域を複数の分割領域に分割し、この分割領域毎に出現パターンを検出することができる。そして、検出した出現パターンに基づいて、高輝度領域の輪郭位置の外側であって、この輪郭位置の近傍に弾性線維が所定量以上存在している場合に高輝度領域の外郭に弾性線維が存在すると判定し、全ての分割領域で高輝度領域の外郭に弾性線維が存在する場合に、この高輝度領域を血管領域として特定することができる。したがって、染色標本画像中の血管領域を他の領域と適正に区別して特定することができ、観察者は、血管が形態的に変化した場合等、染色標本画像上で血管の目視確認が難しい場合であっても、血管位置を容易に視認することが可能となる。
(実施の形態2)
次に、実施の形態2について説明する。実施の形態2は、高輝度領域の周囲に存在する弾性線維の存在確率の一例である高輝度領域の外郭領域における弾性線維の存在率を算出し、算出した存在率に基づいて血管領域を特定する。
図13は、実施の形態2における画像処理装置1bの機能構成を示すブロック図である。なお、実施の形態1と同一の構成については、同一の符号を付している。実施の形態1の画像処理装置1bは、画像撮像部110と、操作部120と、表示部130と、画像処理部140bと、記憶部150bと、装置各部を制御する制御部160とを備える。記憶部150bには、画像処理プログラム151bが格納される。
また、画像処理部140bは、組織抽出処理部141と、抽出手段としての高輝度領域抽出処理部142と、第2の血管特定手段としての赤血球位置判定処理部143bと、領域拡張手段としての高輝度領域拡張処理部146bと、第1の血管特定手段としての血管特定処理部147bとを含む。
図14は、実施の形態2の画像処理装置1bが行う処理手順を示すフローチャートである。ここで説明する処理は、記憶部150bに格納された画像処理プログラム151bに従って画像処理装置1bの各部が動作することによって実現される。なお、図14において、実施の形態1と同様の処理工程には同一の符号を付している。
実施の形態2では、画像撮像部110が染色標本をマルチバンド撮像し(ステップa1)、組織抽出処理部141が染色標本画像から弾性線維と赤血球とを抽出して(ステップa3)、高輝度領域抽出処理部142が染色標本画像から高輝度領域を抽出したならば(ステップa5)、続いて赤血球位置判定処理部143bが、高輝度領域毎にその収縮領域を生成して赤血球と高輝度領域との位置関係を判定し、血管領域を特定する(ステップb7)。
具体的には、赤血球位置判定処理部143bは、先ず、各高輝度領域を収縮した収縮領域を生成する。そして、赤血球位置判定処理部143bは、高輝度領域と生成した収縮領域とに挟まれた領域、詳細には、高輝度領域の内側であって、収縮領域の外側の領域内における赤血球の面積に基づいてその高輝度領域内に存在する赤血球の存在率を算出する。例えば、高輝度領域と収縮領域とに挟まれた領域内に含まれる赤血球ラベルRDCが付与された画素数を計数し、高輝度領域の画素数(面積)に対する赤血球ラベルRDCが付与された画素数の割合を存在率として算出する。次に、赤血球位置判定処理部143bは、算出した存在率が予め設定される閾値以上である高輝度領域を血管領域として特定する。ここで用いる閾値は、実施の形態1と同様にして、高輝度領域の面積や周囲長に基づいて設定することができる。また、実施の形態1で説明したように、領域位置画像を表示部130に表示し、ユーザがこの領域位置画像を見ながら存在率を判定するための閾値を直接設定する構成としてもよい。
そして、赤血球位置判定処理部143bは、血管領域として特定された高輝度領域の各画素に血管ラベルBVを付与する。付与された血管ラベルBVの情報は、記憶部150bに格納される。このように、実施の形態2では、赤血球位置判定処理部143bは、高輝度領域内であって、この高輝度領域の収縮領域の外側の領域にある程度の割合で赤血球が存在している場合に、この高輝度領域を血管領域として特定する。
続いて、高輝度領域拡張処理部146bが、ステップa5で抽出されて高輝度ラベルHnが付与された高輝度領域を拡張し、周囲に存在する弾性線維との位置関係および他の高輝度領域との位置関係を判定する(ステップb9)。図15は、膨張処理によって高輝度領域Ec21を拡張する様子を示す図である。高輝度領域の拡張は、公知の膨張処理の手法を用いることで実現でき、高輝度領域拡張処理部146bは先ず、図15に示すように、高輝度領域Ec21から一点鎖線で示す拡張領域Ed21を生成する。そして、高輝度領域拡張処理部146bは、拡張領域の輪郭位置の画素数を計数し、周囲長を算出する。より具体的には、高輝度領域拡張処理部146bは、膨張処理を繰り返し行う。そしてこのとき、膨張処理の回数によって膨張範囲を制限し、拡張領域の周囲長が拡張前の高輝度領域の周囲長と比較してK倍となった時点で膨張処理を停止する。Kの値は適宜設定できるが、例えばK=1.7とする。
なお、拡張前の高輝度領域とこの高輝度領域を拡張した拡張後の拡張領域を示す拡張前後領域画像を生成し、表示部130に表示する構成としてもよい。またこのとき、膨張処理回数の設定依頼の通知を表示するようにしてもよい。ユーザは、表示部130に表示された拡張前後領域画像を観察しながら操作部120を操作して、直接膨張処理回数を入力する。この場合には、高輝度領域拡張処理部146bは、この設定依頼の通知に対する応答に従って膨張処理を行う。
高輝度領域を拡張したならば、高輝度領域拡張処理部146bは、次に、弾性線維との位置関係および他の高輝度領域との位置関係を判定する。すなわち、拡張前の高輝度領域と拡張後の拡張領域とに囲まれた領域、詳細には、拡張前の高輝度領域の外側であって、拡張後の拡張領域の内側の領域を高輝度領域の外郭領域とし、外郭領域ラベルOuterHnを付与する。そして、外郭領域内に存在する弾性線維、すなわち外郭領域内に含まれる弾性線維ラベルEFが付与された画素数を計数して外郭領域内の弾性線維の面積を算出するとともに、この外郭領域内の弾性線維ラベルEFに対して該当する外郭領域ラベルOuterHnを登録する。また、n=iの外郭領域ラベルOuterHiが付与された外郭領域が、n=jの外郭領域ラベルOuterHjが付与された他の外郭領域と重複している場合には、対応する高輝度領域HiとHjとが隣接していると考えられるため、これらの各高輝度領域Hi,Hjに同一の統合ラベルUniを付与する。
続いて、図14に示すように、血管特定処理部147bが、高輝度領域と周囲に存在する弾性線維および他の高輝度領域との位置関係に基づいて、血管領域を特定する(ステップb11)。すなわち、先ず、血管特定処理部147bは、外郭領域に存在する弾性線維の存在率として、次式(7)に従って高輝度領域に対する外郭領域内の弾性線維の面積の比率αを算出し、この比率αを外郭領域に存在する弾性線維の存在率とする。
そして、血管特定処理部147bは、算出した比率αが予め設定される閾値CThHn以上ならば、その高輝度ラベルHnの高輝度領域を血管領域として特定する。閾値CThHnの値は適宜設定できるが、例えばここでは、CThHn=0.8としている。
さらに、血管特定処理部147bは、算出した比率αが予め設定される閾値UThHn以上か否かを判定するとともに、閾値UThHn以上の場合には、その高輝度ラベルHnの高輝度領域に統合ラベルUniが付与されているか否かを判定する。閾値UThHnの値についても適宜設定できるが、例えばここでは、UThHn=0.5としている。同一の統合ラベルUniが付与された高輝度領域は、1つの血管領域が、分離した複数の高輝度領域として抽出されたと考えられるためである。
すなわち、血管特定処理部147bは、算出した比率αが予め設定される閾値UThHn以上であって、且つその高輝度ラベルHnの高輝度領域に統合ラベルUniが付与されている場合に、これらの高輝度領域を1つの領域として統合する。そして、血管特定処理部147bは、統合した領域があった場合には再度比率αを算出する処理を行い、閾値CThHnを用いた閾値処理を行う。そして、閾値CThHn以上ならば、その統合した領域を血管領域として特定する。ただし、この場合の弾性線維の面積は、同一の統合ラベルUniが付与された高輝度領域の各外郭領域内に存在する弾性線維の合計面積とする。また、高輝度領域の周囲長は、動的輪郭抽出処理の手法を用いて新たに決定するものとする。具体的には、各外郭領域を統合した統合領域の輪郭によって定まる初期境界に基づいて統合領域の輪郭位置を決定し、この輪郭位置の画素数を計数して統合した領域の周囲長を算出する。そして、この周囲長に対する弾性線維の合計面積を比率αとして算出し、算出した比率αが閾値CThHn以上の場合に、この統合した領域を血管領域として特定する。
血管特定処理部147bは、このようにして特定した血管領域に血管ラベルBVを付与する。付与された血管レベルBVの情報は、記憶部150bに格納される。そして、図14に示すように、ステップa17に移行し、制御部160が、血管領域を示す血管画像を生成して表示部130に表示する制御を行う。
なお、付与された外郭領域ラベルOuterHnや統合ラベルUniの情報をユーザに視覚的に提示し、ユーザ操作に従って閾値CThHnや閾値UThHnを設定する構成としてもよい。この場合には、血管特定処理部147bは、高輝度領域や、この高輝度領域を拡張した拡張領域、高輝度領域と拡張領域とに囲まれた外郭領域を示す画像を生成する。そして、制御部160が、この画像を表示部130に表示する制御を行うとともに、閾値CThHnや閾値UThHnの設定依頼の通知を表示する制御を行なう。ユーザは、表示部130に表示された画像を観察しながら操作部120を操作して、直接閾値CThHnや閾値UThHnの値を入力する。血管特定処理部147bは、この設定依頼の通知に対する応答に従って血管領域の特定を行う。あるいは、ユーザ操作に従って血管領域に該当する高輝度領域を特定するように構成してもよい。例えば、高輝度領域や拡張領域、外郭領域を示す画像とともに、血管領域に該当する高輝度領域の指定依頼の通知を表示部130に表示する制御を行う。ユーザは、血管領域を目視によって判断し、操作部120を操作して血管領域に該当する高輝度領域を指定する。
以上説明したように、実施の形態2によれば、高輝度領域を拡張することによって、その高輝度領域の外郭領域に存在する弾性線維の有無を判定することができる。これによれば、例えば高輝度領域が円形から大きく外れた形状を有する場合やドーナツ状に形成されている場合等、高輝度領域が複雑な形をしていて高輝度領域の重心位置が高輝度領域内に存在しないような場合であっても、血管領域を容易に特定することができる。したがって、染色標本画像中の血管領域を他の領域と適正に区別して特定することができ、観察者は、血管が形態的に変化した場合等、染色標本画像上で血管の目視確認が難しい場合であっても、血管位置を容易に視認することが可能となる。
なお、上記した実施の形態1の画像処理装置1および実施の形態2の画像処理装置1bは、予め用意されたプログラムをパソコンやワークステーション等のコンピュータシステムで実行することによって実現することができる。以下、各実施の形態1,2で説明した画像処理装置1,1bと同様の機能を有し、画像処理プログラム151,151bを実行するコンピュータシステムについて説明する。
図16は、実施の形態を適用したコンピュータシステム2の構成を示すシステム構成図であり、図17は、このコンピュータシステム2における本体部210の構成を示すブロック図である。図16に示すように、コンピュータシステム2は、本体部210と、本体部210からの指示によって表示画面221に画像等の情報を表示するためのディスプレイ220と、このコンピュータシステム2に種々の情報を入力するためのキーボード230と、ディスプレイ220の表示画面221上の任意の位置を指定するためのマウス240とを備える。
また、このコンピュータシステム2における本体部210は、図17に示すように、CPU211と、RAM212と、ROM213と、ハードディスクドライブ(HDD)214と、CD−ROM260を受け入れるCD−ROMドライブ215と、USBメモリ270を着脱可能に接続するUSBポート216と、ディスプレイ220、キーボード230およびマウス240を接続するI/Oインターフェース217と、ローカルエリアネットワークまたは広域エリアネットワーク(LAN/WAN)N1に接続するためのLANインターフェース218とを備える。
さらに、このコンピュータシステム2には、インターネット等の公衆回線N3に接続するためのモデム250が接続されるとともに、LANインターフェース218およびローカルエリアネットワークまたは広域エリアネットワークN1を介して、他のコンピュータシステムであるパソコン(PC)281、サーバ282、プリンタ283等が接続される。
そして、このコンピュータシステム2は、所定の記憶媒体に記憶された画像処理プログラムを読み出して実行することで画像処理装置を実現する。ここで、所定の記憶媒体とは、CD−ROM260やUSBメモリ270の他、MOディスクやDVDディスク、フレキシブルディスク(FD)、光磁気ディスク、ICカード等を含む「可搬用の物理媒体」、コンピュータシステム2の内外に備えられるHDD214やRAM212、ROM213等の「固定用の物理媒体」、モデム250を介して接続される公衆回線N3や、他のコンピュータシステム(PC)281またはサーバ282が接続されるローカルエリアネットワークまたは広域エリアネットワークN1等のように、プログラムの送信に際して短期にプログラムを保持する「通信媒体」等、コンピュータシステム2によって読み取り可能な画像処理プログラムを記憶するあらゆる記憶媒体を含む。
すなわち、画像処理プログラムは、「可搬用の物理媒体」「固定用の物理媒体」「通信媒体」等の記憶媒体にコンピュータ読み取り可能に記憶されるものであり、コンピュータシステム2は、このような記憶媒体から画像処理プログラムを読み出して実行することで画像処理装置を実現する。なお、画像処理プログラムは、コンピュータシステム2によって実行されることに限定されるものではなく、他のコンピュータシステム(PC)281またはサーバ282が画像処理プログラムを実行する場合や、これらが協働して画像処理プログラムを実行するような場合にも、本発明を同様に適用することができる。