JP6857893B2 - 画像領域分割装置、画像領域分割方法、画像領域分割プログラム、及び画像特徴抽出方法 - Google Patents

Description

本発明は、画像の領域分割のための技術、及び領域分割の結果を利用しての画像の特徴抽出のための技術に関する。

加工物や生体由来の組織の外観から取得できる情報には、熟練者と非熟練者とで量的又は質的な差がある。これに対し、数学的手法を用いて加工物や組織等の画像を処理することでこの差が補われ、非熟練者でも情報が得やすい画像が提供されている。

例えば特許文献１では、頸動脈プラークのエコー画像が、その撮像時に得られたエコー信号の単位時間当たりの積分量に応じて色分けされる。読影の非熟練者であっても、この色分けされたエコー画像を用いることで、定量的に頸動脈プラークの性状判定を行うことができる。

国際公開第２０１１／１１８２６７号

上記のような技術では、画像は隣接する画素間の差異に基づいて分割されている。この場合、コントラストの低い画像又は画像情報が近い複数の領域を含む画像での領域分割ができないか、又は十分な精度が得られない。したがって、非熟練者はこのような画像から正確な情報を取得することができないという問題がある。

本発明はこのような問題に鑑みてなされたものであり、より低いコントラストの画像又はより均質な画像情報を含む画像の領域分割の精度を向上させる技術の提供を目的とする。

上記の目的を達成するために提供される、本発明の一態様に係る画像領域分割方法では、画像の画素情報に基づく画素の度数分布が取得され、この度数分布が正規化され、正規化後の度数分布は、混合ガウス分布法を用いて複数の正規分布に分割され、これらの正規分布のそれぞれに対応する画素の集合を同一の領域として扱うことで元の画像が複数の領域に分割される。

また、本発明の一態様に係る画像領域分割装置は、画像の画素情報に基づく画素の度数分布を取得する統計処理部と、度数分布を正規化する正規化部と、正規化後の度数分布を、混合ガウス分布法を用いて複数の正規分布に分割し、複数の正規分布のそれぞれに対応する画素の集合を同一の領域として扱うことで元の画像を複数の領域に分割する領域分割部とを備える。

本発明によれば、低コントラストの画像又は均質性の高い画像情報を含む画像の領域分割を精度よく行うことができる。

図１は、実施の形態１に係る画像領域分割装置の構成を示すブロック図である。 図２Ａは、実施の形態１に係る画像領域分割装置が備える正規化部による度数分布の正規化処理の概要を説明するための図である。 図２Ｂは、上記の正規化部による度数分布の正規化処理の概要を説明するための図である。 図２Ｃは、混合ガウス分布法の度数分布への適用例を説明するための図である。 図３は、実施の形態１に係る画像領域分割装置による処理前の原画像と、この原画像に上記の処理が施された画像とを含む図である。 図４は、実施の形態１に係る画像領域分割方法の手順を説明するためのフロー図である。 図５は、実施例１において画像領域分割方法を用いた処理の過程で得られたデータを示す図である。 図６Ａは、実施例２において蛍光タンパク質で修飾された２種類の被検体の蛍光画像の、実施の形態１に係る画像領域分割装置を用いて行われた領域分割の結果の例について説明するための図である。 図６Ｂは、実施例２において蛍光タンパク質で修飾された２種類の被検体の蛍光画像の、実施の形態１に係る画像領域分割装置を用いて行われた領域分割の結果の例について説明するための図である。 図６Ｃは、実施例２において蛍光タンパク質で修飾された２種類の被検体の蛍光画像の、実施の形態１に係る画像領域分割装置を用いて行われた領域分割の結果の例について説明するための図である。 図６Ｄは、実施例２において蛍光タンパク質で修飾された２種類の被検体の蛍光画像の、実施の形態１に係る画像領域分割装置を用いて行われた領域分割の結果の例について説明するための図である。 図７Ａは、初期大腸がんの内視鏡画像の領域画像及びこの領域の画素情報の例を示す。 図７Ｂは、進行大腸がんの内視鏡画像の領域画像及びこの領域の画素情報の例を示す。 図８Ａは、上記の内視鏡画像の領域画像の特徴領域の面積を比較するためのグラフである。 図８Ｂは、上記の内視鏡画像の領域画像のＲＢ比を比較するためのグラフである。 図９は、被検体の部位による画像内のＲＢ比の差を説明するための図である。

以下、実施の形態について、図面を参照しながら具体的に説明する。

なお、以下で説明する実施の形態は、いずれも包括的又は具体的な例を示すものである。以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置位置及び接続形態などは、一例であり、本発明を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。

（実施の形態１）
［１．構成］
図１は、実施の形態１に係る画像領域分割装置の構成を示すブロック図である。

実施の形態１に係る画像領域分割装置１０は、入力画像を画素情報に基づいて領域分割（ｓｅｇｍｅｎｔａｔｉｏｎ）の処理を実行する。画像領域分割装置１０は、例えばこの処理のためのプログラムを記憶する記憶装置（図示なし）と、このプログラムを実行する演算処理装置（図示なし）を備える電子計算機又は集積回路（マイクロコントローラ）とで実現される。

画像領域分割装置１０は、画像取得部１１０、統計処理部１３０、正規化部１５０、及び領域分割部１７０を備える。

画像取得部１１０は、処理対象の画像を取得する。より具体的には、例えば撮像装置２０で撮像されて得られる画像のデータ（画像データ）が取得される。ここでいう画像は可視光線を捉えたものでもよいし、Ｘ線撮影画像、核磁気共鳴画像、シンチグラム等各種の画像であってもよい。また、グレースケール画像でもよいし、カラー画像であってもよい。撮像装置２０としては、画像データを出力可能な装置であれば特に限定されず、例えばデジタルカメラ、イメージスキャナを利用することができる。または、処理対象の画像は、過去に撮像された画像を保管する記憶装置３０から取得されてもよい。

統計処理部１３０は、画像取得部１１０が取得した画像の画素情報に基づく画素の度数分布を取得する。ここでいう画素情報とは、例えば、各画素の輝度値であり、カラー画像の場合は、各画素のＲ（Ｒｅｄ）値、Ｇ（Ｇｒｅｅｎ）値、及びＢ（Ｂｌｕｅ）値であってもよい。これらの情報は、それぞれ例えば８ビット（０〜２５５）の値で表わされる。この場合、統計処理部１３０は、例えば画素の輝度値、Ｒ値、Ｇ値、又はＢ値に基づく０〜２５５までの２５６階級の度数分布を取得する。なお、これらの値は、画素情報に直接示されていてもよいし、画素情報が示す値から算出（変換）されてもよい。

正規化部１５０は、統計処理部１３０が取得した度数分布を正規化する。例えば、輝度値が０から２５５の値を取り得る実行環境において、度数の分布範囲の最小値が０に、最大値が２５５になるように度数分布全体を拡張する。図２Ａ及び図２Ｂは、正規化部１５０による度数分布の正規化処理の概要を説明するための図である。図２Ａに示されるのは、統計処理部１３０が取得した輝度値の度数分布のヒストグラムの模式図である。なお、図２Ａ及び図２Ｂ、並びに後述の図２Ｃは、便宜上、ヒストグラムの各柱の頂点を結ぶ線に近似する連続関数のみを示し、柱の図示は省略されている。

図２Ａは、ある画像の輝度値の度数分布を示す。この度数分布では度数の分布範囲の最小値は０より大きく、最大値は２５５より小さい。正規化処理では、度数分布全体が拡張され、図２Ｂに示されるように分布範囲の最小値が０に、最大値が２５５になる。なお、連続関数の極値は正規化の前後で保持される。図２Ａと図２Ｂとを比較すれば、正規化の前後でヒストグラムの最大値は変化せず、ヒストグラムがなす山は元の形状をある程度保って幅が拡大されていることがわかる。この正規化処理の結果、画像全体としてはコントラストが強調されるため、後述の領域分割部１７０による処理で良好な結果が得やすくなる。また、山の幅が狭いことで後述の領域分割部１７０による処理がうまく行われない場合がある。しかし、正規化処理によって山の幅が広げられることでも、領域分割部１７０による処理の良好な結果が得やすくなる。

領域分割部１７０は、統計処理部１３０による正規化の処理後の度数分布に基づいて、入力画像の領域分割を実行する。

領域分割には、閾値法、エッジ抽出法、ｋ−ｍｅａｎｓ分割法等の各種の既知の手法が利用可能であるが、本実施の形態においては、領域分割部１７０は混合ガウス分布法を利用する。より具体的には、複数のガウス分布（正規分布）を、上述の連続関数に近似させるようにそれぞれの重み付け係数と、平均と、共分散とを調節して線形結合する。図２Ｃは、混合ガウス分布法の適用例を説明するための図である。この例では、複数の曲線で示される正規分布の結合が、実線で示されるヒストグラム（その柱の頂点を結ぶ線に近似する連続関数）に近似している。このように度数分布を複数の正規分布でモデリングすることを、本願では度数分布（のヒストグラム）を正規分布で分割する、ともいい、混合ガウス分布法はこのために用いられる。

さらに領域分割部１７０は、複数の正規分布のそれぞれに対応する画素の集合（領域）を同一の領域として扱うことで入力画像を複数の領域に分割する。ここで、ヒストグラム内で同じ正規分布に対応する画素とは、例えば１つの正規分布の所定の偏差に収まる値を有する画素であることをいう。また、このような画素の集合を同一の領域として扱うとは、例えば対応する正規分布に応じて画素を塗り分けたり、特定の正規分布に対応する画素のみを抽出したりすることをいう。

ヒストグラムには、各画素の空間的情報（位置情報）は含まれないが、輝度又は色の情報は含まれる。そして各画素の輝度の情報及び色の情報は、画素が含まれる領域に写る対象の材料組成を反映していると考えられる。本発明では、線形結合してヒストグラムを近似する複数の正規分布のうち同一の正規分布に対応する画素からなる領域は、同一又は類似の材料組成の領域であると想定して同一の領域として扱われる。以下に、このような考えに基づく領域分割の実例を、画像を用いて示す。

図３は、処理前の原画像と、この原画像に上記の処理が施された画像とを並べた図である。原画像は、マンモグラフィによって得られた人の乳房の画像（九州がんセンター乳腺腫瘍画像データベースより）である。（ａ）及び（ｂ）の各列にあるヒストグラムは、統計処理部１３０によって取得された、画素情報（この例では８ビットで表わされる輝度値）のヒストグラムである。「（ａ）処理前」の列にある原画像のコントラストは低く、同列にある重心が左に寄ったヒストグラムもこのことを示している。

図３からわかるように、正規化部１５０による正規化処理の結果、画像のコントラスト原画像に比べて高められる（図３の「（ｂ）正規化後」の列の画像を参照）。そして正規化処理がされたヒストグラムに、領域分割部１７０によって混合ガウス分布法が適用され、対応する正規分布に応じて画素が塗り分けられた画像が「（ｃ）領域分割後」の列の画像である。このように画像を分割して得られる各領域は、原画像では必ずしも境界の視認が容易ではない各組織の領域をある程度反映すると考えられる。このように本発明は、生体組織の画像に適用し得る。また、コントラストの低い画像への本発明の適用例としては、例えば材料構成の近い金属材同士の溶接部位の画像における、組成による領域又はその境界の可視化が挙げられる。

画像取得部１１０、統計処理部１３０、正規化部１５０、及び領域分割部１７０は、電子計算機又は集積回路で実現される画像領域分割装置１０の機能的な構成要素であり、画像領域分割装置１０が記憶装置から読み込んだプログラムを実行することで実現される。例えば統計処理部１３０、正規化部１５０、及び領域分割部１７０をそれぞれ実現するための手段は特に限定されず、例えばＷｉｎｄｏｗｓ（登録商標）、Ｌｉｎｕｘ（登録商標）、Ａｎｄｒｏｉｄ（登録商標）等の既知のオペレーティングシステムが実装された各種の情報機器上で、ＯｐｅｎＣＶの画像処理ライブラリに含まれるプログラムを実行して実現することができる。または、そのような電子計算機上で、ＭＡＴＬＡＢ等のＣＡＥ（Ｃｏｍｐｕｔｅｒ Ａｉｄｅｄ Ｅｎｇｉｎｅｅｒｉｎｇ）ソフトウェアが用いられてもよいし、各構成要素による処理に対応する機能を備える画像処理ソフトウェア、若しくは各構成要素の処理内容が記述されたプログラムを用いて実現されてもよい。

また、領域分割部１７０から出力されるデータは、領域分割によって得られる領域を示す画像（以下、領域画像ともいう）であってもよい。領域画像は、例えばこの電子計算機等が備えるか、又はこの電子計算機等に接続される外部の表示装置（図示なし）に送られて表示されてもよいし、この電子計算機等が備えるか、又はこの電子計算機等に接続される記憶装置（図示なし）に保存されてもよい。

［２．動作］
図４は、実施の形態１に係る画像領域分割装置１０が実行する画像領域分割方法の手順を説明するためのフロー図である。

まず、画像取得部１１０によって処理対象の画像が取得される（ステップＳ１０）。

次に、統計処理部１３０によって、この取得された画像の画素情報に基づく画素の度数分布が取得される（ステップＳ２０）。

次に、正規化部１５０によって、この取得された度数分布が正規化される（ステップＳ３０）。

次に、領域分割部１７０によって、この正規化された度数分布に混合ガウス分布法が適用されて、複数の正規分布を用いてこの度数分布が分割される（ステップＳ４０）。この処理では、より適した結果が得られるように用いられる正規分布の個数が適宜調整されてもよい。

最後に、領域分割部１７０によって、複数の正規分布のそれぞれに対応する画素が同一の領域として扱われることで、画像が複数の領域に分割される（ステップＳ５０）。

本願に係る発明は、これらの一連の手順を含む方法としても実現可能である。

［３．変形例］
ここまでの画像領域分割装置１０の構成及び動作は、入力された画像の全体が処理の対象である例を用いて説明されているが、本発明はこれに限定されない。

例えば、取得された画像の空間的な一部が対象領域（ＲＯＩ：Ｒｅｇｉｏｎ ｏｆ Ｉｎｔｅｒｅｓｔ）として抽出されて処理されてもよい。あるいは、被検体の背景が除去されてもよい。また、この抽出は例えば、度数分布の取得（ステップＳ２０）の前に実行される。

また、度数分布の正規化（ステップＳ３０）は、画像の度数分布の一部に対して行われてもよい。例えばステップＳ２０で取得された度数分布に複数の峰が表れている場合に、その１つの峰又は一部の連続する複数の峰をカバーする１つの輝度範囲が０から２５５までに渡るよう正規化が実行されてもよい。これにより、画像のコントラストをより強く高めることができる。

また、ここまでの画像領域分割装置１０の構成及び動作は、領域分割（ステップＳ５０）の前になされる画像への処理はコントラスト強調の効果をもたらす正規化処理のみである例を用いて説明されているが、本発明はこれに限定されない。

例えば、撮像時の照明や染色にムラがある場合には、これらを補正する前処理が度数分布の取得（ステップＳ２０）の前に実行されてもよい。

また、画像中に多くのノイズが含まれている場合には、スムージング等のノイズ除去のための前処理が実行されてもよい。ただし、スムージングでは、領域間の小さい画素値差が消えてしまう場合がある。本発明が有用な効果を発揮するコントラストの低い画像は画素値差が小さい傾向にあるため、スムージングの実施の有無、及び実施する場合の強度の決定には注意が必要である。上述の例では、この点を考慮して前処理としてのノイズの低減のための処理をしない画像から画素情報が取得されている。

なお、ノイズの低減のための処理が領域分割（ステップＳ５０）の後になされてもよい。この場合には、例えば膨張及び収縮をそれぞれ同回数繰り返すクロージング又はオープニングの処理が実行されてもよい。

［４．実施例］
ここで、本実施の形態に係る画像領域分割方法を用いた画像の領域分割の２つの実施例を、図面を参照しながら説明する。

（実施例１）
図５は、本実施の形態に係る画像領域分割方法を用いた処理の過程で得られたデータを示す図である。なお、下記の実施例では、いずれにおいてもＯｐｅｎＣＶにて提供される統計処理、正規化、及び領域分割のための各ライブラリが利用された。

この実施例での領域分割の対象の画像（原画像）として取得されたのは（ステップＳ１０）、血管新生の経緯を調べるために実施されたマウス実験において撮影された、マウスの体内の血管を含む部位のカラー画像（ＪＰＥＧ形式）であった。各画像に対するノイズの低減処理は実行されなかった。

図５の「輝度」の列にある処理対象の画像は、この画像を白黒で表わすものである。画像内の輝度は、白色に近い場所ほど高く、黒色に近い場所ほど低い。この画像の下にあるのは、ステップＳ２０で得られたこの画像の輝度ヒストグラム（輝度値の範囲：０〜２５５）である。重心が右側に寄ったこのヒストグラムからわかるように、原画像は輝度コントラストが低い画像であった。

また、図５の「赤色成分」の列にある処理対象の画像は、原画像の赤色成分のみを含む画像である。赤色成分は、この画像で白色に近い場所ほど多く（Ｒ値が高い）、黒色に近い場所ほど少ない（Ｒ値が低い）。この画像の下にあるのは、ステップＳ２０で得られたこの画像の赤色成分のヒストグラム（Ｒ値の範囲：０〜２５５）である。重心が右側に寄ったこのヒストグラムからわかるように、原画像は赤色成分のコントラストが低い画像であった。

これらのヒストグラムのそれぞれに対して正規化（ステップＳ３０）が実行され、正規化後の各ヒストグラムに対して混合ガウス分布法の適用（ステップＳ４０）の処理が実行された。

輝度のヒストグラムの下に示されるのは、さらにステップＳ５０を実行して得られた領域画像のひとつであり、明るい部分は、輝度値が８４以上１４５未満である画素からなる領域を示す。この領域を原画像と照合すると、動脈及び血管新生部位と重なる割合が他の領域画像が示す領域よりも高かった。つまり、輝度のヒストグラムに基づく分割領域では、動脈及び血管新生部位の抽出を有効に実行することができた。

赤色成分のヒストグラムの下に示されるのは、さらにステップＳ５０を実行して得られた領域画像のひとつであり、明るい部分は、Ｒ値が１７５以上２００未満である画素からなる領域を示す。この領域を原画像及び実際の部位と照合すると、静脈との重なる割合が他の領域画像が示す領域よりも高かった。つまり、赤色成分のヒストグラムに基づく分割領域では、静脈の抽出を有効に実行することができた。

このように、輝度値又は色成分の値である画素情報に基づく画素の度数分布を数理的に処理することでコントラストの低い画像からも特定の部位の領域を抽出することができた。また、異なる画素情報を用いることで異なる部位の領域を画像から抽出することができた。

（実施例２）
本実施の形態に係る画像領域分割方法は、被検体への各種の染色処理又はマーカーの使用と組み合わせて用いられることで、画像からの特定の部位が写る領域の抽出をより容易にし、または精度を向上させる。例えば、染色の程度が低く肉眼では染色の有無又は程度の差異の判定が難しい部分を含む画像であっても、この方法によってこれらの判定がより容易になったり、その精度を向上させたりすることができる。このような応用の例として、図６Ａ〜図６Ｄを参照して、蛍光タンパク質で修飾された２種類の被検体の画像の、本実施の形態に係る画像領域分割方法を用いて行った領域分割の実施例を説明する。

この例では、被検体であるマウスの神経細胞に通常は豊富に発現するタンパク質であるＡＲＨＧＡＰ３３と、ゴルジ体マーカーとして用いられるタンパク質であるＧＭ１３０とが免疫蛍光染色された。なお、マウスは野生型及びＡＲＨＧＡＰ３３欠損であるノックアウト個体が用いられた。各図の左上から時計回りに、野生型マウス由来のＡＲＨＧＡＰ３３の染色画像、野生型マウス由来のＧＭ１３０の染色画像、ノックアウトマウス由来のＧＭ１３０の染色画像、ノックアウトマウス由来のＡＲＨＧＡＰ３３の染色画像である。

図６Ａに示されるのは、蛍光を発している被検体の原画像であり、より明るい部分にはより多くのＡＲＨＧＡＰ３３又はＧＭ１３０が存在する。図中の星印は、各画像内の野生型マウス又はノックアウトマウスの同じ部位（細胞核）を示す。なお、ＡＲＨＧＡＰ３３は緑系の蛍光、ＧＭ１３０は赤系の蛍光を発するよう染色された。したがって、実際には、ＡＲＨＧＡＰ３３の染色画像の明るい部分は緑系の色を呈し、ＧＭ１３０の染色画像の明るい部分は赤系の色を呈すると理解されたい。

図６Ｂ〜図６Ｄは、この原画像に対して、上記の各色に応じた色値に基づく領域分割の結果を示す図である。

これらの図からわかるように、領域分割によって得られた画像では、原画像では目視で把握できないタンパク質の存在が画像に写る範囲で広く視認できる。特にＡＲＨＧＡＰ３３では、その分布の差が野生型マウスの画像とノックアウトマウスの画像との間でより顕著に表れた。また、領域分割によって得られた画像、特に図６Ｃ及び図６Ｄでは、神経細胞内に、原画像で把握されるよりも広い範囲にＡＲＨＧＡＰ３３の存在が確認できた。

［５．効果］
本実施の形態に係る画像領域分割装置１０は、画像取得部１１０、統計処理部１３０、正規化部１５０、及び領域分割部１７０を備える。

画像取得部１１０は、画像を取得する。統計処理部１３０は、この画像の画素情報に基づく画素の度数分布を取得する。正規化部１５０は、この度数分布を正規化する。領域分割部１７０は、正規化後の度数分布を、混合ガウス分布法を用いて複数の正規分布に分割し、複数の正規分布のそれぞれに対応する画素の集合を同一の領域として扱うことで画像取得部１１０が取得した画像を複数の領域に分割する。

これにより、コントラストの低い画像であっても、画像情報に基づいて領域分割が実行される。

また、上記の画素情報は、ノイズの低減のための処理がされていない状態の画像の画素情報であってもよい。

これにより、画素値差の小さい低コントラストの原画像のデータが含む有用な情報を欠落させることなく画像の領域分割が実行される。

また、正規化は、上記の度数分布の一部に対して行われてもよい。

これにより、画像のコントラストをより強く高めることができる。

また、上記の画素情報は、輝度値を含んでもよく、画像がカラー画像である場合には、輝度値、Ｒ値、Ｇ値、及びＢ値の３種類の値のうち少なくとも１種類の値を含んでもよい。

これにより、画像の持つ画像情報に応じてこの画像の領域分割が実行される。

また、画像は、生体組織の画像であってもよい。

これにより、画像領域分割装置１０を、例えば解析により適した医用画像等の生体画像を提供する装置として機能させることができる。次の実施の形態では、このような画像の解析について医用画像を例に用いて説明する。

また、本発明は、上記の画像領域分割装置１０の各構成要素による処理を手順として含む方法として、また、この方法をコンピュータ等の情報機器が備えるプロセッサに実行させるプログラムとして実現されても同じ効果を奏する。

（実施の形態２）
［１．画像解析と特徴量］
画像解析においては、画像の特徴量に基づいて各種の判断がなされる。一般的な特徴量としては、対象物が写る領域の面積、周囲長、重心、真円度等の形状に関する特徴量が例に挙げられる。また、別の例としては、対象物が写る領域の輝度若しくはＲＧＢ値等の画素値の統計量、又はこれらのヒストグラムの形状等が挙げられる。実際に用いられる特徴量の種類は、画像解析の目的と、採用される数理的処理の特性との２つの観点から考慮して選択される。

本実施の形態では、実施の形態１に係る画像領域分割装置１０によってカラー画像が領域分割された後に、分割によって得られた各領域から取得される特徴量がこのカラー画像の解析に利用される。以下に具体的な例を用いて、画像のこのような特徴量の取得方法（以下、画像特徴取得方法ともいう）及びそれを利用する画像の解析について説明する。

図７Ａは、初期大腸がんの内視鏡画像の領域画像及び各領域画像に示される領域の画素情報の例を示す。また、図７Ｂは、進行大腸がんの内視鏡画像の領域画像及び各領域画像に示される領域の画素情報の例を示す。

図７Ａ及び図７Ｂに含まれる原画像（九州がんセンター消化器官がん画像データベースより）は、いずれも実際はカラー画像であり、輝度値、赤色（Ｒ値）、緑色（Ｇ値）、及び青色（Ｂ値）の各画像情報のヒストグラムに対して混合ガウス分布法を適用して領域分割が行われた。図７Ａの各原画像では、矢印で病変領域が示されている。

また、両図の領域画像は、輝度値のヒストグラムに対して行われた領域分割によって得られた。領域画像１は領域画像のうち、原画像と重ねると病変領域を比較的多く含む領域の画像であり、領域画像２及び３は領域画像のうち、原画像と重ねると病変領域の周辺の領域を比較的多く含む領域の画像である。図７Ｂに示される領域画像３が含む周辺領域は、領域画像２が含む周辺領域よりもさらに病変領域から遠い領域を比較的多く含む領域の画像である。なお、各領域画像の下にある数値は、明るい領域として示される輝度範囲である。

レーダーチャート１〜３は、それぞれ原画像の画素の、領域画像１〜３の領域内の輝度値、赤色（Ｒ値）、緑色（Ｇ値）、及び青色（Ｂ値）の４種類の値それぞれの平均値をプロットしたものである。これらの平均値は、本実施の形態における、画素情報の値に基づく特徴値の一例である。レーダーチャートの補助線は、内側から順に５０から２５０までの５０刻みの値を示す。

ここで、図７Ａに示される初期がんの画像から得たレーダーチャートと、図７Ｂに示される進行がんの画像から得たレーダーチャートとを比較すると、各レーダーチャートでプロットされた点を結んで得られる領域（以下、特徴領域という）の面積に次のような傾向が見られる。

初期がんの画像から得られた上記の各値は進行がんの画像から得られた値に比べて全体に小さいため、特徴領域の面積は小さめである。

また、同一の原画像に対して、病変領域の画像に基づく特徴領域の面積は、その周辺の領域の画像に基づく特徴領域の面積よりも小さい。これに対し、進行がんの画像では、病変領域の画像に基づく特徴領域の面積は、その周辺の領域の画像に基づく特徴領域の面積よりも大きい。図８Ａは、各領域画像の特徴領域の面積を比較するためのグラフである。横軸の項目は、各領域画像を示す。例えば「初期例１−１」は、初期例１の領域画像１を示す。縦軸の値は、各特徴領域のレーダーチャートのプロットエリアに対する割合（パーセント）を示す。このグラフからわかるように、各初期例では、病変領域の画像に基づく特徴領域が、その周辺の領域の画像に基づく特徴領域の面積よりも小さい傾向が見られる。また、各進行例では、病変領域の画像に基づく特徴領域が、その周辺の領域の画像に基づく特徴領域の面積よりも大きい傾向が見られる。

このことから、画像の輝度値、Ｒ値、Ｇ値、及びＢ値の４種類の画素情報の値にそれぞれ基づく特徴値（この例ではこれらの４種類の値それぞれの平均値）をプロットしたレーダーチャートにおける特徴領域の面積を各画像の特徴量として用いて、がんの進行度を類推する手掛かりとして用い得ると考えられる。また、画像解析の目的や対象の画像によっては、少なくとも３種類の値に基づく特徴値をプロットしたレーダーチャートにおける特徴領域の面積を各画像の特徴量として用いることができると考えられる。

また、画素情報の値又は特徴値として利用可能な情報は上記に限定されない。例えば、輝度値、Ｒ値、Ｇ値、又はＢ値がそのまま特徴値として用いられてもよいし、ＹＵＶ色空間における輝度情報の値と２種類の色差情報の値とが用いられてもよい。

また、特徴値がプロットされるのはレーダーチャートに限定されない。例えば座標系上にプロットされてもよい。この場合、各値を通る近似曲線を積分して得られる値が上記の特徴領域の面積として用いられてもよい。この例においては、座標系及びその上の近似曲線がグラフの例であり、積分によって面積が求められる領域が、特徴値に基づく特徴領域の例である。

また、各領域画像の特徴領域の形状等の図形的な特徴に基づいて画像の解析がなされてもよい。例えば図７Ａの初期例の病変領域の特徴領域は、図７Ｂの進行例の病変領域の特徴領域に比べてＢ側の内角の角度が大きい。このような画像の特徴量と被写体の状態との相関があらかじめ把握されている場合、例えば医用画像から病気の進行度を判断する情報のひとつとして利用することができる。

このように、本実施の形態に係る画像特徴取得方法によれば、従来は画像の解析に利用されてこなかった特徴量が取得される。

また、各値間の比にもある傾向が見られる。図８Ｂは、各領域画像が示す領域での原画像のＲ値の平均値のＢ値の平均値に対する比（以下、ＲＢ比という）を比較するためのグラフである。横軸の項目は、各領域画像を示す。縦軸の値はＲＢ比を示す。これらの平均値は、本実施の形態における、画素情報の値に基づく特徴値の一例である。

このグラフからわかるように、初期例では、病変領域の画像のＲＢ比がその周辺の領域のＲＢ比よりも高い傾向が見られる。これに対して進行例では、病変領域の画像のＲＢ比がその周辺の領域のＲＢ比よりも低い傾向が見られる。

このことから、画像の画素情報の値であるＲ値及びＢ値にそれぞれ基づく特徴値（この例では、これらの２種類の値それぞれの平均値）の比を各画像の特徴量として用いて、がんの進行度を類推する手掛かりとして用い得ると考えられる。

また、ＲＢ比は、それ自体が画像内で特定の組織又は特定の組成を比較的多く含む領域を示すことがある。図９は、被検体の部位によるＲＢ比の差を説明するための図である。

例１では、図５に示される処理対象の画像（原画像）と同じ画像が原画像として用いられている。各画素のＲＢ比を明るさに反映させて得られたのがＲＢ画像である。ＲＢ比が高い画素ほど白色に近く、低い画素ほど黒色に近い。ＲＢ画像を図５の輝度値に基づく領域画像と比較すると、ＲＢ画像の白色に近い部分と、輝度値に基づく領域画像の白色に近い部分とがある程度類似していることがわかる。つまり、ＲＢ比に基づいて画像内の動脈及び血管新生部位を抽出することができる。ＲＢ反転画像は、ＲＢ画像の階調を反転させたものであり、画像の状態、用途、閲覧場所等に応じてＲＢ画像と使い分けられてもよい。

例２では、ＲＢ画像において画面中央付近の明るい部分に対応する原画像の部分に、比較的太くうねりの強い新生血管の塊が写っている。

このようなＲＢ比に基づくＲＢ画像は、例えば領域画像内で特定の組織又は特定の組成を含む部分の割合の確認に用いられてもよい。ここでいう特定の組織又は特定の組成とは、例えば新生血管、病変の進行に伴い崩れた組織である。また例えば、実施例が無いか乏しい被検体の画像での領域分割のチューニングの指標として用いるために、原画像全体からあらかじめ図９のようなＲＢ画像が作成されてもよい。このＲＢ画像を用いて、特定の組織又は特定の組成を比較的多く含む領域の見当をつけることができる。あるいは、所定のＲＢ比を閾値として、各領域画像に示される領域をさらに分割してもよい。これにより、例えばある領域画像上で特定の臓器に見られる新生血管の像を抽出することができる。またあるいは、ある領域画像に示される領域におけるＲＢ比の値の合計又はＲＢ比が所定の閾値を超える部分の面積の割合が、当該領域での病変の進行状態等の判定に用いられてもよい。

また、画像解析の目的や画像によっては、これらの４種類の値が与えられている場合に、他の組み合わせの２種類の値に基づく特徴値の比を各画像の特徴量として用いることができると考えられる。例えば、緑系の色で染色処理が施された被検体の画像の領域分割には、Ｇ値と他の値との比を特徴量として用いることが考えられる。また、画素情報の値又は特徴値として利用可能な情報は上記に限定されない。例えば、輝度値、Ｒ値、Ｇ値、又はＢ値がそのまま特徴値として用いられてもよいし、ＹＵＶ色空間における輝度情報の値及び２種類の色差情報の値の合計３つの値のうち、いずれか２つの値の比が用いられてもよい。

［２．効果］
本実施の形態に係る画像特徴抽出方法のひとつでは、カラー画像の、実施の形態１の画像領域分割方法を用いて得た複数の領域のうち少なくとも１つの領域内の画素の少なくとも３種類の画素情報の値が取得され、少なくとも３種類の画素情報の値にそれぞれ基づく特徴値をプロットしたレーダーチャートにおいて、プロットされた特徴値の点を結んで得られる特徴領域内の面積がカラー画像の特徴量として取得される。

これにより、画像領域分割方法を用いて得た画像の領域に含まれる画素の画素情報の数理的な解析によって、この画像の解析をすることができる。

例えばこの少なくとも３種類の画素情報の値は、カラー画像の画素の輝度値、Ｒ値、Ｇ値、及びＢ値のうち少なくとも３種類の値であってもよい。

また、本実施の形態に係る画像特徴抽出方法の他のひとつでは、カラー画像の、実施の形態１の画像領域分割方法を用いて得た複数の領域のうち少なくとも１つの領域内の２種類の画素情報の値が取得され、２種類の画素情報にそれぞれ基づく特徴値の比がこのカラー画像の特徴量として取得される。

これによってもまた、画像領域分割方法を用いて得た画像の領域に含まれる画素の画素情報の数理的な解析によって、この画像の解析をすることができる。

例えばこの２種類の画素情報の値は、カラー画像の輝度値、Ｒ値、Ｇ値、及びＢ値のうち２種類の値であってもよい。

本発明は、コントラストの低い画像を、その画像が持つ情報に基づいて領域分割する装置、及び、この装置によって得られた領域の特徴量を、当該画像の解析のために提供する装置として利用可能である。

１０ 画像領域分割装置
１１０ 画像取得部
１３０ 統計処理部
１５０ 正規化部
１７０ 領域分割部
２０ 撮像装置
３０ 記憶装置

Claims (11)

1. 画像の画素情報に基づく画素の度数分布を取得し、
   前記度数分布を正規化し、
   正規化後の前記度数分布を、混合ガウス分布法を用いて複数の正規分布に分割し、
   前記複数の正規分布のそれぞれに対応する画素の集合を同一の領域として扱うことで前記画像を複数の領域に分割し、
   前記画像はカラー画像であり、
   前記画素情報は、輝度値、Ｒ（Ｒｅｄ）値、Ｇ（Ｇｒｅｅｎ）値、及びＢ（Ｂｌｕｅ）値の４種類の値のうち少なくとも１種類の値を含み、
   さらに、
   前記複数の領域のうち少なくとも１つの領域内の画素の少なくとも３種類の画素情報の値を取得し、
   前記少なくとも３種類の画素情報の値にそれぞれ基づく特徴値をプロットしたグラフにおいて、プロットされた特徴値の点に基づく特徴領域内の面積を前記カラー画像の特徴量として取得する
   画像領域分割方法。
2. 前記画素情報は、ノイズの低減のための処理がされていない状態の前記画像の画素情報である
   請求項１に記載の画像領域分割方法。
3. 前記正規化は、前記度数分布の一部に対して行われる
   請求項１又は２に記載の画像領域分割方法。
4. 前記画素情報は輝度値を含む
   請求項１から３のいずれか１項に記載の画像領域分割方法。
5. 前記画像は、生体組織の画像である
   請求項１から４のいずれか１項に記載の画像領域分割方法。
6. 前記少なくとも３種類の画素情報の値は、前記カラー画像の画素の輝度値、Ｒ値、Ｇ値、及びＢ値のうち少なくとも３種類の値である
   請求項１から５のいずれか１項に記載の画像領域分割方法。
7. 前記カラー画像の、請求項１に記載の画像領域分割方法を用いて複数の領域のうち少なくとも１つの領域内の２種類の画素情報の値を取得し、
   前記２種類の画素情報の値にそれぞれ基づく特徴値の比を前記カラー画像の特徴量として取得する
   画像特徴取得方法。
8. 前記２種類の画素情報の値は、前記カラー画像の輝度値、Ｒ値、Ｇ値、及びＢ値のうち２種類の値である
   請求項７に記載の画像特徴取得方法。
9. 前記２種類の画素情報の値は、前記カラー画像のＲ値及びＢ値である
   請求項７に記載の画像特徴取得方法。
10. 画像の画素情報に基づく画素の度数分布を取得する統計処理部と、
    前記度数分布を正規化する正規化部と、
    正規化後の前記度数分布を、混合ガウス分布法を用いて複数の正規分布に分割し、前記複数の正規分布のそれぞれに対応する画素の集合を同一の領域として扱うことで前記画像を複数の領域に分割する領域分割部とを備え、
    前記画像はカラー画像であり、
    前記画素情報は、輝度値、Ｒ（Ｒｅｄ）値、Ｇ（Ｇｒｅｅｎ）値、及びＢ（Ｂｌｕｅ）値の４種類の値のうち少なくとも１種類の値を含み、
    さらに、
    前記複数の領域のうち少なくとも１つの領域内の画素の少なくとも３種類の画素情報の値を取得し、前記少なくとも３種類の画素情報の値にそれぞれ基づく特徴値をプロットしたグラフにおいて、プロットされた特徴値の点に基づく特徴領域内の面積を前記カラー画像の特徴量として取得する画像特徴取得部を備える
    画像領域分割装置。
11. プロセッサに、
    画像の画素情報に基づく画素の度数分布を取得させ、
    前記度数分布を正規化させ、
    正規化後の前記度数分布を、混合ガウス分布法を用いて複数の正規分布に分割させ、
    前記複数の正規分布のそれぞれに対応する画素の集合を同一の領域として扱うことで前記画像を複数の領域に分割させ、
    前記画像はカラー画像であり、
    前記画素情報は、輝度値、Ｒ（Ｒｅｄ）値、Ｇ（Ｇｒｅｅｎ）値、及びＢ（Ｂｌｕｅ）値の４種類の値のうち少なくとも１種類の値を含み、
    さらに、
    前記複数の領域のうち少なくとも１つの領域内の画素の少なくとも３種類の画素情報の値を取得し、
    前記少なくとも３種類の画素情報の値にそれぞれ基づく特徴値をプロットしたグラフにおいて、プロットされた特徴値の点に基づく特徴領域内の面積を前記カラー画像の特徴量として取得する
    プログラム。

Images