JP4999163B2 - 画像処理方法および装置ならびにプログラム - Google Patents

Description

本発明は、画像中の特定領域の輪郭を検出する方法および装置ならびにプログラム、特に医用画像中の腫瘍領域の輪郭を検出する画像処理方法および装置ならびにプログラムに関するものである。

従来、医療分野においては、画像診断における医師等の読影者への負荷を軽減するとともに診断精度を向上させるために、デジタル医用画像（以下、単に医用画像という）を、コンピュータを用いて画像解析して診断するコンピュータ診断支援、いわゆるＣＡＤ（Computer Aided Diagnosis）が行われている。

このようなＣＡＤとしては、たとえば、医用画像中の病変の大きさ等の画像的情報に基づいて、腫瘍の悪性度を自動的に解析するものが知られている。特許文献１においては、腫瘍の近似的輪郭を放射線専門医による手作業で設定し、輪郭により得られた腫瘍の画像的な特徴量、たとえば腫瘍の大きさ、腫瘍内部のＣＴ値分布等に基づいて人工ニューラルネットワーク（ＡＮＮ）手法により悪性腫瘍の尤度を自動解析する方法が提案されている。

このような、腫瘍領域の画像的情報に基づく医療診断のためには、胸部ＣＴ画像から腫瘍領域または腫瘍領域の輪郭を正確に検出することが必要となる。腫瘍領域を検出する方法としては、たとえば特許文献２に示されているように、複数の連続ＣＴ断層像中の血管候補領域を２値化処理により抽出し、血管候補領域の内で外接直方体の体積が大きい領域を血管領域とし、その血管領域に対して収縮処理を施して孤立した領域を腫瘍候補領域とし、腫瘍候補領域のうちその形状が略球形であるものを腫瘍領域として検出する方法が知られている。

また、非特許文献１では、腫瘍領域の輝度分布をガウス分布に仮定し、腫瘍領域の輝度分布にもっとも一致する異方性ガウス分布（Anisotropic Gaussian）の平均および分散を算出し、そのガウス分布の中央値の位置を中心とする楕円状の輪郭を取得する手法が提案されている。

また、特許文献３では、ユーザーにより指定された画像中の対象領域を示す特定の画素と背景領域を示す特定の画素との情報に基づいて算出された、各画素が対象領域又は背景領域を示す画素である確からしさと、画像の局所的な明暗差（エッジ情報）に基づいて算出された隣接する画素が同一領域内の画素である確からしさとを用いて対象領域を抽出し、抽出された対象領域の輪郭を取得する手法が提案されている。

また、非特許文献２では、画像の局所的な明暗差（エッジ情報）と、腫瘍領域の予想される大きさと、画像の輝度分布とを用いて、画像中の各画素が腫瘍領域の輪郭を示す画素であるか否かの評価値を取得し、その取得した評価値に基づいて動的計画法により得られた最適輪郭経路を腫瘍領域の輪郭として決定する手法が提案されている。
特表２００２−５３０１３３公報 特開２００３−２５０７９４号公報 米国特許第６９７３２１２号明細書 K. Okada, D. Comaniciu, A. Krishnan, "Robust Anisotropic Gaussian Fitting for Volumetric Caracterization of Pulmonary Nodules in Multislice CT", IEEE Trans. Medical Imaging, Vol. 24, NO. 3, pp.409-423, 2005 Sheila Timpa, Nico Karssemeijer, "A new 2D segmentation method based on dynamic programming applied to computer aided detection in mammography", Med. Phys. 31(5), May 2004

ところが、ＣＴ画像を用いた肝がん診断においては、肺がん、乳癌の画像診断の場合と比較し、画像中の腫瘍と背景肝組織との明暗差が小さく、腫瘍の形状が多様であるので、２値化処理を用いて抽出した領域から腫瘍領域を確定する特許文献２において提案されている手法では、腫瘍の領域を正しく検出できない場合が多くある。図２、図３は、肝腫瘍を通る直線上の１次元輝度プロファイルを表す図であり、ここでＡ，Ａ′は腫瘍の輪郭部を示す。たとえば、図２（ａ）における直線ＡＡ′上の１次元輝度プロファイルを表す図２（ｂ）では、腫瘍と背景肝組織との明暗差が大きく、適当な閾値を設定した２値化処理により腫瘍領域を検出することができるが、図２（ｄ）、図３（ｂ）および図３（ｄ）では、腫瘍の内部と外部を輝度値だけでは判断できないので、２値化処理による腫瘍領域の検出は困難である。

また、画像の局所的な明暗差（エッジ情報）に基づいて、対象領域の輪郭を取得する特許文献３または非特許文献２の手法では、輪郭の抽出が画像の局所的な明暗差の変化に影響されやすく、対象領域と背景領域との明暗差が小さくなるに従って、輪郭の検出性能が低下するという問題がある。

また、腫瘍の輝度分布がガウシアン分布であることを前提に輪郭検出処理を行う非特許文献１にて提案されている手法は、図３（ｂ）に示すように腫瘍内部において背景組織より輝度が低く、変化が小さい場合、図３（ｄ）に示すように腫瘍内部および外部にガウシアン型の輝度分布が複数存在している場合等、腫瘍の輝度分布がガウシアン分布に近似できない場合には対応できない。また、輪郭を楕円として取得するので、規則性のない形状の腫瘍に対して正しい輪郭を検出することができず、画像診断の精度を損なう可能性がある。

本発明は、上記事情に鑑み、腫瘍の輪郭検出性能をより向上させることが可能な画像処理方法および装置ならびにプログラムを提供することを目的とするものである。

また本発明は、さらに広く、この技術を応用できる種々の画像中の特定領域の輪郭検出について、その検出性能をより向上させることが可能な画像処理方法および装置ならびにプログラムを提供することを目的とするものである。

本発明の画像処理方法は、入力画像中の特定領域の輪郭を決定する画像処理方法であって、輪郭が既知である特定領域を含む複数のサンプル画像における各画素の特徴量を予め機械学習することにより、各画素が輪郭を示す画素であるかどうかをその特徴量に基づいて評価する評価関数を取得し、入力画像中の特定領域内に任意の点を設定し、その点を基準として、入力画像中に特定領域を含む判別領域を設定し、その判別領域内の各画素の特徴量を取得し、その特徴量に基づいて、判別領域内の各画素が輪郭を示す画素であるかどうかの評価値を、上記評価関数を用いて算出し、その評価値を用いて輪郭を決定することを特徴とするものである。

本発明の画像処理装置は、入力画像中の特定領域の輪郭を決定する画像処理装置であって、輪郭が既知である特定領域を含む複数のサンプル画像における各画素の特徴量を予め機械学習することにより、各画素が輪郭を示す画素であるかどうかをその特徴量に基づいて評価する評価関数を取得する評価関数取得手段と、入力画像中の特定領域内に任意の点を設定する点設定手段と、その任意の点を基準として、入力画像中に特定領域を含む判別領域を設定する領域設定手段と、その判別領域内の各画素の特徴量を取得する特徴量取得手段と、その特徴量に基づいて、判別領域内の各画素が輪郭を示す画素であるかどうかの評価値を、上記評価関数を用いて算出する評価値算出手段と、算出した評価値を用いて輪郭を決定する輪郭決定手段とを備えたことを特徴とするものである。

本発明の画像処理プログラムは、入力画像中の特定領域の輪郭を決定するプログラムであって、コンピュータに、輪郭が既知である特定領域を含む複数のサンプル画像における各画素の特徴量を予め機械学習することにより、各画素が輪郭を示す画素であるかどうかをその特徴量に基づいて評価する評価関数を取得し、入力画像中の特定領域内に任意の点を設定し、その点を基準として、入力画像中に特定領域を含む判別領域を設定し、その判別領域内の各画素の特徴量を取得し、その特徴量に基づいて、判別領域内の各画素が輪郭を示す画素であるかどうかの評価値を、上記評価関数を用いて算出し、その評価値を用いて輪郭を決定することを実行させるためのものである。

なお、上記特徴量は、その特徴量の取得対象となる画素の近傍領域内の輝度情報であってもよい。ここで、近傍領域は、正方形の領域であってもよい。

また、特徴量は、その特徴量の取得対象となる画素から判別領域内の任意の方向に延びた１次元輝度プロファイル内の輝度情報であってもよい。

また、特徴量は、上記任意の点からその特徴量の取得対象となる画素を通る方向に延びた１次元輝度プロファイルと、上記任意の点から該方向と異なる方向に延びた１次元輝度プロファイルとを組み合わせた１次元輝度プロファイル内の輝度情報であってもよい。

また、評価関数は、各画素が輪郭を示す画素であるか否かを判別する複数の弱判別器による判別結果を用いて、その各画素が輪郭を示す画素であるかどうかを評価するものであってもよい。

上記の画像処理装置は、判別領域の画像を多重解像度化して、解像度が異なる複数の画像を取得する多重解像度画像取得手段を備え、特徴量取得手段および評価値算出手段が、その複数の画像の各々に対して、それぞれ特徴量の取得、評価値の算出を行うものであってもよい。

また、上記の画像処理装置は、判別領域の画像を直交座標系の画像から上記任意の点を基準とする極座標系の画像に変換する座標変換手段を備え、特徴量取得手段が、その座標変換された極座標系の判別領域の画像を用いて、特徴量の取得を行うものであってもよい。

また、上記輪郭決定手段は、グラフカット法（Graph cuts）を用いて輪郭を決定するものであってもよいし、動的計画法を用いて輪郭を決定するものであってもよい。

なお、ここで特定領域は、入力画像中からその輪郭を抽出したい領域を広く意味するものであって、入力画像中の異常領域、医用画像中の肝臓、脾臓、腎臓などの臓器を示す臓器領域であってもよい。

ここで入力画像中の異常領域というのは、いかなる種類の画像でも、そこに本来あることが望ましくないものが含まれている領域を広く意味するものであって、医用画像中の脳腫瘍、胸部結節、肝臓腫瘍、肝臓嚢胞、腎嚢胞などの病変を示す病変領域、皮膚の画像中に見られるシミ、あるいは工業製品の画像中の傷などを意味するものである。

また、評価関数を取得するとは、予め求められた評価関数を取得するものに限らず、評価関数を求めるものも含む。

本発明の画像処理方法および装置ならびにプログラムによれば、入力画像中の特定領域内に設定した任意の点を基準として、入力画像中にその特定領域を含む判別領域を設定し、設定された判別領域内の各画素の特徴量に基づいて、判別領域内の各画素が輪郭を示す画素であるかどうかの評価値を、評価関数を用いて算出し、その評価値を用いて特定領域の輪郭を決定する方法において、特に、その評価関数として、輪郭が既知である特定領域を含む複数のサンプル画像における各画素の特徴量を予め機械学習することにより取得した、各画素が輪郭を示す画素であるかどうかをその特徴量に基づいて評価する評価関数を用いているので、特定領域が複雑な濃度分布を有する特定領域や規則性のない形状を有する特定領域や背景領域との明度差が小さい以上領域であってもその輪郭を精度よく自動検出することができる。

また、特徴量が、上記設定された任意の点からその特徴量の取得対象となる画素を通る方向に延びた１次元輝度プロファイルと、上記任意の点からその方向と異なる方向に延びた１次元輝度プロファイルとを組み合わせた１次元輝度プロファイル内の輝度情報である場合には、その１次元輝度プロファイルを用いて、２次元的な評価が可能であり、より信頼性の高い評価を行うことができる。

また、評価関数が、各画素が輪郭を示す画素であるか否かを判別する複数の弱判別器による判別結果を用いて、各画素が輪郭を示す画素であるかどうかを評価するものである場合、ロバスト性の高い評価を行うことができる。

また、判別領域の画像を多重解像度化して、解像度が異なる複数の画像を取得する多重解像度画像取得手段を備え、特徴量取得手段および評価値算出手段が、その複数の画像の各々に対して、それぞれ特徴量の取得、評価値の算出を行うものである場合、さまざまな大きさの特定領域に対して精度よく評価値を算出することができる。

また、判別領域の画像を直交座標系の画像から上記任意の点を基準とする極座標系の画像に変換する座標変換手段を備え、特徴量取得手段が、その座標変換されてなる極座標系の判別領域の画像を用いて、特徴量の取得を行うものであれば、計算処理の量を大幅に減らすことができる。

以下、図面を参照して本発明の画像処理装置を医用画像中の腫瘍領域の輪郭を決定するものに適用した第１の実施の形態について説明する。なお、図１のような画像処理装置１の構成は、補助記憶装置に読み込まれた画像処理装置プログラムをコンピュータ（たとえばパーソナルコンピュータ等）上で実行することにより実現される。このとき、この画像処理プログラムは、ＣＤ−ＲＯＭ等の情報記憶媒体に記憶され、もしくはインターネット等のネットワークを介して配布され、コンピュータにインストールされることになる。

図１に示すように、画像処理装置１は、ＣＴ装置等により取得された医用画像Ｐに含まれる腫瘍領域の輪郭を決定するものであって、輪郭が既知である腫瘍領域を含む複数のサンプル画像における各画素の特徴量を予め機械学習することにより、該各画素が輪郭を示す画素であるかどうかをその特徴量に基づいて評価する評価関数Ｆを取得する評価関数取得部１０と、医用画像Ｐ中の腫瘍領域内に任意の点Ｃを設定する点設定部２０と、点Ｃを基準として、医用画像Ｐ中に腫瘍領域を含む判別領域ＴＴを設定する領域設定部３０と、設定した判別領域ＴＴの画像を直交座標系の画像から点Ｃを基準とする極座標系の画像ＰＰに変換する座標変換部４０と、座標変換してなる画像ＰＰを多重解像度化して、解像度の異なる複数の画像ＲＰを取得する多重解像度画像取得部５０と、取得された複数の画像ＲＰの各々に対して、腫瘍領域の輪郭Ｂを取得する輪郭取得部６０と、複数の画像ＲＰの各々に対して取得された輪郭Ｂから最適な輪郭を選択する最適輪郭選択部１００と、選択された最適輪郭の情報を含む極座標系の画像を、点Ｃに関する直交座標系の画像に逆変換する逆座標変換部１１０を備えている。

ここで、輪郭取得部６０は、複数の画像ＲＰ中の各画素の特徴量Ｌを取得する特徴量取得部７０と、取得した特徴量Ｌに基づいて、各画像ＲＰ内の各画素が輪郭を示す画素であるかどうかの評価値Ｓを、評価関数Ｆを用いて算出する評価値算出部８０と、算出した評価値Ｓに基づいて各画像ＲＰにおける腫瘍領域の輪郭Ｂを決定する輪郭決定部９０とを有している。

評価関数取得部１０は、たとえばアダブースティングアルゴリズム（Adaboosting Algorithm）を用いて、輪郭が既知である腫瘍領域を含む複数のサンプル画像における各画素の特徴量を予め機械学習することにより、その各画素が輪郭を示す画素であるかどうかを評価する評価関数Ｆを取得する機能を有するものであり、この評価関数取得部１０において取得された評価関数Ｆは、任意の医用画像中の各画素が腫瘍領域の輪郭を示す画素であるかどうかを評価する場合に適用することができる。

以下、評価関数Ｆを取得する一方法について詳細に説明する。まず、輪郭が既知である腫瘍領域を含む医用画像から、予めポジティブサンプル又はネガティブサンプルであることが正解付けされた学習サンプル（ｘ１，ｙ１），・・・，（ｘＮ，ｙＮ）を用意する。ここで、ｘｉは学習サンプルのデータ、すなわち、本実施の形態では一定の長さ（３２画素等）を有する１次元輝度プロファイルを示す。また、ｙｉは学習サンプルのラベルであり、ｙｉ＝１は、学習サンプルがポジティブサンプルとしてラベリングされている場合を示し、ｙｉ＝−１は、学習サンプルがネガティブサンプルとしてラベリングされていることを示す。

たとえば図２に示すような、腫瘍を通る一定の長さを有する１次元輝度プロファイルの内、両端から一定範囲の２箇所でそれぞれ輪郭部を有する１次元輝度プロファイルをポジティブサンプルとして抽出する。また、その他の輪郭部を１箇所でしか含まない１次元輝度プロファイル、輪郭部を含まない腫瘍内部または背景組織における１次元輝度プロファイル等をネガティブサンプルとして抽出する。

さらに、抽出された１次元輝度プロファイルにおいてコントラストを所定レベルに揃える正規化を施す。たとえば、図５（ａ）に示すように１次元輝度プロファイルの輝度値の大きさが小さい側に偏って分布している場合には、図５（ｂ）に示すように、輝度値の大きさが０〜２５５の全領域に亘るように正規化する。

なお、情報を有効に圧縮するために、図５（ｃ）に示すように、１次元輝度プロファイルのヒストグラムにおける分布範囲をたとえば５分割し、５分割された頻度分布が図５（ｄ）に示すように、０〜２５５の値を５分割した範囲に亘るものとなるように正規化することが好ましい。

アダブーストにおいて、取得される評価関数Ｆは、図４に示すように、複数の弱判別器ｆ_１〜ｆ_Ｍ（Ｍ：弱判別器の個数）から構成されており、各弱判別器ｆ_１〜ｆ_Ｍはそれぞれ上述した学習サンプルのデータ、すなわち、１次元輝度プロファイル内の輝度情報に基づく特徴量Ｌを用いて各学習サンプルがポジティブサンプルであるか否かの判別を行う機能を備える。

各弱判別器ｆ_１〜ｆ_Ｍは図６に示すようなヒストグラムを有しており、このヒストグラムに基づいて１次元輝度プロファイル内の輝度情報に基づく特徴量Ｌの値に応じた判別結果を出力する。

本実施の形態では、正規化処理を施した１次元輝度プロファイル内の３つの異なる画素における輝度値の組み合わせを特徴量Ｌとする。各弱判別器ｆ_１〜ｆ_Ｍ毎にそれぞれ異なる３つの画素の輝度値の組み合わせを特徴量Ｌとして用いられるものであり、たとえば、弱判別器ｆ_１では１次元輝度プロファイルの左端から三つの画素における輝度値の組み合わせを特徴量Ｌとして用い、弱判別器ｆ_２では１次元輝度プロファイルの左端から１画素おきに位置する３つの画素における輝度値等の組み合わせを特徴量Ｌとして用いるようにすることができる。

なお、各弱判別器ｆ_１〜ｆ_Ｍがそれぞれ異なる複数の画素の輝度値の組み合わせを特徴量として用いる場合について例示しているが、輝度値の差分、コントラスト、エッジ等の情報を用いるようにしてもよい。

次に、アダブーストのアルゴリズムに従って複数の弱判別器ｆ_ｍを逐次生成し、評価関数Ｆを構成する方法について説明する。

まず、全学習サンプルの重みＷ^１（ｉ）を一様に設定し、下記の式（１）により、重み付き学習サンプルに対する評価関数Ｆの誤り率Ｊを算出する。ここで、学習サンプルのデータ重みＷ^１（ｉ）は、繰り返し回数Ｍ＝１回目の学習サンプルｘｉのデータ重みを示す。

ここで、Ｍ−１個の弱判別器から構成される評価関数Ｆ_Ｍ-１＝Σ_ｍ=1 ^Ｍ-１ｆ_ｍ（ｘ）の評価性能を高めるため、上記の式（１）に示す誤り率Ｊを最小にする新しい弱判別器ｆ_Ｍを、下記式（２）により生成し、評価関数Ｆ_Ｍ＝Σ_ｍ=１ ^Ｍｆ_ｍ（ｘ）を構成する。ここで、確率密度Ｐｍ（ｘ）は、学習サンプルの重みＷ^Ｍ-１に基づいた、全学習サンプルに対するポジティブサンプル（ｙ＝１）またはネガティブサンプル（ｙ＝−１）に対する正答率を示すものである。

次いで、この弱判別器ｆｍを使用して、繰り返し処理Ｍ回目の各学習サンプルの重みＷ^Ｍを下記式（３）により更新する。

そして、所定回数（＝Ｔ回）の処理を繰り返し、生成された弱判別器全てを組み合わせた最終評価関数Ｆ_Ｍが学習データセットを所望の性能で判別できるようになるまで、弱判別器の生成を繰り返す。

最終評価関数Ｆ_Ｍは、全ての弱判別器の判別結果の総和の符号、すなわち下記式（４）に示す評価関数Ｆ_Ｍが正か負かを判断することで、ポジティブサンプル、すなわち、両端から一定範囲の２箇所でそれぞれ輪郭部を有する１次元輝度プロファイルであるかどうかを評価することができる。

なお、ここでは、評価関数１０がアダブースティングアルゴリズムを用いて評価関数Ｆを取得する場合について例示しているが、それに代えてニューラルネットワーク(Neural network)、ＳＶＭ(Support Vector Machine)等他のマシンラーニングの手法を用いることもできる。

点設定部２０は、ＣＴ装置等により取得された医用画像Ｐに含まれる腫瘍領域内に任意の点Ｃを設定するものであって、例えば、画像処理装置１に備えるキーボードやポインティングデバイス等により指定された位置に基づいて、該位置を任意の点Ｐｓとして設定するものであってもよいし、上記特許文献２等の公知の対象領域検出方法により自動検出された腫瘍領域内の各点に一定の質量が与えられているとし、その領域の重心位置を任意の点Ｃとして設定するものであってもよい。

ここで、任意の点Ｃは、腫瘍領域のおおまかな中心に設定されたものであってもよいし、腫瘍領域の中心から外れた位置に設定されたものであってもよい。

領域設定部３０は、図７の（ａ）に示すように、点設定部２０において設定された任意の点Ｃを基準として、医用画像Ｐ中に、腫瘍領域を含む判別領域ＴＴを設定するものであって、具体的には、任煮の点Ｃを中心とした、腫瘍領域を含む所定の半径の領域を判別領域ＴＴとして設定する。これにより、全体の医用画像Ｐから注目する領域の範囲を限定することにより、以降の処理を高速化することができる。

なお、判別領域ＴＴは、その周縁形状として矩形、円形、楕円形等、種々の形状を採用することができる。

座標変換部４０は、領域設定部３０において設定された判別領域ＴＴの画像を、直交座標系の画像から、任意の点Ｃからの距離と任意の点Ｃを通る所定の直線とのなす角度θとで表される極座標系の画像ＰＰに変換する機能を有する。たとえば、図７（ｂ）に示す画像は、図７（ａ）に示す直交座標の画像を、点Ｃからの距離と点Ｃからの半径方向線分ＣＤを基準とした時計方向の角度θとで表される極座標系の画像に変換してなるものである。これにより、平行移動という簡単な探索処理で、容易に判別領域内の各画素に対して処理を行なうことが可能となるため、計算処理の量を大幅に減らすことができる。

多重解像度画像取得部５０は、図８に示すように、座標変換部４０において座標変換してなる画像ＰＰを多重解像度化して、解像度の異なる複数の画像ＲＰ_１〜ＲＰ_Ｋを取得する機能を有する。これにより、評価関数Ｆは予め設定された一定の長さの１次元輝度プロファイルに対応させて取得しているため、腫瘍領域の大きさが、評価関数Ｆにより評価できる範囲内に収まらない場合が生じるが、そのような場合であっても、低解像度化または高解像度化した画像上において腫瘍領域の大きさを評価関数Ｆにより評価できる範囲内に収めることが可能となり、さまざまな大きさの腫瘍領域に対して輪郭の検出を確実に行うことができる。

なお、本実施の形態では、解像度の異なる複数の画像に対して、一定の長さ（画素数）を有する１次元輝度プロファイルに対応させて取得した評価関数を用いる場合について例示しているが、単一の解像度の画像に対して、異なる長さ（画素数）の１次元輝度プロファイルに対応させて取得した評価関数を用いることにより、さまざまな大きさの腫瘍領域に対して輪郭の検出を可能とすることができる。

輪郭取得部６０は、多重解像度画像取得部５０において取得された複数の画像ＲＰ_１〜ＲＰ_Ｋの各々に対して、腫瘍領域の輪郭Ｂ_１〜Ｂ_Ｋを取得するものであり、複数の画像ＲＰ_１〜ＲＰ_Ｋ中の各画素の特徴量Ｌを取得する特徴量取得部７０と、取得した特徴量Ｌに基づいて、各画像ＲＰ中の各画素が輪郭を示す画素であるかどうかの評価値Ｓを、評価関数Ｆを用いて算出する評価値算出部８０と、算出した評価値Ｓに基づいて各画像における腫瘍領域の輪郭Ｂを決定する輪郭決定部９０を備えている。

特徴量取得部７０は、画像ＲＰ_１〜ＲＰ_Ｋの各画素の特徴量を取得するものであり、図７（ａ）または（ｂ）に示すように、任意の点Ｃから画素（ｘ、ｙ）を通る方向に延びた１次元輝度プロファイルと、任意の点Ｃからその方向と異なる方向である任意の画素（ｉ、ｊ）を通る方向に延びた１次元輝度プロファイルとを組み合わせた１次元輝度プロファイルを、画素（ｘ、ｙ）における１次元輝度プロファイルＰ（（ｘ、ｙ）、（ｉ、ｊ））として取得する。そして、取得した１次元輝度プロファイルの長さを、評価関数Ｆが対応可能に設定された長さ（３２画素等）数に合わせて調節し、さらに、正規化および５値化処理を行なうようになっている。また、評価関数Ｆを構成する各弱判別器ｆ_１〜ｆ_Ｍに用いられる、正規化された１次元輝度プロファイル内のそれぞれ異なる３つの画素における輝度値の組み合わせを、画素（ｘ、ｙ）における特徴量Ｌとして取得する。評価値算出部８０は、特徴量取得部７０において取得された特徴量Ｌに基づいて、画像ＲＰ_１〜ＲＰ_Ｋの各画素（ｘ、ｙ）が輪郭を表す画素であるかどうかの評価値Ｓを算出する機能を有している。具体的には、下記式（５）に示すように、１次元輝度プロファイルＰ（（ｘ、ｙ）、（ｉ、ｊ））内の異なる３つの画素における輝度値の組み合わせからなる特徴量Ｌに基づいて得られた、各弱判別器ｆ_１〜ｆ_Ｍ での判別結果の和Σ_ｍ=1 ^Ｍｆ_ｍが設定しきい値（ゼロ）以上であるか否かを認識し、設定しきい値以上であるとき、得られた判別結果の和を ＡｄａＳとし、設定しきい値以下である場合はＡｄａＳを０とする。ここで、 画素（ｘ、ｙ）および任意の画素（ｉ、ｊ）が腫瘍の輪郭部に相当する画素である可能性が高いほど、ＡｄａＳの値は大きくなる。このようなＡｄａＳを、画素（ｘ、ｙ）とその画素を除いた判別画像ＲＰ内の各画素（ｉ、ｊ）とを通る１次元輝度プロファイルに対して取得し、下記式（６）により、画素（ｘ、ｙ）の評価値Ｓを算出する。図７（ｃ）は（ｂ）画像の各画素における特徴量に基づいて算出された評価値Ｓを各画素の輝度値として表した画像である。

輪郭決定部９０は、評価値算出部８０において算出された各画素の評価値Ｓに基づいて画像ＲＰ_１〜ＲＰ_Ｋにおける腫瘍領域の輪郭Ｂ_１〜Ｂ_Ｋを決定するものであり、例えば、動的計画法を用いて輪郭の最適な経路を抽出して輪郭Ｂとして決定する。具体的には、下記式（７）に示すように、任意の輪郭点に連続する次の輪郭点のｙ座標が、その任意の輪郭点のｙ座標から上下２画素の範囲内で選択されるように設定し、設定した範囲内の候補画素の中の最適点（評価値の合計が最大となる画素）を次の輪郭点とすることを繰り返して最適解を求めることにより、ある程度の連続性を確保した最適輪郭Ｂを抽出する。図７（ｄ）は（ｃ）画像の各画素の評価値Ｓに基づいて輪郭決定部９０により決定した輪郭の一例を示す画像である。

なお、ここでは、動的計画法を用いて輪郭を決定する場合について例示しているが、それに代えて後述するグラフカット法（Graph Cuts）等他の手法を用いて輪郭を決定してもよい。

最適輪郭選択部１００は、多重解像度化された複数の画像ＲＰの各々に対して取得された、腫瘍の輪郭Ｂ_１〜Ｂ_Ｋ毎に輪郭上の評価値Ｓの合計を求め、最も大きい値となる輪郭を最適な輪郭として選択するものである。

逆座標変換部１１０は、座標変換部４０による変換の逆変換として、任意の点Ｃに関する極座標系の画像を、直交座標系の画像に逆変換する機能を有するものであり、最適輪郭選択部１００において選択された最適輪郭の情報を含む極座標系の画像を、直交座標の画像系の画像に逆変換することにより、図７（ｅ）に示すように、判別領域ＴＴの画像等の医用画像上に輪郭Ｂを表示することができる。

次に、本発明による画像処理装置を医用画像中の腫瘍領域の輪郭を決定するものに適用した第２の実施の形態について図９を参照して説明する。図９は第２の実施の形態の画像処理装置２を示す概略構成図である。

画像処理装置２は、ＣＴ装置等により取得された医用画像Ｐ２中の腫瘍領域の輪郭を決定するものであって、輪郭が既知である腫瘍領域を含む複数のサンプル画像における各画素の特徴量を予め機械学習することにより、該各画素が輪郭を示す画素であるかどうかをその特徴量に基づいて評価する評価関数Ｆ２を取得する評価関数取得部２１０と、医用画像Ｐ２中の腫瘍領域内に任意の点Ｃ２を設定する点設定部２２０と、設定した任意の点Ｃ２を基準として、医用画像Ｐ２中に腫瘍領域を含む判別領域ＴＴ２を設定する領域設定部２３０と、判別領域ＴＴ２内の各画素の特徴量Ｌ２を取得する特徴量取得部２７０と、取得した特徴量Ｌ２に基づいて、判別領域ＴＴ２内の各画素が輪郭を示す画素であるかどうかの評価値Ｓ２を、評価関数Ｆ２を用いて算出する評価値算出部２８０と、算出した評価値Ｓ２を用いて輪郭Ｂ２を決定する輪郭決定部２９０とを有している。

評価関数取得部２１０は、評価関数取得部１０と同様に、アダブースティングアルゴリズム（Adaboosting Algorithm）、ニューラルネットワーク(Neural network)、ＳＶＭ(Support Vector Machine)等のマシンラーニングの手法を用いて、輪郭が既知である腫瘍領域を含む複数のサンプル画像における各画素の特徴量を予め機械学習することにより、該各画素が輪郭を示す画素であるかどうかをその特徴量に基づいて評価する評価関数Ｆ２を取得するものであって、この評価関数取得部２１０において取得された評価関数Ｆ２は、任意の医用画像中の各画素が腫瘍領域の輪郭を示す画素であるかどうかを評価する場合に適用することができる。

本実施の形態では、サンプル画像における各画素の近傍領域内の輝度情報、例えば、その画素を中心とする水平方向５画素×垂直方向５画素の矩形の領域内の異なる３つの画素における輝度値の組み合わせを、その各画素における特徴量として機械学習し、その各画素が輪郭を示す画素であるかどうかをその特徴量に基づいて評価する評価関数Ｆ２を取得する。

点設定部２２０は、点設定部２０と同一の構成を有し、入力された医用画像中の腫瘍領域内に任意の点を設定するものであって、医用画像Ｐ２中の腫瘍領域内に任意の点Ｃ２を設定する。

領域設定部２３０は、領域設定部３０と同一の構成を有し、設定された任意の点を基準として、医用画像中に腫瘍領域を含む判別領域を設定するものであって、点設定部２２０において設定された任意の点Ｃ２を基準として、医用画像Ｐ２中に腫瘍領域を含む判別領域ＴＴ２を設定する。

特徴量取得部２７０は、領域設定部２３０において設定された判別領域ＴＴ２内の各画素の特徴量Ｌ２を取得するものであって、その各画素の近傍領域内の輝度情報、例えば、その画素を中心とする水平方向５画素×垂直方向５画素の矩形の領域内の異なる３つの画素における輝度値の組み合わせを、その各画素における特徴量として取得する。

評価値算出部２８０は、特徴量取得部２７０において取得した特徴量に基づいて、判別領域ＴＴ２内の各画素が輪郭を示す画素であるかどうかの評価値Ｓ２を、評価関数Ｆ２を用いて算出するものである。

輪郭決定部２９０は、評価値算出部２８０において算出された各画素の評価値Ｓ２を用いて腫瘍領域の輪郭Ｂ２を決定するものであって、たとえば、Yuri Y. Boykov, Marie-Pierre Jolly, “Interactive Graph Cuts for Optimal Boundary and Region Segmentation of Objects in N-D images”, Proceedings of “International Conference on Computer Vision”, Vancouver, Canada, July 2001 vol.I, p.105-112.に記載されているような、隣接する画素が同一領域内の画素である確からしさを用いて対象領域と背景領域を分割するグラフカット法（Graph Cuts）領域分割方法により輪郭を決定する際、各画素の評価値Ｓ２を用いてその画素が隣接する画素と同一領域内の画素である確からしさを算出し、算出された確からしさに基づいて判別領域ＴＴ２を腫瘍領域と背景領域とに分割して、判別領域と特定領域の境界を腫瘍領域の輪郭Ｂ２として決定するようになっている。

具体的には、まず、図１０に示すように、判別領域中の各画素を表すノードＮ_ｉｊと、各画素が取り得るラベル（本実施の形態では、腫瘍領域または背景領域）を表すノードＳ、Ｔと、隣接する画素のノード同士をつなぐリンクであるｎ−ｌｉｎｋと、各画素を表すノードＮ_ｉｊと腫瘍領域を表すノードＳまたは腫瘍の背景領域を表すノードＴとをつなぐリンクであるｔ−ｌｉｎｋとから構成されるグラフを作成する。

ここで、ｎ−ｌｉｎｋには、判別領域中の各画素を表すノードＮ_ｉｊ毎にそのノードから四方の隣接するノードへ向かう４本のリンクが存在し、各隣接するノード間には互いのノードに向かう２本のリンクが存在する。ここで、各ノードＮ_ｉｊから四方の隣接するノードへ向かう４本のリンクは、そのノードが示す画素が四方の隣接する画素と同一領域内の画素である確からしさを表すものであり、その確からしさはその画素における評価値に基づいて求められる。具体的には、そのノードＮ_ｉｊが示す画素の評価値が設定しきい値以下である場合には、それらの各リンクに確からしさの所定の最大値が設定され、評価値が設定しきい値以上である場合は、その評価値が大きいほど、小さい値の確からしさが各リンクに設定される。たとえば、確からしさの所定の最大値を1000とした場合、ノードＮ_ｉｊが示す画素の評価値が設定しきい値（ゼロ）以下である場合には、そのノードから四方の隣接するノードへ向かう４本のリンクに1000という値が設定され、評価値が設定しきい値（ゼロ）以上である場合は、次式（1000−（評価値Ｓ/評価値の最大値）×1000）により算出された値をそれらの各リンクに設定することができる。ここで、評価値の最大値は、評価値算出部２８０により判別領域ＴＴ２内の各画素において算出された全ての評価値のうち最大の値を意味する。

また、各画素を表すノードＮ_ｉｊと腫瘍領域を表すノードＳをつなぐｔ−ｌｉｎｋは、各画素が腫瘍領域に含まれる画素である確からしさを表すものであり、各画素を表すノードと背景領域を表すノードＴをつなぐｔ−ｌｉｎｋは、各画素が背景領域に含まれる画素である確からしさを表すものである。それらの確からしさは、その画素が腫瘍領域又は背景領域のいずれかを示す画素であるかの情報がすでに与えられている場合には、その与えられた情報に従って設定でき、そのような情報が与えられてない場合には、腫瘍領域または背景領域を示す画素であることが既知である１以上の画素における画素値の統計的な特徴に基づいて算出することができる。

たとえば、任意の点Ｃは腫瘍領域内に設定された画素であるので、図１０に示すように、その点Ｃを示すノードＮ３３と腫瘍領域を表すノードＳとをつなぐｔ−ｌｉｎｋに、大きい値の確からしさを設定する。また、腫瘍領域内に設定された任意の点を基準として、その腫瘍領域を含むように設定した判別領域ＴＴ２は、通常、腫瘍領域及びその腫瘍領域の周囲に存在する背景領域を含むようになっていることから、判別領域ＴＴ２の周縁の各画素を、背景領域を示す画素であろうと想定し、それらのその各画素を示すノードＮ_１１、Ｎ_１２、…、Ｎ_１５、Ｎ_２１、Ｎ_２５、Ｎ_３１、、と背景領域を表すノードＴとをつなぐｔ−ｌｉｎｋに、大きい値の確からしさを設定する。

そして、腫瘍領域と背景領域は互いに排他的な領域であるので、たとえば図１１に点線で示すように、全てのｔ−ｌｉｎｋおよびｎ−ｌｉｎｋのうち適当なリンクを切断してノードＳをノードＴから切り離すことにより、判別領域ＴＴ２を腫瘍領域と背景領域に分割する。ここで、切断する全てのｔ−ｌｉｎｋおよびｎ−ｌｉｎｋにおける確からしさの合計が最も小さくなるような切断を行うことにより、最適な領域分割をすることができる。以上のように領域分割して得られた病変領域において決定された輪郭の一例を図１２に示す。この図では、病変領域の輪郭を実線で表示している。

上記各実施の形態によれば、輪郭が既知である腫瘍領域を含む複数のサンプル画像における各画素の特徴量を予め機械学習することにより、各画素が輪郭を示す画素であるかどうかをその特徴量に基づいて評価する評価関数を取得し、医用画像中の腫瘍領域内に設定した任意の点から設定される判別領域内の各画素の特徴量に基づいて、判別領域内の各画素が輪郭を示す画素であるかどうかの評価値を、上記評価関数を用いて算出し、その評価値を用いて輪郭を決定することにより、腫瘍領域が複雑な濃度分布を有する腫瘍領域や規則性のない形状を有する腫瘍領域や背景領域との明度差が小さい以上領域であってもその輪郭を精度よく自動検出することができる。

なお、上記各実施の形態において、特徴量は、その特徴量の取得対象となる画素が輪郭を示す画素であるかどうかをその特徴量に基づいて評価できるものであればよく、例えば、その画素の近傍領域内の輝度情報であってもよいし、その画素から判別領域内の任意の方向に延びた１次元輝度プロファイル内の輝度情報であってもよい。また、設定された任意の点からその特徴量の取得対象となる画素を通る方向に延びた１次元輝度プロファイルと、上記任意の点からその方向と異なる方向に延びた１次元輝度プロファイルとを組み合わせた１次元輝度プロファイル内の輝度情報であってもよい。

また、上記第２の実施の形態の画像処理装置を用いて、３次元の医用画像中の腫瘍領域の輪郭を決定する場合には、まず、評価関数取得部２１０において、輪郭が既知である腫瘍領域を含む複数の３次元のサンプル画像における各画素（ボクセル）の特徴量を予め機械学習することにより、該各画素（ボクセル）が輪郭を示す画素（ボクセル）であるかどうかをその特徴量に基づいて評価する評価関数を取得する。ここで、特徴量としては、その画素（ボクセル）の近傍領域内の輝度情報、例えば、その画素（ボクセル）を中心とするＸ軸方向５画素×Ｙ軸方向５画素×Ｚ軸方向５画素の立方体の領域内の異なる複数個の画素（ボクセル）における輝度値の組み合わせを用いることができる。次に、点設定部２２０において、３次元の医用画像中の腫瘍領域内に３次元座標系での任意の点を設定し、領域設定部２３０において、設定した任意の点Ｃ２を基準として、３次元の医用画像中に腫瘍領域を含む判別領域を設定し、特徴量取得部２７０において、判別領域内の各ボクセルの特徴量を取得する。次に、評価値算出部２８０において、取得した特徴量に基づいて、判別領域内の各画素（ボクセル）が輪郭を示す画素であるかどうかの評価値を、評価関数Ｆ２を用いて算出し、輪郭決定部２９０において、その算出されたた評価値に基づいてグラフカット法（Graph Cuts）により判別領域を腫瘍領域と背景領域とに分割し、分割された判別領域と腫瘍領域の境界を腫瘍領域の輪郭として決定する。

なお、腫瘍領域が、たとえば、その腫瘍領域内の任意の点から放射線状に延びた直線のうち、輪郭を２回以上通る直線が存在するような形状を有する場合、判別領域の画像を直交座標系の画像からその任意の点を基準とする極座標系の画像に変換し、変換された画像を横切るように所定の順方向に沿って単一の最適な輪郭点を次々と決定していくことによって輪郭の最適な経路を抽出する動的計画法による輪郭の抽出方法では、正しい輪郭を検出することができない場合がある。このような場合には、上述したグラフカット法（Graph Cut）領域分割方法により判別領域を腫瘍領域と背景領域とに分割して、腫瘍領域の輪郭を決定することが望ましい。

なお、上記各実施の形態では、本発明の画像処理装置を、医用画像中の腫瘍領域の輪郭を決定するものに適用した場合について説明したが、医用画像中の腫瘍領域の輪郭を決定する場合に限らず、種々の入力画像からその輪郭を抽出したい領域、たとえば、医用画像中の臓器領域又は病変領域、皮膚の画像中に見られるシミ領域、工業製品の画像中の傷領域などの特定領域の輪郭を決定する場合に適用することができる。

また、医用画像中の腫瘍領域の輪郭を決定する場合における上述した種々の対応についても、種々の入力画像からその輪郭を抽出したい様々な領域に対して、その輪郭を決定する場合に適用することができる。

本発明の画像処理装置の実施の形態を示すブロック図 肝腫瘍を通る直線上の１次元輝度プロファイルを表す図 肝腫瘍を通る直線上の１次元輝度プロファイルを表す図 図１の評価関数取得部により取得された評価関数の一例を示すブロック図 （ａ）１次元輝度プロファイルの正規化前の輝度値ヒストグラムを示す図、（ｂ）正規化後の輝度値ヒストグラムを示す図、（ｃ）５値化した輝度値ヒストグラムを示す図、（ｄ）正規化後の５値化した輝度値ヒストグラムを示す図 図４の弱判別器が有するヒストグラムの一例を示すグラフ図 本発明の画像処理方法による画像処理の一例を示す図 図１の多重解像度画像取得部において取得される多重解像度化画像の一例を示す図 本発明の画像処理装置の第２の実施の形態を示すブロック図 図９の輪郭決定部により輪郭を決定する一方法を説明するための図 図９の輪郭決定部により輪郭を決定する一方法を説明するための図 本発明の画像処理装置により決定された輪郭の一例を示す図

符号の説明

１、２ 画像処理装置
１０、２１０ 評価関数生成部
２０、２２０ 点設定部
３０、２３０ 領域決定部
７０、２７０ 特徴量取得部
８０、２８０ 評価値算出部
９０、２９０ 輪郭決定部
４０ 座標変換部
５０ 多重解像度画像取得部
Ｃ、Ｃ２ 腫瘍領域内の任意の点
Ｆ、Ｆ２ 評価関数
Ｌ、Ｌ２ 特徴量
Ｓ、Ｓ２ 評価値
Ｂ、Ｂ２ 輪郭

Claims (13)

1. 評価関数取得手段と、点設定手段と、領域設定手段と、特徴量取得手段と、評価値算出手段と、輪郭決定手段とを備えた画像処理装置によって実行される、入力画像中の特定領域の輪郭を決定する画像処理方法であって、
   前記評価関数取得手段が、輪郭が既知である特定領域を含む複数のサンプル画像における各画素の特徴量を予め機械学習することにより、該各画素が前記輪郭を示す画素であるかどうかを前記特徴量に基づいて評価する評価関数を取得し、
   前記点設定手段が、前記入力画像中の特定領域内に任意の点を設定し、
   前記領域設定手段が、設定した任意の点を基準として、入力画像中に前記特定領域を含む判別領域を設定し、
   前記特徴量取得手段が、設定した判別領域内の各画素の特徴量を取得し、
   前記評価値算出手段が、取得した特徴量に基づいて、前記判別領域内の各画素が前記輪郭を示す画素であるかどうかの評価値を、前記評価関数を用いて算出し、
   前記輪郭決定手段が、算出した評価値を用いて輪郭を決定することを特徴とする画像処理方法。
2. 入力画像中の特定領域の輪郭を決定する画像処理装置であって、
   輪郭が既知である特定領域を含む複数のサンプル画像における各画素の特徴量を予め機械学習することにより、該各画素が前記輪郭を示す画素であるかどうかを前記特徴量に基づいて評価する評価関数を取得する評価関数取得手段と、
   前記入力画像中の特定領域内に任意の点を設定する点設定手段と、
   設定した任意の点を基準として、入力画像中に前記特定領域を含む判別領域を設定する領域設定手段と、
   設定した判別領域内の各画素の特徴量を取得する特徴量取得手段と、
   取得した特徴量に基づいて、前記判別領域内の各画素が前記輪郭を示す画素であるかどうかの評価値を、前記評価関数を用いて算出する評価値算出手段と、
   算出した評価値を用いて輪郭を決定する輪郭決定手段と
   を備えたことを特徴とする画像処理装置。
3. 前記特徴量が、該特徴量の取得対象となる画素の近傍領域内の輝度情報であることを特徴とする請求項２記載の画像処理装置。
4. 前記特徴量が、該特徴量の取得対象となる画素から判別領域内の任意の方向に延びた１次元輝度プロファイル内の輝度情報であることを特徴とする請求項２記載の画像処理装置。
5. 前記特徴量が、前記任意の点から該特徴量の取得対象となる画素を通る方向に延びた１次元輝度プロファイルと、前記任意の点から該方向と異なる方向に延びた１次元輝度プロファイルとを組み合わせた１次元輝度プロファイル内の輝度情報であることを特徴とする請求項２記載の画像処理装置。
6. 前記評価関数が、前記各画素が輪郭を示す画素であるか否かを判別する複数の弱判別器による判別結果を用いて、前記各画素が輪郭を示す画素であるかどうかを評価するものであることを特徴とする請求項２から５のいずれか１項記載の画像処理装置。
7. 前記判別領域の画像を多重解像度化して、解像度が異なる複数の画像を取得する多重解像度画像取得手段を備え、
   前記特徴量取得手段および前記評価値算出手段が、前記複数の画像の各々に対して、それぞれ特徴量の取得、評価値の算出を行うものであることを特徴とする請求項２から６のいずれか１項記載の画像処理装置。
8. 前記判別領域の画像を直交座標系の画像から前記任意の点を基準とする極座標系の画像に変換する座標変換手段を備え、
   前記特徴量取得手段が、前記座標変換された極座標系の判別領域の画像を用いて、特徴量の取得を行うものであることを特徴とする請求項２、４、５、６、７のいずれか１項記載の画像処理装置。
9. 前記輪郭決定手段が、グラフカット法を用いて輪郭を決定するものであることを特徴とする請求項２から８のいずれか１項記載の画像処理装置。
10. 前記輪郭決定手段が、動的計画法を用いて輪郭を決定するものであることを特徴とする請求項８記載の画像処理装置。
11. 前記特定領域が、医用画像中の腫瘍領域であることを特徴とする請求項２から１０いずれか１項記載の画像処理装置。
12. 前記近傍領域が、正方形であることを特徴とする請求項３記載の画像処理装置。
13. 入力画像中の特定領域の輪郭を決定するプログラムであって、
    コンピュータに、
    輪郭が既知である特定領域を含む複数のサンプル画像における各画素の特徴量を予め機械学習することにより、該各画素が前記輪郭を示す画素であるかどうかを前記特徴量に基づいて評価する評価関数を取得し、
    前記入力画像中の特定領域内に任意の点を設定し、
    設定した任意の点を基準として、前記入力画像中に前記特定領域を含む判別領域を設定し、
    設定した判別領域内の各画素の特徴量を取得し、
    取得した特徴量に基づいて、前記判別領域内の各画素が前記輪郭を示す画素であるかどうかの評価値を、前記評価関数を用いて算出し、
    算出した前記評価値を用いて輪郭を決定することを実行させるための画像処理プログラム。