JP6283850B2 - 画像処理方法、画像処理装置及びプログラム - Google Patents

Description

本願発明は、画像処理方法、画像処理装置及びプログラムに関し、特に、画像データから第１特徴成分データと第２特徴成分データを抽出する画像処理方法等に関する。

近年、コンピュータ支援診断（Computer Aided Diagnosis。以下、「CAD」という。）システムの製品化が行われている。CADとは、医師とコンピュータの共同作業によって医師の診断を支援することを目指した次世代の画像診断の仕組みである。CADでは、医用画像をコンピュータによって分析し、病変が存在する位置を医師に提示する。医師は、コンピュータの出力結果を参考にして最終診断を行う。このとき、もし医師が病変を見落していたとしても、コンピュータの出力する病変の位置を再度確認することによって見落しを防ぐことができる。医用画像における異常陰影の多くは、様々な大きさの粒状陰影や線状陰影である。したがって、医用画像から大きさの異なる粒状成分や線状成分を強調または抽出するための基礎技術が開発できれば、CADシステムの開発に応用できる。

また、最近の医用デジタル画像は、撮影をした後に読影が容易になるように信号を強弱する画像処理を行う。この際、血管や肋骨などの正常構造を異常陰影の検出の妨げにならないように減弱した画像が作成できれば、診断に有用である可能性がある。医用画像における異常陰影は、様々な大きさの粒状陰影や線状陰影として検出されることが多い。また、血管や肋骨などの正常構造は、通常、様々な大きさの線状構造である。

したがって、医用画像から大きさの異なる粒状成分や線状成分を検出したり、それらの成分を強調や減弱したりする基礎技術は、応用範囲は広いと考えられる。

フーリエ変換を用いて画像における周波数成分を強弱することが知られている。フーリエ変換はフィルタバンクとして表現することが可能であり、分解と再構成を行うことができる。

また、医用画像における様々な大きさの粒状成分や線状成分を検出するために、ヘッセ行列を用いた手法が提案されている。注目画素の周辺の差分情報からヘッセ行列の要素を計算し、その固有値によって注目画素の周辺の形状を分類する手法である。また、ヘッセ行列を用いた形状分類のアイデアをフィルタバンクに取り入れた技術が提案されている。この技術を用いれば、様々な大きさの粒状成分や線状成分を検出し、それらの成分を強弱した画像を再構成することができる。

発明者らは、モルフォロジーフィルタバンクを使用した画像処理を提案した（非特許文献１参照）。モルフォロジーフィルタバンクは、非線形信号処理であるモルフォロジーとウェーブレットにおける多重解像度解析のアイデアを融合させた新しい画像処理技術である。図１０及び図１１を参照して、従来のモルフォロジーフィルタバンクを使用した画像処理について説明する。

図１０は、従来のモルフォロジーフィルタバンクを使用した画像処理の概要を示す図である。原画像に対し、解像度１で粒状成分及び線状成分を抽出する。続いて、残存部分について、解像度１とは異なる解像度２で粒状成分及び線状成分を抽出する。これを、解像度Ｎまで繰り返す。このように、従来のモルフォロジーフィルタバンクを使用した画像処理は、解像度を基準として粒状成分及び線状成分を抽出するものであった。図１１は、従来のモルフォロジーフィルタバンクを使用して得られた（ａ）適用画像（原画像）、（ｂ）粒状成分の和、（ｃ）線状成分の和を示す。

モルフォロジーフィルタバンクを使用することにより、様々な大きさの粒状成分を抽出したり、様々な大きさの線状成分を抽出したり、それらの成分を強弱し元の画像を再構成したりすることができる。

漆間、外７名，"眼底画像における円型・線状パターン検出のためのフィルタバンクの構築"，信学技報，vol．111，no．389，MI2011-134，pp.315-318，2012．

しかしながら、フーリエ変換は粒状陰影や線状陰影などのように局所的に変化する非定常な信号の解析には向かない。

また、ヘッセ行例を用いた技法では、フィルタバンクで表現したとき、分解のみを行う技術であるため、粒状成分や線状成分を強弱した画像を再構成することはできない。また、ヘッセ行列に基づいた手法は、数学モデルを利用したものである。そのため、ヘッセ行列を用いた形状分類のアイデアをフィルタバンクに取り入れても、理想的な形状に近づけるために平滑化フィルタを加える必要があり、陰影の形状がぼけるという問題点がある。

また、従来のモルフォロジーフィルタバンクを使用すると、図１１（ｂ）にあるように、粒状成分は、外周部分が削られており、円型ではなく四角形のように抽出されている。また、図１１（ｃ）にあるように、線状成分は、粒状成分の一部が誤検出されている。これは、例えば、ある太さの線を強調する場合に、同じ大きさの粒状成分が同時に抽出されることとなる。

このような画像処理上の問題点は、医療画像にとどまらず、はんだ付け部等の工業画像における画像処理でも問題があり、さらには、信号処理でも問題となりうるものである。

そこで、本願発明は、従来のモルフォロジーフィルタバンクと同様に、粒状成分や線状成分等を検出可能であり、従来のモルフォロジーフィルタバンクよりも検出精度を向上させることが可能な画像処理方法等を提案することを目的とする。

本願発明の第１の観点は、画像データから第１特徴成分データと第２特徴成分データを抽出する画像処理方法であって、第１特徴成分抽出手段が、前記画像データから複数の前記第１特徴成分データを抽出し、前記画像データから前記複数の第１特徴成分データを除いたものを第１残存成分データとする第１抽出ステップと、第２特徴成分抽出手段が、前記第１残存成分データから前記第２特徴成分データを抽出する第２抽出ステップを含むものである。

本願発明の第２の観点は、第１の観点の画像処理方法であって、前記第１特徴成分抽出手段は、前記画像データから複数の解像度の前記第１特徴成分データを抽出するものである。

本願発明の第３の観点は、第２の観点の画像処理方法であって、前記第１特徴成分抽出手段は、モルフォロジーフィルタバンクであり、前記第１特徴成分抽出手段は、前記画像データと構造要素の相対的な大きさを変更して複数の解像度の前記第１特徴成分データを抽出する。

本願発明の第４の観点は、第１から第３のいずれかの観点の画像処理方法であって、前記第１特徴成分データ及び前記第２特徴成分データは、一方が粒状成分であり、他方が線状成分である。

本願発明の第５の観点は、第１から第４のいずれかの観点の画像処理方法であって、前記第２抽出ステップにおいて、前記第２特徴成分抽出手段は、前記第１残存成分データから一つ又は複数の前記第２特徴成分データを抽出し、前記第１残存成分データから前記一つ又は複数の第２特徴成分データを除いたものを第２残存成分データとし、再構成手段が、前記複数の第１特徴成分データ、前記一つ又は複数の第２特徴成分データ及び前記第２残存成分データの一部又は全部を用いて再構成する再構成ステップを含むものである。

本願発明の第６の観点は、画像データから第１特徴成分データと第２特徴成分データを抽出する画像処理装置であって、前記画像データを記憶するデータ記憶手段と、前記画像データから複数の前記第１特徴成分データを抽出し、前記画像データから前記複数の第１特徴成分データを除いたものを第１残存成分データとし、前記データ記憶手段に前記複数の第１特徴成分データ及び前記第１残存成分データを記憶させる第１特徴成分抽出手段と、前記第１残存成分データから前記第２特徴成分データを抽出して、前記データ記憶手段に前記第２特徴成分データを記憶させる第２特徴成分抽出手段を備えるものである。

本願発明の第７の観点は、コンピュータを、画像データから複数の前記第１特徴成分データを抽出し、前記画像データから前記複数の第１特徴成分データを除いたものを第１残存成分データとする第１特徴成分抽出手段と、前記第１残存成分データから前記第２特徴成分データを抽出する第２特徴成分抽出手段として機能させるためのプログラムである。

なお、本願発明を、第７の観点のプログラムを定常的に記憶するコンピュータ読み取り可能な記録媒体として捉えてもよい。

また、本願発明は、医用画像における異常陰影の検出、正常陰影の減弱等だけでなく、工業画像におけるはんだ付け部の検出、回路欠陥などにも応用可能な基盤技術である。また、信号処理としても、信号波形をいわば画像と同様のものとすることにより、同様に実現することが可能である。

本願発明によれば、第１特徴成分データを複数の解像度等に応じて抽出し、その後に、別の特徴である第２特徴成分データを抽出することにより、解像度ごとに複数の特徴を抽出する従来のモルフォロジーフィルタバンクに比較して精度のよい画像解析を実現することが可能になる。さらに、ヘッセ行列等を用いるものと異なり、本願発明では平滑化フィルタを加える必要がなく、陰影の形状がぼけず、さらに、粒状成分や線状成分を強弱した再構成画像を作成することができる。さらに、様々な大きさの粒状成分や線状成分を検出し、それらの成分を強弱して再構成することができる。

さらに、本願発明の第３の観点では、非線形信号処理のモルフォロジーを用いているため、局所的に変化する信号の解析が可能である。特に、図５を用いて説明するように、ある太さの線を強調する場合に同じ大きさの粒状成分が同時に抽出されるという従来法の問題点を解決することが可能である。

本願発明の実施の形態の一例である画像処理装置の概略ブロック図である。 図１の画像処理装置１の動作の一例を示すフロー図である。 図１の粒状成分抽出部９による処理の一例を示す。 図１の画像処理装置１による処理の一例の概要を示す図である。 図１の画像処理装置１を使用して得られた（ａ）適用画像（原画像）、（ｂ）粒状成分の和、（ｃ）線状成分の和を示す。 本実施例による乳房X線画像における微小石灰化陰影の抽出処理の一例を示す。 本実施例による眼底画像における血管像の抽出処理の一例を示す。 本実施例による胸部単純X線画像における骨部組織の除去処理の一例を示す第１図である。 本実施例による胸部単純X線画像における骨部組織の除去処理の一例を示す第２図である。 従来のモルフォロジーフィルタバンクを使用した画像処理の概要を示す図である。 従来のモルフォロジーフィルタバンクを使用して得られた（ａ）適用画像（原画像）、（ｂ）粒状成分の和、（ｃ）線状成分の和を示す。

以下では、図面を参照して、本願発明の実施例について説明する。なお、本願発明は、この実施例に限定されるものではない。

図１は、本願発明の実施の形態の一例である画像処理装置の概略ブロック図である。画像処理装置１は、データ記憶部３（本願請求項の「データ記憶手段」の一例）と、構造要素記憶部５と、解像度調整部７と、粒状成分抽出部９と、線状成分抽出部１１（粒状成分抽出部９と線状成分抽出部１１が本願請求項の「第１特徴成分抽出手段」と「第２特徴成分抽出手段」の一例である）と、再構成部１３（本願請求項の「再構成手段」の一例）と、制御部１５を備える。

データ記憶部３は、適用画像（原画像）の画像データを記憶する。また、処理において生じたデータを記憶する。

構造要素記憶部５は、モルフォロジーフィルタバンクで使用される構造要素を記憶する。モルフォロジーフィルタバンクは、非線形信号処理を用いるため、信号がぼけることはない。モルフォロジーフィルタバンクは、直線構造要素を用いたTop-hat変換によって粒状成分を抽出でき、円型構造要素を用いたTop-hat変換によって線状成分を抽出できる。また、構造要素のサイズを変化させることで、様々な大きさの粒状成分と線状成分を抽出することができる。構造要素は、例えば図３（ａ）のＢである。本実施例では、粒状成分を抽出するための構造要素と、線状成分を抽出するための構造要素を含む。なお、粒状成分を抽出するための構造要素は、一つでもよく、複数でもよい。複数の場合には、粒状成分抽出部９は、その一部を使って抽出処理をしてもよく、また、全部を使ってそれぞれで抽出処理を行ってもよい。線状成分を抽出するための構造要素についても同様である。

解像度調整部７は、画像データと構造要素との相対的な大きさを調整することにより、解像度を調整する。以下では、解像度調整部７は、構造要素の大きさを調整するとする。

粒状成分抽出部９は、画像データと解像度調整部７により調整された後の粒状成分を抽出するための構造要素を比較し、粒状成分を抽出して、画像データから粒状成分を除いたものを残存成分とする。

線状成分抽出部１１は、画像データと解像度調整部７により調整された後の線状成分を抽出するための構造要素を比較し、線状成分を抽出して、画像データから線状成分を除いたものを残存成分とする。この処理は、粒状成分抽出部９と同様に実現することができる。

図３を参照して、粒状成分抽出部９及び線状成分抽出部１１の処理の一例を説明する。（ａ）は、図形Ａと構造要素Ｂを示す。図形Ａが画像データであり、Ｂが構造要素である。（ｂ）は、抽出する処理を示す。図形Ａ内で構造要素Ｂが動くことができる範囲を求める。（ｃ）は、抽出された成分と残存成分を示す。色が付された部分が抽出される成分であり、色が無い部分が残存成分である。

本実施例では、まず、粒状成分抽出部９が、サイズの小さな直線構造要素を用いて画像から小さい粒状成分を抽出し、その残りの成分（元の画像から先ほど抽出した粒状成分を差し引いた画像）に対して、直線構造要素のサイズを大きくして先程より大きな粒状成分を抽出する。これを構造要素のサイズを段々大きくしながら繰り返し行うことで，サイズの異なる粒状成分を抽出する。そして、線状成分抽出部１１は、粒状成分が抽出され終わった画像に対して、粒状成分の抽出と同様に、円形構造要素のサイズを変化させながらサイズの異なる線状成分を抽出する。

再構成部１３は、粒状成分抽出部９及び線状成分抽出部１１がそれぞれ抽出した複数の粒状成分及び線状成分並びに最終的な残存成分を用いて再構成する。本実施例において、抽出が終わった後の画像（元の画像から抽出された全ての粒状・線状成分が差し引かれた画像）は、抽出された各サイズの粒状・線状成分を加算することで元の画像を再構成できる。再構成は、一部又は全部を加算したり、重みづけして加算したりすることにより実現することができる。本実施例は、全部を加算することにより元の画像を再構成することができるものである。

制御部１５は、画像処理装置１の動作を制御するものである。

図２は、図１の画像処理装置１の動作の一例を示すフロー図である。まず、解像度調整部７は、原画像の画像データと粒状成分を抽出するための構造要素の相対的な大きさを調整する（ステップＳＴ１）。このときの解像度を「解像度１」という。続いて、粒状成分抽出部９は、粒状成分を抽出し、除いたものを残存成分とし、そのデータをデータ記憶部３に記憶する（ステップＳＴ２）。そして、制御部１５は、全ての解像度について粒状成分の抽出処理が終了したか否かを判断する（ステップＳＴ３）。処理が終了したのであれば、ステップＳＴ５に進む。処理が終了していないのであれば、解像度調整部７は、構造要素のサイズを大きくし（ステップＳＴ４）、ステップＳＴ２に戻り、粒状成分抽出部９は、先程より大きな粒状成分を抽出する。

ステップＳＴ５において、解像度調整部７は、原画像の画像データと線状成分を抽出するための構造要素の相対的な大きさを調整し、解像度を解像度１とする。続いて、線状成分抽出部１１は、線状成分を抽出し、除いたものを残存成分とし、そのデータをデータ記憶部３に記憶する（ステップＳＴ６）。そして、制御部１５は、全ての解像度について線状成分の抽出処理が終了したか否かを判断する（ステップＳＴ７）。処理が終了したのであれば、ステップＳＴ９に進む。処理が終了していないのであれば、解像度調整部７は、構造要素のサイズを大きくし（ステップＳＴ８）、ステップＳＴ６に戻り、線状成分抽出部１１は、先程より大きな線状成分を抽出する。

ステップＳＴ９において、再構成部１３は、粒状成分抽出部９が抽出した複数の粒状成分、線状成分抽出部１１が抽出した複数の線状成分、及び、最終的な残存成分を再構成し、処理を終了する。再構成は、利用者が入力した事項に基づき行ってもよい。

図４は、図１の画像処理装置１による処理の一例の概要を示す図である。従来のモルフォロジーフィルタバンクは、図１０にあるように、解像度に応じて粒状成分及び線状成分を抽出していた。その結果、例えば、ある太さの線を強調する場合に、同じ大きさの粒状成分が同時に抽出されることとなり得た。それに対し、本実施例では、粒状成分を複数の解像度で抽出し、その後に、線状成分を抽出するため、このような同時に抽出されることを防ぐことができる。

図５は、図１の画像処理装置１を使用して得られた（ａ）適用画像（原画像）、（ｂ）粒状成分の和、（ｃ）線状成分の和を示す。従来のモルフォロジーフィルタバンクでは、図１１にあるように、粒状成分は、外周部分が削られており、円型ではなく四角形のように抽出され、線状成分は、粒状成分の一部が誤検出されることがあった。図５によれば、同じ画像に対して、より高精度の抽出が実現されている。

続いて、本実施例によるモルフォロジーフィルタバンクについて、より具体的に説明する。

モルフォロジーは、幾何学的図形の特徴解析のための手法として考案されたもので、２値画像又は濃淡画像と、画像を移動させるベクトルの集合を画素に置き換えた「構造要素」との演算によって定義される。モルフォロジーの最大の特徴は、演算に用いる構造要素を選択することによってさまざまな結果が得られるということである。これは同時に、モルフォロジーにおいて構造要素の選択が重要な因子であることを意味する。

モルフォロジーの基本演算として、Dilation（膨張）とErosion（侵食）と呼ばれる演算がある。このとき、対象画像をどのように「膨張」あるいは「侵食」するのかを決定するのが構造要素である。実際に画像処理を行う場合は、DilationやErosionを単独で用いるよりも、それらを組み合わせて用いることが多い。Erosionの後にDilationを行う処理をOpeningと呼ぶ。このOpeningのもつ意味は、図形Aの内部に構造要素Bを入れ、Aの外部にBがはみ出さないようにしながらAの内部でくまなく移動させたときに、Bが入り込める部分のみを取り出すということである。図３は、その図解を示す。この処理は、細かい凸領域を削ることができるため、一種の非線形low-pass filterであると考えることができる。low-pass filterであるOpeningの出力を原画像から差し引く処理はhigh-pass filterとなる。この処理はTop-hat変換と呼ばれる。

モルフォロジーを用いて原画像に含まれる粒状成分と線状成分を抽出する処理は、例えば、以下の手順で行うことができる。本発明において、構造要素の形や、画像の数等は、この例に限定されるものではない。まず、直線多重構造要素Ｂ₀，Ｂ₁，…，Ｂ₇を用いてOpeningした画像を、それぞれｆ_B0(x,y)、ｆ_B1(x,y)，…，ｆ_B7(x,y)とする。ここで、直線構造要素Ｂ_nは22.5°おきの傾きを持つ線分とした。このオープニング処理を行った画像の最大濃度値を選んだ画像ｆ_B (x,y)は、(1)式となる。このとき粒状成分は、(1)式で得られた画像ｆ_B (x,y)と原画像ｆ(x,y)のTop-hat変換によって抽出することが可能である。これは、(2)式のように表すことができ、このように求めた画像ｆ_o (x,y)は原画像に含まれる粒状成分を抽出した画像になる。

画像ｆ_B(x,y)は、非直線高周波領域が取り除かれた画像である。よって、線状成分を抽出するためには、この画像に対して直線構造要素の長さと同じ直径を持つ円形構造要素を用いたTop-hat変換を行えばよい。これは、(3)式のように表すことができる。このとき、ｆ_BC(x,y)はｆ_B(x,y)に対して円形構造要素Cによってオープニング処理をした画像であり、画像ｆ_v(x,y)は原画像に含まれる線状成分を抽出した結果である。

上述の処理により、原画像における粒状成分と線状成分を分離して抽出することができる。しかし、得られる粒状成分と線状成分は構造要素の長さに強く依存する。モルフォロジーフィルタバンクは、ウェーブレット解析における多重解像度分解のアイデアを用いて上記の手法に改良を加えることによって様々な大きさの粒状成分と線状成分を強調する手法である。まず、(2)式と(3)式を用いて(4)式のように変形する。

(4)式の意味するところは、原画像ｆ(x,y)が、粒状成分ｆ₀(x,y)及び線状成分ｆ_v (x,y)並びに平滑化画像（残存成分画像）ｆ_BC(x,y)に分解できることを表している。抽出された粒状成分と線状成分の大きさは、処理に用いた構造要素の大きさに強く依存している。もしサイズの大きな構造要素を用いれば、大きい粒状成分と線状成分を抽出することが可能である。逆に、サイズの小さな構造要素を用いれば、小さい粒状成分と線状成分を抽出することが可能である。

様々な大きさの粒状成分と線状成分を強調するために、ウェーブレット変換の多重解像度分解を行う。本実施例では、図４にあるように、まず原画像から粒状成分のみについて最大解像度Ｎ（Ｎは、２以上の自然数）まで抽出を行う。原画像ｆ(x,y)を解像度ゼロの平滑化画像ｆ_B ⁰(x,y)とおき、サイズの小さい直線構造要素を用いて粒状成分の抽出を行う。つまり、これは、(5)式ということである。ここで得られた平滑化画像（残存成分画像）ｆ_B ¹(x,y)に対してさらにサイズの大きな直線構造要素で引き続き分解を繰り返す。(6)式にあるように、この処理を繰り返すことによって、粒状成分についての多重解像度分解を行うことができる。この多重解像度分解は、(7)式のように表すことができる。ここで、ｉは解像度を表し、小さい解像度の画像はサイズの小さな構造要素で分解した成分画像を出力し、大きい解像度の画像はサイズの大きな構造要素で分解した成分画像を出力する。また、ｆ_o ⁱ(x,y)は、解像度ｉでの粒状成分を表す。

上記の処理に続いて、粒状成分の抽出と同様に、解像度Ｎの平滑化画像ｆ_B ^N(x,y)に対してサイズの小さい円形構造要素を用いて線状成分の抽出を行う。つまり、これは、(8)式ということである。ここで得られた平滑化画像f_BC ¹ (x,y)に対して、(9)式にあるように、さらにサイズの大きな円形構造要素で引き続き分解を繰り返す。この処理を繰り返すことによって、線状成分についての多重解像度分解を行うことができる。この多重解像度分解は(10)式のように表すことができる。ここでｊは解像度を表し、小さい解像度の画像はサイズの小さな構造要素で分解した成分画像を出力し、大きい解像度の画像はサイズの大きな構造要素で分解した成分画像を出力する。またｆ_v ^j(x,y)は解像度ｊ での線状成分を表す．

(7)式と(10)式から、粒状成分と線状成分の抽出を一つにまとめると、(11)式となる。この分解は、(11)式からも判断できるように、全ての画像成分を単純に加算（逆変換）することによって原画像を完全に再構成することが可能である。図４は、(11)式のモルフォロジーフィルタバンクの概要を示す。

従来のモルフォロジーフィルタバンクでは、図１０に示すように各解像度で粒状成分と線状成分を抽出していた。しかし、この手法では、同じ大きさ（太さ）の粒状陰影と線状陰影が区別できないという課題があった。これは構造要素の大きさと形状に包含関係があるためである。そこで、本実施例では、はじめに各解像度の粒状成分を抽出し、次に線状成分を抽出するようにフィルタバンクを構成した。

従来と本実施例のモルフォロジーフィルタバンクの特性を比較するため、粒状成分と線状成分をあらかじめ配置した図５（ａ）のような４１３×４１３画素の適用画像を用いて実験を行った。画像内の粒状成分と線状成分の生成は、それぞれ、(12)式及び(13)式に従った。なお、式中のｘとｙは、各粒状・線状成分の中心点（ｘ₀，ｙ₀）からの距離を表す。また、式中のσは、粒状成分と線状成分のサイズを制御する変数であり、画像中ではサイズの小さな成分の方からそれぞれ2，4，8，16としている。

図５（ａ）（図１１（ａ））に対して、従来法と本実施例のそれぞれによる分解を行う。分解は、解像度1から6までと、解像度1から6までの粒状成分ｆ_o ⁱ(x,y)と線状成分ｆ_v ^j(x,y)をそれぞれ加算した画像を抽出画像とする。なお、各解像度における直線構造要素の長さはそれぞれ3，21，39，57，75，93画素とし、幅は全て１画素とした。また、各解像度における円形構造要素の直径は対応する解像度の直線構造要素の長さと同じである。

図１１（ｂ）及び（ｃ）に従来法による粒状成分と線状成分の抽出結果を示し、図５（ｂ）及び（ｃ）に本実施例による粒状成分と線状成分の抽出結果を示す。まず、粒状成分の抽出結果を見ると、従来法では粒状成分の外周部分が削られており、円形ではなく四角形のように抽出されてしまっている。それに対し、本実施例では正しく円形に抽出できている。次に線状成分の抽出結果を見ると、従来法では粒状成分の一部が誤検出されてしまっている。それに対し、提案法ではそのような誤検出は見られない。このような誤検出は、従来法では同じ大きさ（太さ）の粒状陰影と線状陰影が区別できないために起こったと考えられる。以上の結果から、提案法は従来法での課題を解決できているといえる。

続いて、医用画像への応用について説明する。

まず、乳房X線画像における微小石灰化陰影の抽出を説明する。モルフォロジーフィルタバンクの性質の一つである、異なる大きさの粒状成分を抽出することができる能力を、乳房X線画像における微小石灰化陰影の抽出に応用した。図６（ａ）は、適用画像を示し、乳房X線画像から微小石灰化陰影を含む関心領域を切り出したものである。この画像に対して、本実施例におけるモルフォロジーフィルタバンクを用いて分解を行う。分解は解像度1から6までとし、解像度1から6までの粒状成分ｆ_o ⁱ(x,y)を加算した画像を石灰化陰影の抽出画像とする。なお、各解像度における直線構造要素の長さはそれぞれ5，7，9，11，13，15画素とし、幅は全て1画素とした。

図６（ｂ）、（ｃ）及び（ｄ）に、モルフォロジーフィルタバンクによる石灰化陰影の抽出結果を示す。（ｂ）は解像度２の石灰化陰影であり、（ｃ）は解像度３の石灰化陰影であり、（ｄ）は解像度１から６の石灰化陰影の和を示す。これらを見ると、図６（ｂ）の白円内では小さな石灰化陰影が抽出されており、図６（ｃ）の白円内では大きな石灰化陰影が選択的に抽出されている。なお、白円外に抽出されている粒状成分は正常な乳腺組織である。このとき、解像度1から6までの石灰化陰影の濃度値の和からなる合成画像を作成することによって、様々な大きさの石灰化陰影を抽出することが可能である。

続いて、眼底画像における血管像の抽出について説明する。モルフォロジーフィルタバンクの性質の一つである、異なる大きさの線状成分を抽出することができる能力を、眼底画像における血管像の抽出に応用した。適用する眼底画像は図７（ａ）に示すような画像である。カラー画像のうち、G成分のみを抽出し、さらに濃度値を反転した画像を作成した。この画像に対して、本実施例のモルフォロジーフィルタバンクを用いて分解を行う。分解は解像度1から3までとし、解像度1から3までの血管像f_v ^j(x,y)を加算した画像を最終的な血管抽出結果とする。なお、各解像度における直線構造要素の長さはそれぞれ3，5，7画素とし、幅は全て1画素とした。また，各解像度における円形構造要素の直径は対応する解像度の直線構造要素の長さと同じである。

図７（ｂ），（ｃ），（ｄ）にモルフォロジーフィルタバンクによる血管像の抽出結果を示す。（ｂ）は、解像度１の血管像を示し、（ｃ）は解像度３の血管像を示し、（ｄ）は解像度１から３までの血管像の和を示す。解像度1では細かな血管像が抽出されており、解像度3では太い血管像が選択的に抽出されている。また、解像度1から3までの血管像の濃度値の和からなる合成画像を作成することによって、様々な太さの血管像を抽出することが可能である。

続いて、部単純X線画像における骨部組織の除去について説明する。モルフォロジーフィルタバンクの性質の一つである、抽出成分と残存成分を組み合わせて画像を再構成することができる能力を、胸部単純X線画像における骨部組織の除去に応用した。図８（ａ）に示すような胸部単純X線画像に対して、本実施例のモルフォロジーフィルタバンクを用いて分解を行う。分解は解像度1から6までとし、解像度1から6までの粒状成分ｆ_o ⁱ(x,y)と線状成分ｆ_v ⁱ(x,y)を抽出する。なお、各解像度における直線構造要素の長さは、それぞれ5，7，9，11，13，15画素とし、幅は全て1画素とした。また，各解像度における円形構造要素の直径は対応する解像度の直線構造要素の長さと同じである。図８（ｂ）は、最大解像度までOpeningした後の残存成分画像（平滑化画像）を示す。

図８（ｃ），（ｄ）にモルフォロジーフィルタバンクによる各解像度における線状成分と粒状成分のそれぞれの抽出結果を示す。（ｃ）は各解像度において抽出された線状成分（画像内の数字は解像度）であり、（ｄ）は各解像度において抽出された粒状成分（画像内の数字は解像度）である。これらを見ると、小さな解像度の線状成分では細い血管影や骨部組織の縁の部分が抽出されており、大きな解像度の線状成分では骨部組織などの太い成分が抽出されている。また、粒状成分においても、骨部組織のエッジ成分が抽出されていることが見て取れる。そこで、図８（ｂ）に示した平滑化画像に、骨部組織に関係した成分を含まないと思われる、解像度1から3までの粒状成分と解像度1の線状成分を足し合わせることで画像の再構成を行った。再構成による骨部組織の除去結果を図９に示す。

一般に，胸部単純X線画像に含まれる結節状陰影を検出する場合などには、肋骨や血管及びその交差部で偽陽性候補が多いことが知られている。そのため、本手法によって肋骨といった骨部組織を前処理として取り除いた画像を入力画像として用いることで、偽陽性候補と成り得る要因を事前に取り除くことができる可能性がある。

本願発明は、異なる大きさの粒状成分が抽出できる。そのため、例えば、乳房Ｘ線画像における微小石灰化陰影の抽出、胸部単純写真における結節状陰影の抽出、外観検査におけるはんだ付け部の検出などを実現することができる。また、本願発明は、異なる大きさの線状成分が抽出できる。そのため、例えば、眼底画像における血管像の抽出、胸部CT画像におけるびまん性肺疾患の検出、外観検査における回路欠陥の検出などを実現することができる。さらに、本願発明は、抽出成分を強弱した画像が再構成できる。そのため、例えば、胸部単純写真の骨部組織を除去した画像の生成、線状成分を強調することによる見かけ上のノイズ低減画像の生成などを実現することができる。

１ 画像処理装置、３ データ記憶部、５ 構造要素記憶部、７ 解像度調整部、９ 粒状成分抽出部、１１ 線状成分抽出部、１３ 再構成部、１５ 制御部

Claims (6)

1. 画像データから第１特徴成分データと第２特徴成分データを抽出する画像処理方法であって、
   前記第１特徴成分データは、粒状成分であり、
   前記第２特徴成分データは、線状成分であり、
   第１特徴成分抽出手段が、前記画像データから複数の前記第１特徴成分データを抽出し、前記画像データから前記複数の第１特徴成分データを除いたものを第１残存成分データとする第１抽出ステップと、
   第２特徴成分抽出手段が、前記第１残存成分データから前記第２特徴成分データを抽出する第２抽出ステップを含む画像処理方法。
2. 前記第１抽出ステップにおいて、前記第１特徴成分抽出手段は、前記画像データから複数の解像度の前記第１特徴成分データを抽出する、請求項１記載の画像処理方法。
3. 前記第１特徴成分抽出手段は、モルフォロジーフィルタバンクであり、
   前記第１抽出ステップにおいて、前記第１特徴成分抽出手段は、前記画像データと第１構造要素の相対的な大きさを変更して前記複数の第１特徴成分データを抽出し、
   前記第２抽出ステップにおいて、前記第２特徴成分抽出手段は、前記第１構造要素とは異なる第２構造要素を用いて前記第２特徴成分データを抽出する、請求項１又は２に記載の画像処理方法。
4. 前記第２抽出ステップにおいて、前記第２特徴成分抽出手段は、前記第１残存成分データから一つ又は複数の前記第２特徴成分データを抽出し、前記第１残存成分データから前記一つ又は複数の第２特徴成分データを除いたものを第２残存成分データとし、
   再構成手段が、前記複数の第１特徴成分データ、前記一つ又は複数の第２特徴成分データ及び前記第２残存成分データの一部又は全部を用いて再構成して表示画像とする再構成ステップを含む請求項１から３のいずれかに記載の画像処理方法。
5. 信号データから第１特徴成分データと第２特徴成分データを抽出する信号処理装置であって、
   前記第１特徴成分データは、粒状成分であり、
   前記第２特徴成分データは、線状成分であり、
   前記信号データを記憶するデータ記憶手段と、
   前記信号データから複数の前記第１特徴成分データを抽出し、前記画像データから前記複数の第１特徴成分データを除いたものを第１残存成分データとし、前記データ記憶手段に前記複数の第１特徴成分データ及び前記第１残存成分データを記憶させる第１特徴成分抽出手段と、
   前記第１残存成分データから前記第２特徴成分データを抽出して、前記データ記憶手段に前記第２特徴成分データを記憶させる第２特徴成分抽出手段を備える信号処理装置。
6. コンピュータを、
   信号データから複数の粒状成分を抽出し、前記信号データから前記複数の粒状成分を除いたものを第１残存成分データとする第１特徴成分抽出手段と、
   前記第１残存成分データから線状成分を抽出する第２特徴成分抽出手段として機能させるためのプログラム。