JP5405836B2 - 画像処理方法及びコンピュータプログラム - Google Patents

Description

本発明は、デジタル画像に含まれる特定の部分を抽出し、より強調して表示させたり、逆に、特定の部分を除去したりすることを可能にするデジタル画像の画像処理方法及びコンピュータプログラムに関するものである。

デジタル画像において、注目画素とその周囲の画素とを比較した際の両者のデジタル化された画像信号（例えば輝度値）の変化に関する情報を表すベクトルは一般に「微分画像」又は「勾配画像」と呼ばれている（本明細書では、「微分画像」として統一する。）。微分画像は、注目画素とその周辺の任意の点の２点（２画素）を比較して、座標及びデジタル値のそれぞれの変化から算出された「勾配ベクトル」を表している。勾配ベクトルを利用した画像処理アルゴリズムの一つとして、「アイリスフィルタ」が知られている。アイリスフィルタでは、その勾配ベクトルを求めたあと、そこからデジタル化された画像信号（例えば輝度値）の「集中度」を計算する。この集中度やその他の計算値を閾値処理することにより、マンモグラフィ診断画像の読影を支援するシステムに関するものが開示されている（例えば、特許文献１〜４等参照）

特開平０９−１６７２３８号公報 特開平１０−２８９３１８号公報 特開２００５−５２２９５号公報 特開２００６−１３００４９号公報

この種の読影システムは、腫瘤陰影の輝度値が放射状に減少する（すなわち、腫瘤陰影は中心ほど明るく周辺ほど暗いという特徴を有する）というモデルに基づいて設計されている。

しかし、実際の腫瘤陰影には様々な形状があり、必ずしも上述のようなモデルで全てが解決できるほど単純なものではない。上述の読影システムは、輝点が腫瘤の中心をピークとする「正規分布」のような、極めて典型的な腫瘤の形状についてはよく機能するが、現時点では、総合的には実用レベルにはほど遠く、あくまで診断の補助的なツールとして位置づけられるにすぎない。

すなわち、マンモグラフィによる読影は、十分な経験を積んだ医師であっても判断に迷うものが、少なくない。日本医学放射線学会では、乳がんの発見を目的とするマンモグラフィー診断の読影法などについて、ガイドラインを策定して標準化を図っているが、これも腫瘤の判定がいかに難しいかを示すものに他ならない。

特に、乳腺のマンモグラフィー診断における腫瘤の発見は、単なる乳腺の重なりであるか真の腫瘍であるかの区別が非常に難しく、腫瘤のカテゴリーの判断樹に従って、形状、境界及び辺縁、画像上の相対的な輝度などを総合的に判断し、他の診断方法による結果も考慮して最終的な診断を下しているのが実情である。

本発明は、上記に鑑みてなされたものであり、デジタル画像における特徴部分を強調して表示させることを可能にする、新規な画像処理方法及び画像処理プログラムを提供することを主たる技術的課題とする。

本発明に係る画像処理方法は、大きく分けて３つの新しい処理方法を提供する。
本発明に係る第１及び第２の発明は、コンピュータにより入力画像に含まれる各画素の画像信号の大きさを所定の目的に従って調整する画像処理方法であり、第３の発明は、コンピュータにより入力画像に含まれる各画素の画像信号の特徴部分を抽出し、これを閉曲線で囲うための画像処理方法である。

第１の発明は、入力画像のデータをコンピュータに入力するステップ（Ｓａ１）と、コントラスト強度として任意の定数ｍを入力するステップ（Ｓａ２）と、入力画像中の複数の画素からなる閉領域（ｘ，ｙ）を演算対象領域Ｄとして区画し、演算対象領域Ｄ内における注目画素とその周囲の任意の画素との２点の画素の傾きの強さを前記注目画素を中心とする全周に亘って合計し演算対象領域内の画素数で除算することによりその平均値を算出するステップ（Ｓａ３）と、ステップ（Ｓａ３）で求めた勾配の振幅値βにステップ（Ｓａ２）で入力したコントラスト強度ｍ（但し、ｍは正の定数である。）を乗算し、任意のオフセット値γを加算するステップ（Ｓａ４）とを具備することを特徴とする。

本発明では、ステップ（Ｓａ３）において、勾配の振幅値βが注目画素と周辺画素との傾きの強さを注目画素を中心とする全周に亘って合計し演算対象領域内の画素数で除算することによりその平均値を算出するため、勾配の角度成分が打ち消され、角度情報を含まない、振幅値のみの差分画像が生成される。しかも、振幅値はコントラスト強度ｍを乗じることで一層強調されるため、注目画素とその周辺画素との画像信号の差が大きければ大きいほど強く表されることになる。

画像信号とは輝度値や色相（例えば、赤・緑・青）の階調を表すスカラー量であるから、画像信号を輝度値として、本発明を適用すると、出力画像は、特に、入力画像中の線状のパターンや輪郭などの一次元的な模様が強調されて表示されることになる。

第１の発明では、演算対象領域Ｄを注目画素の周囲５画素以上とすることにより、より広範囲の周辺画素の画像信号を考慮した振幅値を計算することが可能となる。

第２の発明は、入力画像のデータをコンピュータに入力するステップ（Ｓｂ１）と、入力画像中の複数の画素からなる閉領域（ｘ，ｙ）を演算対象領域Ｃとして区画し、演算対象領域Ｃ内における注目画素とその周囲の任意の画素との座標及びその２点の画素から求めた勾配ベクトルの角度成分θを算出するステップ（Ｓｂ２）と、勾配ベクトルの角度成分θの絶対値に所定の定数を乗算することにより、演算対象領域Ｃ内の中心画像信号αを算出するステップ（Ｓｂ３）とを具備することを特徴とする。

本発明では、ステップ（Ｓｂ３）において、中心画像信号αがθの関数すなわち角度依存性を持つものとして表される。このため、画像信号を輝度値とすると、出力信号は輝度が角度依存性を持って表されるため、入力画像中に輝度の勾配がある部分が陰影を伴って立体的に表現され、入力画像の特徴部分が強調されて表示される。

第３の発明は、入力画像のデータをコンピュータに入力するステップ（Ｓｃ１）と、入力画像中の複数の画素からなる閉領域（ｘ，ｙ）を演算対象領域Ｃとして区画し、演算対象領域Ｃ内における注目画素とその周囲の任意の画素との座標及びその２点の画素から勾配ベクトルの大きさと演算対象領域Ｃの走査方向に向かう単位ベクトルと勾配ベクトルとのなす角θとを算出するステップ（Ｓｃ２）と、前記勾配ベクトルと前記単位ベクトルの内積を求めて規格化することにより勾配ベクトルの集中度Ｚを算出するステップ（Ｓｃ３）と、ラプラシアンフィルタ、ラプラシアンオブガウシアン（ＬＯＧ）フィルタその他の２階微分に基づくフィルタを乗算するステップ（Ｓｃ４）と、前記ステップ（Ｓｃ４）に対して２値化処理を行なって出力画像を得るステップ（Ｓｃ５）とを具備することを特徴とする。

第３の発明は、公知のアイリスフィルタによるアルゴリズム（Ｓｃ２〜Ｓｃ３）を用いて集中度を算出した後、ラプラシアンフィルタ、ラプラシアンオブガウシアン（ＬＯＧ）フィルタその他の２階微分に基づくフィルタによってエッジ検出を行うことにより集中度の高い部分の輪郭が閉曲線で囲われる。

第３の発明では、アイリスフィルタによる集中度の演算ステップ（（ステップＳｃ２〜Ｓｃ３）を２回以上繰り返すことにより、画像信号の値が特に集中している特徴点を抽出するようにしてもよい。

本発明に係る第１〜第３の画像処理方法は、パーソナルコンピュータ等のコンピュータ上で実行される画像処理用アプリケーションプログラムとして実現することができる。

本発明に係る画像処理方法によると、入力画像の特徴を抽出したり、際だって表示させることができる。また、抽出結果を公知の閾値処理によって除去すれば特定の特徴を有するパターンを入力画像から除去することも可能である。

本発明の第１の実施形態に係る画像処理方法の手順を示す図 第２の実施形態に係る画像処理方法の演算対象領域Ｄ （ａ）第１の実施形態に係るマンモグラフィの原画像である入力画像の例（ｂ）第１の実施形態に係る出力画像の例（ｃ）第１の実施形態に係る出力画像の他の例 本発明の第２の実施形態に係る画像処理方法の手順を示す図 （ａ）勾配ベクトルを求めるための演算対象領域Ｃの例（ｂ）（ａ）において、ｘ方向の増加量＝１、ｙ方向の増加量が−１であった場合の勾配ベクトルの例 （ａ）第１の実施形態に係る入力画像の例（ｂ）第１の実施形態に係る出力画像の例（ｃ）第１の実施形態に係る出力画像の他の例 （ａ）第２の実施形態に係るマンモグラフィの原画像である入力画像の例（ｂ）第２の実施形態に係る出力画像の例（ｃ）第２の実施形態に係る出力画像の他の例 本発明の第３の実施形態に係る画像処理方法の手順を示す図 ラプラシアンフィルタの例（８近傍ラプラシアンフィルタ） （ａ）第３の実施形態に係るマンモグラフィの原画像である入力画像の例（ｂ）第３の実施形態に係る出力画像の例（ｃ）第３の実施形態に係る出力画像の他の例 （ａ）ラプラシアンフィルタによるエッジ検出を行った出力画像の例（ｂ）（ａ）の模式図 本発明の第４の実施形態における画像処理装置の構成を示すブロック図

（第１の実施形態）−微分画像の振幅値による特徴点の抽出処理について−
図１は、本発明の第１の実施形態に係る画像処理方法の手順を示す図である。
入力画像のデータを前記コンピュータに入力するステップ（Ｓｂ１）に続いて、コントラスト強度として任意の定数ｍを入力するステップ（Ｓｂ２）を実行する。この定数ｍは、出力画像に付与するコントラストの強度を規定する正の定数である。

図２は、入力画像中の複数の画素からなる閉領域（ｘ，ｙ）を区画した演算対象領域Ｄを表している。この例では、この領域の中心（注目画素）から周囲５画素を、演算対象領域としている。注目画素ｘ_{（ｉ＝０，ｊ＝０）}としたとき、その振幅値βを式１のように定義する。

（式１）

一般に、微分画像の振幅値は、ｘ成分とｙ成分とに分離して求められる。このような振幅値の計算方法によると、注目画素と周囲の画素との勾配ベクトルの角度成分を算出し、勾配の方向を設定しなければならない。しかし、振幅と角度を同時に画像表示することは困難を伴う。

そこで、第１の実施形態に係る発明では、演算対象領域Ｄ内における注目画素とその周囲の任意の画素との２点の画素における画像信号の勾配（すなわち差分）の振幅値βを勾配の振幅値βが注目画素と周辺画素との傾きの強さを注目画素を中心とする全周に亘って合計し演算対象領域内の画素数で除算することによりその平均値を算出することにより求めている。

このような手法により、勾配の方向成分が打ち消されるため、注目画素の振幅値のみが数値化され、角度情報のない振幅値のみの勾配が生成されることになる。また、演算対象領域が広ければ広いほど、中心画素からより遠い画素を含むことになり、より広い範囲を考慮した振幅値を計算することが可能になる。

画像信号が輝度値の場合、振幅値βは注目画素の輝度値そのものを表す。このβの値が正の時は注目画素が周辺より明るく表示され、逆にβの値が負の時は注目画素が周辺より暗く表示されることを表している。

そして、この演算対象領域Ｄを前記入力画像内で所定の画素単位で移動させることにより、演算対象領域内における注目画素とその周囲の任意の画素との２点の画素における画像信号の振幅値βを順次算出していく。

次のステップ（Ｓｂ４）では、ステップ（Ｓｂ３）で求めた振幅値βにステップＳｂ２で入力したコントラスト強度ｍを乗算し、任意のオフセット値を加算する。このステップは演算対象領域Ｄを入力画像内でｘ及びｙ方向に移動させることによりステップ（Ｓｂ３）〜ステップ（Ｓｂ４）を繰り返したあと（繰り返し（ステップ（Ｓｂ５））、最後に入力画像データに各画素に対して計算した振幅値βを入力画像のデータに適応させることにより出力画像を得る（ステップ（Ｓｂ６））。

図３（ａ）は、マンモグラフィの原画像である入力画像を表している。図３（ｂ）は、図３（ａ）の画像に、式１に従って算出した振幅値βが正の値をもつ画素のみを残し、その他は輝度値を０にクリッピングした後、振幅値βの値を３倍した出力画像を表している。

図３（ｃ）は、図３（ａ）の画像に、式１に従って算出した振幅値βを３倍し、オフセットとして全画素に１２７を加算した出力画像を表している。

図３（ｂ）、（ｃ）では、原画像では目立たないスピキュラ、乳腺、血管が浮かび上がって表示されている。このように、振幅値βを計算し、この値を一次関数による線形変換を行うことで入力画像では目立たない、線状のパターンや輪郭などの１次元的な模様が際だって表示される。

（第２の実施形態）−勾配ベクトルを用いた立体視化処理について−
図４は、本発明の第２の実施形態に係る画像処理方法の手順を示す図である。「勾配ベクトル」とは、一般に、角度情報を持つ微分画像を表すためのベクトル量と定義される。以下の説明では、画像信号は輝度を表し、画像信号の値は輝度値を表すものとする。また、説明の便宜上、輝度値は８ビットで表し、すなわち０〜２５５までの値をとるものとする。

図５（ａ）は、入力画像に設けられた演算対象領域（マスク）Ｃを例示している。演算対象領域Ｃは一例として中心画素から周囲１画素分の領域としている。このとき、演算対象領域Ｃの中心画素の輝度値をα、中心画素の周囲の輝度値がそれぞれｆ１〜ｆ８と表される。なお、中心画素から周囲何画素分の領域を演算対象領域としてもよい。

勾配ベクトルの角度成分（傾きθ）は一般にｘ方向（右方向）の増加量に対するｙ方向（上方向）への増加量のアークタンジェントで表される。例えば、図５（ａ）の例では、式２のように記述される。

（式２）

図５（ｂ）は、ｘ方向の増加量＝１、ｙ方向の増加量が−１であった場合の勾配ベクトルを例示している。θ＝ｔａｎ^−１（−１）＝３１５度となる。もちろん、θの取り方によって、−４５度と記載してもよい。

図６（ａ）は、入力画像の一部を例示したものである。この円形の入力画像は、中心部ほど輝度値が高く、周辺部ほど低い分布を持っている。この表示方法によると、平面上のどの方向から見ても中心部に近づくほど一様に輝度値が高くなるため、平面視図となる。

図６（ｂ）は、式３に従って、０度から３６０度の角度情報を０〜２５５の輝度値に線形変換し、画像表示した様子を示している。

（式３）

このように、勾配ベクトルから求めた角度情報を輝度値に線形変換することで角度依存性をもった立体的形状の図形が得られる。ただし、図６（ｂ）に示す画像は、θの定義域を０度から３６０度までとしたため、輝度変化の断層面が形成された。

そこで、図６（ｃ）では、勾配ベクトルが０度（３６０度）を示すところを最大輝度値２５５とし、そこから±１８０度に向かうに従って輝度値を小さくしていき、１８０度で中心輝度値αの値が最小となるように角度依存情報を付加した。すなわち、中心輝度値αの大きさとθとの関係は、式４のように表される。

（式４）

図６（ｃ）は図の矢印Ａの方向から光を当てたときの立体視をイメージさせる印影が現れている。なお、図６（ｂ）は現実世界のイメージとは一致しないものの、入力画像における勾配をもつ輝度集中点などの特徴点がよく現れるという意味において、図６（ｃ）同様に大きな効果があるといえる。

また、角度依存情報を付与した別の効果として、輪郭が鮮明に表示されるという点が挙げられる。図６（ａ）では、輪郭がぼんやりとしているのに対し、図６（ｂ）、（ｃ）では輪郭が鮮明に現れている。

次に、これをマンモグラフィ画像に適応した例を示す。
図７（ａ）は、マンモグラフィの原画像である入力画像を表している。

図７（ｂ）、（ｃ）は、図７（ａ）の画像に、それぞれ式３、式４に従って角度依存性を付与した出力画像である。図７（ｂ）と（ｃ）とでは、θの定義域が異なるがいずれも角度依存情報が付与されている点で共通する。

図７（ａ）中の輝度集中点はスピキュラを伴う腫瘤である。図７（ｂ）、（ｃ）では、この輝度集中点が立体的に表示され、特徴点がより鮮明に現れた。

また、特筆すべき他の点として、乳腺と輪郭が原画像よりも鮮明に現れたことが挙げられる。

このように、平面的な入力画像において輝度勾配がある部分が立体的に表現され、入力画像の特徴部分が際だって表示される。

（第３の実施形態）−ラプラシアンフィルタによるエッジ検出処理について−
この実施形態では、従来から知られるアイリスフィルタの出力画像に対して、ラプラシアンフィルタを適応することによりエッジ検出を行う方法について説明する。エッジ検出は、コンピュータにより入力画像に含まれる各画素の画像信号の特徴部分を抽出し、これを閉曲線で囲っていわゆる「マーキング」を行うことを目的とするものである。

図８は、本発明の第３の実施形態に係る画像処理方法の手順を示す図である。ステップ（Ｓｃ２）〜ステップ（Ｓｃ３）は、輝度値などの画像信号の集中度を求めるための公知のアルゴリズムであり、「アイリスフィルタ」と呼ばれている。

まず、入力画像のデータをコンピュータに入力し、入力画像中の複数の画素からなる閉領域（ｘ，ｙ）を演算対象領域Ｃとして区画し、演算対象領域Ｃを前記入力画像内で所定の画素単位で移動させることにより、演算対象領域Ｃ内における注目画素とその周囲の任意の画素との座標及びその２点の画素から求めた勾配ベクトルと演算対象領域Ｃの走査方向に向かう単位ベクトルと前記勾配ベクトルと前記単位ベクトルのなす各θとから、両ベクトルの内積を求めて規格化した値が勾配ベクトルの集中度Ｚとなる。

次のステップ（Ｓｃ４）は、ラプラシアンフィルタを乗算するアルゴリズムである。
図９は、ラプラシアンフィルタの一例を示している。この図に示すように、ラプラシアンフィルタのオペレータは、３×３のマスクで中心画素の値が−８、その周囲が全て１であるいわゆる「８近傍ラプラシアンフィルタ」を用いることができる。

図９は、８近傍ラプラシアンフィルタを表している。このように、上下左右の画素の４方向と、斜め方向の画素の４方向を加えた８方向とで処理を行う。このラプラシアンフィルタを乗算したのち、さらに２値化処理を行ってエッジ部分を強調する。

ステップ（Ｓｃ５）は前記ステップ（Ｓｃ４）に対して２値化処理を行なって出力画像を得るステップである。集中度の計算値が所定の値以下の画素では全ての画像信号を０にクリッピングし、それ以外の画素ではそのまま若しくはより高い値に線形変換する。

図１０（ａ）は、マンモグラフィの原画像である入力画像を表している。図１０（ｂ）及び（ｃ）は、図１０（ａ）の画像に、上述のアルゴリズムによるアイリスフィルタ処理（ステップＳｃ２〜Ｓｃ３）を行った出力画像を閾値処理することにより、所定の輝度値を持つ画素のみを抽出した画像を示している。図１０（ｂ）では、集中度が０以下の画素は０にクリッピングし、その後全ての画素における輝度値を３２０倍した出力画像を示している。また、図１０（ｃ）では、図１０（ｂ）を入力画像として、輝度値が１００以下の画素は０にクリッピングすることにより、集中度の高い領域のみを表示した出力画像を示している。図１０（ｃ）で残った部分は腫瘤陰影である。但し、実施には腫瘤陰影のみが残るが腫瘤の位置を判りやすくするため、図１０（ｃ）では乳房の輪郭を点線で表示している。

この腫瘤陰影をマーキングするために、出力画像２に対して、ラプラシアンフィルタによるエッジ検出を行う。

このラプラシアンオペレータを図９の（ｂ）、（ｃ）に対して行ったあと、２値化処理を行ってエッジ部分を強調すると、図１１における腫瘤陰影の周囲にマーキングされた図１１（ａ）のような出力画像が得られる。図１１（ｂ）は、マーキング部と乳房の外形を実線又は破線で示したものである。

図１１（ｂ）に示される外側のマーク１０１は、入力画像にアイリスフィルタを１回かけた出力画像（図９（ｂ））にラプラシアンフィルタのオペレータ処理を行った出力画像を表し、内側のマーク１０２は、入力画像にアイリスフィルタを２回かけた出力画像（図９（ｃ））にラプラシアンフィルタのオペレータ処理を行った出力画像を表している。

外側のマーク１０１は腫瘤陰影の候補をもれなく拾い上げるために表されたものであり、内側のマーク１０２は拾い上げた腫瘤陰影の中で、より腫瘤である危険性が高いものを示すものである。

（第４の実施形態）
第４の実施形態は、パーソナルコンピュータ等のコンピュータ上で実行される画像処理用アプリケーションプログラムとして、本発明の画像処理方法を実現するコンピュータプログラムを提供する形態を示している。

図１２は、本発明の第４の実施形態における画像処理装置の構成を示すブロック図である。パーソナルコンピュータに本発明に係る各画像処理方法の各ステップを実行させるプログラムをインストールした画像処理装置２０は、装置全体を制御するＣＰＵ（Central Processing Unit）２１、ＲＡＭ（Random Access Memory）等の一時記憶手段２２、ハードディスクなどの記憶手段２３、記録媒体から各データを読み取る光学ディスクドライブ等の補助記憶手段２４、マウス及びキーボード等の入力手段２５、モニタやプリンタ等の出力手段２６を備えている。記録媒体に記録された本発明に係るコンピュータプログラムを記憶手段２３に読み取り、制御手段２１の制御により、オペレーティングシステム上で実行させることにより、パーソナルコンピュータは本発明に係る画像処理装置２０として動作する。

画像処理装置２０では、記憶手段２２に記憶させたコンピュータプログラムを制御手段２１の制御に基づいて第１乃至第３の実施形態で説明した各ステップを実行することにより、記憶手段２３などに記憶している画像や外部とのインターフェース２７を通じて入力を受け付けた画像を入力画像に対し、画像処理を行い、出力手段２６から出力画像を出力する。

本発明に係る画像処理方法は、マンモグラフィなど医療診断の支援システムを始め、目立たない部分や特徴部分をより見やすく表示するといった用途への応用が期待され、従って、本発明の産業上利用可能性は極めて大きい。

２０ 本発明のプログラムをインストールした画像処理装置
２１ ＣＰＵ（Central Processing Unit）
２２ 一時記憶手段（ＲＡＭ）
２３ 記憶手段（ハードディスク）
２４ 補助記憶手段（光学ディスクドライブ等）
２５ 入力手段（マウス及びキーボード等）
２６ 出力手段（モニタやプリンタ等）
２７ 入出力インターフェース

Claims (2)

1. コンピュータにより入力画像に含まれる各画素の画像信号の大きさを所定の目的に従って調整する画像処理方法であって、
   入力画像のデータをコンピュータに入力するステップ（Ｓａ１）と、 コントラスト強度として任意の定数ｍを入力するステップ（Ｓａ２）と、
   入力画像中の複数の画素からなる閉領域（ｘ，ｙ）を演算対象領域Ｄとして区画し、演算対象領域Ｄ内における注目画素とその周囲の任意の画素との２点の画素の傾きの強さを前記注目画素を中心とする全周に亘って合計し前記演算対象領域内の画素数で除算することによりその平均値を算出するステップ（Ｓａ３）と、
   ステップ（Ｓａ３）で求めた勾配の振幅値βにステップ（Ｓａ２）で入力したコントラスト強度ｍ（但し、ｍは正の定数である。）を乗算し、任意のオフセット値γを加算するステップ（Ｓａ４）とを具備する画像処理方法。
2. 請求項１記載の画像処理方法において、
   前記２点の画素から求めた勾配ベクトルの角度成分θを算出するステップ（Ｓｂ２）と、
   前記勾配ベクトルの角度成分θの絶対値に所定の定数を乗算することにより、前記演算対象領域Ｄと同一の演算対象領域Ｃ内の中心画像信号αを算出するステップ（Ｓｂ３）と、を更に具備することを特徴とする画像処理方法。

Images