JP3731761B2 - 画像処理方法および装置 - Google Patents
画像処理方法および装置 Download PDFInfo
- Publication number
- JP3731761B2 JP3731761B2 JP20320695A JP20320695A JP3731761B2 JP 3731761 B2 JP3731761 B2 JP 3731761B2 JP 20320695 A JP20320695 A JP 20320695A JP 20320695 A JP20320695 A JP 20320695A JP 3731761 B2 JP3731761 B2 JP 3731761B2
- Authority
- JP
- Japan
- Prior art keywords
- signal
- image
- morphological
- smor
- ssp
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000003672 processing method Methods 0.000 title claims description 12
- 230000000877 morphologic effect Effects 0.000 claims description 91
- 238000004364 calculation method Methods 0.000 claims description 16
- 238000000034 method Methods 0.000 description 33
- 238000006243 chemical reaction Methods 0.000 description 16
- 230000010339 dilation Effects 0.000 description 14
- 230000005855 radiation Effects 0.000 description 14
- 208000004434 Calcinosis Diseases 0.000 description 9
- 239000011159 matrix material Substances 0.000 description 8
- 238000010586 diagram Methods 0.000 description 7
- 230000002093 peripheral effect Effects 0.000 description 7
- 230000003628 erosive effect Effects 0.000 description 6
- 230000002159 abnormal effect Effects 0.000 description 4
- 238000001514 detection method Methods 0.000 description 4
- 238000009499 grossing Methods 0.000 description 4
- 206010006187 Breast cancer Diseases 0.000 description 2
- 208000026310 Breast neoplasm Diseases 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 102100035971 Molybdopterin molybdenumtransferase Human genes 0.000 description 1
- 101710119577 Molybdopterin molybdenumtransferase Proteins 0.000 description 1
- 208000027418 Wounds and injury Diseases 0.000 description 1
- 210000004204 blood vessel Anatomy 0.000 description 1
- 230000002308 calcification Effects 0.000 description 1
- 230000006378 damage Effects 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 239000006185 dispersion Substances 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 208000014674 injury Diseases 0.000 description 1
- 210000005075 mammary gland Anatomy 0.000 description 1
- 210000001519 tissue Anatomy 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/73—Deblurring; Sharpening
- G06T5/75—Unsharp masking
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は画像処理方法および装置に関し、詳細には画像のうち、異常陰影やコントラストの高い画像部分等の特定の画像部分だけを選択的に強調処理する画像処理方法および装置に関するものである。
【０００２】
【従来の技術】
従来より、種々の画像取得方法により得られた画像を表す画像信号に対して、階調処理や周波数処理等の画像処理を施し、画像の観察読影性能を向上させることが行われている。特に人体を被写体とした放射線画像のような医用画像の分野においては、医師等の専門家が、得られた画像に基づいて患者の疾病や傷害の有無を的確に診断する必要があり、その画像の読影性能を向上させる画像処理は不可欠なものとなっている。
【０００３】
この画像処理のうち、いわゆる周波数強調処理としては、例えば特開昭61-169971 号に示されるように、原画像の濃度値等の画像信号（オリジナル画像信号という）Ｓorg を、
【０００４】
【数８】
【０００５】
なる画像信号Ｓprocに変換するものが知られている。ここでβは周波数強調係数、Ｓusは非鮮鋭マスク（いわゆるボケマスク）信号である。このボケマスク信号Ｓusは、２次元に配置された画素に対してオリジナル画像信号Ｓorg を中心画素とするＮ列×Ｎ行（Ｎは奇数）の画素マトリクスからなるマスク、すなわちボケマスクを設定し、
【０００６】
【数９】
【０００７】
等として求められる超低空間周波数成分である。
【０００８】
式（８）の第２項括弧内の値（Ｓorg −Ｓus）は、オリジナル画像信号から超低空間周波数成分であるボケマスク信号を減算したものであるから、オリジナル画像信号のうちの、超低空間周波数成分を除去した超低空間周波数よりも高い周波数成分を意味する。この比較的高い周波数成分に周波数強調係数βを乗じたうえで、オリジナル画像信号を加算することにより、この比較的高い周波数成分を強調することができる。
【０００９】
一方、画像のうち異常な陰影等の特定の画像部分だけを選択的に抽出する、モーフォロジー（Morphology；モフォロジーまたはモルフォロジーとも称する）のアルゴリズムに基づく処理（以下、モーフォロジー演算またはモーフォロジー処理という）が知られている。このモーフォロジー処理は、特に乳癌における特徴的形態である微小石灰化像を検出するのに有効な手法として研究されているが、対象画像としては、このようなマンモグラムにおける微小石灰化像に限るものではなく、検出しようとする特定の画像部分（異常陰影等）の大きさや形状が予め分かっているものについては、いかなる画像に対しても適用することができる。
【００１０】
以下、このモーフォロジー処理を、マンモグラムにおける微小石灰化像の検出に適用した例により、モーフォロジー処理の概要について説明する。
【００１１】
（モーフォロジーの基本演算）
モーフォロジー処理は一般的にはＮ次元空間における集合論として展開されるが、直感的な理解のために２次元の濃淡画像を対象として説明する。
【００１２】
濃淡画像を座標（ｘ，ｙ）の点が濃度値ｆ（ｘ，ｙ）に相当する高さをもつ空間とみなす。ここで、濃度値ｆ（ｘ，ｙ）は、ＣＲＴに表示するための信号のように、輝度の高いもの程大きな値となる高輝度高信号レベルの信号とする。
【００１３】
まず、簡単のために、その断面に相当する１次元の関数ｆ（ｘ）を考える。モーフォロジー演算に用いる構造要素ｇは次式（10）に示すように、原点について対称な対称関数
【００１４】
【数１０】
【００１５】
であり、定義域内で値が０で、その定義域Ｇが下記式（11）であるとする。
【００１６】
【数１１】
【００１７】
このとき、モーフォロジー演算の基本形は式（12）〜（15）に示すように、非常に簡単な演算となる。
【００１８】
【数１２】
【００１９】
すなわち、dilation（ダイレーション）処理は、注目画素を中心とした、±ｍ（構造要素Ｂに応じて決定される値）の幅の中の最大値を探索する処理であり（図６（Ａ）参照）、一方、erosion （エロージョン）処理は、注目画素を中心とした、±ｍの幅の中の最小値を探索する処理である（図６（Ｂ）参照）。したがって、このようにダイレーション処理、あるいはエロージョン処理された信号（図６（Ａ），（Ｂ）において破線で示す）をオリジナル画像信号から差し引くことによって、図面上の斜線で示す、信号値が急峻に変化するという画像のエッジ部と構造要素より空間的に小さな範囲で変動する画像部分とについてのみゼロ以外の値を出力するモーフォロジー信号Ｓmor を得るものである。
【００２０】
また、opening （またはclosing ）処理は最小値（または最大値）の探索の後に、最大値（または最小値）を探索することに相当する。すなわちopening （オープニング）処理は、低輝度側から濃度曲線ｆ（ｘ）を滑らかにし、マスクサイズ２ｍより小さい凸状の濃度変動部分（周囲部分よりも輝度が高い部分）を取り除くことに相当する（図６（Ｃ）参照）。一方、closing （クロージング）処理は、高輝度側から濃度曲線ｆ（ｘ）を滑らかにし、マスクサイズ２ｍより小さい凹状の濃度変動部分（周囲部分よりも輝度が低い部分）を取り除くことに相当する（図６（Ｄ）参照）。したがってオープニング処理、クロージング処理されたもの（図６（Ｃ），（Ｄ）において破線で示す）をオリジナル画像信号から差し引くことによって、図面上の斜線で示すような、構造要素より空間的に小さな範囲で変動するという特徴的な画像部分についてのみゼロ以外の値を出力するモーフォロジー信号Ｓmor を得るものである。
【００２１】
なお、構造要素ｇが原点に対して対称ではない場合の、式（12）に示すダイレーション演算をMinkowski （ミンコフスキー）和、式（13）に示すエロージョン演算をミンコフスキー差という。
【００２２】
ここで、濃度値ｆ（ｘ）が、ネガフイルムに記録するための信号のように、濃度の高いもの程大きな値となる高濃度高信号レベルの信号の場合においては、輝度と濃度との関係が逆転するため、高濃度高信号レベルの信号におけるダイレーション処理は、高輝度高信号レベルにおけるエロージョン処理（図６（Ｂ））と一致し、高濃度高信号レベルの信号におけるエロージョン処理は、高輝度高信号レベルにおけるダイレーション処理（図６（Ａ））と一致し、高濃度高信号レベルの信号におけるオープニング処理は、高輝度高信号レベルにおけるクロージング処理（図６（Ｄ））と一致し、高濃度高信号レベルの信号におけるクロージング処理は、高輝度高信号レベルにおけるオープニング処理（図６（Ｃ））と一致する。
【００２３】
なお、本項では高輝度高信号レベルの画像信号（輝度値）の場合について説明する。
【００２４】
（石灰化陰影検出への応用）
石灰化陰影の検出には、原画像から平滑化した画像を引き去る差分法が考えられる。単純な平滑化法では石灰化陰影と細長い形状の非石灰化陰影（乳腺、血管および乳腺支持組織等）との識別が困難であるため、東京農工大の小畑らは、多重構造要素を用いたオープニング演算に基づく下記式（16）で表されるモーフォロジーフィルターを提案している（「多重構造要素を用いたモルフォロジーフィルタによる微小石灰化像の抽出」電子情報通信学会論文誌 D-II Vol.J75-D-II No.7 P1170 〜1176 1992年７月等）。
【００２５】
【数１３】
【００２６】
ここでＢi （ｉ＝１，２，…，Ｍ）は、例えば図７に示す直線状の４つ（この場合Ｍ＝４）の構造要素（これら４つの構造要素の全体をもって多重構造要素というが、以下、ｉ＝１の場合を含めて単に構造要素という）である。構造要素Ｂi を検出対象である石灰化陰影よりも大きく設定すれば、上記オープニング演算による処理で、構造要素Ｂi よりも細かな凸状の信号変化部分である石灰化陰影は取り除かれる。一方、細長い形状の非石灰化陰影はその長さが構造要素Ｂi よりも長く、その傾きが４つの構造要素Ｂi のいずれかに一致すれば、それぞれの構造要素Ｂi に対するオープニング処理の最大値（式（16）の第２項の演算）を求めてもそのまま残る。したがってこのようにして得られた平滑化画像（石灰化陰影のみが取り除かれた画像）を原画像ｆから引き去ることで、小さな石灰化陰影のみが含まれる画像が得られる。これが式（16）の考え方である。
【００２７】
なお、前述したように、高濃度高信号レベルの信号の場合においては、石灰化陰影は周囲の画像部分よりも濃度値が低くなり、石灰化陰影は周囲部分に対して凹状の信号変化部分となるため、オープニング処理に代えてクロージング処理を適用し、式（16）に代えて式（17）を適用する。
【００２８】
【数１４】
【００２９】
このように、モーフォロジー処理は、
（１）石灰化陰影そのものの抽出に有効であること
（２）複雑なバックグラウンド情報に影響されにくいこと
（３）抽出した石灰化陰影がひずまないこと
などの特徴がある。すなわち、この手法は一般の微分処理に比べて、石灰化陰影のサイズ・形状・濃度分布などの幾何学的情報をより良く保った検出が可能である。
【００３０】
【発明が解決しようとする課題】
ところで上述したように、画像の読影性能を向上させるには、対象となる画像に対して画像処理を行うことが不可欠となっているが、特開平２−1078号に開示されているように、単に濃度依存による強調処理では、例えばマンモグラムにおける放射線ノイズ成分のような、画像読影の障害となる成分まで強調されるため、読影性能をむしろ低下させることになる。
【００３１】
また特公昭60−192482号、特開平２−120985号、特表平３−502975号等に開示されているように、画像信号の分散値に依存した強調処理では、局所的に濃度変化の大きい画像部分が強く強調されるため、その付近でアンダーシュート、オーバーシュートが相対的に目立ち、特にＸ線画像に関しては高濃度側でアーチファクトが発生しやすいという問題がある。
【００３２】
本発明は上記事情に鑑みなされたものであって、ノイズ成分等の画像読影に不要な成分を強調することなく、注目する特定の画像部分だけを効率よく強調処理し、アーチファクトの発生を抑制した画像処理方法および装置を提供することを目的とするものである。
【００３３】
【課題を解決するための手段】
本発明の画像処理方法は、画像を表すオリジナル画像信号Ｓorg の所定の空間周波数に対応する非鮮鋭マスク信号Ｓusを求め、
該非鮮鋭マスク信号Ｓusと前記オリジナル画像信号Ｓorg との差信号Ｓspに対して、構造要素Ｂｉおよびスケール係数λを用いたモーフォロジー演算を施すことにより、前記差信号が空間的に前記構造要素Ｂｉより小さく変動する画像部分および／または前記差信号の変化が急峻な画像部分について特徴的な出力を示すモーフォロジー信号Ｓmor を求め、
前記画像部分を強調するように、前記差信号Ｓspに対して前記モーフォロジー信号Ｓmor に応じた強調処理を施すことを特徴とするものである。
【００３４】
なお、構造要素Ｂｉを構成する構造要素Ｂとしては、例えば、正方形、長方形、円形、楕円形、線形または菱形等の上下左右対称の要素が望ましい。以下の発明においても同様である。
【００３５】
また、前記モーフォロジー信号Ｓmor に応じた強調処理としては、下記式（１）にしたがった強調処理を用いることができる。
【００３６】
【数１】
【００３７】
上記強調係数β（Ｓmor ）としては、例えば図３に示すような関数形状を有するものが望ましい。すなわち、図３（Ａ）に示すような関数形状は、放射線ノイズ領域（粒状領域）であるモーフォロジー信号値Ｓmor が小さい領域についてはその出力を低く抑制し、石灰化陰影等の所望の画像部分に対応する領域であるモーフォロジー信号値Ｓmor が極端に大きい領域についてはβ（Ｓmor ）の上限値に固定し、これらの中間領域についてはモーフォロジー信号値Ｓmor の増大にしたがって単調増加するように設定されている。また、図３（Ｂ）に示すような関数形状は、放射線ノイズ領域（粒状領域）であるモーフォロジー信号値Ｓmor が小さい領域についてはその出力をゼロに固定し、石灰化陰影等の所望の画像部分に対応する領域であるモーフォロジー信号値Ｓmor が大きい領域についてはβ（Ｓmor ）の上限値に固定し、モーフォロジー信号値Ｓmor がさらに大きい領域についてはβ（Ｓmor ）を低く抑制して、極端な強調を行った場合にもオーバーシュートやアンダーシュートが発生するのを抑制するものである。
【００３８】
また、モーフォロジー演算としては、下記式（２）〜（６）で示される種々のものを適用することができる。
【００３９】
【数２】
【００４０】
【数３】
【００４１】
【数４】
【００４２】
【数５】
【００４３】
【数６】
【００４４】
【外１】
【００４５】
なおモーフォロジー演算として上記式（６）に示すものを用いた場合には、モーフォロジー信号Ｓmor に応じた強調処理としては下記式（７）にしたがったものを用いるのが望ましい。
【００４６】
【数７】
【００４７】
ここでｆ（Ｓsp）は、例えば図５に示すように、差信号Ｓspが所定の大きさ以上の範囲、または所定の大きさ以下の範囲については、その出力が一定値に固定された関数形状とするのが望ましい。これは極端な強調を行った場合にもオーバーシュートやアンダーシュートが発生するのを抑制するためである。
【００４８】
式（２）または（３）で表されるモーフォロジー演算を適用した場合、モーフォロジー信号Ｓmor として、差信号Ｓspが前記構造要素Ｂi より空間的に小さく変動する画像部分や、輝度（濃度）が急激に変化するエッジ部分を構成する画素の信号を抽出することができ、このような画像部分を効果的に強調処理することができる。
【００４９】
また、式（４）で表されるモーフォロジー演算を適用することにより、モーフォロジー信号Ｓmor として、差信号Ｓspが周囲の画像部分よりも大きく、かつ前記構造要素Ｂi より空間的に小さく変動する画像部分（例えば、高輝度高信号レベルの画像信号における石灰化陰影）を構成する画素の信号を抽出することができ、この画像部分を効果的に強調処理することができる。
【００５０】
さらにまた、式（５）で表されるモーフォロジー演算を適用することにより、モーフォロジー信号Ｓmor として、差信号Ｓspが周囲の画像部分よりも小さく、かつ前記構造要素Ｂi より空間的に小さく変動する画像部分（例えば、高濃度高信号レベルの画像信号における石灰化陰影）を構成する画素の信号を抽出することができ、この画像部分を効果的に強調処理することができる。
【００５１】
また式（６）で表されるモーフォロジー演算を適用することにより、モーフォロジー信号Ｓmor として、差信号Ｓspが構造要素Ｂi より空間的に小さく変動する画像部分や、輝度（濃度）が急激に変化するエッジ部分を構成する画素の信号を抽出することができ、このような画像部分を効果的に強調処理することができる。
【００５２】
本発明の画像処理装置は、画像を表すオリジナル画像信号Ｓorg の所定の空間周波数に対応する非鮮鋭マスク信号Ｓusを求める非鮮鋭マスク信号演算手段と、
該非鮮鋭マスク信号Ｓusと前記オリジナル画像信号Ｓorg との差信号Ｓspに対して、構造要素Ｂｉおよびスケール係数λを用いたモーフォロジー演算を施すことにより、前記差信号が空間的に前記構造要素Ｂｉより小さく変動する画像部分および／または前記差画像信号の変化が急峻な画像部分について特徴的な出力を示すモーフォロジー信号Ｓmor を求めるモーフォロジー信号演算手段と、
前記画像部分を強調するように、前記差信号Ｓspに対して前記モーフォロジー信号Ｓmor に応じた強調処理を施す強調手段とを備えてなることを特徴とするものである。
【００５３】
また、前記モーフォロジー信号Ｓmor に応じた強調処理としては、上記式（１）にしたがった強調処理を用いることができる。
【００５４】
上記強調係数β（Ｓmor ）としては、前記本発明の画像処理方法と同様に、例えば図２に示すような関数形状を有するものが望ましい。
【００５５】
また、モーフォロジー演算も、上記式（２）〜（６）で示される種々のものを適用することができる。そして、式（６）のモーフォロジー演算を用いた場合には、強調処理として上記式（７）にしたがったものを用いるのが望ましい。
【００５６】
なお、構造要素Ｂi （ｉ＝１，２，…，Ｍ）は、２次元面内での向きが互いに異なる構造要素Ｂとして準備されたＭ個の構造要素Ｂの集合を意味するものであり、Ｍ＝１の場合は上下左右対称の要素を意味し、本発明においてはｉ≧２である構造要素およびｉ＝１の場合も含めて構造要素Ｂi と表記するものとする。また、スケール係数λは上記ミンコフスキー和の演算およびミンコフスキー差の演算を行う回数を意味し、回数を増加するに応じて平滑化の程度が進む。
【００５７】
【発明の効果】
本発明の画像処理方法・装置は、画像を表すオリジナル画像信号Ｓorg から、所定の空間周波数に対応する周波数成分（通常は超低空間周波数成分）Ｓusを減算することにより、オリジナル画像信号Ｓorg のうちのその周波数以下の周波数成分が除かれた比較的高い周波数成分（差信号）Ｓspだけを抽出する。この抽出された比較的高い周波数成分Ｓspには、高周波成分であるいわゆる放射線ノイズも含まれる。
【００５８】
このようにして得られた比較的高い周波数成分Ｓspに対して、構造要素Ｂi およびスケール係数λを用いたモーフォロジー演算を施すことにより、画像信号が空間的に構造要素Ｂi より小さく変動する画像部分や、信号値が急激に変化するエッジ部等の特徴的な画像部分について、特徴的な出力を示すモーフォロジー信号Ｓmor を得る。ここで、上記特徴的な画像部分には上述の放射線ノイズも含まれるが、放射線ノイズに対応するモーフォロジー信号Ｓmor は微小なものであり、一方、放射線ノイズ以外の特徴的な画像部分についてのモーフォロジー信号Ｓmor は、この放射線ノイズについてのモーフォロジー信号Ｓmor より大きな値を示す。このため、モーフォロジー信号Ｓmor により放射線ノイズを特徴的な画像部分から分離することができる。
【００５９】
次いで、上記比較的高い周波数成分Ｓspに対して、モーフォロジー信号Ｓmor に応じた強調処理を施すことにより、放射線ノイズ以外の特徴的な画像部分は強い強調がなされ、放射線ノイズを含む他の画像部分については強調がほとんどなされず、これにより特徴的な画像部分を選択的に強調することができる。
【００６０】
このように、本発明の画像処理方法・装置によれば、ノイズ成分等の画像読影に不要な成分を強調することなく、注目する特定の画像部分だけを効率よく強調処理することができる。また、分散値依存強調処理において生じるようなアーチファクトの発生を抑制することもできる。
【００６１】
さらに、モーフォロジー演算では画像信号の分散値を計算する処理に代えて最大値または最小値を計算する処理を行うため、その演算時間を短縮することができる。
【００６２】
なお、モーフォロジー演算として式（２）または（３）に示す演算を行った場合は、さらに以下のような効果がある。すなわち、例えば、図８（Ａ）に示すように、強調しようとする特徴的な画像部分（図面中においては下に凸の「信号領域」と表記）が、周辺濃度が均一な画像部分において存在している場合は、このオリジナル画像信号Ｓorg に対して式（２）の第２項に示すダイレーション処理を施すと、そのダイレーション処理により得られるダイレーション信号Ｓdiは原画像の「信号領域」の周辺の画像部分に対応するオリジナル画像信号Ｓorg と略一致する。この結果、ダイレーション信号Ｓdiとオリジナル画像信号Ｓorg との差は「信号領域」についてのみゼロ以外の値を採る、換言すれば式（２）のモーフォロジー信号Ｓmor は「信号領域」についてのみ所定の値を出力を示すが、他の周辺部分についてのモーフォロジー信号は略ゼロを示す。
【００６３】
一方、同図（Ｂ）に示すように、周辺濃度が緩い濃度勾配を有する画像部分において「信号領域」が存在している場合は、このオリジナル画像信号Ｓorg に対して式（２）の第２項に示すダイレーション処理を施すと、そのダイレーション処理により得られるダイレーション信号Ｓdiは原画像の「信号領域」の周辺の画像部分に対応するオリジナル画像信号Ｓorg を信号値が大きくなる方向に平行移動したものとなる。この結果、ダイレーション信号Ｓdiとオリジナル画像信号Ｓorg との差は「信号領域」以外の周辺画像についてもゼロ以外の値を採り、「信号領域」については同図（Ａ）の場合よりもかなり大きな値を採る。したがって式（２）に示したモーフォロジー信号も原画像の各部分にわたって全体的に大きな値を採ることとなる。その結果、モーフォロジー信号に応じた強調処理を行うと、強く強調され過ぎる虞がある。
【００６４】
しかし、本発明の画像方法・装置によれば、オリジナル画像信号Ｓorg に対して直接にモーフォロジー演算を行うのではなく、オリジナル画像信号Ｓorg と非鮮鋭マスク信号Ｓusとの差信号である高周波成分Ｓspについてモーフォロジー演算を施すため、図８（Ｂ）に示したような緩い濃度勾配に対してはモーフォロジー演算の結果であるモーフォロジー信号値が略ゼロとなり、したがって上述した過度の強調を防止することができる。式（３）に示したエロージョン処理についても同様である。
【００６５】
なお、本発明の画像処理方法・装置の作用について図９を用いて説明すると、図９（Ａ）に示すようなオリジナル画像信号Ｓorg のうち、非鮮鋭マスクの大きさに応じた高周波成分が分離され、そのうちの信号成分だけが選択的に強調係数β（Ｓmor ）により強調されて、同図（Ｂ）に示すような信号成分だけが強調された処理済画像信号Ｓprocに変換される。
【００６６】
また、図10（Ａ），（Ｂ）に従来の強調処理（（Ａ）参照）により求められる処理済画像信号と本発明の強調処理（（Ｂ）参照）により求められる処理済画像信号の相違を示す。本発明の画像処理方法による画像強調処理によれば、オーバーシュート、アンダーシュートを抑制しつつ所望信号だけを選択的に効果的に強調処理することができる。
【００６７】
【発明の実施の形態】
以下、本発明の画像処理方法を具体的に実施するための画像処理装置について図面を用いて説明する。
【００６８】
図１は本実施形態の画像処理装置を示す概略ブロック図である。図示の画像処理装置は、画像を表すオリジナル画像信号Ｓorg の、超低空間周波数に対応する非鮮鋭マスク信号Ｓusを求めるローパスフィルタ11と、オリジナル画像信号Ｓorg から非鮮鋭マスク信号Ｓusを減算処理する演算素子14a と、この演算素子14a により得られたオリジナル画像信号Ｓorg の高周波成分Ｓsp（＝Ｓorg −Ｓus）に対して、構造要素Ｂｉおよびスケール係数λを用いたモーフォロジー演算を施すことにより、オリジナル画像信号Ｓorg の高周波成分Ｓspが空間的に構造要素Ｂi より小さく変動する画像部分や、信号値が急激に変化するエッジ部等の特徴的な画像部分について、特徴的な出力を示すモーフォロジー信号Ｓmor を得るモーフォロジーフィルタ12と、モーフォロジー信号Ｓmor の入力を受けてモーフォロジー信号Ｓmor に応じた強調係数βｍ（Ｓmor ）を出力する変換テーブル13と、変換テーブル13により出力された強調係数βｍ（Ｓmor ）により、オリジナル画像信号Ｓorg に下記式（１）にしたがった演算処理を施して処理済画像信号Ｓprocを得る演算素子14b ・14c とを備えた構成である。
【００６９】
【数１】
【００７０】
ここで画像を表すオリジナル画像信号Ｓorg は、予め所定の画像読取装置により放射線画像から読み取られて所定の記憶手段に記憶されたものであってもよいし、画像読取装置から直接入力されたものであってもよい。また、本実施形態における放射線画像としてはマンモグラムとし、ローパスフィルタ11はオリジナル画像信号Ｓorg に対して、例えば３列×３行の画素マトリクスからなるボケマスクを設定し、下記式（９）（Ｎ＝３に設定）にしたがって得られたボケマスク信号Ｓusを出力する。
【００７１】
【数９】
【００７２】
なお、ボケマスクとしては上記式（９）に示すようにマスク内の画素値の単純平均を用いるものの他、例えば図２のマトリクスに示したような、中心画素からの距離に応じてマスク内の画素値の重み付けを変化させたものを用いることもできる。
【００７３】
モーフォロジーフィルタ12はオリジナル画像信号Ｓorg の高周波成分Ｓspに対して、例えば５列×５行の画素マトリクスからなる構造要素Ｂとスケール係数λとにより下記式（２）に示すダイレーション処理にしたがって演算処理することにより、オリジナルの画像信号Ｓorg の高周波成分Ｓspが空間的に構造要素Ｂi より小さく変動する画像部分（例えばマンモグラムにおいては乳癌であることを示す微小石灰化部分）と、信号値が急激に変化するエッジ部等の特徴的な画像部分とに対応する画像信号が入力された場合は大きな値のモーフォロジー信号Ｓmor を出力し、一方、高周波成分Ｓspの値が周囲の画像部分よりも大きくまたは構造要素Ｂi より空間的に大きく変動する画像部分に対応する画像信号が入力された場合は極めて小さな値のモーフォロジー信号Ｓmor を出力する。なお、構造要素Ｂは強調処理を施そうとする所望の微小石灰化部分の形状や大きさに応じて予め設定されたものである。
【００７４】
【数２】
【００７５】
変換テーブル13は、例えば図３（Ａ）に示すように放射線ノイズ領域であるモーフォロジー信号値Ｓmor が小さい領域についてはその出力を低く抑制し、石灰化陰影等の所望の画像部分に対応する領域であるモーフォロジー信号値Ｓmor が大きい領域については出力を大きくするように、モーフォロジー信号値Ｓmor の増大にしたがって単調増加するように設定されている（図１中においては模式的に記載している）。
【００７６】
なお、演算素子14b は演算素子14a の出力と変換テーブル13の出力とを乗算する演算素子、演算素子14c はオリジナル画像信号Ｓorg と演算素子14b の出力とを加算する演算素子である。
【００７７】
次に本実施形態の画像処理装置の作用について説明する。
【００７８】
画像処理装置にオリジナル画像信号Ｓorg が入力されると、まずローパスフィルタ11はオリジナル画像信号Ｓorg に対して、３列×３行の画素マトリクスからなるボケマスクを設定し、上記式（９）（Ｎ＝３）にしたがった演算を施してボケマスク信号Ｓusを出力する。このボケマスク信号Ｓusは３列×３行の画素マトリクスからなるボケマスクであるため、比較的高い周波数の信号となっている。
【００７９】
演算素子14a は、オリジナル画像信号Ｓorg からローパスフィルタ11の出力であるボケマスク信号Ｓusを減算して、オリジナル画像信号Ｓorg うち高周波成分Ｓsp（Ｓorg −Ｓus）だけを出力する。
【００８０】
この演算素子14a の出力Ｓspに対して、モーフォロジーフィルタ12が５列×５行の画素マトリクスからなる構造要素Ｂとスケール係数λとにより、上記式（２）にしたがった演算処理を施して、その画像部分の特徴的な形状や信号値の変動に応じたモーフォロジー信号Ｓmor を出力する。ここでその画像部分が異常陰影である微小石灰化部分やコントラストが急激に変化する部分である場合には大きな値のモーフォロジー信号Ｓmor が出力され、その他の場合には極めて小さな値のモーフォロジー信号Ｓmor が出力される。
【００８１】
モーフォロジーフィルタ12から出力されたモーフォロジー信号Ｓmor は変換テーブル13に入力され、変換テーブル13は入力されたモーフォロジー信号Ｓmor の大きさに応じた強調係数βｍ（Ｓmor ）を出力する。本実施形態においては、微小石灰化部分においては略上限値が強調係数βｍ（Ｓmor ）として出力され、その他の部分においては極めて小さい値が強調係数βｍ（Ｓmor ）として出力される。
【００８２】
演算素子14b は、演算素子14a からの出力Ｓspと変換テーブル13からの出力βｍ（Ｓmor ）とを乗算処理して高周波成分Ｓspに重み付けを行う。
【００８３】
次いで演算素子14c は、オリジナル画像信号Ｓorg と演算素子14b からの出力とを加算処理して処理済画像信号Ｓprocを出力する。この出力された処理済画像信号Ｓprocは、上述の処理によりオリジナル画像信号の高周波成分Ｓspのうちの微小石灰化部分やコントラストが急激に変化する部分が強調処理された信号である。
【００８４】
このように、本実施形態の画像処理装置によれば、高周波成分Ｓspの周波数帯域内にある放射線ノイズの強調を抑制しつつ微小石灰化部分等の特徴的な画像部分を選択的に効率よく強調処理することができ、計算機支援画像診断等において非常に有用である。
【００８５】
なお、モーフォロジーフィルタ12による演算は、上記式（２）によるものに限らず、下記式（３）、（４）、（５）または（６）によるものであってもよい。
【００８６】
【数３】
【００８７】
【数４】
【００８８】
【数５】
【００８９】
【数６】
【００９０】
ただし、式（６）の演算を適用する場合には、演算素子14ａからの出力である高周波成分Ｓspに対して直接にモーフォロジー演算を施す代わりに、図４に示すように、高周波成分Ｓspを、例えば図５に示す関数グラフによる第２の変換テーブル15にしたがった変換を行い、その変換後の高周波成分ｆ（Ｓsp）に対してモーフォロジーフィルタ13によるモーフォロジー演算（式（６））を施す構成とするのが望ましい。
【００９１】
これは、上記高周波成分（変換前）信号Ｓspが所定の大きさ以上の範囲、または所定の大きさ以下の範囲の場合であって、極端な強調を行った場合にもオーバーシュートやアンダーシュートが発生するのを抑制するためである。
【００９２】
また、変換テーブル13は図３（Ａ）に示すものの他、同図（Ｂ）に示す関数形状を有するものであってもよい。
【図面の簡単な説明】
【図１】本発明の画像処理装置の第１実施形態を示すブロック図
【図２】非鮮鋭マスク内の各画素に対する重み付け係数を示すマトリクス
【図３】（Ａ），（Ｂ）変換テーブルを表す関数のグラフ
【図４】本発明の画像処理装置の第２実施形態を示すブロック図
【図５】第２の変換テーブルを表す関数のグラフ
【図６】モーフォロジー演算の基本的な作用を説明する図
【図７】構造要素Ｂｉ（ｉ＝１，２，…，Ｍ；Ｍ＝４）の一例を示す概念図
【図８】（Ａ）は強調しようとする特徴的な画像部分が、周辺濃度が均一な画像部分において存在する場合、（Ｂ）は強調しようとする特徴的な画像部分が、周辺濃度が緩やかな濃度勾配において存在する場合についての説明図
【図９】本発明の作用を説明するための概念図
【図１０】（Ａ）従来の強調処理により求められる処理済画像信号、（Ｂ）本発明の強調処理により求められる処理済画像信号の相違を示すグラフ
【符号の説明】
11 ローパスフィルタ
12 モーフォロジーフィルタ
13 変換テーブル
14ａ，14ｂ，14ｃ 演算素子
15 第２の変換テーブル
Ｓorg オリジナル画像信号
Ｓus ボケマスク信号
Ｓsp 高周波成分
Ｓproc 処理済画像信号
【発明の属する技術分野】
本発明は画像処理方法および装置に関し、詳細には画像のうち、異常陰影やコントラストの高い画像部分等の特定の画像部分だけを選択的に強調処理する画像処理方法および装置に関するものである。
【０００２】
【従来の技術】
従来より、種々の画像取得方法により得られた画像を表す画像信号に対して、階調処理や周波数処理等の画像処理を施し、画像の観察読影性能を向上させることが行われている。特に人体を被写体とした放射線画像のような医用画像の分野においては、医師等の専門家が、得られた画像に基づいて患者の疾病や傷害の有無を的確に診断する必要があり、その画像の読影性能を向上させる画像処理は不可欠なものとなっている。
【０００３】
この画像処理のうち、いわゆる周波数強調処理としては、例えば特開昭61-169971 号に示されるように、原画像の濃度値等の画像信号（オリジナル画像信号という）Ｓorg を、
【０００４】
【数８】
なる画像信号Ｓprocに変換するものが知られている。ここでβは周波数強調係数、Ｓusは非鮮鋭マスク（いわゆるボケマスク）信号である。このボケマスク信号Ｓusは、２次元に配置された画素に対してオリジナル画像信号Ｓorg を中心画素とするＮ列×Ｎ行（Ｎは奇数）の画素マトリクスからなるマスク、すなわちボケマスクを設定し、
【０００６】
【数９】
等として求められる超低空間周波数成分である。
【０００８】
式（８）の第２項括弧内の値（Ｓorg −Ｓus）は、オリジナル画像信号から超低空間周波数成分であるボケマスク信号を減算したものであるから、オリジナル画像信号のうちの、超低空間周波数成分を除去した超低空間周波数よりも高い周波数成分を意味する。この比較的高い周波数成分に周波数強調係数βを乗じたうえで、オリジナル画像信号を加算することにより、この比較的高い周波数成分を強調することができる。
【０００９】
一方、画像のうち異常な陰影等の特定の画像部分だけを選択的に抽出する、モーフォロジー（Morphology；モフォロジーまたはモルフォロジーとも称する）のアルゴリズムに基づく処理（以下、モーフォロジー演算またはモーフォロジー処理という）が知られている。このモーフォロジー処理は、特に乳癌における特徴的形態である微小石灰化像を検出するのに有効な手法として研究されているが、対象画像としては、このようなマンモグラムにおける微小石灰化像に限るものではなく、検出しようとする特定の画像部分（異常陰影等）の大きさや形状が予め分かっているものについては、いかなる画像に対しても適用することができる。
【００１０】
以下、このモーフォロジー処理を、マンモグラムにおける微小石灰化像の検出に適用した例により、モーフォロジー処理の概要について説明する。
【００１１】
（モーフォロジーの基本演算）
モーフォロジー処理は一般的にはＮ次元空間における集合論として展開されるが、直感的な理解のために２次元の濃淡画像を対象として説明する。
【００１２】
濃淡画像を座標（ｘ，ｙ）の点が濃度値ｆ（ｘ，ｙ）に相当する高さをもつ空間とみなす。ここで、濃度値ｆ（ｘ，ｙ）は、ＣＲＴに表示するための信号のように、輝度の高いもの程大きな値となる高輝度高信号レベルの信号とする。
【００１３】
まず、簡単のために、その断面に相当する１次元の関数ｆ（ｘ）を考える。モーフォロジー演算に用いる構造要素ｇは次式（10）に示すように、原点について対称な対称関数
【００１４】
【数１０】
であり、定義域内で値が０で、その定義域Ｇが下記式（11）であるとする。
【００１６】
【数１１】
このとき、モーフォロジー演算の基本形は式（12）〜（15）に示すように、非常に簡単な演算となる。
【００１８】
【数１２】
すなわち、dilation（ダイレーション）処理は、注目画素を中心とした、±ｍ（構造要素Ｂに応じて決定される値）の幅の中の最大値を探索する処理であり（図６（Ａ）参照）、一方、erosion （エロージョン）処理は、注目画素を中心とした、±ｍの幅の中の最小値を探索する処理である（図６（Ｂ）参照）。したがって、このようにダイレーション処理、あるいはエロージョン処理された信号（図６（Ａ），（Ｂ）において破線で示す）をオリジナル画像信号から差し引くことによって、図面上の斜線で示す、信号値が急峻に変化するという画像のエッジ部と構造要素より空間的に小さな範囲で変動する画像部分とについてのみゼロ以外の値を出力するモーフォロジー信号Ｓmor を得るものである。
【００２０】
また、opening （またはclosing ）処理は最小値（または最大値）の探索の後に、最大値（または最小値）を探索することに相当する。すなわちopening （オープニング）処理は、低輝度側から濃度曲線ｆ（ｘ）を滑らかにし、マスクサイズ２ｍより小さい凸状の濃度変動部分（周囲部分よりも輝度が高い部分）を取り除くことに相当する（図６（Ｃ）参照）。一方、closing （クロージング）処理は、高輝度側から濃度曲線ｆ（ｘ）を滑らかにし、マスクサイズ２ｍより小さい凹状の濃度変動部分（周囲部分よりも輝度が低い部分）を取り除くことに相当する（図６（Ｄ）参照）。したがってオープニング処理、クロージング処理されたもの（図６（Ｃ），（Ｄ）において破線で示す）をオリジナル画像信号から差し引くことによって、図面上の斜線で示すような、構造要素より空間的に小さな範囲で変動するという特徴的な画像部分についてのみゼロ以外の値を出力するモーフォロジー信号Ｓmor を得るものである。
【００２１】
なお、構造要素ｇが原点に対して対称ではない場合の、式（12）に示すダイレーション演算をMinkowski （ミンコフスキー）和、式（13）に示すエロージョン演算をミンコフスキー差という。
【００２２】
ここで、濃度値ｆ（ｘ）が、ネガフイルムに記録するための信号のように、濃度の高いもの程大きな値となる高濃度高信号レベルの信号の場合においては、輝度と濃度との関係が逆転するため、高濃度高信号レベルの信号におけるダイレーション処理は、高輝度高信号レベルにおけるエロージョン処理（図６（Ｂ））と一致し、高濃度高信号レベルの信号におけるエロージョン処理は、高輝度高信号レベルにおけるダイレーション処理（図６（Ａ））と一致し、高濃度高信号レベルの信号におけるオープニング処理は、高輝度高信号レベルにおけるクロージング処理（図６（Ｄ））と一致し、高濃度高信号レベルの信号におけるクロージング処理は、高輝度高信号レベルにおけるオープニング処理（図６（Ｃ））と一致する。
【００２３】
なお、本項では高輝度高信号レベルの画像信号（輝度値）の場合について説明する。
【００２４】
（石灰化陰影検出への応用）
石灰化陰影の検出には、原画像から平滑化した画像を引き去る差分法が考えられる。単純な平滑化法では石灰化陰影と細長い形状の非石灰化陰影（乳腺、血管および乳腺支持組織等）との識別が困難であるため、東京農工大の小畑らは、多重構造要素を用いたオープニング演算に基づく下記式（16）で表されるモーフォロジーフィルターを提案している（「多重構造要素を用いたモルフォロジーフィルタによる微小石灰化像の抽出」電子情報通信学会論文誌 D-II Vol.J75-D-II No.7 P1170 〜1176 1992年７月等）。
【００２５】
【数１３】
ここでＢi （ｉ＝１，２，…，Ｍ）は、例えば図７に示す直線状の４つ（この場合Ｍ＝４）の構造要素（これら４つの構造要素の全体をもって多重構造要素というが、以下、ｉ＝１の場合を含めて単に構造要素という）である。構造要素Ｂi を検出対象である石灰化陰影よりも大きく設定すれば、上記オープニング演算による処理で、構造要素Ｂi よりも細かな凸状の信号変化部分である石灰化陰影は取り除かれる。一方、細長い形状の非石灰化陰影はその長さが構造要素Ｂi よりも長く、その傾きが４つの構造要素Ｂi のいずれかに一致すれば、それぞれの構造要素Ｂi に対するオープニング処理の最大値（式（16）の第２項の演算）を求めてもそのまま残る。したがってこのようにして得られた平滑化画像（石灰化陰影のみが取り除かれた画像）を原画像ｆから引き去ることで、小さな石灰化陰影のみが含まれる画像が得られる。これが式（16）の考え方である。
【００２７】
なお、前述したように、高濃度高信号レベルの信号の場合においては、石灰化陰影は周囲の画像部分よりも濃度値が低くなり、石灰化陰影は周囲部分に対して凹状の信号変化部分となるため、オープニング処理に代えてクロージング処理を適用し、式（16）に代えて式（17）を適用する。
【００２８】
【数１４】
このように、モーフォロジー処理は、
（１）石灰化陰影そのものの抽出に有効であること
（２）複雑なバックグラウンド情報に影響されにくいこと
（３）抽出した石灰化陰影がひずまないこと
などの特徴がある。すなわち、この手法は一般の微分処理に比べて、石灰化陰影のサイズ・形状・濃度分布などの幾何学的情報をより良く保った検出が可能である。
【００３０】
【発明が解決しようとする課題】
ところで上述したように、画像の読影性能を向上させるには、対象となる画像に対して画像処理を行うことが不可欠となっているが、特開平２−1078号に開示されているように、単に濃度依存による強調処理では、例えばマンモグラムにおける放射線ノイズ成分のような、画像読影の障害となる成分まで強調されるため、読影性能をむしろ低下させることになる。
【００３１】
また特公昭60−192482号、特開平２−120985号、特表平３−502975号等に開示されているように、画像信号の分散値に依存した強調処理では、局所的に濃度変化の大きい画像部分が強く強調されるため、その付近でアンダーシュート、オーバーシュートが相対的に目立ち、特にＸ線画像に関しては高濃度側でアーチファクトが発生しやすいという問題がある。
【００３２】
本発明は上記事情に鑑みなされたものであって、ノイズ成分等の画像読影に不要な成分を強調することなく、注目する特定の画像部分だけを効率よく強調処理し、アーチファクトの発生を抑制した画像処理方法および装置を提供することを目的とするものである。
【００３３】
【課題を解決するための手段】
本発明の画像処理方法は、画像を表すオリジナル画像信号Ｓorg の所定の空間周波数に対応する非鮮鋭マスク信号Ｓusを求め、
該非鮮鋭マスク信号Ｓusと前記オリジナル画像信号Ｓorg との差信号Ｓspに対して、構造要素Ｂｉおよびスケール係数λを用いたモーフォロジー演算を施すことにより、前記差信号が空間的に前記構造要素Ｂｉより小さく変動する画像部分および／または前記差信号の変化が急峻な画像部分について特徴的な出力を示すモーフォロジー信号Ｓmor を求め、
前記画像部分を強調するように、前記差信号Ｓspに対して前記モーフォロジー信号Ｓmor に応じた強調処理を施すことを特徴とするものである。
【００３４】
なお、構造要素Ｂｉを構成する構造要素Ｂとしては、例えば、正方形、長方形、円形、楕円形、線形または菱形等の上下左右対称の要素が望ましい。以下の発明においても同様である。
【００３５】
また、前記モーフォロジー信号Ｓmor に応じた強調処理としては、下記式（１）にしたがった強調処理を用いることができる。
【００３６】
【数１】
上記強調係数β（Ｓmor ）としては、例えば図３に示すような関数形状を有するものが望ましい。すなわち、図３（Ａ）に示すような関数形状は、放射線ノイズ領域（粒状領域）であるモーフォロジー信号値Ｓmor が小さい領域についてはその出力を低く抑制し、石灰化陰影等の所望の画像部分に対応する領域であるモーフォロジー信号値Ｓmor が極端に大きい領域についてはβ（Ｓmor ）の上限値に固定し、これらの中間領域についてはモーフォロジー信号値Ｓmor の増大にしたがって単調増加するように設定されている。また、図３（Ｂ）に示すような関数形状は、放射線ノイズ領域（粒状領域）であるモーフォロジー信号値Ｓmor が小さい領域についてはその出力をゼロに固定し、石灰化陰影等の所望の画像部分に対応する領域であるモーフォロジー信号値Ｓmor が大きい領域についてはβ（Ｓmor ）の上限値に固定し、モーフォロジー信号値Ｓmor がさらに大きい領域についてはβ（Ｓmor ）を低く抑制して、極端な強調を行った場合にもオーバーシュートやアンダーシュートが発生するのを抑制するものである。
【００３８】
また、モーフォロジー演算としては、下記式（２）〜（６）で示される種々のものを適用することができる。
【００３９】
【数２】
【数３】
【数４】
【数５】
【数６】
【外１】
なおモーフォロジー演算として上記式（６）に示すものを用いた場合には、モーフォロジー信号Ｓmor に応じた強調処理としては下記式（７）にしたがったものを用いるのが望ましい。
【００４６】
【数７】
ここでｆ（Ｓsp）は、例えば図５に示すように、差信号Ｓspが所定の大きさ以上の範囲、または所定の大きさ以下の範囲については、その出力が一定値に固定された関数形状とするのが望ましい。これは極端な強調を行った場合にもオーバーシュートやアンダーシュートが発生するのを抑制するためである。
【００４８】
式（２）または（３）で表されるモーフォロジー演算を適用した場合、モーフォロジー信号Ｓmor として、差信号Ｓspが前記構造要素Ｂi より空間的に小さく変動する画像部分や、輝度（濃度）が急激に変化するエッジ部分を構成する画素の信号を抽出することができ、このような画像部分を効果的に強調処理することができる。
【００４９】
また、式（４）で表されるモーフォロジー演算を適用することにより、モーフォロジー信号Ｓmor として、差信号Ｓspが周囲の画像部分よりも大きく、かつ前記構造要素Ｂi より空間的に小さく変動する画像部分（例えば、高輝度高信号レベルの画像信号における石灰化陰影）を構成する画素の信号を抽出することができ、この画像部分を効果的に強調処理することができる。
【００５０】
さらにまた、式（５）で表されるモーフォロジー演算を適用することにより、モーフォロジー信号Ｓmor として、差信号Ｓspが周囲の画像部分よりも小さく、かつ前記構造要素Ｂi より空間的に小さく変動する画像部分（例えば、高濃度高信号レベルの画像信号における石灰化陰影）を構成する画素の信号を抽出することができ、この画像部分を効果的に強調処理することができる。
【００５１】
また式（６）で表されるモーフォロジー演算を適用することにより、モーフォロジー信号Ｓmor として、差信号Ｓspが構造要素Ｂi より空間的に小さく変動する画像部分や、輝度（濃度）が急激に変化するエッジ部分を構成する画素の信号を抽出することができ、このような画像部分を効果的に強調処理することができる。
【００５２】
本発明の画像処理装置は、画像を表すオリジナル画像信号Ｓorg の所定の空間周波数に対応する非鮮鋭マスク信号Ｓusを求める非鮮鋭マスク信号演算手段と、
該非鮮鋭マスク信号Ｓusと前記オリジナル画像信号Ｓorg との差信号Ｓspに対して、構造要素Ｂｉおよびスケール係数λを用いたモーフォロジー演算を施すことにより、前記差信号が空間的に前記構造要素Ｂｉより小さく変動する画像部分および／または前記差画像信号の変化が急峻な画像部分について特徴的な出力を示すモーフォロジー信号Ｓmor を求めるモーフォロジー信号演算手段と、
前記画像部分を強調するように、前記差信号Ｓspに対して前記モーフォロジー信号Ｓmor に応じた強調処理を施す強調手段とを備えてなることを特徴とするものである。
【００５３】
また、前記モーフォロジー信号Ｓmor に応じた強調処理としては、上記式（１）にしたがった強調処理を用いることができる。
【００５４】
上記強調係数β（Ｓmor ）としては、前記本発明の画像処理方法と同様に、例えば図２に示すような関数形状を有するものが望ましい。
【００５５】
また、モーフォロジー演算も、上記式（２）〜（６）で示される種々のものを適用することができる。そして、式（６）のモーフォロジー演算を用いた場合には、強調処理として上記式（７）にしたがったものを用いるのが望ましい。
【００５６】
なお、構造要素Ｂi （ｉ＝１，２，…，Ｍ）は、２次元面内での向きが互いに異なる構造要素Ｂとして準備されたＭ個の構造要素Ｂの集合を意味するものであり、Ｍ＝１の場合は上下左右対称の要素を意味し、本発明においてはｉ≧２である構造要素およびｉ＝１の場合も含めて構造要素Ｂi と表記するものとする。また、スケール係数λは上記ミンコフスキー和の演算およびミンコフスキー差の演算を行う回数を意味し、回数を増加するに応じて平滑化の程度が進む。
【００５７】
【発明の効果】
本発明の画像処理方法・装置は、画像を表すオリジナル画像信号Ｓorg から、所定の空間周波数に対応する周波数成分（通常は超低空間周波数成分）Ｓusを減算することにより、オリジナル画像信号Ｓorg のうちのその周波数以下の周波数成分が除かれた比較的高い周波数成分（差信号）Ｓspだけを抽出する。この抽出された比較的高い周波数成分Ｓspには、高周波成分であるいわゆる放射線ノイズも含まれる。
【００５８】
このようにして得られた比較的高い周波数成分Ｓspに対して、構造要素Ｂi およびスケール係数λを用いたモーフォロジー演算を施すことにより、画像信号が空間的に構造要素Ｂi より小さく変動する画像部分や、信号値が急激に変化するエッジ部等の特徴的な画像部分について、特徴的な出力を示すモーフォロジー信号Ｓmor を得る。ここで、上記特徴的な画像部分には上述の放射線ノイズも含まれるが、放射線ノイズに対応するモーフォロジー信号Ｓmor は微小なものであり、一方、放射線ノイズ以外の特徴的な画像部分についてのモーフォロジー信号Ｓmor は、この放射線ノイズについてのモーフォロジー信号Ｓmor より大きな値を示す。このため、モーフォロジー信号Ｓmor により放射線ノイズを特徴的な画像部分から分離することができる。
【００５９】
次いで、上記比較的高い周波数成分Ｓspに対して、モーフォロジー信号Ｓmor に応じた強調処理を施すことにより、放射線ノイズ以外の特徴的な画像部分は強い強調がなされ、放射線ノイズを含む他の画像部分については強調がほとんどなされず、これにより特徴的な画像部分を選択的に強調することができる。
【００６０】
このように、本発明の画像処理方法・装置によれば、ノイズ成分等の画像読影に不要な成分を強調することなく、注目する特定の画像部分だけを効率よく強調処理することができる。また、分散値依存強調処理において生じるようなアーチファクトの発生を抑制することもできる。
【００６１】
さらに、モーフォロジー演算では画像信号の分散値を計算する処理に代えて最大値または最小値を計算する処理を行うため、その演算時間を短縮することができる。
【００６２】
なお、モーフォロジー演算として式（２）または（３）に示す演算を行った場合は、さらに以下のような効果がある。すなわち、例えば、図８（Ａ）に示すように、強調しようとする特徴的な画像部分（図面中においては下に凸の「信号領域」と表記）が、周辺濃度が均一な画像部分において存在している場合は、このオリジナル画像信号Ｓorg に対して式（２）の第２項に示すダイレーション処理を施すと、そのダイレーション処理により得られるダイレーション信号Ｓdiは原画像の「信号領域」の周辺の画像部分に対応するオリジナル画像信号Ｓorg と略一致する。この結果、ダイレーション信号Ｓdiとオリジナル画像信号Ｓorg との差は「信号領域」についてのみゼロ以外の値を採る、換言すれば式（２）のモーフォロジー信号Ｓmor は「信号領域」についてのみ所定の値を出力を示すが、他の周辺部分についてのモーフォロジー信号は略ゼロを示す。
【００６３】
一方、同図（Ｂ）に示すように、周辺濃度が緩い濃度勾配を有する画像部分において「信号領域」が存在している場合は、このオリジナル画像信号Ｓorg に対して式（２）の第２項に示すダイレーション処理を施すと、そのダイレーション処理により得られるダイレーション信号Ｓdiは原画像の「信号領域」の周辺の画像部分に対応するオリジナル画像信号Ｓorg を信号値が大きくなる方向に平行移動したものとなる。この結果、ダイレーション信号Ｓdiとオリジナル画像信号Ｓorg との差は「信号領域」以外の周辺画像についてもゼロ以外の値を採り、「信号領域」については同図（Ａ）の場合よりもかなり大きな値を採る。したがって式（２）に示したモーフォロジー信号も原画像の各部分にわたって全体的に大きな値を採ることとなる。その結果、モーフォロジー信号に応じた強調処理を行うと、強く強調され過ぎる虞がある。
【００６４】
しかし、本発明の画像方法・装置によれば、オリジナル画像信号Ｓorg に対して直接にモーフォロジー演算を行うのではなく、オリジナル画像信号Ｓorg と非鮮鋭マスク信号Ｓusとの差信号である高周波成分Ｓspについてモーフォロジー演算を施すため、図８（Ｂ）に示したような緩い濃度勾配に対してはモーフォロジー演算の結果であるモーフォロジー信号値が略ゼロとなり、したがって上述した過度の強調を防止することができる。式（３）に示したエロージョン処理についても同様である。
【００６５】
なお、本発明の画像処理方法・装置の作用について図９を用いて説明すると、図９（Ａ）に示すようなオリジナル画像信号Ｓorg のうち、非鮮鋭マスクの大きさに応じた高周波成分が分離され、そのうちの信号成分だけが選択的に強調係数β（Ｓmor ）により強調されて、同図（Ｂ）に示すような信号成分だけが強調された処理済画像信号Ｓprocに変換される。
【００６６】
また、図10（Ａ），（Ｂ）に従来の強調処理（（Ａ）参照）により求められる処理済画像信号と本発明の強調処理（（Ｂ）参照）により求められる処理済画像信号の相違を示す。本発明の画像処理方法による画像強調処理によれば、オーバーシュート、アンダーシュートを抑制しつつ所望信号だけを選択的に効果的に強調処理することができる。
【００６７】
【発明の実施の形態】
以下、本発明の画像処理方法を具体的に実施するための画像処理装置について図面を用いて説明する。
【００６８】
図１は本実施形態の画像処理装置を示す概略ブロック図である。図示の画像処理装置は、画像を表すオリジナル画像信号Ｓorg の、超低空間周波数に対応する非鮮鋭マスク信号Ｓusを求めるローパスフィルタ11と、オリジナル画像信号Ｓorg から非鮮鋭マスク信号Ｓusを減算処理する演算素子14a と、この演算素子14a により得られたオリジナル画像信号Ｓorg の高周波成分Ｓsp（＝Ｓorg −Ｓus）に対して、構造要素Ｂｉおよびスケール係数λを用いたモーフォロジー演算を施すことにより、オリジナル画像信号Ｓorg の高周波成分Ｓspが空間的に構造要素Ｂi より小さく変動する画像部分や、信号値が急激に変化するエッジ部等の特徴的な画像部分について、特徴的な出力を示すモーフォロジー信号Ｓmor を得るモーフォロジーフィルタ12と、モーフォロジー信号Ｓmor の入力を受けてモーフォロジー信号Ｓmor に応じた強調係数βｍ（Ｓmor ）を出力する変換テーブル13と、変換テーブル13により出力された強調係数βｍ（Ｓmor ）により、オリジナル画像信号Ｓorg に下記式（１）にしたがった演算処理を施して処理済画像信号Ｓprocを得る演算素子14b ・14c とを備えた構成である。
【００６９】
【数１】
ここで画像を表すオリジナル画像信号Ｓorg は、予め所定の画像読取装置により放射線画像から読み取られて所定の記憶手段に記憶されたものであってもよいし、画像読取装置から直接入力されたものであってもよい。また、本実施形態における放射線画像としてはマンモグラムとし、ローパスフィルタ11はオリジナル画像信号Ｓorg に対して、例えば３列×３行の画素マトリクスからなるボケマスクを設定し、下記式（９）（Ｎ＝３に設定）にしたがって得られたボケマスク信号Ｓusを出力する。
【００７１】
【数９】
なお、ボケマスクとしては上記式（９）に示すようにマスク内の画素値の単純平均を用いるものの他、例えば図２のマトリクスに示したような、中心画素からの距離に応じてマスク内の画素値の重み付けを変化させたものを用いることもできる。
【００７３】
モーフォロジーフィルタ12はオリジナル画像信号Ｓorg の高周波成分Ｓspに対して、例えば５列×５行の画素マトリクスからなる構造要素Ｂとスケール係数λとにより下記式（２）に示すダイレーション処理にしたがって演算処理することにより、オリジナルの画像信号Ｓorg の高周波成分Ｓspが空間的に構造要素Ｂi より小さく変動する画像部分（例えばマンモグラムにおいては乳癌であることを示す微小石灰化部分）と、信号値が急激に変化するエッジ部等の特徴的な画像部分とに対応する画像信号が入力された場合は大きな値のモーフォロジー信号Ｓmor を出力し、一方、高周波成分Ｓspの値が周囲の画像部分よりも大きくまたは構造要素Ｂi より空間的に大きく変動する画像部分に対応する画像信号が入力された場合は極めて小さな値のモーフォロジー信号Ｓmor を出力する。なお、構造要素Ｂは強調処理を施そうとする所望の微小石灰化部分の形状や大きさに応じて予め設定されたものである。
【００７４】
【数２】
変換テーブル13は、例えば図３（Ａ）に示すように放射線ノイズ領域であるモーフォロジー信号値Ｓmor が小さい領域についてはその出力を低く抑制し、石灰化陰影等の所望の画像部分に対応する領域であるモーフォロジー信号値Ｓmor が大きい領域については出力を大きくするように、モーフォロジー信号値Ｓmor の増大にしたがって単調増加するように設定されている（図１中においては模式的に記載している）。
【００７６】
なお、演算素子14b は演算素子14a の出力と変換テーブル13の出力とを乗算する演算素子、演算素子14c はオリジナル画像信号Ｓorg と演算素子14b の出力とを加算する演算素子である。
【００７７】
次に本実施形態の画像処理装置の作用について説明する。
【００７８】
画像処理装置にオリジナル画像信号Ｓorg が入力されると、まずローパスフィルタ11はオリジナル画像信号Ｓorg に対して、３列×３行の画素マトリクスからなるボケマスクを設定し、上記式（９）（Ｎ＝３）にしたがった演算を施してボケマスク信号Ｓusを出力する。このボケマスク信号Ｓusは３列×３行の画素マトリクスからなるボケマスクであるため、比較的高い周波数の信号となっている。
【００７９】
演算素子14a は、オリジナル画像信号Ｓorg からローパスフィルタ11の出力であるボケマスク信号Ｓusを減算して、オリジナル画像信号Ｓorg うち高周波成分Ｓsp（Ｓorg −Ｓus）だけを出力する。
【００８０】
この演算素子14a の出力Ｓspに対して、モーフォロジーフィルタ12が５列×５行の画素マトリクスからなる構造要素Ｂとスケール係数λとにより、上記式（２）にしたがった演算処理を施して、その画像部分の特徴的な形状や信号値の変動に応じたモーフォロジー信号Ｓmor を出力する。ここでその画像部分が異常陰影である微小石灰化部分やコントラストが急激に変化する部分である場合には大きな値のモーフォロジー信号Ｓmor が出力され、その他の場合には極めて小さな値のモーフォロジー信号Ｓmor が出力される。
【００８１】
モーフォロジーフィルタ12から出力されたモーフォロジー信号Ｓmor は変換テーブル13に入力され、変換テーブル13は入力されたモーフォロジー信号Ｓmor の大きさに応じた強調係数βｍ（Ｓmor ）を出力する。本実施形態においては、微小石灰化部分においては略上限値が強調係数βｍ（Ｓmor ）として出力され、その他の部分においては極めて小さい値が強調係数βｍ（Ｓmor ）として出力される。
【００８２】
演算素子14b は、演算素子14a からの出力Ｓspと変換テーブル13からの出力βｍ（Ｓmor ）とを乗算処理して高周波成分Ｓspに重み付けを行う。
【００８３】
次いで演算素子14c は、オリジナル画像信号Ｓorg と演算素子14b からの出力とを加算処理して処理済画像信号Ｓprocを出力する。この出力された処理済画像信号Ｓprocは、上述の処理によりオリジナル画像信号の高周波成分Ｓspのうちの微小石灰化部分やコントラストが急激に変化する部分が強調処理された信号である。
【００８４】
このように、本実施形態の画像処理装置によれば、高周波成分Ｓspの周波数帯域内にある放射線ノイズの強調を抑制しつつ微小石灰化部分等の特徴的な画像部分を選択的に効率よく強調処理することができ、計算機支援画像診断等において非常に有用である。
【００８５】
なお、モーフォロジーフィルタ12による演算は、上記式（２）によるものに限らず、下記式（３）、（４）、（５）または（６）によるものであってもよい。
【００８６】
【数３】
【数４】
【数５】
【数６】
ただし、式（６）の演算を適用する場合には、演算素子14ａからの出力である高周波成分Ｓspに対して直接にモーフォロジー演算を施す代わりに、図４に示すように、高周波成分Ｓspを、例えば図５に示す関数グラフによる第２の変換テーブル15にしたがった変換を行い、その変換後の高周波成分ｆ（Ｓsp）に対してモーフォロジーフィルタ13によるモーフォロジー演算（式（６））を施す構成とするのが望ましい。
【００９１】
これは、上記高周波成分（変換前）信号Ｓspが所定の大きさ以上の範囲、または所定の大きさ以下の範囲の場合であって、極端な強調を行った場合にもオーバーシュートやアンダーシュートが発生するのを抑制するためである。
【００９２】
また、変換テーブル13は図３（Ａ）に示すものの他、同図（Ｂ）に示す関数形状を有するものであってもよい。
【図面の簡単な説明】
【図１】本発明の画像処理装置の第１実施形態を示すブロック図
【図２】非鮮鋭マスク内の各画素に対する重み付け係数を示すマトリクス
【図３】（Ａ），（Ｂ）変換テーブルを表す関数のグラフ
【図４】本発明の画像処理装置の第２実施形態を示すブロック図
【図５】第２の変換テーブルを表す関数のグラフ
【図６】モーフォロジー演算の基本的な作用を説明する図
【図７】構造要素Ｂｉ（ｉ＝１，２，…，Ｍ；Ｍ＝４）の一例を示す概念図
【図８】（Ａ）は強調しようとする特徴的な画像部分が、周辺濃度が均一な画像部分において存在する場合、（Ｂ）は強調しようとする特徴的な画像部分が、周辺濃度が緩やかな濃度勾配において存在する場合についての説明図
【図９】本発明の作用を説明するための概念図
【図１０】（Ａ）従来の強調処理により求められる処理済画像信号、（Ｂ）本発明の強調処理により求められる処理済画像信号の相違を示すグラフ
【符号の説明】
11 ローパスフィルタ
12 モーフォロジーフィルタ
13 変換テーブル
14ａ，14ｂ，14ｃ 演算素子
15 第２の変換テーブル
Ｓorg オリジナル画像信号
Ｓus ボケマスク信号
Ｓsp 高周波成分
Ｓproc 処理済画像信号
Claims (2)
- 画像を表すオリジナル画像信号Ｓorg の所定の空間周波数に対応する非鮮鋭マスク信号Ｓusを求め、
該非鮮鋭マスク信号Ｓusと前記オリジナル画像信号Ｓorg との差信号Ｓspに対して、構造要素Ｂｉおよびスケール係数λを用いたモーフォロジー演算を施すことにより、前記差信号が空間的に前記構造要素Ｂｉより小さく変動する画像部分および／または前記差信号の変化が急峻な画像部分について特徴的な出力を示すモーフォロジー信号Ｓmor を求め、
前記画像部分を強調するように、前記差信号Ｓspに対して前記モーフォロジー信号Ｓmor に応じて、下記式（１）にしたがった強調処理を施すものであり、
- 画像を表すオリジナル画像信号Ｓorg の所定の空間周波数に対応する非鮮鋭マスク信号Ｓusを求める非鮮鋭マスク信号演算手段と、
該非鮮鋭マスク信号Ｓusと前記オリジナル画像信号Ｓorg との差信号Ｓspに対して、構造要素Ｂｉおよびスケール係数λを用いたモーフォロジー演算を施すことにより、前記差信号が空間的に前記構造要素Ｂｉより小さく変動する画像部分および／または前記差信号の変化が急峻な画像部分について特徴的な出力を示すモーフォロジー信号Ｓmor を求めるモーフォロジー信号演算手段と、
前記画像部分を強調するように、前記差信号Ｓspに対して前記モーフォロジー信号Ｓmor に応じて、下記式（１）にしたがった強調処理を施す強調処理手段とを備えてなり、
Priority Applications (13)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP20320695A JP3731761B2 (ja) | 1995-08-09 | 1995-08-09 | 画像処理方法および装置 |
| EP96105000A EP0736842B1 (en) | 1995-03-29 | 1996-03-28 | Image processing method and apparatus |
| EP01112797A EP1134697B1 (en) | 1995-03-29 | 1996-03-28 | Image processing method and apparatus |
| EP00111106A EP1045340A3 (en) | 1995-03-29 | 1996-03-28 | Image processing method and apparatus |
| DE69636911T DE69636911T2 (de) | 1995-03-29 | 1996-03-28 | Bildverarbeitungsverfahren und -Vorrichtung |
| US08/623,223 US6014474A (en) | 1995-03-29 | 1996-03-28 | Image processing method and apparatus |
| DE69631085T DE69631085T2 (de) | 1995-03-29 | 1996-03-28 | Bildverarbeitungsverfahren und -vorrichtung |
| EP01112795A EP1146479A3 (en) | 1995-03-29 | 1996-03-28 | Image processing method and apparatus |
| EP01112796A EP1134696A3 (en) | 1995-03-29 | 1996-03-28 | Image processing method and apparatus |
| US09/298,854 US6169823B1 (en) | 1995-03-29 | 1999-04-26 | Image processing method and apparatus |
| US09/299,231 US6125215A (en) | 1995-03-29 | 1999-04-26 | Image processing method and apparatus |
| US09/299,147 US6137923A (en) | 1995-03-29 | 1999-04-26 | Image processing method and apparatus |
| US09/298,851 US6233362B1 (en) | 1995-03-29 | 1999-04-26 | Image processing method and apparatus |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP20320695A JP3731761B2 (ja) | 1995-08-09 | 1995-08-09 | 画像処理方法および装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH0950521A JPH0950521A (ja) | 1997-02-18 |
| JP3731761B2 true JP3731761B2 (ja) | 2006-01-05 |
Family
ID=16470230
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP20320695A Expired - Fee Related JP3731761B2 (ja) | 1995-03-29 | 1995-08-09 | 画像処理方法および装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3731761B2 (ja) |
-
1995
- 1995-08-09 JP JP20320695A patent/JP3731761B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JPH0950521A (ja) | 1997-02-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3690882B2 (ja) | 画像の強調処理方法および装置 | |
| Dhawan et al. | Mammographic feature enhancement by computerized image processing | |
| Wang et al. | Digital image enhancement: a survey | |
| US9245323B2 (en) | Medical diagnostic device and method of improving image quality of medical diagnostic device | |
| JP3669455B2 (ja) | 画像処理方法および画像処理装置 | |
| George et al. | Efficient preprocessing filters and mass segmentation techniques for mammogram images | |
| Laine et al. | A framework for contrast enhancement by dyadic wavelet analysis | |
| Kumar et al. | Enhancement of mammographic images using morphology and wavelet transform | |
| JP3932489B2 (ja) | 画像処理方法および装置 | |
| Paranjape | Fundamental enhancement techniques | |
| JP3731760B2 (ja) | 画像処理方法 | |
| WO2021094471A1 (en) | Method and apparatus for contrast enhancement | |
| Agaian et al. | Novel medical image enhancement algorithms | |
| WO2004001670A2 (en) | Methods of anisotropic diffusion and foveal segmentation of digital images | |
| Kayode et al. | An explorative survey of image enhancement techniques used in mammography | |
| Alavijeh et al. | Multi-scale morphological image enhancement of chest radiographs by a hybrid scheme | |
| JP3731762B2 (ja) | 画像処理方法および装置 | |
| JP3731761B2 (ja) | 画像処理方法および装置 | |
| JPH0991421A (ja) | 画像処理方法および装置 | |
| JP3690844B2 (ja) | 画像処理方法および装置 | |
| JPH08287230A (ja) | 計算機支援画像診断装置 | |
| ElMahmoudy et al. | Wavelet-based retinal image enhancement | |
| JP2005052295A (ja) | 画像処理装置およびプログラム | |
| JP3696324B2 (ja) | 画像処理方法 | |
| Burhan et al. | Improved methods for mammogram breast cancer using by denoising filtering |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20041022 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20041102 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20041227 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20050614 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050815 |
|
| A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20050819 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20051004 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20051006 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20081021 Year of fee payment: 3 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20081021 Year of fee payment: 3 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091021 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101021 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111021 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121021 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121021 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131021 Year of fee payment: 8 |
|
| LAPS | Cancellation because of no payment of annual fees |