JPH08272961A - 画像処理方法 - Google Patents

画像処理方法

Info

Publication number
JPH08272961A
JPH08272961A JP7071774A JP7177495A JPH08272961A JP H08272961 A JPH08272961 A JP H08272961A JP 7071774 A JP7071774 A JP 7071774A JP 7177495 A JP7177495 A JP 7177495A JP H08272961 A JPH08272961 A JP H08272961A
Authority
JP
Japan
Prior art keywords
image
dorg
signal
equation
value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP7071774A
Other languages
English (en)
Other versions
JP3731760B2 (ja
Inventor
Hideya Takeo
英哉 武尾
Masahiko Yamada
雅彦 山田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Holdings Corp
Original Assignee
Fuji Photo Film Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to JP07177495A priority Critical patent/JP3731760B2/ja
Application filed by Fuji Photo Film Co Ltd filed Critical Fuji Photo Film Co Ltd
Priority to EP96105000A priority patent/EP0736842B1/en
Priority to EP01112797A priority patent/EP1134697B1/en
Priority to EP01112796A priority patent/EP1134696A3/en
Priority to DE69631085T priority patent/DE69631085T2/de
Priority to EP00111106A priority patent/EP1045340A3/en
Priority to US08/623,223 priority patent/US6014474A/en
Priority to DE69636911T priority patent/DE69636911T2/de
Priority to EP01112795A priority patent/EP1146479A3/en
Publication of JPH08272961A publication Critical patent/JPH08272961A/ja
Priority to US09/299,147 priority patent/US6137923A/en
Priority to US09/298,854 priority patent/US6169823B1/en
Priority to US09/298,851 priority patent/US6233362B1/en
Priority to US09/299,231 priority patent/US6125215A/en
Priority to US09/299,148 priority patent/US6125214A/en
Application granted granted Critical
Publication of JP3731760B2 publication Critical patent/JP3731760B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/73Deblurring; Sharpening
    • G06T5/75Unsharp masking

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

(57)【要約】 【目的】 画像のアンダーシュート、オーバーシュート
を抑制し、ノイズ成分等の画像読影に不要な成分を強調
することなく、注目する特定の画像部分だけを効率よく
強調処理する。 【構成】 全体画像メモリ10に記憶された、濃度値Dor
g の画像データSに対して、モーフォロジーフィルター
(異常陰影検出手段)40によるモーフォロジーの演算を
施して、石灰化陰影を示す信号を検出し、この信号Dmo
r に対して変換テーブル72により単調増加関数βの変換
を施し、信号Dorg に対して高周波成分算出手段71によ
り(Dorg −Dus)なるボケマスク処理を施し、石灰化
陰影強調手段73により、 Dproc=Dorg +β(Dmor )×f(Dorg −Dus)
(1) なる演算を行って、腫瘤陰影だけを選択的に強調処理し
て局所画像表示手段90に表示する。

Description

【発明の詳細な説明】
【0001】
【産業上の利用分野】本発明は画像処理方法に関し、詳
細には画像のうち、異常陰影等の特定の画像部分だけを
強調処理する画像処理方法に関するものである。
【0002】
【従来の技術】従来より、種々の画像取得方法により得
られた画像を表す画像信号に対して、階調処理や周波数
処理等の画像処理を施し、画像の観察読影性能を向上さ
せることが行われている。特に人体を被写体とした放射
線画像のような医用画像の分野においては、医師等の専
門家が、得られた画像に基づいて患者の疾病や傷害の有
無を的確に診断する必要があり、その画像の読影性能を
向上させる画像処理は不可欠なものとなっている。
【0003】この画像処理のうち、いわゆる周波数強調
処理としては、例えば特開昭61-169971 号に示されるよ
うに、原画像の濃度値等の画像信号(オリジナル画像信
号という)Dorg を、 Dproc=Dorg +β×(Dorg −Dus) (9) なる画像信号Dprocに変換するものが知られている。こ
こでβは周波数強調係数、Dusは非鮮鋭マスク(いわゆ
るボケマスク)信号である。このボケマスク信号Dus
は、2次元に配置された画素に対してオリジナル画像信
号Dorg を中心画素とするN列×N行(Nは奇数)の画
素マトリクスからなるマスク、すなわちボケマスクを設
定し、 Dus=(ΣDorg )/N2 (10) (ただし、ΣDorg はボケマスク内各画素の画像信号の
和)等として求められる超低空間周波数成分である。
【0004】式(9)の第2項括弧内の値(Dorg −D
us)は、オリジナル画像信号から超低空間周波数成分で
あるボケマスク信号を減算したものであるから、オリジ
ナル画像信号のうちの、超低空間周波数成分を除去した
比較的高い周波数成分を選択的に抽出することができ
る。この比較的高い周波数成分に周波数強調係数βを乗
じたうえで、オリジナル画像信号を加算することによ
り、この比較的高い周波数成分を強調することができ
る。
【0005】一方、画像のうち異常な陰影等の特定の画
像部分だけを選択的に抽出する、モーフォロジー(Morp
hology;モフォロジーまたはモルフォロジーとも称す
る)のアルゴリズムに基づく処理(以下、モーフォロジ
ー演算またはモーフォロジー処理という)が知られてい
る。このモーフォロジー処理は、特に乳癌における特徴
的形態である微小石灰化像を検出するのに有効な手法と
して研究されているが、対象画像としては、このような
マンモグラムにおける微小石灰化像に限るものではな
く、検出しようとする特定の画像部分(異常陰影等)の
大きさや形状が予め分かっているものについては、いか
なる画像に対しても適用することができる。
【0006】以下、このモーフォロジー処理を、マンモ
グラムにおける微小石灰化像の検出に適用した例によ
り、モーフォロジー処理の概要について説明する。
【0007】(モーフォロジーの基本演算)モーフォロ
ジー処理は一般的にはN次元空間における集合論として
展開されるが、直感的な理解のために2次元の濃淡画像
を対象として説明する。
【0008】濃淡画像を座標(x,y)の点が濃度値f
(x,y)に相当する高さをもつ空間とみなす。ここ
で、濃度値f(x,y)は、CRTに表示するための信
号のように、輝度の高いもの程大きな値となる高輝度高
信号レベルの信号とする。
【0009】まず、簡単のために、その断面に相当する
1次元の関数f(x)を考える。モーフォロジー演算に
用いる構造要素gは次式(11)に示すように、原点につ
いて対称な対称関数
【0010】
【数9】
【0011】であり、定義域内で値が0で、その定義域
Gが下記式(12)であるとする。
【0012】
【数10】
【0013】このとき、モーフォロジー演算の基本形は
式(13)〜(16)に示すように、非常に簡単な演算とな
る。
【0014】
【数11】
【0015】すなわち、dilation(ダイレーション)処
理は、注目画素を中心とした、±m(構造要素Bに応じ
て決定される値)の幅の中の最大値を探索する処理であ
り(図4(A)参照)、一方、erosion (エロージョ
ン)処理は、注目画素を中心とした、±mの幅の中の最
小値を探索する処理である(図4(B)参照)。また、
opening (またはclosing )処理は最小値(または最大
値)の探索の後に、最大値(または最小値)を探索する
ことに相当する。すなわちopening (オープニング)処
理は、低輝度側から濃度曲線f(x)を滑らかにし、マ
スクサイズ2mより小さい凸状の濃度変動部分(周囲部
分よりも輝度が高い部分)を取り除くことに相当する
(図4(C)参照)。一方、closing (クロージング)
処理は、高輝度側から濃度曲線f(x)を滑らかにし、
マスクサイズ2mより小さい凹状の濃度変動部分(周囲
部分よりも輝度が低い部分)を取り除くことに相当する
(図4(D)参照)。
【0016】なお、構造要素gが原点に対して対称では
ない場合の、式(13)に示すダイレーション演算をMink
owski (ミンコフスキー)和、式(14)に示すエロージ
ョン演算をMinkowski 差という。
【0017】ここで、濃度値f(x)が、ネガフイルム
に記録するための信号のように、濃度の高いもの程大き
な値となる高濃度高信号レベルの信号の場合において
は、輝度と濃度との関係が逆転するため、高濃度高信号
レベルの信号におけるダイレーション処理は、高輝度高
信号レベルにおけるエロージョン処理(図4(B))と
一致し、高濃度高信号レベルの信号におけるエロージョ
ン処理は、高輝度高信号レベルにおけるダイレーション
処理(図4(A))と一致し、高濃度高信号レベルの信
号におけるオープニング処理は、高輝度高信号レベルに
おけるクロージング処理(図4(D))と一致し、高濃
度高信号レベルの信号におけるクロージング処理は、高
輝度高信号レベルにおけるオープニング処理(図4
(C))と一致する。
【0018】なお、本項では高輝度高信号レベルの画像
信号(輝度値)の場合について説明する。
【0019】(石灰化陰影検出への応用)石灰化陰影の
検出には、原画像から平滑化した画像を引き去る差分法
が考えられる。単純な平滑化法では石灰化陰影と細長い
形状の非石灰化陰影(乳腺、血管および乳腺支持組織
等)との識別が困難であるため、東京農工大の小畑ら
は、多重構造要素を用いたオープニング演算に基づく下
記式(17)で表されるモーフォロジーフィルターを提案
している(「多重構造要素を用いたモルフォロジーフィ
ルタによる微小石灰化像の抽出」電子情報通信学会論文
誌 D-II Vol.J75-D-II No.7 P1170 〜1176 1992年7月
等)。
【0020】
【数12】
【0021】ここでBi (i=1,2,…,M)は、例
えば図5に示す直線状の4つ(この場合M=4)の構造
要素(これら4つの構造要素の全体をもって多重構造要
素という)である。構造要素Bi を検出対象である石灰
化陰影よりも大きく設定すれば、上記オープニング演算
による処理で、構造要素Bi よりも細かな凸状の信号変
化部分である石灰化陰影は取り除かれる。一方、細長い
形状の非石灰化陰影はその長さが構造要素Bi よりも長
く、その傾きが4つの構造要素Bi のいずれかに一致す
ればオープニング処理(式(17)の第2項の演算)をし
てもそのまま残る。したがってオープニング処理によっ
て得られた平滑化画像(石灰化陰影のみが取り除かれた
画像)を原画像fから引き去ることで、小さな石灰化陰
影のみが含まれる画像が得られる。これが式(17)の考
え方である。
【0022】なお、前述したように、高濃度高信号レベ
ルの信号の場合においては、石灰化陰影は周囲の画像部
分よりも濃度値が低くなり、石灰化陰影は周囲部分に対
して凹状の信号変化部分となるため、オープニング処理
に代えてクロージング処理を適用し、式(17)に代えて
式(18)を適用する。
【0023】
【数13】
【0024】このように、モーフォロジー処理は、 (1)石灰化陰影そのものの抽出に有効であること (2)複雑なバックグラウンド情報に影響されにくいこ
と (3)抽出した石灰化陰影がひずまないこと などの特徴がある。すなわち、この手法は一般の微分処
理に比べて、石灰化陰影のサイズ・形状・濃度分布など
の幾何学的情報をより良く保った検出が可能である。
【0025】
【発明が解決しようとする課題】ところで上述したよう
に、画像の読影性能を向上させるには、対象となる画像
に対して画像処理を行うことが不可欠となっているが、
特開平2−1078号に開示されているように、単に濃度依
存による強調処理では、例えばマンモグラムにおける放
射線ノイズ成分のような、画像読影の障害となる成分ま
で強調されるため、読影性能をむしろ低下させることに
なる。
【0026】また特公昭60−192482号、特開平2−1209
85号、特表平3−502975号等に開示されているように、
画像信号の分散値に依存した強調処理では、局所的に濃
度変化の大きい画像部分が強く強調されるため、その付
近でアンダーシュート、オーバーシュートが相対的に目
立ち、特にX線画像に関しては高濃度側でアーチファク
トが発生しやすいという問題がある。
【0027】本発明は上記事情に鑑みなされたものであ
って、ノイズ成分等の画像読影に不要な成分を強調する
ことなく、注目する特定の画像部分だけを効率よく強調
処理し、アーチファクトの発生を抑制した画像処理方法
を提供することを目的とするものである。
【0028】
【課題を解決するための手段】本発明の画像処理方法
は、画像を表すオリジナルの画像信号Dorg に対して、
多重構造要素Bi およびスケール係数λを用いたモーフ
ォロジー演算を施すことにより、前記画像信号が空間的
に前記多重構造要素Bi より小さく変動する画像部分に
対応する画素であるか否かを示すモーフォロジー信号D
mor を抽出し、前記オリジナルの画像信号Dorg の、超
低空間周波数に対応する非鮮鋭マスク信号Dusを求め、
前記モーフォロジー信号Dmor に基づく関数β(Dmor
)および前記オリジナルの画像信号Dorg と前記非鮮
鋭マスク信号Dusとの差信号(Dorg −Dus)に基づく
関数f(Dorg −Dus)を用いて、前記オリジナルの画
像信号Dorg に対して、
【0029】
【数1】
【0030】なる演算を行って、前記画像部分を選択的
に強調処理することを特徴とするものである。なお、関
数β(Dmor )は、図3(a)、(b)に示すように、
|Dmor |に対して単調増加の関数である。
【0031】また、構造要素Bとしては、例えば、正方
形、長方形、円形、楕円形、または菱形等の上下左右対
称の要素が望ましい。
【0032】さらに、モーフォロジー演算としては、下
記式(2)〜(8)で示される種々のものを適用するこ
とができる。
【0033】
【数2】
【0034】
【数3】
【0035】
【数4】
【0036】
【数5】
【0037】
【数6】
【0038】
【数7】
【0039】
【数8】
【0040】すなわち、式(2)で表されるモーフォロ
ジー演算を適用することにより、モーフォロジー信号D
mor として、オリジナルの画像信号Dorg の値が周囲の
画像部分よりも大きく、かつ前記多重構造要素Bi より
小さく変動する画像部分(例えば、高輝度高信号レベル
の画像信号における石灰化陰影)を構成する画素の信号
を抽出することができ、この画像部分を効果的に強調処
理することができる。
【0041】なお、上記式(2)〜(8)において、
【0042】
【数14】
【0043】また、式(3)で表されるモーフォロジー
演算を適用することにより、モーフォロジー信号Dmor
として、オリジナルの画像信号Dorg の値が周囲の画像
部分よりも小さく、かつ前記多重構造要素Bi より小さ
く変動する画像部分(例えば、高濃度高信号レベルの画
像信号における石灰化陰影)を構成する画素の信号を抽
出することができ、この画像部分を効果的に強調処理す
ることができる。
【0044】式(4)で表されるモーフォロジー演算を
適用することにより、モーフォロジー信号Dmor とし
て、オリジナルの画像信号Dorg の値が周囲の画像部分
よりも大きくかつ前記多重構造要素Bi より小さく変動
する画像部分や、輝度(濃度)が急激に変化するエッジ
部分を構成する画素の信号を抽出することができ、この
ような画像部分を効果的に強調処理することができる。
【0045】式(5)で表されるモーフォロジー演算を
適用することにより、モーフォロジー信号Dmor とし
て、オリジナルの画像信号Dorg の値が周囲の画像部分
よりも小さくかつ前記多重構造要素Bi より小さく変動
する画像部分や、輝度(濃度)が急激に変化するエッジ
部分を構成する画素の信号を抽出することができ、この
ような画像部分を効果的に強調処理することができる。
【0046】式(6)で表されるモーフォロジー演算を
適用することにより、モーフォロジー信号Dmor とし
て、オリジナルの画像信号Dorg の値が周囲の画像部分
よりも大きくかつ前記多重構造要素Bi より小さく変動
する、濃度(輝度)変化の大きい画像部分(例えばオリ
ジナルの画像信号Dorg が表す画像の骨格部分)を構成
する画素の信号を抽出することができ、このような画像
部分(骨格部分)を効果的に強調処理することができ
る。式(6)を具体的に適用した例を図6に示す。原画
像Xに対する構造要素B(半径rの円形構造とする)で
の、エロージョン処理した画像と、エロージョン処理し
た画像に対するオープニング処理した画像との差信号の
λ(λ=1,2,…,N)回までの和集合は、骨格部分
aおよびbとなる。
【0047】式(7)で表されるモーフォロジー演算を
適用することにより、モーフォロジー信号Dmor とし
て、オリジナルの画像信号Dorg の値が周囲の画像部分
よりも小さくかつ前記多重構造要素Bi より小さく変動
する、濃度(輝度)変化の大きい画像部分(例えばオリ
ジナルの画像信号Dorg が表す画像の骨格部分)を構成
する画素の信号を抽出することができ、このような画像
部分(骨格部分)を効果的に強調処理することができ
る。
【0048】式(6)、(7)で表されるモーフォロジ
ー演算を一般にスケルトン処理と称し、このスケルトン
処理によれば、特に骨りょう部分の画像信号に適用した
場合、骨格要素だけを選択的に、効果的に強調処理する
ことができる。
【0049】なお、モーフォロジー演算として式(2)
〜(7)を適用する場合は、関数f(Dorg −Dus)と
しては、f(Dorg −Dus)=Dorg −Dusとしてもよ
い。
【0050】式(8)で表されるモーフォロジー演算を
適用することにより、局所的に輝度(濃度)変化の大き
い画像部分を構成する画素の信号を抽出することがで
き、このような画像部分を効果的に強調処理することが
できる。
【0051】なお、モーフォロジー演算として式(8)
を適用する場合はオーバーシュート、アンダーシュート
を抑制するため、関数f(Dorg −Dus)は、Dorg が
所定の大きさ以下の範囲、あるいは所定の大きさ以上の
範囲において、例えば図7に示すように、出力を抑制す
る関数とすることが必要である。
【0052】
【作用および発明の効果】本発明の画像処理方法は、画
像を表すオリジナル画像信号Dorg に対して、多重構造
要素Bi およびスケール係数λを用いたモーフォロジー
演算を施すことにより、画像信号が空間的に多重構造要
素Bi より小さく変動する画像部分に対応する画素であ
るか否かを示すモーフォロジー信号Dmor を抽出する。
【0053】一方、式(1)第2項の計算処理により、
オリジナル画像信号Dorg から、その超低空間周波数成
分Dusを減算することにより、オリジナル画像信号Dor
g のうちの比較的高い周波数成分(超低空間周波数成分
を除いたものをいう)だけを抽出することができる。こ
の抽出された比較的高い周波数成分には、いわゆる高周
波成分である放射線ノイズも含まれる。
【0054】ここで、式(1)に示すように、全体画像
の各画素がモーフォロジー演算で得られた石灰化陰影等
の、空間的に多重構造要素Bi より小さく変動する特定
の画像部分、を構成する画素か否かに応じた信号Dmor
に基づく強調係数β(Dmor)で高周波成分(Dorg −
Dus)を強調するため、この高周波成分(Dorg −Du
s)に例えば量子ノイズ等の不要な成分が含まれていて
も、その画素が石灰化陰影等の画像部分を構成するもの
でない場合は、その画素についてのβ(Dmor )の値は
小さいため、その画素に対する強調度合は小さいものと
なる。
【0055】一方、画素が石灰化陰影等の画像部分を構
成するものである場合は、その画素についてのβ(Dmo
r )の値は大きいため、その画素に対する強調度合は大
きいものとなる。
【0056】したがって、画像の高周波成分(Dorg −
Dus)に放射線ノイズが含まれているか否かに拘らず、
石灰化陰影等の特定の画像部分であるか否かに応じた関
数β(Dmor )により、特定の画像部分を選択的に強調
処理することができる。
【0057】また、濃度変化の大きさに拘らず特定の画
像部分が強く強調されるため、アンダーシュート、オー
バーシュートを抑制することができアーチファクトの発
生を低減することができる。さらに、画像信号の分散値
を計算する処理に代えて最大値または最小値を計算する
処理を行うため、計算処理に掛かる演算時間を短縮する
ことができる。
【0058】以下、モーフォロジー演算の一例である式
(3)を具体的に説明する。
【0059】すなわち、高濃度高信号レベルの画像信号
である濃度値Dorg についてのモーフォロジー演算によ
れば、例えば図8(1)の実線に示すような濃度値Dor
g の分布を有する画像データに対して、同図(2)に示
すような直線状の3画素の構造要素Bで、Dorg [+]
Bの演算(ミンコフスキー和)を行うことにより、ある
注目画素の濃度値Di は、その注目画素を中心として互
いに隣接する3画素(構造要素Bにより決定される)の
中の最大値Di+1 を採用したDi ′に変換される。この
演算を全画素について行うことにより、濃度値Dorg ′
の分布を有する同図(1)の破線で示す画像データに変
換される。
【0060】次に、このミンコフスキー和の演算で得ら
れた濃度値(Dorg [+]B)の構造要素Bによるミン
コフスキー差(Dorg [+]B)[−]Bを考えると、
同図(1)の破線で示された注目画素の濃度値Di
は、その注目画素を中心として互いに隣接する3画素の
中の最小値Di-1 ′を採用したDi ″(=Di )に変換
される。この演算を全画素について行うことにより、濃
度値Dorg ″の分布を有する同図(1)の一点鎖線で示
す画像データに変換される。この一点鎖線で示された画
像データは、もとの実線のオリジナルの画像データに対
して、構造要素Bよりも細かい信号値の変化の画像部分
が消え、構造要素Bよりも大きい信号値の変化の画像部
分は演算前の元の状態を保持することを示している。す
なわち、以上の処理(クロージング処理)は、画像濃度
の分布を高濃度側から平滑化する処理である。
【0061】このようにクロージング処理で得られた値
(Dorg [+]B)[−]Bを元の画像信号Dorg から
差し引くことにより得られた値Dmor は、上記クロージ
ング処理で消された細かい信号値の変化の画像部分を表
す。
【0062】ここで、本来、画像信号は2次元の要素で
ある位置(x,y)と、3次元目の要素である信号値f
(x,y)を有するが、上記説明においては、理解の容
易化のために、この2次元上に展開された画像の所定の
断面に現れた、1次元状の画像信号分布曲線について説
明した。
【0063】したがって、本発明の画像処理方法は、以
上の説明を2次元画像に拡大適用したものであり、式
(1)に示した多重構造要素Bi は、このような断面に
おけるモーフォロジー演算を2次元面に拡大適用する場
合に、この2次元面内での向きが互いに異なる構造要素
Bとして準備されたi個の構造要素Bの集合を意味する
ものである。
【0064】またこれらすべての多重構造要素Bi につ
いてクロージング処理を行った結果、多重構造要素Bi
のうちのいずれかと、その延びる方向が一致し、かつそ
の大きさよりも大きく変化する画像部分については、式
(3)の第2項min{(Dorg [+]λBi )[−]
λBi }の値がDorg そのものとなるため、Dmor の値
はゼロとなり、その部分については強調処理されない。
【0065】なお、スケール係数λは上記ミンコフスキ
ー和の演算およびミンコフスキー差の演算を行う回数を
意味し、回数を増加するに応じて平滑化の程度が進む。
【0066】このような本発明のモーフォロジー演算を
利用した強調処理と、従来のボケマスク処理による強調
処理との比較を、図9に示す。
【0067】
【実施例】以下、本発明の画像処理方法を用いた計算機
支援画像診断装置について図面を用いて説明する。
【0068】図1は本実施例の計算機支援画像診断装置
の概略構成を示すブロック図、図2はこの計算機支援画
像診断装置により画像診断に供される乳房の放射線画像
(マンモグラム)を示す図である。図示の計算機支援画
像診断装置は、マンモグラムの全体の放射線画像(全体
画像)Pを表す、各画素の濃度値Dorg の集合である画
像データ(全体画像データ)Sを記憶する全体画像メモ
リ10、全体画像データSに基づいて、もしくは一旦全体
画像メモリ10に記憶された全体画像データSに基づいて
全体画像Pを表示するCRT等の全体画像表示手段30、
全体画像メモリ10に記憶された全体画像データSに基づ
いて、全体画像Pのうち異常陰影P1 を検出する異常陰
影検出手段40、異常陰影検出手段40により異常陰影P1
が検出されたか否かを判定する判定手段50、異常陰影P
1 が検出されたと判定手段50により判定された場合に、
全体画像メモリ10に記憶された全体画像データSのう
ち、異常陰影P1 を含む局所領域の画像P2 を表す画像
データ(局所画像データ)S2 を抽出する局所領域抽出
手段60、局所領域抽出手段60により抽出された局所画像
データS2 に基づいた局所領域の画像P2 のうち異常陰
影P1 が、全体画像表示手段30に表示される全体画像P
よりも読影性能が向上するように、異常陰影を示す画像
データ(異常陰影画像データ)S1 に対して画像強調処
理を行う局所画像強調手段70、およびこの画像強調処理
のなされた局所画像データS2 に基づいて局所領域の画
像P2 を表示するCRT等の局所画像表示手段90、を備
えた構成である。
【0069】なお、異常陰影は石灰化陰影、異常陰影検
出手段40はモーフォロジー演算を行うモーフォロジーフ
ィルターであって、石灰化陰影を示す画素について、そ
の画素についての式(3)で示した、石灰化陰影を構成
する画素であるか否かを示す信号Dmor として出力す
る。
【0070】ただし、対象画像は、本実施例のような医
用画像に限るものではなく、工業製品の検査用画像等で
あってもよい。例えば、内部に巣のある鋳物製品のX線
画像について、異常陰影が当該巣の陰影であってもよ
い。
【0071】また上記局所領域とは、異常陰影である石
灰化陰影を含むこの石灰化陰影近傍の領域をいうものと
する。
【0072】なお、実施例記載中において、画像を構成
する各画素の画像データを濃度信号値Dorg と表記し、
これら画素の集合により構成される領域の画像データを
画像データSと表記するものとする。また、濃度値Dor
g は高濃度高信号レベルの信号値である。
【0073】ここでモーフォロジーフィルター40は、前
述した特定の画像部分の検出処理のアルゴリズムをいう
が、本実施例におけるモーフォロジーフィルター40は、
このアルゴリズム自体を指すのではなく、このアルゴリ
ズムによる石灰化陰影の検出処理(式(3)で表す処
理)をなす手段を意味する。
【0074】また、局所画像強調手段70は詳しくは、局
所画像データS2 を構成する各画素(濃度値Dorg )に
ついて、その画素を中心としたN列×N行(Nは例えば
「5」などの奇数)の画素マトリクスからなるマスク
(以下、単にボケマスクという)信号Dusを下記式(1
0)により算出し、その後に、濃度値Dorg からボケマ
スク信号値Dusを減算(Dorg −Dus)して高周波成分
を算出する手段71と、 Dus=(ΣDorg )/N2 (10) (ただし、ΣDorg はボケマスク内各画素の画像信号の
和) モーフォロジーフィルター40により抽出された石灰化陰
影を示す画素についての出力Dmor を、図3(a)で表
される単調に増加するβ(Dmor )に変換して出力する
変換テーブル72と、この出力β(Dmor )と前述の高周
波成分(Dorg −Dus)とを乗じて、周囲に比べて濃度
値の低い石灰化陰影に対して、より強い周波数強調を施
す石灰化陰影強調手段73とを備えた構成である。
【0075】以下、本実施例の計算機支援画像診断装置
の作用について説明する。
【0076】全体画像メモリ10に光磁気ディスクや画像
読取装置等から、内部に石灰化部を有する乳房を含む全
体画像Pを表す全体画像データSが入力される。また、
この全体画像データSは直接、全体画像表示手段30にも
入力され(図1のAの経路)、もしくは一旦全体画像メ
モリ10に記憶されたものとして全体画像表示手段30に入
力されて(図1のBの経路)、全体画像表示手段30は、
この全体画像データSに基づいて全体画像Pを表示す
る。
【0077】一方、全体画像メモリ10に記憶された全体
画像データSはモーフォロジーフィルター40にも入力さ
れる。モーフォロジーフィルター40は、式(3)にした
がって、石灰化陰影P1 を示す画像データ(以下、石灰
化画像データという)S1 を検出する。
【0078】すなわち、図2(1)に示したマンモグラ
ムのI-I 線断面における濃度値Dorg の分布は同図
(2)に示すものとなるが、微小石灰化陰影P1 は、そ
の周辺の濃度値の分布が多重構造要素Bi の大きさに比
べて細かく変化するため、式(3)のDmor の値はゼロ
以外の所定の値を有し、クロージング処理により平滑化
される。一方、構造要素Bよりも大きい変動である血管
や乳腺の画像P3 は、その濃度値の分布が多重構造要素
Bi の大きさに比べて大きいため、Dmor の値がゼロと
なり、クロージング処理で平滑化されない。
【0079】これにより、モーフォロジーフィルター40
により微小石灰化陰影P1 を示す画像データS1 の画素
(位置)が特定される。判定手段50は、モーフォロジー
フィルター40によりこの微小石灰化陰影P1 を示す微小
石灰化像データS1 が検出されたことを判定するととも
に、微小石灰化像データS1 の画素位置を特定する位置
データ(以下、石灰化画素位置データという)D1 、お
よびモーフォロジーフィルター40により抽出された微小
石灰化陰影の濃度値の変動Dmor を、局所領域抽出手段
60に入力する。
【0080】判定手段50は、モーフォロジーフィルター
40によりこの石灰化陰影P1 を示す石灰化画像データが
検出されなかったと判定した場合には、石灰化画像デー
タS1 の画素位置を特定する石灰化画素位置データD1
を出力せずに処理は終了する。
【0081】一方、石灰化画像データが検出されたと判
定した場合は、局所領域抽出手段60には全体画像メモ
リ10に記憶された全体画像データSも入力され、局所
領域抽出手段60は入力された全体画像データSのうち、
石灰化画素位置データD1 に基づいて石灰化画像データ
1 の画素を含む近傍の画素(これらの画素の集合とし
ての局所領域)を、予め設定された処理手順にしたがっ
て特定したうえで、この局所領域の画像P2 を表す局所
画像データS2 を抽出する。
【0082】抽出された局所画像データS2 および信号
Dmor は局所画像強調手段70に入力される。
【0083】局所画像強調手段70に入力された局所画像
データS2 を構成する各画素(濃度値Dorg )につい
て、まず高周波成分を算出する手段71により、ボケマス
ク信号Dusが算出されたうえで、高周波成分(Dorg −
Dus)が算出される。次に、モーフォロジーフィルター
40からの入力Dmor が変換テーブル72によりβ(Dmo
r)に変換される。この変換テーブル72は、図3(a)
に示すように単調増加関数である。すなわち、信号Dmo
r が大きな値を採る場合は、その画素が石灰化陰影に対
応した画素であることを示す。したがって、変換テーブ
ル72の出力β(Dmor )が大きな値を出力するのは、そ
の画素が石灰化陰影を構成する画素の場合である。
【0084】また、この変換テーブル72によれば、Dmo
r の小さい領域C1においてその出力β(Dmor )は低
く抑制されるため、Dmor の小さい領域C1において検
出される高周波の放射線ノイズを低減させることができ
る。すなわち、図2(2)に示した濃度値の分布曲線上
には実際には、同図(3)の拡大図に示すように、放射
線ノイズが重畳しているが、式(3)の第2項のクロー
ジング処理により、この放射線ノイズは同図(3)の破
線で示すように平滑化される。したがってDmor の値を
非常に細かく変動させることとなるが、微小石灰化陰影
による変動Dmor に比べてその変動量自体は小さいた
め、領域C1とC2との境界値を予め適当に設定するこ
とにより、この高周波ノイズが強調されるのを防止する
ことができる。
【0085】一方、領域C3においては、その出力β
(Dmor )の変化がDmor の変化に対して抑制される
が、これは、既にある程度のコントラストを有する画像
部分について過度の強調処理がなされるのを防止するた
めである。過度の強調処理がなされると、その画像部分
以外の画像部分のコントラストが相対的に低下するた
め、反って読影性能が低下するからである。
【0086】石灰化陰影強調手段73は、変換テーブル72
からの出力β(Dmor )と高周波成分を算出する手段71
からの出力である高周波成分(Dorg −Dus)との積β
(Dmor )×(Dorg −Dus)を算出し、その積に原画
像の濃度値Dorg を加算した式(1)で示す周波数強調
処理を施す(本実施例において、式(1)のf(Dorg
−Dus)をf(Dorg −Dus)=Dorg −Dus、とす
る)。
【0087】この周波数強調処理によれば、モーフォロ
ジーフィルター40により得られた石灰化陰影を構成する
画素か否かに応じた信号Dmor に基づく強調係数β(D
mor)で、高周波成分(Dorg −Dus)を強調するた
め、この高周波成分(Dorg −Dus)に例えば量子ノイ
ズ等が含まれていても、その画素が石灰化陰影等の画像
部分を構成するものでない場合(例えば、血管等の陰影
の場合)は、その画素についてのβ(Dmor )の値は小
さいため、強調度合は小さいものとなる。一方、画素が
石灰化陰影等の画像部分を構成するものである場合は、
その画素についてのβ(Dmor )の値は大きいため、そ
の強調度合は大きいものとなる。
【0088】したがって、画像の高周波成分(Dorg −
Dus)に放射線ノイズが含まれているか否かに拘らず、
石灰化陰影等の特定の画像部分であるか否かに応じた関
数β(Dmor )により、特定の画像部分を選択的に強調
処理することができる。
【0089】局所画像表示手段90は、この局所画像強調
手段70により局所領域の画像P2 のうち石灰化陰影P1
が強調処理された画像を表示する。
【0090】このように全体画像のうち、石灰化陰影P
1 の画像だけが別個に局所画像表示手段90に表示される
ため、読影者はその表示された局所領域の画像に観察意
識、診断意識を集中することができ、診断性能を向上さ
せることができる。
【0091】また、全体画像表示手段30が局所画像表示
手段90を兼ねる構成であってもよく、その場合であって
も、表示された全体画像Pのうち石灰化陰影P1 の画像
だけが選択的に強調されるため、オーバーシュートやア
ンダーシュートが抑制され、これによるアーチファクト
が低減されて診断性能の向上した再生画像を得ることが
できる。
【0092】なお本実施例の画像処理方法は、式(3)
で示したモーフォロジー演算についての例について説明
したが、本発明の画像処理方法はこれに限らず、式
(2)、(4)〜(8)に示したうちのいずれのモーフ
ォロジー演算を用いた強調処理であってもよい。
【0093】ところで、モーフォロジーフィルター40の
式(2)〜(8)による微小石灰化陰影の検出処理でだ
けでは、微小石灰化陰影と類似の陰影も検出される場合
がある。すなわち、式(2)〜(8)のDmor の値はゼ
ロにならないような、石灰化陰影とほぼ同一の大きさ
の、石灰化陰影ではない画像(以下、非石灰化陰影とい
う)も検出される場合がある。このような非石灰化陰影
について強調処理をしたのでは、適切な診断に支障をき
たす虞がある。
【0094】そこでこのような非石灰化陰影が石灰化陰
影とともに検出されるのを防止して、より正確に石灰化
陰影だけを検出するために、モーフォロジーフィルター
40に以下に示す判定機能を付加してもよい。
【0095】すなわち、式(19)に示すモーフォロジー
演算に基づく微分演算を行い、Mgradの値が大きいほど
石灰化陰影である可能性が大きいため、その後に、式
(2)〜(8)に代えて、式(20)に示す論理演算を行
う。
【0096】
【数15】
【0097】この式(20)で得られたDmor の値がゼロ
の場合は、その画素は非石灰化陰影であるから、式
(1)による強調処理はなされず、Dmor の値がゼロ以
外の場合は、その画素は石灰化陰影であるから、式
(1)による強調処理がなされる。なお、式(20)中の
T1,T2は実験的に設定された閾値である。
【0098】また、この式(19)および(20)による判
定の他に、マルチスケールのオープニング処理とクロー
シング処理との組合せによって、石灰化陰影と非石灰化
陰影との判別の判定をすることもできる。
【0099】具体的には、下式(21)〜(23)によって
Dmor の値を設定すればよい。
【0100】
【数16】
【0101】なお、式(23)中のTは実験的に設定され
た閾値である。
【図面の簡単な説明】
【図1】計算機支援画像診断装置の概略構成を示すブロ
ック図
【図2】図1に示した計算機支援画像診断装置により画
像診断に供される乳房の放射線画像(マンモグラム)を
示す図
【図3】変換テーブルを表す関数のグラフ
【図4】モーフォロジー演算の基本的な作用を説明する
【図5】モーフォロジーフィルターにおける多重構造要
素を示す図
【図6】スケルトン処理を示す説明図
【図7】オーバーシュート、アンダーシュートを抑制す
る関数f(Dorg −Dus)を表すグラフ
【図8】モーフォロジー演算による処理を具体的に説明
するための濃度分布図
【図9】従来のボケマスク処理と、本発明の画像処理と
を比較した図
【符号の説明】
10 全体画像メモリ 30 全体画像表示手段 40 異常陰影検出手段 50 判定手段 60 局所領域抽出手段 70 局所画像強調手段 71 高周波成分算出手段 72 変換テーブル 73 石灰化陰影強調手段 90 局所画像表示手段 Dorg オリジナル濃度値

Claims (8)

    【特許請求の範囲】
  1. 【請求項1】 画像を表すオリジナルの画像信号Dorg
    に対して、多重構造要素Bi およびスケール係数λを用
    いたモーフォロジー演算を施すことにより、前記画像信
    号が空間的に前記多重構造要素Bi より小さく変動する
    画像部分に対応する画素であるか否かを示すモーフォロ
    ジー信号Dmor を抽出し、 前記オリジナルの画像信号Dorg の、超低空間周波数に
    対応する非鮮鋭マスク信号Dusを求め、 前記モーフォロジー信号Dmor に基づく関数β(Dmor
    )および前記オリジナルの画像信号Dorg と前記非鮮
    鋭マスク信号Dusとの差信号(Dorg −Dus)に基づく
    関数f(Dorg −Dus)を用いて、前記オリジナルの画
    像信号Dorg に対して、 【数1】 なる演算を行って、前記画像部分を選択的に強調処理す
    ることを特徴とする画像処理方法。
  2. 【請求項2】 前記モーフォロジー演算が、下記式
    (2)で示されるものであり、前記画像部分が、該画像
    部分の周囲の画像部分よりも前記オリジナルの画像信号
    Dorg の値が大きい部分であることを特徴とする請求項
    1記載の画像処理方法。 【数2】
  3. 【請求項3】 前記モーフォロジー演算が、下記式
    (3)で示されるものであり、前記画像部分が、該画像
    部分の周囲の画像部分よりも前記オリジナルの画像信号
    Dorg の値が小さい部分であることを特徴とする請求項
    1記載の画像処理方法。 【数3】
  4. 【請求項4】 前記モーフォロジー演算が、下記式
    (4)で示されるものであり、前記画像部分が、該画像
    部分の周囲の画像部分よりも前記オリジナルの画像信号
    Dorg の値が大きい部分であることを特徴とする請求項
    1記載の画像処理方法。 【数4】
  5. 【請求項5】 前記モーフォロジー演算が、下記式
    (5)で示されるものであり、前記画像部分が、該画像
    部分の周囲の画像部分よりも前記オリジナルの画像信号
    Dorg の値が小さい部分であることを特徴とする請求項
    1記載の画像処理方法。 【数5】
  6. 【請求項6】 前記モーフォロジー演算が、下記式
    (6)で示されるものであり、前記画像部分が、該画像
    部分の周囲の画像部分よりも前記オリジナルの画像信号
    Dorg の値が大きい部分であることを特徴とする請求項
    1記載の画像処理方法。 【数6】
  7. 【請求項7】 前記モーフォロジー演算が、下記式
    (7)で示されるものであり、前記画像部分が、該画像
    部分の周囲の画像部分よりも前記オリジナルの画像信号
    Dorg の値が小さい部分であることを特徴とする請求項
    1記載の画像処理方法。 【数7】
  8. 【請求項8】 前記モーフォロジー演算が、下記式
    (8)で示されるものであることを特徴とする請求項1
    記載の画像処理方法。 【数8】
JP07177495A 1995-03-29 1995-03-29 画像処理方法 Expired - Fee Related JP3731760B2 (ja)

Priority Applications (14)

Application Number Priority Date Filing Date Title
JP07177495A JP3731760B2 (ja) 1995-03-29 1995-03-29 画像処理方法
EP01112797A EP1134697B1 (en) 1995-03-29 1996-03-28 Image processing method and apparatus
EP01112796A EP1134696A3 (en) 1995-03-29 1996-03-28 Image processing method and apparatus
DE69631085T DE69631085T2 (de) 1995-03-29 1996-03-28 Bildverarbeitungsverfahren und -vorrichtung
EP00111106A EP1045340A3 (en) 1995-03-29 1996-03-28 Image processing method and apparatus
US08/623,223 US6014474A (en) 1995-03-29 1996-03-28 Image processing method and apparatus
DE69636911T DE69636911T2 (de) 1995-03-29 1996-03-28 Bildverarbeitungsverfahren und -Vorrichtung
EP01112795A EP1146479A3 (en) 1995-03-29 1996-03-28 Image processing method and apparatus
EP96105000A EP0736842B1 (en) 1995-03-29 1996-03-28 Image processing method and apparatus
US09/299,147 US6137923A (en) 1995-03-29 1999-04-26 Image processing method and apparatus
US09/298,854 US6169823B1 (en) 1995-03-29 1999-04-26 Image processing method and apparatus
US09/298,851 US6233362B1 (en) 1995-03-29 1999-04-26 Image processing method and apparatus
US09/299,231 US6125215A (en) 1995-03-29 1999-04-26 Image processing method and apparatus
US09/299,148 US6125214A (en) 1995-03-29 1999-04-26 Image processing method and apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP07177495A JP3731760B2 (ja) 1995-03-29 1995-03-29 画像処理方法

Publications (2)

Publication Number Publication Date
JPH08272961A true JPH08272961A (ja) 1996-10-18
JP3731760B2 JP3731760B2 (ja) 2006-01-05

Family

ID=13470249

Family Applications (1)

Application Number Title Priority Date Filing Date
JP07177495A Expired - Fee Related JP3731760B2 (ja) 1995-03-29 1995-03-29 画像処理方法

Country Status (1)

Country Link
JP (1) JP3731760B2 (ja)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6731402B1 (en) 1998-12-01 2004-05-04 Fuji Photo Film Co., Ltd. Image processing method and device
JP2006345961A (ja) * 2005-06-14 2006-12-28 Konica Minolta Medical & Graphic Inc 画像処理方法および画像処理装置ならびに画像処理プログラム
US7242794B2 (en) 2000-09-22 2007-07-10 Fujifilm Corporation Method and apparatus for detecting abnormal pattern candidates
US7310437B2 (en) 2000-03-08 2007-12-18 Fujifilm Corporation Image processing method and system, and storage medium
US7359542B2 (en) 2000-11-20 2008-04-15 Fujifilm Corporation Method and apparatus for detecting anomalous shadows
EP2236087A1 (en) 2009-03-31 2010-10-06 Canon Kabushiki Kaisha Radiation imaging apparatus and control method for the same
JP2011110430A (ja) * 2009-11-25 2011-06-09 Agfa Healthcare Nv 画像中の空間的に局在する現象のコントラストを強調する方法
CN111752446A (zh) * 2019-03-29 2020-10-09 佳能株式会社 信息处理装置、方法和存储介质
CN114246610A (zh) * 2020-09-23 2022-03-29 通用电气精准医疗有限责任公司 用于生成增强图像的超声成像系统和方法

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6731402B1 (en) 1998-12-01 2004-05-04 Fuji Photo Film Co., Ltd. Image processing method and device
US7310437B2 (en) 2000-03-08 2007-12-18 Fujifilm Corporation Image processing method and system, and storage medium
US7242794B2 (en) 2000-09-22 2007-07-10 Fujifilm Corporation Method and apparatus for detecting abnormal pattern candidates
US7359542B2 (en) 2000-11-20 2008-04-15 Fujifilm Corporation Method and apparatus for detecting anomalous shadows
JP2006345961A (ja) * 2005-06-14 2006-12-28 Konica Minolta Medical & Graphic Inc 画像処理方法および画像処理装置ならびに画像処理プログラム
JP4650114B2 (ja) * 2005-06-14 2011-03-16 コニカミノルタエムジー株式会社 画像処理方法および画像処理装置ならびに画像処理プログラム
EP2236087A1 (en) 2009-03-31 2010-10-06 Canon Kabushiki Kaisha Radiation imaging apparatus and control method for the same
JP2011110430A (ja) * 2009-11-25 2011-06-09 Agfa Healthcare Nv 画像中の空間的に局在する現象のコントラストを強調する方法
CN111752446A (zh) * 2019-03-29 2020-10-09 佳能株式会社 信息处理装置、方法和存储介质
CN111752446B (zh) * 2019-03-29 2024-03-22 佳能株式会社 信息处理装置、方法和存储介质
CN114246610A (zh) * 2020-09-23 2022-03-29 通用电气精准医疗有限责任公司 用于生成增强图像的超声成像系统和方法
CN114246610B (zh) * 2020-09-23 2024-06-04 通用电气精准医疗有限责任公司 用于生成增强图像的超声成像系统和方法

Also Published As

Publication number Publication date
JP3731760B2 (ja) 2006-01-05

Similar Documents

Publication Publication Date Title
JP3690882B2 (ja) 画像の強調処理方法および装置
JPH08294479A (ja) 計算機支援画像診断装置
JP3669455B2 (ja) 画像処理方法および画像処理装置
US7593762B2 (en) System and method for automatically segmenting bones in computed tomography angiography data
JP2002099896A (ja) 異常陰影候補検出方法および装置
JP3590216B2 (ja) 異常陰影候補の検出方法および装置
JP4099984B2 (ja) 異常陰影検出装置および画像出力装置
JPH08272961A (ja) 画像処理方法
Kimori A morphological image processing method to improve the visibility of pulmonary nodules on chest radiographic images
JPH08263648A (ja) 異常陰影候補の検出方法
JPH10108073A (ja) 骨部画像処理方法および装置
JP3932489B2 (ja) 画像処理方法および装置
US20050213841A1 (en) Image processing
JPH08287230A (ja) 計算機支援画像診断装置
JP2001357381A (ja) 異常陰影候補検出方法および検出システム
JP2012500040A (ja) 子宮頸部画像における血管パターンを強調するための方法
Cohen-Duwek et al. A biologically-based algorithm for companding computerized tomography (CT) images
JP3807541B2 (ja) 乳房画像表示方法および装置
JP3690844B2 (ja) 画像処理方法および装置
JP3696324B2 (ja) 画像処理方法
JP3731762B2 (ja) 画像処理方法および装置
JP2005052295A (ja) 画像処理装置およびプログラム
JP3731761B2 (ja) 画像処理方法および装置
JPH11155849A (ja) 骨画像情報取得方法
JP2001346787A (ja) 異常陰影候補検出方法および検出システム

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20040716

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20040727

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20040924

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20050405

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20050606

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20050624

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20051004

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20051006

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20081021

Year of fee payment: 3

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20081021

Year of fee payment: 3

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20091021

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101021

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111021

Year of fee payment: 6

LAPS Cancellation because of no payment of annual fees