JP3783116B2 - Radiation image enhancement processing method and apparatus - Google Patents
Radiation image enhancement processing method and apparatus Download PDFInfo
- Publication number
- JP3783116B2 JP3783116B2 JP25325796A JP25325796A JP3783116B2 JP 3783116 B2 JP3783116 B2 JP 3783116B2 JP 25325796 A JP25325796 A JP 25325796A JP 25325796 A JP25325796 A JP 25325796A JP 3783116 B2 JP3783116 B2 JP 3783116B2
- Authority
- JP
- Japan
- Prior art keywords
- image signal
- band
- org
- signal
- function
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
- 230000005855 radiation Effects 0.000 title claims description 12
- 238000003672 processing method Methods 0.000 title claims description 11
- 238000000034 method Methods 0.000 claims description 45
- 238000006243 chemical reaction Methods 0.000 claims description 40
- 230000001629 suppression Effects 0.000 claims description 29
- 230000001965 increasing effect Effects 0.000 claims description 6
- 230000001678 irradiating effect Effects 0.000 claims description 4
- 230000007423 decrease Effects 0.000 claims description 3
- 238000001914 filtration Methods 0.000 description 18
- 238000010586 diagram Methods 0.000 description 12
- 230000000694 effects Effects 0.000 description 4
- 230000010354 integration Effects 0.000 description 3
- 238000012886 linear function Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 238000003745 diagnosis Methods 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 101000920618 Homo sapiens Transcription and mRNA export factor ENY2 Proteins 0.000 description 1
- OAICVXFJPJFONN-UHFFFAOYSA-N Phosphorus Chemical compound [P] OAICVXFJPJFONN-UHFFFAOYSA-N 0.000 description 1
- 102100031954 Transcription and mRNA export factor ENY2 Human genes 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 230000000875 corresponding effect Effects 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 230000007274 generation of a signal involved in cell-cell signaling Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Description
【０００１】
【発明の属する技術分野】
本発明は、放射線画像信号の強調処理方法および装置に関し、特に詳しくは強調された画像に含まれる粒状ノイズの抑制に関する。
【０００２】
【従来の技術】
従来、本出願人により、非鮮鋭マスク画像信号（以下、ボケ画像信号という）を用いて周波数強調処理を行って放射線画像の診断性能を向上させる数々の画像処理方法および装置が提案されている（特開昭55-163472 号、同55-87953号等）。ここで、ボケ画像信号とは、画素数は原画像信号と同じであるが原画像信号よりも鮮鋭度が低い画像を表す画像信号であり、原画像信号の所定の周波数以上の高周波成分が除去された周波数応答特性を有する信号である。
【０００３】
上記周波数強調処理は、原画像信号Ｓorg からボケ画像信号Ｓusを引いたものに強調係数βを乗じたものを、原画像信号Ｓorgに加算することにより、原画像信号の所定の空間周波数成分を強調するものである。これを式で表すと下記の式（１）のようになる。
【０００４】
Ｓproc＝Ｓorg＋β×（Ｓorg−Ｓus） …（１）
（Ｓproc：強調処理された信号、Ｓorg ：原画像信号、Ｓus：ボケ画像信号、β：強調係数）
この際、上記処理では信号を加算することによりアーチファクトが発生してしまうことがあるが、これは、原画像信号Ｓorgに加算する加算信号の周波数応答特性を調整することにより解決でき、そのための具体的な調整方法として、次のような方法が提案されている（特願平8-182155号等）。
【０００５】
この方法とは、まず鮮鋭度の異なる、すなわち周波数応答特性の異なる複数のボケ画像信号を作成し、そのボケ画像信号および原画像信号の中の２つの信号の差分をとることにより、原画像信号の、ある限られた周波数帯域の周波数成分を表す複数の帯域制限画像信号（以下、バンドパス信号という）を作成し、さらにそのバンドパス信号をそれぞれ所定の関数によって所望の大きさとなるように抑制してから、その複数の抑制されたバンドパス信号を積算することにより上記加算信号を作成するものである。この処理を式として表すと、例えば、下記の式（２）
Ｓorg ：原画像信号
Ｓusk(k=1〜N）：ボケ画像信号
ｆk(k=1〜N）：各バンドパス信号を変換する関数
β（Ｓorg）：原画像信号に基づいて定められる強調係数）
のようになる。
【０００６】
このような処理において、関数ｆ1〜ｆNは、バンドパス信号をそのバンドパス信号の大きさに応じて抑制するような関数であり、この関数の形状を異ならしめることにより、上記アーチファクトの防止をはじめとする種々の効果が得られることが上記特願平8-182155号に示されている。そのような効果の一つとして、強調された画像に含まれる粒状ノイズを抑制する効果を有する関数が開示されているが、これは、ノイズ信号の信号値は比較的小さいという根拠に基づいて、絶対値の小さい成分をより強く抑制するように関数を定義するものである。
【０００７】
【発明が解決しようとする課題】
このノイズ抑制方法は、ノイズが多い画像信号の強調処理において特に有効な方法であるが、ノイズを抑制するとともに、画像信号の絶対値が小さい成分をも抑制してしまうものである。このため、画像に含まれるノイズが無視できる程度なのでノイズの除去よりも本来の画像信号の強調処理を優先したいといった場合には適切な方法とはいえない。
【０００８】
本発明は上記問題に鑑みて、ノイズが多く含まれる画像に対してはノイズ抑制を優先した強調処理を行い、ノイズが少ない画像に対しては本来の強調処理を優先するような画像強調処理方法および装置を提供することを目的とするものである。
【０００９】
【課題を解決するための手段】
本発明の放射線画像強調処理方法は、所定の線量の放射線を照射することにより取得された放射線画像を表す原画像信号に基づいて互いに周波数応答特性が異なる複数のボケ画像信号を作成し、前記原画像信号および前記複数のボケ画像信号に基づいて前記原画像信号の周波数帯域ごとの信号を表す複数のバンドパス信号を作成し、該各バンドパス信号を所定の変換関数に基づいて該バンドパス信号の絶対値を抑制するように変換して複数の変換画像信号を作成し、該各変換画像信号を積算して得た積算信号を前記原画像信号に加算することにより該原画像信号の所定の周波数成分が強調された処理済画像信号を得る放射線画像強調処理方法であって、前記複数のバンドパス信号の所定の閾値以下の成分に対する前記抑制の度合いが前記線量が小さいほど大きくなるように前記変換関数を定義することを特徴とするものである。
【００１０】
ここで、「ボケ画像信号」とは、画素数は原画像信号と同じであるが原画像信号よりも鮮鋭度が低い画像を表す画像信号である。ボケ画像信号は、まず原画像信号の画素に対して所定間隔ごとに所定のフィルタリング処理を施すことによって画素を間引きし、そのようにして得た画像信号に対して同様のフィルタリング処理を繰り返してさらに画素数を少なくした画像信号を複数作成し、そのそれぞれに対して、所定の補間方法により原画像と画素数が同じになるように補間処理を施すことにより作成する。ここで、フィルタリングや補間については、一般に広く使用されている種々の方法を適用することができる。
【００１１】
また、「原画像信号の周波数帯域ごとの信号を表す複数のバンドパス信号」は、例えば隣接する周波数帯域のボケ画像信号同士で差分をとって作成してもよいし、原画像信号と各ボケ画像信号の差分をとって作成してもよい。あるいは原画像信号とボケ画像信号の他の組み合わせで差分をとって作成することもできる。また「所定の変換関数」は１つの関数でも、周波数帯域ごとに異なる複数の関数でもよい。なお、変換画像信号の作成、積算信号の作成、積算信号の原画像信号への加算は、例えば上記（２）式で表すことができる。また、「所定の周波数成分を強調する」とは、例えば画像のエッジ部を強調するために、高周波成分を強調するといったことを意味する。
【００１２】
また、「バンドパス信号の所定の閾値以下の成分」とは、ノイズ信号は信号値としては比較的小さいものであることから上記強調処理においてノイズとみなしてもかまわない成分を意味する。したがって、「バンドパス信号の所定の閾値以下の成分に対する前記抑制の度合い」を変えることによってノイズ抑制の度合いを変えることができる。なお、「所定の閾値」とは、この値以下の成分はノイズとみなしても差し支えないと考えられる値であり、具体的な値は設計事項として定めればよいものである。
【００１３】
また、この抑制の度合いを「線量が小さいほど大きくなるように」するのは、画像中に含まれるノイズの相対量が撮影時の放射線の線量に影響されること、すなわち線量が小さいほどノイズが多い（目立つ）画像になることによる。すなわち、線量が小さいほど抑制の度合いを大きくするとは、ノイズが多い画像ほど、ノイズ抑制の効果を強めることに他ならない。
【００１４】
なお、前記所定の変換関数を前記周波数帯域ごとに異なる関数とする場合には、該各関数の前記所定の閾値以下の成分に対する抑制の度合いが高周波数帯域の帯域制限画像信号を変換する関数ほど大きくなるように前記変換関数を定義することが望ましい。
【００１５】
また、本発明の放射線画像強調処理装置は、上記方法にしたがって強調処理を行う装置であって、所定の線量の放射線を照射することにより取得された放射線画像を表す原画像信号に基づいて互いに周波数応答特性が異なる複数のボケ画像信号を作成するボケ画像信号作成手段と、前記原画像信号および前記複数のボケ画像信号に基づいて前記原画像信号の周波数帯域ごとの信号を表す複数のバンドパス信号を作成し、該各バンドパス信号を所定の変換関数に基づいて該バンドパス信号の絶対値を抑制するように変換して複数の変換画像信号を作成し、該各変換画像信号を積算して得た積算信号を前記原画像信号に加算することにより該原画像信号の所定の周波数成分が強調された処理済画像信号を得る非線形処理手段とに加え、さらに、前記線量を表す線量情報を取得する線量情報取得手段と、前記線量情報に基づいて、前記複数のバンドパス信号の所定の閾値以下の成分に対する前記抑制の度合いが前記線量が小さいほど大きくなるように前記変換関数を定義する変換関数定義手段とを有することを特徴とするものである。
【００１６】
【発明の効果】
本発明の画像強調処理方法および装置によれば、ノイズ信号が信号値としては比較的小さいものであること、及び撮影時の放射線線量が少ないほど読み取られた画像のノイズが目立つことに着目して、画像の周波数帯域ごとの成分であるバンドパス信号の所定の閾値以下の成分に対する抑制の度合い、すなわちノイズの抑制の度合いを、放射線線量が小さいほど大きくなるようにバンドパス信号を変換する関数を定義するため、線量が多い場合（通常）は、本来の強調を、また線量が少ない場合はノイズ抑制を優先して処理を行うことができ、ノイズ量に応じた適切な強調処理を行うことができる。
【００１７】
また、ノイズ信号は高周波信号であるため、上記抑制の度合い、すなわちノイズ抑制効果を高周波帯域ほど強くなるように関数を定義すれば、ノイズの少ない低周波帯域の成分に対しては本来の強調処理が優先され、画像全体としてさらに適切な強調処理を行うことができる。
【００１８】
【発明の実施の形態】
以下、本発明の画像処理方法および装置の一実施の形態について、図面を参照して詳細に説明する。以下に示す画像処理装置は、蓄積性蛍光体シートに記録された人体の放射線画像を読み取って得た画像信号に対して、その画像が診断に適した画像となるように、ボケ画像信号を使用して強調処理を施すものであり、処理された画像信号は主としてフィルムに記録され、診断に用いられる。
【００１９】
図１はこの画像処理装置の概略を表す図である。画像処理装置１は、ボケ画像信号を作成するボケ画像信号作成手段２と、特定の周波数を強調するための強調処理を行う非線形処理手段３を有する。さらに、この画像処理装置１は、変換関数定義手段４と、線量情報取得手段５とを備える。変換関数定義手段４は、非線形処理手段３が変換処理に使用する変換関数を定義する手段であり、例えば関数の傾きなどのパラメータを決定して変換関数を定義する。線量情報取得手段５は、強調処理を施す画像信号が撮影された際の放射線線量を表す線量情報を取得する手段であり、変換関数定義手段４は線量情報取得手段５により取得された線量情報に基づいて、パラメータを決定する。
【００２０】
ここで、まずボケ画像信号の作成処理について詳細に説明する。図２はボケ画像信号作成処理の概要を示すブロック図である。図２に示されるように、図１のボケ画像信号作成手段２は、まずフィルタリング処理手段10により、原画像信号Ｓorgに対し、原画像の画素のｘ方向およびｙ方向に対してフィルタリング処理を施して原画像信号よりも解像度が低い画像信号Ｂ1（以下、低解像度画像信号という）を作成し、次にこの低解像度画像信号Ｂ1に対して同様のフィルタリング処理を施してこの低解像度画像信号Ｂ1よりもさらに解像度が低い低解像度画像信号Ｂ2を作成し、以降順次同様のフィルタリング処理を重ねていくものである。そして、補間処理手段11により、このフィルタリング処理の各段において得られる低解像度画像信号Ｂkに対して、それぞれ補間拡大処理を施して、鮮鋭度の異なる複数のボケ画像信号Ｓus1〜ＳusNを得るものである。
【００２１】
本実施の形態においては、上記フィルタリング処理のフィルタとして、一次元ガウス分布に略対応したフィルタを使用する。すなわちフィルタのフィルタ係数を、ガウス信号に関する下記の式（３）
【００２２】
【数１】
にしたがって定める。これは、ガウス信号は周波数空間および実空間の双方において、局在性がよいためであり、例えば上記（３）式においてσ＝１とした場合の５×１の１次元フィルタは図３に示すようなものとなる。
【００２４】
フィルタリング処理は、図４に示すように、原画像信号Ｓorg に対して、あるいは低解像度画像信号に対して１画素おきに行う。このような１画素おきのフィルタリング処理をｘ方向、ｙ方向に行うことにより、低解像度画像信号Ｂ1の画素数は原画像の１／４となり、フィルタリング処理により得られる低解像度画像信号に対して繰り返しこのフィルタリング処理を施すことにより、得られるｎ個の低解像度画像信号Ｂk（ｋ＝１〜ｎ）は、それぞれ、画素数が原画像信号の１／２2kの画像信号となる。
【００２５】
次に、このようにして得られた低解像度画像信号Ｂkに対して施される補間拡大処理について説明する。補間演算の方法としては、Ｂスプラインによる方法など種々の方法が挙げられるが、本実施の形態においては、上記フィルタリング処理においてガウス信号に基づくローパスフィルタを用いているため、補間演算についてもガウス信号を用いるものとする。具体的には、下記の式（４）
【００２６】
【数２】
において、σ＝２k-1 と近似したものを用いる。
【００２８】
画像信号Ｂ1を補間する際には、ｋ＝１であるためσ＝１となる。この場合、補間処理を行うためのフィルタは、図５に示すように５×１の一次元フィルタとなる。この補間処理は、まず低解像度画像信号Ｂ1に対して１画素おきに値が０の画素を１つずつ補間することにより低解像度画像信号Ｂ1を原画像と同一のサイズに拡大し、次に、この補間された低解像度画像信号Ｂ1に対して上述した図５に示す一次元フィルタによりフィルタリング処理を施すことにより行われる。
【００２９】
同様に、この補間拡大処理を全ての低解像度画像信号Ｂkに対して行う。低解像度画像信号Ｂkを補間する際には、上記式（４）に基づいて、３×２k−１の長さのフィルタを作成し、画像信号Ｂkの各画素の間に値が０の画素を２k−１個ずつ補間することにより、原画像と同一サイズに拡大し、この値が０の画素が補間された画像信号Ｂkに対して３×２k−１の長さのフィルタにより、フィルタリング処理を施すことにより補間拡大する。
【００３０】
次に、上記のようにして作成されたボケ画像信号を用いて行われる非線形処理について説明する。以下に示す処理は、特定の周波数成分を強調するための処理であり、原画像信号およびボケ画像信号は、上記（２）式にしたがって処理されるものとする。
【００３１】
図６はこのような処理を行う画像強調処理装置の一例を示す図である。この画像強調処理装置では、減算器21として示されるように、原画像信号Ｓorgとボケ画像信号Ｓuskのうち隣接する２つの信号に基づいてバンドパス信号が作成される。各バンドパス信号は、変換器22においてそれぞれ変換関数f1〜fNにより所望の大きさとなるように抑制され、さらに上記（２）式にしたがって、その複数の抑制されたバンドパス信号が演算器23において積算され、さらに原画像信号に加算されて、処理済画像信号Ｓprocが生成される。ここで変換関数f1〜fNは全て同じ関数であってもよいし、互いに異なる関数であってもよい。図７は、この変換関数の形状の一例を示す図である。
【００３２】
次に、この変換関数の形状と強調処理におけるノイズ抑制効果との関係について説明する。一般に、所定の閾値より小さい信号成分はノイズの可能性があり、当業者であればこの閾値がどの程度の値となるかは容易に推測することができる。したがって、ノイズを除去するためには、所定の閾値より小さい成分を抑制すればよいことになる。そこで、図６に示す画像強調処理装置では、一般にこのような信号を抑制するために、上記変換関数として図７に示すような関数の代わりに図８に示すような関数を用いて、バンドパス信号の段階でノイズとみなせる信号成分を抑制してしまい、結果としてバンドパス信号の積算により得られる処理済画像信号Ｓprocにノイズが含まれないようにしている。
【００３３】
本発明は、このノイズ抑制機能を改良するもので、例えば高画質の（ノイズが少ない）画像に対して、ノイズ抑制よりはむしろ強調を優先させて、比較的値の小さい信号成分に対しても、本来の目的である強調処理を施したいといったニーズに応えるものである。そして、このための手段として、図１に示される変換関数定義手段４および線量情報取得手段５を備えている。
【００３４】
線量情報取得手段５による線量情報の取得方法としては、放射線線量を直接測定して、オペレータがその測定結果を入力装置を介して入力してもよいし、本発明の画像強調処理装置が撮影装置の一部、あるいは撮影装置と接続される装置である場合には、撮影装置における測定結果を信号として伝送してもよい。また、線量情報は、線量の相対的な大きさがわかればよいため、線量の値そのものでなくともよく、線量と相関関係にある他のパラメータであってもよい。例えば、放射線画像の読取方法として、読取画像の安定した濃度およびコントラストを実現するために、画像に応じて、あるいは先読みされた画像に応じて読取画像に最も適した読取条件を設定して読取りを行う方法が知られている。この方法では読取条件を放射線線量と相関性があるパラメータ（Ｓ値）により規定しているが、このようなパラメータを線量情報として利用することも可能である。
【００３５】
このように線量情報取得手段５により取得された線量情報は変換関数定義手段４に伝送される。変換関数定義手段４は、例えば、実際の変換に使用される関数の一部分を線形関数として近似して、その線形関数の傾きを表すパラメータにより関数を定義する方法などが用いられているが、複数のパラメータを使用してより複雑な関数を定義してもよく、その他種々の定義方法を適用することができる。いずれの場合にも、関数を定義するパラメータは上記線量情報取得手段５から伝送された線量情報に基づいて決定される。例えば関数を線形関数として近似する方法では、所定の閾値より小さい値を変換する部分の傾きを、線量が大きければ大きく、線量が小さければ小さくすればよい。
【００３６】
ここで、ノイズ信号は、一般的には高周波信号であるため、低周波帯域のバンドパス信号よりも高周波帯域のバンドパス信号に多く含まれていると考えられる。そこで上記のように線量情報に基づいて変換関数を異ならしめる場合には、必ずしも全てのバンドパス信号を変換する変換関数についてノイズ抑制効果を強めなくてもよい。つまり、図９に示すように、低周波帯域のバンドパス信号の変換に使用する変換関数については強調処理を優先してノイズ抑制の機能はほとんど持たせずに、高い周波数帯域のバンドパス信号を変換する関数ほど、ノイズ抑制効果を強めるようにしてもよい。
【００３７】
以上のように、本発明により、ノイズが多く含まれる画像に対してはノイズ抑制を優先した強調処理を行い、ノイズが少ない画像に対しては本来の強調を優先して画像の強調処理を行うことが可能となる。
【図面の簡単な説明】
【図１】本発明の画像処理装置の概略を示す図
【図２】ボケ画像信号作成処理の概要を示すブロック図
【図３】フィルタリング処理に使用されるフィルタの一例を示す図
【図４】低解像度画像信号作成処理の詳細を示す図
【図５】補間拡大処理に使用されるフィルタの一例を示す図
【図６】画像強調処理装置の一例を示す図
【図７】一般的な変換関数の一例を示す図
【図８】ノイズ抑制効果を有する変換関数の例を示す図
【図９】周波数帯域ごとにノイズ抑制効果を変える場合の変換関数の一例を示す図
【符号の説明】
１ 画像処理装置
２ ボケ画像信号（非鮮鋭マスク画像信号）作成手段
３ 非線形処理手段
４ 変換関数定義手段
５ 線量情報取得手段
10 フィルタリング処理手段
11 補間処理手段
21 減算器
22 変換器
23 演算器[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a radiographic image signal enhancement processing method and apparatus, and more particularly to suppression of granular noise included in an enhanced image.
[0002]
[Prior art]
Conventionally, the present applicant has proposed a number of image processing methods and apparatuses that improve the diagnostic performance of a radiographic image by performing frequency enhancement processing using an unsharp mask image signal (hereinafter referred to as a blurred image signal) ( JP, 55-163472, 55-87953, etc.). Here, the blurred image signal is an image signal that represents an image having the same number of pixels as the original image signal but lower sharpness than the original image signal, and removes high-frequency components equal to or higher than a predetermined frequency of the original image signal. Is a signal having a frequency response characteristic.
[0003]
The frequency enhancement process emphasizes a predetermined spatial frequency component of the original image signal by adding the original image signal Sorg, which is obtained by subtracting the blurred image signal Sus, to the original image signal Sorg. To do. This is expressed by the following equation (1).
[0004]
Sproc = Sorg + β × (Sorg−Sus) (1)
(Sproc: enhanced signal, Sorg: original image signal, Sus: blurred image signal, β: enhancement coefficient)
At this time, artifacts may occur due to the addition of signals in the above processing, but this can be solved by adjusting the frequency response characteristics of the addition signal added to the original image signal Sorg. As a general adjustment method, the following method has been proposed (Japanese Patent Application No. 8-182155).
[0005]
In this method, first, a plurality of blurred image signals having different sharpness, that is, different frequency response characteristics are generated, and the difference between two signals in the blurred image signal and the original image signal is obtained, thereby obtaining the original image signal. A plurality of band-limited image signals (hereinafter referred to as band-pass signals) representing frequency components of a certain limited frequency band are generated, and the band-pass signals are each suppressed to a desired magnitude by a predetermined function. Then, the added signal is created by integrating the plurality of suppressed bandpass signals. When this processing is expressed as an equation, for example, the following equation (2)
become that way.
[0006]
In such processing, the functions f 1 to f N are functions that suppress the band-pass signal according to the magnitude of the band-pass signal, and the artifacts can be prevented by making the shapes of the functions different. The above-mentioned Japanese Patent Application No. 8-182155 shows that various effects including the above can be obtained. As one of such effects, a function having an effect of suppressing the granular noise included in the enhanced image is disclosed, which is based on the ground that the signal value of the noise signal is relatively small. A function is defined so as to suppress a component having a small absolute value more strongly.
[0007]
[Problems to be solved by the invention]
This noise suppression method is a particularly effective method in enhancement processing of an image signal with a lot of noise, but suppresses noise and also suppresses a component having a small absolute value of the image signal. For this reason, since noise contained in an image is negligible, it is not an appropriate method when priority is given to emphasis processing of an original image signal over noise removal.
[0008]
In view of the above problems, the present invention performs an enhancement process that prioritizes noise suppression for an image that contains a lot of noise, and an image enhancement process method that prioritizes the original enhancement process for an image that contains little noise. And an object of the present invention.
[0009]
[Means for Solving the Problems]
The radiological image enhancement processing method of the present invention creates a plurality of blurred image signals having different frequency response characteristics from each other based on an original image signal representing a radiographic image acquired by irradiating a predetermined dose of radiation. A plurality of bandpass signals representing signals for each frequency band of the original image signal are created based on the image signal and the plurality of blurred image signals, and each bandpass signal is generated based on a predetermined conversion function. A plurality of converted image signals are generated by converting the absolute values of the converted image signals, and an integrated signal obtained by integrating the converted image signals is added to the original image signal to obtain a predetermined value of the original image signal. A radiological image enhancement processing method for obtaining a processed image signal in which a frequency component is enhanced, wherein the degree of suppression with respect to a component equal to or less than a predetermined threshold of the plurality of bandpass signals is the dose It is characterized in that defining the transformation functions so that smaller increases.
[0010]
Here, the “blurred image signal” is an image signal that represents an image having the same number of pixels as the original image signal but a lower sharpness than the original image signal. The blurred image signal is obtained by first thinning out pixels by applying a predetermined filtering process to the pixels of the original image signal at predetermined intervals, and repeating the same filtering process on the image signal thus obtained. A plurality of image signals with a reduced number of pixels are created, and each is created by performing an interpolation process so that the number of pixels is the same as that of the original image by a predetermined interpolation method. Here, various methods generally used widely can be applied to filtering and interpolation.
[0011]
Further, the “plurality of bandpass signals representing signals for each frequency band of the original image signal” may be created, for example, by taking differences between the blurred image signals in adjacent frequency bands, or the original image signal and each blur. It may be created by taking the difference between the image signals. Alternatively, it can be created by taking a difference with another combination of the original image signal and the blurred image signal. Further, the “predetermined conversion function” may be one function or a plurality of functions different for each frequency band. The creation of the converted image signal, the creation of the integration signal, and the addition of the integration signal to the original image signal can be expressed by, for example, the above equation (2). In addition, “enhance a predetermined frequency component” means, for example, emphasizing a high frequency component in order to emphasize an edge portion of an image.
[0012]
In addition, “a component of a bandpass signal that is equal to or less than a predetermined threshold” means a component that may be regarded as noise in the enhancement process because the noise signal is relatively small as a signal value. Therefore, the degree of noise suppression can be changed by changing the “degree of suppression with respect to a component of a bandpass signal that is equal to or lower than a predetermined threshold”. Note that the “predetermined threshold value” is a value at which components below this value can be regarded as noise, and a specific value may be determined as a design item.
[0013]
In addition, the degree of suppression is set to “become larger as the dose is smaller” because the relative amount of noise included in the image is affected by the radiation dose at the time of radiographing, that is, as the dose is smaller, the noise becomes smaller. This is because there are many (conspicuous) images. That is, increasing the degree of suppression as the dose decreases is nothing but increasing the noise suppression effect for images with more noise.
[0014]
When the predetermined conversion function is a function different for each frequency band, the degree of suppression with respect to components below the predetermined threshold of each function is a function that converts a band-limited image signal in a high frequency band. It is desirable to define the conversion function so as to increase.
[0015]
The radiological image enhancement processing apparatus of the present invention is an apparatus that performs enhancement processing according to the above-described method, and is based on an original image signal representing a radiographic image acquired by irradiating a predetermined dose of radiation. Blur image signal creating means for creating a plurality of blurred image signals having different response characteristics, and a plurality of band pass signals representing signals for each frequency band of the original image signal based on the original image signal and the plurality of blurred image signals A plurality of converted image signals are generated by converting each bandpass signal to suppress the absolute value of the bandpass signal based on a predetermined conversion function, and the converted image signals are integrated. In addition to the nonlinear processing means for obtaining a processed image signal in which a predetermined frequency component of the original image signal is emphasized by adding the obtained integrated signal to the original image signal, Dose information acquisition means for acquiring dose information representing a dose, and based on the dose information, the degree of suppression with respect to components below a predetermined threshold of the plurality of bandpass signals is increased as the dose is reduced. It has a conversion function defining means for defining a conversion function.
[0016]
【The invention's effect】
According to the image enhancement processing method and apparatus of the present invention, paying attention to the fact that the noise signal is relatively small as a signal value, and that the noise of the read image becomes more conspicuous as the radiation dose during imaging is smaller. A function that converts the bandpass signal so that the degree of suppression of the bandpass signal that is a component for each frequency band of the image is less than a predetermined threshold, that is, the degree of suppression of noise increases as the radiation dose decreases. For definition, when the dose is high (usually), the original emphasis can be given, and when the dose is low, the noise suppression can be given priority, and appropriate enhancement processing according to the amount of noise can be performed. it can.
[0017]
In addition, since the noise signal is a high-frequency signal, if the function is defined so that the degree of suppression, that is, the noise suppression effect becomes stronger in the high-frequency band, the original enhancement processing is applied to the low-frequency band component with less noise. Is prioritized, and more appropriate enhancement processing can be performed on the entire image.
[0018]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, an image processing method and apparatus according to an embodiment of the present invention will be described in detail with reference to the drawings. The image processing device shown below uses a blurred image signal for an image signal obtained by reading a radiation image of a human body recorded on a stimulable phosphor sheet so that the image is suitable for diagnosis. The processed image signal is mainly recorded on a film and used for diagnosis.
[0019]
FIG. 1 is a diagram showing an outline of the image processing apparatus. The
[0020]
Here, the blur image signal creation process will be described in detail. FIG. 2 is a block diagram showing an outline of the blur image signal creation process. As shown in FIG. 2, the blurred image signal creating means 2 in FIG. 1 first performs filtering processing on the x direction and y direction of the pixels of the original image by the filtering processing means 10 on the original image signal Sorg. Then, an image signal B 1 having a lower resolution than the original image signal (hereinafter referred to as a low resolution image signal) is created, and then the low resolution image signal B 1 is subjected to the same filtering process to obtain the low resolution image signal. A low-resolution image signal B 2 having a resolution lower than that of B 1 is created, and thereafter the same filtering process is sequentially repeated. Then, the
[0021]
In the present embodiment, a filter substantially corresponding to a one-dimensional Gaussian distribution is used as the filter of the filtering process. That is, the filter coefficient of the filter is expressed by the following equation (3) relating to the Gaussian signal.
[0022]
[Expression 1]
Determine according to This is because the Gaussian signal has good locality in both frequency space and real space. For example, a 5 × 1 one-dimensional filter when σ = 1 in the above equation (3) is shown in FIG. It will be like that.
[0024]
As shown in FIG. 4, the filtering process is performed on the original image signal Sorg or on the low resolution image signal every other pixel. By performing the filtering processing every other pixel in the x direction and the y direction, the number of pixels of the low resolution image signal B 1 becomes ¼ of the original image, and the low resolution image signal obtained by the filtering processing is reduced. By repeatedly performing this filtering process, the obtained n low-resolution image signals B k (k = 1 to n) each become an image signal whose number of pixels is 1/2 2k of the original image signal.
[0025]
Next, a description will be given interpolation enlargement process performed on the low-resolution image signal B k obtained in this manner. Various methods such as a B-spline method can be used as the interpolation calculation method. In the present embodiment, since a low-pass filter based on a Gaussian signal is used in the filtering process, a Gaussian signal is also used for the interpolation calculation. Shall be used. Specifically, the following formula (4)
[0026]
[Expression 2]
In this case, the approximation of σ = 2 k−1 is used.
[0028]
When interpolating the image signal B 1 , since k = 1, σ = 1. In this case, the filter for performing the interpolation process is a 5 × 1 one-dimensional filter as shown in FIG. This interpolation process is to expand the low resolution image signals B 1 to the original image and the same size by first the value in every other pixel for low resolution image signal B 1 is interpolated by one pixel of 0, the next In addition, the interpolated low-resolution image signal B 1 is subjected to a filtering process by the one-dimensional filter shown in FIG.
[0029]
Similarly, this interpolation enlargement process is performed for all the low resolution image signals B k . When interpolating the low-resolution image signal B k , a filter having a length of 3 × 2 k −1 is created based on the above equation (4), and a value of 0 is set between each pixel of the image signal B k. Are interpolated by 2 k -1 pixels each to enlarge to the same size as the original image, and the length is 3 × 2 k −1 with respect to the image signal B k interpolated with pixels having a value of 0. Interpolation enlargement is performed by applying a filtering process by the filter.
[0030]
Next, non-linear processing performed using the blurred image signal generated as described above will be described. The processing described below is processing for emphasizing a specific frequency component, and the original image signal and the blurred image signal are processed according to the above equation (2).
[0031]
FIG. 6 is a diagram illustrating an example of an image enhancement processing apparatus that performs such processing. In this image enhancement processing device, as shown as a
[0032]
Next, the relationship between the shape of this conversion function and the noise suppression effect in the enhancement process will be described. In general, a signal component smaller than a predetermined threshold value may be a noise, and those skilled in the art can easily estimate how much the threshold value is. Therefore, in order to remove noise, it is only necessary to suppress components smaller than a predetermined threshold. Therefore, in the image enhancement processing apparatus shown in FIG. 6, in general, in order to suppress such a signal, the function shown in FIG. 8 is used instead of the function shown in FIG. Signal components that can be regarded as noise at the signal stage are suppressed, and as a result, no noise is included in the processed image signal Sproc obtained by integration of bandpass signals.
[0033]
The present invention improves this noise suppression function. For example, for a high-quality (low noise) image, priority is given to emphasis rather than noise suppression, and even for a signal component having a relatively small value. In response to the need for emphasis processing, which is the original purpose. As means for this purpose, the conversion function defining means 4 and the dose
[0034]
As a method of acquiring dose information by the dose information acquisition means 5, the radiation dose may be directly measured, and the operator may input the measurement result via the input device. The image enhancement processing device of the present invention may be an imaging device. If it is a part of the apparatus or a device connected to the photographing device, the measurement result in the photographing device may be transmitted as a signal. Further, since the dose information only needs to know the relative magnitude of the dose, the dose information may not be the dose value itself but may be another parameter correlated with the dose. For example, as a method for reading a radiographic image, in order to realize a stable density and contrast of a read image, reading is performed by setting a reading condition most suitable for the read image according to the image or according to the pre-read image. How to do is known. In this method, the reading condition is defined by a parameter (S value) having a correlation with the radiation dose, but such a parameter can be used as dose information.
[0035]
Thus, the dose information acquired by the dose
[0036]
Here, since the noise signal is generally a high-frequency signal, it is considered that the noise signal is more contained in the band-pass signal in the high-frequency band than the band-pass signal in the low-frequency band. Therefore, when the conversion functions are made different based on the dose information as described above, it is not always necessary to enhance the noise suppression effect for the conversion functions for converting all the bandpass signals. In other words, as shown in FIG. 9, the conversion function used for the conversion of the low-frequency band-pass signal gives priority to the emphasis processing and hardly has the function of noise suppression, and the high-frequency band-pass signal is converted. You may make it strengthen a noise suppression effect, so that the function to convert.
[0037]
As described above, according to the present invention, emphasis processing that prioritizes noise suppression is performed on an image that contains a lot of noise, and image emphasis processing is performed on an image that contains less noise with priority on the original emphasis. It becomes possible.
[Brief description of the drawings]
FIG. 1 is a diagram showing an overview of an image processing apparatus according to the present invention. FIG. 2 is a block diagram showing an overview of a blurred image signal creation process. FIG. 3 is a diagram showing an example of a filter used for filtering processing. FIG. 5 is a diagram showing details of low-resolution image signal generation processing. FIG. 5 is a diagram showing an example of a filter used for interpolation enlargement processing. FIG. 6 is a diagram showing an example of an image enhancement processing device. FIG. 8 is a diagram illustrating an example of a conversion function having a noise suppression effect. FIG. 9 is a diagram illustrating an example of a conversion function when the noise suppression effect is changed for each frequency band.
DESCRIPTION OF
10 Filtering means
11 Interpolation processing means
21 Subtractor
22 Converter
23 Calculator
Claims (6)
前記複数の帯域制限画像信号の所定の閾値以下の成分に対する前記抑制の度合いが前記線量が小さいほど大きくなるように前記変換関数を定義することを特徴とする放射線画像強調処理方法。A plurality of non-sharp mask image signals having different frequency response characteristics are created based on an original image signal representing a radiographic image acquired by irradiating a predetermined dose of radiation, and the original image signal and the plurality of unsharp A plurality of band-limited image signals representing signals for each frequency band of the original image signal are created based on the mask image signal, and each band-limited image signal is converted into an absolute value of the band-limited image signal based on a predetermined conversion function. A plurality of converted image signals are converted so as to suppress the signal, and an integrated signal obtained by integrating the converted image signals is added to the original image signal, whereby a predetermined frequency component of the original image signal is obtained. In a radiological image enhancement processing method for obtaining an enhanced processed image signal,
The radiographic image enhancement processing method, wherein the conversion function is defined such that the degree of suppression with respect to a component equal to or less than a predetermined threshold of the plurality of band-limited image signals increases as the dose decreases.
ＳS procproc ＝Ｓ= S orgorg ＋β（Ｓ+ Β (S orgorg ）×Ｆ) × F usmusm （Ｓ(S org,org, ＳS us1,us1, ＳS us2,us2, …Ｓ... S usNusN ）)
ＦF usmusm （Ｓ(S org,org, ＳS us1,us1, ＳS us2,us2, …Ｓ... S usNusN ）)
＝ｆ= F 11 (( ＳS orgorg −Ｓ-S us1)us1) ＋ｆ+ F 22 (( ＳS us1us1 −Ｓ-S us2)us2) ＋…+ ... ＋ｆ+ F kk (( ＳS usk-1usk-1 −Ｓ-S usk)usk) ＋…＋ｆ+ ... + f NN (( ＳS usN-1usN-1 −Ｓ-S usN) usN)
（但し、Ｓ(However, S procproc ：処理済画像信号: Processed image signal
Ｓ S org org ：原画像信号: Original image signal
Ｓ S usk(k=1usk (k = 1 〜~ NN ）：非鮮鋭マスク画像信号): Unsharp mask image signal
Ｓ S orgorg −Ｓ-S us1us1 ，Ｓ, S uskusk −Ｓ-S us(k+1) (k=1us (k + 1) (k = 1 〜~ N-1N-1 ） ：帯域制限画像信号: Band-limited image signal
ｆ f kk (k=1(k = 1 〜~ NN ）：各帯域制限画像信号を変換する関数): Function to convert each band limited image signal
β（Ｓ β (S orgorg ）：原画像信号に基づいて定められる強調係数）): Enhancement coefficient determined based on original image signal)
により示される処理であることを特徴とする請求項１または２記載の放射線画像強調処理方法。The radiographic image enhancement processing method according to claim 1, wherein the processing is represented by:
前記線量を表す線量情報を取得する線量情報取得手段と、前記線量情報に基づいて、前記複数の帯域制限画像信号の所定の閾値以下の成分に対する前記抑制の度合いが前記線量が小さいほど大きくなるように前記変換関数を定義する変換関数定義手段とを有することを特徴とする放射線画像強調処理装置。Non-sharp mask image signal creating means for creating a plurality of unsharp mask image signals having different frequency response characteristics based on an original image signal representing a radiographic image obtained by irradiating a predetermined dose of radiation; A plurality of band limited image signals representing signals for each frequency band of the original image signal are created based on the image signal and the plurality of non-sharp mask image signals, and each band limited image signal is generated based on a predetermined conversion function A plurality of converted image signals are generated by conversion so as to suppress the absolute value of the band-limited image signal, and an integrated signal obtained by integrating the converted image signals is added to the original image signal. In a radiological image enhancement processing apparatus comprising a non-linear processing means for obtaining a processed image signal in which a predetermined frequency component of an image signal is enhanced,
Dose information acquisition means for acquiring dose information representing the dose, and based on the dose information, the degree of suppression with respect to components below a predetermined threshold of the plurality of band-limited image signals is increased as the dose is reduced. And a conversion function defining means for defining the conversion function.
ＳS procproc ＝Ｓ= S orgorg ＋β（Ｓ+ Β (S orgorg ）×Ｆ) × F usmusm （Ｓ(S org,org, ＳS us1,us1, ＳS us2,us2, …Ｓ... S usNusN ）)
ＦF usmusm （Ｓ(S org,org, ＳS us1,us1, ＳS us2,us2, …Ｓ... S usNusN ）)
＝ｆ= F 11 (( ＳS orgorg −Ｓ-S us1)us1) ＋ｆ+ F 22 (( ＳS us1us1 −Ｓ-S us2)us2) ＋…+ ... ＋ｆ+ F kk (( ＳS usk-1usk-1 −Ｓ-S usk)usk) ＋…＋ｆ+ ... + f NN (( ＳS usN-usN- 11 −Ｓ-S usN) usN)
（但し、Ｓ(However, S procproc ：処理済画像信号: Processed image signal
Ｓ S org org ：原画像信号: Original image signal
Ｓ S usk(k=1usk (k = 1 〜~ NN ）：非鮮鋭マスク画像信号): Unsharp mask image signal
Ｓ S orgorg −Ｓ-S us1us1 ，Ｓ, S uskusk −Ｓ-S us(k+1) (k=1us (k + 1) (k = 1 〜~ N-1N-1 ） ：帯域制限画像信号: Band-limited image signal
ｆ f kk (k=1(k = 1 〜~ NN ）：各帯域制限画像信号を変換する関数): Function to convert each band limited image signal
β（Ｓ β (S orgorg ）：原画像信号に基づいて定められる強調係数）): Enhancement coefficient determined based on original image signal)
により示される処理であることを特徴とする請求項４または５記載の放射線画像強調処理装置。The radiographic image enhancement processing apparatus according to claim 4, wherein the processing is represented by:
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP25325796A JP3783116B2 (en) | 1996-09-25 | 1996-09-25 | Radiation image enhancement processing method and apparatus |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP25325796A JP3783116B2 (en) | 1996-09-25 | 1996-09-25 | Radiation image enhancement processing method and apparatus |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH10105701A JPH10105701A (en) | 1998-04-24 |
| JP3783116B2 true JP3783116B2 (en) | 2006-06-07 |
Family
ID=17248765
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP25325796A Expired - Lifetime JP3783116B2 (en) | 1996-09-25 | 1996-09-25 | Radiation image enhancement processing method and apparatus |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3783116B2 (en) |
Families Citing this family (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2000268171A (en) * | 1999-01-14 | 2000-09-29 | Fuji Photo Film Co Ltd | Picture processing method and picture processor and record medium |
| JP2004242285A (en) | 2003-01-14 | 2004-08-26 | Fuji Photo Film Co Ltd | Noise suppression processing method, apparatus and program |
| GB2414295B (en) * | 2004-05-20 | 2009-05-20 | Medicsight Plc | Nodule detection |
| JP2008079706A (en) * | 2006-09-26 | 2008-04-10 | Konica Minolta Medical & Graphic Inc | Image radiographing system |
| JP2010005373A (en) * | 2008-02-14 | 2010-01-14 | Fujifilm Corp | Radiographic image correction method, apparatus and program |
| JP5563018B2 (en) * | 2011-07-05 | 2014-07-30 | 富士フイルム株式会社 | Radiography equipment |
| EP2535872A1 (en) | 2011-06-15 | 2012-12-19 | Fujifilm Corporation | Radiographic imaging system |
| JP6834690B2 (en) | 2017-03-30 | 2021-02-24 | コニカミノルタ株式会社 | Image processing equipment and radiation imaging system |
-
1996
- 1996-09-25 JP JP25325796A patent/JP3783116B2/en not_active Expired - Lifetime
Also Published As
| Publication number | Publication date |
|---|---|
| JPH10105701A (en) | 1998-04-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3700804B2 (en) | Image processing method and apparatus | |
| JP3816151B2 (en) | Image processing method and apparatus | |
| JP3193806B2 (en) | Noise reduction method and apparatus | |
| JP3833177B2 (en) | Image processing apparatus, image processing method, storage medium, and program | |
| US6754398B1 (en) | Method of and system for image processing and recording medium for carrying out the method | |
| JP4598507B2 (en) | System and method for image noise reduction using minimum error space-time recursive filter | |
| JP3995854B2 (en) | Image processing method and apparatus, and recording medium | |
| JPH08329242A (en) | Method for enhancement of image quality | |
| JP3738788B2 (en) | Image dynamic range compression processing method and apparatus | |
| US7149358B2 (en) | Method and system for improving contrast using multi-resolution contrast based dynamic range management | |
| JP2004242285A (en) | Noise suppression processing method, apparatus and program | |
| JP3700798B2 (en) | Image processing method and apparatus | |
| JP3738791B2 (en) | Image processing method and apparatus | |
| JP3783116B2 (en) | Radiation image enhancement processing method and apparatus | |
| JP2001167264A (en) | Method and device for image processing and recording medium | |
| JP4197392B2 (en) | Noise suppression processing apparatus and recording medium | |
| JP3696339B2 (en) | Image processing method and apparatus | |
| JP2002074356A (en) | Method and device for processing picture and recording medium | |
| JP4014671B2 (en) | Multi-resolution conversion method and apparatus | |
| JP4598115B2 (en) | Image processing method and apparatus, and recording medium | |
| JP3669452B2 (en) | Image processing method and apparatus | |
| JP2007215188A (en) | Image conversion method, converted image generating method, and image correction apparatus | |
| JP4316106B2 (en) | Image processing method and apparatus, and recording medium | |
| JP4267159B2 (en) | Image processing method and apparatus, and recording medium | |
| JP4030655B2 (en) | Gradation conversion method and apparatus |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20050621 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050628 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050829 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20051004 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20060228 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20060301 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090324 Year of fee payment: 3 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090324 Year of fee payment: 3 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090324 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090324 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100324 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100324 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110324 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110324 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120324 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120324 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130324 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130324 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140324 Year of fee payment: 8 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| EXPY | Cancellation because of completion of term |