JP4244094B2 - 画像処理方法および装置並びに記録媒体 - Google Patents

画像処理方法および装置並びに記録媒体 Download PDF

Info

Publication number
JP4244094B2
JP4244094B2 JP2000022828A JP2000022828A JP4244094B2 JP 4244094 B2 JP4244094 B2 JP 4244094B2 JP 2000022828 A JP2000022828 A JP 2000022828A JP 2000022828 A JP2000022828 A JP 2000022828A JP 4244094 B2 JP4244094 B2 JP 4244094B2
Authority
JP
Japan
Prior art keywords
pixel
band
image signal
vector
limited image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2000022828A
Other languages
English (en)
Other versions
JP2000306089A (ja
Inventor
雅彦 山田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Priority to JP2000022828A priority Critical patent/JP4244094B2/ja
Publication of JP2000306089A publication Critical patent/JP2000306089A/ja
Application granted granted Critical
Publication of JP4244094B2 publication Critical patent/JP4244094B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Facsimile Image Signal Circuits (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Description

【0001】
【発明の属する技術分野】
本発明は、原画像を表す原画像信号に対してノイズを低減する処理や所望の構造物を強調する処理を施す画像処理方法および装置並びに画像処理方法をコンピュータに実行させるためのプログラムを記録したコンピュータ読取り可能な記録媒体に関するものである。
【0002】
【従来の技術】
画像を表す画像信号を得、この画像信号に適切な画像処理を施した後、画像を再生表示することが種々の分野で行なわれている。例えば放射線画像の診断性能を向上させるために、画像信号に対してボケマスク処理等の周波数強調処理を施す方法が本出願人により提案されている(特開昭55-163772 等)。この周波数処理は、原画像を表す画像信号からボケマスク信号を減算したものに強調度を乗じたものを加える処理を施すもので、これにより画像において所定の空間周波数成分を強調するようにしたものである。
【0003】
一方、上述した画像信号を処理するための方法として、画像を複数の周波数帯域毎の多重解像度画像に変換し、各周波数帯域の画像に対して所定の処理を行なって、再度これを逆多重解像度変換することにより、最終的な処理済み画像を得るための多重解像度変換なる方法が提案されている。この多重解像度変換の方法としてはウェーブレット変換、ラプラシアンピラミッド等の方法が知られている。
【0004】
ここで、ウェーブレット変換について説明する。ウェーブレット変換は、周波数解析の方法として近年開発されたものであり、ステレオのパターンマッチング、データ圧縮等に応用がなされているものである(OLIVIER RIOUL and MARTIN VETTERLI;Wavelets and Signal Processing,IEEE SP MAGAZINE,P.14-38,OCTOBER 1991、Stephane Mallat;Zero-Crossings of a Wavelet Transform,IEEE TRANSACTIONS ON INFORMATION THEORY,VOL.37,NO.4,P.1019-1033,JULY 1991 )。
【0005】
一方、ラプラシアンピラミッドなる方法は例えば特開平5-244508号、特開平6-96200 、特開平6-301766号に記載されており、このラプラシアンピラミッドは、原画像に対してガウス関数で近似されたようなマスクによりマスク処理を施した後、画像をサブサンプリングして画素数を間引いて半分にすることにより、原画像の1/4のサイズのボケ画像を得、このボケ画像のサンプリングされた画素に値が0の画素を補間して元の大きさの画像に戻し、この画像に対してさらに上述したマスクによりマスク処理を施してボケ画像を得、このボケ画像を原画像から減算して原画像の所定の周波数帯域を表す細部画像を得るものである。この処理を得られたボケ画像に対して繰り返すことにより原画像の1/22Nの大きさのボケ画像をN個作成するものである。ここで、ガウス関数で近似されたようなマスクによりマスク処理を施した画像に対してサンプリングを行なっているため、実際にはガウシアンフィルタを用いているが、ラプラシアンフィルタをかけた場合と同様の処理済み画像が得られる。そしてこのように原画像サイズの画像から順に1/22Nの大きさの低周波数帯域の画像が得られるため、この処理の結果得られた画像はラプラシアンピラミッドと呼ばれる。
【0006】
なお、このラプラシアンピラミッドについては、Burt P.J.,“Fast Filter Transforms for Image Processing”,Computer Graphics and Image Processing 16巻、20〜51頁、1981年;Crowley J.L.,Stern R.M.,“Fast Computation of the Difference of Low・Pass Transform”IEEETrans.on Pattern Analysis and Machine Intelligence、6巻、2号、1984年3月、Mallat S.G.,“A Theory for Multiresolution Signal Decomposition ;The Wavelet Representation”IEEE Trans.on Pattern Analysis and Machine Intelligence 、11巻、7号、1989年7月;Ebrahimi T.,Kunt M.,“Image compression by Gabor Expansion”,Optical Engineering,30巻、7号、873 〜880 頁、1991年7月、およびPieter Vuylsteke,Emile Schoeters,“Multiscale Image Contrast Amplification ”SPIE Vol.2167 Image Processing(1994),pp551 〜560 に詳細が記載されている。
【0007】
一方、放射線画像においては、放射線量が少なく濃度が低い部分において、放射線の量子ノイズが目立ってしまう。このため、放射線画像を表す画像信号をウェーブレット変換等の手法により多重解像度変換して複数の周波数帯域毎の帯域制限画像信号を得、各帯域制限画像信号に対してノイズを低減する処理を施す方法が種々提案されている(特開平6-274615号、同9-212623号等)。
【0008】
例えば特開平6-274615号には、スムージング関数の2次導関数を基本ウェーブレット関数として、画像信号をウェーブレット変換することにより複数の周波数帯域毎の帯域制限画像信号を得、各帯域制限画像信号に対して画像処理を施す際に、所望とする周波数帯域よりも1段階低周波側の周波数帯域の信号値が0となる点を検出し、検出された0点付近が他の部分よりも大きい値となるような強調係数を設定し、この設定された強調係数により所望とする周波数帯域の帯域制限画像信号を強調し、さらに処理が施された帯域制限画像信号と他の帯域制限画像信号とを逆ウェーブレット変換して最終的な処理済み画像信号を得るようにした方法が提案されている。ここで、放射線画像のうち、主要被写体はウェーブレット変換後の複数の周波数帯域の信号のうち比較的低い周波数帯域に表現され、ノイズ成分は比較的高い周波数帯域に表現されるものである。したがって、複数の周波数帯域の信号のうち、低い周波数帯域の信号の値が0となっている0点は、主要被写体と他の部分の境目である画像信号の変曲点、すなわち主要被写体のエッジ部分に関連した部分であり、高い周波数帯域の信号の値が0となっている0点は、ノイズ成分に関連した部分である可能性が高い。このため、比較的低い周波数帯域の信号の0点付近の値が大きくなるような強調係数を設定し、この強調係数をこの0点を求めた周波数帯域よりも1段階高い周波数帯域の信号に乗算することにより、この1段階高い周波数帯域の信号は、主要被写体のエッジ部分に対応する部分が強調された信号とすることができ、これにより主要被写体のエッジに対応する部分のみが強調された信号を得ることができる。
【0009】
また、特開平9-212623号には、画像信号をウェーブレット変換することにより複数の周波数帯域毎の帯域制限画像信号を得、各帯域制限画像信号において所定の閾値以下の信号値を0とする処理を施し、処理が施された帯域制限画像信号を逆ウェーブレット変換することにより最終的な処理済み画像信号を得るようにした方法が提案されている。この方法によれば、ノイズが目立つ比較的信号値の低濃度部分の信号値が0となるため、画像中のノイズと見なせる低濃度部分を0とすることができ、これにより画像中のノイズ成分を除去することができる。
【0010】
【発明が解決しようとする課題】
上記特開平6-274615号に記載された方法は、所望とする周波数帯域よりも1段低周波側の周波数帯域の信号値に基づいて所望とする帯域制限画像信号の強調を行なっているが、所望とする周波数帯域において微小構造を有する被写体を表す信号は、低周波数帯域側の帯域制限画像信号に反映されないため微小構造は強調されず、最終的に得られる処理済み画像信号において微小構造の被写体が目立たないものとなってしまう。
【0011】
また、上記特開平9-212623号に記載された方法は、所定値以下の帯域制限画像信号を全て0としてしまうため、画像中の構造物であっても信号値が所定値以下となるとノイズと見なされて処理済み画像信号から除去されてしまうこととなる。
【0012】
本発明は上記事情に鑑みなされたものであり、画像中に含まれるノイズ成分を目立たなくし、構造物が目立つように処理を施すことができる画像処理方法および装置並びに画像処理方法をコンピュータに実行させるためのプログラムを記録したコンピュータ読取り可能な記録媒体を提供することを目的とするものである。
【0013】
【課題を解決するための手段】
本発明による第1の画像処理方法は、原画像を表す原画像信号から複数の周波数帯域毎の画像を表す帯域制限画像信号を作成し、
前記各帯域制限画像信号により表される各帯域制限画像の各画素における画素ベクトルを算出し、
該画素ベクトルに基づいて、前記各帯域制限画像のノイズ成分およびエッジ成分を分離し、
前記各帯域制限画像信号に対して、前記ノイズ成分に対する平滑化処理および/または前記エッジ成分に対する強調処理を施して、処理済み帯域制限画像信号を得、
該処理済み帯域制限画像信号に基づいて、処理済み画像信号を得ることを特徴とするものである。
【0014】
ここで「画素ベクトル」は、周波数帯域画像のある画素を注目画素とした場合、注目画素の画素値の傾斜方向および傾斜の大きさを表すものである。「画素ベクトル」を求めるに際しては、例えば、注目画素を中心とする複数の方向に対して、注目画素の画素値とその近傍の画素の画素値(近傍画素をある方向にある複数の画素とした場合はその平均値)との差を求め、その差が最も大きい方向あるいは最も小さい方向を決定し、その方向およびその差に基づいて画素ベクトルを算出するとよい。
【0015】
ここで、差が最も大きい方向を画素ベクトルとした場合はその画素ベクトルは信号勾配の方向を表し、差が最も小さい方向を画素ベクトルとした場合はその画素ベクトルは等信号線の方向を表すものとなる。なお、信号勾配の方向に画素ベクトルを求めた場合、その大きさを注目画素とその近傍画素の画素値の差とすれば、画素ベクトルが大きいほどその画素ベクトルを求めた画素はエッジ成分にあるものとなり、画素ベクトルが小さいほどその画素ベクトルを求めた画素は平坦部にあるものと見なせる。逆に、信号勾配の方向に画素ベクトルを求めた場合に、その大きさを注目画素とその近傍画素の画素値の差の逆数とすれば、画素ベクトルが小さいほどその画素ベクトルを求めた画素はエッジ成分にあるものとなり、画素ベクトルが大きいほどその画素ベクトルを求めた画素は平坦部にあるものと見なせる。
【0016】
さらに、等信号線方向に画素ベクトルを求めた場合、その大きさを注目画素とその近傍画素の画素値の差とすれば、画素ベクトルが小さいほどその画素ベクトルを求めた画素はエッジ成分にあるものとなり、画素ベクトルが大きいほどその画素ベクトルを求めた画素は平坦部にあるものと見なせる。逆に等信号線方向に画素ベクトルを求めた場合に、その大きさを注目画素とその近傍画素の画素値の差の逆数とすれば、画素ベクトルが大きいほどその画素ベクトルを求めた画素はエッジ成分にあるものとなり、画素ベクトルが小さいほどその画素ベクトルを求めた画素は平坦部にあるものと見なせる。
【0017】
なお、画素ベクトルの方向としては差が最も大きい方向と2番目に差が大きい方向、あるいは差が最も小さい方向と2番目に差が小さい方向の2種類のものを求めてもよく、この場合、画素ベクトルは2つのベクトルからなるものとなる。
【0018】
さらに、ある注目画素について画素ベクトルを等信号線の方向に求め、画素ベクトルの大きさを上記差の逆数とした場合、上述したように画素ベクトルが大きいほどその注目画素はエッジにあり、画素ベクトルが小さいほどその注目画素は濃度が平坦な部分にあると見なすことができ、平坦な部分においてはその画素はノイズと見なすことができる。
【0019】
以上のことから、「画素ベクトルに基づいて各帯域制限画像のノイズ成分およびエッジ成分を分離」するに際しては、画素ベクトルの方向および/または大きさに応じて、その画素がエッジにあるか平坦部にあるかを判断し、その判断結果に応じて、帯域制限画像信号からノイズ成分やエッジ成分を分離するとよいということが判る。
【0020】
なお、「ノイズ成分に対する平滑化処理」とは、ノイズ成分に対応する画素の画素値を小さくする処理のことをいい、「エッジ成分に対する強調処理」とは、エッジ成分に対応する画素の画素値を大きくする処理のことをいう。
【0021】
なお、本発明による第1の画像処理方法においては、前記各画素の近傍の画素における画素ベクトルにも基づいて、前記ノイズ成分および前記エッジ成分を分離することが好ましい。
【0022】
また、本発明による第1の画像処理方法においては、一の周波数帯域における帯域制限画像の一の画素における画素ベクトルを、該一の周波数帯域よりも低周波数帯域の画像における前記一の画素に対応する画素の画素ベクトルに基づいて修正し(この修正方法を第1の修正方法という)、
該修正された画素ベクトルに基づいて、前記ノイズ成分および前記エッジ成分を分離することが好ましい。
【0023】
ここで、「画素ベクトルを修正する」とは、一の周波数帯域における一の画素の画素ベクトルの方向を、一の周波数帯域よりも低周波数帯域における一の画素に対応する画素の画素ベクトルの方向と一致させることをいう。なお、「画素ベクトルを修正する」に際しては、周辺画素ベクトルも修正の対象としてもよい。
【0024】
さらに、本発明による第1の画像処理方法においては、一の周波数帯域における帯域制限画像の一の画素を含む所定領域の分散値を算出し、
該分散値に基づいて前記一の画素の画素ベクトルを修正するか否かを判断し、前記一の画素の画素ベクトルを修正すると判断された場合は、該一の画素における画素ベクトルを、前記一の周波数帯域よりも低周波数帯域の画像における前記一の画素に対応する画素の画素ベクトルに基づいて修正し(この修正方法を第2の修正方法という)、
該修正された画素ベクトルに基づいて、前記ノイズ成分および前記エッジ成分を分離することが好ましい。
【0025】
ここで、「分散値」とは、上記所定領域の分散値のみならず、画素ベクトルを算出した際の注目画素とその近傍の画素との差分値であってもよい。また、この差分値としては、例えば注目画素近傍8画素から画素ベクトルを求めた場合は、注目画素と近傍8画素の差の和、あるいはこの差の平均値等としてもよい。
【0026】
また、「分散値に基づいて前記一の画素の画素ベクトルを修正するか否かを判断する」とは、ある画素を含む所定領域の分散値が他の領域における分散値よりも小さい場合にはそこを平坦部と見なして低周波数帯域の画像を参照せず、分散値が大きい場合は低周波数帯域の画像を参照するよう判断することをいう。
【0027】
また、「画素ベクトルを修正する」とは、一の周波数帯域における一の画素の画素ベクトルの方向を、一の周波数帯域よりも低周波数帯域における一の画素に対応する画素の画素ベクトルの方向と一致させることをいう。ここでも「画素ベクトルを修正する」に際しては、周辺画素ベクトルも修正の対象としてもよい。
【0028】
また、本発明による第1の画像処理方法において、帯域制限画像信号を生成する方法としては種々の方法を用いることができ、例えば、帯域制限画像信号を原画サイズで持つこともできる。例えば、原画に対して複数サイズのマスクで平滑化し、原画サイズの複数の帯域制限画像信号を得て、各々ノイズ成分およびエッジ成分を分離した帯域制限画像信号を用いて、ノイズ成分に対する平滑化処理やエッジ成分に対する強調処理などを行なうことができる。
【0029】
また、帯域制限画像信号を生成する方法として、多重解像度変換を利用する、つまり、原画像信号を多重解像度変換することにより帯域制限画像信号を作成し、処理済み帯域制限画像信号に対して逆多重解像度変換処理を施すことにより前記処理済み画像信号を得るようにすることもできる。なお、逆多重解像度変換は、前記多重解像度変換に対応するものであって、この逆多重解像度変換を施すことにより、元の信号を復元(可逆/非可逆のいずれでもよい)することができるものであることはいうまでもない。ここで、「原画像信号を多重解像度変換することにより帯域制限画像信号を作成」するに際しては、ラプラシアンピラミッドの手法によるラプラシアンピラミッド分解により、あるいはウェーブレット変換により原画像信号を複数の周波数帯域毎の周波数応答特性を表す信号に変換する方法などを用いることができる。この場合、「逆多重解像度変換」としては、ラプラシアンピラミッド分解により帯域制限画像信号を得た場合はラプラシアンピラミッド再構成の方法が用いられ、ウェーブレット変換により帯域制限画像信号を得た場合は逆ウェーブレット変換が用いられるのはいうまでもない。
【0030】
このように、多重解像度変換を利用する場合には、各解像度レベルにおける帯域制限画像信号をそれぞれ比べたとき、各帯域制限画像信号が表し得る画像の周波数帯域は、それぞれ、一の解像度レベルよりも低解像度(低画素密度)の画像ほど、低周波のものとなる。したがって、多重解像度変換を利用する場合における、上記「一の周波数帯域よりも低周波数帯域」とは、「一の解像度レベルよりも低解像度」と等価となる。よって、例えば、「画素ベクトルを修正する」に際しては、一の解像度レベルの画像における一の画素の画素ベクトルの方向を、一の解像度レベルよりも低解像度レベルの画像における一の画素に対応する画素の画素ベクトルの方向と一致させるとよい。
【0031】
本発明による第2の画像処理方法は、原画像を表す原画像信号から複数の周波数帯域毎の画像を表す帯域制限画像信号を作成し、
前記各帯域制限画像信号により表される各帯域制限画像の各画素における画素ベクトルを算出し、
該画素ベクトルの方向に基づいて各帯域制限画像信号を平滑化して各平滑化帯域制限画像信号を得、
該各平滑化帯域制限画像信号に基づいて、処理済み画像信号を得ることを特徴とするものである。
【0032】
この場合、一の画素の近傍の画素における周辺画素ベクトルを算出し、該周辺画素ベクトルの方向にも基づいて、前記平滑化を行なうことが好ましい。
【0033】
ここで、「画素ベクトルの方向に基づいて各帯域制限画像信号を平滑化」するとは、画素ベクトルの方向に基づいて、エッジ成分が保存されつつエッジ成分に含まれるノイズ(エッジ上のノイズ)が抑制されるように帯域制限画像信号を平滑化することを意味する。例えば、画素ベクトルが等信号線方向のベクトルの場合、画素ベクトルを求めた注目画素とそのベクトル方向にある画素さらにはベクトル方向とは反対側にある画素とを用いて平滑化するとよい。また「平滑化」に際しては、画素ベクトル方向にある画素の画素値の平均値を求める方法や、平滑化フィルタを用いて平滑化する方法などを用いることができる。
【0034】
また「各平滑化帯域制限画像信号に基づいて、処理済み画像信号を得る」に際しては、平滑化帯域制限画像信号を用いて平滑化前の帯域制限画像信号に含まれるノイズ成分を抑制するものである限りどのような方法を用いてもよい。
【0035】
なお、本発明による第2の画像処理方法においては、一の画素の近傍の画素における周辺画素ベクトルを算出し、該周辺画素ベクトルの方向にも基づいて、前記平滑化を行なうことが好ましい。
【0036】
また、本発明による第2の画像処理方法においては、上記第1あるいは第2の修正方法を用いて画素ベクトルを修正し、該修正された画素ベクトルの方向に基づいて、前記平滑化を行なうことが好ましい。
【0037】
さらに、本発明による第2の画像処理方法においては、画素ベクトルの大きさに基づいて、各平滑化帯域制限画像信号により表される各平滑化帯域制限画像のノイズ成分およびエッジ成分を分離し、
前記各平滑化帯域制限画像信号に対して、前記ノイズ成分に対する平滑化処理および/または前記エッジ成分に対する強調処理を施して、処理済み帯域制限画像信号を得、
前記各平滑化帯域制限画像信号に代えて、該各処理済み帯域制限画像信号に基づいて、前記処理済み画像信号を得るようにすれば、一層好ましい。
【0038】
この場合においても、一の画素の近傍の画素における周辺画素ベクトルを算出し、該周辺画素ベクトルの大きさにも基づいて、ノイズ成分およびエッジ成分を分離することが好ましい。
【0039】
なお第1の方法と同様に「ノイズ成分に対する平滑化処理」はノイズ成分に対応する画素の画素値を小さくする処理であり、「エッジ成分に対する強調処理」はエッジ成分に対応する画素の画素値を大きくする処理である。
【0040】
また、この場合、上記第1あるいは第2の修正方法を用いて画素ベクトルを修正し、該修正された画素ベクトルの大きさに基づいて、ノイズ成分およびエッジ成分を分離することが好ましい。
【0041】
また、本発明による第2の画像処理方法において、帯域制限画像信号を生成する方法としては、第1の方法と同様に、種々の方法を用いることができ、例えば、原画像信号を多重解像度変換することにより帯域制限画像信号を作成し、その後所定の処理を施した後に、各平滑化帯域制限画像信号に対して逆多重解像度変換処理を施すことにより、あるいは各平滑化帯域制限画像のノイズ成分およびエッジ成分を分離する場合には、処理済み帯域制限画像信号に対して逆多重解像度変換処理を施すことにより、それぞれ処理済み画像信号を得ることもできる。
【0042】
本発明による第1の画像処理装置は、本発明による第1の画像処理方法を実施するためのものであり、原画像を表す原画像信号から複数の周波数帯域毎の画像を表す帯域制限画像信号を作成する帯域制限画像信号作成手段と、
前記各帯域制限画像信号により表される各帯域制限画像の各画素における画素ベクトルを算出する画素ベクトル算出手段と、
該画素ベクトルに基づいて、前記各帯域制限画像のノイズ成分およびエッジ成分を分離する分離手段と、
前記各帯域制限画像信号に対して、前記ノイズ成分に対する平滑化処理および/または前記エッジ成分に対する強調処理を施して、処理済み帯域制限画像信号を得る処理手段と、
該各処理済み帯域制限画像信号に基づいて、処理済み画像信号を得る画像信号生成手段とを備えたことを特徴とするものである。
【0043】
なお、本発明による第1の画像処理装置においては、前記分離手段は、前記各画素の近傍の画素における画素ベクトルにも基づいて、前記ノイズ成分および前記エッジ成分を分離する手段であることが好ましい。
【0044】
また、一の周波数帯域における帯域制限画像の一の画素における画素ベクトルを、該一の周波数帯域よりも低周波数帯域の画像における前記一の画素に対応する画素の画素ベクトルに基づいて修正する修正手段をさらに備え、
前記分離手段は、前記画素ベクトルに代えて、該修正された画素ベクトルに基づいて、前記ノイズ成分および前記エッジ成分を分離する手段であることが好ましい。
【0045】
さらに、一の周波数帯域における帯域制限画像の一の画素を含む所定領域の分散値を算出する分散値算出手段と、
該分散値に基づいて前記一の画素の画素ベクトルを修正するか否かを判断する判断手段と、
前記一の画素の画素ベクトルを修正すると判断された場合は、該一の画素における画素ベクトルを、前記一の周波数帯域よりも低周波数帯域の画像における前記一の画素に対応する画素の画素ベクトルに基づいて修正する修正手段とをさらに備え、
前記分離手段は、前記画素ベクトルに代えて、該修正された画素ベクトルに基づいて、前記ノイズ成分および前記エッジ成分を分離する手段であることが好ましい。
【0046】
また、本発明による第1の画像処理装置においては、帯域制限画像信号作成手段を、原画像信号を多重解像度変換することにより帯域制限画像信号を作成する多重解像度変換処理手段を有するものとすると共に、画像信号生成手段を、処理済み帯域制限画像信号に対して逆多重解像度変換処理を施すことにより処理済み画像信号を得る逆多重解像度変換処理手段を有するものとすることができる。
【0047】
本発明による第2の画像処理装置は、本発明による第2の画像処理方法を実施するためのものであり、原画像を表す原画像信号から複数の周波数帯域毎の画像を表す帯域制限画像信号を作成する帯域制限画像信号作成手段と、
前記各帯域制限画像信号により表される各帯域制限画像の各画素における画素ベクトルを算出する画素ベクトル算出手段と、
該画素ベクトルの方向に基づいて前記各帯域制限画像信号を平滑化して平滑化帯域制限画像信号を得る平滑化手段と、
該各平滑化帯域制限画像信号に基づいて、処理済み画像信号を得る画像信号生成手段とを備えたことを特徴とするものである。
【0048】
なお、本発明による第2の画像処理装置においては、平滑化手段は、一の画素の近傍の画素における周辺画素ベクトルを求め、該周辺画素ベクトルの方向にも基づいて、前記平滑化を行なう手段であることが好ましい。
【0049】
また、一の周波数帯域における帯域制限画像の一の画素における画素ベクトルを、該一の周波数帯域よりも低周波数帯域の画像における前記一の画素に対応する画素の画素ベクトルに基づいて修正する修正手段をさらに備え、
前記平滑化手段は、前記画素ベクトルの方向に代えて、該修正された画素ベクトルの方向に基づいて、前記平滑化を行なう手段であることが好ましい。
【0050】
さらに、一の周波数帯域における帯域制限画像の一の画素を含む所定領域の分散値を算出する分散値算出手段と、
該分散値に基づいて前記一の画素の画素ベクトルを修正するか否かを判断する判断手段と、
前記一の画素の画素ベクトルを修正すると判断された場合は、該一の画素における画素ベクトルを、前記一の周波数帯域よりも低周波数帯域の画像における前記一の画素に対応する画素の画素ベクトルに基づいて修正する修正手段とをさらに備え、
前記平滑化手段は、前記画素ベクトルの方向に代えて、該修正された画素ベクトルの方向に基づいて、前記平滑化を行なう手段であることが好ましい。
【0051】
また本発明による第2の画像処理装置においては、画素ベクトルの大きさに基づいて、各平滑化帯域制限画像信号により表される各平滑化帯域制限画像のノイズ成分およびエッジ成分を分離する分離手段と、
各平滑化帯域制限画像信号に対して、ノイズ成分に対する平滑化処理および/またはエッジ成分に対する強調処理を施して、処理済み帯域制限画像信号を得る処理手段とをさらに備えたものとすると共に、画像信号生成手段を、各平滑化帯域制限画像信号に代えて、該各処理済み帯域制限画像信号に基づいて、処理済み画像信号を得るものとするのが好ましい。
【0052】
この装置の場合、分離手段は、一の画素の近傍の画素における周辺画素ベクトルの大きさにも基づいて、ノイズ成分およびエッジ成分を分離する手段であることが好ましい。
【0053】
また、一の周波数帯域における帯域制限画像の一の画素における画素ベクトルを、該一の周波数帯域よりも低周波数帯域の画像における前記一の画素に対応する画素の画素ベクトルに基づいて修正する修正手段をさらに備えたものとすると共に、分離手段を、画素ベクトルの大きさに代えて、該修正された画素ベクトルの大きさに基づいて、ノイズ成分およびエッジ成分を分離する手段とするのが好ましい。
【0054】
あるいは、一の周波数帯域における帯域制限画像の一の画素を含む所定領域の分散値を算出する分散値算出手段と、該分散値に基づいて前記一の画素の画素ベクトルを修正するか否かを判断する判断手段と、前記一の画素の画素ベクトルを修正すると判断された場合は、該一の画素における画素ベクトルを、前記一の周波数帯域よりも低周波数帯域の画像における前記一の画素に対応する画素の画素ベクトルに基づいて修正する修正手段とをさらに備えたものとすると共に、分離手段を、画素ベクトルの大きさに代えて、該修正された画素ベクトルの大きさに基づいて、ノイズ成分およびエッジ成分を分離する手段とするのが好ましい。
【0055】
また、本発明による第2の画像処理装置においては、帯域制限画像信号作成手段を、原画像信号を多重解像度変換することにより帯域制限画像信号を作成する多重解像度変換処理手段を有するものとすると共に、画像信号生成手段を、各平滑化帯域制限画像信号に対して、あるいは、処理済み帯域制限画像信号に対して、逆多重解像度変換処理を施すことにより処理済み画像信号を得る逆多重解像度変換処理手段を有するものとすることができる。
【0056】
なお、本発明による第1および第2の画像処理方法を、コンピュータに実行させるためのプログラムとして、コンピュータ読取り可能な記録媒体に記録して提供してもよい。
【0057】
【発明の効果】
本発明による第1の画像処理方法および装置によれば、各帯域制限画像の各画素における画素ベクトルが算出され、この画素ベクトルに基づいて各帯域制限画像のノイズ成分およびエッジ成分が分離される。
【0058】
ここで、上述したように、画素ベクトルを等信号線方向に求めるか信号勾配方向に求めるか、さらには上記差として求めるか上記差の逆数として求めるかによって状況が異なるが、例えば画素ベクトルを等信号線方向に求め、画素ベクトルの大きさを上記差の逆数とした場合、エッジ部分においては画素ベクトルは大きく、平坦部すなわちノイズ部分においては画素ベクトルは小さくなる。したがって、画素ベクトルの大きさに応じて各帯域制限画像のノイズ成分およびエッジ成分を分離することができる。そして、分離されたノイズ成分に対する画素の画素値を低減する平滑化処理および/またはエッジ成分に対する画素値を強調する強調処理を施すことにより、各帯域制限画像においてノイズ成分が目立たなくなり、エッジ成分が目立つようになる。したがって、処理済み帯域制限画像信号を逆多重解像度変換処理することにより得られる処理済み画像信号においても、エッジ成分が目立ちノイズ成分が目立たなくなるため、処理済み画像信号に基づいて高画質の画像を再現することができる。
【0059】
ここで、画素ベクトルを等信号線方向に求め、画素ベクトルの大きさを上記差の逆数とした場合において、画素ベクトルの値が比較的小さい場合は、その画素ベクトルを求めた一の画素は平坦部すなわちノイズにあると見なせるが、画像中の微小なエッジにある可能性もある。一方、その画素がエッジにある場合はその近傍の画素における画素ベクトルは同一の方向を向き、ノイズである場合はその近傍の画素における画素ベクトルはランダムな方向を向く。したがって、各画素の近傍画素の画素ベクトルにも基づくことにより、ある画素がエッジを表すものであるかノイズを表すものであるかの確度を向上させることができ、これによりノイズ成分およびエッジ成分をより正確に分離することができる。
【0060】
また、原画像に含まれる比較的大きなエッジは低周波数帯域の画像においても残るが、ノイズについては低周波帯域画像ほど小さくなるものである。このため、一の周波数帯域における帯域制限画像の一の画素における画素ベクトルを、一の周波数帯域よりも低周波数帯域の画像における一の画素に対応する画素の画素ベクトルの方向と同じにすることにより、その画素がエッジ成分にある場合はその画素ベクトルはよりエッジ成分を表すものとなる。一方、その画素がノイズ成分にある場合は低周波帯域画像の方が細かなノイズが小さくなることから画素ベクトルはランダムな方向を向きかつ大きさはさらに小さくなるため、その画素ベクトルはより平坦部すなわちノイズ成分を表すものとなる。したがって、一の周波数帯域における帯域制限画像の一の画素における画素ベクトルを、一の周波数帯域よりも低周波数帯域の画像における一の画素に対応する画素の画素ベクトルに基づいて修正することにより、その画素がエッジであるかノイズであるかの確度を向上させることができ、これによりノイズ成分およびエッジ成分の分離をより正確に行なうことができる。
【0061】
さらに、例えば原画像信号を多重解像度変換した場合の比較的高解像度レベルの画像など比較的高周波数帯域の画像においては詳細なエッジ情報が表現され、中間周波数帯域の画像においては中間周波数帯域のエッジ情報が、低周波数帯域の画像においては低周波数帯域の大きなエッジ情報が表現されることとなる。一般的に各周波数帯域の画像が持っているエネルギは高周波数帯域ほど小さくなるが、ノイズのエネルギは周波数帯域に依存しないという特性があるため、低周波数帯域の画像ほどS/Nが良好なものとなる。ここで、原画像におけるノイズが混入していない部分(図8(a)参照)は、いずれの帯域制限画像においてもエッジ部分にのみ信号を有することとなるため(図8(b)〜(d)参照)、比較的高周波数帯域の画像において、画素ベクトルを求めた画素を含む所定領域における画素値の分散値が小さければ、低周波帯域画像の画素ベクトルを参照しなくてもその画素ベクトルを求めた注目画素は平坦部にあると見なすことができる。
【0062】
一方、原画像におけるノイズが混入した部分(図9(a))は、高周波数帯域の画像においてはノイズの影響により画素ベクトルの方向が乱されて分散値が大きくなるが(図9(b))、低周波数帯域となるほど信号に対するノイズの影響が小さくなって分散値が小さくなる(図9(c)、(d))。したがって、一の帯域制限画像において画素ベクトルを求めた一の画素を含む所定領域における画素値の分散値が大きい場合は、低周波数帯域の画像における対応する画素ベクトルを参照しなければ、その画素ベクトルを求めた画素が平坦部にあるものであるのかエッジ部分にあるものであるのかが分からない。このため、一の帯域制限画像において上記分散値が大きい場合は、低周波数帯域の画像を参照して、画素ベクトルを低周波帯域画像における対応する画素の画素ベクトルと一致させることにより、平坦部の画素ベクトルはより平坦部を表すものとして、エッジ部分の画素ベクトルはよりエッジ部分を表すものとして修正されることとなる。したがって、修正された画素ベクトルに基づけば、ノイズ成分およびエッジ成分を正確に分離することができることとなる。
【0063】
本発明による第2の画像処理方法および装置によれば、第1の画像処理方法および装置と同様に、各帯域制限画像の各画素における画素ベクトルが算出される。また、本発明による第2の画像処理方法および装置によれば、画素ベクトルの方向に基づいて各帯域制限画像を平滑化している。
【0064】
ここで、原画像にノイズが混入している場合、画像中のエッジ成分にもノイズが含まれることとなるが、第2の方法のように、画素ベクトルあるいは前述の各方法を用いて修正された画素ベクトルの方向に基づいて帯域制限画像信号を平滑化して平滑化帯域制限画像信号を得、該平滑化帯域制限画像信号に基づいて処理済み画像信号を得る方法を用いれば、エッジ成分を失うことなくエッジ上のノイズを抑制でき、またエッジ以外の平坦部のノイズも抑制できるので、最終的には、エッジ上のノイズが目立たなくなるとともに、平坦部におけるノイズも目立たなくなる。
【0065】
また、平滑化の後、さらに、画素ベクトルの大きさに基づいて、平滑化帯域制限画像信号のノイズ成分およびエッジ成分を分離し、平滑化帯域制限画像信号に対して、ノイズ成分に対する平滑化処理および/またはエッジ成分に対する強調処理を施して処理済帯域制限画像信号を得るようにすれば、エッジ上のノイズを目立たせることなくエッジ強調を行なうことができ、また平坦部のノイズを一層低減することができるので、一層高画質の画像を再現することができる。
【0066】
【発明の実施の形態】
以下図面を参照して本発明の実施形態について説明する。
【0067】
図1は本発明の第1の実施形態による画像処理装置の構成を示す概略ブロック図である。図1に示すように本発明の第1の実施形態による画像処理装置は、放射線画像を表す原画像信号Sorgに対してウェーブレット変換を施すウェーブレット変換手段1と、ウェーブレット変換手段1において得られたウェーブレット変換係数信号から後述するようにして画素ベクトルを算出する画素ベクトル算出手段2と、画素ベクトル算出手段2において算出された画素ベクトルを修正する画素ベクトル修正手段3と、画素ベクトル修正手段3において修正された修正画素ベクトルに基づいてウェーブレット変換係数信号を平滑化して平滑化信号を得る平滑化手段4と、修正された画素ベクトルに基づいて平滑化信号からノイズ成分とエッジ成分とを分離する分離手段5と、分離手段5における分離結果に基づいて平滑化信号のエッジ部分を強調し、ノイズ部分を平滑化する処理を施す処理手段6と、処理手段6において処理が施された平滑化信号に対して逆ウェーブレット変換処理を施して処理済み画像信号Sprocを得る逆ウェーブレット変換手段7とを備える。
【0068】
なお、本実施形態は、例えば特開昭55-12492号や特開昭56-11395号等に記録されている蓄積性蛍光体シートを利用した放射線画像情報記録再生システムにおいて、蓄積性蛍光体シートに記録された人体の放射線画像をレーザビーム走査によりデジタル画像信号として読み取ったものを対象としている。なお、放射線画像の読み取りは、図2に示すように、蓄積性蛍光体シート10に対して主走査方向(横方向)にレーザビームを走査させながらシート10を副走査方向(縦方向)に移動させてシート10を2次元走査することにより行なわれたものである。
【0069】
図3はウェーブレット変換手段1の構成を示す概略ブロック図である。なお、本実施形態においては、ウェーブレット変換の各係数が直交する直交ウェーブレット変換を行なうものであり、ウェーブレット変換手段1は、本発明の帯域制限画像信号作成手段として機能するものである。また、逆ウェーブレット変換手段7は、本発明の画像信号生成手段として機能するものである。
【0070】
まず、図3に示すように原画像信号Sorgに対してウェーブレット変換部11においてウェーブレット変換が施される。図4はウェーブレット変換部11において行なわれる処理を示すブロック図である。図4に示すように、原画像信号Sorg(信号LLk)の主走査方向に基本ウェーブレット関数H,Gによりフィルタリング処理を行なうとともに、主走査方向の画素を1画素おきに間引き(図中↓2で表す)、主走査方向の画素数を1/2にする。ここで、関数Hはハイパスフィルタであり、関数Gはローパスフィルタである。さらに、この画素が間引かれた信号のそれぞれに対して副走査方向に関数H,Gによりフィルタリング処理を行なうとともに、副走査方向の画素を1画素おきに間引き、副走査方向の画素数を1/2にして、ウェーブレット変換係数信号(以下単に信号とすることもある)HH1,HL1,LH1,LL1(HHk+1,HLk+1,LHk+1,LLk+1)を得る。ここで、信号LL1は原画像の縦横を1/2に縮小した画像を表し、信号HL1、LH1およびHH1はそれぞれ原画像の1/2縮小画像において縦エッジ、横エッジおよび斜めエッジ成分の画像を表すものとなる。
【0071】
次に、信号LL1に対してさらにウェーブレット変換部11においてウェーブレット変換が施されて、信号HH2,HL2,LH2,LL2が得られる。ここで、信号LL2は原画像の縦横を1/4に縮小した画像を表し、信号HL2、LH2およびHH2はそれぞれ原画像の1/4縮小画像において縦エッジ、横エッジおよび斜めエッジ成分の画像を表すものとなる。
【0072】
以下、上記と同様にして、各周波数帯域において得られるウェーブレット変換係数信号LLkに対するウェーブレット変換をn回繰り返すことによりウェーブレット変換係数信号HH1〜HHn,HL1〜HLn,LH1〜LHn,LL1〜LLnを得る。ここで、n回目のウェーブレット変換により得られるウェーブレット変換係数信号HHn,HLn,LHn,LLnは、原画像信号Sorgと比較して主副各方向の画素数が(1/2)となっているため、各ウェーブレット変換係数信号はnが大きいほど周波数帯域が低く、原画像データの周波数成分のうち低周波数成分を表すデータとなる。したがって、ウェーブレット変換係数信号HHk(k=0〜n、以下同様)は、原画像信号Sorgの主副両方向の周波数の変化を表すものであり、kが大きいほど低周波信号となる。またウェーブレット変換係数信号HLkは原画像信号Sorgの主走査方向の周波数の変化を表すものであり、kが大きいほど低周波信号となる。さらにウェーブレット変換係数信号LHkは原画像信号Sorg の副走査方向の周波数の変化を表すものであり、kが大きいほど低周波信号となる。
【0073】
ここで、図5にウェーブレット変換係数信号を複数の周波数帯域毎に示す。なお、図5においては便宜上2回目のウェーブレット変換を行った状態までを表すものとする。なお、図5において信号LL2は原画像を主副各方向が1/4に縮小した画像を表すものとなっている。
【0074】
なお、ウェーブレット変換係数信号HHk,HLk,LHk,LLk(k=1〜n)のうち、信号HHk,HLk,LHkはその周波数帯域におけるエッジ成分を表すものであり、換言すれば原画像における特定の周波数帯域(帯域制限画像特性)を有する画像を表すもの、すなわち主にその周波数帯域における画像のコントラストを表すものとなっている。また、ある周波数帯域におけるウェーブレット変換係数信号HHk,HLk,LHkの画素の総和は0に近い値となる。また、ウェーブレット変換係数信号LLkは上述したように原画像を縮小した画像を表すものとなっている。なお、本実施形態においては、ウェーブレット変換係数信号HHk,HLk,LHkを帯域制限画像信号と称し、ウェーブレット変換係数信号LLkを解像度信号と称し、帯域制限画像信号および解像度信号を総称してウェーブレット変換係数信号と称するものとする。
【0075】
画素ベクトル算出手段2においては以下のようにして画素ベクトルが算出される。図6は画素ベクトルの算出方法を説明するための図である。なお、この画素ベクトルの算出は全周波数帯域のウェーブレット変換係数信号により表される画像における全画素について行なわれる。ある画素を注目画素(図6において黒色で示す)とした場合において、注目画素を中心とした7×7の領域を設定する。そしてこの領域内における注目画素近傍の48画素について、注目画素を中心とした0〜15の16方向における一定長さ分(図6においては3画素分、例えば2の方向における斜線画素)の画素値の平均値を算出し、この平均値と注目画素の画素値との差が最も小さい方向を決定する。なお、図7に示すように注目画素の近傍8画素を用いて、8方向における注目画素と隣接画素との差を求め、この差が最も小さい方向を決定してもよい。このようにして求められた方向は濃度の傾きが最も小さい方向であり、等信号線すなわち信号勾配の法線方向を向くものである。そして、この方向と上述したように求められた差の逆数を大きさに持つベクトルを画素ベクトルとして求める。したがって、この画素ベクトルは、等信号線の方向において濃度差が小さいほど大きいものとなる。なお、上記差が0の場合は画素ベクトルの大きさは無限大となってしまうため、画素ベクトルの大きさに上限値(例えば8ビットの場合は255)を設定することが好ましい。
【0076】
なお、上述した平均値と注目画素の画素値との差(あるいは近傍画素と注目画素との差、以下単に差とする)が最も大きい方向は信号勾配方向となり、この方向に画素ベクトルを求めることもできる。この場合、画素ベクトルの大きさは上記差をそのまま用いることができる。なお、本実施形態においては画素ベクトルは等信号線方向を向き、画素ベクトルの大きさは上記差の逆数として説明する。
【0077】
図1に示すように、画素ベクトル修正手段3は、一の周波数帯域(本例においては一の解像度レベル)における帯域制限画像の注目画素(一の画素)を含む所定領域の分散値を算出する分散値算出手段3aと、該分散値に基づいて注目画素の画素ベクトルを修正するか否かを判断する判断手段3bと、注目画素の画素ベクトルを修正すると判断された場合は、該注目画素における画素ベクトルを、前記一の周波数帯域よりも低周波数帯域の画像(本例においては解像度レベルが低下した低解像度画像)における注目画素に対応する画素の画素ベクトルに基づいて修正する修正手段3cとからなる構成である。
【0078】
この画素ベクトル修正手段3においては以下のようにして分散値が算出された後画素ベクトルが修正される。原画像信号をウェーブレット変換した場合、比較的高周波数帯域の画像においては詳細なエッジ情報が表現され、中間周波数帯域の画像においては中間周波数帯域のエッジ情報が、低周波数帯域の画像においては低周波数帯域の大きなエッジ情報が表現されることとなる。一般的に各周波数帯域の画像が持っているエネルギは高周波数帯域ほど小さくなるが、ノイズのエネルギは周波数帯域に依存しないという特性があるため、低周波数帯域の画像ほどS/Nが良好なものとなる。ここで、原画像におけるノイズが混入していない部分(図8(a)参照)は、いずれの帯域制限画像においてもエッジ部分にのみ信号を有することとなるため(図8(b)〜(d)参照)、比較的高帯域制限画像において、画素ベクトルを求めた画素を含む所定領域における画素値の分散値が小さければ、低周波帯域画像の画素ベクトルを参照しなくてもその画素ベクトルを求めた注目画素は平坦部にあると見なすことができる。
【0079】
一方、原画像におけるノイズが混入した部分(図9(a))は、高帯域制限画像においてはノイズの影響により画素ベクトルの方向が乱されて分散値が大きくなるが(図9(b))、低周波数帯域となるほど信号に対するノイズの影響が小さくなって分散値が小さくなる(図9(c)、(d))。したがって、高帯域制限画像において画素ベクトルを求めた注目画素を含む所定領域における画素値の分散値が大きい場合は、低周波数帯域の画像における対応する画素ベクトルを参照しなければ、その画素ベクトルを求めた注目画素が平坦部にあるものであるのかエッジ部分にあるものであるのかが分からない。
【0080】
このため、分散値算出手段3aは、画素ベクトルを求めた注目画素を中心とする例えば3×3の領域内における画素値の分散値を全画素について求める。判断手段3bは、分散値算出手段3aによって求められた分散値に基づいて、分散値が同一周波数帯域の画像における他の領域と比較して相対的に小さい場合には、そこは平坦部と見なして画素ベクトルの修正を行なう必要がないと判断する一方、分散値が同一周波数帯域の画像における他の領域と比較して相対的に大きい場合には、そこは平坦部であるかエッジ部分であるか分からないため、画素ベクトルの修正を行なう必要があると判断する。修正手段3cは、判断手段3bの判断結果に基づいて、画素ベクトルの修正を行なう必要がないと判断されたとき(分散値が他の領域と比較して相対的に小さいとき)には、画素ベクトル算出手段2において求められた画素ベクトルをそのまま修正画素ベクトルとする一方、修正を行なう必要があると判断されたとき(分散値が他の領域と比較して相対的に大きいとき)には、低周波帯域画像(本例においては解像度レベルが低下した低解像度画像)における対応する画素の画素ベクトルをその注目画素の修正画素ベクトルとする。これにより、平坦部の画素ベクトルはより平坦部を表すものとして、エッジ部分の画素ベクトルはよりエッジ部分を表すものとして修正されることとなり、その画素ベクトルを求めた注目画素が平坦部にあるかエッジ部分にあるかの確度を向上させることができる。
【0081】
なお、画素ベクトル修正手段3においては、画素ベクトルを算出した際の注目画素とその近傍の画素との差分値を分散値として求めてもよい。この差分値としては、例えば注目画素近傍8画素から画素ベクトルを求めた場合は、注目画素と近傍8画素の差の和、あるいはこの差の平均値等としてもよい。
【0082】
平滑化手段4においては修正画素ベクトルに基づいて以下のようにして平滑化処理が行なわれる。なお、平滑化処理は各周波数帯域の帯域制限画像信号HHk,HLk,LHkおよび最低解像度の解像度信号LLnに対して行なわれる。図10は平滑化手段4における平滑化処理を説明するための図である。注目画素を中心とする3×3の領域において各画素の画素値が図10(a)に示す値を有する場合、画素ベクトル(修正画素ベクトル)は図10(b)に示すものとなる。そして、図10(b)に斜線で示すように注目画素と画素ベクトル方向にある画素および画素ベクトル方向と反対方向にある画素を用いて平滑化フィルタによりフィルタリングを行なう。ここで、平滑化フィルタとしては、方向性を持っているフィルタであればどのようなフィルタを用いてもよく、例えば図11(a)に示す平均値フィルタや図11(b)に示す平滑化フィルタを用いることができる。図11(a)に示す平均値フィルタを用いた場合、図10(a)に示す画素値は図12(a)に示すように平滑化されて注目画素の画素値は101となる。また、図11(b)に示す平滑化フィルタを用いた場合、図12(b)に示すように注目画素の画素値は141となるように平滑化される。このように平滑化を行なうことにより、例えばエッジ上にノイズが混入されている場合に、そのノイズを目立たなくすることができる。また、エッジ上でなくとも平坦部において平滑化を行なうことにより、平坦部にあるノイズを目立たなくすることができる。なお、平滑化されたウェーブレット変換係数信号を平滑化信号(平滑化帯域制限画像信号)とする。
【0083】
なお、ここでは画素ベクトル方向にある画素および画素ベクトル方向と反対方向にある画素を用いて平滑化を行なっているが、画素ベクトル方向にある画素のみを用いて平滑化を行なってもよい。この場合、図10(a)に示す注目画素は99(=(101+98)/2)の値を有するように平滑化される。
【0084】
また、注目画素の近傍48画素から画素ベクトルを求めた場合において、画素ベクトルの方向が図13に示す方向であった場合には、図13の斜線に示すように注目画素および画素ベクトル方向の画素(さらには画素ベクトルと反対方向の画素)を用いて平滑化を行えばよい。具体的には、図13に示す斜線で示す全7画素における画素値の平均値を注目画素の画素値とすればよい。
【0085】
分離手段5においては画素ベクトルや修正画素ベクトルの大きさに基づいて、以下のようにしてエッジ成分とノイズ成分とが分離される。すなわち、上記画素ベクトル修正手段3において求められた修正画素ベクトルが大きい画素についてはエッジ成分にあるものと見なし、修正画素ベクトルが小さい画素については平坦部すなわちノイズ成分にあるものと見なし、各周波数帯域の平滑化信号により表される画像の各画素をラベリングすることにより、エッジ成分とノイズ成分とを分離する。
【0086】
なお、画素ベクトルが小さい場合には、注目画素は平坦部すなわちノイズ成分にあるものと見なせるが、微小エッジ部分にある可能性もある。このため、分離手段5においては、画素ベクトルが小さい場合には注目画素の画素ベクトルとその近傍画素の画素ベクトルの方向とを参照し、図14(a)に示すように近傍の画素ベクトルが注目画素の画素ベクトルと同一方向を向いている場合にはその注目画素をエッジ成分にあるものと見なし、図14(b)に示すように近傍の画素ベクトルが注目画素の画素ベクトルと異なる方向を向いている場合には、その注目画素をノイズ成分にあるものと見なすようにすることが好ましい。なお、図14においては各画素の数字は画素ベクトルの方向(図7参照)を示すものである。
【0087】
処理手段6においては分離手段5において求められたラベリングの結果に基づいてエッジ成分にあると見なされた画素については画素値を大きくする強調処理を、ノイズ成分にあると見なされた画素については画素値を小さくする平滑化処理を行なう。なお、この処理は分離手段5において求められたエッジ成分およびノイズ成分に関する情報により、画素そのものを変更する処理すなわち各帯域制限画像における局所的なコントラストを変更するための処理であるため、各周波数帯域における画像のコントラストを表す平滑化された帯域制限画像信号(平滑化信号)HHk,HLk,LHkに対してのみ処理が行なわれ、処理済み帯域制限画像信号HHk′,HLk′,LHk′(k=1〜n)が得られる。なお、解像度信号については平滑化手段4において平滑化処理が施されているため、平滑化処理が施された解像度信号を処理済み解像度信号LLn′とする。なお、これらを総称して処理済み信号HHk′,HLk′,LHk′(k=1〜n),LLn′とする。
【0088】
また、処理手段6においてエッジ成分と見なされた画素を強調する際は、画素値に応じて強調の程度を変更するようにしてもよい。すなわち、画素値が大きい場合にさらに画素値を大きくする強調処理を施すと、エッジが強調されすぎて処理済み画像信号Sprocを再生することにより得られる画像にオーバーシュートあるいはアンダーシュートが発生するおそれがある。したがって、画素値が大きい場合にはその強調の程度を低くすることによりオーバーシュート、アンダーシュートの発生を防止することができる。
【0089】
次いで、上記のようにして得られた処理済み信号HHk′,HLk′,LHk′,LLn′に対して逆ウェーブレット変換手段7において逆ウェーブレット変換が施される。図15は、逆ウェーブレット変換手段7の構成を示す概略ブロック図である。図15に示すように、最低周波数帯域の処理済み信号HHn′,HLn′,LHn′,LLn′に対して逆ウェーブレット変換部12において逆ウェーブレット変換を施して処理済み信号LLn−1′を得る。図16は逆ウェーブレット変換部12において行なわれる処理を示すブロック図である。図16に示すように処理済み信号LLn′(LLk′)および処理済み信号LHn′(LHk′)の副走査方向に対して画素間に1画素分の間隔をあける処理を行なうとともに(図中↑2で表す)、関数G,Hに対応する逆ウェーブレット変換関数G′,H′によりフィルタリング処理を副走査方向に施してこれらを加算し、さらに加算により得られた信号(第1の加算信号とする)の主走査方向に対して画素間に1画素分の間隔をあける処理を行なうとともに、関数G′によりフィルタリング処理を主走査方向に施して第1の信号を得る。一方、信号HLn′(HLk′)および信号HHn′(HHk′)の副走査方向に対して画素間に1画素分の間隔をあける処理を行なうとともに、関数G′,H′によりフィルタリング処理を副走査方向に施してこれらを加算し、さらに加算により得られた信号(第2の加算信号とする)の主走査方向に対して画素間に1画素分の間隔をあける処理を行なうとともに、関数H′によりフィルタリング処理を主走査方向に施して第2の信号を得る。そして第1および第2の信号を加算して処理済み信号LLn−1′(LLk−1′)を得る。
【0090】
次に、処理済み信号HHn−1′,HLn−1′,LHn−1′,LLn−1′に対して上記と同様に逆ウェーブレット変換部12において逆ウェーブレット変換を行なって、処理済み信号LLn−2′を得る。そして、以下上記と同様にして逆ウェーブレット変換を最高周波数帯域まで繰り返すことにより処理済み画像信号Sprocが得られる。
【0091】
次いで、第1の実施形態の動作について説明する。図17は第1の実施形態の動作を示すフローチャートである。まず、原画像信号Sorgに対してウェーブレット変換手段1においてウェーブレット変換が行なわれて各周波数帯域毎のウェーブレット変換係数信号が得られる(ステップS1)。次に、各ウェーブレット変換係数信号に基づいて画素ベクトル算出手段2において上述したように画素ベクトルが算出される(ステップS2)。画素ベクトルの算出の後、画素ベクトル修正手段3において画素ベクトルが修正されて修正画素ベクトルが求められる(ステップS3)。そして、修正画素ベクトルに基づいて、各ウェーブレット変換係数信号に対して平滑化手段4において平滑化処理が施されて平滑化信号が得られる(ステップS4)。
【0092】
次に分離手段5において画素ベクトル修正手段3において求められた修正画素ベクトルに基づいて、平滑化信号に対してノイズ成分とエッジ成分とを分離する処理が施される(ステップS5)。そして、処理手段6において分離手段5における分離の結果に基づいて、平滑化された帯域制限画像信号に対してエッジ成分と見なされた画素の画素値を大きくする強調処理、およびノイズ成分と見なされた画素の画素値を小さくする平滑化処理が行なわれ、処理済み信号HHk′,HLk′,LHk′,LLn′が得られる(ステップS6)。そして、逆ウェーブレット変換手段7において処理済み信号HHk′,HLk′,LHk′,LLn′に対して逆ウェーブレット変換を施して処理済み画像信号Sprocが得られる(ステップS7)。
【0093】
ここで、各周波数帯域において得られる処理済み信号HHk′,HLk′,LHk′,LLn′はノイズ成分が低減され、エッジ成分が強調される処理が施されているため、最終的に得られる処理済み画像信号Sprocにおいても、ノイズ成分が低減され、エッジ成分が強調されたものとなる。したがって、ノイズが目立たなくなるとともにエッジが明瞭となった高画質の画像を再現可能な処理済み画像信号Sprocを得ることができる。
【0094】
また、原画像にノイズが混入している場合、エッジ成分にもノイズが含まれることとなる。この場合、画素ベクトルに基づいてノイズ成分およびエッジ成分を分離してエッジ成分を強調すると、エッジ成分に含まれるノイズをも強調してしまうこととなる。本実施形態においては、画素ベクトルや修正画素ベクトルの方向に基づいて平滑化手段4において平滑化を行なっているため、エッジ成分を失うことなくエッジ上のノイズ成分を抽出でき、またエッジ以外の平坦部のノイズも抽出できるので、最終的には、エッジ上のノイズが目立たなくなるとともに、平坦部におけるノイズも目立たなくなり、高画質の画像を再現できる。
【0095】
また、画素ベクトルの大きさに基づいて、平滑化された帯域制限画像信号(すなわち平滑化信号)のノイズ成分およびエッジ成分を分離した後、平滑化信号に対して、ノイズ成分に対する平滑化処理やエッジ成分に対する強調処理を施して処理済み帯域制限画像信号を得、この処理済み帯域制限画像信号を逆ウェーブレット変換して処理済み画像信号Sprocを得ているので、エッジ上のノイズを目立たせることなくエッジ強調を行なうことができ、また平坦部のノイズを一層低減することができるので、一層高画質の画像を再現することができる。
【0096】
なお、上記第1の実施形態においては、処理手段6においてエッジ成分にあると見なされた画素の強調およびノイズ成分にあると見なされた画素の平滑化の双方の処理を行なっているが、いずれか一方の処理のみを行なうことによっても、ノイズが目立たなくなりエッジが目立つような画像を再現することができる。
【0097】
また、上記第1の実施形態においては、ウェーブレット変換係数信号を平滑化手段4において平滑化しているが、これに限定されるものではなく、図18に示す第2の実施形態のように、第1の実施形態における平滑化手段4を取り除いた構成とすることにより、平滑化することなく、分離手段5においてウェーブレット変換係数信号に対して直接エッジ成分とノイズ成分とを分離する処理を施し、平滑化されていない帯域制限画像信号に対して処理手段6において処理を行なうようにしてもよい。なお、この場合、処理手段6においてエッジ成分にあると見なされた画素に対して強調処理を行なうと、エッジ成分に含まれるノイズを強調するという問題が生じ得るので、第1の実施形態に示した平滑化手段4を備えたものの方が、画質の上で有利である。
【0098】
次いで、本発明の第3の実施形態について説明する。図19は本発明の第3の実施形態による画像処理装置の構成を示す概略ブロック図である。図19に示すように本発明の第3の実施形態による画像処理装置は、放射線画像を表す原画像信号Sorgに対してウェーブレット変換を施すウェーブレット変換手段21と、ウェーブレット変換手段21において得られたウェーブレット変換係数信号から画素ベクトルを算出する画素ベクトル算出手段22と、画素ベクトル算出手段22において算出された画素ベクトルを修正する画素ベクトル修正手段23と、画素ベクトル修正手段23において修正された修正画素ベクトルに基づいてウェーブレット変換係数信号を平滑化して平滑化信号を得る平滑化手段24と、平滑化手段24において得られた平滑化信号に対して逆ウェーブレット変換処理を施して処理済み画像信号Sprocを得る逆ウェーブレット変換手段27とを備える。上記第1の実施形態との違いは、分離手段5を設けておらず、平滑化手段24により得られる平滑化信号を逆ウェーブレット変換手段27において逆ウェーブレット変換して処理済み画像信号Sprocを得る構成とした点である。
【0099】
なお、ウェーブレット変換手段21、画素ベクトル算出手段22、画素ベクトル修正手段23、平滑化手段24および逆ウェーブレット変換手段27において行なわれる処理は上記第1の実施形態におけるウェーブレット変換手段1、画素ベクトル算出手段2、画素ベクトル修正手段3、平滑化手段4および逆ウェーブレット変換手段7において行なわれる処理と同一であるため、ここでは詳細な説明は省略する。
【0100】
図20は第3の実施形態の動作を示すフローチャートである。図20に示すように、まず、原画像信号Sorgに対してウェーブレット変換手段21においてウェーブレット変換が行なわれて各周波数帯域毎のウェーブレット変換係数信号が得られる(ステップS11)。次に、各ウェーブレット変換係数信号に基づいて画素ベクトル算出手段22において上述したように画素ベクトルが算出される(ステップS12)。画素ベクトルの算出の後、画素ベクトル修正手段23において画素ベクトルが修正されて修正画素ベクトルが求められる(ステップS13)。そして、修正画素ベクトルに基づいて、各ウェーブレット変換係数信号に対して平滑化手段4において平滑化処理が施されて平滑化信号が得られる(ステップS14)。そして、平滑化信号を処理済み信号とし、逆ウェーブレット変換手段27において処理済み信号に対して逆ウェーブレット変換を施して処理済み画像信号Sprocが得られる(ステップS15)。
【0101】
ここで、原画像にノイズが混入している場合、画像中のエッジ成分にもノイズが含まれることとなる。このため、画素ベクトルに基づいて平滑化を行なうことにより、エッジ成分に含まれるノイズが目立たなくなるとともに、平坦部におけるノイズも目立たなくなる。したがって、第3の実施形態のように各周波数帯域のウェーブレット変換係数信号に対して平滑化処理を施すことにより、各帯域制限画像においてノイズ成分が目立たなくなり、エッジ成分がより目立つようになる。したがって、平滑化された帯域制限画像信号を逆ウェーブレット変換することにより得られる処理済み画像信号Sprocにおいても、エッジ成分が目立ちノイズ成分が目立たなくなるため、処理済み画像信号Sprocに基づいて高画質の画像を再現することができる。
【0102】
ここで、第3の実施形態においては、第1の実施形態と同様に、画素ベクトルや修正画素ベクトルの方向に基づいて平滑化手段24において平滑化を行なっているため、エッジ成分を失うことがなく、またエッジ以外の平坦部のノイズを抑制することができるので、エッジが保存されたノイズの目立たない、高画質の画像を再現できる。
【0103】
なお、上記第1〜第3の実施形態においては、画素ベクトル算出手段2,22において、注目画素の画素値とその近傍画素の画素値の平均値(あるいは近傍画素の画素値)との差が最も小さい方向を画素ベクトルの方向として求めているが、上記差が2番目に小さい方向を第2の画素ベクトルとして求めてもよい。あるいは信号勾配方向に画素ベクトルを求める場合には、上記差が2番目に大きい方向を第2の画素ベクトルとして求めてもよい。このように第2の画素ベクトルを求めることにより、例えば図21(a)に示すようにエッジ成分が屈曲して存在する場合においては図21(b)に示すように2つの画素ベクトルが求められる。そして、平滑化手段4,24において第1および第2の画素ベクトルの双方を用いて平滑化を行なうことにより、エッジ成分をその方向性を維持してより正確に平滑化することができる。
【0104】
また、画像に含まれる比較的大きなエッジは低周波帯域画像においても残るが、ノイズについては低周波帯域画像ほど小さくなるものである。このため、ある周波数帯域における帯域制限画像の一の画素における画素ベクトルの方向を、低周波数帯域の画像における一の画素に対応する画素の画素ベクトルの方向と同じにすることにより、その画素がエッジ成分にある場合はその画素ベクトルはよりエッジ成分を表すものとなる。一方、その画素がノイズ成分にある場合は低周波帯域画像の方が細かなノイズが小さくなることから、画素ベクトルはランダムな方向を向きかつ大きさはさらに小さくなるため、その画素ベクトルはより平坦部すなわちノイズ成分を表すものとなる。したがって、上記第1〜第3の実施形態においては、画素ベクトル修正手段3,23において、上記分散値に基づく処理に代えてある周波数帯域のある画素における画素ベクトルの方向を、さらに低周波数帯域の画像における上記ある画素に対応する画素の画素ベクトルの方向と同じになるように修正することにより、その画素がエッジ成分にあるかノイズ成分にあるかの確度を向上させることができる。特に第1および第2の実施形態においては、これにより分離手段5におけるノイズ成分およびエッジ成分の分離を正確に行なうことができる。
【0105】
さらに、上記第1〜第3の実施形態においては、画素ベクトル修正手段3,33において画素ベクトルを修正しているが、画素ベクトル算出手段2,22において算出された画素ベクトルをそのまま用いて平滑化およびノイズ成分とエッジ成分との分離を行なってもよい。
【0106】
一方、画像信号の保存形式としては、JPEG、GIF、TIFF等種々の形式が存在するが、近年画像信号を解像度毎に階層的に分解し、各階層毎のデータ(階層データ)を符号化して圧縮保管するファイル形式が提案されている。このファイル形式は、具体的には原画像信号をウェーブレット変換等により複数の解像度毎の階層データに分解し、この分解された各解像度毎の階層データを階層順に符号化して1つのファイルとして圧縮して保管するものである。したがって、このようなファイル形式の画像信号を作成する場合に、本発明による処理を同時に行なうことにより、ノイズが低減されかつエッジが目立つ画像を再現可能なファイル形式の画像データを作成することができる。また、本発明による処理と、画像信号を階層化して圧縮する処理とを同時に行なうことができるため、効率よく画像信号を圧縮することができる。
【0107】
また、例えば人体の胸部のように軟部および骨部から構成された被写体に互いにエネルギの異なる放射線を照射して複数の放射線画像を得、これら複数の放射線画像を読み取ってこれら複数の放射線画像のそれぞれを表す複数の画像信号を得、これら複数の画像信号に基づいてエネルギーサブトラクション処理を行なって被写体の主として軟部が記録された軟部画像を表す軟部画像信号もしくは被写体の主として骨部が記録された骨部画像を表す骨部画像信号を求め、求められた軟部画像もしくは骨部画像を観察の対象とする場合がある。この場合において、軟部画像もしくは骨部画像のノイズ成分を低減するために、骨部画像信号に対して平滑化処理を施して第1の平滑化画像信号を求め、原画像信号から第1の平滑化画像信号を減算することにより軟部画像を表す軟部画像信号を求める第1の処理を行ない、さらに軟部画像信号に対して平滑化処理を施して第2の平滑化画像信号を求め、原画像信号から第2の平滑化画像信号を減算することにより、ノイズが除去された骨部画像信号を求める第2の処理を行ない、上記第1および第2の処理を繰り返すことにより、ノイズ成分を低減するようにしたエネルギーサブトラクション画像生成方法が提案されている(例えば特開平5-236351号)。ここで、このようなエネルギーサブトラクション画像生成方法において、平滑化画像を求める際に、本発明による処理を施すようにしてもよいものである。このように、エネルギーサブトラクション画像生成方法において、本発明による処理を施すことによって平滑化画像信号を求めることにより、ノイズ成分のみが低減されてエッジ成分を目立つものとすることができ、これにより高画質の軟部画像もしくは骨部画像を得ることができる。
【0108】
また、上記第1〜第3の実施形態においては、原画像信号Sorg に対してウェーブレット変換を施すことにより得られる信号に対して、上述したような画素ベクトルに基づく処理を施しているが、ウェーブレット変換のみならずラプラシアンピラミッド等、原画像信号Sorg を多重解像度変換する手法において得られる周波数帯域毎の帯域制限画像信号、あるいは多重解像度変換処理以外の方法を利用して得た帯域制限画像信号に対しても、上記と同様に処理を施すことができる。
【図面の簡単な説明】
【図1】本発明の第1の実施形態による画像処理装置の構成を示す概略ブロック図
【図2】本発明に用いられる原画像信号の読み取り方式を表す図
【図3】ウェーブレット変換手段の構成を示す概略ブロック図
【図4】ウェーブレット変換部において行なわれる処理を示す図
【図5】ウェーブレット変換係数信号を複数の周波数帯域毎に示す図
【図6】画素ベクトルの算出を説明するための図(その1)
【図7】画素ベクトルの算出を説明するための図(その2)
【図8】ウェーブレット変換係数信号を示す図(その1)
【図9】ウェーブレット変換係数信号を示す図(その2)
【図10】平滑化を説明するための図(その1)
【図11】平滑化フィルタを示す図
【図12】平滑化された画素値を示す図
【図13】平滑化を説明するための図(その2)
【図14】分離手段における画素ベクトルの参照結果を示す図
【図15】逆ウェーブレット変換手段の構成を示す概略ブロック図
【図16】逆ウェーブレット変換部において行なわれる処理を示す図
【図17】第1の実施形態の動作を示すフローチャート
【図18】本発明の第2の実施形態による画像処理装置の構成を示す概略ブロック図
【図19】本発明の第3の実施形態による画像処理装置の構成を示す概略ブロック図
【図20】第3の実施形態の動作を示すフローチャート
【図21】平滑化の他の例を説明するための図
【符号の説明】
1,21 ウェーブレット変換手段
2,22 画素ベクトル算出手段
3,23 画素ベクトル修正手段
4,24 平滑化手段
5 分離手段
6 処理手段
7,27 逆ウェーブレット変換手段
11 ウェーブレット変換部
12 逆ウェーブレット変換部

Claims (39)

  1. 原画像を表す原画像信号から複数の周波数帯域毎の画像を表す帯域制限画像信号を作成し、
    前記各帯域制限画像信号により表される各帯域制限画像の各画素における画素ベクトルを算出し、
    一の周波数帯域における帯域制限画像の一の画素における画素ベクトルを、該一の周波数帯域よりも低周波数帯域の画像における前記一の画素に対応する画素の画素ベクトルに基づいて修正し、
    該修正された画素ベクトルに基づいて、前記各帯域制限画像のノイズ成分およびエッジ成分を分離し、
    前記各帯域制限画像信号に対して、前記ノイズ成分に対する平滑化処理および/または前記エッジ成分に対する強調処理を施して、処理済み帯域制限画像信号を得、
    該処理済み帯域制限画像信号に基づいて、処理済み画像信号を得ることを特徴とする画像処理方法。
  2. 原画像を表す原画像信号から複数の周波数帯域毎の画像を表す帯域制限画像信号を作成し、
    前記各帯域制限画像信号により表される各帯域制限画像の各画素における画素ベクトルと、一の周波数帯域における帯域制限画像の一の画素を含む所定領域の分散値とを算出し、
    該分散値に基づいて前記一の画素の画素ベクトルを修正するか否かを判断し、
    前記一の画素の画素ベクトルを修正すると判断された場合は、該一の画素における画素ベクトルを、前記一の周波数帯域よりも低周波数帯域の画像における前記一の画素に対応する画素の画素ベクトルに基づいて修正し、
    該修正された画素ベクトルに基づいて、前記各帯域制限画像のノイズ成分およびエッジ成分を分離し、
    前記各帯域制限画像信号に対して、前記ノイズ成分に対する平滑化処理および/または前記エッジ成分に対する強調処理を施して、処理済み帯域制限画像信号を得、
    該処理済み帯域制限画像信号に基づいて、処理済み画像信号を得ることを特徴とする画像処理方法。
  3. 前記各画素の近傍の画素における画素ベクトルにも基づいて、前記ノイズ成分および前記エッジ成分を分離することを特徴とする請求項1または2記載の画像処理方法。
  4. 前記原画像信号を多重解像度変換することにより前記帯域制限画像信号を作成し、前記処理済み帯域制限画像信号に対して逆多重解像度変換処理を施すことにより前記処理済み画像信号を得ることを特徴とする請求項1から3いずれか1項記載の画像処理方法。
  5. 原画像を表す原画像信号から複数の周波数帯域毎の画像を表す帯域制限画像信号を作成し、
    前記各帯域制限画像信号により表される各帯域制限画像の各画素における画素ベクトルを算出し、
    一の周波数帯域における帯域制限画像の一の画素における画素ベクトルを、該一の周波数帯域よりも低周波数帯域の画像における前記一の画素に対応する画素の画素ベクトルに基づいて修正し、
    該修正された画素ベクトルの方向に基づいて、前記各帯域制限画像信号を平滑化して各平滑化帯域制限画像信号を得、
    該各平滑化帯域制限画像信号に基づいて、処理済み画像信号を得ることを特徴とする画像処理方法。
  6. 原画像を表す原画像信号から複数の周波数帯域毎の画像を表す帯域制限画像信号を作成し、
    前記各帯域制限画像信号により表される各帯域制限画像の各画素における画素ベクトルと、一の周波数帯域における帯域制限画像の一の画素を含む所定領域の分散値とを算出し、
    該分散値に基づいて前記一の画素の画素ベクトルを修正するか否かを判断し、
    前記一の画素の画素ベクトルを修正すると判断された場合は、該一の画素における画素ベクトルを、前記一の周波数帯域よりも低周波数帯域の画像における前記一の画素に対応する画素の画素ベクトルに基づいて修正し、
    該修正された画素ベクトルの方向に基づいて、前記各帯域制限画像信号を平滑化して各平滑化帯域制限画像信号を得、
    該各平滑化帯域制限画像信号に基づいて、処理済み画像信号を得ることを特徴とする画像処理方法。
  7. 一の画素の近傍の画素における周辺画素ベクトルを算出し、該周辺画素ベクトルの方向にも基づいて、前記平滑化を行なうことを特徴とする請求項5または6記載の画像処理方法。
  8. 前記画素ベクトルの大きさに基づいて、前記各平滑化帯域制限画像信号により表される各平滑化帯域制限画像のノイズ成分およびエッジ成分を分離し、
    前記各平滑化帯域制限画像信号に対して、前記ノイズ成分に対する平滑化処理および/または前記エッジ成分に対する強調処理を施して、処理済み帯域制限画像信号を得、
    前記各平滑化帯域制限画像信号に代えて、該各処理済み帯域制限画像信号に基づいて、前記処理済み画像信号を得ることを特徴とする請求項5から7のいずれか1項記載の画像処理方法。
  9. 一の画素の近傍の画素における周辺画素ベクトルを算出し、該周辺画素ベクトルの大きさにも基づいて、前記ノイズ成分および前記エッジ成分を分離することを特徴とする請求項記載の画像処理方法。
  10. 一の周波数帯域における帯域制限画像の一の画素における画素ベクトルを、該一の周波数帯域よりも低周波数帯域の画像における前記一の画素に対応する画素の画素ベクトルに基づいて修正し、
    前記画素ベクトルの大きさに代えて、該修正された画素ベクトルの大きさに基づいて、前記ノイズ成分および前記エッジ成分を分離することを特徴とする請求項8または9記載の画像処理方法。
  11. 一の周波数帯域における帯域制限画像の一の画素を含む所定領域の分散値を算出し、
    該分散値に基づいて前記一の画素の画素ベクトルを修正するか否かを判断し、
    前記一の画素の画素ベクトルを修正すると判断された場合は、該一の画素における画素ベクトルを、前記一の周波数帯域よりも低周波数帯域の画像における前記一の画素に対応する画素の画素ベクトルに基づいて修正し、
    前記画素ベクトルの大きさに代えて、該修正された画素ベクトルの大きさに基づいて、前記ノイズ成分および前記エッジ成分を分離することを特徴とする請求項8または9記載の画像処理方法。
  12. 前記原画像信号を多重解像度変換することにより前記帯域制限画像信号を作成し、前記各平滑化帯域制限画像信号に対して逆多重解像度変換処理を施すことにより前記処理済み画像信号を得ることを特徴とする請求項5から7いずれか1項記載の画像処理方法。
  13. 前記原画像信号を多重解像度変換することにより前記帯域制限画像信号を作成し、前記処理済み帯域制限画像信号に対して逆多重解像度変換処理を施すことにより前記処理済み画像信号を得ることを特徴とする請求項8から11いずれか1項記載の画像処理方法。
  14. 原画像を表す原画像信号から複数の周波数帯域毎の画像を表す帯域制限画像信号を作成する帯域制限画像信号作成手段と、
    前記各帯域制限画像信号により表される各帯域制限画像の各画素における画素ベクトルを算出する画素ベクトル算出手段と、
    一の周波数帯域における帯域制限画像の一の画素における画素ベクトルを、該一の周波数帯域よりも低周波数帯域の画像における前記一の画素に対応する画素の画素ベクトルに基づいて修正する修正手段と、
    該修正された画素ベクトルに基づいて、前記各帯域制限画像のノイズ成分およびエッジ成分を分離する分離手段と、
    前記各帯域制限画像信号に対して、前記ノイズ成分に対する平滑化処理および/または前記エッジ成分に対する強調処理を施して、処理済み帯域制限画像信号を得る処理手段と、
    該各処理済み帯域制限画像信号に基づいて、処理済み画像信号を得る画像信号生成手段と
    を備えたことを特徴とする画像処理装置。
  15. 原画像を表す原画像信号から複数の周波数帯域毎の画像を表す帯域制限画像信号を作成する帯域制限画像信号作成手段と、
    前記各帯域制限画像信号により表される各帯域制限画像の各画素における画素ベクトルを算出する画素ベクトル算出手段と、
    一の周波数帯域における帯域制限画像の一の画素を含む所定領域の分散値を算出する分散値算出手段と、
    該分散値に基づいて前記一の画素の画素ベクトルを修正するか否かを判断する判断手段と、
    前記一の画素の画素ベクトルを修正すると判断された場合は、該一の画素における画素ベクトルを、前記一の周波数帯域よりも低周波数帯域の画像における前記一の画素に対応する画素の画素ベクトルに基づいて修正する修正手段と、
    該修正された画素ベクトルに基づいて、前記各帯域制限画像のノイズ成分およびエッジ成分を分離する分離手段と、
    前記各帯域制限画像信号に対して、前記ノイズ成分に対する平滑化処理および/または前記エッジ成分に対する強調処理を施して、処理済み帯域制限画像信号を得る処理手段と、
    該各処理済み帯域制限画像信号に基づいて、処理済み画像信号を得る画像信号生成手段と
    を備えたことを特徴とする画像処理装置。
  16. 前記分離手段は、前記各画素の近傍の画素における画素ベクトルにも基づいて、前記ノイズ成分および前記エッジ成分を分離する手段であることを特徴とする請求項14または15記載の画像処理装置。
  17. 前記帯域制限画像信号作成手段が、前記原画像信号を多重解像度変換することにより前記帯域制限画像信号を作成する多重解像度変換処理手段を有するものであり、前記画像信号生成手段が、前記処理済み帯域制限画像信号に対して逆多重解像度変換処理を施すことにより前記処理済み画像信号を得る逆多重解像度変換処理手段を有するものであることを特徴とする請求項14から16いずれか1項記載の画像処理装置。
  18. 原画像を表す原画像信号から複数の周波数帯域毎の画像を表す帯域制限画像信号を作成する帯域制限画像信号作成手段と、
    前記各帯域制限画像信号により表される各帯域制限画像の各画素における画素ベクトルを算出する画素ベクトル算出手段と、
    一の周波数帯域における帯域制限画像の一の画素における画素ベクトルを、該一の周波数帯域よりも低周波数帯域の画像における前記一の画素に対応する画素の画素ベクトルに基づいて修正する修正手段と、
    該修正された画素ベクトルの方向に基づいて、前記各帯域制限画像信号を平滑化して平滑化帯域制限画像信号を得る平滑化手段と、
    該各平滑化帯域制限画像信号に基づいて、処理済み画像信号を得る画像信号生成手段とを備えたことを特徴とする画像処理装置。
  19. 原画像を表す原画像信号から複数の周波数帯域毎の画像を表す帯域制限画像信号を作成する帯域制限画像信号作成手段と、
    前記各帯域制限画像信号により表される各帯域制限画像の各画素における画素ベクトルを算出する画素ベクトル算出手段と、
    一の周波数帯域における帯域制限画像の一の画素を含む所定領域の分散値を算出する分散値算出手段と、
    該分散値に基づいて前記一の画素の画素ベクトルを修正するか否かを判断する判断手段と、
    前記一の画素の画素ベクトルを修正すると判断された場合は、該一の画素における画素ベクトルを、前記一の周波数帯域よりも低周波数帯域の画像における前記一の画素に対応する画素の画素ベクトルに基づいて修正する修正手段と、
    該修正された画素ベクトルの方向に基づいて、前記各帯域制限画像信号を平滑化して平滑化帯域制限画像信号を得る平滑化手段と、
    該各平滑化帯域制限画像信号に基づいて、処理済み画像信号を得る画像信号生成手段とを備えたことを特徴とする画像処理装置。
  20. 前記平滑化手段は、一の画素の近傍の画素における周辺画素ベクトルを求め、該周辺画素ベクトルの方向にも基づいて、前記平滑化を行なう手段であることを特徴とする請求項18または19記載の画像処理装置。
  21. 前記画素ベクトルの大きさに基づいて、前記各平滑化帯域制限画像信号により表される各平滑化帯域制限画像のノイズ成分およびエッジ成分を分離する分離手段と、
    前記各平滑化帯域制限画像信号に対して、前記ノイズ成分に対する平滑化処理および/または前記エッジ成分に対する強調処理を施して、処理済み帯域制限画像信号を得る処理手段とをさらに備え、
    前記画像信号生成手段が、前記各平滑化帯域制限画像信号に代えて、該各処理済み帯域制限画像信号に基づいて、前記処理済み画像信号を得るものであることを特徴とする請求項18から20いずれか1項記載の画像処理装置。
  22. 前記分離手段は、一の画素の近傍の画素における周辺画素ベクトルの大きさにも基づいて、前記ノイズ成分および前記エッジ成分を分離する手段であることを特徴とする請求項21記載の画像処理装置。
  23. 一の周波数帯域における帯域制限画像の一の画素における画素ベクトルを、該一の周波数帯域よりも低周波数帯域の画像における前記一の画素に対応する画素の画素ベクトルに基づいて修正する修正手段をさらに備え、前記分離手段は、前記画素ベクトルの大きさに代えて、該修正された画素ベクトルの大きさに基づいて、前記ノイズ成分および前記エッジ成分を分離する手段であることを特徴とする請求項21または22記載の画像処理装置。
  24. 一の周波数帯域における帯域制限画像の一の画素を含む所定領域の分散値を算出する分散値算出手段と、該分散値に基づいて前記一の画素の画素ベクトルを修正するか否かを判断する判断手段と、前記一の画素の画素ベクトルを修正すると判断された場合は、該一の画素における画素ベクトルを、前記一の周波数帯域よりも低周波数帯域の画像における前記一の画素に対応する画素の画素ベクトルに基づいて修正する修正手段とをさらに備え、
    前記分離手段は、前記画素ベクトルの大きさに代えて、該修正された画素ベクトルの大きさに基づいて、前記ノイズ成分および前記エッジ成分を分離する手段であることを特徴とする請求項21または22記載の画像処理装置。
  25. 前記帯域制限画像信号作成手段が、前記原画像信号を多重解像度変換することにより前記帯域制限画像信号を作成する多重解像度変換処理手段を有するものであり、前記画像信号生成手段が、前記各平滑化帯域制限画像信号に対して逆多重解像度変換処理を施すことにより前記処理済み画像信号を得る逆多重解像度変換処理手段を有するものであることを特徴とする請求項18から20いずれか1項記載の画像処理装置。
  26. 前記帯域制限画像信号作成手段が、前記原画像信号を多重解像度変換することにより前記帯域制限画像信号を作成する多重解像度変換処理手段を有するものであり、前記画像信号生成手段が、前記処理済み帯域制限画像信号に対して逆多重解像度変換処理を施すことにより前記処理済み画像信号を得る逆多重解像度変換処理手段を有するものであることを特徴とする請求項21から24いずれか1項記載の画像処理装置。
  27. 原画像を表す原画像信号から複数の周波数帯域毎の画像を表す帯域制限画像信号を作成する手順と、
    前記各帯域制限画像信号により表される各帯域制限画像の各画素における画素ベクトルを算出する手順と、
    一の周波数帯域における帯域制限画像の一の画素における画素ベクトルを、該一の周波数帯域よりも低周波数帯域の画像における前記一の画素に対応する画素の画素ベクトルに基づいて修正する手順と、
    該修正された画素ベクトルに基づいて、前記各帯域制限画像のノイズ成分およびエッジ成分を分離する手順と、
    前記各帯域制限画像信号に対して、前記ノイズ成分に対する平滑化処理および/または前記エッジ成分に対する強調処理を施して、処理済み帯域制限画像信号を得る手順と、
    該処理済み帯域制限画像信号に基づいて、処理済み画像信号を得る手順とを有する画像処理方法をコンピュータに実行させるためのプログラムを記録したコンピュータ読取り可能な記録媒体。
  28. 原画像を表す原画像信号から複数の周波数帯域毎の画像を表す帯域制限画像信号を作成する手順と、
    前記各帯域制限画像信号により表される各帯域制限画像の各画素における画素ベクトルと、一の周波数帯域における帯域制限画像の一の画素を含む所定領域の分散値とを算出する手順と、
    該分散値に基づいて前記一の画素の画素ベクトルを修正するか否かを判断する手順と、
    前記一の画素の画素ベクトルを修正すると判断された場合は、該一の画素における画素ベクトルを、前記一の周波数帯域よりも低周波数帯域の画像における前記一の画素に対応する画素の画素ベクトルに基づいて修正する手順と、
    該修正された画素ベクトルに基づいて、前記各帯域制限画像のノイズ成分およびエッジ成分を分離する手順と、
    前記各帯域制限画像信号に対して、前記ノイズ成分に対する平滑化処理および/または前記エッジ成分に対する強調処理を施して、処理済み帯域制限画像信号を得る手順と、
    該処理済み帯域制限画像信号に基づいて、処理済み画像信号を得る手順とを有する画像処理方法をコンピュータに実行させるためのプログラムを記録したコンピュータ読取り可能な記録媒体。
  29. 前記分離する手順は、前記各画素の近傍の画素における画素ベクトルにも基づいて、前記ノイズ成分および前記エッジ成分を分離する手順であることを特徴とする請求項27または28記載のコンピュータ読取り可能な記録媒体。
  30. 前記帯域制限画像信号を作成する手順が、前記原画像信号を多重解像度変換することにより前記帯域制限画像信号を作成するものであり、
    前記処理済み画像信号を得る手順が、前記処理済み帯域制限画像信号に対して逆多重解像度変換処理を施すことにより前記処理済み画像信号を得るものであることを特徴とする請求項27から29いずれか1項記載のコンピュータ読取り可能な記録媒体。
  31. 原画像を表す原画像信号から複数の周波数帯域毎の画像を表す帯域制限画像信号を作成する手順と、
    前記各帯域制限画像信号により表される各帯域制限画像の各画素における画素ベクトルを算出する手順と、
    一の周波数帯域における帯域制限画像の一の画素における画素ベクトルを、該一の周波数帯域よりも低周波数帯域の画像における前記一の画素に対応する画素の画素ベクトルに基づいて修正する手順と、
    該修正された画素ベクトルの方向に基づいて、前記各帯域制限画像信号を平滑化して平滑化帯域制限画像信号を得る手順と、
    該平滑化帯域制限画像信号に基づいて、処理済み画像信号を得る手順とを有する画像処理方法をコンピュータに実行させるためのプログラムを記録したコンピュータ読取り可能な記録媒体。
  32. 原画像を表す原画像信号から複数の周波数帯域毎の画像を表す帯域制限画像信号を作成する手順と、
    前記各帯域制限画像信号により表される各帯域制限画像の各画素における画素ベクトルと、一の周波数帯域における帯域制限画像の一の画素を含む所定領域の分散値とを算出する手順と、
    該分散値に基づいて前記一の画素の画素ベクトルを修正するか否かを判断する手順と、
    前記一の画素の画素ベクトルを修正すると判断された場合は、該一の画素における画素ベクトルを、前記一の周波数帯域よりも低周波数帯域の画像における前記一の画素に対応する画素の画素ベクトルに基づいて修正する手順と、
    該修正された画素ベクトルの方向に基づいて、前記各帯域制限画像信号を平滑化して平滑化帯域制限画像信号を得る手順と、
    該平滑化帯域制限画像信号に基づいて、処理済み画像信号を得る手順とを有する画像処理方法をコンピュータに実行させるためのプログラムを記録したコンピュータ読取り可能な記録媒体。
  33. 前記平滑化帯域制限画像信号を得る手順は、一の画素の近傍の画素における周辺画素ベクトルの方向にも基づいて前記平滑化を行なう手順であることを特徴とする請求項31または32記載のコンピュータ読取り可能な記録媒体。
  34. 前記画素ベクトルの大きさに基づいて、前記各平滑化帯域制限画像信号により表される各平滑化帯域制限画像のノイズ成分およびエッジ成分を分離する手順と、
    前記各平滑化帯域制限画像信号に対して、前記ノイズ成分に対する平滑化処理および/または前記エッジ成分に対する強調処理を施して、処理済み帯域制限画像信号を得る手順とをさらに有し、
    前記処理済み画像信号を得る手順は、前記各平滑化帯域制限画像信号に代えて、該各処理済み帯域制限画像信号に対して逆多重解像度変換処理を施すことにより処理済み画像信号を得る手順であることを特徴とする請求項31から33いずれか1項記載のコンピュータ読取り可能な記録媒体。
  35. 前記分離する手順は、一の画素の近傍の画素における周辺画素ベクトルの大きさにも基づいて、前記ノイズ成分および前記エッジ成分を分離する手順であることを特徴とする請求項34記載のコンピュータ読取り可能な記録媒体。
  36. 一の周波数帯域における帯域制限画像の一の画素における画素ベクトルを、該一の周波数帯域よりも低周波数帯域の画像における前記一の画素に対応する画素の画素ベクトルに基づいて修正する手順をさらに有し、
    前記分離する手順は、前記画素ベクトルの大きさに代えて、該修正された画素ベクトルの大きさに基づいて、前記ノイズ成分および前記エッジ成分を分離する手順であることを特徴とする請求項34または35記載のコンピュータ読取り可能な記録媒体。
  37. 一の周波数帯域における帯域制限画像の一の画素を含む所定領域の分散値を算出する手順と、
    該分散値に基づいて前記一の画素の画素ベクトルを修正するか否かを判断する手順と、
    前記一の画素の画素ベクトルを修正すると判断された場合は、該一の画素における画素ベクトルを、前記一の周波数帯域よりも低周波数帯域の画像における前記一の画素に対応する画素の画素ベクトルに基づいて修正する手順とをさらに有し、
    前記分離する手順は、前記画素ベクトルの大きさに代えて、該修正された画素ベクトルの大きさに基づいて、前記ノイズ成分および前記エッジ成分を分離する手順であることを特徴とする請求項34または35記載のコンピュータ読取り可能な記録媒体。
  38. 前記帯域制限画像信号を作成する手順が、前記原画像信号を多重解像度変換することにより前記帯域制限画像信号を作成するものであり、
    前記処理済み画像信号を得る手順が、前記各平滑化帯域制限画像信号に対して逆多重解像度変換処理を施すことにより前記処理済み画像信号を得るものであることを特徴とする請求項31から33いずれか1項記載のコンピュータ読取り可能な記録媒体。
  39. 前記帯域制限画像信号を作成する手順が、前記原画像信号を多重解像度変換することにより前記帯域制限画像信号を作成するものであり、
    前記処理済み画像信号を得る手順が、前記処理済み帯域制限画像信号に対して逆多重解像度変換処理を施すことにより前記処理済み画像信号を得るものであることを特徴とする請求項34から37いずれか1項記載のコンピュータ読取り可能な記録媒体。
JP2000022828A 1999-02-17 2000-01-31 画像処理方法および装置並びに記録媒体 Expired - Fee Related JP4244094B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2000022828A JP4244094B2 (ja) 1999-02-17 2000-01-31 画像処理方法および装置並びに記録媒体

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP3868899 1999-02-17
JP11-38688 1999-02-17
JP2000022828A JP4244094B2 (ja) 1999-02-17 2000-01-31 画像処理方法および装置並びに記録媒体

Publications (2)

Publication Number Publication Date
JP2000306089A JP2000306089A (ja) 2000-11-02
JP4244094B2 true JP4244094B2 (ja) 2009-03-25

Family

ID=26377967

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2000022828A Expired - Fee Related JP4244094B2 (ja) 1999-02-17 2000-01-31 画像処理方法および装置並びに記録媒体

Country Status (1)

Country Link
JP (1) JP4244094B2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10853920B2 (en) 2016-09-21 2020-12-01 Shimadzu Corporation Image processing apparatus

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1526480A1 (en) 2000-10-17 2005-04-27 Fuji Photo Film Co., Ltd Apparatus for suppressing noise by adapting filter characteristics to input image signal based on characteristics of input image signal
CA2427462C (en) 2000-11-30 2011-03-08 Canon Kabushiki Kaisha Image processing device, image processing method, storage medium, and program
ATE418122T1 (de) 2000-11-30 2009-01-15 Canon Kk Bildverarbeitungseinrichtung, bildverarbeitungsverfahren, aufzeichnungsmedium und programm
KR100403601B1 (ko) 2001-12-21 2003-10-30 삼성전자주식회사 영상의 윤곽선 보정 장치 및 방법
EP1349113A3 (en) 2002-03-20 2006-01-11 Ricoh Company Image processor and image processing method
JP2005025696A (ja) * 2003-07-04 2005-01-27 Japan Science & Technology Agency 画像処理装置、画像処理方法及びプログラム及び記録媒体
JP2007018379A (ja) * 2005-07-08 2007-01-25 Konica Minolta Medical & Graphic Inc 画像処理方法及び画像処理装置
EP1952344B1 (en) * 2005-11-23 2011-06-08 Cedara Software Corp. Method and system for enhancing digital images
CN1971616B (zh) * 2005-11-23 2012-10-10 索诺塞特公司 多分辨率自适应滤波
EP1976268A1 (en) 2005-12-28 2008-10-01 Olympus Corporation Imaging system and image processing program
JP2008293425A (ja) * 2007-05-28 2008-12-04 Olympus Corp ノイズ除去装置並びにプログラムおよび方法
JP2008293424A (ja) * 2007-05-28 2008-12-04 Olympus Corp ノイズ除去装置並びにプログラムおよび方法
JP5241410B2 (ja) * 2008-09-29 2013-07-17 株式会社キーエンス 画像処理装置、画像処理方法及びコンピュータプログラム
JP5140638B2 (ja) * 2009-06-22 2013-02-06 日本放送協会 空間ダウンサンプリング処理装置、空間アップサンプリング処理装置、符号化装置、復号装置及びプログラム
JP5140637B2 (ja) * 2009-06-22 2013-02-06 日本放送協会 時空間ダウンサンプリング処理装置、時空間アップサンプリング処理装置、符号化装置、復号装置及びプログラム
JP5757565B2 (ja) * 2011-07-15 2015-07-29 国立大学法人東京工業大学 ノイズレベル推定装置、ノイズレベル推定方法及びプログラム

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10853920B2 (en) 2016-09-21 2020-12-01 Shimadzu Corporation Image processing apparatus

Also Published As

Publication number Publication date
JP2000306089A (ja) 2000-11-02

Similar Documents

Publication Publication Date Title
US6771793B1 (en) Image processing method and apparatus
JP4244094B2 (ja) 画像処理方法および装置並びに記録媒体
JP3995854B2 (ja) 画像処理方法および装置並びに記録媒体
JP3833177B2 (ja) 画像処理装置、画象処理方法、記憶媒体及びプログラム
JP4679710B2 (ja) ノイズ抑制処理装置並びに記録媒体
JP5163489B2 (ja) 画像処理方法、画像処理プログラム、および画像処理装置
EP2191438B1 (en) Method of generating a multiscale contrast enhanced image
US20100142790A1 (en) Image processing method capable of enhancing contrast and reducing noise of digital image and image processing device using same
JP5348145B2 (ja) 画像処理装置および画像処理プログラム
JPH0944657A (ja) 画像処理方法および装置
JPH09212623A (ja) 画像処理方法
JP5256582B2 (ja) 画像処理方法、画像処理プログラム、および画像処理装置
JP2004242285A (ja) ノイズ抑制処理方法および装置並びにプログラム
JP2000224421A (ja) 画像処理方法および装置並びに記録媒体
JP2001167264A (ja) 画像処理方法および装置並びに記録媒体
JP3999432B2 (ja) 画像処理方法および装置並びに記録媒体
US20230133074A1 (en) Method and Apparatus for Noise Reduction
JP4197392B2 (ja) ノイズ抑制処理装置並びに記録媒体
JP4209061B2 (ja) 画像処理符号復号化方法および画像処理符号復号化システム、画像処理符号化装置および画像処理復号化装置、並びに記録媒体
JP4598115B2 (ja) 画像処理方法および装置並びに記録媒体
JPH0944651A (ja) 画像処理方法および装置
JP4316106B2 (ja) 画像処理方法および装置並びに記録媒体
JP2003337942A (ja) 画像処理装置
JP4267159B2 (ja) 画像処理方法および装置並びに記録媒体
JP2001056856A (ja) 画像処理方法および装置並びに記録媒体

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20050912

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A712

Effective date: 20061201

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20081007

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20081119

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20081224

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20081225

R150 Certificate of patent or registration of utility model

Ref document number: 4244094

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120116

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120116

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130116

Year of fee payment: 4

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130116

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140116

Year of fee payment: 5

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees