JP4224882B2 - データ処理装置およびデータ処理方法 - Google Patents
データ処理装置およびデータ処理方法 Download PDFInfo
- Publication number
- JP4224882B2 JP4224882B2 JP03112199A JP3112199A JP4224882B2 JP 4224882 B2 JP4224882 B2 JP 4224882B2 JP 03112199 A JP03112199 A JP 03112199A JP 3112199 A JP3112199 A JP 3112199A JP 4224882 B2 JP4224882 B2 JP 4224882B2
- Authority
- JP
- Japan
- Prior art keywords
- data
- input data
- processing
- noise
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000003672 processing method Methods 0.000 title claims description 8
- 238000000034 method Methods 0.000 claims description 23
- 230000002123 temporal effect Effects 0.000 claims description 7
- 230000006870 function Effects 0.000 description 58
- 238000007781 pre-processing Methods 0.000 description 32
- 238000010586 diagram Methods 0.000 description 18
- 238000004364 calculation method Methods 0.000 description 17
- 238000012417 linear regression Methods 0.000 description 14
- 238000004088 simulation Methods 0.000 description 7
- 238000012935 Averaging Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 238000001514 detection method Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000001771 impaired effect Effects 0.000 description 1
- 238000012905 input function Methods 0.000 description 1
- 238000007493 shaping process Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/14—Picture signal circuitry for video frequency region
- H04N5/21—Circuitry for suppressing or minimising disturbance, e.g. moiré or halo
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/223—Analysis of motion using block-matching
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20172—Image enhancement details
- G06T2207/20182—Noise reduction or smoothing in the temporal domain; Spatio-temporal filtering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20172—Image enhancement details
- G06T2207/20192—Edge enhancement; Edge preservation
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Processing (AREA)
- Picture Signal Circuits (AREA)
- Noise Elimination (AREA)
- Facsimile Image Signal Circuits (AREA)
- Character Input (AREA)
Description
【発明の属する技術分野】
本発明は、データ処理装置およびデータ処理方法に関し、特に、例えば、データに含まれるノイズの効果的な除去を、容易に行うことができるようにするデータ処理装置およびデータ処理方法に関する。
【0002】
【従来の技術】
例えば、伝送や再生等された画像データや音声データなどのデータには、一般に、時間的に変動するノイズが含まれているが、データに含まれるノイズを除去する方法としては、従来より、入力データ全体の平均(以下、適宜、全平均という)や、入力データの局所的な平均である移動平均を求めるもの、さらには、注目しているデータを、その近傍にあるデータのメディアン(中央値)に置き換えるものなどが知られている。また、画像については、例えば、ある1のフレームを参照フレームとして、他の1のフレームの動きベクトルを求め、その動きベクトルによって、他の1フレームの動き補償を行い、その動き補償後のフレームと、参照フレームとの加重平均を求めることにより、ノイズを除去する方法が知られている。
【0003】
【発明が解決しようとする課題】
しかしながら、全平均を計算する方法は、データに含まれるノイズの度合い、即ち、データのS/N(Signal/Noise)が一定である場合は有効であるが、データのS/Nが変動する場合には、S/Nの悪いデータが、S/Nの良いデータに影響し、効果的にノイズを除去することが困難となることがある。
【0004】
また、移動平均を計算する方法では、入力されたデータから時間的に近い位置にあるデータの平均が求められるため、その処理結果は、データのS/Nの変動の影響を受ける。即ち、データのS/Nの良い部分については、処理結果のS/Nも良くなるが、S/Nの悪い部分については、処理結果のS/Nも悪くなる。さらに、全平均や移動平均を計算する方法によれば、データが平滑化されるから、画像に適用すると、データが急激に変化する部分、即ち、急峻なエッジ等が失われることになる。
【0005】
また、メディアンに置き換える方法では、データの時間的な順序が無視されるため、元の波形の特徴が大きく損なわれることがある。
【0006】
さらに、動きベクトルを用いる方法では、動きベクトルの検出を誤ると、処理後の画像の画質が大きく劣化する。
【0007】
本発明は、このような状況に鑑みてなされたものであり、データに含まれるノイズを、容易かつ効果的に除去することができるようにするものである。
【0008】
【課題を解決するための手段】
本発明のデータ処理装置は、入力データに含まれるノイズ量を推定する推定手段と、前記入力データのうちの、注目している注目入力データとの差分を引数とする重み関数と、前記注目入力データとの空間的又は時間的な距離を引数とする重み関数とを、前記ノイズ量に基づいて設定する設定手段と、前記注目入力データに空間的又は時間的に近い前記入力データを、重み付け加算値の計算に用いる処理対象データとして、前記処理対象データに対して、前記差分を引数とする重み関数による重みと、前記距離を引数とする重み関数による重みとを乗算する重み付けを行い、重み付け後の前記処理対象データを加算することにより、前記入力データの処理結果としての出力データを求める処理手段とを備えるデータ処理装置である。
【0009】
本発明のデータ処理方法は、入力データを処理し、その処理結果としての出力データを出力するデータ処理装置が、前記入力データに含まれるノイズ量を推定し、前記入力データのうちの、注目している注目入力データとの差分を引数とする重み関数と、前記注目入力データとの空間的又は時間的な距離を引数とする重み関数とを、前記ノイズ量に基づいて設定し、前記注目入力データに空間的又は時間的に近い前記入力データを、重み付け加算値の計算に用いる処理対象データとして、前記処理対象データに対して、前記差分を引数とする重み関数による重みと、前記距離を引数とする重み関数による重みとを乗算する重み付けを行い、重み付け後の前記処理対象データを加算することにより、前記入力データの処理結果としての出力データを求めるステップを含むデータ処理方法である。
【0010】
上記構成のデータ処理装置およびデータ処理方法においては、入力データに含まれるノイズ量が推定され、前記入力データのうちの、注目している注目入力データとの差分を引数とする重み関数と、前記注目入力データとの空間的又は時間的な距離を引数とする重み関数とが、前記ノイズ量に基づいて設定される。そして、前記注目入力データに空間的又は時間的に近い前記入力データを、重み付け加算値の計算に用いる処理対象データとして、前記処理対象データに対して、前記差分を引数とする重み関数による重みと、前記距離を引数とする重み関数による重みとを乗算する重み付けを行い、重み付け後の前記処理対象データを加算することにより、前記入力データの処理結果としての出力データが求められる。
【0011】
【発明の実施の形態】
図1は、本発明を適用したNR(Noise Reduction)処理回路の第1実施の形態の構成例を示している。
【0012】
このNR処理回路においては、画像を対象としたNR処理が行われるようになされており、NR処理すべき画像は、例えば、フレーム単位で、フレームメモリ部1に供給されるようになされている。フレームメモリ部1は、複数フレーム(例えば、10乃至20フレームなど)を記憶することのできる記憶容量を有し、そこに供給される画像を一時記憶する。画像処理部2は、フレームメモリ部1に記憶された画像を読み出し、その画像からノイズを除去するための処理(NR処理)を行う。画像処理部2において処理された画像は、フレームメモリ部3に供給される。フレームメモリ部3は、画像処理部2から供給される画像を一時記憶して出力する。
【0013】
次に、図2は、図1の画像処理部2の構成例を示している。
【0014】
フレームメモリ1(図1)に記憶された画像は、適宜読み出され、必要に応じて、重み関数設定部11または画素値方向重み付け部12に供給されるようになされている。
【0015】
重み関数設定部11は、後述するような画素値方向の重み関数wVal、垂直方向の重み関数wVer、水平方向の重み関数wHor、時間方向の重み関数wFrを適応的に設定し、重み関数wValを画素値方向重み付け部12に、重み関数wVerおよびwHorを空間方向重み付け部13に、重み関数wFrを時間方向重み付け部14に、それぞれ供給するようになされている。
【0016】
画素値方向重み付け部12は、そこに供給される画素に対して、重み関数wValにしたがった重み付けを行い、空間方向重み付け部13に供給するようになされている。空間方向重み付け部13は、画素値方向重み付け部12からの画素に対して、重み関数wVerおよびwHorにしたがった重み付けを行い、時間方向重み付け部14に供給するようになされている。時間方向重み付け部14は、空間方向重み付け部13からの画素に対して、重み関数wFrにしたがった重み付けを行い、加算部15に供給するようになされている。加算部15は、時間方向重み付け部14からの画素(画素値)を順次加算して出力するようになされている。
【0017】
次に、図3のフローチャートを参照して、図2の画像処理部2の動作について説明する。
【0018】
まず最初に、ステップS1において、重み関数が設定される。即ち、ステップS1では、重み関数設定部11において、フレームメモリ部1に記憶された画像が適宜読み出され、いま注目しているフレーム(注目フレーム)のノイズ量が推定される。さらに、重み関数設定部11では、その推定されたノイズ量に基づいて、重み関数wVal,wVer,wHor、およびwFrが設定される。
【0019】
ここで、画像処理部2においては、ある注目画素の画素値が、複数の画素の画素値の重み付け加算値で置き換えられることにより、ノイズの除去が行われるようになされており、重み関数wValは、重み付け加算値の計算に用いる処理対象画素と注目画素との画素値の差分に対応した重み付けを、処理対象画素に対して行うためのもので、本実施の形態では、例えば、次のようなガウス分布の式f(x)で与えられるようになされている。
【0020】
f(x)=1/((2π)1/2σ)exp(−(x−μ)2/(2σ2))
・・・(1)
但し、μは平均値を、σは標準偏差を、それぞれ表す。
【0021】
また、重み関数wVer,wHor、およびwFrは、処理対象画素に対して、その処理対象画素と注目画素との間の空間的、時間的距離に対応した重み付けを行うためのもので、本実施の形態では、例えば、やはり、式(1)に示したようなガウス分布で与えられるようになされている。但し、重み関数は、ガウス分布以外の形で与えることも可能である。
【0022】
従って、重み関数wValは、注目画素と処理対象画素との画素値の差分subの関数であり、正確には、wVal(sub)と表される。重み関数wVer,wHor、またはwFrも、同様に、注目画素と処理対象画素との垂直方向の距離j、水平方向の距離i、または時間方向の距離kの関数であり、正確には、それぞれwVer(j),wHor(i)、またはwFr(k)と表される。
【0023】
ここで、ガウス分布で与えられる重み関数wValを図4(A)に、同じくガウス分布で与えられる重み関数wVer,wHor、およびwFrを図4(B)に、それぞれ示す。なお、図4(B)においては、重み関数wVer,wHor、およびwFrをまとめて、wLocと表してある。
【0024】
重み関数設定部11では、推定されたノイズ量に基づいて、重み関数wVal,wVer,wHor、およびwFrを規定する式(1)の標準偏差σが設定され、それにより得られる重み関数wVal,wVer,wHor,wFrが、画素値方向重み付け部12、空間方向重み付け部13、時間方向重み付け部14に供給される。即ち、重み関数wValは画素値方向重み付け部12に、重み関数wVerおよびwHorは空間方向重み付け部13に、重み関数wFrは時間方向重み付け部14に、それぞれ供給される。
【0025】
そして、ステップS2に進み、画素値方向重み付け部12、空間方向重み付け部13、時間方向重み付け部14、および加算部15において、重み付け加算が行われ、その重み付け加算結果が、注目画素の新たな画素値として出力される。
【0026】
即ち、いま、フレームメモリ部1に記憶された画像の第tフレームの、上からy+1番目で、左からx+1番目の画素の画素値を、L[t][y][x]と表すと、画素値方向重み付け部12、空間方向重み付け部13、時間方向重み付け部14、および加算部15において、次式で示されるL’[t][y][x]が、注目画素の新たな画素値として求められる。
【0027】
【数1】
・・・(2)
【0028】
その後、ステップS3に進み、1フレームの画素すべてを注目画素として、処理を行ったかどうかが判定され、まだ処理を行っていないと判定された場合、ステップS2に戻り、まだ処理の対象としていない画素を、新たな注目画素として、同様の処理を繰り返す。また、ステップS3において、1フレームの画素すべてを注目画素として、処理を行ったと判定された場合、ステップS1に戻り、次のフレームを新たな注目フレームとして、以下、同様の処理を繰り返す。
【0029】
即ち、図2の画像処理部2では、上述したように、重み付け加算を行うことで、注目画素の画素値のノイズを除去した新たな画素値が求められるようになされているが、その際の重み付けは、まず、画素値方向重み付け部12において、注目画素の画素値L[t][y][x]と、重み付け加算値の計算に用いる処理対象画素の画素値L[t+k][y+j][x+i]との差分(L[t+k][y+j][x+i]−L[t][y][x])に基づいて行われる。
【0030】
その結果、注目画素と近い画素値の処理対象画素に対しては大きな重みが用いられ、注目画素と離れた画素値の処理対象画素に対しては小さな重みが用いられることとなり、即ち、極端には、注目画素と離れた画素値の処理対象画素に対する重みは0とされることとなり、これにより、注目画素と比較的近い画素値の処理対象画素のみが抽出され、そのような処理対象画素を用いた重み付け加算を行うことで、注目画素の画素値のノイズを除去した新たな画素値が求められる。
【0031】
さらに、重み付けは、空間方向重み付け部13において、注目画素と、重み付け加算を行う処理対象画素との間の垂直方向の距離j、および水平方向の距離iに基づいて行われるようになされている。即ち、注目画素と空間的に近い処理対象画素に対しては大きな重みが用いられ、注目画素と空間的に遠い処理対象画素に対しては小さな重みが用いられる。
【0032】
また、重み付けは、時間方向重み付け部14において、注目画素と、重み付け加算を行う処理対象画素との間の時間方向の距離kに基づいて行われるようになされている。即ち、注目画素と時間的に近い処理対象画素に対しては大きな重みが用いられ、注目画素と時間的に遠い処理対象画素に対しては小さな重みが用いられる。
【0033】
以上のように、注目画素と空間的、時間的に近い処理対象画素に対しては、ある程度の重みが与えられ、注目画素と空間的、時間的に遠い処理対象画素の重みは0とされる。
【0034】
従って、図5に示すように、注目画素と同じような画素値の画素が抽出され、さらに、その中から、注目画素と空間的、時間的に近い画素が抽出され、そのような画素を用いての重み付け加算値が、注目画素の新たな画素値として求められるので、注目画素に含まれるノイズを、容易かつ効果的に除去することができる。
【0035】
次に、図6は、図2の重み関数設定部11の構成例を示している。
【0036】
いま注目フレームを、第nフレームとすると、差分回路21には、その第nフレームと、その次の第n+1フレームとが供給される。差分回路21は、第nフレームと第n+1フレームとの、対応する画素値どうしの差分を計算し、そのような差分で構成されるフレーム(差分フレーム)を、ブロック分割回路22に供給する。
【0037】
ブロック分割回路22は、差分回路21からの差分フレームを、所定の画素数のブロック(例えば、横と縦それぞれが、8乃至16画素程度のブロック)に分割し、RMS(Root Mean Square)計算回路23に供給する。RMS計算回路23では、ブロック分割回路22からの各ブロックの画素値の差分のRMSが計算される。各ブロックについてのRMSは、RMS計算回路23からヒストグラム生成回路24に供給される。ヒストグラム生成回路24では、RMS計算回路23からの各ブロックについてのRMSのヒストグラムが生成され、ノイズ量推定回路25に供給される。
【0038】
ノイズ量推定回路25では、ヒストグラム生成回路24からのRMSのヒストグラムから、注目フレームである第nフレームのノイズ量が推定される。
【0039】
即ち、ノイズ量推定回路25は、例えば、RMSのヒストグラムにおいて、0でない最小のRMSを検出し、その最小のRMSを、注目フレームのノイズ量として出力する。ここで、画像の信号成分とノイズ成分とが無相関であると仮定すれば(上述したように、横と縦それぞれが、8画素以上のブロックについては、このように仮定しても問題ない)、統計的には、差分フレームにおいて、信号成分を有するブロックのRMSは、信号成分を有しないブロックのRMSより大になるから、信号成分を有しないブロックのRMS、即ち、ノイズのみのブロックのRMSは、RMSのヒストグラムにおいて、最小値として現れる。
【0040】
なお、RMSのヒストグラムにおいて、0でない最小のRMSは、フレームによって大きく変動する場合があり、従って、0でない最小のRMSを、そのままノイズ量として用いると、ノイズ量が、フレームごとに大きく変動することがある。そこで、例えば、RMSのヒストグラムに対して、例えば、y=e-x等による重み付けをし(小さなRMSには大きな重みを、大きなRMSには小さな重みを、それぞれ乗算し)、さらに、その重み付け後のRMSの加重平均を演算し、その加重平均値を、ノイズ量と推定するようにすることも可能である。この場合、ノイズ量が、フレームごとに大きく変動することはなく、ある程度安定した値が得られる。
【0041】
ノイズ量推定回路25において推定されたノイズ量は、重み関数設定回路26に供給される。重み関数設定回路26では、ノイズ量推定回路25からの注目フレームのノイズ量に基づき、重み関数wVal,wVer,wHor、およびwFrとしてのガウス分布の標準偏差σが設定される。
【0042】
即ち、重み関数設定回路26は、例えば、ノイズ量が大きい場合には、重み関数wValの標準偏差σを大きくする。このようにノイズ量にしたがって、重み関数wValの標準偏差σを変えることで、元の画像に含まれるノイズに応じた最適なNR処理を行うことが可能となる。
【0043】
なお、元の画像の動き量、あるいは動きの有無を検出し、その検出結果に基づいて、重み関数wVal,wVer,wHor、およびwFrとしてのガウス分布の標準偏差σを設定するようにすることも可能である。即ち、画像が動きを有するもの(動き系画像)である場合には、重み関数wVerおよびwHorの標準偏差σを大きくし、画像がほとんど動きのないもの(静止画系画像)である場合には、重み関数wFrの標準偏差σを大きくするようにすることができる。この場合、元の画像の動きを考慮したNR処理を行うことが可能となる。
【0044】
次に、図7乃至図10を参照して、図1の画像処理部2により画像をNR処理したシミュレーション結果について説明する。
【0045】
図7および図9は、NR処理の対象とした画像を示している。なお、図7は静止系画像であり、図9は動き系画像である。
【0046】
図8は、図7の画像を対象としたシミュレーション結果を、図10は、図9の画像を対象としたシミュレーション結果を、それぞれ示している。
【0047】
図8において、曲線A1は、図7の画像のS/Nを示しており、開始の部分と終わりの部分のフレームのS/Nが約33dBに、中間の部分のフレームのS/Nが約40dBになっている。
【0048】
曲線A2は、図7の画像を対象に、図2の画像処理部2によるNR処理を行った結果得られる画像のS/Nを示しており、曲線A3およびA4は、図7の画像を対象に、動き判定付き平均(動き判定を行い、動きのない部分の画素について平均をとる手法)によるNR処理を行った結果得られる画像のS/Nを示している。なお、曲線A3とA4とでは、動き判定を行う際のパラメータの値が異なっている。
【0049】
また、図10において、曲線B1は、図9の画像のS/Nを示しており、図7の画像と同様に、開始の部分と終わりの部分のフレームのS/Nが約33dBに、中間の部分のフレームのS/Nが約40dBになっている。
【0050】
曲線B2は、図9の画像を対象に、図2の画像処理部2によるNR処理を行った結果得られる画像のS/Nを示しており、曲線B3は、図9の画像を対象に、動き判定付き平均によるNR処理を行った結果得られる画像のS/Nを示している。
【0051】
図8および図10から、図2の画像処理部2によるNR処理によれば、静止系画像か、動き系画像かにかかわらず、さらに、元の画像のS/Nにもよらず、効果的にノイズが除去され、S/Nが向上していることが分かる。
【0052】
なお、上述の場合においては、注目画素と画素値の近い画素の中から、注目画素と空間的、時間的に近い画素を抽出するようにしたが、その際、空間的な方向については、水平方向のみ、または垂直方向のみに注目して、画素の抽出を行うようにすることが可能である。
【0053】
次に、以上のように、注目画素と画素値の近い画素を抽出し、そのような画素を対象とした重み付け加算を行うことによって、ノイズが除去される(S/Nが向上する)原理について説明する。なお、ここでは、説明を簡単にするため、重み付け加算として、最も単純な相加平均を考える。
【0054】
画素値の観測値と真値との間の誤差、即ち、ノイズが正規分布となると仮定すると(このような仮定をしても、基本的に問題ない)、画素値の観測値も、図11に示すように、正規分布になる。
【0055】
いま、ある注目画素の画素値の観測値が、Cであったとすると、そのような観測値Cに近い画素は、図11においてDで示す、観測値Cの周辺に分布する。そして、観測値Cに近い画素の相加平均を、C’とすると、その相加平均値C’は、図11の正規分布のうちの、Dで示す斜線部分の面積を2等分するような値となる。従って、画素値の観測値が正規分布であれば、観測値Cに近い画素値の相加平均値C’は、真値に近づくから、観測値Cに近い画素の相加平均をとることにより、ノイズが低減されることになる。
【0056】
図12は、ある画像を構成する各画素の画素値の観測値と真値との間の誤差の分布を示している。注目画素と画素値の近い画素の相加平均を計算することで、この分布は、図13に示すようになる。
【0057】
即ち、相加平均を演算することで、誤差Eを有していた画素の誤差の分布は、図13においてFで示すようになる。この場合、誤差が、元の誤差Eよりも増加する画素も多少は存在するが、ほとんどの画素の誤差は、元の誤差Eよりも減少する。その結果、誤差の分布は、図13に実線で示すように、元の分布(図12)に比較して、急峻なもの(従って、誤差の小さい画素が増加したもの)となる。
【0058】
なお、以上のようなノイズ除去(低減)の原理から明らかなように、重み付け加算によってノイズを低減した画像を対象に、再び、重み付け加算を計算することによって、さらなるノイズの低減を図ることができる。
【0059】
ここで、上述の重み関数wValの標準偏差σを設定することは、図11に示した重み付け加算に用いるデータの範囲Dを設定することに対応する。
【0060】
次に、図14は、本発明を適用したNR処理回路の第2実施の形態の構成例を示している。
【0061】
このNR処理回路においては、入力データから、注目している入力データ(注目入力データ)と値の近い入力データが抽出され、その抽出された入力データを用いて、注目入力データに含まれるノイズの除去(低減)が行われるようになされている。
【0062】
即ち、入力データは、ラッチ回路311および前処理部32に供給される。ラッチ回路311は、そこに供給される入力データを、例えば、その入力データが供給されるタイミングに同期してラッチ(記憶)し、その後段のラッチ回路312および前処理部32に供給する。ラッチ回路312または313それぞれは、ラッチ回路311と同様に、その前段のラッチ回路311または312が出力する入力データをラッチし、その後段のラッチ回路313または314と、前処理部32に供給する。ラッチ回路314は、その前段のラッチ回路313が出力する入力データをラッチし、前処理部32に供給する。
【0063】
従って、いま、ラッチ回路311および前処理部32に、入力データx(t+2)が供給されたとすると、前処理部32には、さらに、ラッチ回路311乃至314それぞれでラッチされた入力データx(t+1),x(t),x(t−1),x(t−2)も供給される。即ち、前処理部32には、連続する5サンプルの入力データx(t+2)乃至x(t−2)が同時に供給される。前処理部32は、5サンプルの入力データx(t+2)乃至x(t−2)のうちの、いわば中心のx(t)を注目入力データとして後述するような前処理を行うことで、5サンプルの入力データx(t+2)乃至x(t−2)の中から、注目入力データx(t)と値の近いものを抽出し、モデル化部33に供給する。
【0064】
モデル化部33は、所定のモデルに基づき、前処理部32からの入力データを用いて近似処理を行うことで、注目入力データx(t)に対する出力データy(t)を求める。
【0065】
即ち、モデル化部33は、ここでは、線形回帰部41と出力計算部42から構成されている。線形回帰部41は、例えば、一次式(直線)で表されるモデルによって、前処理部32からの入力データを用いて近似処理を行うことで、入力データを局所的にモデル化する。具体的には、線形回帰部41は、前処理部32からの入力データを線形回帰によって一次式のモデルに当てはめる。
【0066】
ここで、線形回帰とは、図15に示すように、一次式y=at+bによって表される直線と、前処理部32からの入力データ(図15において●印で示す)それぞれとの間の2乗誤差の総和が最小になるような定数aおよびbを求めることを意味する。
【0067】
定数aおよびbが求められると、線形回帰部41は、その定数a,bを、出力計算部42に供給する。出力計算部42は、線形回帰部41からの定数a,bを用いて、式y(t)=at+bを演算し、その結果得られるy(t)を、注目入力データx(t)に対する出力データとして出力する。
【0068】
以上の処理を、各時刻tにおける入力データx(t)を対象に行うことで、図16に示すように、入力データx(t)のノイズを効果的に低減(除去)した(真値に近い、従って、S/Nの良い)出力データy(t)を得ることができる。
【0069】
ところで、一次式で表されるモデルは、真値が連続性を有する場合には有効であるが、真値が連続性を有しない場合、即ち、例えば、真値が不連続な変化点を有する場合には、そのような変化点において、一次式で表されるモデルから得られる出力データy(t)は、図17に示すように、その波形が鈍ったものになる。
【0070】
そこで、前処理部32は、そこに入力される5サンプルの入力データから、一次式で表されるモデルに適合するもののみを抽出し、線形回帰部41に供給するようになされている。
【0071】
即ち、前処理部32では、注目入力データx(t)と、そこに入力される入力データx(ここでは、x(t+2)乃至x(t−2))それぞれと、注目入力データx(t)との差分の絶対値(|x(t)−x|)が計算され、その絶対値が所定の閾値th以下(未満)となる入力データだけが抽出され、線形回帰部41に供給される。従って、線形回帰部41では、図18に示すように、注目入力データを基準とする±thの範囲内にある入力データのみを用いて線形回帰が行われるため、真値が不連続な変化点において、出力データy(t)の波形が鈍ったものになることを防止することができる。即ち、真値が不連続な変化点を有する場合であっても、図19に示すように、そのような真値に追随するような出力データy(t)を得ることができる。
【0072】
次に、図20は、本発明を適用したNR処理回路の第3実施の形態の構成例を示している。なお、図中、図14における場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。即ち、図20のNR処理回路は、ノイズ量推定部51が新たに設けられている他は、図14における場合と同様に構成されている。
【0073】
図14のNR処理回路においては、前処理部32において用いられる閾値thが固定とされていたが、図20のNR処理回路においては、前処理部32において用いられる閾値thが、入力データに含まれるノイズ量に基づいて適応的に設定されるようになされている。
【0074】
即ち、ノイズ量推定部51には、前処理部32に供給されるのと同一の5サンプルの入力データx(t+2)乃至x(t−2)が供給されるようになされており、ノイズ量推定部51は、入力データのノイズ量を推定し、前処理部32に供給するようになされている。そして、前処理部32においては、ノイズ量推定部51からのノイズ量に基づいて、閾値thが設定されるようになされている。
【0075】
次に、図21のフローチャートを参照して、その動作について説明する。
【0076】
まず最初に、ステップS11において、5サンプルの入力データx(t+2)乃至x(t−2)が、前処理部32およびノイズ量推定部51に入力される。そして、ノイズ量推定部51では、ステップS12において、5サンプルの入力データx(t+2)乃至x(t−2)に含まれるノイズ量が推定される。即ち、ノイズ量推定部51は、例えば、5サンプルの入力データx(t+2)乃至x(t−2)の分散が演算され、その分散に基づいて、入力データのノイズ量が推定される。このノイズ量は、ノイズ量推定部51から前処理部32に供給される。
【0077】
前処理部32は、ステップS13において、ノイズ量推定部51からのノイズ量に基づいて、閾値thを設定し、即ち、ノイズ量が大のときは、大きな閾値thを設定し、ノイズ量が小のときは、小さな閾値thを設定し、5サンプルの入力データx(t+2)乃至x(t−2)から、注目入力データx(t)との差分の絶対値が閾値th以下となるものを抽出する。この前処理部32で抽出された入力データは、モデル化部33に供給される。
【0078】
モデル化部33では、ステップS14において、前処理部32からの入力データが局所的にモデル化され、これにより、それらの入力データを最も良く近似する一次式y=at+bを規定する定数aおよびbが求められる。さらに、モデル化部33では、ステップS15において、ステップS14で求められた定数aおよびbを用いて、式y(t)=at+bが演算され、その結果得られるy(t)が、注目入力データx(t)に対する出力データとして出力される。
【0079】
そして、ステップS16に進み、入力データが終了したかどうかが判定される。ステップS16において、入力データが終了していないと判定された場合、新たな入力データが供給されるのを待って、ステップS11に戻り、ステップS11以降の処理を繰り返す。また、ステップS16において、入力データが終了したと判定された場合、処理を終了する。
【0080】
次に、図22は、本発明を適用したNR処理回路の第4実施の形態の構成例を示している。なお、図中、図14または図20における場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。即ち、図22のNR処理回路は、誤差計算部61が新たに設けられていることを除けば、図14における場合と同様に構成されている。
【0081】
図14のNR処理回路においては、前処理部32において用いられる閾値thが固定とされていたが、図22のNR処理回路においては、図20における場合と同様に、前処理部32において用いられる閾値thが、入力データに含まれるノイズ量に基づいて適応的に設定されるようになされている。但し、図20においては、入力データのノイズ量が、入力データの分散に基づいて推定されるようになされていたが、図22においては、入力データをモデル化したときのモデル化誤差に基づいて推定されるようになされている。
【0082】
即ち、誤差計算部61には、5サンプルの入力データx(t+2)乃至x(t−2)と、その5サンプルの入力データを最も良く近似する一次式y=at+bを規定する定数aおよびbが供給されるようになされている。
【0083】
そして、誤差計算部61は、例えば、次式で示されるモデル化誤差eを計算し、そのモデル化誤差eに基づいて、入力データのノイズ量を推定する。
【0084】
e=|a×(t+2)+b-x(t+2)|+|a×(t+1)+b-x(t+1)|+|a×t+b-x(t)|
+|a×(t-1)+b-x(t-1)|+|a×(t-2)+b-x(t-2)|
・・・(3)
【0085】
誤差計算部61で得られたノイズ量は、前処理部32に供給される。そして、前処理部32では、誤差計算部61からのノイズ量に基づいて、閾値thが設定され、以下、図20における場合と同様の処理が行われる。
【0086】
以上のように、入力データから、注目入力データと値の近いものを抽出し、その抽出した入力データを局所的にモデル化するようにしたので、そのモデルに当てはまらない入力データの成分、即ち、ノイズを低減することができる。
【0087】
なお、上述の場合においては、入力データとして、一次元のデータを用いるようにしたが、本発明は、画像などの2次元以上のデータを入力データとする場合にも適用可能である。ここで、入力データがN次元の場合には、線形回帰において用いる一次式のモデルは、次式で表される。
【0088】
【数2】
・・・(4)
【0089】
また、上述の場合においては、入力データを近似するモデルとして、一次式を用いるようにしたが、入力データを近似するモデルとしては、その他、例えば、N次多項式や、各種の形状を近似可能なベジェ曲線等を用いることも可能である。
【0090】
さらに、入力データを近似する手法は、線形回帰に限定されるものではない。
【0091】
なお、本実施の形態では、本発明について、ノイズの除去という観点から説明を行ったが、本発明によれば、入力データの波形整形(波形等化)などを行うことも可能である。
【0092】
【発明の効果】
以上の如く、本発明のデータ処理装置およびデータ処理方法によれば、入力データに含まれるノイズを効果的に除去した出力データを得ることができる。
【図面の簡単な説明】
【図1】本発明を適用したNR処理回路の第1実施の形態の構成例を示すブロック図である。
【図2】図1の画像処理部2の構成例を示すブロック図である。
【図3】図2の画像処理部2の動作を説明するためのフローチャートである。
【図4】重み関数を示す図である。
【図5】図2の画像処理部2の動作を説明するための図である。
【図6】図2の重み関数設定部11の構成例を示すブロック図である。
【図7】シミュレーションに用いた画像を示すディスプレイ上に表示された中間階調の写真である。
【図8】図7の画像を用いたシミュレーション結果を示す図である。
【図9】シミュレーションに用いた画像を示すディスプレイ上に表示された中間階調の写真である。
【図10】図9の画像を用いたシミュレーション結果を示す図である。
【図11】注目画素と画素値の近い画素の加重平均によってノイズが除去される原理を説明するための図である。
【図12】観測値と真値との間の誤差の分布を示す図である。
【図13】観測値と真値との間の誤差の分布を示す図である。
【図14】本発明を適用したNR処理回路の第2実施の形態の構成例を示すブロック図である。
【図15】入力データのモデル化を説明するための図である。
【図16】図14のNR処理回路による処理結果を示す図である。
【図17】図14のNR処理回路による処理結果を示す図である。
【図18】図14の前処理部32の処理を説明するための図である。
【図19】図14のNR処理回路による処理結果を示す図である。
【図20】本発明を適用したNR処理回路の第3実施の形態の構成例を示すブロック図である。
【図21】図20のNR処理回路の動作を説明するためのフローチャートである。
【図22】本発明を適用したNR処理回路の第4実施の形態の構成例を示すブロック図である。
【符号の説明】
1 フレームメモリ部, 2 画像処理部, 3 フレームメモリ部, 11重み関数設定部, 12 画素値方向重み付け部, 13 空間方向重み付け部, 14 時間方向重み付け部, 15 加算部, 21 差分回路, 22ブロック分割回路, 23 RMS計算回路, 24 ヒストグラム生成回路, 25 ノイズ量推定回路, 26 重み関数設定回路, 311乃至314 ラッチ回路, 32 前処理部, 33 モデル化部, 41 線形回帰部, 42 出力計算部, 51 ノイズ量推定部, 61 誤差計算部
Claims (5)
- 入力データに含まれるノイズ量を推定する推定手段と、
前記入力データのうちの、注目している注目入力データとの差分を引数とする重み関数と、前記注目入力データとの空間的又は時間的な距離を引数とする重み関数とを、前記ノイズ量に基づいて設定する設定手段と、
前記注目入力データに空間的又は時間的に近い前記入力データを、重み付け加算値の計算に用いる処理対象データとして、前記処理対象データに対して、前記差分を引数とする重み関数による重みと、前記距離を引数とする重み関数による重みとを乗算する重み付けを行い、重み付け後の前記処理対象データを加算することにより、前記入力データの処理結果としての出力データを求める処理手段と
を備えるデータ処理装置。 - 前記入力データは、画像データであり、
前記推定手段は、
前記画像データのフレーム間の画素値の差分で構成される差分フレームを複数のブロックに分割し、
前記複数のブロックそれぞれについて、画素値の差分の平均値を求め、
前記差分フレームの前記複数のブロックそれぞれについて得られた前記平均値のうちの、 0 でない最小値、又は、前記差分フレームの前記複数のブロックそれぞれについて得られた前記平均値の重み付け平均値を、前記ノイズ量として推定する
請求項1に記載のデータ処理装置。 - 前記重み関数は、ガウス分布であり、
前記設定手段は、前記ガウス分布を規定する標準偏差を、前記ノイズ量に基づいて設定する
請求項1に記載のデータ処理装置。 - 前記設定手段は、前記ガウス分布を規定する標準偏差を、前記画像データの動きにも基づいて設定する
請求項3に記載のデータ処理装置。 - 入力データを処理し、その処理結果としての出力データを出力するデータ処理装置が、
前記入力データに含まれるノイズ量を推定し、
前記入力データのうちの、注目している注目入力データとの差分を引数とする重み関数と、前記注目入力データとの空間的又は時間的な距離を引数とする重み関数とを、前記ノイズ量に基づいて設定し、
前記注目入力データに空間的又は時間的に近い前記入力データを、重み付け加算値の計算に用いる処理対象データとして、前記処理対象データに対して、前記差分を引数とする重み関数による重みと、前記距離を引数とする重み関数による重みとを乗算する重み付けを行い、重み付け後の前記処理対象データを加算することにより、前記入力データの処理結果としての出力データを求める
ステップを含むデータ処理方法。
Priority Applications (8)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP03112199A JP4224882B2 (ja) | 1999-02-09 | 1999-02-09 | データ処理装置およびデータ処理方法 |
TW089101325A TW469736B (en) | 1999-02-09 | 2000-01-26 | Data processing method and apparatus |
EP00300662A EP1028390A3 (en) | 1999-02-09 | 2000-01-28 | Data processing method and apparatus |
CNB001018817A CN1169088C (zh) | 1999-02-09 | 2000-02-02 | 数据处理方法和装置 |
CN2004100556019A CN1561092B (zh) | 1999-02-09 | 2000-02-02 | 数据处理方法和装置 |
IDP20000099D ID24776A (id) | 1999-02-09 | 2000-02-07 | Metoda dan aparatus pemproses data |
US09/500,356 US6999633B1 (en) | 1999-02-09 | 2000-02-07 | Data processing apparatus and method |
KR1020000005753A KR100753345B1 (ko) | 1999-02-09 | 2000-02-08 | 데이터 처리 방법 및 장치 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP03112199A JP4224882B2 (ja) | 1999-02-09 | 1999-02-09 | データ処理装置およびデータ処理方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2000232384A JP2000232384A (ja) | 2000-08-22 |
JP4224882B2 true JP4224882B2 (ja) | 2009-02-18 |
Family
ID=12322595
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP03112199A Expired - Fee Related JP4224882B2 (ja) | 1999-02-09 | 1999-02-09 | データ処理装置およびデータ処理方法 |
Country Status (7)
Country | Link |
---|---|
US (1) | US6999633B1 (ja) |
EP (1) | EP1028390A3 (ja) |
JP (1) | JP4224882B2 (ja) |
KR (1) | KR100753345B1 (ja) |
CN (2) | CN1561092B (ja) |
ID (1) | ID24776A (ja) |
TW (1) | TW469736B (ja) |
Families Citing this family (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003219208A (ja) * | 2002-01-18 | 2003-07-31 | Oki Electric Ind Co Ltd | 映像雑音低減回路 |
JP4214459B2 (ja) | 2003-02-13 | 2009-01-28 | ソニー株式会社 | 信号処理装置および方法、記録媒体、並びにプログラム |
JP4559844B2 (ja) * | 2004-12-27 | 2010-10-13 | 株式会社東芝 | 画像処理装置及び画像処理方法 |
ATE530015T1 (de) | 2005-01-18 | 2011-11-15 | Lg Electronics Inc | Anordnung zur entfernung von rauschen aus einem videosignal |
JP4496106B2 (ja) * | 2005-02-28 | 2010-07-07 | 株式会社東芝 | 画像処理装置及び画像処理方法 |
JP2006310999A (ja) * | 2005-04-27 | 2006-11-09 | Sony Corp | 画像処理装置および方法、並びにプログラム |
JP4599279B2 (ja) * | 2005-11-24 | 2010-12-15 | 富士フイルム株式会社 | ノイズリダクション装置及びノイズリダクション方法 |
JP4962159B2 (ja) * | 2007-06-20 | 2012-06-27 | ソニー株式会社 | 計測装置および方法、プログラム、並びに記録媒体 |
US8830359B2 (en) | 2010-03-30 | 2014-09-09 | Nikon Corporation | Image processing apparatus, imaging apparatus, and computer readable medium |
JP5234123B2 (ja) * | 2010-03-30 | 2013-07-10 | 株式会社ニコン | 画像処理装置、撮像装置および画像処理プログラム |
JP5863236B2 (ja) * | 2010-12-17 | 2016-02-16 | キヤノン株式会社 | 画像処理装置、画像処理方法 |
KR101373704B1 (ko) * | 2012-05-29 | 2014-03-14 | 주식회사 코아로직 | 적응적 가중치 예측을 이용한 영상 처리 방법 |
CN105979119B (zh) * | 2016-06-02 | 2019-07-16 | 深圳迪乐普数码科技有限公司 | 一种红外摇臂跟踪运动数据的滤波方法和终端 |
CN107436954B (zh) * | 2017-08-16 | 2018-10-02 | 吉林大学 | 一种在线流数据近似处理质量控制方法及装置 |
Family Cites Families (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH01246678A (ja) * | 1988-03-29 | 1989-10-02 | Toshiba Corp | パターン認識装置 |
US4991223A (en) * | 1988-06-30 | 1991-02-05 | American Innovision, Inc. | Apparatus and method for recognizing image features using color elements |
EP0588181B1 (en) * | 1992-09-14 | 2000-11-15 | THOMSON multimedia | Method and apparatus for noise reduction |
DE4314980C1 (de) * | 1993-05-06 | 1994-09-29 | Mb Video Gmbh | Verfahren zur Verminderung des Rauschens eines Videosignals |
JPH0799646A (ja) * | 1993-05-31 | 1995-04-11 | Sony Corp | ディジタル画像信号の階層符号化および復号装置 |
US5602934A (en) * | 1993-09-08 | 1997-02-11 | The Regents Of The University Of California | Adaptive digital image signal filtering |
US6285710B1 (en) * | 1993-10-13 | 2001-09-04 | Thomson Licensing S.A. | Noise estimation and reduction apparatus for video signal processing |
JP3334385B2 (ja) * | 1994-12-20 | 2002-10-15 | セイコーエプソン株式会社 | 画像読み取り装置および読み取り方法 |
US5917940A (en) * | 1996-01-23 | 1999-06-29 | Nec Corporation | Three dimensional reference image segmenting method and device and object discrimination system |
JP3778229B2 (ja) * | 1996-05-13 | 2006-05-24 | 富士ゼロックス株式会社 | 画像処理装置、画像処理方法、および画像処理システム |
US6154566A (en) * | 1996-05-15 | 2000-11-28 | Omron Corporation | Method and apparatus for determining image similarity and position |
GB9614407D0 (en) * | 1996-07-09 | 1996-09-04 | Secr Defence | Method for imaging artefact reduction |
DE69724412D1 (de) * | 1997-05-12 | 2003-10-02 | St Microelectronics Srl | Adaptive Intra-Bild-Gauss-Rauschminderung unter Verwendung von unscharfer Logik |
EP0907145A3 (en) * | 1997-10-03 | 2003-03-26 | Nippon Telegraph and Telephone Corporation | Method and equipment for extracting image features from image sequence |
US6285801B1 (en) * | 1998-05-29 | 2001-09-04 | Stmicroelectronics, Inc. | Non-linear adaptive image filter for filtering noise such as blocking artifacts |
US6546117B1 (en) * | 1999-06-10 | 2003-04-08 | University Of Washington | Video object segmentation using active contour modelling with global relaxation |
US6272250B1 (en) * | 1999-01-20 | 2001-08-07 | University Of Washington | Color clustering for scene change detection and object tracking in video sequences |
-
1999
- 1999-02-09 JP JP03112199A patent/JP4224882B2/ja not_active Expired - Fee Related
-
2000
- 2000-01-26 TW TW089101325A patent/TW469736B/zh not_active IP Right Cessation
- 2000-01-28 EP EP00300662A patent/EP1028390A3/en not_active Withdrawn
- 2000-02-02 CN CN2004100556019A patent/CN1561092B/zh not_active Expired - Fee Related
- 2000-02-02 CN CNB001018817A patent/CN1169088C/zh not_active Expired - Fee Related
- 2000-02-07 ID IDP20000099D patent/ID24776A/id unknown
- 2000-02-07 US US09/500,356 patent/US6999633B1/en not_active Expired - Fee Related
- 2000-02-08 KR KR1020000005753A patent/KR100753345B1/ko not_active IP Right Cessation
Also Published As
Publication number | Publication date |
---|---|
CN1561092B (zh) | 2010-05-12 |
KR20000076619A (ko) | 2000-12-26 |
EP1028390A3 (en) | 2001-03-21 |
KR100753345B1 (ko) | 2007-08-30 |
CN1169088C (zh) | 2004-09-29 |
TW469736B (en) | 2001-12-21 |
JP2000232384A (ja) | 2000-08-22 |
CN1263327A (zh) | 2000-08-16 |
ID24776A (id) | 2000-08-10 |
EP1028390A2 (en) | 2000-08-16 |
US6999633B1 (en) | 2006-02-14 |
CN1561092A (zh) | 2005-01-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4224882B2 (ja) | データ処理装置およびデータ処理方法 | |
US7418149B2 (en) | Apparatus and method for adaptive 3D noise reduction | |
JP4344964B2 (ja) | 画像処理装置および画像処理方法 | |
US6819804B2 (en) | Noise reduction | |
JP4570244B2 (ja) | ディジタル画像シーケンス用の自動安定化方法 | |
US6678330B1 (en) | Image processing apparatus, image processing method, data-processing apparatus, data processing method, and storage medium | |
US8818126B2 (en) | Method and apparatus for block-based image denoising | |
US9191589B2 (en) | Image processing device | |
CN109743473A (zh) | 视频图像3d降噪方法、计算机装置及计算机可读存储介质 | |
KR100739753B1 (ko) | 양방향 시간적 잡음 제거 방법 및 장치 | |
JP2000050109A (ja) | ノイズを除去するための非線形イメ―ジフィルタ | |
WO2002102086A2 (en) | Apparatus and method for adaptive spatial segmentation-based noise reducing for encoded image signal | |
US20110170803A1 (en) | Apparatus and method for image processing | |
JP2005176381A (ja) | 適応的動き補償の補間方法及び装置 | |
KR101805623B1 (ko) | 영상 고주파 정보 추정 및 안정화를 통한 고해상도 영상 생성 방법 및 장치 | |
JP6642570B2 (ja) | 画像処理装置、画像処理方法、および、画像処理プログラム | |
WO2010007777A1 (ja) | 画像処理装置、画像処理方法、プログラム、記録媒体および集積回路 | |
JP2005150903A (ja) | 画像処理装置、ノイズ除去方法及びノイズ除去プログラム | |
JP2002223374A (ja) | ノイズ除去装置およびノイズ除去方法 | |
US20070236610A1 (en) | Recursive 3D super precision method for smoothly changing area | |
JP2002208006A (ja) | 画像ノイズ減少方法 | |
EP1023695B1 (en) | Method of deciding on the presence of global motion by using 2-dimensional translational motion vectors and linear regression | |
EP3796216A1 (en) | Image processing apparatus, image processing method, and program | |
KR100772405B1 (ko) | 전역 움직임 추정에 근거한 적응성 잡음 감쇄 방법 및 영상처리 시스템 | |
KR100821939B1 (ko) | 영상 잡음 제거 장치 및 방법 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20051208 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20080716 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080722 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080912 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20081104 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20081117 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111205 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111205 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111205 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121205 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121205 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131205 Year of fee payment: 5 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |