JP3291597B2 - 動き検出回路及びノイズ低減回路 - Google Patents
動き検出回路及びノイズ低減回路Info
- Publication number
- JP3291597B2 JP3291597B2 JP16322793A JP16322793A JP3291597B2 JP 3291597 B2 JP3291597 B2 JP 3291597B2 JP 16322793 A JP16322793 A JP 16322793A JP 16322793 A JP16322793 A JP 16322793A JP 3291597 B2 JP3291597 B2 JP 3291597B2
- Authority
- JP
- Japan
- Prior art keywords
- pixel
- difference
- circuit
- pixels
- signal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/14—Picture signal circuitry for video frequency region
- H04N5/144—Movement detection
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/14—Picture signal circuitry for video frequency region
- H04N5/21—Circuitry for suppressing or minimising disturbance, e.g. moiré or halo
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Picture Signal Circuits (AREA)
Description
を検出する動き検出回路および画像信号に含まれるノイ
ズを低減するノイズ低減回路に関する。
機等で使われている従来の動き検出回路の構成を示す。
入力端子100には、たとえば復調後にAD変換された
8ビットのテレビジョン信号が画像信号VSi として入
力される。この入力画像信号VSi は、減算器102の
一方の入力端子に与えられるとともに、フレームメモリ
104およびエッジ検出回路106に入力される。フレ
ームメモリ104は、1画面分前つまりNTSC方式の
場合は1フレーム前の画像信号を遅延画像信号VSd と
して減算器102の他方の入力端子に与える。
遅延画像信号VSd を減算し、画素単位で差分をとる。
減算器102より出力された差分信号eは、絶対値回路
108で絶対値|e|に変換されてから、非線形処理回
路110に入力される。非線形処理回路110は、図1
7に示すような非線形の入出力特性を有し、入力した差
分絶対値|e|に対応する出力信号fをたとえば6ビッ
トで出力し、これを割算器112の一方の入力端子に与
える。
Si を2次元のハイパスフィルタに通し、画素単位で画
像中のエッジ(輪郭)部分であるか否かをエッジの細か
さの程度まで表すエッジ検出信号egをたとえば4ビッ
トで出力し、この信号egを割算器112の他方の入力
端子に与える。割算器112は、一方の入力信号fを他
方の入力信号egで割算し、その割算値h(f/eg)
をたとえば4ビットで出力する。割算器112の出力信
号hは、量子化回路114で所望のビット数に量子化さ
れ、多値(たとえば2ビット)または二値(1ビット)
の動き信号msとして出力端子116より出力される。
画面前の遅延画像信号VSd との間の差分eおよびその
絶対値|e|が零または零に近い値、つまり非線形処理
回路110のしきい値THよりも低い値になるため、非
線形処理回路110より有意の出力信号fが発生され
ず、動き信号msの値は零になる。
e|がしきい値THを越えて、非線形処理回路110よ
り有意の出力信号fが発生され、動き信号msも動きの
大きさに応じた有意の値になる。なお、同じ動きをする
動画領域内の各部でも、エッジ部分のほうで平坦部分よ
りも差分絶対値|e|が大きくなる。このため、エッジ
検出信号egによる割算処理を行って、動画領域内で各
部の動きの感度を調整している。
号VSi には伝送系および受信・復調系のノイズが含ま
れており、減算器102の出力端子に得られる差分eに
もノイズ成分が含まれている。上記した従来の動き検出
回路においては、静止画像または静止画領域でもノイズ
が大きい場合には、差分絶対値|e|が非線形処理回路
110のしきい値THを越えてしまい、有意の動き信号
msが誤って発生されるおそれがある。この不具合を解
消するためにしきい値THを高くすると、動画領域で動
きが小さい場合つまり差分eが小さい場合に、差分絶対
値|e|がしきい値THを越えなくなり、有意の動き信
号msが発生されないという別の不都合が生じる。
像(入力画像信号)と前画像(遅延画像信号)間の画素
単位の差分絶対値が非線形処理回路110のしきい値T
Hを越えるか否かに応じて、当該画素が動画領域である
かそれともノイズを含む静止画領域であるかの判別を一
律に行う方式であるがために、小さな動きをノイズと誤
検出したり、あるいは大きなノイズを動きと誤検出して
しまう問題があった。
されたもので、動きの大小、ノイズの有無、ノイズの大
小に関係なく動画像または動画領域を正確に検出するよ
うにした信頼性の高い動き検出回路を提供することを第
1の目的とする。
に対しては動きの大小に左右されずにノイズ低減処理を
行わないようにし、静止画ないし静止画領域に対しての
みノイズリダクションをかけるようにした信頼性の高い
ノイズ低減回路を提供することを第2の目的とする。
るために、本発明の動き検出回路は、入力画像信号と1
画面単位分遅延された遅延画像信号との差分をとる差分
生成手段と、前記差分生成手段より得られた差分の極性
を各画素と当該画素の前の水平走査ライン上の画素およ
び前記画素の後の水平走査ライン上の画素を含む付近の
他の画素とについて判定する差分極性判定手段と、前記
差分生成手段より得られた差分の大きさを各画素と当該
画素の前の水平走査ライン上の画素および前記画素の後
の水平走査ライン上の画素を含む付近の他の画素とにつ
いて判定する差分値判定手段と、前記差分極性判定手段
および前記差分値判定手段のそれぞれの判定結果を基に
各画素について動画領域であるか否かを判定する動き判
定手段とを有する構成とした。本発明の動き検出回路に
おいて、好ましい一態様は、前記付近の画素が対象とな
る画素の前後の画素を含み、前記前の水平走査ラインが
対象となる画素の直前の水平走査ラインであり、前記後
の水平走査ラインが対象となる画素の直後の水平走査ラ
インである。
明のノイズ低減回路は、入力画像信号と1画面単位分遅
延された遅延画像信号との差分をとる差分生成手段と、
前記差分生成手段より得られた差分に基づいて前記入力
画像信号にノイズ低減処理を施すノイズ低減処理手段
と、前記差分生成手段より得られた差分の極性を各画素
と当該画素の前の水平走査ライン上の画素および前記画
素の後の水平走査ライン上の画素を含む付近の他の画素
とについて判定する差分極性判定手段と、前記差分生成
手段より得られた差分の大きさを各画素と当該画素の前
の水平走査ライン上の画素および前記画素の後の水平走
査ライン上の画素を含む付近の他の画素とについて判定
する差分値判定手段と、前記差分極性判定手段および前
記差分値判定手段のそれぞれの判定結果を基に各画素に
ついて動画領域であるか否かを判定する動き判定手段
と、前記動き判定手段の判定結果に基づいて動画領域に
対しては前記ノイズ低減処理手段のノイズ低減処理を禁
止するノイズ低減処理禁止手段とを有する構成とした。
本発明のノイズ低減回路において、好ましい一態様は、
前記付近の画素が対象となる画素の前後の画素を含み、
前記前の水平走査ラインが対象となる画素の直前の水平
走査ラインであり、前記後の水平走査ラインが対象とな
る画素の直後の水平走査ラインである。
的に変化するとき、その回りの画素も同様の方向および
程度で時間変化する確率が非常に高い。したがって、1
つの画素に注目し、その画素が時間変化したか(動画領
域に属するのか)否か(静止画領域に属するのか)を判
定するに際しては、その画素についてのみならず近隣の
画素についても、特に当該画素の前(好ましくは直前)
および後(好ましくは直後)の水平走査ライン上の近隣
画素についても変化の方向(差分の極性)および変化の
程度(差分の大きさ)をみることで、より正確な判定結
果を得ることができる。
より得られる入力画像信号と遅延画像信号との差分の極
性(符号)および大きさ(絶対値)を差分極性判定手段
および差分値判定手段が各画素と当該画素の前後の水平
走査ライン上の画素を含む付近の他の画素とについて判
定し、動き判定手段がそれら複数の画素に対応する複数
個の差分の極性および差分の大きさに基づいて各画素が
動画領域であるか静止画領域であるかを判定する。
き検出回路が各画素について動画領域であるか否かを判
定し、その判定結果にしたがってノイズ低減処理手段が
静止画領域に対してのみノイズ低減処理を行い、動画領
域に対してはノイズ低減処理を行わないように作用す
る。動き検出回路より動きの大小に左右されない正確な
動き検出情報が得られるので、動きの大小に関係なく動
画領域に対してはノイズリダクションはかけられず、静
止画領域に対してのみノイズリダクションがかけられ
る。
例を説明する。
回路の構成を示す。この動き検出回路は、たとえば復調
後にAD変換された8ビットのテレビジョン信号を画像
信号VSi として入力し、この入力画像信号VSi につ
いて画面内の動画領域を画素単位で検出する回路であ
り、基本的には、フレームメモリ12、減算器14およ
び動き判定回路16から構成される。
分生成部15を構成する。減算器14には入力端子10
からの8ビットの入力画像信号VSi とフレームメモリ
12からの1画面単位分(NTSC方式の場合は1フレ
ーム)遅延された8ビットの遅延画像信号VSd とが入
力され、ここで各画素について両信号VSi ,VSdの
差分がとられ、9ビットの差分信号eが出力される。減
算器14より出力された差分信号eは動き判定回路16
に入力される。
分生成部15より入力した差分eの極性を各画素および
その付近の所定の他の画素について判定する差分極性判
定部と、差分生成部15より入力した差分eの大きさを
各画素およびその付近の所定の他の画素について判定す
る差分値判定部と、差分極性判定部および差分値判定部
のそれぞれの判定結果を基に各画素について動画領域か
静止画領域かを判定する動き判定部とを内蔵し、動き判
定部の判定結果を表す1ビットの動き判定信号MCを出
力する。この動き判定信号MCは、各画素について動画
領域であるときは“1”、静止画領域であるときは
“0”の論理値をとる。
18、非線形処理回路20および量子化回路28は、従
来の動き検出回路(図16)における絶対値回路10
8、非線形処理回路110および量子化回路114とそ
れぞれ同様の構成および機能を有するものでよい。本実
施例において、これらの回路18,20,28は、多値
(2ビット以上)の動き信号MSm を得る場合に必要な
ものである。その場合、動き判定回路16からの動き判
定信号MCはAND回路26に対するイネーブル信号と
して作用する。なお、AND回路26は、割算器24の
出力信号のビット数に等しい個数だけ並列に設けられ
る。しかし、動き判定回路16からの判定信号MCをそ
のまま二値(1ビット)の動き信号MS1 として出力端
子32より出力させる場合には、これらの回路18,2
0,28を省くことができる。また、動き感度調整用の
エッジ検出回路22および割算器24も、必要に応じて
省くことが可能なものである。
を示す。この動き判定回路16において、差分極性判定
部40は、極性判別回路42と、1画素クロック分の遅
延時間(D)を与える6個のサンプル遅延回路44(1)
〜44(6) と、1水平走査期間分の遅延時間(H)を与
える2個のライン遅延回路46(1) ,46(2) と、9個
の入力端子a1 〜a9 にそれぞれ入力される9個の二値
信号が全て“1”または“0”のときのみ出力端子Yよ
り論理値“1”の出力信号を発生する9入力型のブロッ
ク差分極性判定回路48とから構成される。
した9ビットの差分信号eの最上位ビットつまりキャリ
ー(桁上げ)から差分eの極性または符号を判別し、各
画素について差分eの極性が正(+)のときは“1”、
負(−)のときは“0”の値をとる1ビットの差分極性
判別信号QSを出力する。極性判別回路42より出力さ
れた差分極性判別信号QSは、サンプル遅延回路44
(1) 〜44(6) およびライン遅延回路46(1) ,46
(2) によって構成される9つの経路を通ってブロック差
分極性判定回路48の9個の入力端子a1 〜a9 に入力
される。
延回路46(1) ,46(2) を通ってから第1および第2
のサンプル遅延回路44(1) ,44(2) を通って第1の
入力端子a1 に至る遅延経路である。第2の経路は、第
1および第2のライン遅延回路46(1) ,46(2) を通
ってから第1のサンプル遅延回路44(1) を通って第2
の入力端子a2 に至る遅延経路である。第3の経路は、
第1および第2のライン遅延回路46(1) ,46(2) を
通ってからそのまま第3の入力端子a3 に至る遅延経路
である。第4の経路は、第1のライン遅延回路46(1)
を通ってから第3および第4のサンプル遅延回路44
(3) ,44(4) を通って第4の入力端子a4 に至る遅延
経路である。第5の経路は、第1のライン遅延回路46
(1) を通ってから第3のサンプル遅延回路44(3) を通
って第5の入力端子a5 に至る遅延経路である。第6の
経路は、第1のライン遅延回路46(1) を通ってからそ
のまま第6の入力端子a6 に至る遅延経路である。第7
の経路は、第5および第6のサンプル遅延回路44(5)
,44(6) を通って第7の入力端子a7 に至る遅延経
路である。第8の経路は、第5のサンプル遅延回路44
(5) を通って第8の入力端子a8 に至る遅延経路であ
る。第9の経路は、極性判別回路42の出力端子からそ
のまま第9の入力端子a9 に至る直接経路である。
いる画素を模式的に示す。第i行第j列の画素Pi,j に
対応する差分極性判別信号QSi,j がブロック差分極性
判定回路48の第5の入力端子a5 に入力される時、第
1の入力端子a1 には第(i−1)行第(j−1)列の
画素Pi-1,j-1 に対応する差分極性判別信号QSi-1,j-
1 が入力され、第2の入力端子a2 には第(i−1)行
第j列の画素Pi-1,jに対応する差分極性判別信号QSi
-1,j が入力され、第3の入力端子a3 には第(i−
1)行第(j+1)列の画素Pi-1,j+1 に対応する差分
極性判別信号QSi-1,j+1 が入力され、第4の入力端子
a4 には第i行第(j−1)列の画素Pi,j-1 に対応す
る差分極性判別信号QSi,j-1 が入力され、第6の入力
端子a6には第i行第(j+1)列の画素Pi,j+1 に対
応する差分極性判別信号QSi,j+1が入力され、第7の
入力端子a7 には第(i+1)行第(j−1)列の画素
Pi+1,j-1 に対応する差分極性判別信号QSi+1,j-1 が
入力され、第8の入力端子a8 には第(i+1)行第j
列の画素Pi+1,j に対応する差分極性判別信号QSi+1,
j が入力され、第9の入力端子a9 には第(i+1)行
第(j+1)列の画素Pi+1,j+1 に対応する差分極性判
別信号QSi+1,j+1 が入力される。
対応する差分極性判別信号QSi,jがブロック差分極性
判定回路48に入力される時、この画素Pi,j の回りの
8個の画素Pi-1,j-1 ,Pi-1,j ,Pi-1,j+1 ,Pi,j-
1 ,Pi,j+1 ,Pi+1,j-1 ,Pi+1,j ,Pi+1,j+1 に対
応する差分極性判別信号QSi-1,j-1 ,QSi-1,j ,Q
Si-1,j+1 ,QSi,j-1 ,QSi,j+1 ,QSi+1,j-1 ,
QSi+1,j ,QSi+1,j+1 も同時にブロック差分極性判
定回路48に入力される。つまり、各画素Pi,j を中心
として3×3画素サイズのブロックに含まれる9個の画
素にそれぞれ対応した9個の差分極性判別信号が同時に
ブロック差分極性判定回路48に入力される。
回路、OR回路等の論理回路からなり、各画素Pi,j 毎
に同時に入力した9個の差分極性判別信号QSi-1,j-1
,QSi-1,j ,QSi-1,j+1 ,QSi,j-1 ,QSi,j
,QSi,j+1 ,QSi+1,j-1 ,QSi+1,j ,QSi+1,j
+1 が全て“1”または全て“0”のときのみ論理値
“1”のブロック差分極性判定信号QEを発生する。
画像(入力画像信号)と前画像(遅延画像信号)間の画
素単位の差分eの極性(符号)が各画素およびその回り
(3×3画素ブロック内)の他の8個の画素について判
定され、それら9個の画素にそれぞれ対応した9個の差
分の極性が全て“1”または全て“0”のときのみ論理
値“1”のブロック差分極性判定信号QEが出力され
る。
的に変化するだけでなく、その付近(3×3画素ブロッ
ク内)の他の画素も時間的に同様の変化を示すので、そ
れら9個の画素にそれぞれ対応した9個の差分の極性が
全て同じになり(対応する9個の差分極性判別信号QS
が全て“1”または全て“0”になり)、各画素につい
て論理値“1”のブロック差分極性判定信号QEが得ら
れる。このブロック差分極性判定信号QEはAND回路
62の一方の入力端子に与えられる。
イズが含まれている場合、差分生成部15よりノイズに
対応する差分eが得られるが、ノイズは無相関でランダ
ムに出現するため、3×3画素ブロック内の9個の画素
にそれぞれ対応する9個の差分eの極性はまちまちにな
り(対応する9個の差分極性判別信号QSの一部が
“1”で残りは“0”になり)、各画素について論理値
“0”のブロック差分極性判定信号QEが得られる。
にノイズが実質的に含まれていないときは、差分生成部
15より出力される差分eの値が零付近になり、3×3
画素ブロック内の9個の画素にそれぞれ対応する9個の
差分eの極性が全て同一になる場合がある。この場合、
ブロック差分極性判定回路48より、動画領域の場合と
同じく論理値“1”のブロック差分極性判定信号QEが
発生される。しかし、後述する差分値判定手段50の方
で実質的なノイズのない静止画領域であることを判別す
るので、結果的に動き判定部60からは当該画素が静止
画領域であることを表す論理値“0”の動き判定信号M
Cが出力されるようになっている。
判定部50は、絶対値回路51と、比較器52と、1画
素クロック分の遅延時間(D)を与える6個のサンプル
遅延回路54(1) 〜54(6) と、1水平走査期間分の遅
延時間(H)を与える2個のライン遅延回路56(1) ,
56(2) と、9個の入力端子b1 〜b9 にそれぞれ入力
される9個の二値信号が全て“1”または“0”のとき
のみ出力端子Yより論理値“1”の出力信号を発生する
9入力型のブロック差分値判定回路58とから構成され
る。
号eを入力し、その絶対値|e|を出力する。比較器5
2は、絶対値回路51からの差分絶対値|e|を所定の
比較基準値またはしきい値THと比較し、|e|>TH
のとき“1”、|e|≦THのとき“0”の論理値をと
る1ビットの差分値判別信号RSを出力する。比較器5
2より出力された画素単位の差分極性判別信号RSは、
サンプル遅延回路54(1) 〜54(6) およびライン遅延
回路56(1) ,56(2) により構成される9つの経路を
通ってブロック差分値判定回路58の9個の入力端子b
1 〜b9 に入力される。
延回路56(1) ,56(2) を通ってから第1および第2
のサンプル遅延回路54(1) ,54(2) を通って第1の
入力端子b1 に至る遅延経路である。第2の経路は、第
1および第2のライン遅延回路56(1) ,56(2) を通
ってから第1のサンプル遅延回路54(1) を通って第2
の入力端子b2 に至る遅延経路である。第3の経路は、
第1および第2のライン遅延回路56(1) ,56(2) を
通ってからそのまま第3の入力端子b3 に至る遅延経路
である。第4の経路は、第1のライン遅延回路56(1)
を通ってから第3および第4のサンプル遅延回路54
(3) ,54(4) を通って第4の入力端子b4 に至る遅延
経路である。第5の経路は、第1のライン遅延回路56
(1) を通ってから第3のサンプル遅延回路54(3) を通
って第5の入力端子b5 に至る遅延経路である。第6の
経路は、第1のライン遅延回路56(1) を通ってからそ
のまま第6の入力端子b6 に至る遅延経路である。第7
の経路は、第5および第6のサンプル遅延回路54(5)
,54(6) を通って第7の入力端子b7 に至る遅延経
路である。第8の経路は、第5のサンプル遅延回路54
(5) を通って第8の入力端子b8 に至る遅延経路であ
る。第9の経路は、比較器52の出力端子からそのまま
第9の入力端子b9 に至る直接経路である。
に対応する差分値判別信号RSi,jがブロック差分値判
定回路58の第5の入力端子b5 に入力される時、第1
の入力端子b1 には第(i−1)行第(j−1)列の画
素Pi-1,j-1 に対応する差分値判別信号RSi-1,j-1 が
入力され、第2の入力端子b2 には第(i−1)行第j
列の画素Pi-1,j に対応する差分値判別信号RSi-1,j
が入力され、第3の入力端子b3 には第(i−1)行第
(j+1)列の画素Pi-1,j+1 に対応する差分値判別信
号RSi-1,j+1 が入力され、第4の入力端子b4 には第
i行第(j−1)列の画素Pi,j-1 に対応する差分値判
別信号RSi,j-1 が入力され、第6の入力端子b6 には
第i行第(j+1)列の画素Pi,j+1 に対応する差分値
判別信号RSi,j+1 が入力され、第7の入力端子b7 に
は第(i+1)行第(j−1)列の画素Pi-1,j-1 に対
応する差分値判別信号RSi-1,j-1 が入力され、第8の
入力端子b8 には第(i+1)行第j列の画素Pi+1,j
に対応する差分値判別信号RSi+1,j が入力され、第9
の入力端子b9 には第(i+1)行第(j+1)列の画
素Pi+1,j+1 に対応する差分値判別信号RSi+1,j+1 が
入力される。
対応する差分値判別信号RSi,j がブロック差分値判定
回路58に入力される時、この画素Pi,j の回りの8個
の画素Pi-1,j-1 ,Pi-1,j ,Pi-1,j+1 ,Pi,j-1 ,
Pi,j+1 ,Pi+1,j-1 ,Pi+1,j ,Pi+1,j+1 に対応す
る差分値判別信号RSi-1,j-1 ,RSi-1,j ,RSi-1,
j+1 ,RSi,j-1 ,RSi,j+1 ,RSi+1,j-1 ,RSi+
1,j ,RSi+1,j+1 も同時にブロック差分値判定回路5
8に入力される。つまり、各画素Pi,j を中心として3
×3画素サイズのブロックに含まれる9個の画素にそれ
ぞれ対応した9個の差分値判別信号が同時にブロック差
分値判定回路58に入力される。
路、OR回路等の論理回路から構成されてよく、各画素
Pi,j 毎に同時に入力した9個の差分値判別信号RSi-
1,j-1 ,RSi-1,j ,RSi-1,j+1 ,RSi,j-1 ,RS
i,j ,RSi,j+1 ,RSi+1,j-1 ,RSi+1,j ,RSi+
1,j+1 が全て“1”または全て“0”のときのみ論理値
“1”のブロック差分値判定信号REを発生する。
像(入力画像信号)と前画像(遅延画像信号)間の画素
単位の差分eの絶対値が各画素およびその付近(3×3
画素ブロック内)の他の8個の画素について判定され、
それら9(3×3)個の画素にそれぞれ対応した9個の
差分の絶対値が全てしきい値THを越えるときのみ論理
値“1”のブロック差分値判定信号REが出力される。
このブロック差分値判定信号REはAND回路62の他
方の入力端子に与えられる。
ズが実質的に含まれておらず、差分生成部15より出力
される差分eの値が零付近であるときは、各画素を中心
とする3×3画素ブロック内の9個の画素にそれぞれ対
応する9個の差分の絶対値が全て零付近の値になる。し
たがって、しきい値THが非常に低い値に設定されてい
ても、9個の差分絶対値が全てしきい値THを越えるこ
とはないので(対応する9個の差分値判別信号が全て
“1”になることはないので)、ブロック差分値判定回
路58からは論理値“0”のブロック差分値判定信号R
Eが得られる。
に設定された場合、静止画領域において、画像信号VS
にノイズが含まれているときは、各画素を中心とする3
×3画素ブロック内の9個の画素にそれぞれ対応する9
個の差分の絶対値が全てしきい値THを越える場合があ
る。その場合、ブロック差分値判定回路58からは論理
値“1”のブロック差分値判定信号REが出力される。
しかし、上記のように静止画領域の画像信号VSにノイ
ズが含まれているときは、差分極性判定部40より論理
値“0”のブロック差分極性判定信号QEが出力される
ので、結果的に動き判定部60からは当該画素が静止画
領域であることを表す論理値“0”の動き検出信号MC
が出力されるようになっている。
化するだけでなく、その付近(3×3画素ブロック内)
の他の画素も時間的に同様の変化を示すため、それら9
(3×3)個の画素にそれぞれ対応した9個の差分の絶
対値が全てしきい値THを越える(対応する9個の差分
値判別信号が全て“1”になる)から、ブロック差分値
判定回路58より論理値“1”のブロック差分値判定信
号REが得られる。
る。差分極性判定部40からのブロック差分極性判定信
号QEが“1”で、かつ差分値判定部50からのブロッ
ク差分値判定信号REが“1”のときのみ、AND回路
62は当該画素が動画領域であることを表す論理値
“1”の動き判定信号MCを発生する。ブロック差分極
性判定信号QEおよびブロック差分値判定信号REの少
なくとも一方が“0”のときは、AND回路62は当該
画素が静止画領域であることを表す論理値“0”の動き
判定信号MCを発生する。
16の作用を説明する。たとえば、図4の(A),(B) に示
すように、遅延画像信号VSd に対応する1フレーム前
の画面と入力画像信号VSi に対応する現画面との間で
画像中の一部が水平方向に動いたとする。この場合、時
間的に変化した画像領域つまり動画領域においては、図
4の(C),(E) に示すように各水平ライン上で連続する複
数の画素にわたって両画像信号VSi ,VSd の差分e
が同一極性で揃うとともにそれらの差分絶対値|e|が
しきい値THを越え、差分極性判定部40および差分絶
対値判定部50より図4の(D),(F) に示すように論理値
“1”のブロック差分極性判定信号QEおよびブロック
差分値判定信号REがそれぞれ出力され、動き判定部6
0より図4の(G) に示すように論理値“1”の動き判定
信号MCが出力される。
極性および絶対値を各画素についてだけでなくその付近
の所定の他の画素についても判定し、さらに差分絶対値
の判定に際してはしきい値THを越えるものだけを動画
領域の条件とするため、図4の(C),(G) に示すように実
際の動画領域よりは幾らか狭い領域で動き判定信号MC
の論理値が“1”になりやすい。このギャップを補償す
るには、たとえば図5に示すように動き判定部60の出
力側に水平拡げ回路64および垂直拡げ回路66を接続
すればよい。
び垂直拡げ回路66の回路構成をそれぞれ示す。水平拡
げ回路64は、1画素クロック分の遅延時間(D)を与
える2個の遅延回路64B,64Cを縦属接続し、両遅
延回路64B,64Cの出力端子および入力端子64A
を3入力ORゲート64Dの各入力端子に接続し、3入
力ORゲート64Dの出力端子を回路出力端子64Eに
接続してなる。垂直拡げ回路66は、1水平走査期間分
の遅延時間(H)を与える2個の遅延回路66B,66
Cを縦属接続し、両遅延回路66B,66Cの出力端子
および入力端子66Aを3入力ORゲート66Dの各入
力端子に接続し、3入力ORゲート66Dの出力端子を
回路出力端子66Eに接続してなる。図8に、水平拡げ
回路64および垂直拡げ回路66における各部の信号波
形を示す。
理値“1”の動き判定信号MCは、先ず水平拡げ回路6
4によって水平ライン方向にパルス幅を拡げられ、次に
垂直拡げ回路66によって垂直方向にもパルス幅を拡げ
られる。これによって、動き判定信号MCが論理値
“1”をとる範囲(動画領域であることを表す範囲)
を、実際の動画領域の範囲にほぼ一致させることができ
る。
動き検出特性を示す。この図において、しきい値THは
差分値判定部50の比較器52に与えられる比較基準値
THに相当する。実線の特性曲線SLは動き検出出力M
Sm を多値信号(2ビット以上)とする場合であり、点
線の特性曲線DLは動き検出出力MSm を二値信号(1
ビット)とする場合である。本実施例では、上記のよう
に前画面と現画面間の差分の極性および絶対値を各画素
およびその付近の他の画素について判定して、動画によ
る差分とノイズによる差分とを正確に判別できるため、
しきい値THを可及的に零に近付けることが可能であ
る。したがって、動き(時間変化)が小さくても確実に
動画領域と判定することができる。一方、動きがなけれ
ば、ノイズの有無、ノイズの大小に関係なく、確実に静
止画領域と判定することができる。
おいて、差分極性判定部40は、現画像(入力画像信
号)と前画像(遅延画像信号)間の画素単位の差分の極
性(符号)を各画素およびその付近(3×3画素ブロッ
ク内)の他の8個の画素について判定し、それら9個の
画素にそれぞれ対応した9個の差分の極性が全て“1”
または全て“0”のときのみ論理値“1”のブロック差
分極性判定信号QEを出力するように構成されていた。
また、差分値判定部50は、現画像と前画像間の画素単
位の差分eの絶対値を各画素およびその付近(3×3画
素ブロック内)の他の8個の画素について判定し、それ
ら9個の画素にそれぞれ対応した9個の差分の絶対値が
全てしきい値THを越えるときのみ論理値“1”のブロ
ック差分値判定信号REを出力するように構成されてい
た。
よびブロック差分値判定信号REがそれぞれ論理値
“1”となるための条件を必要に応じて緩和させること
は可能である。たとえば、差分値判定部50において、
ブロック差分値判定回路58に同時に入力される9個の
差分値判別信号のうち、たとえば6個以上の信号が
“1”のときは、ブロック差分値判定回路58より論理
値“1”のブロック差分値判定信号REが出力されるよ
うに、判定回路58を変形することができる。この変形
を行うためには、たとえばブロック差分値判定回路58
に論理回路を増設してよく、あるいはブロック差分値判
定回路58を図10に示すように加算器68と比較器7
0とで構成してよい。
i,j およびその付近(3×3画素ブロック内)の8個の
画素Pi-1,j-1 ,Pi-1,j ,Pi-1,j+1 ,Pi,j-1 ,P
i,j+1 ,Pi+1,j-1 ,Pi+1,j ,Pi+1,j+1 に対応する
9個の差分値判別信号RSi-1,j-1 ,RSi-1,j ,RS
i-1,j+1 ,RSi,j-1 ,RSi,j ,RSi,j+1 ,RSi+
1,j-1 ,RSi+1,j ,RSi+1,j+1 を同時に入力端子c
1 〜c9 に受け、それら9個の差分値判別信号の論理値
を加算し、加算値FRSi,j を出力端子Yより出力す
る。比較器70は、加算器68からの加算値FRSi,j
を比較基準値TM(たとえば5)と比較し、FRSi,j
>TMのときのみ論理値“1”のブロック差分値判定信
号REを出力する。
成例を示す回路図である。図12は図11の回路をより
詳細に示す回路図である。図12において、各加算ユニ
ット68は半加算器であり、A,Bは入力端子、Sは加
算値出力端子、Cはキャリー出力端子である。
記した差分値判定部50の変形と同様の変形を行うこと
ができる。
極性判定および差分絶対値判定を受ける付近の画素を3
×3画素ブロックの範囲で選んだが、このような近隣画
素の選定は一例であり、任意の近隣画素を選定すること
ができる。たとえば、図3において、各画素Pi,j の上
下および左右の4つの画素Pi-1,j ,Pi,j-1 ,Pi,j+
1 ,Pi+1,j だけを選定してもよい。その場合は、動き
判定回路16における差分極性判定部40および差分値
判定部50を図13に示すように変形することができ
る。
動き検出回路を用いたノイズ低減回路について説明す
る。
本発明の一実施例によるノイズ低減回路の構成を示す。
このノイズ低減回路において、入力端子80には、復調
後にAD変換された8ビットのテレビジョン信号が入力
画像信号VSi として入力される。この入力画像信号V
Si は、加算器82の一方の入力端子に与えられるとと
もに減算器84の一方の入力端子に与えられる。減算器
84の他方の入力端子には、フレームメモリ86より2
フレーム前(MUSE方式では1画面前)の画像信号が
遅延画像信号VSd として与えられる。減算器84は、
入力画像信号VSi から遅延画像信号VSd を減算して
画素単位でその差分をとる。減算器84より出力された
9ビットの差分信号EはROM(ルック・アップ・テー
ブル)からなる係数乗算器88に入力され、ここで係数
Kを乗算される。この乗算係数Kは一定ではなく、図1
5に示すような非線形な入出力特性に基づいて各入力の
値に応じて選ばれる。
においては、入力値(差分値E)が上限値Ua を越える
と、出力値(補正差分値KE)が一律零になるように設
定されている。これは、差分値Eが上限値Ua を越えた
ときは、動画像部とみなして出力値(補正差分値KE)
を零にし、入力画像信号VSi をそのまま出力画像信号
VSo とするもので、いわゆるリミッタ機能である。大
きなノイズを含む静止画領域の入力画像信号VSi に対
して効果的にノイズリダクションをかけるうえでは、上
限値Ua はできるだけ大きな値に設定されるのが望まし
い。しかし、従来のノイズ低減回路では、実際には動画
領域であっても、動きが小さくて差分値Eが上限値Ua
以下であるときは、入力画像信号VSi に対して不所望
にノイズリダクションがかけられ、ぼけや残像等の画質
劣化を生じるおそれがあった。本実施例のノイズ低減回
路では、後述する動き検出回路の作用によって、この問
題が解消されている。
出力された8ビットの補正差分値KEは、AND回路9
6を通って加算器82の他方の入力端子に入力される。
加算器82は、入力画像信号VSi に補正差分値KEを
加算する。加算器82の出力信号は、出力画像信号VS
o として出力端子90より送出されるとともに、フレー
ムメモリ86に入力される。
では次式が成立する。 VSo =VSi +KE ………(1)
MUSE方式の場合は1/15秒に相当する。
i と出力画像信号VSo との間の入出力特性または伝達
関数は次式で与えられる。 VSo /VSi =(1+K)/(1−KZ-1) ………(3)
像信号VSi に含まれるノイズNiと出力画像信号VSo
に含まれるノイズNo との間には次式の入出力特性ま
たは伝達関数が成立する。 No /Ni ={(1+K)2 /(1−K2 )}1/2 ………(4)
とによって、画像信号とノイズとの比(SN比)は(1
+K/1−K)1/2 倍に高くなり、ノイズが低減され
る。
器88と並列に動き判定回路92およびNOT回路94
が設けられている。この動き判定回路92は、上記した
実施例における動き判定回路16と同様の構成および機
能を有するものでよく、減算器84およびフレームメモ
リ86と協働して動き検出回路を構成する。
にして、前画面と現画面間の画素単位の差分の極性およ
び絶対値が各画素およびその付近の所定の他の画素につ
いて判定され、それらの近接する複数の画素の全体的な
差分極性および差分絶対値の判定結果を基に、各画素に
ついて動画領域であるか静止画領域であるかを表す1ビ
ットの動き判定信号MCが生成される。
域を表す論理値“1”の動き判定信号MCが出力された
時は、AND回路96で係数乗算器88からの補正差分
値KEが遮断(マスク)され、入力画像信号VSi は加
算器82で補正差分値KEを加算されることなく、つま
りノイズ低減処理を受けることなく、そのまま出力画像
信号VSo として出力端子90およびフレームメモリ8
6へ送られる。また、動き検出回路92より静止画領域
を表す論理値“0”の動き判定信号MCが出力された時
は、係数乗算器88からの補正差分値KEはAND回路
96を通って加算器82へ送られ、入力画像信号VSi
は補正差分値KEを加算され、ノイズ低減処理を受け
る。
域であればノイズの有無、ノイズの大小に関係なく確実
に動き検出回路92より論理値“0”の動き判定信号M
Cが出力されるのでノイズ低減処理が確実に行われ、動
画領域であれば動きの大小に関係なく確実に動き検出回
路92より論理値“1”の動き判定信号MCが出力され
るのでノイズ低減処理が確実に禁止される。これによ
り、係数乗算器88における入出力特性(図15)にお
ける上限値Ua を高い値に設定しても、動画領域に対し
て不所望なノイズリダクションがかかるおそれはなく、
残像等の画質劣化を防止することができる。
減回路に限らず、たとえばNTSC方式のテレビ受像機
におけるY/C分離やハイビジョン放送のMUSEデコ
ーダにおける静止画信号と動画信号との混合または切換
等にも用いることができる。
回路によれば、入力画像信号と遅延画像信号との差分の
極性および大きさを各画素と当該画素の前後の水平走査
ライン上の画素を含む付近の他の画素とについて動画領
域であるか静止画領域であるかを判定するようにしたの
で、動きの大小、ノイズの有無、ノイズの大小等に左右
されずに正確な動き検出を行うことができる。
入力画像信号と遅延画像信号との差分の極性および大き
さを各画素と当該画素の前後の水平走査ライン上の画素
を含む付近の他の画素とについてそれぞれ判定し、それ
らの判定結果を基に各画素について動画領域であるか静
止画領域であるかを判定し、その動き判定結果に基づい
てノイズ低減処理を動画領域に対しては禁止するように
したので、動きの大小に左右されることなく静止画に対
してのみ効果的なノイズリダクションをかけられ、残像
等の画質劣化を防止することができる。
示すブロック図である。
体的な回路構成例を示すブロック図である。
画素の配列構成を模式的に示す図である。
各部の信号の波形を示す信号波形図である。
すブロック図である。
す回路図である。
す回路図である。
回路の各部の信号の波形を示す図である。
である。
形例を示す回路図である。
回路図である。
示す回路図である。
すブロック図である。
成を示すブロック図である。
の入出力特性を示す図である。
である。
路の入出力特性を示す図である。
Claims (4)
- 【請求項1】 入力画像信号と1画面単位分遅延された
遅延画像信号との差分をとる差分生成手段と、 前記差分生成手段より得られた差分の極性を各画素と当
該画素の前の水平走査ライン上の画素および前記画素の
後の水平走査ライン上の画素を含む付近の他の画素とに
ついて判定する差分極性判定手段と、 前記差分生成手段より得られた差分の大きさを各画素と
当該画素の前の水平走査ライン上の画素および前記画素
の後の水平走査ライン上の画素を含む付近の他の画素と
について判定する差分値判定手段と、 前記差分極性判定手段および前記差分値判定手段のそれ
ぞれの判定結果を基に各画素について動画領域であるか
否かを判定する動き判定手段とを有する動き検出回路。 - 【請求項2】 前記付近の画素が対象となる画素の前後
の画素を含み、前記前の水平走査ラインが対象となる画
素の直前の水平走査ラインであり、前記後の水平走査ラ
インが対象となる画素の直後の水平走査ラインである請
求項1に記載の動き検出回路。 - 【請求項3】 入力画像信号と1画面単位分遅延された
遅延画像信号との差分をとる差分生成手段と、 前記差分生成手段より得られた差分に基づいて前記入力
画像信号にノイズ低減処理を施すノイズ低減処理手段
と、 前記差分生成手段より得られた差分の極性を各画素と当
該画素の前の水平走査ライン上の画素および前記画素の
後の水平走査ライン上の画素を含む付近の他の画素とに
ついて判定する差分極性判定手段と、 前記差分生成手段より得られた差分の大きさを各画素と
当該画素の前の水平走査ライン上の画素および前記画素
の後の水平走査ライン上の画素を含む付近の他の画素と
について判定する差分値判定手段と、 前記差分極性判定手段および前記差分値判定手段のそれ
ぞれの判定結果を基に各画素について動画領域であるか
否かを判定する動き判定手段と、 前記動き判定手段の判定結果に基づいて動画領域に対し
ては前記ノイズ低減処理手段のノイズ低減処理を禁止す
るノイズ低減処理禁止手段とを有するノイズ低減回路。 - 【請求項4】 前記付近の画素が対象となる画素の前後
の画素を含み、前記前の水平走査ラインが対象となる画
素の直前の水平走査ラインであり、前記後の水平走査ラ
インが対象となる画素の直後の水平走査ラインである請
求項3に記載のノイズ低減回路。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP16322793A JP3291597B2 (ja) | 1993-06-07 | 1993-06-07 | 動き検出回路及びノイズ低減回路 |
EP94304072A EP0643533B1 (en) | 1993-06-07 | 1994-06-07 | Circuit for detecting picture motion and noise reducing circuit |
US08/255,199 US5519456A (en) | 1993-06-07 | 1994-06-07 | Motion detecting circuit and noise reducing circuit utilizing polarity determination for pixel block of a video display |
DE69425800T DE69425800T2 (de) | 1993-06-07 | 1994-06-07 | Schaltung zur Feststellung einer Bildbewegung und Schaltung zur Reduzierung des Rauschens |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP16322793A JP3291597B2 (ja) | 1993-06-07 | 1993-06-07 | 動き検出回路及びノイズ低減回路 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPH06350881A JPH06350881A (ja) | 1994-12-22 |
JP3291597B2 true JP3291597B2 (ja) | 2002-06-10 |
Family
ID=15769744
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP16322793A Expired - Fee Related JP3291597B2 (ja) | 1993-06-07 | 1993-06-07 | 動き検出回路及びノイズ低減回路 |
Country Status (4)
Country | Link |
---|---|
US (1) | US5519456A (ja) |
EP (1) | EP0643533B1 (ja) |
JP (1) | JP3291597B2 (ja) |
DE (1) | DE69425800T2 (ja) |
Families Citing this family (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE69428034T2 (de) * | 1993-11-08 | 2002-04-18 | Sony Corp | Bildsignalkodierung und -dekodierung |
JP2900983B2 (ja) * | 1994-12-20 | 1999-06-02 | 日本ビクター株式会社 | 動画像帯域制限方法 |
KR0171120B1 (ko) * | 1995-04-29 | 1999-03-20 | 배순훈 | 특징점 기반 움직임 보상을 이용한 비디오 신호 부호화에서의 움직임 영역 설정방법 및 장치 |
US6624849B1 (en) * | 1997-12-08 | 2003-09-23 | Nikon Corporation | Solid-state imaging apparatus for motion detection |
DE19748721C2 (de) * | 1997-11-05 | 2000-02-17 | Philips Corp Intellectual Pty | Abgestufte Rücksetzung des Filterkoeffizienten bei einer Anordnung zur Rauschunterdrückung in Videobildern |
US6687388B2 (en) * | 2000-01-28 | 2004-02-03 | Sony Corporation | Picture processing apparatus |
AU2654000A (en) * | 2000-02-17 | 2001-08-27 | University Of British Columbia, The | Noise reduction for video signals |
JP2002185862A (ja) * | 2000-12-15 | 2002-06-28 | Mega Chips Corp | 画像信号のノイズ除去方法 |
US7127121B1 (en) * | 2002-03-20 | 2006-10-24 | Ess Technology, Inc. | Efficient implementation of a noise removal filter |
JP3856031B2 (ja) * | 2002-06-25 | 2006-12-13 | 松下電器産業株式会社 | 動き検出装置及びそれを用いたノイズリダクション装置 |
US7269220B2 (en) * | 2002-07-16 | 2007-09-11 | Broadcom Corporation | Adaptive motion detection and control |
CN100407766C (zh) * | 2004-12-07 | 2008-07-30 | 索尼株式会社 | 用于处理图像的方法和设备 |
US7667776B2 (en) * | 2006-02-06 | 2010-02-23 | Vixs Systems, Inc. | Video display device, video encoder, noise level estimation module and methods for use therewith |
US7961256B2 (en) * | 2006-10-17 | 2011-06-14 | Broadcom Corporation | System and method for bad weave detection for inverse telecine |
KR101373605B1 (ko) | 2007-10-09 | 2014-03-13 | 삼성전자주식회사 | 이동 물체 검출 방법 및 시스템 |
JP5097140B2 (ja) * | 2009-01-21 | 2012-12-12 | 日本放送協会 | 領域判別装置、ノイズ低減装置及びノイズ低減プログラム |
US8437505B2 (en) * | 2009-12-17 | 2013-05-07 | Lifesize Communications, Inc. | Detection of local motion between image frames |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4661853A (en) * | 1985-11-01 | 1987-04-28 | Rca Corporation | Interfield image motion detector for video signals |
JP2568658B2 (ja) * | 1988-12-09 | 1997-01-08 | 松下電器産業株式会社 | 動き検出回路 |
JP2732650B2 (ja) * | 1989-02-28 | 1998-03-30 | 株式会社東芝 | 垂直エッジ検出回路 |
US5173770A (en) * | 1990-04-27 | 1992-12-22 | Canon Kabushiki Kaisha | Movement vector detection device |
US5166788A (en) * | 1990-06-29 | 1992-11-24 | Samsung Electronics Co., Ltd. | Motion signal processor |
US5081532A (en) * | 1990-08-30 | 1992-01-14 | Zenith Electronics Corporation | Adaptive progressive scan converter |
US5237413A (en) * | 1991-11-19 | 1993-08-17 | Scientific-Atlanta, Inc. | Motion filter for digital television system |
US5365281A (en) * | 1992-06-26 | 1994-11-15 | Samsung Electronics, Co., Ltd. | Motion signal detecting circuit |
-
1993
- 1993-06-07 JP JP16322793A patent/JP3291597B2/ja not_active Expired - Fee Related
-
1994
- 1994-06-07 EP EP94304072A patent/EP0643533B1/en not_active Expired - Lifetime
- 1994-06-07 DE DE69425800T patent/DE69425800T2/de not_active Expired - Fee Related
- 1994-06-07 US US08/255,199 patent/US5519456A/en not_active Expired - Lifetime
Also Published As
Publication number | Publication date |
---|---|
EP0643533A2 (en) | 1995-03-15 |
EP0643533A3 (en) | 1995-08-02 |
US5519456A (en) | 1996-05-21 |
DE69425800D1 (de) | 2000-10-12 |
EP0643533B1 (en) | 2000-09-06 |
DE69425800T2 (de) | 2001-01-04 |
JPH06350881A (ja) | 1994-12-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP3291597B2 (ja) | 動き検出回路及びノイズ低減回路 | |
US6061100A (en) | Noise reduction for video signals | |
JP2871127B2 (ja) | 画像処理装置及び方法 | |
US6810156B1 (en) | Image interpolation device | |
JPH0620242B2 (ja) | 撮像画素のしきい処理のための最適しきい値決定方法 | |
JPS62172867A (ja) | 画像処理装置 | |
EP0878776B1 (en) | Adaptive intrafield reducing of gaussian noise by fuzzy logic processing | |
KR100281877B1 (ko) | 임펄스노이즈감소장치및그방법 | |
KR20020093076A (ko) | 화상 노이즈 저감 방법 및 장치 | |
JP3286120B2 (ja) | ノイズ除去回路 | |
EP0575995B1 (en) | Noise reduction apparatus | |
JPS63288565A (ja) | 画像処理装置 | |
JPS6315576A (ja) | 偽輪郭抑圧回路 | |
JP2862700B2 (ja) | 動き検出装置 | |
JP3326637B2 (ja) | 動き判定装置および方法 | |
JP3058647B2 (ja) | 画像信号の動き検出回路および、動き適応信号処理回路 | |
JP2521744B2 (ja) | 画像処理装置 | |
JP2525456B2 (ja) | テレビジョン映像信号の雑音低減回路 | |
JPS62165477A (ja) | 画像処理装置 | |
JPH09284648A (ja) | スーパーインポーズ領域の検出方法および装置 | |
JPH05176168A (ja) | 適応中間調処理方式 | |
JPH04219071A (ja) | 2値化装置 | |
JP4111108B2 (ja) | 画像処理装置及び方法 | |
JPH0323789A (ja) | 動き適応処理装置 | |
JPH1155505A (ja) | 画像処理装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20020226 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090329 Year of fee payment: 7 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090329 Year of fee payment: 7 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100329 Year of fee payment: 8 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100329 Year of fee payment: 8 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110329 Year of fee payment: 9 |
|
LAPS | Cancellation because of no payment of annual fees |