JPH0646298A - 映像信号の雑音除去装置およびこれに用いる動き検出回路 - Google Patents
映像信号の雑音除去装置およびこれに用いる動き検出回路Info
- Publication number
- JPH0646298A JPH0646298A JP4081078A JP8107892A JPH0646298A JP H0646298 A JPH0646298 A JP H0646298A JP 4081078 A JP4081078 A JP 4081078A JP 8107892 A JP8107892 A JP 8107892A JP H0646298 A JPH0646298 A JP H0646298A
- Authority
- JP
- Japan
- Prior art keywords
- signal
- motion
- output
- filter
- video signal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Picture Signal Circuits (AREA)
- Television Signal Processing For Recording (AREA)
Abstract
(57)【要約】
【目的】 映像信号の雑音除去装置において、回路規模
が小さく、静動画像のノイズ除去を少ない歪みで効果的
に行う。 【構成】 映像の動きを検出する動き検出回路を備え、
この動き検出回路からの制御によるメディアンフィルタ
と、リカーシブフィルタを設ける。主に、微小レベルの
ノイズはリカーシブフィルタが受持ち、情報欠落などの
大きなノイズはメディアンフィルタが受け持つ。
が小さく、静動画像のノイズ除去を少ない歪みで効果的
に行う。 【構成】 映像の動きを検出する動き検出回路を備え、
この動き検出回路からの制御によるメディアンフィルタ
と、リカーシブフィルタを設ける。主に、微小レベルの
ノイズはリカーシブフィルタが受持ち、情報欠落などの
大きなノイズはメディアンフィルタが受け持つ。
Description
【０００１】
【産業上の利用分野】本発明はテレビジョン信号の雑音
除去に利用するものである。また、本発明はテレビジョ
ン信号処理に利用するに適する高度の雑音除去装置に関
する。本発明はテレビジョン信号の雑音除去技術として
知られているメディアンフィルタおよびまたはリカーシ
ブフィルタに与える動き量情報を発生する動き検出回路
に関する。
除去に利用するものである。また、本発明はテレビジョ
ン信号処理に利用するに適する高度の雑音除去装置に関
する。本発明はテレビジョン信号の雑音除去技術として
知られているメディアンフィルタおよびまたはリカーシ
ブフィルタに与える動き量情報を発生する動き検出回路
に関する。
【０００２】
【従来の技術】一般的に、テレビジョン信号に含まれる
ノイズを除去するには、リカーシブフィルタと、メディ
アンフィルタが知られている。図８を参照してリカーシ
ブフィルタを説明する。図８は従来例の構成図である。
リカーシブフィルタは、テレビ画面の隣合うフレーム信
号の相関を利用してノイズ成分を除去するものである。
テレビジョン信号では映像の動いた部分と、突然飛び込
んで来るノイズに関しては、隣合うフレーム間での相関
は少なくこれを検出することによりテレビジョン信号と
ノイズとの分別が可能となる。しかし、この方式は静止
画像に対しては有効であるが、差分信号が大きい動画に
はそのまま適用できない。そこで、このようなノイズの
除去を行うにはテレビジョン信号の静動を検出すること
が必要不可欠の条件になっている。動き検出の方式とし
ては、隣合うフレームの差分信号を利用するのが一般的
である。図８は、フレームメモリ１７に記憶させた１フ
レーム前の映像と、現在の映像との差分信号を検出する
ことにより映像自体の動きとノイズを検出し、これを動
きノイズ分離回路２３でノイズ成分のみを分離して除去
するものである。
ノイズを除去するには、リカーシブフィルタと、メディ
アンフィルタが知られている。図８を参照してリカーシ
ブフィルタを説明する。図８は従来例の構成図である。
リカーシブフィルタは、テレビ画面の隣合うフレーム信
号の相関を利用してノイズ成分を除去するものである。
テレビジョン信号では映像の動いた部分と、突然飛び込
んで来るノイズに関しては、隣合うフレーム間での相関
は少なくこれを検出することによりテレビジョン信号と
ノイズとの分別が可能となる。しかし、この方式は静止
画像に対しては有効であるが、差分信号が大きい動画に
はそのまま適用できない。そこで、このようなノイズの
除去を行うにはテレビジョン信号の静動を検出すること
が必要不可欠の条件になっている。動き検出の方式とし
ては、隣合うフレームの差分信号を利用するのが一般的
である。図８は、フレームメモリ１７に記憶させた１フ
レーム前の映像と、現在の映像との差分信号を検出する
ことにより映像自体の動きとノイズを検出し、これを動
きノイズ分離回路２３でノイズ成分のみを分離して除去
するものである。
【０００３】次に、図９および図１０を参照してメディ
アンフィルタについて説明する。図９はメディアンフィ
ルタの信号入力状況を示す図である。図１０はメディア
ンフィルタの信号出力状況を示す図である。メディアン
とは中央値のことである。多点の中央値を時間の経過毎
に算出して入力とし、その中央値を合成して出力するこ
とでインパルスノイズ等の突発的なノイズを判別して除
去するものである。ここでは、３点のメディアンフィル
タとして説明する。入力信号の３点を１グループとして
Ｍ１〜Ｍ７に示すように、その中央値を入力とする。こ
れら中央値を合成して出力としたものが、図１０に示す
図である。図９のＭ２〜Ｍ４の間にノイズが飛び込む
が、図１０に示すようにＭ２〜Ｍ４の中央値を演算する
ことでこのノイズを識別して除去し、その欠落した部分
を予測データで置き換えている。
アンフィルタについて説明する。図９はメディアンフィ
ルタの信号入力状況を示す図である。図１０はメディア
ンフィルタの信号出力状況を示す図である。メディアン
とは中央値のことである。多点の中央値を時間の経過毎
に算出して入力とし、その中央値を合成して出力するこ
とでインパルスノイズ等の突発的なノイズを判別して除
去するものである。ここでは、３点のメディアンフィル
タとして説明する。入力信号の３点を１グループとして
Ｍ１〜Ｍ７に示すように、その中央値を入力とする。こ
れら中央値を合成して出力としたものが、図１０に示す
図である。図９のＭ２〜Ｍ４の間にノイズが飛び込む
が、図１０に示すようにＭ２〜Ｍ４の中央値を演算する
ことでこのノイズを識別して除去し、その欠落した部分
を予測データで置き換えている。
【０００４】
【発明が解決しようとする課題】しかし、リカーシブフ
ィルタを使用したノイズ除去回路に、単純な隣合うフレ
ーム差信号を利用したのでは、動きを伴った解像度の高
い映像で極端な解像度劣化を発生してしまう問題があ
る。また、情報が欠落してしまうような大きなレベルの
ノイズをリカーシブフィルタで除去するのは、回路の性
格上、大きなレベルの残像現象を発生するため、動画像
でのノイズ除去には不向きである。そこで、情報が欠落
したようなノイズの除去には、メディアンフィルタの使
用が考えられるが、単純にメディアン値を出力するメデ
ィアンフィルタでは、静止画像でも画像の歪みが発生し
たり、動画像に於いて時間軸歪みを生じてしまう問題が
ある。リカーシブフィルタのノイズ抽出回路に、フレー
ム差信号を入力とした２次元相関器を用いたものでは、
３Ｈ×８（２４画素）程度の相関器を使用しないと残像
が目につき実用上問題となるが、これでは回路規模が大
き過ぎる。また、情報が欠落したようなノイズを静止
画、動画像の両方で歪みの少ない映像を得ながらノイズ
除去するメディアンフィルタでは、情報の置き換え操作
を行うため、画像の歪み発生も大きい。
ィルタを使用したノイズ除去回路に、単純な隣合うフレ
ーム差信号を利用したのでは、動きを伴った解像度の高
い映像で極端な解像度劣化を発生してしまう問題があ
る。また、情報が欠落してしまうような大きなレベルの
ノイズをリカーシブフィルタで除去するのは、回路の性
格上、大きなレベルの残像現象を発生するため、動画像
でのノイズ除去には不向きである。そこで、情報が欠落
したようなノイズの除去には、メディアンフィルタの使
用が考えられるが、単純にメディアン値を出力するメデ
ィアンフィルタでは、静止画像でも画像の歪みが発生し
たり、動画像に於いて時間軸歪みを生じてしまう問題が
ある。リカーシブフィルタのノイズ抽出回路に、フレー
ム差信号を入力とした２次元相関器を用いたものでは、
３Ｈ×８（２４画素）程度の相関器を使用しないと残像
が目につき実用上問題となるが、これでは回路規模が大
き過ぎる。また、情報が欠落したようなノイズを静止
画、動画像の両方で歪みの少ない映像を得ながらノイズ
除去するメディアンフィルタでは、情報の置き換え操作
を行うため、画像の歪み発生も大きい。
【０００５】さらに、メディアンフィルタは、奇数個の
データ（このデータをカーネルと呼ぶ）を任意の箇所に
設定してその中央値を出力することが一般的であり、こ
の中央値に変化がなければ画面は静止していることにな
り、変化があれば画面は動いていることになる。このカ
ーネルの個数は多いほど精度が向上することはいうまで
もない。しかし、単純にカーネル数を増やし、９点のメ
ディアンフィルタを構成してメディアン値を求めるに
は、大小比較する回数は９個から２個取る組合せの回数
だけ必要で、9 Ｃ2 ＝９×８／２＝３６ の３６回必要となる。これはリアルタイムで実行するこ
とが必要であり、３６回の比較演算を１輝点の処理時間
内に行うためには、その演算処理の高速化が必要であ
り、回路規模は相当大きなものとなってしまう。装置規
模が大きくなり実用的でなくなると同時に映像のボケ発
生確率も高くなる。
データ（このデータをカーネルと呼ぶ）を任意の箇所に
設定してその中央値を出力することが一般的であり、こ
の中央値に変化がなければ画面は静止していることにな
り、変化があれば画面は動いていることになる。このカ
ーネルの個数は多いほど精度が向上することはいうまで
もない。しかし、単純にカーネル数を増やし、９点のメ
ディアンフィルタを構成してメディアン値を求めるに
は、大小比較する回数は９個から２個取る組合せの回数
だけ必要で、9 Ｃ2 ＝９×８／２＝３６ の３６回必要となる。これはリアルタイムで実行するこ
とが必要であり、３６回の比較演算を１輝点の処理時間
内に行うためには、その演算処理の高速化が必要であ
り、回路規模は相当大きなものとなってしまう。装置規
模が大きくなり実用的でなくなると同時に映像のボケ発
生確率も高くなる。
【０００６】本発明はこのような背景に行われたもので
あり、回路規模が小さく、静動画像のノイズ除去を少な
い歪みで効果的に行う映像信号の雑音除去装置およびこ
れに用いる動き検出装置の提供を目的とする。
あり、回路規模が小さく、静動画像のノイズ除去を少な
い歪みで効果的に行う映像信号の雑音除去装置およびこ
れに用いる動き検出装置の提供を目的とする。
【０００７】
【課題を解決するための手段】本発明の第一の観点は動
き検出回路であり、映像信号の現在のフレームと一つ前
のフレームとの差分を入力信号とし、メディアンフィル
タおよびまたはリカーシブフィルタに与える動き情報を
発生する動き検出回路において、前記入力信号（以下Ａ
という）、前記入力信号の１Ｈ分の遅延信号（以下Ｂと
いう）および前記入力信号の２Ｈ分の遅延信号（以下Ｃ
という）を入力とし、Ａ≒Ｂ≒Ｃであるときには動き有
りの情報としてＡ、Ｂ、Ｃのいずれか１つを出力し、そ
れ以外のときには動き無しの情報を出力するコンパレー
タを備え、このコンパレータの出力を前記動き情報とす
ることを特徴とする。なお、前記コンパレータの出力回
路に出力信号が通過する非線形フィルタを備えることが
望ましい。また、前記入力信号の通路に低域濾波器を備
えることが望ましい。
き検出回路であり、映像信号の現在のフレームと一つ前
のフレームとの差分を入力信号とし、メディアンフィル
タおよびまたはリカーシブフィルタに与える動き情報を
発生する動き検出回路において、前記入力信号（以下Ａ
という）、前記入力信号の１Ｈ分の遅延信号（以下Ｂと
いう）および前記入力信号の２Ｈ分の遅延信号（以下Ｃ
という）を入力とし、Ａ≒Ｂ≒Ｃであるときには動き有
りの情報としてＡ、Ｂ、Ｃのいずれか１つを出力し、そ
れ以外のときには動き無しの情報を出力するコンパレー
タを備え、このコンパレータの出力を前記動き情報とす
ることを特徴とする。なお、前記コンパレータの出力回
路に出力信号が通過する非線形フィルタを備えることが
望ましい。また、前記入力信号の通路に低域濾波器を備
えることが望ましい。
【０００８】本発明の第二の観点は雑音除去装置であ
り、映像信号が通過するとともに動き検出回路から動き
情報を入力する手段を備えたメディアンフィルタを備
え、このメディアンフィルタは、着目する一つの輝点
（Ｑ）についてそのフィールドの直上および直下の点
（Ｏ１、Ｏ３）、二つ前のフィールドのその輝点に対応
する点（Ｏ２）、二つ後のフィールドのその輝点に対応
する点（Ｏ４）、一つ前のフィールドのその輝点に隣接
する二つの点（Ｘ１、Ｘ２）および一つ後のフィールド
のその輝点に隣接する二つの点（Ｘ３、Ｘ４）からなる
９点をカーネルとする構成である映像信号の雑音除去装
置において、前記メディアンフィルタは、前記点（Ｏ
１、Ｏ２、Ｏ３、Ｏ４、Ｑ）の中央値ＭＯを演算する手
段と、前記点（Ｘ１、Ｘ２、Ｘ３、Ｘ４、Ｑ）の中央値
ＭＸを演算する手段と、前記中央値（ＭＯ、ＭＸおよび
Ｑ）の中央値Ｑ' を演算する手段と、出力信号として、
前記動き情報が動きを示すときは Ｑ、｜ Ｑ−Ｑ' ｜
＜ ｋ のときはＱ、それ以外のときはＱ' を出力し
て動作を停止する手段とを備えたことを特徴とする。ま
た、この雑音除去装置において、動き検出回路として本
発明の動き検出回路が利用される構成とすることができ
る。なお、映像信号が通過するメディアンフィルタおよ
びまたはリカーシブフィルタを備えた映像信号の雑音除
去装置において、そのメディアンフィルタおよびまたは
リカーシブフィルタに動き量情報を与える動き検出回路
として本発明の動き検出回路あるいは前記低域濾波器を
入力信号の通路に備えた本発明の動き検出回路を備える
構成とすることもできる。
り、映像信号が通過するとともに動き検出回路から動き
情報を入力する手段を備えたメディアンフィルタを備
え、このメディアンフィルタは、着目する一つの輝点
（Ｑ）についてそのフィールドの直上および直下の点
（Ｏ１、Ｏ３）、二つ前のフィールドのその輝点に対応
する点（Ｏ２）、二つ後のフィールドのその輝点に対応
する点（Ｏ４）、一つ前のフィールドのその輝点に隣接
する二つの点（Ｘ１、Ｘ２）および一つ後のフィールド
のその輝点に隣接する二つの点（Ｘ３、Ｘ４）からなる
９点をカーネルとする構成である映像信号の雑音除去装
置において、前記メディアンフィルタは、前記点（Ｏ
１、Ｏ２、Ｏ３、Ｏ４、Ｑ）の中央値ＭＯを演算する手
段と、前記点（Ｘ１、Ｘ２、Ｘ３、Ｘ４、Ｑ）の中央値
ＭＸを演算する手段と、前記中央値（ＭＯ、ＭＸおよび
Ｑ）の中央値Ｑ' を演算する手段と、出力信号として、
前記動き情報が動きを示すときは Ｑ、｜ Ｑ−Ｑ' ｜
＜ ｋ のときはＱ、それ以外のときはＱ' を出力し
て動作を停止する手段とを備えたことを特徴とする。ま
た、この雑音除去装置において、動き検出回路として本
発明の動き検出回路が利用される構成とすることができ
る。なお、映像信号が通過するメディアンフィルタおよ
びまたはリカーシブフィルタを備えた映像信号の雑音除
去装置において、そのメディアンフィルタおよびまたは
リカーシブフィルタに動き量情報を与える動き検出回路
として本発明の動き検出回路あるいは前記低域濾波器を
入力信号の通路に備えた本発明の動き検出回路を備える
構成とすることもできる。
【０００９】さらに、メディアンフィルタを通過した映
像信号の現在のフレームと一つ前のフレームとの相関信
号を発生する相関器と、この相関器の出力に送出される
相関信号を入力する乗算器を含むリカーシブフィルタと
を備え、この乗算器の出力信号と前記映像信号との差分
を映像出力信号とする映像信号の雑音除去装置におい
て、前記メディアンフィルタおよびまたはリカーシブフ
ィルタに動き量情報を与える動き検出回路として前記本
発明の動き検出回路あるいは前記低域濾波器を入力信号
の通路に備えた本発明の動き検出回路を備える構成とす
ることもできる。なお、前記相関器にその相関条件を制
御する第一制御入力端子を備え、前記乗算器にその利得
を制御する第二制御入力端子を備え、前記動き検出回路
から前記乗算器に送出される出力にリカーシブ条件を制
御する第三制御入力端子を備える構成とすることもでき
る。
像信号の現在のフレームと一つ前のフレームとの相関信
号を発生する相関器と、この相関器の出力に送出される
相関信号を入力する乗算器を含むリカーシブフィルタと
を備え、この乗算器の出力信号と前記映像信号との差分
を映像出力信号とする映像信号の雑音除去装置におい
て、前記メディアンフィルタおよびまたはリカーシブフ
ィルタに動き量情報を与える動き検出回路として前記本
発明の動き検出回路あるいは前記低域濾波器を入力信号
の通路に備えた本発明の動き検出回路を備える構成とす
ることもできる。なお、前記相関器にその相関条件を制
御する第一制御入力端子を備え、前記乗算器にその利得
を制御する第二制御入力端子を備え、前記動き検出回路
から前記乗算器に送出される出力にリカーシブ条件を制
御する第三制御入力端子を備える構成とすることもでき
る。
【００１０】
【作用】テレビジョン信号においては完全な静止画はな
く、少なくとも動いている場合が多い。これらの少ない
動きにより、メディアンフィルタが全ての画素の置き換
えを行うと、映像に歪みを生じ、かえって見ずらい映像
となってしまう。そこで、着目する一つの輝点（Ｑ）に
ついて９点のカーネル構成とし、点（Ｏ１、Ｏ２、Ｏ
３、Ｏ４、Ｑ）の中央値ＭＯ、点（Ｘ１、Ｘ２、Ｘ３、
Ｘ４、Ｑ）の中央値ＭＸ、中央値（ＭＯ、ＭＸおよび
Ｑ）の中央値Ｑ' を演算して、動き情報が動きを示すと
きは Ｑ、｜ Ｑ−Ｑ' ｜ ＜ ｋ のときはＱ、それ
以外のときはＱ' を出力する。Ｑ’となるような動き量
が少ない時は、メディアンフィルタそれ自身が動作しな
いように制御される。
く、少なくとも動いている場合が多い。これらの少ない
動きにより、メディアンフィルタが全ての画素の置き換
えを行うと、映像に歪みを生じ、かえって見ずらい映像
となってしまう。そこで、着目する一つの輝点（Ｑ）に
ついて９点のカーネル構成とし、点（Ｏ１、Ｏ２、Ｏ
３、Ｏ４、Ｑ）の中央値ＭＯ、点（Ｘ１、Ｘ２、Ｘ３、
Ｘ４、Ｑ）の中央値ＭＸ、中央値（ＭＯ、ＭＸおよび
Ｑ）の中央値Ｑ' を演算して、動き情報が動きを示すと
きは Ｑ、｜ Ｑ−Ｑ' ｜ ＜ ｋ のときはＱ、それ
以外のときはＱ' を出力する。Ｑ’となるような動き量
が少ない時は、メディアンフィルタそれ自身が動作しな
いように制御される。
【００１１】このＱおよびＱ' の関係は、Ｑは初めに設
定された実際の輝点であり、Ｑ' はＱ以外の各カーネル
位置から算出された輝点である。画面に動きのないとき
は、Ｑもまた不動である。したがって、画面に動きがな
いとき、即ち｜ Ｑ−Ｑ' ｜＜ ｋ のときは実際の輝
点であるＱを出力し、それ以外のときは理想的に算出さ
れたＱ' を出力するため画質に劣化が少ない。画面が動
き出したときはＭＯ、ＭＸおよびＱ、Ｑ' が各カーネル
の中央値であるという関係は崩壊するので実際の輝点で
あるＱが出力される。
定された実際の輝点であり、Ｑ' はＱ以外の各カーネル
位置から算出された輝点である。画面に動きのないとき
は、Ｑもまた不動である。したがって、画面に動きがな
いとき、即ち｜ Ｑ−Ｑ' ｜＜ ｋ のときは実際の輝
点であるＱを出力し、それ以外のときは理想的に算出さ
れたＱ' を出力するため画質に劣化が少ない。画面が動
き出したときはＭＯ、ＭＸおよびＱ、Ｑ' が各カーネル
の中央値であるという関係は崩壊するので実際の輝点で
あるＱが出力される。
【００１２】
【実施例】本発明第一実施例装置の動き検出回路の構成
を図１を参照して説明する。図１は本発明第一実施例装
置の動き検出回路の構成図である。
を図１を参照して説明する。図１は本発明第一実施例装
置の動き検出回路の構成図である。
【００１３】本発明第一実施例の第一の観点は動き検出
回路１０であり、映像信号の現在のフレームと一つ前の
フレームとの差分を入力信号とし、メディアンフィルタ
およびまたはリカーシブフィルタに与える動き情報を発
生する動き検出回路１０において、前記入力信号（以下
Ａという）、前記入力信号の１Ｈ分の遅延信号（以下Ｂ
という）および前記入力信号の２Ｈ分の遅延信号（以下
Ｃという）を入力とし、Ａ≒Ｂ≒Ｃであるときには動き
有りの情報としてＡ、Ｂ、Ｃのいずれか１つを出力し、
それ以外のときには動き無しの情報を出力するコンパレ
ータ３を備え、このコンパレータ３の出力を前記動き情
報とすることを特徴とする。なお、コンパレータ３の出
力回路に出力信号が通過する非線形フィルタ４および４
' を備える構成である。また、前記入力信号の通路に低
域濾波器２を備える構成である。
回路１０であり、映像信号の現在のフレームと一つ前の
フレームとの差分を入力信号とし、メディアンフィルタ
およびまたはリカーシブフィルタに与える動き情報を発
生する動き検出回路１０において、前記入力信号（以下
Ａという）、前記入力信号の１Ｈ分の遅延信号（以下Ｂ
という）および前記入力信号の２Ｈ分の遅延信号（以下
Ｃという）を入力とし、Ａ≒Ｂ≒Ｃであるときには動き
有りの情報としてＡ、Ｂ、Ｃのいずれか１つを出力し、
それ以外のときには動き無しの情報を出力するコンパレ
ータ３を備え、このコンパレータ３の出力を前記動き情
報とすることを特徴とする。なお、コンパレータ３の出
力回路に出力信号が通過する非線形フィルタ４および４
' を備える構成である。また、前記入力信号の通路に低
域濾波器２を備える構成である。
【００１４】次に、本発明第一実施例の雑音除去装置に
ついて説明するが、説明を判りやすくするためにメディ
アンフィルタについて図２および図４を参照して説明す
る。図２は本発明第一実施例のメディアンフィルタのブ
ロック図である。図４は本発明第一実施例のカーネルを
示す図である。本発明第一実施例の第二の観点である雑
音除去装置は、映像信号が通過するとともに動き検出回
路１０から動き情報を入力する手段を備えたメディアン
フィルタ１５を備え、このメディアンフィルタ１５は、
図４に示すように、着目する一つの輝点（Ｑ）について
そのフィールドの直上および直下の点（Ｏ１、Ｏ３）、
二つ前のフィールドのその輝点に対応する点（Ｏ２）、
二つ後のフィールドのその輝点に対応する点（Ｏ４）、
一つ前のフィールドのその輝点に隣接する二つの点（Ｘ
１、Ｘ２）および一つ後のフィールドのその輝点に隣接
する二つの点（Ｘ３、Ｘ４）からなる９点をカーネルと
する構成である。メディアンフィルタ１５は、図２に示
すように、前記点（Ｏ１、Ｏ２、Ｏ３、Ｏ４、Ｑ）の中
央値ＭＯを演算する手段としてのＭＯ演算部５と、前記
点（Ｘ１、Ｘ２、Ｘ３、Ｘ４、Ｑ）の中央値ＭＸを演算
する手段としてのＭＸ演算部６と、前記中央値（ＭＯ、
ＭＸおよびＱ）の中央値Ｑ' を演算する手段としてのＱ
' 演算部７とを備える。出力信号として、前記動き検出
情報が動きを示すときは Ｑを出力し、｜ Ｑ−Ｑ' ｜
＜ ｋ のときはＱ、それ以外のときはＱ'を出力す
る手段としてのＱＱ' 比較器８およびＯＲ回路９とを備
えたことを特徴とする。なお、Ｑ’を出力するような動
き量が少ない時には、メディアンフィルタ１５が動作し
ないようにＯＲ回路９およびＱＱ′比較器８により制御
を行う構成である。なお、カーネル９個の大小比較する
回数は９個から２個取る組み合わせの回数だけ必要で、9 Ｃ2 ＝９×８／２＝３６ の３６回必要となることは既に説明したが、本発明第一
実施例装置では、 5 Ｃ2 ×２＋3 Ｃ2 ＝（５×４／２）×２＋（３×２／２）＝２３ の２３回で済む。その理由としては、メディアン値を求
めるために、全てのデータの大小比較を行い、ソート
（並べ換え）を行うからである。
ついて説明するが、説明を判りやすくするためにメディ
アンフィルタについて図２および図４を参照して説明す
る。図２は本発明第一実施例のメディアンフィルタのブ
ロック図である。図４は本発明第一実施例のカーネルを
示す図である。本発明第一実施例の第二の観点である雑
音除去装置は、映像信号が通過するとともに動き検出回
路１０から動き情報を入力する手段を備えたメディアン
フィルタ１５を備え、このメディアンフィルタ１５は、
図４に示すように、着目する一つの輝点（Ｑ）について
そのフィールドの直上および直下の点（Ｏ１、Ｏ３）、
二つ前のフィールドのその輝点に対応する点（Ｏ２）、
二つ後のフィールドのその輝点に対応する点（Ｏ４）、
一つ前のフィールドのその輝点に隣接する二つの点（Ｘ
１、Ｘ２）および一つ後のフィールドのその輝点に隣接
する二つの点（Ｘ３、Ｘ４）からなる９点をカーネルと
する構成である。メディアンフィルタ１５は、図２に示
すように、前記点（Ｏ１、Ｏ２、Ｏ３、Ｏ４、Ｑ）の中
央値ＭＯを演算する手段としてのＭＯ演算部５と、前記
点（Ｘ１、Ｘ２、Ｘ３、Ｘ４、Ｑ）の中央値ＭＸを演算
する手段としてのＭＸ演算部６と、前記中央値（ＭＯ、
ＭＸおよびＱ）の中央値Ｑ' を演算する手段としてのＱ
' 演算部７とを備える。出力信号として、前記動き検出
情報が動きを示すときは Ｑを出力し、｜ Ｑ−Ｑ' ｜
＜ ｋ のときはＱ、それ以外のときはＱ'を出力す
る手段としてのＱＱ' 比較器８およびＯＲ回路９とを備
えたことを特徴とする。なお、Ｑ’を出力するような動
き量が少ない時には、メディアンフィルタ１５が動作し
ないようにＯＲ回路９およびＱＱ′比較器８により制御
を行う構成である。なお、カーネル９個の大小比較する
回数は９個から２個取る組み合わせの回数だけ必要で、9 Ｃ2 ＝９×８／２＝３６ の３６回必要となることは既に説明したが、本発明第一
実施例装置では、 5 Ｃ2 ×２＋3 Ｃ2 ＝（５×４／２）×２＋（３×２／２）＝２３ の２３回で済む。その理由としては、メディアン値を求
めるために、全てのデータの大小比較を行い、ソート
（並べ換え）を行うからである。
【００１５】次に、本発明第一実施例の雑音除去装置の
構成を図３を参照して説明する。図３は本発明第一実施
例の雑音除去装置のブロック図である。メディアンフィ
ルタ１５を通過した映像信号の現在のフレームと一つ前
のフレームとの相関信号を発生する２次元相関器１２
と、この２次元相関器１２の出力に送出される相関信号
を入力する乗算器１１を含むリカーシブフィルタ１６と
を備え、この乗算器１１の出力信号と前記映像信号との
差分を映像出力信号とする映像信号の雑音除去装置にお
いて、メディアンフィルタ１５およびまたはリカーシブ
フィルタ１６に動き量情報を与える動き検出回路１０を
備える構成である。なお、２次元相関器１２にその相関
条件を制御する第一制御入力端子（Ａ）１８を備え、乗
算器１１にその利得を制御する第二制御入力端子（Ｂ）
２０を備え、動き検出回路１０から乗算器１１に送出さ
れる出力にリカーシブ条件を制御する第三制御入力端子
（Ｃ）２２を備える構成である。
構成を図３を参照して説明する。図３は本発明第一実施
例の雑音除去装置のブロック図である。メディアンフィ
ルタ１５を通過した映像信号の現在のフレームと一つ前
のフレームとの相関信号を発生する２次元相関器１２
と、この２次元相関器１２の出力に送出される相関信号
を入力する乗算器１１を含むリカーシブフィルタ１６と
を備え、この乗算器１１の出力信号と前記映像信号との
差分を映像出力信号とする映像信号の雑音除去装置にお
いて、メディアンフィルタ１５およびまたはリカーシブ
フィルタ１６に動き量情報を与える動き検出回路１０を
備える構成である。なお、２次元相関器１２にその相関
条件を制御する第一制御入力端子（Ａ）１８を備え、乗
算器１１にその利得を制御する第二制御入力端子（Ｂ）
２０を備え、動き検出回路１０から乗算器１１に送出さ
れる出力にリカーシブ条件を制御する第三制御入力端子
（Ｃ）２２を備える構成である。
【００１６】次に、本発明第一実施例装置の動作を図３
を参照して説明する。映像信号入力端子１から入力され
た映像信号は、動き検出回路１０およびメディアンフィ
ルタ１５に入力され分離される。動き検出回路１０の出
力にて制御されたメディアンフィルタ１５にて、情報が
欠落したような大きなレベルのノイズが除去される。そ
の出力は加算器１４と加算器１４’に入力される。加算
器１４の出力は、フレームメモリ１７の入力と映像出力
に分岐される。フレームメモリ１７の内部に、ノイズの
少ない映像が記憶されているならば、フレームメモリ１
７の出力とメディアンフィルタ１５の出力の差分信号
は、ノイズ成分と動いた部分の信号となる。その信号を
２次元相関器１２の入力とする。ノイズ成分は２次元相
関が低いことを利用し、２次元相関器１２の出力に２次
元相関の低い信号成分を出力させることにより、その出
力にノイズ成分を出力させる。さらに２次元相関器１２
で検出漏れとなった動き成分を除去するために、動き検
出回路１０の出力と２次元相関器１２の出力を乗算器１
１で乗ずることでより確かなノイズ成分を乗算器１１の
出力として得る。そこで得られたノイズ成分を加算器１
４で入力信号から差し引くことにより、加算器１４の出
力にノイズの少ない映像信号が得られる。このように、
より確かなノイズの抽出を行うことで、動きを伴った映
像信号を入力とした際の映像成分をノイズとして検出す
る確率が下がることにより、動きを伴った解像度の高い
信号からのノイズ抽出で発生した信号成分の誤検出によ
る映像のボケ発生を抑えることができる。主に、微小レ
ベルのノイズはリカーシブフィルタ１６が受持ち、情報
欠落のノイズはメディアンフィルタ１５が受け持つ。メ
ディアンフィルタ１５については、動いた部分のエッジ
もノイズとして見なされてしまうので、動き始めたらメ
ディアンフィルタ１５にその情報を伝達し、エッジのボ
ケを防止する。前述したように、 ｜ Ｑ−Ｑ' ｜ ＜ ｋ となるような動き量が少ない時は、メディアンフィルタ
１５自身が動作しないように制御される。本発明第一実
施例装置の特徴として、フレーム間差分信号からなる縦
３点のデータを比較して動き量とする。フレーム間差分
信号に低域濾波器２をかけノイズ成分をある程度取り除
き、縦３点のデータがほぼ同じならば動き量を出力す
る。即ち縦線の部分を動き量として出力する。この利点
は回路構成が簡素であることと、インパルスノイズの場
合でも動き量が検出されず有効である。
を参照して説明する。映像信号入力端子１から入力され
た映像信号は、動き検出回路１０およびメディアンフィ
ルタ１５に入力され分離される。動き検出回路１０の出
力にて制御されたメディアンフィルタ１５にて、情報が
欠落したような大きなレベルのノイズが除去される。そ
の出力は加算器１４と加算器１４’に入力される。加算
器１４の出力は、フレームメモリ１７の入力と映像出力
に分岐される。フレームメモリ１７の内部に、ノイズの
少ない映像が記憶されているならば、フレームメモリ１
７の出力とメディアンフィルタ１５の出力の差分信号
は、ノイズ成分と動いた部分の信号となる。その信号を
２次元相関器１２の入力とする。ノイズ成分は２次元相
関が低いことを利用し、２次元相関器１２の出力に２次
元相関の低い信号成分を出力させることにより、その出
力にノイズ成分を出力させる。さらに２次元相関器１２
で検出漏れとなった動き成分を除去するために、動き検
出回路１０の出力と２次元相関器１２の出力を乗算器１
１で乗ずることでより確かなノイズ成分を乗算器１１の
出力として得る。そこで得られたノイズ成分を加算器１
４で入力信号から差し引くことにより、加算器１４の出
力にノイズの少ない映像信号が得られる。このように、
より確かなノイズの抽出を行うことで、動きを伴った映
像信号を入力とした際の映像成分をノイズとして検出す
る確率が下がることにより、動きを伴った解像度の高い
信号からのノイズ抽出で発生した信号成分の誤検出によ
る映像のボケ発生を抑えることができる。主に、微小レ
ベルのノイズはリカーシブフィルタ１６が受持ち、情報
欠落のノイズはメディアンフィルタ１５が受け持つ。メ
ディアンフィルタ１５については、動いた部分のエッジ
もノイズとして見なされてしまうので、動き始めたらメ
ディアンフィルタ１５にその情報を伝達し、エッジのボ
ケを防止する。前述したように、 ｜ Ｑ−Ｑ' ｜ ＜ ｋ となるような動き量が少ない時は、メディアンフィルタ
１５自身が動作しないように制御される。本発明第一実
施例装置の特徴として、フレーム間差分信号からなる縦
３点のデータを比較して動き量とする。フレーム間差分
信号に低域濾波器２をかけノイズ成分をある程度取り除
き、縦３点のデータがほぼ同じならば動き量を出力す
る。即ち縦線の部分を動き量として出力する。この利点
は回路構成が簡素であることと、インパルスノイズの場
合でも動き量が検出されず有効である。
【００１７】次に、本発明第二実施例装置の構成を図５
を参照して説明する。図５は本発明第二実施例装置のブ
ロック図である。動き検出回路１０の検出出力をメディ
アンフィルタ１５およびリカーシブフィルタ１６の双方
に入力することにより映像信号雑音除去を行う例であ
る。この方式の利点は、同一の動き検出回路で、メディ
アンフィルタ１５およびリカーシブフィルタ１６への動
き情報を送ることができ、回路の節約となる。
を参照して説明する。図５は本発明第二実施例装置のブ
ロック図である。動き検出回路１０の検出出力をメディ
アンフィルタ１５およびリカーシブフィルタ１６の双方
に入力することにより映像信号雑音除去を行う例であ
る。この方式の利点は、同一の動き検出回路で、メディ
アンフィルタ１５およびリカーシブフィルタ１６への動
き情報を送ることができ、回路の節約となる。
【００１８】次に、本発明第三実施例装置の構成を図６
を参照して説明する。図６は本発明第三実施例装置のブ
ロック図である。これは動き検出回路１０の検出出力を
メディアンフィルタ１５に入力することにより映像信号
雑音除去を行う例である。この方式の利点は、メディア
ンフィルタ１５がそれ単体でも、ある程度の動き適応と
なっているが、動き量が少ない場合でも動作してしまう
時があり、解像度の劣化を招く。そこで、別な動き検出
信号を利用することで、これを防ぐものである。
を参照して説明する。図６は本発明第三実施例装置のブ
ロック図である。これは動き検出回路１０の検出出力を
メディアンフィルタ１５に入力することにより映像信号
雑音除去を行う例である。この方式の利点は、メディア
ンフィルタ１５がそれ単体でも、ある程度の動き適応と
なっているが、動き量が少ない場合でも動作してしまう
時があり、解像度の劣化を招く。そこで、別な動き検出
信号を利用することで、これを防ぐものである。
【００１９】次に、本発明第四実施例装置の構成を図７
を参照して説明する。図７は本発明第四実施例装置のブ
ロック図である。これはメディアンフィルタ１５に代え
リカーシブフィルタ１６を用いる構成である。この方式
の利点は、リカーシブフィルタ１６を使用したノイズ低
減回路で、残像発生やボケの発生が、より確かな動き検
出を行うことで低減する。
を参照して説明する。図７は本発明第四実施例装置のブ
ロック図である。これはメディアンフィルタ１５に代え
リカーシブフィルタ１６を用いる構成である。この方式
の利点は、リカーシブフィルタ１６を使用したノイズ低
減回路で、残像発生やボケの発生が、より確かな動き検
出を行うことで低減する。
【００２０】
【発明の効果】回路規模が小さく、静動画像のノイズ除
去を少ない歪みで効果的に行える。特に、情報が欠落し
てしまったようなノイズや、小さなレベルのノイズ、そ
して低い周波数のノイズをリカーシブフィルタあるいは
メディアンフィルタを用いて静動画像のノイズ除去を行
った際の映像の歪みが抑えられる。
去を少ない歪みで効果的に行える。特に、情報が欠落し
てしまったようなノイズや、小さなレベルのノイズ、そ
して低い周波数のノイズをリカーシブフィルタあるいは
メディアンフィルタを用いて静動画像のノイズ除去を行
った際の映像の歪みが抑えられる。
【００２１】本発明の装置について、専門家の目視によ
る評価はきわめて高い。
る評価はきわめて高い。
【図１】本発明実施例装置の動き検出回路のブロック
図。
図。
【図２】本発明実施例装置のメディアンフィルタのブロ
ック図。
ック図。
【図３】本発明第一実施例装置の全体構成図。
【図４】本発明実施例装置のカーネルを示す図。
【図５】本発明第二実施例装置のブロック図。
【図６】本発明第三実施例装置のブロック図。
【図７】本発明第四実施例装置のブロック図。
【図８】従来例の構成図。
【図９】メディアンフィルタの信号入力状況を示す図。
【図１０】メディアンフィルタの信号出力状況を示す
図。
図。
１ 映像信号入力端子 ２ 低域濾波器 ３ コンパレータ ４、４' 非線形フィルタ ５ ＭＯ演算部 ６ ＭＸ演算部 ７ Ｑ' 演算部 ８ ＱＱ' 比較器 ９ ＯＲ回路 １０ 動き検出回路 １１、１１’乗算器 １２ ２次元相関器 １３、１３’遅延回路 １４、１４’加算器 １５ メディアンフィルタ １６ リカーシブフィルタ １７ フレームメモリ １８ 第一制御入力端子 ２０ 第二制御入力端子 ２２ 第三制御入力端子 ２３ 動きノイズ分離回路
Claims (8)
- 【請求項１】 映像信号の現在のフレームと一つ前のフ
レームとの差分を入力信号とし、メディアンフィルタお
よびまたはリカーシブフィルタに与える動き情報を発生
する動き検出回路において、 前記入力信号（以下Ａという）、前記入力信号の１Ｈ分
の遅延信号（以下Ｂという）および前記入力信号の２Ｈ
分の遅延信号（以下Ｃという）を入力とし、 Ａ≒Ｂ≒Ｃ であるときには動き有りの情報としてＡ、Ｂ、Ｃのいず
れか１つを出力し、それ以外のときには動き無しの情報
を出力するコンパレータを備え、 このコンパレータの出力を前記動き情報とすることを特
徴とする動き検出回路。 - 【請求項２】 前記コンパレータの出力回路に出力信号
が通過する非線形フィルタを備えた請求項１記載の動き
検出回路。 - 【請求項３】 前記入力信号の通路に低域濾波器を備え
た請求項１または２記載の動き検出回路。 - 【請求項４】 映像信号が通過するとともに動き検出回
路から動き情報を入力する手段を備えたメディアンフィ
ルタを備え、 このメディアンフィルタは、着目する一つの輝点（Ｑ）
についてそのフィールドの直上および直下の点（Ｏ１、
Ｏ３）、二つ前のフィールドのその輝点に対応する点
（Ｏ２）、二つ後のフィールドのその輝点に対応する点
（Ｏ４）、一つ前のフィールドのその輝点に隣接する二
つの点（Ｘ１、Ｘ２）および一つ後のフィールドのその
輝点に隣接する二つの点（Ｘ３、Ｘ４）からなる９点を
カーネルとする構成である映像信号の雑音除去装置にお
いて、 前記メディアンフィルタは、 前記点（Ｏ１、Ｏ２、Ｏ３、Ｏ４、Ｑ）の中央値ＭＯを
演算する手段と、 前記点（Ｘ１、Ｘ２、Ｘ３、Ｘ４、Ｑ）の中央値ＭＸを
演算する手段と、 前記中央値（ＭＯ、ＭＸおよびＱ）の中央値Ｑ' を演算
する手段と、 出力信号として、前記動き情報が動きを示すときは
Ｑ、 ｜ Ｑ−Ｑ' ｜ ＜ ｋ のときはＱ、 それ以外のときはＱ' を出力して動作を停止する手段と
を備えたことを特徴とする映像信号の雑音除去装置。 - 【請求項５】 請求項４記載の雑音除去装置において、
動き検出回路として請求項１記載の動き検出回路が利用
されたことを特徴とする映像信号の雑音除去装置。 - 【請求項６】 映像信号が通過するメディアンフィルタ
およびまたはリカーシブフィルタを備えた映像信号の雑
音除去装置において、 そのメディアンフィルタおよびまたはリカーシブフィル
タに動き量情報を与えたことを特徴とする映像信号の雑
音除去装置。 - 【請求項７】 メディアンフィルタを通過した映像信号
の現在のフレームと一つ前のフレームとの相関信号を発
生する相関器と、この相関器の出力に送出される相関信
号を入力する乗算器を含むリカーシブフィルタとを備
え、 この乗算器の出力信号と前記映像信号との差分を映像出
力信号とする映像信号の雑音除去装置において、 前記メディアンフィルタおよびまたはリカーシブフィル
タに動き量情報を与える動き検出回路として請求項１な
いし３のいずれかに記載の動き検出回路を備えたことを
特徴とする映像信号の雑音除去装置。 - 【請求項８】 前記相関器にその相関条件を制御する第
一制御入力端子を備え、前記乗算器にその利得を制御す
る第二制御入力端子を備え、前記動き検出回路から前記
乗算器に送出される出力にリカーシブ条件を制御する第
三制御入力端子を備えた請求項７記載の映像信号の雑音
除去装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP04081078A JP3105626B2 (ja) | 1992-04-02 | 1992-04-02 | 映像信号の雑音除去装置およびこれに用いる動き検出回路 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP04081078A JP3105626B2 (ja) | 1992-04-02 | 1992-04-02 | 映像信号の雑音除去装置およびこれに用いる動き検出回路 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH0646298A true JPH0646298A (ja) | 1994-02-18 |
| JP3105626B2 JP3105626B2 (ja) | 2000-11-06 |
Family
ID=13736362
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP04081078A Expired - Lifetime JP3105626B2 (ja) | 1992-04-02 | 1992-04-02 | 映像信号の雑音除去装置およびこれに用いる動き検出回路 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3105626B2 (ja) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006287634A (ja) * | 2005-03-31 | 2006-10-19 | Pioneer Electronic Corp | 信号処理装置、信号処理方法およびノイズ低減装置 |
| WO2007140281A3 (en) * | 2006-05-24 | 2008-01-24 | Imagerecon Llc | Curvature-preserving filters for denoising and controlled deblurring of images |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102130793B1 (ko) * | 2018-04-24 | 2020-07-06 | 김학주 | 수도꼭지 연결구 |
-
1992
- 1992-04-02 JP JP04081078A patent/JP3105626B2/ja not_active Expired - Lifetime
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006287634A (ja) * | 2005-03-31 | 2006-10-19 | Pioneer Electronic Corp | 信号処理装置、信号処理方法およびノイズ低減装置 |
| WO2007140281A3 (en) * | 2006-05-24 | 2008-01-24 | Imagerecon Llc | Curvature-preserving filters for denoising and controlled deblurring of images |
| US8503811B2 (en) | 2006-05-24 | 2013-08-06 | Imagerecon Llc | Filters for denoising digital images with minimized blur and shape distortion and controlled deblurring |
Also Published As
| Publication number | Publication date |
|---|---|
| JP3105626B2 (ja) | 2000-11-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US7702178B2 (en) | Method and apparatus for providing noise reduction | |
| KR100914619B1 (ko) | 디인터레이싱 방법, 장치 및 시스템 | |
| JPH10293843A (ja) | 画像処理システムのコントラスト拡張装置におけるヒストグラム等化方法およびその装置 | |
| KR20090102610A (ko) | 영상 스케일링 검출 방법 및 장치 | |
| JP4118906B2 (ja) | 映像信号処理装置及び映像信号処理方法 | |
| JPH1117954A (ja) | 映像信号処理装置 | |
| JP2853298B2 (ja) | テレビジョン信号の処理装置 | |
| JP2005150903A (ja) | 画像処理装置、ノイズ除去方法及びノイズ除去プログラム | |
| JP3105626B2 (ja) | 映像信号の雑音除去装置およびこれに用いる動き検出回路 | |
| JP3286120B2 (ja) | ノイズ除去回路 | |
| WO2010106739A1 (ja) | 画像処理装置、画像処理方法および画像処理プログラム | |
| JP5147655B2 (ja) | 映像信号処理装置および映像表示装置 | |
| JPH06225178A (ja) | 動き検出回路 | |
| JPH07322240A (ja) | 画像処理装置 | |
| JPH05328174A (ja) | 動き適応ノイズリダクション回路 | |
| JP3407429B2 (ja) | 映像信号処理装置 | |
| JP2501188B2 (ja) | 雑音除去方式およびその装置 | |
| JP4572606B2 (ja) | 画像処理装置 | |
| JPS60128791A (ja) | ビデオ信号の動き検出回路 | |
| JPH07154651A (ja) | 画像処理装置 | |
| KR100249653B1 (ko) | 펄스성 노이즈 제거 장치 | |
| JP3040251B2 (ja) | 動き検出回路 | |
| KR100249652B1 (ko) | 펄스성 노이즈 제거 장치 | |
| JPH0728379B2 (ja) | 動画像信号の雑音除去方法 | |
| JP2557274B2 (ja) | 画像信号の雑音低減装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080901 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080901 Year of fee payment: 8 |
|
| S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080901 Year of fee payment: 8 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090901 Year of fee payment: 9 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090901 Year of fee payment: 9 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100901 Year of fee payment: 10 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110901 Year of fee payment: 11 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110901 Year of fee payment: 11 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120901 Year of fee payment: 12 |
|
| EXPY | Cancellation because of completion of term | ||
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120901 Year of fee payment: 12 |