JP3463640B2 - Digital noise reduction circuit - Google Patents

Digital noise reduction circuit

Info

Publication number
JP3463640B2
JP3463640B2 JP2000007538A JP2000007538A JP3463640B2 JP 3463640 B2 JP3463640 B2 JP 3463640B2 JP 2000007538 A JP2000007538 A JP 2000007538A JP 2000007538 A JP2000007538 A JP 2000007538A JP 3463640 B2 JP3463640 B2 JP 3463640B2
Authority
JP
Japan
Prior art keywords
data
pixel
signal
output
delay element
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
JP2000007538A
Other languages
Japanese (ja)
Other versions
JP2001197333A (en
Inventor
昌宏 八所
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Priority to JP2000007538A priority Critical patent/JP3463640B2/en
Publication of JP2001197333A publication Critical patent/JP2001197333A/en
Application granted granted Critical
Publication of JP3463640B2 publication Critical patent/JP3463640B2/en
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Landscapes

  • Image Processing (AREA)
  • Picture Signal Circuits (AREA)

Description

【発明の詳細な説明】Detailed Description of the Invention

【0001】[0001]

【発明の属する技術分野】本発明はディジタルノイズリ
ダクション回路に関し、特にテレビジョン信号のノイズ
リダクションを行うディジタルノイズリダクション回路
に関する。
BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a digital noise reduction circuit, and more particularly to a digital noise reduction circuit for performing noise reduction on a television signal.

【0002】[0002]

【従来の技術】一般に映像信号のノイズリダクション方
式として、時間軸方向に連続する2枚のフレーム信号を
時間平均化するフレーム巡回型と、注目画素とその周辺
画素を利用し二次元的に処理を行うフィールド内の非巡
回型がある。
2. Description of the Related Art Generally, as a noise reduction method for video signals, a frame recursive type for time-averaging two frame signals continuous in the time axis direction and a two-dimensional processing using a target pixel and its peripheral pixels There is an acyclic type within the field.

【0003】巡回型ノイズリダクションは、時間軸方向
の処理を行っているため処理後の映像信号に残像が存在
し、動解像度が劣化するという問題点がある。従って、
動きのある映像信号に巡回型ノイズリダクションは適さ
ない。
The recursive noise reduction has a problem in that after processing is performed in the time axis direction, there is an afterimage in the processed video signal and the dynamic resolution deteriorates. Therefore,
Recursive noise reduction is not suitable for moving video signals.

【0004】それに対し、非巡回型ノイズリダクション
は動解像度の劣化は全く無いが、二次元処理を行ってい
るため、平面的な解像度が劣化するという問題点があ
る。解像度の劣化は画素信号が平均化されて小さくなる
ためである。
On the other hand, the non-recursive noise reduction has no deterioration in the dynamic resolution, but has a problem that the two-dimensional processing is performed, so that the planar resolution is deteriorated. The deterioration of resolution is because the pixel signals are averaged and reduced.

【0005】この問題点を解決する一つの方法として、
メディアンフィルタがある。このフィルタは、注目する
画素とその周辺画素を合わせた全ての画素の中央値にあ
たる画素を、注目している画素に置き換える処理を行う
フィルタであり、ディテール部を保ったままノイズ低減
するという特長を持っている。
As one method for solving this problem,
There is a median filter. This filter is a filter that replaces the pixel corresponding to the median value of all the pixels including the pixel of interest and its peripheral pixels with the pixel of interest, and features that noise is reduced while maintaining the detail part. have.

【0006】上記の処理を行うためにしばしば用いられ
るのは、抽出された全ての画素を何らかのソート方法で
並び変えを行い、その中央値にあたる画素を注目画素と
置き換えるという手法である。ソート方法には様々な方
式があり、動作は安定しているが処理の遅延時間が大き
い方法と、条件によって処理の遅延時間がまちまちにな
る方法とがある。ハード的にメデイアンフィルタを構成
する場合、処理時間が短くかつ一定である必要がある
が、前述のソートを使用した回路構成は各々の処理をシ
リーズに行っているため、どうしても処理遅延時間が大
きくなる。
A method often used to perform the above process is to rearrange all the extracted pixels by some sort method and replace the pixel corresponding to the median value with the pixel of interest. There are various sort methods, and there are a method in which the operation is stable but the processing delay time is long, and a method in which the processing delay time varies depending on conditions. When configuring a median filter in hardware, it is necessary for the processing time to be short and constant, but the circuit configuration using the sort described above performs each processing in series, so the processing delay time is inevitably large. Become.

【0007】このような雑音除去技術の一例として、特
開平5−167892号公報記載の「テレビジョン信号
雑音除去回路」が知られている。
As an example of such a noise removing technique, a "television signal noise removing circuit" described in Japanese Patent Laid-Open No. 5-167892 is known.

【0008】この公報では、メディアンフィルタを用い
たTV信号雑音除去回路で、TV信号中のインパルス性
雑音を除去する際に発生する画像劣化を、画素間の順位
判定機能および相関機能を用いて減少させる技術が記載
されている。
In this publication, in a TV signal noise elimination circuit using a median filter, image deterioration that occurs when removing impulsive noise in a TV signal is reduced by using a pixel order determination function and a correlation function. The technology to do this is described.

【0009】[0009]

【発明が解決しようとする課題】上述した従来のディジ
タルノイズリダクション回路は、巡回型の場合、時間軸
方向の処理を行っているため処理後の映像信号に残像が
存在し、動解像度が劣化するという欠点を有している。
In the case of the cyclic type, the above-mentioned conventional digital noise reduction circuit performs processing in the time axis direction, so that an afterimage exists in the processed video signal and the dynamic resolution deteriorates. It has the drawback of

【0010】また、非巡回型の場合は、動解像度の劣化
は全く無いが、二次元処理を行っているため平面的な解
像度が劣化するという欠点を有している。
In the non-recursive type, the dynamic resolution is not deteriorated at all, but the two-dimensional processing is performed, so that the planar resolution is deteriorated.

【0011】本発明の目的は、処理時間が短く、解像度
劣化の少ない非巡回型のディジタルノイズリダクション
回路を提供することにある。
An object of the present invention is to provide a non-recursive digital noise reduction circuit that has a short processing time and little deterioration in resolution.

【0012】[0012]

【課題を解決するための手段】 本発明のディジタルノイ
ズリダクション回路は、 ディジタル画像の1画面が3画
素×3画素構成である映像入力信号を入力し、この映像
入力信号の画素1ライン分を遅延し第1のライン遅延出
力として出力する第1の1ライン遅延素子と;前記第1
のライン遅延出力を入力し、画素1ライン分を遅延し第
2のライン遅延出力として出力する第2の1ライン遅延
素子と;前記映像入力信号を1画素分遅延し、Cデータ
として出力する1クロック遅延素子Cと;前記Cデータ
を1画素分遅延し、Bデータとして出力する1クロック
遅延素子Bと、前記Bデータを1画素分遅延し、Aデー
タとして出力する1クロック遅延素子Aと;前記第1の
ライン遅延出力を1画素分遅延し、Fデータとして出力
する1クロック遅延素子Fと;前記Fデータを1画素分
遅延し、Eデータとして出力する1クロック遅延素子E
と;前記Eデータを1画素分遅延し、Dデータとして出
力する1クロック遅延素子Dと;前記第2のライン遅延
出力を1画素分遅延し、Iデータとして出力する1クロ
ック遅延素子Iと;前記Iデータを1画素分遅延し、H
データとして出力する1クロック遅延素子Hと;前記H
データを1画素分遅延し、Gデータとして出力する1ク
ロック遅延素子Gと;前記Cデータ、前記Bデータ、前
記Aデータ、前記Fデータ、前記Eデータ、前記Dデー
タ、前記Iデータ、前記Hデータ、前記Gデータを入力
し、映像出力信号を出力するメディアンフィルタと;を
備えたディジタルノイズリダクション回路であって、前
記メディアンフィルタは、抽出された前記Aデータ、前
記Bデータ、前記Cデータ、前記Dデータ、前記Eデー
タ、前記Fデータ、前記Gデータ、前記Hデータ、前記
Iデータの9画素の画素信号の中から1画素を選び、そ
の画素信号と他8画素の画素信号の大小を比較し、自画
素の画素信号レベルより大きい画素信号レベルを持つ画
素の数(UP)と小さい画素信号レベルを持つ画素の数
(DOWN)とをそれぞれ出力する9個の比較器と;こ
れら9個の比較器の各々が出力する(UP)と(DOW
N)の数の差を出力する9個の減算器と;前記9個の減
算器が出力するデータの絶対値をとる9個の絶対値化回
路と;これら9個の絶対値化回路が出力する絶対値の算
出結果から、前記画素信号の中から信号レベルの最も小
さい信号を判別し、注目画素と置き変える画素を選択し
データ選択信号を出力する画素比較器と;選択された画
素信号を前記注目画素の画素信号に置き換えて、前記映
像出力信号として出力する画素選択器と;を有すること
を特徴としている。
SUMMARY OF THE INVENTION The digital noise of the present invention.
The shift reduction circuit receives a video input signal in which one screen of a digital image has a configuration of 3 pixels × 3 pixels, delays one pixel line of the video input signal, and outputs it as a first line delay output. A one-line delay element; the first
Second line delay element for inputting the line delay output of the above, delaying one pixel line for outputting as the second line delay output; and delaying the video input signal for one pixel and outputting as C data 1 A clock delay element C; a 1-clock delay element B that delays the C data by one pixel and outputs it as B data; and a 1-clock delay element A that delays the B data by 1 pixel and outputs it as A data; 1-clock delay element F for delaying the first line delay output by 1 pixel and outputting it as F data; 1-clock delay element E for delaying the F data by 1 pixel and outputting it as E data
A 1-clock delay element D that delays the E data by one pixel and outputs it as D data; and a 1-clock delay element I that delays the second line delay output by 1 pixel and outputs it as I data; The I data is delayed by one pixel, and H
1-clock delay element H for outputting as data; H
1-clock delay element G for delaying data by one pixel and outputting as G data; C data, B data, A data, F data, E data, D data, I data, H A digital noise reduction circuit comprising: a median filter for inputting data, the G data and outputting a video output signal; wherein the median filter comprises the extracted A data, B data, C data, One pixel is selected from the pixel signals of 9 pixels of the D data, the E data, the F data, the G data, the H data, and the I data, and the magnitude of the pixel signal and the pixel signal of the other 8 pixels are selected. The number of pixels having a pixel signal level higher than the pixel signal level of its own pixel (UP) and the number of pixels having a lower pixel signal level (DOWN) are compared. And nine comparator for outputting Re respectively; each of the nine comparator output and (UP) (DOW
N) which output the difference in the number of N); 9 absolute value conversion circuits which take the absolute value of the data output by said 9 subtractors; and these 9 absolute value conversion circuits output A pixel comparator that determines the signal having the smallest signal level from the pixel signals based on the absolute value calculation result, selects a pixel to replace the target pixel, and outputs a data selection signal; A pixel selector for replacing the pixel signal of the target pixel with the pixel signal output as the video output signal;

【0013】[0013]

【0014】[0014]

【0015】前記9個の比較器の各々が8個のコンパレ
ータを内蔵し、前記Aデータ、前記Bデータ、前記Cデ
ータ、前記Dデータ、前記Eデータ、前記Fデータ、前
記Gデータ、前記Hデータ、前記Iデータの任意の選択
した一つのデータを、前記8個のコンパレータの一方の
端子に共通に入力し、前記選択した一つのデータを除く
他の8個のデータを、前記8個のコンパレータの他方の
端子に順次入力することで8個の比較結果を計数し、自
画素の画素信号レベルより大きい画素信号レベルを持つ
画素の数(UP)と小さい画素信号レベルを持つ画素の
数(DOWN)とをそれぞれ出力することを特徴として
いる。
Each of the nine comparators contains eight comparators, and the A data, the B data, the C data, the D data, the E data, the F data, the G data, and the H data. Data, any one selected data of the I data is commonly input to one terminal of the eight comparators, and the other eight data other than the selected one data are input to the eight data. By sequentially inputting to the other terminal of the comparator, eight comparison results are counted, and the number of pixels having a pixel signal level higher than the pixel signal level of the own pixel (UP) and the number of pixels having a small pixel signal level (UP) And DOWN) are output respectively.

【0016】また、ディジタル画像の1画面を、m画素
×n画素構成(m,nは1以上の整数)に拡張した映像
入力信号であることを特徴としている。
Further, it is characterized in that it is a video input signal obtained by expanding one screen of a digital image into a structure of m pixels × n pixels (m and n are integers of 1 or more).

【0017】さらにディジタルノイズリダクション回路
を使用したテレビジョン信号を扱う装置を特徴としてい
る。
Further, it is characterized by an apparatus for handling a television signal using a digital noise reduction circuit.

【0018】[0018]

【発明の実施の形態】次に、本発明の実施の形態につい
て図面を参照して説明する。
DESCRIPTION OF THE PREFERRED EMBODIMENTS Next, embodiments of the present invention will be described with reference to the drawings.

【0019】図1は本発明のディジタルノイズリダクシ
ョン回路の一つの実施の形態を示すブロック図である。
FIG. 1 is a block diagram showing an embodiment of a digital noise reduction circuit of the present invention.

【0020】図1に示す本実施の形態は、映像入力信号
13を入力し、映像入力信号13の画素1ライン分を遅
延しライン遅延出力15として出力する1ライン遅延素
子1と、ライン遅延出力15を入力し、画素1ライン分
を遅延しライン遅延出力16として出力する1ライン遅
延素子2と、映像入力信号13を1画素分遅延しCデー
タ17として出力する1クロック遅延素子3と、Cデー
タ17を1画素分遅延しBデータ18として出力する1
クロック遅延素子4と、Bデータ18を1画素分遅延し
Aデータ19として出力する1クロック遅延素子5と、
ライン遅延出力15を1画素分遅延しFデータ20とし
て出力する1クロック遅延素子6と、Fデータ20を1
画素分遅延しEデータ21として出力する1クロック遅
延素子7と、Eデータ21を1画素分遅延しDデータ2
2として出力する1クロック遅延素子8と、ライン遅延
出力16を1画素分遅延しIデータ23として出力する
1クロック遅延素子9と、Iデータ23を1画素分遅延
しHデータ24として出力する1クロック遅延素子10
と、Hデータ24を1画素分遅延しGデータ25として
出力する1クロック遅延素子11と、Cデータ17,B
データ18,Aデータ19,Fデータ20,Eデータ2
1,Dデータ22,Iデータ23,Hデータ24,Gデ
ータ25を入力し、映像出力信号14を出力するメディ
アンフィルタ12とから構成されている。
In the present embodiment shown in FIG. 1, a 1-line delay element 1 for inputting a video input signal 13, delaying one pixel line of the video input signal 13 and outputting it as a line delay output 15, and a line delay output 1 line delay element 2 which inputs 15 and delays one pixel line and outputs it as a line delay output 16; one clock delay element 3 which delays the video input signal 13 by one pixel and outputs it as C data 17; Data 17 is delayed by one pixel and output as B data 18 1
A clock delay element 4, a 1-clock delay element 5 that delays the B data 18 by one pixel and outputs it as A data 19,
The 1-clock delay element 6 which delays the line delay output 15 by one pixel and outputs it as the F data 20, and the F data 20
A 1-clock delay element 7 that delays by one pixel and outputs as E data 21 and a D-data 2 that delays E data 21 by one pixel
1 clock delay element 8 which outputs as 2; the 1 clock delay element 9 which delays the line delay output 16 by 1 pixel and outputs as I data 23; and 1 data which delays the I data 23 by 1 pixel and outputs as H data 24 1 Clock delay element 10
1 clock delay element 11 for delaying H data 24 by one pixel and outputting it as G data 25, C data 17, B
Data 18, A data 19, F data 20, E data 2
1, the D data 22, the I data 23, the H data 24, and the G data 25 are input, and the median filter 12 which outputs the video output signal 14 is comprised.

【0021】図2はディジタル画像1画面の画素構成例
を示す図である。
FIG. 2 is a diagram showing a pixel configuration example of one screen of a digital image.

【0022】この場合、1画面を3画素×3画素に配列
し、画素としてA,B,C,D,E,F,G,H,Iの
9画素として構成している。つまり、3×3ウインドウ
による9画素構成である。
In this case, one screen is arranged in 3 pixels × 3 pixels, and the pixels are constituted by 9 pixels of A, B, C, D, E, F, G, H, and I. In other words, it has a 9 pixel configuration with a 3 × 3 window.

【0023】次に、図1および図2を参照しながら、注
目画素として真中の画素をEとし、その画素Eの縦、
横、斜めの周辺画素に関する非巡回型ノイズリダクショ
ン回路の構成として説明する。
Next, referring to FIGS. 1 and 2, the pixel in the middle is set as E as the pixel of interest, and the vertical direction of the pixel E,
It will be described as a configuration of a non-recursive noise reduction circuit for horizontal and diagonal peripheral pixels.

【0024】映像入力信号13から注目画素およびその
周辺画素を抽出する1ライン遅延素子1,2および1ク
ロック遅延素子3,4,5,6,7,8,9,10,1
1から構成され、1ライン遅延素子1,2および1クロ
ック遅延素子3〜11により抽出されたAデータ19か
らIデータ23までの画素信号はメディアンフィルタ1
2に入力され、フィルタ処理された後、映像出力信号1
4として出力される。ここで1ライン遅延素子1,2お
よび1クロック遅延素子3〜11の数は、ノイズリダク
ションの対象となるウィンドウに含まれる画素数によっ
て変化する。
1-line delay elements 1 and 2 and 1-clock delay elements 3, 4, 5, 6, 7, 8, 9, 10, 1 for extracting the target pixel and its peripheral pixels from the video input signal 13.
Pixel signals from A data 19 to I data 23, which are composed of 1 and are extracted by the 1-line delay elements 1 and 2 and the 1-clock delay elements 3 to 11, are the median filters 1
Video output signal 1 after being input to 2 and filtered
It is output as 4. Here, the numbers of the 1-line delay elements 1 and 2 and the 1-clock delay elements 3 to 11 vary depending on the number of pixels included in the window targeted for noise reduction.

【0025】さて、映像入力信号13を0H(H:Ho
rizon Line、水平ライン)とし、1ライン遅
延素子1によって水平1ライン遅延したライン遅延出力
15のデータ1Hを作り出す。1Hのライン遅延出力1
5を1ライン遅延素子2に入力し、さらに水平1ライン
遅延したライン遅延出力16のデータ2Hを作り出す。
Now, the video input signal 13 is set to 0H (H: Ho
The data 1H of the line delay output 15 which is horizontally delayed by one line by the one line delay element 1 is created. 1H line delay output 1
5 is input to the 1-line delay element 2, and the data 2H of the line delay output 16 further delayed by 1 horizontal line is produced.

【0026】0Hの映像入力信号13の1クロック遅延
素子3、4、5を経由した画素信号であるAデータ19
がメディアンフィルタ12に入力されるとき、1クロッ
ク遅延素子4の出力画素信号であるBデータ18、1ク
ロック遅延素子3の出力画素信号であるCデータ17、
1クロック遅延素子8の出力画素信号であるDデータ2
2、1クロック遅延素子7の出力画素信号であるEデー
タ21、1クロック遅延素子6の出力画素信号であるF
データ20、1クロック遅延素子11の出力画素信号で
あるGデータ25、1クロック遅延素子10の出力画素
信号であるHデータ24、1クロック遅延素子9の出力
画素信号であるIデータ23がそれぞれメディアンフィ
ルタ12に入力される。このAデータ19からIデータ
23の映像入力信号13は、図2に示すような二次元的
な配置で表される。このとき、注目画素の画素信号はE
データ21であり、他はEデータ21の周辺画素の画素
信号となる。
A data 19 which is a pixel signal of the 0H video input signal 13 via the 1-clock delay elements 3, 4, and 5
Is input to the median filter 12, B data 18 which is an output pixel signal of the 1-clock delay element 4, 1 C data 17 which is an output pixel signal of the 1-clock delay element 3,
D data 2 which is an output pixel signal of the 1-clock delay element 8
2, E data 21, which is the output pixel signal of the 1-clock delay element 7, and F, which is the output pixel signal of the 1-clock delay element 6.
The data 20, the G data 25 which is the output pixel signal of the 1-clock delay element 11, the H data 24 which is the output pixel signal of the 1-clock delay element 10, and the I-data 23 which is the output pixel signal of the 1-clock delay element 9, are respectively medians. It is input to the filter 12. The video input signal 13 of the A data 19 to I data 23 is represented by a two-dimensional arrangement as shown in FIG. At this time, the pixel signal of the target pixel is E
The data 21 and the others are pixel signals of peripheral pixels of the E data 21.

【0027】図3は図1のメディアンフィルタの一例を
示す詳細ブロック図である。
FIG. 3 is a detailed block diagram showing an example of the median filter of FIG.

【0028】なお、図3において図1に示す構成要素に
対応するものは同一の参照数字または符号を付し、その
説明を省略する。
In FIG. 3, the components corresponding to those shown in FIG. 1 are designated by the same reference numerals or symbols, and the description thereof will be omitted.

【0029】メディアンフィルタ12は、抽出されたA
データ19からIデータ23までの9画素の画素信号の
中から1画素を選び、その画素信号と他8画素の画素信
号の大小を比較し、自画素の画素信号レベルより大きい
画素信号レベルを持つ画素の数(UP)と小さい画素信
号レベルを持つ画素の数(DOWN)とをそれぞれ出力
する比較器41〜49を有し、これら比較器41〜49
の各々が出力する(UP)と(DOWN)の数の差を出
力する減算器51〜59と、減算器が出力するデータの
絶対値をとる絶対値化回路61〜69とを有し、さらに
入力した画素信号の中の信号レベルの中央値を判別し、
注目画素と置き換える画素を選択しデータ選択信号73
を出力する比較器70と、選択された画素信号を注目画
素の画素信号に置き換えて映像出力信号14として出力
する画素選択器71とを有する。
The median filter 12 extracts the extracted A
One pixel is selected from the pixel signals of 9 pixels from the data 19 to the I data 23, the magnitude of the pixel signal of that pixel signal is compared with that of the other 8 pixels, and the pixel signal level is higher than the pixel signal level of the own pixel. It has comparators 41 to 49 which respectively output the number of pixels (UP) and the number of pixels having a small pixel signal level (DOWN), and these comparators 41 to 49 are provided.
Of each of (UP) and (DOWN) output by each of the subtracters 51-59, and absolute value conversion circuits 61-69 for taking the absolute value of the data output by the subtractor, Determine the median of the signal levels in the input pixel signal,
A pixel to replace the pixel of interest is selected and a data selection signal 73
And a pixel selector 71 that replaces the selected pixel signal with the pixel signal of the pixel of interest and outputs it as the video output signal 14.

【0030】なお、比較器41〜49および減算器51
〜59、絶対値化回路61〜69の数は、ノイズリダク
ションに使用するウィンドウの中に含まれる画素の数に
対応して変化する。
Incidentally, the comparators 41 to 49 and the subtractor 51
˜59, the number of absolute value conversion circuits 61 to 69 changes according to the number of pixels included in the window used for noise reduction.

【0031】次に、図3を参照して動作を説明する。Next, the operation will be described with reference to FIG.

【0032】メディアンフィルタ12に入力された画素
信号であるAデータ19からIデータ23は比較器41
〜49の全てに入力される。すなわち、Aデータ19か
らIデータ23の任意の一つのデータが各々の比較器の
一方の入力端子に入力されると、他方の入力端子にはそ
の任意の一つのデータを除いた残りの全てのデータが入
力される。
A pixel signal A data 19 to I data 23 input to the median filter 12 is compared by a comparator 41.
Is input to all of ~ 49. That is, when any one data of A data 19 to I data 23 is input to one input terminal of each comparator, all the remaining input data except the one data is input to the other input terminal. Data is entered.

【0033】ここで、比較器41〜49、減算器51〜
59および絶対値化回路61〜69の動作について説明
する。
Here, the comparators 41-49 and the subtracters 51-51.
The operations of 59 and the absolute value conversion circuits 61 to 69 will be described.

【0034】画素信号であるAデータ19に対し、画素
信号であるBデータ18からIデータ23までの信号レ
ベルの大小を比較し、Aデータ19よりも大きい信号の
数を算出し、UP(A)として出力する。同時に、Aデ
ータ19よりも小さい信号の数を算出し、DOWN
(A)として出力する。UP(A)とDOWN(A)の
差を減算器51にて算出し、絶対値化回路61に出力す
る。この結果はプラスとマイナスの値をどちらもとり得
るため、絶対値化回路61で絶対値を算出し、POIN
T(A)として比較器70に出力する。
For the A data 19 which is the pixel signal, the signal levels of the B data 18 to the I data 23 which are the pixel signals are compared, the number of signals larger than the A data 19 is calculated, and UP (A ) Is output. At the same time, the number of signals smaller than A data 19 is calculated, and DOWN
Output as (A). The subtracter 51 calculates the difference between UP (A) and DOWN (A), and outputs it to the absolute value conversion circuit 61. Since this result can take both positive and negative values, the absolute value calculation circuit 61 calculates the absolute value and POIN
It is output to the comparator 70 as T (A).

【0035】比較器41〜49の各比較器は内部に8個
のコンパレータ(比較器)を内蔵しており、例えば比較
器41に対しては、8個のコンパレータの一方の端子に
Aデータ19が共通に入力され、他方の端子には順次B
データ18、Cデータ17、Dデータ22、Eデータ2
1、Fデータ20、Gデータ25、Hデータ24、Iデ
ータ23が各々入力され、Aデータ19との8個の比較
結果が計数され、上述のUP(A)とDOWN(A)と
を出力する。他の比較器も同様である。
Each of the comparators 41 to 49 has eight comparators (comparators) built therein. For the comparator 41, for example, the A data 19 is provided at one terminal of the eight comparators. Is commonly input, and B is sequentially input to the other terminal.
Data 18, C data 17, D data 22, E data 2
1, F data 20, G data 25, H data 24, I data 23 are respectively input, eight comparison results with A data 19 are counted, and the above-mentioned UP (A) and DOWN (A) are output. To do. The same applies to other comparators.

【0036】上述の処理と同時に、映像信号であるBデ
ータ18からIデータ23に対しても同様な処理を行
い、POINT(B)からPOINT(I)を比較器7
0に出力することになる。
Simultaneously with the above processing, the same processing is performed on the B data 18 to the I data 23 which are video signals, and the POINT (B) to POINT (I) are compared by the comparator 7.
It will be output to 0.

【0037】比較器70でPOINT(A)からPOI
NT(I)の9データから最小値となる値を選択し、そ
の最小値データを出力する元となった画素信号であるA
データ19〜Iデータ23のいずれかを選択し、データ
選択信号73として出力する。例えば、POINT
(C)が最小値と判断された場合は、画素信号としてC
データ17を選択するデータ選択信号73を画素選択器
71に出力する。
In the comparator 70, POINT (A) to POI
The pixel signal A that is the source from which the minimum value is selected from the NT (I) 9 data and the minimum value data is output.
Any one of the data 19 to I data 23 is selected and output as the data selection signal 73. For example, POINT
When (C) is determined to be the minimum value, C is used as the pixel signal.
A data selection signal 73 for selecting the data 17 is output to the pixel selector 71.

【0038】ここで、Aデータ19からIデータ23の
映像信号が全て違う値であったとすると最小値は0とな
り、最小値となったPOINTデータを出力する元とな
った画素信号は、自己の画素信号より大きい画素信号と
小さい画素信号とが同数存在することとなる。従って、
最小値となったPOINTデータを出力する元となった
画素信号は、全ての画素信号の中で中央値の信号レベル
を持つ信号ということになる。
Here, if all the video signals of A data 19 to I data 23 have different values, the minimum value becomes 0, and the pixel signal from which the minimum POINT data is output is the own pixel signal. The same number of pixel signals larger than the pixel signal and the pixel signals smaller than the pixel signal exist. Therefore,
The pixel signal which is the source of the minimum POINT data is a signal having a median signal level among all the pixel signals.

【0039】データ選択信号73によって、画素選択器
71はAデータ19〜Iデータ23の中で選択された画
素信号のデータを注目画素の画素信号であるEデータ2
1に置き換えて映像出力信号14として出力する。例え
ば、POINT(C)が最小値と判断された場合は、C
データ17がEデータ21に置き換えられる。
In response to the data selection signal 73, the pixel selector 71 converts the data of the pixel signal selected from the A data 19 to I data 23 into the E data 2 which is the pixel signal of the target pixel.
1 and output as the video output signal 14. For example, when POINT (C) is determined to be the minimum value, C
The data 17 is replaced with the E data 21.

【0040】次に、1ライン遅延素子1,2と1クロッ
ク遅延素子3〜11の動作を説明する。
Next, the operation of the 1-line delay elements 1 and 2 and the 1-clock delay elements 3 to 11 will be described.

【0041】映像入力信号13はクロック信号(図示せ
ず)の1クロック毎に、1画素にあたるディジタルデー
タを出力する。1画素のディジタルデータは任意のビッ
トで構成される。メディアンフィルタ12は、どのよう
なウインドウでフィルタリングするかを決定する必要が
ある。ここでは、ウインドウを図2に示すような3画素
×3画素の9画素のウインドウでフィルタリングする方
法を記す。
The video input signal 13 outputs digital data corresponding to one pixel every clock of a clock signal (not shown). Digital data of one pixel is composed of arbitrary bits. The median filter 12 needs to determine what window to filter. Here, a method of filtering a window with a 9-pixel window of 3 pixels × 3 pixels as shown in FIG. 2 will be described.

【0042】画素Eが注目画素の信号になった時点を考
える。注目画素Eの左側の画素信号Dは、注目画素Eか
らみて1クロック分位相が進んでいる信号になるので、
注目画素Eの信号がメディアンフィルタ12に入力され
るタイミングに合わせるためには、1クロック遅延素子
を注目画素Eの信号より1個多く通すことが必要とな
る。従って、1クロック遅延素子8から出力される。
Consider the time when the pixel E becomes the signal of the pixel of interest. The pixel signal D on the left side of the pixel of interest E is a signal whose phase is advanced by one clock when viewed from the pixel of interest E,
In order to match the timing at which the signal of the target pixel E is input to the median filter 12, it is necessary to pass one clock delay element more than the signal of the target pixel E. Therefore, it is output from the 1-clock delay element 8.

【0043】また、注目画素Eの右側の画素信号Fは注
目画素Eからみて1クロック分位相が遅れている信号と
なるので、1クロック遅延素子を1個少なくすることが
必要である。従って、1クロック遅延素子6から出力さ
れる。
Further, since the pixel signal F on the right side of the target pixel E is a signal whose phase is delayed by one clock as viewed from the target pixel E, it is necessary to reduce one clock delay element by one. Therefore, it is output from the 1-clock delay element 6.

【0044】次に、注目画素Eの上側の画素信号および
下側の画素信号を考える。注目画素Eからみて上側の画
素(斜めも含む)信号G,H,Iは、テレビジョン信号
の走査線が1本分上側、すなわち画素1ライン分(G,
H,I)位相が進んでいるため、注目画素Eの信号がメ
ディアンフィルタ12に入力されるタイミングに合わせ
るためには1ライン遅延素子を1個多く通すことにな
る。従って、1ライン遅延素子2から出力される。同様
に、下側の画素信号A,B,Cは1ライン遅延素子を1
個少なくすることが必要になり、映像入力信号13がス
ルーに出力される。
Next, consider the pixel signal on the upper side and the pixel signal on the lower side of the target pixel E. The pixel signals G, H, and I on the upper side with respect to the pixel of interest E are one scanning line of the television signal above, that is, one pixel line (G,
Since the (H, I) phase is advanced, one line delay element is added more in order to match the timing when the signal of the target pixel E is input to the median filter 12. Therefore, it is output from the 1-line delay element 2. Similarly, the lower pixel signals A, B, and C have 1 line delay elements set to 1
It is necessary to reduce the number, and the video input signal 13 is output to the through.

【0045】つまり、1クロック遅延素子3〜11は1
画素分のシフトを、1ライン遅延素子1,2は1ライン
分の画素全てをシフトさせる。
That is, the 1-clock delay elements 3 to 11 are set to 1
With respect to the pixel shift, the one-line delay elements 1 and 2 shift all the pixels for one line.

【0046】従って、1クロック遅延素子は、注目画素
との位置関係(位相関係)により数を変える。例えば、
二次元的にみて注目画素Eの真上にある画素Hの信号
は、注目画素Eと同じ数の1クロック遅延素子の数を通
すことになる。左上にあたる画素Gの信号は1クロック
遅延素子の数を1個多く通すことになる。
Therefore, the number of 1-clock delay elements changes depending on the positional relationship (phase relationship) with the pixel of interest. For example,
The signal of the pixel H immediately above the target pixel E in a two-dimensional manner passes through the same number of 1-clock delay elements as the target pixel E. The signal of the pixel G corresponding to the upper left passes one more clock delay element.

【0047】このように、注目画素との位置関係(位相
関係)によって1ライン遅延素子と1クロック遅延素子
の数を変え、メディアンフィルタ12の入力で全ての画
素信号の入力タイミングを揃えることで、メディアンフ
ィルタ12のウインドウを構成している。
As described above, the number of 1-line delay elements and 1-clock delay elements is changed according to the positional relationship (phase relationship) with the pixel of interest, and the input timing of all pixel signals is made uniform at the input of the median filter 12. The window of the median filter 12 is configured.

【0048】なお、3×3のウィンドウに含まれる9画
素を使用した非巡回型ノイズリダクション回路を説明し
たが、このウィンドウはm×n(m,nは1以上の任意
の整数)に拡張することができる。
Although the acyclic noise reduction circuit using 9 pixels included in the 3 × 3 window has been described, this window is expanded to m × n (m and n are arbitrary integers of 1 or more). be able to.

【0049】また、同じ3×3のウィンドウであって
も、その9画素の構成画素のうち注目画素を除いた残り
8画素の中から任意の数の画素を抽出し実施することが
できる。例えば、注目画素の上下左右の4画素を周辺画
素として扱い、合計5画素によって実施することも可能
である。もちろんこの場合であっても、ウィンドウをm
×nに拡張することができる。
Further, even in the same 3 × 3 window, an arbitrary number of pixels can be extracted and implemented from the remaining 8 pixels excluding the pixel of interest among the 9 pixel constituent pixels. For example, it is also possible to treat four pixels above, below, left and right of the pixel of interest as peripheral pixels, and implement a total of five pixels. Of course, even in this case,
It can be extended to × n.

【0050】上述の通り、動きのある映像信号のノイズ
除去に有効なフィールド内非巡回型の構成をしており、
このためメディアンフィルタ12を使用して、ディテー
ル部を保ちつつノイズ低減を可能にしている。メディア
ンフィルタ12の内部では、比較器41〜49、減算器
51〜59および絶対値化回路61〜69を並列に配置
し、時間的に並列に処理を行うことで処理の遅延時間を
短くすることができる。
As described above, the intra-field non-recursive structure effective for removing noise from a moving video signal is used.
Therefore, the median filter 12 is used to enable noise reduction while maintaining the detail portion. Inside the median filter 12, the comparators 41 to 49, the subtractors 51 to 59, and the absolute value conversion circuits 61 to 69 are arranged in parallel, and the processing delay time is shortened by performing processing in parallel in time. You can

【0051】なお、本ディジタルノイズリダクション回
路はNTSCやPAL等のテレビジョン信号のノイズリ
ダクションを行うために、テレビジョン受像機やCCD
カメラ等のテレビジョン信号を扱っている装置に適応可
能である。
The digital noise reduction circuit of the present invention uses a television receiver or a CCD in order to perform noise reduction of television signals such as NTSC and PAL.
It can be applied to a device handling a television signal such as a camera.

【0052】[0052]

【発明の効果】以上説明したように、本発明のディジタ
ルノイズリダクション回路は、メディアンフィルタを使
用し、そのメディアンフィルタの中央値を選択する際
に、ソート処理のように時間的にシリーズに処理を行わ
ずに画素同士の比較処理を並列に行うことができるの
で、処理時間が短く、ハード回路構成に有効な、解像度
劣化の少ない非巡回型ノイズリダクション回路を構成で
きるという効果を有している。
As described above, the digital noise reduction circuit of the present invention uses a median filter, and when selecting the median value of the median filter, the median filter performs time series processing like sorting processing. Since the comparison processing of the pixels can be performed in parallel without performing the processing, there is an effect that a non-cyclic noise reduction circuit having a short processing time and effective for a hardware circuit configuration and having less resolution deterioration can be configured.

【図面の簡単な説明】[Brief description of drawings]

【図1】本発明のディジタルノイズリダクション回路の
一つの実施の形態を示すブロック図である。
FIG. 1 is a block diagram showing an embodiment of a digital noise reduction circuit of the present invention.

【図2】ディジタル画像1画面の画素構成例を示す図で
ある。
FIG. 2 is a diagram showing a pixel configuration example of one screen of a digital image.

【図3】図1のメディアンフィルタの一例を示す詳細ブ
ロック図である。
FIG. 3 is a detailed block diagram showing an example of the median filter of FIG.

【符号の説明】[Explanation of symbols]

1,2 1ライン遅延素子 3〜11 1クロック遅延素子 12 メディアンフィルタ 13 映像入力信号 14 映像出力信号 15 ライン遅延出力 16 ライン遅延出力 17 Cデータ 18 Bデータ 19 Aデータ 20 Fデータ 21 Eデータ 22 Dデータ 23 Iデータ 24 Hデータ 25 Gデータ 41〜49 比較器 51〜59 減算器 61〜69 絶対値化回路 70 比較器 71 画素選択器 73 データ選択信号 1, 2 1 line delay element 3 to 11 1 clock delay element 12 Median filter 13 Video input signal 14 Video output signal 15 line delay output 16 line delay output 17 C data 18 B data 19 A data 20 F data 21 E data 22 D data 23 I data 24 H data 25 G data 41-49 Comparator 51-59 Subtractor 61-69 Absolute value conversion circuit 70 Comparator 71 Pixel selector 73 Data selection signal

Claims (4)

(57)【特許請求の範囲】(57) [Claims] 【請求項1】 ディジタル画像の1画面が3画素×3画
素構成である映像入力信号を入力し、この映像入力信号
の画素1ライン分を遅延し第1のライン遅延出力として
出力する第1の1ライン遅延素子と; 前記第1のライン遅延出力を入力し、画素1ライン分を
遅延し第2のライン遅延出力として出力する第2の1ラ
イン遅延素子と; 前記映像入力信号を1画素分遅延し、Cデータとして出
力する1クロック遅延素子Cと; 前記Cデータを1画素分遅延し、Bデータとして出力す
る1クロック遅延素子Bと、前記Bデータを1画素分遅
延し、Aデータとして出力する1クロック遅延素子A
と; 前記第1のライン遅延出力を1画素分遅延し、Fデータ
として出力する1クロック遅延素子Fと; 前記Fデータを1画素分遅延し、Eデータとして出力す
る1クロック遅延素子Eと; 前記Eデータを1画素分遅延し、Dデータとして出力す
る1クロック遅延素子Dと; 前記第2のライン遅延出力を1画素分遅延し、Iデータ
として出力する1クロック遅延素子Iと; 前記Iデータを1画素分遅延し、Hデータとして出力す
る1クロック遅延素子Hと; 前記Hデータを1画素分遅延し、Gデータとして出力す
る1クロック遅延素子Gと; 前記Cデータ、前記Bデータ、前記Aデータ、前記Fデ
ータ、前記Eデータ、前記Dデータ、前記Iデータ、前
記Hデータ、前記Gデータを入力し、映像出力信号を出
力するメディアンフィルタと; を備えたディジタルノイズリダクション回路であって、 前記メディアンフィルタは、 抽出された前記Aデータ、前記Bデータ、前記Cデー
タ、前記Dデータ、前記Eデータ、前記Fデータ、前記
Gデータ、前記Hデータ、前記Iデータの9画素の画素
信号の中から1画素を選び、その画素信号と他8画素の
画素信号の大小を比較し、自画素の画素信号レベルより
大きい画素信号レベルを持つ画素の数(UP)と小さい
画素信号レベルを持つ画素の数(DOWN)とをそれぞ
れ出力する9個の比較器と; これら9個の比較器の各々が出力する(UP)と(DO
WN)の数の差を出力する9個の減算器と; 前記9個の減算器が出力するデータの絶対値をとる9個
の絶対値化回路と; これら9個の絶対値化回路が出力する絶対値の算出結果
から、前記画素信号の中から信号レベルの最も小さい信
号を判別し、注目画素と置き変える画素を選択しデータ
選択信号を出力する画素比較器と; 選択された画素信号を前記注目画素の画素信号に置き換
えて、前記映像出力信号として出力する画素選択器と; を有することを特徴とするディジタルノイズリダクショ
ン回路。
1. A first input for inputting a video input signal in which one screen of a digital image has a structure of 3 pixels × 3 pixels, delaying one pixel line of this video input signal and outputting as a first line delay output. A one-line delay element; a second one-line delay element which receives the first line delay output, delays one pixel line and outputs the second line delay output; and the video input signal for one pixel 1-clock delay element C that delays and outputs as C data; 1-clock delay element B that delays the C data by 1 pixel and outputs as B data, and 1-clock delay element that delays the B data by 1 pixel, and as A data Output 1 clock delay element A
A 1-clock delay element F that delays the first line delay output by 1 pixel and outputs as F data; and a 1-clock delay element E that delays the F data by 1 pixel and outputs as E data; A 1-clock delay element D for delaying the E data by 1 pixel and outputting it as D data; a 1-clock delay element I for delaying the second line delay output by 1 pixel and outputting it as I data; 1-clock delay element H for delaying data by 1 pixel and outputting as H data; 1-clock delay element G for delaying H data by 1 pixel and outputting as G data; C data, B data, A median filter which inputs the A data, the F data, the E data, the D data, the I data, the H data, and the G data, and outputs a video output signal; A digital noise reduction circuit comprising: the median filter, wherein the median filter includes: the extracted A data, B data, C data, D data, E data, F data, G data, and H data. , The number of pixels having a pixel signal level higher than the pixel signal level of the own pixel by selecting one pixel from the pixel signals of the 9 pixels of the I data and comparing the magnitude of the pixel signal with that of the other 8 pixels (UP) and nine comparators that respectively output the number of pixels having a small pixel signal level (DOWN); and each of these nine comparators outputs (UP) and (DO
WN) nine subtractors that output the difference between the numbers; and nine absolute value conversion circuits that take the absolute value of the data output by the nine subtractors; and these nine absolute value conversion circuits output A pixel comparator that determines the signal having the smallest signal level from the pixel signals based on the absolute value calculation result, selects a pixel to replace the pixel of interest, and outputs a data selection signal; And a pixel selector which outputs the image output signal by replacing it with the pixel signal of the pixel of interest.
【請求項2】 前記9個の比較器の各々が8個のコンパ
レータを内蔵し、 前記Aデータ、前記Bデータ、前記Cデータ、前記Dデ
ータ、前記Eデータ、前記Fデータ、前記Gデータ、前
記Hデータ、前記Iデータの任意の選択した一つのデー
タを、前記8個のコンパレータの一方の端子に共通に入
力し、前記選択した一つのデータを除く他の8個のデー
タを、前記8個のコンパレータの他方の端子に順次入力
することで8個の比較結果を計数し、自画素の画素信号
レベルより大きい画素信号レベルを持つ画素の数(U
P)と小さい画素信号レベルを持つ画素の数(DOW
N)とをそれぞれ出力することを特徴とする請求項1記
のディジタルノイズリダクション回路。
2. Each of the nine comparators has eight built-in comparators, the A data, the B data, the C data, the D data, the E data, the F data, the G data, Any one selected data of the H data and the I data is commonly input to one terminal of the eight comparators, and the other eight data excluding the selected one data are replaced by the eight data. The eight comparison results are counted by sequentially inputting to the other terminal of each comparator, and the number of pixels having a pixel signal level higher than the pixel signal level of the own pixel (U
P) and the number of pixels having a small pixel signal level (DOW
Claim 1 Symbol for and outputting N) and respectively
Built- in digital noise reduction circuit.
【請求項3】 請求項1又は請求項2のいずれか1項に
記載のディジタルノイズリダクション回路が扱うディジ
タル画像の1画面を、m画素×n画素構成(m,nは1
以上の整数)に拡張した映像入力信号であることを特徴
とするディジタルノイズリダクション回路。
3. A screen of a digital image handled by the digital noise reduction circuit according to claim 1 or 2 , is configured by m pixels × n pixels (m and n are 1).
A digital noise reduction circuit which is a video input signal extended to the above integer).
【請求項4】 請求項1〜3のいずれか1項に記載のデ
ィジタルノイズリダクション回路を使用したことを特徴
とするテレビジョン信号を扱う装置。
4. An apparatus for handling a television signal, characterized in that the digital noise reduction circuit according to any one of claims 1 to 3 is used.
JP2000007538A 2000-01-17 2000-01-17 Digital noise reduction circuit Expired - Lifetime JP3463640B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2000007538A JP3463640B2 (en) 2000-01-17 2000-01-17 Digital noise reduction circuit

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2000007538A JP3463640B2 (en) 2000-01-17 2000-01-17 Digital noise reduction circuit

Publications (2)

Publication Number Publication Date
JP2001197333A JP2001197333A (en) 2001-07-19
JP3463640B2 true JP3463640B2 (en) 2003-11-05

Family

ID=18535916

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2000007538A Expired - Lifetime JP3463640B2 (en) 2000-01-17 2000-01-17 Digital noise reduction circuit

Country Status (1)

Country Link
JP (1) JP3463640B2 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006191454A (en) * 2005-01-07 2006-07-20 Sony Corp Noise detection circuit, signal processing apparatus provided with the circuit, imaging apparatus provided with the apparatus, and noise elimination method

Also Published As

Publication number Publication date
JP2001197333A (en) 2001-07-19

Similar Documents

Publication Publication Date Title
JP5039192B2 (en) Spatio-temporal adaptive video deinterlacing
JPH0884321A (en) Video data processing method
US6999130B2 (en) Luminance signal/chrominance signal separation device, and luminance signal/chrominance signal separation method
JP3540758B2 (en) Horizontal contour signal generation circuit for single-chip color camera
JPH05153608A (en) Video signal processing method and its device
JPH0646817B2 (en) Video signal processor
JP3286120B2 (en) Noise removal circuit
JP3231309B2 (en) Motion information signal detection circuit
JPH08102873A (en) Filter structure and wave-filtration method
JP3463640B2 (en) Digital noise reduction circuit
JPH0614218A (en) Noise reducing device
JPH06153167A (en) Motion vector detection circuit
JP2005311455A (en) Imaging device, noise reduction device, noise reduction method and program
JPH10178560A (en) Noise elimination circuit
JPH09233489A (en) Noise reduction circuit
KR100226836B1 (en) Apparatus for field format conversion
JPH03190473A (en) Video signal processor
KR100776385B1 (en) Color interpolation apparatus for edge enhancement and noise removal
JP2008017021A (en) Moving image noise eliminating device
KR100296311B1 (en) The circuit for improving picture quality of ntsc mode standard image
JP4197821B2 (en) Image processing device
JPS634781A (en) Action signal detecting circuit in digital television receiver
JPH0630433A (en) Luminance signal/chrominance signal separating device
JP4022877B2 (en) Noise reduction circuit for image signals
JP2947837B2 (en) Control motion signal generation circuit

Legal Events

Date Code Title Description
TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20030722

R150 Certificate of patent or registration of utility model

Ref document number: 3463640

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20070822

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080822

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080822

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090822

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090822

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100822

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110822

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110822

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120822

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130822

Year of fee payment: 10

EXPY Cancellation because of completion of term