JP5084804B2 - Noise removing device, noise removing method, and video signal display device - Google Patents
Noise removing device, noise removing method, and video signal display device Download PDFInfo
- Publication number
- JP5084804B2 JP5084804B2 JP2009229416A JP2009229416A JP5084804B2 JP 5084804 B2 JP5084804 B2 JP 5084804B2 JP 2009229416 A JP2009229416 A JP 2009229416A JP 2009229416 A JP2009229416 A JP 2009229416A JP 5084804 B2 JP5084804 B2 JP 5084804B2
- Authority
- JP
- Japan
- Prior art keywords
- noise
- motion
- signal
- difference
- pixel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Picture Signal Circuits (AREA)
Description
本発明は、映像信号におけるノイズを除去するためのノイズ除去装置、ノイズ除去方法およびこのノイズ除去装置又は方法を適用した映像信号表示装置に関し、特に、フレーム巡回型のノイズ除去装置、ノイズ除去方法および映像信号表示装置に関するものである。 The present invention relates to a noise removing device, a noise removing method, and a video signal display device to which the noise removing device or method is applied to remove noise in a video signal, and more particularly to a frame recursive noise removing device, a noise removing method, and the like. The present invention relates to a video signal display device.
近年では、テレビジョン受信機などの表示画面の大型化、映像信号の高画質化に伴い、映像信号を処理し高画質で表示する際、入力映像信号(入力画像信号とも呼ぶ)に含まれる不要な成分、すなわちノイズ(雑音とも呼ぶ)成分が目立つようになってきており、また、映像信号処理において信号の高い信頼性が求められている。この映像信号の含まれるノイズ成分を低減し高画質な映像を得るために、ノイズ除去(ノイズリダクションとも呼び、NRと略す)装置があり、例えば、時間軸の中でフレーム間の相関(フレーム相関)のないノイズ成分を除去する3次元ノイズ除去装置が数多く提案されている。 In recent years, along with the increase in the size of display screens of television receivers and the increase in image quality of video signals, when video signals are processed and displayed in high image quality, they are not included in the input video signal (also called input image signal). Components, that is, noise (also referred to as noise) components are becoming conspicuous, and high signal reliability is required in video signal processing. In order to reduce the noise component contained in this video signal and obtain a high-quality video, there is a noise reduction (also called noise reduction, abbreviated as NR) device, for example, correlation between frames (frame correlation) on the time axis. Many three-dimensional noise removal apparatuses have been proposed for removing noise components without).
3次元ノイズ除去装置は、1フレーム前の信号と現在の入力フレームの信号とを減算してフレーム間の差分を取り、このフレーム間の差分にある一定の係数(巡回係数)を掛けたものを現在の入力フレームの信号に加減算することにより、ノイズ成分を除去するものである。このような3次元ノイズ除去装置においては、ノイズ除去効果が得られる一方で、動きのある部分において尾引きや残像が生じる場合があり、この場合には前記係数をフレーム間の差分等から得られる動き検出情報を用いて算出し、動きのある部分では係数を小さくすることでノイズ除去の効果を弱くし、尾引きや残像の低減が図られている。 The three-dimensional noise removing apparatus subtracts the signal of the previous frame and the signal of the current input frame to take a difference between frames, and multiplies the difference between the frames by a certain coefficient (cyclic coefficient). The noise component is removed by adding / subtracting to the signal of the current input frame. In such a three-dimensional noise removal apparatus, while a noise removal effect can be obtained, tailing and afterimages may occur in a moving part. In this case, the coefficient can be obtained from a difference between frames or the like. The calculation is performed using the motion detection information, and the effect of noise removal is weakened by reducing the coefficient in a portion where there is motion, thereby reducing tailing and afterimage.
従来のノイズ除去装置としては、1フレーム前の信号との間の差分データに対し、所定期間の差分データの最大値と平均値を検出し、検出した最大値と平均値から、補正データ生成時の設定情報とNRのオン/オフを制御する制御信号を生成して精度よくノイズ量を検出し、ノイズ除去する装置(例えば、特許文献1参照)や、複数フレーム間における画素信号の差分を動きの度合いとして検出し、これにより巡回するノイズのゲインを設定して、ノイズ除去を行う装置(例えば、特許文献2参照)が提案されている。 As a conventional noise removing device, the maximum value and the average value of the difference data for a predetermined period are detected for the difference data from the signal one frame before, and the correction data is generated from the detected maximum value and average value. Generating a control signal for controlling ON / OFF of NR and detecting an amount of noise with high accuracy and removing noise (for example, refer to Patent Document 1), and moving pixel signal differences between a plurality of frames There has been proposed a device (see, for example, Patent Document 2) that detects noise as a degree of noise and sets the gain of the circulating noise thereby to remove noise.
また、フレーム差分からの動き検出結果と画像信号のレベルによりノイズの巡回係数を制御することで、画像の明るさに応じたノイズ除去処理を行う装置の提案もある(例えば、特許文献3参照)。 There is also a proposal of a device that performs noise removal processing according to the brightness of an image by controlling a cyclic coefficient of noise according to a motion detection result from a frame difference and a level of an image signal (see, for example, Patent Document 3). .
また、フレーム間の差分から動き判定を行い、この判定結果を多数決処理回路においてチェックし、判定結果のバラツキを補正し、これを動き信号としてノイズの巡回係数を決定することで、良好に動き検出を行い、ノイズ除去を行う装置の提案もある(例えば、特許文献4参照)。 In addition, motion detection is performed based on the difference between frames, the determination result is checked by a majority processing circuit, variation in the determination result is corrected, and a noise cyclic coefficient is determined using this as a motion signal, so that motion can be detected well. There is also a proposal of a device that performs noise removal (see, for example, Patent Document 4).
さらに、動きベクトル補正した1フィールド前の画像との差分に対し、差分の周波数帯域を低周波帯域と高周波帯域に分割し、分割された帯域ごとに動き検出信号を得て、フィードバック量を制御することで、高域部の残像軽減効果を改善し、ノイズ除去を行う装置の提案もある(例えば、特許文献5参照)。 Further, the difference frequency band is divided into a low frequency band and a high frequency band for the difference from the image one field before the motion vector correction, and a motion detection signal is obtained for each of the divided bands to control the feedback amount. Therefore, there is also a proposal of an apparatus that improves the afterimage reduction effect in the high frequency area and performs noise removal (see, for example, Patent Document 5).
上述したように、上記従来の装置においては、フレーム間の差分値により、動き検出を行い、動き検出の結果に応じてノイズに対する巡回係数を制御し、動き部分の尾引きや残像を低減していた。また、一方では、フレーム間の差分には、前後のフレーム間での映像信号の「動き」による差分と、入力映像信号中の「ノイズ」成分が含まれている。そのため、動き検出の感度を上げると、ノイズによる差分の感度も上がり、ノイズによる差分を動きと誤検出して、良好なノイズ除去効果が得られず、動き検出の感度を下げると、本来の動き部分に尾引きや残像が生じ、さらには、例えば入力映像信号レベルのゲインがアップした場合のようなノイズ成分の値が大きな映像信号が入力されると、ノイズによる差分を動きと誤検出してしまい、ノイズ除去効果が得られず、良好なノイズ除去を行うことができないという問題点がある。 As described above, in the above-described conventional apparatus, motion detection is performed based on a difference value between frames, and a cyclic coefficient for noise is controlled according to the result of motion detection, thereby reducing tailing and afterimage of a motion part. It was. On the other hand, the difference between frames includes a difference due to “motion” of the video signal between the previous and next frames and a “noise” component in the input video signal. Therefore, if the sensitivity of motion detection is increased, the sensitivity of the difference due to noise also increases, and the difference due to noise is erroneously detected as motion, and a good noise removal effect cannot be obtained. If a video signal with a large noise component is input, such as when the gain of the input video signal level is increased, for example, when tailing or afterimage occurs in the part, the difference due to noise is erroneously detected as motion. Therefore, there is a problem that a noise removal effect cannot be obtained and good noise removal cannot be performed.
そこで、本発明は、上記の課題を解決するためになされたものであり、その目的は、ノイズ成分の値が大きな映像信号に対しても、フレーム間の差分に含まれる映像信号の動きとノイズ成分を区別して、誤検出することなく良好に動き検出を行い、尾引きや残像を低減して、良好なノイズ除去効果を得ることができるノイズ除去装置、ノイズ除去方法、及び映像信号表示装置を提供することにある。 Therefore, the present invention has been made to solve the above-described problems, and an object of the present invention is to detect the motion and noise of a video signal included in the difference between frames even for a video signal having a large noise component value. A noise removal device, a noise removal method, and a video signal display device capable of distinguishing components and performing good motion detection without erroneous detection, reducing tailing and afterimages, and obtaining a good noise removal effect It is to provide.
本発明は、
映像信号のフレーム間における相関に基づいてフレーム間で相関のないノイズ成分を除去する3次元ノイズ除去装置であって、
現フレームの映像信号と1フレーム前の映像信号との差分を求め、もしくは現フレームの映像信号と1フレーム前のノイズ除去装置の出力であるノイズが除去された映像信号との差分を求め、各画素についてのフレーム差分を出力する減算手段と、
各画素についての上記フレーム差分に対し、当該各画素を中心とした周辺画素でのフレーム差分から、上記各画素での動きまたは静止を判定する多数決判定を行い、判定結果により上記フレーム差分の値を補正し、補正したフレーム差分を示す信号を、フレーム差分に含まれる映像信号の各画素についての動き量を示す動き検出信号として出力する動き検出手段と、
上記フレーム差分における各画素についての高周波数成分を抽出し、抽出された各画素での高周波数成分に対し周辺の画素での高周波数成分を用いた平均化を行い、平均化された結果から、上記フレーム差分に含まれる映像信号での各画素についてのノイズ成分を判定して、ノイズが含まれる度合いを示すノイズ判定結果を出力するノイズ判定手段と、
上記各画素についての動き検出信号から上記各画素についてのノイズ判定結果を減算して、フレーム差分に含まれるノイズ成分を、上記動き量を示す値である動き検出信号から除き、ノイズ成分を除いた動き量を示す値へ補正し、この減算結果による信号をフレーム差分に含まれるノイズ成分が区別された各画素での上記フレーム差分による動きの度合いを示す動き度合い信号として生成して出力する動き度合い生成手段と、
上記動き度合い信号に応じて変化する巡回係数を求めて出力する係数変換手段と、
上記巡回係数と上記フレーム差分を乗算処理し、ノイズ巡回量を求める乗算手段と、
上記ノイズ巡回量を上記現フレームの映像信号に加減算することで、ノイズの除去された映像信号を得る演算手段と
を備え、
上記巡回係数は、上記動き度合い信号が示す動きの度合いが大きくなるにつれて小さくなるとともに、上記動き度合い信号が示す動きの度合いが所定の値以上であるときに0となるよう定められる
ことを特徴とするノイズ除去装置を提供する。
The present invention
A three-dimensional noise removing apparatus that removes a noise component having no correlation between frames based on a correlation between frames of a video signal,
Obtains the difference between the video signal and the previous frame video signal of the current frame, or obtains a difference component of the video signal from which noise has been removed is the output of the video signal and the previous frame noise removal apparatus of the current frame, Subtracting means for outputting a frame difference for each pixel ;
To the frame difference for each pixel, from the frame difference in peripheral pixels centering on the pixel performs determining majority decision motion or stationary at each pixel, the judgment result value of the frame difference A motion detection means for correcting and outputting a signal indicating the corrected frame difference as a motion detection signal indicating the amount of motion for each pixel of the video signal included in the frame difference;
Extract the high frequency component for each pixel in the frame difference , perform the averaging using the high frequency component in the surrounding pixels for the extracted high frequency component, from the averaged results, A noise determination unit that determines a noise component for each pixel in the video signal included in the frame difference and outputs a noise determination result indicating a degree of noise included;
Subtracts the noise determination result for each pixel from the motion detection signal for each pixel, the noise component included in the frame difference, except from the motion detection signal is a value indicating the amount of motion, excluding noise components The degree of motion that is corrected to a value indicating the amount of motion, and the signal resulting from this subtraction is generated and output as a motion degree signal indicating the degree of motion due to the frame difference at each pixel in which the noise component included in the frame difference is distinguished Generating means;
Coefficient conversion means for obtaining and outputting a cyclic coefficient that changes in accordance with the motion degree signal;
Multiplication means for multiplying the cyclic coefficient and the frame difference to obtain a noise cyclic amount;
The noise cyclic amount by subtracting the video signal of the present frame, and an arithmetic means for obtaining a Film image signal removed of noise,
The cyclic coefficient decreases as the degree of movement indicated by the movement degree signal increases, and is determined to be 0 when the degree of movement indicated by the movement degree signal is equal to or greater than a predetermined value.
Providing noise removing apparatus characterized by.
本発明によれば、1フレーム前の信号と現在の入力フレームの信号からフレーム相関のないノイズ成分を除去する3次元ノイズ除去であり、フレーム間の差分から、映像信号の「動き」と「ノイズ」を判定し、その判定結果から動き度合いを示す信号を得て、動き度合いを示す信号に応じてノイズに対する係数を設定してノイズ除去を行っている。したがって、ノイズ成分の値が大きな映像信号に対しても、フレーム間の差分に含まれる映像信号の動きとノイズ成分を区別することができ、誤検出することなく動き検出を行い、尾引きや残像を低減して、良好なノイズ除去効果を得ることができるという効果がある。 According to the present invention, three-dimensional noise removal is performed to remove a noise component having no frame correlation from the signal of the previous frame and the signal of the current input frame. From the difference between the frames, the “motion” and “noise” of the video signal are obtained. ”Is obtained, a signal indicating the degree of motion is obtained from the determination result, and noise removal is performed by setting a coefficient for noise according to the signal indicating the degree of motion. Therefore, even for a video signal with a large noise component value, it is possible to distinguish between the motion of the video signal included in the difference between frames and the noise component, so that motion detection can be performed without false detection, and tailing and afterimage As a result, it is possible to obtain a good noise removal effect.
本発明の実施の形態におけるノイズ除去装置、ノイズ除去方法、及び映像信号表示装置は、
1フレーム前のフィールドとの間の相関を検出し、ノイズ除去を行うものである。
A noise removal device, a noise removal method, and a video signal display device in an embodiment of the present invention are:
A correlation with a field one frame before is detected and noise is removed.
実施の形態1.
図1は、本発明における実施の形態1のノイズ除去装置(すなわち、実施の形態1のノイズ除去方法を実施することができる装置)の構成を示すブロック図であり、
図示のノイズ除去装置は、1フレーム前の信号と現在の入力フレームの信号からノイズ成分を除去する3次元ノイズ除去装置であり、映像信号のフレーム間における相関からフレーム間で相関のないノイズ成分を除去する。
図1に示すノイズ除去装置は、ノイズ除去後の出力信号を1フレーム遅延させ処理するものであり、巡回型のノイズ除去装置(フレーム巡回型ノイズ除去装置)と呼ばれる。
FIG. 1 is a block diagram showing a configuration of a noise removal apparatus according to
The illustrated noise removal apparatus is a three-dimensional noise removal apparatus that removes noise components from the signal of the previous frame and the signal of the current input frame. From the correlation between the frames of the video signal, the noise component having no correlation between frames is removed. Remove.
The noise removal apparatus shown in FIG. 1 processes the output signal after noise removal with a delay of one frame, and is called a cyclic noise removal apparatus (frame cyclic noise removal apparatus).
図1において、1は実施の形態1のノイズ除去装置であり、ノイズ除去装置1は、入力映像信号(入力信号、入力フレーム信号又は現フレーム信号ともいう。)Di0が順次入力され、映像信号を1フレーム遅延させるフレームメモリ11と、減算手段12と、振幅制限手段13と、入力フレーム信号Di0と1フレーム前の信号Im1の間での差分から動きの度合いを示す動き度合い信号MDSを出力する動き・ノイズ検出手段14と、動き・ノイズ検出手段14からの信号MDSに応じて、ノイズに対する巡回係数Kmへと変換する係数変換手段16と、振幅制限手段13からの差分Dfnと巡回係数Kmを乗算しノイズの巡回量Ndとして出力する乗算手段17と、乗算手段17からのノイズ巡回量Ndと入力信号Di0を加算又は減算処理する演算手段18とを備えている。
In FIG. 1,
上記動き・ノイズ検出手段14は、入力フレーム信号Di0と1フレーム前の信号Im1の間での差分が「動き」に該当するか「ノイズ」に該当するかを検出し、検出結果から動きの度合いを示す動き度合い信号MDSを出力するものであり、
映像信号のフレーム間差分Diffから動きを検出し、非線形変換された差分信号Dmと動き量を示す動き検出信号MDTを出力する動き検出手段20と、
動き検出手段20からの非線形変換された差分信号Dmにより、この差分信号がノイズであるかを判定するノイズ判定手段30と、
動き検出信号MDTとノイズ判定結果NDTから動きの度合いを示す動き度合い信号MDSを生成する動き度合い生成手段19とから構成されており、
この動き度合い生成手段19は、動き検出信号MDTとノイズ判定結果NDTの減算処理を行うノイズ減算手段24と、
ローパスフィルタ(図1中はLPFと記し、以下、LPFと略す。)25と、
LFP25からの信号から動きの度合いを示す動き度合い信号MDSへ変換する動き度合い変換手段26とから構成されている。
The motion / noise detection means 14 detects whether the difference between the input frame signal Di0 and the signal Im1 one frame before corresponds to “motion” or “noise”, and the degree of motion from the detection result A movement degree signal MDS indicating
Motion detection means 20 for detecting motion from the inter-frame difference Diff of the video signal and outputting a non-linearly converted difference signal Dm and a motion detection signal MDT indicating the amount of motion;
A noise determination means 30 for determining whether the difference signal is noise based on the difference signal Dm subjected to nonlinear transformation from the motion detection means 20;
A movement degree generation means 19 for generating a movement degree signal MDS indicating the degree of movement from the movement detection signal MDT and the noise determination result NDT;
The movement degree generation unit 19 includes a
A low-pass filter (referred to as LPF in FIG. 1 and hereinafter abbreviated as LPF) 25;
It comprises motion degree conversion means 26 for converting the signal from the
また、上記動き・ノイズ検出手段14における動き検出手段20は、
減算手段12からのフレーム間差分Diffの絶対値Dabsを演算する絶対値演算手段21と、
差分絶対値Dabsを非線形変換し、動きを検出する差分感度変換手段22と、
孤立点除去手段23とを備えており、
上記動き・ノイズ検出手段14内のノイズ判定手段30では、動き検出手段20からの差分信号Dmによる動きがノイズであるかを判定するため、入力される差分信号の高周波成分を抽出するバンドパスフィルタ(図1中で、BPFと記し、以下、BPFと略す。)31と、BPF31の出力の絶対値Nabsを演算する絶対値演算手段32と、各画素の周辺の画素でのノイズの平均値Naveを求める平均化手段33と、上記平均化手段33からの出力Naveを非線形変換し、ノイズ判定結果の感度を調整するためのノイズ判定感度変換手段34とを備えている。
Further, the motion detection means 20 in the motion / noise detection means 14 includes:
Absolute value calculating means 21 for calculating the absolute value Dabs of the inter-frame difference Diff from the subtracting means 12;
Differential sensitivity conversion means 22 for nonlinearly converting the absolute difference Dabs and detecting motion;
Isolated point removing means 23,
The noise determination means 30 in the motion / noise detection means 14 is a band-pass filter that extracts a high-frequency component of the input difference signal in order to determine whether or not the motion based on the difference signal Dm from the motion detection means 20 is noise. (In FIG. 1, indicated as BPF, hereinafter abbreviated as BPF) 31, absolute value calculating means 32 for calculating the absolute value Nabs of the output of the
フレームメモリ11は、映像信号を1フレーム分遅延して出力するためのメモリで、ノイズ除去装置1の出力信号Do0(ノイズ除去後の映像信号)を1フレーム遅延させ、入力映像信号Di0に対し、1フレーム前の映像信号(前フレーム信号とも呼ぶ。)Im1を出力する。なお、フレームメモリ11は、入力映像信号が飛び越し走査(インターレース)信号のようにフィールド単位の信号である場合は、フィールド単位で遅延を行い、フィールドメモリと呼ばれ、インターレース信号が入力される場合は、1フレーム分の遅延は、すなわち2フィールド分の遅延となる。そして、フレームメモリ11からは、現フレームの入力信号Di0の画素と同一位置における1フレーム前の信号Im1の画素が出力される。
The
減算手段12は、現フレーム信号Di0と前フレーム信号Im1が入力され、前フレーム信号Im1から現フレーム信号Di0を減算し、現フレーム信号Di0と前フレーム信号Im1のフレーム間の差分値(フレーム差分)Diffが求められる。このフレーム差分Diffには、映像信号における「動き」と「ノイズ」の成分が含まれており、フレーム差分Diffが0の場合は、完全に静止している部分であり、(より厳密には、動きもノイズもない部分、又は動きとノイズが完全に打ち消し合っている部分であり、)動きもしくはノイズ成分があると(そして両者が完全に打ち消しあっていなければ)、その値は大きくなる。 The subtraction means 12 receives the current frame signal Di0 and the previous frame signal Im1, subtracts the current frame signal Di0 from the previous frame signal Im1, and calculates a difference value (frame difference) between the current frame signal Di0 and the previous frame signal Im1. Diff is required. The frame difference Diff includes components of “motion” and “noise” in the video signal. When the frame difference Diff is 0, the frame difference Diff is a completely stationary part (more strictly, If there is a motion or noise component (and the two are not completely cancelled), the value will increase.
振幅制限手段13は、減算手段12からのフレーム差分Diffに対して、所定の値内(例えば、±dTh内)に振幅を制限し、振幅制限された差分値Dfnを入力信号Di0での画素におけるノイズ成分として出力する。
The
動き・ノイズ検出手段14には、減算手段12からのフレーム差分Diffが入力される。動き・ノイズ検出手段14は、入力フレーム信号Di0と1フレーム前の信号Im1との間でのフレーム差分Diffから、映像信号での動きを検出するとともに、動きと混合されるノイズを判定し、動き検出の結果である動き量(MDT)とノイズ判定の結果(ノイズの度合い(NDT))から、フレーム差分における動きの度合いを示す動き度合い信号MDSを出力する。
動き・ノイズ検出手段14は、動きの度合いを(MD1+1)段階(例えばMD1+1=9段階、MD1はMD1=8)に設定して、フレーム差分Diffが動きによるものであると検出される場合は、値MD1(例えばMDS=8、完全動き画素)とし、静止画部分が検出される場合もしくは差分が動きによるものではなくノイズ成分であると検出される場合は、ゼロ(MDS=0、完全静止画素)として、0からMD1(例えば、0から8)の間の値でその動きの度合いを示す動き度合い信号MDSを生成する。動き・ノイズ検出手段14からの動き度合い信号MDSは、係数変換手段16へと送られる。
The motion / noise detection unit 14 receives the frame difference Diff from the
The motion / noise detection means 14 sets the degree of motion to the (MD1 + 1) stage (for example, MD1 + 1 = 9 stage, MD1 is MD1 = 8), and when the frame difference Diff is detected to be due to motion, When the value MD1 (for example, MDS = 8, complete motion pixel) is detected and a still image portion is detected or when the difference is detected as a noise component rather than due to motion, zero (MDS = 0, complete still pixel) ), A motion degree signal MDS indicating the degree of motion is generated with a value between 0 and MD1 (for example, 0 to 8). The motion degree signal MDS from the motion / noise detection means 14 is sent to the coefficient conversion means 16.
次に、上記動き・ノイズ検出手段14の構成について、図1〜図7に従い、詳細に説明する。 Next, the configuration of the motion / noise detection means 14 will be described in detail with reference to FIGS.
上記動き・ノイズ検出手段14内の動き検出手段20には、減算手段12からのフレーム差分Diffが入力される。動き検出手段20は、フレーム差分Diffから、動きに該当する差分(Dm)を抽出し、また、非線形変換した差分信号をノイズ判定手段30へと送るとともに、動き量を示す動き検出信号MDTを出力する。 The frame difference Diff from the subtracting means 12 is input to the motion detecting means 20 in the motion / noise detecting means 14. The motion detection means 20 extracts a difference (Dm) corresponding to the motion from the frame difference Diff, and sends a non-linearly converted difference signal to the noise determination means 30 and outputs a motion detection signal MDT indicating the amount of motion. To do.
動き検出手段20内の絶対値演算手段21には、減算手段12からのフレーム差分Diffが入力される。絶対値演算手段21は、フレーム差分Diffの絶対値(差分絶対値Dabs)を演算して、出力する。 The frame difference Diff from the subtracting means 12 is input to the absolute value calculating means 21 in the motion detecting means 20. The absolute value calculation means 21 calculates and outputs the absolute value of the frame difference Diff (difference absolute value Dabs).
動き検出手段20内の差分感度変換手段22には、絶対値演算手段21からの差分絶対値Dabsが入力される。差分感度変換手段22では、例えば差分絶対値Dabsに所定の感度倍率を乗算し、オフセット値を減算して、その演算結果を所定の値(例えば、0からdM(後述))の間に値を制限することで非線形変換し、差分信号Dmとして動き検出手段20内の孤立点除去手段23へ出力するとともに、ノイズ判定手段30へも送る。この差分信号Dmには、動きと、値が大きなノイズ成分が含まれている。
The difference absolute value Dabs from the absolute value calculation means 21 is input to the difference sensitivity conversion means 22 in the motion detection means 20. In the difference sensitivity conversion means 22, for example, the difference absolute value Dabs is multiplied by a predetermined sensitivity magnification, the offset value is subtracted, and the calculation result is set to a value between a predetermined value (for example, 0 to dM (described later)). By limiting, nonlinear conversion is performed, and the difference signal Dm is output to the isolated
図2は、差分感度変換手段22における入出力特性の一例である差分絶対値Dabs(入力、すなわち、横軸)と出力される差分信号Dm(縦軸)の関係を示している。この場合、図2中横軸で示す差分絶対値DabsがTm以上の場合は、一定値dMとして動きを示す差分信号Dmが出力され、オフセット値Tofまでの値は微小のノイズ成分となり、差分信号Dm=0として出力される。差分信号Dmは0から値dMまでの間で出力され、その値で、動きもしくはノイズの量を示している。感度倍率を大きくすることで、フレーム差分絶対値Dabsを動きと検出しやすくすることとなり、オフセット値を大きくすると、その値までの差分値が微小ノイズ成分(もしくは、静止部分)として検出されることとなる。よって、この感度倍率とオフセット値により動き検出の感度が調整される。 FIG. 2 shows the relationship between the absolute difference value Dabs (input, that is, the horizontal axis), which is an example of the input / output characteristics in the differential sensitivity conversion means 22, and the output differential signal Dm (vertical axis). In this case, when the difference absolute value Dabs shown on the horizontal axis in FIG. 2 is equal to or greater than Tm, a difference signal Dm indicating movement is output as a constant value dM, and the value up to the offset value Tof becomes a minute noise component, and the difference signal It is output as Dm = 0. The difference signal Dm is output between 0 and a value dM, and the value indicates the amount of motion or noise. Increasing the sensitivity magnification makes it easy to detect the frame difference absolute value Dabs as a motion. If the offset value is increased, the difference value up to that value is detected as a minute noise component (or a stationary part). It becomes. Therefore, the sensitivity of motion detection is adjusted by the sensitivity magnification and the offset value.
動き検出手段20内の孤立点除去手段23には、差分感度変換手段22からの差分信号Dmが入力される。孤立点除去手段23は、注目画素における差分信号Dmに対し、所定の周辺画素範囲内の差分信号と値の大きさを多数決判定することで、孤立した値がないように孤立点を除去し、その画素での差分信号を補正する。すなわち、差分信号Dmの周辺画素での値とのバラツキを判定することで値を統一し、動きの検出漏れを補正して、動き量を示す差分値として補正した差分信号(動き検出信号MDT)を出力する。
図3は、孤立点除去手段23の一構成例を示すブロック図であり、孤立点除去手段23は、動き画素判定手段101と、静止画素判定手段102と、エリア内動き画素累計演算手段103と、エリア内静止画素累計演算手段104と、第1の比較手段(以下「条件A比較手段」と言う)105と、第2の比較手段(条件C比較手段)106と、第3の比較手段(条件B比較手段)107と、多数決判定手段108とから構成される。
The difference signal Dm from the difference sensitivity conversion means 22 is input to the isolated point removal means 23 in the motion detection means 20. The isolated point removing means 23 removes isolated points so that there is no isolated value by performing majority decision on the difference signal and value magnitude within a predetermined peripheral pixel range with respect to the difference signal Dm at the target pixel, The difference signal at the pixel is corrected. That is, a difference signal (motion detection signal MDT) that is corrected as a difference value indicating the amount of motion by unifying the values by determining variations from the values in the surrounding pixels of the difference signal Dm, correcting the motion detection omission. Is output.
FIG. 3 is a block diagram showing a configuration example of the isolated
ここで、孤立点除去手段23において判定を行う周辺画素の範囲は、例えば、図4に示すような注目画素(図中斜線で示す画素)を中心とした垂直方向3ライン、水平方向5画素の合計15画素の範囲とする。なお、画素範囲は、これに限定されるものではなく、例えば、注目画素を中心とした水平方向5画素(垂直方向1ラインのみ)の範囲とすることもできる。 Here, the range of peripheral pixels to be determined by the isolated point removing means 23 is, for example, 3 vertical lines and 5 horizontal pixels centered on the pixel of interest (pixels indicated by diagonal lines in the figure) as shown in FIG. The total range is 15 pixels. Note that the pixel range is not limited to this, and may be, for example, a range of 5 pixels in the horizontal direction (only one line in the vertical direction) centering on the target pixel.
図3において、孤立点除去手段23へ入力された差分感度変換手段22からの差分信号Dmは、孤立点除去手段23内の動き画素判定手段101および静止画素判定手段102へと入力される。
In FIG. 3, the difference signal Dm from the difference
動き画素判定手段101では、差分信号Dmを所定の閾値(第1の閾値)と比較して、差分信号Dmが動きと判定される動き画素を判定し、比較結果を出力する。比較は、例えば、差分信号Dmが所定の閾値より大きければ動き画素と判断し、結果として2値化した値を出力する。2値化した値は、例えば、動き画素と判断された場合は値‘1’とし、それ以外の場合は値‘0’とする。なお、この2値化した値は、上記したものに限るものではなく、比較により動き画素として判断された各画素の結果を示す値であれば、他の値であってもよい。
The motion
一方、孤立点除去手段23内の静止画素判定手段102では、差分信号Dmを所定の閾値(第2の閾値)と比較して、差分信号Dmが静止と判定される静止画素を判定し、比較結果を出力する。比較は、例えば、差分信号Dmが所定の閾値より小さければ静止画素と判断し、結果として2値化した値を出力する。2値化した値は、例えば、静止画素と判断された場合は値‘1’とし、それ以外の場合は値‘0’とする。なお、この2値化した値は、上記したものに限るものではなく、比較により静止画素として判断された各画素の結果を示す値であれば、他の値であってもよい。
On the other hand, the still
また、図3に示す孤立点除去手段23では、動き画素判定手段101と静止画素判定手段102を設けて、それぞれにおいて動き画素と静止画素を判定しているが、判定手段を共通で持ち、差分信号Dmを所定の閾値(上記した第1の閾値及び第2の閾値と等しい)と比較して、差分信号Dmが所定の閾値より小さければその画素を静止画素と判断し、所定の閾値より大きければ動画素と判断して、2値化した値を出力するよう構成してもよい。なお、上記図3に示すように動き画素判定手段101と静止画素判定手段102を設けることで、動きと静止の中間の値(動きまたは静止と判定できない差分)が設定され、完全動き画素および完全静止画素を判定することが可能になる。
In addition, the isolated
孤立点除去手段23内のエリア内動き画素累計演算手段103には、動き画素判定手段101からの動き画素として判定された画素を示す2値化された値が入力される。エリア内動き画素累計演算手段103は、動き画素として判定された画素を示す2値化された値に応じて、図4に示す画素のエリア内において、動き画素と判定された画素の数を累計する。すなわち、エリア内動き画素累計演算手段103では、動き画素判定手段101からの動き画素と判断された値‘1’となる場合を図4の15画素のエリア内で累計して、エリア内における動き画素の累計値を動き画素数pmvとして出力する。
A binarized value indicating a pixel determined as a moving pixel from the moving
孤立点除去手段23内のエリア内静止画素累計演算手段104には、静止画素判定手段102からの静止画素として判定された画素を示す2値化された値が入力される。エリア内静止画素累計演算手段104は、静止画素として判定された画素を示す2値化された値に応じて、図4に示す画素のエリア内において、静止画素と判定された画素の数を累計する。すなわち、エリア内静止画素累計演算手段104では、静止画素判定手段102からの静止画素と判断された値‘1’となる場合を図4の15画素のエリア内で累計して、エリア内における静止画素の累計値を静止画素数pstとして出力する。
The binarized value indicating the pixel determined as the still pixel from the still
そして、図3において、孤立点除去手段23内のエリア内動き画素累計演算手段103から出力される動き画素数pmvは、条件A比較手段105と条件C比較手段106へと送られ、また、孤立点除去手段23内のエリア内静止画素累計演算手段104から出力される静止画素数pstは、条件B比較手段107へと送られ、それぞれにおいて予め設定してある閾値thA、thC,およびthBと比較し、孤立点除去のための条件A、条件C,条件Bを判定する。
In FIG. 3, the number of moving pixels pmv output from the in-area moving pixel total calculating means 103 in the isolated point removing means 23 is sent to the condition
孤立点除去手段23内の条件A比較手段105は、図4で示す画素エリア内15画素における動き画素数pmvを閾値thAと比較し、動き画素数pmvがthAより大きい場合、注目画素周辺は動きと判定し、条件A判定結果CAとして、判定結果CAの値を‘1’(CA=1であり、周辺は動きと判定したことを示す。)とし、それ以外の場合は、判定結果CAの値を‘0’(CA=0であり、中間もしくは静止を示す。)とする。ここで、予め設定してある閾値thAは、画素エリア内の15画素の範囲内で設定され、例えばthA=4とした場合は、15画素中に動き画素数pmvが5以上となると、CA=1となる。
The condition
孤立点除去手段23内の条件C比較手段106では、図4で示す画素エリア内15画素における動き画素数pmvを閾値thCと比較し、動き画素数pmvがthCより小さい場合、注目画素周辺は静止と判定し、条件C判定結果CCとして、判定結果CCの値を‘1’(CC=1であり、周辺は静止と判定)とし、それ以外の場合は、判定結果CCの値を‘0’(CC=0であり、中間もしくは動きを示す。)とする。ここで、予め設定してある閾値thCは、画素エリア内の15画素の範囲内で設定され、例えばthC=7とした場合は、15画素中に動き画素数pmvが7より少ないと、CC=1となる。なお、上記条件A比較手段105での閾値thAと同一の値とすることも可能である。
The condition
また、孤立点除去手段23内の条件B比較手段107は、図4で示す画素エリア内15画素における静止画素数pstを閾値thBと比較し、静止画素数pstがthBより大きい場合、注目画素周辺は静止と判定し、条件B判定結果CBとして、判定結果CBの値を‘1’(CB=1であり、周辺は静止画と判定したことを示す。)とし、それ以外の場合は、判定結果CBの値を‘0’(CB=0であり、中間もしくは動きを示す。)とする。ここで、予め設定してある閾値thBは、画素エリア内の15画素の範囲内で設定され、例えばthB=10とした場合は、15画素中に静止画素数pstが10より多くなると、CB=1となる。
Further, the condition
そして、条件A比較手段105、条件C比較手段106および条件B比較手段107からの条件A判定結果CA、条件C判定結果CC、条件B判定結果CBは、孤立点除去のための多数決判定の条件A、条件C,条件Bとして、多数決判定手段108へと出力される。
The condition A determination result CA, the condition C determination result CC, and the condition B determination result CB from the condition
孤立点除去手段23内の多数決判定手段108へは、差分感度変換手段22からの差分信号Dmと、条件A判定結果CA、条件C判定結果CCおよび条件B判定結果CBが入力される。多数決判定手段108では、条件A判定結果CA、条件C判定結果CC、条件B判定結果CBに応じて、注目画素における差分信号Dmに対し、周辺画素での値が示す動きとのバラツキを補正し、値を統一する。即ち、注目画素での差分感度変換手段22からの差分信号が動きか静止かを多数決判定して、そして、動きに該当する差分として、補正した差分信号(動き検出信号MDT)を出力する。図5は、孤立点除去手段23内の多数決判定手段108の一構成例を示すブロック図であり、多数決判定手段108は、条件A加算手段111と、条件B減算手段112と、条件C減算手段113と、選択手段114とから構成される。
The difference signal Dm from the difference
多数決判定手段108内の条件A加算手段111、条件B減算手段112および条件C減算手段113へは、差分感度変換手段22からの差分信号Dmが送られ、それぞれにおいて予め設定してある補正値AAD、BAD、CADを差分信号Dmとの加算もしくは減算処理を行う。
The difference signal Dm from the difference
多数決判定手段108内の条件A加算手段111では、差分感度変換手段22からの差分信号Dmが入力され、差分信号Dmに補正値AADを加算し、加算結果(Dm+AAD)を選択手段114へと送る。補正値AADを加算することで、差分信号Dmの値を大きくし、動きに該当する差分値寄りへ補正することとなる。 The condition A addition means 111 in the majority decision determination means 108 receives the difference signal Dm from the difference sensitivity conversion means 22, adds the correction value AAD to the difference signal Dm, and sends the addition result (Dm + AAD) to the selection means 114. . By adding the correction value AAD, the value of the difference signal Dm is increased, and the difference value corresponding to the movement is corrected.
多数決判定手段108内の条件B減算手段112では、差分感度変換手段22からの差分信号Dmが入力され、差分信号Dmから補正値BADを減算し、減算結果(Dm−BAD)を選択手段114へと送る。補正値BADを減算することで、差分信号Dmを小さく0へ近づけることなり、静止に該当する差分値寄りへ補正することとなる。なお、減算結果が負(−)の値となった場合は、0へクリップし、値0を出力してもよい。
The condition
同様に、多数決判定手段108内の条件C減算手段113では、差分感度変換手段22からの差分信号Dmが入力され、差分信号Dmから補正値CADを減算し、減算結果(Dm−CAD)を選択手段114へと送る。補正値CADを減算することで、差分信号Dmを小さく0へ近づけることなり、静止に該当する差分値寄りへ補正することとなる。なお、減算結果が負(−)の値となった場合は、0へクリップし、値0を出力してもよい。
Similarly, the condition
多数決判定手段108内の選択手段114へは、差分感度変換手段22からの差分信号Dmと、条件A加算手段111からの加算結果(Dm+AAD)と、条件B減算手段112からの減算結果(Dm−BAD)、条件C減算手段113からの減算結果(Dm−CAD)および固定値FIXDが入力されており、また、条件A判定結果CA、条件C判定結果CCおよび条件B判定結果CBが入力される。選択手段114では、条件A判定結果CA、条件C判定結果CCおよび条件B判定結果CBに応じて、差分信号Dmと、加算結果(Dm+AAD)と、減算結果(Dm−BAD)、減算結果(Dm−CAD)および固定値FIXDから信号を選択して、以下の条件のように孤立点除去のための多数決判定を行い、動き検出信号MDTを出力する。 To the selection means 114 in the majority decision judgment means 108, the difference signal Dm from the difference sensitivity conversion means 22, the addition result (Dm + AAD) from the condition A addition means 111, and the subtraction result (Dm− from the condition B subtraction means 112). BAD), the subtraction result (Dm−CAD) and the fixed value FIXD from the condition C subtraction means 113 are input, and the condition A determination result CA, the condition C determination result CC, and the condition B determination result CB are input. . In the selection means 114, the difference signal Dm, the addition result (Dm + AAD), the subtraction result (Dm−BAD), and the subtraction result (Dm) according to the condition A determination result CA, the condition C determination result CC, and the condition B determination result CB. -CAD) and a fixed value FIXD, a majority decision for isolated point removal is performed under the following conditions, and a motion detection signal MDT is output.
条件A判定結果CAが値‘1’(CA=1)であり、周辺は動きと判定した場合は、加算結果(Dm+AAD)を選択して、MDT=(Dm+AAD)を出力する。すなわち、差分信号Dmの値を動き寄りへ補正する。 If the condition A determination result CA is the value “1” (CA = 1) and it is determined that the periphery is a motion, the addition result (Dm + AAD) is selected and MDT = (Dm + AAD) is output. That is, the value of the difference signal Dm is corrected to be closer to movement.
条件B判定結果CBが値‘1’(CB=1)であり、周辺は静止画と判定した場合は、減算結果(Dm−BAD)を選択して、MDT=(Dm−BAD)を出力する。すなわち、差分信号Dmの値を静止画寄りへ補正する。 When the condition B determination result CB is the value “1” (CB = 1) and the periphery is determined to be a still image, the subtraction result (Dm−BAD) is selected and MDT = (Dm−BAD) is output. . In other words, the value of the difference signal Dm is corrected closer to the still image.
条件C判定結果CCが値‘1’(CC=1)となり、周辺は静止画と判定した場合は、減算結果(Dm−CAD)を選択して、MDT=(Dm−CAD)を出力する。すなわち、差分信号Dmの値を静止画寄りへ補正する。 When the condition C determination result CC is “1” (CC = 1) and the periphery is determined to be a still image, the subtraction result (Dm−CAD) is selected and MDT = (Dm−CAD) is output. In other words, the value of the difference signal Dm is corrected closer to the still image.
さらには、条件A判定結果CAが値‘1’(CA=1)かつ条件B判定結果CBが値‘1’(CB=1)となる場合には、動きと静止の中間値として、固定値FIXDを選択して、MDT=FIXDを出力する。これは、差分信号Dmの値が静止画か動きかが判断できない場合となる。 Furthermore, when the condition A determination result CA is a value “1” (CA = 1) and the condition B determination result CB is a value “1” (CB = 1), a fixed value is used as an intermediate value between motion and stillness. Select FIXD and output MDT = FIXD. This is a case where it cannot be determined whether the value of the difference signal Dm is a still image or a motion.
上記条件A、B、Cの結果が ‘1’として得られない場合には、差分信号Dmをそのまま選択して、MDT=Dmを出力する。 If the result of the above conditions A, B, and C cannot be obtained as ‘1’, the difference signal Dm is selected as it is and MDT = Dm is output.
孤立点除去手段23内の多数決判定手段108は、図6の多数決判定手段108bに示されるように構成することもできる。図6において、図5の構成と同一又は対応する構成には、同じ符号を付してある。図6において、多数決判定手段108bは、上記図5における構成に加え、切り換え手段B115と、切り換え手段A116と、切り換え手段F117と、切り換え手段C118とを設け、差分感度変換手段22からの差分信号Dmに対し、条件A判定結果CA、条件C判定結果CCおよび条件B判定結果CBに応じて、加算結果(Dm+AAD)と、減算結果(Dm−BAD)、減算結果(Dm−CAD)および固定値FIXDから信号を切り換え、上述したように孤立点除去のための多数決判定を行い、動き検出信号MDTを出力する。その構成及び動作は、上記で説明した判定と同様であるので、その詳細な説明は省略する。 The majority decision means 108 in the isolated point removing means 23 can also be configured as shown by the majority decision means 108b in FIG. In FIG. 6, the same reference numerals are given to the same or corresponding components as those in FIG. In FIG. 6, the majority decision determining means 108b is provided with a switching means B115, a switching means A116, a switching means F117, and a switching means C118 in addition to the configuration in FIG. 5, and the difference signal Dm from the difference sensitivity conversion means 22 is provided. On the other hand, the addition result (Dm + AAD), the subtraction result (Dm−BAD), the subtraction result (Dm−CAD), and the fixed value FIXD according to the condition A determination result CA, the condition C determination result CC, and the condition B determination result CB. The signal is switched, the majority decision for removing the isolated points is performed as described above, and the motion detection signal MDT is output. Since the configuration and operation are the same as the determination described above, detailed description thereof is omitted.
多数決判定手段108bでは、第1の切り換え手段(以下「切り換え手段B」と言う)115、第2の切り換え手段(切り換え手段A)116、第3の切り換え手段(切り換え手段F)117及び第4の切り換え手段(切り換え手段C)118において、条件A判定結果CA、条件C判定結果CCおよび条件B判定結果CBに応じて、加算結果もしくは減算結果および固定値を順次切り換える。よって、それぞれの判定条件の優先順位が設定できる。 The majority decision judging means 108b includes a first switching means (hereinafter referred to as “switching means B”) 115, a second switching means (switching means A) 116, a third switching means (switching means F) 117, and a fourth switching means. In the switching means (switching means C) 118, the addition result or subtraction result and the fixed value are sequentially switched according to the condition A determination result CA, the condition C determination result CC, and the condition B determination result CB. Therefore, the priority of each determination condition can be set.
なお、多数決判定手段108又は108bにおける孤立点除去のための多数決判定の条件は、上記順序、条件に限られるものではなく、例えば、条件A判定結果CAと条件B判定結果CBのみにより、動き検出信号MDTを周囲と同一の値へ補正するよう構成してもよく、また、条件A判定結果CAと条件B判定結果CBのみにより、加算または減算処理した差分信号へ補正することもできる。 The majority decision conditions for removing isolated points in the majority decision judging means 108 or 108b are not limited to the above order and conditions. For example, motion detection is performed only by the condition A judgment result CA and the condition B judgment result CB. The signal MDT may be configured to be corrected to the same value as the surroundings, or may be corrected to a difference signal that has been subjected to addition or subtraction processing based only on the condition A determination result CA and the condition B determination result CB.
以上のように、動き検出手段20内の孤立点除去手段23は、差分感度変換手段22からの差分信号Dmに対し、所定の周辺画素範囲内の差分信号と値の大きさを多数決判定し、孤立点を除去して値を統一し、動きの検出漏れを補正して、動きに該当する差分として補正した動き検出信号MDTを動き度合い生成手段19内のノイズ減算手段24へと出力する。この動き検出信号MDTは、フレーム差分Diffから、映像信号での動きを抽出し、孤立点を除去して得た差分値を示す信号であり、その値が大きい場合は、動き画素であり、0であれば静止画素となる。すなわち、動き検出信号MDTの値は動き量を示すこととなる。
As described above, the isolated
次に、上記動き・ノイズ検出手段14内のノイズ判定手段30の構成について説明する。図1において、動き・ノイズ検出手段14内のノイズ判定手段30には、動き検出手段20内の差分感度変換手段22からの非線形変換された差分信号Dmが入力される。ノイズ判定手段30は、差分信号Dmから、差分信号Dmに含まれる値が比較的大きなノイズ成分を判定し、ノイズの度合いを示すノイズ判定結果NDTを出力する。
Next, the configuration of the noise determination means 30 in the motion / noise detection means 14 will be described. In FIG. 1, the noise determination unit 30 in the motion / noise detection unit 14 is input with the non-linearly converted difference signal Dm from the difference
ここで、フレーム差分Diffに基づく差分信号Dmには、動きと、比較的値が大きなノイズ成分が含まれている。上述したように、上記動き検出手段20内の孤立点除去手段23では、差分信号Dmの孤立点を除去して補正し、動きの検出漏れを補正した値としている。よって、ノイズ成分による差分信号であっても、周辺の画素のバラツキ具合により、動きに該当する差分として補正して動きと誤検出される場合がある。そこで、ノイズ判定手段30では、差分信号Dmに存在する高域周波数成分の程度、すなわち、差分信号Dmに含まれるノイズ成分の度合いを判定する。
Here, the difference signal Dm based on the frame difference Diff includes motion and a noise component having a relatively large value. As described above, the isolated
ノイズ判定手段30内のBPF31には、動き検出手段20内の差分感度変換手段22からの差分信号Dmが入力される。BPF31では、差分信号Dmにおける高周波数成分、すなわちノイズ成分を抽出する。BPF31は、例えば図7(a)に示すような注目画素(図中斜線で示す画素)位置を中心とした垂直方向3ライン、水平方向3画素の範囲に対するBPFを構成する。なお、BPF31は、これに限定されるものではなく、例えば、注目画素を中心とした水平方向3画素(垂直方向1ラインのみ)に対する構成(図7(b)参照)とすることもできる。
The difference signal Dm from the difference sensitivity conversion means 22 in the motion detection means 20 is input to the
ノイズ判定手段30内の絶対値演算手段32には、BPF31の出力が入力される。絶対値演算手段32は、BPF31の出力の絶対値を演算し、差分ノイズ成分Nabsとして出力する。
The output of the
ノイズ判定手段30内の平均化手段33には、絶対値演算手段32からの差分ノイズ成分Nabsが入力される。平均化手段33では、差分ノイズ成分Nabsに対し各画素の周辺の画素でのノイズ成分の平均化を行う。これは、動きのエッジ部分など、差分ノイズ成分Nabsが急激に変化すると考えられる場合の影響を防ぐためである。平均値の演算を行う範囲は、例えば注目画素を中心とした水平5画素から成るものとし、この水平5画素での差分ノイズ成分Nabsの平均値を演算し、注目画素における平均ノイズ成分Naveとして出力する。なお、平均化する画素の範囲は、水平5画素に限るものではなく水平3画素や水平7画素と設定してもよい。 The difference noise component Nabs from the absolute value calculation means 32 is input to the averaging means 33 in the noise determination means 30. The averaging means 33 averages the noise components in the pixels around each pixel with respect to the differential noise component Nabs. This is to prevent the influence when the differential noise component Nabs is considered to change rapidly, such as the edge portion of the motion. The range in which the average value is calculated includes, for example, five horizontal pixels centered on the target pixel. The average value of the difference noise component Nabs at the five horizontal pixels is calculated and output as the average noise component Nave at the target pixel. To do. The range of pixels to be averaged is not limited to 5 horizontal pixels, and may be set to 3 horizontal pixels or 7 horizontal pixels.
ノイズ判定手段30内のノイズ判定感度変換手段34には、平均化手段33からの平均ノイズ成分Naveが入力される。ノイズ判定感度変換手段34では、例えば平均ノイズ成分Naveに所定の感度倍率を乗算し、オフセット値を減算して、その演算結果を所定の値内に制限することで非線形変換し、ノイズ判定結果NDTとして出力する。平均ノイズ成分Naveは、差分信号Dmから抽出されたノイズ成分であり、平均ノイズ成分Naveの値が大きいほど差分信号がノイズ成分である度合いが高くなり、感度倍率を大きくすることで、平均ノイズ成分Naveをノイズと判定しやすくすることとなり、差分信号でのノイズの度合いを示す。 The average noise component Nave from the averaging means 33 is input to the noise determination sensitivity conversion means 34 in the noise determination means 30. In the noise determination sensitivity conversion means 34, for example, the average noise component Nave is multiplied by a predetermined sensitivity magnification, the offset value is subtracted, and the calculation result is limited to a predetermined value to perform nonlinear conversion, and the noise determination result NDT. Output as. The average noise component Nave is a noise component extracted from the difference signal Dm. The larger the value of the average noise component Nave, the higher the degree that the difference signal is a noise component, and the sensitivity noise is increased to increase the average noise component. It becomes easy to determine Nave as noise, and indicates the degree of noise in the differential signal.
そして、ノイズ判定感度変換手段34は、感度を調整した平均化ノイズ成分をノイズ判定結果NDTとして動き度合い生成手段19内のノイズ減算手段24へと出力する。このノイズ判定結果NDTは、フレーム差分に含まれた比較的値が大きなノイズ成分の度合いを示すこととなる。
Then, the noise determination
次に、図1において、動き・ノイズ検出手段14内の動き度合い生成手段19には、動き検出手段20からの動き検出信号MDTと、ノイズ判定手段30からのノイズ判定結果NDTが入力される。動き度合い生成手段19は、動き検出信号MDTからノイズ判定結果NDTを減算することで、フレーム差分における動きの度合いを示す動き度合い信号MDSを生成し、以下のように構成される。 Next, in FIG. 1, the motion detection signal MDT from the motion detector 20 and the noise determination result NDT from the noise determiner 30 are input to the motion degree generator 19 in the motion / noise detector 14. The motion level generation means 19 generates a motion level signal MDS indicating the level of motion in the frame difference by subtracting the noise determination result NDT from the motion detection signal MDT, and is configured as follows.
動き度合い生成手段19内のノイズ減算手段24には、動き検出手段20からの動き検出信号MDTと、ノイズ判定手段30からのノイズ判定結果NDTが入力される。ノイズ減算手段24は、動き検出信号MDTからノイズ判定結果NDTを減算し、減算結果である動き信号MSGを出力する。
The
ここで、フレーム差分Diffには映像信号での「動き」と動きと混合される「ノイズ」が存在している。よって、フレーム差分から検出した動き量を示す動き検出信号MDTから、ノイズ成分の度合いを示すノイズ判定結果NDTを減算することで、ノイズが動きとして検出されている場合において、動き量を小さくして、ノイズ、すなわち静止寄りへ動き検出した結果を補正でき、動き量からフレーム差分に含まれるノイズの成分を区別することができる。 Here, “motion” in the video signal and “noise” mixed with the motion exist in the frame difference Diff. Therefore, by subtracting the noise determination result NDT indicating the degree of the noise component from the motion detection signal MDT indicating the amount of motion detected from the frame difference, the amount of motion is reduced when noise is detected as motion. The noise, that is, the result of motion detection toward the stillness can be corrected, and the noise component included in the frame difference can be distinguished from the amount of motion.
動き度合い生成手段19内のLPF25には、ノイズ減算手段24からの動き信号MSGが入力される。LPF25では、動き信号MSGに対し、水平もしくは垂直・水平方向ローパスフィルタ処理を施し、空間拡大処理して動き度合い変換手段26へと出力する。
The motion signal MSG from the noise subtracting means 24 is input to the
動き度合い生成手段19内の動き度合い変換手段26には、LPF25からの出力が入力され、動きの度合いを示す動き度合い信号MDSを生成し、出力する。動き度合い変換手段26では、LPF25による空間拡大処理後の動き信号に対し、乗算、振幅制限等の変換処理を行い、動きの度合いを示す例えば0から8までの9段階の動き度合い信号MDSへ変換する。すなわち、LPF25からの動き信号が0以下であれば、MDS=0とし、所定値以上の値の場合はMDS=8となるように変換することで、0から8の間の値でその動きの度合いを示す動き度合い信号MDSへ変換される。この動きの度合いを示す動き度合い信号MDSは、動き信号の値が大きく、フレーム差分が動きと検出される場合はMDS=8(完全動き画素)となり、動き信号の値が小さく(0及び0以下)、静止画部分もしくは差分がノイズ成分であると検出される場合は、MDS=0(完全静止画素)となり、0から8の間の値でその動きの度合いを示すこととなる。なお、上記動き度合い信号MDSの設定は、動きの度合いを示す0から8までの9段階として説明したが、これに限るものではなく、動きの度合いを示す値であれば、9段階以上でも、それ以下でも可能である。また、動き度合い信号MDSへの変換は、LPF25からの動き信号に対し、所定の値を乗算した後、0から8までの値へ振幅制限することにより、動き度合いを示す信号へ変換してもよい。
An output from the
そして、動き度合い生成手段19内の動き度合い変換手段26からの動き度合い信号MDSは、係数変換手段16へと送られる。
Then, the motion level signal MDS from the motion
係数変換手段16には、動き・ノイズ検出手段14における動き度合い生成手段19からの動き度合い信号MDSが入力され、動き度合い信号MDSに応じたノイズに対する巡回係数Kmが求められる。巡回係数Kmは、動き度合い信号MDSが示す動きの度合いが大きくなるにつれて、小さくなるとともに、動き度合い信号MDSが示す動きの度合いが所定の値以上であるときに0となり、動き度合い信号MDSの値の増減に応じて、0から1までの間で変化する。具体的には、係数変換手段16では、動きの度合い(動き度合い信号MDSの値)に応じて、動き度合い信号MDSが動きを示すMDS=8の場合は巡回係数Km=0とし、動きの度合いが低く、静止部分もしくはノイズ成分であると検出されるMDS=0の場合は、Km=Kmax(Kmax≦1)として算出され、このとき、巡回係数Kmは0≦Km≦1となる。 The coefficient conversion means 16 receives the motion degree signal MDS from the motion degree generation means 19 in the motion / noise detection means 14 and obtains a cyclic coefficient Km for noise corresponding to the motion degree signal MDS. The cyclic coefficient Km decreases as the degree of movement indicated by the movement degree signal MDS increases, and becomes 0 when the degree of movement indicated by the movement degree signal MDS is equal to or greater than a predetermined value, and the value of the movement degree signal MDS. It changes between 0 and 1 according to the increase or decrease of. Specifically, the coefficient conversion means 16 sets the cyclic coefficient Km = 0 in accordance with the degree of movement (the value of the movement degree signal MDS), when the movement degree signal MDS indicates MDS = 8, and the degree of movement. Is low and MDS = 0, which is detected as a stationary part or noise component, is calculated as Km = Kmax (Kmax ≦ 1). At this time, the cyclic coefficient Km is 0 ≦ Km ≦ 1.
図8は、ノイズ除去装置1における係数変換手段16の一構成例を示すブロック図であり、係数変換手段16は、係数算出手段201と、傾き設定手段202と、係数制限手段203と、係数最大値設定手段204とから構成される。
FIG. 8 is a block diagram showing an example of the configuration of the
係数変換手段16内の係数算出手段201には、動き・ノイズ検出手段14からの動き度合い信号MDSが入力され、また、傾き設定手段202による傾き設定値Efが入力される。係数算出手段201は、動き度合い信号MDSの値と傾き設定手段202による傾き設定値Efにより、巡回係数に相当する係数値pkmを算出する。上述したように、例えば動き度合い信号MDSが0から8で設定された場合には、係数値pkmの算出は、動き度合い信号MDSを最大値8から減算した値と傾き設定値Efを乗算することにより、すなわち、pkm=(8−MDS)×Efとして求める。このとき、係数値pkmは、0≦pkm≦8×Efとなる。なお、乗算により係数値を求めると説明したが、例えば、ROM(Read Only Memory)などにより構成し、傾き設定値Efと動き度合い信号MDSの値をアドレスとして係数値pkmを発生してもよい。
The coefficient calculation means 201 in the coefficient conversion means 16 receives the motion degree signal MDS from the motion / noise detection means 14 and the inclination setting value Ef from the inclination setting means 202. The
係数変換手段16内の傾き設定手段202は、上記係数算出手段201において動き度合い信号MDSから係数値pkmを算出する乗算処理に対し、傾き(乗算値)Efを設定する。傾き設定手段202により設定される傾き設定値Efにより、動き度合い信号MDSの値の変化に対する巡回係数Kmの変化量が設定される。 The slope setting means 202 in the coefficient conversion means 16 sets the slope (multiplication value) Ef for the multiplication processing in which the coefficient calculation means 201 calculates the coefficient value pkm from the motion degree signal MDS. The change amount of the cyclic coefficient Km with respect to the change of the value of the motion degree signal MDS is set by the inclination setting value Ef set by the inclination setting means 202.
上記係数算出手段201により算出された係数値pkmは、係数制限手段203へと出力される。
The coefficient value pkm calculated by the
係数変換手段16内の係数制限手段203には、係数算出手段201からの係数値pkmと、係数最大値設定手段204による係数最大値Kmax(0<Kmax≦1)が入力される。係数制限手段203は、係数算出手段201からの係数値pkmに対して値を係数最大値Kmaxまでに制限して、巡回係数Kmとして出力する。したがって、巡回係数Kmは0≦Km≦Kmaxとなる。
The
係数変換手段16内の係数最大値設定手段204は、ノイズに対する巡回係数Kmの最大値Kmaxを設定する。上記係数制限手段203から出力される巡回係数Kmは、最大値Kmaxに制限されることとなる。巡回係数Kmは、ノイズ除去を行う際の巡回値を設定するものであり、この最大値Kmaxにより、ノイズ除去効果の強さを調整できる。 The coefficient maximum value setting means 204 in the coefficient conversion means 16 sets the maximum value Kmax of the cyclic coefficient Km for noise. The cyclic coefficient Km output from the coefficient limiting means 203 is limited to the maximum value Kmax. The cyclic coefficient Km sets a cyclic value for noise removal, and the strength of the noise removal effect can be adjusted by the maximum value Kmax.
なお、上記係数変換手段16は、係数算出手段201と係数制限手段203による演算処理及び最大値の制限により、動きの度合いに応じた巡回係数Kmを求めるよう構成したが、例えば、動き度合い信号MDSをアドレスとしたROMにより構成し、巡回係数Kmを得てもよい。さらには、動き度合い信号MDS、動き度合い信号MDSに対する巡回係数変化度合い(例えば、上記傾き設定)、巡回係数の最大値をアドレスとして設定しても、上記と同様の効果を奏する。 The coefficient conversion means 16 is configured to obtain the cyclic coefficient Km according to the degree of motion by the arithmetic processing by the coefficient calculation means 201 and the coefficient restriction means 203 and the restriction of the maximum value, but for example, the motion degree signal MDS It is possible to obtain the cyclic coefficient Km by using a ROM with the address as the address. Furthermore, even if the movement degree signal MDS, the cyclic coefficient change degree with respect to the movement degree signal MDS (for example, the inclination setting), and the maximum value of the cyclic coefficient are set as addresses, the same effects as described above can be obtained.
図9は、係数変換手段16での処理における入出力特性の一例である動き度合い信号MDS(横軸)と出力される巡回係数Km(縦軸)の関係を示しており、傾き設定手段202による傾き設定Ef1の場合を実線で、傾き設定Ef2の場合を破線で示している。動き度合い信号MDSがMD1(例えば8)であって動きを示す場合は、巡回係数Km=0とし、動きの度合いが低く、ノイズ成分であると検出されるMDS=0の場合は、Km=Kmax(Kmax≦1)として、動きの度合い(動き度合い信号MDSの値)が大きくなるにつれ、巡回係数Kmの値が小さくなるように変化させることで、動きを考慮したノイズに対する巡回係数が得られる。 FIG. 9 shows the relationship between the motion degree signal MDS (horizontal axis), which is an example of the input / output characteristics in the processing of the coefficient conversion means 16, and the output cyclic coefficient Km (vertical axis). The case of the inclination setting Ef1 is indicated by a solid line, and the case of the inclination setting Ef2 is indicated by a broken line. When the movement degree signal MDS is MD1 (for example, 8) and indicates movement, the cyclic coefficient Km = 0, and when the movement degree is low and MDS = 0 detected as a noise component, Km = Kmax As (Kmax ≦ 1), as the degree of movement (the value of the movement degree signal MDS) increases, the cyclic coefficient for noise considering movement is obtained by changing the value of the cyclic coefficient Km to be smaller.
そして、係数変換手段16内の係数制限手段203により最大値Kmaxへ制限された巡回係数Kmは、図1における乗算手段17へと出力される。
Then, the cyclic coefficient Km limited to the maximum value Kmax by the
乗算手段に17は、振幅制限手段13からの差分値Dfnと上記係数変換手段16からの巡回係数Kmが送られる。乗算手段17では、振幅制限手段13からの差分値Dfnに巡回係数Kmが乗算され、ノイズの巡回量NdをKm×Dfnとして求める。得られたノイズ巡回量Ndは、演算手段18へと出力される。
The
ここで、巡回係数Kmは、動き度合い信号MDSの値に応じて算出されており、動き度合い信号MDSが動きを示す場合は、巡回係数Km=0として送られているので、動き部分でのノイズの巡回量NdはNd=0となる。一方で、動きの度合いが低く、ノイズ成分であると検出される場合は、Km=Kmaxとなっているので、動き部分以外でのノイズ巡回量Ndは最大値に設定でき、ノイズの除去効果を大きくすることができ、動きの度合いに応じて段階的にノイズの除去効果を変化できる。 Here, the cyclic coefficient Km is calculated according to the value of the motion level signal MDS, and when the motion level signal MDS indicates motion, it is sent as the cyclic coefficient Km = 0. The cyclic amount Nd of Nd is Nd = 0. On the other hand, when the degree of motion is low and the noise component is detected, Km = Kmax, so that the noise circulation amount Nd outside the motion portion can be set to the maximum value, and the noise removal effect can be achieved. The noise removal effect can be changed stepwise according to the degree of movement.
演算手段18には、上記乗算手段17からのノイズ巡回量Ndと入力信号Di0が入力される。演算手段18は、入力信号Di0に対してノイズ巡回量Ndを加算または減算することで、映像信号中のノイズを除去し、ノイズ除去後の出力信号Do0を得る。ここで、演算手段18の処理は、乗算手段17からのノイズ巡回量Ndの符号(正か負か)によって加算または減算処理が行われ、ノイズを除去するようにしている。 The calculation means 18 receives the noise circulation amount Nd and the input signal Di0 from the multiplication means 17. The calculating means 18 adds or subtracts the noise cyclic amount Nd to or from the input signal Di0 to remove noise in the video signal and obtain an output signal Do0 after noise removal. Here, the processing of the calculating means 18 is performed by adding or subtracting depending on the sign (positive or negative) of the noise circulation amount Nd from the multiplying means 17 so as to remove noise.
次に、実施の形態1によるノイズ除去装置1において、フレーム間の差分から、映像信号の動きとノイズを判定し、その判定結果から動きの度合いを示す動き度合い信号MDSを得て、動き度合い信号MDSに応じてノイズに対する係数を設定してノイズ除去を行う動作について、具体的に説明する。
Next, in the
図10は、ノイズ除去装置1において、ノイズ除去の動作を説明するフローチャートである。以下、図10を用いて説明する。
FIG. 10 is a flowchart for explaining the noise removal operation in the
ノイズ除去装置1へ入力された映像信号Di0とフレームメモリ11により1フレーム遅延されたノイズ除去後の前フレーム信号Im1は、減算手段12に入力され、現フレーム信号Di0と前フレーム信号Im1の間のフレーム差分Diffが求められる(ステップS1)。振幅制限手段13では、フレーム差分Diffに対して、所定の値内に振幅を制限し、振幅制限された差分値Dfnをノイズ成分として出力する。
The video signal Di0 input to the
また、上記フレーム差分Diffは、動き・ノイズ検出手段14内の動き検出手段20における絶対値演算手段21に入力され、絶対値を演算して、フレーム差分の絶対値Dabsを得る。この差分絶対値Dabsは、差分感度変換手段22において、非線形変換され、非線形変換後の差分信号Dmは動き検出手段20内の孤立点除去手段23とノイズ判定手段30へ送られる(ステップS2)。この差分信号Dmには、動きと比較的値が大きなノイズ成分が含まれている。 The frame difference Diff is input to the absolute value calculating means 21 in the motion detecting means 20 in the motion / noise detecting means 14, and the absolute value is calculated to obtain the absolute value Dabs of the frame difference. The difference absolute value Dabs is nonlinearly converted in the difference sensitivity conversion means 22, and the difference signal Dm after the nonlinear conversion is sent to the isolated point removal means 23 and the noise determination means 30 in the motion detection means 20 (step S2). This difference signal Dm includes a motion and a noise component having a relatively large value.
動き検出手段20内の孤立点除去手段23では、注目画素における差分信号Dmに対し、周辺画素範囲内の差分信号と値の大きさを多数決判定して、周辺画素での差分信号の値と統一するよう差分信号Dmの値を補正することで、動きに該当する差分を求め、動き検出信号MDTを得る(ステップS3)。この差分信号Dmを補正した後の動き検出信号MDTは、動きとして検出された差分信号となり、動き量を示し、動き度合い生成手段19内のノイズ減算手段24へと送られる。 The isolated point removal means 23 in the motion detection means 20 makes a majority decision on the difference signal and value magnitude in the peripheral pixel range for the difference signal Dm in the target pixel, and unifies the difference signal value in the peripheral pixels. The difference corresponding to the motion is obtained by correcting the value of the difference signal Dm so as to obtain the motion detection signal MDT (step S3). The motion detection signal MDT after correcting the difference signal Dm becomes a difference signal detected as motion, indicates the amount of motion, and is sent to the noise subtracting means 24 in the motion degree generating means 19.
また、動き検出手段20内の差分感度変換手段22からの差分信号Dmは、ノイズ判定手段30内のBPF31に入力される。BPF31では、差分信号Dmにおける高周波数成分、すなわちノイズ成分を抽出した後、絶対値演算手段32において絶対値を演算し、差分ノイズ成分Nabsとして得る(ステップS4)。
Further, the differential signal Dm from the differential
絶対値演算手段32からの差分ノイズ成分Nabsは、ノイズ判定手段30内の平均化手段33に入力され、各画素の周辺の画素での平均値が平均ノイズ成分Naveとして求められる。この平均ノイズ成分Naveは、ノイズ判定感度変換手段34に入力され、平均ノイズ成分Naveを非線形変換し、ノイズ判定結果NDTとして出力する(ステップS5)。このノイズ判定結果NDTは、フレーム差分に含まれた比較的値が大きなノイズ成分の度合いを示すこととなる。 The differential noise component Nabs from the absolute value calculation means 32 is input to the averaging means 33 in the noise determination means 30, and an average value of pixels around each pixel is obtained as the average noise component Nave. The average noise component Nave is input to the noise determination sensitivity conversion means 34, and the average noise component Nave is nonlinearly converted and output as a noise determination result NDT (step S5). This noise determination result NDT indicates the degree of a relatively large noise component included in the frame difference.
ここで、差分信号Dmには、動きと比較的値が大きなノイズ成分が含まれており、上記動き検出手段20内の孤立点除去手段23では、差分信号Dmの孤立点を除去して補正し、動きの検出漏れを補正した動き検出信号MDTとしている。よって、ノイズ成分による差分信号であっても、周辺の画素のバラツキ具合により、動きに該当する差分として補正して誤検出する場合があり、ノイズ判定手段30では、差分信号Dmに含まれる高域周波数成分の程度、すなわち、差分信号Dmに含まれるノイズ成分の度合いを判定することで、フレーム差分がノイズ成分によるものかを判定し、動きから区別する。 Here, the difference signal Dm includes a motion and a noise component having a relatively large value, and the isolated point removing means 23 in the motion detecting means 20 removes and corrects the isolated point of the difference signal Dm. The motion detection signal MDT is obtained by correcting the motion detection omission. Therefore, even a difference signal due to a noise component may be erroneously detected by being corrected as a difference corresponding to motion depending on the variation of surrounding pixels. The noise determination unit 30 may detect a high frequency included in the difference signal Dm. By determining the level of the frequency component, that is, the level of the noise component included in the difference signal Dm, it is determined whether the frame difference is due to the noise component, and is distinguished from the motion.
次に、動き度合い生成手段19内のノイズ減算手段24では、動き検出信号MDTとノイズ判定結果NDTが入力され、動き検出信号MDTからノイズ判定結果NDTを減算し、減算結果である動き信号MSGを出力する(ステップS6)。フレーム差分から検出した動き量を示す動き検出信号MDTから、ノイズ成分の度合いを示すノイズ判定結果NDTを減算することで、ノイズが動きとして検出されている場合において、動き量を小さくして、ノイズ、すなわち静止寄りへ動き検出した結果を補正でき、動き量からフレーム差分に含まれるノイズの成分を区別することができる。
Next, the
ノイズ減算手段24からの動き信号MSGは、LPF25へ入力され、ローパスフィルタ処理を施し、空間拡大処理して動き度合い変換手段26へと入力する。動き度合い変換手段26においては、LPF25後の信号に応じて、動きの度合いを示す動き度合い信号MDSを生成する(ステップ7)。動き度合い信号MDSは、例えば0から8までの9段階で設定し(これに限定されるものではない)、LPF25からの動き信号が0以下であれば、MDS=0とし、所定値以上の値の場合はMDS=8となるように変換する。よって、この動き度合い信号MDSは、0から8の間の値でその動きの度合いを示し、動き信号の値が大きく、フレーム差分が動きと検出される場合はMDS=8(完全動き画素)となり、動き信号の値が小さく(0及び0以下)、静止画部分もしくは差分がノイズ成分であると検出される場合は、MDS=0(完全静止画素)となり、0から8の間の値でその動きの度合いを示すこととなる。
The motion signal MSG from the
そして、動き・ノイズ検出手段14内の動き度合い変換手段26からの動き度合い信号MDSは、係数変換手段16へと送られる。 The motion degree signal MDS from the motion degree conversion means 26 in the motion / noise detection means 14 is sent to the coefficient conversion means 16.
係数変換手段16では、動き・ノイズ検出手段14からの動き度合い信号MDSに応じたノイズに対する巡回係数Kmが求められる。巡回係数Kmは、動き度合い信号MDSの値で示される動きの度合いに応じて算出され、例えば、図9に示すように、傾き設定値Efと最大値Kmax(Kmax≦1)から、動き度合い信号MDSが動きを示す場合は、巡回係数Km=0とし、動きの度合いが低く、ノイズ成分であると検出されるMDS=0の場合は、Km=Kmaxとして、動き度合い信号MDSの値が大きくなるにつれ、巡回係数Kmの値を小さくなるように変化させることで、動きを考慮したノイズに対する巡回係数Kmを得る(ステップS8)。 In the coefficient conversion means 16, a cyclic coefficient Km for noise corresponding to the motion degree signal MDS from the motion / noise detection means 14 is obtained. The cyclic coefficient Km is calculated according to the degree of movement indicated by the value of the movement degree signal MDS. For example, as shown in FIG. 9, the movement degree signal Km is calculated from the inclination setting value Ef and the maximum value Kmax (Kmax ≦ 1). When MDS indicates motion, the cyclic coefficient Km = 0, the degree of motion is low, and when MDS = 0 detected as a noise component, Km = Kmax, and the value of the motion degree signal MDS increases. Accordingly, by changing the value of the cyclic coefficient Km so as to be small, the cyclic coefficient Km for noise in consideration of motion is obtained (step S8).
このようにして動きの度合いを示す動き度合い信号MDSに応じて得られた巡回係数Kmは、乗算手段17へと入力される。乗算手段17では、振幅制限手段13からの差分値Dfnと巡回係数Kmが乗算され、ノイズの巡回量NdをKm×Dfnとして求め、得られたノイズ巡回量Ndを演算手段18へと送る(ステップS9)。
The cyclic coefficient Km obtained in accordance with the motion level signal MDS indicating the level of motion in this way is input to the
演算手段18においては、入力信号Di0に対して上記乗算手段17からのノイズ巡回量Ndを(ノイズ巡回量Ndの符号により)加算または減算することで(ステップS10)、映像信号中のノイズを除去して、ノイズ除去後の出力信号Do0を得る(ステップS11)。 The arithmetic means 18 removes noise in the video signal by adding or subtracting the noise cyclic amount Nd from the multiplication means 17 to the input signal Di0 (by the sign of the noise cyclic amount Nd) (step S10). Thus, the output signal Do0 after noise removal is obtained (step S11).
ここで、上記巡回係数Kmは、動き度合い信号MDSの値に応じて算出されており、動き度合い信号MDSが動きを示す場合(MDS=8の場合)は、巡回係数Km=0として送られているので、動き部分でのノイズの巡回量NdはNd=0となる。よって、動き度合いを示す動き度合い信号MDSがMDS=8となる動き部分では、入力信号Di0に加算されるノイズ巡回量は0で、ノイズの除去が行われないこととなり、また、動き度合い信号MDSの値に応じてノイズ巡回量Ndの値が小さくなるので、尾引きや残像を低減できる。一方で、動きの度合いが低く、ノイズ成分であると検出される場合(MDS=0の場合)は、Km=Kmaxとなっているので、動き部分以外でのノイズ巡回量Ndは最大値に設定でき、ノイズの除去効果を大きくすることができる。 Here, the cyclic coefficient Km is calculated according to the value of the motion level signal MDS, and when the motion level signal MDS indicates motion (in the case of MDS = 8), the cyclic coefficient Km is sent as 0. Therefore, the noise circulation amount Nd in the moving part is Nd = 0. Therefore, in the motion portion where the motion level signal MDS indicating the motion level is MDS = 8, the noise circulation amount added to the input signal Di0 is 0, and noise is not removed, and the motion level signal MDS Since the value of the noise circulation amount Nd becomes small according to the value of, tailing and afterimage can be reduced. On the other hand, when the degree of motion is low and a noise component is detected (in the case of MDS = 0), Km = Kmax, so the noise circulation amount Nd other than the motion part is set to the maximum value. This can increase the noise removal effect.
以上より、実施の形態1のノイズ除去装置1によれば、減算手段12で得られたフレーム差分Diffに対して、動き検出手段20により動きに該当する差分を求めて、動き量を示す動き検出信号MDTを得るとともに、ノイズ判定手段30において、差分信号Dmに含まれるノイズ成分を抽出し、ノイズの度合いであるノイズ判定結果NDTを求める。そして、動き検出信号MDTとノイズ判定結果NDTから、動きの度合いを示す動き度合い信号MDSを得て、この動き度合い信号MDSに応じたノイズに対する巡回係数Kmを得て、入力信号のノイズ除去を行う。よって、ノイズ成分の値が大きな映像信号に対しても、フレーム間の差分に含まれる映像信号の動きからノイズ成分を区別し、ノイズを動きと誤検出することなく動きの度合いを検出し、正確に検出された動きの度合いに応じたノイズの巡回係数が得られるので、静止したノイズ部分に対してはノイズの巡回量を上げることができ、動き部分に対してはノイズ巡回量を0として尾引きや残像を低減して、良好なノイズ除去効果を得ることができる。
As described above, according to the
なお、上記実施の形態1におけるノイズ除去装置1では、ノイズ除去後の出力信号を1フレーム遅延させ処理するフレーム巡回型ノイズ除去装置として構成し、フレームメモリ11において、ノイズ除去後の出力信号Do0を1フレーム遅延させてフレーム差分Diffを求めるよう説明したが、本発明はこれに限るものではなく、図11に示すように、現フレームの入力信号Di0をそのままフレームメモリ11により1フレーム遅延してフレーム差分を求める非巡回型のノイズ除去装置(非巡回型ノイズ除去装置と呼ぶ)を構成することもできる。図11は非巡回型ノイズ除去装置10の構成を示すブロック図であり、図11において、図1の構成と同一又は対応する構成には、同じ符号を付してある。その構成及び動作は、フレームメモリ11が入力信号Di0を1フレーム遅延すること以外は、上記で説明した図1と同様であるので、その詳細な説明は省略するが、非巡回型の場合、入力フレームとその前フレームの2フレーム間のフレーム相関を用いた演算となる。
Note that the
一方で、上記図1のノイズ除去装置1のようなフレーム巡回型の場合、ノイズ除去後の映像信号をフレーム遅延させるため、2フレーム間だけでなく多フレームに渡る演算となる。フレーム巡回型ノイズ除去装置1と非巡回型ノイズ除去装置10の処理は同じであるが、ノイズ除去効果は巡回型ノイズ除去装置1の場合が大きく、しかし、動きが多い映像信号の場合には、非巡回型ノイズ除去装置11が尾引きや残像を低減できる。
On the other hand, in the case of a frame cyclic type like the
また、フレームメモリ11では、映像信号を1フレーム分遅延すると説明したが、入力映像信号は、インターレース信号であっても、順次走査(プログレッシブ)信号であってもよく、フレームメモリ11において、入力映像信号がインターレース信号の場合は2フィールド分の遅延を行い、プログレッシブ信号の場合は1フレーム分遅延を行えば、同様に構成できる。
Although the
また、係数変換手段16において、動き度合い信号MDSに応じて求められる巡回係数Kmの特性を図9に示されるように構成するよう説明したが、本発明はこれに限るものではなく、得られた動き度合い信号MDSに応じて、例えば所定の動き度合い信号MDSが所定値MD2より小さい場合はKmを所定の固定値として、所定値MD2から動きを示す動き度合い信号の最大値まで、動きの度合いが大きくなるにつれ徐々にKmを小さくし、動き度合い信号の最大でKm=0なるように変換するよう構成してもよく、巡回係数Kmが、動き度合いを示す動き度合い信号MDSに応じて変化して、動きを考慮したノイズに対する巡回係数が得られれば、同様の効果を奏する。 Further, in the coefficient conversion means 16, the characteristic of the cyclic coefficient Km obtained according to the motion degree signal MDS has been described as shown in FIG. 9, but the present invention is not limited to this and is obtained. In accordance with the movement degree signal MDS, for example, when the predetermined movement degree signal MDS is smaller than the predetermined value MD2, Km is set as a predetermined fixed value, and the degree of movement is from the predetermined value MD2 to the maximum value of the movement degree signal indicating movement. It may be configured to gradually decrease Km as it increases, and convert so that Km = 0 at the maximum of the motion level signal, and the cyclic coefficient Km changes according to the motion level signal MDS indicating the motion level. If a cyclic coefficient for noise considering movement is obtained, the same effect can be obtained.
さらに、上記説明においては、ノイズ除去装置1の各構成がハードウェア構成であるように説明しているが、本発明を、プログラム制御におけるソフトウェアの処理により実現するよう構成してもよい。
Further, in the above description, each configuration of the
実施の形態2.
上記実施の形態1のノイズ除去装置1では、動き・ノイズ検出手段14内の動き検出手段20における差分感度変換手段22から得た非線形変換された差分信号Dmにより、ノイズ判定手段30でノイズ判定結果を生成するよう構成したが、減算手段12から得られたフレーム差分Diffにより、動き検出を行うとともにノイズ判定結果を求めるよう構成することもできる。
In the
図12は、本発明の実施の形態2によるノイズ除去装置(すなわち、実施の形態2のノイズ除去方法を実施することができる装置)の構成を示すブロック図であり、巡回型のノイズ除去装置を構成している。図12において、図1の構成と同一又は対応する構成には、同じ符号を付してある。
FIG. 12 is a block diagram showing a configuration of a noise removal apparatus according to
図12において、実施の形態2のノイズ除去装置2は、上記実施の形態1のノイズ除去装置1(図1参照)の構成における動き・ノイズ検出手段14の代わりに動き・ノイズ検出手段15を用いている。動き・ノイズ検出手段15は、図1の動き・ノイズ検出手段14と同様であるが、図1のノイズ判定手段30の代わりにノイズ判定手段40を備えている。ノイズ判定手段40は、減算手段12からのフレーム差分Diffにより、このフレーム差分Diffがノイズであるかを判定する。これら動き・ノイズ検出手段15におけるノイズ判定手段40に関する部分以外の構成及び動作は、上記実施の形態1に示されるものと同じであり、その詳細な説明は省略する。
In FIG. 12, the
実施の形態2における動き・ノイズ検出手段15は、上記動き・ノイズ検出手段14と同様、入力フレーム信号と1フレーム前の信号の間での差分が「動き」に該当するか「ノイズ」に該当するかを検出し、検出結果から動きの度合いを示す動き度合い信号を出力するものであり、フレーム差分Diffから動きを検出する動き検出手段20と、フレーム差分Diffにより、この差分がノイズであるかを判定するノイズ判定手段40と、動き度合い生成手段19とから構成されている。 In the second embodiment, the motion / noise detection unit 15 corresponds to “motion” or the difference between the input frame signal and the signal one frame before corresponds to “noise”, similar to the motion / noise detection unit 14. And a motion level signal indicating the level of motion is output from the detection result. Whether the difference is noise or not by the motion detection means 20 for detecting motion from the frame difference Diff and the frame difference Diff. It is comprised from the noise determination means 40 and the movement degree production | generation means 19 which judge.
フレームメモリ11で、ノイズ除去後の信号Do0を1フレーム遅延させ、減算手段12において、現フレーム信号Di0と前フレーム信号Im1のフレーム差分Diffを求める構成、及び振幅制限手段13、動き・ノイズ検出手段15内の動き検出手段20における構成は、上記実施の形態1に示されるものと同じであり、その詳細な説明は省略する。
The
動き・ノイズ検出手段15内のノイズ判定手段40の構成について説明する。ノイズ判定手段40は、フレーム差分Diffを非線形変換する感度変換手段41と、非線形変換後の差分信号Dnの高周波成分を抽出するBPF42と、BPF42の出力の絶対値Nabs2を演算する絶対値演算手段43と、各画素の周辺画素での平均値Nave2を求める平均化手段44と、上記平均化手段44からの出力Nave2を非線形変換し、ノイズ判定結果の感度を調整するためのノイズ判定感度変換手段45とを備えている。図12において、動き・ノイズ検出手段15内のノイズ判定手段40には、減算手段12からのフレーム差分Diffが入力される。ノイズ判定手段40は、フレーム差分Diffから、フレーム差分Diffに含まれるノイズ成分を判定し、ノイズの度合いを示すノイズ判定結果NDT2を出力する。
The configuration of the noise determination means 40 in the movement / noise detection means 15 will be described. The noise determination means 40 includes a sensitivity conversion means 41 for nonlinearly converting the frame difference Diff, a
フレーム差分Diffには、動きとノイズ成分が含まれている。上記実施の形態1においても述べたように、動き検出手段20では、孤立点除去手段23によりフレーム差分の動きを抽出し、動き量を示す動き検出信号MDTを得ている。よって、ノイズ成分による差分であっても、周辺の画素のバラツキ具合により、動きに該当する差分として補正して誤検出する場合がある。そこで、ノイズ判定手段40では、フレーム差分Diffに存在する高域周波数成分の程度、すなわち、フレーム差分Diffに含まれるノイズ成分の度合いを判定する。
The frame difference Diff includes motion and noise components. As described in the first embodiment, the motion detecting unit 20 extracts the motion of the frame difference by the isolated
ノイズ判定手段40内の感度変換手段41には、動き・ノイズ検出手段15へ入力された減算手段12からのフレーム差分Diffが入力される。感度変換手段41では、例えばフレーム差分Diffに所定の感度倍率を乗算し、オフセット値を減算して、その演算結果を所定の値(例えば、0からdN(所定値))の間に値を制限することで非線形変換し、差分信号Dnとして、BPF42へ出力する。この差分信号Dnには、動きとノイズ成分が含まれている。この感度変換手段41を設けることにより、ノイズを判定するためのフレーム差分の感度が動き検出手段20における差分感度変換手段20とは別に調整できることとなる。
The frame conversion Diff from the
なお、感度変換手段41では、フレーム差分Diffを非線形変換する際に、フレーム差分Diffの絶対値を求めた後、この絶対値を非線形変換し、差分信号Dnとしてもよい。この場合に非線形変換の入出力特性は、例えば図2に示す場合と同様に設定できる。 In the sensitivity conversion means 41, when the frame difference Diff is nonlinearly converted, the absolute value of the frame difference Diff is obtained, and then the absolute value is nonlinearly converted to obtain the difference signal Dn. In this case, the input / output characteristics of the nonlinear conversion can be set, for example, in the same manner as in the case shown in FIG.
ノイズ判定手段40内のBPF42には、感度変換手段41からの差分信号Dnが入力される。BPF42では、差分信号Dnにおける高周波数成分、すなわちノイズ成分を抽出する。BPF42は、上記BPF31と同様に構成でき、例えば図7(a)に示すような注目画素位置を中心とした垂直方向3ライン、水平方向3画素の範囲に対するBPFを構成する。なお、BPF42は、これに限定されるものではなく、例えば、注目画素を中心とした水平方向3画素(垂直方向1ラインのみ)に対する構成(図7(b)参照)とすることもできる。
The differential signal Dn from the
ノイズ判定手段40内の絶対値演算手段43には、BPF42の出力が入力される。絶対値演算手段43は、BPF42の出力の絶対値を演算し、差分ノイズ成分Nabs2として出力する。
The output of the
ノイズ判定手段40内の平均化手段44には、絶対値演算手段43からの差分ノイズ成分Nabs2が入力される。平均化手段44では、差分ノイズ成分Nabs2に対し各画素の周辺の画素での平均値を求め、周辺画素でのノイズ成分と平均化を行う。これは、動きのエッジ部分など、差分ノイズ成分Nabs2が急激に変化すると考えられる場合の影響を防ぐためである。平均値の演算を行う範囲は、例えば注目画素を中心とした水平5画素から成るものとし、この水平5画素での差分ノイズ成分Nabsの平均値を演算し、注目画素における平均ノイズ成分Nave2として出力する。なお、平均化する画素の範囲はこれに限るものではない。 The difference noise component Nabs2 from the absolute value calculation means 43 is input to the averaging means 44 in the noise determination means 40. The averaging means 44 obtains an average value in the peripheral pixels of each pixel for the differential noise component Nabs2, and performs averaging with the noise components in the peripheral pixels. This is to prevent the influence when the differential noise component Nabs2 is considered to change rapidly, such as the edge portion of the motion. The range in which the average value is calculated includes, for example, five horizontal pixels centered on the target pixel. The average value of the differential noise component Nabs at the five horizontal pixels is calculated and output as the average noise component Nave2 at the target pixel. To do. Note that the range of pixels to be averaged is not limited to this.
ノイズ判定手段40内のノイズ判定感度変換手段45には、平均化手段44からの平均ノイズ成分Nave2が入力される。ノイズ判定感度変換手段45では、例えば平均ノイズ成分Nave2に所定の感度倍率を乗算し、オフセット値を減算して、その演算結果を所定の値内に制限することで非線形変換し、ノイズ判定結果NDT2として出力する。平均ノイズ成分Nave2は、フレーム差分Diffから抽出されたノイズ成分であり、平均ノイズ成分Nave2の値が大きいほど差分信号がノイズ成分である度合いが高くなり、感度倍率を大きくすることで、平均ノイズ成分Nave2をノイズと判定しやすくすることとなる。 The average noise component Nave2 from the averaging means 44 is input to the noise determination sensitivity conversion means 45 in the noise determination means 40. In the noise determination sensitivity conversion means 45, for example, the average noise component Nave2 is multiplied by a predetermined sensitivity magnification, the offset value is subtracted, and the calculation result is limited to a predetermined value to perform nonlinear conversion, and the noise determination result NDT2 Output as. The average noise component Nave2 is a noise component extracted from the frame difference Diff. The larger the average noise component Nave2, the higher the degree that the difference signal is a noise component. By increasing the sensitivity magnification, the average noise component Nave2 is increased. This makes it easier to determine Nave2 as noise.
そして、ノイズ判定感度変換手段45は、感度を調整した平均化ノイズ成分をノイズ判定結果NDT2として動き度合い生成手段19内のノイズ減算手段24へと出力する。このノイズ判定結果NDT2は、フレーム差分に含まれたノイズ成分の度合いを示すこととなる。
Then, the noise determination
次に、動き・ノイズ検出手段15内の動き度合い生成手段19には、動き検出手段20からの動き検出信号MDTと、ノイズ判定手段40からのノイズ判定結果NDT2が入力される。動き度合い生成手段19は、動き検出信号MDTからノイズ判定結果NDT2を減算することで、フレーム差分における動きの度合いを示す動き度合い信号MDSを生成する。 Next, the motion detection signal MDT from the motion detector 20 and the noise determination result NDT2 from the noise determiner 40 are input to the motion degree generator 19 in the motion / noise detector 15. The motion level generation means 19 generates a motion level signal MDS indicating the level of motion in the frame difference by subtracting the noise determination result NDT2 from the motion detection signal MDT.
フレーム差分Diffには映像信号での「動き」と動きと混合される「ノイズ」が存在している。よって、フレーム差分から検出した動き量を示す動き検出信号MDTから、ノイズ成分の度合いを示すノイズ判定結果NDT2を減算することで、ノイズが動きとして検出されている場合において、動き量を小さくして、ノイズ、すなわち静止寄りへ動き検出した結果を補正でき、動き量からフレーム差分に含まれるノイズの成分を区別することができる。 The frame difference Diff includes “motion” in the video signal and “noise” mixed with the motion. Therefore, by subtracting the noise determination result NDT2 indicating the degree of the noise component from the motion detection signal MDT indicating the amount of motion detected from the frame difference, the amount of motion is reduced when noise is detected as motion. The noise, that is, the result of motion detection toward the stillness can be corrected, and the noise component included in the frame difference can be distinguished from the amount of motion.
以下、動き度合い生成手段19内において動きの度合いを示す動き度合い信号MDSを生成する構成、係数変換手段16、乗算手段に17、および演算手段18によるノイズを除去する構成は、上記実施の形態1のノイズ除去装置1と同様である。
Hereinafter, the configuration for generating the motion level signal MDS indicating the level of motion in the motion level generation unit 19, the configuration for the
次に、実施の形態2によるノイズ除去装置2において、フレーム間の差分から、映像信号の動きとノイズを判定し、その判定結果から動き度合いを示す動き度合い信号MDSを得て、動き度合い信号MDSに応じてノイズに対する係数を設定してノイズ除去を行う動作について、具体的に説明する。
Next, in the
図13は、ノイズ除去装置2において、ノイズ除去の動作を説明するフローチャートである。以下、図13を用いて説明する。
FIG. 13 is a flowchart for explaining the noise removal operation in the
ノイズ除去装置2へ入力された映像信号Di0とフレームメモリ11により1フレーム遅延されたノイズ除去後の前フレーム信号Im1は、減算手段12に入力され、現フレーム信号Di0と前フレーム信号Im1の間のフレーム差分Diffが求められる(ステップS201)。このステップS201の処理は、図10のステップS1と同様である。振幅制限手段13では、フレーム差分Diffに対して、所定の値内に振幅を制限し、振幅制限された差分値Dfnをノイズ成分として出力する。
The video signal Di0 inputted to the
また、上記フレーム差分Diffは、動き・ノイズ検出手段15内の動き検出手段20における絶対値演算手段21に入力され、絶対値を演算して、フレーム差分の絶対値Dabsを得る。この差分絶対値Dabsは、差分感度変換手段22において、非線形変換され、差分信号Dmとして動き検出手段20内の孤立点除去手段23へ送られる(ステップS202)。このステップS202の処理は、図10のステップS2と同様である。 The frame difference Diff is input to the absolute value calculating means 21 in the motion detecting means 20 in the motion / noise detecting means 15 and the absolute value is calculated to obtain the absolute value Dabs of the frame difference. The difference absolute value Dabs is nonlinearly converted by the difference sensitivity conversion means 22 and sent to the isolated point removal means 23 in the motion detection means 20 as a difference signal Dm (step S202). The process in step S202 is the same as step S2 in FIG.
動き検出手段20内の孤立点除去手段23では、注目画素における差分信号Dmに対し、周辺画素範囲内の差分信号と値の大きさを多数決判定して、周辺画素での差分信号の値と統一するよう差分信号Dmの値を補正することで、動きに該当する差分を求め、動き検出信号MDTを得る(ステップS203)。このステップS203の処理は、図10のステップS3と同様である。この差分信号Dmを補正した後の動き検出信号MDTは、動きとして検出された差分となり、動き量が得られ、ノイズ減算手段24へと送られる。 The isolated point removal means 23 in the motion detection means 20 makes a majority decision on the difference signal and value magnitude in the peripheral pixel range for the difference signal Dm in the target pixel, and unifies the difference signal value in the peripheral pixels. The difference corresponding to the motion is obtained by correcting the value of the difference signal Dm so as to obtain the motion detection signal MDT (step S203). The process in step S203 is the same as step S3 in FIG. The motion detection signal MDT after correcting the difference signal Dm becomes a difference detected as motion, and the amount of motion is obtained and sent to the noise subtracting means 24.
また、上記フレーム差分Diffは、ノイズ判定手段40内の感度変換手段41にも入力されており、感度変換手段41では、フレーム差分Diffを非線形変換した差分信号DnをBPF42へ送る(ステップS204)。BPF42では、差分信号Dnにおける高周波数成分、すなわちノイズ成分を抽出した後、絶対値演算手段43において絶対値を演算し、差分ノイズ成分Nabs2として得る(ステップS205)。このステップS205の処理は、図10のステップS4と同様である。
The frame difference Diff is also input to the sensitivity conversion means 41 in the noise determination means 40, and the sensitivity conversion means 41 sends the difference signal Dn obtained by nonlinearly converting the frame difference Diff to the BPF 42 (step S204). The
絶対値演算手段43からの差分ノイズ成分Nabs2は、ノイズ判定手段40内の平均化手段44に入力され、各画素の周辺の画素での平均値が平均ノイズ成分Nave2として求められる。この平均ノイズ成分Nave2は、ノイズ判定感度変換手段45に入力され、平均ノイズ成分Nave2を非線形変換し、ノイズ判定結果NDT2として出力する(ステップS206)。このステップS206の処理は、図10のステップS5と同様である。このノイズ判定結果NDT2は、フレーム差分に含まれた比較的値が大きなノイズ成分の度合いを示すこととなる。
The differential noise component Nabs2 from the absolute value calculation means 43 is input to the averaging means 44 in the noise determination means 40, and an average value of pixels around each pixel is obtained as the average noise component Nave2. The average noise component Nave2 is input to the noise determination
ここで、フレーム差分Diffには、動きとノイズ成分が含まれており、上記動き検出手段20内の孤立点除去手段23では、孤立点を除去して補正し、動きの検出漏れを補正した動き検出信号MDTとしている。よって、ノイズ成分による差分信号であっても、周辺の画素のバラツキ具合により、動きに該当する差分として補正して誤検出する場合があり、ノイズ判定手段40では、フレーム差分Diffに含まれる高域周波数成分の程度、すなわち、差分Diffに含まれるノイズ成分の度合いを判定することで、フレーム差分がノイズ成分によるものかを判定し、動きから区別する。
Here, the frame difference Diff includes a motion and a noise component. The isolated
動き度合い生成手段19内のノイズ減算手段24では、動き検出信号MDTとノイズ判定結果NDT2が入力され、動き検出信号MDTからノイズ判定結果NDT2を減算し、減算結果である動き信号MSGを出力する(ステップS207)。このステップS207の処理は、図10のステップS6と同様である。フレーム差分から検出した動き量を示す動き検出信号MDTから、ノイズ成分の度合いを示すノイズ判定結果NDT2を減算することで、ノイズが動きとして検出されている場合において、動き量を小さくして、ノイズ、すなわち静止寄りへ動き検出した結果を補正でき、動き量からフレーム差分に含まれるノイズの成分を区別することができる。
The
以下、動きの度合いを示す動き度合い信号MDSを生成する動作(ステップ208)、巡回係数Kmを求める動作(ステップS209)、ノイズ巡回量Ndを得て(ステップS210)、映像信号中のノイズを除去して、ノイズ除去後の出力信号Do0を得るまでの動作(ステップS211、S212)は、上記実施の形態1における動作(図1及び図10のステップS7〜S11)と同様であるので、その詳細な説明は省略する。 Hereinafter, an operation for generating a motion degree signal MDS indicating the degree of motion (step 208), an operation for obtaining a cyclic coefficient Km (step S209), a noise circulation amount Nd (step S210), and removing noise in the video signal The operation until the output signal Do0 after noise removal (steps S211 and S212) is the same as the operation in the first embodiment (steps S7 to S11 in FIG. 1 and FIG. 10). The detailed explanation is omitted.
以上より、実施の形態2のノイズ除去装置2によれば、減算手段12で得られたフレーム差分Diffに対して、動き検出手段20により動きに該当する差分を求めて、動き量を示す動き検出信号MDTを得るとともに、ノイズ判定手段40において、フレーム差分Diffに含まれるノイズ成分を抽出し、ノイズの度合いを示すノイズ判定結果NDT2を求める。そして、動き検出信号MDTとノイズ判定結果NDT2から、動きの度合いを示す動き度合い信号MDSを得て、この動き度合い信号MDSに応じたノイズに対する巡回係数Kmを得て、入力信号のノイズ除去を行う。よって、ノイズ成分の値が大きな映像信号に対しても、フレーム間の差分に含まれる映像信号の動きからノイズ成分を区別し、動きと誤検出することなく動きの度合いを検出し、正確に検出された動きの度合いに応じたノイズの巡回係数が得られるので、静止したノイズ部分に対してはノイズの巡回量を上げることができ、動き部分に対してはノイズ巡回量を0として尾引きや残像を低減して、良好なノイズ除去効果を得ることができる。
As described above, according to the
なお、上記実施の形態2におけるノイズ除去装置2では、ノイズ除去後の出力信号を1フレーム遅延させ処理するフレーム巡回型ノイズ除去装置として構成したが、本発明はこれに限るものではなく、上記実施の形態1での図11に示す非巡回型ノイズ除去装置10と同様、現フレームの入力信号Di0をそのままフレームメモリ11により1フレーム遅延してフレーム差分を求める非巡回型ノイズ除去装置において、動き・ノイズ検出手段15を用いてもよい。
The
また、上記説明においては、ノイズ除去装置2の各構成がハードウェア構成であるように説明しているが、本発明を、プログラム制御におけるソフトウェアの処理により実現するよう構成してもよい。
In the above description, the configuration of the
実施の形態3.
上記実施の形態1および2においては、ノイズ除去装置およびノイズ除去方法を実施することができる装置について説明したが、本発明は、入力映像信号のノイズ除去を行って処理し、高画質で表示する映像信号表示装置にも適用できる。以下に示す実施の形態3においては、TV放送信号やDVD,VTR等の記録再生装置、TV放送受信装置などから入力される映像信号を処理し、上記実施の形態1又は2のノイズ除去装置1、10、又は2を用いた映像信号を表示する映像信号表示装置について説明する。
In the first and second embodiments, the noise removal device and the device capable of performing the noise removal method have been described. However, the present invention performs processing by removing noise from the input video signal and displays it with high image quality. It can also be applied to a video signal display device. In the third embodiment shown below, a video signal input from a TV broadcast signal, a recording / playback device such as a DVD or VTR, a TV broadcast receiver, or the like is processed, and the
図14は、本発明の実施の形態3による映像信号表示装置の一例を示すブロック図である。図14において、実施の形態3の映像信号表示装置3は、上記実施の形態1のノイズ除去装置1(もしくはノイズ除去装置10又は実施の形態2のノイズ除去装置2)を有しており、入力端子301と、入力信号処理手段302と、表示処理手段303と、表示手段304とを設け、ノイズ除去した映像信号を表示するように構成したものである。これら入力端子301、入力信号処理手段302、表示処理手段303および表示手段304に関する部分以外の構成及び動作は、上記実施の形態1および2に示されるものと同じであり、その詳細な説明は省略する。
FIG. 14 is a block diagram showing an example of a video signal display apparatus according to
入力端子301には、TV放送信号やDVD,VTR等の記録再生装置、TV放送受信装置等からの信号が入力される。入力端子301に入力された信号は、入力信号処理手段302へと送られる。
The
入力信号処理手段302は、TV放送信号やDVD,VTR等の記録再生装置、TV放送受信装置等からの信号に対し、例えば、アナログ信号が入力される場合は、信号をデジタル信号へ変換、同期信号を分離する等の入力信号処理や、また、MPEGデータを受けた場合には、MPEGデータをデコードするなどの処理を施す。そして、入力信号処理された映像信号をノイズ除去装置1(2、10)へ出力する。ここで、入力信号処理された映像信号は、インターレース信号またはプログレッシブ信号の場合がある。
For example, when an analog signal is input to a TV broadcast signal, a signal from a recording / playback device such as a DVD or VTR, or a TV broadcast receiver, the input
ノイズ除去装置1(2、10)は、入力信号処理手段302からの映像信号に対し、入力フレームと1フレーム前のノイズ除去後の映像信号もしくは1フレーム前の映像信号との間のフレーム差分Diffを求め、動き検出手段20により動きに該当する差分を求めて動き検出信号MDTを得るとともに、ノイズ判定手段30もしくは40において、差分のノイズ成分を抽出しノイズ判定結果を求める。そして、動き検出信号MDTとノイズ判定結果から、動きの度合いを示す動き度合い信号MDSを得て、この動き度合い信号MDSに応じたノイズに対する巡回係数Kmを得て、入力信号のノイズ除去を行う。そして、ノイズ除去後の映像信号を表示処理手段303へと出力する。このノイズ除去の動作は、上記実施の形態1、2と同様であるので、詳細な説明は省略する。 The noise removal device 1 (2, 10) is configured to, with respect to the video signal from the input signal processing means 302, a frame difference Diff between the input frame and the video signal after noise removal one frame before or the video signal one frame before. The motion detection means 20 obtains the difference corresponding to the motion to obtain the motion detection signal MDT, and the noise judgment means 30 or 40 extracts the noise component of the difference to obtain the noise judgment result. Then, a motion degree signal MDS indicating the degree of motion is obtained from the motion detection signal MDT and the noise determination result, a cyclic coefficient Km for noise corresponding to the motion degree signal MDS is obtained, and noise removal of the input signal is performed. Then, the video signal after noise removal is output to the display processing means 303. Since the noise removal operation is the same as in the first and second embodiments, detailed description thereof is omitted.
表示処理手段303には、ノイズ除去装置1(2、10)からのノイズ除去した映像信号が入力される。表示処理手段303は、入力映像信号がインターレース信号の場合は、インターレース信号をプログレッシブ信号に変換するなどの処理を施し、また、スケーリング処理等の表示信号へと変換するための信号処理を施し、表示手段304で表示するための表示信号として表示手段304へ出力する。
The display processing means 303 receives the video signal from which noise is removed from the noise removing device 1 (2, 10). When the input video signal is an interlace signal, the
表示手段304は、表示処理手段303からの表示信号に基づき映像を表示する。
The
以上に説明したように、実施の形態3の映像信号表示装置によれば、実施の形態1、2のノイズ除去装置またはノイズ除去方法を用いるので、動き部分に対して尾引きや残像を低減して、良好なノイズ除去効果が得られた映像信号に基づく高品質な映像を表示することができる。 As described above, according to the video signal display device of the third embodiment, since the noise removing device or the noise removing method of the first and second embodiments is used, tailing and afterimages are reduced with respect to the moving part. Thus, it is possible to display a high-quality video based on the video signal from which a good noise removal effect is obtained.
以上の各実施の形態の説明において、「・・・手段」として示される構成は、電気回路(ハードウェア)によって実現されるもの、又は、ソフトウェアによって実現されるもののいずれであってもよい。 In the above description of each embodiment, the configuration indicated as “... Means” may be realized by an electric circuit (hardware) or realized by software.
1,2,10 ノイズ除去装置、 11 フレームメモリ、 12 減算手段、 13 振幅制限手段、 14,15 動き・ノイズ検出手段、 16 係数変換手段、 17 乗算手段、 18 演算手段、 19 動き度合い生成手段、 24 ノイズ減算手段、 25 LPF、 26 動き度合い変換手段、 20 動き検出手段、 21 絶対値演算手段、 22 差分感度変換手段、 23 孤立点除去手段、 30,40 ノイズ判定手段、 31,42 BPF、 32,43 絶対値演算手段、 33,44 平均化手段、 34,45 ノイズ判定感度変換手段、 41 感度変換手段、 101 動き画素判定手段、 102 静止画素判定手段、 103 エリア内動き画素累計演算手段、 104 エリア内静止画素累計演算手段、 105 条件A比較手段、 106 条件C比較手段、 107 条件B比較手段、 108,108b 多数決判定手段、 111 条件A加算手段、 112 条件B減算手段、 113 条件C減算手段、 114 選択手段、 115 切り換え手段B、 116 切り換え手段A、 117 切り換え手段F、 118 切り換え手段C、 201 係数算出手段、 202 傾き設定手段、 203 係数制限手段、 204 係数最大値設定手段、 301 入力端子、 302 入力信号処理手段、 303 表示処理手段、 304 表示手段。 1, 2, 10 Noise removing device, 11 frame memory, 12 subtracting means, 13 amplitude limiting means, 14, 15 motion / noise detecting means, 16 coefficient converting means, 17 multiplying means, 18 calculating means, 19 motion degree generating means, 24 noise subtracting means, 25 LPF, 26 motion degree converting means, 20 motion detecting means, 21 absolute value calculating means, 22 differential sensitivity converting means, 23 isolated point removing means, 30, 40 noise judging means, 31, 42 BPF, 32 , 43 Absolute value calculation means, 33, 44 Averaging means, 34, 45 Noise determination sensitivity conversion means, 41 Sensitivity conversion means, 101 Motion pixel determination means, 102 Still pixel determination means, 103 In-area motion pixel total calculation means, 104 Area still pixel total calculation means, 105 Condition A ratio Comparison means, 106 condition C comparison means, 107 condition B comparison means, 108, 108b majority decision determination means, 111 condition A addition means, 112 condition B subtraction means, 113 condition C subtraction means, 114 selection means, 115 switching means B, 116 Switching means A, 117 switching means F, 118 switching means C, 201 coefficient calculating means, 202 slope setting means, 203 coefficient limiting means, 204 coefficient maximum value setting means, 301 input terminal, 302 input signal processing means, 303 display processing means 304 Display means.
Claims (5)
現フレームの映像信号と1フレーム前の映像信号との差分を求め、もしくは現フレームの映像信号と1フレーム前のノイズ除去装置の出力であるノイズが除去された映像信号との差分を求め、各画素についてのフレーム差分を出力する減算手段と、
各画素についての上記フレーム差分に対し、当該各画素を中心とした周辺画素でのフレーム差分から、上記各画素での動きまたは静止を判定する多数決判定を行い、判定結果により上記フレーム差分の値を補正し、補正したフレーム差分を示す信号を、フレーム差分に含まれる映像信号の各画素についての動き量を示す動き検出信号として出力する動き検出手段と、
上記フレーム差分における各画素についての高周波数成分を抽出し、抽出された各画素での高周波数成分に対し周辺の画素での高周波数成分を用いた平均化を行い、平均化された結果から、上記フレーム差分に含まれる映像信号での各画素についてのノイズ成分を判定して、ノイズが含まれる度合いを示すノイズ判定結果を出力するノイズ判定手段と、
上記各画素についての動き検出信号から上記各画素についてのノイズ判定結果を減算して、フレーム差分に含まれるノイズ成分を、上記動き量を示す値である動き検出信号から除き、ノイズ成分を除いた動き量を示す値へ補正し、この減算結果による信号をフレーム差分に含まれるノイズ成分が区別された各画素での上記フレーム差分による動きの度合いを示す動き度合い信号として生成して出力する動き度合い生成手段と、
上記動き度合い信号に応じて変化する巡回係数を求めて出力する係数変換手段と、
上記巡回係数と上記フレーム差分を乗算処理し、ノイズ巡回量を求める乗算手段と、
上記ノイズ巡回量を上記現フレームの映像信号に加減算することで、ノイズの除去された映像信号を得る演算手段と
を備え、
上記巡回係数は、上記動き度合い信号が示す動きの度合いが大きくなるにつれて小さくなるとともに、上記動き度合い信号が示す動きの度合いが所定の値以上であるときに0となるよう定められる
ことを特徴とするノイズ除去装置。 A three-dimensional noise removing apparatus that removes a noise component having no correlation between frames based on a correlation between frames of a video signal,
Obtains the difference between the video signal and the previous frame video signal of the current frame, or obtains a difference between the video signal from which noise has been removed is the output of the video signal and the previous frame noise removal apparatus of the current frame, each Subtracting means for outputting a frame difference for the pixel ;
To the frame difference for each pixel, from the frame difference in peripheral pixels centering on the pixel performs determining majority decision motion or stationary at each pixel, the judgment result value of the frame difference A motion detection means for correcting and outputting a signal indicating the corrected frame difference as a motion detection signal indicating the amount of motion for each pixel of the video signal included in the frame difference;
Extract the high frequency component for each pixel in the frame difference , perform the averaging using the high frequency component in the surrounding pixels for the extracted high frequency component, from the averaged results, A noise determination unit that determines a noise component for each pixel in the video signal included in the frame difference and outputs a noise determination result indicating a degree of noise included;
Subtracts the noise determination result for each pixel from the motion detection signal for each pixel, the noise component included in the frame difference, except from the motion detection signal is a value indicating the amount of motion, excluding noise components The degree of motion that is corrected to a value indicating the amount of motion, and the signal resulting from this subtraction is generated and output as a motion degree signal indicating the degree of motion due to the frame difference at each pixel in which the noise component included in the frame difference is distinguished Generating means;
Coefficient conversion means for obtaining and outputting a cyclic coefficient that changes in accordance with the motion degree signal;
Multiplication means for multiplying the cyclic coefficient and the frame difference to obtain a noise cyclic amount;
The noise cyclic amount by subtracting the video signal of the present frame, and an arithmetic means for obtaining a Film image signal removed of noise,
The cyclic coefficient decreases as the degree of movement indicated by the movement degree signal increases, and is determined to be 0 when the degree of movement indicated by the movement degree signal is equal to or greater than a predetermined value.
Noise removal device, characterized in that.
ことを特徴とする請求項1に記載のノイズ除去装置。 The noise removal device according to claim 1, wherein the noise determination unit extracts a high-frequency component for each pixel by a band pass filter with respect to a range of surrounding pixels centering on each pixel.
上記各画素について抽出されたノイズ成分に対し、当該各画素を中心とした周辺画素でのノイズ成分での平均値を求めて平均化を行い、平均ノイズ成分を得て、
上記平均ノイズ成分を、フレーム差分でのノイズが含まれる度合いを示すノイズ判定結果として出力する
ことを特徴とする請求項1又は2に記載のノイズ除去装置。 The noise determination means is
For the noise component extracted for each pixel, the average value of the noise component in the peripheral pixels around each pixel is obtained and averaged to obtain the average noise component,
The noise removal apparatus according to claim 1, wherein the average noise component is output as a noise determination result indicating a degree of noise included in a frame difference.
現フレームの映像信号と1フレーム前の映像信号との差分を求め、もしくは現フレームの映像信号と1フレーム前のノイズ除去後の映像信号との差分を求め、各画素についてのフレーム差分を出力するステップと、
各画素についての上記フレーム差分に対し、当該各画素を中心とした周辺画素でのフレーム差分から、上記各画素での動きまたは静止を判定する多数決判定を行い、判定結果により上記フレーム差分の値を補正し、補正したフレーム差分を示す信号を、フレーム差分に含まれる映像信号の各画素についての動き量を示す動き検出信号として出力するステップと、
上記フレーム差分における各画素についての高周波数成分を抽出し、抽出された各画素での高周波数成分に対し周辺の画素での高周波数成分を用いた平均化を行い、平均化された結果から、上記フレーム差分に含まれる映像信号での各画素についてのノイズ成分を判定して、ノイズが含まれる度合いを示すノイズ判定結果を出力するノイズ判定ステップと、
上記各画素についての動き検出信号から上記各画素についてのノイズ判定結果を減算して、フレーム差分に含まれるノイズ成分を、上記動き量を示す値である動き検出信号から除き、ノイズ成分を除いた動き量を示す値へ補正し、この減算結果による信号をフレーム差分に含まれるノイズ成分が区別された各画素での上記フレーム差分による動きの度合いを示す動き度合い信号として生成して出力するステップと、
上記動き度合い信号に応じて変化する巡回係数を求めて出力するステップと、
上記巡回係数と上記フレーム差分を乗算処理し、ノイズ巡回量を求めるステップと、
上記ノイズ巡回量を上記現フレームの映像信号に加減算することで、ノイズの除去された映像信号を得るステップと
を備え、
上記巡回係数は、上記動き度合い信号が示す動きの度合いが大きくなるにつれて小さくなるとともに、上記動き度合い信号が示す動きの度合いが所定の値以上であるときに0となるよう定められる
ことを特徴とするノイズ除去方法。 A three-dimensional noise removal method for removing a noise component having no correlation between frames based on a correlation between frames of a video signal,
It obtains the difference between the video signal and the previous frame video signal of the current frame, or obtains a difference between the video signal and the video signal after previous frame noise removal of the current frame, and outputs the frame difference for each pixel Steps,
To the frame difference for each pixel, from the frame difference in peripheral pixels centering on the pixel performs determining majority decision motion or stationary at each pixel, the judgment result value of the frame difference Correcting and outputting a signal indicating the corrected frame difference as a motion detection signal indicating the amount of motion for each pixel of the video signal included in the frame difference;
Extract the high frequency component for each pixel in the frame difference , perform the averaging using the high frequency component in the surrounding pixels for the extracted high frequency component, from the averaged results, A noise determination step of determining a noise component for each pixel in the video signal included in the frame difference and outputting a noise determination result indicating a degree of noise included;
Subtracts the noise determination result for each pixel from the motion detection signal for each pixel, the noise component included in the frame difference, except from the motion detection signal is a value indicating the amount of motion, excluding noise components Correcting to a value indicating the amount of motion, and generating and outputting a signal based on the subtraction result as a motion level signal indicating the degree of motion based on the frame difference at each pixel in which a noise component included in the frame difference is distinguished ; ,
Obtaining and outputting a cyclic coefficient that changes according to the motion degree signal;
Multiplying the cyclic coefficient and the frame difference to obtain a noise cyclic amount;
The noise cyclic amount by subtracting the video signal of the present frame, and a step of obtaining a Film image signal removed of noise,
The cyclic coefficient decreases as the degree of movement indicated by the movement degree signal increases, and is determined to be 0 when the degree of movement indicated by the movement degree signal is equal to or greater than a predetermined value.
Noise removing method characterized by.
映像を表示する表示手段と、
上記ノイズ除去装置から出力されたノイズの除去された映像信号に基づく映像を、上記表示手段に表示させる表示処理手段と
を備えたことを特徴とする映像信号表示装置。 A noise removing device according to any one of claims 1 to 3,
Display means for displaying video;
A video signal display device, comprising: a display processing unit that causes the display unit to display a video based on the video signal from which noise has been output output from the noise removal device.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009229416A JP5084804B2 (en) | 2009-10-01 | 2009-10-01 | Noise removing device, noise removing method, and video signal display device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009229416A JP5084804B2 (en) | 2009-10-01 | 2009-10-01 | Noise removing device, noise removing method, and video signal display device |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2006094078A Division JP2007274067A (en) | 2006-03-30 | 2006-03-30 | Noise eliminating apparatus, noise eliminating method, and video signal display |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2010011482A JP2010011482A (en) | 2010-01-14 |
JP5084804B2 true JP5084804B2 (en) | 2012-11-28 |
Family
ID=41591310
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2009229416A Active JP5084804B2 (en) | 2009-10-01 | 2009-10-01 | Noise removing device, noise removing method, and video signal display device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5084804B2 (en) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6064462B2 (en) * | 2012-09-07 | 2017-01-25 | シャープ株式会社 | Noise reduction device, processor, video display device, noise reduction method and program |
Family Cites Families (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS62290270A (en) * | 1986-06-10 | 1987-12-17 | Matsushita Electric Ind Co Ltd | Noise eliminator |
JP2748578B2 (en) * | 1989-08-04 | 1998-05-06 | 松下電器産業株式会社 | Noise removal circuit |
JP3144860B2 (en) * | 1991-12-10 | 2001-03-12 | 株式会社東芝 | Video signal processing device |
JPH05328174A (en) * | 1992-05-20 | 1993-12-10 | Toshiba Corp | Motion adaptive noise reduction circuit |
JPH06225178A (en) * | 1993-01-22 | 1994-08-12 | Matsushita Electric Ind Co Ltd | Motion detection circuit |
JP3364342B2 (en) * | 1994-12-19 | 2003-01-08 | 松下電器産業株式会社 | Noise removal device |
JPH0981754A (en) * | 1995-09-19 | 1997-03-28 | Matsushita Electric Ind Co Ltd | Movement detecting circuit |
JP4596496B2 (en) * | 1998-11-18 | 2010-12-08 | ソニー株式会社 | Noise removing apparatus and noise removing method |
JP2002033942A (en) * | 2000-07-17 | 2002-01-31 | Sanyo Electric Co Ltd | Method for suppressing noise in image signal, and image signal processor using the noise-suppressing method |
JP2002314842A (en) * | 2001-04-17 | 2002-10-25 | Matsushita Electric Ind Co Ltd | Motion detector |
JP4417780B2 (en) * | 2004-05-31 | 2010-02-17 | 株式会社東芝 | Noise removal apparatus and image display apparatus |
-
2009
- 2009-10-01 JP JP2009229416A patent/JP5084804B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
JP2010011482A (en) | 2010-01-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2007274067A (en) | Noise eliminating apparatus, noise eliminating method, and video signal display | |
US9185431B2 (en) | Motion detection device and method, video signal processing device and method and video display device | |
US7995146B2 (en) | Image processing apparatus and image processing method | |
KR100914619B1 (en) | Spatio-temporal adaptive video de-interlacing | |
US7705918B2 (en) | Noise reduction apparatus and noise reduction method | |
JP2001204045A (en) | Motion detector | |
JP2008252591A (en) | Interpolation frame generation device, interpolation frame generation method, and broadcast receiver | |
JP2000278649A (en) | Device and method for interpolating scanning line | |
JP5049882B2 (en) | Interpolation frame creation device, interpolation frame creation method, and broadcast reception device | |
JP4679501B2 (en) | Noise removing device, noise removing method, and video signal display device | |
JP5178579B2 (en) | Image processing device | |
JP5084804B2 (en) | Noise removing device, noise removing method, and video signal display device | |
US8345156B2 (en) | Progressive scanning conversion apparatus and progressive scanning conversion method | |
JP5178477B2 (en) | Video signal processing apparatus and method, and video display apparatus | |
US8243814B2 (en) | Combing artifacts detection apparatus and combing artifacts detection method | |
JP2006311166A (en) | Video processor and video display apparatus | |
JP2010200236A (en) | Lateral noise correcting method | |
JP2009265688A (en) | Movement detection device | |
KR100698266B1 (en) | Apparatus and method for 3 dimension de-interlacing | |
JP5235807B2 (en) | Noise removal device | |
JP5305822B2 (en) | Video signal processing apparatus, method, and program | |
JP2011078136A (en) | Video image noise reduction processing unit and video processing device | |
JP4679372B2 (en) | Image noise reduction processing apparatus and image display apparatus | |
JP2006121568A (en) | Image processor and image processing method | |
JP5257291B2 (en) | Video signal processing apparatus, dot interference detection method and program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20120515 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120706 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20120904 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20120904 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5084804 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150914 Year of fee payment: 3 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |