JP4266227B2 - Video signal processing device - Google Patents

Video signal processing device Download PDF

Info

Publication number
JP4266227B2
JP4266227B2 JP2006077343A JP2006077343A JP4266227B2 JP 4266227 B2 JP4266227 B2 JP 4266227B2 JP 2006077343 A JP2006077343 A JP 2006077343A JP 2006077343 A JP2006077343 A JP 2006077343A JP 4266227 B2 JP4266227 B2 JP 4266227B2
Authority
JP
Japan
Prior art keywords
moving image
image signal
filter coefficient
encoding
signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
JP2006077343A
Other languages
Japanese (ja)
Other versions
JP2006222982A (en
Inventor
義浩 菊池
敏明 渡邊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Original Assignee
Toshiba Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp filed Critical Toshiba Corp
Priority to JP2006077343A priority Critical patent/JP4266227B2/en
Publication of JP2006222982A publication Critical patent/JP2006222982A/en
Application granted granted Critical
Publication of JP4266227B2 publication Critical patent/JP4266227B2/en
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Images

Landscapes

  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Picture Signal Circuits (AREA)

Description

本発明は動画像信号処理装置に係り、特に動画像信号を高能率に圧縮符号化する動画像符号化装置および圧縮符号化された信号を復号化して元の動画像信号を再生する動画像復号化装置において、圧縮符号化によって生じた符号化歪みを除去し、動画像信号のノイズを符号化に先立って除去するのに適した動画像信号処理装置に関する。   The present invention relates to a moving image signal processing apparatus, and in particular, a moving image encoding apparatus that compresses and encodes a moving image signal with high efficiency and a moving image decoding that decodes the compression-coded signal to reproduce the original moving image signal. The present invention relates to a moving picture signal processing apparatus suitable for removing coding distortion caused by compression coding and removing noise of a moving picture signal prior to coding.

TV電話、TV会議システム、携帯情報端末、デジタルビデオディスクシステムおよびデジタルTV放送システムのように、動画像信号を伝送/蓄積するシステムにおいては、動画像を少ない情報量に圧縮符号化し、得られた符号列を伝送路/蓄積媒体へ伝送/蓄積して、伝送/蓄積された符号列を復号化することによって元の動画像信号を再生する。   In systems that transmit / store moving image signals, such as TV telephones, TV conference systems, portable information terminals, digital video disk systems, and digital TV broadcasting systems, moving images are compressed and encoded to a small amount of information. The code sequence is transmitted / accumulated to the transmission path / accumulation medium, and the transmitted / accumulated code sequence is decoded to reproduce the original moving image signal.

このようなシステムに適用される動画像信号の圧縮符号化技術として、動き補償、離散コサイン変換(DCT)、サブバンド符号化、ピラミッド符号化等の方式やこれらを組み合わせた方式など、様々な方式が開発されている。また、動画像の圧縮符号化の国際標準方式として現在、ISO・MPEG1、MPEG2、ITU−T・H.261、H.262が規定されている。これらの符号化方式はいずれも動き補償適応予測コサイン変換符号化を用いた方式であり、文献1:安田浩編著、”マルチメディア符号化の国際標準”、丸善、(平成3年6月)等に詳細が述べられている。   As a compression encoding technique of a moving image signal applied to such a system, various methods such as a method such as motion compensation, discrete cosine transform (DCT), subband encoding, pyramid encoding, and a combination thereof are available. Has been developed. In addition, ISO / MPEG1, MPEG2, ITU-T / H. 261, H.H. 262 is defined. All of these coding methods use motion compensated adaptive predictive cosine transform coding. Reference 1: edited by Hiroshi Yasuda, “International Standard for Multimedia Coding”, Maruzen, (June 1991), etc. Details.

動画像信号を圧縮符号化技術を用いて少ない情報量、例えば、数kbps〜数10kbps程度のレートまで圧縮符号化できれば、アナログ電話回線、セルラホン、およびPHS等の無線電話回線でも動画像を伝送することが可能となり、TV電話装置、携帯情報端末、パーソナルコンピュータ等の間で動画像通信が可能となる。   If a moving image signal can be compressed and encoded to a small amount of information using a compression coding technique, for example, a rate of several kbps to several tens of kbps, then the moving image is transmitted through a wireless telephone line such as an analog telephone line, cellular phone, or PHS. Thus, moving image communication is possible between a TV phone device, a portable information terminal, a personal computer, and the like.

ところで、無線伝送路のように伝送路誤りが多く混入する伝送路で動き補償予測符号化を行った動画像信号を伝送する場合、誤り耐性を高めるためリフレッシュと呼ばれる方式が用いられることがある。リフレッシュとは、動画像信号の一部分を誤りの影響が後続のフレームに伝幡しないフレーム内符号化を用いて符号化する操作である。しかし、リフレッシュを行うと、リフレッシュ部分つまりフレーム内符号化を行った部分と、それ以外の動き補償予測符号化した部分とでは符号化方法が異なるために復号画像の性質が異なり、リフレッシュ部分とそれ以外の部分の間に違和感を生じて、復号画像の主観的品質が低下する。   By the way, when transmitting a moving image signal that has undergone motion compensation predictive coding on a transmission path in which many transmission path errors are mixed, such as a wireless transmission path, a system called refresh may be used to increase error tolerance. Refreshing is an operation of encoding a part of a moving image signal using intraframe encoding in which the influence of errors is not transmitted to subsequent frames. However, when refreshing, the refreshed part, that is, the part that has been subjected to intraframe coding, and the other part that has undergone motion compensation predictive coding have different encoding methods, so the properties of the decoded image are different. A sense of incongruity occurs between the other parts, and the subjective quality of the decoded image is lowered.

一方、動き補償予測の予測効率を改善する方式として、動きベクトルを画素毎に内挿補間するパッチ動き補償と呼ばれる方式がある。しかし、パッチ動き補償は物体のなめらかな変形を効率良く表すことができるという利点がある反面、静止している背景と動物体の境界部分等の動きが大きく変化している部分では、動き補償を効率的に行うことができず、大きな符号化歪みが生じてしまう。   On the other hand, as a method for improving the prediction efficiency of motion compensation prediction, there is a method called patch motion compensation in which a motion vector is interpolated for each pixel. However, while patch motion compensation has the advantage of being able to express smooth deformation of an object efficiently, motion compensation is not performed in areas where the motion changes greatly, such as the boundary between the stationary background and the moving object. It cannot be performed efficiently, and a large coding distortion occurs.

また、符号化対象の動画像信号にカメラ入力の問題等によって、ノイズが混入したりフリッカが生じたりすると、符号化効率が大きく低下し、結果的に符号化品質が低下してしまう。特に、符号化ビットレートが低い場合には、この問題は顕著である。この問題を改善する方法として、符号化に先立って入力画像信号に帯域制限フィルタをかける方式がある。しかし、この方式ではノイズだけでなく本来の信号成分の一部も失われてしまうため、符号化した画像にぼけを生じてしまう。   Also, if noise is mixed in the moving image signal to be encoded due to a camera input problem or flickering occurs, the encoding efficiency is greatly reduced, resulting in a decrease in encoding quality. This problem is particularly noticeable when the encoding bit rate is low. As a method for solving this problem, there is a method of applying a band limiting filter to an input image signal prior to encoding. However, in this method, not only noise but also a part of the original signal component is lost, so that the encoded image is blurred.

さらに、カメラ入力の問題等によって、符号化対象の動画像信号の画像端、すなわち画面端部に位置する部分に、黒レベル画素のような画素値が非常に低く周囲の画素と画素値が大きく異なる画素が帯状に存在することがある。このような低レベル画素が存在すると、画像端に近い部分での動きベクトル検出の精度が低下して符号化効率の低下をもたらしたり、動き補償によってこの低レベル画素が周囲に広がったりして符号化画像の品質が低下してしまう。   Furthermore, due to camera input problems, the pixel values such as black level pixels are very low and the surrounding pixels and pixel values are large at the image edge of the video signal to be encoded, that is, at the edge of the screen. Different pixels may exist in a strip shape. If such low-level pixels exist, the accuracy of motion vector detection near the edge of the image decreases, leading to a decrease in encoding efficiency, or the low-level pixels spread around due to motion compensation. The quality of the converted image is degraded.

上述したように、伝送路誤りに対する耐性を高めるためにフレーム内符号化などによるリフレッシュ符号化を用いる動画像符号化/復号化装置では、フリフレッシュ符号化を行った部分とそれ以外の部分とで復号画像の性質が異なるために復号画像の主観的品質が低下するという問題があった。   As described above, in a moving image encoding / decoding device that uses refresh encoding such as intraframe encoding in order to increase resistance to transmission path errors, a portion that has been subjected to refresh encoding and other portions are used. There is a problem that the subjective quality of the decoded image is deteriorated because the properties of the decoded image are different.

また、パッチ動き補償を行う動画像符号化/復号化装置では、動きが大きく変化する部分で大きな符号化歪みを生じてしまうという問題があった。さらに、従来の動画像符号化/復号化装置では、入力動画像信号にノイズやフリッカが存在すると符号化効率が低下し、また画像端に低レベル画素が存在すると符号化品質が低下するという問題があった。   In addition, a moving image encoding / decoding device that performs patch motion compensation has a problem in that large encoding distortion occurs in a portion where the motion greatly changes. Further, in the conventional moving image encoding / decoding device, there is a problem that the encoding efficiency decreases when noise or flicker exists in the input moving image signal, and the encoding quality decreases when low level pixels exist at the image end. was there.

本発明は、上述した従来の動画像符号化/復号化装置の問題点を解決すべくなされたもので、復号化された動画像信号の符号化歪みや、動画像信号を符号化する前のノイズ、フリッカなどを効果的に除去できる動画像信号処理装置を提供することを目的とする。   The present invention has been made to solve the above-described problems of the conventional moving image encoding / decoding device. The decoding distortion of the decoded moving image signal and the encoding of the moving image signal before encoding are not possible. It is an object of the present invention to provide a moving image signal processing apparatus that can effectively remove noise, flicker, and the like.

上記の課題を解決するため、本発明に係る動画像信号処理装置は、入力動画像信号に対し所定のフィルタ係数に従って時間軸方向のフィルタリング処理を行って出力動画像信号を出力する時間フィルタ手段と、この時間フィルタ手段におけるフィルタ係数を少なくとも入力動画像信号と出力動画像信号を遅延させた信号または入力動画像信号を遅延させた信号との差分の大きさに応じて決定するフィルタ係数決定手段とを有することを特徴とする。   In order to solve the above-described problems, a moving image signal processing apparatus according to the present invention includes a time filter unit that performs filtering in the time axis direction according to a predetermined filter coefficient on an input moving image signal and outputs an output moving image signal. A filter coefficient determining means for determining a filter coefficient in the time filter means according to at least a difference between a signal obtained by delaying an input moving image signal and a signal obtained by delaying an output moving image signal or a signal obtained by delaying an input moving image signal; It is characterized by having.

また、この動画像信号処理装置が複数の符号化モードを有する動画像符号化装置によって得られた符号化データから動画像復号装置によって復号された復号動画像信号を入力動画像信号とする場合、フィルタ係数決定手段では時間フィルタ手段におけるフィルタ係数を少なくとも(a) 入力動画像信号と出力動画像信号を遅延させた信号または入力動画像信号を遅延させた信号との差分の大きさ、および(b) 動画像符号化装置の符号化モードに応じて決定する。   Further, when the moving image signal processing apparatus uses the decoded moving image signal decoded by the moving image decoding apparatus from the encoded data obtained by the moving image encoding apparatus having a plurality of encoding modes as the input moving image signal, In the filter coefficient determination means, at least the filter coefficient in the time filter means is (a) the magnitude of the difference between the input video signal and the delayed output video signal or the delayed input video signal, and (b ) Determined according to the coding mode of the moving picture coding apparatus.

この動画像信号処理装置においては、例えば入力動画像信号と出力動画像信号または入力動画像信号を遅延させた信号との差分の大きさが小さい部分、すなわち静止部分では比較的強い時間フィルタリングをかけた信号が出力動画像信号として出力されるようにフィルタ係数が決定されることによって、静止部分で特に目立ちやすい符号化歪みが効果的に軽減される。また、差分の大きさが大きい部分では復号動画像信号をそのままか、あるいは弱い時間フィルタリングをかけて出力動画像信号として出力されるようにフィルタ係数が決定されることにより、シーンチェンジ等によって画像が大きく変化する場合でも画像の大きな変化が残像として残ることが防止される。   In this moving image signal processing apparatus, for example, a relatively strong time filtering is applied to a portion where the difference between the input moving image signal and the output moving image signal or a signal obtained by delaying the input moving image signal is small, that is, a stationary portion. By determining the filter coefficient so that the output signal is output as an output moving image signal, coding distortion that is particularly noticeable in a stationary portion is effectively reduced. In addition, in the portion where the difference is large, the decoded moving image signal is left as it is or the filter coefficient is determined so as to be output as an output moving image signal after performing weak temporal filtering, so that the image is changed by a scene change or the like. Even when there is a large change, it is possible to prevent a large change in the image from remaining as an afterimage.

また、フィルタ係数をさらに符号化モードを考慮して決定する場合は、例えばリフレッシュ符号化を行った部分で比較的強く時間フィルタリングがかかるようにフィルタ係数を設定することによって、リフレッシュ符号化が行われた部分の符号化モード(フレーム内符号化モード)と他の部分の符号化モード(動き補償予測符号化モード)との符号化方式の違いに起因する復号画像の性質が相違による復号画像の不自然さ解消される。   Further, when the filter coefficient is further determined in consideration of the encoding mode, for example, the refresh coefficient is set by setting the filter coefficient so that the time filtering is relatively strong in the portion where the refresh encoding is performed. Of the decoded image due to the difference in the characteristics of the decoded image due to the difference in the encoding method between the encoding mode of the part (intra-frame encoding mode) and the encoding mode of the other part (motion compensation prediction encoding mode). Naturalness is eliminated.

さらに、フィルタ係数をアクティビティ、すなわち画像の複雑さを示す評価値をも考慮して決定してもよく、その場合には例えばアクティビティの高いエッジや細かい絵柄の部分で時間フィルタリングを弱くかけるか、入力動画像信号をそのまま出力することで、時間フィルタリングによって生じる画像のぼけを小さくし、アクティビティが低くまた符号化歪みが目立ちやすい平坦部分は時間フィルタリングを強くかけることで、符号化歪みを効果的に抑圧できる。   In addition, the filter coefficients may be determined taking into account the activity, i.e. the evaluation value indicating the complexity of the image, in which case, for example, the temporal filtering may be weakened or input at high edges of the activity or fine picture parts. By outputting the moving image signal as it is, the blurring of the image caused by temporal filtering is reduced, and the flat part where the activity is low and the encoding distortion is conspicuous is applied to the flat part strongly to suppress the encoding distortion effectively. it can.

さらに、本発明においては、入力動画像信号から画像端に存在する画素値がしきい値以下である低レベル画素の画素信号を除去する処理を行う低レベル画素信号除去処理を行った後、上述した時間フィルタリング処理およびフィルタ係数の決定を行ってもよい。   Furthermore, in the present invention, after performing low-level pixel signal removal processing for performing processing for removing pixel signals of low-level pixels whose pixel value existing at the image edge is equal to or less than a threshold value from the input moving image signal, The time filtering process and the filter coefficient determination may be performed.

このようにすると、カメラ入力の問題等によって生じた画像端に存在する黒レベル画素のような低レベル画素の画素信号を圧縮符号化前に入力動画像信号から除去とることにより、符号化効率が向上し、結果的に符号化品質が向上する。   In this way, by removing pixel signals of low level pixels such as black level pixels existing at the edge of the image caused by a camera input problem or the like from the input moving image signal before compression encoding, encoding efficiency is improved. As a result, the coding quality is improved.

また、本発明によると、このような入力動画像信号から画像端に存在する画素値がしきい値以下である低レベル画素の画素信号を除去する低レベル画素信号除去処理は、入力動画像信号から画素値がしきい値以下である低レベル画素を検出し、低レベル画素数が画像端に何画素あるかを探索し、この低レベル画素の画素値を探索した低レベル画素数に基づいて決定された低レベル画素以外の画素値で置き換えることによって実現される。   Further, according to the present invention, the low-level pixel signal removal processing for removing the pixel signal of the low-level pixel whose pixel value existing at the image edge is equal to or less than the threshold value from such an input video signal is the input video signal. Based on the number of low-level pixels in which the low-level pixel whose pixel value is equal to or less than the threshold is detected, the number of low-level pixels is searched for at the edge of the image, and the pixel value of this low-level pixel is searched This is realized by replacing with a pixel value other than the determined low-level pixel.

本発明の画像信号処理装置によれば、動画像信号の圧縮符号化によって生じた符号化歪みを除去し、復号画像の品質を高めることができる。また、圧縮符号化を行う動画像信号に存在するノイズ、フリッカ、黒縁などを除去して圧縮符号化の効率を高め、符号化品質を向上させることができる。   According to the image signal processing apparatus of the present invention, it is possible to remove coding distortion caused by compression coding of a moving image signal and improve the quality of a decoded image. In addition, noise, flicker, black edges, and the like existing in a moving image signal to be compression-encoded can be removed to increase the efficiency of compression-encoding and improve encoding quality.

以下、本発明の実施形態を説明する。   Embodiments of the present invention will be described below.

(第1の実施形態)図1は、本発明の第1の実施形態に係る動画像信号処理装置である符号化歪み除去装置の構成を示すブロック図である。この符号化歪み除去装置は、入力動画像信号として動画像復号化装置からの復号動画像信号121を入力し、この復号動画像信号121に対し巡回型適応時間フィルタ100により符号化歪み除去のために時間軸方向のフィルタリング処理(以下、時間フィルタリング処理という)を行って、出力動画像信号123を出力するものである。 (First Embodiment) FIG. 1 is a block diagram showing a configuration of a coding distortion removing apparatus which is a moving image signal processing apparatus according to a first embodiment of the present invention. This coding distortion removing apparatus receives a decoded moving picture signal 121 from a moving picture decoding apparatus as an input moving picture signal, and for removing the coding distortion by the cyclic adaptive time filter 100 with respect to the decoded moving picture signal 121. Then, a filtering process in the time axis direction (hereinafter referred to as a time filtering process) is performed, and an output moving image signal 123 is output.

時間フィルタ100は、第1の乗算器101、加算器102、フレーム遅延器103および第2の乗算器104により構成される。また、時間フィルタ100のフィルタ係数(以下、重み係数という)は、重み係数決定部105により決定される。この重み係数決定部105は、フレーム間差分計算部106と重み係数計算部107により構成される。   The time filter 100 includes a first multiplier 101, an adder 102, a frame delay unit 103, and a second multiplier 104. Further, the filter coefficient of the time filter 100 (hereinafter referred to as a weight coefficient) is determined by the weight coefficient determination unit 105. The weighting factor determination unit 105 includes an interframe difference calculation unit 106 and a weighting factor calculation unit 107.

次に、本実施形態による符号化歪み除去装置の動作を説明する。入力される復号動画像信号121は、第1の乗算器101において重み係数決定部105から出力された第1の重み係数125が乗じられた後、加算器102に入力される。加算器102からの出力信号は、出力動画像信号123として装置外へ出力されると共に、フレーム遅延器103に入力される。フレーム遅延器103からは、出力動画像信号123を1フレーム時間遅延させた信号124が出力される。このフレーム遅延器103からの出力信号124は、第2の乗算器104で重み係数決定部105から出力された第2の重み係数126が乗じられる。第2の乗算器104からの出力信号は、加算器102で第1の乗算器101からの出力信号と加算される。   Next, the operation of the coding distortion removing apparatus according to the present embodiment will be described. The input decoded video signal 121 is input to the adder 102 after being multiplied by the first weighting coefficient 125 output from the weighting coefficient determining unit 105 in the first multiplier 101. An output signal from the adder 102 is output to the outside of the apparatus as an output moving image signal 123 and also input to the frame delay unit 103. The frame delay unit 103 outputs a signal 124 obtained by delaying the output moving image signal 123 by one frame time. The output signal 124 from the frame delay unit 103 is multiplied by the second weighting factor 126 output from the weighting factor determining unit 105 by the second multiplier 104. The output signal from the second multiplier 104 is added to the output signal from the first multiplier 101 by the adder 102.

重み係数決定部105は、復号動画像信号121と1フレーム前の出力動画像信号124を基にして、以下のように画素毎に重み係数125,126を決定する。まず、フレーム間差分計算部106において、復号動画像信号121と1フレーム前の出力動画像信号124との差分の大きさDを処理対象画素の周囲±M画素を用いて次式に従って計算する。

Figure 0004266227
Based on the decoded moving image signal 121 and the output moving image signal 124 one frame before, the weighting factor determination unit 105 determines the weighting factors 125 and 126 for each pixel as follows. First, the inter-frame difference calculation unit 106 calculates the magnitude D of the difference between the decoded moving image signal 121 and the output moving image signal 124 of the previous frame using ± M pixels surrounding the processing target pixel according to the following equation.
Figure 0004266227

そして、こうして計算した差分の大きさDから、重み係数計算部107によって重み係数を計算して決定する。図2は、差分の大きさDと重み係数の関係の一例を示したものである。図中、縦軸のWは第2の重み係数126であり、第1の重み係数125は(1−W)とする。また、ath1、ath2、WLはあらかじめ定められた定数である。   Then, the weighting coefficient calculation unit 107 calculates and determines the weighting coefficient from the difference size D thus calculated. FIG. 2 shows an example of the relationship between the difference magnitude D and the weighting factor. In the figure, W on the vertical axis is the second weighting coefficient 126, and the first weighting coefficient 125 is (1-W). Further, ath1, ath2, and WL are predetermined constants.

このように重み係数決定部105では、復号動画像信号121と1フレーム前の出力動画像信号124との差分の大きさDに応じて重み係数125,126が適応的に決定される。すなわち、差分の大きさDが小さいときは、Wが大きくなるように決定される。これにより、符号化歪みが目立ちやすい静止部分では、符号化歪みが加わった復号動画像信号121がそのまま出力されるのではなく、時間フィルタ100で復号動画像信号121に対して1フレーム前の出力動画像信号124との重み付け加算による時間フィルタリング処理を行った信号が出力動画像信号124として出力されることによって、符号化歪みが軽減される。   In this way, the weighting factor determination unit 105 adaptively determines the weighting factors 125 and 126 according to the magnitude D of the difference between the decoded moving image signal 121 and the output moving image signal 124 one frame before. That is, when the magnitude D of the difference is small, W is determined to be large. As a result, in the still part where coding distortion is conspicuous, the decoded moving image signal 121 to which the coding distortion is added is not output as it is, but the time filter 100 outputs the previous frame for the decoded moving image signal 121. A signal subjected to temporal filtering processing by weighted addition with the moving image signal 124 is output as the output moving image signal 124, thereby reducing coding distortion.

一方、差分の大きさDがしきい値ath2以上になる部分ではW=0となり、復号動画像信号121がそのまま出力動画像信号123として出力される。このため、シーンチェンジ等により前フレームから画像が大きく変化する部分でも、画像の大きな変化が残像として残ってしまうことは無い。   On the other hand, when the difference magnitude D is equal to or greater than the threshold value ath2, W = 0, and the decoded video signal 121 is output as it is as the output video signal 123. For this reason, even if the image changes greatly from the previous frame due to a scene change or the like, a large change in the image does not remain as an afterimage.

なお、本実施形態では画素単位の処理を説明したが、ブロック単位で処理を行ってもよい。   In the present embodiment, the process in units of pixels has been described, but the process may be performed in units of blocks.

(第2の実施形態)図3は、本発明の第2の実施形態に係る動画像信号処理装置である符号化歪み除去装置の構成を示すブロック図であり、差分の大きさDと重み係数Wの関係を動画像符号化装置の符号化モードや、動画像符号化装置で求められた動きベクトルの大きさ等に応じて切り替えるようにした例である。このため、本実施形態では動画像復号化装置から復号動画像信号121とは別に、符号化モードや動きベクトルを示す信号(サイド情報信号という)128がフィルタ係数決定部105内の重み係数計算部107に入力される。 (Second Embodiment) FIG. 3 is a block diagram showing the configuration of a coding distortion removing apparatus which is a moving image signal processing apparatus according to a second embodiment of the present invention, and shows a difference size D and a weighting factor. This is an example in which the relationship of W is switched according to the encoding mode of the video encoding device, the size of the motion vector obtained by the video encoding device, and the like. Therefore, in this embodiment, a signal (referred to as a side information signal) 128 indicating a coding mode and a motion vector is a weight coefficient calculation unit in the filter coefficient determination unit 105 separately from the decoded video signal 121 from the video decoding device. 107 is input.

図4は、伝送路誤りによって生じる画質劣化の伝幡を抑えるために動画像符号化装置でリフレッシュ符号化を行っている場合に、リフレッシュ符号化を行った部分とそれ以外の部分で差分の大きさDと重み係数Wの関係を切り替える例を示している。リフレッシュ符号化を行った部分に対しては401の特性を用い、それ以外の部分では402の特性を用いる。   FIG. 4 shows the difference in the difference between the portion where refresh coding is performed and the other portion when refresh coding is performed by the moving image coding apparatus in order to suppress the propagation of image quality degradation caused by transmission path errors. In this example, the relationship between the length D and the weighting factor W is switched. The 401 characteristic is used for the part subjected to refresh encoding, and the 402 characteristic is used for the other parts.

リフレッシュ符号化を行った部分で重み係数Wが大きくなりやすい特性401を用いるのは、リフレッシュ符号化が行われた部分の符号化モードはフレーム内符号化モードであり、他の部分の符号化モード(例えば動き補償予測符号化モード)と符号化方式が異なるために復号画像の性質が異なり、復号画像に不自然さが生じやすいためである。特に、符号化歪みが目立ちやすい静止部分や動きが小さい部分では、前フレームまで通常の動き補償予測符号化モードであった部分がリフレッシュ符号化モードであるフレーム内符号化モードに変化すると、復号画像の性質の変化が視覚的に顕著になって復号画像の主観品質が低下しやすい。   The characteristic 401 in which the weight coefficient W is likely to be large in the portion subjected to the refresh encoding is that the encoding mode of the portion subjected to the refresh encoding is the intra-frame encoding mode, and the encoding mode of the other portion. This is because the nature of the decoded image is different because the encoding method is different from (for example, motion compensation prediction encoding mode), and unnaturalness is likely to occur in the decoded image. In particular, in a still part where coding distortion is conspicuous or a part where the motion is small, when the part that was in the normal motion compensation prediction coding mode until the previous frame is changed to the intra-frame coding mode that is the refresh coding mode, the decoded image The change in the property of the image becomes visually noticeable, and the subjective quality of the decoded image is likely to deteriorate.

これに対し、図4の特性401を用いれば、差分の大きさDが小さくなる静止部分や動きが小さい部分では重み係数W、すなわち1フレーム前の出力動画像信号124に対する重み係数126が大きくなる。従って、復号動画像信号121のうちリフレッシュにより性質の変化した部分は1フレーム前の出力動画像信号124との重み付け加算が行われ、時間フィルタリング処理が強くかかるため、画質劣化が小さく抑えられることになる。   On the other hand, if the characteristic 401 in FIG. 4 is used, the weighting coefficient W, that is, the weighting coefficient 126 for the output moving image signal 124 one frame before becomes large in the still part where the difference D is small or the part where the motion is small. . Accordingly, the portion of the decoded moving image signal 121 whose property has been changed by refreshing is subjected to weighted addition with the output moving image signal 124 one frame before, and the time filtering process is strongly applied, so that the image quality deterioration can be suppressed to a small level. Become.

図5は、本実施形態において差分の大きさDと重み係数Wの関係を切り替えるもう一つの例を示したものである。動き補償予測符号化モードでは、重み係数Wが大きくなる図5の特性501を用いる。これは、静止部分と動物体の境界部分で静止部分が動物体の動きベクトルによって誤って動き補償されてしまうことによって生じる符号化歪みを抑えるためであり、物体の境界部分で大きな歪みを生じやすいパッチ動き補償の符号化歪みを低減するのに有効である。   FIG. 5 shows another example in which the relationship between the difference magnitude D and the weighting factor W is switched in the present embodiment. In the motion compensation predictive coding mode, the characteristic 501 in FIG. This is to suppress coding distortion caused by motion compensation of the stationary part by the motion vector of the moving object at the boundary part between the stationary part and the moving object, and is likely to cause large distortion at the boundary part of the object. This is effective in reducing the coding distortion of patch motion compensation.

一方、フレーム内符号化モードでは、このような歪みは生じないため、重み係数Wが小さくなる特性502を用いる。   On the other hand, since such distortion does not occur in the intra-frame coding mode, the characteristic 502 in which the weight coefficient W is reduced is used.

(第3の実施形態)図6は、本発明の第3の実施形態に係る動画像信号処理装置である符号化歪み除去装置の構成を示すブロック図であり、差分の大きさDと重み係数Wの関係を画像の複雑さを示すアクティビティに応じて変えるようにした例である。このために、本実施形態ではフィルタ係数決定部105においてアクティビティ計算部108で復号動画像信号121のアクティビティを計算し、これに応じてしきい値計算部109が発生する図7のしきい値ath1およびath2を変化させる構成となっている。 (Third Embodiment) FIG. 6 is a block diagram showing the configuration of a coding distortion removing apparatus which is a moving image signal processing apparatus according to a third embodiment of the present invention. In this example, the relationship of W is changed according to the activity indicating the complexity of the image. For this purpose, in the present embodiment, the activity calculation unit 108 calculates the activity of the decoded moving image signal 121 in the filter coefficient determination unit 105, and the threshold value calculation unit 109 generates the threshold value ath1 in FIG. And ath2 are changed.

まず、アクティビティ計算部108およびフレーム間差分計算部106において、復号動画像信号121のアクティビティ131および1フレーム前の出力動画像信号124との差分の大きさ127を処理対象画素の周囲±M画素で次式に従って計算する。

Figure 0004266227
First, in the activity calculation unit 108 and the inter-frame difference calculation unit 106, the magnitude 127 of the difference between the activity 131 of the decoded moving image signal 121 and the output moving image signal 124 one frame before is expressed by ± M pixels around the processing target pixel. Calculate according to the following formula.
Figure 0004266227

次に、しきい値計算部109においてアクティビティ221から第1のしきい値132(ath1)および第2のしきい値133(ath2)を図7(a)および(b)の特性に基づいて決定する。図7中、th1,th2,αはあらかじめ定められた定数である。図7(a)(b)の特性を式で表すと、以下のようになる。   Next, the threshold value calculation unit 109 determines the first threshold value 132 (ath1) and the second threshold value 133 (ath2) from the activity 221 based on the characteristics shown in FIGS. To do. In FIG. 7, th1, th2, and α are predetermined constants. The characteristics shown in FIGS. 7A and 7B are expressed as follows.

ath1=th1−α・act・th1/th2ath2=th2−α・act
そして、重み係数計算部107で差分の大きさ127と第1および第2のしきい値132および133から図2に示す特性に従って重み係数125,126が決定される。
ath1 = th1-α · act · th1 / th2ath2 = th2-α · act
Then, the weighting factor calculation unit 107 determines the weighting factors 125 and 126 according to the characteristics shown in FIG. 2 from the magnitude 127 of the difference and the first and second threshold values 132 and 133.

このようにアクティビティに応じて時間フィルタ100の特性を変化させることにより、アクティビティの高い部分、すなわちエッジや細かい絵柄の部分では、しきい値ath1およびath2が小さくなって重み係数Wが小さくなる。これによって時間フィルタ100での時間フィルタリングの強さが弱くなり、時間フィルタ100によって生じる画像のぼけが小さく抑えられる。   In this way, by changing the characteristics of the time filter 100 in accordance with the activity, the threshold values ath1 and ath2 are reduced and the weighting factor W is reduced in a portion where the activity is high, that is, an edge or a fine pattern portion. As a result, the strength of temporal filtering in the temporal filter 100 is weakened, and blurring of the image caused by the temporal filter 100 is suppressed to a small level.

一方、符号化歪みが目立ちやすい平坦部分はアクティビティが低いことから、重み係数Wは大きくなりやすく、時間フィルタリングが強くかかるため、符号化歪み抑圧効果が大きくなる。   On the other hand, since a flat portion where coding distortion is conspicuous has low activity, the weighting factor W tends to be large and temporal filtering is strongly applied, so that the coding distortion suppression effect becomes large.

(第4の実施形態)図8は、本発明の第4の実施形態に係る動画像信号処理装置である符号化歪み除去装置の構成を示すブロック図である。図1と相対応する部分に同一の符号を付して第1の実施形態との相違点を中心に説明すると、本実施形態は空間フィルタ110が新たに追加され、加算器102の出力信号は空間フィルタ110により空間方向での符号化歪み除去処理がなされた後に、出力動画像信号123として取り出される点が異なる。   (Fourth Embodiment) FIG. 8 is a block diagram showing the configuration of a coding distortion removing apparatus which is a moving image signal processing apparatus according to a fourth embodiment of the present invention. When the same reference numerals are assigned to the parts corresponding to those in FIG. 1 and the difference from the first embodiment will be mainly described, the spatial filter 110 is newly added in this embodiment, and the output signal of the adder 102 is The difference is that after the encoding distortion removal processing in the spatial direction is performed by the spatial filter 110, it is extracted as the output moving image signal 123.

空間フィルタ110は、空間方向のフィルタリング処理を行うことにより符号化歪みを除去するものであり、具体的には例えば隣接画素間の差分の大きさに応じて適応的にフィルタの強さを変化させ、画素間差分が小さい部分はフィルタを強くし画素間差分が大きい部分はフィルタを弱くする。これにより、エッジを保存しながらモスキート歪み等の符号化歪みを除去することができる。   The spatial filter 110 removes coding distortion by performing a filtering process in the spatial direction. Specifically, for example, the strength of the filter is adaptively changed according to the difference between adjacent pixels. The part where the inter-pixel difference is small strengthens the filter, and the part where the inter-pixel difference is large weakens the filter. Thereby, it is possible to remove coding distortion such as mosquito distortion while preserving edges.

このように本実施形態では、時間フィルタ100による時間軸方向の符号化歪み除去に、空間フィルタによる空間方向の符号化歪み除去を組み合わせることにより、復号動画像信号121と1フレーム分の時間的ずれのある出力動画像信号124を重み付け加算処理することによってまれに生じてしまう残像を取り除くことができ、時間フィルタのみによる場合に比べ出力動画像信号123の品質がさらに向上する。   As described above, in the present embodiment, the temporal displacement of the decoded moving image signal 121 and the time of one frame is achieved by combining the temporal distortion correction by the temporal filter 100 with the spatial distortion removal by the spatial filter. The afterimage that rarely occurs due to the weighted addition processing of the output moving image signal 124 having a certain level can be removed, and the quality of the output moving image signal 123 is further improved as compared with the case of using only the time filter.

(第5の実施形態)図9は、本発明の第5の実施形態に係る動画像信号処理装置である符号化歪み除去装置の構成を示すブロック図である。この符号化歪み除去装置は、動画像復号化装置から入力される現フレームの復号動画像信号221と動画像復号化装置のフレームメモリに記憶されている1フレーム前の復号動画像信号224を入力して、非巡回型適応時間フィルタ200により符号化歪み除去処理を行って出力動画像信号223を出力するものである。   (Fifth Embodiment) FIG. 9 is a block diagram showing the configuration of a coding distortion removing apparatus which is a moving image signal processing apparatus according to a fifth embodiment of the present invention. This coding distortion removing apparatus inputs a decoded moving picture signal 221 of the current frame input from the moving picture decoding apparatus and a decoded moving picture signal 224 of the previous frame stored in the frame memory of the moving picture decoding apparatus. Then, the non-recursive adaptive time filter 200 performs coding distortion removal processing and outputs an output moving image signal 223.

時間フィルタ200は、第1の乗算器201、加算器202および第2の乗算器204により構成される。また、時間フィルタ200のフィルタ係数(重み係数という)は、重み係数決定部205により決定される。   The time filter 200 includes a first multiplier 201, an adder 202, and a second multiplier 204. Further, the filter coefficient (referred to as a weighting coefficient) of the time filter 200 is determined by the weighting coefficient determination unit 205.

入力される現フレームの復号動画像信号221および1フレーム前の復号動画像信号228は、第1、第2の乗算器201,204で重み係数決定部205から与えられる第1、第2の重み係数が乗じられた後、加算器202に入力されて互いに加算され、この加算器202の出力信号が出力動画像信号223として装置外へ出力される。   The input decoded video signal 221 of the current frame and the decoded video signal 228 of the previous frame are input to the first and second weights 201 and 204 from the weight coefficient determination unit 205, respectively. After the coefficients are multiplied, they are input to the adder 202 and added together, and the output signal of the adder 202 is output as an output moving image signal 223 to the outside of the apparatus.

重み係数決定部205では、第1〜第4の実施形態のいずれかにおける重み係数決定部105と同様にして重み係数を決定する。ただし、フレーム間差分Dは復号動画像信号221と1フレーム前の復号動画像信号224との差分として、次式に従って計算する。

Figure 0004266227
The weighting factor determination unit 205 determines a weighting factor in the same manner as the weighting factor determination unit 105 in any of the first to fourth embodiments. However, the interframe difference D is calculated as a difference between the decoded moving image signal 221 and the decoded moving image signal 224 one frame before according to the following equation.
Figure 0004266227

このように本実施形態の符号化歪み除去装置では、第1〜第4の実施形態で用いた巡回型の適応時間フィルタ100に対して非巡回型の時間フィルタ200により符号化歪み除去処理を行う。このため、第1〜第4の実施形態に比べて符号化歪み除去性能は若干低下するものの、第1〜第4の実施形態のように1フレーム前の出力動画像信号と現フレームの復号動画像信号との重み付け加算をとることによって生じる残像は少なくなる。また、本実施形態では動画像復号化装置から1フレーム前の復号動画像信号224を取り出すので、符号化歪み除去装置内にフレーム遅延器を設ける必要は無く、ハードウェア量が削減される。   As described above, in the coding distortion removal apparatus of the present embodiment, the coding distortion removal processing is performed by the non-cyclic time filter 200 on the cyclic adaptive time filter 100 used in the first to fourth embodiments. . For this reason, although the encoding distortion removal performance is slightly reduced as compared with the first to fourth embodiments, the output moving image signal of the previous frame and the decoded video of the current frame as in the first to fourth embodiments. The afterimage produced by weighted addition with the image signal is reduced. In the present embodiment, since the decoded video signal 224 one frame before is taken out from the video decoding device, it is not necessary to provide a frame delay in the coding distortion removal device, and the amount of hardware is reduced.

ただし、動画像復号化装置の構成によっては、1フレーム前の復号動画像信号224を出力できない場合がある。この場合は、図9中に示すように符号化歪み除去装置内に現フレームの復号動画像信号221を1フレーム時間遅延させるフレーム遅延器203を設けて、1フレーム前の復号動画像信号224を生成すればよい。   However, depending on the configuration of the video decoding device, the decoded video signal 224 one frame before may not be output. In this case, as shown in FIG. 9, a frame delay unit 203 for delaying the decoded video signal 221 of the current frame by one frame time is provided in the encoding distortion removing apparatus, and the decoded video signal 224 of the previous frame is obtained. It only has to be generated.

(第6の実施形態)図10は、本発明の第6の実施形態に係る動画像信号処理装置の構成を示すブロック図であり、第1〜第5の実施形態と異なり、動画像符号化装置において動画像信号の圧縮符号化に先立ってノイズやフリッカ等を抑圧する装置である。   (Sixth Embodiment) FIG. 10 is a block diagram showing the configuration of a video signal processing apparatus according to the sixth embodiment of the present invention. Unlike the first to fifth embodiments, FIG. The apparatus suppresses noise, flicker, and the like prior to compression encoding of a moving image signal.

入力の動画像信号321は、まず画像黒縁除去処理部306に入力され、カメラ入力の問題等によって生じた画像端に存在する黒レベル画素、すなわち画素値が所定のしきい値以下である低レベル画素の画素信号を動画像信号321から除去する処理が行われる。   The input moving image signal 321 is first input to the image black edge removal processing unit 306, and is a black level pixel existing at the image edge caused by a camera input problem or the like, that is, a low level whose pixel value is equal to or less than a predetermined threshold value. Processing for removing the pixel signal of the pixel from the moving image signal 321 is performed.

図11は、この画像黒縁除去処理を説明するための図であり、画像左端に存在する黒レベル画素を取り除く処理の例を示している。図11において黒丸は黒レベル画素、白丸は黒レベル以外の画素をそれぞれ表す。   FIG. 11 is a diagram for explaining the image black edge removal processing, and shows an example of processing for removing black level pixels existing at the left end of the image. In FIG. 11, black circles represent black level pixels, and white circles represent pixels other than the black level.

[ステップ1]まず、画像左端から順に黒レベル画素を検出する。画素が黒レベル画素かどうかの判定は、画素値があらかじめ定められたしきい値以下かどうかにより行えばよい。   [Step 1] First, black level pixels are detected in order from the left end of the image. Whether the pixel is a black level pixel may be determined based on whether the pixel value is equal to or less than a predetermined threshold value.

[ステップ2]次に、黒レベル画素が画像左端から数えて何画素連続して存在するかを各水平ライン毎に探索する。このようにして探索された画像左端からの黒レベル画素数をNsbとする。   [Step 2] Next, a search is performed for each horizontal line to determine how many black level pixels are continuously counted from the left end of the image. The number of black level pixels from the left edge of the image searched in this way is Nsb.

[ステップ3]そして、黒レベル画素の画素信号をそれよりもNf(任意の整数)個右にある画素の画素信号で置き換える。以上の処理を図11中の最上部の水平ラインの例で説明すると、画像左端から2つの黒レベル画素1101,1102が存在するので、黒レベル画素数Nsbは2となる。ここでNf=2とすれば、画像左端からNsb+Nf−1個の画素1101〜1103を画像左端からNsb番目の画素1104の画素値で置き換えることになる。   [Step 3] Then, the pixel signal of the black level pixel is replaced with the pixel signal of the pixel Nf (arbitrary integer) right of the pixel signal. The above processing will be described with an example of the uppermost horizontal line in FIG. 11. Since there are two black level pixels 1101 and 1102 from the left end of the image, the black level pixel count Nsb is 2. If Nf = 2, Nsb + Nf−1 pixels 1101 to 1103 from the left end of the image are replaced with the pixel value of the Nsb-th pixel 1104 from the left end of the image.

画像の上端、右端、下端にも黒レベル画素が存在する場合には、上記の画像左端に存在する画素に対する処理と同様に、黒レベル画素の画素信号を他の画素の画素信号で置き換える処理を行えばよい。   When black level pixels are also present at the top, right, and bottom edges of the image, the processing for replacing the pixel signal of the black level pixel with the pixel signal of another pixel is performed in the same manner as the processing for the pixel existing at the left end of the image. Just do it.

なお、画像端に大きな幅の黒レベル画素値が存在する場合、これに対して上記の画素置き換え処理を行うと、画像に違和感が生じてしまうことがある。これを防ぐため、黒レベル画素数Nsbが一定値以上になる場合には、上記の画素置き換え処理は行わないようにしてもよい。   When a large black level pixel value exists at the edge of the image, if the above pixel replacement process is performed on the black level pixel value, an uncomfortable feeling may occur in the image. In order to prevent this, the pixel replacement process may not be performed when the black level pixel count Nsb is equal to or greater than a certain value.

図10に説明を戻すと、黒縁除去処理部306で画像端に存在する黒レベル画素の画素信号を除去する処理がなされた後の動画像信号は、巡回型適応時間フィルタ300によってノイズやフリッカなどが除去される。巡回型適応時間フィルタ300とそのフィルタ係数(重み係数)を決定する重み係数決定部305は、第1〜第4の実施形態で説明したのと同様の構成となっており、乗算器301、加算器302、フレーム遅延器303および乗算器304は、例えば図1における乗算器101、加算器102、フレーム遅延器103および乗算器104と同様の動作を行う。重み係数部305での重み係数の決定も第1〜第4の実施形態と同様に行うが、先に示したWL,th1,th2,α等の定数は、入力動画像信号321またはこれを画像黒縁除去306を通した動画像信号の性質に合わせて定められものとする。   Returning to FIG. 10, the moving image signal after the processing for removing the pixel signal of the black level pixel existing at the image end by the black edge removal processing unit 306 is performed by the cyclic adaptive time filter 300 such as noise and flicker. Is removed. The cyclic adaptive time filter 300 and the weight coefficient determination unit 305 that determines the filter coefficient (weight coefficient) have the same configuration as that described in the first to fourth embodiments. For example, the multiplier 302, the frame delay unit 303, and the multiplier 304 perform the same operations as the multiplier 101, the adder 102, the frame delay unit 103, and the multiplier 104 in FIG. The determination of the weighting coefficient in the weighting coefficient unit 305 is performed in the same manner as in the first to fourth embodiments. However, the constants such as WL, th1, th2, and α described above are the input moving image signal 321 or the image. It is assumed that it is determined according to the nature of the moving image signal that has passed through the black edge removal 306.

なお、前記実施形態においてはフレーム間差分Dおよびアクティビティactは絶対値和により計算する例を示したが、次式のように二乗和、重み付き絶対値和、重み付き二乗和を用いて計算してもよい。

Figure 0004266227
In the above embodiment, the inter-frame difference D and the activity act are calculated using the absolute value sum. However, the calculation is performed using the sum of squares, the weighted absolute value sum, and the weighted square sum as in the following equation. May be.
Figure 0004266227

ここで、wa,wDはk,lに応じて重みをつける係数である。 Here, wa and wD are coefficients for weighting according to k and l.

本発明の第1の実施形態に係る動画像信号処理装置の構成を示すブロック図1 is a block diagram showing a configuration of a moving image signal processing apparatus according to a first embodiment of the present invention. 同実施形態におけるフレーム間差分と重み係数の関係を示す図The figure which shows the relationship between the difference between frames in the embodiment, and a weighting coefficient. 本発明の第2の実施形態に係る動画像信号処理装置の構成を示すブロック図The block diagram which shows the structure of the moving image signal processing apparatus which concerns on the 2nd Embodiment of this invention. 同実施形態におけるフレーム間差分と重み係数の関係の第1の例を示す図The figure which shows the 1st example of the relationship between the difference between frames in the same embodiment, and a weighting coefficient. 同実施形態におけるフレーム間差分と重み係数の関係の第2の例を示す図The figure which shows the 2nd example of the relationship between the difference between frames in the same embodiment, and a weighting coefficient. 本発明の第3の実施形態に係る動画像信号処理装置の構成を示すブロック図The block diagram which shows the structure of the moving image signal processing apparatus which concerns on the 3rd Embodiment of this invention. 同実施形態におけるアクティビティとしきい値の関係を示す図The figure which shows the relationship between the activity and threshold value in the same embodiment 本発明の第4の実施形態に係る動画像信号処理装置の構成を示すブロック図The block diagram which shows the structure of the moving image signal processing apparatus which concerns on the 4th Embodiment of this invention. 本発明の第5の実施形態に係る動画像信号処理装置の構成を示すブロック図The block diagram which shows the structure of the moving image signal processing apparatus which concerns on the 5th Embodiment of this invention. 本発明の第6の実施形態に係る動画像信号処理装置の構成を示すブロック図The block diagram which shows the structure of the moving image signal processing apparatus which concerns on the 6th Embodiment of this invention. 同実施形態に係る動画像信号処理装置の動作を説明するための図The figure for demonstrating operation | movement of the moving image signal processing apparatus which concerns on the same embodiment

符号の説明Explanation of symbols

100…巡回型適応時間フィルタ
101…乗算器
102…加算器
103…フレーム遅延器
104…乗算器
105…フィルタ係数決定部
106…フレーム間差分計算部
107…重み係数計算部
108…アクティビティ計算部
109…しきい値計算部
110…空間フィルタ
121…復号動画像信号
123…出力動画像信号
124…1フレーム前の出力動画像信号
125,126…重み係数
127…フレーム間差分
128…サイド情報信号
131…アクティビティ
132,133…しきい値
200…非巡回型適応時間フィルタ
201…乗算器
202…加算器
203…フレーム遅延器
204…乗算器
205…フィルタ係数決定部
300…巡回型適応時間フィルタ
301…乗算器
302…加算器
303…フレーム遅延器
304…乗算器
305…フィルタ係数決定部
306…画像黒縁除去部
321…入力動画像信号
323…出力動画像信号
324…1フレーム前の出力動画像信号
325,326…重み係数
401…リフレッシュモードでのフレーム間差分と重み係数の関係
402…リフレッシュ以外のモードでのフレーム間差分と重み係数の関係
501…動き補償モードでのフレーム間差分と重み係数の関係
502…フレーム内符号化モードでのフレーム間差分と重み係数の関係
DESCRIPTION OF SYMBOLS 100 ... Cyclic adaptive time filter 101 ... Multiplier 102 ... Adder 103 ... Frame delay device 104 ... Multiplier 105 ... Filter coefficient determination part 106 ... Inter-frame difference calculation part 107 ... Weight coefficient calculation part 108 ... Activity calculation part 109 ... Threshold calculation unit 110 ... spatial filter 121 ... decoded video signal 123 ... output video signal 124 ... output video signal 125, 126 one frame before ... weight coefficient 127 ... inter-frame difference 128 ... side information signal 131 ... activity 132, 133 ... threshold 200 ... acyclic adaptive time filter 201 ... multiplier 202 ... adder 203 ... frame delay device 204 ... multiplier 205 ... filter coefficient determination unit 300 ... cyclic adaptive time filter 301 ... multiplier 302 ... adder 303 ... frame delay 304 ... multiplier 305 ... filter Number determining unit 306 ... image black edge removing unit 321 ... input moving image signal 323 ... output moving image signal 324 ... output moving image signals 325 and 326 one frame before ... weighting factor 401 ... interframe difference and weighting factor in refresh mode Relationship 402: Inter-frame difference and weight coefficient relationship 501 in modes other than refresh 501 ... Inter-frame difference and weight coefficient relationship 502 in motion compensation mode 502 ... Inter-frame difference and weight coefficient relationship in intra-frame coding mode

Claims (3)

複数の符号化モードを有する動画像符号化装置によって得られた符号化データから動画像復号装置によって復号された復号動画像信号を入力動画像信号とし、この入力動画像信号を処理する動画像信号処理装置において、
前記入力動画像信号に対し所定のフィルタ係数に従って時間軸方向のフィルタリング処理を行って出力動画像信号を出力する時間フィルタ手段と、
前記時間フィルタ手段におけるフィルタ係数を前記動画像符号化装置の符号化モードに応じて決定するフィルタ係数決定手段と、
を有し、前記フィルタ係数決定手段は、動き補償予測符号化モードではフィルタ係数が大きくなり、フレーム内符号化モードではフィルタ係数が小さくなるようにフィルタ係数を設定することを特徴とする動画像信号処理装置。
A moving image signal for processing an input moving image signal using a decoded moving image signal decoded by a moving image decoding device from encoded data obtained by a moving image encoding device having a plurality of encoding modes as an input moving image signal In the processing device,
Time filter means for performing filtering processing in a time axis direction according to a predetermined filter coefficient to the input moving image signal and outputting an output moving image signal;
Filter coefficient determining means for determining a filter coefficient in the time filter means in accordance with an encoding mode of the video encoding device;
And the filter coefficient determination means sets the filter coefficient so that the filter coefficient becomes large in the motion compensation prediction coding mode and becomes small in the intra-frame coding mode. Processing equipment.
前記フィルタ係数決定手段は、更に前記時間フィルタ手段におけるフィルタ係数を入力動画像信号と前記出力動画像信号を遅延させた信号または前記入力動画像信号を遅延させた信号との差分の大きさに応じて決定する請求項1記載の動画像信号処理装置。 The filter coefficient determination unit further determines the filter coefficient in the time filter unit according to the magnitude of a difference between an input moving image signal and a signal obtained by delaying the output moving image signal or a signal obtained by delaying the input moving image signal. The moving image signal processing device according to claim 1, wherein 前記フィルタ係数決定手段は、前記入力動画像信号の複雑さを示す評価値を考慮して前記フィルタ係数を決定することを特徴とする請求項1または請求項2に記載の動画像信号処理装置。 The moving image signal processing apparatus according to claim 1, wherein the filter coefficient determining unit determines the filter coefficient in consideration of an evaluation value indicating complexity of the input moving image signal.
JP2006077343A 2006-03-20 2006-03-20 Video signal processing device Expired - Lifetime JP4266227B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2006077343A JP4266227B2 (en) 2006-03-20 2006-03-20 Video signal processing device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006077343A JP4266227B2 (en) 2006-03-20 2006-03-20 Video signal processing device

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP28091095A Division JP3800435B2 (en) 1995-10-27 1995-10-27 Video signal processing device

Publications (2)

Publication Number Publication Date
JP2006222982A JP2006222982A (en) 2006-08-24
JP4266227B2 true JP4266227B2 (en) 2009-05-20

Family

ID=36984923

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006077343A Expired - Lifetime JP4266227B2 (en) 2006-03-20 2006-03-20 Video signal processing device

Country Status (1)

Country Link
JP (1) JP4266227B2 (en)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4924155B2 (en) * 2007-03-30 2012-04-25 ソニー株式会社 Video signal processing apparatus and video signal processing method
JP5052301B2 (en) * 2007-11-21 2012-10-17 オリンパス株式会社 Image processing apparatus and image processing method
JP2011035776A (en) * 2009-08-04 2011-02-17 Sanyo Electric Co Ltd Video information processing apparatus, and program
EP2801190B1 (en) 2012-04-20 2018-08-15 Huawei Technologies Co., Ltd. Method for processing an image

Also Published As

Publication number Publication date
JP2006222982A (en) 2006-08-24

Similar Documents

Publication Publication Date Title
JP5496914B2 (en) How to assess perceptual quality
CN100373950C (en) Adaptive de-blocking filtering apparatus and method for MPEG video decoder
KR20180059413A (en) Apparatus and method for image coding and decoding
KR100736041B1 (en) Method and apparatus for concealing error of entire frame loss
US6862372B2 (en) System for and method of sharpness enhancement using coding information and local spatial features
EP2141927A1 (en) Filters for video coding
JP4875007B2 (en) Moving picture coding apparatus, moving picture coding method, and moving picture decoding apparatus
TW200535717A (en) Directional video filters for locally adaptive spatial noise reduction
JP2012520025A (en) System and method for processing motion vectors of video data
KR20080108511A (en) Enhanced image/video quality through artifact evaluation
KR20050084266A (en) A unified metric for digital video processing(umdvp)
EP1506525B1 (en) System for and method of sharpness enhancement for coded digital video
EP2630797A1 (en) Error resilient rate distortion optimization for image and video encoding
JP2005513968A (en) Improving temporary consistency in improving image definition
JP5491506B2 (en) Method and apparatus for detecting dark noise artifacts
US20060133490A1 (en) Apparatus and method of encoding moving picture
JP4266227B2 (en) Video signal processing device
KR20040106416A (en) Method of processing digital images for low-rate applications
JP3800435B2 (en) Video signal processing device
JP4592562B2 (en) Image decoding device
US8767831B2 (en) Method and system for motion compensated picture rate up-conversion using information extracted from a compressed video stream
JP2004180344A (en) Moving image signal processing apparatus
JP4909592B2 (en) Moving picture reproduction method, apparatus, and program
KR20120129629A (en) Method of motion estimation and compensation using in-loop preprocessing filtering
JP2005260989A (en) Image processing apparatus and image processing method

Legal Events

Date Code Title Description
TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20090210

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20090213

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120227

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120227

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130227

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140227

Year of fee payment: 5

EXPY Cancellation because of completion of term