JPH09130648A - Moving image signal processor - Google Patents
Moving image signal processorInfo
- Publication number
- JPH09130648A JPH09130648A JP28091095A JP28091095A JPH09130648A JP H09130648 A JPH09130648 A JP H09130648A JP 28091095 A JP28091095 A JP 28091095A JP 28091095 A JP28091095 A JP 28091095A JP H09130648 A JPH09130648 A JP H09130648A
- Authority
- JP
- Japan
- Prior art keywords
- moving image
- image signal
- signal
- pixel
- low
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Abstract
Description
【０００１】[0001]
【発明の属する技術分野】本発明は動画像信号処理装置
に係り、特に動画像信号を高能率に圧縮符号化する動画
像符号化装置および圧縮符号化された信号を復号化して
元の動画像信号を再生する動画像復号化装置において、
圧縮符号化によって生じた符号化歪みを除去したり、動
画像信号のノイズを符号化に先立って除去するのに適し
た動画像信号処理装置に関する。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a moving picture signal processing apparatus, and more particularly to a moving picture coding apparatus for compressing and coding a moving picture signal with high efficiency and an original moving picture by decoding the compressed and coded signal. In a video decoding device that reproduces a signal,
The present invention relates to a moving picture signal processing device suitable for removing coding distortion caused by compression coding and removing noise of a moving picture signal prior to coding.
【０００２】[0002]
【従来の技術】ＴＶ電話、ＴＶ会議システム、携帯情報
端末、デジタルビデオディスクシステムおよびデジタル
ＴＶ放送システムのように、動画像信号を伝送／蓄積す
るシステムにおいては、動画像を少ない情報量に圧縮符
号化し、得られた符号列を伝送路／蓄積媒体へ伝送／蓄
積して、伝送／蓄積された符号列を復号化することによ
って元の動画像信号を再生する。2. Description of the Related Art In a system for transmitting / storing a moving image signal, such as a TV telephone, a TV conference system, a portable information terminal, a digital video disc system and a digital TV broadcasting system, a moving image is compressed into a small amount of information. Then, the obtained code string is transmitted / stored in a transmission line / storage medium, and the transmitted / stored code string is decoded to reproduce the original moving image signal.
【０００３】このようなシステムに適用される動画像信
号の圧縮符号化技術として、動き補償、離散コサイン変
換（ＤＣＴ）、サブバンド符号化、ピラミッド符号化等
の方式やこれらを組み合わせた方式など、様々な方式が
開発されている。また、動画像の圧縮符号化の国際標準
方式として現在、ＩＳＯ・ＭＰＥＧ１、ＭＰＥＧ２、Ｉ
ＴＵ−Ｔ・Ｈ．２６１、Ｈ．２６２が規定されている。
これらの符号化方式はいずれも動き補償適応予測コサイ
ン変換符号化を用いた方式であり、文献１：安田浩編
著、”マルチメディア符号化の国際標準”、丸善、（平
成３年６月）等に詳細が述べられている。As a compression coding technique of a moving image signal applied to such a system, motion compensation, discrete cosine transform (DCT), subband coding, pyramid coding and the like, and a combination of these methods are available. Various methods have been developed. In addition, ISO / MPEG1, MPEG2, I
TU-T.H. 261, H .; 262 is specified.
These coding methods are all methods using motion-compensated adaptive predictive cosine transform coding. Reference 1: Hiroshi Yasuda, "International Standards for Multimedia Coding", Maruzen, (June 1991), etc. For details.
【０００４】動画像信号を圧縮符号化技術を用いて少な
い情報量、例えば、数ｋｂｐｓ〜数１０ｋｂｐｓ程度の
レートまで圧縮符号化できれば、アナログ電話回線、セ
ルラホン、およびＰＨＳ等の無線電話回線でも動画像を
伝送することが可能となり、ＴＶ電話装置、携帯情報端
末、パーソナルコンピュータ等の間で動画像通信が可能
となる。If a moving picture signal can be compressed and coded using a compression coding technique to a small amount of information, for example, a rate of about several kbps to several tens of kbps, a moving picture can be recorded even on a wireless telephone line such as an analog telephone line, a cellular phone and a PHS. It becomes possible to transmit video data, and video communication can be carried out between a TV phone device, a mobile information terminal, a personal computer and the like.
【０００５】ところで、無線伝送路のように伝送路誤り
が多く混入する伝送路で動き補償予測符号化を行った動
画像信号を伝送する場合、誤り耐性を高めるためリフレ
ッシュと呼ばれる方式が用いられることがある。リフレ
ッシュとは、動画像信号の一部分を誤りの影響が後続の
フレームに伝幡しないフレーム内符号化を用いて符号化
する操作である。しかし、リフレッシュを行うと、リフ
レッシュ部分つまりフレーム内符号化を行った部分と、
それ以外の動き補償予測符号化した部分とでは符号化方
法が異なるために復号画像の性質が異なり、リフレッシ
ュ部分とそれ以外の部分の間に違和感を生じて、復号画
像の主観的品質が低下する。By the way, when a moving image signal subjected to motion compensation predictive coding is transmitted on a transmission line such as a wireless transmission line in which a large number of transmission line errors are mixed, a method called refresh is used to increase error tolerance. There is. Refreshing is an operation of encoding a part of a moving image signal using intra-frame encoding in which the influence of an error does not propagate to subsequent frames. However, when refresh is performed, the refresh portion, that is, the portion that has undergone intraframe coding,
The nature of the decoded image is different because the encoding method is different from the other motion-compensated predictive-encoded parts, which causes a feeling of strangeness between the refreshed part and the other parts, which lowers the subjective quality of the decoded image. .
【０００６】一方、動き補償予測の予測効率を改善する
方式として、動きベクトルを画素毎に内挿補間するパッ
チ動き補償と呼ばれる方式がある。しかし、パッチ動き
補償は物体のなめらかな変形を効率良く表すことができ
るという利点がある反面、静止している背景と動物体の
境界部分等の動きが大きく変化している部分では、動き
補償を効率的に行うことができず、大きな符号化歪みが
生じてしまう。On the other hand, as a method for improving the prediction efficiency of motion compensation prediction, there is a method called patch motion compensation in which a motion vector is interpolated for each pixel. However, while patch motion compensation has the advantage that it can efficiently represent a smooth deformation of an object, it does not compensate for motion where there is a large change in the boundary between the stationary background and the moving object. It cannot be performed efficiently and a large coding distortion occurs.
【０００７】また、符号化対象の動画像信号にカメラ入
力の問題等によって、ノイズが混入したりフリッカが生
じたりすると、符号化効率が大きく低下し、結果的に符
号化品質が低下してしまう。特に、符号化ビットレート
が低い場合には、この問題は顕著である。この問題を改
善する方法として、符号化に先立って入力画像信号に帯
域制限フィルタをかける方式がある。しかし、この方式
ではノイズだけでなく本来の信号成分の一部も失われて
しまうため、符号化した画像にぼけを生じてしまう。If noise or flicker occurs in a moving image signal to be encoded due to a problem of camera input or the like, the encoding efficiency is greatly reduced and, as a result, the encoding quality is reduced. . In particular, this problem is remarkable when the encoding bit rate is low. As a method of improving this problem, there is a method of applying a band limiting filter to an input image signal before encoding. However, in this method, not only noise but also a part of the original signal component is lost, so that the encoded image is blurred.
【０００８】さらに、カメラ入力の問題等によって、符
号化対象の動画像信号の画像端、すなわち画面端部に位
置する部分に、黒レベル画素のような画素値が非常に低
く周囲の画素と画素値が大きく異なる画素が帯状に存在
することがある。このような低レベル画素が存在する
と、画像端に近い部分での動きベクトル検出の精度が低
下して符号化効率の低下をもたらしたり、動き補償によ
ってこの低レベル画素が周囲に広がったりして符号化画
像の品質が低下してしまう。Further, due to a problem of camera input or the like, a pixel value such as a black level pixel is very low at a portion located at an image end of a moving image signal to be encoded, that is, a screen end portion, and surrounding pixels and pixels. Pixels having greatly different values may exist in a band shape. The presence of such low-level pixels reduces the accuracy of motion vector detection near the edge of the image, leading to a decrease in coding efficiency. The quality of the digitized image is degraded.
【０００９】[0009]
【発明が解決しようとする課題】上述したように、伝送
路誤りに対する耐性を高めるためにフレーム内符号化な
どによるリフレッシュ符号化を用いる動画像符号化／復
号化装置では、フリフレッシュ符号化を行った部分とそ
れ以外の部分とで復号画像の性質が異なるために復号画
像の主観的品質が低下するという問題があった。As described above, in the moving picture coding / decoding apparatus which uses the refresh coding such as the intraframe coding in order to improve the resistance to the transmission path error, the refresh coding is performed. There is a problem that the subjective quality of the decoded image is deteriorated because the characteristics of the decoded image are different between the part that has been read and the other part.
【００１０】また、パッチ動き補償を行う動画像符号化
／復号化装置では、動きが大きく変化する部分で大きな
符号化歪みを生じてしまうという問題があった。さら
に、従来の動画像符号化／復号化装置では、入力動画像
信号にノイズやフリッカが存在すると符号化効率が低下
し、また画像端に低レベル画素が存在すると符号化品質
が低下するという問題があった。Further, in the moving picture coding / decoding apparatus which performs the patch motion compensation, there is a problem that a large coding distortion occurs in a portion where the motion largely changes. Further, in the conventional moving picture coding / decoding apparatus, if the input moving picture signal has noise or flicker, the coding efficiency is lowered, and if there are low-level pixels at the end of the picture, the coding quality is lowered. was there.
【００１１】本発明は、上述した従来の動画像符号化／
復号化装置の問題点を解決すべくなされたもので、復号
化された動画像信号の符号化歪みや、動画像信号を符号
化する前のノイズ、フリッカなどを効果的に除去できる
動画像信号処理装置を提供することを目的とする。The present invention is based on the above-mentioned conventional moving picture coding /
A moving image signal that has been made to solve the problems of a decoding device, and can effectively remove coding distortion of a decoded moving image signal, noise before encoding the moving image signal, and flicker. An object is to provide a processing device.
【００１２】[0012]
【発明を解決するための手段】上記の課題を解決するた
め、本発明に係る動画像信号処理装置は、入力動画像信
号に対し所定のフィルタ係数に従って時間軸方向のフィ
ルタリング処理を行って出力動画像信号を出力する時間
フィルタ手段と、この時間フィルタ手段におけるフィル
タ係数を少なくとも入力動画像信号と出力動画像信号を
遅延させた信号または入力動画像信号を遅延させた信号
との差分の大きさに応じて決定するフィルタ係数決定手
段とを有することを特徴とする。In order to solve the above problems, a moving picture signal processing apparatus according to the present invention performs filtering processing in the time axis direction on an input moving picture signal in accordance with a predetermined filter coefficient and outputs an output moving picture. The time filter means for outputting the image signal and the filter coefficient in the time filter means are set to have a magnitude of a difference between at least the input moving image signal and the delayed output moving image signal or the delayed input moving image signal. And a filter coefficient determining unit that determines the filter coefficient according to the determination.
【００１３】また、この動画像信号処理装置が複数の符
号化モードを有する動画像符号化装置によって得られた
符号化データから動画像復号装置によって復号された復
号動画像信号を入力動画像信号とする場合、フィルタ係
数決定手段では時間フィルタ手段におけるフィルタ係数
を少なくとも(a) 入力動画像信号と出力動画像信号を遅
延させた信号または入力動画像信号を遅延させた信号と
の差分の大きさ、および(b) 動画像符号化装置の符号化
モードに応じて決定する。Further, the moving image signal processing apparatus has a decoded moving image signal decoded by the moving image decoding apparatus from the encoded data obtained by the moving image encoding apparatus having a plurality of encoding modes as an input moving image signal. In that case, in the filter coefficient determining means, the filter coefficient in the time filter means is at least (a) the magnitude of the difference between the input moving image signal and the delayed output moving image signal or the delayed input moving image signal, And (b) Determined according to the coding mode of the moving picture coding device.
【００１４】この動画像信号処理装置においては、例え
ば入力動画像信号と出力動画像信号または入力動画像信
号を遅延させた信号との差分の大きさが小さい部分、す
なわち静止部分では比較的強い時間フィルタリングをか
けた信号が出力動画像信号として出力されるようにフィ
ルタ係数が決定されることによって、静止部分で特に目
立ちやすい符号化歪みが効果的に軽減される。また、差
分の大きさが大きい部分では復号動画像信号をそのまま
か、あるいは弱い時間フィルタリングをかけて出力動画
像信号として出力されるようにフィルタ係数が決定され
ることにより、シーンチェンジ等によって画像が大きく
変化する場合でも画像の大きな変化が残像として残るこ
とが防止される。In this moving image signal processing apparatus, for example, a portion having a small difference between an input moving image signal and an output moving image signal or a signal obtained by delaying the input moving image signal, that is, a relatively strong time in a stationary portion. By determining the filter coefficient so that the filtered signal is output as the output moving image signal, the coding distortion that is particularly noticeable in the still portion is effectively reduced. In addition, in the part where the magnitude of the difference is large, the decoded moving image signal is left as it is, or the filter coefficient is determined so as to be output as an output moving image signal by performing weak temporal filtering, so that the image is changed by a scene change or the like. Even when there is a large change, a large change in the image is prevented from remaining as an afterimage.
【００１５】また、フィルタ係数をさらに符号化モード
を考慮して決定する場合は、例えばリフレッシュ符号化
を行った部分で比較的強く時間フィルタリングがかかる
ようにフィルタ係数を設定することによって、リフレッ
シュ符号化が行われた部分の符号化モード（フレーム内
符号化モード）と他の部分の符号化モード（動き補償予
測符号化モード）との符号化方式の違いに起因する復号
画像の性質が相違による復号画像の不自然さ解消され
る。Further, when the filter coefficient is determined in consideration of the coding mode, the refresh coding is performed by setting the filter coefficient so that temporal filtering is performed relatively strongly in the portion where the refresh coding is performed. Decoding due to the difference in the characteristics of the decoded image due to the difference in the coding method between the coding mode of the part in which the coding is performed (intra-frame coding mode) and the coding mode of the other part (motion compensation predictive coding mode) The unnaturalness of the image is eliminated.
【００１６】さらに、フィルタ係数をアクティビティ、
すなわち画像の複雑さを示す評価値をも考慮して決定し
てもよく、その場合には例えばアクティビティの高いエ
ッジや細かい絵柄の部分で時間フィルタリングを弱くか
けるか、入力動画像信号をそのまま出力することで、時
間フィルタリングによって生じる画像のぼけを小さく
し、アクティビティが低くまた符号化歪みが目立ちやす
い平坦部分は時間フィルタリングを強くかけることで、
符号化歪みを効果的に抑圧できる。Further, the filter coefficient is defined as an activity,
That is, it may be determined in consideration of the evaluation value indicating the complexity of the image. In that case, for example, the temporal filtering is weakened at the edge of high activity or the portion of the fine pattern, or the input moving image signal is output as it is. By doing so, the blurring of the image caused by temporal filtering is reduced, and the flat portion where the activity is low and the coding distortion is easily noticed is strongly filtered by temporal filtering.
Coding distortion can be effectively suppressed.
【００１７】さらに、本発明においては、入力動画像信
号から画像端に存在する画素値がしきい値以下である低
レベル画素の画素信号を除去する処理を行う低レベル画
素信号除去処理を行った後、上述した時間フィルタリン
グ処理およびフィルタ係数の決定を行ってもよい。Further, according to the present invention, a low level pixel signal removing process is carried out for removing a pixel signal of a low level pixel having a pixel value existing at an image end or less from a threshold value from an input moving image signal. After that, the temporal filtering process and the determination of the filter coefficient described above may be performed.
【００１８】このようにすると、カメラ入力の問題等に
よって生じた画像端に存在する黒レベル画素のような低
レベル画素の画素信号を圧縮符号化前に入力動画像信号
から除去とることにより、符号化効率が向上し、結果的
に符号化品質が向上する。In this way, the pixel signals of low-level pixels such as black-level pixels existing at the end of the image caused by the problem of camera input or the like are removed from the input moving image signal before the compression encoding, thereby the code The coding efficiency is improved, and as a result, the coding quality is improved.
【００１９】また、本発明によると、このような入力動
画像信号から画像端に存在する画素値がしきい値以下で
ある低レベル画素の画素信号を除去する低レベル画素信
号除去処理は、入力動画像信号から画素値がしきい値以
下である低レベル画素を検出し、低レベル画素数が画像
端に何画素あるかを探索し、この低レベル画素の画素値
を探索した低レベル画素数に基づいて決定された低レベ
ル画素以外の画素値で置き換えることによって実現され
る。Further, according to the present invention, the low-level pixel signal removing process for removing the pixel signal of the low-level pixel whose pixel value existing at the image edge is equal to or less than the threshold value from the input moving image signal is input. The number of low-level pixels in which a low-level pixel whose pixel value is less than or equal to the threshold value is detected from the moving image signal, the number of low-level pixels at the image edge is searched, and the pixel value of this low-level pixel is searched. It is realized by replacing with a pixel value other than the low-level pixel determined based on
【００２０】[0020]
【発明の実施の形態】以下、本発明の実施形態を説明す
る。 （第１の実施形態）図１は、本発明の第１の実施形態に
係る動画像信号処理装置である符号化歪み除去装置の構
成を示すブロック図である。この符号化歪み除去装置
は、入力動画像信号として動画像復号化装置からの復号
動画像信号１２１を入力し、この復号動画像信号１２１
に対し巡回型適応時間フィルタ１００により符号化歪み
除去のために時間軸方向のフィルタリング処理（以下、
時間フィルタリング処理という）を行って、出力動画像
信号１２３を出力するものである。Embodiments of the present invention will be described below. (First Embodiment) FIG. 1 is a block diagram showing a configuration of a coding distortion removing apparatus which is a moving image signal processing apparatus according to a first embodiment of the present invention. This coding distortion removing device inputs the decoded moving image signal 121 from the moving image decoding device as an input moving image signal, and the decoded moving image signal 121 is input.
In contrast, the cyclic adaptive temporal filter 100 performs filtering processing in the time axis direction to remove coding distortion (hereinafter,
The output moving image signal 123 is output after performing a time filtering process).
【００２１】時間フィルタ１００は、第１の乗算器１０
１、加算器１０２、フレーム遅延器１０３および第２の
乗算器１０４により構成される。また、時間フィルタ１
００のフィルタ係数（以下、重み係数という）は、重み
係数決定部１０５により決定される。この重み係数決定
部１０５は、フレーム間差分計算部１０６と重み係数計
算部１０７により構成される。The temporal filter 100 includes a first multiplier 10
1, the adder 102, the frame delay device 103, and the second multiplier 104. Also, time filter 1
The filter coefficient of 00 (hereinafter referred to as a weight coefficient) is determined by the weight coefficient determination unit 105. The weighting factor determining unit 105 includes an inter-frame difference calculating unit 106 and a weighting factor calculating unit 107.
【００２２】次に、本実施形態による符号化歪み除去装
置の動作を説明する。入力される復号動画像信号１２１
は、第１の乗算器１０１において重み係数決定部１０５
から出力された第１の重み係数１２５が乗じられた後、
加算器１０２に入力される。加算器１０２からの出力信
号は、出力動画像信号１２３として装置外へ出力される
と共に、フレーム遅延器１０３に入力される。フレーム
遅延器１０３からは、出力動画像信号１２３を１フレー
ム時間遅延させた信号１２４が出力される。このフレー
ム遅延器１０３からの出力信号１２４は、第２の乗算器
１０４で重み係数決定部１０５から出力された第２の重
み係数１２６が乗じられる。第２の乗算器１０４からの
出力信号は、加算器１０２で第１の乗算器１０１からの
出力信号と加算される。Next, the operation of the coding distortion removing apparatus according to the present embodiment will be described. Input decoded video signal 121
Is the weighting factor determining unit 105 in the first multiplier 101.
After being multiplied by the first weighting factor 125 output from
It is input to the adder 102. The output signal from the adder 102 is output to the outside of the device as an output moving image signal 123 and is also input to the frame delay device 103. The frame delay unit 103 outputs a signal 124 obtained by delaying the output moving image signal 123 by one frame time. The output signal 124 from the frame delay unit 103 is multiplied by the second weight coefficient 126 output from the weight coefficient determining unit 105 in the second multiplier 104. The output signal from the second multiplier 104 is added to the output signal from the first multiplier 101 in the adder 102.
【００２３】重み係数決定部１０５は、復号動画像信号
１２１と１フレーム前の出力動画像信号１２４を基にし
て、以下のように画素毎に重み係数１２５，１２６を決
定する。まず、フレーム間差分計算部１０６において、
復号動画像信号１２１と１フレーム前の出力動画像信号
１２４との差分の大きさＤを処理対象画素の周囲±Ｍ画
素を用いて次式に従って計算する。The weighting factor determination unit 105 determines the weighting factors 125 and 126 for each pixel as follows based on the decoded moving image signal 121 and the output moving image signal 124 one frame before. First, in the inter-frame difference calculation unit 106,
The magnitude D of the difference between the decoded moving image signal 121 and the output moving image signal 124 one frame before is calculated according to the following equation using ± M pixels around the pixel to be processed.
【００２４】[0024]
【数１】 (Equation 1)
【００２５】そして、こうして計算した差分の大きさＤ
から、重み係数計算部１０７によって重み係数を計算し
て決定する。図２は、差分の大きさＤと重み係数の関係
の一例を示したものである。図中、縦軸のＷは第２の重
み係数１２６であり、第１の重み係数１２５は（１−
Ｗ）とする。また、ａｔｈ１、ａｔｈ２、ＷＬはあらか
じめ定められた定数である。The magnitude D of the difference calculated in this way
Then, the weighting factor calculation unit 107 calculates and determines the weighting factor. FIG. 2 shows an example of the relationship between the difference magnitude D and the weighting coefficient. In the figure, W on the vertical axis is the second weighting coefficient 126, and the first weighting coefficient 125 is (1-
W). In addition, ath1, ath2, and WL are constants set in advance.
【００２６】このように重み係数決定部１０５では、復
号動画像信号１２１と１フレーム前の出力動画像信号１
２４との差分の大きさＤに応じて重み係数１２５，１２
６が適応的に決定される。すなわち、差分の大きさＤが
小さいときは、Ｗが大きくなるように決定される。これ
により、符号化歪みが目立ちやすい静止部分では、符号
化歪みが加わった復号動画像信号１２１がそのまま出力
されるのではなく、時間フィルタ１００で復号動画像信
号１２１に対して１フレーム前の出力動画像信号１２４
との重み付け加算による時間フィルタリング処理を行っ
た信号が出力動画像信号１２４として出力されることに
よって、符号化歪みが軽減される。As described above, in the weighting factor determining unit 105, the decoded moving image signal 121 and the output moving image signal 1 one frame before are output.
Weighting factors 125, 12 according to the magnitude D of the difference with 24.
6 is adaptively determined. That is, when the magnitude D of the difference is small, W is determined to be large. As a result, in the still portion where the coding distortion is apt to stand out, the decoded video signal 121 to which the coding distortion is added is not output as it is, but the temporal filter 100 outputs one frame before the decoded video signal 121. Video signal 124
By outputting the signal which has been subjected to the time filtering processing by the weighted addition of and as the output moving image signal 124, the coding distortion is reduced.
【００２７】一方、差分の大きさＤがしきい値ａｔｈ２
以上になる部分ではＷ＝０となり、復号動画像信号１２
１がそのまま出力動画像信号１２３として出力される。
このため、シーンチェンジ等により前フレームから画像
が大きく変化する部分でも、画像の大きな変化が残像と
して残ってしまうことは無い。On the other hand, the difference magnitude D is the threshold value ath2.
In the above part, W = 0, and the decoded moving image signal 12
1 is output as it is as the output moving image signal 123.
Therefore, even in a portion where the image greatly changes from the previous frame due to a scene change or the like, a large change in the image does not remain as an afterimage.
【００２８】なお、本実施形態では画素単位の処理を説
明したが、ブロック単位で処理を行ってもよい。 （第２の実施形態）図３は、本発明の第２の実施形態に
係る動画像信号処理装置である符号化歪み除去装置の構
成を示すブロック図であり、差分の大きさＤと重み係数
Ｗの関係を動画像符号化装置の符号化モードや、動画像
符号化装置で求められた動きベクトルの大きさ等に応じ
て切り替えるようにした例である。このため、本実施形
態では動画像復号化装置から復号動画像信号１２１とは
別に、符号化モードや動きベクトルを示す信号（サイド
情報信号という）１２８がフィルタ係数決定部１０５内
の重み係数計算部１０７に入力される。In the present embodiment, the pixel-by-pixel processing has been described, but the processing may be performed in block units. (Second Embodiment) FIG. 3 is a block diagram showing the configuration of a coding distortion removing device which is a moving image signal processing device according to a second embodiment of the present invention. In this example, the relationship of W is switched according to the coding mode of the moving picture coding apparatus, the magnitude of the motion vector obtained by the moving picture coding apparatus, and the like. Therefore, in the present embodiment, a signal (referred to as a side information signal) 128 indicating a coding mode and a motion vector is provided from the moving picture decoding apparatus, separately from the decoded moving picture signal 121, in the filter coefficient determination unit 105. It is input to 107.
【００２９】図４は、伝送路誤りによって生じる画質劣
化の伝幡を抑えるために動画像符号化装置でリフレッシ
ュ符号化を行っている場合に、リフレッシュ符号化を行
った部分とそれ以外の部分で差分の大きさＤと重み係数
Ｗの関係を切り替える例を示している。リフレッシュ符
号化を行った部分に対しては４０１の特性を用い、それ
以外の部分では４０２の特性を用いる。FIG. 4 shows a portion where refresh encoding is performed and a portion other than that when refresh encoding is performed by the moving image encoding apparatus in order to suppress transmission of image quality deterioration caused by a transmission path error. An example of switching the relationship between the difference size D and the weighting factor W is shown. The characteristic of 401 is used for the portion subjected to the refresh encoding, and the characteristic of 402 is used for the other portions.
【００３０】リフレッシュ符号化を行った部分で重み係
数Ｗが大きくなりやすい特性４０１を用いるのは、リフ
レッシュ符号化が行われた部分の符号化モードはフレー
ム内符号化モードであり、他の部分の符号化モード（例
えば動き補償予測符号化モード）と符号化方式が異なる
ために復号画像の性質が異なり、復号画像に不自然さが
生じやすいためである。特に、符号化歪みが目立ちやす
い静止部分や動きが小さい部分では、前フレームまで通
常の動き補償予測符号化モードであった部分がリフレッ
シュ符号化モードであるフレーム内符号化モードに変化
すると、復号画像の性質の変化が視覚的に顕著になって
復号画像の主観品質が低下しやすい。The characteristic 401 in which the weight coefficient W is likely to be large in the refresh-coded portion is used because the coding mode of the refresh-coded portion is the intra-frame coding mode and that of the other portions. This is because the characteristics of the decoded image are different because the encoding mode (for example, the motion compensation predictive encoding mode) and the encoding method are different, and the decoded image is likely to be unnatural. In particular, in a static part where the coding distortion is noticeable or a part where the motion is small, when the part that was in the normal motion compensation predictive coding mode up to the previous frame is changed to the intraframe coding mode that is the refresh coding mode, the decoded image The change in the property of is prominent visually and the subjective quality of the decoded image is likely to deteriorate.
【００３１】これに対し、図４の特性４０１を用いれ
ば、差分の大きさＤが小さくなる静止部分や動きが小さ
い部分では重み係数Ｗ、すなわち１フレーム前の出力動
画像信号１２４に対する重み係数１２６が大きくなる。
従って、復号動画像信号１２１のうちリフレッシュによ
り性質の変化した部分は１フレーム前の出力動画像信号
１２４との重み付け加算が行われ、時間フィルタリング
処理が強くかかるため、画質劣化が小さく抑えられるこ
とになる。On the other hand, if the characteristic 401 of FIG. 4 is used, the weighting coefficient W is set in the still portion or the small movement portion where the difference D is small, that is, the weighting coefficient 126 for the output moving image signal 124 one frame before. Grows larger.
Therefore, the portion of the decoded moving image signal 121 whose property has changed due to refreshing is weighted and added with the output moving image signal 124 one frame before, and the temporal filtering process is strongly applied, so that the deterioration of image quality can be suppressed to a small level. Become.
【００３２】図５は、本実施形態において差分の大きさ
Ｄと重み係数Ｗの関係を切り替えるもう一つの例を示し
たものである。動き補償予測符号化モードでは、重み係
数Ｗが大きくなる図５の特性５０１を用いる。これは、
静止部分と動物体の境界部分で静止部分が動物体の動き
ベクトルによって誤って動き補償されてしまうことによ
って生じる符号化歪みを抑えるためであり、物体の境界
部分で大きな歪みを生じやすいパッチ動き補償の符号化
歪みを低減するのに有効である。FIG. 5 shows another example of switching the relationship between the difference magnitude D and the weighting coefficient W in the present embodiment. In the motion compensation predictive coding mode, the characteristic 501 of FIG. 5 in which the weighting coefficient W becomes large is used. this is,
This is to suppress coding distortion caused by the motion vector of the moving object erroneously compensating for the stationary part at the boundary between the stationary part and the moving object, and patch motion compensation that tends to cause large distortion at the boundary part of the object. It is effective in reducing the coding distortion of.
【００３３】一方、フレーム内符号化モードでは、この
ような歪みは生じないため、重み係数Ｗが小さくなる特
性５０２を用いる。 （第３の実施形態）図６は、本発明の第３の実施形態に
係る動画像信号処理装置である符号化歪み除去装置の構
成を示すブロック図であり、差分の大きさＤと重み係数
Ｗの関係を画像の複雑さを示すアクティビティに応じて
変えるようにした例である。このために、本実施形態で
はフィルタ係数決定部１０５においてアクティビティ計
算部１０８で復号動画像信号１２１のアクティビティを
計算し、これに応じてしきい値計算部１０９が発生する
図７のしきい値ａｔｈ１およびａｔｈ２を変化させる構
成となっている。On the other hand, in the intra-frame coding mode, since such distortion does not occur, the characteristic 502 in which the weighting coefficient W becomes small is used. (Third Embodiment) FIG. 6 is a block diagram showing the configuration of a coding distortion removing apparatus which is a moving image signal processing apparatus according to a third embodiment of the present invention. The difference magnitude D and the weighting coefficient are shown. In this example, the relationship of W is changed according to the activity indicating the complexity of the image. For this reason, in the present embodiment, the activity of the decoded moving image signal 121 is calculated by the activity calculating section 108 in the filter coefficient determining section 105, and the threshold value ath1 of FIG. And ath2 are changed.
【００３４】まず、アクティビティ計算部１０８および
フレーム間差分計算部１０６において、復号動画像信号
１２１のアクティビティ１３１および１フレーム前の出
力動画像信号１２４との差分の大きさ１２７を処理対象
画素の周囲±Ｍ画素で次式に従って計算する。First, in the activity calculation unit 108 and the inter-frame difference calculation unit 106, the magnitude 127 of the difference between the decoded moving image signal 121 from the activity 131 and the output moving image signal 124 one frame before is calculated as ± (around the pixel to be processed). Calculation is performed according to the following formula with M pixels.
【００３５】[0035]
【数２】 (Equation 2)
【００３６】次に、しきい値計算部１０９においてアク
ティビティ２２１から第１のしきい値１３２（ａｔｈ
１）および第２のしきい値１３３（ａｔｈ２）を図７
（ａ）および（ｂ）の特性に基づいて決定する。図７
中、ｔｈ１，ｔｈ２，αはあらかじめ定められた定数で
ある。図７（ａ）（ｂ）の特性を式で表すと、以下のよ
うになる。Next, in the threshold calculation unit 109, from the activity 221 to the first threshold 132 (ath
1) and the second threshold value 133 (ath2) are shown in FIG.
It is determined based on the characteristics of (a) and (b). FIG.
In the above, th1, th2, and α are predetermined constants. The characteristics of FIGS. 7A and 7B are expressed by the following equations.
【００３７】 ａｔｈ１＝ｔｈ１−α・ａｃｔ・ｔｈ１／ｔｈ２ ａｔｈ２＝ｔｈ２−α・ａｃｔ そして、重み係数計算部１０７で差分の大きさ１２７と
第１および第２のしきい値１３２および１３３から図２
に示す特性に従って重み係数１２５，１２６が決定され
る。Ath1 = th1-αactth1 / th2 ath2 = th2-αact Then, the weighting coefficient calculation unit 107 calculates the difference magnitude 127 and the first and second threshold values 132 and 133 from FIG.
Weighting factors 125 and 126 are determined according to the characteristics shown in FIG.
【００３８】このようにアクティビティに応じて時間フ
ィルタ１００の特性を変化させることにより、アクティ
ビティの高い部分、すなわちエッジや細かい絵柄の部分
では、しきい値ａｔｈ１およびａｔｈ２が小さくなって
重み係数Ｗが小さくなる。これによって時間フィルタ１
００での時間フィルタリングの強さが弱くなり、時間フ
ィルタ１００によって生じる画像のぼけが小さく抑えら
れる。By changing the characteristics of the time filter 100 according to the activity in this way, the threshold values ath1 and ath2 are decreased and the weighting coefficient W is decreased in a high activity part, that is, in an edge or a part with a fine pattern. Become. This allows the time filter 1
00, the strength of temporal filtering becomes weak, and the blur of the image caused by the temporal filter 100 is suppressed to a small level.
【００３９】一方、符号化歪みが目立ちやすい平坦部分
はアクティビティが低いことから、重み係数Ｗは大きく
なりやすく、時間フィルタリングが強くかかるため、符
号化歪み抑圧効果が大きくなる。On the other hand, since the flat portion where the coding distortion is prominent has low activity, the weighting coefficient W is likely to be large and the temporal filtering is strongly applied, so that the coding distortion suppressing effect is large.
【００４０】（第４の実施形態）図８は、本発明の第４
の実施形態に係る動画像信号処理装置である符号化歪み
除去装置の構成を示すブロック図である。図１と相対応
する部分に同一の符号を付して第１の実施形態との相違
点を中心に説明すると、本実施形態は空間フィルタ１１
０が新たに追加され、加算器１０２の出力信号は空間フ
ィルタ１１０により空間方向での符号化歪み除去処理が
なされた後に、出力動画像信号１２３として取り出され
る点が異なる。(Fourth Embodiment) FIG. 8 shows a fourth embodiment of the present invention.
3 is a block diagram showing the configuration of a coding distortion removal device that is a moving image signal processing device according to the embodiment of FIG. The parts corresponding to those in FIG. 1 are designated by the same reference numerals, and differences from the first embodiment will be mainly described.
0 is newly added, and the difference is that the output signal of the adder 102 is extracted as the output moving image signal 123 after the spatial filter 110 has performed the coding distortion removal processing in the spatial direction.
【００４１】空間フィルタ１１０は、空間方向のフィル
タリング処理を行うことにより符号化歪みを除去するも
のであり、具体的には例えば隣接画素間の差分の大きさ
に応じて適応的にフィルタの強さを変化させ、画素間差
分が小さい部分はフィルタを強くし画素間差分が大きい
部分はフィルタを弱くする。これにより、エッジを保存
しながらモスキート歪み等の符号化歪みを除去すること
ができる。The spatial filter 110 removes coding distortion by performing filtering processing in the spatial direction. Specifically, for example, the filter strength is adaptively adjusted according to the magnitude of the difference between adjacent pixels. Is changed so that the filter is strengthened in a portion where the difference between pixels is small and the filter is weakened in a portion where the difference between pixels is large. This makes it possible to remove coding distortion such as mosquito distortion while preserving edges.
【００４２】このように本実施形態では、時間フィルタ
１００による時間軸方向の符号化歪み除去に、空間フィ
ルタによる空間方向の符号化歪み除去を組み合わせるこ
とにより、復号動画像信号１２１と１フレーム分の時間
的ずれのある出力動画像信号１２４を重み付け加算処理
することによってまれに生じてしまう残像を取り除くこ
とができ、時間フィルタのみによる場合に比べ出力動画
像信号１２３の品質がさらに向上する。As described above, in the present embodiment, by removing the coding distortion in the time axis direction by the temporal filter 100 and the coding distortion removal in the spatial direction by the spatial filter, the decoded moving image signal 121 and one frame worth of data are combined. By performing weighted addition processing on the output moving image signal 124 having a temporal shift, it is possible to remove an afterimage that rarely occurs, and the quality of the output moving image signal 123 is further improved as compared with the case where only the temporal filter is used.
【００４３】（第５の実施形態）図９は、本発明の第５
の実施形態に係る動画像信号処理装置である符号化歪み
除去装置の構成を示すブロック図である。この符号化歪
み除去装置は、動画像復号化装置から入力される現フレ
ームの復号動画像信号２２１と動画像復号化装置のフレ
ームメモリに記憶されている１フレーム前の復号動画像
信号２２４を入力して、非巡回型適応時間フィルタ２０
０により符号化歪み除去処理を行って出力動画像信号２
２３を出力するものである。(Fifth Embodiment) FIG. 9 shows the fifth embodiment of the present invention.
3 is a block diagram showing the configuration of a coding distortion removal device that is a moving image signal processing device according to the embodiment of FIG. This coding distortion removal apparatus inputs the decoded moving image signal 221 of the current frame input from the moving image decoding apparatus and the decoded moving image signal 224 of one frame before stored in the frame memory of the moving image decoding apparatus. Then, the non-cyclic adaptive temporal filter 20
0 to perform coding distortion removal processing and output moving image signal 2
23 is output.
【００４４】時間フィルタ２００は、第１の乗算器２０
１、加算器２０２および第２の乗算器２０４により構成
される。また、時間フィルタ２００のフィルタ係数（重
み係数という）は、重み係数決定部２０５により決定さ
れる。The temporal filter 200 includes the first multiplier 20.
1, the adder 202 and the second multiplier 204. In addition, the filter coefficient (referred to as a weight coefficient) of the temporal filter 200 is determined by the weight coefficient determination unit 205.
【００４５】入力される現フレームの復号動画像信号２
２１および１フレーム前の復号動画像信号２２８は、第
１、第２の乗算器２０１，２０４で重み係数決定部２０
５から与えられる第１、第２の重み係数が乗じられた
後、加算器２０２に入力されて互いに加算され、この加
算器２０２の出力信号が出力動画像信号２２３として装
置外へ出力される。Input current frame decoded moving image signal 2
21 and the decoded video signal 228 one frame before are processed by the weighting factor determining unit 20 in the first and second multipliers 201 and 204.
After being multiplied by the first and second weighting factors given by 5, the signals are input to the adder 202 and added to each other, and the output signal of the adder 202 is output to the outside of the apparatus as the output moving image signal 223.
【００４６】重み係数決定部２０５では、第１〜第４の
実施形態のいずれかにおける重み係数決定部１０５と同
様にして重み係数を決定する。ただし、フレーム間差分
Ｄは復号動画像信号２２１と１フレーム前の復号動画像
信号２２４との差分として、次式に従って計算する。The weighting factor determining unit 205 determines the weighting factor in the same manner as the weighting factor determining unit 105 in any of the first to fourth embodiments. However, the inter-frame difference D is calculated as the difference between the decoded moving image signal 221 and the decoded moving image signal 224 one frame before according to the following equation.
【００４７】[0047]
【数３】 (Equation 3)
【００４８】このように本実施形態の符号化歪み除去装
置では、第１〜第４の実施形態で用いた巡回型の適応時
間フィルタ１００に対して非巡回型の時間フィルタ２０
０により符号化歪み除去処理を行う。このため、第１〜
第４の実施形態に比べて符号化歪み除去性能は若干低下
するものの、第１〜第４の実施形態のように１フレーム
前の出力動画像信号と現フレームの復号動画像信号との
重み付け加算をとることによって生じる残像は少なくな
る。また、本実施形態では動画像復号化装置から１フレ
ーム前の復号動画像信号２２４を取り出すので、符号化
歪み除去装置内にフレーム遅延器を設ける必要は無く、
ハードウェア量が削減される。As described above, in the coding distortion eliminator of this embodiment, the non-recursive temporal filter 20 is different from the cyclic adaptive temporal filter 100 used in the first to fourth embodiments.
When 0, the coding distortion removal processing is performed. For this reason,
Although the coding distortion removal performance is slightly reduced as compared with the fourth embodiment, weighted addition of the output moving image signal of one frame before and the decoded moving image signal of the current frame as in the first to fourth embodiments. The afterimage caused by taking is small. Further, in the present embodiment, since the decoded moving image signal 224 one frame before is taken out from the moving image decoding device, it is not necessary to provide a frame delay device in the coding distortion removing device,
The amount of hardware is reduced.
【００４９】ただし、動画像復号化装置の構成によって
は、１フレーム前の復号動画像信号２２４を出力できな
い場合がある。この場合は、図９中に示すように符号化
歪み除去装置内に現フレームの復号動画像信号２２１を
１フレーム時間遅延させるフレーム遅延器２０３を設け
て、１フレーム前の復号動画像信号２２４を生成すれば
よい。However, depending on the structure of the moving picture decoding apparatus, there is a case where the decoded moving picture signal 224 of one frame before cannot be output. In this case, as shown in FIG. 9, a frame delay unit 203 that delays the decoded moving image signal 221 of the current frame by one frame time is provided in the coding distortion removal apparatus, and the decoded moving image signal 224 of one frame before is output. Just generate it.
【００５０】（第６の実施形態）図１０は、本発明の第
６の実施形態に係る動画像信号処理装置の構成を示すブ
ロック図であり、第１〜第５の実施形態と異なり、動画
像符号化装置において動画像信号の圧縮符号化に先立っ
てノイズやフリッカ等を抑圧する装置である。(Sixth Embodiment) FIG. 10 is a block diagram showing the arrangement of a moving picture signal processing apparatus according to the sixth embodiment of the present invention. Unlike the first to fifth embodiments, a moving image is shown. It is a device that suppresses noise, flicker, etc. prior to compression coding of a moving image signal in an image coding device.
【００５１】入力の動画像信号３２１は、まず画像黒縁
除去処理部３０６に入力され、カメラ入力の問題等によ
って生じた画像端に存在する黒レベル画素、すなわち画
素値が所定のしきい値以下である低レベル画素の画素信
号を動画像信号３２１から除去する処理が行われる。The input moving image signal 321 is first input to the image black edge removal processing unit 306, and a black level pixel existing at an image end caused by a problem of camera input or the like, that is, a pixel value is below a predetermined threshold value. A process of removing a pixel signal of a certain low-level pixel from the moving image signal 321 is performed.
【００５２】図１１は、この画像黒縁除去処理を説明す
るための図であり、画像左端に存在する黒レベル画素を
取り除く処理の例を示している。図１１において黒丸は
黒レベル画素、白丸は黒レベル以外の画素をそれぞれ表
す。FIG. 11 is a diagram for explaining this image black edge removal processing, and shows an example of processing for removing the black level pixels existing at the left end of the image. In FIG. 11, black circles represent black level pixels, and white circles represent pixels other than black level pixels.
【００５３】［ステップ１］まず、画像左端から順に黒
レベル画素を検出する。画素が黒レベル画素かどうかの
判定は、画素値があらかじめ定められたしきい値以下か
どうかにより行えばよい。[Step 1] First, black level pixels are sequentially detected from the left end of the image. The determination as to whether the pixel is a black level pixel may be made based on whether the pixel value is less than or equal to a predetermined threshold value.
【００５４】［ステップ２］次に、黒レベル画素が画像
左端から数えて何画素連続して存在するかを各水平ライ
ン毎に探索する。このようにして探索された画像左端か
らの黒レベル画素数をＮｓｂとする。[Step 2] Next, for each horizontal line, the number of consecutive black level pixels counted from the left end of the image is searched for. The number of black level pixels from the left end of the image searched in this way is Nsb.
【００５５】［ステップ３］そして、黒レベル画素の画
素信号をそれよりもＮｆ（任意の整数）個右にある画素
の画素信号で置き換える。以上の処理を図１１中の最上
部の水平ラインの例で説明すると、画像左端から２つの
黒レベル画素１１０１，１１０２が存在するので、黒レ
ベル画素数Ｎｓｂは２となる。ここでＮｆ＝２とすれ
ば、画像左端からＮｓｂ＋Ｎｆ−１個の画素１１０１〜
１１０３を画像左端からＮｓｂ番目の画素１１０４の画
素値で置き換えることになる。[Step 3] Then, the pixel signal of the black level pixel is replaced with the pixel signal of the pixel Nf (arbitrary integer) right of the pixel signal. The above process will be described with reference to the example of the uppermost horizontal line in FIG. 11. Since there are two black level pixels 1101 and 1102 from the left end of the image, the black level pixel number Nsb is 2. Here, if Nf = 2, Nsb + Nf-1 pixels 1101 to Nsb + Nf-1 from the left end of the image.
1103 is replaced with the pixel value of the Nsb-th pixel 1104 from the left end of the image.
【００５６】画像の上端、右端、下端にも黒レベル画素
が存在する場合には、上記の画像左端に存在する画素に
対する処理と同様に、黒レベル画素の画素信号を他の画
素の画素信号で置き換える処理を行えばよい。When black level pixels are present at the upper edge, the right edge and the lower edge of the image, the pixel signal of the black level pixel is converted into the pixel signal of another pixel in the same manner as the processing for the pixel present at the left edge of the image. The replacement process may be performed.
【００５７】なお、画像端に大きな幅の黒レベル画素値
が存在する場合、これに対して上記の画素置き換え処理
を行うと、画像に違和感が生じてしまうことがある。こ
れを防ぐため、黒レベル画素数Ｎｓｂが一定値以上にな
る場合には、上記の画素置き換え処理は行わないように
してもよい。When a black level pixel value having a large width exists at the edge of the image, the above pixel replacement process may be performed on the black level pixel value, which may cause an uncomfortable feeling in the image. In order to prevent this, the above pixel replacement process may not be performed when the black level pixel number Nsb becomes a certain value or more.
【００５８】図１０に説明を戻すと、黒縁除去処理部３
０６で画像端に存在する黒レベル画素の画素信号を除去
する処理がなされた後の動画像信号は、巡回型適応時間
フィルタ３００によってノイズやフリッカなどが除去さ
れる。巡回型適応時間フィルタ３００とそのフィルタ係
数（重み係数）を決定する重み係数決定部３０５は、第
１〜第４の実施形態で説明したのと同様の構成となって
おり、乗算器３０１、加算器３０２、フレーム遅延器３
０３および乗算器３０４は、例えば図１における乗算器
１０１、加算器１０２、フレーム遅延器１０３および乗
算器１０４と同様の動作を行う。重み係数部３０５での
重み係数の決定も第１〜第４の実施形態と同様に行う
が、先に示したＷＬ，ｔｈ１，ｔｈ２，α等の定数は、
入力動画像信号３２１またはこれを画像黒縁除去３０６
を通した動画像信号の性質に合わせて定められものとす
る。Returning to FIG. 10, the black edge removal processing unit 3
Noise and flicker are removed by the cyclic adaptive temporal filter 300 from the moving image signal after the process of removing the pixel signal of the black level pixel existing at the image end in 06. The cyclic adaptive temporal filter 300 and the weighting coefficient determination unit 305 that determines the filter coefficient (weighting coefficient) thereof have the same configuration as described in the first to fourth embodiments, and include the multiplier 301 and the addition. Device 302, frame delay device 3
03 and the multiplier 304 perform the same operation as the multiplier 101, the adder 102, the frame delay 103 and the multiplier 104 in FIG. 1, for example. The determination of the weighting coefficient in the weighting coefficient section 305 is performed in the same manner as in the first to fourth embodiments, but the constants such as WL, th1, th2, and α shown above are
The input moving image signal 321 or this image black border removal 306
It shall be determined in accordance with the characteristics of the moving image signal passed through.
【００５９】なお、前記実施形態においてはフレーム間
差分Ｄおよびアクティビティａｃｔは絶対値和により計
算する例を示したが、次式のように二乗和、重み付き絶
対値和、重み付き二乗和を用いて計算してもよい。In the above embodiment, an example in which the interframe difference D and the activity act are calculated by the sum of absolute values is shown. However, the sum of squares, the sum of weighted absolute values, and the sum of squared weights are used as in the following equation. You may calculate it.
【００６０】[0060]
【数４】 ここで、ｗａ，ｗＤはｋ，ｌに応じて重みをつける係数
である。(Equation 4) Here, wa and wD are coefficients for weighting according to k and l.
【００６１】[0061]
【発明の効果】以上説明したように、本発明の画像信号
処理装置によれば、動画像信号の圧縮符号化によって生
じた符号化歪みを除去し、復号画像の品質を高めること
ができる。また、圧縮符号化を行う動画像信号に存在す
るノイズ、フリッカ、黒縁などを除去して圧縮符号化の
効率を高め、符号化品質を向上させることができる。As described above, according to the image signal processing apparatus of the present invention, the coding distortion caused by the compression coding of the moving image signal can be removed and the quality of the decoded image can be improved. Further, noise, flicker, black edges, etc. existing in the moving image signal to be compression-encoded can be removed to improve the efficiency of compression-encoding and improve the encoding quality.
【図１】本発明の第１の実施形態に係る動画像信号処理
装置の構成を示すブロック図FIG. 1 is a block diagram showing a configuration of a moving image signal processing apparatus according to a first embodiment of the present invention.
【図２】同実施形態におけるフレーム間差分と重み係数
の関係を示す図FIG. 2 is a diagram showing a relationship between an inter-frame difference and a weighting coefficient in the same embodiment.
【図３】本発明の第２の実施形態に係る動画像信号処理
装置の構成を示すブロック図FIG. 3 is a block diagram showing a configuration of a moving image signal processing apparatus according to a second embodiment of the present invention.
【図４】同実施形態におけるフレーム間差分と重み係数
の関係の第１の例を示す図FIG. 4 is a diagram showing a first example of a relationship between a difference between frames and a weighting coefficient in the same embodiment.
【図５】同実施形態におけるフレーム間差分と重み係数
の関係の第２の例を示す図FIG. 5 is a diagram showing a second example of the relationship between the inter-frame difference and the weighting coefficient in the same embodiment.
【図６】本発明の第３の実施形態に係る動画像信号処理
装置の構成を示すブロック図FIG. 6 is a block diagram showing a configuration of a moving image signal processing apparatus according to a third embodiment of the present invention.
【図７】同実施形態におけるアクティビティとしきい値
の関係を示す図FIG. 7 is a diagram showing a relationship between an activity and a threshold value in the same embodiment.
【図８】本発明の第４の実施形態に係る動画像信号処理
装置の構成を示すブロック図FIG. 8 is a block diagram showing a configuration of a moving image signal processing device according to a fourth embodiment of the present invention.
【図９】本発明の第５の実施形態に係る動画像信号処理
装置の構成を示すブロック図FIG. 9 is a block diagram showing a configuration of a moving image signal processing device according to a fifth embodiment of the present invention.
【図１０】本発明の第６の実施形態に係る動画像信号処
理装置の構成を示すブロック図FIG. 10 is a block diagram showing a configuration of a moving image signal processing device according to a sixth embodiment of the present invention.
【図１１】同実施形態に係る動画像信号処理装置の動作
を説明するための図FIG. 11 is a view for explaining the operation of the moving image signal processing apparatus according to the same embodiment.
１００…巡回型適応時間フィルタ １０１…乗算器 １０２…加算器 １０３…フレーム遅延器 １０４…乗算器 １０５…フィルタ係数決定部 １０６…フレーム間差分計算部 １０７…重み係数計算部 １０８…アクティビティ計算部 １０９…しきい値計算部 １１０…空間フィルタ １２１…復号動画像信号 １２３…出力動画像信号 １２４…１フレーム前の出力動画像信号 １２５，１２６…重み係数 １２７…フレーム間差分 １２８…サイド情報信号 １３１…アクティビティ １３２，１３３…しきい値 ２００…非巡回型適応時間フィルタ ２０１…乗算器 ２０２…加算器 ２０３…フレーム遅延器 ２０４…乗算器 ２０５…フィルタ係数決定部 ３００…巡回型適応時間フィルタ ３０１…乗算器 ３０２…加算器 ３０３…フレーム遅延器 ３０４…乗算器 ３０５…フィルタ係数決定部 ３０６…画像黒縁除去部 ３２１…入力動画像信号 ３２３…出力動画像信号 ３２４…１フレーム前の出力動画像信号 ３２５，３２６…重み係数 ４０１…リフレッシュモードでのフレーム間差分と重み
係数の関係 ４０２…リフレッシュ以外のモードでのフレーム間差分
と重み係数の関係 ５０１…動き補償モードでのフレーム間差分と重み係数
の関係 ５０２…フレーム内符号化モードでのフレーム間差分と
重み係数の関係100 ... Cyclic adaptive time filter 101 ... Multiplier 102 ... Adder 103 ... Frame delay device 104 ... Multiplier 105 ... Filter coefficient determination unit 106 ... Interframe difference calculation unit 107 ... Weighting coefficient calculation unit 108 ... Activity calculation unit 109 ... Threshold calculation unit 110 ... Spatial filter 121 ... Decoded moving image signal 123 ... Output moving image signal 124 ... Output moving image signal 125, 126 ... One frame before ... Weight coefficient 127 ... Difference between frames 128 ... Side information signal 131 ... Activity 132, 133 ... Threshold value 200 ... Non-cyclic adaptive time filter 201 ... Multiplier 202 ... Adder 203 ... Frame delay device 204 ... Multiplier 205 ... Filter coefficient determination unit 300 ... Cyclic adaptive time filter 301 ... Multiplier 302 ... adder 303 ... frame delay device 304 ... power Unit 305 ... Filter coefficient determining unit 306 ... Image black edge removing unit 321 ... Input moving image signal 323 ... Output moving image signal 324 ... Output moving image signal one frame before 325, 326 ... Weighting factor 401 ... Difference between frames in refresh mode Relationship between frame-to-frame difference and weight coefficient in modes other than refresh 501: Relationship between frame-to-frame difference and weight coefficient in motion compensation mode 502 ... Frame-to-frame difference and weight in intra-frame coding mode Coefficient relationship
Claims (6)
に従って時間軸方向のフィルタリング処理を行って出力
動画像信号を出力する時間フィルタ手段と、 前記時間フィルタ手段におけるフィルタ係数を少なくと
も入力動画像信号と前記出力動画像信号を遅延させた信
号または前記入力動画像信号を遅延させた信号との差分
の大きさに応じて決定するフィルタ係数決定手段とを有
することを特徴とする動画像信号処理装置。1. A time filter means for filtering an input moving image signal according to a predetermined filter coefficient in a time axis direction to output an output moving image signal, and at least a filter coefficient in the time filter means for the input moving image signal. And a filter coefficient deciding means for deciding according to the magnitude of the difference between the signal obtained by delaying the output moving image signal or the signal obtained by delaying the input moving image signal. .
装置によって得られた符号化データから動画像復号装置
によって復号された復号動画像信号を入力動画像信号と
し、この入力動画像信号を処理する動画像信号処理装置
において、 前記入力動画像信号に対し所定のフィルタ係数に従って
時間軸方向のフィルタリング処理を行って出力動画像信
号を出力する時間フィルタ手段と、 前記時間フィルタ手段におけるフィルタ係数を少なくと
も(a) 入力動画像信号と前記出力動画像信号を遅延させ
た信号または前記入力動画像信号を遅延させた信号との
差分の大きさ、および(b) 前記動画像符号化装置の符号
化モードに応じて決定するフィルタ係数決定手段とを有
することを特徴とする動画像信号処理装置。2. A decoded moving picture signal decoded by a moving picture decoding apparatus from coded data obtained by a moving picture coding apparatus having a plurality of coding modes is used as an input moving picture signal, and this input moving picture signal is used. In the moving image signal processing device for processing, a time filter unit for performing an output moving image signal by performing a filtering process in the time axis direction on the input moving image signal according to a predetermined filter coefficient, and a filter coefficient in the time filter unit. At least (a) the magnitude of the difference between the input moving image signal and the signal obtained by delaying the output moving image signal or the signal obtained by delaying the input moving image signal, and (b) the encoding of the moving image encoding device. A moving image signal processing apparatus, comprising: a filter coefficient determining unit that determines in accordance with a mode.
値がしきい値以下である低レベル画素の画素信号を除去
する処理を行う低レベル画素信号除去手段と、 前記低レベル画素信号除去手段により処理された入力動
画像信号に対し所定のフィルタ係数に従って時間軸方向
のフィルタリング処理を行って出力動画像信号を出力す
る時間フィルタ手段と、 前記時間フィルタ手段におけるフィルタ係数を少なくと
も前記低レベル画素信号除去手段により処理された入力
動画像信号と前記出力動画像信号を遅延させた信号また
は前記入力動画像信号を遅延させた信号との差分の大き
さに応じて決定するフィルタ係数決定手段とを有するこ
とを特徴とする動画像信号処理装置。3. Low-level pixel signal removing means for performing a process of removing a pixel signal of a low-level pixel whose pixel value existing at an image edge is equal to or less than a threshold value from an input moving image signal, said low-level pixel signal removing means Means for filtering the input moving image signal processed by the means in the time axis direction according to a predetermined filter coefficient to output an output moving image signal, and a filter coefficient in the time filter means for at least the low-level pixel Filter coefficient determining means for determining according to the magnitude of the difference between the input moving image signal processed by the signal removing means and the output moving image signal delayed signal or the input moving image signal delayed signal. A moving image signal processing apparatus having.
画像信号の複雑さを示す評価値を考慮して前記フィルタ
係数を決定することを特徴とする請求項１または２に記
載の動画像信号処理装置。4. The moving picture signal according to claim 1, wherein the filter coefficient deciding means decides the filter coefficient in consideration of an evaluation value indicating the complexity of the input moving picture signal. Processing equipment.
画像信号から画素値がしきい値以下である低レベル画素
を検出し、低レベル画素数が画像端に何画素存在するか
を探索し、前記低レベル画素の画素値を前記低レベル画
素数に基づいて決定された低レベル画素以外の画素値で
置き換えることによって画像端に存在する前記低レベル
画素の画素信号を除去することを特徴とする請求項３に
記載の動画像信号処理装置。5. The low-level pixel signal removing means detects low-level pixels whose pixel value is less than or equal to a threshold value from the input moving image signal, and searches for how many low-level pixel numbers are present at the image edge. Then, the pixel signal of the low-level pixel existing at the image edge is removed by replacing the pixel value of the low-level pixel with a pixel value other than the low-level pixel determined based on the number of low-level pixels. The moving image signal processing apparatus according to claim 3.
値がしきい値以下である低レベル画素の画素信号を除去
する低レベル画素信号除去方法において、 前記入力動画像信号から画素値がしきい値以下である低
レベル画素を検出し、低レベル画素数が画像端に何画素
あるかを探索し、前記低レベル画素の画素値を前記探索
した低レベル画素数に基づいて決定された低レベル画素
以外の画素値で置き換えることによって画像端に存在す
る前記低レベル画素の画素信号を除去することを特徴と
する低レベル画素信号除去方法。6. A low-level pixel signal removing method for removing a pixel signal of a low-level pixel whose pixel value existing at an image end is equal to or less than a threshold value from an input moving image signal, wherein A low-level pixel that is less than or equal to a threshold value is detected, the number of low-level pixels at the image edge is searched, and the pixel value of the low-level pixel is determined based on the searched low-level pixel number. A method for removing a low-level pixel signal, characterized in that the pixel signal of the low-level pixel existing at an image edge is removed by replacing with a pixel value other than the low-level pixel.
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP28091095A JP3800435B2 (en) | 1995-10-27 | 1995-10-27 | Video signal processing device |
| US08/740,125 US6064776A (en) | 1995-10-27 | 1996-10-24 | Image processing apparatus |
| EP96307722A EP0771116A3 (en) | 1995-10-27 | 1996-10-25 | Image processing apparatus |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP28091095A JP3800435B2 (en) | 1995-10-27 | 1995-10-27 | Video signal processing device |
Related Child Applications (2)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2004030523A Division JP2004180344A (en) | 2004-02-06 | 2004-02-06 | Moving image signal processing apparatus |
| JP2006077343A Division JP4266227B2 (en) | 2006-03-20 | 2006-03-20 | Video signal processing device |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH09130648A true JPH09130648A (en) | 1997-05-16 |
| JP3800435B2 JP3800435B2 (en) | 2006-07-26 |
Family
ID=17631651
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP28091095A Expired - Lifetime JP3800435B2 (en) | 1995-10-27 | 1995-10-27 | Video signal processing device |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3800435B2 (en) |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2003032676A (en) * | 2001-07-19 | 2003-01-31 | Mega Chips Corp | System and program for decoding image |
| JP2003535521A (en) * | 2000-05-31 | 2003-11-25 | トムソン ライセンシング ソシエテ アノニム | Apparatus and method for motion-compensated recursive filtering of video images prior to encoding and corresponding encoding system |
| JP2005524347A (en) * | 2002-05-01 | 2005-08-11 | トムソン ライセンシング ソシエテ アノニム | Conditional deblocking filter based on pixel brightness |
| JP2008508751A (en) * | 2004-07-30 | 2008-03-21 | アルゴリス インコーポレイテッド | Apparatus and method for adaptive 3D fictitious video reduction for encoded image signals |
| JP2009077240A (en) * | 2007-09-21 | 2009-04-09 | Hitachi Ltd | Image processing apparatus and image processing method |
| WO2012060128A1 (en) * | 2010-11-02 | 2012-05-10 | Sharp Kabushiki Kaisha | Motion-compensated temporal filtering based on variable filter parameters |
| US8526498B2 (en) | 2007-02-09 | 2013-09-03 | Panasonic Corporation | Video coding apparatus, video coding method, and video decoding apparatus |
-
1995
- 1995-10-27 JP JP28091095A patent/JP3800435B2/en not_active Expired - Lifetime
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2003535521A (en) * | 2000-05-31 | 2003-11-25 | トムソン ライセンシング ソシエテ アノニム | Apparatus and method for motion-compensated recursive filtering of video images prior to encoding and corresponding encoding system |
| JP4753522B2 (en) * | 2000-05-31 | 2011-08-24 | トムソン ライセンシング | Apparatus, method and encoding system corresponding to motion compensation recursive filtering of video images before encoding |
| JP2003032676A (en) * | 2001-07-19 | 2003-01-31 | Mega Chips Corp | System and program for decoding image |
| JP4617442B2 (en) * | 2001-07-19 | 2011-01-26 | 株式会社メガチップス | Image decoding method and program |
| JP2005524347A (en) * | 2002-05-01 | 2005-08-11 | トムソン ライセンシング ソシエテ アノニム | Conditional deblocking filter based on pixel brightness |
| JP2008508751A (en) * | 2004-07-30 | 2008-03-21 | アルゴリス インコーポレイテッド | Apparatus and method for adaptive 3D fictitious video reduction for encoded image signals |
| US8526498B2 (en) | 2007-02-09 | 2013-09-03 | Panasonic Corporation | Video coding apparatus, video coding method, and video decoding apparatus |
| JP2009077240A (en) * | 2007-09-21 | 2009-04-09 | Hitachi Ltd | Image processing apparatus and image processing method |
| WO2012060128A1 (en) * | 2010-11-02 | 2012-05-10 | Sharp Kabushiki Kaisha | Motion-compensated temporal filtering based on variable filter parameters |
| US9036695B2 (en) | 2010-11-02 | 2015-05-19 | Sharp Laboratories Of America, Inc. | Motion-compensated temporal filtering based on variable filter parameters |
Also Published As
| Publication number | Publication date |
|---|---|
| JP3800435B2 (en) | 2006-07-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US6064776A (en) | Image processing apparatus | |
| EP1246131B1 (en) | Method and apparatus for the reduction of artifact in decompressed images using post-filtering | |
| JP3266416B2 (en) | Motion compensated interframe coding / decoding device | |
| US5565921A (en) | Motion-adaptive image signal processing system | |
| US6862372B2 (en) | System for and method of sharpness enhancement using coding information and local spatial features | |
| US7787541B2 (en) | Dynamic pre-filter control with subjective noise detector for video compression | |
| EP1506525B1 (en) | System for and method of sharpness enhancement for coded digital video | |
| US6873657B2 (en) | Method of and system for improving temporal consistency in sharpness enhancement for a video signal | |
| US20060093232A1 (en) | Unified metric for digital video processing (umdvp) | |
| US20090080517A1 (en) | Method and Related Device for Reducing Blocking Artifacts in Video Streams | |
| JP4266227B2 (en) | Video signal processing device | |
| JP3800435B2 (en) | Video signal processing device | |
| JP2007124580A (en) | Moving picture encoding program, program storage medium and encoder | |
| JPH0710103B2 (en) | Image coding transmission device | |
| JPH07336684A (en) | Picture signal decoding device | |
| JP2005260989A (en) | Image processing apparatus and image processing method | |
| JP2004180344A (en) | Moving image signal processing apparatus | |
| JPH0993580A (en) | Image decoder | |
| JPH07274165A (en) | Image information compression device | |
| JPH06141303A (en) | Decoder | |
| KR20050079690A (en) | Method for filtering |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20031209 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040206 |
|
| A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20040224 |
|
| A912 | Re-examination (zenchi) completed and case transferred to appeal board |
Free format text: JAPANESE INTERMEDIATE CODE: A912 Effective date: 20040319 |
|
| RD13 | Notification of appointment of power of sub attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7433 Effective date: 20060210 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20060210 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060320 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20060420 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090512 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100512 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110512 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110512 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120512 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120512 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130512 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130512 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140512 Year of fee payment: 8 |
|
| EXPY | Cancellation because of completion of term |