JP2606523B2 - 予測符号化装置及び復号化装置 - Google Patents

予測符号化装置及び復号化装置

Info

Publication number
JP2606523B2
JP2606523B2 JP7846792A JP7846792A JP2606523B2 JP 2606523 B2 JP2606523 B2 JP 2606523B2 JP 7846792 A JP7846792 A JP 7846792A JP 7846792 A JP7846792 A JP 7846792A JP 2606523 B2 JP2606523 B2 JP 2606523B2
Authority
JP
Japan
Prior art keywords
motion vector
prediction
signal
integer
frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP7846792A
Other languages
English (en)
Other versions
JPH05244585A (ja
Inventor
賢二 杉山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Victor Company of Japan Ltd
Original Assignee
Victor Company of Japan Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Victor Company of Japan Ltd filed Critical Victor Company of Japan Ltd
Priority to JP7846792A priority Critical patent/JP2606523B2/ja
Publication of JPH05244585A publication Critical patent/JPH05244585A/ja
Application granted granted Critical
Publication of JP2606523B2 publication Critical patent/JP2606523B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Description

【発明の詳細な説明】
【0001】
【産業上の利用分野】本発明は、ディジタル画像信号の
記録・伝送・表示を行うために、動画像の高能率符号復
号化をする装置に係り、特に動きベクトルにより1画素
未満の精度で動き補償してフレーム間またはフィールド
間予測する符号復号化装置に関するものである。
【0002】
【従来の技術】動画像の高能率符号化において、画像信
号のフレーム間の相関を利用し、符号化されるフレーム
を符号化の済んだフレームで予測して、予測誤差のみを
符号化するフレーム間予測符号化がある。その場合、画
像を動きに合わせて移動させて予測する動き補償フレー
ム間予測が一般的になっている。
【0003】<リーク予測>フレーム間符号化では、伝
送路での符号誤りやATM回線でのセルロスが生じる
と、それによっておこる画質劣化が次のフレームに波及
し、長い時間画像劣化が発生する。この画質劣化を早く
収束させるためには、予測係数を完全に1とせず、例え
ば0.9として、前のフレームの画像が完全には残らな
いようにする。この手法はリーク予測と呼ばれ、その符
号化装置の構成例は図5のようになる。図5は基本的な
動き補償フレーム間予測符号化装置に乗算器31が追加
され、予測信号に予測係数kが掛けられるものである。
【0004】図5で画像入力1より入力された入力画像
信号は、予測減算器2の被減算入力に入力される。予測
減算器2は減算入力に乗算器31より予測信号が入力さ
れ、それが入力画像信号から減算され、残差信号が出力
される。残差信号はフレーム内符号化器4に入力され、
DCTなどの手段で空間的な冗長成分が除かれた圧縮デ
ータとなる。圧縮データはデータ出力5から出力される
共に、フレーム内復号器12に導かれる。フレーム内復
号器12では圧縮データが復号され、再生された残差信
号は加算器11で予測信号が加算されて再生画像信号に
なる。再生画像信号はフレームメモリ10に蓄えられ、
1フレーム遅延させられ動き補償器33に入力される。
動き補償器33は動きベクトル(MV)検出器6より
与えられるMV情報により、再生画像信号をMVの分だ
け移動させ、動き補償信号として乗算器31に与える。
乗算器31では動き補償信号をk倍して予測信号を得
て、予測減算器2および加算器11に与える。
【0005】ここで、フレーム間予測の予測係数はkに
なり、kは0.9程度の値とする。この場合、あるフレ
ームで発生した画質劣化の影響は、1秒後には(0.
9)30すなわち約0.04程度になる。kの値は小さい
方が収束は早くなるが、予測効率は1に近いほうが高い
ので、あまり小さくはしない。MV検出器6は入力画像
信号と予測に使われるフレームの画像信号との間の動き
ベクトル(MV)をブロック単位で求め、そのMV情報
を動き補償器33に与えると共に、MV出力13より復
号化装置に向けて出力する。
【0006】図5に対応する復号化装置の構成例を図6
に示す。復号化装置の動作は符号化装置の局部復号部分
と基本的に同じである。データ入力20から入力される
圧縮データはフレーム内復号器12で復号され、再生さ
れた残差信号は加算器11で予測信号が加算され、再生
画像信号となる。再生画像信号は画像出力21から出力
されると共にフレームメモリ10に与えられ、1フレー
ム遅延させられた後、動き補償器33に入力される。動
き補償器33では、MV入力22を通って符号化装置よ
り与えられるMV情報により、再生画像信号をMVの分
だけ移動させ、動き補償信号として乗算器31に与え
る。乗算器31では動き補償信号をk倍して予測信号を
得て加算器11に与える。
【0007】<ループフィルタ>符号誤りによる影響を
考慮する必要がない場合でも、量子化誤差の残留を防ぐ
ため、ループフィルタと呼ばれるローパスフィルタ(L
PF)を、予測信号に適用することがある。この場合の
符号化装置の構成例を図7に示す。図7は乗算器31が
LPF32に変えられている以外は図5と同じで、基本
的な動作は同じである。LPF32により、図5でのk
が予測信号の空間周波数によって変わることになる。ま
たLPF32はブロック単位の処理で、ブロックの端で
はフィルタのタップが、ブロックの外に出ないようにす
る。復号化装置の構成例を図8に示す。図8も乗算器3
1がLPF32に変えられている以外は図6と同じで、
基本的な動作は同じである。
【0008】このようなループフィルタを用いた処理に
より、高い周波数の量子化誤差が残留し難くなるため、
平坦な背景の前にあるものが動いた場合などで、視覚的
に有効となる。また、動き補償予測は高い周波数であま
り良い予測とならず、誤差が多いため基本的な効率も下
がらない。予測信号の高い周波数成分については、予測
係数kが1より小さくなっており、リーク予測と同様に
符号誤りに対しても効果がある。また符号化装置の局部
復号部と復号化装置の処理が微妙に異なるために発生す
る誤差の累積も防ぐことができる。
【0009】<画素以下MV(動きベクトル)>動き補
償の精度を画素以下にする場合、画素を空間的に移動さ
せるだけではなく、リサンプリングフィルタ(リサンプ
ラ)により予測信号を作りだす必要がある。このような
処理で作られる予測信号の周波数特性は、MVの値が整
数かどうかで異なる。MVが整数の場合は画素精度の処
理と同じで、リサンプラは素通りとなり、したがって周
波数特性も変化しない。一方、MVが整数でない場合
は、リサンプラによって信号の位相(位置)が動かされ
ることになる。リサンプラは有限長タップのFIR型フ
ィルタなので、処理によって高い周波数成分が抑圧され
る。これにより、ループフィルタに類似する効果があ
る。
【0010】
【発明が解決しようとする課題】リーク予測やループフ
ィルタと、画素以下の精度の動き補償とを組み合わせて
用いた場合、動き補償で動きベクトルが整数でないとき
はリサンプリングフィルタでのフィルタリングが作用す
るので、予測信号の高い周波数成分の予測係数が必要以
上に下がり、符号化効率の低下を生じる。一方、リーク
予測やループフィルタを用いない場合は、画素以下の精
度で動き補償をしても、動き補償で動きベクトルが整数
のとき、例えば静止状態のときは、リサンプリングフィ
ルタでフィルタリングが作用しないので、予測係数は1
のままであり、符号誤りによる画質劣化や量子化誤差は
残留したままになる。
【0011】本発明は以上の点に着目してなされたもの
で、動きベクトルが整数の場合には、予測信号をリサン
プリングフィルタの代わりに、LPFを通過させること
で高い周波数成分を常にほぼ一定量抑圧する予測符号化
装置及び、復号装置を提供することを目的とするもので
ある。
【0012】
【課題を解決するための手段】上記目的を達成するため
の手段として、動きベクトルにより1画素未満の精度で
動き補償してフレーム間またはフィールド間予測する予
測符号化装置において、少なくとも前記フレーム間また
はフィールド間の動きベクトルを検出する動きベクトル
検出手段と、ローパスフィルタとを有し、前記動きベク
トル検出手段にて検出された動きベクトルが整数の場合
に前記ローパスフィルタを予測信号に作用させ、整数で
ない場合には前記ローパスフィルタを予測信号に作用さ
せないように構成したことを特徴とする予測符号化装
置、及び、動きベクトルにより1画素未満の精度で動き
補償してフレーム間またはフィールド間予測して符号化
された信号を復号化する予測復号化装置において、少な
くとも前記フレーム間またはフィールド間の動きベクト
ル情報を受信する動きベクトル情報受信手段と、ローパ
スフィルタとを有し、前記動きベクトル情報受信手段に
て受信された動きベクトルが整数の場合に前記ローパス
フィルタを予測信号に作用させ、整数でない場合には前
記ローパスフィルタを予測信号に作用させないように構
成したことを特徴とする予測復号化装置を提供しようと
するものである。
【0013】
【作用】上記のような予測符号復号化装置によれば、予
測信号は、動きベクトルが整数以外の場合にはリサンプ
リングフィルタを通過し、動きベクトルが整数の場合に
はリサンプリングフィルタの代わりに、LPFを通過す
るので、動きベクトルの値に関係なく常にほぼ一定のフ
ィルタリングが作用し、高い周波数成分が抑圧される。
この結果、不必要な効率の損失無く、高い周波数での予
測係数を安定に下げることができ、高い精度の動き補償
とエラー時の画質劣化の収束や残留誤差の軽減が可能に
なる。
【0014】
【実施例】<実施例1>図1は本発明の予測符号化装置
の実施例を示すブロック図である。従来の装置とは予測
信号の作り方が異なり、基本動作のほか、フレーム内処
理や動きベクトルの検出方法は同じである。動き補償は
画素以下の精度で、画素単位の移動処理と画素以下の精
度の処理部に分けられ、後者はさらに動きベクトルが整
数かそうでないかで、処理が異なる。以下、従来例と動
作が異なる部分のみ説明する。
【0015】フレームメモリ10から出力される1フレ
ーム遅延させられた再生画像信号は、画素移動器9でM
Vの整数部の値によって画素単位で移動させられる。画
素単位での動き補償が行われた画像信号は、リサンプラ
3とLPF(ローパスフィルタ)8に入力される。リサ
ンプラ3ではリサンプリング処理により、画像信号は画
素以下の精度で移動させられる。LPF8では移動は行
われなく、高い周波数成分が抑圧される。それぞれの出
力はスイッチ7に導かれ、スイッチ7ではMVが整数の
場合はLPF8の出力が選択され、そうでない場合はリ
サンプラ3の出力が選択され、予測信号として予測減算
器2に与えられる。
【0016】LPF8とリサンプラ3は共にFIRフィ
ルタであり、MVの精度を0.5画素とした場合、LP
F8は表1のような係数の3タップ、リサンプラ3は以
下のような係数の4タップとなる。
【0017】
【表1】
【0018】このときのLPF8とリサンプラ3の周波
数特性を図10に示す。LPFとリサンプラで特性は異
なるが、高い周波数成分が同程度抑圧される。
【0019】図1に対応する復号化装置2の構成例を図
2に示す。従来例とは予測信号の作り方だけが異なり、
リサンプラ3,LPF8,スイッチ7による予測信号の
作り方は符号化装置1と同じである。
【0020】<実施例2>図1においてリサンプラ3と
LPF8は、共に同様なFIRフィルタなので一体化す
ることができ、フィルタのタップ係数をMVの画素以下
の端数によって変えるのみで実現できる。この場合の符
号化装置の構成を図3に示すが、スイッチ7とLPF8
とリサンプラ3が、汎用フィルタ24と係数表23に代
わっている以外は図1と同じである。
【0021】画素移動器9で画素単位での動き補償が行
われた画像信号は、汎用フィルタ24に入力される。一
方、係数表23ではMV検出器6より与えられるMVの
画素以下の端数により、ブロック毎に異なった係数を汎
用フィルタ24に対して出力する。汎用フィルタ24は
各タップの係数が切り替えられるFIRフィルタで、図
9に示されるようなものである。図9において、遅延器
40〜42は垂直または水平の1画素の遅延を与えるも
のである。汎用フィルタ24では、係数表23より入力
されるタップ係数(s0〜s3)が乗算器43〜46で
各画素値に乗算され、その結果が加算器47で加算され
予測信号が形成される。
【0022】係数の値はMVが整数の場合は汎用フィル
タがLPFとなり、そうでない場合はリサンプラとなる
ようなもので表2のようになる。
【0023】
【表2】
【0024】一方、MVは2次元なので、垂直水平とも
整数のときのみLPF処理にすると係数は表2のように
なる。垂直方向処理用フィルタのタップ係数がv0〜v
3、水平方向処理用フィルタのタップ係数がh0〜h3
で、表3の値に1/16が乗じられる。
【0025】
【表3】
【0026】図3に対応する復号化装置4の構成例を図
4に示す。従来例とは予測信号の作り方が異なり、汎用
フィルタ24と係数表23による予測信号の作り方は符
号化装置3と同じである。
【0027】
【発明の効果】本発明の予測符号化装置および復号化装
置は、予測信号が、動きベクトルが整数以外の場合には
リサンプリングフィルタでフィルタリングされ、動きベ
クトルが整数の場合にはリサンプリングフィルタの代わ
りに、LPFを通過させることで、動きベクトルの値に
関係なく常にほぼ一定のフィルタリングが作用し、高い
周波数成分が抑圧されるので、不必要な効率の損失無
く、高い周波数での予測係数を安定に下げることがで
き、エラー時の画質劣化の収束や残留誤差の軽減が可能
になる。これによりエラーが起こりやすいシステムにも
フレーム間予測符号化が適用可能となり、再生画質も向
上する。DCTの演算精度などを下げても演算誤差が蓄
積しないので、装置化もしやすくなる。以上説明の如
く、本発明の予測符号化装置及び復号化装置は、実用上
極めて優れた効果を有するものである。
【図面の簡単な説明】
【図1】本発明の予測符号化装置の第1の実施例の構成
を示すブロック図である。
【図2】本発明の予測復号化装置の第1の実施例の構成
を示すブロック図である。
【図3】本発明の予測符号化装置の第2の実施例の構成
を示すブロック図である。
【図4】本発明の予測復号化装置の第2の実施例の構成
を示すブロック図である。
【図5】予測符号化装置の第1の従来例の構成を示すブ
ロック図である。
【図6】予測復号化装置の第1の従来例の構成を示すブ
ロック図である。
【図7】予測符号化装置の第2の従来例の構成を示すブ
ロック図である。
【図8】予測復号化装置の第2の従来例の構成を示すブ
ロック図である。
【図9】本発明の実施例の汎用フィルタの構成を示すブ
ロック図である。
【図10】本発明の実施例のリサンプラとLPFの周波
数特性を示す図である。
【符号の説明】
1…画像入力、2…予測減算器、3…リサンプラ、4…
フレーム内符号化器、5…データ出力、6…MV検出
器、7…スイッチ、8,32…LPF、9…画素移動
器、10…フレームメモリ、11,47…加算器、12
…フレーム内復号器、13…MV出力、20…データ入
力、21…画像出力、22…MV入力、23…係数表、
24…汎用フィルタ、31,43,44,45,46…
乗算器、33…動き補償器、40,41,42…遅延
器。

Claims (2)

    (57)【特許請求の範囲】
  1. 【請求項1】動きベクトルにより1画素未満の精度で動
    き補償してフレーム間またはフィールド間予測する予測
    符号化装置において、 少なくとも前記フレーム間またはフィールド間の動きベ
    クトルを検出する動きベクトル検出手段と、 ローパスフィルタとを有し、 前記動きベクトル検出手段にて検出された動きベクトル
    が整数の場合に前記ローパスフィルタを予測信号に作用
    させ、整数でない場合には前記ローパスフィルタを予測
    信号に作用させないように構成したことを特徴とする予
    測符号化装置。
  2. 【請求項2】動きベクトルにより1画素未満の精度で動
    き補償してフレーム間またはフィールド間予測して符号
    化された信号を復号化する予測復号化装置において、 少なくとも前記フレーム間またはフィールド間の動きベ
    クトル情報を受信する動きベクトル情報受信手段と、 ローパスフィルタとを有し、 前記動きベクトル情報受信手段にて受信された動きベク
    トルが整数の場合に前記ローパスフィルタを予測信号に
    作用させ、整数でない場合には前記ローパスフィルタを
    予測信号に作用させないように構成したことを特徴とす
    る予測復号化装置。
JP7846792A 1992-02-28 1992-02-28 予測符号化装置及び復号化装置 Expired - Fee Related JP2606523B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP7846792A JP2606523B2 (ja) 1992-02-28 1992-02-28 予測符号化装置及び復号化装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP7846792A JP2606523B2 (ja) 1992-02-28 1992-02-28 予測符号化装置及び復号化装置

Publications (2)

Publication Number Publication Date
JPH05244585A JPH05244585A (ja) 1993-09-21
JP2606523B2 true JP2606523B2 (ja) 1997-05-07

Family

ID=13662830

Family Applications (1)

Application Number Title Priority Date Filing Date
JP7846792A Expired - Fee Related JP2606523B2 (ja) 1992-02-28 1992-02-28 予測符号化装置及び復号化装置

Country Status (1)

Country Link
JP (1) JP2606523B2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101686396A (zh) * 2002-04-24 2010-03-31 日本电气株式会社 运动图片编码和解码方法以及使用该方法的设备和程序

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU1941797A (en) 1997-03-17 1998-10-12 Mitsubishi Denki Kabushiki Kaisha Image encoder, image decoder, image encoding method, image decoding method and image encoding/decoding system
DE19730305A1 (de) * 1997-07-15 1999-01-21 Bosch Gmbh Robert Verfahren zur Erzeugung eines verbesserten Bildsignals bei der Bewegungsschätzung von Bildsequenzen, insbesondere eines Prädiktionssignals für Bewegtbilder mit bewegungskompensierender Prädiktion
EP2373035B1 (en) * 2001-11-30 2015-11-25 NTT DoCoMo, Inc. Moving picture encoding device, moving picture decoding device, moving picture encoding method, moving picture decoding method, program, and computer readable recording medium storing program
CN101036150B (zh) * 2004-07-30 2010-06-09 欧几里得发现有限责任公司 用来处理视频数据的装置和方法
US9743078B2 (en) 2004-07-30 2017-08-22 Euclid Discoveries, Llc Standards-compliant model-based video encoding and decoding
US9532069B2 (en) 2004-07-30 2016-12-27 Euclid Discoveries, Llc Video compression repository and model reuse
US8902971B2 (en) 2004-07-30 2014-12-02 Euclid Discoveries, Llc Video compression repository and model reuse
US9578345B2 (en) 2005-03-31 2017-02-21 Euclid Discoveries, Llc Model-based video encoding and decoding
US8908766B2 (en) 2005-03-31 2014-12-09 Euclid Discoveries, Llc Computer method and apparatus for processing image data
WO2008091485A2 (en) 2007-01-23 2008-07-31 Euclid Discoveries, Llc Systems and methods for providing personal video services
WO2008091484A2 (en) 2007-01-23 2008-07-31 Euclid Discoveries, Llc Object archival systems and methods
US9014280B2 (en) * 2006-10-13 2015-04-21 Qualcomm Incorporated Video coding with adaptive filtering for motion compensated prediction
US8831103B2 (en) 2008-10-02 2014-09-09 Sony Corporation Image processing apparatus and method
CN102172026B (zh) 2008-10-07 2015-09-09 欧几里得发现有限责任公司 基于特征的视频压缩
TWI440363B (zh) 2009-02-19 2014-06-01 Sony Corp Image processing apparatus and method
JP2012104945A (ja) * 2010-11-08 2012-05-31 Sony Corp 画像処理装置と画像処理方法およびプログラム
US10097851B2 (en) 2014-03-10 2018-10-09 Euclid Discoveries, Llc Perceptual optimization for model-based video encoding
US10091507B2 (en) 2014-03-10 2018-10-02 Euclid Discoveries, Llc Perceptual optimization for model-based video encoding
US9621917B2 (en) 2014-03-10 2017-04-11 Euclid Discoveries, Llc Continuous block tracking for temporal prediction in video encoding

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0614739B2 (ja) * 1985-08-15 1994-02-23 日本電気株式会社 画像信号の動き補償フレ−ム間予測符号化・復号化方法とその装置
JP3090763B2 (ja) * 1992-02-06 2000-09-25 富士通株式会社 動画像符号化装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
電子情報通信学会論文誌、J71−A〜2!(1988−2)P.488−496

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101686396A (zh) * 2002-04-24 2010-03-31 日本电气株式会社 运动图片编码和解码方法以及使用该方法的设备和程序
CN101686396B (zh) * 2002-04-24 2013-04-03 日本电气株式会社 运动图片编码和解码方法以及使用该方法的设备和程序

Also Published As

Publication number Publication date
JPH05244585A (ja) 1993-09-21

Similar Documents

Publication Publication Date Title
JP2606523B2 (ja) 予測符号化装置及び復号化装置
US7146056B2 (en) Efficient spatial scalable compression schemes
JP2897763B2 (ja) 動き補償符号化装置、復号化装置、符号化方法及び復号化方法
US7630566B2 (en) Method and apparatus for improved estimation and compensation in digital video compression and decompression
JPH0832047B2 (ja) 予測符号化装置
US20060133475A1 (en) Video coding
JPH10304383A (ja) 動き補償符号化装置、動き補償符号化方法及び符号化記録媒体
JP2004048552A (ja) 画像符号化装置、画像符号化方法、画像復号装置、画像復号方法、および通信装置
JPH04328982A (ja) 高能率符号化装置及び復号化装置
KR20200055139A (ko) 비디오 코딩을 위한 인터 예측 장치 및 방법을 위한 보간 필터
EP2146510A1 (en) Motion vector detection
JPH07112284B2 (ja) 予測符号化装置及び復号化装置
US20060222083A1 (en) Digital filter with spatial scalability
US6141379A (en) Apparatus and method of coding/decoding moving picture and storage medium storing moving picture
JP2006511164A (ja) 弾性記憶
JP4859265B2 (ja) 輝度評価による符号化の方法及び装置
JP2947103B2 (ja) 動画像符号化装置及び動画像符号化方法
JPH06133297A (ja) 解像度変換された画像の動き補償方法と装置
JPH05122686A (ja) 動画像予測符号化装置及びその復号化装置
JPH1013836A (ja) 動きベクトル検出装置
JP3804237B2 (ja) 動き補償動画像符号化装置及びその方法
JPH0851630A (ja) 動き補償予測符号化装置
JP2870588B2 (ja) 動画像予測符号化装置および動画像予測符号化方法並びに動画像予測復号化装置
JP2000023165A (ja) 動画像符号化装置及び方法
JPH0591496A (ja) 動き補償装置

Legal Events

Date Code Title Description
FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090213

Year of fee payment: 12

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090213

Year of fee payment: 12

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100213

Year of fee payment: 13

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110213

Year of fee payment: 14

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120213

Year of fee payment: 15

LAPS Cancellation because of no payment of annual fees