JPH10276436A

JPH10276436A - 動き補償符号化復号化装置及び動き補償符号化復号化方法

Info

Publication number: JPH10276436A
Application number: JP15456897A
Authority: JP
Inventors: Kenji Sugiyama; 賢二杉山
Original assignee: Victor Company of Japan Ltd
Current assignee: Victor Company of Japan Ltd
Priority date: 1997-01-31
Filing date: 1997-05-28
Publication date: 1998-10-13

Abstract

(57)【要約】【課題】画像を効率的に伝送、蓄積、表示するため
に、画像情報をより少ない符号量でディジタル信号にす
る高能率符号化において、特に動き補償処理を行ない、
そこで動きベクトル情報を符号化して復号側に伝送する
装置を提供する。【解決手段】動き補償を行なう動画像の動き補償符号
化装置において、画像の各部分の動きに対応した複数の
動きベクトルを、垂直及び水平方向共に複数個束ね、２
次元ブロック状に配列された動きベクトル群を得る統合
手段１３と、前記動きベクトル群の中の動きベクトルを
１次元に配列変換し、１次元配列の動きベクトル群を得
る配列変換手段１４と、１次元配列の動きベクトル群の
中の各動きベクトル値を同一群内の他の動きベクトルか
ら予測し、動きベクトルの予測残差を得る動きベクトル
予測手段１５と、前記動きベクトルの予測残差を、０ラ
ンレングス符号を含む可変長符号で符号化し、動きベク
トル群毎に符号列を得る可変長符号化手段１０を有する
構成とした。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】画像を効率的に伝送、蓄積、
表示するために、画像情報をより少ない符号量でディジ
タル信号にする高能率符号化において、特に動き補償処
理を行ない、そこで動きベクトル情報を符号化して復号
側に伝送するものに関する。

【０００２】

【従来の技術】

＜動き補償画像符号化＞動画像の高能率符号化におい
て、画像間予測を行なう際に動きに合わせて画像の各部
分をブロック毎に移動させてから予測する手法がある。
この様な画像の空間的な移動処理は動き補償と呼ばれ、
ＭＰＥＧなど国際標準方式でも広く用いられている。画
像間予測で動き補償を用いた場合、復号化でも符号化と
同じ動き補償を行なう必要があるので、画像の動きに関
する情報（動きベクトル）を符号化して復号側に伝送す
る。

【０００３】＜従来例動き補償符号化装置＞図７に上記
の様な動き補償を行なう符号化装置の構成例を示す。画
像入力端子１から入来する画像信号は、予測減算器２に
おいて動き補償予測器６から供給される画像間予測信号
が減算され、予測残差となってＤＣＴ３に与えられる。
ＤＣＴ３は８×８画素単位で離散コサイン変換（ＤＣ
Ｔ）の変換処理を行ない、得られた係数を量子化器４に
与える。

【０００４】量子化器４は所定のステップ幅で係数を量
子化し、固定長の符号となった係数を配列変換器５と逆
量子化器９に与える。配列変換器５はジグザグスキャン
と呼ばれる順序で、２次元の８×８個の係数を１次元に
配列変換し可変長符号化器７１に与える。可変長符号化
器７１は係数を０の連続数と０以外の係数の値としてハ
フマン符号で符号化する。この様にして符号列となった
画像間予測残差は多重化器７２で動きベクトルの符号列
と多重化され、符号出力端子１１より出力される。

【０００５】一方、逆量子化器９及びＩＤＣＴ８ではＤ
ＣＴ３及び量子化器４の逆処理が行なわれ、画像間予測
残差を再生する。得られた再生画像間予測残差は加算器
７で画像間予測信号が加算され再生画像となり、動き補
償予測器６に与えられる。動き補償予測器６は１フレー
ム分の画像を蓄え、動き推定器１２から与えられる動き
ベクトルに従って画像をブロック毎に移動させ、動き補
償された画像間予測信号を減算器２及び加算器７に与え
る。動きベクトルは、動き推定器（動きベクトル検出
器）１２で入力画像からブロック単位に求められる。こ
のブロックは８×８乃至１６×１６画素程度の大きさで
ある。得られた動きベクトルは動き補償予測器６の他
に、符号化のため予測減算器７３に与えられる。

【０００６】予測減算器７３では、符号化済みの前（通
常は左）ブロックの値と符号化対象となるブロックのベ
クトル値をｘ成分ｙ成分毎に比較し、その差分値を可変
長符号化器７４に供給する。可変長符号化器７４では差
分値をハフマン符号で符号化し、得られた符号列は多重
化器７２で、画像間予測残差の符号列と多重化される。

【０００７】＜従来例動き補償復号化装置＞図７の動き
補償符号化装置に対応する復号化装置について説明す
る。図８は、その構成を示したものである。符号入力端
子２１より入来する符号は多重分離器８２で画像間予測
残差の符号列と動きベクトルの符号列に分離され、画像
間予測残差の符号列は可変長復号化器８１で固定長の符
号に戻され、配列逆変換器２３に与えられる。配列逆変
換器２３は図７の配列変換器５の逆変換を行なうもの
で、得られた８×８の係数は逆量子化器９、ＩＤＣＴ８
で再生画像間予測残差となり、加算器７で画像間予測信
号が加算され再生画像となる。

【０００８】この様にして得られた再生画像信号は、画
像出力端子２４から出力されると共に動き補償予測器６
に与えられる。動き補償予測器６では、予測加算器８４
から与えられる動きベクトルに従って動き補償された画
像間予測信号を加算器７に与える。ここで、動き補償器
６、加算器７、逆量子化器９、及びＩＤＣＴ８の動作は
図７の符号化装置のものと同じである。一方、多重分離
器８２で分離された動きベクトル符号は、可変長復号化
器８３で可変長符号化器７４の逆処理が行なわれ、得ら
れた動きベクトルの差分値は予測加算器８４に与えられ
る。予測加算器８４は図７の予測減算器７３の逆処理
で、差分値に前ブロックのベクトル値が加算され、得ら
れた動きベクトルが動き補償予測器６に与えられる。

【０００９】

【発明が解決しようとする課題】従来の動きベクトル情
報符号化装置は、動きベクトルに変化が無く、差分値が
０でもベクトル毎に符号が生じる。また、ズーミングシ
ーンなどで、ベクトルが徐々に変化する場合は、変化が
単調であっても多くの符号を生じる。従って、発生符号
量を十分少なく出来ない。また、画像間予測残差の符号
化とは全く別の手法で行なわれるため、専用の処理回路
が必要になる。

【００１０】本発明は以上の点に着目してなされたもの
で、複数の動きベクトルを２次元配列に束ね、適切なス
キャン順で１次元配列に変換して予測した後に、その予
測残差を０ランレングスを用いて可変長符号化すること
で、高い符号化効率が得られ、画像間予測残差との処理
の共通化も図れる動き補償符号化復号化装置及び符号化
復号化方法を提供することを目的とする。

【００１１】

【課題を解決するための手段】本発明は、動き補償を行
なう動画像の高能率符号化において、複数の動きベクト
ルを垂直及び水平方向共に複数個束ね、２次元ブロック
状に配列された動きベクトル群を得、その中の動きベク
トルを１次元に配列変換し、各動きベクトル値を同一群
内の他の動きベクトルから予測し、その動きベクトルの
予測残差を、０ランレングス符号を含む可変長符号で符
号化して動きベクトル群毎に符号列を得る動き補償符号
化装置（方法）である。

【００１２】また、上記で可変長符号化が、動き補償符
号化における画像間予測残差の符号化に用いられる可変
長符号化と共通な動き補償符号化装置（方法）である。
また、上記で配列変換が、複数のスキャンパターンか
ら、可変長符号化において最も発生符号量が少なくなる
スキャンパターンを選択する動き補償符号化装置であ
る。また、配列変換が、伝送する必要のない動きベクト
ルに関しては情報を排除し、次の伝送する必要のある動
きベクトルをつめて配列変換する動き補償符号化装置
（方法）である。

【００１３】一方、動き補償を行なう動画像の高能率復
号化において、０ランレングス符号を含む可変長符号で
構成された動きベクトル群の符号列を復号し、固定長の
動きベクトルの予測残差を得、それに他の動きベクトル
から形成される予測値を加算し、１次元配列の動きベク
トル群とし、それを２次元に配列変換して垂直及び水平
方向共に複数個束ねられた２次元配列の動きベクトル群
の中の各ベクトルを、画像の各部分の動き補償処理に応
じて出力する動き補償復号化装置（方法）である。

【００１４】作用本発明では、複数の動きベクトル情報を２次元的に束
ね、１次元変換に配列変換したベクトルの予測残差に０
ランレングスを用いた可変長符号化で符号化するので、
動きベクトルに変化が少なければ０が連続し、それらは
ひとつの０ランレングス符号で符号化されるので、発生
符号量は非常に少なくなる。また、画像間予測残差の符
号化と類似する符号化手段とすることで、処理回路や可
変長符号テーブルが共通となる。一方、複数のスキャン
パターンから最も符号量の少なくなるものを選択するこ
とで、動きベクトル情報の２次元的な変化に適合したス
キャンパターンが選択される。さらに伝送する必要のな
い動きベクトルはつめて配列変換されるので、発生符号
にも冗長がなくなる。

【００１５】

【発明の実施の形態】

＜動き補償符号化装置＞本発明の動き補償符号化装置の
一実施例について以下に説明する。図１は、その構成を
示したもので、図７の従来例と同一構成要素には同一付
番を記してある。図１には、図７と比較して多重化器７
２がなく、逆にベクトル統合器１３、配列変換器１４が
ある。また、可変長符号化器１０、予測減算器１５の動
作が従来例と異なる。実施例において、従来例と異なる
のは動きベクトルの符号化処理であり、画像間予測処理
及び予測残差の符号化処理は同じである。従って、図１
で画像入力端子１、減算器２、ＤＣＴ３、量子化器４、
配列変換器５、動き補償予測器６、加算器７、ＩＤＣＴ
８、逆量子化器９、及び動き推定器１２の動作は従来例
と同じである。

【００１６】動き推定器１２でブロック毎に得られた動
きベクトル情報は、動き補償予測器６に与えられると共
に、ベクトル統合器１３に与えられる。ベクトル統合器
１３では垂直( 縦) 方向４個、水平( 横) 方向に１６個
の合計６４個の動きベクトルが統合され、ベクトル群と
なる。ここで、統合は８×８など水平と垂直を同じにし
てもよいが、入力画像信号に近い順序での信号処理や、
符号側における伝送路での符号誤り対策などの都合か
ら、垂直方向に短い方が有利と考えられる。また、総数
を６４とするのは、後の処理で８×８ＤＣＴの可変長符
号化処理と共通の処理とするためである。

【００１７】この様にして形成された動きベクトル群は
配列変換器１４に与えられる。配列変換器１４は、４種
類のスキャンパターンの中から最適なものでスキャン
し、１次元配列に変換された動きベクトル群が予測減算
器１５に与えられる。予測減算器１５は従来例と同様に
前値との差分をとってもよいが、図５のように前２値を
用いた傾斜予測など高度な予測を行なってもよい。ここ
で被符号化ベクトルに対する予測値をｘ、前値をｂ、前
々値をａとすると、前値予測はｘ＝ｂ，傾斜予測はｘ＝
２ｂ−ａとなる。

【００１８】ズーミングシーンなどで動きベクトルがな
だらかに変化している場合、前値予測では必ず予測残差
を生じるが、傾斜予測ではベクトル値の変化も予測出来
るので予測残差が少なくなる。なお、これら予測処理は
動きベクトル値が確定した後に行なわれるので、画像間
予測処理の様な局部復号処理は必要ない。また、ここで
は予測残差に変換されるのみで、１次元配列の順番はそ
のままとなる。

【００１９】各成分の動きベクトルの予測残差値は、可
変長符号化器１０に与えられる。可変長符号化器１０の
基本動作は図７の可変長符号化器７４と同じである。た
だし、画像間予測残差と動きベクトルの両方が符号化さ
れる。これら２種類の情報は、数が同じであり、その性
質もかなり似たものになっているので、同一の可変長符
号化手法で符号化することが可能になり、可変長符号化
処理回路は１系統で済む。それぞれの信号は、通常その
多数が０となっているので可変長符号化器１０は０の連
続長と０以外の値をハフマン符号で可変長符号化する。
これにより、動きベクトルの変化が特別複雑でない限
り、連続する０値がひとつの可変長符号に束ねられるの
で、高能率化が可能になる。

【００２０】なお、動きベクトル情報の差分値はブロッ
ク毎に２個だけで、ＤＣＴ係数より大幅に少ないので、
可変長符号化器１０の処理能力は従来例における予測残
差用のものとほぼ同じで良いことになる。また、入力さ
れる信号は共に固定長なので、定期的に処理対象を切り
換えることで、出力される符号列は両方の情報が多重化
されたものとなる。これは、従来例の多重化器７２が、
可変長符号を多重化しなければならない点と比較して容
易である。

【００２１】次に配列変換器１４について詳述する。２
次元ＤＣＴの係数はＤＣ成分の近辺に大きな値の係数が
集まるので、ＤＣ係数を基点とするジグザグスキャンが
有効となる。一方、動きベクトルは、動きにより値が変
化する方向に偏りを生じることが多いが、その方向は特
定されない。そこで、４種類のスキャンパターンを用意
し、変化の偏り方がどのような方向であっても０ランレ
ングスが長く連続するようにする。４種類の中からどれ
を選ぶかは、実際に可変長符号化を行ない、統合された
６４個の動きベクトルで総符号量を比較する。

【００２２】配列変換器１４の構成を図３に示す。動き
ベクトルは選択型配列変換器３２に与えられると共に、
第１から第４までの４種類の配列変換器３４１〜３４４
に与えられる。第１から第４までの配列変換器３４１〜
３４４は、それぞれ図４に示されたスキャンパターンで
配列変換を行ない、それぞれの結果を予測減算器３５１
〜３５４に与える。予測減算器３５１〜３５４はすべて
予測減算器１５と同じもので、予測残差を可変長符号化
器３６１〜３６４に与える。

【００２３】可変長符号化器３６１〜３６４の符号化手
法は可変長符号化器１０と同じであるが、ここでは実際
の符号を作る必要はないので、符号長のみを符号量計算
器３７１〜３７４に与える。符号量計算器３７１〜３７
４は、符号長を１ベクトル群分累積加算し、その符号量
を符号量比較器３８に与える。符号量比較器３８は、最
も符号量の少ないものを判定し、その情報を選択型配列
変換器３２に与える。選択型配列変換器３２は４種類の
スキャンパターンの中から情報に従って選ばれたひとつ
のスキャンパターンで配列変換を行なう。また、復号側
でどのスキャンパターンが選ばれたのかを示す情報が必
要となるので、動きベクトル群のヘッダなどにこの情報
を付随させる。

【００２４】次に動きベクトルを伝送する必要のないブ
ロックが存在する場合について述べる。これは、画像間
予測が適切に出来ず、画面内で独立に符号化するブロッ
クや、双方向予測が行なわれているフレーム（Ｂフレー
ム）で、部分的に片方向からのみ予測され逆方向は予測
に使われないブロックの場合である。これらはＭＰＥＧ
などの一般的な符号化方式で存在するものである。

【００２５】その様子を図６に示すが、動きベクトルが
不要となるブロックが虫食い状に存在する場合は、図の
ａ）の様にスキャンが破線で示された不要部分はとばし
（無視して）、次のベクトルの符号化に移行する。具体
的には、ＭＶ差分を０として扱うか、全く情報がないも
のとしてつめてしまう。０とした場合は復号における処
理が容易である。つめてしまうと０ランレングスがその
分短くなるので効率的に有利となる。一方、動きベクト
ルが不要となるブロックがまとめてブロック状に存在す
る場合は、図のｂ）のように、ブロック毎につめてしま
う。この処理は配列変換器１４において行なわれる。

【００２６】＜動き補償復号化装置＞本発明の動き補償
符号化装置の一実施例に対応する復号化装置について説
明する。図２は、その構成を示したもので、従来例と同
一構成要素には同一付番を記してある。符号入力端子２
１、配列逆変換器２３、逆量子化器９、ＩＤＣＴ８、加
算器７、動き補償予測器６、画像出力端子２４の動作は
基本的に従来例と同じである。

【００２７】一方、図２には、図８と比較して多重分離
器８２がなく、配列逆変換器２６、順次化器２７があ
る。また、可変長復号化器２２、予測加算器２５の動作
が異なる。符号入力端子２１より入来する符号は可変長
復号化器２２で、０ランとレベルの情報の可変長符号が
固定長符号に変換され、画像間予測残差の符号列は配列
変換器２３に、動きベクトル予測残差の符号列は予測加
算器２５に与えられる。配列逆変換器２３から加算器７
までの処理は従来例と同じで、再生された画像信号が画
像出力端子２４から出力される。

【００２８】一方、予測加算器２５は予測減算器１５の
逆処理となり、１次元配列の動きベクトルが再生され、
配列逆変換器２６に与えられる。配列逆変換器２６は配
列変換器１４の逆処理で、４種類の中からひとつのスキ
ャンパターンが選択され、２次元配列の動きベクトル群
が順次化器２７に与えられる。順次化器２７は２次元ブ
ロック状に動きベクトル値を保持し、動き補償予測器６
の処理順番に合わせて動きベクトル値を出力する。

【００２９】動きベクトルを伝送する必要のないブロッ
クが存在する場合の配列逆変換器２６の動作について説
明する。この場合、符号化装置の配列変換器においてＭ
Ｖ差分に０が挿入されている場合は、そのまま配列変換
出来る。一方、不要ＭＶがつめられている場合は、その
まま逆配列変換するとＭＶの位置がずれてしまうので、
各ブロックの予測モードにより判断し、不要ＭＶ部分に
はＭＶ差分０などのブランク（ダミー）を挿入してから
逆配列変換する。

【００３０】

【発明の効果】本発明では、動きベクトル情報を２次元
的に束ね、１次元配列に変換して予測を行なった残差に
０ランレングスを用いた可変長符号化で符号化するの
で、動きベクトルに変化が少なく０が連続する場合に
は、発生符号量は非常に少なくなる。つまり、動きベク
トルに関して情報の劣化なく符号量の削減が出来るの
で、符号化効率が改善される。

【００３１】また、複数のスキャンパターンから最も符
号量の少なくなるものを選択することで、常に最も少な
い符号量となる。一方、画像間予測残差の符号化と類似
する符号化手段とすることで、処理回路や可変長符号テ
ーブルが共通となり、処理回路量やメモリ回路が合理的
に構成され、装置規模も小さくなる。さらに伝送する必
要のない動きベクトルはつめて配列変換されるので、発
生符号にも冗長がなくなり、より符号化効率が改善され
る。

【図面の簡単な説明】

【図１】本発明の動き補償符号化装置の一実施例の構成
例を示す図である。

【図２】本発明の動き補償復号化装置の一実施例の構成
例を示す図である。

【図３】本発明の配列変換器の一実施例の構成を示す図
である。

【図４】本発明の一実施例の配列変換における４種類の
スキャン順を示す図である。

【図５】本発明の一実施例の動きベクトル値予測の様子
示す図である。

【図６】本発明の一実施例の動きベクトル（ＭＶ）が不
要なブロックの処理の様子を示す図である。

【図７】従来例の動き補償符号化装置の構成例を示す図
である。

【図８】従来例の動き補償復号化装置の構成例を示す図
である。

【符号の説明】

１画像入力端子２減算器３ＤＣＴ４量子化器５，１４，３４１，３４２，３４３，３４４配列変換
器６動き補償予測器７加算器８ＩＤＣＴ９逆量子化器１０，７１，７４，３６１，３６２，３６３，３６４
可変長符号化器１１符号出力端子１２動き推定器（動きベクトル検出器）１３ベクトル統合器１５，３５１，３５２，３５３，３５４予測減算器２１符号入力端子２２，８１可変長復号化器２３，２６配列逆変換器２４画像出力端子２５予測加算器２７順次化器３２選択型配列変換器８２多重分離器３７１，３７２，３７３，３７４符号量計算器

Claims

【特許請求の範囲】

【請求項１】動き補償を行なう動画像の動き補償符号化
装置において、画像の各部分の動きに対応した複数の動きベクトルを、
垂直及び水平方向共に複数個束ね、２次元ブロック状に
配列された動きベクトル群を得る統合手段と、前記動きベクトル群の中の動きベクトルを１次元に配列
変換し、１次元配列の動きベクトル群を得る配列変換手
段と、１次元配列の動きベクトル群の中の各動きベクトル値を
同一群内の他の動きベクトルから予測し、動きベクトル
の予測残差を得る動きベクトル予測手段と、前記動きベクトルの予測残差を、０ランレングス符号を
含む可変長符号で符号化し、動きベクトル群毎に符号列
を得る可変長符号化手段とを有することを特徴とする動
き補償符号化装置。
【請求項２】前記請求項１に記載の動き補償符号化装置
において、前記可変長符号化手段は、動き補償符号化における画像
間予測残差の符号化に用いられる可変長符号化と共通で
あることを特徴とする動き補償符号化装置。
【請求項３】前記請求項１に記載の動き補償符号化装置
において、前記配列変換手段は、複数のスキャンパターンから、可
変長符号化において最も発生符号量が少なくなるスキャ
ンパターンを選択して配列変換を行なうことを特徴とす
る動き補償符号化装置。
【請求項４】前記請求項１に記載の動き補償符号化装置
において、前記配列変換手段は、伝送する必要のない動きベクトル
情報に関しては情報を排除し、次の伝送する必要のある
動きベクトル情報をつめて配列変換するものであること
を特徴とする動き補償符号化装置。
【請求項５】動き補償を行なう動画像の動き補償復号化
装置において、０ランレングス符号を含む可変長符号で構成された動き
ベクトル群の符号列を復号し、固定長の動きベクトルの
予測残差を得る可変長復号化手段と、前記動きベクトルの予測残差に他の動きベクトルから形
成される予測値を加算し、１次元配列の動きベクトル群
として動きベクトルを得る動きベクトル予測加算手段
と、前記１次元配列の動きベクトル群を２次元に配列変換
し、垂直及び水平方向共に複数個束ねられた２次元配列
の動きベクトル群を得る配列逆変換手段と、前記２次元配列の動きベクトル群の中の各ベクトルを、
画像の各部分の動き補償処理に応じて出力する順次化手
段とを有することを特徴とする動き補償復号化装置。
【請求項６】前記請求項５に記載の動き補償復号化装置
において、前記可変長復号化手段は、動き補償復号化における画像
間予測残差の復号化に用いられる可変長復号化と共通で
あることを特徴とする動き補償復号化装置。
【請求項７】前記請求項５に記載の動き補償復号化装置
において、前記配列変換手段は、複数のスキャンパターンから、符
号化装置から伝送された情報に基づいて選ばれたスキャ
ンパターンを用いて配列変換を行なうことを特徴とする
動き補償復号化装置。
【請求項８】前記請求項５に記載の動き補償復号化装置
において、前記配列変換手段は、復号化において必要がなく伝送さ
れてこない動きベクトルに相当する部分に、次の必要の
ある動きベクトル情報までブランクデータを挿入して配
列変換することを特徴とする動き補償復号化装置。
【請求項９】動き補償を行なう動画像の動き補償符号化
方法において、画像の各部分の動きに対応した複数の動きベクトルを、
垂直及び水平方向共に複数個束ね、２次元ブロック状に
配列された動きベクトル群を統合し、前記動きベクトル
群の中の動きベクトルを１次元に配列変換し、１次元配
列の動きベクトル群を得、１次元配列の動きベクトル群
の中の各動きベクトル値を同一群内の他の動きベクトル
から予測し、動きベクトルの予測残差を得、前記動きベ
クトルの予測残差を、０ランレングス符号を含む可変長
符号で符号化し、動きベクトル群毎に符号列を得ること
を特徴とする動き補償符号化方法。
【請求項１０】動き補償を行なう動画像の動き補償復号
化方法において、０ランレングス符号を含む可変長符号で構成された動き
ベクトル群の符号列を復号し、固定長の動きベクトルの
予測残差を得、前記動きベクトルの予測残差に他の動き
ベクトルから形成される予測値を加算し、１次元配列の
動きベクトル群として動きベクトルを得、前記１次元配
列の動きベクトル群を２次元に配列変換し、垂直及び水
平方向共に複数個束ねられた２次元配列の動きベクトル
群を得、前記２次元配列の動きベクトル群の中の各ベク
トルを、画像の各部分の動き補償処理に応じて順次出力
することを特徴とする動き補償復号化方法。