JPH11262018A - 動き補償符号化装置、動き補償符号化方法、及び動き補償符号記録媒体 - Google Patents

Abstract

(57)【要約】 【課題】 画像を効率的に伝送、蓄積、表示するため
に、画像情報をより少ない符号量でディジタル信号にす
る高能率符号化に係り、特に動き補償画像間予測処理を
行い、そこで動きベクトル（ＭＶ）情報を符号化して復
号側に伝送するものに関する。 【解決手段】 動き補償画像間予測をして符号化を行う
動画像の動き補償符号化装置において、入力画像から動
き補償のブロック毎に所定精度の仮ＭＶを求める仮動き
推定手段６と、前記仮ＭＶの変化の程度を前記ブロック
が複数統合された統合ブロック単位で求めるＭＶ活性度
検出手段１２と、前記入力画像の空間的に高い周波成分
の程度を前記統合ブロック単位で求める高周波成分検出
手段７と、前記仮ＭＶの変化の程度と前記高い周波数成
分の程度から、ＭＶの精度を前記統合ブロック単位で選
定するＭＶ精度選択手段１３と、前記選定のＭＶ精度で
実際の動き補償で用いるＭＶを求める本動き推定手段１
７と、前記ＭＶを用い動き補償画像間予測信号を形成す
る手段８と、前記ＭＶを符号化する手段１８とを有する
ようにした。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】画像を効率的に伝送、蓄積、
表示するために、画像情報をより少ない符号量でディジ
タル信号にする高能率符号化に係り、特に動き補償画像
間予測処理を行い、そこで動きベクトル情報を符号化し
て復号側に伝送するものに関する。

【０００２】

【従来の技術】＜動き補償画像符号化＞動画像の高能率
符号化において、画像間予測を行う際に動きに合わせて
画像の各部分をブロック毎に移動させてから予測する手
法がある。このような画像の空間的な移動処理は動き補
償と呼ばれ、ＭＰＥＧ等国際標準方式でも広く用いられ
ている。動き補償は一般に１６×１６画素乃至８×８画
素単位で行われ、画像の動き（動きベクトル）もその単
位で求められる。動きベクトル（ＭＶ）の精度として
は、１画素または２分の１画素（０．５画素）が一般的
である。０．５画素の場合は空間的に移動した画素を、
更に内挿して本来の画素の中間に相当する画素を作る。
画像間予測で動き補償を用いた場合、復号化でも符号化
と同じ動き補償を行う必要があるので、ＭＶは符号化さ
れ復号側に伝送される。

【０００３】＜従来の符号化装置＞図７に上記のような
動き補償を行う符号化装置の構成例を示す。画像入力端
子１から入来する画像信号は、予測減算器２において動
き補償予測器７２から与えられる画像間予測信号が減算
され、予測残差となってＤＣＴ３に与えられる。ＤＣＴ
３は８×８画素単位で離散コサイン変換（ＤＣＴ）の変
換処理を行い、得られた係数を量子化器４に与える。量
子化器４は所定のステップ幅で係数を量子化し、固定長
の符号となった係数を可変長符号化器５と逆量子化器９
に与える。一般に、量子化のステップ幅は転送レートを
一定に保持するために発生符号量により制御される。可
変長符号化器５はジグザグスキャンと呼ばれる順序で、
２次元の８×８個の係数を１次元に配列変換し、係数を
０の連続数と０以外の係数の値としてハフマン符号で符
号化する。このようにして符号列となった画像間予測残
差信号は、多重化器１０で動きベクトル（ＭＶ）の符号
列と多重化され、符号出力端子１１より出力される。

【０００４】一方、逆量子化器９及び逆ＤＣＴ１６では
ＤＣＴ３及び量子化器４の逆処理が行われ、画像間予測
残差を再生する。得られた予測残差には加算器１５で予
測信号が加算され再生画像となり、画像メモリ１４に蓄
えられる。画像メモリ１４からは再生画像が動き推定器
７１と動き補償予測器７２とに与えられる。逆量子化器
９から画像メモリ１４までの処理は局部復号と呼ばれ、
基本的に復号化装置と同じ処理となる。動き補償予測器
７２は、動き推定器７１から与えられる動きベクトルに
従って、画像メモリ１４に蓄積されている画像をブロッ
ク毎に移動させ、画像間予測信号を得る。動き補償され
た予測信号は、減算器２及び加算器１５に与えられる。

【０００５】動き推定器７１では、動き補償のブロック
単位で画像メモリ１４に蓄積されている再生画像を移動
させて入力画像とブロックマッチングを取り、最もマッ
チングが良好となる（誤差の少ない）移動をＭＶとす
る。得られたＭＶは動き補償予測器７２の他に、符号化
のためＭＶ符号化器７３にも与えられる。ＭＶの精度は
０．５画素である。ＭＶ符号化器７３では、符号化済み
の前（通常は左）ブロックの値と符号化対象となるブロ
ックのベクトル値を水平成分、垂直成分毎に比較し、そ
の差分値をハフマン符号で符号化する。得られたＭＶの
符号列は多重化器１０で、画像間予測残差の符号列と多
重化される。

【０００６】＜従来の画像復号化装置＞図７の動き補償
符号化装置に対応する復号化装置について以下に説明す
る。図８は、その復号化装置の構成を示したものであ
る。符号入力端子２１より入来する符号は、多重分離器
２２で画像間予測残差の符号列と動きベクトル（ＭＶ）
の符号列とに分離される。画像間予測残差の符号列は可
変長復号化器２３で固定長の符号に戻され、得られた８
×８の係数は逆量子化器９に与えられる。逆量子化器
９、逆ＤＣＴ１６で再生予測残差となり、加算器１５で
予測信号が加算され再生画像となる。

【０００７】このようにして得られた再生画像は、画像
出力端子２４から出力されると共に画像メモリ１４に与
えられる。動き補償予測器７２では、ＭＶ復号化器８１
から与えられるＭＶに従って、画像メモリ１４に蓄えら
れている画像を動き補償し、得られた画像間予測信号を
加算器１５に与える。ここで、加算器１５、逆量子化器
９、逆ＤＣＴ１６の動作は図７の符号化装置のものと同
じである。一方、多重分離器２２で分離されたＭＶの符
号列は、ＭＶ復号化器８１で図７の可変長符号化器７３
の逆処理が行われ、得られたＭＶ情報が動き補償予測器
７２に与えられる。

【０００８】

【発明が解決しようとする課題】従来の動き補償符号化
装置は、画像の内容に関係なく固定的に動きベクトル
（ＭＶ）の精度が設定されていた。そのため、自己相関
が低い（高い周波数成分が多い）画像は、ＭＶの精度が
不十分で予測誤差が発生し、早い動き等で自己相関が高
くなる（高い周波数成分が少なくなる）画像は、高いＭ
Ｖの精度は必要なく、逆にＭＶの情報が無駄になる。こ
のような問題は、動き補償のブロックを小さくし、ＭＶ
の情報量が多くなる程顕著になる。本発明は以上の点に
着目してなされたもので、所定精度で仮に求められたＭ
Ｖの変化の程度と画像の高い周波数成分の程度を判定基
準として、ＭＶを複数個束ねた単位でＭＶの精度を選定
することで適切なＭＶの精度で動き補償することにな
り、符号量削減が可能になる動き補償符号化装置、動き
補償符号化方法、及び動き補償符号記録媒体を提供する
ことを目的とする。

【０００９】

【課題を解決するための手段】本発明は、動き補償画像
間予測を行う動画像の高能率符号化において、入力画像
から動き補償のブロック毎に所定精度で仮動きベクトル
（ＭＶ）を求め、その変化の程度をブロックが複数統合
された統合ブロック単位で求める。一方、前記入力画像
の空間的高い周波成分の程度も求め、それとＭＶの変化
の程度から、ＭＶの精度を統合ブロック単位で選定し、
その精度のＭＶにより動き補償画像間予測信号を形成す
ると共にその精度のＭＶの情報を符号化する動き補償符
号化装置及びその方法である。また、前記ＭＶの変化の
程度が、仮ＭＶの空間的差分を絶対値化し、統合ブロッ
ク単位に加算した平均値である前記動き補償符号化装置
である。一方、入力画像から動き補償のブロックが複数
個統合されたブロック単位で、ＭＶの精度を選定し、そ
の精度で実際の動き補償で用いるＭＶを求めて画像間予
測符号化を行って得た予測残差の符号列と、前記ＭＶの
情報を統合されたブロック単位でＭＶの精度の情報を有
する形態で符号化して得たＭＶの符号列を、多重化して
得られた符号列を記録した動き補償符号記録媒体であ
る。

【００１０】（ 作 用 ）本発明では、仮に求められ
た動きベクトル（ＭＶ）の変化の程度と画像の高い周波
数成分の程度とを判定基準に使うが、ＭＶの変化の程度
は動きベクトル情報量と密接に関係し、画像の高い周波
数成分の程度は、動き補償画像間予測で必要となる動き
ベクトルの精度と密接に関係する。それらに基づきＭＶ
を複数個束ねた単位でＭＶの精度を選定することで、画
像間予測残差の符号量とＭＶの符号量の関係で、総符号
量の少なくなるＭＶの精度が選定される。動き補償精度
の情報が追加されるが、数十ブロックで１乃至２ビット
程度の情報量なので無視できる程度である。

【００１１】

【発明の実施の形態】＜動き補償符号化装置の実施例＞
本発明の動き補償符号化装置の一実施例について、以下
に図１、図２乃至図６と共に説明する。図１は、その構
成を示したもので、図７の従来例と同一構成要素には同
一付番を記してある。図１には、図７と比較して仮動き
推定器６、高域検出器７、活性度検出器１２、ＭＶ精度
選択器１３がある。また、動き推定器１７、動き補償予
測器８、可変長符号化器１８の動作が従来例と異なる。
実施例において、従来例と異なるのは動き補償画像間予
測処理であり、予測残差の符号化処理や局部復号処理は
同じである。従って、図１で画像入力端子１、減算器
２、ＤＣＴ３、量子化器４、可変長符号化器５、逆量子
化器９、加算器１５、逆ＤＣＴ１６、符号出力端子１１
の動作は従来例と同じである。

【００１２】以下本発明の特徴となる動き推定及び動き
補償、ＭＶ情報の符号化について説明する。画像入力端
子１を介して入来する入力信号（入力画像）は、減算器
２の他に仮動き推定器６、高域検出器７にも供給され
る。仮動き推定器６では、入力信号から従来例と同様な
動き補償のブロック単位で１画素精度の仮ＭＶが求めら
れ、活性度検出器１２に与えられる。活性度検出器１２
では、図６に示されるような６４個の動き補償ブロック
が束ねられた統合ブロック単位で、ＭＶの活性度が求め
られ、ＭＶ精度判定器１３に与えられる。

【００１３】ＭＶ活性度検出器１２の具体的な処理回路
の一実施例の構成を図３に示す。活性度検出は、ＭＶ値
の水平方向成分と垂直方向成分との夫々に施される。Ｍ
Ｖ値は差分検出器３１で差分が取られ、その差分値が絶
対値化器３２に与えられる。差分はＭＶ符号化器１８の
処理に合わせて、符号化が横の隣接ブロックとの差分な
ら、ここにおいても横の隣接ブロックとの差分を取る。
絶対値化器３２は、差分値を絶対値にし、累積加算器３
３に与える。累積加算器３３は、絶対値化された値を統
合ブロック分の６４個分加算し、さらに水平成分と垂直
成分を加算して平均値を得る。双方向予測等、ＭＶが２
つある場合は、両方のＭＶを別々に加算して、その値の
少ない方を出力する。

【００１４】一方、高域検出器７は入力信号から統合ブ
ロック単位で、高い周波数成分がどの程度かを検出し
て、その結果をＭＶ精度判定器１３に与える。高域検出
器７の内部処理回路の一実施例の構成を図４に示す。入
力画像は６４×６４画素の大ブロック単位で、各画素に
高域通過フィルタ（ＨＰＦ）が施される。空間ＨＰＦ４
１は、図のような２次元の演算または垂直及び水平の縦
続処理で、ＤＣ成分を含む低い周波数成分が抑圧され
る。低域が抑圧された空間ＨＰＦ４１の出力信号は、絶
対値化器４２で絶対値にされ、累積加算器４３に与えら
れる。累積加算器４３は、絶対値を統合ブロックの4096
画素分加算して、平均値を得る。

【００１５】ＭＶ精度判定器１３は、高域検出器７の出
力と活性度検出器１２の出力とから得られる２つの値か
ら、ＭＶの精度を１画素とするか、０．５画素とする
か、又は、０．２５画素とするかを図５に示したような
ＭＶ精度判定表のグラフの基準に照らして、統合ブロッ
ク毎に決定する。決定されたＭＶの精度（１、０．５、
又は、０．２５画素精度）は、動き推定器１７に与えら
れる。ＭＶ精度判定器１３は、大ブロック毎に入力され
る２値から、予め統計的に求められ発生符号量に基づき
設定された２次元閾値によりＭＶの精度を決定する。具
体的には図５に示したようなグラフをＭＶ精度判定表と
して、ＭＶ活性度が低く、高域（高周波成分）が多い場
合は０．２５画素精度と判定し、逆にＭＶ活性度が高
く、高域が少ない場合は１画素精度と判定する。両者の
中間程度の場合には０．５画素精度とする。

【００１６】動き推定器１７は、与えられたＭＶの精度
で、与えられた入力画像及び局部復号画像とからＭＶを
求める。動き推定器１７により求められたＭＶの情報
は、動き補償予測器８とＭＶ符号化器１８とに与えられ
る。なお、ＭＶの情報には画素精度の情報も含まれる。
動き推定器１７でＭＶは新たに求めても良いが、仮動き
推定器６で求めた仮ＭＶを用いても良い。最も処理量の
少ない方法は、ＭＶの精度が１画素の場合は、仮ＭＶを
そのままＭＶとする方法である。そして精度が０．５画
素なら、１画素精度の仮ＭＶを基準に周辺ＭＶに付いて
０．５画素精度で再探索し、求められた０．５画素精度
ＭＶを最終的なＭＶとする。ＭＶの精度が０．２５画素
の場合は、前記方法で０．５画素のＭＶを求めた後に、
それを基準に０．２５精度で再探索し、求められた０．
２５画素精度ＭＶを最終的なＭＶとする。

【００１７】動き補償予測器８は、与えられたＭＶに従
って画像メモリ１４に保持されている再生画像を空間的
に移動させ、画像間予測信号として減算器２と加算器１
５に与える。ＭＶは精度が変化するので、１画素の場合
は画素単位の移動処理のみで済むが、０．５精度と０．
２５精度の場合はリサンプル処理が必要になり、その精
度が異なる。

【００１８】ＭＶ符号化器１８は、基本的な処理動作は
従来例と同じであるが、各ＭＶの値はＭＶの精度で正規
化して、ＭＶの精度の情報を別に付けるのが合理的であ
る。つまり、差分に対する可変長符号表は整数値に対す
るもの１種類を用意し、１画素精度の場合はそのまま、
０．５画素精度の場合は値を２倍し、０．２５画素精度
の場合はその値を４倍して、すべて整数として共通の符
号表を用いる。そして、統合ブロック単位で、ＭＶの精
度の符号を付随させる。

【００１９】ＭＶの精度の情報は統合ブロックの６４×
６４画素に対して１乃至２ビットであり、符号量として
は無視できる程度である。図１には構成上特に記載はな
いが、ＭＶの精度の判定には少なくとも１統合ブロック
分の処理時間がかかるので、その時間だけ動き推定器１
７以降の処理は遅延させる必要がある。また、通常のラ
スタースキャンの画像信号は、処理に合わせてブロック
や統合ブロックの順に配列変換される。

【００２０】＜動き補償符号記録媒体の実施例＞図１に
示す本発明の動き補償符号化装置から出力される符号列
を、動き補償符号記録媒体に記録する。この場合、動き
補償符号記録媒体は、入力画像から動き補償のブロック
が複数個統合されたブロック単位でＭＶの精度を選定
し、その精度で実際の動き補償で用いるＭＶを求めて画
像間予測符号化を行って得た予測残差の符号列と、前記
ＭＶの情報を統合されたブロック単位でＭＶの精度の情
報を有する形態で符号化して得たＭＶの符号列とを多重
化して得られた符号列を記録したものとなる。この符号
列は、従来例の符号化装置より出力される符号列と比較
して、単位時間当たりの符号量が少なく、同一容量の記
録媒体に、より長時間の情報を記録をすることが出来
る。

【００２１】＜動き補償復号化装置の実施例＞本発明の
動き補償符号化装置に対応する復号化装置の一実施例に
ついて、以下に図と共に説明する。図２は、その復号化
装置の構成を示したもので、従来例と同一構成要素には
同一番号を付してある。図２は図８と比較してＭＶ復号
化器２５、動き補償予測器８の動作が異なる。実施例に
おいて、従来例と異なるのは動き補償画像間予測処理で
あり、符号入力端子２１、多重分離器２２、可変長復号
化器２３、逆量子化器９、逆ＤＣＴ１６、加算器１５、
画像出力端子２４、画像メモリ１４の夫々の動作は、基
本的には従来例と同じである。

【００２２】図２に示す多重分離器２２で分離されたＭ
Ｖ情報は、ＭＶ復号化器２５で、図１のＭＶ符号化器１
８の逆処理が行われる。その際、統合ブロック毎に、挿
入されているＭＶの画素精度の情報も復号化される。得
られたＭＶの整数値は、ＭＶの精度値を乗じてＭＶを再
生し、動き補償予測器８に与える。動き補償予測器８
は、そのＭＶに基づいて、図１と同様な予測信号を形成
する。

【００２３】

【発明の効果】本発明では、所定精度の仮動きベクトル
（ＭＶ）の変化の程度と、画像の高い周波数成分の程度
を求めるが、ＭＶの変化の程度は動きベクトル情報量と
密接に関係し、画像の高い周波数成分の程度は動き補償
画像間予測で必要となる動き補償の精度と密接に関係す
る。それらに基づきＭＶを複数個束ねた単位でＭＶの精
度を選定することで、画像間予測残差の符号量とＭＶの
符号量の関係で、最も合理的に総符号量の少なくなる精
度が選定される。

【００２４】従って、従来動き補償の精度が不十分で予
測残差の符号量が多かったり、ＭＶの精度が不必要に細
かくてＭＶ符号量が多かった画像の部分で符号量が削減
され、総符号量が低く押さえられる。逆に発生符号量
（転送レート）を一定にとると、符号量制御で量子化が
細かくなり、再生画像の品質が向上する。仮ＭＶは、そ
のまま実際のＭＶの基として使えるので、処理量の増加
も僅かで済む。

【００２５】また、本発明では、従来例の符号化装置よ
り出力される符号列と比較して、単位時間当たりの符号
量が少なく出来、同一容量の記録媒体に、より長時間の
情報を記録可能な記録媒体を提供出来る。

【図面の簡単な説明】

【図１】本発明の動き補償符号化装置の一実施例の構成
例を示す図である。

【図２】本発明の動き補償復号化装置の一実施例の構成
例を示す図である。

【図３】本発明のＭＶ活性度検出器の一実施例の処理の
構成を示す図である。

【図４】本発明の高域検出器の一実施例の処理の構成を
示す図である。

【図５】本発明のＭＶ精度判定での閾値の一実施例を示
す図である。

【図６】本発明の一実施例の動き補償ブロックと統合ブ
ロックの関係を示した図である。

【図７】従来の動き補償符号化装置の構成の一例を示す
図である。

【図８】従来の動き補償復号化装置の構成の一例を示す
図である。

【符号の説明】

１ 画像入力端子 ２ 減算器 ３ ＤＣＴ ４ 量子化器 ５ 可変長符号化器 ６ 仮動き推定器（仮動き推定手段） ７ 高域検出器（高周波成分検出手段） ８ 動き補償予測器（動き補償画像間予測信号を形成す
る手段） ９ 逆量子化器 １０ 多重化器 １１ 符号出力端子 １２ ＭＶ活性度検出器（動きベクトル活性度検出手
段） １３ ＭＶ精度判定器（動きベクトル精度選択手段） １４ 画像メモリ １５ 加算器 １６ 逆ＤＣＴ １７ 動き推定器（本動き推定手段） １８ ＭＶ符号化器（動きベクトルを符号化する手段） ２１ 符号入力端子 ２２ 多重分離器 ２３ 可変長復号化器 ２４ 画像出力端子 ２５、８１ ＭＶ復号化器 ３１ 差分検出器 ３２、４２ 絶対値化器 ３３、４３ 累積加算器 ４１ 空間ＨＰＦ ７１ 動き推定器 ７２ 動き補償予測器 ７３ ＭＶ符号化器

Claims (4)

【特許請求の範囲】
1. 【請求項１】動き補償画像間予測をして符号化を行う動
   画像の動き補償符号化装置において、 入力画像から動き補償のブロック毎に所定精度の仮動き
   ベクトルを求める仮動き推定手段と、 前記仮動きベクトルの変化の程度を前記ブロックが複数
   統合された統合ブロック単位で求める動きベクトル活性
   度検出手段と、 前記入力画像の空間的に高い周波成分の程度を前記統合
   ブロック単位で求める高周波成分検出手段と、 前記仮動きベクトルの変化の程度と前記高い周波数成分
   の程度から動きベクトルの精度を前記統合ブロック単位
   で選定する動きベクトル精度選択手段と、 前記選定の動きベクトル精度で実際の動き補償で用いる
   動きベクトルを求める本動き推定手段と、 前記動きベクトルを用い動き補償画像間予測信号を形成
   する手段と、 前記動きベクトルを符号化する手段とを有することを特
   徴とする動き補償符号化装置。
2. 【請求項２】請求項１に記載された動き補償符号化装置
   において、 前記動きベクトル活性度検出手段は、 仮動きベクトルの空間的差分を得る差分検出手段と、前
   記差分検出手段の出力が供給されて前記差分の絶対値を
   得る絶対値化手段と、前記絶対値化手段の出力が供給さ
   れて前記絶対値を統合ブロック単位に加算して平均値を
   得る累積加算手段とを有する構成としたことを特徴とす
   る動き補償符号化装置。
3. 【請求項３】動き補償画像間予測をして符号化を行う動
   画像の動き補償符号化方法において、 入力画像から動き補償のブロック毎に所定精度の仮動き
   ベクトルを求め、前記仮動きベクトルの変化の程度を、
   前記ブロックが複数統合された統合ブロック単位で求
   め、前記入力画像の空間的に高い周波成分の程度を、前
   記統合ブロック単位で求め、前記仮動きベクトルの変化
   の程度と前記高い周波数成分の程度から、動きベクトル
   の精度を前記統合ブロック単位で選定し、前記精度で実
   際の動き補償で用いる動きベクトルを求め、前記動きベ
   クトルを用い、動き補償画像間予測信号を形成し、前記
   動きベクトルの情報を符号化することを特徴とする動き
   補償符号化方法。
4. 【請求項４】動き補償画像間予測を行い高能率符号化さ
   れた動画像の動き補償符号記録媒体であって、入力画像
   から動き補償のブロックが複数個統合されたブロック単
   位で、動きベクトルの精度を選定し、前記精度で実際の
   動き補償で用いる動きベクトルを求め、前記動きベクト
   ルを用い、動き補償画像間予測信号を形成し画像間予測
   符号化を行って予測残差の符号列を得て、前記動きベク
   トルの情報を、動き補償のブロックが複数個統合された
   ブロック単位で動きベクトルの精度の情報を有する形態
   で符号化し動きベクトルの符号列を得て、前記予測残差
   の符号列と前記動きベクトルの符号列を多重化して得ら
   れた符号列を記録したことを特徴とする動き補償符号記
   録媒体。