JPH10145795A

JPH10145795A - 動画像符号化方法、復号方法、動画像符号化装置および動画像復号装置

Info

Publication number: JPH10145795A
Application number: JP30480296A
Authority: JP
Inventors: Hirotaka Jiyosawa; 裕尚如沢; Kazuto Kamikura; 一人上倉; Yutaka Watanabe; 裕渡辺
Original assignee: Nippon Telegraph and Telephone Corp
Current assignee: Nippon Telegraph and Telephone Corp
Priority date: 1996-11-15
Filing date: 1996-11-15
Publication date: 1998-05-29

Abstract

(57)【要約】【課題】動画像符号化方法において、フレーム全体の
予測性能を向上させる。【解決手段】グローバル動き補償予測画像７はローカ
ル動き補償予測画像１１と共に重み平均計算部１２に入
力され、両者重みづけした平均である平均予測画像１３
が生成される。グローバル動き補償予測画像７、ローカ
ル動き補償予測画像、両者の重み平均による予測画像１
３は予測モード選択部１４に入力され、グローバル動き
補償予測画像８、ローカル動き補償予測画像１１、両者
の重み平均による平均予測画像１３の補償予測画像のう
ち、入力画像１との予測誤差が最も小さくなる予測画像
が小領域ごとに選択される。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、画像通信・画像記
録等に利用される画像信号のディジタル圧縮符号化方法
に関し、特に動画像符号化および復号方法における動き
補償予測方法に関する。

【０００２】

【従来の技術】通信用ビデオ符号化ＩＴＵ−ＴＨ．２６
１、Ｈ．２６３、蓄積用ビデオ符号化ＩＳＯ／ＩＥＣ１
１１７２（ＭＰＥＧ−１）や、蓄積／放送／通信向けの
汎用ビデオ符号化ＩＳＯ／ＩＥＣ１３８１８（ＭＰＥＧ
−２）等の国際標準符号化では、動画像信号の時間冗長
性を抑制する手段として、動き補償フレーム間予測を用
いている。このフレーム間予測では、通常、符号化対象
画像を例えば１６画素×１６ラインのブロックに区切
り、各ブロック毎に参照画像との間の動き量（動きベク
トル）を検出し、参照画像を動きベクトル分シフトして
生成した予測画像と符号化対象画像との間のフレーム間
差分を符号化する。

【０００３】具体的には、水平方向の移動量をｔ_x 、垂
直方向の移動量をｔ_y と表すと、現フレームの座標
（ｘ，ｙ）の画像データと最もよくマチングする画像
は、参照フレーム中の座標（ｘ’，ｙ’）の画像データ
として次のように対応づけられる。

【０００４】ｘ’＝ｘ＋ｔ_x ｙ’＝ｙ＋ｔ_y 参照フレーム中の同じ位置（ｘ，ｙ）の小領域ではな
く、これを動きベクトル（ｔ_x ，ｔ_y ）分シフトした位
置の小領域を予測画像とすることにより、フレーム間予
測効率を大幅に向上させることが可能となる。

【０００５】一方、カメラのパニング、チルトやズーム
に起因する画面全体の動きを補償するグローバル動き補
償が提案されている（上倉、渡辺：“動画像符号化にお
けるグローバル動き補償”、電子情報通信学会論文誌Ｂ
−Ｉ、Ｖｏｌ．Ｊ７６−Ｂ−Ｉ，Ｎｏ．１２，ｐｐ．
９４４−９５２、１９９３年１２月）。

【０００６】以下、上倉らのグローバル動き補償を用い
た符号化装置の構成および処理フローを図６を用いて簡
単に説明する。

【０００７】始めに、符号化対象画像１はグローバル動
き検出部４に入力され、ここで画面全体のグローバル動
きパラメータ５が求められる。グローバル動きパラメー
タ５は、フレームメモリ２に蓄積された参照画像３と共
にグローバル動き補償部６に入力され、参照画像３にグ
ローバル動きパラメータ５を作用させてグローバル動き
補償予測画像７が生成される。

【０００８】グローバル動き補償予測画像７は、入力画
像１と共にローカル動き検出部１０１に入力される。ロ
ーカル動き検出部１０１では、１６画素×１６ラインの
ブロックごとに、入力画像１とグローバル動き補償予測
画像７との間の動きベクトル１０２を検出する。グロー
バル動き補償は画面全体の動きを補償するものであり、
個々の小物体の動きはグローバルな動きからずれること
もある。ブロックごとに求められた動きベクトル１０２
は、グローバル動き補償のずれを補正するためのもので
ある。ローカル動き補償部１０３では、ローカル動き検
出部１０１で得られた動きベクトル１０２をグローバル
動き補償予測画像７に作用させて、補正済みグローバル
動き補償予測画像１０４を得る。

【０００９】一方、フレームメモリ２に蓄積された参照
画像３は、入力画像１と共にローカル動き検出部８に入
力される。ローカル動き検出部８では、１６画素×１６
ラインのブロックごとに、入力画像１と参照画像３との
間の動きベクトル９を検出する。ローカル動き補償部１
０では、ローカル動き検出部８で得られた動きベクトル
９を参照画像３に作用させてローカル動き補償予測画像
１１を得る。これは従来のＭＰＥＧ等で用いられている
動き補償方法そのものである。

【００１０】次に、予測モード選択部１０５では、補正
済みグローバル動き補償予測画像１０４とローカル動き
補償予測画像１１のうち、入力画像１との予測誤差が小
さくなる方をブロックごとに選択する。予測モード選択
情報１０６は切替器１０７を動作させる。切替器１０７
のスイッチは、予測モードがローカル動き補償予測画像
１１の場合には上に切り替わり、入力画像１と参照画像
３との間で求められた動きベクトル９を動きベクトル１
０８として出力し、補正済みグローバル動き補償予測画
像１０４の場合には下に切り替わり、入力画像１とグロ
ーバル動き補償予測画像７との間で求められた動きベク
トル１０２を動きベクトル１０８として出力する。予測
モード選択部１０５で選択された予測画像１５は減算器
１６に入力され、入力画像１との差分画像１７はＤＣＴ
部１８でＤＣＴ係数１９に変換される。ＤＣＴ部１８か
ら得られるＤＣＴ係数１９は、量子化部２０で量子化イ
ンデックス２１に変換される。量子化インデックス２
１、グローバル動きパラメータ５、動きベクトル１０
８、さらに予測モード選択情報１０６は個別に符号化さ
れた後、多重化部（不図示）で多重化されて符号化装置
出力となる。

【００１１】また、復号装置と同じ復号画像を符号化装
置内でも得るため、量子化インデックス２１は、逆量子
化部２２にて量子化代表値２３に戻され、さらに逆ＤＣ
Ｔ部２４で差分画像２５に逆変換される。差分画像２５
と予測画像１５は加算器２６で加算され、局部復号画像
２７となる。この局部復号画像２７はフレームメモリ２
に蓄積され、次のフレームの符号化時に参照画像として
用いられる。

【００１２】

【発明が解決しようとする課題】上述した従来のグロー
バル動き補償予測方法は、グローバル動き補償による予
測画像とローカル動き補償による予測画像のうち、１６
画素×１６ラインのブロックごとに予測誤差の小さい方
を選択し、フレーム全体の予測効率を高めるものである
が、いずれの予測値を用いても予測誤差が大きい場合、
すなわち動き補償が当たらない場合には、動き補償を行
なわずにフレーム内符号化モードが選択される。このフ
レーム内符号化モードでは大量の符号が発生するため、
指定伝送レートに抑えるために画質が大きく劣化してし
まう問題点があった。

【００１３】動き補償が当たらない原因としては、１．参照画像中に符号化対象ブロックに相当する部分
が存在しない。

【００１４】２．雑音の影響による正しい動きベクト
ルが検出できない。

【００１５】３．正しい動きベクトルが検出できたと
しても、雑音により予測誤差が大きくなってしまう等が考えられる。１．の場合には、物理的に予測不可能
であるためフレーム内符号化を選ぶ以外に方法はない。
しかし、２．や３．の場合には、予測画像中の雑音を抑
圧することにより解決できる。但し、雑音がない場合等
には、従来通りグローバル動き補償による予測画像、あ
るいはローカル動き補償による予測も選択できることが
望ましい。

【００１６】雑音抑圧の手段としては、ローパスフィル
タやメディアンフィルタ等が考えられる。しかし、ロー
パスフィルタではショット雑音の除去が不十分であり、
フィルタを強くすると画像がぼけ過ぎてしまう。また、
メディアンフィルタはショット雑音の除去には有効であ
るが、細かなテクスチャが失われてしまう。これらに対
し、二つの類似した信号を加算平均すると、雑音電力が
１／２^1/2 になる性質がある。この方法は雑音抑圧には
極めて有効である。

【００１７】一方、前記従来技術の動き補償予測符号化
方法においては、グローバル動き補償予測画像と入力画
像との間のずれを小領域単位のローカル動き補償により
補正している。しかし、グローバル動き補償が正確な場
合には、この小領域単位のローカル動き補償による補正
は不要であり、グローバル動き補償のみの予測モードを
設けることが望ましい。これにより、グローバル動き補
償が精度よく当たっている小領域については動きベクト
ルを符号化しなくて済み、発生符号量を削減できる。

【００１８】本発明の目的は、グローバル動き補償とロ
ーカル動き補償の両動き補償が当たらない場合に、フレ
ーム全体の予測性能が向上した動画像符号化方法および
装置とこれに対応した動画像復号方法および装置を提供
することにある。

【００１９】

【課題を解決するための手段】本発明の動画像符号化方
法は、フレーム全体の大局的な動きを予測するグローバ
ル動き補償段階と、フレーム中の小領域毎の動きを予測
するローカル動き補償段階を有する動画像のフレーム間
符号化方法において、グローバル動き補償による予測値
とローカル動き補償による予測値の重みづけ平均を計算
する段階と、各小領域を予測するにあたり、グローバル
動き補償による予測値、ローカル動き補償による予測
値、グローバル動き補償による予測値とローカル動き補
償による予測値の重みづけ平均、の３通りの予測値のう
ちのいずれか一つを入力画像の符号化のために選択する
段階を有する。

【００２０】グローバル動き補償とローカル動き補償の
両動き補償が当たらない場合の第三の予測モードを用意
し、小領域ごとに最も予測誤差の小さい予測値を選択す
ることにより、フレーム全体の予測性能を向上させるこ
とができる。

【００２１】グローバル動き補償で求められた予測画像
とローカル動き補償で得られた予測画像の重みづけ平均
を予測値とすることにより、予測画像中の雑音を大幅に
低減できる。たとえば、両者の重みを１：１とした平均
値予測の場合には、雑音電力を１／２^1/2 に低減でき
る。したがって、符号化画像や参照画像の雑音が多く、
従来の方法では動き補償が当たらない場合でも、本発明
により予測効率を大幅に改善することができる。

【００２２】符号化にあたっては、符号化ビット列中
に、どの予測値を用いたかを示す符号語を挿入しておく
ことにより、復号装置では正しい予測画像を生成するこ
とができる。

【００２３】なお、予測誤差が最小となる予測値を選択
するのは一例であり、予測誤差だけでなく動きベクトル
等の付加情報量を合わせて考慮することにより、全体の
符号化性能をさらに向上させることもできる。また、
１：１の重み係数も一例であり、１：１に限らず自由な
重みを設定することが可能である。

【００２４】本発明の他の動画像符号化方法は、フレー
ム全体の大局的な動きを予測するグローバル動き補償段
階と、フレーム中の小領域毎の動きを予測するローカル
動き補償段階を有する動画像符号化方法において、前記
グローバル動き補償による得られる予測画像を小領域単
位のローカル動き補償で補正した予測値を生成する段階
と、前記グローバル動き補償による予測値と前記ローカ
ル動き補償による予測値の重みづけ平均を計算する段階
と、各小領域を予測するにあたり、グローバル動き補償
による予測値、ローカル動き補償による予測値、前記グ
ローバル動き補償により得られる予測画像を小領域単位
のローカル動き補償で補正した予測値、グローバル動き
補償による予測値とローカル動き補償による予測値の重
みづけ平均、の４通りの予測値のうち、いずれか一つを
入力信号の符号化のために選択する段階を有する。

【００２５】グローバル動き補償による予測値、ローカ
ル動き補償による予測値、グローバル動き補償予測画像
を小領域単位のローカル動き補償により補正した予測
値、グローバル動き補償による予測値とローカル動き補
償による予測値の重みづけ平均、の４つの予測値を用意
し、小領域ごとに最も予測誤差の小さい予測値を選択す
ることにより、フレーム全体の予測性能を向上させるこ
とができる。

【００２６】グローバル動き補償で求められた予測画像
とローカル動き補償で得られた予測画像の重み平均を予
測値とすることにより、予測画像中の雑音を大幅に低減
できる。たとえば、両者の重みを１：１とした平均値予
測の場合には、雑音電力を１／２^1/2 に低減できる。し
たがって、符号化画像や参照画像の雑音が多く、従来の
方法では動き補償が当たらない場合でも、本発明により
予測効率を大幅に改善することができる。

【００２７】また、前記従来技術の動き補償予測符号化
方法においては、グローバル動き補償予測画像と入力画
像との間のずれを小領域単位のローカル動き補償により
補正していた。しかし、本発明ではグローバル動き補償
のみによる予測モードを設けているため、グローバル動
き補償が精度よく当たっている小領域については動きベ
クトルを符号化しなくて済み、発生符号量を削減でき
る。

【００２８】さらに、グローバル動き補償を第１の予測
モード、ローカル動き補償を第２の予測モード、グロー
バル動き補償予測画像を小領域単位のローカル動き補償
により補正するものを第３の予測モード、グローバル動
き補償による予測値とローカル動き補償による予測値の
重み平均を第４の予測モードとし、小領域ごとに最も予
測誤差の小さいモードを選択することにより、フレーム
全体の予測効率を改善することができる。符号化にあた
っては、符号化ビット列中に、どの予測値を用いたかを
示す符号語を挿入しておくことにより、復号装置では正
しい予測画像を生成することができる。

【００２９】なお、予測誤差が最小となる予測値を選択
するのは一例であり、予測誤差だけでなく動きベクトル
等の付加情報量を合わせて考慮することにより、全体の
符号化性能をさらに向上させることもできる。また、
１：１の重み係数も一例であり、１：１に限らず自由な
重みを設定することが可能である。

【００３０】本発明の第１の動画像符号化装置は、小領
域ごとに、入力画像と参照画像との間の動きベクトルを
検出するローカル動き検出手段と、前記動きベクトルを
前記参照画像に作用させてローカル動き補償予測画像を
得るローカル動き補償予測手段と、入力画像からフレー
ム全体のグローバル動きパラメータを求めるグローバル
動き検出手段と、参照画像に前記グローバル動きパラメ
ータを作用させてグローバル動き補償予測画像を得るグ
ローバル動き補償手段を有する動画像符号化装置におい
て、前記グローバル動き補償予測画像と前記ローカル動
き補償予測画像を重みづけして加算した平均予測画像を
生成する重み平均計算手段と、前記グローバル動き補償
手段画像、前記ローカル動き補償予測画像、前記平均予
測画像の３通りの予測画像のうち１つを小領域ごとに選
択する予測モード選択手段と、前記グローバル動き補償
予測画像、前記ローカル動き補償予測画像、前記平均予
測画像のいずれかを選択したかを示す符号語を符号化ビ
ット列中に挿入する手段とを有する。

【００３１】本発明の第２の動画像符号化装置は、小領
域ごとに、入力画像と参照画像との間の動きベクトルを
検出するローカル動き検出手段と、前記動きベクトルを
前記参照画像に作用させてローカル動き補償予測画像を
得るローカル動き補償予測手段と、入力画像からフレー
ム全体のグローバル動きパラメータを求めるグローバル
動き検出手段と、参照画像に前記グローバル動きパラメ
ータを作用させてグローバル動き補償予測画像を得るグ
ローバル動き補償手段を有する動画像符号化装置におい
て、前記グローバル動き補償予測画像と前記ローカル動
き補償予測画像を重みづけして加算した平均予測画像を
生成する重み平均計算手段と、入力画像と前記グローバ
ル動き補償予測画像との間のずれを小領域ごとの動きベ
クトルとして求めるローカル動き検出手段と、前記小領
域ごとの動きベクトルを前記グローバル動き補償予測画
像に作用させて補正済みグローバル動き補償予測画像を
得るローカル動き補償手段と、前記グローバル動き補償
予測画像、前記ローカル動き補償予測画像、前記補正済
みグローバル動き補償予測画像、前記平均予測画像の４
通りの予測画像のうち１つを小領域ごとに選択する予測
モード選択手段と、前記グローバル動き補償予測画像、
前記ローカル動き補償予測画像、前記補正済みグローバ
ル動き補償予測画像、前記平均予測画像のいずれを選択
したかを示す符号語を符号化ビット列中に挿入する手段
と、選択された予測画像が前記ローカル動き補償予測画
像、または前記平均予測画像の場合、入力画像と参照画
像の間で求められた動きベクトルを出力し、選択された
予測画像が前記補正済みグローバル動き補償予測画像の
場合には前記入力画像と前記グローバル動き補償予測画
像との間で求められた動きベクトルを出力する切替手段
を有する。

【００３２】本発明の第１の動画像復号装置は、第１の
動画像符号化装置に対応する動画像復号装置であって、
フレーム全体の大局的な動きを予測するグローバル動き
補償手段と、フレーム中の小領域毎の動きを予測するロ
ーカル動き補償手段を有する動画像復号装置において、
グローバル動き補償による予測値とローカル動き補償に
よる予測値の重みづけ平均を計算する重みづけ平均計算
手段と、グローバル動き補償による予測値、ローカル動
き補償による予測値、グローバル動き補償による予測値
とローカル動き補償による予測値の重みづけ平均のうち
前記符号化ビット列中の符号語が示す予測値を予測画像
を生成するために選択する手段を有する。

【００３３】本発明の第２の動画像復号装置は、第２の
動画像符号化装置に対応する動画像復号装置であって、
フレーム全体の大局的な動きを予測するグローバル動き
補償手段と、フレーム中の小領域毎の動きを予測する第
１のローカル動き補償手段を有する動画像符号化方法に
おいて、グローバル動き補償予測画像とローカル動き補
償予測画像の重みづけ平均による平均予測画像を計算す
る重み平均計算手段と、前記入力画像と前記グローバル
動き補償予測画像との間で求められた動きベクトルをグ
ローバル動き補償予測画像に作用させて補正済みグロー
バル動き補償予測画像を得る第２のローカル動き補償手
段と、前記符号語が示す予測画像がローカル動き補償予
測画像または前記平均予測画像の場合、前記動画像符号
化装置から出力された動きベクトルを前記第１のローカ
ル動き補償手段に出力し、前記符号語が示す予測画像が
グローバル動き補償予測画像の場合、前記第２のローカ
ル動き補償手段に出力する切替手段と、グローバル動き
補償による予測値、ローカル動き補償による予測値、補
正済みグローバル動き補償予測画像、グローバル動き補
償による予測値とローカル動き補償による予測値の重み
平均のうち前記符号化ビット列中の符号語が示す予測値
を、予測画像を生成するために選択する段階を有する。

【００３４】

【発明の実施の形態】次に、本発明の実施の形態につい
て図面を参照して説明する。

【００３５】図１は本発明の第１の実施形態の符号化装
置の構成を示す図である。

【００３６】本実施形態の符号化器はフレームメモリ２
とグローバル動き検出部４とグローバル動き補償部６と
ローカル動き検出部８とローカル動き補償部１０と重み
平均計算部１２と予測モード選択部１４と減算器１６と
ＤＣＴ部１８と量子化部２０と逆量子化部２２と逆ＤＣ
Ｔ部２４と加算器２６で構成されている。

【００３７】次に、本実施形態の動作を説明する。

【００３８】また、符号化対象画像１がグローバル動き
検出部４に入力され、ここで画面全体のグローバル動き
パラメータ５が求められる。グローバル動き補償に用い
られる動きモデルの例としては、射影変換、双一次変
換、アフィン変換等がある。本発明はどの動きモデルを
用いても実施可能であり、動きモデルについては問わな
いが、これら代表的な動きモデルについて簡単に説明す
る。

【００３９】現在の点の座標を（ｘ，ｙ）、対応点の座
標を（ｘ’，ｙ’）とした時、射影変換は以下の式で表
される。

【００４０】ｘ’＝（ａｘ＋ｂｙ＋ｔｘ）／（ｐｘ＋ｑｙ＋ｓ）ｙ’＝（ｃｘ＋ｄｙ＋ｔｘ）／（ｐｘ＋ｑｙ＋ｓ）一般にはｓ＝１としたものも射影変換と呼ばれることが
多い。次に、双一次変換の式を以下に示す。

【００４１】ｘ’＝ｇｘｙ＋ａｘ＋ｂｙ＋ｔｘｙ’＝ｈｘｙ＋ｃｘ＋ｃｙ＋ｔｙ射影変換は二次元変換の一般表現であり、ｐ＝ｑ＝０，
ｓ＝１としたものがアフィン変換である。また、双一次
変換において次式のようにｇ＝ｈ＝０としてもアフィン
変換となる。

【００４２】ｘ’＝ａｘ＋ｂｙ＋ｔｘｙ’＝ｃｘ＋ｄｙ＋ｔｙ以上の式において、ｔ_x ，ｔ_y はそれぞれ水平、垂直方
向の平行移動量を表す。パラメータａは水平方向の拡大
／縮小または反転を表現し、パラメータｄは垂直方向の
拡大／縮小または反転を表現する。また、パラメータｂ
は水平方向のせん断、パラメータｃは垂直方向のせん断
を表す。さらに、ａ＝ｃｏｓθ，ｂ＝ｓｉｎθ，ｃ＝−
ｓｉｎθ，ｄ＝ｃｏｓθの場合は角度θの回転を表す。
ａ＝ｄ＝１でかつｂ＝ｃ＝０の場合は従来の平行移動モ
デルと等価である。

【００４３】以上のように、動きモデルにアフィン変換
を用いることにより、平行移動、拡大／縮小、反転、せ
ん断、回転等の様々な動きと、これらの自在な組み合わ
せを表現できる。パラメータ数が８または９個の射影変
換や、双一次変換ではさらに複雑な動きを表現し得る
（詳しくは、山口富士夫：“コンピュータディスプレイ
による図形処理工学”日刊工業新聞社、１９８１年を参
照のこと）。

【００４４】さて、グローバル動き検出部４で求められ
たグローバル動きパラメータ５はフレームメモリ２に蓄
積された参照画像３と共にグローバル動き補償部６に入
力される。グローバル動き補償部３では、参照画像３に
グローバル動きパラメータ５を作用させてグローバル動
き補償予測画像７を得る。

【００４５】一方、フレームメモリ２に蓄積された参照
画像３は、入力画像１と共にローカル動き検出部８に入
力される。ローカル動き検出部８では、小領域ごとに、
入力画像１と参照画像３との間の動きベクトル９を検出
する。ここで、小領域の大きさ、形状は自由である。た
とえば、１６画素×１６ラインのブロック等を用いるこ
とができる。ローカル動き補償部１０では、ローカル動
き検出部８で得られた動きベクトル９を参照画像３に作
用させて、ローカル動き補償予測画像１１を得る。これ
は従来のＭＰＥＧ等で用いられている動き補償そのもの
である。

【００４６】次に、グローバル動き補償部６で生成され
たグローバル動き補償予測画像７は、ローカル動き補償
部１０で生成されたローカル動き補償予測画像１１と共
に重み平均計算部１２に入力される。図２は、重み平均
計算部１２の構成を示す図である。重み平均計算部１２
では、乗算器１２ａにおいてグローバル動き補償画像７
に重みｗ１（０≦ｗ１≦１）を掛け、重みづけグローバ
ル動き補償予測画像１２ｂを得る。また、乗算器１２ｃ
においてローカル動き補償予測画像１１に重みｗ２（０
≦ｗ２≦１，但しｗ１＋ｗ２＝１）を掛け、重みづけグ
ローバル動き補償画像１２ｄを得る。二つの重みづけ予
測画像１２ｂと１２ｄは加算器１２ｅにて加えられ、平
均予測画像１３となる。本実施形態では、重み係数をｗ
１＝ｗ２＝０．５とする。

【００４７】続いて、グローバル動き補償予測画像７、
ローカル動き補償予測画像１１、両者の重みづけ平均に
よる平均予測画像１３は入力画像１とともに予測モード
選択部１４に入力される。予測モード選択部１４では、
グローバル動き補償予測画像７、ローカル動き補償予測
画像１１、両者の重み平均による平均予測画像１３の三
通りの予測画像と入力画像１の差分（予測誤差）をと
り、各小領域ごとにいずれか一つの予測画像を選択す
る。本実施形態では、入力画像１との予測誤差が最も小
さくなる予測画像を小領域ごとに選択する。

【００４８】予測モード選択部１４で選択された予測画
像１５は減算器１６に入力され、入力画像１との差分画
像１７はＤＣＴ部１８で変換される。ＤＣＴ部１８から
得られるＤＣＴ係数１９は、量子化部２０で量子化イン
デックス２１に変換される。量子化インデックス２１、
グローバル動きパラメータ５、動きベクトル９、さらに
予測モード選択情報２８は個別に符号化された後、多重
化されて符号化装置出力となる。

【００４９】また、復号装置と同じ復号画像を符号化装
置内でも得るため、量子化インデックス２１は、逆量子
化部２２にて量子化代表値２３に戻され、さらに逆ＤＣ
Ｔ部２４で差分画像２５に逆変換される。差分画像２５
と予測画像１５は加算器２６で加算され、局部復号画像
２７となる。この局部復号画像２７はフレームメモリ２
に蓄積され、次のフレームの符号化時に参照画像として
用いられる。

【００５０】予測モード選択情報２８は、グローバル動
き補償予測画像７、ローカル動き補償予測画像１１、両
者の重み平均による平均予測画像１３の三つのうち、い
ずれの予測画像を用いたかを復号装置に知らせる付加情
報である。復号装置はこの情報がないと符号化装置内と
同じ予測画像を生成できないため、符号化ビット列に含
めなければならない必須情報である。本実施形態では、
前記三つの予測画像のうちのいずれを用いたかを示す符
号語を多重化部（不図示）で符号化ビット列中に挿入す
る。

【００５１】復号装置に送るべき情報は、グローバル動
き補償予測、ローカル動き補償予測、両者の重み平均予
測の３通りであるので、一小領域あたり最大２ビットの
符号語を割り当てればよい。たとえば、固定長符号を用
いる場合は、表１のように符号語を割り当てることがで
きる。

【００５２】

【表１】また、予測モードの発生頻度に偏りがある場合には、可
変長符号を用いることもできる。選択頻度が最も高い予
測モードに１ビット、その他に２ビットの符号を割り当
てることにより、全体の符号量を削減することができ
る。表２に可変長符号の割り当て例を示す。表２は、グ
ローバル動き補償とローカル動き補償の平均予測が最も
多く選ばれる場合の一例である。

【００５３】

【表２】図３は本発明の第１の実施形態の復号装置の構成を示す
図である。

【００５４】本実施形態の復号装置はフレームメモリ４
２とグローバル動き補償部４６とローカル動き補償部５
０と重み平均計算部５２と予測モード選択部５４と逆量
子化部６２と逆ＤＣＴ部６４と加算器６６で構成されて
いる。

【００５５】復号装置では、まず受信した符号化ビット
列を分離部（不図示）でグローバル動き情報、ローカル
動き情報、予測モード選択情報、差分画像情報の四つに
分離し、それぞれを復号する。次に、フレームメモリ４
２に蓄積された参照画像４３は、復号されたグローバル
動きパラメータ５と共にグローバル動き補償部４６に入
力する。グローバル動き補償部４６では、参照画像４３
にグローバル動きパラメータ５を作用させてグローバル
動き補償予測画像４７を生成する。一方、参照画像４３
は、復号された動きベクトル９と共にローカル動き補償
部５０にも入力される。ローカル動き補償部５０では、
参照画像４３に動きベクトル９を作用させて、ローカル
動き補償予測画像５１を生成する。

【００５６】次に、グローバル動き補償部４６で生成さ
れたグローバル動き補償予測画像４７は、ローカル動き
補償部５０で生成されたローカル動き補償予測画像５１
と共に、重み平均計算部５２に入力される。重み平均計
算部５２では、グローバル動き補償予測画像４７とロー
カル動き補償予測画像５１の重みづけ平均による平均予
測画像５３を計算する。

【００５７】続いて、グローバル動き補償予測画像４
７、ローカル動き補償予測画像５１、両者の重みづけ平
均による平均予測画像５３は予測モード選択部５４に入
力される。予測モード選択部５４では、復号された予測
モード選択情報２８に基づき、グローバル動き補償予測
画像４７、ローカル動き補償予測画像５１、両者の重み
平均による平均予測画像５３の三通りのうち、いずれか
一つを選択し、これを予測画像５５とする。

【００５８】一方、復号された量子化インデックス２１
は、逆量子化部６２にて量子化代表値６３に戻され、さ
らに逆ＤＣＴ部６４で差分画像６５に逆変換される。差
分画像６５と予測画像５５は加算器６６で加算され、局
部復号画像５７となる。この局部復号画像６７はフレー
ムメモリ４２に蓄積され、次のフレームの符号化時に参
照画像として用いられる。

【００５９】図４は本発明の第２の実施形態の符号化装
置の構成を示すブロック図である。同１中と同じ構成要
素には同一の参照番号を付している。

【００６０】本実施形態は、図１の実施形態に、ローカ
ル動き検出部３０と、ローカル動き補償部３２と切替器
２９が付加され、予測モード選択部１４の代りに予測モ
ード選択部１４’が設けられている。

【００６１】次に、本実施形態の動作を図１の実施形態
と異なる部分のみ説明する。

【００６２】グローバル動き補償予測画像７は、入力画
像１と共にローカル動き検出部３０に入力される。ロー
カル動き検出部３０では、入力画像１とグローバル動き
補償予測画像７との間のずれを小領域ごとの動きベクト
ル３１として求める。ここで、小領域の大きさ、形状は
自由である。たとえば、１６画素×１６ラインのブロッ
ク等を用いることができる。小領域ごとの動きベクトル
３１は、グローバル動き補償予測画像７と共にローカル
動き補償部３７に入力される。ローカル動き補償部３７
では、動きベクトル３１をグローバル動き補償予測画像
７に作用させて、補正済みグローバル動き補償予測画像
３３を得る。

【００６３】グローバル動き補償予測画像７、ローカル
動き補償予測画像１１、補正済みグローバル動き補償予
測画像３３、グローバル動き補償予測画像７とローカル
動き補償予測画像１１の重みづけ平均による平均予測画
像１３は入力画像１とともに予測モード選択部１４’に
入力される。予測モード選択部１４’では、グローバル
動き補償予測画像７、ローカル動き補償予測画像１１、
補正済みグローバル動き補償予測画像３３、平均予測画
像１３の４通りの予測画像と入力画像１の差分（予測誤
差）をとり、小領域ごとにいずれか一つの予測画像を選
択する。本実施形態では、入力画像１との予測誤差が最
も小さくなる予測値を小領域ごとに選択する。

【００６４】予測モード選択情報２８は、グローバル動
き補償予測画像７、ローカル動き補償予測画像１１、補
正済みグローバル動き補償予測画像３３、平均予測画像
１３の４つのうち、いずれの予測画像を用いたかを復号
装置に知らせる付加情報である。復号装置はこの情報が
ないと符号化装置内と同じ予測画像を生成できないた
め、符号化ビット列に含めなければならない必須情報で
ある。本実施形態では前記４つの予測画像のうちのいず
れを用いたかを示す符号語を多重化部（不図示）で符号
化ビット列中に挿入する。

【００６５】復号装置に送るべき情報は、グローバル動
き補償による予測値７、ローカル動き補償による予測値
１１、グローバル動き補償予測画像を小領域単位のロー
カル動き補償により補正した予測値（グローバル動き補
償＋ローカル動き補償３３）、グローバル動き補償によ
る予測値とローカル動き補償による予測値の重みづけ平
均１３、の４通りであるので、一小領域あたり２ビット
の符号語を割り当てればよい。たとえば、符号語を表３
のように割り当てることができる。予測方法と符号語の
対応は、必ずしも表３の例による必要はない。

【００６６】

【表３】また、予測モードの発生頻度に偏りがある場合には、可
変長符号を用いることもできる。選択頻度が最も高い予
測モードに短い符号、その他に長い符号を割り当てるこ
とにより、全体の符号量を削減することができる。

【００６７】なお、予測モード選択情報２８は切替器２
９を動作させる。切替器２９のスイッチは、予測モード
がローカル動き補償、またはグローバル動き補償とロー
カル動き補償の平均予測の場合には上に切り替わり、入
力画像１と参照画像３との間で求められた動きベクトル
９を動きベクトル３４として出力する。また、グローバ
ル動き補償予測画像をローカル動き補償で補正する予測
モードの場合には下に切り替わり、入力画像１とグロー
バル動き補償予測画像７との間で求められた動きベクト
ル３１を動きベクトル３４として出力する。

【００６８】図５は本発明の第２の実施形態の復号装置
の構成を示すブロック図である。図３中と同じ構成要素
には同じ参照番号を付している。

【００６９】本実施形態は、図３の実施形態に、ローカ
ル動き補償部５７と切替器５６が付加され、モード選択
部５４の代りにモード選択部５４’が設けられている。

【００７０】復号装置では、まず受信した符号化ビット
列を分離部（不図示）でグローバル動き情報、ローカル
動き情報、予測モード選択情報、差分画像情報の４つに
分離し、それぞれを復号する。次に、フレームメモリ４
２に蓄積された参照画像４３は、復号されたグローバル
動きパラメータ５と共にグローバル動き補償部４６に入
力する。グローバル動き補償部４６では、参照画像４３
にグローバル動きパラメータ５を作用させてグローバル
動き補償予測画像４７を生成する。

【００７１】動きベクトル３４は、予測モード選択情報
２８と共に切替器５６に入力される。切替器５６のスイ
ッチは、予測モードがローカル動き補償、またはグロー
バル動き補償とローカル動き補償の平均予測の場合は
上、グローバル動き補償予測画像をローカル動き補償で
補正する場合には下に切り替わる。グローバル動き補償
予測画像をローカル動き補償で補正するモードの場合小
領域ごとの動きベクトル３１は、グローバル動き補償予
測画像４７と共にローカル動き補償部５７に入力され
る。ローカル動き補償部５７では、動きベクトル３１を
グローバル動き補償予測画像４７に作用させて、補正済
みグローバル動き補償予測画像５８を得る。また、ロー
カル動き補償、またはグローバル動き補償とローカル動
き補償の平均予測の場合、小領域ごとの動きベクトル９
は、参照画像４３と共にローカル動き補償部５０に入力
される。ローカル動き補償部５０では、参照画像４３に
動きベクトル９を作用させて、ローカル動き補償予測画
像５１を生成する。

【００７２】次に、グローバル動き補償部４６で生成さ
れたグローバル動き補償予測画像４７は、ローカル動き
補償部５０で生成されたローカル動き補償予測画像５１
と共に、重み平均計算部５２に入力される。重み平均計
算部５２では、グローバル動き補償予測画像４７とロー
カル動き補償予測画像５１の重み平均による平均予測画
像５３を計算する。

【００７３】続いて、グローバル動き補償予測画像４
７、ローカル動き補償予測画像５１、両者の重み平均に
よる平均予測画像５３、補正済みグローバル動き補償予
測画像５８は予測モード選択部５４に入力される。予測
モード選択部５４では、復号された予測モード選択情報
２８に基づき、グローバル動き補償予測画像４７、ロー
カル動き補償予測画像５１、補正済みグローバル動き補
償予測画像５８、グローバル動き補償予測画像４７とロ
ーカル動き補償予測画像５１の重み平均による平均予測
画像５３の４つのうち、いずれか一つを選択し、これを
予測画像５５とする。

【００７４】一方、復号された量子化インデックス２１
は、逆量子化部６２にて量子化代表値６３に戻され、さ
らに逆ＤＣＴ部６４で差分画像６５に逆変換される。差
分画像６５と予測画像５５は加算器６６で加算され、局
部復号画像６７となる。この局部復号画像６７はフレー
ムメモリ４２に蓄積され、次のフレームの符号化時に参
照画像として用いられる。

【００７５】

【発明の効果】以上説明したように、本発明は、下記の
ような効果がある。１）請求項１、２、５、６、９、１０、１１〜１４の発
明は、フレーム全体の予測性能が向上する。２）請求項３、７の発明は、雑音電力を１／２^1/2 に低
減できる。

【図面の簡単な説明】

【図１】本発明の第１の実施形態の符号化器の構成を示
す図である。

【図２】図１、図４の実施形態における重み平均計算部
の構成を示す図である。

【図３】本発明の第１の実施形態の符号化器に対応する
復号器の構成を示す図である。

【図４】本発明の第２の実施形態の符号化器の構成を示
す図である。

【図５】本発明の第２の実施形態の符号化器に対応する
復号器の構成を示す図である。

【図６】従来のグローバル動き補償予測符号化方法によ
る符号化器の構成を示す図である。

【符号の説明】

１符号化対象画像２フレームメモリ３参照画像４グローバル動き検出部５グローバル動きパラメータ６グローバル動き補償部７グローバル動き補償予測画像８ローカル動き検出部９動きベクトル１０ローカル動き補償部１１ローカル動き補償予測画像１２重み平均計算部１２ａ乗算器１２ｂ重みづけグローバル動き補償予測画像１２ｃ乗算器１２ｄ重みづけローカル動き補償予測画像１２ｅ加算器１３平均予測画像１４，１４’ 予測モード選択部１５動きベクトル１６減算器１７差分画像１８ＤＣＴ部１９ＤＣＴ係数２０量子化部２１量子化インデックス２２逆量子化部２３量子化代表値２４逆ＤＣＴ部２５差分画像２６加算器２７局部復号画像２８予測モード選択選択情報２９切替器３０ローカル動き検出部３１動きベクトル３２ローカル動き補償部３３補正済みグローバル動き補償予測画像３４動きベクトル４２フレームメモリ４３参照画像４６グローバル動き補償部４７グローバル動き補償予測画像５０ローカル動き補償部５１ローカル動き補償予測画像５２動き平均計算部５３平均予測画像５４予測モード選択部５５動きベクトル５６切替器５７ローカル動き補償部５８補正済みグローバル動き補償予測画像６２逆量子化部６３量子化代表値６４逆ＤＣＴ部６５差分画像６６加算器６７局部復号画像

Claims

【特許請求の範囲】

【請求項１】フレーム全体の大局的な動きを予測する
グローバル動き補償段階と、フレーム中の小領域毎の動
きを予測するローカル動き補償段階を有する動画像符号
化方法において、グローバル動き補償による予測値とローカル動き補償に
よる予測値の重みづけ平均を計算する段階と、各小領域を予測するにあたり、グローバル動き補償によ
る予測値、ローカル動き補償による予測値、グローバル
動き補償による予測値とローカル動き補償による予測値
の重みづけ平均、の３通りの予測値のうちのいずれか一
つを入力画像の符号化のために選択する段階を有するこ
とを特徴とする動画像符号化方法。
【請求項２】グローバル動き補償による予測値、ロー
カル動き補償による予測値、グローバル動き補償による
予測値とローカル動き補償による予測値の重みづけ平
均、の３通りの予測値のうち、入力画像との予測誤差の
評価値が最も小さいものを選択する請求項１に記載の動
画像符号化方法。
【請求項３】グローバル動き補償による予測値とロー
カル動き補償による予測値の重みづき平均を計算するに
あたり、両者の重みの比率を１：１とする請求項１また
は２に記載の動画像符号化方法。
【請求項４】グローバル動き補償による予測値、ロー
カル動き補償による予測値、両者の予測値の重みづけ平
均のいずれの予測値を用いたかを示す符号語を符号化ビ
ット列中に挿入する請求項１から３のいずれか１項に記
載の動画像符号化方法。
【請求項５】フレーム全体の大局的な動きを予測する
グローバル動き補償段階と、フレーム中の小領域毎の動
きを予測するローカル動き補償段階を有する動画像符号
化方法において、前記グローバル動き補償による得られる予測画像を小領
域単位のローカル動き補償で補正した予測値を生成する
段階と、前記グローバル動き補償による予測値と前記ローカル動
き補償による予測値の重みづけ平均を計算する段階と、各小領域を予測するにあたり、グローバル動き補償によ
る予測値、ローカル動き補償による予測値、前記グロー
バル動き補償により得られる予測画像を小領域単位のロ
ーカル動き補償で補正した予測値、グローバル動き補償
による予測値とローカル動き補償による予測値の重みづ
け平均、の４通りの予測値のうち、いずれか一つを入力
信号の符号化のために選択する段階を有することを特徴
とする動画像符号化方法。
【請求項６】グローバル動き補償による予測値、ロー
カル動き補償による予測値、グローバル動き補償予測画
像を小領域単位のローカル動き補償により補正した予測
値、グローバル動き補償による予測値とローカル動き補
償による予測値の重みづけ平均、の４通りの予測値のう
ち、入力信号との予測誤差の評価値が最も小さいものを
選択する請求項５に記載の動画像符号化方法。
【請求項７】グローバル動き補償による予測値とロー
カル動き補償による予測値の重みづけ平均を計算するに
あたり、両者の重みの比率を１：１とする、請求項５ま
たは６に記載の動画像の予測符号化方法。
【請求項８】グローバル動き補償による予測値、ロー
カル動き補償による予測値、グローバル動き補償予測画
像を小領域単位のローカル動き補償により補正した予測
値、グローバル動き補償による予測値とローカル動き補
償による予測値の重みづき平均、のいずれの予測値を用
いたかを示す符号語を符号化ビット列中に挿入する、請
求項５から７のいずれか１項に記載の動画像符号化方
法。
【請求項９】請求項４に記載の動画像符号化方法に対
応する動画像復号方法であって、フレーム全体の大局的
な動きを予測するグローバル動き補償段階と、フレーム
中の小領域毎の動きを予測するローカル動き補償段階を
有する動画像復号方法において、グローバル動き補償による予測値とローカル動き補償に
よる予測値の重みづき平均を計算する段階と、グローバル動き補償による予測値、ローカル動き補償に
よる予測値、グローバル動き補償による予測値とローカ
ル動き補償による予測値の重みづき平均のうち前記符号
化ビット列中の符号語が示す予測値を予測画像を生成す
るために選択する段階を有することを特徴とする動画像
復号方法。
【請求項１０】請求項８に記載の動画像符号化方法に
対応する動画像復号方法であって、フレーム全体の大局
的な動きを予測するグローバル動き補償段階と、フレー
ム中の小領域毎の動きを予測するローカル動き補償段階
を有する動画像復号方法において、グローバル動き補償による予測値とローカル動き補償に
よる予測値の重みづき平均を計算する段階と、グローバル動き補償により得られる予測画像を小領域単
位のローカル動き補償で補正した予測値を生成する段階
と、グローバル動き補償による予測値、ローカル動き補償に
よる予測値、グローバル動き補償予測画像を小領域単位
のローカル動き補償により補正した予測値、グローバル
動き補償による予測値とローカル動き補償による予測値
の重みづけのうち前記符号化ビット列中の符号語が示す
予測値を、予測画像を生成するために選択する段階を有
することを特徴とする動画像復号方法。
【請求項１１】小領域ごとに、入力画像と参照画像と
の間の動きベクトルを検出するローカル動き検出手段
と、前記動きベクトルを前記参照画像に作用させてロー
カル動き補償予測画像を得るローカル動き補償手段と、
入力画像からフレーム全体のグローバル動きパラメータ
を求めるグローバル動き検出手段と、参照画像に前記グ
ローバル動きパラメータを作用させてグローバル動き補
償予測画像を得るグローバル動き補償手段を有する動画
像符号化装置において、前記グローバル動き補償予測画像と前記ローカル動き補
償予測画像を重みづけして加算した平均予測画像を生成
する重み平均計算手段と前記グローバル動き補償予測画
像、前記ローカル動き補償予測画像、前記平均予測画像
の３通りの予測画像のうち１つを小領域ごとに選択する
予測モード選択手段と、前記グローバル動き補償予測画像、前記ローカル動き補
償予測画像、前記平均予測画像のいずれを選択したかを
示す符号語を符号化ビット列中に挿入する手段とを有す
ることを特徴とする動画像符号化装置。
【請求項１２】小領域ごとに、入力画像と参照画像と
の間の動きベクトルを検出するローカル動き検出手段
と、前記動きベクトルを前記参照画像に作用させてロー
カル動き補償予測画像を得るローカル動き補償手段と、
入力画像からフレーム全体のグローバル動きパラメータ
を求めるグローバル動き検出手段と、参照画像に前記グ
ローバル動きパラメータを作用させてグローバル動き補
償予測画像を得るグローバル動き補償手段を有する動画
像符号化装置において、前記グローバル動き補償予測画像と前記ローカル動き補
償予測画像を重みづけして加算した平均予測画像を生成
する重み平均計算手段と、入力画像と前記グローバル動き補償予測画像との間のず
れを小領域ごとの動きベクトルとして求めるローカル動
き検出手段と、前記小領域ごとの動きベクトルを前記グローバル動き補
償予測画像に作用させて補正済みグローバル動き補償予
測画像を得るローカル動き補償手段と、前記グローバル動き補償予測画像、前記ローカル動き補
償予測画像、前記補正済みグローバル動き補償予測画
像、前記平均予測画像の４通りの予測画像のうち１つを
小領域ごとに選択する予測モード選択手段と、前記グローバル動き補償予測画像、前記ローカル動き補
償予測画像、前記補正済みグローバル動き補償予測画
像、前記平均予測画像のいずれを選択したかを示す符号
語を符号化ビット列中に挿入する手段と、選択された予測画像が前記ローカル動き補償予測画像、
または前記平均予測画像の場合、入力画像と参照画像の
間で求められた動きベクトルを出力し、選択された予測
画像が前記補正済みグローバル動き補償予測画像の場合
には前記入力画像と前記グローバル動き補償予測画像と
の間で求められた動きベクトルを出力する切替手段を有
することを特徴とする動画像符号化装置。
【請求項１３】請求項１１に記載の動画像符号化装置
に対応する動画像復号装置であって、フレーム全体の大
局的な動きを予測するグローバル動き補償手段と、フレ
ーム中の小領域毎の動きを予測するローカル動き補償手
段を有する動画像復号装置において、グローバル動き補償による予測値とローカル動き補償に
よる予測値の重みづけ平均を計算する重み平均計算手段
と、グローバル動き補償による予測値、ローカル動き補償に
よる予測値、グローバル動き補償による予測値とローカ
ル動き補償による予測値の重みづけ平均のうち前記符号
化ビット列中の符号語が示す予測値を予測画像を生成す
るために選択する手段を有することを特徴とする動画像
復号装置。
【請求項１４】請求項１２に記載の動画像符号化装置
に対応する動画像復号装置であって、フレーム全体の大
局的な動きを予測するグローバル動き補償手段と、フレ
ーム中の小領域毎の動きを予測する第１のローカル動き
補償手段を有する動画像復号装置において、グローバル動き補償予測画像とローカル動き補償予測画
像の重みづけ平均による平均予測画像を計算する重み平
均計算手段と、前記入力画像と前記グローバル動き補償予測画像との間
で求められた動きベクトルをグローバル動き補償予測画
像に作用させて補正済みグローバル動き補償予測画像を
得る第２のローカル動き補償手段と、前記符号語が示す予測画像がローカル動き補償予測画像
または前記平均予測画像の場合、前記動画像符号化装置
から出力された動きベクトルを前記第１のローカル動き
補償手段に出力し、前記符号語が示す予測画像がグロー
バル動き補償予測画像の場合、前記第２のローカル動き
補償手段に出力する切替手段と、前記補正済みグローバル動き補償による予測値、ローカ
ル動き補償による予測値、前記補正済みグローバル動き
補償予測画像、グローバル動き補償による予測値とロー
カル動き補償による予測値の重み平均のうち前記符号化
ビット列中の符号語が示す予測値を、予測画像を生成す
るために選択する手段を有することを特徴とする動画像
復号装置。