JPH09224252A - 動画像の動き補償予測符号化方法・復号方法および符号化装置・復号装置 - Google Patents

Abstract

(57)【要約】 【課題】 Ｎ個（Ｎ≧２）の動きパラメータより記述さ
れる動き補償予測のトータルの性能を向上させる。 【解決手段】 動きパラメータ検出部２₁ ，２₂ ，…，
２_N では符号化対象画像１を入力し、それぞれ動きモデ
ルＭ₁ Ｍ₂ ，…，Ｍ_N を用いて小領域ごとに動きパラメ
ータＰ₁ ，Ｐ₂ ,…，Ｐ_N が求められる、予測画像生成
部３₁ ，３₂ ，…，３_N では局部復号画像２１とともに
それぞれ動きパラメータＰ₁ ，Ｐ₂ ，…，Ｐ_N を入力
し、予測画像Ｉ₁ ，Ｉ₂ ，…，Ｉ_N が生成される。動き
モデル選択部４では、予測画像Ｉ₁ ，Ｉ₂ ，…，Ｉ_N を
入力し、予測誤差Ｅ₁ ，Ｅ₂ ，…，Ｅ _N の評価値が最も
小さい動きモデルを選択し、動きモデル選択情報５とし
て出力する。動きモデル選択情報５に対応する予測画像
９と動きパラメータ８がそれぞれ切替器６，７で選択さ
れる。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、画像通信・画像記
録等に利用される画像信号のディジタル圧縮符号化方法
および復号方法に関し、詳しくは動画像の動き補償予測
符号化方法および復号方法に関する。

【０００２】

【従来の技術】テレビ電話／会議用ビデオ符号化ＩＴＵ
−Ｔ Ｈ．２６１、蓄積用ビデオ符号化ＩＳＯ／ＩＥＣ
１１１７２（ＭＰＥＧ−１）や、蓄積／放送／通信向
けの汎用ビデオ符号化ＩＳＯ／ＩＥＣ １３８１８（Ｍ
ＰＥＧ−２）等の国際標準符号化では、動画像信号の時
間冗長性を抑圧する手段として、動き補償フレーム間予
測を用いている。このフレーム間予測では、通常、符号
化対象画像を１６画素×１６ラインのブロックに区切
り、各ブロック毎に参照画像との間の動き量（動きベク
トル）を検出し、参照画像を動きベクトル分シフトして
生成した予測画像と符号化対象画像との差分（動き補償
予測誤差）信号を符号化する。

【０００３】具体的には、水平方向の移動量をｔ_x 、垂
直方向の移動量をｔ_y と表すと、現フレームの座標
（ｘ，ｙ）上の画像データと最もよくマッチングする画
像は、参照フレーム中の座標（ｘ′，ｙ′）上の画像デ
ータとして（１）式のように対応づけられる。

【０００４】

【数１】 参照フレーム中の同じ位置（ｘ，ｙ）の小領域ではな
く、この動ベクトル（ｔ _x ，ｔ_y ）分シフトした位置の
小領域を予測画像とすることにより、フレーム間予測効
率を大幅に向上させることが可能となる。さらに、上記
の平行移動補償による予測残差信号をＤＣＴ符号化す
る。

【０００５】以下、既存の国際標準符号化の代表とし
て、Ｈ．２６１の符号化方法を図８を用いて簡単に説明
する。

【０００６】まず、符号化対象画像１は動きベクトル検
出部３１に入力され、１６画素Ｘ１６ラインのマクロブ
ロックと称される正方形ブロックに分割される。動きベ
クトル検出部３１では、符号化対象画像１の中の各マク
ロブロックごとに、参照画像との間の動き量を検出し、
得られた動きベクトル３２をブロック動き補償部３３に
送る。ここで、各マクロブロックの動きベクトル３２
は、水平および垂直方向の平行移動量として求められ
る。すなわち、参照画像において着目マクロブロックと
のマッチング度が最も高いブロックの座標と、着目マク
ロブロックの座標との変位として表される。

【０００７】次に、ブロック動き補償部３３では、各マ
クロブロックごとに動きベクトル３２分シフトした座標
に位置する局部復号画像２１を当該ブロックの予測値と
し、動き補償予測画像９を生成する。ここで得られた動
き補償予測画像９は符号化対象画像１と共に減算器１０
に入力される。両者の差分、すなわち動き補償予測誤差
１１は、ＤＣＴ／量子化部３４においてＤＣＴ変換さ
れ、さらに量子化されて圧縮差分データ１３となる。こ
こで、ＤＣＴのブロックサイズは８×８である。圧縮差
分データ１３（量子化インデックス）は差分データ符号
化部１４においてデータ圧縮され、差分画像符号化デー
タ１５となる。一方、動きベクトル３２は動きベクトル
符号化部３６において符号化され、得られた動きベクト
ル符号化データ３７は差分画像符号化データ１５と共に
多重化部３８にて多重化され、多重化データ３９として
伝送される。

【０００８】なお、復号装置と同じ復号画像を符号化装
置でも得るため、圧縮差分データ１３（量子化インデッ
クス）は逆量子化／逆ＤＣＴ部３５で量子化代表値に戻
され、さらに逆ＤＣＴ変換された後、伸長差分画像１７
となる。伸長差分画像１７と動き補償予測画像９は加算
器１８で加算され、局部復号画像１９となる。この局部
復号画像１９はフレームメモリ２０に蓄積され、次のフ
レームの符号化時に参照画像として用いられる。

【０００９】

【発明が解決しようとする課題】上記従来の動き補償予
測符号化方法は、１６画素×１６ラインのブロックごと
に水平方向の平行移動量と垂直方向の平行移動量の２つ
の動きパラメータ（動きベクトル）を与え、各ブロック
単位に平行移動量を補償するものである。したがって、
被写体の回転、拡大／縮小等の変形を補償することは不
可能であり、物体の変形を伴う場合には予測効率が大幅
に低下するという問題があった。

【００１０】上記の問題を解決するため、動きモデルに
アフィン変換を用い、小領域ごとに回転、拡大／縮小等
の変形補償を行なう方法が提案されている（如沢、小
寺″アフィン変換を用いた任意形状ＭＣに関する検
討″、１９９４年電子情報通信学会春季大会、Ｄ−３３
２，１９９４−０３）。ここで、アフィン変換を説明す
る前にその上位概念である射影変換について説明する。
射影変換の式を（２）式に示す。

【００１１】

【数２】 射影変換は２次元変換の一般表現であり、ｐ＝ｑ＝０，
ｓ＝１としたものがアフィン変換と呼ばれる。アフィン
変換の式を（３）式に示す。

【００１２】

【数３】 これを行列表記に書き換えると（４）式のようになる。

【００１３】

【数４】 ここで、ｔ_x ，ｔ_y はそれぞれ水平方向、垂直方向の平
行移動量を表す。ａ＝ｄ＝１で、かつｂ＝ｃ＝０の場
合、（４）式は（１）式と等価となり、従来の平行移動
補償となる。

【００１４】アフィン変換パラメータａにより、以下の
変換が実現できる。

【００１５】 ａ＞１：ｘ軸方向の拡大 ａ＝１：変化なし ０＜ａ＜１：ｘ軸方向の縮小 ａ＝０：ｙ軸に対する投影 −１＜ａ＜０：ｘ軸方向に縮小後、ｙ軸に関し反転 ａ＝−１：ｙ軸に関する反転 ａ＜−１：ｘ軸方向に拡大後、ｙ軸に関し反転 同様に、アフィン変換パラメータｄによる変換はｙ軸方
向に関する拡大／縮小を表現し、ｄが負ならばｘ軸に関
する反転を伴う。

【００１６】アフィン変換パラメータｂは、ｘ軸方向の
せん断を表現する。たとえば、ａ＝ｄ＝１で、かつｃ＝
ｔ_x ＝ｔ_y ＝０の場合、変換式は（５）式のようにな
る。

【００１７】

【数５】 上式からわかるように、この変換によりｘ軸上の点は動
かず、ｘ軸上にない点は、ｂ×ｙだけ右側にシフトする
（図９（ａ））。この意味は、正方形にこの変換を適用
した変換図形（図９（ｂ））からわかるように、せん断
力を正方形の弾性体に加えた場合と同じである。同様
に、アフィン変換パラメータｃは、ｙ軸方向のせん断を
表現する。ａ＝ｄ＝１で、かつｂ＝０の場合、ｙ軸上の
点は動かず、ｙ軸上にない点は、ｃ×ｘだけ上方にシフ
トする。さらに、ａ＝ｃｏｓθ，ｂ＝ｓｉｎθ，ｃ＝−
ｓｉｎθ，ｄ＝ｃｏｓθの場合は、角度θの回転を表現
できる。

【００１８】以上のように、アフィン変換により拡大／
縮小、反転、せん断、回転等の様々な変換と、これらの
組合せを自由に表現し得る。（４）式のアフィン変換を
簡略化し、せん断を省略した。

【００１９】

【数６】 を用いることもできる。

【００２０】動き補償における動きモデルに射影変換や
アフィン変換を用いることにより、平行移動に加えて回
転、拡大／縮小、せん断等の変形補償が可能となり、平
行移動補償に比べてフレーム間予測効率を一層向上させ
ることが可能となる。

【００２１】しかし、上記のように射影変換を記述する
ためには、（ａ，ｂ，ｃ，ｄ，ｐ，ｑ，ｓ，ｔ_x ，ｔ
_y ）の９個の係数を動きパラメータとして符号化しなけ
ればならない。従来の平行移動補償では、動きパラメー
タは（ｔ_x ，ｔ_y ）の２個であり、一領域当たりの付加
情報量が大幅に増えてしまう。この結果、射影変換によ
り動き補償の予測効率自体は向上しても、この付加情報
量の増大により、意図した性能が発揮できない可能性が
ある。また、ａ＝ｄ＝ｓ＝１で、かつｂ＝ｃ＝ｐ＝ｑ＝
０の場合には、従来の平行移動と等価であるにもかかわ
らず、ａ，ｂ，ｃ，ｄ，ｐ，ｑ，ｓの符号を伝送しなけ
ればならず、付加情報量が増えるだけで予測性能は改善
されない。

【００２２】本発明の目的は、Ｎ個（Ｎ＞２）の動きパ
ラメータにより記述される動き補償予測のトータルの性
能を向上させる、動画像の動き補償予測符号化方法、復
号方法および符号化装置・復号装置を提供することにあ
る。

【００２３】

【課題を解決するための手段】本発明の、動画像の動き
補償予測符号化方法は、符号化対象画像を複数の小領域
に分割し、符号化対象画像と参照画像との間の動き量を
前記最小領域ごとに求め、小領域内の各画素の予測値を
求めることにあたり、当該小領域の動きパラメータが指
す位置の濃淡値を予測値とすることによって予測画像を
生成し、該予測画像と符号化対象画像との差分を符号化
する、動画像の動き補償予測符号化方法において、各小
領域ごとに最適な動きモデルを選択し、該選択された動
きモデルを用いて小領域ごとに予測画像を生成すること
を特徴とする。

【００２４】本発明の実施態様によれば、各小領域にお
いて、予め用意された複数の動きモデルにより動き補償
予測を行ない、各動き補償予測による差分画像の誤差評
価値０を比較し、誤差評価値が最も小さくなる動きモデ
ルを当該小領域の動きモデルとして選択する。

【００２５】本発明の他の実施態様によれば、前記誤差
評価値として平均自乗誤差または誤差絶対値和を用い
る。

【００２６】本発明の実施態様によれば、前記小領域ご
とに、どの動きモデルを用いて動き補償したかを示す動
きモデル識別フラグを符号化して伝送する。

【００２７】本発明の実施態様によれば、前記小領域の
動きパラメータを符号化するにあたり、動きパラメータ
の打ち切り符号をつけることにより、不要な動きパラメ
ータを伝送しない。

【００２８】本発明の、動画像の動き補償予測復号方法
は、請求項５に記載の動き補償予測符号化方法に対応す
る復号方法において、動き補償の単位である各小領域ご
とに、符号化装置から伝送された動きモデル識別フラグ
により指定される動きモデルと、符号化装置から伝送さ
れる動きパラメータとを用いて予測画像を作成すること
を特徴とする。

【００２９】本発明の、動画像の動き補償予測符号化方
法は、請求項６に記載の動き補償予測符号化方法に対応
する復号方法において、動き補償の単位である各小領域
ごとに、符号化装置から伝送された動きパラメータと、
該動きパラメータの符号化情報に含まれる打ち切り符号
とから符号化装置で選択された動きモデルを判別し、該
動きモデルと、動きパラメータとを用いて予測画像を作
成することを特徴とする。

【００３０】本発明の、動画像の動き補償予測符号化装
置は、符号化対象画像を入力し、それぞれ第１，第２，
…，第Ｎ（Ｎは２以上の整数）の、動きモデルを用いて
小領域ごとに第１，第２，…，第Ｎの動きパラメータを
求める第１，第２，…，第Ｎの動きパラメータ検出部
と、局部復号画像とそれぞれ第１，第２，…，第Ｎの動
きパラメータを入力し、第１，第２，…，第Ｎの予測画
像を生成する第１，第２，…，第Ｎの予測画像生成部
と、前記符号化対象画像と第１，第２，…，第Ｎの予測
画像を入力し、各予測画像の予測誤差の誤差評価値を計
算し、誤差評価値が最も小さい予測誤差に対応する動き
モデルを示す動きモデル選択情報を出力する動きモデル
選択部と、第１，第２，…，第Ｎの予測画像のうち前記
で動きモデル選択情報で示される動きモデルに対応する
予測画像を動き補償予測画像として出力する第１の切替
器と、第１，第２，…，第Ｎの動きパラメータのうち前
記動きモデル選択情報で示される動きモデルに対応する
動きパラメータを選択する第２の切替器と、第２の切替
器から出力された動きパラメータをデータ圧縮符号化
し、動きパラメータ符号化データとして多重化部に出力
する動きパラメータ符号化部と、前記動きモデル選択情
報をデータ圧縮符号化し、動きモデル選択情報符号化デ
ータとして多重化部に出力する動きモデル選択情報符号
化部とを有することを特徴とする。

【００３１】本発明の他の、動画像の動き補償予測符号
化装置は、符号化対象画像を入力し、それぞれ第１，第
２，…，第Ｎ（Ｎは２以上の整数）の動きモデルを用い
て小領域ごとに第１，第２，…，第Ｎの動きパラメータ
を求める第１，第２，…，第Ｎの動きパラメータ検出部
と、局部復号画像とそれぞれ第１，第２，…，第Ｎの動
きパラメータを入力し、第１，第２，…，第Ｎの予測画
像を生成する第１，第２，…，第Ｎの予測画像生成部
と、前記符号化対象画像と第１，第２，…，第Ｎの予測
画像を入力し、各予測画像の予測誤差の誤差評価値を計
算し、誤差評価値が小さい予測誤差に対応する動きモデ
ルを示す動きモデル選択情報を出力する動きモデル選択
部と、第１，第２，…，第Ｎの予測画像のうち前記動き
モデル選択情報で示される動きモデルに対応する予測画
像を動き補償予測画像として出力する第１の切替器と、
第１，第２，…，第Ｎの動きパラメータのうち前記動き
モデル選択情報で示される動きモデルに対応する動きパ
ラメータを選択する第２の切替器と、第２の切替器から
出力された動きパラメータに、動きパラメータの打ち切
り符号をつけて符号化し、動きパラメータ符号化データ
として多重化部に出力する動きパラメータ符号化部を有
することを特徴とする。

【００３２】本発明の動画像の動画像の動き補償予測復
号装置は、請求項９の符号化装置に対応する復号装置で
あって、分離部において分離された前記動きパラメータ
符号化データを復号し、動きパラメータを出力する動き
パラメータ復号部と、前記分離部において分離された、
前記動きモデル選択情報符号化データを復号し、動きモ
デル選択情報を出力する動きモデル選択情報復号部と、
フレームメモリに蓄積されている局部復号画像と動きパ
ラメータとそれぞれ符号化装置側と同じ第１，第２，
…，第Ｎの動きモデルを入力し、第１，第２，…，第Ｎ
の予測画像を生成する第１，第２，…，第Ｎの予測画像
生成部と、前記動きパラメータを前記動きモデル選択情
報で示される動きモデルに対する予測画像生成部に出力
する第１の切替器と、第１，第２，…，第Ｎの予測画像
のうち、前記動きモデル選択情報で示される動きモデル
に対応するものを選択し、動き補償予測画像として出力
する第２の切替器を有することを特徴とする。

【００３３】本発明の他の、動画像の動き補償予測復合
装置は、請求項１０の符号化装置に対応する復号装置で
あって、分離部において分離された前記動きパラメータ
の符号化データを復号し、動きパラメータを出力し、該
動きパラメータの符号化情報に含まれる打ち切り符号か
ら符号化装置で選択された動きモデルを判別する動きパ
ラメータ復号部と、フレームメモリに蓄積されている局
部復号画像と動きパラメータとそれぞれ符号化装置側と
同じ第１，第２，…，第Ｎの動きモデルを入力し、第
１，第２，…，第Ｎの予測画像を生成する第１，第２，
…，第Ｎの予測画像生成部と、前記動きパラメータを前
記動きモデル選択情報で示される動きモデルに対する予
測画像生成部に出力する第１の切替器と、第１，第２，
…，第Ｎの予測画像のうち、前記動きモデル選択情報で
示される動きモデルに対応するものを選択し、動き補償
予測画像として出力する第２の切替器を有することを特
徴とする。

【００３４】本発明により、パラメータ数の多い高度な
動きモデルを画像の部分ごとに必要に応じて用いること
ができる一方、その効果のない部分については、不要な
パラメータを削除して縮退した動きモデルを用いること
ができる。たとえば、回転、拡大／縮小、せん断等の複
雑な動きを持つ部分にはアフィン変換や射影変換を適用
し、平行移動成分しかない動き領域には従来の平行移動
補償を用いることができる。高度な動きモデルを用いて
予測効率を向上させながら、不要な動きパラメータを伝
送しないため、結果として、全体の符号化性能を向上さ
せることができる。

【００３５】

【発明の実施の形態】次に、本発明の実施形態を図面を
参照して説明する。

【００３６】図１は、本発明の一実施形態の動画像の動
き補償予測符号化装置の構成図、図２は図１中の動きパ
ラメータ検出部２₁ 〜２_N の構成図、図３は図１中の動
きモデル選択部４の構成図である。図８中と同符号は同
じものを示す。

【００３７】本動き補償予測符号化装置は、動きパラメ
ータ検出部２₁ ，２₂ ，…，２_N と、予測画像生成部３
₁ ，３₂ ，…，３_N と、動きモデル選択部４と、切替器
６，７と、減算器１０と、空間冗長度圧縮部１２と、差
分データ符号化部１４と、差分データ伸長部１６と、加
算器１８と、フレームメモリ２０と、動きパラメータ符
号化部２２と、動きモデル選択情報符号化部２４と、多
重化部２６で構成されている。

【００３８】本実施形態では、動きモデルの候補はＭ₁
からＭ_N までのＮ個である。まず、符号化対象画像１が
動きパラメータ検出部２₁ ，２₂ ，…，２_N に入力され
る。たとえば、動きパラメータ検出部２₁では、動きモ
デルＭ₁ を用いて小領域ごとの動きパラメータＰ₁ が求
められる。小領域の大きさ・形状は、一般的には１６画
素×１６ライン等の矩形ブロックであるが、必ずしもこ
れによる必要はなく、任意形状の小領域を用いることが
できる。動きパラメータ検出部２₁ より出力された動き
パラメータＰ₁ は、局部復号画像２１と共に予測画像生
成部３₁ に入力され、ここで予測画像Ｉ₁ が生成され
る。残りの動きモデルＭ₂ ，…，Ｍ_N についても同様の
手順で予測画像Ｉ₂ ，…，Ｉ_N が生成される。なお、予
測画像生成部３₁ 〜３_N にも動きモデルＭ₁ 〜Ｍ_N が入
力されているのは、求められたパラメータがどの動きモ
デルによって求められたのかがわからないと、予測画像
を生成できないからである。

【００３９】ここで、動きモデルの例としては、射影変
換やアフィン変換などが挙げられる。たとえば、本発明
の一実施形態として、以下のように６つの動きモデルを
組み込む（Ｎ＝６）ことができる。

【００４０】

【表１】

【００４１】

【数７】 動きパラメータ検出部２_i （ｉ＝１，２，…，Ｎ）で
は、たとえば特願平６−１１６２６０「動きパラメータ
探索方法」に開示された方法により動きパラメータＰ_i
を求めることができる。特願平６−１１６２６０におけ
る動きパラメータ探索方法を以下に示す。ここで、動き
モデルは（６）式の５パラメータのアフィン変換であ
る。

【００４２】図２に示されるように、動きパラメータ検
出部２_i では、入力画像１とフレームメモリ１０１から
出力された参照画像１０２が平行移動パラメータ探索部
１０３に入力され、ブロックマッチング法による平行移
動パラメータ（ｔ_x ，ｔ_y ）探索の結果、誤差評価値の
小さいものから順に所定の個数の初期平行移動パラメー
タ１０４が求められる。初期平行移動パラメータ１０４
は入力画像１と参照画像１０２と共に平行移動・拡大／
縮小・回転パラメータ探索部１０５に入力される。平行
移動・拡大／縮小・回転パラメータ探索部１０５では、
初期平行移動パラメータ１０４について、該初期値を含
む所定の微小範囲内で平行移動パラメータを変化させる
と共に、拡大／縮小パラメータ（Ｃ_x ，Ｃ_y ）および回
転パラメータ（θ）を変化させ、その結果最も小さいマ
ッチング誤差評価値を与えるパラメータの組み合せを最
終的な動きパラメータ１０６として出力する。探索方法
の一例を表２に示す。

【００４３】

【表２】 まず、第一段（平行移動パラメータ探索部１０３）に
て、水平垂直±１５画素を１画素刻みで探索し、３１×
３１＝９６１個の探索点のうち、誤差評価値の小さい方
から順に４点を初期平行移動パラメータ１０４とする。
次に、第二段（平行移動・拡大／縮小・回転パラメータ
探索部１０５）にて、前記４点の周囲±０．５画素の範
囲を０．５画素刻みで変化させると共に、拡大／縮小パ
ラメータについては０．８〜１．２の範囲を０．１刻み
で、回転パラメータについては０〜２πの範囲をπ／４
刻みで変化させ、全ての探索点（９×５×８＝３６０
点）のうち誤差評価値の最も小さいものをアフィン変換
パラメータ１０６として求める。６パラメータ（ａ，
ｂ，ｃ，ｄ，ｔ_x ，ｔ_y ）のアフィン変換の場合でも、
９パラメータ（ａ，ｂ，ｃ，ｄ，ｐ，ｑ，ｓ，ｔ_x ，ｔ
_y ）の射影変換の場合でも全く同様である。

【００４４】さて、予測画像Ｉ₁ ，Ｉ₂ ，…，Ｉ_N は、
入力画像１と共に動きモデル選択部４に入力される。動
きモデル選択部４の内部構成は、たとえば図３に示す通
りである。まず、各予測画像Ｉ₁ ，Ｉ₂ ，…，Ｉ_N と符
号化対象画像１から減算器１０７₁ ，１０７₂ ，…，１
０７_N によってそれぞれ予測誤差Ｅ₁ ，Ｅ₂ ，…，Ｅ _N
が計算され、それぞれ誤差評価部１０８₁ ，１０８₂ ，
…，１０８_N に入力される。次に、誤差評価部１０８₁
〜１０８_N では、それぞれの動きモデルＭ₁ 〜Ｍ_N によ
る予測誤差の評価値Ｖ₁ ，Ｖ₂ ，…，Ｖ_N を計算する。
ここで、誤差評価値Ｖ₁ 〜Ｖ_N としては平均自乗誤差
（ＭＳＥ：Ｍｅａｎ Ｓｑｕａｒｅ Ｅｒｒｏｒ）や誤
差絶対値和（ＳＡＤ：Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ
Ｄｉｆｆｅｒｅｎｃｅ）を用いることができる。最後
に、誤差評価値Ｖ₁ ，Ｖ₂ ，…，Ｖ _N は比較器１０９に
入力され、ここで誤差評価値の最も小さい動きモデルＭ
_i （ｉ＝１，２，…，Ｎ）が動きモデル選択情報５とし
て選択される。

【００４５】動きモデル選択部４より出力された動きモ
デル選択情報５は切替器６を動作させ、誤差評価値の最
も小さい予測画像Ｉ_i を選択し、これを動き補償予測画
像９とする。同時に、動きモデル選択情報５は切替器７
を動作させ、動きパラメータＰ_i を選択し、これを動き
パラメータ８とする。

【００４６】次に、動き補償予測画像９は符号化対象画
像１と共に減算器１０に入力され、差分データである動
き補償予測誤差１１は、空間冗長度圧縮部１２おいて空
間冗長度の抑圧が行なわれる。一方、現在の符号化対象
画像１の局部復号画像１９を得るため、空間冗長度圧縮
部１２より出力された圧縮差分データ１３は差分データ
伸長部１６にて伸長差分画像１７に復号される。伸長差
分画像１７は空間冗長度を抑圧された動き補償予測誤差
信号である。伸長差分画像１７は加算器１８にて動き補
償予測画像９と加算され、現在の符号化対象画像の局部
復号画像１９となる。局部復号画像１９はフレームメモ
リ２０に蓄積され、以降のフレーム符号化において参照
される。

【００４７】さらに、動き補償予測誤差１１に対する圧
縮差分データ１３は差分データ符号化部１４にてデータ
圧縮符号化され、差分画像符号化データ１５となる。小
領域ごとの動きパラメータ８は、動きパラメータ符号化
部２２にてデータ圧縮符号化され、動きパラメータ符号
化データ２３となる。また、小領域ごとの動きモデル選
択情報５は、動きモデル選択情報符号化部２４にてデー
タ圧縮符号化され、動きモデル選択情報符号化データ２
５となる。

【００４８】差分画像符号化データ１５と動きパラメー
タ符号化データ２３と動きモデル選択情報符号化データ
２５は多重化部２６において多重化され、多重化データ
２７として伝送または蓄積される。

【００４９】次に、動きモデル選択情報５の符号化の例
を示す。動きモデル選択情報５の符号化は、たとえば表
３に示すように固定長符号化することができる。この例
では、動きモデル数Ｎ＝６なので、３ビットの固定長符
号で表現できる。

【００５０】

【表３】 また、動きモデル選択頻度に偏りがある場合には、ハフ
マン符号等の可変長符号化を行なうこともできる。表４
に、可変長符号の割り当て例を示す。選択頻度の高い動
きモデルには短い符号が割り当てられ、選択頻度の低い
モデルには長い符号が割り当てられる。

【００５１】

【表４】 図４は、図１の符号化装置に対応する動き補償予測復号
装置の構成図である。本動き補償予測復号装置は、分離
部４１と、差分データ復号部４２と、動きパラメータ復
号部４３と、動きモデル選択情報復号部４４と、差分デ
ータ伸長部４５と、切替器４６と、予測画像生成部４７
₁ ，４７₂ ，…，４７_N と、切替器４８と、加算器４９
と、フレームメモリ５０で構成されている。

【００５２】本復号装置では、動きモデルの候補は図１
の符号化装置と同じくＭ₁ からＭ_NまでのＮ個である。
復号装置では、まず多重化データ２７が分離部４１にお
いて、差分画像符号化データ１５、動きパラメータ符号
化データ２３、動きモデル選択情報符号化データ２５の
３つに分離される。動きモデル選択情報符号化データ２
５は動きモデル選択情報復号部４４において復号され、
動きモデル選択情報５となる。動きモデル選択情報５は
符号化装置（図１）で選択された動きモデルを示すフラ
グであり、たとえば、動きモデル選択情報５が表３の固
定長符号により表現されている場合、動きモデル選択情
報符号化データ２５として”０１１”が入力された場合
には、動きモデル選択情報はＭ₃ となる。また、動きモ
デル選択情報５が表４の可変長符号により表現されてい
る場合、動きモデル選択情報符号化データ２５として”
０１”が入力された場合には、動きモデル選択情報はＭ
₂となる。

【００５３】一方、動きパラメータ符号化データ２３
は、動きパラメータ復号部４３において復号され、動き
パラメータ８となる。また、差分画像符号化データ１５
は、差分データ復号部４２において復号され、圧縮差分
データ１３となる。圧縮差分データ１３は、差分データ
伸長部４５にて伸長差分画像１７に伸長される。

【００５４】さて、動きモデル選択情報５は切替器４６
を動作させ、動きパラメータ８を適切な予測画像生成部
へと導く。さらに、切替器４８を動作させ、適切な予測
画像を加算器４９に導く。たとえば、動きモデル選択情
報５がＭ₂ の場合には、動きパラメータ８を予測画像生
成部４７₂ に入力する。予測画像生成部４７₂ では、フ
レームメモリ５０に蓄積されている局部復号画像２１と
動きパラメータ８と動きモデルＭ₂ を用い、予測画像Ｉ
₂ を生成する。

【００５５】以上の手順により求められた動き補償予測
画像９と伸長差分画像１７は加算器４９にて加算され、
局部復号画像１９となる。局部復号画像１９はフレーム
メモリ５０に蓄積され、以降のフレームの復号時に参照
される。

【００５６】図５は本発明の他の実施形態の動画像の動
き補償予測符号化装置の構成図である。図１中と同符号
は同じ構成要素を示す。

【００５７】本実施形態では、各小領域の動きパラメー
タを符号化するために、動きパラメータ符号化部２２′
は、小領域ごとの動きモデル選択情報５を入力として必
要とする。ただし、図１の実施形態のように、動きモデ
ル選択情報５を符号化する必要はない。

【００５８】すなわち、本実施形態では、動きモデル選
択情報５を送らず、代わりに動きパラメータの符号テー
ブルにＥＯＰ（Ｅｎｄ Ｏｆ Ｐａｒａｍｅｔｅｒ）と
いう打ち切り符号を設ける。以下、動きモデルとして、
最も汎用性の高い一般的モデルである射影変換（３）式
を用いた場合で説明する。ここでは、最もパラメータ数
の多い射影変換をＭ_N とし、Ｍ₁ からＭ_N-1 は射影変換
のサブセットの動きモデルとする。また、射影変換の９
つのパラメータのうち、符号化（伝送）する順番を送受
で予め決めておく。この順序を決めるにあたっては、画
像の動きを記述する上で最も支配的なパラメータを先頭
とする。一般に、物体の動きは平行移動成分が支配的で
あるため、ｔ_x ，ｔ_y を最も優先的に符号化すべきであ
る。また、ズームもしばしば見られるため、ａ，ｄも重
要なパラメータである。一方、ｐ，ｑ，ｓを必要とする
ような動きは実際にはほとんどないので、これらの優先
順位は低い。よって、たとえばｔ_x ，ｔ_y ，ａ，ｄ，
ｂ，ｃ，ｐ，ｑ，ｓの順に符号化すればよい。

【００５９】通常は、ｔ_x からｓまでの９つのパラメー
タ全てを符号化するが、予測性能向上という観点から不
要なパラメータは伝送しない。たとえば、ａ＝ｄ＝ｓ＝
１で、かつｂ＝ｃ＝ｐ＝ｑ＝０の場合、これは（１）式
の平行移動モデルに一致する。この場合、ａ，ｂ，ｄ，
ｃ，ｐ，ｑ，ｓの７つのパラメータを伝送しても、動き
パラメータにかかる符号量が増えるだけで、従来の平行
移動補償と同じ予測性能である。そこで、この場合には
図６（ａ）に示すように、ｔ_x とｔ_y のみ符号化し、ｔ
_y の符号語の後ろに打ち切り符号ＥＯＰをつけることに
より、以降の７つのパラメータは符号化しない。

【００６０】また、図６（ｂ）に示すように、ａ，ｄ≠
１かつｂ＝ｃ＝ｐ＝ｑ＝０で、さらにｓ＝１の場合に
は、ｔ_x ，ｔ_y ，ａ，ｄの４パラメータを符号化し、ｄ
の符号語の後ろにＥＯＰをつけて終了する。一方、図６
（ｃ）に示すように、ａ，ｄ≠１、かつｂ＝ｃ＝ｐ＝ｑ
＝０であっても、ｓ≠１の場合には、９つの全ての動き
パラメータを符号化する必要がある。この場合には、Ｅ
ＯＰは不要である。以上の操作を各小領域の動きパラメ
ータの符号化に対して繰り返し行なう。

【００６１】図７は図５の符号化装置に対応する動き補
償予測復号装置の構成図である。図４中と同符号は同じ
構成要素を示す。

【００６２】本実施形態の復号装置は、分離部４１′
と、差分データ復号部４２と、動きパラメータ復号部４
３′と、差分データ伸張部４５と、切替器４６と、予測
画像生成部４７₁ ，４７₂ ，…，４７_N と、切替器４８
と、加算器４９と、フレームメモリ５０で構成されてい
る。

【００６３】本実施形態では、動きモデルの候補は図
１，図５の符号化装置の例と同じくＭ ₁ からＭ_N までの
Ｎ個である。但し、最もパラメータ数の多い動きモデル
（たとえばＭ_N ）を（２）式の射影変換とし、Ｍ₁ から
Ｍ_N-1 は射影変換のサブセットの動きモデルとする。ま
ず、多重化データ２７′が分離部４１′において、差分
画像符号化データ１５と動きパラメータ符号化データ２
３′の２つに分離される。

【００６４】動きパラメータ符号化データ２３′は、動
きパラメータ復号部４３′において復号され、動きパラ
メータ８となる。ここで、各小領域ごとの動きパラメー
タの順序は予め符号化装置側との間で決めておく。ここ
では、符号化装置の例で示したように、ｔ_x ，ｔ_y ，
ａ，ｄ，ｂ，ｃ，ｐ，ｑ，ｓの順で符号化されているも
のとする。したがって、ｔ_x ，ｔ_y ，ａ，ｄ，ｂ，ｃの
符号語の後に打ち切り符号（ＥＯＰ）が現れた際には、
動きモデル選択情報５としてＭ₂ （アフィン変換）を出
力する。また、ｔ_x ，ｔ_y の符号語の後にＥＯＰが現れ
た際には、動きモデル選択情報５としてＭ₆ （平行移動
モデル）を出力する。あるいは、動きモデル選択情報５
として常にＭ₁ （射影変換）を用い、受信していない動
きパラメータについては、表５に示すようなデフォルト
値を用いても等価である。

【００６５】

【表５】 一方、差分画像符号化データ１５は、差分データ復号部
４２において復号され、圧縮差分データ１３となる。圧
縮差分データ１３は、差分データ伸長部４５にて伸長差
分画像１７に伸長される。

【００６６】さて、動きパラメータ復号部４３′から出
力された動きモデル選択情報５は符号器化装置（図５）
で選択された動きモデルを示すフラグである。動きモデ
ル選択情報５は切替器４６を動作させ、動きパラメータ
８を適切な予測画像生成部へと導く。さらに、切替器４
８を動作させ、適切な予測画像を加算器４９に導く。た
とえば、動きモデル選択情報５がＭ₂ の場合には、動き
パラメータ８を予測画像生成部４７₂ に入力する。予測
画像生成部４７₂ では、フレームメモリ５０に蓄積され
ている局部復号画像２１と動きパラメータ８と動きモデ
ルＭ₂ を用い、予測画像Ｉ₂ を生成する。

【００６７】以上の手順により求められた動き補償予測
画像９と伸長差分画像１７は加算器４９にて加算され、
局部復号画像１９となる。局部復号画像１９はフレーム
メモリ５０に蓄積され、以降のフレームの復号時に参照
される。

【００６８】

【発明の効果】以上説明したように、本発明は下記のよ
うな効果がある。 （１）請求項１の発明は、予測に用いる動きモデルを画
像の小領域ごとに必要に応じて使い分けることができ
る。 （２）請求項５，７，９，１１の発明は、たとえば、回
転、拡大／縮小、せん断等の複雑な動きを持つ小領域に
はパラメータ数の多い射影変換やアフィン変換を適用
し、平行移動のみの小領域には従来の平行移動モデルを
用いる。これにより、射影変換の効果がある小領域につ
いては９つのパラメータを符号化する必要があるが、平
行移動モデルで十分な小領域については２つのパラメー
タのみを符号化すればよい。すなわち、効果のある部分
のみに高度な動きモデルを適用することにより、全ての
小領域について９つの射影変換パラメータを送らずに済
むため、全体の符号化性能を向上させることができる。 （３）請求項６，８，１０，１２の発明においては、伝
送する動きパラメータ数を、画像の小領域ごとに必要に
応じて変化させることができる。たとえば、基本となる
動きモデルを射影変換とした場合、回転、拡大／縮小、
せん断等の複雑な動きを持つ小領域では、これらを表現
するために９つのパラメータ全てが必要となる。一方、
ａ＝ｄ＝ｓ＝１，ｂ＝ｃ＝ｐ＝ｑ＝０とすることにより
平行移動モデルと等価となるため、平行移動のみの小領
域ではこれら７つのパラメータを切り捨てることができ
る。すなわち、不要なパラメータを削除することによ
り、縮退した動きモデルを用いることができる。これに
より、射影変換による効果がある小領域については９つ
のパラメータを符号化するが、平行移動モデルで十分な
小領域については２つのパラメータのみを符号化すれば
よい。すなわち、予測性能向上に貢献しない不要な動き
パラメータを伝送せずに済むため、全体の符号化性能を
向上させることができる。

【図面の簡単な説明】

【図１】本発明の一実施形態の動き補償動画像符号化装
置の構成図である。

【図２】図１中の動きパラメータ検出部２₁ 〜２_N の構
成図である。

【図３】図１中の動きモデル選択部４の構成図である。

【図４】図１の画像符号化装置に対応する動画像復号装
置の構成図である。

【図５】本発明の他の実施形態の動き補償動画像符号化
装置の構成図である。

【図６】動きパラメータの符号化を示す図である。

【図７】図５の動画像符号化装置に対応する画像復号装
置の構成図である。

【図８】画像符号化装置の従来例の構成図である。

【図９】アフィン変換で記述し得るせん断変換の一例を
示す図である。

【符号の説明】

１ 符号化対象画像 ２₁ 〜２_N 動きパラメータ検出部 ３₁ 〜３_N 予測画像生成部 ４ 動きモデル選択部 ５ 動きモデル選択情報 ６ 切替器（動き補償予測画像） ７ 切替器（動きパラメータ） ８ 動きパラメータ ９ 動き補償予測画像 １０ 減算器 １１ 動き補償予測誤差 １２ 空間冗長度圧縮部 １３ 圧縮差分データ １４ 差分データ符号化部 １５ 差分画像符号化データ １６ 差分データ伸張部 １７ 伸長差分画像 １８ 加算器 １９ 局部復号画像 ２０ フレームメモリ ２１ 局部復号画像 ２２，２２′ 動きパラメータ符号化部 ２３，２３′ 動きパラメータ符号化データ ２４ 動きモデル選択情報符号化部 ２５ 動きモデル選択情報符号化データ ２６，２６′ 多重化部 ２７，２７′ 多重化データ ３１ 動きベクトル検出部 ３２ 動きベクトル ３３ ブロック動き補償部 ３４ ＤＣＴ／量子化部 ３５ 逆ＤＣＴ／逆量子化部 ３６ 動きベクトル符号化部 ３７ 動きベクトル符号化データ ３８ 多重化部 ３９ 多重化データ ４１，４１′ 分離部 ４２ 差分データ復号部 ４３，４３′ 動きパラメータ復号部 ４４ 動きモデル選択情報復号部 ４５ 差分データ伸張部 ４６ 切替器 ４７₁ 〜４７_N 予測画像生成部 ４８ 切替器 ４９ 加算器 ５０ フレームメモリ １０１ フレームメモリ １０２ 参照画像 １０３ 平行移動パラメータ探索部 １０４ 初期移動平行パラメータ １０５ 平行移動・拡大／縮小・回転パラメータ探索
部 １０６ 動きパラメータ １０７₁ 〜１０７_N 減算器 １０８₁ 〜１０８_N 誤差評価部 １０９ 比較器

Claims (12)

【特許請求の範囲】
1. 【請求項１】 符号化対象画像を複数の小領域に分割
   し、符号化対象画像と参照画像との間の動き量を前記小
   領域ごとに求め、小領域内の各画素の予測値を求めるに
   あたり、当該小領域の動きパラメータが指す位置の濃淡
   値を予測値とすることによって予測画像を生成し、該予
   測画像と符号化対象画像との差分を符号化する、動画像
   の動き補償予測符号化方法において、 各小領域ごとに最適な動きモデルを選択し、該選択され
   た動きモデルを用いて小領域ごとに予測画像を生成する
   ことを特徴とする、動画像の動き補償予測符号化方法。
2. 【請求項２】 各小領域において、予め用意された複数
   の動きモデルにより動き補償予測を行ない、各動き補償
   予測による差分画像の誤差評価値を比較し、誤差評価値
   が最も小さくなる動きモデルを当該小領域の動きモデル
   として選択する、請求項１に記載の動き補償予測符号化
   方法。
3. 【請求項３】 前記誤差評価値として平均自乗誤差を用
   いる、請求項２に記載の動き補償予測符号化方法。
4. 【請求項４】 前記誤差評価値として誤差絶対値和を用
   いる、請求項２に記載の動き補償予測符号化方法。
5. 【請求項５】 前記小領域ごとに、どの動きモデルを用
   いて動き補償したかを示す動きモデル識別フラグを符号
   化して伝送する、請求項１に記載の動き補償予測符号化
   方法。
6. 【請求項６】 前記小領域の動きパラメータを符号化す
   るにあたり、動きパラメータの打ち切り符号をつけるこ
   とにより、不要な動きパラメータ伝送しない、請求項１
   に記載の動き補償予測符号化方法。
7. 【請求項７】 請求項５に記載の動き補償予測符号化方
   法に対応する復号方法において、動き補償の単位である
   各小領域ごとに、符号化装置から伝送された動きモデル
   識別フラグにより指定される動きモデルと、符号化装置
   から伝送された動きパラメータとを用いて予測画像を作
   成することを特徴とする、動画像の動き補償予測復号方
   法。
8. 【請求項８】 請求項６に記載の動き補償予測符号化方
   法に対応する復号方法において、動き補償の単位である
   各小領域ごとに、符号化装置から伝送された動きパラメ
   ータと、該動きパラメータの符号化情報に含まれる打ち
   切り符号とから符号化装置で選択された動きモデルを判
   別し、該動きモデルと、前記動きパラメータとを用いて
   予測画像を作成することを特徴とする、動画像の動き補
   償予測復号方法。
9. 【請求項９】 符号化対象画像を複数の小領域に分割
   し、符号化対象画像と参照画像との間の動き量を前記小
   領域ごとに求め、小領域内の各画素の予測値を求めるに
   あたり、当該小領域の動きパラメータが指す位置の濃淡
   値を予測値とすることによって予測画像を生成し、該予
   測画像と符号化対象画像との差分を符号化する、動画像
   の動き補償予測符号化装置において、 前記符号化対象画像を入力し、それぞれ第１，第２，
   …，第Ｎ（Ｎは２以上の整数）の動きモデルを用いて小
   領域ごとに第１，第２，…，第Ｎの動きパラメータを求
   める第１，第２，…，第Ｎの動きパラメータ検出部と、 局部復号画像とそれぞれ第１，第２，…，第Ｎの動きパ
   ラメータを入力し、第１，第２，…，第Ｎの予測画像を
   生成する第１，第２，…，第Ｎの予測画像生成部と、 前記符号化対象画像と第１，第２，…，第Ｎの予測画像
   を入力し、各予測画像の予測誤差の誤差評価値を計算
   し、誤差評価値が最も小さい予測誤差に対応する動きモ
   デルを示す動きモデル選択情報を出力する動きモデル選
   択部と、 第１，第２，…，第Ｎの予測画像のうち前記動きモデル
   選択情報で示される動きモデルに対応する予測画像を動
   き補償予測画像として出力する第１の切替器と、 第１，第２，…，第Ｎの動きパラメータのうち前記動き
   モデル選択情報で示される動きモデルに対応する動きパ
   ラメータを選択する第２の切替器と、 第２の切替器から出力された動きパラメータをデータ圧
   縮符号化し、動きパラメータ符号化データとして多重化
   部に出力する動きパラメータ符号化部と、 前記動きモデル選択情報をデータ圧縮符号化し、動きモ
   デル選択情報符号化データとして前記多重化部に出力す
   る動きモデル選択情報符号化部とを有することを特徴と
   する、動画像の動き補償予測符号化装置。
10. 【請求項１０】 符号化対象画像を複数の小領域に分割
    し、符号化対象画像と参照画像との間の動き量を前記小
    領域ごとに求め、小領域内の各画素の予測値を求めるに
    あたり、当該小領域の動きパラメータが指す位置の濃淡
    値を予測値とすることによって予測画像を生成し、該予
    測画像と符号化対象画像との差分を符号化する、動画像
    の動き補償予測符号化装置において、 前記符号化対象画像を入力し、それぞれ第１，第２，
    …，第Ｎ（Ｎは２以上の整数）の動きモデルを用いて小
    領域ごとに第１，第２，…，第Ｎの動きパラメータを求
    める第１，第２，…，第Ｎの動きパラメータ検出部と、 局部復号画像とそれぞれ第１，第２，…，第Ｎの動きパ
    ラメータを入力し、第１，第２，…，第Ｎの予測画像を
    生成する第１，第２，…，第Ｎの予測画像生成部と、 前記符号化対象画像と第１，第２，…，第Ｎの予測画像
    を入力し、各予測画像の予測誤差の誤差評価値を計算
    し、誤差評価値が最も小さい予測誤差に対応する動きモ
    デルを示す動きモデル選択情報を出力する動きモデル選
    択部と、 第１，第２，…，第Ｎの予測画像のうち前記動きモデル
    選択情報で示される動きモデルに対応する予測画像を動
    き補償予測画像として出力する第１の切替器と、 第１，第２，…，第Ｎの動きパラメータのうち前記動き
    モデル選択情報で示される動きモデルに対応する動きパ
    ラメータを選択する第２の切替器と、 第２の切替器から出力された動きパラメータに、動きパ
    ラメータの打ち切り符号をつけて符号化し、動きパラメ
    ータ符号化データとして多重化部に出力する動きパラメ
    ータ符号化部を有することを特徴とする、動画像の動き
    補償予測符号化装置。
11. 【請求項１１】 請求項９の符号化装置に対応する復号
    装置において、 分離部において分離された前記動きパラメータ符号化デ
    ータを復号し、動きパラメータを出力する動きパラメー
    タ復号部と、 前記分離部において分離された前記動きモデル選択情報
    符号化データを復号し、動きモデル選択情報を出力する
    動きモデル選択情報復号部と、 フレームメモリに蓄積されている局部復号画像と動きパ
    ラメータとそれぞれ符号化装置側と同じ第１，第２，
    …，第Ｎの動きモデルを入力し、第１，第２，…，第Ｎ
    の予測画像を生成する第１，第２，…，第Ｎの予測画像
    生成部と、 前記動きパラメータを前記動きモデル選択情報で示され
    る動きモデルに対する予測画像生成部に出力する第１の
    切替器と、 第１，第２，…，第Ｎの予測画像のうち、前記動きモデ
    ル選択情報で示される動きモデルに対応するものを選択
    し、動き補償予測画像として出力する第２の切替器を有
    することを特徴とする動き補償予測復号装置。
12. 【請求項１２】 請求項１０の符号化装置に対応する復
    号装置において、 分離部において分離された前記動きパラメータ符号化デ
    ータを復号し、動きパラメータを出力し、該動きパラメ
    ータの符号化情報に含まれる打ち切り符号から符号化装
    置で選択された動きモデルを判別する動きパラメータ復
    号部と、 フレームメモリに蓄積されている局部復号画像と動きパ
    ラメータとそれぞれ符号化装置側と同じ第１，第２，
    …，第Ｎの動きモデルを入力し、第１，第２，…，第Ｎ
    の予測画像を生成する第１，第２，…，第Ｎの予測画像
    生成部と、 前記動きパラメータを前記動きモデル選択情報で示され
    る動きモデルに対する予測画像生成部に出力する第１の
    切替器と、 第１，第２，…，第Ｎの予測画像のうち、前記動きモデ
    ル選択情報で示される動きモデルに対応するものを選択
    し、動き補償予測画像として出力する第２の切替器を有
    することを特徴とする動き補償予測復号装置。