JPH09154138A

JPH09154138A - 動画像符号化／復号化装置

Info

Publication number: JPH09154138A
Application number: JP28044395A
Authority: JP
Inventors: Yoshihiro Kikuchi; 義浩菊池; Toshiaki Watanabe; 敏明渡邊
Original assignee: Toshiba Corp
Current assignee: Toshiba Corp
Priority date: 1995-05-31
Filing date: 1995-10-27
Publication date: 1997-06-10

Abstract

(57)【要約】【課題】符号化効率が高く、しかも強い誤り耐性を有す
る動画像符号化装置を提供する。【解決手段】ベクトル量子化した動き情報を用いて動画
像信号を動き補償予測することにより予測信号１２２を
生成する動き補償予測回路１０１と、予測信号１２２に
ついての予測残差信号１２３を生成する予測残差生成回
路１０３と、予測残差信号１２３を符号化する第１の符
号化回路１０４〜１０６と、ベクトル量子化した動き情
報を符号化する第２の符号化回路とを有する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、動画像信号を高能
率に圧縮符号化する動画像符号化装置および圧縮符号化
された信号を復号化して元の動画像信号を再生する動画
像復号化装置に係り、特に伝送路／蓄積媒体での誤りに
強く高品質に伝送／蓄積を行うことができる動画像符号
化／復号化装置に関する。

【０００２】

【従来の技術】ＴＶ電話、ＴＶ会議システム、携帯情報
端末、デジタルビデオディスクシステムおよびデジタル
ＴＶ放送システムなどのように、動画像信号を伝送／蓄
積するシステにおいては、動画像信号を少ない情報量に
圧縮符号化し、得られた符号列を伝送路／蓄積媒体へ伝
送／蓄積し、伝送／蓄積された符号列を復号化すること
によって元の動画像信号を再生する。

【０００３】このようなシステムに適用される動画像信
号の圧縮符号化技術として、動き補償、離散コサイン変
換（ＤＣＴ）、サブバンド符号化、ピラミッド符号化等
の方式や、これらを組み合わせた方式など様々な方式が
開発されている。また、動画像の圧縮符号化の国際標準
方式としてＩＳＯ・ＭＰＥＧ１、ＭＰＥＧ２、ＩＴＵ−
Ｔ・Ｈ．２６１，Ｈ．２６２が規定されている。これら
の符号化方式は、いずれも動き補償適応予測コサイン変
換符号化を用いた方式であり、文献１：安田浩編著、
“マルチメディア符号化の国際標準”、丸善、（平成３
年６月）等にその詳細が述べられている。

【０００４】動画像信号を圧縮符号化技術を用いて少な
い情報量、例えば、数ｋｂｐｓ〜数１０ｋｂｐｓ程度の
レートまで圧縮符号化できれば、セルラホンやＰＨＳ等
の無線公衆電話回線でも無線回線のような伝送路容量が
限定された伝送路においても動画像信号を伝送すること
が可能となり、例えば無線伝送機能を付加したＴＶ電話
装置、携帯情報端末、パーソナルコンピュータ、ワーク
ステーション等の間で動画像通信が可能となる。

【０００５】しかし、無線伝送路は一般に伝送路誤りが
混入する確率が高く、圧縮符号化された動画像信号を無
線伝送路で伝送する場合、復号された再生画像が伝送路
誤りの影響で劣化してしまうことがある。特に、動き補
償予測を用いる符号化方式においては、符号化モードを
示す情報や動きベクトル等の情報に誤りが生じると、大
きな画質劣化を生じてしまう。この問題を改善する符号
化方式として、符号語を重要度に応じていくつかの階層
に分け、モード情報、動きベクトル情報、低周波成分等
の重要な情報は上位階層として、訂正能力の高い誤り訂
正符号を用いたり、より誤り率の低い伝送／蓄積媒体で
伝送／蓄積を行う階層的符号化方式があるが、この方式
でも以下に述べるような理由により大きな画質劣化が生
じてしまうことがある。

【０００６】従来の動画像符号化方式では、動きベクト
ル情報を符号化する際、符号化効率を上げるために、隣
接する動きベクトルの差分をとり、この差分を可変長符
号化する方式が多く用いられている。しかし、可変長符
号化を用いているため、符号列の一部にでも誤りが混入
すると可変長符号化の同期外れが起こり、それ以降の符
号列全体に誤りの影響が波及して符号化品質が大幅に劣
化してしまう。また、隣接する動きベクトルの差分を符
号化しているため、１つの動きベクトルに誤りが生ずる
と、それとの差分をとって符号化した全ての動きベクト
ル情報に誤りが波及してしまい、符号化品質が大幅に劣
化してしまう。

【０００７】さらに、誤り率の低い伝送路で伝送可能な
符号量に制限がある場合には、動きベクトル情報の一部
を誤り率の高い下位階層で符号化する必要があり、大き
な画質劣化が生じてしまう。特に、符号化する画像の動
きが大きい場合には動きベクトル情報の符号量が非常に
多く、符号化レートが比較的低い場合には動きベクトル
情報だけで符号量全体の半分以上を占めることもあり、
下位階層で符号化しなければならない動きベクトル情報
の割合が多くなってしまうため、動きベクトル情報に誤
りが混入する可能性が高くなり、大きな画質劣化を生じ
易い。

【０００８】一方、国際標準方式を初めとする従来の動
画像符号化方式の多くは、入力動画像を複数の正方形ブ
ロック（動き補償ブロックという）に分割し、これらの
ブロックの動きをそれぞれ一つの動きベクトルで表して
動き補償を行うブロックマッチング動き補償を用いてい
る。このブロックマッチング動き補償は、動き補償ブロ
ック内に動きが異なる複数の領域が含まれる場合には、
求められる動きベクトルが各領域の動きを平均化したも
のとなってしまうため、それぞれの領域を高精度で予測
することができず、領域の境界やエッジ部分での符号化
品質の低下を招くという問題がある。特に、符号化レー
トが低い場合には、一般に動き補償ブロックを画像サイ
ズに対して相対的に大きくとらなければならず、ブロッ
クマッチングによる画質劣化が顕著となる。

【０００９】このようなブロックマッチング動き補償の
問題点を改善する方式として、動き補償ブロックを物体
の境界に沿って分割し、領域毎に異なる動きベクトルを
用いて動き補償を行う、いわゆる領域分割動き補償方式
が検討されている。この領域分割動き補償方式では、領
域をどのように分割したかを表すための情報（領域分割
情報という）が新たに必要となる。領域分割形状を精細
に表すほど動き補償効率は向上するが、それに伴い領域
分割情報は多くなってしまうため、領域分割形状をいか
に効率的に表すかが符号化効率向上の一つのポイントと
なる。特に符号化レートが低い場合には、動きベクトル
情報や領域分割形状情報などのサイド情報の割合が相対
的に多くなるため、この問題は顕著となる。

【００１０】領域分割形状情報の符号化方式としては、
領域分割形状情報をチェーン符号化する方法、領域分割
形状をいくつかの分割パターンで近似する方法、領域分
割形状を大まかなブロックで表して補間近似する方法等
が用いられている。しかし、いずれの方法でも少ない符
号量で高精度に領域形状を表すことは難しいため、領域
分割動き補償符号化を行っても必ずしも符号化効率の大
きな向上には結びついていない。また、符号化装置と復
号化装置の双方で領域分割形状を既符号化フレームの復
号画像から推定することにより、領域分割形状情報を不
要とする方法も検討されているが、この方法は復号化装
置での処理が大幅に増加してしまう上、復号された再生
画像に符号化歪みが含まれるため高精度に領域分割を行
うことが難しく、必ずしも良い結果は得られない。

【００１１】

【発明が解決しようとする課題】上述したように、動き
ベクトル情報の符号化に可変長符号化を用いる従来の動
画像符号化／復号化装置では、階層符号化のような誤り
対策を行っても、動きベクトル情報の符号語の一部に誤
りが混入しただけでその後ろの符号語に誤りが伝搬して
しまうため、画面全体に誤りの影響が広がったり、全て
の動きベクトル情報を上位階層で符号化できないために
動きベクトル情報に多くの誤りを生じ、復号画像に大き
な画質劣化を生じ易いという問題点があった。

【００１２】また、従来のブロックマッチング動き補償
を用いる動画像符号化／復号化装置では、動き補償ブロ
ック内に動きが異なる複数の領域が含まれる場合には動
き補償効率が低下し、符号化品質が劣化するという問題
点がある上、領域分割形状情報の符号量が多く、符号化
効率が低下するという問題点があった。

【００１３】さらに、従来の領域分割動き補償を用いる
動画像符号化／復号化装置では領域分割形状情報の符号
量が多く、符号化効率が低下するという問題点があっ
た。

【００１４】本発明の目的は、符号化効率が高く、しか
も強い誤り耐性を有する動画像符号化／復号化装置を提
供することにある。

【００１５】

【課題を解決するための手段】本発明に係る第１の動画
像符号化装置は、ベクトル量子化した動き情報を用いて
動画像信号を動き補償予測することにより予測信号を生
成する予測手段と、予測信号についての予測残差信号を
生成する予測残差生成手段と、予測残差信号を符号化す
る第１の符号化手段と、ベクトル量子化した動き情報を
符号化する第２の符号化手段とを具備することを特徴と
する。

【００１６】また、このような構成において、予測手段
はベクトル量子化した動きベクトルの候補を複数個のコ
ードベクトルとして格納したコードブックの予測残差信
号で与えられる残差がより小さくなるコードベクトルを
示すインデックス情報をベクトル量子化した動き情報と
するものであって、動きベクトルの候補が動き量のより
小さな動きベクトルの候補ほど細かい画素精度で配置さ
れていることを特徴とする。

【００１７】また、第１の動画像符号化装置に対応する
第１の動画像復号化装置は、入力される符号列から動画
像信号に対する予測信号についての予測残差信号を復号
化する第１の復号化手段と、入力される符号列からベク
トル量子化した動き情報を復号化する第２の復号化手段
と、第２の復号化手段により復号化された動き情報を用
いて動画像信号を動き補償予測することにより予測信号
を生成する予測手段と、予測信号と第１の復号化手段に
より復号化された予測残差信号から動画像信号を再生す
る再生手段とを具備することを特徴とする。

【００１８】このように第１の動画像符号化／復号化装
置では、ベクトル量子化した動き情報を用いて動画像信
号の動き補償予測を行う。ベクトル量子化は、複数の標
本値の系列をまとめて一つのコードベクトルとして量子
化することにより標本値間の冗長度を情報圧縮に直接利
用するものであるため、動き情報をベクトル量子化し、
コードブック内のコードベクトルを指定するコードブッ
クインデックスで動き情報を表すことによって、動き情
報の符号量を抑えつつ効率の良い動き補償予測を行うこ
とができる。

【００１９】また、ベクトル量子化した動き情報は、動
きベクトル情報をそのまま符号化する場合と比べて発生
情報量の偏りが少なくなるため、固定長符号化を用いて
も比較的高い符号化効率で動き情報を符号化することが
できる。固定長符号化を行えば、動画像復号化装置にお
いて伝送路などでの誤りの混入時に、可変長符号化のよ
うに同期外れにより広い範囲にわたって誤りが伝搬する
ことがなくなるので、誤り混入時の再生画像の品質が大
幅に向上する。従って、第１の動画像符号化／復号化装
置では、高い符号化効率を保ちつつ、誤り耐性が向上す
る。

【００２０】さらに、コードブックに格納するコードベ
クトルに対応した動きベクトルの候補を動き量のより小
さな動きベクトルの候補ほど細かい画素精度で配置すれ
ば、一般に動き量の小さな動きベクトルは出現頻度が高
いため、このように細かい画素精度で配置すれば、動き
補償予測の予測残差信号がより小さくなるので、符号化
効率が向上する。一方、動き量の大きな動きベクトルは
出現頻度が低いため、細かい画素精度で配置しても予測
残差信号の減少にはそれほど寄与せず、その画素精度を
粗くして探索対象となる動きベクトルの候補の数を減ら
した方が符号化効率が向上する。

【００２１】本発明に係る第２の動画像符号化装置は、
動画像信号を上位段階から下位段階にわたって順次より
多くの領域に段階的に分割し、各段階で分割された領域
毎に動き情報を用いて動画像信号を動き補償予測するこ
とにより予測信号を生成する予測手段と、この予測手段
により得られた各段階の予測信号のうち最下位段階の予
測信号についての予測残差信号を生成する予測残差生成
手段と、予測残差信号を符号化する第１の符号化手段
と、予測手段において最上位段階の動き補償予測で用い
られた動き情報を符号化する第２の符号化手段とを具備
し、予測手段は最上位段階以外の少なくとも一部の段階
で、該段階で用いるべき動き情報の候補とより上位の段
階で用いるべき動き情報の候補との差分をベクトル量子
化した差分動き情報から選択した一つの差分動き情報
と、より上位の段階で用いた動き情報との和を該段階の
動き情報として用いることを特徴とする。

【００２２】また、第２の動画像符号化装置に対応する
第２の動画像復号化装置は、入力される符号列から動画
像信号に対する複数段階にわたる予測信号のうち最下位
段階での予測信号についての予測残差信号を復号化する
第１の復号化手段と、入力される符号列から予測信号を
生成する際に用いた動き情報のうち最上位段階で用いた
動き情報を復号する第２の復号化手段と、この第２の復
号化手段により復号された動き情報および最上位段階以
外の段階の動き情報を用いて動画像信号を動き補償予測
することにより最下位段階での予測信号を生成する予測
手段と、予測信号と第１の復号化手段により復号化され
た予測残差信号から動画像信号を再生する再生手段とを
具備し、予測手段は、最上位段階以外の少なくとも一部
の段階で、該段階で用いるべき動き情報の候補とより上
位の段階で用いるべき動き情報の候補との差分をベクト
ル量子化した差分動き情報から選択した一つの差分動き
情報と、より上位の段階で用いた動き情報との和を該段
階の動き情報として用いることを特徴とする。

【００２３】このように第２の動画像符号化／復号化装
置では、動き補償予測を多段階化して最下位段階での予
測残差信号を符号化するとともに、最上位段階の動き補
償予測で用いられた動き情報についてはそれを符号化
し、また最上位段階以外の一部または全ての段階での動
き補償予測においては、その段階で用いるべき動き情報
の候補とより上位の段階での動き情報の候補との差分を
とり、その差分をベクトル量子化した差分動きベクトル
から選択した一つの差分動き情報と、より上位の段階で
用いた動き情報との和を動き情報として用いる。

【００２４】ここで、多段階化された動き補償予測にお
ける動き情報は、一般により上位段階の動き補償予測で
用いられる動き情報と強い相関があるので、より上位段
階の動き情報との差分をとると、０付近にその成分が集
中する。ベクトル量子化は、一般に偏りが大きい信号に
対しては信号をそのまま符号化するよりも高い符号化効
率が得られる性質があるから、このように上位段階の動
き情報との差分をとってベクトル量子化することによ
り、さらに高い符号化効率を得ることができる。すなわ
ち、動き情報は画像によって異なるため、差分をとらず
に動き情報をベクトル量子化するとコードブックに格納
するコードベクトルが多く必要となり、コードブックイ
ンデックスも多く必要となるが、差分をとってベクトル
量子化すると動き情報を少ないコードベクトルで表現で
き、動き情報に必要な符号量がより少なくなる。

【００２５】また、動き補償予測が多段階化されている
ため、階層符号化と組み合わせたときに各段階での動き
情報をどの階層に振り分けるかを制御することで各階層
への符号量の振り分けに大きな自由度を持たせることが
できるようになり、伝送路の制約等により各階層で符号
化できる符号量の割合に制約がある場合にも対応できる
ようになる。ベクトル量子化された動き情報は強い誤り
耐性を有するため、下位階層で符号化しても復号化装置
において再生画像に大きな画質劣化を生じにくく、強い
誤り耐性を有することになる。

【００２６】本発明に係る第３の動画像符号化装置は、
動画像信号を画像の内容に応じて複数の領域に分割し、
該領域毎に該領域の分割形状を表わす領域分割形状情報
と該領域の動きベクトルとを組み合わせてベクトル量子
化した動き情報を用いて動画像信号を動き補償予測する
ことにより予測信号を生成する予測手段と、予測信号に
ついての予測残差信号を生成する予測残差生成手段と、
予測残差信号を符号化する第１の符号化手段と、ベクト
ル量子化した動き情報を符号化する第２の符号化手段と
を具備することを特徴とする。

【００２７】また、第３の動画像符号化装置に対応する
第３の動画像復号化装置は、入力される符号列から動画
像信号に対する予測信号についての予測残差信号を復号
化する第１の復号化手段と、入力される符号列から動画
像信号の領域毎に該領域の分割形状を表わす領域分割形
状情報と該領域の動きベクトルとを組み合わせてベクト
ル量子化した動き情報を復号化する第２の復号化手段
と、この第２の復号化手段により復号化された動き情報
を用いて動画像信号を動き補償予測することにより予測
信号を生成する予測手段と、予測信号と第１の復号化手
段により復号化された予測残差信号から動画像信号を再
生する再生手段とを具備することを特徴とする。

【００２８】このように第３の動画像符号化／復号化装
置では、動画像信号を画像の内容に応じて、例えば画像
中の物体に沿って複数の領域に分割し、その分割した領
域毎に領域分割形状情報と動きベクトルを組み合わせて
ベクトル量子化した動き情報を用いて動き補償予測を行
う。こうすると、動きの異なる物体が接する部分でも、
その境界に沿って予測領域を分割して各物体毎に異なる
動き情報を用いて予測を行うことができるようになるた
め、動き補償予測の予測効率が向上し、もって符号化品
質を高めることができる。

【００２９】また、このように領域分割予測を行う領域
では、領域分割形状情報と動きベクトル情報を組み合わ
せてベクトル量子化した動き情報を用いて動き補償予測
を行うため、領域分割形状情報を含む動き情報を少ない
符号量で効率的に表すことができ、従来の領域分割動き
補償符号化方式の欠点であった領域分割形状情報による
符号量増加の問題が改善される。

【００３０】さらに、ベクトル量子化した情報は高い符
号化効率で固定長符号化が可能であるため、従来多く用
いられていた可変長符号化の問題である、誤りが生じた
ときの同期外れによる再生画像の画質劣化を防ぐことが
でき、動画像符号化装置からの出力符号列を誤りが生じ
やすい媒体を介して伝送／蓄積する場合の誤りによる画
質劣化が小さく抑えられる。

【００３１】本発明に係る第４の動画像符号化装置は、
動画像信号を動きベクトルを用いて動き補償予測するこ
とにより予測信号を生成する予測手段と、予測信号につ
いての予測残差信号を生成する予測残差生成手段と、予
測残差信号を符号化する第１の符号化手段と、動きベク
トルの情報を動きベクトル相互間のユークリッド距離と
符号語相互間のハミング距離が相関のある符号語として
符号化する第２の符号化手段とを具備することを特徴と
する。

【００３２】また、第４の動画像符号化装置に対応する
第４の動画像復号化装置は、入力される符号列から動画
像信号に対する予測信号についての予測残差信号を復号
化する第１の復号化手段と、入力される符号列から動き
ベクトル相互間のユークリッド距離と符号語相互間のハ
ミング距離が相関のある符号語として符号化された動き
ベクトルの情報を復号化する第２の復号化手段と、この
第２の復号化手段により復号化された動きベクトルの情
報を用いて予測信号を生成する予測手段と、予測信号と
予測残差信号から動画像信号を再生する再生手段とを具
備することを特徴とする。

【００３３】このように第４の動画像符号化／復号化装
置では、動きベクトル情報の符号化に動きベクトル相互
のユークリッド距離と符号語相互のハミング距離に相関
のある符号語を用いているため、動きベクトル情報の符
号語に誤りが混入しても、真の符号語と誤った符号語の
ハミング距離が小さければ、誤って復号された動きベク
トルからのずれは小さくなる。従って、１符号語あたり
の誤り率が１ビット以下程度の通常の通信路や蓄積媒体
ならば、動きベクトルの誤りは小さく抑えられることに
なり、誤りが生じても高品質の再生画像信号が得られ
る。

【００３４】本発明に係る第５の動画像符号化装置は、
ベクトル量子化した動きベクトルの候補を複数個のコー
ドベクトルとして格納したコードブック中の予測残差信
号がより小さくなるコードベクトルを示すインデックス
情報をベクトル量子化した動き情報として用いて動画像
信号を動き補償予測することにより予測信号を生成する
予測手段と、予測信号から前記予測残差信号を生成する
予測残差生成手段と、予測残差信号を符号化する第１の
符号化手段と、コードブック中の予測残差信号がより小
さくなるコードベクトルを示すインデックス情報がコー
ドブックの全インデックス中のどの範囲にあるかを示す
インデックス限定情報を符号化すると共に、ベクトル量
子化した動き情報をインデックス限定情報に基づいて決
定された符号語に符号化する第２の符号化手段とを具備
することを特徴とする。

【００３５】また、第５の動画像符号化装置に対応する
第５の動画像復号化装置は、入力される符号列から動画
像信号に対する予測信号についての予測残差信号を復号
化する第１の復号化手段と、入力される符号列からベク
トル量子化した動き情報を示すインデックス情報がベク
トル量子化した動きベクトルの候補を複数個のコードベ
クトルとして格納したコードブックの全インデックス中
のどの範囲にあるかを示すインデックス限定情報を復号
化すると共に、この復号化されたインデックス限定情報
に基づいてベクトル量子化した動き情報の符号語を判別
してベクトル量子化した動き情報を復号化する第２の復
号化手段と、この第２の復号化手段により復号化された
動き情報を用いて動画像信号を動き補償予測することに
より予測信号を作成する予測手段と、予測信号と第１の
復号化手段により復号化された予測残差信号から動画像
信号を再生する再生手段とを具備することを特徴とす
る。

【００３６】このように第５の動画像符号化／復号化装
置では、ベクトル量子化した動き情報を用いて動画像信
号の動き補償予測信号を行い、求められた動き情報がコ
ードブック中のどの範囲にあるかを限定し、これを基に
動き情報を符号化する際の符号語を決定している。この
ため、コードブックサイズが大きい場合でも、そのコー
ドブックインデックス全てを符号化するのに必要な符号
語を用いる場合に比べ動き情報の符号化に必要な符号量
が削減され、符号化効率が向上する。

【００３７】本発明に係る第６の動画像符号化装置は、
動画像信号を上位段階から下位段階にわたって順次より
多くの領域に段階的に分割し、各段階で分割された領域
毎に動き情報を用いて動画像信号を動き補償予測するこ
とにより予測信号を生成する予測手段と、この予測手段
により得られた各段階の予測信号のうち最下位段階の予
測信号についての予測残差信号を生成する予測残差生成
手段と、予測残差信号を符号化する第１の符号化手段
と、予測手段において最上位段階の動き補償予測で用い
られた動き情報を符号化する第２の符号化手段と、予測
手段において最上位段階以外の段階の動き補償予測で用
いられた動き情報を符号化する第３の符号化手段とを具
備し、予測手段は、最上位段階以外の少なくとも一部の
段階で、より上位の段階で用いた動き情報から該段階の
動き情報を予測すると共に、該段階で用いるべき動き情
報の候補とより上位の段階で用いるべき動き情報の候補
との差分をベクトル量子化した差分動き情報から選択し
た一つの差分情報と、予測された動き情報との和を該段
階の動き情報として用いることを特徴とする。

【００３８】また、第７の動画像符号化装置は、第６の
動画像符号化装置と同様の基本構成において、予測手段
で最上位段階以外の少なくとも一つの段階における動き
情報を予備探索し、この予備選択された動き情報から該
段階およびより上位の段階の少なくとも一方の段階にお
ける動き情報を決定し、最上位段階以外の少なくとも一
部の段階で、より上位の段階で用いた動き情報から該段
階の動き情報を予測すると共に、該段階で用いるべき動
き情報の候補とより上位の段階で用いるべき動き情報の
候補との差分をベクトル量子化した差分動き情報から選
択した一つの差分情報と、予測された動き情報との和を
該段階の動き情報として用いることを特徴とする。

【００３９】また、第６および第７の動画像符号化装置
に対応する第６の動画像復号化装置は、入力される符号
列から動画像信号に対する複数段階にわたる予測信号の
うち最下位段階での予測信号についての予測残差信号を
復号化する第１の復号化手段と、入力される符号列から
予測信号を生成する際に用いた動き情報のうち最上位段
階で用いた動き情報を復号化する第２の復号化手段と、
入力される符号列から予測信号を生成する際に用いた動
き情報のうち最上位段階以外の段階で用いた動き情報を
復号化する第３の復号化手段と、第２および第３の復号
化手段により復号化された動き情報を用いて動画像信号
を動き補償予測することにより最下位段階での予測信号
を生成する予測手段と、予測信号と第１の復号化手段に
より復号化された予測残差信号から動画像信号を再生す
る再生手段とを具備し、予測手段は、最上位段階以外の
少なくとも一部の段階で、より上位の段階で用いた動き
情報から該段階の動き情報を予測し、該段階で用いるべ
き動き情報の候補とより上位の段階で用いるべき動き情
報の候補との差分をベクトル量子化した差分動き情報か
ら選択した一つの差分情報と、予測された動き情報との
和を該段階の動き情報として用いることを特徴とする。

【００４０】このように第６の動画像符号化／復号化装
置では、動き補償予測を多段階化して最下位段階での予
測残差信号を符号化すると共に、最上位段階での動き補
償予測で用いられた動き情報についてはそれを符号化
し、また最上位段階以外の一部または全ての段階での動
き補償予測においては、より上位の段階での動き情報か
らその段階の動き情報を予測し、これとの差分をベクト
ル量子化した差分動きベクトルから選択した一つの差分
動き情報と、より上位の段階で用いられた動き情報との
和を動き情報としている。

【００４１】動き補償予測が多段階化されているため、
階層符号化と組み合わせたときに各段階での動き情報を
どの階層に振り分けるかを制御することで、各階層への
符号量振り分けに大きな自由度を持たせることができる
ようになって、伝送路の制約などにより各階層で符号化
できる符号量に制約がある場合にも対応できるようにな
る。ベクトル量子化された動き情報は強い誤り耐性を有
するため、下位階層で符号化しても復号化装置において
再生画像に大きな画質劣化を生じにくく、強い誤り耐性
を有することになる。

【００４２】さらに、下位段階の動き補償予測における
動き情報はより上位の動き情報より予測を行い、それと
の差分をとっているため、上位の動き情報そのままと差
分をとるよりも差分動き情報の大きさが小さくなり、差
分動き情報符号化に要する符号量が削減される。

【００４３】また、第７の動画像符号化装置では、第６
の動画像符号化装置における予測手段において、最上位
段階以外の少なくとも一つの段階における動き情報を予
備探索して得られた動き情報から該段階およびより上位
段階の少なくとも一方の段階における動き情報を決定し
ているため、より上位段階の動き情報としてより下位段
階の動き情報と類似の動き情報が求められる確率が高く
なる。下位段階の動き補償では、より上位段階での動き
情報との差分をとって動き情報のベクトル量子化を行っ
ているため、上記のように上位段階の動き情報が下位段
階の動き情報と類似する確率が高くなることによって、
動き情報の差分が小さくなる確率が高まるので、動き補
償の効率が向上して符号化効率が向上する。さらに、領
域分割しない下位段階の動き情報の探索の一部を先に求
めた予備探索結果を用いて行うことにより、下位段階の
動き情報探索のための演算量が削減される。

【００４４】また、本発明によれば動画像信号を複数の
領域に分割する領域分割手段と、これら複数の領域をさ
らに複数の領域に分割して動き補償予測を行い、その領
域分割形状と分割された各領域の動きベクトルを求める
手段と、この領域分割形状と動きベクトルを基にベクト
ル量子化による領域分割動き補償の初期の仮コードブッ
クを求める手段と、この仮コードブックを用いてコード
ベクトルの探索を行う手段と、探索されたコードベクト
ル毎に重心を計算する手段と、この重心を基に仮コード
ブックの更新を行う手段を有し、コードベクトル探索に
おける評価基準を動き補償予測残差の大きさとすること
を特徴とするベクトル量子化領域分割動き補償のコード
ブック作成装置が提供される。

【００４５】このベクトル量子化領域分割動き補償のコ
ードブック作成装置では、コードブック学習の際に動き
補償予測残差を評価基準として用いているため、動き補
償予測を高精度に行って予測残差を減少させ、符号化効
率を高めるのに最適なコードブックを作成することがで
きる。

【００４６】さらに、本発明によれば動画像信号を複数
の領域に分割する第１の領域分割手段と、この第１の領
域分割手段で分割された領域毎に第１の動きベクトルを
求める第１の動き探索手段と、第１の領域分割手段によ
り分割された領域を複数の領域分割形状でさらに複数の
領域に分割する第２の領域分割手段と、この第２の領域
分割手段における複数の領域分割形状それぞれについ
て、分割された各領域の動きを表す第２の動きベクトル
を第１の動き情報を基に求める手段と、複数の領域分割
形状と第２の動きベクトルの中から動き補償残差が最小
になる領域分割形状と動きベクトルを求める第２の動き
探索手段と、この第２の動き探索手段で求められた領域
分割形状と動きベクトルを修正して領域分割形状と動き
ベクトルを求める手段とを有する領域分割動き探索装置
が提供される。

【００４７】この領域分割動き補償探索装置では、まず
非領域分割動きベクトルを探索し、これをもとに大まか
な領域分割形状と動きベクトルを求め、さらにそれを修
正して領域分割形状と動きベクトルを探索している。一
般に、領域分割形状と動きベクトルの全ての組を探索す
ると演算量が膨大になってしまうが、まず最初に大まか
な領域分割形状と動きベクトルを求めて探索候補を絞り
込むことにより、少ない演算量で探索を行うことが可能
となる。

【００４８】

【発明の実施の形態】

（第１の実施形態）図１は、本発明に係る第１の動画像
符号化装置の一実施形態を示すブロック図である。本実
施形態は、動き補償適応予測と離散コサイン変換符号化
方式を用いた動画像符号化装置に本発明を適用した例を
示している。動き補償適応予測および離散コサイン変換
符号化方式については、前述の文献１等に詳しいので、
文献１に記載された従来方式との差異を中心に説明す
る。

【００４９】図１において、入力される動画像信号１２
１はまず動き補償適応予測回路１０１での予測に供され
る。動き補償適応予測回路１０１では、動画像信号１２
１とフレームメモリ１０２から出力される前フレームの
局部復号画像信号１２５との間の動きベクトルが検出さ
れ、この動きベクトルに基づいて動き補償予測信号が生
成される。動き補償適応予測回路１０２は、動き補償予
測モード（フレーム間予測モード）と動画像信号１０１
をそのまま符号化するフレーム内予測モードを持ってお
り、これらのうちから最適な予測モードを選択して、そ
れぞれのモードに対応する予測信号１２２を出力する。
すなわち、動き補償適応予測回路１０１は動き補償予測
モードでは動き補償予測信号、フレーム内予測モードで
は“０”を予測信号１２２としてそれぞれ出力する。ま
た、動き補償適応予測回路１０１は動き補償予測に用い
た量子化された動きベクトル情報を示す動きベクトルイ
ンデックスを動き情報１２６として出力する。

【００５０】減算器１０３では、動画像信号１２１から
予測信号１２２が減算されることにより予測残差信号１
２３が生成される。予測残差信号１２３は、離散コサイ
ン変換（ＤＣＴ）回路１０４において一定の大きさの矩
形状のブロック単位で離散コサイン変換され、ＤＣＴ係
数情報となる。ＤＣＴ係数情報は量子化回路１０５で量
子化される。なお、フレーム内予測モードでは、予測信
号１２２は“０”であるから、減算器１０３からは予測
残差信号１２３として動画像信号１２１がそのまま出力
される。

【００５１】量子化回路１０５からの量子化されたＤＣ
Ｔ係数情報は二分岐され、一方で可変長符号化回路１０
６により可変長符号化され、他方で逆量子化回路１０７
により逆量子化される。逆量子化回路１０７の出力は、
逆離散コサイン変換（逆ＤＣＴ）回路１０８により逆離
散コサイン変換される。すなわち、逆量子化回路１０７
および逆ＤＣＴ回路１０８では量子化回路１０５および
ＤＣＴ回路１０４と逆の処理が行われ、逆ＤＣＴ回路１
０８の出力に予測残差信号１２３に近似した信号が得ら
れる。逆ＤＣＴ回路１０８の出力は、加算器１０９にお
いて動き補償適応予測回路１０１からの予測信号１２２
と加算され、局部復号画像信号が生成される。この局部
復号画像信号は、フレームメモリ１０２に記憶される。

【００５２】可変長符号化回路１０６から出力される符
号化予測残差信号（ＤＣＴ係数情報の可変長符号）１２
４と動き補償適応予測回路１０２から出力される動き情
報（動きベクトルインデックス）１２６はマルチプレク
サ１１０により多重化され、出力符号列１２７として図
示しない伝送路／蓄積媒体へ送出される。

【００５３】次に、本実施形態の特徴部分である動き補
償適応予測回路１０１について説明する。動き補償適応
予測回路１０１は動きベクトルをベクトル量子化により
求め、このベクトル量子化された動きベクトルを用いて
動き補償予測を行う。

【００５４】図２は動き補償適応予測回路１０１の構成
例を示すブロック図であり、予測部２０１、残差計算部
２０２、制御部２０３およびコードブック２０４を有す
る。コードブック２０４には、ベクトル量子化された動
きベクトルの候補が複数個のコードベクトルとして格納
されている。

【００５５】予測部２０１は、図１のフレームメモリ１
０２からの前フレームの局部復号画像信号１２５を基
に、コードブック２０４から取り出されたコードベクト
ル２１３に対応した予測信号１２２、すなわち局部復号
画像信号１２５をコードベクトル２１３に相当する動き
ベクトルで動き補償予測した信号を生成する。

【００５６】残差計算部２０２は、動画像信号１２１と
予測信号１２２との差分（残差）の大きさを計算し、そ
の大きさを示す残差レベル信号２１１を発生する。残差
の大きさの評価基準は、例えば残差の絶対値和や二乗和
でもよいし、例えば低域成分を重み付けした二乗誤差和
でもよい。

【００５７】制御部２０３は、コードブック２０４に対
してコードベクトルの一つを指定するコードブックイン
デックス２１２を与えることにより、残差レベル信号２
１１で与えられる残差の大きさが最小となるコードベク
トル２１３をコードブック２０４から取り出し、それを
予測部２０１に供給する。また、制御部２０３はコード
ブックインデックス２１２を固定長符号化して動きベク
トルインデックスとし、これを動き情報１２６として図
１のマルチプレクサ１１０に出力する。

【００５８】次に、本実施形態における動画像復号化装
置について説明する。図３は、図１の動画像符号化装置
に対応する第１の動画像復号化装置の構成を示すブロッ
ク図である。

【００５９】図３において、図１の動画像符号化装置か
ら送出される出力符号列１２７が伝送路／蓄積媒体を介
して伝送／蓄積されてきた入力符号列３２１は、デマル
チプレクサ３１０により符号化予測残差信号（量子化Ｄ
ＣＴ係数情報の可変長符号）３２２と、動き情報（動き
ベクトルインデックス）３２３とに分離される。符号化
予測残差信号３２２は、可変長復号化回路３０６、逆量
子化回路３０７および逆ＤＣＴ回路３０８において図１
の可変長符号化回路１０６、量子化回路１０５およびＤ
ＣＴ回路１０４の処理と逆の処理が施されることによ
り、予測残差信号３２４となる。

【００６０】予測残差信号３２４は、加算器３０９で動
き補償適応予測回路３０１からの予測信号３２６と加算
され、再生画像信号３２７が生成される。この再生画像
信号３２７は、動画像復号化装置の外部へ出力されると
共に、フレームメモリ３０２に記憶される。

【００６１】一方、動き情報３２３は動き補償適応予測
回路３０１に入力される。動き補償適応予測回路３０１
は、フレームメモリ３０２から出力される前フレームの
再生画像信号３２５を基に、動き情報３２３を用いて動
き補償予測を行い、予測信号３２６を出力する。

【００６２】図４は、図３における動き補償適応予測回
路３０１の構成例を示すブロック図であり、予測部４０
１およびコードブック４０２を有する。コードブック４
０２は図２のコードブック２０４と同一構成であり、ベ
クトル量子化された動きベクトルの候補を複数個のコー
ドベクトルとして格納している。このコードブック４０
２からは、動き情報（動きベクトルインデックス）３２
３に対応したコードベクトル４１０、すなわちベクトル
量子化された動きベクトル情報が取り出される。

【００６３】予測部４０１は、図３のフレームメモリ３
０１からの前フレームの再生画像信号３２５を基に、コ
ードブック４０２からのコードベクトル４１０に対応し
た予測信号３２６、すなわち再生画像信号３２５をコー
ドベクトル４１０に相当する動きベクトルで動き補償予
測した信号を生成して出力する。

【００６４】このように本実施形態の動画像符号化／復
号化装置では、ベクトル量子化した動き情報を用いて動
き補償予測を行う。すなわち、動き情報１２６をコード
ブック２０４内のコードベクトルを指定するコードブッ
クインデックスで表すことができるため、動き情報の符
号量を抑えつつ効率の良い動き補償予測を行うことがで
きる。

【００６５】また、このようにベクトル量子化した動き
情報は、動きベクトル情報をそのまま符号化する場合と
比べて発生情報量の偏りが少なくなるため、これを本実
施形態で説明したように制御部２０３で固定長符号化を
行っても、比較的高い符号化効率で動き情報を符号化す
ることができる。固定長符号化を用いると、誤りの混入
時に可変長符号化のように同期外れにより広い範囲にわ
たって誤りが伝搬するという問題がなくなるので、誤り
混入時の再生画像の品質が大幅に向上する。

【００６６】従って、本実施形態によれば高い符号化効
率を保ちつつ、強い誤り耐性を得ることができる。

【００６７】（第２の実施形態）図５は、本発明に係る
第２の動画像符号化装置の一実施形態を示すブロック図
である。図１と相対応する部分に同一符号を付して第１
の実施形態との相違点を中心に説明すると、本実施形態
は動き補償適応予測回路１０１の構成が第１の実施形態
と異なっている。また、これに伴い新たにもう一つの可
変長符号化回路１１１が追加されている。

【００６８】本実施形態における動き補償適応予測回路
１０１では、動きベクトルを大領域での動きを表す大領
域代表動きベクトルと、大領域を細分化した小領域での
動きを表す小領域動きベクトルとの２段階に分けて探索
する。大領域代表動きベクトルについては、例えばブロ
ックマッチング法などの従来一般に用いられている手法
により探索を行い、得られた動きベクトル情報を可変長
符号化して出力する。一方、小領域動きベクトルについ
ては、後述のように大領域代表動きベクトルと小領域動
きベクトルとの差分動きベクトルをベクトル量子化して
符号化する。

【００６９】このように多段階で動き補償予測を行う理
由は、大領域代表動きベクトルと小領域動きベクトルと
の差分動きベクトルは、差分をとらない動きベクトルと
比べ一般に差分＝０付近に高い確率で分布するため、高
い符号化効率でベクトル量子化を行うことができるため
である。このような大領域代表動きベクトルと、大領域
代表動きベクトルと小領域での動きベクトルとの差分動
きベクトルのベクトル量子化との組み合わせにより、全
ての動きベクトル情報を可変長符号化する従来の符号化
方式と同程度の符号化効率を保ちつつ、より高い誤り耐
性を持たせることができる。

【００７０】図６は、本実施形態における動き補償適応
予測回路１０１の構成を示すブロック図であり、第１の
予測部２２１、第１の残差計算部２２２および第１の制
御部２２３と、第２の予測部２２４、第２の残差計算部
２２５、第２の制御部２２６、コードブック２２７およ
び加算器２２８を有する。第１の予測部２２１、第１の
残差計算部２２２および第１の制御部２２３は、大領域
代表動きベクトルを用いて動き補償予測を行うために設
けられている。

【００７１】一方、第２の予測部２２４、第２の残差計
算部２２５、第２の制御部２２６、コードブック２２７
および加算器２２８は、大領域代表動きベクトルと小領
域動きベクトルとの差分動きベクトルをベクトル量子化
した動きベクトルを用いて動き補償予測を行うために設
けられており、コードブック２２７には大領域代表動き
ベクトルと小領域動きベクトルとの差分動きベクトルの
候補が複数個のコードベクトルとして格納されている。

【００７２】図７（ａ）は、本実施形態における１フレ
ーム内の動き補償予測動作を説明するための図である。
まず、フレーム内を太い実線で示す大領域に分割し、実
線の矢印で示す大領域代表動きベクトルをブロックマッ
チング法等を用いて求める。具体的には、第１の制御部
２２３により一定の範囲内（例えば水平および垂直方向
それぞれ±１５画素の範囲）で水平および垂直方向にそ
れぞれ例えば１画素ずつずらせた第１の動きベクトル２
３３を順次発生させ、第１の予測部２２１において図５
のフレームメモリ１０２からの前フレームの局部復号画
像信号１２５を基に、第１の動きベクトル２３３に対応
した第１の予測信号２３１を発生させ、さらに第１の残
差計算部２２２において大領域内の入力画像信号１２１
と第１の予測信号２３１との差分（残差）の大きさを計
算して、その大きさを示す残差レベル信号２３２を発生
する。残差の大きさの評価基準は、例えば残差の絶対値
和や二乗和でもよいし、例えば低域成分を重み付けした
二乗誤差和でもよい。

【００７３】第１の制御部２２３は、残差レベル信号２
３２で与えられる残差の大きさが最小となる大領域代表
動きベクトル１２８を求めて出力する。この大領域代表
動きベクトル１２８は、図５中に示す可変長符号化回路
１１１において隣接する大領域代表動きベクトルとの差
分がとられてから可変長符号化される。

【００７４】次に、大領域を細分化した図７（ａ）の破
線で示す小領域の破線の矢印で示す小領域動きベクトル
を大領域代表動きベクトルとの差分としてベクトル量子
化により求める。このベクトル量子化は、動き補償予測
を最も効率的に行うことを目的とするものであるため、
コードブック２２７からの差分動きベクトルの選択はベ
クトル量子化で一般に行われているように入力ベクトル
とコードベクトルとの直接的な二乗誤差等ではなく、動
き補償予測における残差の大きさを評価基準として行
う。以下、この動作を説明する。

【００７５】コードブック２２７には、大領域代表動き
ベクトルと小領域動きベクトルとの差分動きベクトルの
候補が複数個のコードベクトルとして格納されている。
第２の制御部２２６はコードブックインデックス２３５
を順次変化させ、コードブック２２７からコードブック
インデックス２３５に対応する一つの差分動きベクトル
２３６を取り出す。加算器２２８では大領域代表動きベ
クトル１２８と差分動きベクトル２３６が加算され、小
領域動きベクトルの候補２３７が求められる。第２の予
測部２２４では、図５のフレームメモリ１０２からの前
フレームの局部復号画像信号１２５を基に小領域動きベ
クトルの候補２３７に対応する予測信号１２２が求めら
れ、さらに第２の残差計算部２２５で動画像信号１２１
と予測信号１２２との差分（残差）の大きさが計算さ
れ、その大きさを示す残差レベル信号２３４が出力され
る。

【００７６】第２の制御部２２６では、残差レベル信号
２３４で与えられる残差の大きさが最小となるコードブ
ックインデックスを小領域動きベクトルインデックスと
して求め、これを固定長符号化して小領域動きベクトル
１２９として出力するとともに、これに対応する予測信
号１２２を出力する。

【００７７】図５における可変長符号化回路１０６であ
る符号化予測残差信号１２４と、可変長符号化回路１１
１から出力される符号化された大領域動きベクトル１３
０および動き補償適応予測回路１０１からの符号化され
た小領域動きベクトル１２９は、マルチプレクサ１１０
により多重化され、出力符号列１２７として図示しない
伝送路／蓄積媒体へ送出される。

【００７８】マルチプレクサ１１０では、伝送／蓄積に
おける誤りによる復号画像信号の品質劣化の大きさに応
じた重要度に対応して階層化し、強さの異なる誤り保護
を行う。誤り保護の強さを変える方法としては、例えば
各階層毎に異なる誤り訂正／検出符号を用い、重要度の
高い上位の階層ほど強い訂正／検出能力をもつ符号を用
いて強い保護をかければよい。あるいは、誤り率が異な
る複数の伝送路／蓄積媒体を介して伝送／蓄積を行うこ
とが可能な場合には、重要度の高い上位の階層はより誤
り率の低い伝送路／蓄積媒体を介して伝送／蓄積を行
い、上位階層符号列には誤りが生じにくいようにする。
階層の切り分けは、誤りの影響が最も大きい符号化モー
ド、量子化ステップサイズ等をもっとも上位の階層と
し、次の階層はフレーム内符号化の低域成分とする。

【００７９】大領域代表動きベクトル１２８は広い領域
に誤りの影響がおよぶため、次に上位の階層とする。特
に、前述したように可変長符号化回路１１１で大領域代
表動きベクトル１２８を隣接する大領域代表ベクトルと
の差分をとつて可変長符号化する場合には、可変長符号
の同期外れにより画面全体に誤りが波及する可能性があ
るため、強い誤り保護を行うことが望ましい。

【００８０】ベクトル量子化された小領域動きベクトル
１２９は、インデックスを固定長符号化しているため、
可変長符号化を行っ大領域代表動きベクトル１３０に比
較して誤り耐性が強い。また、後述のように誤りによる
誤差が小さくなるようにインデックスの並べ替えやコー
ドブック学習を行うことが可能である。従って、小領域
動きベクトルインデックスは代表動きベクトルに比べ下
位の階層に割り当てるものとする。

【００８１】誤りにより失われても画質劣化が少ない残
差信号やフレーム内符号化の高域成分は、最下位階層と
する。この階層は誤り検出を行うＣＲＣ等の誤り検出符
号やパリティチェックビットを付加するだけでもよい。
また、この階層内で視覚上、比較的重要な低域成分とあ
まり重要でない高域成分というように、直交変換のシー
ケンシに応じてさらに複数に階層化を行ってもよい。

【００８２】なお、誤り率の異なる伝送／蓄積媒体の種
類が２階層、３階層というように予め定められている場
合や、各階層の符号量の全符号量に対する割合が一定の
範囲に制約されている場合や、ハードウエアの制約など
によりあまり多くの種類の誤り訂正・検出符号を用いる
ことができない場合には、どの種類の符号語をどの階層
で符号化するかを適応的に切り替えればよい。例えば、
階層数が２階層で、上位階層符号量の割合に制約がある
場合には、最も重要なモード情報、フレーム内符号化の
低域成分、および代表動きベクトルは上位階層で符号化
し、ベクトル量子化した小領域差分動きベクトル、フレ
ーム内符号化の高域成分、残差信号は上位階層符号量に
余裕がある場合には上位階層で符号化し、余裕がない場
合には下位階層で符号化するように制御を行う。その
際、差分動きベクトルが重要度が高いので優先的に上位
階層で符号化されるようにする。

【００８３】また、図７（ａ）の例では１つの大領域を
４つの小領域に細分化する例を示したが、大領域の大き
さと小領域への細分化の割合を制御することにより、さ
らに細かな制御が可能である。

【００８４】次に、本実施形態における動画像復号化装
置について説明する。図８は、図５に示した第２の動画
像符号化装置に対応する第２の動画像復号化装置の構成
を示すブロック図である。

【００８５】図８において、図５の動画像符号化装置か
ら送出される出力符号列１２７が伝送路／蓄積媒体を介
して伝送／蓄積されてきた入力符号列３２１は、デマル
チプレクサ３１０により符号化予測残差信号（量子化Ｄ
ＣＴ係数情報の可変長符号）３２２と、可変長符号化さ
れた大領域代表動きベクトル３２８および固定長符号化
された小領域動きベクトル３２９に分離される。符号化
予測残差信号３２２は可変長復号化回路３０６、逆量子
化回路３０７および逆ＤＣＴ回路３０８において図１の
可変長符号化回路１０６、量子化回路１０５およびＤＣ
Ｔ回路１０４の処理と逆の処理が施されることにより、
予測残差信号３２４となる。

【００８６】予測残差信号３２４は、加算器３０９で動
き補償適応予測回路３０１からの予測信号３２６と加算
され、再生画像信号３２７が生成される。この再生画像
信号３２７は、動画像復号化装置の外部へ出力されると
ともに、フレームメモリ３０２に記憶される。

【００８７】一方、可変長符号化された大領域代表動き
ベクトル３２８は可変長復号化回路３１１により復号さ
れる。復号された大領域代表動きベクトル３３０は小領
域動きベクトル３２９とともに動き補償適応予測回路３
０１に入力される。動き補償適応予測回路３０１は、フ
レームメモリ３０２から出力される前フレームの再生画
像信号３２５を基に、大領域代表動きベクトル３３０お
よび小領域動きベクトル３２９を用いて動き補償予測を
行い、予測信号３２６を生成して出力する。

【００８８】図９は、図８における動き補償適応予測回
路３０１の構成を示すブロック図であり、コードブック
４１１、加算器４１２および予測部４１３を有する。コ
ードブック４１１は図６におけるコードブック２２７と
同一構成であり、ベクトル量子化された差分動きベクト
ルの候補が複数個のコードベクトルとして格納してい
る。コードブック４１１から小領域動きベクトル３２８
のインデックスに対応するコードベクトルである差分動
きベクトル４２１が出力され、加算器４１２において大
領域代表動きベクトル３２９と加算されることにより小
領域動きベクトル４２２が復号される。予測部４１３
は、図８のフレームメモリ３０２からの前フレームの再
生画像信号３２５を基に、加算器４１２からの小領域動
きベクトル４２２に対応した予測信号３２６を生成して
出力する。

【００８９】次に、本実施形態について補足説明する。
図８の動画像復号化装置においては、入力符号列３２１
に誤りが検出された場合、誤りが混入した符号語の種類
に応じて異なった処理により復号を行う。例えば、符号
化予測残差信号３２２に誤りが検出された場合は、その
ブロックの予測残差信号３２４を“０”とし、正しく復
号されたモード情報、動きベクトルを用いて動き補償適
応予測回路３０１で得られた予測信号３２６を再生画像
信号として用いる。但し、予測残差信号を直交変換シー
ケンシに応じて階層化してある場合には、誤りが混入し
たシーケンシよりも低次のシーケンシのみを用いて逆直
交変換を行い、残差信号として用いてもよい。

【００９０】一方、ベクトル量子化された動きベクトル
である小領域動きベクトル３２９は強い誤り耐性を有す
るため、誤りが混入しても誤り無しと同じ処理を行う。
但し、小領域動きベクトル３２９に非常に多くの誤りが
混入した場合には、大きな画質劣化が生じるのを避ける
ため、誤った小領域動きベクトルは用いずに、当該領域
の代表動きベクトルを用いて復号を行う。モード情報や
代表動きベクトル情報は強い誤り保護を行っているた
め、誤りが混入する可能性は低いが、それでも誤りが混
入した場合には大きな画質劣化が生じる可能性があるた
め、その符号および可変長符号の同期外れ等により誤り
が波及している領域は、前フレームの再生画像信号３２
５をそのまま再生画像信号とする。但し、誤りが混入し
た領域の周囲の領域で正しい動きベクトルが復号できた
場合には、正しく復号できた動きベクトルから誤った領
域の動きベクトルを推定して復号に用いてもよい。

【００９１】差分動きベクトルのベクトル量子化用とし
て用いられるコードブック２２７および４１１について
は、予めＬＢＧアルゴリズム、アニーリング法等を用い
て学習しておくものとする。コードブック学習における
評価基準としては、一般に入力信号（この場合は、差分
動きベクトル）との誤差二乗和等が用いられるが、本実
施形態におけるコードブック２２７，４１１は、動き補
償予測に用いられるものであるため、前述のように動き
補償誤差の二乗和や絶対値和等を評価基準として学習を
行うことが望ましい。

【００９２】また、コードブック学習の際の評価基準を
符号語誤りを考慮したものとして学習を行ってもよい。
この場合、誤りが無い場合のベクトル量子化の性能は低
下するものの、誤り発生時の再生画像の品質を向上させ
ることができる。

【００９３】また、コードブック学習の後に誤り耐性を
考慮したインデックス並び替えを行ったものをコードブ
ックとして用いてもよい。これは、一つのインデックス
符号中に１ビット程度の少ないビット数の誤りが生じた
場合に大きな誤差を生じないように動きベクトルインデ
ックスの符号の各ビットの誤り感度の均等化を図るもの
である。誤りが無い場合の動き補償予測残差に対し誤り
が混入した場合の動き補償予測残差の増加分を評価基準
として、これが最小になるように学習を行う。これは動
きベクトルコードワードとインデックス符号語の全ての
組み合わせのうち、誤りによる誤差増加が最小となるも
のを選択する方法でも可能であるが、コードブックが大
きくなると組み合わせの数が非常に多くなり、学習に伴
う演算処理量が膨大になるため、アニーリング法等を用
いた学習を行ってもよい。また、誤りによる誤差増加分
の計算の際に一つの符号語には１ビットより多くの誤り
は混入しないと仮定して演算量を削減することも可能で
ある。

【００９４】差分動きベクトルについては、いくつかの
小領域をまとめてベクトル量子化してもよい。例えば、
一つの大領域内に含まれる全ての小領域の差分動きベク
トルをまとめてベクトル量子化しても良い。これによ
り、符号化効率をさらに高くすることができる。

【００９５】ベクトル量子化された差分動きベクトルの
符号化の際に、出現頻度の高さに応じてフラグを付加
し、異なる符号化方式を用いるようにしても良い。例え
ば、差分動きベクトルは０の発生頻度が高く、コードブ
ックの中から差分動きベクトルが水平、垂直とも０が選
択される割合が高いため、これとそれ以外を区別するフ
ラグを付け、水平、垂直とも０が選択された場合にはこ
のフラグのみを符号化し、それ以外の場合にはそうでな
いことを示すフラグを付加して、さらに選択された差分
動きベクトルインデックスを符号化するようにしても良
い。このようにすることにより、高い頻度で発生する差
分＝０を短い符号語で表すことができるため符号化効率
が向上する。

【００９６】また、上記の実施形態ではフレーム内予測
モード、前フレームの再生画像信号をそのまま再生画像
信号とするNot Coded モードについては説明を省略した
が、これらのNot Coded モードと動き補償予測モードと
の適応的切り替えを行うことも可能である。このモード
切り替えは小領域単位、大領域単位のいずれの単位で行
っても良いし、これらとは異なる単位で切り替えを行っ
ても良い。小領域単位にモード切り替えを行う場合、そ
の小領域がフレーム内符号化モードやNot Coded モード
になったときには小領域動きベクトルを符号化する必要
がない。また、大領域内の全ての小領域がフレーム内符
号化モードやNot Coded モードになった場合は、大領域
動きベクトルについても符号化する必要がない。大領域
単位にモード切り替えを行う場合、その大領域がフレー
ム内符号化モードやNot Coded モードになったときは、
代表動きベクトル、小領域動きベクトルとも符号化する
必要がない。

【００９７】また、上記の実施形態では動き補償領域を
大領域と小領域に多段階化し、大領域代表動きベクトル
は可変長符号化し、小領域の差分動きベクトルのみをベ
クトル量子化する例を示したが、大領域動きベクトルに
ついてもベクトル量子化を行ってもよいし、第１の実施
形態のように動き補償予測の多段階化を行わずに全ての
動きベクトルをベクトル量子化する方式を含めて、領域
に応じて適応的にベクトル量子化の方式を切り替えても
良い。

【００９８】第１の実施形態のように全ての動きベクト
ルをベクトル量子化した場合は、全ての動きベクトル情
報が固定長符号化可能になるため、誤り耐性をさらに高
くすることができる。この際、１フレーム全体あるいは
ある領域単位で代表ベクトルを最初に符号化し、各領域
の動きベクトルはこれとの差分をとってベクトル量子化
するようにしても良い。これにより動きベクトルを直接
符号化する場合に比べて符号化効率を高めることができ
る。

【００９９】上記の実施形態では、図６のコードブック
２２７から差分動きベクトルを選択する基準として動き
補償予測残差の大きさを用いたが、ブロックマッチング
法等を用いて動きベクトルを求め、これとコードブック
中の動きベクトルの差分の大きさが最小になる動きベク
トルを選択するようにしても良い。

【０１００】さらに、上記実施形態では図７（ａ）に示
したように大領域代表動きベクトルを小領域動きベクト
ルとは別個に求めたが、図７（ｂ）に示すように小領域
動きベクトルのうちの特定の一つを大領域代表動きベク
トルとして代用してもよい。このようにすると、大領域
代表動きベクトルを特別に生成する必要がなく、符号量
がさらに減少すると共に、図６中の第１の予測部２２
１、第１の残差計算部２２２および第１の制御部２２３
が不要となり、構成が簡単となる。

【０１０１】このように本実施形態では、動き補償予測
を例えば大領域と小領域というように多段階化して、最
下位段階での予測残差信号を符号化するとともに、最上
位段階の動き補償予測で用いられた動き情報である大領
域代表動きベクトルについてはそれを可変長符号化し、
また最上位段階以外の一部または全ての段階、例えばの
小領域で動き補償予測においては、その段階で用いるべ
き動き情報の候補とより上位の段階での動き情報の候補
との差分をとり、その差分をベクトル量子化した差分動
きベクトルから選択した一つの差分動き情報と、より上
位の段階で用いた動き情報との和を動き情報として用い
ている。この場合、多段階化された動き補償予測におけ
る動き情報は、一般により上位段階の動き補償予測で用
いられる動き情報と強い相関があるので、より上位段階
の動き情報との差分をとると、０付近にその成分が集中
する。ベクトル量子化は、一般に偏りが大きい信号に対
しては信号をそのまま符号化するよりも高い符号化効率
を得られる性質があるから、このように上位段階の動き
情報との差分をとってベクトル量子化することにより、
さらに高い符号化効率を得ることができる。

【０１０２】すなわち、動き情報は画像によって異なる
ため、前述した第１の実施形態のように差分をとらずに
動き情報をベクトル量子化すると、コードブックに格納
するコードベクトルが多く必要となり、コードブックイ
ンデックスも多く必要となるが、本実施形態のように差
分をとってベクトル量子化すると動き情報を少ないコー
ドベクトルで表現でき、動き情報に必要な符号量がより
少なくなる。

【０１０３】また、動き補償予測が多段階化されている
ため、階層符号化と組み合わせたときに各段階での動き
情報をどの階層に振り分けるかを制御することで各階層
への符号量の振り分けに大きな自由度を持たせることが
できるようになり、伝送路の制約等により各階層で符号
化できる符号量の割合に制約がある場合にも対応できる
ようになる。ベクトル量子化された動き情報は強い誤り
耐性を有するため、下位階層で符号化しても復号化装置
において再生画像に大きな画質劣化を生じにくく、強い
誤り耐性を有することになる。

【０１０４】（第３の実施形態）図１０は、本発明に係
る第３の動画像符号化装置の一実施形態における動き補
償適応予測回路１０１の一構成例を示すブロック図であ
る。なお、第３の動画像符号化装置の全体の構成は、図
１に示した第１の動画像符号化装置と同様である。本実
施形態における動き補償適応予測回路１０１は、入力動
画像信号を画像の内容に応じて複数の領域に分割し、該
領域毎に該領域の分割形状を表わす領域分割形状情報と
該領域の動きベクトルとを組み合わせてベクトル量子化
した動き情報を用いて入力動画像信号を動き補償予測す
ることにより予測信号を生成するものである。

【０１０５】本実施形態における動き補償適応予測回路
１０１では、入力動画像信号１２１を正方形状などの複
数のブロックに分割した後、さらに各ブロックを画像の
内容に応じて複数の領域に分割して動き補償予測が行わ
れる。図１１は、この領域分割の一例を示す図である。
画像中の物体の境界１１に沿うように例えば直線近似の
領域分割線１２を選択し、分割されたそれぞれの領域で
動きベクトル１３を求める。この場合、領域分割形状お
よび分割された各領域の動きベクトル１３は、予めコー
ドブックに格納されたコードベクトルから動き補償残差
が最小になるものを選択する。

【０１０６】図１０に示す動き補償適応予測回路１０１
は、予測部５０１、残差計算部５０２、制御部５０３お
よび第１〜第３のコードブック５１１，５１２，５１３
を有する。第１のコードブック５１１には領域分割形状
の候補が複数個のコードベクトルとして格納され、第２
および第３のコードブック５１２，５１３には分割され
た２つ領域内のそれぞれの動きベクトルの候補が複数個
のコードベクトルとして格納されている。

【０１０７】まず、制御部５０３によりコードブックイ
ンデックス５１４が順次変化され、コードブック５１
１，５１２，５１３からコードブックインデックス５１
４に対応する領域分割形状情報５１５、動きベクトル５
１６および５１７がそれぞれ取り出される。予測部５０
１では、図１のフレームメモリ１０２からの前フレーム
の局部復号画像信号１２５を基にこれに対応する予測信
号１２２が求められる。残差計算部５０２は、入力動画
像信号１２１と予測信号１２２との差分（残差）の大き
さを計算し、その大きさを示す残差レベル信号５１０を
出力する。制御部５０３は、残差レベル信号５１０で与
えられる差分の大きさが最小となるコードブックインデ
ックスを求め、これを固定長符号化して動き情報１２６
として出力するとともに、それに対応する予測信号１２
２を出力する。

【０１０８】次に、本実施形態における動画像復号化装
置について説明する。図１２は、本発明に係る第３の動
画像復号化装置の一実施形態における動き補償適応予測
回路３０１の構成例を示す図であり、図１０に示した動
画像符号化装置内の動き補償適応予測回路１０１に対応
している。なお、第３の動画像復号化装置の全体の構成
は図３に示した第１の動画像復号化装置と同様である。

【０１０９】図１２に示す動き補償適応予測回路３０１
は、第１〜第３のコードブック６０１，６０２，６０３
および予測部６０４を有する。図１０における第１〜第
３のコードブック５１１，５１２，５１３と同様に、第
１のコードブック６０１には領域分割形状の候補が複数
個のコードベクトルとして格納され、第２および第３の
コードブック６０２，６０３には分割された２つの領域
内のそれぞれの動きベクトルの候補が複数個のコードベ
クトルとして格納されている。

【０１１０】コードブック６０１，６０２，６０３から
は、動き情報３２３で示されるコードブックインデック
スに対応する領域分割形状情報６１１および動きベクト
ル６１２，６１３が取り出され、予測部６０４に入力さ
れる。予測部６０４は、図３のフレームメモリ３０２か
らの前フレームの再生画像信号３２５を基に領域分割形
状情報６１１および動きベクトル６１２，６１３に対応
する予測信号３２６を生成する。

【０１１１】このように本実施形態では、動画像信号を
画像の内容に応じて、すなわち画像中の物体に沿って複
数の領域に分割し、その分割した領域毎に、領域分割形
状情報５１５と動きベクトル５１６，５１７を組み合わ
せてベクトル量子化した動き情報を用いて動き補償予測
を行うことにより、動きの異なる物体が接する部分でも
その境界に沿って予測領域を分割して各物体毎に異なる
動き情報を用いて予測を行うことができるようになるた
め、動き補償予測の予測効率が向上し、符号化品質を高
めることができる。

【０１１２】また、このように予測部５０１で領域分割
予測を行う際に、領域分割形状情報５１５と動きベクト
ル情報５１６，５１７を組み合わせてベクトル量子化し
た動き情報を用いて動き補償予測を行うため、領域分割
形状情報を含む動き情報１２６を少ない符号量で効率的
に表すことができ、従来の領域分割動き補償符号化方式
の欠点であった領域分割形状情報による符号量増加の問
題が改善される。

【０１１３】さらに、ベクトル量子化した情報は高い符
号化効率で固定長符号化が可能であるため、従来多く用
いられていた可変長符号化の問題である、誤りが生じた
ときの同期外れによる再生画像の画質劣化を防ぐことが
でき、動画像符号化装置からの出力符号列を誤りが生じ
やすい媒体を介して伝送／蓄積する場合の誤りによる画
質劣化が小さく抑えられる。

【０１１４】（第４の実施形態）本実施形態では、第１
〜第３の実施形態で使用するコードブックの好ましい構
成例について説明する。図１３および図１４は、第１〜
第３の動画像符号化装置における動きベクトルコードブ
ック２０４、２２７、５１１、および第１〜第３の動画
像復号化装置の動きベクトルコードブック４０２、４１
１、６０１に記憶されている動きベクトルの候補のコー
ドベクトルの例を示す図である。

【０１１５】図１３および図１４において、横軸（ＭＶ
ｘ）および縦軸（ＭＶｙ）はそれぞれ動きベクトルの水
平および垂直成分を示し、図中○印で示した点が各動き
ベクトルの候補のコードベクトルである。以下では、動
きべクトルを水平成分ＭＶｘと垂直成分ＭＶｙを組にし
て（ＭＶｘ，ＭＶｙ）のように表記する。

【０１１６】図１３および図１４の例では、動き量の小
さな動きベクトル、すなわち（０，０）に近い動きベク
トルの候補は、多くのコードベクトルが存在する。言い
換えれば、動き量の小さな動きベクトルの候補は、細か
い画素精度で配置される。このため、動き量の小さな動
きベクトルの候補は細かな画素精度で探索が行われ、動
き量の大きな動きべクトル、すなわち（０，０）からよ
り離れた動きベクトルの候補は、動き量の小さな動きベ
クトルの候補より大まかな画素精度で配置されて大まか
な画素精度で探索が行われる。このように小さな動きベ
クトルの候補ほど多くのコードベクトルを配するのは、
一般に小さな動きベクトルは出現頻度が高いために細か
い画素精度で探索した方が動き補償残差信号が減少し、
符号化効率が向上するのに対し、大きな動きベクトルは
出現頻度が低いために動き補償残差信号の減少にはそれ
ほど結びつかず、探索精度をある程度荒くしてコードベ
クトルの数を減らし、動きベクトル情報に係わる符号量
を減らした方が符号化効率の向上に結びつくためであ
る。例えば、図１３および図１４の例では、それぞれ−
Ｒｈ≦ＭＶｘ≦Ｒｈ，−Ｒｈ≦ＭＶｙ≦Ｒｈおよび−Ｒ
ｈ≦ＭＶｘ＋ＭＶｙ≦Ｒｈの範囲では１／２画素精度で
動きベクトル探索を行い、それ以外の範囲では整数画素
精度で動きベクトル探索を行う。

【０１１７】図１３および図１４の例では、動きベクト
ルコードはある規則に基づいて配されており、動きベク
トルとコードブックインデックスの対応を計算により求
めることも可能である。以下、コードブックインデック
ス割り振りの計算法を説明する。

【０１１８】コードブックインデックスは、動きベクト
ルの探索候補に対して（０，０）から大きな動きベクト
ルへと順に螺旋状に割り振る。図１３の例では、コード
ブックインデックスｉは以下のように計算する。

【０１１９】ＭＶｘ＝ＭＶｙ＝０のときｉ＝０（１）ＭＶｙ＝ｒ，−ｒ＜ＭＶｘ≦ｒ，ｒ≦Ｒｈのときｉ＝２ｒ−２ｘ＋Ｓｈ（ｒ）（２）ＭＶｘ＝−ｒ，−ｒ＜ＭＶｙ≦ｒ，ｒ≦Ｒｈのときｉ＝６ｒ−２ｙ＋Ｓｈ（ｒ）（３）ＭＶｙ＝−ｒ，−ｒ≦ＭＶｘ＜ｒ，ｒ≦Ｒｈのときｉ＝１０ｒ＋２ｘ＋Ｓｈ（ｒ）（４）ＭＶｘ＝ｒ，−ｒ≦ＭＶｙ＜ｒ，ｒ≦Ｒｈのときｉ＝１４ｒ＋２ｙ＋Ｓｈ（ｒ）（５）ＭＶｙ＝ｒ，−ｒ＜ＭＶｘ≦ｒ，ｒ＞Ｒｈのときｉ＝ｒ−ｘ＋Ｓｉ（ｒ）（６）ＭＶｘ＝−ｒ，−ｒ＜ＭＶｙ≦ｒ，ｒ＞Ｒｈのときｉ＝３ｒ−ｙ＋Ｓｉ（ｒ）（７）ＭＶｙ＝−ｒ，−ｒ≦ＭＶｘ＜ｒ，ｒ＞Ｒｈのときｉ＝５ｒ＋ｘ＋Ｓｉ（ｒ）（８）Ｍｘ＝ｒ，−ｒ≦ＭＶｙ＜ｒ，ｒ＞Ｒｈのときｉ＝７ｒ＋ｙ＋Ｓｉ（ｒ）（９）ここで、Ｓｈ（ｒ），Ｓｉ（ｒ）は次式の通りである。

【０１２０】

【数１】

【０１２１】一方、図１４の例ではコードブックインデ
ックスは以下のように計算する。

【０１２２】ＭＶｘ＝ＭＶｙ＝０のときｉ＝０（１２）ＭＶｘ＋ＭＶｙ＝ｒ，０＜ＭＶ≦ｒ，０≦ＭＶｙ＜，ｒ
≦Ｒｈのときｉ＝２ｙ＋Ｓｈ（ｒ）（１３）ＭＶｘ＋ＭＶｙ＝ｒ，−ｒ＜ＭＶｘ≦０，０＜ＭＶｙ≦
ｒ，ｒ≦Ｒｈのときｉ＝２ｒ−２ｘ＋Ｓｈ（ｒ）（１４）ＭＶｘ＋ＭＶｙ＝ｒ，−ｒ≦ＭＶｘ＜０，−ｒ＜ＭＶｙ
≦０，ｒ≦Ｒｈのときｉ＝４ｒ−２ｙ＋Ｓｈ（ｒ）（１５）ＭＶｘ＋ΜＶｙ＝ｒ，０≦ＭＶｘ＜ｒ，−ｒ≦ＭＶｙ＜
０，ｒ≦Ｒｈのときｉ＝６ｒ十２ｘ＋Ｓｈ（ｒ）（１６）ＭＶｘ＋ＭＶｙ＝ｒ，０＜ＭＶｘ≦ｒ，０≦ＭＶｙ＜
ｒ，ｒ＞Ｒｈのときｉ＝ｙ＋Ｓｉ（ｒ）（１７）ＭＶｘ＋ＭＶｙ＝ｒ，−ｒ＜ＭＶｘ≦０，０＜ＭＶｙ≦
ｒ，ｒ＞Ｒｈのときｉ＝ｒ−ｘ＋Ｓｉ（ｒ）（１８）ＭＶｘ＋ＭＶｙ＝ｒ，−ｒ≦ＭＶｘ＜０，−ｒ＜ＭＶｙ
≦０，ｒ＞Ｒｈのときｉ＝２ｒ−ｙ＋Ｓｉ（ｒ）（１９） ΜＶｘ＋ＭＶｙ＝ｒ，０≦ＭＶｘ＜ｒ，−ｒ≦ＭＶｙ＜
０，ｒ＞Ｒｈのときｉ＝３ｒ＋ｘ＋Ｓｉ（ｒ）（２０）ここで、Ｓｈ（ｒ），Ｓｉ（ｒ）は次式の通りである。

【０１２３】

【数２】

【０１２４】符号化および復号化に際して、動きベクト
ルとコードブックインデックスの対応を以上のように計
算で求めることにより、コードブックをテーブルとして
予め用意しておく必要は無くなり、コードブック格納に
伴う記憶容量を無くすことができる。

【０１２５】（第５の実施形態）図１５は、本発明に係
る第１の動画像符号化装置の他の実施形態における動き
補償適応予測回路１０１の一構成例を示すブロック図で
ある。なお、本実施形態に係る動画像符号化装置の全体
の構成は、図１に示した第１の動画像符号化装置と同様
である。本実施形態における動き補償適応予測回路１０
１は、入力動画像信号の動き補償予測を大領域とそれを
細分化した小領域の２段階に分けて行い、小領域の一部
はさらに領域分割して動き補償予測を行う。すなわち、
本実施形態は第２の動画像符号化装置における動き補償
予測に、第３の動画像符号化装置における動き補償予測
を組み合わせたものである。

【０１２６】図１５に示す動き補償適応予測回路１０１
は、第１の予測部７３１、第１の残差計算部７３２およ
び第１の制御部７３３と、第２の予測部７０１、第２の
残差計算部７０２、第２の制御部７０３、第１〜第４の
コードブック７１１，７１２，７１３，７１４および加
算器７１８，７１９，７２０と、可変長符号化回路７３
４を有する。第１の予測部７３１、第１の残差計算部７
３２および第１の制御部７３３は、大領域代表動きベク
トルを用いて動き補償予測を行うために設けられてい
る。

【０１２７】一方、第２の予測部７０１、第２の残差計
算部７０２、第２の制御部７０３、コードブック７１
１，７１２，７１３，７１４および加算器７１８，７１
９，７２０は、大領域代表動きベクトルと小領域動きベ
クトルとの差分動きベクトルをベクトル量子化した動き
ベクトルを用いて動き補償予測を行うために設けられて
おり、第１のコードブック７１１には領域分割しない動
き補償予測で用いる小領域動きベクトルの候補が複数個
のコードベクトルとして格納され、第２のコードブック
７１２には領域分割形状情報の候補が複数個のコードベ
クトルとして格納され、第３および第４のコードブック
７１３，７１４には大領域代表動きベクトルと小領域動
きベクトルとの差分動きベクトルの候補が複数個のコー
ドベクトルとして格納されている。

【０１２８】図１６は、本実施形態における動き補償予
測動作を説明するための図である。まず、フレーム内を
太い実線で示す大領域に分割し、この領域内の大領域代
表動きベクトル（図示しない）をブロックマッチング法
等を用いて求める。具体的には、第１の制御部７３３に
より一定の範囲内（例えば水平および垂直方向それぞれ
±１５画素の範囲）で水平および垂直方向にそれぞれ例
えば１画素ずつずらせた第１の動きベクトル７４１を順
次発生させ、第１の予測部７３１において図１のフレー
ムメモリ１０２からの前フレームの局部復号画像信号１
２５を基に、第１の動きベクトル７４１に対応した第１
の予測信号７４２を発生させ、さらに第１の残差計算部
７３２において大領域内の入力画像信号１２１と第１の
予測信号７４１との差分（残差）の大きさを計算して、
その大きさを示す残差レベル信号７４３を発生する。残
差の大きさの評価基準は、例えば残差の絶対値和や二乗
和でもよいし、例えば低域成分を重み付けした二乗誤差
和でもよい。

【０１２９】第１の制御部７３３は、残差レベル信号７
４３で与えられる残差の大きさが最小となる大領域代表
動きベクトル７４５を求めて出力する。この大領域代表
動きベクトル７４５は、可変長符号化回路７３４におい
て隣接する大領域代表動きベクトルとの差分がとられて
可変長符号化される。

【０１３０】次に、大領域を細分化した図１６中の細い
実線で示す小領域について動き補償予測を行う。ここで
は、小領域内を領域分割しない場合と領域分割する場合
の２通りについてベクトル量子化によって動きベクトル
の探索を行い、残差が小さくなる方を選択する。

【０１３１】領域分割をしない動き補償予測で用いる動
きベクトルの候補であるコードベクトルは、先に求めた
大領域代表動きベクトル７４５のコードベクトルとの差
分として第１のコードブック７１１に格納されている。
そして、第２の制御部７０３から第２の予測部７０１に
領域分割をしない動き補償予測であることを示すフラグ
７２５を出力するとともに、コードブックインデックス
７１５を順次変化させることによりコードブック７１１
からこれに対応する差分動きベクトルを取り出し、加算
器７１８で大領域代表動きベクトル７４５と加算するこ
とによって、小領域動きベクトル候補７２１を求める。

【０１３２】第２の予測部７０１では、図１のフレーム
メモリ１０２からの前フレームの局部復号画像信号１２
５を基に小領域動きベクトル候補７２１に対応する予測
信号１２２が求められ、第２の残差計算部７０２では入
力動画像信号１２１と予測信号１２２との差分（残差）
の大きさが求められ、残差の大きさを示す残差レベル信
号７１０が出力される。第２の制御部７０３では、この
残差レベル信号７１０で与えられる残差の大きさが最小
となるコードブックインデックスを求める。

【０１３３】一方、第２のコードブック７１２には領域
分割動き補償における領域分割形状の候補が複数個のコ
ードベクトルとして格納されており、さらに第３および
第４のコードブック７１３，７１４には分割された２つ
の領域それぞれの動きベクトルの候補である複数個のコ
ードベクトルが大領域代表動きベクトル７４５との差分
として格納されている。そして、第２の制御部７０３か
ら第２の予測部７０１に領域分割動き補償予測であるこ
とを示すフラグ７２５を出力するとともに、コードブッ
クインデックス７１６を順次変化させることによって、
第２〜第４のコードブック７１２〜７１４からコードブ
ックインデックス７１６に対応する領域分割形状情報７
２２および差分動きベクトルを取り出す。コードブック
７１３，７１４から取り出された差分動きベクトルは、
第１および第２の加算器７１９，７２０で大領域代表動
きベクトル７４５と加算されることにより、動きベクト
ル候補７２３，７２４が求められる。これらの動きベク
トル候補７２３，７２４は、領域分割形状情報７２１と
共に第２の予測部７０１に入力され、これに対応する予
測信号１２２が求められる。第２の残差計算部７０２で
は、入力動画像信号１２１と予測信号１２２との差分
（残差）の大きさが計算され、その大きさを示す残差レ
ベル信号７１０で与えられる残差の大きさが最小となる
コードブックインデックスが第２の制御部７０３で求め
られる。

【０１３４】第２の制御部７０３では、このようにして
求められた領域分割有り／無しそれぞれの動き補償予測
のうち、動き補償予測残差が最小となる方を選択し、そ
の選択情報と対応するコードブックインデックスを出力
する。これらの選択情報とコードブックインデックス
は、可変長符号化回路７３４で可変長符号化された大領
域代表動きベクトルと共に動き情報１２６として出力さ
れる。

【０１３５】次に、本実施形態における動画像復号化装
置について説明する。図１７は、本発明に係る第１の動
画像復号化装置の他の実施形態における動き補償適応予
測回路３０１の構成例を示す図であり、図１５に示した
動画像符号化装置内の動き補償適応予測回路１０１に対
応している。なお、本実施形態に係る動画像復号化装置
の全体の構成は図３に示した動画像復号化装置と同様で
ある。

【０１３６】図１７に示す動き補償適応予測回路３０１
は、予測部８００、第１〜第４のコードブック８１１，
８１２，８１３，８１４、復号化回路８２５および可変
長復号化回路８２７を有する。図１５における第１〜第
４のコードブック７１１，７１２，７１３，７１４と同
様に、第１のコードブック８１１には領域分割しない動
き補償予測で用いる小領域動きベクトルの候補が複数個
のコードベクトルとして格納され、第２のコードブック
８１２には領域分割形状情報の候補が複数個のコードベ
クトルとして格納され、第３および第４のコードブック
８１３，８１４には大領域代表動きベクトルと小領域動
きベクトルとの差分動きベクトルの候補が複数個のコー
ドベクトルとして格納されている。

【０１３７】動き情報３２３から可変長符号化回路８２
７で大領域代表動きベクトル８２８が復号され、また復
号化回路８２５で小領域動き補償予測が領域分割／非領
域分割のいずれで行われたかを示すフラグ８２６とコー
ドブックインデックス８１５，８１６が復号される。

【０１３８】まず、領域分割しない動き補償予測が行わ
れた小領域では、第１のコードブック８１１からコード
ブックインデックス８１５に対応する差分動きベクトル
が出力され、第１の加算器８１８で大領域代表動きベク
トル８２８と加算されることにより、小領域動きベクト
ル８２１が復号され、さらに予測部８００でこれに対応
した予測信号３２６が作成される。

【０１３９】領域分割した動き補償予測が行われた小領
域では、コードブックインデックス８１６に対応して、
第２のコードブック８１２から領域形状情報８２２が取
り出され、予測部８００に入力されると共に、第３およ
び第４のコードブック８１３および８１４から分割され
たそれぞれの領域の差分動きベクトルが取り出され、第
２および第３の加算器８１９，８２０で大領域代表動き
ベクトル８２８と加算されることにより、小領域動きベ
クトル８２３，８２４が復号され、予測器８００に入力
される。予測器８００では、領域分割形状情報８２２お
よび２つの小領域動きベクトル８２３，８２４に従って
予測信号３２６を作成して出力する。

【０１４０】なお、符号化された動画像符号列を伝送／
蓄積する媒体に誤りが混入する場合には、これによる再
生画像の劣化を押さえるため、誤りによる復号画像の品
質劣化の大きさに応じた重要度に対応して階層化し、異
なる誤り保護を行ったり、誤り率が異なる媒体を介して
伝送／蓄積を行うようにしても良い。

【０１４１】例えば、図１のマルチプレクサ１１０で
は、誤りの影響が最も大きい符号化モード、量子化ステ
ップサイズ等を最も上位の階層とし、次の階層はフレー
ム内符号化の低域成分とする。図１５に示した動き補償
適応予測回路１０１のように動き補償予測を段階的に行
う場合には、代表動きベクトルは広い領域に誤りの影響
が及ぶため、次に上位の階層とする。ベクトル量子化さ
れた動き情報はインデックスを固定長符号化しており、
誤り耐性が強いため、それほど強い誤り保護を行う必要
はない。誤りにより失われても画質劣化が少ない残差信
号やフレーム内符号化の高域成分は最下位階層とする。
この階層は誤り検出を行うＣＲＣ等の誤り検出符号やパ
リティチェックビットを付加するだけでもよい。また、
この階層内で比較的重要な低域成分とあまり重要でない
高域成分というように直交変換のシーケンシに応じてさ
らに複数に階層化を行ってもよい。

【０１４２】なお、誤り率の異なる伝送／蓄積媒体の種
類が２階層、３階層というように予め定められている場
合や、各階層の符号量の全符号量に対する割合が一定の
範囲に制約されている場合や、ハードウェアの制約など
によりあまり多くの種類の誤り訂正・検出符号を用いら
れない場合には、どの種類の符号語をどの階層で符号化
するかを適応的に切り替えればよい。例えば、階層数が
２階層で、上位階層符号量の割合に制約がある場合に
は、最も重要なモード情報、フレーム内符号化の低域成
分、および代表動きベクトルは上位階層で符号化し、ベ
クトル量子化した動き情報、フレーム内符号化の高域成
分、残差信号は上位階層符号量に余裕がある場合には上
位階層で符号化し、余裕がない場合には下位階層で符号
化するように制御を行う。その際、動き情報が重要度が
高いので優先的に上位階層で符号化されるようにする。

【０１４３】図２に示した動画像復号化装置において、
入力符号列３２１に誤りが検出された場合は、誤りが混
入した符号語の種類に応じて異なった処理により復号を
行うことが望ましい。予測残差信号に誤りが検出された
場合は、そのブロックの残差信号は０とし、正しく復号
されたモード情報、動き情報を用いた動き補償予測信号
を再生画像として用いる。但し、予測残差信号を直交変
換シーケンシに応じて階層化してある場合には、誤りが
混入したシーケンシよりも低次のシーケンスのみを用い
て逆直交変換を行い残差信号として用いてもよい。ベク
トル量子化された動き情報は強い誤り耐性を有するた
め、誤りが混入しても誤り無しと同じ処理を行う。但
し、非常に多くの誤りが混入した場合には大きな画質劣
化が生じるのを避けるため、誤った動き情報は用いず、
動き補償を段階化している場合には当該領域の代表動き
ベクトルを用い、そうでない場合は周辺領域の正しく復
号された動き情報から該領域の動き情報を推定して復号
を行う。モード情報や代表動きベクトル情報は強い誤り
保護を行っているため誤りが混入する可能性は低いが、
それでも誤りが混入した場合には大きな画像劣化が生じ
る可能性があるため、その符号および可変長符号の同期
はずれ等により誤りが波及している領域は、前フレーム
の局部復号画像をそのまま復号画像とする。但し、誤り
が混入した領域の周囲の領域で正しい動きベクトルが復
号できた場合には、正しく復号できた動きベクトルから
誤った領域の動きベクトルを推定して復号に用いてもよ
い。

【０１４４】動き情報は、いくつかの領域の動きベクト
ルをまとめてベクトル量子化してもよい。例えば、動き
補償予測を多段階化した場合には、一つの大領域内に含
まれる全ての小領域の動き情報をまとめてベクトル量子
化してもよい。これにより符号化効率を高くすることが
できる。

【０１４５】第３および第５の実施形態では、ベクトル
量子化された動き情報を固定長符号化する例を示した
が、可変長符号化してもよい。これにより誤り耐性は低
下するものの、符号化効率を高くすることができる。

【０１４６】また、第３および第５の実施形態では動き
補償予測だけでなくフレーム内予測モード、前フレーム
の局部復号画像をそのまま再生画像とするNot Coded モ
ードについては省略したが、これらのモードとの適応的
切り替えも可能である。動き補償を段階化する場合、こ
の切り替えは小領域単位に行っても良いし大領域単位に
行っても良いし、これらの領域単位とは異なる単位で切
り替えを行っても良い。小領域単位に切り替えを行う場
合には、その小領域がフレーム内符号化モードやNot Co
ded モードになった場合は、小領域動き情報は符号化す
る必要がない。また、大領域内の全ての小領域がフレー
ム内符号化モードやNot Coded モードになった場合は、
大領域代表動きベクトルも符号化する必要がない。大領
域単位に切り替えを行う場合にはその大領域がフレーム
内符号化モードやNot Coded モードになった場合は、大
領域代表動きベクトル、小領域動き情報とも符号化する
必要がない。

【０１４７】（第６の実施形態）図１８は、本発明に係
る第４の動画像符号化装置の一実施形態を示すブロック
図である。図１と同一部分に同一符号を付して第１の実
施形態との相違点を中心に説明すると、本実施形態では
動き補償適応予測回路１０１から出力される動きベクト
ル情報１２６が動きベクトル符号化回路１３１で符号化
され、符号化動きベクトル情報１３６がマルチプレクサ
１１０に入力される点が第１の実施形態と異なってい
る。

【０１４８】次に、本実施形態の特徴部分である動き補
償適応予測回路１０１および動きベクトル符号化回路１
３１について説明する。

【０１４９】図１９は、動き補償適応予測回路１０１に
おいて探索する動きベクトルの候補の例を示す図であ
る。同図において、横軸（ＭＶｘ）および縦軸（ＭＶ
ｙ）はそれぞれ動きべクトルの水平および垂直成分を示
す。図中○印で示した点が動きベクトルの探索候補であ
る。図１９の例では、動きベクトル候補は水平、垂直方
向とも１／２画素精度で配されている。これらの探索候
補の中から、動き補償予測残差信号が最小となる動きベ
クトルを探索する。以下では、動きベクトルを水平成分
ＭＶｘと垂直成分ＭＶｙを組にして（ＭＶｘ，ＭＶｙ）
のように表記する。

【０１５０】このようにして動き補償適応予測回路１０
１で求められた動きベクトル情報１２６は、動きベクト
ル符号化回路１３１で符号化され、符号化動きベクトル
情報１３６となる。ここで、符号化動きベクトル情報１
３６を構成する符号語は、動きベクトル情報１２６で示
される動きベクトル間のユークリッド距離とこれに対応
する符号語間のハミング距離に相関のある符号語とする
ことが特徴である。言い換えれば、動きベクトル対の間
のユークリッド距離が小さいほど、その動きベクトル対
に対応した符号語のハミング距離が小さくなるように符
号化動きベクトル情報１３６の符号語を決定する。

【０１５１】これを具体的に実現するために、動きベク
トル符号化回路１３１は入力される動きベクトル情報１
２６に対してその動きベクトルを指し示すインデックス
情報（以下、動きベクトルインデックスという）を生成
するインデックス生成部と、この動きベクトルインデッ
クスを例えばグレイ符号に変換する符号変換部により構
成される。この場合、動きべクトルの探索候補に対し
て、（０，０）からより大きな動きベクトルへと順に螺
旋状に動きベクトルインデックスを割り振る。図１９の
○印で示される動きベクトル探索候補に対しては、動き
ベクトルインデックスｉは以下のように計算する。

【０１５２】Ｗｘ＝ＭＶｙ＝０のときｉ＝０（２３）ＭＶｙ＝ｒ，−ｒ＜ＭＶｘ≦ｒのときｉ＝２ｒ−２ｘ＋Ｓ（ｒ）（２４）ＭＶｘ＝−ｒ，−ｒ＜ＭＶｙ≦ｒのときｉ＝６ｒ−２ｙ＋Ｓ（ｒ）（２５）ＭＶｙ＝−ｒ，−ｒ≦ＭＶｘ＜ｒのときｉ＝１０ｒ＋２ｘ＋Ｓ（ｒ）（２６）ＭＶｘ＝ｒ，−ｒ≦ＭＶｙ＜ｒのときｉ＝１４ｒ＋２ｙ＋Ｓ（ｒ）（２７）ここで、Ｓ（ｒ）は次式の通りである。

【０１５３】

【数３】

【０１５４】動きベクトル符号化回路１３１では、この
ようにして計算により生成された動きベクトルインデッ
クスについて、インデックスが近い符号語間のハミング
距離が近くなるような符号語を用いて符号変換を行う。
これには例えばグレイ符号を用いればよい。グレイ符号
は例えば文献２：奥村靖彦著、“Ｃ言語によるアルゴリ
ズム辞典”、３５８〜３６０頁に記述されているような
方法で生成することができる。動きベクトルの候補につ
いては、図１３および図１４に示したように、動き量の
小さな動きベクトルの候補は細かい画素精度で配置さ
れ、動き量の大きな動きべクトル候補は大まかな画素精
度で配置されるようにして、動き量の小さな動きベクト
ルほど細かな画素精度で探索され、動き量の大きな動き
ベクトルの大まかな画素精度で探索されるようにしても
よい。

【０１５５】以上のようにして動きベクトル情報符号化
回路１３１で動きベクトル情報を符号化することによ
り、従来に比べて高い誤り耐性を有することができる。
すなわち、本実施形態で動きベクトルインデックスの符
号化に用いるグレイ符号は、符号語長をＮ（ビット）と
したとき、１ビット誤りが生じたときの復号値と真の値
との差分がＮ以下になるという性質を持っている。この
ため、１符号語当たり１ビット以下の誤りならば、通常
のバイナリ符号からなる動きベクトルインデックスをそ
のまま動きベクトル情報の符号語として用いる場合よ
り、大きな誤りが発生する確率が減少する。因みに、通
常のバイナリ符号では、符号長を上記と同様にＮ（ビッ
ト）としたとき、１ビット誤りが生じたときの復号値と
真の値との差分は最大で２^N-1にもなるので、大きな誤
りが発生しやすい。

【０１５６】また、動きベクトルインデックスは前述の
ように動きベクトル（０，０）から大きな動きベクトル
へと順に付されているため、正しいインデックスと誤っ
たインデックスとの差分が小さければ、動きベクトルは
大きくは誤らない。

【０１５７】従って、通常の通信路や蓄積媒体で生じる
１符号語当たり１ビット以下程度の誤りに対しては、従
来に比べ動きベクトルに大きな誤りが生じる確率が減少
し、再生画像の誤り耐性が向上する。

【０１５８】図２０は、図１８の動画像符号化装置に対
応する第４の動画像復号化装置の構成を示すブロック図
である。図２０おいて、図１８の動画像符号化装置から
送出される出力符号列１２７が伝送／蓄積媒体を介して
伝送／蓄積されてきた入力符号化列３２１は、デマルチ
プレクサ３１０により符号化予測残差信号（量子化ＤＣ
Ｔ係数情報の可変長符号）３２２と符号化動きベクトル
情報３３５とに分離される。符号化予測残差信号３２２
は可変長復号化回路３０６、逆量子化回路３０７および
逆ＤＣＴ回路３０８において図１８の可変長符号化回路
１０６、量子化回路１０５およびＤＣＴ回路１０４の処
理と逆の処理が施されることにより、予測信号３２４と
なる。予測算差信号３２４は加算器３０９で動き補償適
応予測回路３０１からの予測信号３２６と加算され再生
画像信号３２７が生成される。この再生画像信号３２７
は動画像復号化装置の外部へ出力されると共に、フレー
ムメモリ３０２に記録される。

【０１５９】一方、符号化動きベクトル情報３３５は動
きベクトル復号化回路３３１に入力され、動きベクトル
符号化回路１３１と逆の処理により動きベクトル情報が
復号される。復号された動きベクトル情報３２３は、動
き補償適応予測回路３０１に入力される。動き補償適応
予測回路３０１は、フレームメモリ３０２から出力され
る既符号化フレームの再生画像３２５を基に、動きベク
トル情報３２３を用いて動き補償予測を行い、予測信号
３２６を出力する。

【０１６０】（第７の実施形態）図２１は、本発明に係
る第５の動画像符号化装置の一実施形態を示すブロック
図である。図１８と相対応する部分に同一の符号を付し
て第６の実施形態との相違点を中心に説明すると、本実
施形態は動き補償適応予測回路１０１および動きベクト
ル符号化回路１３１の構成が第６の実施形態と異なって
いる。また、もう一つの可変長符号化回路１１１が追加
されている。

【０１６１】本実施形態における動き補償適応予測回路
１０１では、動きベクトルを大領域での動きを表す大領
域代表動きベクトルと、大領域を細分化して小領域での
動きを表す小領域動きベクトルとの２段階に分けて探索
する。大領域代表動きベクトルについては、例えばブロ
ックマッチング法などの従来一般に用いられている手法
により探索を行い、得られた動きベクトル情報を可変長
符号回路１１１で可変長符号化する。一方、小領域動き
ベクトルについては、大領域代表動きベクトルを中心と
して探索を行い、大領域代表動きベクトルと小領域動き
ベクトルとの差分ベクトルを差分動きベクトル符号化回
路１３１で符号化する。

【０１６２】図２２は、本実施形態における１フレーム
内の動き補償予測動作を説明するための図である。ま
ず、フレーム内を太い実線で示す大領域に分割し、実線
の矢印で示す大領域代表動きベクトルをブロックマッチ
ング法等により求める。次に、大領域を細分化した図２
２の破線で示す小領域の破線の矢印で示す小領域動きベ
クトルを大領域の代表動きベクトルとの差分として求め
る。

【０１６３】差分動きベクトルの探索候補は、例えば図
１３や図１４に示すものとすればよい。すなわち、大領
域代表動きベクトルと、図１３や図１４に例示するよう
な差分動きベクトルを加算したものを当該小領域の動き
ベクトルの探索候補とし、この中から動き補償予測残差
が最小となるものを探索する。

【０１６４】このように多段階で動き補償予測を行う理
由は、大領域動きベクトルと小領域動きベクトルとの差
分動きベクトルは、差分を取らない動きベクトルと比べ
一般に差分＝（０，０）付近に高い確率で分布するた
め、差分を取らない場合に比べて少ない動きベクトル探
索候補でも同等の動き補償予測精度を得ることができ、
符号化効率が向上するためである。また、図１３および
図１４に示すように探索精度を可変とし、差分＝（０，
０）付近を細かい精度で探索し、差分が大きな部分につ
いては大まかな精度で探索することにより符号化効率が
さらに向上する。また、大領域代表動きベクトルのみを
強く誤り保護すれば、差分ベクトル情報に誤りが混入し
た場合でも、復号装置では大領域代表動きベクトルを用
いて大まかな精度で動き補償予測を行うことができるた
め、誤り耐性が向上する。

【０１６５】動きベクトル符号回路１３１における差分
動きベクトル１２９の符号化は、差分動きベクトル間の
ユークリッド距離が近いほど符号語のハミング距離が近
くなるような符号語を用いて行う。これは、例えば前述
の第１の実施形態における動きベクトル符号化回路１３
１と同様に、差分動きベクトルに対して差分＝（０，
０）から大きな差分動きベクトルへと順に周回状にイン
デックスを割り振り、このインデックスをグレイ符号を
用いて符号化すればよい。図１３および図１４の差分動
きベクトルの探索候補の例では、インデックスの計算は
式（１）〜式（１１）および式（１２）〜式（２２）に
より行えばよい。

【０１６６】図２１における可変長符号化回路１０６か
ら出力される符号化予測残差信号１２４と、可変長符号
化回路１１１から出力される符号化された大領域動きベ
クトル１３０および動きベクトル符号化回路１３１から
出力される符号化された差分動きベクトル情報１３６
は、マルチプレクサ１１０により多重化され、出力符号
列１２７として図示しない伝送路／蓄積媒体へ送出され
る。

【０１６７】マルチプレクサ１１０では、伝送／蓄積に
おける誤りによる復号画像の品質劣化の大きさに応じた
重要度に対応して階層化し、強さの異なる誤り保護を行
う。誤り保護の強さを変える方法としては、例えば各階
層毎に異なる誤り訂正／検出符号を用い、重要度の高い
上位の階層ほど強い誤り訂正／検出能力をもつ符号を用
いて強い保護をかければよい。また、誤り率が異なる複
数の伝送路／蓄積媒体を介して伝送／蓄積を行うことが
可能な場合には、重要度の高い上位の階層はより誤り率
の低い伝送路／蓄積媒体を介して伝送／蓄積を行い、上
位階層符号列には誤りが生じにくいようにする。階層の
切り分け以下のように行う。

【０１６８】まず、誤りの影響が最も大きい符号化モー
ド情報等については、最も上位の階層とする。

【０１６９】大領域代表動きベクトルは、広い領域に誤
りの影響が及ぶため、次に上位の階層とする。特に、可
変長符号化回路１１１で大領域代表動きベクトル１２８
を隣接する大領域代表ベクトルとの差分をとって可変長
符号化する場合には、可変長符号の同期外れにより画面
全体に誤りが波及する可能性があるため、強い誤り保護
を行うことが望ましい。

【０１７０】符号化された小領域差分動きベクトル情報
１３６は、前述のようにユークリッド距離の近い差分動
きベクトルほど符号語のハミング距離が近くなるように
符号語が割り当てられている。このため、可変長符号化
する大領域代表動きベクトルに比べ誤り耐性が強い。従
って、小領域差分動きベクトル情報は大領域代表動きベ
クトルに比べ下位の階層に割り当てるものとする。

【０１７１】誤りにより失われても画質劣化が少ない残
差信号は、最下位階層とする。この階層は、誤り検出を
行うＣＲＣ等の誤り検出符号やパリティチェックビット
を付加するだけでもよい。また、この階層内で比較的視
覚上重要な低域成分とあまり重要でない高域成分という
ように、直交変換のシーケンシに応じてさらに複数に階
層化を行ってもよい。

【０１７２】なお、誤り率の異なる伝送／蓄積媒体の種
類が２階層、３階層というように予め定められている場
合や、各階層の符号量の全符号量に対する割合が一定の
範囲に制約されている場合や、ハードウエアの制約など
によりあまり多くの種類の誤り訂正・検出符号を用いら
れない場合には、どの種類の符号語をどの階層で符号化
するかを適応的に切り替えればよい。例えば、階層数が
２階層に限定され、上位階層符号量に制約がある場合に
は、最も重要なモード情報および大領域代表動きベクト
ルは上位階層で符号化し、小領域差分動きベクトル情報
や残差信号は上位階層符号量に余裕がある場合には上位
階層で符号化し、余裕がない場合には下位階層で符号化
するように制御を行う。その際、小領域差分動きベクト
ルの方が重要度が高いので優先的に上位位層に割り当て
る。また、図２２の例では１つの大領域を４つの小領域
に細分化する例を示したが、大領域の大きさと小領域へ
の細分化の割合を制御することによりさらに細かな制御
が可能である。

【０１７３】次に、本実施形態における復号化装置につ
いて説明する。図２３は、図２１に示した第５の動画像
符号化装置に対応する第５の動画像復号化装置の構成を
示すブロック図である。図２０に示した第４の動画像復
号化装置と相対応する部分に同一符号を付して第６の実
施形態との相違点を中心に説明すると、本実施形態は動
き適応予測回路３０１および動きベクトル復号化回路３
３１の構成が第６の実施形態と異なっている。また、も
う一つの可変長復号化回路３１１が追加されている。さ
らに、デマルチプレクサ３１０は入力符号列３２１を符
号化予測残差信号（量子化ＤＣＴ係数情報の可変長符
号）３２２、可変長符号化された第領域代表動きベクト
ル３２８および符号化された小領域差分動きベクトル３
３６の３種類の符号に分離する。

【０１７４】可変長符号化された大領域代表動きベクト
ル３２８は、可変長復号化回路３１１により復号され
る。また、符号化された小領域差分動きベクトル３３６
は、差分動きベクトル復号化回路３３１により復号化さ
れる。復号化された大領域代表動きベクトル３３０およ
び小領域差分動きベクトル３２９は、動き補償適応予測
回路３０１に入力される。動き補償適応予測回路３０１
では、大領域代表動きベクトル３３０と小領域差分動き
ベクトル３２９を加算して小領域動きベクトルを求め、
フレームメモリ３０２から出力される既符号化フレーム
の再生画像信号３２５に基づいて動き補償予測を行い、
予測信号３２６を生成して出力する。

【０１７５】次に、本実施形態について補足説明する。
図２１の動画像復号化装置においては、入力符号列３２
１に誤りが検出された場合、誤りが混入した符号語の種
類に応じて異なった処理により復号を行う。例えば、符
号化予測残差信号３２２に誤りが検出された場合は、そ
のブロックの残差信号３２４を“０”とし、正しく復号
されたモード情報、動きベクトルを用いて動き補償予測
回路３０１で得られた予測信号３２６を再生画像信号と
して用いる。ただし、予測残差信号を直交変換シーケン
シに応じて階層化してある場合には、誤りが混入したシ
ーケンシよりも低次のシーケンシのみを用いて逆直交変
換を行い、予測残差信号として用いてもよい。また、フ
レーム内予測モードが選択された領域においては、残差
信号を全て“０”として再生画像を作成すると大きな符
号化歪みを生じるため、正しく復号された低域成分のみ
を用いて再生画像を復号するか、周囲の正しく復号され
た動きベクトル情報に基づいて当該領域の動きベクトル
を推定して動き補償予測を行いその予測信号を再生画像
とするか、前フレームの再生画像をそのまま再生画像と
して用いるか、周囲の正しく復号された再生画像に基づ
いて補間予測を行って再生画像を作成する。

【０１７６】一方、小領域差分動きベクトル情報は強い
誤りを有するため、少量の誤りが混入しても誤り無しと
同じ処理を行う。ただし、非常に多くの誤りが混入した
場合には大きな画質劣化が生じるのを避けるため、誤っ
た小領域差分動きベクトルは用いずに、当該領域の代表
動きベクトルを用いて復号を行う。モード情報や代表動
きベクトル情報は強い誤り保護を行っているため誤りが
混入する可能性は低いが、それでも誤りが混入した場合
には大きな画質劣化が生じる可能性があるため、その符
号および可変長符号の同義はずれ等により誤りが波及し
ている領域は、前フレームの局部復号画像をそのまま復
号画像とする。ただし、誤りが混入した領域の周囲の領
域で正しい動きベクトルが復号できた場合には、正しく
復号できた動きベクトルから誤った領域の動きベクトル
を推定して復号に用いてもよい。

【０１７７】（第８の実施形態）図２４は、本発明に係
る第６の動画像符号化装置の一実施形態における動き補
償適応予測回路１０１の一構成例を示すブロック図であ
る。なお、第６の動画像符号化装置の全体の構成は、図
２１に示した第５の動画像符号化装置と同様である。ま
た、動きベクトル符号化回路１３１は第５の動画像符号
化装置とは異なる処理を行う。

【０１７８】本実施形態における動き補償適応予測回路
１０１は、入力動画像信号の動き補償予測を大領域とそ
れを細分化した小領域の２段階に分けて行い、小領域の
一部はさらに画像の内容に応じて複数の領域に分割し、
領域の分割形状を表す領域分割形状情報と分割された各
領域の動きベクトルを組合わせてベクトル量子化した動
き情報を用いて入力動画像信号を動き補償予測すること
により予測信号を生成するものである。

【０１７９】図２５は、本実施形態における動き補償予
測動作を説明するための図である。まず、フレーム内を
太い実線で示す大領域に分割し、この領域内の大領域代
表動きベクトル（図示しない）をブロックマッチング法
等を用いて求める。次に、大領域を細分化した、図２５
中の細い実線で示す小領域について動き補償予測を行
う。ここでは、小領域内を領域分割しない場合と領域分
割する場合について動きベクトル探索を行う。領域分割
しない場合の動きベクトル探索は、前述の第２の動画像
符号化装置の動き補償適応予測回路１０１における動き
ベクトル探索と同様に行う。一方、領域分割する場合の
動きベクトル探索は、小領域を物体の境界２１の境界に
沿うように例えば直線近似の領域分割線２２を選択し、
分割されたそれぞれの領域で動きベクトル２３を求め
る。この場合、領域分割形状および分割された各領域の
動きベクトルは、予めコードブックに格納されたコード
ベクトルから動き補償残差が最小になるものを選択す
る。

【０１８０】図２４に示す動き補償適応予測回路１０１
は、第１の予測部７３１、第１の残差計算部７３２およ
び第１の制御部７３３と、第２の予測部７０１、第２の
残差計算部７０２、第２の制御部７０３、第１〜第３の
コードブック７１２，７１３，７１４および加算器７１
８，７１９，７２０を有する。第１の予測器７３１、第
１の残差計算部７３２および第１の制御部７３３は、大
領域代表動きベクトルを用いて動き補償予測を行うため
に設けられている。一方、第２の予測部７０１、第２の
残差計算部７０２、第２の制御部７０３、コードブック
７１２，７１３，７１４および加算器７１８，７１９，
７２０は、小領域動き補償予測を行うために設けられて
おり、第１のコードブック７１２には領域分割形状情報
の候補が複数個のコードベクトルとして格納され、第２
および第３のコードブック７１３，７１４には大領域代
表動きベクトルと小領域動きベクトルとの差分動きベク
トルの候補が複数個のコードベクトルとして格納されて
いる。

【０１８１】まず、大領域代表動きベクトルの探索を行
うため、第１の制御部７３３より第１の動きベクトルの
探索候補７４１を順次発生させ、第１の予測部７３１に
おいて図２１のフレームメモリ１０２からの既符号化フ
レームの局部画像復号信号１２５に基づいて、第１の動
きベクトル７４１に対応した第１の予測信号７４２を発
生させ、さらに第１の残差計算部７３２において大領域
内の入力画像信号１２１と第１の予測信号７４２との差
分（残差）の大きさを計算し、その大きさを示す残差レ
ベル信号７４３を発生する。残差の大きさの評価基準
は、例えば残差の絶対値和や二乗和でも良いし、例えば
低域成分を重み付けした二乗誤差和でも良い。第１の制
御部７３３は、残差レベル信号７４３で与えられる残差
の大きさが最小となる大領域代表動きベクトル１２８を
求めて出力する。

【０１８２】次に、大領域を細分化した小領域（図２５
中細い実線の領域）について動き補償予測を行う。

【０１８３】まず、第２の制御器７０３から領域分割を
しない動き補償の差分動きベクトルの候補７１５を順次
発生させ、加算器７１８で先に求められた大領域代表動
きベクトル１２８と加算することによって、小領域動き
ベクトルの候補７２１を求める。第２の予測部７０１で
は、図２１のフレームメモリ１０２からの既符号化フレ
ームの局部復号画像信号１２５に基づいて小領域動きベ
クトルの候補７２１に対応する予測信号１２２を求め、
さらに第２の残差計算器３０８では、入力画像信号１２
１と予測信号１２２との差分（残差）の大きさを求め、
残差の大きさを示す残差レベル信号７１０を出力する。
第２の制御部７０３では、この残差レベル信号７１０で
与えられる残差の大きさが最小になる動きベクトルを求
める。

【０１８４】一方、第１のコードブック７１２には領域
分割動き補償における領域分割形状の候補が複数個のコ
ードベクトルとして格納されており、さらに第２および
第３のコードブック７１３，７１４には分割された２つ
の領域それぞれの動きベクトルの候補である複数個のコ
ードベクトルが大領域代表動きベクトル１２８との差分
として格納されている。そして、第２の制御部７０３か
らコードブックインデックス７１６を順次変化させなが
ら出力し、第１〜第３のコードブック７１２〜７１４か
らコードブックインデックス７１６に対応する領域分割
形状情報７２２および差分動きベクトル７２５および７
２６を取り出す。差分動きベクトル７２５および７２６
は第２および第３の加算器７１９，７２０で大領域代表
動きベクトル１２８と加算されることにより、動きベク
トルの候補７２３および７２４が求められる。これらの
動きベクトル候補７２３，７２４は、領域分割形状情報
７２２と共に第２の予測部７０１に入力され、これに対
応する予測信号１２２が求められる。第２の残差計算部
７０２では、入力動画像信号１２１と予測信号１２２と
の差分（残差）の大きさが計算され、その大きさを示す
残差レベル信号７１０で与えられる残差の大きさが最小
となるコードブックインデックスが第２の制御部７０３
で求められる。

【０１８５】第２の制御器７０３では、このようにして
求められた領域分割の有り／無しそれぞれの動き補償予
測のうち、動き補償残差の大きさが最小となる方を選択
し、その選択情報を出力すると共に、領域分割無しの動
き補償予測が選択された場合は対応する差分動きベクト
ルを、領域分割動き補償予測が選択された場合には対応
するコードブックインデックスを動きベクトル情報１２
９としてそれぞれ出力する。

【０１８６】動きベクトル情報１２９は、図２１の動き
ベクトル符号化回路１３１で符号化される。領域分割無
しの動き補償予測が選択された場合には、第７の実施形
態で説明した第５の動画像符号化装置における差分動き
ベクトル情報１２６の符号化と同様に動きベクトル情報
１２９の符号化を行う。一方、領域分割動き補償が選択
された場合には、コードブックインデックスをそのまま
符号語として用いてもよい。また、コードブック７１３
および７１４は、差分動きベクトルの大きさの和の順に
ソートしたものとしておき、コードブックインデックス
のグレー符号を用いて符号化してもよい。これにより、
領域分割動きベクトルの誤りに対する耐性が向上する。

【０１８７】次に、本実施形態における動画像復号化装
置について説明する。図２６は、本発明に係る第６の動
画像復号化装置の一実施形態における動き補償適応予測
回路３０１の構成例を示す図であり、図２４に示した動
き補償適応予測回路に対応している。なお、第６の動画
像復号化装置の全体の構成は、図２３に示した第５の動
画像復号化装置と同様である。

【０１８８】図２６に示す動き補償適応予測回路３０１
は、予測部８００、第１〜第３のコードブック８１２，
８１３，８１４および制御部８２５を有する。図２４に
おける第１〜第３のコードブック７１２，７１３，７１
４と同様に、第１のコードブック８１２には領域分割形
状情報の候補が複数個のコードベクトルとして格納さ
れ、第２および第３のコードブック８１３，８１４には
大領域代表動きベクトルと小領域動きベクトルとの差分
動きベクトルの候補が複数個のコードベクトルとして格
納されている。

【０１８９】制御部８２５は、復号された差分動きベク
トル情報３２９に基づいて小領域動き補償予測が領域分
割／非領域分割いずれで行われたかを示すフラグ８２
６、非領域分割動き補償の差分動きベクトル８１５、領
域分割動き補償の８１６を出力する。

【０１９０】領域分割しない動き補償予測が行われた小
領域では、可変長復号化器３１１で復号された大領域代
表動きベクトル３３０と差分動きベクトル８１５が第１
の加算器８１８で加算されることにより、小領域動きベ
クトル８２１が復号され、さらに予測部８００でこれに
対応した予測信号３２６が作成される。

【０１９１】領域分割動き補償が行われた小領域では、
コードブックインデックス８１６に対応して、第１のコ
ードブック８１２から領域形状情報８２２が取り出さ
れ、予測部８００に入力されると共に、第２および第３
のコードブック８１３および８１４から分割されたそれ
ぞれの領域の差分動きベクトルが取り出され、第２およ
び第３の加算器８１９，８２０で大領域分代表動きベク
トル８２８と加算されることにより、小領域動きベクト
ル８２３，８２４が復号され予測器８００に入力され
る。予測器８００では、領域分割形状情報８２２および
２つの動きベクトル８２３，８２４に従って予測信号３
２６を作成して出力する。

【０１９２】次に、第６の動画像符号化装置／動画像復
号化装置におけるベクトル量子化を用いた領域分割動き
補償における第１〜第３のコードブックの作成法につい
て説明する。

【０１９３】コードブック作成は符号化に先立って複数
の動画像信号を用いて行う。まず、コードブック作成の
元となるベクトル量子化しない領域分割形状と各領域の
動きベクトルを探索する。この探索は、領域分割形状と
動きベクトルの全組み合わせの中から予測残差の大きさ
が最小になるものを探索してもよいが、これでは探索数
が膨大になり非常に多くの演算処理を必要としてしま
う。そこで、以下のような簡略化された探索を行う。

【０１９４】図２７は、領域分割形状と動きベクトルの
探索法を説明するための図である。まず、動画像信号を
実線で示す小領域に分割し、領域分割を行わない動き補
償予測における非領域分割動きベクトルを求める。次
に、小領域を縦、横、斜めといった大まかな精度で分割
し動き補償予測残差の大きさが最小になる領域分割形状
を求める。このとき、分割された各領域の動きベクトル
としては、隣接する領域の非領域分割動きベクトルを用
いる。例えば、図２７（ａ）のように小領域を垂直分割
線で左右に分割する場合は、左の領域は左隣の小領域の
非領域分割動きベクトルを用い、右の領域は右隣の小領
域の非領域分割動きベクトルを用いる。図２７（ｂ）の
ように小領域を水平分割線で上下に分割する場合は、上
の領域は上隣の小領域の非領域分割動きベクトルを用
い、下の領域は下隣の小領域の非領域分割動きベクトル
を用いる。図２７（ｃ）のように斜めに分割する場合は
斜め隣の小領域の非領域分割動きベクトルを用いる。こ
のような領域分割形状および動きベクトルで動き補償予
測を行って予測残差の大きさを求め、残差が最小となる
領域分割パターンと動きベクトルを求める。

【０１９５】なお、上記の処理において、複数の隣接小
領域の非領域分割動きベクトルに基づいて分割領域の動
きベクトルを求めてもよい。具体的には、分割領域の動
きベクトルとして例えば複数の非領域分割動きベクトル
の平均値や、分割された領域からの距離に応じた加重平
均値を用いてもよいし、メディアンフィルタ等を用いて
分割領域の動きベクトルを求めてもよい。

【０１９６】次に、こうして求められた大まかな精度の
領域分割形状および動きベクトルをそれぞれ少しずつ偏
移させ、細かな精度で領域分割形状および動きベクトル
を求める。領域分割形状については、図２７（ｄ）のよ
うに領域分割線が小領域の境界と交わる２つの交点９０
１の画素位置を大まかな領域分割線（図中斜めの実線）
から数画素ずつ（図中矢印９０２の範囲）動かす。動き
ベクトルについては、大まかな精度で求められた各領域
の動きベクトル、ないしは当該小領域の非領域分割動き
ベクトルを中心として探索を行えばよい。

【０１９７】このように最初に非領域分割動きベクトル
を探索し、これに基づいて大まかな精度で領域分割形状
と動きベクトルを求めることにより探索候補を限定し、
さらにそれを少し偏移させて細かな精度で領域分割形状
と動きベクトルの探索を行っているため、領域分割形状
と動きベクトルの全ての組み合わせを探索するよりも探
索数が大幅に削減され、探索に要する演算量が減少す
る。

【０１９８】以上のようにして求められた領域分割形状
と動きベクトルに基づいて、コードブックを作成する。
コードブック作成には、ＬＢＧアルゴリズムやシミュレ
ーテッドアニーリング法を用いればよい。一般に、コー
ドブック作成における評価基準としては、入力信号（こ
の場合は領域分割形状および差分動きベクトル）との二
乗誤差等が用いられているが、本実施形態におけるコー
ドブックは動き補償予測に用いられるもので有るため、
動き補償予測残差の大きさ（二乗和や絶対値和等）を評
価基準として学習を行う。

【０１９９】以下に、ＬＢＧアルゴリズムを用いてコー
ドブックを作成する方法について説明する。コードブッ
ク作成は、図２８に示す流れ図のような手順で行う。

【０２００】まず、求められた領域分割形状および動き
ベクトルに基づいて初期コードブックを作成する（ステ
ップＳ１）。これにはスプリッティングといわれる手法
を用いる。すなわち、まず全ての領域分割形状および差
分動きベクトル（非領域分割動きベクトルと領域分割動
きベクトルの差分ベクトル）の重心を計算し、これを最
初のコードブックｙ０とする。次に、最初のコードブッ
クを微小に変化させて２つのコードブックｙ′１，ｙ′
２を作成する。これは、最初のコードブックにおける領
域分割線をｙ０．ｒとし、２つの分割領域の差分動きベ
クトルをそれぞれｙ０．ｍｖ１，ｙ０．ｍｖ２とすれ
ば、ｙ′１．ｒ＝rotate right(ｙ０．ｒ１）ｙ′２．ｒ＝rotate left（ｙ０．ｒ１）ｙ′１．ｍｖ１＝ｙ０．ｍｖｌ＋ｄｍｖｌｙ′２．ｍｖ１＝ｙ０．ｍｖｌ−ｄｍｖｌｙ′１．ｍｖ２＝ｙ０．ｍｖ２＋ｄｍｖ２ｙ′２．ｍｖ２＝ｙ０．ｍｖ２−ｄｍｖ２ここで、rotate right:領域分割線を右回りに回転させ
る処理 rotate left：領域分割線を左回りに回転させる処理ｄｍｖ１，ｄｍｖ２：微小ベクトルとして求める。次に、各領域を対応する領域分割形状お
よび差分動きベクトルがｙ′１およびｙ′２のどちらに
近いかによってクラス分けして、それぞれのクラスにつ
いて重心を求め、それを次のコードブックとする。以上
の処理を繰り返してコードブックを増やしていき、コー
ドブック数が所定値に達したところで処理を終了し、最
終的に求められたコードブックを初期コードブックとす
る。

【０２０１】次に、こうしてステップＳ１で求められた
初期コードブックを仮のコードブックとして、動き補償
残差の大きさが最小となるコードベクトルを探索する
（ステップＳ２）。そして、ステップＳ３において平均
動き補償残差がしきい値以下であれば、ステップＳ２で
探索されたコードベクトルそれぞれについて重心を計算
し（ステップＳ４）、求められた重心を次の仮コードブ
ックとして更新する（ステップＳ５）。

【０２０２】以上のコードブック探索（ステップＳ
２）、重心計算（ステップＳ４）、仮コードブック更新
（ステップＳ５）の処理を繰り返し、ステップＳ４で仮
コードブックによる動き補償残差の大きさの平均値があ
らかじめ定められた値以下と判定されるまでコードブッ
クの学習を繰り返す。

【０２０３】上記のコードブック学習において、仮コー
ドブックを用いて領域分割動き補償を行った予測残差の
大きさが非領域分割動き補償による予測残差の大きさよ
りも大きい場合には、当該領域をコードブック学習にお
ける重心計算に含めないようにしてもよい。第６の動画
像符号化装置においては、非領域分割動き補償とベクト
ル量子化による領域分割動き補償の両方を行い、補償予
測残差が小さい方を選択するため、動き補償残差が大き
いものをコードブック中に含めておいても、符号化装置
の動きベクトル探索において選択されない可能性が高い
ためである。

【０２０４】コードブック学習において、重心として計
算された２つの領域の動きベクトルが同一の場合には、
更新コードブックには含めないようにする。また、２領
域の動きベクトルが非常に近い値になる場合にも、コー
ドブック更新の対象としないようにしてもよい。これ
は、一般に領域分割動き補償が非領域分割動き補償に比
べて符号化効率向上に大きく寄与するのは分割された各
領域の動きベクトルが大きく異なっているときであり、
２つの動きベクトルが非常に近い値である場合にはそれ
ほど大きな符号化効率向上には結びつかないためであ
る。

【０２０５】前述の領域分割形状および動きベクトルの
探索およびコードブック学習において、動きベクトル＝
（０，０）が選択されやすいような予測残差評価基準を
用いてもよい。これは、一般に符号化歪みが目立ちやす
い背景と人物の境界のような静止部分（動きベクトル＝
（０，０））と動物体の境界部分で領域分割動き補償を
行うことにより視覚的符号化品質が向上するためであ
る。

【０２０６】第６の動画像符号化装置／復号化装置で
は、ベクトル量子化された領域分割形状および動きベク
トル情報はコードブックインデックスをそのまま固定長
符号化する例を示したが、可変長符号化してもよい。こ
のようにすると誤り耐性は若干低下するものの、符号化
効率をより高くすることができる。

【０２０７】第６および第７の実施形態で説明した動画
像符号化装置において、動きベクトル符号化回路１３１
における動きベクトル情報の符号化に際し、１フレーム
あるいはある領域単位に、探索で求められた動きベクト
ル情報のインデックスの最大値を求めてこれを符号化し
て符号列１２７に含めるようにし、動き情報の符号化は
このインデックスの最大値を符号化するのに必要最小限
のビット数の符号を用いてもよい。このようにすると、
小さな値のインデックスが多いほど符号量が削減される
ため、動き補償適応予測回路１０１における動きベクト
ル探索において、インデックスの値が小さい動きベクト
ルが選択されやすいような判定基準を用いて動きベクト
ル探索を行ってもよい。一方、動画像復号化装置におい
ては、まず動きベクトルインデックスの最大値を復号
し、各動きベクトルインデックスはこの最大値を符号化
するのに必要最小限の符号を用いているとして復号を行
う。また、復号されたインデックスが最大値を越えてい
た場合はそのインデックスは誤りの混入により誤って復
号が行われていると判定し画像再生に用いないようにし
てもよい。

【０２０８】以上の手法は、第６および第８の実施形態
における非領域分割動き補償の動きベクトルインデック
スおよび領域分割動き補償のコードブックインデックス
に用いてもよい。この場合、領域分割動き補償のコード
ブックを差分動きベクトルが（０，０）に近いものほど
コードブックインデックスとして小さな値が割り当てら
れるようにしてもよい。これは一般に、差分動きベクト
ル（０，０）に近い動きベクトルほど出現頻度が高いた
め、このようなインデックス付けを行うことにより、小
さなコードブックインデックスの出現頻度が高くなっ
て、前記インデックス最大値は小さな値となり、インデ
ックスを表すために必要なビット数が少なくなること
で、符号量が削減されるためである。

【０２０９】第８の実施形態で説明した第６の動画像符
号化装置における動き補償適応予測回路１０１および第
６の動画像復号化装置における動き補償適応予測回路３
０１において、小領域の動き補償を行う際に当該小領域
が含まれる大領域の代表動きベクトルをそのまま小領域
差分動きベクトルと加算する代わりに、当該小領域の周
囲の大領域代表動きベクトルから当該小領域の動きベク
トルを予測する小領域予測動きベクトルを生成し、この
小領域予測動きベクトルと差分動きベクトルを加算した
ものを当該小領域の動きベクトルとしてもよい。

【０２１０】図２９は、小領域予測ベクトルの求め方を
説明するための図である。例えば、図２９（ａ）の小領
域予測動きベクトル１３０１は、隣接大領域代表動きベ
クトル１３０２，１３０３，１３０４，１３０５に基づ
いて、例えばそれらの平均値、あるいは当該小領域の中
心から各大領域の中心への距離に応じた加重平均値、あ
るいは、メディアンフィルタ等を用いて求めればよい。

【０２１１】領域分割動き補償を行う場合には、分割さ
れた領域それぞれの動きベクトルを予測する領域分割予
測動きベクトルを、分割された領域それぞれに隣接する
大領域動きベクトルに基づいて求めてもよい。例えば、
図２９（ｂ）の分割された領域それぞれの領域分割予測
動きベクトル１３１１および１３１２の求め方の例を説
明すると、一方の領域分割予測動きベクトル１３１１は
その領域に隣接する大領域動きベクトル１３１３，１３
１４，１３１５，１３１６に基づいて求め、他方の領域
分割予測動きベクトル１３１１は大領域動きベクトル１
３１４，１３１６に基づいて求めればよい。あるいは、
図２９（ｂ）のように分割された一方の領域の面積が他
方の領域の面積に比べ十分大きい場合には、大きな面積
を占める領域の領域分割予測動きベクトル１３１２は当
該領域が含まれる大領域の代表動きベクトル１３１６と
し、他方の領域の領域分割予測動きベクトル１３１１は
その領域に広く接している大領域の代表動きベクトル１
３１５としてもよい。

【０２１２】以上のようにして求められた予測動きベク
トルは、一般に大領域代表動きベクトルそのものにくら
べて、当該領域の動きベクトルとの差分が小さくなる。
このため、差分動きベクトルは（０，０）付近の小さな
値の出現確率が高くなり、符号化効率が向上する。

【０２１３】第８の実施形態において、ベクトル量子化
による領域分割動き補償の領域分割形状および差分動き
ベクトルのコードブックとして複数のものを用意し、隣
接する大領域代表動きベクトルに基づいて切り替えて用
いるようにしてもよい。例えば、図３０に示すように小
領域１４０１の左右に隣接する大領域代表動きベクトル
１４１１および１４１２が大きく異なる場合、小領域１
４０１には動きの異なる２つの物体が含まれている可能
性が高く、小領域を左右に分割する分割線１４２１で領
域分割して動き補償を行った方が動き補償の精度が向上
し、符号化効率が向上する。このため、領域を左右に分
割する領域分割形状を多く含むコードブックを選択して
ベクトル量子化による領域分割動き補償を行えばよい。

【０２１４】また、第７および第８の実施形態では動き
補償予測だけでなくフレーム内予測モード、前フレーム
の局部復号画像をそのまま再生画像とするNot Coded モ
ードについては省略したが、これらのモードとの適応的
切り替えも可能である。この切り替えは小領域単位に行
っても良いし大領域単位に行っても良いし、これらの領
域単位とは異なる単位で切り替えを行っても良い。小領
域単位に切り替えを行う場合にはその小領域がフレーム
内符号化モードやNot Coded モードになった場合は小領
域動き情報は符号化する必要はない。また、大領域内の
全ての小領域がフレーム内符号化モードやNot Coded モ
ードになった場合は大領域代表動きベクトルも符号化す
る必要がない。大領域単位に切り替えを行う場合にはそ
の大領域がフレーム内符号化モードやNot Coded モード
になった場合は代表動きベクトル、小領域動き情報とも
符号化する必要がない。

【０２１５】第６〜第８の動画像符号化装置における動
き補償適応予測回路１０１での動きベクトル探索では、
動くベクトル＝（０，０）が選択されやすいような動き
補償予測残差の大きさの評価基準を用い、動きベクトル
＝（０，０）を少ない符号量で表すように符号化を行っ
てもよい。一般に動きベクトル＝（０，０）の出現頻度
は高いため、これを少ない符号量で表すことにより符号
化効率の向上につながるためである。例えば、予測残差
の二乗和ＭＳＥを評価基準として用いる場合、動きベク
トル＝（０，０）の時のみＭＳＥからある値を減じたも
のを評価基準として用いれば動きベクトル＝（０，０）
が選択されやすくなる。

【０２１６】（第９の実施形態）図３１は、本発明に係
る第７の動画像符号化装置の一実施形態における動き補
償適応予測回路１０１の一構成例を示すブロック図であ
る。なお、第７の動画像符号化装置の全体の構成は、図
２１に示した第５の動画像符号化装置と同様である。図
２４と相対応する部分に同一符号を付して第８の実施形
態との相違点を中心に説明すると、本実施形態は上位段
階の動き情報である大領域代表動きベクトルおよび領域
分割しない下位段階の動き情報である小領域動きベクト
ルの探索法が第８の実施形態と異なる。

【０２１７】大領域代表動きベクトルは、当該大領域内
に含まれる小領域の予備動きベクトルを求める小領域予
備探索を行い、これを基にして決定する。この場合、ま
ず小領域予備動きベクトルの探索を行うために、第１の
制御部２００２より小領域予備動きベクトル探索候補２
０１１を順次発生させ、第１の予測部２００１において
図２１のフレームメモリ１０２からの既符号化フレーム
の局部復号画像信号１２５に基づいて、小領域予備動き
ベクトル探索候補２０１１に対応した第１の予測信号２
０１０を発生する。さらに、第１の予測残差計算部２０
０３において大領域内の入力画像信号１２１と第１の予
測信号２０１０との差分（残差）の大きさを計算し、そ
の大きさを示す第１の残差レベル信号２０１２を発生す
る。残差の大きさの評価基準は、例えば残差の絶対値和
や二乗和でもよいし、例えば低域成分を重み付けした二
乗誤差和でもよい。また、動きベクトル＝（０，０）の
時の評価値は残差の大きさから一定値を減算したものに
する等、動きベクトルの大きさに応じて評価基準に重み
付けを行ってもよい。第１の制御部２００２は、小領域
予備動きベクトル探索候補２０１１の中から残差レベル
信号２０１２で与えられる残差の大きさが最小となるベ
クトルを小領域予備動きベクトル２０１３として求めて
出力する。

【０２１８】次に、上記のようにして求められた小領域
予備動きベクトル２０１３を基に、大領域動きベクトル
計算部２００４で大領域代表動きベクトル１２８を計算
して出力する。

【０２１９】図３２は、本実施形態における大領域動き
ベクトルの探索法を説明するための図であり、実線で示
す領域が大領域、破線で示す領域が小領域である。前述
の手順により、各小領域について破線矢印で示す小領域
予備動きベクトル２１０１〜２１０４が求められている
とする。大領域代表動きベクトル２１００は、この大領
域内の小領域予備動きベクトル２１０１〜２１０４およ
びそれらの平均値の中央値として次式のように決定され
る。

【０２２０】ＲＭＶｘ＝ｍｅｄｉａｎ（ｍｖ１ｘ，ｍｖ
２ｘ，ｍｖ３ｘ，ｍｖ４ｘ，ａｍｖｘ）ＲＭＶｙ＝ｍｅｄｉａｎ（ｍｖ１ｙ，ｍｖ２ｙ，ｍｖ３
ｙ，ｍｖ４ｙ，ａｍｖｙ）ここで、ＲＭＶｘ：大領域代表動きベクトルのｘ成分ＲＭＶｙ：大領域代表動きベクトルのｙ成分ｍｅｄｉａｎ（）：中央値ｍｖ１ｘ，ｍｖ２ｘ，ｍｖ３ｘ，ｍｖ４ｘ：小領域予備
動きベクトル２１０１〜２１０４のｘ成分ｍｖ１ｙ，ｍｖ２ｙ，ｍｖ３ｙ，ｍｖ４ｙ：小領域予備
動きベクトル２１０１〜２１０４のｙ成分ａｍｖｘ：ｍｖ１ｘ〜ｍｖ４ｘの平均値ａｍｖｙ：ｍｖ１ｙ〜ｍｖ４ｙの平均値このように、まず小領域の動きベクトルの予備探索を行
って求められた小領域予備動きベクトルから大領域動き
ベクトルを決定することにより、大領域動きベクトルと
して小領域動きベクトルと類似の動きベクトルが求めら
れる確率が高くなる。

【０２２１】次に述べる後段の小領域動き補償では、大
領域動きベクトルとの差分を取って動き情報のベクトル
量子化を行っており、大領域動きベクトルが小領域動き
ベクトルと類似する確率が高くなることによって動き情
報の差分が小さくなる確率が高くなるので、動き補償の
効率が向上して符号化効率が向上する。

【０２２２】次に、小領域について動き補償予測を行
う。

【０２２３】まず、第２の制御部２００５から領域分割
をしない動き補償の差分動きベクトルの候補７１５を順
次発生させ、加算器７１８で先に求められた大領域代表
動きベクトル１２８と加算することによって、小領域動
きベクトル候補７２１を求める。第２の予測部７０１で
は、図２１中のフレームメモリ１０２からの既符号化フ
レームの局部復号画像信号１２５に基づいて小領域動き
ベクトル候補７２１に対応する予測信号１２２を求め
る。さらに第２の残差計算部７０２では、入力画像信号
１２１と予測信号１２２との差分（残差）の大きさを求
め、残差の大きさを示す第２の残差レベル信号７１０を
出力する。第２の制御部７０３では、この残差レベル信
号７１０で与えられる残差の大きさが最小になる動きベ
クトルを求める。

【０２２４】ここで、小領域動きベクトル候補のうち、
大領域代表動きベクトルを求めるために第１の制御部２
００２から発生した小領域予備動きベクトルの候補２０
１１と同一のものについては、既に予測残差レベル信号
２０１２が求められているため、新たに残差レベルを計
算し直す必要は無い。

【０２２５】そこで、図３３を用いて領域分割しない小
領域動きベクトルの探索法について説明する。図３３に
おいて、予備動きベクトルの探索範囲を右上がりの斜線
の領域２１５１とする。また、小領域動きベクトルの探
索範囲を大領域代表動きベクトル２１５０の周囲の左上
がりの斜線の領域２１５２とする。この場合、これら二
つの領域２１５１と２１５２の重なる領域２１５３につ
いては、小領域予備動きベクトルの候補２０１１のう
ち、重なり領域２１５３内にあるものの中から第１の予
測残差レベル信号２０１２が最小になる小領域動きベク
トルを第１の選択値として選択する。

【０２２６】次に、領域２１５２中の領域２１５１と重
ならない領域、つまり領域２１５３以外の領域について
動きベクトルの候補７１５を順次発生させ、第２の残差
レベル信号７１０が最小になる小領域動きベクトルを第
２の選択値として選択する。そして、このようにして選
択された第１および第２の選択値のうち、残差レベルが
小さい方を領域分割しない小領域動きベクトルとして選
択する。

【０２２７】このように、領域分割をしない小領域動き
ベクトルの探索の一部を予備動きベクトルの探索結果を
用いて行うことにより、小領域動きベクトル探索のため
の演算量を削減することができる。

【０２２８】また、図３３において破線矢印で示す小領
域予備動きベクトル２１５４が領域２１５１と領域２１
５２との重なり領域２１５３中にある場合は、小領域予
備動きベクトル２１５４が領域２１５３の中で第２の残
差レベル信号を最小とする動きベクトルであるため、第
１の選択値を新たに計算し直す必要はなく、この小領域
予備動きベクトル２１５４を第１の選択値とすればよ
い。このように再選択の動作を省くことによって、演算
量をさらに削減することができる。

【０２２９】以下、領域分割動き補償のコードブックイ
ンデックスの探索を行い、予測信号１２２と、コードブ
ックインデックスおよび領域分割有り／無しを示す情報
を含む動きベクトル情報１２９を出力する。この動作
は、第８の実施形態における動き補償適応予測回路１０
１の動作と同じである。

【０２３０】なお、本実施形態は図２１の動画像符号化
装置の動き補償適応予測回路１０１の一実施形態として
説明したが、動き補償適応予測を多段階に分けて行う動
き補償適応予測回路の動きベクトル探索に広く応用可能
であり、例えば図５および図１８に示した構成の動き補
償適応予測回路でも、まず小領域予備動きベクトルの探
索を行ってから大領域代表動きベクトルの決定と小領域
動きベクトルの探索を行うことにより、符号化効率の改
善と、演算量の削減を図ることができる。

【０２３１】最後に、本発明の応用例として本発明の動
画像符号化／復号化装置を適用した動画像伝送システム
の実施形態を図３４を用いて説明する。パーソナルコン
ピュータ（ＰＣ）１００１に備え付けられたカメラ１０
０２より入力された動画像信号は、ＰＣ１００１に組み
込まれた動画像符号化装置によって符号化される。この
動画像符号化装置から出力される符号化データは、他の
音声やデータの情報と多重化された後、無線機１００３
により無線で送信され、他の無線機１００４によって受
信される。無線機１００４で受信された信号は、動画像
信号の符号化データおよび音声やデータの情報に分解さ
れる。これらのうち、動画像信号の符号化データはワー
クステーション（ＥＷＳ）１００５に組み込まれた動画
像復号化装置によって復号され、ＥＷＳ１００５のディ
スプレイに表示される。

【０２３２】一方、ＥＷＳ１００５に備え付けられたカ
メラ１００６より入力された動画像信号は、ＥＷＳ１０
０６に組み込まれた動画像符号化装置を用いて上記と同
様に符号化される。動画像信号の符号化データは、他の
音声やデータの情報と多重化され、無線機１００４によ
り無線で送信され、無線機１００３によって受信され
る。無線機１００３によって受信された信号は、動画像
信号の符号化データおよび音声やデータの情報に分解さ
れる。これらのうち、動画像信号の符号化データはＰＣ
１００１に組み込まれた動画像復号化装置によって復号
され、ＰＣ１００１のディスプレイに表示される。

【０２３３】図３５は、図３４におけるＰＣ１００１お
よびＥＷＳ１００５に組み込まれた動画像符号化装置お
よび動画像復号化装置の構成を概略的に示すブロック図
である。

【０２３４】図３５（ａ）に示す動画像符号化装置は、
カメラなどの画像入力部１１０１からの画像信号を入力
して誤り耐性処理部１１０３を有する情報源符号化部１
１０２と、伝送路符号化部１１０４を有し、情報源符号
化部１１０１においては予測残差信号の離散コサイン変
換（ＤＣＴ）と生成されたＤＣＴ係数の量子化などが行
われ、伝送路符号化部１１０４においては可変長符号化
や符号化データの誤り検出および誤り訂正符号化などが
行われる。伝送路符号化部１１０４から出力される符号
化データは無線機１１０５に送られ、送信される。

【０２３５】一方、図３５（ｂ）に示す動画像復号化装
置は、無線機１２０１によって受信された符号化データ
を入力して伝送路符号化部１１０４と逆の処理を行う伝
送路復号化部１２０２と、伝送路復号化部１２０１の出
力信号を入力して情報源符号化部１１０２と逆の処理を
行う誤り耐性処理部１２０４を有する情報源復号化部１
２０３を有し、情報源復号化部１２０３で復号化された
画像はディスプレイなどの画像出力部１０２５によって
出力される。

【０２３６】

【発明の効果】以上説明したように、本発明によればベ
クトル量子化した動き情報を用いて動き補償適応予測を
行うことにより、符号化効率が高く、しかも強い誤り耐
性を有する動画像符号化／復号化装置を提供することが
できる。

【０２３７】すなわち、第１の動画像符号化／復号化装
置によれば、ベクトル量子化した動き情報を用いて動画
像信号の動き補償予測を行うため、動き情報をベクトル
量子化し、コードブック内のコードベクトルを指定する
コードブックインデックスで動き情報を表すことによっ
て、動き情報の符号量を抑えつつ効率の良い動き補償予
測を行うことができ、またベクトル量子化した動き情報
は発生情報量の偏りが少なくなるため、固定長符号化を
用いても比較的高い符号化効率で動き情報を符号化する
ことができ、動画像復号化装置において伝送路などでの
誤りの混入時に可変長符号化のように同期外れにより広
い範囲にわたって誤りが伝搬することがなくなるので、
誤り混入時の再生画像の品質が大幅に向上することによ
って、高い符号化効率を保ちつつ、誤り耐性が向上す
る。

【０２３８】さらに、コードブックに格納するコードベ
クトルに対応した動きベクトルの候補を動き量のより小
さな動きベクトルの候補ほど細かい画素精度で配置する
ことによって、動き補償予測の予測残差信号がより小さ
くなるとともに、出現頻度の低い動き量の大きな動きベ
クトルの候補は画素精度を粗くして探索対象となる動き
ベクトルの候補の数を減らすことによって、さらに符号
化効率が向上させることができる。

【０２３９】第２の動画像符号化／復号化装置によれ
ば、動き補償予測を多段階化して最下位段階での予測残
差信号を符号化するとともに、最上位段階の動き補償予
測で用いられた動き情報についてはそれを符号化し、最
上位段階以外の一部または全ての段階での動き補償予測
においては、その段階で用いるべき動き情報の候補とよ
り上位の段階での動き情報の候補との差分をベクトル量
子化した差分動きベクトルから選択した一つの差分動き
情報と、より上位の段階で用いた動き情報との和を動き
情報として用いることによって、多段階化された動き補
償予測における動き情報はより上位段階の動き補償予測
で用いられる動き情報と強い相関があり、より上位段階
の動き情報との差分をとると、０付近にその成分が集中
することと、ベクトル量子化は特に偏りの大きい信号に
対して高い符号化効率が得られる性質があることを利用
して、さらに高い符号化効率を得ることができる。

【０２４０】さらに、動き補償予測の多段階化を階層符
号化と組み合わせたときに各段階での動き情報をどの階
層に振り分けるかを制御することで各階層への符号量の
振り分けに大きな自由度を持たせることができ、伝送路
の制約等により各階層で符号化できる符号量の割合に制
約がある場合にも対応できるようになるとともに、ベク
トル量子化された動き情報は強い誤り耐性を有すること
から、下位階層で符号化しても復号化装置において再生
画像に大きな画質劣化を生じにくく、強い誤り耐性を得
ることができる。

【０２４１】第３の動画像符号化／復号化装置によれ
ば、動画像信号を画像の内容に応じて複数の領域に分割
し、その分割した領域毎に領域分割形状情報と動きベク
トルを組み合わせてベクトル量子化した動き情報を用い
て動き補償予測を行うことによって、動きの異なる物体
が接する部分でも、その境界に沿って予測領域を分割し
て各物体毎に異なる動き情報を用いて予測を行うことが
できるために、動き補償予測の予測効率が向上し、もっ
て符号化品質を高めることができ、また領域分割予測を
行う領域では、領域分割形状情報と動きベクトル情報を
組み合わせてベクトル量子化した動き情報を用いて動き
補償予測を行うため、領域分割形状情報を含む動き情報
を少ない符号量で効率的に表すことができ、従来の領域
分割動き補償符号化方式の欠点であった領域分割形状情
報による符号量増加の問題を改善することができ、さら
にベクトル量子化した情報は高い符号化効率で固定長符
号化が可能であるため、従来多く用いられていた可変長
符号化の問題である、誤りが生じたときの同期外れによ
る再生画像の画質劣化を防ぐことができ、動画像符号化
装置からの出力符号列を誤りが生じやすい媒体を介して
伝送／蓄積する場合の誤りによる画質劣化を小さく抑え
ることが可能となる。

【０２４２】第４の動画像符号化／復号化装置によれ
ば、動きベクトル情報の符号化に動きベクトル相互のユ
ークリッド距離と符号語相互のハミング距離に相関のあ
る符号語を用いていることによって、動きベクトル情報
の符号語に誤りが混入しても誤って復号された動きベク
トルからのずれが小さく抑えられるため、１符号語当た
りの誤り率が１ビット以下程度の通常の通信路や蓄積媒
体ならば、動きベクトルの誤りは小さく抑えられること
になり、誤りが生じても高品質の再生画像信号を得るこ
とが可能となる。

【０２４３】第５の動画像符号化／復号化装置によれ
ば、ベクトル量子化した動き情報を用いて動画像信号の
動き補償予測信号を行い、求められた動き情報がコード
ブック中のどの範囲にあるかを限定してこれを基に動き
情報を符号化する際の符号語を決定することにより、コ
ードブックサイズが大きい場合でも、そのコードブック
インデックス全てを符号化するのに必要な符号語を用い
る場合に比べ動き情報の符号化に必要な符号量が削減さ
れ、符号化効率を向上させることができる。

【０２４４】第６の動画像符号化／復号化装置によれ
ば、動き補償予測を多段階化して最下位段階での予測残
差信号を符号化すると共に、最上位段階での動き補償予
測で用いられた動き情報についてはそれを符号化し、ま
た最上位段階以外の一部または全ての段階での動き補償
予測においては、より上位の段階での動き情報からその
段階の動き情報を予測し、これとの差分をベクトル量子
化した差分動きベクトルから選択した一つの差分動き情
報と、より上位の段階で用いられた動き情報との和を動
き情報とすることにより、動き補償予測の多段階化と階
層符号化との組み合わせ時に各段階での動き情報をどの
階層に振り分けるかを制御することで、各階層への符号
量振り分けに大きな自由度を持たせることができるよう
になるため、伝送路の制約などにより各階層で符号化で
きる符号量に制約がある場合にも対応でき、またベクト
ル量子化された動き情報は強い誤り耐性を有するため、
下位階層で符号化しても復号化装置において再生画像に
大きな画質劣化を生じにくく、強い誤り耐性をうること
ができ、さらに下位段階の動き補償予測における動き情
報はより上位の動き情報より予測を行い、それとの差分
をとることで、上位の動き情報そのままと差分をとるよ
りも差分動き情報の大きさが小さくなり、差分動き情報
の符号化に要する符号量を削減することができる。

【０２４５】第７の動画像符号化装置によれば、第６の
動画像符号化装置における予測手段において、最上位段
階以外の少なくとも一つの段階における動き情報を予備
探索して得られた動き情報から該段階およびより上位段
階の少なくとも一方の段階における動き情報を決定して
いるため、より上位段階の動き情報としてより下位段階
の動き情報と類似の動き情報が求められる確率が高くな
る。下位段階の動き補償では、より上位段階での動き情
報との差分をとって動き情報のベクトル量子化を行って
いるため、上記のように上位段階の動き情報が下位段階
の動き情報と類似する確率が高くなることによって、動
き情報の差分が小さくなる確率が高まるので、動き補償
の効率が向上して符号化効率が向上する。さらに、領域
分割しない下位段階の動き情報の探索の一部を先に求め
た予備探索結果を用いて行うことにより、下位段階の動
き情報探索のための演算量を削減することができる。

【０２４６】また、本発明によるベクトル量子化領域分
割動き補償のコードブック作成装置によれば、コードブ
ック学習の際に動き補償予測残差を評価基準として用い
ていることによって、動き補償予測を高精度に行って予
測残差を減少させ、符号化効率を高めるのに最適なコー
ドブックを作成することができる。

【０２４７】さらに、本発明による領域分割動き補償探
索装置によれば、非領域分割動きベクトルを探索して大
まかな領域分割形状と動きベクトルを求め、さらにそれ
を修正して領域分割形状と動きベクトルを探索すること
によって、少ない演算量で動きベクトルの探索を行うこ
とができる。

【図面の簡単な説明】

【図１】本発明に係る第１の動画像符号化装置の一実施
形態を示すブロック図

【図２】第１の動画像符号化装置における動き補償適応
予測回路の構成例を示すブロック図

【図３】本発明に係る第１の動画像復号化装置の一実施
形態を示すブロック図

【図４】第１の動画像復号化装置における動き補償適応
予測回路の構成例を示すブロック図

【図５】本発明に係る第２の動画像符号化装置の一実施
形態を示すブロック図

【図６】第２の動画像符号化装置における動き補償適応
予測回路の構成例を示すブロック図

【図７】図６の動き補償適応予測回路の動作を説明する
ための図

【図８】本発明に係る第２の動画像復号化装置の一実施
形態を示すブロック図

【図９】第２の動画像復号化装置における動き補償適応
予測回路の構成例を示すブロック図

【図１０】本発明に係る第３の動画像符号化装置におけ
る動き補償適応予測回路の構成例を示すブロック図

【図１１】図１０の動き補償適応予測回路の動作を説明
するための図

【図１２】本発明に係る第３の動画像符号化装置におけ
る動き補償適応予測回路の他の構成例を示すブロック図

【図１３】第１〜第３の動画像符号化装置および動画像
復号化装置で用いる動きベクトルコードブックに格納さ
れる動きベクトルコードベクトルの一例を示す図

【図１４】第１〜第３の動画像符号化装置および動画像
復号化装置で用いる動きベクトルコードブックに格納さ
れる動きベクトルコードベクトルの他の例を示す図

【図１５】本発明に係る第１の動画像復号化装置におけ
る動き補償適応予測回路の他の構成例を示すブロック図

【図１６】図１５の動き補償適応予測回路の動作を説明
するための図

【図１７】本発明に係る第１の動画像復号化装置におけ
る動き補償適応予測回路のさらに別の構成例を示すブロ
ック図

【図１８】本発明に係る第４の動画像符号化装置の一実
施形態を示すブロック図

【図１９】図１８における動き補償適応予測回路におい
て探索する動きベクトルの候補の例を示す図

【図２０】本発明に係る第４の動画像復号化装置の一実
施形態を示すブロック図

【図２１】本発明に係る第５の動画像符号化装置の一実
施形態を示すブロック図

【図２２】図２１の動画像符号化装置における動き補償
適応予測回路の動作を説明するための図

【図２３】本発明に係る第５の動画像復号化装置の一実
施形態を示すブロック図

【図２４】本発明に係る第６の動画像符号化装置におけ
る動き補償適応予測回路の構成例を示すブロック図

【図２５】図２４の動き補償適応予測回路の動作を説明
するための図

【図２６】本発明に係る第６の動画像復号化装置におけ
る動き補償適応予測回路の他の構成例を示すブロック図

【図２７】領域分割動き補償の領域分割形状および動き
ベクトルの探索法を説明するための図

【図２８】ベクトル量子化を用いた領域分割動き補償の
コードブック作成手順を示す流れ図

【図２９】第６の動画像符号化装置および動画像復号化
装置における大領域代表動きベクトルからの小領域動き
ベクトルの予測方法を説明するための図

【図３０】第６の動画像符号化装置および動画像復号化
装置における複数のベクトル量子化コードブックを切り
替える方法を説明するための図

【図３１】本発明に係る第７の動画像符号化装置におけ
る動き補償適応予測回路の構成例を示すブロック図

【図３２】図３１の動き補償予測回路における大領域代
表動きベクトルの探索法を説明するための図

【図３３】図３２の動き補償予測回路における領域分割
しない小領域動きベクトルの探索法を説明するための図

【図３４】本発明に係る動画像符号化／復号化装置が適
用されるシステムの例を示すブロック図

【図３５】図３４のシステムで使用される動画像符号化
装置および動画像復号化装置の概略構成を示すブロック
図

【符号の説明】

１０１…動き補償適応予測回路１０２…フレームメモリ１０３…減算器１０４…ＤＣＴ回路１０５…量子化回路１０６…可変長符号化回路１０７…逆量子化回路１０８…逆ＤＣＴ回路１０９…加算器１１０…マルチプレクサ１１１…可変長符号化回路１２１…動画像信号１２２…予測信号１２３…予測残差信号１２４…符号化予測残差信号１２５…前フレームの局部復号画像信号１２６…動きベクトルインデックス１２７…出力符号列１２８…大領域代表動きベクトル情報１２９…小領域動きベクトルインデックス１３０…符号化された大領域代表動きベクトル情報１３１…動きベクトル符号化回路１３５，１３６…符号化された動きベクトル情報２０１…予測部２０２…残差計算部２０３…制御部２０４…動きベクトルコードブック２１１…残差レベル信号２１２…コードブックインデックス２１３…コードベクトル２２１…第１の予測部２２２…第１の残差計算部２２３…第１の制御部２２４…第２の予測部２２５…第２の残差計算部２２６…第２の制御部２２７…差分動きベクトルコードブック２２８…加算器２３１…予測信号２３２…残差レベル信号２３３…動きベクトル２３４…残差レベル信号２３５…コードブックインデックス２３６…差分動きベクトル２３７…小領域動きベクトルの候補３０１…動き補償適応予測回路３０２…フレームメモリ３０６…可変長復号化回路３０７…逆量子化回路３０８…逆ＤＣＴ回路３０９…加算器３１０…デマルチプレクサ３１１…可変長復号化回路３２１…入力符号列３２２…符号化予測残差信号３２３…動き情報３２４…予測残差信号３２５…前フレームの再生画像信号３２６…予測信号３２７…再生画像信号３２８…符号化代表動きベクトル情報３２９…小領域動きベクトルインデックス３３０…大領域動きベクトル情報４０１…予測部４０２…動きベクトルコードブック４１０…コードベクトル（量子化された動きベクトル情
報）４１１…差分動きベクトルコードブック４１２…加算器４２１…コードベクトル（量子化された差分動きベクト
ル情報）４２２…小領域動きベクトル５０１…予測部５０２…残差計算部５０３…制御部５１１〜５１３…コードブック５１４…コードブックインデックス５１５…領域分割形状情報５１６，５１７…動きベクトル６０１〜６０３…コードブック６０４…予測部６１１…領域分割形状情報６１２，６１３…動きベクトル７０１，７３１…予測部７０２，７３２…残差計算部７０３，７３３…制御部７１０…残差レベル信号７１１〜７１４…コードブック７１５…コードブックインデックス、差分動きベクトル７１６…コードブックインデックス７１８〜７２０…加算器７２１…小領域動きベクトル候補７２２…領域分割形状情報７２３，７２４…動きベクトル候補７２５…フラグ７３４…可変長復号化回路７４１…動きベクトル、大領域動きベクトル候補７４２…予測信号７４３…残差レベル信号７４５…大領域動きベクトル８００…予測部８１１〜８１４…コードブック８１５…コードブックインデックス、差分動きベクトル８１６…コードブックインデックス８１８〜８２０…加算器８２１，８２３，８２４…小領域動きベクトル８２２…領域分割形状情報８２５…復号化回路８２６…フラグ８２７…可変長復号化回路８２８…大領域代表動きベクトル９０１…領域分割線端点９０２…領域分割線端点の変化範囲２００１…予測部２００２，２００５…制御部２００３…残差計算部２００４…大領域代表動きベクトル計算部２０１１…予備動きベクトル候補２０１０…予測信号２０１２…残差レベル信号２０１３…予備動きベクトル

Claims

【特許請求の範囲】

【請求項１】ベクトル量子化した動き情報を用いて動画
像信号を動き補償予測することにより予測信号を生成す
る予測手段と、前記予測信号についての予測残差信号を生成する予測残
差生成手段と、前記予測残差信号を符号化する第１の符号化手段と、前記ベクトル量子化した動き情報を符号化する第２の符
号化手段とを具備することを特徴とする動画像符号化装
置。
【請求項２】前記予測手段は、ベクトル量子化した動き
ベクトルの候補を複数個のコードベクトルとして格納し
たコードブックの前記予測残差信号で与えられる残差が
より小さくなるコードベクトルを示すインデックス情報
を前記ベクトル量子化した動き情報とするものであっ
て、前記動きベクトルの候補は、動き量のより小さな動
きベクトルの候補ほど細かい画素精度で配置されている
ことを特徴とする請求項１に記載の動画像符号化装置。
【請求項３】入力される符号列から動画像信号に対する
予測信号についての予測残差信号を復号化する第１の復
号化手段と、前記符号列からベクトル量子化された動き情報を復号化
する第２の復号化手段と、前記第２の復号化手段により復号化された動き情報を用
いて前記動画像信号を動き補償予測することにより予測
信号を生成する予測手段と、前記予測信号と前記予測残差信号から前記動画像信号を
再生する再生手段とを具備することを特徴とする動画像
復号化装置。
【請求項４】動画像信号を上位段階から下位段階にわた
って順次より多くの領域に段階的に分割し、各段階で分
割された領域毎に動き情報を用いて前記動画像信号を動
き補償予測することにより予測信号を生成する予測手段
と、前記予測手段により得られた各段階の予測信号のうち最
下位段階の予測信号についての予測残差信号を生成する
予測残差生成手段と、前記予測残差信号を符号化する第１の符号化手段と、前記予測手段において最上位段階の動き補償予測で用い
られた動き情報を符号化する第２の符号化手段と、前記予測手段において最上位段階以外の段階の動き補償
予測で用いられた動き情報を符号化する第３の符号化手
段とを具備し、前記予測手段は、前記最上位段階以外の少なくとも一部
の段階で、該段階で用いるべき動き情報の候補とより上
位の段階で用いるべき動き情報の候補との差分をベクト
ル量子化した差分動き情報から選択した一つの差分動き
情報と、より上位の段階で用いた動き情報との和を該段
階の動き情報として用いることを特徴とする動画像符号
化装置。
【請求項５】入力される符号列から動画像信号に対する
複数段階にわたる予測信号のうち最下位段階での予測信
号についての予測残差信号を復号化する第１の復号化手
段と、前記符号列から前記予測信号を生成する際に用いた動き
情報のうち最上位段階で用いた動き情報を復号する第２
の復号化手段と、前記符号列から前記予測信号を生成する際に用いた動き
情報のうち最上位段階以外の段階で用いた動き情報を復
号する第３の復号化手段と、前記第２および第３の復号化手段により復号された動き
情報を用いて前記動画像信号を動き補償予測することに
より最下位段階での予測信号を生成する予測手段と、前記予測信号と前記第１の復号化手段により復号化され
た予測残差信号から前記動画像信号を再生する再生手段
とを具備し、前記予測手段は、前記最上位段階以外の少なくとも一部
の段階で、該段階で用いるべき動き情報の候補とより上
位の段階で用いるべき動き情報の候補との差分をベクト
ル量子化した差分動き情報から選択した一つの差分動き
情報と、より上位の段階で用いた動き情報との和を該段
階の動き情報として用いることを特徴とする動画像復号
化装置。
【請求項６】動画像信号を画像の内容に応じて複数の領
域に分割し、該領域毎に該領域の分割形状を表わす領域
分割形状情報と該領域の動きベクトルとを組み合わせて
ベクトル量子化した動き情報を用いて前記動画像信号を
動き補償予測することにより予測信号を生成する予測手
段と、前記予測信号についての予測残差信号を生成する予測残
差生成手段と、前記予測残差信号を符号化する第１の符号化手段と、前記ベクトル量子化した動き情報を符号化する第２の符
号化手段とを具備することを特徴とする動画像符号化装
置。
【請求項７】入力される符号列から動画像信号に対する
予測信号についての予測残差信号を復号化する第１の復
号化手段と、前記符号列から前記動画像信号の領域毎に該領域の分割
形状を表わす領域分割形状情報と該領域の動きベクトル
とを組み合わせてベクトル量子化した動き情報を復号化
する第２の復号化手段と、前記第２の復号化手段により復号化された動き情報を用
いて前記動画像信号を動き補償予測することにより予測
信号を生成する予測手段と、前記予測信号と前記第１の復号化手段により復号化され
た予測残差信号から前記動画像信号を再生する再生手段
とを具備することを特徴とする動画像復号化装置。
【請求項８】動画像信号を動きベクトルを用いて動き補
償予測することにより予測信号を生成する予測手段と、前記予測信号についての予測残差信号を生成する予測残
差生成手段と、前記予測残差信号を符号化する第１の符号化手段と、前記動きベクトルの情報を動きベクトル相互間のユーク
リッド距離と符号語相互間のハミング距離が相関のある
符号語として符号化する第２の符号化手段とを具備する
ことを特徴とする動画像符号化装置。
【請求項９】入力される符号列から動画像信号に対する
予測信号についての予測残差信号を復号化する第１の復
号化手段と、前記符号列から動きベクトル相互間のユークリッド距離
と符号語相互間のハミング距離が相関のある符号語とし
て符号化された動きベクトルの情報を復号化する第２の
復号化手段と、前記第２の復号化手段により復号化された動きベクトル
の情報を用いて前記予測信号を生成する予測手段と、前記予測信号と前記予測残差信号から前記動画像信号を
再生する再生手段とを具備することを特徴とする動画像
復号化装置。
【請求項１０】ベクトル量子化した動きベクトルの候補
を複数個のコードベクトルとして格納したコードブック
中の予測残差信号がより小さくなるコードベクトルを示
すインデックス情報をベクトル量子化した動き情報とし
て用いて動画像信号を動き補償予測することにより予測
信号を生成する予測手段と、前記予測信号から前記予測残差信号を生成する予測残差
生成手段と、前記予測残差信号を符号化する第１の符号化手段と、前記インデックス情報が前記コードブックの全インデッ
クス中のどの範囲にあるかを示すインデックス限定情報
を符号化すると共に、前記ベクトル量子化した動き情報
を前記インデックス限定情報に基づいて決定された符号
語に符号化する第２の符号化手段とを具備することを特
徴とする動画像符号化装置。
【請求項１１】入力される符号列から動画像信号に対す
る予測信号についての予測残差信号を復号化する第１の
復号化手段と、入力される符号列からベクトル量子化した動き情報を示
すインデックス情報がベクトル量子化した動きベクトル
の候補を複数個のコードベクトルとして格納したコード
ブックの全インデックス中のどの範囲にあるかを示すイ
ンデックス限定情報を復号化すると共に、この復号化さ
れたインデックス限定情報に基づいて前記ベクトル量子
化した動き情報の符号語を判別して該ベクトル量子化し
た動き情報を復号化する第２の復号化手段と、前記第２の復号化手段により復号化された動き情報を用
いて前記動画像信号を動き補償予測することにより予測
信号を作成する予測手段と、前記予測信号と前記第１の復号化手段により復号化され
た予測残差信号から前記動画像信号を再生する再生手段
とを具備することを特徴とする動画像復号化装置。
【請求項１２】動画像信号を上位段階から下位段階にわ
たって順次より多くの領域に段階的に分割し、各段階で
分割された領域毎に動き情報を用いて前記動画像信号を
動き補償予測することにより予測信号を生成する予測手
段と、前記予測手段により得られた各段階の予測信号のうち最
下位段階の予測信号についての予測残差信号を生成する
予測残差生成手段と、前記予測残差信号を符号化する第１の符号化手段と、前記予測手段において最上位段階の動き補償予測で用い
られた動き情報を符号化する第２の符号化手段と、前記予測手段において最上位段階以外の段階の動き補償
予測で用いられた動き情報を符号化する第３の符号化手
段とを具備し、前記予測手段は、前記最上位段階以外の少なくとも一部
の段階で、より上位の段階で用いた動き情報から該段階
の動き情報を予測すると共に、該段階で用いるべき動き
情報の候補とより上位の段階で用いるべき動き情報の候
補との差分をベクトル量子化した差分動き情報から選択
した一つの差分情報と、前記予測された動き情報との和
を該段階の動き情報として用いることを特徴とする動画
像符号化装置。
【請求項１３】動画像信号を上位段階から下位段階にわ
たって順次より多くの領域に段階的に分割し、各段階で
分割された領域毎に動き情報を用いて前記動画像信号を
動き補償予測することにより予測信号を生成する予測手
段と、前記予測手段により得られた各段階の予測信号のうち最
下位段階の予測信号についての予測残差信号を生成する
予測残差生成手段と、前記予測残差信号を符号化する第１の符号化手段と、前記予測手段において最上位段階の動き補償予測で用い
られた動き情報を符号化する第２の符号化手段と、前記予測手段において最上位段階以外の段階の動き補償
予測で用いられた動き情報を符号化する第３の符号化手
段とを具備し、前記予測手段は、前記最上位段階以外の少なくとも一つ
の段階における動き情報を予備探索し、この予備探索さ
れた動き情報から該段階およびより上位の段階の少なく
とも一方の段階における動き情報を決定し、前記最上位
段階以外の少なくとも一部の段階で、より上位の段階で
用いた動き情報から該段階の動き情報を予測すると共
に、該段階で用いるべき動き情報の候補とより上位の段
階で用いるべき動き情報の候補との差分をベクトル量子
化した差分動き情報から選択した一つの差分情報と、前
記予測された動き情報との和を該段階の動き情報として
用いることを特徴とする動画像符号化装置。
【請求項１４】入力される符号列から動画像信号に対す
る複数段階にわたる予測信号のうち最下位段階での予測
信号についての予測残差信号を復号化する第１の復号化
手段と、前記符号列から前記予測信号を生成する際に用いた動き
情報のうち最上位段階で用いた動き情報を復号化する第
２の復号化手段と、前記符号列から前記予測信号を生成する際に用いた動き
情報のうち最上位段階以外の段階で用いた動き情報を復
号化する第３の復号化手段と、前記第２および第３の復号化手段により復号化された動
き情報を用いて前記動画像信号を動き補償予測すること
により最下位段階での予測信号を生成する予測手段と、前記予測信号と前記第１の復号化手段により復号化され
た予測残差信号から前記動画像信号を再生する再生手段
とを具備し、前記予測手段は、前記最上位段階以外の少なくとも一部
の段階で、より上位の段階で用いた動き情報から該段階
の動き情報を予測し、該段階で用いるべき動き情報の候
補とより上位の段階で用いるべき動き情報の候補との差
分をベクトル量子化した差分動き情報から選択した一つ
の差分情報と、前記予測された動き情報との和を該段階
の動き情報として用いることを特徴とする動画像復号化
装置。