JPH09172644A - アフィン変換による動き補償フレーム間予測方式を用いた動画像符号化・復号化装置 - Google Patents

Abstract

(57)【要約】 【課題】 画像フレーム間で高精度に動きベクトルを
得、被写体形状等に最適な領域分割をし、動きベクトル
の効率的符号復号化をして動き補償フレーム間予測す
る。 【解決手段】 動き補償フレーム間予測部１７は、フレ
ームメモリ部１６の参照画像と入力画像より符号化処理
領域を変化させ予測画像を生成し符号化サイド情報を
得、また動きベクトル探索部３２の探索時、処理対象の
位置により処理の有効／無効のマスクを有効領域選択部
３１で選び動きベクトルと参照画像より該画像に適した
処理領域を分割しアフィン変換及び平行移動を用い予測
画像を可変領域サイズ予測フレーム生成部３３で生成し
領域分割を制御し予測画像，動きベクトル，領域分割情
報等のサイド情報を領域分割パターン決定部３４で出力
しサイド情報符号化部３５で基本動きベクトルの平均と
の差分として付加動きベクトルを符号化、あるいは、隣
接する３本の動きベクトルのメディアン値から動きベク
トルを予測符号化する。予測部１７からの予測画像と入
力画像の差を符号化し伝送，蓄積される。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、動画像符号化装置
および動画像復号化装置に関し、より詳細には、アフィ
ン変換による動き補償フレーム間予測方式を用いた動画
像符号化装置および動画像復号化装置に関する。

【０００２】

【従来の技術】従来から、ＩＳＤＮ（Integrated Servi
ces Digital Network）網などの高速ディジタル網にお
いて、テレビ電話やテレビ会議システムなどの動画像通
信が実現されている。また、近年、ＰＨＳ（Personal H
andyphone System）に代表される無線伝送網の進展、お
よび、ＰＳＴＮ（Public Switched Telephone Networ
k）網におけるデータ変調・復調技術の進展、さらに、
画像圧縮技術の進展に伴い、より低ビットレート網にお
ける動画像通信への要求が高まっている。一般に、テレ
ビ電話やテレビ会議システムのように、動画像情報を伝
送する場合においては、動画像の情報量が膨大なのに対
して、伝送に用いる回線の回線速度やコストの点から、
伝送する動画像の情報量を圧縮符号化し、情報量を少く
して伝送することが必要となってくる。

【０００３】動画像情報を圧縮する符号化方式として
は、Ｈ.２６１，ＭＰＥＧ−１（Moving Picture Coding
Expert Group）、ＭＰＥＧ−２などが、すでに国際標
準化されている。さらに、６４kbps以下の超低ビットレ
ートでの符号化方式として、ＭＰＥＧ−４の標準化活動
が進められている。現在、標準化されている動画像映像
符号化方式では、フレーム間予測符号化およびフレーム
内符号化を組み合わせて行うハイブリッド映像符号化方
式を採用している。フレーム間予測符号化は、動画像を
符号化する際に、参照画像フレームから予測画像フレー
ムを生成し、現画像フレームとの差分を符号化すること
で符号量を減少させ伝送することで、伝送路の効率的な
利用を図るものである。フレーム間予測符号化方式に
は、ブロックマッチング，アフィン変換，ワープ予測な
どが知られている。以下に、アフィン変換を用いた従来
の動画像符号化装置および動画像復号化装置の説明を行
う。

【０００４】まず始めに、従来の動画像符号化装置の全
体の動作を説明する。図３は、従来の動画像符号化装置
の全体の構成例を示すものである。ここで、動き補償フ
レーム間予測符号化を行っている場合の定常状態とし
て、フレームメモリ部１６に、予測画像フレームを生成
する際に使用される参照画像フレームが記憶されている
とする。入力画像フレームがこの動画像符号化装置にお
ける減算部１１および動き補償フレーム間予測部１７に
入力される。動き補償フレーム間予測部１７では、フレ
ームメモリ部１６に記憶された参照画像フレームと入力
画像フレームから動き予測を行い、減算部１１に対して
予測画像フレームを出力する。減算部１１は、入力画像
フレームから動き補償フレーム間予測部１７より入力さ
れる予測画像フレームを減算し、減算した結果の予測誤
差情報を画像符号化部１２に出力する。

【０００５】画像符号化部１２は、入力された予測誤差
情報をＤＣＴ（Discrete Cosine Transform）変換など
の空間変換およびその量子化を行い、符号化画像情報と
して出力する。同時に、画像符号化部１２から出力され
た符号化画像情報は、画像復号部１４によりローカルに
復号され、加算部１５に出力される。加算部１５では、
動き補償フレーム間予測部１７から出力された予測画像
フレームと画像復号化部１４より出力された予測誤差情
報を加算し、新たな参照画像フレームを生成し、フレー
ムメモリ部１６へ出力する。フレームメモリ部１６は、
加算部１５より出力された新たな参照画像フレームを記
憶し、次の入力画像フレームの符号化の際に前記動き補
償フレーム間予測部１７に出力される。以上、説明した
ような動きを繰り返すことにより、動画像符号化装置で
は、連続した符号化画像情報（予測誤差情報）および符
号化サイド情報の出力を行う。

【０００６】次に、従来の動画像復号化装置の全体の動
作を説明する。図４は、従来の動画像復号化装置の全体
の構成例を示すものである。ここで、動き補償フレーム
間予測符号化を行っている場合の定常状態として、フレ
ームメモリ部２４に、予測画像フレームを生成する際に
使用される参照画像フレームが記憶されているとする。
動画像復号化装置に入力された符号化画像情報は、画像
復号化部２１に入力される。この画像復号化部２１で
は、画像符号化装置における画像復号化部１４と同一の
処理がなされて符号化画像情報を復号し、得られた誤差
画像フレームを加算部２２に出力する。

【０００７】一方、動画像復号化装置に入力された符号
化サイド情報は、動き補償フレーム間予測部２３に入力
される。動き補償フレーム間予測部２３は、入力された
符号化サイド情報を復号化し、動きベクトルを得る。さ
らに得た動きベクトルとフレームメモリ部２４から入力
される参照画像フレームより予測画像フレームを生成
し、加算部２２に出力する。加算部２２は、画像復号化
部２１より出力された誤差画像フレームと動き補償フレ
ーム間予測部２３より出力された予測画像フレームの加
算を行い、出力画像フレームを得る。この出力画像フレ
ームは、出力画像として動画像復号化装置から出力さ
れ、同時にフレームメモリ部２４に対しても出力され
る。フレームメモリ部２４は、加算部２２より出力され
た新たな参照画像フレームを記憶し、次の画像フレーム
の復号化の際に動き補償フレーム間予測部２３に出力さ
れる。以上、説明したような動作を繰り返すことによ
り、動画像復号化装置では、連続した出力画像フレーム
の出力を行う。

【０００８】次に、動画像符号化装置および動画像復号
化装置における動き補償フレーム間予測部の動作および
各部で用いられる従来の方式について説明する。まず、
動画像符号化装置における動き補償フレーム間予測部１
７の構成例および動作を説明する。図１１は、動画像符
号化装置の動き補償フレーム間予測部の従来例を示すも
のである。図１１に示すように、動き補償フレーム間予
測部１７は、動きベクトル探索部４１，固定領域サイズ
予測フレーム生成部４２，動きベクトル符号化部４３か
ら構成されている。動きベクトル探索部４１は、入力さ
れた入力画像フレームと、フレームメモリ部１６から入
力された参照画像フレームより動きベクトルを探索し、
固定領域サイズ予測フレーム生成部４２に出力する。動
きベクトル探索部４１は、動きベクトルを探索する際
に、処理領域の中央の画素に重み付けを行うことによ
り、コントロールグリッド点の動きベクトルを求め、固
定領域サイズ予測フレーム生成部４２に各コントロール
グリッド点の動きベクトルを出力する。

【０００９】従来方式では、処理領域は固定のサイズを
用いているため、コントロールグリッド点は１６画素や
８画素毎に設定されている。図１４は、１６画素毎で設
定されているコントロールグリッド，コントロールグリ
ッド点および動きベクトルの例を示すものである。固定
領域サイズ予測フレーム生成部４２は、動きベクトル探
索部４１から入力された動きベクトルとフレームメモリ
部１６から入力された前画像フレームより固定サイズ
（一般的には、１６×１６画素の矩形ブロックが使用さ
れる）を処理領域としたフレーム間予測を行う。フレー
ム間予測処理は、対象となる三角形領域の３点の位置お
よび動きベクトルよりアフィンパラメータを求め、求め
られたアフィンパラメータを使用して三角形領域内全て
の画素についてアフィン変換を行う。この処理を処理対
象となる全ての三角形領域で行い、予測画像フレームを
生成する。生成された予測画像フレームは、前述した減
算部１１および加算部１５に出力される。また、動きベ
クトルは、動きベクトル符号化部４３に出力される。

【００１０】動きベクトル符号化部４３は、固定領域サ
イズ予測フレーム生成部４２より入力された動きベクト
ルを符号化し、符号化サイド情報として出力する。動き
ベクトル符号化部４３での、動きベクトルの符号化方法
について説明する。動きベクトルの符号化においては、
動きベクトル値自体を直接符号化するのではなく、予測
符号化する事が一般的である。即ち、符号化対象動きベ
クトルに対する予測値を求めて、該予測値と当該動きベ
クトル値との差分を符号化することによる符号化効率の
改善、情報量の削減が行われる。前記予測値の求め方の
最も簡単な方法は、直前に符号化された動きベクトル値
を、次の動きベクトルの予測値とする方法である。この
方法では、隣接する動きベクトル値の差分が順次符号化
されていくこととなる。従って、動きベクトル間の相関
が高く、隣接する動きベクトルが、ほぼ同じ値を持つ場
合に、効率的な符号化が可能である。ＩＴＵ−Ｔ勧告
Ｈ．２６１で規定された動画像符号化方式では、動きベ
クトルの符号化方式として、この予測符号化方式を採用
している。

【００１１】また、別の方法として、直前の動きベクト
ルだけではなく、複数の動きベクトルから予測値を求め
る方法がある。この場合、符号化対象動きベクトルの、
左側方、上方、右斜め上方の各直近に位置する動きベク
トル、計３本の動きベクトル値を使って予測値を求める
事が行われる。前述の３本の動きベクトル値から予測値
を求める方法としては、これらの平均値を予測値とする
方法、あるいは、これらのメディアン値（中央値）を予
測値とする方法等が考えられる。この方法では、前述の
直前の動きベクトルだけから予測する方法と比較して、
更に広い範囲の動きベクトルとの相関、即ち高次の相関
が利用できるため、符号化効率の改善が可能である。特
に、メディアン値を予測値とすることが効果的であるこ
とが知られており、ＩＴＵ−Ｔ勧告案Ｈ．２６３で規定
された動画像符号化方式では、前記３本の動きベクトル
のメディアン値によって、動きベクトルを予測符号化す
る方式を採用している。

【００１２】次に、動画像復号化装置における動き補償
フレーム間予測部２３の構成および動作を説明する。図
１２は、この動画像復号化装置の動き補償フレーム間予
測部の構成を例示するものである。図１２に示すよう
に、動き補償フレーム間予測部２３は、固定領域サイズ
予測フレーム生成部５１，動きベクトル復号化部５２か
ら構成されている。この動き補償フレーム間予測部２３
に入力された符号化サイド情報は、動きベクトル復号化
部５２に入力される。動きベクトル復号化部５２では、
入力された符号化サイド情報を復号し、動きベクトルを
得、固定領域サイズ予測フレーム生成部５１に出力す
る。固定領域サイズ予測フレーム生成部５１は、動きベ
クトル復号化部５２より入力された動きベクトルおよび
フレームメモリ部２４より入力された参照画像フレーム
よりフレーム間予測処理を行う。

【００１３】フレーム間予測処理は、対象となる三角形
領域の３点の位置および動きベクトルよりアフィンパラ
メータを求め、求められたアフィンパラメータを使用し
て三角形領域内全ての画素についてアフィン変換を行
う。この処理を処理対象となる全ての三角形領域で行
い、予測画像フレームを生成する。固定領域サイズ予測
フレーム生成部５１は、得られた予測フレームを加算部
２２に出力する。

【００１４】次に、前記の動画像符号化装置および動画
像復号化装置の動き補償フレーム間予測部で用いられる
各種の方式に関して説明する。まず、動きベクトルの探
索方法について説明する。コントロールグリッド点の動
きベクトルを求める際には、一般に処理領域の中央の画
素に重み付けを行う画素マッチングという方式が用いら
れる。図１３は、ここで、用いられる重み付けの図を示
すものである。図１３では、コントロールグリッド点を
中心としてｘ方向，ｙ方向に２１画素の大きさを持って
いる。画素マッチングでは、現画像フレームの処理領域
と参照画像フレームのどの位置の領域とがマッチするか
を計算し、マッチしたところのｘ方向とｙ方向のずれを
動きベクトルとするが、マッチングの計算時に、現画像
フレームの処理領域と対応する参照画像フレームの領域
の差分に重み付けの係数を乗算することにより、処理領
域の中央の画素に注目した動きベクトルの探索を行って
いる。

【００１５】また、画像フレーム周辺のコントロールグ
リッド点における動きベクトルは、以下のように設定さ
れる。 ・４角のコントロールグリッド点における動きベクトル ｘ成分，ｙ成分ともに０とする。 ・上下のコントロールグリッド点における動きベクトル
(図１４中の三角の点) ｘ成分は、対象となるコントロールグリッド点の一つ内
側のコントロールグリッド点における動きベクトルのｘ
成分を設定する。ｙ成分は０とする。 ・左右のコントロールグリッド点における動きベクトル
（図１４中の丸の点） ｘ成分は０とする。ｙ成分は、対象となるコントロール
グリッド点の一つ内側のコントロールグリッド点におけ
る動きベクトルのｙ成分を設定する。

【００１６】次に、アフィン変換について説明する。ア
フィン変換は、ある画像フレームから別の画像フレーム
への写像を６つのパラメータにより表現することにより
行われる。一般的に、アフィンパラメータの計算の簡便
化などの理由により、アフィン変換は、三角形領域を対
象として行われる。図１５は前方向予測を行う場合のア
フィン変換を用いたフレーム間予測の説明図を示すもの
である。現画像フレームのコントロールグリッド点Ａ，
Ｂ，Ｃ，Ｄの動きベクトルを探索した結果、参照フレー
ムのコントロールグリッド点Ａ′，Ｂ′，Ｃ′，Ｄ′が
対応する位置であったとする。アフィンパラメータを求
めるためには、まず、４つのコントロールグリッド点の
うち３点を選択し領域の分割を行う。例えば、現画像フ
レームでは、Ａ，Ｂ，ＣとＢ，Ｃ，Ｄのような領域の分
割を行う。対応して参照画像フレームでは、Ａ′，
Ｂ′，Ｃ′とＢ′，Ｃ′，Ｄ′に分割される。領域を三
角形に分割した後、各三角形の頂点の位置（一方が頂点
の位置で、片方が動きベクトルでも良い）よりアフィン
パラメータを計算する。そして、求められたアフィンパ
ラメータより分割された三角形領域の内部の画素全てを
予測画像フレームに写像することにより、予測画像フレ
ームを生成する。この際、参照画像フレーム中で参照さ
れる画素位置が整数でなかった場合には、双線形内挿な
どの予測値の補間を行い、予測画像フレームの画素値の
決定を行う。以上の処理を行うことにより、予測画像フ
レームを生成する。

【００１７】

【発明が解決しようとする課題】しかしながら、前述し
たところの従来技術における固定領域サイズのアフィン
変換を用いた動き補償フレーム間予測では、被写体の大
きさが小さい場合や、被写体の周辺部分が複数の領域に
分割されて被写体のエッジと領域の切れ目が大きく異な
る場合など、動き予測効率が悪くなることがあるという
問題点があった。また、アフィン変換による動き補償フ
レーム間予測では、アフィン変換特有の幾何的歪みが発
生して、予測効率が低下し、結果として符号化映像品質
が悪くなる場合がある。特に、入力画像に領域の平行移
動による動きが含まれている場合に、このような動きを
正確には表現できずに、動き補償予測効率が、著しく低
下してしまう。また、画像フレームの周辺部に位置する
コントロールグリッド点の動きベクトルを設定する際
に、その内側のコントロールグリッド点から疑似的に設
定していたため、精度の高い動きベクトルが求められな
いことがあるという問題点があった。また、可変領域サ
イズのアフィン変換を行おうとした場合、従来に比べコ
ントロールグリッド点が増加するため、各コントロール
グリッド点における動きベクトルが増加することにな
る。そのため、動きベクトルの効率的な符号化が必要と
なる。特に、可変領域サイズのアフィン変換では、選択
された領域サイズに応じて、コントロールグリッド点の
数が変化するため、対応する動きベクトルの数も変化す
る。従って、画像フレーム内で動きベクトルが散在して
配置されることになり、従来の動きベクトル符号化方式
を、そのまま適用することは困難であり、効率も悪い。
そこで、可変領域サイズに適した、効率の良い動きベク
トル符号化方式が必要である。

【００１８】本発明は、このような従来技術の問題点に
鑑みてなされたもので、画像フレーム間における精度の
高い動きベクトルを求め、画像フレーム中の被写体の大
きさや形状に最適な領域分割を行い、動きベクトルの効
率的な符号化を行うこと、更に、上述の効率的に符号化
された動きベクトルの復号化を行い、画像フレーム中の
被写体の大きさや形状に最適な領域分割により予測され
た予測画像フレームの再現を行うことを目的とし、総合
すると動画像のより効率的な動き補償フレーム間予測，
より低ビットレートの回線を用いての動画像通信を可能
とすることをその目的とする。

【００１９】

【課題を解決するための手段】請求項１の発明は、動き
補償フレーム間予測を行うことにより得た予測画像フレ
ームと入力画像フレームとの差としての予測誤差情報を
符号化する動画像符号化装置において、動き補償フレー
ム間予測部が、動きベクトルおよび参照画像フレームよ
り該画像に適応した処理領域を分割し、アフィン変換を
用いた予測フレームを生成する可変領域サイズ予測フレ
ーム生成部と、処理領域の分割の制御を行い、予測画像
フレームおよび動きベクトル，領域分割情報などのサイ
ド情報を出力する領域分割パターン決定部を備えるよう
にしたものである。

【００２０】請求項２の発明は、動き補償フレーム間予
測を行うことにより得た予測画像フレームと入力画像フ
レームとの差としての予測誤差情報を符号化する動画像
符号化装置において、動き補償フレーム間予測部が、動
きベクトルおよび参照画像フレームより、処理領域の平
行移動による予測フレームと、該画像に適応した処理領
域を分割し、アフィン変換を用いた予測フレームとを生
成する可変領域サイズ予測フレーム生成部と、処理領域
の分割の制御を行い、予測画像フレームおよび動きベク
トル、領域分割情報などのサイド情報を出力する領域分
割パターン決定部を備えるようにしたものである。

【００２１】請求項３の発明は、動き補償フレーム間予
測を行うことにより得た予測画像フレームと入力画像フ
レームとの差としての予測誤差情報を符号化する動画像
符号化装置において、動き補償フレーム間予測部が、動
きベクトルの探索の際に、処理対象領域の画像フレーム
における位置によって、処理の有効／無効のマスクを選
択する有効領域選択部を備えるようにしたものである。

【００２２】請求項４の発明は、上記請求項１または請
求項２のいずれかの発明において、動き補償フレーム間
予測を行うことにより得た予測画像フレームと入力画像
フレームとの差としての予測誤差情報を符号化する動画
像符号化装置において、動き補償フレーム間予測部が、
動きベクトルの探索の際に、処理対象領域の画像フレー
ムにおける位置によって、処理の有効／無効のマスクを
選択する有効領域選択部を備えるようにしたものであ
る。

【００２３】請求項５の発明は、動き補償フレーム間予
測を行うことにより得た予測画像フレームと入力画像フ
レームとの差としての予測誤差情報を符号化する動画像
符号化装置において、動きベクトルの符号化部が、付加
動きベクトルの符号化を４本の基本動きベクトルの平均
との差分として符号化するサイド情報符号化部を備える
ようにしたものである。

【００２４】請求項６の発明は、上記請求項１または請
求項２のいずれかの発明において、前記領域分割パター
ン決定部における動きベクトルの符号化部が、付加動き
ベクトルの符号化を４本の基本動きベクトルの平均との
差分として符号化するサイド情報符号化部を備えるよう
にしたものである。

【００２５】請求項７の発明は、動き補償フレーム間予
測を行うことにより得た予測画像フレームと入力画像フ
レームとの差としての予測誤差情報を符号化する動画像
符号化装置において、動きベクトルの符号化部が、２本
の基本動きベクトル間に位置する付加動きベクトルを前
述の２本の基本動きベクトルの平均との差分として符号
化し、中央の付加動きベクトルを４本の基本動きベクト
ルの平均との差分として符号化するサイド情報符号化部
を備えるようにしたものである。

【００２６】請求項８の発明は、上記請求項１または請
求項２のいずれかの発明において、前記領域分割パター
ン決定部における動きベクトルの符号化部が、２本の基
本動きベクトル間に位置する付加動きベクトルを前述の
２本の基本動きベクトルの平均との差分として符号化
し、中央の付加動きベクトルを４本の基本動きベクトル
の平均との差分として符号化するサイド情報符号化部を
備えるようにしたものである。

【００２７】請求項９の発明は、動き補償フレーム間予
測により得た予測画像フレームと入力画像フレームとの
差としての予測誤差情報を符号化する動画像符号化装置
において、動きベクトルの符号化部が、符号化対象とな
る動きベクトルの左方、上方及び右上方に隣接して存在
する既に符号化された基本動きベクトルまたは付加動き
ベクトルを用いて、該符号化対象動きベクトル値を前記
３本の動きベクトル値から予測符号化するサイド情報符
号化部を備えるようにしたものである。

【００２８】請求項１０の発明は、上記請求項９の発明
において、動画像符号化装置における動きベクトル符号
化部が、前記３本の動きベクトルの平均値を符号化対象
動きベクトルの予測値とし、該符号化対象動きベクトル
値と前記予測値との差分を符号化するようにしたもので
ある。

【００２９】請求項１１の発明は、上記請求項９の発明
において、動画像符号化装置における動きベクトル符号
化部が、前記３本の動きベクトルのメディアン値（中央
値）を符号化対象動きベクトルの予測値とし、該符号化
対象動きベクトル値と前記予測値との差分を符号化する
ようにしたものである。

【００３０】請求項１２の発明は、上記請求項１または
請求項２のいずれかの発明において、前記領域分割パタ
ーン決定部が、上記請求項９，請求項１０または請求項
１１のいずれかの発明の動きベクトル符号化部を備える
ようにしたものである。

【００３１】請求項１３の発明は、上記請求項１，請求
項２，請求項４，請求項６，請求項８または請求項１２
のいずれかの発明において、前記動き補償フレーム間予
測部が、全ての領域分割の種類を可変領域サイズ予測フ
レーム生成部に指示し、予測誤差（誤差情報量）が最小
となる領域分割を採用し、サイド情報符号化部に対し動
きベクトルおよび領域分割情報を出力し、さらに、予測
画像フレームを出力する領域分割パターン決定部を備え
るようにしたものである。

【００３２】請求項１４の発明は、上記請求項１，請求
項２，請求項４，請求項６，請求項８または請求項１２
のいずれかの発明において、前記動き補償フレーム間予
測部が、初期設定として領域を２分割及び／または平行
移動による予測をするよう可変領域サイズ予測フレーム
生成部に指示し、生成された予測フレームの予測誤差
（誤差情報量）があらかじめ設定されている閾値以上で
あった場合に再度領域分割を細かくするよう可変領域サ
イズ予測フレーム生成部に指示し、予測誤差（誤差情報
量）が設定されている閾値以下になった領域分割情報お
よび動きベクトルをサイド情報符号化部に出力し、さら
に、予測画像フレームを出力する領域分割パターン決定
部部を備えるようにしたものである。

【００３３】請求項１５の発明は、上記請求項１，請求
項２，請求項４，請求項１３または請求項１４のいずれ
かの発明において、前記動画像符号化装置は、前記入力
画像フレームと前記動き補償フレーム間予測部からの予
測画像フレームが入力される減算部と、該減算部から入
力される誤差画像フレームを符号化制御部の指示に従っ
て符号化を行う画像符号化部と、画像符号化部から入力
される符号化画像情報を復号化する画像復号化部と、前
記動き補償フレーム間予測部からの予測画像フレームと
前記画像復号化部からの復元画像フレームとの加算を行
う加算部と、該加算部からの参照画像フレームを記憶
し、記憶した情報を前記動き補償フレーム間予測部へ出
力するフレームメモリ部を備えるようにしたものであ
る。

【００３４】請求項１６の発明は、動画像符号化装置か
ら入力される符号化サイド情報とフレームメモリ部から
入力される参照画像フレームより画像フレームを復元す
る動画像復号化装置において、符号化処理領域の大きさ
を変化させた予測画像フレームを生成し出力する動き補
償フレーム間予測部が、動画像符号化装置から出力され
る符号化サイド情報を復号し、動きベクトルおよび領域
分割情報を得るサイド情報復号化部と、サイド情報復号
化部からの動きベクトルおよび領域分割情報とフレーム
メモリ部からの参照画面フレームより予測画像フレーム
を生成する可変領域サイズ予測フレーム生成部を備える
ようにしたものである。

【００３５】請求項１７の発明は、動画像符号化装置か
ら入力される符号化サイド情報とフレームメモリ部から
入力される参照画像フレームより画像フレームを復元す
る動画像復号化装置において、動きベクトル復号化の際
に先んじて前記符号化サイド情報のうち４本の基本動き
ベクトルを復号化し、得られた基本動きベクトルの平均
との差分によって符号化された付加動きベクトルを復号
化するサイド情報復号化部を備えるようにしたものであ
る。

【００３６】請求項１８の発明は、上記請求項１６の発
明において、前記サイド情報復号化部が、動きベクトル
復号化の際に先んじて前記符号化サイド情報のうち４本
の基本動きベクトルを復号化し、得られた基本動きベク
トルの平均との差分によって符号化された付加動きベク
トルを復号化するようになされたものである。

【００３７】請求項１９の発明は、動画像符号化装置か
ら入力される符号化サイド情報とフレームメモリ部から
入力される参照画像フレームより画像フレームを復元す
る動画像復号化装置において、動きベクトル復号化の際
に先んじて前記符号化サイド情報のうち４本の基本動き
ベクトルを復号化し、２本の基本動きベクトル間に位置
する付加動きベクトルは得られた基本動きベクトルの２
本の平均との差分によって符号化されていると判断して
付加動きベクトルを復号化し、領域の中央の付加動きベ
クトルは得られた４本の基本動きベクトルの平均との差
分によって符号化されていると判断し、付加動きベクト
ルを復号化するサイド情報復号化部を備えるようにした
ものである。

【００３８】請求項２０の発明は、上記請求項１６の発
明において、前記サイド情報復号化部が、動きベクトル
復号化の際に先んじて前記符号化サイド情報のうち４本
の基本動きベクトルを復号化し、２本の基本動きベクト
ル間に位置する付加動きベクトルは得られた基本動きベ
クトルの２本の平均との差分によって符号化されている
と判断して付加動きベクトルを復号化し、領域の中央の
付加動きベクトルは得られた４本の基本動きベクトルの
平均との差分によって符号化されていると判断し、付加
動きベクトルを復号化するようになされたものである。

【００３９】請求項２１の発明は、動画像符号化装置か
ら入力される符号化サイド情報とフレームメモリ部から
入力される参照画像フレームより画像フレームを復元す
る動画像復号化装置において、動きベクトルの復号化の
際に、復号化対象となる動きベクトルの左方、上方及び
右上方に隣接して存在する既に復号化された基本動きベ
クトルまたは付加動きベクトルを用いて、該復号化対象
動きベクトル値を前記３本の動きベクトル値から予測復
号化するサイド情報復号化部を備えるようにしたもので
ある。

【００４０】請求項２２の発明は、上記請求項２１の発
明において、サイド情報復号化部が、動きベクトル復号
化の際に、前記３本の動きベクトルの平均値を復号化対
象動きベクトルの予測値とし、復号された差分値と前記
予測値とを加算することにより該復号化対象動きベクト
ル値を得るようにしたものである。

【００４１】請求項２３の発明は、上記請求項２１の発
明において、サイド情報復号化部が、動きベクトル復号
化の際に、前記３本の動きベクトルのメディアン値（中
央値）を復号化対象動きベクトルの予測値とし、復号さ
れた差分値と前記予測値とを加算することにより該復号
化対象動きベクトル値を得るようにしたものである。

【００４２】請求項２４の発明は、上記請求項１６の発
明において、前記サイド情報復号化部が、上記請求項２
１，請求項２２または請求項２３のいずれかの発明の動
きベクトル復号化方式を備えるようにしたものである。

【００４３】請求項２５の発明は、上記請求項１６，請
求項１８，請求項２０または請求項２４のいずれかの発
明において、前記動画像復号化装置は、動画像符号化装
置から入力される符号化画像情報を復号化し、復元画像
フレームを出力する画像復号化部と、該画像復号化部よ
り入力される復元画像フレームと前記動き補償フレーム
間予測部から入力される予測画像フレームを加算し、出
力画像フレームとして装置外に出力する加算部と、該加
算部からの画像フレームを記憶し、前記動き補償フレー
ム間予測部へ参照画像フレームとして出力するフレーム
メモリ部を備えるようにしたものである。

【００４４】

【発明の実施の形態】動画像符号化装置および動画像復
号化装置の全体的な動作は、従来の動画像符号化装置お
よび動画像復号化装置について上記したところで説明し
たものと同様であり、動画像符号化装置の構成例が図３
に、動画像復号化装置の構成例が図４に示されている。
従って、ここでは、動画像符号化装置における動き補償
フレーム間予測部および動画像復号化装置における動き
補償フレーム間予測部に関する動作を説明する。

【００４５】まず始めに、動画像符号化装置における本
発明の動き補償フレーム間予測部の説明を行う。図１
は、動画像符号化装置における動き補償フレーム間予測
部１７の構成例を示す図である。図１において、３１は
有効領域選択部、３２は動きベクトル探索部、３３は可
変領域サイズ予測フレーム生成部、３４は領域分割パタ
ーン決定部、３５はサイド情報符号化部である。有効領
域選択部３１は、入力された入力画像フレームにおける
コントロールグリッド点の位置より有効領域選択マスク
を選択し、動きベクトル探索部３２に出力する。動きベ
クトル探索部３２は、有効領域選択部３１により指定さ
れた有効領域選択マスクを用いて、入力された入力画像
フレームとフレームメモリ部１６から入力された参照画
像フレームよりコントロールグリッド点の動きベクトル
を探索し、可変領域サイズ予測フレーム生成部３３に出
力する。可変領域サイズ予測フレーム生成部３３は、動
きベクトル探索部３２から入力された動きベクトルとフ
レームメモリ部１６から入力された参照画像フレームよ
りフレーム間予測を行う。

【００４６】フレーム間予測処理は、対象となる三角形
領域の３点の位置および動きベクトルよりアフィンパラ
メータを求め、求められたアフィンパラメータを使用し
て三角形領域内全ての画素についてアフィン変換を行
う。この処理を処理対象となる全ての三角形領域で行
い、予測画像フレームを生成する。三角形による領域分
割の種類は、図５に示す２６種類であり、１６×１６画
素の矩形領域を、２分割で２種類，５分割で８種類，８
分割で１６種類となる。これらの領域分割形態には、固
有の番号１〜２６が割り振られており、この番号を領域
分割番号と呼ぶ。可変領域サイズ予測フレーム生成部３
３は、前述のアフィン変換処理によって生成した予測画
像フレームに加えて、矩型領域の平行移動による予測画
像も出力する。平行移動による予測では、処理対象矩型
領域に対する一つの代表動きベクトルだけを利用する。
該代表動きベクトルは、アフィン変換の場合のような領
域頂点ではなく、矩型領域中心の動きベクトルを用い
る。平行移動による予測画像の生成においては、処理対
象矩型領域の画像フレーム内の位置を、代表動きベクト
ル分だけ変位させた位置の参照画像フレーム上の矩型領
域を、該処理対象矩型領域に対する予測画像とする処理
が行われる。また、代表動きベクトルを、矩型領域の中
心の動きベクトルではなく、矩型領域頂点であるコント
ロールグリッド点に位置する四つの動きベクトルから、
これら動きベクトルの平均値等として求めることもでき
る。

【００４７】領域分割パターン決定部３４では、可変領
域サイズ予測フレーム生成部３３より出力された予測画
像フレームと入力画像フレームとの差分を計算し、再分
割の必要性，最小誤差情報量となる領域分割を判断す
る。該領域分割パターン決定部３４での選択の候補とな
る領域分割の種類としては、図５に示す２６種類全て
を、選択の候補としても良いし、２６種類のうちから限
定された数の領域分割パターンだけを候補とすることも
できる。例えば、三角形領域の斜辺の方向を右上から左
下だけに限定した領域分割パターンである図５の番号
１、３、５、１１の４種類、また、斜辺の方向を逆方向
に限定した番号２、７、９、２６の４種類、これらを組
み合わせた番号１、２、３、５、７、９、１１、２６の
８種類から選択する場合などがある。また、図５に示す
８分割を更に細かく分割した領域分割パターンを選択の
候補に加えても良いし、分割の元となる矩型領域の大き
さを１６×１６画素以外の値とすることも可能であり、
３２×３２画素、あるいは８×８画素等とすることもで
きる。

【００４８】更には、該領域分割パターン決定部３４で
の選択の候補として、前記予測フレーム生成部３３にお
いて、領域分割されアフィン変換されて生成された予測
画像、及び、平行移動により生成された予測画像、の両
方を用いる。例えば、図５に示す２６種類の領域分割パ
ターンを領域分割の候補とする場合、領域分割パターン
決定部３４は、これらに平行移動による予測を加えた計
２７種類の候補から最小誤差情報量となるものを判断す
る。また、領域分割パターン決定部３４は、最小誤差情
報量となる領域分割が求められた場合には、減算部１１
および加算部１５に対して予測画像フレームを、そし
て、サイド情報符号化部３５に対して動きベクトルおよ
び領域分割情報を出力する。サイド情報符号化部３５
は、領域分割パターン決定部３４より入力された動きベ
クトルと領域分割情報を符号化して符号化サイド情報と
して出力する。

【００４９】以上、説明したような動作を繰り返すこと
により、動画像符号化装置における動き補償フレーム間
予測部１７では、連続した予測画像フレームおよび符号
化サイド情報の出力を行う。

【００５０】また、図２は、動画像復号化装置における
動き補償フレーム間予測部２３の構成例を示す図であ
る。図２において、３７は可変領域サイズ予測フレーム
生成部、３８はサイド情報復号化部である。動き補償フ
レーム間予測部２３に入力された符号化サイド情報は、
サイド情報復号化部３８に入力される。サイド情報復号
化部３８では、入力された符号化サイド情報を復号し、
基本動きベクトル，付加動きベクトルおよび領域分割情
報を得、可変領域サイズ予測フレーム生成部３７に出力
する。可変領域サイズ予測フレーム生成部３７は、サイ
ド情報復号化部３８から入力された動きベクトルおよび
領域分割情報，フレームメモリ部２４から入力された参
照前画像フレームよりフレーム間予測を行う。この際、
領域分割情報に従って領域を分割し、三角形単位でフレ
ーム間予測処理を行う。

【００５１】フレーム間予測処理は、対象となる三角形
領域の３点の位置および動きベクトルよりアフィンパラ
メータを求め、求められたアフィンパラメータを使用し
て三角形領域内全ての画素についてアフィン変換を行
う。この処理を処理対象となる全ての三角形領域で行
い、予測画像フレームを生成する。可変領域サイズ予測
フレーム生成部３７は、入力された領域分割情報に応じ
て、前述のアフィン変換処理によって生成した予測画像
フレーム、または、矩型領域の平行移動による予測画像
を出力する。平行移動による予測の場合には、処理対象
矩型領域の画像フレーム内の位置を、領域に対する一つ
の代表動きベクトル分だけ変位させた位置の参照画像フ
レーム上の矩型領域を、該処理対象矩型領域に対する予
測画像とする処理が行われる。可変領域サイズ予測フレ
ーム生成部３７は、生成した予測画像フレームを加算部
２２に出力する。以上、説明したような動作を繰り返す
ことにより、動画像復号化装置における動き補償フレー
ム間予測部２では、連続した予測画像フレームの出力を
行う。

【００５２】次に、本発明における動きベクトルの探索
方式に関して説明する。図６は、コントロールグリッド
と動きベクトルを説明するための図で、同図によって、
まず、コントロールグリッド点の設定に関して説明す
る。本発明での処理領域は、可変のサイズを用いている
ため、コントロールグリッド点は、図６に示すように設
定される。図６の例では、１６×１６画素および８×８
画素単位にコントロールグリッド点が設定されている。
動きベクトルの探索においては、従来の探索方法と同様
に重み付けを用いるが、本発明では更に有効領域選択マ
スクを用いる。有効領域マスクを用い、処理領域の領域
を有効／無効を指定する。

【００５３】図７は、全ての種類の有効領域選択マスク
を示す図である。有効領域選択マスクは、画像フレーム
中にあるコントロールグリッド点の位置により異なるマ
スクを用いる。入力画像フレームの左上のコントロール
グリッド点（＝座標（０，０））における動きベクトル
を探索する際には、１のマスクを用いる。座標（８，
０）のコントロールグリッド点の動きベクトルを探索す
る際には２のマスクを、座標（１６，０）では３のマス
クを、座標（０，８）では６のマスクを、座標（８，
８）では７のマスクを、座標（８，１６）以降では８の
マスクを、座標（０，１６）では１１のマスクを、座標
（８，１６）では１２のマスクを、座標（１６，１６）
では１３のマスクを用いる。以下、同様に画像フレーム
の右端，下端では、４，５，９，１０，１４，１５，１
６，１７，１８，１９，２０，２１，２２，２３，２
４，２５のマスクを用いる。本発明では、上記のよう
に、処理領域の一部のみを用いて動きベクトルの探索を
行う。

【００５４】動きベクトルの符号化方式について、以下
の２つの方式を例示できる。これを図６の処理領域にお
ける動きベクトルの図を用いて説明する。 （１）方式１ ・基本動きベクトル（ＭＶ１〜４）を符号化する（従来
の動きベクトルの符号化と同様）。直前に符号化された
動きベクトルの値との差分により符号化する。 ・基本動きベクトル（ＭＶ１〜４）から以下のように予
測値を設定し、付加動きベクトル（ｍｖ１〜５）は、予
測値との差分を符号化する。ＰＭＶ１，ＰＭＶ２，ＰＭ
Ｖ３，ＰＭＶ４，ＰＭＶ５は、それぞれ付加動きベクト
ルｍｖ１，ｍｖ２，ｍｖ３，ｍｖ４，ｍｖ５の予測値で
あり、 ＰＭＶ１＝（ＭＶ１＋ＭＶ２）／２ ＰＭＶ２＝（ＭＶ１＋ＭＶ３）／２ ＰＭＶ３＝（ＭＶ１＋ＭＶ２＋ＭＶ３＋ＭＶ４）／４ ＰＭＶ４＝（ＭＶ２＋ＭＶ４）／２ ＰＭＶ５＝（ＭＶ３＋ＭＶ４）／２ で表される。ｍｖ１，ｍｖ２，ｍｖ３，ｍｖ４，ｍｖ５
とＰＭＶ１，ＰＭＶ２，ＰＭＶ３，ＰＭＶ４，ＰＭＶ５
の差分をとり、差分値を符号化する。ｄｍｖ１，ｄｍｖ
２，ｄｍｖ３，ｄｍｖ４，ｄｍｖ５は、それぞれ付加動
きベクトルの差分値であり、 ｄｍｖ１＝ｍｖ１−ＰＭＶ１ ｄｍｖ２＝ｍｖ２−ＰＭＶ２ ｄｍｖ３＝ｍｖ３−ＰＭＶ３ ｄｍｖ４＝ｍｖ４−ＰＭＶ４ ｄｍｖ５＝ｍｖ５−ＰＭＶ５ で表される。

【００５５】（２）方式２ ・基本動きベクトル（ＭＶ１〜４）を符号化する（従来
の動きベクトルの符号化と同様）。直前に符号化された
動きベクトルの値との差分により符号化する。 ・４本の基本動きベクトル（ＭＶ１〜４）の平均を予測
値として、付加動きベクトル（ｍｖ１〜５）は、予測値
との差分を符号化する。ＰＭＶは予測値である。 ＰＭＶ＝（ＭＶ１＋ＭＶ２＋ＭＶ３＋ＭＶ４）／４ ｍｖ１，ｍｖ２，ｍｖ３，ｍｖ４，ｍｖ５とＰＭＶとの
差分をとり、差分値を符号化する。ｄｍｖ１，ｄｍｖ
２，ｄｍｖ３，ｄｍｖ４，ｄｍｖ５は、それぞれ付加動
きベクトルの差分値であり、 ｄｍｖ１＝ｍｖ１−ＰＭＶ ｄｍｖ２＝ｍｖ２−ＰＭＶ ｄｍｖ３＝ｍｖ３−ＰＭＶ ｄｍｖ４＝ｍｖ４−ＰＭＶ ｄｍｖ５＝ｍｖ５−ＰＭＶ で表される。

【００５６】また、基本動きベクトルおよび付加動きベ
クトルの復号方式を符号化時と同様に２つの方式を例と
して説明する。 （１）方式１ ・基本動きベクトル（ＭＶ１〜４）を復号化する（従来
の動きベクトルの復号化と同様）。直前に復号化された
動きベクトルの値との差分として復号される。 ・付加動きベクトル（ｍｖ１〜５）を基本動きベクトル
（ＭＶ１〜４）からの予測値との差分として復号し、差
分を予測値に加算する。予測値は、符号化時と同様、以
下のように設定する。ＰＭＶ１，ＰＭＶ２，ＰＭＶ３，
ＰＭＶ４，ＰＭＶ５は、それぞれｍｖ１，ｍｖ２，ｍｖ
３，ｍｖ４，ｍｖ５の予測値であり、 ＰＭＶ１＝（ＭＶ１＋ＭＶ２）／２ ＰＭＶ２＝（ＭＶ１＋ＭＶ３）／２ ＰＭＶ３＝（ＭＶ１＋ＭＶ２＋ＭＶ３＋ＭＶ４）／４ ＰＭＶ４＝（ＭＶ２＋ＭＶ４）／２ ＰＭＶ５＝（ＭＶ３＋ＭＶ４）／２ で表される。ｄｍｖ１，ｄｍｖ２，ｄｍｖ３，ｄｍｖ
４，ｄｍｖ５は、復号化された差分値であり、 ｍｖ１＝ＰＭＶ１＋ｄｍｖ１ ｍｖ２＝ＰＭＶ２＋ｄｍｖ２ ｍｖ３＝ＰＭＶ３＋ｄｍｖ３ ｍｖ４＝ＰＭＶ４＋ｄｍｖ４ ｍｖ５＝ＰＭＶ５＋ｄｍｖ５ で表される。

【００５７】（２）方式２ ・基本動きベクトル（ＭＶ１〜４）を復号化する（従来
の動きベクトルの復号化と同様）。直前に復号化された
動きベクトルとの差分として復号化される。 ・付加動きベクトル（ｍｖ１〜５）を基本動きベクトル
（ＭＶ１〜４）からの予測値との差分として復号し、差
分を予測値に加算する。予測値は、符号化時と同様、４
本の基本動きベクトルの平均とする。ＰＭＶは、予測値
である。 ＰＭＶ＝（ＭＶ１＋ＭＶ２＋ＭＶ３＋ＭＶ４）／４ ｄｍｖ１，ｄｍｖ２，ｄｍｖ３，ｄｍｖ４，ｄｍｖ５
は、復号化された差分値であり、 ｍｖ１＝ＰＭＶ＋ｄｍｖ１ ｍｖ２＝ＰＭＶ＋ｄｍｖ２ ｍｖ３＝ＰＭＶ＋ｄｍｖ３ ｍｖ４＝ＰＭＶ＋ｄｍｖ４ ｍｖ５＝ＰＭＶ＋ｄｍｖ５ で表される。

【００５８】更に、もう一つの動きベクトルを符号化す
る方式について説明する。前述の動きベクトル符号化方
式では、初めに基本動きベクトルを符号化した後で、そ
れらの基本動きベクトルの情報を使って、付加動きベク
トルを符号化していたが、以下の方式では、基本動きベ
クトル、付加動きベクトルの区別なく、符号化が必要な
動きベクトルを順次符号化していく点で異なっている。
図８（ａ）に本発明における領域分割の例を示す。図８
（ａ）には、各領域が図のように領域分割された場合
の、コントロールグリッド点と対応する動きベクトルが
存在する位置が合わせて示してある。これら動きベクト
ルは、サイド情報符号化部３５においてすべて符号化す
る必要がある一方、それ以外の動きベクトルについて
は、領域分割パターン決定部３４で決定された領域分割
に基づく予測画像フレームの生成には必要ないため、符
号化されない。このように本発明の動画像符号化装置で
は、必ずしもすべてのコントロールグリッド点の動きベ
クトルを符号化する必要はなく、符号化対象の画像フレ
ームの領域分割の結果に応じて、必要な動きベクトルと
不要な動きベクトルとが存在する。

【００５９】本発明における動きベクトルの符号化方
式、特に動きベクトルの予測値の求め方について、図８
（ｂ）を参照して説明する。まず、符号化対象動きベク
トルＭＶに対する予測値を求める為に、左方、上方、及
び右上方の動きベクトル値を得る。左方の動きベクトル
については、図のＬ０、Ｌ１の二つの位置の動きベクト
ルＭＶＬ０、ＭＶＬ１を調べる。これらの内、いずれか
一方の動きベクトルのみが存在する場合には、その動き
ベクトルを左方動きベクトルとする。また、両方の動き
ベクトルが共に存在する場合には、符号化対象動きベク
トルに、より近い位置の動きベクトル、即ち、ＭＶＬ１
を左方動きベクトルとする。更に、両方の動きベクトル
が共に存在しない場合には、適当な値、例えば（０，
０）、を左方動きベクトル値とする。同様にして、上方
については、Ｕ０、Ｕ１の位置の動きベクトルＭＶＵ
０、ＭＶＵ１から上方動きベクトルを得、右上方につい
ては、Ｒ０、Ｒ１の位置の動きベクトルＭＶＲ０、ＭＶ
Ｒ１から右上方動きベクトルを得る。

【００６０】次に前述のようにして得られた三つの動き
ベクトルである、左方動きベクトル、上方動きベクト
ル、右上方動きベクトルとから、符号化対象動きベクト
ルの予測値を計算する。この予測値の計算方法として
は、従来と同様な方法が利用でき、これら三つの動きベ
クトル値の平均値を求める方法、メディアン値（中央
値）を求める方法等がある。更に、こうして得られた予
測値と、符号化対象動きベクトル値との差分が符号化さ
れることも従来の方式と同様である。図８（ｃ）に、図
８（ａ）のような領域分割が選択された場合の動きベク
トルの符号化の例を示す。前述の通り、符号化対象動き
ベクトルＭＶ０に対して、左方動きベクトルとしては、
ＭＶ１、ＭＶ２のうちＭＶ０に近い方のＭＶ１が、上方
動きベクトルとしてはＭＶ３が、右上方動きベクトルと
してはＭＶ４が得られる。

【００６１】次に本発明の動画像復号化装置におけるサ
イド情報復号化部３８での動きベクトルの復号化方法に
ついて説明する。動きベクトルの復号化においては、前
述の符号化方法と同様な方法で、復号化されて存在する
動きベクトルから、復号化対象動きベクトルの左方、上
方、右上方の動きベクトルが得られる。これらの動きベ
クトルは、符号化側で得られたそれぞれの動きベクトル
と完全に同一である。従って、これら三つの動きベクト
ルから求められる復号化対象動きベクトルの予測値も、
符号化時の予測値と同一である。動画像復号化装置で
は、サイド情報復号化部３８に入力される符号化された
予測値との差分が復号され、前述の予測値と加算される
ことによって復号化対象動きベクトル値が復元される。

【００６２】次に、領域分割情報の符号化および復号化
について説明する。領域分割情報の符号化においては、
領域分割情報は１〜２６までの値をとるため、一つの領
域分割情報の記述に５ビットが必要である。しかし、領
域分割番号の発生頻度に偏りが見られる場合には、出現
頻度の高い領域分割番号に短い符号長の符号を割り当
て、出現頻度の低い領域分割番号に長い符号長の符号を
割り当てる可変長符号化を行う。領域分割情報の復号化
においては、可変長復号化することで、領域分割情報の
復号化を行う。

【００６３】次に、領域分割パターン決定部３４および
周辺の動作を図９および図１０に示す処理フロー例を用
いて説明する。図９は、全ての領域分割の種類に関する
誤差情報量を求め、その中で最も誤差情報量が小さな動
きベクトルと領域分割を出力する場合の処理フローを示
し、図１０は、誤差情報量と閾値を比較することによ
り、再分割の必要性を判断する場合の処理フローを示
す。まず、図９の処理フロー１について説明すると、始
めに動きベクトルを探索するコントロールグリッド点の
座標より有効領域選択を行い、動きベクトルの探索を行
う（ステップ１）。この時、全ての領域分割タイプを処
理可能なように、全ての基本動きベクトルおよび付加動
きベクトルを探索する。そして、各領域の三角形毎にア
フィンパラメータを計算し、アフィン変換および画素値
の補間を行い、予測画像フレームを生成する（ステップ
２）。この時、アフィン変換処理によって生成した予測
画像フレームに加えて、矩型領域の平行移動による予測
画像も出力される。平行移動による予測では、処理対象
矩型領域の画像フレーム内の位置を、領域に対する一つ
の代表動きベクトル分だけ変位させた位置の参照画像フ
レーム上の領域が、予測画像として出力される。

【００６４】そして、各領域分割タイプ毎に誤差情報量
の計算をし、誤差情報量の比較を行い、誤差情報量が最
小となる領域分割を採用する（ステップ３）。ここで、
選択の候補となる領域分割の種類は、前述したとおり、
図５に示す２６種類全て、あるいは、限定された数の領
域分割パターン、例えば、図５の番号１、３、５、１１
の４種類、または、番号２、７、９、２６の４種類、こ
れらを組み合わせた番号１、２、３、５、７、９、１
１、２６の８種類、などである。更に選択の候補とし
て、領域分割されアフィン変換されて生成された予測画
像、及び、平行移動により生成された予測画像、の両
方、例えば、図５に示す２６種類の領域分割パターンに
平行移動による予測を加えた計２７種類を用いることも
前述のとおりである。採用された領域分割番号および動
きベクトル（基本動きベクトルおよび付加動きベクト
ル）を符号化し、予測画像フレームおよび符号化サイド
情報を出力する（ステップ４）。

【００６５】次に、図１０の処理フロー２について説明
すると、始めに動きベクトルを探索するコントロールグ
リッド点の座標より有効領域選択を行い、動きベクトル
の探索を行う（ステップ１）。この時、領域分割タイプ
は、領域分割番号の１または２（１と２の両方を指定
し、誤差情報量の少ない方を初期番号としてもよい）を
指定する。そして、各領域の三角形毎にアフィンパラメ
ータを計算し、アフィン変換および画素値の補間を行
い、予測画像フレームを生成する（ステップ２）。この
時、アフィン変換処理によって生成した予測画像フレー
ムに加えて、矩型領域の平行移動による予測画像も出力
される。平行移動による予測では、処理対象矩型領域の
画像フレーム内の位置を、領域に対する一つの代表動き
ベクトル分だけ変位させた位置の参照画像フレーム上の
領域が、予測画像として出力される。

【００６６】そして、各領域分割タイプ毎に誤差情報量
の計算をし、誤差情報量とあらかじめ設定された閾値と
の比較を行い（ステップ３）、誤差情報量が閾値より大
きかった場合には、領域分割番号を変化させ処理を行
う。ここで、次に処理される領域分割番号は、前述した
とおり、図５に示す２６種類全て、あるいは、限定され
た数の領域分割パターン、例えば、図５の番号１、３、
５、１１の４種類、または、番号２、７、９、２６の４
種類、これらを組み合わせた番号１、２、３、５、７、
９、１１、２６の８種類、などから選択される。また、
誤差情報量が閾値以下であれば、その場合の領域分割情
報を採用する（ステップ４）。採用された領域分割番号
および動きベクトル（基本動きベクトルおよび付加動き
ベクトル）を符号化し、予測画像フレームおよび符号化
サイド情報を出力する（ステップ５）。

【００６７】

【発明の効果】以上の説明から明らかなように、本発明
によると、以下のような効果がある。 （１）請求項１に対応する効果：動き補償フレーム間予
測において、動きベクトルおよび参照画像フレームより
処理領域を適応的に分割し、アフィン変換を用いた予測
フレームを生成する可変領域サイズ予測フレーム生成部
と、処理領域の分割の制御を行い、予測画像フレームお
よび動きベクトル，領域分割情報などのサイド情報を出
力する領域分割パターン決定部を備えることを特徴とす
る動画像符号化装置により、被写体の大きさ，形状に最
適な領域分割が可能となり、誤差情報量が削減され、効
率的な動画像符号化が可能となる。

【００６８】（２）請求項２に対応する効果：動き補償
フレーム間予測において、動きベクトルおよび参照画像
フレームより、処理領域の平行移動による予測フレーム
と、該画像に適応した処理領域を分割し、アフィン変換
を用いた予測フレームとを生成する可変領域サイズ予測
フレーム生成部と、処理領域の分割の制御を行い、予測
画像フレームおよび動きベクトル、領域分割情報などの
サイド情報を出力する領域分割パターン決定部を備える
ことを特徴とする動画像符号化装置により、被写体の大
きさ、形状に最適な領域分割が可能となり、更には、ア
フィン変換特有の幾何的歪みの発生による予測効率の低
下を防ぎ、また、入力画像に領域の平行移動による動き
が含まれている場合でも動きの正確な表現が可能とな
り、誤差情報量が削減された効率的な動画像符号化が可
能となる。

【００６９】（３）請求項３に対応する効果：動き補償
フレーム間予測において、動きベクトルの探索の際に、
処理対象領域の画像フレームにおける位置によって、処
理の有効／無効のマスクを選択する有効領域選択部を備
えることを特徴とする動画像符号化装置により、画像フ
レームの周辺のコントロールグリッド点における動きベ
クトルをより高精度に探索することが可能となる。

【００７０】（４）請求項４に対応する効果：請求項３
記載の動きベクトル探索方式を備えた請求項１または請
求項２記載の動画像符号化装置に相当するもので、これ
により、画像フレームの周辺のコントロールグリッド点
における動きベクトルをより高精度に探索することが可
能となり、前記動きベクトルを用いる動き補償フレーム
間予測において、より効率的な予測が可能となる。

【００７１】（５）請求項５に対応する効果：動きベク
トルの符号化において、付加動きベクトルの符号化を４
本の基本動きベクトルの平均との差分として符号化する
サイド情報符号化部を備えることを特徴とする動画像符
号化装置により、サイド情報の符号化において動きベク
トルの符号量を削減することが可能となる。

【００７２】（６）請求項６に対応する効果：請求項１
または請求項２の効果に加えて、請求項５記載の動きベ
クトル符号化方式を備えることにより、サイド情報の符
号化において動きベクトルの符号量を削減することが可
能となり、更に、被写体の大きさ、形状に最適な領域分
割が可能となり、また、アフィン変換特有の幾何的歪み
の発生による予測効率の低下を防ぐと共に、入力画像に
領域の平行移動による動きが含まれている場合でも動き
の正確な表現が可能となり、誤差情報量が削減され、効
率的な動画像符号化が可能となる。

【００７３】（７）請求項７に対応する効果：動きベク
トルの符号化において、２本の基本動きベクトル間に位
置する付加動きベクトルの符号化においては、前述の２
本の基本動きベクトルの平均との差分として符号化し、
中央の付加動きベクトルの符号化においては、４本の基
本動きベクトルの平均との差分として符号化するサイド
情報符号化部を備えることを特徴とする動画像符号化装
置により、サイド情報の符号化において動きベクトルの
符号量を削減することが可能となる。

【００７４】（８）請求項８に対応する効果：請求項１
または請求項２の効果に加えて、請求項７記載の動きベ
クトル符号化方式を備えることにより、サイド情報の符
号化において動きベクトルの符号量を削減することが可
能となり、更に、被写体の大きさ、形状に最適な領域分
割が可能となり、また、アフィン変換特有の幾何的歪み
の発生による予測効率の低下を防ぐと共に、入力画像に
領域の平行移動による動きが含まれている場合でも動き
の正確な表現が可能となり、誤差情報量が削減され、効
率的な動画像符号化が可能となる。

【００７５】（９）請求項９に対応する効果：動きベク
トルの符号化において、符号化対象となる動きベクトル
の左方、上方及び右上方に隣接して存在する既に符号化
された基本動きベクトルまたは付加動きベクトルを用い
て、該符号化対象動きベクトル値を前記３本の動きベク
トル値から予測符号化するサイド情報符号化部を備える
ことを特徴とする動画像符号化装置により、サイド情報
の符号化において、動きベクトルが画像フレーム内で散
在して配置される場合でも動きベクトルの２次元的な相
関を利用することができ、動きベクトルの符号量を削減
することが可能となる。

【００７６】（１０）請求項１０に対応する効果：請求
項９の効果に加えて、動きベクトルの符号化において、
前記３本の動きベクトルの平均値を符号化対象動きベク
トルの予測値とし、該符号化対象動きベクトル値と前記
予測値との差分を符号化することを特徴とする動画像符
号化装置により、サイド情報の符号化において符号化対
象動きベクトルの周囲の動きベクトルとの相関を効果的
に利用することにより、動きベクトルの符号量の効果的
な削減が可能となる。

【００７７】（１１）請求項１１に対応する効果：請求
項９の効果に加えて、動きベクトルの符号化において、
前記３本の動きベクトルのメディアン値（中央値）を符
号化対象動きベクトルの予測値とし、該符号化対象動き
ベクトル値と前記予測値との差分を符号化することを特
徴とする動画像符号化装置により、サイド情報の符号化
において符号化対象動きベクトルの周囲の動きベクトル
と相関の高い動きベクトル値から予測符号化することに
より、動きベクトルの符号量の効果的な削減が可能とな
る。

【００７８】（１２）請求項１２に対応する効果：請求
項１または請求項２の効果に加えて、請求項９，請求項
１０または請求項１１のいずれかに記載の動きベクトル
符号化方式を備えることにより、サイド情報の符号化に
おいて、動きベクトルが画像フレーム内で散在して配置
される場合でも動きベクトルの２次元的な相関を利用す
して動きベクトルの符号量を削減することが可能とな
り、更に、被写体の大きさ、形状に最適な領域分割が可
能となり、また、アフィン変換特有の幾何的歪みの発生
による予測効率の低下を防ぐと共に、入力画像に領域の
平行移動による動きが含まれている場合でも動きの正確
な表現が可能となり、誤差情報量が削減され、効率的な
動画像符号化が可能となる。

【００７９】（１３）請求項１３に対応する効果：請求
項１，請求項２，請求項４，請求項６，請求項８または
請求項１２の効果に加えて、動き補償フレーム間予測に
おいて、全ての領域分割の種類を可変領域サイズ予測フ
レーム生成部に指示し、予測誤差（誤差情報量）が最小
となる領域分割を採用し、サイド情報符号化部に対し動
きベクトルおよび領域分割情報出力し、また、予測画像
フレームを出力する領域分割パターン決定部を備えるこ
とにより、予測誤差情報が最小となる最適な領域分割
を、平行移動を含む全ての選択の候補から一回のパスで
決定し、結果を出力することが可能となる。

【００８０】（１４）請求項１４に対応する効果：請求
項１，請求項２，請求項４，請求項６，請求項８または
請求項１２の効果に加えて、動き補償フレーム間予測に
おいて、初期設定として領域を２分割するよう可変領域
サイズ予測フレーム生成部に指示し、生成された予測フ
レームの予測誤差（誤差情報量）があらかじめ設定され
ている閾値以上であった場合に、再度領域分割を細かく
するよう可変領域サイズ予測フレーム生成部に指定し、
予測誤差（誤差情報量）が設定されている閾値以下にな
った領域分割情報および動きベクトルをサイド情報符号
化部に出力し、また、予測画像フレームを出力する領域
分割パターン決定部を備えることにより、比較的計算量
を少くして適切な領域分割を決定し、結果を出力するこ
とが可能となる。

【００８１】（１５）請求項１５に対応する効果：請求
項１，請求項２，請求項４，請求項１３または請求項１
４の効果に加えて、入力画像フレームを減算部および動
き補償フレーム間予測部に入力し、フレームメモリ部か
ら入力される参照画像フレームと入力画像フレームより
予測画像フレームを生成し、減算部と加算部に予測画像
フレームを出力し、符号化サイド情報を出力する動き予
測フレーム間予測部と、動き補償フレーム間予測部から
の予測画像フレームと入力画像フレームの差分を計算
し、画像符号化部に誤差画像フレームを出力する減算部
と、減算部から入力される誤差画像フレームを符号化制
御部の指示に従って符号化を行い、画像復号化部へ符号
化画像情報を出力する画像符号化部と、画像符号化部か
ら入力される符号化画像情報を復号化し、復元画像フレ
ームを加算部へ出力する画像復号化部と、動き補償フレ
ーム間予測部からの予測画像フレームと画像復号化部か
らの復元画像フレームとの加算を行って得られる参照画
像フレームをフレームメモリ部へ出力する加算部と、加
算部からの参照画像フレームを記憶し、動き補償フレー
ム間予測部へ出力するフレームメモリ部を備えることに
より、より高精度な動きベクトルが探索可能になり、被
写体の大きさ、形状に最適な領域分割が可能となり、ま
た、アフィン変換特有の幾何的歪みの発生による予測効
率の低下を防ぐと共に、入力画像に領域の平行移動によ
る動きが含まれている場合でも動きの正確な表現が可能
となり、誤差情報量が削減される。更に、動きベクトル
の符号量の削減も可能となり、効率的な動画像符号化が
可能となる。

【００８２】（１６）請求項１６に対応する効果：動画
像符号化装置から入力される符号化サイド情報とフレー
ムメモリ部から入力される参照画像フレームより符号化
処理領域の大きさを変化させた予測画像フレームを生成
し、出力する動き補償フレーム間予測部において、動画
像符号化装置から出力される符号化サイド情報を復号
し、動きベクトルおよび領域分割情報を得るサイド情報
復号化部と、サイド情報復号化部からの動きベクトルお
よび領域分割情報とフレームメモリ部からの参照画面フ
レームより予測画像フレームを生成する可変領域サイズ
予測フレーム生成部を備えることを特徴とする動画像復
号化方式により、被写体の大きさ、形状に最適な領域分
割され、また、入力画像に領域の平行移動による動きが
含まれている場合でも動きが正確に表現され、誤差情報
量が削減された効率のよい動画像復号化が可能となる。

【００８３】（１７）請求項１７に対応する効果：動き
ベクトル復号化の際に、先んじて符号化サイド情報のう
ち、４本の基本動きベクトルを復号化し得られた基本動
きベクトルの平均との差分によって符号化された付加動
きベクトルを復号化するサイド情報復号化部を備えるこ
とにより、効率的に符号化された動きベクトルの復号化
が可能となる。

【００８４】（１８）請求項１８に対応する効果：請求
項１６の効果に加えて、請求項１７記載のサイド情報復
号化方式を備えることにより、効率的に符号化された動
きベクトルの復号化が可能となり、更に、被写体の大き
さ、形状に最適な領域分割され、また、入力画像に領域
の平行移動による動きが含まれている場合でも動きが正
確に表現され、誤差情報量が削減された効率の良い動画
像復号化が可能となる。

【００８５】（１９）請求項１９に対応する効果：動き
ベクトル復号化の際に先んじて符号化サイド情報のう
ち、４本の基本動きベクトルを復号化し、２本の基本動
きベクトル間に位置する付加動きベクトルは得られた基
本動きベクトルの２本の平均との差分によって符号化さ
れていると判断して付加動きベクトルを復号化し、領域
の中央の付加動きベクトルは得られた４本の基本動きベ
クトルの平均との差分によって符号化されていると判断
し、付加動きベクトルを復号化するサイド情報復号化部
を備えることを特徴とする動画像復号化装置により、効
率的に符号化された動きベクトルの復号化が可能とな
る。

【００８６】（２０）請求項２０に対応する効果：請求
項１６の効果に加えて、請求項１９記載のサイド情報復
号化方式を備えることにより、効率的に符号化された動
きベクトルの復号化が可能となり、更に、被写体の大き
さ、形状に最適な領域分割され、また、入力画像に領域
の平行移動による動きが含まれている場合でも動きが正
確に表現され、誤差情報量が削減された効率の良い動画
像復号化が可能となる。

【００８７】（２１）請求項２１に対応する効果：動き
ベクトルの復号化において、復号化対象となる動きベク
トルの左方、上方及び右上方に隣接して存在する既に復
号化された基本動きベクトルまたは付加動きベクトルを
用いて、該復号化対象動きベクトル値を前記３本の動き
ベクトル値から予測復号化するサイド情報復号化部を備
えることを特徴とする動画像復号化装置により、サイド
情報の復号化において、動きベクトルが画像フレーム内
で散在して配置される場合でも動きベクトルの２次元的
な相関を利用して少ない符号量で効率的に符号化された
動きベクトルの復号化が可能となる。

【００８８】（２２）請求項２２に対応する効果：請求
項２１の効果に加えて、サイド情報復号化部が、動きベ
クトル復号化の際に、前記３本の動きベクトルの平均値
を復号化対象動きベクトルの予測値とし、復号された差
分値と前記予測値とを加算することにより該復号化対象
動きベクトル値を得ることを特徴とする動画像復号化装
置により、サイド情報の復号化において復号化対象動き
ベクトルの周囲の動きベクトルとの相関を効果的に利用
して符号化された動きベクトルの復号化が可能となる。

【００８９】（２３）請求項２３に対応する効果：請求
項２１の効果に加えて、サイド情報復号化部が、動きベ
クトル復号化の際に、前記３本の動きベクトルのメディ
アン値（中央値）を復号化対象動きベクトルの予測値と
し、復号された差分値と前記予測値とを加算することに
より該復号化対象動きベクトル値を得ることを特徴とす
る動画像復号化装置により、サイド情報の復号化におい
て復号化対象動きベクトルの周囲の動きベクトルと相関
の高い動きベクトル値から効率的に予測符号化された動
きベクトルの復号化が可能となる。

【００９０】（２４）請求項２４に対応する効果：請求
項１６の効果に加えて、請求項２１，請求項２２または
請求項２３のいずれかに記載の動きベクトル復号化方式
を備えることにより、サイド情報の復号化において、動
きベクトルが画像フレーム内で散在して配置される場合
でも動きベクトルの２次元的な相関を利用して効果的に
符号化された動きベクトルの復号化が可能となり、更
に、被写体の大きさ、形状に最適な領域分割され、ま
た、入力画像に領域の平行移動による動きが含まれてい
る場合でも動きが正確に表現され、誤差情報量が削減さ
れた効率的な動画像復号化が可能となる。

【００９１】（２５）請求項２５に対応する効果：請求
項１６，請求項１８，請求項２０または請求項２４の効
果に加えて、動画像符号化装置から入力される符号化画
像情報を復号化し、復号画像フレームを加算部へ出力す
る画像復号化部と、動画像符号化装置から入力される符
号化サイド情報とフレームメモリ部から入力される参照
画像フレームより予測画像フレームを生成し、加算部に
出力する動き補償フレーム間予測部と、画像復号化部よ
り入力される復元画像フレームと動き補償フレーム間予
測部から入力される予測画像フレームを加算し、出力画
像フレームとしてフレームメモリ部および装置外に出力
する加算部と、加算部からの参照画像フレームを記憶
し、動き補償フレーム間予測部へ出力するフレームメモ
リ部を備えることにより、効率的に符号化された動きベ
クトルの復号化が可能となり、更に、被写体の大きさ、
形状に最適な領域分割され、また、入力画像に領域の平
行移動による動きが含まれている場合でも動きが正確に
表現され、誤差情報量が削減された効率の良い動画像復
号化が可能となる。

【図面の簡単な説明】

【図１】本発明による動画像符号化装置の動き補償フレ
ーム間予測部の実施の形態の一例の構成を示す図であ
る。

【図２】本発明による動画像復号化装置の動き補償フレ
ーム間予測部の実施の形態の一例の構成を示す図であ
る。

【図３】従来もしくは本発明に関する動画像符号化装置
全体の概略構成を示す図である。

【図４】従来もしくは本発明における動画像復号化装置
全体の概略構成を示す図である。

【図５】本発明における三角形による領域分割の全ての
種類を示す図である。

【図６】本発明のコントロールグリッドおよび動きベク
トルを説明するための図である。

【図７】本発明における有効領域選択マスクの全ての種
類を示す図である。

【図８】本発明における動きベクトルの予測符号化方式
を説明するための図である。

【図９】本発明における動き補償フレーム間予測の処理
フロー例（１）を説明するための図である。

【図１０】本発明における動き補償フレーム間予測の処
理フロー例（２）を説明するための図である。

【図１１】従来の動画像符号化装置の動き補償フレーム
間予測部を例示する図である。

【図１２】従来における動画像復号化装置の動き補償フ
レーム間予測部を例示する図である。

【図１３】従来および本発明における動きベクトル探索
の際に用いる重み付けについての図である。

【図１４】従来におけるコントロールグリッドおよび動
きベクトルの一例を説明するための図である。

【図１５】被写体の変形および前方向予測を行う場合の
アフィン変換を用いたフレーム間予測を説明するための
図である。

【符号の説明】

１１…減算部 １２…画像符号化部 １３…符号化制御部 １４…画像復号化部 １５…加算部 １６…フレームメモリ部 １７…動き補償フレーム間予測部 ２１…画像復号化部 ２２…加算部 ２３…動き補償フレーム間予測部 ２４…フレームメモリ部 ３１…有効領域選択部 ３２…動きベクトル探索部 ３３…可変領域サイズ予測フレーム生成部 ３４…領域分割パターン決定部 ３５…サイド情報符号化部 ３７…可変領域サイズ予測フレーム生成部 ３８…サイド情報復号化部 ４１…動きベクトル探索部 ４２…固定領域サイズ予測フレーム生成部 ４３…動きベクトル符号化部 ４４…ＤＣＴ変換部 ４５…量子化部 ４６…逆量子化部 ４７…逆ＤＣＴ変換部 ４８…ベクトル量子化部 ４９…逆ベクトル量子化部 ５１…固定領域サイズ予測フレーム生成部 ５２…動きベクトル復号化部。

Claims (25)

【特許請求の範囲】
1. 【請求項１】 動き補償フレーム間予測を行うことによ
   り得た予測画像フレームと入力画像フレームとの差とし
   ての予測誤差情報を符号化する動画像符号化装置におい
   て、動き補償フレーム間予測部が、動きベクトルおよび
   参照画像フレームより該画像に適応した処理領域を分割
   し、アフィン変換を用いた予測フレームを生成する可変
   領域サイズ予測フレーム生成部と、処理領域の分割の制
   御を行い、予測画像フレームおよび動きベクトル，領域
   分割情報などのサイド情報を出力する領域分割パターン
   決定部を備えるようにしたことを特徴とする動画像符号
   化装置。
2. 【請求項２】 動き補償フレーム間予測を行うことによ
   り得た予測画像フレームと入力画像フレームとの差とし
   ての予測誤差情報を符号化する動画像符号化装置におい
   て、動き補償フレーム間予測部が、動きベクトルおよび
   参照画像フレームより、処理領域の平行移動による予測
   フレームと、該画像に適応した処理領域を分割し、アフ
   ィン変換を用いた予測フレームとを生成する可変領域サ
   イズ予測フレーム生成部と、処理領域の分割の制御を行
   い、予測画像フレームおよび動きベクトル、領域分割情
   報などのサイド情報を出力する領域分割パターン決定部
   を備えるようにしたことを特徴とする動画像符号化装
   置。
3. 【請求項３】 動き補償フレーム間予測を行うことによ
   り得た予測画像フレームと入力画像フレームとの差とし
   ての予測誤差情報を符号化する動画像符号化装置におい
   て、動き補償フレーム間予測部が、動きベクトルの探索
   の際に、処理対象領域の画像フレームにおける位置によ
   って、処理の有効／無効のマスクを選択する有効領域選
   択部を備えるようにしたことを特徴とする動画像符号化
   装置。
4. 【請求項４】 動き補償フレーム間予測を行うことによ
   り得た予測画像フレームと入力画像フレームとの差とし
   ての予測誤差情報を符号化する動画像符号化装置におい
   て、動き補償フレーム間予測部が、動きベクトルの探索
   の際に、処理対象領域の画像フレームにおける位置によ
   って、処理の有効／無効のマスクを選択する有効領域選
   択部を備えるようにしたことを特徴とする請求項１また
   は請求項２記載の動画像符号化装置。
5. 【請求項５】 動き補償フレーム間予測を行うことによ
   り得た予測画像フレームと入力画像フレームとの差とし
   ての予測誤差情報を符号化する動画像符号化装置におい
   て、動きベクトルの符号化部が、付加動きベクトルの符
   号化を４本の基本動きベクトルの平均との差分として符
   号化するサイド情報符号化部を備えるようにしたことを
   特徴とする動画像符号化装置。
6. 【請求項６】 前記領域分割パターン決定部における動
   きベクトルの符号化部が、付加動きベクトルの符号化を
   ４本の基本動きベクトルの平均との差分として符号化す
   るサイド情報符号化部を備えるようにしたことを特徴と
   する請求項１または請求項２記載の動画像符号化装置。
7. 【請求項７】 動き補償フレーム間予測を行うことによ
   り得た予測画像フレームと入力画像フレームとの差とし
   ての予測誤差情報を符号化する動画像符号化装置におい
   て、動きベクトルの符号化部が、２本の基本動きベクト
   ル間に位置する付加動きベクトルを前述の２本の基本動
   きベクトルの平均との差分として符号化し、中央の付加
   動きベクトルを４本の基本動きベクトルの平均との差分
   として符号化するサイド情報符号化部を備えるようにし
   たことを特徴とする動画像符号化装置。
8. 【請求項８】 前記領域分割パターン決定部における動
   きベクトルの符号化部が、２本の基本動きベクトル間に
   位置する付加動きベクトルを前述の２本の基本動きベク
   トルの平均との差分として符号化し、中央の付加動きベ
   クトルを４本の基本動きベクトルの平均との差分として
   符号化するサイド情報符号化部を備えるようにしたこと
   を特徴とする請求項１または請求項２記載の動画像符号
   化装置。
9. 【請求項９】 動き補償フレーム間予測により得た予測
   画像フレームと入力画像フレームとの差としての予測誤
   差情報を符号化する動画像符号化装置において、動きベ
   クトルの符号化部が、符号化対象となる動きベクトルの
   左方、上方及び右上方に隣接して存在する既に符号化さ
   れた基本動きベクトルまたは付加動きベクトルを用い
   て、該符号化対象動きベクトル値を前記３本の動きベク
   トル値から予測符号化するサイド情報符号化部を備える
   ようにしたことを特徴とする動画像符号化装置。
10. 【請求項１０】 前記動きベクトル符号化部が、前記３
    本の動きベクトルの平均値を符号化対象動きベクトルの
    予測値とし、該符号化対象動きベクトル値と前記予測値
    との差分を符号化することを特徴とする請求項９記載の
    動画像符号化装置。
11. 【請求項１１】 前記動きベクトル符号化部が、前記３
    本の動きベクトルのメディアン値（中央値）を符号化対
    象動きベクトルの予測値とし、該符号化対象動きベクト
    ル値と前記予測値との差分を符号化することを特徴とす
    る請求項９記載の動画像符号化装置。
12. 【請求項１２】 前記領域分割パターン決定部が、請求
    項９、請求項１０または請求項１１記載の動きベクトル
    符号化部を備えることを特徴とする請求項１または請求
    項２記載の動画像符号化装置。
13. 【請求項１３】 前記動き補償フレーム間予測部が、全
    ての領域分割の種類を可変領域サイズ予測フレーム生成
    部に指示し、予測誤差（誤差情報量）が最小となる領域
    分割を採用し、サイド情報符号化部に対し動きベクトル
    および領域分割情報を出力し、さらに、予測画像フレー
    ムを出力する領域分割パターン決定部を備えるようにし
    たことを特徴とする請求項１，請求項２，請求項４，請
    求項６，請求項８または請求項１２のいずれかに記載の
    動画像符号化装置。
14. 【請求項１４】 前記動き補償フレーム間予測部が、初
    期設定として領域を２分割及び／または平行移動による
    予測をするよう可変領域サイズ予測フレーム生成部に指
    示し、生成された予測フレームの予測誤差（誤差情報
    量）があらかじめ設定されている閾値以上であった場合
    に再度領域分割を細かくするよう可変領域サイズ予測フ
    レーム生成部に指示し、予測誤差（誤差情報量）が設定
    されている閾値以下になった領域分割情報および動きベ
    クトルをサイド情報符号化部に出力し、さらに、予測画
    像フレームを出力する領域分割パターン決定部部を備え
    ることを特徴とする請求項１，請求項２，請求項４，請
    求項６，請求項８または請求項１２のいずれかに記載の
    動画像符号化装置。
15. 【請求項１５】 前記動画像符号化装置は、前記入力画
    像フレームと前記動き補償フレーム間予測部からの予測
    画像フレームが入力される減算部と、該減算部から入力
    される誤差画像フレームを符号化制御部の指示に従って
    符号化を行う画像符号化部と、画像符号化部から入力さ
    れる符号化画像情報を復号化する画像復号化部と、前記
    動き補償フレーム間予測部からの予測画像フレームと前
    記画像復号化部からの復元画像フレームとの加算を行う
    加算部と、該加算部からの参照画像フレームを記憶し、
    記憶した情報を前記動き補償フレーム間予測部へ出力す
    るフレームメモリ部を備えるようにしたことを特徴とす
    る請求項１，請求項２，請求項４，請求項１３または請
    求項１４のいずれかに記載の動画像符号化装置。
16. 【請求項１６】 動画像符号化装置から入力される符号
    化サイド情報とフレームメモリ部から入力される参照画
    像フレームより画像フレームを復元する動画像復号化装
    置において、符号化処理領域の大きさを変化させた予測
    画像フレームを生成し出力する動き補償フレーム間予測
    部が、動画像符号化装置から出力される符号化サイド情
    報を復号し、動きベクトルおよび領域分割情報を得るサ
    イド情報復号化部と、サイド情報復号化部からの動きベ
    クトルおよび領域分割情報とフレームメモリ部からの参
    照画面フレームより予測画像フレームを生成する可変領
    域サイズ予測フレーム生成部を備えるようにしたことを
    特徴とする動画像復号化装置。
17. 【請求項１７】 動画像符号化装置から入力される符号
    化サイド情報とフレームメモリ部から入力される参照画
    像フレームより画像フレームを復元する動画像復号化装
    置において、動きベクトル復号化の際に先んじて前記符
    号化サイド情報のうち４本の基本動きベクトルを復号化
    し、得られた基本動きベクトルの平均との差分によって
    符号化された付加動きベクトルを復号化するサイド情報
    復号化部を備えるようにしたことを特徴とする動画像復
    号化装置。
18. 【請求項１８】 前記サイド情報復号化部が、動きベク
    トル復号化の際に先んじて前記符号化サイド情報のうち
    ４本の基本動きベクトルを復号化し、得られた基本動き
    ベクトルの平均との差分によって符号化された付加動き
    ベクトルを復号化するようになされたことを特徴とする
    請求項１６記載の動画像復号化装置。
19. 【請求項１９】 動画像符号化装置から入力される符号
    化サイド情報とフレームメモリ部から入力される参照画
    像フレームより画像フレームを復元する動画像復号化装
    置において、動きベクトル復号化の際に先んじて前記符
    号化サイド情報のうち４本の基本動きベクトルを復号化
    し、２本の基本動きベクトル間に位置する付加動きベク
    トルは得られた基本動きベクトルの２本の平均との差分
    によって符号化されていると判断して付加動きベクトル
    を復号化し、領域の中央の付加動きベクトルは得られた
    ４本の基本動きベクトルの平均との差分によって符号化
    されていると判断し、付加動きベクトルを復号化するサ
    イド情報復号化部を備えるようにしたことを特徴とする
    動画像復号化装置。
20. 【請求項２０】 前記サイド情報復号化部が、動きベク
    トル復号化の際に先んじて前記符号化サイド情報のうち
    ４本の基本動きベクトルを復号化し、２本の基本動きベ
    クトル間に位置する付加動きベクトルは得られた基本動
    きベクトルの２本の平均との差分によって符号化されて
    いると判断して付加動きベクトルを復号化し、領域の中
    央の付加動きベクトルは得られた４本の基本動きベクト
    ルの平均との差分によって符号化されていると判断し、
    付加動きベクトルを復号化するようになされたことを特
    徴とする請求項１６記載の動画像復号化装置。
21. 【請求項２１】 動画像符号化装置から入力される符号
    化サイド情報とフレームメモリ部から入力される参照画
    像フレームより画像フレームを復元する動画像復号化装
    置において、動きベクトルの復号化の際に、復号化対象
    となる動きベクトルの左方、上方及び右上方に隣接して
    存在する既に復号化された基本動きベクトルまたは付加
    動きベクトルを用いて、該復号化対象動きベクトル値を
    前記３本の動きベクトル値から予測復号化するサイド情
    報復号化部を備えるようにしたことを特徴とする動画像
    復号化装置。
22. 【請求項２２】 前記サイド情報復号化部が、動きベク
    トル復号化の際に、前記３本の動きベクトルの平均値を
    復号化対象動きベクトルの予測値とし、復号された差分
    値と前記予測値とを加算することにより該復号化対象動
    きベクトル値を得ることを特徴とする請求項２１記載の
    動画像復号化装置。
23. 【請求項２３】 前記サイド情報復号化部が、動きベク
    トル復号化の際に、前記３本の動きベクトルのメディア
    ン値（中央値）を復号化対象動きベクトルの予測値と
    し、復号された差分値と前記予測値とを加算することに
    より該復号化対象動きベクトル値を得ることを特徴とす
    る請求項２１記載の動画像復号化装置。
24. 【請求項２４】 前記サイド情報復号化部が、請求項２
    １、請求項２２または請求項２３記載の動きベクトル復
    号化方式を備えるようにしたことを特徴とする請求項１
    ６記載の動画像復号化装置。
25. 【請求項２５】 前記動画像復号化装置は、動画像符号
    化装置から入力される符号化画像情報を復号化し、復元
    画像フレームを出力する画像復号化部と、該画像復号化
    部より入力される復元画像フレームと前記動き補償フレ
    ーム間予測部から入力される予測画像フレームを加算
    し、出力画像フレームとして装置外に出力する加算部
    と、該加算部からの画像フレームを記憶し、前記動き補
    償フレーム間予測部へ参照画像フレームとして出力する
    フレームメモリ部を備えるようにしたことを特徴とする
    請求項１６，請求項１８，請求項２０または請求項２４
    記載の動画像復号化装置。