JP3277111B2 - 動画像符号化装置および動画像復号化装置 - Google Patents

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、動画像符号化装置
および動画像復号化装置に関し、より詳細には、アフィ
ン変換による動き補償フレーム間予測方式を用いた動画
像符号化装置および動画像復号化装置に関する。

【０００２】

【従来の技術】従来から、ＩＳＤＮ（Integrated Servi
ces Digital Network）網などの高速ディジタル網にお
いて、テレビ電話やテレビ会議システムなどの動画像通
信が実現されている。また、近年、ＰＨＳ（Personal H
andyphone System）に代表される無線伝送網の進展、お
よび、ＰＳＴＮ（Public Switched Telephone Networ
k）網におけるデータ変調・復調技術の進展、さらに、
画像圧縮技術の進展に伴い、より低ビットレート網にお
ける動画像通信への要求が高まっている。一般に、テレ
ビ電話やテレビ会議システムのように、動画像情報を伝
送する場合においては、動画像の情報量が膨大なのに対
して、伝送に用いる回線の回線速度やコストの点から、
伝送する動画像の情報量を圧縮符号化し、情報量を少く
して伝送することが必要となってくる。

【０００３】動画像情報を圧縮する符号化方式として
は、Ｈ.２６１，ＭＰＥＧ−１（Moving Picture Coding
Expert Group）、ＭＰＥＧ−２などが、すでに国際標
準化されている。さらに、６４kbps以下の超低ビットレ
ートでの符号化方式として、ＭＰＥＧ−４の標準化活動
が進められている。現在、標準化されている動画像映像
符号化方式では、フレーム間予測符号化およびフレーム
内符号化を組み合わせて行うハイブリッド映像符号化方
式を採用している。フレーム間予測符号化は、動画像を
符号化する際に、参照画像フレームから予測画像フレー
ムを生成し、現画像フレームとの差分を符号化すること
で符号量を減少させ伝送することで、伝送路の効率的な
利用を図るものである。フレーム間予測符号化方式に
は、ブロックマッチング，アフィン変換，ワープ予測な
どが知られている。以下に、アフィン変換を用いた従来
の動画像符号化装置および動画像復号化装置の説明を行
う。

【０００４】まず始めに、従来の動画像符号化装置の全
体の動作を説明する。図３は、従来の動画像符号化装置
の全体の構成例を示すものである。ここで、動き補償フ
レーム間予測符号化を行っている場合の定常状態とし
て、フレームメモリ部１６に、予測画像フレームを生成
する際に使用される参照画像フレームが記憶されている
とする。入力画像フレームがこの動画像符号化装置にお
ける減算部１１および動き補償フレーム間予測部１７に
入力される。動き補償フレーム間予測部１７では、フレ
ームメモリ部１６に記憶された参照画像フレームと入力
画像フレームから動き予測を行い、減算部１１に対して
予測画像フレームを出力する。減算部１１は、入力画像
フレームから動き補償フレーム間予測部１７より入力さ
れる予測画像フレームを減算し、減算した結果の予測誤
差情報を画像符号化部１２に出力する。

【０００５】画像符号化部１２は、入力された予測誤差
情報をＤＣＴ（Discrete Cosine Transform）変換など
の空間変換およびその量子化を行い、符号化画像情報と
して出力する。同時に、画像符号化部１２から出力され
た符号化画像情報は、画像復号部１４によりローカルに
復号され、加算部１５に出力される。加算部１５では、
動き補償フレーム間予測部１７から出力された予測画像
フレームと画像復号化部１４より出力された予測誤差情
報を加算し、新たな参照画像フレームを生成し、フレー
ムメモリ部１６へ出力する。フレームメモリ部１６は、
加算部１５より出力された新たな参照画像フレームを記
憶し、次の入力画像フレームの符号化の際に前記動き補
償フレーム間予測部１７に出力される。以上、説明した
ような動きを繰り返すことにより、動画像符号化装置で
は、連続した符号化画像情報（予測誤差情報）および符
号化サイド情報の出力を行う。

【０００６】次に、従来の動画像復号化装置の全体の動
作を説明する。図４は、従来の動画像復号化装置の全体
の構成例を示すものである。ここで、動き補償フレーム
間予測符号化を行っている場合の定常状態として、フレ
ームメモリ部２４に、予測画像フレームを生成する際に
使用される参照画像フレームが記憶されているとする。
動画像復号化装置に入力された符号化画像情報は、画像
復号化部２１に入力される。この画像復号化部２１で
は、画像符号化装置における画像復号化部１４と同一の
処理がなされて符号化画像情報を復号し、得られた誤差
画像フレームを加算部２２に出力する。

【０００７】一方、動画像復号化装置に入力された符号
化サイド情報は、動き補償フレーム間予測部２３に入力
される。動き補償フレーム間予測部２３は、入力された
符号化サイド情報を復号化し、動きベクトルを得る。さ
らに得た動きベクトルとフレームメモリ部２４から入力
される参照画像フレームより予測画像フレームを生成
し、加算部２２に出力する。加算部２２は、画像復号化
部２１より出力された誤差画像フレームと動き補償フレ
ーム間予測部２３より出力された予測画像フレームの加
算を行い、出力画像フレームを得る。この出力画像フレ
ームは、出力画像として動画像復号化装置から出力さ
れ、同時にフレームメモリ部２４に対しても出力され
る。フレームメモリ部２４は、加算部２２より出力され
た新たな参照画像フレームを記憶し、次の画像フレーム
の復号化の際に動き補償フレーム間予測部２３に出力さ
れる。以上、説明したような動作を繰り返すことによ
り、動画像復号化装置では、連続した出力画像フレーム
の出力を行う。

【０００８】次に、動画像符号化装置および動画像復号
化装置における動き補償フレーム間予測部の動作および
各部で用いられる従来の方式について説明する。まず、
動画像符号化装置における動き補償フレーム間予測部１
７の構成例および動作を説明する。図１１は、動画像符
号化装置の動き補償フレーム間予測部の従来例を示すも
のである。図１１に示すように、動き補償フレーム間予
測部１７は、動きベクトル探索部４１，固定領域サイズ
予測フレーム生成部４２，動きベクトル符号化部４３か
ら構成されている。動きベクトル探索部４１は、入力さ
れた入力画像フレームと、フレームメモリ部１６から入
力された参照画像フレームより動きベクトルを探索し、
固定領域サイズ予測フレーム生成部４２に出力する。動
きベクトル探索部４１は、動きベクトルを探索する際
に、処理領域の中央の画素に重み付けを行うことによ
り、コントロールグリッド点の動きベクトルを求め、固
定領域サイズ予測フレーム生成部４２に各コントロール
グリッド点の動きベクトルを出力する。

【０００９】従来方式では、処理領域は固定のサイズを
用いているため、コントロールグリッド点は１６画素や
８画素毎に設定されている。図１４は、１６画素毎で設
定されているコントロールグリッド，コントロールグリ
ッド点および動きベクトルの例を示すものである。固定
領域サイズ予測フレーム生成部４２は、動きベクトル探
索部４１から入力された動きベクトルとフレームメモリ
部１６から入力された前画像フレームより固定サイズ
（一般的には、１６×１６画素の矩形ブロックが使用さ
れる）を処理領域としたフレーム間予測を行う。フレー
ム間予測処理は、対象となる三角形領域の３点の位置お
よび動きベクトルよりアフィンパラメータを求め、求め
られたアフィンパラメータを使用して三角形領域内全て
の画素についてアフィン変換を行う。この処理を処理対
象となる全ての三角形領域で行い、予測画像フレームを
生成する。生成された予測画像フレームは、前述した減
算部１１および加算部１５に出力される。また、動きベ
クトルは、動きベクトル符号化部４３に出力される。

【００１０】動きベクトル符号化部４３は、固定領域サ
イズ予測フレーム生成部４２より入力された動きベクト
ルを符号化し、符号化サイド情報として出力する。動き
ベクトル符号化部４３での、動きベクトルの符号化方法
について説明する。動きベクトルの符号化においては、
動きベクトル値自体を直接符号化するのではなく、予測
符号化する事が一般的である。即ち、符号化対象動きベ
クトルに対する予測値を求めて、該予測値と当該動きベ
クトル値との差分を符号化することによる符号化効率の
改善、情報量の削減が行われる。前記予測値の求め方の
最も簡単な方法は、直前に符号化された動きベクトル値
を、次の動きベクトルの予測値とする方法である。この
方法では、隣接する動きベクトル値の差分が順次符号化
されていくこととなる。従って、動きベクトル間の相関
が高く、隣接する動きベクトルが、ほぼ同じ値を持つ場
合に、効率的な符号化が可能である。ＩＴＵ−Ｔ勧告
Ｈ．２６１で規定された動画像符号化方式では、動きベ
クトルの符号化方式として、この予測符号化方式を採用
している。

【００１１】また、別の方法として、直前の動きベクト
ルだけではなく、複数の動きベクトルから予測値を求め
る方法がある。この場合、符号化対象動きベクトルの、
左側方、上方、右斜め上方の各直近に位置する動きベク
トル、計３本の動きベクトル値を使って予測値を求める
事が行われる。前述の３本の動きベクトル値から予測値
を求める方法としては、これらの平均値を予測値とする
方法、あるいは、これらのメディアン値（中央値）を予
測値とする方法等が考えられる。この方法では、前述の
直前の動きベクトルだけから予測する方法と比較して、
更に広い範囲の動きベクトルとの相関、即ち高次の相関
が利用できるため、符号化効率の改善が可能である。特
に、メディアン値を予測値とすることが効果的であるこ
とが知られており、ＩＴＵ−Ｔ勧告案Ｈ．２６３で規定
された動画像符号化方式では、前記３本の動きベクトル
のメディアン値によって、動きベクトルを予測符号化す
る方式を採用している。

【００１２】次に、動画像復号化装置における動き補償
フレーム間予測部２３の構成および動作を説明する。図
１２は、この動画像復号化装置の動き補償フレーム間予
測部の構成を例示するものである。図１２に示すよう
に、動き補償フレーム間予測部２３は、固定領域サイズ
予測フレーム生成部５１，動きベクトル復号化部５２か
ら構成されている。この動き補償フレーム間予測部２３
に入力された符号化サイド情報は、動きベクトル復号化
部５２に入力される。動きベクトル復号化部５２では、
入力された符号化サイド情報を復号し、動きベクトルを
得、固定領域サイズ予測フレーム生成部５１に出力す
る。固定領域サイズ予測フレーム生成部５１は、動きベ
クトル復号化部５２より入力された動きベクトルおよび
フレームメモリ部２４より入力された参照画像フレーム
よりフレーム間予測処理を行う。

【００１３】フレーム間予測処理は、対象となる三角形
領域の３点の位置および動きベクトルよりアフィンパラ
メータを求め、求められたアフィンパラメータを使用し
て三角形領域内全ての画素についてアフィン変換を行
う。この処理を処理対象となる全ての三角形領域で行
い、予測画像フレームを生成する。固定領域サイズ予測
フレーム生成部５１は、得られた予測フレームを加算部
２２に出力する。

【００１４】次に、前記の動画像符号化装置および動画
像復号化装置の動き補償フレーム間予測部で用いられる
各種の方式に関して説明する。まず、動きベクトルの探
索方法について説明する。コントロールグリッド点の動
きベクトルを求める際には、一般に処理領域の中央の画
素に重み付けを行う画素マッチングという方式が用いら
れる。図１３は、ここで、用いられる重み付けの図を示
すものである。図１３では、コントロールグリッド点を
中心としてｘ方向，ｙ方向に２１画素の大きさを持って
いる。画素マッチングでは、現画像フレームの処理領域
と参照画像フレームのどの位置の領域とがマッチするか
を計算し、マッチしたところのｘ方向とｙ方向のずれを
動きベクトルとするが、マッチングの計算時に、現画像
フレームの処理領域と対応する参照画像フレームの領域
の差分に重み付けの係数を乗算することにより、処理領
域の中央の画素に注目した動きベクトルの探索を行って
いる。

【００１５】また、画像フレーム周辺のコントロールグ
リッド点における動きベクトルは、以下のように設定さ
れる。 ・４角のコントロールグリッド点における動きベクトル ｘ成分，ｙ成分ともに０とする。 ・上下のコントロールグリッド点における動きベクトル
(図１４中の三角の点) ｘ成分は、対象となるコントロールグリッド点の一つ内
側のコントロールグリッド点における動きベクトルのｘ
成分を設定する。ｙ成分は０とする。 ・左右のコントロールグリッド点における動きベクトル
（図１４中の丸の点） ｘ成分は０とする。ｙ成分は、対象となるコントロール
グリッド点の一つ内側のコントロールグリッド点におけ
る動きベクトルのｙ成分を設定する。

【００１６】次に、アフィン変換について説明する。ア
フィン変換は、ある画像フレームから別の画像フレーム
への写像を６つのパラメータにより表現することにより
行われる。一般的に、アフィンパラメータの計算の簡便
化などの理由により、アフィン変換は、三角形領域を対
象として行われる。図１５は前方向予測を行う場合のア
フィン変換を用いたフレーム間予測の説明図を示すもの
である。現画像フレームのコントロールグリッド点Ａ，
Ｂ，Ｃ，Ｄの動きベクトルを探索した結果、参照フレー
ムのコントロールグリッド点Ａ′，Ｂ′，Ｃ′，Ｄ′が
対応する位置であったとする。アフィンパラメータを求
めるためには、まず、４つのコントロールグリッド点の
うち３点を選択し領域の分割を行う。例えば、現画像フ
レームでは、Ａ，Ｂ，ＣとＢ，Ｃ，Ｄのような領域の分
割を行う。対応して参照画像フレームでは、Ａ′，
Ｂ′，Ｃ′とＢ′，Ｃ′，Ｄ′に分割される。領域を三
角形に分割した後、各三角形の頂点の位置（一方が頂点
の位置で、片方が動きベクトルでも良い）よりアフィン
パラメータを計算する。そして、求められたアフィンパ
ラメータより分割された三角形領域の内部の画素全てを
予測画像フレームに写像することにより、予測画像フレ
ームを生成する。この際、参照画像フレーム中で参照さ
れる画素位置が整数でなかった場合には、双線形内挿な
どの予測値の補間を行い、予測画像フレームの画素値の
決定を行う。以上の処理を行うことにより、予測画像フ
レームを生成する。

【００１７】

【発明が解決しようとする課題】しかしながら、前述し
たところの従来技術における固定領域サイズのアフィン
変換を用いた動き補償フレーム間予測では、被写体の大
きさが小さい場合や、被写体の周辺部分が複数の領域に
分割されて被写体のエッジと領域の切れ目が大きく異な
る場合など、動き予測効率が悪くなることがあるという
問題点があった。また、アフィン変換による動き補償フ
レーム間予測では、アフィン変換特有の幾何的歪みが発
生して、予測効率が低下し、結果として符号化映像品質
が悪くなる場合がある。特に、入力画像に領域の平行移
動による動きが含まれている場合に、このような動きを
正確には表現できずに、動き補償予測効率が、著しく低
下してしまう。また、画像フレームの周辺部に位置する
コントロールグリッド点の動きベクトルを設定する際
に、その内側のコントロールグリッド点から疑似的に設
定していたため、精度の高い動きベクトルが求められな
いことがあるという問題点があった。また、可変領域サ
イズのアフィン変換を行おうとした場合、従来に比べコ
ントロールグリッド点が増加するため、各コントロール
グリッド点における動きベクトルが増加することにな
る。そのため、動きベクトルの効率的な符号化が必要と
なる。特に、可変領域サイズのアフィン変換では、選択
された領域サイズに応じて、コントロールグリッド点の
数が変化するため、対応する動きベクトルの数も変化す
る。従って、画像フレーム内で動きベクトルが散在して
配置されることになり、従来の動きベクトル符号化方式
を、そのまま適用することは困難であり、効率も悪い。
そこで、可変領域サイズに適した、効率の良い動きベク
トル符号化方式が必要である。

【００１８】本発明は、このような従来技術の問題点に
鑑みてなされたもので、画像フレーム間における精度の
高い動きベクトルを求め、画像フレーム中の被写体の大
きさや形状に最適な領域分割を行い、動きベクトルの効
率的な符号化を行うこと、更に、上述の効率的に符号化
された動きベクトルの復号化を行い、画像フレーム中の
被写体の大きさや形状に最適な領域分割により予測され
た予測画像フレームの再現を行うことを目的とし、総合
すると動画像のより効率的な動き補償フレーム間予測，
より低ビットレートの回線を用いての動画像通信を可能
とすることをその目的とする。

【００１９】

【課題を解決するための手段】本願の第１の発明は、動
き補償フレーム間予測を行うことにより得た予測画像フ
レームと入力画像フレームとの差を予測誤差情報として
符号化する動画像符号化装置であって、既に符号化され
復号された映像信号を記憶しておくためのフレームメモ
リと、前記入力画像フレームと前記フレームメモリから
読み出した映像信号とから動きベクトルを探索する動き
ベクトル探索部と、複数の領域分割パターンを用いて画
像フレームを予め決められた大きさの単位矩型領域、及
び該単位矩型領域を更に細かく分割した可変サイズの三
角形の小領域からなる処理領域に分割し、該処理領域毎
に前記動きベクトルを用いて前記フレームメモリから読
み出した映像信号をアフィン変換することにより、複数
の領域分割パターンに応じた予測画像フレームを生成す
る可変領域サイズ予測フレーム生成部と、符号化効率が
最適となるように、前記可変領域サイズ予測フレーム生
成部で用いる領域分割パターンを決定し、動きベクトル
および領域分割情報を含むサイド情報と予測画像フレー
ムとを出力する領域分割パターン決定部と、前記領域分
割パターン決定部から出力されるサイド情報を符号化す
るサイド情報符号化部とを備えたことを特徴とする。

【００２０】本願の第２の発明は、動き補償フレーム間
予測を行うことにより得た予測画像フレームと入力画像
フレームとの差を予測誤差情報として符号化する動画像
符号化装置であって、既に符号化され復号された映像信
号を記憶しておくためのフレームメモリと、前記入力画
像フレームと前記フレームメモリから読み出した映像信
号とから動きベクトルを探索する動きベクトル探索部
と、所定の領域分割パターンを用いて画像フレームを予
め決められた大きさの単位矩型領域、及び該単位矩型領
域を更に細かく分割した可変サイズの三角形の小領域か
らなる処理領域に分割し、該処理領域毎に前記動きベク
トルを用いて前記フレームメモリから読み出した映像信
号をアフィン変換することにより、予測画像フレームを
生成する可変領域サイズ予測フレーム生成部と、前記可
変領域サイズ予測フレーム生成部で生成された予測画像
の予測誤差が予め設定されている閾値以上であった場
合、前記可変領域サイズ予測フレーム生成部に対し他の
領域分割パターンを用いた処理領域の再分割を指示し
て、前記予測誤差が前記閾値以下となる領域分割パター
ンを決定し、動きベクトルおよび領域分割情報を含むサ
イド情報と予測画像フレームとを出力する領域分割パタ
ーン決定部と、前記領域分割パターン決定部から出力さ
れるサイド情報を符号化するサイド情報符号化部とを備
えたことを特徴とする。

【００２１】本願の第３の発明は、前記可変領域サイズ
予測フレーム生成部が、前記処理領域毎に前記アフィン
変換による予測、または平行移動による予測を行うこと
によって、予測画像フレームを生成することを特徴とす
る。

【００２２】本願の第４の発明は、前記動きベクトル探
索部が、動きベクトルを探索する位置に応じて、入力画
像フレーム及び参照画像フレームの画面内に存在する画
素間の差分を求めることにより、動きベクトルの探索を
行うことを特徴とする。

【００２３】

【００２４】本願の第５の発明は、前記サイド情報符号
化部が、前記単位矩型領域の頂点に位置する４本の基本
動きベクトルを符号化するとともに、前記小領域の頂点
に位置する付加動きベクトルを前記４本の基本動きベク
トルの平均との差分として符号化することを特徴とす
る。

【００２５】本願の第６の発明は、前記サイド情報符号
化部が、前記単位矩型領域の頂点に位置する４本の基本
動きベクトルを符号化するとともに、２本の基本動きベ
クトルの間で前記小領域の頂点に位置する付加動きベク
トルを該２本の基本動きベクトルの平均との差分として
符号化し、前記単位矩型領域の中央で前記小領域の頂点
に位置する付加動きベクトルを前記４本の基本動きベク
トルの平均との差分として符号化することを特徴とす
る。

【００２６】本願の第７の発明は、前記サイド情報符号
化部が、符号化対象となる動きベクトルの左方、上方及
び右上方に隣接して存在する既に符号化された３本の前
記単位矩型領域の頂点に位置する基本動きベクトルまた
は前記小領域の頂点に位置する付加動きベクトルから算
出した予測値を用いて、該符号化対象動きベクトルを符
号化することを特徴とする。

【００２７】本願の第８の発明は、前記動きベクトル符
号化部が、前記３本の動きベクトルの平均値を符号化対
象動きベクトルの予測値とし、該符号化対象動きベクト
ル値と前記予測値との差分を符号化することを特徴とす
る。

【００２８】本願の第９の発明は、前記動きベクトル符
号化部が、前記３本の動きベクトルのメディアン値（中
央値）を符号化対象動きベクトルの予測値とし、該符号
化対象動きベクトル値と前記予測値との差分を符号化す
ることを特徴とする。

【００２９】

【００３０】本願の第１０の発明は、動き補償フレーム
間予測を行うことにより得た予測画像フレームと動画像
符号化装置より伝送された予測誤差情報とから画像フレ
ームを復元する動画像復号化装置であって、既に復号化
された映像信号を記憶しておくためのフレームメモリ
と、動きベクトル、領域分割情報を含むサイド情報を復
号するサイド情報復号化部と、前記サイド情報復号化部
で復号された領域分割情報に基づいて画像フレームを予
め決められた大きさの単位矩型領域、及び該単位矩型領
域を更に細かく分割した可変サイズの三角形の小領域か
らなる処理領域に分割し、該処理領域毎に前記サイド情
報復号化部で復号された動きベクトルを用いて前記フレ
ームメモリから読み出した映像信号をアフィン変換する
ことにより、予測画像フレームを生成する可変領域サイ
ズ予測フレーム生成部とを備えたことを特徴とする。

【００３１】本願の第１１の発明は、前記可変領域サイ
ズ予測フレーム生成部が、前記処理領域毎に前記アフィ
ン変換による予測、または平行移動による予測を行うこ
とによって、予測画像フレームを生成することを特徴と
する。

【００３２】

【００３３】本願の第１２の発明は、前記サイド情報復
号化部が、前記符号化サイド情報に含まれる前記単位矩
型領域の頂点に位置する４本の基本動きベクトルを復号
化するとともに、前記４本の基本動きベクトルの平均と
の差分によって符号化された前記小領域の頂点に位置す
る付加動きベクトルを復号化することを特徴とする。

【００３４】本願の第１３の発明は、前記サイド情報復
号化部が、前記符号化サイド情報に含まれる前記単位矩
型領域の頂点に位置する４本の基本動きベクトルを復号
化するとともに、２本の基本動きベクトルの間で前記小
領域の頂点に位置する付加動きベクトルを該２本の基本
動きベクトルの平均との差分によって符号化されている
と判断して復号化し、前記単位矩型領域の中央で前記小
領域の頂点に位置する付加動きベクトルを前記４本の基
本動きベクトルの平均との差分によって符号化されてい
ると判断して復号化することを特徴とする。

【００３５】本願の第１４の発明は、前記サイド情報復
号化部が、復号化対象となる動きベクトルの左方、上方
及び右上方に隣接して存在する既に復号化された３本の
前記単位矩型領域の頂点に位置する基本動きベクトルま
たは前記小領域の頂点に位置する付加動きベクトルから
算出した予測値を用いて、該復号化対象動きベクトルを
復号化することを特徴とする。

【００３６】本願の第１５の発明は、前記サイド情報復
号化部が、前記３本の動きベクトルの平均値を復号化対
象動きベクトルの予測値とし、復号された差分値と前記
予測値とを加算することにより該復号化対象動きベクト
ル値を得ることを特徴とする。

【００３７】本願の第１６の発明は、前記サイド情報復
号化部が、前記３本の動きベクトルのメディアン値（中
央値）を復号化対象動きベクトルの予測値とし、復号さ
れた差分値と前記予測値とを加算することにより該復号
化対象動きベクトル値を得ることを特徴とする。

【００３８】

【００３９】

【００４０】

【００４１】

【００４２】

【００４３】

【００４４】

【発明の実施の形態】動画像符号化装置および動画像復
号化装置の全体的な動作は、従来の動画像符号化装置お
よび動画像復号化装置について上記したところで説明し
たものと同様であり、動画像符号化装置の構成例が図３
に、動画像復号化装置の構成例が図４に示されている。
従って、ここでは、動画像符号化装置における動き補償
フレーム間予測部および動画像復号化装置における動き
補償フレーム間予測部に関する動作を説明する。

【００４５】まず始めに、動画像符号化装置における本
発明の動き補償フレーム間予測部の説明を行う。図１
は、動画像符号化装置における動き補償フレーム間予測
部１７の構成例を示す図である。図１において、３１は
有効領域選択部、３２は動きベクトル探索部、３３は可
変領域サイズ予測フレーム生成部、３４は領域分割パタ
ーン決定部、３５はサイド情報符号化部である。有効領
域選択部３１は、入力された入力画像フレームにおける
コントロールグリッド点の位置より有効領域選択マスク
を選択し、動きベクトル探索部３２に出力する。動きベ
クトル探索部３２は、有効領域選択部３１により指定さ
れた有効領域選択マスクを用いて、入力された入力画像
フレームとフレームメモリ部１６から入力された参照画
像フレームよりコントロールグリッド点の動きベクトル
を探索し、可変領域サイズ予測フレーム生成部３３に出
力する。可変領域サイズ予測フレーム生成部３３は、動
きベクトル探索部３２から入力された動きベクトルとフ
レームメモリ部１６から入力された参照画像フレームよ
りフレーム間予測を行う。

【００４６】フレーム間予測処理は、対象となる三角形
領域の３点の位置および動きベクトルよりアフィンパラ
メータを求め、求められたアフィンパラメータを使用し
て三角形領域内全ての画素についてアフィン変換を行
う。この処理を処理対象となる全ての三角形領域で行
い、予測画像フレームを生成する。三角形による領域分
割の種類は、図５に示す２６種類であり、１６×１６画
素の矩形領域を、２分割で２種類，５分割で８種類，８
分割で１６種類となる。これらの領域分割形態には、固
有の番号１〜２６が割り振られており、この番号を領域
分割番号と呼ぶ。可変領域サイズ予測フレーム生成部３
３は、前述のアフィン変換処理によって生成した予測画
像フレームに加えて、矩型領域の平行移動による予測画
像も出力する。平行移動による予測では、処理対象矩型
領域に対する一つの代表動きベクトルだけを利用する。
該代表動きベクトルは、アフィン変換の場合のような領
域頂点ではなく、矩型領域中心の動きベクトルを用い
る。平行移動による予測画像の生成においては、処理対
象矩型領域の画像フレーム内の位置を、代表動きベクト
ル分だけ変位させた位置の参照画像フレーム上の矩型領
域を、該処理対象矩型領域に対する予測画像とする処理
が行われる。また、代表動きベクトルを、矩型領域の中
心の動きベクトルではなく、矩型領域頂点であるコント
ロールグリッド点に位置する四つの動きベクトルから、
これら動きベクトルの平均値等として求めることもでき
る。

【００４７】領域分割パターン決定部３４では、可変領
域サイズ予測フレーム生成部３３より出力された予測画
像フレームと入力画像フレームとの差分を計算し、再分
割の必要性，最小誤差情報量となる領域分割を判断す
る。該領域分割パターン決定部３４での選択の候補とな
る領域分割の種類としては、図５に示す２６種類全て
を、選択の候補としても良いし、２６種類のうちから限
定された数の領域分割パターンだけを候補とすることも
できる。例えば、三角形領域の斜辺の方向を右上から左
下だけに限定した領域分割パターンである図５の番号
１、３、５、１１の４種類、また、斜辺の方向を逆方向
に限定した番号２、７、９、２６の４種類、これらを組
み合わせた番号１、２、３、５、７、９、１１、２６の
８種類から選択する場合などがある。また、図５に示す
８分割を更に細かく分割した領域分割パターンを選択の
候補に加えても良いし、分割の元となる矩型領域の大き
さを１６×１６画素以外の値とすることも可能であり、
３２×３２画素、あるいは８×８画素等とすることもで
きる。

【００４８】更には、該領域分割パターン決定部３４で
の選択の候補として、前記予測フレーム生成部３３にお
いて、領域分割されアフィン変換されて生成された予測
画像、及び、平行移動により生成された予測画像、の両
方を用いる。例えば、図５に示す２６種類の領域分割パ
ターンを領域分割の候補とする場合、領域分割パターン
決定部３４は、これらに平行移動による予測を加えた計
２７種類の候補から最小誤差情報量となるものを判断す
る。また、領域分割パターン決定部３４は、最小誤差情
報量となる領域分割が求められた場合には、減算部１１
および加算部１５に対して予測画像フレームを、そし
て、サイド情報符号化部３５に対して動きベクトルおよ
び領域分割情報を出力する。サイド情報符号化部３５
は、領域分割パターン決定部３４より入力された動きベ
クトルと領域分割情報を符号化して符号化サイド情報と
して出力する。

【００４９】以上、説明したような動作を繰り返すこと
により、動画像符号化装置における動き補償フレーム間
予測部１７では、連続した予測画像フレームおよび符号
化サイド情報の出力を行う。

【００５０】また、図２は、動画像復号化装置における
動き補償フレーム間予測部２３の構成例を示す図であ
る。図２において、３７は可変領域サイズ予測フレーム
生成部、３８はサイド情報復号化部である。動き補償フ
レーム間予測部２３に入力された符号化サイド情報は、
サイド情報復号化部３８に入力される。サイド情報復号
化部３８では、入力された符号化サイド情報を復号し、
基本動きベクトル，付加動きベクトルおよび領域分割情
報を得、可変領域サイズ予測フレーム生成部３７に出力
する。可変領域サイズ予測フレーム生成部３７は、サイ
ド情報復号化部３８から入力された動きベクトルおよび
領域分割情報，フレームメモリ部２４から入力された参
照前画像フレームよりフレーム間予測を行う。この際、
領域分割情報に従って領域を分割し、三角形単位でフレ
ーム間予測処理を行う。

【００５１】フレーム間予測処理は、対象となる三角形
領域の３点の位置および動きベクトルよりアフィンパラ
メータを求め、求められたアフィンパラメータを使用し
て三角形領域内全ての画素についてアフィン変換を行
う。この処理を処理対象となる全ての三角形領域で行
い、予測画像フレームを生成する。可変領域サイズ予測
フレーム生成部３７は、入力された領域分割情報に応じ
て、前述のアフィン変換処理によって生成した予測画像
フレーム、または、矩型領域の平行移動による予測画像
を出力する。平行移動による予測の場合には、処理対象
矩型領域の画像フレーム内の位置を、領域に対する一つ
の代表動きベクトル分だけ変位させた位置の参照画像フ
レーム上の矩型領域を、該処理対象矩型領域に対する予
測画像とする処理が行われる。可変領域サイズ予測フレ
ーム生成部３７は、生成した予測画像フレームを加算部
２２に出力する。以上、説明したような動作を繰り返す
ことにより、動画像復号化装置における動き補償フレー
ム間予測部２では、連続した予測画像フレームの出力を
行う。

【００５２】次に、本発明における動きベクトルの探索
方式に関して説明する。図６は、コントロールグリッド
と動きベクトルを説明するための図で、同図によって、
まず、コントロールグリッド点の設定に関して説明す
る。本発明での処理領域は、可変のサイズを用いている
ため、コントロールグリッド点は、図６に示すように設
定される。図６の例では、１６×１６画素および８×８
画素単位にコントロールグリッド点が設定されている。
動きベクトルの探索においては、従来の探索方法と同様
に重み付けを用いるが、本発明では更に有効領域選択マ
スクを用いる。有効領域マスクを用い、処理領域の領域
を有効／無効を指定する。

【００５３】図７は、全ての種類の有効領域選択マスク
を示す図である。有効領域選択マスクは、画像フレーム
中にあるコントロールグリッド点の位置により異なるマ
スクを用いる。入力画像フレームの左上のコントロール
グリッド点（＝座標（０，０））における動きベクトル
を探索する際には、１のマスクを用いる。座標（８，
０）のコントロールグリッド点の動きベクトルを探索す
る際には２のマスクを、座標（１６，０）では３のマス
クを、座標（０，８）では６のマスクを、座標（８，
８）では７のマスクを、座標（８，１６）以降では８の
マスクを、座標（０，１６）では１１のマスクを、座標
（８，１６）では１２のマスクを、座標（１６，１６）
では１３のマスクを用いる。以下、同様に画像フレーム
の右端，下端では、４，５，９，１０，１４，１５，１
６，１７，１８，１９，２０，２１，２２，２３，２
４，２５のマスクを用いる。本発明では、上記のよう
に、処理領域の一部のみを用いて動きベクトルの探索を
行う。

【００５４】動きベクトルの符号化方式について、以下
の２つの方式を例示できる。これを図６の処理領域にお
ける動きベクトルの図を用いて説明する。 （１）方式１ ・基本動きベクトル（ＭＶ１〜４）を符号化する（従来
の動きベクトルの符号化と同様）。直前に符号化された
動きベクトルの値との差分により符号化する。 ・基本動きベクトル（ＭＶ１〜４）から以下のように予
測値を設定し、付加動きベクトル（ｍｖ１〜５）は、予
測値との差分を符号化する。ＰＭＶ１，ＰＭＶ２，ＰＭ
Ｖ３，ＰＭＶ４，ＰＭＶ５は、それぞれ付加動きベクト
ルｍｖ１，ｍｖ２，ｍｖ３，ｍｖ４，ｍｖ５の予測値で
あり、 ＰＭＶ１＝（ＭＶ１＋ＭＶ２）／２ ＰＭＶ２＝（ＭＶ１＋ＭＶ３）／２ ＰＭＶ３＝（ＭＶ１＋ＭＶ２＋ＭＶ３＋ＭＶ４）／４ ＰＭＶ４＝（ＭＶ２＋ＭＶ４）／２ ＰＭＶ５＝（ＭＶ３＋ＭＶ４）／２ で表される。ｍｖ１，ｍｖ２，ｍｖ３，ｍｖ４，ｍｖ５
とＰＭＶ１，ＰＭＶ２，ＰＭＶ３，ＰＭＶ４，ＰＭＶ５
の差分をとり、差分値を符号化する。ｄｍｖ１，ｄｍｖ
２，ｄｍｖ３，ｄｍｖ４，ｄｍｖ５は、それぞれ付加動
きベクトルの差分値であり、 ｄｍｖ１＝ｍｖ１−ＰＭＶ１ ｄｍｖ２＝ｍｖ２−ＰＭＶ２ ｄｍｖ３＝ｍｖ３−ＰＭＶ３ ｄｍｖ４＝ｍｖ４−ＰＭＶ４ ｄｍｖ５＝ｍｖ５−ＰＭＶ５ で表される。

【００５５】（２）方式２ ・基本動きベクトル（ＭＶ１〜４）を符号化する（従来
の動きベクトルの符号化と同様）。直前に符号化された
動きベクトルの値との差分により符号化する。 ・４本の基本動きベクトル（ＭＶ１〜４）の平均を予測
値として、付加動きベクトル（ｍｖ１〜５）は、予測値
との差分を符号化する。ＰＭＶは予測値である。 ＰＭＶ＝（ＭＶ１＋ＭＶ２＋ＭＶ３＋ＭＶ４）／４ ｍｖ１，ｍｖ２，ｍｖ３，ｍｖ４，ｍｖ５とＰＭＶとの
差分をとり、差分値を符号化する。ｄｍｖ１，ｄｍｖ
２，ｄｍｖ３，ｄｍｖ４，ｄｍｖ５は、それぞれ付加動
きベクトルの差分値であり、 ｄｍｖ１＝ｍｖ１−ＰＭＶ ｄｍｖ２＝ｍｖ２−ＰＭＶ ｄｍｖ３＝ｍｖ３−ＰＭＶ ｄｍｖ４＝ｍｖ４−ＰＭＶ ｄｍｖ５＝ｍｖ５−ＰＭＶ で表される。

【００５６】また、基本動きベクトルおよび付加動きベ
クトルの復号方式を符号化時と同様に２つの方式を例と
して説明する。 （１）方式１ ・基本動きベクトル（ＭＶ１〜４）を復号化する（従来
の動きベクトルの復号化と同様）。直前に復号化された
動きベクトルの値との差分として復号される。 ・付加動きベクトル（ｍｖ１〜５）を基本動きベクトル
（ＭＶ１〜４）からの予測値との差分として復号し、差
分を予測値に加算する。予測値は、符号化時と同様、以
下のように設定する。ＰＭＶ１，ＰＭＶ２，ＰＭＶ３，
ＰＭＶ４，ＰＭＶ５は、それぞれｍｖ１，ｍｖ２，ｍｖ
３，ｍｖ４，ｍｖ５の予測値であり、 ＰＭＶ１＝（ＭＶ１＋ＭＶ２）／２ ＰＭＶ２＝（ＭＶ１＋ＭＶ３）／２ ＰＭＶ３＝（ＭＶ１＋ＭＶ２＋ＭＶ３＋ＭＶ４）／４ ＰＭＶ４＝（ＭＶ２＋ＭＶ４）／２ ＰＭＶ５＝（ＭＶ３＋ＭＶ４）／２ で表される。ｄｍｖ１，ｄｍｖ２，ｄｍｖ３，ｄｍｖ
４，ｄｍｖ５は、復号化された差分値であり、 ｍｖ１＝ＰＭＶ１＋ｄｍｖ１ ｍｖ２＝ＰＭＶ２＋ｄｍｖ２ ｍｖ３＝ＰＭＶ３＋ｄｍｖ３ ｍｖ４＝ＰＭＶ４＋ｄｍｖ４ ｍｖ５＝ＰＭＶ５＋ｄｍｖ５ で表される。

【００５７】（２）方式２ ・基本動きベクトル（ＭＶ１〜４）を復号化する（従来
の動きベクトルの復号化と同様）。直前に復号化された
動きベクトルとの差分として復号化される。 ・付加動きベクトル（ｍｖ１〜５）を基本動きベクトル
（ＭＶ１〜４）からの予測値との差分として復号し、差
分を予測値に加算する。予測値は、符号化時と同様、４
本の基本動きベクトルの平均とする。ＰＭＶは、予測値
である。 ＰＭＶ＝（ＭＶ１＋ＭＶ２＋ＭＶ３＋ＭＶ４）／４ ｄｍｖ１，ｄｍｖ２，ｄｍｖ３，ｄｍｖ４，ｄｍｖ５
は、復号化された差分値であり、 ｍｖ１＝ＰＭＶ＋ｄｍｖ１ ｍｖ２＝ＰＭＶ＋ｄｍｖ２ ｍｖ３＝ＰＭＶ＋ｄｍｖ３ ｍｖ４＝ＰＭＶ＋ｄｍｖ４ ｍｖ５＝ＰＭＶ＋ｄｍｖ５ で表される。

【００５８】更に、もう一つの動きベクトルを符号化す
る方式について説明する。前述の動きベクトル符号化方
式では、初めに基本動きベクトルを符号化した後で、そ
れらの基本動きベクトルの情報を使って、付加動きベク
トルを符号化していたが、以下の方式では、基本動きベ
クトル、付加動きベクトルの区別なく、符号化が必要な
動きベクトルを順次符号化していく点で異なっている。
図８（ａ）に本発明における領域分割の例を示す。図８
（ａ）には、各領域が図のように領域分割された場合
の、コントロールグリッド点と対応する動きベクトルが
存在する位置が合わせて示してある。これら動きベクト
ルは、サイド情報符号化部３５においてすべて符号化す
る必要がある一方、それ以外の動きベクトルについて
は、領域分割パターン決定部３４で決定された領域分割
に基づく予測画像フレームの生成には必要ないため、符
号化されない。このように本発明の動画像符号化装置で
は、必ずしもすべてのコントロールグリッド点の動きベ
クトルを符号化する必要はなく、符号化対象の画像フレ
ームの領域分割の結果に応じて、必要な動きベクトルと
不要な動きベクトルとが存在する。

【００５９】本発明における動きベクトルの符号化方
式、特に動きベクトルの予測値の求め方について、図８
（ｂ）を参照して説明する。まず、符号化対象動きベク
トルＭＶに対する予測値を求める為に、左方、上方、及
び右上方の動きベクトル値を得る。左方の動きベクトル
については、図のＬ０、Ｌ１の二つの位置の動きベクト
ルＭＶＬ０、ＭＶＬ１を調べる。これらの内、いずれか
一方の動きベクトルのみが存在する場合には、その動き
ベクトルを左方動きベクトルとする。また、両方の動き
ベクトルが共に存在する場合には、符号化対象動きベク
トルに、より近い位置の動きベクトル、即ち、ＭＶＬ１
を左方動きベクトルとする。更に、両方の動きベクトル
が共に存在しない場合には、適当な値、例えば（０，
０）、を左方動きベクトル値とする。同様にして、上方
については、Ｕ０、Ｕ１の位置の動きベクトルＭＶＵ
０、ＭＶＵ１から上方動きベクトルを得、右上方につい
ては、Ｒ０、Ｒ１の位置の動きベクトルＭＶＲ０、ＭＶ
Ｒ１から右上方動きベクトルを得る。

【００６０】次に前述のようにして得られた三つの動き
ベクトルである、左方動きベクトル、上方動きベクト
ル、右上方動きベクトルとから、符号化対象動きベクト
ルの予測値を計算する。この予測値の計算方法として
は、従来と同様な方法が利用でき、これら三つの動きベ
クトル値の平均値を求める方法、メディアン値（中央
値）を求める方法等がある。更に、こうして得られた予
測値と、符号化対象動きベクトル値との差分が符号化さ
れることも従来の方式と同様である。図８（ｃ）に、図
８（ａ）のような領域分割が選択された場合の動きベク
トルの符号化の例を示す。前述の通り、符号化対象動き
ベクトルＭＶ０に対して、左方動きベクトルとしては、
ＭＶ１、ＭＶ２のうちＭＶ０に近い方のＭＶ１が、上方
動きベクトルとしてはＭＶ３が、右上方動きベクトルと
してはＭＶ４が得られる。

【００６１】次に本発明の動画像復号化装置におけるサ
イド情報復号化部３８での動きベクトルの復号化方法に
ついて説明する。動きベクトルの復号化においては、前
述の符号化方法と同様な方法で、復号化されて存在する
動きベクトルから、復号化対象動きベクトルの左方、上
方、右上方の動きベクトルが得られる。これらの動きベ
クトルは、符号化側で得られたそれぞれの動きベクトル
と完全に同一である。従って、これら三つの動きベクト
ルから求められる復号化対象動きベクトルの予測値も、
符号化時の予測値と同一である。動画像復号化装置で
は、サイド情報復号化部３８に入力される符号化された
予測値との差分が復号され、前述の予測値と加算される
ことによって復号化対象動きベクトル値が復元される。

【００６２】次に、領域分割情報の符号化および復号化
について説明する。領域分割情報の符号化においては、
領域分割情報は１〜２６までの値をとるため、一つの領
域分割情報の記述に５ビットが必要である。しかし、領
域分割番号の発生頻度に偏りが見られる場合には、出現
頻度の高い領域分割番号に短い符号長の符号を割り当
て、出現頻度の低い領域分割番号に長い符号長の符号を
割り当てる可変長符号化を行う。領域分割情報の復号化
においては、可変長復号化することで、領域分割情報の
復号化を行う。

【００６３】次に、領域分割パターン決定部３４および
周辺の動作を図９および図１０に示す処理フロー例を用
いて説明する。図９は、全ての領域分割の種類に関する
誤差情報量を求め、その中で最も誤差情報量が小さな動
きベクトルと領域分割を出力する場合の処理フローを示
し、図１０は、誤差情報量と閾値を比較することによ
り、再分割の必要性を判断する場合の処理フローを示
す。まず、図９の処理フロー１について説明すると、始
めに動きベクトルを探索するコントロールグリッド点の
座標より有効領域選択を行い、動きベクトルの探索を行
う（ステップ１）。この時、全ての領域分割タイプを処
理可能なように、全ての基本動きベクトルおよび付加動
きベクトルを探索する。そして、各領域の三角形毎にア
フィンパラメータを計算し、アフィン変換および画素値
の補間を行い、予測画像フレームを生成する（ステップ
２）。この時、アフィン変換処理によって生成した予測
画像フレームに加えて、矩型領域の平行移動による予測
画像も出力される。平行移動による予測では、処理対象
矩型領域の画像フレーム内の位置を、領域に対する一つ
の代表動きベクトル分だけ変位させた位置の参照画像フ
レーム上の領域が、予測画像として出力される。

【００６４】そして、各領域分割タイプ毎に誤差情報量
の計算をし、誤差情報量の比較を行い、誤差情報量が最
小となる領域分割を採用する（ステップ３）。ここで、
選択の候補となる領域分割の種類は、前述したとおり、
図５に示す２６種類全て、あるいは、限定された数の領
域分割パターン、例えば、図５の番号１、３、５、１１
の４種類、または、番号２、７、９、２６の４種類、こ
れらを組み合わせた番号１、２、３、５、７、９、１
１、２６の８種類、などである。更に選択の候補とし
て、領域分割されアフィン変換されて生成された予測画
像、及び、平行移動により生成された予測画像、の両
方、例えば、図５に示す２６種類の領域分割パターンに
平行移動による予測を加えた計２７種類を用いることも
前述のとおりである。採用された領域分割番号および動
きベクトル（基本動きベクトルおよび付加動きベクト
ル）を符号化し、予測画像フレームおよび符号化サイド
情報を出力する（ステップ４）。

【００６５】次に、図１０の処理フロー２について説明
すると、始めに動きベクトルを探索するコントロールグ
リッド点の座標より有効領域選択を行い、動きベクトル
の探索を行う（ステップ１）。この時、領域分割タイプ
は、領域分割番号の１または２（１と２の両方を指定
し、誤差情報量の少ない方を初期番号としてもよい）を
指定する。そして、各領域の三角形毎にアフィンパラメ
ータを計算し、アフィン変換および画素値の補間を行
い、予測画像フレームを生成する（ステップ２）。この
時、アフィン変換処理によって生成した予測画像フレー
ムに加えて、矩型領域の平行移動による予測画像も出力
される。平行移動による予測では、処理対象矩型領域の
画像フレーム内の位置を、領域に対する一つの代表動き
ベクトル分だけ変位させた位置の参照画像フレーム上の
領域が、予測画像として出力される。

【００６６】そして、各領域分割タイプ毎に誤差情報量
の計算をし、誤差情報量とあらかじめ設定された閾値と
の比較を行い（ステップ３）、誤差情報量が閾値より大
きかった場合には、領域分割番号を変化させ処理を行
う。ここで、次に処理される領域分割番号は、前述した
とおり、図５に示す２６種類全て、あるいは、限定され
た数の領域分割パターン、例えば、図５の番号１、３、
５、１１の４種類、または、番号２、７、９、２６の４
種類、これらを組み合わせた番号１、２、３、５、７、
９、１１、２６の８種類、などから選択される。また、
誤差情報量が閾値以下であれば、その場合の領域分割情
報を採用する（ステップ４）。採用された領域分割番号
および動きベクトル（基本動きベクトルおよび付加動き
ベクトル）を符号化し、予測画像フレームおよび符号化
サイド情報を出力する（ステップ５）。

【００６７】

【発明の効果】本発明の動画像符号化装置によれば、複
数の領域分割パターンを用いて画像フレームを予め決め
られた大きさの単位矩型領域、及び該単位矩型領域を更
に細かく分割した可変サイズの三角形の小領域からなる
処理領域に分割し、該処理領域毎にアフィン変換するこ
とにより、複数の領域分割パターンに応じた予測画像フ
レームを生成して、符号化効率が最適となる領域分割パ
ターンを決定するので、被写体の大きさ，形状に最適な
処理領域の分割が可能となり、アフィン変換特有の幾何
的歪みの発生による予測効率の低下を防ぐことができ、
誤差情報量が削減され、効率的な動画像符号化が可能と
なる。また、符号化効率が最適となる領域分割パターン
を、全ての選択の候補から一回のパスで決定し、結果を
出力することが可能となる。

【００６８】本発明の動画像符号化装置によれば、所定
の領域分割パターンを用いて画像フレームを予め決めら
れた大きさの単位矩型領域、及び該単位矩型領域を更に
細かく分割した可変サイズの三角形の小領域からなる処
理領域に分割し、該処理領域毎にアフィン変換すること
により、予測画像フレームを生成して、生成された予測
画像の予測誤差が予め設定されている閾値以上であった
場合、可変領域サイズ予測フレーム生成部に対し他の領
域分割パターンを用いた処理領域の再分割を指示して、
前記予測誤差が前記閾値以下となる領域分割パターンを
決定するので、被写体の大きさ，形状に最適な処理領域
の分割が可能となり、アフィン変換特有の幾何的歪みの
発生による予測効率の低下を防ぐことができ、誤差情報
量が削減され、効率的な動画像符号化が可能となる。ま
た、比較的計算量を少くして適切な領域分割パターンを
決定し、結果を出力することが可能となる。

【００６９】本発明の動画像符号化装置によれば、処理
領域毎にアフィン変換による予測、または平行移動によ
る予測を行うことによって、予測画像フレームを生成す
るので、入力画像に領域の平行移動による動きが含まれ
ている場合でも、動きの正確な表現が可能となり、ま
た、アフィン変換特有の幾何的歪みの発生による予測効
率の低下を防ぐことができ、誤差情報量が削減された効
率的な動画像符号化が可能となる。

【００７０】本発明の動画像符号化装置によれば、動き
ベクトルを探索する位置に応じて、入力画像フレーム及
び参照画像フレームの画面内に存在する画素間の差分を
求めることにより、動きベクトルの探索を行うことによ
り、画像フレームの周辺のコントロールグリッド点にお
ける動きベクトルをより高精度に探索することが可能と
なり、前記動きベクトルを用いる動き補償フレーム間予
測において、より効率的な予測が可能となる。

【００７１】本発明の動画像符号化装置によれば、単位
矩型領域の頂点に位置する４本の基本動きベクトルを符
号化するとともに、小領域の頂点に位置する付加動きベ
クトルを前記４本の基本動きベクトルの平均との差分と
して符号化することにより、サイド情報の符号化におい
て、動きベクトルの符号量を削減することが可能とな
る。

【００７２】本発明の動画像符号化装置によれば、単位
矩型領域の頂点に位置する４本の基本動きベクトルを符
号化するとともに、２本の基本動きベクトルの間で小領
域の頂点に位置する付加動きベクトルを該２本の基本動
きベクトルの平均との差分として符号化し、単位矩型領
域の中央で小領域の頂点に位置する付加動きベクトルを
前記４本の基本動きベクトルの平均との差分として符号
化することにより、サイド情報の符号化において、動き
ベクトルの符号量を削減することが可能となる。

【００７３】本発明の動画像符号化装置によれば、符号
化対象となる動きベクトルの左方、上方及び右上方に隣
接して存在する既に符号化された３本の単位矩型領域の
頂点に位置する基本動きベクトルまたは小領域の頂点に
位置する付加動きベクトルから算出した予測値を用い
て、該符号化対象動きベクトルを符号化することによ
り、サイド情報の符号化において、動きベクトルが画像
フレーム内で散在して配置される場合でも動きベクトル
の２次元的な相関を利用することができ、動きベクトル
の符号量を削減することが可能となる。

【００７４】本発明の動画像符号化装置によれば、前記
３本の動きベクトルの平均値を符号化対象動きベクトル
の予測値とし、該符号化対象動きベクトル値と前記予測
値との差分を符号化しているので、サイド情報の符号化
において、符号化対象動きベクトルの周囲の動きベクト
ルとの相関を効果的に利用することにより、動きベクト
ルの符号量の効果的な削減が可能となる。

【００７５】本発明の動画像符号化装置によれば、前記
３本の動きベクトルのメディアン値（中央値）を符号化
対象動きベクトルの予測値とし、該符号化対象動きベク
トル値と前記予測値との差分を符号化しているので、サ
イド情報の符号化において、符号化対象動きベクトルの
周囲の動きベクトルと相関の高い動きベクトル値から予
測符号化することにより、動きベクトルの符号量の効果
的な削減が可能となる。

【００７６】

【００７７】

【００７８】

【００７９】

【００８０】

【００８１】

【００８２】本発明の動画像復号化装置によれば、領域
分割情報に基づいて画像フレームを予め決められた大き
さの単位矩型領域、及び該単位矩型領域を更に細かく分
割した可変サイズの三角形の小領域からなる処理領域に
分割し、該処理領域毎にアフィン変換することにより、
予測画像フレームを生成するので、被写体の大きさ、形
状に最適な処理領域の分割が可能となり、アフィン変換
特有の幾何的歪みの発生による予測効率の低下を防ぐこ
とができ、誤差情報量が削減された効率のよい動画像復
号化が可能となる。

【００８３】本発明の動画像復号化装置によれば、処理
領域毎にアフィン変換による予測、または平行移動によ
る予測を行うことによって、予測画像フレームを生成す
るので、入力画像に領域の平行移動による動きが含まれ
ている場合でも、動きの正確な表現が可能となり、ま
た、アフィン変換特有の幾何的歪みの発生による予測効
率の低下を防ぐことができ、誤差情報量が削減された効
率的な動画像復号化が可能となる。

【００８４】本発明の動画像復号化装置によれば、符号
化サイド情報に含まれる単位矩型領域の頂点に位置する
４本の基本動きベクトルを復号化するとともに、前記４
本の基本動きベクトルの平均との差分として符号化され
た小領域の頂点に位置する付加動きベクトルを復号化す
ることにより、効率的に符号化された動きベクトルの復
号化が可能となる。

【００８５】本発明の動画像復号化装置によれば、符号
化サイド情報に含まれる単位矩型領域の頂点に位置する
４本の基本動きベクトルを復号化するとともに、２本の
基本動きベクトルの間で小領域の頂点に位置する付加動
きベクトルを該２本の基本動きベクトルの平均との差分
によって符号化されていると判断して復号化し、単位矩
型領域の中央で小領域の頂点に位置する付加動きベクト
ルを前記４本の基本動きベクトルの平均との差分によっ
て符号化されていると判断して復号化することにより、
効率的に符号化された動きベクトルの復号化が可能とな
る。

【００８６】

【００８７】本発明の動画像復号化装置によれば、復号
化対象となる動きベクトルの左方、上方及び右上方に隣
接して存在する既に復号化された３本の単位矩型領域の
頂点に位置する基本動きベクトルまたは小領域の頂点に
位置する付加動きベクトルから算出した予測値を用い
て、該復号化対象動きベクトルを復号化することによ
り、サイド情報の復号化において、動きベクトルが画像
フレーム内で散在して配置される場合でも、動きベクト
ルの２次元的な相関を利用して少ない符号量で効率的に
符号化された動きベクトルの復号化が可能となる。

【００８８】本発明の動画像復号化装置によれば、前記
３本の動きベクトルの平均値を復号化対象動きベクトル
の予測値とし、復号された差分値と前記予測値とを加算
することにより該復号化対象動きベクトル値を得るの
で、サイド情報の復号化において、復号化対象動きベク
トルの周囲の動きベクトルとの相関を効果的に利用して
符号化された動きベクトルの復号化が可能となる。

【００８９】本発明の動画像復号化装置によれば、前記
３本の動きベクトルのメディアン値（中央値）を復号化
対象動きベクトルの予測値とし、復号された差分値と前
記予測値とを加算することにより該復号化対象動きベク
トル値を得るので、サイド情報の復号化において、復号
化対象動きベクトルの周囲の動きベクトルと相関の高い
動きベクトル値から効率的に予測符号化された動きベク
トルの復号化が可能となる。

【００９０】

【００９１】

【図面の簡単な説明】

【図１】本発明による動画像符号化装置の動き補償フレ
ーム間予測部の実施の形態の一例の構成を示す図であ
る。

【図２】本発明による動画像復号化装置の動き補償フレ
ーム間予測部の実施の形態の一例の構成を示す図であ
る。

【図３】従来もしくは本発明に関する動画像符号化装置
全体の概略構成を示す図である。

【図４】従来もしくは本発明における動画像復号化装置
全体の概略構成を示す図である。

【図５】本発明における三角形による領域分割の全ての
種類を示す図である。

【図６】本発明のコントロールグリッドおよび動きベク
トルを説明するための図である。

【図７】本発明における有効領域選択マスクの全ての種
類を示す図である。

【図８】本発明における動きベクトルの予測符号化方式
を説明するための図である。

【図９】本発明における動き補償フレーム間予測の処理
フロー例（１）を説明するための図である。

【図１０】本発明における動き補償フレーム間予測の処
理フロー例（２）を説明するための図である。

【図１１】従来の動画像符号化装置の動き補償フレーム
間予測部を例示する図である。

【図１２】従来における動画像復号化装置の動き補償フ
レーム間予測部を例示する図である。

【図１３】従来および本発明における動きベクトル探索
の際に用いる重み付けについての図である。

【図１４】従来におけるコントロールグリッドおよび動
きベクトルの一例を説明するための図である。

【図１５】被写体の変形および前方向予測を行う場合の
アフィン変換を用いたフレーム間予測を説明するための
図である。

【符号の説明】

１１…減算部 １２…画像符号化部 １３…符号化制御部 １４…画像復号化部 １５…加算部 １６…フレームメモリ部 １７…動き補償フレーム間予測部 ２１…画像復号化部 ２２…加算部 ２３…動き補償フレーム間予測部 ２４…フレームメモリ部 ３１…有効領域選択部 ３２…動きベクトル探索部 ３３…可変領域サイズ予測フレーム生成部 ３４…領域分割パターン決定部 ３５…サイド情報符号化部 ３７…可変領域サイズ予測フレーム生成部 ３８…サイド情報復号化部 ４１…動きベクトル探索部 ４２…固定領域サイズ予測フレーム生成部 ４３…動きベクトル符号化部 ４４…ＤＣＴ変換部 ４５…量子化部 ４６…逆量子化部 ４７…逆ＤＣＴ変換部 ４８…ベクトル量子化部 ４９…逆ベクトル量子化部 ５１…固定領域サイズ予測フレーム生成部 ５２…動きベクトル復号化部。

フロントページの続き (56)参考文献 特開 平５−236455（ＪＰ，Ａ) 特開 平２−134085（ＪＰ，Ａ) 特開 平７−240927（ＪＰ，Ａ) 井上、伊東、宇都宮，可変ブロックサ イズ動き補償方式 〜ブロックサイズ制 御に関する実験的検討〜，画像符号化シ ンポジウム 第９回シンポジウム資料 （ＰＣＳＪ94），1994年10月17日，ｐ. 121−122 堅田、青野、草尾，超低ビットレート 画像符号化における動き補償方式，画像 符号化シンポジウム 第９回シンポジウ ム資料（ＰＣＳＪ94），1994年10月17 日，ｐ．121−122 如澤、小寺，アフィン変換を用いた任 意形状領域ＭＣに関する検討，1994年電 子情報通信学会春季大会講演論文集, 1994年３月10日，分冊７，ｐ．65 嵯峨田、如澤，領域形状予測に基づく 適応動ベクトル内挿，1995年電子情報通 信学会情報・システムソサイエティ大会 講演論文集，1995年８月15日，ｐ．108 (58)調査した分野(Int.Cl.⁷，ＤＢ名) H04N 7/32 ＩＮＳＰＥＣ（ＤＩＡＬＯＧ) ＪＩＣＳＴファイル（ＪＯＩＳ)

Claims (16)

(57)【特許請求の範囲】
1. 【請求項１】 動き補償フレーム間予測を行うことによ
   り得た予測画像フレームと入力画像フレームとの差を予
   測誤差情報として符号化する動画像符号化装置であっ
   て、既に符号化され復号された映像信号を記憶しておくため
   のフレームメモリと、 前記 入力画像フレームと前記フレームメモリから読み出
   した映像信号とから動きベクトルを探索する動きベクト
   ル探索部と、複 数の領域分割パターンを用いて画像フレームを予め決
   められた大きさの単位矩型領域、及び該単位矩型領域を
   更に細かく分割した可変サイズの三角形の小領域からな
   る処理領域に分割し、該処理領域毎に前記動きベクトル
   を用いて前記フレームメモリから読み出した映像信号を
   アフィン変換することにより、複数の領域分割パターン
   に応じた予測画像フレームを生成する可変領域サイズ予
   測フレーム生成部と、 符号化効率が最適となるように、前記可変領域サイズ予
   測フレーム生成部で用いる領域分割パターンを決定し、
   動きベクトルおよび領域分割情報を含むサイド情報と予
   測画像フレームとを出力する領域分割パターン決定部
   と、 前記領域分割パターン決定部から出力されるサイド情報
   を符号化するサイド情報符号化部とを備えたことを特徴
   とする動画像符号化装置。
2. 【請求項２】 動き補償フレーム間予測を行うことによ
   り得た予測画像フレームと入力画像フレームとの差を予
   測誤差情報として符号化する動画像符号化装置であっ
   て、既に符号化され復号された映像信号を記憶しておくため
   のフレームメモリと、 前記 入力画像フレームと前記フレームメモリから読み出
   した映像信号とから動きベクトルを探索する動きベクト
   ル探索部と、所 定の領域分割パターンを用いて画像フレームを予め決
   められた大きさの単位矩型領域、及び該単位矩型領域を
   更に細かく分割した可変サイズの三角形の小領域からな
   る処理領域に分割し、該処理領域毎に前記動きベクトル
   を用いて前記フレームメモリから読み出した映像信号を
   アフィン変換することにより、予測画像フレームを生成
   する可変領域サイズ予測フレーム生成部と、 前記可変領域サイズ予測フレーム生成部で生成された予
   測画像の予測誤差が予め設定されている閾値以上であっ
   た場合、前記可変領域サイズ予測フレーム生成部に対し
   他の領域分割パターンを用いた処理領域の再分割を指示
   して、前記予測誤差が前記閾値以下となる領域分割パタ
   ーンを決定し、動きベクトルおよび領域分割情報を含む
   サイド情報と予測画像フレームとを出力する領域分割パ
   ターン決定部と、 前記領域分割パターン決定部から出力されるサイド情報
   を符号化するサイド情報符号化部とを備えたことを特徴
   とする動画像符号化装置。
3. 【請求項３】 前記請求項１又は２に記載の動画像符号
   化装置において、 前記可変領域サイズ予測フレーム生成部は、前記処理領
   域毎に前記アフィン変換による予測、または平行移動に
   よる予測を行うことによって、予測画像フレームを生成
   することを特徴とする動画像符号化装置。
4. 【請求項４】 前記請求項１乃至３のいずれかに記載の
   動画像符号化装置において、 前記動きベクトル探索部は、動きベクトルを探索する位
   置に応じて、入力画像フレーム及び参照画像フレームの
   画面内に存在する画素間の差分を求めることにより、動
   きベクトルの探索を行うことを特徴とする動画像符号化
   装置。
5. 【請求項５】 前記請求項１乃至４に記載の動画像符号
   化装置において、 前記サイド情報符号化部は、前記単位矩型領域の頂点に
   位置する４本の基本動きベクトルを符号化するととも
   に、前記小領域の頂点に位置する付加動きベクトルを前
   記４本の基本動きベクトルの平均との差分として符号化
   することを特徴とする動画像符号化装置 。
6. 【請求項６】 前記請求項１乃至４に記載の動画像符号
   化装置において、 前記サイド情報符号化部は、前記単位矩型領域の頂点に
   位置する４本の基本動きベクトルを符号化するととも
   に、２本の基本動きベクトルの間で前記小領域の頂点に
   位置する付加動きベクトルを該２本の基本動きベクトル
   の平均との差分として符号化し、前記単位矩型領域の中
   央で前記小領域の頂点に位置する付加動きベクトルを前
   記４本の基本動きベクトルの平均との差分として符号化
   することを特徴とする動画像符号化装置 。
7. 【請求項７】 前記請求項１乃至４に記載の動画像符号
   化装置において、 前記サイド情報符号化部は、符号化対象となる動きベク
   トルの左方、上方及び右上方に隣接して存在する既に符
   号化された３本の前記単位矩型領域の頂点に位置する基
   本動きベクトルまたは前記小領域の頂点に位置する付加
   動きベクトルから算出した予測値を用いて、該符号化対
   象動きベクトルを符号化することを特徴とする動画像符
   号化装置 。
8. 【請求項８】 前記請求項７に記載の動画像符号化装置
   において、 前記動きベクトル符号化部は、前記３本の動きベクトル
   の平均値を符号化対象動きベクトルの予測値とし、該符
   号化対象動きベクトル値と前記予測値との差分を符号化
   することを特徴とする動画像符号化装置 。
9. 【請求項９】 前記請求項７に記載の動画像符号化装置
   において、 前記動きベクトル符号化部は、前記３本の動きベクトル
   のメディアン値（中央値）を符号化対象動きベクトルの
   予測値とし、該符号化対象動きベクトル値と前記予測値
   との差分を符号化することを特徴とする動画像符号化装
   置 。
10. 【請求項１０】 動き補償フレーム間予測を行うことに
    より得た予測画像フレームと動画像符号化装置より伝送
    された予測誤差情報とから画像フレームを復元する動画
    像復号化装置であって、 既に復号化された映像信号を記憶しておくためのフレー
    ムメモリと、 動きベクトル、領域分割情報を含むサイド情報を復号す
    るサイド情報復号化部と、 前記サイド情報復号化部で復号された領域分割情報に基
    づいて画像フレームを予め決められた大きさの単位矩型
    領域、及び該単位矩型領域を更に細かく分割した可変サ
    イズの三角形の小領域からなる処理領域に分割し、該処
    理領域毎に前記サイド情報復号化部で復号された動きベ
    クトルを用いて前記フレームメモリから読み出した映像
    信号をアフィン変換することにより、予測画像フレーム
    を生成する可変領域サイズ予測フレーム生成部とを備え
    たことを特徴とする動画像復号化装置 。
11. 【請求項１１】 前記請求項１０に記載の動画像復号化
    装置において、 前記可変領域サイズ予測フレーム生成部は、前記処理領
    域毎に前記アフィン変換による予測、または平行移動に
    よる予測を行うことによって、予測画像フレームを生成
    することを特徴とする動画像復号化装置。
12. 【請求項１２】 前記請求項１０又は１１に記載の動画
    像復号化装置において、 前記サイド情報復号化部は、前記符号化サイド情報に含
    まれる前記単位矩型領域の頂点に位置する４本の基本動
    きベクトルを復号化するとともに、前記４本の基本動き
    ベクトルの平均との差分によって符号化された前記小領
    域の頂点に位置する付加動きベクトルを復号化すること
    を特徴とする動画像復号化装置 。
13. 【請求項１３】 前記請求項１０又は１１に記載の動画
    像復号化装置において、 前記サイド情報復号化部は、前記符号化サイド情報に含
    まれる前記単位矩型領域の頂点に位置する４本の基本動
    きベクトルを復号化するとともに、２本の基本動きベク
    トルの間で前記小領域の頂点に位置する付加動きベクト
    ルを該２本の基本動きベクトルの平均との差分によって
    符号化されていると判断して復号化し、前記単位矩型領
    域の中央で前記小領域の頂点に位置する付加動きベクト
    ルを前記４本の基本動きベクトルの平均との差分によっ
    て符号化されていると判断して復号化することを特徴と
    する動画像復号化装置 。
14. 【請求項１４】 前記請求項１０又は１１に記載の動画
    像復号化装置において、 前記サイド情報復号化部は、復号化対象となる動きベク
    トルの左方、上方及び右上方に隣接して存在する既に復
    号化された３本の前記単位矩型領域の頂点に位置する基
    本動きベクトルまたは前記小領域の頂点に位置する付加
    動きベクトルから算出した予測値を用いて、該復号化対
    象動きベクトルを復号化することを特徴とする動画像復
    号化装置 。
15. 【請求項１５】 前記請求項１４に記載の動画像復号化
    装置において、 前記サイド情報復号化部は、前記３本の動きベクトルの
    平均値を復号化対象動きベクトルの予測値とし、復号さ
    れた差分値と前記予測値とを加算することにより該復号
    化対象動きベクトル値を得ることを特徴とする動画像復
    号化装置 。
16. 【請求項１６】 前記請求項１４に記載の動画像復号化
    装置において、 前記サイド情報復号化部は、前記３本の動きベクトルの
    メディアン値（中央値）を復号化対象動きベクトルの予
    測値とし、復号された差分値と前記予測値とを加算する
    ことにより該復号化対象動きベクトル値を得ることを特
    徴とする動画像復号化装置 。