JPH0846972A - 画像符号化装置及び画像復号装置 - Google Patents

Abstract

(57)【要約】 【目的】 四角形ブロックを２つの三角形に分割し、各
々の三角形の形状変換によって予測画像を生成する三角
形への分割線を四角形ブロック毎に適応的に選択し、こ
れによって良好な予測画像を得、符号化効率の向上を図
る。 【構成】 動き推定部１では格子点の動きを推定し、各
格子点の動ベクトルを求める。四角形ブロック二分割部
３は四角形ブロックをあらかじめ定められた方法で２つ
の三角形に分割する。アフィン変換決定部５は１つの四
角形ブロックに対して２つのアフィン変換のパラメータ
を求める。適応選択部２は四角形ブロックの分割線を四
角形ブロック毎に適応的に選択する部分である。四角形
ブロック二分割部３は適応選択部２で選択された分割線
と動ベクトルを入力とし、選択された分割線に従って四
角形ブロックを分割する。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、画像符号化装置及び画
像復号装置に関し、より詳細には、四角形ブロックを２
つの三角形に分割し、各々の三角形の形状変換によって
予測画像を生成する予測符号化装置において、三角形へ
の分割線を四角形ブロック毎に適応的に選択し、これに
よって良好な予測画像を得、符号化効率を向上させるよ
うにした画像符号化装置及び画像復号装置に関する。例
えば、ディジタル画像処理や画像データの高能率符号化
に適用されるものである。

【０００２】

【従来の技術】従来より、ディジタル動画像をフレーム
間予測，直交変換，量子化，可変長符号化等の技術を用
いて高能率符号化する方式が提案されている。例えば、
公知文献「ＭＰＥＧ２フレーム間予測方式」（テレビジ
ョン学会技術報告 Vol.16, No.61, pp.37-42）に述べら
れている方法がある。

【０００３】また、フレーム間予測の方式として、アフ
ィン変換を用いた予測方法が検討されている。例えば、
公知文献「Very Low Bitrate Video Coder using Warpi
ng Prediction」（1993年 画像符号化シンポジウム 8-
7, pp.167-168）や、「A Novel Video Coding Scheme B
ased on Temporal Prediction Using Digital Image Wa
rping」（IEEE International Conference on Consumer
Electronics, 1993）に述べられている方法では、図１
４（ａ）,（ｂ）に示すように、変形格子によって画像
の動きを表現し、参照画像（通常、符号化装置では局所
復号され、フレームメモリに蓄えられている画像であ
り、復号装置ではすでに復号され、フレームメモリに蓄
えられている画像である）からの幾何学変換によって形
状を変形し、予測画像が作成される。ここで、●は格子
点を表す。このような形状変換による予測の一つに、ア
フィン変換を用いたものがある。

【０００４】図１５は、従来の符号化装置における予測
画像作成回路のブロック図で、図中、４１は動き推定
部、４２は四角形ブロック二分割部、４３はアフィン変
換決定部、４４はアフィン変換部である。動き推定部４
１では格子点の動きを推定し、各格子点の動ベクトルを
求める。例えば、注目する画像（これから予測しようと
する画像）上で正方格子を作成し、各格子点の動きベク
トルを参照画像をもとに求める。この動ベクトルによっ
て参照画像上に変形格子が定められる。この場合は、参
照画像上の変形格子から予測画像上の正方格子への予測
を実行することとなる。しかし、一般には、参照画像上
の変形格子から予測画像上の変形格子への予測が可能で
ある。なお、動き推定部４１で求められた動きベクトル
は、図示しない符号化部において符号化され、符号化デ
ータに組み込まれて伝送あるいは蓄積される。

【０００５】四角形ブロック二分割部４２は、四角形ブ
ロックをあらかじめ定められた方法で２つの三角形に分
割する。図１６に示すように、参照画像上の四角形ブロ
ックから予測画像上の四角形ブロックへの形状変換は、
２つのアフィン変換によって実現できる。アフィン変換
決定部４３は、１つの四角形ブロックに対し、２つのア
フィン変換のパラメータを求める。個々のアフィン変換
のパラメータの求め方を以下に示す。予測画像上の座標
（ｕ,ｖ）と参照画像上の座標（ｘ,ｙ）がアフィン変換
によって次式のように関係づけられているとする。

【０００６】

【数１】

【０００７】このように、アフィン変換のパラメータは
６個ある。この式は次のように書ける。

【０００８】

【数２】

【０００９】三角形の頂点どうしが（ｘ_i，ｙ_i）⇔（ｕ
_i，ｖ_i）（ｉ＝０,１,２）のように対応しているとする
と、

【００１０】

【数３】

【００１１】となる。これを逆に解くと、アフィン変換
のパラメータが、

【００１２】

【数４】

【００１３】によって得られる。ただし、

【００１４】

【数５】

【００１５】である。アフィン変換部４４では、予測画
像上の画素の座標がアフィン変換によって参照画像上の
座標（一般に画素位置ではない）に対応付けられ、予測
画像上の画素の画素値が求められる。画素位置ではない
座標上の画素値は、例えば、以下に説明する双線形補間
によって求められる。図１７において、●は画素位置の
点を、○は画素位置ではない点を表す。ｆ(ｉ,ｊ)は座
標(ｉ,ｊ)における画素の画素値である。また、画素は
Ｍ×Ｎの長方形をなすものとする。この時、画素位置で
ない点Ｘにおける画素値ｆ（Ｘ）を、

【００１６】

【数６】

【００１７】によって計算する。予測画像上の各四角形
ブロックの画素について、参照画像から画素値を求める
ことで、予測画像が作成される。なお、アフィン変換部
４４で求められた予測画像と符号化対象画像との差分デ
ータが、図示しない符号化部において符号化され、伝送
あるいは蓄積される。

【００１８】

【発明が解決しようとする課題】前述のように、従来の
符号化装置においては、アフィン変換を用いるために、
四角形ブロックを２個の三角形に分割する分割線が１種
類しか用いられていないが、実際には、四角形を２分割
する分割線は２種類ある。図１８は、それぞれの分割線
による予測の摸式図である。直線ａｄを分割線とする分
割では、斜線の部分が変形するが、直線ｂｃを分割線
とする分割では変形しない。従来法では、全ての四角
形ブロックに対してあらかじめ定められた１種類の分割
線を用いるため、予測効率が低下することがあった。

【００１９】本発明は、このような実情に鑑みてなされ
たもので、四角形ブロックを２つの三角形に分割し、各
々の三角形の形状変換によって予測画像を生成する三角
形への分割線を四角形ブロック毎に適応的に選択し、こ
れによって良好な予測画像を得、符号化効率の向上を図
るようにした画像符号化装置及び画像復号装置を提供す
ることを目的としている。

【００２０】

【課題を解決するための手段】本発明は、上記課題を解
決するために、（１）参照画像を四角形ブロックに分割
し、前記四角形ブロックの頂点座標の動ベクトルを用い
て前記四角形ブロックの形状変換を行い、前記四角形ブ
ロックの形状変換に際しては、前記四角形ブロックを２
つの三角形に分割して各々の三角形について形状変換を
なすことにより予測画像を生成する予測符号化装置にお
いて、前記四角形ブロックを２つの三角形に分割する際
の分割線を四角形ブロック毎に選択する選択手段を設
け、前記四角形ブロックの頂点座標の動ベクトルと四角
形ブロックの分割線の情報とを符号化すること、更に
は、（２）四角形ブロックを２つの三角形に分割する分
割線を選択する際、参照画像からの予測画像と符号化対
象画像との誤差が小さい分割線を選択する選択手段を利
用すること、更には、（３）前記（２）において、画素
値の差分の２乗和を計算する計算手段を備え、参照画像
からの予測画像と符号化対象画像との誤差として、差分
の２乗和を用いること、更には、（４）前記（２）にお
いて、画素値の差分の絶対値和を計算する計算手段を備
え、参照画像からの予測画像と符号化対象画像との誤差
として、差分の絶対値和を用いること、更には、（５）
前記（１）において、前記四角形ブロックを２つの三角
形に分割する分割線の選択方法を符号化側と復号側であ
らかじめ定めておき、前記四角形ブロックの分割線の情
報は符号化しないこと、更には、（６）前記（５）にお
いて、四角形ブロックを２つの三角形に分割する分割線
を選択する際、参照画像の情報を用いて分割線を選択す
ること、更には、（７）前記（６）において、四角形ブ
ロック内の２個の三角形内の画素値の分散の差を計算す
る計算手段を備え、参照画像上で分散の差によって分割
線を選択すること、更には、（８）前記（５）におい
て、四角形ブロックを２つの三角形に分割する方法を選
択する際、前記四角形ブロックの４個の動ベクトルのう
ち、平均ベクトルから最も離れたベクトルを求める演算
手段を備え、前記ベクトルを求めた結果から分割線を選
択すること、或いは、（９）前記（１）に記載の画像符
号化装置により符号化されたデータから画像を復号する
画像復号装置であって、四角形ブロックの頂点座標の動
ベクトルと前記四角形ブロックの分割線の情報を復号
し、前記四角形ブロックの分割線の情報より前記四角形
ブロックを２つの三角形に分割し、頂点座標の動き情報
より前記各々の三角形に対する参照画像からの形状変換
を求める変換手段と、前記参照画像からの形状変換によ
って予測画像を作成する作成手段とを備えること、或い
は、（１０）前記（５）に記載の画像符号化装置により
符号化されたデータから画像を復号する画像復号装置で
あって、四角形ブロックの頂点座標の動ベクトルを復号
し、前記四角形ブロックを２つの三角形に分割する際の
分割線を選択する選択手段と、前記分割線の情報より四
角形ブロックを２つの三角形に分割し、頂点座標の動き
情報より上記各々の三角形に対する参照画像からの変換
を求める変換手段と、参照画像からの変換によって予測
画像を作成する作成手段とを備えること、更には、（１
１）前記（１０）において、前記（６）に記載の画像符
号化装置により符号化されたデータから画像を復号する
画像復号装置であって、四角形ブロックを２つの三角形
に分割する分割線を選択する際、参照画像の情報のみを
用いて分割線を選択すること、更には、（１２）前記
（１１）において、前記（７）に記載の画像符号化装置
により符号化されたデータから画像を復号する画像復号
装置であって、四角形ブロック内の２個の三角形内の画
素値の分散の差を計算する計算手段を備え、参照画像上
で分散の差によって分割線を選択すること、更には、
（１３）前記（１０）において、前記（８）に記載の画
像符号化装置により符号化されたデータから画像を復号
する画像復号装置であって、四角形ブロックを２つの三
角形に分割する分割線を選択する際、前記四角形ブロッ
クの４個の動ベクトルのうち、平均ベクトルから最も離
れたベクトルを求める演算手段を備え、前記ベクトルを
求めた結果から分割方法を選択することを特徴としたも
のである。

【００２１】

【作用】前記構成を有する本発明の画像符号化装置によ
れば、（１）四角形ブロックを２つの三角形に分割する
際の分割線を四角形ブロック毎に選択できる。また、参
照画像からの予測画像と符号化対象画像との誤差画素値
の差分の２乗和や、画素値の差分の絶対値和などによっ
て求め、誤差を小さくする分割線を選択することによ
り、画像全体の予測誤差を小さくできる。（２）復号装
置においても再現し得る選択方法を用いれば、選択情報
を符号化しなくてもよい。このとき、動ベクトルと参照
画像データとを用いて選択するようにする方法、三角形
に分割した際の参照画像データの画素値の分散の差を求
め、これを用いて選択するようにする方法、四角形ブロ
ックの４個の動ベクトルのうち平均ベクトルから最も離
れたベクトルを求め、この結果から分割方法を選択する
方法等の方法によって、簡単に分割線の選択手法を実現
することができる。

【００２２】また、本発明による復号装置によれば、
（３）復号された分割線に従ってブロックを適応的に２
つの三角形に分割できる。（４）符号化装置と同一の方
法によって分割線を選択し、その結果に従って四角形ブ
ロックを２つの三角形に分割するようにするので、符号
化装置で作成されるのと同一の予測画像が得られる。こ
のとき、動ベクトルと参照画像データとを用いて選択す
るようにする方法、三角形に分割した際の参照画像デー
タの画素値の分散の差を求め、これを用いて選択するよ
うにする方法、四角形ブロックの４個の動ベクトルのう
ち平均ベクトルから最も離れたベクトルを求め、この結
果から分割方法を選択する方法等の方法によって、簡単
に選択手法を実現することができる。

【００２３】

【実施例】実施例について、図面を参照して以下に説明
する。図１は、本発明による画像符号化装置の一実施例
（請求項１）を説明するためにブロック図で、図中、１
は動き推定部、２は適応選択部、３は四角形ブロック二
分割部、４はアフィン変換決定部、５はアフィン変換部
である。以下、四角形ブロックの分割線の情報を符号化
するものについて説明する。動き推定部１，アフィン変
換決定部４，アフィン変換部５は、図１５に示した従来
の動き推定部４１，アフィン変換決定部４３，アフィン
変換部４４と同様の動作をする。

【００２４】適応選択部２は、本発明の手法により、四
角形ブロックの分割線を四角形ブロック毎に適応的に選
択する部分である。適応選択の結果は、四角形ブロック
二分割部３に出力されると同時に、図示していない符号
化部に送られ、符号化データ中に組み込まれる。四角形
ブロック二分割部３は、適応選択部２で選択された分割
線と動ベクトルを入力とし、選択された分割線に従って
四角形ブロックを分割する。以上のようにして、四角形
ブロック毎に適応的に四角形ブロックの分割線を選択
し、予測画像を符号化対象画に近付けることによって、
符号化効率を向上させることができる。

【００２５】図２は、本発明による画像符号化装置の他
の実施例（請求項２）を説明するためのブロック図で、
図中、３ａ，３ｂは四角形ブロック二分割部、４ａ，４
ｂはアフィン変換決定部、５ａ，５ｂはアフィン変換
部、６ａ，６ｂは誤差計算部で、その他、図１と同じ作
用をする部分は同一の符号を付してある。

【００２６】四角形ブロックの分割線を適応選択する際
には、予測誤差を用いることが考えられる。ここで、ア
フィン変換決定部４ａ，４ｂ，アフィン変換部５ａ，５
ｂは、図１に示すアフィン変換決定部４，アフィン変換
部５と同様の動作をする。四角形ブロック二分割部３ａ
は、図１８の分割によって四角形ブロックを２つの三
角形に分割し、四角形ブロック二分割部３ｂは、図１８
の分割によって四角形ブロックを２つの三角形に分割
する。

【００２７】誤差計算部６ａ，６ｂでは、符号化対象画
像の画素値とアフィン変換部５ａ，５ｂから出力される
予測画像の候補の画素値との誤差を計算する。２種類の
分割線を用いて作成された予測画像の誤差は、適応選択
部２に出力される。また、２つの予測画像は四角形ブロ
ック毎に切替えスイッチに出力される。適応選択部２で
は２つの誤差値を比較し、誤差値を小さくする分割線を
選択し、切替えスイッチをコントロールして選択した分
割線に対応する予測画像を出力するようにする。また、
分割線の選択情報は、図示していない符号化部に送ら
れ、符号化データ中に組み込まれる。

【００２８】なお、図２の一点鎖線で囲まれた部分を図
１の適応選択部とみなし、後段で分割線の情報と動ベク
トルをもとに四角形ブロック分割を行い、アフィン変換
パラメータを決定し、アフィン変換を行うように構成し
ても良い。その時は、一点鎖線内のアフィン変換部５
ａ，５ｂは、画素を間引くなどして画素数を減らし、誤
差計算部６ａ，６ｂでもこれに対応して累積するデータ
数を減らすことによって、全体の演算量を減らすことも
できる。以上のようにして、四角形ブロック毎に予測誤
差を小さくする分割線を選択することが可能となり、符
号化効率を向上させることができる。

【００２９】図３は、図２の誤差計算部の一実施例（請
求項３）を説明するためのブロック図で、図中、１１は
減算器、１２は乗算器、１３は加算器、１４はレジス
タ、１５はラッチ、１６は制御装置である。符号化対象
画像の画素値と予測画像の画素値の差が第１の減算器１
１によって算出され、乗算器１２によって２乗される。
２乗された誤差値は、第２の加算器１３とレジスタ１４
によって累積加算され、ラッチ１５に出力される。該ラ
ッチ１５に保持されたデータは、２乗誤差の累積和が１
四角形ブロック分計算される度に、その四角形ブロック
の誤差の２乗和として出力される。なお、レジスタ及び
ラッチは制御装置１６によって制御される。

【００３０】図４は、図２の誤差計算部の他の実施例
（請求項４）を説明するためのブロック図で、図中、１
７は絶対値算出部で、その他、図３と同じ作用をする部
分は同一の符号を付してある。符号化対象画像の画素値
と予測画像の画素値の差が第１の減算器１１によって算
出され、絶対値算出部１７によって絶対値が算出され
る。誤差値の絶対値は、第２の加算器１３とレジスタ１
４によって累積加算され、ラッチ１５に出力される。ラ
ッチ１５に保持されたデータは、絶対値誤差の累積和が
１四角形ブロック分計算される度に、その四角形ブロッ
クの誤差の絶対値和として出力される。なお、レジスタ
及びラッチは、制御装置１６によって制御される。適応
選択のために用いる誤差としては、上で述べた誤差の２
乗和や絶対値和の他に、次式に示すような加重和を用い
てもよい。

【００３１】

【数７】

【００３２】ここで、Ｎは四角形ブロック内に含まれる
画素の数、ｆ（ｎ），ｇ（ｎ）は、それぞれ符号化対象
画像の画素値、予測画像の画素値である。また、ｗ
（ｎ）は重み係数を表す。ｗ（ｎ）として、例えば、四
角形ブロック境界で大きく内部で小さい値を設定してお
けば、四角形ブロック間の不整合性を目立たなくするよ
うな分割線を選択される。

【００３３】さらに、ｆ（ｎ），ｇ（ｎ）として符号化
対象画像の画素値の変換係数、予測画像の画素値の変換
係数を用いれば、空間周波数が高い部分の歪ほど目立た
ないという人間の視覚特性にあった誤差基準で、分割線
を選択することもできる。すなわち、上記変換として離
散フーリエ変換や離散コサイン変換などを用い、変換係
数の低周波成分に相当する部分ではｗ（ｎ）を大きく、
高周波成分に相当する部分ではｗ（ｎ）を小さく設定す
る。

【００３４】次に、符号化装置のうち、四角形ブロック
の分割線の情報を符号化しないものについて説明する。
図５〜図８は、その実施例を示すブロック図である。こ
こまで説明してきた方式は、四角形ブロックを適応的に
選択した後、この選択情報を符号化するものであった。
この情報を固定長で符号化すれば、四角形ブロック当た
り１ビットの情報が必要となる。以下に述べる発明は、
この情報を符号化しないで良好な予測画像を得ることを
目的としたものである。

【００３５】図５は、本発明による画像符号化装置の更
に他の実施例（請求項５）を説明するためのブロック図
で、図中、２１は動き推定部、２２は適応選択部、２３
は四角形ブロック二分割部、２４はアフィン変換決定
部、２５はアフィン変換部である。なお、動き推定部２
１，アフィン変換決定部２４，アフィン変換部２５は、
図１に示す動き推定部１，アフィン変換決定部４，アフ
ィン変換部５と同様の動作を行う。

【００３６】適応選択部２２は、本発明の手法により、
四角形ブロックの分割方法を四角形ブロック毎に適応的
に選択する部分である。ここでは、動ベクトル算出後、
算出された動ベクトル，参照画像の情報，参照画像以外
の以前に局所復号された情報，符号化中の画像の既に局
所復号された部分などを用いて、分割線を適応的に選択
することができる。適応選択の結果は、四角形ブロック
二分割部２３に出力される。該四角形ブロック二分割部
２３は、適応選択部２２で選択された分割方法と動ベク
トルを入力とし、選択された分割線に従って四角形ブロ
ックを分割する。

【００３７】図６は、本発明による画像符号化装置の更
に他の実施例（請求項６）を説明するためのブロック図
で、図中の参照番号は、図５と同じである。動き推定部
２１，アフィン変換決定部２４，アフィン変換部２５
は、図５で述べたものと同様の動きをする。ただし、四
角形ブロック二分割部２３は適応選択部２２で選択され
た分割線に従って四角形ブロックを分割する。

【００３８】適応選択部２２は、本発明の手法により、
四角形ブロックの分割線を参照画像の画素値を用いて四
角形ブロック毎に適応的に選択する部分である。ここで
は、動ベクトル算出後、算出された動ベクトルと参照画
像の情報を用いて、分割線を適応的に選択することがで
きる。適応選択の結果は、四角形ブロック二分割部２３
に出力される。該四角形ブロック二分割部２３は、適応
選択部２２で選択された分割線と動ベクトルを入力と
し、選択された分割線に従って四角形ブロックを分割す
る。

【００３９】図７は、本発明による画像符号化装置の更
に他の実施例（請求項７）を説明するためのブロック図
で、図中、３１ａ，３１ｂは分散差計算部、３２は選択
部で、その他、図５と同じ作用をする部分は同一の符号
を付してある。動き推定部２１，アフィン変換決定部２
４，アフィン変換部２５は図５で述べたものと同様の働
きをする。ただし、四角形ブロック二分割部２３は選択
部３２で選択された分割線に従って四角形ブロックを分
割する。

【００４０】分散差計算部３１ａは、本発明の手法によ
り、参照画像の四角形ブロックを図１８の分割の方法
で２つの三角形に分割した際、それぞれの三角形内に含
まれる画素値の分散を求め、それら分散の差の絶対値ｄ
１を計算する部分である。分散差計算部３１ｂは同様
に、四角形ブロックを図１８の分割の方法で分割した
際の分散の差の絶対値ｄ２を計算する部分である。

【００４１】選択部３２は、本発明の手法により、上述
の分散差の絶対値ｄ１とｄ２を比較し、ｄ１の方が大き
ければ分割を選択し、ｄ２の方が大きければ分割を
選択する。例えば、図１８の場合、分割では２つの三
角形の画素値の分散はほぼ等しく、ｄ１はほぼ０とな
る。一方、分割では、画素値の分散が異るためにｄ２
はｄ１より大きな値となる。従って、選択部３２では分
割が選択されることになる。多くの画像では、図１８
の分割の予測画像の方が符号化対象画像に近いので、
上で述べた方法によって、より良い予測画像が得られる
ことになる。選択の結果は、四角形ブロック二分割部２
３に出力される。該四角形ブロック二分割部２３は、選
択部３２で選択された分割線と動ベクトルを入力とし、
選択された分割線に従って四角形ブロックを分割する。

【００４２】図８は、本発明による画像符号化装置の更
に他の実施例（請求項８）を説明するためのブロック図
で、図中、３３は平均ベクトル計算部、３４は最大距離
ベクトル計算部で、その他、図７と同じ作用をする部分
は同一の符号を付してある。動き推定部２１，アフィン
変換決定部２４，アフィン変換部２５は、図５で述べた
ものと同様の働きをする。ただし、四角形ブロック二分
割部２３は、選択部３２で選択された分割線に従って四
角形ブロックを分割する。平均ベクトル計算部３３は、
本発明の手法により、四角形ブロックの４つの格子点
ａ,ｂ,ｃ,ｄ（図１８参照）の動ベクトルＶ_a，Ｖ_b，
Ｖ_c，Ｖ_dの平均ベクトルＶを以下のように計算する部分
である。

【００４３】

【数８】

【００４４】最大距離ベクトル算出部３４は、本発明の
手法により、格子点の動ベクトルと平均ベクトルとの距
離を求め、距離が最大のものを算出する部分である。ベ
クトルの距離は、

【００４５】

【数９】

【００４６】によって求められる。ここで「・」印は、
ベクトルの内積を表す。ベクトルの距離としては、２乗
距離の他に差分ベクトルの各成分の絶対値和を用いても
よい。選択部３２は、本発明の手法により、四角形ブロ
ックの分割線を選択する。すなわち、最大距離ベクトル
がＶ_bまたはＶ_cの場合に直線ａｄによる分割を、Ｖ_a
またはＶ_dの場合に直線ｂｃによる分割を選択する。
例えば、図１８の場合、Ｖ_dと平均ベクトルとの距離が
最大となり、分割が選択される。選択の結果は、四角
形ブロック二分割部２３に出力される。該四角形ブロッ
ク二分割部２３は、選択部３２で選択された分割方法と
動ベクトルを入力とし、選択された分割線に従って四角
形ブロックを分割する。

【００４７】以上のように、請求項５〜８の発明では、
分割情報を符号化しないので、四角形ブロック当たり１
ビットの情報を符号化データに追加することなく、分割
線の適応選択によって良好な予測画像を得る。

【００４８】図９は、本発明による画像復号装置の一実
施例（請求項９）を説明するためのブロック図で、図
中、参照番号は図１と同じである。復号装置のうち、四
角形ブロックの分割線の情報を復号するものについて説
明する。四角形ブロック二分割部３，アフィン変換決定
部４，アフィン変換部５は、全て図１と同様の働きをす
る。すなわち、対応する符号化装置において作成される
予測画像と同じものが復号装置でも得られることにな
る。ここで得られた予測画像は、図示しない復号部で得
られた予測誤差データの復号値と足し合わされ、これに
よって復号画像が作成される。復号画像は、ディスプレ
イなどに表示されると共に、図示しないフレームメモリ
に蓄えられ、以後の予測操作の参照画像として用いられ
る。

【００４９】次に、復号装置のうち、四角形ブロックの
分割線の情報を用いないものについて、図１０〜図１３
に基づいて説明する。図１０は、本発明による画像復号
装置の他の実施例（請求項１０）を説明するための構成
図で、図中の参照番号は図５と同じである。適応選択部
２２，四角形ブロック二分割部２３，アフィン変換決定
部２４，アフィン変換部２５は、図５と同様の働きをす
る。適応選択部２２は、動ベクトル復号のあと、復号さ
れた動ベクトル，参照画像の情報，参照画像以外の以前
に復号された情報，復号中の画像の既に復号された部分
などを用いて、分割線を適応的に選択することができ
る。ただし、用いられる選択手段は、符号化装置で用い
られたものと同一である。すなわち、復号装置に対応す
る符号化装置において作成される予測画像と同じものが
復号装置でも得られることになる。

【００５０】図１１は、本発明による画像復号装置の更
に他の実施例（請求項１１）を説明するためのブロック
図で、図中の参照番号は図６と同じである。適応選択部
２２，四角形ブロック二分割部２３，フアィン変換決定
部２４，アフィン変換部２５は、図６と同様の働きをす
る。適応選択部２２は、動ベクトル復号のあと、復号さ
れた動ベクトル，参照画像の情報を用いて、分割線を適
応的に選択することができる。ただし、用いられる選択
手法は、符号化装置で用いられたものと同一のものであ
る。すなわち、復号装置に対応する符号化装置において
作成される予測画像と同じものが復号装置でも得られる
ことになる。

【００５１】図１２は、本発明による画像復号装置の更
に他の実施例（請求項１２）を説明するためのブロック
図で、図中の参照番号は図７と同じである。分散差計算
部３１ａ，分散差計算部３１ｂ，選択部３２，四角形ブ
ロック二分割部２３，アフィン変換決定部２４，アフィ
ン変換部２５は、図７と同様の働きをする。すなわち、
復号装置に対応する符号化装置において作成される予測
画像と同じものが復号装置でも得られることになる。

【００５２】図１３は、本発明による画像復号装置の更
に他の実施例（請求項１３）を説明するためのブロック
図で、図中の参照番号は図８と同じである。平均ベクト
ル計算部３３，最大距離ベクトル算出部３４，選択部３
２，四角形ブロック二分割部２３，アフィン変換決定部
２４，アフィン変換部２５は、図８と同様の働きをす
る。すなわち、復号装置に対応する符号装置において作
成される予測画像と同じものが復号装置でも得られるこ
とになる。

【００５３】以上のようにして、四角形ブロックの分割
情報を用いずに、対応する符号化装置で作成された予測
画像と同一の予測画像を得ることができる。従って、四
角形ブロック当たり１ビットの分割情報を符号化データ
に追加する必要がないので、符号化データを少なくする
ことができる。

【００５４】このように、本発明の画像符号化装置にお
いて、四角形ブロックを２つの三角形に分割する際の分
割線を四角形ブロック毎に選択するようにする。この選
択情報を符号化し、符号化データに組み込む。上記選択
方法として、参照画像からの予測画像と符号化対象画像
との誤差を求め、誤差が小さい分割線を選択するように
する。上記誤差として、画素値の差分の２乗和や、画素
値の差分の絶対値和を用いる。

【００５５】また、本発明の画像符号化装置において、
四角形ブロックを２つの三角形に分割する際の分割線を
四角形ブロック毎に選択するようにする。この選択方法
として、復号装置においても再現し得るものを用い、選
択情報を符号化しないようにする。上記復号装置におい
ても、再現し得る選択方法において、動ベクトルと参照
画像データとを用いて選択するようにする。また、上記
復号装置においても、再現し得る選択方法において、三
角形に分割した際の参照画像データの画素値の分散の差
を求め、これを用いて選択するようにする。さらに、上
記復号装置においても、再現し得る選択方法において、
四角形ブロックの４個の動ベクトルのうち、平均ベクト
ルから最も離れたベクトルを求め、この結果から分割線
を選択する。

【００５６】また、本発明の画像復号装置において、復
号された分割線に従ってブロックを２つの三角形に分割
するようにする。また、本発明の画像復号装置におい
て、符号化装置と同一の方法によって分割線を選択し、
その結果に従って四角形ブロックを２つの三角形に分割
するようにする。また、上記符号化装置と同一の選択方
法において、動ベクトルと参照画像データとを用いて選
択するようにする。また、上記符号化装置と同一の選択
方法において、三角形に分割した際の参照画像データの
画素値の分散の差を求め、これを用いて選択するように
する。さらに、上記符号化装置と同一の選択方法におい
て、四角形ブロックの４個の動ベクトルのうち、平均ベ
クトルから最も離れたベクトルを求め、この結果から分
割線を選択する。

【００５７】

【発明の効果】以上の説明から明らかなように、本発明
によると、以下のような効果がある。 （１）請求項１〜４に対応する効果：本発明の画像符号
化装置では、四角形ブロックを２つの三角形に分割する
際の分割線を四角形ブロック毎に選択でき、良好な予測
画像が作成できる。このため、常に予測誤差が小さい分
割線を選択することが可能で、画像全体の予測誤差を小
さくできる。 （２）請求項５〜８に対応する効果：さらに、本発明の
画像符号化装置において、復号装置においても再現し得
る選択方法を用いれば、選択情報を符号化しなくてもよ
いので、符号化データ量を削減できる。このため、参照
画像及び動きベクトルを利用して簡単に復号側で再現で
きる選択手法を実現することができる。 （３）請求項９に対応する効果：本発明の画像復号装置
では、復号された分割線に従って四角形ブロックを適応
的に２つの三角形に分割できるので、符号化装置で作成
されたのと同一の良好な予測画像が作成できる。 （４）請求項１０〜１３に対応する効果：分割形状を符
号化せず、復号装置において符号化装置と同一の方法に
よって分割線を選択し、その結果に従って四角形ブロッ
クを２つの三角形に分割するようにすることも可能であ
り、この場合も符号化装置で作成されるのと同一の良好
な予測画像が得られる。 （５）予測画像として良好なものが得られれば、その後
の予測誤差の符号化処理で発生する符号量が少なくな
り、全体として少ないデータ量で符号化することができ
る。また、使用できるデータ容量が少ない伝送容量が小
さいなどの理由で予測誤差の符号として十分なデータ量
が使えない場合にも、予測画像が良好であれば復号され
る画像も良好となる。従って、本発明は、従来の方式の
問題を解決し、歪みが少ない良好な画質を与える画像符
号化装置及び画像復号装置を提供することができる。

【図面の簡単な説明】

【図１】本発明による画像符号化装置の一実施例（請求
項１）を説明するためのブロック図である。

【図２】本発明による画像符号化装置の他の実施例を説
明するためのブロック図である。

【図３】図２における誤差の２乗和計算手段を示すブロ
ック図である。

【図４】図２における誤差の絶対値和計算手段を示すブ
ロック図である。

【図５】本発明による画像符号化装置の更に他の実施例
（請求項５）を説明するためのブロック図である。

【図６】本発明による画像符号化装置の更に他の実施例
（請求項６）を説明するためのブロック図である。

【図７】本発明による画像符号化装置の更に他の実施例
（請求項７）を説明するためのブロック図である。

【図８】本発明による画像符号化装置の更に他の実施例
（請求項８）を説明するためのブロック図である。

【図９】本発明による画像復号装置の一実施例（請求項
９）を説明するためのブロック図である。

【図１０】本発明による画像復号装置の他の実施例（請
求項１０）を説明するためのブロック図である。

【図１１】本発明による画像復号装置の更に他の実施例
（請求項１１）を説明するためのブロック図である。

【図１２】本発明による画像復号装置の更に他の実施例
（請求項１２）を説明するためのブロック図である。

【図１３】本発明による画像復号装置の更に他の実施例
（請求項１３）を説明するためのブロック図である。

【図１４】従来の幾何学変換による動き補償予測を説明
するための図である。

【図１５】従来の画像符号化装置を示すブロック図であ
る。

【図１６】従来の幾何学変換による動き補償予測を説明
する図である。

【図１７】従来の双線形補間を説明する図である。

【図１８】従来の四角形ブロックを分割する２種類の方
法における動き補償予測の摸式図である。

【符号の説明】

１…動き推定部、２…適応選択部、３，３ａ，３ｂ…四
角形ブロック二分割部、４，４ａ，４ｂ…アフィン変換
決定部、５，５ａ，５ｂ…アフィン変換部、６ａ，６ｂ
…誤差計算部、１１…減算器、１２…乗算器、１３…加
算器、１４…レジスタ、１５…ラッチ、１６…制御装
置、１７…絶対値算出部、３１ａ，３１ｂ…分散差計算
部、３２…選択部、３３…平均ベクトル計算部、３４…
最大距離ベクトル計算部。

Claims (13)

【特許請求の範囲】
1. 【請求項１】 参照画像を四角形ブロックに分割し、前
   記四角形ブロックの頂点座標の動ベクトルを用いて前記
   四角形ブロックの形状変換を行い、前記四角形ブロック
   の形状変換に際しては、前記四角形ブロックを２つの三
   角形に分割して各々の三角形について形状変換をなすこ
   とにより予測画像を生成する予測符号化装置において、
   前記四角形ブロックを２つの三角形に分割する際の分割
   線を四角形ブロック毎に選択する選択手段を設け、前記
   四角形ブロックの頂点座標の動ベクトルと四角形ブロッ
   クの分割線の情報とを符号化することを特徴とする画像
   符号化装置。
2. 【請求項２】 四角形ブロックを２つの三角形に分割す
   る分割線を選択する際、参照画像からの予測画像と符号
   化対象画像との誤差が小さい分割線を選択する選択手段
   を利用することを特徴とする請求項１記載の画像符号化
   装置。
3. 【請求項３】 画素値の差分の２乗和を計算する計算手
   段を備え、参照画像からの予測画像と符号化対象画像と
   の誤差として、差分の２乗和を用いることを特徴とする
   請求項２記載の画像符号化装置。
4. 【請求項４】 画素値の差分の絶対値和を計算する計算
   手段を備え、参照画像からの予測画像と符号化対象画像
   との誤差として、差分の絶対値和を用いることを特徴と
   する請求項２記載の画像符号化装置。
5. 【請求項５】 前記四角形ブロックを２つの三角形に分
   割する分割線の選択方法を符号化側と復号側であらかじ
   め定めておき、前記四角形ブロックの分割線の情報は符
   号化しないことを特徴とする請求項１記載の画像符号化
   装置。
6. 【請求項６】 四角形ブロックを２つの三角形に分割す
   る分割線を選択する際、参照画像の情報を用いて分割線
   を選択することを特徴とする請求項５記載の画像符号化
   装置。
7. 【請求項７】 四角形ブロック内の２個の三角形内の画
   素値の分散の差を計算する計算手段を備え、参照画像上
   で分散の差によって分割線を選択することを特徴とする
   請求項６記載の画像符号化装置。
8. 【請求項８】 四角形ブロックを２つの三角形に分割す
   る方法を選択する際、前記四角形ブロックの４個の動ベ
   クトルのうち、平均ベクトルから最も離れたベクトルを
   求める演算手段を備え、前記ベクトルを求めた結果から
   分割線を選択することを特徴とする請求項５記載の画像
   符号化装置。
9. 【請求項９】 請求項１に記載の画像符号化装置により
   符号化されたデータから画像を復号する画像復号装置で
   あって、四角形ブロックの頂点座標の動ベクトルと前記
   四角形ブロックの分割線の情報を復号し、前記四角形ブ
   ロックの分割線の情報より前記四角形ブロックを２つの
   三角形に分割し、頂点座標の動き情報より前記各々の三
   角形に対する参照画像からの形状変換を求める変換手段
   と、前記参照画像からの形状変換によって予測画像を作
   成する作成手段とを備えることを特徴とする画像復号装
   置。
10. 【請求項１０】 請求項５に記載の画像符号化装置によ
    り符号化されたデータから画像を復号する画像復号装置
    であって、四角形ブロックの頂点座標の動ベクトルを復
    号し、前記四角形ブロックを２つの三角形に分割する際
    の分割線を選択する選択手段と、前記分割線の情報より
    四角形ブロックを２つの三角形に分割し、頂点座標の動
    き情報より上記各々の三角形に対する参照画像からの変
    換を求める変換手段と、参照画像からの変換によって予
    測画像を作成する作成手段とを備えることを特徴とする
    画像復号装置。
11. 【請求項１１】 請求項６に記載の画像符号化装置によ
    り符号化されたデータから画像を復号する画像復号装置
    であって、四角形ブロックを２つの三角形に分割する分
    割線を選択する際、参照画像の情報のみを用いて分割線
    を選択することを特徴とする請求項１０記載の画像復号
    装置。
12. 【請求項１２】 請求項７に記載の画像符号化装置によ
    り符号化されたデータから画像を復号する画像復号装置
    であって、四角形ブロック内の２個の三角形内の画素値
    の分散の差を計算する計算手段を備え、参照画像上で分
    散の差によって分割線を選択することを特徴とする請求
    項１１記載の画像復号装置。
13. 【請求項１３】 請求項８に記載の画像符号化装置によ
    り符号化されたデータから画像を復号する画像復号装置
    であって、四角形ブロックを２つの三角形に分割する分
    割線を選択する際、前記四角形ブロックの４個の動ベク
    トルのうち、平均ベクトルから最も離れたベクトルを求
    める演算手段を備え、前記ベクトルを求めた結果から分
    割方法を選択することを特徴とする請求項１０記載の画
    像復号装置。