JP3120664B2 - 画像符号化装置、画像復号化装置 - Google Patents

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は画像の符号化やフレーム
周波数変換などフォーマット変換に使用する動きベクト
ル検出装置と画像を少ない符号化量で伝送記録する画像
符号化装置および画像復号化装置に関するものである。

【０００２】

【従来の技術】ワンとエイデルソン（Ｊ．Ｗａｎｇ ａ
ｎｄ Ｅ．Ａｄｅｌｓｏｎ）により動画像の伝送記録を
効率的に行なうことを目的として動画像を図２３に示す
ように階層画像に分解して符号化する方式が提案されて
いる。

【０００３】この方式が開示されている文献「レイヤー
ド レプレゼンテーション フォーイメージ セクエン
ス コーディング」（Ｊ．Ｗａｎｇ ａｎｄ Ｅ．Ａｄ
ｅｌｓｏｎ：”Ｌａｙｅｒｅｄ Ｒｅｐｒｅｓｅｎｔａ
ｔｉｏｎ ｆｏｒ Ｉｍａｇｅ Ｓｅｑｕｅｎｃｅ Ｃ
ｏｄｉｎｇ”，Ｐｒｏｃ．ＩＥＥＥ Ｉｎｔ．Ｃｏｎ
ｆ．Ａｃｏｕｓｔｉｃ Ｓｐｅｅｃｈ Ｓｉｇｎａｌ
Ｐｒｏｃｅｓｓｉｎｇ’９３，ｐｐ．Ｖ２２１−Ｖ２２
４，１９９３）および文献「レイヤード レプレゼンテ
ーション フォー モーション アナライシス」（Ｊ．
Ｗａｎｇ ａｎｄ Ｅ．Ａｄｅｌｓｏｎ：”Ｌａｙｅｒ
ｅｄ Ｒｅｐｒｅｓｅｎｔａｔｉｏｎｆｏｒ Ｍｏｔｉ
ｏｎ Ａｎａｌｙｓｉｓ”， Ｐｒｏｃ．Ｃｏｍｐｕｔ
ｅｒＶｉｓｉｏｎ ａｎｄ Ｐａｔｔｅｒｎ Ｒｅｃｏ
ｇｎｉｔｉｏｎ，ｐｐ．３６１−３６６，１９９３）に
よると以下の（１）〜（３）の画像処理を行う。 （１）動画像中から同じ動きパラメータ（従来例ではア
フィン変換パラメータ）で記述される領域を抽出する。 （２）同じ動き領域を重ねて階層画像を生成する。各階
層画像は重ねられた領域の占有を示す画素毎の透過度と
輝度で表現される。 （３）階層画像間の視線方向の上下関係を調べて順序付
ける。

【０００４】ここでアフィン変換パラメータとは、画像
中の水平垂直位置を（ｘ，ｙ）、動きベクトルの水平垂
直成分を（ｕ，ｖ）とするとき、式１に示すａ₀〜ａ₅の
係数を意味する。

【０００５】

【数１】

【０００６】カメラから十分な距離にある剛体投影像の
動きは、アフィン変換パラメータで近似できることが知
られている。彼らはこれを利用し、１フレームで構成さ
れる数種類の階層画像をアフィン変換により変形させな
がら、数十〜数百フレームの動画像を合成している。こ
の動画像を伝送記録するに必要な情報は、各階層画像に
ついて変形の元となる画像（以後テンプレートと呼ぶ）
とアフィン変換パラメータ、各階層画像の上下関係だけ
であるから、非常に高い符号化効率で動画像の記録伝送
が行なえることになる。なお、テンプレートは画像合成
のために、領域の占有を示す画素毎の透過度と輝度で表
現される。

【０００７】

【発明が解決しようとする課題】ワンとエイデルソンの
動画像表現では投影像がアフィン変換で記述できる剛体
の動きのみを扱っている。したがって、彼らの動画像表
現は投影像の動きがアフィン変換で記述できない場合に
対処できない。例えば図２３に示す人物が非剛体の動き
を行なう場合、カメラ物体間距離が小さく透視変換の非
線形項が無視できない場合には適用できない。また投影
像の動きをアフィン変換パラメータとして求める彼らの
手法は、以下の２段階の処理から構成されている。

【０００８】１．輝度の時間変化が空間輝度勾配と動き
ベクトルの内積で近似できるという輝度の時空間勾配の
関係式に基づく方法（Ｂ． Ｌｕｃａｓ ａｎｄ Ｔ．
Ｋａｎａｄｅ：”Ａｎ Ｉｔｅｒａｔｉｖｅ Ｉｍａｇ
ｅ Ｒｅｇｉｓｔｒａｔｉｏｎ Ｔｅｃｈｎｉｑｕｅ
ｗｉｔｈ Ａｎａｐｌｉｃａｔｉｏｎ ｔｏ Ｓｔｅｒ
ｅｏ Ｖｉｓｉｏｎ”，Ｐｒｏｃ．Ｉｍａｇｅ Ｕｎｄ
ｅｒｓｔａｎｄｉｎｇ Ｗｏｒｋｓｈｏｐ，ｐｐ．１２
１−１３０，Ａｐｒｉｌ １９８１）で、画面上の各位
置において局所的な動きベクトルを求める。

【０００９】２．得られた動きベクトルをクラスタリン
グしてアフィン変換パラメータを求める。

【００１０】しかし、以上の手法では、動画像に輝度の
時空間勾配の関係式が成り立たないような大きな動きが
ある場合は適用できない。さらに、得られた動きベクト
ルからアフィン変換パラメータを推定する２段階の方法
では、パラメータ推定の基となった動きベクトルが誤っ
ている場合には、大きな推定誤差を生む。輝度変化のな
い領域あるいは輝度変化があっても一方向のみの輝度変
化で構成される領域では、動きベクトルは不定となる。
前記２段階の推定手法では、これら不確実な領域の動き
ベクトルに対する特別な処理が必要となる。以上まとめ
ると、以下の課題１、２が解決されていない。

【００１１】課題１：不規則な変形をもつ輝度と透過度
の画像（テンプレート）の効率的な符号化 課題２：アフィン変換パラーメータの頑健な推定 本発明は上記課題を解決するもので、視線方向の前後関
係で分離された階層画像を構成する輝度と透過度の画像
を高能率で符号化、復号化するための画像符号化装置、
画像復号化装置および動きベクトル検出装置を提供する
ことを目的とする。

【００１２】

【課題を解決するための手段】前記課題１を解決する第
１の発明の画像符号化装置は、物体の輝度と透過度から
構成される画像の系列を入力として、符号化対象画像を
ブロック分割し各ブロックについて輝度と透過度から構
成される参照画像中から対応する領域をブロック移動に
より得て符号化対象画像の輝度と透過度の画像を予測す
る予測手段と、前記予測手段における各ブロックの移動
成分を動きベクトルとして符号化する予測符号化手段
と、前記予測画像と前記符号化対象画像との輝度と透過
度の差分をブロック単位で誤差画像として求める誤差演
算手段と、前記誤差画像を誤差画像符号として符号化す
る誤差符号化手段を有し、画像系列を前記参照画像に対
する誤差画像符号，予測符号として伝送記録する構成で
ある。

【００１３】前記課題１を解決する第２の発明の画像復
号化装置は、第１の画像符号化装置と同じ参照画像を保
持し、予測符号よりブロック分割された各ブロックの動
きベクトルを復号する予測符号復号化手段と、復号化対
象画像をブロック分割し各ブロックについて輝度と透過
度から構成される参照画像中から対応する領域を前記動
きベクトルで規定されるブロック移動により得て予測画
像を生成する予測画像生成手段と、誤差画像符号により
誤差画像を復号する誤差画像復号化手段と、前記予測画
像と前記誤差画像をブロック単位で加算して輝度と透過
度からなる画像を得る加算手段とを有し、前記予測画像
生成手段または前記加算手段の出力として輝度と透過度
から構成される画像を復号化する構成である。

【００１４】前記課題１を解決する第３の発明の画像符
号化装置は、物体の輝度と透過度から構成される画像を
入力として、領域を透明領域と不透明領域の２つに分類
し、不透明領域については物体の輝度を、透明領域につ
いては輝度の値域外の所定の値をとるよう輝度と透過度
の情報が重畳された輝度画像を生成する重畳手段を有
し、前記輝度と透過度の情報が重畳された輝度画像をブ
ロック単位で動き補償符号化する構成である。

【００１５】前記課題１を解決する第４の発明の画像復
号化装置は、ブロック単位で動き補償復号を行った後、
輝度値が値域外の所定の値である場合は透明領域、値域
内の場合は輝度値として画像を透過度画像と輝度画像に
分離する分離手段を有し、輝度と透過度の画像を復号化
する構成である。

【００１６】前記課題１を解決する第５の発明の画像符
号化方法は、物体の輝度と透過度から構成される画像の
系列を入力として、符号化対象画像をブロック分割し各
ブロックについて輝度と透過度から構成される参照画像
中から対応する領域をブロック移動により得て符号化対
象画像の輝度と透過度の画像を予測する予測ステップ
と、前記予測ステップにおける各ブロックの移動成分を
動きベクトルとして符号化する予測符号化ステップと、
前記予測画像と前記符号化対象画像との輝度と透過度の
差分をブロック単位で誤差画像として求める誤差演算ス
テップと、前記誤差画像を誤差画像符号として符号化す
る誤差符号化ステップとを有することを特徴とする。

【００１７】前記課題１を解決する第６の発明の画像復
号化方法は、予測符号よりブロック分割された各ブロッ
クの動きベクトルを復号する予測符号復号化ステップ
と、復号化対象画像をブロック分割し各ブロックについ
て輝度と透過度から構成される参照画像中から対応する
領域を前記動きベクトルで規定されるブロック移動によ
り得て予測画像を生成する予測画像生成ステップと、誤
差画像符号により誤差画像を復号する誤差画像復号化ス
テップと、前記予測画像と前記誤差画像をブロック単位
で加算して輝度と透過度の画像を得る加算ステップを有
することを特徴とする。

【００１８】前記課題１を解決する第７の発明の画像符
号化方法は、物体の輝度と透過度から構成される画像を
入力として、領域を透明領域と不透明領域の２つに分類
し、不透明領域については物体の輝度を、透明領域につ
いては輝度の値域外の所定の値をとるよう輝度と透過度
の情報が重畳された輝度画像を生成する重畳ステップを
有し、前記輝度と透過度の情報が重畳された輝度画像を
ブロック単位で動き補償符号化することを特徴とする。

【００１９】前記課題１を解決する第８の発明の画像復
号化方法は、ブロック単位で動き補償復号を行った後、
輝度値が値域外の所定の値である場合は透明領域、値域
内の場合は輝度値として画像を透過度画像と輝度画像に
分離する分離ステップを有し、輝度と透過度から構成さ
れる画像を復号化することを特徴とする。

【００２０】前記課題２を解決する第９の発明の動きベ
クトル検出装置は、物体の輝度と透過度から構成される
複数の画像を入力として、透過度を所定の値の加算乗算
と必要に応じてしきい値処理を行い値域を変換し、変換
した値を輝度に加算して輝度と透過度の情報が重畳され
た輝度画像を生成する重畳手段と、輝度の相関により一
方の画像をブロック分割し各ブロックについて他方の画
像中から輝度差が小さくなる領域をブロック移動により
得る画像分析手段を有し、前記重畳手段により、輝度と
透過度から構成される画像を、輝度だけで構成される画
像に変換し、変換された複数の画像間で前記画像分析手
段を用いて部分領域の対応を得る構成である。

【００２１】前記課題２を解決する第１０の発明の動き
ベクトル検出装置は、画面上の任意の位置の動きベクト
ルをその位置を変数とする多項式関数として表現する装
置であって、画像をブロック分割して得られる各ブロッ
クについて、異なる２つの画像のブロックの輝度差また
は相関を誤差として演算し、最小誤差となる前記ブロッ
ク間の偏位とその近傍の誤差値を求める誤差演算手段
と、前記最小誤差となる偏位とその近傍の誤差値から偏
位を変数とする２次の誤差関数を求める誤差関数演算手
段と、前記２次誤差関数の総和あるいは部分和を、多項
式関数の係数として表現し、この総和あるいは部分和の
最小化を係数について行う最適化手段を有し、異なる画
像間の動きベクトルを多項式関数の係数として出力する
構成である。

【００２２】

【作用】第１の発明の画像符号化装置は、予測手段によ
って符号化対象画像をブロック分割し各ブロックについ
て輝度と透過度から構成される参照画像中から対応する
領域をブロック移動により得て符号化対象画像の輝度と
透過度を予測し、予測画像生成し、各ブロックの移動成
分を動きベクトルとして符号化する。前記予測画像と前
記符号化対象画像との輝度と透過度の差分をブロック単
位で誤差画像として求め、前記誤差画像を誤差画像符号
として符号化する。

【００２３】第２の発明の画像復号化装置は、第１の発
明の画像符号化装置と同じ参照画像を保持し、予測符号
復号化手段により、予測符号よりブロック分割された各
ブロックの動きベクトルを復号し、予測画像生成手段に
より、復号化対象画像をブロック分割し各ブロックにつ
いて輝度と透過度から構成される参照画像中から対応す
る領域を前記動きベクトルで規定されるブロック移動に
より得て予測画像を生成する。一方、誤差画像復号化手
段により誤差画像符号から誤差画像を復号化する。そし
て、加算手段が予測画像と誤差画像をブロック単位で加
算して輝度と透過度からなる画像を得る。

【００２４】以上の二発明では、符号化側では予測画像
と符号化対象画像との輝度と透過度の差分を求め符号化
する。一方復号化側では透過度と輝度の差分が復号され
る。これによって、不規則なテンプレートの変形を許し
た階層画像の符号化が行なえる。

【００２５】第３の発明の画像符号化装置では、物体の
輝度と透過度から構成される画像を入力として、重畳手
段が領域を透明領域と不透明領域の２つに分類し、不透
明領域については物体の輝度を、透明領域については輝
度の値域外の所定の値をとるよう輝度と透過度の情報が
重畳された輝度画像を生成したのち、これをブロック単
位で動き補償符号化する。

【００２６】第４の発明の画像復号化装置は、ブロック
単位で動き補償復号を行った後、輝度値が値域外の所定
の値である場合は透明領域、値域内の場合は輝度値とし
て画像を透過度画像と輝度画像に分離する。以上の二発
明では、テンプレートを構成する輝度と透過度の２つの
情報を一つの輝度画像に変換することにより、この輝度
画像の変化としてテンプレートの変形を扱うことができ
る。

【００２７】第５の発明の画像符号化方法は、符号化対
象画像をブロック分割し各ブロックについて輝度と透過
度から構成される参照画像中から対応する領域をブロッ
ク移動により得て符号化対象画像の輝度と透過度を予測
し、予測画像生成し、各ブロックの移動成分を動きベク
トルとして符号化する。前記予測画像と前記符号化対象
画像との輝度と透過度の差分をブロック単位で誤差画像
として求め、前記誤差画像を誤差画像符号として符号化
する。

【００２８】第６の発明の画像復号化方法は、予測符号
よりブロック分割された各ブロックの動きベクトルを復
号し、復号化対象画像をブロック分割し各ブロックにつ
いて輝度と透過度から構成される参照画像中から対応す
る領域を前記動きベクトルで規定されるブロック移動に
より得て予測画像を生成し、誤差画像符号から誤差画像
を復号化する。そして、予測画像と誤差画像をブロック
単位で加算して輝度と透過度からなる画像を得る。

【００２９】第７の発明の画像符号化方法では、物体の
輝度と透過度から構成される画像を入力として、領域を
透明領域と不透明領域の２つに分類し、不透明領域につ
いては物体の輝度を、透明領域については輝度の値域外
の所定の値をとるよう輝度と透過度の情報が重畳された
輝度画像を生成したのち、これをブロック単位で動き補
償符号化する。

【００３０】第８の発明の画像復号化方法は、ブロック
単位で動き補償復号を行った後、輝度値が値域外の所定
の値である場合は透明領域、値域内の場合は輝度値とし
て画像を透過度画像と輝度画像に分離する。

【００３１】第９の発明の動きベクトル検出装置は、重
畳手段により、透過度を所定の値の加算乗算と必要に応
じてしきい値処理を行い値域を変換し、変換した値を輝
度に加算して輝度と透過度の情報が重畳された輝度画像
を生成する。そして、画像分析手段は、輝度と相関によ
り一方の画像をブロック分割し、各ブロックについて他
方の画像中から輝度差が小さくなる領域をブロック移動
により得る。これにより、輝度だけでなく透過度の相関
を利用した動きベクトル検出を行うことができる。

【００３２】第１０の発明の動きベクトル検出装置の誤
差演算手段は、画像をブロック演算して得られる各ブロ
ックについて、異なる２つの画像のブロックの輝度差ま
たは相関を誤差として演算し、最小誤差となる前記ブロ
ック間の偏位とその近傍の誤差値を求める。誤差関数演
算手段は、前記最小誤差となる偏位とその近傍の誤差値
から偏位を変数とする２次の誤差関数を求める。そし
て、最適化手段は、前記２次誤差関数の総和または部分
和を、前記多項式関数の係数を変数として表現し、この
総和または部分和の最小化を係数について行う。本発明
では、動きベクトルからではなく、偏位を変数とする２
次の誤差関数から、これの総和または部分和を最小化す
るよう位置を変数とする多項式関数（アファイン変換は
その一例）の係数を定めることができる。

【００３３】

【実施例】本発明の各実施例では、装置の動作を容易に
理解するために、画像は縦横２８８×３５２画素で構成
され、階層は一般性を失うことなく、２つで背景と前景
のみからなるものとする。また動きベクトル検出のため
の相関演算を行なうブロックは縦１６画素、横１６画素
で構成されているとする。

【００３４】以下、本発明の実施例を図面を用いて説明
する。本発明（請求項1,2,9,10）の第１の実施例を図１
〜図１２を用いて説明する。ここで、図２は第１の発明
の構成例、図３は第２の発明の構成例、図４は第９の発
明の構成例、図５は第１０の発明の構成例を示す図であ
る。図１は画像符号化装置と画像復号化装置の動作を説
明する階層符号化システムの構成図である。階層画像は
輝度と透過度の二つのフレームで構成されている。これ
を各々輝度プレーン、αプレーンと呼ぶことにする。階
層画像合成器１０７では、式２で表現される合成を行な
う。

【００３５】

【数２】

【００３６】式２において（ｘ，ｙ）は水平垂直位置で
あり、ｇ_f、ｇ_bは各々前景背景の輝度値［０，２５５］
を、αは前景の透過度［０，１］を表している。ｇは合
成された輝度値である。本実施例では簡単のため階層は
２つとしているために、背景の透過度は全て１で構成さ
れる。階層画像符号化器１０１、１０２は、前景、背景
の輝度プレーンとαプレーンの各動画像を符号化し、マ
ルチプレクサ１０３によって多重されたビットストリー
ムは復号化装置に送出される。復号化装置では、デマル
チプレクサ１０４により各階層画像のデータが分離さ
れ、階層画像復号化器１０５、１０６で階層画像が再構
成される。再構成された階層画像は階層画像合成器１０
７で合成される。以下、この符号化システムを順に説明
していく。

【００３７】図２は、図１における本発明（請求項１）
の一実施例における階層画像符号化器１０１、１０２の
構成図である。図２において、２０１は変形分析器、２
０２は変形合成器、２０３、２０４は差分器、２０５は
予測符号符号化器、２０６は輝度プレーン誤差符号化
器、２０７はαプレーン誤差符号化器、２０８は輝度プ
レーン誤差復号化器、２０９はαプレーン誤差復号化
器、２１０はマルチプレクサ、２１１、２１２は加算
器、２１３、２１４はフレーム遅延器である。以上によ
うに構成された階層画像符号化器の動作を以下に説明す
る。

【００３８】まず、変形分析器２０１では現在入力され
ている輝度プレーンとαプレーンの各位置に対して前フ
レームの復号結果である輝度プレーンとαプレーンのど
の位置が対応するかを求める。この位置の対応情報は後
述のアフィン変換パラメータとブロック並行移動成分と
して予測符号符号化器２０５で符号化される。変形合成
器２０２はこの対応情報を受け、前フレームの復号化結
果である輝度プレーンとαプレーンを変形させ、差分器
２０３、２０４で差分信号とする。輝度プレーンに限っ
てみれば、これは一般にＣＣＩＴＴ勧告Ｈ．２６１に記
載されている画像符号化装置などで、「動き補償」と呼
ばれている処理に相当する。ここでは１６×１６画素の
ブロックで誤差絶対値和（ＳＡＤと略す）最小となるブ
ロック移動だけでなく画面全体のアフィン変換を組み合
わせた動き補償を行なっている点が異なる。これを図６
を用いて説明する。

【００３９】図６は図２の変形合成器２０２の構成を示
しており、図中６０１は輝度画像メモリ、６０２はα画
像メモリ、６０３はデマルチプレクサ、６０４、６０５
はアフィン変換部、６０６、６０７はアフィン変換画像
メモリ、６０８、６０９は画像ブロック変形部である。
対応情報（変形パラメータ）はアフィン変換パラメータ
（式１参照）と縦横１８×２２個に分割されたブロック
についてその平行移動成分（図１２参照）で構成されて
いる。動き補償のステップは以下に示す通りである。

【００４０】１．輝度画像メモリ６０１、α画像メモリ
６０２に各々輝度プレーン、αプレーンの画素値が取り
込まれる。同時にデマルチプレクサ６０３によりアフィ
ン変換パラメータとブロック並行移動成分が分離され
る。

【００４１】２．アフィン変換パラメータにより式１に
示されている移動量（ｕ，ｖ）について画像がアフィン
変換部６０４、６０５によりシフトされる。結果はアフ
ィン変換画像メモリ６０６、６０７に記憶される。

【００４２】３．アフィン変換画像メモリ６０６、６０
７に記憶された画像がさらに画像ブロック変形部６０
８、６０９により縦横１８×２２個に分割されたブロッ
クについてその平行移動を１６×１６画素の大きさのブ
ロック単位で行なう。

【００４３】これを行なうために図２の変形分析器２０
１はアフィン変換パラメータとブロック移動成分の抽出
を行なわなければならない。図４は図２の変形分析器２
０１の構成図である。これを用いて変形分析器２０１の
動作を説明する。尚、図４に示す変形分析器２０１の構
成は本発明（請求項９）の動きベクトル検出装置の構成
例となっている。

【００４４】図４において、４０１、４０２は輝度画像
メモリ、４０３、４０４はα画像メモリ、４０５、４０
６は輝度・α重畳部、４０７はアフィン変換部、４０８
はアフィン変換係数演算部、４０９はアフィン変換画像
メモリ、４１０はブロック相関演算部、４１１はマルチ
プレクサである。図４に示す変形分析器２０１では、輝
度画像メモリ４０１、α画像メモリ４０３が参照画像と
して前フレームの結果をバッファリングしている。輝度
画像メモリ４０２、α画像メモリ４０４は符号化対象画
像である現在の入力フレームの画像を保持している。輝
度・α重畳部４０５、４０６は式３に示す処理を行な
い、一つの輝度画像を生成する。式３において、画素の
水平垂直位置（ｘ，ｙ）についてｈ（ｘ，ｙ）は合成さ
れた輝度画像、ｇは輝度プレーンの輝度値［０，２５
５］、αはαプレーンの値［０，１］である。

【００４５】

【数３】

【００４６】式３ではαの値により不透明領域では輝度
値を透明領域では適当な負値（−１００）を重畳してい
る。これにより透過度の情報が重畳された輝度画像が生
成される。これを図示すると図１１になる。また、この
ようなしきい値処理ではなく、実験的に定めた重畳係数
γを乗して式４のように重畳を行なっても良い。

【００４７】

【数４】

【００４８】本実施例では、後に述べる他の実施例で輝
度・α重畳部を他の目的にも使用するため、式３に定め
る動作を行なうものとする。このようにして輝度とα値
が重畳された画像について式５、式６に定める相関演算
を行なう。

【００４９】

【数５】

【００５０】

【数６】

【００５１】式５において、ｈ_t-1は前フレーム（図
４、参照画像）の重畳画素値、ｈ_tは現フレーム（図
４、対象画像）の重畳画素値を表す。Ｒは１６×１６画
素の領域を表し、（ｕ，ｖ）は図１２に示すように対応
するブロック領域への偏位である。式６によればＳＡＤ
の最も小さな偏位が動きベクトルとして求められる。ブ
ロック相関部４１０はアフィン変換された参照重畳画像
と対象重畳画像についてこの演算を行なう。なお、ブロ
ック相関部４１０にα画像メモリ４０４の出力が入力さ
れているのは、対象画像のαプレーンが全て透明である
領域については動きベクトルは不定となることから計算
を省略するためである。ブロック相関部４１０は１８×
２２ブロックについて最小となった偏位（ｐ，ｑ）を動
きベクトルとして出力する。アフィン変換部４０７、ア
フィン変換画像メモリ４０９は既に図６で説明した同名
のブロックと同じ動作を行なう。

【００５２】次にアフィン変換係数演算部４０８の説明
を行なう。図５はアフィン変換係数演算部４０８の構成
図であり、本発明（請求項１０）の動きベクトル検出装
置の構成例となっている。図５において、５０１はブロ
ック相関演算部、５０２はＳＡＤ局面近似部、５０３は
誤差関数パラメータ格納メモリ、５０４はアフィン変換
パラメータ演算部である。ブロック相関演算部５０１の
動作は図４のブロック相関部４１０とほぼ同じである。
異なる点は、ブロック相関演算部５０１は１８×２２ブ
ロックについて最小となった偏位（ｐ，ｑ）に加えて、
その位置のＳＡＤ最小値と８近傍のＳＡＤ値を出力する
ことである。これを式７に示す。式７においてｔは行列
の転置を表す。

【００５３】

【数７】

【００５４】これを受けてＳＡＤ局面近似部５０２は式
８〜式１３の演算を行なう。演算結果は誤差関数パラメ
ータ格納メモリ５０３に格納される。式８〜式１３の演
算は、ＳＡＤ値を偏位（ｕ，ｖ）の関数と考えて、最小
偏位（ｐ，ｑ）近傍で２次のテーラー展開をおこなって
いることに相当する。縦横１８×２２のブロックの位置
をｉ、ｊと表現すると、透明である領域を除いて、各々
の２次誤差関数は式１４で表現することができる。

【００５５】

【数８】

【００５６】

【数９】

【００５７】

【数１０】

【００５８】

【数１１】

【００５９】

【数１２】

【００６０】

【数１３】

【００６１】

【数１４】

【００６２】ここで、式１５、式１６に示すようにアフ
ィン変換パラメータにより各ブロックの動きベクトルは
記述されるから、変分原理により各ＳＡＤ誤差関数の総
和を最小とする必要条件として式１７に示すように、ア
フィン変換パラメータａの偏微分が零ベクトルとならな
くてはならないオイラー式が導き出せる。これは式１８
の行列で表現できる。アフィンパラメータ演算部５０４
はこのために式１９（６×６行列）、式２０（６×１行
列）をまず求め、そして式２１により、アフィン変換パ
ラメータを演算する。

【００６３】なお、式１９、式２０において、（ｘ_j，
ｙ_i）はブロックｉ、ｊの中心位置である。

【００６４】

【数１５】

【００６５】

【数１６】

【００６６】

【数１７】

【００６７】

【数１８】

【００６８】

【数１９】

【００６９】

【数２０】

【００７０】

【数２１】

【００７１】以上のように構成された変形分析器２０１
（図４）では輝度とαを重畳した画像で相関演算を行な
うことにより、両方の情報から動きベクトルを求めるこ
とができる。式３で定めた透明領域の負値（−１００）
の絶対値を大きくすれば、より不透明領域の輪郭の情報
が強調された動きベクトルを得ることができる。特に前
記領域内部に動き推定に有効なエッジ、模様などの手が
かりが存在しない時、有効である。図５に示したアフィ
ン変換係数演算部４０８は局所的な相関演算からではな
く２次の関数近似を行なうことによりアフィン変換パラ
メータを求めている。局所的な相関演算では、単調な輪
郭周辺で動きベクトルは輪郭接線方向に自由度をもつ場
合が多い。この場合、従来例に示した２段階のアフィン
変換パラメータ推定では大きな推定誤差が予想される
が、本実施例に示した手法では自由度を２次関数で表現
し、総合的に２次関数の総和の最小化を計ることから、
より安定にパラメータ推定できることが期待される。

【００７２】またＳＡＤ相関の偏位を変数とした２次の
関数近似は式１７に代表されるオイラー式が未定パラメ
ータについて線形式となるため容易に未定パラメータを
導出することができる利点がある。これはより一般の多
項式を用いた場合にも共通して言えることである。例え
ば、式２２、式２３に示した動きベクトルの式は透視変
換の下で平面物体の投影像から生じる動きベクトルを表
現することができる。

【００７３】

【数２２】

【００７４】

【数２３】

【００７５】この場合もアフィン変換と同様に式２４の
オイラー式を計算し、式１９〜式２１と同様の手続きで
容易にパラメータを推定することができる。

【００７６】

【数２４】

【００７７】以上図２に示した階層画像符号化器１０
１、１０２の変形分析器２０１、変形合成器２０２の説
明を行なった。同時に本発明（請求項9,10）の動きベク
トル検出装置の構成例を示した。以後、図２の残された
ブロックの説明を行なっていく。

【００７８】差分器２０３、２０４により輝度データ、
透過度データの差分が各々輝度プレーン誤差符号化器２
０６、αプレーン誤差符号化器２０７に送られ各々独立
に符号化される。各符号化器は図７、図８に示す構成と
なっている。図７は輝度プレーン誤差符号化器の構成図
で、７０１はＤＣＴ演算部、７０２は量子化部１、７０
３は可変長符号化部１である。

【００７９】図８は、αプレーン誤差符号化器の構成図
で、８０１はハール変換演算部、８０２は量子化部２、
８０３は可変長符号化部２である。ＤＣＴ演算部７０１
は８×８画素のブロックで離散コサイン変換を行ない、
変換されたＤＣＴ係数は量子化部７０２で量子化され、
可変長符号化部７０３でコサイン変換係数をスキャン
し、零係数長と量子化係数の組合せで２次元ハフマン符
号化される。この処理はＣＣＩＴＴ勧告Ｈ．２６１に開
示されている技術とほぼ同じであるので詳しい説明は省
略する。

【００８０】αプレーン誤差符号化器２０７では離散コ
サイン変換の代わりに８×８画素のブロックでハール変
換を用いている。ここでハール変換は８×１の列ベクト
ルを式２５の右から乗する１次元ハール変換を８×８の
画素ブロックに対して縦横に行なうことにより実現され
る。

【００８１】

【数２５】

【００８２】離散コサイン変換ではなくハール変換を用
いたために量子化テーブルとハフマンテーブルが若干変
更されている点が輝度プレーン符号化器２０６と異な
る。しかし、基本的な動作は同じであるので詳細な説明
は省略する。図２に説明を戻す。

【００８３】今まで説明した輝度プレーン誤差符号化器
２０６とαプレーン誤差符号化器２０７の出力は、マル
チプレクサ２１０で多重化されて出力される。一方、次
のフレームの予測画像を生成するために前述の出力は輝
度プレーン誤差復号化器２０８とαプレーン誤差復号化
器２０９に入力される。各復号化器は図９、図１０に示
す構成となっている。

【００８４】図９は輝度プレーン誤差復号化器の構成図
で、９０１は可変長復号化部、９０２は逆量子化部、９
０３は逆ＤＣＴ演算部である。図１０はαプレーン誤差
復号化器の構成図で、１００１は可変長復号化部、１０
０２は逆量子化部、１００３は逆ハール変換演算部であ
る。可変長復号化部９０１で零係数長と量子化係数の組
合せをハフマン復号しコサイン変換係数に戻す、そし
て、逆量子化部９０２で量子化インデックスから代表値
に置き換え、最後に逆ＤＣＴ演算部９０３により８×８
画素ブロックの画像が再現される。この処理は輝度プレ
ーン誤差符号化器２０６と同様にＣＣＩＴＴ勧告Ｈ．２
６１に開示されている技術とほぼ同じであるので詳しい
説明は省略する。

【００８５】図１０の逆ハール変換演算部９０６は８×
８のハール係数に対して縦横に８×１の列ベクトルを取
り出し、式２６に示すマトリクスを左から乗じることに
より実現される。可変長復号化部１００１、逆量子化部
１００２の動作は、αプレーン誤差符号化器２０７に対
応して、輝度プレーン復号化器２０９の当該ブロックと
はテーブルの内容が異なるだけであるので詳細な説明は
省略する。

【００８６】

【数２６】

【００８７】次に図１の階層符号化システムを構成する
階層画像復号化器１０５、１０６を図３を用いて説明す
る。図３は本発明（請求項２）の画像復号化装置の構成
例に相当する階層画像復号化器１０５、１０６の構成図
である。

【００８８】図３において、３０１はデマルチプレク
サ、３０２は輝度プレーン誤差復号化器、３０３はαプ
レーン誤差復号化器、３０４は予測符号復号化器、３０
５は変形合成器、３０６、３０７は加算器、３０８、３
０９はフレーム遅延器である。デマルチプレクサ３０１
の入力には、輝度誤差、α誤差、アフィン変換パラメー
タと縦横１８×２２個に分割されたブロックについての
移動ベクトルから構成される変形パラメータが多重され
ている。これらは分離されて各々輝度プレーン誤差復号
化器３０２、αプレーン誤差復号化器３０３、予測符号
復号化器３０４に出力される。

【００８９】ここで輝度プレーン誤差復号化器３０２、
αプレーン誤差復号器３０３、変形合成器３０５は各々
図２の輝度プレーン復号化器２０８、αプレーン復号化
器２０９、変形合成器２０２と全く同じ動作を行なう。
以上、図１の階層符号化を構成する階層符号化器１０
１、１０２、階層復号化器１０５、１０６の構成が各々
図２、図３から成っているとした第１の実施例を説明し
た。本実施例ではテンプレートは逐次フレーム間符号化
として更新されていく点に特徴がある。テンプレートの
中で透過度の差分は多値の波形情報としてこれを変換符
号化とした。αプレーンを独立に符号化することによ
り、後述の第２の実施例とは異なり、曇りガラスなどの
半透明の物体の動画像を扱うことができる。画像を階層
化しているため、前景または背景がアフィン変換パラメ
ータのみで記述できる場合が増える。

【００９０】この場合、アフィン変換パラメータのみ伝
送しブロック移動成分、他の輝度誤差画像、αプレーン
誤差画像を符号化する必要がないため符号化効率が大き
く向上する。また物体が変形してアフィン変換パラメー
タで記述できない場合は、ブロック移動成分、他の輝度
誤差画像、αプレーン誤差画像でテンプレートが更新さ
れるために大きな画質劣化が生じない。

【００９１】ところでアフィンパラメータ演算部５０４
で行なった式１９〜式２１の演算は画像全体で行なう必
要はない。推定されているアフィン変換パラメータから
式１４を用いて誤差値の大きなブロックを除外して推定
することにより、１８×２２個のに分割されたブロック
集合全体ではなく多数のブロックの動きに対して整合性
のとれたアフィン変換パラメータを推定することができ
る。これにより、テンプレート修正のためのブロック移
動成分、他の輝度誤差画像、αプレーン誤差画像の符号
化を局所的にすることも可能になる。また本実施例で
は、ブロック相関の計算をＳＡＤとしたが２乗誤差和
（ＳＳＤ）、相関係数などの他の評価尺度を用いること
も可能である。

【００９２】次に本発明（請求項３、４）の第２の実施
例を、以下に図１、図１１、図１３、図１４、図１５、
図１６、図１７を用いて説明する。第２の実施例におい
ても、階層画像符号化システムの構成は図１と同じであ
る。図１における階層画像符号化器１０１、１０２は本
実施例では、図１３の構成をとる。また階層画像復号化
器１０５、１０６の構成は図１４の構成をとることが第
１の実施例と異なる。ここで、図１３は第３の発明の構
成例、図１４は第４の発明の構成例に相当する。

【００９３】図１３において、１３０１は変形分析器、
１３０２は変形合成器、１３０３は輝度・α分離部、１
３０４は輝度・α重畳部、１３０５はフレーム遅延器、
１３０６は差分器、１３０７は加算器、１３０８は輝度
・α重畳誤差符号化器、１３０９は予測符号符号化器、
１３１０は輝度・α重畳誤差符号化器、１３１１はマル
チプレクサである。図１３の構成は図２に示した階層符
号化器の構成と基本的に同じである。

【００９４】図１３を構成する各ブロックの中で、変形
分析器１３０１、フレーム遅延器１３０５、差分器１３
０６、加算器１３０７、予測符号化器１３０９の動作は
図２の同名称ブロックと全く同じ動作を行なう。第１の
実施例では、輝度プレーンとαプレーンを個別に符号化
したが、本実施例では輝度・α重畳部１３０４におい
て、図１１に示すようにαの値により不透明領域では輝
度値を透明領域では適当な負値（−１０）を重畳してい
る。これを式２７に示す。

【００９５】

【数２７】

【００９６】これにより透過度の情報が重畳された輝度
画像が生成される。輝度・α分離部１３０３では、逆に
式２８、式２９により重畳された輝度情報から輝度とα
が分離される。

【００９７】

【数２８】

【００９８】

【数２９】

【００９９】式２７における定数−１０は符号化／復号
化に伴う量子化誤差によっても式２８、式２９で輝度・
α分離が行なえるよう考慮して設定した値である。変形
合成器１３０２の動作は図２における変形合成器２０２
と扱う画像が輝度・α重畳画像である点を除き、ほぼ同
じである。その構成を図１５に示す。

【０１００】図１５は変形合成器１３０２、１４０５の
構成図であって、１５０１は輝度・αメモリ、１５０２
はデマルチプレクサ、１５０３はアフィン変換部、１５
０４はアフィン変換画像メモリ、１５０５は画像ブロッ
ク変形部である。変形合成器１３０２は、アフィン変換
パラメータと縦横１８×２２個に分割されたブロックに
ついてその平行移動成分で構成された対応情報（変形パ
ラメータ）を入力として動作する。輝度・αメモリ１５
０１は輝度・α重畳画像をバッファリングすためのメモ
リである。図１５の他のブロックの動作は、図６の同名
称ブロックと同じなので省略する。

【０１０１】次に図１３における輝度・α重畳誤差符号
化器１３０８の説明を以下に行なう。図１６は輝度・α
重畳誤差符号化器１３０８の構成図で１６０１は領域境
界判定部、１６０２、１６０９はスイッチ、１６０３は
ＤＣＴ演算部、１６０４は量子化部、１６０５は可変長
符号化部、１６０６はハール変換演算部、１６０７は量
子化部、１６０８は可変長符号化部、１６１０はマルチ
プレクサである。領域境界判定部１６０１は（表１）に
示す制御と切替え情報ビットの出力を行なう。

【０１０２】

【表１】

【０１０３】８×８のブロック内の全てαの値が１とな
る物体内領域では図７で説明した輝度プレーン誤差符号
化器２０６の動作を行ない、８×８のブロック内で少な
くとも１つのαの値が０となる輪郭領域では図８で説明
したαプレーン誤差符号化器２０７の動作を行なう。

【０１０４】図１６と図７、図８で同名称のブロックの
動作は同じである。図１６における量子化部１６０７と
可変長符号化部１６０８は輝度を重畳されている輪郭周
辺の多値パターンを符号化するために、量子化部８０
２、可変長符号化部８０３とは量子化テーブルとハフマ
ンテーブルが若干変更されている点が異なる。以上の構
成によりマルチプレクサ１６１０より変換符号と切替え
情報ビットが多重されて出力される。

【０１０５】一般に輝度情報に対しては、ＤＣＴがハー
ル変換に比べて符号化効率で優れているが、急峻なエッ
ジを含む領域ではモスキートノイズと呼ばれる波紋が生
じる。これは輪郭周辺のα値の再現には好ましくない。
そこで、輪郭周辺部では、上記モスキートノイズが発生
しないハール変換を用いた。

【０１０６】次に前記した輝度・α重畳誤差符号化器１
３０８に対応した輝度・α誤差復号化器１３１０、１４
０２の構成を図１７を用いて説明する。図１７は輝度・
α重畳誤差復号化器１３１０、１４０２の構成図であっ
て１７０１はデマルチプレクサ、１７０２は切替え制御
部、１７０３、１７１０はスイッチ、１７０４は可変長
復号化部、１７０５は逆量子化部、１７０６は逆ＤＣＴ
演算部、１７０７は可変長復号化部、１７０８は逆量子
化部、１７０９は逆ハール変換演算部である。切替え制
御部１７０２はデマルチプレクサ１７０１により分離さ
れた切替え情報ビットにより（表１）に対応してスイッ
チ１８０３、１７１０をビットが１であれば逆ＤＣＴ演
算部１７０６が選択されるように、０であれば逆ハール
変換１７０９が選択されるように制御する。図１７、図
９、図１０に示した同名称ブロックの動作は同じであ
る。

【０１０７】図１７における可変長復号化部１７０７と
逆量子化部１７０８とは各々図１６における量子化部１
６０７と可変長符号化部１６０８とに対応した逆処理を
行なう。

【０１０８】次に図１４を用いて図１における階層画像
復号化器１０５、１０６の構成を説明する。図１４にお
いて、１４０１はデマルチプレクサ、１４０２は輝度・
α重畳誤差復号化器、１４０３は予測符号復号化器、１
４０４は加算器、１４０５は変形合成器、１４０６はフ
レーム遅延器、１４０７は輝度α分離部である。デマル
チプレクサ１４０１は図１３の構成からなる階層画像符
号化器１０１、１０２の出力を受けて、変形パラメータ
と輝度・α誤差画像のビット系列を分離する。分離され
たデータは各々輝度・α重畳誤差復号化器１４０２と予
測符号復号化器１４０３へ出力される。予測符号復号化
器１４０３ではアフィン変換パラメータと縦横１８×２
２のブロックの動きベクトルを出力する。他のブロック
の動作は図１３で述べた同名のブロックと同じである。

【０１０９】以上第２の実施例を説明した。第２の実施
例では、第１の実施例とは異なり、αプレーンの情報は
［０，１］の多値から２値へ縮退する。その代わり、α
プレーンの情報を輝度プレーンに重畳することにより、
テンプレートの変形を輝度情報の差分として扱うことを
可能にしている。本実施例では、式２７に示すように透
明領域の輝度値を−１０としたが、不透明領域の輝度が
２５５に近い場合、物体の輪郭には輝度の大きな不連続
が生じ、符号量が増えることが予想される。この場合、
輝度・α重畳部１３０４の動作を適応的に式２７または
式３０とし、更に輝度・α分離部１３０３、１４０７の
動作を式３１と３２に変更する拡張も容易である。

【０１１０】

【数３０】

【０１１１】

【数３１】

【０１１２】

【数３２】

【０１１３】また、本実施例で扱う輝度をベクトルに拡
張して、αプレーン情報の輝度プレーンへの重畳をベク
トル空間で行なうことも考えられる。例えば、３原色ま
たは輝度と色差信号で構成される３次元色ベクトルｃを
考えてみる。この色ベクトルの平均ｃ￣と分散Σを計算
し、式３３に示すように分散Σで正規化されたｃ−ｃ￣
の２次形式の値域Ｔｈを計算する。

【０１１４】

【数３３】

【０１１５】一つのテンプレートについて式３３のＴｈ
を求め、分散、平均ベクトル、値域Ｔｈのデータを付随
させておくと、式３４のように２次形式の値が閾値より
大きくなる任意のベクトルｅを用いてαプレーンの情報
を重畳することができる。

【０１１６】

【数３４】

【０１１７】この分離は式３５、式３６で行なえる。

【０１１８】

【数３５】

【０１１９】

【数３６】

【０１２０】これによれば、分離された輝度画像で物体
輪郭の近くで生じるステップエッジの強さを軽減するこ
とができる。

【０１２１】次に本発明（請求項５、６）の第３の実施
例を、以下に図１８、図１９を用いて説明する。図１８
は本発明（請求項５）の構成例に相当する画像符号化装
置の構成図で、１８０１は前景メモリ、１８０２は背景
メモリ、１８０３は前景分離器、１８０４、１８０５は
階層画像符号化器、１８０６はマルチプレクサ、１８０
７はデマルチプレクサ、１８０８、１８０９は階層画像
復号化器、１８１０は階層画像合成器、１８１１は予測
画像メモリ、１８１２は差分器、１８１３は輝度プレー
ン誤差符号化器、１８１４はマルチプレクサである。

【０１２２】図１９は本発明（請求項６）の構成例に相
当する画像復号化装置の構成図で、１９１１、１９１２
はデマルチプレクサ、１９１３、１９１４は階層画像復
号化器、１９１５は階層画像合成器、１９１６は予測画
像メモリ、１９１７は輝度プレーン誤差復号化器、１９
１８は加算器である。以上のブロック中、階層画像符号
化器１８０４、１８０５、マルチプレクサ１８０６、デ
マルチプレクサ１８０７、１９１２、階層画像復号化器
１８０８、１８０９、１９１３、１９１４、階層画像合
成器１８１０、１９１５には第１あるいは第２の実施例
における図１の同名ブロックを用いる。また輝度プレー
ン誤差符号化器１８１３には図２の輝度プレーン誤差符
号化器２０７、輝度プレーン誤差復号化器１９１７には
図２の輝度プレーン誤差復号化器２０８を用いる。

【０１２３】以上の様に構成された画像符号化装置と画
像復号化構成装置では、背景画像を背景画像を予め撮影
しておき背景画像メモリ１８０２に蓄えておく。前景分
離器１８０３では式３７によりα値を決定することによ
り前景を分離する。

【０１２４】

【数３７】

【０１２５】式３７において、ｇはカメラ入力の輝度
値、ｇ_bは背景メモリの輝度値、Ｔは実験的に定めるし
きい値［０，１］である。結果は前景メモリ１８０１に
入力される。この後、階層画像は各々第１の実施例ある
いは第２の実施例で述べた処理を経て処理結果は予測画
像メモリ１８１１に出力される。

【０１２６】今までに述べた２つの実施例では、これを
再構成された画像の出力としていたが、本実施例では、
さらに予測画像メモリ１８１１の出力と原画像との差分
を差分器１８１２より求めてこれを誤差符号化し符号結
果をマルチプレクサ１８１４より多重して出力する。こ
の出力の復号はデマルチプレクサ１９１１を経て一方は
デマルチプレクサ１９１２に送られ第１及び第２の従来
例と同じ処理を経る。他方は輝度プレーン誤差復号化器
１９１７を経て加算器１９１８へ送られる。加算器１９
１８では階層画像合成器１９１５より再合成された予測
画像と前述の誤差画像が加算され画像データが出力され
る。本実施例では、前景分離が成功し、前景の物体がア
フィン変換パラメータで記述できる動きを行なった場
合、第１および第２の実施例と同じく高い符号化効率を
得ることができる。加えて階層画像の合成結果の誤差符
号化を行なうことにより、前景分離の結果に誤りが含ま
れている場合やテンプレートの更新が符号化量の制限な
どにより、不良であった場合でも、視覚劣化の少ないな
い画像の伝送記録が行える。

【０１２７】次に本発明（請求項７、８）の第４の実施
例を、以下に図２０、図２１、図２２および図１、図
５、図１３、図１４を用いて説明する。第２の実施例と
同じく本実施例でも階層画像は輝度と透過度が重畳され
た形式で保持されている（式２７参照）。本実施例では
予め第２の実施例に用いた図１３および図１４記載の階
層画像符号化器と階層画像復号化器を用いて複数テンプ
レートの伝送記録を行なう。

【０１２８】図２２は多重テンプレートによる階層画像
符号化の概念図である。図２２中テンプレートＡおよび
テンプレートＢと示した画像は第２の実施例における階
層画像符号化器と階層画像復号化器を直接接続すること
により得られている。テンプレートは数フレームまたは
数十フレームに一つ選ばれて伝送される。その結果、テ
ンプレートの符号化はテンプレート間の相関を利用した
「テンプレート間符号化」として実現されることにな
り、効率の良いテンプレート伝送が行なえる。

【０１２９】図２０は本発明（請求項７）の一実施例の
画像符号化装置の構成図で、２００１はアフィン変換係
数演算部、２００２は輝度・α分離部、２００３はテン
プレート格納メモリ、２００４はアフィン距離最短テン
プレート決定部、２００５は予測符号符号化器、２００
６はマルチプレクサである。

【０１３０】図２１は本発明（請求項８）の一実施例の
画像復号化装置の構成図で、２１０１はデマルチプレク
サ、２１０２は予測符号符号化器、２１０３はテンプレ
ート読み出し回路、２１０４は格納メモリ、２１０５は
アフィン変換部、２１０６は輝度・α重畳部である。前
景、背景のテンプレート伝送後、図２０に示した階層画
像符号化器は図１の階層画像符号化器１０１、１０２と
して、図２１に示した階層画像復号化器は図１の階層画
像復号化器１０５、１０６として用いられる。

【０１３１】伝送済みのテンプレートは各々符号化側と
復号化側でテンプレートメモリ２００３、２１０４に同
じ識別子を付して記憶される。アフィン変換係数演算部
２００１は、図５で説明したアフィン変換係数演算部４
０８の動作に加えて、得られたアフィン変換係数から式
１５により各ブロックの偏位を計算し、各ブロックの偏
位を式１４に代入し各ブロックの誤差和を求め近似誤差
としてアフィン距離最短テンプレート決定部２００４へ
出力する。アフィン距離最短テンプレート決定部２００
４は得られた近似誤差の中から最小のテンプレートを選
択し、その識別子とともに変形パラメータを出力する。

【０１３２】予測符号符号化器はアフィン変換パラメー
タを符号化する。マルチプレクサ２００６では符号化さ
れたアフィン変換パラメータとテンプレートの識別子を
多重し階層画像符号化器の出力ビットストリームを生成
する。復号側では入力ビットストリームはデマルチプレ
クサ２１０１により分離され、予測符号復号化器２１０
２ではアフィン変換パラメータが復号される。テンプレ
ート読み出し回路２１０３は入力されたテンプレート識
別子に対応するテンプレートを読み出しアフィン変換部
２１０５へ出力する。アフィン変換部２１０５の処理は
図４におけるアフィン変換部４０７と同じである。また
輝度・α分離部２００２、２１０６の動作は図１３、図
１４における輝度・α分離部１３０３、１４０７の動作
と同じである。

【０１３３】以上の処理に従うと、図２２に示すよう
に、アフィン変換で近似できるテンプレートを基に画像
を伝送することができることから、非常に少ない符号量
で画像を伝送することができる。特に、使用するテンプ
レートは時間の順序に依存せず選べることから高い効率
が期待できる。また従来例のように単一のテンプレート
から画像を合成するのではなく、複数のテンプレートを
選択的に使用することから、画像が不規則な変形をもつ
場合にも対応できる。なお、ここで用いた変換はアフィ
ン変換に限定せずとも、式２２に示す平面物体の変形な
ど、一般の多項式による変形記述を利用することができ
る。またテンプレートの扱いは第２の実施例に準じた
が、これを第１の実施例で用いたテンプレートに変更し
ても良い。

【０１３４】

【発明の効果】第１、第５の発明の画像符号化装置、画
像符号化方法および第２、第６の発明の画像復号化装
置、画像復号化方法によれば、物体の輝度と透過度から
構成される参照画像（テンプレート）の変形をテンプレ
ート間の対応による予測と予測結果に対する差分として
扱うことができる。

【０１３５】第３、第７の発明の画像符号化装置、画像
符号化方法および第４、第８の発明の画像復号化装置、
画像復号化方法によれば、物体の輝度と透過度を重畳し
て輝度画像として扱うことにより、従来の高能率符号化
技術を適用することができ、効率良くテンプレートの変
形を扱うことができる。

【０１３６】

【０１３７】

【０１３８】第９の発明の動きベクトル検出装置は、輝
度と透過度から構成される画像の対応問題を輝度と透過
度の情報が重畳された輝度画像の対応問題として扱うこ
とができる。これにより、輝度と透過度の両方を考慮し
た対応結果すなわち動きベクトルを得ることができる。

【０１３９】また、第１０の発明の動きベクトル検出装
置は、画像間の対応を位置を変数とした多項式近似する
時、一度動きベクトルを求めてから２段階に多項式近似
するのではなく、部分領域対応の誤差関数から直接求め
ることができ、雑音に頑健な動きベクトル推定が行なえ
る。

【０１４０】物体投影像を前後関係で分離し個別に符号
化する階層符号化は、領域の異なる動きや隠蔽されてい
た領域が出現するなどにより発生する符号量を減らすこ
とができ、高い効率の符号化特性が期待される。近年、
クロマキーで生成した階層画像やコンピュータグラフィ
ックスが画像の合成に多用されることから階層符号化の
産業的価値は高い。以上に述べた発明によれば、階層画
像符号化に必要な、不規則な変形をもつ輝度と透過度の
画像の効率的な符号化とこれに関連したる動きベクトル
の頑健な推定を行なうことができ、その効果は大きい。

【図面の簡単な説明】

【図１】本発明の一実施例における階層符号化システム
の構成図

【図２】第１の実施例における階層画像符号化器の構成
図

【図３】第１の実施例における階層画像復号化器の構成
図

【図４】本実施例の変形分析器の構成図

【図５】本実施例のアフィン変換係数演算部の構成図

【図６】本実施例の変形合成器の構成図

【図７】本実施例の輝度プレーン誤差符号化器の構成図

【図８】本実施例のαプレーン誤差符号化器の構成図

【図９】本実施例の輝度プレーン誤差復号化器の構成図

【図１０】本実施例のαプレーン誤差復号化器の構成図

【図１１】本実施例の輝度・α重畳部の動作を示す図

【図１２】本実施例のブロック相関図

【図１３】本発明の第２の実施例における階層画像符号
化器の構成図

【図１４】第２の実施例における階層画像復号化器の構
成図

【図１５】本実施例の変形合成器の構成図

【図１６】本実施例の輝度・α重畳誤差符号化器の構成
図

【図１７】本実施例の輝度・α重畳誤差復号化器の構成
図

【図１８】第３の実施例における画像符号化装置の構成
図

【図１９】第３の実施例における画像復号化装置の構成
図

【図２０】第４の実施例における階層画像符号化器の構
成図

【図２１】第４の実施例における階層画像復号化器の構
成図

【図２２】本実施例の多重テンプレートによる階層画像
符号化の概念図

【図２３】従来の階層画像符号化の概念図

【符号の説明】

１０１、１０２ 階層画像符号化器 １０３ マルチプレクサ １０４ デマルチプレクサ １０５、１０６ 階層画像復号化器 １０７ 階層画像合成器 ２０１ 変形分析器 ２０２ 変形合成器 ２０３、２０４ 差分器 ２０５ 予測符号符号化器 ２０６ 輝度プレーン誤差符号化器 ２０７ αプレーン誤差符号化器 ２０８ 輝度プレーン誤差復号化器 ２０９ αプレーン誤差復号化器 ２１０ マルチプレクサ ２１１、２１２ 加算器 ２１３、２１４ フレーム遅延器 ３０１ デマルチプレクサ ３０２ 輝度プレーン誤差復号化器 ３０３ αプレーン誤差復号化器 ３０４ 予測符号復号化器 ３０５ 変形合成器 ３０６、３０７ 加算器 ３０８、３０９ フレーム遅延器 ４０１、４０２ 輝度画像メモリ ４０３、４０４ α画像メモリ ４０５、４０６ 輝度・α重畳部 ４０７ アフィン変換部 ４０８ アフィン変換係数演算部 ４０９ アフィン変換画像メモリ ４１０ ブロック相関演算部 ４１１ マルチプレクサ ５０１ ブロック相関演算部 ５０２ ＳＡＤ局面近似部 ５０３ 誤差関数パラメータ格納メモリ ５０４ アフィン変換パラメータ演算部 ６０１ 輝度画像メモリ ６０２ α画像メモリ ６０３ デマルチプレクサ ６０４、６０５ アフィン変換部 ６０６、６０７ アフィン変換画像メモリ ６０８、６０９ 画像ブロック変形部 ７０１ ＤＣＴ演算部 ７０２ 量子化部 ７０３ 可変長符号化部 ８０１ ハール変換演算部 ８０２ 量子化部 ８０３ 可変長符号化部 ９０１ 可変長復号化部 ９０２ 逆量子化部 ９０３ 逆ＤＣＴ演算部 １００１ 可変長復号化部 １００２ 逆量子化部 １００３ 逆ハール変換演算部 １３０１ 変形分析器 １３０２ 変形合成器 １３０３ 輝度・α分離部 １３０４ 輝度・α重畳部 １３０５ フレーム遅延器 １３０６ 差分器 １３０７ 加算器 １３０８ 輝度・α重畳誤差符号化器 １３０９ 予測符号符号化器 １３１０ 輝度・α重畳誤差符号化器 １３１１ マルチプレクサ １４０１ デマルチプレクサ １４０２ 輝度・α重畳誤差復号化器 １４０３ 予測符号復号化器 １４０４ 加算器 １４０５ 変形合成器 １４０６ フレーム遅延器 １４０７ 輝度α分離部 １５０１ 輝度・αメモリ １５０２ デマルチプレクサ １５０３ アフィン変換部 １５０４ アフィン変換画像メモリ １５０５ 画像ブロック変形部 １６０１ 領域境界判定部 １６０２、１６０９ スイッチ １６０３ ＤＣＴ演算部 １６０４ 量子化部 １６０５ 可変長符号化部 １６０６ ハール変換演算部 １６０７ 量子化部 １６０８ 可変長符号化部 １６１０ マルチプレクサ １７０１ デマルチプレクサ １７０２ 切替え制御部 １７０３、１７１０ スイッチ １７０４ 可変長復号化部 １７０５ 逆量子化部 １７０６ 逆ＤＣＴ演算部 １７０７ 可変長復号化部 １７０８ 逆量子化部 １７０９ 逆ハール変換演算部 １８０１ 前景メモリ １８０２ 背景メモリ １８０３ 前景分離器 １８０４、１８０５ 階層画像符号化器 １８０６ マルチプレクサ １８０７ デマルチプレクサ １８０８、１８０９ 階層画像復号化器 １８１０ 階層画像合成器 １８１１ 予測画像メモリ １８１２ 差分器 １８１３ 輝度プレーン誤差符号化器 １８１４ マルチプレクサ １９１１、１９１２ デマルチプレクサ １９１３、１９１４ 階層画像復号化器 １９１５ 階層画像合成器 １９１６ 予測画像メモリ １９１７ 輝度プレーン誤差復号化器 １９１８ 加算器 ２００１ アフィン変換係数演算部 ２００２ 輝度・α分離部 ２００３ テンプレート格納メモリ ２００４ アフィン距離最短テンプレート決定部 ２００５ 予測符号符号化器 ２００６ マルチプレクサ ２１０１ デマルチプレクサ ２１０２ 予測符号符号化器 ２１０３ テンプレート読み出し回路 ２１０４ 格納メモリ ２１０５ アフィン変換部 ２１０６ 輝度・α重畳部

───────────────────────────────────────────────────── フロントページの続き (56)参考文献 Ｊ．Ｙ．Ａ．Ｗａｎｇ ａｎｄ Ｅ. Ｈ．Ａｄｅｌｓｏｎ，“Ｌａｙｅｒｅｄ Ｒｅｐｒｅｓｅｎｔａｔｉｏｎ ｆｏ ｒ Ｍｏｔｉｏｎ Ａｎａｌｙｓｉ ｓ”，Ｐｒｏｃｅｅｄｉｎｇｓ 1993 ＩＥＥＥ Ｃｏｍｐｕｔｅｒ Ｓｏｃｉ ｅｔｙ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎ ｄ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔ ｉｏｎ，Ｊｕｎ．1993，ｐｐ．361−366 Ｊ．Ｙ．Ａ．Ｗａｎｇ ａｎｄ Ｅ. Ｈ．Ａｄｅｌｓｏｎ，“Ｒｅｐｒｅｓｅ ｎｔｉｎｇ Ｍｏｖｉｎｇ Ｉｍａｇｅ ｓ ｗｉｔｈ Ｌａｙｅｒｓ”，ＩＥＥ Ｅ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｉｍａｇｅ Ｐｒｏｃｅｓｓｉｎｇ，Ｓ ｅｐ．1994，Ｖｏｌ．３，Ｎｏ．５，ｐ ｐ．625−638 (58)調査した分野(Int.Cl.⁷，ＤＢ名) H04N 7/24 - 7/68 ＥＰＡＴ（ＱＵＥＳＴＥＬ) ＩＮＳＰＥＣ（ＤＩＡＬＯＧ) ＪＩＣＳＴファイル（ＪＯＩＳ)

Claims (4)

(57)【特許請求の範囲】
1. 【請求項１】 物体の輝度および透過度から構成され、
   かつブロック分割された画像を符号化する画像符号化装
   置であって、符号化対象画像を入力として、それぞれの
   ブロック毎に参照画像からの動きベクトルを求め、前記
   参照画像および前記動きベクトルから前記符号化対象画
   像をブロック単位で予測して輝度と透過度から構成され
   る予測画像を形成する予測手段と、前記動きベクトルを
   ブロック単位で符号化する予測符号化手段と、前記予測
   画像と前記符号化対象画像との間の輝度および透過度の
   差分をブロック単位で求める差分演算手段と、前記差分
   を符号化する符号化手段とを有することを特徴とする画
   像符号化装置。
2. 【請求項２】 物体の輝度および透過度から構成され、
   かつブロック分割された画像を復号化する画像復号化装
   置であって、ブロック単位で求められた参照画像と符号
   化対象画像との間の動きベクトルを符号化した信号およ
   び前記参照画像を前記動きベクトルにより移動させて生
   成した予測画像と前記符号化対象画像との間における輝
   度および透過度の差分をブロック単位で符号化した信号
   を入力し、前記動きベクトルを符号化した信号をブロッ
   ク単位で復号化して動きベクトルを得る動きベクトル復
   号化手段と、前記参照画像を前記復号化した動きベクト
   ルを用いてブロック移動することにより予測画像を生成
   する予測画像生成手段と、前記輝度と透過度の差分をブ
   ロック単位で符号化した信号より輝度および透過度の差
   分を復号化する画像復号化手段と、前記予測画像と前記
   復号化された差分をブロック単位で加算して輝度と透過
   度からなる画像を得る加算手段とを有することを特徴と
   する画像復号化装置。
3. 【請求項３】 物体の輝度および透過度から構成され、
   かつブロック分割された画像を符号化する画像符号化方
   法であって、符号化対象画像を入力として、それぞれの
   ブロック毎に参照画像からの動きベクトルを求め、前記
   参照画像および前記動きベクトルから前記符号化対象画
   像をブロック単位で予測して輝度および透過度から構成
   される予測画像を形成し、前記動きベクトルをブロック
   単位で符号化し、前記予測画像と前記符号化対象画像と
   の間における輝度および透過度の差分をブロック単位で
   求め、前記差分を符号化することを特徴とする画像符号
   化方法。
4. 【請求項４】 物体の輝度および透過度から構成され、
   かつブロック分割された画像を復号化する画像復号化方
   法であって、ブロック単位で求められた参照画像と符号
   化対象画像との間の動きベクトルを符号化した信号およ
   び前記参照画像を前記動きベクトルにより移動させて生
   成した予測画像と前記符号化対象画像との間における輝
   度および透過度の差分をブロック単位で符号化した信号
   を入力し、前記動きベクトルを符号化した信号をブロッ
   ク単位で復号化して動きベクトルを生成し、前記参照画
   像を前記復号化した動きベクトルを用いてブロック移動
   することにより予測画像を生成し、前記輝度および透過
   度の差分をブロック単位で符号化した信号より輝度およ
   び透過度の差分を復号化し、前記予測画像と前記復号化
   された差分をブロック単位で加算して輝度と透過度から
   なる画像を生成することを特徴とする画像復号化方法。