WO1998036576A1

WO1998036576A1 - Moving picture prediction system

Info

Publication number: WO1998036576A1
Application number: PCT/JP1998/000232
Authority: WO
Inventors: Shunichi Sekiguchi; Kohtaro Asai; Tokumichi Murakami; Hirofumi Nishikawa; Shinichi Kuroda; Yoshimi Isu; Yuri Hasegawa
Original assignee: Mitsubishi Denki Kabushiki Kaisha
Priority date: 1997-02-13
Filing date: 1998-01-22
Publication date: 1998-08-20
Also published as: EP2369847A1; EP2352300A1; EP2173103A2; EP2352297B1; US20080152007A1; KR100309086B1; CN101005624B; EP2352297A1; TW376650B; JP3748895B2; JP2012120243A; JP2009071878A; EP1887806A2; US20040146107A1; JP5258991B2; CN1284376C; EP1511325A3; EP2352298A1; US20020114392A1; JP2006262528A

Description

明細書動画像予測方式技術分野

この発明は、例えば、

テレビ電話 ·テレビ会議などの画像通信用途に用いられる携帯および据置型画像通信機器などで用いられる動画像符号化 Z復号装置、

デジタル VTR、ビデオサーバ一などの画像蓄積 ·記録装置などで用いられる動画像符号化復号装置、

単独ソフトウェアもしくは DSP (Digi tal Si gnal Processor) のファームウェアの形で実装される動画像符号化 Z復号プログラム

などに用いられる動画像の予測に関するものである。背景技術

従来の動画像の符号化復号方式における予測符号化復号の例として、 ISO/IEC JTC1/SC29/WG11にて標準化作業がすすめられている MPEG - 4

(Moving Picture Experts Group Phase - 4)のビデオ符号ィ匕復号参照方式（Verif ication Model , 以下 V M)があげられる。 VMは MPEG-4の標準化作業の進行に伴って方式の内容が変化しているが、ここでは VM Vers i on5. 0を想定し、以下単に VMと表現する。

V Mは動画像シーケンスを時間 //空間的に任意の形状をとる画像ォブジェクトの集合体としてとらえ、各画像オブジェクトを単位として符号化 /復号を行う方式である。 VMにおけるビデオデータ構造を図 2 9に示す。 VM は時間軸を含めた動画像ォブジェクトを Video Ob ject (V0)と呼び、 V0の各時刻の状態を表し符号化の単位となる画像データを Video Obje ct Plane (VOP)と呼ぶ。 VOが時間的/空間的に階層性を持つ場合、特別に V0と V0Pの間に Video Object Layer (VOL)なる単位を設けて VO内の階層構造を表現するようになつている。各 V0Pは形状情報とテクスチャ情報とに分離される。ただし、動画像シーケンス中で V0が 1つの場合、各 V0 Pはフレームと同義となる。この場合は形状情報は存在せず、テクスチャ情報だけが符号化 Z復号される。

V0Pは図 3 0に示すように、形状情報をあらわすアルファデータとテクスチヤ情報をあらわすテクスチャデータからなる構造を持つ。各データは、それぞれ 16x 16サンプルからなるブロック（アルファブロック、マクロブロック）の集合体として定義される。アルファブロック内の各サンプルは 8ビットで表現される。マクロブロックは、 16x16サンプノレの輝度信号に付随してそれに対応する色差信号を含む。動画像シーケンスから V0Pデータを作り出す処理は本符号化装置外で行われるものとする図 3 1は VM符号化 Z方式による V0P符号化装置の構成を示したものである。同図において、 P 1は入力となる原 V0Pデータ、 P 2は V0Pの形状情報をあらわすアルファブロック、 P 3 aは入力された原 VOPデータの形状情報の有無を伝えるためのスィツチ、 P 4はアルファブロックを圧縮符号化する形状符号化部、 P 5は圧縮アルファブロックデータ、 P 6 は局所復号アルファブロック、 P 7はテクスチャデータ（マクロブロック）、 P 8は動き検出部、 P 9は動きパラメータ、 P 1 0は動き補償部、 P 1 1は予測画像候補、 P 1 2は予測モード選択部、 P 1 3は予測モード、 P 1 4は予測画像、 P 1 5は予測誤差信号、 P 1 6はテクスチャ符号化部、 P 1 7はテクスチャ符号化情報、 P 1 8は局所復号予測誤差信号、 P 1 9は局所復号マクロブロック、 P 2 0はスプライトメモリ更新部、 P 2 1 は V0Pメモリ、 P 2 2はスプライトメモリ、 P 2 3は可変長符号化 '多重化部、 P 2 4はバッファ、 P 2 5は符号化ビットストリームである。

また、図 3 2にこの符号化装置の動作を要約したフローチヤ一トを示す。

図 3 1 の符号化装置において、原 V0Pデータ P 1はまずアルファブロック P 2、マクロブロック P 7に分離され（ステップ P S 2、ステップ P S 3 ) 、アルファブロック P 2は形状符号化部 P 4へ、マクロブロック P 7は動き検出部 P 8へ送られる。形状符号化部 P 4はアルファプロック P 2のデータ圧縮を行う処理ブロック（ステップ P S 4 ) であり、この発明は形状情報の圧縮方法に関わるものではないので、その処理の詳細はここでは省略する。

形状符号化部 P 4の出力は圧縮アルファデータ P 5と局所復号アルフアブロック P 6で、前者は可変長符号化 .多重化部 P 2 3に送られ，後者は動き検出部 P 8、動き補償部 P 1 0、予測モード選択部 P 1 2、テクスチヤ符号化部 P 1 6にそれぞれ送られる。

動き検出部 P 8 (ステップ P S 5 ) は、マクロブロック P 7を受け取り、 V0Pメモリ P 2 1 に蓄積されている参照画像データと局所復号アルファブロック P 6を用いて、マクロブロックごとにローカルな動きべクトルを検出する。ここで、動きべクトルは動きパラメータの一例である。 V0Pメモリ P 2 1には、すでに符号化された V0Pの局所復号画像が蓄積される。 V0Pメモリ P 2 1の内容は、マクロブロックの符号化が終わるごとに逐次その局所復号画像で更新される。さらに動き検出部 P 8は、原 V0Pのテクスチャデータ全体を受け取り、スプライトメモリ P 2 2に蓄積されている参照画像データと局所復号アルファデータを用いてグロ一バルなヮービングパラメータを検出する機能も併せ持つ。スプライトメモリ P 2 2については後で詳しく述べる。動き補償部 P 1 0 (ステップ P S 6) は、動き検出部 P 8で検出した動きパラメータ P 9と局所復号アルファプロック P 6を用いて予測画像候補 P 1 1を生成する。次いで、予測モード選択部 P 1 2において、予測誤差信号電力と原信号電力とを用いて当該マクロプロックの最終的な予測モード P 1 3および予測画像 P 1 4を決定する（ステップ P S 7) 。予測モ一ド選択部 P 1 2ではィントラフレーム符号化/ィンターフレ —ム符号化のいずれかの符号化かという判定も行われる。

テクスチャ符号化部 P 1 6では、予測モード P 1 3に基づいて、予測誤差信号 P 1 5または原マクロブロックそのものを DCT (Discrete Cosi ne Transform) 、量子化し、得られた量子化 DCT係数を予測後、または直接、可変長符号化 · 多重化部 P 2 3へ送り符号化する（ステップ P S 8，ステップ P S 9) 。可変長符号化部 .多重化部 P 23は、あらかじめ定められたシンタックスと可変長符号化コードとに従い、受け取ったデータをビットストリームに変換して多重化する（ステップ P S 1 0) 。量子化 DCT係数は、逆量子化、逆 DCTを経て局所復号予測誤差信号 P 1 8にされた後、予測画像 P 1 4と加算され局所復号マクロプロック P 1 9を得る（ステップ P S 1 1 ) 。局所復号マクロブロック P 1 9は V0P メモリ P 2 1およびスプライトメモリ P 2 2に書き込まれ、以降の V0P の予測に用いられる（ステップ P S 1 2) 。

以下では、予測を行う部分、特に予測方式と動き補償、スプライトメモリ P 2 2および V0Pメモリ P 2 1の更新制御について詳しく説明する

(1 ) VMにおける予測方式

VMでは通常、図 3 3に示すように 4種類の V0Pの符号化タイプがあり、それぞれのタイプごとに〇で示される予測方式をマクロブロックごとに選択できる。 I-V0Pでは予測をまったく行わず、すべてイントラフレーム符号化する。 P- V0Pは過去の V0Pからの予測を行うことができる。 B- V0Pは、過去および未来の V0Pを予測に使用できる。

以上の予測はすべて動きべクトルによる予測である。一方、 Sprite- V OPはスプライトメモリを用いた予測が可能である。スプライトとは、下式

X = (a x + b y + c)/(,g x + h y + U

y' = (d X + e y + f ) / (g x + h y + 1)

に示すヮーピングパラメータセット

二 (a, b， c, d， e, f , g， h)

を VOP単位に検出し（→はベクトルを示す。以下、同じ）、これに基づいて V0Pを順次混合していくことにより生成する画像空間であり、スプライトメモリ P 2 2に蓄積される。

ここで、（X, y)は原 V0Pの 2次元座標上での画素位置、（x，， y' )はヮービングパラメ一タによって（X, y)に対応付けられるスプライトメモリ中の画素位置である。 Sprite-VOPの各マクロブロックでは、このヮービングパラメータセットを統一的に用いて、スプライトメモリ中の（χ' , y' ；)を決定して予測画像を生成して予測を行うことができる。厳密には、スプライトには、予測に用いる「ダイナミックスブライト」と、予測に用いるとともに、復号側で近似的に V0Pを合成する目的で用いる「スタティックスプライト」の区別があるが、以下に述べる図 3 4〜図 3 7では、ダイナミックスブライトを「スプライト」の意味で用いる。動き検出部 P 8では、以上の予測に用いる動きべクトルおよびヮーピングパラメ一タを検出する。動きべクトルおよびヮービングパラメータを動きパラメータ P 9という言葉で総称する。

(2).動き補償部

動き補償部 P 1 0は例えば図 34に示すような内部構成をとる。同図において、 P 2 6はヮ一ビングパラメータ、 P 2 7は動きベクトル、 P 2 8はグローバル動き補償部、 P 2 9は口一カル動き補償部、 P 3 0はヮービングパラメータによる予測画像候補、 P 3 1は動きべクトルによる予測画像候補である。予測画像候補 P 1 1 をヮービングパラメータによる予測画像候補 P 3 0および動きべクトルによる予測画像候補 P 3 1 を総称する言葉とする。

動き補償部 P 1 0の動作を要約するフローチヤ一トを図 3 5のステツプ P S 1 4からステップ P S 2 1に示す。

動き補償部 P 1 0では、マクロブロック P 7ごとに動き検出部 P 8で検出された V0P全体のヮービングパラメータ P 2 6またはマクロブロック単位の動きべクトル P 2 7を用いて予測画像候補 P 1 1を生成する。グローバル動き補償部 p 2 8においてヮービングパラメータ P 2 6を用いた動き補償を行い、口一カル動き補償部 P 2 9において動きべクトル P 2 7を用いた動き補償を行う。

I- V0Pでは動き補償部 P 1 0は動作しない（ステップ P S 1 4からステツプ P S 2 1へ行く）。 I - V0P以外のとき、ローカル動き補償部 P 2 9が動作し、動きベクトル P 2 7を用いて V0Pメモリ P 2 1内の過去の V 0P局所復号画像から予測画像候補（PR1)を取り出す（ステップ P S 1 5 ) 。 P - V0Pではこの予測画像候補（PR1)のみを用いることになる。

ステップ P S 1 6で B - V0Pであるとされた場合は、さらにローカル動き補償部 P 2 9において、動きベクトル P 2 7を用いて V0Pメモリ P 2 1内の未来の V0P局所復号画像から予測画像候補（PR2)を取り出すとともに（ステップ P S 1 7 ) 、過去および未来の V0P局所復号画像から得た予測画像候補を加算平均して予測画像候補（PR3)を得る（ステップ P S 1 8 )— 。

また、ダイレクト予測（ITU- T勧告 H. 263符号化方式における Bフレーム相当の予測方式に基づく予測。組になる P- V0Pのべクトルから Bフレーム用のべクトルを作る。ここでは詳細の記述は省略する）についても同様に予測画像候補（PR4)を生成する（ステップ P S 1 9 ) 。図 3 4において、動きべクトルによる予測画像候補 P 3 1は上記予測画像候補 PR1 から PR4の一部またはすベてを総称するものとする。

I-V0Pでも B-V0Pでもない場合は Sprite- V0Pであり、 V0Pメモリから動きべクトルを用いて予測画像候補（PR1)を取り出すとともに、ステップ P S 2 0でグローバル動き補償部 P 2 8においてヮ一ビングパラメータ P 2 6を用いてスプライトメモリ P 2 2から予測画像候補 P 3 0を取り出す。

グ口一バル動き補償部 P 2 8はヮ一ピングパラメータ P 2 6からスプライトメモリ P 2 2中の予測画像候補が存在するァドレスを計算し、これに基づいてスプライトメモリ P 2 2から予測画像候補 P 3 0を取り出して出力する。ローカル動き補償部 P 2 9は動きべクトノレ P 2 7から V0 Pメモリ P 2 1中の予測画像が存在するアドレスを計算し、これに基づいて V0Pメモリ P 2 1から予測画像候補 P 3 1を取り出して出力する。これらの予測画像候補 P 1 1は、予測モード選択部 P 1 2においてテクスチヤデータ P 7のイントラフレーム符号化信号を含めて評価され、最も予測誤差信号電力の小さい予測画像候補と予測モ一ドが選択される o

( 3 ) メモリ更新

メモリ更新制御（ステップ P S 1 2 ) はメモリ更新部 P 2 0で行われ、 V0Pメモリ P 2 1およぴスプライトメモリ P 2 2の更新を行う。これらのメモリ内容の更新は、マクロプロック単位に選択された予測モ一ド P 1 3に関係なく行われる。

メモリ更新部 P 2 0の内部構成を図 3 6に、メモリ更新部 P 2 0の動作を示すフローチヤ一トを図 3 7のステップ P S 2 2からステップ P S

28に示す。

図 3 6において、 P 3 2は外部から与えられる V0P符号化タイプ、 P

3 3はスプライトメモリを用いた予測をするかしないかを示す、外部から与えられるスプライト予測識別フラグ、 P 34はスプライトメモリを用いた予測に用いられる、外部から与えられるブレンド係数、 P 3 5はスィッチ、 P 3 6はスィッチ、 P 3 7はスプライト合成部、 P 3 8はスプライト変形処理部、 P 3 9は V0Pメモリ更新信号、 P 4 0はスプライト更新信号である。

まず、スプライト予測識別フラグ P 3 3により、当該 V0または VOLでスプライトを使用すると指定されているかどうかがチェックされ（ステップ P S 2 2) 、スプライトを用いない場合、 B - V0Pかチェックされ（ステップ P S 27) 、 B- V0Pならば V0Pメモリ P 2 1の更新は全く行わなレ、。 I-V0Pまたは P-V0Pでは、マクロブロックごとに局所復号マクロブロック P 1 9を V0Pメモリ P 2 1に上書きする（ステップ P S 2 8) 。一方、ステップ P S 22のチエツクにおいてスプライトを用いるとされた場合は、まず上記と同様の V0Pメモリ P 2 1の更新が行われた後（ステップ P S 23，ステップ P S 24) 、以下の手順に従ってスプライトメモリ P 22の更新が行われる。

a ) スプライトのヮービング（ステップ P S 25 )

まず、スプライト変形処理部 P 3 8において、スプライトメモリ上の領域（当該 V0Pの時刻を tとしたときの、スプライトメモリ上の位置を原点とする V0Pと同面積の領域）

M ( ， t -1)

を、ヮ一-ピングパラメータ ^→ _a = ( a , b， c , d， e , f , g， h)

によってヮ一ビング（変形）させる。

b ) スプライトのブレンド（ステップ P S 2 6 )

上記 a)の結果得られたヮービング画像を用いて、スプライト合成部 P 3 7において、下式に従って新しいスプライトメモリ領域

M (→, t ) = ( 1 - α) · W _b [M (→， t - 1 ) , ]

+ α · VO (^→ , t )

r '

を求める。ここで、

a プレンド係数 P 3 4

W _b [M, ：上記（a ) の結果得られるヮービング画像

VO (^, t ) ：局所復号 VOPの位置及び時刻 tにおける画素値である。

ただし、局所復号マクロブロック中で V0Pに属さない領域については

VO (^→ , t ) = 0 とみなす。ブレンド係数 αは V0P単位で与えられるので、局所復号 V0Pは、 V0P領域の内容の如何に閲わらず、 αに基づく比重で、一括してスプライトメモリに合成される。

以上のような従来の符号化方式における予測方式では、動画像ォブジェクトの予測に際して、動きべクトルの検出しか行わないメモリとヮービングパラメータの検出しか行わないメモリとを最大 1画面ずつだけしか使用できない構成になっているため、予測に用いることのできる参照画像をごく限られた方法でしか使用しておらず、予測効率を十分に向上させることができない。

また、 -複数の動画像オブジェクトを同時に符号化するようなシステムにおいても、これらのメモリには、予測される動画像オブジェクト自身の履歴を示す参照画像しか含まれないので、参照画像のバリエーションが限定されるとともに、動画像オブジェクト間の相関を利用して予測を行うことができない。 ·

さらに、メモリの更新に際しても、動画像ォブジェク卜の内部構造や性質、履歴等に関係なくメモリが書き換えられるため、動画像オブジェクトを予測する上で重要な知識を十分にメモリに蓄積できておらず、予測効率の向上が図れないという問題があった。

この発明は前記問題点を解決するためになされたものであり、画像データを符号化ノ復号する場合、複数のメモリを設けて、動画像シーケンスの内部構造、性質などを考慮して、複数のメモリに効果的に動画像シ一ケンスの履歴を蓄積して、予測および符号化 Z復号の効率を高めるとともに、複数の動画像オブジェクト間で予測が行える構造を設けてより柔軟な予測方式を提供することを目的とする。発明の開示

本発明は、予測に際して参照する画像データを蓄積するとともに、それぞれ個別の変形手法が対応づけられている複数のメモリと、被予測画像領域の動きを表現するパラメ一タを入力し、該被予測画像領域の予測に用いたメモリに蓄積された画像データを用いて、上記パラメータと、該メモリに対応づけられた変形手法に基づき予測画像を生成する予測画像生成部とを備え、少なくとも符号化装置および復号装置のいずれかに用いられることを特徴とする動画像を予測する動画像予測方式である。上記符号化装置は、上記予測画像の生成に用いた該メモリを示す予測メモリ指示情報信号を生成し、復号側でも該メモリに蓄積された画像データを用、て、該メモリに対応づけられた変更手法に基づき上記予測画像が生成できるように、上記予測メモリ指示情報信号と上記パラメータを復号側へ送信することを特徴とする。

上記復号装置は、上記パラメータと上記予測画像の生成に用いたメモリを示す予測メモリ指示情報を符号化側から受け取り、上記予測画像生成部は、上記パラメータと該メモリに対応づけられた変形手法に基づき、該メモリに蓄積された画像データを用いて上記予測画像を生成することを特徴とする。

また、本発明は、予測に際して参照する画像データを蓄積するとともに、それぞれ個別のパラメータ有効値域が対応づけられている複数のメモリと、被予測画像領域の動きを表現するパラメータを入力し、該パラメータの値を含む上記パラメータ有効値域が対応づけられたメモリを選択し、選択されたメモリに蓄積された画像データを用いて予測画像を生成する予測画像生成部とを備え、少なくとも符号化および復号のいずれかに用いられることを特徴とする動画像を予測する動画像予測方式である。

また、本発明は、予測に際して参照する画像データを蓄積する複数のメモリと、被予測画像領域の動きを表現するパラメータを入力し、該パラメータに基づいて上記複数のメモリに蓄積された画像データを用いて予測画像を生成する動き補償部と、上記複数のメモリの少なくとも 1つのメモリに蓄積される画像データを任意のタイミングで更新するメモリ更新部とを有する予測画像生成部とを備え、少なくとも符号化および復号のいずれかに用いられることを特徴とする動画像を予測する動画像予測方式である。

上記動画像予測方式は、第 1 と第 2の動画像オブジェクトを有する動画像シーケンス上の動画像を予測し、上記複数のメモリは、上記第 1 と第 2の ¾画像オブジェクトに対応する第 1 と第 2の個別の複数のメモリを備え、上記予測画像生成部は、上記第 1 と第 2の動画像ォブジェクトに対応する第 1 と第 2の個別の生成部を備えており、上記第 1の生成部は、上記第 1のオブジェクトを予測する場合に、少なくとも上記第 1 と第 2の複数のメモリのいずれかに蓄積されている画像データを用いて上記予測画像を生成するとともに、第 2の複数のメモリを第 1のオブジェクトの予測に使用しているか否かを示す情報を予測画像に付加するために生成することを特徴とする。

上記予測画像生成部は、動画像の各時刻における変化に応じて、上記複数のメモリの数とサイズのいずれかを増減することにより予測画像を生成することを特徴とする。

上記予測画像生成部は、動画像の各時刻における変化に応じて、予測に用いるメモリを限定することにより予測画像を生成することを特徴とする。

上記予測画像生成部は、上記複数のメモリに蓄積された上記画像デ一タを用いてそれぞれに生成された複数の予測画像を演算することにより予測画像を生成することを特徴とする。

上記動画像予測方式は、被予測画像領域の重要度を示す特徴量パラメ —タを検出する重要度検出部を備え、上記予測画像生成部は、上記特徴量パラメータに基づいて、少なくとも複数の予測方式と、複数のメモリと、複数のメモリ更新方法のいずれかについて、複数の選択肢の中から少なくとも 1つを選択することにより予測画像を生成することを特徴とする。

上記動画像予測方式は、少なくとも、被予測画像領域が利用可能な符号量と、各時刻における該画像領域の変化量と、該画像領域の重要度のいずれかを表すパラメータを検出する重要度検出部を備え、上記予測画像生部は、上記パラメータに基づいて、少なくとも複数の予測方式と、複数のメモリと、複数のメモリ更新方法のいづれかについて、複数の選択肢の少なくとも 1つを選択することにより予測画像を生成することを特徴とする。

上記動画像予測方式は、動画像を動画像ォブジェクト単位で予測し、上記動画像予測方式は、少なくとも、被予測動画像ォブジェクトが利用可能な符号量と、各時刻における該動画像オブジェクトの変化量と、該動画像オブジェクトの重要度のいずれかを表すパラメータを検出する重要度検出部を備え、上記予測画像生成部は、上記パラメータに基づいて、少なくとも複数の予測方式と、複数のメモリと、複数のメモリ更新方法のいづれかについて、複数の選択肢の少なくとも 1つを選択することにより予測画像を生成することを特徴とする。

上記動画像予測方式は、動画像の符号化において、予測に係る情報を符号化する予測情報符号化部を備え、上記予測画像生成部は、予測に使用されるメモリの使用頻度数をカウントし、カウントした使用頻度数に基づいて上記複数のメモリのランクを決定し、上記予測情報符号化部は、予測に用いられるメモリのランクに応じて、予測に係わる情報に符号長を割り当てることにより予測に係わる情報を符号化することを特徴とする。

上記複数のメモリは、少なくとも、画像データをフレーム単位で蓄積するフレームメモリと、スプライト画像を蓄積するスプライトメモリとを有することを特徴とする。

上記スプライトメモリは、少なくとも、逐次更新を伴うダイナミックスプライトメモリと逐次更新を伴わないスタティックスプライトメモリのいずれかを有することを特徴とする。

上記複数のメモリは、少なくとも、平行移動、ァフィン変換、遠近法変換の Λのいずれかの変形手法が変更可能に対応づけられることを特徴とする。また、本発明は、予測に際して参照する画像データを複数のメモリに蓄積する工程と、上記複数のメモリにそれぞれ個別の変形手法を対応づける工程と、被予測画像領域の動きを表現するパラメ一タを入力するェ程と、上記被予測画像領域の予測に用いたメモリに蓄積された画像データを用いて、上記パラメータと該メモリに対応づけられた変形手法に基づき予測画像を生成する工程を備え、少なくとも符号化および復号のいずれかに用いられることを特徴とする動画像を予測する方法である。上記動画像を予測する方法は、さらに、上記予測画像生成に用いた該メモリを示す予測メモリ指示情報信号を生成する工程と、上記予測メモリ情報信号と上記パラメ一タを復号側へ送信する工程とを備えたことを特徴とする。

上記動画像を予測する方法は、さらに、予測画像の生成に用いたメモリを示す予測メモリ指示情報信号と被予測画像領域の動きを表現するパラメータを符号化側から受け取る工程を備え、復号に用いられることを特徴とする。

また、本発明は、予測に際して参照する画像データを複数のメモリに蓄積する工程と、上記複数のメモリにそれぞれ個別のパラメータ有効値域を対応づける工程と、被予測画像領域の動きを表現するパラメ一タを入力する工程と、上記パラメータの値を含む上記パラメータ有効値域が対応づけられたメモリを選択する工程と、選択されたメモリに格納された画像データを用いて予測画像を生成する工程を備え、少なくとも符号化および復号のいずれかに用いられることを特徴とする動画像を予測する方法である。

また、本発明は、予測に際して参照する画像データを複数のメモリに蓄積する工程と、被予測画像領域の動きを表現するパラメ一タを入力する工程と、上記パラメータに基づいて、上記複数のメモリに蓄積された画像データを用いて予測画像を生成する工程と、上記複数のメモリの少なくとも 1つのメモリに格納される画像データを任意のタイミングで更新する工程を備え、少なくとも符号化および復号のいずれかに用いられることを特徴とする動画像を予測する方法である。図面の簡単な説明

図 1は、この発明の実施の形態における動画像符号化装置を示す構成図である。

図 2は、この発明の実施の形態における動画像符号化装置の動作を示すフローチヤ一トである。

図 3は、この発明の実施の形態における動画像符号化装置の動き補償部の構成を示す構成図である。

図 4は、動き補償部の動作を示すフローチャートである。

図 5は、この発明の実施の形態における動画像符号化装置のメモリ更新部の構成を示す構成図である。

図 6は、メモリ更新部の動作を示すフローチャートである。

図 7は、この発明の実施の形態における動画像符号化装置の動き補償部の構成を示す構成図である。

図 8は、図 7の動き補償部の動作を示すフローチヤ一トである。図 9は、この発明の実施の形態における動画像符号化装置の動き補償部の構成を示す構成図である。

図 1 0は、図 9の動き補償部の動作を示すフローチヤ一トである。図 1 1は、この発明の実施の形態における動画像符号化装置を示す構成図である。

図 i 2は、この発明の実施の形態における動画像符号化装置の動き補償部の構成を示す構成図である。図 1 3は、図 1 2の動き補償部の動作を示すフローチヤ一トである。図 1 4は、この発明の実施の形態における動画像符号化装置のメモリ更新部の構成を示す構成図である。

図 1 5は、図 1 4のメモリ更新部の動作を示すフロ一チヤ一トである o

図 1 6は、この発明の実施の形態における動画像符号化装置を示す構成図である。

図 1 7は、この発明の実施の形態における動画像符号化装置を示す構成図である。

図 1 8は、この発明の実施の形態における動画像符号化装置を示す構成図である。

図 1 9は、この発明の実施の形態における動画像符号化装置を示す構成図である。

図 2 0は、この発明の実施の形態 1のビットストリーム 2 1を示す図である。

図 2 1は、この発明の実施の形態 2のビットストリ一ム 2 1を示す図である。

図 2 2は、この発明の実施の形態 3のビットストリーム 2 1を示す図である。

図 2 3は、この発明の実施の形態 6のビットストリーム 2 1を示す図である。

図 2 4は、この発明の実施の形態における動画像復号装置を示す構成図である。

図 2 5は、この発明の実施の形態における動画像復号装置の動き補償部の樺成 _を示す構成図である。

図 2 6は、動き補償部の動作を示すフローチャートである。図 2 7は、内挿処理を説明する図である。

図 2 8は、この発明の実施の形態における動画像復号装置のメモリ更新部の動作を示すフローチヤ一トである。

図 2 9は、 VM符号化方式におけるビデオデータ構造を示す説明図である。

図 3 0は、 V0Pデータの構成を示す説明図である。

図 3 1は、 VM符号化装置の構成を示す構成図である。

図 3 2は、図 3 1の符号化装置の動作を示すフローチヤ一トである。図 3 3は、 V0P符号化タイプと対応する予測の種類を示す説明図である。

図 3 4は、図 3 1の符号化装置における動き補償部の構成を示す構成図である。

図 3 5は、図 3 4の動き補償部の動作を示すフロ一チヤ一トである。図 3 6は、図 3 1の符号化装置におけるメモリ更新部の構成を示す構成図である。

図 3 7は、図 3 6のメモリ更新部の動作を示すフローチヤ一トである

発明を実施するための最良の形態

実施の形態 1 .

図 1は実施の形態 1及び後述する実施の形態における符号化装置の構成を示すブロック図である。同図において、 1は入力動画像信号、 2はテクスチャデ一タ、 3は動き検出部、 4は動きパラメ一タ、 5は動き補償部、 6は予測画像候補、 7は予測モード選択部、 8は予測モード、 9 は予翊画像、 1 0は予測誤差画像、 1 1はテクスチャ符号化部、 1 2は量子化 DCT係数、 1 3は局所復号された予測誤差画像、 1 4は局所復号画像、 1 5はメモリ更新部、 1 6はメモリ a、 1 7はメモリ b、 1 8はメモリ c、 1 9は可変長符号化 ·多重化部、 2 0は送信バッファ、 2 1 はビットストリーム、 8 0はシーンチェンジ検出部、 8 1はタイマーである。このうち動き補償部 5およびメモリ更新部 1 5が予測方式を実現する予測画像生成部 1 0 0である。また、メモリ a， b， cがメモリ領域 2 0 0である。図中この実施の形態で取り上げない部分については後の実施の形態で説明する。図 2は、この符号化装置の動作の流れを示すフ口一チヤ一トである。

この実施の形態では複数、例えば 3つのメモリ、を入力動画像の動き量 ·色度等の画像の特徴に基づく重要度に応じて使い分け、かつ任意の時間間隔で任意のメモリ（領域）、例えばメモリ a、の内容を更新する仕組みを設ける。また、動画像シーケンスはフレーム単位に入力されるものとする。

( 1 ) 入力信号

上述のごとく、上記符号化装置は動画像シーケンスの各時刻の画像を表すフレームを単位に入力し、フレームは被予測画像領域の一例である符号化単位となるマクロブロックに分割される（ステップ S 1 ) 。

( 2 ) メモリの使い分け方

メモリには、過去に復号済みの画像や、またはあらかじめ固定的に与えられた画像が蓄積されるが、この実施の形態では、フレーム中の部分領域の重要度に応じて、 3つのメモリを以下のように使い分ける。

メモリ a ：重要度小の画像領域（=動きが静止または均一で、かつテクスチヤが均一な背景的画像領域）を蓄積する。

メモリ b ：重要度中の画像領域（=被写体の動きで、比較的動きの小さい画像領域）を蓄積する。

メモリ _C ：重要度大の画像領域（=被写体の動きで、動きの大きな画像領域）を蓄積する。

メモリ aに蓄積される重要度小の画像領域は、テレビ会議のシーンなどに出てくる背景画像領域と考えることができる。また、ある微少な動きを伴う被写体を含み、カメラ操作によって画面全体の均一な動きが含まれるようなシーンにおける背景領域にも相当する。これらの動きはマクロブロックという小さな単位よりもあらかじめフレーム全体の動きを求めて、それをマクロプロックの動きとして代用すると効率的である。すなわち、従来例に述べたスプライトにおけるヮービングパラメータに相当する変形パラメ一タを求め、フレーム全体の変形パラメ一タを各マクロブロックの動きパラメータとみなすことにする。動きパラメ一タは、単なる平行移動パラメータ（=動きベクトルと同義）でもよいし、変形を含んだァフィン、遠近法動きパラメータなどであってもよい。ここで、動きべクトルは動きパラメータの一例である。

メモリ bに蓄積される重要度中の画像領域は例えばテレビ会議のシーンにおいて発言をせずに体だけが動いているような人物の画像領域で、画面中の注目度が低い被写体領域と考えることができる。メモリ cに蓄積される重要度大の画像領域は例えばテレビ会議のシーン中、発言者などもつとも注目度が高い被写体領域と考えることができる。

メモリ b、 cに蓄積される領域は被写体固有の動きを持っため、マクロブ口ックごとに異なる動きパラメータを持つと考えるのが自然である。この際の動きパラメ一タは、単なる平行移動パラメ一タ（==動きべクトルと同義）でもよいし、変形を含んだァフィン、遠近法動きパラメ一タなどであってもよい。

( 3 ) 動き検出（ステップ S 2 )

こ^実施の形態における動き検出部 3は、従来例のような動きべクトルとヮ一ビングパラメータという区別を取り去り、 3つのメモリすべてについて任意の変形パラメータをマクロブロック単位に検出できるようにする。また、動き検出部 3はメモリ aを用いてフレーム全体の変形パラメ一タを検出するグローバル動きパラメータ検出と、メモリ aから c を用いてマクロブ口ックごとの変形パラメータを検出するローカル動きパラメータ検出の機能を備える。

( 4 ) 動き補償（ステップ S 3 )

この実施の形態における動き補償部 5の内部構成を図 3に示す。同図において、 2 2は予測画像メモリアドレス算出部、 2 3は予測画像メモリアドレス、 2 4はメモリ読み出し部、 2 5は外部から与えられる参照メモリ指示信号である。ここでは、参照メモリ指示信号 2 5は、メモリ a , b， cを使用することを指示しているものとする。この動き補償部 5の動作を記したフローチヤ一トを図 4のステップ S 1 1からステップ S 1 6に示す。

まず I (Intra) -フレームならば、動き補償を行わない（ステップ S 1 1 ) 。 I-フレームでなければ、動き検出部 3で検出されたグローバル動きパラメータならびに各メモリに基づくローカル動きパラメータをもとに予測画像候補を生成する（ステップ S 1 2からステップ S 1 5 ) 。具体的には、予測画像メモリアドレス算出部 2 2において、参照メモリ指示信号 2 5で指示されるメモリ中の予測画像候補が存在する予測画像メモリアドレス 2 3を動きパラメータ 4に基づいて計算し、予測画像メモリアドレス 2 3によってメモリ読み出し部 2 4が対応するメモリから予測画像候補 6を取り出して出力する。

この実施の形態においてはグローバル動きパラメータも口一カル動きパラメータも同一の変形方式に基づくので、いずれの予測画像生成も図 3の ¾き補償部 5を共有して用いることができる。なお、グローバル動きパラメータにより予測画像候補 6を生成する場合（ステップ S 1 5 ) は、常にメモリ aが参照メモリとして用いられる。

( 5 ) 予測モードの選択（ステップ S 4 )

この実施の形態における予測モードは、

( a ) メモリ aを使用するモード、

( b ) メモリ bを使用するモード、

( c ) メモリ cを使用するモ一ド、

( d ) イントラフレーム符号化信号を使用するモード

があるものとする。予測モード選択部 7は、例えば従来例に示したように、動き補償部 5によって生成されるすべての予測画像候補 6とイントラフレーム符号化信号を含めて、最も予測誤差信号の電力（振幅）の小さい予測画像候補 6を選択して予測画像 9として出力する。また、選択した予測画像 9に対応する予測モード 8を出力する。この予測モ一ド 8 の情報の中には、選択した予測画像 9を予測したメモリを示すメモリ選択情報も含まれている。予測モード 8は可変長符号化 ·多重化部 1 9へ送られ、割り当てられた符号長で予測メモリ指示情報 8 0 0としてビットストリ一ム 2 1の中に符号化される。

( 6 ) メモリの更新

メモリの更新はメモリ更新部 1 5で制御される。この実施の形態におけるメモリ更新部 1 5の内部構成を図 5に示す。同図において、 2 6はメモリ aの更新に用いるアクティビティ（詳細は後述する）、 2 7はメモリ a更新判定部、 2 8は参照メモリ選択部、 2 9、 3 0はスィッチ、 3 1はメモリ aを更新する画像データ、 3 2はメモリ bを更新する画像データ、 3 3はメモリ cを更新する画像データ、 3 4はメモリ aを更新するグローバル予測画像データである。また、メモリ更新の動作フローを図 _ 6に示す。

この実施の形態におけるメモリ更新は以下の手順を踏む。メモリ更新部 1 5は局所復号画像 1 4を入力すると、メモリ a更新判定部 2 7において該局所復号画像 1 4が属するフレームに対するメモリ a更新の必要性を判定し（ステップ S 1 7 ) 、参照メモリ選択部 2 8において予測モード 8に基づき予測に使用したメモリを選択し（ステップ S 1 8、 S 1 9 ) 、選択されたメモリ内の参照画像を該局所復号画像 1 4のメモリ a を更新する画像データ 3 1、メモリ bを更新する画像データ 3 2、メモリ cを更新する画像データ 3 3、メモリ aを更新するグローバル予測画像データ 3 4のいずれかを用いて下記のルールで更新する。なお、該メモリ更新は予測単位（マクロブロック単位）でフレーム毎に行われる。

( 1 ) メモリ b、 cの毎フレ一ム更新（ステップ S 2 0、 S 2 1 ) 当該画像の予測に用いたメモリ bまたはメモリじに、局所復号画像 1 4を書き込む。

( 2 ) メモリ aの任意フレーム更新（ステップ S 2 2、 S 2 3 ) 当該画像の予測に用いたメモリ aにステップ S 1 7のメモリ a更新判定結果 1 0 0 0に基づき、任意のフレームについてのみ、または任意の時間間隔で局所復号画像 1 4を書き込む。

メモリ aの内容はいわば背景画像などの時不変画像領域の履歴であり、シーンチェンジや画面全体の大きな動きなどによって領域の内容がおおきく変化することでもない限り、メモリ内容の更新の必要がない。上述のように被写体などの動領域についてはフレーム単位で逐次更新し、メモリ aの内容はより長い時間間隔で更新する仕組みを備えておけば、被写体の動きによって見え隠れする背景画像などの予測に効果的である。

この実施の形態では、以上の観点からメモリ aの更新を任意の時間間隔で行う仕組みを設ける。具体的には例えば、

a . グロ一バル動きパラメータの大きさに基づき、動きが大きい場合は画面全体の内容を一斉に更新し、動きが小さい場合は内容を更新しない方法、

b . フレーム間の時間間隔に限定されず、ある一定時間ごとに画面全体の内容を一斉に更新する方法、

c . シーンチェンジを検出した場合、シーンチェンジ直後のフレームで画面全体の内容を一斉に更新する方法

などの任意更新判定基準が考えられる。

この実施の形態では、以上のような任意更新判定基準になるデータをメモリ aの更新に用いるァクティビティ 2 6という言葉で総称する。まず、メモリ a更新判定部 2 7はアクティビティ 2 6を用いてメモリ aの内容を更新するかどうかを判定する（ステップ S 1 7 ) 。上記任意更新判定基準 aの場合は動き検出部 3で検出されたグローバル動きパラメ一タの値がァクティビティとなり、任意更新判定基準 bの場合はタイマ一 8 1からの当該フレームのタイムスタンプが、任意更新判定基準 cの場合はシーンチェンジ検出部 8 0から出力されるシーンチェンジ検出を知らせるフラグがァクティビティ 2 6に相当する。

メモリ aの内容を更新すると判断された場合は、局所復号画像 1 4の内容がグローバル予測画像データ ₃ 4として出力されてメモリ aの内容を書きかえる（ステップ S 2 3 ) 。メモリ aの内容を更新すると判断されなかった場合は、メモリ aの更新を行わない。

なお、当該フレームにおけるメモリ a更新判定結果 1 0 0 0は復号側で同様の任意更新を行うことができるよう、ビットストリーム 2 1に多重化されて復号側に伝送される。

図 2 0は、この実施の形態のビットストリ一ム 2 1を示す図である。図 2 0においては、フレームデータが順に符号化されて転送される様子を概念的に示している。各フレームデータの先頭には、フレーム単位の付加情報としてヘッダ情報が付け加えられている。また、ヘッダ情報には、メモリ a更新判定結果 1 0 0 0が多重化されて復号側に伝送される。ヘッダ情報の後からは、そのフレームを構成するマクロブロックデ —タが続いている。マクロブロックデ一タの内部には、そのマクロブロックデータを予測するために用いられたメモリを示す予測メモリ指示情報 8 0 0が含まれている。復号装置においては、各マクロブロックデ一タの予測メモリ指示情報 8 0 0に基づいて、予測画像を予測するメモリを特定して予測画像を生成する。

また、図示していないが、メモリ a更新判定結果 1 0 0 0とともに、或いは、その代わりに、メモリ b更新情報、及び又はメモリ c更新情報を復号側に転送するようにしても構わない。

以上述べた符号化装置により、動画像シーケンスの内容に応じて複数のメモリを効率的に使い分ける仕組みが供給され、予測効率を向上させることができる。すなわち、動画像シーケンスの予測に際して、動画像シーケンスの内容や性質によって複数のメモリを使い分けて任意の変形パラメータに基づいた予測を行うので、複雑な動きまでもカバーして局所的な画像の性質に追随した効率的な動画像予測が行え、予測効率が向上し、符号化画像の品質を保ちつつ符号化データの発生量を低減させる符号化装置を構成することができる。また、この発明の予測方式に基づいて符号化されたビットストリ一ムを復号する復号装置においても同様の予測方式により構成することができる。

この実施の形態ではフレームごとに符号化する装置について述べたが、任意の形状を持つ動画像オブジェクト（V0P) を符号化する装置についても同様の効果が期待できる。

また、；の実施の形態では被予測画像領域の一例としてマクロプロックを単位とした符号化装置について述べたが、任意の形状を持つ部分画像などの画像単位または複数個の固定サイズブロックの組み合わせによつて構成される可変形状のプロックなどの画像単位で画像を符号化する装置についても、同様の効果が期待できる。

また、この実施の形態では、メモリ aを用いたグロ一バル動きパラメ —タ検出を用いたが、これを用いずに口一カル動き検出だけを用いる構成でも適用可能であることは言うまでもない。グロ一バル動き検出を行わない場合は、予測モードとしてグローバル/ /ローカル予測の判別情報は伝送する必要がない。

また、この実施の形態において、あらかじめ動画像シーケンスの内容に基づいて生成した参照画像データを蓄積して符号化中に更新を行わないメモリを設け、それを予測に用いる構成もとることができる。

また、この実施の形態においては、メモリ a， b， cに対してそれぞれ部分領域を蓄積するようにしてメモリ更新部 1 5によるメモリ更新は、メモリ a， b， cのいずれか 1つのメモリに対して行う場合を示した力メモリ a， b， cが画像の一部分、或いは、全部を共有して画像を蓄積するような場合には、メモリ更新部 1 5は、メモリ a , b， cのうち 2つのメモリ、或いは、全てのメモリを更新する。例えば、メモリ a が 1 フレームの参照画像データを蓄積するフレームメモリであり、メモリ bが逐次更新を伴わないスタティックスプライトメモリであり、メモリ cが逐次更新を伴うダイナミックスプライトメモリである場合には、スタティックスプライトメモリは、予め固定的なデータを参照画像デ一タとして蓄積しているため、メモリ bはメモリ更新部 1 5によっては更新されないが、メモリ aとメモリ cが同一領域の参照画像データを蓄積している場合には、メモリ更新部 1 5は、メモリ a とメモリ cを同時に更新する；とになる。このように、メモリ a， b， cが参照画像データを重複して蓄積している場合には、重複した領域をそれぞれメモリ更新部 1 5が更新する。

以上のことは、以下に述べる実施の形態においても同様である。

また、この実施の形態では、 3つのメモリ a， b， cを用いる場合を示したが、いずれか 2つのメモリを用いる場合であっても構わない。また、この実施の形態で述べた動き補償部 5、メモリ更新部 1 5とまつたく同一の部材を有する予測画像生成部 1 0 0を用いた復号装置を構成することもできる。復号装置に用いられる場合は、動き補償部は 3つの全ての予測画像候補を生成する必要はなく復号された動きパラメータに関わる予測画像だけを生成すればよい。実施の形態 2 .

次に、図 1に示した構成の符号化装置において、動き補償部 5の構成だけ別の構成とした符号化装置の実施形態を示し、実施の形態 2の動き補償部 5 aの構成と動作について述べる。

この実施の形態における動き補償部 5 aの内部構成を図 7に示す。同図において、 3 5は参照メモリ決定部である。またこの動き補償部 5 a の詳細な動作を記したフローチヤ一トを図 8に示す。

まず、 I-フレームならば動き補償を行わない（ステップ S 2 4 ) 。 I - フレームでなければ、参照メモリ決定部 3 5は動きパラメータ 4の値に基づいて参照メモリを決定する（ステップ S 2 5 ) 。参照メモリ決定部 3 5は各メモリ a， b， cに割り当てられている有効動きパラメ一タ値域（詳細は後述する）を保持しており、動きパラメータ 4の値と比較することによって、当該動きパラメータ 4がどのメモリを指しているかを判断し、メモリ a， b， cを識別する参照メモリ指示信号 2 5 aを出力する .

有効動きパラメータ値域とは、例えば動きべクトルを検出する場合、その探索範囲が土 1 5画素だとすると、 ± 0から 3画素の範囲ではメモリ aを、 ± 4から 8画素の範囲ではメモリ bを、土 9から 1 5画素の範囲ではメモリ cを予測に用いるようにするというような、各メモリごとの有効探索範囲を意味する。ただし、グロ一バル動きパラメータで予測画像を生成する場合は参照メモリはメモリ a と決まっているので、参照メモリ決定部 3 5を起動するのは口一カル動きパラメータを用いるときのみとする。このように、動きベクトルの値で予測に用いるメモリを特定するのは、背景画像は動きが少なく、注目度が高い画像ほど動きが大きくなるはずであるという前提に基づくものである。このように、動きベクトルの値で予測に用いるメモリを特定する場合は、予測モードを符号化して伝送する必要がない。

次いで、選択された参照メモリ指示信号 2 5 aにしたがって予測画像候補 6が生成される（ステップ S 2 6からステップ S 3 0 ) 。具体的には、予測画像メモリアドレス算出部 2 2において、参照メモリ指示信号 2 5 aで指示されるメモリ中の予測画像候補 6が存在する予測画像メモリ了ドレス 2 3を動きパラメータ 4に基づいて計算し、予測画像メモリアドレス 2 3によってメモリ読み出し部 2 4が対応するメモリから予測画像候補 6を取り出して出力する。

この実施の形態においてはグ口一バル動きパラメータも口一力ル動きパラメータも同一の変形方式に基づくので、いずれの予測画像生成も図 7の動き補償部 5 aを共有して用いることができる。なお、グローバル動きパラメータにより予測画像候補 6を取り出す場合（ステップ S 3 1 ) は、常にメモリ aが参照メモリとして用いられる。

有効動きパラメータ値域は、動画像シーケンス毎に一定値域でもよい力 S、ことえば、各フレーム毎に変更してもよい。各フレーム毎に変更する場合は、当該フレームにおける各メモリの有効動きパラメータ値域は、復号側で同様のメモリ選択を行うことができるよう、ビットストリ一ムに多重化されて復号側に伝送される。

図 2 1は、この実施の形態のビットストリーム 2 1を示す図である。このビットストリームの先頭には、動画像シーケンス単位に付加されたヘッダ情報がある。このヘッダ情報は、各メモリの有効動きパラメ一タ値域指示情報を有している。このように、動画像シーケンスの先頭に有効動きパラメータ値域指示情報を指定することにより、その動画像シ —ケンスに対して一定値域の有効動きパラメ一タ値域を用いた予測方式を復号装置で行うことができる。

フレーム毎に有効動きパラメータ値域を変更する場合は、フレーム単位に付加されたヘッダ情報の中に有効動きパラメータ指示情報を含ませればよい。

以上述べた動き補償部 5 aの構成を持つ符号化装置により、フレームの局所的な動きの程度に応じて複数のメモリを効率的に使い分ける仕組みが供給され、予測効率を向上させることができる。

また、この実施の形態ではマクロプロックを単位とした符号化装置について述べたが、任意の形状を持つ部分画像などの画像単位または複数個の固定サイズブロックの組み合わせによつて構成される可変形状のブ口ックなどの画像単位で画像を符号化する装置についても、同様の効果が期待できる。

また、この実施の形態では、メモリ aを用いたグローバル動きパラメ一タ出を用いたが、これを用いずにローカル動き検出だけを用いる構成でも適用可能であることは言うまでもない。グロ一バル動き検出を行わない場合は、予測モードとしてグロ一バルノロ一カル予測の判別情報は伝送する必要がない。

また、この実施の形態で述べた動き補償部 5とまったく同一の部材有する予測画像生成部 1 0 0を用いた復号装置を構成することもできる。復号装置に用いられる場合は、動き補償部は復号された動きパラメータに関わる予測画像だけを生成すればよい。実施の形態 3 .

次に、図 1に示した構成の符号化装置において、動き補償部 5の構成だけをさらに別の構成とした符号化装置の実施形態を示し、動き補償部 5 bの構成と動作について述べる。この実施の形態における動き検出部 3 aは、動きパラメータ 4 aとして平行移動量、ァフィンパラメータ、遠近法パラメータをそれぞれ出力するものとする。

また、この実施の形態におけるメモリ aは参照画像を 1 フレーム分記憶するフレームメモリであり、メモリ bはスタティックスプライトメモリであり、メモリ cはダイナミックスプライトメモリであるものとするこの実施の形態における動き補償部 5 bの内部構成を図 9に示す。同図において、 3 6は平行移動量（=動きベクトル）、 3 7はァフィンパラメータ、 3 8は遠近法パラメータ、 3 9は平行移動量に基づく予測画像メモリアドレス算出部、 4 0はァフィンパラメータに基づく予測画像メモリアドレス算出部、 4 1は遠近法パラメータに基づく予測画像メモリアドレス算出部である。またこの動き補償部 5 bの詳細な動作を記したフ口一チヤ一トを図 1 0に示す。

まず、； [-フレームならば動き補償を行わない（ステップ S 3 3 ) 。 I - フレームでない場合、予測画像メモリァドレス算出部 3 9から 4 1はそれぞれ動きパラメータ 4 aの値に基づいて予測画像メモリアドレス 2 3 を計算する（ステップ S 3 4) 。

各予測画像メモリアドレス算出部は、対応する各メモリに割り当てられている画像変形方式に基づいてァドレス計算を行う。この実施の形態においては、メモリ aに平行移動、メモリ bにある程度回転や拡大 '縮小などの単純な変形を伴うァフィンパラメータ、メモリ cに 3次元的で複雑な動きを伴う遠近法パラメータを用いる。これらの変形方式は以下のような変換式で表せる。

〔平行移動〕

平行移動量（a, b) ：

X = X + a

y = y + b

〔ァフィン変換〕

アブインパラメ一タ（a,b, c， Θ) ：

χ = a(cos θ ) x + a (sin θ ) y + b

y ' = a (-sin Θ ) x + a (cos Θ ) y + c

〔遠近法変換〕

遠近法パラメータ（a,b，c, d，e，f) ：

x' = (a x + b y + c) / (g x + h y + 1)

y' = (d x + e y + f)/(g x + h y + l)

ここで、 2次元座標上の（x, y)は原マクロブロックの画素位置、（χ' ,y' )は各パラメータによって（X, y)に対応付けられるメモリ中の画素位置である。すなわち、これらのパラメータをもとに（χ' ， y' )のメモリ上の位置を計算する。この仕組みをもつことにより、各マクロプロック-ごとに動きの性質がもっとも適合するメモリから予測を行うことができるようになる。各動きパラメータ 3 6、 3 7、 3 8から計算した予測画像メモリアドレス 2 3によって、メモリ読み出し部 2 4が対応するメモリから予測画像候補 6を取り出して出力する（ステップ S 3 5からステップ S 3 9 ) 。

なお、当該フレームにおける各メモリの変形方式のタイプは、復号側で同様の動き補償を行うことができるよう、動き検出手法指示情報としてビットストリーム 2 1に多重化されて復号側に伝送される。

図 2 2は、この実施の形態のビットストリーム 2 1を示す図である。動画像シーケンスの先頭に付加されるヘッダ情報の中には、動き検出手法指示情報が含まれている。符号化装置では、各メモリで使用する変形方式のタイプが変更可能であり、この対応関係を示す動き検出手法指示情報を動画像シーケンスのヘッダ情報として復号装置に送る。こうして復号装置においては、各メモリで使用する変形方式のタイプを識別することができる。

復号装置においては、この識別された変形方式のタイプが動的に各メモリに対応づけられるようになっている。

以上述べた動き補償部 5 bの構成を持つ符号化装置により、フレームの局所的な動きの性質に応じて複数のメモリを効率的に使い分ける仕組みが供給され、予測効率を向上させることができる。

また、この実施の形態ではマクロプロックを単位とした符号化装置について述べたが、任意の形状を持つ部分画像などの画像単位または複数個の固定サイズブロックの組み合わせによって構成される可変形状のブロックなどの画像単位で画像を符号化する装置についても、同様の効果が期待できる。また、この実施の形態では、メモリ aを用いたグローバル動きパラメ —タ検出を用いたが、これを用いずに口一カル動き検出だけを用いる構成でも適用可能であることは言うまでもない。グローバル動き検出を行わない場合は、予測モードとしてグローバルローカル予測の判別情報は伝送する必要がない。

また、この実施の形態では、メモリ a， b， cを用いる場合を示した力メモリ a と bだけを用いる場合、或いは、メモリ aと cを用いる場合、或いは、メモリ b と cだけを用いる場合であっても構わない。

また、この実施の形態で述べた動き補償部 5 b とまったく同一の部材を有する予測画像生成部 1 0 0を用いた復号装置を構成することもできる。復号装置に用いられる場合は、動き補償部は復号された動きパラメータに関わる予測画像だけを生成すればよい。実施の形態 4.

次に、形状情報を持った複数、例えば 2つ、の異なる動画像オブジェクトが混在する動画像シーケンスを対象とし、これらの動画像オブジェクトを一括して符号化する装置の実施形態を説明する。図 1 1 にこの実施の形態における符号化装置の構成を示す。

同図において、 4 2は入力画像フレーム、 4 3はオブジェクト分離部、 4 4 a、 4 4 bはオブジェクトデータ、 4 5 a、 4 5 bは形状ブロック、 4 6 a、 4 6 bはスィッチ、 4 7 a、 4 7 bは形状符号化部、 4 8 a、 4 8 bは圧縮形状ブロックデータ、 4 9 a、 4 9 bは局所復号形状ブロック、 5 0 a、 5 0 bはテクスチャデータ（マクロブロック）、 5 1 a、 5 1 bは動き検出部、 5 2 a、 5 2 bは動きパラメータ、 5 3 a、 5 3. bは動き補償部、 5 4 a、 54 bは予測画像候補、 5 5 a、 5 5 b は予測モード選択部、 5 6 a、 5 6 bは予測モ一ド情報、 5 7 a、 5 7 bは予測画像、 5 8 a、 5 8 bは予測誤差信号、 5 9 a、 5 9 bはテクスチヤ符号化部、 6 0 a、 6 0 bは圧縮テクスチャデータ、 6 1 a、 6 1 bは局所復号予測誤差信号、 6 2 a、 6 2 bは局所復号マクロプロック、 6 3はメモリ更新部、 6 4はメモリ a、 6 5はメモリ b、 6 6はメモリ c、 6 7はメモリ d、 6 8はメモリ e、 6 9はメモリ f 、 7 0 a、 7 0 bは可変長符号化部、 7 1は多重化部、 7 2はバッファ、 7 3はビットストリーム、 9 4はメモリ部、 8 8 aは Aオブジェクトを符号化する Aオブジェクト符号化部、 8 8 bは Bォブジェクトを符号化する Bォブジェクト符号化部である。オブジェクト符号化部 8 8 a、 8 8 bは同一の部材による同一の内部構成を有する。

この符号化装置は画像フレーム 4 2を入力し、これがオブジェクト分離部 4 3において符号化単位のオブジェクトに分けられる。オブジェクト分離部 4 3の処理は任意の方法をとることができるものとする。

オブジェクトの形状情報は形状プロック 4 5 a、 4 5 bの形式で形状符号化部 4 7 a、 4 7 bに送られて符号化され、圧縮形状ブロックデータ 4 8 a、 4 8 bとして可変長符号化部 7 0 a、 7 O bに送られる。動き検出部 5 1 a 5 1 bは VM符号化方式と同様、局所復号形状プロック 4 9 a、 4 9 bを考慮して動きパラメータの検出を行う。動きパラメータ検出はマクロブ口ック単位にメモリ aから f のすベてを用いて行うことができる。

ただし、原則として Aオブジェクト符号化部 8 8 aにおいて符号化される Aォブジェクトについてはメモリ aから cを、 Bオブジェクト符号化部 8 8 bにおいて符号化される Bオブジェクトについてはメモリ dから f をそれぞれ用いるものとする。

また-、動きの種類としては、動きベクトルとヮービングパラメータという区別を取り去り、メモリ部 9 4のすベてのメモリについて任意の変形パラメータをマクロブ口ック単位に検出できるものとする。

動き補償部 5 3 a、 5 3 bで各動きパラメータ 5 2 a、 5 2 bに基づいてすベての予測画像候補 5 4 a、 5 4 bを生成した後、予測モ一ド選択部 5 5 a、 5 5 bで予測画像 5 7 a、 5 7 bおよび予測モード情報 5 6 a、 5 6 bを得る。原信号またはテクスチャデータ 5 0 a、 5 0 b と予測画像 5 7 a、 5 7 bとの差分をとつて予測誤差信号 5 8 a、 5 8 b を得、これがテクスチャ符号化部 5 9 a、 5 9 bで符号化されて可変長符号化部 7 0 a、 7 0 bに送られる。また、局所復号された予測誤差信号 6 1 a、 6 l bが予測画像 5 7 a、 5 7 b と加算されて局所復号マクロブロック 6 2 a、 6 2 bとなり、メモリ更新部の指示にしたがってメモリ aから f に書き込まれる。

上記 A/Bオブジェクト符号化部 8 8 a、 8 8 bにおいて符号化された AZBオブジェクトデータは多重化部 7 1で 1つのビットストリ一ム 7 3に多重化され、ノくッファ 7 2を介して伝送される。

以下、この実施の形態における予測について主要な動作を行う動き補償部 5 3 a、 5 3 bを中心に説明する。

この実施の形態における動き補償部 5 3 a、 5 3 bは、動き検出部 5 l a、 5 1 bで検出した動きパラメータ 5 2 a、 5 2 bに基づいて予測画像候補を生成する。動き補償部 5 3 aの内部構成を図 1 2に示す。また、 Aオブジェクト符号化部 8 8 aにおける動き補償部 5.3 _aの動作のフローチャートを図 1 3に示す。なお、動き補償部 5 3 bでも同様に構成され同様に動作する。

図 1 2において、 7 4 aは Bオブジェクト参照判定部、 7 5 aは Bォブジェクト参照指示フラグである。

-ここで動きパラメータ 5 2 aは検出に用いたメモリ情報も含むものとする。パラメータの値から実施の形態 1 と同様に、予測画像メモリアドレス算出部 2 2 a、メモリ読み出し部 2 4 aを用いて予測画像候補を生成する（ステップ S 4 4からステップ S 4 9 ) 。また、 Bオブジェクト参照判定部 7 4 aは動きパラメータ 5 2 aの中の参照するメモリ情報から、当該マクロブ口ックの予測に Bオブジェクト用のメモリを使用しているかどうかを判定する（ステップ S 4 3 ) 。

Bオブジェクト参照判定部 7 4 aは、判定結果を Bオブジェクト参照指示フラグ 7 5 a として出力し、復号側で当該オブジェクトが単独で、自身のメモリ a， b , cのみを用いて再生できるかどうかの判定に用いるため、ビットストリーム 7 3に多重化されて復号側に伝送される。符号化時には、外部から与える信号 8 5 aにより、常に復号側で当該ォブジェクトの単独再生が可能になるように、動きパラメータの検出に際して、自身の予測用のメモリ（a， b， c，のみ）しか使用しないように制御することも可能とする。

以上述べた動き補償部 5 3 a、 5 3 bの構成を持つ符号化装置により、フレームの局所的な動きの性質に応じて複数のメモリを効率的に使い分ける仕組みが供給され、予測効率を向上させることができる。

また、この実施の形態ではオブジェクトをマクロブロック単位に符号化する装置について述べたが、任意の形状を持つ部分画像または複数個の固定サイズブロックの組み合わせによって構成される可変形状のブロックなどの単位で符号化する装置についても、同様の効果が期待できるまた、この実施の形態で述べた動き補償部 5 3 a、 5 3 bと同一の部材を用いた復号装置を構成することもできる。復号装置に用いられる場合は、動き補償部 5 3は復号された動きパラメータに関わる予測画像だげを生成すればよい。また、ビットストリームから他オブジェクト参照指示フラグ 7 5 a、 7 5 b相当のビットを復号して、復号中のオブジェクトが単独で再生できるかどうかを認識できる構成とすれば、ォブジェクトデータを誤りなく復号再生できるようになる。実施の形態 5 .

次に、動画像オブジェクトの時間的変化に対応して、メモリの数または容量を自在に変化可能な構成の符号化装置の実施形態を説明する。実施の形態 5においては、図 1に示した構成の符号化装置におけるメモリ更新部 1 5の構成を置きかえた符号化装置を考える。

図 1 4にこの実施の形態におけるメモリ更新部 1 5 aの内部構成を示す。同図において、 7 6はメモリ拡張判定部、 7 7はメモリ拡張指示信号、 7 8はメモリ縮退判定部、 7 9はメモリ縮退指示信号である。図 1 5にメモリ更新部 1 5 aの動作フロ一（ステップ S 5 1からステップ S 6 3 ) を示す。

シーンチェンジなどによりメモリに蓄積されていた動画像シーケンスの履歴とは著しく異なる画像が現れた場合、シーンチェンジ後の予測においては、既存メモリに含まれる参照画像だけでは予測効率が劣化することがある。そのような場合、シーンチェンジ検出部 8 0によりシーンチェンジを検出し、シーンチェンジ直後のフレームはィントラフレ一ム符号化するなどして、それを新たな参照画像としてメモリに追加蓄積しておくことができれば、それ以降の予測効率を向上できる。

また、追加できるメモリの容量には物理的限界があるため、メモリ上の参照画像のうち、ほとんど予測に使われない部分を逐次縮退できる仕組みも持たせる。メモリ a , b， cの各メモリ領域予測に使われる頻度を予測モード 8に基づいてメモリ更新部 1 5 aで計測しておき、メモリ更新部に頻度の小さいメモリ領域を使用領域から開放する仕組みをもたせる。この実施の形態によれば、例えばソフトウェアで符号化装置を構成するような場合、限られた RAM (ランダムアクセスメモリ）資源を有効に活用することができる。

以上の観点から、この実施の形態におけるメモリ更新部 1 5 aは、動画像シーケンスの時間的変化の状況に応じてメモリ領域を増やしたり、予測にあまり使われない参照画像を含むメモリ領域を縮退したりする機能を備える。

メモリ aについては、実施の形態 1 と同様、メモリ a更新判定部 2 7 において更新の可否が決定され（ステップ S 5 0 ) 、更新する場合は局所復号画像 1 4をメモリ aに書き込む（ステップ S 5 6、ステップ S 5 7 ) 。また、予測モード 8にしたがって各メモリへ局所復号画像 1 4が書き込まれる（ステップ S 5 1からステップ S 5 5 ) 。

これらメモリ内容更新は、メモリ拡張 Z縮退の判定をともなって行われる。メモリ拡張判定部 7 6においては、メモリ aの更新に用いるァクテイビティ 2 6をもとにメモリ a (またはメモリ b， c ) の容量を増やすかを判定する（ステップ S 5 8からステップ S 6 0 ) 。シ一ンチェンジなどにより容量を増やした方がよいと判定されれば、メモリ拡張指示信号 7 7によってメモリの拡張が指示される。また、メモリ縮退判定部 7 8においては、予測モード 8をもとに予測に用いられるメモリ領域のカウントをおこなっておき、所定の回数以下しか予測に用いられないメモリ領域については、メモリ縮退指示信号 7 9によってメモリの縮退が指示される（ステップ S 6 1からステップ S 6 3 ) 。

以上述べたメモリ更新部 1 5 aの構成を持つ符号化装置により、動画像シーケンスの時間的変化に追随して効率のよい予測が行えるとともに、予測に必要なメモリ領域をダイナミックに割り当てる仕組みが供給され、予測効率を向上させるとともにメモリ資源の有効活用が可能になるこの実施の形態ではフレームごとに符号化する装置について述べたが、任意の形状を持つ動画像オブジェクト（V0P) を符号化する装置についても同様の効果が期待できる。

また、この実施の形態ではフレームをマクロブ口ック単位に符号化する装置について述べたが、任意の形状を持つ部分画像などの画像単位または複数個の固定サイズブロックの組み合わせによつて構成される可変形状のプロック領域などの画像単位で画像を符号化する装置についても、同様の効果が期待できる。

また、この実施の形態で述べたメモリ更新部 1 5 a とまったく同一の部材を用いた復号装置を構成することもできる。実施の形態 6 .

上記の各実施の形態においてはマクロプロックで予測に使用するメモリを変更する場合を示したが、フレームもしくは動画像ォブジェクトの単位で、予測に使用するメモリを変更して予測を行う構成をとることもできる。これにより、フレームもしくは動画像オブジェクトの単位で符号化すべきメモリ関連の情報、およびマクロプロック単位で符号化すベきメモリ選択情報（予測モード 8に含まれる）を符号化する必要がなくなり、効率的な符号化を行うことができる。

例えば実施の形態 1における図 1の符号化装置においては、マクロブ口ック単位で予測に使用するメモリを切替えることが可能になっているため、マクロブロック単位でどのメモリを予測に使用したかを示す付加情報を伝送する必要がある。これに対して、本実施の形態ではこの使用メモリの切替の単位をフレームまたは動画像オブジェクトに制限して予測を行うことにより、マクロブロック単位に伝送すべき付加情報を効果的に削減することを可能とする。図 2 3に、図 2 0に示した実施の形態 1の伝送ビットストリーム 2 1 と本実施の形態の伝送ビットストリーム 2 1との違いを示す。図 2 3に示す例は、フレーム単位に予測に使用するメモリを変更する場合を示しており、予測メモリ指示情報 8 0 0がフレーム単位のヘッダ情報に含まれている。図 2 3に示す例は、例えば、動画像シーケンスの映像の性質が定常的に変化せず、マクロブロックレベルの局所的な変化が少ないような場合に有効である。また、以上のようにして符号化されたビットストリ一ムを復号してフレームもしくは動画像オブジェクトを再生する復号装置を構成することもできる。実施の形態 7 .

上記の各実施の形態において、複数のメモリのうち、任意の複数、例えば 2つ、のメモリ（例えばメモリ aと b ) から取り出された 2つの予測画像候補を加算平均した画像を予測画像候補 6の 1つとする構成または予測画像 9として用いる構成にすることができる。また、以上のようにして符号化されたビットストリームを復号してフレームもしくは動画像オブジェクトを再生する復号装置を構成することもできる。実施の形態 8 .

上記の各実施の形態に示した符号化装置において、予測を行う単位となる画像領域の空間的な複雑さ、注視度、などを規定する特徴量パラメータをあらかじめ検出しておき、これらを予測モード決定、メモリ更新の際の判定尺度として利用する構成をとることができる。

例えば、複雑な動きを含み、与えられた符号量内で許容品質を達成する符号化を行うことが困難な動画像を想定する。このような場合は、被予拠画像領域（マクロブロック、任意形状画像領域、任意形状ブロックなど）ごとに重要度を見極め、重要度の低い領域はある程度品質を落して符号量を減少させ、その分を重要度の高い領域に割り当てて全体の品質を向上させる。本発明のように複数のメモリを任意のタイミングで切り替えて予測を行う装置では、被予測画像領域の重要度を表す特徴量パラメータを検出して、これに基づいて動的にメモリ使用方法を決定することにより、より画像の性質に適応した予測を行うことができる。例えば、図 1 6に示すように、領域ごとに特徴量パラメ一タを検出して重要度を決定する領域重要度検出部 9 5を設ける。領域重要度検出部 9 5は領域重要度を予測モード選択部 7 aへ伝えるとともに領域重要度に基づく量子化パラメータをテクスチャ符号化部 1 1 aへ伝える。領域重要度検出部 9 5で重要度が高いと判定された領域は、複数用意された予測モ —ドのうち、もっとも複雑なモードを用いて予測を行う。例えば、各メモリ a， b， cからの参照画像を用いてそれぞれ複雑な動きモデルに基づいた動きパラメ一タと予測画像を求め、これら予測画像の任意の組み合せ（加算平均など）も含めて最も予測効率の高い予測モードを予測モ —ド選択部 7 aにおいて選択する。この際、予測に使用したすべてのメモリに対して参照画像を更新する。さらに、テクスチャ符号化部 1 1 a では、量子化ステップ幅が細かい量子化パラメータにより符号化を行う。一方、重要度の低い領域では、簡易な予測モード（1つのメモリだけを用いた平行移動量検出）によって予測を行い、得られた予測誤差信号の振幅に関わらず少ない符号量になるように、量子化ステップの粗い量子化パラメータを用いて符号化する。以上の制御を行うことによって、重要度の低い領域はある程度品質を落しても、重要度の高い領域は高度な予測によって品質が保たれ、与えられた符号量で全体の品質を向上することができる。実施の形態 9 . 複数のメモリを用いて動画像シーケンスを予測、符号化する装置において、動画像シーケンスの各時刻において使用可能な符号量、あるいは当該時刻でのシーンの変化量（シーンチェンジ検出など）、実施の形態 8で述べたような被予測画像領域の特徴量や重要度などのパラメータを検出しておき、これらの値を、当該時刻における画像の予測に用いることのできる予測方式、あるいは参照メモリ領域の選択の際の判定尺度として利用する構成をとることができる。例えば、図 1 7のように、フレーム単位で重要度を決定するフレーム重要度検出部 9 6を設け、前フレ —ムに対する当該フレ一ムの変化量（シーンチェンジ検出部 8 0からのシンーンチェンジを検出）、新しいオブジェクトの出現 '隠蔽の有無などを検出し、送信バッファ 2 0から通知される当該フレームで使用できる符号量を考慮して最終的なフレーム重要度を決定する。これに基づいて、重要度の高いフレームでは用意されたすベての予測方式と参照メモリ領域を用いて最大限予測効率を向上し、重要度の低いフレームでは予測方式や参照メモリ領域を限定して用い、符号化処理を簡素化して処理量を低減する、という装置構成が考えられる。また、シーンチェンジ時に予測を行わずにすべてィントラフレーム符号化する装置も考えられる。さらに、実施の形態 8で述べた領域重要度検出部 9 5と併用すれば、よりきめ細かい品質制御を行うことができる。以上の制御を行うことによって、重要度の低いフレームはある程度品質を落しても、重要度の高いフレームは高度な予測によって品質が保たれ、与えられた符号量で全体の品質を向上することができる。

本実施の形態の考え方は、処理プロセスや使用可能なメモリ量が流動的なソフトウエアによる符号化の際に、利用できる資源を最大限に活用して率よく符号化処理を行わせる場合にも適用可能である。重要度の低いフレームでは処理量を低減でき、全体の処理速度を向上させることができる。実施の形態 1 0 .

図 1 1に示したような、複数のメモリを用いて複数の動画像オブジェクトから構成される動画像シーケンスを予測、符号化する装置において、シーケンスとして使用できる総符号量、各動画像オブジェクトの各時刻において使用可能な符号量、あるいは当該時刻での動画像オブジェクトの変化量（オブジェクトの出現、隠蔽など）、各動画像ォブジェクトのシーンの中での重要度ノ注視度のレベル、実施の形態 8や 9で述べたような被予測画像領域の特徴量や重要度などのパラメータを検出しておき、これらの値を、当該時刻における動画像オブジェクトの予測に用いることのできる予測方式、あるいは参照メモリ領域の選択の際の判定尺度として利用する構成をとることができる。

例えば、図 1 8のように、各オブジェクト 1〜nに対応する重要度検出部 9 7 a〜 9 7 nを設け、オブジェクトの各時刻における変化量ゃォブジェクトの出現 ·隠蔽の有無などを表すパラメ一タを検出するとともに、すべてのオブジェク卜の符号化データが蓄積される全体バッファ 7 2 Xの占有率、各オブジェクトの仮想バッファ 7 2 a〜 7 2 nの占有率とを考慮して、各時刻においてオブジェクトの重要度を決定する。例えば、オブジェクト内に他のオブジェクトの一部が重なるなどの結果として新しいタイプの領域が出現した場合、これは以降の予測効率に大きく影響するため、ある程度オブジェクトの仮想バッファに余裕のない場合であっても重要度を高くし、符号化画像をきれいにしておく、などの制御が考えられる。重要度検出部 9 7 a〜 9 7 nで検出された重要度はォブジェクト 1〜N符号化部 9 8 a〜 9 8 nに渡され、重要度の高いォブジェクトでは用意されたすベての予測方式と参照メモリ領域を用いて最大限予測効率を向上し、重要度の低いオブジェクトでは予測方式や参照メモリ領域を限定して用い、符号化処理を簡素化して処理量を低減する、という装置構成が考えられる。また、フレームからリアルタイムにォブジェクト分離を行って符号化する装置では、新しいオブジェクトの出現や、既存オブジェクトの隠蔽などによって当該オブジェクトの内容が著しく変化した場合に、予測を行わずにすべてィントラフレーム符号化する装置も考えられる。さらに、オブジェクト 1〜N符号化部 9 8 a〜 9 8 ηにおいて実施の形態 8で述べた領域重要度検出部 9 5も併用すれば、オブジェクト内の各被予測対象領域単位によりきめ細かい品質制御を行うことができる。以上の制御を行うことによって、重要度の低いォブジェクトはある程度品質を落しても、重要度の高いオブジェクトは高度な予測によって品質が保たれ、与えられた符号量で全体の品質を向上することができる。実施の形態 1 1 .

また、図 1 9に示すように、予測に関する符号化情報（参照メモリ番号など）の符号割り当て（符号化）を行う予測情報符号化部 9 1を設ける場合がある。

複数のメモリ a， b , cを用いて動画像シーケンスまたは動画像ォブジェクトを予測、符号化する装置において、予測に用いられるメモリの使用頻度に応じて複数のメモリのランク付けを行い、かっこのランク付けを符号化中にダイナミックに変更することができるようにして、上記予測情報符号化部 9 1における予測に関する符号化情報（参照メモリ番号など）の符号割り当てを、予測に用いる複数のメモリのランクに応じて行ようにする構成をとることができる。

例えば、図 1 9の符号化装置において、メモリ更新部 1 5 bに、メモリ ₃， b， cそれぞれの予測に用いられる頻度をカウントするカウンタ 9 2を設けておき、そのカウント値にしたがってメモリ a， b , cをランク付けし、ランク情報 9 0を出力する。このランク付けは、例えば 1 フレームもしくは動画像ォブジェクトのある時刻における画像（V0P) を単位に行ってもよいし、より細かい単位である被予測画像領域（マクロブロック、任意形状領域、任意形状ブロックなど）毎に行うこともでさる。

これにより、どのメモリがどれだけ頻繁に予測に使われるかを認識できる。頻繁に予測に用いられるメモリは、予測を行うにあたって重要度の高いメモリであり、参照頻度が高いほどランクを高くする。

このようにして、各被予測画像領域単位に予測に用いたメモリの頻度情報を符号化する場合、頻繁に参照するメモリ（=ランクが高いメモリ ) には短い符号長を割り当てるほうが符号化効率が高まる。

また、各被予測画像領域単位に検出した動きパラメ一タも、参照したメモリのランクに対応して符号長を割り当てることができれば、頻繁に発生する動きパラメータ値に対して短い符号長を割り当てることができ、効率的な予測情報の符号化が可能になる。これらの仕組みは、可変長符号化 ·多重化部 1 9の予測情報符号化部 9 1がメモリ更新部 1 5 のカウンタ 9 2から各メモリのランクを受け取るようにしておき、このランク情報 9 0に基づいて符号長を可変にして予測情報の符号化を行う構成で実現できる。実施の形態 1 2 .

図 2 4は、本実施の形態における、圧縮符号化されたディジタル画像を伸長再生する画像復号装置の構成を示したものである。同図において 2 1は符号化されたビットストリーム、 1 1 9は可変長復号部、 1 2は量子化 DCT係数、 1 2 aは量子化直交変換係数、 1 2 bは量子化ステツプ、 1 1 1はテクスチャ復号部、 1 1 1 aは逆量子化部、 1 1 1 bは逆直交変換部、 1 9 0は復号加算部、 1 0 1は復号画像、 1 9 1は表示制御部、 8は予測モード、 1 0 0 1はメモリ b更新情報、 1 0 0 2はメモリ c更新情報、 4は動きベクトル（動きパラメータ）、 8 0 0は予測メモリ指示情報、 1 9 5は被予測画像領域の画面内位置、 1 0 5は動き補償部、 1 1 6はメモリ a、 1 1 7はメモリ 13、 1 1 8はメモリ。、 1 1 5はメモリ更新部、 1 0 6は予測画像である。動き補償部 1 0 5とメモリ更新部 1 1 5により予測画像生成部 1 0 0 aを構成している。また、メモリ a， b， cによりメモリ領域 2 0 0 aを構成している。

この実施の形態では、メモリ aは 1 フレーム分の画像データを蓄積するフレームメモリであり、メモリ bはスタティックスプライトメモリであり、メモリ cはダイナミックスプライトメモリであるものとする。また、この実施の形態の復号装置は、図 2 2に示したビットストリーム 2 1を入力するものとする。また、図 2 2には示していないが、メモリ更新情報 1 0 0 1及びメモリ c更新情報 1 0 0 2がビットストリームの中で送られてくるものとする。メモリ b更新情報 1 0 0 1には、スタティックスプライトメモリを全面更新するための更新指示と全面更新するための画像データが含まれているものとする。同様に、メモリ c更新情報 1 0 0 2には、ダイナミックスプライトメモリを全面更新する更新指示と全面更新するための画像データが含まれているものとする。

以下、上記構成の装置の動作を説明する。まず、可変長復号部 1 1 9 においてビットストリーム 2 1が解析され、個々の符号化データに切り分られる。量子化直交変換係数 1 2 aは逆量子化部 1 1 9 aに送られ、量子化ステップ 1 2 bを用いて逆量子化される。この結果が逆直交変換部 1 1 1 bにおいて逆直交変換されテクスチャが復号され、復号加算部 1 9 0に送られる。直交変換は DCT (離散コサイン変換）など、符号化装置側で用いるものと同じものを用いる。

動き補償部 1 0 5には、可変長復号部 1 1 9でビットストリーム 2 1 から復号された動きベクトル 4、予測メモリ指示情報 8 0 0と、被予測画像領域の画面内位置 1 9 5を示す情報が入力される。動き補償部 1 0 5は、これらの 3種類の情報にしたがって複数のメモリ a， b， cに格納されている参照画像から所望の予測画像を取り出す。被予測画像領域の画面内位置 1 9 5はビットストリームに含まれている情報ではなくマクロブロックの数をカウントすることにより計算できる。予測画像生成の処理については以下の動き補償部 1 0 5の動作説明の箇所で詳述する復号加算部 1 9 0は、予測モード 8の情報に基づいて、イントラフレ —ム符号化されたブロックならば逆直交変換部 1 1 1 bの出力をそのまま復号画像 1 0 1 として出力し、インターフレーム符号化されたブロックなら逆直交変換部 1 1 1 bの出力に予測画像 1 0 6を加算して復号画像 1 0 1 として出力する。復号画像 1 0 1は表示制御部 1 9 1に送られ、表示デバイスに出力されるともに、以降の復号処理において参照画像として用いるためにメモリ a〜cに書き込まれる。メモリへの書き込みは予測モード 8に基づいて、メモリ更新部 1 1 5で制御される。

次に、予測画像生成部 1 0 0 aの動き補償部 1 0 5における予測画像生成処理について説明する。本実施の形態では、画像の予測方式は予測メモリ指示情報 8 0 0に基づいて決定される。本実施の形態による復号装置では、予測画像を生成するにあたって、動きべクトル 4と予測メモリ指^情報 8 0 0とに基づいて、所定の座標変換処理および内挿処理により参照画像から予測画像を生成する。座標変換処理の方法はあらかじめ予測に使用するメモリに対応づけられているものとする。例えば、実施の形態 3で述べた画像変形方式と同じ以下のような変形手法の例を考えることができる。

( 1 ) メモリ aを予測に用いる場合（=予測メモリ指示情報 8 0 0がメモリ aの使用を指示している場合）

動きべクトルによつて被予測対象領域の各画素の座標を平行移動させ、メモリ a中の対応する位置の画像データを予測画像として取り出す。

( 2 ) メモリ bを予測に用いる場合（=予測メモリ指示情報がメモリ b の使用を指示している場合）

動きベクトルに基づいてァフィン変換式を求め、同変換式によって被予測対象領域の各画素の座標を変位させ、メモリ c中の対応する位置の画像データを予測画像として取り出す。

( 3 ) メモリ cを予測に用いる場合（=使用メモリ指示情報がメモリ c の使用を指示している場合）

動きべクトルに基づいて遠近法変換式を求め、同変換式によって被予測対象領域の各画素の座標を変位させ、メモリ b中の対応する位置の画像データを予測画像として取り出す。

動き補償部 1 0 5の内部構成を図 2 5に示す。同図において、 1 6 1 はスィッチ、 1 6 2はメモリ a用対応点決定部、 1 6 3はメモリ b用対応点決定部、 1 6 4はメモリ c用対応点決定部、 1 6 5はメモリ読み出しアドレス生成部、 1 6 6はスィッチ、 1 6 7は内挿処理部である。また、図 2 6はその動作の様子を示すフローチャートである。

以下、図 2 5および図 2 6をもとに、本実施形態における動き補償部

1 0 5の動作を説明する。

1 ) 対応点の決定

まず、予測メモリ指示情報 8 0 0に基づき、スィツチ 1 6 1によって対応するメモリ用の対応点決定部を選択し、選択された対応点決定部に動きベクトル 4を入力する。ここでは、各メモリに対応した予測画像位置の算出を行う。以下、メモリ対応で説明する。

1一 1 ) 予測メモリ指示情報 8 0 0がメモリ aを指示している場合（ステツプ S 1 0 0)

動きベクトルによる平行移動によって、予測画像位置を算出する（ステツプ S 1 0 1) 。具体的には、動きべクトル（a，b)によって、被予測画像領域の位置（x， y)の画素に対する予測画像位置（χ' , y' )を下式によつて決定する。

x' = X + a

y = y +

決定された予測画像位置をメモリ読み出しァドレス生成部 1 6 5に出力する。

1— 2) 予測メモリ指示情報 8 0 0がメモリ bを指示している場合（ステツプ S 1 0 3 )

動きべクトル 4に基づいてァフィン変換式を決定する。具体的には、被予測画像領域を取り囲む矩形領域の頂点の動きべクトルを用いて、下式のァフィンパラメータ（a，b,c, Θ)を決定する。

= a (cos θ ) x + a (sin θ ) y + b

y ' = a (-sin Θ ) x + a (cos Θ ) y + c

これにより、被予測画像領域の位置（x，y)の画素に対する予測画像位置（ x',y')を求め、メモリ読み出しアドレス生成部 1 6 5に出力する（ステップ S 1 04 ) 。

1— 3) 予測メモリ指示情報 8 0 0がメモリ cを指示している場合（ステツプ S 1 0 6 )

動きべクトルに基づいて遠近法変換式を決定する。具体的には、被予測画像領域を取り囲む矩形領域の頂点の動きべクトルを用いて、下式の遠近法パラメータ（a,b，c，d，e, f)を決定する。

X = 、a x + b y + c)Ag x + h y + l)

y' = (d x + _e y + f)/(g x + h y + 1)

これにより、被予測画像領域の位置（x,y)の画素に対する予測画像位置（ x',y')を求め、メモリ読み出しアドレス生成部に出力する（ステップ S 1 0 7) 。

2) 予測画像生成用データの読み出し

選択された対応点決定部から出力される予測画像位置（χ' y' )を基に、メモリ読み出しァドレス生成部 1 6 5がメモリに蓄積されている参照画像中の予測画像生成に必要な画像データの位置を特定するメモリァドレスを生成し、予測画像生成用データを読み出す（ステップ S 1 0 2、 S 1 0 5、 S 1 08 ) 。

3) 予測画像の生成

予測画像を構成する画素のうち、整数画素位置の画素ならば、予測画像生成用データがそのまま予測画像構成画素となる。一方、実数精度の画素位置の画素の場合、内挿処理部 1 6 7によって予測画像生成用デ一タの内挿処理によって内挿画素値が生成される（ステップ S 1 0 9， S 1 1 0， S 1 1 1 ) 。内揷画素値の生成は図 26による。図 26において、（i_P, j_P)は整数画素位置を示し、（i',j')は実数精度の画素位置を示し、 wは重みを示す。

4) メモリ（参照画像）の更新

図 28に、メモリ更新部 1 1 5の制御のフローチャートを示す。メモリ更新部 1 1 5では、予測モード 8 (又は、予測メモリ指示情報 8 0 0 ) に基づいて予測画像取り出しの単位（例えばマクロブロック単位）で各メモリの更新を制御する。メモリ aを用いて予測した場合（ステップ S 1 1 2 ) は、復号画像 1 0 1によって逐次、メモリ aおよび cの内容を更新する（ステップ S 1 1 3 ) 。メモリ bを用いて予測した場合（ステツプ S 1 1 4 ) は、メモリ bはスタティックスプライトメモリなので、メモリ bの参照画像は予測画像取り出しの単位では更新しない。しかし、復号画像 1 0 1によって逐次、メモリ aおよびび cの内容を更新する（ステップ S 1 1 5 ) 。一方、メモリ b更新情報 1 0 0 1による更新指示を受けた場合、メモリ b更新情報 1 0 0 1に含まれる画像データを受け取りメモリ bの内容を全面更新する（ステップ S 1 1 6 ) 。また、メモリ cを用いて予測した場合（ステップ S 1 1 7 ) は、復号画像 1 0 1によって逐次、メモリ aおよび cの内容を更新する（ステップ S 1 1 8 ) 。また、メモリ更新情報により更新指示を受けた場合に、メモリ c 更新情報 1 0 0 2に含まれる画像データを受け取りメモリ cの内容を更新する（ステップ S 1 1 9 ) 。

この実施の形態においては、メモリ a， b， cの 3つのメモリを用いる場合を示したが、 2つのメモリを用いる場合であっても構わない。例えば、メモリ aと b、即ち、フレームメモリとスタティックスプライトメモリを用いる場合でも構わない。或いは、メモリ a と c、即ち、フレームメモリとダイナミックスプライトメモリを用いる場合でも構わない以上のように、本実施の形態の復号装置によれば、画像の動きに対応して様々な種類の動きパラメータを用いて効率よく予測を行った符号化されたビットストリーム 2 1を復号できるとともに、符号化側で定められるタイミングで参照画像の内容を任意に更新する仕組みに対応できるので、より画像の性質に適応した復号処理を行うことが可能である。本寒施の形態では、直交変換符号化以外の別の符号化方式によって予測誤差信号を符号化したビットストリームであっても、動き補償部 · メモリ更新部以外の、予測誤差信号復号処理のための部材を変更することで同様の効果を得ることができる。

また、本実施の形態は、固定サイズブロックを単位として復号処理を行うような通常のテレビ信号のフレームを単位とする復号装置に適用できるだけでなく、被予測対象領域を固定サイズブロックに限定せずに、任意形状画像ォブジェクト（例： ISO/IEC JTC1/SC29/WG11/N1902で開示される Video Object Planeなど）を単位とする復号装置にも適用可能である。産業上の利用可能性

以上説明したように、この発明によれば、参照用画像を蓄積するメモリ領域を複数個持つので、動画像シーケンスの性質に応じてメモリに振り分けて蓄積することができ、また、複数のメモリ領域のうち 1つ以上のメモリ領域の内容を任意のタイミングで更新可能なので、背景画像などの時不変な画像内容は長時間内容の更新を行わず、局所的に変化する画像領域は頻繁にメモリ内容を更新するなどの制御が可能となり、動画像シーケンスの履歴を生かした効率的な予測が行える。

また、複数のメモリ領域それぞれに、各メモリ領域が有効となる変形パラメ一タ値域を設定し、被予測画像領域の変形パラメータの値に応じてメモリ領域を切り替えて予測に用いるるので、動画像シーケンスの局所的大域的な動きの大きさに応じて効率的な予測が行える。同時に、被予測画像領域ごとに符号化すべき動きパラメータは参照メモリ領域の有効動きパラメータ値域の範囲内で効率的に符号化することができる。また、複数のメモリ領域それぞれに、各メモリで有効となる変形手法を設定、被予測画像領域の変形パラメータの種類に応じてメモリを切り替えて予測できるので、動画像シーケンスの局所的/ "大域的な動きの複雑さに応じて効率的な予測が行える。同時に、被予測画像領域の動きの性質にあわせて変形手法を適宜選択できることで、動きパラメータを効率的に符号化することができる。

Claims

請求の範囲

1 , 予測に際して参照する画像デ一タを蓄積するとともに、それぞれ個別の変形手法が対応づけられている複数のメモリと、

被予測画像領域の動きを表現するパラメ一タを入力し、該被予測画像領域の予測に用いたメモリに蓄積された画像データを用いて、上記パラメータと、該メモリに対応づけられた変形手法に基づき予測画像を生成する予測画像生成部とを備え、

少なくとも符号化装置および復号装置のいずれかに用いられることを特徴とする動画像を予測する動画像予測方式。

2 . 上記符号化装置は、上記予測画像の生成に用いた該メモリを示す予測メモリ指示情報信号を生成し、復号側でも該メモリに蓄積された画像データを用いて、該メモリに対応づけられた変更手法に基づき上記予測画像が生成できるように、上記予測メモリ指示情報信号と上記パラメ一タを復号側へ送信することを特徴とする請求項 1記載の動画像予測方式

3 . 上記復号装置は、上記パラメータと上記予測画像の生成に用いたメモリを示す予測メモリ指示情報を符号化側から受け取り、

上記予測画像生成部は、上記パラメ一タと該メモリに対応づけられた変形手法に基づき、該メモリに蓄積された画像データを用いて上記予測画像を生成することを特徴とする請求項 1記載の動画像予測方式。

4 . 予測 Jこ際して参照する画像データを蓄積するとともに、それぞれ個別のパラメータ有効値域が対応づけられている複数のメモリと、被予測画像領域の動きを表現するパラメ一タを入力し、該パラメータの値を含む上記パラメータ有効値域が対応づけられたメモリを選択し、選択されたメモリに蓄積された画像データを用いて予測画像を生成する予測画像生成部とを備え、

少なくとも符号化および復号のいずれかに用いられることを特徴とする動画像を予測する動画像予測方式。

5 . 予測に際して参照する画像データを蓄積する複数のメモリと、被予測画像領域の動きを表現するパラメータを入力し、該パラメータに基づいて上記複数のメモリに蓄積された画像データを用いて予測画像を生成する動き補償部と、上記複数のメモリの少なくとも 1つのメモリに蓄積される画像データを任意のタイミングで更新するメモリ更新部とを有する予測画像生成部とを備え、

6 . 上記動画像予測方式は、第 1と第 2の動画像オブジェクトを有する動画像シーケンス上の動画像を予測し、

上記複数のメモリは、上記第 1と第 2の動画像オブジェクトに対応する第 1 と第 2の個別の複数のメモリを備え、上記予測画像生成部は、上記第 1と第 2の動画像ォブジェクトに対応する第 1と第 2の個別の生成部を備えており、

上記第 1の生成部は、上記第 1のオブジェクトを予測する場合に、少なくとも上記第 1 と第 2の複数のメモリのいずれかに蓄積されている画像デ一タ_を用いて上記予測画像を生成するとともに、第 2の複数のメモリを第 1のォブジェクトの予測に使用しているか否かを示す情報を予測画像に付加するために生成することを特徴とする請求項 1、 4、 5いずれかに記載の動画像予測方式。

7 . 上記予測画像生成部は、動画像の各時刻における変化に応じて、上記複数のメモリの数とサイズのいずれかを増減することにより予測画像を生成することを特徴とする請求項 1、 4、 5いずれかに記載の動画像予測方式。

8 . 上記予測画像生成部は、動画像の各時刻における変化に応じて、予測に用いるメモリを限定することにより予測画像を生成することを特徴とする請求項 1、 4、 5いずれかに記載の動画像予測方式。

9 . 上記予測画像生成部は、上記複数のメモリに蓄積された上記画像デ —タを用いてそれぞれに生成された複数の予測画像を演算することにより予測画像を生成することを特徴とする請求項 1記載の動画像予測方式

1 0 . 上記動画像予測方式は、被予測画像領域の重要度を示す特徴量パラメ一タを検出する重要度検出部を備え、

上記予測画像生成部は、上記特徴量パラメータに基づいて、少なくとも複数の予測方式と、複数のメモリと、複数のメモリ更新方法のいずれかについて、複数の選択肢の中から少なくとも 1つを選択することにより予測画像を生成することを特徴とする請求項 1記載の動画像予測方式

. 上記動画像予測方式は、少なくとも、被予測画像領域が利用可能な符号量と、各時刻における該画像領域の変化量と、該画像領域の重要度のいずれかを表すパラメータを検出する重要度検出部を備え、上記予測画像生成部は、上記パラメ一タに基づいて、少なくとも複数の予測方式と、複数のメモリと、複数のメモリ更新方法のいづれかについて、複数の選択肢の少なくとも 1つを選択することにより予測画像を生成することを特徴とする請求項 1又は 5記載の動画像予測方式。

1 2 . 上記動画像予測方式は、動画像を動画像オブジェクト単位で予測し、

上記動画像予測方式は、少なくとも、被予測動画像ォブジェク卜が利用可能な符号量と、各時刻における該動画像オブジェクトの変化量と、該動画像オブジェクトの重要度のいずれかを表すパラメータを検出する重要度検出部を備え、

上記予測画像生成部は、上記パラメータに基づいて、少なくとも複数の予測方式と、複数のメモリと、複数のメモリ更新方法のいづれかについて、複数の選択肢の少なくとも 1つを選択することにより予測画像を生成することを特徴とする請求項 1又は 5記載の動画像予測方式。

1 3 . 上記動画像予測方式は、動画像の符号化において、予測に係る情報を符号化する予測情報符号化部を備え、

上記予測画像生成部は、予測に使用されるメモリの使用頻度数をカウントし、カウントした使用頻度数に基づいて上記複数のメモリのランクを決定し、

上記予測情報符号化部は、予測に用いられるメモリのランクに応じて、予測に _係わる情報に符号長を割り当てることにより予測に係わる情報を符号化することを特徴とする請求項 1又は 5記載の動画像予測方式。

1 4 . 上記複数のメモリは、少なくとも、画像データをフレーム単位で蓄積するフレームメモリと、スプライト画像を蓄積するスプライトメモリとを有することを特徴とする請求項 1記載の動画像予測方式。

1 5 . 上記スプライトメモリは、少なくとも、逐次更新を伴うダイナミックスプライトメモリと逐次更新を伴わないスタティックスプライトメモリのいずれかを有することを特徴とする請求項第 1 4記載の動画像予測方式。

1 6 . 上記複数のメモリは、少なくとも、平行移動、ァフィン変換、遠近法変換の内のいずれかの変形手法が変更可能に対応づけられることを特徴とする請求項第 1 4記載の動画像予測方式。

1 7 . 予測に際して参照する画像データを複数のメモリに蓄積する工程と、

上記複数のメモリにそれぞれ個別の変形手法を対応づける工程と、被予測画像領域の動きを表現するパラメータを入力する工程と、上記被予測画像領域の予測に用いたメモリに蓄積された画像データを用いて、上記パラメータと該メモリに対応づけられた変形手法に基づき予測画像を生成する工程を備え、

少なくとも符号化および復号のいずれかに用いられることを特徴とする動画像を予測する方法。

1 8 . _上記動画像を予測する方法は、さらに、上記予測画像生成に用いた該メモリを示す予測メモリ指示情報信号を生成する工程と、上記予測メモリ情報信号と上記パラメ一タを復号側へ送信する工程とを備えたことを特徴とする請求項 1 7記載の動画像を予測する方法。

1 9 . 上記動画像を予測する方法は、さらに、予測画像の生成に用いたメモリを示す予測メモリ指示情報信号と被予測画像領域の動きを表現するパラメータを符号化側から受け取る工程を備え、復号に用いられることを特徴とする請求項 1 7記載の動画像を予測する方法。

2 0 . 予測に際して参照する画像データを複数のメモリに蓄積する工程と、

上記複数のメモリにそれぞれ個別のパラメータ有効値域を対応づける工程と、

被予測画像領域の動きを表現するパラメータを入力する工程と、上記パラメ一タの値を含む上記パラメ一タ有効値域が対応づけられたメモリを選択する工程と、

選択されたメモリに格納された画像データを用いて予測画像を生成する工程を備え、少なくとも符号化および復号のいずれかに用いられることを特徴とする動画像を予測する方法。 2 1 . 予測に際して参照する画像データを複数のメモリに蓄積する工程と、

被予測画像領域の動きを表現するパラメ一タを入力する工程と、上記パラメータに基づいて、上記複数のメモリに蓄積された画像データを用いて予測画像を生成する工程と、

上記複敎のメモリの少なくとも 1つのメモリに格納される画像データを任意のタイミングで更新する工程を備え、少なくとも符号化および復号のいずれかに用いられることを特徴とする動画像を予測する方法