JP3318707B2

JP3318707B2 - 画像信号符号化装置および画像信号符号化方法、画像信号復号装置および画像信号復号方法、画像信号伝送方法、並びに画像信号記録媒体

Info

Publication number: JP3318707B2
Application number: JP30165397A
Authority: JP
Inventors: 輝彦鈴木; 陽一矢ヶ崎
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 1996-11-08
Filing date: 1997-11-04
Publication date: 2002-08-26
Anticipated expiration: 2017-11-04
Also published as: JPH1188892A

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、動画像信号を、例
えば光磁気ディスクや磁気テープなどの記録媒体に記録
し、これを再生してディスプレイに表示したり、テレビ
会議システム、テレビ電話システム、放送用機器、マル
チメディアデータベース検索システムなど、動画像信号
を伝送路を介して送信側から受信側に伝送し、受信側に
おいてこれを受信し、表示する場合、あるいは動画像信
号を編集し、記録する場合などに用いて好適な画像信号
符号化装置および画像信号符号化方法、画像信号復号装
置および画像信号復号方法、画像信号伝送方法、並びに
画像信号記録媒体に関する。

【０００２】

【従来の技術】例えば、テレビ会議システム、テレビ電
話システムなどのように、動画像信号を遠隔地に伝送す
るシステムにおいては、伝送路を効率良く利用するた
め、映像信号のライン相関やフレーム間相関を利用し
て、画像信号を圧縮符号化するようになされている。

【０００３】動画像の高能率符号化方式の代表的なもの
としてMPEG(Moving Picture Experts Group)方式があ
る。ここでは、動き補償予測符号化とDCT（Discrete Co
sine Transform）符号化を組み合わせたハイブリッド方
式が採用されている。

【０００４】MPEGでは様々なアプリケーションや機能に
対応するために、いくつかのプロファイル（機能の分
類）およびレベル（画像サイズなどの量）が定義されて
いる。最も基本となるのが、メインプロファイルのメイ
ンレベル（MP@ML)である。

【０００５】図４４を参照して、MPEG方式の MP@ML の
エンコーダ（画像信号符号化装置）の構成例について説
明する。入力画像信号はまずフレームメモリ群１に入力
され、所定の順番で記憶される。符号化されるべき画像
データは、マクロブロック単位で動きベクトル検出回路
(ME)２に入力される。動きベクトル検出回路２は、予め
設定されている所定のシーケンスに従って、各フレーム
の画像データを、Ｉピクチャ、Ｐピクチャ、またはＢピ
クチャとして処理する。シーケンシャルに入力される各
フレームの画像を、Ｉ，Ｐ，Ｂのいずれのピクチャとし
て処理するかは、予め定められている（例えば、Ｉ，
Ｂ，Ｐ，Ｂ，Ｐ，・・・Ｂ，Ｐの順番で処理される）。
なお、基本的には、Ｉピクチャに対しては、フレーム内
符号化、Ｐピクチャ、Ｂピクチャに対しては、フレーム
間予測符号化が行われる。また、Ｐピクチャ、Ｂピクチ
ャは、以下に示す予測モードによりマクロブロック単位
で、適応的に符号化が変更される。

【０００６】動きベクトル検出回路２は予め定められた
所定の参照フレームを参照し、動き補償（フレーム間予
測）を行い、その動きベクトルを検出する。動き補償
（フレーム間予測）には、前方予測、後方予測、両方向
予測の３種類の予測モードがある。Ｐピクチャの予測モ
ードは前方予測のみであり、Ｂピクチャの予測モードに
は前方予測、後方予測、両方向予測の３種類がある。動
きベクトル検出回路２は予測誤差を最小にする予測モー
ドを選択し、そのときの動きベクトルを発生する。

【０００７】このとき、予測誤差は、例えば、符号化す
るマクロブロックの分散と比較され、マクロブロックの
分散の方が小さい場合、そのマクロブロックでは予測は
行わず、フレーム内符号化が行われる。この場合、予測
モードは画像内予測（イントラ）となる。動きベクトル
検出回路２で検出された動きベクトルおよび上記予測モ
ードは、可変長符号化回路６および動き補償回路(MC)１
２に入力される。

【０００８】動き補償回路１２では所定の動きベクトル
に基づいて予測画像を生成し、演算回路３と演算回路１
０に入力する。演算回路３では符号化するマクロブロッ
クの値と予測画像の値との差分値を演算し、差分画像信
号として DCT 回路４に出力する。イントラマクロブロ
ックの場合、演算回路３は符号化するマクロブロック
を、 DCT 回路４の入力信号としてそのまま DCT 回路４
に出力する。

【０００９】DCT 回路４は、入力信号を DCT（離散コサ
イン変換）処理し、 DCT 係数に変換する。このDCT係数
は、量子化回路(Q)５に入力され、送信バッファ７のデ
ータ蓄積量（バッファ蓄積量）に対応した量子化ステッ
プで量子化された後、可変長符号化回路６に入力され
る。

【００１０】可変長符号化回路６は、量子化回路５より
供給される量子化ステップ（スケール）に対応して、量
子化回路５より供給される量子化データを、例えばハフ
マン符号などの可変長符号に変換し、送信バッファ７に
出力する。

【００１１】可変長符号化回路６にはまた、量子化回路
５より量子化ステップ（スケール）、動きベクトル検出
回路２より予測モード（画像内予測、前方予測、後方予
測、または両方向予測のいずれが設定されたかを示すモ
ード）および動きベクトルが入力されており、これらも
可変長符号化される。

【００１２】送信バッファ７は、入力され、符号化され
た画像データを一時蓄積し、蓄積量に対応する量子化制
御信号を量子化回路５に出力する。

【００１３】送信バッファ７は、そのデータ残量が許容
上限値まで増量すると、量子化制御信号によって量子化
回路５の量子化スケールを大きくすることにより、量子
化データのデータ量を低下させる。また、これとは逆
に、データ残量が許容下限値まで減少すると、送信バッ
ファ７は、量子化制御信号によって量子化回路５の量子
化スケールを小さくすることにより、量子化データのデ
ータ量を増大させる。このようにして、送信バッファ７
のオーバフローまたはアンダフローが防止される。

【００１４】そして、送信バッファ７に蓄積されたデー
タは、所定のタイミングで読み出され、伝送路もしくは
記録媒体に出力される。

【００１５】一方、量子化回路５より出力された量子化
データは、逆量子化回路(IQ)８に入力され、量子化回路
５より供給される量子化ステップに対応して逆量子化さ
れる。逆量子化回路８の出力データ（逆量子化後のDCT
係数）は、IDCT（逆DCT）回路９に入力され、逆DCT処理
された後、演算回路１０によって予測モードに対応し
て、マクロブロック毎に予測画像の値が加算され、予測
画像のための画像信号としてフレームメモリ群(FM)１１
に記憶される。イントラマクロブロックの場合、IDCT回
路９の出力であるマクロブロックは、演算回路１０を介
して、そのままフレームメモリ群(FM)１１に記憶され
る。

【００１６】次に、図４５を用いて、MPEG の MP@ML の
デコーダ（画像信号復号装置）の構成例を説明する。伝
送路を介して伝送されてきた、符号化されている画像デ
ータは、図示せぬ受信回路で受信されたり、再生装置で
再生され、受信バッファ２１に一時記憶された後、可変
長復号(IVLC)回路２２に供給される。可変長復号回路２
２は、受信バッファ２１より供給された符号化された画
像データを可変長復号し、動きベクトルと予測モードを
動き補償回路２７に、また、量子化ステップを逆量子化
回路２３に、それぞれ出力するとともに、可変長復号さ
れたデータを逆量子化回路２３に出力する。

【００１７】逆量子化回路２３は、可変長復号回路２２
より供給された量子化データを、同じく可変長復号回路
２２より供給された量子化ステップに従って逆量子化
し、IDCT回路２４に供給する。逆量子化回路２３より出
力されたデータ（DCT係数）は、IDCT回路２４で、逆DCT
処理され、演算回路２５に供給される。

【００１８】IDCT回路２４より供給された画像信号が、
Ｉピクチャのデータである場合、そのデータは演算回路
２５より出力され、演算回路２５に後に入力される画像
信号（ＰまたはＢピクチャのデータ）の予測画像データ
生成のために、フレームメモリ群２６に供給されて記憶
される。また、このデータは、そのまま、再生画像とし
て外部に出力される。

【００１９】入力ビットストリームがＰまたはＢピクチ
ャの場合、動き補償回路２７は可変長復号回路２２より
供給される、動きベクトルおよび予測モードに従って、
フレームメモリ群２６に記憶されている画像信号から予
測画像を生成し、演算回路２５に出力する。演算回路２
５では IDCT 回路２４より入力される画像信号と動き補
償回路２７より供給される予測画像信号を加算し、出力
画像とする。Ｐピクチャの場合、演算回路２５の出力信
号はまた、フレームメモリ群２６に入力され記憶され、
次に復号する画像信号の参照画像とされる。なお、イン
トラマクロブロックの場合、演算回路２５を介して、そ
のまま出力される。

【００２０】MPEG では MP@ML の他に、様々なプロファ
イルおよびレベルが定義され、また各種ツールが用意さ
れている。スケーラビリティもMPEGのこのようなツール
の１つである。

【００２１】MPEGでは、異なる画像サイズやフレームレ
ートに対応するスケーラビリティを実現するスケーラブ
ル符号化方式が導入されている。例えば空間スケーラビ
リティの場合、下位レイヤのビットストリームのみを復
号するとき、画像サイズの小さい画像信号を復号し、下
位レイヤおよび上位レイヤのビットストリームを復号す
るとき、画像サイズの大きい画像信号を復号する。

【００２２】図４６を用いて空間スケーラビリティのエ
ンコーダを説明する。空間スケーラビリティの場合、下
位レイヤは画像サイズの小さい画像信号に対応し、また
上位レイヤは画像サイズの大きい画像信号に対応する。

【００２３】下位レイヤの画像信号はまずフレームメモ
リ群１に入力され、以下、MP@ML の場合と同様に符号化
される。ただし、演算回路１０の出力信号はフレームメ
モリ群１１に供給され、下位レイヤの予測参照画像とし
て用いられるだけでなく、画像拡大回路(Up Sampling)
３１により上位レイヤの画像サイズと同一の画像サイズ
に拡大された後、上位レイヤの予測参照画像にも用いら
れる。

【００２４】上位レイヤの画像信号はまず、フレームメ
モリ群５１に入力される。動きベクトル検出回路５２は
MP@ML の場合と同様に、動きベクトルおよび予測モー
ドを決定する。

【００２５】動き補償回路６２は動きベクトル検出回路
５２によって決定された動きベクトルおよび予測モード
に従って、予測画像信号を生成し、重み付加回路(W)３
４に出力する。重み付加回路３４では予測画像信号に対
して重みＷを乗算し、演算回路３３に出力する。

【００２６】演算回路１０の出力は上述したように画像
拡大回路３１に入力されている。画像拡大回路３１では
演算回路１０によって生成された画像信号を拡大して、
上位レイヤの画像サイズと同一の大きさにして重み付加
回路(1-W)３２に供給する。重み付加回路３２では、画
像拡大回路３１の出力画像信号に重み (1-W) を乗算
し、演算回路３３に供給する。

【００２７】演算回路３３は重み付加回路３２および３
４の出力画像信号を加算し、予測画像として演算回路５
３に出力する。演算回路３３の出力画像信号はまた、演
算回路６０に入力され、逆 DCT 回路５９の出力画像信
号と加算された後、フレームメモリ群６１に入力され、
その後、符号化される画像信号の予測参照フレームとし
て用いられる。

【００２８】演算回路５３は符号化する画像信号と演算
回路３３の出力との差分を計算し、差分画像信号として
出力する。ただし、フレーム内符号化（イントラ）マク
ロブロックの場合、演算回路５３は符号化する画像信号
を、そのまま DCT 回路５４に出力する。

【００２９】DCT 回路５４は演算回路５３の出力画像信
号を DCT（離散コサイン変換）処理してDCT係数を生成
し、量子化回路５５に供給する。量子化回路５５では M
P＠MLの場合と同様に、送信バッファ５７のデータ蓄積
量などから決定された量子化スケールにしたがって DCT
係数を量子化し、量子化データとして可変長符号化回
路５６に供給する。可変長符号化回路５６は量子化デー
タ（量子化された DCT係数）を可変長符号化した後、送
信バッファ５７を介して上位レイヤのビットストリーム
として供給する。

【００３０】量子化回路５５からの量子化データはま
た、量子化回路５５で用いた量子化スケールで逆量子化
回路５８において逆量子化され、さらに、その出力デー
タが逆DCT 回路５９で逆 DCT 処理された後、演算回路
６０に入力される。演算回路６０では演算回路３３と逆
DCT 回路５９の出力画像信号を加算し、フレームメモ
リ群６１に入力する。

【００３１】可変長符号化回路５６にはまた、動きベク
トル検出回路５２で検出された動きベクトルおよび予測
モード、量子化回路５５で用いた量子化スケール、重み
付加回路３２および３４で用いた重み W が入力され、
それぞれが符号化され、出力される。そして、上位レイ
ヤビットストリーム及び下位レイヤビットストリーム
は、図示しない多重化回路で多重化された後、伝送路も
しくは記録媒体に出力される。

【００３２】次に図４７を用いて空間スケーラビリティ
のデコーダの一例を説明する。下位レイヤビットストリ
ームは受信バッファ２１に入力された後、MP＠ML と同
様に復号される。ただし、演算回路２５の出力画像信号
は、下位レイヤの復号画像として、外部に出力されると
ともに、フレームメモリ群２６に蓄えられて、それ以
後、復号する画像信号の予測参照画像として用いられる
だけでなく、画像信号拡大回路８１により上位レイヤの
画像信号と同一の画像サイズに拡大された後、上位レイ
ヤの予測参照画像としても用いられる。

【００３３】上位レイヤのビットストリームは受信バッ
ファ７１を介し可変長復号回路７２に供給され、可変長
符号が復号される。すなわち、DCT 係数とともに、量子
化スケール、動きベクトル、予測モードおよび重み係数
が復号される。可変長復号回路７２により可変長復号さ
れたデータは、復号された量子化スケールを用いて逆量
子化回路７３において逆量子化された後、さらに、逆 D
CT 回路７４により逆DCT 処理され、出力画像信号とし
て演算回路７５に供給される。

【００３４】動き補償回路７７は復号された動きベクト
ルおよび予測モードにしたがって、予測画像信号を生成
し、重み付加回路８４に入力する。重み付加回路８４で
は復号された重み W を動き補償回路７７の出力に乗算
し、演算回路８３に供給する。

【００３５】演算回路２５の出力画像信号は下位レイヤ
再生画像として出力され、フレームメモリ群２６に出力
されると同時に、画像信号拡大回路８１により上位レイ
ヤの画像サイズと同一の画像サイズに拡大された後、重
み付加回路８２に供給される。重み付加回路８２では画
像信号拡大回路８１の出力画像信号に、復号された重み
W を用いて(1-W) を乗算し、演算回路８３に供給す
る。

【００３６】演算回路８３は、重み付加回路８２および
８４の出力画像信号を加算し、演算回路７５に供給す
る。演算回路７５は、逆 DCT 回路７４の出力画像信号
と演算回路８３の出力画像信号を加算して、上位レイヤ
の再生画像として出力するとともに、フレームメモリ群
７６に供給して、その後、復号する画像信号の予測参照
画像とさせる。

【００３７】以上の説明は、輝度信号の処理に適用され
るが、色差信号の処理も同様に行われる。但し、この場
合、動きベクトルは、輝度信号用のものを、垂直方向お
よび水平方向に１／２にしたものが用いられる。

【００３８】以上、MPEG 方式について説明したが、こ
の他にも様々な動画像の高能率符号化方式が標準化され
ている。例えば、ITU-T では、主に通信用の符号化方式
として、H.261 や H.263 という方式を規定している。
この H.261 や H.263 も、基本的には、 MPEG 方式と同
様に、動き補償予測符号化と DCT 変換符号化を組み合
わせたものであり、ヘッダ情報などの詳細は異なるが、
符号化装置や復号装置は同様の構成となる。

【００３９】

【発明が解決しようとする課題】ところで、複数の画像
を合成して１つの画像を構成する画像合成システムに
は、例えばクロマキーという方法が用いられる。これは
所定の物体を青などの特定の一様な色の背景の前で撮影
し、青以外の領域をそこから抽出し、別の画像に合成す
る方法である。このとき、抽出した領域を示す信号を k
ey（キー）信号と呼ぶ。

【００４０】図４８に合成画像を符号化する方法を示
す。画像F１は背景であり、また画像F２は前景である。
前景F２は特定の色の背景の前で撮影し、その色以外の
領域を抽出することによって生成した画像である。その
際、抽出した領域を示す信号がkey 信号 K１である。
合成画像 F３はこれら F１，F２，K１を用いて合成し
たものである。この画像を符号化する場合、通常、合成
画像F３をそのまま、MPEGなどの符号化方式で符号化す
ることになる。このとき key 信号などの情報は失われ
るので、前景F２はそのままとし、背景F１のみを変更す
る、といった画像の再編集、再合成は困難となる。

【００４１】これに対して、図４９に示すように、画像
F１，F２および key 信号 K１をそれぞれ別々に符号化
し、それぞれのビットストリームを多重化することによ
り、合成画像F３のビットストリームを構成することも
可能である。

【００４２】図４９に示すようにして構成したビットス
トリームを復号して合成画像F３を得る方法を図５０に
示す。ビットストリームは逆多重化により、F１，F２お
よびK１のビットストリームに分解され、それぞれ復号
され、復号画像F１’，F２’および復号 key 信号 K
１’を得る。このとき、F１’とF２’を key 信号 K
１’に従って合成すれば、復号合成画像 F３’を得るこ
とができる。この場合、ビットストリームのままで、前
景F２をそのままにして、背景F１のみを変更するといっ
た、再編集および再合成が可能となる。

【００４３】画像F１，F２といった合成画像を構成する
各画像シーケンスを VO (VideoObject) と呼ぶ。また V
O のある時刻における画像フレームを VOP（VideoObjec
t Plane）と呼ぶ。VOPは輝度および色差信号と key 信
号から構成される。

【００４４】画像フレームとはある時刻における一枚の
画像を意味し、画像シーケンスは異なる時刻の画像フレ
ームの集合である。即ち、各 VO は異なる時刻の VOP
の集合である。各 VO は時間によって大きさや位置が異
なる。即ち、同じ VO に属する VOP でも大きさおよび
位置が異なる。

【００４５】この場合のエンコーダおよびデコーダの構
成を図５１と図５２に示す。図５１はエンコーダの一例
である。入力画像信号はまず VO 構成回路１０１に入力
される。VO 構成回路１０１は入力画像を背景及び物体
ごとに分割して出力する。各VO は画像信号と key 信号
から構成される。VO 構成回路１０１から出力される画
像信号は、各 VO ごとに VOP 構成回路１０２−０乃至
１０２−ｎに出力される。例えば、VO ０の画像信号お
よび key 信号は VOP 構成回路１０２−０に入力され、
VO １の画像信号および key 信号は VOP 構成回路１０
２−１に入力され、以下同様に VO n の画像信号および
key 信号は VOP 構成回路１０２−ｎに入力される。但
し、背景に対する画像信号には key 信号は存在しな
い。

【００４６】例えば図４９のようにクロマキーで生成さ
れた画像信号の場合、VO構成回路１０１より出力される
VO 0 乃至VO n の画像信号とkey信号は、そのまま各 V
O の画像信号およびその key 信号となる。key 信号が
ないか、または、失われた画像に対しては、画像領域分
割により、所定の領域を抽出し、key 信号を生成し、VO
を構成する。

【００４７】VOP 構成回路１０２−０乃至１０２−ｎは
各画像フレームから画像中の物体を含む最小の長方形の
部分を抽出する。ただし、このとき長方形の水平および
垂直方向の画素数は１６の倍数とする。VOP 構成回路１
０２−０乃至１０２−ｎは上記長方形に含まれる画像信
号（輝度および色差信号）および key 信号を抽出し、
出力する。また VOP の大きさを示すフラグおよびその
VOP の絶対座標における位置を示すフラグを出力する。

【００４８】VOP 構成回路１０２−O乃至１０２−ｎの
出力は、それぞれ VOP 符号化回路１０３−０乃至１０
３−ｎに入力され、符号化される。VOP 符号化回路１０
３−０乃至１０３−ｎの出力は多重化回路１０４に入力
され、１つのビットストリームに構成される。

【００４９】図５２のデコーダにおいて、多重化された
ビットストリームは逆多重化回路１１１により逆多重化
され、各 VOのビットストリームに分解される。各VO の
ビットストリームは、それぞれ、 VOP復号回路１１２−
０乃至１１２−ｎに入力され、復号される。VOP 復号回
路１１２−０乃至１１２−ｎは、各 VOP の画像信号、k
ey 信号、VOP の大きさを示すフラグ、VOP の絶対座標
における位置を示すフラグを復号し、画像再構成回路１
１３に入力する。画像再構成回路１１３は、各VOP の画
像信号、key 信号、大きさを示すフラグ、絶対座標にお
ける位置を示すフラグを用い、画像を合成し、再生画像
として出力する。

【００５０】次に図５３と図５４を用いて VOP 符号化
回路１０３−０および復号回路１１２−０の構成例を説
明する。図５３において、各 VOP を構成する画像信号
および key 信号は、画像信号符号化回路１２１および
key 信号符号化回路１２２にそれぞれ入力される。画像
信号符号化回路１２１は例えばMPEG方式やH.263 といっ
た方式で画像信号を符号化する。key 信号符号化回路１
２２は入力されたkey信号を、例えば DPCMなどにより符
号化する。また画像信号符号化回路１２１によって検出
された動きベクトルを用いてkey信号の動き補償を行
い、その差分信号を符号化する方法もある。key 信号符
号化によって発生したビット量は画像信号符号化回路１
２１に入力され、所定のビットレートになるように制御
される。

【００５１】符号化された画像信号（動きベクトルおよ
びテクスチャ情報）のビットストリームおよび key 信
号のビットストリームは、多重化回路１２３に入力さ
れ、１つのビットストリームに構成され、送信バッファ
１２４を介して出力される。

【００５２】図５４のVOP復号回路においては、ビット
ストリームはまず、逆多重化回路１３１に入力され、画
像信号（動きベクトルおよびテクスチャ情報）のビット
ストリームと key 信号のビットストリームに分解さ
れ、画像信号復号回路１３２とkey 信号復号回路１３３
においてそれぞれ復号される。この時 key 信号を動き
補償して符号化した場合、画像信号復号回路１３２によ
って復号された動きベクトルは key 信号復号回路１３
３に入力され、復号に用いられる。

【００５３】以上、画像をVOPごとに符号化する方法を
述べたが、画像を VOP 毎に符号化する際に動き補償の
問題がある。VO は時間によって大きさや位置が異な
る。即ち、同じ VO に属する VOP でも大きさおよび位
置が異なる。従って、動き補償など異なる時刻の VOP
を参照する場合、その位置および大きさを示すフラグを
符号化し、伝送することが必要となる。これを図５５を
用いて説明する。

【００５４】画像F１１は、所定の VideoObject VO0 の
時刻 t における VOP である。また画像F１２は VideoO
bject VO1 の同時刻 t における VOP である。F１１，F
１２ともに大きさが異なる。F１１，F１２の絶対座標に
おける位置を示す座標をそれぞれOST０，OST１とする。

【００５５】符号化するVOPおよび、参照するVOPを絶対
座標上に配置し、絶対座標における参照位置を動きベク
トルとして伝送することにより、動き補償を実現するこ
とが可能となる。

【００５６】ここで、上述の場合における動き補償の方
法について説明する。ただし、以下は画像の形状が任意
形状（arbitrary shape）の場合のみの説明である。VOP
の形状が長方形の場合、その動き補償の方法は、H.263
などの既存の方式と同様となる。

【００５７】図５６は現在の符号化するVOPを示す。VOP
はその画像オブジェクトを含む長方形をしており、縦横
の大きさはそれぞれ１６の倍数である。ただし、この
時、この VOP は、オブジェクトを含む最小の長方形と
する。このVOPを符号化する場合、１６×１６画素のマ
クロブロック単位で符号化および動き補償が行われる。
ただし、８×８画素でマクロブロックが構成され、動き
補償が行なわれる場合もある。

【００５８】図５７は参照するVOPを示す。このVOPはま
ず、絶対座標における位置を示すフラグおよび大きさを
示すフラグに従って、フレームメモリの所定の位置に記
録される。任意形状のVOPの場合、動きベクトル検出を
行う際に、画像が存在する領域と存在しない領域が存在
するという問題がある。

【００５９】まず参照VOPにおける処理について説明す
る。参照VOPが任意形状のVOPであった場合は以下に示す
手順で、画像が存在しない領域の画素値が、画像が存在
する領域の画素値に基づいて計算される。

【００６０】（１）最初に、画像オブジェクトの外
側、即ち、画像が存在しない領域の画素値を０とする。（２） VOPを水平方向にスキャンしていく。このとき、
各VOPの水平方向のラインは、値が全て０の部分と、値
が全て０以外の部分に分類される。画素値が全て０以外
の部分については何も操作を行わない。それ以外の部分
は、その両端が０以外の画素値である場合と、その一方
がVOPの終端であり、かつ、他方は０以外の画素値であ
る場合とに分類できる。その両端が０以外の画素値の部
分の場合、そのライン部分の画素値は全て、その両端の
画素値の平均値に置き換えられる。それ以外の場合、そ
のライン部分の画素値は全て、一端に存在する０以外の
画素値に置き換えられる。（３）（２）と同様の操作を垂直方向のラインについ
ても行う。（４）（２）と（３）の両方の操作において値を置き
換える画素についてはその平均値を用いる。（５）（４）までの操作終了時に０である画素は、水
平方向および垂直方向にスキャンし、最も近くに存在す
る非ゼロの画素値と置き換える。最も近い画素値が２つ
存在する場合、その平均値に置き換えられる。

【００６１】動きベクトルを検出する場合は、まず参照
VOPにおける画像の存在しない領域の画素値を上記の手
法により、非ゼロの値に設定する。次に、符号化するマ
クロブロックについて、参照画像との予測誤差を計算
し、予測誤差を最小とするベクトルを動きベクトルとす
る。この場合、符号化するVOPの形状が任意形状である
ときと、符号化するマクロブロックに画像が存在しない
領域があるときがある。マクロブロック中の画像が存在
しない画素については予測誤差の計算に含めない。即
ち、画像が存在する画素のみを用いて予測誤差を計算す
る。

【００６２】VOP内の各画素について画像が存在するか
どうかは、そのkey信号を参照することにより認識可能
である。即ち、key信号の値が０である画素は画像が存
在しない画素であり、それ以外の場合は画像が存在する
画素である。

【００６３】しかしながら、上記手法により動きベクト
ルを検出する場合、演算量が多いため、さらに簡易的に
演算を行う方法が望まれている。

【００６４】本発明はこのような状況に鑑みてなされた
ものであり、本発明の目的は、符号化効率を改善し、演
算コストを削減することができるようにするものであ
る。

【００６５】

【課題を解決するための手段】請求項１に記載の画像信
号符号化装置は、複数の画像信号の少なくとも１つが、
動きを有する画像物体を表す画像信号であり、複数の画
像信号の中の他の画像信号と合成するための信号を含ん
でおり、動きを有する画像物体を表す画像信号をスケー
ラブルに表現した上位レイヤ画像信号と下位レイヤ画像
信号を提供する提供手段と、上位レイヤ画像信号を符号
化して、上位レイヤ符号化信号を発生する上位レイヤ符
号化手段と、下位レイヤ画像信号を符号化して、下位レ
イヤ符号化信号を発生する下位レイヤ符号化手段とを備
え、上位レイヤ符号化手段は、上位レイヤ画像信号の画
像物体の外側の画素値を下位レイヤ画像信号の所定の画
素値と置換して、符号化すべき上位レイヤ画像信号の動
きベクトルを算出するための参照画像信号を生成する生
成手段と、参照画像信号を用いて、符号化すべき上位レ
イヤ画像信号の動きベクトルを検出する検出手段と、検
出された動きベクトルを用いて動き補償を行うことによ
り生成された符号化すべき上位レイヤ画像信号のための
予測画像信号を用いて符号化すべき上位レイヤ画像信号
を符号化する符号化手段とを備えることを特徴とする。

【００６６】請求項６に記載の画像信号符号化方法は、
複数の画像信号の少なくとも１つが、動きを有する画像
物体を表す画像信号であり、複数の画像信号の中の他の
画像信号と合成するための信号を含んでおり、動きを有
する画像物体を表す画像信号をスケーラブルに表現した
上位レイヤ画像信号と下位レイヤ画像信号を提供する提
供ステップと、上位レイヤ画像信号を符号化して、上位
レイヤ符号化信号を発生する上位レイヤ符号化ステップ
と、下位レイヤ画像信号を符号化して、下位レイヤ符号
化信号を発生する下位レイヤ符号化ステップとを備え、
上位レイヤ符号化ステップは、上位レイヤ画像信号の画
像物体の外側の画素値を下位レイヤ画像信号の所定の画
素値と置換して、符号化すべき上位レイヤ画像信号の動
きベクトルを算出するための参照画像信号を生成するス
テップと、参照画像信号を用いて、符号化すべき上位レ
イヤ画像信号の動きベクトルを検出するステップと、検
出された動きベクトルを用いて動き補償を行うことによ
り生成された符号化すべき上位レイヤ画像信号のための
予測画像信号を用いて符号化すべき上位レイヤ画像信号
を符号化するステップとを備えることを特徴とする。

【００６７】請求項７に記載の画像信号伝送方法は、複
数の画像信号の少なくとも１つが、動きを有する画像物
体を表す画像信号であり、複数の画像信号の中の他の画
像信号と合成するための信号を含んでおり、動きを有す
る画像物体を表す画像信号をスケーラブルに表現した上
位レイヤ画像信号と下位レイヤ画像信号を提供する提供
ステップと、上位レイヤ画像信号を符号化して、上位レ
イヤ符号化信号を発生する上位レイヤ符号化ステップ
と、下位レイヤ画像信号を符号化して、下位レイヤ符号
化信号を発生する下位レイヤ符号化ステップとを備え、
上位レイヤ符号化ステップは、上位レイヤ画像信号の画
像物体の外側の画素値を下位レイヤ画像信号の所定の画
素値と置換して、符号化すべき上位レイヤ画像信号の動
きベクトルを算出するための参照画像信号を生成するス
テップと、参照画像信号を用いて、符号化すべき上位レ
イヤ画像信号の動きベクトルを検出するステップと、検
出された動きベクトルを用いて動き補償を行うことによ
り生成された符号化すべき上位レイヤ画像信号のための
予測画像信号を用いて符号化すべき上位レイヤ画像信号
を符号化するステップと、置換する画像を示すフラグを
生成するステップとを備えることを特徴とする。

【００６８】請求項８に記載の画像信号復号装置は、複
数の画像信号の少なくとも１つが、動きを有する画像物
体を表す画像信号であり、複数の画像信号の中の他の画
像信号と合成するための信号を含んでおり、符号化信号
は、上位レイヤ符号化信号、下位レイヤ符号化信号、動
きベクトル及び置換する画像を示すフラグからなり、符
号化信号から、上位レイヤ符号化信号、下位レイヤ画像
信号、動きベクトル及びフラグを分離する分離手段と、
下位レイヤ符号化信号を復号し、復号された下位レイヤ
画像信号を生成する下位レイヤ復号手段と、上位レイヤ
符号化信号を復号し、復号された上位レイヤ画像信号を
生成する上位レイヤ復号手段とを備え、上位レイヤ復号
手段は、フラグに従って、すでに復号された上位レイヤ
画像信号の画像物体の外側の画素値を下位レイヤ画像信
号の所定の画素値と置換して、置換画像信号を生成する
置換画像生成手段と、動きベクトルを用いて置換画像信
号を動き補償することにより生成された予測画像信号を
用いて復号された上位レイヤ画像信号を生成する生成手
段とを備えることを特徴とする。

【００６９】請求項１１に記載の画像信号復号方法は、
複数の画像信号の少なくとも１つが、動きを有する画像
物体を表す画像信号であり、複数の画像信号の中の他の
画像信号と合成するための信号を含んでおり、符号化信
号は、上位レイヤ符号化信号、下位レイヤ符号化信号、
動きベクトル及び置換する画像を示すフラグからなり、
符号化信号から上位レイヤ符号化信号、下位レイヤ画像
信号、動きベクトル及びフラグを分離する分離ステップ
と、下位レイヤ符号化信号を復号し、復号された下位レ
イヤ画像信号を生成する下位レイヤ復号ステップと、上
位レイヤ符号化信号を復号し、復号された上位レイヤ画
像信号を生成する上位レイヤ復号ステップとを備え、上
位レイヤ復号ステップは、フラグに従って、すでに復号
された上位レイヤ画像信号の画像物体の外側の画素値を
下位レイヤ画像信号の所定の画素値と置換して、置換画
像信号を生成する置換画像生成ステップと、動きベクト
ルを用いて置換画像信号を動き補償することにより生成
された予測画像信号を用いて復号された上位レイヤ画像
信号を生成する生成ステップとを備えることを特徴とす
る。

【００７０】請求項１２に記載の画像信号記録媒体は、
記録信号が、複数の画像信号をそれぞれ符号化すること
により生成された符号化信号を有し、複数の画像信号の
少なくとも１つは、動きを有する画像物体を表す画像信
号であり、複数の画像信号の中の他の画像信号と合成す
るための信号を含んでおり、符号化信号は、上位レイヤ
符号化信号、下位レイヤ符号化信号、動きベクトル及び
置換する画像を示すフラグからなり、符号化信号は、動
きを有する画像物体を表す画像信号をスケーラブルに表
現した上位レイヤ画像信号と下位レイヤ画像信号を提供
する提供ステップと、上位レイヤ画像信号を符号化し
て、上位レイヤ符号化信号を発生する上位レイヤ符号化
ステップと、下位レイヤ画像信号を符号化して、下位レ
イヤ符号化信号を発生する下位レイヤ符号化ステップと
により生成され、上位レイヤ符号化ステップは、上位レ
イヤ画像信号の画像物体の外側の画素値を下位レイヤ画
像信号の所定の画素値と置換して、符号化すべき上位レ
イヤ画像信号の動きベクトルを算出するための参照画像
信号を生成するステップと、参照画像信号を用いて、符
号化すべき上位レイヤ画像信号の動きベクトルを検出す
るステップと、検出された動きベクトルを用いて動き補
償を行うことにより生成された符号化すべき上位レイヤ
画像信号のための予測画像信号を用いて符号化すべき上
位レイヤ画像信号を符号化するステップと、置換する画
像を示すフラグを生成するステップとを備えることを特
徴とする。

【００７１】

【００７２】

【００７３】

【００７４】

【００７５】

【００７６】

【００７７】請求項１に記載の画像信号符号化装置、請
求項６に記載の画像信号符号化方法、および請求項７に
記載の画像信号伝送方法においては、上位レイヤ画像信
号の画像物体の外側の画素値を下位レイヤ画像信号の所
定の画素値と置換して、符号化すべき上位レイヤ画像信
号の動きベクトルを算出するための参照画像信号が生成
される。この参照画像信号を用いて、符号化すべき上位
レイヤ画像信号の動きベクトルが検出され、検出された
動きベクトルを用いて動き補償を行うことにより生成さ
れた符号化すべき上位レイヤ画像信号のための予測画像
信号を用いて符号化すべき上位レイヤ画像信号が符号化
される。

【００７８】請求項８に記載の画像信号復号装置および
請求項１１に記載の画像信号復号方法においては、フラ
グに従って、すでに復号された上位レイヤ画像信号の画
像物体の外側の画素値が下位レイヤ画像信号の所定の画
素値と置換され、置換画像信号が生成される。また、動
きベクトルを用いて置換画像信号を動き補償することに
より生成された予測画像信号を用いて復号された上位レ
イヤ画像信号が生成される。

【００７９】請求項１２に記載の画像信号記録媒体にお
いては、複数の画像信号を符号化することにより生成さ
れた符号化信号を有する記録信号が記録されている。上
位レイヤ画像信号の画像物体の外側の画素値を下位レイ
ヤ画像信号の所定の画素値と置換して、参照画像信号が
生成される。この参照画像信号を用いて、動きベクトル
が検出され、その検出された動きベクトルを用いて動き
補償を行うことにより生成された予測画像信号を用いて
上位レイヤ画像信号が符号化される。また、置換する画
像を示すフラグが生成される。

【００８０】

【００８１】

【００８２】

【００８３】

【００８４】

【発明の実施の形態】本発明において、VO ごとに符号
化する符号化装置でスケーラブル符号化を実現する場
合、各 VO の画像信号ごとに、例えばMPEG方式などのよ
うなスケーラブル符号化を行う。VOごとに符号化するス
ケーラブル符号化においては上位レイヤの画像が下位レ
イヤの画像の一部であってもよい。例えば、下位レイヤ
の画像の中で特に重要な意味を持つ領域だけを画質改善
すれば低ビットレートにおいては十分であり、また冗長
なビットの削減にもつながる。この時は、上位レイヤお
よび下位レイヤのビットストリームの両方を復号するこ
とにより、下位レイヤの画像の一部が画質改善される
（空間解像度または時間解像度が改善される）ことにな
る。

【００８５】上述したように、上位レイヤが下位レイヤ
の画像の一部の領域である場合、上位レイヤの画像の外
側の部分の情報を下位レイヤの画像が持っていることに
なる。動き補償においても、この情報を活用することに
より、符号化効率の向上を実現することが可能である。

【００８６】すなわち、本発明においては、（１）動きベクトル検出および動き補償において上位
レイヤを参照する場合、画素値が０の画素については、
下位レイヤの対応する位置の画素に置き換える処理が行
われる。（２）上記、画素値０の置換処理において所定の下位
レイヤの画像信号と置き換えるかどうかを示すフラグが
符号化され、伝送される。（３）補間フィルタなどにより任意形状のVOPの画像の
大きさを拡大する場合、画素値の置換処理を行った後
に、拡大処理が行われる。

【００８７】これにより、画像を VO ごとに符号化する
スケーラブル符号化方法において、時間によって大きさ
や形状が変化する場合においても効率のよい動き補償を
実現し、また演算コストを削減することが可能となる。
さらにこれにより効率のよいスケーラビリティを実現す
ることが可能となる。

【００８８】第１の実施の形態における画像信号符号化
装置を説明する。本実施の形態では図５１と図５２にお
ける VOP 符号化回路１０３−０乃至１０３−ｎと、 VO
P 復号回路１１２−０乃至１１２−ｎを、スケーラブル
符号化回路とスケーラブル復号回路とすることで、ビッ
トストリームスケーラビリティを実現する。

【００８９】図１に第１の実施の形態における VOP 符
号化回路１０３（図５１の VOP 符号化回路１０３−０
乃至１０３−ｎに対応する）の一例を示す。各 VOPの画
像信号および key 信号、VOP の大きさを示すフラグFS
Z、VOP の絶対座標における位置を示すフラグFPOSは画
像信号階層化回路２０１に入力される。画像信号階層化
回路２０１は入力画像信号を複数の階層に分離する。例
えば、空間スケーラビリティの場合、画像信号階層化回
路２０１は、入力画像信号および key 信号を縮小し、
下位レイヤの画像信号および key 信号を生成する。図
１には２階層（１つの下位レイヤと１つの上位レイヤ）
の場合を示してあるが、同様に、３つ以上の階層に分離
することも可能である。簡単のため、ここでは２つの階
層に分離する場合について説明する。

【００９０】画像信号階層化回路２０１は、例えばテン
ポラルスケーラビリティ（時間軸方向のスケーラビリテ
ィ）の場合、時刻に応じて画像信号の出力を下位レイヤ
および上位レイヤに切り替える。例えば、図２の場合、
VOP０、VOP２、VOP４、VOP６を下位レイヤに、また、VO
P１、VOP３、VOP５を上位レイヤに出力する。テンポラ
ルスケーラビリティの場合、画像信号の拡大縮小（解像
度の変換）は行わない。

【００９１】画像信号階層化回路２０１は、例えば SNR
(Signal to Noise Ratio) スケーラビリティの場合、入
力された画像信号とkey 信号を、そのまま、各レイヤに
供給する。即ち、下位レイヤと上位レイヤに同一の画像
信号および key 信号を出力する。

【００９２】画像信号階層化回路２０１は、例えば空間
スケーラビリティの場合、入力画像信号およびkey信号
を解像度変換し、下位レイヤに画像信号およびkey信号
を供給する。解像度変換処理とは、例えば、間引きフィ
ルタによる縮小フィルタの処理などである。あるいはま
た、画像信号階層化回路２０１に、入力画像信号および
key信号を解像度変換させ、上位レイヤに対して画像信
号およびkey信号を出力させるようにしてもよい。この
場合、解像度変換処理は拡大フィルタ処理となる。さら
にまた、画像信号階層化回路２０１には、独立に生成さ
れた２つの画像信号およびkey信号（それぞれの解像度
は異なっていても、または同一であってもよい）を、そ
れぞれ、上位レイヤおよび下位レイヤとして出力させる
ようにしてもよい。この場合、どの画像を上位レイヤお
よび下位レイヤに出力するかは、あらかじめ決められて
いる。

【００９３】次に、VOごとに符号化するスケーラブル符
号化方法について説明する。VOは時刻ごとに、その大き
さや位置が変化してもよいし、同一でもよい。従って、
以下のようなスケーラビリティが考えられる。（１）上位レイヤは下位レイヤの全ての領域を含む。（２）上位レイヤは下位レイヤの一部の領域に対応す
る。

【００９４】（１）の場合、上位レイヤ及び下位レイ
ヤを復号することにより、下位レイヤの全ての領域が画
質改善される。ただし、画質改善とは時間スケーラビリ
ティの場合、時間解像度が改善されることであり、空間
スケーラビリティの場合、空間解像度が改善されること
である。

【００９５】（２）の場合、上位レイヤおよび下位レ
イヤを復号することにより、対応する下位レイヤの一部
のみが画質改善される。

【００９６】（１）と（２）のいずれの場合も、VOPの
形状は長方形であっても、任意形状であってもよい。図
３は、（１）における空間スケーラビリティでVOPの形
状が長方形である場合の一例を示している。また図４
は、（２）における空間スケーラビリティで、VOPの形
状が長方形である場合の一例を示している。

【００９７】図５と図６は、（１）における空間スケー
ラビリティで、VOPの形状が任意形状である場合の一例
を示している。図７は、（２）における空間スケーラビ
リティでVOPの形状が任意形状である場合の一例を示し
ている。

【００９８】上記いずれのスケーラビリティを用いるか
は、予め決められている。画像信号階層化回路２０１は
予め決められた方法で上位レイヤと下位レイヤを設定す
る。

【００９９】画像信号階層化回路２０１はまた、各レイ
ヤの大きさ、および絶対座標における位置を示すフラグ
を出力する。例えば図１の場合、下位レイヤのVOPの大
きさを示すフラグ FSZ＿B 、および絶対座標における下
位レイヤのVOPの位置を示すフラグ FPOS＿B が、下位レ
イヤ符号化回路２０４に出力される。また上位レイヤの
VOPの大きさを示すフラグ FSZ＿E 、および絶対座標に
おける上位レイヤのVOPの位置を示すフラグ FPOS＿E
が、遅延回路２０２を介して上位レイヤ符号化回路２０
３に出力される。

【０１００】さらに、画像信号階層化回路２０１は、下
位レイヤのVOPに対する上位レイヤのVOPの大きさの倍率
を示すフラグ FR を遅延回路２０２を介して解像度変換
回路２０５および上位レイヤ符号化回路２０３に出力す
る。

【０１０１】次に、下位レイヤ符号化回路２０４を図８
を用いて説明する。なお、図８において、図４４と対応
する部分には、同一の符号を付してある。

【０１０２】入力画像信号はまずフレームメモリ群１に
入力され、所定の順番で記憶される。フレームメモリ群
１には、その VOP の画像信号、その VOP の大きさを示
すフラグ FSZ＿B 、および絶対座標における位置を示す
フラグ FPOS＿B が記録される。フレームメモリ群１に
は複数のVOPの画像信号、その VOP の大きさを示すフラ
グ FSZ＿B 、および絶対座標における位置を示すフラグ
FPOS＿B が記録可能である。符号化されるべき画像信
号は、マクロブロック単位で、動きベクトル検出回路２
２２、および演算回路３に供給される。

【０１０３】動きベクトル検出回路２２２は、予め設定
されている所定のシーケンスに従って、各フレームの画
像データを、Ｉピクチャ、Ｐピクチャ、またはＢピクチ
ャとして処理する。シーケンシャルに入力される各フレ
ームの画像を、Ｉ，Ｐ，Ｂのいずれのピクチャとして処
理するかは、予め定められている（例えば、Ｉ，Ｂ，
Ｐ，Ｂ，Ｐ，・・・Ｂ，Ｐとして処理することが予め定
められている）。なお、基本的には、Ｉピクチャに対し
ては、フレーム内符号化、Ｐピクチャ、Ｂピクチャに対
しては、フレーム間予測符号化が行われる。また、Ｐピ
クチャ、Ｂピクチャは、以下に示す予測モードによりマ
クロブロック単位で適応的に符号化が変更される。

【０１０４】動きベクトル検出回路２２２は予め定めら
れた所定の参照フレームを参照し、動き補償（フレーム
間予測）を行い、その動きベクトルを検出する。動き補
償（フレーム間予測）には前方予測、後方予測、両方向
予測の３種類の予測モードがある。Ｐピクチャの予測モ
ードは前方予測のみであり、Ｂピクチャの予測モードは
前方予測、後方予測、両方向予測の３種類である。動き
ベクトル検出回路２２２は予測誤差を最小にする予測モ
ードを選択し、そのときの動きベクトルを発生する。

【０１０５】予測誤差は、例えば、符号化するマクロブ
ロックの分散と比較され、マクロブロックの分散の方が
小さい場合、そのマクロブロックでは予測は行わず、フ
レーム内符号化が行われる。この場合、予測モードは画
像内予測（イントラ）となる。動きベクトルおよび上記
予測モードは、可変長符号化回路６、フレームメモリ群
１１、および動き補償回路１２に入力される。

【０１０６】ここで、動きベクトルについて説明する。
VOP はそれぞれ、大きさや位置が異なるため、動きベク
トルを検出する際、基準となる座標系を設定する必要が
ある。ここでは、ある１つの絶対座標を仮定し、絶対座
標における動きベクトルを計算するものとする。したが
って、この時、現 VOP と予測参照 VOP を、その大きさ
と位置を示すフラグに従って所定の位置に配置し、動き
ベクトルを算出する。動きベクトル検出方法のより詳細
な説明は後述する。

【０１０７】動き補償回路１２では動きベクトルに基づ
いて予測画像を生成し、演算回路３に入力する。演算回
路３では符号化するマクロブロックの値と予測画像の値
との差分値を演算し、差分画像信号として DCT 回路４
に供給する。イントラマクロブロックの場合、演算回路
３は符号化するマクロブロック毎に画像信号をそのまま
DCT 回路４に出力する。

【０１０８】DCT 回路４は入力画像信号を DCT（離散コ
サイン変換）処理し、 DCT 係数に変換する。このDCT係
数は、量子化回路５に入力され、送信バッファ７のデー
タ蓄積量（バッファ蓄積量）に対応した量子化ステップ
で量子化された後、量子化データとして可変長符号化回
路６に供給される。

【０１０９】可変長符号化回路６は、量子化回路５より
供給される量子化ステップ（スケール）に対応して、量
子化回路５より供給される量子化データを、例えばハフ
マン符号などの可変長符号に変換し、送信バッファ７に
供給する。

【０１１０】可変長符号化回路６にはまた、量子化回路
５より量子化ステップ（スケール）、動きベクトル検出
回路２２２より予測モード（画像内予測、前方予測、後
方予測、または両方向予測のいずれが設定されたかを示
すモード）、および動きベクトル、が入力されており、
これらも可変長符号化される。

【０１１１】さらに、可変長符号化回路６には、下位レ
イヤの VOP の大きさを示すフラグFSZ＿B および絶対座
標における位置を示すフラグ FPOS＿B が入力されてお
り、これらも符号化される。また、可変長符号化回路６
は、key 信号符号化回路２２３から入力されている key
信号のビットストリームを、量子化回路５から入力さ
れるデータのビットストリームの所定の位置に挿入し、
送信バッファ７に供給する。

【０１１２】符号化する下位レイヤの VOP の key 信号
は key 信号符号化回路２２３に入力される。key 信号
は所定の方法、例えば DPCM に従って符号化され、key
信号ビットストリームとして可変長符号化回路６および
key 信号復号回路２２４に供給される。key 信号復号
回路２２４では key 信号ビットストリームを復号し、
動きベクトル検出回路２２２、動き補償回路１２、DCT
回路４、逆DCT回路９、および画素置換回路２２１に供
給する。また、復号された key 信号は、図１の上位レ
イヤ符号化回路２０３に供給される。

【０１１３】送信バッファ７は、入力されたデータを一
時蓄積し、蓄積量に対応するデータを量子化回路５に出
力する。送信バッファ７は、そのデータ残量が許容上限
値まで増量すると、量子化制御信号によって量子化回路
５の量子化スケールを大きくすることにより、量子化デ
ータのデータ量を低下させる。また、これとは逆に、デ
ータ残量が許容下限値まで減少すると、送信バッファ７
は、量子化制御信号によって量子化回路５の量子化スケ
ールを小さくすることにより、量子化データのデータ量
を増大させる。このようにして、送信バッファ７のオー
バフローまたはアンダフローが防止される。そして、送
信バッファ７に蓄積されたデータは、所定のタイミング
で読み出され、図１の多重化回路２０６に出力される。

【０１１４】一方、量子化回路５より出力された量子化
データは、逆量子化回路８に入力され、量子化回路５よ
り供給される量子化ステップに対応して逆量子化され
る。逆量子化回路８の出力データ（逆量子化後のDCT係
数）は、IDCT（逆DCT）回路９に入力され、逆DCT処理さ
れた後、演算回路１０によって予測モードに対応して、
マクロブロック毎に予測画像の値が加算され、予測画像
のための画像信号として画素置換回路２２１に供給され
る。そして、画素置換回路２２１において画素置換処理
が行われた画像は、フレームメモリ群１１に記憶され
る。イントラマクロブロックの場合、IDCT回路９の出力
であるマクロブロックは、演算回路１０及び画素置換回
路２２１を介して、そのままフレームメモリ群１１に供
給され、記憶される。

【０１１５】図９に画素置換回路２２１における処理の
流れを示す。対象となる画素の位置が画像オブジェクト
の内側である場合、即ち対応する位置のkey信号が非ゼ
ロであるとステップＳ１で判定された場合、ステップＳ
２に進み、画素置換回路２２１は、その画素については
何も処理を行わず、そのまま出力する。対応するkey信
号の値が０である場合、ステップＳ３で、その画素値は
０とされる。

【０１１６】なお、VOPの形状が長方形である場合、key
信号は常に０以外（binary keyの場合は１、gray scale
keyの場合は２５５）であるため、VOP中の全ての画素
が何も処理されずそのまま出力される。

【０１１７】ステップＳ３の次には、ステップＳ４乃至
Ｓ８の処理と、ステップＳ９乃至Ｓ１３の処理が、並行
して行われる。ステップＳ４では、対象となるVOPを水
平方向にスキャンする。この時、水平方向のラインは次
の３通りの線部分に分類できる。ステップＳ５で、いず
れの線部分であるのかを判定する。（１）両端がVOPの終端と一致する線部分（２）片端画素値が非ゼロの線部分（３）両端画素値が非ゼロの線部分

【０１１８】両端がVOPの終端と一致する線部分（例え
ば、図１０（Ａ）の空白部）である場合は、ステップＳ
６で、値Ｃに０を設定する。両端が非ゼロである線部分
（例えば、図１０（Ａ）の黒色の部分が左右に２個存在
するような場合であって、その間の部分）の場合は、ス
テップＳ７で、値Ｃにその両端の画素値の平均値を設定
する。また片端のみが非ゼロの画素の線部分（例えば、
図１０（Ａ）の水平な直線で表されている部分）である
場合は、ステップＳ８で、値Ｃにその非ゼロの値を設定
する。

【０１１９】以上のようにして、例えば図１０（Ａ）に
示すような画像の処理が行われる。

【０１２０】また、ステップＳ９で、対象となるVOPを
垂直方向にスキャンする。この時、垂直方向のラインは
次の３通りの線部分に分類できる。ステップＳ１０でい
ずれの線部分であるのかの判定が行われる。（１）両端がVOPの終端と一致する線部分（２）片端画素値が非ゼロの線部分（３）両端画素値が非ゼロの線部分

【０１２１】両端がVOPの終端と一致する線部分である
場合は、ステップＳ１１で、値Ｂに０を設定する。両端
が非ゼロである線部分の場合は、ステップＳ１２で、値
Ｂにその両端の画素値の平均値を設定する。また片端の
みが非ゼロの画素の線部分の場合は、ステップＳ１３
で、値Ｂにその非ゼロの値を設定する。

【０１２２】以上のようにして、例えば図１０（Ｂ）に
示すような画像の処理が行われる。

【０１２３】次に、ステップＳ１４では、値Ｂおよび値
Ｃがともに０である場合、画素値は０のままとする。値
Ｂのみが非ゼロの値の場合、画素値は値Ｂの値に置換さ
れる。値Ｃのみが非ゼロの値の場合、画素値は値Ｃの値
に置換される。値Ｂおよび値Ｃが共に非ゼロの値を持つ
とき、画素値はその平均値に置換される。

【０１２４】以上のようにして、例えば図１０（Ｃ）に
示すような画像の処理が行われる。

【０１２５】以上の処理を終了した時点で、画素の値が
ゼロであるか否かがステップＳ１５で判定され、値が非
ゼロの画素はそのまま出力される。値がゼロの画素は、
ステップＳ１６で、水平方向および垂直方向で最も近い
位置にある非ゼロの画素の値に置換される。ただし、こ
の時、最も近い非ゼロの画素が２つある場合、その平均
値と置換する。

【０１２６】以上のようにして、例えば図１０（Ｄ）に
示すような画像の処理が行われる。

【０１２７】画素置換回路２２１は上記の通りの置換処
理を行った画像信号を、フレームメモリ群１１および図
１における解像度変換回路２０５に出力する。

【０１２８】フレームメモリ群１１では画素置換回路２
２１の出力画像信号、その VOP の大きさを示すフラグ
FSZ＿B 、および絶対座標における位置を示すフラグ FP
OS＿B を記録する。フレームメモリ群１１はまた、図１
における上位レイヤ符号化回路２０３に、所定の VOP
の局所復号画像を解像度変換回路２０５を介して出力す
る。

【０１２９】次に動きベクトル検出回路２２２について
説明する。動きベクトル検出回路２２２は符号化するマ
クロブロックと参照する画像に対して予測誤差を最小と
する動きベクトルを検出する。このとき参照画像信号は
予測モード（Ｉ，Ｐ，Ｂピクチャ）に応じて、フレーム
メモリ群１１から供給される。

【０１３０】動きベクトル検出回路２２２にはまた、ke
y信号復号回路２２４によって復号された、当該マクロ
ブロックの局所復号key信号が供給されている。動きベ
クトル検出回路２２２は予測誤差を計算する際に、対応
するkey信号を参照する。

【０１３１】符号化するVOPの形状が任意形状である場
合、符号化するマクロブロックに画像が存在しない領域
が含まれることがある。この場合、符号化するマクロブ
ロックにおいて画像が存在しない画素については予測誤
差の計算には含めない。即ち、画像が存在する画素の予
測誤差のみを用いて当該マクロブロックの予測誤差を計
算し、それを最小とする動きベクトルを検出する。

【０１３２】符号化するマクロブロック内の各画素に画
像が存在するかどうかは、符号化するマクロブロック
の、局所復号されたkey信号を参照することによって認
識することが可能である。即ち、key信号が０である画
素は画像が存在しない、画像オブジェクトの外側の領域
に属する画素であることがわかる。key信号が０以外で
ある場合、画像が存在する領域、即ち画像オブジェクト
の内側の画素であることになる。

【０１３３】動きベクトル検出回路２２２はkey信号復
号回路２２４より供給されるkey信号を参照し、key信号
が０である場合、その画素の参照画像との差分は予測誤
差に加算しない。なお、VOPの形状が長方形である場
合、key信号は常に０以外（binary keyの場合は１、gra
y scale keyの場合は２５５）であるため、マクロブロ
ックのすべての画素を用いて予測誤差を計算する。

【０１３４】図１に戻って、解像度変換回路２０５は下
位レイヤのVOPに対する上位レイヤのVOPの大きさの倍率
を示すフラグ FR に従い、下位レイヤの画像信号の解像
度を、上位レイヤ画像信号に対応する解像度に、フィル
タにより変換し、上位レイヤ符号化回路２０３に供給す
る。倍率が１の場合、即ち上位レイヤと下位レイヤの大
きさが等しい場合、解像度変換回路２０５は入力された
データを、何もせずにそのまま出力する。

【０１３５】画像信号階層化回路２０１によって生成さ
れた上位レイヤ画像信号、 key 信号、上位レイヤのVOP
の大きさを示すフラグ FSZ＿E 、および絶対座標におけ
る上位レイヤのVOPの位置を示すフラグ FPOS＿E は、遅
延回路２０２を介して上位レイヤ符号化回路２０３に供
給される。遅延回路２０２は、所定の下位レイヤのVOP
を符号化するのに要する時間だけ入力を遅延して出力す
る。

【０１３６】次に上位レイヤ符号化回路２０３を図１１
を用いて説明する。なお、この図においても、図４４と
対応する部分には同一の符号を付してある。

【０１３７】入力画像信号はまずフレームメモリ群１に
入力され、所定の順番で記憶される。フレームメモリ群
１では、その VOP の画像信号、その VOP の大きさを示
すフラグ FSZ＿E 、および絶対座標における位置を示す
フラグ FPOS＿E が記録される。

【０１３８】符号化されるべき画像信号は、マクロブロ
ック単位で動きベクトル検出回路２３２に入力される。
動きベクトル検出回路２３２は、予め設定されている所
定のシーケンスに従って、各フレームの画像データを、
Ｉピクチャ、Ｐピクチャ、またはＢピクチャとして処理
する。シーケンシャルに入力される各フレームの画像
を、Ｉ，Ｐ，Ｂのいずれのピクチャとして処理するか
は、予め定められている（例えば、Ｉ，Ｂ，Ｐ，Ｂ，
Ｐ，・・・Ｂ，Ｐとして処理される）。なお、基本的に
は、Ｉピクチャに対しては、フレーム内符号化、Ｐピク
チャ、Ｂピクチャに対しては、フレーム間予測符号化が
行われる。但し、Ｐピクチャ、Ｂピクチャは、後述する
予測モードによりマクロブロック単位で適応的に符号化
方法が変更される。

【０１３９】空間スケーラビリティの場合、例えば図１
２に示すように符号化される。上位レイヤの最初の VOP
はＰピクチャとして符号化される。この時の参照画像
は下位レイヤの同時刻の VOP となる。第２番目以後の
上位レイヤの VOP はＢピクチャとして符号化される。
この場合、直前の上位レイヤの VOP と同時刻の下位レ
イヤの画像を参照画像として用い、符号化する。上位レ
イヤのＢピクチャは下位レイヤのＰピクチャと同様に、
他の VOP を符号化する場合の予測参照画像となる。

【０１４０】SNR スケーラビリティは空間スケーラビリ
ティの特殊な場合で、上位レイヤと下位レイヤの大きさ
が等しい場合である。

【０１４１】テンポラルスケーラビリティの場合は、例
えば図２のようにして符号化される。VOP１はＢピクチ
ャとして符号化され、下位レイヤの VOP０および VOP２
を予測参照画像とする。また VOP３は、Ｂピクチャとし
て符号化され、直前の下位レイヤの画像 VOP２と直後の
下位レイヤの画像 VOP４を参照画像とする。また VOP５
は、Ｂピクチャとして符号化され、直前の下位レイヤの
画像 VOP４と直後の下位レイヤの画像 VOP６を予測参照
画像とする。

【０１４２】ここで、上位レイヤのＰおよびＢピクチャ
の予測について説明する。上位レイヤの予測は同じレイ
ヤの画像だけでなく、他の階層（スケーラブルレイヤ）
の画像も参照画像として用いることができる。例えば２
階層のスケーラビリティの場合、上位レイヤは下位レイ
ヤの画像も予測参照画像として用いることができる。各
スケーラブルレイヤについて、同じレイヤ以外のどのレ
イヤを参照画像として用いるかを示すフラグ ref＿laye
r＿id を設定し、符号化し、伝送する。また各VOP につ
いて、 ref＿layer＿id に基づいて、forward および b
ackward 予測をどのレイヤから予測するかを示すフラグ
ref＿select＿code を設定し、符号化し、伝送する。
Ｐピクチャにおける ref＿select＿code を表１に示
す。またＢピクチャにおける ref＿select＿code を表
２に示す。シンタクスの詳細は後述する。

【０１４３】

【表１】

【０１４４】

【表２】

【０１４５】上位レイヤと下位レイヤの予測は、図２お
よび図１２に示す例以外にも、表１および表２の許す範
囲内で、自由に設定して良い。また、表１および表２の
シンタクスにおいては、空間スケーラビリティやテンポ
ラルスケーラビリティについて明示的な区別は無い。

【０１４６】表１に示すように、Ｐピクチャの場合、re
f＿select＿code が '11' のとき、ref＿layer＿id が
示すレイヤ（参照レイヤ）の同時刻の VOP が予測参照
画像として用いられる。このモードは空間スケーラビリ
ティや SNR スケーラビリティにも用いられる。その他
の'00','01',または'10'のモードはテンポラルスケーラ
ビリティに用いられる。

【０１４７】表２に示すように、Ｂピクチャの場合、re
f＿select＿code が '00' のとき、ref＿layer＿id が
示すレイヤの同時刻の VOP と、同じレイヤの直前に復
号したVOP とが予測参照画像として用いられる。このモ
ードは空間スケーラビリティや SNR スケーラビリティ
に用いられる。その他の'01','10',または'11'のモード
はテンポラルスケーラビリティに用いられる。

【０１４８】各レイヤの各 VOP をＩ，Ｐ，Ｂピクチャ
のどのタイプで符号化するかは予め決めておく。動きベ
クトル検出回路２３２は予め設定されたピクチャタイプ
に基づき、ref＿layer＿id 、ref＿select＿code を設
定し、動き補償回路１２および可変長符号化回路６に供
給する。

【０１４９】下位レイヤの VOP の復号画像信号と key
信号は解像度変換回路２０５を介して上位レイヤ符号化
回路２０３に供給され、フレームメモリ群２３５に供給
される。この時、解像度変換回路２０５に供給される復
号画像信号は、図８における画素置換回路２２１により
置換処理された後のものである。

【０１５０】また下位レイヤの VOP の大きさを示すフ
ラグ FSZ＿B 、および絶対座標における位置を示すフラ
グ FPOS＿B は、フレームメモリ群２３５に記憶される
とともに、動きベクトル検出回路２３２および動き補償
回路１２に供給される。

【０１５１】動きベクトル検出回路２３２はまた、予め
定められた所定の参照フレームを、フレームメモリ群１
またはフレームメモリ群２３５より参照し、動き補償
（フレーム間予測）を行い、その動きベクトルを検出す
る。動き補償（フレーム間予測）には前方予測、後方予
測、両方向予測の３種類の予測モードがある。Ｐピクチ
ャの予測モードは前方予測のみであり、Ｂピクチャの予
測モードは前方予測、後方予測、両方向予測の３種類で
ある。動きベクトル検出回路２３２は予測誤差を最小に
する予測モードを選択し、そのときの予測モードと動き
ベクトルを発生する。

【０１５２】このとき、予測誤差は例えば、符号化する
マクロブロックの分散と比較され、マクロブロックの分
散の方が小さい場合、そのマクロブロックでは予測は行
わず、フレーム内符号化が行われる。この場合、予測モ
ードは画像内予測（イントラ）となる。動きベクトルお
よび上記予測モードは可変長符号化回路６および動き補
償回路１２に入力される。

【０１５３】上位レイヤ符号化回路２０３における動き
ベクトル検出回路２３２においても、下位レイヤにおけ
る動きベクトル検出回路２２２と同様に、key信号復号
回路２３４によって復号された、符号化するマクロブロ
ックの局所復号key信号が供給される。この時、key信号
復号回路２３４の出力は上位レイヤkey信号の復号信号
である。動きベクトル検出回路２３２は下位レイヤにお
ける動きベクトル検出と同様に、対応するkey信号が０
である画素の予測画像との差分値は予測誤差の計算には
含めない。従って、key信号が０以外の画素、即ち画像
オブジェクトの内側の画素のみを用いて予測誤差を計算
し、これを最小とする動きベクトルを検出する。

【０１５４】動きベクトル検出回路２３２にはまた、下
位レイヤに対して上位レイヤの大きさ（解像度）が何倍
であるかを示すフラグ FR が供給される。表２より、Ｂ
ピクチャ（VOP）の場合、ref＿select＿code = '00' の
時、空間スケーラビリティであり、この時、backward予
測は下位レイヤ（参照レイヤ）の同時刻のVOPからの予
測、forward予測は同じレイヤの直前に復号したVOPから
の予測となる。倍率を示すフラグが１であり（下位レイ
ヤと上位レイヤの解像度が等しく）、かつ ref＿select
＿code = '00' である場合は、空間スケーラビリティの
特殊な場合であり、SNR スケーラビリティであることに
なる。この場合、上位レイヤの backward 予測には下位
レイヤの同時刻のVOPが用いた動きベクトルと予測モー
ドをそのまま用いる。したがって、この場合、動きベク
トル検出回路２３２は下位レイヤから供給される動きベ
クトルおよび予測モードを動き補償回路１２に供給す
る。この場合、可変長符号化回路６は動きベクトルを符
号化しない。

【０１５５】動き補償回路１２では動きベクトルに基づ
いてフレームメモリ群１１またはフレームメモリ群２３
５の画像信号より予測画像信号を生成し、演算回路３に
供給する。演算回路３では符号化するマクロブロックの
値と予測画像の値との差分値を生成し、差分画像信号と
して、DCT回路４に供給する。イントラマクロブロック
の場合、演算回路３は符号化するマクロブロック毎に画
像信号をそのまま DCT回路４に出力する。

【０１５６】DCT回路４は入力画像信号をDCT（離散コサ
イン変換）処理し、DCT係数に変換する。このDCT係数
は、量子化回路５に入力され、送信バッファ７のデータ
蓄積量（バッファ蓄積量）に対応した量子化ステップで
量子化された後、量子化データとして可変長符号化回路
６に供給される。

【０１５７】可変長符号化回路６は、量子化回路５より
供給される量子化ステップ（スケール）に対応して、量
子化回路５より供給される量子化データを、例えばハフ
マン符号などの可変長符号に変換し、送信バッファ７に
出力する。

【０１５８】可変長符号化回路６にはまた、量子化回路
５より量子化ステップ（スケール）、動きベクトル検出
回路２３２より予測モード（画像内予測、前方予測、後
方予測、または両方向予測のいずれが設定されたかを示
すモード）および動きベクトル、が入力されており、こ
れらも可変長符号化される。

【０１５９】可変長符号化回路６はまた、上位レイヤ V
OP の大きさを示すフラグFSZ＿E、絶対座標における位
置を示すフラグFPOS＿E、下位レイヤの解像度に対して
上位レイヤの解像度が何倍であるかを示すフラグ FR も
符号化する。さらに、可変長符号化回路６は key 信号
ビットストリームを、符号化された画像信号のビットス
トリームの所定の位置に挿入し、送信バッファ７に供給
する。

【０１６０】符号化する上位レイヤのVOP の key 信号
は key 信号符号化回路２３３に入力される。key 信号
は所定の方法、例えば DPCM に従って符号化され、key
信号ビットストリームとして可変長符号化回路６および
key 信号復号回路２３４に出力される。key 信号復号
回路２３４では key 信号ビットストリームが復号さ
れ、動きベクトル検出回路２３２および動き補償回路１
２に供給される。

【０１６１】送信バッファ７は、入力されたデータを一
時蓄積し、蓄積量に対応するデータを量子化回路５に出
力する。送信バッファ７は、そのデータ残量が許容上限
値まで増量すると、量子化制御信号によって量子化回路
５の量子化スケールを大きくすることにより、量子化デ
ータのデータ量を低下させる。また、これとは逆に、デ
ータ残量が許容下限値まで減少すると、送信バッファ７
は、量子化制御信号によって量子化回路５の量子化スケ
ールを小さくすることにより、量子化データのデータ量
を増大させる。このようにして、送信バッファ７のオー
バフローまたはアンダフローが防止される。

【０１６２】そして、送信バッファ７に蓄積されたデー
タは、所定のタイミングで読み出され、図１の多重化回
路２０６により下位レイヤビットストリームと多重化さ
れた後、さらに図５１の多重化回路１０４に供給され
る。

【０１６３】一方、量子化回路５より出力された量子化
データは、逆量子化回路８に入力され、量子化回路５よ
り供給される量子化ステップに対応して逆量子化され
る。逆量子化回路８の出力データ（逆量子化後のDCT係
数）は、IDCT（逆DCT）回路９に入力され、逆DCT処理さ
れた後、演算回路１０によって予測モードに対応して、
マクロブロック毎に予測画像の値が加算され、予測画像
のための画像信号として、画素置換回路２３１に供給さ
れる。そして、画素置換回路２３１において、画素置換
処理が行われた画像は、フレームメモリ群１１に記憶さ
れる。イントラマクロブロックの場合、IDCT回路９の出
力であるマクロブロックは、演算回路１０を介してその
まま画素置換回路２３１に供給される。

【０１６４】ここで、上位レイヤ符号化回路２０３にお
ける画素置換回路２３１について説明する。図８の下位
レイヤにおける画素置換回路２２１は図９を参照して説
明した通り、画像の存在する領域の周辺部の画素の値を
用いて、画像の存在しない領域、即ち画像オブジェクト
の外側の画素の値を置換する。

【０１６５】これに対して、上位レイヤにおける画素置
換回路２３１は、下位レイヤにおける画素置換回路２２
１と同様の置換方法と併せて、下位レイヤの参照画像の
復号画像、即ち、フレームメモリ群２３５の出力を用い
て画素の置換処理を行う。

【０１６６】次に、VOごとに符号化するスケーラブル符
号化方法について説明する。VOは、時刻ごとにその大き
さや位置が変化してもよいし、同一でもよい。従って、
以下のようなスケーラビリティが考えられる。

【０１６７】前述の通り、VOごとに符号化するスケーラ
ブル符号化方法には以下の２通りがある。（１）上位レイヤが下位レイヤの全ての領域を含む場
合。（２）上位レイヤが下位レイヤの一部の領域に対応す
る場合。

【０１６８】（２）の場合、上位レイヤには存在しな
い領域の情報を下位レイヤが持っていることになる。特
に空間スケーラビリティの場合、上位レイヤと下位レイ
ヤは同時刻であるため、解像度変換後の下位レイヤの参
照画像を用いることが可能である。

【０１６９】図１３に上位レイヤにおける画素置換回路
２３１による画素置換の一例を示す。画像が存在する領
域、即ち、対応するkey信号が０以外である領域（図１
３において、画像オブジェクトとして示す領域）では、
上位レイヤの画像をそのまま用い、それ以外の領域（図
１３において、水平方向の線が描かれている領域）で
は、解像度変換後の（アップサンプリング（拡大処理）
した後の）下位レイヤの参照画像（図１３のUVOP０)の
対応する位置の画素値を用い、参照画像とする。

【０１７０】図１４に画素置換回路２３１おける処理の
流れを示す。対象画素が画像オブジェクトの内側の画素
である場合、即ち対応する位置のkey信号が非ゼロであ
るとステップＳ２１で判定された場合、ステップＳ２２
に進み、画素置換回路２３１はその画素については何も
処理を行わず、そのまま出力する。対応するkey信号の
値が０である場合、ステップＳ２３に進み、その画素値
は０とされる。なお、VOPの形状が長方形である場合、k
ey信号は常に０以外（binary keyの場合は１、gray sca
le keyの場合は２５５）であるため、VOP中の全ての画
素が何も処理されず、そのまま出力される。

【０１７１】次に、置換する方法を示す置換モードをス
テップＳ２４で判定し、その置換モードに応じて置換処
理を行う。ここで置換モードについて説明する。上位レ
イヤにおける画素置換方法には２通りの方法が存在す
る。１つは下位レイヤにおける画素置換方法と同様の置
換方法である。もう１つは下位レイヤの参照画像の対応
する位置の画素値と置換する方法である。後者の方法
は、上位レイヤが下位レイヤの一部に対応し、かつ空間
スケーラビリティの場合である。どのスケーラビリティ
を用いるかはあらかじめ決められている。同様に、どの
置換モードを用いるかはあらかじめ決められている。置
換の方法を示すフラグfill＿modeは１ビットのフラグで
あり、この置換の方法を示すフラグfill＿modeは、画像
置換回路２３１から可変長符号化回路６に供給され、符
号化され、伝送される。

【０１７２】置換モードを示すフラグfill＿modeが、例
えば、０であると判定された場合、ステップＳ２５に進
み、画素置換回路２３１は下位レイヤにおける画素置換
回路２２１（図８）と同様の置換方法（図９）で置換処
理を行い、処理後の画像をフレームメモリ群１１に出力
する。

【０１７３】置換モードを示すフラグfill＿modeが、例
えば、１であると判定された場合、ステップＳ２６に進
み、画素置換回路２３１は下位レイヤの所定の参照画像
信号の対応する位置の画素値と置換する。この置換方法
について図１５と図１６を用いて説明する。

【０１７４】図１５は、図１３に示す場合と同様に、上
位レイヤの画像VOP１を符号化する際に、直前の上位レ
イヤの画像VOP０と、解像度変換後の（アップサンプリ
ング（拡大処理）した後の）下位レイヤの同時刻の画像
UVOP１を参照画像とする場合の例である。この時、画素
置換回路２３１は、画像VOP０の画像オブジェクト以外
の画素を、画像VOP０と同時刻の下位レイヤの画像を解
像度変換した後の（アップサンプリング（拡大処理）し
た後の）画像UVOP０の対応する位置の画素値と置換す
る。

【０１７５】また上記置換方法の変形として、図１６に
示すように、画像VOP０の画像オブジェクト以外の画素
を、画像VOP１と同時刻の解像度変換後の画像UVOP１の
対応する位置の画素値と置換する方法もある。

【０１７６】上記置換処理を行った後、画素置換回路２
３１はフレームメモリ群１１に置換処理が行われた画像
を出力する。

【０１７７】図１４では、置換モードを示すフラグfill
＿modeに従って置換方法を切り替えるようにしたが、こ
の変形例として、ref＿select＿codeを用いて置換方法
を切り替えることもできる。この場合の置換方法につい
て図１７を参照して説明する。

【０１７８】表１に示したように、上位レイヤの符号化
するVOPの予測モードがＰピクチャである場合、ref＿se
lect＿codeの'11'は、空間スケーラビリティであること
を表す。また、表２に示したように、予測モードがＢピ
クチャである場合、ref＿select＿codeの'00'は、空間
スケーラビリティであることを表す（ステップＳ４
１）。上位レイヤのVOPの形状が任意形状であり、か
つ、下位レイヤの形状が長方形である場合、上位レイヤ
は下位レイヤの一部のみに対応していることがわかる
（ステップＳ４２）。また上位レイヤのVOPの大きさ
と、対応する下位レイヤのVOPの大きさをFR倍した大き
さとを比較した場合、上位レイヤのVOPの大きさの方が
小さいとき、上位レイヤは下位レイヤの一部のみに対応
していることがわかる（ステップＳ４３）。

【０１７９】空間スケーラビリティであり、かつ、上位
レイヤが下位レイヤの一部のみに対応しているとステッ
プＳ４１乃至Ｓ４３で判定された場合、ステップＳ４４
で、下位レイヤの解像度変換後の画素を用いて参照画像
の画素の置換を行い、それ以外の場合、ステップＳ４５
で、下位レイヤにおける画素置換回路２２１と同様の置
換方法で画素の置換を行う。

【０１８０】フレームメモリ群１１では画素置換回路２
３１の出力画像、その VOP の大きさを示すフラグ FSZ
＿E 、絶対座標における位置を示すフラグ FPOS＿E が
記録される。

【０１８１】上述したように、上位レイヤ符号化回路２
０３および下位レイヤ符号化回路２０４でそれぞれ生成
された出力ビットストリームは、図１に示されるよう
に、多重化回路２０６に入力される。図１の多重化回路
２０６は下位レイヤおよび上位レイヤビットストリーム
を多重化し、その VO のビットストリームとして、図５
１の多重化回路１０４に出力する。図５１の多重化回路
１０４は、各 VOP 符号化回路から供給されるビットス
トリームを多重化し、出力ビットストリームとして、伝
送路もしくは記録媒体に出力する。

【０１８２】図１８に、図１に示される第１の実施の形
態における VOP 符号化回路１０３に対応する VOP 復号
回路１１２（図５２の VOP 復号回路１１２−０乃至１
１２−ｎに対応する）の一例を示す。伝送路もしくは記
録媒体から供給されたビットストリームは、まず逆多重
化回路２５１に入力される。逆多重化回路２５１では、
ビットストリームを逆多重化し、上位レイヤビットスト
リームと下位レイヤビットストリームに分離して出力す
る。

【０１８３】下位レイヤビットストリームはそのまま下
位レイヤ復号回路２５４に供給される。また上位レイヤ
ビットストリームは遅延回路２５２を介して上位レイヤ
復号回路２５３に供給される。

【０１８４】遅延回路２５２では、上位レイヤビットス
トリームを、下位レイヤ復号回路２５４で１個の VOP
を復号するのに要する時間だけ遅延した後、上位レイヤ
復号回路２５３に供給する。

【０１８５】下位レイヤ復号回路２５４の構成例を図１
９を用いて説明する。なお、同図において、図４５と対
応する部分には、同一の符号を付してある。

【０１８６】下位レイヤビットストリームは、受信バッ
ファ２１に一時記憶された後、可変長復号回路２２に供
給される。可変長復号回路２２は、受信バッファ２１よ
り供給された下位レイヤビットストリームを可変長復号
し、動きベクトル、予測モードを動き補償回路２７に、
また、量子化ステップを逆量子化回路２３に、それぞれ
出力するとともに、可変長復号されたデータを逆量子化
回路２３に供給する。

【０１８７】可変長復号回路２２はまた、 VOP の大き
さを示すフラグ FSZ＿B および絶対座標における位置を
示すフラグ FPOS＿B を復号し、動き補償回路２７、フ
レームメモリ群２６および key 信号復号回路２６２に
出力する。フラグFSZ＿B および FPOS＿B はまた、上位
レイヤ復号回路２５３にも供給される。可変長復号回路
２２はまた key 信号ビットストリームを抽出し、key
信号復号回路２６２に供給する。

【０１８８】key 信号復号回路２６２は可変長復号回路
２２より供給される key 信号ビットストリームを符号
化に対応する復号方法に基づいて復号する。復号された
key信号は、IDCT回路２４、動き補償回路２７、画素置
換回路２６１に供給される。さらに、復号されたkey信
号は、図１８に示される解像度変換回路２５５を介して
上位レイヤ復号回路２５３にも供給される。

【０１８９】逆量子化回路２３は、可変長復号回路２２
より供給された量子化データを、ブロック単位で同じく
可変長復号回路２２より供給された量子化ステップに従
って逆量子化し、IDCT回路２４に供給する。逆量子化回
路２３より出力されたデータ（DCT係数）は、IDCT回路
２４で、逆DCT処理され、演算回路２５に供給される。

【０１９０】IDCT回路２４より供給された画像信号が、
Ｉピクチャのデータである場合、その画像信号は演算回
路２５よりそのまま出力され、演算回路２５に後に入力
される画像信号（ＰまたはＢピクチャのデータ）の予測
画像信号の生成のために、画素置換回路２６１を介して
フレームメモリ群２６に供給され、記憶される。また、
演算回路２５より出力された画像信号は、そのまま、再
生（復元）画像として、図５２における画像再構成回路
１１３に出力される。

【０１９１】IDCT回路２４より供給された画像信号がＰ
またはＢピクチャの場合、動き補償回路２７は可変長復
号回路２２より供給される動きベクトルおよび予測モー
ドに従って、予測画像信号を生成し、演算回路２５に出
力する。演算回路２５では IDCT 回路４より供給される
画像信号（差分信号）と動き補償回路２７より供給され
る予測画像信号を加算し、再生（復元）画像とする。Ｐ
ピクチャの場合、演算回路２５の出力画像信号はまた、
画素置換回路２６１を介してフレームメモリ群２６に入
力され、記憶される。そして、次に復号する画像信号の
参照画像として用いられる。但し、イントラマクロブロ
ックの場合には、IDCT回路２４より供給された画像信号
が、演算回路２５よりそのまま出力される。

【０１９２】画素置換回路２６１は符号化回路における
画素置換回路２２１（図８）と同様に（すなわち、図９
のフローチャートに示すように）画素の置換処理を行
う。

【０１９３】図１８において、下位レイヤ復号回路２５
４において、復号された下位レイヤ画像信号および key
信号は、図５２における画像再構成回路１１３に供給
される。復号された下位レイヤ画像信号および key 信
号はまた、解像度変換回路２５５に供給される。

【０１９４】また、下位レイヤ復号回路２５４において
復号された、下位レイヤの画像 VOPの大きさを示すフラ
グ FSZ＿B および絶対座標における位置を示すフラグ F
POS＿B は、図５２における画像再構成回路１１３と、
上位レイヤ復号回路２５３に供給される。

【０１９５】逆多重化回路２５１において逆多重化され
た上位レイヤビットストリームは遅延回路２５２を介し
て上位レイヤ復号回路２５３に供給される。

【０１９６】図２０を用いて上位レイヤ復号回路２５３
について説明する。なお、この図においても、図４５と
対応する部分には、同一の符号を付してある。

【０１９７】上位レイヤビットストリームは、受信バッ
ファ２１に一時記憶された後、可変長復号回路２２に供
給される。可変長復号回路２２は、受信バッファ２１よ
り供給された上位レイヤビットストリームを可変長復号
し、動きベクトル、予測モードを動き補償回路２７に、
また、量子化ステップを逆量子化回路２３に、それぞれ
出力するとともに、可変長復号されたデータを逆量子化
回路２３に供給する。

【０１９８】可変長復号回路２２はまた、 VOP の大き
さを示すフラグ FSZ＿E と絶対座標における位置を示す
フラグ FPOS＿E を復号し、動き補償回路２７、フレー
ムメモリ群２６および key 信号復号回路２７４に供給
する。

【０１９９】可変長復号回路２２はまた、下位レイヤの
画像 VOP に対する上位レイヤの画像 VOP の大きさ（解
像度）の倍率を示すフラグ FR を復号し、動き補償回路
２７、および図１８における解像度変換回路２５５に供
給する。

【０２００】解像度変換回路２５５は倍率を示すフラグ
FR に従って、復号された下位レイヤの画像信号及び k
ey 信号を、フィルタを用いて、解像度変換し、上位レ
イヤ復号回路２５３中のフレームメモリ群２７３に供給
する。

【０２０１】可変長復号回路２２はまた、予測の参照に
用いるレイヤを示すフラグ、ref＿layer＿id 及び ref
＿select＿code を復号し、動き補償回路２７に出力す
る。さらに、可変長復号回路２２は、画素置換モードを
示すフラグfill＿modeを復号し、画素置換回路２７１に
供給する。さらに、可変長復号回路２２は、key 信号ビ
ットストリームを抽出し、key 信号復号回路２７４に供
給する。

【０２０２】key 信号復号回路２７４は可変長復号回路
２２より供給される key 信号ビットストリームを符号
化に対応する復号方法に基づいて復号する。復号された
key信号はIDCT回路２４、動き補償回路２７、画素置換
回路２７１に供給される。

【０２０３】逆量子化回路２３は、可変長復号回路２２
より供給されたデータ（量子化されたDCT係数）を、ブ
ロック単位で同じく可変長復号回路２２より供給された
量子化ステップに従って逆量子化し、IDCT回路２４に供
給する。逆量子化回路２３より出力されたデータ（DCT
係数）は、IDCT回路２４で、逆DCT処理され、演算回路
２５に供給される。

【０２０４】IDCT回路２４より供給された画像信号が、
Ｉピクチャのデータである場合、その画像信号は演算回
路２５よりそのまま出力され、演算回路２５に後に入力
される画像信号（ＰまたはＢピクチャのデータ）の予測
画像信号の生成のために、画素置換回路２７１を介して
フレームメモリ群２６に供給され、記憶される。また、
演算回路２５より出力された画像信号は、そのまま、再
生（復元）画像として、図５２における画像再構成回路
１１３に出力される。

【０２０５】IDCT回路２４より供給された画像信号がＰ
またはＢピクチャの場合、動き補償回路２７は可変長復
号回路２２より供給される、動きベクトル、予測モー
ド、および参照するレイヤを示すフラグ ref＿layer＿i
d、ref＿select＿code に従って、予測画像信号をフレ
ームメモリ群２６またはフレームメモリ群２７３の画像
より生成し、演算回路２５に出力する。演算回路２５で
は IDCT 回路２４より供給される画像信号（差分画像信
号）と動き補償回路２７より供給される予測画像信号を
加算し、再生（復元）画像とする。Ｐピクチャの場合、
演算回路２５の出力画像信号はまた、画素置換回路２７
１を介してフレームメモリ群２６に入力され記憶され
る。そして、次に復号する画像信号の参照画像として用
いられる。但し、イントラマクロブロックの場合には、
IDCT回路２４より供給された画像信号が演算回路２５よ
りそのまま出力される。

【０２０６】画素置換回路２７１は符号化回路における
画素置換回路２３１（図１１）と同様に（すなわち、図
１４のフローチャートに示すように）、復号された、置
換モードを示すフラグfill＿modeに従って、画素の置換
処理を行う。

【０２０７】動き補償回路２７は倍率を示すフラグFRが
１であり、かつ、ref＿select＿code = '00' である場
合、下位レイヤの同時刻のVOPから供給される動きベク
トルおよび予測モードを用いて予測画像信号を生成し、
演算回路２５に出力する。

【０２０８】図１８に示すように、上位レイヤ復号回路
２５３で復号された上位レイヤ画像信号、 key 信号、
上位レイヤ VOP の大きさを示すフラグ FSZ＿E 、およ
び絶対座標における位置を示すフラグ FPOS＿E 及び倍
率を示すフラグFRは、図５２における画像再構成回路１
１３に供給される。

【０２０９】図５２において、画像再構成回路１１３
は、 VOP 復号回路１１２から供給される、VOP 画像信
号、key 信号、VOP の大きさ（解像度）を示すフラグ、
絶対座標における位置を示すフラグ及び倍率を示すフラ
グFRに従って、画像信号を再構成し、外部に出力する。

【０２１０】次に、スケーラブル符号化のシンタクスの
一例を説明する。

【０２１１】図２１にビットストリームの構成を示す。
VS (Video Session) は１つ又は複数の VO (Video Obje
ct) から構成されるビットストリームの集合である。VS
のシンタクスを図２２に示す。

【０２１２】図２３に VO (Video Object) のシンタク
スを示す。VO は画像全体または画像中の一部の物体の
ビットストリームである。

【０２１３】図２１の VOL (Video Object Layer) は複
数の VOP から構成され、スケーラビリティのためのク
ラスである。VOL のシンタクスを図２４に示す。 VOL
は video＿object＿layer＿id に示される番号によって
識別される。例えば、video＿object＿layer＿id = 0で
ある VOL0 は下位レイヤであり、例えば video＿object
＿layer＿id = 1 である VOL1 は上位レイヤである。ス
ケーラブルのレイヤの数は任意で良い。各 VOL が画像
全体であるのか、画像の一部の物体であるのかは、vide
o＿object＿layer＿shape で識別される。video＿objec
t＿layer＿shape は VOL の形状を示すフラグで、以下
の表３のような意味を持つ。

【０２１４】

【表３】

【０２１５】VOL中のscalability は１ビットのフラグ
で、その VOL が下位レイヤであるのか、上位レイヤで
あるのかを示す。 scalability = 1である場合、その V
OL は下位レイヤであり、それ以外の場合、上位レイヤ
である。

【０２１６】ref＿layer＿id は、自分自身の VOL 以外
に参照画像として用いる VOL の番号を示すフラグであ
る。これは上位レイヤにのみ伝送される。

【０２１７】hor＿sampling＿factor＿n, hor＿samplin
g＿factor＿m は、下位レイヤの水平方向の長さに対し
て上位レイヤの水平方向の長さが何倍であるかを示す
（水平方向の解像度の倍率を示す）。下位レイヤに対す
る上位レイヤの水平方向の大きさは以下の式で与えられ
る。 hor＿sampling＿factor＿n / hor＿sampling＿factor＿
m

【０２１８】ver＿sampling＿factor＿n, ver＿samplin
g＿factor＿m は、下位レイヤの垂直方向の長さに対し
て上位レイヤの垂直方向の長さが何倍であるかを示す
（垂直方向の解像度の倍率を示す）。下位レイヤに対す
る上位レイヤの垂直方向の大きさは以下の式で与えられ
る。 ver＿sampling＿factor＿n / ver＿sampling＿factor＿
m

【０２１９】fill＿modeは１ビットのフラグで画素置換
方法を示す。これが１である場合、解像度変換後の下位
レイヤの画像を用いて画素の置換を行う。このフラグは
上位レイヤにおいてのみ伝送される。

【０２２０】図２５乃至図２７は、 VOP (Video Object
Plane)のシンタクスを示す。VOP＿width および VOP＿
height は、その VOP の大きさを示すフラグである。ま
た、VOP＿horizontal＿spatial＿mc＿ref , VOP＿verti
cal＿spatial＿mc＿ref は絶対座標に対するその VOP
の位置を示すフラグである。

【０２２１】ref＿select＿code は forward および ba
ckward 予測において、 ref＿layer＿id に基づき、ど
のレイヤの画像を参照画像として用いるかを示すフラグ
である。表１および表２にその詳細が示されている。

【０２２２】なお、図１のVOP符号化回路１０３を適用
した、図５１の画像信号符号化装置の多重化回路１０４
より出力されたビットストリームは、伝送路に伝送され
る他、光ディスク、磁気ディスク、光磁気ディスクなど
の記録媒体に記録し、図１８のVOP復号回路１１２を適
用した、図５２の画像信号復号装置により、その記録媒
体から再生したビットストリームを復号させるようにす
ることができる。

【０２２３】次に、第２の実施の形態として、３階層以
上のスケーラブル符号化に適用した場合の例を示す。本
実施の形態では３階層の場合を示すが、同様の方法で任
意の階層に拡張することが可能である。ここでは、VOご
とに符号化するスケーラブル符号化を３階層に拡張した
場合の例について説明する。３階層のスケーラブル符号
化においても下位レイヤと第１の上位レイヤの関係は第
１の実施の形態と同様である。

【０２２４】３階層のスケーラブル符号化の場合、２つ
の上位レイヤが存在する。即ち、下位レイヤおよび第１
の上位レイヤ、第２の上位レイヤである。第１の上位レ
イヤまで復号した画像と比較して、第２の上位レイヤま
で復号した画像は、より画質が向上している。ここで画
質の向上とは、空間スケーラブル符号化の場合、空間解
像度であり、時間スケーラブル符号化の場合、時間解像
度（フレームレート）であり、またSNRスケーラブル符
号化の場合、画像のSNRである。

【０２２５】第１の上位レイヤと第２の上位レイヤの関
係には以下の場合が存在する。（１）第２の上位レイヤは第１の上位レイヤの全ての
領域を含む。（２）第２の上位レイヤは第１の上位レイヤの一部の
領域に対応する。（３）第２の上位レイヤは第１の上位レイヤよりも広
い領域に対応する。

【０２２６】（１）、（２）の関係は第１の実施の形態
における上位レイヤと下位レイヤの関係と同様である。

【０２２７】（３）の関係は３階層以上のスケーラブル
符号化を行う場合に存在する。これは、第１の上位レイ
ヤは下位レイヤの一部領域に対応し、かつ第２の上位レ
イヤは下位レイヤの全ての領域を含む場合、または第１
の上位レイヤは下位レイヤの一部領域に対応し、第２の
上位レイヤは第１の上位レイヤよりも広い領域に対応
し、かつ下位レイヤの一部の領域に対応する場合であ
る。

【０２２８】（３）の場合、第１の上位レイヤまで復号
したとき、下位レイヤの画像の一部のみが画質改善さ
れ、第２の上位レイヤまで復号したとき、さらに広い領
域または下位レイヤの画像の全ての領域が画質改善され
る。

【０２２９】（３）の場合は、VOPの形状は長方形であ
っても、任意形状であってもよい。

【０２３０】図２８乃至図３３に３階層の空間スケーラ
ブル符号化の例を示す。図２８は、（１）の場合におけ
る空間スケーラビリティで、VOPの形状が長方形である
ときの例を示している。また図２９は、（２）の場合に
おける空間スケーラビリティで、VOPの形状が長方形で
ある場合の例を示している。

【０２３１】図３０は、（３）の場合における空間スケ
ーラビリティで、全てのレイヤのVOPの形状が長方形で
ある場合の例を示している。また図３１は、（３）の場
合における空間スケーラビリティで、第１の上位レイヤ
のVOPの形状が任意形状であり、第２の上位レイヤのVOP
の形状が長方形状である場合の例を示している。

【０２３２】図３２と図３３は、（１）の場合における
空間スケーラビリティで、VOPの形状が任意形状である
場合の例を示している。

【０２３３】上記いずれのスケーラビリティを用いるか
は、予め決められている。

【０２３４】図３４に、第２の実施の形態における VOP
符号化回路１０３の構成例を示す。ここにおける下位
レイヤと上位レイヤ１の符号化部分の構成は第１の実施
の形態（図１）と同様である。この第２の実施の形態で
は、図１の構成に、さらに上位レイヤ２の符号化部分、
即ち、遅延回路２０７、上位レイヤ２符号化回路２０
８、解像度変換回路２０９が追加されている。上位レイ
ヤ１符号化回路２０３（図１の上位レイヤ符号化回路２
０３に対応する）と上位レイヤ２符号化回路２０８は、
実質的に同様の構成を持つ。

【０２３５】本実施の形態では、３階層のスケーラブル
符号化について説明するが、２階層を３階層に拡張した
方法と同様の方法を、第Ｎの上位レイヤと第Ｎ＋１の上
位レイヤに適用することにより、任意の数の階層に拡張
可能である。

【０２３６】各 VOPの画像信号および key 信号、VOP
の大きさを示すフラグFSZ、VOP の絶対座標における位
置を示すフラグFPOSは、画像信号階層化回路２０１に入
力される。画像信号階層化回路２０１は入力画像信号を
複数の階層に分離する。例えば、空間スケーラビリティ
の場合、画像信号階層化回路２０１は、入力画像信号お
よび key 信号を所定の倍率で縮小し、下位レイヤの画
像信号および key 信号を生成する。また同様にして画
像信号階層化回路２０１は、入力画像信号および key
信号を所定の倍率で縮小し、上位レイヤ１の画像信号お
よび key 信号を生成する。さらに、画像信号階層化回
路２０１は、入力画像信号および key 信号をそのまま
上位レイヤ２の画像信号および key 信号として出力す
る。この変形として画像信号階層化回路２０１はまた、
入力画像信号および key 信号を所定の倍率で解像度変
換し、上位レイヤ２の画像信号および key 信号として
も良い。いずれにしても、画像信号階層化回路２０１
は、予め決められた方法で上位レイヤ１，２と下位レイ
ヤを設定する。

【０２３７】画像信号階層化回路２０１は、例えばテン
ポラルスケーラビリティ（時間軸方向のスケーラビリテ
ィ）の場合、時刻に応じて画像信号の出力を下位レイヤ
および上位レイヤに切り替える。

【０２３８】画像信号階層化回路２０１は、例えば SNR
(Signal to Noise Ratio) スケーラビリティの場合、入
力画像信号とkey 信号を、そのまま、各レイヤに供給す
る。即ち、下位レイヤと上位レイヤに同一の画像信号お
よび key 信号を供給する。

【０２３９】画像信号階層化回路２０１は、例えば空間
スケーラビリティの場合、入力画像信号およびkey信号
を所定の倍率で解像度変換し、下位レイヤおよび上位レ
イヤ１に画像信号およびkey信号を供給する。解像度変
換処理とは、例えば、間引きフィルタによる縮小フィル
タの処理などである。あるいはまた、画像信号階層化回
路２０１に、入力画像信号およびkey信号を解像度変換
させ、上位レイヤ１および２に画像信号およびkey信号
を出力させるようにしてもよい。この場合、解像度変換
処理は拡大フィルタ処理となる。さらにまた、画像信号
階層化回路２０１には、独立に生成された３つの画像信
号およびkey信号（それぞれの解像度は異なっていて
も、または同一であってもよい）を、それぞれ、上位レ
イヤ１，２および下位レイヤとして出力させるようにし
てもよい。この場合、どの画像を上位レイヤ１，２、お
よび下位レイヤに出力するかは、あらかじめ決められて
いる。

【０２４０】画像信号階層化回路２０１はまた、各レイ
ヤの大きさ、および絶対座標における位置を示すフラグ
を出力する。例えば図３４の例の場合、下位レイヤのVO
Pの大きさを示すフラグ FSZ＿B 、および絶対座標にお
ける下位レイヤのVOPの位置を示すフラグ FPOS＿B が、
下位レイヤ符号化回路２０４に出力される。また上位レ
イヤ１のVOPの大きさを示すフラグ FSZ＿E1 、および絶
対座標における上位レイヤ１のVOPの位置を示すフラグ
FPOS＿E1 が、遅延回路２０２を介して上位レイヤ１符
号化回路２０３に出力される。さらに上位レイヤ２のVO
Pの大きさを示すフラグ FSZ＿E2 、および絶対座標にお
ける上位レイヤ２のVOPの位置を示すフラグ FPOS＿E2
が、遅延回路２０７を介して上位レイヤ２符号化回路２
０８に出力される。

【０２４１】画像信号階層化回路２０１はまた、下位レ
イヤのVOPに対する上位レイヤ１のVOPの大きさの倍率を
示すフラグ FR1 を、遅延回路２０２を介して解像度変
換回路２０５および上位レイヤ１符号化回路２０３に供
給する。

【０２４２】また同様に、画像信号階層化回路２０１
は、上位レイヤ１のVOPに対する上位レイヤ２のVOPの大
きさの倍率を示すフラグ FR2 を、遅延回路２０７を介
して解像度変換回路２０９および上位レイヤ２符号化回
路２０８に供給する。

【０２４３】第２の実施の形態においては、上位レイヤ
画像信号が参照画像のレイヤの画像信号の一部の領域に
対応するか、全ての領域に対応するかを示す１ビットの
フラグ enhancement_type を符号化し、伝送する。この
enhancement_type が "0" である場合、そのレイヤの画
像信号は、予測参照するレイヤの画像信号の全て又は広
い領域に対応していることを示す。また enhancement_t
ype が "1" である場合、そのレイヤの画像信号は、予
測参照するレイヤの画像信号の一部の領域に対応してい
ることを示す。また各レイヤが予測参照に用いるレイ
ヤ、および各レイヤの画像信号が、参照するレイヤの画
像の一部または全ての領域に対応するのかは予め決めら
れている。

【０２４４】画像信号階層化回路２０１は、各レイヤの
入力画像信号として、各解像度の、所定の領域を抽出し
て遅延回路２０２または遅延回路２０７を経由して、上
位レイヤ１符号化回路２０３または上位レイヤ２符号化
回路２０８に供給する。またこの時、各レイヤが予測参
照するレイヤを示すフラグ ref_layer_id 、および、各
レイヤの画像が参照レイヤに対して一部なのか、全ての
領域に対応するのかを示すフラグ enhancement_type を
上位レイヤ１符号化回路２０３または上位レイヤ２符号
化回路２０８に供給する。

【０２４５】図３４において遅延回路２０２と解像度変
換回路２０５は、第１の実施の形態と同様に動作する。

【０２４６】上位レイヤ１符号化回路２０３を、図３５
を用いて説明する。なお、上位レイヤ２符号化回路２０
８は、上位レイヤ１符号化回路２０３と同様の構成を持
つ。従って、以下の上位レイヤ１符号化回路２０３につ
いての説明は、上位レイヤ２符号化回路２０８について
も適用することができる。

【０２４７】第２の実施の形態における上位レイヤ１符
号化回路２０３は、図３５における画素置換回路２３１
を除き、第１の実施の形態における上位レイヤ符号化回
路２０３（図１１）と同様である。

【０２４８】そこで、図３６を用いて、図３５の画素置
換回路２３１の動作を説明する。まず、ステップＳ６１
において、enhancement_type から、自分自身のレイヤ
が参照レイヤの一部であるかどうかが検査される。enha
ncement_type が "0" である場合、ステップＳ６６に進
み、下位レイヤと同様の処理、即ちフレーム内外挿を行
う。この場合の処理の流れは図９に示されている。

【０２４９】enhancement_type が "1" である場合、ス
テップＳ６２に進み、対応するkey信号が０であるか否
かが判定される。画像オブジェクトの内側である場合、
対応する位置のkey信号が非ゼロであるとステップＳ６
２で判定される。この場合、ステップＳ６３に進み、画
素置換回路２３１はその画素については何も処理を行わ
ず、そのまま出力する。対応するkey信号の値が０であ
る場合、ステップＳ６４に進み、その画素値は０とされ
る。なお、VOPの形状が長方形である場合、key信号は常
に０以外（binarykeyの場合は１、gray scale keyの場
合は２５５）であるため、VOP中の全ての画素が何も処
理されず、そのまま出力される。なお、画像が存在しな
い領域は key 信号が０であるため、画素値は０とされ
る。

【０２５０】次に、置換する方法を示す置換モード（fi
ll＿mode）をステップＳ６５で判定し、その置換モード
に応じて置換処理を行う。上位レイヤにおける画素置換
方法には２通りの方法が存在する。１つは下位レイヤに
おける画素置換方法と同様の置換方法である。もう１つ
は下位レイヤの参照画像の対応する位置の画素値と置換
する方法である。後者の方法は、上位レイヤが下位レイ
ヤの一部に対応し、かつ空間スケーラビリティの場合で
ある。どのスケーラビリティを用いるかはあらかじめ決
められている。同様に、どの置換モードを用いるかはあ
らかじめ決められている。置換の方法を示すフラグfill
＿modeは１ビットのフラグであり、その置換方法を示す
フラグfill＿modeは、画像置換回路２３１から、可変長
符号化回路６に供給され、符号化され、伝送される。

【０２５１】置換モードを示すフラグfill＿modeが、例
えば、０であると判定された場合、ステップＳ６６に進
み、画素置換回路２３１は下位レイヤにおける画素置換
回路２２１（図８）と同様の置換方法（図９）で置換処
理を行い、処理後の画像をフレームメモリ群１１に出力
する。

【０２５２】置換モードを示すフラグfill＿modeが、例
えば、１であると判定された場合、ステップＳ６７に進
み、画素置換回路２３１は下位レイヤの所定の参照画像
信号の対応する位置の画素値と置換する。この置換方法
を図１３を用いて説明する。

【０２５３】画像が存在する領域、即ち、対応するkey
信号が０以外である領域（図１３において、画像オブジ
ェクトとして示す領域）では、上位レイヤの画像信号を
そのまま用い、それ以外の領域（図１３において、水平
方向の線が描かれている領域）では、解像度変換後の
（アップサンプリング（拡大処理）した後の）予測参照
レイヤの参照画像信号（図１３のUVOP０)の対応する位
置の画素値を用い、参照画像信号とする。

【０２５４】また、３階層の場合の画素置換の例を図３
７および図３８に示す。図３７においては、下位レイヤ
（VOL０）が画像の形状が長方形のVOPである（video_ob
ject_layer_shape=00）。上位レイヤ１（VOL１）が下位
レイヤ（VOL０）の一部であり、かつ、任意形状のVOPで
ある（video_object_layer_shape !=00）。上位レイヤ
２（VOL２）はVOL０と同一の領域に対応する画像で、予
測参照レイヤ（VOL１）よりも広い領域に対応し、画像
の形状は長方形である。VOL１では画素置換モードを示
すフラグ fill_mode が "0" と設定されており、図９に
基づく画素置換（フレーム内補間）が行われる。

【０２５５】また、図３８においては、下位レイヤ（VO
L０）が画像の形状が長方形のVOPである。上位レイヤ１
（VOL１）が下位レイヤ（VOL０）の一部でありかつ、任
意形状のVOPである。上位レイヤ２（VOL２）はVOL０と
同一の領域に対応する画像で、予測参照レイヤ（VOL
１）よりも広い領域に対応し、画像の形状は長方形であ
る。VOL２では画素置換モードを示すフラグ fill_mode
が "0" と設定されており、VOL１では fill_mode が "
1" と設定されている。この場合、VOL１ではVOL０の画
像の対応する画素と置換される。

【０２５６】ここで、図３７と図３８の相違について述
べる。図３７および図３８の場合、VOL２を符号化する
際、VOL１を予測参照する。この時、VOL１はVOL２の一
部の領域にしか対応していない。図３７の場合、画像が
存在しない領域、即ち key 信号が０である領域は、図
９に基く処理によりフレーム内外挿される。したがって
この場合、VOL１で key 信号が０である領域は、VOL２
の対応する領域とは無相関な信号が予測参照信号となっ
てしまう。

【０２５７】これに対して、図３８の場合、VOL１で画
像が存在しない領域、即ち key 信号が０である領域
は、下位レイヤVOL０の対応する位置の画像と置換され
る。従ってVOL１で key 信号が０である領域には、VOL
２の対応する位置の画像の、解像度が低い画像信号が予
測参照信号として用いられる。

【０２５８】従って、符号化効率を優先して符号化した
い場合、fill_mode = "1" として符号化すればよい。

【０２５９】図３５の上位レイヤ１符号化回路２０３に
ついて再び説明する。画像信号階層化回路２０１（図３
４）から供給される、フラグ ref_layer_id および enh
ancement_type は可変長符号化回路６に供給され、ビッ
トストリームの所定の位置に挿入され、送信バッファ７
を経由して出力される。

【０２６０】フラグ enhancement_type はまた、画素置
換回路２３１に供給され、このフラグに基づき、上記し
た所定の手続きにより画素置換が行われる。

【０２６１】また、ref_layer_id は動きベクトル検出
回路２３２、動き補償回路１２に供給される。動きベク
トル検出回路２３２は予め設定されたピクチャタイプに
基づき、ref＿select＿code を設定し、動き補償回路１
２および可変長符号化回路６に出力する。

【０２６２】当該レイヤが最上位のレイヤで無い場合、
例えば、３階層の上位レイヤ１である場合、画素置換回
路２３１の出力画像信号およびフレームメモリ群１１の
出力画像信号が、図３４における解像度変換回路２０９
を経由して上位レイヤ２符号化回路２０８に供給され
る。

【０２６３】当該レイヤが最上位のレイヤである場合、
即ち３階層の上位レイヤ２の場合、そのレイヤを予測参
照するレイヤが存在しないため、フレームメモリ群１１
および画素置換回路２３１から他のレイヤの符号化回路
に出力は供給されない。

【０２６４】上記の記述を除き、第２の実施の形態にお
ける上位レイヤ１符号化回路２０３は、第１の実施の形
態における上位レイヤ符号化回路２０３と同様に動作す
る。

【０２６５】図３９に、図３４のVOP符号化回路１０３
に対応する VOP 復号回路１１２の構成例を示す。その
下位レイヤと上位レイヤ１の復号部分は第１の実施の形
態（図１８）と同様の構成である。第２の実施の形態で
は、図１８の構成に、上位レイヤ２の復号部分、即ち、
遅延回路２５６、上位レイヤ２符号化回路２５７、解像
度変換回路２５８、およびVOP再構成回路２５９が追加
されている。上位レイヤ１復号回路２５３（図１８の上
位レイヤ復号回路２５３に対応する）および上位レイヤ
２復号回路２５７は同様な構成を持つ。

【０２６６】ビットストリームは、まず逆多重化回路２
５１に入力される。逆多重化回路２５１では、ビットス
トリームを逆多重化し、各レイヤのビットストリームに
分離して出力する。図３９の例の場合、３階層のスケー
ラブル復号装置とされているが、この場合、上位レイヤ
２、上位レイヤ１、および下位レイヤのビットストリー
ムに分離される。

【０２６７】下位レイヤビットストリームは、そのまま
下位レイヤ復号回路２５４に供給される。上位レイヤ１
ビットストリームは、遅延回路２５２を介して上位レイ
ヤ１復号回路２５３に供給される。また上位レイヤ２ビ
ットストリームは、遅延回路２５６を介して上位レイヤ
２復号回路２５７に供給される。

【０２６８】遅延回路２５２または遅延回路２５６で
は、上位レイヤ１ビットストリームまたは上位レイヤ２
ビットストリームを、下位レイヤ復号回路２５４で１個
の VOPを復号するのに要する時間だけ遅延した後、上位
レイヤ１復号回路２５３または上位レイヤ２復号回路２
５７に供給する。

【０２６９】下位レイヤ復号回路２５４は第１の実施の
形態と同一の構成（図１９）を持つ。下位レイヤ復号回
路２５４の出力である復号画像信号とkey 信号はVOP再
構成回路２５９に出力される。また、下位レイヤ復号回
路２５４により復号されたVOPの位置および大きさを示
すフラグ FPOS_B , FSZ_B が、VOP再構成回路２５９に
出力される。

【０２７０】復号された下位レイヤ画像信号および key
信号はまた、解像度変換回路２５５により解像度変換
された後、上位レイヤ１復号回路２５３に供給される。

【０２７１】復号された、下位レイヤの画像 VOP の大
きさを示すフラグ FSZ＿B および絶対座標における位置
を示すフラグ FPOS＿B もまた、上位レイヤ１復号回路
２５３に供給される。

【０２７２】逆多重化回路２５１において逆多重化され
た上位レイヤ１ビットストリームは遅延回路２５２を介
して上位レイヤ１復号回路２５３に供給される。

【０２７３】また逆多重化回路２５１において逆多重化
された上位レイヤ２ビットストリームは遅延回路２５６
を介して上位レイヤ２復号回路２５７に供給される。

【０２７４】遅延回路２５２および遅延回路２５６は同
一の構成を持つ。また上位レイヤ１復号回路２５３およ
び上位レイヤ２復号回路２５７は同一の構成を持つ。

【０２７５】上位レイヤ１復号回路２５３の出力である
復号画像信号とkey 信号は、VOP再構成回路２５９およ
び解像度変換回路２５８に出力される。また、上位レイ
ヤ１復号回路２５３により復号されたVOPの位置および
大きさを示すフラグ FPOS_E1, FSZ_E1 は、VOP再構成回
路２５９に出力される。

【０２７６】復号された上位レイヤ１の画像信号および
key 信号はまた、解像度変換回路２５８により解像度
変換された後、上位レイヤ２復号回路２５７に供給され
る。

【０２７７】復号された、上位レイヤ１の画像 VOP の
大きさを示すフラグ FSZ＿E1 および絶対座標における
位置を示すフラグ FPOS＿E1 は、上位レイヤ２復号回路
２５７に供給される。

【０２７８】上位レイヤ１復号回路２５３により復号さ
れた、解像度変換の倍率を示すフラグFR１は解像度変換
回路２５５に供給される。解像度変換回路２５５では復
号された倍率を示すフラグFR１に基づき、解像度変換を
行う。

【０２７９】上位レイヤ２復号回路２５７の出力である
復号画像信号とkey 信号は、VOP再構成回路２５９に供
給される。また、上位レイヤ２復号回路２５７により復
号された、VOPの位置および大きさを示すフラグ FPOS_E
2 , FSZ_E2は、VOP再構成回路２５９に供給される。

【０２８０】上位レイヤ２復号回路２５７により復号さ
れた、解像度変換の倍率を示すフラグFR２は、解像度変
換回路２５８に供給される。解像度変換回路２５８で
は、復号された倍率を示すフラグFR２に基づき、解像度
変換を行う。

【０２８１】VOP再構成回路２５９の詳細は後述する。

【０２８２】次に、図４０を用いて上位レイヤ１復号回
路２５３について説明する。この図においても、図４５
及び図２０と対応する部分には、同一の符号を付してあ
る。なお、上位レイヤ２復号回路２５７も基本的に、上
位レイヤ１復号回路２５３と同様の構成を有し、以下の
説明は、上位レイヤ２復号回路２５７にも同様に適用さ
れる。

【０２８３】第２の実施の形態における上位レイヤ１復
号回路２５３は、画素置換回路２７１を除き、第１の実
施の形態（図２０）における上位レイヤ復号回路２５３
と同様に構成されている。

【０２８４】上位レイヤビットストリームは、受信バッ
ファ２１に一時記憶された後、可変長復号回路２２に供
給される。可変長復号回路２２は、受信バッファ２１よ
り供給された上位レイヤビットストリームを可変長復号
し、動きベクトル、予測モードを動き補償回路２７に、
また、量子化ステップを逆量子化回路２３に、それぞれ
供給するとともに、可変長復号された画像信号を逆量子
化回路２３に供給する。

【０２８５】可変長復号回路２２はまた、 VOP の大き
さを示すフラグ FSZ＿E1 と絶対座標における位置を示
すフラグ FPOS＿E1 を復号し、動き補償回路２７、フレ
ームメモリ群２６、 key 信号復号回路２７４、および
図３９におけるVOP再構成回路２５９に供給する。

【０２８６】可変長復号回路２２はまた、下位レイヤの
画像 VOP に対する上位レイヤの画像 VOP の大きさ（解
像度）の倍率を示すフラグ FR1 を復号し、動き補償回
路２７、図３９における解像度変換回路２５５に供給す
る。

【０２８７】解像度変換回路２５５は倍率を示すフラグ
FR1 に従って、復号された下位レイヤの画像信号及び
key 信号を、フィルタを用いて、解像度変換し、上位レ
イヤ復号回路２５３中のフレームメモリ群２７３に供給
する。

【０２８８】可変長復号回路２２はまた、予測の参照に
用いるレイヤを示すフラグref＿layer＿id 及び ref＿s
elect＿code を復号し、動き補償回路２７に供給する。
さらに、可変長復号回路２２は、画素置換モードを示す
フラグfill＿modeを復号し、画素置換回路２７１に供給
する。さらに可変長復号回路２２は、key 信号ビットス
トリームを抽出し、key 信号復号回路２７４に供給す
る。

【０２８９】可変長復号回路２２はまた、当該レイヤが
予測参照レイヤの一部に対応するのか、全ての領域に対
応するのかを示すフラグ enhancement_type を復号し、
画素置換回路２７１および図３９におけるVOP再構成回
路２５９に供給する。

【０２９０】key 信号復号回路２７４は可変長復号回路
２２より供給される key 信号ビットストリームを符号
化に対応する復号方法に基づいて復号する。復号された
key信号はIDCT回路２４、動き補償回路２７、画素置換
回路２７１に供給される。

【０２９１】逆量子化回路２３は、可変長復号回路２２
より供給されたデータ（量子化されたDCT係数）を、ブ
ロック単位で、同じく可変長復号回路２２より供給され
た量子化ステップに従って逆量子化し、IDCT回路２４に
供給する。逆量子化回路２３より出力されたデータ（DC
T係数）は、IDCT回路２４で、逆DCT処理され、画像信号
として演算回路２５に供給される。

【０２９２】IDCT回路２４より供給された画像信号が、
Ｉピクチャのデータである場合、その画像信号は演算回
路２５よりそのまま出力され、演算回路２５に後に入力
される画像信号（ＰまたはＢピクチャのデータ）の予測
画像信号生成のために、画素置換回路２７１を介してフ
レームメモリ群２６に供給され、記憶される。また、演
算回路２５より出力された画像信号は、そのまま、再生
（復元）画像として、図３９におけるVOP再構成回路２
５９に出力される。

【０２９３】IDCT回路２４より供給された画像信号がＰ
またはＢピクチャの場合、動き補償回路２７は可変長復
号回路２２より供給される、動きベクトル、予測モー
ド、および参照するレイヤを示すフラグ ref＿layer＿i
d，ref＿select＿code に従って、予測画像信号をフレ
ームメモリ群２６またはフレームメモリ群２７３の画像
より生成し、演算回路２５に出力する。演算回路２５で
は IDCT 回路２４より供給される画像信号（差分画像信
号）と動き補償回路２７より供給される予測画像信号を
加算し、再生（復元）画像とする。Ｐピクチャの場合、
演算回路２５の出力画像信号はまた、画素置換回路２７
１を介してフレームメモリ群２６に入力され、記憶され
る。そして、次に復号する画像信号の参照画像として用
いられる。但し、イントラマクロブロックの場合には、
IDCT回路２４より供給された画像信号が演算回路２５よ
りそのまま出力される。

【０２９４】画素置換回路２７１は符号化装置における
画素置換回路２３１（図３５）と同様に（すなわち、図
３６のフローチャートに示すように）、復号された、置
換モードを示すフラグfill＿modeに従って、画素の置換
処理を行う。

【０２９５】動き補償回路２７は倍率を示すフラグFRが
１であり、かつ、ref＿select＿code = '00' である場
合、下位レイヤの同時刻のVOPから供給される動きベク
トルおよび予測モードを用いて予測画像信号を生成し、
演算回路２５に出力する。

【０２９６】図３９において、復号された上位レイヤ画
像信号、 key 信号、上位レイヤ VOP の大きさを示すフ
ラグ FSZ＿E1 、および絶対座標における位置を示すフ
ラグFPOS＿E1 は、VOP再構成回路２５９に供給される。

【０２９７】次に、図３９におけるVOP再構成回路２５
９について説明する。図４１にVOP再構成回路２５９の
構成例を示す。なお、このVOP再構成回路２５９は、こ
の例では、VOP復号回路１１２の構成の一部として、図
３９に示されているが、図５２の画像信号復号装置に対
応させて説明した場合、このVOP再構成回路２５９は、
画像再構成回路１１３の構成の一部となる。各レイヤの
復号回路から出力される、画像信号、 key 信号、予測
参照レイヤに対する倍率を示すフラグFR、VOPの大きさ
及び位置を示すフラグ FSZ，FPOS は、まず、解像度変
換回路３１１乃至３１３に入力され、所定の倍率で解像
度変換される。

【０２９８】最終的に、どのレイヤを復号して表示する
かは、外部でユーザーによって設定され、どのレイヤを
表示するかを示すフラグ D＿Mがレイヤ選択回路３１７
に供給される。

【０２９９】解像度変換回路３１１乃至３１３は表示す
るレイヤおよび予測参照レイヤに対する倍率を示すフラ
グFRにより変換倍率を決定する。倍率はより上位のレイ
ヤから決定される。まず、外部より供給される表示する
レイヤを示すフラグに基づき、表示する最上位のレイヤ
の解像度変換倍率を１倍とする。次に、このレイヤが予
測参照するレイヤの倍率は、最上位のレイヤにおいて伝
送される予測参照レイヤに対する倍率FRに基づく。即ち
FR倍となる。さらにこのレイヤが予測参照するレイヤの
倍率は、（このレイヤの倍率）×（このレイヤのFR）と
なる。以下同様にして解像度変換の倍率は決定される。

【０３００】解像度変換された画像信号、key 信号、VO
Pの大きさおよび位置を示す信号 FSZ，FPOS はフレーム
メモリ群３１４乃至３１６に供給され、記憶された後、
所定の順番で読み出される。

【０３０１】どのレイヤを表示するかを示すフラグ D＿
M は、レイヤ選択回路３１７に入力される。レイヤ選択
回路３１７はD＿Mに基づき、表示するレイヤについては
スイッチをオンし、演算回路３１４に供給する。また表
示しないレイヤについてはスイッチをオフし、そのレイ
ヤの復号画像を読み出さない。

【０３０２】レイヤ選択回路３１７から供給される画像
信号は、それぞれの key 信号に基づき、演算回路３１
４により加算される。そして、図５２における画像再構
成回路１１３で、各VOP再構成回路から供給される画像
信号及び key 信号に基づいて画像信号を再構成し、外
部に出力する。

【０３０３】図４２にVOP再構成回路２５９の変形構成
例を示す。図４２は、符号化時に、各レイヤの画素置換
回路２３１が fill_mode = "0" として置換処理を行っ
ている場合の構成例である。この場合、fill_mode = "
0" と設定されたレイヤの復号回路からは、画像信号の
みがVOP再構成回路２５９に供給される。

【０３０４】VOP再構成回路２５９に入力された画像信
号は、レイヤ選択回路３１７に入力される。

【０３０５】最終的に、どのレイヤを復号して表示する
かは、同様に外部でユーザーによって設定され、どのレ
イヤを表示するかを示すフラグ D＿Mがレイヤ選択回路
３１７に供給される。

【０３０６】レイヤ選択回路３１７はD＿Mに基づき、表
示するレイヤについてはスイッチをオンし、また表示し
ないレイヤについてはスイッチをオフし、そのレイヤの
復号画像を読み出さない。図４２における構成では、ス
イッチは、常に１つのみしかオンされず、その他はオフ
される。

【０３０７】fill_mode = "0" で符号化すると、図４２
のような簡易なVOP再構成回路を実現できる。これによ
ると図４１のフレームメモリ群３１４乃至３１６が削減
可能であり、コストを下げることが可能である。

【０３０８】fill_mode = "0" となるのは、例えば図３
８のような場合である。この場合、上位レイヤ（VOL
１，VOL２）のいずれのレイヤについても、復号回路に
おけるフレームメモリ群２６には全て同じ領域に対応す
る画像が記録されており、また画素置換が同一位置の解
像度の低い画像信号を用いて行われるため、いずれか１
つのレイヤの画像信号を各フレームメモリ群２６から直
接読み出すだけで良い。即ち、復号回路（図４０）にお
けるフレームメモリ群２６とVOP再構成回路２５９（図
４１）におけるフレームメモリ群３１４乃至３１６を共
用することが可能である。

【０３０９】これに対して、fill_mode = "1" である場
合、例えば図３７に示すような例の場合、各レイヤの対
応する領域が必ずしも一致せず、また、画素置換にフレ
ーム内外挿を用いるため、復号回路における予測用フレ
ームメモリ群２６とVOP再構成回路２５９におけるフレ
ームメモリ群３１４乃至３１６を共用することが出来な
い。このため図４１に示すような構成となる。

【０３１０】ただし、fill_mode = "0" とすると、予測
用メモリと再構成用メモリを共用してしまっているた
め、画像のオブジェクト単位の編集には不向きである。
例えば、画像の背景のみ別のビットストリームに置き換
えたりするには、VOP再構成回路２５９を図４１に示す
ような構成としたほうが良い。

【０３１１】従って、符号化効率優先するか、または回
路規模を小さくする場合、fill_mode = "0" として画素
置換を行い、符号化／復号する。また、画像の再編集を
優先する場合、fill_mode = "1" として符号化する。

【０３１２】次に、第２の実施の形態におけるスケーラ
ブル符号化のシンタクスを、 MPEG4VM(Verification Mo
del) を例にして説明する。第２の実施の形態において
はＶＯＬを除き第１の実施の形態のシンタクスと同様で
ある。

【０３１３】図４３に、ＶＯＬのシンタクスを示す。
fill＿modeは第１の実施の形態と同様に１ビットのフ
ラグで画素置換方法を示す。これが１である場合、解像
度変換後の下位レイヤの画像を用いて画素の置換を行
う。このフラグは上位レイヤにおいてのみ伝送される。

【０３１４】enhancement_type は１ビットのフラグ
で、そのレイヤが予測参照するレイヤの一部分であるか
どうかを示すフラグである。これが "1" である場合、
そのレイヤは参照レイヤの画像の一部分であることを示
す。それ以外の場合は "0" となる。

【０３１５】なお、上記したような処理を行うコンピュ
ータプログラムをユーザに伝送する伝送媒体としては、
磁気ディスク、CD-ROM、固体メモリなどの記録媒体の
他、ネットワーク、衛星などの通信媒体を利用すること
ができる。

【０３１６】なお、本発明の主旨を逸脱しない範囲にお
いて、様々な変形や応用例が考えられる。従って、本発
明の要旨は、実施の形態に限定されるものではない。

【０３１７】

【発明の効果】以上のごとく、請求項１に記載の画像信
号符号化装置、請求項６に記載の画像信号符号化方法、
および請求項７に記載の画像信号伝送方法によれば、上
位レイヤ画像信号の画像物体の外側の画素値を下位レイ
ヤ画像信号の所定の画素値と置換して、参照画像信号を
生成するようにした。

【０３１８】請求項８に記載の画像信号復号装置および
請求項１１に記載の画像信号復号方法によれば、フラグ
に従って、すでに復号された上位レイヤ画像信号の画像
物体の外側の画素値を下位レイヤ画像信号の所定の画素
値と置換して、置換画像信号を生成するようにした。

【０３１９】請求項１２に記載の画像信号記録媒体によ
れば、上位レイヤ画像信号の画像物体の外側の画素値を
下位レイヤ画像信号の所定の画素値と置換して、参照画
像信号を生成するようにした。

【０３２０】

【０３２１】

【０３２２】

【０３２３】

【０３２４】従って、いずれの場合にも、動きベクトル
検出の効率および符号化効率を向上することが可能とな
る。また、演算コストの削減を図ることができる。

【図面の簡単な説明】

【図１】本発明の画像信号符号化装置に適用するVOP符
号化回路の構成例を示すブロック図である。

【図２】上位レイヤと下位レイヤのピクチャの処理を説
明する図である。

【図３】上位レイヤと下位レイヤの画像の関係を説明す
る図である。

【図４】上位レイヤと下位レイヤの画像の関係を説明す
る図である。

【図５】上位レイヤと下位レイヤの画像の関係を説明す
る図である。

【図６】上位レイヤと下位レイヤの画像の関係を説明す
る図である。

【図７】上位レイヤと下位レイヤの画像の関係を説明す
る図である。

【図８】図１の下位レイヤ符号化回路２０４の構成例を
示すブロック図である。

【図９】図８の画素置換回路２２１の動作を説明するフ
ローチャートである。

【図１０】図９のフローチャートの処理を説明する図で
ある。

【図１１】図１の上位レイヤ符号化回路２０３の構成例
を示すブロック図である。

【図１２】上位レイヤと下位レイヤのピクチャの処理を
説明する図である。

【図１３】画素置換の処理を説明する図である。

【図１４】図１１の画素置換回路２３１の処理を説明す
るフローチャートである。

【図１５】画素置換の処理を説明する図である。

【図１６】画素置換の処理を説明する図である。

【図１７】画素置換の処理を説明するフローチャートで
ある。

【図１８】本発明の画像信号復号装置に適用されるVOP
復号回路の構成例を示すブロック図である。

【図１９】図１８の下位レイヤ復号回路２５４の構成例
を示すブロック図である。

【図２０】図１８の上位レイヤ復号回路２５３の構成例
を示すブロック図である。

【図２１】ビットストリームの構成を説明する図であ
る。

【図２２】Video Sessionのシンタックスを説明する図
である。

【図２３】Video Objectのシンタックスを説明する図で
ある。

【図２４】Video Object Layerのシンタックスを説明す
る図である。

【図２５】Video Object Planeのシンタックスを説明す
る図である。

【図２６】Video Object Planeのシンタックスを説明す
る図である。

【図２７】Video Object Planeのシンタックスを説明す
る図である。

【図２８】空間スケーラブル符号化の例を示す図であ
る。

【図２９】空間スケーラブル符号化の例を示す図であ
る。

【図３０】空間スケーラブル符号化の例を示す図であ
る。

【図３１】空間スケーラブル符号化の例を示す図であ
る。

【図３２】空間スケーラブル符号化の例を示す図であ
る。

【図３３】空間スケーラブル符号化の例を示す図であ
る。

【図３４】本発明の画像信号符号化装置に適用するVOP
符号化回路の他の構成例を示すブロック図である。

【図３５】図３４の上位レイヤ１符号化回路２０３の構
成例を示すブロック図である。

【図３６】図３５の画素置換回路２３１の処理を説明す
るフローチャートである。

【図３７】下位レイヤ、上位レイヤ１、および上位レイ
ヤ２の画像の関係を説明する図である。

【図３８】下位レイヤ、上位レイヤ１、および上位レイ
ヤ２の画像の関係を説明する図である。

【図３９】本発明の画像信号復号装置に適用されるVOP
復号回路の他の構成例を示すブロック図である。

【図４０】図３９の上位レイヤ１復号回路２５３の構成
例を示すブロック図である。

【図４１】図３９のVOP再構成回路２５９の構成例を示
すブロック図である。

【図４２】図３９のVOP再構成回路２５９の他の構成例
を示すブロック図である。

【図４３】Video Object Layerのシンタックスを説明す
る図である。

【図４４】従来の画像信号符号化装置の構成例を示すブ
ロック図である。

【図４５】従来の画像信号復号装置の構成例を示すブロ
ック図である。

【図４６】従来の画像信号符号化装置の他の構成例を示
すブロック図である。

【図４７】従来の画像信号復号装置の他の構成例を示す
ブロック図である。

【図４８】画像の合成を説明する図である。

【図４９】画像の合成を説明する図である。

【図５０】画像の合成を説明する図である。

【図５１】従来の画像信号符号化装置のさらに他の構成
例を示すブロック図である。

【図５２】従来の画像信号復号装置のさらに他の構成例
を示すブロック図である。

【図５３】図５１のVOP符号化回路１０３−０の構成例
を示すブロック図である。

【図５４】図５２のVOP復号回路１１２−０の構成例を
示すブロック図である。

【図５５】絶対座標を説明する図である。

【図５６】画像オブジェクトを説明する図である。

【図５７】画像オブジェクトを説明する他の図である。

【符号の説明】

２０１画像信号階層化回路，２０２遅延回路，
２０３上位レイヤ符号化回路，２０４下位レイヤ
符号化回路，２０５解像度変換回路，２０６多
重化回路，２５１逆多重化回路，２５２遅延回
路，２５３上位レイヤ復号回路，２５４下位レイ
ヤ復号回路，２５５解像度変換回路

───────────────────────────────────────────────────── フロントページの続き (56)参考文献特開平10−70728（ＪＰ，Ａ) 特開平10−84544（ＪＰ，Ａ) 特開平８−294119（ＪＰ，Ａ) 画像圧縮方式ＭＰＥＧ４の国際標準化最前線，日経エレクトロニクス，日本, 1996年９月２日，669，ｐ．127− 136 (58)調査した分野(Int.Cl.⁷，ＤＢ名) H04N 7/24 - 7/68 H04N 5/91 - 5/95

Claims

(57)【特許請求の範囲】

【請求項１】複数の画像信号をそれぞれ符号化する画
像信号符号化装置において、上記複数の画像信号の少なくとも１つは、動きを有する
画像物体を表す画像信号であり、上記複数の画像信号の
中の他の画像信号と合成するための信号を含んでおり、動きを有する画像物体を表す上記画像信号をスケーラブ
ルに表現した上位レイヤ画像信号と下位レイヤ画像信号
を提供する提供手段と、上記上位レイヤ画像信号を符号化して、上位レイヤ符号
化信号を発生する上位レイヤ符号化手段と、上記下位レイヤ画像信号を符号化して、下位レイヤ符号
化信号を発生する下位レイヤ符号化手段とを備え、上記上位レイヤ符号化手段は、上記上位レイヤ画像信号の画像物体の外側の画素値を下
位レイヤ画像信号の所定の画素値と置換して、符号化す
べき上位レイヤ画像信号の動きベクトルを算出するため
の参照画像信号を生成する生成手段と、上記参照画像信号を用いて、上記符号化すべき上位レイ
ヤ画像信号の動きベクトルを検出する検出手段と、検出された動きベクトルを用いて動き補償を行うことに
より生成された上記符号化すべき上位レイヤ画像信号の
ための予測画像信号を用いて上記符号化すべき上位レイ
ヤ画像信号を符号化する符号化手段とを備えることを特
徴とする画像信号符号化装置。
【請求項２】上記生成手段は、上記上位レイヤ画像信
号の画像物体の外側の画素値を上記参照画像信号と同時
刻の下位レイヤ画像信号の対応する位置の画素値と置換
して、符号化すべき上位レイヤ画像信号の動きベクトル
を算出するための参照画像信号を生成することを特徴と
する請求項１に記載の画像信号符号化装置。
【請求項３】上記生成手段は、上記上位レイヤ画像信
号の画像物体の外側の画素値を上記符号化すべき画像信
号と同時刻の下位レイヤ画像信号の対応する位置の画素
値と置換して、符号化すべき上位レイヤ画像信号の動き
ベクトルを算出するための参照画像信号を生成すること
を特徴とする請求項１に記載の画像信号符号化装置。
【請求項４】上記上位レイヤ符号化手段は、置換する
画像を示すフラグを生成することを特徴とする請求項１
に記載の画像信号符号化装置。
【請求項５】上記生成手段は、第１の置換モードと第
２の置換モードとを有し、上記第１の置換モードにおい
ては、上記上位レイヤ画像信号の画像物体の画素値を下
位レイヤ画像信号の所定の画素値と置換して、符号化す
べき上位レイヤ画像信号の動きベクトルを算出するため
の参照画像信号を生成し、上記第２の置換モードにおい
ては、上記上位レイヤ画像信号の画像物体の外側の画素
値を上記画像物体内の画素値を用いて外挿処理して、符
号化すべき上位レイヤ画像信号の動きベクトルを算出す
るための参照画像信号を生成し、そのモードを示すフラ
グを発生することを特徴とする請求項１に記載の画像信
号符号化装置。
【請求項６】複数の画像信号をそれぞれ符号化する画
像信号符号化方法において、上記複数の画像信号の少なくとも１つは、動きを有する
画像物体を表す画像信号であり、上記複数の画像信号の
中の他の画像信号と合成するための信号を含んでおり、動きを有する画像物体を表す上記画像信号をスケーラブ
ルに表現した上位レイヤ画像信号と下位レイヤ画像信号
を提供する提供ステップと、上記上位レイヤ画像信号を符号化して、上位レイヤ符号
化信号を発生する上位レイヤ符号化ステップと、上記下位レイヤ画像信号を符号化して、下位レイヤ符号
化信号を発生する下位レイヤ符号化ステップとを備え、上記上位レイヤ符号化ステップは、上記上位レイヤ画像信号の画像物体の外側の画素値を下
位レイヤ画像信号の所定の画素値と置換して、符号化す
べき上位レイヤ画像信号の動きベクトルを算出するため
の参照画像信号を生成するステップと、上記参照画像信号を用いて、上記符号化すべき上位レイ
ヤ画像信号の動きベクトルを検出するステップと、検出された動きベクトルを用いて動き補償を行うことに
より生成された上記符号化すべき上位レイヤ画像信号の
ための予測画像信号を用いて上記符号化すべき上位レイ
ヤ画像信号を符号化するステップとを備えることを特徴
とする画像信号符号化方法。
【請求項７】複数の画像信号をそれぞれ符号化して、
符号化信号を伝送する画像信号伝送方法において、上記複数の画像信号の少なくとも１つは、動きを有する
画像物体を表す画像信号であり、上記複数の画像信号の
中の他の画像信号と合成するための信号を含んでおり、動きを有する画像物体を表す上記画像信号をスケーラブ
ルに表現した上位レイヤ画像信号と下位レイヤ画像信号
を提供する提供ステップと、上記上位レイヤ画像信号を符号化して、上位レイヤ符号
化信号を発生する上位レイヤ符号化ステップと、上記下位レイヤ画像信号を符号化して、下位レイヤ符号
化信号を発生する下位レイヤ符号化ステップとを備え、上記上位レイヤ符号化ステップは、上記上位レイヤ画像信号の画像物体の外側の画素値を下
位レイヤ画像信号の所定の画素値と置換して、符号化す
べき上位レイヤ画像信号の動きベクトルを算出するため
の参照画像信号を生成するステップと、上記参照画像信号を用いて、上記符号化すべき上位レイ
ヤ画像信号の動きベクトルを検出するステップと、検出された動きベクトルを用いて動き補償を行うことに
より生成された上記符号化すべき上位レイヤ画像信号の
ための予測画像信号を用いて上記符号化すべき上位レイ
ヤ画像信号を符号化するステップと、置換する画像を示すフラグを生成するステップとを備え
ることを特徴とする画像信号伝送方法。
【請求項８】複数の画像信号をそれぞれ符号化するこ
とにより生成された符号化信号を受信し、その符号化信
号を復号する画像信号復号装置において、上記複数の画像信号の少なくとも１つは、動きを有する
画像物体を表す画像信号であり、上記複数の画像信号の
中の他の画像信号と合成するための信号を含んでおり、上記符号化信号は、上位レイヤ符号化信号、下位レイヤ
符号化信号、動きベクトル及び置換する画像を示すフラ
グからなり、上記符号化信号から、上記上位レイヤ符号化信号、上記
下位レイヤ画像信号、上記動きベクトル及び上記フラグ
を分離する分離手段と、上記下位レイヤ符号化信号を復号し、復号された下位レ
イヤ画像信号を生成する下位レイヤ復号手段と、上記上位レイヤ符号化信号を復号し、復号された上位レ
イヤ画像信号を生成する上位レイヤ復号手段とを備え、上記上位レイヤ復号手段は、上記フラグに従って、すでに復号された上位レイヤ画像
信号の画像物体の外側の画素値を下位レイヤ画像信号の
所定の画素値と置換して、置換画像信号を生成する置換
画像生成手段と、上記動きベクトルを用いて上記置換画像信号を動き補償
することにより生成された予測画像信号を用いて上記復
号された上位レイヤ画像信号を生成する生成手段とを備
えることを特徴とする画像信号復号装置。
【請求項９】上記置換画像生成手段は、上記上位レイ
ヤ画像信号の画像物体の外側の画素値を上記参照画像信
号と同時刻の下位レイヤ画像信号の対応する位置の画素
値と置換して、上記置換画像信号を生成することを特徴
とする請求項８に記載の画像信号復号装置。
【請求項１０】上記置換画像生成手段は、上記上位レ
イヤ画像信号の画像物体の外側の画素値を上記符号化す
べき画像信号と同時刻の下位レイヤ画像信号の対応する
位置の画素値と置換して、上記置換画像信号を生成する
ことを特徴とする請求項８に記載の画像信号復号装置。
【請求項１１】複数の画像信号をそれぞれ符号化する
ことにより生成された符号化信号を受信し、その符号化
信号を復号する画像信号復号方法において、上記複数の
画像信号の少なくとも１つは、動きを有する画像物体を
表す画像信号であり、上記複数の画像信号の中の他の画
像信号と合成するための信号を含んでおり、上記符号化
信号は、上位レイヤ符号化信号、下位レイヤ符号化信
号、動きベクトル及び置換する画像を示すフラグからな
り、上記符号化信号から上記上位レイヤ符号化信号、上
記下位レイヤ画像信号、上記動きベクトル及び上記フラ
グを分離する分離ステップと、上記下位レイヤ符号化信
号を復号し、復号された下位レイヤ画像信号を生成する
下位レイヤ復号ステップと、上記上位レイヤ符号化信号
を復号し、復号された上位レイヤ画像信号を生成する上
位レイヤ復号ステップとを備え、上記上位レイヤ復号ス
テップは、上記フラグに従って、すでに復号された上位
レイヤ画像信号の画像物体の外側の画素値を下位レイヤ
画像信号の所定の画素値と置換して、置換画像信号を生
成する置換画像生成ステップと、上記動きベクトルを用
いて上記置換画像信号を動き補償することにより生成さ
れた予測画像信号を用いて上記復号された上位レイヤ画
像信号を生成する生成ステップとを備えることを特徴と
する画像信号復号方法。
【請求項１２】復号装置によって復号可能な記録信号
が記録されている画像信号記録媒体において、上記記録
信号は、複数の画像信号をそれぞれ符号化することによ
り生成された符号化信号を有し、上記複数の画像信号の少なくとも１つは、動きを有する
画像物体を表す画像信号であり、上記複数の画像信号の
中の他の画像信号と合成するための信号を含んでおり、上記符号化信号は、上位レイヤ符号化信号、下位レイヤ
符号化信号、動きベクトル及び置換する画像を示すフラ
グからなり、上記符号化信号は、動きを有する画像物体を表す上記画像信号をスケーラブ
ルに表現した上位レイヤ画像信号と下位レイヤ画像信号
を提供する提供ステップと、上記上位レイヤ画像信号を符号化して、上位レイヤ符号
化信号を発生する上位レイヤ符号化ステップと、上記下位レイヤ画像信号を符号化して、下位レイヤ符号
化信号を発生する下位レイヤ符号化ステップとにより生
成され、上記上位レイヤ符号化ステップは、上記上位レイヤ画像信号の画像物体の外側の画素値を下
位レイヤ画像信号の所定の画素値と置換して、符号化す
べき上位レイヤ画像信号の動きベクトルを算出するため
の参照画像信号を生成するステップと、上記参照画像信号を用いて、上記符号化すべき上位レイ
ヤ画像信号の動きベクトルを検出するステップと、検出された動きベクトルを用いて動き補償を行うことに
より生成された上記符号化すべき上位レイヤ画像信号の
ための予測画像信号を用いて上記符号化すべき上位レイ
ヤ画像信号を符号化するステップと、置換する画像を示すフラグを生成するステップとを備え
ることを特徴とする画像信号記録媒体。