JPH1141558A - 画像信号復号化装置および画像信号復号化方法、並びに伝送媒体 - Google Patents
画像信号復号化装置および画像信号復号化方法、並びに伝送媒体Info
- Publication number
- JPH1141558A JPH1141558A JP18950197A JP18950197A JPH1141558A JP H1141558 A JPH1141558 A JP H1141558A JP 18950197 A JP18950197 A JP 18950197A JP 18950197 A JP18950197 A JP 18950197A JP H1141558 A JPH1141558 A JP H1141558A
- Authority
- JP
- Japan
- Prior art keywords
- image
- circuit
- upper layer
- decoding
- lower layer
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Abstract
(57)【要約】
【課題】 構成を簡略化し、低コスト化を図る。
【解決手段】 演算回路２５より出力した画像のうち、
オブジェクトの外側の画素を、可変長復号化回路２２で
検出した置換モード（fill_mode）に対応して置換す
る。画素を置換した画像を、予測画像生成のために、フ
レームメモリ群２６に供給し、記憶させるとともに、後
段のVOP再構成回路に出力し、下位レイヤ復号化回路で
復号化された下位レイヤの画像信号と選択して出力させ
る。
オブジェクトの外側の画素を、可変長復号化回路２２で
検出した置換モード（fill_mode）に対応して置換す
る。画素を置換した画像を、予測画像生成のために、フ
レームメモリ群２６に供給し、記憶させるとともに、後
段のVOP再構成回路に出力し、下位レイヤ復号化回路で
復号化された下位レイヤの画像信号と選択して出力させ
る。
Description
【０００１】
【発明の属する技術分野】本発明は、動画像信号を、例
えば光磁気ディスクや磁気テープなどの記録媒体に記録
し、これを再生してディスプレイに表示したり、テレビ
会議システム、テレビ電話システム、放送用機器、マル
チメディアデータベース検索システムなど、動画像信号
を伝送路を介して送信側から受信側に伝送し、受信側に
おいてこれを受信し、表示する場合、あるいは動画像信
号を編集し、記録する場合などに用いて好適な画像信号
復号化装置および画像信号復号化方法、並びに伝送媒体
に関する。
えば光磁気ディスクや磁気テープなどの記録媒体に記録
し、これを再生してディスプレイに表示したり、テレビ
会議システム、テレビ電話システム、放送用機器、マル
チメディアデータベース検索システムなど、動画像信号
を伝送路を介して送信側から受信側に伝送し、受信側に
おいてこれを受信し、表示する場合、あるいは動画像信
号を編集し、記録する場合などに用いて好適な画像信号
復号化装置および画像信号復号化方法、並びに伝送媒体
に関する。
【０００２】
【従来の技術】例えば、テレビ会議システム、テレビ電
話システムなどのように、動画像信号を遠隔地に伝送す
るシステムにおいては、伝送路を効率良く利用するた
め、映像信号のライン相関やフレーム間相関を利用し
て、画像信号を圧縮符号化するようになされている。
話システムなどのように、動画像信号を遠隔地に伝送す
るシステムにおいては、伝送路を効率良く利用するた
め、映像信号のライン相関やフレーム間相関を利用し
て、画像信号を圧縮符号化するようになされている。
【０００３】動画像の高能率符号化方式の代表的なもの
としてMPEG(Moving Picture Experts Group)(蓄積用動
画像符号化)方式がある。これはISO-IEC/JTC1/SC2/WG11
にて議論され、標準案として提案されたものであり、動
き補償予測符号化とDCT（Discrete Cosine Transform）
符号化を組み合わせたハイブリッド方式が採用されてい
る。
としてMPEG(Moving Picture Experts Group)(蓄積用動
画像符号化)方式がある。これはISO-IEC/JTC1/SC2/WG11
にて議論され、標準案として提案されたものであり、動
き補償予測符号化とDCT（Discrete Cosine Transform）
符号化を組み合わせたハイブリッド方式が採用されてい
る。
【０００４】MPEGでは様々なアプリケーションや機能に
対応するために、いくつかのプロファイル（機能の分
類）およびレベル（画像サイズなどの量）が定義されて
いる。最も基本となるのが、メインプロファイルのメイ
ンレベル（MP@ML)である。
対応するために、いくつかのプロファイル（機能の分
類）およびレベル（画像サイズなどの量）が定義されて
いる。最も基本となるのが、メインプロファイルのメイ
ンレベル（MP@ML)である。
【０００５】図３８を参照して、MPEG方式の MP@ML の
エンコーダ（画像信号符号化装置）の構成例について説
明する。入力画像信号はまずフレームメモリ群１に入力
され、所定の順番で記憶される。符号化されるべき画像
データは、マクロブロック単位で動きベクトル検出回路
(ME)２に入力される。動きベクトル検出回路２は、予め
設定されている所定のシーケンスに従って、各フレーム
の画像データを、Ｉピクチャ、Ｐピクチャ、またはＢピ
クチャとして処理する。シーケンシャルに入力される各
フレームの画像を、Ｉ，Ｐ，Ｂのいずれのピクチャとし
て処理するかは、予め定められている（例えば、Ｉ，
Ｂ，Ｐ，Ｂ，Ｐ，・・・Ｂ，Ｐの順番で処理される）。
エンコーダ（画像信号符号化装置）の構成例について説
明する。入力画像信号はまずフレームメモリ群１に入力
され、所定の順番で記憶される。符号化されるべき画像
データは、マクロブロック単位で動きベクトル検出回路
(ME)２に入力される。動きベクトル検出回路２は、予め
設定されている所定のシーケンスに従って、各フレーム
の画像データを、Ｉピクチャ、Ｐピクチャ、またはＢピ
クチャとして処理する。シーケンシャルに入力される各
フレームの画像を、Ｉ，Ｐ，Ｂのいずれのピクチャとし
て処理するかは、予め定められている（例えば、Ｉ，
Ｂ，Ｐ，Ｂ，Ｐ，・・・Ｂ，Ｐの順番で処理される）。
【０００６】動きベクトル検出回路２は予め定められた
所定の参照フレームを参照し、動き補償を行い、その動
きベクトルを検出する。動き補償（フレーム間予測）に
は、前方予測、後方予測、両方向予測の３種類の予測モ
ードがある。Ｐピクチャの予測モードは前方予測のみで
あり、Ｂピクチャの予測モードには前方予測、後方予
測、両方向予測の３種類がある。動きベクトル検出回路
２は予測誤差を最小にする予測モードを選択し、そのと
きの予測ベクトルを発生する。
所定の参照フレームを参照し、動き補償を行い、その動
きベクトルを検出する。動き補償（フレーム間予測）に
は、前方予測、後方予測、両方向予測の３種類の予測モ
ードがある。Ｐピクチャの予測モードは前方予測のみで
あり、Ｂピクチャの予測モードには前方予測、後方予
測、両方向予測の３種類がある。動きベクトル検出回路
２は予測誤差を最小にする予測モードを選択し、そのと
きの予測ベクトルを発生する。
【０００７】このとき、予測誤差は、例えば、符号化す
るマクロブロックの分散と比較され、マクロブロックの
分散の方が小さい場合、そのマクロブロックでは予測は
行わず、フレーム内符号化が行われる。この場合、予測
モードは画像内予測（イントラ）となる。動きベクトル
検出回路２で検出された動きベクトルおよび上記予測モ
ードは、可変長符号化回路６および動き補償回路(MC)１
２に入力される。
るマクロブロックの分散と比較され、マクロブロックの
分散の方が小さい場合、そのマクロブロックでは予測は
行わず、フレーム内符号化が行われる。この場合、予測
モードは画像内予測（イントラ）となる。動きベクトル
検出回路２で検出された動きベクトルおよび上記予測モ
ードは、可変長符号化回路６および動き補償回路(MC)１
２に入力される。
【０００８】動き補償回路１２では所定の動きベクトル
に基づいて予測画像を生成し、演算回路３と演算回路１
０に入力する。演算回路３では符号化するマクロブロッ
クの値と予測画像の値の差分信号を演算し、 DCT 回路
４に出力する。イントラマクロブロックの場合、演算回
路３は符号化するマクロブロックの信号を、そのままDC
T 回路４に出力する。
に基づいて予測画像を生成し、演算回路３と演算回路１
０に入力する。演算回路３では符号化するマクロブロッ
クの値と予測画像の値の差分信号を演算し、 DCT 回路
４に出力する。イントラマクロブロックの場合、演算回
路３は符号化するマクロブロックの信号を、そのままDC
T 回路４に出力する。
【０００９】DCT 回路４は、入力された信号を DCT（離
散コサイン変換）処理し、 DCT 係数に変換する。このD
CT係数は、量子化回路(Q)５に入力され、送信バッファ
７のデータ蓄積量（バッファ蓄積量）に対応した量子化
ステップで量子化された後、可変長符号化回路６に入力
される。
散コサイン変換）処理し、 DCT 係数に変換する。このD
CT係数は、量子化回路(Q)５に入力され、送信バッファ
７のデータ蓄積量（バッファ蓄積量）に対応した量子化
ステップで量子化された後、可変長符号化回路６に入力
される。
【００１０】可変長符号化回路６は、量子化回路５より
供給される量子化ステップ（スケール）に対応して、量
子化回路５より供給される画像データを、例えばハフマ
ン符号などの可変長符号に変換し、送信バッファ７に出
力する。
供給される量子化ステップ（スケール）に対応して、量
子化回路５より供給される画像データを、例えばハフマ
ン符号などの可変長符号に変換し、送信バッファ７に出
力する。
【００１１】可変長符号化回路６にはまた、量子化回路
５より量子化ステップ（スケール）、動きベクトル検出
回路２より予測モード（画像内予測、前方予測、後方予
測、または両方向予測のいずれが設定されたかを示すモ
ード）および動きベクトル、が入力されており、これら
も可変長符号化される。
５より量子化ステップ（スケール）、動きベクトル検出
回路２より予測モード（画像内予測、前方予測、後方予
測、または両方向予測のいずれが設定されたかを示すモ
ード）および動きベクトル、が入力されており、これら
も可変長符号化される。
【００１２】送信バッファ７は、入力されたデータを一
時蓄積し、蓄積量に対応する量子化制御信号を量子化回
路５に出力する。
時蓄積し、蓄積量に対応する量子化制御信号を量子化回
路５に出力する。
【００１３】送信バッファ７は、そのデータ残量が許容
上限値まで増量すると、量子化制御信号によって量子化
回路５の量子化スケールを大きくすることにより、量子
化データのデータ量を低下させる。また、これとは逆
に、データ残量が許容下限値まで減少すると、送信バッ
ファ７は、量子化制御信号によって量子化回路５の量子
化スケールを小さくすることにより、量子化データのデ
ータ量を増大させる。このようにして、送信バッファ７
のオーバフローまたはアンダフローが防止される。
上限値まで増量すると、量子化制御信号によって量子化
回路５の量子化スケールを大きくすることにより、量子
化データのデータ量を低下させる。また、これとは逆
に、データ残量が許容下限値まで減少すると、送信バッ
ファ７は、量子化制御信号によって量子化回路５の量子
化スケールを小さくすることにより、量子化データのデ
ータ量を増大させる。このようにして、送信バッファ７
のオーバフローまたはアンダフローが防止される。
【００１４】そして、送信バッファ７に蓄積されたデー
タは、所定のタイミングで読み出され、伝送路に出力さ
れる。
タは、所定のタイミングで読み出され、伝送路に出力さ
れる。
【００１５】一方、量子化回路５より出力されたデータ
は、逆量子化回路(IQ)８に入力され、量子化回路５より
供給される量子化ステップに対応して逆量子化される。
逆量子化回路８の出力は、IDCT（逆DCT）回路９に入力
され、逆DCT処理された後、演算回路１０を介してフレ
ームメモリ群(FM)１１に記憶される。
は、逆量子化回路(IQ)８に入力され、量子化回路５より
供給される量子化ステップに対応して逆量子化される。
逆量子化回路８の出力は、IDCT（逆DCT）回路９に入力
され、逆DCT処理された後、演算回路１０を介してフレ
ームメモリ群(FM)１１に記憶される。
【００１６】次に、図３９を用いて、MPEG の MP@ML の
デコーダ（画像信号復号化装置）の構成例を説明する。
伝送路を介して伝送されてきた、符号化されている画像
データは、図示せぬ受信回路で受信されたり、再生装置
で再生され、受信バッファ２１に一時記憶された後、可
変長復号化(IVLC)回路２２に供給される。可変長復号化
回路２２は、受信バッファ２１より供給されたデータを
可変長復号化し、動きベクトルと予測モードを動き補償
回路２７に、また、量子化ステップを逆量子化回路２３
に、それぞれ出力するとともに、復号化した画像データ
を逆量子化回路２３に出力する。
デコーダ（画像信号復号化装置）の構成例を説明する。
伝送路を介して伝送されてきた、符号化されている画像
データは、図示せぬ受信回路で受信されたり、再生装置
で再生され、受信バッファ２１に一時記憶された後、可
変長復号化(IVLC)回路２２に供給される。可変長復号化
回路２２は、受信バッファ２１より供給されたデータを
可変長復号化し、動きベクトルと予測モードを動き補償
回路２７に、また、量子化ステップを逆量子化回路２３
に、それぞれ出力するとともに、復号化した画像データ
を逆量子化回路２３に出力する。
【００１７】逆量子化回路２３は、可変長復号化回路２
２より供給された画像データを、同じく可変長復号化回
路２２より供給された量子化ステップに従って逆量子化
し、IDCT回路２４に出力する。逆量子化回路２３より出
力されたデータ（DCT係数）は、IDCT回路２４で、逆DCT
処理され、演算回路２５に供給される。
２より供給された画像データを、同じく可変長復号化回
路２２より供給された量子化ステップに従って逆量子化
し、IDCT回路２４に出力する。逆量子化回路２３より出
力されたデータ（DCT係数）は、IDCT回路２４で、逆DCT
処理され、演算回路２５に供給される。
【００１８】IDCT回路２４より供給された画像データ
が、Ｉピクチャのデータである場合、そのデータは演算
回路２５より出力され、演算回路２５に後に入力される
画像データ（ＰまたはＢピクチャのデータ）の予測画像
データ生成のために、フレームメモリ群２６に供給され
て記憶される。また、このデータは、そのまま、再生画
像として外部に出力される。
が、Ｉピクチャのデータである場合、そのデータは演算
回路２５より出力され、演算回路２５に後に入力される
画像データ（ＰまたはＢピクチャのデータ）の予測画像
データ生成のために、フレームメモリ群２６に供給され
て記憶される。また、このデータは、そのまま、再生画
像として外部に出力される。
【００１９】入力ビットストリームがＰまたはＢピクチ
ャの場合、動き補償回路２７は可変長復号化回路２２よ
り供給される、動きベクトルおよび予測モードに従っ
て、フレームメモリ群２６に記憶されている画像データ
から予測画像を生成し、演算回路２５に出力する。演算
回路２５では IDCT 回路２４より入力される画像データ
と動き補償回路２７より供給される予測画像データを加
算し、出力画像とする。Ｐピクチャの場合、演算回路２
５の出力はまた、フレームメモリ群２６に入力され、記
憶され、次に復号化する画像信号の参照画像とされる。
ャの場合、動き補償回路２７は可変長復号化回路２２よ
り供給される、動きベクトルおよび予測モードに従っ
て、フレームメモリ群２６に記憶されている画像データ
から予測画像を生成し、演算回路２５に出力する。演算
回路２５では IDCT 回路２４より入力される画像データ
と動き補償回路２７より供給される予測画像データを加
算し、出力画像とする。Ｐピクチャの場合、演算回路２
５の出力はまた、フレームメモリ群２６に入力され、記
憶され、次に復号化する画像信号の参照画像とされる。
【００２０】MPEG では MP@ML の他に、様々なプロファ
イルおよびレベルが定義され、また各種ツールが用意さ
れている。スケーラビリティもMPEGのこのようなツール
の１つである。
イルおよびレベルが定義され、また各種ツールが用意さ
れている。スケーラビリティもMPEGのこのようなツール
の１つである。
【００２１】MPEGでは、異なる画像サイズやフレームレ
ートに対応するスケーラビリティを実現するスケーラブ
ル符号化方式が導入されている。例えば空間スケーラビ
リティの場合、下位レイヤのビットストリームのみを復
号化するとき、画像サイズの小さい画像信号を復号化
し、下位レイヤおよび上位レイヤのビットストリームを
復号化するとき、画像サイズの大きい画像信号を復号化
する。
ートに対応するスケーラビリティを実現するスケーラブ
ル符号化方式が導入されている。例えば空間スケーラビ
リティの場合、下位レイヤのビットストリームのみを復
号化するとき、画像サイズの小さい画像信号を復号化
し、下位レイヤおよび上位レイヤのビットストリームを
復号化するとき、画像サイズの大きい画像信号を復号化
する。
【００２２】図４０を用いて空間スケーラビリティのエ
ンコーダを説明する。空間スケーラビリティの場合、下
位レイヤは画像サイズの小さい画像信号に対応し、また
上位レイヤは画像サイズの大きい画像信号に対応する。
ンコーダを説明する。空間スケーラビリティの場合、下
位レイヤは画像サイズの小さい画像信号に対応し、また
上位レイヤは画像サイズの大きい画像信号に対応する。
【００２３】下位レイヤの画像信号はまずフレームメモ
リ群１に入力され、以下、MP@ML の場合と同様に符号化
される。ただし、演算回路１０の出力はフレームメモリ
群１１に供給され、下位レイヤの予測参照画像として用
いられるだけでなく、画像拡大回路（Up Sampling）３
１により上位レイヤの画像サイズと同一の画像サイズに
拡大された後、上位レイヤの予測参照画像にも用いられ
る。
リ群１に入力され、以下、MP@ML の場合と同様に符号化
される。ただし、演算回路１０の出力はフレームメモリ
群１１に供給され、下位レイヤの予測参照画像として用
いられるだけでなく、画像拡大回路（Up Sampling）３
１により上位レイヤの画像サイズと同一の画像サイズに
拡大された後、上位レイヤの予測参照画像にも用いられ
る。
【００２４】上位レイヤの画像信号はまず、フレームメ
モリ群５１に入力される。動きベクトル検出回路５２は
MP@ML の場合と同様に、動きベクトルおよび予測モー
ドを決定する。
モリ群５１に入力される。動きベクトル検出回路５２は
MP@ML の場合と同様に、動きベクトルおよび予測モー
ドを決定する。
【００２５】動き補償回路６２は動きベクトル検出回路
５２によって決定された動きベクトルおよび予測モード
に従って、予測画像を生成し、重み付加回路(W)３４に
出力する。重み付加回路３４では予測画像に対して重み
Ｗを乗算し、演算回路３３に出力する。
５２によって決定された動きベクトルおよび予測モード
に従って、予測画像を生成し、重み付加回路(W)３４に
出力する。重み付加回路３４では予測画像に対して重み
Ｗを乗算し、演算回路３３に出力する。
【００２６】演算回路１０の出力は画像拡大回路３１に
入力されている。画像拡大回路３１では演算回路１０に
よって生成された画像信号を拡大し、上位レイヤの画像
サイズと同一の大きさにして、重み付加回路(1-W)３２
に出力する。重み付加回路３２では、画像拡大回路３１
の出力に重み (1-W) を乗算し、演算回路３３に出力す
る。
入力されている。画像拡大回路３１では演算回路１０に
よって生成された画像信号を拡大し、上位レイヤの画像
サイズと同一の大きさにして、重み付加回路(1-W)３２
に出力する。重み付加回路３２では、画像拡大回路３１
の出力に重み (1-W) を乗算し、演算回路３３に出力す
る。
【００２７】演算回路３３は重み付加回路３２および３
４の出力を加算し、予測画像として演算回路５３に出力
する。演算回路３３の出力はまた、演算回路６０に入力
され、逆 DCT 回路５９の出力と加算された後、フレー
ムメモリ群６１に入力され、その後、符号化される画像
信号の予測参照フレームとして用いられる。
４の出力を加算し、予測画像として演算回路５３に出力
する。演算回路３３の出力はまた、演算回路６０に入力
され、逆 DCT 回路５９の出力と加算された後、フレー
ムメモリ群６１に入力され、その後、符号化される画像
信号の予測参照フレームとして用いられる。
【００２８】演算回路５３は符号化する画像信号と演算
回路３３の出力との差分を計算し、出力する。ただし、
フレーム内符号化マクロブロックの場合、演算回路５３
は符号化する画像信号を、そのまま DCT 回路５４に出
力する。
回路３３の出力との差分を計算し、出力する。ただし、
フレーム内符号化マクロブロックの場合、演算回路５３
は符号化する画像信号を、そのまま DCT 回路５４に出
力する。
【００２９】DCT 回路５４は演算回路５３の出力を DCT
（離散コサイン変換）処理してDCT係数を生成し、量子
化回路５５に出力する。量子化回路５５では MP＠ML の
場合と同様に、送信バッファ５７のデータ蓄積量などか
ら決定された量子化スケールにしたがって DCT 係数を
量子化し、可変長符号化回路５６に出力する。可変長符
号化回路５６は量子化された DCT 係数を可変長符号化
した後、送信バッファ５７を介して上位レイヤのビット
ストリームとして出力する。
（離散コサイン変換）処理してDCT係数を生成し、量子
化回路５５に出力する。量子化回路５５では MP＠ML の
場合と同様に、送信バッファ５７のデータ蓄積量などか
ら決定された量子化スケールにしたがって DCT 係数を
量子化し、可変長符号化回路５６に出力する。可変長符
号化回路５６は量子化された DCT 係数を可変長符号化
した後、送信バッファ５７を介して上位レイヤのビット
ストリームとして出力する。
【００３０】量子化回路５５の出力はまた、量子化回路
５５で用いた量子化スケールで逆量子化回路５８におい
て逆量子化され、逆 DCT 回路５９で逆 DCT 処理された
後、演算回路６０に入力される。演算回路６０では演算
回路３３と逆 DCT 回路５９の出力を加算し、フレーム
メモリ群６１に入力する。
５５で用いた量子化スケールで逆量子化回路５８におい
て逆量子化され、逆 DCT 回路５９で逆 DCT 処理された
後、演算回路６０に入力される。演算回路６０では演算
回路３３と逆 DCT 回路５９の出力を加算し、フレーム
メモリ群６１に入力する。
【００３１】可変長符号化回路５６にはまた、動きベク
トル検出回路５２で検出された動きベクトルおよび予測
モード、量子化回路５５で用いた量子化スケール、重み
付加回路３２および３４で用いた重み W が入力され、
それぞれが符号化され、伝送される。
トル検出回路５２で検出された動きベクトルおよび予測
モード、量子化回路５５で用いた量子化スケール、重み
付加回路３２および３４で用いた重み W が入力され、
それぞれが符号化され、伝送される。
【００３２】次に図４１を用いて空間スケーラビリティ
のデコーダの一例を説明する。下位レイヤのビットスト
リームは受信バッファ２１に入力された後、MP＠ML と
同様に復号化される。ただし、演算回路２５の出力は外
部に出力されるとともに、フレームメモリ群２６に蓄え
られて、それ以後、復号化する画像信号の予測参照画像
として用いられるだけでなく、画像信号拡大回路８１に
より上位レイヤの画像信号と同一の画像サイズに拡大さ
れた後、上位レイヤの予測参照画像としても用いられ
る。
のデコーダの一例を説明する。下位レイヤのビットスト
リームは受信バッファ２１に入力された後、MP＠ML と
同様に復号化される。ただし、演算回路２５の出力は外
部に出力されるとともに、フレームメモリ群２６に蓄え
られて、それ以後、復号化する画像信号の予測参照画像
として用いられるだけでなく、画像信号拡大回路８１に
より上位レイヤの画像信号と同一の画像サイズに拡大さ
れた後、上位レイヤの予測参照画像としても用いられ
る。
【００３３】上位レイヤのビットストリームは受信バッ
ファ７１を介し可変長復号化回路７２に供給され、可変
長符号が復号化される。すなわち、DCT 係数とともに、
量子化スケール、動きベクトル、予測モードおよび重み
係数が復号化される。可変長復号化回路７２により復号
化された DCT 係数は、復号化された量子化スケールを
用いて逆量子化回路７３において逆量子化された後、逆
DCT 回路７４により逆DCT 処理され、さらに、演算回
路７５に供給される。
ファ７１を介し可変長復号化回路７２に供給され、可変
長符号が復号化される。すなわち、DCT 係数とともに、
量子化スケール、動きベクトル、予測モードおよび重み
係数が復号化される。可変長復号化回路７２により復号
化された DCT 係数は、復号化された量子化スケールを
用いて逆量子化回路７３において逆量子化された後、逆
DCT 回路７４により逆DCT 処理され、さらに、演算回
路７５に供給される。
【００３４】動き補償回路７７は復号化された動きベク
トルおよび予測モードにしたがって、予測画像を生成
し、重み付加回路８４に入力する。重み付加回路８４で
は復号化された重み W を動き補償回路７７の出力に乗
算し、演算回路８３に出力する。
トルおよび予測モードにしたがって、予測画像を生成
し、重み付加回路８４に入力する。重み付加回路８４で
は復号化された重み W を動き補償回路７７の出力に乗
算し、演算回路８３に出力する。
【００３５】演算回路２５の出力は下位レイヤ再生画像
として出力され、フレームメモリ群２６に出力されると
同時に、画像信号拡大回路８１により上位レイヤの画像
サイズと同一の画像サイズに拡大された後、重み付加回
路８２に出力される。重み付加回路８２では画像信号拡
大回路８１の出力に、復号化された重み W を用いて(1-
W) を乗算し、演算回路８３に出力する。
として出力され、フレームメモリ群２６に出力されると
同時に、画像信号拡大回路８１により上位レイヤの画像
サイズと同一の画像サイズに拡大された後、重み付加回
路８２に出力される。重み付加回路８２では画像信号拡
大回路８１の出力に、復号化された重み W を用いて(1-
W) を乗算し、演算回路８３に出力する。
【００３６】演算回路８３は、重み付加回路８２および
８４の出力を加算し、演算回路７５に出力する。演算回
路７５は、逆 DCT 回路７４の出力と演算回路８３の出
力を加算して、上位レイヤの再生画像として出力すると
ともに、フレームメモリ群７６に供給して、その後、復
号化する画像信号の予測参照画像とさせる。
８４の出力を加算し、演算回路７５に出力する。演算回
路７５は、逆 DCT 回路７４の出力と演算回路８３の出
力を加算して、上位レイヤの再生画像として出力すると
ともに、フレームメモリ群７６に供給して、その後、復
号化する画像信号の予測参照画像とさせる。
【００３７】演算回路２５と演算回路７５より出力され
る各レイヤの出力画像は、VOP再構成回路３５０に入力
される。VOP再構成回路３５０は、例えば図４２に示す
ように構成されている。
る各レイヤの出力画像は、VOP再構成回路３５０に入力
される。VOP再構成回路３５０は、例えば図４２に示す
ように構成されている。
【００３８】図４２において、各レイヤに入力された画
像は、解像度変換回路３５１，３５２により、必要に応
じ、倍率FR1，FR2にしたがって解像度の変換が行われる
（但し、この例の場合、FR1＝１である）。それら出力
画像は、フレームメモリ群３５３，３５４に入力され
る。これらのフレームメモリ群３５４，３５５に入力さ
れた画像は、後段のスイッチ３５５−１，３５５−２に
より画素単位またはフレーム単位に各レイヤを切り替え
ながら出力される。
像は、解像度変換回路３５１，３５２により、必要に応
じ、倍率FR1，FR2にしたがって解像度の変換が行われる
（但し、この例の場合、FR1＝１である）。それら出力
画像は、フレームメモリ群３５３，３５４に入力され
る。これらのフレームメモリ群３５４，３５５に入力さ
れた画像は、後段のスイッチ３５５−１，３５５−２に
より画素単位またはフレーム単位に各レイヤを切り替え
ながら出力される。
【００３９】以上の説明は、輝度信号の処理に適用され
るが、色差信号の処理も同様に行われる。但し、この場
合、動きベクトルは、輝度信号用のものを、垂直方向お
よび水平方向に１／２にしたものが用いられる。
るが、色差信号の処理も同様に行われる。但し、この場
合、動きベクトルは、輝度信号用のものを、垂直方向お
よび水平方向に１／２にしたものが用いられる。
【００４０】以上、MPEG 方式について説明したが、こ
の他にも様々な動画像の高能率符号化方式が標準化され
ている。例えば、ITU-T では、主に通信用の符号化方式
として、H.261 や H.263 という方式を規定している。
この H.261 や H.263 も、基本的には、 MPEG 方式と同
様に、動き補償予測符号化と DCT 変換符号化を組み合
わせたものであり、ヘッダ情報などの詳細は異なるが、
符号化装置や復号化装置は同様の構成となる。
の他にも様々な動画像の高能率符号化方式が標準化され
ている。例えば、ITU-T では、主に通信用の符号化方式
として、H.261 や H.263 という方式を規定している。
この H.261 や H.263 も、基本的には、 MPEG 方式と同
様に、動き補償予測符号化と DCT 変換符号化を組み合
わせたものであり、ヘッダ情報などの詳細は異なるが、
符号化装置や復号化装置は同様の構成となる。
【００４１】ところで、複数の画像を合成して１つの画
像を構成する画像合成システムには、例えばクロマキー
という方法が用いられる。これは所定の物体を青などの
特定の一様な色の背景の前で撮影し、青以外の領域をそ
こから抽出し、別の画像に合成する方法である。このと
き、抽出した領域を示す信号を key（キー）信号と呼
ぶ。
像を構成する画像合成システムには、例えばクロマキー
という方法が用いられる。これは所定の物体を青などの
特定の一様な色の背景の前で撮影し、青以外の領域をそ
こから抽出し、別の画像に合成する方法である。このと
き、抽出した領域を示す信号を key（キー）信号と呼
ぶ。
【００４２】図４３に合成画像を符号化する方法を示
す。画像F１は背景であり、また画像F２は前景である。
前景F２は特定の色の背景の前で撮影し、その色以外の
領域を抽出することによって生成した画像である。その
際、抽出した領域を示す信号がkey 信号 K１ である。
合成画像 F３ はこれら F１，F２，K１ を用いて合成し
たものである。この画像を符号化する場合、通常、合成
画像F３をそのまま、MPEGなどの符号化方式で符号化す
ることになる。このとき key 信号などの情報は失われ
るので、前景F２はそのままとし、背景F１のみを変更す
る、といった画像の再編集、再合成は困難となる。
す。画像F１は背景であり、また画像F２は前景である。
前景F２は特定の色の背景の前で撮影し、その色以外の
領域を抽出することによって生成した画像である。その
際、抽出した領域を示す信号がkey 信号 K１ である。
合成画像 F３ はこれら F１，F２，K１ を用いて合成し
たものである。この画像を符号化する場合、通常、合成
画像F３をそのまま、MPEGなどの符号化方式で符号化す
ることになる。このとき key 信号などの情報は失われ
るので、前景F２はそのままとし、背景F１のみを変更す
る、といった画像の再編集、再合成は困難となる。
【００４３】これに対して、図４４に示すように、画像
F１，F２および key 信号 K１をそれぞれ別々に符号化
し、それぞれのビットストリームを多重化することによ
り、合成画像F３のビットストリームを構成することも
可能である。
F１，F２および key 信号 K１をそれぞれ別々に符号化
し、それぞれのビットストリームを多重化することによ
り、合成画像F３のビットストリームを構成することも
可能である。
【００４４】図４４に示すようにして構成したビットス
トリームを復号化して合成画像F３を得る方法を図４５
に示す。ビットストリームは逆多重化により、F１，F２
およびK１のビットストリームに分解され、それぞれ復
号化し、復号画像F１’，F２’および復号 key 信号 K
１’を得る。このとき、F１’とF２’を key 信号 K
１’に従って合成すれば、復号合成画像 F３’を得るこ
とができる。この場合、ビットストリームのままで、前
景F２をそのままにして、背景F１のみを変更するといっ
た、再編集および再合成が可能となる。
トリームを復号化して合成画像F３を得る方法を図４５
に示す。ビットストリームは逆多重化により、F１，F２
およびK１のビットストリームに分解され、それぞれ復
号化し、復号画像F１’，F２’および復号 key 信号 K
１’を得る。このとき、F１’とF２’を key 信号 K
１’に従って合成すれば、復号合成画像 F３’を得るこ
とができる。この場合、ビットストリームのままで、前
景F２をそのままにして、背景F１のみを変更するといっ
た、再編集および再合成が可能となる。
【００４５】画像F１，F２といった合成画像を構成する
各画像シーケンスを VO (VideoObject) と呼ぶ。また V
O のある時刻における画像フレームを VOP（VideoObjec
t Plane）と呼ぶ。VOPは輝度および色差信号と key 信
号から構成される。
各画像シーケンスを VO (VideoObject) と呼ぶ。また V
O のある時刻における画像フレームを VOP（VideoObjec
t Plane）と呼ぶ。VOPは輝度および色差信号と key 信
号から構成される。
【００４６】画像フレームとはある時刻における一枚の
画像を意味し、画像シーケンスは異なる時刻の画像フレ
ームの集合である。即ち、各 VO は異なる時刻の VOP
の集合である。各 VO は時間によって大きさや位置が異
なる。即ち、同じ VO に属する VOP でも大きさおよび
位置が異なる。
画像を意味し、画像シーケンスは異なる時刻の画像フレ
ームの集合である。即ち、各 VO は異なる時刻の VOP
の集合である。各 VO は時間によって大きさや位置が異
なる。即ち、同じ VO に属する VOP でも大きさおよび
位置が異なる。
【００４７】この場合のエンコーダおよびデコーダの構
成を図４６と図４７に示す。図４６はエンコーダの一例
である。入力画像信号はまず VO 構成回路１０１に入力
される。VO 構成回路１０１は入力画像を物体ごとに分
割して出力する。各 VO は画像信号と key 信号から構
成される。VO 構成回路１０１から出力される画像信号
は、各 VO ごとに VOP 構成回路１０２−０乃至１０２
−ｎに出力される。例えば、VO ０の画像信号および ke
y 信号は VOP 構成回路１０２−０に入力され、VO １の
画像信号および key 信号は VOP 構成回路１０２−１に
入力され、以下同様に VO n の画像信号および key 信
号は VOP 構成回路１０２−ｎに入力される。
成を図４６と図４７に示す。図４６はエンコーダの一例
である。入力画像信号はまず VO 構成回路１０１に入力
される。VO 構成回路１０１は入力画像を物体ごとに分
割して出力する。各 VO は画像信号と key 信号から構
成される。VO 構成回路１０１から出力される画像信号
は、各 VO ごとに VOP 構成回路１０２−０乃至１０２
−ｎに出力される。例えば、VO ０の画像信号および ke
y 信号は VOP 構成回路１０２−０に入力され、VO １の
画像信号および key 信号は VOP 構成回路１０２−１に
入力され、以下同様に VO n の画像信号および key 信
号は VOP 構成回路１０２−ｎに入力される。
【００４８】例えば図４４のようにクロマキーで生成さ
れた画像信号の場合、VO構成回路１０１より出力される
VO 0 乃至VO n の画像信号とkey信号は、そのまま各 V
O の画像信号およびその key 信号となる。key 信号が
ないか、または、失われた画像に対しては、画像領域分
割により、所定の領域を抽出し、key 信号を生成し、VO
を構成する。
れた画像信号の場合、VO構成回路１０１より出力される
VO 0 乃至VO n の画像信号とkey信号は、そのまま各 V
O の画像信号およびその key 信号となる。key 信号が
ないか、または、失われた画像に対しては、画像領域分
割により、所定の領域を抽出し、key 信号を生成し、VO
を構成する。
【００４９】VOP 構成回路１０２−０乃至１０２−ｎは
各画像フレームから画像中の物体を含む最小の長方形の
部分を抽出する。ただし、このとき長方形の水平および
垂直方向の画素数は１６の倍数とする。VOP 構成回路１
０２−０乃至１０２−ｎは上記長方形に含まれる画像信
号（輝度および色差信号）および key 信号を抽出し、
出力する。また VOP の大きさを示すフラグVOP sizeお
よびその VOP の絶対座標における位置を示すフラグVOP
offsetを出力する。
各画像フレームから画像中の物体を含む最小の長方形の
部分を抽出する。ただし、このとき長方形の水平および
垂直方向の画素数は１６の倍数とする。VOP 構成回路１
０２−０乃至１０２−ｎは上記長方形に含まれる画像信
号（輝度および色差信号）および key 信号を抽出し、
出力する。また VOP の大きさを示すフラグVOP sizeお
よびその VOP の絶対座標における位置を示すフラグVOP
offsetを出力する。
【００５０】VOP 構成回路１０２−O乃至１０２−ｎの
出力は、それぞれ VOP 符号化回路１０３−０乃至１０
３−ｎに入力され、符号化される。VOP 符号化回路１０
３−０乃至１０３−ｎの出力は多重化回路１０４に入力
され、１つのビットストリームに構成される。
出力は、それぞれ VOP 符号化回路１０３−０乃至１０
３−ｎに入力され、符号化される。VOP 符号化回路１０
３−０乃至１０３−ｎの出力は多重化回路１０４に入力
され、１つのビットストリームに構成される。
【００５１】図４７のデコーダにおいて、多重化された
ビットストリームは逆多重化回路１１１により逆多重化
され、各 VOのビットストリームに分解される。各VO の
ビットストリームは、それぞれ、 VOP復号化回路１１２
−０乃至１１２−ｎに入力され、復号化される。VOP 復
号化回路１１２−０乃至１１２−ｎは、各 VOP の画像
信号、key 信号、VOP の大きさを示すフラグ、VOP の絶
対座標における位置を示すフラグを復号化し、画像再構
成回路１１３に入力する。画像再構成回路１１３は、各
VOP の画像信号、key 信号、大きさを示すフラグ、絶対
座標における位置を示すフラグを用い、画像を合成し、
再生画像として出力する。
ビットストリームは逆多重化回路１１１により逆多重化
され、各 VOのビットストリームに分解される。各VO の
ビットストリームは、それぞれ、 VOP復号化回路１１２
−０乃至１１２−ｎに入力され、復号化される。VOP 復
号化回路１１２−０乃至１１２−ｎは、各 VOP の画像
信号、key 信号、VOP の大きさを示すフラグ、VOP の絶
対座標における位置を示すフラグを復号化し、画像再構
成回路１１３に入力する。画像再構成回路１１３は、各
VOP の画像信号、key 信号、大きさを示すフラグ、絶対
座標における位置を示すフラグを用い、画像を合成し、
再生画像として出力する。
【００５２】次に図４８と図４９を用いて VOP 符号化
回路１０３−０および復号化回路１１２−０の構成例を
説明する。図４８において、各 VOP を構成する画像信
号および key 信号は、画像信号符号化回路１２１およ
び key 信号符号化回路１２２にそれぞれ入力される。
画像信号符号化回路１２１は例えばMPEG方式やH.263 と
いった方式で画像信号を符号化する。key 信号符号化回
路１２２は入力されたkey信号を、例えば DPCMなどによ
り符号化する。また画像信号符号化回路１２１によって
検出された動きベクトルを用いてkey信号の動き補償を
行い、その差分信号を符号化する方法もある。key 信号
符号化によって発生したビット量は画像信号符号化装置
１２１に入力され、所定のビットレートになるように制
御される。
回路１０３−０および復号化回路１１２−０の構成例を
説明する。図４８において、各 VOP を構成する画像信
号および key 信号は、画像信号符号化回路１２１およ
び key 信号符号化回路１２２にそれぞれ入力される。
画像信号符号化回路１２１は例えばMPEG方式やH.263 と
いった方式で画像信号を符号化する。key 信号符号化回
路１２２は入力されたkey信号を、例えば DPCMなどによ
り符号化する。また画像信号符号化回路１２１によって
検出された動きベクトルを用いてkey信号の動き補償を
行い、その差分信号を符号化する方法もある。key 信号
符号化によって発生したビット量は画像信号符号化装置
１２１に入力され、所定のビットレートになるように制
御される。
【００５３】符号化された画像信号（動きベクトルおよ
びテクスチャ情報）のビットストリームおよび key 信
号のビットストリームは、多重化回路１２３に入力さ
れ、１つのビットストリームに構成され、送信バッファ
１２４を介して出力される。
びテクスチャ情報）のビットストリームおよび key 信
号のビットストリームは、多重化回路１２３に入力さ
れ、１つのビットストリームに構成され、送信バッファ
１２４を介して出力される。
【００５４】図４９のVOP復号化回路においては、ビッ
トストリームはまず、逆多重化回路１３１に入力され、
画像信号（動きベクトルおよびテクスチャ情報）のビッ
トストリームと key 信号のビットストリームに分解さ
れ、画像信号復号化回路１３２とkey 信号復号化回路１
３３においてそれぞれ復号化される。この時 key 信号
を動き補償して符号化した場合、画像信号複合化回路１
３２によって復号化された動きベクトルは key 信号復
号化回路１３３に入力され、復号化に用いられる。
トストリームはまず、逆多重化回路１３１に入力され、
画像信号（動きベクトルおよびテクスチャ情報）のビッ
トストリームと key 信号のビットストリームに分解さ
れ、画像信号復号化回路１３２とkey 信号復号化回路１
３３においてそれぞれ復号化される。この時 key 信号
を動き補償して符号化した場合、画像信号複合化回路１
３２によって復号化された動きベクトルは key 信号復
号化回路１３３に入力され、復号化に用いられる。
【００５５】以上、画像をVOPごとに符号化する方法を
述べたが、こうした方式は、現在、ISO-IEC/JTC1/SC29/
WG11 において、 MPEG4 として標準化作業が進められて
いる段階である。しかし、こういった方法は各VOPを効
率よく符号化する方法が確立しておらず、未解決な問題
となっている。また、スケーラビリティといった各種機
能も実現できていない。
述べたが、こうした方式は、現在、ISO-IEC/JTC1/SC29/
WG11 において、 MPEG4 として標準化作業が進められて
いる段階である。しかし、こういった方法は各VOPを効
率よく符号化する方法が確立しておらず、未解決な問題
となっている。また、スケーラビリティといった各種機
能も実現できていない。
【００５６】さらに、未解決な問題の１つに、動き補償
の問題がある。VO は時間によって大きさや位置が異な
る。即ち、同じ VO に属する VOP でも大きさおよび位
置が異なる。従って、動き補償など異なる時刻のVOPを
参照する場合、その位置および大きさを示すフラグを符
号化し、伝送することが必要となる。これを図５０を用
いて説明する。
の問題がある。VO は時間によって大きさや位置が異な
る。即ち、同じ VO に属する VOP でも大きさおよび位
置が異なる。従って、動き補償など異なる時刻のVOPを
参照する場合、その位置および大きさを示すフラグを符
号化し、伝送することが必要となる。これを図５０を用
いて説明する。
【００５７】画像F１１は、所定の VideoObject VO0 の
時刻 t における VOP である。また画像F１２は VideoO
bject VO1 の同時刻 t における VOP である。F１１，F
１２ともに大きさが異なる。F１１，F１２の絶対座標に
おける位置を示す座標をそれぞれOST０，OST１とする。
時刻 t における VOP である。また画像F１２は VideoO
bject VO1 の同時刻 t における VOP である。F１１，F
１２ともに大きさが異なる。F１１，F１２の絶対座標に
おける位置を示す座標をそれぞれOST０，OST１とする。
【００５８】符号化するVOPおよび、参照するVOPを絶対
座標上に配置し、絶対座標における参照位置を動きベク
トルとして伝送することにより、動き補償を実現するこ
とが可能となる。
座標上に配置し、絶対座標における参照位置を動きベク
トルとして伝送することにより、動き補償を実現するこ
とが可能となる。
【００５９】ここで、MPEG4における動き補償の方法に
ついて説明する。ただし、ＶＭ(Verification Model)４
における方式である。また以下は画像の形状が任意形状
（arbitrary shape）の場合のみの説明である。VOPの形
状が長方形の場合、その動き補償の方法は、H.263など
の既存の方式と同様となる。
ついて説明する。ただし、ＶＭ(Verification Model)４
における方式である。また以下は画像の形状が任意形状
（arbitrary shape）の場合のみの説明である。VOPの形
状が長方形の場合、その動き補償の方法は、H.263など
の既存の方式と同様となる。
【００６０】図５１は現在の符号化するVOPを示す。VOP
はその画像オブジェクトを含む長方形をしており、縦横
の大きさはそれぞれ１６の倍数である。ただし、この
時、この VOP は、オブジェクトを含む最小の長方形と
する。このVOPを符号化する場合、１６×１６画素のマ
クロブロック単位で符号化および動き補償が行われる。
ただし、８×８画素でマクロブロックが構成され、動き
補償が行なわれる場合もある。
はその画像オブジェクトを含む長方形をしており、縦横
の大きさはそれぞれ１６の倍数である。ただし、この
時、この VOP は、オブジェクトを含む最小の長方形と
する。このVOPを符号化する場合、１６×１６画素のマ
クロブロック単位で符号化および動き補償が行われる。
ただし、８×８画素でマクロブロックが構成され、動き
補償が行なわれる場合もある。
【００６１】図５２は参照するVOPを示す。このVOPはま
ず、絶対座標における位置を示すフラグおよび大きさを
示すフラグに従って、フレームメモリの所定の位置に記
録される。任意形状のVOPの場合、画像が存在する領域
と存在しない領域が存在する。動きベクトル検出を行う
際に、このことが問題となる。
ず、絶対座標における位置を示すフラグおよび大きさを
示すフラグに従って、フレームメモリの所定の位置に記
録される。任意形状のVOPの場合、画像が存在する領域
と存在しない領域が存在する。動きベクトル検出を行う
際に、このことが問題となる。
【００６２】まず参照VOPにおける処理について説明す
る。参照VOPが任意形状のVOPであった場合は以下に示す
手順で、画像が存在しない領域の画素値が、画像が存在
する領域の画像信号に基づいて計算される。
る。参照VOPが任意形状のVOPであった場合は以下に示す
手順で、画像が存在しない領域の画素値が、画像が存在
する領域の画像信号に基づいて計算される。
【００６３】（１） 最初に、画像オブジェクトの外
側、即ち、画像が存在しない領域の画素値を０とする。 （２） VOPを水平方向にスキャンしていく。このとき、
各VOPの水平方向のラインは、値が全て０の部分と、値
が全て０以外の部分に分類される。画素値が全て０以外
の部分については何も操作を行わない。それ以外の部分
は、その両端が０以外の画素値である場合と、その一方
がVOPの終端であり、かつ、他方は０以外の画素値であ
る場合とに分類できる。その両端が０以外の画素値の部
分の場合、そのライン部分の画素値は全て、その両端の
画素値の平均値に置き換えられる。それ以外の場合、そ
のライン部分の画素値は全て、一端に存在する０以外の
画素値に置き換えられる。 （３） （２）と同様の操作を垂直方向のラインについ
ても行う。 （４） （２）と（３）の両方の操作において値を置き
換える画素についてはその平均値を用いる。 （５） （４）までの操作終了時に０である画素は、水
平方向および垂直方向にスキャンし、最も近くに存在す
る非ゼロの画素値と置き換える。最も近い画素値が２つ
存在する場合、その平均値に置き換えられる。
側、即ち、画像が存在しない領域の画素値を０とする。 （２） VOPを水平方向にスキャンしていく。このとき、
各VOPの水平方向のラインは、値が全て０の部分と、値
が全て０以外の部分に分類される。画素値が全て０以外
の部分については何も操作を行わない。それ以外の部分
は、その両端が０以外の画素値である場合と、その一方
がVOPの終端であり、かつ、他方は０以外の画素値であ
る場合とに分類できる。その両端が０以外の画素値の部
分の場合、そのライン部分の画素値は全て、その両端の
画素値の平均値に置き換えられる。それ以外の場合、そ
のライン部分の画素値は全て、一端に存在する０以外の
画素値に置き換えられる。 （３） （２）と同様の操作を垂直方向のラインについ
ても行う。 （４） （２）と（３）の両方の操作において値を置き
換える画素についてはその平均値を用いる。 （５） （４）までの操作終了時に０である画素は、水
平方向および垂直方向にスキャンし、最も近くに存在す
る非ゼロの画素値と置き換える。最も近い画素値が２つ
存在する場合、その平均値に置き換えられる。
【００６４】動きベクトルを検出する場合は、まず参照
VOPにおける画像の存在しない領域の画素値を上記の手
法により、非ゼロの値に設定する。次に、符号化するマ
クロブロックについて、参照画像との予測誤差を計算
し、予測誤差を最小とするベクトルを動きベクトルとす
る。この場合、符号化するVOPの形状が任意形状である
ときと、符号化するマクロブロックに画像が存在しない
領域があるときがある。マクロブロック中の画像が存在
しない画素については予測誤差の計算に含めない。即
ち、画像が存在する画素のみを用いて予測誤差を計算す
る。
VOPにおける画像の存在しない領域の画素値を上記の手
法により、非ゼロの値に設定する。次に、符号化するマ
クロブロックについて、参照画像との予測誤差を計算
し、予測誤差を最小とするベクトルを動きベクトルとす
る。この場合、符号化するVOPの形状が任意形状である
ときと、符号化するマクロブロックに画像が存在しない
領域があるときがある。マクロブロック中の画像が存在
しない画素については予測誤差の計算に含めない。即
ち、画像が存在する画素のみを用いて予測誤差を計算す
る。
【００６５】VOP内の各画素について画像が存在するか
どうかは、そのkey信号を参照することにより認識可能
である。即ち、key信号の値が０である画素は画像が存
在しない画素であり、それ以外の場合は画像が存在する
画素である。
どうかは、そのkey信号を参照することにより認識可能
である。即ち、key信号の値が０である画素は画像が存
在しない画素であり、それ以外の場合は画像が存在する
画素である。
【００６６】MPEG4のＶＭ(Verification Model)におい
ては、上記手法により動きベクトルを検出する。しか
し、上記手法による動きベクトルの検出方法が最適であ
る訳ではなく、さらなる効率改善が望まれている。また
上記手法は演算量が多いため、さらに簡易的に演算を行
う方法が望まれている。
ては、上記手法により動きベクトルを検出する。しか
し、上記手法による動きベクトルの検出方法が最適であ
る訳ではなく、さらなる効率改善が望まれている。また
上記手法は演算量が多いため、さらに簡易的に演算を行
う方法が望まれている。
【００６７】
【発明が解決しようとする課題】そこで、本出願人は、
例えば特願平８−３１２８０７号として、上位レイヤの
画像物体の外側の画素を、下位レイヤの所定の画素と置
換して、参照画像を生成し、この参照画像を用いて、予
測誤差を生成することを先に提案した。
例えば特願平８−３１２８０７号として、上位レイヤの
画像物体の外側の画素を、下位レイヤの所定の画素と置
換して、参照画像を生成し、この参照画像を用いて、予
測誤差を生成することを先に提案した。
【００６８】しかしながら、先の提案においては、図４
２に示すように、VOP再構成回路３５０を構成するの
に、解像度変換回路とフレームメモリ群が必要となり、
構成が複雑となり、コスト高となる課題があった。
２に示すように、VOP再構成回路３５０を構成するの
に、解像度変換回路とフレームメモリ群が必要となり、
構成が複雑となり、コスト高となる課題があった。
【００６９】本発明はこのような状況に鑑みてなされた
ものであり、構成を簡略化し、低コスト化を図ることが
できるようにするものである。
ものであり、構成を簡略化し、低コスト化を図ることが
できるようにするものである。
【００７０】
【課題を解決するための手段】請求項１に記載の画像信
号復号化装置は、ビットストリームから、上位レイヤの
画像、下位レイヤの画像、動きベクトル、並びに、置換
の方法を表す置換情報を分離する分離手段と、下位レイ
ヤの画像を復号化する下位レイヤ復号化手段と、下位レ
イヤ復号化手段により復号化された画像を記憶する第１
の記憶手段と、上位レイヤの画像を復号化する上位レイ
ヤ復号化手段と、上位レイヤの予測画像を生成するため
の画像を記憶する第２の記憶手段と、動きベクトルを用
いて、第２の記憶手段に記憶されている画像に対して動
き補償を行い、上位レイヤの予測画像を演算する演算手
段と、演算手段により演算された予測画像と、上位レイ
ヤ復号化手段により復号化された画像とを合成する合成
手段と、合成手段により合成された上位レイヤの画像物
体の外側の画素を、置換情報に対応して他の画素と置換
する置換手段と、置換手段の出力と下位レイヤ復号化手
段の出力を選択して出力する出力手段とを備えることを
特徴とする。
号復号化装置は、ビットストリームから、上位レイヤの
画像、下位レイヤの画像、動きベクトル、並びに、置換
の方法を表す置換情報を分離する分離手段と、下位レイ
ヤの画像を復号化する下位レイヤ復号化手段と、下位レ
イヤ復号化手段により復号化された画像を記憶する第１
の記憶手段と、上位レイヤの画像を復号化する上位レイ
ヤ復号化手段と、上位レイヤの予測画像を生成するため
の画像を記憶する第２の記憶手段と、動きベクトルを用
いて、第２の記憶手段に記憶されている画像に対して動
き補償を行い、上位レイヤの予測画像を演算する演算手
段と、演算手段により演算された予測画像と、上位レイ
ヤ復号化手段により復号化された画像とを合成する合成
手段と、合成手段により合成された上位レイヤの画像物
体の外側の画素を、置換情報に対応して他の画素と置換
する置換手段と、置換手段の出力と下位レイヤ復号化手
段の出力を選択して出力する出力手段とを備えることを
特徴とする。
【００７１】請求項３に記載の画像信号復号化方法は、
ビットストリームから、上位レイヤの画像、下位レイヤ
の画像、動きベクトル、並びに、置換の方法を表す置換
情報を分離する分離ステップと、下位レイヤの画像を復
号化する下位レイヤ復号化ステップと、下位レイヤ復号
化ステップにより復号化された画像を記憶する第１の記
憶ステップと、上位レイヤの画像を復号化する上位レイ
ヤ復号化ステップと、上位レイヤの予測画像を生成する
ための画像を記憶する第２の記憶ステップと、動きベク
トルを用いて、第２の記憶ステップで記憶された画像に
対して動き補償を行い、上位レイヤの予測画像を演算す
る演算ステップと、演算ステップで演算された予測画像
と、上位レイヤ復号化ステップで復号化された画像とを
合成する合成ステップと、合成ステップで合成された上
位レイヤの画像物体の外側の画素を、置換情報に対応し
て他の画素と置換する置換ステップと、置換ステップで
の出力と下位レイヤ復号化ステップでの出力を選択して
出力する出力ステップとを備えることを特徴とする。
ビットストリームから、上位レイヤの画像、下位レイヤ
の画像、動きベクトル、並びに、置換の方法を表す置換
情報を分離する分離ステップと、下位レイヤの画像を復
号化する下位レイヤ復号化ステップと、下位レイヤ復号
化ステップにより復号化された画像を記憶する第１の記
憶ステップと、上位レイヤの画像を復号化する上位レイ
ヤ復号化ステップと、上位レイヤの予測画像を生成する
ための画像を記憶する第２の記憶ステップと、動きベク
トルを用いて、第２の記憶ステップで記憶された画像に
対して動き補償を行い、上位レイヤの予測画像を演算す
る演算ステップと、演算ステップで演算された予測画像
と、上位レイヤ復号化ステップで復号化された画像とを
合成する合成ステップと、合成ステップで合成された上
位レイヤの画像物体の外側の画素を、置換情報に対応し
て他の画素と置換する置換ステップと、置換ステップで
の出力と下位レイヤ復号化ステップでの出力を選択して
出力する出力ステップとを備えることを特徴とする。
【００７２】請求項４に記載の伝送媒体は、ビットスト
リームから、上位レイヤの画像、下位レイヤの画像、動
きベクトル、並びに、置換の方法を表す置換情報を分離
する分離ステップと、下位レイヤの画像を復号化する下
位レイヤ復号化ステップと、下位レイヤ復号化ステップ
により復号化された画像を記憶する第１の記憶ステップ
と、上位レイヤの画像を復号化する上位レイヤ復号化ス
テップと、上位レイヤの予測画像を生成するための画像
を記憶する第２の記憶ステップと、動きベクトルを用い
て、第２の記憶ステップで記憶された画像に対して動き
補償を行い、上位レイヤの予測画像を演算する演算ステ
ップと、演算ステップで演算された予測画像と、上位レ
イヤ復号化ステップで復号化された画像とを合成する合
成ステップと、合成ステップで合成された上位レイヤの
画像物体の外側の画素を、置換情報に対応して他の画素
と置換する置換ステップと、置換ステップでの出力と下
位レイヤ復号化ステップでの出力を選択して出力する出
力ステップとを備えるプログラムを伝送することを特徴
とする。
リームから、上位レイヤの画像、下位レイヤの画像、動
きベクトル、並びに、置換の方法を表す置換情報を分離
する分離ステップと、下位レイヤの画像を復号化する下
位レイヤ復号化ステップと、下位レイヤ復号化ステップ
により復号化された画像を記憶する第１の記憶ステップ
と、上位レイヤの画像を復号化する上位レイヤ復号化ス
テップと、上位レイヤの予測画像を生成するための画像
を記憶する第２の記憶ステップと、動きベクトルを用い
て、第２の記憶ステップで記憶された画像に対して動き
補償を行い、上位レイヤの予測画像を演算する演算ステ
ップと、演算ステップで演算された予測画像と、上位レ
イヤ復号化ステップで復号化された画像とを合成する合
成ステップと、合成ステップで合成された上位レイヤの
画像物体の外側の画素を、置換情報に対応して他の画素
と置換する置換ステップと、置換ステップでの出力と下
位レイヤ復号化ステップでの出力を選択して出力する出
力ステップとを備えるプログラムを伝送することを特徴
とする。
【００７３】請求項１に記載の画像信号復号化装置、請
求項３に記載の画像信号復号化方法、および請求項４に
記載の伝送媒体においては、合成された上位レイヤの画
像物体の外側の画素を、置換情報に対応して他の画素と
置換した画像と、復号化された下位レイヤの画像とが、
選択的に出力される。
求項３に記載の画像信号復号化方法、および請求項４に
記載の伝送媒体においては、合成された上位レイヤの画
像物体の外側の画素を、置換情報に対応して他の画素と
置換した画像と、復号化された下位レイヤの画像とが、
選択的に出力される。
【００７４】
【発明の実施の形態】以下に本発明の実施の形態を説明
するが、特許請求の範囲に記載の発明の各手段と以下の
実施の形態との対応関係を明らかにするために、各手段
の後の括弧内に、対応する実施の形態（但し一例）を付
加して本発明の特徴を記述すると、次のようになる。但
し勿論この記載は、各手段を記載したものに限定するこ
とを意味するものではない。
するが、特許請求の範囲に記載の発明の各手段と以下の
実施の形態との対応関係を明らかにするために、各手段
の後の括弧内に、対応する実施の形態（但し一例）を付
加して本発明の特徴を記述すると、次のようになる。但
し勿論この記載は、各手段を記載したものに限定するこ
とを意味するものではない。
【００７５】請求項１に記載の画像信号復号化装置は、
ビットストリームから、上位レイヤの画像、下位レイヤ
の画像、動きベクトル、並びに、置換の方法を表す置換
情報を分離する分離手段（例えば図２１の逆多重化回路
２５１）と、下位レイヤの画像を復号化する下位レイヤ
復号化手段（例えば図２１の下位レイヤ復号化回路２５
４）と、下位レイヤ復号化手段により復号化された画像
を記憶する第１の記憶手段（例えば図２３のフレームメ
モリ群２７３）と、上位レイヤの画像を復号化する上位
レイヤ復号化手段（例えば図２３の逆量子化回路２３）
と、上位レイヤの予測画像を生成するための画像を記憶
する第２の記憶手段（例えば図２３のフレームメモリ群
２６）と、動きベクトルを用いて、第２の記憶手段に記
憶されている画像に対して動き補償を行い、上位レイヤ
の予測画像を演算する演算手段（例えば図２３の動き補
償回路２７）と、演算手段により演算された予測画像
と、上位レイヤ復号化手段により復号化された画像とを
合成する合成手段（例えば図２３の演算装置２５）と、
合成手段により合成された上位レイヤの画像物体の外側
の画素を、置換情報に対応して他の画素と置換する置換
手段（例えば図２３の画素置換回路２７１）と、置換手
段の出力と下位レイヤ復号化手段の出力を選択して出力
する出力手段（例えば図２４のVOP再構成回路３００）
とを備えることを特徴とする。
ビットストリームから、上位レイヤの画像、下位レイヤ
の画像、動きベクトル、並びに、置換の方法を表す置換
情報を分離する分離手段（例えば図２１の逆多重化回路
２５１）と、下位レイヤの画像を復号化する下位レイヤ
復号化手段（例えば図２１の下位レイヤ復号化回路２５
４）と、下位レイヤ復号化手段により復号化された画像
を記憶する第１の記憶手段（例えば図２３のフレームメ
モリ群２７３）と、上位レイヤの画像を復号化する上位
レイヤ復号化手段（例えば図２３の逆量子化回路２３）
と、上位レイヤの予測画像を生成するための画像を記憶
する第２の記憶手段（例えば図２３のフレームメモリ群
２６）と、動きベクトルを用いて、第２の記憶手段に記
憶されている画像に対して動き補償を行い、上位レイヤ
の予測画像を演算する演算手段（例えば図２３の動き補
償回路２７）と、演算手段により演算された予測画像
と、上位レイヤ復号化手段により復号化された画像とを
合成する合成手段（例えば図２３の演算装置２５）と、
合成手段により合成された上位レイヤの画像物体の外側
の画素を、置換情報に対応して他の画素と置換する置換
手段（例えば図２３の画素置換回路２７１）と、置換手
段の出力と下位レイヤ復号化手段の出力を選択して出力
する出力手段（例えば図２４のVOP再構成回路３００）
とを備えることを特徴とする。
【００７６】VO ごとに符号化する符号化装置において
スケーラブル符号化を実現する場合、各 VO の画像信号
ごとに、例えばMPEG方式などのようなスケーラブル符号
化を行う。VOごとに符号化するスケーラブル符号化にお
いては上位レイヤの画像が下位レイヤの画像の一部であ
ってもよい。例えば、下位レイヤの画像の中で特に重要
な意味を持つ領域だけを画質改善すれば低ビットレート
においては十分であり、また冗長なビットの削減にもつ
ながる。この時は、上位レイヤおよび下位レイヤのビッ
トストリームの両方を復号化することにより、下位レイ
ヤの画像の一部が画質改善される（空間解像度または時
間解像度が改善される）ことになる。
スケーラブル符号化を実現する場合、各 VO の画像信号
ごとに、例えばMPEG方式などのようなスケーラブル符号
化を行う。VOごとに符号化するスケーラブル符号化にお
いては上位レイヤの画像が下位レイヤの画像の一部であ
ってもよい。例えば、下位レイヤの画像の中で特に重要
な意味を持つ領域だけを画質改善すれば低ビットレート
においては十分であり、また冗長なビットの削減にもつ
ながる。この時は、上位レイヤおよび下位レイヤのビッ
トストリームの両方を復号化することにより、下位レイ
ヤの画像の一部が画質改善される（空間解像度または時
間解像度が改善される）ことになる。
【００７７】上述したように、上位レイヤが下位レイヤ
の画像の一部の領域である場合、上位レイヤの画像の外
側の部分の情報を下位レイヤの画像が持っていることに
なる。動き補償においても、この情報を活用することに
より、符号化効率の向上を実現することが可能である。
の画像の一部の領域である場合、上位レイヤの画像の外
側の部分の情報を下位レイヤの画像が持っていることに
なる。動き補償においても、この情報を活用することに
より、符号化効率の向上を実現することが可能である。
【００７８】すなわち、本発明においては、 （１） 動きベクトル検出および動き補償において上位
レイヤを参照する場合、画素値が０の画素については、
下位レイヤの対応する位置の画素に置き換える処理が行
われる。 （２） 上記、画素値０の置換処理において所定の下位
レイヤの画像信号と置き換えるかどうかを示すフラグが
符号化され、伝送される。 （３） 補間フィルタなどにより任意形状のVOPの画像の
大きさを拡大する場合、画素値の置換処理を行った後
に、拡大処理が行われる。
レイヤを参照する場合、画素値が０の画素については、
下位レイヤの対応する位置の画素に置き換える処理が行
われる。 （２） 上記、画素値０の置換処理において所定の下位
レイヤの画像信号と置き換えるかどうかを示すフラグが
符号化され、伝送される。 （３） 補間フィルタなどにより任意形状のVOPの画像の
大きさを拡大する場合、画素値の置換処理を行った後
に、拡大処理が行われる。
【００７９】これにより、画像を VO ごとに符号化する
スケーラブル符号化方法において、時間によって大きさ
や形状が変化する場合においても効率のよい動き補償を
実現し、また演算コストを削減することが可能となる。
さらにこれにより効率のよいスケーラビリティを実現す
ることが可能となる。
スケーラブル符号化方法において、時間によって大きさ
や形状が変化する場合においても効率のよい動き補償を
実現し、また演算コストを削減することが可能となる。
さらにこれにより効率のよいスケーラビリティを実現す
ることが可能となる。
【００８０】第１の実施の形態における画像信号符号化
装置を説明する。本実施の形態では図４６と図４７にお
ける VOP 符号化回路１０３−０乃至１０３−ｎと、 VO
P 復号化回路１１２−０乃至１１２−ｎを、スケーラブ
ル符号化回路とスケーラブル復号化回路とすることで、
ビットストリームスケーラビリティを実現する。
装置を説明する。本実施の形態では図４６と図４７にお
ける VOP 符号化回路１０３−０乃至１０３−ｎと、 VO
P 復号化回路１１２−０乃至１１２−ｎを、スケーラブ
ル符号化回路とスケーラブル復号化回路とすることで、
ビットストリームスケーラビリティを実現する。
【００８１】図１に第１の実施の形態における VOP 符
号化回路１０３の一例を示す。各 VOPの画像信号および
key 信号、VOP の大きさを示すフラグFSZ、VOP の絶対
座標における位置を示すフラグFPOS、および任意形状だ
った場合に対する形状領域外の置換方法を示すフラグfi
ll_modeは、画像信号階層化回路２０１に入力される。
画像信号階層化回路２０１は入力画像信号を複数の階層
に分離する。例えば、空間スケーラビリティの場合、画
像信号階層化回路２０１は、入力画像信号および key
信号を縮小し、下位レイヤの画像信号および key 信号
を生成する。図１には２階層（１つの下位レイヤと１つ
の上位レイヤ）の場合を示してあるが、同様に、複数の
階層に分離することも可能である。
号化回路１０３の一例を示す。各 VOPの画像信号および
key 信号、VOP の大きさを示すフラグFSZ、VOP の絶対
座標における位置を示すフラグFPOS、および任意形状だ
った場合に対する形状領域外の置換方法を示すフラグfi
ll_modeは、画像信号階層化回路２０１に入力される。
画像信号階層化回路２０１は入力画像信号を複数の階層
に分離する。例えば、空間スケーラビリティの場合、画
像信号階層化回路２０１は、入力画像信号および key
信号を縮小し、下位レイヤの画像信号および key 信号
を生成する。図１には２階層（１つの下位レイヤと１つ
の上位レイヤ）の場合を示してあるが、同様に、複数の
階層に分離することも可能である。
【００８２】また、任意形状だった場合に対する形状領
域外の置換方法を示すフラグfill_modeは、画像信号階
層化回路２０１に入力する以外に、画像信号階層化回路
２０１において所定のフラグを参照し設定することも可
能である。
域外の置換方法を示すフラグfill_modeは、画像信号階
層化回路２０１に入力する以外に、画像信号階層化回路
２０１において所定のフラグを参照し設定することも可
能である。
【００８３】画像信号階層化回路２０１は、例えばテン
ポラルスケーラビリティ（時間軸方向のスケーラビリテ
ィ）の場合、時刻に応じて画像信号の出力を下位レイヤ
および上位レイヤに切り替える。図２に簡単のために２
階層におけるテンポラルスケーラビリティの例をあげ
る。図２の場合、VOP０、VOP２、VOP４、VOP６を下位レ
イヤに、また、VOP１、VOP３、VOP５を上位レイヤに出
力する。テンポラルスケーラビリティの場合、画像信号
の拡大縮小（解像度の変換）は行わない。
ポラルスケーラビリティ（時間軸方向のスケーラビリテ
ィ）の場合、時刻に応じて画像信号の出力を下位レイヤ
および上位レイヤに切り替える。図２に簡単のために２
階層におけるテンポラルスケーラビリティの例をあげ
る。図２の場合、VOP０、VOP２、VOP４、VOP６を下位レ
イヤに、また、VOP１、VOP３、VOP５を上位レイヤに出
力する。テンポラルスケーラビリティの場合、画像信号
の拡大縮小（解像度の変換）は行わない。
【００８４】画像信号階層化回路２０１は、例えば SNR
(Signal to Noise Ratio) スケーラビリティの場合、入
力された画像信号とkey 信号を、そのまま、各レイヤに
出力する。即ち、下位レイヤと上位レイヤに同一の画像
信号および key 信号を出力する。
(Signal to Noise Ratio) スケーラビリティの場合、入
力された画像信号とkey 信号を、そのまま、各レイヤに
出力する。即ち、下位レイヤと上位レイヤに同一の画像
信号および key 信号を出力する。
【００８５】画像信号階層化回路２０１は、例えば空間
スケーラビリティの場合、入力画像信号およびkey信号
を解像度変換し、下位レイヤに画像信号およびkey信号
を出力する。解像度変換処理とは、例えば、間引きフィ
ルタによる縮小フィルタの処理などである。あるいはま
た、画像信号階層化回路２０１に、入力画像信号および
key信号を解像度変換させ、上位レイヤに画像信号およ
びkey信号を出力させるようにしてもよい。この場合、
解像度変換処理は拡大フィルタ処理となる。さらにま
た、画像信号階層化回路２０１には、独立に生成された
２つの画像信号およびkey信号（それぞれの解像度は異
なっていても、または同一であってもよい）を、それぞ
れ、上位レイヤおよび下位レイヤとして出力させるよう
にしてもよい。この場合、どの画像を上位レイヤおよび
下位レイヤに出力するかは、あらかじめ決められてい
る。
スケーラビリティの場合、入力画像信号およびkey信号
を解像度変換し、下位レイヤに画像信号およびkey信号
を出力する。解像度変換処理とは、例えば、間引きフィ
ルタによる縮小フィルタの処理などである。あるいはま
た、画像信号階層化回路２０１に、入力画像信号および
key信号を解像度変換させ、上位レイヤに画像信号およ
びkey信号を出力させるようにしてもよい。この場合、
解像度変換処理は拡大フィルタ処理となる。さらにま
た、画像信号階層化回路２０１には、独立に生成された
２つの画像信号およびkey信号（それぞれの解像度は異
なっていても、または同一であってもよい）を、それぞ
れ、上位レイヤおよび下位レイヤとして出力させるよう
にしてもよい。この場合、どの画像を上位レイヤおよび
下位レイヤに出力するかは、あらかじめ決められてい
る。
【００８６】次に、VOPごとに符号化するスケーラブル
符号化方法について説明する。VOは時刻ごとに、その大
きさや位置が変化してもよいし、同一でもよい。従っ
て、以下のようなスケーラビリティが考えられる。 （１） 上位レイヤは下位レイヤの全ての領域を含む。 （２） 上位レイヤは下位レイヤの一部の領域に対応す
る。
符号化方法について説明する。VOは時刻ごとに、その大
きさや位置が変化してもよいし、同一でもよい。従っ
て、以下のようなスケーラビリティが考えられる。 （１） 上位レイヤは下位レイヤの全ての領域を含む。 （２） 上位レイヤは下位レイヤの一部の領域に対応す
る。
【００８７】（１） の場合、上位レイヤ及び下位レイ
ヤを復号化することにより、下位レイヤの全ての領域が
画質改善される。ただし、画質改善とは時間スケーラビ
リティの場合、時間解像度が改善されることであり、空
間スケーラビリティの場合、空間解像度が改善されるこ
とである。
ヤを復号化することにより、下位レイヤの全ての領域が
画質改善される。ただし、画質改善とは時間スケーラビ
リティの場合、時間解像度が改善されることであり、空
間スケーラビリティの場合、空間解像度が改善されるこ
とである。
【００８８】（２） の場合、上位レイヤおよび下位レ
イヤを復号化することにより、対応する下位レイヤの一
部のみが画質改善される。
イヤを復号化することにより、対応する下位レイヤの一
部のみが画質改善される。
【００８９】（１）と（２）のいずれの場合も、VOPの
形状は長方形であっても、任意形状であってもよい。図
３は、（１）における空間スケーラビリティでVOPの形
状が長方形である場合の一例を示している。また図４
は、（２）における空間スケーラビリティで、VOPの形
状が長方形である場合の一例を示している。
形状は長方形であっても、任意形状であってもよい。図
３は、（１）における空間スケーラビリティでVOPの形
状が長方形である場合の一例を示している。また図４
は、（２）における空間スケーラビリティで、VOPの形
状が長方形である場合の一例を示している。
【００９０】図５と図６は、（１）における空間スケー
ラビリティで、VOPの形状が任意形状である場合の一例
を示している。図７は、（２）における空間スケーラビ
リティでVOPの形状が任意形状である場合の一例を示し
ている。
ラビリティで、VOPの形状が任意形状である場合の一例
を示している。図７は、（２）における空間スケーラビ
リティでVOPの形状が任意形状である場合の一例を示し
ている。
【００９１】上記いずれのスケーラビリティを用いるか
は、予め決められている。画像信号階層化回路２０１は
予め決められた方法で上位レイヤと下位レイヤを設定す
る。
は、予め決められている。画像信号階層化回路２０１は
予め決められた方法で上位レイヤと下位レイヤを設定す
る。
【００９２】画像信号階層化回路２０１はまた、各レイ
ヤの大きさ、および絶対座標における位置を示すフラグ
を出力する。例えば図１の場合、下位レイヤのVOPの大
きさを示すフラグ FSZ_B 、絶対座標における下位レイ
ヤのVOPの位置を示すフラグ FPOS_B が、下位レイヤ符
号化回路２０４に出力される。また上位レイヤのVOPの
大きさを示すフラグ FSZ_E、および絶対座標における上
位レイヤのVOPの位置を示すフラグ FPOS_Eが、遅延回路
２０２を介して上位レイヤ符号化回路２０３、に出力さ
れる。
ヤの大きさ、および絶対座標における位置を示すフラグ
を出力する。例えば図１の場合、下位レイヤのVOPの大
きさを示すフラグ FSZ_B 、絶対座標における下位レイ
ヤのVOPの位置を示すフラグ FPOS_B が、下位レイヤ符
号化回路２０４に出力される。また上位レイヤのVOPの
大きさを示すフラグ FSZ_E、および絶対座標における上
位レイヤのVOPの位置を示すフラグ FPOS_Eが、遅延回路
２０２を介して上位レイヤ符号化回路２０３、に出力さ
れる。
【００９３】さらに、画像信号階層化回路２０１は、下
位レイヤのVOPに対する上位レイヤのVOPの大きさの倍率
を示すフラグ FR、および上位レイヤに対し置換方法を
示すフラグfill_modeを、遅延回路２０２を介して解像
度変換回路２０５および上位レイヤ符号化回路２０３に
出力する。
位レイヤのVOPに対する上位レイヤのVOPの大きさの倍率
を示すフラグ FR、および上位レイヤに対し置換方法を
示すフラグfill_modeを、遅延回路２０２を介して解像
度変換回路２０５および上位レイヤ符号化回路２０３に
出力する。
【００９４】次に、下位レイヤ符号化回路２０４を図８
を用いて説明する。なお、図８において、図３８と対応
する部分には、同一の符号を付してある。
を用いて説明する。なお、図８において、図３８と対応
する部分には、同一の符号を付してある。
【００９５】入力画像信号はまずフレームメモリ群１に
入力され、所定の順番で記憶される。フレームメモリ群
１ではその VOP の画像信号、その VOP の大きさを示す
フラグ FSZ_B 、および絶対座標における位置を示すフ
ラグ FPOS_B が記録される。符号化されるべき画像デー
タは、マクロブロック単位で動きベクトル検出回路２２
２に入力される。動きベクトル検出回路２２２は、予め
設定されている所定のシーケンスに従って、各フレーム
の画像データを、Ｉピクチャ、Ｐピクチャ、またはＢピ
クチャとして処理する。シーケンシャルに入力される各
フレームの画像を、Ｉ，Ｐ，Ｂのいずれのピクチャとし
て処理するかは、予め定められている（例えば、Ｉ，
Ｂ，Ｐ，Ｂ，Ｐ，・・・Ｂ，Ｐとして処理することが定
められている）。
入力され、所定の順番で記憶される。フレームメモリ群
１ではその VOP の画像信号、その VOP の大きさを示す
フラグ FSZ_B 、および絶対座標における位置を示すフ
ラグ FPOS_B が記録される。符号化されるべき画像デー
タは、マクロブロック単位で動きベクトル検出回路２２
２に入力される。動きベクトル検出回路２２２は、予め
設定されている所定のシーケンスに従って、各フレーム
の画像データを、Ｉピクチャ、Ｐピクチャ、またはＢピ
クチャとして処理する。シーケンシャルに入力される各
フレームの画像を、Ｉ，Ｐ，Ｂのいずれのピクチャとし
て処理するかは、予め定められている（例えば、Ｉ，
Ｂ，Ｐ，Ｂ，Ｐ，・・・Ｂ，Ｐとして処理することが定
められている）。
【００９６】動きベクトル検出回路２２２は予め定めら
れた所定の参照フレームを参照し、動き補償を行い、そ
の動きベクトルを検出する。動き補償（フレーム間予
測）には前方予測、後方予測、両方向予測の３種類の予
測モードがある。Ｐピクチャの予測モードは前方予測の
みであり、Ｂピクチャの予測モードは前方予測、後方予
測、両方向予測の３種類である。動きベクトル検出回路
２２２は予測誤差を最小にする予測モードを選択し、そ
のときの予測ベクトルを発生する。
れた所定の参照フレームを参照し、動き補償を行い、そ
の動きベクトルを検出する。動き補償（フレーム間予
測）には前方予測、後方予測、両方向予測の３種類の予
測モードがある。Ｐピクチャの予測モードは前方予測の
みであり、Ｂピクチャの予測モードは前方予測、後方予
測、両方向予測の３種類である。動きベクトル検出回路
２２２は予測誤差を最小にする予測モードを選択し、そ
のときの予測ベクトルを発生する。
【００９７】予測誤差は、例えば、符号化するマクロブ
ロックの分散と比較され、マクロブロックの分散の方が
小さい場合、そのマクロブロックでは予測は行わず、フ
レーム内符号化が行われる。この場合、予測モードは画
像内予測（イントラ）となる。動きベクトルおよび上記
予測モードは、可変長符号化回路６、フレームメモリ群
１１、および動き補償回路１２に入力される。
ロックの分散と比較され、マクロブロックの分散の方が
小さい場合、そのマクロブロックでは予測は行わず、フ
レーム内符号化が行われる。この場合、予測モードは画
像内予測（イントラ）となる。動きベクトルおよび上記
予測モードは、可変長符号化回路６、フレームメモリ群
１１、および動き補償回路１２に入力される。
【００９８】ここで、動きベクトルについて説明する。
VOP はそれぞれ、大きさや位置が異なるため、動きベク
トルを検出する際、基準となる座標系を設定する必要が
ある。ここでは、ある１つの絶対座標を仮定し、絶対座
標における動きベクトルを計算するものとする。したが
って、この時、現 VOP と予測参照 VOP を、その大きさ
と位置を示すフラグに従って所定の位置に配置し、動き
ベクトルを算出する。動きベクトル検出方法の詳細は後
述する。
VOP はそれぞれ、大きさや位置が異なるため、動きベク
トルを検出する際、基準となる座標系を設定する必要が
ある。ここでは、ある１つの絶対座標を仮定し、絶対座
標における動きベクトルを計算するものとする。したが
って、この時、現 VOP と予測参照 VOP を、その大きさ
と位置を示すフラグに従って所定の位置に配置し、動き
ベクトルを算出する。動きベクトル検出方法の詳細は後
述する。
【００９９】動き補償回路１２では所定の動きベクトル
に基づいて予測画像を生成し、演算回路３に入力する。
演算回路３では符号化するマクロブロックの値と予測画
像の値の差分信号を演算し、 DCT 回路４に出力する。
イントラマクロブロックの場合、演算回路３は符号化す
るマクロブロックの信号をそのまま DCT 回路４に出力
する。
に基づいて予測画像を生成し、演算回路３に入力する。
演算回路３では符号化するマクロブロックの値と予測画
像の値の差分信号を演算し、 DCT 回路４に出力する。
イントラマクロブロックの場合、演算回路３は符号化す
るマクロブロックの信号をそのまま DCT 回路４に出力
する。
【０１００】DCT 回路４は入力された信号を DCT（離散
コサイン変換）処理し、 DCT 係数に変換する。このDCT
係数は、量子化回路５に入力され、送信バッファ７のデ
ータ蓄積量（バッファ蓄積量）に対応した量子化ステッ
プで量子化された後、可変長符号化回路６に入力され
る。
コサイン変換）処理し、 DCT 係数に変換する。このDCT
係数は、量子化回路５に入力され、送信バッファ７のデ
ータ蓄積量（バッファ蓄積量）に対応した量子化ステッ
プで量子化された後、可変長符号化回路６に入力され
る。
【０１０１】可変長符号化回路６は、量子化回路５より
供給される量子化ステップ（スケール）に対応して、量
子化回路５より供給される画像データを、例えばハフマ
ン符号などの可変長符号に変換し、送信バッファ７に出
力する。
供給される量子化ステップ（スケール）に対応して、量
子化回路５より供給される画像データを、例えばハフマ
ン符号などの可変長符号に変換し、送信バッファ７に出
力する。
【０１０２】可変長符号化回路６にはまた、量子化回路
５より量子化ステップ（スケール）、動きベクトル検出
回路２２２より予測モード（画像内予測、前方予測、後
方予測、または両方向予測のいずれが設定されたかを示
すモード）、および動きベクトル、が入力されており、
これらも可変長符号化される。
５より量子化ステップ（スケール）、動きベクトル検出
回路２２２より予測モード（画像内予測、前方予測、後
方予測、または両方向予測のいずれが設定されたかを示
すモード）、および動きベクトル、が入力されており、
これらも可変長符号化される。
【０１０３】さらに、可変長符号化回路６には、下位レ
イヤの VOP の大きさを示すフラグFSZ_B および絶対座
標における位置を示すフラグ FPOS_B が入力されてお
り、これらも符号化される。また、可変長符号化回路６
は、key 信号符号化回路２２３から入力されている key
信号のビットストリームを、量子化回路５から入力さ
れるビデオのビットストリームの所定の位置に挿入し、
送信バッファ７に供給する。
イヤの VOP の大きさを示すフラグFSZ_B および絶対座
標における位置を示すフラグ FPOS_B が入力されてお
り、これらも符号化される。また、可変長符号化回路６
は、key 信号符号化回路２２３から入力されている key
信号のビットストリームを、量子化回路５から入力さ
れるビデオのビットストリームの所定の位置に挿入し、
送信バッファ７に供給する。
【０１０４】VOP の key 信号は key 信号符号化回路２
２３に入力される。key 信号は所定の方法、例えば DPC
M に従って符号化され、key 信号ビットストリームとし
て可変長符号化回路６および key 信号復号化回路２２
４に出力される。key 信号復号化回路２２４では key
信号ビットストリームを復号化し、動きベクトル検出回
路２２２、動き補償回路１２、DCT回路４、逆DCT回路
９、および画素置換回路２２１に供給する。
２３に入力される。key 信号は所定の方法、例えば DPC
M に従って符号化され、key 信号ビットストリームとし
て可変長符号化回路６および key 信号復号化回路２２
４に出力される。key 信号復号化回路２２４では key
信号ビットストリームを復号化し、動きベクトル検出回
路２２２、動き補償回路１２、DCT回路４、逆DCT回路
９、および画素置換回路２２１に供給する。
【０１０５】送信バッファ７は、入力されたデータを一
時蓄積し、蓄積量に対応するデータを量子化回路５に出
力する。送信バッファ７は、そのデータ残量が許容上限
値まで増量すると、量子化制御信号によって量子化回路
５の量子化スケールを大きくすることにより、量子化デ
ータのデータ量を低下させる。また、これとは逆に、デ
ータ残量が許容下限値まで減少すると、送信バッファ７
は、量子化制御信号によって量子化回路５の量子化スケ
ールを小さくすることにより、量子化データのデータ量
を増大させる。このようにして、送信バッファ７のオー
バフローまたはアンダフローが防止される。そして、送
信バッファ７に蓄積されたデータは、所定のタイミング
で読み出され、図１の多重化回路２０６に出力される。
時蓄積し、蓄積量に対応するデータを量子化回路５に出
力する。送信バッファ７は、そのデータ残量が許容上限
値まで増量すると、量子化制御信号によって量子化回路
５の量子化スケールを大きくすることにより、量子化デ
ータのデータ量を低下させる。また、これとは逆に、デ
ータ残量が許容下限値まで減少すると、送信バッファ７
は、量子化制御信号によって量子化回路５の量子化スケ
ールを小さくすることにより、量子化データのデータ量
を増大させる。このようにして、送信バッファ７のオー
バフローまたはアンダフローが防止される。そして、送
信バッファ７に蓄積されたデータは、所定のタイミング
で読み出され、図１の多重化回路２０６に出力される。
【０１０６】一方、量子化回路５より出力されたデータ
は、逆量子化回路８に入力され、量子化回路５より供給
される量子化ステップに対応して逆量子化される。逆量
子化回路８の出力は、IDCT（逆DCT）回路９に入力さ
れ、逆DCT処理された後、演算回路１０から画素置換回
路２２１を介してフレームメモリ群１１に供給され、記
憶される。
は、逆量子化回路８に入力され、量子化回路５より供給
される量子化ステップに対応して逆量子化される。逆量
子化回路８の出力は、IDCT（逆DCT）回路９に入力さ
れ、逆DCT処理された後、演算回路１０から画素置換回
路２２１を介してフレームメモリ群１１に供給され、記
憶される。
【０１０７】図９に画素置換回路２２１における処理の
流れを示す。対象となる画素の位置が画像オブジェクト
の内側である場合、即ち対応する位置のkey信号が非ゼ
ロであるとステップＳ１で判定された場合、ステップＳ
２に進み、画素置換回路２２１は、その画素については
何も処理を行わず、そのまま出力する。対応するkey信
号の値が０である場合、ステップＳ３で、その画素値は
０とされる。
流れを示す。対象となる画素の位置が画像オブジェクト
の内側である場合、即ち対応する位置のkey信号が非ゼ
ロであるとステップＳ１で判定された場合、ステップＳ
２に進み、画素置換回路２２１は、その画素については
何も処理を行わず、そのまま出力する。対応するkey信
号の値が０である場合、ステップＳ３で、その画素値は
０とされる。
【０１０８】なお、VOP形状の内部であることを示すkey
信号は常に０以外（binary keyの場合は１、gray scale
keyの場合は２５５）であるため、VOP中の全ての画素
が何も処理されずそのまま出力される。
信号は常に０以外（binary keyの場合は１、gray scale
keyの場合は２５５）であるため、VOP中の全ての画素
が何も処理されずそのまま出力される。
【０１０９】ステップＳ３の次には、ステップＳ４乃至
Ｓ８の処理と、ステップＳ９乃至Ｓ１３の処理が並行し
て行われる。ステップＳ４では、対象となるVOPを水平
方向にスキャンする。この時、水平方向のラインは次の
３通りの線部分に分類できる。ステップＳ５で、いずれ
の線部分であるのかを判定する。 （１） 両端がVOPの終端と一致する線部分 （２） 片端画素値が非ゼロの線部分 （３） 両端画素値が非ゼロの線部分
Ｓ８の処理と、ステップＳ９乃至Ｓ１３の処理が並行し
て行われる。ステップＳ４では、対象となるVOPを水平
方向にスキャンする。この時、水平方向のラインは次の
３通りの線部分に分類できる。ステップＳ５で、いずれ
の線部分であるのかを判定する。 （１） 両端がVOPの終端と一致する線部分 （２） 片端画素値が非ゼロの線部分 （３） 両端画素値が非ゼロの線部分
【０１１０】両端がVOPの終端と一致する線部分（例え
ば、図１０（Ａ）の空白部）である場合は、ステップＳ
６で、値Ｃに０を設定する。両端が非ゼロである線部分
（例えば、図１０（Ａ）の黒色の部分が左右に２個存在
するような場合であって、その間の部分）の場合は、ス
テップＳ７で、値Ｃにその両端の画素値の平均値を設定
する。また片端のみが非ゼロの画素の線部分（例えば、
図１０（Ａ）の水平な直線で示す部分）である場合は、
ステップＳ８で、値Ｃにその非ゼロの値を設定する。
ば、図１０（Ａ）の空白部）である場合は、ステップＳ
６で、値Ｃに０を設定する。両端が非ゼロである線部分
（例えば、図１０（Ａ）の黒色の部分が左右に２個存在
するような場合であって、その間の部分）の場合は、ス
テップＳ７で、値Ｃにその両端の画素値の平均値を設定
する。また片端のみが非ゼロの画素の線部分（例えば、
図１０（Ａ）の水平な直線で示す部分）である場合は、
ステップＳ８で、値Ｃにその非ゼロの値を設定する。
【０１１１】以上のようにして、例えば図１０（Ａ）に
示すような画像の処理が行われる。
示すような画像の処理が行われる。
【０１１２】ステップＳ９では、対象となるVOPを垂直
方向にスキャンする。この時、垂直方向のラインは次の
３通りの線部分に分類できる。ステップＳ１０でいずれ
の線部分であるのかの判定が行われる。 （１） 両端がVOPの終端と一致する線部分 （２） 片端画素値が非ゼロの線部分 （３） 両端画素値が非ゼロの線部分
方向にスキャンする。この時、垂直方向のラインは次の
３通りの線部分に分類できる。ステップＳ１０でいずれ
の線部分であるのかの判定が行われる。 （１） 両端がVOPの終端と一致する線部分 （２） 片端画素値が非ゼロの線部分 （３） 両端画素値が非ゼロの線部分
【０１１３】両端がVOPの終端と一致する線部分である
場合は、ステップＳ１１で、値Ｂに０を設定する。両端
が非ゼロである線部分の場合は、ステップＳ１２で、値
Ｂにその両端の画素値の平均値を設定する。また片端の
みが非ゼロの画素の線部分の場合は、ステップＳ１３
で、値Ｂにその非ゼロの値を設定する。
場合は、ステップＳ１１で、値Ｂに０を設定する。両端
が非ゼロである線部分の場合は、ステップＳ１２で、値
Ｂにその両端の画素値の平均値を設定する。また片端の
みが非ゼロの画素の線部分の場合は、ステップＳ１３
で、値Ｂにその非ゼロの値を設定する。
【０１１４】以上のようにして、例えば図１０（Ｂ）に
示すような画像の処理が行われる。
示すような画像の処理が行われる。
【０１１５】次に、ステップＳ１４では、値Ｂおよび値
Ｃがともに０である場合、画素値は０のままとする。値
Ｂのみが非ゼロの値の場合、画素値は値Ｂの値に置換さ
れる。値Ｃのみが非ゼロの値の場合、画素値は値Ｃの値
に置換される。値Ｂおよび値Ｃが共に非ゼロの値を持つ
とき、画素値はその平均値に置換される。
Ｃがともに０である場合、画素値は０のままとする。値
Ｂのみが非ゼロの値の場合、画素値は値Ｂの値に置換さ
れる。値Ｃのみが非ゼロの値の場合、画素値は値Ｃの値
に置換される。値Ｂおよび値Ｃが共に非ゼロの値を持つ
とき、画素値はその平均値に置換される。
【０１１６】以上のようにして、例えば図１０（Ｃ）に
示すような画像の処理が行われる。
示すような画像の処理が行われる。
【０１１７】以上の処理を終了した時点で、画素の値が
ゼロであるか否かがステップＳ１５で判定され、値が非
ゼロの画素はそのまま出力される。値がゼロの画素は、
ステップＳ１６で、水平方向および垂直方向で最も近い
位置にある非ゼロの画素の値に置換される。ただし、こ
の時、最も近い非ゼロの画素が２つある場合、その平均
値と置換する。
ゼロであるか否かがステップＳ１５で判定され、値が非
ゼロの画素はそのまま出力される。値がゼロの画素は、
ステップＳ１６で、水平方向および垂直方向で最も近い
位置にある非ゼロの画素の値に置換される。ただし、こ
の時、最も近い非ゼロの画素が２つある場合、その平均
値と置換する。
【０１１８】以上のようにして、例えば図１０（Ｄ）に
示すような画像の処理が行われる。
示すような画像の処理が行われる。
【０１１９】画素置換回路２２１は上記の通りの置換処
理を行ったデータを、フレームメモリ群１１および図１
における解像度変換回路２０５に出力する。
理を行ったデータを、フレームメモリ群１１および図１
における解像度変換回路２０５に出力する。
【０１２０】フレームメモリ群１１では画素置換回路２
２１の出力、その VOP の大きさを示すフラグ FSZ_B 、
および絶対座標における位置を示すフラグ FPOS_B を記
録する。フレームメモリ群１１はまた、図１における上
位レイヤ符号化回路２０３に、所定の VOP の局所復号
画像を解像度変換回路２０５を介して出力する。
２１の出力、その VOP の大きさを示すフラグ FSZ_B 、
および絶対座標における位置を示すフラグ FPOS_B を記
録する。フレームメモリ群１１はまた、図１における上
位レイヤ符号化回路２０３に、所定の VOP の局所復号
画像を解像度変換回路２０５を介して出力する。
【０１２１】次に動きベクトル検出回路２２２について
説明する。動きベクトル検出回路２２２は符号化するマ
クロブロックと参照する画像に対して予測誤差を最小と
する動きベクトルを検出する。このとき参照画像は予測
モード（Ｉ，Ｐ，Ｂピクチャ）に応じて、フレームメモ
リ群１１から、供給れる。
説明する。動きベクトル検出回路２２２は符号化するマ
クロブロックと参照する画像に対して予測誤差を最小と
する動きベクトルを検出する。このとき参照画像は予測
モード（Ｉ，Ｐ，Ｂピクチャ）に応じて、フレームメモ
リ群１１から、供給れる。
【０１２２】動きベクトル検出回路２２２にはまた、ke
y信号復号化回路２２４によって復号化された、当該マ
クロブロックの局所復号key信号が供給されている。動
きベクトル検出回路２２２は予測誤差を計算する際に、
対応するkey信号を参照する。
y信号復号化回路２２４によって復号化された、当該マ
クロブロックの局所復号key信号が供給されている。動
きベクトル検出回路２２２は予測誤差を計算する際に、
対応するkey信号を参照する。
【０１２３】符号化するVOPの形状が任意形状である場
合、符号化するマクロブロックに画像が存在しない領域
が含まれることがある。この場合、符号化するマクロブ
ロックにおいて画像が存在しない画素については予測誤
差の計算には含めない。即ち、画像が存在する画素の予
測誤差のみを用いて当該マクロブロックの予測誤差を計
算し、それを最小とする動きベクトルを検出する。
合、符号化するマクロブロックに画像が存在しない領域
が含まれることがある。この場合、符号化するマクロブ
ロックにおいて画像が存在しない画素については予測誤
差の計算には含めない。即ち、画像が存在する画素の予
測誤差のみを用いて当該マクロブロックの予測誤差を計
算し、それを最小とする動きベクトルを検出する。
【０１２４】符号化するマクロブロック内の各画素に画
像が存在するかどうかは、符号化するマクロブロック
の、局所復号化されたkey信号を参照することによって
認識することが可能である。即ち、key信号が０である
画素は画像が存在しない、画像オブジェクトの外側の領
域に属する画素であることがわかる。key信号が０以外
である場合、画像が存在する領域、即ち画像オブジェク
トの内側の画素であることになる。
像が存在するかどうかは、符号化するマクロブロック
の、局所復号化されたkey信号を参照することによって
認識することが可能である。即ち、key信号が０である
画素は画像が存在しない、画像オブジェクトの外側の領
域に属する画素であることがわかる。key信号が０以外
である場合、画像が存在する領域、即ち画像オブジェク
トの内側の画素であることになる。
【０１２５】動きベクトル検出回路２２２はkey信号復
号化回路２２４より供給されるkey信号を参照し、key信
号が０である場合、その画素の参照画像との差分は予測
誤差に加算しない。なお、VOPの形状が長方形である場
合、key信号は常に０以外（binary keyの場合は１、gra
y scale keyの場合は２５５）であるため、マクロブロ
ックのすべての画素を用いて予測誤差を計算する。
号化回路２２４より供給されるkey信号を参照し、key信
号が０である場合、その画素の参照画像との差分は予測
誤差に加算しない。なお、VOPの形状が長方形である場
合、key信号は常に０以外（binary keyの場合は１、gra
y scale keyの場合は２５５）であるため、マクロブロ
ックのすべての画素を用いて予測誤差を計算する。
【０１２６】下位レイヤのkey信号はkey信号符号化回路
２２３によって符号化された後、可変長符号化回路６お
よびkey信号復号化回路２２４に供給される。可変長符
号化回路６では符号化されたkey信号のビットストリー
ムをビデオのビットストリームの所定の位置に挿入し、
送信バッファ７に供給する。
２２３によって符号化された後、可変長符号化回路６お
よびkey信号復号化回路２２４に供給される。可変長符
号化回路６では符号化されたkey信号のビットストリー
ムをビデオのビットストリームの所定の位置に挿入し、
送信バッファ７に供給する。
【０１２７】key信号復号化回路２２４に供給されたビ
ットストリームはここで復号化される。復号されたkey
信号は、動きベクトル検出回路２２２、動き補償回路１
２、画素置換回路２２１、DCT回路４およびIDCT回路９
に供給される。また、復号化されたkey信号は図１の上
位レイヤ符号化回路２０３に供給される。
ットストリームはここで復号化される。復号されたkey
信号は、動きベクトル検出回路２２２、動き補償回路１
２、画素置換回路２２１、DCT回路４およびIDCT回路９
に供給される。また、復号化されたkey信号は図１の上
位レイヤ符号化回路２０３に供給される。
【０１２８】図１に戻って、解像度変換回路２０５は下
位レイヤのVOPに対する上位レイヤのVOPの大きさの倍率
を示すフラグ FR に従い、下位レイヤの画像信号の解像
度を、上位レイヤの画像信号に対応する解像度に、フィ
ルタにより変換し、上位レイヤ符号化回路２０３に供給
する。
位レイヤのVOPに対する上位レイヤのVOPの大きさの倍率
を示すフラグ FR に従い、下位レイヤの画像信号の解像
度を、上位レイヤの画像信号に対応する解像度に、フィ
ルタにより変換し、上位レイヤ符号化回路２０３に供給
する。
【０１２９】解像度変換回路２０５は、一倍もしくは任
意の倍率の解像度変換が可能であり、また画像の縦方向
と横方向で、異なる倍率を入力してもよい。
意の倍率の解像度変換が可能であり、また画像の縦方向
と横方向で、異なる倍率を入力してもよい。
【０１３０】縦方向および横方向の倍率が１の場合、即
ち上位レイヤと下位レイヤの大きさが等しい場合、解像
度変換回路２０５は入力されたデータを、何もせずにそ
のまま出力する。
ち上位レイヤと下位レイヤの大きさが等しい場合、解像
度変換回路２０５は入力されたデータを、何もせずにそ
のまま出力する。
【０１３１】画像信号階層化回路２０１によって生成さ
れた上位レイヤ画像信号、 key 信号、上位レイヤのVOP
の大きさを示すフラグ FSZ_E 、および絶対座標におけ
る上位レイヤのVOPの位置を示すフラグ FPOS_E 、上位
レイヤが任意形状な場合に対する形状領域外等の置換方
法を示すフラグfill_modeは、遅延回路２０２を介して
上位レイヤ符号化回路２０３に供給される。遅延回路２
０２は、所定の下位レイヤの VOP を符号化するのに要
する時間だけ入力を遅延して出力する。
れた上位レイヤ画像信号、 key 信号、上位レイヤのVOP
の大きさを示すフラグ FSZ_E 、および絶対座標におけ
る上位レイヤのVOPの位置を示すフラグ FPOS_E 、上位
レイヤが任意形状な場合に対する形状領域外等の置換方
法を示すフラグfill_modeは、遅延回路２０２を介して
上位レイヤ符号化回路２０３に供給される。遅延回路２
０２は、所定の下位レイヤの VOP を符号化するのに要
する時間だけ入力を遅延して出力する。
【０１３２】次に上位レイヤ符号化回路２０３を図１１
を用いて説明する。なお、この図においても、図３８と
対応する部分には同一の符号を付してある。
を用いて説明する。なお、この図においても、図３８と
対応する部分には同一の符号を付してある。
【０１３３】入力画像信号はまずフレームメモリ群１に
入力され、所定の順番で記憶される。フレームメモリ群
１では、その VOP の画像信号、その VOP の大きさを示
すフラグ FSZ_E 、および絶対座標における位置を示す
フラグ FPOS_E が記録される。
入力され、所定の順番で記憶される。フレームメモリ群
１では、その VOP の画像信号、その VOP の大きさを示
すフラグ FSZ_E 、および絶対座標における位置を示す
フラグ FPOS_E が記録される。
【０１３４】符号化されるべき画像データは、マクロブ
ロック単位で動きベクトル検出回路２３２に入力され
る。動きベクトル検出回路２３２は、予め設定されてい
る所定のシーケンスに従って、各フレームの画像データ
を、Ｉピクチャ、Ｐピクチャ、またはＢピクチャとして
処理する。シーケシャルに入力される各フレームの画像
を、Ｉ，Ｐ，Ｂのいずれのピクチャとして処理するか
は、予め定められている（例えば、Ｉ，Ｂ，Ｐ，Ｂ，
Ｐ，・・・Ｂ，Ｐとして処理される）。
ロック単位で動きベクトル検出回路２３２に入力され
る。動きベクトル検出回路２３２は、予め設定されてい
る所定のシーケンスに従って、各フレームの画像データ
を、Ｉピクチャ、Ｐピクチャ、またはＢピクチャとして
処理する。シーケシャルに入力される各フレームの画像
を、Ｉ，Ｐ，Ｂのいずれのピクチャとして処理するか
は、予め定められている（例えば、Ｉ，Ｂ，Ｐ，Ｂ，
Ｐ，・・・Ｂ，Ｐとして処理される）。
【０１３５】空間スケーラビリティの場合、例えば図１
２に示すように符号化される。上位レイヤの最初の VOP
１ はＰピクチャとして符号化される。この時の参照画
像は下位レイヤの同時刻の VOP０ となる。第２番目以
後の上位レイヤの VOP３，VOP５，VOP７ はＢピクチャ
として符号化される。この場合、直前の上位レイヤの V
OP と 同時刻の下位レイヤの画像を参照画像として用
い、符号化する。上位レイヤのＢピクチャは下位レイヤ
のＰピクチャと同様に、他の VOP を符号化する場合の
予測参照画像となる。
２に示すように符号化される。上位レイヤの最初の VOP
１ はＰピクチャとして符号化される。この時の参照画
像は下位レイヤの同時刻の VOP０ となる。第２番目以
後の上位レイヤの VOP３，VOP５，VOP７ はＢピクチャ
として符号化される。この場合、直前の上位レイヤの V
OP と 同時刻の下位レイヤの画像を参照画像として用
い、符号化する。上位レイヤのＢピクチャは下位レイヤ
のＰピクチャと同様に、他の VOP を符号化する場合の
予測参照画像となる。
【０１３６】SNR スケーラビリティは空間スケーラビリ
ティの特殊な場合で、上位レイヤと下位レイヤの大きさ
が等しい場合である。
ティの特殊な場合で、上位レイヤと下位レイヤの大きさ
が等しい場合である。
【０１３７】テンポラルスケーラビリティの場合は、例
えば図２のようにして符号化される。VOP１はＢピクチ
ャとして符号化され、下位レイヤの VOP０および VOP２
を予測参照画像とする。また VOP３は、Ｂピクチャとし
て符号化され、直前の下位レイヤの画像 VOP２と直後の
下位レイヤの画像 VOP４を参照画像とする。また VOP５
は、Ｂピクチャとして符号化され、直前の下位レイヤの
画像 VOP４と直後の下位レイヤの画像 VOP６を予測参照
画像とする。
えば図２のようにして符号化される。VOP１はＢピクチ
ャとして符号化され、下位レイヤの VOP０および VOP２
を予測参照画像とする。また VOP３は、Ｂピクチャとし
て符号化され、直前の下位レイヤの画像 VOP２と直後の
下位レイヤの画像 VOP４を参照画像とする。また VOP５
は、Ｂピクチャとして符号化され、直前の下位レイヤの
画像 VOP４と直後の下位レイヤの画像 VOP６を予測参照
画像とする。
【０１３８】ここで、上位レイヤのＰおよびＢピクチャ
の予測について説明する。上位レイヤの予測は同じレイ
ヤの画像だけでなく、他の階層（スケーラブルレイヤ）
の画像も参照画像として用いることができる。例えば２
階層のスケーラビリティの場合、上位レイヤは下位レイ
ヤの画像も予測参照画像として用いることができる。各
スケーラブルレイヤについて、同じレイヤ以外のどのレ
イヤを参照画像として用いるかを示すフラグ ref_layer
_id を設定し、符号化し、伝送する。また各 VOP につ
いて、 ref_layer_id に基づいて、forward および bac
kward 予測をどのレイヤから予測するかを示すフラグ r
ef_select_code を設定し、符号化し、伝送する。Ｐピ
クチャにおける ref_select_code を表１に示す。また
Ｂピクチャにおける ref_select_code を表２に示す。
シンタクスの詳細は後述する。
の予測について説明する。上位レイヤの予測は同じレイ
ヤの画像だけでなく、他の階層（スケーラブルレイヤ）
の画像も参照画像として用いることができる。例えば２
階層のスケーラビリティの場合、上位レイヤは下位レイ
ヤの画像も予測参照画像として用いることができる。各
スケーラブルレイヤについて、同じレイヤ以外のどのレ
イヤを参照画像として用いるかを示すフラグ ref_layer
_id を設定し、符号化し、伝送する。また各 VOP につ
いて、 ref_layer_id に基づいて、forward および bac
kward 予測をどのレイヤから予測するかを示すフラグ r
ef_select_code を設定し、符号化し、伝送する。Ｐピ
クチャにおける ref_select_code を表１に示す。また
Ｂピクチャにおける ref_select_code を表２に示す。
シンタクスの詳細は後述する。
【０１３９】
【表１】
【０１４０】
【表２】
【０１４１】上位レイヤと下位レイヤの予測は、図２お
よび図１２に示す例以外にも、表１および表２の許す範
囲内で、自由に設定して良い。また、表１および表２の
シンタクスにおいては、空間スケーラビリティやテンポ
ラルスケーラビリティについて明示的な区別は無い。
よび図１２に示す例以外にも、表１および表２の許す範
囲内で、自由に設定して良い。また、表１および表２の
シンタクスにおいては、空間スケーラビリティやテンポ
ラルスケーラビリティについて明示的な区別は無い。
【０１４２】Ｐピクチャの場合、ref_select_code が '
11' のとき、ref_layer_id が示すレイヤ（参照レイ
ヤ）の同時刻の VOP が予測参照画像として用いられ
る。このモードは空間スケーラビリティや SNR スケー
ラビリティにも用いられる。その他の'00','01',また
は'10'のモードはテンポラルスケーラビリティに用いら
れる。
11' のとき、ref_layer_id が示すレイヤ（参照レイ
ヤ）の同時刻の VOP が予測参照画像として用いられ
る。このモードは空間スケーラビリティや SNR スケー
ラビリティにも用いられる。その他の'00','01',また
は'10'のモードはテンポラルスケーラビリティに用いら
れる。
【０１４３】Ｂピクチャの場合、ref_select_code が '
00' のとき、ref_layer_id が示すレイヤの同時刻の VO
P と、同じレイヤの直前に復号化した VOP とが予測参
照画像として用いられる。このモードは空間スケーラビ
リティや SNR スケーラビリティに用いられる。その他
の'01','10',または'11'のモードはテンポラルスケーラ
ビリティに用いられる。
00' のとき、ref_layer_id が示すレイヤの同時刻の VO
P と、同じレイヤの直前に復号化した VOP とが予測参
照画像として用いられる。このモードは空間スケーラビ
リティや SNR スケーラビリティに用いられる。その他
の'01','10',または'11'のモードはテンポラルスケーラ
ビリティに用いられる。
【０１４４】各レイヤの各 VOP をＩ，Ｐ，Ｂピクチャ
のどのタイプで符号化するかは予め決めておく。動きベ
クトル検出回路２３２は予め設定されたピクチャタイプ
に基づき、ref_layer_id 、ref_select_code を設定
し、動き補償回路１２および可変長符号化回路６に出力
する。
のどのタイプで符号化するかは予め決めておく。動きベ
クトル検出回路２３２は予め設定されたピクチャタイプ
に基づき、ref_layer_id 、ref_select_code を設定
し、動き補償回路１２および可変長符号化回路６に出力
する。
【０１４５】下位レイヤの VOP の復号画像信号と key
信号は解像度変換回路２０５を介して上位レイヤ符号化
回路２０３に供給され、フレームメモリ群２３５に供給
される。また下位レイヤ VOP の大きさを示すフラグ FS
Z_B 、および絶対座標における位置を示すフラグ FPOS_
B は、フレームメモリ群２３５に記憶されるとともに、
動きベクトル検出回路２３２および動き補償回路１２に
供給される。
信号は解像度変換回路２０５を介して上位レイヤ符号化
回路２０３に供給され、フレームメモリ群２３５に供給
される。また下位レイヤ VOP の大きさを示すフラグ FS
Z_B 、および絶対座標における位置を示すフラグ FPOS_
B は、フレームメモリ群２３５に記憶されるとともに、
動きベクトル検出回路２３２および動き補償回路１２に
供給される。
【０１４６】動きベクトル検出回路２３２はまた、予め
定められた所定の参照フレームを、ref_layer_id およ
び ref_select_code に基づいてフレームメモリ群１ま
たはフレームメモリ群２３５より参照し、動き補償を行
い、その動きベクトルを検出する。動き補償（フレーム
間予測）には前方予測、後方予測、両方向予測の３種類
の予測モードがある。Ｐピクチャの予測モードは前方予
測のみであり、Ｂピクチャの予測モードは前方予測、後
方予測、両方向予測の３種類である。動きベクトル検出
回路２３２は予測誤差を最小にする予測モードを選択
し、そのときの予測モードと動きベクトルを発生する。
定められた所定の参照フレームを、ref_layer_id およ
び ref_select_code に基づいてフレームメモリ群１ま
たはフレームメモリ群２３５より参照し、動き補償を行
い、その動きベクトルを検出する。動き補償（フレーム
間予測）には前方予測、後方予測、両方向予測の３種類
の予測モードがある。Ｐピクチャの予測モードは前方予
測のみであり、Ｂピクチャの予測モードは前方予測、後
方予測、両方向予測の３種類である。動きベクトル検出
回路２３２は予測誤差を最小にする予測モードを選択
し、そのときの予測モードと動きベクトルを発生する。
【０１４７】このとき、予測誤差は例えば、符号化する
マクロブロックの分散と比較され、マクロブロックの分
散の方が小さい場合、そのマクロブロックでは予測は行
わず、フレーム内符号化が行われる。この場合、予測モ
ードは画像内予測（イントラ）となる。動きベクトルお
よび上記予測モードは可変長符号化回路６および動き補
償回路１２に入力される。
マクロブロックの分散と比較され、マクロブロックの分
散の方が小さい場合、そのマクロブロックでは予測は行
わず、フレーム内符号化が行われる。この場合、予測モ
ードは画像内予測（イントラ）となる。動きベクトルお
よび上記予測モードは可変長符号化回路６および動き補
償回路１２に入力される。
【０１４８】上位レイヤ符号化回路２０３における動き
ベクトル検出回路２３２においても、下位レイヤにおけ
る動きベクトル検出回路２２２と同様に、key信号復号
化回路２３４によって復号化された、符号化するマクロ
ブロックの局所復号key信号が供給される。動きベクト
ル検出回路２３２は下位レイヤにおける動きベクトル検
出と同様に、対応するkey信号が０である画素の予測画
像との差分値は予測誤差の計算には含めない。従って、
key信号が０以外の画素、即ち画像オブジェクトの内側
の画素のみを用いて予測誤差を計算し、これを最小とす
る動きベクトルを検出する。
ベクトル検出回路２３２においても、下位レイヤにおけ
る動きベクトル検出回路２２２と同様に、key信号復号
化回路２３４によって復号化された、符号化するマクロ
ブロックの局所復号key信号が供給される。動きベクト
ル検出回路２３２は下位レイヤにおける動きベクトル検
出と同様に、対応するkey信号が０である画素の予測画
像との差分値は予測誤差の計算には含めない。従って、
key信号が０以外の画素、即ち画像オブジェクトの内側
の画素のみを用いて予測誤差を計算し、これを最小とす
る動きベクトルを検出する。
【０１４９】動きベクトル検出回路２３２にはまた、下
位レイヤに対して上位レイヤの大きさ（解像度）が何倍
であるかを示すフラグ FR が供給される。表２より、Ｂ
ピクチャ（VOP）の場合、ref_select_code = '00' の
時、backward予測は下位レイヤ（参照レイヤ）の同時刻
のVOPからの予測、forward予測は同じレイヤの直前に復
号化したVOPからの予測となる。
位レイヤに対して上位レイヤの大きさ（解像度）が何倍
であるかを示すフラグ FR が供給される。表２より、Ｂ
ピクチャ（VOP）の場合、ref_select_code = '00' の
時、backward予測は下位レイヤ（参照レイヤ）の同時刻
のVOPからの予測、forward予測は同じレイヤの直前に復
号化したVOPからの予測となる。
【０１５０】倍率を示すフラグが１であり（下位レイヤ
と上位レイヤの解像度が等しく）、かつ ref_select_co
de = '00' である場合は、空間スケーラビリティの特殊
な場合であり、SNR スケーラビリティであることにな
る。この場合、上位レイヤの backward 予測には下位レ
イヤの同時刻のVOPが用いた動きベクトルと予測モード
をそのまま用いる。したがって、この場合、動きベクト
ル検出回路２３２は下位レイヤから供給される動きベク
トルおよび予測モードを動き補償回路１２に供給する。
この場合、可変長符号化回路６は動きベクトルを符号化
しない。
と上位レイヤの解像度が等しく）、かつ ref_select_co
de = '00' である場合は、空間スケーラビリティの特殊
な場合であり、SNR スケーラビリティであることにな
る。この場合、上位レイヤの backward 予測には下位レ
イヤの同時刻のVOPが用いた動きベクトルと予測モード
をそのまま用いる。したがって、この場合、動きベクト
ル検出回路２３２は下位レイヤから供給される動きベク
トルおよび予測モードを動き補償回路１２に供給する。
この場合、可変長符号化回路６は動きベクトルを符号化
しない。
【０１５１】動き補償回路１２では所定の動きベクトル
に基づいてフレームメモリ群１１またはフレームメモリ
群２３５の画像より予測画像を生成し、演算回路３に入
力する。演算回路３では符号化するマクロブロックの値
と予測画像の値の差分信号を生成し、DCT回路４に出力
する。イントラマクロブロックの場合、演算回路３は符
号化するマクロブロックの信号をそのまま DCT 回路４
に出力する。
に基づいてフレームメモリ群１１またはフレームメモリ
群２３５の画像より予測画像を生成し、演算回路３に入
力する。演算回路３では符号化するマクロブロックの値
と予測画像の値の差分信号を生成し、DCT回路４に出力
する。イントラマクロブロックの場合、演算回路３は符
号化するマクロブロックの信号をそのまま DCT 回路４
に出力する。
【０１５２】DCT回路４は入力信号をDCT（離散コサイン
変換）処理し、DCT係数に変換する。このDCT係数は、量
子化回路５に入力され、送信バッファ７のデータ蓄積量
（バッファ蓄積量）に対応した量子化ステップで量子化
された後、可変長符号化回路６に入力される。
変換）処理し、DCT係数に変換する。このDCT係数は、量
子化回路５に入力され、送信バッファ７のデータ蓄積量
（バッファ蓄積量）に対応した量子化ステップで量子化
された後、可変長符号化回路６に入力される。
【０１５３】可変長符号化回路６は、量子化回路５より
供給される量子化ステップ（スケール）に対応して、量
子化回路５より供給される画像データを、例えばハフマ
ン符号などの可変長符号に変換し、送信バッファ７に出
力する。
供給される量子化ステップ（スケール）に対応して、量
子化回路５より供給される画像データを、例えばハフマ
ン符号などの可変長符号に変換し、送信バッファ７に出
力する。
【０１５４】可変長符号化回路６にはまた、量子化回路
５より量子化ステップ（スケール）、動きベクトル検出
回路２３２より予測モード（画像内予測、前方予測、後
方予測、または両方向予測のいずれが設定されたかを示
すモード）および動きベクトル、が入力されており、こ
れらも可変長符号化される。
５より量子化ステップ（スケール）、動きベクトル検出
回路２３２より予測モード（画像内予測、前方予測、後
方予測、または両方向予測のいずれが設定されたかを示
すモード）および動きベクトル、が入力されており、こ
れらも可変長符号化される。
【０１５５】可変長符号化回路６はまた、上位レイヤ V
OP の大きさを示すフラグFSZ_E、絶対座標における位置
を示すフラグFPOS_E、下位レイヤの解像度に対して上位
レイヤの解像度が何倍であるかを示すフラグ FR も符号
化する。さらに、可変長符号化回路６は key 信号のビ
ットストリームを、ビデオのビットストリームの所定の
位置に挿入し、送信バッファ７に出力する。
OP の大きさを示すフラグFSZ_E、絶対座標における位置
を示すフラグFPOS_E、下位レイヤの解像度に対して上位
レイヤの解像度が何倍であるかを示すフラグ FR も符号
化する。さらに、可変長符号化回路６は key 信号のビ
ットストリームを、ビデオのビットストリームの所定の
位置に挿入し、送信バッファ７に出力する。
【０１５６】VOP の key 信号は key 信号符号化回路２
３３に入力される。key 信号は所定の方法、例えば DPC
M に従って符号化され、key 信号ビットストリームとし
て可変長符号化回路６および key 信号復号化回路２３
４に出力される。key 信号復号化回路２３４では key
信号ビットストリームが復号化され、動きベクトル検出
回路２３２および動き補償回路１２に供給される。
３３に入力される。key 信号は所定の方法、例えば DPC
M に従って符号化され、key 信号ビットストリームとし
て可変長符号化回路６および key 信号復号化回路２３
４に出力される。key 信号復号化回路２３４では key
信号ビットストリームが復号化され、動きベクトル検出
回路２３２および動き補償回路１２に供給される。
【０１５７】送信バッファ７は、入力されたデータを一
時蓄積し、蓄積量に対応するデータを量子化回路５に出
力する。
時蓄積し、蓄積量に対応するデータを量子化回路５に出
力する。
【０１５８】送信バッファ７は、そのデータ残量が許容
上限値まで増量すると、量子化制御信号によって量子化
回路５の量子化スケールを大きくすることにより、量子
化データのデータ量を低下させる。また、これとは逆
に、データ残量が許容下限値まで減少すると、送信バッ
ファ７は、量子化制御信号によって量子化回路５の量子
化スケールを小さくすることにより、量子化データのデ
ータ量を増大させる。このようにして、送信バッファ７
のオーバフローまたはアンダフローが防止される。
上限値まで増量すると、量子化制御信号によって量子化
回路５の量子化スケールを大きくすることにより、量子
化データのデータ量を低下させる。また、これとは逆
に、データ残量が許容下限値まで減少すると、送信バッ
ファ７は、量子化制御信号によって量子化回路５の量子
化スケールを小さくすることにより、量子化データのデ
ータ量を増大させる。このようにして、送信バッファ７
のオーバフローまたはアンダフローが防止される。
【０１５９】そして、送信バッファ７に蓄積されたデー
タは、所定のタイミングで読み出され、図１の多重化回
路２０６により下位レイヤのデータと多重化された後、
さらに図４６の多重化回路１０４に供給され、他のビッ
トストリームと多重化され、伝送路に出力される。
タは、所定のタイミングで読み出され、図１の多重化回
路２０６により下位レイヤのデータと多重化された後、
さらに図４６の多重化回路１０４に供給され、他のビッ
トストリームと多重化され、伝送路に出力される。
【０１６０】一方、量子化回路５より出力されたデータ
は、逆量子化回路８に入力され、量子化回路５より供給
される量子化ステップに対応して逆量子化される。逆量
子化回路８の出力は、IDCT（逆DCT）回路９に入力さ
れ、逆DCT処理された後、演算回路１０を介して画素置
換回路２３１に供給される。そこで画素置換処理が行わ
れたデータは、フレームメモリ群１１に記憶される。
は、逆量子化回路８に入力され、量子化回路５より供給
される量子化ステップに対応して逆量子化される。逆量
子化回路８の出力は、IDCT（逆DCT）回路９に入力さ
れ、逆DCT処理された後、演算回路１０を介して画素置
換回路２３１に供給される。そこで画素置換処理が行わ
れたデータは、フレームメモリ群１１に記憶される。
【０１６１】ここで、上位レイヤ符号化回路２０３にお
ける画素置換回路２３１について説明する。図８の下位
レイヤにおける画素置換回路２２１は図９を参照して説
明した通り、画像の存在する領域の周辺部の画素の値を
用いて、画像の存在しない領域、即ち画像オブジェクト
の外側の画素の値を置換する。
ける画素置換回路２３１について説明する。図８の下位
レイヤにおける画素置換回路２２１は図９を参照して説
明した通り、画像の存在する領域の周辺部の画素の値を
用いて、画像の存在しない領域、即ち画像オブジェクト
の外側の画素の値を置換する。
【０１６２】これに対して、上位レイヤにおける画素置
換回路２３１は、下位レイヤにおける画素置換回路２２
１と同様の置換方法と併せて、下位レイヤの参照画像の
復号画像、即ち、フレームメモリ群２３５の出力を用い
て画素の置換処理を行う。
換回路２３１は、下位レイヤにおける画素置換回路２２
１と同様の置換方法と併せて、下位レイヤの参照画像の
復号画像、即ち、フレームメモリ群２３５の出力を用い
て画素の置換処理を行う。
【０１６３】次に、VOごとに符号化するスケーラブル符
号化方法について説明する。VOは、時刻ごとにその大き
さや位置が変化してもよいし、同一でもよい。従って、
以下のようなスケーラビリティが考えられる。
号化方法について説明する。VOは、時刻ごとにその大き
さや位置が変化してもよいし、同一でもよい。従って、
以下のようなスケーラビリティが考えられる。
【０１６４】前述の通り、VOごとに符号化するスケーラ
ブル符号化方法には以下の２通りがある。 （１） 上位レイヤが下位レイヤの全ての領域を含む場
合。 （２） 上位レイヤが下位レイヤの一部の領域に対応す
る場合。
ブル符号化方法には以下の２通りがある。 （１） 上位レイヤが下位レイヤの全ての領域を含む場
合。 （２） 上位レイヤが下位レイヤの一部の領域に対応す
る場合。
【０１６５】（２） の場合、上位レイヤには存在しな
い領域の情報を下位レイヤが持っていることになる。特
に空間スケーラビリティの場合、上位レイヤと下位レイ
ヤは同時刻であるため、解像度変換後の下位レイヤの参
照画像を用いることが可能である。
い領域の情報を下位レイヤが持っていることになる。特
に空間スケーラビリティの場合、上位レイヤと下位レイ
ヤは同時刻であるため、解像度変換後の下位レイヤの参
照画像を用いることが可能である。
【０１６６】図１３に上位レイヤにおける画素置換回路
２３１による画素置換の一例を示す。画像が存在する領
域、即ち、対応するkey信号が０以外である領域（図１
３において、画像オブジェクトとして示す領域）では、
上位レイヤの画像をそのまま用い、それ以外の領域（図
１３において、水平方向の線が描かれている領域）で
は、解像度変換後の（等倍、もしくはアップサンプリン
グした後の）下位レイヤの参照画像（図１３のUVOP０)
の対応する位置の画素値を用い、参照画像とする。
２３１による画素置換の一例を示す。画像が存在する領
域、即ち、対応するkey信号が０以外である領域（図１
３において、画像オブジェクトとして示す領域）では、
上位レイヤの画像をそのまま用い、それ以外の領域（図
１３において、水平方向の線が描かれている領域）で
は、解像度変換後の（等倍、もしくはアップサンプリン
グした後の）下位レイヤの参照画像（図１３のUVOP０)
の対応する位置の画素値を用い、参照画像とする。
【０１６７】図１４に画素置換回路２３１おける処理の
流れを示す。画像オブジェクトの内側である場合、即ち
対応する位置のkey信号が非ゼロであるとステップＳ２
１で判定された場合、ステップＳ２２に進み、画素置換
回路２３１はその画素については何も処理を行わず、そ
のまま出力する。対応するkey信号の値が０である場
合、ステップＳ２３に進み、その画素値は０とされる。
なお、VOPの形状が長方形である場合、key信号は常に０
以外（binary keyの場合は１、gray scale keyの場合は
２５５）であるため、VOP中の全ての画素が何も処理さ
れず、そのまま出力される。
流れを示す。画像オブジェクトの内側である場合、即ち
対応する位置のkey信号が非ゼロであるとステップＳ２
１で判定された場合、ステップＳ２２に進み、画素置換
回路２３１はその画素については何も処理を行わず、そ
のまま出力する。対応するkey信号の値が０である場
合、ステップＳ２３に進み、その画素値は０とされる。
なお、VOPの形状が長方形である場合、key信号は常に０
以外（binary keyの場合は１、gray scale keyの場合は
２５５）であるため、VOP中の全ての画素が何も処理さ
れず、そのまま出力される。
【０１６８】次に、置換する方法を示す置換モードをス
テップＳ２４で判定し、その置換モードに応じて置換処
理を行う。ここで置換モードについて説明する。上位レ
イヤにおける画素置換方法には２通りの方法が存在す
る。１つは下位レイヤにおける画素置換方法と同様の置
換方法である。もう１つは下位レイヤの参照画像の対応
する位置の画素値と置換する方法である。後者の方法
は、上位レイヤが下位レイヤの一部に対応し、かつ空間
スケーラビリティの場合である。どのスケーラビリティ
を用いるかはあらかじめ決められている。同様に、どの
置換モードを用いるかはあらかじめ決められている。置
換の方法を示すフラグfill_modeは１ビットのフラグで
あり、可変長符号化回路６に供給され、符号化され、伝
送される。
テップＳ２４で判定し、その置換モードに応じて置換処
理を行う。ここで置換モードについて説明する。上位レ
イヤにおける画素置換方法には２通りの方法が存在す
る。１つは下位レイヤにおける画素置換方法と同様の置
換方法である。もう１つは下位レイヤの参照画像の対応
する位置の画素値と置換する方法である。後者の方法
は、上位レイヤが下位レイヤの一部に対応し、かつ空間
スケーラビリティの場合である。どのスケーラビリティ
を用いるかはあらかじめ決められている。同様に、どの
置換モードを用いるかはあらかじめ決められている。置
換の方法を示すフラグfill_modeは１ビットのフラグで
あり、可変長符号化回路６に供給され、符号化され、伝
送される。
【０１６９】置換モードを示すフラグfill_modeが、例
えば、０であると判定された場合、ステップＳ２５に進
み、画素置換回路２３１は下位レイヤにおける画素置換
回路２２１（図８）と同様の置換方法（図９）で置換処
理を行い、処理後の画像をフレームメモリ群１１に出力
する。
えば、０であると判定された場合、ステップＳ２５に進
み、画素置換回路２３１は下位レイヤにおける画素置換
回路２２１（図８）と同様の置換方法（図９）で置換処
理を行い、処理後の画像をフレームメモリ群１１に出力
する。
【０１７０】置換モードを示すフラグfill_modeが、例
えば、１であると判定された場合、ステップＳ２６に進
み、画素置換回路２３１は下位レイヤの所定の参照画像
信号の対応する位置の画素値と置換する。この置換方法
について図１５と図１６を用いて説明する。
えば、１であると判定された場合、ステップＳ２６に進
み、画素置換回路２３１は下位レイヤの所定の参照画像
信号の対応する位置の画素値と置換する。この置換方法
について図１５と図１６を用いて説明する。
【０１７１】図１５は、図１３に示す場合と同様に、上
位レイヤの画像VOP１を符号化する際に、直前の上位レ
イヤの画像VOP０と、解像度変換後の（アップサンプリ
ングした後の）下位レイヤの同時刻の画像UVOP１を参照
画像とする場合の例である。この時、画素置換回路２３
１は、画像VOP０の画像オブジェクト以外の画素を、画
像VOP０と同時刻の下位レイヤの画像を解像度変換した
後の（アップサンプリングした後の）画像UVOP０の対応
する位置の画素値と置換する。
位レイヤの画像VOP１を符号化する際に、直前の上位レ
イヤの画像VOP０と、解像度変換後の（アップサンプリ
ングした後の）下位レイヤの同時刻の画像UVOP１を参照
画像とする場合の例である。この時、画素置換回路２３
１は、画像VOP０の画像オブジェクト以外の画素を、画
像VOP０と同時刻の下位レイヤの画像を解像度変換した
後の（アップサンプリングした後の）画像UVOP０の対応
する位置の画素値と置換する。
【０１７２】また上記置換方法の変形として、図１６に
示すように、画像VOP０の画像オブジェクト以外の画素
を、画像VOP１と同時刻の解像度変換後の画像UVOP１の
対応する位置の画素値と置換する方法もある。
示すように、画像VOP０の画像オブジェクト以外の画素
を、画像VOP１と同時刻の解像度変換後の画像UVOP１の
対応する位置の画素値と置換する方法もある。
【０１７３】上記置換処理を行った後、画素置換回路２
３１はフレームメモリ群１１に処理データを出力する。
３１はフレームメモリ群１１に処理データを出力する。
【０１７４】テンポラルスケーラビリティの場合、下位
レイヤの参照画像の表示時刻と符号化を行う上位レイヤ
の表示時刻は異なるため、画素置換の方法は空間スケー
ラビリティの場合と異なる。この置換方法を図１７にて
説明する。
レイヤの参照画像の表示時刻と符号化を行う上位レイヤ
の表示時刻は異なるため、画素置換の方法は空間スケー
ラビリティの場合と異なる。この置換方法を図１７にて
説明する。
【０１７５】テンポラルスケーラビリティの場合、符号
化された上位レイヤのVOPと同時刻に、下位レイヤのVOP
が存在していない。そのためテンポラルスケーラビリテ
ィでオブジェクト領域外の画素の置換を行う場合、上位
レイヤのVOPを符号化するのに用いた参照フレームから
上位レイヤの画素置換に用いる画像が合成される。即
ち、例えば図１７に示すように、図示せぬVOP１（フレ
ーム１）を符号化しようとする場合において、時間的に
その直前のVOP０（フレーム０）をコピーして、上位レ
イヤ置換用画像とする。そして、この上位レイヤ置換用
画像のオブジェクト領域以外の領域の画素を、対象画像
のオブジェクト領域以外の画素に張り付けるようにす
る。換言すれば、このことは、VOP０のオブジェクト領
域以外の画素を、VOP１のオブジェクト領域以外の領域
に張り付けることで、参照画像（参照フレーム）を生成
することを意味する。
化された上位レイヤのVOPと同時刻に、下位レイヤのVOP
が存在していない。そのためテンポラルスケーラビリテ
ィでオブジェクト領域外の画素の置換を行う場合、上位
レイヤのVOPを符号化するのに用いた参照フレームから
上位レイヤの画素置換に用いる画像が合成される。即
ち、例えば図１７に示すように、図示せぬVOP１（フレ
ーム１）を符号化しようとする場合において、時間的に
その直前のVOP０（フレーム０）をコピーして、上位レ
イヤ置換用画像とする。そして、この上位レイヤ置換用
画像のオブジェクト領域以外の領域の画素を、対象画像
のオブジェクト領域以外の画素に張り付けるようにす
る。換言すれば、このことは、VOP０のオブジェクト領
域以外の画素を、VOP１のオブジェクト領域以外の領域
に張り付けることで、参照画像（参照フレーム）を生成
することを意味する。
【０１７６】同様に、図１８に示すように、対象画像と
してのVOP１の時間的に後のVOP２を、上位レイヤ置換用
画像としてコピーし、このVOP２のオブジェクト領域以
外の画素を、VOP１のオブジェクト領域以外の画素に張
り付けて、参照画像（フレーム画像）を生成するように
してもよい。
してのVOP１の時間的に後のVOP２を、上位レイヤ置換用
画像としてコピーし、このVOP２のオブジェクト領域以
外の画素を、VOP１のオブジェクト領域以外の画素に張
り付けて、参照画像（フレーム画像）を生成するように
してもよい。
【０１７７】さらにまた、図１９に示すように、対象画
像としてのVOP１の前のVOP０のオブジェクト領域以外の
画素と、VOP１の後のVOP２のオブジェクト領域以外の画
素を合成して、上位レイヤ置換用画像を生成し、この合
成したオブジェクト領域以外の画素を、VOP１のオブジ
ェクト領域以外の画素として張り付けるようにして、参
照画像（参照フレーム画像）を生成するようにしてもよ
い。
像としてのVOP１の前のVOP０のオブジェクト領域以外の
画素と、VOP１の後のVOP２のオブジェクト領域以外の画
素を合成して、上位レイヤ置換用画像を生成し、この合
成したオブジェクト領域以外の画素を、VOP１のオブジ
ェクト領域以外の画素として張り付けるようにして、参
照画像（参照フレーム画像）を生成するようにしてもよ
い。
【０１７８】また、このような場合、画素置換回路２３
１において、下位レイヤに対応するkey信号を新たに読
み込み、画素置換に利用することも可能である。
１において、下位レイヤに対応するkey信号を新たに読
み込み、画素置換に利用することも可能である。
【０１７９】図１４では、置換モードを示すフラグfill
_modeに従って置換方法を切り替えるようにしたが、こ
の変形例として、ref_select_codeを用いて置換方法を
切り替えることもできる。この場合の置換方法について
図２０を参照して説明する。
_modeに従って置換方法を切り替えるようにしたが、こ
の変形例として、ref_select_codeを用いて置換方法を
切り替えることもできる。この場合の置換方法について
図２０を参照して説明する。
【０１８０】表１に示したように、上位レイヤの符号化
するVOPの予測モードがＰピクチャである場合、ref_sel
ect_codeの'11'は、空間スケーラビリティであることを
表す。また、表２に示したように、予測モードがＢピク
チャである場合、ref_select_codeの'00'は、空間スケ
ーラビリティであることを表す（ステップＳ４１）。上
位レイヤのVOPの形状が任意形状であり、かつ、下位レ
イヤの形状が長方形である場合、上位レイヤは下位レイ
ヤの一部のみに対応していることがわかる（ステップＳ
４２）。また上位レイヤのVOPの大きさと、対応する下
位レイヤのVOPの大きさをFR倍した大きさとを比較した
場合、上位レイヤのVOPの大きさの方が小さいとき、上
位レイヤは下位レイヤの一部のみに対応していることが
わかる（ステップＳ４３）。
するVOPの予測モードがＰピクチャである場合、ref_sel
ect_codeの'11'は、空間スケーラビリティであることを
表す。また、表２に示したように、予測モードがＢピク
チャである場合、ref_select_codeの'00'は、空間スケ
ーラビリティであることを表す（ステップＳ４１）。上
位レイヤのVOPの形状が任意形状であり、かつ、下位レ
イヤの形状が長方形である場合、上位レイヤは下位レイ
ヤの一部のみに対応していることがわかる（ステップＳ
４２）。また上位レイヤのVOPの大きさと、対応する下
位レイヤのVOPの大きさをFR倍した大きさとを比較した
場合、上位レイヤのVOPの大きさの方が小さいとき、上
位レイヤは下位レイヤの一部のみに対応していることが
わかる（ステップＳ４３）。
【０１８１】空間スケーラビリティであり、かつ、上位
レイヤが下位レイヤの一部のみに対応しているとステッ
プＳ４１乃至Ｓ４３で判定された場合、下位レイヤの解
像度変換後の画素を用いて参照画像の画素の置換を行い
（ステップＳ４４）、それ以外の場合、下位レイヤにお
ける画素置換回路２２１と同様の置換方法で画素の置換
を行う（ステップＳ４５）。
レイヤが下位レイヤの一部のみに対応しているとステッ
プＳ４１乃至Ｓ４３で判定された場合、下位レイヤの解
像度変換後の画素を用いて参照画像の画素の置換を行い
（ステップＳ４４）、それ以外の場合、下位レイヤにお
ける画素置換回路２２１と同様の置換方法で画素の置換
を行う（ステップＳ４５）。
【０１８２】図１１に戻って、フレームメモリ群１１で
は画素置換回路２３１の出力、そのVOP の大きさを示す
フラグ FSZ_E 、絶対座標における位置を示すフラグ FP
OS_E が記録される。
は画素置換回路２３１の出力、そのVOP の大きさを示す
フラグ FSZ_E 、絶対座標における位置を示すフラグ FP
OS_E が記録される。
【０１８３】上位レイヤのkey信号はkey信号符号化回路
２３３によって符号化された後、可変長符号化回路６お
よびkey信号復号化回路２３４に供給される。可変長符
号化回路６では符号化されたkey信号のビットストリー
ムをビデオのビットストリームの所定の位置に挿入し、
送信バッファ７に供給する。
２３３によって符号化された後、可変長符号化回路６お
よびkey信号復号化回路２３４に供給される。可変長符
号化回路６では符号化されたkey信号のビットストリー
ムをビデオのビットストリームの所定の位置に挿入し、
送信バッファ７に供給する。
【０１８４】key信号復号化回路２３４に供給されたビ
ットストリームは、ここで復号化される。復号化された
key信号は、動きベクトル検出回路２３２、動き補償回
路１２、画素置換回路２３１、DCT回路４およびIDCT回
路９に供給される。
ットストリームは、ここで復号化される。復号化された
key信号は、動きベクトル検出回路２３２、動き補償回
路１２、画素置換回路２３１、DCT回路４およびIDCT回
路９に供給される。
【０１８５】図１において、上位レイヤ符号化回路２０
３および下位レイヤ符号化回路２０４の出力ビットスト
リームは多重化回路２０６に入力される。多重化回路２
０６は下位レイヤおよび上位レイヤのビットストリーム
を多重化し、その VO のビットストリームとして、図４
６の多重化回路１０４に出力する。
３および下位レイヤ符号化回路２０４の出力ビットスト
リームは多重化回路２０６に入力される。多重化回路２
０６は下位レイヤおよび上位レイヤのビットストリーム
を多重化し、その VO のビットストリームとして、図４
６の多重化回路１０４に出力する。
【０１８６】図２１に、図１のVOP符号化回路１０３に
対応する VOP 復号化回路１１２の構成例を示す。ビッ
トストリームは、まず逆多重化回路２５１に入力され
る。逆多重化回路２５１では、ビットストリームを逆多
重化し、上位レイヤと下位レイヤのビットストリームに
分離して出力する。
対応する VOP 復号化回路１１２の構成例を示す。ビッ
トストリームは、まず逆多重化回路２５１に入力され
る。逆多重化回路２５１では、ビットストリームを逆多
重化し、上位レイヤと下位レイヤのビットストリームに
分離して出力する。
【０１８７】下位レイヤのビットストリームはそのまま
下位レイヤ復号化回路２５４に供給される。また上位レ
イヤのビットストリームは遅延回路２５２を介して上位
レイヤ復号化回路２５３に供給される。
下位レイヤ復号化回路２５４に供給される。また上位レ
イヤのビットストリームは遅延回路２５２を介して上位
レイヤ復号化回路２５３に供給される。
【０１８８】遅延回路２５２では、上位レイヤのビット
ストリームを、下位レイヤ復号化回路２５４で１個の V
OP を復号化するのに要する時間だけ遅延した後、上位
レイヤ復号化回路２５３に供給する。
ストリームを、下位レイヤ復号化回路２５４で１個の V
OP を復号化するのに要する時間だけ遅延した後、上位
レイヤ復号化回路２５３に供給する。
【０１８９】下位レイヤ復号化回路２５４の構成例を図
２２を用いて説明する。なお、同図において、図３９と
対応する部分には、同一の符号を付してある。
２２を用いて説明する。なお、同図において、図３９と
対応する部分には、同一の符号を付してある。
【０１９０】下位レイヤのビットストリームは、受信バ
ッファ２１に一時記憶された後、可変長復号化回路２２
に供給される。可変長復号化回路２２は、受信バッファ
２１より供給されたデータを可変長復号化し、動きベク
トル、予測モードを動き補償回路２７に、また、量子化
ステップを逆量子化回路２３に、それぞれ出力するとと
もに、復号化された画像データを逆量子化回路２３に出
力する。
ッファ２１に一時記憶された後、可変長復号化回路２２
に供給される。可変長復号化回路２２は、受信バッファ
２１より供給されたデータを可変長復号化し、動きベク
トル、予測モードを動き補償回路２７に、また、量子化
ステップを逆量子化回路２３に、それぞれ出力するとと
もに、復号化された画像データを逆量子化回路２３に出
力する。
【０１９１】可変長復号化回路２２はまた、 VOP の大
きさを示すフラグ FSZ_B および絶対座標における位置
を示すフラグ FPOS_B を復号化し、動き補償回路２７、
フレームメモリ群２６および key 信号復号化回路２６
２に出力する。フラグFSZ_B および FPOS_B はまた、上
位レイヤ復号化回路２５３にも供給される。可変長復号
化回路２２はまた key 信号ビットストリームを抽出
し、key 信号復号化回路２６２に供給する。
きさを示すフラグ FSZ_B および絶対座標における位置
を示すフラグ FPOS_B を復号化し、動き補償回路２７、
フレームメモリ群２６および key 信号復号化回路２６
２に出力する。フラグFSZ_B および FPOS_B はまた、上
位レイヤ復号化回路２５３にも供給される。可変長復号
化回路２２はまた key 信号ビットストリームを抽出
し、key 信号復号化回路２６２に供給する。
【０１９２】key 信号復号化回路２６２は可変長復号化
回路２２より供給される key 信号ビットストリームを
復号化する。復号化されたkey信号は、IDCT回路２４、
動き補償回路２７、画素置換回路２６１に供給される。
さらに、復号化されたkey信号は解像度変換回路２５５
を介して上位レイヤ復号化回路２５３にも供給される。
回路２２より供給される key 信号ビットストリームを
復号化する。復号化されたkey信号は、IDCT回路２４、
動き補償回路２７、画素置換回路２６１に供給される。
さらに、復号化されたkey信号は解像度変換回路２５５
を介して上位レイヤ復号化回路２５３にも供給される。
【０１９３】逆量子化回路２３は、可変長復号化回路２
２より供給された画像データを、同じく可変長復号化回
路２Qより供給された量子化ステップに従って逆量子化
し、IDCT回路２４に出力する。逆量子化回路２３より出
力されたデータ（DCT係数）は、IDCT回路２４で、逆DCT
処理され、演算回路２５に供給される。
２より供給された画像データを、同じく可変長復号化回
路２Qより供給された量子化ステップに従って逆量子化
し、IDCT回路２４に出力する。逆量子化回路２３より出
力されたデータ（DCT係数）は、IDCT回路２４で、逆DCT
処理され、演算回路２５に供給される。
【０１９４】IDCT回路２４より供給された画像データ
が、Ｉピクチャのデータである場合、そのデータは演算
回路２５より出力され、演算回路２５に後に入力される
画像データ（ＰまたはＢピクチャのデータ）の予測画像
データ生成のために、画素置換回路２６１を介してフレ
ームメモリ群２６に供給され、記憶される。また、演算
回路２５より出力されたデータは、そのまま、再生画像
として、図４７の画像再構成回路１１３に出力される。
が、Ｉピクチャのデータである場合、そのデータは演算
回路２５より出力され、演算回路２５に後に入力される
画像データ（ＰまたはＢピクチャのデータ）の予測画像
データ生成のために、画素置換回路２６１を介してフレ
ームメモリ群２６に供給され、記憶される。また、演算
回路２５より出力されたデータは、そのまま、再生画像
として、図４７の画像再構成回路１１３に出力される。
【０１９５】入力ビットストリームがＰまたはＢピクチ
ャの場合、動き補償回路２７は可変長復号化回路２２よ
り供給される、動きベクトルおよび予測モードに従っ
て、予測画像を生成し、演算回路２５に出力する。演算
回路２５では IDCT 回路４より入力される画像データと
動き補償回路２７より供給される予測画像データを加算
し、出力画像とする。Ｐピクチャの場合、演算回路２５
の出力はまた、画素置換回路２６１を介してフレームメ
モリ群２６に入力され、記憶され、次に復号化する画像
信号の参照画像とされる。
ャの場合、動き補償回路２７は可変長復号化回路２２よ
り供給される、動きベクトルおよび予測モードに従っ
て、予測画像を生成し、演算回路２５に出力する。演算
回路２５では IDCT 回路４より入力される画像データと
動き補償回路２７より供給される予測画像データを加算
し、出力画像とする。Ｐピクチャの場合、演算回路２５
の出力はまた、画素置換回路２６１を介してフレームメ
モリ群２６に入力され、記憶され、次に復号化する画像
信号の参照画像とされる。
【０１９６】画素置換回路２６１は符号化回路における
画素置換回路２２１（図８）と同様に（すなわち、図９
のフローチャートに示すように）画素の置換処理を行
う。
画素置換回路２２１（図８）と同様に（すなわち、図９
のフローチャートに示すように）画素の置換処理を行
う。
【０１９７】復号化された下位レイヤ画像信号および k
ey 信号は、図２１のVOP再構成回路３００と解像度変換
回路２５５に供給される。
ey 信号は、図２１のVOP再構成回路３００と解像度変換
回路２５５に供給される。
【０１９８】復号化された、下位レイヤの画像 VOP の
大きさを示すフラグ FSZ_B および絶対座標における位
置を示すフラグ FPOS_B は、図２１の上位レイヤ復号化
回路２５３及びVOP再構成回路３００に供給される。
大きさを示すフラグ FSZ_B および絶対座標における位
置を示すフラグ FPOS_B は、図２１の上位レイヤ復号化
回路２５３及びVOP再構成回路３００に供給される。
【０１９９】図２１に戻って、逆多重化回路２５１にお
いて逆多重化された上位レイヤビットストリームは遅延
回路２５２を介して上位レイヤ復号化回路２５３に供給
される。
いて逆多重化された上位レイヤビットストリームは遅延
回路２５２を介して上位レイヤ復号化回路２５３に供給
される。
【０２００】図２３を用いて上位レイヤ復号化回路２５
３を説明する。なお、この図においても、図３９と対応
する部分には、同一の符号を付してある。
３を説明する。なお、この図においても、図３９と対応
する部分には、同一の符号を付してある。
【０２０１】上位レイヤのビットストリームは、受信バ
ッファ２１に一時記憶された後、可変長復号化回路２２
に供給される。可変長復号化回路２２は、受信バッファ
２１より供給されたデータを可変長復号化し、動きベク
トル、予測モードを動き補償回路２７に、また、量子化
ステップを逆量子化回路２３に、それぞれ出力するとと
もに、復号化された画像データを逆量子化回路２３に出
力する。
ッファ２１に一時記憶された後、可変長復号化回路２２
に供給される。可変長復号化回路２２は、受信バッファ
２１より供給されたデータを可変長復号化し、動きベク
トル、予測モードを動き補償回路２７に、また、量子化
ステップを逆量子化回路２３に、それぞれ出力するとと
もに、復号化された画像データを逆量子化回路２３に出
力する。
【０２０２】可変長復号化回路２２はまた、 VOP の大
きさを示すフラグ FSZ_E と絶対座標における位置を示
すフラグ FPOS_E を復号化し、動き補償回路２７、フレ
ームメモリ群２６、および key 信号復号化回路２７４
に出力する。
きさを示すフラグ FSZ_E と絶対座標における位置を示
すフラグ FPOS_E を復号化し、動き補償回路２７、フレ
ームメモリ群２６、および key 信号復号化回路２７４
に出力する。
【０２０３】可変長復号化回路２２はまた、下位レイヤ
の画像 VOP に対する上位レイヤの画像 VOP の大きさ
（解像度）の倍率（１またはそれ以外の倍率）を示すフ
ラグFR を復号化し、動き補償回路２７、および図２１
における解像度変換回路２５５に出力する。
の画像 VOP に対する上位レイヤの画像 VOP の大きさ
（解像度）の倍率（１またはそれ以外の倍率）を示すフ
ラグFR を復号化し、動き補償回路２７、および図２１
における解像度変換回路２５５に出力する。
【０２０４】解像度変換回路２５５は倍率を示すフラグ
FR に従って、復号化された下位レイヤの画像信号及び
key 信号を、フィルタを用いて、解像度変換し、上位
レイヤ復号化回路２５３中のフレームメモリ群２７３に
供給する。
FR に従って、復号化された下位レイヤの画像信号及び
key 信号を、フィルタを用いて、解像度変換し、上位
レイヤ復号化回路２５３中のフレームメモリ群２７３に
供給する。
【０２０５】可変長復号化回路２２はまた、予測の参照
に用いるレイヤを示すフラグ、ref_layer_id及び ref_s
elect_code を復号化し、動き補償回路２７に出力す
る。さらに、可変長復号化回路２２は、画素置換モード
を示すフラグfill_modeを復号化し、画素置換回路２７
１に供給するとともに、key 信号ビットストリームを抽
出し、key 信号復号化回路２７４に供給する。
に用いるレイヤを示すフラグ、ref_layer_id及び ref_s
elect_code を復号化し、動き補償回路２７に出力す
る。さらに、可変長復号化回路２２は、画素置換モード
を示すフラグfill_modeを復号化し、画素置換回路２７
１に供給するとともに、key 信号ビットストリームを抽
出し、key 信号復号化回路２７４に供給する。
【０２０６】key 信号復号化回路２７４は可変長復号化
回路２２より供給される key 信号ビットストリームを
復号化し、出力する。復号化されたkey信号はIDCT回路
２４、動き補償回路２７、画素置換回路２７１に供給さ
れる。
回路２２より供給される key 信号ビットストリームを
復号化し、出力する。復号化されたkey信号はIDCT回路
２４、動き補償回路２７、画素置換回路２７１に供給さ
れる。
【０２０７】逆量子化回路２３は、可変長復号化回路２
２より供給された画像データを、同じく可変長復号化回
路２２より供給された量子化ステップに従って逆量子化
し、IDCT回路２４に出力する。逆量子化回路２３より出
力されたデータ（DCT係数）は、IDCT回路２４で、逆DCT
処理され、演算回路２５に供給される。
２より供給された画像データを、同じく可変長復号化回
路２２より供給された量子化ステップに従って逆量子化
し、IDCT回路２４に出力する。逆量子化回路２３より出
力されたデータ（DCT係数）は、IDCT回路２４で、逆DCT
処理され、演算回路２５に供給される。
【０２０８】IDCT回路４より供給された画像データが、
Ｉピクチャのデータである場合、そのデータは演算回路
２５より出力され、演算回路２５に後に入力される画像
データ（ＰまたはＢピクチャのデータ）の予測画像デー
タ生成のために、画素置換回路２７１を介してフレーム
メモリ群２６に供給され、記憶される。
Ｉピクチャのデータである場合、そのデータは演算回路
２５より出力され、演算回路２５に後に入力される画像
データ（ＰまたはＢピクチャのデータ）の予測画像デー
タ生成のために、画素置換回路２７１を介してフレーム
メモリ群２６に供給され、記憶される。
【０２０９】入力ビットストリームがＰまたはＢピクチ
ャの場合、動き補償回路２７は可変長復号化回路２２よ
り供給される、動きベクトル、予測モード、および参照
するレイヤを示すフラグ ref_layer_id、ref_select_co
de に従って、予測画像をフレームメモリ群２６または
フレームメモリ群２７３の画像より生成し、演算回路２
５に出力する。演算回路２５では IDCT 回路２４より入
力される画像データと動き補償回路２７より供給される
予測画像データを加算し、出力画像とする。Ｐピクチャ
の場合、演算回路２５の出力はまた、画素置換回路２７
１を介してフレームメモリ群２６に入力され、記憶さ
れ、次に復号化する画像信号の参照画像とされる。
ャの場合、動き補償回路２７は可変長復号化回路２２よ
り供給される、動きベクトル、予測モード、および参照
するレイヤを示すフラグ ref_layer_id、ref_select_co
de に従って、予測画像をフレームメモリ群２６または
フレームメモリ群２７３の画像より生成し、演算回路２
５に出力する。演算回路２５では IDCT 回路２４より入
力される画像データと動き補償回路２７より供給される
予測画像データを加算し、出力画像とする。Ｐピクチャ
の場合、演算回路２５の出力はまた、画素置換回路２７
１を介してフレームメモリ群２６に入力され、記憶さ
れ、次に復号化する画像信号の参照画像とされる。
【０２１０】画素置換回路２７１は符号化装置における
画素置換回路２３１（図１１）と同様に（すなわち、図
１４のフローチャートに示すように）、復号化された、
置換モードを示すフラグfill_modeに従って、画素の置
換処理を行う。また、この出力データは、そのまま、再
生画像として、VOP再構成回路３００にも出力される。
画素置換回路２３１（図１１）と同様に（すなわち、図
１４のフローチャートに示すように）、復号化された、
置換モードを示すフラグfill_modeに従って、画素の置
換処理を行う。また、この出力データは、そのまま、再
生画像として、VOP再構成回路３００にも出力される。
【０２１１】動き補償回路２７は倍率を示すフラグFRが
１であり、かつ、ref_select_code= '00' である場合、
下位レイヤの同時刻のVOPから供給される動きベクトル
および予測モードを用いて予測画像を生成し、演算回路
２５に出力する。
１であり、かつ、ref_select_code= '00' である場合、
下位レイヤの同時刻のVOPから供給される動きベクトル
および予測モードを用いて予測画像を生成し、演算回路
２５に出力する。
【０２１２】復号化された上位レイヤ画像信号、 key
信号、上位レイヤ VOP の大きさを示すフラグ FSZ_E 、
および絶対座標における位置を示すフラグ FPOS_E は、
VOP再構成回路３００に供給される。
信号、上位レイヤ VOP の大きさを示すフラグ FSZ_E 、
および絶対座標における位置を示すフラグ FPOS_E は、
VOP再構成回路３００に供給される。
【０２１３】VOP再構成回路３００は、例えば図２４に
示すように構成される。VOP再構成回路３００には、各
レイヤより画像信号、key信号および、画像の大きさを
示すフラグFSZ、VOPの絶対座における位置を示すフラグ
FPOSがそれぞれ入力される。これらの入力信号は、次段
のスイッチ３７１−１乃至３７１−３によりユーザ、ま
たはシステムからの要求どおり選択され、図４７に示さ
れる画像選択回路１１３に出力される。
示すように構成される。VOP再構成回路３００には、各
レイヤより画像信号、key信号および、画像の大きさを
示すフラグFSZ、VOPの絶対座における位置を示すフラグ
FPOSがそれぞれ入力される。これらの入力信号は、次段
のスイッチ３７１−１乃至３７１−３によりユーザ、ま
たはシステムからの要求どおり選択され、図４７に示さ
れる画像選択回路１１３に出力される。
【０２１４】図４７において画像再構成回路１１３は V
OP 復号化回路１１２から供給される、VOP 画像信号、k
ey 信号、VOP の大きさ（解像度）を示すフラグ、絶対
座標における位置を示すフラグに従って、画像信号を再
構成し、外部に出力する。
OP 復号化回路１１２から供給される、VOP 画像信号、k
ey 信号、VOP の大きさ（解像度）を示すフラグ、絶対
座標における位置を示すフラグに従って、画像信号を再
構成し、外部に出力する。
【０２１５】図２４のVOP再構成回路３００を、図４２
のVOP再構成回路３５０と比較して明らかなように、図
２４のVOP再構成回路３００には、図４２における解像
度変換回路３５１，３５２と、フレームメモリ群３５
３，３５４が省略されている。これらの回路は、オブジ
ェクト領域以外の領域の画素データの置換処理を行うの
に必要となるものである。しかしながら、図２３に示し
たように、本発明の実施の形態の場合、画素置換回路２
７１がフレームメモリ群２６に画像信号を出力するだけ
でなく、画素置換回路２７１により画素置換処理が行わ
れた後の画像信号が、そのままVOP再構成回路３００に
出力されるようになされている。従って、この出力画像
信号は、オブジェクト領域以外の領域の画素データの置
換処理が既に完了しており、VOP再構成回路３００にお
いて解像度変換回路やフレームメモリ群が不要となるの
である。これにより、それだけ構成を簡略化し、低コス
ト化を図ることができる。
のVOP再構成回路３５０と比較して明らかなように、図
２４のVOP再構成回路３００には、図４２における解像
度変換回路３５１，３５２と、フレームメモリ群３５
３，３５４が省略されている。これらの回路は、オブジ
ェクト領域以外の領域の画素データの置換処理を行うの
に必要となるものである。しかしながら、図２３に示し
たように、本発明の実施の形態の場合、画素置換回路２
７１がフレームメモリ群２６に画像信号を出力するだけ
でなく、画素置換回路２７１により画素置換処理が行わ
れた後の画像信号が、そのままVOP再構成回路３００に
出力されるようになされている。従って、この出力画像
信号は、オブジェクト領域以外の領域の画素データの置
換処理が既に完了しており、VOP再構成回路３００にお
いて解像度変換回路やフレームメモリ群が不要となるの
である。これにより、それだけ構成を簡略化し、低コス
ト化を図ることができる。
【０２１６】次に、スケーラブル符号化のシンタクス
を、 MPEG4 VM(Verification Model)を例にして説明す
る。
を、 MPEG4 VM(Verification Model)を例にして説明す
る。
【０２１７】図２５にビットストリームの構成を示す。
VS (Video Session) は１つ又は複数の VO (Video Obje
ct) から構成されるビットストリームの集合である。VS
のシンタクスを図２６に示す。
VS (Video Session) は１つ又は複数の VO (Video Obje
ct) から構成されるビットストリームの集合である。VS
のシンタクスを図２６に示す。
【０２１８】図２７に VO (Video Object) のシンタク
スを示す。VO は画像全体または画像中の一部の物体の
ビットストリームである。
スを示す。VO は画像全体または画像中の一部の物体の
ビットストリームである。
【０２１９】図２５の VOL (Video Object Layer) は複
数の VOP から構成され、スケーラビリティのためのク
ラスである。VOL のシンタクスを図２８に示す。 VOL
は video_object_layer_id に示される番号によって識
別される。例えば、video_object_layer_id = 0である
VOL0 は下位レイヤであり、例えば video_object_layer
_id = 1 である VOL1 は上位レイヤである。スケーラブ
ルのレイヤの数は任意で良い。各 VOL が画像全体であ
るのか、画像の一部の物体であるのかは、video_object
_layer_shape で識別される。video_object_layer_shap
e は VOL の形状を示すフラグで、以下の表３のような
意味を持つ。
数の VOP から構成され、スケーラビリティのためのク
ラスである。VOL のシンタクスを図２８に示す。 VOL
は video_object_layer_id に示される番号によって識
別される。例えば、video_object_layer_id = 0である
VOL0 は下位レイヤであり、例えば video_object_layer
_id = 1 である VOL1 は上位レイヤである。スケーラブ
ルのレイヤの数は任意で良い。各 VOL が画像全体であ
るのか、画像の一部の物体であるのかは、video_object
_layer_shape で識別される。video_object_layer_shap
e は VOL の形状を示すフラグで、以下の表３のような
意味を持つ。
【０２２０】
【表３】
【０２２１】VOL中のscalability は１ビットのフラグ
で、その VOL が下位レイヤであるのか、上位レイヤで
あるのかを示す。 scalability = 1である場合、その V
OL は下位レイヤであり、それ以外の場合、上位レイヤ
である。
で、その VOL が下位レイヤであるのか、上位レイヤで
あるのかを示す。 scalability = 1である場合、その V
OL は下位レイヤであり、それ以外の場合、上位レイヤ
である。
【０２２２】ref_layer_id は、自分自身の VOL 以外に
参照画像として用いる VOL の番号を示すフラグであ
る。これは上位レイヤにのみ伝送される。
参照画像として用いる VOL の番号を示すフラグであ
る。これは上位レイヤにのみ伝送される。
【０２２３】hor_sampling_factor_n, hor_sampling_fa
ctor_m は、下位レイヤの水平方向の長さに対して上位
レイヤの水平方向の長さが何倍であるかを示す（水平方
向の解像度の倍率を示す）。下位レイヤに対する上位レ
イヤの水平方向の大きさは以下の式で与えられる。 hor_sampling_factor_n / hor_sampling_factor_m
ctor_m は、下位レイヤの水平方向の長さに対して上位
レイヤの水平方向の長さが何倍であるかを示す（水平方
向の解像度の倍率を示す）。下位レイヤに対する上位レ
イヤの水平方向の大きさは以下の式で与えられる。 hor_sampling_factor_n / hor_sampling_factor_m
【０２２４】ver_sampling_factor_n, ver_sampling_fa
ctor_m は、下位レイヤの垂直方向の長さに対して上位
レイヤの垂直方向の長さが何倍であるかを示す（垂直方
向の解像度の倍率を示す）。下位レイヤに対する上位レ
イヤの垂直方向の大きさは以下の式で与えられる。 ver_sampling_factor_n / ver_sampling_factor_m
ctor_m は、下位レイヤの垂直方向の長さに対して上位
レイヤの垂直方向の長さが何倍であるかを示す（垂直方
向の解像度の倍率を示す）。下位レイヤに対する上位レ
イヤの垂直方向の大きさは以下の式で与えられる。 ver_sampling_factor_n / ver_sampling_factor_m
【０２２５】fill_modeは１ビットのフラグで画素置換
方法を示す。これが１である場合、解像度変換後の下位
レイヤの画像を用いて画素の置換を行う。このフラグは
上位レイヤにおいてのみ伝送される。
方法を示す。これが１である場合、解像度変換後の下位
レイヤの画像を用いて画素の置換を行う。このフラグは
上位レイヤにおいてのみ伝送される。
【０２２６】図２９乃至図３１は、 VOP (Video Object
Plane)のシンタクスを示す。VOP_width および VOP_he
ight は、その VOP の大きさを示すフラグである。ま
た、VOP_horizontal_spatial_mc_ref , VOP_vertical_s
patial_mc_ref は絶対座標に対するその VOP の位置を
示すフラグである。
Plane)のシンタクスを示す。VOP_width および VOP_he
ight は、その VOP の大きさを示すフラグである。ま
た、VOP_horizontal_spatial_mc_ref , VOP_vertical_s
patial_mc_ref は絶対座標に対するその VOP の位置を
示すフラグである。
【０２２７】ref_select_code は forward および back
ward 予測において、 ref_layer_idに基づき、どのレイ
ヤの画像を参照画像として用いるかを示すフラグであ
る。表１および表２にその詳細が示されている。
ward 予測において、 ref_layer_idに基づき、どのレイ
ヤの画像を参照画像として用いるかを示すフラグであ
る。表１および表２にその詳細が示されている。
【０２２８】なお、図１のVOP符号化回路１０３を適用
した、図４６の画像信号符号化装置の多重化回路１０４
より出力されたビットストリームは、伝送路に伝送され
る他、光ディスク、磁気ディスク、光磁気ディスクなど
の記録媒体に記録し、図２１のVOP復号化回路１１２を
適用した、図４７の画像信号復号化装置により、その記
録媒体から再生したビットストリームを復号化させるよ
うにすることができる。
した、図４６の画像信号符号化装置の多重化回路１０４
より出力されたビットストリームは、伝送路に伝送され
る他、光ディスク、磁気ディスク、光磁気ディスクなど
の記録媒体に記録し、図２１のVOP復号化回路１１２を
適用した、図４７の画像信号復号化装置により、その記
録媒体から再生したビットストリームを復号化させるよ
うにすることができる。
【０２２９】次に第２の実施の形態における画像信号符
号化装置を説明する。図３２に第２の実施の形態におけ
る VOP符号化回路３０８の一例を示す。各VOPの画像お
よびkey信号、VOPの大きさを示すフラグFSZ、VOPの絶対
座標における位置を示すフラグFPOS、任意形状だった場
合に対する形状領域外の置換方法を示すフラグfill_mod
eは、画像信号階層化回路２９０ に入力される。画像信
号階層化回路２９０の動作は、３階層のレイヤに出力す
る点を除いて、図１に示す画像信号階層化回路２０１と
同様である。
号化装置を説明する。図３２に第２の実施の形態におけ
る VOP符号化回路３０８の一例を示す。各VOPの画像お
よびkey信号、VOPの大きさを示すフラグFSZ、VOPの絶対
座標における位置を示すフラグFPOS、任意形状だった場
合に対する形状領域外の置換方法を示すフラグfill_mod
eは、画像信号階層化回路２９０ に入力される。画像信
号階層化回路２９０の動作は、３階層のレイヤに出力す
る点を除いて、図１に示す画像信号階層化回路２０１と
同様である。
【０２３０】画像信号階層化回路２９０は、下位レイヤ
のVOPの大きさを示すフラグ FSZ_B、および絶対座標に
おける下位レイヤのVOPの位置を示すフラグ FPOS_B
を、下位レイヤ符号化回路２９３に出力する。また上位
レイヤ１のVOPの大きさを示すフラグ FSZ_E１、および
絶対座標における上位レイヤ１のVOPの位置を示すフラ
グ FPOS_E１は、遅延回路２９１を介して上位レイヤ１
符号化回路３０１に、上位レイヤ２のVOPの大きさを示
すフラグ FSZ_E２、および絶対座標における上位レイヤ
２のVOPの位置を示すフラグ FPOS_E２は、遅延回路３０
４を介して上位レイヤ２符号化回路３０２に、それぞれ
出力される。
のVOPの大きさを示すフラグ FSZ_B、および絶対座標に
おける下位レイヤのVOPの位置を示すフラグ FPOS_B
を、下位レイヤ符号化回路２９３に出力する。また上位
レイヤ１のVOPの大きさを示すフラグ FSZ_E１、および
絶対座標における上位レイヤ１のVOPの位置を示すフラ
グ FPOS_E１は、遅延回路２９１を介して上位レイヤ１
符号化回路３０１に、上位レイヤ２のVOPの大きさを示
すフラグ FSZ_E２、および絶対座標における上位レイヤ
２のVOPの位置を示すフラグ FPOS_E２は、遅延回路３０
４を介して上位レイヤ２符号化回路３０２に、それぞれ
出力される。
【０２３１】さらに、画像信号階層化回路２９０は、下
位レイヤのVOPに対する上位レイヤ１のVOPの大きさの倍
率を示すフラグ FR１、および上位レイヤに対し置換方
法を示すフラグfill_mode１を、遅延回路２９１を介し
て解像度変換回路２９２および上位レイヤ１符号化回路
３０１に出力し、同様に、上位レイヤ１のVOPに対する
上位レイヤ２のVOPの大きさの倍率を示すフラグ FR２、
および上位レイヤ２に対し置換方法を示すフラグfill_m
ode２を、遅延回路３０４を介して解像度変換回路２９
２および上位レイヤ１符号化回路３０１に出力される。
位レイヤのVOPに対する上位レイヤ１のVOPの大きさの倍
率を示すフラグ FR１、および上位レイヤに対し置換方
法を示すフラグfill_mode１を、遅延回路２９１を介し
て解像度変換回路２９２および上位レイヤ１符号化回路
３０１に出力し、同様に、上位レイヤ１のVOPに対する
上位レイヤ２のVOPの大きさの倍率を示すフラグ FR２、
および上位レイヤ２に対し置換方法を示すフラグfill_m
ode２を、遅延回路３０４を介して解像度変換回路２９
２および上位レイヤ１符号化回路３０１に出力される。
【０２３２】下位レイヤ符号化回路２９３は、図１にお
ける下位レイヤ符号化回路２０４と同様の動作をする。
ける下位レイヤ符号化回路２０４と同様の動作をする。
【０２３３】下位レイヤ符号化回路２９３から出力され
たビットストリームは多重化回路２９４に、局所復号画
像信号およびkey信号は、解像度変換回路２９２に、そ
れぞれ入力される。さらに下位レイヤ符号化回路２９３
から出力された動きベクトル、予測モード、VOPの大き
さを示すフラグFSZ_BおよびVOPの絶対座標上の位置を示
すフラグFPOS_Bが、上位レイヤ１符号化回路３０１に入
力される。解像度変換回路２９２、および解像度変換回
路３０２は、同様の構成の回路であり、図１における解
像度変換回路２０５と同様の動作をする。
たビットストリームは多重化回路２９４に、局所復号画
像信号およびkey信号は、解像度変換回路２９２に、そ
れぞれ入力される。さらに下位レイヤ符号化回路２９３
から出力された動きベクトル、予測モード、VOPの大き
さを示すフラグFSZ_BおよびVOPの絶対座標上の位置を示
すフラグFPOS_Bが、上位レイヤ１符号化回路３０１に入
力される。解像度変換回路２９２、および解像度変換回
路３０２は、同様の構成の回路であり、図１における解
像度変換回路２０５と同様の動作をする。
【０２３４】解像度変換回路２９２は、遅延回路２９１
より入力された、下位レイヤと上位レイヤ１のVOPの大
きさの倍率を示すフラグFR１に示される倍率に基づい
て、より下位レイヤの画像の解像度変換を行い、上位レ
イヤ１符号化回路３０１に出力する。遅延回路２９１及
び遅延回路３０４は、同様の構成の回路であり、図１に
おける遅延回路２０２と同様の動作をする。
より入力された、下位レイヤと上位レイヤ１のVOPの大
きさの倍率を示すフラグFR１に示される倍率に基づい
て、より下位レイヤの画像の解像度変換を行い、上位レ
イヤ１符号化回路３０１に出力する。遅延回路２９１及
び遅延回路３０４は、同様の構成の回路であり、図１に
おける遅延回路２０２と同様の動作をする。
【０２３５】上位レイヤ１符号化回路３０１は図３３に
示すように構成されている。なお、図３３において、図
１１と対応する部分には同一の符号を付してある。上位
レイヤ１符号化回路３０１は、図１１の上位レイヤ符号
化回路２０３と基本的に同様に動作するが、画素置換回
路２３１からの出力、及びフレームメモリ群１１からの
局所復号画像信号が解像度変換回路３０３へ出力される
点と、key信号復号化回路２３４からの出力が、上位レ
イヤ符号化回路３０２へ出力される点のみが異なる。
示すように構成されている。なお、図３３において、図
１１と対応する部分には同一の符号を付してある。上位
レイヤ１符号化回路３０１は、図１１の上位レイヤ符号
化回路２０３と基本的に同様に動作するが、画素置換回
路２３１からの出力、及びフレームメモリ群１１からの
局所復号画像信号が解像度変換回路３０３へ出力される
点と、key信号復号化回路２３４からの出力が、上位レ
イヤ符号化回路３０２へ出力される点のみが異なる。
【０２３６】上位レイヤ１符号化回路３０１から出力さ
れたビットストリームは多重化回路２９４に入力され、
局所復号画像信号およびkey信号は、解像度変換回路３
０３に入力される。さらに上位レイヤ１符号化回路３０
１から出力された動きベクトル、予測モード、VOPの大
きさを示すフラグおよびVOPの絶対座標上の位置を示す
フラグが、上位レイヤ２符号化回路３０２に入力され
る。
れたビットストリームは多重化回路２９４に入力され、
局所復号画像信号およびkey信号は、解像度変換回路３
０３に入力される。さらに上位レイヤ１符号化回路３０
１から出力された動きベクトル、予測モード、VOPの大
きさを示すフラグおよびVOPの絶対座標上の位置を示す
フラグが、上位レイヤ２符号化回路３０２に入力され
る。
【０２３７】解像度変換回路３０３は、遅延回路３０４
より入力された、上位レイヤ１と上位レイヤ２のVOPの
大きさの倍率を示すフラグFR２に示される倍率に基づい
て、上位レイヤ１の画像の解像度変換を行い、上位レイ
ヤ２符号化回路３０２に入力する。
より入力された、上位レイヤ１と上位レイヤ２のVOPの
大きさの倍率を示すフラグFR２に示される倍率に基づい
て、上位レイヤ１の画像の解像度変換を行い、上位レイ
ヤ２符号化回路３０２に入力する。
【０２３８】上位レイヤ２符号化回路は、図１における
上位レイヤ符号化回路２０３と同様のものである。
上位レイヤ符号化回路２０３と同様のものである。
【０２３９】上位レイヤ２符号化回路３０２は、ビット
ストリームを多重化回路２９４に出力する。多重化回路
２９４は、下位レイヤ符号化回路２９３、上位レイヤ１
符号化回路３０１、および上位レイヤ２符号化回路３０
２から入力されたビットストリームの多重化を行い、出
力する。
ストリームを多重化回路２９４に出力する。多重化回路
２９４は、下位レイヤ符号化回路２９３、上位レイヤ１
符号化回路３０１、および上位レイヤ２符号化回路３０
２から入力されたビットストリームの多重化を行い、出
力する。
【０２４０】多重化回路２９４は、入力が３系統である
点を除いて、図１における多重化回路２０６と同様の動
作をする。
点を除いて、図１における多重化回路２０６と同様の動
作をする。
【０２４１】図３２のVOP符号化回路３０８による符号
化の例を図３４と図３５に示す。これらの図は、上位レ
イヤ１を下位レイヤのテンポラルスケーラビリティとし
て符号化し、上位レイヤ２を、上位レイヤ１を空間スケ
ーラブル符号化するか、または、SNRスケーラブル符号
化した例を表している。下位レイヤでは長方形の形状に
符号化され、上位レイヤ１ではその一部の領域のみが符
号化される。さらに上位レイヤ２では、長方形の形状
で、上位レイヤ１での形状領域外の部分まで符号化が行
われる。
化の例を図３４と図３５に示す。これらの図は、上位レ
イヤ１を下位レイヤのテンポラルスケーラビリティとし
て符号化し、上位レイヤ２を、上位レイヤ１を空間スケ
ーラブル符号化するか、または、SNRスケーラブル符号
化した例を表している。下位レイヤでは長方形の形状に
符号化され、上位レイヤ１ではその一部の領域のみが符
号化される。さらに上位レイヤ２では、長方形の形状
で、上位レイヤ１での形状領域外の部分まで符号化が行
われる。
【０２４２】即ち、図３４の例の場合、下位レイヤ０の
VOP０−１とVOP０−２の間に、上位レイヤ１において
は、２つのVOP１−１とVOP１−２が配置され、上位レイ
ヤ２においては、VOP２−１とVOP２−２が配置されてい
る。VOP１−１では、そのオブジェクト（図中白く示す
人物）が、下位レイヤ０のVOP０−１またはVOP０−２の
少なくともいずれか一方から予測して画像が生成されて
いる。これに対して、その背景画像は、フレーム内補間
されている。
VOP０−１とVOP０−２の間に、上位レイヤ１において
は、２つのVOP１−１とVOP１−２が配置され、上位レイ
ヤ２においては、VOP２−１とVOP２−２が配置されてい
る。VOP１−１では、そのオブジェクト（図中白く示す
人物）が、下位レイヤ０のVOP０−１またはVOP０−２の
少なくともいずれか一方から予測して画像が生成されて
いる。これに対して、その背景画像は、フレーム内補間
されている。
【０２４３】上位レイヤ１のVOP１−２では、下位レイ
ヤ０のVOP０−１とVOP０−２、または上位レイヤ１のVO
P１−１のうちの最大２つから、オブジェクト（人物）
の画像を予測することができる。背景画像は、VOP１−
１と同様に、フレーム内補間される。
ヤ０のVOP０−１とVOP０−２、または上位レイヤ１のVO
P１−１のうちの最大２つから、オブジェクト（人物）
の画像を予測することができる。背景画像は、VOP１−
１と同様に、フレーム内補間される。
【０２４４】下位レイヤ０のVOP０−１とVOP０−２は、
いずれも人物と背景画像を含めた全体が１つのオブジェ
クトとして符号化されるが、上位レイヤ１においては、
内部の人物だけが符号化される。
いずれも人物と背景画像を含めた全体が１つのオブジェ
クトとして符号化されるが、上位レイヤ１においては、
内部の人物だけが符号化される。
【０２４５】上位レイヤ２のVOP２−１は、人物と背景
を含む全体が１つのオブジェクトとして符号化される。
VOP２−２は、上位レイヤ１のVOP１−２の人物と、上位
レイヤ２のVOP２−１から予測される。
を含む全体が１つのオブジェクトとして符号化される。
VOP２−２は、上位レイヤ１のVOP１−２の人物と、上位
レイヤ２のVOP２−１から予測される。
【０２４６】図３５の例は、図３４と基本的に同様であ
るが、上位レイヤ１のVOP１−１，VOP１−２の背景が、
下位レイヤ０のVOP０−１とVOP０−２の少なくとも一方
の背景が張り付けられて、生成される。
るが、上位レイヤ１のVOP１−１，VOP１−２の背景が、
下位レイヤ０のVOP０−１とVOP０−２の少なくとも一方
の背景が張り付けられて、生成される。
【０２４７】このような符号化を行う場合、本実施の形
態では、上位レイヤ１では、形状領域外の画素置換を、
第１の実施の形態と同様に、形状領域外の置換方法を示
すフラグfill_modeに対応して選択でき、その画像を上
位レイヤ２の参照画像として使用することができる。そ
のため、出力画像および上位レイヤ２の参照画像につい
て、下位レイヤからの置換を行わない場合（図３４）
と、下位レイヤから置換を行う場合（図３５）とを、上
位レイヤ１の置換方法を示すフラグfill_modeにより選
択することが可能である。
態では、上位レイヤ１では、形状領域外の画素置換を、
第１の実施の形態と同様に、形状領域外の置換方法を示
すフラグfill_modeに対応して選択でき、その画像を上
位レイヤ２の参照画像として使用することができる。そ
のため、出力画像および上位レイヤ２の参照画像につい
て、下位レイヤからの置換を行わない場合（図３４）
と、下位レイヤから置換を行う場合（図３５）とを、上
位レイヤ１の置換方法を示すフラグfill_modeにより選
択することが可能である。
【０２４８】この点、従来法では、上位レイヤ２におい
て、図３４で示されるframe内補間による参照画像しか
得られなかったのと大きく異なる。
て、図３４で示されるframe内補間による参照画像しか
得られなかったのと大きく異なる。
【０２４９】図３６に３階層のVOP復号化回路１１２の
構成例を示す。
構成例を示す。
【０２５０】逆多重化回路３１１は、出力が３系統であ
る点を除き、図２１に示す逆多重化回路２５１と同様の
回路であり、その出力は下位レイヤ復号化回路３１９、
遅延回路３１６、遅延回路３１２に出力される。
る点を除き、図２１に示す逆多重化回路２５１と同様の
回路であり、その出力は下位レイヤ復号化回路３１９、
遅延回路３１６、遅延回路３１２に出力される。
【０２５１】下位レイヤ復号化回路３１９は、図２１に
示す下位レイヤ復号化回路２５４と同様の動作をする。
下位レイヤ復号化回路３１９は、VOPの大きさを示すフ
ラグFSZ_Bおよび絶対座標上の位置を示すフラグFPOS_B
を、上位レイヤ１復号化回路およびVOP再構成回路３１
４に出力する。また復号画像信号およびkey信号は解像
度変換回路３１８に出力され、さらに動きベクトルおよ
び予測モードが上位レイヤ１復号化回路３１７に出力さ
れる。
示す下位レイヤ復号化回路２５４と同様の動作をする。
下位レイヤ復号化回路３１９は、VOPの大きさを示すフ
ラグFSZ_Bおよび絶対座標上の位置を示すフラグFPOS_B
を、上位レイヤ１復号化回路およびVOP再構成回路３１
４に出力する。また復号画像信号およびkey信号は解像
度変換回路３１８に出力され、さらに動きベクトルおよ
び予測モードが上位レイヤ１復号化回路３１７に出力さ
れる。
【０２５２】解像度変換回路３１８と解像度変換回路３
１５は、図２１に示す解像度変換回路２５５と同様に動
作する。
１５は、図２１に示す解像度変換回路２５５と同様に動
作する。
【０２５３】解像度変換回路３１８は、上位レイヤ１復
号化回路３１７より出力された、下位レイヤの拡大率を
示すフラグFR１、および下位レイヤ復号化回路３１９か
ら出力された下位レイヤの復号画像信号およびkey信号
を入力し、解像度変換後の画像信号およびkey信号を上
位レイヤ１復号化回路３１７に出力する。
号化回路３１７より出力された、下位レイヤの拡大率を
示すフラグFR１、および下位レイヤ復号化回路３１９か
ら出力された下位レイヤの復号画像信号およびkey信号
を入力し、解像度変換後の画像信号およびkey信号を上
位レイヤ１復号化回路３１７に出力する。
【０２５４】遅延回路３１６と遅延回路３１２は、図２
１に示す遅延回路２５２と同様に動作する。
１に示す遅延回路２５２と同様に動作する。
【０２５５】上位レイヤ１復号化回路３１７と上位レイ
ヤ２復号化回路３１３は、図２１に示す上位レイヤ復号
化回路２５３と同様に動作する。
ヤ２復号化回路３１３は、図２１に示す上位レイヤ復号
化回路２５３と同様に動作する。
【０２５６】上位レイヤ１復号化回路３１７は、復号画
像信号およびkey信号を、VOP再構成回路３１４および解
像度変換回路３１５に出力し、また上位レイヤ１の大き
さを示すフラグFSZ_E1および上位レイヤ１の絶対座標上
の位置を示すフラグFPOS_E1を、VOP再構成回路３１４お
よび上位レイヤ２復号化回路３１３に出力し、動きベク
トルおよび予測モードを上位レイヤ２復号化回路３１３
に出力する。上位レイヤ２復号化回路３１３は、復号画
像信号、key信号、VOPの大きさを示すフラグFSZ_E2、VO
Pの絶対座標上の位置を示すフラグFPOS_E2をVOP再構成
回路３１４に出力する。
像信号およびkey信号を、VOP再構成回路３１４および解
像度変換回路３１５に出力し、また上位レイヤ１の大き
さを示すフラグFSZ_E1および上位レイヤ１の絶対座標上
の位置を示すフラグFPOS_E1を、VOP再構成回路３１４お
よび上位レイヤ２復号化回路３１３に出力し、動きベク
トルおよび予測モードを上位レイヤ２復号化回路３１３
に出力する。上位レイヤ２復号化回路３１３は、復号画
像信号、key信号、VOPの大きさを示すフラグFSZ_E2、VO
Pの絶対座標上の位置を示すフラグFPOS_E2をVOP再構成
回路３１４に出力する。
【０２５７】VOP再構成回路３１４は、図２１に示すVOP
再構成回路３００と同様に動作する。
再構成回路３００と同様に動作する。
【０２５８】この実施の形態に関するシンタックスは、
第１の実施の形態の場合と同様である。
第１の実施の形態の場合と同様である。
【０２５９】なお、図３２のVOP符号化回路３０８を適
用した、図４６の画像信号符号化装置の多重化回路１０
４より出力されたビットストリームは、伝送路に伝送さ
れる他、光ディスク、磁気ディスク、光磁気ディスクな
どの記録媒体に記録し、図３６のVOP復号化回路１１２
を適用した、図４７の画像信号復号化装置により、その
記録媒体から再生したビットストリームを復号化させる
ようにすることができる。
用した、図４６の画像信号符号化装置の多重化回路１０
４より出力されたビットストリームは、伝送路に伝送さ
れる他、光ディスク、磁気ディスク、光磁気ディスクな
どの記録媒体に記録し、図３６のVOP復号化回路１１２
を適用した、図４７の画像信号復号化装置により、その
記録媒体から再生したビットストリームを復号化させる
ようにすることができる。
【０２６０】次に第３の実施の形態における画像信号符
号化装置を説明する。
号化装置を説明する。
【０２６１】図３７は、５階層のスケーラブル符号化を
表した図である。この図ではレイヤ０、レイヤ１、レイ
ヤ２で、第２の実施の形態と同様の階層符号化が行わ
れ、レイヤ０、レイヤ３、レイヤ４において、３階層の
空間スケーラブル符号化が行われる。
表した図である。この図ではレイヤ０、レイヤ１、レイ
ヤ２で、第２の実施の形態と同様の階層符号化が行わ
れ、レイヤ０、レイヤ３、レイヤ４において、３階層の
空間スケーラブル符号化が行われる。
【０２６２】即ち、図３７の例においては、下位レイヤ
０のVOP０−１とVOP０−２の間に、テンポラルスケーラ
ビリティとして、上位レイヤ１において、VOP１−１とV
OP１−２が、また、上位レイヤ２において、VOP２−１
とVOP２−２が、それぞれ配置されている。この構成
は、図３５に示した場合と同様である。
０のVOP０−１とVOP０−２の間に、テンポラルスケーラ
ビリティとして、上位レイヤ１において、VOP１−１とV
OP１−２が、また、上位レイヤ２において、VOP２−１
とVOP２−２が、それぞれ配置されている。この構成
は、図３５に示した場合と同様である。
【０２６３】図３７の例においては、さらに、空間スケ
ーラビリティとして、VOP０−１と同時刻の上位レイヤ
３にVOP３−１が、そして、上位レイヤ４にVOP４−１
が、それぞれ配置されている。また、VOP０−２と同時
刻の上位レイヤ３にVOP３−２が、また、上位レイヤ４
にVOP４−２が、それぞれ配置されている。
ーラビリティとして、VOP０−１と同時刻の上位レイヤ
３にVOP３−１が、そして、上位レイヤ４にVOP４−１
が、それぞれ配置されている。また、VOP０−２と同時
刻の上位レイヤ３にVOP３−２が、また、上位レイヤ４
にVOP４−２が、それぞれ配置されている。
【０２６４】上位レイヤ３のVOP３−１は、同時刻の下
位レイヤ０のVOP０−１のオブジェクトの解像度を変換
して、予測が行われ、VOP３−１の背景画像も、VOP０−
１の背景画像を、解像度の変換して張り付けることで生
成されている。上位レイヤ３のVOP３−２のオブジェク
トは、下位レイヤ０のVOP０−２と、上位レイヤ３のVOP
３−１から予測されている。また、VOP３−２の背景
は、VOP０−２の背景を解像度変換して張り付けること
で生成されている。
位レイヤ０のVOP０−１のオブジェクトの解像度を変換
して、予測が行われ、VOP３−１の背景画像も、VOP０−
１の背景画像を、解像度の変換して張り付けることで生
成されている。上位レイヤ３のVOP３−２のオブジェク
トは、下位レイヤ０のVOP０−２と、上位レイヤ３のVOP
３−１から予測されている。また、VOP３−２の背景
は、VOP０−２の背景を解像度変換して張り付けること
で生成されている。
【０２６５】上位レイヤ４のVOP４−１は、上位レイヤ
３（上位レイヤ４の下位レイヤ）のVOP３−１から予測
されている。上位レイヤ４のVOP４−２は、VOP４−１
と、上位レイヤ３のVOP３−２から予測されている。
３（上位レイヤ４の下位レイヤ）のVOP３−１から予測
されている。上位レイヤ４のVOP４−２は、VOP４−１
と、上位レイヤ３のVOP３−２から予測されている。
【０２６６】このように、スケーラブル符号化装置にお
いては、３階層以上の多階層の階層符号化を行うことが
可能であり、また共通の下位レイヤから異なるスケーラ
ブル符号化を行うことも可能である。
いては、３階層以上の多階層の階層符号化を行うことが
可能であり、また共通の下位レイヤから異なるスケーラ
ブル符号化を行うことも可能である。
【０２６７】なお、多階層のVOP符号化回路を適用し
た、図４６の画像信号符号化装置の多重化回路１０４よ
り出力されたビットストリームは、伝送路に伝送される
他、光ディスク、磁気ディスク、光磁気ディスクなどの
記録媒体に記録し、多階層のVOP復号化回路を適用し
た、図４７の画像信号復号化装置により、その記録媒体
から再生したビットストリームを復号化させるようにす
ることができる。
た、図４６の画像信号符号化装置の多重化回路１０４よ
り出力されたビットストリームは、伝送路に伝送される
他、光ディスク、磁気ディスク、光磁気ディスクなどの
記録媒体に記録し、多階層のVOP復号化回路を適用し
た、図４７の画像信号復号化装置により、その記録媒体
から再生したビットストリームを復号化させるようにす
ることができる。
【０２６８】また、上記したような処理を行うプログラ
ムをユーザに伝送する伝送媒体としては、磁気ディス
ク、CD-ROM、固体メモリなどの記録媒体の他、ネットワ
ーク、衛星などの通信媒体を利用することができる。
ムをユーザに伝送する伝送媒体としては、磁気ディス
ク、CD-ROM、固体メモリなどの記録媒体の他、ネットワ
ーク、衛星などの通信媒体を利用することができる。
【０２６９】
【発明の効果】以上のごとく、請求項１に記載の画像信
号復号化装置、請求項３に記載の画像信号復号化方法、
および請求項４に記載の伝送媒体によれば、合成された
上位レイヤの画像物体の外側の画素を、置換情報に対応
して他の画素と置換し、下位レイヤの復号化画像と選択
的に出力するようにしたので、構成を簡略化し、低コス
ト化することが可能となる。
号復号化装置、請求項３に記載の画像信号復号化方法、
および請求項４に記載の伝送媒体によれば、合成された
上位レイヤの画像物体の外側の画素を、置換情報に対応
して他の画素と置換し、下位レイヤの復号化画像と選択
的に出力するようにしたので、構成を簡略化し、低コス
ト化することが可能となる。
【図１】本発明の画像信号符号化装置に適用するVOP符
号化回路の構成例を示すブロック図である。
号化回路の構成例を示すブロック図である。
【図２】上位レイヤと下位レイヤのピクチャの処理を説
明する図である。
明する図である。
【図３】上位レイヤと下位レイヤの画像の関係を説明す
る図である。
る図である。
【図４】上位レイヤと下位レイヤの画像の関係を説明す
る図である。
る図である。
【図５】上位レイヤと下位レイヤの画像の関係を説明す
る図である。
る図である。
【図６】上位レイヤと下位レイヤの画像の関係を説明す
る図である。
る図である。
【図７】上位レイヤと下位レイヤの画像の関係を説明す
る図である。
る図である。
【図８】図１の下位レイヤ符号化回路２０４の構成例を
示すブロック図である。
示すブロック図である。
【図９】図８の画素置換回路２２１の動作を説明するフ
ローチャートである。
ローチャートである。
【図１０】図９のフローチャートの処理を説明する図で
ある。
ある。
【図１１】図１の上位レイヤ符号化回路２０３の構成例
を示すブロック図である。
を示すブロック図である。
【図１２】上位レイヤと下位レイヤのピクチャの処理を
説明する図である。
説明する図である。
【図１３】画素置換の処理を説明する図である。
【図１４】図１１の画素置換回路２３１の処理を説明す
るフローチャートである。
るフローチャートである。
【図１５】画素置換の処理を説明する図である。
【図１６】画素置換の処理を説明する図である。
【図１７】画素置換の処理を説明する図である。
【図１８】画素置換の処理を説明する図である。
【図１９】画素置換の処理を説明する図である。
【図２０】画素置換の処理を説明するフローチャートで
ある。
ある。
【図２１】本発明の画像信号復号化装置に適用されるVO
P復号化回路の構成例を示すブロック図である。
P復号化回路の構成例を示すブロック図である。
【図２２】図２１の下位レイヤ復号化回路２５４の構成
例を示すブロック図である。
例を示すブロック図である。
【図２３】図２１の上位レイヤ復号化回路２５３の構成
例を示すブロック図である。
例を示すブロック図である。
【図２４】図２１のVOP再構成回路３００の構成例を示
すブロック図である。
すブロック図である。
【図２５】ビットストリームの構成を説明する図であ
る。
る。
【図２６】Video Sessionのシンタックスを説明する図
である。
である。
【図２７】Video Objectのシンタックスを説明する図で
ある。
ある。
【図２８】Video Object Layerのシンタックスを説明す
る図である。
る図である。
【図２９】Video Object Planeのシンタックスを説明す
る図である。
る図である。
【図３０】Video Object Planeのシンタックスを説明す
る図である。
る図である。
【図３１】Video Object Planeのシンタックスを説明す
る図である。
る図である。
【図３２】本発明の画像信号符号化装置に適用されるVO
P符号化回路の構成例を示すブロック図である。
P符号化回路の構成例を示すブロック図である。
【図３３】図３２の上位レイヤ１符号化回路３０１の構
成例を示すブロック図である。
成例を示すブロック図である。
【図３４】画素置換の処理を説明する図である。
【図３５】画素置換の処理を説明する図である。
【図３６】本発明の画像信号復号化装置に適用されるVO
P復号化回路の構成例を示すブロック図である。
P復号化回路の構成例を示すブロック図である。
【図３７】画素置換の処理を説明する図である。
【図３８】従来の画像信号符号化装置の構成例を示すブ
ロック図である。
ロック図である。
【図３９】従来の画像信号復号化装置の構成例を示すブ
ロック図である。
ロック図である。
【図４０】従来の画像信号符号化装置の他の構成例を示
すブロック図である。
すブロック図である。
【図４１】従来の画像信号復号化装置の他の構成例を示
すブロック図である。
すブロック図である。
【図４２】図４１のVOP再構成回路３５０の構成例を示
すブロック図である。
すブロック図である。
【図４３】画像の合成を説明する図である。
【図４４】画像の合成を説明する図である。
【図４５】画像の合成を説明する図である。
【図４６】従来の画像信号符号化装置のさらに他の構成
例を示すブロック図である。
例を示すブロック図である。
【図４７】従来の画像信号復号化装置のさらに他の構成
例を示すブロック図である。
例を示すブロック図である。
【図４８】図４６のVOP符号化回路１０３−０の構成例
を示すブロック図である。
を示すブロック図である。
【図４９】図４７のVOP復号化回路１１２−０の構成例
を示すブロック図である。
を示すブロック図である。
【図５０】絶対座標を説明する図である。
【図５１】画像オブジェクトを説明する図である。
【図５２】画像オブジェクトを説明する他の図である。
２０１ 画像信号階層化回路， ２０２ 遅延回路，
２０３ 上位レイヤ符号化回路， ２０４ 下位レイヤ
符号化回路， ２０５ 解像度変換回路， ２０６ 多
重化回路， ２５１ 逆多重化回路， ２５２ 遅延回
路， ２５３上位レイヤ復号化回路， ２５４ 下位レ
イヤ復号化回路， ２５５ 解像度変換回路
２０３ 上位レイヤ符号化回路， ２０４ 下位レイヤ
符号化回路， ２０５ 解像度変換回路， ２０６ 多
重化回路， ２５１ 逆多重化回路， ２５２ 遅延回
路， ２５３上位レイヤ復号化回路， ２５４ 下位レ
イヤ復号化回路， ２５５ 解像度変換回路
Claims (4)
- 【請求項１】 画像信号が、複数の画像と、それを合成
する方法を示す信号とに分離して、上位レイヤの画像物
体の外側の画素を、他の画素と置換した参照画像を用い
て符号化されたビットストリームを復号化する画像信号
復号化装置において、 前記ビットストリームから、前記上位レイヤの画像、下
位レイヤの画像、動きベクトル、並びに、置換の方法を
表す置換情報を分離する分離手段と、 前記下位レイヤの画像を復号化する下位レイヤ復号化手
段と、 前記下位レイヤ復号化手段により復号化された画像を記
憶する第１の記憶手段と、 前記上位レイヤの画像を復号化する上位レイヤ復号化手
段と、 前記上位レイヤの予測画像を生成するための画像を記憶
する第２の記憶手段と、 前記動きベクトルを用いて、前記第２の記憶手段に記憶
されている画像に対して動き補償を行い、前記上位レイ
ヤの予測画像を演算する演算手段と、 前記演算手段により演算された予測画像と、前記上位レ
イヤ復号化手段により復号化された画像とを合成する合
成手段と、 前記合成手段により合成された上位レイヤの画像物体の
外側の画素を、前記置換情報に対応して他の画素と置換
する置換手段と、 前記置換手段の出力と前記下位レイヤ復号化手段の出力
を選択して出力する出力手段とを備えることを特徴とす
る画像信号復号化装置。 - 【請求項２】 前記置換手段は、前記合成手段により合
成された上位レイヤの画像物体の外側の画素を、前記第
１の記憶手段に記憶されている下位レイヤの所定の画像
に基づく画素と置換することを特徴とする請求項１に記
載の画像信号復号化装置。 - 【請求項３】 画像信号が、複数の画像と、それを合成
する方法を示す信号とに分離して、上位レイヤの画像物
体の外側の画素を、他の画素と置換した参照画像を用い
て符号化されたビットストリームを復号化する画像信号
復号化方法において、 前記ビットストリームから、前記上位レイヤの画像、下
位レイヤの画像、動きベクトル、並びに、置換の方法を
表す置換情報を分離する分離ステップと、 前記下位レイヤの画像を復号化する下位レイヤ復号化ス
テップと、 前記下位レイヤ復号化ステップにより復号化された画像
を記憶する第１の記憶ステップと、 前記上位レイヤの画像を復号化する上位レイヤ復号化ス
テップと、 前記上位レイヤの予測画像を生成するための画像を記憶
する第２の記憶ステップと、 前記動きベクトルを用いて、前記第２の記憶ステップで
記憶された画像に対して動き補償を行い、前記上位レイ
ヤの予測画像を演算する演算ステップと、 前記演算ステップで演算された予測画像と、前記上位レ
イヤ復号化ステップで復号化された画像とを合成する合
成ステップと、 前記合成ステップで合成された上位レイヤの画像物体の
外側の画素を、前記置換情報に対応して他の画素と置換
する置換ステップと、 前記置換ステップでの出力と前記下位レイヤ復号化ステ
ップでの出力を選択して出力する出力ステップとを備え
ることを特徴とする画像信号復号化方法。 - 【請求項４】 画像信号が、複数の画像と、それを合成
する方法を示す信号とに分離して、上位レイヤの画像物
体の外側の画素を、他の画素と置換した参照画像を用い
て符号化されたビットストリームを復号化するプログラ
ムを伝送する伝送媒体において、 前記ビットストリームから、前記上位レイヤの画像、下
位レイヤの画像、動きベクトル、並びに、置換の方法を
表す置換情報を分離する分離ステップと、 前記下位レイヤの画像を復号化する下位レイヤ復号化ス
テップと、 前記下位レイヤ復号化ステップにより復号化された画像
を記憶する第１の記憶ステップと、 前記上位レイヤの画像を復号化する上位レイヤ復号化ス
テップと、 前記上位レイヤの予測画像を生成するための画像を記憶
する第２の記憶ステップと、 前記動きベクトルを用いて、前記第２の記憶ステップで
記憶された画像に対して動き補償を行い、前記上位レイ
ヤの予測画像を演算する演算ステップと、 前記演算ステップで演算された予測画像と、前記上位レ
イヤ復号化ステップで復号化された画像とを合成する合
成ステップと、 前記合成ステップで合成された上位レイヤの画像物体の
外側の画素を、前記置換情報に対応して他の画素と置換
する置換ステップと、 前記置換ステップでの出力と前記下位レイヤ復号化ステ
ップでの出力を選択して出力する出力ステップとを備え
るプログラムを伝送することを特徴とする伝送媒体。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP18950197A JPH1141558A (ja) | 1997-07-15 | 1997-07-15 | 画像信号復号化装置および画像信号復号化方法、並びに伝送媒体 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP18950197A JPH1141558A (ja) | 1997-07-15 | 1997-07-15 | 画像信号復号化装置および画像信号復号化方法、並びに伝送媒体 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JPH1141558A true JPH1141558A (ja) | 1999-02-12 |
Family
ID=16242335
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP18950197A Withdrawn JPH1141558A (ja) | 1997-07-15 | 1997-07-15 | 画像信号復号化装置および画像信号復号化方法、並びに伝送媒体 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JPH1141558A (ja) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6965642B2 (en) | 2000-10-31 | 2005-11-15 | Nec Corporation | Method and device for compressing and decompressing moving image data and information recording medium |
| JP2009071388A (ja) * | 2007-09-10 | 2009-04-02 | Fujifilm Corp | 画像処理装置、画像処理方法、およびプログラム |
| JP2009089356A (ja) * | 2007-09-10 | 2009-04-23 | Fujifilm Corp | 画像処理装置、画像処理方法、およびプログラム |
| JPWO2015132881A1 (ja) * | 2014-03-04 | 2017-03-30 | 三菱電機株式会社 | 画像符号化装置、画像復号装置、画像符号化方法、画像復号方法及びプログラム |
-
1997
- 1997-07-15 JP JP18950197A patent/JPH1141558A/ja not_active Withdrawn
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6965642B2 (en) | 2000-10-31 | 2005-11-15 | Nec Corporation | Method and device for compressing and decompressing moving image data and information recording medium |
| JP2009071388A (ja) * | 2007-09-10 | 2009-04-02 | Fujifilm Corp | 画像処理装置、画像処理方法、およびプログラム |
| JP2009089356A (ja) * | 2007-09-10 | 2009-04-23 | Fujifilm Corp | 画像処理装置、画像処理方法、およびプログラム |
| US8498483B2 (en) | 2007-09-10 | 2013-07-30 | Fujifilm Corporation | Image processing apparatus, image processing method, and computer readable medium |
| JPWO2015132881A1 (ja) * | 2014-03-04 | 2017-03-30 | 三菱電機株式会社 | 画像符号化装置、画像復号装置、画像符号化方法、画像復号方法及びプログラム |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US6330280B1 (en) | Method and apparatus for decoding enhancement and base layer image signals using a predicted image signal | |
| US6427027B1 (en) | Picture encoding and/or decoding apparatus and method for providing scalability of a video object whose position changes with time and a recording medium having the same recorded thereon | |
| JP4930810B2 (ja) | 画像処理装置、画像処理方法、および記録媒体 | |
| US6031575A (en) | Method and apparatus for encoding an image signal, method and apparatus for decoding an image signal, and recording medium | |
| KR100880640B1 (ko) | 스케일러블 비디오 신호 인코딩 및 디코딩 방법 | |
| KR100878824B1 (ko) | 스케일러블 비디오 신호 인코딩 및 디코딩 방법 | |
| KR100883604B1 (ko) | 스케일러블 비디오 신호 인코딩 및 디코딩 방법 | |
| JP3371191B2 (ja) | 画像信号の符号化方法及び復号方法、並びに、符号化装置及び復号装置 | |
| JP3318707B2 (ja) | 画像信号符号化装置および画像信号符号化方法、画像信号復号装置および画像信号復号方法、画像信号伝送方法、並びに画像信号記録媒体 | |
| KR100878825B1 (ko) | 스케일러블 비디오 신호 인코딩 및 디코딩 방법 | |
| JP3344577B2 (ja) | 画像符号化装置および画像符号化方法、画像復号化装置および画像復号化方法、並びに記録方法 | |
| JP3263901B2 (ja) | 画像信号符号化方法及び装置、画像信号復号化方法及び装置 | |
| JPH1141558A (ja) | 画像信号復号化装置および画像信号復号化方法、並びに伝送媒体 | |
| JP4499204B2 (ja) | 画像信号多重化装置および方法、並びに伝送媒体 | |
| JP3318712B2 (ja) | 画像信号符号化装置および画像信号符号化方法、画像信号復号装置および画像信号復号方法、画像信号伝送方法、並びに画像信号記録媒体 | |
| JP3301375B2 (ja) | 画像信号符号化装置及び方法、画像信号復号装置及び方法 | |
| JP3344576B2 (ja) | 画像符号化装置および画像符号化方法、画像復号化装置および画像復号化方法 | |
| JP3263812B2 (ja) | 画像符号化装置および画像符号化方法、並びに画像復号化装置および画像復号化方法 | |
| AU731425B2 (en) | Picture encoding and decoding | |
| AU759435B2 (en) | Picture encoding and decoding | |
| JP2000333203A (ja) | 圧縮符号化方法、圧縮復号化方法、圧縮符号化装置及び圧縮復号化装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A300 | Withdrawal of application because of no request for examination |
Free format text: JAPANESE INTERMEDIATE CODE: A300 Effective date: 20041005 |