JPH09322163A - 画像信号の符号化方法、伝送方法及び復号方法、符号化装置、伝送装置及び復号装置並びに記録媒体 - Google Patents
画像信号の符号化方法、伝送方法及び復号方法、符号化装置、伝送装置及び復号装置並びに記録媒体Info
- Publication number
- JPH09322163A JPH09322163A JP6707297A JP6707297A JPH09322163A JP H09322163 A JPH09322163 A JP H09322163A JP 6707297 A JP6707297 A JP 6707297A JP 6707297 A JP6707297 A JP 6707297A JP H09322163 A JPH09322163 A JP H09322163A
- Authority
- JP
- Japan
- Prior art keywords
- image signal
- signal
- image
- key
- encoded
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Abstract
(57)【要約】
【課題】 合成された合成画像に対して効果的な画像編
集を行うことができる画像信号の符号化方法、伝送方法
及び復号方法、符号化装置、伝送装置及び復号装置並び
に復号装置によって復号可能な記録信号が記録された記
録媒体を提供する。 【解決手段】 分離された第１の画像信号及び第２の画
像信号と上記第１の画像信号と第２の画像信号を合成す
るためのキー信号を符号化する画像信号の符号化装置に
おいて、上記第１の画像信号及び第２の画像信号をスケ
ーラブル符号化する画像信号符号化部６２と、上記キー
信号を画像信号に用いたスケーラブル符号化方法と同様
の方法でスケーラブル符号化するキー信号符号化部６１
とを備える。
集を行うことができる画像信号の符号化方法、伝送方法
及び復号方法、符号化装置、伝送装置及び復号装置並び
に復号装置によって復号可能な記録信号が記録された記
録媒体を提供する。 【解決手段】 分離された第１の画像信号及び第２の画
像信号と上記第１の画像信号と第２の画像信号を合成す
るためのキー信号を符号化する画像信号の符号化装置に
おいて、上記第１の画像信号及び第２の画像信号をスケ
ーラブル符号化する画像信号符号化部６２と、上記キー
信号を画像信号に用いたスケーラブル符号化方法と同様
の方法でスケーラブル符号化するキー信号符号化部６１
とを備える。
Description
【０００１】
【発明の属する技術分野】本発明は、入力画像信号を例
えば光磁気ディスクや磁気テープなどの記録媒体に記録
し、これを再生してディスプレイなどに表示したり、テ
レビ会議システム、テレビ電話システム、放送用機器、
マルチメディアデータベース検索システムなど、動画像
信号を伝送路を介して送信側から受信側に伝送し、受信
側において、この動画像信号を受信し、表示する場合や
動画像信号を編集し記録する場合などに用いて好適な画
像信号の符号化方法、伝送方法及び復号方法、符号化装
置、伝送装置及び復号装置並びに記録媒体に関する。
えば光磁気ディスクや磁気テープなどの記録媒体に記録
し、これを再生してディスプレイなどに表示したり、テ
レビ会議システム、テレビ電話システム、放送用機器、
マルチメディアデータベース検索システムなど、動画像
信号を伝送路を介して送信側から受信側に伝送し、受信
側において、この動画像信号を受信し、表示する場合や
動画像信号を編集し記録する場合などに用いて好適な画
像信号の符号化方法、伝送方法及び復号方法、符号化装
置、伝送装置及び復号装置並びに記録媒体に関する。
【０００２】
【従来の技術】例えば、テレビ会議システム、テレビ電
話システムなどのように、動画像信号を遠隔地に伝送す
るシステムにおいては、伝送路を効率良く利用するた
め、映像信号のライン相関やフレーム間相関を利用し
て、画像信号を圧縮符号化するようになされている。
話システムなどのように、動画像信号を遠隔地に伝送す
るシステムにおいては、伝送路を効率良く利用するた
め、映像信号のライン相関やフレーム間相関を利用し
て、画像信号を圧縮符号化するようになされている。
【０００３】動画像の高能率符号化方式として代表的な
ものとして 蓄積用動画像符号化（ＭＰＥＧ：Ｍｏｖｉ
ｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）
方式がある。これは、ＩＳＯ−ＩＥＣ／ＪＴＣ１／ＳＣ
２／ＷＧ１１にて議論され、標準案として提案されたも
のであり、ＭＰＥＧ方式においては、動き補償予測符号
化と離散余弦変換（ＤＣＴ：Ｄｉｓｃｒｅｔｅ Ｃｏｓ
ｉｎｅ Ｔｒａｎｓｆｏｒｍ）符号化を組み合わせたハ
イブリッド方式が採用されている。例えば、ＭＰＥＧに
関する１つの技術として、本出願人による米国出願ＵＳ
Ｐ５，１５５，５９３（ＤＡＴＥ ＯＦ ＰＡＴＥＮ
Ｔ： Ｏｃｔｏｂｅｒ １３， １９９２）の明細書及
び図面において提案されている。
ものとして 蓄積用動画像符号化（ＭＰＥＧ：Ｍｏｖｉ
ｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）
方式がある。これは、ＩＳＯ−ＩＥＣ／ＪＴＣ１／ＳＣ
２／ＷＧ１１にて議論され、標準案として提案されたも
のであり、ＭＰＥＧ方式においては、動き補償予測符号
化と離散余弦変換（ＤＣＴ：Ｄｉｓｃｒｅｔｅ Ｃｏｓ
ｉｎｅ Ｔｒａｎｓｆｏｒｍ）符号化を組み合わせたハ
イブリッド方式が採用されている。例えば、ＭＰＥＧに
関する１つの技術として、本出願人による米国出願ＵＳ
Ｐ５，１５５，５９３（ＤＡＴＥ ＯＦ ＰＡＴＥＮ
Ｔ： Ｏｃｔｏｂｅｒ １３， １９９２）の明細書及
び図面において提案されている。
【０００４】ＭＰＥＧ方式では様々なアプリケーション
や機能に対応するために、幾つかのプロファイル及びレ
ベルが定義されている。最も基本となるのが、メインプ
ロファイル・メインレベル（ＭＰ＠ＭＬ）である。ここ
で、図３９を参照して、ＭＰＥＧ方式のＭＰ＠ＭＬのエ
ンコーダの構成例について説明する。
や機能に対応するために、幾つかのプロファイル及びレ
ベルが定義されている。最も基本となるのが、メインプ
ロファイル・メインレベル（ＭＰ＠ＭＬ）である。ここ
で、図３９を参照して、ＭＰＥＧ方式のＭＰ＠ＭＬのエ
ンコーダの構成例について説明する。
【０００５】入力画像信号は、フレームメモリ１に供給
され、所定の順番で符号化される。符号化されるべき画
像データは、マクロブロック単位で動きベクトル検出回
路２に入力される。動きベクトル検出回路２は、予め設
定されている所定のシーケンスに従って、各フレームの
画像データをＩピクチャ，Ｐピクチャ又はＢピクチャと
して処理する。シーケンシャルに入力される各フレーム
の画像を、Ｉ，Ｐ，Ｂのいずれのピクチャとして処理す
るかは、予め定められている（例えば、入力画像の各フ
レームがＩ，Ｂ，Ｐ，Ｂ，Ｐ，・・・Ｂ，Ｐの順で処理
される）。
され、所定の順番で符号化される。符号化されるべき画
像データは、マクロブロック単位で動きベクトル検出回
路２に入力される。動きベクトル検出回路２は、予め設
定されている所定のシーケンスに従って、各フレームの
画像データをＩピクチャ，Ｐピクチャ又はＢピクチャと
して処理する。シーケンシャルに入力される各フレーム
の画像を、Ｉ，Ｐ，Ｂのいずれのピクチャとして処理す
るかは、予め定められている（例えば、入力画像の各フ
レームがＩ，Ｂ，Ｐ，Ｂ，Ｐ，・・・Ｂ，Ｐの順で処理
される）。
【０００６】動きベクトル検出回路２は、予め定められ
た所定の参照フレームを参照し、動き補償を行うための
その動きベクトルを検出する。動き補償（フレーム間予
測）には前方予測，後方予測，両方向予測の３種類のモ
ードがある。Ｐピクチャの予測モードは前方予測のみで
ありＢピクチャの予測モードは前方予測，後方予測，両
方向予測の３種類である。動きベクトル検出回路２は予
測誤差を最小にする予測モードを選択しその際の予測モ
ードに対応する予測ベクトルを発生する。この際、予測
誤差は、例えば符号化するマクロブロックの分散と比較
され、マクロブロックの分散の方が小さい場合、そのマ
クロブロックでは予測は行わず、フレーム内符号化が行
われる。この場合予測モードは画像内符号化（イント
ラ）となる。動きベクトル及び上記予測モードは、可変
長符号化回路６及び動き補償回路１２に供給される。
た所定の参照フレームを参照し、動き補償を行うための
その動きベクトルを検出する。動き補償（フレーム間予
測）には前方予測，後方予測，両方向予測の３種類のモ
ードがある。Ｐピクチャの予測モードは前方予測のみで
ありＢピクチャの予測モードは前方予測，後方予測，両
方向予測の３種類である。動きベクトル検出回路２は予
測誤差を最小にする予測モードを選択しその際の予測モ
ードに対応する予測ベクトルを発生する。この際、予測
誤差は、例えば符号化するマクロブロックの分散と比較
され、マクロブロックの分散の方が小さい場合、そのマ
クロブロックでは予測は行わず、フレーム内符号化が行
われる。この場合予測モードは画像内符号化（イント
ラ）となる。動きベクトル及び上記予測モードは、可変
長符号化回路６及び動き補償回路１２に供給される。
【０００７】動き補償回路１２は、動きベクトル検出回
路２から供給された所定の動きベクトルに基づいて予測
参照画像を生成し、予測参照画像信号として演算回路３
に入力する。演算回路３は、符号化するマクロブロック
の値と予測参照画像の値の差分値を予測残差信号として
ＤＣＴ回路４に供給する。なお、イントラマクロブロッ
クの場合、演算回路３は、符号化するマクロブロックの
値をそのまま、つまり、入力画像信号をＤＣＴ回路４に
供給する。
路２から供給された所定の動きベクトルに基づいて予測
参照画像を生成し、予測参照画像信号として演算回路３
に入力する。演算回路３は、符号化するマクロブロック
の値と予測参照画像の値の差分値を予測残差信号として
ＤＣＴ回路４に供給する。なお、イントラマクロブロッ
クの場合、演算回路３は、符号化するマクロブロックの
値をそのまま、つまり、入力画像信号をＤＣＴ回路４に
供給する。
【０００８】ＤＣＴ回路４は、入力されたマクロブロッ
ク単位の予測残差信号（若しくは、入力画像信号）をＤ
ＣＴ（離散コサイン変換）処理することにより、ＤＣＴ
係数に変換する。このＤＣＴ係数は、マクロブロック単
位で量子化回路５に供給され、送信バッファ７のデータ
蓄積量（バッファ蓄積量）に対応した量子化スケールで
量子化された後、可変長符号化回路６に供給される。
ク単位の予測残差信号（若しくは、入力画像信号）をＤ
ＣＴ（離散コサイン変換）処理することにより、ＤＣＴ
係数に変換する。このＤＣＴ係数は、マクロブロック単
位で量子化回路５に供給され、送信バッファ７のデータ
蓄積量（バッファ蓄積量）に対応した量子化スケールで
量子化された後、可変長符号化回路６に供給される。
【０００９】可変長符号化回路６は、量子化回路５より
供給される量子化スケールに対応して、量子化回路５よ
り供給される量子化された量子化データを、例えばハフ
マン符号などの可変長符号に変換し、送信バッファ７に
供給する。可変長符号化回路６には、また、量子化回路
５より量子化スケール、動きベクトル検出回路２より予
測モード（画像内予測，前方予測，後方予測又は両方向
予測のいずれが設定されたかを示すモード）及び動きベ
クトルが供給される。可変長符号化回路６は、これらも
可変長符号化する。
供給される量子化スケールに対応して、量子化回路５よ
り供給される量子化された量子化データを、例えばハフ
マン符号などの可変長符号に変換し、送信バッファ７に
供給する。可変長符号化回路６には、また、量子化回路
５より量子化スケール、動きベクトル検出回路２より予
測モード（画像内予測，前方予測，後方予測又は両方向
予測のいずれが設定されたかを示すモード）及び動きベ
クトルが供給される。可変長符号化回路６は、これらも
可変長符号化する。
【００１０】送信バッファ７は、入力されたデータを一
時蓄積し、蓄積量に対応するデータを量子化回路５に供
給する。送信バッファ７は、そのデータ残量が許容上限
値まで増量すると、量子化制御信号によって量子化回路
５の量子化スケールを大きくすることにより、量子化デ
ータのデータ量を低下させる。また、これとは逆に、デ
ータ残量が許容下限値まで減少すると、送信バッファ７
は、量子化制御信号によって量子化回路５の量子化スケ
ールを小さくすることにより、量子化データのデータ量
を増大させる。このようにして、送信バッファ７のオー
バフロー又はアンダフローが防止される。
時蓄積し、蓄積量に対応するデータを量子化回路５に供
給する。送信バッファ７は、そのデータ残量が許容上限
値まで増量すると、量子化制御信号によって量子化回路
５の量子化スケールを大きくすることにより、量子化デ
ータのデータ量を低下させる。また、これとは逆に、デ
ータ残量が許容下限値まで減少すると、送信バッファ７
は、量子化制御信号によって量子化回路５の量子化スケ
ールを小さくすることにより、量子化データのデータ量
を増大させる。このようにして、送信バッファ７のオー
バフロー又はアンダフローが防止される。
【００１１】そして、送信バッファ７に蓄積された符号
化データは、所定のタイミングで読み出され、符号化さ
れたビットストリームとして図示しない伝送路に出力さ
れるか、記録媒体に記録される。
化データは、所定のタイミングで読み出され、符号化さ
れたビットストリームとして図示しない伝送路に出力さ
れるか、記録媒体に記録される。
【００１２】一方、量子化回路５より出力された量子化
データは、逆量子化回路８に供給され、量子化回路５よ
り供給される量子化スケールに対応して逆量子化され、
ＤＣＴ回路４の出力信号に対応するＤＣＴ係数を生成す
る。逆量子化回路８からのＤＣＴ係数は、ＩＤＣＴ（逆
ＤＣＴ）回路９に供給され、逆ＤＣＴ処理された後、演
算器３の出力信号に対応する予測残差信号（イントラ予
測符号化の場合は、入力画像信号）を生成する。そし
て、この予測残差信号は、演算器１０に供給される。演
算器１０は、動き補償回路１２からの予測参照画像信号
と予測残差信号を加算する。この演算器１０による加算
出力は、予測画像信号としてフレームメモリ１１に記憶
される。
データは、逆量子化回路８に供給され、量子化回路５よ
り供給される量子化スケールに対応して逆量子化され、
ＤＣＴ回路４の出力信号に対応するＤＣＴ係数を生成す
る。逆量子化回路８からのＤＣＴ係数は、ＩＤＣＴ（逆
ＤＣＴ）回路９に供給され、逆ＤＣＴ処理された後、演
算器３の出力信号に対応する予測残差信号（イントラ予
測符号化の場合は、入力画像信号）を生成する。そし
て、この予測残差信号は、演算器１０に供給される。演
算器１０は、動き補償回路１２からの予測参照画像信号
と予測残差信号を加算する。この演算器１０による加算
出力は、予測画像信号としてフレームメモリ１１に記憶
される。
【００１３】次に、図４０を用いて、ＭＰＥＧ方式のＭ
Ｐ＠ＭＬのデコーダの構成例を説明する。伝送路を介し
て伝送された符号化されたビットストリームは、図示せ
ぬ受信回路で受信されたり、再生装置で再生された符号
化されたビットストリームは、受信バッファ２１に一時
記憶された後、可変長復号回路２２に供給される。可変
長復号回路２２は、受信バッファ２１より供給された符
号化データを可変長復号し、動きベクトルと予測モード
を動き補償回路２７に、また、量子化スケールを逆量子
化回路２３に、それぞれ供給するとともに、可変長復号
されたエンコーダの量子化器５に対応する量子化データ
を逆量子化回路２３に出力する。
Ｐ＠ＭＬのデコーダの構成例を説明する。伝送路を介し
て伝送された符号化されたビットストリームは、図示せ
ぬ受信回路で受信されたり、再生装置で再生された符号
化されたビットストリームは、受信バッファ２１に一時
記憶された後、可変長復号回路２２に供給される。可変
長復号回路２２は、受信バッファ２１より供給された符
号化データを可変長復号し、動きベクトルと予測モード
を動き補償回路２７に、また、量子化スケールを逆量子
化回路２３に、それぞれ供給するとともに、可変長復号
されたエンコーダの量子化器５に対応する量子化データ
を逆量子化回路２３に出力する。
【００１４】逆量子化回路２３は、可変長復号回路２２
より供給され量子化データを、同じく可変長復号化回路
２２より供給された量子化スケールに従って逆量子化
し、エンコーダのＤＣＴ回路４の出力信号に対応するＤ
ＣＴ係数をＩＤＣＴ回路２４に供給する。逆量子化回路
２３より供給されたＤＣＴ係数は、ＩＤＣＴ回路２４に
供給される。そして、ＩＤＣＴ回路２４は、供給された
ＤＣＴ係数を逆ＤＣＴ処理し、エンコーダの演算器４の
出力信号に対応する入力画像信号（イントラ予測符号化
の場合）を演算器２５に供給する。
より供給され量子化データを、同じく可変長復号化回路
２２より供給された量子化スケールに従って逆量子化
し、エンコーダのＤＣＴ回路４の出力信号に対応するＤ
ＣＴ係数をＩＤＣＴ回路２４に供給する。逆量子化回路
２３より供給されたＤＣＴ係数は、ＩＤＣＴ回路２４に
供給される。そして、ＩＤＣＴ回路２４は、供給された
ＤＣＴ係数を逆ＤＣＴ処理し、エンコーダの演算器４の
出力信号に対応する入力画像信号（イントラ予測符号化
の場合）を演算器２５に供給する。
【００１５】ＩＤＣＴ回路２４より得られた画像信号
は、演算器２５に供給される。演算器２５は、そのまま
入力された画像信号を復号画像信号として出力する。そ
して、演算器２５からの復号画像信号がＩピクチャのデ
ータである場合、その復号画像信号は、後に処理される
画像（Ｐピクチャ又はＢピクチャ）の予測参照画像信号
を生成するために、フレームメモリ２６に供給されて記
憶される。また、この復号画像信号は、そのまま再生画
像として外部に出力される。
は、演算器２５に供給される。演算器２５は、そのまま
入力された画像信号を復号画像信号として出力する。そ
して、演算器２５からの復号画像信号がＩピクチャのデ
ータである場合、その復号画像信号は、後に処理される
画像（Ｐピクチャ又はＢピクチャ）の予測参照画像信号
を生成するために、フレームメモリ２６に供給されて記
憶される。また、この復号画像信号は、そのまま再生画
像として外部に出力される。
【００１６】入力された符号化されたビットストリーム
がＰピクチャ又はＢピクチャの場合、ＩＤＣＴ回路２４
からの出力信号がエンコーダの演算器４の入力画像信号
（イントラ予測符号化の場合）のとき、ＩＤＣＴ回路２
４より供給された画像信号は、演算器２５に供給され
る。演算器２５は、そのまま入力された画像信号を復号
画像信号として出力する。また、ＩＤＣＴ回路２４から
の出力信号がエンコーダの演算器４の予測残差信号（イ
ンター予測符号化の場合）のとき、ＩＤＣＴ回路２４よ
り供給された予測残差信号は、演算器２５に供給され
る。演算器２５は、動き補償回路２７からの予測参照画
像信号と予測残差信号を加算して、復号画像信号として
出力する。動き補償回路２７は、可変長復号回路２２よ
り供給される動きベクトル及び予測モードに従って、予
測画像を生成し、予測参照画像信号として演算器２５に
供給する。また、Ｐピクチャの場合、演算器５からの復
号画像信号は、フレームメモリ６に入力され記憶され、
次に復号する画像信号の参照画像として使用される。
がＰピクチャ又はＢピクチャの場合、ＩＤＣＴ回路２４
からの出力信号がエンコーダの演算器４の入力画像信号
（イントラ予測符号化の場合）のとき、ＩＤＣＴ回路２
４より供給された画像信号は、演算器２５に供給され
る。演算器２５は、そのまま入力された画像信号を復号
画像信号として出力する。また、ＩＤＣＴ回路２４から
の出力信号がエンコーダの演算器４の予測残差信号（イ
ンター予測符号化の場合）のとき、ＩＤＣＴ回路２４よ
り供給された予測残差信号は、演算器２５に供給され
る。演算器２５は、動き補償回路２７からの予測参照画
像信号と予測残差信号を加算して、復号画像信号として
出力する。動き補償回路２７は、可変長復号回路２２よ
り供給される動きベクトル及び予測モードに従って、予
測画像を生成し、予測参照画像信号として演算器２５に
供給する。また、Ｐピクチャの場合、演算器５からの復
号画像信号は、フレームメモリ６に入力され記憶され、
次に復号する画像信号の参照画像として使用される。
【００１７】また、ＭＰＥＧ方式では、ＭＰ＠ＭＬの他
に様々なプロファイル及びレベルが定義され、また各種
ツールが用意されている。そのうち、スケーラビリティ
もＭＰＥＧ方式の中のツールの１つである。ＭＰＥＧで
は、異なる画像サイズやフレームレートに対応する、ス
ケーラビリティを実現するスケーラブル符号化方式が導
入されている。例えば、空間スケーラビリティにおい
て、下位レイヤのビットストリームのみを復号する場
合、画像サイズの小さい画像信号を復号し、下位レイヤ
及び上位レイヤのビットストリームを復号する場合、画
像サイズの大きい画像信号を復号する。
に様々なプロファイル及びレベルが定義され、また各種
ツールが用意されている。そのうち、スケーラビリティ
もＭＰＥＧ方式の中のツールの１つである。ＭＰＥＧで
は、異なる画像サイズやフレームレートに対応する、ス
ケーラビリティを実現するスケーラブル符号化方式が導
入されている。例えば、空間スケーラビリティにおい
て、下位レイヤのビットストリームのみを復号する場
合、画像サイズの小さい画像信号を復号し、下位レイヤ
及び上位レイヤのビットストリームを復号する場合、画
像サイズの大きい画像信号を復号する。
【００１８】図４１を用いて空間スケーラビリティのエ
ンコーダを説明する。空間スケーラビリティの場合、下
位レイヤは画像サイズの小さい画像信号、また上位レイ
ヤは画像サイズの大きい画像信号に対応する。下位レイ
ヤの入力画像信号は、まず、フレームメモリ１０１に供
給され、ＭＰ＠ＭＬと同様に符号化される。ただし、演
算器１１０の出力（つまり、予測画像信号）は、フレー
ムメモリ１１１に供給され、下位レイヤの予測参照画像
として用いられるだけでなく、画像信号拡大回路１１３
にも供給される。画像信号拡大回路１１３は、供給され
た演算器１１０からの予測画像信号を上位レイヤの画像
サイズと同一の画像サイズに拡大した後、その下位レイ
ヤ予測参照画像信号は、上位レイヤの予測参照画像とし
て使用される。他の各部は、図３９に示したエンコーダ
の各部と同一なので、その説明を省略する。
ンコーダを説明する。空間スケーラビリティの場合、下
位レイヤは画像サイズの小さい画像信号、また上位レイ
ヤは画像サイズの大きい画像信号に対応する。下位レイ
ヤの入力画像信号は、まず、フレームメモリ１０１に供
給され、ＭＰ＠ＭＬと同様に符号化される。ただし、演
算器１１０の出力（つまり、予測画像信号）は、フレー
ムメモリ１１１に供給され、下位レイヤの予測参照画像
として用いられるだけでなく、画像信号拡大回路１１３
にも供給される。画像信号拡大回路１１３は、供給され
た演算器１１０からの予測画像信号を上位レイヤの画像
サイズと同一の画像サイズに拡大した後、その下位レイ
ヤ予測参照画像信号は、上位レイヤの予測参照画像とし
て使用される。他の各部は、図３９に示したエンコーダ
の各部と同一なので、その説明を省略する。
【００１９】上位レイヤの入力画像信号は、まず、フレ
ームメモリ１１５に供給される。動きベクトル検出回路
１１６は、ＭＰ＠ＭＬと同様に、上位レイヤ動きベクト
ル及び予測モードを決定する。動き補償回路１２６は、
動きベクトル検出回路１１６によって決定された上位レ
イヤ動きベクトル及び予測モードに従って、予測参照画
像を生成し、上位レイヤ予測参照画像信号として重み付
加回路１２７に供給する。重み付加回路１２７は、上位
レイヤ予測参照画像信号に対して重みＷを乗算し、重み
付けされた上位レイヤ予測参照画像信号を演算器１２８
に供給する。
ームメモリ１１５に供給される。動きベクトル検出回路
１１６は、ＭＰ＠ＭＬと同様に、上位レイヤ動きベクト
ル及び予測モードを決定する。動き補償回路１２６は、
動きベクトル検出回路１１６によって決定された上位レ
イヤ動きベクトル及び予測モードに従って、予測参照画
像を生成し、上位レイヤ予測参照画像信号として重み付
加回路１２７に供給する。重み付加回路１２７は、上位
レイヤ予測参照画像信号に対して重みＷを乗算し、重み
付けされた上位レイヤ予測参照画像信号を演算器１２８
に供給する。
【００２０】下位レイヤの演算器１１０からの予測画像
信号は、上記のとおり、フレームメモリ１１１及び画像
信号拡大回路１１３に供給される。画像信号拡大回路１
１３は、演算器１１０によって生成された予測画像信号
を拡大して上位レイヤの画像サイズと同一の大きさにし
て、下位レイヤ予測画像信号として重み付加回路１１４
に供給する。重み付加回路１１４は、下位レイヤ予測参
照画像信号に対して重みＷを乗算し、重み付けされた下
位レイヤ予測参照画像信号を演算器１２８に供給する。
演算器１２８は、重み付けされた上位レイヤ予測参照画
像信号と重み付けされた下位レイヤ予測参照画像信号を
加算して予測参照画像信号を生成し、演算器１１７に供
給する。したがって、この予測参照画像信号が、上位レ
イヤの画像信号の予測参照フレームとして用いられる。
演算器１１７は、符号化する画像信号と演算器１２８か
らの予測参照画像信号との差分を計算し、予測残差信号
を出力する。ただし、フレーム内符号化（イントラ予測
符号化）の行うマクロブロックの場合、演算器１１７
は、符号化する画像信号をそのままＤＣＴ回路１１８に
供給する。
信号は、上記のとおり、フレームメモリ１１１及び画像
信号拡大回路１１３に供給される。画像信号拡大回路１
１３は、演算器１１０によって生成された予測画像信号
を拡大して上位レイヤの画像サイズと同一の大きさにし
て、下位レイヤ予測画像信号として重み付加回路１１４
に供給する。重み付加回路１１４は、下位レイヤ予測参
照画像信号に対して重みＷを乗算し、重み付けされた下
位レイヤ予測参照画像信号を演算器１２８に供給する。
演算器１２８は、重み付けされた上位レイヤ予測参照画
像信号と重み付けされた下位レイヤ予測参照画像信号を
加算して予測参照画像信号を生成し、演算器１１７に供
給する。したがって、この予測参照画像信号が、上位レ
イヤの画像信号の予測参照フレームとして用いられる。
演算器１１７は、符号化する画像信号と演算器１２８か
らの予測参照画像信号との差分を計算し、予測残差信号
を出力する。ただし、フレーム内符号化（イントラ予測
符号化）の行うマクロブロックの場合、演算器１１７
は、符号化する画像信号をそのままＤＣＴ回路１１８に
供給する。
【００２１】ＤＣＴ回路１１８は、演算器１１７の出力
信号（インター予測符号化の場合は、予測残差信号、イ
ントラ予測符号化の場合は、入力画像信号）をマクロブ
ロック単位でＤＣＴ（離散コサイン変換）処理してＤＣ
Ｔ係数を生成し、ＤＣＴ係数を量子化回路１１９に供給
する。量子化回路１１９は、ＭＰ＠ＭＬの場合と同様
に、送信バッファ１２１のデータ蓄積量などから決定さ
れた量子化スケールに従って、ＤＣＴ係数を量子化し
て、量子化されたＤＣＴ係数を可変長符号化回路１２０
に供給する。可変長符号化回路１２０は、量子化された
ＤＣＴ係数を可変長符号化した後、符号化データを送信
バッファ１２１を介して上位レイヤのビットストリーム
として出力する。
信号（インター予測符号化の場合は、予測残差信号、イ
ントラ予測符号化の場合は、入力画像信号）をマクロブ
ロック単位でＤＣＴ（離散コサイン変換）処理してＤＣ
Ｔ係数を生成し、ＤＣＴ係数を量子化回路１１９に供給
する。量子化回路１１９は、ＭＰ＠ＭＬの場合と同様
に、送信バッファ１２１のデータ蓄積量などから決定さ
れた量子化スケールに従って、ＤＣＴ係数を量子化し
て、量子化されたＤＣＴ係数を可変長符号化回路１２０
に供給する。可変長符号化回路１２０は、量子化された
ＤＣＴ係数を可変長符号化した後、符号化データを送信
バッファ１２１を介して上位レイヤのビットストリーム
として出力する。
【００２２】量子化回路１１９からの量子化されたＤＣ
Ｔ係数は、逆量子化回路１２２に供給される。逆量子化
回路１２２は、量子化回路１１９で用いた量子化スケー
ルで逆量子化し、ＤＣＴ回路１１８の出力信号に対応す
るＤＣＴ係数を逆ＤＣＴ回路１２３に供給する。逆ＤＣ
Ｔ回路１２３は、ＤＣＴ係数を逆ＤＣＴして、演算器１
１７の出力信号に対応する画像信号（イントラ予測符号
化）若しくは予測残差信号（インター予測符号化）を演
算器１２４に供給する。演算器１２４は、演算器１２８
からの予測参照画像信号と逆ＤＣＴ回路１２３からの予
測残差信号を加算して、予測画像信号としてフレームメ
モリ２５に供給する。なお、演算器１２３からの信号
が、画像信号（つまり、イントラ予測符号化の場合）、
演算器１２３からの画像信号が演算器１２４を介してそ
のまま予測画像信号としてフレームメモリ１２５に供給
される。
Ｔ係数は、逆量子化回路１２２に供給される。逆量子化
回路１２２は、量子化回路１１９で用いた量子化スケー
ルで逆量子化し、ＤＣＴ回路１１８の出力信号に対応す
るＤＣＴ係数を逆ＤＣＴ回路１２３に供給する。逆ＤＣ
Ｔ回路１２３は、ＤＣＴ係数を逆ＤＣＴして、演算器１
１７の出力信号に対応する画像信号（イントラ予測符号
化）若しくは予測残差信号（インター予測符号化）を演
算器１２４に供給する。演算器１２４は、演算器１２８
からの予測参照画像信号と逆ＤＣＴ回路１２３からの予
測残差信号を加算して、予測画像信号としてフレームメ
モリ２５に供給する。なお、演算器１２３からの信号
が、画像信号（つまり、イントラ予測符号化の場合）、
演算器１２３からの画像信号が演算器１２４を介してそ
のまま予測画像信号としてフレームメモリ１２５に供給
される。
【００２３】可変長符号化回路１２０には、また動きベ
クトル検出回路１１６で検出された上記レイヤ動きベク
トル及び予測モード、量子化回路１１９で用いた量子化
スケール、重み付加回路１１４及び１２７で用いた重み
Ｗが供給され、それぞれ可変長符号化されて、符号化デ
ータして出力される。
クトル検出回路１１６で検出された上記レイヤ動きベク
トル及び予測モード、量子化回路１１９で用いた量子化
スケール、重み付加回路１１４及び１２７で用いた重み
Ｗが供給され、それぞれ可変長符号化されて、符号化デ
ータして出力される。
【００２４】次に、図４２を用いて空間スケーラビリテ
ィのデコーダの一例を説明する。下位レイヤのビットス
トリームは、受信バッファ２０１に入力された後、ＭＰ
＠ＭＬと同様に復号される。ただし、演算器２０５の出
力信号、つまり、下位レイヤの復号画像信号は、外部に
出力されるとともに、フレームメモリ２０６に蓄えられ
てこれ以後復号する画像信号の予測参照画像として用い
られる（Ｉピクチャ及びＰピクチャの場合）だけでな
く、画像信号拡大回路２０８にも供給される。
ィのデコーダの一例を説明する。下位レイヤのビットス
トリームは、受信バッファ２０１に入力された後、ＭＰ
＠ＭＬと同様に復号される。ただし、演算器２０５の出
力信号、つまり、下位レイヤの復号画像信号は、外部に
出力されるとともに、フレームメモリ２０６に蓄えられ
てこれ以後復号する画像信号の予測参照画像として用い
られる（Ｉピクチャ及びＰピクチャの場合）だけでな
く、画像信号拡大回路２０８にも供給される。
【００２５】上位レイヤのビットストリームは、受信バ
ッファ２０９に入力された後、符号化データとして可変
長復号回路２１０に供給される。可変長復号回路２１０
は、符号化データを可変長復号して、量子化されたＤＣ
Ｔ係数とともに、量子化スケール、上位レイヤ動きベク
トル及び予測モード及び重み係数Ｗを発生する。可変長
復号回路２１０により復号された量子化されたＤＣＴ係
数及び量子化スケールは、逆量子化回路２１１に供給さ
れる。逆量子化回路２１１は、量子化スケールを用いて
量子化されたＤＣＴ係数を逆量子化して、エンコーダの
ＤＣＴ回路１１８の出力信号に対応するＤＣＴ係数を生
成し、逆ＤＣＴ回路２１２に供給する。逆ＤＣＴ回路２
１２は、供給されたＤＣＴ係数を逆ＤＣＴ処理し、エン
コーダの演算器１１７の出力信号（イントラ予測符号化
の場合は画像信号、インター予測符号化の場合は予測残
差信号）に対応する画像信号若しくは予測残差信号を生
成し、演算器２１３に供給する。
ッファ２０９に入力された後、符号化データとして可変
長復号回路２１０に供給される。可変長復号回路２１０
は、符号化データを可変長復号して、量子化されたＤＣ
Ｔ係数とともに、量子化スケール、上位レイヤ動きベク
トル及び予測モード及び重み係数Ｗを発生する。可変長
復号回路２１０により復号された量子化されたＤＣＴ係
数及び量子化スケールは、逆量子化回路２１１に供給さ
れる。逆量子化回路２１１は、量子化スケールを用いて
量子化されたＤＣＴ係数を逆量子化して、エンコーダの
ＤＣＴ回路１１８の出力信号に対応するＤＣＴ係数を生
成し、逆ＤＣＴ回路２１２に供給する。逆ＤＣＴ回路２
１２は、供給されたＤＣＴ係数を逆ＤＣＴ処理し、エン
コーダの演算器１１７の出力信号（イントラ予測符号化
の場合は画像信号、インター予測符号化の場合は予測残
差信号）に対応する画像信号若しくは予測残差信号を生
成し、演算器２１３に供給する。
【００２６】動き補償回路２１５には、可変長復号回路
２１０からの復号された上位レイヤ動きベクトル及び予
測モードが供給される。動き補償回路２１５は、その上
位レイヤ動きベクトル及び予測モードに従って、フレー
ムメモリ２１４に記憶されている予測画像信号を動き補
償して予測参照画像を生成し、上位レイヤ予測参照画像
信号を重み付加回路２１６に供給する。重み付加回路２
１６には、可変長復号回路２１０からの復号された重み
Ｗが供給され、動き補償回路２１５からの上位レイヤ予
測参照画像信号にその重みＷを乗算し、重み付けされた
上位レイヤ予測参照画像信号を演算器２１７に供給す
る。
２１０からの復号された上位レイヤ動きベクトル及び予
測モードが供給される。動き補償回路２１５は、その上
位レイヤ動きベクトル及び予測モードに従って、フレー
ムメモリ２１４に記憶されている予測画像信号を動き補
償して予測参照画像を生成し、上位レイヤ予測参照画像
信号を重み付加回路２１６に供給する。重み付加回路２
１６には、可変長復号回路２１０からの復号された重み
Ｗが供給され、動き補償回路２１５からの上位レイヤ予
測参照画像信号にその重みＷを乗算し、重み付けされた
上位レイヤ予測参照画像信号を演算器２１７に供給す
る。
【００２７】演算器２０５からの復号画像信号は、下位
レイヤ再生画像として出力され、またフレームメモリ２
０６に供給されると同時に、画像信号拡大回路２１８に
供給される。そして、画像信号拡大回路２１８は、下位
レイヤから供給された復号画像信号を上位レイヤの画像
信号と同一の画像サイズに拡大して、拡大された画像信
号を上位レイヤ画像信号の予測参照画像として使用する
ために、重み付加回路２１８に供給する。重み付加回路
２０８には、可変長復号回路２１０からの復号された重
みＷが供給される。重み付加回路２０８は、画像信号拡
大回路２１８からの拡大された画像信号に重み（１−
Ｗ）を乗算し、重み付けされた下位レイヤ予測参照画像
信号として演算器２１７に供給する。
レイヤ再生画像として出力され、またフレームメモリ２
０６に供給されると同時に、画像信号拡大回路２１８に
供給される。そして、画像信号拡大回路２１８は、下位
レイヤから供給された復号画像信号を上位レイヤの画像
信号と同一の画像サイズに拡大して、拡大された画像信
号を上位レイヤ画像信号の予測参照画像として使用する
ために、重み付加回路２１８に供給する。重み付加回路
２０８には、可変長復号回路２１０からの復号された重
みＷが供給される。重み付加回路２０８は、画像信号拡
大回路２１８からの拡大された画像信号に重み（１−
Ｗ）を乗算し、重み付けされた下位レイヤ予測参照画像
信号として演算器２１７に供給する。
【００２８】演算器２１７は、重み付けされた上位レイ
ヤ予測参照画像信号と重み付けされた下位レイヤ予測参
照画像信号を加算して、予測参照画像信号を演算器２１
３に供給する。演算器２１３は、逆ＤＣＴ回路２１２か
らの予測残差信号と演算器２１７からの予測参照画像信
号を加算して、上位レイヤの再生画像として上位レイヤ
復元画像信号を出力し、またフレームメモリ２１４に供
給する。そして、フレームメモリにこの上位レイヤ復元
画像信号が記憶され、その後復号される画像信号の予測
参照画像として使用される。なお、逆ＤＣＴ回路２１２
からの出力信号が画像信号（イントラ予測符号化）の場
合、その画像信号が、上位レイヤ復元画像信号として演
算器２１３からそのまま出力される。
ヤ予測参照画像信号と重み付けされた下位レイヤ予測参
照画像信号を加算して、予測参照画像信号を演算器２１
３に供給する。演算器２１３は、逆ＤＣＴ回路２１２か
らの予測残差信号と演算器２１７からの予測参照画像信
号を加算して、上位レイヤの再生画像として上位レイヤ
復元画像信号を出力し、またフレームメモリ２１４に供
給する。そして、フレームメモリにこの上位レイヤ復元
画像信号が記憶され、その後復号される画像信号の予測
参照画像として使用される。なお、逆ＤＣＴ回路２１２
からの出力信号が画像信号（イントラ予測符号化）の場
合、その画像信号が、上位レイヤ復元画像信号として演
算器２１３からそのまま出力される。
【００２９】また、以上においては、輝度信号の処理に
ついて説明したが、色差信号の処理も同様に行われる。
ただし、この場合、動きベクトルは、輝度信号用のもの
を、垂直方向及び水平方向に１／２にしたものが用いら
れる。
ついて説明したが、色差信号の処理も同様に行われる。
ただし、この場合、動きベクトルは、輝度信号用のもの
を、垂直方向及び水平方向に１／２にしたものが用いら
れる。
【００３０】以上、ＭＰＥＧ方式について説明したが、
この他にも様々な動画像の高能率符号化方式が標準化さ
れている。例えば、ＩＴＵ−Ｔでは主に通信用の符号化
方式として、Ｈ．２６１やＨ．２６３という方式を規定
している。このＨ．２６１やＨ．２６３も基本的にはＭ
ＰＥＧ方式と同様に動き補償予測符号化とＤＣＴ変換符
号化を組み合わせたものであり、ヘッダ情報などの詳細
は異なるが、符号化装置や復号装置はほとんど同様に構
成される。
この他にも様々な動画像の高能率符号化方式が標準化さ
れている。例えば、ＩＴＵ−Ｔでは主に通信用の符号化
方式として、Ｈ．２６１やＨ．２６３という方式を規定
している。このＨ．２６１やＨ．２６３も基本的にはＭ
ＰＥＧ方式と同様に動き補償予測符号化とＤＣＴ変換符
号化を組み合わせたものであり、ヘッダ情報などの詳細
は異なるが、符号化装置や復号装置はほとんど同様に構
成される。
【００３１】次に、従来から知られている画像合成シス
テムについて説明する。複数の画像を合成して１つの画
像を構成する画像合成システムには、例えばクロマキー
という方法が用いられる。これは、ある物体（例えば、
人物）を青などのある特定の一様な色の背景の前で撮影
し、青以外の領域（人物画像）をそこから抽出し、この
抽出された人部画像を別の画像（例えば背景画像）に合
成する方法である。このとき、抽出した領域を示す信号
をキー信号と呼ぶ。
テムについて説明する。複数の画像を合成して１つの画
像を構成する画像合成システムには、例えばクロマキー
という方法が用いられる。これは、ある物体（例えば、
人物）を青などのある特定の一様な色の背景の前で撮影
し、青以外の領域（人物画像）をそこから抽出し、この
抽出された人部画像を別の画像（例えば背景画像）に合
成する方法である。このとき、抽出した領域を示す信号
をキー信号と呼ぶ。
【００３２】図４３にこのような画像合成方法によって
合成された合成画像を符号化する方法の原理を示す。画
像Ｆ１’は背景画像であり、また画像Ｆ２は前景画像で
ある。前景画像Ｆ２’はある特定の色の背景の前で撮影
され、その色以外の領域を抽出することによって生成し
た画像である。その際、抽出した領域を示す信号がキー
信号Ｋ１である。合成画像Ｆ３’は、これら背景画像Ｆ
１’、前景画像Ｆ２’及びキー信号Ｋ１を用いて合成し
たものである。この合成画像を符号化する場合、通常合
成画像Ｆ３’をＭＰＥＧなどの符号化方式で符号化する
ことになる。このような合成画像を符号化する場合、キ
ー信号などの情報は既に失われている。したがって、こ
の合成画像を復号して、その復号された合成画像を編集
する際、つまり、前景画像Ｆ２’はそのままで、背景画
像Ｆ１’のみを変更するといった編集を行う場合、再び
合成画像からクロマキーによって前景画像を抽出して、
他の背景画像と合成するといった画像の再編集、再合成
が必要となり、このような画像の再編集及び再合成は困
難となるといった問題が発生する。
合成された合成画像を符号化する方法の原理を示す。画
像Ｆ１’は背景画像であり、また画像Ｆ２は前景画像で
ある。前景画像Ｆ２’はある特定の色の背景の前で撮影
され、その色以外の領域を抽出することによって生成し
た画像である。その際、抽出した領域を示す信号がキー
信号Ｋ１である。合成画像Ｆ３’は、これら背景画像Ｆ
１’、前景画像Ｆ２’及びキー信号Ｋ１を用いて合成し
たものである。この合成画像を符号化する場合、通常合
成画像Ｆ３’をＭＰＥＧなどの符号化方式で符号化する
ことになる。このような合成画像を符号化する場合、キ
ー信号などの情報は既に失われている。したがって、こ
の合成画像を復号して、その復号された合成画像を編集
する際、つまり、前景画像Ｆ２’はそのままで、背景画
像Ｆ１’のみを変更するといった編集を行う場合、再び
合成画像からクロマキーによって前景画像を抽出して、
他の背景画像と合成するといった画像の再編集、再合成
が必要となり、このような画像の再編集及び再合成は困
難となるといった問題が発生する。
【００３３】また、上述したように、スケーラブル符号
化を行う際に、このような画像合成された合成画像に対
して符号化を行い、再度復号して画像の編集を行う場合
においても同様の問題が発生する。
化を行う際に、このような画像合成された合成画像に対
して符号化を行い、再度復号して画像の編集を行う場合
においても同様の問題が発生する。
【００３４】
【発明が解決しようとする課題】本発明は、上述した問
題点を鑑みてなされたものであり、本発明の目的は、合
成された合成画像に対して効果的な画像編集を行うこと
ができる画像信号の符号化方法、伝送方法及び復号方
法、符号化装置、伝送装置及び復号装置並びに復号装置
によって復号可能な記録信号が記録された記録媒体を提
供することにある。
題点を鑑みてなされたものであり、本発明の目的は、合
成された合成画像に対して効果的な画像編集を行うこと
ができる画像信号の符号化方法、伝送方法及び復号方
法、符号化装置、伝送装置及び復号装置並びに復号装置
によって復号可能な記録信号が記録された記録媒体を提
供することにある。
【００３５】
【課題を解決するための手段】本発明は、分離された第
１の画像信号及び第２の画像信号と上記第１の画像信号
と第２の画像信号を合成するためのキー信号を符号化す
る画像信号の符号化方法において、上記第１の画像信号
及び第２の画像信号をスケーラブル符号化する画像信号
スケーラブル符号化ステップと、上記キー信号を画像信
号に用いたスケーラブル符号化方法と同様の方法でスケ
ーラブル符号化するキー信号スケーラブル符号化ステッ
プとを有することを特徴とする。
１の画像信号及び第２の画像信号と上記第１の画像信号
と第２の画像信号を合成するためのキー信号を符号化す
る画像信号の符号化方法において、上記第１の画像信号
及び第２の画像信号をスケーラブル符号化する画像信号
スケーラブル符号化ステップと、上記キー信号を画像信
号に用いたスケーラブル符号化方法と同様の方法でスケ
ーラブル符号化するキー信号スケーラブル符号化ステッ
プとを有することを特徴とする。
【００３６】また、本発明は、上位レイヤ画像信号及び
下位レイヤ画像信号からなる画像信号を符号化する画像
信号の符号化方法において、予測方法を用いて下位レイ
ヤ画像信号を符号化して、符号化された下位レイヤ画像
信号を生成する下位レイヤ画像信号生成ステップと、上
位レイヤ画像信号を符号化して、符号化された上位レイ
ヤ画像信号を生成する上位レイヤ画像信号生成ステップ
とを有し、上記上位レイヤ画像信号生成ステップは、上
記上位レイヤ画像信号に対応する下位レイヤ画像信号を
符号化する際に用いた予測方法とその予測方法で発生さ
れたデータから予測画像信号を生成し、上記上位レイヤ
画像信号と予測画像信号の差分を演算し、差分画像信号
を生成するステップと、上記差分画像信号を符号化し
て、符号化された差分画像信号を生成するステップとを
有することを特徴とする。
下位レイヤ画像信号からなる画像信号を符号化する画像
信号の符号化方法において、予測方法を用いて下位レイ
ヤ画像信号を符号化して、符号化された下位レイヤ画像
信号を生成する下位レイヤ画像信号生成ステップと、上
位レイヤ画像信号を符号化して、符号化された上位レイ
ヤ画像信号を生成する上位レイヤ画像信号生成ステップ
とを有し、上記上位レイヤ画像信号生成ステップは、上
記上位レイヤ画像信号に対応する下位レイヤ画像信号を
符号化する際に用いた予測方法とその予測方法で発生さ
れたデータから予測画像信号を生成し、上記上位レイヤ
画像信号と予測画像信号の差分を演算し、差分画像信号
を生成するステップと、上記差分画像信号を符号化し
て、符号化された差分画像信号を生成するステップとを
有することを特徴とする。
【００３７】また、本発明は、上位レイヤ画像信号及び
下位レイヤ画像信号からなる画像信号を符号化する画像
信号の符号化方法において、下位レイヤ画像信号を符号
化して、符号化された下位レイヤ画像信号を生成するス
テップと、上記下位レイヤ画像信号を符号化した際に、
符号化された下位レイヤ画像信号が発生しない下位レイ
ヤ画像信号の部分に対応する上位レイヤ画像信号の部分
以外の上位レイヤ画像信号を符号化して、符号化された
上位レイヤ画像信号を生成するステップとを有すること
を特徴とする。
下位レイヤ画像信号からなる画像信号を符号化する画像
信号の符号化方法において、下位レイヤ画像信号を符号
化して、符号化された下位レイヤ画像信号を生成するス
テップと、上記下位レイヤ画像信号を符号化した際に、
符号化された下位レイヤ画像信号が発生しない下位レイ
ヤ画像信号の部分に対応する上位レイヤ画像信号の部分
以外の上位レイヤ画像信号を符号化して、符号化された
上位レイヤ画像信号を生成するステップとを有すること
を特徴とする。
【００３８】さらに、本発明は、上位レイヤ画像信号及
び下位レイヤ画像信号からなる画像信号を符号化する画
像信号の符号化方法において、予測符号化方法を用いて
下位レイヤ画像信号を符号化して、符号化された下位レ
イヤ画像信号及び符号化モードを生成するステップと、
上位レイヤ画像信号を符号化して、符号化された上位レ
イヤ画像信号を生成するステップとを有し、上記上位レ
イヤ画像信号生成ステップは、上記下位レイヤの符号化
モードを用いて上記上位レイヤ画像信号を符号化するこ
とを特徴とする。
び下位レイヤ画像信号からなる画像信号を符号化する画
像信号の符号化方法において、予測符号化方法を用いて
下位レイヤ画像信号を符号化して、符号化された下位レ
イヤ画像信号及び符号化モードを生成するステップと、
上位レイヤ画像信号を符号化して、符号化された上位レ
イヤ画像信号を生成するステップとを有し、上記上位レ
イヤ画像信号生成ステップは、上記下位レイヤの符号化
モードを用いて上記上位レイヤ画像信号を符号化するこ
とを特徴とする。
【００３９】本発明は、上位レイヤ画像信号及び下位レ
イヤ画像信号からなる画像信号を符号化して伝送する画
像信号の伝送方法において、下位レイヤ画像信号を量子
化して、符号化された下位レイヤ画像信号及び量子化ス
ケールを発生するステップと、上位レイヤ画像信号を量
子化して、符号化された上位レイヤ画像信号及び量子化
スケールを発生するステップと、上記符号化された下位
レイヤ画像信号及び上位レイヤ画像信号を伝送する伝送
ステップを有し、上記伝送ステップは、下位レイヤの量
子化スケールを伝送しない場合、上位レイヤの量子化ス
ケールを伝送せず、また、下位レイヤの量子化スケール
を伝送する場合、上位レイヤの量子化スケールを伝送す
ることを特徴とする。
イヤ画像信号からなる画像信号を符号化して伝送する画
像信号の伝送方法において、下位レイヤ画像信号を量子
化して、符号化された下位レイヤ画像信号及び量子化ス
ケールを発生するステップと、上位レイヤ画像信号を量
子化して、符号化された上位レイヤ画像信号及び量子化
スケールを発生するステップと、上記符号化された下位
レイヤ画像信号及び上位レイヤ画像信号を伝送する伝送
ステップを有し、上記伝送ステップは、下位レイヤの量
子化スケールを伝送しない場合、上位レイヤの量子化ス
ケールを伝送せず、また、下位レイヤの量子化スケール
を伝送する場合、上位レイヤの量子化スケールを伝送す
ることを特徴とする。
【００４０】また、本発明は、分離された複数の画像信
号をそれぞれ符号化して、符号化された複数の画像信号
を多重化して１つのビットストリームとして伝送する画
像信号の伝送方法において、上記複数の画像信号をそれ
ぞれ符号化して、符号化された複数の画像信号を生成す
るステップと、上記符号化された複数の画像信号を多重
化して、上記１つのビットストリームを生成する多重化
ステップと、上記１つのビットストリームを伝送するス
テップからなり、上記多重化ステップにより上記複数の
画像で各画像の表示順で最初のフレームのビットストリ
ームが隣接又は近傍となるように多重化することを特徴
とする。
号をそれぞれ符号化して、符号化された複数の画像信号
を多重化して１つのビットストリームとして伝送する画
像信号の伝送方法において、上記複数の画像信号をそれ
ぞれ符号化して、符号化された複数の画像信号を生成す
るステップと、上記符号化された複数の画像信号を多重
化して、上記１つのビットストリームを生成する多重化
ステップと、上記１つのビットストリームを伝送するス
テップからなり、上記多重化ステップにより上記複数の
画像で各画像の表示順で最初のフレームのビットストリ
ームが隣接又は近傍となるように多重化することを特徴
とする。
【００４１】また、本発明は、分離された複数の画像信
号をそれぞれ符号化して、符号化された複数の画像信号
を多重化して１つのビットストリームとして伝送する画
像信号の伝送方法において、上記複数の画像信号をそれ
ぞれ符号化して、符号化された複数の画像信号を生成す
るステップと、上記符号化された複数の画像信号を多重
化して、上記１つのビットストリームを生成する多重化
ステップと上記１つのビットストリームを伝送するステ
ップからなり、上記多重化ステップでは、上記符号化さ
れた複数の画像信号と、上記複数の画像で各画像の表示
順で最初のフレームのビットストリームにおいて、その
フレームを表示する以前に表示される別の画像を参照
し、その参照された画像の表示時刻からの遅延時間を示
すフラグと、その参照された画像を示すフラグを多重化
することを特徴とする。
号をそれぞれ符号化して、符号化された複数の画像信号
を多重化して１つのビットストリームとして伝送する画
像信号の伝送方法において、上記複数の画像信号をそれ
ぞれ符号化して、符号化された複数の画像信号を生成す
るステップと、上記符号化された複数の画像信号を多重
化して、上記１つのビットストリームを生成する多重化
ステップと上記１つのビットストリームを伝送するステ
ップからなり、上記多重化ステップでは、上記符号化さ
れた複数の画像信号と、上記複数の画像で各画像の表示
順で最初のフレームのビットストリームにおいて、その
フレームを表示する以前に表示される別の画像を参照
し、その参照された画像の表示時刻からの遅延時間を示
すフラグと、その参照された画像を示すフラグを多重化
することを特徴とする。
【００４２】さらに、本発明は、分離された複数の画像
信号をそれぞれ符号化して、符号化された複数の画像信
号を多重化して１つのビットストリームとして伝送する
画像信号の伝送方法において、上記複数の画像信号をそ
れぞれ符号化して、符号化された複数の画像信号を生成
するステップと、上記符号化された複数の画像信号を多
重化して、上記１つのビットストリームを生成する多重
化ステップと上記１つのビットストリームを伝送するス
テップからなり、上記多重化ステップにより、所定の画
像を以後表示されないようにするために、最後に表示す
るフレームであることを示すフラグと最後に表示された
フレームの表示時間を示すフラグを多重化することを特
徴とする。
信号をそれぞれ符号化して、符号化された複数の画像信
号を多重化して１つのビットストリームとして伝送する
画像信号の伝送方法において、上記複数の画像信号をそ
れぞれ符号化して、符号化された複数の画像信号を生成
するステップと、上記符号化された複数の画像信号を多
重化して、上記１つのビットストリームを生成する多重
化ステップと上記１つのビットストリームを伝送するス
テップからなり、上記多重化ステップにより、所定の画
像を以後表示されないようにするために、最後に表示す
るフレームであることを示すフラグと最後に表示された
フレームの表示時間を示すフラグを多重化することを特
徴とする。
【００４３】本発明は、分離された第１の画像信号及び
第２の画像信号と上記第１の画像信号と第２の画像信号
を合成するためのキー信号を符号化することによって得
られた信号からなる画像信号の復号方法において、符号
化された第１の画像信号及び第２の画像信号をスケーラ
ブル復号して、復号された第１及び第２の画像信号を生
成する画像信号スケーラブル復号ステップと、符号化さ
れたキー信号を画像信号に用いたスケーラブル復号方法
と同様の方法でスケーラブル復号して、復号されたキー
信号を生成するキー信号スケーラブル復号ステップとを
有することを特徴とする。
第２の画像信号と上記第１の画像信号と第２の画像信号
を合成するためのキー信号を符号化することによって得
られた信号からなる画像信号の復号方法において、符号
化された第１の画像信号及び第２の画像信号をスケーラ
ブル復号して、復号された第１及び第２の画像信号を生
成する画像信号スケーラブル復号ステップと、符号化さ
れたキー信号を画像信号に用いたスケーラブル復号方法
と同様の方法でスケーラブル復号して、復号されたキー
信号を生成するキー信号スケーラブル復号ステップとを
有することを特徴とする。
【００４４】また、本発明は、予測方法を用いて符号化
された下位レイヤ画像信号と、上位レイヤ画像信号に対
応する下位レイヤ画像信号を符号化する際に用いた予測
方法とその予測方法で発生されたデータから予測画像信
号を生成し、上記上位レイヤ画像信号と予測画像信号の
差分を演算した差分画像信号を符号化することにより符
号化された上位レイヤ画像信号とからなる符号化された
画像信号を復号する画像信号の復号方法において、上記
予測方法を用いて符号化された画像信号を復号して、復
号された下位レイヤ画像信号を生成するステップと、上
記上位レイヤ画像信号に対応する下位レイヤ画像信号を
符号化する際に用いた予測方法とその予測方法で発生さ
れたデータから予測画像信号を生成するステップと、上
記符号化された差分画像信号を復号して、復号された差
分画像信号を生成するステップと、上記予測画像信号と
上記復号された差分画像信号を加算して、上位レイヤ画
像信号を生成するステップとを有することを特徴とす
る。
された下位レイヤ画像信号と、上位レイヤ画像信号に対
応する下位レイヤ画像信号を符号化する際に用いた予測
方法とその予測方法で発生されたデータから予測画像信
号を生成し、上記上位レイヤ画像信号と予測画像信号の
差分を演算した差分画像信号を符号化することにより符
号化された上位レイヤ画像信号とからなる符号化された
画像信号を復号する画像信号の復号方法において、上記
予測方法を用いて符号化された画像信号を復号して、復
号された下位レイヤ画像信号を生成するステップと、上
記上位レイヤ画像信号に対応する下位レイヤ画像信号を
符号化する際に用いた予測方法とその予測方法で発生さ
れたデータから予測画像信号を生成するステップと、上
記符号化された差分画像信号を復号して、復号された差
分画像信号を生成するステップと、上記予測画像信号と
上記復号された差分画像信号を加算して、上位レイヤ画
像信号を生成するステップとを有することを特徴とす
る。
【００４５】また、本発明は、符号化された下位レイヤ
画像信号と上記符号化された下位レイヤ画像信号が発生
しない下位レイヤ画像信号の部分に対応する上位レイヤ
画像信号の部分以外の上位レイヤ画像信号を符号化する
ことにより得られた符号化された上位レイヤ画像信号か
らなる符号化された画像信号を復号する画像信号の復号
方法において、上記符号化された下位レイヤ画像信号を
復号して、復号された下位レイヤ画像信号を生成するス
テップと、上記符号化された上位レイヤ画像信号を復号
して、符号化された下位レイヤ画像信号が発生しない下
位レイヤ画像信号の部分に対応する上位レイヤ画像信号
の部分の上位レイヤ画像信号を生成するステップとを有
することを特徴とする。
画像信号と上記符号化された下位レイヤ画像信号が発生
しない下位レイヤ画像信号の部分に対応する上位レイヤ
画像信号の部分以外の上位レイヤ画像信号を符号化する
ことにより得られた符号化された上位レイヤ画像信号か
らなる符号化された画像信号を復号する画像信号の復号
方法において、上記符号化された下位レイヤ画像信号を
復号して、復号された下位レイヤ画像信号を生成するス
テップと、上記符号化された上位レイヤ画像信号を復号
して、符号化された下位レイヤ画像信号が発生しない下
位レイヤ画像信号の部分に対応する上位レイヤ画像信号
の部分の上位レイヤ画像信号を生成するステップとを有
することを特徴とする。
【００４６】また、本発明は、符号化された下位レイヤ
画像信号と上記下位レイヤの符号化モードを用いて符号
化された上位レイヤ画像信号からなる符号化された画像
信号を復号する画像信号の復号方法において、上記符号
化された下位レイヤ画像信号を復号して、復号された下
位レイヤ画像信号を生成するステップと、上記下位レイ
ヤの符号化モードを用いて、符号化された上位レイヤ画
像信号を復号して、復号された上位レイヤ画像信号を生
成するステップとを有することを特徴とする。
画像信号と上記下位レイヤの符号化モードを用いて符号
化された上位レイヤ画像信号からなる符号化された画像
信号を復号する画像信号の復号方法において、上記符号
化された下位レイヤ画像信号を復号して、復号された下
位レイヤ画像信号を生成するステップと、上記下位レイ
ヤの符号化モードを用いて、符号化された上位レイヤ画
像信号を復号して、復号された上位レイヤ画像信号を生
成するステップとを有することを特徴とする。
【００４７】また、本発明は、量子化された下位レイヤ
画像信号と量子化された上位レイヤ画像信号からなり、
下位レイヤの量子化スケールを含んでいない場合、上位
レイヤの量子化スケールを含んでおらず、また、下位レ
イヤの量子化スケールを含んでいる場合、上位レイヤの
量子化スケールを含んでいる符号化された画像信号を復
号する画像信号の復号方法において、符号化された下位
レイヤ画像信号を逆量子化して、復元された下位レイヤ
画像信号を発生するステップと、符号化された上位レイ
ヤ画像信号を逆量子化して、復元された上位レイヤ画像
信号を発生するステップとを有することを特徴とする。
画像信号と量子化された上位レイヤ画像信号からなり、
下位レイヤの量子化スケールを含んでいない場合、上位
レイヤの量子化スケールを含んでおらず、また、下位レ
イヤの量子化スケールを含んでいる場合、上位レイヤの
量子化スケールを含んでいる符号化された画像信号を復
号する画像信号の復号方法において、符号化された下位
レイヤ画像信号を逆量子化して、復元された下位レイヤ
画像信号を発生するステップと、符号化された上位レイ
ヤ画像信号を逆量子化して、復元された上位レイヤ画像
信号を発生するステップとを有することを特徴とする。
【００４８】また、本発明は、分離された複数の画像信
号がそれぞれ符号化され、符号化された複数の画像信号
を多重化して得られた１つのビットストリームを受信し
て、その符号化されたビットストリームを復号する画像
信号の復号方法において、上記符号化されたビットスト
リームから符号化された複数の画像信号を分離するステ
ップと、上記複数の画像信号をそれぞれ復号して、復号
された複数の画像信号を生成するステップとを有するこ
とを特徴とする。
号がそれぞれ符号化され、符号化された複数の画像信号
を多重化して得られた１つのビットストリームを受信し
て、その符号化されたビットストリームを復号する画像
信号の復号方法において、上記符号化されたビットスト
リームから符号化された複数の画像信号を分離するステ
ップと、上記複数の画像信号をそれぞれ復号して、復号
された複数の画像信号を生成するステップとを有するこ
とを特徴とする。
【００４９】また、本発明は、分離された複数の画像信
号がそれぞれ符号化され、符号化された複数の画像信号
と、上記複数の画像信号で各画像の表示順で最初のフレ
ームのビットストリームにおいて、そのフレームを表示
する以前に表示される別の画像を参照し、その参照され
た画像の表示時刻からの遅延時間を示すフラグと、その
参照された画像を示すフラグを多重化して得られた１つ
のビットストリームを受信して、その符号化されたビッ
トストリームを復号する画像信号の復号方法において、
上記フラグを用いて、上記符号化されたビットストリー
ムから符号化された複数の画像信号を分離するステップ
と、上記複数の画像信号をそれぞれ復号して、復号され
た複数の画像信号を生成するステップとを有することを
特徴とする。
号がそれぞれ符号化され、符号化された複数の画像信号
と、上記複数の画像信号で各画像の表示順で最初のフレ
ームのビットストリームにおいて、そのフレームを表示
する以前に表示される別の画像を参照し、その参照され
た画像の表示時刻からの遅延時間を示すフラグと、その
参照された画像を示すフラグを多重化して得られた１つ
のビットストリームを受信して、その符号化されたビッ
トストリームを復号する画像信号の復号方法において、
上記フラグを用いて、上記符号化されたビットストリー
ムから符号化された複数の画像信号を分離するステップ
と、上記複数の画像信号をそれぞれ復号して、復号され
た複数の画像信号を生成するステップとを有することを
特徴とする。
【００５０】さらに、本発明は、分離された複数の画像
信号がそれぞれ符号化され、符号化された複数の画像信
号と、所定の画像を以後表示されないようにするため
に、最後に表示するフレームであることを示すフラグと
最後に表示されたフレームの表示時間を示すフラグを多
重化して得られた１つのビットストリームを受信して、
その符号化されたビットストリームを復号する画像信号
の復号方法において、上記フラグを用いて、上記符号化
されたビットストリームから符号化された複数の画像信
号を分離するステップと、上記複数の画像信号をそれぞ
れ復号して、復号された複数の画像信号を生成するステ
ップとを有することを特徴とする。
信号がそれぞれ符号化され、符号化された複数の画像信
号と、所定の画像を以後表示されないようにするため
に、最後に表示するフレームであることを示すフラグと
最後に表示されたフレームの表示時間を示すフラグを多
重化して得られた１つのビットストリームを受信して、
その符号化されたビットストリームを復号する画像信号
の復号方法において、上記フラグを用いて、上記符号化
されたビットストリームから符号化された複数の画像信
号を分離するステップと、上記複数の画像信号をそれぞ
れ復号して、復号された複数の画像信号を生成するステ
ップとを有することを特徴とする。
【００５１】本発明は、分離された第１の画像信号、第
２の画像信号と上記第１の画像信号と第２の画像信号を
合成するためのキー信号を符号化する画像信号の符号化
装置において、上記第１の画像信号及び第２の画像信号
をスケーラブル符号化する画像信号スケーラブル符号化
手段と、上記キー信号を画像信号に用いたスケーラブル
符号化方法と同様の方法でスケーラブル符号化するキー
信号スケーラブル符号化手段とを備えることを特徴とす
る。
２の画像信号と上記第１の画像信号と第２の画像信号を
合成するためのキー信号を符号化する画像信号の符号化
装置において、上記第１の画像信号及び第２の画像信号
をスケーラブル符号化する画像信号スケーラブル符号化
手段と、上記キー信号を画像信号に用いたスケーラブル
符号化方法と同様の方法でスケーラブル符号化するキー
信号スケーラブル符号化手段とを備えることを特徴とす
る。
【００５２】また、本発明は、上位レイヤ画像信号及び
下位レイヤ画像信号からなる画像信号を符号化する画像
信号の符号化装置において、予測方法を用いて下位レイ
ヤ画像信号を符号化して、符号化された下位レイヤ画像
信号を生成する上位レイヤ画像信号生成手段と、上位レ
イヤ画像信号を符号化して、符号化された上位レイヤ画
像信号を生成する上位レイヤ画像信号生成手段とからな
り、上記上位レイヤ画像信号生成手段は、上記上位レイ
ヤ画像信号に対応する下位レイヤ画像信号を符号化する
際に用いた予測方法とその予測方法で発生されたデータ
から予測画像信号を生成し、上記上位レイヤ画像信号と
予測画像信号の差分を演算し、差分画像信号を生成する
手段と、上記差分画像信号を符号化して、符号化された
差分画像信号を生成する手段からなることを特徴とす
る。
下位レイヤ画像信号からなる画像信号を符号化する画像
信号の符号化装置において、予測方法を用いて下位レイ
ヤ画像信号を符号化して、符号化された下位レイヤ画像
信号を生成する上位レイヤ画像信号生成手段と、上位レ
イヤ画像信号を符号化して、符号化された上位レイヤ画
像信号を生成する上位レイヤ画像信号生成手段とからな
り、上記上位レイヤ画像信号生成手段は、上記上位レイ
ヤ画像信号に対応する下位レイヤ画像信号を符号化する
際に用いた予測方法とその予測方法で発生されたデータ
から予測画像信号を生成し、上記上位レイヤ画像信号と
予測画像信号の差分を演算し、差分画像信号を生成する
手段と、上記差分画像信号を符号化して、符号化された
差分画像信号を生成する手段からなることを特徴とす
る。
【００５３】また、本発明は、上位レイヤ画像信号及び
下位レイヤ画像信号からなる画像信号を符号化する画像
信号の符号化装置において、下位レイヤ画像信号を符号
化して、符号化された下位レイヤ画像信号を生成する手
段と、上記下位レイヤ画像信号を符号化した際に、符号
化された下位レイヤ画像信号が発生しない下位レイヤ画
像信号の部分に対応する上位レイヤ画像信号の部分以外
の上位レイヤ画像信号を符号化して、符号化された上位
レイヤ画像信号を生成する手段とからなることを特徴と
する。
下位レイヤ画像信号からなる画像信号を符号化する画像
信号の符号化装置において、下位レイヤ画像信号を符号
化して、符号化された下位レイヤ画像信号を生成する手
段と、上記下位レイヤ画像信号を符号化した際に、符号
化された下位レイヤ画像信号が発生しない下位レイヤ画
像信号の部分に対応する上位レイヤ画像信号の部分以外
の上位レイヤ画像信号を符号化して、符号化された上位
レイヤ画像信号を生成する手段とからなることを特徴と
する。
【００５４】また、本発明は、上位レイヤ画像信号及び
下位レイヤ画像信号からなる画像信号を符号化する画像
信号の符号化装置において、予測符号化方法を用いて下
位レイヤ画像信号を符号化して、符号化された下位レイ
ヤ画像信号及び符号化モードを生成する手段と、上位レ
イヤ画像信号を符号化して、符号化された上位レイヤ画
像信号を生成する手段とからなり、上記上位レイヤ画像
信号生成手段は、上記下位レイヤの符号化モードを用い
て上記上位レイヤ画像信号を符号化することを特徴とす
る。
下位レイヤ画像信号からなる画像信号を符号化する画像
信号の符号化装置において、予測符号化方法を用いて下
位レイヤ画像信号を符号化して、符号化された下位レイ
ヤ画像信号及び符号化モードを生成する手段と、上位レ
イヤ画像信号を符号化して、符号化された上位レイヤ画
像信号を生成する手段とからなり、上記上位レイヤ画像
信号生成手段は、上記下位レイヤの符号化モードを用い
て上記上位レイヤ画像信号を符号化することを特徴とす
る。
【００５５】さらに、本発明は、上位レイヤ画像信号及
び下位レイヤ画像信号からなる画像信号を符号化する画
像信号の符号化装置において、下位レイヤ画像信号を量
子化して、符号化された下位レイヤ画像信号及び量子化
スケールを発生する手段と上位レイヤ画像信号を量子化
して、符号化された上位レイヤ画像信号及び量子化スケ
ールを発生する手段と、上記符号化された下位レイヤ画
像信号及び上位レイヤ画像信号を伝送する伝送手段から
なり、上記伝送手段は、下位レイヤの量子化スケールを
伝送しない場合、上位レイヤの量子化スケールを伝送せ
ず、また、下位レイヤの量子化スケールを伝送する場
合、上位レイヤの量子化スケールを伝送することを特徴
とする。
び下位レイヤ画像信号からなる画像信号を符号化する画
像信号の符号化装置において、下位レイヤ画像信号を量
子化して、符号化された下位レイヤ画像信号及び量子化
スケールを発生する手段と上位レイヤ画像信号を量子化
して、符号化された上位レイヤ画像信号及び量子化スケ
ールを発生する手段と、上記符号化された下位レイヤ画
像信号及び上位レイヤ画像信号を伝送する伝送手段から
なり、上記伝送手段は、下位レイヤの量子化スケールを
伝送しない場合、上位レイヤの量子化スケールを伝送せ
ず、また、下位レイヤの量子化スケールを伝送する場
合、上位レイヤの量子化スケールを伝送することを特徴
とする。
【００５６】本発明は、分離された複数の画像信号をそ
れぞれ符号化して、符号化された複数の画像信号を多重
化して１つのビットストリームとして伝送する画像信号
の伝送装置において、上記複数の画像信号をそれぞれ符
号化して、符号化された複数の画像信号を生成する手段
と、上記符号化された複数の画像信号を多重化して、上
記１つのビットストリームを生成する多重化手段と、上
記１つのビットストリームを伝送する手段からなり、上
記多重化手段は、上記複数の画像で各画像の表示順で最
初のフレームのビットストリームが隣接又は近傍となる
ように多重化することを特徴とする。
れぞれ符号化して、符号化された複数の画像信号を多重
化して１つのビットストリームとして伝送する画像信号
の伝送装置において、上記複数の画像信号をそれぞれ符
号化して、符号化された複数の画像信号を生成する手段
と、上記符号化された複数の画像信号を多重化して、上
記１つのビットストリームを生成する多重化手段と、上
記１つのビットストリームを伝送する手段からなり、上
記多重化手段は、上記複数の画像で各画像の表示順で最
初のフレームのビットストリームが隣接又は近傍となる
ように多重化することを特徴とする。
【００５７】また、本発明は、分離された複数の画像信
号をそれぞれ符号化して、符号化された複数の画像信号
を多重化して１つのビットストリームとして伝送する画
像信号の伝送装置において、上記複数の画像信号をそれ
ぞれ符号化して、符号化された複数の画像信号を生成す
る手段と、上記符号化された複数の画像信号を多重化し
て、上記１つのビットストリームを生成する多重化手段
と、上記１つのビットストリームを伝送する手段からな
り、上記多重化手段は、上記符号化された複数の画像信
号と、上記複数の画像で各画像の表示順で最初のフレー
ムのビットストリームにおいて、そのフレームを表示す
る以前に表示される別の画像を参照し、その参照された
画像の表示時刻からの遅延時間を示すフラグと、その参
照された画像を示すフラグを多重化することを特徴とす
る。
号をそれぞれ符号化して、符号化された複数の画像信号
を多重化して１つのビットストリームとして伝送する画
像信号の伝送装置において、上記複数の画像信号をそれ
ぞれ符号化して、符号化された複数の画像信号を生成す
る手段と、上記符号化された複数の画像信号を多重化し
て、上記１つのビットストリームを生成する多重化手段
と、上記１つのビットストリームを伝送する手段からな
り、上記多重化手段は、上記符号化された複数の画像信
号と、上記複数の画像で各画像の表示順で最初のフレー
ムのビットストリームにおいて、そのフレームを表示す
る以前に表示される別の画像を参照し、その参照された
画像の表示時刻からの遅延時間を示すフラグと、その参
照された画像を示すフラグを多重化することを特徴とす
る。
【００５８】さらに、本発明は、分離された複数の画像
信号をそれぞれ符号化して、符号化された複数の画像信
号を多重化して１つのビットストリームとして伝送する
画像信号の伝送装置において、上記複数の画像信号をそ
れぞれ符号化して、符号化された複数の画像信号を生成
する手段と、上記符号化された複数の画像信号を多重化
して、上記１つのビットストリームを生成する多重化手
段と、上記１つのビットストリームを伝送する手段から
なり、上記多重化手段は、所定の画像を以後表示されな
いようにするために、最後に表示するフレームであるこ
とを示すフラグと最後に表示されたフレームの表示時間
を示すフラグを多重化することを特徴とする。
信号をそれぞれ符号化して、符号化された複数の画像信
号を多重化して１つのビットストリームとして伝送する
画像信号の伝送装置において、上記複数の画像信号をそ
れぞれ符号化して、符号化された複数の画像信号を生成
する手段と、上記符号化された複数の画像信号を多重化
して、上記１つのビットストリームを生成する多重化手
段と、上記１つのビットストリームを伝送する手段から
なり、上記多重化手段は、所定の画像を以後表示されな
いようにするために、最後に表示するフレームであるこ
とを示すフラグと最後に表示されたフレームの表示時間
を示すフラグを多重化することを特徴とする。
【００５９】本発明は、分離された第１の画像信号、第
２の画像信号と上記第１の画像信号と第２の画像信号を
合成するためのキー信号を符号化することによって得ら
れた信号からなる符号化された信号を復号する画像信号
の復号装置において、符号化された第１の画像信号及び
第２の画像信号をスケーラブル復号して、復号された第
１及び第２の画像信号を生成する画像信号スケーラブル
復号手段と、符号化されたキー信号を画像信号に用いた
スケーラブル復号方法と同様の方法でスケーラブル復号
して、復号されたキー信号を生成するキー信号スケーラ
ブル復号手段とを備えることを特徴とする。
２の画像信号と上記第１の画像信号と第２の画像信号を
合成するためのキー信号を符号化することによって得ら
れた信号からなる符号化された信号を復号する画像信号
の復号装置において、符号化された第１の画像信号及び
第２の画像信号をスケーラブル復号して、復号された第
１及び第２の画像信号を生成する画像信号スケーラブル
復号手段と、符号化されたキー信号を画像信号に用いた
スケーラブル復号方法と同様の方法でスケーラブル復号
して、復号されたキー信号を生成するキー信号スケーラ
ブル復号手段とを備えることを特徴とする。
【００６０】また、本発明は、予測方法を用いて符号化
された下位レイヤ画像信号と、上位レイヤ画像信号に対
応する下位レイヤ画像信号を符号化する際に用いた予測
方法とその予測方法で発生されたデータから予測画像信
号を生成し、上記上位レイヤ画像信号と予測画像信号の
差分を演算した差分画像信号を符号化することにより符
号化された上位レイヤ画像信号とからなる符号化された
画像信号を復号する画像信号の復号装置において、上記
予測方法を用いて符号化された画像信号を復号して、復
号された下位レイヤ画像信号を生成する手段と、上記上
位レイヤ画像信号に対応する下位レイヤ画像信号を符号
化する際に用いた予測方法とその予測方法で発生された
データから予測画像信号を生成する手段と、上記符号化
された差分画像信号を復号して、復号された差分画像信
号を生成する手段と、上記予測画像信号と上記復号され
た差分画像信号を加算して、上位レイヤ画像信号を生成
する手段とを有することを特徴とする。
された下位レイヤ画像信号と、上位レイヤ画像信号に対
応する下位レイヤ画像信号を符号化する際に用いた予測
方法とその予測方法で発生されたデータから予測画像信
号を生成し、上記上位レイヤ画像信号と予測画像信号の
差分を演算した差分画像信号を符号化することにより符
号化された上位レイヤ画像信号とからなる符号化された
画像信号を復号する画像信号の復号装置において、上記
予測方法を用いて符号化された画像信号を復号して、復
号された下位レイヤ画像信号を生成する手段と、上記上
位レイヤ画像信号に対応する下位レイヤ画像信号を符号
化する際に用いた予測方法とその予測方法で発生された
データから予測画像信号を生成する手段と、上記符号化
された差分画像信号を復号して、復号された差分画像信
号を生成する手段と、上記予測画像信号と上記復号され
た差分画像信号を加算して、上位レイヤ画像信号を生成
する手段とを有することを特徴とする。
【００６１】また、本発明は、符号化された下位レイヤ
画像信号と上記符号化された下位レイヤ画像信号が発生
しない下位レイヤ画像信号の部分に対応する上位レイヤ
画像信号の部分以外の上位レイヤ画像信号を符号化する
ことにより得られた符号化された上位レイヤ画像信号か
らなる符号化された画像信号を復号する画像信号の復号
装置において、上記符号化された下位レイヤ画像信号を
復号して、復号された下位レイヤ画像信号を生成する手
段と、上記符号化された上位レイヤ画像信号を復号し
て、符号化された下位レイヤ画像信号が発生しない下位
レイヤ画像信号の部分に対応する上位レイヤ画像信号の
部分の上位レイヤ画像信号を生成する手段とを有するこ
とを特徴とする。
画像信号と上記符号化された下位レイヤ画像信号が発生
しない下位レイヤ画像信号の部分に対応する上位レイヤ
画像信号の部分以外の上位レイヤ画像信号を符号化する
ことにより得られた符号化された上位レイヤ画像信号か
らなる符号化された画像信号を復号する画像信号の復号
装置において、上記符号化された下位レイヤ画像信号を
復号して、復号された下位レイヤ画像信号を生成する手
段と、上記符号化された上位レイヤ画像信号を復号し
て、符号化された下位レイヤ画像信号が発生しない下位
レイヤ画像信号の部分に対応する上位レイヤ画像信号の
部分の上位レイヤ画像信号を生成する手段とを有するこ
とを特徴とする。
【００６２】また、本発明は、符号化された下位レイヤ
画像信号と上記下位レイヤの符号化モードを用いて符号
化された上位レイヤ画像信号からなる符号化された画像
信号を復号する画像信号の復号装置において、上記符号
化された下位レイヤ画像信号を復号して、復号された下
位レイヤ画像信号を生成する手段と、上記下位レイヤの
符号化モードを用いて、符号化された上位レイヤ画像信
号を復号して、復号された上位レイヤ画像信号を生成す
る手段とを有することを特徴とする。
画像信号と上記下位レイヤの符号化モードを用いて符号
化された上位レイヤ画像信号からなる符号化された画像
信号を復号する画像信号の復号装置において、上記符号
化された下位レイヤ画像信号を復号して、復号された下
位レイヤ画像信号を生成する手段と、上記下位レイヤの
符号化モードを用いて、符号化された上位レイヤ画像信
号を復号して、復号された上位レイヤ画像信号を生成す
る手段とを有することを特徴とする。
【００６３】また、本発明は、量子化された下位レイヤ
画像信号と量子化された上位レイヤ画像信号からなり、
下位レイヤの量子化スケールを含んでいない場合、上位
レイヤの量子化スケールを含んでおらず、また、下位レ
イヤの量子化スケールを含んでいる場合、上位レイヤの
量子化スケールを含んでいる符号化された画像信号を復
号する画像信号の復号装置において、符号化された下位
レイヤ画像信号を逆量子化して、復元された下位レイヤ
画像信号を発生する手段と、符号化された上位レイヤ画
像信号を逆量子化して、復元された上位レイヤ画像信号
を発生する手段とを有することを特徴とする。
画像信号と量子化された上位レイヤ画像信号からなり、
下位レイヤの量子化スケールを含んでいない場合、上位
レイヤの量子化スケールを含んでおらず、また、下位レ
イヤの量子化スケールを含んでいる場合、上位レイヤの
量子化スケールを含んでいる符号化された画像信号を復
号する画像信号の復号装置において、符号化された下位
レイヤ画像信号を逆量子化して、復元された下位レイヤ
画像信号を発生する手段と、符号化された上位レイヤ画
像信号を逆量子化して、復元された上位レイヤ画像信号
を発生する手段とを有することを特徴とする。
【００６４】また、本発明は、分離された複数の画像信
号をそれぞれ符号化して、符号化された複数の画像信号
を多重化して得られた１つのビットストリームを受信し
て、その符号化されたビットストリームを復号する画像
信号の復号装置において、上記符号化されたビットスト
リームから符号化された複数の画像信号を分離する手段
と、上記複数の画像信号をそれぞれ復号して、復号され
た複数の画像信号を生成する手段とを有することを特徴
とする。
号をそれぞれ符号化して、符号化された複数の画像信号
を多重化して得られた１つのビットストリームを受信し
て、その符号化されたビットストリームを復号する画像
信号の復号装置において、上記符号化されたビットスト
リームから符号化された複数の画像信号を分離する手段
と、上記複数の画像信号をそれぞれ復号して、復号され
た複数の画像信号を生成する手段とを有することを特徴
とする。
【００６５】また、本発明は、分離された複数の画像信
号をそれぞれ符号化して、符号化された複数の画像信号
と、上記複数の画像で各画像の表示順で最初のフレーム
のビットストリームにおいて、そのフレームを表示する
以前に表示される別の画像を参照し、その参照された画
像の表示時刻からの遅延時間を示すフラグと、その参照
された画像を示すフラグを多重化して得られた１つのビ
ットストリームを受信して、その符号化されたビットス
トリームを復号する画像信号の復号装置において、上記
フラグを用いて、上記符号化されたビットストリームか
ら符号化された複数の画像信号を分離する手段と、上記
複数の画像信号をそれぞれ復号して、復号された複数の
画像信号を生成する手段とを有することを特徴とする。
号をそれぞれ符号化して、符号化された複数の画像信号
と、上記複数の画像で各画像の表示順で最初のフレーム
のビットストリームにおいて、そのフレームを表示する
以前に表示される別の画像を参照し、その参照された画
像の表示時刻からの遅延時間を示すフラグと、その参照
された画像を示すフラグを多重化して得られた１つのビ
ットストリームを受信して、その符号化されたビットス
トリームを復号する画像信号の復号装置において、上記
フラグを用いて、上記符号化されたビットストリームか
ら符号化された複数の画像信号を分離する手段と、上記
複数の画像信号をそれぞれ復号して、復号された複数の
画像信号を生成する手段とを有することを特徴とする。
【００６６】また、本発明は、分離された複数の画像信
号をそれぞれ符号化して、符号化された複数の画像信号
と、所定の画像を以後表示されないようにするために、
最後に表示するフレームであることを示すフラグと最後
に表示されたフレームの表示時間を示すフラグを多重化
して得られた１つのビットストリームを受信して、その
符号化されたビットストリームを復号する画像信号の復
号装置において、上記フラグを用いて、上記符号化され
たビットストリームから符号化された複数の画像信号を
分離する手段と、上記複数の画像信号をそれぞれ復号し
て、復号された複数の画像信号を生成する手段とを有す
ることを特徴とする。
号をそれぞれ符号化して、符号化された複数の画像信号
と、所定の画像を以後表示されないようにするために、
最後に表示するフレームであることを示すフラグと最後
に表示されたフレームの表示時間を示すフラグを多重化
して得られた１つのビットストリームを受信して、その
符号化されたビットストリームを復号する画像信号の復
号装置において、上記フラグを用いて、上記符号化され
たビットストリームから符号化された複数の画像信号を
分離する手段と、上記複数の画像信号をそれぞれ復号し
て、復号された複数の画像信号を生成する手段とを有す
ることを特徴とする。
【００６７】本発明は、分離された第１の画像信号及び
第２の画像信号をスケーラブル符号化するとともに、上
記第１の画像信号と第２の画像信号を合成するためのキ
ー信号を画像信号に用いたスケーラブル符号化方法と同
様の方法でスケーラブル符号化して得られた符号化した
画像信号を記録してなることを特徴とする。
第２の画像信号をスケーラブル符号化するとともに、上
記第１の画像信号と第２の画像信号を合成するためのキ
ー信号を画像信号に用いたスケーラブル符号化方法と同
様の方法でスケーラブル符号化して得られた符号化した
画像信号を記録してなることを特徴とする。
【００６８】
【発明の実施の形態】以下、本発明の好ましい実施の形
態について、図面を参照しながら説明する。
態について、図面を参照しながら説明する。
【００６９】まず、本発明の実施例を説明する前に、本
発明を適用する画像の符号化／多重化及び画像合成の原
理について説明する。図１は、本発明を適用する画像の
符号化及び多重化の原理を示している。画像Ｆ１は背景
画像であり、また画像Ｆ２は前景画像である。前景画像
Ｆ２はある特定の色の背景の前で撮影され、その色以外
の領域を抽出することによって生成した画像である。そ
の際、抽出した領域を示す信号がキー信号Ｋ１である。
そして、背景画像Ｆ１、前景画像Ｆ２及びキー信号Ｋ１
は、それぞれ別々に符号化され、その符号化された背景
画像Ｆ１、符号化された前景画像Ｆ２及び符号化された
キー信号Ｋ１のそれぞれのビットストリームを多重化す
ることにより、この３つの信号に対応するビットストリ
ームを構成する。
発明を適用する画像の符号化／多重化及び画像合成の原
理について説明する。図１は、本発明を適用する画像の
符号化及び多重化の原理を示している。画像Ｆ１は背景
画像であり、また画像Ｆ２は前景画像である。前景画像
Ｆ２はある特定の色の背景の前で撮影され、その色以外
の領域を抽出することによって生成した画像である。そ
の際、抽出した領域を示す信号がキー信号Ｋ１である。
そして、背景画像Ｆ１、前景画像Ｆ２及びキー信号Ｋ１
は、それぞれ別々に符号化され、その符号化された背景
画像Ｆ１、符号化された前景画像Ｆ２及び符号化された
キー信号Ｋ１のそれぞれのビットストリームを多重化す
ることにより、この３つの信号に対応するビットストリ
ームを構成する。
【００７０】図２は、図１に示したようなビットストリ
ームを復号して合成画像Ｆ３を得るための原理を示して
いる。ビットストリームは、逆多重化により、符号化さ
れた背景画像Ｆ１、符号化された前景画像Ｆ２及び符号
化されたキー信号Ｋ１のビットストリームに分解され、
それぞれ復号される。そして、復号背景画像Ｆ１’、復
号前景画像Ｆ２’及び復号キー信号Ｋ１’が得られる。
このとき、復号背景画像Ｆ１’と復号前景画像Ｆ２’を
復号キー信号Ｋ１’によって合成することより、復号合
成画像Ｆ３’を得ることができる。この場合、ビットス
トリームのままで、前景Ｆ２をそのままにして、背景Ｆ
１のみを変更するといった再編集及び再合成が容易に可
能となる。
ームを復号して合成画像Ｆ３を得るための原理を示して
いる。ビットストリームは、逆多重化により、符号化さ
れた背景画像Ｆ１、符号化された前景画像Ｆ２及び符号
化されたキー信号Ｋ１のビットストリームに分解され、
それぞれ復号される。そして、復号背景画像Ｆ１’、復
号前景画像Ｆ２’及び復号キー信号Ｋ１’が得られる。
このとき、復号背景画像Ｆ１’と復号前景画像Ｆ２’を
復号キー信号Ｋ１’によって合成することより、復号合
成画像Ｆ３’を得ることができる。この場合、ビットス
トリームのままで、前景Ｆ２をそのままにして、背景Ｆ
１のみを変更するといった再編集及び再合成が容易に可
能となる。
【００７１】次に、このような複数の画像を符号化／多
重化するエンコーダ及びそのエンコーダに対応する符号
化された複数の画像を復号するデコーダの図３及び図４
を用いて説明する。なお、以下に説明するエンコーダ及
びデコーダは、複数の画像の符号化／復号する場合に適
用できるとともに、複数の画像のそれぞれをスケーラブ
ル符号化する場合にも適用できる。したがって、まず、
複数の画像の符号化／復号する場合について説明し、そ
の後、複数の画像のそれぞれをスケーラブル符号化する
場合について説明する。
重化するエンコーダ及びそのエンコーダに対応する符号
化された複数の画像を復号するデコーダの図３及び図４
を用いて説明する。なお、以下に説明するエンコーダ及
びデコーダは、複数の画像の符号化／復号する場合に適
用できるとともに、複数の画像のそれぞれをスケーラブ
ル符号化する場合にも適用できる。したがって、まず、
複数の画像の符号化／復号する場合について説明し、そ
の後、複数の画像のそれぞれをスケーラブル符号化する
場合について説明する。
【００７２】１． 符号化を適用した実施例 背景画像Ｆ１、前景画像Ｆ２といった合成画像を構成す
る各画像をＶＯＰ（Ｖｉｄｅｏ Ｏｂｊｅｃｔ Ｐｌａ
ｎｅ）と呼ぶ。各ＶＯＰは輝度及び色差成分からなる画
像信号とキー信号から構成される。ただし、この画像信
号が背景画像である場合、キー信号は存在しない。つま
り、この画像信号が前景画像である場合は、各ＶＯＰは
画像信号とキー信号から構成され、画像信号が背景画像
である場合、背景信号である画像信号のみからなる。Ｖ
ＯＰ構成部３１は、ある合成画像を各ＶＯＰに分解す
る。例えば、図１に示されるように入力信号がクロマキ
ーで生成された画像信号の場合、ＶＯＰ構成部３１は、
背景画像、前景画像及びそのキー信号に分割し、背景画
像信号をＶＯＰ０符号化部３２に供給し、前景画像信号
及びそのキー信号をＶＯＰ１符号化部３３に供給する。
また、入力信号の中にキー信号が存在しない場合、若し
くはキー信号が失われた画像信号の場合、ＶＯＰ構成部
３１は、画像信号を画像領域分割し、所定の領域を抽出
してキー信号を生成する。その結果、各ＶＯＰが構成さ
れる。なお、その他、他の前景画像又は他の背景画像が
存在する場合には、この他の前景画像若しくは他の背景
画像は、対応するＶＯＰｎ符号化部３５に供給される
（以下、この符号化部及び対応する復号部の動作は説明
が重複するため、説明を省略する）。
る各画像をＶＯＰ（Ｖｉｄｅｏ Ｏｂｊｅｃｔ Ｐｌａ
ｎｅ）と呼ぶ。各ＶＯＰは輝度及び色差成分からなる画
像信号とキー信号から構成される。ただし、この画像信
号が背景画像である場合、キー信号は存在しない。つま
り、この画像信号が前景画像である場合は、各ＶＯＰは
画像信号とキー信号から構成され、画像信号が背景画像
である場合、背景信号である画像信号のみからなる。Ｖ
ＯＰ構成部３１は、ある合成画像を各ＶＯＰに分解す
る。例えば、図１に示されるように入力信号がクロマキ
ーで生成された画像信号の場合、ＶＯＰ構成部３１は、
背景画像、前景画像及びそのキー信号に分割し、背景画
像信号をＶＯＰ０符号化部３２に供給し、前景画像信号
及びそのキー信号をＶＯＰ１符号化部３３に供給する。
また、入力信号の中にキー信号が存在しない場合、若し
くはキー信号が失われた画像信号の場合、ＶＯＰ構成部
３１は、画像信号を画像領域分割し、所定の領域を抽出
してキー信号を生成する。その結果、各ＶＯＰが構成さ
れる。なお、その他、他の前景画像又は他の背景画像が
存在する場合には、この他の前景画像若しくは他の背景
画像は、対応するＶＯＰｎ符号化部３５に供給される
（以下、この符号化部及び対応する復号部の動作は説明
が重複するため、説明を省略する）。
【００７３】そして、ＶＯＰ０符号化部３２は、背景画
像信号を符号化して、背景画像ビットストリームを多重
化部３６に供給する。また、ＶＯＰ１符号化部３３は、
前景画像信号及びそのキー信号を符号化して、前景画像
ビットストリーム及びキービットストリームを多重化部
３６に供給する。そして、多重化部３６は、供給された
背景画像ビットストリーム、前景画像ビットストリーム
及びキービットストリームを多重化して、１つの符号化
ビットストリームとして、放送系もしくネットワーク系
の伝送路３７に供給され、若しくは、テープ、ディスク
若しくは半導体メモリ等の記録媒体３８に記録される。
像信号を符号化して、背景画像ビットストリームを多重
化部３６に供給する。また、ＶＯＰ１符号化部３３は、
前景画像信号及びそのキー信号を符号化して、前景画像
ビットストリーム及びキービットストリームを多重化部
３６に供給する。そして、多重化部３６は、供給された
背景画像ビットストリーム、前景画像ビットストリーム
及びキービットストリームを多重化して、１つの符号化
ビットストリームとして、放送系もしくネットワーク系
の伝送路３７に供給され、若しくは、テープ、ディスク
若しくは半導体メモリ等の記録媒体３８に記録される。
【００７４】伝送路３７から供給された符号化ビットス
トリーム、若しくは記録媒体から再生された符号化ビッ
トストリームは、逆多重化部３９に供給される。逆多重
化部は、背景画像ビットストリーム、前景画像ビットス
トリーム及びキービットストリームに分割する。そし
て、背景画像ビットストリームは、ＶＯＰ０復号部４０
に供給される。ＶＯＰ０復号部４０は、背景画像ビット
ストリームを復号し、エンコーダのＶＯＰ０符号化部の
入力信号に対応する背景画像信号を再構成して合成部４
４に供給する。また、前景画像ビットストリーム及びキ
ービットストリームは、ＶＯＰ１復号部４１に供給され
る。ＶＯＰ１復号部４１は、前景画像ビットストリーム
及びキービットストリームを復号し、エンコーダのＶＯ
Ｐ１符号化部の入力信号に対応する前景画像信号及びそ
のキー信号を再構成して合成部４４に供給する。合成部
４４は、供給されたキー信号を使用して、背景画像信号
及び前景画像信号を合成して、再生画像を出力する。
トリーム、若しくは記録媒体から再生された符号化ビッ
トストリームは、逆多重化部３９に供給される。逆多重
化部は、背景画像ビットストリーム、前景画像ビットス
トリーム及びキービットストリームに分割する。そし
て、背景画像ビットストリームは、ＶＯＰ０復号部４０
に供給される。ＶＯＰ０復号部４０は、背景画像ビット
ストリームを復号し、エンコーダのＶＯＰ０符号化部の
入力信号に対応する背景画像信号を再構成して合成部４
４に供給する。また、前景画像ビットストリーム及びキ
ービットストリームは、ＶＯＰ１復号部４１に供給され
る。ＶＯＰ１復号部４１は、前景画像ビットストリーム
及びキービットストリームを復号し、エンコーダのＶＯ
Ｐ１符号化部の入力信号に対応する前景画像信号及びそ
のキー信号を再構成して合成部４４に供給する。合成部
４４は、供給されたキー信号を使用して、背景画像信号
及び前景画像信号を合成して、再生画像を出力する。
【００７５】次に図５及び図６を用いてＶＯＰ符号化部
の符号化方法及び復号方法の一例を説明する。なお、以
下に説明する符号化方法及び復号方法は、前景画像信号
及びそのキー信号を符号化し、その符号化された前景画
像信号及びそのキー信号を復号する場合の符号化方法及
び復号方法である。背景画像信号を符号化し、その符号
化された背景画像信号を復号する場合の符号化方法及び
復号方法は、従来の方法（図３９及び図４０）を適用す
ることによって符号化及び復号できるため、その説明は
ここでは省略する。
の符号化方法及び復号方法の一例を説明する。なお、以
下に説明する符号化方法及び復号方法は、前景画像信号
及びそのキー信号を符号化し、その符号化された前景画
像信号及びそのキー信号を復号する場合の符号化方法及
び復号方法である。背景画像信号を符号化し、その符号
化された背景画像信号を復号する場合の符号化方法及び
復号方法は、従来の方法（図３９及び図４０）を適用す
ることによって符号化及び復号できるため、その説明は
ここでは省略する。
【００７６】前景画像信号は、画像信号符号化部５１に
供給され、キー信号は、キー信号符号化部５２に供給さ
れる。画像信号符号化部５１は、例えばＭＰＥＧ方式や
Ｈ．２６３といった方式（図３９）で前景画像信号を符
号化する。キー信号符号化部５２は、例えばＤＰＣＭ
（Ｄｅｆｅｒｅｎｔｉａｌ Ｐｕｌｓｅ Ｃｏｄｅ Ｍ
ｏｄｕｌａｔｉｏｎ ）などにより、キー信号を符号化
する。さらに、キー信号符号化部５２は、画像信号符号
化部５１によって検出された動きベクトルを用いて、キ
ー信号に対して動き補償を行い、キー信号の差分を符号
化してもよい。また、キー信号符号化部５２は、発生さ
れたビット量の情報を画像信号符号化部５１に供給し、
画像信号符号化部５１は、そのビット量の情報を用い
て、符号化された画像が所定のビットレートになるよう
に、符号化処理を制御する。
供給され、キー信号は、キー信号符号化部５２に供給さ
れる。画像信号符号化部５１は、例えばＭＰＥＧ方式や
Ｈ．２６３といった方式（図３９）で前景画像信号を符
号化する。キー信号符号化部５２は、例えばＤＰＣＭ
（Ｄｅｆｅｒｅｎｔｉａｌ Ｐｕｌｓｅ Ｃｏｄｅ Ｍ
ｏｄｕｌａｔｉｏｎ ）などにより、キー信号を符号化
する。さらに、キー信号符号化部５２は、画像信号符号
化部５１によって検出された動きベクトルを用いて、キ
ー信号に対して動き補償を行い、キー信号の差分を符号
化してもよい。また、キー信号符号化部５２は、発生さ
れたビット量の情報を画像信号符号化部５１に供給し、
画像信号符号化部５１は、そのビット量の情報を用い
て、符号化された画像が所定のビットレートになるよう
に、符号化処理を制御する。
【００７７】そして、画像信号符号化部５１は、符号化
された画像信号（動きベクトル及びテクスチャ情報）の
ビットストリームを多重化部５３に供給し、キー信号符
号化部５２は、符号化されたキー信号（キー情報）のビ
ットストリームを多重化部５３に供給する。多重化部５
３は、符号化された画像信号のビットストリームと符号
化されたキー信号のビットストリームを多重化して、１
つの符号化ビットストリームとして送信バッファ５４を
介して出力される。なお、この符号化ビットストリーム
が、上述したＶＯＰ１符号化部３３からの前景画像ビッ
トストリーム及びキービットストリームに対応する。
された画像信号（動きベクトル及びテクスチャ情報）の
ビットストリームを多重化部５３に供給し、キー信号符
号化部５２は、符号化されたキー信号（キー情報）のビ
ットストリームを多重化部５３に供給する。多重化部５
３は、符号化された画像信号のビットストリームと符号
化されたキー信号のビットストリームを多重化して、１
つの符号化ビットストリームとして送信バッファ５４を
介して出力される。なお、この符号化ビットストリーム
が、上述したＶＯＰ１符号化部３３からの前景画像ビッ
トストリーム及びキービットストリームに対応する。
【００７８】デコーダにおいては、供給された符号化ビ
ットストリームは、逆多重化部５５に供給される。逆多
重化部５５は、符号化された画像信号（動きベクトル及
びテクスチャ情報）のビットストリーム及び符号化され
たキー信号（キー情報）のビットストリームに分解し、
符号化された画像信号のビットストリームを画像信号復
号部５６に供給し、符号化されたキー信号のビットスト
リームをキー信号復号部５７に供給する。画像信号復号
部５６（図４０）は、符号化された画像信号を復号し、
エンコーダの画像信号符号化部５１の入力信号に対応す
る画像信号を生成し、再生画像として出力する。また、
キー信号復号部５７は、符号化されたキー信号を復号
し、エンコーダのキー信号符号化部５２の入力信号に対
応するキー信号を生成して出力する。なお、キー信号符
号化部５２において、キー信号が動きベクトルを用いて
動き補償されて符号化されている場合、キー信号復号部
５７は、画像信号復号部５６からの動きベクトルを用い
てキー信号を動き補償することにより、キー信号が復号
される。
ットストリームは、逆多重化部５５に供給される。逆多
重化部５５は、符号化された画像信号（動きベクトル及
びテクスチャ情報）のビットストリーム及び符号化され
たキー信号（キー情報）のビットストリームに分解し、
符号化された画像信号のビットストリームを画像信号復
号部５６に供給し、符号化されたキー信号のビットスト
リームをキー信号復号部５７に供給する。画像信号復号
部５６（図４０）は、符号化された画像信号を復号し、
エンコーダの画像信号符号化部５１の入力信号に対応す
る画像信号を生成し、再生画像として出力する。また、
キー信号復号部５７は、符号化されたキー信号を復号
し、エンコーダのキー信号符号化部５２の入力信号に対
応するキー信号を生成して出力する。なお、キー信号符
号化部５２において、キー信号が動きベクトルを用いて
動き補償されて符号化されている場合、キー信号復号部
５７は、画像信号復号部５６からの動きベクトルを用い
てキー信号を動き補償することにより、キー信号が復号
される。
【００７９】２．スケーラブル符号化を適用した実施例 次に、上述したような画像信号に対してスケーラブル符
号化を行う場合についてのエンコーダ及びデコーダの構
成を図３及び図４を用いて説明する。
号化を行う場合についてのエンコーダ及びデコーダの構
成を図３及び図４を用いて説明する。
【００８０】ＶＯＰ構成部３１は、入力画像信号から背
景画像の上位レイヤ画像信号、前景画像の上位レイヤ画
像信号及びその上位レイヤキー信号、背景画像の下位レ
イヤ画像信号、前景画像の下位レイヤ画像信号及びその
下位レイヤキー信号を生成する。上位レイヤ画像信号か
ら下位レイヤ画像信号を生成する際には、上位レイヤ画
像信号をダウンサンプリングすることにより、下位レイ
ヤ画像信号が生成される。そして、ＶＯＰ構成部３１
は、背景画像の上位レイヤ画像信号及び背景画像の下位
レイヤ画像信号をＶＯＰ０符号化部３２に、前景画像の
上位レイヤ画像信号及びその上位レイヤキー信号、前景
画像の下位レイヤ画像信号及びその下位レイヤキー信号
をＶＯＰ１符号化部３３にそれぞれ供給する。なお、他
の前景画像若しくは背景画像信号が存在する場合には、
その前景画像若しくは背景画像がＶＯＰｎ符号化部３５
に供給される（以下、この符号化部及び対応する復号部
の動作は説明が重複するため、説明を省略する）。
景画像の上位レイヤ画像信号、前景画像の上位レイヤ画
像信号及びその上位レイヤキー信号、背景画像の下位レ
イヤ画像信号、前景画像の下位レイヤ画像信号及びその
下位レイヤキー信号を生成する。上位レイヤ画像信号か
ら下位レイヤ画像信号を生成する際には、上位レイヤ画
像信号をダウンサンプリングすることにより、下位レイ
ヤ画像信号が生成される。そして、ＶＯＰ構成部３１
は、背景画像の上位レイヤ画像信号及び背景画像の下位
レイヤ画像信号をＶＯＰ０符号化部３２に、前景画像の
上位レイヤ画像信号及びその上位レイヤキー信号、前景
画像の下位レイヤ画像信号及びその下位レイヤキー信号
をＶＯＰ１符号化部３３にそれぞれ供給する。なお、他
の前景画像若しくは背景画像信号が存在する場合には、
その前景画像若しくは背景画像がＶＯＰｎ符号化部３５
に供給される（以下、この符号化部及び対応する復号部
の動作は説明が重複するため、説明を省略する）。
【００８１】ＶＯＰ０符号化部３２は、背景画像の上位
レイヤ画像信号及び下位レイヤ画像信号を上述したスケ
ーラブル符号化方法（図４１）を用いて符号化し、背景
画像上位レイヤビットストリーム背景画像下位レイヤビ
ットストリームを多重化部３６に供給する。さらに、Ｖ
ＯＰ１符号化部３３は、前景画像の上位レイヤ画像信号
及び下位レイヤ画像信号をスケーラブル符号化方法（図
４１）を用いて符号化し、上位レイヤキー信号及び下位
レイヤキー信号を後述する符号化方法を用いて符号化し
て、上位レイヤキー情報ビットストリーム及び下位レイ
ヤキー信号ビットストリームを多重化部３６に供給す
る。
レイヤ画像信号及び下位レイヤ画像信号を上述したスケ
ーラブル符号化方法（図４１）を用いて符号化し、背景
画像上位レイヤビットストリーム背景画像下位レイヤビ
ットストリームを多重化部３６に供給する。さらに、Ｖ
ＯＰ１符号化部３３は、前景画像の上位レイヤ画像信号
及び下位レイヤ画像信号をスケーラブル符号化方法（図
４１）を用いて符号化し、上位レイヤキー信号及び下位
レイヤキー信号を後述する符号化方法を用いて符号化し
て、上位レイヤキー情報ビットストリーム及び下位レイ
ヤキー信号ビットストリームを多重化部３６に供給す
る。
【００８２】そして、多重化部３６は、供給された背景
画像上位レイヤビットストリーム、背景画像下位レイヤ
ビットストリーム、前景画像上位レイヤビットストリー
ム、前景画像下位レイヤビットストリーム、上位レイヤ
キー信号ビットストリーム、下位レイヤキー信号ビット
ストリームを多重化して、１つの符号化ビットストリー
ムとして、放送系もしくネットワーク系の伝送路３７に
供給され、若しくは、テープ、ディスク若しくは半導体
メモリ等の記録媒体３８に記録される。
画像上位レイヤビットストリーム、背景画像下位レイヤ
ビットストリーム、前景画像上位レイヤビットストリー
ム、前景画像下位レイヤビットストリーム、上位レイヤ
キー信号ビットストリーム、下位レイヤキー信号ビット
ストリームを多重化して、１つの符号化ビットストリー
ムとして、放送系もしくネットワーク系の伝送路３７に
供給され、若しくは、テープ、ディスク若しくは半導体
メモリ等の記録媒体３８に記録される。
【００８３】伝送路３７から供給された符号化ビットス
トリーム、若しくは記録媒体から再生された符号化ビッ
トストリームは、逆多重化部３９に供給される。逆多重
化部３９は、背景画像上位レイヤビットストリーム、背
景画像下位レイヤビットストリーム、前景画像上位レイ
ヤビットストリーム及び上位レイヤキー信号ビットスト
リーム、前景画像下位レイヤビットストリーム及び下位
レイヤキー信号ビットストリームに分割する。そして、
背景画像上位レイヤビットストリーム及び背景画像下位
レイヤビットストリームは、ＶＯＰ０復号部４０に供給
される。ＶＯＰ０復号部４０は、背景画像上位レイヤビ
ットストリーム及び背景画像下位レイヤビットストリー
ムを上述したスケーラブル復号方法（図４２）を用いて
復号し、エンコーダのＶＯＰ０符号化部３２の入力信号
に対応する背景画像の上位レイヤ画像信号及び下位レイ
ヤ画像信号を生成して合成部４４に供給する。
トリーム、若しくは記録媒体から再生された符号化ビッ
トストリームは、逆多重化部３９に供給される。逆多重
化部３９は、背景画像上位レイヤビットストリーム、背
景画像下位レイヤビットストリーム、前景画像上位レイ
ヤビットストリーム及び上位レイヤキー信号ビットスト
リーム、前景画像下位レイヤビットストリーム及び下位
レイヤキー信号ビットストリームに分割する。そして、
背景画像上位レイヤビットストリーム及び背景画像下位
レイヤビットストリームは、ＶＯＰ０復号部４０に供給
される。ＶＯＰ０復号部４０は、背景画像上位レイヤビ
ットストリーム及び背景画像下位レイヤビットストリー
ムを上述したスケーラブル復号方法（図４２）を用いて
復号し、エンコーダのＶＯＰ０符号化部３２の入力信号
に対応する背景画像の上位レイヤ画像信号及び下位レイ
ヤ画像信号を生成して合成部４４に供給する。
【００８４】さらに、前景画像上位レイヤビットストリ
ーム及び及び上位レイヤキー信号ビットストリームは、
ＶＯＰ１復号部４１に供給される。ＶＯＰ１復号部４１
は、前景画像上位レイヤビットストリーム及び前景画像
下位レイヤビットストリームを上述したスケーラブル復
号方法（図４２）を用いて復号し、上位レイヤキー信号
ビットストリーム及び下位レイヤキー信号ビットストリ
ームを後述する復号方法を用いて復号し、エンコーダの
ＶＯＰ１符号化部３３の入力信号に対応する前景画像の
上位レイヤ画像信号及びその上位レイヤキー信号、前景
画像の下位レイヤ画像信号及びその下位レイヤキー信号
を生成して合成部４４に供給する。合成部４４は、供給
された上位レイヤキー信号を使用して、背景画像の上位
レイヤ画像信号及び前景画像の上位レイヤ画像信号を合
成して、上位レイヤの再生画像を出力する。さらに、合
成部４４は、供給された下位レイヤキー信号を使用し
て、背景画像の下位レイヤ画像信号及び前景画像の下位
レイヤ画像信号を合成して、下位レイヤの再生画像を出
力する。
ーム及び及び上位レイヤキー信号ビットストリームは、
ＶＯＰ１復号部４１に供給される。ＶＯＰ１復号部４１
は、前景画像上位レイヤビットストリーム及び前景画像
下位レイヤビットストリームを上述したスケーラブル復
号方法（図４２）を用いて復号し、上位レイヤキー信号
ビットストリーム及び下位レイヤキー信号ビットストリ
ームを後述する復号方法を用いて復号し、エンコーダの
ＶＯＰ１符号化部３３の入力信号に対応する前景画像の
上位レイヤ画像信号及びその上位レイヤキー信号、前景
画像の下位レイヤ画像信号及びその下位レイヤキー信号
を生成して合成部４４に供給する。合成部４４は、供給
された上位レイヤキー信号を使用して、背景画像の上位
レイヤ画像信号及び前景画像の上位レイヤ画像信号を合
成して、上位レイヤの再生画像を出力する。さらに、合
成部４４は、供給された下位レイヤキー信号を使用し
て、背景画像の下位レイヤ画像信号及び前景画像の下位
レイヤ画像信号を合成して、下位レイヤの再生画像を出
力する。
【００８５】次に、各ＶＯＰ符号化部における第１の実
施例の画像信号符号化及び画像信号復号装置について説
明する。なお、以下に説明する符号化方法及び復号方法
は、スケーラブル符号化によって上位レイヤ前景画像信
号の上位レイヤキー信号と下位レイヤ前景画像信号の下
位レイヤキー信号を符号化し、そのスケーラブル符号化
された上位レイヤ前景画像信号の上位レイヤキー信号と
スケーラブル符号化された下位レイヤ前景画像信号の下
位レイヤキー信号を復号する場合の符号化方法及び復号
方法である。上位レイヤ背景画像信号及び下位レイヤ背
景画像信号を符号化し、その符号化された上位レイヤ背
景画像信号及び下位レイヤ背景画像信号を復号する場合
の符号化方法及び復号方法は、従来の方法（図４１及び
図４２）を適用することによって符号化及び復号できる
ため、その説明はここでは省略する。また、上位レイヤ
前景画像信号及び下位レイヤ前景画像信号を符号化し、
その符号化された上位レイヤ前景画像信号及び下位レイ
ヤ前景画像信号を復号する場合の符号化方法及び復号方
法もまた、従来の方法（図４１及び図４２）を適用する
ことによって符号化及び復号できるため、その説明はこ
こでは省略する。つまり、ここでは、スケーラブル符号
化におけるＶＯＰ１符号化部３３の上位レイヤ及び下位
レイヤの画像信号と上位レイヤキー信号及び下位レイヤ
キー信号を符号化する符号化装置と、ＶＯＰ１復号部４
１の符号化された上位レイヤキー信号及び符号化された
下位レイヤキー信号を復号する復号装置の詳細について
説明する。
施例の画像信号符号化及び画像信号復号装置について説
明する。なお、以下に説明する符号化方法及び復号方法
は、スケーラブル符号化によって上位レイヤ前景画像信
号の上位レイヤキー信号と下位レイヤ前景画像信号の下
位レイヤキー信号を符号化し、そのスケーラブル符号化
された上位レイヤ前景画像信号の上位レイヤキー信号と
スケーラブル符号化された下位レイヤ前景画像信号の下
位レイヤキー信号を復号する場合の符号化方法及び復号
方法である。上位レイヤ背景画像信号及び下位レイヤ背
景画像信号を符号化し、その符号化された上位レイヤ背
景画像信号及び下位レイヤ背景画像信号を復号する場合
の符号化方法及び復号方法は、従来の方法（図４１及び
図４２）を適用することによって符号化及び復号できる
ため、その説明はここでは省略する。また、上位レイヤ
前景画像信号及び下位レイヤ前景画像信号を符号化し、
その符号化された上位レイヤ前景画像信号及び下位レイ
ヤ前景画像信号を復号する場合の符号化方法及び復号方
法もまた、従来の方法（図４１及び図４２）を適用する
ことによって符号化及び復号できるため、その説明はこ
こでは省略する。つまり、ここでは、スケーラブル符号
化におけるＶＯＰ１符号化部３３の上位レイヤ及び下位
レイヤの画像信号と上位レイヤキー信号及び下位レイヤ
キー信号を符号化する符号化装置と、ＶＯＰ１復号部４
１の符号化された上位レイヤキー信号及び符号化された
下位レイヤキー信号を復号する復号装置の詳細について
説明する。
【００８６】まず、図７及び図８を用いて、スケーラビ
リティ符号化におけるＶＯＰ１符号化部３３の上位レイ
ヤ及び下位レイヤの画像信号と上位レイヤキー信号及び
下位レイヤキー信号を符号化する符号化装置について説
明する。
リティ符号化におけるＶＯＰ１符号化部３３の上位レイ
ヤ及び下位レイヤの画像信号と上位レイヤキー信号及び
下位レイヤキー信号を符号化する符号化装置について説
明する。
【００８７】前景画像の上位レイヤ画像信号及び下位レ
イヤ画像信号は、画像信号符号化部６１に供給され、上
位レイヤキー信号及び下位レイヤキー信号は、キー信号
符号化部６２に供給される。画像信号符号化部６１は、
例えばＭＰＥＧ方式やＨ．２６３方式を用いたスケーラ
ブル符号化（図４１）で前景画像の上位レイヤ画像信号
及び下位レイヤ画像信号を符号化する。キー信号符号化
部６２は、画像信号符号化部６１からの動きベクトル及
び予測モードに基づいて、後述するスケーラブル符号化
により、上位レイヤキー信号及び下位レイヤキー信号を
符号化する。つまり、キー信号符号化部６２は、画像信
号符号化部６１によって検出された動きベクトルを用い
て、上位レイヤキー信号及び下位レイヤキー信号に対し
てそれぞれ動き補償を行い、上位レイヤキー信号及び下
位レイヤキー信号の差分を符号化する。また、キー信号
符号化部６２は、発生されたビット量の情報を画像信号
符号化部６１に供給し、画像信号符号化部６１は、その
ビット量の情報を用いて、符号化された画像が所定のビ
ットレートになるように、符号化処理を制御するように
してもよい。
イヤ画像信号は、画像信号符号化部６１に供給され、上
位レイヤキー信号及び下位レイヤキー信号は、キー信号
符号化部６２に供給される。画像信号符号化部６１は、
例えばＭＰＥＧ方式やＨ．２６３方式を用いたスケーラ
ブル符号化（図４１）で前景画像の上位レイヤ画像信号
及び下位レイヤ画像信号を符号化する。キー信号符号化
部６２は、画像信号符号化部６１からの動きベクトル及
び予測モードに基づいて、後述するスケーラブル符号化
により、上位レイヤキー信号及び下位レイヤキー信号を
符号化する。つまり、キー信号符号化部６２は、画像信
号符号化部６１によって検出された動きベクトルを用い
て、上位レイヤキー信号及び下位レイヤキー信号に対し
てそれぞれ動き補償を行い、上位レイヤキー信号及び下
位レイヤキー信号の差分を符号化する。また、キー信号
符号化部６２は、発生されたビット量の情報を画像信号
符号化部６１に供給し、画像信号符号化部６１は、その
ビット量の情報を用いて、符号化された画像が所定のビ
ットレートになるように、符号化処理を制御するように
してもよい。
【００８８】そして、画像信号符号化部６１は、符号化
された上位レイヤ画像信号及び下位レイヤ画像信号（動
きベクトル及びテクスチャ情報）のビットストリームを
多重化部６３に供給し、キー信号符号化部６２は、符号
化された上位レイヤキー信号と下位レイヤキー信号（キ
ー情報）のビットストリームを多重化部６３に供給す
る。多重化部６３は、符号化された上位レイヤ画像信号
と下位レイヤ画像信号のビットストリームと符号化され
た上位レイヤキー信号と下位レイヤキー信号のビットス
トリームを多重化して、１つの符号化ビットストリーム
として送信バッファ６４を介して出力される。なお、こ
の符号化ビットストリームが、上述したＶＯＰ１符号化
部３３からの前景画像上位レイヤビットストリーム、前
景画像下位レイヤビットストリーム、上位レイヤキー信
号ビットストリーム及び下位レイヤキー信号ビットスト
リームに対応する。
された上位レイヤ画像信号及び下位レイヤ画像信号（動
きベクトル及びテクスチャ情報）のビットストリームを
多重化部６３に供給し、キー信号符号化部６２は、符号
化された上位レイヤキー信号と下位レイヤキー信号（キ
ー情報）のビットストリームを多重化部６３に供給す
る。多重化部６３は、符号化された上位レイヤ画像信号
と下位レイヤ画像信号のビットストリームと符号化され
た上位レイヤキー信号と下位レイヤキー信号のビットス
トリームを多重化して、１つの符号化ビットストリーム
として送信バッファ６４を介して出力される。なお、こ
の符号化ビットストリームが、上述したＶＯＰ１符号化
部３３からの前景画像上位レイヤビットストリーム、前
景画像下位レイヤビットストリーム、上位レイヤキー信
号ビットストリーム及び下位レイヤキー信号ビットスト
リームに対応する。
【００８９】デコーダにおいては、供給された符号化ビ
ットストリームは、逆多重化部６５に供給される。逆多
重化部６５は、符号化された上位レイヤ画像信号と下位
レイヤ画像信号（動きベクトル及びテクスチャ情報）の
ビットストリーム及び符号化された上位レイヤキー信号
と下位レイヤキー信号のビットストリームに分解し、符
号化された上位レイヤ画像信号と下位レイヤ画像信号の
ビットストリームを画像信号復号部６６に供給し、符号
化された上位レイヤキー信号と下位レイヤキー信号（キ
ー情報）のビットストリームをキー信号復号部６７に供
給する。画像信号復号部６６は、符号化された上位レイ
ヤ画像信号と下位レイヤ画像信号を図４２に示されるス
ケーラブル復号方法により復号し、エンコーダの画像信
号符号化部６１の入力信号に対応する上位レイヤ画像信
号と下位レイヤ画像信号を生成し、再生画像として出力
する。また、キー信号復号部６７は、符号化された上位
レイヤキー信号及び下位レイヤキー信号を後述するスケ
ーラブル復号方法により復号し、エンコーダのキー信号
符号化部６２の入力信号に対応する上位レイヤキー信号
及び下位レイヤキー信号を生成して出力する。なお、キ
ー信号符号化部６２において、上位レイヤキー信号と下
位レイヤキー信号が動きベクトルを用いて動き補償され
て符号化されている場合、キー信号復号部６７は、画像
信号復号部６６からの動きベクトルを用いて上位レイヤ
キー信号と下位レイヤキー信号を動き補償することによ
り、上位レイヤキー信号と下位レイヤキー信号が復号さ
れる。
ットストリームは、逆多重化部６５に供給される。逆多
重化部６５は、符号化された上位レイヤ画像信号と下位
レイヤ画像信号（動きベクトル及びテクスチャ情報）の
ビットストリーム及び符号化された上位レイヤキー信号
と下位レイヤキー信号のビットストリームに分解し、符
号化された上位レイヤ画像信号と下位レイヤ画像信号の
ビットストリームを画像信号復号部６６に供給し、符号
化された上位レイヤキー信号と下位レイヤキー信号（キ
ー情報）のビットストリームをキー信号復号部６７に供
給する。画像信号復号部６６は、符号化された上位レイ
ヤ画像信号と下位レイヤ画像信号を図４２に示されるス
ケーラブル復号方法により復号し、エンコーダの画像信
号符号化部６１の入力信号に対応する上位レイヤ画像信
号と下位レイヤ画像信号を生成し、再生画像として出力
する。また、キー信号復号部６７は、符号化された上位
レイヤキー信号及び下位レイヤキー信号を後述するスケ
ーラブル復号方法により復号し、エンコーダのキー信号
符号化部６２の入力信号に対応する上位レイヤキー信号
及び下位レイヤキー信号を生成して出力する。なお、キ
ー信号符号化部６２において、上位レイヤキー信号と下
位レイヤキー信号が動きベクトルを用いて動き補償され
て符号化されている場合、キー信号復号部６７は、画像
信号復号部６６からの動きベクトルを用いて上位レイヤ
キー信号と下位レイヤキー信号を動き補償することによ
り、上位レイヤキー信号と下位レイヤキー信号が復号さ
れる。
【００９０】次に、ＶＯＰ１符号化部３３のキー信号ス
ケーラブル符号化装置を図９を用いて説明する。図９は
空間スケーラビリティの場合の符号化装置である。スケ
ーラビリティにも空間スケーラビリティの他にもテンポ
ラルスケーラビリティや SNRスケーラビリティなどがあ
るが、ここでは空間スケーラビリティについて説明す
る。
ケーラブル符号化装置を図９を用いて説明する。図９は
空間スケーラビリティの場合の符号化装置である。スケ
ーラビリティにも空間スケーラビリティの他にもテンポ
ラルスケーラビリティや SNRスケーラビリティなどがあ
るが、ここでは空間スケーラビリティについて説明す
る。
【００９１】下位レイヤキー信号は小さい画像サイズに
対応するキー信号であり、上位レイヤのキー信号は画像
サイズの大きい上位レイヤの画像に対応するキー信号で
ある。
対応するキー信号であり、上位レイヤのキー信号は画像
サイズの大きい上位レイヤの画像に対応するキー信号で
ある。
【００９２】ここで、キー信号のフォーマットについて
説明しておく。キー信号は画像サイズの各画素（輝度信
号）ごとに１つの値を持つ。したがって、キー信号の大
きさは対応する画像の輝度信号の大きさと同じである。
また、キー信号には、ソフトキーとハードキーの２種類
が存在する。ハードキーの場合、物体を抽出した領域は
１であり、その他の背景領域は０の値をとる。よって、
ハードキーは上記の通り２値の信号である。これに対し
て、ソフトキーは連続値を取りうる。例えば、８ビット
のソフトキーの場合、物体を抽出した領域は２５５の値
であり、また物体の存在しない領域（背景領域）は０の
値となり、その中間のエッジ領域ではその中間の値を取
る。
説明しておく。キー信号は画像サイズの各画素（輝度信
号）ごとに１つの値を持つ。したがって、キー信号の大
きさは対応する画像の輝度信号の大きさと同じである。
また、キー信号には、ソフトキーとハードキーの２種類
が存在する。ハードキーの場合、物体を抽出した領域は
１であり、その他の背景領域は０の値をとる。よって、
ハードキーは上記の通り２値の信号である。これに対し
て、ソフトキーは連続値を取りうる。例えば、８ビット
のソフトキーの場合、物体を抽出した領域は２５５の値
であり、また物体の存在しない領域（背景領域）は０の
値となり、その中間のエッジ領域ではその中間の値を取
る。
【００９３】本実施例の場合において、キー信号は８ビ
ットである場合について説明する。ハードキーの場合、
まず、２値のハードキーを８ビットのキー信号に拡張す
る。これは、ハードキーの１の値は２５５の値となり、
０の値はそのままの０の値となる。以後、本発明は、ソ
フトキー及びハードキーのいずれの場合にも適用可能で
ある。
ットである場合について説明する。ハードキーの場合、
まず、２値のハードキーを８ビットのキー信号に拡張す
る。これは、ハードキーの１の値は２５５の値となり、
０の値はそのままの０の値となる。以後、本発明は、ソ
フトキー及びハードキーのいずれの場合にも適用可能で
ある。
【００９４】図９を用いて、キー信号のスケーラブル符
号化について説明する。下位レイヤキー信号は、下位レ
イヤキー信号のためのキー信号符号化部７０に供給され
る。キー信号符号化部７０は、後述する符号化方法によ
り、下位レイヤキー信号を符号化する。
号化について説明する。下位レイヤキー信号は、下位レ
イヤキー信号のためのキー信号符号化部７０に供給され
る。キー信号符号化部７０は、後述する符号化方法によ
り、下位レイヤキー信号を符号化する。
【００９５】そして、下位レイヤキービットストリーム
は符号化データとして出力される。また、キー信号符号
化部７０は、ローカルデコードされた下位レイヤキー信
号をキー信号拡大部７４に供給し、キー信号拡大部７４
は、後述する方法を用いて、下位レイヤキー信号を上位
レイヤキー信号の大きさに拡大する。
は符号化データとして出力される。また、キー信号符号
化部７０は、ローカルデコードされた下位レイヤキー信
号をキー信号拡大部７４に供給し、キー信号拡大部７４
は、後述する方法を用いて、下位レイヤキー信号を上位
レイヤキー信号の大きさに拡大する。
【００９６】また、上位レイヤキー信号は、遅延部７１
を介して演算器７２に供給される。この遅延部７１は、
下位レイヤキー信号の符号化処理に対応する時間だけ上
位レイヤキー信号を遅延する。演算器７２は、上位レイ
ヤキー信号とキー信号拡大部７４からの予測参照キー信
号との差分を演算し、キー差分信号を上位レイヤキー信
号のためのキー信号符号化部（キー差分信号符号化部）
７３に供給する。ただし、演算器７２は、上述したよう
に、インター予測符号化の場合、キー差分信号を生成す
るが、イントラ予測符号化の場合には、演算器７２の入
力キー信号がそのまま出力される。
を介して演算器７２に供給される。この遅延部７１は、
下位レイヤキー信号の符号化処理に対応する時間だけ上
位レイヤキー信号を遅延する。演算器７２は、上位レイ
ヤキー信号とキー信号拡大部７４からの予測参照キー信
号との差分を演算し、キー差分信号を上位レイヤキー信
号のためのキー信号符号化部（キー差分信号符号化部）
７３に供給する。ただし、演算器７２は、上述したよう
に、インター予測符号化の場合、キー差分信号を生成す
るが、イントラ予測符号化の場合には、演算器７２の入
力キー信号がそのまま出力される。
【００９７】キー差分信号符号化部７３は、供給された
キー差分信号（イントラ予測符号化の場合、入力キー信
号になる）を後述する符号化方法を用いて符号化する。
そして、上位レイヤキー信号ビットストリームが、符号
化データとして出力される。また、キー信号符号化部７
３は、ローカルデコードされた上位レイヤキー信号をキ
ー信号拡大部７４に供給し、キー信号拡大部７４は、後
述する方法を用いて、上位レイヤキー信号と拡大された
下位レイヤキー信号から予測参照キー信号を生成して、
演算器７２に供給する。
キー差分信号（イントラ予測符号化の場合、入力キー信
号になる）を後述する符号化方法を用いて符号化する。
そして、上位レイヤキー信号ビットストリームが、符号
化データとして出力される。また、キー信号符号化部７
３は、ローカルデコードされた上位レイヤキー信号をキ
ー信号拡大部７４に供給し、キー信号拡大部７４は、後
述する方法を用いて、上位レイヤキー信号と拡大された
下位レイヤキー信号から予測参照キー信号を生成して、
演算器７２に供給する。
【００９８】次に、キー信号のスケーラブル復号につい
て図１０を用いて説明する。下位レイヤキービットスト
リームは、キー信号復号部７５に供給される。キー信号
復号部７５は、下位レイヤキービットストリームを後述
する方法によって復号し、復号された下位レイヤキー信
号を出力する。また、この復元された下位レイヤキー信
号は、キー信号拡大部７８に供給される。キー信号拡大
部７８は、下位レイヤキー信号を上位レイヤキー信号の
大きさに拡大する。さらに、この復元された下位レイヤ
キー信号は、予測キー信号としてキー信号符号化装置７
５にも供給される。
て図１０を用いて説明する。下位レイヤキービットスト
リームは、キー信号復号部７５に供給される。キー信号
復号部７５は、下位レイヤキービットストリームを後述
する方法によって復号し、復号された下位レイヤキー信
号を出力する。また、この復元された下位レイヤキー信
号は、キー信号拡大部７８に供給される。キー信号拡大
部７８は、下位レイヤキー信号を上位レイヤキー信号の
大きさに拡大する。さらに、この復元された下位レイヤ
キー信号は、予測キー信号としてキー信号符号化装置７
５にも供給される。
【００９９】一方、上位レイヤキービットストリーム
は、キー差分信号復号部７６に供給される。キー差分信
号復号部７６は、後述する復号方法によって上位レイヤ
キービットストリームを復号し、キー差分信号を演算部
７７に供給する。演算部７７は、キー差分信号とキー信
号拡大部からの予測参照キー信号を加算し、上位レイヤ
キー信号を出力する。ただし、キー差分信号復号部７６
からの出力信号が、イントラ予測符号化されていたキー
信号の場合は、そのキー信号が演算部７７からそのまま
上位レイヤキー信号として出力される。
は、キー差分信号復号部７６に供給される。キー差分信
号復号部７６は、後述する復号方法によって上位レイヤ
キービットストリームを復号し、キー差分信号を演算部
７７に供給する。演算部７７は、キー差分信号とキー信
号拡大部からの予測参照キー信号を加算し、上位レイヤ
キー信号を出力する。ただし、キー差分信号復号部７６
からの出力信号が、イントラ予測符号化されていたキー
信号の場合は、そのキー信号が演算部７７からそのまま
上位レイヤキー信号として出力される。
【０１００】また、その上位レイヤキー信号は、キー信
号拡大部７８に供給される。キー信号拡大部７８は、上
位レイヤキー信号と拡大された下位レイヤキー信号とか
ら上位レイヤキー信号のための予測参照キー信号を生成
して、演算部７７に供給する。
号拡大部７８に供給される。キー信号拡大部７８は、上
位レイヤキー信号と拡大された下位レイヤキー信号とか
ら上位レイヤキー信号のための予測参照キー信号を生成
して、演算部７７に供給する。
【０１０１】（１）キー信号のスケーラブル符号化にお
ける第１の実施例 次に、キー信号のスケーラブル符号化の詳細について第
１の実施例について図１１を用いて説明する。第１の実
施例は、キー信号を画像信号の場合と同様のスケーラブ
ル符号化方式により符号化する。まず、入力された下位
レイヤキー信号は、フレームメモリ３０１を介して演算
器３０３に供給される。動き補償回路３１２は、図５の
画像信号符号化部５１より供給される下位レイヤ画像信
号の動きベクトル及び予測モードに従って予測参照キー
信号を生成し、演算器３０３及び演算器３１０に供給す
る。下位レイヤキー信号はこの場合画像信号の場合と同
様にマクロブロック単位で符号化が行われる。なお、こ
の第１の実施例の場合、背景画像信号及び前景画像信号
と同一のスケーラブル符号化及び復号方法が用いられて
いる。
ける第１の実施例 次に、キー信号のスケーラブル符号化の詳細について第
１の実施例について図１１を用いて説明する。第１の実
施例は、キー信号を画像信号の場合と同様のスケーラブ
ル符号化方式により符号化する。まず、入力された下位
レイヤキー信号は、フレームメモリ３０１を介して演算
器３０３に供給される。動き補償回路３１２は、図５の
画像信号符号化部５１より供給される下位レイヤ画像信
号の動きベクトル及び予測モードに従って予測参照キー
信号を生成し、演算器３０３及び演算器３１０に供給す
る。下位レイヤキー信号はこの場合画像信号の場合と同
様にマクロブロック単位で符号化が行われる。なお、こ
の第１の実施例の場合、背景画像信号及び前景画像信号
と同一のスケーラブル符号化及び復号方法が用いられて
いる。
【０１０２】演算器３０３は、予測モードがフレーム内
マクロブロック（イントラマクロブロック、つまり、イ
ントラ予測符号化を行うマクロブロックである）の場
合、入力される下位レイヤキー信号をそのまま ＤＣＴ
回路３０４に供給する。その他（インターマクロブロッ
ク、つまり、インター予測符号化を行うマクロブロッ
ク）の場合、演算器３０３は、入力下位レイヤキー信号
と動き補償回路３１２から供給される予測参照キー信号
との差分を演算し、ＤＣＴ回路３０４に供給する。ＤＣ
Ｔ回路３０４は、キー信号差分信号（イントラ予測符号
化の場合は入力キー信号）をＤＣＴ処理し、ＤＣＴ係数
を生成し、そのＤＣＴ係数を量子化回路３０５に供給す
る。量子化回路３０５は、送信バッファ３０７からのバ
ッファフィードバック情報により決定される量子化スケ
ールに従って、マクロブロック単位でＤＣＴ係数を量子
化して、量子化されたＤＣＴ係数を可変長符号化回路３
０６に供給する。可変長符号化回路３０６は、供給され
た量子化されたＤＣＴ係数を可変長符号化し、送信バッ
ファ３０７に供給する。送信バッファ３０７は、可変長
符号化された下位レイヤキー信号を一時的に蓄積し、下
位レイヤキー信号ビットストリームとして出力する。ま
た、可変長符号化回路３０６には、量子化回路３０５よ
り量子化スケールが供給され、この量子化ステップも可
変長符号化される。
マクロブロック（イントラマクロブロック、つまり、イ
ントラ予測符号化を行うマクロブロックである）の場
合、入力される下位レイヤキー信号をそのまま ＤＣＴ
回路３０４に供給する。その他（インターマクロブロッ
ク、つまり、インター予測符号化を行うマクロブロッ
ク）の場合、演算器３０３は、入力下位レイヤキー信号
と動き補償回路３１２から供給される予測参照キー信号
との差分を演算し、ＤＣＴ回路３０４に供給する。ＤＣ
Ｔ回路３０４は、キー信号差分信号（イントラ予測符号
化の場合は入力キー信号）をＤＣＴ処理し、ＤＣＴ係数
を生成し、そのＤＣＴ係数を量子化回路３０５に供給す
る。量子化回路３０５は、送信バッファ３０７からのバ
ッファフィードバック情報により決定される量子化スケ
ールに従って、マクロブロック単位でＤＣＴ係数を量子
化して、量子化されたＤＣＴ係数を可変長符号化回路３
０６に供給する。可変長符号化回路３０６は、供給され
た量子化されたＤＣＴ係数を可変長符号化し、送信バッ
ファ３０７に供給する。送信バッファ３０７は、可変長
符号化された下位レイヤキー信号を一時的に蓄積し、下
位レイヤキー信号ビットストリームとして出力する。ま
た、可変長符号化回路３０６には、量子化回路３０５よ
り量子化スケールが供給され、この量子化ステップも可
変長符号化される。
【０１０３】量子化回路３０５からの量子化されたＤＣ
Ｔ係数は、逆量子化回路３０８にも供給される。逆量子
化回路３０８は、量子化回路３０５で用いた量子化スケ
ールを用いて逆量子化し、ＤＣＴ回路３０４の出力信号
に対応するＤＣＴ係数を逆ＤＣＴ回路３０９に供給す
る。逆ＤＣＴ回路３０９は、供給されたＤＣＴ係数を逆
ＤＣＴ処理し、演算器３０３の出力信号に対応するキー
差分信号を演算器３１０に供給する。演算器３１０は、
動き補償回路３１２からの予測参照キー信号と逆ＤＣＴ
回路３０９からのキー差分信号を加算してフレームメモ
リ３１１に、予測キー信号（Ｉピクチャ及びＰピクチャ
の場合）として供給する。なお、逆ＤＣＴ回路３０９の
出力信号が、イントラ予測符号化されたキー信号である
場合は、そのキー信号が演算器３１０からそのまま出力
される。フレームメモリ３１１は、演算器３１０からの
予測キー信号を所定の領域に記憶し、この後符号化する
キー信号の予測参照キー信号として使用される。
Ｔ係数は、逆量子化回路３０８にも供給される。逆量子
化回路３０８は、量子化回路３０５で用いた量子化スケ
ールを用いて逆量子化し、ＤＣＴ回路３０４の出力信号
に対応するＤＣＴ係数を逆ＤＣＴ回路３０９に供給す
る。逆ＤＣＴ回路３０９は、供給されたＤＣＴ係数を逆
ＤＣＴ処理し、演算器３０３の出力信号に対応するキー
差分信号を演算器３１０に供給する。演算器３１０は、
動き補償回路３１２からの予測参照キー信号と逆ＤＣＴ
回路３０９からのキー差分信号を加算してフレームメモ
リ３１１に、予測キー信号（Ｉピクチャ及びＰピクチャ
の場合）として供給する。なお、逆ＤＣＴ回路３０９の
出力信号が、イントラ予測符号化されたキー信号である
場合は、そのキー信号が演算器３１０からそのまま出力
される。フレームメモリ３１１は、演算器３１０からの
予測キー信号を所定の領域に記憶し、この後符号化する
キー信号の予測参照キー信号として使用される。
【０１０４】また、演算器３１０からの下位レイヤ予測
キー信号は、キー信号拡大回路３１３に供給される。キ
ー信号拡大回路３１３は、下位レイヤ予測キー信号を上
位レイヤキー信号と同一の大きさに拡大した後、上位レ
イヤキー信号の予測参照キー信号に用いられる。画像信
号拡大回路３１３からの拡大された下位レイヤの予測キ
ー信号は、重み付加回路３１４に供給される。重み付加
回路３１４は、拡大された下位レイヤの予測キー信号に
重み（１−Ｗ）を乗算し、重み付けされた下位レイヤ予
測参照キー信号を演算器３２８に供給する。
キー信号は、キー信号拡大回路３１３に供給される。キ
ー信号拡大回路３１３は、下位レイヤ予測キー信号を上
位レイヤキー信号と同一の大きさに拡大した後、上位レ
イヤキー信号の予測参照キー信号に用いられる。画像信
号拡大回路３１３からの拡大された下位レイヤの予測キ
ー信号は、重み付加回路３１４に供給される。重み付加
回路３１４は、拡大された下位レイヤの予測キー信号に
重み（１−Ｗ）を乗算し、重み付けされた下位レイヤ予
測参照キー信号を演算器３２８に供給する。
【０１０５】一方、上位レイヤキー信号は、メモリから
なる遅延回路３１５を介して演算器３１７に供給され
る。なお、この遅延回路３１５は、上位レイヤキー信号
に対する下位レイヤキー信号の符号化処理の時間分だけ
上位レイヤキー信号を遅延する。動き補償回路３２６
は、図７に示される画像信号符号化装置より供給される
上位レイヤ画像信号の動きベクトル及び予測モードに従
って、上位レイヤキー信号の予測参照キー信号を生成
し、重み付加回路３２７に供給する。重み付加回路３２
７では上位レイヤキー信号の予測参照キー信号に対して
重みＷを乗算し、演算器３２８に供給する。
なる遅延回路３１５を介して演算器３１７に供給され
る。なお、この遅延回路３１５は、上位レイヤキー信号
に対する下位レイヤキー信号の符号化処理の時間分だけ
上位レイヤキー信号を遅延する。動き補償回路３２６
は、図７に示される画像信号符号化装置より供給される
上位レイヤ画像信号の動きベクトル及び予測モードに従
って、上位レイヤキー信号の予測参照キー信号を生成
し、重み付加回路３２７に供給する。重み付加回路３２
７では上位レイヤキー信号の予測参照キー信号に対して
重みＷを乗算し、演算器３２８に供給する。
【０１０６】演算器３２８は、重み付加回路３１４から
の重み付けされた下位レイヤ予測参照キー信号と演算器
３２７からの重み付けされた上位レイヤ予測参照キー信
号を加算し、上位レイヤキー信号のための予測参照キー
信号として演算器３１７に供給する。演算器３２８から
の予測参照キー信号は、演算器３２４にも供給される。
演算器３２４は、逆ＤＣＴ回路３２３からのキー差分信
号と予測参照キー信号を加算し、予測キー信号としてフ
レームメモリ３２５に供給され、この後符号化される上
位レイヤキー信号の予測参照キー信号として用いられ
る。
の重み付けされた下位レイヤ予測参照キー信号と演算器
３２７からの重み付けされた上位レイヤ予測参照キー信
号を加算し、上位レイヤキー信号のための予測参照キー
信号として演算器３１７に供給する。演算器３２８から
の予測参照キー信号は、演算器３２４にも供給される。
演算器３２４は、逆ＤＣＴ回路３２３からのキー差分信
号と予測参照キー信号を加算し、予測キー信号としてフ
レームメモリ３２５に供給され、この後符号化される上
位レイヤキー信号の予測参照キー信号として用いられ
る。
【０１０７】演算器３１７は、符号化する上位レイヤキ
ー信号と演算器３２８からの予測参照キー信号との差分
を演算し、上位レイヤキー差分信号をＤＣＴ回路３１８
に供給する。ただし、入力される上位レイヤキー信号が
フレーム内符号化マクロブロック（イントラ予測符化さ
れるマクロブロック）の場合、演算器３１７は符号化す
る上位レイヤキー信号をそのままＤＣＴ回路３１８に供
給する。ＤＣＴ回路３１８は、演算器３１７からの上位
レイヤキー差分信号（イントラ予測符号化の場合は、入
力された上位レイヤキー信号）をＤＣＴ（離散コサイン
変換）処理し、ＤＣＴ係数を生成して、量子化回路３１
９に供給する。量子化回路３１９は、送信バッファ２１
のデータ蓄積量などから決定された量子化スケールに従
って、ＤＣＴ係数を量子化し、量子化されたＤＣＴ係数
を可変長符号化回路３２０に供給する。可変長符号化回
路３２０は、量子化されたＤＣＴ係数を可変長符号化し
た後、可変長符号化された信号を送信バッファ３２１に
供給し、送信バッファ３２１は、その信号を一時的に蓄
積して、上位レイヤキー信号ビットストリームとして出
力する。また、可変長符号化回路３２０には、量子化回
路３１９で用いた量子化スケール、重み付加回路３１４
及び３２７で用いた重み Wが供給され、それぞれ可変長
符号化される。
ー信号と演算器３２８からの予測参照キー信号との差分
を演算し、上位レイヤキー差分信号をＤＣＴ回路３１８
に供給する。ただし、入力される上位レイヤキー信号が
フレーム内符号化マクロブロック（イントラ予測符化さ
れるマクロブロック）の場合、演算器３１７は符号化す
る上位レイヤキー信号をそのままＤＣＴ回路３１８に供
給する。ＤＣＴ回路３１８は、演算器３１７からの上位
レイヤキー差分信号（イントラ予測符号化の場合は、入
力された上位レイヤキー信号）をＤＣＴ（離散コサイン
変換）処理し、ＤＣＴ係数を生成して、量子化回路３１
９に供給する。量子化回路３１９は、送信バッファ２１
のデータ蓄積量などから決定された量子化スケールに従
って、ＤＣＴ係数を量子化し、量子化されたＤＣＴ係数
を可変長符号化回路３２０に供給する。可変長符号化回
路３２０は、量子化されたＤＣＴ係数を可変長符号化し
た後、可変長符号化された信号を送信バッファ３２１に
供給し、送信バッファ３２１は、その信号を一時的に蓄
積して、上位レイヤキー信号ビットストリームとして出
力する。また、可変長符号化回路３２０には、量子化回
路３１９で用いた量子化スケール、重み付加回路３１４
及び３２７で用いた重み Wが供給され、それぞれ可変長
符号化される。
【０１０８】量子化回路３１９からの量子化されたＤＣ
Ｔ係数は、逆量子化回路３２２に供給される。逆量子化
回路３２２は、量子化されたＤＣＴ係数を量子化回路３
１９で用いた量子化スケールで逆量子化し、ＤＣＴ回路
３１８の出力信号に対応するＤＣＴ係数を生成し、その
ＤＣＴ係数を逆ＤＣＴ回路３２３に供給する。逆ＤＣＴ
回路３２３は、供給されたＤＣＴ係数を逆ＤＣＴ処理し
て、演算器３１７の出力信号に対応するキー差分信号を
生成し、演算器３２４に供給する。演算器３２４は、演
算器３２８からのキー差分信号と逆ＤＣＴ回路３２３か
らの予測参照キー信号を加算し、上位レイヤキー信号の
ための予測キー信号としてフレームメモリ３２５に供給
する。なお、逆ＤＣＴ回路３２３からの出力信号が、イ
ントラ予測符号化されたキー信号である場合は、そのキ
ー信号が演算器３２４からそのまま出力される。
Ｔ係数は、逆量子化回路３２２に供給される。逆量子化
回路３２２は、量子化されたＤＣＴ係数を量子化回路３
１９で用いた量子化スケールで逆量子化し、ＤＣＴ回路
３１８の出力信号に対応するＤＣＴ係数を生成し、その
ＤＣＴ係数を逆ＤＣＴ回路３２３に供給する。逆ＤＣＴ
回路３２３は、供給されたＤＣＴ係数を逆ＤＣＴ処理し
て、演算器３１７の出力信号に対応するキー差分信号を
生成し、演算器３２４に供給する。演算器３２４は、演
算器３２８からのキー差分信号と逆ＤＣＴ回路３２３か
らの予測参照キー信号を加算し、上位レイヤキー信号の
ための予測キー信号としてフレームメモリ３２５に供給
する。なお、逆ＤＣＴ回路３２３からの出力信号が、イ
ントラ予測符号化されたキー信号である場合は、そのキ
ー信号が演算器３２４からそのまま出力される。
【０１０９】次に図１２を用いてキー信号スケーラブル
復号装置の一例を説明する。図１２は、空間スケーラビ
リティの復号装置である。
復号装置の一例を説明する。図１２は、空間スケーラビ
リティの復号装置である。
【０１１０】下位レイヤキー信号ビットストリームは、
受信バッファ４０１に一時記憶された後、可変長復号回
路４０２に供給される。可変長復号回路４０２は、受信
バッファ４０１より供給された可変長符号化された下位
レイヤキー信号を可変長復号し、量子化スケールを逆量
子化回路４０３に供給し、可変長復号された下位レイヤ
キー信号のための量子化されたＤＣＴ係数を逆量子化回
路４０３に供給する。この可変長復号された下位レイヤ
キー信号のための量子化されたＤＣＴ係数は、図１１の
スケーラブル符号化装置の量子化回路３０５の出力信号
に対応する。
受信バッファ４０１に一時記憶された後、可変長復号回
路４０２に供給される。可変長復号回路４０２は、受信
バッファ４０１より供給された可変長符号化された下位
レイヤキー信号を可変長復号し、量子化スケールを逆量
子化回路４０３に供給し、可変長復号された下位レイヤ
キー信号のための量子化されたＤＣＴ係数を逆量子化回
路４０３に供給する。この可変長復号された下位レイヤ
キー信号のための量子化されたＤＣＴ係数は、図１１の
スケーラブル符号化装置の量子化回路３０５の出力信号
に対応する。
【０１１１】逆量子化回路４０３は、可変長復号回路４
０２より供給された量子化されたＤＣＴ係数を、同じく
可変長復号化回路４０２より供給された量子化スケール
に従って逆量子化し、図１１に示されるスケーラブル符
号化装置のＤＣＴ回路３０４の出力信号に対応するＤＣ
Ｔ係数を逆ＤＣＴ回路４０４に供給する。ＩＤＣＴ回路
４０４は、供給されたＤＣＴ係数を逆ＤＣＴ処理し、キ
ー差分信号を演算器４０５に供給する。演算器４０５
は、供給されたキー差分信号と動き補償回路４０７から
の予測参照キー信号を加算し、下位レイヤキー信号を再
生キー信号として出力する。ただし、逆ＤＣＴ回路４０
４からの出力信号がイントラ予測符号化されているキー
信号の場合は、そのキー信号が演算器４０５からそのま
ま再生キー信号（下位レイヤキー信号）として出力され
る。
０２より供給された量子化されたＤＣＴ係数を、同じく
可変長復号化回路４０２より供給された量子化スケール
に従って逆量子化し、図１１に示されるスケーラブル符
号化装置のＤＣＴ回路３０４の出力信号に対応するＤＣ
Ｔ係数を逆ＤＣＴ回路４０４に供給する。ＩＤＣＴ回路
４０４は、供給されたＤＣＴ係数を逆ＤＣＴ処理し、キ
ー差分信号を演算器４０５に供給する。演算器４０５
は、供給されたキー差分信号と動き補償回路４０７から
の予測参照キー信号を加算し、下位レイヤキー信号を再
生キー信号として出力する。ただし、逆ＤＣＴ回路４０
４からの出力信号がイントラ予測符号化されているキー
信号の場合は、そのキー信号が演算器４０５からそのま
ま再生キー信号（下位レイヤキー信号）として出力され
る。
【０１１２】さらに、逆ＤＣＴ回路４０４より供給され
たキー信号がＩピクチャの場合、そのキー信号は、上述
したように演算器４０５よりそのまま出力され、この後
に復号されるキー信号（Ｐピクチャ又はＢピクチャの信
号）の予測参照キー信号を生成するために、フレームメ
モリ４０６に供給されて、記憶される。
たキー信号がＩピクチャの場合、そのキー信号は、上述
したように演算器４０５よりそのまま出力され、この後
に復号されるキー信号（Ｐピクチャ又はＢピクチャの信
号）の予測参照キー信号を生成するために、フレームメ
モリ４０６に供給されて、記憶される。
【０１１３】また、キー信号がＰピクチャ又はＢピクチ
ャの場合、つまり、上述したように、逆ＤＣＴ回路４０
４からのキー信号がキー差分信号である場合、動き補償
回路４０７は、図８に示されるように画像信号復号部５
６から供給される下位レイヤ画像信号の動きベクトル及
び予測モードに従って、下位レイヤのための予測参照キ
ー信号を生成し、演算器４０５に供給する。演算器４０
５は、上述したように、ＩＤＣＴ回路４０４からのキー
差分信号と動き補償回路４０７からの予測参照キー信号
を加算して、下位レイヤキー信号を生成し、再生キー信
号として出力する。また、キー差分信号がＰピクチャの
場合、演算器４０５からの下位レイヤキー信号は、フレ
ームメモリ４０６に供給されて、フレームメモリ４０６
はその下位レイヤキー信号を記憶し、次に復号されるキ
ー信号の予測参照キー信号として使用される。
ャの場合、つまり、上述したように、逆ＤＣＴ回路４０
４からのキー信号がキー差分信号である場合、動き補償
回路４０７は、図８に示されるように画像信号復号部５
６から供給される下位レイヤ画像信号の動きベクトル及
び予測モードに従って、下位レイヤのための予測参照キ
ー信号を生成し、演算器４０５に供給する。演算器４０
５は、上述したように、ＩＤＣＴ回路４０４からのキー
差分信号と動き補償回路４０７からの予測参照キー信号
を加算して、下位レイヤキー信号を生成し、再生キー信
号として出力する。また、キー差分信号がＰピクチャの
場合、演算器４０５からの下位レイヤキー信号は、フレ
ームメモリ４０６に供給されて、フレームメモリ４０６
はその下位レイヤキー信号を記憶し、次に復号されるキ
ー信号の予測参照キー信号として使用される。
【０１１４】演算器４０５からの下位レイヤキー信号
は、外部に出力され、またフレームメモリ４０６に蓄え
られてこれ以後に復号するキー信号の予測参照キー信号
として用いられるだけでなく、キー信号拡大回路４０８
により上位レイヤキー信号と同一のサイズに拡大された
後、上位レイヤキー信号の予測参照キー信号としても使
用される。
は、外部に出力され、またフレームメモリ４０６に蓄え
られてこれ以後に復号するキー信号の予測参照キー信号
として用いられるだけでなく、キー信号拡大回路４０８
により上位レイヤキー信号と同一のサイズに拡大された
後、上位レイヤキー信号の予測参照キー信号としても使
用される。
【０１１５】上位レイヤキー信号ビットストリームは、
受信バッファ４０９を介して可変長復号回路４１０に供
給される。可変長復号回路４１０は、可変長符号化され
た上位レイヤキー信号を可変長復号し、量子化されたＤ
ＣＴ係数とともに、量子化スケール及び重み係数を復号
する。可変長復号回路４１０からの量子化されたＤＣＴ
係数は、逆量子化回路４１１に供給される。逆量子化回
路４１１は、同じく可変長復号回路から供給された量子
化スケールを用いて、量子化されたＤＣＴ係数を逆量子
化し、図１１に示されるスケーラブル符号化装置のＤＣ
Ｔ回路３１８の出力信号に対応するＤＣＴ係数を逆ＤＣ
Ｔ回路４１２に供給する。逆ＤＣＴ回路４１２は、供給
されたＤＣＴ係数を逆ＤＣＴ処理し、図１１に示される
スケーラブル符号化装置の演算器３１７の出力信号に対
応するキー差分信号（イントラ予測符号化された場合
は、キー信号）を演算器４１３に供給する。
受信バッファ４０９を介して可変長復号回路４１０に供
給される。可変長復号回路４１０は、可変長符号化され
た上位レイヤキー信号を可変長復号し、量子化されたＤ
ＣＴ係数とともに、量子化スケール及び重み係数を復号
する。可変長復号回路４１０からの量子化されたＤＣＴ
係数は、逆量子化回路４１１に供給される。逆量子化回
路４１１は、同じく可変長復号回路から供給された量子
化スケールを用いて、量子化されたＤＣＴ係数を逆量子
化し、図１１に示されるスケーラブル符号化装置のＤＣ
Ｔ回路３１８の出力信号に対応するＤＣＴ係数を逆ＤＣ
Ｔ回路４１２に供給する。逆ＤＣＴ回路４１２は、供給
されたＤＣＴ係数を逆ＤＣＴ処理し、図１１に示される
スケーラブル符号化装置の演算器３１７の出力信号に対
応するキー差分信号（イントラ予測符号化された場合
は、キー信号）を演算器４１３に供給する。
【０１１６】動き補償回路４１５は、図８に示される画
像信号復号部から供給された上位レイヤ画像信号の動き
ベクトル及び予測モードに従って、上位レイヤキー信号
のための予測参照キー信号を生成し、重み付加回路４１
６に供給する。重み付加回路４１６は、その予測参照キ
ー信号を可変長復号回路４１０から供給された重みＷに
乗算し、重み付けされた上位レイヤ予測参照キー信号を
演算器４１８に供給する。また、キー信号拡大回路４０
８からの拡大された下位レイヤの予測参照キー信号は、
重み付加回路４１７に供給される。重み付加回路４１７
は、可変長復号回路４１０からの重みＷを用いて、その
拡大された下位レイヤの予測参照キー信号に（１−Ｗ）
を乗算し、重み付けされた下位レイヤ予測参照キー信号
を演算器４１８に供給する。
像信号復号部から供給された上位レイヤ画像信号の動き
ベクトル及び予測モードに従って、上位レイヤキー信号
のための予測参照キー信号を生成し、重み付加回路４１
６に供給する。重み付加回路４１６は、その予測参照キ
ー信号を可変長復号回路４１０から供給された重みＷに
乗算し、重み付けされた上位レイヤ予測参照キー信号を
演算器４１８に供給する。また、キー信号拡大回路４０
８からの拡大された下位レイヤの予測参照キー信号は、
重み付加回路４１７に供給される。重み付加回路４１７
は、可変長復号回路４１０からの重みＷを用いて、その
拡大された下位レイヤの予測参照キー信号に（１−Ｗ）
を乗算し、重み付けされた下位レイヤ予測参照キー信号
を演算器４１８に供給する。
【０１１７】演算器４１８は、重み付加回路４１７から
重み付けされた下位レイヤ予測参照キー信号と重み付加
回路４１６からの重み付けされた上位レイヤ予測参照キ
ー信号を加算し、上記レイヤキー信号のための予測参照
キー信号を演算器４１３に供給する。演算器４１３は、
逆ＤＣＴ回路４１２からのキー差分信号（インター予測
符号化の場合）と演算器４１７の予測参照キー信号を加
算して、上位レイヤキー信号として出力される。ただ
し、逆ＤＣＴ回路４１２からの出力信号がイントラ予測
符号化された場合のキー信号である場合は、そのキー信
号が演算器４１２からそのまま上位レイヤキー信号とし
て出力される。また、演算器４１３からの上位レイヤキ
ー信号がＩピクチャ若しくはＰピクチャの場合は、この
上位レイヤキー信号は、フレームメモリ４１４に供給さ
れる。フレームメモリ４１４は、上位レイヤキー信号を
記憶してこの後に復号する上位レイヤキー信号の予測参
照キー信号として使用する。
重み付けされた下位レイヤ予測参照キー信号と重み付加
回路４１６からの重み付けされた上位レイヤ予測参照キ
ー信号を加算し、上記レイヤキー信号のための予測参照
キー信号を演算器４１３に供給する。演算器４１３は、
逆ＤＣＴ回路４１２からのキー差分信号（インター予測
符号化の場合）と演算器４１７の予測参照キー信号を加
算して、上位レイヤキー信号として出力される。ただ
し、逆ＤＣＴ回路４１２からの出力信号がイントラ予測
符号化された場合のキー信号である場合は、そのキー信
号が演算器４１２からそのまま上位レイヤキー信号とし
て出力される。また、演算器４１３からの上位レイヤキ
ー信号がＩピクチャ若しくはＰピクチャの場合は、この
上位レイヤキー信号は、フレームメモリ４１４に供給さ
れる。フレームメモリ４１４は、上位レイヤキー信号を
記憶してこの後に復号する上位レイヤキー信号の予測参
照キー信号として使用する。
【０１１８】また、以上においては、輝度信号に係るキ
ー信号の処理について説明したが、色差信号に係るキー
信号の処理も同様に行われる。ただし、この場合、動き
ベクトルは、輝度信号用のものを、垂直方向及び水平方
向に１／２にしたものが用いられる。
ー信号の処理について説明したが、色差信号に係るキー
信号の処理も同様に行われる。ただし、この場合、動き
ベクトルは、輝度信号用のものを、垂直方向及び水平方
向に１／２にしたものが用いられる。
【０１１９】以上は、空間スケーラビリティを例にとり
説明したが、テンポラルスケーラビリティやＳＮＲスケ
ーラビリティにも適用可能である。その場合、同様に復
号された下位レイヤキー信号を用いて、上位レイヤキー
信号の予測参照キー信号を生成し、上位レイヤキー信号
と下位レイヤキー信号とのキー差分信号を符号化するこ
とになる。
説明したが、テンポラルスケーラビリティやＳＮＲスケ
ーラビリティにも適用可能である。その場合、同様に復
号された下位レイヤキー信号を用いて、上位レイヤキー
信号の予測参照キー信号を生成し、上位レイヤキー信号
と下位レイヤキー信号とのキー差分信号を符号化するこ
とになる。
【０１２０】（２）キー信号のスケーラブル符号化にお
ける第２の実施例 第２の実施例は、第１の実施例の変形例である。つま
り、第１の実施例においては、上位レイヤキー信号に対
して動き補償を行っていたが、第２の実施例において
は、上位レイヤキー信号に対して動き補償を行わない。
なお、この第２の実施例の場合、上述した背景画像信号
及び前景画像信号のスケーラブル符号化及び復号方法と
異なるが、第２の実施例のキー信号スケーラブル符号化
及び復号方法と同様の方法を背景画像信号及び前景画像
信号に適用する。
ける第２の実施例 第２の実施例は、第１の実施例の変形例である。つま
り、第１の実施例においては、上位レイヤキー信号に対
して動き補償を行っていたが、第２の実施例において
は、上位レイヤキー信号に対して動き補償を行わない。
なお、この第２の実施例の場合、上述した背景画像信号
及び前景画像信号のスケーラブル符号化及び復号方法と
異なるが、第２の実施例のキー信号スケーラブル符号化
及び復号方法と同様の方法を背景画像信号及び前景画像
信号に適用する。
【０１２１】図１３は、第２の実施例におけるキー信号
のスケーラブル符号化装置の一例を示している。なお、
下位レイヤキー信号の符号化処理は、第１の実施例の符
号化処理と同一であるため、同一参照番号を付してその
説明を省略する。また、上位レイヤキー信号の符号化処
理についても、同一部分については同一番号を付して、
適宜その説明を省略する。つまり、本実施例の特徴部分
のみ以下に説明する。
のスケーラブル符号化装置の一例を示している。なお、
下位レイヤキー信号の符号化処理は、第１の実施例の符
号化処理と同一であるため、同一参照番号を付してその
説明を省略する。また、上位レイヤキー信号の符号化処
理についても、同一部分については同一番号を付して、
適宜その説明を省略する。つまり、本実施例の特徴部分
のみ以下に説明する。
【０１２２】下位レイヤキー信号の符号化処理における
ローカルデコーダ内の演算器３１０からの下位レイヤ予
測キー信号は、キー信号拡大回路３１３に供給される。
キー信号拡大回路３１３は、下位レイヤ予測キー信号を
上位レイヤキー信号と同一の大きさに拡大し、演算器３
５０に上位レイヤキー信号の予測参照キー信号として供
給する。上位レイヤキー信号は、下位レイヤキー信号の
符号化処理時間だけ遅延された後、演算器３５０に供給
される。演算器３５０は、入力された上位レイヤキー信
号とキー信号拡大回路３１３からの予測参照キー信号と
の差分を演算し、キー差分信号をＤＣＴ回路３１８に供
給する。ただし、入力された上位レイヤキー信号がイン
トラ予測符号化される場合、その入力された上位レイヤ
キー信号が演算器３５０からそのまま出力されることに
なる。ＤＣＴ回路３１８は、供給されたキー差分信号
(インター予測符号化の場合)若しくはキー信号（イント
ラ予測符号化の場合）をＤＣＴ処理し、ＤＣＴ係数を量
子化回路３１９に供給する。量子化回路３１９は、送信
バッファ３２１のデータ蓄積量によって決定された量子
化スケールで量子化され、量子化されたＤＣＴ係数が可
変長符号化回路３２０に供給される。可変長符号化回路
３２０は、量子化された DCT係数、量子化スケールを可
変長符号化し、送信バッファ２１を介して上位レイヤキ
ー信号ビットストリームとして出力する。
ローカルデコーダ内の演算器３１０からの下位レイヤ予
測キー信号は、キー信号拡大回路３１３に供給される。
キー信号拡大回路３１３は、下位レイヤ予測キー信号を
上位レイヤキー信号と同一の大きさに拡大し、演算器３
５０に上位レイヤキー信号の予測参照キー信号として供
給する。上位レイヤキー信号は、下位レイヤキー信号の
符号化処理時間だけ遅延された後、演算器３５０に供給
される。演算器３５０は、入力された上位レイヤキー信
号とキー信号拡大回路３１３からの予測参照キー信号と
の差分を演算し、キー差分信号をＤＣＴ回路３１８に供
給する。ただし、入力された上位レイヤキー信号がイン
トラ予測符号化される場合、その入力された上位レイヤ
キー信号が演算器３５０からそのまま出力されることに
なる。ＤＣＴ回路３１８は、供給されたキー差分信号
(インター予測符号化の場合)若しくはキー信号（イント
ラ予測符号化の場合）をＤＣＴ処理し、ＤＣＴ係数を量
子化回路３１９に供給する。量子化回路３１９は、送信
バッファ３２１のデータ蓄積量によって決定された量子
化スケールで量子化され、量子化されたＤＣＴ係数が可
変長符号化回路３２０に供給される。可変長符号化回路
３２０は、量子化された DCT係数、量子化スケールを可
変長符号化し、送信バッファ２１を介して上位レイヤキ
ー信号ビットストリームとして出力する。
【０１２３】図１４は、第２の実施例におけるキー信号
のスケーラブル復号装置の一例を示している。なお、下
位レイヤキー信号の復号処理は、第１の実施例の符号化
処理と同一であるため、同一参照番号を付してその説明
を省略する。また、上位レイヤキー信号の復号処理につ
いても、同一部分については同一番号を付して、適宜そ
の説明を省略する。つまり、本実施例の特徴部分のみ以
下に説明する。
のスケーラブル復号装置の一例を示している。なお、下
位レイヤキー信号の復号処理は、第１の実施例の符号化
処理と同一であるため、同一参照番号を付してその説明
を省略する。また、上位レイヤキー信号の復号処理につ
いても、同一部分については同一番号を付して、適宜そ
の説明を省略する。つまり、本実施例の特徴部分のみ以
下に説明する。
【０１２４】上位レイヤキー信号ビットストリームは、
受信バッファ４０９を介して可変長復号回路４１０に供
給される。可変長復号回路４１０は、可変長復号された
量子化されたＤＣＴ係数及び量子化スケールを可変長符
号し、量子化されたＤＣＴ係数と量子化スケールを逆量
子化回路４１１に供給する。逆量子化回路４１１は、供
給された量子化スケールを用いて、量子化されたＤＣＴ
係数を逆量子化し、ＤＣＴ係数を逆ＤＣＴ回路４１２に
供給する。逆ＤＣＴ回路４１２は、供給されたＤＣＴ係
数を逆ＤＣＴ処理し、キー差分信号（インター予測符号
化）若しくはキー信号（イントラ予測符号化）を演算器
４５０に供給する。
受信バッファ４０９を介して可変長復号回路４１０に供
給される。可変長復号回路４１０は、可変長復号された
量子化されたＤＣＴ係数及び量子化スケールを可変長符
号し、量子化されたＤＣＴ係数と量子化スケールを逆量
子化回路４１１に供給する。逆量子化回路４１１は、供
給された量子化スケールを用いて、量子化されたＤＣＴ
係数を逆量子化し、ＤＣＴ係数を逆ＤＣＴ回路４１２に
供給する。逆ＤＣＴ回路４１２は、供給されたＤＣＴ係
数を逆ＤＣＴ処理し、キー差分信号（インター予測符号
化）若しくはキー信号（イントラ予測符号化）を演算器
４５０に供給する。
【０１２５】演算器４５０からの復元された下位レイヤ
キー信号は、外部に再生キー信号として出力されるとと
もに、キー信号拡大回路４０８に供給される。また、復
号された下位レイヤキー信号がＩピクチャ若しくはＰピ
クチャの場合、この下位レイヤキー信号がフレームメモ
リ４０６に供給されて記憶され、この後に復号する下位
レイヤキー信号の予測参照キー信号として使用される。
キー信号拡大回路４０８は、供給された下位レイヤキー
信号を上位レイヤキー信号と同一の大きさに拡大し、上
位レイヤキー信号のための予測参照キー信号として演算
器４５０に供給する。
キー信号は、外部に再生キー信号として出力されるとと
もに、キー信号拡大回路４０８に供給される。また、復
号された下位レイヤキー信号がＩピクチャ若しくはＰピ
クチャの場合、この下位レイヤキー信号がフレームメモ
リ４０６に供給されて記憶され、この後に復号する下位
レイヤキー信号の予測参照キー信号として使用される。
キー信号拡大回路４０８は、供給された下位レイヤキー
信号を上位レイヤキー信号と同一の大きさに拡大し、上
位レイヤキー信号のための予測参照キー信号として演算
器４５０に供給する。
【０１２６】演算器４５０は、逆ＤＣＴ回路４１２から
のキー差分信号（インター予測符号化）とキー信号拡大
回路４０８からの予測参照キー信号を加算して、上位レ
イヤキー信号を生成して、上位レイヤキー信号を外部に
出力する。ただし、逆ＤＣＴ回路４１２からの出力信号
が、イントラ予測符号化されたキー信号の場合、演算器
４５０は、逆ＤＣＴ回路４１２からのキー信号を上位レ
イヤキー信号としてそのまま出力する。
のキー差分信号（インター予測符号化）とキー信号拡大
回路４０８からの予測参照キー信号を加算して、上位レ
イヤキー信号を生成して、上位レイヤキー信号を外部に
出力する。ただし、逆ＤＣＴ回路４１２からの出力信号
が、イントラ予測符号化されたキー信号の場合、演算器
４５０は、逆ＤＣＴ回路４１２からのキー信号を上位レ
イヤキー信号としてそのまま出力する。
【０１２７】（３）キー信号のスケーラブル符号化にお
ける第３の実施例 第３の実施例は、第１の実施例の変形例である。つま
り、第１の実施例においては、上位レイヤキー信号及び
下位レイヤキー信号に対してＤＣＴ処理及び量子化処理
による圧縮符号化を行っていたが、第３の実施例におい
ては、上位レイヤキー信号及び下位レイヤキー信号に対
して量子化処理及びＤＰＣＭ処理による圧縮符号化を行
う。
ける第３の実施例 第３の実施例は、第１の実施例の変形例である。つま
り、第１の実施例においては、上位レイヤキー信号及び
下位レイヤキー信号に対してＤＣＴ処理及び量子化処理
による圧縮符号化を行っていたが、第３の実施例におい
ては、上位レイヤキー信号及び下位レイヤキー信号に対
して量子化処理及びＤＰＣＭ処理による圧縮符号化を行
う。
【０１２８】図１５は、第３の実施例におけるキー信号
のスケーラブル符号化装置の一例を示している。なお、
上位レイヤキー信号及び下位レイヤキー信号のＤＣＴ処
理及び量子化処理以外の処理は、第１の実施例の符号化
処理と同一であるため、同一参照番号を付して、適宜そ
の説明を省略する。つまり、本実施例の特徴部分のみ以
下に説明する。
のスケーラブル符号化装置の一例を示している。なお、
上位レイヤキー信号及び下位レイヤキー信号のＤＣＴ処
理及び量子化処理以外の処理は、第１の実施例の符号化
処理と同一であるため、同一参照番号を付して、適宜そ
の説明を省略する。つまり、本実施例の特徴部分のみ以
下に説明する。
【０１２９】下位レイヤキー信号は、第１の実施例の場
合と同様に、フレームメモリ３０１を介して演算器３０
３に供給される。演算器３０３は、第１の実施例と同様
にして生成されたキー差分信号（インター予測符号化の
場合）若しくはキー信号（イントラ予測符号化の場合）
を量子化回路３６０に供給する。量子化回路３６０は、
送信バッファ３０７のデータ残量などから決定された量
子化スケールを用いて、演算器３０３からのキー差分信
号（インター予測符号化の場合）若しくはキー信号（イ
ントラ予測符号化の場合）を量子化し、量子化された信
号をＤＰＣＭ回路３６１に供給する。ＤＰＣＭ回路３６
１は、量子化された信号をＤＰＣＭ処理し、ＤＰＣＭさ
れた信号を可変長符号化回路４０６に供給する。そし
て、可変長符号化回路３０６は、供給されたＤＰＣＭさ
れた信号を可変長符号し、送信バッファ３０７を介して
下位レイヤキービットストリームとして出力する。ま
た、量子化回路３６０からの量子化スケールは、可変長
符号化回路３０６に供給され、量子化スケールも可変長
符号化され、下位レイヤキービットストリームの一部と
して出力される。
合と同様に、フレームメモリ３０１を介して演算器３０
３に供給される。演算器３０３は、第１の実施例と同様
にして生成されたキー差分信号（インター予測符号化の
場合）若しくはキー信号（イントラ予測符号化の場合）
を量子化回路３６０に供給する。量子化回路３６０は、
送信バッファ３０７のデータ残量などから決定された量
子化スケールを用いて、演算器３０３からのキー差分信
号（インター予測符号化の場合）若しくはキー信号（イ
ントラ予測符号化の場合）を量子化し、量子化された信
号をＤＰＣＭ回路３６１に供給する。ＤＰＣＭ回路３６
１は、量子化された信号をＤＰＣＭ処理し、ＤＰＣＭさ
れた信号を可変長符号化回路４０６に供給する。そし
て、可変長符号化回路３０６は、供給されたＤＰＣＭさ
れた信号を可変長符号し、送信バッファ３０７を介して
下位レイヤキービットストリームとして出力する。ま
た、量子化回路３６０からの量子化スケールは、可変長
符号化回路３０６に供給され、量子化スケールも可変長
符号化され、下位レイヤキービットストリームの一部と
して出力される。
【０１３０】ＤＰＣＭ回路３６１からのＤＰＣＭされた
信号は、逆ＤＰＣＭ回路３６２にも供給される。逆ＤＰ
ＣＭ回路３６２は、供給されたＤＰＣＭされた信号を逆
ＤＰＣＭ処理し、量子化回路３６０の出力信号に対応す
る量子化された信号を逆量子化回路３６３に供給する。
逆量子化回路３６３は、量子化回路３６０によって用い
られた量子化スケールを用いて逆量子化を行い、演算器
３０３の出力信号に対応するキー差分信号（インター予
測符号化の場合）若しくはキー信号（イントラ予測符号
化の場合）を演算器３１０に供給する。
信号は、逆ＤＰＣＭ回路３６２にも供給される。逆ＤＰ
ＣＭ回路３６２は、供給されたＤＰＣＭされた信号を逆
ＤＰＣＭ処理し、量子化回路３６０の出力信号に対応す
る量子化された信号を逆量子化回路３６３に供給する。
逆量子化回路３６３は、量子化回路３６０によって用い
られた量子化スケールを用いて逆量子化を行い、演算器
３０３の出力信号に対応するキー差分信号（インター予
測符号化の場合）若しくはキー信号（イントラ予測符号
化の場合）を演算器３１０に供給する。
【０１３１】演算器３１０は、逆量子化回路３７１から
のキー差分信号と動き補償回路３１２からの予測参照キ
ー信号とを加算して予測キー信号を生成し、予測キー信
号（Ｉピクチャ及びＰピクチャの場合）をフレームメモ
リ３１１に供給するとともにキー信号拡大回路３１３に
供給して、第１の実施例と同様に上位レイヤキー信号の
予測参照キー信号として使用される。キー信号拡大回路
３１３からの拡大された下位レイヤ予測参照キー信号
は、重み付加回路３１４に供給される。重み付加回路３
１４は、拡大された下位レイヤ予測参照キー信号に重み
（１−Ｗ）を乗算し、演算器３２８に供給する。また、
動き補償回路３２６は、第１の実施例と同様に、フレー
ムメモリ３１１に記憶された予測キー信号を用いて、図
７に示される画像信号符号化部６１から供給される上位
レイヤ動きベクトル及び予測モードに従って、下位レイ
ヤ予測参照キー信号を生成して、演算器３０３に予測参
照キー信号を供給する。
のキー差分信号と動き補償回路３１２からの予測参照キ
ー信号とを加算して予測キー信号を生成し、予測キー信
号（Ｉピクチャ及びＰピクチャの場合）をフレームメモ
リ３１１に供給するとともにキー信号拡大回路３１３に
供給して、第１の実施例と同様に上位レイヤキー信号の
予測参照キー信号として使用される。キー信号拡大回路
３１３からの拡大された下位レイヤ予測参照キー信号
は、重み付加回路３１４に供給される。重み付加回路３
１４は、拡大された下位レイヤ予測参照キー信号に重み
（１−Ｗ）を乗算し、演算器３２８に供給する。また、
動き補償回路３２６は、第１の実施例と同様に、フレー
ムメモリ３１１に記憶された予測キー信号を用いて、図
７に示される画像信号符号化部６１から供給される上位
レイヤ動きベクトル及び予測モードに従って、下位レイ
ヤ予測参照キー信号を生成して、演算器３０３に予測参
照キー信号を供給する。
【０１３２】一方、上位レイヤキー信号は、メモリから
なる遅延回路３１５を介して下位レイヤキー信号符号化
に要する時間だけ遅延された後、演算貴３１７に入力さ
れ、演算器３１７は、演算器３２８からの上位レイヤキ
ー信号のための予測参照キー信号と入力された上位階層
キー信号の差分を演算し、キー差分信号を量子化器３６
４に供給する。ただし、入力された上位レイヤキー信号
がイントラ予測符号化される場合、その上位レイヤキー
信号は、演算器３１７からそのままキー信号として量子
化回路３６４に供給される。量子化回路３６４は、送信
バッファ３２１のデータ残量などから決定された量子化
スケールを用いて、供給されたキー差分信号（インター
予測符号化）若しくはキー信号（イントラ予測符号化）
を量子化し、量子化された信号をＤＰＣＭ回路３６５に
供給する。ＤＰＣＭ回路３６５は、量子化された信号を
ＤＰＣＭ処理し、ＤＰＣＭされた信号を可変長符号化回
路３２０に供給する。そして、可変長符号化回路３２０
は、供給されたＤＰＣＭされた信号を可変長符号化し、
送信バッファ３２１を介して上位レイヤキー信号ビット
ストリームとして出力する。また、量子化回路３６４か
らの量子化スケールは、可変長符号化回路３２０に供給
され、量子化スケールも可変長符号化され、上位レイヤ
キービットストリームの一部として出力される。
なる遅延回路３１５を介して下位レイヤキー信号符号化
に要する時間だけ遅延された後、演算貴３１７に入力さ
れ、演算器３１７は、演算器３２８からの上位レイヤキ
ー信号のための予測参照キー信号と入力された上位階層
キー信号の差分を演算し、キー差分信号を量子化器３６
４に供給する。ただし、入力された上位レイヤキー信号
がイントラ予測符号化される場合、その上位レイヤキー
信号は、演算器３１７からそのままキー信号として量子
化回路３６４に供給される。量子化回路３６４は、送信
バッファ３２１のデータ残量などから決定された量子化
スケールを用いて、供給されたキー差分信号（インター
予測符号化）若しくはキー信号（イントラ予測符号化）
を量子化し、量子化された信号をＤＰＣＭ回路３６５に
供給する。ＤＰＣＭ回路３６５は、量子化された信号を
ＤＰＣＭ処理し、ＤＰＣＭされた信号を可変長符号化回
路３２０に供給する。そして、可変長符号化回路３２０
は、供給されたＤＰＣＭされた信号を可変長符号化し、
送信バッファ３２１を介して上位レイヤキー信号ビット
ストリームとして出力する。また、量子化回路３６４か
らの量子化スケールは、可変長符号化回路３２０に供給
され、量子化スケールも可変長符号化され、上位レイヤ
キービットストリームの一部として出力される。
【０１３３】ＤＰＣＭ回路３６５からのＤＰＣＭされた
信号は、逆ＤＰＣＭ回路３６６にも供給される。逆ＤＰ
ＣＭ回路３６６は、供給されたＤＰＣＭされた信号を逆
ＤＰＣＭ処理し、量子化回路３６４の出力信号に対応す
る量子化された信号を逆量子化回路３６７に供給する。
逆量子化回路３６６は、量子化回路３６４によって用い
られた量子化スケールを用いて逆量子化を行い、演算器
３１７の出力信号に対応するキー差分信号（インター予
測符号化の場合）若しくはキー信号（イントラ予測符号
化の場合）を演算器３２４に供給する。演算器３２４は
逆量子化回路３６７からのキー差分信号及び演算器３２
８からの予測参照キー信号を加算し、予測キー信号をフ
レームメモリ３２５に供給する。フレームメモリ３２５
は、予測キー信号を記憶して、この後に符号化される上
位レイヤキー信号のために使用される。
信号は、逆ＤＰＣＭ回路３６６にも供給される。逆ＤＰ
ＣＭ回路３６６は、供給されたＤＰＣＭされた信号を逆
ＤＰＣＭ処理し、量子化回路３６４の出力信号に対応す
る量子化された信号を逆量子化回路３６７に供給する。
逆量子化回路３６６は、量子化回路３６４によって用い
られた量子化スケールを用いて逆量子化を行い、演算器
３１７の出力信号に対応するキー差分信号（インター予
測符号化の場合）若しくはキー信号（イントラ予測符号
化の場合）を演算器３２４に供給する。演算器３２４は
逆量子化回路３６７からのキー差分信号及び演算器３２
８からの予測参照キー信号を加算し、予測キー信号をフ
レームメモリ３２５に供給する。フレームメモリ３２５
は、予測キー信号を記憶して、この後に符号化される上
位レイヤキー信号のために使用される。
【０１３４】動き補償回路３２６は、第１の実施例と同
様に、図７に示される画像信号符号化部６１から供給さ
れる上位レイヤ動きベクトル及び予測モードに従って、
上位レイヤ予測参照キー信号を生成し、重み付加回路３
２７に供給する。重み付加回路３２７は、動き補償回路
３２６からの上位レイヤ予測参照キー信号に重みＷを乗
算して、重み付けされた上位レイヤ予測参照キー信号を
演算器３２８に供給する。演算器３２８は、重み付加回
路３１４からの重み付けされた下位レイヤ予測参照キー
信号及び重み付加回路３２７からの重み付けされた上位
レイヤ予測参照キー信号を加算して、上位レイヤ予測参
照キー信号を演算器３１７に供給する。なお、重み付加
回路３２７からの重みＷも可変長符号化回路３２０に供
給され、この重みも可変長符号化されて、上位レイヤキ
ー信号ビットストリームの一部として出力される。
様に、図７に示される画像信号符号化部６１から供給さ
れる上位レイヤ動きベクトル及び予測モードに従って、
上位レイヤ予測参照キー信号を生成し、重み付加回路３
２７に供給する。重み付加回路３２７は、動き補償回路
３２６からの上位レイヤ予測参照キー信号に重みＷを乗
算して、重み付けされた上位レイヤ予測参照キー信号を
演算器３２８に供給する。演算器３２８は、重み付加回
路３１４からの重み付けされた下位レイヤ予測参照キー
信号及び重み付加回路３２７からの重み付けされた上位
レイヤ予測参照キー信号を加算して、上位レイヤ予測参
照キー信号を演算器３１７に供給する。なお、重み付加
回路３２７からの重みＷも可変長符号化回路３２０に供
給され、この重みも可変長符号化されて、上位レイヤキ
ー信号ビットストリームの一部として出力される。
【０１３５】次に、図１６は、第３の実施例におけるキ
ー信号のスケーラブル復号装置の一例を示している。な
お、上位レイヤキー信号及び下位レイヤキー信号の逆Ｄ
ＣＴ処理及び逆量子化処理以外の処理は、第１の実施例
の復号処理と同一であるため、同一参照番号を付して、
適宜その説明を省略する。つまり、本実施例の特徴部分
のみ以下に説明する。
ー信号のスケーラブル復号装置の一例を示している。な
お、上位レイヤキー信号及び下位レイヤキー信号の逆Ｄ
ＣＴ処理及び逆量子化処理以外の処理は、第１の実施例
の復号処理と同一であるため、同一参照番号を付して、
適宜その説明を省略する。つまり、本実施例の特徴部分
のみ以下に説明する。
【０１３６】下位レイヤキー信号ビットストリームは、
受信バッファ４０１を介して可変長復号回路４０２に供
給される。可変長復号回路４０２は、可変長復号された
下位レイヤキー信号を可変長復号し、ＤＰＣＭされた信
号、量子化スケールを生成する。ＤＰＣＭされた信号
は、逆ＤＰＣＭ回路４６０に供給される。逆ＤＰＣＭ回
路４６０は、ＤＰＣＭされた信号を逆ＤＰＣＭ処理し、
量子化された信号を逆量子化回路４６１に供給する。逆
量子化回路４６１は、可変長復号回路４０２からの復号
された量子化スケールを用いて、量子化された信号を逆
量子化し、キー差分信号（インター予測符号化の場合）
若しくはキー信号（イントラ予測符号化の場合）を演算
器４０５に供給する。また、動き補償回路４０７は、図
８に示される画像信号復号部６６からの下位レイヤ動き
ベクトル及び予測モードに従って下位レイヤ予測参照キ
ー信号を生成し、下位レイヤ予測参照信号を演算器４０
５に供給する。
受信バッファ４０１を介して可変長復号回路４０２に供
給される。可変長復号回路４０２は、可変長復号された
下位レイヤキー信号を可変長復号し、ＤＰＣＭされた信
号、量子化スケールを生成する。ＤＰＣＭされた信号
は、逆ＤＰＣＭ回路４６０に供給される。逆ＤＰＣＭ回
路４６０は、ＤＰＣＭされた信号を逆ＤＰＣＭ処理し、
量子化された信号を逆量子化回路４６１に供給する。逆
量子化回路４６１は、可変長復号回路４０２からの復号
された量子化スケールを用いて、量子化された信号を逆
量子化し、キー差分信号（インター予測符号化の場合）
若しくはキー信号（イントラ予測符号化の場合）を演算
器４０５に供給する。また、動き補償回路４０７は、図
８に示される画像信号復号部６６からの下位レイヤ動き
ベクトル及び予測モードに従って下位レイヤ予測参照キ
ー信号を生成し、下位レイヤ予測参照信号を演算器４０
５に供給する。
【０１３７】演算器４０５は、逆量子化回路４６１から
のキー差分信号及び動き補償回路４０７からの下位レイ
ヤ予測参照キー信号を加算し、復号された下位レイヤキ
ー信号を外部に出力する。ただし、逆量子化回路４６１
からの出力信号がイントラ予測符号化されたキー信号で
ある場合には、そのキー信号が、演算器４０５から下位
レイヤキー信号としてそのまま出力される。また、復号
された下位レイヤキー信号がＩピクチャ若しくはＰピク
チャの場合、演算器４０５からの下位レイヤキー信号
は、フレームメモリ４０６に記憶され、その後復号する
下位レイヤ号の予測参照キー信号として使用される。演
算器４０５からの下位レイヤキー信号は、キー信号拡大
回路４０８に供給される。キー信号拡大回路４０８は、
下位レイヤキー信号を上位レイヤキー信号と同一の大き
さに拡大して後、上位レイヤキー信号の予測参照キー信
号として用いられる。
のキー差分信号及び動き補償回路４０７からの下位レイ
ヤ予測参照キー信号を加算し、復号された下位レイヤキ
ー信号を外部に出力する。ただし、逆量子化回路４６１
からの出力信号がイントラ予測符号化されたキー信号で
ある場合には、そのキー信号が、演算器４０５から下位
レイヤキー信号としてそのまま出力される。また、復号
された下位レイヤキー信号がＩピクチャ若しくはＰピク
チャの場合、演算器４０５からの下位レイヤキー信号
は、フレームメモリ４０６に記憶され、その後復号する
下位レイヤ号の予測参照キー信号として使用される。演
算器４０５からの下位レイヤキー信号は、キー信号拡大
回路４０８に供給される。キー信号拡大回路４０８は、
下位レイヤキー信号を上位レイヤキー信号と同一の大き
さに拡大して後、上位レイヤキー信号の予測参照キー信
号として用いられる。
【０１３８】一方、上位レイヤキービットストリーム
は、受信バッファ４０９を介して可変長復号回路４１０
に供給される。可変長復号回路４１０は、可変長復号さ
れた上位レイヤキー信号を可変長復号し、ＤＰＣＭされ
た信号、量子化スケール及び重みＷが生成される。可変
長復号回路４１０からのＤＰＣＭされた信号は、逆ＤＰ
ＣＭ回路４６２に供給される。逆ＤＰＣＭ回路４６２は
ＤＰＣＭされた信号を逆 ＤＰＣＭ 処理した後、量
子化された信号を逆量子化回路４１２に供給する。逆量
子化回路４１２は、可変長復号回路４１０からの量子化
スケールを用いて、量子化された信号を逆量子化し、キ
ー差分信号（インター予測符号化の場合）若しくはキー
信号（イントラ予測符号化の場合）を演算器４１３に供
給する。また、動き補償回路４１５は、図８に示される
画像信号復号部６６からの上位レイヤ動きベクトル及び
予測モードに従って上位レイヤ予測参照キー信号を生成
し、上位レイヤ予測参照キー信号を重み付加回路４１６
に供給する。重み付加回路４１６は、可変長復号回路４
１０からの復号された重みＷを用い、上位レイヤ予測参
照キー信号に重みＷを乗算して、重み付けされた上位レ
イヤキー予測参照キー信号を演算器４１８に供給する。
また、キー信号拡大回路４０８からの拡大された下位レ
イヤキー信号は、重み付加回路４１７に供給される。重
み付加回路４１７は、可変長復号回路４１０からの復号
された重みＷを用い、拡大された下位レイヤキー信号に
（１−Ｗ）を乗算して、重み付けされた下位レイヤ予測
参照キー信号を演算器４１８に供給する。
は、受信バッファ４０９を介して可変長復号回路４１０
に供給される。可変長復号回路４１０は、可変長復号さ
れた上位レイヤキー信号を可変長復号し、ＤＰＣＭされ
た信号、量子化スケール及び重みＷが生成される。可変
長復号回路４１０からのＤＰＣＭされた信号は、逆ＤＰ
ＣＭ回路４６２に供給される。逆ＤＰＣＭ回路４６２は
ＤＰＣＭされた信号を逆 ＤＰＣＭ 処理した後、量
子化された信号を逆量子化回路４１２に供給する。逆量
子化回路４１２は、可変長復号回路４１０からの量子化
スケールを用いて、量子化された信号を逆量子化し、キ
ー差分信号（インター予測符号化の場合）若しくはキー
信号（イントラ予測符号化の場合）を演算器４１３に供
給する。また、動き補償回路４１５は、図８に示される
画像信号復号部６６からの上位レイヤ動きベクトル及び
予測モードに従って上位レイヤ予測参照キー信号を生成
し、上位レイヤ予測参照キー信号を重み付加回路４１６
に供給する。重み付加回路４１６は、可変長復号回路４
１０からの復号された重みＷを用い、上位レイヤ予測参
照キー信号に重みＷを乗算して、重み付けされた上位レ
イヤキー予測参照キー信号を演算器４１８に供給する。
また、キー信号拡大回路４０８からの拡大された下位レ
イヤキー信号は、重み付加回路４１７に供給される。重
み付加回路４１７は、可変長復号回路４１０からの復号
された重みＷを用い、拡大された下位レイヤキー信号に
（１−Ｗ）を乗算して、重み付けされた下位レイヤ予測
参照キー信号を演算器４１８に供給する。
【０１３９】演算器４１８は、重み付加回路４１６から
の重み付けされた上位レイヤキー予測参照キー信号及び
重み付加回路４１７からの重み付けされた下位レイヤ予
測参照キー信号を加算し、上位レイヤキー信号の予測参
照キー信号を演算器４１３に供給する。
の重み付けされた上位レイヤキー予測参照キー信号及び
重み付加回路４１７からの重み付けされた下位レイヤ予
測参照キー信号を加算し、上位レイヤキー信号の予測参
照キー信号を演算器４１３に供給する。
【０１４０】演算器４１３は、逆量子化回路４１２から
のキー差分信号（インター予測符号化の場合）と演算器
４１８からの上位レイヤキー信号の予測参照キー信号を
加算して、復号された上位レイヤキー信号を外部に出力
する。ただし、逆量子化回路４６３からの出力信号がイ
ントラ予測符号化されたキー信号である場合には、その
キー信号が、演算器４１３から下位レイヤキー信号とし
てそのまま出力される。また、演算器４１３からの下位
レイヤキー信号は、フレームメモリ４１４に記憶され、
その後復号する下位レイヤ号の予測参照キー信号として
使用される。
のキー差分信号（インター予測符号化の場合）と演算器
４１８からの上位レイヤキー信号の予測参照キー信号を
加算して、復号された上位レイヤキー信号を外部に出力
する。ただし、逆量子化回路４６３からの出力信号がイ
ントラ予測符号化されたキー信号である場合には、その
キー信号が、演算器４１３から下位レイヤキー信号とし
てそのまま出力される。また、演算器４１３からの下位
レイヤキー信号は、フレームメモリ４１４に記憶され、
その後復号する下位レイヤ号の予測参照キー信号として
使用される。
【０１４１】（４）キー信号のスケーラブル符号化にお
ける第４の実施例 第４の実施例は、第３の実施例の変形例である。つま
り、第３の実施例においては、上位レイヤキー信号に対
して動き補償を行っていたが、第４の実施例において
は、上位レイヤキー信号に対して動き補償を行わない。
ける第４の実施例 第４の実施例は、第３の実施例の変形例である。つま
り、第３の実施例においては、上位レイヤキー信号に対
して動き補償を行っていたが、第４の実施例において
は、上位レイヤキー信号に対して動き補償を行わない。
【０１４２】図１７は、第４の実施例におけるキー信号
のスケーラブル符号化装置の一例を示している。なお、
下位レイヤキー信号の符号化処理は、第３の実施例の符
号化処理と同一であるため、同一参照番号を付してその
説明を省略する。また、上位レイヤキー信号の符号化処
理についても、同一部分については同一番号を付して、
適宜その説明を省略する。つまり、本実施例の特徴部分
のみ以下に説明する。
のスケーラブル符号化装置の一例を示している。なお、
下位レイヤキー信号の符号化処理は、第３の実施例の符
号化処理と同一であるため、同一参照番号を付してその
説明を省略する。また、上位レイヤキー信号の符号化処
理についても、同一部分については同一番号を付して、
適宜その説明を省略する。つまり、本実施例の特徴部分
のみ以下に説明する。
【０１４３】下位レイヤキー信号の符号化処理における
ローカルデコーダ内の演算器３１０からの下位レイヤ予
測キー信号は、キー信号拡大回路３１３に供給される。
キー信号拡大回路３１３は、下位レイヤ予測キー信号を
上位レイヤキー信号と同一の大きさに拡大し、演算器３
５０に上位レイヤキー信号の予測参照キー信号として供
給する。上位レイヤキー信号は、下位レイヤキー信号の
符号化処理時間だけ遅延された後、演算器３５０に供給
される。演算器３５０は、入力された上位レイヤキー信
号とキー信号拡大回路３１３からの予測参照キー信号と
の差分を演算し、キー差分信号を量子化回路３６０に供
給する。ただし、入力された上位レイヤキー信号がイン
トラ予測符号化される場合、その入力された上位レイヤ
キー信号が演算器３５０からそのまま出力されることに
なる。量子化回路３６０は、供給されたキー差分信号
(インター予測符号化の場合)若しくはキー信号（イント
ラ予測符号化の場合）を送信バッファ３２１のデータ蓄
積量によって決定された量子化スケールで量子化し、量
子化された信号をＤＰＣＭ回路３６１に供給する。ＤＰ
ＣＭ回路３６１は、供給された量子化された信号をＤＰ
ＣＭ処理し、ＤＰＣＭされた信号を可変長符号化回路３
２０に供給される。可変長符号化回路３２０は、ＤＰＣ
Ｍされた信号、量子化スケールを可変長符号化し、送信
バッファ３２１を介して上位レイヤキービットストリー
ムとして出力する。
ローカルデコーダ内の演算器３１０からの下位レイヤ予
測キー信号は、キー信号拡大回路３１３に供給される。
キー信号拡大回路３１３は、下位レイヤ予測キー信号を
上位レイヤキー信号と同一の大きさに拡大し、演算器３
５０に上位レイヤキー信号の予測参照キー信号として供
給する。上位レイヤキー信号は、下位レイヤキー信号の
符号化処理時間だけ遅延された後、演算器３５０に供給
される。演算器３５０は、入力された上位レイヤキー信
号とキー信号拡大回路３１３からの予測参照キー信号と
の差分を演算し、キー差分信号を量子化回路３６０に供
給する。ただし、入力された上位レイヤキー信号がイン
トラ予測符号化される場合、その入力された上位レイヤ
キー信号が演算器３５０からそのまま出力されることに
なる。量子化回路３６０は、供給されたキー差分信号
(インター予測符号化の場合)若しくはキー信号（イント
ラ予測符号化の場合）を送信バッファ３２１のデータ蓄
積量によって決定された量子化スケールで量子化し、量
子化された信号をＤＰＣＭ回路３６１に供給する。ＤＰ
ＣＭ回路３６１は、供給された量子化された信号をＤＰ
ＣＭ処理し、ＤＰＣＭされた信号を可変長符号化回路３
２０に供給される。可変長符号化回路３２０は、ＤＰＣ
Ｍされた信号、量子化スケールを可変長符号化し、送信
バッファ３２１を介して上位レイヤキービットストリー
ムとして出力する。
【０１４４】図１８は、第４の実施例におけるキー信号
のスケーラブル復号装置の一例を示している。なお、下
位レイヤキー信号の復号処理は、第３の実施例の符号化
処理と同一であるため、同一参照番号を付してその説明
を省略する。また、上位レイヤキー信号の復号処理につ
いても、同一部分については同一番号を付して、適宜そ
の説明を省略する。つまり、本実施例の特徴部分のみ以
下に説明する。
のスケーラブル復号装置の一例を示している。なお、下
位レイヤキー信号の復号処理は、第３の実施例の符号化
処理と同一であるため、同一参照番号を付してその説明
を省略する。また、上位レイヤキー信号の復号処理につ
いても、同一部分については同一番号を付して、適宜そ
の説明を省略する。つまり、本実施例の特徴部分のみ以
下に説明する。
【０１４５】上位レイヤキービットストリームは、受信
バッファ４０９を介して可変長復号回路４１０に供給さ
れる。可変長復号回路４１０は、ＤＰＣＭされた信号及
び量子化スケールを可変長復号し、ＤＰＣＭされた信号
を逆ＤＰＣＭ回路４６２に供給する。逆ＤＰＣＭ回路４
６２は、ＤＰＣＭされた信号を逆ＤＰＣＭ処理し、量子
化された信号を逆量子化回路４６３に供給する。逆量子
化回路４６３は、可変長復号回路４１０から供給された
量子化スケールを用いて、供給された量子化された信号
を逆量子化し、キー差分信号（インター予測符号化）若
しくはキー信号（イントラ予測符号化）を演算器４７０
に供給する。
バッファ４０９を介して可変長復号回路４１０に供給さ
れる。可変長復号回路４１０は、ＤＰＣＭされた信号及
び量子化スケールを可変長復号し、ＤＰＣＭされた信号
を逆ＤＰＣＭ回路４６２に供給する。逆ＤＰＣＭ回路４
６２は、ＤＰＣＭされた信号を逆ＤＰＣＭ処理し、量子
化された信号を逆量子化回路４６３に供給する。逆量子
化回路４６３は、可変長復号回路４１０から供給された
量子化スケールを用いて、供給された量子化された信号
を逆量子化し、キー差分信号（インター予測符号化）若
しくはキー信号（イントラ予測符号化）を演算器４７０
に供給する。
【０１４６】演算器４０５からの復号された下位レイヤ
キー信号は、外部に再生キー信号として出力されるとと
もに、キー信号拡大回路４０８に供給される。また、復
号された下位レイヤキー信号がＩピクチャ若しくはＰピ
クチャの場合、この下位レイヤキー信号がフレームメモ
リ４０６に供給されて記憶され、この後に復号する下位
レイヤキー信号の予測参照キー信号として使用される。
キー信号拡大回路４０８は、供給された下位レイヤキー
信号を上位レイヤキー信号と同一の大きさに拡大し、上
位レイヤキー信号のための予測参照キー信号として演算
器４７０に供給する。
キー信号は、外部に再生キー信号として出力されるとと
もに、キー信号拡大回路４０８に供給される。また、復
号された下位レイヤキー信号がＩピクチャ若しくはＰピ
クチャの場合、この下位レイヤキー信号がフレームメモ
リ４０６に供給されて記憶され、この後に復号する下位
レイヤキー信号の予測参照キー信号として使用される。
キー信号拡大回路４０８は、供給された下位レイヤキー
信号を上位レイヤキー信号と同一の大きさに拡大し、上
位レイヤキー信号のための予測参照キー信号として演算
器４７０に供給する。
【０１４７】演算器４７０は、逆量子化回路４６３から
のキー差分信号（インター予測符号化）とキー信号拡大
回路４１８からの予測参照キー信号を加算して、上位レ
イヤキー信号を生成して、上位レイヤキー信号を外部に
出力する。ただし、逆量子化回路４６３からの出力信号
が、イントラ予測符号化されたキー信号の場合、演算器
４７０は、逆量子化回路４６３からのキー信号を上位レ
イヤキー信号としてそのまま出力する。
のキー差分信号（インター予測符号化）とキー信号拡大
回路４１８からの予測参照キー信号を加算して、上位レ
イヤキー信号を生成して、上位レイヤキー信号を外部に
出力する。ただし、逆量子化回路４６３からの出力信号
が、イントラ予測符号化されたキー信号の場合、演算器
４７０は、逆量子化回路４６３からのキー信号を上位レ
イヤキー信号としてそのまま出力する。
【０１４８】（５）キー信号のスケーラブル符号化にお
ける第５の実施例 第５の実施例は、第１の実施例の変形例である。つま
り、第１の実施例においては、上位レイヤキー信号及び
下位レイヤキー信号に対してＤＣＴ処理及び量子化処理
による圧縮符号化を行っていたが、第５の実施例におい
ては、上位レイヤキー信号及び下位レイヤキー信号に対
してＱｕａｄ Ｔｒｅｅ符号化による圧縮符号化を行
う。
ける第５の実施例 第５の実施例は、第１の実施例の変形例である。つま
り、第１の実施例においては、上位レイヤキー信号及び
下位レイヤキー信号に対してＤＣＴ処理及び量子化処理
による圧縮符号化を行っていたが、第５の実施例におい
ては、上位レイヤキー信号及び下位レイヤキー信号に対
してＱｕａｄ Ｔｒｅｅ符号化による圧縮符号化を行
う。
【０１４９】図１９は、第５の実施例におけるキー信号
のスケーラブル符号化装置の一例を示している。なお、
上位レイヤキー信号及び下位レイヤキー信号のＤＣＴ処
理及び量子化処理以外の処理は、第１の実施例の符号化
処理と同一であるため、同一参照番号を付して、適宜そ
の説明を省略する。つまり、本実施例の特徴部分のみ以
下に説明する。
のスケーラブル符号化装置の一例を示している。なお、
上位レイヤキー信号及び下位レイヤキー信号のＤＣＴ処
理及び量子化処理以外の処理は、第１の実施例の符号化
処理と同一であるため、同一参照番号を付して、適宜そ
の説明を省略する。つまり、本実施例の特徴部分のみ以
下に説明する。
【０１５０】下位レイヤキー信号は、第１の実施例の場
合と同様に、フレームメモリ３０１を介して演算器３０
３に供給される。演算器３０３は、第１の実施例と同様
にして生成されたキー差分信号（インター予測符号化の
場合）若しくはキー信号（イントラ予測符号化の場合）
を送信バッファ３０７のデータ蓄積量に従ってＱｕａｄ
Ｔｒｅｅ符号化回路３７０に供給する。Ｑｕａｄ Ｔ
ｒｅｅ符号化回路３７０は、キー信号若しくはキー差分
信号をマクロブロック単位で階層化して符号化する。例
えば、１６×１６のマクロブロックに対して、２×２の
データをまとめて一つ上位のレベルを構成する。また、
さらにその上位のレベルで２×２のデータをまとめてさ
らに上位のレベルを形成する。これを繰り返し、ツリー
状のデータ構成にする。この場合、上位レベルの値は下
位レベルの値に依存することになる。図２３は、このＱ
ｕａｄ Ｔｒｅｅの構造を示している。Ｑｕａｄ Ｔｒ
ｅｅ符号化回路３７０からのＱｕａｄ Ｔｒｅｅ符号化
された信号は、符号化回路３７２に供給される。そし
て、符号化回路３７２は、ハードキーの場合、そのＱｕ
ａｄ Ｔｒｅｅ符号化された信号を可変長符号化を行
い、ソフトキーの場合、そのＱｕａｄ Ｔｒｅｅ符号化
された信号をベクトル量子化する。この手順の詳細は、
ＩＳＯ−ＩＥＣ／ＪＴＣ１／ＳＣ２９／ＷＧ１１におい
て文章Ｎ１１７２の３章Ｓｈａｐｅ Ｃｏｄｉｎｇ中に
詳細が述べられている。
合と同様に、フレームメモリ３０１を介して演算器３０
３に供給される。演算器３０３は、第１の実施例と同様
にして生成されたキー差分信号（インター予測符号化の
場合）若しくはキー信号（イントラ予測符号化の場合）
を送信バッファ３０７のデータ蓄積量に従ってＱｕａｄ
Ｔｒｅｅ符号化回路３７０に供給する。Ｑｕａｄ Ｔ
ｒｅｅ符号化回路３７０は、キー信号若しくはキー差分
信号をマクロブロック単位で階層化して符号化する。例
えば、１６×１６のマクロブロックに対して、２×２の
データをまとめて一つ上位のレベルを構成する。また、
さらにその上位のレベルで２×２のデータをまとめてさ
らに上位のレベルを形成する。これを繰り返し、ツリー
状のデータ構成にする。この場合、上位レベルの値は下
位レベルの値に依存することになる。図２３は、このＱ
ｕａｄ Ｔｒｅｅの構造を示している。Ｑｕａｄ Ｔｒ
ｅｅ符号化回路３７０からのＱｕａｄ Ｔｒｅｅ符号化
された信号は、符号化回路３７２に供給される。そし
て、符号化回路３７２は、ハードキーの場合、そのＱｕ
ａｄ Ｔｒｅｅ符号化された信号を可変長符号化を行
い、ソフトキーの場合、そのＱｕａｄ Ｔｒｅｅ符号化
された信号をベクトル量子化する。この手順の詳細は、
ＩＳＯ−ＩＥＣ／ＪＴＣ１／ＳＣ２９／ＷＧ１１におい
て文章Ｎ１１７２の３章Ｓｈａｐｅ Ｃｏｄｉｎｇ中に
詳細が述べられている。
【０１５１】そして、符号化回路３７２は、符号化され
た信号を送信バッファ３０７を介して下位レイヤキー信
号ビットストリームとして出力する。
た信号を送信バッファ３０７を介して下位レイヤキー信
号ビットストリームとして出力する。
【０１５２】一方、Ｑｕａｄ Ｔｒｅｅ符号化回路３７
０からのＱｕａｄ Ｔｒｅｅ符号化された信号は、逆Ｑ
ｕａｄ Ｔｒｅｅ符号化回路３７１にも供給される。逆
Ｑｕａｄ Ｔｒｅｅ符号化回路３７１は、供給されたＱ
ｕａｄＴｒｅｅ符号化された信号を逆Ｑｕａｄ Ｔｒｅ
ｅ符号化し、演算器３０３の出力信号に対応するキー差
分信号（インター予測符号化の場合）若しくはキー信号
（イントラ予測符号化の場合）を演算器３１０に供給す
る。
０からのＱｕａｄ Ｔｒｅｅ符号化された信号は、逆Ｑ
ｕａｄ Ｔｒｅｅ符号化回路３７１にも供給される。逆
Ｑｕａｄ Ｔｒｅｅ符号化回路３７１は、供給されたＱ
ｕａｄＴｒｅｅ符号化された信号を逆Ｑｕａｄ Ｔｒｅ
ｅ符号化し、演算器３０３の出力信号に対応するキー差
分信号（インター予測符号化の場合）若しくはキー信号
（イントラ予測符号化の場合）を演算器３１０に供給す
る。
【０１５３】演算器３１０は、逆量子化回路３１０から
のキー差分信号と動き補償回路３１２からの予測参照キ
ー信号とを加算して予測キー信号（Ｉピクチャ及びＰピ
クチャの場合）を生成し、予測キー信号をフレームメモ
リ３１１に供給するとともにキー信号拡大回路３１３に
供給して、第１の実施例と同様に上位レイヤキー信号の
予測参照キー信号として使用される。キー信号拡大回路
３１３からの拡大された下位レイヤ予測参照キー信号
は、重み付加回路３１４に供給される。重み付加回路３
１４は、拡大された下位レイヤ予測参照キー信号に重み
(1-W)を乗算し、演算器３２８に供給する。また、動き
補償回路３２６は、第１の実施例と同様に、フレームメ
モリ３１１に記憶された予測キー信号を用いて、図７に
示される画像信号符号化部６１から供給される上位レイ
ヤ動きベクトル及び予測モードに従って、下位レイヤ予
測参照キー信号を生成して、演算器３０３に予測参照キ
ー信号を供給する。
のキー差分信号と動き補償回路３１２からの予測参照キ
ー信号とを加算して予測キー信号（Ｉピクチャ及びＰピ
クチャの場合）を生成し、予測キー信号をフレームメモ
リ３１１に供給するとともにキー信号拡大回路３１３に
供給して、第１の実施例と同様に上位レイヤキー信号の
予測参照キー信号として使用される。キー信号拡大回路
３１３からの拡大された下位レイヤ予測参照キー信号
は、重み付加回路３１４に供給される。重み付加回路３
１４は、拡大された下位レイヤ予測参照キー信号に重み
(1-W)を乗算し、演算器３２８に供給する。また、動き
補償回路３２６は、第１の実施例と同様に、フレームメ
モリ３１１に記憶された予測キー信号を用いて、図７に
示される画像信号符号化部６１から供給される上位レイ
ヤ動きベクトル及び予測モードに従って、下位レイヤ予
測参照キー信号を生成して、演算器３０３に予測参照キ
ー信号を供給する。
【０１５４】一方、上位レイヤキー信号は、メモリから
なる遅延回路３１５を介して下位レイヤキー信号符号化
に要する時間だけ遅延された後、演算回路３１７に入力
され、演算器３１７は、演算器３２８からの上位レイヤ
キー信号のための予測参照キー信号と入力された上位階
層キー信号の差分を演算し、キー差分信号を量子化器３
６４に供給する。ただし、入力された上位レイヤキー信
号がイントラ予測符号化される場合、その上位レイヤキ
ー信号は、演算器３１７からそのままキー信号としてＱ
ｕａｄ Ｔｒｅｅ符号化回路３７３に供給される。Ｑｕ
ａｄ Ｔｒｅｅ符号化回路３７３は、送信バッファ３２
１のデータ蓄積量に従ってキー信号若しくはキー差分信
号をマクロブロック単位で階層化して符号化する。Ｑｕ
ａｄ Ｔｒｅｅ符号化回路３７３からのＱｕａｄ Ｔｒ
ｅｅ符号化された信号は、符号化回路３７５に供給され
る。そして、符号化回路３７５は、ハードキーの場合、
そのＱｕａｄＴｒｅe符号化された信号を可変長符号化
を行い、ソフトキーの場合、そのＱｕａｄＴｒｅｅ符号
化された信号をベクトル量子化する。そして、符号化回
路３７５は、符号化された信号を送信バッファ３２１を
介して上位レイヤキー信号ビットストリームとして出力
する。
なる遅延回路３１５を介して下位レイヤキー信号符号化
に要する時間だけ遅延された後、演算回路３１７に入力
され、演算器３１７は、演算器３２８からの上位レイヤ
キー信号のための予測参照キー信号と入力された上位階
層キー信号の差分を演算し、キー差分信号を量子化器３
６４に供給する。ただし、入力された上位レイヤキー信
号がイントラ予測符号化される場合、その上位レイヤキ
ー信号は、演算器３１７からそのままキー信号としてＱ
ｕａｄ Ｔｒｅｅ符号化回路３７３に供給される。Ｑｕ
ａｄ Ｔｒｅｅ符号化回路３７３は、送信バッファ３２
１のデータ蓄積量に従ってキー信号若しくはキー差分信
号をマクロブロック単位で階層化して符号化する。Ｑｕ
ａｄ Ｔｒｅｅ符号化回路３７３からのＱｕａｄ Ｔｒ
ｅｅ符号化された信号は、符号化回路３７５に供給され
る。そして、符号化回路３７５は、ハードキーの場合、
そのＱｕａｄＴｒｅe符号化された信号を可変長符号化
を行い、ソフトキーの場合、そのＱｕａｄＴｒｅｅ符号
化された信号をベクトル量子化する。そして、符号化回
路３７５は、符号化された信号を送信バッファ３２１を
介して上位レイヤキー信号ビットストリームとして出力
する。
【０１５５】一方、Ｑｕａｄ Ｔｒｅｅ符号化回路３７
３からのＱｕａｄ Ｔｒｅｅ符号化された信号は、逆Ｑ
ｕａｄ Ｔｒｅｅ符号化回路３７４にも供給される。逆
Ｑｕａｄ Ｔｒｅｅ符号化回路３７４は、供給された符
号化された下位レイヤキー信号を逆Ｑｕａｄ Ｔｒｅｅ
符号化し、演算器３１７の出力信号に対応するキー差分
信号（インター予測符号化の場合）若しくはキー信号
（イントラ予測符号化の場合）を演算器３２４に供給す
る。演算器３２４は、逆Ｑｕａｄ Ｔｒｅｅ符号化回路
３７４からのキー差分信号及び演算器３２８からの予測
参照キー信号を加算し、予測キー信号をフレームメモリ
３２５に供給する。フレームメモリ３２５は、予測キー
信号を記憶して、この後に符号化される上位レイヤキー
信号の予測参照キー信号として使用される。
３からのＱｕａｄ Ｔｒｅｅ符号化された信号は、逆Ｑ
ｕａｄ Ｔｒｅｅ符号化回路３７４にも供給される。逆
Ｑｕａｄ Ｔｒｅｅ符号化回路３７４は、供給された符
号化された下位レイヤキー信号を逆Ｑｕａｄ Ｔｒｅｅ
符号化し、演算器３１７の出力信号に対応するキー差分
信号（インター予測符号化の場合）若しくはキー信号
（イントラ予測符号化の場合）を演算器３２４に供給す
る。演算器３２４は、逆Ｑｕａｄ Ｔｒｅｅ符号化回路
３７４からのキー差分信号及び演算器３２８からの予測
参照キー信号を加算し、予測キー信号をフレームメモリ
３２５に供給する。フレームメモリ３２５は、予測キー
信号を記憶して、この後に符号化される上位レイヤキー
信号の予測参照キー信号として使用される。
【０１５６】動き補償回路３２６は、第１の実施例と同
様に、図７に示される画像信号符号化部６１から供給さ
れる上位レイヤ動きベクトル及び予測モードに従って、
上位レイヤ予測参照キー信号を生成し、重み付加回路３
２７に供給する。重み付加回路３２７は、動き補償回路
３２６からの上位レイヤ予測参照キー信号に重みＷを乗
算して、重み付けされた上位レイヤ予測参照キー信号を
演算器３２８に供給する。演算器３２８は、重み付加回
路３１４からの重み付けされた下位レイヤ予測参照キー
信号及び重み付加回路３２７からの重み付けされた上位
レイヤ予測参照キー信号を加算して、上位レイヤ予測参
照キー信号を演算器３１７に供給する。なお、重み付加
回路３２７からの重みＷも可変長符号化回路３２０に供
給され、この重みも可変長符号化されて、上位レイヤキ
ービットストリームの一部として出力される。
様に、図７に示される画像信号符号化部６１から供給さ
れる上位レイヤ動きベクトル及び予測モードに従って、
上位レイヤ予測参照キー信号を生成し、重み付加回路３
２７に供給する。重み付加回路３２７は、動き補償回路
３２６からの上位レイヤ予測参照キー信号に重みＷを乗
算して、重み付けされた上位レイヤ予測参照キー信号を
演算器３２８に供給する。演算器３２８は、重み付加回
路３１４からの重み付けされた下位レイヤ予測参照キー
信号及び重み付加回路３２７からの重み付けされた上位
レイヤ予測参照キー信号を加算して、上位レイヤ予測参
照キー信号を演算器３１７に供給する。なお、重み付加
回路３２７からの重みＷも可変長符号化回路３２０に供
給され、この重みも可変長符号化されて、上位レイヤキ
ービットストリームの一部として出力される。
【０１５７】次に、図２０は、第５の実施例におけるキ
ー信号のスケーラブル復号装置の一例を示している。な
お、上位レイヤキー信号及び下位レイヤキー信号の逆Ｄ
ＣＴ処理及び逆量子化処理以外の処理は、第１の実施例
の復号処理と同一であるため、同一参照番号を付して、
適宜その説明を省略する。つまり、本実施例の特徴部分
のみ以下に説明する。
ー信号のスケーラブル復号装置の一例を示している。な
お、上位レイヤキー信号及び下位レイヤキー信号の逆Ｄ
ＣＴ処理及び逆量子化処理以外の処理は、第１の実施例
の復号処理と同一であるため、同一参照番号を付して、
適宜その説明を省略する。つまり、本実施例の特徴部分
のみ以下に説明する。
【０１５８】下位レイヤキー信号ビットストリームは、
受信バッファ４０１を介して復号回路４７０に供給され
る。復号回路４７０は、符号化された下位レイヤキー信
号を復号する。つまり、下位レイヤキー信号がハードキ
ーである場合は、下位レイヤキー信号は可変長符号化さ
れているため、この復号回路４７０は、符号化された下
位レイヤキー信号を可変長復号し、Ｑｕａｄ Ｔｒｅｅ
符号化された下位レイヤキー信号を生成する。また、下
位レイヤキー信号がソフトキーである場合は、下位レイ
ヤキー信号はベクトル量子化されているため、この復号
回路４７０は、符号化された下位レイヤキー信号を逆ベ
クトル量子化し、Ｑｕａｄ Ｔｒｅｅ符号化された下位
レイヤキー信号を生成する。Ｑｕａｄ Ｔｒｅｅ符号化
された信号は、逆Ｑｕａｄ Ｔｒｅｅ符号化回路４７１
に供給される。逆Ｑｕａｄ Ｔｒｅｅ符号化回路４７１
は、Ｑｕａｄ Ｔｒｅｅ符号化された信号を逆Ｑｕａｄ
Ｔｒｅｅ符号化し、キー差分信号（インター予測符号化
の場合）若しくはキー信号（イントラ予測符号化の場
合）を演算器４０５に供給する。また、動き補償回路４
０７は、図８に示される画像信号復号部６６からの下位
レイヤ動きベクトル及び予測モードに従って下位レイヤ
予測参照キー信号を生成し、下位レイヤ予測参照信号を
演算器４０５に供給する。
受信バッファ４０１を介して復号回路４７０に供給され
る。復号回路４７０は、符号化された下位レイヤキー信
号を復号する。つまり、下位レイヤキー信号がハードキ
ーである場合は、下位レイヤキー信号は可変長符号化さ
れているため、この復号回路４７０は、符号化された下
位レイヤキー信号を可変長復号し、Ｑｕａｄ Ｔｒｅｅ
符号化された下位レイヤキー信号を生成する。また、下
位レイヤキー信号がソフトキーである場合は、下位レイ
ヤキー信号はベクトル量子化されているため、この復号
回路４７０は、符号化された下位レイヤキー信号を逆ベ
クトル量子化し、Ｑｕａｄ Ｔｒｅｅ符号化された下位
レイヤキー信号を生成する。Ｑｕａｄ Ｔｒｅｅ符号化
された信号は、逆Ｑｕａｄ Ｔｒｅｅ符号化回路４７１
に供給される。逆Ｑｕａｄ Ｔｒｅｅ符号化回路４７１
は、Ｑｕａｄ Ｔｒｅｅ符号化された信号を逆Ｑｕａｄ
Ｔｒｅｅ符号化し、キー差分信号（インター予測符号化
の場合）若しくはキー信号（イントラ予測符号化の場
合）を演算器４０５に供給する。また、動き補償回路４
０７は、図８に示される画像信号復号部６６からの下位
レイヤ動きベクトル及び予測モードに従って下位レイヤ
予測参照キー信号を生成し、下位レイヤ予測参照信号を
演算器４０５に供給する。
【０１５９】演算器４０５は、逆Ｑｕａｄ Ｔｒｅｅ符
号化回路４７１からのキー差分信号及び動き補償回路４
０７からの下位レイヤ予測参照キー信号を加算し、復号
された下位レイヤキー信号を外部に出力する。ただし、
逆Ｑｕａｄ Ｔｒｅｅ符号化回路４７１からの出力信号
がイントラ予測符号化されたキー信号である場合には、
そのキー信号が、演算器４０５から下位レイヤキー信号
としてそのまま出力される。また、復号された下位レイ
ヤキー信号がＩピクチャ若しくはＰピクチャの場合、演
算器４０５からの下位レイヤキー信号は、フレームメモ
リ４０６に記憶され、その後復号する下位レイヤ号の予
測参照キー信号として使用される。演算器４０５からの
下位レイヤキー信号は、キー信号拡大回路４０８に供給
される。キー信号拡大回路４０８は、下位レイヤキー信
号を上位レイヤキー信号と同一の大きさに拡大して後、
上位レイヤキー信号の予測参照キー信号として用いられ
る。
号化回路４７１からのキー差分信号及び動き補償回路４
０７からの下位レイヤ予測参照キー信号を加算し、復号
された下位レイヤキー信号を外部に出力する。ただし、
逆Ｑｕａｄ Ｔｒｅｅ符号化回路４７１からの出力信号
がイントラ予測符号化されたキー信号である場合には、
そのキー信号が、演算器４０５から下位レイヤキー信号
としてそのまま出力される。また、復号された下位レイ
ヤキー信号がＩピクチャ若しくはＰピクチャの場合、演
算器４０５からの下位レイヤキー信号は、フレームメモ
リ４０６に記憶され、その後復号する下位レイヤ号の予
測参照キー信号として使用される。演算器４０５からの
下位レイヤキー信号は、キー信号拡大回路４０８に供給
される。キー信号拡大回路４０８は、下位レイヤキー信
号を上位レイヤキー信号と同一の大きさに拡大して後、
上位レイヤキー信号の予測参照キー信号として用いられ
る。
【０１６０】一方、上位レイヤキービットストリーム
は、受信バッファ４０９を介して復号回路４７２に供給
される。復号回路４７２は、符号化された上位レイヤキ
ー信号を復号する。つまり、上位レイヤキー信号がハー
ドキーである場合は、上位レイヤキー信号は可変長符号
化されているため、この復号回路４７２は、符号化され
た上位レイヤキー信号を可変長復号し、Ｑｕａｄ Ｔｒ
ｅｅ符号化された上位レイヤキー信号を生成する。ま
た、上位レイヤキー信号がソフトキーである場合は、上
位レイヤキー信号はベクトル量子化されているため、こ
の復号回路４７２は、符号化された上記レイヤキー信号
を逆ベクトル量子化し、Ｑｕａｄ Ｔｒｅｅ符号化され
た上位レイヤキー信号を生成する。Ｑｕａｄ Ｔｒｅｅ
符号化された信号は、逆Ｑｕａｄ Ｔｒｅｅ符号化回路
４７３に供給される。逆Ｑｕａｄ Ｔｒｅｅ符号化回路
４７３は、Ｑｕａｄ Ｔｒｅｅ符号化された信号を逆Ｑ
ｕａｄＴｒｅｅ符号化し、キー差分信号（インター予測
符号化の場合）若しくはキー信号（イントラ予測符号化
の場合）を演算器４１３に供給する。また、動き補償回
路４１５は、図８に示される画像信号復号部６６からの
上位レイヤ動きベクトル及び予測モードに従って上位レ
イヤ予測参照キー信号を生成し、上位レイヤ予測参照キ
ー信号を重み付加回路４１６に供給する。重み付加回路
４１６は、可変長復号回路４１０からの復号された重み
Ｗを用い、上位レイヤ予測参照キー信号に重みＷを乗算
して、重み付けされた上位レイヤキー予測参照キー信号
を演算器４１８に供給する。また、キー信号拡大回路４
０８からの拡大された下位レイヤキー信号は、重み付加
回路４１７に供給される。重み付加回路４１７は、可変
長復号回路４１０からの復号された重みＷを用い、拡大
された下位レイヤキー信号に（１−Ｗ）を乗算して、重
み付けされた下位レイヤ予測参照キー信号を演算器４１
８に供給する。
は、受信バッファ４０９を介して復号回路４７２に供給
される。復号回路４７２は、符号化された上位レイヤキ
ー信号を復号する。つまり、上位レイヤキー信号がハー
ドキーである場合は、上位レイヤキー信号は可変長符号
化されているため、この復号回路４７２は、符号化され
た上位レイヤキー信号を可変長復号し、Ｑｕａｄ Ｔｒ
ｅｅ符号化された上位レイヤキー信号を生成する。ま
た、上位レイヤキー信号がソフトキーである場合は、上
位レイヤキー信号はベクトル量子化されているため、こ
の復号回路４７２は、符号化された上記レイヤキー信号
を逆ベクトル量子化し、Ｑｕａｄ Ｔｒｅｅ符号化され
た上位レイヤキー信号を生成する。Ｑｕａｄ Ｔｒｅｅ
符号化された信号は、逆Ｑｕａｄ Ｔｒｅｅ符号化回路
４７３に供給される。逆Ｑｕａｄ Ｔｒｅｅ符号化回路
４７３は、Ｑｕａｄ Ｔｒｅｅ符号化された信号を逆Ｑ
ｕａｄＴｒｅｅ符号化し、キー差分信号（インター予測
符号化の場合）若しくはキー信号（イントラ予測符号化
の場合）を演算器４１３に供給する。また、動き補償回
路４１５は、図８に示される画像信号復号部６６からの
上位レイヤ動きベクトル及び予測モードに従って上位レ
イヤ予測参照キー信号を生成し、上位レイヤ予測参照キ
ー信号を重み付加回路４１６に供給する。重み付加回路
４１６は、可変長復号回路４１０からの復号された重み
Ｗを用い、上位レイヤ予測参照キー信号に重みＷを乗算
して、重み付けされた上位レイヤキー予測参照キー信号
を演算器４１８に供給する。また、キー信号拡大回路４
０８からの拡大された下位レイヤキー信号は、重み付加
回路４１７に供給される。重み付加回路４１７は、可変
長復号回路４１０からの復号された重みＷを用い、拡大
された下位レイヤキー信号に（１−Ｗ）を乗算して、重
み付けされた下位レイヤ予測参照キー信号を演算器４１
８に供給する。
【０１６１】演算器４１８は、重み付加回路４１６から
の重み付けされた上位レイヤキー予測参照キー信号及び
重み付加回路４１７からの重み付けされた下位レイヤ予
測参照キー信号を加算し、上位レイヤキー信号の予測参
照キー信号を演算器４１３に供給する。
の重み付けされた上位レイヤキー予測参照キー信号及び
重み付加回路４１７からの重み付けされた下位レイヤ予
測参照キー信号を加算し、上位レイヤキー信号の予測参
照キー信号を演算器４１３に供給する。
【０１６２】演算器４１３は、逆Ｑｕａｄ Ｔｒｅｅ符
号化回路４７３からのキー差分信号（インター予測符号
化の場合）と演算器４１８からの上位レイヤキー信号の
予測参照キー信号を加算して、復号された上位レイヤキ
ー信号を外部に出力する。だたし、逆Ｑｕａｄ Ｔｒｅ
ｅ符号化回路４７３からの出力信号がイントラ予測符号
化されたキー信号である場合には、そのキー信号が、演
算器４１３から下位レイヤキー信号としてそのまま出力
される。また、演算器４１３からの下位レイヤキー信号
は、フレームメモリ４１４に記憶され、その後復号する
下位レイヤ号の予測参照キー信号として使用される。
号化回路４７３からのキー差分信号（インター予測符号
化の場合）と演算器４１８からの上位レイヤキー信号の
予測参照キー信号を加算して、復号された上位レイヤキ
ー信号を外部に出力する。だたし、逆Ｑｕａｄ Ｔｒｅ
ｅ符号化回路４７３からの出力信号がイントラ予測符号
化されたキー信号である場合には、そのキー信号が、演
算器４１３から下位レイヤキー信号としてそのまま出力
される。また、演算器４１３からの下位レイヤキー信号
は、フレームメモリ４１４に記憶され、その後復号する
下位レイヤ号の予測参照キー信号として使用される。
【０１６３】（６）キー信号のスケーラブル符号化にお
ける第６の実施例 第６の実施例は、第５の実施例の変形例である。つま
り、第５の実施例においては、上位レイヤキー信号に対
して動き補償を行っていたが、第６の実施例において
は、上位レイヤキー信号に対して動き補償を行わない。
ける第６の実施例 第６の実施例は、第５の実施例の変形例である。つま
り、第５の実施例においては、上位レイヤキー信号に対
して動き補償を行っていたが、第６の実施例において
は、上位レイヤキー信号に対して動き補償を行わない。
【０１６４】図２１は、第６の実施例におけるキー信号
のスケーラブル符号化装置の一例を示している。なお、
下位レイヤキー信号の符号化処理は、第５の実施例の符
号化処理と同一であるため、同一参照番号を付してその
説明を省略する。また、上位レイヤキー信号の符号化処
理についても、同一部分については同一番号を付して、
適宜その説明を省略する。つまり、本実施例の特徴部分
のみ以下に説明する。
のスケーラブル符号化装置の一例を示している。なお、
下位レイヤキー信号の符号化処理は、第５の実施例の符
号化処理と同一であるため、同一参照番号を付してその
説明を省略する。また、上位レイヤキー信号の符号化処
理についても、同一部分については同一番号を付して、
適宜その説明を省略する。つまり、本実施例の特徴部分
のみ以下に説明する。
【０１６５】下位レイヤキー信号の符号化処理における
ローカルデコーダ内の演算器３１０からの下位レイヤ予
測キー信号は、キー信号拡大回路３１３に供給される。
キー信号拡大回路３１３は、下位レイヤ予測キー信号を
上位レイヤキー信号と同一の大きさに拡大し、演算器３
５０に上位レイヤキー信号の予測参照キー信号として供
給する。上位レイヤキー信号は、下位レイヤキー信号の
符号化処理時間だけ遅延された後、演算器３８０に供給
される。演算器３８０は、入力された上位レイヤキー信
号とキー信号拡大回路３１３からの予測参照キー信号と
の差分を演算し、キー差分信号を量子化回路３６０に供
給する。ただし、入力された上位レイヤキー信号がイン
トラ予測符号化される場合、その入力された上位レイヤ
キー信号が演算器３５０からそのまま出力されることに
なる。Ｑｕａｄ Ｔｒｅｅ符号化回路３７０は、供給さ
れたキー差分信号（インター予測符号化の場合）若しく
はキー信号（イントラ予測符号化の場合）を送信バッフ
ァ３０７のデータ蓄積量に従ってＱｕａｄ Ｔｒｅｅ符
号化し、Ｑｕａｄ Ｔｒｅｅ符号化された信号を符号化
回路３７２に供給される。符号化回路３７２は、ハード
キーの場合は、Ｑｕａｄ Ｔｒｅｅ符号化された信号を
可変長符号化し、ソフトキーの場合は、Ｑｕａｄ Ｔｒ
ｅｅ符号化された信号をベクトル量子化して、送信バッ
ファ３２１を介して上位レイヤキービットストリームと
して出力する。
ローカルデコーダ内の演算器３１０からの下位レイヤ予
測キー信号は、キー信号拡大回路３１３に供給される。
キー信号拡大回路３１３は、下位レイヤ予測キー信号を
上位レイヤキー信号と同一の大きさに拡大し、演算器３
５０に上位レイヤキー信号の予測参照キー信号として供
給する。上位レイヤキー信号は、下位レイヤキー信号の
符号化処理時間だけ遅延された後、演算器３８０に供給
される。演算器３８０は、入力された上位レイヤキー信
号とキー信号拡大回路３１３からの予測参照キー信号と
の差分を演算し、キー差分信号を量子化回路３６０に供
給する。ただし、入力された上位レイヤキー信号がイン
トラ予測符号化される場合、その入力された上位レイヤ
キー信号が演算器３５０からそのまま出力されることに
なる。Ｑｕａｄ Ｔｒｅｅ符号化回路３７０は、供給さ
れたキー差分信号（インター予測符号化の場合）若しく
はキー信号（イントラ予測符号化の場合）を送信バッフ
ァ３０７のデータ蓄積量に従ってＱｕａｄ Ｔｒｅｅ符
号化し、Ｑｕａｄ Ｔｒｅｅ符号化された信号を符号化
回路３７２に供給される。符号化回路３７２は、ハード
キーの場合は、Ｑｕａｄ Ｔｒｅｅ符号化された信号を
可変長符号化し、ソフトキーの場合は、Ｑｕａｄ Ｔｒ
ｅｅ符号化された信号をベクトル量子化して、送信バッ
ファ３２１を介して上位レイヤキービットストリームと
して出力する。
【０１６６】図２２は、第６の実施例におけるキー信号
のスケーラブル復号装置の一例を示している。なお、下
位レイヤキー信号の復号処理は、第３の実施例の符号化
処理と同一であるため、同一参照番号を付してその説明
を省略する。また、上位レイヤキー信号の復号処理につ
いても、同一部分については同一番号を付して、適宜そ
の説明を省略する。つまり、本実施例の特徴部分のみ以
下に説明する。
のスケーラブル復号装置の一例を示している。なお、下
位レイヤキー信号の復号処理は、第３の実施例の符号化
処理と同一であるため、同一参照番号を付してその説明
を省略する。また、上位レイヤキー信号の復号処理につ
いても、同一部分については同一番号を付して、適宜そ
の説明を省略する。つまり、本実施例の特徴部分のみ以
下に説明する。
【０１６７】上位レイヤキービットストリームは、受信
バッファ４０９を介して復号回路４７２に供給される。
復号回路４７２は、符号化された上位レイヤキー信号を
復号する。つまり、上位レイヤキー信号がハードキーで
ある場合は、上位レイヤキー信号は可変長符号化されて
いるため、この復号回路４７２は、符号化された上位レ
イヤキー信号を可変長復号し、Ｑｕａｄ Ｔｒｅｅ符号
化された上位レイヤキー信号を生成する。また、上位レ
イヤキー信号がソフトキーである場合は、上位レイヤキ
ー信号はベクトル量子化されているため、この復号回路
４７２は、符号化された上記レイヤキー信号を逆ベクト
ル量子化し、Ｑｕａｄ Ｔｒｅｅ符号化された上位レイ
ヤキー信号を生成する。Ｑｕａｄ Ｔｒｅｅ符号化され
た信号は、逆Ｑｕａｄ Ｔｒｅｅ符号化回路４７３に供
給される。逆Ｑｕａｄ Ｔｒｅｅ符号化回路４７３は、
Ｑｕａｄ Ｔｒｅｅ符号化された信号を逆Ｑｕａｄ Ｔ
ｒｅｅ符号化し、キー差分信号（インター予測符号化の
場合）若しくはキー信号（イントラ予測符号化の場合）
を演算器４８０に供給する。
バッファ４０９を介して復号回路４７２に供給される。
復号回路４７２は、符号化された上位レイヤキー信号を
復号する。つまり、上位レイヤキー信号がハードキーで
ある場合は、上位レイヤキー信号は可変長符号化されて
いるため、この復号回路４７２は、符号化された上位レ
イヤキー信号を可変長復号し、Ｑｕａｄ Ｔｒｅｅ符号
化された上位レイヤキー信号を生成する。また、上位レ
イヤキー信号がソフトキーである場合は、上位レイヤキ
ー信号はベクトル量子化されているため、この復号回路
４７２は、符号化された上記レイヤキー信号を逆ベクト
ル量子化し、Ｑｕａｄ Ｔｒｅｅ符号化された上位レイ
ヤキー信号を生成する。Ｑｕａｄ Ｔｒｅｅ符号化され
た信号は、逆Ｑｕａｄ Ｔｒｅｅ符号化回路４７３に供
給される。逆Ｑｕａｄ Ｔｒｅｅ符号化回路４７３は、
Ｑｕａｄ Ｔｒｅｅ符号化された信号を逆Ｑｕａｄ Ｔ
ｒｅｅ符号化し、キー差分信号（インター予測符号化の
場合）若しくはキー信号（イントラ予測符号化の場合）
を演算器４８０に供給する。
【０１６８】演算器４８０は、逆Ｑｕａｄ Ｔｒｅｅ符
号化回路４７３からのキー差分信号（インター予測符号
化）とキー信号拡大回路４０８からの予測参照キー信号
を加算して、上位レイヤキー信号を生成して、上位レイ
ヤキー信号を外部に出力する。ただし、逆Ｑｕａｄ Ｔ
ｒｅｅ符号化回路４７３からの出力信号が、イントラ予
測符号化されたキー信号の場合、演算器４８０は、逆Ｑ
ｕａｄ Ｔｒｅｅ符号化回路４７３からのキー信号を上
位レイヤキー信号としてそのまま出力する。
号化回路４７３からのキー差分信号（インター予測符号
化）とキー信号拡大回路４０８からの予測参照キー信号
を加算して、上位レイヤキー信号を生成して、上位レイ
ヤキー信号を外部に出力する。ただし、逆Ｑｕａｄ Ｔ
ｒｅｅ符号化回路４７３からの出力信号が、イントラ予
測符号化されたキー信号の場合、演算器４８０は、逆Ｑ
ｕａｄ Ｔｒｅｅ符号化回路４７３からのキー信号を上
位レイヤキー信号としてそのまま出力する。
【０１６９】上記第１の実施例から第６の実施例まで空
間スケーラビリティを例にとってキー信号スケーラビリ
ティ符号化方法を述べたが、これは、テンポラルスケー
ラビリティやＳＮＲスケーラビリティにも同様に適用で
きる。いずれの場合においても、画像信号の符号化と同
様の符号化をキー信号においても適用すればよい（すな
わち、キー信号を輝度信号と同じ大きさの画像信号とし
て扱う）。また、上記実施例以外のキー信号符号化方法
及びキー信号の差分符号化方法においても同様に本発明
を適用することが可能である。
間スケーラビリティを例にとってキー信号スケーラビリ
ティ符号化方法を述べたが、これは、テンポラルスケー
ラビリティやＳＮＲスケーラビリティにも同様に適用で
きる。いずれの場合においても、画像信号の符号化と同
様の符号化をキー信号においても適用すればよい（すな
わち、キー信号を輝度信号と同じ大きさの画像信号とし
て扱う）。また、上記実施例以外のキー信号符号化方法
及びキー信号の差分符号化方法においても同様に本発明
を適用することが可能である。
【０１７０】３． 空間スケーラビリティにおける符号
化効率の改善方法及びシンタクス ここでは、スケーラブル画像信号符号化方法における符
号化効率の改善方法について述べる。ＭＰＥＧ２方式で
は各種スケーラビリティが標準化されているが、これら
のスケーラビリティは、比較的高いビットレートにおい
て最適化されたものである。したがって、これらのスケ
ーラビリティは、低ビットレートの場合には冗長であ
り、これらのスケーラビリティから不必要な符号化モー
ドなどを削減することにより、符号化効率を改善するこ
とができる。
化効率の改善方法及びシンタクス ここでは、スケーラブル画像信号符号化方法における符
号化効率の改善方法について述べる。ＭＰＥＧ２方式で
は各種スケーラビリティが標準化されているが、これら
のスケーラビリティは、比較的高いビットレートにおい
て最適化されたものである。したがって、これらのスケ
ーラビリティは、低ビットレートの場合には冗長であ
り、これらのスケーラビリティから不必要な符号化モー
ドなどを削減することにより、符号化効率を改善するこ
とができる。
【０１７１】本実施の形態においては上位レイヤの符号
化モードは下位レイヤの符号化モードに依存する。本実
施例におけるシンタクスについて説明する。
化モードは下位レイヤの符号化モードに依存する。本実
施例におけるシンタクスについて説明する。
【０１７２】スケーラビリティを実現する方法として
は、各レイヤのビットストリームが一つのｓｅｓｓｉｏ
ｎから構成される方法とＶＯＰ ｌａｙｅｒにｓｃａｌ
ａｂｌｅ ｌａｙｅｒを導入する方法とがある。前者
は、下位レイヤ及び上位レイヤのビットストリームにそ
れぞれｓｅｓｓｉｏｎ ｈｅａｄｅｒをつけて異なるＳ
ｅｓｓｉｏｎにする表記方法であり、後者は、Ｓｅｓｓ
ｉｏｎ ｈｅａｄｅｒは１つしか用いず、下位レイヤと
上位レイヤを識別するためのシンタックスレイヤＶＯＰ
ｌａｙｅｒ ｈｅａｄｅｒを導入する表記方法であ
る。本実施例においては、そのどちらにも適用可能であ
る。本実施例では、後者の場合を例にとり説明するが前
者の場合でも同様である。
は、各レイヤのビットストリームが一つのｓｅｓｓｉｏ
ｎから構成される方法とＶＯＰ ｌａｙｅｒにｓｃａｌ
ａｂｌｅ ｌａｙｅｒを導入する方法とがある。前者
は、下位レイヤ及び上位レイヤのビットストリームにそ
れぞれｓｅｓｓｉｏｎ ｈｅａｄｅｒをつけて異なるＳ
ｅｓｓｉｏｎにする表記方法であり、後者は、Ｓｅｓｓ
ｉｏｎ ｈｅａｄｅｒは１つしか用いず、下位レイヤと
上位レイヤを識別するためのシンタックスレイヤＶＯＰ
ｌａｙｅｒ ｈｅａｄｅｒを導入する表記方法であ
る。本実施例においては、そのどちらにも適用可能であ
る。本実施例では、後者の場合を例にとり説明するが前
者の場合でも同様である。
【０１７３】ビットストリームのシンタクスはＩＳＯ−
ＩＥＣ／ＪＴＣ１／ＳＣ２９／ＷＧ１１ Ｎ１１７２の
文書に記載のシンタクスをもとに同様の表記で示す。な
お、以下に、各シンタックスについて説明するが、本発
明に係る部分のみ説明し、その他は説明を省略する。
ＩＥＣ／ＪＴＣ１／ＳＣ２９／ＷＧ１１ Ｎ１１７２の
文書に記載のシンタクスをもとに同様の表記で示す。な
お、以下に、各シンタックスについて説明するが、本発
明に係る部分のみ説明し、その他は説明を省略する。
【０１７４】図２４は、ｓｅｓｓｉｏｎ ｌａｙｅｒの
シンタクスを示している。
シンタクスを示している。
【０１７５】ｓｅｓｓｉｏｎ ｌａｙｅｒはＭＰＥＧ２
などのｓｅｑｕｅｎｃｅ ｌａｙｅｒに相当する。ｎｕ
ｍｂｅｒ＿ｏｆ＿ｓｃａｌａｂｌｅ＿ｌａｙｅｒｓは、
スケーラブルレイヤの数である。また、このｎｕｍｂｅ
ｒ＿ｏｆ＿ｓｃａｌａｂｌｅ＿ｌａｙｅｒｓのそれぞれ
のスケーラブルレイヤに、ｓｃａｌａｂｌｅ＿ｍｏｄ
ｅ，ｓｃａｌａｂｌｅ＿ｌａｙｅｒ＿ｄｅｐｅｎｄｅｎ
ｃｙ，ｍｏｒｅ＿ｔｈａｎ＿ｏｎｅ＿ＶＯＰ，ｓｅｓｓ
ｉｏｎ＿ｗｉｄｔｈ，ｓｅｓｓｉｏｎ＿ｈｅｉｇｈｔが
定義される。
などのｓｅｑｕｅｎｃｅ ｌａｙｅｒに相当する。ｎｕ
ｍｂｅｒ＿ｏｆ＿ｓｃａｌａｂｌｅ＿ｌａｙｅｒｓは、
スケーラブルレイヤの数である。また、このｎｕｍｂｅ
ｒ＿ｏｆ＿ｓｃａｌａｂｌｅ＿ｌａｙｅｒｓのそれぞれ
のスケーラブルレイヤに、ｓｃａｌａｂｌｅ＿ｍｏｄ
ｅ，ｓｃａｌａｂｌｅ＿ｌａｙｅｒ＿ｄｅｐｅｎｄｅｎ
ｃｙ，ｍｏｒｅ＿ｔｈａｎ＿ｏｎｅ＿ＶＯＰ，ｓｅｓｓ
ｉｏｎ＿ｗｉｄｔｈ，ｓｅｓｓｉｏｎ＿ｈｅｉｇｈｔが
定義される。
【０１７６】ｓｃａｌａｂｌｅ＿ｍｏｄｅは、スケーラ
ビリティの種類をあらわすフラグである。’０１’の場
合、空間スケーラビリティを、また’１１’の場合、テ
ンポラルスケーラビリティであることを示す。
ビリティの種類をあらわすフラグである。’０１’の場
合、空間スケーラビリティを、また’１１’の場合、テ
ンポラルスケーラビリティであることを示す。
【０１７７】ｓｃａｌａｂｌｅ＿ｌａｙｅｒ＿ｄｅｐｅ
ｎｄｅｎｃｙは、上位レイヤの符号化モードが下位レイ
ヤに依存するかどうかを示すフラグである。これが’
１’である場合、上位レイヤのモードは下位レイヤに依
存することになる。
ｎｄｅｎｃｙは、上位レイヤの符号化モードが下位レイ
ヤに依存するかどうかを示すフラグである。これが’
１’である場合、上位レイヤのモードは下位レイヤに依
存することになる。
【０１７８】ｓｅｓｓｉｏｎ＿ｗｉｄｔｈ，ｓｅｓｓｉ
ｏｎ＿ｈｅｉｇｈｔは、そのｓｅｓｓｉｏｎの大きさを
示すが、ここでは、各スケーラブルレイヤの画枠の大き
さを示す。
ｏｎ＿ｈｅｉｇｈｔは、そのｓｅｓｓｉｏｎの大きさを
示すが、ここでは、各スケーラブルレイヤの画枠の大き
さを示す。
【０１７９】ｍｏｒｅ＿ｔｈａｎ＿ｏｎｅ＿ＶＯＰは、
１ビットのフラグであり、そのｓｅｓｓｉｏｎが１より
多いＶＯＰから構成されているかどうかを示すフラグで
ある。これが’１’の場合、複数のＶＯＰから構成され
る ｓｅｓｓｉｏｎである。また’０’である場合、こ
れまでのＭＰＥＧやＨ．２６３といった方式と同様にＶ
ＯＰが１つ、すなわちフレーム単位の符号化となる。
１ビットのフラグであり、そのｓｅｓｓｉｏｎが１より
多いＶＯＰから構成されているかどうかを示すフラグで
ある。これが’１’の場合、複数のＶＯＰから構成され
る ｓｅｓｓｉｏｎである。また’０’である場合、こ
れまでのＭＰＥＧやＨ．２６３といった方式と同様にＶ
ＯＰが１つ、すなわちフレーム単位の符号化となる。
【０１８０】次に、ＶＯＰ ｌａｙｅｒのシンタクスを
図２５に示す。ＶＯＰ ｌａｙｅｒはＭＰＥＧ２方式な
どのＰｉｃｔｕｒｅ ｌａｙｅｒに相当する。Ｎ１１７
２に記載のＶＯＰ ｌａｙｅｒのシンタクスに追加され
るシンタクスのみここで説明する。
図２５に示す。ＶＯＰ ｌａｙｅｒはＭＰＥＧ２方式な
どのＰｉｃｔｕｒｅ ｌａｙｅｒに相当する。Ｎ１１７
２に記載のＶＯＰ ｌａｙｅｒのシンタクスに追加され
るシンタクスのみここで説明する。
【０１８１】ＶＯＰ＿ｓｃｌ＿ｌａｙｅｒ＿ＩＤは、ス
ケーラビリティのレイヤを示すフラグである。ｂａｓｅ
ｌａｙｅｒは’０’である。
ケーラビリティのレイヤを示すフラグである。ｂａｓｅ
ｌａｙｅｒは’０’である。
【０１８２】次に、Ｍａｃｒｏｂｌｏｃｋ ｌａｙｅｒ
のシンタクスを図２６に示す。図２６は、ｓｃａｌａｂ
ｌｅ＿ｌａｙｅｒ＿ｄｅｐｅｎｄｅｎｃｙが’０’の場
合である。
のシンタクスを図２６に示す。図２６は、ｓｃａｌａｂ
ｌｅ＿ｌａｙｅｒ＿ｄｅｐｅｎｄｅｎｃｙが’０’の場
合である。
【０１８３】ＣＯＤは、そのマクロブロックにそれ以上
データが含まれているかどうかを示すフラグである。’
０’の場合それ以上のデータはそのマクロブロックには
存在しないことを示す（スキップマクロブロック）。
データが含まれているかどうかを示すフラグである。’
０’の場合それ以上のデータはそのマクロブロックには
存在しないことを示す（スキップマクロブロック）。
【０１８４】ＭＣＢＰＣは、ｍａｃｒｏｂｌｏｃｋ＿ｔ
ｙｐｅ及びＣＢＰＣを示し、可変長のフラグである。下
位レイヤのｍａｃｒｏｂｌｏｃｋ＿ｔｙｐｅ（Ｎ１１７
２に記載）を図２７に、ｅｎｈａｎｃｅｍｅｎｔｌａｙ
ｅｒのｍａｃｒｏｂｌｏｃｋ＿ｔｙｐｅを図２８に示
す。図２８中でｃｏｍｐａｔｉｂｌｅは、上位レイヤの
当該マクロブロックが空間予測（下位レイヤからの予
測）のみ行われるマクロブロックであり、このマクロブ
ロックは量子化スケールを有していない。また、ｃｏｍ
ｐａｔｉｂｌｅ＋Ｑは、ｃｏｍｐａｔｉｂｌｅに対して
量子化スケールを有しているものである。
ｙｐｅ及びＣＢＰＣを示し、可変長のフラグである。下
位レイヤのｍａｃｒｏｂｌｏｃｋ＿ｔｙｐｅ（Ｎ１１７
２に記載）を図２７に、ｅｎｈａｎｃｅｍｅｎｔｌａｙ
ｅｒのｍａｃｒｏｂｌｏｃｋ＿ｔｙｐｅを図２８に示
す。図２８中でｃｏｍｐａｔｉｂｌｅは、上位レイヤの
当該マクロブロックが空間予測（下位レイヤからの予
測）のみ行われるマクロブロックであり、このマクロブ
ロックは量子化スケールを有していない。また、ｃｏｍ
ｐａｔｉｂｌｅ＋Ｑは、ｃｏｍｐａｔｉｂｌｅに対して
量子化スケールを有しているものである。
【０１８５】ｍａｃｒｏｂｌｏｃｋ ｌａｙｅｒでは、
ｓｐａｔｉａｌ＿ｔｅｍｐｏｒａｌ＿ｗｅｉｇｈｔ＿ｃ
ｏｄｅ＿ｆｌａｇが ’１’の場合、すなわち、ｍａｃ
ｒｏｂｌｏｃｋ＿ｔｙｐｅが ＩＮＴＥＲ（ＩＮＴＥＲ
は量子化スケールなしのインター予測符号化マクロブロ
ック）、ＩＮＴＥＲ＋Ｑ（量子化スケールありのインタ
ー予測符号化マクロブロック）、ＩＮＴＥＲ４Ｖ（８ｘ
８動き補償を行うマクロブロック）のいずれかの場合、
ｓｐａｔｉａｌ＿ｔｅｍｐｏｒａｌ＿ｗｅｉｇｈｔ＿ｃ
ｏｄｅが伝送される。これは１ビットのフラグであり、
上記 ｍａｃｒｏｂｌｏｃｋ＿ｔｙｐｅの場合に予測が
テンポラル予測のみかまたは、空間予測との組合せであ
るかを示すフラグである。ＣＢＰＣは色差信号の各ブロ
ックにデータが存在するかどうかを示すフラグである。
ｓｐａｔｉａｌ＿ｔｅｍｐｏｒａｌ＿ｗｅｉｇｈｔ＿ｃ
ｏｄｅ＿ｆｌａｇが ’１’の場合、すなわち、ｍａｃ
ｒｏｂｌｏｃｋ＿ｔｙｐｅが ＩＮＴＥＲ（ＩＮＴＥＲ
は量子化スケールなしのインター予測符号化マクロブロ
ック）、ＩＮＴＥＲ＋Ｑ（量子化スケールありのインタ
ー予測符号化マクロブロック）、ＩＮＴＥＲ４Ｖ（８ｘ
８動き補償を行うマクロブロック）のいずれかの場合、
ｓｐａｔｉａｌ＿ｔｅｍｐｏｒａｌ＿ｗｅｉｇｈｔ＿ｃ
ｏｄｅが伝送される。これは１ビットのフラグであり、
上記 ｍａｃｒｏｂｌｏｃｋ＿ｔｙｐｅの場合に予測が
テンポラル予測のみかまたは、空間予測との組合せであ
るかを示すフラグである。ＣＢＰＣは色差信号の各ブロ
ックにデータが存在するかどうかを示すフラグである。
【０１８６】ここで、ｍａｃｒｏｂｌｏｃｋ＿ｔｙｐｅ
に応じてｅｎｈａｎｃｅｍｅｎｔｌａｙｅｒの予測モー
ドがどのように決定されるかを説明する。ｅｎｈａｎｃ
ｅｍｅｎｔ＿ｌａｙｅｒの予測には以下の３つのクラス
（ｓｐａｔｉａｌ＿ｔｅｍｐｏｒａｌ＿ｗｅｉｇｈｔ＿
ｃｌａｓｓ）が存在する。
に応じてｅｎｈａｎｃｅｍｅｎｔｌａｙｅｒの予測モー
ドがどのように決定されるかを説明する。ｅｎｈａｎｃ
ｅｍｅｎｔ＿ｌａｙｅｒの予測には以下の３つのクラス
（ｓｐａｔｉａｌ＿ｔｅｍｐｏｒａｌ＿ｗｅｉｇｈｔ＿
ｃｌａｓｓ）が存在する。
【０１８７】 Ｃｌａｓｓ０： テンポラル予測（時間方向予測）のみ Ｃｌａｓｓ１： テンポラル予測及び空間予測の組み合
わせ Ｃｌａｓｓ２： 空間予測（下位レイヤからの予測）の
み ｍａｃｒｏｂｌｏｃｋ＿ｔｙｐｅ がＩｎｔｒａ（量子
化スケールなしのイントラ予測符号化マクロブロッ
ク）、Ｉｎｔｒａ＋Ｑ（量子化スケールありのイントラ
予測符号化マクロブロック）の場合には、ｓｐａｔｉａ
ｌ＿ｔｅｍｐｏｒａｌ＿ｗｅｉｇｈｔ＿ｃｌａｓｓは
０、すなわち、ｃｌａｓｓ０，Ｃｏｍｐａｔｉｂｌｅ，
Ｃｏｍｐａｔｉｂｌｅ＋Ｑの場合には、ｓｐａｔｉａｌ
＿ｔｅｍｐｏｒａｌ＿ｗｅｉｇｈｔ＿ｃｌａｓｓは２、
すなわち、ｃｌａｓｓ２である。しかし、それ以外の場
合、すなわち、ｍａｃｒｏｂｌｏｃｋ＿ｔｙｐｅがＩｎ
ｔｅｒ，Ｉｎｔｅｒ＋Ｑ，Ｉｎｔｅｒ４Ｖの場合には、
ｍａｃｒｏｂｌｏｃｋ＿ｔｙｐｅからだけではｓｐａｔ
ｉａｌ＿ｔｅｍｐｏｒａｌ＿ｗｅｉｇｈｔ＿ｃｌａｓｓ
は一意に決定されない。この場合、ｓｐａｔｉａｌ＿ｔ
ｅｍｐｏｒａｌ＿ｗｅｉｇｈｔ＿ｃｏｄｅ＿ｆｌａｇが
１となり（図３０）、ｍａｃｒｏｂｌｏｃｋ＿ｌａｙｅ
ｒにおいてｓｐａｔｉａｌ＿ｔｅｍｐｏｒａｌ＿ｗｅｉ
ｇｈｔ＿ｃｏｄｅが伝送される。
わせ Ｃｌａｓｓ２： 空間予測（下位レイヤからの予測）の
み ｍａｃｒｏｂｌｏｃｋ＿ｔｙｐｅ がＩｎｔｒａ（量子
化スケールなしのイントラ予測符号化マクロブロッ
ク）、Ｉｎｔｒａ＋Ｑ（量子化スケールありのイントラ
予測符号化マクロブロック）の場合には、ｓｐａｔｉａ
ｌ＿ｔｅｍｐｏｒａｌ＿ｗｅｉｇｈｔ＿ｃｌａｓｓは
０、すなわち、ｃｌａｓｓ０，Ｃｏｍｐａｔｉｂｌｅ，
Ｃｏｍｐａｔｉｂｌｅ＋Ｑの場合には、ｓｐａｔｉａｌ
＿ｔｅｍｐｏｒａｌ＿ｗｅｉｇｈｔ＿ｃｌａｓｓは２、
すなわち、ｃｌａｓｓ２である。しかし、それ以外の場
合、すなわち、ｍａｃｒｏｂｌｏｃｋ＿ｔｙｐｅがＩｎ
ｔｅｒ，Ｉｎｔｅｒ＋Ｑ，Ｉｎｔｅｒ４Ｖの場合には、
ｍａｃｒｏｂｌｏｃｋ＿ｔｙｐｅからだけではｓｐａｔ
ｉａｌ＿ｔｅｍｐｏｒａｌ＿ｗｅｉｇｈｔ＿ｃｌａｓｓ
は一意に決定されない。この場合、ｓｐａｔｉａｌ＿ｔ
ｅｍｐｏｒａｌ＿ｗｅｉｇｈｔ＿ｃｏｄｅ＿ｆｌａｇが
１となり（図３０）、ｍａｃｒｏｂｌｏｃｋ＿ｌａｙｅ
ｒにおいてｓｐａｔｉａｌ＿ｔｅｍｐｏｒａｌ＿ｗｅｉ
ｇｈｔ＿ｃｏｄｅが伝送される。
【０１８８】伝送されるｓｐａｔｉａｌ＿ｔｅｍｐｏｒ
ａｌ＿ｗｅｉｇｈｔ＿ｃｏｄｅとｓｐａｔｉａｌ＿ｔｅ
ｍｐｏｒａｌ＿ｗｅｉｇｈｔ＿ｃｌａｓｓの関係は、図
２９に示す通りである。ｓｃａｌａｂｌｅ＿ｌａｙｅｒ
＿ｄｅｐｅｎｄｅｎｃｙが０の場合、上記のとおりマク
ロブロック単位で予測モードが決定される。
ａｌ＿ｗｅｉｇｈｔ＿ｃｏｄｅとｓｐａｔｉａｌ＿ｔｅ
ｍｐｏｒａｌ＿ｗｅｉｇｈｔ＿ｃｌａｓｓの関係は、図
２９に示す通りである。ｓｃａｌａｂｌｅ＿ｌａｙｅｒ
＿ｄｅｐｅｎｄｅｎｃｙが０の場合、上記のとおりマク
ロブロック単位で予測モードが決定される。
【０１８９】次にｓｃａｌａｂｌｅ＿ｌａｙｅｒ＿ｄｅ
ｐｅｎｄｅｎｃｙが１の場合について説明する。この場
合、上位レイヤでｍａｃｒｏｂｌｏｃｋ＿ｔｙｐｅの情
報は伝送されない。上位レイヤのｍａｃｒｏｂｌｏｃｋ
＿ｔｙｐｅは下位レイヤのｍａｃｒｏｂｌｏｃｋ＿ｔｙ
ｐｅ などから決定される。上位レイヤの画枠が下位レ
イヤの２倍である場合について考える。下位レイヤの各
マクロブロックに対しては上位レイヤでは４つのマクロ
ブロックが対応する。
ｐｅｎｄｅｎｃｙが１の場合について説明する。この場
合、上位レイヤでｍａｃｒｏｂｌｏｃｋ＿ｔｙｐｅの情
報は伝送されない。上位レイヤのｍａｃｒｏｂｌｏｃｋ
＿ｔｙｐｅは下位レイヤのｍａｃｒｏｂｌｏｃｋ＿ｔｙ
ｐｅ などから決定される。上位レイヤの画枠が下位レ
イヤの２倍である場合について考える。下位レイヤの各
マクロブロックに対しては上位レイヤでは４つのマクロ
ブロックが対応する。
【０１９０】以下に上位レイヤの ｍａｃｒｏｂｌｏｃ
ｋ＿ｔｙｐｅの決定方法を示す。
ｋ＿ｔｙｐｅの決定方法を示す。
【０１９１】Ａ．下位レイヤのＣＯＤが０である場合、
下位レイヤのマクロブロックはスキップマクロブロック
であり、下位レイヤの参照フレームから対応する位置の
データがコピーされる。この時、上位のマクロブロック
も同様にスキップマクロブロックとなり、上位レイヤの
参照フレームから対応する位置のデータがコピーされ
る。このとき、上位レイヤでの対応するマクロブロック
ではＣＯＤも含めて何も伝送しない。
下位レイヤのマクロブロックはスキップマクロブロック
であり、下位レイヤの参照フレームから対応する位置の
データがコピーされる。この時、上位のマクロブロック
も同様にスキップマクロブロックとなり、上位レイヤの
参照フレームから対応する位置のデータがコピーされ
る。このとき、上位レイヤでの対応するマクロブロック
ではＣＯＤも含めて何も伝送しない。
【０１９２】Ｂ．下位レイヤのＣＯＤが１である場合、
下位レイヤのマクロブロックにはデータが存在すること
を示す。またＣＢＰＹは下位レイヤのマクロブロック中
の各輝度ブロックに対してデータが存在するかどうかを
示すフラグである。下位レイヤがＩＮＴＲＡ又はＩＮＴ
ＲＡ＋Ｑの場合、上位レイヤはＣｏｍｐａｔｉｂｌｅ又
はｃｏｍｐａｔｉｂｌｅ＋Ｑとなり、空間予測を行う
（この変形として上位レイヤも下位レイヤと同様にＩＮ
ＴＲＡ，ＩＮＴＲＡ＋Ｑとする方法もある）。
下位レイヤのマクロブロックにはデータが存在すること
を示す。またＣＢＰＹは下位レイヤのマクロブロック中
の各輝度ブロックに対してデータが存在するかどうかを
示すフラグである。下位レイヤがＩＮＴＲＡ又はＩＮＴ
ＲＡ＋Ｑの場合、上位レイヤはＣｏｍｐａｔｉｂｌｅ又
はｃｏｍｐａｔｉｂｌｅ＋Ｑとなり、空間予測を行う
（この変形として上位レイヤも下位レイヤと同様にＩＮ
ＴＲＡ，ＩＮＴＲＡ＋Ｑとする方法もある）。
【０１９３】Ｃ．下位レイヤが、ＩＮＴＥＲ，ＩＮＴＥ
Ｒ＋Ｑ，ＩＮＴＥＲ４Ｖの場合、上位レイヤはテンポラ
ル予測又は空間予測マクロブロックとなる。下位レイヤ
のＣＢＰは下位レイヤの各ブロックにデータが存在する
かどうかを示すフラグである。下位レイヤのブロックに
対しては上位レイヤのマクロブロック一つが対応する。
下位レイヤのブロックにデータが伝送されていないマク
ロブロックに対しては上位レイヤのマクロブロックはテ
ンポラル予測のみを行い、上位レイヤの参照フレームか
ら予測する。すなわち、ｍａｃｒｏｂｌｏｃｋ＿ｔｙｐ
ｅは下位レイヤと同様に、ＩＮＴＥＲ，ＩＮＴＥＲ＋
Ｑ，ＩＮＴＥＲ４Ｖとなり、また、そのときｓｐａｔｉ
ａｌ＿ｔｅｍｐｏｒａｌ＿ｗｅｉｇｈｔ＿ｃｌａｓｓは
０となる。
Ｒ＋Ｑ，ＩＮＴＥＲ４Ｖの場合、上位レイヤはテンポラ
ル予測又は空間予測マクロブロックとなる。下位レイヤ
のＣＢＰは下位レイヤの各ブロックにデータが存在する
かどうかを示すフラグである。下位レイヤのブロックに
対しては上位レイヤのマクロブロック一つが対応する。
下位レイヤのブロックにデータが伝送されていないマク
ロブロックに対しては上位レイヤのマクロブロックはテ
ンポラル予測のみを行い、上位レイヤの参照フレームか
ら予測する。すなわち、ｍａｃｒｏｂｌｏｃｋ＿ｔｙｐ
ｅは下位レイヤと同様に、ＩＮＴＥＲ，ＩＮＴＥＲ＋
Ｑ，ＩＮＴＥＲ４Ｖとなり、また、そのときｓｐａｔｉ
ａｌ＿ｔｅｍｐｏｒａｌ＿ｗｅｉｇｈｔ＿ｃｌａｓｓは
０となる。
【０１９４】Ｄ．下位レイヤが、ＩＮＴＥＲ，ＩＮＴＥ
Ｒ＋Ｑ，ＩＮＴＥＲ４Ｖであり、下位レイヤのブロック
においてデータが伝送されているマクロブロックに対し
ては上位レイヤのマクロブロックは空間予測のみを行
い、下位レイヤからの予測のみを行う。この場合、ＩＮ
ＴＥＲ，ＩＮＴＥＲ４ＶはＣｏｍｐａｔｉｂｌｅに、Ｉ
ＮＴＥＲ＋ＱはＣｏｍｐａｔｉｂｌｅ＋Ｑとする（また
この変形として、上記マクロブロックの場合、空間予測
とテンポラル予測の混合にすることも可能である。この
場合、ｍａｃｒｏｂｌｏｃｋ＿ｔｙｐｅは下位レイヤと
同様に、ＩＮＴＥＲ，ＩＮＴＥＲ＋Ｑ，ＩＮＴＥＲ４Ｖ
であり、ｓｐａｔｉａｌ＿ｔｅｍｐｏｒａｌ＿ｗｅｉｇ
ｈｔ＿ｃｌａｓｓは１となる。）。
Ｒ＋Ｑ，ＩＮＴＥＲ４Ｖであり、下位レイヤのブロック
においてデータが伝送されているマクロブロックに対し
ては上位レイヤのマクロブロックは空間予測のみを行
い、下位レイヤからの予測のみを行う。この場合、ＩＮ
ＴＥＲ，ＩＮＴＥＲ４ＶはＣｏｍｐａｔｉｂｌｅに、Ｉ
ＮＴＥＲ＋ＱはＣｏｍｐａｔｉｂｌｅ＋Ｑとする（また
この変形として、上記マクロブロックの場合、空間予測
とテンポラル予測の混合にすることも可能である。この
場合、ｍａｃｒｏｂｌｏｃｋ＿ｔｙｐｅは下位レイヤと
同様に、ＩＮＴＥＲ，ＩＮＴＥＲ＋Ｑ，ＩＮＴＥＲ４Ｖ
であり、ｓｐａｔｉａｌ＿ｔｅｍｐｏｒａｌ＿ｗｅｉｇ
ｈｔ＿ｃｌａｓｓは１となる。）。
【０１９５】以上、上位レイヤのマクロブロックタイプ
決定方法を示した。このように上位レイヤのマクロブロ
ックタイプは決定される。またこの時、上位レイヤでは
マクロブロックタイプは伝送されない。上位レイヤで伝
送されるフラグはＣＯＤ，ＣＢＰＣ，ＣＢＰＣ，ＤＱＵ
ＡＮＴ（前のマクロブロックの量子化スケールと現マク
ロブロックの量子化スケールの差分），ＭＶＤ（動きベ
クトル：（予測値からの差分）），ＭＶＤ２−４（ＩＮ
ＴＲＡ４Ｖのマクロブロックの残りの動きベクトル（予
測値からの差分））となる。
決定方法を示した。このように上位レイヤのマクロブロ
ックタイプは決定される。またこの時、上位レイヤでは
マクロブロックタイプは伝送されない。上位レイヤで伝
送されるフラグはＣＯＤ，ＣＢＰＣ，ＣＢＰＣ，ＤＱＵ
ＡＮＴ（前のマクロブロックの量子化スケールと現マク
ロブロックの量子化スケールの差分），ＭＶＤ（動きベ
クトル：（予測値からの差分）），ＭＶＤ２−４（ＩＮ
ＴＲＡ４Ｖのマクロブロックの残りの動きベクトル（予
測値からの差分））となる。
【０１９６】各フラグが伝送されるかどうかは上位レイ
ヤのマクロブロックタイプに依存する。
ヤのマクロブロックタイプに依存する。
【０１９７】以上、上位レイヤのモードが下位レイヤに
依存する場合について述べたが、これは本明細書中のい
ずれの実施例にも適用可能である。
依存する場合について述べたが、これは本明細書中のい
ずれの実施例にも適用可能である。
【０１９８】４．ＶＯＰ間の同期 ここでは、ＶＯＰごとに画像を符号化する方法におい
て、各ＶＯＰを同期させる方法について述べる。これに
より、ランダムアクセスなどを行った場合や、スケーラ
ビリティにおいても同期を保証することが可能となる。
この同期を取る方法は、スケーラブル符号化に限らず、
ＶＯＰ単位で画像を符号化する符号化方式に適用可能で
あり、また、本明細書中のどの実施例と組み合わせるこ
とも可能である。
て、各ＶＯＰを同期させる方法について述べる。これに
より、ランダムアクセスなどを行った場合や、スケーラ
ビリティにおいても同期を保証することが可能となる。
この同期を取る方法は、スケーラブル符号化に限らず、
ＶＯＰ単位で画像を符号化する符号化方式に適用可能で
あり、また、本明細書中のどの実施例と組み合わせるこ
とも可能である。
【０１９９】本実施例に適用可能な各ＶＯＰ間の同期に
ついて以下に説明する。図３１は、ＶＯＰ ｌａｙｅｒ
のヘッダ情報を示している。各ＶＯＰの表示のタイミン
グを示すフラグとして、ＶＯＰ＿ｔｅｍｐ＿ｒｅｆがあ
る。これは、そのＶＯＰが前回表示された時刻からの時
間を示すフラグである。これにより、各ＶＯＰではそれ
ぞれ順次デコード及び表示を繰り返していくことによ
り、表示タイミングを知ることができるが、これだけで
はＶＯＰ間で同期をとることができない。
ついて以下に説明する。図３１は、ＶＯＰ ｌａｙｅｒ
のヘッダ情報を示している。各ＶＯＰの表示のタイミン
グを示すフラグとして、ＶＯＰ＿ｔｅｍｐ＿ｒｅｆがあ
る。これは、そのＶＯＰが前回表示された時刻からの時
間を示すフラグである。これにより、各ＶＯＰではそれ
ぞれ順次デコード及び表示を繰り返していくことによ
り、表示タイミングを知ることができるが、これだけで
はＶＯＰ間で同期をとることができない。
【０２００】まず、フレームレートが固定である場合を
考える。図３２に示されるように、４つのＶＯＰから構
成されるｓｅｓｓｉｏｎを考える。図３２（Ａ）から明
らかなように、最初の２フレーム（ｔ１，ｔ２）におい
てＶＯＰ４のみが表示され、３フレーム目（ｔ３）にお
いてＶＯＰ１，ＶＯＰ３及びＶＯＰ４が表示される。ま
た、説明を簡単にするために、各ＶＯＰはＰピクチャ又
はＩピクチャのみであるとする。
考える。図３２に示されるように、４つのＶＯＰから構
成されるｓｅｓｓｉｏｎを考える。図３２（Ａ）から明
らかなように、最初の２フレーム（ｔ１，ｔ２）におい
てＶＯＰ４のみが表示され、３フレーム目（ｔ３）にお
いてＶＯＰ１，ＶＯＰ３及びＶＯＰ４が表示される。ま
た、説明を簡単にするために、各ＶＯＰはＰピクチャ又
はＩピクチャのみであるとする。
【０２０１】図３２に示されるように表示されるために
は、表示のタイミングで必要なＶＯＰの画像がすべて復
号されている必要がある。したがって、表示時刻が等し
いＶＯＰ（固定フレームレートでない場合は、表示時間
が近いＶＯＰ）をまとめて伝送する必要がある。例え
ば、図３２の場合、時刻ｔ１及びｔ２のビットストリー
ムはＶＯＰ４のデータのみであり、時刻ｔ３のビットス
トリームはＶＯＰ１，ＶＯＰ３及びＶＯＰ４のデータで
ある。この場合、ビットストリームは図３２（Ｂ）のよ
うに伝送される。ある時刻において、ＶＯＰ＿ＩＤの小
さいＶＯＰから順次伝送することにしておけば、各ＶＯ
Ｐのデータの時刻を確定できる。例えば、時刻ｔ２から
時刻ｔ３のデータに移ることはＶＯＰのＩＤが４から１
になることで確定できる。
は、表示のタイミングで必要なＶＯＰの画像がすべて復
号されている必要がある。したがって、表示時刻が等し
いＶＯＰ（固定フレームレートでない場合は、表示時間
が近いＶＯＰ）をまとめて伝送する必要がある。例え
ば、図３２の場合、時刻ｔ１及びｔ２のビットストリー
ムはＶＯＰ４のデータのみであり、時刻ｔ３のビットス
トリームはＶＯＰ１，ＶＯＰ３及びＶＯＰ４のデータで
ある。この場合、ビットストリームは図３２（Ｂ）のよ
うに伝送される。ある時刻において、ＶＯＰ＿ＩＤの小
さいＶＯＰから順次伝送することにしておけば、各ＶＯ
Ｐのデータの時刻を確定できる。例えば、時刻ｔ２から
時刻ｔ３のデータに移ることはＶＯＰのＩＤが４から１
になることで確定できる。
【０２０２】ここで、固定フレームレートの場合の各Ｖ
ＯＰのビットストリームの伝送順序を決定して各ＶＯＰ
のビットストリームを伝送する方法を、図３３に示され
るフローチャートを用いて説明する。なお、これは、図
３に示される多重化部において決定され、順次各ＶＯＰ
のビットストリームが伝送される。
ＯＰのビットストリームの伝送順序を決定して各ＶＯＰ
のビットストリームを伝送する方法を、図３３に示され
るフローチャートを用いて説明する。なお、これは、図
３に示される多重化部において決定され、順次各ＶＯＰ
のビットストリームが伝送される。
【０２０３】ステップＳ１において、ＶＯＰ＿ＩＤを初
期化して、ステップＳ２に進む。ステップＳ２におい
て、ある時刻において、まず最初のＶＯＰが伝送される
タイミングでどうかチェックされる。もし、伝送される
タイミングであるならば、ステップＳ３に進み、そのＶ
ＯＰのビットストリーム（フレーム）及びそのフレーム
の表示のタイミングを示すフラグ、ＶＯＰ＿ｔｅｍｐ＿
ｒｅｆ及びＶＯＰ＿ＩＤを伝送し、ステップＳ４に進
む。一方、もし、伝送されるタイミングでないならば、
ステップＳ４に進む。ステップＳ４において、チェック
されていないＶＯＰがあるかどうかチェックする。つま
り、次にチェックするＶＯＰがあるかどうかをチェック
する。もし、チェックされていないＶＯＰがあるなら
ば、ステップＳ５に進み、次のＶＯＰをチェックするた
めに、ＶＯＰ＿ＩＤをインクリメント若しくは、次のＶ
ＯＰのＶＯＰ＿ＩＤに変えて、ステップＳ２に戻り、次
のＶＯＰのビットストリーム（フレーム）を伝送するか
どうかチェックする。また、もし、その時刻におけるＶ
ＯＰがすべてチェックされているならば、ステップＳ６
に進む。ステップＳ６において、シーケンスの終わりか
どうかがチェックされ、もし、シーケンスの途中である
ならば、ステップＳ７に進む。ステップＳ７において、
次に時刻の各ＶＯＰのビットストリーム（フレーム）の
伝送タイミングのチェックを行うために、ＶＯＰ＿ＩＤ
が０に設定され、ステップＳ２に戻り、次の時刻におけ
る各ＶＯＰのビットストリーム（フレーム）の伝送タイ
ミングのチェックが繰り返し行われる。一方、ステップ
Ｓ６において、シーケンスの終わりであるならば、各Ｖ
ＯＰの伝送を終了する。
期化して、ステップＳ２に進む。ステップＳ２におい
て、ある時刻において、まず最初のＶＯＰが伝送される
タイミングでどうかチェックされる。もし、伝送される
タイミングであるならば、ステップＳ３に進み、そのＶ
ＯＰのビットストリーム（フレーム）及びそのフレーム
の表示のタイミングを示すフラグ、ＶＯＰ＿ｔｅｍｐ＿
ｒｅｆ及びＶＯＰ＿ＩＤを伝送し、ステップＳ４に進
む。一方、もし、伝送されるタイミングでないならば、
ステップＳ４に進む。ステップＳ４において、チェック
されていないＶＯＰがあるかどうかチェックする。つま
り、次にチェックするＶＯＰがあるかどうかをチェック
する。もし、チェックされていないＶＯＰがあるなら
ば、ステップＳ５に進み、次のＶＯＰをチェックするた
めに、ＶＯＰ＿ＩＤをインクリメント若しくは、次のＶ
ＯＰのＶＯＰ＿ＩＤに変えて、ステップＳ２に戻り、次
のＶＯＰのビットストリーム（フレーム）を伝送するか
どうかチェックする。また、もし、その時刻におけるＶ
ＯＰがすべてチェックされているならば、ステップＳ６
に進む。ステップＳ６において、シーケンスの終わりか
どうかがチェックされ、もし、シーケンスの途中である
ならば、ステップＳ７に進む。ステップＳ７において、
次に時刻の各ＶＯＰのビットストリーム（フレーム）の
伝送タイミングのチェックを行うために、ＶＯＰ＿ＩＤ
が０に設定され、ステップＳ２に戻り、次の時刻におけ
る各ＶＯＰのビットストリーム（フレーム）の伝送タイ
ミングのチェックが繰り返し行われる。一方、ステップ
Ｓ６において、シーケンスの終わりであるならば、各Ｖ
ＯＰの伝送を終了する。
【０２０４】このような伝送順序で伝送された各ＶＯＰ
のビットストリームが逆多重化部３９に供給され流。逆
多重化部３９は、後段の各ＶＯＰ復号部にビットストリ
ームを供給する。
のビットストリームが逆多重化部３９に供給され流。逆
多重化部３９は、後段の各ＶＯＰ復号部にビットストリ
ームを供給する。
【０２０５】固定フレームレートの場合は、上記の方法
で各ＶＯＰ間の同期を取ることが可能である。次にフレ
ームレートが可変である場合について説明する。可変フ
レームレートの場合、表示時刻が近いＶＯＰのデータを
まとめて伝送する必要がある。さらに、各ＶＯＰの先頭
のフレームの表示のタイミングを伝送する必要がある。
各ＶＯＰについて一番最初に表示するフレームの時刻を
確定できれば、それ以後は、既に表示されたフレームの
時刻からの遅れ分を示すフラグ（ＶＯＰ＿ｔｅｍｐ＿ｒ
ｅｆ）を伝送すれば、各ＶＯＰにおける表示時刻を順次
確定できる。また、各ＶＯＰの先頭のフレームを場合に
は、ＶＯＰ＿ｔｅｍｐ＿ｒｅｆの他に、後述するｒｅｆ
＿ＶＯＰ＿ｉｄを伝送する。
で各ＶＯＰ間の同期を取ることが可能である。次にフレ
ームレートが可変である場合について説明する。可変フ
レームレートの場合、表示時刻が近いＶＯＰのデータを
まとめて伝送する必要がある。さらに、各ＶＯＰの先頭
のフレームの表示のタイミングを伝送する必要がある。
各ＶＯＰについて一番最初に表示するフレームの時刻を
確定できれば、それ以後は、既に表示されたフレームの
時刻からの遅れ分を示すフラグ（ＶＯＰ＿ｔｅｍｐ＿ｒ
ｅｆ）を伝送すれば、各ＶＯＰにおける表示時刻を順次
確定できる。また、各ＶＯＰの先頭のフレームを場合に
は、ＶＯＰ＿ｔｅｍｐ＿ｒｅｆの他に、後述するｒｅｆ
＿ＶＯＰ＿ｉｄを伝送する。
【０２０６】異なるフレームレートの２つのＶＯＰを図
３４に示されるように表示する場合を考える。図３４の
（Ａ）の時刻の目盛りは時間の最小単位であるとする。
図３４に示される表示例の場合、まずＶＯＰ２が表示さ
れる。この時、ＶＯＰ２の最初の表示フレームであるた
め、図３４の（Ｂ）に示されるように、ＶＯＰ＿ｔｅｍ
ｐ＿ｒｅｆは、０となる。また、このＶＯＰ２の表示以
前に表示された他のＶＯＰ（この場合、ＶＯＰ１）がな
いため、ｒｅｆ＿ＶＯＰ＿ｉｄ は、２となる。次に、
時間３だけ遅れたタイミングでＶＯＰ２の２フレーム目
のフレームが表示される。ＶＯＰ＿ｔｅｍｐ＿ｒｅｆ
は、３となる。以降、ＶＯＰ２のＶＯＰ＿ｔｅｍｐ＿ｒ
ｅｆは、図３４の（Ｂ）に示されるように、０、３、２
・・・となる。
３４に示されるように表示する場合を考える。図３４の
（Ａ）の時刻の目盛りは時間の最小単位であるとする。
図３４に示される表示例の場合、まずＶＯＰ２が表示さ
れる。この時、ＶＯＰ２の最初の表示フレームであるた
め、図３４の（Ｂ）に示されるように、ＶＯＰ＿ｔｅｍ
ｐ＿ｒｅｆは、０となる。また、このＶＯＰ２の表示以
前に表示された他のＶＯＰ（この場合、ＶＯＰ１）がな
いため、ｒｅｆ＿ＶＯＰ＿ｉｄ は、２となる。次に、
時間３だけ遅れたタイミングでＶＯＰ２の２フレーム目
のフレームが表示される。ＶＯＰ＿ｔｅｍｐ＿ｒｅｆ
は、３となる。以降、ＶＯＰ２のＶＯＰ＿ｔｅｍｐ＿ｒ
ｅｆは、図３４の（Ｂ）に示されるように、０、３、２
・・・となる。
【０２０７】一方、ＶＯＰ１は、ＶＯＰ２の２フレーム
目より時間１だけ遅れて表示される。この場合、ＶＯＰ
１の最初のフレームは、別のＶＯＰ（この場合、ＶＯＰ
２）の既に表示されたフレーム（この場合、２フレーム
目）の表示時刻からの時間を記録すればよい。また、こ
の時、ＶＯＰ１のＶＯＰ＿ｔｅｍｐ＿ｒｅｆ の参照先
となるＶＯＰのＩＤを示すフラグｒｅｆ＿ＶＯＰ＿ｉｄ
を伝送する。つまり、ＶＯＰ１の先頭のフレームを伝
送する場合、ＶＯＰ＿ｔｅｍｐ＿ｒｅｆは１となり、ｒ
ｅｆ＿ＶＯＰ＿ｉｄは２となる。つまり、上述したよう
に、ｒｅｆ＿ＶＯＰ＿ｉｄは、表示順で最初のフレーム
のみ伝送するものとする。そして、ＶＯＰ１において最
初に表示されるフレームは、ｒｅｆ＿ＶＯＰ＿ｉｄ が
示すＶＯＰ＿ＩＤのＶＯＰのフレームの最後に表示した
時刻からの時間を記録することになる。図３４の場合で
は、ＶＯＰ１の最初のフレームでｒｅｆ＿ＶＯＰ＿ｉｄ
は２となり、ＶＯＰ＿ｔｅｍｐ＿ｒｅｆは１、２、４・
・・となる。この場合のシンタクスを図３５に示す。
目より時間１だけ遅れて表示される。この場合、ＶＯＰ
１の最初のフレームは、別のＶＯＰ（この場合、ＶＯＰ
２）の既に表示されたフレーム（この場合、２フレーム
目）の表示時刻からの時間を記録すればよい。また、こ
の時、ＶＯＰ１のＶＯＰ＿ｔｅｍｐ＿ｒｅｆ の参照先
となるＶＯＰのＩＤを示すフラグｒｅｆ＿ＶＯＰ＿ｉｄ
を伝送する。つまり、ＶＯＰ１の先頭のフレームを伝
送する場合、ＶＯＰ＿ｔｅｍｐ＿ｒｅｆは１となり、ｒ
ｅｆ＿ＶＯＰ＿ｉｄは２となる。つまり、上述したよう
に、ｒｅｆ＿ＶＯＰ＿ｉｄは、表示順で最初のフレーム
のみ伝送するものとする。そして、ＶＯＰ１において最
初に表示されるフレームは、ｒｅｆ＿ＶＯＰ＿ｉｄ が
示すＶＯＰ＿ＩＤのＶＯＰのフレームの最後に表示した
時刻からの時間を記録することになる。図３４の場合で
は、ＶＯＰ１の最初のフレームでｒｅｆ＿ＶＯＰ＿ｉｄ
は２となり、ＶＯＰ＿ｔｅｍｐ＿ｒｅｆは１、２、４・
・・となる。この場合のシンタクスを図３５に示す。
【０２０８】また、この場合のビットストリームの伝送
順は図３４の（Ｃ）のようになる。ＶＯＰ１の先頭のデ
ータはＶＯＰ２の２フレーム目の後でなければならな
い。以後、表示時刻が近いものが連続するような順番で
各ＶＯＰのデータが多重化される。
順は図３４の（Ｃ）のようになる。ＶＯＰ１の先頭のデ
ータはＶＯＰ２の２フレーム目の後でなければならな
い。以後、表示時刻が近いものが連続するような順番で
各ＶＯＰのデータが多重化される。
【０２０９】ここで、可変フレームレートの場合の各Ｖ
ＯＰのビットストリームの伝送順序を決定して各ＶＯＰ
のビットストリームを伝送する方法を、図３６に示され
るフローチャートを用いて説明する。なお、これは、図
３に示される多重化部において決定され、順次各ＶＯＰ
のビットストリームが伝送される。
ＯＰのビットストリームの伝送順序を決定して各ＶＯＰ
のビットストリームを伝送する方法を、図３６に示され
るフローチャートを用いて説明する。なお、これは、図
３に示される多重化部において決定され、順次各ＶＯＰ
のビットストリームが伝送される。
【０２１０】ステップＳ１１において、ＶＯＰ＿ＩＤを
初期化して、ステップＳ１２に進む。ステップＳ１２に
おいて、ある時刻において、まず最初のＶＯＰが伝送さ
れるタイミングでどうかチェックされる。もし、伝送さ
れるタイミングであるならば、ステップＳ１３に進み、
そのＶＯＰのビットストリーム（フレーム）を伝送する
とともに、ｒｅｆ＿ＶＯＰ＿ｉｄ（各ＶＯＰの先頭フレ
ームのみ）、ＶＯＰ＿ｔｅｍｐ＿ｒｅｆ 及びＶＯＰ＿
ＩＤをフラグとして伝送し、ステップＳ１４に進む。一
方、もし、伝送されるタイミングでないならば、ステッ
プＳ１４に進む。ステップＳ１４において、チェックさ
れていないＶＯＰがあるかどうかチェックする。つま
り、次にチェックするＶＯＰがあるかどうかをチェック
する。もし、チェックされていないＶＯＰがあるなら
ば、ステップＳ１５に進み、次のＶＯＰをチェックする
ために、ＶＯＰ＿ＩＤをインクリメント若しくは、次の
ＶＯＰのＶＯＰ＿ＩＤに変えて、ステップＳ１２に戻
り、次のＶＯＰのビットストリーム（フレーム）を伝送
するかどうかチェックする。また、もし、その時刻にお
けるＶＯＰがすべてチェックされているならば、ステッ
プＳ１６に進む。ステップＳ１６において、シーケンス
の終わりかどうかがチェックされ、もし、シーケンスの
途中であるならば、ステップＳ１７に進む。ステップＳ
１７において、次に時刻の各ＶＯＰのビットストリーム
（フレーム）の伝送タイミングのチェックを行うため
に、ＶＯＰ＿ＩＤが０に設定され、ステップＳ１２に戻
り、次の時刻における各ＶＯＰのビットストリーム（フ
レーム）の伝送タイミングのチェックが繰り返し行われ
る。一方、ステップＳ１６において、シーケンスの終わ
りであるならば、各ＶＯＰの伝送を終了する。
初期化して、ステップＳ１２に進む。ステップＳ１２に
おいて、ある時刻において、まず最初のＶＯＰが伝送さ
れるタイミングでどうかチェックされる。もし、伝送さ
れるタイミングであるならば、ステップＳ１３に進み、
そのＶＯＰのビットストリーム（フレーム）を伝送する
とともに、ｒｅｆ＿ＶＯＰ＿ｉｄ（各ＶＯＰの先頭フレ
ームのみ）、ＶＯＰ＿ｔｅｍｐ＿ｒｅｆ 及びＶＯＰ＿
ＩＤをフラグとして伝送し、ステップＳ１４に進む。一
方、もし、伝送されるタイミングでないならば、ステッ
プＳ１４に進む。ステップＳ１４において、チェックさ
れていないＶＯＰがあるかどうかチェックする。つま
り、次にチェックするＶＯＰがあるかどうかをチェック
する。もし、チェックされていないＶＯＰがあるなら
ば、ステップＳ１５に進み、次のＶＯＰをチェックする
ために、ＶＯＰ＿ＩＤをインクリメント若しくは、次の
ＶＯＰのＶＯＰ＿ＩＤに変えて、ステップＳ１２に戻
り、次のＶＯＰのビットストリーム（フレーム）を伝送
するかどうかチェックする。また、もし、その時刻にお
けるＶＯＰがすべてチェックされているならば、ステッ
プＳ１６に進む。ステップＳ１６において、シーケンス
の終わりかどうかがチェックされ、もし、シーケンスの
途中であるならば、ステップＳ１７に進む。ステップＳ
１７において、次に時刻の各ＶＯＰのビットストリーム
（フレーム）の伝送タイミングのチェックを行うため
に、ＶＯＰ＿ＩＤが０に設定され、ステップＳ１２に戻
り、次の時刻における各ＶＯＰのビットストリーム（フ
レーム）の伝送タイミングのチェックが繰り返し行われ
る。一方、ステップＳ１６において、シーケンスの終わ
りであるならば、各ＶＯＰの伝送を終了する。
【０２１１】このような伝送順序で伝送された各ＶＯＰ
のビットストリーム及び各フラグ（ｒｅｆ＿ＶＯＰ＿ｉ
ｄ、ＶＯＰ＿ｔｅｍｐ＿ｒｅｆ）が、図３５の（Ｂ）に
示される逆多重化部３９に供給されて、逆多重化部３９
は、このフラグによって後段の各ＶＯＰ復号部にビット
ストリームを供給する。
のビットストリーム及び各フラグ（ｒｅｆ＿ＶＯＰ＿ｉ
ｄ、ＶＯＰ＿ｔｅｍｐ＿ｒｅｆ）が、図３５の（Ｂ）に
示される逆多重化部３９に供給されて、逆多重化部３９
は、このフラグによって後段の各ＶＯＰ復号部にビット
ストリームを供給する。
【０２１２】次にＢピクチャが存在する場合について説
明する。この場合、表示順とビットストリームの順番が
異なる。簡単のため、固定フレームレートの場合につい
て考える。図３７の（Ａ）に示されるように、２つのＶ
ＯＰから構成されるｓｅｓｓｉｏｎ を考える。時刻ｔ
４において、各ＶＯＰにおいて、それぞれＢ３及びｂ０
が表示される。ここで、Ｂ及びｂはＢピクチャ、ＩはＩ
ピクチャ、ＰはＰピクチャを示している。
明する。この場合、表示順とビットストリームの順番が
異なる。簡単のため、固定フレームレートの場合につい
て考える。図３７の（Ａ）に示されるように、２つのＶ
ＯＰから構成されるｓｅｓｓｉｏｎ を考える。時刻ｔ
４において、各ＶＯＰにおいて、それぞれＢ３及びｂ０
が表示される。ここで、Ｂ及びｂはＢピクチャ、ＩはＩ
ピクチャ、ＰはＰピクチャを示している。
【０２１３】ＶＯＰ１及びＶＯＰ２の表示順及びそれに
対するビットストリームの順番は、図３７の（Ｂ）の通
りである。
対するビットストリームの順番は、図３７の（Ｂ）の通
りである。
【０２１４】次に、ＶＯＰ１及びＶＯＰ２のビットスト
リームを多重化して伝送する方法について説明する。Ｖ
ＯＰ１のＢ３及びＶＯＰ２の最初に表示するフレームｂ
０は同時に表示されるため、表示時刻には両方の画像の
復号が終了していなければならない。したがって、Ｂ３
及びｂ０を連続して伝送することになる。したがって、
図３７の（Ｃ）のように、Ｐ５及びｉ３を連続してま
た、Ｂ４及びｂ１を連続して伝送することになる。多重
化されたビットストリームを図３７の（Ｄ）に示す。
リームを多重化して伝送する方法について説明する。Ｖ
ＯＰ１のＢ３及びＶＯＰ２の最初に表示するフレームｂ
０は同時に表示されるため、表示時刻には両方の画像の
復号が終了していなければならない。したがって、Ｂ３
及びｂ０を連続して伝送することになる。したがって、
図３７の（Ｃ）のように、Ｐ５及びｉ３を連続してま
た、Ｂ４及びｂ１を連続して伝送することになる。多重
化されたビットストリームを図３７の（Ｄ）に示す。
【０２１５】すなわち、上記の通り、あるＶＯＰにおい
て最初に表示するフレームを基準としてそのビットスト
リームが隣接するように、ＶＯＰ間のビットストリーム
の位置関係を決定し、多重化すればよい。
て最初に表示するフレームを基準としてそのビットスト
リームが隣接するように、ＶＯＰ間のビットストリーム
の位置関係を決定し、多重化すればよい。
【０２１６】次に、図３７においてフレームレートが可
変である場合を考える。これは、前記の通り、ｒｅｆ＿
ＶＯＰ＿ｉｄを導入することにより実現できる。この場
合、各ＶＯＰにおいて最初に表示するフレームの表示時
刻を確定することにより実現できる。
変である場合を考える。これは、前記の通り、ｒｅｆ＿
ＶＯＰ＿ｉｄを導入することにより実現できる。この場
合、各ＶＯＰにおいて最初に表示するフレームの表示時
刻を確定することにより実現できる。
【０２１７】例えば、図３７において、ｂ０がＢ３より
時間２だけ遅れて表示されるものとする。この場合、ｂ
０においてｒｅｆ＿ＶＯＰ＿ｉｄ ＝１が伝送され、そ
の際のＶＯＰ＿ｔｅｍｐ＿ｒｅｆは２となる。以後、同
様に、前に表示したフレームの表示時刻からの時間がＶ
ＯＰ＿ｔｅｍｐ＿ｒｅｆに記録される。
時間２だけ遅れて表示されるものとする。この場合、ｂ
０においてｒｅｆ＿ＶＯＰ＿ｉｄ ＝１が伝送され、そ
の際のＶＯＰ＿ｔｅｍｐ＿ｒｅｆは２となる。以後、同
様に、前に表示したフレームの表示時刻からの時間がＶ
ＯＰ＿ｔｅｍｐ＿ｒｅｆに記録される。
【０２１８】以上、ＶＯＰ間の同期を取る方法を示した
が、この場合のＶＯＰ ｌａｙｅｒのシンタクスは、上
述したように図３５に示されている。各ＶＯＰで表示順
が一番最初のフレームのみｒｅｆ＿ＶＯＰ＿ｉｄがＶＯ
Ｐ＿ｔｅｍｐ＿ｒｅｆの前に伝送される。
が、この場合のＶＯＰ ｌａｙｅｒのシンタクスは、上
述したように図３５に示されている。各ＶＯＰで表示順
が一番最初のフレームのみｒｅｆ＿ＶＯＰ＿ｉｄがＶＯ
Ｐ＿ｔｅｍｐ＿ｒｅｆの前に伝送される。
【０２１９】上記は主に２つのＶＯＰからｓｅｓｓｉｏ
ｎ が構成される場合について述べたが、これは任意の
数のＶＯＰをもつｓｅｓｓｉｏｎに適用可能である。
ｎ が構成される場合について述べたが、これは任意の
数のＶＯＰをもつｓｅｓｓｉｏｎに適用可能である。
【０２２０】５．ＶＯＰの消去 あるＶＯＰがｓｅｓｓｉｏｎ の途中で消滅する場合を
考える。可変フレームレートの場合、あるＶＯＰが途中
でなくなる場合、そのＶＯＰの最後のフレームを消す時
刻を明確にする必要がある。これを可能にするために、
ＶＯＰを消す時刻を示した消去フレームをそのＶＯＰの
最後に伝送する。この消去フレームのシンタクス（ただ
し、フラグのみのシンタックス）を図３８に示す。消去
フレームは消去フレームであることを示すフラグＶＯＰ
＿ｅｎｄ及びそのＶＯＰ＿ｔｅｍｐ＿ｒｅｆが伝送され
る。この場合、そのＶＯＰ最後のフレームは表示した
後、消去フレームに示される ＶＯＰ＿ｔｅｍｐ＿ｒｅ
ｆだけ表示した後、表示が以後とりやめられる。
考える。可変フレームレートの場合、あるＶＯＰが途中
でなくなる場合、そのＶＯＰの最後のフレームを消す時
刻を明確にする必要がある。これを可能にするために、
ＶＯＰを消す時刻を示した消去フレームをそのＶＯＰの
最後に伝送する。この消去フレームのシンタクス（ただ
し、フラグのみのシンタックス）を図３８に示す。消去
フレームは消去フレームであることを示すフラグＶＯＰ
＿ｅｎｄ及びそのＶＯＰ＿ｔｅｍｐ＿ｒｅｆが伝送され
る。この場合、そのＶＯＰ最後のフレームは表示した
後、消去フレームに示される ＶＯＰ＿ｔｅｍｐ＿ｒｅ
ｆだけ表示した後、表示が以後とりやめられる。
【０２２１】
【発明の効果】本発明によれば、画像をＶＯＰごとに画
像信号とキー信号に分けてそれぞれ符号化する符号化方
法及び装置において、効率のよいキー信号の符号化を実
現し、また、スケーラビリティを実現することが可能と
なる。
像信号とキー信号に分けてそれぞれ符号化する符号化方
法及び装置において、効率のよいキー信号の符号化を実
現し、また、スケーラビリティを実現することが可能と
なる。
【０２２２】また、本発明によれば、上位レイヤの符号
化モードを制限することにより、効率のよいスケーラブ
ル符号化を実現できる。
化モードを制限することにより、効率のよいスケーラブ
ル符号化を実現できる。
【０２２３】さらに、ＶＯＰごとに画像信号を符号化す
る方法及び装置において、表示時刻の近いデータを隣接
して伝送し、また各ＶＯＰで最初に表示するフレームに
おいては他のＶＯＰで最後に表示されたフレームの表示
時刻をもとに表示時刻（ＶＯＰ＿ｔｅｍｐ＿ｒｅｆ）を
計算し、その参照するＶＯＰのｉｄを示すフラグｒｅｆ
＿ｉｄを伝送する。これにより、フレームレートが異な
る場合や、Ｂピクチャが存在する場合においてもＶＯＰ
間の同期をとることが可能となる。
る方法及び装置において、表示時刻の近いデータを隣接
して伝送し、また各ＶＯＰで最初に表示するフレームに
おいては他のＶＯＰで最後に表示されたフレームの表示
時刻をもとに表示時刻（ＶＯＰ＿ｔｅｍｐ＿ｒｅｆ）を
計算し、その参照するＶＯＰのｉｄを示すフラグｒｅｆ
＿ｉｄを伝送する。これにより、フレームレートが異な
る場合や、Ｂピクチャが存在する場合においてもＶＯＰ
間の同期をとることが可能となる。
【０２２４】さらに、ＶＯＰごとに画像信号を符号化し
て伝送する方法及び装置において、あるＶＯＰが途中で
消滅する場合、消滅したことを示すフラグと最後のフレ
ームの表示時間を伝送する。これにより、任意のＶＯＰ
を所定の時間で消去し、以後表示を取りやめることが可
能となる。
て伝送する方法及び装置において、あるＶＯＰが途中で
消滅する場合、消滅したことを示すフラグと最後のフレ
ームの表示時間を伝送する。これにより、任意のＶＯＰ
を所定の時間で消去し、以後表示を取りやめることが可
能となる。
【０２２５】さらに、本発明の実施例は、ブロック図を
用いてハードウェアをして実現しているが、本発明はこ
れに限らず、ＣＰＵやメモリなどを用いてソフトウェア
で実現することも可能である。したがって、本発明の画
像符号化及び／又は画像復号アルゴリズムは、コンピュ
ータプログラム、つまり、画像符号化プログラム及び／
又は画像復号プログラムとして実現されてもよい。この
場合、コンピュータプログラムは、半導体メモリやディ
スク等の記録媒体に記録されて使用される。また、その
場合、さらに、画像符号化プログラム及び／又は画像復
号プログラムはネットワークを介して端末等に供給され
てもよい。なお、本発明の主旨を逸脱しない範囲におい
て、さまざまな変形や応用例が考えうる。
用いてハードウェアをして実現しているが、本発明はこ
れに限らず、ＣＰＵやメモリなどを用いてソフトウェア
で実現することも可能である。したがって、本発明の画
像符号化及び／又は画像復号アルゴリズムは、コンピュ
ータプログラム、つまり、画像符号化プログラム及び／
又は画像復号プログラムとして実現されてもよい。この
場合、コンピュータプログラムは、半導体メモリやディ
スク等の記録媒体に記録されて使用される。また、その
場合、さらに、画像符号化プログラム及び／又は画像復
号プログラムはネットワークを介して端末等に供給され
てもよい。なお、本発明の主旨を逸脱しない範囲におい
て、さまざまな変形や応用例が考えうる。
【図１】本発明に関係する複数の画像を符号化して多重
化する方法を説明するための図である。
化する方法を説明するための図である。
【図２】本発明に関係する符号化されたビットストリー
ムを復号して合成画像を得る方法を説明するための図で
ある。
ムを復号して合成画像を得る方法を説明するための図で
ある。
【図３】本発明における符号化装置の構成を示すブロッ
ク図である。
ク図である。
【図４】本発明における復号装置の構成を示すブロック
図である。
図である。
【図５】本発明の各ＶＯＰ符号化部及びＶＯＰ復号部の
構成例を示すブロック図である。
構成例を示すブロック図である。
【図６】本発明の各ＶＯＰ符号化部及びＶＯＰ復号部の
構成例を示すブロック図である。
構成例を示すブロック図である。
【図７】本発明のスケーラブル符号化におけるＶＯＰ符
号化部の構成例を示すブロック図である。
号化部の構成例を示すブロック図である。
【図８】本発明のスケーラブル符号化におけるＶＯＰ復
号部の構成例を示すブロック図である。
号部の構成例を示すブロック図である。
【図９】本発明におけるキー信号のスケーラブル符号化
装置の構成例を示すブロック図である。
装置の構成例を示すブロック図である。
【図１０】本発明におけるキー信号のスケーラブル復号
装置の構成例を示すブロック図である。
装置の構成例を示すブロック図である。
【図１１】本発明の第１の実施例におけるキー信号のス
ケーラブル符号化装置の構成例を示すブロック図であ
る。
ケーラブル符号化装置の構成例を示すブロック図であ
る。
【図１２】本発明の第１の実施例におけるキー信号のス
ケーラブル復号装置の構成例を示すブロック図である。
ケーラブル復号装置の構成例を示すブロック図である。
【図１３】本発明の第２の実施例におけるキー信号のス
ケーラブル符号化装置の構成例を示すブロック図であ
る。
ケーラブル符号化装置の構成例を示すブロック図であ
る。
【図１４】本発明の第２の実施例におけるキー信号のス
ケーラブル復号装置の構成例を示すブロック図である。
ケーラブル復号装置の構成例を示すブロック図である。
【図１５】本発明の第３の実施例におけるキー信号のス
ケーラブル符号化装置の構成例を示すブロック図であ
る。
ケーラブル符号化装置の構成例を示すブロック図であ
る。
【図１６】本発明の第３の実施例におけるキー信号のス
ケーラブル復号装置の構成例を示すブロック図である。
ケーラブル復号装置の構成例を示すブロック図である。
【図１７】本発明の第４の実施例におけるキー信号のス
ケーラブル符号化装置の構成例を示すブロック図であ
る。
ケーラブル符号化装置の構成例を示すブロック図であ
る。
【図１８】本発明の第４の実施例におけるキー信号のス
ケーラブル復号装置の構成例を示すブロック図である。
ケーラブル復号装置の構成例を示すブロック図である。
【図１９】本発明の第５の実施例におけるキー信号のス
ケーラブル符号化装置の構成例を示すブロック図であ
る。
ケーラブル符号化装置の構成例を示すブロック図であ
る。
【図２０】本発明の第５の実施例におけるキー信号のス
ケーラブル復号装置の構成例を示すブロック図である。
ケーラブル復号装置の構成例を示すブロック図である。
【図２１】本発明の第６の実施例におけるキー信号のス
ケーラブル符号化装置の構成例を示すブロック図であ
る。
ケーラブル符号化装置の構成例を示すブロック図であ
る。
【図２２】本発明の第６の実施例におけるキー信号のス
ケーラブル復号装置の構成例を示すブロック図である。
ケーラブル復号装置の構成例を示すブロック図である。
【図２３】Ｑｕａｄ Ｔｒｅｅ符号化におけるのＱｕａ
ｄ Ｔｒｅｅ構造を示す図である。
ｄ Ｔｒｅｅ構造を示す図である。
【図２４】本発明におけるＳｅｓｓｉｏｎ ｌａｙｅｒ
のシンタックスを示す図である。
のシンタックスを示す図である。
【図２５】本発明におけるＶＯＰ ｌａｙｅｒのシンタ
ックスを示す図である。
ックスを示す図である。
【図２６】本発明におけるＭａｃｒｏｂｌｏｃｋ ｌａ
ｙｅｒのシンタックスを示す図である。
ｙｅｒのシンタックスを示す図である。
【図２７】本発明におけるＥｎｈａｎｃｅｍｅｎｔ ｌ
ａｙｅｒのシンタックスを示す図である。
ａｙｅｒのシンタックスを示す図である。
【図２８】本発明におけるｍａｃｒｏｂｌｏｃｋ ｔｙ
ｐｅのシンタックスを示す図である。
ｐｅのシンタックスを示す図である。
【図２９】本発明におけるＳｐａｔｉａｌ＿ｔｅｍｐｏ
ｒａｌ＿ｗｅｉｇｈｔ＿ｃｏｄｅとｓｐａｔｉａｌ＿ｔ
ｅｍｐｏｒａｌ＿ｗｅｉｇｈｔ＿ｃｌａｓｓとの関係を
示す図である。
ｒａｌ＿ｗｅｉｇｈｔ＿ｃｏｄｅとｓｐａｔｉａｌ＿ｔ
ｅｍｐｏｒａｌ＿ｗｅｉｇｈｔ＿ｃｌａｓｓとの関係を
示す図である。
【図３０】本発明におけるｍａｃｒｏｂｌｏｃｋ＿ｔｙ
ｐｅとｅｎｈａｎｃｅｍｅｎｔ＿ｌａｙｅｒの予測モー
ドとの関係を示す図である。
ｐｅとｅｎｈａｎｃｅｍｅｎｔ＿ｌａｙｅｒの予測モー
ドとの関係を示す図である。
【図３１】本発明におけるＶＯＰ ｌａｙｅｒのシンタ
ックスのヘッダ情報を示す図である。
ックスのヘッダ情報を示す図である。
【図３２】本発明における固定フレームレートの４つの
ＶＯＰのビットストリームを伝送する方法を説明するた
めの図である。
ＶＯＰのビットストリームを伝送する方法を説明するた
めの図である。
【図３３】本発明における固定フレームレートの複数の
ＶＯＰのビットストリームの伝送順序の決定及び各ビッ
トストリームの伝送に係るフローチャートである。
ＶＯＰのビットストリームの伝送順序の決定及び各ビッ
トストリームの伝送に係るフローチャートである。
【図３４】本発明における可変フレームレートの異なる
２つのＶＯＰのビットストリームを伝送する方法を説明
するための図である。
２つのＶＯＰのビットストリームを伝送する方法を説明
するための図である。
【図３５】本発明における可変フレームレートのＶｏｐ
ｌａｙｅｒのシンタックスを示す図である。
ｌａｙｅｒのシンタックスを示す図である。
【図３６】本発明における可変フレームレートの複数の
ＶＯＰのビットストリームの伝送順序の決定及び各ビッ
トストリームの伝送に係るフローチャートである。
ＶＯＰのビットストリームの伝送順序の決定及び各ビッ
トストリームの伝送に係るフローチャートである。
【図３７】本発明におけるＢピクチャを含む各ＶＯＰの
ビットストリームを伝送するための方法を説明するため
の図である。
ビットストリームを伝送するための方法を説明するため
の図である。
【図３８】本発明における消去フレームのＶｏｐ ｌａ
ｙｅｒのシンタックスを示す図である。
ｙｅｒのシンタックスを示す図である。
【図３９】ＭＰＥＧ方式のメインプロファイル・メイン
レベルのエンコーダの構成例を示すブロック図である。
レベルのエンコーダの構成例を示すブロック図である。
【図４０】ＭＰＥＧ方式のメインプロファイル・メイン
レベルのデコーダの構成例を示すブロック図である。
レベルのデコーダの構成例を示すブロック図である。
【図４１】空間スケーラビリティのエンコーダの構成例
を示すブロック図である。
を示すブロック図である。
【図４２】空間スケーラビリティのデコーダの構成を示
すブロック図である。
すブロック図である。
【図４３】合成画像及びその合成画像を符号化する方法
を説明するための図である。
を説明するための図である。
６１ 画像信号スケーラブル符号化部、６２ キー信号
スケーラブル符号化部、６３ 多重化部、６４ 送信バ
ッファ、６５ 逆多重化部、６６ 画像信号スケーラブ
ル復号部、６７ キー信号スケーラブル復号部、７０
キー信号符号化部７０、７１ 遅延部、７２ 演算器、
７３ キー差分信号符号化部、７４ キー信号拡大部、
７５ キー信号復号部、７６キー差分信号復号部、７７
演算部
スケーラブル符号化部、６３ 多重化部、６４ 送信バ
ッファ、６５ 逆多重化部、６６ 画像信号スケーラブ
ル復号部、６７ キー信号スケーラブル復号部、７０
キー信号符号化部７０、７１ 遅延部、７２ 演算器、
７３ キー差分信号符号化部、７４ キー信号拡大部、
７５ キー信号復号部、７６キー差分信号復号部、７７
演算部
───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.6 識別記号 庁内整理番号 ＦＩ 技術表示箇所 Ｈ０４Ｎ 7/32 Ｈ０４Ｎ 7/137 Ｚ
Claims (67)
- 【請求項１】 分離された第１の画像信号及び第２の画
像信号と上記第１の画像信号と第２の画像信号を合成す
るためのキー信号を符号化する画像信号の符号化方法に
おいて、 上記第１の画像信号及び第２の画像信号をスケーラブル
符号化する画像信号スケーラブル符号化ステップと、 上記キー信号を画像信号に用いたスケーラブル符号化方
法と同様の方法でスケーラブル符号化するキー信号スケ
ーラブル符号化ステップとを有することを特徴とする画
像信号の符号化方法。 - 【請求項２】 上記第１の画像信号は背景画像からな
り、上記第２の画像信号は前景画像からなり、 上記スケーラブル符号化ステップは、上記第１の画像信
号をスケーラブル符号化する第１の画像信号スケーラブ
ル符号化ステップと、上記第２の画像信号をスケーラブ
ル符号化する第２の画像信号スケーラブル符号化ステッ
プとを有し、 上記キー信号スケーラブル符号化ステップは、上記第２
の画像信号に用いたスケーラブル符号化方法と同様の方
法でキー信号をスケーラブル符号化することを特徴とす
る請求項１記載の画像信号の符号化方法。 - 【請求項３】 上記キー信号スケーラブル符号化ステッ
プは、上位レイヤキー信号と下位レイヤキー信号を受信
するステップと、上記下位レイヤキー信号を符号化して
符号化された下位レイヤキー信号を生成するステップ
と、上記符号化された下位レイヤキー信号を局所復号し
て局所復号下位レイヤキー信号を生成するステップと、
上記局所復号下位レイヤキー信号を用いて、上位レイヤ
キー信号のための第１の予測キー信号を生成するステッ
プと、上記上位レイヤキー信号と上記第１の予測キー信
号との差分を演算し、キー差分信号を生成するキー差分
信号生成ステップと、上記キー差分信号を符号化して符
号化されたキー差分信号を生成する符号化キー差分信号
生成ステップとを有することを特徴とする請求項２記載
の画像信号の符号化方法。 - 【請求項４】 上記第１の画像信号スケーラブル符号化
ステップ、上記第２の画像信号スケーラブル符号化ステ
ップ及び上記キー信号スケーラブル符号化ステップは、
それぞれ空間スケーラビリティ符号化を実行することを
特徴とする請求項２記載の画像信号の符号化方法。 - 【請求項５】 上記第１の画像信号スケーラブル符号化
ステップ、上記第２の画像信号スケーラブル符号化ステ
ップ及び上記キー信号スケーラブル符号化ステップは、
それぞれテンポラリルスケーラビリティ符号化を実行す
ることを特徴とする請求項２記載の画像信号の符号化方
法。 - 【請求項６】 上記第１の画像信号スケーラブル符号化
ステップ、上記第２の画像信号スケーラブル符号化ステ
ップ及び上記キー信号スケーラブル符号化ステップは、
それぞれＳＮＲスケーラビリティ符号化を実行すること
を特徴とする請求項２記載の画像信号の符号化方法。 - 【請求項７】 下位レイヤキー信号は、画枠の小さな画
像に対するキー信号であり、上位レイヤキー信号は、画
枠の大きな画像に対する信号であり、 上記第１の予測キー信号生成ステップは、上記第１の予
測キー信号をアップサンプルし、上位レイヤの画枠と等
しい大きさの拡大された第１の予測キー信号を生成する
ステップを有し、 上記キー差分信号生成ステップは、上記上位レイヤキー
信号と上記拡大された第１の予測キー信号との差分を演
算することを特徴とする請求項３記載の画像信号の符号
化方法。 - 【請求項８】 上記符号化されたキー差分信号を局所復
号して局所復号キー差分信号を生成するステップと、 上記局所復号キー差分信号から第２の予測キー信号を生
成するステップと、 上記第１の予測キー信号と上記第２の予測キー信号から
予測参照キー信号を生成するステップとを有し、 上記キー差分信号生成ステップは、上記上位レイヤキー
信号と上記予測参照キー信号との差分を演算することを
特徴とする請求項３記載の画像信号の符号化方法。 - 【請求項９】 上記画像信号スケーラブル符号化ステッ
プは、動きベクトルを検出するステップと、上記動きベ
クトルを用いて、上記第１及び第２の画像信号に対して
動き補償予測符号化を実行するステップとを有し、 上記キー信号スケーラブル符号化ステップは、上記動き
ベクトルを用いて上記上位レイヤキー信号及び上記下位
レイヤキー信号に対して動き補償予測符号化を実行する
ステップを有することを特徴とする請求項１記載の画像
信号の符号化方法。 - 【請求項１０】 上記キー信号スケーラブル符号化ステ
ップは、上記上位レイヤキー信号及び上記下位レイヤキ
ー信号をDPCMによって符号化することを特徴とする請求
項１記載の画像信号の符号化方法。 - 【請求項１１】 上位レイヤ画像信号及び下位レイヤ画
像信号からなる画像信号を符号化する画像信号の符号化
方法において、 予測方法を用いて下位レイヤ画像信号を符号化して、符
号化された下位レイヤ画像信号を生成する下位レイヤ画
像信号生成ステップと、 上位レイヤ画像信号を符号化して、符号化された上位レ
イヤ画像信号を生成する上位レイヤ画像信号生成ステッ
プとを有し、 上記上位レイヤ画像信号生成ステップは、上記上位レイ
ヤ画像信号に対応する下位レイヤ画像信号を符号化する
際に用いた予測方法とその予測方法で発生されたデータ
から予測画像信号を生成し、上記上位レイヤ画像信号と
予測画像信号の差分を演算し、差分画像信号を生成する
ステップと、上記差分画像信号を符号化して、符号化さ
れた差分画像信号を生成するステップとを有することを
特徴とする画像信号の符号化方法。 - 【請求項１２】 上位レイヤ画像信号及び下位レイヤ画
像信号からなる画像信号を符号化する画像信号の符号化
方法において、 下位レイヤ画像信号を符号化して、符号化された下位レ
イヤ画像信号を生成するステップと、 上記下位レイヤ画像信号を符号化した際に、符号化され
た下位レイヤ画像信号が発生しない下位レイヤ画像信号
の部分に対応する上位レイヤ画像信号の部分以外の上位
レイヤ画像信号を符号化して、符号化された上位レイヤ
画像信号を生成するステップとを有することを特徴とす
る画像信号の符号化方法。 - 【請求項１３】 上位レイヤ画像信号及び下位レイヤ画
像信号からなる画像信号を符号化する画像信号の符号化
方法において、 予測符号化方法を用いて下位レイヤ画像信号を符号化し
て、符号化された下位レイヤ画像信号及び符号化モード
を生成するステップと、 上位レイヤ画像信号を符号化して、符号化された上位レ
イヤ画像信号を生成するステップとを有し、 上記上位レイヤ画像信号生成ステップは、上記下位レイ
ヤの符号化モードを用いて上記上位レイヤ画像信号を符
号化することを特徴とする画像信号の符号化方法。 - 【請求項１４】 上位レイヤ画像信号及び下位レイヤ画
像信号からなる画像信号を符号化して伝送する画像信号
の伝送方法において、 下位レイヤ画像信号を量子化して、符号化された下位レ
イヤ画像信号及び量子化スケールを発生するステップ
と、 上位レイヤ画像信号を量子化して、符号化された上位レ
イヤ画像信号及び量子化スケールを発生するステップ
と、 上記符号化された下位レイヤ画像信号及び上位レイヤ画
像信号を伝送する伝送ステップを有し、 上記伝送ステップは、下位レイヤの量子化スケールを伝
送しない場合、上位レイヤの量子化スケールを伝送せ
ず、また、下位レイヤの量子化スケールを伝送する場
合、上位レイヤの量子化スケールを伝送することを特徴
とする画像信号の伝送方法。 - 【請求項１５】 分離された複数の画像信号をそれぞれ
符号化して、符号化された複数の画像信号を多重化して
１つのビットストリームとして伝送する画像信号の伝送
方法において、 上記複数の画像信号をそれぞれ符号化して、符号化され
た複数の画像信号を生成するステップと、 上記符号化された複数の画像信号を多重化して、上記１
つのビットストリームを生成する多重化ステップと上記
１つのビットストリームを伝送するステップからなり、 上記多重化ステップは、上記複数の画像で各画像の表示
順で最初のフレームのビットストリームが隣接又は近傍
となるように多重化することを特徴とする画像信号の伝
送方法。 - 【請求項１６】 分離された複数の画像信号をそれぞれ
符号化して、符号化された複数の画像信号を多重化して
１つのビットストリームとして伝送する画像信号の伝送
方法において、 上記複数の画像信号をそれぞれ符号化して、符号化され
た複数の画像信号を生成するステップと、 上記符号化された複数の画像信号を多重化して、上記１
つのビットストリームを生成する多重化ステップと、 上記１つのビットストリームを伝送するステップからな
り、 上記多重化ステップでは、上記符号化された複数の画像
信号と、上記複数の画像で各画像の表示順で最初のフレ
ームのビットストリームにおいて、そのフレームを表示
する以前に表示される別の画像を参照し、その参照され
た画像の表示時刻からの遅延時間を示すフラグと、その
参照された画像を示すフラグを多重化することを特徴と
する画像信号の伝送方法。 - 【請求項１７】 分離された複数の画像信号をそれぞれ
符号化して、符号化された複数の画像信号を多重化して
１つのビットストリームとして伝送する画像信号の伝送
方法において、 上記複数の画像信号をそれぞれ符号化して、符号化され
た複数の画像信号を生成するステップと、 上記符号化された複数の画像信号を多重化して、上記１
つのビットストリームを生成する多重化ステップと、 上記１つのビットストリームを伝送するステップからな
り、 上記多重化ステップは、所定の画像を以後表示されない
ようにするために、最後に表示するフレームであること
を示すフラグと最後に表示されたフレームの表示時間を
示すフラグを多重化することを特徴とする画像信号の伝
送方法。 - 【請求項１８】 分離された第１の画像信号及び第２の
画像信号と上記第１の画像信号と第２の画像信号を合成
するためのキー信号を符号化することによって得られた
信号からなる画像信号の復号方法において、 符号化された第１の画像信号及び第２の画像信号をスケ
ーラブル復号して、復号された第１及び第２の画像信号
を生成する画像信号スケーラブル復号ステップと、 符号化されたキー信号を画像信号に用いたスケーラブル
復号方法と同様の方法でスケーラブル復号して、復号さ
れたキー信号を生成するキー信号スケーラブル復号ステ
ップとを有することを特徴とする画像信号の復号方法。 - 【請求項１９】 上記第１の画像信号は背景画像からな
り、上記第２の画像信号は前景画像からなり、 上記画像信号スケーラブル復号ステップは、上記第１の
画像信号をスケーラブル復号する第１の画像信号スケー
ラブル復号ステップと、上記第２の画像信号をスケーラ
ブル復号する第２の画像信号スケーラブル復号ステップ
とを有し、 上記キー信号スケーラブル復号ステップは、第２の画像
信号に用いたスケーラブル復号方法と同様の方法でスケ
ーラブル復号することを特徴とする請求項１８記載の画
像信号の復号方法。 - 【請求項２０】 上記キー信号スケーラブル復号ステッ
プは、符号化されたキー差分信号と下位レイヤキー信号
を受信するステップと、 上記符号化された下位レイヤキー信号を復号して、復号
された下位レイヤキー信号を生成するステップと、 上記符号化されたキー差分信号を復号して、復号された
キー差分信号を生成するステップと、 上記復号された下位レイヤキー信号を用いて、上位レイ
ヤキー信号のための第１の予測キー信号を生成するステ
ップと、 上記復号されたキー差分信号と上記第１の予測キー信号
とを加算し、復号された上位レイヤキー信号を生成する
ステップとを有することを特徴とする請求項１８記載の
画像信号の復号方法。 - 【請求項２１】 上記第１の画像信号スケーラブル復号
ステップ、上記第２の画像信号スケーラブル復号ステッ
プ及び上記キー信号スケーラブル復号ステップは、それ
ぞれ空間スケーラビリティ復号を実行することを特徴と
する請求項１９記載の画像信号の復号方法。 - 【請求項２２】 上記第１の画像信号スケーラブル復号
ステップ、上記第２の画像信号スケーラブル復号ステッ
プ及び上記キー信号スケーラブル復号ステップは、それ
ぞれテンポラリルスケーラビリティ復号を実行すること
を特徴とする請求項１９記載の画像信号の復号方法。 - 【請求項２３】 上記第１の画像信号スケーラブル復号
ステップ、上記第２の画像信号スケーラブル復号ステッ
プ及び上記キー信号スケーラブル復号ステップは、それ
ぞれＳＮＲスケーラビリティ復号を実行することを特徴
とする請求項１９記載の画像信号の復号方法。 - 【請求項２４】 下位レイヤキー信号は画枠の小さな画
像に対するキー信号であり、上位レイヤキー信号は画枠
の大きな画像に対する信号であり、 上記第１の予測キー信号生成ステップは、上記第１の予
測キー信号をアップサンプルし、上位レイヤの画枠と等
しい大きさの拡大された第１の予測キー信号を生成する
ステップを有し、 上記上位レイヤキー信号生成ステップは、上記上位レイ
ヤキー信号と上記拡大された第1の予測キー信号との差
分を演算することを特徴とする請求項２０記載の画像信
号の復号方法。 - 【請求項２５】 上記符号化された信号は、動きベクト
ルを含んでおり、 上記画像スケーラブル復号ステップは、上記動きベクト
ルを用いて、上記第１及び第２の画像信号に対して動き
補償予測復号を実行するステップからなり、 上記キー信号スケーラブル復号ステップは、上記動きベ
クトルを用いて、上記上位レイヤキー信号及び上記下位
レイヤキー信号に対して動き補償予測復号を実行するス
テップを有することを特徴とする請求項１８記載の画像
信号の復号方法。 - 【請求項２６】 上記キー信号スケーラブル復号ステッ
プは、上記上位レイヤキー信号及び上記下位レイヤキー
信号をDPCMを用いて復号することを特徴とする請求項１
８記載の画像信号の復号方法。 - 【請求項２７】 予測方法を用いて符号化された下位レ
イヤ画像信号と、上位レイヤ画像信号に対応する下位レ
イヤ画像信号を符号化する際に用いた予測方法とその予
測方法で発生されたデータから予測画像信号を生成し、
上記上位レイヤ画像信号と予測画像信号の差分を演算し
た差分画像信号を符号化することにより符号化された上
位レイヤ画像信号とからなる符号化された画像信号を復
号する画像信号の復号方法において、 上記予測方法を用いて符号化された画像信号を復号し
て、復号された下位レイヤ画像信号を生成するステップ
と、 上記上位レイヤ画像信号に対応する下位レイヤ画像信号
を符号化する際に用いた予測方法とその予測方法で発生
されたデータから予測画像信号を生成するステップと、 上記符号化された差分画像信号を復号して、復号された
差分画像信号を生成するステップと、 上記予測画像信号と上記復号された差分画像信号を加算
して、上位レイヤ画像信号を生成するステップとを有す
ることを特徴とする画像信号の復号方法。 - 【請求項２８】 符号化された下位レイヤ画像信号と上
記符号化された下位レイヤ画像信号が発生しない下位レ
イヤ画像信号の部分に対応する上位レイヤ画像信号の部
分以外の上位レイヤ画像信号を符号化することにより得
られた符号化された上位レイヤ画像信号からなる符号化
された画像信号を復号する画像信号の復号方法におい
て、 上記符号化された下位レイヤ画像信号を復号して、復号
された下位レイヤ画像信号を生成するステップと、 上記符号化された上位レイヤ画像信号を復号して、符号
化された下位レイヤ画像信号が発生しない下位レイヤ画
像信号の部分に対応する上位レイヤ画像信号の部分の上
位レイヤ画像信号を生成するステップとを有することを
特徴とする画像信号の復号方法。 - 【請求項２９】 符号化された下位レイヤ画像信号と上
記下位レイヤの符号化モードを用いて符号化された上位
レイヤ画像信号からなる符号化された画像信号を復号す
る画像信号の復号方法において、 上記符号化された下位レイヤ画像信号を復号して、復号
された下位レイヤ画像信号を生成するステップと、 上記下位レイヤの符号化モードを用いて、符号化された
上位レイヤ画像信号を復号して、復号された上位レイヤ
画像信号を生成するステップとを有することを特徴とす
る画像信号の復号方法。 - 【請求項３０】 量子化された下位レイヤ画像信号と量
子化された上位レイヤ画像信号からなり、下位レイヤの
量子化スケールを含んでいない場合、上位レイヤの量子
化スケールを含んでおらず、また、下位レイヤの量子化
スケールを含んでいる場合、上位レイヤの量子化スケー
ルを含んでいる符号化された画像信号を復号する画像信
号の復号方法において、 符号化された下位レイヤ画像信号を逆量子化して、復元
された下位レイヤ画像信号を発生するステップと、 符号化された上位レイヤ画像信号を逆量子化して、復元
された上位レイヤ画像信号を発生するステップとを有す
ることを特徴とする画像信号の復号方法。 - 【請求項３１】 分離された複数の画像信号がそれぞれ
符号化され、符号化された複数の画像信号を多重化して
得られた１つのビットストリームを受信して、その符号
化されたビットストリームを復号する画像信号の復号方
法において、 上記符号化されたビットストリームから符号化された複
数の画像信号を分離するステップと、 上記複数の画像信号をそれぞれ復号して、復号された複
数の画像信号を生成するステップとを有することを特徴
とする画像信号の復号方法。 - 【請求項３２】 分離された複数の画像信号がそれぞれ
符号化され、符号化された複数の画像信号と、上記複数
の画像信号で各画像の表示順で最初のフレームのビット
ストリームにおいて、そのフレームを表示する以前に表
示される別の画像を参照し、その参照された画像の表示
時刻からの遅延時間を示すフラグと、その参照された画
像を示すフラグを多重化して得られた１つのビットスト
リームを受信して、その符号化されたビットストリーム
を復号する画像信号の復号方法において、 上記フラグを用いて、上記符号化されたビットストリー
ムから符号化された複数の画像信号を分離するステップ
と、 上記複数の画像信号をそれぞれ復号して、復号された複
数の画像信号を生成するステップとを有することを特徴
とする画像信号の復号方法。 - 【請求項３３】 分離された複数の画像信号がそれぞれ
符号化され、符号化された複数の画像信号と、所定の画
像を以後表示されないようにするために、最後に表示す
るフレームであることを示すフラグと最後に表示された
フレームの表示時間を示すフラグを多重化して得られた
１つのビットストリームを受信して、その符号化された
ビットストリームを復号する画像信号の復号方法におい
て、 上記フラグを用いて、上記符号化されたビットストリー
ムから符号化された複数の画像信号を分離するステップ
と、 上記複数の画像信号をそれぞれ復号して、復号された複
数の画像信号を生成するステップとを有することを特徴
とする画像信号の復号方法。 - 【請求項３４】 分離された第１の画像信号、第２の画
像信号と上記第１の画像信号と第２の画像信号を合成す
るためのキー信号を符号化する画像信号の符号化装置に
おいて、 上記第１の画像信号及び第２の画像信号をスケーラブル
符号化する画像信号スケーラブル符号化手段と、 上記キー信号を画像信号に用いたスケーラブル符号化方
法と同様の方法でスケーラブル符号化するキー信号スケ
ーラブル符号化手段とを備えることを特徴とする画像信
号の符号化装置。 - 【請求項３５】 上記第１の画像信号は背景画像からな
り、上記第２の画像信号は前景画像からなり、 上記画像信号スケーラブル符号化手段は、上記第１の画
像信号をスケーラブル符号化する第１の画像信号スケー
ラブル符号化手段と、上記第２の画像信号をスケーラブ
ル符号化する第２の画像信号スケーラブル符号化手段か
らなり、 上記キー信号スケーラブル符号化手段は、第２の画像信
号に用いたスケーラブル符号化方法と同様の方法でスケ
ーラブル符号化することを特徴とする請求項３４記載の
画像信号の符号化装置。 - 【請求項３６】 上記キー信号スケーラブル符号化手段
は、上位レイヤキー信号と下位レイヤキー信号を受信す
る受信手段と、上記下位レイヤキー信号を符号化して符
号化された下位レイヤキー信号を生成する手段と、上記
符号化された下位レイヤキー信号を局所復号して局所復
号下位レイヤキー信号を生成する手段と、上記局所復号
下位レイヤキー信号を用いて、上位レイヤキー信号のた
めの第１の予測キー信号を生成する第１の予測キー信号
生成手段と、上記上位レイヤキー信号と上記第１の予測
キー信号との差分を演算し、キー差分信号を生成する手
段と、上記キー差分信号を符号化して符号化されたキー
差分信号を生成する手段からなることを特徴とする請求
項３５記載の画像信号の符号化装置。 - 【請求項３７】 上記第１の画像信号スケーラブル符号
化手段、上記第２の画像信号スケーラブル符号化手段及
び上記キー信号スケーラブル符号化手段は、それぞれ空
間スケーラビリティ符号化を実行することを特徴とする
請求項３５記載の画像信号の符号化装置。 - 【請求項３８】 上記第１の画像信号スケーラブル符号
化手段、上記第２の画像信号スケーラブル符号化手段及
び上記キー信号スケーラブル符号化手段は、それぞれテ
ンポラリルスケーラビリティ符号化を実行することを特
徴とする請求項３５記載の画像信号の符号化装置。 - 【請求項３９】 上記第１の画像信号スケーラブル符号
化手段、上記第２の画像信号スケーラブル符号化手段及
び上記キー信号スケーラブル符号化手段は、それぞれＳ
ＮＲスケーラビリティ符号化を実行することを特徴とす
る請求項３５記載の画像信号の符号化装置。 - 【請求項４０】 下位レイヤキー信号は画枠の小さな画
像に対するキー信号であり、上位レイヤキー信号は画枠
の大きな画像に対する信号であり、 上記第１の予測キー信号生成手段は、上記第１の予測キ
ー信号をアップサンプルし、上位レイヤの画枠と等しい
大きさの拡大された第１の予測キー信号を生成する手段
を有し、 上記キー差分信号生成手段は、上記上位レイヤキー信号
と上記拡大された第１の予測キー信号との差分を演算す
ることを特徴とする請求項３６記載の画像信号の符号化
装置。 - 【請求項４１】 上記符号化されたキー差分信号を局所
復号して局所復号キー差分信号を生成する手段と、 上記局所復号キー差分信号から第２の予測キー信号を生
成する手段と、 上記第１の予測キー信号と上記第２の予測キー信号から
予測参照キー信号を生成する手段とを有し、 上記キー差分信号生成手段は、上記上位レイヤキー信号
と上記予測参照キー信号との差分を演算することを特徴
とする請求項３６記載の画像信号の符号化装置。 - 【請求項４２】 上記画像スケーラブル符号化手段は、
動きベクトルを検出する手段と、上記動きベクトルを用
いて、上記第１及び第２の画像信号に対して動き補償予
測符号化を実行する手段からなり、 上記キー信号スケーラブル符号手段は、上記動きベクト
ルを用いて上記上位レイヤキー信号及び上記下位レイヤ
キー信号に対して動き補償予測符号化を実行する手段を
有することを特徴とする請求項３５記載の画像信号の符
号化装置。 - 【請求項４３】 上記キー信号スケーラブル符号化手段
は、上記上位レイヤキー信号及び上記下位レイヤキー信
号をDPCMによって符号化することを特徴とする請求項３
４記載の画像信号の符号化装置。 - 【請求項４４】 上位レイヤ画像信号及び下位レイヤ画
像信号からなる画像信号を符号化する画像信号の符号化
装置において、 予測方法を用いて下位レイヤ画像信号を符号化して、符
号化された下位レイヤ画像信号を生成する上位レイヤ画
像信号生成手段と、 上位レイヤ画像信号を符号化して、符号化された上位レ
イヤ画像信号を生成する上位レイヤ画像信号生成手段と
からなり、 上記上位レイヤ画像信号生成手段は、 上記上位レイヤ画像信号に対応する下位レイヤ画像信号
を符号化する際に用いた予測方法とその予測方法で発生
されたデータから予測画像信号を生成し、上記上位レイ
ヤ画像信号と予測画像信号の差分を演算し、差分画像信
号を生成する手段と、 上記差分画像信号を符号化して、符号化された差分画像
信号を生成する手段からなることを特徴とする画像信号
の符号化装置。 - 【請求項４５】 上位レイヤ画像信号及び下位レイヤ画
像信号からなる画像信号を符号化する画像信号の符号化
装置において、 下位レイヤ画像信号を符号化して、符号化された下位レ
イヤ画像信号を生成する手段と、 上記下位レイヤ画像信号を符号化した際に、符号化され
た下位レイヤ画像信号が発生しない下位レイヤ画像信号
の部分に対応する上位レイヤ画像信号の部分以外の上位
レイヤ画像信号を符号化して、符号化された上位レイヤ
画像信号を生成する手段とからなることを特徴とする画
像信号の符号化装置。 - 【請求項４６】 上位レイヤ画像信号及び下位レイヤ画
像信号からなる画像信号を符号化する画像信号の符号化
装置において、 予測符号化方法を用いて下位レイヤ画像信号を符号化し
て、符号化された下位レイヤ画像信号及び符号化モード
を生成する手段と、 上位レイヤ画像信号を符号化して、符号化された上位レ
イヤ画像信号を生成する手段とからなり、 上記上位レイヤ画像信号生成手段は、上記下位レイヤの
符号化モードを用いて上記上位レイヤ画像信号を符号化
することを特徴とする画像信号の符号化装置。 - 【請求項４７】 上位レイヤ画像信号及び下位レイヤ画
像信号からなる画像信号を符号化する画像信号の符号化
装置において、 下位レイヤ画像信号を量子化して、符号化された下位レ
イヤ画像信号及び量子化スケールを発生する手段と、 上位レイヤ画像信号を量子化して、符号化された上位レ
イヤ画像信号及び量子化スケールを発生する手段と、 上記符号化された下位レイヤ画像信号及び上位レイヤ画
像信号を伝送する伝送手段からなり、 上記伝送手段は、下位レイヤの量子化スケールを伝送し
ない場合、上位レイヤの量子化スケールを伝送せず、ま
た、下位レイヤの量子化スケールを伝送する場合、上位
レイヤの量子化スケールを伝送することを特徴とする画
像信号の符号化装置。 - 【請求項４８】 分離された複数の画像信号をそれぞれ
符号化して、符号化された複数の画像信号を多重化して
１つのビットストリームとして伝送する画像信号の伝送
装置において、 上記複数の画像信号をそれぞれ符号化して、符号化され
た複数の画像信号を生成する手段と、 上記符号化された複数の画像信号を多重化して、上記１
つのビットストリームを生成する多重化手段と、 上記１つのビットストリームを伝送する手段からなり、 上記多重化手段は、上記複数の画像で各画像の表示順で
最初のフレームのビットストリームが隣接又は近傍とな
るように多重化することを特徴とする画像信号の伝送装
置。 - 【請求項４９】 分離された複数の画像信号をそれぞれ
符号化して、符号化された複数の画像信号を多重化して
１つのビットストリームとして伝送する画像信号の伝送
装置において、 上記複数の画像信号をそれぞれ符号化して、符号化され
た複数の画像信号を生成する手段と、 上記符号化された複数の画像信号を多重化して、上記１
つのビットストリームを生成する多重化手段と、 上記１つのビットストリームを伝送する手段からなり、 上記多重化手段は、上記符号化された複数の画像信号
と、上記複数の画像で各画像の表示順で最初のフレーム
のビットストリームにおいて、そのフレームを表示する
以前に表示される別の画像を参照し、その参照された画
像の表示時刻からの遅延時間を示すフラグと、その参照
された画像を示すフラグを多重化することを特徴とする
画像信号の伝送装置。 - 【請求項５０】 分離された複数の画像信号をそれぞれ
符号化して、符号化された複数の画像信号を多重化して
１つのビットストリームとして伝送する画像信号の伝送
装置において、 上記複数の画像信号をそれぞれ符号化して、符号化され
た複数の画像信号を生成する手段と、 上記符号化された複数の画像信号を多重化して、上記１
つのビットストリームを生成する多重化手段と、 上記１つのビットストリームを伝送する手段からなり、 上記多重化手段は、所定の画像を以後表示されないよう
にするために、最後に表示するフレームであることを示
すフラグと最後に表示されたフレームの表示時間を示す
フラグを多重化することを特徴とする画像信号の伝送装
置。 - 【請求項５１】 分離された第１の画像信号、第２の画
像信号と上記第１の画像信号と第２の画像信号を合成す
るためのキー信号を符号化することによって得られた信
号からなる符号化された信号を復号する画像信号の復号
装置において、 符号化された第１の画像信号及び第２の画像信号をスケ
ーラブル復号して、復号された第１及び第２の画像信号
を生成する画像信号スケーラブル復号手段と、 符号化されたキー信号を画像信号に用いたスケーラブル
復号方法と同様の方法でスケーラブル復号して、復号さ
れたキー信号を生成するキー信号スケーラブル復号手段
とを備えることを特徴とする画像信号の復号装置。 - 【請求項５２】 上記第１の画像信号は背景画像からな
り、上記第２の画像信号は前景画像からなり、 上記画像信号スケーラブル復号手段は、上記第１の画像
信号をスケーラブル復号する第１の画像信号スケーラブ
ル復手段と、上記第２の画像信号をスケーラブル復号す
る第２の画像信号スケーラブル復号手段からなり、 上記キー信号スケーラブル復号手段は、第２の画像信号
に用いたスケーラブル復号方法と同様の方法でスケーラ
ブル復号することを特徴とする請求項５１記載の画像信
号の復号装置。 - 【請求項５３】 上記キー信号スケーラブル符号化手段
は、符号化されたキー差分信号と下位レイヤキー信号を
受信する受信手段と、上記符号化された下位レイヤキー
信号を復号して、復号された下位レイヤキー信号を生成
する下位レイヤキー信号生成手段と、上記符号化された
キー差分信号を復号して、復号されたキー差分信号を生
成する手段と、上記復号された下位レイヤキー信号を用
いて、上位レイヤキー信号のための第１の予測キー信号
を生成する第１の予測キー信号生成手段と、上記復号さ
れたキー差分信号と上記第１の予測キー信号とを加算
し、復号された上位レイヤキー信号を生成する上位レイ
ヤキー信号生成手段とを備えることを請求項５２記載の
画像信号の復号装置。 - 【請求項５４】 上記第１の画像信号スケーラブル復号
手段、上記第２の画像信号スケーラブル復号手段及び上
記キー信号スケーラブル復号手段は、それぞれ空間スケ
ーラビリティ復号を実行することを請求項５２記載の画
像信号の復号装置。 - 【請求項５５】 上記第１の画像信号スケーラブル復号
手段、上記第２の画像信号スケーラブル復号手段及び上
記キー信号スケーラブル復号手段は、それぞれテンポラ
リルスケーラビリティ符号化を実行することを請求項５
２記載の画像信号の復号装置。 - 【請求項５６】 上記第１の画像信号スケーラブル復号
手段、上記第２の画像信号スケーラブル復号手段及び上
記キー信号スケーラブル復号手段は、それぞれＳＮＲス
ケーラビリティ復号を実行することを請求項５２記載の
画像信号の復号装置。 - 【請求項５７】 下位レイヤキー信号は画枠の小さな画
像に対するキー信号であり、上位レイヤキー信号は画枠
の大きな画像に対する信号であり、 上記第１の予測キー信号生成手段は、上記第１の予測キ
ー信号をアップサンプルし、上位レイヤの画枠と等しい
大きさの拡大された第1の予測キー信号を生成する手段
を有し、 上記上位レイヤキー信号生成手段は、上記上位レイヤキ
ー信号と上記拡大された第１の予測キー信号との差分を
演算することを請求項５３記載の画像信号の復号装置。 - 【請求項５８】 上記符号化された信号は動きベクトル
を含んでおり、 上記画像スケーラブル復号手段は、上記動きベクトルを
用いて、上記第１及び第２の画像信号に対して動き補償
予測復号を実行する手段からなり、 上記キー信号スケーラブル復号手段は、上記動きベクト
ルを用いて、上記上位レイヤキー信号及び上記下位レイ
ヤキー信号に対して動き補償予測復号を実行する手段を
有することを請求項５１記載の画像信号の復号装置。 - 【請求項５９】 上記キー信号スケーラブル復号手段
は、上記上位レイヤキー信号及び上記下位レイヤキー信
号をDPCMを用いて復号することを請求項５１記載の画像
信号の復号装置。 - 【請求項６０】 予測方法を用いて符号化された下位レ
イヤ画像信号と、上位レイヤ画像信号に対応する下位レ
イヤ画像信号を符号化する際に用いた予測方法とその予
測方法で発生されたデータから予測画像信号を生成し、
上記上位レイヤ画像信号と予測画像信号の差分を演算し
た差分画像信号を符号化することにより符号化された上
位レイヤ画像信号とからなる符号化された画像信号を復
号する画像信号の復号装置において、 上記予測方法を用いて符号化された画像信号を復号し
て、復号された下位レイヤ画像信号を生成する手段と、 上記上位レイヤ画像信号に対応する下位レイヤ画像信号
を符号化する際に用いた予測方法とその予測方法で発生
されたデータから予測画像信号を生成する手段と、 上記符号化された差分画像信号を復号して、復号された
差分画像信号を生成する手段と、 上記予測画像信号と上記復号された差分画像信号を加算
して、上位レイヤ画像信号を生成する手段とを有するこ
とを特徴とする画像信号の復号装置。 - 【請求項６１】 符号化された下位レイヤ画像信号と上
記符号化された下位レイヤ画像信号が発生しない下位レ
イヤ画像信号の部分に対応する上位レイヤ画像信号の部
分以外の上位レイヤ画像信号を符号化することにより得
られた符号化された上位レイヤ画像信号からなる符号化
された画像信号を復号する画像信号の復号装置におい
て、 上記符号化された下位レイヤ画像信号を復号して、復号
された下位レイヤ画像信号を生成する手段と、 上記符号化された上位レイヤ画像信号を復号して、符号
化された下位レイヤ画像信号が発生しない下位レイヤ画
像信号の部分に対応する上位レイヤ画像信号の部分の上
位レイヤ画像信号を生成する手段とを有することを特徴
とする画像信号の復号装置。 - 【請求項６２】 符号化された下位レイヤ画像信号と上
記下位レイヤの符号化モードを用いて符号化された上位
レイヤ画像信号からなる符号化された画像信号を復号す
る画像信号の復号装置において、 上記符号化された下位レイヤ画像信号を復号して、復号
された下位レイヤ画像信号を生成する手段と、 上記下位レイヤの符号化モードを用いて、符号化された
上位レイヤ画像信号を復号して、復号された上位レイヤ
画像信号を生成する手段とを有することを特徴とする画
像信号の復号装置。 - 【請求項６３】 量子化された下位レイヤ画像信号と量
子化された上位レイヤ画像信号からなり、下位レイヤの
量子化スケールを含んでいない場合、上位レイヤの量子
化スケールを含んでおらず、また、下位レイヤの量子化
スケールを含んでいる場合、上位レイヤの量子化スケー
ルを含んでいる符号化された画像信号を復号する画像信
号の復号装置において、 符号化された下位レイヤ画像信号を逆量子化して、復元
された下位レイヤ画像信号を発生する手段と、 符号化された上位レイヤ画像信号を逆量子化して、復元
された上位レイヤ画像信号を発生する手段とを有するこ
とを特徴とする画像信号の復号装置。 - 【請求項６４】 分離された複数の画像信号をそれぞれ
符号化して、符号化された複数の画像信号を多重化して
得られた１つのビットストリームを受信して、その符号
化されたビットストリームを復号する画像信号の復号装
置において、 上記符号化されたビットストリームから符号化された複
数の画像信号を分離する手段と、 上記複数の画像信号をそれぞれ復号して、復号された複
数の画像信号を生成する手段とを有することを特徴とす
る画像信号の復号装置。 - 【請求項６５】 分離された複数の画像信号をそれぞれ
符号化して、符号化された複数の画像信号と、上記複数
の画像で各画像の表示順で最初のフレームのビットスト
リームにおいて、そのフレームを表示する以前に表示さ
れる別の画像を参照し、その参照された画像の表示時刻
からの遅延時間を示すフラグと、その参照された画像を
示すフラグを多重化して得られた１つのビットストリー
ムを受信して、その符号化されたビットストリームを復
号する画像信号の復号装置において、 上記フラグを用いて、上記符号化されたビットストリー
ムから符号化された複数の画像信号を分離する手段と、 上記複数の画像信号をそれぞれ復号して、復号された複
数の画像信号を生成する手段とを有することを特徴とす
る画像信号の復号装置。 - 【請求項６６】 分離された複数の画像信号をそれぞれ
符号化して、符号化された複数の画像信号と、所定の画
像を以後表示されないようにするために、最後に表示す
るフレームであることを示すフラグと最後に表示された
フレームの表示時間を示すフラグを多重化して得られた
１つのビットストリームを受信して、その符号化された
ビットストリームを復号する画像信号の復号装置におい
て、 上記フラグを用いて、上記符号化されたビットストリー
ムから符号化された複数の画像信号を分離する手段と、 上記複数の画像信号をそれぞれ復号して、復号された複
数の画像信号を生成する手段とを有することを特徴とす
る画像信号の復号装置。 - 【請求項６７】 分離された第１の画像信号及び第２の
画像信号をスケーラブル符号化するとともに、上記第１
の画像信号と第２の画像信号を合成するためのキー信号
を画像信号に用いたスケーラブル符号化方法と同様の方
法でスケーラブル符号化して得られた符号化した画像信
号を記録してなることを特徴とする画像信号の記録媒
体。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP06707297A JP3371191B2 (ja) | 1996-03-22 | 1997-03-19 | 画像信号の符号化方法及び復号方法、並びに、符号化装置及び復号装置 |
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP6664096 | 1996-03-22 | ||
| JP8-66640 | 1996-03-22 | ||
| JP06707297A JP3371191B2 (ja) | 1996-03-22 | 1997-03-19 | 画像信号の符号化方法及び復号方法、並びに、符号化装置及び復号装置 |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2000183781A Division JP2001028757A (ja) | 1996-03-22 | 2000-06-19 | 画像信号の符号化方法、伝送方法及び復号方法、符号化装置、伝送装置及び復号装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH09322163A true JPH09322163A (ja) | 1997-12-12 |
| JP3371191B2 JP3371191B2 (ja) | 2003-01-27 |
Family
ID=26407839
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP06707297A Expired - Fee Related JP3371191B2 (ja) | 1996-03-22 | 1997-03-19 | 画像信号の符号化方法及び復号方法、並びに、符号化装置及び復号装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3371191B2 (ja) |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH11261966A (ja) * | 1998-03-12 | 1999-09-24 | Toshiba Corp | 映像符号化装置および映像符号化方法 |
| GB2348560A (en) * | 1998-12-11 | 2000-10-04 | Hitachi Ltd | Transmitting foreground object signals and background image signals separately |
| US7054494B2 (en) | 1998-11-30 | 2006-05-30 | Microsoft Corporation | Coded block pattern decoding with spatial prediction |
| WO2008107943A1 (ja) * | 2007-03-01 | 2008-09-12 | Nippon Telegraph And Telephone Corporation | スケーラブル符号化方法および装置、スケーラブル復号方法および装置、並びにそれらのプログラムおよび記録媒体 |
| WO2010047099A1 (ja) * | 2008-10-22 | 2010-04-29 | 日本電信電話株式会社 | スケーラブル動画像符号化方法、スケーラブル動画像符号化装置、スケーラブル動画像符号化プログラムおよびそのプログラムを記録したコンピュータ読み取り可能な記録媒体 |
| US8873630B2 (en) | 2002-06-03 | 2014-10-28 | Microsoft Corporation | Spatiotemporal prediction for bidirectionally predictive (B) pictures and motion vector prediction for multi-picture reference motion compensation |
| US8917768B2 (en) | 2003-07-18 | 2014-12-23 | Microsoft Corporation | Coding of motion vector information |
| US9077960B2 (en) | 2005-08-12 | 2015-07-07 | Microsoft Corporation | Non-zero coefficient block pattern coding |
| US9088785B2 (en) | 2001-12-17 | 2015-07-21 | Microsoft Technology Licensing, Llc | Skip macroblock coding |
| US9888237B2 (en) | 2002-01-25 | 2018-02-06 | Microsoft Technology Licensing, Llc | Video coding |
-
1997
- 1997-03-19 JP JP06707297A patent/JP3371191B2/ja not_active Expired - Fee Related
Cited By (23)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH11261966A (ja) * | 1998-03-12 | 1999-09-24 | Toshiba Corp | 映像符号化装置および映像符号化方法 |
| US7054494B2 (en) | 1998-11-30 | 2006-05-30 | Microsoft Corporation | Coded block pattern decoding with spatial prediction |
| US7127114B2 (en) | 1998-11-30 | 2006-10-24 | Microsoft Corporation | Coded block pattern encoding with spatial prediction |
| GB2348560A (en) * | 1998-12-11 | 2000-10-04 | Hitachi Ltd | Transmitting foreground object signals and background image signals separately |
| US6473136B1 (en) | 1998-12-11 | 2002-10-29 | Hitachi, Ltd. | Television broadcast transmitter/receiver and method of transmitting/receiving a television broadcast |
| GB2348560B (en) * | 1998-12-11 | 2003-01-15 | Hitachi Ltd | Television broadcast transmitter/receiver and method of transmitting/receiving a television broadcast |
| US9088785B2 (en) | 2001-12-17 | 2015-07-21 | Microsoft Technology Licensing, Llc | Skip macroblock coding |
| US10368065B2 (en) | 2001-12-17 | 2019-07-30 | Microsoft Technology Licensing, Llc | Skip macroblock coding |
| US9774852B2 (en) | 2001-12-17 | 2017-09-26 | Microsoft Technology Licensing, Llc | Skip macroblock coding |
| US9538189B2 (en) | 2001-12-17 | 2017-01-03 | Microsoft Technology Licensing, Llc | Skip macroblock coding |
| US10284843B2 (en) | 2002-01-25 | 2019-05-07 | Microsoft Technology Licensing, Llc | Video coding |
| US9888237B2 (en) | 2002-01-25 | 2018-02-06 | Microsoft Technology Licensing, Llc | Video coding |
| US8873630B2 (en) | 2002-06-03 | 2014-10-28 | Microsoft Corporation | Spatiotemporal prediction for bidirectionally predictive (B) pictures and motion vector prediction for multi-picture reference motion compensation |
| US9185427B2 (en) | 2002-06-03 | 2015-11-10 | Microsoft Technology Licensing, Llc | Spatiotemporal prediction for bidirectionally predictive (B) pictures and motion vector prediction for multi-picture reference motion compensation |
| US9571854B2 (en) | 2002-06-03 | 2017-02-14 | Microsoft Technology Licensing, Llc | Spatiotemporal prediction for bidirectionally predictive (B) pictures and motion vector prediction for multi-picture reference motion compensation |
| US10116959B2 (en) | 2002-06-03 | 2018-10-30 | Microsoft Technology Licesning, LLC | Spatiotemporal prediction for bidirectionally predictive (B) pictures and motion vector prediction for multi-picture reference motion compensation |
| US9148668B2 (en) | 2003-07-18 | 2015-09-29 | Microsoft Technology Licensing, Llc | Coding of motion vector information |
| US8917768B2 (en) | 2003-07-18 | 2014-12-23 | Microsoft Corporation | Coding of motion vector information |
| US9077960B2 (en) | 2005-08-12 | 2015-07-07 | Microsoft Corporation | Non-zero coefficient block pattern coding |
| WO2008107943A1 (ja) * | 2007-03-01 | 2008-09-12 | Nippon Telegraph And Telephone Corporation | スケーラブル符号化方法および装置、スケーラブル復号方法および装置、並びにそれらのプログラムおよび記録媒体 |
| US8509302B2 (en) | 2008-10-22 | 2013-08-13 | Nippon Telegraph And Telephone Corporation | Scalable video encoding method, scalable video encoding apparatus, scalable video encoding program, and computer readable recording medium storing the program |
| RU2488235C2 (ru) * | 2008-10-22 | 2013-07-20 | Ниппон Телеграф Энд Телефон Корпорейшн | Способ масштабируемого кодирования видео, устройство масштабируемого кодирования видео, программа масштабируемого кодирования видео и машиночитаемый носитель записи, сохраняющий программу |
| WO2010047099A1 (ja) * | 2008-10-22 | 2010-04-29 | 日本電信電話株式会社 | スケーラブル動画像符号化方法、スケーラブル動画像符号化装置、スケーラブル動画像符号化プログラムおよびそのプログラムを記録したコンピュータ読み取り可能な記録媒体 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP3371191B2 (ja) | 2003-01-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US6031575A (en) | Method and apparatus for encoding an image signal, method and apparatus for decoding an image signal, and recording medium | |
| US6427027B1 (en) | Picture encoding and/or decoding apparatus and method for providing scalability of a video object whose position changes with time and a recording medium having the same recorded thereon | |
| KR100418141B1 (ko) | 화상부호화장치,화상부호화방법,화상복호화장치및화상복호화방법 | |
| KR100563754B1 (ko) | 이미지 신호를 다중화하는 방법 및 시스템, 이미지 신호를 역다중화하는 방법 및 시스템 및, 전송 매체 | |
| US6330280B1 (en) | Method and apparatus for decoding enhancement and base layer image signals using a predicted image signal | |
| US6400768B1 (en) | Picture encoding apparatus, picture encoding method, picture decoding apparatus, picture decoding method and presentation medium | |
| JP3413721B2 (ja) | 画像符号化方法及び装置、並びに画像復号方法及び装置 | |
| KR20080104060A (ko) | 비디오 부호화 시스템에서 양자화 변수들을 표시하는 방법 및 장치 | |
| JP3371191B2 (ja) | 画像信号の符号化方法及び復号方法、並びに、符号化装置及び復号装置 | |
| JP3344577B2 (ja) | 画像符号化装置および画像符号化方法、画像復号化装置および画像復号化方法、並びに記録方法 | |
| JP3263901B2 (ja) | 画像信号符号化方法及び装置、画像信号復号化方法及び装置 | |
| JP4499204B2 (ja) | 画像信号多重化装置および方法、並びに伝送媒体 | |
| JP3344576B2 (ja) | 画像符号化装置および画像符号化方法、画像復号化装置および画像復号化方法 | |
| JPH1141558A (ja) | 画像信号復号化装置および画像信号復号化方法、並びに伝送媒体 | |
| AU731425B2 (en) | Picture encoding and decoding | |
| JP3263812B2 (ja) | 画像符号化装置および画像符号化方法、並びに画像復号化装置および画像復号化方法 | |
| AU759435B2 (en) | Picture encoding and decoding |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20021008 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20071122 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20081122 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091122 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091122 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101122 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101122 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111122 Year of fee payment: 9 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111122 Year of fee payment: 9 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121122 Year of fee payment: 10 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121122 Year of fee payment: 10 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131122 Year of fee payment: 11 |
|
| LAPS | Cancellation because of no payment of annual fees |