JPH10224799A - 画像信号符号化方法及び装置、画像信号復号方法及び装置、並びに画像信号記録媒体 - Google Patents

Abstract

(57)【要約】 【課題】 空間スケーラブル符号化方法において、予測
効率を改善し、符号化効率を向上することを可能にす
る。 【解決手段】 画像信号のスケーラブル符号化を行う場
合に、上位レイヤの画像信号の動きベクトルを検出する
動きベクトル検出回路４２と、この上位レイヤの動きベ
クトルを用いて下位レイヤの画像信号の画像の差分を求
めるフレームメモリ５４及び動き補償回路５３，演算回
路５７と、この差分信号を上位レイヤの局所復号画像に
加算して予測参照画像信号を生成するフレームメモリ５
１及び動き補償回路５２，演算回路５９と、この生成し
た予測参照画像信号を用いて符号化を行うＤＣＴ回路４
４から可変長符号化回路４６までの各構成を有する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、動画像信号を例え
ば光磁気ディスクや磁気テープなどの記録媒体に記録
し、これを再生してディスプレイ装置などに表示した
り、テレビ会議システム、テレビ電話システム、放送用
機器、マルチメディアデータベース検索システムなど、
動画像信号を伝送路を介して送信側から受信側に伝送
し、受信側において、これを受信し、表示する場合や、
動画像信号を編集し記録する場合などに用いて好適な画
像信号符号化方法及び画像信号符号化装置、画像信号復
号方法および画像信号復号装置、並びに画像信号記録媒
体に関する。

【０００２】

【従来の技術】例えば、テレビ会議システム、テレビ電
話システムなどのように、動画像信号を遠隔地に伝送す
るシステムにおいては、伝送路を効率良く利用するた
め、映像信号のライン相関やフレーム間相関を利用し
て、画像信号を圧縮符号化するようになされている。

【０００３】動画像の高能率符号化方式として代表的な
ものとしていわゆるＭＰＥＧ（蓄積用動画像符号化）方
式がある。これはＩＳＯ−ＩＥＣ／ＪＴＣ１／ＳＣ２／
ＷＧ１１にて議論され標準案として提案されたものであ
り、動き補償予測符号化とＤＣＴ（Discrete Cosine Tr
ansform）符号化を組み合わせたハイブリッド方式が採
用されている。ＭＰＥＧでは様々なアプリケーションや
機能に対応するために、いくつかのプロファイルおよび
レベルが定義されている。最も基本となるのが、メイン
プロファイルメインレベル（ＭＰ＠ＭＬ)である。

【０００４】図２０を参照して、ＭＰＥＧ方式のＭＰ＠
ＭＬのエンコーダの構成例について説明する。

【０００５】入力画像信号は、先ずフレームメモリ２０
１に入力され、その後このフレームメモリ２０１から読
み出されて、後段の構成に送られて所定の順番で符号化
されることになる。

【０００６】すなわち符号化されるべき画像データは、
マクロブロック単位で上記フレームメモリ２０１から読
み出され、動きベクトル検出（ＭＥ）回路２０２に入力
される。動きベクトル検出回路２０２は、予め設定され
ている所定のシーケンスに従って、各フレームの画像デ
ータを、Ｉピクチャ、Ｐピクチャ、またはＢピクチャと
して処理する。シーケンシャルに入力される各フレーム
の画像を、Ｉ，Ｐ，Ｂのいずれのピクチャとして処理す
るかは、予め定められている（例えば、Ｉ，Ｂ，Ｐ，
Ｂ，Ｐ，・・・Ｂ，Ｐの順番にて処理される）。

【０００７】ここで、動きベクトル検出回路２０２は、
予め定められた所定の参照フレームを参照し、動き補償
を行い、その動きベクトルを検出する。動き補償（フレ
ーム間予測）には前方向予測、後方向予測、両方向予測
の３種類の予測モードがある。Ｐピクチャの予測モード
は前方向予測のみであり、Ｂピクチャの予測モードは前
方向予測、後方向予測、両方向予測の３種類である。動
きベクトル検出回路２０２は、予測誤差を最小にする予
測モードを選択しその際の動きベクトルを発生する。

【０００８】このとき、予測誤差は例えば符号化するマ
クロブロックの分散値と比較され、マクロブロックの分
散値の方が小さい場合には、そのマクロブロックでは予
測は行わず、フレーム内符号化が行われる。この場合、
予測モードは画像内符号化（イントラ）となる。

【０００９】動きベクトルおよび上記予測モードの情報
は、可変長符号化（ＶＬＣ）回路２０６および動き補償
（ＭＣ）回路２１２に入力される。

【００１０】動き補償回路２１２では所定の動きベクト
ルに基づいて予測参照画像を生成し、この予測参照画像
信号を演算回路２０３に入力する。演算回路２０３で
は、上記フレームメモリ２０１からの符号化するマクロ
ブロックの値と、上記動き補償回路２１２からの予測参
照画像のマクロブロックの値との差分信号を求め、その
差分信号をＤＣＴ回路２０４に出力する。イントラマク
ロブロック（画像内符号化されるマクロブロック）の場
合、演算回路２０３は上記符号化するマクロブロックの
信号をそのままＤＣＴ回路２０４に出力する。

【００１１】ＤＣＴ回路２０４では、上記演算回路２０
３からの差分信号がＤＣＴ（離散コサイン変換）処理さ
れ、ＤＣＴ係数に変換される。このＤＣＴ係数は、量子
化回路２０５に入力され、ここで送信バッファ２０７の
データ蓄積量（バッファに蓄積可能なデータ残量）に対
応した量子化ステップで量子化された後、可変長符号化
回路２０６に入力される。

【００１２】可変長符号化回路２０６は、量子化（Ｑ）
回路２０５より供給される量子化ステップ（量子化スケ
ール）に対応して、量子化回路２０５より供給される画
像データ（今の場合は、Ｉピクチャのデータ）を、例え
ばハフマン符号などの可変長符号に変換し、この符号を
送信バッファ２０７に出力する。

【００１３】可変長符号化回路２０６にはまた、量子化
回路２０５からの量子化ステップ（スケール）と、さら
に動きベクトル検出回路２０２からの予測モード（画像
内予測、前方向予測、後方向予測、または両方向予測の
いずれが設定されたかを示す予測モード）および動きベ
クトルとが入力されており、これらも可変長符号化され
る。

【００１４】送信バッファ２０７は、入力されたデータ
を一時蓄積し、またその蓄積量に対応するデータを量子
化制御信号として量子化回路２０５に出力（バッファフ
ィードバック）する。すなわち、送信バッファ２０７
は、そのデータ蓄積量（蓄積可能なデータ残量）が許容
上限値まで増量すると、上記量子化制御信号によって量
子化回路２０５の量子化スケールを大きくさせることに
より、量子化回路２０５から出力される量子化データの
データ量を低下させる。また、これとは逆に、データ蓄
積量（蓄積可能なデータ残量）が許容下限値まで減少す
ると、送信バッファ２０７は、量子化制御信号によって
量子化回路２０５の量子化スケールを小さくすることに
より、量子化回路２０５から出力される量子化データの
データ量を増大させる。このようにして、送信バッファ
２０７のオーバフローまたはアンダフローが防止され
る。

【００１５】そして、送信バッファ２０７に蓄積された
データは、所定のタイミングで読み出され、伝送路にビ
ットストリームとして出力される。

【００１６】一方、量子化回路２０５より出力されたデ
ータは、逆量子化（ＩＱ）回路２０８にも入力される。
この逆量子化回路２０８では、上記量子化回路２０５よ
り供給されたデータを、同じく量子化回路２０５より供
給される量子化ステップに対応して逆量子化する。この
逆量子化回路２０８の出力は、ＩＤＣＴ（逆ＤＣＴ）回
路２０９に入力され、ここで逆ＤＣＴ処理された後、演
算回路２１０に送られる。この演算回路２１０では、Ｉ
ＤＣＴ回路２０９の出力と動き補償回路２１２の出力と
を加算して画像信号を復元する。この画像信号は、フレ
ームメモリ２１１に記憶される。動き補償回路２１２
は、フレームメモリ２１１の画像と動きベクトルと予測
モードとを用いて、予測参照画像を生成する。

【００１７】次に、図２１を用いて、ＭＰＥＧのＭＰ＠
ＭＬのデコーダの構成例を説明する。

【００１８】伝送路を介して伝送されてきた符号化され
た画像データ（ビットストリーム）は、図示せぬ受信回
路で受信されたり、再生装置で再生され、受信バッファ
２２１に一時記憶された後、可変長復号（ＩＶＬＣ）回
路２２２に供給される。可変長復号回路２２２は、受信
バッファ２２１より供給されたデータを可変長復号し、
得られた動きベクトルと予測モードを動き補償回路２２
７に、また、量子化ステップを逆量子化回路２２３に、
それぞれ出力すると共に、復号された画像データを逆量
子化（ＩＱ）回路２２３に出力する。

【００１９】逆量子化回路２２３は、可変長復号回路２
２２より供給された画像データを、同じく可変長復号回
路２２２より供給された量子化ステップに従って逆量子
化し、ＩＤＣＴ回路２２４に出力する。逆量子化回路２
２３より出力されたデータ（ＤＣＴ係数）は、ＩＤＣＴ
回路２２４により逆ＤＣＴ処理され、演算回路２２５に
供給される。

【００２０】ここでＩＤＣＴ回路２２４より供給された
画像データが、Ｉピクチャのデータである場合、そのデ
ータは演算回路２２５よりそのまま出力され、この演算
回路２２５に対して後に入力される画像データ（Ｐまた
はＢピクチャのデータ）の予測参照画像データ生成のた
めに、フレームメモリ２２６に供給されて記憶される。
また、この演算回路２２５からの出力データは、そのま
ま再生画像として外部に出力される。

【００２１】一方、入力ビットストリームがＰまたはＢ
ピクチャの場合、動き補償回路２２７は、可変長復号回
路２２２より供給される動きベクトルおよび予測モード
に従って、予測参照画像を生成し、その予測参照画像を
演算回路２２５に出力する。演算回路２２５では、ＩＤ
ＣＴ回路２２４より入力される画像データと、動き補償
回路２２７より供給される予測参照画像データとを加算
し出力画像とする。またＰピクチャの場合、演算回路２
２５の出力はまた、フレームメモリ２２６に入力され記
憶され、次に復号する画像信号の参照画像とされる。

【００２２】ＭＰＥＧでは、ＭＰ＠ＭＬの他に様々なプ
ロファイルおよびレベルが定義され、また各種ツールが
用意されている。以下に述べるスケーラビリティもＭＰ
ＥＧのこうしたツールの１つである。

【００２３】ＭＰＥＧでは、異なる画像サイズやフレー
ムレートに対応するスケーラビリティを実現するスケー
ラブル符号化方式が導入されている。例えば空間スケー
ラビリティの場合、下位レイヤのビットストリームのみ
を復号する場合は、画像サイズの小さい画像信号を復号
し、下位レイヤおよび上位レイヤのビットストリームを
復号する場合は、画像サイズの大きい画像信号を復号す
る。

【００２４】図２２を用いて空間スケーラビリティのエ
ンコーダを説明する。空間スケーラビリティの場合、下
位レイヤは画像サイズの小さい画像信号、また上位レイ
ヤは画像サイズの大きい画像信号に対応する。

【００２５】下位レイヤの画像信号は、先ずフレームメ
モリ２６１に入力され、後段の構成により、前述したＭ
Ｐ＠ＭＬと同様に符号化される。

【００２６】すなわち、マクロブロック単位で上記フレ
ームメモリ２６１から読み出されたデータは、動きベク
トル検出回路２６２に入力される。動きベクトル検出回
路２６２は、予め設定されている所定のシーケンスに従
って、各フレームの画像データを、Ｉピクチャ、Ｐピク
チャ、またはＢピクチャとして処理する。

【００２７】動きベクトル検出回路２６２は、予め定め
られた所定の参照フレーム（すなわち前方原画像、後方
原画像、原画像）を参照し、動き補償を行い、その動き
ベクトルを検出する。動き補償（フレーム間予測）には
前方向予測、後方向予測、両方向予測の３種類の予測モ
ードがある。動きベクトル検出回路２６２は、予測誤差
を最小にする予測モードを選択しその際の動きベクトル
を発生する。上記動きベクトルおよび上記予測モードの
情報は、可変長符号化回路２６６および動き補償回路２
７２に入力される。

【００２８】動き補償回路２７２では所定の動きベクト
ルに基づいて予測参照画像を生成し、この予測参照画像
信号を演算回路２６３に入力する。演算回路２６３で
は、上記フレームメモリ２６１からの符号化するマクロ
ブロックの値と、上記動き補償回路２７２からの予測参
照画像のマクロブロックの値との差分信号を求め、その
差分信号をＤＣＴ回路２６４に出力する。なお、イント
ラマクロブロック（画像内符号化されるマクロブロッ
ク）の場合、演算回路２６３は符号化するマクロブロッ
クの信号をそのままＤＣＴ回路２６４に出力する。

【００２９】ＤＣＴ回路２６４では、上記演算回路２６
３からの差分信号がＤＣＴ処理され、ＤＣＴ係数に変換
される。このＤＣＴ係数は、量子化回路２６５に入力さ
れ、ここで送信バッファ２６７のデータ蓄積量（バッフ
ァに蓄積可能なデータ残量）に対応した量子化ステップ
で量子化された後、可変長符号化回路２６６に入力され
る。

【００３０】可変長符号化回路２６６は、量子化回路２
６５より供給される量子化ステップ（量子化スケール）
に対応して、量子化回路２６５より供給される画像デー
タを、例えばハフマン符号などの可変長符号に変換し、
この符号を送信バッファ２６７に出力する。

【００３１】可変長符号化回路２６６にはまた、量子化
回路２６５からの量子化ステップ（スケール）と、さら
に動きベクトル検出回路２６２からの予測モード（画像
内予測、前方向予測、後方向予測、または両方向予測の
いずれが設定されたかを示す予測モード）および動きベ
クトルとが入力されており、これらも可変長符号化され
る。

【００３２】送信バッファ２６７は、入力されたデータ
を一時蓄積し、またその蓄積量に対応するデータを量子
化制御信号として量子化回路２６５に出力（バッファフ
ィードバック）する。これにより、当該送信バッファ２
６７のオーバフローまたはアンダフローが防止される。

【００３３】そして、送信バッファ２６７に蓄積された
データは、所定のタイミングで読み出され、伝送路にビ
ットストリームとして出力される。

【００３４】一方、量子化回路２６５より出力されたデ
ータは、逆量子化回路２６８にも入力される。この逆量
子化回路２６８では、上記量子化回路２６５より供給さ
れたデータを、同じく量子化回路２６５より供給される
量子化ステップに対応して逆量子化する。この逆量子化
回路２６８の出力は、ＩＤＣＴ回路２６９に入力され、
ここで逆ＤＣＴ処理された後、演算回路２７０に送られ
る。この演算回路２７０では、ＩＤＣＴ回路２６９の出
力と動き補償回路２７２の出力とを加算して画像信号を
復元する。この画像信号は、フレームメモリ２７１に記
憶される。動き補償回路２７２は、フレームメモリ２７
１の画像と動きベクトルと予測モードとを用いて、予測
参照画像を生成する。

【００３５】ただし、この下位レイヤの構成例におい
て、演算回路２７０の出力は、上記フレームメモリ２７
１に供給されて下位レイヤの参照画像として用いられる
だけでなく、アップサンプリングにより画像拡大を行う
画像拡大回路２４３によって上位レイヤの画像サイズと
同一の画像サイズに拡大された後、上位レイヤの参照画
像にも用いられる。

【００３６】すなわち演算回路２７０の出力は、上記の
通りフレームメモリ２７１および画像拡大回路２４３に
入力される。画像拡大回路２４３では演算回路２７０に
よって生成された画像信号を拡大して上位レイヤの画像
サイズと同一の大きさにして重み付加回路２４４に出力
する。

【００３７】重み付加回路２４４では、画像拡大回路２
４３の出力に重み（１−Ｗ）を乗算し、演算回路２５８
に出力する。

【００３８】一方、上位レイヤの画像信号は、先ずフレ
ームメモリ２４５に入力される。動きベクトル検出回路
２４６は、前述したＭＰ＠ＭＬと同様に、動きベクトル
および予測モードを決定する。

【００３９】ここで、この上位レイヤの構成において、
動き補償回路２５６は、動きベクトル検出回路２４６に
よって決定された動きベクトルおよび予測モードに従っ
て予測参照画像を生成するが、この予測参照画像信号
は、重み付加回路２５７に供給される。この重み付加回
路２５７では、上記予測参照画像に対して重みＷ（重み
計数Ｗ）を乗算し演算回路２５８に出力する。

【００４０】演算回路２５８は、重み付加回路２４４お
よび２５７の出力を加算し、得られた画像信号を予測参
照画像として演算回路２４７に出力する。演算回路２５
８の出力はまた、演算回路２５４にも入力され逆ＤＣＴ
回路２５３の出力と加算された後、フレームメモリ２５
５に入力されこの後に符号化される画像信号の参照画像
として用いられる。

【００４１】演算回路２４７は、フレームメモリ２４５
からの符号する画像信号と上記演算回路２５８の出力と
の差分を計算して出力する。ただし、フレーム内符号化
マクロブロックの場合、演算回路２４７は上記符号する
画像信号をそのままＤＣＴ回路２４８に出力する。

【００４２】ＤＣＴ回路２４８は演算回路２４７の出力
をＤＣＴ（離散コサイン変換）処理し、ＤＣＴ係数を生
成し、量子化回路２４９に出力する。量子化回路２４９
ではＭＰ＠ＭＬの場合と同様に送信バッファ２５１のデ
ータ蓄積量などに基づいて決定された量子化スケールに
したがってＤＣＴ係数を量子化し、可変長符号化回路２
５０に出力する。可変長符号化回路２５０は、量子化さ
れたＤＣＴ係数を可変長符号化した後、送信バッファ２
５１を介して上位レイヤのビットストリームを出力す
る。

【００４３】量子化回路２４９の出力はまた、逆量子化
回路２５２にて上記量子化回路２４９で用いた量子化ス
ケールによって逆量子化され、さらに逆ＤＣＴ回路２５
３で逆量子化された後、演算回路２５４に入力される。
演算回路２５４では、演算回路２５８と逆ＤＣＴ回路２
５３の出力を加算し、得られた画像信号をフレームメモ
リ２５５に入力する。

【００４４】可変長符号化回路２５０ではまた、動きベ
クトル検出回路２４６で検出された動きベクトルおよび
予測モードと、量子化回路２４９で用いた量子化スケー
ルと、重み付加回路２４４および２５７で用いた重みＷ
が入力され、それぞれ符号化され伝送される。

【００４５】次に、図２３を用いて空間スケーラビリテ
ィのデコーダの一例を説明する。

【００４６】下位レイヤのビットストリームは、受信バ
ッファ３０１に入力された後、ＭＰ＠ＭＬと同様に復号
される。すなわち、受信バッファ３０１から読み出され
たデータは、可変長復号回路３０２に送られる。可変長
復号回路３０２は、受信バッファ３０１より供給された
データを可変長復号し、動きベクトルと予測モードを動
き補償回路３０７に、また、量子化ステップを逆量子化
回路３０３に、それぞれ出力すると共に、復号された画
像データを逆量子化回路３０３に出力する。

【００４７】逆量子化回路３０３は、可変長復号回路３
０２より供給された画像データを、同じく可変長復号回
路３０２より供給された量子化ステップに従って逆量子
化し、ＩＤＣＴ回路３０４に出力する。逆量子化回路３
０３より出力されたデータ（ＤＣＴ係数）は、ＩＤＣＴ
回路３０４で逆ＤＣＴ処理され、演算回路３０５に供給
される。

【００４８】ここでＩＤＣＴ回路３０４より供給された
画像データが、Ｉピクチャのデータである場合、そのデ
ータは演算回路３０５より出力され、演算回路３０５に
後に入力される画像データ（ＰまたはＢピクチャのデー
タ）の予測参照画像データ生成のために、フレームメモ
リ３０６に供給されて記憶される。また、このデータ
は、そのまま再生画像として外部に出力される。

【００４９】一方、入力ビットストリームがＰまたはＢ
ピクチャの場合、動き補償回路３０７は、可変長復号回
路３０２より供給される動きベクトルおよび予測モード
に従って、予測参照画像を生成し、その予測参照画像を
演算回路３０５に出力する。演算回路３０５では、ＩＤ
ＣＴ回路３０４より入力される画像データと、動き補償
回路３０７より供給される予測参照画像データとを加算
し出力画像とする。また、Ｐピクチャの場合、演算回路
３０５の出力はまた、フレームメモリ３０６に入力され
記憶され、次に復号する画像信号の予測参照画像とされ
る。

【００５０】ただし、この図２３の構成では、上述のよ
うに演算回路３０５の出力は外部に出力され、またフレ
ームメモリ３０６に蓄えられて、これ以後復号する画像
信号の予測参照画像として用いられるだけでなく、画像
拡大回路３２７により上位レイヤの画像信号と同一の画
像サイズに拡大された後、上位レイヤの予測参照画像と
しても用いられる。

【００５１】すなわち、演算回路３０５の出力は、上述
のように下位レイヤ再生画像として出力され、またフレ
ームメモリ３０６に出力されると同時に、画像拡大回路
３２７により上位レイヤの画像サイズと同一の画像サイ
ズに拡大された後、重み付加回路３２８に出力される。

【００５２】重み付加回路３２８では、画像拡大回路３
２７の出力に対して上記復号された重みＷを用いて計算
した（１−Ｗ）を乗算し、この値を演算回路３１７に出
力する。

【００５３】一方、上位レイヤのビットストリームは、
受信バッファ３０９を介して可変長復号回路３１０に供
給さ、ここで可変長符号が復号され、ＤＣＴ係数ととも
に量子化スケール、動きベクトル、予測モードおよび重
み係数が復号される。可変長復号回路３１０により復号
されたＤＣＴ係数は、同じく復号された量子化スケール
を用いて逆量子化回路３１１において逆量子化された
後、逆ＤＣＴ回路３１２により逆ＤＣＴ処理され、さら
にその後、演算回路３１３に供給される。

【００５４】動き補償回路３１５は、上記復号された動
きベクトルおよび予測モードにしたがって予測参照画像
を生成し、この予測参照画像を重み付加回路３１６に入
力する。重み付加回路３１６では、上記復号された重み
Ｗを動き補償回路３１５の出力に乗算し、この乗算結果
を演算回路３１７に出力する。

【００５５】演算回路３１７は、重み付加回路３２８お
よび３１６の出力を加算し、得られた画像信号を演算回
路３１３に出力する。演算回路３１３では、逆ＤＣＴ回
路３１２の出力と演算回路３１７の出力を加算して上位
レイヤの再生画像として出力し、またフレームメモリ３
１４に供給してこの後復号する画像信号の予測参照画像
とする。

【００５６】なお、以上の説明は、輝度信号の処理につ
いての説明であるが、色差信号の処理も同様に行われ
る。但し、この場合、動きベクトルは、輝度信号用のも
のを垂直方向および水平方向に１／２にしたものが用い
られる。

【００５７】以上、ＭＰＥＧ方式について説明したが、
この他にも様々な動画像の高能率符号化方式が標準化さ
れている。例えば、いわゆるＩＴＵ−Ｔ（Internationa
l Telecommunication Union−Telecommunication secto
r:国際電気通信連合の電気通信標準化部門）では、主に
通信用の符号化方式として、Ｈ．２６１やＨ．２６３と
いう方式を規定している。このＨ．２６１やＨ．２６３
も基本的にはＭＰＥＧ方式と同様に動き補償予測符号化
とＤＣＴ変換符号化を組み合わせたものであり、ヘッダ
情報などの詳細は異なるが、符号化装置や復号装置は同
様となる。

【００５８】

【発明が解決しようとする課題】ＭＰＥＧ２においては
空間スケーラビリティが既に標準化されているが、その
符号化効率は十分であるとは言い難い。したがって、Ｍ
ＰＥＧ４方式やその他の新規符号化方式においては空間
スケーラビリティの符号化効率を向上することが課題と
なっている。

【００５９】ＭＰＥＧ２方式における空間スケーラビリ
ティについて、ここで少し詳しく説明する。同スケーラ
ブル符号化方式においては、下位レイヤは通常の符号化
方式、すなわちＭＰＥＧ２の場合はＭＰ＠ＭＬと同様に
符号化する。上位レイヤは、同じ時刻の下位レイヤの画
像、および同じレイヤの直前に復号された画像を、参照
画像として用いる。この時、下位レイヤと上位レイヤの
予測モードはまったく独立に決定される。したがって、
下位レイヤにおいて情報を伝送したにもかかわらず、上
位レイヤでそれがまったく使われずに、上位レイヤの復
号画像から予測を行って符号化してしまうことがある。
これは、上位レイヤと下位レイヤで共有可能な情報をま
ったく独立に伝送していることに等しい。

【００６０】したがって、上記のような情報伝送の重複
をできるだけ少なくし、符号化効率を向上させることが
課題となっている。

【００６１】また、ＭＰＥＧ２方式ではマクロブロック
単位でしか符号化モードを指定することができない。こ
れは比較的均一な領域の画像を扱う場合は問題無いが、
複雑な動きをするシーケンスや、異なる性質の画像（例
えば、静止領域と動領域）が一つのマクロブロックに含
まれる場合には符号化効率の低下の原因となっている。

【００６２】そこで、本発明は、このような実情に鑑み
てなされたものであり、空間スケーラブル符号化方法に
おいて、予測効率を改善し、符号化効率を向上すること
を可能にする、動画像信号符号化方法及び装置、動画像
信号復号方法及び装置、並びに画像信号記録媒体を提供
することを目的とするものである。

【００６３】

【課題を解決するための手段】本発明は、上述した課題
を解決するために提案されたものであり、画像信号を高
解像度と低解像度の少なくとも２層に分離階層化し、こ
れら画像信号を予測参照画像を用いて符号化するもので
あって、高解像度の画像信号から求めた動き情報を用い
て低解像度の画像信号の変化量を求め、この変化量を高
解像度の画像信号の局所復号画像に加算して予測参照画
像を生成し、符号化を行うことを特徴としている。

【００６４】すなわち本発明は、これまでのＭＰＥＧ方
式の予測モードに加えて、上位レイヤの参照画像に下位
レイヤの変化量を加算することにより新たな参照画像を
生成し、この新たな参照画像を用いてフレーム間予測符
号化を実現するようにしている。この方法により、空間
スケーラブル符号化の符号化効率を向上させ、画質を改
善することを可能にしている。

【００６５】

【発明の実施の形態】以下に、本発明を実現する実施の
形態について、図面を参照しながら説明する。

【００６６】先ず、本発明の実施の形態についての具体
的内容説明を行う前に、本発明の基本的な考え方につい
て、ＭＰＥＧにおける各参照画像の性質と絡めて説明す
る。

【００６７】通常、上位レイヤの画像信号は下位レイヤ
の画像信号と比較して画質が良い。したがって、フレー
ム間の変化が少ない場合は、上位レイヤの画像を用いて
動き補償を行った方が、予測誤差が少なくなることが多
い。しかし、フレーム間の変化が大きい場合は、動き補
償の効率が下がるため、同時刻の画像を参照画像とした
方が効率が良い。このようなことから、フレーム間差分
が大きい領域では同時刻の下位レイヤからの画像信号
を、また、フレーム間差分が小さい場合には同じ階層
（上位レイヤ）の画像を、参照画像に用いれば良い。

【００６８】次ぎに、ＭＰＥＧ方式の空間スケーラブル
符号化の情報の重複について説明する。

【００６９】上位レイヤのあるマクロブロックを符号化
する場合を考える。この時、当該上位レイヤのマクロブ
ロックに対応する下位レイヤのマクロブロックにおいて
情報（ＤＣＴ係数）を伝送した場合に、上位レイヤの同
じ画像を参照して予測を行うと、下位レイヤと上位レイ
ヤとで独立に情報が伝送されることになる。即ち、下位
レイヤで伝送した情報が上位レイヤの符号化に生かされ
ないことになり、効率低下の原因となる。したがって、
上記対応する下位レイヤのマクロブロックでＤＣＴ係数
を伝送した場合は、下位レイヤの画像を予測参照画像に
用いた方が、データ伝送の重複が少なくなり、効率が良
い。

【００７０】また、ＭＰＥＧ方式のスケーラブル符号化
では、上位レイヤの予測モードとして、上位レイヤの画
像からの予測、下位レイヤからの予測、およびその平均
値、の３つのモードしか存在しない。したがって、例え
ば上位レイヤの画像を参照画像として用いた場合、下位
レイヤにおいて伝送された情報が、全く上位レイヤに生
かされないことになる。

【００７１】このようなことから、本発明では、新しい
予測法式を導入することにより、符号化効率を改善す
る。具体的に言うと、本発明の実施の形態では、これま
でのＭＰＥＧ方式の予測モードに加えて、上位レイヤの
参照画像に下位レイヤの変化量を加算することにより新
たな参照画像を生成し、フレーム間予測符号化を実現す
るようにしている。この方法により、空間スケーラブル
符号化の符号化効率を向上させ、画質を改善することを
可能にしている。改善の効果としては、信号対ノイズ比
（Ｓ／Ｎ）で従来のものよりも、０．５ｄＢ程度の改善
効果がある。

【００７２】図１には本発明の実施の形態としての画像
信号符号化装置の一例を示す。

【００７３】この図１において、入力画像信号はまず画
像信号階層化回路１に入力される。この画像信号階層化
回路１は入力画像信号を複数の階層に分離する。なお、
図１には２階層（１つの下位レイヤと１つの上位レイ
ヤ）の場合の構成を示してあるが、同様に複数の階層に
分離することも可能である。簡単のため、ここでは２つ
の階層に分離する場合についてこれ以後説明する。

【００７４】例えば、空間スケーラビリティの場合、上
記画像信号階層化回路１は、入力画像信号およびキー
（ｋｅｙ）信号を解像度変換して、下位レイヤ及び上位
レイヤの画像信号を生成する。

【００７５】また、例えばテンポラルスケーラビリティ
（時間軸方向のスケーラビリティ）の場合、画像信号階
層化回路１は、時刻に応じて画像信号の出力を下位レイ
ヤおよび上位レイヤに切り替えて出力する。例えば、図
２の場合、順次供給される画像（ピクチャ）ＶＯＰ０〜
ＶＯＰ６は、画像ＶＯＰ０，ＶＯＰ２，ＶＯＰ４，ＶＯ
Ｐ６が下位レイヤに、また画像ＶＯＰ１，ＶＯＰ３，Ｖ
ＯＰ５が上位レイヤに出力される。このテンポラルスケ
ーラビリティの場合は、上記空間スケーラビリティのよ
うに画像信号の拡大や縮小のような解像度変換は行わな
い。

【００７６】さらに例えばいわゆるＳＮＲ（Signal to
Noise Retio）スケーラビリティの場合、画像信号階層
化回路１は、入力画像信号とキー信号をそのまま各レイ
ヤに出力する。すなわち、下位レイヤと上位レイヤに同
一の画像信号およびキー信号を出力する。

【００７７】本実施の形態では、上記空間スケーラビリ
ティの場合を例に挙げている。

【００７８】画像信号階層化回路１は、例えば空間スケ
ーラビリティの場合、入力画像信号およびキー信号を縮
小（解像度変換）した画像信号を、下位レイヤとして出
力し、一方、上位レイヤには入力画像信号をそのまま出
力する。ここでの解像度変換とは、例えば間引きフィル
タによる縮小フィルタリング処理などである。なお、画
像信号階層化回路１では、入力画像信号を拡大（解像度
変換）した画像信号を、上位レイヤとして出力し、入力
画像信号をそのまま下位レイヤに出力するようにしても
よい。この場合の解像度変換は、拡大フィルタなどによ
る拡大フィルタリング処理となる。さらに画像信号階層
化回路１では、独立に生成された２つの画像信号（解像
度は異なる場合と、同一の場合どちらでもよい。）を、
それぞれ上位レイヤおよび下位レイヤに出力するように
してもよい。この場合、どの画像を上位レイヤおよび下
位レイヤに出力するかは、予め決められている。上位レ
イヤの画像信号は、遅延回路２を介して上位レイヤ符号
化回路３に送られ、下位レイヤの画像信号は下位レイヤ
符号化回路５に送られる。

【００７９】上述のように入力画像信号を解像度変換し
て下位レイヤと上位レイヤに出力する画像信号階層化回
路１はまた、上記下位レイヤの画像に対する上位レイヤ
の画像の解像度の倍率を示すフラグＦＲをも出力する。
このフラグＦＲは、遅延回路２を介して解像度変換回路
４および上位レイヤ符号化回路３に送られる。なお、上
記解像度変換回路４は、上記画像信号階層化回路１内に
設けられる解像度変換手段とは別に設けられている。

【００８０】ここで、下位レイヤ符号化回路５の具体的
構成を図３を用いて説明する。

【００８１】図３において、下位レイヤ符号化回路５に
供給された下位レイヤの入力画像信号は、まずフレーム
メモリ２１に入力され、所定の順番で読み出されて、後
段の構成により符号化される。この符号化されるべき画
像データは、マクロブロック単位でフレームメモリ２１
から読み出され、動きベクトル検出回路２２に入力され
る。動きベクトル検出回路２２は、予め設定されている
所定のシーケンスに従って、各フレームの画像データを
Ｉピクチャ、Ｐピクチャ、またはＢピクチャとして処理
する。シーケンシャルに入力される各フレームの画像
を、Ｉ，Ｐ，Ｂのいずれのピクチャとして処理するか
は、予め定められている（例えば、Ｉ，Ｂ，Ｐ，Ｂ，
Ｐ，・・・Ｂ，Ｐの順番で処理される）。

【００８２】ここで、動きベクトル検出回路２２は、予
め定められた所定の参照フレーム（前方原画像、後方原
画像、原フレームの画像）を参照し、動き補償を行い、
その動きベクトルを検出する。動き補償（フレーム間予
測）には、前方向予測、後方向予測、両方向予測の３種
類の予測モードがある。Ｐピクチャの予測モードは前方
向予測のみであり、Ｂピクチャの予測モードは前方向予
測、後方向予測、両方向予測の３種類である。この動き
ベクトル検出回路２２は、予測誤差を最小にする予測モ
ードを選択し、その際の予測ベクトルを発生する。

【００８３】このとき、予測誤差は、例えば符号化する
マクロブロックの分散値と比較され、マクロブロックの
分散値の方が小さい場合には、そのマクロブロックでは
予測は行わず、フレーム内符号化が行われる。この場
合、予測モードは画像内符号化（イントラ）となる。動
きベクトルおよび上記予測モードの情報は、可変長符号
化回路２６および動き補償回路３２に入力される。

【００８４】動き補償回路３２では、所定の動きベクト
ルに基づいて予測参照画像を生成し、この予測参照画像
信号を演算回路２３に供給する。演算回路２３では、上
記フレームメモリ２１からの上記符号化するマクロブロ
ックの値と、上記動き補償回路３２からの予測参照画像
の値との差分を求め、この差分信号をＤＣＴ回路２４に
出力する。イントラマクロブロックの場合、演算回路２
３は、上記符号化するマクロブロックの信号をそのまま
ＤＣＴ回路２４に出力する。

【００８５】ＤＣＴ回路２４では、上記差分出力をＤＣ
Ｔ（離散コサイン変換）処理してＤＣＴ係数に変換す
る。このＤＣＴ係数は、量子化回路２５に入力され、送
信バッファ２７のデータ蓄積量（バッファに蓄積可能な
データ残量）に対応した量子化ステップで量子化された
後、可変長符号化回路２６に入力される。

【００８６】可変長符号化回路２６は、量子化回路２５
より供給される量子化ステップ（量子化スケール）に対
応して、上記量子化回路２５より供給される画像データ
（いまの場合、Ｉピクチャのデータ）を、例えばハフマ
ン符号などの可変長符号に変換し、送信バッファ２７に
出力する。

【００８７】可変長符号化回路２６にはまた、量子化回
路２５からの量子化ステップ（量子化スケール）と、動
きベクトル検出回路２２からの予測モード（画像内予
測、前方向予測、後方向予測、または両方向予測のいず
れが設定されたかを示すモード）および動きベクトル
と、が入力されており、これらも可変長符号化される。

【００８８】送信バッファ２７は、入力されたデータを
一時蓄積し、その蓄積量に対応するデータを、量子化制
御信号として量子化回路２５にフィードバックする。す
なわち、送信バッファ２７は、そのデータ蓄積量（蓄積
可能なデータ残量）が許容上限値まで増量すると、上記
量子化制御信号によって量子化回路２５の量子化スケー
ルを大きくさせることにより、量子化回路２５から出力
される量子化データのデータ量を低下させる。また、こ
れとは逆に、データ蓄積量（蓄積可能なデータ残量）が
許容下限値まで減少すると、送信バッファ２７は、量子
化制御信号によって量子化回路２５の量子化スケールを
小さくさせることにより、量子化回路２５から出力され
る量子化データのデータ量を増大させる。このようにし
て、送信バッファ２７のオーバフローまたはアンダフロ
ーが防止される。

【００８９】そして、送信バッファ２７に蓄積されたデ
ータは、所定のタイミングで読み出され、ビットストリ
ームとして伝送路に出力される。

【００９０】一方、量子化回路２５より出力されたデー
タは、逆量子化回路２８にも入力される。この逆量子化
回路２８では、上記量子化回路２５より供給されたデー
タを、同じく量子化回路２５より供給される量子化ステ
ップに対応して逆量子化する。この逆量子化回路２８の
出力は、ＩＤＣＴ（逆ＤＣＴ）回路２９に入力され、こ
こで逆ＤＣＴ処理された後、演算回路３０に送られる。
この演算回路３０では、動き補償回路３２の出力とＩＤ
ＣＴ回路２９の出力とを加算して画像信号を復元する。
この画像信号は、フレームメモリ３１に供給され記憶さ
れる。動き補償回路３２は、フレームメモリ３１の画像
と動きベクトルと予測モードとを用いて予測参照画像を
生成する。

【００９１】演算回路３０の出力すなわち復号された画
像信号はまた、図１の上位レイヤ符号化回路３に供給さ
れる。

【００９２】またフレームメモリ３１は、図１の上位レ
イヤ符号化回路３での符号化に従い、所定の局所復号画
像を読み出して図１の解像度変換回路４に出力する。

【００９３】図１に戻って、解像度変換回路４は、下位
レイヤの画像に対する上位レイヤの画像の解像度の倍率
を示すフラグＦＲに従い、上記下位レイヤ符号化回路５
から供給された画像信号の解像度を前述のようにフィル
タリング処理（この場合は拡大処理）により変換し、上
位レイヤ符号化回路３に供給する。なお倍率が１の場
合、すなわち上位レイヤと下位レイヤの大きさが等しい
場合は、解像度変換回路４は何もせずにそのまま画像信
号を出力する。

【００９４】また、前記画像信号階層化回路１によって
生成された上位レイヤの画像信号は、遅延回路２を介し
て上位レイヤ符号化回路３に供給される。遅延回路２で
は、下位レイヤ符号化回路５において所定の下位レイヤ
の画像を符号化に要する時間だけ、上記上位レイヤの画
像信号を遅延する。

【００９５】次に、上位レイヤ符号化回路３の具体的な
構成を図４を用いて説明する。

【００９６】図４において、この上位レイヤ符号化３に
供給された上位レイヤの入力画像信号は、まずフレーム
メモリ４１に入力されて記憶され、所定の順番で読み出
されて、後段の構成により符号化される。この符号化さ
れるべき画像データは、マクロブロック単位で当該フレ
ームメモリ４１から読み出され、動きベクトル検出回路
４２に入力される。動きベクトル検出回路４２は、予め
設定されている所定のシーケンスに従って、各フレーム
の画像データを、Ｉピクチャ、Ｐピクチャ、またはＢピ
クチャとして処理する。シーケンシャルに入力される各
フレームの画像を、Ｉ，Ｐ，Ｂのいずれのピクチャとし
て処理するかは、予め定められている（例えば、Ｉ，
Ｂ，Ｐ，Ｂ，Ｐ，・・・Ｂ，Ｐの順番にて処理され
る）。

【００９７】ここで、空間スケーラビリティの場合、上
位レイヤと下位レイヤの画像信号は、例えば図５のよう
に符号化されることになる。図５において、上位レイヤ
の最初の画像ＶＯＰ２１_MはＰピクチャとして符号化さ
れる。この時の参照画像は下位レイヤの同時刻の画像Ｖ
ＯＰ２１_Lとなる。２番目以後の上位レイヤの画像ＶＯ
Ｐ２２_M〜ＶＯＰ２４_MはＢピクチャとして符号化され
る。この場合、これらの画像ＶＯＰ２２_M〜ＶＯＰ２４_M
は、それぞれ直前の上位レイヤの画像および、それぞれ
同時刻の下位レイヤの画像ＶＯＰ２２_L，ＶＯＰ２３_L，
ＶＯＰ２４_Lを参照画像として用いて符号化する。また
この場合、上位レイヤのＢピクチャは下位レイヤのＰピ
クチャと同様に他の画像ＶＯＰを符号化する場合の参照
画像となる。なお、ＳＮＲスケーラビリティは、空間ス
ケーラビリティの特例であり、上位レイヤと下位レイヤ
の大きさが等しい場合であって、符号化の手順は同じで
ある。

【００９８】また、テンポラルスケーラビリティの場合
は、例えば図６のようにして符号化されることになる。
図６において、上位レイヤの画像ＶＯＰ１はＢピクチャ
として符号化され、この画像ＶＯＰ１は下位レイヤの画
像ＶＯＰ０および画像ＶＯＰ２を参照画像とする。ま
た、上位レイヤの画像ＶＯＰ３の場合は、Ｂピクチャと
して符号化され、直前の上位レイヤの画像ＶＯＰ１およ
び下位レイヤの画像ＶＯＰ４を参照画像とする。また、
上位レイヤの画像ＶＯＰ５の場合は、Ｐピクチャとして
符号化され、直前の上位レイヤの画像ＶＯＰ３を参照画
像として用いる。

【００９９】以下に、上位レイヤのＰおよびＢピクチャ
の参照画像について説明する。

【０１００】上位レイヤの予測の際には、同じレイヤの
画像だけでなく他の階層（スケーラブルレイヤ）の画像
も参照画像として用いることができる。例えば本実施の
形態のように２階層のスケーラビリティの場合、上位レ
イヤは下位レイヤの画像も参照画像として用いることが
できる。

【０１０１】Ｐピクチャは前方向予測を行うが、その参
照画像として、同じ階層の画像または他の階層の画像を
用いることができる。Ｂピクチャでは、前方向予測およ
び後方向予測の参照画像としてそれぞれ同じ階層の画像
または他の階層の画像を用いることができる。

【０１０２】ここで、上位レイヤの符号化における予測
モードについて説明する。

【０１０３】予測モードは下位レイヤの符号化と同様
に、マクロブロック単位で決定される。上位レイヤのＰ
ピクチャのマクロブロックの予測モードには次の２種類
がある。

【０１０４】（１）フレーム内（イントラ）符号化マク
ロブロック （２）前方向予測（フォワード）マクロブロック 上記予測モードにおいては、下位レイヤにおけるマクロ
ブロックの予測モードと同様である。

【０１０５】また、上位レイヤのＢピクチャのマクロブ
ロックの予測モードには、以下の種類がある。

【０１０６】（１） フレーム内予測（イントラ）マク
ロブロック （２） 前方向予測（フォワード）マクロブロック （３） 後方向予測（バックワード）マクロブロック （４） 両方向予測（バイディレクショナル）マクロブ
ロック （５） ２階層予測マクロブロック 上記予測モードのうち、（１）〜（４）にて示した予測
モードは下位レイヤのマクロブロックの予測モードと同
様である。

【０１０７】（５）に示した２階層予測マクロブロック
について、前記図４及び図７を用いて説明する。

【０１０８】図７の画像ＶＯＰ１１，ＶＯＰ１２は下位
レイヤの画像を示し、画像ＶＯＰ１３，ＶＯＰ１４は上
位レイヤの画像を示す。画像ＶＯＰ１１とＶＯＰ１３は
同時刻の画像であり、また画像ＶＯＰ１２とＶＯＰ１４
は同時刻の画像であるとする。画像ＶＯＰ１１はＩまた
はＰピクチャ、画像ＶＯＰ１２はＰピクチャである。ま
た画像ＶＯＰ１３はＰまたはＢピクチャ、画像ＶＯＰ１
４はＢピクチャである。画像ｖｍ５およびｖｍ６は下位
レイヤの画像を前記図１の解像度変換回路４によって解
像度変換して拡大した画像である。

【０１０９】前記図４における動きベクトル検出回路４
２は、上記上位レイヤの画像ＶＯＰ１３を参照画像とし
て動きベクトルを検出する。この動きベクトルは、図４
の動き補償回路５２及び５３に送られ、図７の上位レイ
ヤの動き補償予測画像ＰＭ１１及び下位レイヤの動き補
償予測画像ＰＭ７が形成される。すなわち動き補償回路
５２では、上記動きベクトルを用いて上位レイヤの画像
ＶＯＰ１３の所定の画像信号を、上記動き補償予測画像
ＰＭ１１としてフレームメモリ５１から読み出す。ま
た、動き補償回路５３では、前記図１の解像度変換回路
４により拡大されてフレームメモリ５４に記憶されてい
る拡大画像ｖｍ５の所定の画像信号を、同様に上記動き
ベクトルを用いて上記動き補償予測画像ＰＭ７として読
み出す。さらに、フレームメモリ５４には、前記図１の
解像度変換回路４により拡大された拡大画像ｖｍ６も記
憶されている。

【０１１０】上記動き補償回路５３にて動き補償されて
読み出された上記動き補償予測画像ＰＭ７は、図４の演
算回路５７に送られ、上記フレームメモリ５４から読み
出された拡大画像ｖｍ６との間で差分が計算される。こ
の演算回路５７での差分演算により得られた差分信号Ｄ
Ｖ８は、敷居値比較回路５８にて、各画素毎に所定の敷
居値ＴＨと比較される。なお、図４の例では、上記演算
回路５７を動き補償回路５３の後段に独立して設けた様
子を示しているが、当該演算回路５７の機能を上記動き
補償回路５３に持たせることも可能である。

【０１１１】上記敷居値比較回路５８では、上記差分信
号ＤＶ８の各画素が上記敷居値ＴＨ未満である場合、そ
の差分信号ＤＶ８の画素の値を０として取り出す。逆
に、敷居値ＴＨ以上である場合は、その差分信号ＤＶ８
の画素の値をそのまま取り出す。なお、本実施の形態で
は、この敷居値ＴＨは予めある値に設定しているが、任
意の値に設定可能でもある。上記敷居値ＴＨが０の場合
は、差分信号ＤＶ８の各画素値はそのまま取り出される
ことになる。また、敷居値は、色によって変えることも
可能である。なお、図４の例では、敷居値比較回路５８
を独立した構成として設けているが、当該敷居値比較回
路５８の機能を例えば動き補償回路５３に持たせるよう
にすることも可能である。

【０１１２】また、上記動き補償回路５２にて動き補償
されて取り出された動き補償予測画像ＰＭ１１は、演算
回路５９に送られる。この演算回路５９では、上記動き
補償予測画像ＰＭ１１と上記敷居値比較回路５８からの
出力画像とを画素毎に加算し、画像ＡＶ１０を生成す
る。上記２階層予測マクロブロックでは、上記演算回路
５９の出力を、予測参照画像とする。すなわち、敷居値
ＴＨ未満のときは、動き補償予測画像ＰＭ１１そのもの
が予測参照画像となり、敷居値ＴＨ以上のときは、動き
補償予測画像ＰＭ１１に差分画像ＤＶ８を加算したもの
が予測参照画像となる。なお、図４の例では、上記演算
回路５９を動き補償回路５２の後段に独立して設けた様
子を示しているが、当該演算回路５９の機能を上記動き
補償回路５２に持たせることも可能である。

【０１１３】以上の、２階層予測マクロブロックの予測
参照画像生成の流れを図８に示す。

【０１１４】この図８において、ステップＳＴ１１で
は、下位レイヤの復号画像の拡大画像ｖｍ５と拡大画像
ｖｍ６をフレームメモリ５４に記憶する。なお、フレー
ムメモリ５４は、拡大画像ｖｍ５用とｖｍ６用の２つに
分けて設けることも可能である。

【０１１５】ステップＳＴ１２では、上記動きベクトル
検出回路４２において上位レイヤの参照画像を用いて動
きベクトルを計算する。

【０１１６】ステップＳＴ１３では、上位レイヤの動き
ベクトルを用いて、動き補償回路５３が下位レイヤの拡
大画像ｖｍ５の動き補償を行い、上記動き補償予測画像
ＰＭ７を生成し、さらに演算回路５７にて、下位レイヤ
の拡大画像ｖｍ６と上記動き補償予測画像ＰＭ７との間
でフレーム間差分を計算し、得られた差分画像ＤＶ８を
出力する。

【０１１７】ステップＳＴ１４では、上記差分画像ＤＶ
８の画素の絶対値と敷居値ＴＨとの比較を行い、敷居値
ＴＨ未満のときにはステップＳＴ１５に、以上にはステ
ップＳＴ１６に進む。

【０１１８】上記差分画像ＤＶ８の各画素値の絶対値が
敷居値ＴＨ未満のときは、上記差分画像ＤＶ８の各画素
値が０になされるので、ステップＳＴ１５では、上記演
算回路５９から上記上位レイヤの動き補償した信号すな
わち上記動き補償予測画像ＰＭ１１が予測参照画像とし
て出力される。

【０１１９】一方、上記差分画像ＤＶ８の各画素値の絶
対値が敷居値ＴＨ以上のときは、上記差分画像ＤＶ８の
各画素値がそのまま演算回路５９に送られるので、ステ
ップＳＴ１６では、上記上位レイヤの動き補償予測画像
ＰＭ１１に下位レイヤの上記差分画像ＤＶ８が加算され
た信号が予測参照画像として出力される。

【０１２０】ここで、上記動き補償予測画像ＰＭ１１す
なわち動き補償された画像ＶＯＰ１３の画像信号をａ_i
とし、上記拡大画像ｖｍ６の対応する位置のマクロブロ
ックの画像信号をｂ_iとし、上記動き補償予測画像ＰＭ
７すなわち動き補償された拡大画像ｖｍ５をｃ_iとし、
差分画像ＤＶ８をdiffとすると、上記２階層予測マクロ
ブロックの予測参照画像は、以下の式（１）で与えられ
る。

【０１２１】 diff＝（ｂ_i-ｃ_i） ａ_i＋（ｂ_i−ｃ_i），（｜diff｜≧ＴＨ） ａ_i，（｜diff｜＜ＴＨ） （１） 上記の通りの、２階層予測マクロブロックを導入するこ
とにより効率が改善する理由を説明する。

【０１２２】前述したように、下位レイヤの画像は上位
レイヤと比較して解像度の低い画像である。したがっ
て、拡大画像ｖｍ５およびｖｍ６はそれぞれ上位レイヤ
の画像に対する低周波成分の情報を持っている。したが
って、拡大画像ｖｍ５およびｖｍ６の差分（差分画像Ｄ
Ｖ８）は、上位レイヤの画像ＶＯＰ１３からＶＯＰ１４
への時間変化における低周波成分の変化量の情報を含ん
でいる。したがって、これら拡大画像ｖｍ５とｖｍ６の
差分を用いるということは、単純に画像ＶＯＰ１３を予
測する場合と比較して低周波成分の変化量まで含めて予
測参照画像を生成していることになるため、予測の効率
が向上する。また、拡大画像ｖｍ５とｖｍ６の差分（差
分画像ＤＶ８）がある値（敷居値ＴＨ）よりも大きい場
合は、下位レイヤにおいて情報が伝送されたことを意味
する。この変化量を上位レイヤにおける予測に活用する
ことにより、上位レイヤと下位レイヤにおける情報の重
複を削減することが可能となり、符号化効率が改善され
る。

【０１２３】上記２階層予測マクロブロックでは、前方
向予測マクロブロックと同様に動きベクトルを可変長符
号して伝送する。

【０１２４】次に、前述した上位レイヤのＢピクチャに
関する５つのマクロブロックの予測モードでは、予測誤
差を最小とするモードが選択される。予測モードを示す
フラグは可変長符号化回路によって符号化、伝送され
る。

【０１２５】上記の通り、上位レイヤにおける予測で
は、予測参照画像生成のための参照画像として、符号化
する画像と異なるスケーラブルレイヤの画像、例えば解
像度の低い下位レイヤの画像を用いることが可能であ
る。したがって、上位レイヤでは、どのレイヤの画像を
予測参照画像生成のための参照画像として用いたかを示
すフラグを伝送する必要がある。そこで、ここでは、各
スケーラブルレイヤについて同じレイヤ以外のどのレイ
ヤの画像を予測参照画像生成のために用いたのかを示す
フラグ（後述するシンタクスの識別子（ref_layer_i
d））を設定し符号化し、伝送する。また、各画像（前
記ＶＯＰ）について、上記フラグ（ref_layer_id）に基
づいて、前方向（フォワード）予測および後方向（バッ
クワード）予測をどのレイヤから予測するかを示すフラ
グ（後述するシンタクスの識別子（ref_select_cod
e））を設定し符号化、伝送する。Ｐピクチャにおける
フラグ（ref_select_code）を図９の表に示す。また、
Ｂピクチャにおけるフラグ（ref_select_code）を図１
０の表に示す。シンタクスについては詳細を後述する。

【０１２６】上位レイヤと下位レイヤの参照画像は、前
記図５および図２以外にも図９に示す表および図１０に
示す表の許す範囲内で自由に設定して良い。また、図９
の表および図１０の表のシンタクスにおいては、空間ス
ケーラビリティやテンポラスケーラビリティについて明
示的な区別は無い。

【０１２７】ここで、Ｐピクチャの場合は、フラグ（re
f_select_code）が”１１”の場合、フラグ（ref_layer
_id）が示すレイヤの同時刻の画像（ＶＯＰ）を予測参
照画像生成のための参照画像として用いる。これは空間
スケーラビリティやＳＮＲスケーラビリティに用いられ
る。その他のモードはテンポラルスケーラビリティに用
いられる。

【０１２８】Ｂピクチャの場合は、フラグ（ref_select
_code）が”００”の場合、フラグ（ref_layer_id）が
示すレイヤの同時刻の画像（ＶＯＰ）と同じレイヤの直
前に復号した画像（ＶＯＰ）を予測参照画像生成のため
の参照画像として用いる。これは空間スケーラビリティ
やＳＮＲスケーラビリティに用いられる。その他のモー
ドはテンポラルスケーラビリティに用いられる。

【０１２９】各レイヤの各画像（ＶＯＰ）は、Ｉ、Ｐ、
Ｂピクチャのどのタイプで符号化するかは予め決められ
る。前記図４の動きベクトル検出回路４２は予め設定さ
れたピクチャタイプに基づき、フラグ（ref_layer_i
d）、（ref_select_code）を設定し、動き補償回路５２
および可変長符号化回路４６に出力する。

【０１３０】下位レイヤの画像（ＶＯＰ）の復号画像信
号は、図１の解像度変換回路４を介して上位レイヤ符号
化回路３に供給され、図４のフレームメモリ５４に供給
される。

【０１３１】動きベクトル検出回路４２はまた、予め定
められた所定の参照フレームをフラグ（ref_layer_id）
およびフラグ（ref_select_code）に基づいてフレーム
メモリ４１またはフレームメモリ５１より参照し、動き
補償を行い、その動きベクトルを検出する。動き補償
（フレーム間予測）には、前方向予測，後方向予測，両
方向予測の３種類のモードがある。Ｐピクチャの予測モ
ードは前方向予測のみであり、ここでのＢピクチャの予
測モードは前方向予測，後方向予測，両方向予測，前記
２階層予測の４種類である。動きベクトル検出回路４２
は、予測誤差を最小にする予測モードを選択しその際の
予測ベクトルを発生する。

【０１３２】２階層予測モードでは、前方向予測と同様
に、フレームメモリ５１に記録されている画像信号を参
照して動きベクトルを検出する。

【０１３３】この際、予測誤差は、例えば符号化するマ
クロブロックの分散と比較され、マクロブロックの分散
の方が小さい場合、そのマクロブロックでは予測は行わ
ず、フレーム内符号化が行われる。この場合、予測モー
ドは画像内符号化（イントラ）となる。動きベクトルお
よび上記予測モードは可変長符号化回路４６および動き
補償回路５３に入力される。

【０１３４】動きベクトル検出回路４２にはまた、下位
レイヤに対して上位レイヤの大きさ（解像度）が何倍で
あるかを示すフラグＦＲが供給される。図１０に示した
表より、Ｂピクチャ（画像ＶＯＰ）の場合は、フラグ
（ref_select_code=="00"）の時空間スケーラビリティ
であり、この時、後方向（バックワード）予測は下位レ
イヤからの予測、前方向（フォワード）予測は同じレイ
ヤの直前に後方向予測を用いて復号した画像（ＶＯＰ）
からの予測となる。倍率を示すフラグＦＲが１であり
（下位レイヤと上位レイヤの解像度が等しい）、かつフ
ラグ（ref_select_code=="00"）である場合は、空間ス
ケーラビリティの特殊な場合であり、ＳＮＲスケーラビ
リティであることを示す。この場合、上位レイヤのフォ
ワード予測には、下位レイヤの同時刻のＶＯＰが用いた
動きベクトルと予測モードとをそのまま用いる。したが
って、この場合、動きベクトル検出回路４２は下位レイ
ヤから供給される動きベクトルおよび予測モードを、動
き補償回路５２に供給する。この場合、可変長符号化回
路４６は動きベクトルを符号化しない。

【０１３５】Ｂピクチャ（ＶＯＰ）においては、フラグ
（ref_select_code=="00"）の場合にのみ上記２階層予
測モードが用いられる。すなわち、Ｂピクチャにおいて
は、上位レイヤと同時刻の下位レイヤの画像を参照画像
として用いるときのみ、２階層予測モードが用いられ
る。

【０１３６】動き補償回路５２では、所定の動きベクト
ルに基づいてフレームメモリ５１および動き補償回路５
３の出力より予測参照画像を生成し、演算回路４３に入
力する。

【０１３７】演算回路４３では、符号するマクロブロッ
クの値と予測参照画像の値の差分信号をＤＣＴ回路２４
に出力する。イントラマクロブロックの場合、演算回路
４３は符号するマクロブロックの信号をそのままＤＣＴ
回路４４に出力する。

【０１３８】ＤＣＴ回路４４では、ＤＣＴ（離散コサイ
ン変換）処理され、ＤＣＴ係数に変換される。このＤＣ
Ｔ係数は、量子化回路４５に入力され、送信バッファ４
７のデータ蓄積量（バッファ蓄積量）に対応した量子化
ステップで量子化された後、可変長符号化回路４６に入
力される。

【０１３９】可変長符号化回路４６は、量子化回路４５
より供給される量子化ステップ（スケール）に対応し
て、量子化回路４５より供給される画像データ（いまの
場合、Ｉピクチャのデータ）を、例えばハフマン符号な
どの可変長符号に変換し、送信バッファ４７に出力す
る。

【０１４０】可変長符号化回路４６にはまた、量子化回
路４５より量子化ステップ（スケール）、動きベクトル
検出回路４２より予測モード（画像内予測、前方向予
測、後方向予測、両方向予測または２階層予測のいずれ
が設定されたかを示すモード）および動きベクトルが入
力されており、これらも可変長符号化される。

【０１４１】可変長符号化回路４６はまた、上位レイヤ
の画像（ＶＯＰ）の大きさを示すフラグ（後述する識別
子(FSZ_E)）および絶対座標における位置を示すフラグ
（後述する識別子(FPOS_E)）が入力されており、これら
も符号化される。

【０１４２】可変長符号化回路４６はまた、下位レイヤ
の解像度に対して上位レイヤの解像度が何倍であるかを
示すフラグＦＲが入力されており、これも符号化され
る。

【０１４３】送信バッファ４７は、入力されたデータを
一時蓄積し、その蓄積量に対応するデータを量子化回路
４５に出力する。

【０１４４】送信バッファ４７は、その蓄積量（蓄積可
能なデータ残量）が許容上限値まで増量すると、量子化
制御信号によって量子化回路４５の量子化スケールを大
きくすることにより、量子化データのデータ量を低下さ
せる。また、これとは逆に、蓄積量（蓄積可能なデータ
残量）が許容下限値まで減少すると、送信バッファ４７
は、量子化制御信号によって量子化回路４５の量子化ス
ケールを小さくすることにより、量子化データのデータ
量を増大させる。このようにして、送信バッファ４７の
オーバフローまたはアンダフローが防止される。

【０１４５】そして、送信バッファ４７に蓄積されたデ
ータは、所定のタイミングで読み出され、伝送路に出力
される。

【０１４６】一方、量子化回路４５より出力されたデー
タは、逆量子化回路４８にも入力され、ここで量子化回
路４５より供給される量子化ステップに対応して逆量子
化される。逆量子化回路４８の出力は、ＩＤＣＴ（逆Ｄ
ＣＴ）回路４９に入力され、ここで逆ＤＣＴ処理された
後、フレームメモリ５１に記憶される。

【０１４７】図１に戻って上位レイヤ符号化回路３およ
び下位レイヤ符号化回路５の出力ビットストリームは、
多重化回路６に入力される。多重化回路６は下位レイヤ
および上位レイヤのビットストリームを多重化し、ビッ
トストリームとして出力する。

【０１４８】次ぎに図１１には、図１に示した画像信号
符号化装置に対応する実施の形態における画像信号復号
装置の一例を示す。

【０１４９】この図１１において、ビットストリームは
まず逆多重化回路８１に入力される。逆多重化回路８１
では、上記ビットストリームを逆多重化、すなわち上位
レイヤと下位レイヤのビットストリームに分離して出力
する。

【０１５０】下位レイヤのビットストリームはそのまま
下位レイヤ復号回路８５に供給される。また上位レイヤ
のビットストリームは遅延回路８２を介して上位レイヤ
復号回路８３に供給される。

【０１５１】遅延回路８２では下位レイヤ復号回路８５
で１画像（１ＶＯＰ分）を復号するのに要する時間だけ
遅延した後、上位レイヤ復号回路８３に上位レイヤビッ
トストリームを供給する。

【０１５２】下位レイヤ復号回路８５の具体的な構成を
図１２を用いて説明する。

【０１５３】下位レイヤビットストリームは、受信バッ
ファ９１に一時記憶された後、可変長復号回路９２に供
給される。可変長復号回路９２は、受信バッファ９１よ
り供給されたデータを可変長復号し、動きベクトルと予
測モードとを動き補償回路９７に、また、量子化ステッ
プを逆量子化回路９３にそれぞれ出力すると共に、復号
された画像データを逆量子化回路９３に出力する。

【０１５４】可変長復号回路９２はまた、画像（ＶＯ
Ｐ）の大きさを示すフラグ（後述する識別子(FSZ_B)）
を復号し、動き補償回路９７とフレームメモリ９６に出
力する。フラグ（FSZ_B）はまた図１１の上位レイヤ復
号回路８３に供給される。

【０１５５】逆量子化回路９３は、可変長復号回路９２
より供給された画像データを、同じく可変長復号回路９
２より供給された量子化ステップに従って逆量子化し、
ＩＤＣＴ回路９４に出力する。逆量子化回路９３より出
力されたデータ（ＤＣＴ係数）は、ＩＤＣＴ回路９４で
逆ＤＣＴ処理された後、演算回路９５に供給される。

【０１５６】ＩＤＣＴ回路９４より供給された画像デー
タが、Ｉピクチャのデータである場合、そのデータは演
算回路９５より出力され、演算回路９５に対して後に入
力される画像データ（ＰまたはＢピクチャのデータ）の
予測参照画像データ生成のために、フレームメモリ９６
に供給されて記憶される。また、このデータは、そのま
ま、再生画像として外部に出力される。

【０１５７】入力ビットストリームがＰまたはＢピクチ
ャの場合、動き補償回路９７は可変長復号回路９２より
供給される動きベクトルおよび予測モードに従って、予
測参照画像を生成し、演算回路９５に出力する。演算回
路９５ではＩＤＣＴ回路９４より入力される画像データ
と動き補償回路９７より供給される予測参照画像データ
を加算し出力画像とする。またＰピクチャの場合、演算
回路９５の出力はまた、フレームメモリ９６に入力され
記憶され、次に復号する画像信号の参照画像とされる。

【０１５８】演算回路９５の出力はまた、図１１の上位
レイヤ復号回路８３に供給される。

【０１５９】可変長復号回路９２により復号された下位
レイヤの画像（ＶＯＰ）の大きさを示すフラグ（FSZ_
B）は、図１１の上位レイヤ復号回路８３に供給され
る。

【０１６０】図１１に戻って、逆多重化回路８１におい
て逆多重化された上位レイヤのビットストリームは、遅
延回路８２を介して上位レイヤ復号回路８３に供給され
る。

【０１６１】図１３を用いて上位レイヤ復号回路８３の
具体的構成を説明する。

【０１６２】上位レイヤのビットストリームは、受信バ
ッファ１０１に一時記憶された後、可変長復号回路１０
２に供給される。可変長復号回路１０２は、受信バッフ
ァ１０１より供給されたデータを可変長復号し、動きベ
クトルと予測モードを動き補償回路１０７に、また、量
子化ステップを逆量子化回路１０３にそれぞれ出力する
とともに、復号された画像データを逆量子化回路１０３
に出力する。

【０１６３】動きベクトル及び予測モードはまた、動き
補償回路１１９に出力される。

【０１６４】可変長復号回路１０２はまた、画像（ＶＯ
Ｐ）の大きさを示すフラグ（FSZ_E）を復号し、動き補
償回路１０７とフレームメモリ１０６に出力する。

【０１６５】可変長復号回路１０２はまた、下位レイヤ
の画像（ＶＯＰ）に対する上位レイヤの画像（ＶＯＰ）
の大きさ（解像度）の倍率を示すフラグＦＲを復号し、
動き補償回路１０７及び、図１１における解像度変換回
路８４に出力する。

【０１６６】図１１における解像度変換回路８４は、復
号された下位レイヤの画像（ＶＯＰ）の画像信号及びキ
ー（key）信号を、倍率を示すフラグＦＲに従ってフィ
ルタリングにより解像度変換し、上位レイヤ復号回路８
３中のフレームメモリ１１８に供給する。

【０１６７】可変長復号回路１０２はまた、予測の参照
に用いるレイヤを示すフラグ（後述する識別子(ref_lay
er_id)及び(ref_select_code)）を復号し、動き補償回
路１０７に出力する。

【０１６８】逆量子化回路１０３は、可変長復号回路１
０２より供給された画像データを、同じく可変長復号回
路１０２より供給された量子化ステップに従って逆量子
化し、ＩＤＣＴ回路１０４に出力する。逆量子化回路１
０３より出力されたデータ（ＤＣＴ係数）は、ＩＤＣＴ
回路１０４で逆ＤＣＴ処理され、演算回路１０５に供給
される。

【０１６９】ＩＤＣＴ回路１０４より供給された画像デ
ータが、Ｉピクチャのデータである場合、そのデータは
演算回路１０５より出力され、演算回路１０５に後に入
力される画像データ（ＰまたはＢピクチャのデータ）の
予測参照画像データ生成のために、フレームメモリ１０
６に供給されて記憶される。また、このデータは、その
まま再生画像として外部に出力される。

【０１７０】入力ビットストリームがＰまたはＢピクチ
ャの場合、動き補償回路１０７は可変長復号回路１０２
より供給される動きベクトルおよび予測モードおよび参
照するレイヤを示すフラグ（ref_layer_id），（ref_se
lect_code）に従って、予測参照画像をフレームメモリ
１０６とフレームメモリ１１８より生成し、演算回路１
０５に出力する。演算回路１０５ではＩＤＣＴ回路１０
４より入力される画像データと動き補償回路１０７より
供給される予測参照画像データを加算し出力画像とす
る。またＰピクチャの場合、演算回路１０５の出力はま
た、フレームメモリ１０６に入力され記憶され、次に復
号する画像信号の予測参照画像とされる。

【０１７１】図１１の上位レイヤの復号回路８３では、
予測モードが２階層予想モードのマクロブロックである
場合、符号化回路において前記図４の演算回路５９の出
力を生成した方法と同様に予測参照画像を生成する。

【０１７２】具体的に言うと、図１２の下位レイヤの画
像信号復号回路における演算回路９５の出力信号は、図
１１の解像度変換回路８４にて拡大された後、図１１の
上位レイヤの画像信号復号回路８３へ入力され、図１３
におけるフレームメモリ１１８に供給される。

【０１７３】図１３の動き補償回路１１９は、復号され
た動きベクトルに基づきフレームメモリ１１８を参照
し、図７における拡大画像ｖｍ５およびｖｍ６の差分
（差分画像ＤＶ８）を出力し、敷居値比較回路１２０に
送る。なお、図１３の例では、動き補償回路１１９にお
いて差分まで求める構成としているが、当該差分を求め
るための演算回路を外部に設けることも可能である。

【０１７４】このとき、当該敷居値比較回路１２０で
は、上記動き補償回路１１９からの差分の絶対値が、あ
る定められた値（すなわち前記敷居値ＴＨ）未満の場合
はその差分の画素の値を０とする。逆に敷居値ＴＨ以上
である場合は、差分値をそのまま動き補償回路１０７に
供給する。なお、敷居値比較回路１２０は、動き補償回
路１１９又は動き補償回路１０７内に含めることも可能
である。

【０１７５】動き補償回路１０７では、予測モードが２
階層予測マクロブロックである場合、フレームメモリ１
０６の出力および前記敷居値比較回路１２０を介した動
き補償回路１１９の出力より前記式（１）で示される予
測参照画像を生成し、演算回路１０５に出力する。その
他の予測モードの場合、動き補償回路１０７は下位レイ
ヤにおける動き補償回路と同様に動作する。なお、図１
３の例では、動き補償回路１０７において予測参照画像
を求めるために、上記敷居値比較回路１２０の出力の加
算を行うが、当該加算を行うための演算回路を外部に設
けることも可能である。

【０１７６】また、動き補償回路１０７は倍率を示すフ
ラグＦＲが１であり、且つフラグ（ref_select_code ==
'00'）である場合、下位レイヤの同時刻の画像（ＶＯ
Ｐ）から供給される動きベクトル及び予測モードを用い
て予測画像を生成し、演算回路１０５に出力する。

【０１７７】上記２階層予測マクロブロックでは、輝度
および色差信号、ともに同様の処理を行う。

【０１７８】次ぎに、スケーラブル符号化のシンタクス
を説明する。以下ＭＰＥＧ４ ＶＭ(Verification Mode
l)を例にし、説明する。

【０１７９】図１４には、ビットストリームの構成を示
す。ＶＳ(Video Session Class)は一つ又は複数のＶＯ
(Video Object Class)から構成される、ビットストリー
ムの集合である。

【０１８０】ＶＳのシンタクスを以下に示す。なお、こ
のシンタクスはいわゆるＣ＋＋に準拠している。

【０１８１】 Syntax No.of bits Mnemonic VideoSession(){ video_session_start_code sc+8=32 do*{ Videoobject() }while (nextbits_bytealigned()== video_object_start_code) next_start_code() video_session_end_code sc+8=32 } 次ぎに、ＶＯ(Video Object Class) のシンタクスを以
下に示す。

【０１８２】 Syntax No.of bits Mnemonic Videoobject(){ video_object_start_code sc+3=27 video_object_id 5 do{ VideoObjectLayer() } while(nextbits_bytealigned()== video_object_layer_start_code) next_start_code() } ＶＯは画像全体または画像中の一部の物体のビットスト
リームである。ＶＯＬ(Video Object Layer Class)はス
ケーラビリティのためのクラスである。

【０１８３】ＶＯＬのシンタクスを以下に示す。

【０１８４】 Syntax No.of bits Mnemonic VideoObjectLayer(){ video_object_layer_start_code sc+4=28 video_object_layer_id 4 video_object_layer_shape 2 if (video_object_layer_shape=="00"){ video_object_layer_width 10 video_object_layer_height 10 } video_object_layer_shape_effects 4 if((video_object_layer_shape_effects=="0001") ||(video_object_layer_shape_effects=="0011") ||(video_object_layer_shape_effects=="0100") ||(video_object_layer_shape_effects=="0101") video_object_layer_feather_dist 3 if((video_Object_layer_shape_effects=="0100") ||(video_object_layer_shape_effects=="0101"){ for(i=0;i<video_object_layer_feather_dist;i++) feathering_filter(); 8*15 } video_object_layer_sprite_usage 2 if(video_object_layer_sprite_usage!= SPRITE_NOT_USED){ if(video_object_layer_sprite_usage== ON-LINE_SPRITE){ sprite_hdim 13 sprite_vdim 13 } no_of_sprite_points 6 for(i=0;i<no_of_sprite_points;i++){ sprite_point [i]_x_coordinate 13 sprite_point [i]_y_coordinate 13 } lighting_change_in_sprite 1 } video_object_layer_quant_type 1 if(video_object_layer_quant_type){ load_intra_quant_mat 1 if(load_intra_quant_mat intra_quant_mat[64] 8*64 load_nonintra_quant_mat 1 if(load_nonintra_quant_mat nonintra_quant_mat[64] 8*64 } Error_resilient_disable 1 Intra_acdc_pred_disable 1 video_object_layer_fcode_forward 2 video_object_layer_fcode_backward 2 Separate_motion_shape_texture 1 if(video_object_layer_sprire_usage== STATIC_SPRITE) sprite_shape_texture() Scalability 1 if(scalability){ ref_layer_id 4 ref_layer_sampling_direc 1 hor_sampling_factor_n 5 hor_sampling_factor_m 5 vert_sampling_factor_n 5 vert_sampling_factor_m 5 enhancement_type 1 } do{ VideoObjectPlane() }while(nextbits_bytealigned()== video_object_plane_start_code) next_start_code() } ＶＯＬは識別子（video_object_layer_id）に示される
番号によって識別される。例えば、（video_object_lay
er_id＝０）である ＶＯＬ０は下位レイヤであり、例え
ば（video_object_layer_id＝１）であるＶＯＬ１は上
位レイヤである。スケーラブルのレイヤの数は任意で良
い。

【０１８５】スケーラビリティ（scalability）は１ビ
ットのフラグでそのＶＯＬが下位レイヤであるか上位レ
イヤであるかを示す。（scalability＝１）である場
合、そのＶＯＬは下位レイヤであり、それ以外の場合上
位レイヤである。

【０１８６】識別子（ref_layer_id）は自身ＶＯＬ以外
に参照画像として用いるＶＯＬの番号を示すフラグであ
る。これは上位レイヤにのみ伝送される。

【０１８７】識別子（hor_sampling_factor_n），（hor
_sampling_factor_m）は下位レイヤの水平方向の長さに
対して上位レイヤの水平方向の長さが何倍であるかを示
す（水平方向の解像度の倍率を示す）。下位レイヤに対
する上位レイヤの水平方向の大きさは以下の式で与えら
れる。

【０１８８】 hor_sampling_factor_n / hor_sampling_factor_m 識別子（ver_sampling_factor_n），（ver_sampling_fa
ctor_m）は下位レイヤの垂直方向の長さに対して上位レ
イヤの垂直方向の長さが何倍であるかを示す（垂直方向
の解像度の倍率を示す）。下位レイヤに対する上位レイ
ヤの垂直方向の大きさは以下の式で与えられる。

【０１８９】 ver_sampling_factor_n / ver_sampling_factor_m ＶＯＰ(Video Object Plane Class)のシンタクスを以下
に示す。

【０１９０】 Syntax No.of bits Mnemonic VideoObjectPlane(){ VOP_start_code sc+8=32 do{ modulo_time_base 1 }while(modulo_time_base!="0") VOP_time_increment 10 VOP_prediction_type 2 if ( ( video_object_layer_sprite_usege != SPRITE_NOT_USED ) && (VOP_prediction_type == SPRITE) ) { if (no_of_sprite_points > 0) { encode VOP_points () } if (lighting_change_in_sprite) { lighting_change_factor_encode () } if (video_object_layer_sprite_useage == STATIC_SPRITE ) { return() } else if ( video_object_layer_sprite_usage == ON- LINE_SPRITE) { blending_factor 8 } } if(video_object_layer_shape !="00") { VOP_width 10 VOP_heigth 10 VOP_horizontal_mc_spatial_ref 10 marker_bit 1 VOP_vertical_mc_spatial_ref 10 if (scalability && enhancement_type) background_composition 1 } disable_sadct 1 if (VOP_prediction_type=="10") VOP_dbquant 2 else VOP_quant 5 if ((video_object_layer_shape_effects == "0010")|| (video_object_layer_shape_effects == "0011")|| (video_object_layer_shape_effects == "0101")){ VOP_constant_alpha 1 if (VOP_constant_alpha) VOP_constant_alpha_value 8 } if (!scalability){ if (!separate_motion_shape_texture) if(error_resilience_disable) combined_motion_shape_texture_coding() else do{ do{ combined_motion_shape_texture_coding() } while (nextbits_bytealigned() != 0000 0000 0000 0000) if (nextbits_bytealigned() != 000 0000 0000 0000 0000 0000) { next_resync_marker() resync_marker 17 macroblock_number 1-12 quant_scale 5 } } while (nextbits_bytealigned() != 000 0000 0000 0000 0000 0000) else{ if(video_object_layer_shape !="00"){ do{ first_shape_code 1-3 } while (count of macroblocks != total number of macroblocks) } if(error_resilience_disable) { motion_coding() if (video_object_layer_shape != "00") shape_coding() texture_coding() } else do{ do{ motion_coding() }while (next_bits()!="1010 0000 0000 0000 1") motion_marker 17 if (video_object_layer_shape !="00") shape_coding() do{ texture_coding() }while (nextbits_bytealigned()!= "0000 0000 0000 0000") if (nextbits_bytealigned()!= "000 0000 0000 0000 0000 0000){ next_resync_marker() resync_marker 17 macroblock_number 1-12 quant_scale 5 } }while (nextbits_bytealigned() != 000 0000 0000 0000 0000 0000) } } else{ if(background_composition){ load_backward_shape 1 if(load_backward_shape){ backward_shape_coding() load_foward_shape 1 if(load_foward_shape) foward_shape_coding() } } ref_select_code 2 if(VOP_prediction_type=="01"||VOP_prediction_type== "10"){ forward_temporal_ref 10 if(VOP_prediction_type=="10"){ marker_bit 1 backwaed_temporal_ref 10 } } combined_motion_shape_texture_coding() } next_state_code() } 識別子（VOP_width）および（VOP_height）はそのＶＯ
Ｐの大きさを示すフラグである。

【０１９１】識別子（ref_select_code）は前方向（フ
ォワード）および後方向（バックワード）予測において
識別子（ref_layer_id）に基づき、どのレイヤの画像を
参照画像として用いるかを示すフラグである。図９に示
した表および図１０に示した表にその詳細が示されてい
る。

【０１９２】図１５はＩおよびＰピクチャ（画像ＶＯ
Ｐ）におけるマクロブロックのシンタクスを示す。(CO
D)はこれ以後そのマクロブロックのデータが存在するか
どうかを示すフラグである。(COD=1)の場合、これ以
後、そのマクロブロックのデータが存在しないことを示
す（即ちスキップマクロブロック）。(COD=0)の場合、
さらにフラグが伝送される。(MCBCP)はそのマクロブロ
ックのタイプを示すフラグで、これに従って所定のフラ
グおよびデータが伝送される。

【０１９３】図１６はＢピクチャ（ＶＯＰ）におけるマ
クロブロックのシンタクスを示す。もし、最も最近に復
号されたＩまたはＰピクチャ（画像ＶＯＰ）の対応する
マクロブロックがスキップマクロブロックであった場合
（COD=1）、Ｂピクチャ（画像ＶＯＰ）におけるそのマ
クロブロックもスキップマクロブロックとなる。

【０１９４】(MODB)はＢピクチャ（ＶＯＰ）においてマ
クロブロックのタイプを示すフラグである。(MODB)の可
変長符号を図１７に示す。(MODB=0)の場合、それ以上マ
クロブロックのデータが存在しないことを示す。(MODB=
10)の場合、(CBPB)は伝送されず、(MBTYPE)が伝送され
る。(MODB=11)の場合、(CBPB)および(MBTYPE)が伝送さ
れる。なお、図中のｘは、現在のマクロブロックを示
す。

【０１９５】(CBPB)は６ビットのフラグでマクロブロッ
ク中の各ブロックにＤＣＴ係数が存在するかどうかを示
すフラグである。(CBPB)が伝送されない場合、(CBPB)は
０であると解釈され、そのマクロブロックではＤＣＴ係
数は伝送されない。

【０１９６】(MBTYPE)はＢピクチャにおける各マクロブ
ロックの予測モードを示すフラグである。下位レイヤの
(MBTYPE)を図１８に示す。(MBTYPE)に応じて図１８に示
す通り、そのマクロブロックで伝送されるフラグが決定
される。なお、図中のｘは、現在のマクロブロックを示
す。

【０１９７】上位レイヤにおける(MBTYPE)を図１９に示
す。(MBTYPE="1")の時、２階層予測モードとなる。

【０１９８】下位レイヤにおけるスキップマクロブロッ
クの条件は以下の通りである。

【０１９９】（Ａ）Ｐピクチャ（ＶＯＰ） （１）COD=="1"である場合。

【０２００】この場合、マクロブロックはスキップマク
ロブロックとして扱われる。ＤＣＴ係数は全て０であ
り、動きベクトルも０として扱われる。

【０２０１】（Ｂ）Ｂピクチャ（ＶＯＰ） （１）最も最近に復号されたＩまたはＰピクチャ（ＶＯ
Ｐ）の対応するマクロブロックがスキップマクロブロッ
クである（COD = 1）の場合。

【０２０２】この場合、スキップマクロブロックとされ
る。予測はＰピクチャ（ＶＯＰ）と同様に行われ動きベ
クトルは０として扱われる。

【０２０３】（２）（１）以外の場合でかつ（MODB=='
0'）の場合。

【０２０４】この場合、スキップマクロブロックとして
扱われ、このマクロブロックの（MBTYPE）はダイレクト
（Direct）のＨ．２６３となり、Ｈ．２６３のＰＢピク
チャと同様に符号化される。このとき動きベクトルは直
前に復号されたＰピクチャ(ＶＯＰ）において同じ位置
のマクロブロックの動きベクトルが用いられる。

【０２０５】上位レイヤ (scalability = 1)におけるス
キップマクロブロックの条件は以下の通りである。

【０２０６】（Ａ）Ｐピクチャ（VOP） （１）COD == '1' である場合。

【０２０７】この場合、マクロブロックはスキップマク
ロブロックとして扱われる。ＤＣＴ数は全て０であり、
動きベクトルも０として扱われる。

【０２０８】Ｐピクチャ（ＶＯＰ）の場合、スキップマ
クロブロックの条件は下位レイヤと同様である。

【０２０９】（Ｂ）ピクチャ（VOP） スキップマクロブロックにおいては、その予測モードや
参照画像を最も一般的に効率が良いモードに設定してお
くべきである。したがって、空間スケーラビリティの場
合の上位レイヤのマクロブロックにおいては２階層予測
モードとするのが効率が良い。

【０２１０】本実施の形態においては、上位レイヤのＢ
ピクチャ（ＶＯＰ）のスキップマクロブロックの条件は
以下の通りである。

【０２１１】（１）（ref_select_code == '00'）であ
り、かつ（MODB == '0'）である場合。

【０２１２】（ref_select_code == '00'）の場合、最
も最近に復号されたＩまたはＰピクチャ（ＶＯＰ）の対
応するマクロブロックがスキップマクロブロックである
かどうか（CODの値）によらず、常にそれ以後のデータ
を伝送する。このとき次に符号化される（MODB）が０の
場合スキップマクロブロックとなり、それ以上のデータ
は伝送されない。

【０２１３】この時、予測は２階層予測モードとなり、
動きベクトルは０として扱われる。

【０２１４】（２）（ref_select_code != '00'）であ
り、かつ最も最近に復号されたＩまたはＰピクチャ（Ｖ
ＯＰ）の対応するマクロブロックがスキップマクロブロ
ックである（COD = 1）の場合。

【０２１５】この場合、スキップマクロブロックとされ
る。予測はＰピクチャ（ＶＯＰ）と同様に行われ動きベ
クトルは０として扱われる。

【０２１６】（３）（ref_select_code != '00'）であ
りかつ、（MODB == '0'）の場合。

【０２１７】この場合、スキップマクロブロックとして
扱われ、このマクロブロックの（MBTYPE）はダイレクト
（Direct）のＨ．２６３となり、Ｈ．２６３のＰＢピク
チャと同様に符号化される。このとき動きベクトルは
（ref_select_code）によって示される（VOL）の直前に
復号されたＰピクチャ（ＶＯＰ）において同じ位のマク
ロブロックの動きベクトルが用いられる。

【０２１８】

【発明の効果】本発明は、高解像度の画像信号から求め
た動き情報を用いて低解像度の画像信号の変化量を求
め、この変化量を高解像度の画像信号の局所復号画像に
加算して予測参照画像を生成し、符号化を行うことによ
り、すなわち、これまでのＭＰＥＧ方式の予測モードに
加えて、上位レイヤの参照画像に下位レイヤの変化量を
加算することにより、新たな参照画像を生成し、この新
たな参照画像を用いてフレーム間予測符号化を実現する
ようにしている。これにより、空間スケーラブル符号化
方法において、予測効率を改善し、符号化効率を向上す
ることが可能となる。

【図面の簡単な説明】

【図１】本発明の画像信号符号化方法及び装置を実現す
る実施の形態の画像信号符号化装置の概略構成を示すブ
ロック回路図である。

【図２】テンポラススケーラビリティの説明に用いる図
である。

【図３】画像信号符号化装置の下位レイヤ符号化回路の
具体的構成を示すブロック回路図である。

【図４】画像信号符号化装置の上位レイヤ符号化回路の
具体的構成を示すブロック回路図である。

【図５】空間スケーラビリティの場合の符号化の説明に
用いる図である。

【図６】本実施の形態におけるテンポラススケーラビリ
ティの場合の符号化の説明に用いる図である。

【図７】本実施の形態における上位レイヤの参照画像の
説明に用いる図である。

【図８】予測参照画像を生成する方法の流れを示すフロ
ーチャートである。

【図９】Ｐピクチャにおけるフラグ（ref_select_cod
e）の表を示す図である。

【図１０】Ｂピクチャにおけるフラグ（ref_select_cod
e）の表を示す図である。

【図１１】本発明の画像信号復号方法及び装置を実現す
る実施の形態の画像信号復号装置の概略構成を示すブロ
ック回路図である。

【図１２】画像信号復号装置の下位レイヤ復号回路の具
体的構成を示すブロック回路図である。

【図１３】画像信号復号装置の上位レイヤ復号回路の具
体的構成を示すブロック回路図である。

【図１４】ビデオシンタクスの階層構造の説明に用いる
図である。

【図１５】ＩおよびＰピクチャにおけるマクロブロック
のシンタクスを示す図である。

【図１６】Ｂピクチャにおけるマクロブロックのシンタ
クスを示す図である。

【図１７】Ｂピクチャにおいてマクロブロックのタイプ
を示すフラグであるMODBの可変長符号を示す図である。

【図１８】下位レイヤのＢピクチャにおける各マクロブ
ロックの予測モードを示すフラグであるMBTYPEを示す図
である。

【図１９】上位レイヤにおけるMBTYPEを示す図である。

【図２０】ＭＰＥＧ方式のＭＰ＠ＭＬの従来のエンコー
ダの概略構成例を示すブロック回路図である。

【図２１】ＭＰＥＧのＭＰ＠ＭＬの従来のデコーダの概
略構成例を示すブロック回路図である。

【図２２】空間スケーラビリティの従来のエンコーダの
構成例を示すブロック回路図である。

【図２３】空間スケーラビリティの従来のデコーダの構
成例を示すブロック回路である。

【符号の説明】

１ 画像階層化回路、 ２ 遅延回路、 ３ 上位レイ
ヤ符号化回路、 ４解像度変換回路、 ５ 下位レイヤ
符号化回路、 ６ 多重化回路、 ８１ 多重化回路、
８２ 遅延回路、 ８３ 上位レイヤ復号回路、 ９
４ 解像度変換回路、 ９５ 下位レイヤ復号回路

Claims (31)

【特許請求の範囲】
1. 【請求項１】 画像信号を高解像度と低解像度の少なく
   とも２層の画像信号に分離階層化し、これら高解像度と
   低解像度の画像信号を予測参照画像を用いて符号化する
   画像信号符号化方法において、 上記高解像度の画像信号を用いて動き情報を検出し、 上記動き情報を用いて上記低解像度の画像信号の変化量
   を求め、 上記低解像度の画像信号から求めた変化量を、上記高解
   像度の画像信号を符号化した信号の復号画像信号に加算
   して予測参照画像を生成し、 当該生成した予測参照画像を用いて符号化を行うことを
   特徴とする画像信号符号化方法。
2. 【請求項２】 上記低解像度の画像信号の解像度を上記
   高解像度の画像信号の解像度に合わせた信号から上記変
   化量を求めることを特徴とする請求項１記載の画像信号
   符号化方法。
3. 【請求項３】 上記変化量を所定の敷居値と比較し、 上記変化量が上記敷居値未満のときに当該変化量の値を
   ゼロとして上記加算を行うことにより上記高解像度の復
   号画像信号から予測参照画像を生成し、 上記変化量が上記敷居値以上のときに当該変化量を上記
   高解像度の復号画像信号に加算して上記予測参照画像を
   生成することを特徴とする請求項１記載の画像信号符号
   化方法。
4. 【請求項４】 上記変化量と上記所定の敷居値との比較
   は画素単位で行うことを特徴とする請求項３記載の画像
   信号符号化方法。
5. 【請求項５】 上記変化量の加算を行って上記予測参照
   画像を生成する予測モードを、画像信号の所定単位毎に
   切り替え可能とすることを特徴とする請求項１記載の画
   像信号符号化方法。
6. 【請求項６】 上記変化量の加算を行って上記予測参照
   画像を生成する予測モードを、何もデータを伝送しない
   所定単位の予測モードとすることを特徴とする請求項５
   記載の画像信号符号化方法。
7. 【請求項７】 上記変化量は、時間変化量であることを
   特徴とする請求項１記載の画像信号符号化方法。
8. 【請求項８】 画像信号を高解像度と低解像度の少なく
   とも２層の画像信号に分離階層化し、これら高解像度と
   低解像度の画像信号を予測参照画像を用いて符号化する
   画像信号符号化装置において、 上記高解像度の画像信号を用いて動き情報を検出する動
   き検出手段と、 上記動き情報を用いて上記低解像度の画像信号の変化量
   を求める変化量計算手段と、 上記低解像度の画像信号から求めた変化量を、上記高解
   像度の画像信号を符号化した信号の復号画像信号に加算
   して予測参照画像を生成する予測参照画像生成手段と、 当該生成した予測参照画像を用いて符号化を行う符号化
   手段とを有することを特徴とする画像信号符号化装置。
9. 【請求項９】 上記低解像度の画像信号の解像度を上記
   高解像度の画像信号の解像度に合わせる解像度変換手段
   を備え、 上記変化量計算手段は、上記解像度変換手段の出力を用
   いて上記変化量を求めることを特徴とする請求項８記載
   の画像信号符号化装置。
10. 【請求項１０】 上記変化量を所定の敷居値と比較する
    敷居値比較手段を備え、 上記予測参照画像生成手段では、上記変化量が上記敷居
    値未満のときに上記高解像度の復号画像信号から予測参
    照画像を生成し、上記変化量が上記敷居値以上のときに
    上記変化量の加算を行って上記予測参照画像を生成する
    ことを特徴とする請求項８記載の画像信号符号化装置。
11. 【請求項１１】 上記敷居値比較手段は、上記変化量と
    上記所定の敷居値との比較を画素単位で行うことを特徴
    とする請求項１０記載の画像信号符号化装置。
12. 【請求項１２】 上記予測画像生成手段は、上記変化量
    の加算を行って上記予測参照画像を生成する予測モード
    を、画像信号の所定単位毎に切り替え可能とすることを
    特徴とする請求項８記載の画像信号符号化装置。
13. 【請求項１３】 上記変化量の加算を行って上記予測参
    照画像を生成する予測モードを、何もデータを伝送しな
    い所定単位の予測モードとすることを特徴とする請求項
    １２記載の画像信号符号化装置。
14. 【請求項１４】 上記変化量計算手段は、上記変化量と
    して時間変化量を求めることを特徴とする請求項８記載
    の画像信号符号化装置。
15. 【請求項１５】 画像信号を高解像度と低解像度の少な
    くとも２層の画像信号に分離階層化し、上記高解像度の
    画像信号を用いて動き情報を検出し、上記動き情報を用
    いて上記低解像度の画像信号の変化量を求め、上記低解
    像度の画像信号から求めた変化量を上記高解像度の画像
    信号を符号化した信号の復号画像信号に加算して予測参
    照画像を生成し、当該生成した予測参照画像を用いて符
    号化し、当該符号化された画像信号と符号化パラメータ
    とからなるビットストリームから、上記符号化された高
    解像度の画像信号と低解像度の画像信号と符号化パラメ
    ータとを分離し、 上記符号化パラメータに基づいて、上記符号化された高
    解像度の画像信号と低解像度の画像信号とを復号するこ
    とを特徴とする画像信号復号方法。
16. 【請求項１６】 上記高解像度の画像信号を用いて動き
    情報を検出し、その動き情報を用いて上記復号した低解
    像度の画像信号の変化量を求め、この変化量を上記高解
    像度の画像信号の復号画像信号に加算することにより、
    予測参照画像を生成し、符号化された画像信号の復号に
    用いることを特徴とする請求項１５記載の画像信号復号
    方法。
17. 【請求項１７】 上記復号した低解像度の画像信号の解
    像度を上記高解像度の画像信号の解像度に合わせた信号
    から上記変化量を求めることを特徴とする請求項１６記
    載の画像信号復号方法。
18. 【請求項１８】 上記変化量を所定の敷居値とを比較
    し、 上記変化量が上記敷居値未満のときに当該変化量の値を
    ゼロとして上記高解像度の復号画像信号に加算し、 上記変化量が上記敷居値以上のときに当該変化量の値を
    上記高解像度の復号画像信号に加算して上記予測参照画
    像を生成することを特徴とする請求項１６記載の画像信
    号復号方法。
19. 【請求項１９】 上記変化量と上記所定の敷居値との比
    較は画素単位で行うことを特徴とする請求項１８記載の
    画像信号復号方法。
20. 【請求項２０】 上記変化量の加算を行って上記予測参
    照画像を生成する予測モードを、画像信号の所定単位毎
    に切り替え可能とすることを特徴とする請求項１６記載
    の画像信号復号方法。
21. 【請求項２１】 上記変化量の加算を行って上記予測参
    照画像を生成する予測モードは、何もデータを伝送しな
    い所定単位の予測モードであることを特徴とする請求項
    ２０記載の画像信号復号方法。
22. 【請求項２２】 上記変化量は、時間変化量であること
    を特徴とする請求項１６記載の画像信号復号方法。
23. 【請求項２３】 画像信号を高解像度と低解像度の少な
    くとも２層の画像信号に分離階層化し、上記高解像度の
    画像信号を用いて動き情報を検出し、上記動き情報を用
    いて上記低解像度の画像信号の変化量を求め、上記低解
    像度の画像信号から求めた変化量を上記高解像度の画像
    信号を符号化した信号の復号画像信号に加算して予測参
    照画像を生成し、当該生成した予測参照画像を用いて符
    号化し、当該符号化された画像信号と符号化パラメータ
    とからなるビットストリームから、上記符号化された高
    解像度の画像信号と低解像度の画像信号と符号化パラメ
    ータとを分離する分離手段と、 上記符号化パラメータに基づいて、上記符号化された高
    解像度の画像信号と低解像度の画像信号とを復号する復
    号手段とを有することを特徴とする画像信号復号装置。
24. 【請求項２４】 上記復号手段は、上記高解像度の画像
    信号を用いて動き情報を検出する動き情報検出手段と、
    その動き情報を用いて上記復号した低解像度の画像信号
    の変化量を求める変化量計算手段と、当該変化量を上記
    高解像度の復号画像信号に加算することにより予測参照
    画像を生成する予測参照画像生成手段とを有することを
    特徴とする請求項２３記載の画像信号復号装置。
25. 【請求項２５】 上記復号した低解像度の画像信号の解
    像度を上記高解像度の画像信号の解像度に合わせる解像
    度変換手段を備え、 上記変化量計算手段は、上記解像度変換手段の出力を用
    いて上記変化量を求めることを特徴とする請求項２４記
    載の画像信号復号装置。
26. 【請求項２６】 上記変化量を所定の敷居値と比較する
    敷居値比較手段を設け、 上記予測参照画像生成手段では、上記変化量が上記敷居
    値未満のときに上記高解像度の復号画像信号から上記予
    測参照画像を生成し、上記変化量が上記敷居値以上のと
    きに上記変化量の加算を行って上記予測参照画像を生成
    することを特徴とする請求項２４記載の画像信号復号装
    置。
27. 【請求項２７】 上記敷居値比較手段は、上記変化量と
    上記所定の敷居値との比較を画素単位で行うことを特徴
    とする請求項２６記載の画像信号復号装置。
28. 【請求項２８】 上記予測参照画像生成手段は、上記変
    化量の加算を行って上記予測参照画像を生成する予測モ
    ードを、画像信号の所定単位毎に切り替え可能とするこ
    とを特徴とする請求項２４記載の画像信号復号装置。
29. 【請求項２９】 上記変化量の加算を行って上記予測参
    照画像を生成する予測モードは、何もデータを伝送しな
    い所定単位の予測モードであることを特徴とする請求項
    ２８記載の画像信号復号装置。
30. 【請求項３０】 上記変化量は、時間変化量であること
    を特徴とする請求項２４記載の画像信号復号装置。
31. 【請求項３１】 画像信号を高解像度と低解像度の少な
    くとも２層の画像信号に分離階層化し、上記高解像度の
    画像信号を用いて動き情報を検出し、上記動き情報を用
    いて上記低解像度の画像信号の画像の変化量を求め、上
    記低解像度の画像信号から求めた変化量を上記高解像度
    の画像信号を符号化した信号の復号画像信号に加算して
    予測参照画像を生成し、当該生成した予測参照画像を用
    いて符号化し、当該符号化された画像信号と符号化パラ
    メータとが多重化されたビットストリームを記録してな
    り、上記符号化された各画像信号の復号を、上記符号化
    のパラメータに基づいて実行させることを特徴とする画
    像信号記録媒体。