JPH1185966A

JPH1185966A - 画像信号多重化装置および方法、画像信号逆多重化装置および方法、並びに伝送媒体

Info

Publication number: JPH1185966A
Application number: JP20212498A
Authority: JP
Inventors: Teruhiko Suzuki; 輝彦鈴木; Yoichi Yagasaki; 陽一矢ヶ崎
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 1997-07-18
Filing date: 1998-07-16
Publication date: 1999-03-30
Anticipated expiration: 2018-07-16
Also published as: JP4499204B2

Abstract

(57)【要約】【課題】複数階層をもつオブジェクト単位のスケーラ
ブルビットストリームをテクスチャマッピングできるよ
うにする。【解決手段】逆多重化回路によりシーン記述子SD、オ
ブジェクト記述子ODおよび各ビットストリームESを分離
し、デコーダ２０７−１乃至２０７−ｎで各ビットスト
リームをデコードする。デコーダからの出力データのう
ち、同一のオブジェクト記述子ODである出力データ（同
一のオブジェクトを構成する出力データ）が、混合回路
２６１で混合される。その後、混合された出力データが
対応するノードが供給される合成回路２５２のオブジェ
クト合成回路２７１−ｉに供給される。そして、オブジ
ェクト合成回路２７１−ｉでは、１つのオブジェクトに
１つの画像を対応させ、テクスチャマッピングを行う。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、画像信号多重化装
置および方法、画像信号逆多重化装置および方法、並び
に伝送媒体に関し、特に、光磁気ディスクや磁気テープ
などの記録媒体に記録したり、その記録媒体から再生さ
れ、ディスプレイに表示されるデータや、テレビ会議シ
ステム、テレビ電話システム、放送用機器、マルチメデ
ィアデータベース検索システムなどのように、伝送路を
介して送信側から受信側に伝送し、受信側において表示
されたり、あるいは編集、記録されるデータに適用して
好適な画像信号多重化装置および方法、画像信号逆多重
化装置および方法、並びに伝送媒体に関する。

【０００２】

【従来の技術】例えば、テレビ会議システム、テレビ電
話システムなどのように、動画像信号を遠隔地に伝送す
るシステムにおいては、伝送路を効率良く利用するた
め、映像信号のライン相関やフレーム間相関を利用し
て、画像信号を圧縮符号化すようになされている。

【０００３】また、近年においてはコンピュータの処理
能力が向上したことから、コンピュータを用いた動画像
情報端末も普及しつつある。こうしたシステムでは、ネ
ットワークなどの伝送路を通じて情報を遠隔地に伝送す
る。この場合も同様に、伝送路を効率よく利用するため
に、伝送する画像信号、音響信号、データなどの信号が
圧縮符号化して伝送される。

【０００４】端末側では、所定の方法に基づき伝送され
た圧縮信号を復号し、元の画像信号、音響信号、データ
などを復元し、端末が備えるディスプレイやスピーカな
どに出力する。従来の技術では、伝送されてきた画像信
号などをそのまま表示端末に出力するのみであったが、
コンピュータを用いた情報端末においては、そうした複
数の画像信号、音響信号およびデータを変換処理した
後、２次元または３次元空間に表示することが可能にな
ってきている。このような処理は、送信側において、２
次元および３次元空間の情報を所定の方法で記述し、端
末がその記述に従って、例えば、画像信号などに対して
所定の変換処理行い、表示することにより実現すること
ができる。

【０００５】こうした空間情報の記述の方式として代表
的なものに、例えば、VRML（Virtual Reality Modeling
Language）がある。これは、ISO-IEC/JTC1/SC2 4にお
いても標準化され、最新版のVRML2.0は、IS14772に記載
されている。VRMLは、３次元空間を記述する言語であ
り、３次元空間の属性や形状などを記述するためのデー
タの集まりが定義されている。このデータの集まりをノ
ードと呼ぶ。３次元空間を記述するためには、予め規定
されているこれらのノードをどのように組み合わせるの
かを記述することになる。ノードには、色やテクスチャ
などの属性を示すものや、ポリゴンの形状を示すものな
どが定義されている。

【０００６】コンピュータによる情報端末では、こうし
たVRMLなどの記述に従い、ＣＧ（Computer Graphics）
により、ポリゴンなどを用いて所定のオブジェクトを生
成する。VRMLでは、また、こうして生成したポリゴンか
ら構成される３次元オブジェクトに対してテクスチャを
貼り付けることが可能である。貼りつけるテクスチャが
静止画像の場合にはTexture、動画像の場合にはMovieTe
xtureと呼ばれるノードが定義されており、このノード
に貼り付けるテクスチャに関する情報（ファイル名、表
示開始時間、表示終了時間など）が記載されている。

【０００７】ここで、図１４を用いて、テクスチャの貼
り付け（以下、適宜テクスチャマッピングという）につ
いて説明する。まず、外部より、貼り付けるテクスチャ
（画像信号）とその透過度を表す信号（key信号）、お
よび３次元オブジェクト情報が入力され、メモリ群１５
１の所定の記憶領域に記憶される。テクスチャはテクス
チャメモリ１５２に、透過度を表す信号はグレースケー
ルメモリ１５３に、また３次元オブジェクト情報は３次
元情報メモリ１５４に記憶される。ここで、３次元オブ
ジェクト情報とはポリゴンの形成情報や照明情報などで
ある。

【０００８】レンダリング回路１５５は、メモリ群１５
１に記録されている、所定の３次元オブジェクト情報に
基づき、３次元オブジェクトをポリゴンにより形成す
る。レンダリング回路１５５は、３次元オブジェクト情
報に基づきメモリ１５２およびメモリ１５３より、所定
のテクスチャおよび透過度を示す信号を読み込み、生成
した３次元オブジェクトに貼り付ける。透過度を表す信
号は、対応する位置のテクスチャの透過度を示してお
り、対応する位置のテクスチャが貼り付けられた位置の
オブジェクトの透明度を示すことになる。レンダリング
回路１５５は、テクスチャを貼り付けたオブジェクトの
信号を２次元変換回路１５６に供給する。

【０００９】２次元変換回路１５６では、外部より供給
される視点情報に基づき、３次元オブジェクトを２次元
平面に写像して得られる２次元画像信号に変換する。２
次元画像信号に変換された３次元オブジェクトは、さら
に外部に出力される。なお、テクスチャは静止画でも良
いし、動画でもよい。動画の場合、貼り付ける動画の画
像フレームが変更される毎に、上記操作が行われる。

【００１０】VRMLにおいては、貼り付けるテクスチャの
フォーマットとして、静止画の高能率符号化方式の１つ
であるJPEG(Joint Photographic Experts Group)や動画
像符号化方式の１つであるMPEG(Moving Picture Expert
s Group)といった圧縮された画像フォーマットもサポー
トされている。この場合、所定の圧縮方式に基づいた復
号処理によりテクスチャ（画像）が復号され、復画像信
号がメモリ群１５１におけるメモリ１５２に記録される
ことになる。

【００１１】レンダリング回路１５５では、画像のフォ
ーマット、動画であるか静止画であるか、また、その内
容に拘らず、メモリ１５２に記録されているテクスチャ
を貼り付ける。ある１つのポリゴンに貼り付けることが
可能なのは、常にメモリに記憶されている１つのテクス
チャであり、１つのポリゴンに複数のテクスチャを貼る
ことはできない。

【００１２】ところで、伝送路を経由して、こうした３
次元情報やテクスチャ情報を伝送する場合、伝送路を効
率よく利用するためには、情報を圧縮して送る必要があ
る。特に、動画像を３次元オブジェクトに貼り付ける場
合などは、動画像を圧縮して伝送することが必須であ
る。

【００１３】例えば、上述したMPEG方式は、ISO-IEC/JT
C1/SC2/WG11にて議論され、標準案として提案されたも
のであり、動き補償予測符号化とDCT（Discrete Cosine
Transform）符号化を組み合わせたハイブリッド方式が
採用されている。MPEGでは様々なアプリケーションや機
能に対応するために、いくつかのプロファイルおよびレ
ベルが定義されている。最も基本となるのが、メインプ
ロファイルメインレベル（MP@ML)である。

【００１４】図１５を参照して、MPEG方式の MP@ML の
エンコーダの構成例について説明する。入力画像信号
は、まずフレームメモリ群１に入力され、所定の順番で
記憶される。符号化されるべき画像データは、マクロブ
ロック単位で動きベクトル検出回路（ＭＥ）２に入力さ
れる。動きベクトル検出回路２は、予め設定されている
所定のシーケンスに従って、各フレームの画像データ
を、Ｉピクチャ、Ｐピクチャ、またはＢピクチャとして
処理する。シーケンシャルに入力される各フレームの画
像を、Ｉ，Ｐ，Ｂのいずれのピクチャとして処理するか
は、予め定められている（例えば、Ｉ，Ｂ，Ｐ，Ｂ，
Ｐ，・・・Ｂ，Ｐの順番で処理される）。

【００１５】動きベクトル検出回路２は、予め定められ
た所定の参照フレームを参照して動き補償を行い、その
動きベクトルを検出する。動き補償（フレーム間予測）
には前方予測、後方予測、両方向予測の３種類のモード
がある。Ｐピクチャの予測モードは前方予測のみであ
り、Ｂピクチャの予測モードは前方予測、後方予測、両
方向予測の３種類である。動きベクトル検出回路２は予
測誤差を最小にする予測モードを選択し、その際の予測
ベクトルを発生する。

【００１６】この際、予測誤差は、例えば、符号化する
マクロブロックの分散と比較され、マクロブロックの分
散の方が小さい場合、そのマクロブロックでは予測は行
わず、フレーム内符号化が行われる。この場合、予測モ
ードは、画像内符号化（イントラ）となる。動きベクト
ルおよび上記予測モードは、可変長符号化回路６および
動き補償回路（ＭＣ）１２に入力される。

【００１７】動き補償回路１２では、入力された動きベ
クトルに基づいて予測画像データを生成し、その予測画
像データが演算回路３に入力される。演算回路３では、
符号化するマクロブロックの値と予測画像の値の差分デ
ータを演算し、 DCT 回路４に出力する。イントラマク
ロブロックの場合、演算回路３は符号化するマクロブロ
ックの信号を、そのまま DCT 回路４に出力する。

【００１８】DCT 回路４では、入力された信号が、 DCT
（離散コサイン変換）処理され、DCT 係数に変換され
る。このDCT係数は、量子化回路（Ｑ）５に入力され、
送信バッファ７のデータ蓄積量（バッファ蓄積量）に対
応した量子化ステップで量子化された後、量子化データ
が可変長符号化回路（VLC）６に入力される。

【００１９】可変長符号化回路６は、量子化回路５より
供給される量子化ステップ（スケール）に対応して、量
子化回路５より供給される量子化データ（例えば、Ｉピ
クチャのデータ）を、例えばハフマン符号などの可変長
符号に変換し、送信バッファ７に出力する。可変長符号
化回路６にはまた、量子化回路５より量子化ステップ
（スケール）、動きベクトル検出回路２より予測モード
（画像内予測、前方予測、後方予測、または両方向予測
のいずれが設定されたかを示すモード）、および動きベ
クトル、が入力されており、これらも可変長符号化され
る。

【００２０】送信バッファ７は、入力された符号化デー
タを一時蓄積し、蓄積量に対応するデータを量子化回路
５に出力する。送信バッファ７は、そのデータ残量が許
容上限値まで増量すると、量子化制御信号によって量子
化回路５の量子化スケールを大きくすることにより、量
子化データのデータ量を低下させる。また、これとは逆
に、データ残量が許容下限値まで減少すると、送信バッ
ファ７は、量子化制御信号によって量子化回路５の量子
化スケールを小さくすることにより、量子化データのデ
ータ量を増大させる。このようにして、送信バッファ７
のオーバフローまたはアンダフローが防止される。そし
て、送信バッファ７に蓄積された符号化データは、所定
のタイミングで読み出され、ビットストリーム（bitstr
eam）として伝送路に出力される。

【００２１】一方、量子化回路５より出力された量子化
データは、逆量子化回路（ＩＱ）８に入力され、量子化
回路５より供給される量子化ステップに対応して逆量子
化される。逆量子化回路８の出力データ（逆量子化され
ることにより得られたDCT係数）は、IDCT（逆DCT）回路
９に入力される。IDCT回路９は、入力されたDCT係数を
逆DCT処理し、得られた出力データ（差分データ）が演
算回路１０に供給される。演算回路１０は、差分データ
と動き補償回路１２からの予測画像データを加算し、そ
の出力画像データがフレームメモリ(FM)群１１に記憶さ
れる。なお、イントラマクロブロックの場合には、演算
回路１０は、IDCT回路９からの出力データをそのままフ
レームメモリ群１１に供給する。

【００２２】次に、図１６を用いて、MPEG の MP@ML の
デコーダの構成例を説明する。伝送路を介して伝送され
てきた符号化されている画像データ（ビットストリー
ム）は、図示せぬ受信回路で受信されたり、再生装置で
再生され、受信バッファ２１に一時記憶された後、符号
化データとして可変長復号回路（IVLC）２２に供給され
る。可変長復号回路２２は、受信バッファ２１より供給
された符号化データを可変長復号し、動きベクトルと予
測モードを動き補償回路２７に、また、量子化ステップ
を逆量子化回路（ＩＱ）２３に、それぞれ出力するとと
もに、復号された量子化データを逆量子化回路２３に出
力する。

【００２３】逆量子化回路２３は、可変長復号回路２２
より供給された量子化データを、同じく可変長復号回路
２２より供給された量子化ステップに従って逆量子化
し、出力データ（逆量子化されることにより得られたDC
T係数）をIDCT回路２４に出力する。逆量子化回路２３
より出力された出力データ（DCT係数）は、IDCT回路２
４で逆DCT処理され、出力データ（差分データ）が演算
回路２５に供給される。

【００２４】IDCT回路２４より出力された出力データ
が、Ｉピクチャのデータである場合、その出力データが
画像データとして演算回路２５より出力され、演算回路
２５に後に入力される画像データ（ＰまたはＢピクチャ
のデータ）の予測画像データ生成のために、フレームメ
モリ群２６に供給されて、記憶される。また、この画像
データは、そのまま、再生画像として外部に出力され
る。また、IDCT回路２４より出力されたデータがＰまた
はＢピクチャの場合、動き補償回路２７は可変長復号回
路２２より供給される、動きベクトルおよび予測モード
に従って、フレームメモリ群２６に記憶されている画像
データから予測画像データを生成し、演算回路２５に出
力する。演算回路２５では IDCT 回路２４より入力され
る出力データ（差分データ）と動き補償回路２７より供
給される予測画像データを加算し、出力画像データとす
る。またＰピクチャの場合、演算回路２５の出力データ
はまた、フレームメモリ群２６に予測画像データとして
記憶され、次に復号する画像信号の参照画像とされる。

【００２５】MPEG では MP@ML の他に、様々なプロファ
イルおよびレベルが定義され、また各種ツールが用意さ
れている。スケーラビリティも、こうしたツールの１つ
である。また、 MPEGでは、異なる画像サイズやフレー
ムレートに対応する、スケーラビリティを実現するスケ
ーラブル符号化方式が導入されている。例えば、空間ス
ケーラビリティの場合、下位レイヤのビットストリーム
のみを復号する場合、画像サイズの小さい画像信号を復
号し、下位レイヤおよび上位レイヤのビットストリーム
を復号する場合、画像サイズの大きい画像信号を復号す
る。

【００２６】図１７を用いて空間スケーラビリティのエ
ンコーダを説明する。空間スケーラビリティの場合、下
位レイヤは画像サイズの小さい画像信号、また上位レイ
ヤは画像サイズの大きい画像信号に対応する。

【００２７】下位レイヤの画像信号は、まずフレームメ
モリ群１に入力され、MP@ML と同様に符号化される。た
だし、演算回路１０の出力データは、フレームメモリ群
１１に供給され、下位レイヤの予測画像データとして用
いられるだけでなく、画像拡大回路（up sampling）３
１により上位レイヤの画像サイズと同一の画像サイズに
拡大された後、上位レイヤの予測画像データにも用いら
れる。

【００２８】上位レイヤの画像信号はまず、フレームメ
モリ群５１に入力される。動きベクトル検出回路５２は
MP@ML と同様に、動きベクトルおよび予測モードを決
定する。動き補償回路６２は、動きベクトル検出回路５
２によって決定された動きベクトルおよび予測モードに
従って、予測画像データを生成し、重み付加回路（Ｗ）
３４に出力する。重み付加回路３４では予測画像データ
に対して重み W を乗算し、重み予測画像データを演算
回路３３に出力する。

【００２９】演算回路１０の出力データ（画像データ）
は、上述したようにフレームメモリ群１１および画像拡
大回路３１に入力される。画像拡大回路３１では演算回
路１０によって生成された画像データを拡大して上位レ
イヤの画像サイズと同一の大きさにして、重み付加回路
（1-W）３２に出力する。重み付加回路３２では、画像
拡大回路３１の出力データに、重み (1-W) を乗算し、
重み予測画像データとして演算回路３３に出力する。

【００３０】演算回路３３は、重み付加回路３２の出力
データおよび重み付加回路３４の出力データを加算し、
予測画像データとして演算回路５３に出力する。演算回
路３３の出力データはまた、演算回路６０に入力され、
逆 DCT 回路５９の出力データと加算された後、フレー
ムメモリ群６１に入力され、その後、符号化される画像
データの予測参照データフレームとして用いられる。演
算回路５３は、符号化する画像データと演算回路３３の
出力データ（予測画像データ）との差分を計算し、差分
データとして出力する。ただし、フレーム内符号化マク
ロブロックの場合、演算回路５３は符号化する画像デー
タを、そのまま DCT 回路５４に出力する。

【００３１】DCT 回路５４は、演算回路５３の出力デー
タを DCT（離散コサイン変換）処理し、DCT係数を生成
し、そのDCT係数を量子化回路５５に出力する。量子化
回路５５では MP@ML の場合と同様に、送信バッファ５
７のデータ蓄積量などから決定された量子化スケールに
従って DCT 係数を量子化し、量子化データを可変長符
号化回路５６に出力する。可変長符号化回路５６は、量
子化データ（量子化された DCT 係数）を可変長符号化
した後、送信バッファ５７を介して上位レイヤのビット
ストリームとして出力する。

【００３２】量子化回路５５の出力データはまた、量子
化回路５５で用いた量子化スケールで逆量子化回路５８
により逆量子化される。逆量子化回路５８の出力データ
（逆量子化されることにより選られたDCT係数）は、IDC
T回路５９に供給され、IDCT回路５９で逆DCT処理された
後、演算回路６０に入力される。演算回路６０では、演
算回路３３の出力データと逆 DCT 回路５９の出力デー
タ（差分データ）を加算し、その出力データがフレーム
メモリ群６１に入力される。

【００３３】可変長符号化回路５６ではまた、動きベク
トル検出回路５２で検出された動きベクトルおよび予測
モード、量子化回路５５で用いた量子化スケール、並び
に重み付加回路３４および３２で用いた重み W が入力
され、それぞれ符号化され、符号化データとしてバッフ
ァ５７に供給される。その符号化データがバッファ５７
を介してビットストリームとして伝送される。

【００３４】次に、図１８を用いて空間スケーラビリテ
ィのデコーダの一例を説明する。下位レイヤのビットス
トリームは受信バッファ２１に入力された後、MP@ML と
同様に復号される。ただし、演算回路２５の出力データ
は外部に出力され、またフレームメモリ群２６に蓄えら
れて、それ以後復号する画像信号の予測画像データとし
て用いられるだけでなく、画像信号拡大回路８１によ
り、上位レイヤの画像信号と同一の画像サイズに拡大さ
れた後、上位レイヤの予測画像データとしても用いられ
る。

【００３５】上位レイヤのビットストリームは、受信バ
ッファ７１を介して可変長復号回路７２に供給され、可
変長符号が復号される。このとき、DCT 係数とともに、
量子化スケール、動きベクトル、予測モードおよび重み
係数が復号される。可変長復号回路７２により復号され
た量子化データは、復号された量子化スケールを用い
て逆量子化回路７３において逆量子化された後、DCT係
数（逆量子化されることにより得られたDCT係数）がIDC
T回路７４に供給される。そして、DCT係数は、IDCT 回
路７４により逆DCT 処理された後、出力データが演算
回路７５に供給される。

【００３６】動き補償回路７７は、復号された動きベク
トルおよび予測モードに従って、予測画像データを生成
し、重み付加回路８４に入力する。重み付加回路８４で
は、復号された重み W を、動き補償回路７７の出力デ
ータに乗算し、演算回路８３に出力する。

【００３７】演算回路２５の出力データは、下位レイヤ
の再生画像データとして出力され、またフレームメモリ
群２６に出力されると同時に、画像信号拡大回路８１に
より上位レイヤの画像サイズと同一の画像サイズに拡大
された後、重み付加回路８２に出力される。重み付加回
路８２では、画像信号拡大回路８１の出力データに、復
号された重みW を用いて(1-W) を乗算し、演算回路８３
に出力する。

【００３８】演算回路８３は、重み付加回路８４の出力
データおよび重み付加回路８２の出力データを加算し、
演算回路７５に出力する。演算回路７５ではIDCT 回路
７４の出力データおよび演算回路８３の出力データを加
算して、上位レイヤの再生画像として出力するととも
に、フレームメモリ群７６に供給して、その後、復号す
る画像データの予測画像データとして使用する。

【００３９】また、以上においては、輝度信号の処理に
ついて説明したが、色差信号の処理も同様に行われる。
但し、この場合、動きベクトルは、輝度信号用のもの
を、垂直方向および水平方向に１／２にしたものが用い
られる。

【００４０】以上、MPEG 方式について説明したが、こ
の他にも様々な動画像の高能率符号化方式が標準化され
ている。例えば、ITU-T では主に通信用の符号化方式と
して、H.261 や H.263 という方式を規定している。こ
の H.261 や H.263 も基本的には MPEG 方式と同様に動
き補償予測符号化と DCT 変換符号化を組み合わせたも
のであり、ヘッダ情報などの詳細は異なるが、画像信号
符号化装置（エンコーダ）や画像信号復号化装置（デコ
ーダ）は同様の構成となる。

【００４１】また、上述したMPEG方式においても、MPEG
４と呼ばれる、新たな動画像信号の高能率符号化方式の
標準化が進められている。このMPEG４の大きな特徴は、
画像をオブジェクト単位で符号化し（複数の画像に分け
て符号化し）、加工することが可能であることである。
復号側では、各オブジェクトの画像信号、即ち複数の画
像信号を合成して１つの画像を再構成する。

【００４２】複数の画像を合成して１つの画像を構成す
る画像合成システムには、例えば、クロマキーという方
法が用いられる。これは所定の物体を、青などの特定の
一様な色の背景の前で撮影し、青以外の領域をそこから
抽出し、別の画像に合成する方法である。このとき、抽
出した領域を示す信号を key 信号と呼ぶ。

【００４３】次に、図１９を参照して合成画像を符号化
する方法を示す。画像F１は背景であり、また画像F２は
前景である。前景F２は特定の色の背景の前で撮影し、
その色以外の領域を抽出することによって生成した画像
である。その際、抽出した領域を示す信号が key 信号
K１である。合成画像 F３は、これら F１、F２、K１
を用いて合成したものである。この画像を符号化する
場合、通常、F３をそのまま、MPEGなどの符号化方式で
符号化することになる。このとき key 信号などの情報
は失われ、前景F２はそのままで、背景F１のみを変更す
る、といった画像の再編集、再合成は困難となる。

【００４４】これに対して、図２０に示すように、画像
F１、F２および key 信号 K１を、それぞれ別々に符号
化し、それぞれのビットストリームを多重化することに
より画像F３のビットストリームを構成することも可能
である。

【００４５】図２０のようにして、構成したビットスト
リームを復号して合成画像F３を得る方法を図２１に示
す。ビットストリームは逆多重化により、F１、F２およ
びK１のビットストリームに分解され、それぞれが復号
され、復号画像F１'，F２'、および復号 key 信号 K１'
が得られる。このとき、F１'とF２'を key 信号 K１'に
従って合成すれば、復号合成画像 F３'を得ることがで
きる。この場合、ビットストリームのままで、前景F２'
をそのままにして、背景F１'のみを変更するといった、
再編集および再合成が可能となる。

【００４６】上述したように、MPEG４においては、画像
F１、F２といった合成画像を構成する各画像シーケンス
を VO (VideoObject) と呼ぶ。また、 VO のある時刻に
おける画像フレームを VOP（VideoObject Plane）と呼
ぶ。VOPは輝度および色差信号と、並びに key 信号から
構成される。画像フレームは、所定の時刻における１枚
の画像を意味し、画像シーケンスは異なる時刻の画像フ
レームの集合を意味する。即ち、各 VO は異なる時刻の
VOP の集合である。各 VO は時間によって大きさや位
置が異なる。即ち、同じ VO に属する VOP でも大きさ
および位置が異なる。

【００４７】上述したオブジェクト単位で符号化および
復号するエンコーダおよびデコーダの構成を図２２と図
２３に示す。図２２はエンコーダの一例である。入力画
像信号は、まず VO 構成回路１０１に入力される。VO
構成回路１０１は、入力画像を物体ごとに分割して各物
体（VO）を表わす画像信号を出力する。各 VOの画像信
号は、画像信号と key 信号から構成される。VO 構成回
路１０１から出力される画像信号は、各 VO 毎に、 VOP
構成回路１０２−０乃至１０２−ｎに出力される。例
えば、VO ０の画像信号および key 信号は、 VOP 構成
回路１０２−０に入力され、VO １の画像信号および ke
y 信号は、 VOP 構成回路１０２−１に入力され、以下
同様に、 VO n の画像信号および key 信号は、 VOP 構
成回路１０２−ｎに入力される。

【００４８】VO構成回路１０１では、例えば、図２０に
示すようにクロマキーで生成された画像信号の場合、VO
は、そのまま各画像信号およびその key 信号で構成さ
れる。key 信号がないか、失われた画像に対しては、画
像領域分割が行われ、所定の領域が抽出され、key 信号
が生成され、VO とされる。

【００４９】VOP 構成回路１０２−０乃至１０２−ｎ
は、各画像フレームから画像中の物体を含む最小の長方
形の部分を抽出する。ただし、このとき長方形の水平お
よび垂直方向の画素数は１６の倍数とされる。VOP 構成
回路１０２−０乃至１０２−ｎは、上述した長方形に含
まれる画像信号（輝度および色差信号）および key 信
号を抽出し、それらを出力する。また VOP の大きさを
示すフラグ（VOP size）およびその VOP の絶対座標に
おける位置を示すフラグ(VOP POS)を出力する。

【００５０】VOP 構成回路１０２−０乃至１０２−ｎの
出力信号は、 VOP 符号化回路１０３−０乃至１０３−
ｎに入力され、符号化される。VOP 符号化回路１０３−
０乃至１０３−ｎの出力は多重化回路１０４に入力さ
れ、１つのビットストリームに構成され、ビットストリ
ームとして外部に出力される。

【００５１】図２３は、デコーダの一例を示している。
多重化されたビットストリームは、逆多重化回路１１１
により逆多重化され、各 VOのビットストリームに分解
される。各VOのビットストリームは、それぞれ VOP 復
号化回路１１２−０乃至１１２−ｎに入力され、復号さ
れる。VOP 復号化回路１１２−０乃至１１２−ｎは、各
VOP の画像信号、key 信号、VOP の大きさを示すフラ
グ(VOP size)、VOP の絶対座標における位置を示すフラ
グ(VOP POS)を復号し、画像再構成回路１１３に入力す
る。画像再構成回路１１３は、各 VOP の画像信号、key
信号、大きさを示すフラグ(VOP size)、絶対座標にお
ける位置を示すフラグ(VOP POS)を用い、画像を合成
し、再生画像を出力する。

【００５２】次に、図２４を用いて、 VOP 符号化回路
１０３−０（他のVOP符号化回路１０３−１乃至１０３
−ｎも同様に構成されている）の一例を説明する。各 V
OP を構成する画像信号と key 信号は、画像信号符号化
回路１２１と key 信号符号化回路１２２にそれぞれ入
力される。画像信号符号化回路１２１は、例えばMPEG方
式やH.263 といった方式で符号化処理を行う。key 信号
符号化回路１２２は、例えば DPCMなどにより符号化処
理を行う。また、key信号を符号化する際に、画像信号
符号化回路１２１によって検出された動きベクトルを用
いて動き補償を行い、差分信号を符号化する方法もあ
る。key 信号符号化によって発生したビット量は、画像
信号符号化回路１２１に入力され、所定のビットレート
になるように制御される。

【００５３】符号化された画像信号（動きベクトルおよ
びテクスチャ情報）のビットストリームおよび key 信
号のビットストリームは、多重化回路１２３に入力さ
れ、１つのビットストリームに構成され、送信バッファ
１２４を介して出力される。

【００５４】図２５は、VOP復号化回路１１２−０（他
のVOP復号化回路１１２−１乃至１１２−ｎも同様に構
成されている）の構成例を表している。ビットストリー
ムはまず、逆多重化回路１３１に入力され、画像信号
（動きベクトルおよびテクスチャ情報）のビットストリ
ームと key 信号のビットストリームに分解され、画像
信号復号化回路１３２と key 信号復号化回路１３３に
より、それぞれ復号される。この場合において、 key
信号を動き補償して符号化が行われているとき、画像信
号復号化回路１３２によって復号された動きベクトル
は、 key 信号復号化回路１３３に入力され、復号に用
いられる。

【００５５】以上、画像をVOPごとに符号化する方法を
述べたが、こうした方式は、ISO-IEC/JTC1/SC29/WG11
において、 MPEG4 として、現在標準化作業が進められ
ている段階である。しかし、上述したような各VOPを効
率よく符号化する方法は、現在確立しておらず、またス
ケーラビリティといった機能も現在確立していない。

【００５６】以下、画像をオブジェクト単位でスケーラ
ブル符号化する方法に関して説明する。上述したよう
に、レンダリング回路１５５では、画像のフォーマッ
ト、動画であるか静止画であるか、また、その内容に拘
らず、テクスチャメモリ１５２に記録されているテクス
チャをポリゴンに貼り付ける。１つのポリゴンに貼り付
けることが可能なのは、常にメモリに記憶されている１
つのテクスチャであり、１つのポリゴンに複数のテクス
チャを貼り付けることはできない。また、多くの場合、
画像は圧縮して伝送され、端末側で圧縮ビットストリー
ムを復号した後、所定のテクスチャ貼り付け用のメモリ
に格納される。

【００５７】従来の場合、ビットストリームを復号する
ことにより生成される画像信号は、常に１つである。例
えば、MPEGにおけるMP@MLのビットストリームを復号し
た場合、１つの画像シーケンスが復号される。また、MP
EG２におけるスケーラビリティの場合、下位レイヤのビ
ットストリームを復号した場合、低画質の画像が得ら
れ、下位および上位レイヤのビットストリームを復号し
た場合には高画質の画像信号が得られる。いずれの場合
にも１つの画像シーケンスが復号されることになる。

【００５８】ところが、画像をオブジェクト単位で符号
化するMPEG４などの方式の場合は、状況が異なる。即
ち、１つのオブジェクトを複数のビットストリームで構
成する場合があり、このような場合、各ビットストリー
ム毎に、複数の画像が得られる。従って、例えば、VRML
などで記述される３次元オブジェクトにテクスチャを貼
りつけることが出来ない。

【００５９】これを解決する方法として、１つの画像オ
ブジェクト（VO）に１つのVRMLノード（ポリゴン）を割
り当てることが考えられる。例えば、図２１の場合、背
景F１'を１つのノードに割り当て、また前景F２'および
key信号K１'を１つのノードに割り当てることが考えら
れる。しかし、１つの画像オブジェクトが複数のビット
ストリームから構成され、復号時に、複数の画像が生成
される場合、以下のような問題点ががある。これを図２
６乃至図３１を用いて説明する。

【００６０】３階層のスケーラブル符号化を例にとって
説明する。３階層のスケーラブル符号化の場合、下位レ
イヤ（ベースレイヤ）以外に２つの上位レイヤが、即
ち、第１の上位レイヤ（エンハンスメントレイヤ１、以
下、適宜上位レイヤ１という）と第２の上位レイヤ（エ
ンハンスメントレイヤ２、以下、適宜上位レイヤ２とい
う）が存在する。第１の上位レイヤまで復号した画像と
比較して、第２の上位レイヤまで復号した画像は、より
画質が向上している。ここで画質の向上とは、空間スケ
ーラブル符号化の場合、空間解像度であり、時間スケー
ラブル符号化の場合には、フレームレートであり、また
SNR(Single to Noise Ratio)スケーラブル符号化の場
合、画像のSNRである。

【００６１】オブジェクト単位で符号化するMPEG４の場
合、第１の上位レイヤと第２の上位レイヤの関係は次の
いずれかとなる。（１）第２の上位レイヤは第１の上位レイヤの全ての
領域を含む。（２）第２の上位レイヤは第１の上位レイヤの一部の
領域に対応する。（３）第２の上位レイヤは第１の上位レイヤよりも広
い領域に対応する。

【００６２】（３）の関係は３階層以上のスケーラブル
符号化を行う場合に存在する。これは、第１の上位レイ
ヤは下位レイヤの一部領域に対応し、かつ第２の上位レ
イヤは下位レイヤの全ての領域を含む場合、または第１
の上位レイヤは下位レイヤの一部領域に対応し、第２の
上位レイヤは第１の上位レイヤよりも広い領域に対応
し、かつ、下位レイヤの一部の領域に対応する場合であ
る。（３）の関係の場合、第１の上位レイヤまで復号す
ると、下位レイヤの画像の一部のみが画質改善され、第
２の上位レイヤまで復号すると、さらに広い領域または
下位レイヤの画像の全ての領域の画質が改善される。
（３）の関係においては、VOPの形状は長方形であって
も、任意形状であってもよい。

【００６３】図２６乃至図３１は３階層の空間スケーラ
ブル符号化の例を示している。図２６は、（１）の関係
における空間スケーラビリティでVOPの形状がいずれも
長方形である場合の一例を示している。また、図２７
は、（２）の関係における空間スケーラビリティで、VO
Pの形状が長方形である場合の一例を示している。さら
に、図２８は、（３）の関係における空間スケーラビリ
ティで、全てのレイヤのVOPの形状が長方形である場合
の一例を示している。また、図２９は、（３）の関係に
おける空間スケーラビリティで、第１の上位レイヤのVO
Pの形状が任意の形状であり、下位レイヤと第２の上位
レイヤのVOPの形状が長方形である場合の一例を示して
いる。図３０と図３１は、（１）の関係における空間ス
ケーラビリティで、VOPの形状が、それぞれ長方形と任
意の形状である場合の一例を示している。

【００６４】ここで、図２６に示すように、画像全体の
画質が向上する場合は、従来のMPEG２などのスケーラブ
ル符号化と同様で、最も高い画質の画像を１枚表示すれ
ば十分である。しかし、オブジェクト単位で符号化する
MPEG４には、図２７、図２８、図２９に示すような場合
が存在する。例えば、図２７の場合、下位レイヤおよび
上位レイヤ１，２のビットストリームを復号した場合、
下位レイヤおよび上位レイヤ１の画像を解像度変換した
後、解像度変換後の２つの画像シーケンスを、上位レイ
ヤ２の復号画像シーケンスと合成して画像全体を再構成
することになる。また、図２９の場合、上位レイヤ１お
よび下位レイヤのみを復号し、上位レイヤ１の画像のみ
を出力し、他のビットストリームから復号される別の画
像シーケンスと合成してもよい。

【００６５】

【発明が解決しようとする課題】上述したように、オブ
ジェクト単位で画像を符号化する場合、単に、１つのオ
ブジェクトに１つのノードを割り当てるだけの方法で
は、１つのオブジェクトに対して複数の画像が生成され
ると、その画像をテクスチャとしてオブジェクトに貼り
付けることができなくなる課題があった。

【００６６】本発明はこのような状況に鑑みてなされた
ものであり、１つのオブジェクトに対して複数の画像が
生成された場合においても、その画像をテクスチャとし
てオブジェクトに確実に貼り付けることができるように
するものである。

【００６７】

【課題を解決するための手段】請求項１に記載の画像信
号多重化装置は、所定のオブジェクトを記述する空間構
成情報を選択するとともに、異なる質を有する複数の階
層のビットストリームのうち所定のオブジェクトを構成
するストリームを選択する選択手段と、選択手段により
選択されたビットストリームで構成されるオブジェクト
に関する情報を生成する生成手段と、選択手段により選
択された空間構成情報とビットストリーム、並びに生成
手段により生成されたオブジェクトに関する情報を多重
化して出力する多重化手段とを備えることを特徴とす
る。

【００６８】請求項３に記載の画像信号多重化方法は、
所定のオブジェクトを記述する空間構成情報を選択する
とともに、異なる質を有する複数の階層のビットストリ
ームのうち所定のオブジェクトを構成するストリームを
選択する選択ステップと、選択ステップで選択されたビ
ットストリームで構成されるオブジェクトに関する情報
を生成する生成ステップと、選択ステップで選択された
空間構成情報とビットストリーム、並びに生成ステップ
で生成されたオブジェクトに関する情報を多重化して出
力する多重化ステップとを備えることを特徴とする。

【００６９】請求項５に記載の伝送媒体は、所定のオブ
ジェクトを記述する空間構成情報を選択するとともに、
異なる質を有する複数の階層のビットストリームのうち
所定のオブジェクトを構成するストリームを選択する選
択ステップと、選択ステップで選択されたビットストリ
ームで構成されるオブジェクトに関する情報を生成する
生成ステップと、選択ステップで選択された空間構成情
報とビットストリーム、並びに生成ステップで生成され
たオブジェクトに関する情報を多重化して出力する多重
化ステップとを含むプログラムを伝送することを特徴と
する。

【００７０】請求項６に記載の画像信号多重化装置は、
所定のオブジェクトを記述する空間構成情報、所定のオ
ブジェクトを構成する、異なる質を有する複数の階層の
ビットストリーム、および異なるビットストリーム間で
の依存関係を表す依存情報を少なくとも含むオブジェク
トに関する情報を出力する出力手段と、出力手段より出
力された空間構成情報、複数の階層のビットストリー
ム、およびオブジェクトに関する情報を多重化して出力
する多重化手段とを備えることを特徴とする。

【００７１】請求項８に記載の画像信号多重化方法は、
所定のオブジェクトを記述する空間構成情報、所定のオ
ブジェクトを構成する、異なる質を有する複数の階層の
ビットストリーム、および異なるビットストリーム間で
の依存関係を表す依存情報を少なくとも含むオブジェク
トに関する情報を出力する出力ステップと、出力ステッ
プで出力された空間構成情報、複数の階層のビットスト
リーム、およびオブジェクトに関する情報を多重化して
出力する多重化ステップとを含むことを特徴とする。

【００７２】請求項１０に記載の伝送媒体は、所定のオ
ブジェクトを記述する空間構成情報、所定のオブジェク
トを構成する、異なる質を有する複数の階層のビットス
トリーム、および異なるビットストリーム間での依存関
係を表す依存情報を少なくとも含むオブジェクトに関す
る情報を出力する出力ステップと、出力ステップで出力
された空間構成情報、複数の階層のビットストリーム、
およびオブジェクトに関する情報を多重化して出力する
多重化ステップとを含むプログラムを伝送することを特
徴とする。

【００７３】請求項１１に記載の画像信号逆多重化装置
は、オブジェクトを記述する空間構成情報、オブジェク
トを構成する、異なる質を有する複数の階層のビットス
トリーム、およびオブジェクトに関する情報が多重化さ
れた多重化ビットストリームから、オブジェクトを記述
する空間構成情報、オブジェクトを構成する複数の階層
のビットストリーム、およびオブジェクトに関する情報
をそれぞれ分離する分離手段と、空間構成情報を解析す
る解析手段と、複数の階層のビットストリームをデコー
ドするデコード手段と、デコード手段によりデコードさ
れた出力信号のうち、同一のオブジェクトに対応する出
力信号を混合する混合手段と、オブジェクトに関する情
報に基づいて、解析された出力データと混合された出力
信号から画像信号を再構成する再構成手段とを備えるこ
とを特徴とする。

【００７４】請求項１３に記載の画像信号逆多重化方法
は、オブジェクトを記述する空間構成情報、オブジェク
トを構成する、異なる質を有する複数の階層のビットス
トリーム、およびオブジェクトに関する情報が多重化さ
れた多重化ビットストリームから、オブジェクトを記述
する空間構成情報、オブジェクトを構成する複数の階層
のビットストリーム、およびオブジェクトに関する情報
をそれぞれ分離する分離ステップと、空間構成情報を解
析する解析ステップと、複数の階層のビットストリーム
をデコードするデコードステップと、デコードステップ
での出力信号のうち、同一のオブジェクトに対応する出
力信号を混合する混合ステップと、オブジェクトに関す
る情報に基づいて、解析された出力データと混合された
出力信号から画像信号を再構成する再構成ステップとを
含むことを特徴とする。

【００７５】請求項１５に記載の伝送媒体は、オブジェ
クトを記述する空間構成情報、オブジェクトを構成す
る、異なる質を有する複数の階層のビットストリーム、
およびオブジェクトに関する情報が多重化された多重化
ビットストリームから、オブジェクトを記述する空間構
成情報、オブジェクトを構成する複数の階層のビットス
トリーム、およびオブジェクトに関する情報をそれぞれ
分離する分離ステップと、空間構成情報を解析する解析
ステップと、複数の階層のビットストリームをデコード
するデコードステップと、デコードステップでの出力信
号のうち、同一のオブジェクトに対応する出力信号を混
合する混合ステップと、オブジェクトに関する情報に基
づいて、解析された出力データと混合された出力信号か
ら画像信号を再構成する再構成ステップとを含むプログ
ラムを伝送することを特徴とする。

【００７６】請求項１６に記載の画像信号逆多重化装置
は、オブジェクトを記述する空間構成情報、オブジェク
トを構成する、異なる質を有する複数の階層のビットス
トリーム、および異なるビットストリーム間での情報の
依存関係を示す依存情報を少なくとも含むオブジェクト
に関する情報が多重化されて伝送される多重化ビットス
トリームから、空間構成情報、オブジェクトを構成する
複数の階層のビットストリーム、およびオブジェクトに
関する情報を分離する分離手段と、依存情報に基づい
て、所定のオブジェクトを記述する空間構成情報、また
はオブジェクトを構成する複数の階層のビットストリー
ムを選択するために分離手段を制御する制御手段と、選
択された空間構成情報を解析する解析手段と、複数の階
層のビットストリームをデコードするデコード手段と、
デコード手段によりデコードされた出力信号のうち、同
一のオブジェクトに対応する出力信号を混合する混合手
段と、オブジェクトに関する情報に基づいて、解析手段
により解析された出力データと混合手段により混合され
た出力信号から画像信号を再構成する再構成手段とを備
えることを特徴とする。

【００７７】請求項１８に記載の画像信号逆多重化方法
は、オブジェクトを記述する空間構成情報、オブジェク
トを構成する、異なる質を有する複数の階層のビットス
トリーム、および異なるビットストリーム間での情報の
依存関係を示す依存情報を少なくとも含むオブジェクト
に関する情報が多重化されて伝送される多重化ビットス
トリームから、空間構成情報、オブジェクトを構成する
複数の階層のビットストリーム、およびオブジェクトに
関する情報を分離する分離ステップと、依存情報に基づ
いて、所定のオブジェクトを記述する空間構成情報、ま
たはオブジェクトを構成する複数の階層のビットストリ
ームを選択するために分離ステップでの処理を制御する
制御ステップと、選択された空間構成情報を解析する解
析ステップと、複数の階層のビットストリームをデコー
ドするデコードステップと、デコードステップでデコー
ドされた出力信号のうち、同一のオブジェクトに対応す
る出力信号を混合する混合ステップと、オブジェクトに
関する情報に基づいて、解析ステップで解析された出力
データと混合ステップで混合された出力信号から画像信
号を再構成する再構成ステップとを含むことを特徴とす
る。

【００７８】請求項２０に記載の伝送媒体は、オブジェ
クトを記述する空間構成情報、オブジェクトを構成す
る、異なる質を有する複数の階層のビットストリーム、
および異なるビットストリーム間での情報の依存関係を
示す依存情報を少なくとも含むオブジェクトに関する情
報が多重化されて伝送される多重化ビットストリームか
ら、空間構成情報、オブジェクトを構成する複数の階層
のビットストリーム、およびオブジェクトに関する情報
を分離する分離ステップと、依存情報に基づいて、所定
のオブジェクトを記述する空間構成情報、またはオブジ
ェクトを構成する複数の階層のビットストリームを選択
するために分離ステップでの処理を制御する制御ステッ
プと、選択された空間構成情報を解析する解析ステップ
と、複数の階層のビットストリームをデコードするデコ
ードステップと、デコードステップでデコードされた出
力信号のうち、同一のオブジェクトに対応する出力信号
を混合する混合ステップと、オブジェクトに関する情報
に基づいて、解析ステップで解析された出力データと混
合ステップで混合された出力信号から画像信号を再構成
する再構成ステップとを含むプログラムを伝送すること
を特徴とする。

【００７９】請求項１の画像信号多重化装置、請求項３
の画像信号多重化方法、並びに請求項５の伝送媒体にお
いては、所定のオブジェクトを記述する空間構成情報が
選択されるとともに、異なる質を有する複数の階層のビ
ットストリームのうち所定のオブジェクトを構成するス
トリームが選択され、選択されたビットストリームで構
成されるオブジェクトに関する情報が生成され、選択さ
れた空間構成情報、選択されたビットストリーム、およ
び生成されたオブジェクトに関する情報が多重化され、
出力される。

【００８０】また、請求項６の画像信号多重化装置、請
求項８の画像信号多重化方法、並びに請求項１０の伝送
媒体においては、所定のオブジェクトを記述する空間構
成情報、所定のオブジェクトを構成する、異なる質を有
する複数の階層のビットストリーム、および異なるビッ
トストリーム間での依存関係を表す依存情報を少なくと
も含む所定のオブジェクトに関する情報が出力され、出
力された空間構成情報、複数の階層のビットストリー
ム、およびオブジェクトに関する情報が多重化して出力
される。

【００８１】さらに、請求項１１の画像信号逆多重化装
置、請求項１３の画像信号逆多重化方法、並びに請求項
１５の伝送媒体においては、オブジェクトを記述する空
間構成情報、オブジェクトを構成する、異なる質を有す
る複数の階層のビットストリーム、およびオブジェクト
に関する情報が多重化された多重化ビットストリームか
ら、所定のオブジェクトを記述する空間構成情報、オブ
ジェクトを構成する複数の階層のビットストリーム、お
よびオブジェクトに関する情報がそれぞれ分離され、空
間構成情報が解析され、複数の階層のビットストリーム
がデコードされ、デコードされた出力信号のうち、同一
のオブジェクトに対応する出力信号が混合され、オブジ
ェクトに関する情報に基づいて、解析された出力データ
と混合された出力信号から画像信号が再構成される。

【００８２】また、請求項１６の画像信号逆多重化装
置、請求項１８の画像信号逆多重化方法、並びに請求項
２０の伝送媒体においては、オブジェクトを記述する空
間構成情報、オブジェクトを構成する、異なる質を有す
る複数の階層のビットストリーム情報、および異なるビ
ットストリーム間での情報の依存関係を示す依存情報を
少なくとも含むオブジェクトに関する情報が多重化され
て伝送される多重化ビットストリームから、空間構成情
報、オブジェクトを構成する複数の階層のビットストリ
ーム、およびオブジェクトに関する情報が分離され、依
存情報に基づいて、所定のオブジェクトを記述する空間
構成情報、オブジェクトを構成する複数の階層のビット
ストリームを選択するように制御され、選択された空間
構成情報が解析され、複数の階層のビットストリームが
デコードされ、デコードされた出力信号のうち、同一の
オブジェクトに対応する出力信号が混合され、オブジェ
クトに関する情報に基づいて、解析された出力データと
混合された出力信号から画像信号が再構成される。

【００８３】

【発明の実施の形態】以下に本発明の実施の形態を説明
する。まず、第１の実施の形態におけるビットストリー
ム多重化装置および逆多重化装置を図１を用いて説明す
る。なお、以下の説明においては、符号化されたオーデ
ィオおよびビデオのビットストリーム（Elementary Str
eam（ＥＳ））は、予め、所定の記憶装置２０２に記録
されているものとして説明するが、ビデオおよびオーデ
ィオの符号化装置から、記憶装置２０２を通さずに、ビ
ットストリームを多重化回路２０３に直接入力してもよ
い。また、以下、符号化および復号化方式は、MPEG４方
式を想定して説明するが、画像を複数画像に分割して符
号化する方式であれば、全て同様に適用可能である。

【００８４】記憶装置２０２には、各AV（オーディオお
よびビデオ）オブジェクトに対応しているビットストリ
ームES(Elementary Stream)、各ビットストリームをデ
コードするために必要なオブジェクトストリーム情報O
I、および２次元または３次元のシーン（伝送する画像
により構成される仮想的空間）を記述するシーン記述子
SD（Scene Descriptor）が記録されている。ここで、オ
ブジェクトストリーム情報OIは、例えば、デコードする
ために必要なバッファサイズ、各アクセスユニット（フ
レームあるいはVOP）のタイムスタンプなどを含んでい
る。詳細については後述する。

【００８５】オブジェクト情報OIには、各AV（オーディ
オおよびビデオ）オブジェクトに対応しているビットス
トリームＥＳの情報が全て記載されている。オブジェク
ト記述子発生回路２０４は、記憶装置２０２より供給さ
れるオブジェクト情報OIに対応して、オブジェクト記述
子OD（Object Descriptor）を発生する。

【００８６】多重化回路２０３は、記憶装置２０２に記
録されているビットストリームＥＳおよびシーン記述子
SD、並びに、オブジェクト記述子発生回路２０４より供
給されるオブジェクト記述子ODを、所定の順番で多重化
し、多重化ビットストリームＦＳを伝送する。

【００８７】ここで、各オブジェクトを形成するビット
ストリームの構成について説明する。例えば図２１に示
されるようなシーンは、背景F１'および前景F２'の２つ
のオブジェクトから構成される。ただし、key信号K1'
および前景F２'は１つのビットストリームＥＳで構成さ
れる。従って、図２１の場合、２つのビデオオブジェク
トVOから構成され、スケーラブル符号化を用いない場
合、それぞれのVOは１つのビットストリームＥＳから構
成される。

【００８８】また、図２６乃至図２９の場合、フレーム
は１つのビデオオブジェクトVOから構成される。ただ
し、この場合、スケーラブル符号化を行っているため、
１つのビデオオブジェクトVOは３つのビットストリーム
ＥＳから構成される。図２６乃至図２９は、３階層のス
ケーラブル符号化の例を示しているが、階層の数は任意
で良い。

【００８９】また、図３０および図３１では、シーンが
背景（図３０）および前景（図３１）の２つのビデオオ
ブジェクトVOから構成され、それぞれのビデオオブジェ
クトVOは、３つのビットストリームＥＳから構成されて
いる。

【００９０】ユーザは端末から要求信号を送ることによ
り、どのビデオオブジェクトを表示するか、またスケー
ラブル符号化の場合、どのレイヤを表示するかを、任意
に設定することが可能である。

【００９１】図１の実施の形態においては、ユーザは図
示せぬ外部の端末より、必要なビデオオブジェクトとビ
ットストリームを特定する要求信号ＲＥＱを送信側に送
信する。要求信号ＲＥＱは、ストリームコントロール回
路２０１に供給される。各ビデオオブジェクトのビット
ストリームのオブジェクトストリーム情報OIは記憶装置
２０２に記録されている。上述したように、オブジェク
トストリーム情報OIは、例えば所定のオブジェクトが、
幾つのビットストリームから構成されているかを示す情
報、各ビットストリームを復号するために必要な情報、
バッファサイズ、復号に際して他にどのビットストリー
ムが必要か、といった情報を含んでいる。

【００９２】ストリームコントロール回路２０１は、要
求信号ＲＥＱに従って、記憶装置２０２から供給される
オブジェクトストリーム情報OIを参照して、どのビット
ストリームを伝送するかを決定し、ストリーム要求信号
ＳＲＥＱを多重化回路２０３、記憶装置２０２、および
オブジェクト記述子発生回路２０４に供給する。また、
記憶装置２０２は、ストリーム要求信号ＳＲＥＱに従っ
て、所定のビットストリームＥＳおよびシーン記述子SD
を読み出し、多重化回路２０３に出力する。

【００９３】オブジェクト記述子発生回路２０４は、ス
トリーム要求信号ＳＲＥＱに従って、記憶装置２０２に
記録されている各オブジェクト（VO）のビットストリー
ムに関するオブジェクトストリーム情報OIを読み出し、
ストリーム要求信号ＳＲＥＱにより要求されたビットス
トリームの情報のみをオブジェクト記述子ODとして抽出
する。また、オブジェクト記述子発生回路は２０４は、
どのオブジェクトに対応するかを示すID番号OD_IDを生
成して、オブジェクト記述子ODに書き込む。例えば、図
２６の場合で、所定のオブジェクトに対して、下位レイ
ヤおよび上位レイヤ１のみが要求されたとき、オブジェ
クト記述子発生回路２０４は、下位レイヤおよび上位レ
イヤ１の情報のみをオブジェクトストリーム情報OIから
抽出し、オブジェクト記述子ODとするとともに、そのオ
ブジェクトを示すID番号OD_IDを生成して、それをオブ
ジェクト記述子ODに書き込む。そして、このように生成
されたオブジェクト記述子ODが多重化回路２０３に供給
される。オブジェクト記述子ODおよびオブジェクトスト
リーム情報OIのシンタクス、並びにシーン記述子SDの詳
細は後述する。

【００９４】次に、図２を用いて多重化回路２０３の動
作を説明する。多重化回路２０３には、ストリーム要求
信号ＳＲＥＱに従って、伝送するビットストリームＥＳ
１乃至ＥＳｎが供給される。各ビットストリームＥＳ１
乃至ＥＳｎはスイッチ２３１に供給される。またシーン
記述子SDおよびオブジェクト記述子ODも同様に、スイッ
チ２３１に供給される。さらに、多重化回路２０３には
スタートコード発生回路２３２が設けられており、スタ
ートコード発生回路２３２にて発生されたスタートコー
ドもスイッチ２３１に供給される。スイッチ２３１は、
所定の順番で接続を切り替えことにより得られたデータ
を多重化ビットストリームＦＳとして外部に出力する。

【００９５】多重化ビットストリームＦＳとして、ま
ず、スタートコード発生回路２３２で発生したスタート
コードが出力される。次に、スイッチ２３１の接続が切
り替えられ、シーン記述子SDが出力される。シーン記述
子SDが出力された後、スイッチ２３１の接続が再び切り
替えられ、オブジェクト記述子ODが出力される。オブジ
ェクト記述子ODは、オブジェクトの数だけ存在するた
め、そのオブジェクトの数だけオブジェクト記述子が出
力される。図２には、オブジェクトの数が３個である場
合が示されている。オブジェクト記述子ODが出力された
後、スイッチ２３１の接続が再び切り替えられ、ビット
ストリームＥＳ１乃至ＥＳｎがそれぞれ所定のデータサ
イズ毎に選択され、出力される。多重化されたビットス
トリームＥＳは、図１に示されるように、所定の伝送路
を経由した後、逆多重化回路２０５に供給される。

【００９６】次に、逆多重化回路２０５の詳細について
図３を用いて説明する。まず、多重化ビットストリーム
ＦＳがスイッチ２４１に供給される。スイッチ２４１
は、まず、スタートコードを検出することにより、以降
の各データを認識する。スタートコードを検出した後、
スイッチ２４１からシーン記述子SDが読み出されて出力
される。次に、スイッチ２４１の接続が変更され、オブ
ジェクト記述子ODが読み出されて出力される。オブジェ
クト記述子ODは、オブジェクトの数だけ存在し、順次出
力される。全てのオブジェクト記述子ODが出力された
後、スイッチ２４１の接続が再び変更され、各ビットス
トリームＥＳ１乃至ＥＳｎが所定の接続に従って読み出
されて出力される。

【００９７】読み出されたシーン記述子SDは、図１に示
されるように、構文解析回路（パーサ）２０８に供給さ
れ、解析される。構文解析されたシーン記述は、３次元
オブジェクト情報として再構成回路２０９に供給され
る。３次元オブジェクト情報は、実際には、ノードやポ
リゴンなどの情報から構成されているが、以下の説明で
は、適宜ノードと記載して説明する。

【００９８】また、読み出されたオブジェクト記述子OD
は、図１に示されるように、構文解析回路（パーサ）２
０６に供給され、解析される。構文解析回路２０６は、
必要なデコーダの種類と数を同定し、必要なデコーダ２
０７−１乃至２０７−ｎに各ビットストリームＥＳ１乃
至ＥＳｎを逆多重化回路２０５から供給させるようにす
る。また、オブジェクト記述子ODから各ビットストリー
ムを復号するために必要なバッファ量などが読み出さ
れ、構文解析回路２０６から各デコーダ２０７−１乃至
２０７−ｎに出力される。各デコーダ２０７−１乃至２
０７−ｎは、構文解析回路２０６から供給された（つま
り、オブジェクト記述子ODにより伝送された）バッファ
サイズなどの初期化情報に基づき、初期化される。ま
た、構文解析回路２０６は、各ビットストリームＥＳ１
乃至ＥＳｎが、どのオブジェクトに所属するものなのか
を同定するために、各オブジェクト記述子ODのID番号OD
_IDを読み出す。そして、各オブジェクト記述子ODのＩ
Ｄ番号OD_IDが、構文解析回路２０６からオブジェクト
記述子ODに記載されているビットストリームを復号する
デコーダ２０７−１乃至２０７−ｎに対して、出力され
る。

【００９９】各デコーダ２０７−１乃至２０７−ｎは、
エンコードに対応する所定のデコード方法に基づきビッ
トストリームを復号し、ビデオまたはオーディオ信号
を、再構成回路２０９に出力する。また、各デコーダ２
０７−１乃至２０７−ｎは、その画像がどのオブジェク
トに所属するものかを示すID番号OD_IDを再構成回路２
０９に出力する。また、各デコーダ２０７−１乃至２０
７−ｎは、画像信号の場合、その位置および大きさを示
す信号（POS, SZ）をビットストリームから復号し、再
構成回路２０９に出力する。さらに、デコーダ２０７−
１乃至２０７−ｎは、画像信号の場合、透過度を示す信
号（key信号）をビットストリームから復号し、再構成
回路２０９に出力する。

【０１００】次に、画像を再構成するための各信号の対
応関係および再構成回路２０９について、図４および図
５を用いて説明する。図４はスケーラブル符号化を行わ
ない場合の例を示し、また図５はスケーラブル符号化を
行った場合の例を示す。

【０１０１】図４において、再構成回路２０９は、合成
回路２５２から構成されており、その合成回路２５２に
生成された画像信号がディスプレイ２５１に供給されて
表示される。なお、図４において、合成回路２５２とデ
ィスプレイ２５１が再構成回路２０９として示されてい
るが、これは合成回路２５２で構成された画像がどのよ
うにディスプレイ２５１に示されるかを示すためであ
り、実際には、再構成回路２０９に中にディスプレイは
含まれない。

【０１０２】図４では、ディスプレイ２５１の画面に、
長方形の画像シーケンスとＣＧにより生成された３角錐
が表示されている。３角錐のオブジェクトにはまた、復
号されたテクスチャが貼り付けられている。ここで、テ
クスチャは動画でもよいし、静止画でもよい。

【０１０３】図４には、シーン記述子SDと出力画面との
対応が示されている。シーン記述子SDとしては、例え
ば、VRMLなどの記述子が用いられる。シーン記述子SD
は、ノードと呼ばれる記述群から構成される。画像全体
に各オブジェクトをどのように配置するかを記述した親
（ルート）ノードSD０がある。その子ノードとして、３
角錐に関する情報を記述するノードSD１がある。また、
ルートノードSD０の子ノードとしてのノードSD２に、画
像が貼り付けられる長方形の平面に関する情報が記載さ
れている。図４の例の場合、画像信号が３つのビデオオ
ブジェクトVOから構成されている。第１のビデオオブジ
ェクトVOとしての背景に関する情報はノードSD２に記載
されている。また、第２のビデオオブジェクトVOとして
の太陽を貼り付けるための平面に関する情報がノードSD
３に記載されている。さらに第３のビデオオブジェクト
VOとしての人物を貼り付ける平面に関する情報がノード
SD４に記載されている。ノードSD３およびSD４はノード
SD２の子ノードとなる。

【０１０４】従って、ノードSD０乃至SD４により１つの
シーン記述子SDが構成されている。各ノードSD０乃至SD
４はそれぞれ１つの３次元または２次元のオブジェクト
に対応する。図４の例の場合、ノードSD０はシーン全体
のオブジェクトに、ノードSD１は３角錐のオブジェクト
に、ノードSD２は背景のオブジェクトに、ノードSD３は
太陽のオブジェクトに、ノードSD４は人物のオブジェク
トに、それぞれ対応している。各ノードにテクスチャを
貼り付ける場合、それぞれのノードにどのビットストリ
ームが対応するかを示すフラグが必要となる。これを同
定するために、各ノードには、対応するビットストリー
ムのデコーダから供給されるオブジェクト記述子のＩＤ
番号OD_IDが記載される。これにより１つのノードには
１つのオブジェクト記述子ODが対応することになる。こ
れにより、１つの２次元または３次元オブジェクトには
１つのビデオオブジェクトVOが貼り付けられることにな
る。

【０１０５】シーン記述子SDを構成する各ノードSD０乃
至SD４は、構文解析回路２０８により解釈され、３次元
オブジェクト情報として再構成回路２０９の合成回路２
５２に供給される。また、各デコーダ２０７−１乃至２
０７−４には、逆多重化回路２０５よりビットストリー
ムＥＳ１乃至ＥＳ４が供給され、また、構文解析回路２
０６から対応するオブジェクト記述子ODのＩＤ番号OD_I
Dが供給される。各デコーダ２０７−１乃至２０７−４
はビットストリームを復号した後、ID番号OD_IDと復号
信号（画像もしくはオーディオ）の他、画像の場合、ke
y信号、並びに画像の位置および大きさを示す信号(POS,
SZ)を復号信号として再構成回路２０９の合成回路２５
２に供給する。ここで、画像の位置とは、そのノードの
属する１つ上の親ノードとの相対位置を意味する。

【０１０６】合成回路２５２の構成例は図６に示されて
いる。なお、図６において、図１４に示した場合と対応
する部分には、同一の符号を付してある。入力される３
次元オブジェクト情報（ノードSD０乃至SD４や各ポリゴ
ン情報を含む）、画像信号（Texture）、key 信号（key
signal）、ID番号OD_ID、位置および大きさを示す信号
(POS, SZ)は、それぞれ、オブジェクト合成回路２７１
−１乃至２７１−ｎに供給される。１つのノードSDｉに
は１つのオブジェクト合成回路２７１−ｉが対応する
（ｉ＝１，２，３，・・・，ｎ）。オブジェクト合成回
路２７１−ｉはノードSDｉに示されるID番号OD_IDを持
つ復号信号をデコーダ２０７−ｉより受け取り、画像信
号の場合、生成する２次元または３次元のオブジェクト
に貼り付ける。なお、上述したように、ID番号OD_IDと
復号信号が対応するオブジェクト合成回路２７１−ｉに
供給される際に、各復号信号がどのノードに対応するか
を探索しなければならない。従って、再構成回路２０９
に供給されたID番号OD_IDとノードが含まれているID番
号OD_IDとを照合することにより、対応関係を認識す
る。そして、その認識結果に基づいて、復号信号が対応
するノードが供給されるオブジェクト合成回路２７１−
ｉに供給される。

【０１０７】デコーダ２０７−ｉより供給される、貼り
付けるテクスチャ（画像信号）とその透過度を表す信号
（key信号）およびその位置と大きさを示す信号（VOP,
SZ）は、メモリ群１５１−ｉの所定の領域に記憶され
る。また同様に、構文解析回路２０８から供給されるノ
ード（２次元または３次元オブジェクト情報）はメモリ
群１５１−ｉの所定の記憶領域に記憶される。テクスチ
ャ（画像信号）はテクスチャメモリ１５２−ｉに、透過
度を表す信号(key signal)およびID番号OD_IDはグレー
スケールメモリ１５３−ｉに、またノードは３次元情報
メモリ１５４−ｉに、それぞれ記憶される。ID番号OD_I
Dは、オブジェクトを識別するために供給され、使用さ
れる。さらに、位置および大きさを示す信号(POS, SZ)
は、いずれのメモリに記憶されてもよいが、例えば、こ
の例の場合、グレースケールメモリ１５３−ｉに記憶さ
れる。ここで、３次元オブジェクト情報とは、ポリゴン
の形成情報や照明情報などである。位置および大きさを
示す信号は、メモリ群１５１−ｉ中の所定の位置に記憶
される。

【０１０８】レンダリング回路１５５−ｉは３次元情報
メモリ１５４−ｉに記録されているノードに基づき、２
次元または３次元オブジェクトをポリゴンにより形成す
る。レンダリング回路１５５−ｉは、テクスチャメモリ
１５２−ｉおよびグレースケールメモリ１５３−ｉより
所定のテクスチャおよび透過度を示す信号を読み込み、
生成した３次元オブジェクトに貼り付ける。透過度を表
す信号は、対応する位置のテクスチャの透過度を示して
おり、対応する位置のテクスチャが貼り付けられた位置
のオブジェクトの透明度を示すことになる。レンダリン
グ回路１５５−ｉはテクスチャを貼り付けた信号を２次
元変換回路１５６に供給する。また画像の位置および大
きさを示す信号（親ノードとの相対位置）は、同様に、
メモリ群１５１−ｉの所定の位置（この例の場合、グレ
ースケールメモリ１５３−ｉ）から読み出され、２次元
変換回路１５６に出力される。

【０１０９】２次元変換回路１５６には、ノードの数だ
けのオブジェクト合成回路２７１−１乃至２７１−ｎか
ら、テクスチャを貼り付けた２次元または３次元のオブ
ジェクトが供給される。２次元変換回路１５６では、外
部より供給される視点情報並びに画像の位置および大き
さを示す信号(POS, SZ)に基づき、３次元オブジェクト
を２次元平面に写像して、２次元画像信号に変換する。
２次元画像信号に変換された３次元オブジェクトは、さ
らにディスプレイ２５１に出力され、表示される。な
お、全てのオブジェクトが２次元オブジェクトの場合、
各レンダリング回路１５５−１乃至１５５−ｎからの出
力データが、その透過度（key 信号）並びに画像の位
置および大きさを示す信号に従って合成され、出力され
る。この場合、視点による変換は行われない。

【０１１０】次に、図５のスケーラブル符号化を行った
場合の例を説明する。この場合、再構成回路２０９は、
混合回路２６１および合成回路２５２から構成されてお
り、その混合回路２６１および合成回路２５２で生成さ
れた画像信号がディスプレイ２５１に供給されて表示さ
れる。なお、図５においても図４と同様に、混合回路２
６１および合成回路２５２とディスプレイ２５１が再構
成回路２０９として示されているが、これは混合回路２
６１および合成回路２５２で構成された画像がどのよう
にディスプレイ２５１に示されるかを示すためであり、
実際には、再構成回路２０９中にディスプレイは含まれ
ない。また、図５の例では、ディスプレイ２５１に、長
方形の画像シーケンスと、ＣＧにより生成された３角錐
が表示されている。３角錐のオブジェクトにはまた、復
号されたテクスチャが貼り付けられている。ここで、テ
クスチャは動画でもよいし、静止画でもよい。

【０１１１】図５には、シーン記述子SDと出力画面との
対応が示されている。図５の場合、画像全体に各オブジ
ェクトをどのように配置するかを記述した親ノードSD０
がある。それの子ノードとして、３角錐に関する情報が
記述されているノードSD１、および画像が貼り付けられ
る長方形の平面に関する情報が記述されているノードSD
２が存在する。この図５のノードSD２が対応する画像信
号は図４の例の場合とは異なり、１つのビデオオブジェ
クトVOから構成されている。ただし、図５の場合、ノー
ドSD２が対応する画像は、３階層のスケーラブル符号化
が行われており、３つのビデオオブジェクトレイヤから
ビデオオブジェクトVOが構成されているものとする。な
お、図５では３階層の例を説明するが階層の数は任意で
良い。

【０１１２】シーン記述子SDを構成する各ノードSD０乃
至SD２は、構文解析回路２０８により解釈され、解析結
果が合成回路２５２に供給される。各デコーダ２０７−
１乃至２０７−４には、逆多重化回路２０５よりビット
ストリームＥＳ１乃至ＥＳｎが供給されるとともに、対
応するオブジェクト記述子ODのＩＤ番号OD_IDが構文解
析回路２０６から供給される。各デコーダ２０７−１乃
至２０７−４はビットストリームを復号した後、復号信
号の他、画像の場合、key信号、画像の位置および大き
さを示す信号（VOP, SZ）、倍率を示す信号ＦＲを混合
回路２６１に供給する。ここで、画像の位置とは同一ビ
デオオブジェクトVOでの各レイヤの相対位置を意味す
る。また各デコーダ２０７−１乃至２０７−４はID番号
OD_IDを合成回路２５２に供給する。合成回路２５２の
構成は図６に示すものと同様であるため、ここでは、そ
の説明を省略する。

【０１１３】なお、上述したように、ID番号OD_IDと復
号信号が対応するオブジェクト合成回路２７１−ｉに供
給される際に、各復号信号がどのノードに対応するかを
探索しなければならない。従って、再構成回路２０９に
供給されたID番号OD_IDとノードに含まれているID番号O
D_IDとを照合することにより、対応関係を認識する。そ
して、その認識結果に基づいて、復号信号が対応するノ
ードが供給されるオブジェクト合成回路２７１−ｉに供
給される。

【０１１４】スケーラブル符号化の場合、各レイヤ（VO
L）のビットストリームは同一のビデオオブジェクトVO
に所属するため、同一のID番号OD_IDを持つ。１つのノ
ードには１つのビデオオブジェクトVOが対応し、またそ
れに対応して合成回路２５２中に、１つのテクスチャメ
モリ１５２−ｉが対応する。従って、スケーラブル符号
化の場合、各レイヤの出力（デコーダ２０７−２乃至２
０７−４の出力）を一度混合回路２６１に供給し、１つ
の画像シーケンスに合成する。

【０１１５】混合回路２６１は、各デコーダ２０７−２
乃至２０７−４から供給される画像信号、 key信号、倍
率を示す信号、画像の位置および大きさを示す信号に基
づき、各レイヤの画像を先に合成した後、合成回路２５
２に出力する。従って、合成回路２５２では、１つのオ
ブジェクトに対して１つの画像シーケンスを対応させる
ことができる。

【０１１６】例えば、図２９に示すようなスケーラブル
符号化が行われ、かつ下位レイヤおよび上位レイヤ１が
伝送され、それらが復号された場合、下位レイヤの画像
信号は倍率を示す信号ＦＲに基づき解像度変換される。
次に、この画像に対し、上位レイヤ１の復号画像が対応
する位置にkey信号に従って、合成される。

【０１１７】混合回路２６１により合成された画像シー
ケンスは、合成回路２５２に供給される。合成回路２５
２では、図４の場合と同様に画像を構成し、ディスプレ
イ２５１に出力して最終的な出力画像を得る。

【０１１８】このように、この例では、１つのノードに
対して、１つのオブジェクト（ビデオの場合ビデオオブ
ジェクトVO）を割り当て、レンダリング回路１５５にお
けるテクスチャや３次元情報などを記憶するメモリ群１
５１の前段に混合回路２６１を設け、複数の画像を所定
のkey信号に従って混合した後、テクスチャメモリ１５
２に記録し、複数解像度からなる画像信号をテクスチャ
マッピングすることを可能にする。

【０１１９】また、このように、図１の例では、あるオ
ブジェクトに対して、そのオブジェクトを構成するビッ
トストリームのシステム情報を記録した記述子を生成
し、その際、必ず復号しなければならないビットストリ
ームの情報のみを記憶し、その記述子に記載されている
ビットストリームは全て復号することにより、復号可能
なビットストリームの組み合わせを同定し、所定の信号
を復号することを可能とする。この場合、上記記述子
は、送信側と受信側で１対１で生成され、伝送される。

【０１２０】次に、図７乃至図９にオブジェクト記述子
ODの構成を示す。図７はオブジェクト記述子ODの全体構
成（シンタックス）を示す。

【０１２１】Node IDは、その記述子のＩＤ番号を示す
１０ビットのフラグである。上記したOD_IDに相当す
る。また、streamCountは、８ビットのフラグで、その
オブジェクト記述子に含まれるビットストリームＥＳ
の数を示す。この数だけ、ビットストリームＥＳの復号
時に必要な情報、ES_Descriptorが伝送される。さら
に、extentionFlagは、その他の記述子を伝送するかど
うかを示すフラグで、この値が１の場合、その他の記
述子が伝送される。

【０１２２】ES_Descriptorは、各ビットストリームに
関する情報を示す記述子である。図８にES_Descriptor
の構成（シンタックス）を示す。ES_Numberはそのビッ
トストリームを識別するためのＩＤ番号を示す５ビット
のフラグである。また、streamTypeは、そのビットスト
リームのフォーマット、例えばMPEG２ビデオなど、を示
す８ビットのフラグである。さらに、QoS_Descriptor
は、伝送の際にネットワークへの要求を示す８ビットの
フラグである。

【０１２３】ESConfigParamsはそのビットストリームを
復号するのに必要な情報が記載されている記述子であ
り、その構成（シンタックス）を図９に示す。ESConfig
Paramの詳細は、MPEG4 System VMに記述されている。

【０１２４】図１０に動画を貼り付けるためのシーン記
述子を示す。SFObjectIDは、貼り付けるテクスチャのオ
ブジェクト記述子のＩＤであるID番号OD_IDを示すフラ
グである。また、図１１には静止画を貼り付けるための
シーン記述子を示す。SFObjectIDは、貼り付けるテクス
チャのオブジェクト記述子のＩＤ番号OD_IDを示すフラ
グである。なお、図１０と図１１の書式は、VRMLのノー
ド記述に準拠している。

【０１２５】次に、第２の実施の形態におけるビットス
トリーム多重化装置および逆多重化装置を図１２に示
す。この実施の形態においては、オブジェクトに所属す
るビットストリームが全て多重化され伝送される。図１
の第１の実施の形態においては、受信側から要求された
ビットストリームだけを多重化して伝送するようになさ
れていた。その際、伝送するビットストリームに合わせ
てオブジェクト記述子ODを発生させていた。受信側では
オブジェクト記述子ODに記載されているビットストリー
ムは全て復号したため、ビットストリーム間での情報の
依存関係を特に伝送する必要が無かった。

【０１２６】これに対して、第２の実施の形態では、あ
らかじめ、オブジェクト記述子ODが記憶装置２０２に記
憶されており、送信側ではこのオブジェクト記述子ODに
記録されているビットストリームは全て多重化して伝送
する。この時、第２の実施の形態におけるオブジェクト
記述子ODは、ビットストリーム間の情報の依存関係が記
載されている点が第１の実施の形態と異なる。それ以外
の点では第１の実施の形態と同様である。

【０１２７】多重化回路２０３では、記憶装置２０２に
記録されているシーン記述子SD、オブジェクト記述子O
D、およびビットストリーム群ＥＳを読み込み、所定の
順番で多重化し、伝送する。伝送順や、多重化回路２０
３の構成は、第１の実施の形態と同様である。多重化ビ
ットストリームＦＳは伝送路を経由して、逆多重化回路
２０５に供給される。

【０１２８】ユーザは、どのオブジェクトを表示させた
いかを表す要求信号ＲＥＱを端末から入力する。要求信
号ＲＥＱは、逆多重化回路２０５、構文解析回路２０
６、および再構成回路２０９に供給される。構文解析回
路２０６では、伝送されてきた各オブジェクト記述子OD
を解析し、必要なビットストリームを要求する信号ＳＲ
ＥＱを生成し、逆多重化回路２０５に供給する。ユーザ
が所定のビットストリームを要求した場合、それを復号
するために必要なその他のビットストリームが存在する
か、またどのビットストリームが必要かは、オブジェク
ト記述子ODに記録されている。

【０１２９】逆多重化回路２０５は、ユーザからの要求
信号ＲＥＱおよび必要なビットストリームを要求する信
号ＳＲＥＱに従って、必要なビットストリームのみをデ
コーダ２０７−１乃至２０７−ｎに供給するとともに、
必要なオブジェクト記述子ODを構文解析回路２０６に供
給する。構文解析回路２０６は、オブジェクト記述子OD
を解析し、オブジェクト記述子ODおよびユーザからの要
求信号ＲＥＱに基づき、デコーダ２０７−１乃至２０７
−ｎの初期化情報およびID番号OD_IDを各デコーダ２０
７−１乃至２０７−ｎに出力する。以下、第１の実施の
形態と同様に復号、合成、表示がなされる。

【０１３０】このようにこの例では、あるオブジェクト
に対して、そのオブジェクトを構成するビットストリー
ムのシステム情報を記録した記述子（オブジェクト記述
子）を生成し、その際、各ビットストリームを復号する
のに必要なビットストリームを示すフラグを記録し、そ
の記述子に記載されているフラグに従って所定のビット
ストリームを復号することにより、復号可能なビットス
トリームの組み合わせを同定し、所定の信号を復号する
ことを可能とする。この場合、上記、記述子は送信側で
１度生成された後、全ての受信者に共通の記述子が伝送
される。

【０１３１】第２の実施の形態においては、オブジェク
ト記述子ODが第１の実施の形態とは異なり、所定のビッ
トストリームを復号する際に必要な、別ビットストリー
ムを同定するための情報が記載されている。第２の実施
の形態におけるオブジェクト記述子ODを説明する。オブ
ジェクト記述子ODの全体構成は、図７に示した第１の実
施の形態における場合と同様である。

【０１３２】図１３に各ビットストリームに関する情報
を記述するES_Descriptorを示す。isOtherStreamは、１
ビットのフラグで、このビットストリームを復号するた
めに他のビットストリームが必要かどうかを示す。こ
の値が０の場合、このビットストリームは単独で復号可
能である。isOtherStreamの値が１である場合、このビ
ットストリームは単独では復号できない。

【０１３３】streamCountは、他に幾つのビットストリ
ームが必要かを示す５ビットのフラグである。streamCo
untに基づき、その数だけ、ES_Numberが伝送される。

【０１３４】ES_Numberは、復号に必要なビットストリ
ームを識別するためのＩＤである。なお、ES_Descripto
rのその他の構成は第１の実施の形態と同様である。ま
た、各ビットストリームを復号するために必要な情報を
表すESConfigParamsの構成は、図９に示した第１の実施
の形態における場合と同様である。

【０１３５】なお、上述したような処理（多重化および
逆多重化）はプログラムで実現でき、そのプログラムを
ユーザに伝送（提供）することが可能であり、伝送媒体
としては、磁気ディスク、CD-ROM、固体メモリなどの記
録媒体の他、ネットワーク、衛星などの通信媒体を利用
することができる。また、上述した処理は、プログラム
として実現できる他、ハードウェアとして実現できるこ
とは言うまでもない。

【０１３６】なお、本発明の主旨を逸脱しない範囲にお
いて、さまざまな変形や応用例が考えうる。従って、本
発明の要旨は、実施の形態に限定されるものではない。

【０１３７】

【発明の効果】請求項１の画像信号多重化装置、請求項
３の画像信号多重化方法、並びに請求項５の伝送媒体に
よれば、所定のオブジェクトを記述する空間構成情報を
選択するとともに、異なる質を有する複数の階層のビッ
トストリームのうち所定のオブジェクトを構成するスト
リームを選択し、選択されたビットストリームで構成さ
れるオブジェクトに関する情報を生成し、選択された空
間構成情報、選択されたビットストリーム、および生成
されたオブジェクトに関する情報を多重化して出力する
ようにしたので、複数階層をもつオブジェクト単位のス
ケーラブルビットストリームをテクスチャマッピングす
ることが可能となる。

【０１３８】また、請求項５の画像信号多重化装置、請
求項８の画像信号多重化方法、並びに請求項１０の伝送
媒体によれば、所定のオブジェクトを記述する空間構成
情報、所定のオブジェクトを構成する、異なる質を有す
る複数の階層のビットストリーム、および異なるビット
ストリーム間での依存関係を表す依存情報を少なくとも
含む所定のオブジェクトに関する情報を出力し、出力し
た空間構成情報、複数の階層のビットストリーム、およ
びオブジェクトに関する情報を多重化して出力するよう
にしたので、多重化側が逆多重化側と接続されていない
ような環境下においても、逆多重化側で、独自に、ビッ
トストリームを復元し、利用することができる。

【０１３９】さらに、請求項１１の画像信号逆多重化装
置、請求項１３の画像信号逆多重化方法、並びに請求項
１５の伝送媒体によれば、オブジェクトを記述する空間
構成情報、オブジェクトを構成する、異なる質を有する
複数の階層のビットストリーム、およびオブジェクトに
関する情報が多重化された多重化ビットストリームか
ら、所定のオブジェクトを記述する空間構成情報、オブ
ジェクトを構成する複数の階層のビットストリーム、お
よびオブジェクトに関する情報をそれぞれ分離し、空間
構成情報を解析し、複数の階層のビットストリームをデ
コードし、デコードされた出力信号のうち、同一のオブ
ジェクトに対応する出力信号を混合し、オブジェクトに
関する情報に基づいて、解析された出力データと混合さ
れた出力信号から画像信号を再構成するようにしたの
で、複数階層をもつオブジェクト単位のスケーラブルビ
ットストリームを、確実に、テクスチャマッピングする
ことが可能となる。

【０１４０】また、請求項１６の画像信号逆多重化装
置、請求項１８の画像信号逆多重化方法、並びに請求項
２０の伝送媒体によれば、オブジェクトを記述する空間
構成情報、オブジェクトを構成する、異なる質を有する
複数の階層のビットストリーム、および異なるビットス
トリーム間での情報の依存関係を示す依存情報を少なく
とも含むオブジェクトに関する情報が多重化されて伝送
される多重化ビットストリームから、空間構成情報、オ
ブジェクトを構成する複数の階層のビットストリーム、
およびオブジェクトに関する情報を分離し、依存情報に
基づいて、所定のオブジェクトを記述する空間構成情
報、またはオブジェクトを構成する複数の階層のビット
ストリームを選択するように制御し、選択された空間構
成情報を解析し、複数の階層のビットストリームをデコ
ードし、デコードされた出力信号のうち、同一のオブジ
ェクトに対応する出力信号を混合し、オブジェクトに関
する情報に基づいて、解析された出力データと混合され
た出力信号から画像信号を再構成するようにしたので、
逆多重化側が多重化側と接続されていないような環境下
においても、逆多重化側で、独自に、ビットストリーム
を復元し、利用することができる。

【図面の簡単な説明】

【図１】本発明の画像信号多重化装置および画像信号逆
多重化装置の構成例を示すブロック図である。

【図２】図１の多重化回路２０３の構成例を示すブロッ
ク図である。

【図３】図１の逆多重化回路２０５の構成例を示すブロ
ック図である。

【図４】画像を再構成するための各信号の対応関係およ
び図１の再構成回路２０９を示す図である。

【図５】画像を再構成するための各信号の対応関係およ
び図１の再構成回路２０９を示す図である。

【図６】図５の合成回路２５２の構成例を示すブロック
図である。

【図７】オブジェクト記述子の構成を示す図である。

【図８】ES_Descriptorの構成を示す図である。

【図９】ESConfigParamsの構成を示す図である。

【図１０】動画用のシーン記述子の構成を示す図であ
る。

【図１１】静止画用のシーン記述子の構成を示す図であ
る。

【図１２】本発明の画像信号多重化装置および画像信号
逆多重化装置の他の構成例を示すブロック図である。

【図１３】ES_Descriptorの構成を示す図である。

【図１４】従来のオブジェクト合成回路の構成例を示す
ブロック図である。

【図１５】従来の画像信号符号化装置の構成例を示すブ
ロック図である。

【図１６】従来の画像信号復号化装置の構成例を示すブ
ロック図である。

【図１７】従来の画像信号符号化装置の他の構成例を示
すブロック図である。

【図１８】従来の画像信号復号化装置の他の構成例を示
すブロック図である。

【図１９】従来の画像の合成を説明する図である。

【図２０】画像の合成を説明する図である。

【図２１】画像の合成を説明する図である。

【図２２】従来の画像信号符号化装置のさらに他の構成
例を示すブロック図である。

【図２３】従来の画像信号復号化装置のさらに他の構成
例を示すブロック図である。

【図２４】図２２のVOP符号化回路１０３−０の構成例
を示すブロック図である。

【図２５】図２３のVOP復号化回路１１２−０の構成例
を示すブロック図である。

【図２６】画像オブジェクトを説明する図である。

【図２７】画像オブジェクトを説明する図である。

【図２８】画像オブジェクトを説明する図である。

【図２９】画像オブジェクトを説明する図である。

【図３０】画像オブジェクトを説明する図である。

【図３１】画像オブジェクトを説明する図である。

【符号の説明】

２０１ストリームコントロール回路，２０２記憶
装置，２０３多重化回路，２０４オブジェクト
記述子発生回路，２０５逆多重化回路，２０６構
文解析回路，２０７−１乃至２０７−ｎデコーダ，
２０８構文解析回路，２０９再構成回路

Claims

【特許請求の範囲】

【請求項１】所定のオブジェクトを記述する空間構成
情報を選択するとともに、異なる質を有する複数の階層
のビットストリームのうち前記所定のオブジェクトを構
成するストリームを選択する選択手段と、前記選択手段により選択されたビットストリームで構成
される前記オブジェクトに関する情報を生成する生成手
段と、前記選択手段により選択された空間構成情報とビットス
トリーム、並びに前記生成手段により生成されたオブジ
ェクトに関する情報を多重化して出力する多重化手段と
を備えることを特徴とする画像信号多重化装置。
【請求項２】前記オブジェクトに関する情報は、その
オブジェクトを記述している空間構成情報を示すフラ
グ、ビットストリームの数を示すフラグ、およびビット
ストリームを復号する際に必要な情報の少なくとも１つ
を含んでいることを特徴とする請求項１に記載の画像信
号多重化装置。
【請求項３】所定のオブジェクトを記述する空間構成
情報を選択するとともに、異なる質を有する複数の階層
のビットストリームのうち前記所定のオブジェクトを構
成するストリームを選択する選択ステップと、前記選択ステップで選択されたビットストリームで構成
される前記オブジェクトに関する情報を生成する生成ス
テップと、前記選択ステップで選択された空間構成情報とビットス
トリーム、並びに前記生成ステップで生成されたオブジ
ェクトに関する情報を多重化して出力する多重化ステッ
プとを備えることを特徴とする画像信号多重化方法。
【請求項４】前記オブジェクトに関する情報は、その
オブジェクトを記述している空間構成情報を示すフラ
グ、ビットストリームの数を示すフラグ、およびビット
ストリームを復号する際に必要な情報の少なくとも１つ
を含んでいることを特徴とする請求項３に記載の画像信
号多重化方法。
【請求項５】画像信号を多重化するためのプログラム
を伝送する伝送媒体において、所定のオブジェクトを記述する空間構成情報を選択する
とともに、異なる質を有する複数の階層のビットストリ
ームのうち前記所定のオブジェクトを構成するストリー
ムを選択する選択ステップと、前記選択ステップで選択されたビットストリームで構成
される前記オブジェクトに関する情報を生成する生成ス
テップと、前記選択ステップで選択された空間構成情報とビットス
トリーム、並びに前記生成ステップで生成されたオブジ
ェクトに関する情報を多重化して出力する多重化ステッ
プとを含むプログラムを伝送することを特徴とする伝送
媒体。
【請求項６】所定のオブジェクトを記述する空間構成
情報、前記所定のオブジェクトを構成する、異なる質を
有する複数の階層のビットストリーム、および異なるビ
ットストリーム間での依存関係を表す依存情報を少なく
とも含む前記オブジェクトに関する情報を出力する出力
手段と、前記出力手段より出力された空間構成情報、複数の階層
のビットストリーム、および前記オブジェクトに関する
情報を多重化して出力する多重化手段とを備えることを
特徴とする画像信号多重化装置。
【請求項７】前記オブジェクトに関する情報は、その
オブジェクトを記述している空間構成情報を示すフラ
グ、ビットストリームの数を示すフラグ、およびビット
ストリームを復号する際に必要な情報の少なくとも１つ
を含んでおり、前記依存情報は、前記ビットストリームを識別するフラ
グと、前記オブジェクトを復元するために、他のビット
ストリームが必要であるか否かを表すフラグのうちの少
なくとも１つであることを特徴とする請求項６に記載の
画像信号多重化装置。
【請求項８】所定のオブジェクトを記述する空間構成
情報、前記所定のオブジェクトを構成する、異なる質を
有する複数の階層のビットストリーム、および異なるビ
ットストリーム間での依存関係を表す依存情報を少なく
とも含む前記オブジェクトに関する情報を出力する出力
ステップと、前記出力ステップで出力された空間構成情報、複数の階
層のビットストリーム、および前記オブジェクトに関す
る情報を多重化して出力する多重化ステップとを含むこ
とを特徴とする画像信号多重化方法。
【請求項９】前記オブジェクトに関する情報は、その
オブジェクトを記述している空間構成情報を示すフラ
グ、ビットストリームの数を示すフラグ、およびビット
ストリームを復号する際に必要な情報の少なくとも１つ
を含んでおり、前記依存情報は、前記ビットストリームを識別するフラ
グと、前記オブジェクトを復元するために、他のビット
ストリームが必要であるか否かを表すフラグのうちの少
なくとも１つであることを特徴とする請求項８に記載の
画像信号多重化方法。
【請求項１０】画像信号を多重化するためのプログラ
ムを伝送する伝送媒体において、所定のオブジェクトを記述する空間構成情報、前記所定
のオブジェクトを構成する、異なる質を有する複数の階
層のビットストリーム、および異なるビットストリーム
間での依存関係を表す依存情報を少なくとも含む前記オ
ブジェクトに関する情報を出力する出力ステップと、前記出力ステップで出力された空間構成情報、複数の階
層のビットストリーム、および前記オブジェクトに関す
る情報を多重化して出力する多重化ステップとを含むプ
ログラムを伝送することを特徴とする伝送媒体。
【請求項１１】多重化された画像信号を各信号に分離
する画像信号逆多重化装置において、オブジェクトを記述する空間構成情報、前記オブジェク
トを構成する、異なる質を有する複数の階層のビットス
トリーム、および前記オブジェクトに関する情報が多重
化された多重化ビットストリームから、前記オブジェク
トを記述する空間構成情報、前記オブジェクトを構成す
る複数の階層のビットストリーム、および前記オブジェ
クトに関する情報をそれぞれ分離する分離手段と、前記空間構成情報を解析する解析手段と、前記複数の階層のビットストリームをデコードするデコ
ード手段と、前記デコード手段によりデコードされた出力信号のう
ち、同一の前記オブジェクトに対応する出力信号を混合
する混合手段と、前記オブジェクトに関する情報に基づいて、前記解析さ
れた出力データと前記混合された出力信号から画像信号
を再構成する再構成手段とを備えることを特徴とする画
像信号逆多重化装置。
【請求項１２】前記オブジェクトに関する情報は、そ
のオブジェクトを記述している空間構成情報を示すフラ
グ、ビットストリームの数を示すフラグ、およびビット
ストリームを復号する際に必要な情報の少なくとも１つ
を含んでいることを特徴とする請求項１１に記載の画像
信号逆多重化装置。
【請求項１３】多重化された画像信号を各信号に分離
する画像信号逆多重化方法において、オブジェクトを記述する空間構成情報、前記オブジェク
トを構成する、異なる質を有する複数の階層のビットス
トリーム、および前記オブジェクトに関する情報が多重
化された多重化ビットストリームから、前記オブジェク
トを記述する空間構成情報、前記オブジェクトを構成す
る複数の階層のビットストリーム、および前記オブジェ
クトに関する情報をそれぞれ分離する分離ステップと、前記空間構成情報を解析する解析ステップと、前記複数の階層のビットストリームをデコードするデコ
ードステップと、前記デコードステップでの出力信号のうち、同一の前記
オブジェクトに対応する出力信号を混合する混合ステッ
プと、前記オブジェクトに関する情報に基づいて、前記解析さ
れた出力データと前記混合された出力信号から画像信号
を再構成する再構成ステップとを含むことを特徴とする
画像信号逆多重化方法。
【請求項１４】前記オブジェクトに関する情報は、そ
のオブジェクトを記述している空間構成情報を示すフラ
グ、ビットストリームの数を示すフラグ、およびビット
ストリームを復号する際に必要な情報の少なくとも１つ
を含んでいることを特徴とする請求項１３に記載の画像
信号逆多重化方法。
【請求項１５】多重化された画像信号を各信号に分離
するためのプログラムを伝送する伝送媒体において、オブジェクトを記述する空間構成情報、前記オブジェク
トを構成する、異なる質を有する複数の階層のビットス
トリーム、および前記オブジェクトに関する情報が多重
化された多重化ビットストリームから、前記オブジェク
トを記述する空間構成情報、前記オブジェクトを構成す
る複数の階層のビットストリーム、および前記オブジェ
クトに関する情報をそれぞれ分離する分離ステップと、前記空間構成情報を解析する解析ステップと、前記複数の階層のビットストリームをデコードするデコ
ードステップと、前記デコードステップでの出力信号のうち、同一の前記
オブジェクトに対応する出力信号を混合する混合ステッ
プと、前記オブジェクトに関する情報に基づいて、前記解析さ
れた出力データと前記混合された出力信号から画像信号
を再構成する再構成ステップとを含むプログラムを伝送
することを特徴とする伝送媒体。
【請求項１６】多重化された画像信号を各信号に分離
する画像信号逆多重化装置において、オブジェクトを記述する空間構成情報、前記オブジェク
トを構成する、異なる質を有する複数の階層のビットス
トリーム、および異なる前記ビットストリーム間での情
報の依存関係を示す依存情報を少なくとも含む前記オブ
ジェクトに関する情報が多重化されて伝送される多重化
ビットストリームから、前記空間構成情報、前記オブジ
ェクトを構成する複数の階層のビットストリーム、およ
び前記オブジェクトに関する情報を分離する分離手段
と、前記依存情報に基づいて、所定のオブジェクトを記述す
る空間構成情報、または前記オブジェクトを構成する複
数の階層のビットストリームを選択するために前記分離
手段を制御する制御手段と、前記選択された空間構成情報を解析する解析手段と、前記複数の階層のビットストリームをデコードするデコ
ード手段と、前記デコード手段によりデコードされた出力信号のう
ち、同一の前記オブジェクトに対応する出力信号を混合
する混合手段と、前記オブジェクトに関する情報に基づいて、前記解析手
段により解析された出力データと前記混合手段により混
合された出力信号から画像信号を再構成する再構成手段
とを備えることを特徴とする画像信号逆多重化装置。
【請求項１７】前記オブジェクトに関する情報は、そ
のオブジェクトを記述している空間構成情報を示すフラ
グ、ビットストリームの数を示すフラグ、およびビット
ストリームを復号する際に必要な情報の少なくとも１つ
を含んでおり、前記依存情報は、前記ビットストリームを識別するフラ
グと、前記オブジェクトを復元するために、他のビット
ストリームが必要であるか否かを表すフラグのうちの少
なくとも１つであることを特徴とする請求項１６に記載
の画像信号逆多重化装置。
【請求項１８】多重化された画像信号を各信号に分離
する画像信号逆多重化方法において、オブジェクトを記述する空間構成情報、前記オブジェク
トを構成する、異なる質を有する複数の階層のビットス
トリーム、および異なる前記ビットストリーム間での情
報の依存関係を示す依存情報を少なくとも含む前記オブ
ジェクトに関する情報が多重化されて伝送される多重化
ビットストリームから、前記空間構成情報、前記オブジ
ェクトを構成する複数の階層のビットストリーム、およ
び前記オブジェクトに関する情報を分離する分離ステッ
プと、前記依存情報に基づいて、所定のオブジェクトを記述す
る空間構成情報、または前記オブジェクトを構成する複
数の階層のビットストリームを選択するために前記分離
ステップでの処理を制御する制御ステップと、前記選択された空間構成情報を解析する解析ステップ
と、前記複数の階層のビットストリームをデコードするデコ
ードステップと、前記デコードステップでデコードされた出力信号のう
ち、同一の前記オブジェクトに対応する出力信号を混合
する混合ステップと、前記オブジェクトに関する情報に基づいて、前記解析ス
テップで解析された出力データと前記混合ステップで混
合された出力信号から画像信号を再構成する再構成ステ
ップとを含むことを特徴とする画像信号逆多重化方法。
【請求項１９】前記オブジェクトに関する情報は、そ
のオブジェクトを記述している空間構成情報を示すフラ
グ、ビットストリームの数を示すフラグ、およびビット
ストリームを復号する際に必要な情報の少なくとも１つ
を含んでおり、前記依存情報は、前記ビットストリームを識別するフラ
グと、前記オブジェクトを復元するために、他のビット
ストリームが必要であるか否かを表すフラグのうちの少
なくとも１つであることを特徴とする請求項１８に記載
の画像信号逆多重化方法。
【請求項２０】多重化された画像信号を各信号に分離
するためのプログラムを伝送する伝送媒体において、オブジェクトを記述する空間構成情報、前記オブジェク
トを構成する、異なる質を有する複数の階層のビットス
トリーム、および異なる前記ビットストリーム間での情
報の依存関係を示す依存情報を少なくとも含む前記オブ
ジェクトに関する情報が多重化されて伝送される多重化
ビットストリームから、前記空間構成情報、前記オブジ
ェクトを構成する複数の階層のビットストリーム、およ
び前記オブジェクトに関する情報を分離する分離ステッ
プと、前記依存情報に基づいて、所定のオブジェクトを記述す
る空間構成情報、または前記オブジェクトを構成する複
数の階層のビットストリームを選択するために前記分離
ステップでの処理を制御する制御ステップと、前記選択された空間構成情報を解析する解析ステップ
と、前記複数の階層のビットストリームをデコードするデコ
ードステップと、前記デコードステップでデコードされた出力信号のう
ち、同一の前記オブジェクトに対応する出力信号を混合
する混合ステップと、前記オブジェクトに関する情報に基づいて、前記解析ス
テップで解析された出力データと前記混合ステップで混
合された出力信号から画像信号を再構成する再構成ステ
ップとを含むプログラムを伝送することを特徴とする伝
送媒体。