JP3803349B2 - 画像復号化装置および画像復号化方法 - Google Patents

Description

この発明は、画像処理を行う画像復号化装置および画像復号化方法に関するものである。

従来のデコード側においては、ＶＯＰヘッダ情報を解析する以前に、解析が不必要なＶＯＰ（画信号のコマ落しの場合、コマ落しされる情報）と解析が必要なＶＯＰ（画信号のコマ落しの場合、コマ落しされない情報）との区別がつかないものであった。

従来の装置は上記のように構成されているため、各ＶＯＰヘッダに含まれるＶＯＰスタートコードとモジュロ・タイム・ベースとＶＯＰタイムインクリメントとを必ず解析しなければならないため、処理が面倒で処理精度の低下を招く恐れがあるという課題があった。

この発明は上記のような課題を解決するためになされたもので、簡単な処理で処理精度が向上する画像復号化装置および画像復号化方法を提供することを目的とする。

この発明に係る画像復号化装置は、ビデオオブジェクトの符号化単位となる画像データであるＶＯＰを復号するＶＯＰ復号部と、タイムコードを復号するＧＯＶヘッダ解析部と、複数のＶＯＰからなるＶＯＬレイヤのヘッダ情報部分に符号化されて含まれ、前記ＶＯＰ復号部により復号されるＶＯＰのＶＯＬ中での表示速度が固定レートであることを示すＶＯＰレートフラグを復号し、該ＶＯＰレートフラグが固定レートであることを示す場合に、前記ＧＯＶヘッダ解析部で復号されるタイムコードとの組み合わせで前記ＶＯＰ復号部により復号されるＶＯＰの絶対時刻を規定するＶＯＰレート情報を復号するＶＯＬヘッダ解析部とを備えたものである。

この発明に係る画像復号化方法は、ビデオオブジェクトの符号化単位となる画像データであるＶＯＰを復号するＶＯＰ復号ステップと、タイムコードを復号するＧＯＶヘッダ解析ステップと、複数のＶＯＰからなるＶＯＬレイヤのヘッダ情報部分に符号化されて含まれ、前記ＶＯＰ復号部により復号されるＶＯＰのＶＯＬ中での表示速度が固定レートであることを示すＶＯＰレートフラグを復号し、該ＶＯＰレートフラグが固定レートであることを示す場合に、前記ＧＯＶヘッダ解析部で復号されるタイムコードとの組み合わせで前記ＶＯＰ復号部により復号されるＶＯＰの絶対時刻を規定するＶＯＰレート情報を復号するＶＯＬヘッダ解析ステップと、を備えたものである。

この発明によれば、少ない符号化伝送量による簡単な処理で画像の復元処理を一層円滑かつ精度よく行なうことができる。ＶＯＬレイヤにＶＯＰレートフラグとＶＯＰレート情報を多重化するように構成したため、デコーダ側において、ＶＯＰレートフラグとＶＯＰレートを用いれば、ユーザが所望するＶＯＰを瞬時に特定することができるため、各ＶＯＰヘッダのＶＯＰスタートコードのみを解析すれば、復号化対象のＶＯＰの復号が必要であるか否かを判断したり、複数のオブジェクトを簡単に合成したりすることを可能とするビットストリームを作成できる効果がある。

実施の形態１．
本実施の形態１では、ISO/IEC JTC11 SC29/WG11/N1796で開示されるＭＰＥＧ−４ビデオ符号化方式に、本実施の形態の要素であるオブジェクトの表示速度情報に基づいて符号化を行う手段と、用いた表示速度情報をオブジェクトごとに付加して符号化ビットストリームに多重化する手段を備えたＶＯＰエンコーダについて説明する。

ＭＰＥＧ−４は動画像シーケンスを時間／空間的に任意の形状をとる動画像オブジェクトの集合体としてとらえ、各動画像オブジェクトを単位として符号化・復号を行う方式である。ＭＰＥＧ−４におけるビデオデータ構造を図１に示す。ＭＰＥＧ−４では時間軸を含めた動画像オブジェクトをビデオ オブジェクト〔Video Object（ＶＯ）〕と呼び、ＶＯの構成要素をビデオ オブジェクト レイア〔Video Object Layer（ＶＯＬ）〕と呼び、ＶＯＬの構成要素をグループ オブ ビデオ オブジェクト プレーン〔Group of Video Object Plane （ＧＯＰ）〕と呼び、ＧＯＶの各時刻の状態を表し、符号化の単位となる画像データをビデオ オブジェクト プレーン〔Video Object Plane（ＶＯＰ）〕と呼ぶ。ＶＯは例えば、テレビ会議のシーンの中のそれぞれの話者や背景などに相当し、ＶＯＬはそれらの話者や背景などの固有の時間・空間解像度をもつ単位であり、ＶＯＰはそれらＶＯＬの各時刻（＝フレームに相当）における画像データである。ＧＯＶはＶＯＰを複数集めた編集やランダムアクセスなどの単位となるデータ構造で、必ずしも符号化に用いられなくてもよい。

ＶＯＰの具体例を図２に示す。図において、２つのＶＯＰ（ＶＯＰ１は人物、ＶＯＰ２は壁にかけられた絵画）を示している。各ＶＯＰはカラー濃淡レベルを表わすテクスチャデータと、ＶＯＰの形状を表わす形状データとからなる。テクスチャデータは画素あたり８ビットの輝度信号、色差信号（輝度信号に対して水平・垂直方向に１／２にサブサンプルされたサイズ）からなり、形状データはＶＯＰ内部を１、ＶＯＰ外部を０とする輝度信号の画像サイズと同じ２値のマトリクスデータである。

ＶＯＰによる動画像表現において、従来のフレーム画像は複数のＶＯＰを画面中に配置することによって得られる。ただし、動画像シーケンス中でＶＯが１つの場合、各ＶＯＰはフレームと同義となる。この場合は形状データは存在せず、テクスチャデータだけが符号化される。

以下、本実施の形態１における画像符号化装置について説明する。これはＭＰＥＧ−４ビデオエンコーダをベースとしており、ＭＰＥＧ−４ビデオデコーダは、上記ＶＯＰを単位として符号化を実施するので、以下、ＶＯＰエンコーダと呼ぶ。既存のＶＯＰエンコーダの動作はISO/IEC JTC1/SC29/WG11/N1796などに開示されるので、ここでは既存のＶＯＰエンコーダそのものの説明は避け、本実施の形態１の要素を含むＶＯＰエンコーダの説明を行う。

図３は本実施の形態１におけるＶＯＰエンコーダの構成例を示すもので、１１０は符号化ＶＯＰ決定部、１１１は形状符号化部、１１３は動き推定部、１１５は動き補償部、１１８はテクスチャ符号化部、１２２はメモリ、１２４はヘッダ多重化部、１２６はビデオ信号多重化部、１２８は減算器、１２９は加算器である。

次に動作について説明する。符号化ＶＯＰ決定部１１０は、外部設定や符号化状況に応じて設定されるＶＯＰレート情報７に基づき入力オブジェクト画像のうちの符号化対象となるＶＯＰの決定を行い、符号化対象であるＶＯＰを形状符号化部１１１と動き推定部１１３と減算器１２８に出力する。ここで、ＶＯＰレート情報７とは、本発明でいうところの表示速度情報に相当するものであり、ＶＯＬ、ＧＯＶなどの単位の中に含まれるＶＯＰを秒あたり何枚表示させるか（固定レート）、あるいは可変レートであるかを表わす情報を言う。

符号化ＶＯＰ決定部１１０の動作について具体例を示す。固定レートとは、ＶＯＬまたはＧＯＶなどの単位の中に含まれるＶＯＰを秒あたり何枚表示させるかについて、該ＶＯＬまたはＧＯＶ内において常に一定である場合を示す。例えば、入力オブジェクト画像が３０枚／秒、ＶＯＰレート情報７が１５枚／秒であった場合、符号化ＶＯＰ決定部１１０は入力オブジェクト画像に含まれるＶＯＰのうち符号化対象となるＶＯＰは１枚おきであると判断し、１枚おきに符号化対象となるＶＯＰを出力する。
これは、秒あたり何枚表示させるかを示す情報が固定である場合を示すものであり、符号化ＶＯＰ決定部１１０が入力オブジェクト画像に含まれるＶＯＰのうち符号化対象となるＶＯＰは１枚おきであると判断できる根拠は、秒あたり何枚表示させるかを示す情報が常に一定の間隔（１５枚／秒）であるためである。。
また、可変レートとは固定レートでない場合を指し、ＶＯＬまたはＧＯＰなどの単位の中に含まれるある期間（秒単位）における表示させる枚数と、前記ＶＯＬまたはＧＯＶなどの単位の中に含まれる前記期間（秒単位）における表示させる枚数と異なる場合を示す。

符号化ＶＯＰ決定部１１０によって符号化対象と特定されたＶＯＰは、形状データをアルファブロックとよばれる１６画素×１６画素の領域ごとに、また、テクスチャデータをマクロブロックとよばれる１６画素×１６画素の領域ごとに符号化する。

形状符号化部１１１は、入力されるアルファブロックの符号化を行い、形状符号化情報１１２と局所復号形状情報１０９とを出力する。形状符号化情報１１２はビデオ信号多重化部１２６に送られ、局所復号形状情報１０９は動き推定部１１３とテクスチャ符号化部１１５およびテクスチャ符号化部１１８に入力される。動き推定部１１３では、メモリ１２２中の参照データ１２３ａを入力し、マクロブロック単位にてブロックマッチングを行い、動き情報１１４を得る。この際、局所復号形状情報１０９に基づきマクロブロック中に含まれるオブジェクトのみを対象としたブロックマッチングにより動き情報を得る。

動き補償部１１５では、メモリ１２２中の動き情報１１４が示す位置の参照データ１２３ｂを入力し局所復号形状情報１０９に基づき予測画像を作成する。動き推定部１１５において作成された予測画像１１６は減算器１２８と加算器１２９に入力される。
減算器１２８では、予測画像１１６と入力マクロブロックの差分を計算し、予測誤差画像１１７を作成する。
テクスチャ符号化部１１８では、入力された予測誤差画像１１７をＭＰＥＧ−４で定められる所定の方法で符号化し、テクスチャ符号化情報１１９及び局所復号予測誤差画像１２０を得る。この際、局所復号形状情報１０９に基づきブロック中に含まれるオブジェクトのみを対象とした符号化を行う。テクスチャ符号化情報１１９はビデオ信号多重化部１２６へ送られ、局所復号予測誤差画像１２０を加算器１２９へ出力する。

加算器１２９は、予測画像１１６と局所復号予測誤差画像１２０の加算を行い復号画像１２１を作成し、メモリ１２２へ書き込む。
ヘッダ多重化部１２４では各ヘッダ情報が多重化され、各ヘッダ情報が多重化されたビットストリーム１２５はビデオ信号多重化部１２６に入力される。
ビデオ信号多重化部１２６は、各ヘッダ情報が多重化されたビットストリーム１２５に形状符号化情報１１２と動き情報１１４とテクスチャ符号化情報１１９の多重化を行い、符号化ＶＯＰビットストリームを出力する。

図４は図３のヘッダ多重化部の構成を示すブロック図である。図において、１はＶＯヘッダ多重化部、２はＶＯＬヘッダ多重化部、３はＧＯＶヘッダ多重化選択部、４はＧＯＶヘッダ多重化部、５はＶＯＰヘッダ多重化部、６はＧＯＶ多重化情報、７はＶＯＰレート情報である。

次に動作について説明する。ＶＯヘッダ多重化部１では、ＶＯヘッダ情報を多重化したビットストリームを作成し、作成したビットストリームをＶＯＬヘッダ多重化部２に出力する。
ＶＯＬヘッダ多重化部２は、入力されたビットストリームにＶＯＬヘッダ情報の多重化を行い、多重化後のビットストリームをＧＯＶヘッダ多重化選択部３へ出力する。

ＧＯＶヘッダ多重化選択部３では、ＶＯＬヘッダ多重化部２より出力されたビットストリームの出力先を、ＧＯＶヘッダの多重化を行うか否かを示すＧＯＶ多重化情報６に基づき判断する。ＧＯＶ多重化情報６がＧＯＶヘッダの多重化を行わないことを示す場合は、ＶＯＰヘッダ多重化部５へ、ＧＯＶ多重化情報６がＧＯＶヘッダの多重化を行うことを示す場合はＧＯＶヘッダ多重化部４へビットストリームを出力する。

ＧＯＶヘッダ多重化部４は、入力されたビットストリームにＶＯＰレート情報７を多重化し、ＶＯＰヘッダ多重化部５にビットストリームを出力する。表１は上記ＶＯＰレート情報７の一例を示すもので、４種類のＶＯＰレートを表現する例を示している。ＶＯＰレートが３０枚／秒の場合は「０１」を多重化する。また直前に符号化したＶＯＰと符号化対象のＶＯＰが同じであれば、ＶＯＰレート情報「００」を多重化するとともに、後に続くＶＯＰヘッダ情報とＶＯＰデータ情報の多重化を行わない。また、ＶＯＰレートが可変である場合には、ＶＯＰレート情報「１１」を多重化する。すなわち、ＶＯＰレート情報７は、ＶＯＰレートが固定であるか可変であるかを示すとともに、固定の場合のレートの値を示している。

ＶＯＰヘッダ多重化部５にあるＶＯＰスタートコード多重化部８は、入力されたビットストリームにＶＯＰスタートコードの多重化を行ったビットストリームをモジュロ・タイム・ベース(modulo ＿time＿base) 多重化部９およびＶＯＰタイムインクリメント(VOP＿time＿increment)多重化部１０に出力する。

ここで、モジュロ・タイム・ベース１３とは、図５に示すように、当該ＶＯＰがある基準時刻から何秒経過した後に表示されるかを示す情報であり、ＶＯＰタイムインクリメント１４とは、同じく図５に示すように、モジュロ・タイム・ベースで定められる時刻から１０００分の１秒の精度で表示時刻を微調整する情報である。すなわち、ＭＰＥＧ−４ではＶＯＰの表示時刻を１０００分の１秒の精度で規定することができる。

ＶＯＰヘッダ多重化部５にある管理時間作成部１２は、ＶＯＰレート情報７に基づきモジュロ・タイム・ベース１３とＶＯＰタイムインクリメント１４とを作成し、モジュロ・タイム・ベース１３をモジュロ・タイム・ベース多重化部９に、ＶＯＰタイムインクリメント１４をＶＯＰタイムインクリメント多重化部１０に出力する。ただし、ＶＯＰレート情報７が可変であることを示す場合は、モジュロ・タイム・ベース１３およびＶＯＰタイムインクリメント１４はＶＯＰレート情報７に関係なく設定される。

上記モジュロ・タイム・ベース多重化部９は、ＶＯＰスタートコード多重化部８より出力されたビットストリームにモジュロ・タイム・ベース１３の多重化を行い、多重化後のビットストリームをＶＯＰタイムインクリメント多重化部１０へ出力する。このＶＯＰタイムインクリメント多重化部１０はモジュロ・タイム・ベース多重化部９より出力されたビットストリームに管理時間作成部１２から出力されたＶＯＰタイムインクリメント１４の多重化を行い、多重化後のビットストリームを映像情報ヘッダ多重化部１１へ出力する。この映像情報ヘッダ多重化部１１は、ＶＯＰタイムインクリメント多重化部１０より出力されたビットストリームに映像情報ヘッダの多重化を行い、多重化後のビットストリームをビデオ信号多重化部１２６へ出力する。

以上のように、この実施の形態１によればＧＯＶヘッダにＶＯＰレート情報を多重化するよう構成したため、デコーダ側において、各ＶＯＰヘッダのＶＯＰスタートコードのみを解析すれば、復号化対象のＶＯＰの復号が必要であるか否かを判断したり、複数のオブジェクトを簡単に合成したりすることを可能とするビットストリームを作成できる効果がある。

なお、図６に示すように、ＶＯＬを単位としてＶＯＰレート情報を規定し、符号化およびＶＯＰレート情報の多重化を行うようにしてもよい。この場合は、ＶＯＰレート情報７はＶＯＬ単位で決定され、ＶＯＬヘッダ多重化部２で多重化される。これに基づいて、モジュロ・タイム・ベース１３やＶＯＰタイムインクリメント１４が決定される。

以上のように本実施の形態１においては、オブジェクト単位に画像を符号化する画像符号化装置において、所定の表示速度情報に基づいて画像を符号化する符号化手段と、該符号化手段で符号化された画像符号化信号に上記所定の表示速度情報を多重化して出力する多重化手段を備えたものの一実施例を開示した。
また、本実施の形態１においては、多重化手段は、上記表示速度情報をオブジェクトごとに多重化するものの一実施例を開示した。

実施の形態２．
本実施の形態２では、実施の形態１で述べたＶＯＰエンコーダの別の実施の形態を説明する。本実施の形態２におけるＶＯＰエンコーダは、表示速度情報としてオブジェクトの表示速度が固定速度であるか可変速度であるかを示す１ビットのＶＯＰレートフラグとオブジェクトの表示速度の値を示すＶＯＰレート情報との符号化を行い、ビットストリームに多重化する手段を備えたものである。

上記ＶＯＰレートフラグが可変速度を示す場合は、実施の形態１で述べた表１においてＶＯＰレートが可変に相当するものであり、上記ＶＯＰレートフラグが固定速度を示す場合は、実施の形態１で述べた表１においてＶＯＰレートが３０枚／秒、あるいは１５枚／秒に相当するものである。

図７はこの発明の実施の形態２におけるＶＯＰエンコーダの構成例を示すものであり、１０００はヘッダ多重化部、１００１はＶＯＰレートフラグ、１０２６はＶＯＰレートである。本実施の形態２におけるＶＯＰエンコーダは、実施の形態１で述べたＶＯＰエンコーダのヘッダ多重化部１２４に相当するヘッダ多重化部１０００の構成動作のみが異なるので、この部分についてのみ説明する。

図８はこの発明の実施の形態２におけるＶＯＰエンコーダ部のヘッダ多重化部１０００の構成を示すブロック図である。図において、１００２はＶＯＬヘッダ多重化部、１００３はＶＯＰヘッダ多重化部である。

次に動作について説明する。
ＶＯヘッダ多重化部１では、ＶＯヘッダ情報を多重化したビットストリームを作成し、作成したビットストリームをＶＯＬヘッダ多重化部１００２に出力する。ＶＯＬヘッダ多重化部１００２は、入力されたビットストリームにＶＯＬヘッダ情報の多重化を行い、多重化後のビットストリームをＧＯＶヘッダ多重化選択部３へ出力する。この際、ＶＯＰレート情報とＶＯＰレートフラグの多重化も行う。

表２はＶＯＰレート１０２６の多重化例を示す。この場合、ＶＯＰレート１０２６が２枚／秒の場合は「０００」を、ＶＯＰレートが５枚／秒の場合は「００１」を、ＶＯＰレートが２５枚／秒の場合は「０１０」を、ＶＯＰレートが３０枚／秒の場合は「０１１」を、また上記以外のＶＯＰレート（例えば、ＶＯＰレートが１０枚／秒）の場合は「１００」をＶＯＰレート情報として多重化する。

なお、ＶＯＰレート情報は、後に説明するＶＯＰレートフラグの値に依存せず独立して多重化の是非が判断される。また、ＶＯＰレートの多重化例の別の例として表３のようであっても良い。この場合、ＶＯＬ内ですべてのＶＯＰがまったく同一の画像であれば、静止画像とみなして「１０１」をＶＯＰレート情報として多重化する。

ＶＯＰレートフラグについては、ＶＯＰレートフラグが固定速度を示す場合は「１」を、可変速度を示す場合は「０」を多重化する。図９は、ＶＯＬヘッダ多重化部１００２より出力されたビットストリームの一例を示す。
ＧＯＶヘッダ多重化選択部３では、ＶＯＬヘッダ多重化部１００２より出力されたビットストリームの出力先を、ＧＯＶヘッダの多重化を行うか否かを示すＧＯＶ多重化情報６に基づき判断する。ＧＯＶ多重化情報６がＧＯＶヘッダの多重化を行わないことを示す場合は、ＶＯＰヘッダ多重化部１００３へ、ＧＯＶ多重化情報６がＧＯＶヘッダの多重化を行うことを示す場合はＧＯＶヘッダ多重化部４ヘビットストリームを出力する。

ＧＯＶヘッダ多重化部４は、入力されたビットストリームにＧＯＶヘッダ情報の多重化を行い、多重化後のビットストリームをＶＯＰヘッダ多重化部１００３へ出力する。図１０にＶＯＰヘッダ多重化部１００３の詳細を示す。図１０において、１００４は管理時間作成部である。

次に動作について説明する。管理時間作成部１００４は、入力されるＶＯＰレートフラグ１００１が固定速度を示す場合にはＶＯＰレート１０２６に基づき、入力されるＶＯＰレートフラグ１００１が可変速度を示す場合にはＶＯＰエンコーダが内部に持つタイマーに基づき、モジュロ・タイム・ベースとＶＯＰタイムインクリメントを作成する。作成したモジュロ・タイム・ベースはモジュ口・タイム・ベース多重化部９へ、作成したＶＯＰタイムインクリメントはＶＯＰタイムインクリメント多重化部１０へ出力する。

ＶＯＰスタートコード多重化部８は、入力されたビットストリームにＶＯＰスタートコードの多重化を行い、多重化後のビットストリームをモジュロ・タイム・ベース多重化部９に出力する。モジュロ・タイム・ベース多重化部９は、入力されたビットストリームにモジュロ・タイム・ベースの多重化を行い、多重化後のビットストリームをＶＯＰタイムインクリメント多重化部１０へ出力する。

ＶＯＰタイムインクリメント多重化部１０は、入力されたビットストリームにＶＯＰタイムインクリメントの多重化を行い、多重化後のビットストリームを映像情報ヘッダ多重化部１１へ出力する。映像情報ヘッダ多重化部１１は、ＶＯＰタイムインクリメント多重化部１０より出力されたビットストリームに映像情報ヘッダの多重化を行い、多重化後のビットストリームをビデオ信号多重化部１２６へ出力する。

以上のように、この実施の形態２によれば、ＶＯＬレイヤにＶＯＰレートフラグとＶＯＰレート情報を多重化するように構成したため、デコーダ側において、ＶＯＰレートフラグとＶＯＰレートを用いれば、ユーザが所望するＶＯＰを瞬時に特定することができるため、各ＶＯＰヘッダのＶＯＰスタートコードのみを解析すれば、復号化対象のＶＯＰの復号が必要であるか否かを判断したり、複数のオブジェクトを簡単に合成したりすることを可能とするビットストリームを作成できる効果がある。
なお、ＶＯＰレートフラグのみを多重しても、可変、固定速度か否かの識別ができるので、復号化対象のＶＯＰの復号処理が行えるものである。

以上のように本実施の形態２においては、オブジェクト単位に画像を符号化する画像符号化装置において、オブジェクトの表示速度が固定速度であるか可変速度であるかを示すフラグの符号化手段と、該符号化手段で符号化された画像符号化信号に上記フラグを多重化して出力する多重化手段と、所定の表示速度情報に基づいて画像を符号化する符号化手段と、該符号化手段で符号化された画像符号化信号に上記所定の表示速度情報を多重化して出力する多重化手段とを備えたものの一実施例を開示した。

実施の形態３．
本実施の形態３では、符号化ビットストリーム中から実施の形態１で述べたＶＯＰレート情報を復号し出力するための画像復号化装置、すなわちＭＰＥＧ−４ビデオデコーダ（以下、ＶＯＰデコーダと呼ぶ）を各オブジェクトに対応して複数備え、複数の復号されたオブジェクトを合成して画像を再生するシステムについて説明する。

まず、本実施の形態３における画像復号化装置（ＶＯＰデコーダ）の構成と動作について説明する。既存のＶＯＰデコーダの動作はISO/IEC JTC1/SC29/WG11/N1796などに開示されるので、ここでは既存のＶＯＰデコーダそのものの説明は避け、本実施の形態３の要素を含むＶＯＰデコーダの説明を行う。本実施の形態３におけるＶＯＰデコーダは、実施の形態１に述べたＶＯＰエンコーダで生成される符号化ビットストリームを復号可能なデコーダである。

図１１は、この発明の実施の形態３におけるＶＯＰデコーダの内部構成例を示したものである。ＶＯＰのデコーダは実施の形態１および図２に示したように、テクスチャデータと形状データとからなるものとし、本デコーダはこれらを圧縮符号化したデータを入力としてそれぞれのデータを復元する機能を持つものとする。図において、１５０は符号化ＶＯＰビットストリーム、１５１はヘッダ解析部、１５２はヘッダ情報が解析されたビットストリーム、１５３はビデオ信号解析部、１５４は形状符号化データ、１５５は形状復号部、１５６は復号形状データ、１５７はテクスチャ符号化データ、１５８は動き情報、１５９は動き補償部、１６０は予測テクスチャデータ、１６１はテクスチャ復号部、１６２は復号テクスチャデータ、１６４はメモリ、１６５は参照データである。

以下、同図をもとに動作について詳述する。符号化ＶＯＰビットストリーム１５０はヘッダ解析部１５１に入力され、所定のシンタックスにしたがってヘッダ情報が解析される。ヘッダ解析部１５１においてヘッダ情報が解析されたビットストリーム１５２はビデオ信号解析部１５３に入力され、形状符号化データ１５４とテクスチャ符号化データ１５７と動き情報１５８とに解析される。形状復号部１５５は入力される形状符号化データ１５４の復号を行い、復号形状データ１５６を出力する。 動き補償部１５９はメモリ１６４中の参照データ１６５とビデオ信号解析部１５３から入力される動き情報１５８から予測テクスチャデータ１６０を出力する。テクスチャ復号部１６１は、テクスチャ符号化データ１５７と予測テクスチャデータ１６０とに基づいてＭＰＥＧ−４で定められる所定の方法で画像データに復元し、復号テクスチャデータ１６２を生成する。この復号テクスチャデータ１６２は以降のＶＯＰの復号に用いられるので、メモリ１６４に書き込まれる。

図１２はこの発明の実施の形態３の特徴であるヘッダ解析部１５１の内部構成を示したものである。図において、５１はスタートコード解析部、５２はＶＯヘッダ解析部、５３はＶＯＬヘッダ解析部、５４はＧＯＶヘッダ解析部、５８はＶＯＰレート情報、５５はＶＯＰヘッダ解析部である。本実施の形態３におけるヘッダ解析部１５１は、ＧＯＶヘッダ解析部５４において当該ＧＯＶに含まれるＶＯＰのＶＯＰレート情報５８をビットストリーム中から復号してこれを外部へ出力することを特徴とする。このＶＯＰレート情報５８の使用方法は後述する。

スタートコード解析部５１は、入力される符号化ＶＯＰビットストリーム１５０に含まれるスタートコードの解析を行う。解析したスタートコードがＶＯを示すものであればＶＯヘッダ解析部５２へ、解析したスタートコードがＶＯＬを示すものであればＶＯＬヘッダ解析部５３へ、解析したスタートコードがＧＯＶを示すものであればＧＯＶヘッダ解析部５４へ、解析したスタートコードがＶＯＰを示すものであればＶＯＰヘッダ解析部５５へビットストリームを出力する。なお、ＶＯＰヘッダ解析部５５の解析処理を終了した後、ビットストリームはビデオ信号解析部１５３に出力される。

ＶＯヘッダ解析部５２は、入力されるビットストリームよりＶＯヘッダ情報の解析を行い、解析を終えたビットストリームをスタートコード解析部５１へ出力する。ＶＯＬヘッダ解析部５３は、入力されるビットストリームよりＶＯＬヘッダ情報の解析を行い、解析を終えたビットストリームをスタートコード解析部５１へ出力する。ＧＯＶヘッダ解析部５４は、入力されるビットストリームよりＧＯＶヘッダ情報の解析を行い、解析を終えたビットストリームをスタートコード解析部５１へ出力する。この際、ＧＯＶヘッダ情報中に含まれるＶＯＰレート情報５８を復号して出力する。ＶＯＰヘッダ解析部５５は、入力されるビットストリームよりＶＯＰヘッダ情報の解析を行い、解析を終えたビットストリームをスタートコード解析部５１を介してビデオ信号解析部１５３へ出力する。

以上の構成と動作によるＶＯＰデコーダによれば、ＧＯＶの単位でそれに含まれるＶＯＰのＶＯＰレート情報を出力させることができる。この情報を用いて複数のオブジェクトを合成するシステムを図１３に示す。図において、２００は符号化ＶＯＰビットストリームａ、２０１は符号化ＶＯＰビットストリームｂ、２０２は符号化ＶＯＰビットストリームｃ、２０３ａは符号化ＶＯＰビットストリームａ２００を復号するＶＯＰデコーダ部、２０３ｂは符号化ＶＯＰビットストリームｂ２０１を復号するＶＯＰデコーダ部、２０３ｃは符号化ＶＯＰビットストリームｃ２０２を復号するＶＯＰデコーダ部、２０４は復号オブジェクト画像ａ、２０５は復号オブジェクト画像ｂ、２０６は復号オブジェクト画像ｃ、２０７はＶＯＰレート情報ａ，２０８はＶＯＰレート情報ｂ、２０９はＶＯＰレート情報ｃ、２１０はコンポジション部、２１１は復号画像である。復号オブジェクト画像とは、各ＶＯＰの復号形状データ１５６と対応する復号テクスチャデータ１６２とをまとめ、かつ、これをＶＯＰをまとめる単位（例えばＧＯＶ，ＶＯＬなど）でまとめたものを指すものとする。

符号化ＶＯＰビットストリームａ２００〜ｃ２０２はそれぞれ対応するＶＯＰデコーダ部２０３ａ〜２０３ｃで復号され、復号ＶＯＰ画像ａ２０４〜ｃ２０６が生成される。この際、各ＶＯＰデコーダ部は対応するＶＯＰレート情報ａ２０７〜ｃ２０９を復号してこれをコンポジション部２１０に出力する。コンポジション部２１０は、同ＶＯＰレート情報ａ２０７〜ｃ２０９に基づいて、各復号ＶＯＰ画像を、復号画像２１１のいずれの時刻の画像フレームに合成するかを決定して、対応する時刻の画像フレームにマッピングする。例えば、復号画像２１１が１秒あたり３０枚（これは通常のテレビ信号の表示速度に相当する）で表示されるものとする。更に以下の状況を想定する。
○復号ＶＯＰ画像ａ２０４が１秒あたり５枚で表示（即ち、ＶＯＰレート情報ａ２０７が５枚／秒を表わす）。
○復号ＶＯＰ画像ｂ２０５が１秒あたり１０枚で表示（即ち、ＶＯＰレート情報ｂ２０８が１０枚／秒を表わす）。
○復号ＶＯＰ画像ｃ２０６が１秒あたり１５枚で表示（即ち、ＶＯＰレート情報ｃ２０９が１５枚／秒を表わす）。
この場合、復号画像２１１の各秒の先頭の画像フレームには復号ＶＯＰ画像ａ２０４〜ｃ２０６のすべてがマッピングされ、各秒の先頭から５枚おきの画像フレームに復号ＶＯＰ画像ａ２０４がマッピングされ、各秒の先頭から１０枚おきの画像フレームに復号ＶＯＰ画像ｂ２０５がマッピングされ、各秒の先頭から１５枚おきの画像フレームに復号ＶＯＰ画像ｃ２０６がマッピングされる、という動作を行うことができる。これによって、複数の映像オブジェクトを各々の表示速度に合わせて画像フレームに合成した映像を表示することができる。

以上のように、ＧＯＶのレイヤにＶＯＰレート情報を符号化した符号化ビットストリームを復号するＶＯＰデコーダを用いることにより、簡易な構成で複数のオブジェクトを合成して再生画像を得るシステムを実現することが可能である。
なお、ＶＯＰレート情報はＶＯＬを単位として画像符号化装置側で符号化されていてもよい。この場合、画像復号化装置側では、ＶＯＬを単位として符号化されたＶＯＰレート情報を復号化し、ＶＯＬを単位として上述したような簡易な複数のオブジェクトの合成が可能である。

また、本実施の形態３では複数のオブジェクトを合成するシステムとしてＶＯＰデコーダを用いたが、１つのオブジェクトだけを復号し再生するシステムにおいて１つのＶＯＰデコーダだけを使用するような構成も可能である。
以上のように本実施の形態３においては、オブジェクト単位に画像を符号化した符号化ビットストリームを復号化する画像復号化装置において、上記符号化ビットストリームから表示速度情報を復号する表示速度情報復号手段と、該表示速度情報復号手段によって復号された表示速度情報に基づいてオブジェクト単位で処理された画像の再生処理を制御する制御手段を備えるものの一実施例を開示した。
また、本実施の形態３においては、表示速度情報復号手段は、上記表示速度情報をオブジェクトごとに復号するものの一実施例を開示した。

実施の形態４．
本実施の形態４では、実施の形態３で述べたＶＯＰデコーダの別の実施の形態を説明する。本実施の形態４におけるＶＯＰデコーダは、デコーダが想定するＶＯＰレートの値に基づいて、復号対象となるＶＯＰを特定して復号する機能を持つものとする。
本実施の形態４のＶＯＰデコーダは、実施の形態２で述べたＶＯＰデコーダのヘッダ解析部１５１の構成動作のみが異なるので、この部材についてのみ説明する。

図１４はこの発明の実施の形態４によるＶＯＰデコーダ部のヘッダ解析部の構成を示すブロック図であり、エンコーダ側のＶＯＰレートとデコード側のＶＯＰレートが不一致の場合である。図において、５９はデコードＶＯＰ選択部であり、ＧＯＶヘッダ解析部５４から出力されたＶＯＰレート５８とデコード側で想定したＶＯＰレート６１とを対比してＶＯＰ選択情報６２を出力する。また、ＶＯＰヘッダ解析部５５は時間管理情報ヘッダ解析部５６、映像情報ヘッダ解析部５７の他にカウンター部６０を有する。

次に動作について説明する。デコードＶＯＰ選択部５９は、ＧＯＶヘッダ解析部５４において解析されたＶＯＰレート５８とデコーダ側が想定するＶＯＰレート６１との比較に基づき復号化を行うＶＯＰの情報を示すＶＯＰ選択情報６２をＶＯＰヘッダ解析部５５のカウンター部６０へ出力する。このカウンター部６０は入力されたビットストリームに含まれるＶＯＰスタートコードに続くＶＯＰヘッダ情報の復号を行うか否かをＶＯＰ選択情報６２に基づき判断する。

具体的には、ＧＯＶヘッダ解析部５５において解析されたＶＯＰレート５８が３０枚／秒、デコーダ側が想定するＶＯＰレートが１５枚／秒の場合は、１ＶＯＰおきに解析を行うＶＯＰがあることを示すＶＯＰ選択情報６２をＶＯＰヘッダ解析部５５にあるカウンター部６０に出力する。カウンター部６０では、まず、ＶＯＰヘッダが入力される毎にカウンター６０ａでカウントする。

次いで判定器６０ｂは、カウンター６０ａから入力されるカウント数とデコータＶＯＰ選択部５９から入力されるＶＯＰレート選択情報６２に基づき、入力されるＶＯＰの解析を行う必要があるか否かを判定する。入力されるＶＯＰの解析を行う必要があると判定した場合は、入力されるビットストリームを時間管理情報ヘッダ解析部５６へ出力する。また、入力されるＶＯＰの解析を行う必要がないと判定した場合は、入力されるビットストリームをスタートコード解析部５１に出力する。

以下に具体例を示す。ＶＯＰレート選択情報６２が３枚のＶＯＰに対して１枚のＶＯＰを解析する必要があるという情報である場合、判定器６０ｂでは、カウンター６０ａより入力されるカウント数を３で割った余りが０となる場合を解析必要なＶＯＰと判断し、カウンター６０ａより入力されるカウント数を３で割った余りが１または２の場合を解析不必要なＶＯＰと判断する。
なお、本実施の形態４では、ＧＯＶヘッダにＶＯＰレート情報が含まれる場合に対応するＶＯＰデコーダについて述べたが、実施の形態２で述べたように、ＶＯＰレート情報がＶＯＬヘッダ中に含まれていてもよい。その場合は、図１５に示すように、ＶＯＬヘッダ解析部３００にＶＯＰレート情報５８の復号機能を持たせればよい。
また、本実施の形態４における、ＶＯＰデコーダは、複数のオブジェクトを合成するシステムでも、１つのオブジェクトだけを復号し再生するシステムでも使用することが可能である。

以上のように、本実施の形態４においては、制御手段は、上記表示速度情報復号手段によって復号されたオブジェクトの表示速度情報と、復号化装置において予め設定されたオブジェクトの表示速度情報とに基づいて、該オブジェクトにおいて復号対象となる時刻を特定する復号時刻特定手段と、該復号時刻特定手段によって得られる復号対象時刻に基づいてオブジェクトの復号を行う復号化手段とを備えるものの一実施例を開示した。

実施の形態５．
本実施の形態５では、実施の形態３または実施の形態４で述べたＶＯＰデコーダの別の実施の形態を説明する。本実施の形態５におけるＶＯＰデコーダは、オブジェクトの表示速度が固定速度であるか可変速度であるかを示すＶＯＰレートフラグとオブジェクトの表示速度を示すＶＯＰレート情報とユーザが外部より設定する時刻情報を示す外部設定表示制御情報とタイムコードとに基づいて、復号対象となるＶＯＰを特定して復号する機能を持つものとする。

本実施の形態５のＶＯＰデコーダは、図１６に示すように実施の形態３で述べたＶＯＰデコーダのヘッダ解析部１５１に相当するヘッダ解析部１００５の構成動作のみが異なるので、この部分についてのみ説明する。
図１７はこの実施の形態によるＶＯＰデコーダ部のヘッダ解析部１００５の構成を示すブロック図である。図において、１００６はＶＯＬヘッダ解析部、１００７はＧＯＶヘッダ解析部、１００８はＶＯＰヘッダ解析部、１００９は外部設定表示制御情報、１０１０はＶＯＰレートフラグ、１０１１はタイムコードである。なお、外部設定表示制御情報１００９は、絶対時刻を示す情報であっても良いし、何枚のＶＯＰに対して１枚のＶＯＰを復号する必要があるかを示すＶＯＰ選択情報であっても良い。

次に動作について説明する。スタートコード解析部５１は、入力される符号化ＶＯＰビットストリームに含まれるスタートコードの解析を行う。解析したスタートコードがＶＯを示すものであればＶＯヘッダ解析部５２へ、解析したスタートコードがＶＯＬを示すものであればＶＯＬヘッダ解析部１００６へ、解析したスタートコードがＧＯＶを示すものであればＧＯＶヘッダ解析部１００７へ、解析したスタートコードがＶＯＰを示すものであればＶＯＰヘッダ解析部１００８ヘビットストリームを出力する。なお、ＶＯＰヘッダ解析部１００８の解析処理を終了した後、ビットストリームはビデオ信号解析部１５３に出力される。

次に上記のＶＯヘッダ解析部５２は、入力されるビットストリームよりＶＯヘッダの解析を行い、解析を終えたビットストリームをスタートコード解析部５１へ出力する。
また、ＶＯＬヘッダ解析部１００６は、入力されるビットストリームよりＶＯＬヘッダとＶＯＰレート情報５８とＶＯＰレートフラグ１０１０の解析を行い、解析を終えたビットストリームをスタートコード解析部５１へ出力するとともに、ＶＯＰレート情報５８をコンポジション部２１０とＶＯＰヘッダ解析部１００８へ、ＶＯＰレートフラグ１０１０をＶＯＰヘッダ解析部１００８へ出力する。

ＧＯＶヘッダ解析部１００７は、入力されるビットストリームよりＧＯＶへッダの解析を行い、解析を終えたビットストリームをスタートコード解析部５１へ出力するとともに、解析されたＧＯＶヘッダに含まれるタイムコード１０１１をＶＯＰヘッダ解析部１００８へ出力する。

図１８は、ＶＯＰヘッダ解析部１００８の詳細を示す図である。１０１２は復号ＶＯＰ決定部（１）であり、カウンター部１０１２ａ、判定器１０１２ｂを有する。１０１３はモジュロ・タイム・ベース解析部、１０１４はＶＯＰタイムインクリメント解析部、１０１５は復号ＶＯＰ決定部（２）、１０１６は復号ＶＯＰ決定方法選択部である。

次に動作について説明する。復号ＶＯＰ決定方法選択部１０１６では、ＶＯＰレートフラグ１０１０に基づき、入力されるビットストリームの出力先を選択する。ＶＯＰレートフラグ１０１０が固定速度を示す場合には復号ＶＯＰ決定部（１）１０１２を、ＶＯＰレートフラグ１０１０が可変速度を示す場合にはモジュロ・タイム・ベース解析部１０１３を出力先とする。

まず、ＶＯＰレートフラグ１０１０が固定速度を示す場合について説明する。復号ＶＯＰ決定部（１）１０１２にあるカウンター部１０１２ａは、スタートコード解析部５１においてＶＯＰスタートコードが検出されてＶＯＰヘッダ解析部１００６にビットストリームが入力される度にカウント数をインクリメントし、カウント数とビットストリームを判定器１０１２ｂに出力する。
次いで判定器１０１２ｂでは復号対象ＶＯＰの復号を行う必要があるか否かの判定を行う。判定器１０１２ｂの動作について、外部設定表示制御情報１００９が絶対時刻で与えられた場合を第一のケース、外部設定表示制御情報１００９がＶＯＰ選択情報で与えられた場合を第二のケースとして下記に説明する。

（第一のケース）
カウンター部１０１２ａより入力されるカウント数とＶＯＰレート情報５８とタイムコード１０１１とに基づき、復号対象ＶＯＰが持つ絶対時刻を算出する。例えば、カウント数が４、ＶＯＰレート情報が２枚／秒を示し、絶対時刻が０ｈ１０ｍ０ｓｅｃ０ｍｓｅｃである場合、復号対象ＶＯＰが持つ絶対時刻は０ｈ１０ｍ０２ｓｅｃ０ｍｓｅｃと算出される。算出した復号対象ＶＯＰが持つ絶対時刻と外部設定表示制御情報１００９とが等しければ、復号を行う必要があると判断する。

一方、等しくない場合は、次に復号対象となるＶＯＰの絶対時刻を算出する。これは、次に復号対象となるＶＯＰの絶対時刻と、現在復号対象とされているＶＯＰの絶対時刻とを比較して、より外部設定表示制御情報１００９に近い絶対時刻を持つＶＯＰを復号するようにするためである。次に復号対象となるＶＯＰの絶対時刻は、すでに算出した現在復号対象とされているＶＯＰの絶対時刻とＶＯＰレート情報５８とから算出する。この算出値が外部設定表示制御情報１００９を超えない、もしくは等しい場合は、次に復号対象となるＶＯＰを復号するものと判断し、現在復号対象とされているＶＯＰの復号は行わない。また、算出値が外部設定表示制御情報１００９を超える場合には、
○現在復号対象とされているＶＯＰを復号
○次に復号対象となるＶＯＰを復号（＝現在復号対象とされているＶＯＰは復号しない）
○外部設定表示制御情報１００９との差が小さい、つまり外部設定表示制御情報１００９に近い絶対時刻をもつＶＯＰを復号
のいずれを選択してもよい。

（第二のケース）
ＶＯＰデコーダ側において表示速度を制御する場合であり、例えば、ユーザが表示速度を決めることが可能となったり、ＣＰＵリソースに応じて最適な表示速度を指定することが可能となる。

次に動作について説明する。ＶＯＰ選択情報が３枚のＶＯＰに対して１枚のＶＯＰを復号する必要があるという情報である場合を想定する。この場合、判定器１０１２ｂは、カウンター部１０１２ａより入力されるカウント数を３で割った余りが０となる場合を復号を行う必要があるＶＯＰと判断し、カウンター部１０１２ａより入力されるカウント数を３で割った余りが１または２の場合を復号を行う必要がないＶＯＰと判断する。

第一のケース、第二のケースとも、復号対象ＶＯＰの復号を行う必要があると判断した場合には、ビットストリームをモジュロ・タイム・ベース解析部１０１３へ、復号を行う必要がないと判断した場合には、入力されるビットストリームをスタートコード解析部５１に出力する。モジュロ・タイム・ベース解析部１０１３ではモジュロ・タイム・ベースの解析を行い、ＶＯＰタイムインクリメント解析部１０１４ヘビットストリームを出力する。
ＶＯＰタイムインクリメント解析部１０１４ではＶＯＰタイムインクリメントの解析を行い、映像情報ヘッダ解析部５７ヘビットストリームを出力する。映像情報ヘッダ解析部５７では映像情報ヘッダの解析を行い、スタートコード解析部５１ヘビットストリームを出力する。

次に、ＶＯＰレートフラグ１０１０が可変速度を示す場合について説明する。モジュロ・タイム・ベース解析部１０１３ではモジュロ・タイム・ベースの解析を行い、ＶＯＰタイムインクリメント解析部１０１４ヘビットストリームを出力する。ＶＯＰタイムインクリメント解析部１０１４ではＶＯＰタイムインクリメントの解析を行い、復号ＶＯＰ決定部（２）１０１５ヘビットストリームを出力する。

復号ＶＯＰ決定部（２）１０１５は、モジュロ・タイム・ベース解析部１０１３において解析されたモジュロ・タイム・ベースと、ＶＯＰタイムインクリメント解析部１０１４において解析されたＶＯＰタイムインクリメントと、タイムコード１０１１とに基づき、復号対象ＶＯＰが持つ絶対時刻を作成し、作成した絶対時刻と外部設定表示制御情報１００９とに基づき、復号対象ＶＯＰの復号を行う必要があるか否かを判定する。復号を行う必要があると判断した場合は、ビットストリームを映像情報ヘッダ解析部５７へ、復号を行う必要がないと判断した場合には、ビットストリームをスタートコード解析部５１に出力する。映像情報ヘッダ解析部５７では映像情報ヘッダの解析を行い、スタートコード解析部５１ヘビットストリームを出力する。

以上のように、この実施の形態５によれば、ＶＯＬレイヤにＶＯＰレートフラグとＶＯＰレート情報を符号化したビットストリームを解析可能とするよう構成したため、ＶＯＰレートフラグとＶＯＰレートとを用いれば、ユーザが所望するＶＯＰを瞬時に特定することができ、各ＶＯＰヘッダ情報に含まれるＶＯＰスタートコードのみを解析することにより、復号化対象のＶＯＰの復号が必要であるか否かを判断したり、複数のオブジェクトを簡単に合成したりすることができる効果がある。
なお、ＶＯＰデコーダに入力される符号化ＶＯＰビットストリームに含まれるＶＯＰが全てイントラ符号化されている場合には、ユーザが所望するＶＯＰを瞬時に特定し、表示させることも可能となる効果もある。

以上のように、本実施の形態５においては、制御手段は、該表示速度情報復号手段によって復号された表示速度識別情報が固定を示す場合は表示速度情報に基づいて、可変速度を示す場合は各時刻の画像ごとに多重化される表示時刻情報に基づいて各時刻の画像の表示時刻を特定して再生を特徴とするものの一実施例を開示した。

実施の形態６．
本実施の形態６では、実施の形態５で述べたＶＯＰデコーダの別の実施の形態を説明する。本実施の形態６におけるＶＯＰデコーダは、オブジェクトの表示速度が固定速度であるか可変速度であるかを示すＶＯＰレートフラグとオブジェクトの表示速度を示すＶＯＰレートとユーザが外部より設定する時刻情報を示す外部設定表示制御情報とタイムコードとに基づいて、復号対象となるＶＯＰを特定して復号する機能を持つものとする。

図１９は、この発明の実施の形態６におけるヘッダ解析部を示す図である。本実施の形態６のＶＯＰデコーダは、実施の形態５で述べたヘッダ解析部にあるＶＯＬヘッダ解析部１００６とＶＯＰヘッダ解析部１００８の構成動作のみが異なるので、この部材についてのみ説明する。
ＶＯＬヘッダ解析部１０１７は、入力されるビットストリームよりＶＯＬヘッダとＶＯＰレート情報とＶＯＰレートフラグの解析を行い、解析を終えたビットストリームをスタートコード解析部５１へ、ＶＯＰレートフラグ１０１０をＶＯＰヘッダ解析部１０１８へ出力するとともに、解析したＶＯＰレート情報が何らかの固定レート値であるということを示す場合（例えば、表２においてＶＯＰレート情報「１００」が示すＶＯＰレート）はＶＯＰレート情報５８をＶＯＰヘッダ解析部１０１８へ、解析したＶＯＰレート情報がある固有値を示す場合（例えば、表２においてＶＯＰレート情報「０００」、「００１」、「０１０」、「０１１」が示すＶＯＰレート）はＶＯＰレート情報５８をＶＯＰヘッダ解析部１０１８とコンポジション部２１０へ出力する。

図２０は、ＶＯＰヘッダ解析部１０１８の詳細を示す図である。１０２５は復号ＶＯＰ決定方法選択部、１０１９は復号ＶＯＰ決定部（３）であり、カウンター部１０１９ａ、カウント数判定部１０１９ｂ、判定器１０１９ｃを有する。１０２０は時間情報保持部、１０２１はＶＯＰレート情報算出部、１０２２はＶＯＰレート情報保持部、１０２３はモジュロ・タイム・ベース解析部、１０２４はＶＯＰタイムインクリメント解析部である。

復号ＶＯＰ決定方法選択部１０２５では、入力されるＶＯＰレートフラグ１０１０とＶＯＰレート情報５８とに基づき入力されるビットストリームの出力先を選択する。具体的には、ＶＯＰレートフラグ１０１０が固定速度を示しＶＯＰレート情報５８が何らかの固定レート値を示す場合には復号ＶＯＰ決定部（３）１０１９を出力先とする。また、ＶＯＰレートフラグ１０１０が可変速度を示す場合は、実施の形態５に記した通りの動作となるので、説明を省略する。また、ＶＯＰレートフラグ１０１０が固定速度を示しＶＯＰレート情報５８がある固有値を示す場合は、復号ＶＯＰ決定部（１）１０１２ヘビットストリームを出力する。この場合、復号ＶＯＰ決定部（１）１０１２以降の動作は、実施の形態５に記した通りの動作となるので、説明を省略する。
従って、ＶＯＰレートフラグ１０１０が固定速度を示しＶＯＰレート情報５８が何らかの固定レート値を示す場合について、下記に説明する。

復号ＶＯＰ決定部（３）１０１９にあるカウンター部１０１９ａは、スタートコード解析部５１においてＶＯＰスタートコードが検出されてＶＯＰヘッダ解析部１０１８にビットストリームが入力される度にカウント数をインクリメントし、カウント数とビットストリームをカウント数判定部１０１９ｂに出力する。カウント数判定部１０１９ｂでは、カウント数が１枚目のＶＯＰ、または２枚目のＶＯＰを示す場合、モジュロ・タイム・ベース解析部１０２３にビットストリームとカウント数を出力し、上記以外の場合には判定器１０１９ｃにビットストリームとカウント数を出力する。

モジュロ・タイム・ベース解析部１０２３では、モジュロ・タイム・ベースの解析を行い、入力されたカウント数が１枚目のＶＯＰを示す場合には時間情報保持部１０２０へ、入力されたカウント数が２枚目のＶＯＰを示す場合にはＶＯＰレート情報算出部１０２１ヘモジュロ・タイム・ベースを出力するとともにビットストリームとカウント数をＶＯＰタイムインクリメント解析部１０２４へ出力する。
ＶＯＰタイムインクリメント解析部１０２４では、ＶＯＰタイムインクリメントの解析を行い、入力されたカウント数が１枚目のＶＯＰを示す場合には時間情報保持部１０２０へ、入力されたカウント数が２枚目のＶＯＰを示す場合にはＶＯＰレート情報算出部１０２１へＶＯＰタイムインクリメントを出力するとともに、映像情報ヘッダ解析部５７へビットストリームを出力する。映像情報ヘッダ解析部５７では映像情報ヘッダの解析を行い、スタートコード解析部５１ヘビットストリームを出力する。

時間情報保持部１０２０では、入力されるモジュロ・タイム・ベースとＶＯＰタイムインクリメントとを保持する。ＶＯＰレート情報算出部１０２１は、２枚目のＶＯＰに関するモジュロ・タイム・ベースとＶＯＰタイムインクリメントとが入力されると、時間情報保持部１０２０より１枚目のＶＯＰに関するモジュロ・タイム・ベースと同じく１枚目のＶＯＰに関するＶＯＰタイムインクリメントとを入力し、これらに基づきＶＯＰレート情報を算出し、ＶＯＰレート情報保持部１０２２へＶＯＰレート情報を出力する。ＶＯＰタイムインクリメントを６ビット精度にて表現した場合において、ＶＯＰレート情報算出部１０２１におけるＶＯＰレート情報の算出に関する具体例を下記に示す。

１枚目のＶＯＰに関するモジュロ・タイム・ベースが「１０」、１枚目のＶＯＰに関するＶＯＰタイムインクリメントが「００００００」（即ち、１枚目のＶＯＰに関する時刻情報は１．０秒）、２枚目のＶＯＰに関するモジュロ・タイム・ベースが「１０」、２枚目のＶＯＰに関するＶＯＰタイムインクリメントが「１０００００」（即ち、２枚目のＶＯＰに関する時刻情報は１．５秒）の場合、両者の時間情報の差分は０．５秒となる。これは、０．５秒に１枚の割合にて復号対象のＶＯＰが存在すること、即ちＶＯＰレートは２枚／秒である（表２を用いればＶＯＰレート情報は「１１１１」）ことを意味する。
なお、ＶＯＰレート情報５８が多重化されていない場合でも、ＶＯＰレートフラグ１０１０さえ多重化されていれば、これによって固定レートであることが判断できるので、上記のような動作が可能である。

ＶＯＰレート情報保持部１０２２は、入力されたＶＯＰレート情報を保持するとともに、ＶＯＰレート情報をコンポジション部２１０へ出力する。判定器１０１９ｃの動作について、外部設定表示制御情報１００９が絶対時刻で与えられた場合を第一のケース、外部設定表示制御情報１００９がＶＯＰレートで与えられた場合を第二のケースとして下記に説明する。

（第一のケース）
判定器１０１９ｃは、カウント数判定部１０１９ｂより入力されるカウント数とＶＯＰレート情報保持部１０２２より出力されるＶＯＰレート情報に基づき、複号対象ＶＯＰが持つ絶対時刻を算出する。算出した復号対象ＶＯＰが持つ絶対時刻と外部設定表示制御情報１００９とが等しければ、復号を行う必要があると判断する。

一方、等しくない場合は、次に復号対象となるＶＯＰの絶対時刻を算出する。これは、次に復号対象となるＶＯＰの絶対時刻と、現在復号対象とされているＶＯＰの絶対時刻とを比較して、より外部設定表示制御情報１００９に近い絶対時刻を持つＶＯＰを復号するようにするためである。次に復号対象となるＶＯＰの絶対時刻は、すでに算出した現在復号対象とされているＶＯＰの絶対時刻とＶＯＰレート情報５８とから算出する。この算出値が外部設定表示制御情報１００９を超えない、もしくは等しい場合は、次に復号対象となるＶＯＰを復号するものと判断し、現在復号対象とされているＶＯＰの復号は行わない。また、算出値が外部設定表示制御情報１００９を超える場合には、
○現在復号対象とされているＶＯＰを復号
○次に復号対象となるＶＯＰを復号（＝現在復号対象とされているＶＯＰは復号しない）
○外部設定表示制御情報１００９との差が小さい、つまり外部設定表示制御情報１００９に近い絶対時刻をもつＶＯＰを復号
のいずれを選択してもよい。

（第二のケース）
判定器１０１９ｃは、外部設定表示制御情報１００９により与えられたＶＯＰレートが２枚／秒、ＶＯＰレート情報保持部１０２２より出力されるＶＯＰレート情報が示すＶＯＰレートが４枚／秒であった場合、何枚のＶＯＰに対して１枚のＶＯＰを復号する必要があるかを示すＶＯＰ選択情報は２枚に１枚のＶＯＰを復号する必要があるという情報となる。この場合、判定器１０１９ｃは、カウント数判定部１０１９ｂより入力されるカウント数を２で割った余りが０となる揚合を復号を行う必要があるＶＯＰと判断し、カウント数判定部１０１９ｂより入力されるカウント数を２で割った余りが１の場合を復号を行う必要がないＶＯＰと判断する。

第一のケース、第二のケースとも、復号対象ＶＯＰの復号を行う必要があると判断した場合には、ビットストリームをモジュロ・タイム・ベース解析部１０１３へ、復号を行う必要がないと判断した場合には、入力されるビットストリームをスタートコード解析部５１に出力する。モジュロ・タイム・ベース解析部１０１３ではモジュロ・タイム・ベースの解析を行い、ＶＯＰタイムインクリメント解析部１０１４ヘビットストリームを出力する、ＶＯＰタイムインクリメント解析部１０１４ではＶＯＰタイムインクリメントの解析を行い、映像情報ヘッダ解析部５７ヘビットストリームを出力する、映像情報ヘッダ解析部５７では映像情報ヘッダの解析を行い、スタートコード解析部５１ヘビットストリームを出力する。

以上のように、この実施の形態６によれば、ＶＯＬレイヤにＶＯＰレートフラグとＶＯＰレート情報を符号化したビットストリームを解析可能とし、ＶＯＰレートフラグが固定速度を示す場合において、１枚目のＶＯＰと２枚目のＶＯＰとが持つ絶対時刻よりＶＯＰレート情報を算出するように構成したため、ＶＯＰレートフラグとＶＯＰレートとを用いれば、ユーザが所望するＶＯＰを瞬時に特定することができ、任意の固定ＶＯＰレートに対して各ＶＯＰヘッダ情報に含まれるＶＯＰスタートコードを解析することにより、復号化対象のＶＯＰの復号が必要であるか否かを判断したり、複数のオブジェクトを簡単に合成したりすることができる効果がある。
なお、ＶＯＰデコーダに入力される符号化ＶＯＰビットストリームに含まれるＶＯＰが全てイントラ符号化されている場合には、ユーザが所望するＶＯＰを瞬時に特定し、表示させることも可能となる効果もある。

以上のように、本実施の形態６においては、制御手段は、該表示速度情報復号手段によって復号された表示速度情報が固定を示し且つ該固定速度が前記表示速度情報で表現されていない値である場合は各時刻の画像ごとに多重化される表示時刻情報に基づいて各時刻の画像の表示時刻を特定して再生を制御することを特徴とするものの一実施例を開示した。

実施の形態７．
本実施の形態７では、実施の形態１で述べたＶＯＰエンコーダの別の実施の形態を説明する。本実施の形態７におけるＶＯＰエンコーダは、ＶＯＬの単位で、当該ＶＯＬに含まれる各ＶＯＰの絶対表示時刻を規定するタイムコードを付加する機能を持つものとする。
ここで、タイムコードとは、IEC standard publication 461 for “time and control codes for video tape recorders ”で開示される時間情報であって、動画像を構成する各時刻の画像（ＭＰＥＧ−２で言えばフレーム、ＭＰＥＧ−４で言えばＶＯＰなど）の表示時刻を、時間・分・秒の精度で規定する情報である。これは例えば、業務用映像編集機器などでフレーム単位で編集を行う場合に、各フレームにこの情報を付加することにより、タイムコードの値を指定するだけで所望のフレームにアクセスできるなどの効果を持つ。

本実施の形態７のＶＯＰエンコーダは、実施の形態１で述べたＶＯＰエンコーダのヘッダ多重化部１２４の構成動作のみが異なるので、この部材についてのみ説明する。
図２１はこの発明の実施の形態７によるＶＯＰエンコーダ部のヘッダ多重化部の構成を示すブロック図であり、前記図４に示す実施の形態１と同一部分には同一符号を付して重複説明を省略する。

次に動作について説明する。ＶＯヘッダ多重化部１においてＶＯヘッダ情報が多重化されたビットストリームは、ＶＯＬヘッダ多重化部２に入力される。このＶＯＬヘッダ多重化部２は、入力されたビットストリームにＶＯＬヘッダ情報と時間管理の基本となるタイムコード１８を多重化したビットストリームをＧＯＶヘッダ多重化選択部３に出力する。 ＧＯＶヘッダ多重化選択部３では、ＶＯＬヘッダ多重化部２より出力されたビットストリームの出力先を、ＧＯＶヘッダの多重化を行うか否かを示すＧＯＶ多重化情報６に基づき判断する。ＧＯＶ多重化情報６がＧＯＶヘッダの多重化を行わないことを示す場合は、ＶＯＰヘッダ多重化部５へ、ＧＯＶ多重化情報６がＧＯＶヘッダの多重化を行うことを示す場合はＧＯＶヘッダ多重化部４へビットストリームを出力する。この場合、ＧＯＶヘッダ多重化部４は、ＧＯＶヘッダ多重化選択部３より出力されたビットストリームにＧＯＶヘッダ情報の多重化を行い、ＶＯＰヘッダ多重化部５へ出力する。
ＶＯＰヘッダ多重化部５は、入力されたビットストリームにＶＯＰスタートコード、時間管理情報ヘッダ、映像情報ヘッダの多重化を行ったビットストリームをビデオ信号多重化部１２６（図３参照）へ出力する。
なお、ビデオ信号多重化部１２６以降の動作については、上述で説明した内容と同一である。

以上のように、この実施の形態７によれば、ＭＰＥＧ−４で必ず符号化されるＶＯＬヘッダにタイムコードを多重化したため、タイムコードを基準として複数のオブジェクトにより構成される画面の作成が可能なビットストリームを構成できる。また、本実施の形態７による符号化ビットストリームを業務用の映像オブジェクト単位の編集機器などにおいて復号しながら編集操作を行うような場合に、オブジェクトの任意の時刻のＶＯＰに常に自由にランダムアクセスが可能であるという効果がある。このような効果から、映像合成の自由度を高めることができる。
なお、本実施の形態７ではＶＯＬの単位でタイムコードを付加するエンコーダについて述べたが、タイムコード情報をＶＯＰの単位で付加するように構成してもよい。この場合は、図２２に示すように、ＶＯＰヘッダ多重化部３０１に各ＶＯＰの絶対表示時刻を規定するタイムコード１８を入力して、これを多重化するように構成すればよい。
また、本実施の形態７ではＶＯＰレート情報の符号化を伴う例を示したが、もちろんタイムコードの多重化はＶＯＰレート情報とは独立であり、ＶＯＰレート情報を符号化しない場合であっても同じような効果が得られる。

以上のように本実施の形態７においては、オブジェクト単位に画像を符号化する画像符号化装置において、オブジェクト毎に該オブジェクトに対する絶対時刻を表現する情報を該符号化された画像信号に多重化する絶対時刻多重化手段を備えたものの一実施例を開示した。

以下、この発明の適用例について説明する。
適用例１．
適用例１では、符号化ビットストリーム中のＶＯＬヘッダからタイムコードを復号し出力するＶＯＰデコーダを複数備え、複数の復号されたオブジェクトを合成して画像を再生するシステムについて説明する。
まず、適用例１におけるＶＯＰデコーダの構成と動作について説明する。適用例１におけるＶＯＰデコーダの内部構成を図２３に示す。本デコーダは、実施の形態２に述べたＶＯＰデコーダの構成動作に対してヘッダ解析部３０２のみが異なるので、以下、この部材についてのみ説明する。ヘッダ解析部３０２は、ＶＯＬヘッダ中のタイムコードを復号し出力する機能を持つ。

図２４は、ヘッダ解析部３０２の内部構成を示したものである。図において、３０３はＶＯＬヘッダ解析部である。スタートコード解析部５１は、入力される符号化ＶＯＰビットストリーム１５０に含まれるスタートコードの解析を行う。解析したスタートコードがＶＯを示すものであればＶＯヘッダ解析部５２へ、解析したスタートコードがＶＯＬを示すものであればＶＯＬヘッダ解析部３０３へ、解析したスタートコードがＧＯＶを示すものであればＧＯＶヘッダ解析部５４へ、解析したスタートコードがＶＯＰを示すものであればＶＯＰヘッダ解析部５５へビットストリームを出力する。なお、ＶＯＰヘッダ解析部５５の解析処理を終了した後、ビットストリームはビデオ信号解析部１５３に出力される。

ＶＯヘッダ解析部５２は、入力されるビットストリームよりＶＯヘッダ情報の解析を行い、解析を終えたビットストリームをスタートコード解析部５１へ出力する。ＶＯＬヘッダ解析部３０３は、入力されるビットストリームよりＶＯＬヘッダ情報の解析を行い、解析を終えたビットストリームをスタートコード解析部５１へ出力する。この際、ＶＯＬヘッダ情報中に含まれるタイムコード６４を復号して出力する。ＧＯＶヘッダ解析部５４は、入力されるビットストリームよりＧＯＶヘッダ情報の解析を行い、解析を終えたビットストリームをスタートコード解析部５１へ出力する。ＶＯＰヘッダ解析部５５は、入力されるビットストリームよりＶＯＰヘッダ情報の解析を行い、解析を終えたビットストリームをスタートコード解析部５１を介してビデオ信号解析部１５３へ出力する。

以上の構成と動作によるＶＯＰデコーダによれば、ＶＯＬの単位でそれに含まれるＶＯＰの絶対表示時刻を出力させることができる。この情報を用いて複数のオブジェクトを合成するシステムを図２５に示す。
図において、４００は符号化ＶＯＰビットストリームａ、４０１は符号化ＶＯＰビットストリームｂ、４０２は符号化ＶＯＰビットストリームｃ、４０３ａは符号化ＶＯＰビットストリームａ４００を復号するＶＯＰデコーダ部、４０３ｂは符号化ＶＯＰビットストリームｂ４０１を復号するＶＯＰデコーダ部、４０３ｃは符号化ＶＯＰビットストリームｃ４０２を復号するＶＯＰデコーダ部、４０４は復号オブジェクト画像ａ、４０５は復号オブジェクト画像ｂ、４０６は復号オブジェクト画像ｃ、４０７はタイムコードａ、４０８はタイムコードｂ、４０９はタイムコードｃ、４１０はコンポジション部、４１１は復号画像である。復号オブジェクト画像とは、各ＶＯＰの復号形状データ１５６と対応する復号テクスチャデータ１６２とをまとめ、かつこれをＶＯＰをまとめる単位（例えばＧＯＶ、ＶＯＬなど）でまとめたものを指すものとする。
符号化ＶＯＰビットストリームａ４００〜符号化ＶＯＰビットストリームｃ４０２はそれぞれ対応するＶＯＰデコーダ部４０３ａ〜４０３ｃで復号され、復号オブジェクト画像ａ４０４〜ｃ４０６が生成される。この際、各ＶＯＰデコーダ部は対応するタイムコードａ４０７〜ｃ４０９を復号してこれをコンポジション部４１０に出力する。コンポジション部４１０は、同タイムコードａ４０７〜ｃ４０９に基づいて、各復号オブジェクト画像の各時刻のＶＯＰを、復号画像４１１の、いずれの時刻の画像フレームに合成するかを決定して、対応する時刻の画像フレームにマッピングする。例えば、以下の状況を想定する。
・コンポジション部は、タイムコード発生機能を持ち、合成する各画像フレームの絶対表示時刻を決定する。
・復号オブジェクト画像ａ４０４の先頭ＶＯＰのタイムコードとして０１：００：００が復号されたとする。ここで、０１：００：００は、（時間）：（分）：（秒）を表す。
・復号オブジェクト画像ｂ４０５の先頭ＶＯＰのタイムコードとして０１：００：１０が復号されたとする。
・復号オブジェクト画像ｃ４０６の先頭ＶＯＰのタイムコードとして０１：０１：００が復号されたとする。

ここで、コンポジション部４１０で規定される復号画像４１１の先頭画像フレームのタイムコードが０１：００：００であったとすると、復号オブジェクト画像ａ４０４は復号画像４１１の先頭フレームからマッピングされ、復号オブジェクト画像ｂ４０５は復号画像４１１の先頭フレームから１０秒後からマッピングされ、復号オブジェクト画像ｃ４０６は復号画像４１１の先頭フレームから１分後からマッピングされ、画面に表示されるという動作を行うことができる。これによって、複数の映像オブジェクトを基準となる絶対時刻に合わせて画像フレームに合成した映像を表示することができる。

以上のように、ＶＯＬのレイヤにタイムコードを符号化した符号化ビットストリームを復号するＶＯＰデコーダを用いることにより、簡易な構成で複数オブジェクトを合成して再生画像を得るシステムを実現することが可能である。
なお、図２６に示すように、タイムコードはＶＯＰを単位として画像符号化装置側で符号化されていてもよい。この場合、画像符号化装置側では、ＶＯＬを単位として符号化されたタイムコードを復号化し、ＶＯＰごとに上述したような簡易な複数オブジェクトの合成が可能である。

また、図２７に示すように、ＶＯＬヘッダにタイムコードと共に、ＶＯＰレート情報を多重化した符号化ビットストリームを入力とするＶＯＰデコーダを考えることもできる。この場合は、タイムコードによってＶＯＬの先頭のＶＯＰの絶対表示時刻を決定し、次いでＶＯＰレート情報によって簡単に各ＶＯＰの絶対表示時刻を知ることができるので、より簡易に複数オブジェクトの合成システムを構成することができる。
また、適用例１では、複数のオブジェクトを合成するシステムとしてＶＯＰデコーダを用いたが、１つのオブジェクトだけを復号し再生するシステムにおいて１つのＶＯＰデコーダだけを使用するような構成も可能である。

以上のように、適用例１においては、オブジェクト単位に画像を符号化した符号化ビットストリームを復号化する画像復号化装置において、オブジェクト毎に該オブジェクトに対する絶対時刻を表現する情報を解析する絶対時刻解析手段と、該絶対時刻解析手段によって解析された絶対時刻を表現する情報に基づいて、オブジェクト単位で処理された画像の再生処理を行うものの一例を開示した。

適用例２．
適用例２では、現在ＭＰＥＧ−４で用いられているモジュロ・タイム・ベース（第１の時間情報に相当）とＶＯＰタイムインクリメント（第２の時間情報に相当）の表現において、モジュロ・タイム・ベースの符号化方法を改善した表現手法と、それを実現するＶＯＰエンコーダについて説明する。

それに先立ち、まずＭＰＥＧ−４におけるモジュロ・タイム・ベース２０の表現方法を説明する。
実施の形態１でも述べたように、モジュロ・タイム・ベースの値は、図５に示すように当該ＶＯＰがある基準となる時刻から何秒後に表示されるかを示す情報で、その秒数を値”１”のビットの個数で表現する。値”０”を付加することによってデータの終端を明示する。即ち、５秒後であれば”１１１１１０”となる。この表現方法では、基準時刻が全く変化しない場合、モジュロ・タイム・ベースの情報量は限りなく大きくなっていく。現在ＭＰＥＧ−４では、この基準時刻をＧＯＶヘッダ中に多重化されるタイムコードによって規定しているが、ＧＯＶはオプションであるため、ＭＰＥＧ−４の規定として必ずしもＧＯＶヘッダが符号化されている必要はない。つまり、ＧＯＶヘッダが現われない限り、モジュロ・タイム・ベースの値は限りなく長くなる危険性がある。本実施の形態９は、モジュロ・タイム・ベースのデータを符号化するに当たってこのような問題を回避するエンコーダを実現する。

適用例２では、これまでに述べたＶＯＰエンコーダのヘッダ多重化部１２４の構成動作のみを変更するだけなので、この部材についてのみ説明する。
図２８は、この適用例２におけるヘッダ多重化部１２４の内部構成を示したものである。５００はＶＯＰヘッダ多重化部、１９はビット長演算部、２０はモジュロ・タイム・ベース、２１はシフト化モジュロ・タイム・ベース、２２は繰り返し回数を示す情報ビット、５０１はモジュロ・タイム・ベース多重化部である。

次に動作について説明する。ＶＯヘッダ多重化部１においてＶＯヘッダ情報が多重化されたビットストリームは、ＶＯＬヘッダ多重化部２に入力される。このＶＯＬヘッダ多重化部２は、入力されたビットストリームにＶＯＬヘッダ情報の多重化を行い、多重化後のビットストリームをＧＯＶヘッダ多重化選択部３へ出力する。

ＧＯＶヘッダ多重化選択部３では、ＶＯＬヘッダ多重化部２より出力されたビットストリームの出力先を、ＧＯＶヘッダの多重化を行うか否かを示すＧＯＶ多重化情報６に基づき判断する。ＧＯＶ多重化情報６がＧＯＶヘッダの多重化を行わないことを示す場合は、ＶＯＰヘッダ多重化部５へ、ＧＯＶ多重化情報６がＧＯＶヘッダの多重化を行うことを示す場合はＧＯＶ多重化部４へビットストリームを出力する。この場合、ＧＯＶヘッダ多重化部４は、ＧＯＶヘッダ多重化選択部３より出力されたビットストリームにＧＯＶヘッダ情報の多重化を行いＶＯＰヘッダ多重化部５へ出力する。

ＶＯＰヘッダ多重化部５００にあるＶＯＰスタートコード多重化部８は、入力されたビットストリームにＶＯＰスタートコードの多重化を行い、多重化後のビットストリームをモジュロ・タイム・ベース多重化部５０１に出力する。ＶＯＰヘッダ多重化部５００にあるビット長算出部１９は、モジュロ・タイム・ベース２０のビット長とあらかじめ設定した正の値をとるしきい値との比較を行い、モジュロ・タイム・ベース２０のビット長の方が長い場合には、モジュロ・タイム・ベース２０のビット長が上記のしきい値を下回るまでしきい値の長さ分ずつ繰り返し左シフトを行い、この結果得られたビット列であるシフト化モジュロ・タイム・ベース２１と繰り返しシフト回数を示す情報ビット２２を出力する。繰り返しシフト回数を示す情報ビット２２は、繰り返しシフト回数を所定の固定ビット数で表現した２進数表記であってもよいし、繰り返しシフト回数を可変長符号で表現した可変ビット長表記であってもよい。

以下に、ビット長算出部１９における動作の具体例を示す。上記しきい値を４と設定した場合、モジュロ・タイム・ベース２０が”１１１１１１１１１０”であれば、繰り返しシフト回数は２回であり、シフト化モジュロ・タイム・ベース２１は”１０”となる。繰り返しシフト回数を示す情報ビット２２は、固定長２ビットで表現するならば”１０”となる。
ＶＯＰヘッダ多重化部５００にあるモジュロ・タイム・ベース多重化部５０１は、ＶＯＰスタートコード多重化部８より出力されたビットストリームにシフト化モジュロ・タイム・ベース２１と繰り返しシフト回数を示す情報ビット２２の多重化を行ったビットストリームをＶＯＰタイムインクリメント多重化部１０へ出力する。
ＶＯＰタイムインクリメント多重化部１０は、モジュロ・タイム・ベース多重化部５０１より出力されたビットストリームにＶＯＰタイムインクリメントの多重化を行ったビットストリームを映像情報ヘッダ多重化部１１へ出力する。映像情報ヘッダ多重化部１１は、ＶＯＰタイムインクリメント多重化部１０より出力されたビットストリームに映像情報ヘッダの多重化を行ったビットストリームをビデオ信号多重化部２６へ出力する。

以上のように、この実施の形態９によれば、モジュロ・タイム・ベースを２種類の情報ビット（シフト化モジュロ・タイム・ベースと繰り返しシフト回数を示す情報ビット）で表現し、ＭＰＥＧ−４で現在規定されるモジュロ・タイム・ベースの表現そのままで符号化する代わりに前記２種類の情報ビットを多重化するように構成したため、ＭＰＥＧ−４における表現方法よりも情報発生量を抑えることが可能となる効果がある。

以上のように適用例２においては、オブジェクト単位に画像を符号化する画像符号化装置において、オブジェクト毎に各時刻の画像の表示時刻を規定する情報として、基準時刻から表示時刻までの時間を規定する第１の時間情報と、該第１の時間情報で定められる時刻からさらに細かい精度で表示時刻を規定する第２の時間情報と、各時刻に対応する画像とを符号化する時間情報符号化手段を備え、該時間情報符号化手段は、前記第１の時間情報をビット長に換算することにより表現して、該第１の時間情報のビット長が所定の設定値よりも長い場合、該設定値より短くなるまで該設定値分のビットシフトを繰り返すと共にビットシフト実施回数をカウントし、該ビットシフト実施回数と繰り返しビットシフトの結果から得られるビット列とを符号化するものの一例を開示した。

適用例３．
適用例３では、適用例２で述べたモジュロ・タイム・ベース多重化部５０１によって符号化ビットストリームに多重化されたモジュロ・タイム・ベースの情報を復元し、これとＶＯＰタイムインクリメントとに基づいて各ＶＯＰの表示時刻を規定するＶＯＰデコーダについて説明する。

適用例３では、これまでに述べたＶＯＰデコーダのヘッダ解析部１５１の構成動作のみを変更するだけなので、この部材についてのみ説明する。
図２９は、この発明の適用例３におけるヘッダ解析部１５１の内部構成を示したものである。５０２はＶＯＰヘッダ解析部、６５はモジュロ・タイム・ベース解析部、６６はＶＯＰタイムインクリメント解析部、６７はモジュロ・タイム・ベース算出部、６９はシフト化モジュロ・タイム・ベース、７０は繰り返しシフト回数を示す情報ビットである。

次に動作について説明する。スタートコード解析部５１は、入力されるシフト化モジュロ・タイム・ベース６９と繰り返しシフト回数を示す情報ビット７０が多重化された符号ＶＯＰビットストリームよりスタートコードの解析を行い、解析したスタートコードがＶＯヘッダに含まれるものであればＶＯヘッダ解析部５２へ、解析したスタートコードがＶＯＬヘッダに含まれるものであればＶＯＬヘッダ解析部５３へ、解析したスタートコードがＧＯＶヘッダに含まれるものであればＧＯＶヘッダ解析部５４へ、解析したスタートコードがＶＯＰヘッダに含まれるものであればＶＯＰヘッダ解析部５５へ、解析したスタートコードがＶＯＰデータ情報に含まれるものであればビデオ信号解析部１５３（図１１参照）へビットストリーム１５２を出力する。ビデオ信号解析部１５３以降の動作については上述で説明した内容と同一である。
ＶＯＰヘッダ解析部５０２にあるモジュロ・タイム・ベース解析部６５は、スタートコード解析部５１より出力されたビットストリームよりシフト化モジュロ・タイム・ベース６９と繰り返しシフト回数を示す情報ビット７０の解析を行い、シフト化モジュロ・タイム・ベース６９と繰り返しシフト回数を示す情報ビット７０をモジュロ・タイム・ベース算出部６７へ、ビットストリームをＶＯＰタイムインクリメント解析部６６へ出力する。

モジュロ・タイム・ベース算出部６７は、入力されるシフト化モジュロ・タイム・ベース６９と繰り返しシフト回数を示す情報ビット７０よりモジュロ・タイム・ベースを算出してコンポジション部２１０に出力する。具体的には、適用例２で示した手順の逆の操作によってモジュロ・タイム・ベースの値を復元する。あらかじめ設定した正の値をとるしきい値（これは適用例２のエンコーダの例で示した同様のしきい値とまったく同じ値をデコーダ側でも設定しておかなければならない）を４、シフト化モジュロ・タイム・ベース６９が”１０”、繰り返しシフト回数を示す情報ビット７０が”１０”の場合、”１０”の上位ビットに”１１１１１１１１”をつけ加えた”１１１１１１１１１０”がモジュロ・タイム・ベースの復元値となる。得られたモジュロ・タイム・ベースの復元値は、ＶＯＰタイムインクリメント情報と共に当該ＶＯＰの表示時刻を規定する目的で使用される。

ＶＯＰタイムインクリメント解析部６６は、モジュロ・タイム・ベース解析部６５より出力されたビットストリームにＶＯＰタイムインクリメントの解析を行い、解析後のビットストリームを映像情報ヘッダ解析部５７へ出力する。映像情報ヘッダ解析部５７は、ＶＯＰタイムインクリメント解析部６６より出力されたビットストリームに映像情報ヘッダの解析を行い、解析後のビットストリームをビデオ信号解析部１５３へ出力する。

以上のように、この適用例３によれば２種類の情報ビット（シフト化モジュロ・タイム・ベースと繰り返し回数を示す情報ビット）を用いてモジュロ・タイム・ベースを算出できるよう構成したため、ＭＰＥＧ−４に規定される符号化表現よりも情報発生量を抑えた適用例５に記すビットストリームを解析することが可能となる効果がある。

以上のように、適用例３においては、オブジェクト単位に画像を符号化したビットストリームを復号化する画像表示装置において、オブジェクト毎の各時刻の画像の表示時刻を規定する情報として、基準時刻から表示時刻までの時間を規定する第１の時間情報と、該第１の時間情報で定められる時刻からさらに細かい精度で表示時刻を規定する第２の時間情報とを、各時刻に対応する画像とを復号する時間情報復号手段と、入力符号化画像信号をオブジェクト単位に復号化し、これらの復号化画像信号を合成する復号合成手段とを備え、該時間情報復号手段は、前記第１の時間情報の符号化データとして、ビットシフト実施回数と繰り返しビットシフトの結果から得られたビット列とを復号し、該ビット列に所定の設定値の長さの符号をビットシフト実施回数分だけ付加することによって前記第１の時間情報を復号し、該復号合成手段は、該時間情報復号手段で復号化された第１の時間情報及び第２の時間情報に基づいて、復号化画像信号を合成するものの一例を開示した。

適用例４．
適用例４では、現在ＭＰＥＧ−４で用いられているモジュロ・タイム・ベースとＶＯＰタイムインクリメントの表現において、モジュロ・タイム・ベースの符号化方法を改善した別の表現手法と、それを実現するＶＯＰエンコーダについて説明する。

適用例４では、これまでに述べたＶＯＰエンコーダのヘッダ多重化部１２４の構成動作のみを変更するだけなので、この部材についてのみ説明する。
図３０は、適用例４におけるヘッダ多重化部１２４の内部構成を示したものである。５０３はＶＯＰヘッダ多重化部、２３はモジュロ・タイム・ベース保持部、２４は差分モジュロ・タイム・ベース作成部、２５は差分モジュロ・タイム・ベース多重化部、２６は差分モジュロ・タイム・ベースである。
ＶＯＰヘッダ多重化部５０３にあるＶＯＰスタートコード多重化部８は、入力されたビットストリームにＶＯＰスタートコードの多重化を行い、多重化後のビットストリームを差分モジュロ・タイム・ベース多重化部２５に出力する。
ＶＯＰヘッダ多重化部５０３にあるモジュロ・タイム・ベース保持部２３は、直前に符号化したＶＯＰのモジュロ・タイム・ベースの値を保持しており、直前に符号化したＶＯＰのモジュロ・タイム・ベースを出力後、符号化対象ＶＯＰのモジュロ・タイム・ベースが書き込まれる。
ＶＯＰヘッダ多重化部５０３にある差分モジュロ・タイム・ベース作成部２４は、モジュロ・タイム・ベース保持部２３より入力される、直前に符号化したＶＯＰのモジュロ・タイム・ベースと符号化対象ＶＯＰのモジュロ・タイム・ベースとの差分ビット列を計算し、計算された差分ビット列に含まれる”１”ビットの数に基づき差分モジュロ・タイム・ベース２６を求め、差分モジュロ・タイム・ベース多重化部２５に出力する。

ここで、差分モジュロ・タイム・ベース生成の具体例を示す。
直前に符号化したＶＯＰのモジュロ・タイム・ベースを”１１１１０”（１０進数表示：３０）、符号化対象ＶＯＰのモジュロ・タイム・ベースを”１１１１１０”（１０進数表示：６２）とした場合、差分ビット列は”１０００００”（１０進数表示：３２）となる。次に、先に計算して得た差分ビット列”１０００００”に含まれる”１”ビットの数を数えると１個である。表４に示すような変換表を用いて差分モジュロ・タイム・ベースを求めた場合、”１”ビットの数が１個に対応する差分モジュロ・タイム・ベースは”１０”であるため、”１０”を差分モジュロ・タイム・ベースとして出力する。表４の変換表は一例であって、他の変換表を定義して使用してもよい。

また、別の差分モジュロ・タイム・ベースの表現として、単純にビット長だけの比較を行う方法も考えられる。例えば、上記の例で直前に符号化したＶＯＰのモジュロ・タイム・ベースのビット長は５であり、符号化対象ＶＯＰのモジュロ・タイム・ベースのビット長は６であるので、その差分として１という値が得られる。これを表４に示す変換表の「差分ビット列に含まれる”１”ビットの数」の代わりに代用して差分モジュロ・タイム・ベースを表現することもできる。
ＶＯＰヘッダ多重化部５０３にある差分モジュロ・タイム・ベース多重化部２５は、入力されるビットストリームに差分モジュロ・タイム・ベース２６の多重化を行い、多重化後のビットストリームをＶＯＰタイムインクリメント多重化部１０へ出力する。
ＶＯＰヘッダ多重化部５０３にあるＶＯＰタイムインクリメント多重化部１０は、差分モジュロ・タイム・ベース多重化部２５より出力されたビットストリームにＶＯＰタイムインクリメントの多重化を行い、多重化後のビットストリームを映像情報ヘッダ多重化部１１へ出力する。

以上のように、この適用例４によればモジュロ・タイム・ベースを差分モジュロ・タイム・ベースで表現し、ＭＰＥＧ−４で現在規定されるモジュロ・タイム・ベースの表現そのままで符号化する代わりに差分モジュロ・タイム・ベースを多重化するように構成したため、ＭＰＥＧ−４における表現方法よりも情報発生量を抑えることが可能となる効果がある。

以上のように、適用例４においては、オブジェクト単位に画像を符号化する画像符号化装置において、オブジェクト毎に各時刻の画像の表示時刻を規定する情報として、基準時刻から表示時刻までの時間を規定する第１の時間情報と、該第１の時間情報で定められる時刻からさらに細かい精度で表示時刻を規定する第２の時間情報と、各時刻に対応する画像とを符号化する時間情報符号化手段を備え、該時間情報符号化手段は、直前の時刻の画像において符号化された第１の時間情報を保持する第１の時間情報保持手段と、被符号化画像の第１の時間情報と前記第１の時間情報保持手段から得られる直前の時刻の画像の第１の時間情報との差分ビット列を求め、該差分ビット列を被符号化画像の第１の時間情報として符号化するものの一例を開示した。

適用例５．
適用例５では、適用例４で述べた差分モジュロ・タイム・・ベース多重化部２５によって符号化ビットストリームに多重化された差分モジュロ・タイム・ベースの情報から当該ＶＯＰのモジュロ・タイム・ベースの値を復元し、これに基づいて各ＶＯＰの表示時刻を規定するＶＯＰデコーダについて説明する。

適用例５では、これまでに述べたＶＯＰデコーダのヘッダ解析部１５１の構成動作のみを変更するだけなので、この部材についてのみ説明する。
図３１は、この発明の適用例５におけるヘッダ解析部１５１の内部構成を示したものである。５０４はＶＯＰヘッダ解析部、７１は差分モジュロ・タイム・ベース解析部、７２はモジュロ・タイム・ベース作成部、７３はＶＯＰタイムインクリメント解析部、７４はモジュロ・タイム・ベース保持部、７５は差分モジュロ・タイム・ベースである。
ＶＯＰヘッダ解析部５０４にある差分モジュロ・タイム・ベース解析部７１は、スタートコード解析部５１より出力されたビットストリームより差分モジュロ・タイム・ベース７５の解析を行い、解析された差分モジュロ・タイム・ベース７５をモジュロ・タイム・ベース作成部７２へ、解析後のビットストリームをＶＯＰタイムインクリメント解析部７３へ出力する。
ＶＯＰヘッダ解析部５０４にあるモジュロ・タイム・ベース作成部７２では、まず解析された差分モジュロ・タイム・ベース７５より、表４に示す変換表に基づいて、直前に解析したＶＯＰのモジュロ・タイム・ベースと解析対象ＶＯＰのモジュロ・タイム・ベースとの差分ビット列に含まれる”１”ビットの数を求め、求めた”１”ビットの数とモジュロ・タイム・ベース保持部７４から得られる直前に解析したＶＯＰのモジュロ・タイム・ベースに基づきモジュロ・タイム・ベースを作成し、作成したモジュロ・タイム・ベースをモジュロ・タイム・ベース保持部７４へ出力する。

モジュロ・タイム・ベースの作成に関する具体例を示す。解析された差分モジュロ・タイム・ベースは”１０”、直前に解析されてモジュロ・タイム・ベース保持部に保持されているモジュロ・タイム・ベースを“１１１１０”と仮定する。表４に示す変換表を用いて直前に解析したＶＯＰのモジュロ・タイム・ベースと解析対象ＶＯＰのモジュロ・タイム・ベースとの差分ビット列に含まれる”１”ビットの数を求めた場合、差分モジュロ・タイム・ベース”１０”に対応する差分ビット列に含まれる”１”ビットの数は１個であることがわかる。次に、直前に解析したＶＯＰのモジュロ・タイム・ベース”１１１１０”の最上位ビットに１個の”１”ビットをつけ加え、モジュロ・タイム・ベース”１１１１１０”を求める。表４の変換表は一例であって、他の変換表を定義して使用してもよい。得られたモジュロ・タイム・ベースの復元値は、ＶＯＰタイムインクリメント情報と共に当該ＶＯＰの表示時刻を規定する目的で使用される。

また、「直前に解析したＶＯＰのモジュロ・タイム・ベースと解析対象ＶＯＰのモジュロ・タイム・ベースとの差分ビット列に含まれる”１”ビットの数」を、適用例１に述べたように「直前に解析したＶＯＰのモジュロ・タイム・ベースのビット長と解析対象ＶＯＰのモジュロ・タイム・ベースのビット長との差分値」として符号化されているビットストリームであっても、表４のような変換表の解釈を変更することによって対応可能である。
ＶＯＰヘッダ解析部５０４にあるモジュロ・タイム・ベース保持部７４は、直前に解析したＶＯＰのモジュロ・タイム・ベースを保持しており、直前に解析したＶＯＰのモジュロ・タイム・ベースを出力後、解析対象ＶＯＰのモジュロ・タイム・ベースが入力される。
ＶＯＰヘッダ解析部５０４にあるＶＯＰタイムインクリメント解析部７３は、差分モジュロ・タイム・ベース解析部７１より出力されたビットストリームよりＶＯＰタイムインクリメントの解析を行い、解析後のビットストリームを映像情報ヘッダ解析部５７へ出力する。

以上のように、この適用例５によれば、少ない情報量で表現された差分モジュロ・タイム・ベースを用いてモジュロ・タイム・ベースを算出できるよう構成したため、ＭＰＥＧ−４に規定される符号化表現よりも情報発生量を抑えた適用例１に記載するビットストリームを解析することが可能となる効果がある。

以上のように、適用例５においては、オブジェクト単位に画像を符号化したビットストリームを復号化する画像復号化装置において、画像系列中の各時刻の画像の表示時刻を規定する情報として、基準時刻から表示時刻までの時間を規定する第１の時間情報と、該第１の時間情報で定められる時刻からさらに細かい精度で表示時刻を規定する第２の時間情報とを、各時刻に対応する画像とを復号する時間情報復号手段と、入力符号化画像信号をオブジェクト単位に復号化し、これらの復号化画像信号を合成する復号合成手段とを備え、該時間情報復号手段は、直前に復号された画像の第１の時間情報を保持し、被復号画像の第１の時間情報として復号されたビット列に、前記第１の時間情報保持手段から得られる直前に復号された画像の第１の時間情報を加算して被復号画像の第１の時間情報を復号し、該復号合成手段は、該時間情報復号手段で復号化された第１の時間情報及び第２の時間情報に基づいて、復号化画像信号を合成するものの一例を開示した。

適用例６．
上述の実施の形態１ないし実施の形態７および適用例ないし適用例５において、画像符号化装置は表示速度情報を画像符号化信号に多重化する点、及び画像符号化装置は絶対時刻を表現する情報を画像符号化信号に多重化する点を開示したが、一台の画像符号化装置が表示速度情報及び絶対時刻を表現する情報を画像符号化信号に多重化してもよい。
なお、構成及び動作については、上述の実施の形態１ないし実施の形態７および適用例ないし適用例５で述べたそれぞれの画像符号化装置を並列または直列に配置すれば良い。

一方、画像復号化装置側においても同様である。簡単に説明すると、上述の実施の形態１ないし１２において、画像復号化装置は表示速度情報を復号化し、この復号化された表示速度情報に基づいて、オブジェクト単位で処理された画像の再生処理を行う点、及び画像復号化装置は絶対時刻を表現する情報を復号化し、この復号化された絶対時刻を表現する情報に基づいてオブジェクト単位で処理された画像の再生処理を行う点を開示したが、一台の画像復号化装置が表示速度情報及び絶対時刻を表現する情報に基づいて、オブジェクト単位で処理された画像の再生処理を行ってもよい。
なお、構成及び動作については、上述の実施の形態１ないし実施の形態７および適用例ないし適用例５で述べたそれぞれの画像復号化装置の表示速度情報復号部と絶対時刻を表現する情報復号部とを並列又は直列に配置して、それぞれの復号部で復号化された情報に基づき、オブジェクト単位で処理された画像の再生処理を行ってもよい。
以上の構成により、画像の復元処理及び合成処理を、一層円滑かつ精度よく行うことができる。

適用例７．
上述の実施の形態１ないし実施の形態７および適用例ないし適用例６において、画像符号化装置は表示速度情報を画像符号化信号に多重化する点、及び画像符号化装置は第１の時間情報と第２の時間情報と画像とを符号化及び多重化する点を開示したが、一台の画像符号化装置が表示速度情報及び第１の時間情報と第２の時間情報と画像とを符号化多重してもよい。
なお、構成及び動作については上述の実施の形態１ないし実施の形態７および適用例ないし適用例６で述べたそれぞれの画像符号化装置を並列又は直列に配置すれば良い。

一方、画像復号化装置側においても同様である。簡単に説明すると、上述の実施の形態１ないし実施の形態７および適用例ないし適用例６で画像復号化装置は表示速度情報を復号化し、この復号化された表示速度情報に基づいて、オブジェクト単位で処理された画像の再生処理を行う点、及び画像復号化装置は第１の時間情報と第２の時間情報と画像とを復号化し、復号化された第１の時間情報、第２の時間情報、画像とに基づいて、画像の再生処理を行う点について開示したが、一台の画像復号化装置が表示速度情報及び復号化された第１の時間情報、第２の時間情報とに基づいて画像の再生処理を行っても良い。
なお、構成及び動作については上述の実施の形態１ないし実施の形態７および適用例ないし適用例６で述べたそれぞれの画像復号化装置の表示速度情報復号部と時間情報復号手段とを並列又は直列に配置して、それぞれの復号部（手段）で復号化された情報に基づき、オブジェクト単位で処理された画像の再生処理を行っても良い。
以上の構成により、少ない符号化伝送量で、画像の復元処理を一層円滑かつ精度よく行うことができる。

適用例８．
上述の実施の形態１ないし実施の形態７および適用例ないし適用例７において、画像符号化装置は絶対時刻を表現する情報、画像符号化信号に多重化する点、及び画像符号化装置は第１の時間情報と第２の時間情報と画像とを符号化及び多重化する点を開示したが、一台の画像符号化装置が絶対時刻を表現する情報、及び第１の時間情報と第２の時間情報と画像とを符号化多重してもよい。
なお、構成及び動作については、上述の実施の形態１ないし実施の形態７および適用例ないし適用例７で述べたそれぞれの画像符号化装置を並列又は直列に配置すれば良い。

一方、画像復号化装置側においても同様である。簡単に説明すると、上述の実施の形態１ないし１４で画像復号化装置は、絶対時刻を表現する情報を復号化し、この復号化された絶対時刻を表現する情報に基づいて、オブジェクト単位で処理された画像の再生処理を行う点、及び画像復号化装置は第１の時間情報と第２の時間情報と画像とを復号化し、復号化された第１の時間情報、第２の時間情報、画像とに基づいて画像の再生処理を行う点について開示したが、一台の画像復号化装置が絶対時刻を表現する情報、及び復号化された第１の時間情報、第２の時間情報とに基づいて画像の再生処理を行っても良い。
なお、構成及び動作については、上述の実施の形態１ないし実施の形態７および適用例ないし適用例７で述べたそれぞれの画像復号化装置の絶対時刻を表現する情報復号部と時間情報復号手段とを並列又は直列に配置して、それぞれの復号部（手段）で復号化された情報に基づき、オブジェクト単位で処理された画像の再生処理を行っても良い。
以上の構成により、少ない符号化伝送量で、画像の合成処理を円滑かつ精度よく行うことができる。

ＭＰＥＧ−４におけるビデオデータ構造を示す図である。 ＶＯＰの具体例を示す図である。 この発明の実施の形態１によるＶＯＰエンコーダ部を示すブロック図である。 この発明の実施の形態１によるＶＯＰエンコーダ部のヘッダ多重化部の構成の一例を示すブロック図である。 モジュロ・タイム・ベースとＶＯＰタイムインクリメントを説明する図である。 この発明の実施の形態１によるＶＯＰエンコーダ部のヘッダ多重化部の構成の一例を示すブロック図である。 この発明の実施の形態２によるＶＯＰエンコーダ部を示すブロック図である。 この発明の実施の形態２によるＶＯＰエンコーダ部のヘッダ多重化部の構成の一例を示すブロック図である。 ビットストリームの一例を示す図である。 この発明の実施の形態２によるヘッダ多重化部のＶＯＰヘッダ多重化部の構成の一例を示すブロック図である。 この発明の実施の形態３によるＶＯＰデコーダ部の内部構成を示すブロック図である。 この発明の実施の形態３によるＶＯＰデコーダ部のヘッダ解析部の構成の一例を示すブロック図である。 この発明の実施の形態３による複数のオブジェクトを合成するシステムを示すブロック図である。 この発明の実施の形態４によるＶＯＰデコーダ部のヘッダ解析部の構成の一例を示すブロック図である。 この発明の実施の形態４によるＶＯＰデコーダ部のヘッダ解析部の構成の一例を示すブロック図である。 この発明の実施の形態５によるＶＯＰデコーダ部の内部構成を示すブロック図である。 この発明の実施の形態５によるＶＯＰデコーダ部のヘッダ解析部の構成の一例を示すブロック図である。 この発明の実施の形態５によるＶＯＰデコーダ部のＶＯＰヘッダ解析部の構成の一例を示すブロック図である。 この発明の実施の形態６によるＶＯＰデコーダ部のヘッダ解析部の構成の一例を示すブロック図である。 この発明の実施の形態６によるＶＯＰデコーダ部のＶＯＰヘッダ解析部の構成の一例を示すブロック図である。 この発明の実施の形態７によるＶＯＰエンコーダ部のヘッダ多重化部の構成の一例を示すブロック図である。 この発明の実施の形態７によるＶＯＰエンコーダ部のヘッダ多重化部の構成の一例を示すブロック図である。 この発明の適用例１によるＶＯＰデコーダ部の内部構成の一例を示すブロック図である。 この発明の適用例１によるＶＯＰデコーダ部のヘッダ解析部の構成の一例を示すブロック図である。 この発明の適用例１による複数のオブジェクトを合成するシステムを示すブロック図である。 この発明の適用例１によるＶＯＰデコーダ部のヘッダ解析部の構成の一例を示すブロック図である。 この発明の適用例１によるＶＯＰデコーダ部の内部構成の一例を示すブロック図である。 この発明の適用例２によるＶＯＰエンコーダ部のヘッダ多重化部の構成の一例を示すブロック図である。 この発明の適用例３によるＶＯＰデコーダ部のヘッダ解析部の構成の一例を示すブロック図である。 この発明の適用例４によるＶＯＰエンコーダ部のヘッダ多重化部の構成の一例を示すブロック図である。 この発明の適用例５によるＶＯＰデコーダ部のヘッダ解析部の構成の一例を示すブロック図である。

符号の説明

２００，２０１，２０２ 符号化ＶＯＰビットストリームａ，ｂ，ｃ、２０３ａ，２０３ｂ，２０３ｃ ＶＯＰデコーダ部。

Claims (2)

1. ビデオオブジェクトを符号化した符号化ビットストリームを復号化する画像復号化装置において、
   ビデオオブジェクトの符号化単位となる画像データであるＶＯＰを復号するＶＯＰ復号部と、
   タイムコードを復号するＧＯＶヘッダ解析部と、
   複数のＶＯＰからなるＶＯＬレイヤのヘッダ情報部分に符号化されて含まれ、前記ＶＯＰ復号部により復号されるＶＯＰのＶＯＬ中での表示速度が固定レートであることを示すＶＯＰレートフラグを復号し、該ＶＯＰレートフラグが固定レートであることを示す場合に、前記ＧＯＶヘッダ解析部で復号されるタイムコードとの組み合わせで前記ＶＯＰ復号部により復号されるＶＯＰの絶対時刻を規定するＶＯＰレート情報を復号するＶＯＬヘッダ解析部と、
   を備えたことを特徴とする画像復号化装置。
2. ビデオオブジェクトを符号化した符号化ビットストリームを復号化する画像復号化方法において、
   ビデオオブジェクトの符号化単位となる画像データであるＶＯＰを復号するＶＯＰ復号ステップと、
   タイムコードを復号するＧＯＶヘッダ解析ステップと、
   複数のＶＯＰからなるＶＯＬレイヤのヘッダ情報部分に符号化されて含まれ、前記ＶＯＰ復号部により復号されるＶＯＰのＶＯＬ中での表示速度が固定レートであることを示すＶＯＰレートフラグを復号し、該ＶＯＰレートフラグが固定レートであることを示す場合に、前記ＧＯＶヘッダ解析部で復号されるタイムコードとの組み合わせで前記ＶＯＰ復号部により復号されるＶＯＰの絶対時刻を規定するＶＯＰレート情報を復号するＶＯＬヘッダ解析ステップと、
   を備えたことを特徴とする画像復号化方法。

Images