JP3860323B2 - 画像復号化装置、画像復号化方法 - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、画像を符号化して符号化ビットストリームを作成する画像符号化装置および画像符号化方法、符号化ビットストリームを入力してその符号化ビットストリームに含まれている画像信号を復号する画像復号化装置および画像復号化方法に関し、特に、オブジェクト単位に画像を符号化するＭＰＥＧ−４対応の画像符号化装置および画像符号化方法、オブジェクト単位に画像を符号化した符号化ビットストリームを復号するＭＰＥＧ−４対応の画像復号化装置および画像復号化方法に関するものである。
【０００２】
【従来の技術】
従来、画像信号を符号化または復号する方式として、例えば、ISO/IEC JTC11/SC29/WG11にて標準化作業が進められているＭＰＥＧ−４(Moving Picture Experts Group Phase-4)がある。
ＭＰＥＧ−４は、動画像シーケンスを時間／空間的に任意の形状をとる動画像オブジェクトの集合体としてとらえ、各動画像オブジェクトを単位として符号化・復号化を行う方式である。
【０００３】
図４２に、ＭＰＥＧ−４におけるビデオデータ構造を示す。
ＭＰＥＧ−４では時間軸を含めた動画像オブジェクトをVideo Object(ＶＯ)と呼び、ＶＯの構成要素をVideo Object Layer(ＶＯＬ)と呼び、ＶＯＬの構成要素をGroup of Video Object Plane(ＧＯＶ)と呼び、ＧＯＶの各時刻の状態を表し符号化の単位となる画像データをVideo Object Plane(ＶＯＰ)と呼ぶ。ＶＯは例えば、テレビ会議のシーンの中のそれぞれの話者や背景などに相当し、ＶＯＬはそれら話者や背景などの固有の時間・空間解像度をもつ単位であり、ＶＯＰはそれらＶＯＬの各時刻（＝フレームに相当）における画像データである。ＧＯＶはＶＯＰを複数集めた編集やランダムアクセスなどの単位として設けられているデータ構造で、必ずしも符号化に用いられなくてもよい。
【０００４】
図４３に、ＶＯＰの具体例を示す。同図は、２つのＶＯＰ（ＶＯＰ1は人物、ＶＯＰ2は壁にかけられた絵画）を示している。各ＶＯＰはカラー濃淡レベルを表すテクスチャデータと、ＶＯＰの形状を表す形状データとからなる。テクスチャデータは画素あたり８ビットの輝度信号、色差信号（輝度信号に対して水平・垂直方向に１／２にサブサンプルされたサイズ）からなり、形状データはＶＯＰ内部を１、ＶＯＰ外部を０とする輝度信号の画像サイズと同じ２値のマトリクスデータである（実際には、形状データは画素あたり8ビット幅を持ち、ＶＯＰ内部を２５５、ＶＯＰ外部を０とするが、以下では便宜上、二値、すなわち０および１で表記するものとする）。
ＶＯＰによる動画像表現においては、従来のフレーム画像は複数のＶＯＰを画面中に配置することによって得られる。ただし、ＶＯＰの形状が矩形で、かつＶＯＬ内で時刻によらず変化しない場合、ＶＯＰはフレームと同義となる。この場合は形状データは存在せず、テクスチャデータだけが符号化される。
【０００５】
図４４に、従来の符号化ビットストリームの例を示す。ＶＯ、ＶＯＬ、ＧＯＶ、ＶＯＰそれぞれのヘッダ及びＶＯＰデータの先頭部分には、スタートコードと呼ばれるビット列を含む。スタートコードは、ユニークワード（１通りの解釈しかできないビット列）であり、各ヘッダ情報およびＶＯＰデータ情報の始まりを示す役割がある。各ヘッダ情報には、そのレイヤ以下のデータを復号するのに必要な情報やレイヤの属性を表現する情報などが含まれる。例えばＶＯＬヘッダ情報には、ＶＯＬを構成する各ＶＯＰを復号する際に必要となる情報が含まれる。ＶＯＰデータは、被符号化領域の単位であるマクロブロック毎に分けられた画像データで構成される。通常、図４４におけるＶＯＰデータの中にはスタートコードを含まないが、場合によっては、マクロブロックを複数個集めた単位でスタートコードを付加することも許される。ＶＯＰヘッダ情報には、当該ＶＯＰがイントラ符号化されているか、インター符号化されているかを示す符号化タイプの情報が含まれている。ここで、イントラ符号化とは、他のＶＯＰの情報を使用せず符号化対象のＶＯＰ自身の情報のみで符号化する符号化モードのことをいい、インター符号化とは、時間的に前後する他のＶＯＰの情報を使用して符号化対象のＶＯＰの情報を符号化する符号化モードのことをいう。
【０００６】
【発明が解決しようとする課題】
しかし、従来は、上述したように、符号化ビットストリーム中のＶＯＰヘッダ情報に含まれている符号化タイプ情報を逐一解析しなければ、ＶＯＰデータがいずれの符号化モードで符号化されたかが分からなかったため、符号化側でオブジェクトのＶＯＬ、ＧＯＶなどの単位の中に含まれる全てのＶＯＰデータがイントラのみで符号化した場合でも、復号化側では個々のＶＯＰがいずれのモードで符号化されているかは、ヘッダ情報の解析を行なわなければわからなかった。
このため、符号化側でオブジェクトのＶＯＬ、ＧＯＶなどの単位の中に含まれる全てのＶＯＰデータがイントラのみで符号化された場合でも、復号化側で所望の時刻のＶＯＰ瞬時にへアクセスしたり、復号時の装置の負荷などに応じて符号化の画像信号を間引くいわゆる駒落し制御を行うためには、個々のＶＯＰの符号化データの解析を行なって、符号化ビットストリームの予測構造やまたは時間情報を認識した上で、アクセスすべき所望のＶＯＰ、あるいは駒落し制御において復号すべきＶＯＰを特定する必要があり、復号処理が面倒となると共に、復号処理時間が増大する、という問題があった。
【０００７】
そこで、本発明は、このような問題に着目してなされたもので、動画像シーケンス中に含まれる全ての画像をイントラのみで符号化した場合には、画像復号化装置側において、所望の時刻の画像へのアクセスや駒落し制御などの復号処理を容易かつスムーズに行えると共に、復号処理時間を短縮化することのできる画像符号化装置、画像符号化方法、画像復号化装置、及び画像復号化方法を提供することを目的とする。
また、特に、本発明では、複数のオブジェクトからなる画像をオブジェクト単位で符号化または復号化するＭＰＥＧ−４規格の下、符号化側でオブジェクトのＶＯＬ、ＧＯＶなどの単位の中に含まれる全てのＶＯＰをイントラのみで符号化した場合には、画像復号化装置側において、所望の時刻のＶＯＰへのアクセスや駒落し制御などの復号処理を容易かつスムーズに行えると共に、復号処理時間を短縮化することのできる画像符号化装置、画像符号化方法、画像復号化装置、及び画像復号化方法を提供することを目的とする。
【０００８】
【課題を解決するための手段】
前記目的を達成するため、本発明では、符号化ビットストリームから動画像シーケンスに含まれる画像すべてがイントラ符号化されているか否かを示すイントラ符号化表示情報を解析する解析手段と、前記解析手段によって解析された前記イントラ符号化表示情報に基づいて前記動画像シーケンスに含まれる画像を復号する復号手段と、を備えたものである。
【０００９】
また、次の発明では、動画像シーケンスは、任意の形状を有する動画像オブジェクトのビデオオブジェクトレイヤである。
【００１０】
また、次の発明では、動画像シーケンスは、任意の形状を有する動画像オブジェクトのビデオオブジェクトレイヤを構成するビデオオブジェクトプレーンのグループである。
【００１１】
また、次の発明では、前記復号手段は、前記イントラ符号化表示情報と、画像復号化装置側において指定された表示速度情報とに基づいて、前記動画像シーケンス内の画像を間引いて復号するものである。
【００１２】
また、次の発明では、前記解析手段は、さらに、符号化ビットストリームから符号化側の表示速度情報を解析すると共に、解析した符号化側の表示速度情報と、画像復号化装置側において指定された表示速度情報とに基づいて、復号対象画像を特定し、前記復号手段は、前記イントラ符号化表示情報と、前記復号対象画像の表示時刻情報とに基づいて、前記動画像シーケンスに含まれる画像を間引いて復号するものである。
【００１３】
また、次の発明では、前記復号手段は、前記イントラ符号化表示情報と、画像復号化装置側において指定される表示時刻情報とに基づいて、前記画像復号化装置側において指定される表示時刻情報が示す画像を復号するものである。
【００１４】
また、次の発明では、解析手段は、さらに、符号化ビットストリームから符号化側の表示速度情報と、前記動画像シーケンスに含まれる画像の表示時刻情報とを解析すると共に、その解析した前記表示速度情報と、前記表示時刻情報とに基づいて、復号対象画像を特定し、前記復号手段は、前記イントラ符号化表示情報と、前記復号対象画像の表示時刻情報と、画像復号化装置側において指定される表示時刻情報とに基づいて、前記画像復号化装置側において指定される表示時刻情報が示す画像を復号するものである。
【００１５】
また、次の発明では、前記解析手段は、前記イントラ符号化表示情報を解析した結果、動画像シーケンスに含まれる画像すべてがイントラ符号化されていることを指示している場合、さらに、符号化ビットストリームから前記動画像シーケンスに含まれる画像すべての表示時刻情報を多重化するか否かを示す表示時刻多重化識別情報を解析し、該表示時刻多重化識別情報が前記動画像シーケンスに含まれる画像すべての表示時刻情報を多重化することを示している場合には、前記動画像シーケンスに含まれる画像すべての表示時刻情報を動画像シーケンスの単位で解析し、前記多重化手段は、前記イントラ符号化表示情報と、前記表示時刻情報とに基づいて、前記動画像シーケンス内に含まれる画像を復号するものである。
【００１６】
また、次の発明では、前記復号手段は、前記イントラ符号化表示情報と、前記表示時刻情報と、画像復号化装置側において指定される表示時刻情報とに基づいて、前記動画像シーケンス内に含まれる画像のうち前記画像復号化装置側において指定される表示時刻情報が示す画像を復号するものである。
【００１７】
また、次の発明では、符号化ビットストリームから動画像シーケンスに含まれる画像すべてがイントラ符号化されているか否かを示すイントラ符号化表示情報を解析すると共に、前記イントラ符号化表示情報に基づいて前記動画像シーケンスに含まれる画像を復号するものである。
【００１８】
また、次の発明では、動画像シーケンスに含まれる画像すべてをイントラ符号化するか否かを指示するイントラ符号化指示情報に基づき前記動画像シーケンスに含まれる画像を符号化する符号化手段と、前記符号化手段によって符号化された画像符号化信号と、前記動画像シーケンスに含まれる画像すべてがイントラ符号化されているか否かを示すイントラ符号化表示情報とを多重化する多重化手段と、を備えたものである。
【００１９】
また、次の発明では、前記多重化手段は、前記イントラ符号化表示情報が動画像シーケンスに含まれる画像すべてをイントラ符号化することを指示している場合、さらに、前記動画像シーケンスに含まれる画像すべての表示時刻情報を多重化するか否かを示す表示時刻多重化識別情報を動画像シーケンス毎に多重化し、該表示時刻多重化識別情報が前記動画像シーケンスに含まれる画像すべての表示時刻情報を多重化することを示している場合には、さらに、前記動画像シーケンスに含まれる画像すべての表示時刻情報を動画像シーケンス毎に多重化するものである。
【００２０】
また、次の発明では、動画像シーケンスに含まれる画像すべてをイントラ符号化するか否かを指示するイントラ符号化指示情報に基づき前記動画像シーケンスに含まれる画像を符号化すると共に、符号化された画像符号化信号と、前記動画像シーケンスに含まれる画像すべてがイントラ符号化されているか否かを示すイントラ符号化表示情報とを多重化するものである。
【００２１】
【発明の実施の形態】
実施の形態１．
本実施の形態１では、ISO/IEC JTC1/SC29/WG11/N1796で開示されるＭＰＥＧ−４ビデオ符号化方式に、本実施の形態１の要素であるオブジェクトのＶＯＬ、ＧＯＶなどの単位の中に含まれる全てのＶＯＰをイントラのみで符号化するか否かを示す情報に基づいて符号化を行う手段と、ＶＯＬ、ＧＯＶなどの単位の中に含まれる全てのＶＯＰがイントラのみで符号化されたか否かを示す情報をオブジェクトごとに付加して符号化ビットストリームに多重化する手段を備えたＶＯＰエンコーダについて説明する。なお、イントラ符号化とは、他のＶＯＰを使用せず、符号化対象のＶＯＰ自身の情報のみで符号化する符号化モードのことをいう。つまりイントラ符号化されたＶＯＰはそれ自身単独で復号することが可能である。
【００２２】
本実施の形態１における画像符号化装置は、ＭＰＥＧ−４ビデオエンコーダをベースとしており、ＭＰＥＧ−４ビデオデコーダは前記ＶＯＰを単位として符号化を実施するので、以下、ＶＯＰエンコーダと呼ぶことにする。尚、既存のＶＯＰエンコーダの動作はISO/IEC JTC1/SC29/WG11/N1796などに開示されるので、ここではエンコーダ自体の動作説明は一般的な範囲にとどめ、本実施の形態１の要素について詳細な説明を行う。
【００２３】
図１は、本実施の形態１におけるＶＯＰエンコーダの構成例を示す。図において、１は形状符号化部、２は形状符号化データ、３は局所復号形状データ、４は動き補償予測部、５は動き情報、６はＧＯＶ多重化情報、７はオブジェクトイントラ符号化指示信号、８はヘッダ多重化部、９はヘッダ情報多重化後のビットストリーム、１０はビデオ信号多重化部、１１は予測画像、１２は減算器、１３は予測誤差信号、１４はINTRA/INTER判定部、１５は被符号化テクスチャデータ、１６はマクロブロック単位の符号化モード情報、１７はテクスチャ符号化部、１８はテクスチャ符号化データ、１９は局所復号予測誤差信号、２０は加算器、２１は局所復号テクスチャデータ、２２はメモリ、２３は参照テクスチャデータ、２４は符号化ビットストリームである。
【００２４】
次に、図１に示す本実施の形態１におけるＶＯＰエンコーダの動作について簡単に説明する。図２は、図１に示す本実施の形態１におけるＶＯＰエンコーダの動作を示すフローチャートである。
入力オブジェクト画像は、形状符号化部１と動き補償予測部４とINTRA/INTER判定部１４と減算器１２に入力する。その際、入力オブジェクト画像は、形状データをアルファブロックとよばれる１６画素×１６画素の領域ごとに、また、テクスチャデータをマクロブロックとよばれる１６画素×１６画素の領域ごとに入力する。
【００２５】
まず、形状符号化部１は、入力されるアルファブロックの符号化を行い、形状符号化データ２と局所復号形状データ３とを出力する（ステップＳ１）。形状符号化部１における符号化処理については本発明の対象外であるため、説明を省略する。形状符号化データ２はビデオ信号多重化部１０に送られ、局所復号形状データ３は動き補償予測部４とテクスチャ符号化部１７に入力される。
【００２６】
次に、動き補償予測部４では、メモリ２２中の参照テクスチャデータ２３を入力し、マクロブロック単位にてブロックマッチングを行い、動き情報５を得る（ステップＳ２）。この際、動き補償予測部４は、局所復号形状データ３に基づきマクロブロック中に含まれるオブジェクトのみを対象としたブロックマッチングにより動き情報５を得る。次に、動き補償予測部４は、動き情報５に対応した位置の参照テクスチャデータ２３をメモリ２２から入力し、局所復号形状データ３に基づき予測画像１１を作成する。動き補償予測部４において作成された動き情報５はビデオ信号多重化部１０へ、予測画像１１は減算器１２と加算器２０に入力される。
【００２７】
次に、INTRA/INTER判定部１４では、外部より設定されるオブジェクトイントラ符号化指示信号７に基づき、符号化対象ＶＯＰの各マクロブロックの符号化モードの決定を行い、決定した符号化モードに基づき入力される画像を選択し、選択した画像(インター符号化の場合は予測誤差画像１３)をテクスチャ符号化部１７へ、決定したマクロブロック単位の符号化モード１６をビデオ信号多重化部１０へ出力する（ステップＳ３）。ここで、オブジェクトイントラ符号化指示信号とは、ユーザ等によるスイッチの設定や、コマンドの入力等によって設定や入力する、ＶＯＬ、ＧＯＶなどの単位の中に含まれる全てのＶＯＰをイントラのみで符号化するか否かを示す情報である。すべてのＶＯＰがイントラのみで符号化される場合は、この信号をＯＮ（“１”）、さもなくばＯＦＦ（“０”）に設定するものとする。
【００２８】
図３は、INTRA/INTER判定部１４の動作を説明するフローチャートである。以下、図３に基づいて、INTRA/INTER判定部１４の動作について説明する。まず、入力されるオブジェクトイントラ符号化指示信号７の値に基づいて動作を切り替える（ステップＳ３−１）。ここで、オブジェクトイントラ符号化指示信号７の値がＯＮの場合、入力オブジェクト画像を入力画像１５として選択し、マクロブロック単位の符号化モード情報１６を常にイントラ符号化モードに設定し、選択した入力画像１５をテクスチャ符号化部１７へ出力する（ステップＳ３−２）。
【００２９】
また、入力されるオブジェクトイントラ符号化指示信号７がＯＦＦの場合、たとえばISO/IEC JTC1/SC29/WG11/N1796で定められる所定の方法でマクロブロック単位において符号化モードを選択し、選択されたマクロブロック単位の符号化モードがイントラ符号化モードの場合は入力オブジェクト画像を、選択されたマクロブロック単位の符号化モードがインター符号化モードの場合は予測誤差画像１３を入力画像１５として選択し、テクスチャ符号化部１７へ出力する（ステップＳ３−３）。また、選択したマクロブロック単位の符号化モードをマクロブロック単位の符号化モード情報１６としてビデオ信号多重化部１０へ出力する。
【００３０】
そして、図２のフローチャートに戻り、テクスチャ符号化部１７では、入力された画像１５を、たとえばISO/IEC JTC1/SC29/WG11/N1796で定められる所定の方法で符号化し、テクスチャ符号化データ１８および局所復号予測誤差画像１９を得る（ステップＳ４）。この際、テクスチャ符号化部１７では、局所復号形状データ３に基づきブロック中に含まれるオブジェクトのみを対象とした符号化を行う。テクスチャ符号化データ１８はビデオ信号多重化部１０へ送られ、局所復号予測誤差画像１９を加算器２０へ出力する。
【００３１】
加算器２０は、予測画像１１と局所復号予測誤差画像１９の加算を行い局所復号テクスチャデータ２１を作成し（ステップＳ５）、メモリ２２へ書き込む（ステップＳ６）。以上の処理をマクロブロック単位に行い、１つのＶＯＰに含まれるすべてのマクロブロックについて処理が終了したら１つのＶＯＰの符号化処理を終了する。さもなくば、マクロブロックの符号化処理を継続する（ステップＳ７）。
【００３２】
ヘッダ多重化部８では各ヘッダ情報が多重化され、各ヘッダ情報が多重化されたビットストリーム９はビデオ信号多重化部１０に入力される（ステップＳ８）。
ビデオ信号多重化部１０は、各ヘッダ情報が多重化されたビットストリーム９に形状符号化データ２と動き情報５とテクスチャ符号化データ１８とマクロブロック単位の符号化モード情報１６の多重化を行い、符号化ビットストリーム２４を出力する（ステップＳ９）。
【００３３】
次に、本実施の形態１の特徴であるヘッダ多重化部８の動作について詳しく説明する。
図４は、図１に示すヘッダ多重化部８の構成例を示している。図において、２５はＶＯヘッダ多重化部、２６はＶＯＬヘッダ多重化部、２７はＧＯＶヘッダ多重化選択部、２８はＧＯＶヘッダ多重化部、２９はＶＯＰヘッダ多重化部である。
【００３４】
ＶＯヘッダ多重化部２５では、ＶＯヘッダを多重化したビットストリームを作成し、作成したビットストリームをＶＯＬヘッダ多重化部２６に出力する。ＶＯＬヘッダ多重化部２６は、ＶＯヘッダ多重化部２５から入力されたビットストリームに各種のＶＯＬヘッダと、その一つとしてオブジェクトイントラ符号化表示信号７’の多重化を行う。ここで、オブジェクトイントラ符号化表示信号７’とは、ＶＯＬ、ＧＯＶなどの単位の中に含まれる全てのＶＯＰがイントラのみで符号化されるか否かを示す情報である。オブジェクトイントラ符号化表示信号７’の多重化は、例えば、オブジェクトイントラ符号化指示信号７がＯＮの場合はオブジェクトイントラ符号化表示信号７’を“１”とする一方、オブジェクトイントラ符号化指示信号７がＯＦＦの場合はオブジェクトイントラ符号化表示信号７’を“０”等として、ＶＯＬヘッダ情報中の1ビットの情報として多重化することができる。多重化後のビットストリームはＧＯＶヘッダ多重化選択部２７へ出力される。
【００３５】
ＧＯＶヘッダ多重化選択部２７では、ＶＯＬヘッダ多重化部２６より出力されたビットストリームの出力先を、ＧＯＶヘッダの多重化を行うか否かを示すＧＯＶ多重化情報６に基づき判断する。ＭＰＥＧ−４では、ＧＯＶヘッダは符号化ビットストリーム中に含まれていなくてもよいので、本実施の形態１のエンコーダではＧＯＶ多重化選択部２７によって選択的にＧＯＶヘッダを多重化する構成としている。もちろん、あらかじめＧＯＶを多重化するか否かを決めてしまう構成、すなわちＧＯＶ多重化選択部２７を設けずに、ＶＯＬヘッダ多重化部２６の出力をＧＯＶヘッダ多重化部２８を介さずに直接ＶＯＰヘッダ多重化部２９へ送る構成、あるいはＶＯＬヘッダ多重化部２６の出力をＧＯＶヘッダ多重化部２８を介してＶＯＰヘッダ多重化部２９へ送るような構成のエンコーダもありうる。
ここで、ＧＯＶ多重化情報６がＧＯＶヘッダの多重化を行わないことを示す場合は、ＧＯＶヘッダ多重化部２８を介さずにＶＯＰヘッダ多重化部２９へビットストリームを出力する。
これに対し、ＧＯＶ多重化情報６がＧＯＶヘッダの多重化を行うことを示す場合はＧＯＶヘッダ多重化部２８へビットストリームを出力する。すると、ＧＯＶヘッダ多重化部２８は、ＧＯＶヘッダ多重化選択部２７から入力されたビットストリームにＧＯＶヘッダを多重化し、多重化後のビットストリームをＶＯＰヘッダ多重化部２９に出力する。
【００３６】
そして、ＶＯＰヘッダ多重化部２９は、ＧＯＶヘッダ多重化選択部２７から直接、あるいはＧＯＶヘッダ多重化選択部２７からＧＯＶヘッダ多重化部２８を介して入力されたビットストリームにＶＯＰヘッダを多重化して、その多重化後のビットストリーム９をビデオ信号多重化部１０へ出力する。
【００３７】
図５は、この実施の形態１のＶＯＰエンコーダから出力される符号化ビットストリーム３０の例を示している。これは図１における符号化ビットストリーム２４の一つの例を示すものである。この符号化ビットストリーム３０は、図４４に示す従来の符号化ビットストリームと同様に、それぞれのスタートコード（start code）とヘッダ情報あるいはデータ情報とからなるＶＯヘッダ３０ａ、ＶＯＬヘッダ３０ｂ、ＧＯＶヘッダ３０ｃ、ＶＯＰヘッダ３０ｄ、ＶＯＰデータ３０ｅから構成されているが、この実施の形態１では、ＶＯＬヘッダ３０ｂにオブジェクトイントラ符号化表示信号７’が多重化されている。このため、このオブジェクトイントラ符号化表示信号７’は、ＶＯＬヘッダ３０ｂのＶＯＰを構成するＶＯＰデータ３０ｅが全てイントラ符号化されていることを示すことになる。
【００３８】
ここで、ＶＯＰデータ３０ｅは、被符号化領域の単位であるマクロブロック毎に符号化されたテクスチャデータ（図示せず）と形状データ（図示せず）とからなり、各マクロブロック毎に、オーバヘッド情報として当該マクロブロックのイントラ符号化やインター符号化の別を示す符号化モード情報１６が多重化されているが、オブジェクトイントラ符号化表示信号７’のＯＮ、すなわちＶＯＬまたはＧＯＶの全てのＶＯＰデータ３０ｅがイントラ符号化されたことを示している場合には、各ＶＯＰデータを構成するマクロブロック毎の符号化モード情報１６を多重化しないようにして、符号化ビットストリームの情報量を削減するようにしても良い。このことは、以下の実施の形態でも同様である。
【００３９】
なお、このＶＯＬヘッダ３０ｂは、ＶＯＬ（Video Object Layer)を単位として設定されるもので、図４２に示すように、ＶＯが複数のＶＯＬ０，１から構成される場合には、各ＶＯＬ毎に設定され、オブジェクトイントラ符号化指示信号７も、各ＶＯＬ毎に設定されることになる。
また、ＧＯＶヘッダ多重化選択部２７の選択によりＧＯＶヘッダ多重化部２８がＧＯＶヘッダの多重化を行なわない場合には、図５に示す符号化ビットストリーム３０からＧＯＶヘッダ３０ｃが取れた形になる。
【００４０】
以上のように、この実施の形態１によれば、ＶＯＬヘッダにＶＯＬより下位のＧＯＶを構成するＶＯＰデータ、あるいはＧＯＶという概念を使用せずにＶＯＬを構成するＶＯＰデータが全てイントラ符号化されることを示すオブジェクトイントラ符号化表示信号７’を多重化するように構成したため、画像復号化装置においては、オブジェクトイントラ符号化表示信号７’を復号・解析することによって、個々のＶＯＰヘッダを復号することなくオブジェクト内に含まれるＶＯＰがすべてイントラ符号化されているか否かを判断することができ、復号化装置側で簡単に表示速度や復号速度を変化させて復号を行ったり、所望の時刻のＶＯＰへ簡単にアクセスすることを可能にしたりする符号化ビットストリームを生成することができる。
【００４１】
なお、前記説明では、図５の符号化ビットストリーム３０に示すように、ＶＯＬヘッダ３０ｂにオブジェクトイントラ符号化表示信号７’を多重化して説明したが、本発明では、これに限らず、例えば、図６の符号化ビットストリーム３１に示すように、ＧＯＶヘッダ３１ｃにオブジェクトイントラ符号化表示信号７’を多重化して、ＶＯＬより下位のＧＯＶを単位としてオブジェクトイントラ符号化表示信号を規定し、符号化およびオブジェクトイントラ符号化表示信号の多重化をＧＯＶの単位で行うようにしてもよい。
この場合、ヘッダ多重化部８は、図７に示すように構成して、ＶＯＬヘッダ多重化部３２はオブジェクトイントラ符号化表示信号７’の多重化をせず、ＧＯＶヘッダ多重化部３３がオブジェクトイントラ符号化表示信号７’の多重化を行なうように構成すればよい。このようにすれば、オブジェクトイントラ符号化表示信号７’は、ＧＯＶの中に含まれる全てのＶＯＰデータ３１ｅをイントラのみで符号化するか否かを示す情報となり、図６に示すようにＧＯＶヘッダ多重化部３３においてＧＯＶヘッダ情報とともにＧＯＶヘッダ３１cに多重化されることになる。
【００４２】
また、本実施の形態１では、ヘッダ多重化部８が、オブジェクトイントラ符号化指示信号７に基づいて、１ビットのオブジェクトイントラ符号化表示信号７’を作成して出力するように構成したが、本発明では、これに限らず、１ビット以外のオブジェクトイントラ符号化表示信号７’でもよく、また、ＶＯＬやＧＯＶを構成するＶＯＰデータが全てイントラ符号化することを示すオブジェクトイントラ符号化指示信号７がビット情報として表現されている場合には、オブジェクトイントラ符号化指示信号７をそのままオブジェクトイントラ符号化表示信号７’として多重化するように構成しても勿論よい。
【００４３】
また、本実施の形態１では、図１等に示すように、符号化装置をハード的に構成して示したが、本発明では、これに限らず、符号化装置をソフトウェア的に構成、すなわち図２や図３に示す処理のプログラムを実行するＣＰＵやＭＰＵにより本実施の形態１の機能を実現するようにしても勿論良い。なお、このことは、以下に説明する他の実施の形態についても同様である。
【００４４】
実施の形態２．
本実施の形態２では、ISO/IEC JTC1/SC29/WG11/N1796で開示されるＭＰＥＧ−４ビデオ符号化方式に、ＶＯＬ、ＧＯＶなどの単位の中に含まれる全てのＶＯＰをイントラのみで符号化するか否かを示す情報であるオブジェクトイントラ符号化指示信号７に基づいて符号化を行う手段と、ＶＯＬ、ＧＯＶなどの単位の中に含まれる全てのＶＯＰがイントラのみで符号化されているか否かを示す情報であるオブジェクトイントラ符号化表示信号７’と、ＶＯＬ、ＧＯＶなどの単位の中に含まれる全てのＶＯＰの絶対表示時刻情報をまとめて多重化するか否かを示す表示時刻多重化識別情報３４とをＶＯＬやＧＯＶの単位で符号化ビットストリームに多重化する手段を備えたＶＯＰエンコーダについて説明する。
【００４５】
図８は、本実施の形態２におけるＶＯＰエンコーダの構成例を示す。図８は実施の形態１のＶＯＰエンコーダ図１とほぼ同じ構成であり、エンコーダとしての基本動作も実施の形態１で述べた動作と同じである。実施の形態１とは、ヘッダ多重化部８の構成のみが異なる。図において、３４は表示時刻多重化識別情報、３５は各ＶＯＰの絶対表示時刻であるタイムコードである。それ以外の図１と同じ番号を付した部材は図１と全く同じ部材であることを示す。以下では、実施の形態１と異なる構成であるヘッダ多重化部８についてのみ説明する。
【００４６】
図９は、図８に示すヘッダ多重化部８の構成例を示している。図において、３６はＶＯＬヘッダ多重化部である。
【００４７】
図８のヘッダ多重化部８は、ＶＯＬヘッダ多重化部３６において、ＶＯＬヘッダ情報の一部としてオブジェクトイントラ符号化表示信号７’を１ビットの情報として多重化するともに、オブジェクトイントラ符号化表示信号７’がＯＮ、すなわちＶＯＬ、ＧＯＶなどの単位の中に含まれる全てのＶＯＰをイントラのみで符号化することを示している場合には、ＶＯＬヘッダ情報の一部として表示時刻多重化識別情報３４を１ビットの情報として多重化し、さらに表示時刻多重化識別情報３４の値に基づいてＶＯＬを構成するすべてのＶＯＰの絶対表示時刻を示すタイムコード３５をＶＯＬヘッダ情報の一部としてまとめて多重化するものである。
ここで、タイムコード３５は、IEC standard publication 461 for “time and control codes for video tape recoders”で開示される時間情報であって、動画像を構成する各時刻の画像（MPEG-2で言えばフレーム、ＭＰＥＧ−４で言えばＶＯＰなど）の表示時刻を、時間・分・秒の精度で規定する情報である。これは、例えば、業務用映像編集機器などでフレーム単位で編集を行う場合に、各フレームにこの情報を付加することにより、タイムコード３５の値を指定するだけで所望のフレームにアクセスできるなどの効果を持つことができる。
尚、その他の構成は、図４に示すヘッダ多重化部８と同じであるので、以下、図８のうち、実施の形態１と異なるＶＯＬヘッダ多重化部３６の動作についてのみ説明する。
【００４８】
ＶＯＬヘッダ多重化部３６は、ＶＯヘッダ多重化部２５から入力されたビットストリームに対して、以下のルール１）〜５）に従って必要な情報を多重化する。
１） 各ＶＯＰの復号伸長処理に必要な各種のデータなど各種のＶＯＬヘッダを多重化する。
２） オブジェクトイントラ符号化表示信号７’を多重化する。
３） オブジェクトイントラ符号化表示信号７’がＯＮ、すなわちＶＯＬ、ＧＯＶなどの単位の中に含まれる全てのＶＯＰをイントラのみで符号化することを示している時、表示時刻多重化識別情報３４を多重化する。
表示時刻多重化識別情報３４は、ＶＯＬ内のすべてのＶＯＰのタイムコード３５を、ＶＯＬヘッダ情報の領域に多重化するか否かを示す１ビットの情報であり、ＶＯＬ内のすべてのＶＯＰのタイムコード３５をＶＯＬヘッダ情報の一部として多重化する場合はＯＮとして‘１’を、さもなくばＯＦＦとして‘０’を設定する。オブジェクトイントラ符号化表示信号７’がＯＦＦを示している時は表示時刻多重化識別情報３４は多重化しない。
４） オブジェクトイントラ符号化表示信号７’がＯＮを示し、かつ表示時刻多重化識別情報３４がＯＮを示している場合は、後述する図１２に示すように、ＶＯＬ内のすべてのＶＯＰのタイムコード３５をＶＯＬヘッダ情報の領域に多重化する。たとえば、あるＶＯＬ内に３０枚のＶＯＰを含む場合、そのＶＯＬヘッダ情報の領域に３０個のタイムコード３５をまとめて多重化する。
５） 以上の多重化処理を経たビットストリームをＧＯＶヘッダ多重化選択部２７へ出力する。
【００４９】
図１０、図１１、図１２は、この実施の形態２のＶＯＰエンコーダから出力される符号化ビットストリームの例を示している。
図１０の符号化ビットストリーム３７は、オブジェクトイントラ符号化表示信号７’がＯＦＦの場合を示しており、この場合は、ＶＯＬヘッダ情報３７ｂの領域には表示時刻多重化識別情報３４、タイムコード３５は多重化されない。この時、各ＶＯＰのＶＯＰヘッダ情報３７ｂの領域には、ＧＯＶヘッダ３７ｃに多重化される絶対表示時刻である基準のタイムコード３５から当該ＶＯＰが表示される時刻までの相対時間を示す相対時間情報(この相対時間情報は、モジュロ・タイム・ベースやＶＯＰタイムインクリメントであるが、ここでは図示せず。)が多重化され、復号側ではこの相対時間情報に基づいてＶＯＰの表示時刻が定まる。
【００５０】
図１１の符号化ビットストリーム３８は、オブジェクトイントラ符号化表示信号７’がＯＮで、かつ、表示時刻多重化識別情報３４がＯＦＦの場合を示しており、この場合は、ＶＯＬヘッダ情報３８ｂの領域にはタイムコード３５は多重化されない。また、図１０と同様、各ＶＯＰのＶＯＰヘッダ情報３８ｄの領域には、ＧＯＶヘッダ３８ｃに多重化される絶対表示時刻である基準のタイムコード３５から当該ＶＯＰが表示される時刻までの相対時間を示す上記相対時間情報が多重化される。
【００５１】
図１２の符号化ビットストリーム３９は、オブジェクトイントラ符号化表示信号７’がＯＮで、かつ、表示時刻多重化識別情報３４がＯＮの場合を示しており、この場合は、ＶＯＬヘッダ情報３９ｂの領域にＶＯＬ内のすべてのＶＯＰ分のタイムコード３５が多重化される。この場合は、各ＶＯＰヘッダ情報３９ｄの領域中の相対時間情報はそのまま多重化してもよいし、ＶＯＬヘッダ情報３９ｂ中のタイムコードと重複するため、ＶＯＰヘッダ情報としては上記相対時間情報を多重化しないようにしてもよい。
【００５２】
以上のように、この実施の形態２によれば、ＶＯＬヘッダにＶＯＬを構成するＶＯＰデータが全てイントラ符号化されることを示すオブジェクトイントラ符号化表示信号７’と、表示時刻多重化識別情報３４、ＶＯＬ内のすべてのＶＯＰの絶対表示時刻であるタイムコードとを多重化するように構成したため、本符号化装置によって生成されたビットストリームを受信してＶＯＰを復号する画像復号化装置において、個々のＶＯＰヘッダを復号・解析することなく、ＶＯＬ内に含まれるＶＯＰがすべてイントラ符号化されているか否か、また、すべてのＶＯＰのタイムコードがまとめて多重化されているか否かを判断することができる。これにより、復号化装置でＶＯＰの復号を開始する前に、簡単に復号対象のＶＯＰを特定することができ、表示速度や復号速度を変化させて復号を行ったり、所望の時刻のＶＯＰへ簡単にアクセスすることが可能になる。
【００５３】
なお、前記説明では、図１０、１１、１２の符号化ビットストリーム３７〜３９に示すように、ＶＯＬヘッダにオブジェクトイントラ符号化表示信号７’、表示時刻多重化識別情報３４、タイムコード３５を多重化する例を説明したが、本発明では、これに限らず、例えば、以下の例１，２のように符号化ビットストリームを構成することも考えられる。
（例１）
図１３の符号化ビットストリーム４０に示すように、ＶＯＬヘッダ４０ｂにオブジェクトイントラ符号化表示信号７’を多重化し、ＧＯＶヘッダ４０ｃには、このＧＯＶに所属するＶＯＬのオブジェクトイントラ符号化表示信号７’がＯＮの場合に表示時刻多重化識別情報３４を多重化するとともに、表示時刻多重化識別情報３４がＯＮの場合にＧＯＶレイヤに含まれるすべてのＶＯＰのタイムコード３５を多重化する。この場合、表示時刻多重化識別情報３４は、ＧＯＶの中に含まれるすべてのＶＯＰのタイムコード３５をＧＯＶヘッダにまとめて多重化するか否かを示す情報となる。
（例２）
図１４の符号化ビットストリーム４１に示すように、ＧＯＶヘッダ４１ｃに、オブジェクトイントラ符号化表示信号７’、表示時刻多重化識別情報３４、タイムコード３５を多重化する。この場合、オブジェクトイントラ符号化表示信号７’は、ＧＯＶの中に含まれる全てのＶＯＰがイントラ符号化されるか否かを示す情報となり、また、表示時刻多重化識別情報３４は、ＧＯＶの中に含まれるすべてのＶＯＰのタイムコード３５をＧＯＶヘッダにまとめて多重化するか否かを示す情報となる。
これらのように符号化ビットストリームを生成することで、復号側ではＧＯＶを単位として簡単に復号対象のＶＯＰを特定することができ、表示速度や復号速度を変化させて復号を行ったり、所望の時刻のＶＯＰへ簡単にアクセスすることが可能になる。
【００５４】
実施の形態３．
本実施の形態３では、実施の形態１で述べたＶＯＰエンコーダによって生成される符号化ビットストリームを復号し、ＶＯＰ画像を再生するＶＯＰデコーダを説明する。具体的には、符号化ビットストリーム中から実施の形態１で述べたオブジェクトイントラ符号化表示信号７’を復号し、この値に基づいて復号ＶＯＰの表示を制御する画像復号化装置について説明する。
【００５５】
まず、本実施の形態３における画像復号化装置（ＶＯＰデコーダ）の構成と動作について説明する。既存のＶＯＰデコーダの動作はISO/IEC JTC1/SC29/WG11/N1796などに開示されるので、ここではＶＯＰデコーダそのものの動作説明は一般的な範囲にとどめる。以下の説明においては、本実施の形態３におけるＶＯＰデコーダの特徴である、オブジェクトイントラ符号化表示信号を復号してその値に基づいてＶＯＰ画像を選択的に復号する機能を中心に説明する。また、以下の説明においては本ＶＯＰデコーダへの入力は、図５に示す符号化ビットストリーム３０とする。
【００５６】
図１５は、本実施の形態３におけるＶＯＰデコーダの内部構成例を示したものである。なお、ＶＯＰデータは、実施の形態１と同様に、テクスチャデータと形状データとからなるものとし、本デコーダはこれらを圧縮符号化したデータを入力としてそれぞれのデータを復元する機能を持つものとする。
同図において、４２はヘッダ解析部、４３はヘッダ情報が解析されたビットストリーム、４４はビデオ信号解析部、４５は形状符号化データ、４６は形状復号部、４７は復号形状データ、４８はテクスチャ符号化データ、４９はテクスチャ復号部、５０は復号テクスチャデータ、５１は動き情報、５２は動き補償部、５３は復号予測テクスチャデータ、５４はINTRA/INTER判定部、５５は出力テクスチャデータ、５６はメモリ、５７は復号予測テクスチャデータである。
【００５７】
図１６は、図１５に示す画像復号化装置の動作を説明するフローチャートである。以下、図１５および図１６をもとに動作について詳述する。
まず、符号化ビットストリーム３０はヘッダ解析部４２に入力され、所定のシンタックスにしたがって後述するようにＶＯヘッダ、ＶＯＬヘッダ、ＧＯＶヘッダ、ＶＯＰヘッダの各ヘッダが解析される（ステップＳ１０）。
なお、この時、ＶＯＬヘッダ３０ｂに多重化されたオブジェクトイントラ符号化表示信号７’が解析されて、INTRA/INTER判定部５４へ直接出力される。
次に、ヘッダ解析部４２においてヘッダ情報が解析されたビットストリーム４３は、ビデオ信号解析部４４に入力され、ビデオ信号解析部４４によりＶＯＰデータが解析されて、形状符号化データ４５と、テクスチャ符号化データ４８と、動き情報５１とに分けられ、各々、形状復号部４６、動き補償部５２、テクスチャ復号部４９に出力される（ステップＳ１１）。
【００５８】
形状復号部４６は、入力される形状符号化データ４５の復号を行い、復号形状データ４７を出力する（ステップＳ１２）。
【００５９】
動き補償部５２は、メモリ５６中の参照テクスチャデータ５７とビデオ信号解析部４４から入力される動き情報５１から復号予測テクスチャデータ５３を出力する（ステップＳ１３）。
【００６０】
テクスチャ復号部４９は、テクスチャ符号化データ４８に基づいて、ＭＰＥＧ−４で定められる所定の方法、例えばISO/IEC JTC1/SC29/WG11/N1796等で画像データに復元し、復号テクスチャデータ５０を生成する（ステップＳ１４）。この復号テクスチャデータ５０はINTRA/INTER判定部５４に出力される。
【００６１】
INTRA/INTER判定部５４では、まず、オブジェクトイントラ符号化表示信号７’に基づき、最終的な出力テクスチャデータ５５の決定を行う（ステップＳ１５）。
【００６２】
図１７は、本実施の形態３のINTRA/INTER判定部５４によるステップＳ１５のINTRA/INTER判定動作を示すフローチャートである。
まず、入力されるオブジェクトイントラ符号化表示信号７’の値に基づいて動作を切り替える（ステップＳ１５−１）。
【００６３】
ここで、オブジェクトイントラ符号化表示信号７’がＯＮの場合（ステップＳ１５−１“ＹＥＳ”）、INTRA/INTER判定部５４は、復号テクスチャデータ５０をそのまま出力テクスチャデータ５５として出力する（ステップＳ１５−２）。
【００６４】
これに対し、オブジェクトイントラ符号化表示信号７’がＯＦＦの場合は（ステップＳ１５−１“ＮＯ”）、ビデオ信号解析部４４で復号したマクロブロック単位の符号化モード情報１６に基づいて処理を選択する（ステップＳ１５−３）。つまり、マクロブロック単位の符号化モードがイントラ符号化モードの場合は（ステップＳ１５−３“ＹＥＳ”）、INTRA/INTER判定部５４は、復号テクスチャデータ５０をそのまま出力テクスチャデータ５５として出力し（ステップＳ１５−２）、その一方、インター符号化モードの場合は（ステップＳ１５−３“ＮＯ”）、INTRA/INTER判定部５４は、動き補償部５２からの復号予測テクスチャデータ５３と、復号テクスチャデータ５０との加算を行って、その加算データを出力テクスチャデータ５５として出力する（ステップＳ１５−４）。
【００６５】
そして、図１６のフローチャートに戻り、出力テクスチャデータ５５は、以降のＶＯＰの復号に用いられるので、メモリ５６に書き込まれる（ステップＳ１６）。以上の処理を符号化側および復号側で予め定められた被符号化（被復号化）領域であるマクロブロック単位で行い、次のＶＯＰのスタートコードが検出された場合には、現在のＶＯＰの復号を終了する一方、次のＶＯＰのスタートコードが検出されない場合には、ステップＳ１１に戻ってビデオ信号解析処理以降の処理を行い、現在のＶＯＰにおけるマクロブロックの復号処理を継続するようにする（ステップＳ１７）。
【００６６】
このため、この実施の形態３のＶＯＰデコーダでは、図１７のＩＮＴＲＡ／ＩＮＴＥＲ処理に示すように、まず、オブジェクトイントラ符号化表示信号７’がＯＮであるか否かを判断し、オブジェクトイントラ符号化表示信号７’がＯＮ、すなわちそのＶＯＬを構成する全てのＶＯＰデータ３０ｅがイントラ符号化されたものである場合には、ステップＳ１５−３のマクロブロック単位に符号化モードがイントラ符号化モードであるか否かを判断せずに、復号テクスチャデータ５０をそのまま出力テクスチャデータ５５として出力するようにしたので、ステップＳ１５−３の処理の分だけ、ＩＮＴＲＡ／ＩＮＴＥＲ処理を短縮化することができる。
【００６７】
図１８は、図１５に示す本実施の形態３のヘッダ解析部４２の内部構成を、ＶＯＰヘッダ解析部５５の構成を特に詳細にして示したものである。同図において、５８はスタートコード解析部、５９はＶＯヘッダ解析部、６０はＶＯＬヘッダ解析部、６１はＧＯＶヘッダ解析部、６２はＶＯＰヘッダ解析部、６３はタイムコード、６４はモジュロ・タイム・ベース解析部、６５はモジュロ・タイム・ベース、６６は復号ＶＯＰ絶対表示時刻作成部、６７はＶＯＰタイムインクリメント解析部、６８はＶＯＰタイムインクリメント、６９は駒落し制御部、７０は復号ＶＯＰ絶対表示時刻、７１はデコーダ側にて設定される表示速度情報としてのＶＯＰレート情報、７２は映像情報ヘッダ解析部である。
【００６８】
図１９は、図１８に示す駒落し制御部６９の内部構成を示した図である。図において、７３はオブジェクトイントラ符号化判定部、７４は駒落しＶＯＰ判定部である。
【００６９】
次に、ヘッダ解析部４２の動作を詳細に説明する。
図２０は、図１８に示すヘッダ解析部４２の動作を説明するフローチャートで、図１６に示すステップＳ１０のヘッダ解析処理を詳細に示すものである。
本実施の形態３におけるヘッダ解析部４２は、オブジェクトイントラ符号化表示信号７’をビットストリーム中から復号して、この情報に基づいて駒落とし制御を行うものである。
ここで「駒落とし制御」とは、例えばＰＣ、ＷＳのように使用可能なＣＰＵやメモリ資源が限定された環境でソフトウエアデコーダを用いて画像復号化処理を行う際、前記資源の制約によって符号化されたすべてのＶＯＰを復号できないような場合に、復号を行うＶＯＰを限定してその他のＶＯＰを復号せずに読み飛ばす操作を言う。オブジェクトイントラ符号化表示信号７’の使用方法は後述する。
【００７０】
ヘッダ解析部４２におけるヘッダ解析処理では、まず、スタートコード解析部５８が入力される符号化ビットストリーム３０に含まれるスタートコードの解析を行う（ステップＳ１８）。ここで、解析したスタートコードがＶＯを示すものであればＶＯヘッダ解析部５９へ（ステップＳ１９）、解析したスタートコードがＶＯＬを示すものであればＶＯＬヘッダ解析部６０へ（ステップＳ２０）、解析したスタートコードがＧＯＶを示すものであればＧＯＶヘッダ解析部６１へ（ステップＳ２１）、解析したスタートコードがＶＯＰを示すものであればＶＯＰヘッダ解析部６２へ（ステップＳ２２）、ビットストリームを出力する。なお、ＶＯＰヘッダ解析部６２の解析処理を終了した後、ビットストリームはビデオ信号解析部４４に出力される。
【００７１】
すると、ＶＯヘッダ解析部５９は、スタートコード解析部５８から入力されるビットストリームよりＶＯヘッダ情報の解析を行い、解析を終えたビットストリームをスタートコード解析部５８へ出力する（ステップＳ２３）。
【００７２】
また、ＶＯＬヘッダ解析部６０は、スタートコード解析部５８から入力されるビットストリームよりＶＯＬヘッダ情報と、オブジェクトイントラ符号化指示信号７との解析を行い、解析を終えたビットストリームはスタートコード解析部５８へ出力する一方、解析されたオブジェクトイントラ符号化表示信号７’はＶＯＰヘッダ解析部６２とINTRA/INTER判定部５４へ出力する（ステップＳ２４）。
【００７３】
また、ＧＯＶヘッダ解析部６１は、スタートコード解析部５８から入力されるビットストリームよりＧＯＶヘッダ情報の解析を行い、解析を終えたビットストリームをスタートコード解析部５８へ出力する（ステップＳ２５）。この際、解析されたＧＯＶヘッダ情報中に含まれるタイムコード６３はＶＯＰヘッダ解析部６２へ出力される。タイムコード６３の定義は、実施の形態２で説明した通りである。
【００７４】
次に、ステップＳ２６に相当するＶＯＰヘッダ解析部６２の動作について説明する。
図２１は、ＶＯＰヘッダ解析部６２の動作を説明するフローチャートである。まず、ＶＯＰヘッダ解析部６２に入力されたビットストリームは、モジュロ・タイム・ベース解析部６４に入力して、モジュロ・タイム・ベースを解析して（ステップＳ２６−１）、解析したモジュロ・タイム・ベース６５を復号ＶＯＰ絶対表示時刻作成部６６へ出力する一方、解析後のビットストリームをＶＯＰタイムインクリメント解析部６７へ出力する。
【００７５】
ＶＯＰタイムインクリメント解析部６７は、入力されたビットストリームよりＶＯＰタイムインクリメントの解析を行い（ステップＳ２６−２）、解析されたＶＯＰタイムインクリメント６８を復号ＶＯＰ絶対表示時刻作成部６６へ出力する一方、解析後のビットストリームを駒落し制御部６９へ出力する。
【００７６】
この復号ＶＯＰ絶対表示時刻作成部６６は、入力されるモジュロ・タイム・ベース６５と、ＶＯＰタイムインクリメント６８と、タイムコード６３に基づいて復号ＶＯＰ絶対時刻７０を作成し、これを駒落し制御部６９へ出力する（ステップＳ２６−３）。
【００７７】
ここで、モジュロ・タイム・ベース６５とは、図２２に示すように、タイムコード６３が示すある基準時刻から当該ＶＯＰが何秒経過した後に表示されるかを示す情報であり、その秒数を値“１”のビットの個数で表現するとともに、値“０”を付加することによってデータの終端を明示する。
【００７８】
また、ＶＯＰタイムインクリメント６８とは、同じく図２２に示すように、モジュロ・タイム・ベース６５で定められる時刻からの１秒間を１０００分の１秒の精度で表示時刻を微調整する情報である。すなわち、ＭＰＥＧ−４ではＶＯＰの表示時刻を１０００分の１秒の精度で規定することができる。従って、復号ＶＯＰ絶対表示時刻(タイムコード)の作成の一例を説明すると、復号対象ＶＯＰのモジュロ・タイム・ベース６５が『１０』、ＶＯＰタイムインクリメント６８が『００００００』（但し、ＶＯＰタイムインクリメントを６ビット精度にて表現した場合）、タイムコード６３が示す基準時刻を『00時間12分34秒』とした場合、復号ＶＯＰの絶対表示時刻は『00時間12分35秒』となる。
【００７９】
次に、駒落し制御部６９では、図１９に示すように、まず、オブジェクトイントラ符号化判定部７３が、オブジェクトイントラ符号化表示信号７’に基づいて、入力するビットストリームの出力先を決定する（ステップＳ２６−４）。具体的には、オブジェクトイントラ符号化表示信号７’がＯＮであるか否かを判断して、ＯＮ、すなわちＶＯＬ内のすべてのＶＯＰがイントラ符号化されていると判断された場合には（ステップＳ２６−４“ＹＥＳ”）、入力ビットストリームの出力先を駒落しＶＯＰ判定部７４へ切替える一方、オブジェクトイントラ符号化表示信号がＯＦＦの場合は（ステップＳ２６−４“ＮＯ”）、入力ビットストリームの出力先を映像情報ヘッダ解析部７２とする。
【００８０】
そして、駒落しＶＯＰ判定部７４では、復号ＶＯＰ絶対表示時刻作成部６６から入力される復号ＶＯＰ絶対表示時刻７０と、駒落しのためエンコーダ側よりレートを落としてデコーダ側にて設定されたＶＯＰレート情報７１とに基づいて、解析対象ＶＯＰが復号すべきＶＯＰであるかないかの判定を行い（ステップＳ２６−５）、復号の必要があると判定した場合は（ステップＳ２６−５“ＹＥＳ”）、オブジェクトイントラ符号化指示判定部７３からの入力ビットストリームを映像情報ヘッダ解析部７２へ出力する一方、解析が不必要であると判定した場合は（ステップＳ２６−５“ＮＯ”）、スタートコード解析部５８へ出力する。
【００８１】
ここで、ＶＯＰレート情報とは、ＶＯＬ、ＧＯＶなどの所定単位に含まれるＶＯＰを秒あたり何枚表示させるかを表す表示速度情報のことを言う。例えば、ＶＯＰレート情報が２枚／秒の場合、１秒あたり２枚のＶＯＰを表示させる。なお、これは、１枚のＶＯＰを１／２秒ずつ表示させると考えることもできる。従って、１枚目のＶＯＰの復号ＶＯＰ絶対時刻６５が『00時間01分00秒』、ＶＯＰレート情報が１枚／秒であったとした場合、『00時間01分00秒』に１秒ずつ加えた『00時間01分01秒』、『00時間01分02秒』・・・などを絶対表示時刻として持つＶＯＰが復号が必要なＶＯＰと判断される。このため、デコーダ側にて設定されるＶＯＰレート情報６２と、エンコーダ側にて設定されるＶＯＰレート情報とを、例えば、１０枚／秒から２枚／秒等のように変えることにより、復号側でＶＯＰの駒落しが可能になる。
【００８２】
そして、オブジェクトイントラ符号化判定部７３によりオブジェクトイントラ符号化表示信号７’がＯＦＦと判断された場合（ステップＳ２６−４“ＮＯ”）、および、オブジェクトイントラ符号化表示信号７’がＯＮと判断され（ステップＳ２６−４“ＹＥＳ”）、かつ、駒落しＶＯＰ判定部７４により解析対象ＶＯＰの復号が必要であると判定された場合には（ステップＳ２６−５“ＹＥＳ”）、映像情報ヘッダ解析部７２は、駒落し制御部６９から入力されるビットストリームより映像情報ヘッダの解析を行った後、ビットストリームをスタートコード解析部５８へ出力する（ステップＳ２６−６）。スタートコード解析部５８は、以上のようにして各ヘッダを解析した符号化ビットストリーム４３をビデオ信号解析部４４へ出力する。
【００８３】
従って、ステップＳ２６−４でオブジェクトイントラ符号化判定部７３によりオブジェクトイントラ符号化表示信号７’がＯＦＦと判断された場合には、ＶＯＰヘッダ解析部６２への入力ビットストリームを駒落しＶＯＰ判定部７４を介さずに映像情報ヘッダ解析部７２へ出力するので、ＶＯＰの駒落しは行われない。
これはＶＯＬ内のＶＯＰがすべてイントラ符号化されていると保証されない場合であり、この時はＶＯＰ間で予測符号化を行っている可能性があるため、正しい復号画像を得るにはすべてのＶＯＰを一通り解析しなければならないからである。
【００８４】
一方、ステップＳ２６−４でオブジェクトイントラ符号化判定部７３によりオブジェクトイントラ符号化表示信号７’がＯＮと判断された場合には、続くステップ２６−５で駒落しＶＯＰ判定部７４によりＶＯＰレート情報６２等に基づき現在解析対象となっているＶＯＰの復号が必要であるかないかの判定を行って、復号が必要であると判定した入力ビットストリームのみ映像情報ヘッダ解析部７２へ出力するので、ＶＯＰの駒落しが行われることになる。
これは、オブジェクトイントラ符号化表示信号７’がＯＮの場合は、ＶＯＬ内のすべてのＶＯＰがイントラ符号化されていることが保証されるので、デコーダでは任意の個所のＶＯＰを直接選択して復号を行うことができるからである。これにより、自由に駒落とし制御を行うことができる。
【００８５】
以上のように、この実施の形態３によれば、ＶＯＬヘッダにオブジェクトイントラ符号化表示信号７’が多重化された符号化ビットストリームを復号する際、そのオブジェクトイントラ符号化表示信号７’を解析するように構成したため、オブジェクトイントラ符号化表示信号７’がＯＮである場合に、デコーダ側で設定するＶＯＰレート情報７１に応じて任意のＶＯＰを駒落としして表示等することが可能となる。
【００８６】
なお、以上の説明では、入力する符号化ビットストリームとして、図５に示すＶＯＬを単位としてＶＯＬヘッダ３０ｂにオブジェクトイントラ符号化表示信号７’が多重化された符号化ビットストリーム３０を例に説明したが、本発明では、これに限らず、例えば、図６に示すようなオブジェクトイントラ符号化表示信号７’がＧＯＶヘッダ３１ｃに多重化されている符号化ビットストリーム３１を復号するようにしても良い。このようにする場合には、ヘッダ解析部４２を、図２３に示すように構成し、ＶＯＬヘッダ解析部７５ではオブジェクトイントラ符号化表示信号７’を解析せず、ＧＯＶヘッダ解析部７６がＧＯＶヘッダ３１ｃに多重化されているオブジェクトイントラ符号化表示信号７’を解析、復号するようにすれば、ＧＯＶを単位とする駒落し表示制御を行うことが可能となる。
【００８７】
また、例えば、図２４に示すように、複数のオブジェクト７７ａ〜７７ｃに対応させて、本実施の形態３の復号化装置をＶＯＰデコーダ部７８ａ〜７８ｃとして複数備え、コンポジション部７９にて複数のオブジェクト７７ａ〜７７ｃの復号画像信号を合成して１つの画像８０を再生するシステムを構成することも可能である。このようなシステムを構成した場合、ＶＯＰデコーダ部７８ａ〜７８ｃにより、ある特定のオブジェクトのみの表示速度を落としたりするなどの表示制御が可能となる。これにより、例えば複数のオブジェクトが画面に合成されていて、表示されているオブジェクトに重要度がある場合、重要度の低いオブジェクトから表示速度を落とすなどの制御を行うことができる。
【００８８】
また、本実施の形態３におけるＶＯＰデコーダでは、前述の実施の形態１で述べたＶＯＰエンコーダで生成される符号化ビットストリームを復号可能なデコーダで、図５や図６に示す符号化ＶＯＰビットストリーム３０，３１を入力して復号するものとして説明したが、本発明では、符号化装置から直接ビットストリームを受信して復号する場合だけを意味するのではなく、符号化装置によって符号化されたビットストリームをいったん記憶させたＤＶＤ等の記録媒体から復号する場合も当然に意味している。このことは、他の実施の形態の復号化装置でも同じである。
【００８９】
実施の形態４．
本実施の形態４では、実施の形態３で述べたＶＯＰデコーダの別の実施の形態を説明する。つまり、本実施の形態４におけるＶＯＰデコーダは、エンコーダ側で設定したＶＯＰレート情報がＶＯＬヘッダ情報とともにＶＯＬヘッダに多重化されたビットストリームを復号して、これに基づいて表示制御を行う機能を持つものである。
なお、本実施の形態４のＶＯＰデコーダは、実施の形態３で述べたＶＯＰデコーダのヘッダ解析部４２の構成のみが異なるので、この部材についてのみ説明する。
【００９０】
図２５に、本実施の形態４のＶＯＰデコーダが復号する符号化ビットストリーム８１の例を示す。図２５の符号化ビットストリーム８１は、図５の符号化ビットストリーム３０におけるＶＯＬヘッダ３０ｂの中に、エンコーダ側で設定したＶＯＰレート情報８７が多重化されたビットストリームで、図２５ではＶＯＰヘッダ８１ｂにＶＯＰレート情報８７が多重化されることになる。このＶＯＰレート情報は、例えば、エンコーダ側で秒あたり３０枚のＶＯＰを符号化した場合、３０ＶＯＰ／秒という情報となる。
【００９１】
図２６は、本実施の形態４の特徴であるヘッダ解析部４２の内部構成を示したものである。同図において、８３はスタートコード解析部、８４はＶＯＬヘッダ解析部、８５はスタートコードを解析したＶＯＰの数をカウントしたカウント数、８６は駒落しＶＯＰ制御部、８７はエンコーダで設定したＶＯＰレート情報、８８はデコードＶＯＰ選択部、８９はＶＯＰ選択情報、９０はＶＯＰヘッダ解析部である。
【００９２】
図２７は、図２６に示す本実施の形態４の駒落しＶＯＰ制御部８６の構成を示したものである。同図において、７３はオブジェクトイントラ符号化判定部、９１は駒落しＶＯＰ判定部である。
【００９３】
次に、本実施の形態４のヘッダ解析部４２の動作を説明する。
図２８は、本実施の形態４のヘッダ解析部４２の動作を説明するフローチャートである。
本実施の形態４のヘッダ解析部４２では、まず、スタートコード解析部８３において、入力される符号化ビットストリーム８１に含まれるスタートコードの解析を行う（ステップＳ２７）。その結果、解析したスタートコードがＶＯを示すものであればＶＯヘッダ解析部５９へ（ステップＳ２８）、解析したスタートコードがＶＯＬを示すものであればＶＯＬヘッダ解析部８４へ（ステップＳ２９）、解析したスタートコードがＧＯＶを示すものであればＧＯＶヘッダ解析部６１へ（ステップＳ３０）、解析したスタートコードがＶＯＰを示すものであれば駒落しＶＯＰ制御部８６へビットストリームを出力するとともに、ＶＯＰスタートコードを検出する度にカウントをインクリメントし、このカウント数８５も駒落しＶＯＰ制御部８６へ出力する（ステップＳ３１）。なお、カウント数８５は、ＶＯＬスタートコードが検出されるたびにリセットされるものとする。
【００９４】
すると、ＶＯヘッダ解析部５９は、入力されるビットストリームよりＶＯヘッダ情報の解析を行い、解析を終えたビットストリームをスタートコード解析部８３へ出力する（ステップＳ３２）。
【００９５】
また、ＶＯＬヘッダ解析部８４は、入力されるビットストリームよりＶＯＬヘッダ情報と、オブジェクトイントラ符号化表示信号７’と、ＶＯＰレート情報８７の解析を行い、解析を終えたビットストリームはスタートコード解析部８３へ出力し、解析されたオブジェクトイントラ符号化表示信号７’は駒落しＶＯＰ制御部８６へ出力し、解析されたＶＯＰレート情報８７はデコードＶＯＰ選択部８８へ出力する（ステップＳ３３）。
【００９６】
また、ＧＯＶヘッダ解析部６１は、入力されるビットストリームよりＧＯＶヘッダ情報の解析を行い、解析を終えたビットストリームをスタートコード解析部８３へ出力する（ステップＳ３４）。
【００９７】
すると、デコードＶＯＰ選択部８８では、ＶＯＬヘッダ解析部８４から入力する符号化側のＶＯＰレート情報８７と、ユーザ等によりデコーダ側にて設定されるＶＯＰレート情報７１とを比較して、その比較結果に基づき復号化を行うＶＯＰの情報を示すＶＯＰ選択情報８９を駒落しＶＯＰ制御部８６に出力する（ステップＳ３５）。
【００９８】
ＶＯＰ選択情報８９を具体的に説明すると、例えば、ＶＯＬヘッダ解析部８４から入力されるＶＯＰレート情報８７が３０枚／秒、デコーダ側にて設定されるＶＯＰレート情報７１が１５枚／秒の場合、ＶＯＰ選択情報８９は１ＶＯＰおきに解析を行うＶＯＰがあることを示す情報となる。これは、エンコーダ側で1秒あたり３０枚のＶＯＰを符号化したビットストリームを復号する際に、デコーダ側で１枚おきにＶＯＰの復号を行うという状況に相当する。
【００９９】
次に、駒落とし制御部８６は、以下に示すようにステップＳ３６、Ｓ３７に示す処理を行なう。以下、ステップＳ３８に示すＶＯＰヘッダ解析の処理とともに、駒落とし制御の処理について説明する。
まず、図２７に示すように、駒落しＶＯＰ制御部８６のオブジェクトイントラ符号化判定部７３では、ＶＯＬヘッダ解析部８４から入力されるオブジェクトイントラ符号化表示信号７’に基づき、ビットストリームの出力先を決定する（ステップＳ３６）。具体的には、オブジェクトイントラ符号化表示信号７’がＯＮの場合には、入力ビットストリームの出力先を駒落しＶＯＰ判定部９１とする一方、オブジェクトイントラ符号化表示信号がＯＦＦの場合には、入力ビットストリームの出力先をＶＯＰヘッダ解析部９０とする。
【０１００】
そして、オブジェクトイントラ符号化表示信号７’がＯＮの場合、駒落しＶＯＰ制御部８６の駒落しＶＯＰ判定部９１では、ステップＳ３７に相当する判定処理を行う。つまり、ＶＯＰ選択情報８９と、カウント数８５とに基づいて、解析対象ＶＯＰの復号すべきＶＯＰであるか否かの判定を行い、復号すべきＶＯＰであると判定した場合は（ステップＳ３７“ＹＥＳ”）、入力ビットストリームをＶＯＰヘッダ解析部９０へ出力する一方、解析が不必要であると判定した場合は（ステップＳ３７“ＮＯ”）、入力ビットストリームをスタートコード解析部８３へ出力する。例えば、ＶＯＰ選択情報８９が１ＶＯＰおきに解析を行うＶＯＰがあることを示している場合、入力されるカウント数８６が偶数に場合には復号が必要であると判定し、入力されるカウント数が奇数の場合には復号が不必要であると判定することになる。
【０１０１】
ＶＯＰヘッダ解析部９０では、入力されるビットストリームよりＶＯＰヘッダの解析を行い、解析後のビットストリームをスタートコード解析部８３へ出力する（ステップＳ３８）。なお、ＶＯＰヘッダ解析部９０の解析処理が終了した後、スタートコード解析部８３は、その解析後のビットストリーム４３をビデオ信号解析部４４（図１５参照）に出力する。
【０１０２】
従って、ステップＳ３６で駒落しＶＯＰ制御部８６のオブジェクトイントラ符号化判定部７３によりオブジェクトイントラ符号化表示信号７’がＯＦＦと判断された場合には、ＶＯＰヘッダ解析部９０への入力ビットストリームを駒落しＶＯＰ判定部９１を介さずに出力するので、ＶＯＰの駒落しは行われない。この原理は実施の形態３に述べたことと同じである。一方、ステップＳ３６でオブジェクトイントラ符号化判定部７３によりオブジェクトイントラ符号化表示信号７’がＯＮと判断され、かつ、続くステップ３７で駒落しＶＯＰ判定部９１によりＶＯＰ選択情報８９やカウント数８５に基づいて、現在解析対象となっているＶＯＰの復号が必要であるかないかの判定を行う。ここで復号が必要であると判定された入力ビットストリームのみＶＯＰヘッダ解析部９０へ出力されるので、ＶＯＰの駒落しが行われることになる。
【０１０３】
以上のように、本実施の形態４では、エンコーダ側で設定したエンコーダ側におけるＶＯＰレート情報８７がＶＯＬヘッダ情報とともに多重化されたビットストリームを復号して、これに基づいて表示制御を行う機能を持つようにした以外は、実施の形態３と同様に機能する。そして、実施の形態３の場合と同様に、ＶＯＬヘッダにオブジェクトイントラ符号化表示信号７’が多重化された符号化ビットストリームを復号する際、そのオブジェクトイントラ符号化表示信号７’を解析するように構成したため、オブジェクトイントラ符号化表示信号７’がＯＮである場合、すべてのＶＯＰデータがイントラ符号化されていると判断されるオブジェクトについては、エンコーダ側で設定されたＶＯＰレート情報８７と、デコーダ側で設定されたＶＯＰレート情報７１とに応じて任意のＶＯＰを駒落としして表示等することが可能となる。
【０１０４】
また、本実施の形態４では、ＶＯＬヘッダにオブジェクトイントラ符号化表示信号７’とＶＯＰレート情報８７が含まれる符号化ビットストリーム８１を復号するよう構成したため、任意のＶＯＰを駒落としして表示できる前記実施の形態３の効果に加えて、個々のＶＯＰヘッダを解析して、個々に設定されている表示時刻に関する相対時間情報(モジュロ・タイム・ベース、ＶＯＰタイムインクリメント)を復号する必要がなくなり、より簡易に駒落とし制御が可能となる。
【０１０５】
なお、以上の説明では、復号側に入力する符号化ビットストリームとして、エンコーダ側におけるＶＯＰレート情報がＶＯＬヘッダに多重化されている符号化ビットストリームを復号するように説明したが、本発明では、これに限らず、例えば、エンコーダ側におけるＶＯＰレート情報がＧＯＶヘッダに多重化されている符号化ビットストリームを復号するようにしても良い。このようにする場合には、図２９に示すように、ヘッダ解析部４２のＧＯＶヘッダ解析部９２にエンコーダ側におけるＶＯＰレート情報９３の復号機能を持たせるようにすれば良い。このＶＯＰレート情報９３は、ＧＯＶ内でのＶＯＰの表示速度を示す情報となる。
【０１０６】
また、実施の形態３の場合と同様に、オブジェクトイントラ符号化表示信号７’がＧＯＶを単位に符号化されているビットストリームでも対応する構成とすることにより、同様の効果を得ることができる。この場合には、例えば、図２６では、ＶＯＬヘッダ解析部８４ではなく、ＧＯＶヘッダ解析部６１がオブジェクトイントラ符号化表示信号７’の解析機能を持つことになる一方、図２９では、ＶＯＬヘッダ解析部７５ではなく、ＧＯＶヘッダ解析部９２がオブジェクトイントラ符号化表示信号７’の解析機能を持つことになる。
【０１０７】
また、本実施の形態４でも、実施の形態３のところで説明したように、実施の形態３のＶＯＰデコーダにより図２４に示すような複数オブジェクトを復号して合成するシステムに使用しても、実施の形態３で述べた効果と同様の効果を得ることができる。このことは、後述する他の実施の形態のＶＯＰデコーダでも同様で、図２４に示すような複数オブジェクトを復号して合成するシステムを構成できる。
【０１０８】
実施の形態５．
本実施の形態５では、オブジェクトイントラ符号化表示信号をＶＯＬのレイヤに含み、かつ、ＧＯＶのレイヤに当該ＧＯＶ先頭のＶＯＰの絶対表示時刻を表すタイムコード情報を含む符号化ビットストリームを入力して、任意の時刻のＶＯＰをランダムに指定して復号・表示することを可能とする画像復号化装置について説明する。なお、本実施の形態５では、実施の形態３の構成の復号化装置のヘッダ解析部４２の構成のみが異なるので、以下、ヘッダ解析部４２の構成および動作についてのみ説明する。また、本実施の形態５では、図５に示す符号化ビットストリーム３０を入力して復号するデコーダを説明する。
【０１０９】
図３０は、本実施の形態５におけるヘッダ解析部４２の構成を示したものである。同図において、９４はスタートコード解析部、９５は例えばＤＲＡＭ,ＳＤＲＡＭなどのメモリや、ＰＣなどに接続されるハードディスクドライブ等の記録媒体で、符号化側から送信されてきた符号化ビットストリーム３０を記憶する記憶媒体、９６はＶＯＰヘッダ解析部、９７は外部設定タイムコード、９８は駒落し制御部、９９はサーチ指示信号である。
【０１１０】
図３１は、図３０に示す駒落し制御部６０８の構成を示す。図において、７３はオブジェクトイントラ符号化判定部、１００は比較部、１０１は記憶媒体である。
【０１１１】
次に、本実施の形態５のヘッダ解析部４２の動作を説明する。
図３２は、本実施の形態５のヘッダ解析部４２の動作を説明するフローチャートである。
本実施の形態５のヘッダ解析部４２では、まず、スタートコード解析部９４が、入力される符号化ビットストリーム３０に含まれるスタートコードの解析を行う（ステップＳ３９）。解析したスタートコードがＶＯを示すものであればＶＯヘッダ解析部５９へ（ステップＳ４０）、解析したスタートコードがＶＯＬを示すものであればＶＯＬヘッダ解析部６０へ（ステップＳ４１）、解析したスタートコードがＧＯＶを示すものであればＧＯＶヘッダ解析部６１へ（ステップＳ４２）、解析したスタートコードがＶＯＰを示すものであればＶＯＰヘッダ解析部９６へ（ステップＳ４３）、ビットストリームを出力する。なお、ＶＯＰヘッダ解析部９６の解析処理を終了した後、ビットストリームはビデオ信号解析部４４に出力され、ビデオ信号解析部にて当該ＶＯＰのビデオ信号が解析・復号された後、処理は再びスタートコード解析へ移行する。
【０１１２】
すると、ＶＯヘッダ解析部５９は、入力されるビットストリームよりＶＯヘッダ情報の解析を行い、解析を終えたビットストリームをスタートコード解析部９４へ出力する（ステップＳ４４）。
また、ＶＯＬヘッダ解析部６０は、入力されるビットストリームよりＶＯＬヘッダ情報の解析を行い、解析を終えたビットストリームをスタートコード解析部９４へ出力する（ステップＳ４５）。この際、ＶＯＬヘッダ解析部６０は、ＶＯＬヘッダに含まれるオブジェクトイントラ符号化表示信号７’を復号し、ＶＯＰヘッダ解析部９６へ出力する。
【０１１３】
また、ＧＯＶヘッダ解析部６１は、入力されるビットストリームよりＧＯＶヘッダ情報の解析を行い、解析を終えたビットストリームをスタートコード解析部９４へ出力する（ステップＳ４６）。この際、ＧＯＶヘッダ情報中に含まれるＧＯＶタイムコード６３を復号し、ＶＯＰヘッダ解析部９６へ出力する。
そして、ステップＳ４７では、ＶＯＰヘッダ解析処理を実施するＶＯＰヘッダ解析部９６が、本実施の形態５で開示されるＶＯＰの高速かつ簡易なランダムアクセスを実現する機構を備える。この機構は具体的には駒落し制御部９８にて実現される。
【０１１４】
図３３に、駒落し制御部９８によるステップＳ４７のＶＯＰヘッダ解析動作を示すフローチャートである。以下、図３０のＶＯＰヘッダ解析部の詳細図、図３１、図３３をもとに、ＶＯＰランダムアクセス処理の動作について説明する。
まず、動作状況として、以下の状況（１）〜（４）を想定する。
【０１１５】
（１）記憶媒体９５（例えばCD-ROM、DVDなどの蓄積メディア、DRAM,SDRAMなどのメモリ、PCなどに接続されるハードディスクドライブなど）に記憶された符号化ビットストリームを読み出して入力し、オブジェクトの復号・表示を実施する。この際、各ＶＯＰの絶対表示時刻をユーザが認知できるよう、ＶＯＰの表示に合わせて表示画面にタイムコードを出力するものとする。符号化ビットストリームはネットワークや放送網を通じて、デコーダから読み出し可能な記憶媒体９５に送り込まれることもある。
【０１１６】
（２）ユーザが任意の箇所で復号をストップする。同時に該当するタイムコードも当該ＶＯＰの位置で停止する。表示は、復号をストップする前に最後に復号されるＶＯＰ画像をそのまま表示させる。ユーザは、このストップした時刻から時間的に前や後の方向へ離れた位置のＶＯＰの画像を静止画像としてビットストリーム中から取り出したいと考えている、とする。
【０１１７】
（３）ユーザは、取り出したいと考えているＶＯＰ画像のタイムコードを、例えば、取り出したいと考えているタイムコードを指定するコマンドによる等、何らかの手段で入力する。このようにして入力したタイムコードが、外部設定タイムコード９７となる。
【０１１８】
（４）（３）でユーザが入力した外部設定タイムコード６１０と、現在停止している状態のＶＯＰ画像のタイムコードとを比較し、異なればユーザの指定した外部設定タイムコード６１０と一致するタイムコードのＶＯＰ画像をサーチして復号・表示する。
【０１１９】
なお、ＶＯＰは通常、時間的に前後のＶＯＰの画像を用いて予測符号化されることが多いので、前記の動作を行うためには、所望のタイムコードを持つＶＯＰにたどり着くまでに予測関係を持つＶＯＰをすべて復号しなければならない。
しかし、本実施の形態５では、オブジェクトイントラ符号化表示信号７’と、駒落し制御部９８の機構を用いることにより、すべてをイントラ符号化、すなわち予測を行わずに符号化しているＶＯＬを直ちに察知して、そのようなＶＯＬヘッダについてはダイレクトに所望のＶＯＰ画像をサーチして復号・再生できるようになる。
【０１２０】
まず、前記（１）の状態では、復号化装置は通常復号動作を行う。ここでは、復号化装置が前記（１）から（２）の状態に移行する瞬間を仮定する。まず、この時、復号を停止するＶＯＰ画像のタイムコードを計算する。これは３つのステップ（ステップＳ４７−１〜Ｓ４７−３）からなる。
第１のステップは、モジュロ・タイム・ベースをビットストリーム中から解析するステップ（ステップＳ４７−１）で、これはモジュロ・タイム・ベース解析部６４にて行われる。
第２のステップは、ＶＯＰタイムインクリメントをビットストリーム中から解析するステップ（ステップＳ４７−２）で、これはＶＯＰタイムインクリメント解析部６７で行われる。
次いで第３のステップで、前記モジュロ・タイム・ベース、ＶＯＰタイムインクリメントに加え、ＧＯＶヘッダ解析部６１から出力されるＧＯＶタイムコード６３とに基づいて、当該ＶＯＰの絶対表示時刻であるＶＯＰタイムコード７０を計算する（ステップＳ４７−３）。これは復号ＶＯＰ絶対表示時刻作成部６６で行われ、計算方法は実施の形態３に示した通りである。これによって得られた（２）の停止状態のＶＯＰのタイムコードがユーザに提示される。
【０１２１】
次いで、ユーザは（３）の動作を実施するものとする。これにより、外部設定タイムコード９７が与えられ、駒落し制御部９８によるランダムアクセス機構が作動する。
つまり、まず、現在のＶＯＰがユーザが希望する表示対象のＶＯＰか否かを判断する（ステップＳ４７−4）。これは比較部１００で行われる。具体的には、ユーザの希望する表示対象ＶＯＰのタイムコードである外部設定タイムコード９７と、現在表示されているＶＯＰのＶＯＰタイムコード７０とを比較する。
【０１２２】
その結果、一致していれば、「表示対象のＶＯＰ」と判断して（ステップＳ４７−４“ＹＥＳ”）、映像情報ヘッダ解析処理を行なうようにする（ステップＳ４７−１１）。さもなくば（ステップＳ４７-４“ＮＯ”）、外部設定タイムコード９７と、現在のＶＯＰのＶＯＰタイムコード７０との比較により、表示対象ＶＯＰが現在のＶＯＰより時間的に先のＶＯＰか否かを判断して（ステップＳ４７−５）、以下のケース１，２のいずれに相当するかを判定する。なお、その際、記憶媒体１０１は、比較部１００が外部設定タイムコード９７に近いＶＯＰタイムコード７０を選択できるように、比較部１００における比較の際、前に使用したＶＯＰタイムコード７０を一時記憶等するように動作する。
【０１２３】
ケース１：
外部設定タイムコード９７が（２）の状態のＶＯＰタイムコード７０よりも時間的に後を示している場合、例えば、外部設定タイムコード９７が01:00:30、（２）の状態のＶＯＰタイムコード７０が01:00:10であるような場合である（ステップＳ４７−５“ＹＥＳ”）。アクションは、オブジェクトイントラ符号化表示信号７’の値によって切替える（ステップＳ４７−６）。
つまり、オブジェクトイントラ符号化表示信号７’がＯＮの場合（ステップＳ４７−６“ＮＯ”）、すなわち「ＶＯＬ内のＶＯＰが全てイントラ符号化されている」ことを示す場合は、比較部１００は、サーチ指示信号９９を「順方向サーチ」に設定し、ビットストリームとともにスタートコード解析部９４へ送る（ステップＳ４７−７）。これにより、スタートコード解析部９４は（２）の状態のＶＯＰタイムコード７０よりも先、すなわち時間的に後のＶＯＰスタートコードをサーチすることになる。
【０１２４】
これに対し、オブジェクトイントラ符号化表示信号７’がＯＦＦの場合（ステップＳ４７−６“ＹＥＳ”）、すなわち「ＶＯＬ内のＶＯＰが予測符号化されている」ことを示す場合は、ＶＯＬ内のＶＯＰは予測を用いて符号化されているため、個々のＶＯＰをダイレクトに復号することができない。この場合は、上記ステップＳ４７−１〜４７−３，Ｓ４７−１１の処理により個々のＶＯＰのモジュロ・タイム・ベース６５とＶＯＰタイムインクリメント６８を復号してＶＯＰタイムコード７０を計算するとともに、逐一ＶＯＰ画像を復号していく必要がある。このケースでは、このようにして逐次、次のＶＯＰを復号していく。
【０１２５】
ケース２：
外部設定タイムコード９７が（２）の状態のＶＯＰタイムコード７０よりも時間的に前を示している場合、例えば、外部設定タイムコード９７が01:00:00、（２）の状態のＶＯＰタイムコードが01:00:10であるような場合である（ステップＳ４７−５“ＮＯ”）。アクションは、オブジェクトイントラ符号化表示信号７’の値によって切替える（ステップＳ４７−８）。
つまり、オブジェクトイントラ符号化表示信号７’がＯＮの場合（ステップＳ４７−８“ＮＯ”）、すなわち「ＶＯＬ内のＶＯＰが全てイントラ符号化されている」ことを示す場合は、比較部１００はサーチ指示信号９９を「逆方向サーチ」に設定し、ビットストリームとともにスタートコード解析部９４へ送る（ステップＳ４７−９）。これにより、スタートコード解析部９４はビットストリームを逆方向に解析し、（２）の状態よりも時間的に前のＶＯＰのスタートコードをサーチすることができる。
【０１２６】
これに対し、オブジェクトイントラ符号化表示信号７’がＯＦＦの場合（ステップＳ４７−８“ＹＥＳ”）、すなわち「ＶＯＬ内のＶＯＰが予測符号化されている」ことを示す場合、ＶＯＬ内のＶＯＰは予測を用いて符号化されているため、個々のＶＯＰをダイレクトに復号することができない。この場合は、個々のＶＯＰのモジュロ・タイム・ベース６５とＶＯＰタイムインクリメント６８を復号してＶＯＰタイムコード７０を計算するとともに、画像データまで復号を実行する必要がある。このケースでは、予測を実施していないＶＯＰ画像、すなわち時間的に前のI-ＶＯＰ（イントラ符号化されたＶＯＰ）までさかのぼって復号し、そこから復号を再開しなければならない。これはサーチ指示信号９９によって時間的に前のI-ＶＯＰまでさかのぼって逆サーチを行うよう指示することで対処する（ステップＳ４７−１０）。
【０１２７】
このように、本実施の形態５では、ケース１およびケース２の場合において、オブジェクトイントラ符号化表示信号７’がＯＮのときには、サーチ指示信号９９によりＶＯＰのスタートコード検出を進め、ステップＳ４７−１１の映像情報ヘッダ解析処理を行なわずに、ＶＯＰの画像データは読み飛ばすようにしている。
つまり、ＶＯＰスタートコードが検出されるたびに、個々のＶＯＰのモジュロ・タイム・ベースやＶＯＰタイムインクリメントの解析、復号による現在のＶＯＰの絶対表示時刻であるＶＯＰタイムコード７０の算出（ステップＳ４７−１〜Ｓ４７−３）、現在のＶＯＰタイムコード７０と、外部設定タイムコード９７とのタイムコード比較による表示対象のＶＯＰか否かの判断（ステップＳ４７−４）を行い、外部設定タイムコード９７と、サーチした結果のＶＯＰのタイムコード７０が一致するまで処理を繰り返す。そして、外部設定タイムコード９７と、サーチした結果のＶＯＰタイムコード７０が一致したら、表示対象のＶＯＰのところで復号が停止したことになるので、ランダムアクセスの動作を終了する。
【０１２８】
以上のように、本実施の形態５によれば、ＶＯＬ内のＶＯＰがすべてイントラ符号化されているかどうかを示すオブジェクトイントラ符号化表示信号７’に基づいて、もしオブジェクトイントラ符号化表示信号７’がＯＮの場合、すなわちＶＯＬ内のＶＯＰがすべてイントラ符号化されている場合には、Ｓ４７−１１の映像情報ヘッダ解析処理によるＶＯＰの復号をＶＯＰ毎に順次行うことなく、ＶＯＰの画像データは読み飛ばして、ダイレクトに所望のＶＯＰの画像データをサーチして復号することができる。
このため、例えば、ＭＰＥＧ−４準拠の圧縮規格を採用した家庭用ビデオなどですべてのＶＯＰをイントラで符号化して記憶媒体９５等に記録しておき、これをインターネットや、CD-ROM/DVD-ROMなどで供給される他のオブジェクト映像と合成するなどして所望のシーンを編集するようなケースを考えた場合、本実施の形態５で述べた構成をとる復号化装置によって編集すれば、ビデオ撮影した映像の所望の時刻の画像へ高速にアクセスすることができ、ストレスなく映像編集を行うことが可能となる。
【０１２９】
また、映像素材を、ＭＰＥＧ−４準拠の圧縮規格によりすべてのＶＯＰをイントラで符号化してDVD-RAMなどの大容量記録メディアに蓄積しておき、テレビプログラムなどの制作の際に、高速にアクセスしながら所望の編集操作を行うことも可能となる。
【０１３０】
なお、本実施の形態５では、図５に示す符号化ビットストリーム３０を例として、オブジェクトイントラ符号化表示信号がＶＯＬヘッダに多重化され、タイムコードを含むＧＯＶのレイヤを含んだビットストリームを復号する例について述べたが、本発明では、これに限らず、図６に示す符号化ビットストリーム３１のようにＧＯＶヘッダ３１ｃにオブジェクトイントラ符号化表示信号７’を含む場合についても、ＧＯＶヘッダ解析部６１でオブジェクトイントラ符号化表示信号７’の解析を行う構成にすることによって、ＧＯＶ内のすべてのＶＯＰがイントラ符号化されている場合に、任意のＶＯＰへのランダムアクセスをスムーズに行うことが可能である。
【０１３１】
実施の形態６．
本実施の形態６では、オブジェクトイントラ符号化表示信号７’と、ＶＯＬ内のＶＯＰの表示速度を示す表示速度情報としてのＶＯＰレート情報とをＶＯＬのレイヤに含み、かつ、ＧＯＶのレイヤに当該ＧＯＶ先頭のＶＯＰの絶対表示時刻を表すタイムコード情報とを含む符号化ビットストリームを入力して、任意の時刻のＶＯＰをランダムに指定して復号・表示することを可能とする画像復号化装置について説明する。なお、本実施の形態６では、実施の形態４の構成の復号化装置のヘッダ解析部の構成のみが異なるので、以下、ヘッダ解析部の動作についてのみ説明する。また、本実施の形態６では、図２５に示す符号化ビットストリーム８１を入力して復号するものとして説明する。
【０１３２】
図３４は、本実施の形態６におけるヘッダ解析部４２の構成を示したものである。同図において、１０２はスタートコード解析部、１０３は復号ＶＯＰ選択部、１０４はＶＯＰヘッダ解析部である。尚、その他の構成は、図２６に示す実施の形態４等のヘッダ解析部の構成と同じなので、同一番号を付してその説明は省略する。
【０１３３】
図３５は、図３４に示す復号ＶＯＰ選択部１０３の内部構成を示している。図において、７３はオブジェクトイントラ符号化判定部、１００は比較部、１０５はＶＯＰタイムコード算出部である。
【０１３４】
次に、本実施の形態６のヘッダ解析部４２の動作を説明する。
図３６は、本実施の形態６のヘッダ解析部４２の動作を示すフローチャートである。
本実施の形態６のヘッダ解析部４２では、まず、スタートコード解析部１０２が入力される符号化ビットストリーム８１に含まれるスタートコードの解析を行う（ステップＳ４８）。解析したスタートコードがＶＯを示すものであればＶＯヘッダ解析部５９へ（ステップＳ４９）、解析したスタートコードがＶＯＬを示すものであればＶＯＬヘッダ解析部８４へ（ステップＳ５０）、解析したスタートコードがＧＯＶを示すものであればＧＯＶヘッダ解析部６１へ（ステップＳ５１）、解析したスタートコードがＶＯＰを示すものであれば復号ＶＯＰ選択部１０３へ（ステップＳ５２）、ビットストリームを出力する。
なお、ＶＯＰヘッダ解析部１０４の解析処理を終了した後、ヘッダ解析を終了したビットストリーム４３はビデオ信号解析部４４に出力され、ビデオ信号解析部にて当該ＶＯＰのビデオ信号が解析・復号された後、処理は再びスタートコード解析へ移行する。スタートコード解析部１０２は、内部にＶＯＰカウンタを持ち、ＶＯＰスタートコードを検出するたびにＶＯＰカウントをインクリメントしてＶＯＰカウンタ値８５を出力する。また、同カウント値８５は復号ＶＯＰ選択部１０３へ出力する。ＶＯＰカウント値８５はＧＯＶスタートコードまたはＶＯＬスタートコードが検出されるたびにリセットされるものとする。
【０１３５】
すると、ＶＯヘッダ解析部５９は、入力されるビットストリームよりＶＯヘッダ情報の解析を行い、解析を終えたビットストリームをスタートコード解析部１０２へ出力する（ステップＳ５３）。
また、ＶＯＬヘッダ解析部８４は、入力されるビットストリームよりＶＯＬヘッダ情報の解析を行い、解析を終えたビットストリームをスタートコード解析部１０２へ出力する（ステップＳ５４）。この際、ＶＯＬヘッダ解析部８４は、ＶＯＬヘッダ情報中に含まれるオブジェクトイントラ符号化表示信号７’と、ＶＯＰレート情報８７とを復号し、復号ＶＯＰ選択部１０３へ出力する。
【０１３６】
また、ＧＯＶヘッダ解析部６１は、入力されるビットストリームよりＧＯＶヘッダ情報の解析を行い、解析を終えたビットストリームをスタートコード解析部１０２へ出力する（ステップＳ５５）。
この際、ＧＯＶヘッダ解析部６２０は、ＧＯＶヘッダ情報中に含まれるＧＯＶタイムコード６３を復号し、復号ＶＯＰ選択部１０３へ出力する。
【０１３７】
そして、復号ＶＯＰ選択部１０３は、本実施の形態６で開示されるＶＯＰの高速かつ簡易なランダムアクセス機構を実現する（ステップＳ５６）。
【０１３８】
このため、本実施の形態６によれば、オブジェクトイントラ符号化表示信号７’と、復号ＶＯＰ選択部１０３の機構を用いることにより、すべてをイントラ符号化、すなわち予測を行わずに符号化しているＶＯＬを直ちに察知して、そのようなＶＯＬについてはダイレクトに所望のＶＯＰ画像をサーチして復号・再生できるようになる。
特に、本実施の形態６では、ＶＯＬのレイヤにＶＯＰレート情報も含まれており、各ＶＯＰのタイムコード７０を個々のモジュロ・タイム・ベースや、ＶＯＰタイムインクリメントを復号することなく特定することができる。
【０１３９】
図３７に、復号ＶＯＰ選択部１０３によるステップＳ５６のＶＯＰランダムアクセス機構の詳細処理のフローチャートを示す。
以下、主に、図３５、図３７をもとに、ＶＯＰランダムアクセス処理の動作について説明する。動作状況として、実施の形態５で述べた（１）〜（４）の状況をここでも想定する。
【０１４０】
具体的に説明すると、この実施の形態６では、状態（１）では、復号化装置は通常復号動作を行う。ここでは、復号化装置が状態（１）から状態（２）に移行する瞬間を仮定する。この時、まず、ユーザによる（２）の行為により、復号を停止するＶＯＰ画像のタイムコード７０をＶＯＰタイムコード算出部１０５にて計算する（ステップＳ５６−１）。これは以下の計算式によって求められる。
ＶＯＰタイムコード７０＝ＧＯＶタイムコード６３＋（ＶＯＰカウンタ値８５）÷（ＶＯＰレート情報８７）
つまり、ＶＯＰタイムコード算出部１０５は、ＶＯＰカウンタ値８５を、符号化側のＶＯＰレート情報８７により除算し、その商と、ＧＯＶタイムコード６３とを加算して、復号を停止しようとするＶＯＰ画像のタイムコード７０を算出するのである。
【０１４１】
例えば、ＧＯＶタイムコード６３が01時間00分00秒、ＶＯＰカウンタ値８５が60枚、符号化側のＶＯＰレート情報８７が30枚／秒とした場合、ＧＯＶタイムコード６３に、60／30(＝2)秒を加算した01時間00分02秒がＶＯＰタイムコードとして算出される。
【０１４２】
このように、この実施の形態５では、実施の形態５のように３つのステップ（ステップＳ４７−１〜Ｓ４７−３）から復号を停止するＶＯＰ画像のタイムコード７０を求める必要はなく、スタートコード解析部１０２で個々のＶＯＰのスタートコードが検出され、ＶＯＰカウンタがインクリメントされ、そのＶＯＰカウンタ値８５と、符号化側のＶＯＰレート情報８７と、ＧＯＶタイムコード６３とを利用することにより、実施の形態４の場合よりも迅速に、復号を停止するＶＯＰタイムコード７０が決定できる。これによって得られた（２）の停止状態のＶＯＰのタイムコードがユーザに提示される。
【０１４３】
次いで、ユーザは（３）の動作を実施するものとする。これにより、ユーザが取り出したいと考えている外部設定タイムコード９７が与えられ、復号ＶＯＰ選択部１０３によるランダムアクセス機構が作動する。
つまり、まず、現在復号を停止しているＶＯＰがユーザが希望する表示対象のＶＯＰか否かを判断する（ステップＳ５６-２）。これは比較部１００で行われる。具体的には、外部設定タイムコード９７と、ＶＯＰタイムコード算出部１０５からのＶＯＰタイムコード７０とを比較する。
【０１４４】
その結果、一致していれば（ステップＳ５６-２“ＹＥＳ”）、「表示対象のＶＯＰ」と判断して、表示対象ＶＯＰのＶＯＰヘッダ解析処理を行なう（ステップＳ６７）。さもなくば（ステップＳ５６-２“ＮＯ”）、外部設定タイムコード９７と、現在のＶＯＰのＶＯＰタイムコード７０との比較により、表示対象ＶＯＰが現在のＶＯＰより時間的に先のＶＯＰか否かを判断して（ステップＳ５６−３）、以下のケース１，２のいずれに相当するかを判定する。
【０１４５】
ケース１：
外部設定タイムコード９７が（２）の状態のＶＯＰタイムコード７０よりも時間的に後を示している場合、例えば、外部設定タイムコード９７が01:00:30、（２）の状態のＶＯＰタイムコード７０が01:00:10であるような場合である（ステップＳ５６−３“ＹＥＳ”）。アクションは、オブジェクトイントラ符号化表示信号７’の値によって切替える（ステップＳ５６−４）。
つまり、オブジェクトイントラ符号化表示信号７’がＯＮの場合は（ステップＳ５６−４“ＮＯ”）、すなわち「ＶＯＬ内のＶＯＰが全てイントラ符号化されている」ことを示す場合は、比較部１００はサーチ指示信号９９を「順方向サーチ」に設定し、ビットストリームとともにスタートコード解析部１０２へ送る（ステップＳ５６−５）。
これにより、スタートコード解析部１０２は、（２）の状態である復号を停止した状態のＶＯＰタイムコード７０よりも先、すなわち時間的に後のＶＯＰスタートコードをサーチすることができる。
【０１４６】
これに対し、オブジェクトイントラ符号化表示信号７’がＯＦＦの場合（ステップＳ５６−４“ＹＥＳ”）、すなわち「ＶＯＬ内のＶＯＰが予測符号化されている」ことを示す場合は、ＶＯＬ内のＶＯＰは予測を用いて符号化されているため、個々のＶＯＰをダイレクトに復号することができない。
このため、この場合は、ＶＯＰヘッダ解析部１０４が、次のステップＳ５７の通常のＶＯＰヘッダ解析処理の中で、図３３に示すステップＳ４７−１〜Ｓ４７−３，Ｓ４７−１１と同等の処理を行なって、個々のＶＯＰのモジュロ・タイム・ベースと、ＶＯＰタイムインクリメントとを解析、復号して、復号を停止した現在のＶＯＰのＶＯＰタイムコード６１１を計算して、逐一ＶＯＰ画像を復号していく必要がある。このケースでは、このようにして逐次、次のＶＯＰを復号していく。
【０１４７】
ケース２：
外部設定タイムコード９７が（２）の状態のＶＯＰタイムコード７０よりも時間的に前を示している場合、例えば、外部設定タイムコード９７が01:00:00、（２）の状態のＶＯＰタイムコード７０が01:00:10であるような場合である（ステップＳ５６−３“ＮＯ”）。アクションは、オブジェクトイントラ符号化表示信号７’の値によって切替える（ステップＳ５６−６）。
つまり、オブジェクトイントラ符号化表示信号７’がＯＮの場合（ステップＳ５６−６“ＮＯ”）、比較部１００はサーチ指示信号９９を「逆方向サーチ」に設定し、ビットストリームとともにスタートコード解析部１０２へ送る（ステップＳ５６−７）。
これにより、スタートコード解析部１０２はビットストリームを逆方向に解析し、（２）の状態よりも時間的に前のＶＯＰのスタートコードをサーチする。
【０１４８】
これに対し、オブジェクトイントラ符号化表示信号７’がＯＦＦの場合（ステップＳ５６−６“ＹＥＳ”）、すなわち「ＶＯＬ内のＶＯＰが予測符号化されている」ことを示す場合、ＶＯＬ内のＶＯＰは予測を用いて符号化されているため、個々のＶＯＰをダイレクトに復号することができない。この場合は、個々のＶＯＰの画像データの復号を実行する必要がある。このケースでは、予測を実施していないＶＯＰ画像、すなわち時間的に前のI-ＶＯＰまでさかのぼって復号し、そこから復号を再開しなければならない。これはサーチ指示信号９９によって時間的に前のI-ＶＯＰまでさかのぼって逆サーチを行うよう指示することで対処する（ステップＳ５６−８）。
【０１４９】
このように、本実施の形態６では、ケース１およびケース２の場合において、オブジェクトイントラ符号化表示信号７’がＯＮのときには、サーチ指示信号９９によりＶＯＰのスタートコード検出を進め、ステップＳ５７のＶＯＰヘッダ解析処理は行なわずに、ＶＯＰの画像データは読み飛ばすようにしている。
つまり、ＶＯＰスタートコードが検出されるたびに、現在のＶＯＰの絶対表示時刻であるＶＯＰタイムコード７０の算出（ステップＳ５６−１）、ＶＯＰタイムコード７０と外部設定タイムコード９７との比較による表示対象のＶＯＰか否かの判断（ステップＳ５６−２）を行い、外部設定タイムコード９７と、サーチした結果のＶＯＰのタイムコード７０が一致するまで処理を繰り返す。そして、外部設定タイムコード９７と、サーチした結果のＶＯＰタイムコード７０が一致したら、表示対象のＶＯＰのところで復号が停止したことになるので、ランダムアクセスの動作を終了する。
【０１５０】
以上のように、本実施の形態６では、ＶＯＬ内のＶＯＰがすべてイントラ符号化されているかどうかを示すオブジェクトイントラ符号化表示信号７’に基づいて、例えばオブジェクトイントラ符号化表示信号７’がＯＮで、ＶＯＬ内のＶＯＰがすべてイントラ符号化されている場合には、ステップＳ５７のＶＯＰヘッダ解析処理をＶＯＰ毎に順次行わず、順次ＶＯＰの復号を行なわないので、ダイレクトに所望のＶＯＰの画像データをサーチして復号することができる。
【０１５１】
また、本実施の形態６では、各ＶＯＰのタイムコード７０を、ＧＯＶ先頭のＶＯＰのタイムコードであるＧＯＶタイムコード６３と、スタートコード解析部１０２からのＶＯＰカウンタ値８５と、符号化側のＶＯＰレート情報８７とに基づいて決定するので、各ＶＯＰについてモジュロ・タイム・ベースやＶＯＰタイムインクリメントの情報を復号しなくて済む。このことは、外部設定タイムコード９７からあらかじめ読み飛ばすＶＯＰの数を計算してランダムアクセスができることを示しており、実施の形態５のように逐一各ＶＯＰの表示時刻を図３３のステップＳ４７−１〜Ｓ４７−３の処理により算出して判断するという手間を踏まずに済ませることができ、実施の形態５の場合よりも高速にランダムアクセスができることになる。つまり、各ＶＯＰの表示時刻を逐一ＶＯＰヘッダ解析に基づいて算出することなく、ＶＯＰレート情報に基づいて個々のＶＯＰのタイムコードを特定できるので、高速なランダムアクセスが可能となる。
【０１５２】
例えば、ＭＰＥＧ−４準拠の圧縮規格を採用した家庭用ビデオなどですべてのＶＯＰをイントラで符号化して記憶媒体９５等に記録しておき、これをインターネットやCD-ROM/DVD-ROMなどで供給される他のオブジェクト映像と合成するなどして所望のシーンを編集するようなケースを考えた場合、本実施の形態で述べた構成をとる復号化装置によって編集すれば、ビデオ撮影した映像の所望の時刻の画像へ高速にアクセスすることができ、ストレスなく映像編集を行うことが可能となる。また、映像素材を、ＭＰＥＧ−４準拠の圧縮規格によりすべてのＶＯＰをイントラで符号化してDVD-RAMなどの大容量記録メディアに蓄積しておき、テレビプログラムなどの制作の際に、高速にアクセスしながら所望の編集操作を行うことも可能となる。
【０１５３】
なお、本実施の形態６では、図２５に示す符号化ビットストリーム８１を例として、オブジェクトイントラ符号化表示信号７’と、ＶＯＰレート情報８７とをＶＯＬヘッダ８１ｂに含み、かつ、ＧＯＶヘッダ８１ｃに当該ＧＯＶ先頭のＶＯＰの絶対表示時刻を表すＧＯＶタイムコード６３を含む符号化ビットストリームを復号する例について述べたが、本発明では、これに限らず、例えば、ＧＯＶヘッダにＧＯＶタイムコード６３だけでなく、オブジェクトイントラ符号化表示信号７’、ＶＯＰレート情報８７を設けた符号化ビットストリーム（図示せず）を復号するようにしても良い。この場合は、図３４におけるＧＯＶヘッダ解析部６１に、ＧＯＶタイムコード６３の復号機能だけでなく、オブジェクトイントラ符号化表示信号７’と、ＶＯＰレート情報８７との復号機能を持たせるようにすればよい。
【０１５４】
実施の形態７．
本実施の形態７では、実施の形態２で説明したＶＯＰエンコーダによって生成される符号化ビットストリームを復号するＶＯＰデコーダについて説明する。
つまり、本実施の形態７のＶＯＰデコーダは、図１２に示す符号化ビットストリーム３９を入力とし、符号化ビットストリーム３９中から実施の形態２で述べたオブジェクトイントラ符号化表示信号７’、表示時刻多重化識別情報３４、各ＶＯＰのタイムコード３５を復号し、これらの値に基づいてＶＯＰの復号および表示を制御することを特徴とするものである。
尚、本実施の形態７におけるＶＯＰデコーダは、実施の形態６記載のＶＯＰデコーダと基本的な構成は同じであり、ヘッダ解析部４２のみが異なるので、以下では本実施の形態におけるヘッダ解析部４２の説明のみを行う。
【０１５５】
図３８は本実施の形態７におけるヘッダ解析部４２の内部構成を示したものである。図において、１０６はＶＯＬヘッダ解析部、１０７は復号ＶＯＰ選択部である。尚、その他の構成は、図３４に示す実施の形態６のヘッダ解析部４２の構成と同じなので、同一番号を付してその説明は省略する。
【０１５６】
図３９は、図３８に示す実施の形態７の復号ＶＯＰ選択部１０７の内部構成を示している。図において、７３はオブジェクトイントラ符号化判定部、１００は比較部、１０８はＶＯＰタイムコード保持部である。
【０１５７】
以下、本実施の形態７のヘッダ解析部４２の動作を説明する。
図４０は、本実施の形態のヘッダ解析部４２の動作を示すフローチャートである。
本実施の形態７のヘッダ解析部４２では、まず、スタートコード解析部１０２において、入力される符号化ビットストリーム３９に含まれるスタートコードの解析を行う（ステップＳ５８）。解析したスタートコードがＶＯを示すものであればＶＯヘッダ解析部５９へ（ステップＳ５９）、解析したスタートコードがＶＯＬを示すものであればＶＯＬヘッダ解析部１０６へ（ステップＳ６０）、解析したスタートコードがＧＯＶを示すものであればＧＯＶヘッダ解析部６１へ（ステップＳ６１）、解析したスタートコードがＶＯＰを示すものであれば復号ＶＯＰ選択部１０７へ（ステップＳ６２）、ビットストリームを出力する。
【０１５８】
なお、ＶＯＰヘッダ解析部１０４の解析処理を終了した後、ビットストリーム４３は、スタートコード解析部１０２からビデオ信号解析部４４に出力され、ビデオ信号解析部４４にて当該ＶＯＰのビデオ信号が解析・復号された後、処理は再びスタートコード解析へ移行する。スタートコード解析部１０２は、内部にＶＯＰカウンタを持ち、ＶＯＰスタートコードを検出するたびにＶＯＰカウントをインクリメントしてＶＯＰカウンタ値８５を復号ＶＯＰ選択部１０７へ出力する。ＶＯＰカウンタはＶＯＬスタートコードが検出されるたびにリセットされるものとする。
【０１５９】
すると、ＶＯヘッダ解析部５９は、入力されるビットストリームよりＶＯヘッダ情報の解析を行い、解析を終えたビットストリームをスタートコード解析部１０２へ出力する（ステップＳ６３）。
【０１６０】
また、ＶＯＬヘッダ解析部１０６は、入力されるビットストリームよりＶＯＬヘッダ情報の解析を行い、解析を終えたビットストリームをスタートコード解析部１０２へ出力する（ステップＳ６４）。
【０１６１】
この際、ＶＯＬヘッダ解析部１０６は、図１２に示すように、ＶＯＬヘッダ情報中に含まれるオブジェクトイントラ符号化表示信号７’、表示時刻多重化識別情報３４、タイムコード３５とを復号し、復号ＶＯＰ選択部１０６へ出力する。
【０１６２】
ただし、実施の形態２で述べたように、表示時刻多重化識別情報３４は、オブジェクトイントラ符号化表示信号７’がＯＮ、すなわちＶＯＬの単位の中に含まれる全てのＶＯＰをイントラのみで符号化することを示している場合のみ復号され、タイムコード３５は、さらに表示時刻多重化識別情報３４がＯＮを示している場合のみ復号される。以下の説明においては、オブジェクトイントラ符号化表示信号７’、表示時刻多重化識別情報３４ともにＯＮであり、ＶＯＬ内のすべてのＶＯＰのタイムコード３５がＶＯＬヘッダ解析部１０６で復号されるものとする。
【０１６３】
また、ＧＯＶヘッダ解析部６１は、入力されるビットストリームよりＧＯＶヘッダ情報の解析を行い、解析を終えたビットストリームをスタートコード解析部１０２へ出力する（ステップＳ６５）。
この際、ＧＯＶヘッダ解析部６１は、ＧＯＶヘッダ情報中に含まれるＧＯＶタイムコード６３を復号するが、本実施の形態７ではこのＧＯＶタイムコード情報は使用しない。
【０１６４】
そして、復号ＶＯＰ選択部１０７は、本実施の形態７で開示されるＶＯＰの高速かつ簡易なランダムアクセス機構を実現して、復号しようとするＶＯＰを選択する（ステップＳ６６）。本実施の形態７のランダムアクセス機構の特長は、比較部１００において外部設定タイムコード９７と比較するＶＯＰタイムコードを、全く演算を行うことなく得ることができるという点にある。
【０１６５】
図４１に、復号ＶＯＰ選択部１０７によるステップＳ６６の復号ＶＯＰ選択処理によるＶＯＰランダムアクセス機構の詳細処理のフローチャートを示す。
以下、主に、図３９、図４１をもとに、ＶＯＰランダムアクセス処理の動作について説明する。動作状況として、実施の形態５で述べた（１）〜（４）の状況をここでも想定する。
【０１６６】
まず、ＶＯＬヘッダ解析部１０６において復号されたＶＯＬ内のすべてのＶＯＰのタイムコード３５は、復号ＶＯＰ選択部１０７のＶＯＰタイムコード保持部１０８に蓄積され、当該ＶＯＬの復号終了まで保持される（ステップＳ６６−１）。この時、状態（１）では、復号化装置は通常復号動作を行う。
【０１６７】
次に、復号化装置が状態（１）から状態（２）に移行する瞬間を仮定する。
この時、ユーザによる状態（１）から状態（２）へ移行する動作によって、復号ＶＯＰ選択部１０７のＶＯＰタイムコード保持部１０８には、その移行時のＶＯＰカウンタ値８５が示すＶＯＰ画像のタイムコード３５を読出すための読出し指令等（図示せず）が入力したり、生成等される。
【０１６８】
すると、ＶＯＰタイムコード保持部１０８からは、状態（１）から状態（２）へ移行する瞬間にスタートコード解析部１０２から入力したＶＯＰカウンタ値８５が示すＶＯＰ、すなわち（２）により復号を停止するＶＯＰ画像のタイムコード３５がタイムコード７０として読み出され、比較部１００へ出力される（ステップＳ６６−２）。
このような仕組みによって、（２）により復号を停止するＶＯＰのタイムコード７０が、ＶＯＰヘッダの解析も、何らの演算も行わずに、スタートコード解析部１０２からのＶＯＰカウンタ値８５のみに基づいて特定することができる。これによって得られた（２）の停止状態のＶＯＰのタイムコード７０がユーザに提示される。
【０１６９】
次いで、ユーザは（３）の動作を実施するものとする。これにより、外部設定タイムコード９７が比較部１００に与えられ、復号ＶＯＰ選択部１０７によるランダムアクセス機構が作動する。
なお、この例では、上述のように、ＶＯＰタイムコード保持部１０８は、状態（２）へ移行する時に入力したＶＯＰカウンタ値８５が示すＶＯＰ画像のタイムコード３５を、タイムコード７０として比較部１００へ出力するように説明したが、これに限らず、ＶＯＰタイムコード保持部１０８は、スタートコード解析部１０２から常時入力するＶＯＰカウンタ値８５が示すＶＯＰ画像のタイムコード３５を、タイムコード７０として比較部１００へ常時出力するようにしてもよい。ただし、この場合でも、比較部１００は、状態（２）へ移行する瞬間に入力したタイムコード７０と、（３）の動作により与えられる外部設定タイムコード９７とにを用いて、ランダムアクセス機構を行なうように構成されることになる。要は、ＶＯＰタイムコード保持部１０８に保持されたタイムコード３５のうち、状態（２）へ移行する時のタイムコード７０と、外部設定タイムコード９７とを用いたランダムアクセス機構が作動するように構成すれば良いのである。
【０１７０】
具体的には、まず、当該ＶＯＰがユーザが希望する表示対象のＶＯＰか否かを判断する（ステップＳ６６-３）。これは比較部１００で行われる。具体的には、外部設定タイムコード９７と、ＶＯＰタイムコード保持部１０８からの（２）により復号を停止した現在のＶＯＰのＶＯＰタイムコード７０とを比較することにより行なう。
【０１７１】
ここで、外部設定タイムコード９７と、現在のＶＯＰのＶＯＰタイムコード７０とが一致していれば（ステップＳ６６−３“ＹＥＳ”）、「表示対象のＶＯＰ」と判断して、表示対象ＶＯＰのＶＯＰヘッダ解析処理を行なう（ステップＳ６７）。さもなくば（ステップＳ６６−３“ＮＯ”）、外部設定タイムコード９７と、現在のＶＯＰのＶＯＰタイムコード７０との比較により、表示対象ＶＯＰが現在のＶＯＰより時間的に先のＶＯＰか否かを判断して（ステップＳ６６−４）、以下のケース１，２のいずれに相当するかを判定する。
【０１７２】
ケース１：
外部設定タイムコード９７が（２）の状態のＶＯＰタイムコード７０よりも時間的に後を示している場合、例えば、外部設定タイムコード９７が01:00:30、（２）の状態のＶＯＰタイムコード７０が01:00:10であるような場合である（ステップＳ６６−４“ＹＥＳ”）。アクションは、オブジェクトイントラ符号化表示信号７’の値によって切替える（ステップＳ６６−５）。
つまり、オブジェクトイントラ符号化表示信号７’がＯＮの場合は（ステップＳ６６−５“ＮＯ”）、すなわち「ＶＯＬ内のＶＯＰが全てイントラ符号化されている」ことを示す場合は、比較部１００はサーチ指示信号９９を「順方向サーチ」に設定し、ビットストリームとともにスタートコード解析部１０２へ送る（ステップＳ６６−６）。
これにより、スタートコード解析部１０２は、（２）の状態のＶＯＰタイムコード７０よりも先、すなわち時間的に後ののＶＯＰスタートコードをサーチする。
【０１７３】
これに対し、オブジェクトイントラ符号化表示信号７’がＯＦＦの場合（ステップＳ５６−５“ＹＥＳ”）、すなわち「ＶＯＬ内のＶＯＰが予測符号されている」ことを示す場合は、個々のＶＯＰをダイレクトに復号することができない。
このため、この場合は、実施の形態６の場合と同様に、ＶＯＰヘッダ解析部１０４が、次のステップＳ６７の通常のＶＯＰヘッダ解析処理の中で、図３３に示すステップＳ４７−１〜Ｓ４７−３，Ｓ４７−１１と同等の処理を行なって、個々のＶＯＰのモジュロ・タイム・ベースと、ＶＯＰタイムインクリメントとを解析、復号して、復号を停止した現在のＶＯＰのＶＯＰタイムコード６１１を計算して、逐一ＶＯＰ画像を復号していく必要がある。このケースでは、このようにして逐次、次のＶＯＰを復号していく。
【０１７４】
ケース２：
外部設定タイムコード９７が（２）の状態のＶＯＰタイムコード７０よりも時間的に前を示している場合、例えば、外部設定タイムコード９７が01:00:00、（２）の状態のＶＯＰタイムコードが01:00:10であるような場合である（ステップＳ６６−４“ＮＯ”）。アクションは、オブジェクトイントラ符号化表示信号７’の値によって切替える（ステップＳ６６−７）。
つまり、オブジェクトイントラ符号化表示信号７’がＯＮの場合（ステップＳ６６−７“ＮＯ”）、比較部１００はサーチ指示信号９９を「逆方向サーチ」に設定し、ビットストリームとともにスタートコード解析部１０２へ送る（ステップＳ６６−８）。
これにより、スタートコード解析部１０２は、ビットストリームを逆方向に解析し、（２）の状態よりも時間的に前のＶＯＰのスタートコードをサーチすることができる。
【０１７５】
これに対し、オブジェクトイントラ符号化表示信号７’がＯＦＦの場合（ステップＳ６６−７“ＹＥＳ”）、すなわち「ＶＯＬ内のＶＯＰが予測符号化されている」ことを示す場合は、個々のＶＯＰをダイレクトに復号することができない。この場合は、逐一画像データまで復号を実行する必要がある。このケースでは、予測を実施していないＶＯＰ画像、すなわち時間的に前のI-ＶＯＰまでさかのぼって復号し、そこから復号を再開しなければならない。これはサーチ指示信号９９によって時間的に前のI-ＶＯＰまでさかのぼって逆サーチを行うよう指示することで対処する（ステップＳ６６−９）。
【０１７６】
このように、本実施の形態７では、実施の形態６の場合と同様に、ケース１およびケース２の場合において、オブジェクトイントラ符号化表示信号７’がＯＮのときには、サーチ指示信号９９によりＶＯＰのスタートコード検出を進め、ステップＳ５７のＶＯＰヘッダ解析処理は行なわずに、ＶＯＰの画像データは読み飛ばすようにしている。
つまり、本実施の形態７では、ステップＳ６６−１の処理により、ＶＯＬヘッダ解析部１０６において復号されたＶＯＬ内のすべてのＶＯＰのタイムコード３５が、当該ＶＯＬの復号終了までＶＯＰタイムコード保持部１０８に保持されているので、ユーザによる（２）の動作により復号が停止されるたびに、ＶＯＰタイムコード保持部１０８からは、その時のスＶＯＰカウンタ値８５が示すＶＯＰのタイムコード３５がタイムコード７０として読み出されて（ステップＳ６６−２）、ＶＯＰタイムコード７０と、外部設定タイムコード９７との比較による表示対象のＶＯＰか否かの判断が行われ（ステップＳ６６−３）、外部設定タイムコード９７と、サーチした結果のＶＯＰのタイムコード７０が一致するまでこれらの処理が繰り返されることになる。そして、外部設定タイムコード９７と、サーチした結果のＶＯＰタイムコード７０が一致したら、表示対象のＶＯＰのところで復号が停止したことになるので、ランダムアクセスの動作を終了する。
【０１７７】
以上のように、本実施の形態７では、ＶＯＬ内のＶＯＰがすべてイントラ符号化されているかどうかを示すオブジェクトイントラ符号化表示信号７’に基づいて、例えばオブジェクトイントラ符号化表示信号７’がＯＮで、ＶＯＬ内のＶＯＰがすべてイントラ符号化されている場合には、ステップＳ６７のＶＯＰヘッダ解析処理をＶＯＰ毎に順次行わず、順次ＶＯＰの復号を行なわないので、ダイレクトに所望のＶＯＰの画像データをサーチして復号することができる。
【０１７８】
また、本実施の形態７では、各ＶＯＰのタイムコード３５を、ＶＯＬヘッダから直接復号してＶＯＰタイムコード保持部１０８に保持し、スタートコード解析部１０２からのＶＯＰカウンタ値８５に基づいて読み出すように構成したため、各ＶＯＰについてモジュロ・タイム・ベースや、ＶＯＰタイムインクリメントの情報を復号しなくて済むばかりでなく、デコーダでは何らの演算機構も必要としない。これにより、外部設定タイムコード９７と、保持した各ＶＯＰのタイムコード３５との比較のみで復号すべきＶＯＰを特定できるため、実施の形態５，６よりも高速な、非常に高速なランダムアクセスが可能となる。
【０１７９】
例えば、ＭＰＥＧ−４準拠の圧縮規格を採用した家庭用ビデオなどですべてのＶＯＰをイントラで符号化して記憶媒体９５等に記録しておき、これをインターネットやCD-ROM/DVD-ROMなどで供給される他のオブジェクト映像と合成するなどして所望のシーンを編集するようなケースを考えた場合、本実施の形態で述べた構成をとる復号化装置によって編集すれば、ビデオ撮影した映像の所望の時刻の画像へ高速にアクセスすることができ、ストレスなく映像編集を行うことが可能となる。また、映像素材を、ＭＰＥＧ−４準拠の圧縮規格によりすべてのＶＯＰをイントラで符号化してDVD-RAMなどの大容量記録メディアに蓄積しておき、テレビプログラムなどの制作の際に、高速にアクセスしながら所望の編集操作を行うことも可能となる。
【０１８０】
なお、本実施の形態７では、図１２に示す符号化ビットストリーム３９を例として、ＶＯＬヘッダにオブジェクトイントラ符号化表示信号７’、表示時刻多重化識別情報３４、タイムコード３５が含まれるビットストリームを復号する例について述べたが、これに限らず、図１３や、図１４に示す符号化ビットストリーム４０、４１を復号するＶＯＰデコーダにも同様の考え方を適用することができる。
【０１８１】
例えば、図１３の符号化ビットストリーム４０を復号するＶＯＰデコーダでは、ＧＯＶごとにその内部に含まれるＶＯＰのタイムコードを多重化しているので、ＶＯＬヘッダ解析部１０６ではオブジェクトイントラ符号化表示信号７’のみを復号し、ＧＯＶヘッダ解析部６１ではオブジェクトイントラ符号化表示信号７’に基づいて表示時刻多重化識別情報３４、タイムコード３５を復号するように構成すればよい。この場合は、表示時刻多重化識別情報３４がＯＮであるＧＯＶについては、その内部のすべてのＶＯＰについて高速ランダムアクセスが可能である。
【０１８２】
また、図１４の符号化ビットストリーム４０を復号するＶＯＰデコーダでは、ＧＯＶヘッダ解析部６１で、オブジェクトイントラ符号化表示信号７’、表示時刻多重化識別情報３４、タイムコード３５を復号するように構成し、ＧＯＶごとに独立にランダムアクセスの機能性を規定することができる。
【０１８３】
以上説明した実施の形態１〜７では、被符号（復号）化画像をオブジェクト単位のＶＯＰとして規定してオブジェクト単位に画像を符号化するＭＰＥＧ−４対応の画像符号化装置または画像復号化装置を例に説明したが、本発明では、これに限らず、オブジェクトやＶＯＰ等の概念のないＭＰＥＧ−１やＭＰＥＧ−２等の画像符号化装置、画像符号化方法、画像復号化装置および画像復号化方法にも適用できる。この場合、動画像シーケンスを構成する各時刻の画像である被符号化画像や、テレビ信号等における画像フレーム等が、以上説明した実施の形態１〜５におけるＶＯＰに該当することになり、ＶＯＰを被符号化画像や画像フレーム等に置き換えることにより実施の形態１〜７と同様に考えることができる。
例えば、ＭＰＥＧ−１やＭＰＥＧ−２などではユーザが自由にデータの定義を行うことができるユーザデータ領域や、将来の機能拡張のためのビットフィールドが設けられており、これらのデータ領域において本発明に示したようなシンタックスを取り決めておけば、ランダムアクセスや駒落し制御などの機能性を向上することが可能となる。
また、以上説明した実施の形態１〜７では、オブジェクトイントラ符号化表示信号７’は、ＭＰＥＧ４で規定されているＶＯＬまたはＧＯＶ単位の動画像シーケンス中に含まれる全てのＶＯＰがイントラのみで符号化されるか否かを示す情報として説明したが、本発明では、これらＶＯＬ、ＧＯＶ単位の動画像シーケンスに限らないものである。つまり、これら以外のＶＯＰの集まりの単位が動画像シーケンスとして存在していたり、動画像シーケンスとして定義できるのであれば、オブジェクトイントラ符号化表示信号７’は、そのようなＶＯＬ、ＧＯＶ単位以外を単位とする動画像シーケンスに含まれる全てのＶＯＰがイントラのみで符号化されるか否かを示す情報となる。これは、ＶＯＰを被符号化画像や、画像フレーム等に置き換えた場合も同様である。
【０１８４】
【発明の効果】
以上説明したように、本発明に係る画像復号化装置および画像復号化方法では、符号化ビットストリームからＶＯＬの動画像シーケンスを構成するＶＯＰすべてがイントラ符号化されているか否かを示すイントラ符号化表示情報を解析すると共に、そのイントラ符号化表示情報に基づいて、当該ＶＯＬ中の任意のＶＯＰにランダムアクセス可能であると察知するようにしたため、復号側において、動画像シーケンスを構成する個々のＶＯＰのヘッダやオーバヘッドを復号することなく動画像シーケンス内に含まれるＶＯＰにランダムアクセス可能であると判断することができる。その結果、復号側で簡単に表示速度や、復号速度を変化させて復号を行ったり、所望の時刻のＶＯＰへ簡単にランダムアクセスすることが可能になる。
【図面の簡単な説明】
【図１】 実施の形態１におけるＶＯＰエンコーダの構成例を示す図である。
【図２】 図１のＶＯＰエンコーダの動作を示すフローチャートである。
【図３】 INTRA/INTER判定部１４の動作を説明するフローチャートである。
【図４】 図１に示すヘッダ多重化部８の構成例を示す図である。
【図５】 実施の形態１のＶＯＰエンコーダから出力される符号化ビットストリーム３０の例を示す図である。
【図６】 実施の形態１のＶＯＰエンコーダから出力される符号化ビットストリーム３１の例を示す図である。
【図７】 図６に示す符号化ビットストリーム２００を生成する場合における実施の形態１のヘッダ多重化部８の構成例を示す図である。
【図８】 実施の形態２におけるＶＯＰエンコーダの構成例を示す図である。
【図９】 図８におけるヘッダ多重化部８の構成例を示す図である。
【図１０】 実施の形態２のＶＯＰエンコーダから出力される符号化ビットストリーム３７の例を示す図である。
【図１１】 実施の形態２のＶＯＰエンコーダから出力される符号化ビットストリーム３８の例を示す図である。
【図１２】 実施の形態２のＶＯＰエンコーダから出力される符号化ビットストリーム３９の例を示す図である。
【図１３】 実施の形態２のＶＯＰエンコーダから出力される符号化ビットストリーム４０の例を示す図である。
【図１４】 実施の形態２のＶＯＰエンコーダから出力される符号化ビットストリーム４１の例を示す図である。
【図１５】 実施の形態３におけるＶＯＰデコーダの内部構成例を示した図である。
【図１６】 図１５に示す画像復号化装置の動作を説明するフローチャートである。
【図１７】 図１５のINTRA/INTER判定部５４の動作を示すフローチャートである。
【図１８】 図１５に示す実施の形態３のヘッダ解析部４２の内部構成を詳細にして示した図である。
【図１９】 図１８に示す駒落し制御部６９の内部構成を示した図である。
【図２０】 図１８に示すヘッダ解析部４２の動作を説明するフローチャートである。
【図２１】 ＶＯＰヘッダ解析部６２の動作を説明するフローチャートである。
【図２２】 モジュロ・タイム・ベース６５およびＶＯＰタイムインクリメント６８を説明するための図である。
【図２３】 実施の形態３のヘッダ解析部４２の内部構成の他の例を示した図である。
【図２４】 実施の形態３の画像復号化装置を複数のオブジェクトの復号画像信号を合成して１つの画像を再生するシステムに適用する例を示す図である。
【図２５】 ＶＯＰレート情報をＶＯＬヘッダに含む符号化ビットストリームを示す図である。
【図２６】 実施の形態４におけるヘッダ解析部４２の内部構成を示す図である。
【図２７】 図２６に示す実施の形態４の駒落しＶＯＰ制御部８６の構成を示した図である。
【図２８】 実施の形態４のヘッダ解析部４２の動作を説明するフローチャートである。
【図２９】 実施の形態４におけるヘッダ解析部４２の他の構成例を示す図である。
【図３０】 実施の形態５のヘッダ解析部４２の内部構成を示す図である。
【図３１】 実施の形態５の駒落し制御部９８の内部構成を示す図である。
【図３２】 実施の形態５のヘッダ解析部４２の動作を示すフローチャートである。
【図３３】 実施の形態５の駒落し制御部９８の動作を示すフローチャートである。
【図３４】 実施の形態６におけるヘッダ解析部４２の内部構成を示す図である。
【図３５】 図３４に示す復号ＶＯＰ選択部１０３の内部構成を示す図である。
【図３６】 実施の形態６のヘッダ解析部４２の動作を示すフローチャートである。
【図３７】 実施の形態６の復号ＶＯＰ選択部１０３によるステップＳ５６のＶＯＰランダムアクセス機構の詳細処理を示すフローチャートである。
【図３８】 実施の形態７におけるヘッダ解析部４２の内部構成を示す図である。
【図３９】 図３８に示す復号ＶＯＰ選択部１０７の内部構成を示す図である。
【図４０】 実施の形態７のヘッダ解析部４２の動作を示すフローチャートである。
【図４１】 実施の形態７の復号ＶＯＰ選択部１０７によるステップＳ６６のＶＯＰランダムアクセス機構の詳細処理を示すフローチャートである。
【図４２】 ＭＰＥＧ−４におけるビデオデータ構造を示す図である。
【図４３】 ＶＯＰの具体例を示す図である。
【図４４】 従来の符号化ビットストリームの例を示す図である。
【符号の説明】
１ 形状符号化部、２ 形状符号化データ、３ 局所復号形状データ、４ 動き補償予測部、５ 動き情報、６ ＧＯＶ多重化情報、７ オブジェクトイントラ符号化指示信号、７’ オブジェクトイントラ符号化表示信号、８ ヘッダ多重化部、９ ヘッダ情報多重化後のビットストリーム、１０ ビデオ信号多重化部、１１ 予測画像、１２ 減算器、１３ 予測誤差画像、１４ INTRA/INTER判定部、１５ 被符号化テクスチャデータ、１６ マクロブロック単位の符号化モード情報、１７ テクスチャ符号化部、１８ テクスチャ符号化データ、１９局所復号予測誤差画像、２０ 加算器、２１ 局所復号テクスチャデータ、２２ メモリ、２３ 参照テクスチャデータ、２４ 符号化ビットストリーム、２５ ＶＯヘッダ多重化部、２６ ＶＯＬヘッダ多重化部、２７ ＧＯＶヘッダ多重化選択部、２８ ＧＯＶヘッダ多重化部、２９ ＶＯＰヘッダ多重化部、３０符号化ビットストリーム、３１ 符号化ビットストリーム、３２ ＶＯＬヘッダ多重化部、３３ ＧＯＶヘッダ多重化部、３４ 表示時刻多重化識別情報、３５ タイムコード、３６ ＶＯＬヘッダ多重化部、３７ 符号化ビットストリーム、３８ 符号化ビットストリーム、３９ 符号化ビットストリーム、４０ 符号化ビットストリーム、４１ 符号化ビットストリーム、４２ ヘッダ解析部、４３ ヘッダ情報が解析されたビットストリーム、４４ ビデオ信号解析部、４５ 形状符号化データ、４６ 形状復号部、４７ 復号形状データ、４８ テクスチャ符号化データ、４９ テクスチャ復号部、５０ 復号テクスチャデータ、５１ 動き情報、５２ 動き補償部、５３ 復号予測テクスチャデータ、５４ INTRA/INTER判定部、５５ 出力テクスチャデータ、５６ メモリ、５７ 参照テクスチャデータ、５８ スタートコード解析部、５９ ＶＯヘッダ解析部、６０ ＶＯＬヘッダ解析部、６１ ＧＯＶヘッダ解析部、６２ ＶＯＰヘッダ解析部、６３ タイムコード、６４ モジュロ・タイム・ベース解析部、６５ モジュロ・タイム・ベース、６６ 復号ＶＯＰ絶対時刻作成部、６７ ＶＯＰタイムインクリメント解析部、６８ ＶＯＰタイムインクリメント、６９ 駒落し制御部、７０ 復号ＶＯＰ絶対表示時刻、７１ デコーダ側で設定されるＶＯＰレート情報、７２ 映像情報ヘッダ解析部、７３ オブジェクトイントラ符号化判定部、７４ 駒落しＶＯＰ判定部、７５ ＶＯＬヘッダ解析部、７６ ＧＯＶヘッダ解析部、７７ オブジェクト符号化ビットストリーム、７８ ＶＯＰデコーダ、７９ コンポジション部、８０ 再生画像、８３ スタートコード解析部、８４ ＶＯＬヘッダ解析部、８５ カウント数、８６ 駒落しＶＯＰ制御部、８７エンコーダで設定したＶＯＰレート情報、８８ デコードＶＯＰ選択部、８９ＶＯＰ選択情報、９０ ＶＯＰヘッダ解析部、９１ 駒落しＶＯＰ判定部、９２ ＧＯＶヘッダ解析部、９３ ＧＯＶ単位のＶＯＰレート情報、９４ スタートコード解析部、９５ 記憶媒体、９６ ＶＯＰヘッダ解析部、９７ 外部設定タイムコード、９８ 駒落し制御部、９９ サーチ指示信号、１００ 比較部、１０１ 記憶媒体、１０２ スタートコード解析部、１０３ 復号ＶＯＰ選択部、１０４ ＶＯＰヘッダ解析部、１０５ ＶＯＰタイムコード算出部、１０６ ＶＯＬヘッダ解析部、１０７ 復号ＶＯＰ選択部、１０８ ＶＯＰタイムコード保持部。

Claims (4)

1. 複数のＶＯＰから構成されるＶＯＬの動画像シーケンスのヘッダ情報に、当該ＶＯＬの動画像シーケンスを構成するＶＯＰ全てがイントラ符号化されたか否かを示すイントラ符号化表示情報を意味する符号語を含む符号化ビットストリームを入力とし、前記ＶＯＬの動画像シーケンスのヘッダ情報を解析するヘッダ情報解析手段を備え、該ヘッダ情報解析手段から出力される前記イントラ符号化表示情報が、当該ＶＯＬ中の全てのＶＯＰがイントラ符号化されていることを示す場合に、当該ＶＯＬ中の任意のＶＯＰにランダムアクセス可能であると察知することを特徴とする画像復号化装置。
2. 複数のＶＯＰから構成されるＶＯＬの動画像シーケンスのヘッダ情報に、当該ＶＯＬの動画像シーケンスを構成するＶＯＰ全てがイントラ符号化されたか否かを示すイントラ符号化表示情報を意味する符号語、および当該ＶＯＬの動画像シーケンスを構成するＶＯＰの単位時間当たりの表示枚数を示すＶＯＰレート情報を意味する符号語を含む符号化ビットストリームを入力とし、前記ＶＯＬの動画像シーケンスのヘッダ情報を解析するヘッダ情報解析手段を備え、該ヘッダ情報解析手段から出力される前記イントラ符号化表示情報が、当該ＶＯＬ中の全てのＶＯＰがイントラ符号化されていることを示す場合に、当該ＶＯＬ中の任意のＶＯＰにランダムアクセス可能であると察知するとともに、前記ヘッダ情報解析手段は当該ＶＯＬ中のランダムアクセス可能なＶＯＰの時刻の特定を可能とする前記ＶＯＰレート情報を出力することを特徴とする画像復号化装置。
3. 複数のＶＯＰから構成されるＶＯＬの動画像シーケンスのヘッダ情報に、当該ＶＯＬの動画像シーケンスを構成するＶＯＰ全てがイントラ符号化されたか否かを示すイントラ符号化表示情報を意味する符号語を含む符号化ビットストリームを入力し、前記ＶＯＬの動画像シーケンスのヘッダ情報を解析し、該ヘッダ情報の解析の結果得られた前記イントラ符号化表示情報が、当該ＶＯＬ中の全てのＶＯＰがイントラ符号化されていることを示す場合に、当該ＶＯＬ中の任意のＶＯＰにランダムアクセス可能であると察知することを特徴とする画像復号化方法。
4. 複数のＶＯＰから構成されるＶＯＬの動画像シーケンスのヘッダ情報に、当該ＶＯＬの動画像シーケンスを構成するＶＯＰ全てがイントラ符号化されたか否かを示すイントラ符号化表示情報を意味する符号語、および当該ＶＯＬの動画像シーケンスを構成するＶＯＰの単位時間当たりの表示枚数を示すＶＯＰレート情報を意味する符号語を含む符号化ビットストリームを入力し、前記ＶＯＬの動画像シーケンスのヘッダ情報を解析し、該ヘッダ情報の解析の結果得られた前記イントラ符号化表示情報が、当該ＶＯＬ中の全てのＶＯＰがイントラ符号化されていることを示す場合に、当該ＶＯＬ中の任意のＶＯＰにランダムアクセス可能であると察知するとともに、当該ＶＯＬ中のランダムアクセス可能なＶＯＰの時刻の特定を可能とする前記ＶＯＰレート情報を得ることを特徴とする画像復号化方法。

Images