JP4350760B2 - 画像復号化装置 - Google Patents

Description

この発明は異なる符号化方式の符号化ビットストリームを扱う画像復号化装置に関するものである。

現在、ＩＳＯ／ＩＥＣ ＪＴＣ１１／ＳＣ２９／ＷＧ１１にて標準化作業中のＭＰＥＧ−４（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ Ｐｈａｓｅ−４）方式と、ＩＴＵ−Ｔ勧告Ｈ．２６３の規格に基づく方式とでは、伝送信号である符号化ビットストリームに付加されるヘッダ情報（復号のための情報信号）が相違している。

図１（ａ）はＨ．２６３の規格に基づくＨ．２６３符号化ビットストリーム２０１の構造を示す図であり、ヘッダ情報２１１とＨ．２６３符号化方式で符号化された画像符号化データであるマクロブロックデータ２２５が多重化されている。図１（ｂ）はＭＰＥＧ−４符号化ビットストリーム２０２の構造を示す図であり、ヘッダ情報２１２とＭＰＥＧ−４符号化方式で符号化された画像符号化データであるマクロブロックデータ２３９が多重化されている。図に示すとおり、符号化ビットストリームの構造は相違しており、特にＨ．２６３では、ＭＰＥＧ−４の復号に必要なＶＯ（Ｖｉｄｅｏ Ｏｂｊｅｃｔ）、ＶＯＬ（Ｖｉｄｅｏ Ｏｂｊｅｃｔ Ｌａｙｅｒ）、ＶＯＰ（Ｖｉｄｅｏ Ｏｂｊｅｃｔ Ｐｌａｎｅ）等に関するヘッダ情報が含まれていない。そのため両方式による画像の通信を行うためには、それぞれ別個の画像復号化装置及び画像符号化装置が必要である。

なおＨ．２６３符号化ビットストリーム２０１のＧＯＢスタートコード２２３、ＧＯＢヘッダ情報２２４及びＭＰＥＧ−４符号化ビットストリーム２０２の再同期指示コード２３７、再同期情報２３８は常に挿入されているものではなく、必要に応じて挿入される。

このように従来の符号化ビットストリームは以上のように構成されているので、例えばＭＰＥＧ−４対応の画像復号化装置では、Ｈ．２６３の規格に基づいて生成されたＨ．２６３符号化ビットストリーム２０１を復号することができないという課題があった。
またＭＰＥＧ−４対応とＨ．２６３の規格に基づく両方の符号化ビットストリームを復号するためには、画像復号化装置は両方式の復号回路を備える必要があり、装置が複雑になるという課題があった。

この発明は上記のような課題を解決するためになされたもので、簡単な構成により、Ｈ．２６３符号化ビットストリーム２０１を復号可能な画像復号化装置を得ることを目的とする。

この発明に係る画像復号化装置は、少なくともＨ．２６３符号化方式のヘッダ情報とＨ．２６３符号化方式で符号化された画像符号化データとが多重化された第１の符号化ビットストリーム、又はＭＰＥＧ−４符号化方式のヘッダ情報とＭＰＥＧ−４符号化方式で符号化された画像符号化データとが多重化された第２の符号化ビットストリームを復号するものにおいて、第１の符号化ビットストリームのヘッダ情報、または第２の符号化ビットストリームのヘッダ情報に基づき、受信した符号化ビットストリームが、第１の符号化ビットストリームまたは第２の符号化ビットストリームであるかを判定する符号化方式判定手段と、第１の符号化ビットストリームを受信した場合と第２の符号化ビットストリームを受信した場合とで、イントラＤＣＴ係数の交流成分の予測処理があるか否かを示すＡＣ予測指示情報の復号解析を伴わない復号処理か、ＡＣ予測指示情報の復号解析を伴う復号処理か、を切り替える切替手段を備え、第１の符号化ビットストリームを受信した場合には、切替手段によって切り替えられたＡＣ予測指示情報の復号解析を伴わない復号処理に基づき、マクロブロック符号化データ復号解析の過程でＡＣ予測指示情報の復号解析を行わずＡＣ予測処理を行わないで交流成分を復号し、第２の符号化ビットストリームを受信した場合には、切替手段によって切り替えられたＡＣ予測指示情報の復号解析を伴う復号処理に基づき、ＡＣ予測指示情報の復号解析を行い、その復号値に基づいてＡＣ予測の有無を定め、定められたＡＣ予測の有無に従い交流成分を復号するものである。

この発明によれば、符号化方式の異なるＨ．２６３とＭＰＥＧ−４の符号化ビットストリームでも、符号化方式を容易に識別し復号できるという効果を奏する。

以下、この発明をより詳細に説明するために、この発明を実施するための最良の形態について、添付の図面に従って説明する。
実施の形態１．
図２は実施の形態１における画像復号化装置が受信する符号化ビットストリームの構造を示す図であり、図２（ａ）はＭＰＥＧ−４互換Ｈ．２６３符号化ビットストリーム２０３、また図２（ｂ）はＭＰＥＧ−４符号化ビットストリーム２０４である。図２（ａ）のＭＰＥＧ−４互換Ｈ．２６３符号化ビットストリーム２０３は、従来の図１（ａ）で示したＨ．２６３符号化ビットストリーム２０１に、ＶＯスタートコード２３１、ＶＯ識別番号２３２、ＶＯＬスタートコード２３３及びＨ．２６３互換識別情報２２６が追加されている。また図２（ｂ）のＭＰＥＧ−４符号化ビットストリーム２０４は、従来の図１（ｂ）に示したＭＰＥＧ−４符号化ビットストリーム２０２に、Ｈ．２６３互換識別情報２２６が追加されている。なおＭＰＥＧ−４互換Ｈ．２６３符号化ビットストリーム２０３とＭＰＥＧ−４符号化ビットストリーム２０４に追加されているＨ．２６３互換識別情報２２６は、両方が区別できる情報とし、例えば一方のＨ．２６３互換識別情報を”０”のビットとすると、他方を”１”のビットとする。

図３は実施の形態１におけるＶＯ（Ｖｉｄｅｏ Ｏｂｊｅｃｔ）を復号する画像復号化装置の構成を示すブロック図である。図において、１は受信した符号化ビットストリーム、２はシンタックス解析・可変長復号部であり、符号化ビットストリーム１から、シンタックス（多重化したビデオ信号）を解析すると共に、形状符号化データ３、テクスチャ符号化データ６、テクスチャ動きデータ７を出力する。４は形状符号化データ３を復号し復号形状データ５を求める形状復号部、８はテクスチャ動きデータ７に基づき動き補償を行い予測テクスチャデータ９を求める動き補償部、１０はテクスチャ符号化データ６と予測テクスチャデータ９に基づき復号を行い復号テクスチャデータ１１を求めるテクスチャ復号部である。

次に動作について説明する。
ここでは、本発明の主眼たる図２（ａ）のＭＰＥＧ−４互換Ｈ．２６３符号化ビットストリーム２０３の復号動作について主として説明する。従って各ＶＯＰの形状が矩形の場合、すなわちビットストリーム中に形状符号化データが含まれない場合で、テクスチャデータや動きに関する情報が、マクロブロック毎に符号化されている場合について説明する。
なお図２（ｂ）のＭＰＥＧ−４符号化ビットストリーム２０４の復号動作については、基本的には従来と同じである。

まずシンタックス解析・可変長復号部２は、入力した符号化ビットストリーム１を、２値のビットストリームから意味を持つデータに分離する。そしてこのシンタックス解析・可変長復号部２が、ＭＰＥＧ−４互換Ｈ．２６３符号化ビットストリーム２０３の復号を可能にしている。動き補償部８は、シンタックス解析・可変長復号部２より出力されたテクスチャ動きデータ７に基づき動き補償を行い、予測テクスチャデータ９を出力する。テクスチャ復号部１０は、シンタックス解析・可変長復号部２より出力されたテクスチャ符号化データ６と動き補償部８より出力された予測テクスチャデータ９を入力し、復号テクスチャデータ１１を得る。

次にシンタックス解析・可変長復号部２の動作について説明する。
図４はシンタックス解析・可変長復号部２の構成を示すブロック図である。図において、２１は符号化ビットストリーム１に付加されたヘッダ情報を抽出し以降の復号の制御に必要な各種のヘッダ情報を設定するヘッダ情報解析部、２２は符号化ビットストリーム１からテクスチャ符号化データ６及びテクスチャ動きデータ７を求めるマクロブロックレイヤシンタックス解析部である。

図５はヘッダ情報解析部２１の構成を示すブロック図である。図において、３０は符号化ビットストリーム１におけるＶＯスタートコード２３１を検出するＶＯスタートコード検出部、３１は符号化ビットストリーム１からＶＯＬスタートコード２３３を検出するＶＯＬスタートコード検出部、３２は符号化方式判定部であり、符号化ビットストリーム１がＭＰＥＧ−４互換Ｈ．２６３符号化ビットストリーム２０３であるかＭＰＥＧ−４符号化ビットストリーム２０４かを判定し、Ｈ．２６３互換識別情報３３を出力する。３４は判定された符号化方式により切り替えられる切替部、３５はＭＰＥＧ−４互換Ｈ．２６３符号化ビットストリーム２０３の場合、Ｈ２６３方式に特有な画像符号化情報であるピクチャヘッダ情報２２２を復号し、ＭＰＥＧ−４方式に特有な画像符号化情報であるＶＯＬヘッダ情報２３４とＶＯＰヘッダ情報２３６を設定するＨ．２６３ピクチャヘッダ情報解析部、３６はＭＰＥＧ−４互換Ｈ．２６３符号化ビットストリーム２０３の場合、Ｈ．２６３ＧＯＢ（Ｇｒｏｕｐ ｏｆ Ｂｌｏｃｋ）ヘッダ情報２２４を復号し、復号されたＧＯＢヘッダ情報２２４に基づいて、Ｈ．２６３ピクチャヘッダ解析部３５により設定されたＶＯＰヘッダ情報２３６の変更を行うＨ．２６３ＧＯＢヘッダ情報解析部、３７はＭＰＥＧ−４符号化ビットストリーム２０４の場合、ＶＯＬヘッダ情報２３４を復号するＶＯＬヘッダ情報復号部、３８はＭＰＥＧ−４符号化ビットストリーム２０４の場合、ＶＯＰヘッダ情報２３６を復号するＶＯＰヘッダ情報解析部である。

次にヘッダ情報解析部２１の動作について説明する。
ＶＯスタートコード検出部３０が図２に示したＭＰＥＧ−４互換Ｈ．２６３符号化ビットストリーム２０３又はＭＰＥＧ−４符号化ビットストリーム２０４におけるＶＯスタートコード２３１を検出すると以下の復号動作を開始する。ＶＯＬスタートコード検出部３１は、符号化ビットストリーム１からＶＯＬスタートコード２３３を検出する。そして符号化方式判定部３２は、符号化ビットストリーム１からＨ．２６３互換識別情報２２６を復号し、Ｈ．２６３互換識別情報２２６により符号化ビットストリーム１がＭＰＥＧ−４互換Ｈ．２６３符号化ビットストリーム２０３であるか、ＭＰＥＧ−４符号化ビットストリーム２０４であるかを判定し、Ｈ．２６３互換識別情報３３を出力する。
符号化ビットストリーム１がＭＰＥＧ−４互換Ｈ．２６３符号化ビットストリーム２０３である場合には、切替部３４により符号化ビットストリーム１がＨ．２６３ピクチャヘッダ情報解析部３５に入力される。

図６はＨ．２６３ピクチャヘッダ情報解析部３５の構成を示すブロック図である。Ｈ．２６３ピクチャスタートコード検出部４１が、符号化ビットストリーム１からピクチャスタートコード２２１を検出すると、次にＨ．２６３ピクチャヘッダ情報復号部４２は、符号化ビットストリーム１からピクチャヘッダ情報２２２を復号する。そしてＭＰＥＧ−４ヘッダ情報設定部４３は、復号されたピクチャヘッダ情報２２２に基づきＶＯＬヘッダ情報２３４とＶＯＰヘッダ情報２３６を設定する。

図７はＨ．２６３ピクチャヘッダ情報復号部４２の構成を示すブロック図である。ｔｅｍｐｏｒａｌ ｒｅｆｅｒｅｎｃｅ（ＴＲ）復号部５１は、Ｈ．２６３ピクチャスタートコード検出部４１からのビットストリーム１を入力し、伝送されたピクチャ間でスキップあるいは参照されなかったピクチャ数（ＴＲ）を復号する。この情報は表示の際に必要に応じて用いられる。

次に、ピクチャタイプ（ＰＴＹＰＥ）復号部５２は、ピクチャタイプ（ＰＴＹＰＥ）の復号を行う。ピクチャタイプには、ピクチャフォーマット３０１、ピクチャ符号化タイプ３０２、オプショナルモード指示フラグ３０３等の情報が含まれている。復号されたピクチャフォーマット３０１、ピクチャ符号化タイプ３０２は、図６のＭＰＥＧ−４ヘッダ情報設定部４３に出力される。

またピクチャタイプ（ＰＴＹＰＥ）復号部５２は、オプショナルモード指示フラグ３０３がＯＮであるか否かを判定する。Ｈ．２６３では、オプショナルなモードがいくつか用意されているが、この実施の形態で述べる画像復号化装置においては、これらのオプショナルなモードが含まれるビットストリームについては互換性を認めないものとし、これらのオプショナルなモードがＯＮ（有効）になっている符号化ビットストリームは、切替部５３により復号動作終了部５４に入力される。そして復号動作終了部５４はその符号化ビットストリームに対する復号動作を終了させる。ピクチャタイプには、その他表示等について規定した情報が含まれているが、それらについては必要に応じて用いることも可能である。

一方、オプショナルなモードがＯＦＦ（無効）になっているビットストリームは、切替部５３によりピクチャ量子化ステップサイズ（ＰＱＵＡＮＴ）復号部５５に入力される。ピクチャ量子化ステップサイズ（ＰＱＵＡＮＴ）復号部５５は、ピクチャ量子化ステップサイズ（ＰＱＵＡＮＴ）３０４の復号を行う。復号されたピクチャ量子化ステップサイズ３０４は、図６のＭＰＥＧ−４ヘッダ情報設定部４３に出力される。ピクチャ量子化ステップサイズ３０４以降のピクチャヘッダ情報は、以降の復号で必要がないため読み飛ばされる。

次に図６のＭＰＥＧ−４ヘッダ情報設定部４３の動作について説明する。
ＭＰＥＧ−４ヘッダ情報設定部４３は、復号されたピクチャヘッダ情報２２２に基づき、ＶＯＬヘッダ情報２３４として、ＶＯＬの形状情報とオブジェクトサイズを設定する。またＭＰＥＧ−４互換Ｈ．２６３符号化ビットストリームの場合には、各ビットストリームはフレームに対応するので、ＭＰＥＧ−４ヘッダ情報設定部４３は、形状情報が矩形である旨設定する。さらにオブジェクトサイズはフレームサイズに対応するので、ＭＰＥＧ−４ヘッダ情報設定部４３は、ピクチャヘッダ情報２２２の一つであるピクチャフォーマット３０１よりフレームサイズを求め、オブジェクトサイズに設定する。また１画素あたりの階調が８ビットであるか否かの設定を行う。Ｈ．２６３では１画素あたりの階調が８ビット以外を想定していないため、１画素あたりの階調を８ビットに設定する。

次にＭＰＥＧ−４ヘッダ情報設定部４３は、ＭＰＥＧ−４ベースの符号化条件である、スプライト符号化、エラー耐性符号化、イントラＡＣ／ＤＣ予測、スケーラビリティ符号化を無効に設定する。なおＭＰＥＧ−４では、量子化手法をＨ．２６３，ＭＰＥＧ−１／２の２種類の手法から選択できるため、ＭＰＥＧ−４互換Ｈ．２６３符号化ビットストリーム２０３の場合には量子化手法をＨ．２６３に設定しておく。

さらにＭＰＥＧ−４ヘッダ情報設定部４３は、ＶＯＰヘッダ情報２３６を設定する。ＶＯＰヘッダ情報２３６としては、ＶＯＰの予測タイプ情報、量子化ステップサイズを設定する。ＶＯＰの予測タイプには、ＶＯＰ内のデータのみで符号化されるイントラの場合と、前後のＶＯＰのデータを用いて符号化されるインターの場合がある。ＶＯＰの予測タイプ情報は、ピクチャヘッダ情報２２２の一つであるピクチャ符号化タイプ３０２に基づき設定する。またＶＯＰの量子化ステップサイズも、同様にピクチャヘッダ情報２２２であるピクチャ量子化ステップサイズ３０４より設定する。

さらにＭＰＥＧ−４では、動きベクトルの探索範囲を７種類の中から選択可能であるため、動きベクトルの探索範囲を指定するコードが用意されている。これに対し、Ｈ．２６３ではこの中の１種類の探索範囲のみに対応しているため、ＭＰＥＧ−４ヘッダ情報設定部４３は、動きベクトル探索範囲指定コードをＨ．２６３で用いられている動きベクトルの探索範囲に対応するコードに設定しておく必要がある。またＭＰＥＧ−４ではインタレース画像対応になっているが、Ｈ．２６３ではインタレース対応になっていないので、インタレースモード指示情報は常に無効に設定する。

図５におけるＨ．２６３ピクチャヘッダ情報解析部３５によるピクチャヘッダ情報の解析が終了すると、符号化ビットストリーム中にＧＯＢスタートコード２２３とＧＯＢヘッダ情報２２４が挿入されている場合、次にＨ．２６３ＧＯＢヘッダ情報解析部３６によるＧＯＢヘッダ情報２２４の解析が行われる。符号化ビットストリーム中にＧＯＢスタートコード２２３とＧＯＢヘッダ情報２２４が挿入されていない場合、Ｈ．２６３ＧＯＢヘッダ情報解析部３６は動作しない。

図８は図５におけるＨ．２６３ＧＯＢヘッダ情報解析部３６の構成を示すブロック図である。ＧＯＢスタートコード検出部６１が、符号化ビットストリーム１に付加されているＧＯＢスタートコード２２３を検出すると、ＧＯＢヘッダ情報復号部６２はＧＯＢヘッダ情報２２４を復号する。

図９はＧＯＢを説明する図である。図に示すように、ＧＯＢは画像をいくつかのマクロブロックの列に分けたもので、ＧＯＢヘッダ情報２２４には、復号側で再同期を取るのに必要な情報が含まれる。符号化ビットストリームのあるビットで誤りが起こった場合、可変長符号化及び予測符号化が行われているときには、以降のマクロブロックデータを正しく復号することができず誤りが伝播する。ＧＯＢヘッダ情報が検出されると、ＧＯＢの先頭のマクロブロックを復号する前に、符号化ビットストリームの再同期が取られ、以降のマクロブロックを復号するのに必要な情報が再設定されるため、エラーの伝播を防ぐことができる。各マクロブロックの量子化ステップサイズや動きベクトルは、すでに符号化されたマクロブロックの量子化ステップサイズや動きベクトルとの差分を符号化する予測符号化が行われているため、再同期が取られた場合には、これらの情報を再設定する必要がある。

図１０はＧＯＢヘッダ情報復号部６２の構成を示すブロック図である。ＧＯＢ番号復号部７１は、符号化ビットストリーム１からＧＯＢ番号（ＧＮ）を復号する。そしてＧＯＢフレーム識別番号復号部７２は、ＧＯＢが属しているピクチャの識別番号（ＧＦＩＤ）を復号する。さらにＧＯＢ量子化ステップサイズ復号部７３は、ＧＯＢ量子化ステップサイズ（ＧＱＵＡＮＴ）３０５を復号し、図８におけるＭＰＥＧ−４ヘッダ情報変更部６３に出力する。

ＭＰＥＧ−４ヘッダ情報変更部６３は、復号されたＧＯＢヘッダ情報２２４に基づいて、ＭＰＥＧ−４ヘッダ情報設定部４３により設定されたＶＯＰヘッダ情報２３６の変更を行う。ＧＯＢヘッダ情報２２４により変更される情報は量子化ステップサイズで、ＧＯＢの量子化ステップサイズをＶＯＰの量子化ステップサイズに設定する。以上の設定された各情報は、図４のマクロブロックレイヤシンタックス解析部２２に出力される。

図５における符号化方式判定部３２は、Ｈ．２６３互換識別情報２２６がＭＰＥＧ−４を示す場合には、符号化ビットストリーム１がＭＰＥＧ−４符号化ビットストリーム２０４であると判定し、Ｈ．２６３互換識別情報３３を出力する。そしてＭＰＥＧ−４符号化ビットストリーム２０４は、切替部３４によりＶＯＬヘッダ情報復号部３７に入力される。ＶＯＬヘッダ情報復号部３７は符号化ビットストリームからＶＯＬヘッダ情報２３４を復号し、ＶＯＰヘッダ情報解析部３８はＶＯＰヘッダ情報２３６を復号し、図４のマクロブロックレイヤシンタックス解析部２２に出力する。

以上の情報が設定されると、マクロブロックレイヤシンタックス解析部２２は、ＭＰＥＧ−４のシンタックスに基づく解析で、マクロブロックデータ２２５、２３９を復号する。ただし、ブロックデータの符号化方法がＭＰＥＧ−４とＨ．２６３では若干異なるため、復号側でも動作を切り替える必要がある。

図１１は実施の形態１におけるＭＰＥＧ−４互換Ｈ．２６３ビットストリーム２０３におけるマクロブロックデータ２２５のレイヤ構造を示す図である。マクロブロックは、４つの輝度ブロックと２つの色差ブロックから構成される。図に示すように、マクロブロックごとに、マクロブロックスキップ判定情報２５１、マクロブロックタイプ・有効色差ブロック識別情報２５２、有効ブロック識別情報２５３、差分量子化ステップサイズ２５４及び動きデータ２５５の各属性情報が多重化されている。

ここでマクロブロックスキップ判定情報２５１は、インターＶＯＰにおいて、動きベクトルが零でかつマクロブロック内の全ての係数データ（入力画像信号（イントラの場合には原信号、インタの場合には参照ＶＯＰとの差分信号）をＤＣＴ後、量子化したデータ）が零かどうかを示す情報であり、動きベクトルが零で係数データが全て零の場合には、そのマクロブロックに関する以降の情報はビットストリーム中に含まれない。従って次のマクロブロックにスキップされる。

またマクロブロックタイプ・有効色差ブロック識別情報２５２のマクロブロックタイプは、マクロブロックデータを符号化する際に、マクロブロックの原信号を用いて符号化した場合（イントラ）、あるいは、動き補償予測を行い参照マクロブロックとの差分信号を符号化した場合（インター）、１つ前のマクロブロックの量子化ステップサイズと異なる量子化ステップサイズで符号化した場合等、マクロブロックの符号化タイプを示す情報である。

さらに有効ブロック識別情報２５３は、各ブロックの係数データが全て零であるか否かを示す情報である。上記属性情報の後にブロックごとに係数データが多重化されているが（ブロックデータ２５６に相当）、この有効ブロック識別情報２５３が無効ブロックであることを示す場合には、そのブロックの係数データは存在しない。
そして差分量子化ステップサイズ２５４は、マクロブロックタイプで１つ前のマクロブロックの量子化ステップサイズと異なることが示されている場合に多重化される情報であり、１つ前のマクロブロックの量子化ステップサイズとの差分値を示す。

図１２はマクロブロックレイヤシンタックス解析部２２の構成を示すブロック図である。図において、８１はＭＰＥＧ−４ヘッダ情報設定部４３で設定された形状情報３１１により切り替えられる切替部、８２は符号化ビットストリーム中の形状符号化データを復号する形状符号化データ復号部、８３はＭＰＥＧ−４ヘッダ情報設定部４３で設定されたＶＯＰ予測タイプ３１２により切り替えられる切替部、８４はＶＯＰ予測タイプがイントラ以外の場合に、マクロブロックのスキップ判定情報２５１を復号するスキップ判定情報復号部、８５はスキップ判定情報２５１により切り替えられる切替部、８６はスキップする場合にそのマクロブロックの動きベクトルとテクスチャデータを全て零にするスキップ時データ設定部、８７はＶＯＰ予測タイプ３１２がイントラの場合やスキップしない場合にマクロブロックタイプ３１３及び有効色差ブロック識別情報を復号するマクロブロックタイプ・有効色差ブロック識別情報復号部である。

また８８はＭＰＥＧ−４ヘッダ情報設定部４３で設定されたイントラＡＣ／ＤＣ予測モード指示情報３１５により切り替えられる切替部、８９はＡＣ予測指示情報を復号するＡＣ予測指示情報復号部、９０は有効ブロック識別情報２５３を復号する有効ブロック識別情報復号部、９１はマクロブロックタイプ・有効色差ブロック識別情報復号部８７より出力されたマクロブロックタイプ３１３により切り替えられる切替部である。

さらに９２は差分量子化ステップサイズを零に設定する差分量子化ステップサイズ零設定部、９３は差分量子化ステップサイズ３１７を復号する差分量子化ステップサイズ復号部、９４は復号された差分量子化ステップサイズ３１７と前のブロックのＶＯＰ量子化ステップサイズ３１８を加算し量子化ステップサイズ３１９を図３のテクスチャ復号部１０に出力する加算部、９５はＭＰＥＧ−４ヘッダ情報設定部４３からのインタレースモード指示情報３１６により切り替えられる切替部、９６はインタレース情報を復号するインタレース情報復号部、９７はマクロブロックタイプ・有効色差ブロック識別情報復号部８７より出力されたマクロブロックタイプ３１３及びＭＰＥＧ−４ヘッダ情報設定部４３より出力されたＶＯＰ予測タイプ３１２と動きベクトル探索範囲指定情報３２０に基づいて動きベクトル（テクスチャ動きデータ７）を復号する動きベクトル復号部、９８は符号化ブロックデータを復号しテクスチャ符号化データ６をテクスチャ復号部１０へ出力するブロックデータ復号部である。

次にマクロブロックレイヤシンタックス解析部２２の動作について説明する。
ここでは符号化ビットストリーム１がＭＰＥＧ−４互換Ｈ．２６３符号化ビットストリーム２０３の場合を説明する。ＭＰＥＧ−４符号化ビットストリーム２０４の場合については、ＩＳＯ／ＩＥＣ ＪＴＣ１／ＳＣ２９／ＷＧ１１ ＭＰＥＧ−４ Ｖｉｄｅｏ ＶＭ８．０に記載されているので省略する。
符号化ビットストリーム１は、ＭＰＥＧ−４ヘッダ情報設定部４３で設定された形状情報３１１により、切替部８１で出力が切り替えられる。符号化ビットストリーム１がＭＰＥＧ−４互換Ｈ．２６３符号化ビットストリーム２０３の場合には、形状情報３１１は矩形に設定されているので、ビットストリーム１は、形状符号化データ復号部８２を介せずに、切替部８３に入力される。

次に切替部８３は、ＭＰＥＧ−４ヘッダ情報設定部４３で設定されたＶＯＰ予測タイプ３１２により切り替えられる。ＶＯＰ予測タイプ３１２がイントラの場合には、マクロブロックタイプ・有効色差ブロック識別情報復号部８７は、マクロブロックタイプ３１３と有効色差ブロック識別情報を復号する。ＶＯＰ予測タイプがイントラ以外の場合には、スキップ判定情報復号部８４は、マクロブロックのスキップ判定情報２５１を復号する。復号されたスキップ判定情報２５１に基づき、切替部８５が切り替えられ、そのマクロブロックがスキップされることを示す場合には、スキップ時データ設定部８６は、そのマクロブロックの動きベクトルとマクロブロック内のテクスチャデータを全て零に設定し、そのマクロブロックに関する復号を終了する。スキップ判定情報２５１によりそのマクロブロックがスキップされないことを示す場合には、マクロブロックタイプ・有効色差ブロック識別情報復号部８７は、マクロブロックタイプ３１３と有効色差ブロック識別情報を復号する。

次に切替部８８は、ＭＰＥＧ−４ヘッダ情報設定部４３で設定されたイントラＡＣ／ＤＣ予測モード指示情報３１５により切り替えられる。ＭＰＥＧ−４互換Ｈ．２６３符号化ビットストリーム２０３の場合には、イントラＡＣ／ＤＣ予測を行うという機能はないので、ＶＯＬヘッダ情報２３４を設定する際に、イントラＡＣ／ＤＣ予測は無効に設定されており、ＡＣ予測指示情報復号部８９を介せずに有効ブロック識別情報復号部９０に入力される。

次に有効ブロック識別情報復号部９０は、マクロブロック内の輝度ブロックに対して有効ブロック識別情報２５３を復号する。切替部９１は、マクロブロックタイプ・有効色差ブロック識別情報復号部８７により復号されたマクロブロックタイプ３１３により切り替えられ、そのマクロブロックの量子化ステップサイズが１つ前に復号されたマクロブロックの量子化ステップと異なる場合には、差分量子化ステップサイズ復号部９３は、１つ前に符号化されたマクロブロックの量子化ステップサイズとの差分量子化ステップサイズ３１７を復号する。復号された差分量子化ステップサイズ３１７は、加算器９４により１つ前のマクロブロックのＶＯＰ量子化ステップサイズ３１８と加算され、量子化ステップサイズ３１９として図３のテクスチャ復号部１０に出力される。
一方、マクロブロックの量子化ステップサイズが１つ前に復号されたマクロブロックの量子化ステップサイズと同じことを示す場合には、差分量子化ステップサイズ零設定部９２が、差分量子化ステップサイズを零に設定する。

次に切替部９５は、ＭＰＥＧ−４ヘッダ情報設定部４３からのインタレースモード指示情報３１６により切り替えられる。ＭＰＥＧ−４互換Ｈ．２６３符号化ビットストリーム２０３の場合には、インタレース画像には対応していないので、インタレースモードは無効に設定されており、インタレース情報復号部９６を介せずに動きベクトル復号部９７に入力される。そして動きベクトル復号部９７は、ＭＰＥＧ−４ヘッダ情報設定部４３で設定されたＶＯＰ予測タイプ３１２がインターの場合には、マクロブロックタイプ・有効色差ブロック識別情報復号部８７により復号されたマクロブロックタイプ３１３とＭＰＥＧ−４ヘッダ情報設定部４３で設定された動きベクトル探索範囲指定情報３２０に基づいて、動きベクトル（テクスチャ動きデータ７）を復号し、図３の動き補償部８に出力する。

次にブロックデータ復号部９８は、符号化ビットストリームにおける符号化ブロックデータを復号する。図１３はブロックデータ復号部９８の構成を示すブロック図である。図において、１０１は符号化ブロックデータを入力すると共にマクロブロックタイプ・有効色差ブロック識別情報復号部８７より出力されたマクロブロックタイプ３１３により切り替えられる切替部、１０２はＭＰＥＧ−４ヘッダ情報設定部４３で設定されたイントラＡＣ／ＤＣ予測モード指示情報３１５により切り替えられる切替部、１０３はイントラＡＣ／ＤＣ予測がＯＦＦの時にＭＰＥＧ−４ヘッダ情報設定部４３からの１画素あたりの階調３２１に基づきＤＣ係数固定長の復号を行い復号イントラＤＣ係数１１１を出力するＤＣ係数固定長復号部、１０４はイントラＡＣ／ＤＣ予測がＯＮの時にＤＣ係数を復号し復号イントラＤＣ係数１１１を出力するＤＣ係数復号部である。

１０５は有効ブロック識別情報復号部９０から出力された有効ブロック識別情報２５３により切り替えられる切替部、１０６はマクロブロックタイプ・有効色差ブロック識別情報復号部８７より出力されたマクロブロックタイプ３１３と符号化方式判定部３２より出力されたＨ．２６３互換識別情報３３に基づきＡＣ係数ＶＬＤ（Ｖａｒｉａｂｌｅ Ｌｅｎｇｔｈ Ｄｅｃｏｄｉｎｇ）テーブルを切り替えるＡＣ係数ＶＬＤテーブル切替部である。

１０７はＡＣ係数データを可変長復号し復号ＡＣ係数データ１１２を出力するＡＣ係数データ可変長復号部、１０８は符号化方式判定部３２より出力されたＨ．２６３互換識別情報３３により切り替えられる切替部、１０９は復号ＡＣ係数データ１１２を出力するＡＣ係数データ固定長復号部、１１０は復号ＡＣ係数データ１１２を出力するＡＣ係数データＥｓｃ ｃｏｄｉｎｇ復号部、１１３はＡＣ係数を零に設定するＡＣ係数零設定部である。

次にブロックデータ復号部９８の動作について説明する。
まず符号化ブロックデータは、マクロブロックタイプ・有効色差ブロック識別情報復号部８７より出力されたマクロブロックタイプ３１３により、切替部１０１で切り替えられ、マクロブロックタイプ３１３がイントラ以外の場合には、切替部１０５に出力される。マクロブロックタイプ３１３がイントラの場合には、符号化ブロックデータは切換部１０２に入力され、ＭＰＥＧ−４ヘッダ情報設定部４３で設定されたイントラＡＣ／ＤＣ予測モード指示情報３１５により切り替えられる。

ＭＰＥＧ−４互換Ｈ．２６３符号化ビットストリーム２０３の場合には、イントラＡＣ／ＤＣ予測モード３１５は無効に設定されているので、ＤＣ係数復号部１０４は通過せず、ＤＣ係数固定長復号部１０３に入力される。ＤＣ係数固定長復号部１０３は固定長復号を行い、復号イントラＤＣ係数１１１をテクスチャ復号部１０に出力すると共に、符号化ブロックデータを切替部１０５に出力する。このとき固定長復号された符号長はＭＰＥＧ−４ヘッダ情報設定部４３で設定された１画素あたりの階調（デフォルト値の８ビット）３２１に等しく、１画素あたりの階調３２１は、デフォルト値の８ビットに設定されているので、Ｈ．２６３対応の復号化装置の場合と同様である。

切換部１０５は、有効ブロック識別情報復号部９０で復号された有効ブロック識別情報２５３により切り替えられ、そのブロックが無効ブロックの場合には、ＡＣ係数零設定部１１３はブロック内の復号ＡＣ係数データ１１２を零に設定し、テクスチャ復号部１０に出力する。そのブロックが有効ブロックの場合には、符号化ブロックデータはＡＣ係数ＶＬＤテーブル切替部１０６に入力される。
ブロック内のＡＣ係数は、符号化装置側で、係数をブロック内で決められた順番にスキャンし、零でない係数がブロック内で最後かどうかを示すフラグ（ＬＡＳＴ）、連続する零の数（ＲＵＮ）とそれに続く零でない係数のレベル（ＬＥＶＥＬ）を組にして、可変長符号化されている。復号側では、符号化データを可変長復号することにより、（ＬＡＳＴ，ＲＵＮ，ＬＥＶＥＬ）の組み合わせが得られ、これに基づいてブロック内のＡＣ係数を再現することができる。なお（ＬＡＳＴ，ＲＵＮ，ＬＥＶＥＬ）の組み合わせを可変長符号化する際に、ＭＰＥＧ−４ではマクロブロックタイプにより、異なるＶＬＣ（Ｖａｒｉａｂｌｅ Ｌｅｎｇｔｈ Ｃｏｄｉｎｇ）テーブルにより可変長符号化するのに対し、Ｈ．２６３ではマクロブロックタイプによらず、同じＶＬＣテーブルにより可変長符号化を行う。

従ってこの実施の形態における画像復号化装置において、ＡＣ係数ＶＬＤテーブル切替部１０６は、マクロブロックタイプ・有効色差ブロック識別情報復号部８７より出力されたマクロブロックタイプ３１３及び符号化方式判定部３２より出力されたＨ．２６３互換識別情報３３に基づきＡＣ係数ＶＬＤテーブルを切り替える。そしてＨ．２６３互換識別情報３３がＨ．２６３と設定されている場合には、マクロブロックタイプ（イントラ、インター）３１３にかかわらずＡＣ係数データ可変長復号部１０７は、一つのＶＬＤテーブルにより可変長復号を行い、復号ＡＣ係数データ１１２を、符号化テクスチャデータ６としてテクスチャ復号部１０に出力する。

また（ＬＡＳＴ，ＲＵＮ，ＬＥＶＥＬ）の組み合わせがＶＬＣテーブルになかった場合の符号化方法もＭＰＥＧ−４とＨ．２６３では異なる。ＭＰＥＧ−４ではＶＬＣテーブルに（ＬＡＳＴ，ＲＵＮ，ＬＥＶＥＬ）の組み合わせがなかった場合には、エスケープコードを符号化した後で、ＲＵＮ又はＬＥＶＥＬの値を補正し、可変長符号化を行うか固定長符号化を行う。一方Ｈ．２６３では、エスケープコードを符号化した後で、ＬＡＳＴ，ＲＵＮ，ＬＥＶＥＬの値それぞれを固定長符号化する。

従ってこの実施の形態における画像復号化装置において、ＡＣ係数データ可変長復号部１０７によりＡＣ係数符号化データからエスケープコードが検出されたとき符号化ビットストリームは切替部１０８に入力される。そしてＨ．２６３互換識別情報３３がＨ．２６３に設定されている場合、符号化ビットストリームは、ＡＣ係数データＥｓｃ ｃｏｄｉｎｇ復号部１１０を介さずに、ＡＣ係数データ固定長復号部１０９により、次に続くＬＡＳＴ，ＲＵＮ，ＬＥＶＥＬに関するコードをそれぞれ決められた符号長で固定長復号を行い、復号ＡＣ係数データ１１２を、テクスチャ符号化データ６としてテクスチャ復号部１０に出力する。

以上の動作により、マクロブロックレイヤシンタックス解析部２２で出力されたテクスチャ符号化データ６、動きベクトル（テクスチャ動きデータ７）は、それぞれテクスチャ復号部１０、動き補償部８に分配される。

上記のようにして、図３のシンタックス解析・可変長復号部２において、ＶＯＰの予測モードが復号され設定される。ＶＯＰの予測モードがインターの場合には、テクスチャ動きベクトルの差分ベクトルが復号される。復号されたテクスチャ動きベクトルの差分ベクトルは、近傍の３つのマクロブロックの動きベクトルより求めた予測ベクトルと実際の動きベクトルとの差分ベクトルであり、従って、動きベクトルの差分ベクトルに予測ベクトルを加算したベクトルを動きベクトル（テクスチャ動きデータ８）として算出する。

予測ベクトルの算出は、図１４（ａ）に示したようにすでに復号された３つの近傍のマクロブロック（ＭＶ１，ＭＶ２，ＭＶ３）の動きベクトルより算出する。ただし近傍の３つのマクロブロックのうち、いずれかがＶＯＰの外部に位置する場合には、ＶＯＰの外部に位置するマクロブロックの動きベクトルの値を、図１４（ｂ）、（ｄ）に示したように零ベクトルに設定するか、図１４（ｃ）に示したように、ＶＯＰ内のマクロブロックの動きベクトルを用いて設定する。しかし符号化方式がＨ．２６３の場合で、ＧＯＢヘッダが定義されている場合には、ＧＯＢの境界内で予測ベクトルの設定を行う必要がある。予測ベクトルの設定については、ＶＯＰの場合と同様である。復号されたベクトルに基づき、予測ベクトルを予測テクスチャデータ９として取り出し、テクスチャ復号部１０に出力する。
一方ＶＯＰの予測モードがイントラの場合には、動き補償予測は行われない。
テクスチャ復号部１０は、テクスチャ符号化データ６を受け取り、テクスチャデータ１１を復元する。

図１５はテクスチャ復号部１０の構成を示すブロック図である。逆量子化部１１４はテクスチャ符号化データ６を逆量子化する。
図１６は逆量子化部１１４の構成を示すブロック図である。
切替部１１７はテクスチャ符号化データ６に含まれるマクロブロックタイプ３１３により切り替えられる。復号対象ブロックのマクロブロックタイプ３１３がインター符号化モードの場合には、テクスチャ符号化データ６にＤＣ係数データが含まれないので、テクスチャ符号化データ６はＡＣ係数逆量子化部１２０に入力される。復号対象ブロックのマクロブロックタイプ３１３がイントラ符号化モードの場合には、テクスチャ符号化データ６は切替部１１８に入力される。

切替部１１８はＨ．２６３互換識別情報３３により切り替えられる。Ｈ．２６３互換識別情報３３が、ＭＰＥＧ−４互換Ｈ．２６３符号化ビットストリーム２０３を示している場合には、ＤＣ係数線形逆量子化部１１９Ｂがテクスチャ符号化データ６に含まれるＤＣ係数データの逆量子化を行う。一方、Ｈ．２６３互換識別情報３３が、ＭＰＥＧ−４符号化ビットストリーム２０４を示している場合には、ＤＣ係数非線形逆量子化部１１９ＡがＤＣ係数データの逆量子化を行い、ＤＣ係数３０６を出力する。ＤＣ係数の量子化はある決められた値（量子化スケールと呼ぶ）でＤＣ係数を割り、端数を切り捨てることにより行われる。従って復号側では、量子化ＤＣ係数に量子化スケールを掛けることにより、ＤＣ係数３０６を復元することができる。ＤＣ係数線形逆量子化部１１９ＢとＤＣ係数非線形逆量子化部１１９Ａでは、この量子化スケールの値の設定が異なる。ＤＣ係数線形逆量子化部１１９Ｂでは、量子化スケールを固定値８で逆量子化する。一方ＤＣ係数非線形逆量子化部１１９Ａでは、量子化ステップサイズ３１９の範囲に応じて、非線形に量子化スケールの値が設定され、この量子化スケールにより逆量子化を行い、ＤＣ係数３０６を出力する。

次にＡＣ係数逆量子化部１２０は、ＡＣ係数データの逆量子化を行い、ＡＣ係数３０７を出力する。逆量子化されたＤＣ係数（イントラ符号化モードのときのみ存在）３０６とＡＣ係数３０７はＤＣＴ係数３０８として逆ＤＣＴ部１１５に渡され、逆ＤＣＴが施された後、復号予測誤差信号３０９として出力される。加算部１１６は復号予測誤差信号３０９と動き補償部８より得られる予測テクスチャデータ９とを加算後、復号テクスチャデータ１１として出力する。ただし、イントラ符号化モードの場合には、予測テクスチャデータ９の加算は行われない。

符号化ビットストリーム１にＨ．２６３互換識別情報３３が多重化されている場合、図２（ａ）に示すように、シーケンスの終了を示すシーケンス終了コード（ＥＯＳ）２２７が多重化されている場合もある。シーケンス終了コード２２７の検出はピクチャスタートコード検出部４１で行われ、シーケンス終了コード２２７を検出すると復号動作を終了する。

以上のように、この実施の形態１によれば、Ｈ．２６３符号化ビットストリーム２０１に、ＶＯスタートコード２３１、ＶＯＬスタートコード、ＶＯ識別番号２３２及びＨ．２６３互換識別情報２２６が多重化されたＭＰＥＧ−４互換Ｈ．２６３符号化ビットストリーム２０３を受信し、これらの各情報を復号するようにしたので、Ｈ．２６３と、ＭＰＥＧ−４とで互換性を有する画像復号化装置を得ることができるという効果が得られる。

実施の形態２．
図１７は実施の形態２における画像符号化装置の構成を示すブロック図であり、実施の形態１で述べた画像復号化装置で復号可能な符号化ビットストリームを生成するものである。図において、１２１は入力画像信号、１２２はＨ．２６３方式符号化部、１２３はＨ．２６３符号化ビットストリーム、１２４はＭＰＥＧ−４互換フラグ、１２５はヘッダ情報多重化部、１２６はＭＰＥＧ−４互換Ｈ．２６３符号化ビットストリームである。

次に動作について説明する。
まず、Ｈ．２６３方式符号化部１２２は、入力画像信号１２１をＨ．２６３のシンタックスに基づいて符号化し、Ｈ．２６３符号化ビットストリーム１２３を生成する。次にヘッダ情報多重化部１２５は、ＭＰＥＧ−４ベースの復号化装置で復号可能なビットストリームを生成することを示すＭＰＥＧ−４互換フラグ１２４を受け取り、Ｈ．２６３ビットストリームのピクチャヘッダの前に実施の形態１で述べた画像復号化装置で復号するために必要なＶＯスタートコード２３１、ＶＯ識別番号２３２、ＶＯＬスタートコード２３３及びＨ．２６３互換識別情報（Ｈ．２６３ベースのビットストリームであることを示す０又は１のフラグ）２２６を多重化する。このようにして多重化されたＭＰＥＧ−４互換Ｈ．２６３符号化ビットストリーム１２６の内容は、実施の形態１の図２（ａ）に示したものとなる。

また図１８に示すようにＨ．２６３符号化装置１２７とＭＰＥＧ−４復号化装置１２８間でリアルタイム通信が行われている場合には、ＭＰＥＧ−４復号化装置１２８側からＨ．２６３符号化装置１２７にＭＰＥＧ−４互換フラグ１２４を送信し、Ｈ．２６３符号化装置１２７は、ＭＰＥＧ−４互換フラグ１２４を受け取ったら、実施の形態１で述べた画像復号化装置で復号するために必要なＶＯスタートコード２１３、ＶＯ識別番号２３２、ＶＯＬスタートコード２３３及びＨ．２６３互換識別情報２２６をＨ．２６３方式ビットストリーム１２３に多重化することも可能である。

以上のように、この実施の形態２によれば、ＶＯスタートコード２３１、ＶＯ識別番号２３２、ＶＯＬスタートコード２３３及びＨ．２６３互換識別情報２２６をＨ．２６３符号化ビットストリーム１２３に多重化するので、ＭＰＥＧ−４対応の画像復号装置で復号可能な符号化ビットストリームを生成する画像符号化装置を得ることができるという効果が得られる。

実施の形態３．
図１９は実施の形態３におけるＭＰＥＧ−４互換Ｈ．２６３符号化ビットストリーム２０５の構造を示す図であり、従来の図１（ａ）で示したＨ．２６３符号化ビットストリーム２０１に、ＶＯスタートコード２３１、ＶＯ識別番号２３２及びＨ．２６３スタートコード２２８が追加されている。そしてＨ．２６３スタートコード２２８は、実施の形態１において多重化されているＶＯＬスタートコード２３３とＨ．２６３互換識別情報２２６の両方の機能を達成するものである。
なおＭＰＥＧ−４符号化ビットストリーム２０２は、従来の図１（ｂ）で示したものと同じである。

この実施の形態における画像復号化装置は、実施の形態１で述べた画像復号化装置においてヘッダ情報解析部２１のみが異なる。図２０は実施の形態３におけるヘッダ情報解析部２１の構成を示すブロック図である。図において、１３１はＨ．２６３スタートコード／ＶＯＬスタートコード検出部、１３２は符号化方式判定部であり、ＶＯスタートコード検出部３０、Ｈ．２６３互換識別情報３３、切替部３４、Ｈ．２６３ピクチャヘッダ情報解析部３５、Ｈ．２６３ＧＯＢヘッダ情報解析部３６、ＶＯＬヘッダ情報復号部３７、ＶＯＰヘッダ情報解析部３８は、実施の形態１の図５と同等のものである。

次に動作について説明する。
ＶＯスタートコード検出部３０がＶＯスタートコード２３１を検出すると以下の復号動作を開始する。まず、Ｈ．２６３スタートコード／ＶＯＬスタートコード検出部１３１が、ＭＰＥＧ−４互換Ｈ．２６３符号化ビットストリーム２０５の場合はＨ．２６３スタートコードを検出し、ＭＰＥＧ−４符号化ビットストリーム２０２の場合はＶＯＬスタートコード２３３を検出する。

ＭＰＥＧ−４では、各レイヤーのスタートコードは全てのスタートコードに共通のコード（００００ ００００ ００００ ００００ ００００ ０００１）の後に各レイヤーに固有のスタートコードが固定長（５ビット）で続く。共通のスタートコードは、ビットストリーム中にスタートコード以外で検出されることはない。従って、Ｈ．２６３スタートコード２２８も共通のスタートコードの後にＨ．２６３符号化ビットストリームであることを識別できる固定長（５ビット）のコードを付けたものとする。

次に、検出されたスタートコードが、Ｈ．２６３スタートコード２２８の場合には、符号化方式判定部１３２は、Ｈ．２６３互換識別情報３３をＨ．２６３に設定する。またＶＯＬスタートコード２３３の場合は、Ｈ．２６３互換識別情報３３をＭＰＥＧ−４に設定する。それ以降の動作は実施の形態１と同様である。

以上のように、この実施の形態３によれば、Ｈ．２６３符号化ビットストリーム２０１に、ＶＯスタートコード２３１、ＶＯ識別番号２３２及びＨ．２６３スタートコード２２８が多重化されたＭＰＥＧ−４互換Ｈ．２６３符号化ビットストリーム２０５を受信し、これらの各情報を復号するようにしたので、Ｈ．２６３と、ＭＰＥＧ−４とで互換性を有する画像復号化装置を得ることができるという効果が得られる。

実施の形態４．
この実施の形態は、実施の形態３で述べた画像復号化装置で復号可能なビットストリームを生成する画像符号化装置で、その構成は実施の形態２の図１７と同じである。
次に動作について説明する。
まず、Ｈ．２６３方式符号化部１２２は、入力画像信号１２１をＨ．２６３のシンタックスに基づいて符号化し、Ｈ．２６３符号化ビットストリーム１２３を生成する。次にヘッダ情報多重化部１２５は、ＭＰＥＧ−４互換フラグ１２４を受け取り、Ｈ．２６３符号化ビットストリーム１２３のピクチャヘッダの前に、実施の形態３で述べた画像復号化装置で復号するために必要なＶＯスタートコード２３１、ＶＯ識別番号２３２及びＨ．２６３スタートコード２２８を多重化する。このようにして多重化されたＭＰＥＧ−４互換Ｈ．２６３符号化ビットストリーム１２６の内容は、実施の形態３の図１９に示したものとなる。
なおＭＰＥＧ−４互換フラグ１２４は実施の形態２の図１８で述べたように、ＭＰＥＧ−４復号化装置１２８より渡すことも可能である。

以上のように、この実施の形態４によれば、ＶＯスタートコード２３１、ＶＯ識別番号２３２及びＨ．２６３スタートコ一ド２２８をＨ．２６３ビットストリーム２０１に多重化するので、ＭＰＥＧ−４対応の画像復号化装置で復号可能な符号化ビットストリームを生成する画像符号化装置を得ることができるという効果が得られる。

実施の形態５．
この実施の形態は、ＭＰＥＧ−４互換のためのヘッダ情報を多重化する多重化部を符号化装置とは独立して例えばネットワーク上に持つものである。図２１は実施の形態５における画像通信システムを示す図である。図において、１４１はＨ．２６３符号化装置、１４２はＭＰＥＧ−４復号化装置、１４３は符号化ビットストリーム変換装置であり、Ｈ．２６３符号化装置１４１、ＭＰＥＧ−４復号化装置１４２及び符号化ビットストリーム変換装置１４３は、ネットワークに接続されている。

次に動作について説明する。
符号化ビットストリーム変換装置１４３がＭＰＥＧ−４復号化装置１４２又はユーザよりＭＰＥＧ−４互換Ｈ．２６３符号化ビットストリーム１４８を要求するＭＰＥＧ−４互換フラグ１４７を受け取ると、符号化ビットストリーム変換装置１４３は、Ｈ．２６３符号化装置１４１より、Ｈ．２６３符号化ビットストリーム１４６を受け取り、実施の形態２又は実施の形態４で述べたように、ＭＰＥＧ−４復号化装置で復号するのに必要なヘッダ情報をＨ．２６３符号化ビットストリーム１４６に多重化して、ＭＰＥＧ−４復号化装置１４２に送信する。

以上のように、この実施の形態５によれば、ネットワーク上に符号化ビットストリーム変換装置１４３を備えたので、Ｈ．２６３と、ＭＰＥＧ−４とで互換性を有する画像通信システムを得ることができるという効果が得られる。

実施の形態６．
図２２は実施の形態６における画像通信システムを示す図である。図において、１４１はＨ．２６３符号化装置、１４３は符号化ビットストリーム変換装置、１４４はサーバ、１４５はＭＰＥＧ−４復号化装置内蔵ブラウザであり、これらはネットワーク上に接続されている。
次に動作について説明する。
ＭＰＥＧ−４復号化装置内蔵ブラウザ１４５が、ネットワーク上で伝送されるＨ．２６３符号化ビットストリーム１４６に対してアクセスする場合、ＭＰＥＧ−４復号化装置内蔵ブラウザ１４５は、サーバ１４４にＭＰＥＧ−４復号化装置で復号することを示すＭＰＥＧ−４互換フラグ１４７を伝送する。サーバ１４４がＭＰＥＧ−４互換フラグ１４７を受け取ると、Ｈ．２６３符号化ビットストリーム１４６を符号化ビットストリーム変換装置１４３に伝送する。

符号化ビットストリーム変換装置１４３は受け取ったＨ．２６３ビットストリーム１４６に対して、実施の形態２または４で述べたように、ＭＰＥＧ−４復号化装置で復号可能なようにヘッダ情報を追加したＭＰＥＧ−４互換Ｈ．２６３符号化ビットストリーム１４８を生成し、ＭＰＥＧ−４復号化装置内蔵ブラウザ１４５に伝送する。ＭＰＥＧ−４復号化装置内蔵ブラウザ１４５では、ＭＰＥＧ−４互換Ｈ．２６３符号化ビットストリーム１４８を受け取ることにより、Ｈ．２６３符号化ビットストリーム１４６を復号し、画像を表示することが可能である。

またＭＰＥＧ−４復号化装置内蔵ブラウザ１４５自体が符号化ビットストリーム変換装置１４３を内蔵することも可能である。この場合、ＭＰＥＧ−４復号化装置内蔵ブラウザ１４５がＨ．２６３符号化ビットストリーム１４６をサーバ１４４から受け取り、ＭＰＥＧ−４互換Ｈ．２６３符号化ビットストリーム１４８に変換後、内蔵のＭＰＥＧ−４復号化装置で復号し、画像を表示することができる。

以上のように、この実施の形態６によれば、ネットワーク上に符号化ビットストリーム変換装置とサーバを備えたので、Ｈ．２６３と、ＭＰＥＧ−４とで互換性を有する画像通信システムを得ることができるという効果が得られる。

実施の形態７．
実施の形態１及び実施の形態３で述べた画像復号化装置においては、Ｈ．２６３ビットストリームか、あるいはＭＰＥＧ−４ビットストリームかを識別することができる。しかし、Ｈ．２６３符号化装置によって生成されるＨ．２６３ビットストリームの先頭にＭＰＥＧ−４互換のためのヘッダ情報を多重化する必要があり、Ｈ．２６３ビットストリームをそのまま受け取ることはできない。実施の形態７は、Ｈ．２６３ビットストリームをそのまま受け取り復号することができる画像復号化装置である。

図２３は実施の形態７におけるヘッダ情報解析部２１の構成を示すブロック図である。図において、１５１はＨ．２６３符号化ビットストリームに多重化されているＨ．２６３のピクチャスタートコード２２１を検出するＨ．２６３ピクチャスタートコード検出部、１５２は符号化方式判定部、１５３はＨ．２６３符号化ビットストリームに多重化されているピクチャヘッダ情報２２２に基づきＶＯＬヘッダ情報、ＶＯＰヘッダ情報を設定するＨ．２６３ピクチャヘッダ情報解析部である。その他のＶＯスタートコード検出部３０、Ｈ．２６３互換識別情報３３、切替部３４、Ｈ．２６３ＧＯＢヘッダ情報解析部３６、ＶＯＬヘッダ情報復号部３７及びＶＯＰヘッダ情報解析部３８は実施の形態１と同等のものである。またヘッダ情報解析部２１以外の部分の構成は、実施の形態１の画像復号化装置と同等である。

次に動作について説明する。
Ｈ．２６３ピクチャスタートコード検出部１５１は、図２４（ａ），（ｂ）で示した符号化ビットストリームの始めと終りを常時監視している。Ｈ．２６３符号化ビットストリーム２０１の場合は、ピクチャスタートコード２２１からマクロブロックデータ２２５までを、ＭＰＥＧ−４符号化ビットストリーム２０２の場合は、ＶＯスタートコード２３１からマクロブロックデータ２３９までを、それぞれ１つの符号化ビットストリームとして監視する。

Ｈ．２６３符号化ビットストリーム２０１を受信した場合、Ｈ．２６３ピクチャスタートコード検出部１５１は、ピクチャスタートコード２２１を検出し、この結果を符号化方式判定部１５２に出力する。符号化方式判定部１５２は、検出されたピクチャスタートコード２２１により、受信した符号化ビットストリームがＨ．２６３符号化ビットストリーム２０１であると判定し、Ｈ．２６３互換識別情報３３をＨ．２６３と設定する。一方、ＶＯスタートコード検出部３０によりＶＯスタートコード２３１が検出されると、符号化方式判定部１５２は、受信した符号化ビットストリームがＭＰＥＧ−４符号化ビットストリーム２０２であると判定し、Ｈ．２６３互換識別情報３３をＭＰＥＧ−４と設定する。

Ｈ．２６３符号化ビットストリーム２０１の場合、切替部３４は、Ｈ．２６３符号化ビットストリーム２０１をＨ．２６３ピクチャヘッダ情報解析部１５３に入力する。Ｈ．２６３ピクチャヘッダ情報解析部１５３は、Ｈ．２６３符号化ビットストリーム２０１に多重化されているピクチャヘッダ情報２２２を復号し、実施の形態１と同様にＶＯＬヘッダ情報、ＶＯＰヘッダ情報の設定を行う。以降の動作については、実施の形態１と同様である。
一方ＭＰＥＧ−４符号化ビットストリーム２０２の場合、切替部３４は、ＭＰＥＧ−４符号化ビットストリーム２０２をＶＯＬヘッダ情報復号部３７に入力する。以降の動作についても、実施の形態１と同様である。

以上のように、この実施の形態７によれば、ピクチャスタートコード２２１を検出した場合、Ｈ．２６３符号化ビットストリーム２０１と判定し、ＶＯＬヘッダ情報とＶＯＰヘッダ情報を設定するようにしたので、Ｈ．２６３と、ＭＰＥＧ−４とで互換性を有する画像復号化装置を得ることができるという効果が得られる。

実施の形態８．
この実施の形態は、図１（ａ）に示すＨ．２６３符号化ビットストリーム２０１を図１（ｂ）に示すＭＰＥＧ−４符号化ビットストリーム２０２に変換する符号化ビットストリーム変換装置に関するものである。
図２５は実施の形態８における符号化ビットストリーム変換装置を示すブロック図であり、図において、１６１はＨ．２６３符号化ビットストリーム２０１をピクチャヘッダ情報符号語４０１、ＧＯＢヘッダ情報符号語４０２及びマクロブロックデータ符号語４０３に分離するシンタックス解析部、１６２はピクチャヘッダ情報符号語４０１を復号するピクチャヘッダ情報復号部、１６３はＧＯＢヘッダ情報符号語４０２を復号するＧＯＢヘッダ情報解析・変換部、１６４はＶＯＬヘッダ情報２３４及びＶＯＰヘッダ情報２３６の設定を行うＭＰＥＧ−４ヘッダ情報設定部、１６５はＭＰＥＧ−４符号化ビットストリーム２０２を出力する多重化部である。

次に動作について説明する。
シンタックス解析部１６１は、Ｈ．２６３符号化ビットストリーム２０１から、ピクチャスタートコード２２１を検出すると、以降に続く符号化ビットストリームをピクチャヘッダ情報符号語４０１、ＧＯＢヘッダ情報符号語４０２及びマクロブロックデータ符号語４０３に分離し、それぞれピクチャヘッダ情報復号部１６２、ＧＯＢヘッダ情報解析・変換部１６３及び多重化部１６５に出力する。ただしＧＯＢヘッダ情報符号語４０２は、必ずＨ．２６３符号化ビットストリーム２０１に多重化されているとは限らず、ＧＯＢスタートコード２２３が検出された場合に限り多重化されている。ＧＯＢスタートコード２２３が検出された場合には、ＧＯＢヘッダ検出情報４０４をＭＰＥＧ−４ヘッダ情報設定部１６４に出力する。ピクチャヘッダ情報復号部１６２は、ピクチャヘッダ情報符号語４０１を実施の形態１と同様に復号し、復号したピクチャヘッダ情報４０５をＭＰＥＧ−４ヘッダ情報設定部１６４に出力する。

ＭＰＥＧ−４ヘッダ情報設定部１６４は、復号されたピクチャヘッダ情報４０５に基づき、実施の形態１と同様にＶＯＬヘッダ情報２３４及びＶＯＰヘッダ情報２３６の設定を行う。実施の形態１で述べなかったヘッダ情報については、ＩＳＯ／ＩＥＣ ＪＴＣ１／ＳＣ２９／ＷＧ１１ ＭＰＥＧ−４ Ｖｉｄｅｏ ＶＭ８．０に開示されるいずれの値に設定しても良い。またＧＯＢヘッダ検出情報４０５を受け取った場合には、エラー耐性符号化指示モードを有効に設定する。

実施の形態１で述べたように、Ｈ．２６３とＭＰＥＧ−４では、マクロブロックデータの復号処理手順が一部異なる。従って復号側では、切替情報に基づき、復号方法を切り替える必要がある。そのため以下の切替情報をＶＯＬヘッダに設定しておく必要がある。
（１）ＡＣ係数ＶＬＣテーブル切替情報
実施の形態１で述べたように、符号化側でＡＣ係数データを可変長符号化する際に用いるＶＬＣテーブルが異なる場合に、復号側でＡＣ係数データを可変長復号するのに用いるＶＬＤテーブルを切り替えるための情報。
（２）Ｅｓｃ Ｃｏｄｉｎｇ切替情報
実施の形態１で述べたように、符号化側でＡＣ係数データを可変長符号化する際に、符号化しようとしているＡＣ係数データがＶＬＣテーブルになかったときの符号化方法が異なる場合に、復号側で復号方法を切り替えるための情報。
（３）イントラＤＣ係数逆量子化切替情報
実施の形態１で述べたように、符号化側でイントラＤＣ係数の量子化方法が異なる場合に、ＤＣ係数の逆量子化方法を切り替えるための情報。
なお（１）〜（３）の切替情報をまとめて、Ｈ．２６３で採用されている手法とそれ以外で切り替える情報として、設定しておくことも可能である。

ＭＰＥＧ−４ヘッダ情報設定部１６４により設定されたＭＰＥＧ−４ヘッダ情報は可変長符号化され、ＭＰＥＧ−４ヘッダ情報符号語４０６として多重化部１６５に出力される。
ＧＯＢヘッダ情報解析・変換部１６３は、実施の形態１と同様に、ＧＯＢヘッダ情報符号語４０２を復号し、ＧＯＢヘッダ情報２２４をＭＰＥＧ−４の表現形式である再同期情報２３８に変換する。

ＭＰＥＧ−４の再同期情報２３８はエラー耐性強化のために用いられる情報で、ＶＯＬヘッダ情報２３６のエラー耐性符号化指示情報が有効の場合に多重化される情報である。復号側では再同期情報２３８が復号されたら、符号化ビットストリームへの再同期が取られ、マクロブロック復号の際に用いられる予測ベクトル及び量子化ステップサイズの再設定を行う。なおＨ．２６３では、ＧＯＢヘッダ情報２２４が復号されたら予測ベクトルと量子化ステップサイズの再設定を行っている。そこでＧＯＢヘッダ情報２２４を再同期情報２３８により変換することにより、ＧＯＢヘッダ情報２２４をＭＰＥＧ−４の表現形式に変換することができる。

図２６はＧＯＢヘッダ情報２２４及び再同期情報２３８の構造を示す図である。再同期情報２３８におけるマクロブロック番号２７１は、ＶＯＰ内でのマクロブロックの位置を示す番号である。従って受け取ったＨ．２６３マクロブロックデータに対応するマクロブロックのピクチャ内での位置を算出すれば良い。これはＧＯＢ内で先頭のマクロブロックになるので、ＧＯＢ番号より算出することができる。量子化スケール２７２は、ＧＯＢ量子化ステップサイズを設定すれば良い。ヘッダ拡張指示コード２７３は”１”の場合に時間基準点２７４及びＶＯＰ経過時間２７５が多重化される。これらの情報は各ＶＯＰを表示する際に用いられるもので、必要に応じてヘッダ拡張指示コード２７３を”１”に設定し、時間基準点２７４、ＶＯＰ経過時間２７５の設定を行えば良い。再同期情報２３８は可変長符号化され、再同期情報２３８が多重化されていることを示すための固定長のユニークコードである再同期指示コードを付加した再同期情報符号語４０７を多重化部１６５に出力する。
多重化部１６５は、ＭＰＥＧ−４ヘッダ情報符号語４０６、再同期情報符号語４０７、マクロブロックデータ符号語４０３を符号化ビットストリームに多重化し、ＭＰＥＧ−４符号化ビットストリーム２０２を出力する。

この実施の形態では、再同期情報は、ＶＯＬヘッダ情報２３４のエラー耐性符号化指示情報が有効の場合に多重化される情報であるとしたが、エラー耐性符号化指示情報の有効、無効に係わらず多重化することもできる。
なおＨ．２６３符号化ビットストリーム２０１において、マクロブロックデータ２２５の後にシーケンス終了コード２２７が付加されている場合、シンタックス解析部１６１は、シーケンス終了コード２２７を検出すると解析を終了する。

以上のように、この実施の形態によれば、Ｈ．２６３符号化ビットストリーム２０１をＭＰＥＧ−４符号化ビットストリーム２０２に変換するので、ＭＰＥＧ−４の画像復号化装置でＨ．２６３符号化ビットストリームを復号することができるという効果が得られる。

実施の形態９．
実施の形態７では、図２３において、Ｈ．２６３ピクチャスタートコード検出部１５１がピクチャスタートコード２２１を検出した場合、符号化方式判定部１５２がＨ．２６３符号化ビットストリーム２０１と判定し、Ｈ．２６３ピクチャヘッダ情報解析部１５３がＶＯＬヘッダ情報とＶＯＰヘッダ情報を設定するようにしたが、本実施の形態では、Ｈ．２６３ピクチャヘッダ情報解析部１５３に含まれている図６におけるＨ．２６３ピクチャヘッダ情報復号部４２にて復号されたピクチャヘッダ情報２２２に基づき、マクロブロックレイヤシンタックス解析部２２の動作を切り替える。このとき、ＭＰＥＧ−４ヘッダ情報設定部４３は不要である。また、実施の形態７では、図８におけるＧＯＢスタートコード検出部６１が、Ｈ．２６３符号化ビットストリーム２０１中にＧＯＢスタートコード２２３を検出した場合、ＧＯＢヘッダ情報復号部６２がＧＯＢヘッダ情報２２４を復号し、ＭＰＥＧ−４ヘッダ情報変更部６３にて、ＶＯＰヘッダ情報２３６に含まれるＶＯＰ量子化ステップサイズの再設定を行った。本実施の形態では、Ｈ．２６３符号化ビットストリーム２０１を復号する場合、ピクチャヘッダ情報２２２を用いて、マクロブロックデータの復号を行うため、ピクチャヘッダ情報２２２に含まれるピクチャ量子化ステップサイズ３０４の再設定を行えば良い。

次にＨ．２６３ピクチャヘッダ情報復号部４２にて復号されたピクチャヘッダ情報２２２に基づき、マクロブロックデータの復号を行う際のマクロブロックレイヤシンタックス解析部２２の動作について説明する。
本実施の形態では、図１２のマクロブロックレイヤシンタックス解析部の切替部８１，８３，８８，９５の動作と、加算部９４の動作と、動きベクトル復号部９７の動作と、図１３のブロックデータ復号部９８の切替部１０２の動作のみが異なるので、この部分についてのみ説明する。
切替部８１は、ＭＰＥＧ−４符号化ビットストリーム２０２を復号している場合、すなわち、図２３における符号化方式判定部１５２にて設定されたＨ．２６３互換識別情報３３がＭＰＥＧ−４を示している場合には、ＶＯＬヘッダ情報復号部３７にて復号された形状情報により、切り替えられる。Ｈ．２６３符号化ビットストリーム２０１を復号している場合、すなわち、Ｈ．２６３互換識別情報３３がＨ．２６３を示している場合には、無条件にビットストリーム１は形状符号化データ復号部８２を介さずに、切替部８３に入力される。

切替部８３は、ＭＰＥＧ−４符号化ビットストリーム２０２を復号している場合には、ＶＯＰヘッダ情報解析部３８にて復号されたＶＯＰ予測タイプにより、切り替えられる。Ｈ．２６３符号化ビットストリーム２０１を復号している場合には、Ｈ．２６３ピクチャヘッダ情報復号部４２にて復号されたピクチャ符号化タイプ３０２により切り替えられる。切り替えの動作については、実施の形態１と同様であり、ピクチャ符号化タイプ３０２がイントラか、それ以外かで切り替えればよい。

切替部８８は、ＭＰＥＧ−４符号化ビットストリーム２０２を復号している場合には、ＶＯＬヘッダ情報復号部３７にて復号されたイントラＡＣ／ＤＣ予測指示情報により、切り替えられる。Ｈ．２６３符号化ビットストリーム２０１を復号している場合、すなわち、Ｈ．２６３互換識別情報３３がＨ．２６３を示している場合には、無条件にビットストリーム１はＡＣ予測指示情報復号部８９を介さずに、有効ブロック識別情報復号部９０に入力される。

加算部９４は、ＭＰＥＧ−４符号化ビットストリーム２０２を復号している場合には、復号された差分量子化ステップサイズ２５４に、１つ前に復号されたマクロブロックのＶＯＰ量子化ステップサイズを加算して、量子化ステップサイズとして出力する。Ｈ．２６３符号化ビットストリーム２０１を復号している場合には、復号された差分量子化ステップサイズ２５４に、１つ前に復号されたマクロブロックのピクチャ量子化ステップサイズを加算して、量子化ステップサイズとして出力する。

切替部９５は、ＭＰＥＧ−４符号化ビットストリーム２０２を復号している場合には、ＶＯＰヘッダ情報解析部３８にて復号されたインタレースモード指示情報により、切り替えられる。Ｈ．２６３符号化ビットストリーム２０１を復号している場合、すなわち、Ｈ．２６３互換識別情報３３がＨ．２６３を示している場合には、無条件にビットストリーム１はインタレース情報復号部９６を介さずに、動きベクトル復号部９７に入力される。

動きベクトル復号部９７は、ＭＰＥＧ−４符号化ビットストリーム２０２を復号している場合には、ＶＯＰヘッダ情報解析部３８にて復号された動きベクトル探索範囲指定情報に基づいて、動きベクトル（テクスチャ動きデータ７）を復号する。Ｈ．２６３ビットストリームを復号している場合には、Ｈ．２６３で定められている動きベクトル探索範囲に基づき、動きベクトル（テクスチャ動きデータ７）を復号する。

ブロックデータ復号部９８の切替部１０２は、ＭＰＥＧ−４符号化ビットストリーム２０２を復号している場合には、ＶＯＬヘッダ情報復号部３７にて復号されたイントラＡＣ／ＤＣ予測モード指示情報により切り替えられる。Ｈ．２６３符号化ビットストリーム２０１を復号している場合、すなわち、Ｈ．２６３互換識別情報３３がＨ．２６３を示している場合には、無条件にビットストリーム１はＤＣ係数固定長復号部１０３に入力される。これ以降の動作は、実施の形態１と同様である。

以上のように、この実施の形態９によれば、ピクチャスタートコード２２１を検出した場合、Ｈ．２６３符号化ビットストリーム２０１と判定し、ピクチャヘッダ情報２２２を復号し、復号したピクチャヘッダ情報２２２により、マクロブロックデータの復号を行うようにしたので、ＶＯＬヘッダ情報とＶＯＰヘッダ情報を設定することなく、Ｈ．２６３と、ＭＰＥＧ−４とで互換性を有する画像符号化装置を得ることができるという効果が得られる。

以上のように、この発明に係る画像復号化装置、画像符号化装置、画像通信システム及び符号化ビットストリーム変換装置は、符号化方式の異なる符号化ビットストリームでも、簡単な構成で送受信を行える。

従来のＨ．２６３符号化ビットストリームとＭＰＥＧ−４符号化ビットストリームの構造を示す図である。 この発明の実施の形態１による画像復号化装置が受信する符号化ビットストリームの構造を示す図である。 この発明の実施の形態１による画像復号化装置の構成を示すブロック図である。 この発明の実施の形態１によるシンタックス解析・可変長復号部の構成を示すブロック図である。 この発明の実施の形態１によるヘッダ情報解析部の構成を示すブロック図である。 この発明の実施の形態１によるＨ．２６３ピクチャヘッダ情報解析部の構成を示すブロック図である。 この発明の実施の形態１によるＨ．２６３ピクチャヘッダ情報復号部の構成を示すブロック図である。 この発明の実施の形態１によるＨ．２６３ＧＯＢヘッダ情報解析部の構成を示すブロック図である。 ＧＯＢを説明する図である。 この発明の実施の形態１によるＧＯＢヘッダ情報復号部の構成を示すブロック図である。 Ｈ．２６３マクロブロックデータのレイヤ構造を示す図である。 この発明の実施の形態１によるマクロブロックレイヤシンタックス解析部の構成を示すブロック図である。 この発明の実施の形態１によるブロックデータ復号部の構成を示すブロック図である。 予測ベクトルの算出を説明する図である。 この発明の実施の形態１によるテクスチャ復号部の構成を示すブロック図である。 この発明の実施の形態１による逆量子化部の構成を示すブロック図である。 この発明の実施の形態２及び４による画像符号化装置の構成を示すブロック図である。 この発明の実施の形態２及び４によるＨ．２６３符号化装置とＭＰＥＧ−４復号化装置の関連を説明する図である。 この発明の実施の形態３によるＭＰＥＧ−４互換Ｈ．２６３符号化ビットストリームの内容を示す図である。 この発明の実施の形態３によるヘッダ情報解析部の構成を示すブロック図である。 この発明の実施の形態５による画像通信システムを示す図である。 この発明の実施の形態６による画像通信システムを示す図である。 この発明の実施の形態７によるヘッダ情報解析部の構成を示すブロック図である。 この発明の実施の形態７による符号化ビットストリームの始めと終りを説明する図である。 この発明の実施の形態８による符号化ビットストリーム変換装置を示すブロック図である。 ＧＯＢヘッダ情報及び再同期情報の構造を示す図である。

符号の説明

１ 符号化ビットストリーム、２ シンタックス解析・可変長復号部、４ 形状復号部、８ 動き保証部、１０ テクスチャ復号部、２１ ヘッダ情報解析部、２２ マクロブロックレイヤシンタックス解析部、３０ ＶＯスタート検出部、３１ＶＯＬスタートコード検出部、３２ 符号化方式判定部、３４ 切替部、３５ Ｈ．２６３ピクチャヘッダ情報解析部、３６ Ｈ．２６３ＧＯＢヘッダ情報解析部、３７ ＶＯＬヘッダ解析部、３８ ＶＯＰヘッダ情報解析部、４１ Ｈ．２６３ピクチャスタートコード検出部、４２ Ｈ．２６３ピクチャヘッダ情報復号部、４３ ＭＰＥＧ−４ヘッダ情報設定部、６１ ＧＯＢスタートコード検出部、６２ ＧＯＢヘッダ情報復号部、６３ ＭＰＥＧ−４ヘッダ情報変更部、７１ ＧＯＢ番号復号部、７２ ＧＯＢ識別番号復号部、７３ ＧＯＢ量子化ステップサイズ復号部、１２２ Ｈ．２６３方式符号化部、１２５ ヘッダ情報多重化部、２０３，２０５ ＭＰＥＧ−４互換Ｈ．２６３符号化ビットストリーム、２０４ ＭＰＥＧ−４符号化ビットストリーム。

Claims (1)

1. 少なくともＨ．２６３符号化方式のヘッダ情報とＨ．２６３符号化方式で符号化された画像符号化データとが多重化された第１の符号化ビットストリーム、又はＭＰＥＧ−４符号化方式のヘッダ情報とＭＰＥＧ−４符号化方式で符号化された画像符号化データとが多重化された第２の符号化ビットストリームを復号する画像復号化装置において、
   上記第１の符号化ビットストリームのヘッダ情報、または上記第２の符号化ビットストリームのヘッダ情報に基づき、受信した符号化ビットストリームが、上記第１の符号化ビットストリームまたは上記第２の符号化ビットストリームであるかを判定する符号化方式判定手段と、
   上記符号化方式判定手段の判定結果に基づいて、上記符号化方式判定手段が上記第１の符号化ビットストリームを受信したと判定した場合には、上記Ｈ．２６３符号化方式のヘッダ情報に含まれるＨ．２６３方式画像符号化情報に基づいて定められるＭＰＥＧ−４方式画像符号化情報を利用してＨ．２６３符号化ビットストリームをＭＰＥＧ−４符号化ビットストリームのシンタックスに従って復号し、上記符号化方式判定手段が上記第２の符号化ビットストリームを受信したと判定した場合には、該受信した第２の符号化ビットストリームから復号される上記ＭＰＥＧ−４符号化方式のヘッダ情報に含まれるＭＰＥＧ−４方式画像符号化情報を利用して上記第２の符号化ビットストリームに含まれる画像符号化データを復号する復号過程において、
   上記第１の符号化ビットストリームを受信した場合と上記第２の符号化ビットストリームを受信した場合とで、イントラＤＣＴ係数の交流成分の予測処理があるか否かを示すＡＣ予測指示情報の復号解析を伴わない復号処理か、ＡＣ予測指示情報の復号解析を伴う復号処理か、を切り替える切替手段を備え、
   上記第１の符号化ビットストリームを受信した場合には、上記切替手段によって切り替えられたＡＣ予測指示情報の復号解析を伴わない復号処理に基づき、マクロブロック符号化データ復号解析の過程でＡＣ予測指示情報の復号解析を行わずＡＣ予測処理を行わないで交流成分を復号し、上記第２の符号化ビットストリームを受信した場合には、上記切替手段によって切り替えられたＡＣ予測指示情報の復号解析を伴う復号処理に基づき、ＡＣ予測指示情報の復号解析を行い、その復号値に基づいてＡＣ予測の有無を定め、定められたＡＣ予測の有無に従い交流成分を復号することを特徴とする画像復号化装置。

Images