JP3413720B2 - 画像符号化方法及び装置、並びに画像復号方法及び装置 - Google Patents

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、画像符号化方法及
び装置、並びに画像復号方法及び装置に関し、特に、例
えば動画像データを光磁気ディスクや磁気テープなどの
記録媒体に記録し、これを再生してディスプレイなどに
表示したり、テレビ会議システム、テレビ電話システ
ム、放送用機器、マルチメディアデータベース検索シス
テムなどのように、動画像データを伝送路を介して送信
側から受信側に伝送し、受信側において、受信された動
画像データを表示する場合や、編集して記録する場合な
どに用いて好適な画像符号化方法及び装置、並びに画像
復号方法及び装置に関する。

【０００２】

【従来の技術】例えば、テレビ会議システム、テレビ電
話システムなどのように、動画像データを遠隔地に伝送
するシステムにおいては、伝送路を効率良く利用するた
めに、画像のライン相関やフレーム間相関を利用して画
像データを圧縮符号化するようにしている。

【０００３】動画像の高能率符号化方式には、代表的な
ものとしてＭＰＥＧ（Moving Picture Experts Group）
（蓄積用動画像符号化）方式がある。これはＩＳＯ−Ｉ
ＥＣ／ＪＴＣ１／ＳＣ２／ＷＧ１１において議論され、
標準案として提案されたものであり、動き補償予測符号
化とＤＣＴ（Discrete Cosine Transform）符号化を組
み合わせたハイブリッド方式が採用されている。

【０００４】ＭＰＥＧでは、様々なアプリケーションや
機能に対応するために、幾つかのプロファイルおよびレ
ベルが定義されている。最も基本となるのが、メインプ
ロファイルメインレベル（ＭＰ＠ＭＬ：Main Profile a
t Main Level）である。

【０００５】図３５は、ＭＰＥＧ方式におけるＭＰ＠Ｍ
Ｌのエンコーダの一般的な構成例を示している。

【０００６】符号化すべき入力画像データは、フレーム
メモリ３１に入力され、一時記憶される。

【０００７】動きベクトル検出器３２は、フレームメモ
リ３１に記憶された画像データを、例えば１６画素×１
６画素などで構成されるマクロブロック単位で読み出
し、その動きベクトルを検出する。

【０００８】ここで、動きベクトル検出器３２において
は、各フレームの画像データを、Ｉピクチャ(フレーム
内符号化）、Ｐピクチャ（前方予測符号化）、またはＢ
ピクチャ（両方向予測符号化）のうちの何れかとして処
理する。なお、シーケンシャルに入力される各フレーム
の画像を、Ｉ，Ｐ，Ｂピクチャのいずれのピクチャとし
て処理するかは、例えば予め定められている（例えば、
Ｉ，Ｂ，Ｐ，Ｂ，Ｐ，・・・Ｂ，Ｐとして処理され
る）。

【０００９】このため、動きベクトル検出器３２は、フ
レームメモリ３１に記憶された画像データの中の、予め
定められた所定の参照フレームを参照し、その参照フレ
ームと、現在符号化の対象となっているフレームの１６
画素×１６ラインの小ブロック（マクロブロック）とを
パターンマッチング（ブロックマッチング）することに
より、そのマクロブロックの動きベクトルを検出する。

【００１０】ここで、ＭＰＥＧにおいて、画像の予測モ
ードには、イントラ符号化（フレーム内符号化）、前方
予測符号化、後方予測符号化、両方向予測符号化の４種
類があり、Ｉピクチャはイントラ符号化され、Ｐピクチ
ャはイントラ符号化または前方予測符号化の何れかで符
号化され、Ｂピクチャはイントラ符号化、前方予測符号
化、後方予測符号化、または両方法予測符号化の何れか
で符号化される。

【００１１】すなわち、動きベクトル検出器３２は、Ｉ
ピクチャについては予測モードとしてイントラ符号化モ
ードを設定する。この場合、動きベクトル検出器３２
は、動きベクトルの検出は行わず、その予測モード（イ
ントラ予測モード）の情報のみをＶＬＣ（可変長符号
化）器３６および動き補償器４２に出力する。

【００１２】また、動きベクトル検出器３２は、Ｐピク
チャについては前方予測を行い、その動きベクトルを検
出する。さらに、動きベクトル検出器３２は、前方予測
を行うことにより生じる予測誤差と、符号化対象のマク
ロブロック（Ｐピクチャのマクロブロック）の、例えば
分散とを比較する。その比較の結果、マクロブロックの
分散の方が予測誤差より小さい場合、動きベクトル検出
器３２は、予測モードとしてイントラ符号化モードを設
定し、検出した動きベクトルと共にそのモードを示す情
報をＶＬＣ器３６および動き補償器４２に出力する。ま
た、動きベクトル検出器３２は、前方予測を行うことに
より生じる予測誤差の方が小さければ、予測モードとし
て前方予測符号化モードを設定し、検出した動きベクト
ルとともにそのモードを示す情報を、ＶＬＣ器３６およ
び動き補償器４２に出力する。

【００１３】さらに、動きベクトル検出器３２は、Ｂピ
クチャについては、前方予測、後方予測、および両方向
予測を行い、それぞれの動きベクトルを検出する。そし
て、動きベクトル検出器３２は、前方予測、後方予測、
および両方向予測についての予測誤差の中の最小のもの
（以下、適宜、最小予測誤差という）を検出し、その最
小予測誤差と、符号化対象のマクロブロック（Ｂピクチ
ャのマクロブロック）の、例えば分散とを比較する。そ
の比較の結果、マクロブロックの分散の方が最小予測誤
差より小さい場合、動きベクトル検出器３２は、予測モ
ードとしてイントラ符号化モードを設定し、検出した動
きベクトルと共にそのモードを示す情報をＶＬＣ器３６
および動き補償器４２に出力する。また、動きベクトル
検出器３２は、最小予測誤差の方が小さければ、予測モ
ードとして、その最小予測誤差が得られた予測モードを
設定し、対応する動きベクトルとともにそのモードを示
す情報をＶＬＣ器３６および動き補償器４２に出力す
る。

【００１４】動き補償器４２は、動きベクトル検出器３
２から予測モードと動きベクトルの両方を受信すると、
その予測モードおよび動きベクトルにしたがって、フレ
ームメモリ４１に記憶されている、符号化され且つ既に
局所復号された画像データを読み出し、この読み出され
た画像データを予測画像データとして演算器３３および
４０に供給する。

【００１５】演算器３３は、動きベクトル検出器３２が
フレームメモリ３１から読み出した画像データと同一の
マクロブロックをフレームメモリ３１から読み出し、そ
のマクロブロックと、動き補償器４２からの予測画像と
の差分を演算する。この差分値はＤＣＴ器３４に供給さ
れる。

【００１６】一方、動き補償器４２は、動きベクトル検
出器３２から予測モードのみを受信した場合、すなわち
予測モードがイントラ符号化モードである場合には、予
測画像を出力しない。この場合、演算器３３（演算器４
０も同様）は、特に処理を行わず、フレームメモリ３１
から読み出したマクロブロックをそのままＤＣＴ器３４
に出力する。

【００１７】ＤＣＴ器３４では、演算器３３の出力デー
タに対してＤＣＴ処理を施し、その結果得られるＤＣＴ
係数を、量子化器３５に供給する。量子化器３５では、
バッファ３７のデータ蓄積量（バッファ３７に記憶され
ているデータの量）（バッファフィードバック）に対応
して量子化ステップ（量子化スケール）が設定され、そ
の量子化ステップでＤＣＴ器３４からのＤＣＴ係数を量
子化する。この量子化されたＤＣＴ係数（以下、適宜、
量子化係数という）は、設定された量子化ステップとと
もにＶＬＣ器３６に供給される。

【００１８】ＶＬＣ器３６では、量子化器３５より供給
される量子化係数を、例えばハフマン符号などの可変長
符号に変換し、バッファ３７に出力する。さらに、ＶＬ
Ｃ器３６は、量子化器３５からの量子化ステップ、動き
ベクトル検出器３２からの予測モード（イントラ符号化
（画像内予測符号化）、前方予測符号化、後方予測符号
化、または両方向予測符号化のうちの何れが設定された
かを示すモード）および動きベクトルも可変長符号化
し、その結果得られる符号化データをバッフ３７に出力
する。

【００１９】バッファ３７は、ＶＬＣ器３６からの符号
化データを一時蓄積することにより、そのデータ量を平
滑化し、符号化ビットストリームとして例えば伝送路に
出力、または記録媒体に記録する。

【００２０】また、バッファ３７は、そのデータ蓄積量
を量子化器３５に出力しており、量子化器３５は、この
バッファ３７からのデータ蓄積量にしたがって量子化ス
テップを設定する。すなわち、量子化器３５は、バッフ
ァ３７がオーバーフローしそうなとき、量子化ステップ
を大きくし、これにより量子化係数のデータ量を低下さ
せる。また、量子化器３５は、バッファ３７がアンダー
フローしそうなとき、量子化ステップを小さくし、これ
により量子化係数のデータ量を増大させる。このように
して、バッファ３７のオーバフローとアンダフローを防
止するようになっている。

【００２１】量子化器３５が出力する量子化係数と量子
化ステップは、ＶＬＣ器３６だけでなく、逆量子化器３
８にも供給されるようになされている。逆量子化器３８
では、量子化器３５からの量子化係数を、同じく量子化
器３５からの量子化ステップにしたがって逆量子化す
る。これにより、量子化係数はＤＣＴ係数に変換され
る。このＤＣＴ係数は、ＩＤＣＴ器（逆ＤＣＴ器）３９
に供給される。ＩＤＣＴ器３９では、ＤＣＴ係数を逆Ｄ
ＣＴ処理し、その処理の結果得られるデータを演算器４
０に供給する。

【００２２】演算器４０には、ＩＤＣＴ器３９の出力デ
ータの他、上述したように動き補償器４２から演算器３
３に供給されている予測画像と同一のデータが供給され
ている。演算器４０は、ＩＤＣＴ器３９の出力データ
（予測残差（差分データ））と、動き補償器４２からの
予測画像データとを加算することで、元の画像データを
局所復号し、この局所復号された画像データ（局所復号
画像データ）を出力する。但し、予測モードがイントラ
符号化である場合、ＩＤＣＴ器３９の出力データは演算
器４０をスルーして、そのまま局所復号画像データとし
てフレームメモリ４１に供給される。なお、この復号画
像データは、受信側において得られる復号画像データと
同一のものである。

【００２３】演算器４０において得られた復号画像デー
タ（局所復号画像データ）は、フレームメモリ４１に供
給されて記憶され、その後、インター符号化（前方予測
符号化、後方予測符号化、量方向予測符号化）される画
像に対する参照画像データ（参照フレーム）として用い
られる。

【００２４】次に、図３６は、図３５のエンコーダから
出力される符号化データを復号する、ＭＰＥＧにおける
ＭＰ＠ＭＬのデコーダの一例の構成を示している。

【００２５】このデコーダにおいて、バッファ１０１に
は、伝送路を介して伝送されてきた符号化ビットストリ
ーム（符号化データ）を図示せぬ受信装置で受信し、ま
たは記録媒体に記録された符号化ビットストリーム（符
号化データ）を図示せぬ再生装置で再生した、符号化ビ
ットストリーム（符号化データ）が供給される。当該バ
ッファ１０１は、この符号化ビットストリームを一時記
憶する。

【００２６】ＩＶＬＣ器（逆ＶＬＣ器（可変長復号
器））１０２は、バッファ１０１に記憶された符号化デ
ータを読み出し、可変長復号することにより、その符号
化データをマクロブロック単位で、動きベクトル、予測
モード、量子化ステップ、および量子化係数に分離す
る。これらのデータのうち、動きベクトルおよび予測モ
ードは動き補償器１０７に供給され、量子化ステップお
よびマクロブロックの量子化係数は逆量子化器１０３に
供給される。

【００２７】逆量子化器１０３は、ＩＶＬＣ器１０２よ
り供給されたマクロブロックの量子化係数を、同じくＩ
ＶＬＣ器１０２より供給された量子化ステップにしたが
って逆量子化し、その結果得られるＤＣＴ係数をＩＤＣ
Ｔ器１０４に出力する。ＩＤＣＴ器１０４は、逆量子化
器１０３からのマクロブロックのＤＣＴ係数を逆ＤＣＴ
し、演算器１０５に供給する。

【００２８】演算器１０５には、ＩＤＣＴ器１０４の出
力データの他、動き補償器１０７の出力データも供給さ
れている。すなわち、動き補償器１０７は、フレームメ
モリ１０６に記憶されている、既に復号された画像デー
タを、図３５の動き補償器４２における場合と同様に、
ＩＶＬＣ器１０２からの動きベクトルおよび予測モード
にしたがって読み出し、予測画像データとして演算器１
０５に供給する。演算器１０５は、ＩＤＣＴ器１０４の
出力データ（予測残差（差分値））と、動き補償器１０
７からの予測画像データとを加算することで、元の画像
データを復号する。この復号画像データは、再生画像デ
ータとして出力されるとともにフレームメモリ１０６に
供給されて記憶される。なお、ＩＤＣＴ器１０４の出力
データがイントラ符号化されたものである場合、その出
力データは、演算器１０５をスルーして、復号画像デー
タとして、そのままフレームメモリ１０６に供給されて
記憶される。

【００２９】フレームメモリ１０６に記憶された復号画
像データは、その後に復号される画像データの参照画像
データとして用いられる。さらに、復号画像データは、
出力再生画像として例えば図示せぬディスプレイなどに
供給されて表示される。

【００３０】なお、ＭＰＥＧ１およびＭＰＥＧ２では、
Ｂピクチャは参照画像データとして用いられないため、
エンコーダまたはデコーダのそれぞれにおいて、フレー
ムメモリ４１（図３５）または１０６（図３６）には記
憶されない。

【００３１】

【発明が解決しようとする課題】以上の図３５，図３６
に示したエンコーダ，デコーダはＭＰＥＧ１及びＭＰＥ
Ｇ２の規格に準拠したものであるが、現在は、ＩＳＯ−
ＩＥＣ／ＪＴＣ１／ＳＣ２９／ＷＧ１１において、画像
を構成する物体などのオブジェクトのシーケンスである
ビデオオブジェクト（ＶＯ：Video Object）単位で符号
化を行う方式についてＭＰＥＧ（Moving Picture Exper
ts Group）４としての標準化作業が進められている。

【００３２】ところで、ＭＰＥＧ４では、現在４：２：
０フォーマットと呼ばれる、図３７に規定されている画
像フォーマットのみが符号化／復号化できる画像として
規定されている。

【００３３】当該４：２：０フォーマットは、図３７に
示すように、輝度Ｙ及び２つの色差Ｃｒ，Ｃｂの信号で
構成される。

【００３４】４：２：０フォーマットは、輝度Ｙの走査
線２本、および水平方向の２画素に対して、色差Ｃｒ，
Ｃｂがそれぞれ１画素づつ割り当てられる画像フォーマ
ット（すなわち、輝度Ｙの４画素に対し色差Ｃｒ，Ｃｂ
がそれぞれ１画素づつ割り当てられる）であり、その色
差Ｃｒ，Ｃｂの位置は輝度Ｙに対し同位置に存在する。

【００３５】なお、輝度Ｙに対しての色差Ｃｒ、Ｃｂの
位置は、図３７の位置だけではなく、使用される装置等
によって異なる。

【００３６】４：２：０フォーマットは、前述のとお
り、輝度Ｙの４画素に対し色差Ｃｒ，Ｃｂがそれぞれ１
画素割り当てられているため、輝度Ｙに対し、色差Ｃ
ｒ，Ｃｂの解像度が低くなる。

【００３７】そのため、放送局等で求められる画質の高
い画像に対しては、その使用用途に応じて、４：２：０
フォーマットではなく、４：２：２フォーマット、４：
４：４フォーマットが用いられる。

【００３８】上記４：２：２フォーマットは、図３８に
示す画素配置のように、輝度Ｙの走査線１本及び水平方
向の２画素に対し、色差Ｃｒ，Ｃｂがそれぞれ１画素ず
つ（すなわち輝度Ｙの２画素に対し色差Ｃｒ，Ｃｂが１
画素）割り当てられる。

【００３９】上記４：４：４フォーマットは、図３９に
示す画素配置のように、輝度Ｙの走査線１本及び水平方
法の１画素に対し、色差Ｃｒ，Ｃｂがそれぞれ１画素ず
つ（すなわち、輝度Ｙ、色差Ｃｒ，Ｃｂの画素数、位置
は等しい）が割り当てられる。

【００４０】このように４：２：２フォーマットや４：
４：４フォーマットは、４：２：０フォーマットに対
し、色差信号の画素数が多く、画質を求める画像に対し
て使用することはその画質を向上させることに対し大変
有効である。

【００４１】しかし、ＭＰＥＧ４においては、前述した
とおり４：２：０フォーマットの画像のみが規定されて
おり、４：２：２フォーマットや４：４：４フォーマッ
トをその符号化・復号画像として使用することは不可能
である。

【００４２】また、ＭＰＥＧ４では、画像の符号化だけ
ではなく、形状情報も符号化できるように規格化されて
いる。さらに、形状情報を持った画像を符号化する方法
は、４：２：０フォーマットのみに対応しており、４：
２：２フォーマット、４：４：４フォーマットには対応
していない。

【００４３】そこで、本発明はこのような状況に鑑みて
なされたものであり、ＭＰＥＧ４において４：２：２フ
ォーマット，４：４：４フォーマットが使用できるよう
に拡張する、画像符号化方法及び装置、並びにそれに対
応する画像復号方法及び装置を提供することを目的とす
る。

【００４４】

【課題を解決するための手段】本発明に係る画像符号化
方法及び装置は、複数の輝度画素にて構成される輝度ブ
ロックと複数の色差画素にて構成される色差ブロックと
からなる符号化単位毎に符号化する際に、上記輝度ブロ
ックを構成する各輝度画素に対してそれぞれ割り当てら
れた色差画素の種類及び個数を決定する色差フォーマッ
トを表すフラグと、上記色差ブロックに符号化対象とな
る係数が存在するか否かを示す第１のフラグとを付加
し、上記色差フォーマットを表すフラグと上記第１のフ
ラグとに応じて、上記色差ブロック内の色差サブブロッ
クに符号化対象となる係数が存在するか否かを示す第２
のフラグをさらに付加することにより、上述の課題を解
決する。

【００４５】

【００４６】本発明に係る画像復号方法及び装置は、複
数の輝度画素にて構成される輝度ブロックと複数の色差
画素にて構成される色差ブロックとからなる符号化単位
毎に符号化された符号化画像データを復号する際に、上
記輝度ブロックを構成する各輝度画素に対してそれぞれ
割り当てられた色差画素の種類及び個数を決定する色差
フォーマットを表すフラグと、上記色差ブロックに符号
化された係数が存在するか否かを示す第１のフラグとを
抽出し、上記色差フォーマットを表すフラグと上記第１
のフラグとに応じて、上記色差ブロック内の色差サブブ
ロックに符号化対象となる係数が存在するか否かを示す
第２のフラグをさらに抽出することにより、上述の課題
を解決する。

【００４７】

【００４８】

【００４９】

【００５０】

【発明の実施の形態】本発明の好ましい実施の形態につ
いて、図面を参照しながら説明する。

【００５１】図１には本発明の画像符号化方法及び装置
を適用したエンコーダの一実施の形態の構成例を示す
が、この図１の構成について説明する前に、本発明を理
解する上で必要な用語として、ビジュアルオブジェクト
（Visual Object）、ビデオオブジェクト（Video Objec
t、以下適宜ＶＯとする）、ビデオオブジェクトレイヤ
（Video Object Layer、以下適宜ＶＯＬとする） 、グ
ループオブビデオオブジェクトプレーン（Group of Vid
eo Object Plane 、以下適宜ＧＯＶとする）、ビデオオ
ブジェクトプレーン（Video Object Plane、以下適宜Ｖ
ＯＰとする）、グループオブブロック（Group of bloc
k、以下適宜ＧＯＢとする） ,マクロブロック（以下、
適宜ＭＢとする)，ブロック（block）について、図２及
び図３を用いて簡単に説明する。

【００５２】先ず、ブロックは、輝度または色差毎の隣
り合った例えば８ライン×８画素から構成される。例え
ば、ＤＣＴ（離散コサイン変換）はこの単位で実行され
る。なお、これ以降、各ブロックについては、便宜上図
３の各ブロックに付加した番号により表すことにする。

【００５３】４：２：０フォーマットにおけるマクロブ
ロック内のブロックの配置を図３の（ａ）を用いて説明
する。図３の（ａ）は、ＭＰＥＧ４のビジュアルコミッ
ティドラフト（Visual Comitee Draft、以下、適宜、Ｃ
Ｄと記述する）における、マクロブロック内でのブロッ
クの分割法を示した図である。

【００５４】マクロブロック（ＭＢ）は、例えば画像の
フォーマットが、いわゆる４：２：０コンポーネントデ
ィジタル信号である場合、上下左右に隣り合った４つの
輝度Ｙのブロックと、画像上では同じ位置にあたる色差
Ｃｂ，Ｃｒそれぞれのブロックの全部で６つのブロック
で構成される。すなわち、ＭＰＥＧ４には、従来４：
２：０フォーマットのマクロブロックをその符号化／復
号画像として定義してあり、図３の（ａ）のブロック
０，１，２，３は輝度Ｙのブロックを示し、ブロック４
は色差Ｃｂのブロックを、ブロック５は色差Ｃｒのブロ
ックを示す。各ブロックは８×８画素で構成されてい
る。ここで、図３の（ａ）の輝度Ｙのブロックの配置
は、１６×１６画素の輝度Ｙのブロックを４つの８×８
のブロックに分割して考えることを示す。同様に色差Ｃ
ｂ，Ｃｒのブロック４，５も８×８画素のブロックであ
る。このとき４：２：０フォーマットでは、色差の大き
さは一つのマクロブロックでそれぞれ８×８画素となさ
れており、この色差のブロックは分割せずにそのまま符
号化される。また、各マクロブロックを８×８画素のブ
ロックに分割して考えるのは、ＭＰＥＧにおいてＤＣＴ
が８×８画素のブロックに対して行われるものであるか
らである。

【００５５】ここで、本実施の形態では、色差フォーマ
ットが、４：２：０フォーマットだけでなく、４：２：
２フォーマット、４：４：４フォーマットにも対応して
いる。図３の（ａ）のブロックの配置では、４：２：２
フォーマット、４：４：４フォーマットに対応できない
ため、４：２：２フォーマットに対応させたときのブロ
ック配置を図３の（ｂ）に、４：４：４フォーマットに
対応させたときのブロック配置を図３の（ｃ）に示す。
なお、図３の（ｂ）、図３の（ｃ）の各ブロックは、図
３の（ａ）と同様に、それぞれ８×８画素のブロックを
示す。

【００５６】図３の（ｂ）は、４：２：２フォーマット
に対応したマクロブロック内のブロックの構造を模式的
に示している。図３の（ｂ）のブロック配置では、輝度
Ｙが４つのブロック０，１，２，３で構成され、色差Ｃ
ｂ，Ｃｒのブロックは上下に位置するそれぞれ２つの８
×８のブロック４と６、５と７で構成される。すなわち
４：２：２フォーマットの輝度Ｙのブロックは、４：
２：０フォーマットと同様１６×１６のブロックを上下
左右に２等分づつした形になっているが、色差のブロッ
クは８×１６画素で構成されている。そのため、図３の
（ｂ）の様に、色差信号は上下２つに分割されている。

【００５７】さらに、図３の（ｃ）は、４：４：４フォ
ーマットに対するマクロブロックの構造を模式的に示し
ている。４：４：４フォーマットでは、輝度Ｙ及び色差
Ｃｂ、Ｃｒはそれぞれ１６×１６画素で構成される。そ
のため４：４：４フォーマットをブロックに分割した場
合、Ｙ、Ｃｂ、Ｃｒのそれぞれが図３の（ｃ）に示すよ
うな４つの８×８ブロックで構成されることとなる。す
なわち、輝度Ｙはブロック０，１，２，３で構成され、
色差Ｃｂのブロックは４，６，８，１０で、色差Ｃｒの
ブロックは５，７，９，１１で構成される。

【００５８】次に、ＶＯＰ（Video Object Plane）は、
１つまたは複数のマクロブロックから構成される１枚の
画像を表す。この画像は、符号化される方式にしたがっ
て、Ｉピクチャ（画像内符号化画像）、Ｐピクチャ（前
方予測符号化画像）、およびＢピクチャ（両方向予測符
号化画像）のうちのいずれかに分類される。

【００５９】Ｉ−ＶＯＰ（Ｉピクチャ）は、動き補償を
行うことなく、画像そのものが符号化（イントラ符号
化）されるものである。Ｐ−ＶＯＰ（Ｐピクチャ）は、
基本的には、自身より時間的に前に位置する画像（Ｉま
たはＰ−ＶＯＰ）に基づいて、前方予測符号化される。
Ｂ−ＶＯＰ（Ｂピクチャ）は、基本的には、自身より時
間的に前と後ろに位置する２つの画像（ＩまたはＰ−Ｖ
ＯＰ）に基づいて両方向予測符号化されるものである。

【００６０】ＧＯＶ（Group of Video Object Plane）
は、少なくとも１枚のＩ−ＶＯＰと、０または少なくと
も１枚の非Ｉ−ＶＯＰ（すなわちＰ−ＶＯＰ、Ｂ−ＶＯ
Ｐ）とから構成される。ただし、階層符号化を行った場
合の上位レイヤに関してはこの限りではない。なお、Ｇ
ＯＶの使用、不使用は符号化時に自由に決められる。

【００６１】ＶＯＬ（Video Object Layer）は、少なく
とも１枚以上のＶＯＰもしくはＧＯＶから成り立つ。Ｖ
ＯＬ内には同一の表示時間を持つＶＯＰは含まれず、Ｖ
ＯＰをその表示時間順に表示することにより一連の画像
が表示されることになる。

【００６２】ビデオオブジェクト（video Object：Ｖ
Ｏ）は、１つ以上のＶＯＬから構成され、ＶＯＬの組合
わせにより同一オブジェクトを複数の解像度、フレーム
レート等で符号化、復号化することが可能である。これ
は図２に表す関係を有する。

【００６３】ビジュアルオブジェクト（Visual Objec
t）は、一つのビデオオブジェクト（video Object）ま
たは他の一つのオブジェクト（例えばフェイスオブジェ
クト（face object）、メッシュオブジェクト（mesh ob
ject）、スチルテクスチャオブジェクト（still textur
e object）等）により構成される。

【００６４】ビデオオブジェクトシーケンス（Visual O
bject Sequence）は、一つもしくは複数のビジュアルオ
ブジェクト（Visual Object）より構成され、図２に表
す関係を有する。

【００６５】次に、図１を用いて、本発明を適用した実
施の形態のエンコーダについて説明する。

【００６６】入力画像信号すなわち符号化すべき画像
（動画像）データは、ＶＯ（Video Object）構成部１に
入力される。ＶＯ構成部１では、入力される画像を構成
するオブジェクト毎に、そのシーケンスであるＶＯ（Vi
deo Object）を構成し、ＶＯＰ構成部２1乃至２Nに出力
する。すなわち、ＶＯ構成部１においてＮ個のＶＯ＃１
乃至ＶＯ＃Ｎが構成された場合、そのＮ個のＶＯ＃１乃
至ＶＯ＃Ｎは、それぞれ対応したＮ個のＶＯＰ構成部２
1乃至２Nにそれぞれ出力される。

【００６７】図４を用いて具体的に説明すると、符号化
すべき画像データが、例えば独立した背景Ｆ１のシーケ
ンスと前景Ｆ２のシーケンスとから構成される場合、Ｖ
Ｏ構成部１は、例えば背景Ｆ１のシーケンスをＶＯ＃１
としてＶＯＰ構成部２1に出力するとともに、前景Ｆ２
のシーケンスをＶＯ＃２としてＶＯＰ構成部２2に出力
する。なお、図４の例は、背景である画像Ｆ１と前景で
ある画像Ｆ２とからなる画像を示しており、画像Ｆ１
は、例えばある自然の風景を撮影したものであり、その
画像全体のシーケンスが１つのＶＯ（ＶＯ＃１）とされ
ている。また、画像Ｆ２は、例えば人が歩いている様子
を撮影したものであり、その人を囲む最小の長方形のシ
ーケンスが１つのＶＯ（ＶＯ＃２）とされている。

【００６８】ＶＯ構成部１は、符号化すべき画像データ
が、例えば背景Ｆ１と前景Ｆ２とが既に合成されたもの
である場合、所定のアルゴリズムにしたがって当該画像
を領域分割することにより、背景Ｆ１と前景Ｆ２とを取
り出し、それぞれのシーケンスとしてのＶＯを、対応す
るＶＯＰ構成部２n（但し、ｎ＝１，２，・・・，Ｎ）
に出力する。

【００６９】ＶＯＰ構成部２nは、ＶＯ構成部１の出力
からＶＯＰを構成する。すなわち例えば、各フレームか
ら物体（オブジェクト）を抽出し、その物体を囲む、例
えば最小の長方形（以下、適宜、最小長方形という）を
ＶＯＰとする。なおこのとき、ＶＯＰ構成部２nは、そ
の横および縦の画素数が、例えば１６の倍数となるよう
にＶＯＰを構成する。ＶＯ構成部２nは、ＶＯＰを構成
すると、そのＶＯＰをＶＯＰ符号化部３nに出力する。

【００７０】さらに、ＶＯＰ構成部２nは、ＶＯＰの大
きさ（例えば横および縦の長さ）を表すサイズデータ
（ＶＯＰ＿size）と、フレームにおけるそのＶＯＰの位
置（例えばフレームの最も左上を原点とするときの座
標）を表すオフセットデータ（ＶＯＰ＿offset）とを検
出し、これらのデータもＶＯＰ符号化部３nに供給す
る。

【００７１】ＶＯＰ符号化部３nは、ＶＯＰ構成部２nの
出力を、例えばＭＰＥＧやＨ．２６３などの規格に準拠
した方式で符号化し、その結果得られるビットストリー
ムを多重化部４に出力する。多重化部４は、ＶＯＰ符号
化部３1乃至３Nからのビットストリームを多重化し、そ
の結果得られる多重化データを、例えば地上波や衛星回
線、ＣＡＴＶ網その他の伝送路５を介して伝送し、また
は、例えば磁気ディスク、光磁気ディスク、光ディス
ク、磁気テープその他の記録媒体６に記録する。すなわ
ち、これら伝送媒体５や記録媒体６が本発明の提供媒体
の一実施の形態となる。

【００７２】ここで、ＶＯおよびＶＯＰについて説明す
る。

【００７３】ＶＯは、ある合成画像のシーケンスが存在
する場合の、その合成画像を構成する各オブジェクト
（物体）のシーケンスであり、ＶＯＰは、ある時刻にお
けるＶＯを意味する。すなわち、例えば画像Ｆ１および
Ｆ２を合成して構成された合成画像Ｆ３がある場合、画
像Ｆ１またはＦ２が時系列に並んだものがそれぞれＶＯ
であり、ある時刻における画像Ｆ１またはＦ２がそれぞ
れＶＯＰである。従って、ＶＯは、異なる時刻の同一オ
ブジェクトのＶＯＰの集合であると言うことができる。

【００７４】なお、図４の例のように、画像Ｆ１を背景
とするとともに画像Ｆ２を前景とすると、それらの合成
画像Ｆ３は、画像Ｆ２を切り抜くためのキー信号を用い
て、画像Ｆ１およびＦ２を合成することによって得られ
るが、この場合における画像Ｆ２のＶＯＰには、その画
像Ｆ２を構成する画像データ（輝度信号および色差信
号）の他、適宜、そのキー信号も含まれるものとする。

【００７５】画像フレーム（画枠）のシーケンスは、そ
の大きさおよび位置のいずれも変化しないが、ＶＯは、
大きさや位置が変化する場合がある。すなわち、同一の
ＶＯを構成するＶＯＰであっても、時刻によってその大
きさや位置が異なる場合がある。

【００７６】具体的にいうと、図４の例のように、画像
Ｆ１が例えばある自然の風景を撮影したものであり、画
像Ｆ２が例えば人が歩いている様子を撮影したものであ
る場合、画像Ｆ１のＶＯ＃１は風景の画像であるから、
基本的に通常の画像のフレームと同様にその位置および
大きさの両方とも変化しないのに対して、画像Ｆ２のＶ
Ｏ＃２は人の画像であるから、人物が左右に移動した
り、また図面において手前側または奥側に移動すること
により、その大きさや位置が変化する。従って、図４
は、同一時刻におけるＶＯ＃１およびＶＯ＃２を表して
いるが、ＶＯの位置や大きさは時間の経過に伴って変化
することがある。

【００７７】そこで、図１のＶＯＰ符号化部３nは、そ
の出力するビットストリームに、ＶＯＰを符号化したデ
ータの他、所定の絶対座標系におけるＶＯＰの位置（座
標）および大きさに関する情報も含めるようになされて
いる。なお、図４においては、ＶＯ＃１を構成するある
時刻のＶＯＰ（画像Ｆ１）の位置を示すベクトルをＯＳ
Ｔ１とし、その時刻と同一時刻におけるＶＯ＃２のＶＯ
Ｐ（画像Ｆ２）の位置を表すベクトルをＯＳＴ２とし
て、それぞれ表してある。

【００７８】次に、図５には、図１のＶＯＰ符号化部３
nの詳細な構成例を示す。なお、この図５において、図
３５における場合と対応する各構成要素については、同
一の指示符号を付してある。すなわち、ＶＯＰ符号化部
３nは、基本的には図３５のエンコーダと同様に構成さ
れているものである。

【００７９】この図５において、図３５における場合と
同様に、入力画像の画像データはフレームメモリ３１に
供給されてＶＯＰとして記憶される。

【００８０】動きベクトル検出器３２では、フレームメ
モリ３１に記憶されたＶＯＰに対してマクロブロック単
位で動きベクトルの検出を行う。すなわち、上述したよ
うに、ＶＯＰは時刻（フレーム）によって大きさや位置
が変化するため、その動きベクトルの検出にあたって
は、その検出のための基準となる座標系を設定し、その
座標系における動きを検出する必要がある。そこで、動
きベクトル検出器３２では、上述の絶対座標系を基準と
なる座標系とし、サイズデータＦＳＺ＿Ｂおよびオフセ
ットデータＦＰＯＳ＿Ｂにしたがってその絶対座標系に
符号化対象のＶＯＰ及び参照画像とするＶＯＰを配置し
て、動きベクトルを検出する。なお、検出された動きベ
クトル（ＭＶ）は、予測モードとともに形状情報符号化
器５０、ＶＬＣ器３６および動き補償器４２、量子化器
３５、逆量子化器３８、ＤＣＴ係数差分化器４４に供給
される。

【００８１】また、動き補償を行う場合においても、や
はり上述したように基準となる座標系における動きを検
出する必要があるため、動き補償器４２には、サイズデ
ータＦＳＺ＿ＢおよびオフセットデータＦＰＯＳ＿Ｂが
供給されるようになされている。

【００８２】演算器３３には、図３５の場合と同様に、
動きベクトル検出器３２がフレームメモリ３１から読み
出した画像データのおけるものと同一のマクロブロック
のデータが供給される。この演算器３３では、そのマク
ロブロックと動き補償器４２からの予測画像との差分を
演算する。この差分値は、ＤＣＴ器３４に送られる。動
き補償器４２は、図３５の場合と同様に、予測モードが
イントラ符号化モードである場合には、予測画像を出力
しない。この場合、演算器３３（演算器４０も同様）
は、特に処理を行わず、フレームメモリ３１から読み出
したマクロブロックのデータをそのままＤＣＴ器３４に
出力する。

【００８３】ＤＣＴ器３４では、演算器３３の出力デー
タに対して、８ライン×８画素からなるブロック単位で
ＤＣＴ処理を施し、そのＤＣＴ処理の結果得られるＤＣ
Ｔ係数を量子化器３５に供給する。

【００８４】量子化器３５では、図３５の量子化器３５
と同様に、入力されたＤＣＴ係数を量子化し、その量子
化データをＤＣＴ係数差分化器４４及び逆量子化器３８
に送る。

【００８５】逆量子化器３８では、図３５に示す逆量子
化器３８と同様の動作を行う。すなわち、量子化器３５
から入力された８×８の量子化されたＤＣＴ係数を逆量
子化し、ＩＤＣＴ器３９に送る。

【００８６】ＩＤＣＴ器３９は、図３５のIＤＣＴ器３
９と同様に動作し、逆量子化器３８より逆量子化された
ＤＣＴ係数を、ＩＤＣＴ処理して演算器４０に出力す
る。

【００８７】演算器４０には、ＩＤＣＴ器３９の出力デ
ータの他、動き補償器４２から、演算器３３に供給され
ている予測画像と同一のデータが供給されている。演算
器４０は、ＩＤＣＴ器３９の出力データ（予測残差（差
分データ））と、動き補償器４２からの予測画像データ
とを加算することで、元の画像データを局所復号し、こ
の局所復号した画像データ（局所復号画像データ）を出
力する。但し、予測モードがイントラ符号化である場合
には、ＩＤＣＴ器３９の出力データは演算器４０をスル
ーして、そのまま局所復号画像データとしてフレームメ
モリ４１に供給される。なお、この復号画像データは、
受信側において得られる復号画像データと同一のもので
ある。

【００８８】演算器４０において得られた復号画像デー
タ（局所復号画像データ）は、テクスチャ（texture）
情報として後述するパディング（Padding）処理器５１
に供給される。

【００８９】一方、形状情報(キー信号）、入力された
サイズデータＦＳＺ＿Ｂ、オフセットデータＦＰＯＳ＿
Ｂ、ＶＯＰのサイズデータＶＯＰ＿size、ＶＯＰのオフ
セットデータＶＯＰ_offset及び、動きベクトル検出器
３２より出力された動きベクトルと予測モードは、形状
情報符号化器５０に供給される。形状情報符号化器５０
では、ＭＰＥＧ４のビジュアルコミッティドラフト（Vi
sual Committe draft）にある記述に従ってその形状情
報の符号化を行う。符号化された形状情報は、形状情報
復号器５２及びＶＬＣ器３６へ送られる。

【００９０】形状情報復号器５２は、形状情報符号化器
５０から供給された、符号化されている形状情報の局所
復号化を行い、そのデータを色差情報用作成器５３及び
パディング（Padding）処理器５１、ＤＣＴ係数差分化
器４４及び、ＶＬＣ器３６へ送る。

【００９１】色差用形状情報作成器５３では、色差フォ
ーマットの形式により形状情報へ処理を加える。当該色
差用形状情報作成器５３の動作について以下に説明す
る。図６には、４：２：０フォーマット（図６の
（ａ））、４：２：２フォーマット（図６の（ｂ））、
４：４：４フォーマット（図６の（ｃ））の場合の色差
用形状情報の作成方法を説明するための図を示す。

【００９２】４：２：０フォーマットの場合を示す図６
の（ａ）において、輝度Ｙの画素ｌａ，ｌｂ，ｌｃ，ｌ
ｄのと色差Ｃｂ，Ｃｒの画素ｃａ（図６の（ａ）では同
じ位置に色差Ｃｂ及びＣｒが存在する）が対応した位置
に存在する画素となり、同様に輝度の画素ｌｅ，ｌｆ，
ｌｇ，ｌｈと色差の画素ｃｂが対応した位置に存在する
画素となる。すなわちここでの対応とは、ｌａの位置の
画素を実際に表示しようとした場合、当該ｌａの位置に
ある輝度ｙの画素値、及びｃａの位置にある色差Ｃｂ，
Ｃｒの画素値を用いてその表示する画素の情報として用
いると言うことである。

【００９３】ここで、４：２：０フォーマットの場合、
次段に送られることになる形状情報は、輝度の画素と一
対一に対応するように同数で同位置の情報のみとなされ
る。すなわち、図６の（ａ）の場合は、輝度の画素ｌ
ａ，ｌｂ，ｌｃ，ｌｄ，ｌｅ，ｌｆ，ｌｇ，ｌｈの位置
に対応する形状情報のみであり、色差の位置に対応した
形状情報は送られない。そのため、色差信号の符号化を
する際には、色差の画素と一対一対応した同位置で同数
の色差用の形状情報を、輝度用の形状情報より作成する
必要がある。具体的にいうと、色差の画素ｃａの位置
（この位置にはＣｂ，Ｃｒの色差情報が存在する）に対
応する輝度の画素はｌａ，ｌｂ，ｌｃ，ｌｄであり、し
たがって色差の画素ｃａの位置に対応する色差用の形状
情報は、これらｌａ，ｌｂ，ｌｃ，ｌｄの位置に存在す
る形状情報より作成することになる。

【００９４】形状情報は、通常２値の画像で伝送され、
例えば値が０のとき当該画素はオブジェクトの外側であ
ることを、値が１のとき当該画素がオブジェクトの内側
であることを示している。そのため、４：２：０フォー
マットにおいて、対応する輝度の画素の形状情報の中に
一つでも形状情報が１となっている画素、すなわちオブ
ジェクトの内側であると判断された画素の場合には、対
応する色差の形状情報も１（オブジェクトの内側）であ
るとされる。また、対応する輝度の画素が全て０（オブ
ジェクトの外側）である場合、色差の画素も０（オブジ
ェクトの外側）となる。例えば、輝度の画素ｌａ，ｌ
ｂ，ｌｃ，ｌｄの形状情報が１、すなわち当該画素がオ
ブジェクトの内側である場合には、ｃａに位置する色差
用の形状情報も１、すなわちオブジェクトの内側である
として判断され、逆に、輝度の画素ｌａ，ｌｂ，ｌｃ，
ｌｄの形状情報が０、すなわち当該画素がオブジェクト
の外側である場合には、ｃａに位置する色差用の形状情
報も０、すなわちオブジェクトの外側であるとして判断
される。なお、グレイスケールシェイプ（gray-scalesh
ape）の場合の形状情報としては、上記２値情報に加
え、形状情報の階調を表す情報が別途送られる。

【００９５】次に、４：２：２フォーマットの場合は、
図６の（ｂ）に示すように輝度の画素ｌａ，ｌｂと色差
の画素ｃａ（この位置には色差情報Ｃｂ，Ｃｒが存在す
る）が対応し、同様に輝度の画素ｌｃ，ｌｄと色差の画
素ｃｂが対応し、輝度の画素ｌｅ，ｌｆと色差の画素ｃ
ｃが、輝度の画素ｌｇ，ｌｈと色差の画素ｃｄがそれぞ
れ対応する。４：２：２フォーマットの場合は、対応す
る２つの輝度の画素の両方または何れか一方の形状情報
が１、すなわちオブジェクトの内側であることを示して
いる場合、対応する色差の形状情報も１（オブジェクト
の内側）となる。また、対応する２つの輝度の画素の何
れも形状情報が０（オブジェクトの外側）である場合、
同位置の色差の形状情報も０（オブジェクトの外側）と
なる。例えば、図６の（ｂ）の場合には、輝度の画素ｌ
ａ，ｌｂの位置に属する形状情報のどちらかまたは両方
が１の場合、色差の画素ｃａの位置に属する形状情報も
１となる。また輝度の画素ｌａ，ｌｂの位置に属する形
状情報がどちらも０の場合、色差の画素ｃａの位置に属
する形状情報も０となる。

【００９６】次に、４：４：４フォーマットの場合は、
図６の（ｃ）に示すように、各輝度の画素と色差の画素
が同位置に配置される。すなわち、輝度の画素ｌａと色
差の画素ｃａ（この位置には色差情報Ｃｂ，Ｃｒが存在
する）が対応し、以下同様に、輝度の画素ｌｂと色差の
画素ｃｂが、輝度の画素ｌｃと色差の画素ｃｃが、輝度
の画素ｌｄと色差の画素ｃｄが、輝度の画素ｌｅと色差
の画素ｃｅが、輝度の画素ｌｆと色差の画素ｃｆが、輝
度の画素ｌｇと色差の画素ｃｇが、輝度の画素ｌｈと色
差の画素ｃｈがそれぞれ対応する。したがって、この
４：４：４フォーマットの場合は、輝度の画素ｌａの位
置に属する形状情報はそのまま色差の画素ｃａの位置に
ある色差の画素（Ｃｂ、Ｃｒ）の形状情報として活用す
ることが可能である。他の色差の画素ｃｂ，ｃｃ，ｃ
ｄ，ｃｅ，ｃｆ，ｃｇ，ｃｈについても同様に、それぞ
れ対応する輝度の画素ｌｂ，ｌｃ，ｌｄ，ｌｅ，ｌｆ，
ｌｇ，ｌｈの位置に属する形状情報を活用する。

【００９７】このようにして 色差用形状情報作成器５
３では、輝度の画素と同位置にある形状情報より、その
符号化を行っている色差フォーマットに合わせて色差用
の形状情報を作成する。当該色差用形状情報作成器５３
にて作成された色差用形状情報は、パディング（Paddin
g）処理器５１、ＤＣＴ係数差分化器４４、ＶＬＣ器３
６に供給される。

【００９８】ここで、図７及び図８を用いて、パディン
グ処理器５１の動作を説明する。図７は、パディング処
理器５１の具体的な構成例を示している。

【００９９】図７において、図５の演算器４０からの局
所復号画像データであるテクスチャ（texture）情報
は、水平方向パディング処理器６１に供給される。ま
た、水平方向パディング処理器６１には、図５の形状情
報復号器５２及び、色差用形状情報作成器５３より、輝
度のパディングに用いる形状情報、及び色差のパディン
グに用いる形状情報が供給される。

【０１００】図８には、水平方向パディング処理器６１
にて行われる操作手順を示す。

【０１０１】パディング処理は、各マクロブロック毎
に、また各マクロブロック内では輝度及び２つの色差情
報毎に行われる。ここで、マクロブロックの輝度情報に
ついてパディング処理を行う場合、テクスチャ（textur
e）情報の輝度の画素値（１６画素×１６画素）が図８
に示す操作手順の中の変数d[y][x]として、また対応す
る位置の形状情報（１６画素×１６画素）が図８に示す
操作手順の中の変数s[y][x]として処理される。また、
色差情報についてパディング処理を行う場合、それぞれ
テクスチャ情報が変数d[y][x]として、また色差用の形
状情報が変数s[y][x]として処理される。ただし、色差
情報の場合、その処理を行う画素数は４：２：０フォー
マットの場合で８画素×８画素、４：２：２フォーマッ
トの場合で８画素×１６画素、４：４：４フォーマット
の場合で１６画素×１６画素単位となる。

【０１０２】当該水平方向パディング処理器６１でのパ
ディング処理は、各ライン毎に行われる。すなわち、水
平方向パディング処理器６１では、マクロブロックの各
ラインに対して順次パディング操作を行って、水平方向
のパディングを行う。なお、水平方向のパディングを行
うライン内にオブジェクト内の画素が一つも存在しない
場合、そのラインについてはパディング処理が行われな
い。水平方向のラインに１つ以上のオブジェクトが存在
している場合に、図８の処理が行われることとなる。

【０１０３】上記水平方向パディング処理器６１にて水
平方向にパディング処理が施されたテクスチャ（textur
e）情報と形状情報は、垂直方向パディング処理器６２
に供給される。この垂直方向パディング処理器６２に供
給されるテクスチャ情報は、図８に示す操作手順の中の
変数hor_pad[y][x]で表され、また同様に垂直方向パデ
ィング処理器６２へ供給される形状情報は、図８に示す
操作手順の中の変数s'[y][x]で表される。また、図８に
示す操作手順の中の変数x'はパディング処理を行ってい
る水平ラインにおいて、xの左側に位置するオブジェク
トの境界の画素の位置を表し、変数x''は同様に右側の
オブジェクトの境界の位置を示す。

【０１０４】図９には、垂直方向パディング処理器６２
にて行われる操作手順を示す。

【０１０５】この図９に示す操作手順の中の変数hor_pa
d[y][x]は、上記水平方向にパディング処理を行ったテ
クスチャ情報であり、図９に示す操作手順の中の変数s'
[y][x]は水平方向のパディング時に変更された形状情報
であり、どちらも水平方向パディング処理器６１より供
給されたものである。

【０１０６】この垂直方向パディング処理器６２におい
ても水平方向パディング処理器６１と同様、色差情報の
場合、その処理を行う画素数は、４：２：０フォーマッ
トの場合で８画素×８画素、４：２：２フォーマットの
場合で８画素×１６画素、４：４：４フォーマットの場
合で１６画素×１６画素単位となる。

【０１０７】また、この垂直方向パディング処理器６２
にて垂直方向にもパディング処理が行われたテクスチャ
情報は、図９に示す操作手順の中の変数hv_pad[y][x]で
表される。また、図９に示す操作手順の中の変数y'はパ
ディング処理を行う垂直ラインにおいて、yの上側に位
置するオブジェクトの境界の画素の位置を表し、図９に
示す操作手順の中の変数y''は同様に下側のオブジェク
トの境界の位置を示す。

【０１０８】垂直方向パディング処理器６２でのパディ
ング処理は、各垂直ライン毎に行われる。すなわち、当
該垂直方向パディング処理器６２では、マクロブロック
の各垂直ラインに対して順次パディング操作を行って、
垂直方向のパディングを行う。なお、垂直方向のパディ
ングを行うライン内にオブジェクト内の画素が一つも存
在しない場合、そのラインについてはパディング処理が
行われない。垂直方向のラインに１つ以上のオブジェク
トが存在している場合に、図９で示す処理が行われる。
図９に示す操作手順の中の変数hv_pad[y][x]は、拡張パ
ディング器６３へ供給される。

【０１０９】拡張パディング器６３では、オブジェクト
の境界に位置するマクロブロックの上下左右に隣接する
マクロブロックに対し、さらにパディング処理を行う。
すなわち図１０に示す例の場合、図中の黒色のマクロブ
ロックがその対象となる。当該拡張パディングによるマ
クロブロック（previous block）は、例えば図１１の
（ａ），（ｂ）に示すように、隣接するオブジェクトの
境界に位置するマクロブロック（current block）のそ
の端の画素値を用いてパディングされる。また、図１２
に示すように、パディングされるマクロブロック（Exte
rior macroblock）が複数のオブジェクトの境界を持つ
マクロブロック（Boundary macroblock０〜Boundary ma
croblock３）に囲まれている場合、この図１２のマクロ
ブロック（Boundary macroblock０〜Boundary macroblo
ck３）に付けられている０〜３の番号の順番に参照する
マクロブロックを選択する。

【０１１０】拡張パディング器６３の出力は、図５のフ
レームメモリ４１に供給されて記憶され、その後、イン
ター符号化（前方予測符号化、後方予測符号化、量方向
予測符号化）される画像に対する参照画像データ（参照
フレーム）として用いられる。

【０１１１】そして、フレームメモリ４１に記憶された
画像データは、後方予測に用いる画像、または前方予測
に用いる画像データとして、動き補償器４２より出力さ
れることになる。

【０１１２】一方、動き補償器４２は、動き補償参照画
像指示信号により指定される画像（フレームメモリ４１
に記憶されている局所復号された画像）に対して、動き
ベクトル検出器３２からの予測モードおよび動きベクト
ルをもとに動き補償を施し、予測画像を生成して演算器
３３および４０に出力する。すなわち、動き補償器４２
は、前方／後方／両方向予測モードのときのみ、フレー
ムメモリ４１の読み出しアドレスを、演算器３３に対し
て現在出力しているブロックの位置に対応する位置から
動きベクトルに対応する分だけずらして、当該フレーム
メモリ４１から前方予測または後方予測に用いる画像デ
ータを読み出し、予測画像データとして出力する。な
お、両方向予測モードのときは、前方予測と後方予測に
用いる画像データの両方が読み出され、例えばその平均
値が予測画像データとして出力される。このようにして
得られた予測画像データが、減算器としての前記演算器
３３に供給され、前述したように差分データが生成され
る。

【０１１３】さらに、この動き補償器４２からの予測画
像データは、加算器としての演算器４０にも供給され
る。また、前方／後方／両方向予測の場合、演算器４０
には、予測画像データの他、予測画像によって差分化さ
れた差分データが逆ＤＣＴ回路３９から送られている。
当該演算器４０では、この差分データを動き補償器４２
からの予測画像に対して加算し、これにより局所復号が
行われることになる。この局所復号画像は、復号化装置
で復号される画像と全く同一の画像であり、上述したよ
うに、次の処理画像に対して、前方／後方／両方向予測
を行うときに用いる画像としてフレームメモリ４１に記
憶される。

【０１１４】また、予測モードがイントラ符号化である
場合、演算器４０には画像データそのものが逆ＤＣＴ回
路３９の出力として送られてくるので、当該演算器４０
は、この画像データをそのままフレームメモリ４１に出
力して記憶させる。

【０１１５】なお、ＭＰＥＧ４においては、ＭＰＥＧ１
及びＭＰＥＧ２と異なり、Ｂピクチャ（Ｂ−ＶＯＰ）も
参照画像として用いられるため、当該Ｂピクチャも局所
復号され、フレームメモリ４１に記憶されるようになさ
れている。但し、現時点においては、Ｂピクチャが参照
画像として用いられるのは階層符号化を行った場合の上
位レイヤについてだけである。

【０１１６】図５に戻り、ＤＣＴ係数差分化器４４で
は、量子化器３５にて量子化されたＤＣＴ係数に対し、
後述するように、ブロック単位でＡＣ係数／ＤＣ係数の
予測処理を行う。

【０１１７】すなわち、ＤＣＴ係数差分化器４４は、イ
ントラ符号化されるマクロブロックの各ブロックに対
し、そのＤＣＴ係数のうちのＤＣ係数とＡＣ係数をＭＰ
ＥＧ４(ISO/IEC 14496-2)のコミッティドラフト（Commi
tee Draft）にて定められた手段に応じて予測を行う。
また、ＤＣＴ係数差分化器４４は、この時、各ブロック
毎に同じくコミッティドラフトにて定められた手段に応
じて各係数の予測に用いるブロックを決定する。

【０１１８】図１３には、ＤＣＴ係数差分化器４４の具
体的構成例を示す。

【０１１９】この図１３において、ＤＣＴ係数差分化器
４４には、量子化されたＤＣＴ係数及び、量子化スケー
ル、形状情報、色差用形状情報、予測モードが入力され
る。予測モードは、イントラフラグ発生器４００に入力
される。イントラフラグ発生器４００は、予測モードが
イントラ符号化を示す予測モード（イントラ符号化モー
ドあるいは画像内予測モード）である場合のみ、イント
ラフラグを立てる。このイントラフラグは、通常０とな
っているものであり、イントラ符号化の予測モードのと
きに１となされる。

【０１２０】一方、量子化されたＤＣＴ係数、すなわち
６４個のＤＣＴ係数は、スイッチ４０１に供給される。
スイッチ４０１は、イントラフラグが０の場合、被切換
端子Ａ側を選択し、またイントラフラグが１の場合、被
切換端子Ｂ側を選択するようになされている。従って、
予測モードがイントラ符号化（画像内予測）モードでな
い場合、ＤＣＴ係数は、スイッチ４０１の被切換端子Ａ
を介して、図５のＶＬＣ器３６へ供給される。

【０１２１】一方、予測モードがイントラ符号化モード
の場合、ＤＣＴ係数は、ＤＣＴ係数予測器４０２、及び
逆量子化器４０５へ供給される。

【０１２２】ＤＣＴ係数予測器４０２は、スイッチ４０
１より供給されたＤＣＴ係数と、ＤＣＴ係数予測値選択
器４０３より供給されたＤＣＴ係数の予測値との差分を
とり、その差分値を図５のＶＬＣ器３６へと供給する。

【０１２３】また、逆量子化器４０５では、後のＤＣＴ
係数の予測に使用されるＤＣ係数及び一部のＡＣ係数
を、図５の逆量子化器３８と同様の手段で逆量子化し、
その結果をＤＣＴ係数予測モード蓄積メモリ４０４に供
給する。

【０１２４】ＤＣＴ係数予測モード蓄積メモリ４０４
は、前述した通り、ＤＣＴ係数の予測に用いるＤＣ係数
及び一部のＡＣ係数、さらに予測モードを蓄積する。こ
こで蓄積された情報は、次段のＤＣＴ係数予測値選択器
４０４において使用される。

【０１２５】ＤＣＴ係数予測値選択器４０３では、ＤＣ
係数と、ＤＣＴ係数予測モード蓄積メモリ４０４に保存
された情報を用いて、ＤＣＴ係数の予測値及び予測ブロ
ックの位置を出力し、その値をＤＣＴ係数予測器４０２
に供給する。

【０１２６】ここでＤＣＴ成分予測値選択器４０３の動
作を、図１４を用いて説明する。図１４は、ＤＣ係数の
差分演算を行うブロックＸと、当該差分演算を行う上で
ＤＣＴ係数を参照するブロックの位置関係を示してい
る。

【０１２７】この図１４において、ブロックＸの左側に
位置するブロックをＡ、上に位置するブロックをＣ、そ
の左上に位置するブロックをＢとする。また、ブロック
ＡのＤＣ係数をFA[0][0]、ブロックＢのＤＣ係数をFB
[0][0]、ブロックＣのＤＣ係数をFC[0][0]とする。これ
らの値は、逆量子化されたＤＣ係数の値であり、量子化
されたブロックＡ，Ｂ，ＣのＤＣ係数に、イントラＤＣ
プレシジョン（intra_dc_precision）、量子化スケール
を用いて図７の手法により求められたＤＣ量子化ステッ
プの値を積算して求められたものである。ただし、これ
らのブロックが、ＶＯＰの外側に位置していたり、イン
トラ（intra）符号化されるブロック以外のブロックで
あった場合、２の(number_of_bits-2)乗の値が使用され
る。また、図１４のＡ，Ｂ，Ｃの各ブロックについて、
これらのブロックがオブジェクトの外側であると判断さ
れた場合、これらのＤＣ係数も(number_of_bits-2)乗の
値となる。

【０１２８】ここで、ブロックＸのＤＣ係数の差分値を
求めるのに使用するブロックは、式（１）により決定さ
れる。

【０１２９】 if(|FA[0][0]-FB[0][0]|<|FB[0][0]-FC[0][0]|) predict from block C else predict from block A （１） すなわち、この式（１）は、FA[0][0]とFB[0][0]の差の
絶対値とFB[0][0]とFC[0][0]の差の絶対値を比較し、FA
[0][0]とFB[0][0]の差の絶対値がFB[0][0]とFC[0][0]の
よりも小さい場合には、ブロックＡをその予測ブロック
としその予測に用い、FB[0][0]とFC[0][0]の差の絶対値
がFA[0][0]とFB[0][0]の差の絶対値よりも小さい場合に
はブロックＣをその予測ブロックとし予測値とすること
を表している。

【０１３０】また、ＤＣＴ係数は、入力された量子化ス
テップにより図５の量子化器３５と同様の方法により量
子化される。これは、ＤＣＴ係数予測器４０２において
入力されたＤＣＴ係数は、ＤＣＴ係数予測値選択器４０
３に入力された量子化スケールと同じ値により既に量子
化されているため、その量子化ステップを揃えるためで
ある。

【０１３１】また、予測に用いられるＤＣＴ係数は、図
１５により示されるＡＣ係数及び各ＤＣ係数である。

【０１３２】以下、予測値の選択方法をこの図１５を用
いて説明する。

【０１３３】図１５において、ブロックＸのＤＣＴ係数
の予測ブロックがブロックＡであった場合、その予測に
使用されるＡＣ係数は、ブロックＡにおいて図中黒色で
示される位置に対応するＡＣ係数となり、またブロック
ＡのＤＣ係数も同様に予測に用いられる。また、ブロッ
クＣがその予測ブロックとされた場合、当該ブロックＣ
の図中黒色で示される位置に対応するＡＣ係数及び、当
該ブロックＣのＤＣ係数がその予測値として用いられ
る。

【０１３４】さらに、ブロックＡが予測ブロックとして
選択された場合、ブロックＸにおいては、そのＤＣ係数
及び左側の列に並んだＡＣ係数のみがその予測の対象と
なり、これらのＤＣＴ係数のみの差分がとられることに
なる。また同様に、ブロックＣが予測ブロックとして選
択された場合、ブロックＸにおいては、一番上の行のＡ
Ｃ係数及びＤＣ係数がその予測対象となる。

【０１３５】また、ＤＣ係数の予測値は、その予測に選
択されたブロックがオブジェクトの外側に位置していた
り、インター予測をしていた場合、１２８の値が出力さ
れ、ＡＣ係数の場合は、選択されたブロックがオブジェ
クトの外側に位置したとき、そのＡＣ係数が０として扱
われる。

【０１３６】ＤＣＴ成分予測値選択器４０３において上
述にようにして求められたＤＣＴ係数の予測値は、ＤＣ
Ｔ係数予測器４０２に供給される。

【０１３７】ＤＣＴ係数予測器４０２では、前述したよ
うにＤＣＴ係数の予測値と、それに対応する位置の差分
を求め、その値を図５のＶＬＣ器３６に出力する。

【０１３８】次に、上述したようなＡＣ／ＤＣ予測に用
いるブロックについて、色差フォーマット毎に図１６を
用いて説明する。また、色差ブロックにおいてオブジェ
クト内のブロックかどうか判別する方法について、図１
７を用いて説明する。

【０１３９】図１６の（ａ）は、輝度及び４：４：４フ
ォーマットの色差ブロックにおけるＡＣ／ＤＣ予測に用
いるブロックを模式的に示したものである。

【０１４０】すなわち、図１６の（ａ）におけるブロッ
クＥのＡＣ／ＤＣ係数の予測を行う場合、先ず、Ａ，
Ｂ，Ｄのブロックを用いて、その予測に用いるブロック
を決定する。その後、その決定に従い、ブロックＢもし
くはブロックＤの何れかのブロックが、ブロックＥの予
測ブロックとして用いられることになる。同様に、ブロ
ックＦのＡＣ／ＤＣ係数の予測は、Ｂ，Ｃ，Ｅのブロッ
クを予測の決定に用い、その後当該決定に従ってＣ，Ｅ
の何れかのブロックから予測を行う。ブロックＨのＡＣ
／ＤＣ係数の予測は、Ｄ，Ｅ，Ｇのブロックを予測の決
定に用い、その後当該決定に従ってＥ，Ｇのブロックの
何れかから予測を行う。ブロックＩのＡＣ／ＤＣ係数の
予測は、Ｅ，Ｆ，Ｈのブロックを予測の決定に用い、そ
の後当該決定に従ってＦ，Ｈのブロックの何れかから予
測を行う。

【０１４１】ここで、ＡＣ／ＤＣ予測を行う際には、各
ブロックがオブジェクトの境界内に存在するか否かを判
定する必要がある。

【０１４２】輝度ブロックの場合は、図５の形状情報復
号器５２より供給される形状情報を用いてこれを決定す
る。すなわちオブジェクトの内側かどうかを判定するの
は、その同位置に位置する形状情報を参照し、同位置の
形状情報の８×８画素のブロック内に、形状情報が１の
値となる画素を持つ画素値が一つ以上存在する場合（す
なわちオブジェクト内の画素が１つ以上存在する場
合）、そのブロックをオブジェクト内の画素として見な
すことができる。

【０１４３】４：４：４フォーマットにおける色差ブロ
ックの場合は、図１７に示すように、図５の色差用形状
情報作成器５３より供給される色差用の形状情報（ただ
し、４：４：４フォーマットの場合は、輝度に用いられ
る形状情報と等しい）から各ブロック内に値が１となる
画素値を持つ画素、すなわちオブジェクトの内側である
ことを示す画素が１つ以上存在するか否かで判別するこ
とができる。

【０１４４】また、これ以外の方法としては、同位置に
存在する輝度のブロックがオブジェクト内か否かにより
判別しても良い。例えば図３の（ｃ）の場合、ブロック
４，５がオブジェクトの内側であるか否かは、ブロック
０より判定することができ、同様にブロック６，７の場
合はブロック２より、ブロック８，９の場合はブロック
１より、ブロック１０，１１の場合はブロック３より判
定することも可能である。

【０１４５】それらどちらの判断方法を使用した場合で
も、色差ブロックがオブジェクトの内側に位置するかど
うかの判定結果は同じになるため、その符号化／復号化
装置の仕様により適宜選択することができる。

【０１４６】図１６の（ｂ）は、４：２：２フォーマッ
トの色差ブロックにおけるＡＣ／ＤＣ予測に用いるブロ
ックを模式的に示したものである。

【０１４７】すなわち、図１６の（ｂ）におけるブロッ
クＤのＡＣ／ＤＣ係数の予測を行う場合、先ずＡ，Ｂ、
Ｃのブロックを用いて、その予測に用いるブロックを決
定する。その後当該決定に従ってＢもしくはＣのブロッ
クの何れかがブロックＤの予測ブロックとして用いられ
ることになる。同様にブロックＧのＡＣ／ＤＣ係数の予
測は、Ｃ，Ｄ，Ｅのブロックを予測の決定に用い、その
決定に従ってＤ，Ｅのブロックの何れかから予測を行
う。

【０１４８】この４：２：２フォーマットにおいても、
上記４：４：４フォーマットの色差ブロックの場合と同
様に、ＡＣ／ＤＣ予測を行う上で各ブロックがオブジェ
クトの境界内に存在するか否かを判定する必要がある。

【０１４９】すなわち当該４：２：２フォーマットにお
ける色差ブロックの場合は、図１７に示すように、図５
の色差用形状情報作成器５３より供給される色差用の形
状情報から、各ブロック内に値が１となっている画素値
を持つ画素、すなわちオブジェクトの内側であることを
示す画素が存在するか否かで判別することができる。

【０１５０】また、これ以外の方法としては、判定を行
う色差ブロックと対応する位置に存在する輝度のブロッ
クがオブジェクト内か否かにより判別しても良い。例え
ば図３の（ｂ）の場合、ブロック４，５がオブジェクト
の内側かどうかは、ブロック０，１の何れか、もしくは
両方がオブジェクトの内側のブロックであるとき、当該
ブロック４，５もオブジェクトの内側のブロックである
と判断することができ、同様にブロック６，７の場合
は、ブロック２，３がオブジェクトの内側かどうかで判
断することができる。

【０１５１】どちらの判断方法を使用した場合でも色差
ブロックがオブジェクトの内側に位置するかどうかの判
定結果は同じになるため、その符号化／復号化装置の仕
様により適宜選択することができる。

【０１５２】図１６の（ｃ）は、４：２：０フォーマッ
トの色差ブロックにおけるＡＣ／ＤＣ予測に用いるブロ
ックを模式的に示したものである。

【０１５３】すなわち、図１６の（ｃ）におけるブロッ
クＤのＡＣ／ＤＣ係数の予測を行う場合、先ずＡ，Ｂ，
Ｃのブロックを用いて、その予測に用いるブロックを決
定する。その後その決定に従ってＢもしくはＣのブロッ
クの何れかが、Ｄのブロックの予測ブロックとして用い
られることになる。

【０１５４】４：２：０フォーマットにおいても、上記
４：４：４フォーマットや４：２：２フォーマットの色
差ブロックの場合と同様に、ＡＣ／ＤＣ予測を行う上で
各ブロックがオブジェクトの境界内に存在するか否かを
判定する必要がある。

【０１５５】すなわち４：２：０フォーマットにおける
色差ブロックの場合、図１７に示すように、図５の色差
用形状情報作成器５３より供給される色差用の形状情報
から、各ブロック内に値が１となる画素値を持つ画素、
すなわちオブジェクトの内側であることを示す画素が存
在するか否かで判別することができる。

【０１５６】またこれ以外の方法としては、判定を行う
色差ブロックと対応する位置に存在する輝度のブロック
がオブジェクト内か否かにより判別しても良い。例えば
図３の（ａ）の場合、ブロック４，５がオブジェクトの
内側かどうかは、ブロック０，１，２，３の何れか、も
しくは両方がオブジェクトの内側のブロックであると
き、これらブロック４，５もオブジェクトの内側のブロ
ックであると判断することができる。

【０１５７】どちらの判断方法を使用した場合でも、色
差ブロックがオブジェクトの内側に位置するかどうかの
判定結果は同じになるため、その符号化／復号化装置の
仕様により適宜選択することができる。

【０１５８】図５に戻って、ＶＬＣ器３６では、図３５
における場合と同様に、量子化係数、量子化ステップ、
動きベクトル、および予測モードが供給される他、サイ
ズデータＦＳＺ＿ＢおよびオフセットデータＦＰＯＳ＿
Ｂも供給される。したがって、ＶＬＣ器３６では、これ
らのデータすべてを可変長符号化する。

【０１５９】また、ＶＬＣ器３６では、図３５で説明し
たように、Ｉ，Ｐ，Ｂピクチャ（Ｉ−ＶＯＰ，Ｐ−ＶＯ
Ｐ，Ｂ−ＶＯＰ）のマクロブロックについて、スキップ
マクロブロックとするかどうかを決定し、その決定結果
を示すフラグＣＯＤ，ＭＯＤＢを設定する。このフラグ
ＣＯＤ，ＭＯＤＢは、やはり可変長符号化されて伝送さ
れる。また、各ブロック毎にそのＤＣＴ係数の符号化を
行うが、そのブロックがオブジェクトの外側のブロック
である場合、ＤＣＴ係数の符号化は行われない。

【０１６０】各ブロックがオブジェクトの外側もしくは
内側に位置するかは、輝度ブロックの場合は形状情報復
号器５２より判断することができ、色差ブロックの場合
はこの輝度ブロックの判定結果もしくは、色差用形状情
報作成器５３より供給される色差用の形状情報より判断
できる。オブジェクトの内側かどうかの判定法は、輝
度、色差の場合共に、前述したＤＣＴ係数差分化器４４
におけるブロックの判定法と同様の方法で判定すること
ができる。

【０１６１】次に、図１８には、本発明の画像復号方法
及び装置が適用される一実施の形態のデコーダ、すなわ
ち図１のエンコーダから出力されるビットストリームを
復号するデコーダの構成例を示している。

【０１６２】このデコーダには、図１のエンコーダから
伝送路５または記録媒体６を介して提供されるビットス
トリーム（bitstream）が供給される。すなわち、図１
のエンコーダから出力され、伝送路５を介して伝送され
てくるビットストリームは図示せぬ受信装置で受信さ
れ、また、記録媒体６に記録されたビットストリームは
図示せぬ再生装置で再生されて、逆多重化部７１に供給
される。

【０１６３】逆多重化部７１では、入力されたビットス
トリーム（後述するＶＳ（Video Stream））を、ビデオ
オブジェクト（Video Object）ごとのビットストリーム
ＶＯ＃１，ＶＯ＃２，・・・，ＶＯ＃Ｎに分離し、それ
ぞれ対応するＶＯＰ復号部７２1〜７２Nに供給する。

【０１６４】ＶＯＰ復号部７２1〜７２Nのうち、ＶＯＰ
復号部７２nでは、逆多重化部７１から供給されたビッ
トストリームより、ビデオオブジェクト（Video Objec
t）を構成するＶＯＰ（画像データ）、サイズデータ
（ＶＯＰ＿size）、およびオフセットデータ（ＶＯＰ＿
offset）を復号し、画像再構成部７３に供給する。

【０１６５】画像再構成部７３では、ＶＯＰ復号部７２
1乃至７２Nからの出力に基づいて、元の画像を再構成す
る。この再構成された画像信号は、例えばモニタ７４に
供給される。これにより、当該モニタ７２には再構成さ
れた画像が表示される。

【０１６６】次に、図１９は、ＶＯＰ復号部７２nの構
成例を示す。なお、図１９中で、図３６のデコーダにお
ける場合と対応する各構成要素については、同一の指示
符号を付してある。すなわち、ＶＯＰ復号部７２nは、
基本的に図３６のデコーダと同様に構成されている。

【０１６７】この図１９において、逆多重化部７２nか
ら供給されたビットストリームは、バッファ１０１に供
給されて一時記憶される。

【０１６８】ＩＶＬＣ器１０２は、後段におけるブロッ
クの処理状態に対応して、上記バッファ１０１からビッ
トストリームを適宜読み出し、そのビットストリームを
可変長復号することで、量子化係数、動きベクトル、予
測モード、量子化ステップ、サイズデータＦＳＺ＿Ｂ、
オフセットデータＦＰＯＳ＿Ｂ、形状復号化情報および
フラグＣＯＤなどを分離する。量子化係数および量子化
ステップは、逆量子化器１０３に供給され、動きベクト
ルおよび予測モードは、動き補償器１０７、逆量子化器
１０３、ＤＣ係数逆差分化器１１１に供給される。ま
た、サイズデータＦＳＺ＿ＢおよびオフセットデータＦ
ＰＯＳ＿Ｂは、動き補償器１０７、図１８の画像再構成
部７３に供給される。形状復号化情報は、形状復号化器
１１０に供給される。

【０１６９】逆量子化器１０３、ＩＤＣＴ器１０４、演
算器１０５、フレームメモリ１０６、形状復号化器１１
０、色差用形状情報作成器１０９、パディング処理器１
０８、動き補償器１０７では、図１のＶＯＰ符号化部３
nを構成する図５の逆量子化器３８、ＩＤＣＴ器３９、
演算器４０、フレームメモリ４１、形状情報復号器５
２、色差用形状情報作成器５３，パディング処理器５１
または動き補償器４２における場合とそれぞれ同様の処
理が行われる。

【０１７０】形状情報復号器１１０では、ＩＶＬＣ器１
０２より供給された符号化された形状情報を復号して復
元する。形状情報復号器１１０は、図５の形状情報復号
器５２と同様に動作し、その出力はＤＣＴ係数逆差分化
器１１１、パディング処理器１０８、及び色差用形状情
報作成器１０９に供給される。

【０１７１】色差用形状情報作成器１０９は、図５の色
差用形状情報作成器５３と同様に動作し、色差のフォー
マットに合わせて、形状情報復号器１１０からの出力を
変換してパディング処理器１０８及びＤＣＴ係数逆差分
化器１１１に供給する。

【０１７２】逆量子化器１０３では、ＩＶＬＣ器１０２
から供給された量子化係数（量子化スケール）を元に、
同じくＩＶＬＣ器１０２から供給された量子化されたＤ
ＣＴ係数を逆量子化する。当該逆量子化器１０３は、図
５の逆量子化器３８と同様に動作し、その出力はＤＣＴ
係数逆差分化器１１１に供給される。

【０１７３】ＤＣＴ係数逆差分化器１１１は、図５のＤ
ＣＴ係数差分化器４４と同様にして、該当ブロックの予
測に使用されたブロックを選択し、逆量子化器１０３よ
り供給されたＤＣＴ係数と加算することで、ＤＣＴ係数
のＡＣ係数及びＤＣ係数を復元する。このように復元さ
れたＤＣＴ係数は、ＩＤＣＴ器１０４に送られる。

【０１７４】また、ＤＣＴ係数逆差分化器１１１では、
図５のＤＣＴ係数差分化器４４の場合と同様に、形状情
報復号器１１０から供給された形状情報、及び色差用形
状情報作成器１０９より供給された色差用形状情報を用
いて、各ブロックにオブジェクトの内側かあるいは外側
かの判定を行う。この判定方法についても、図５でのＤ
ＣＴ係数差分化器４４と同様の方法が使用される。

【０１７５】ＩＤＣＴ器１０４は、図５のＩＤＣＴ器３
９と同様に動作し、ＤＣＴ係数逆差分化器１１１からの
ＤＣＴ係数をＩＤＣＴ処理し、得られたデータを演算器
１０５に供給する。

【０１７６】演算器１０５は、図５の演算器４０と同様
に動作し、フレーム間予測が行われている場合には動き
補償器１０７からの出力とＩＤＣＴ器１０４の出力とを
１画素単位で加算する。フレーム内予測（イントラ符号
化）が行われている場合には、特に動作しない。演算器
１０５の出力は、パディング処理器1１０８に供給され
るとともに、テクスチャ情報として出力される。

【０１７７】パディング処理器１０８は、図５のパディ
ング処理器５１と同様に動作し、形状情報復号器１１０
及び色差用形状情報作成器１０９から出力された形状情
報を元に、演算器１０５からの出力画像に対してパディ
ング処理を行う。このパディング処理器１０８の出力
は、フレームメモリ１０６に蓄積される。

【０１７８】フレームメモリ１０６に蓄積されているデ
ータは、動き補償器１０７により適宜呼び出され、演算
器１０５に出力される。これらフレームメモリ１０６及
び動き補償器１０７の動作は、図５に示すフレームメモ
リ４１及び動き補償器４２の動作と同様である。

【０１７９】この図１９に示したように、ＶＯＰ復号部
７２nではＶＯＰが復号され、当該復号されたＶＯＰが
図１８の画像再構成部７３に供給される。

【０１８０】次に、図１のエンコーダが出力する符号化
ビットストリームのシンタックスについて、例えば、Ｍ
ＰＥＧ４規格のビジュアルコミッティドラフト（Visual
Comitee Draft）の記載を例に説明する。なお、これ以
降で説明する各シンタックスは、ＭＰＥＧ４のビジュア
ルコミッティドラフトにて規定されており、既知のもの
であるためそれらの図示は省略するが、本発明において
特に必要と認めるシンタックスについては図示する。

【０１８１】ＭＰＥＧ４において、ビジュアルオブジェ
クト（visual object）については、２次元の動画像デ
ータだけではなく、２次元静止画画像、フェイスオブジ
ェクト（face object）等を符号化／復号化することが
可能である。

【０１８２】そのため、ＭＰＥＧ４のビジュアルオブジ
ェクト（visual Object）については、先ず、ビジュア
ルオブジェクトシーケンス（Visual Object Sequence）
を伝送する。このビジュアルオブジェクトシーケンス内
では、複数のビジュアルオブジェクト（Visual Objec
t）を伝送することができ、複数のビジュアルオブジェ
クによりビジュアルオブジェクシーケンスを構成するこ
とが可能である。

【０１８３】次に、図示しないビジュアルオブジェクト
（VisualObject）のシンタックスでは、当該シンタック
ス以降に続くオブジェクトのタイプ（現在のところ動画
像であるビデオオブジェクト（Video Object）、静止画
であるスチルテクスチャオブジェクト（Still Texture
Object）、２次元のメッシュを示すメッシュオブジェク
ト（Mesh Object）、顔形状を示すフェイスオブジェク
ト（Face Object）の４つが定義されている）等を示す
ことが可能であり、ビジュアルオブジェクト（Visual O
bject）に続いて、ビデオオブジェクト（Video Objec
t）、スチルテクスチャオブジェクト（Still texture o
bject）、メッシュオブジェクト（Mesh Object）、フェ
イスオブジェクト（Face Object）の何れかのシンタッ
クスが続く。

【０１８４】また、図示しないユーザデータ（user_dat
a）のシンタックスでは、ビジュアルオブジェクトシー
ケンス（Visual Obect Sequence）、ビジュアルオブジ
ェクト（Visual Object）、ビデオオブジェクト（Video
Object）、ＧＯＶレイヤ等で使用し、符号化時におい
て、復号時等に使用するデータを復号側で定義して伝送
することが可能である。

【０１８５】ここで、図示しないビデオオブジェクト
（ＶＯ）のシンタックスにおいて、当該ビデオオブジェ
クトは、１以上のＶＯＬ（Video Object Layer Class）
から構成される。なお、画像を階層化しないときは一の
ＶＯＬで構成され、画像を階層化する場合には、その階
層数だけのＶＯＬで構成される。

【０１８６】続いて、図示しないＶＯＬ(video Object
Layer)のシンタックスにおいて、当該ＶＯＬは、上述し
たようなスケーラビリティのためのクラスであり、ビデ
オオブジェクトレイヤＩＤ（video_object_layer_id）
で示される番号によって識別される。すなわち、例え
ば、下位レイヤのＶＯＬについてのビデオオブジェクト
レイヤＩＤ（video_object_layer_id）は０とされ、ま
た、例えば、上位レイヤのＶＯＬについてのビデオオブ
ジェクトレイヤＩＤ（video_object_layer_id）は１と
される。なお、上述したように、スケーラブルのレイヤ
の数は２に限られることなく、１や３以上を含む任意の
数とすることができる。

【０１８７】また、ＶＯＬは大きく２つのシンタックス
から構成されており、ビデオオブジェクトレイヤスター
トコード（video_object_layer_start_code）からなる
部分と、ショートビデオスタートマーカ（short_video_
start_marker）より始る部分の２つにより構成されてい
る。

【０１８８】ここで、ＶＯＬ(video Object Layer)のシ
ンタックスにおいて、ビデオオブジェクトレイヤスター
トコード（video_object_layer_start_code）に続く部
分から構成されるシンタックスについて、図２０を用い
て説明する。なお、図２０には、当該ＶＯＬのシンタッ
クスの前半部分のみを示し、後半部分については省略し
ている。また、この図２０や、後述する図２２、図２
３、図３２、図３３のようなシンタックスを示す図面中
で「＊」を付した部分は、本実施の形態による変更箇所
等の注目部分を表している。

【０１８９】この図２０に示すシンタックスにおいて、
クロマフォーマット（chroma_format）は、色差フォー
マットの種類を表し、このクロマフォーマットは図２１
の表に示す通りに定義される。すなわち、クロマフォー
マット（chroma_format）が「０１」 の場合、符号化／
復号化される画像は４：２：０フォーマットであり、ま
た「１０」の場合は４：２：２フォーマット、「１１」
の場合は４：４：４フォーマットとなる。

【０１９０】また、各ＶＯＬについて、それが画像全体
であるのか、画像の一部であるのかは、ビデオオブジェ
クトレイヤシェイプ（video_object_layer_shape）で識
別される。このビデオオブジェクトレイヤシェイプ（vi
deo_object_layer_shape）は、ＶＯＬの形状を示すフラ
グであり、例えば、以下のように設定される。

【０１９１】すなわち、ＶＯＬの形状が長方形状である
とき、当該ビデオオブジェクトレイヤシェイプ（video_
object_layer_shape）は、例えば「００」とされる。ま
た、ＶＯＬが、ハードキー（０または１のうちの何れか
一方の値をとる２値（バイナリ）の信号）によって抜き
出される領域の形状をしているとき、ビデオオブジェク
トレイヤシェイプ（video_object_layer_shape）は、例
えば「０１」とされる。さらに、ＶＯＬが、ソフトキー
（０乃至１の範囲の連続した値（グレイスケール）をと
ることが可能な信号）によって抜き出される領域の形状
をしているとき（ソフトキーを用いて合成されるもので
あるとき）、当該ビデオオブジェクトレイヤシェイプ
（video_object_layer_shape）は、例えば「１０」とさ
れる。

【０１９２】ここで、ビデオオブジェクトレイヤシェイ
プ（video_object_layer_shape）が「００」とされるの
は、ＶＯＬの形状が長方形状であり、かつ、そのＶＯＬ
の絶対座標形における位置および大きさが、時間ととも
に変化しない場合、すなわち、一定の場合である。な
お、この場合、その大きさ（横の長さと縦の長さ）は、
ビデオオブジェクトレイヤワイド（video_object_layer
_width）とビデオオブジェクトレイヤハイ（video_obje
ct_layer_height）によって示される。ビデオオブジェ
クトレイヤワイド（video_object_layer_width）および
ビデオオブジェクトレイヤハイ（video_object_layer_h
eight）は、いずれも１０ビットの固定長のフラグであ
り、ビデオオブジェクトレイヤシェイプ（video_object
_layer_shape）が「００」の場合には、最初に一度だけ
伝送される。これはビデオオブジェクトレイヤシェイプ
（video_object_layer_shape）が「００」の場合、上述
したように、ＶＯＬの絶対座標系における大きさが一定
であるからである。

【０１９３】また、ＶＯＬが、下位レイヤまたは上位レ
イヤのうちの何れかであるかは、１ビットのフラグであ
るスケーラビリティ（scalability）によって示され
る。ＶＯＬが下位レイヤの場合、スケーラビリティ（sc
alability）は例えば１とされ、それ以外の場合は例え
ば０とされる。

【０１９４】さらに、ＶＯＬが、自身以外のＶＯＬにお
ける画像を参照画像として用いる場合、その参照画像が
属するＶＯＬは、リファレンスレイヤＩＤ（ref_layer_
id）で表される。なお、リファレンスレイヤＩＤ（ref_
layer_id）は、上位レイヤについてのみ伝送される。

【０１９５】また、ホリゾンタルサンプリングファクタ
ｎ（hor_sampling_factor_n）とホリゾンタルサンプリ
ングファクタｍ（hor_sampling_factor_m）は、下位レ
イヤのＶＯＰの水平方向の長さに対応する値と、上位レ
イヤのＶＯＰの水平方向の長さに対応する値をそれぞれ
示す。従って、下位レイヤに対する上位レイヤの水平方
向の長さ（水平方向の解像度の倍率）は、下記式（２） hor_sampling_factor_n／hor_sampling_factor_m （２） で与えられる。

【０１９６】さらに、バーチカルサンプリングファクタ
ｎ（ver_sampling_factor_n）とバーチカルサンプリン
グファクタｍ（ver_sampling_factor_m）は、下位レイ
ヤのＶＯＰの垂直方向の長さに対応する値と、上位レイ
ヤのＶＯＰの垂直方向の長さに対応する値をそれぞれ示
す。従って、下位レイヤに対する上位レイヤの垂直方向
の長さ（垂直方向の解像度の倍率）は、下記式（３） ver_sampling_factor_n／ver_sampling_factor_m （３） で与えられる。

【０１９７】ＶＯＬにおいて、コンプレクシティエステ
ィメイションディセーブル（complexity_estimation_di
sable）が０の場合、当該シンタックスのディファイン
ＶＯＰエスティメイションヘッダ（define_ＶＯＰ_esti
mation_header）以下が符号化／復号化される。

【０１９８】また、ＶＯＬのビットストリームの先頭に
ビデオオブジェクトレイヤスタートコード（video_obje
ct_layer_start_code）ではなく、ショートビデオスタ
ートマーカ（short_video_start_marker）が読み込まれ
た場合、当該シンタックスのelse行以下のシンタックス
がＶＯＬのビットストリームの復号に際し使用される。

【０１９９】ＶＯＬは、単数もしくは複数のＶＯＰ、ビ
デオプレーンウイズショートヘッダ（video_plane_with
_short_header）もしくはＧＯＶで構成される。

【０２００】ＧＯＶ層は、ビットストリームの先頭だけ
でなく、符号化ビットストリームの任意の位置に挿入す
ることができるように、ＶＯＬ層とＶＯＰ層との間に規
定されている。これにより、あるＶＯＬ＃０が、ＯＰ＃
０，ＶＯＰ＃１，・・・，ＶＯＰ＃ｎ，ＶＯＰ＃(n+
1)，・・・，ＶＯＰ＃ｍといったＶＯＰのシーケンスで
構成される場合において、ＧＯＶ層は、その先頭のＶＯ
Ｐ＃０の直前だけでなく、ＶＯＰ＃(n+1)の直前にも挿
入することができる。従って、エンコーダにおいて、Ｇ
ＯＶ層は、例えば符号化ストリームの中のランダムアク
セスさせたい位置に挿入することができ、従って、ＧＯ
Ｖ層を挿入することで、あるＶＯＬを構成するＶＯＰの
一連のシーケンスは、ＧＯＶ層によって複数のグループ
（ＧＯＶ）に分けられて符号化されることになる。

【０２０１】図示しないＧＯＶ層のシンタックスにおい
て、当該ＧＯＶ層は、グループスタートコード（group_
start_code）、タイムコード（time_code）、クローズ
ドＧＯＰ（closed_gop）、ブロークンリンク（broken_l
ink）、ネクストスタートコード（next_start_code()）
が順次配置されて構成される。

【０２０２】次に、図示しないＶＯＰ（Video Object P
lane Class）のシンタックスにおいて、ＶＯＰの大きさ
（横と縦の長さ）は、例えば、１３ビット固定長のＶＯ
Ｐワイド（VOP_width）とＶＯＰハイ（VOPＰ_height）
で表される。また、ＶＯＰの絶対座標系における位置
は、例えば１３ビット固定長のＶＯＰホリゾンタルスペ
ーシャルＭＣリファレンス（VOP_horizontal_spatial_m
c_ref）とＶＯＰバーチカルＭＣリファレンス（VOPＰ_v
ertical_mc_ref）で表される。なお、ＶＯＰワイド（VO
P_width）又はＶＯＰハイ（VOP_height）は、ＶＯＰの
水平方向又は垂直方向の長さをそれぞれ表し、これらは
上述のサイズデータＦＳＺ＿ＢやＦＳＺ＿Ｅに相当す
る。また、ＶＯＰホリゾンタルスペーシャルＭＣリファ
レンス（VOP_horizontal_spatial_mc_ref）またはＶＯ
ＰバーチカルＭＣリファレンス（VOP_vertical_mc_re
f）は、ＶＯＰの水平方向または垂直方向の座標（ｘ座
標またはｙ座標）をそれぞれ表し、これらは、上述のオ
フセットデータＦＰＯＳ＿ＢやＦＰＯＳ＿Ｅに相当す
る。

【０２０３】ＶＯＰワイド（VOP_width）、ＶＯＰハイ
（VOP_height）、ＶＯＰホリゾンタルスペーシャルＭＣ
リファレンス（VOP_horizontal_spatial_mc_ref）、Ｖ
ＯＰバーチカルＭＣリファレンス（VOP_vertical_mc_re
f）は、ビデオオブジェクトレイヤシェイプ（video_obj
ect_layer_shape）が「００」以外の場合にのみ伝送さ
れる。すなわち、ビデオオブジェクトレイヤシェイプ
（video_object_layer_shape）が「００」の場合、上述
したように、ＶＯＰの大きさおよび位置はいずれも一定
であるから、それらＶＯＰワイド（VOP_width）、ＶＯ
Ｐハイ（VOP_height）、ＶＯＰホリゾンタルスペーシャ
ルＭＣリファレンス（VOP_horizontal_spatial_mc_re
f）、ＶＯＰバーチカルＭＣリファレンス（VOP_vertica
l_mc_ref）は伝送する必要がない。この場合、受信側で
は、ＶＯＰは、その左上の頂点が、例えば、絶対座標系
の原点に一致するように配置され、また、その大きさ
は、上述のビデオオブジェクトレイヤスタートコード
（video_object_layer_start_code）に続く部分から構
成されるシンタックスのところで説明したビデオオブジ
ェクトレイヤワイド（video_object_layer_width）およ
びビデオオブジェクトレイヤハイ（video_object_layer
_height）から認識される。

【０２０４】次に、リファレンスセレクトコード（ref_
select_code）は、参照画像として用いる画像を表すも
ので、ＶＯＰのシンタックスにおいて規定されている。

【０２０５】当該シンタックスのリードＶＯＰコンプレ
クシティエスティメイションヘッダ（read_VOP_compexi
ty_estimation_header）以下は、ＶＯＬにおいてコンプ
レクシティエスティメイションディセーブル（complexi
ty_estimation_disable）の値が「０」と示された場合
のみＶＯＰより、読み込まれる。

【０２０６】また、ビデオパケットヘッダ（video_pack
et_header）は、ＶＯＬにおいて、エラーレジッシェン
トディセーブル（error_resilient_disable）が「０」
を示す時にのみ使用可能であり、符号化側でその使用を
自由に使用することができＶＯＰより読み込むことが可
能である。

【０２０７】ここで、前記ＶＯＬがショートビデオスタ
ートマーカ（short_video_start_marker）より始る場合
において使用されるビデオプレーンウイズショートヘッ
ダ（video_plane_with_short_header）について説明す
る。

【０２０８】ビデオプレーンウイズショートヘッダ（vi
deo_plane_with_short_header）は、前述した通りＶＯ
Ｌがショートビデオスタートマーカ（short_video_star
t_marker）により開始する場合にのみ使用される。

【０２０９】このショートビデオスタートマーカ（shor
t_video_start_marker）は、フラグ群及び複数のＧＯＢ
レイヤ（gob_layer）により構成される。

【０２１０】ＧＯＢレイヤ（gob_layer）は、複数のマ
クロブロックをひとまとまりのグループとして符号化し
たもので、ＧＯＢレイヤ（gob_layer）内のマクロブロ
ックの個数は符号化を行っている画像の画枠により一意
に定められる。

【０２１１】ビデオオブジェクトプレーン（video_obje
ct_plane）では、画像のテクスチャ情報、形状符号化情
報を符号化するために、モーションシェイプテクスチャ
（motion_shape_texture）が読み込まれ、この中でマク
ロブロック等の符号化が行われる。図示しないモーショ
ンシェイプテクスチャ（motion_shape_texture）のシン
タックスは、大きく２つの部分から構成され、データパ
ティショニングモーションシェイプテクスチャ（data_p
attitioning_motion_shape_texture）と、コンバインド
モーションシェイプテクスチャ（combined_motion_shap
e_texture）に分けられる。データパティショニングウ
モーションシェイプテクスチャ（data_pattitioning_mo
tion_shape_texture）は、ＶＯＬで示される１ビットの
フラグ（data_partitioning）が１の場合であり、テク
スチャ情報が伝送される場合に使われる。

【０２１２】コンバインドモーションシェイプテクスチ
ャ（combined_motion_shape_texture）は、フラグ（dat
a_partitioning）が０の場合もしくは、形状情報のみを
伝送する場合に用いられる。このようにコンバインドモ
ーションシェイプテクスチャ（combined_motion_shape_
texture）は、一つもしくは複数のマクロブロックによ
り構成されている。

【０２１３】図２２及び図２３には、マクロブロックの
シンタックスの一部（前半部分）を示す。このマクロブ
ロックのシンタックスは大きく３つの部分から構成され
ており、Ｉ−ＶＯＰ、Ｐ−ＶＯＰにおけるマクロブロッ
クのシンタックスを示す部分と、Ｂ−ＶＯＰのマクロブ
ロックのシンタックスを示す部分、またグレイスケール
シェイプ（GrayScale shape）におけるマクロブロック
を示す部分の３個所から構成される。

【０２１４】Ｉ−ＶＯＰ、Ｐ−ＶＯＰにおけるマクロブ
ロックのシンタックスを示す部分、及びＢ−ＶＯＰのマ
クロブロックのシンタックスを示す部分については、シ
ェイプのブロックを符号化する部分ＭＢバイナリシェイ
プコーディング（mb_binary_shape_coding）、マクロブ
ロックの符号化状態を示すフラグ群、及び動きベクトル
の符号化部モーションベクター（motion_vector）、各
ブロックの符号化部ブロック（block）から構成され
る。

【０２１５】また、マクロブロックのグレイスケール
（GrayScale）の情報を表す部分は、マクロブロック内
のグレイスケール（Gray-Scale）状態を表すフラグ群及
びグレイスケール（Gray-Scale）を構成するブロックの
符号化部アルファブロック（alpha_block）から構成さ
れる。

【０２１６】当該マクロブロックのシンタックスでは、
Ｉ−ＶＯＰ、Ｐ−ＶＯＰで使用されるものとＢ−ＶＯＰ
で使用されるものの大きく２つのシンタックスより構成
される。ここで、Ｉ−ＶＯＰ、Ｐ−ＶＯＰの時に読み込
まれるフラグ（mcbpc）は、マクロブロックのタイプ及
び、マクロブロックの色差ブロックのコーディングパタ
ーンを示すＶＬＣである。ＭＰＥＧ４のビジュアルコミ
ッティドラフト（Visual Comitee Draft）で使用されて
いるフラグ（mcbpc）のＶＬＣテーブルを、図２４に示
す。

【０２１７】この図２４に示すＶＬＣテーブルは、Ｉ−
ＶＯＰのフラグ（mcbpc）に対応する表であり、図２５
にはＰ−ＶＯＰに対するＶＬＣテーブルを示す。

【０２１８】これら図２４、図２５のＶＬＣテーブルに
示すように、フラグ（mcbpc）はその値により独立した
２つのパラメータを指す。一つはマクロブロックタイプ
（MBtype）であり、他方はフラグ（cbpc）である。フラ
グ（mcbpc）は図２４、図２５のテーブルをもとに、符
号化／復号される。図２４，図２５のテーブルを用い
て、フラグ（mcbpc）より、マクロブロックタイプ（MBt
ype）及び、フラグ（cbpc）が判断される。マクロブロ
ックタイプ（MBtype）はマクロブロックの符号化タイプ
であり、フラグ（cbpc）は色差信号の符号化の状態を表
す２ビットのフラグである。マクロブロックタイプ（MB
type）は、整数により記述されているが、各整数は、図
２６のようにマクロブロックの符号化タイプとして定義
される。また、同じ番号でもその意味はＶＯＰのタイプ
により異なることもある。

【０２１９】ここで、本実施の形態の方法を明確にする
ためにＭＰＥＧ４のビジュアルコミッティドラフト（Vi
sual Comitee Draft）におけるマクロブロックレイヤの
フラグ（cbpc）の動作について説明する。フラグ（cbp
c）は、図２４に示されるように２ビットで示され、前
述したようにそれぞれの色差ブロックの符号化の状態を
表す。

【０２２０】先ず、４：２：０フォーマットにおけるフ
ラグ（cbpc）の動作を説明する。

【０２２１】当該フラグ（cbpc）は２ビットで表され、
各ビットはそれぞれ対応した色差ブロックの符号化状態
を表す。すなわち、フラグ（cbpc）のうちの先頭の１ビ
ットは図３の（ａ）に示したブロック４の符号化状態を
示し、後ろの１ビットは図３の（ａ）のブロック５の符
号化状態を示す。このビットの値が１の時、その対応す
るブロックは符号化／復号化されるブロックとして判断
され、後にこのフラグをもとにブロックのＤＣＴ係数が
出力／入力される。またこのビットが０の場合、対応す
るブロックのＤＣＴ係数は何も存在しないと判断され
る。

【０２２２】このようなことから、例えばフラグ（cbp
c）が「１１」の場合、図３の（ａ）の対応するブロッ
ク４，５のそれぞれにＤＣＴ係数が存在していると判断
される。また「１０」の場合にはブロック４にのみＤＣ
Ｔ係数が存在する、「０１」の場合には５のブロックの
み、「００」の場合にはブロック４，５にはＤＣＴ係数
が存在しないと判断される。

【０２２３】また、本実施の形態では、他の色差フォー
マットにおいてはフラグ（cbpc）を以下のように定義す
る。

【０２２４】クロマタイプ（chroma_type）が「０１」
すなわち４：２：０フォーマットを示す場合、フラグ
（cbpc）は従来と同じ定義、すなわち４：２：０フォー
マットのマクロブロックの構成図を表す図３の（ａ）に
おいての、ブロック４，５の状態を表すフラグであると
判断する。

【０２２５】一方、クロマタイプ（chroma_type）が
「１０」もしくは「１１」の場合、すなわち４：２：２
フォーマットもしくは４：４：４フォーマットの場合、
フラグ（cbpc）はシンタックスに従い２ビットの値が読
み込まれる。ここでこのフラグのセマンティックスは
４：２：０フォーマットの場合と異なる。この時 先頭
の１ビットは４：２：２フォーマットの場合、図３の
（ｂ）における色差Ｃｂのブロック４，６の何れかもし
くは両方がＤＣＴ係数を持つか否かを表すフラグとし
て、また、４：４：４フォーマットの場合、図３の
（ｂ）における色差Ｃｂのブロック４，６，８，１０の
一つ以上のブロックがＤＣＴ係数を持つことを示すフラ
グと判断される。

【０２２６】残り１ビットは、同様に４：２：２フォー
マットの場合、図３の（ｂ）の色差Ｃｒのブロック５，
７がＤＣＴ係数を持つか否かを表すフラグとして、ま
た、４：４：４フォーマットの場合、図３の（ｃ）の色
差Ｃｂのブロック５，７，９，１１がＤＣＴ係数と持つ
か否かを示すフラグとして判断される。

【０２２７】フラグ（cbpc）が「００」を示す場合、
４：２：２フォーマット、４：４：４フォーマットどち
らの場合においてもどの色差ブロックもＤＣＴ係数を持
たないものと判断される。

【０２２８】ここでフラグ（cbpc）が「１０」の場合も
しくは「１１」の場合、色差Ｃｂのブロックにおいて、
ＤＣＴ係数を持つブロックが存在すると判断される。こ
のとき色差Ｃｂのブロックの符号化状態を示すフラグ
（cbpcb）が読み込まれる。

【０２２９】４：２：２フォーマットの場合、フラグ
（cbpcb）は１ビットもしくは２ビットであり、４：
４：４フォーマットの場合、フラグ（cbpcb）は１から
４ビットとなる。

【０２３０】フラグ（cbpcb）のビット数は、そのオブ
ジェクトの内側のブロック数により判断される。例え
ば、４：２：２フォーマットの場合、図３の（ｂ）のブ
ロック４，５のうち、どちらか１つのブロックのみがオ
ブジェクトの内側であったとき、このマクロブロックで
のフラグ（cbpcb）のビット数は１ビットとなり、ブロ
ック４，５の二つのブロックともオブジェクトの内側で
あるとき、２ビットのフラグが出力される。

【０２３１】同様に、４：４：４フォーマットの場合に
は、図３の（ｃ）の何れか１つのマクロブロックのみが
オブジェクトの内側であると、フラグ（cbpcb）が１ビ
ット、２個オブジェクト内のブロックが存在する場合に
は２ビット、３個の場合は３ビット、すべてのマクロブ
ロックがオブジェクトの内側である場合には４ビットが
出力される。

【０２３２】これらフラグ（cbpcb）の各ビットは色差
Ｃｂの各ブロックに対し、ＤＣＴ係数を伝送するマクロ
ブロックか否かを出力することを示すフラグとなる。ま
たこの時、オブジェクトの外側のブロックに対しては、
輝度の場合と同様に符号化されるテクスチャのデータが
存在しないため、符号化データは何も出力されず、また
当然、フラグ（cbpcb）のビットにもその状態を表すフ
ラグは存在しない。

【０２３３】このようにフラグ（cbpcb）は、オブジェ
クト内のブロックに対して、図３に示す順序にて各１ビ
ットづつ割り当てられて、またそのフラグが１の場合、
該当ブロック内にＤＣＴ係数が存在し、０の場合には存
在しないことを示す。

【０２３４】図２７及び図２８には上記フラグの定義の
手順を示す。なお、このフローチャートでは、図２９に
示すような色差のブロック番号を使用している。

【０２３５】ステップＳ１ではフラグ（cbpc）の読み込
みを開始し、ステップＳ２ではクロマタイプ（chroma_t
ype）が「０１」か否かの判断を行う。

【０２３６】当該ステップＳ２にてクロマタイプ（chro
ma_type）が「０１」であると判断されたとき、すなわ
ちクロマタイプ（chroma_type）が４：２：０フォーマ
ットを示す場合には、ステップＳ３にてフラグ（cbpc）
は従来同様に定義する。つまり、４：２：０フォーマッ
トのマクロブロックの構成図を表す前記図３の（ａ）に
おいて、ブロック４，５の状態を表すフラグであると判
断する。

【０２３７】一方、ステップＳ２において、クロマタイ
プ（chroma_type）が「０１」でないと判断したとき、
すなわちクロマタイプ（chroma_type）が「１０」もし
くは「１１」であると判断（４：２：２フォーマットも
しくは４：４：４フォーマットであると判断）した場合
は、ステップＳ４に進む。

【０２３８】 ステップＳ４では、フラグ（cbpc）が
「１０」又は「１１」か否かを判断する。このステップ
Ｓ４において、フラグ（cbpc）が「１０」又は「１１」
であると判断した場合はステップＳ５に進み、そうでな
いと判断した場合はステップＳ６に進む。

【０２３９】 ステップＳ６では、フラグ（cbpc）が
「０１」又は「１１」か否かを判断する。このステップ
Ｓ６において、フラグ（cbpc）が「０１」又は「１１」
であると判断した場合はステップＳ７に進み、そうでな
いと判断した場合はステップＳ８に進んで処理を終了す
る。

【０２４０】ステップＳ５とステップＳ７では、クロマ
タイプ（chroma_type）が「１０」か否かの判断を行
い、何れの場合も図２８のステップＳ９に進む。

【０２４１】図２８のステップＳ９では、オブジェクト
内のブロックの個数をカウントし、次のステップＳ１０
では、オブジェクト内のブロックの個数分のビットを読
み込んでバッファに格納する。

【０２４２】次のステップＳ１１では、図２９に示した
ブロックｃ１がオブジェクト内であるか否かを判断す
る。このステップＳ１１において、ブロックｃ１がオブ
ジェクト内であると判断した場合はステップＳ１２に進
み、そうでないと判断した場合はステップＳ１３に進
む。

【０２４３】ステップＳ１２では、バッファより１ビッ
トを取り出し、ブロックｃ１の符号化パターンの判断に
使用する。

【０２４４】ステップＳ１３では、図２９に示したブロ
ックｃ２がオブジェクト内であるか否かを判断する。こ
のステップＳ１３において、ブロックｃ２がオブジェク
ト内であると判断した場合はステップＳ１４に進み、そ
うでないと判断した場合はステップＳ１５に進む。

【０２４５】ステップＳ１４では、バッファより１ビッ
トを取り出し、ブロックｃ２の符号化パターンの判断に
使用する。

【０２４６】ステップＳ１５では、４：２：２フォーマ
ットであるか否かの判断を行う。このステップＳ１５に
おいて、４：２：２フォーマットであると判断した場合
はステップＳ１６に進み、そうでないと判断した場合は
ステップＳ１７に進む。

【０２４７】ステップＳ１６では、図２７の処理に戻
る。

【０２４８】ステップＳ１７では、図２９に示したブロ
ックｃ３がオブジェクト内であるか否かを判断する。こ
のステップＳ１７において、ブロックｃ３がオブジェク
ト内であると判断した場合はステップＳ１８に進み、そ
うでないと判断した場合はステップＳ１９に進む。

【０２４９】ステップＳ１８では、バッファより１ビッ
トを取り出し、ブロックｃ３の符号化パターンの判断に
使用する。

【０２５０】ステップＳ１９では、図２９に示したブロ
ックｃ４がオブジェクト内であるか否かを判断する。こ
のステップＳ１９において、ブロックｃ４がオブジェク
ト内であると判断した場合はステップＳ２０に進み、そ
うでないと判断した場合はステップＳ２１に進む。

【０２５１】ステップＳ２０では、バッファより１ビッ
トを取り出し、ブロックｃ４の符号化パターンの判断に
使用する。

【０２５２】ステップＳ２１では、図２７の処理に戻
る。

【０２５３】次に、図３０には、フラグ（cbpcb）のビ
ット割り当ての例を示す。

【０２５４】図３０の（ａ）は、４：２：２フォーマッ
トの場合のオブジェクト内のブロックの数及びその発生
ビット数を示し、図３０の（ｂ）は、４：４：４フォー
マットでの発生ビット量及びその割り当てビット順の例
を示す。

【０２５５】同様に４：２：２フォーマット、４：４：
４フォーマットにおいて、フラグ（cbpc）が「０１」、
「１１」の場合、色差ＣｒのブロックにＤＣＴ係数を持
つブロックが存在するものと判断され、４：２：２フォ
ーマットの場合は２ビット、４：４：４フォーマットの
場合は４ビットの色差Ｃｒのブロックの符号化状態を表
すフラグ（cbpcr）が読み込まれる。

【０２５６】これらのフラグは、フラグ（cbpcb）の場
合と同様の方法により符号化／復号化される。これらの
符号化法は前述したフラグ（cbpcb）の場合と同様にそ
のオブジェクト内のブロック数に応じて変化し、それぞ
れのビットは該当ブロックのＤＣＴ係数の状態を示す。

【０２５７】このようにして、各色差ブロックに対して
ＤＣＴ係数の有無が判別される。この結果は、後のＤＣ
Ｔ係数の出力／入力過程において使用される。

【０２５８】また、マクロブロック内のブロックカウン
ト（block_count）は、マクロブロック内でのオブジェ
クト内に位置するブロックの個数、すなわち（オブジェ
クト内の輝度のブロックの個数＋オブジェクト内の色差
Ｃｂのブロックの個数＋オブジェクト内の色差Ｃｒのブ
ロックの個数）となる。

【０２５９】ブロックカウント（block_count）の最大
値は、色差フォーマットにより決定されるものとし、図
３１に示すように定められる。

【０２６０】次に、図示は省略するが、マクロブロック
内の各ブロックの符号化方法を表すシンタックスと、Ｄ
ＣＴ係数の有無の判別結果の使用方法について説明す
る。

【０２６１】ここで、便宜上これらの判別結果は、当該
シンタックスの配列パターンコード（pattern_code）に
格納されるものとする。例えばパターンコード[i]（pat
ten_code[i]）は、ｉ番目のブロックの符号化状態を示
すものとする。パターンコード[1]（patten_code[1]）
は、前記図３の（ａ）〜（ｃ）に示したブロック１のＤ
ＣＴ係数の状態を示し、パターンコード[5]（patten_co
de[5]）は、同様にブロック５の状態を示す。このパタ
ーンコードの配列の長さは色差フォーマットにより異な
り４：２：０フォーマットの場合は０から５、４：２：
２フォーマットで０から７、４：４：４フォーマットで
０から１１の要素を持つものとする。それぞれの要素
は、対応するブロックがＤＣＴ係数を持つ場合には１、
それ以外に場合には０をとる。また、ＤＣＴの読み出し
を行うか否かは、当該シンタックスの先頭の行において
求められた値により決定される。また、ｉがオブジェク
トの外側のブロックであった場合、その番号は欠番とさ
れ、パターンコードに格納されるビットの総数は、オブ
ジェクト内のブロックの個数と一致する。

【０２６２】次に、Ｂ−ＶＯＰでの色差信号の符号化パ
ターンの認識方法を説明する。

【０２６３】図２２及び図２３に示したマクロブロック
のシンタックスに戻り、Ｂ−ＶＯＰにおいての符号化ブ
ロックのパターンの認識方法を説明する。

【０２６４】Ｂ−ＶＯＰでは、そのマクロブロックの符
号化パターンを示すのに、当該マクロブロックのシンタ
ックスにおけるフラグ（cbpb）が使われる。当該フラグ
（cbpb）は、４：２：０フォーマットの時には、ＭＰＥ
Ｇ４のビジュアルコミッティドラフト（Visual Comitee
Draft）と同様の定義である。

【０２６５】以下、クロマタイプ（chroma_type）が
「１０」（４：２：０フォーマット）の時のフラグ（cb
pb）の定義、すなわちＭＰＥＧ４のビジュアルコミッテ
ィドラフトにおけるフラグ（cbpb）を説明する。

【０２６６】フラグ（cbpb）は、前述した通り６ビット
のフラグであり、その値はマクロブロック内の各ブロッ
クの符号化状態を示す。この時、フラグ（cbpb）の各ビ
ットは、先頭のビットより順に図３の（ａ）に示したブ
ロック０，１，２，３，４，５がＤＣＴ係数を持ってい
るか否かを示し、そのビットが１のとき対応するブロッ
クにおいてＤＣＴ係数が存在すると判断され、０のとき
存在しないと判断される。ここで読み込まれたフラグ
（cbpb）は、後段においてＤＣＴ係数の入出力に使用さ
れる。また、Ｉ−ＶＯＰ、Ｐ−ＶＯＰの場合と同様、こ
のビット数は、あるマクロブロックに存在するオブジェ
クト内のブロックの個数と一致するものとする。すなわ
ちオブジェクト内のブロックが３個であった場合、この
ビットは３ビットとなり、順にオブジェクト内のブロッ
クの符号化状態を示すフラグとして利用される。

【０２６７】これらの判断結果の使用方法は、Ｂ−ＶＯ
Ｐの場合においても、Ｉ−ＶＯＰ、Ｐ−ＶＯＰと同様で
ある。

【０２６８】また、フラグ（cbpb）の下位２ビットは、
前述したフラグ（cbpc）と全く同様に色差ブロックの符
号化状態を示す。そのため、４：２：２フォーマットお
よび４：４：４フォーマットにおける色差ブロックの符
号化パターンの判別は、この下位２ビットおよびクロマ
タイプ（chroma_type）を用い、Ｉ−ＶＯＰ、Ｐ−ＶＯ
Ｐの時と同様の手段を用いて行われる。これらの下位２
ビットが１を示した場合に読み込まれるビット数も符号
化を行っている画像の色差フォーマット、及びオブジェ
クト内のブロックの個数により変化する。

【０２６９】このようにして、色差フォーマットを用い
ること、および色差の符号化パターンを判断する手段を
用いることにより、４：２：０フォーマット、４：２：
２フォーマット、４：４：４フォーマットの各色差フォ
ーマットの符号化／復号化が可能となる。

【０２７０】次に、ＭＢバイナリシェイプコーディング
（mb_binary_shape_coding）のシンタックス、モーショ
ンベクター（motion_vector）、ブロック（block）の各
シンタックスについても図示は省略するが、ブロック
（block）においては、ＤＣ係数の差分値、及びその値
が符号化される。また、サブシーケンスＤＣＴコイフシ
ャンツ（SubsequentDCTcoefficients）は、その他のＡ
Ｃ係数を示し、これもＶＬＣ符号化される。

【０２７１】モーションシェイプテクスチャ（motion_s
hape_texture）のシンタックスに戻って、データパティ
ショニング（data_partitioning）のフラブが１であり
かつテクスチャ情報が伝送される場合には、図示しない
データパティショニングモーションシェイプテクスチャ
（data_partitioning_motion_shape_texture）が符号化
される。このデータパティショニングモーションシェイ
プテクスチャ（data_partitioning_motion_shape_textu
re）は大きく２つの部分から構成されており、ブロック
（block）のシンタックスにおけるデータパティショニ
ングＩ−ＶＯＰ（data_partitioning_I_VOP）及びデー
タパティショニングＰ−ＶＯＰ（data_partitioning_P_
VOP）から構成される。

【０２７２】これらデータパティショニングＩ−ＶＯＰ
（data_partitioning_I_VOP）及びデータパティショニ
ングＰ−ＶＯＰ（data_partitioning_P_VOP）とも、Ｖ
ＯＰの性質を示すフラグ群及び各ブロックのＤＣＴ係数
を符号化する。ＤＣＴ係数の符号化方法は、前述したＤ
ＣＴ係数の符号化方法と同様の方法で行う。

【０２７３】以上説明した本発明実施の形態のエンコー
ダおよびデコーダは、それ専用のハードウェアによって
実現することもできるし、例えばコンピュータに上述し
たような処理を行わせるためのプログラムを実行させる
ことによっても実現することができる。

【０２７４】次に、本発明の第２の実施の形態について
説明する。

【０２７５】この第２の実施の形態では、前述した実施
の形態（第１の実施の形態）においてＢ−ＶＯＰにおけ
る色差ブロックの符号化パターンを、フラグ（cbpb）の
ビット長をクロマタイプ（chroma_type）により変化さ
せて求めるように変更したものである。すなわち、第２
の実施の形態においては、マクロブロックの符号化を行
うそのシンタックス及び、符号化／復号化方法のみが第
１の実施の形態と異なる。

【０２７６】それ以外の符号化／復号化方法、シンタッ
クス等は第１の実施の形態と同様である。

【０２７７】第１の実施の形態においてフラグ（cbpb）
は常に６ビットのフラグであり、その下位２ビットが常
に色差ブロックの状態を示していたが、これを第２の実
施の形態では４：２：２フォーマットの場合には最大８
ビットのフラブ、４：４：４フォーマットの場合には最
大１２ビットのフラグとする。

【０２７８】この第２の実施の形態におけるマクロブロ
ックの符号化方法を示すシンタックスの一部（前半部
分）を図３２及び図３３に示す。

【０２７９】４：２：２フォーマットの場合、この８ビ
ットのフラグは、先頭から図３の（ｂ）に示したブロッ
ク０，１，２，３，４，５，６，７のＤＣＴ係数の有無
を表すものとする。

【０２８０】同様に４：４：４フォーマットの場合、１
２ビットのフラグの先頭のビットより図３の（ｃ）に示
したブロック０，１，２，３，４，５，６，７，８，
９，１０，１１に対応しているものとし、そのＤＣＴ係
数の有無を表すものとする。

【０２８１】４：２：２フォーマット、４：４：４フォ
ーマットとも、対応するブロックがオブジェクトの外側
に位置する時、そのブロックに対応するフラグは存在せ
ず、その場合、フラグ（cbpb）のビット長はそのマクロ
ブロックにおいて、オブジェクト内に存在するブロック
の個数と等しくなる。

【０２８２】このようにして、色差フォーマットを用い
ること、および色差の符号化パターンを判断する手段を
用いることにより、４：２：０フォーマット、４：２：
２フォーマット、４：４：４フォーマットの色差フォー
マットの符号化／復号化が可能となる。

【０２８３】この第２の実施の形態においてもエンコー
ダおよびデコーダは、それ専用のハードウェアによって
実現することもできるし、コンピュータに、上述したよ
うな処理を行わせるためのプログラムを実行させること
によっても実現することができる。

【０２８４】次に、本発明の第３の実施の形態について
説明する。

【０２８５】この第３の実施の形態は、Ｂ−ＶＯＰの色
差フォーマットの符号化パターンの識別方法として、Ｍ
ＰＥＧ２と同様の手順を採用したものである。

【０２８６】ここで、ＭＰＥＧ２の符号化パターンの決
定方法を、図３４に示す。

【０２８７】この図３４で示されるように、符号化パタ
ーンは、イントラマクロブロックの場合には全て１で初
期化され、また予測符号化を行う場合には０で初期化さ
れる。

【０２８８】その後、図３４で示されるＶＬＣが読み込
まれ、このＶＬＣにより符号化パターンの先頭６ビット
の値が決定される。４：２：０フォーマットの場合、符
号化パターンは６ビットのため、これ以上の情報の読み
込みは行わない。

【０２８９】また、４：２：２フォーマットの場合、符
号化パターンを表すビットは８ビットのため、さらに２
ビット分の情報が必要となる。そのためＶＬＣを読み込
み符号化パターンの先頭６ビットを決定した後、さらに
２ビット分の情報を追加して読み込む。これにより、８
ビット分の符号化パターンの情報を得ることが得でき、
この情報を元に第１の実施の形態と同様の符号化を行
う。

【０２９０】４：４：４フォーマットの場合も同様の手
順によりＶＬＣの読み込み後、さらに４ビットのビット
を読み込みＶＬＣ＋６ビットより合計１２ビットの情報
を得る。

【０２９１】このようにして、色差フォーマットを用い
ること、および色差の符号化パターンを判断する手段を
用いることにより、４：２：０フォーマット、４：２：
２フォーマット、４：４：４フォーマットの各色差フォ
ーマットの符号化／復号化が可能となる、この第３の実
施の形態においてもエンコーダおよびデコーダは、それ
専用のハードウェアによって実現することもできるし、
コンピュータに、上述したような処理を行わせるための
プログラムを実行させることによっても実現することが
できる。

【０２９２】以上説明したように、本発明の各実施の形
態においては、画像の色差フォーマットを示すフラグを
用いること、また色差のブロックの符号化パターンを上
記した手段を用いて示すことにより、４：２：０フォー
マット以外の色差フォーマットの符号化／復号化が可能
となる。

【０２９３】なお、本発明の提供媒体は、上述した符号
化データを提供する場合のみならず、本発明実施の形態
のエンコーダやデコーダの動作を行わせるためのプログ
ラムを提供するものとすることも可能である。

【０２９４】

【発明の効果】本発明においては、画像の色差フォーマ
ットを示すフラグを用いること、また色差のブロックの
符号化パターンを上記した手段を用いて示すことによ
り、ＭＰＥＧ４において４：２：２フォーマット，４：
４：４フォーマットが使用できるように拡張することが
でき、これら各色差フォーマットの符号化及び復号化が
可能である。

【図面の簡単な説明】

【図１】本発明実施の形態のエンコーダの概略構成を示
すブロック回路図である。

【図２】ビデオオブジェクトシーケンスからブロックま
での構成説明に用いる図である。

【図３】色差フォーマットにおけるマクロブロック内の
ブロック配置の説明に用いる図である。

【図４】背景画像とオブジェクト画像との関係説明に用
いる図である。

【図５】図１のエンコーダのＶＯＰ符号化部の詳細な構
成例を示すブロック回路図である。

【図６】輝度の形状情報から色差の形状情報を作成する
作成方法の説明に用いる図である。

【図７】図５のパディング処理器の詳細な構成例を示す
ブロック回路図である。

【図８】水平方向のパディング処理の手順を表す図であ
る。

【図９】垂直方向のパディング処理の手順を表す図であ
る。

【図１０】拡張パディング処理されるマクロブロックの
説明に用いる図である。

【図１１】拡張パディング処理の説明に用いる図であ
る。

【図１２】パディングされるマクロブロックが複数のオ
ブジェクトの境界を持つマクロブロックに囲まれている
場合に、参照するマクロブロックの順番を示す図であ
る。

【図１３】図５のＤＣＴ係数差分化器の詳細な構成例を
示すブロック回路図である。

【図１４】図１３のＤＣＴ成分予測値選択器の動作説明
に用いる図である。

【図１５】予測に用いられるＤＣＴ係数（ＡＣ係数及び
各ＤＣ係数）の説明に用いる図である。

【図１６】各色差フォーマットにおいてＡＣ／ＤＣ予測
に用いるブロックの説明を行うための図である。

【図１７】色差ブロックにおいてオブジェクト内のブロ
ックかどうか判別する方法についての説明に用いる図で
ある。

【図１８】図１のエンコーダから出力されるビットスト
リームを復号する本実施の形態のデコーダの構成例を示
すブロック回路図である。

【図１９】図１８のＶＯＰ復号部の詳細な構成例を示す
ブロック回路図である。

【図２０】ＶＯＬ(video Object Layer)のシンタックス
において、ビデオオブジェクトレイヤスタートコード
（video_object_layer_start_code）に続く部分から構
成されるシンタックスの前半部分を示す図である。

【図２１】クロマフォーマット（chroma_format）の定
義説明に用いる図である。

【図２２】マクロブロックのシンタックスの一部を示す
図である。

【図２３】図２２のシンタックスの続きを示す図であ
る。

【図２４】Ｉ−ＶＯＰのフラグ（mcbpc）のＶＬＣテー
ブルを示す図である。

【図２５】Ｐ−ＶＯＰのフラグ（mcbpc）のＶＬＣテー
ブルを示す図である。

【図２６】マクロブロックタイプ（MBtype）の定義説明
に用いる図である。

【図２７】フラグ（cbpcb）の定義の手順のうち前半部
の手順を示すフローチャートである。

【図２８】フラグ（cbpcb）の定義の手順のうち後半部
の手順を示すフローチャートである。

【図２９】図２７及び図２８中で使用するブロックの説
明に用いる図である。

【図３０】フラグ（cbpcb）のビット割り当ての例の説
明に用いる図である。

【図３１】ブロックカウント（block_count）の最大値
の説明に用いる図である。

【図３２】第２の実施の形態におけるマクロブロックの
符号化方法を示すシンタックスの一部を示す図である。

【図３３】図３２のシンタックスの続きを示す図であ
る。

【図３４】第３の実施の形態にてＢ−ＶＯＰの色差フォ
ーマットの符号化パターンの識別方法に使用するＭＰＥ
Ｇ２の符号化パターンの決定方法の説明に用いる図であ
る。

【図３５】一般的なＭＰＥＧエンコーダの概略構成を示
すブロック回路図である。

【図３６】一般的なＭＰＥＧデコーダの概略構成を示す
ブロック回路図である。

【図３７】４：２：０フォーマットの説明に用いる図で
ある。

【図３８】４：２：２フォーマットの説明に用いる図で
ある。

【図３９】４：４：４フォーマットの説明に用いる図で
ある。

【符号の説明】

１ ＶＯ構成部、 ２ ＶＯＰ構成部、 ３ ＶＯＰ符
号化部、 ４ 多重化部、 ５ 伝送路、 ６ 記録媒
体、 ３１，４１ フレームメモリ、 ３２動きベクト
ル検出器、 ３３，４０ 演算器、 ３４ ＤＣＴ器、
３５ 量子化器、 ３６ ＶＬＣ器、 ３７ バッフ
ァ、 ３８ 逆量子化器、 ３９ ＩＤＣＴ器、 ４２
動き補償器、 ４４ ＤＣＴ係数差分化器、 ５０
形状情報符号化器、 ５１ パディング処理器、 ５２
形状情報復号器、 ５３ 色差用形状情報作成器、
６１ 水平方向パディング処理器、 ６２ 垂直方向パ
ディング処理器、 ６３ 拡張パディング器、 ７１
逆多重化器、 ７２ ＶＯＰ復号部、 ７３ 画像再構
成部、 ７４ モニタ、 １０１ バッファ、１０２
ＩＶＬＣ器、 １０３ 逆多重化器、 １０４ ＩＤＣ
Ｔ器、 １０５演算器、 １０６ フレームメモリ、
１０７ 動き補償器、 １０８ パディング処理器、
１０９ 色差用形状情報作成器、 １１０ 形状情報復
号器、１１１ ＤＣＴ係数逆差分化器、 ４００ イン
トラフラグ発生器、 ４０１スイッチ、 ４０２ ＤＣ
Ｔ係数予測器、 ４０３ ＤＣＴ係数予測値選択器、
４０４ ＤＣＴ係数予測モード蓄積メモリ、 ４０５
逆量子化器、方位表示装置、 ２ ＣＰＵ、 ３ ＲＡ
Ｍ、 ４ ＲＯＭ、 ５ バス、 ６Ａ／Ｄコンバー
タ、 ７ 出力ポート、 ８ 地磁気センサ、 ９ Ｌ
ＥＤ表示器、 １０ 地磁気センサ入力プログラム、
１１ 方位決定プログラム、１２ 表示プログラム、
１３ 演算制御部、 １４ データテーブル

───────────────────────────────────────────────────── フロントページの続き (56)参考文献 特開 平９−271041（ＪＰ，Ａ) 特開 平９−307929（ＪＰ，Ａ) 特開 平10−79944（ＪＰ，Ａ) 特開 平10−155148（ＪＰ，Ａ) (58)調査した分野(Int.Cl.⁷，ＤＢ名) H04N 11/04 H04N 7/24

Claims (4)

(57)【特許請求の範囲】
1. 【請求項１】 複数の輝度画素にて構成される輝度ブロ
   ックと複数の色差画素にて構成される色差ブロックとか
   らなる符号化単位毎に符号化する画像符号化方法におい
   て、 上記輝度ブロックを構成する各輝度画素に対してそれぞ
   れ割り当てられた色差画素の種類及び個数を決定する色
   差フォーマットを表すフラグと、上記色差ブロックに符
   号化対象となる係数が存在するか否かを示す第１のフラ
   グとを付加し、 上記色差フォーマットを表すフラグと上記第１のフラグ
   とに応じて、上記色差ブロック内の色差サブブロックに
   符号化対象となる係数が存在するか否かを示す第２のフ
   ラグをさらに付加することを特徴とする画像符号化方
   法。
2. 【請求項２】 複数の輝度画素にて構成される輝度ブロ
   ックと複数の色差画素にて構成される色差ブロックとか
   らなる符号化単位毎に符号化する画像符号化装置におい
   て、 上記輝度ブロックを構成する各輝度画素に対してそれぞ
   れ割り当てられた色差画素の種類及び個数を決定する色
   差フォーマットを表すフラグと、上記色差ブロックに符
   号化対象となる係数が存在するか否かを示す第１のフラ
   グとを付加する手段と、 上記色差フォーマットを表すフラグと上記第１のフラグ
   とに応じて、上記色差ブロック内の色差サブブロックに
   符号化対象となる係数が存在するか否かを示す第２のフ
   ラグをさらに付加する手段を有することを特徴とする画
   像符号化装置。
3. 【請求項３】 複数の輝度画素にて構成される輝度ブロ
   ックと複数の色差画素にて構成される色差ブロックとか
   らなる符号化単位毎に符号化された符号化画像データを
   復号する画像復号方法において、 上記輝度ブロックを構成する各輝度画素に対してそれぞ
   れ割り当てられた色差画素の種類及び個数を決定する色
   差フォーマットを表すフラグと、上記色差ブロックに符
   号化された係数が存在するか否かを示す第１のフラグと
   を抽出し、 上記色差フォーマットを表すフラグと上記第１のフラグ
   とに応じて、上記色差ブロック内の色差サブブロックに
   符号化対象となる係数が存在するか否かを示す第２のフ
   ラグをさらに抽出することを特徴とする画像復号方法。
4. 【請求項４】 複数の輝度画素にて構成される輝度ブロ
   ックと複数の色差画素にて構成される色差ブロックとか
   らなる符号化単位毎に符号化された符号化画像データを
   復号する画像復号装置において、 上記輝度ブロックを構成する各輝度画素に対してそれぞ
   れ割り当てられた色差画素の種類及び個数を決定する色
   差フォーマットを表すフラグと、上記色差ブロックに符
   号化された係数が存在するか否かを示す第１のフラグと
   を抽出する手段と、 上記色差フォーマットを表すフラグと上記第１のフラグ
   とに応じて、上記色差ブロック内の色差サブブロックに
   符号化対象となる係数が存在するか否かを示す第２のフ
   ラグをさらに抽出する手段とを有することを特徴とする
   画像復号装置。