JP3440830B2 - 画像符号化装置及び方法、並びに記録媒体 - Google Patents

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、画像符号化装置及
び方法、並びに記録媒体に関し、特に、例えば動画像デ
ータを光磁気ディスクや磁気テープなどの記録媒体に記
録し、これを再生してディスプレイなどに表示したり、
テレビ会議システム、テレビ電話システム、放送用機
器、マルチメディアデータベース検索システムなどのよ
うに、動画像データを伝送路を介して送信側から受信側
に伝送し、受信側において、受信された動画像データを
表示する場合や、編集して記録する場合などに用いて好
適な画像符号化装置及び方法、並びに記録媒体に関す
る。

【０００２】

【従来の技術】例えば、テレビ会議システム、テレビ電
話システムなどのように、動画像データを遠隔地に伝送
するシステムにおいては、伝送路を効率良く利用するた
めに、画像のライン相関やフレーム間相関を利用して画
像データを圧縮符号化するようにしている。

【０００３】動画像の高能率符号化方式には、代表的な
ものとしてＭＰＥＧ（Moving Picture Experts Group）
（蓄積用動画像符号化）方式がある。これはＩＳＯ−Ｉ
ＥＣ／ＪＴＣ１／ＳＣ２／ＷＧ１１において議論され、
標準案として提案されたものであり、動き補償予測符号
化とＤＣＴ（Discrete Cosine Transform）符号化を組
み合わせたハイブリッド方式が採用されている。

【０００４】ＭＰＥＧでは、様々なアプリケーションや
機能に対応するために、幾つかのプロファイルおよびレ
ベルが定義されている。最も基本となるのが、メインプ
ロファイルメインレベル（ＭＰ＠ＭＬ：Main Profile a
t Main Level）である。

【０００５】図４２は、ＭＰＥＧ方式におけるＭＰ＠Ｍ
Ｌのエンコーダの一般的な構成例を示している。

【０００６】符号化すべき入力画像データは、フレーム
メモリ３１に入力され、一時記憶される。

【０００７】動きベクトル検出器３２は、フレームメモ
リ３１に記憶された画像データを、例えば１６画素×１
６画素などで構成されるマクロブロック単位で読み出
し、その動きベクトルを検出する。

【０００８】ここで、動きベクトル検出器３２において
は、各フレームの画像データを、Ｉピクチャ(フレーム
内符号化）、Ｐピクチャ（前方予測符号化）、またはＢ
ピクチャ（両方向予測符号化）のうちの何れかとして処
理する。なお、シーケンシャルに入力される各フレーム
の画像を、Ｉ，Ｐ，Ｂピクチャのいずれのピクチャとし
て処理するかは、例えば予め定められている（例えば、
Ｉ，Ｂ，Ｐ，Ｂ，Ｐ，・・・Ｂ，Ｐとして処理され
る）。

【０００９】すなわち、動きベクトル検出器３２は、フ
レームメモリ３１に記憶された画像データの中の、予め
定められた所定の参照フレームを参照し、その参照フレ
ームと、現在符号化の対象となっているフレームの１６
画素×１６ラインの小ブロック（マクロブロック）とを
パターンマッチング（ブロックマッチング）することに
より、そのマクロブロックの動きベクトルを検出する。

【００１０】ここで、ＭＰＥＧにおいて、画像の予測モ
ードには、イントラ符号化（フレーム内符号化）、前方
予測符号化、後方予測符号化、両方向予測符号化の４種
類があり、Ｉピクチャはイントラ符号化され、Ｐピクチ
ャはイントラ符号化または前方予測符号化の何れかで符
号化され、Ｂピクチャはイントラ符号化、前方予測符号
化、後方予測符号化、または両方法予測符号化の何れか
で符号化される。

【００１１】このため、動きベクトル検出器３２は、Ｉ
ピクチャについては予測モードとしてイントラ符号化モ
ードを設定する。この場合、動きベクトル検出器３２
は、動きベクトルの検出は行わず、その予測モード（イ
ントラ予測モード）の情報のみをＶＬＣ（可変長符号
化）器３６および動き補償器４２に出力する。

【００１２】また、動きベクトル検出器３２は、Ｐピク
チャについては前方予測を行い、その動きベクトルを検
出する。さらに、動きベクトル検出器３２は、前方予測
を行うことにより生じる予測誤差と、符号化対象のマク
ロブロック（Ｐピクチャのマクロブロック）の、例えば
分散とを比較する。その比較の結果、マクロブロックの
分散の方が予測誤差より小さい場合、動きベクトル検出
器３２は、予測モードとしてイントラ符号化モードを設
定し、検出した動きベクトルとともにそのモードの情報
をＶＬＣ器３６および動き補償器４２に出力する。ま
た、動きベクトル検出器３２は、前方予測を行うことに
より生じる予測誤差の方が小さければ、予測モードとし
て前方予測符号化モードを設定し、検出した動きベクト
ルとともそのモードの情報を、ＶＬＣ器３６および動き
補償器４２に出力する。

【００１３】さらに、動きベクトル検出器３２は、Ｂピ
クチャについては、前方予測、後方予測、および両方向
予測を行い、それぞれの動きベクトルを検出する。そし
て、動きベクトル検出器３２は、前方予測、後方予測、
および両方向予測についての予測誤差の中の最小のもの
（以下、適宜、最小予測誤差という）を検出し、その最
小予測誤差と、符号化対象のマクロブロック（Ｂピクチ
ャのマクロブロック）の、例えば分散とを比較する。そ
の比較の結果、マクロブロックの分散の方が最小予測誤
差より小さい場合、動きベクトル検出器３２は、予測モ
ードとしてイントラ符号化モードを設定し、検出した動
きベクトルとともそのモードの情報を、ＶＬＣ器３６お
よび動き補償器４２に出力する。また、動きベクトル検
出器３２は、最小予測誤差の方が小さければ、予測モー
ドとして、その最小予測誤差が得られた予測モードを設
定し、検出した動きベクトルとともそのモードの情報
を、ＶＬＣ器３６および動き補償器４２に出力する。

【００１４】動き補償器４２は、動きベクトル検出器３
２から予測モードと動きベクトルの両方を受信すると、
その予測モードおよび動きベクトルにしたがって、フレ
ームメモリ４１に記憶されている、符号化され且つ既に
局所復号された画像データを読み出し、この読み出され
た画像データを予測画像データとして演算器３３および
４０に供給する。

【００１５】演算器３３は、動きベクトル検出器３２が
フレームメモリ３１から読み出した画像データと同一の
マクロブロックをフレームメモリ３１から読み出し、そ
のマクロブロックと、動き補償器４２からの予測画像と
の差分を演算する。この差分値はＤＣＴ器３４に供給さ
れる。

【００１６】一方、動き補償器４２は、動きベクトル検
出器３２から予測モードのみを受信した場合、すなわち
予測モードがイントラ符号化モードである場合には、予
測画像を出力しない。この場合、演算器３３（演算器４
０も同様）は、特に処理を行わず、フレームメモリ３１
から読み出したマクロブロックをそのままＤＣＴ器３４
に出力する。

【００１７】ＤＣＴ器３４では、演算器３３の出力デー
タに対してＤＣＴ処理を施し、その結果得られるＤＣＴ
係数を、量子化器３５に供給する。量子化器３５では、
バッファ３７のデータ蓄積量（バッファ３７に記憶され
ているデータの量）（バッファフィードバック）に対応
して量子化ステップ（量子化スケール）が設定され、そ
の量子化ステップでＤＣＴ器３４からのＤＣＴ係数を量
子化する。この量子化されたＤＣＴ係数（以下、適宜、
量子化係数という）は、設定された量子化ステップとと
もにＶＬＣ器３６に供給される。

【００１８】ＶＬＣ器３６では、量子化器３５より供給
される量子化係数を、例えばハフマン符号などの可変長
符号に変換し、バッファ３７に出力する。さらに、ＶＬ
Ｃ器３６は、量子化器３５からの量子化ステップ、動き
ベクトル検出器３２からの予測モード（イントラ符号化
（画像内予測符号化）、前方予測符号化、後方予測符号
化、または両方向予測符号化のうちの何れが設定された
かを示すモード）および動きベクトルも可変長符号化
し、その結果得られる符号化データをバッフ３７に出力
する。

【００１９】バッファ３７は、ＶＬＣ器３６からの符号
化データを一時蓄積することにより、そのデータ量を平
滑化し、符号化ビットストリームとして例えば伝送路に
出力、または記録媒体に記録する。

【００２０】また、バッファ３７は、そのデータ蓄積量
を量子化器３５に出力しており、量子化器３５は、この
バッファ３７からのデータ蓄積量にしたがって量子化ス
テップを設定する。すなわち、量子化器３５は、バッフ
ァ３７がオーバーフローしそうなとき、量子化ステップ
を大きくし、これにより量子化係数のデータ量を低下さ
せる。また、量子化器３５は、バッファ３７がアンダー
フローしそうなとき、量子化ステップを小さくし、これ
により量子化係数のデータ量を増大させる。このように
して、バッファ３７のオーバフローとアンダフローを防
止するようになっている。

【００２１】量子化器３５が出力する量子化係数と量子
化ステップは、ＶＬＣ器３６だけでなく、逆量子化器３
８にも供給されるようになされている。逆量子化器３８
では、量子化器３５からの量子化係数を、同じく量子化
器３５からの量子化ステップにしたがって逆量子化す
る。これにより、量子化係数はＤＣＴ係数に変換され
る。このＤＣＴ係数は、ＩＤＣＴ器（逆ＤＣＴ器）３９
に供給される。ＩＤＣＴ器３９では、ＤＣＴ係数を逆Ｄ
ＣＴ処理し、その処理の結果得られるデータを演算器４
０に供給する。

【００２２】演算器４０には、ＩＤＣＴ器３９の出力デ
ータの他、上述したように動き補償器４２から演算器３
３に供給されている予測画像と同一のデータが供給され
ている。演算器４０は、ＩＤＣＴ器３９の出力データ
（予測残差（差分データ））と、動き補償器４２からの
予測画像データとを加算することで、元の画像データを
局所復号し、この局所復号された画像データ（局所復号
画像データ）を出力する。但し、予測モードがイントラ
符号化である場合、ＩＤＣＴ器３９の出力データは演算
器４０をスルーして、そのまま局所復号画像データとし
てフレームメモリ４１に供給される。なお、この復号画
像データは、受信側において得られる復号画像データと
同一のものである。

【００２３】演算器４０において得られた復号画像デー
タ（局所復号画像データ）は、フレームメモリ４１に供
給されて記憶され、その後、インター符号化（前方予測
符号化、後方予測符号化、量方向予測符号化）される画
像に対する参照画像データ（参照フレーム）として用い
られる。

【００２４】次に、図４３は、図４２のエンコーダから
出力される符号化データを復号する、ＭＰＥＧにおける
ＭＰ＠ＭＬのデコーダの一例の構成を示している。

【００２５】このデコーダにおいて、バッファ１０１に
は、伝送路を介して伝送されてきた符号化ビットストリ
ーム（符号化データ）を図示せぬ受信装置で受信し、ま
たは記録媒体に記録された符号化ビットストリーム（符
号化データ）を図示せぬ再生装置で再生した、符号化ビ
ットストリーム（符号化データ）が供給される。当該バ
ッファ１０１は、この符号化ビットストリームを一時記
憶する。

【００２６】ＩＶＬＣ器（逆ＶＬＣ器（可変長復号
器））１０２は、バッファ１０１に記憶された符号化デ
ータを読み出し、可変長復号することにより、その符号
化データをマクロブロック単位で、動きベクトル、予測
モード、量子化ステップ、および量子化係数に分離す
る。これらのデータのうち、動きベクトルおよび予測モ
ードは動き補償器１０７に供給され、量子化ステップお
よびマクロブロックの量子化係数は逆量子化器１０３に
供給される。

【００２７】逆量子化器１０３は、ＩＶＬＣ器１０２よ
り供給されたマクロブロックの量子化係数を、同じくＩ
ＶＬＣ器１０２より供給された量子化ステップにしたが
って逆量子化し、その結果得られるＤＣＴ係数をＩＤＣ
Ｔ器１０４に出力する。ＩＤＣＴ器１０４は、逆量子化
器１０３からのマクロブロックのＤＣＴ係数を逆ＤＣＴ
し、演算器１０５に供給する。

【００２８】演算器１０５には、ＩＤＣＴ器１０４の出
力データの他、動き補償器１０７の出力データも供給さ
れている。すなわち、動き補償器１０７は、フレームメ
モリ１０６に記憶されている、既に復号された画像デー
タを、図４２の動き補償器４２における場合と同様に、
ＩＶＬＣ器１０２からの動きベクトルおよび予測モード
にしたがって読み出し、予測画像データとして演算器１
０５に供給する。演算器１０５は、ＩＤＣＴ器１０４の
出力データ（予測残差（差分値））と、動き補償器１０
７からの予測画像データとを加算することで、元の画像
データを復号する。この復号画像データは、再生画像デ
ータとして出力されると共に、フレームメモリ１０６に
供給されて記憶される。なお、ＩＤＣＴ器１０４の出力
データがイントラ符号化されたものである場合、その出
力データは、演算器１０５をスルーして、復号画像デー
タとして、そのままフレームメモリ１０６に供給されて
記憶される。

【００２９】フレームメモリ１０６に記憶された復号画
像データは、その後に復号される画像データの参照画像
データとして用いられる。さらに、復号画像データは、
出力再生画像として例えば図示せぬディスプレイなどに
供給されて表示される。

【００３０】なお、ＭＰＥＧ１およびＭＰＥＧ２では、
Ｂピクチャは参照画像データとして用いられないため、
エンコーダまたはデコーダのそれぞれにおいて、フレー
ムメモリ４１（図４２）または１０６（図４３）には記
憶されない。

【００３１】

【発明が解決しようとする課題】以上の図４２，図４３
に示したエンコーダ，デコーダはＭＰＥＧ１及びＭＰＥ
Ｇ２の規格に準拠したものであるが、現在は、ＩＳＯ−
ＩＥＣ／ＪＴＣ１／ＳＣ２９／ＷＧ１１において、画像
を構成する物体などのオブジェクトのシーケンスである
ビデオオブジェクト（ＶＯ：Video Object）単位で符号
化を行う方式についてＭＰＥＧ（Moving Picture Exper
ts Group）４としての標準化作業が進められている。

【００３２】ところで、ＭＰＥＧ４では、現在４：２：
０フォーマットと呼ばれる、図４４に規定されている画
像フォーマットのみが符号化／復号化できる画像として
規定されている。

【００３３】当該４：２：０フォーマットは、図４４に
示すように、輝度Ｙ及び２つの色差Ｃｒ，Ｃｂの信号で
構成される。

【００３４】４：２：０フォーマットは、輝度Ｙの走査
線２本、および水平方向の２画素に対して、色差Ｃｒ，
Ｃｂがそれぞれ１画素づつ割り当てられる画像フォーマ
ット（すなわち、輝度Ｙの４画素に対し色差Ｃｒ，Ｃｂ
がそれぞれ１画素づつ割り当てられる）であり、その色
差Ｃｒ，Ｃｂの位置は輝度Ｙに対し同位置に存在する。

【００３５】なお、輝度Ｙに対しての色差Ｃｒ、Ｃｂの
位置は、図４４の位置だけではなく、使用される装置等
によって異なる。

【００３６】４：２：０フォーマットは、前述のとお
り、輝度Ｙの４画素に対し色差Ｃｒ，Ｃｂがそれぞれ１
画素割り当てられているため、輝度Ｙに対し、色差Ｃ
ｒ，Ｃｂの解像度が低くなる。

【００３７】そのため、放送局等で求められる画質の高
い画像に対しては、その使用用途に応じて、４：２：０
フォーマットではなく、４：２：２フォーマット、４：
４：４フォーマットが用いられる。

【００３８】上記４：２：２フォーマットは、図４５に
示す画素配置のように、輝度Ｙの走査線１本及び水平方
向の２画素に対し、色差Ｃｒ，Ｃｂがそれぞれ１画素ず
つ（すなわち輝度Ｙの２画素に対し色差Ｃｒ，Ｃｂが１
画素）割り当てられる。

【００３９】上記４：４：４フォーマットは、図４６に
示す画素配置のように、輝度Ｙの走査線１本及び水平方
法の１画素に対し、色差Ｃｒ，Ｃｂがそれぞれ１画素ず
つ（すなわち、輝度Ｙ、色差Ｃｒ，Ｃｂの画素数、位置
は等しい）が割り当てられる。

【００４０】このように４：２：２フォーマットや４：
４：４フォーマットは、４：２：０フォーマットに対
し、色差信号の画素数が多く、画質を求める画像に対し
て使用することはその画質を向上させることに対し大変
有効である。

【００４１】しかし、ＭＰＥＧ４においては、前述した
とおり４：２：０フォーマットの画像のみが規定されて
おり、４：２：２フォーマットや４：４：４フォーマッ
トをその符号化・復号画像として使用することは不可能
である。

【００４２】また、ＭＰＥＧ４では、画像の符号化だけ
ではなく、形状情報も符号化できるように規格化されて
いる。さらに、形状情報を持った画像を符号化する方法
は、４：２：０フォーマットのみに対応しており、４：
２：２フォーマット、４：４：４フォーマットには対応
していない。

【００４３】そこで、本発明はこのような状況に鑑みて
なされたものであり、形状情報を所有している画像にお
いての４：２：２フォーマット，４：４：４フォーマッ
トの色差成分の符号化、及び、ＭＰＥＧ４において４：
２：２フォーマット，４：４：４フォーマットが使用で
きるように拡張された画像符号化等に適用可能であり、
特に、色差ブロックの動きベクトル検出や動き補償に用
いて好適な画像符号化装置及び方法、並びに記録媒体を
提供することを目的とする。

【００４４】

【課題を解決するための手段】本発明に係る画像符号化
装置及び方法は、画像の輝度成分と色差成分とをそれぞ
れブロック化して各ブロック毎の動きベクトルを求め、
動き補償を伴う予測符号化を行う際に、上記画像の形状
情報が供給され、上記色差成分として、複数種類の色差
フォーマットのいずれかが選択された色差成分を用い、
上記輝度成分のブロックの動きベクトルを検出すると共
に、得られた輝度成分の動きベクトルに基づき、上記色
差成分の色差フォーマットの種類及び上記形状情報に応
じて選択された計算により、対応する色差成分のブロッ
クの動きベクトルを生成し、上記動きベクトルを用いて
動き補償を行い、上記動き補償が行われたデータと入力
画像とに基づいて予測符号化を行うことにより、上述の
課題を解決する。

【００４５】ここで、上記色差成分として、複数種類の
色差フォーマットのいずれかが選択された色差成分を用
い、この色差フォーマットの種類に応じて、上記輝度成
分のブロックに対して得られた動きベクトルに基づく色
差成分のブロックの動きベクトルの計算を行うことが挙
げられる。

【００４６】具体的には、ＶＯＬレイヤもしくはさらに
上位のレイヤにおいて、色差フォーマットを示すフラグ
（croma_type）を採用する。このフラグ（croma_type）
は、２ビットのフラグであり、例えばその値を表１と定
義することによって符号化／復号化を行う画像の色差フ
ォーマットを特定が可能となる。また、マクロブロック
レイヤにおいても、従来、ＭＰＥＧ４では色差のブロッ
クの符号化状態を表すフラグ（cbpc）を用いてその色差
ブロックにおけるＤＣＴ係数の存在を判断している。Ｍ
ＰＥＧ４では、このフラグ（cbpc）をＩ−ＶＯＰ、Ｐ−
ＶＯＰのマクロブロックの場合には、ＶＬＣである（mc
bpc）より得て、Ｂ−ＶＯＰの場合には、ＣＢＰＢの下
位２ビットから得ることができる。

【００４７】本方式では、これを改良し、フラグ（crom
a_type）によりその読み込むビット量を変化させること
が可能である。すなわちクロマフォーマット（croma_fo
rmat）が４：２：０フォーマットを示す場合には従来通
り２ビットのフラグ（cbpc）のみでそのブロックの存在
を判断するが、さらにクロマフォーマット（croma_typ
e）が４：２：０以外の色差フォーマットを示した場
合、さらにその色差のタイプに応じて数ビット読み込み
そのビットの状態に応じて色差ブロックのＤＣＴ係数の
存在を判断することができる。

【００４８】これらの手法により、ＭＰＥＧ４を４：
２：０フォーマットだけではなく、４：２：２もしくは
４：４：４フォーマットに拡張することが可能となる。

【００４９】また、形状情報は輝度と同じ画素数を持
つ、2値または多値の画像で構成され、色差の符号化／
復号化時にてこの形状情報を利用する際には、形状情報
に特定の処理を施し、色差用の形状情報として利用して
いる。そのため、本方式では この処理方法をクロマの
フォーマットを示すフラグを用いて適用的に変化させる
方法を提案し、それにより形状情報を有する４２２、４
４４フォーマットの画像の符号化が可能になる。

【００５０】

【発明の実施の形態】本発明の好ましい実施の形態につ
いて、図面を参照しながら説明する。

【００５１】図１には本発明の画像符号化方法及び装置
を適用したエンコーダの一実施の形態の構成例を示す
が、この図１の構成について説明する前に、本発明を理
解する上で必要な用語として、ビジュアルオブジェクト
（Visual Object）、ビデオオブジェクト（Video Objec
t、以下適宜ＶＯとする）、ビデオオブジェクトレイヤ
（Video Object Layer、以下適宜ＶＯＬとする） 、グ
ループオブビデオオブジェクトプレーン（Group of Vid
eo Object Plane 、以下適宜ＧＯＶとする）、ビデオオ
ブジェクトプレーン（Video Object Plane、以下適宜Ｖ
ＯＰとする）、グループオブブロック（Group of bloc
k、以下適宜ＧＯＢとする） ,マクロブロック（以下、
適宜ＭＢとする)，ブロック（block）について、図２及
び図３を用いて簡単に説明する。

【００５２】先ず、ブロックは、輝度または色差毎の隣
り合った例えば８ライン×８画素から構成される。例え
ば、ＤＣＴ（離散コサイン変換）はこの単位で実行され
る。なお、これ以降、各ブロックについては、便宜上図
３の各ブロックに付加した番号により表すことにする。

【００５３】４：２：０フォーマットにおけるマクロブ
ロック内のブロックの配置を図３の（ａ）を用いて説明
する。図３の（ａ）は、ＭＰＥＧ４のビジュアルコミッ
ティドラフト（Visual Comitee Draft、以下、適宜、Ｃ
Ｄと記述する）における、マクロブロック内でのブロッ
クの分割法を示した図である。

【００５４】マクロブロック（ＭＢ）は、例えば画像の
フォーマットが、いわゆる４：２：０コンポーネントデ
ィジタル信号である場合、上下左右に隣り合った４つの
輝度Ｙのブロックと、画像上では同じ位置にあたる色差
Ｃｂ，Ｃｒそれぞれのブロックの全部で６つのブロック
で構成される。すなわち、ＭＰＥＧ４には、従来４：
２：０フォーマットのマクロブロックをその符号化／復
号画像として定義してあり、図３の（ａ）のブロック
０，１，２，３は輝度Ｙのブロックを示し、ブロック４
は色差Ｃｂのブロックを、ブロック５は色差Ｃｒのブロ
ックを示す。各ブロックは８×８画素で構成されてい
る。ここで、図３の（ａ）の輝度Ｙのブロックの配置
は、１６×１６画素の輝度Ｙのブロックを４つの８×８
のブロックに分割して考えることを示す。同様に色差Ｃ
ｂ，Ｃｒのブロック４，５も８×８画素のブロックであ
る。このとき４：２：０フォーマットでは、色差の大き
さは一つのマクロブロックでそれぞれ８×８画素となさ
れており、この色差のブロックは分割せずにそのまま符
号化される。また、各マクロブロックを８×８画素のブ
ロックに分割して考えるのは、ＭＰＥＧにおいてＤＣＴ
が８×８画素のブロックに対して行われるものであるか
らである。

【００５５】ここで、本実施の形態では、色差フォーマ
ットが、４：２：０フォーマットだけでなく、４：２：
２フォーマット、４：４：４フォーマットにも対応して
いる。図３の（ａ）のブロックの配置では、４：２：２
フォーマット、４：４：４フォーマットに対応できない
ため、４：２：２フォーマットに対応させたときのブロ
ック配置を図３の（ｂ）に、４：４：４フォーマットに
対応させたときのブロック配置を図３の（ｃ）に示す。
なお、図３の（ｂ）、図３の（ｃ）の各ブロックは、図
３の（ａ）と同様に、それぞれ８×８画素のブロックを
示す。

【００５６】図３の（ｂ）は、４：２：２フォーマット
に対応したマクロブロック内のブロックの構造を模式的
に示している。図３の（ｂ）のブロック配置では、輝度
Ｙが４つのブロック０，１，２，３で構成され、色差Ｃ
ｂ，Ｃｒのブロックは上下に位置するそれぞれ２つの８
×８のブロック４と６、５と７で構成される。すなわち
４：２：２フォーマットの輝度Ｙのブロックは、４：
２：０フォーマットと同様１６×１６のブロックを上下
左右に２等分づつした形になっているが、色差のブロッ
クは８×１６画素で構成されている。そのため、図３の
（ｂ）の様に、色差信号は上下２つに分割されている。

【００５７】さらに、図３の（ｃ）は、４：４：４フォ
ーマットに対するマクロブロックの構造を模式的に示し
ている。４：４：４フォーマットでは、輝度Ｙ及び色差
Ｃｂ、Ｃｒはそれぞれ１６×１６画素で構成される。そ
のため４：４：４フォーマットをブロックに分割した場
合、Ｙ、Ｃｂ、Ｃｒのそれぞれが図３の（ｃ）に示すよ
うな４つの８×８ブロックで構成されることとなる。す
なわち、輝度Ｙはブロック０，１，２，３で構成され、
色差Ｃｂのブロックは４，６，８，１０で、色差Ｃｒの
ブロックは５，７，９，１１で構成される。

【００５８】次に、ＶＯＰ（Video Object Plane）は、
１つまたは複数のマクロブロックから構成される１枚の
画像を表す。この画像は、符号化される方式にしたがっ
て、Ｉピクチャ（画像内符号化画像）、Ｐピクチャ（前
方予測符号化画像）、およびＢピクチャ（両方向予測符
号化画像）のうちのいずれかに分類される。

【００５９】Ｉ−ＶＯＰ（Ｉピクチャ）は、動き補償を
行うことなく、画像そのものが符号化（イントラ符号
化）されるものである。Ｐ−ＶＯＰ（Ｐピクチャ）は、
基本的には、自身より時間的に前に位置する画像（Ｉま
たはＰ−ＶＯＰ）に基づいて、前方予測符号化される。
Ｂ−ＶＯＰ（Ｂピクチャ）は、基本的には、自身より時
間的に前と後ろに位置する２つの画像（ＩまたはＰ−Ｖ
ＯＰ）に基づいて両方向予測符号化されるものである。

【００６０】ＧＯＶ（Group of Video Object Plane）
は、少なくとも１枚のＩ−ＶＯＰと、０または少なくと
も１枚の非Ｉ−ＶＯＰ（すなわちＰ−ＶＯＰ、Ｂ−ＶＯ
Ｐ）とから構成される。ただし、階層符号化を行った場
合の上位レイヤに関してはこの限りではない。なお、Ｇ
ＯＶの使用、不使用は符号化時に自由に決められる。

【００６１】ＶＯＬ（Video Object Layer）は、少なく
とも１枚以上のＶＯＰもしくはＧＯＶから成り立つ。Ｖ
ＯＬ内には同一の表示時間を持つＶＯＰは含まれず、Ｖ
ＯＰをその表示時間順に表示することにより一連の画像
が表示されることになる。

【００６２】ビデオオブジェクト（video Object：Ｖ
Ｏ）は、１つ以上のＶＯＬから構成され、ＶＯＬの組合
わせにより同一オブジェクトを複数の解像度、フレーム
レート等で符号化、復号化することが可能である。これ
は図２に表す関係を有する。

【００６３】ビジュアルオブジェクト（Visual Objec
t）は、一つのビデオオブジェクト（video Object）ま
たは他の一つのオブジェクト（例えばフェイスオブジェ
クト（face object）、メッシュオブジェクト（mesh ob
ject）、スチルテクスチャオブジェクト（still textur
e object）等）により構成される。

【００６４】ビデオオブジェクトシーケンス（Visual O
bject Sequence）は、一つもしくは複数のビジュアルオ
ブジェクト（Visual Object）より構成され、図２に表
す関係を有する。

【００６５】次に、図１を用いて、本発明を適用した実
施の形態のエンコーダについて説明する。

【００６６】入力画像信号すなわち符号化すべき画像
（動画像）データは、ＶＯ（Video Object）構成部１に
入力される。ＶＯ構成部１では、入力される画像を構成
するオブジェクト毎に、そのシーケンスであるＶＯ（Vi
deo Object）を構成し、ＶＯＰ構成部２1乃至２Nに出力
する。すなわち、ＶＯ構成部１においてＮ個のＶＯ＃１
乃至ＶＯ＃Ｎが構成された場合、そのＮ個のＶＯ＃１乃
至ＶＯ＃Ｎは、それぞれ対応したＮ個のＶＯＰ構成部２
1乃至２Nにそれぞれ出力される。

【００６７】図４を用いて具体的に説明すると、符号化
すべき画像データが、例えば独立した背景Ｆ１のシーケ
ンスと前景Ｆ２のシーケンスとから構成される場合、Ｖ
Ｏ構成部１は、例えば背景Ｆ１のシーケンスをＶＯ＃１
としてＶＯＰ構成部２1に出力するとともに、前景Ｆ２
のシーケンスをＶＯ＃２としてＶＯＰ構成部２2に出力
する。なお、図４の例は、背景である画像Ｆ１と前景で
ある画像Ｆ２とからなる画像を示しており、画像Ｆ１
は、例えばある自然の風景を撮影したものであり、その
画像全体のシーケンスが１つのＶＯ（ＶＯ＃１）とされ
ている。また、画像Ｆ２は、例えば人が歩いている様子
を撮影したものであり、その人を囲む最小の長方形のシ
ーケンスが１つのＶＯ（ＶＯ＃２）とされている。

【００６８】ＶＯ構成部１は、符号化すべき画像データ
が、例えば背景Ｆ１と前景Ｆ２とが既に合成されたもの
である場合、所定のアルゴリズムにしたがって当該画像
を領域分割することにより、背景Ｆ１と前景Ｆ２とを取
り出し、それぞれのシーケンスとしてのＶＯを、対応す
るＶＯＰ構成部２n（但し、ｎ＝１，２，・・・，Ｎ）
に出力する。

【００６９】ＶＯＰ構成部２nは、ＶＯ構成部１の出力
からＶＯＰを構成する。すなわち例えば、各フレームか
ら物体（オブジェクト）を抽出し、その物体を囲む、例
えば最小の長方形（以下、適宜、最小長方形という）を
ＶＯＰとする。なおこのとき、ＶＯＰ構成部２nは、そ
の横および縦の画素数が、例えば１６の倍数となるよう
にＶＯＰを構成する。ＶＯ構成部２nは、ＶＯＰを構成
すると、そのＶＯＰをＶＯＰ符号化部３nに出力する。

【００７０】さらに、ＶＯＰ構成部２nは、ＶＯＰの大
きさ（例えば横および縦の長さ）を表すサイズデータ
（ＶＯＰ＿size）と、フレームにおけるそのＶＯＰの位
置（例えばフレームの最も左上を原点とするときの座
標）を表すオフセットデータ（ＶＯＰ＿offset）とを検
出し、これらのデータもＶＯＰ符号化部３nに供給す
る。

【００７１】ＶＯＰ符号化部３nは、ＶＯＰ構成部２nの
出力を、例えばＭＰＥＧやＨ．２６３などの規格に準拠
した方式で符号化し、その結果得られるビットストリー
ムを多重化部４に出力する。多重化部４は、ＶＯＰ符号
化部３1乃至３Nからのビットストリームを多重化し、そ
の結果得られる多重化データを、例えば地上波や衛星回
線、ＣＡＴＶ網その他の伝送路５を介して伝送し、また
は、例えば磁気ディスク、光磁気ディスク、光ディス
ク、磁気テープその他の記録媒体６に記録する。

【００７２】ここで、ＶＯおよびＶＯＰについて説明す
る。

【００７３】ＶＯは、ある合成画像のシーケンスが存在
する場合の、その合成画像を構成する各オブジェクト
（物体）のシーケンスであり、ＶＯＰは、ある時刻にお
けるＶＯを意味する。すなわち、例えば画像Ｆ１および
Ｆ２を合成して構成された合成画像Ｆ３がある場合、画
像Ｆ１またはＦ２が時系列に並んだものがそれぞれＶＯ
であり、ある時刻における画像Ｆ１またはＦ２がそれぞ
れＶＯＰである。従って、ＶＯは、異なる時刻の同一オ
ブジェクトのＶＯＰの集合であると言うことができる。

【００７４】なお、図４の例のように、画像Ｆ１を背景
とするとともに画像Ｆ２を前景とすると、それらの合成
画像Ｆ３は、画像Ｆ２を切り抜くためのキー信号を用い
て、画像Ｆ１およびＦ２を合成することによって得られ
るが、この場合における画像Ｆ２のＶＯＰには、その画
像Ｆ２を構成する画像データ（輝度信号および色差信
号）の他、適宜、そのキー信号も含まれるものとする。

【００７５】画像フレーム（画枠）のシーケンスは、そ
の大きさおよび位置のいずれも変化しないが、ＶＯは、
大きさや位置が変化する場合がある。すなわち、同一の
ＶＯを構成するＶＯＰであっても、時刻によってその大
きさや位置が異なる場合がある。

【００７６】具体的にいうと、図４の例のように、画像
Ｆ１が例えばある自然の風景を撮影したものであり、画
像Ｆ２が例えば人が歩いている様子を撮影したものであ
る場合、画像Ｆ１のＶＯ＃１は風景の画像であるから、
基本的に通常の画像のフレームと同様にその位置および
大きさの両方とも変化しないのに対して、画像Ｆ２のＶ
Ｏ＃２は人の画像であるから、人物が左右に移動した
り、また図面において手前側または奥側に移動すること
により、その大きさや位置が変化する。従って、図４
は、同一時刻におけるＶＯ＃１およびＶＯ＃２を表して
いるが、ＶＯの位置や大きさは時間の経過に伴って変化
することがある。

【００７７】そこで、図１のＶＯＰ符号化部３nは、そ
の出力するビットストリームに、ＶＯＰを符号化したデ
ータの他、所定の絶対座標系におけるＶＯＰの位置（座
標）および大きさに関する情報も含めるようになされて
いる。なお、図４においては、ＶＯ＃１を構成するある
時刻のＶＯＰ（画像Ｆ１）の位置を示すベクトルをＯＳ
Ｔ１とし、その時刻と同一時刻におけるＶＯ＃２のＶＯ
Ｐ（画像Ｆ２）の位置を表すベクトルをＯＳＴ２とし
て、それぞれ表してある。

【００７８】次に、図５には、図１のＶＯＰ符号化部３
nの詳細な構成例を示す。なお、この図５において、図
４２における場合と対応する各構成要素については、同
一の指示符号を付してある。すなわち、ＶＯＰ符号化部
３nは、基本的には図４２のエンコーダと同様に構成さ
れているものである。

【００７９】この図５において、図４２における場合と
同様に、入力画像の画像データはフレームメモリ３１に
供給されてＶＯＰとして記憶される。

【００８０】動きベクトル検出器３２では、フレームメ
モリ３１に記憶されたＶＯＰに対してマクロブロック単
位で動きベクトルの検出を行う。すなわち、上述したよ
うに、ＶＯＰは時刻（フレーム）によって大きさや位置
が変化するため、その動きベクトルの検出にあたって
は、その検出のための基準となる座標系を設定し、その
座標系における動きを検出する必要がある。そこで、動
きベクトル検出器３２では、上述の絶対座標系を基準と
なる座標系とし、サイズデータＦＳＺ＿Ｂおよびオフセ
ットデータＦＰＯＳ＿Ｂにしたがってその絶対座標系に
符号化対象のＶＯＰ及び参照画像とするＶＯＰを配置し
て、動きベクトルを検出する。なお、検出された動きベ
クトル（ＭＶ）は、予測モードとともに形状情報符号化
器５０、ＶＬＣ器３６および動き補償器４２、量子化器
３５、逆量子化器３８、ＤＣＴ係数差分化器４４に供給
される。

【００８１】また、動き補償を行う場合においても、や
はり上述したように基準となる座標系における動きを検
出する必要があるため、動き補償器４２には、サイズデ
ータＦＳＺ＿ＢおよびオフセットデータＦＰＯＳ＿Ｂが
供給されるようになされている。

【００８２】演算器３３には、図４２の場合と同様に、
動きベクトル検出器３２がフレームメモリ３１から読み
出した画像データのおけるものと同一のマクロブロック
のデータが供給される。この演算器３３では、そのマク
ロブロックと動き補償器４２からの予測画像との差分を
演算する。この差分値は、ＤＣＴ器３４に送られる。動
き補償器４２は、図４２の場合と同様に、予測モードが
イントラ符号化モードである場合には、予測画像を出力
しない。この場合、演算器３３（演算器４０も同様）
は、特に処理を行わず、フレームメモリ３１から読み出
したマクロブロックのデータをそのままＤＣＴ器３４に
出力する。

【００８３】ＤＣＴ器３４では、演算器３３の出力デー
タに対して、８ライン×８画素からなるブロック単位で
ＤＣＴ処理を施し、そのＤＣＴ処理の結果得られるＤＣ
Ｔ係数を量子化器３５に供給する。

【００８４】量子化器３５では、図４２の量子化器３５
と同様に、入力されたＤＣＴ係数を量子化し、その量子
化データをＤＣＴ係数差分化器４４及び逆量子化器３８
に送る。

【００８５】逆量子化器３８では、図４２に示す逆量子
化器３８と同様の動作を行う。すなわち、量子化器３５
から入力された８×８の量子化されたＤＣＴ係数を逆量
子化し、ＩＤＣＴ器３９に送る。

【００８６】ＩＤＣＴ器３９は、図４２のIＤＣＴ器３
９と同様に動作し、逆量子化器３８より逆量子化された
ＤＣＴ係数を、ＩＤＣＴ処理して演算器４０に出力す
る。

【００８７】演算器４０には、ＩＤＣＴ器３９の出力デ
ータの他、動き補償器４２から、演算器３３に供給され
ている予測画像と同一のデータが供給されている。演算
器４０は、ＩＤＣＴ器３９の出力データ（予測残差（差
分データ））と、動き補償器４２からの予測画像データ
とを加算することで、元の画像データを局所復号し、こ
の局所復号した画像データ（局所復号画像データ）を出
力する。但し、予測モードがイントラ符号化である場合
には、ＩＤＣＴ器３９の出力データは演算器４０をスル
ーして、そのまま局所復号画像データとしてフレームメ
モリ４１に供給される。なお、この復号画像データは、
受信側において得られる復号画像データと同一のもので
ある。

【００８８】演算器４０において得られた復号画像デー
タ（局所復号画像データ）は、テクスチャ（texture）
情報として後述するパディング（Padding）処理器５１
に供給される。

【００８９】一方、形状情報(キー信号）、入力された
サイズデータＦＳＺ＿Ｂ、オフセットデータＦＰＯＳ＿
Ｂ、ＶＯＰのサイズデータＶＯＰ＿size、ＶＯＰのオフ
セットデータＶＯＰ_offset及び、動きベクトル検出器
３２より出力された動きベクトルと予測モードは、形状
情報符号化器５０に供給される。形状情報符号化器５０
では、ＭＰＥＧ４のビジュアルコミッティドラフト（Vi
sual Committe draft）にある記述に従ってその形状情
報の符号化を行う。符号化された形状情報は、形状情報
復号器５２及びＶＬＣ器３６へ送られる。

【００９０】形状情報復号器５２は、形状情報符号化器
５０から供給された、符号化されている形状情報の局所
復号化を行い、そのデータを色差情報用作成器５３及び
パディング（Padding）処理器５１、ＤＣＴ係数差分化
器４４及び、ＶＬＣ器３６へ送る。

【００９１】色差用形状情報作成器５３では、色差フォ
ーマットの形式により形状情報へ処理を加える。当該色
差用形状情報作成器５３の動作について以下に説明す
る。図６には、４：２：０フォーマット（図６の
（ａ））、４：２：２フォーマット（図６の（ｂ））、
４：４：４フォーマット（図６の（ｃ））の場合の色差
用形状情報の作成方法を説明するための図を示す。

【００９２】４：２：０フォーマットの場合を示す図６
の（ａ）において、輝度Ｙの画素ｌａ，ｌｂ，ｌｃ，ｌ
ｄのと色差Ｃｂ，Ｃｒの画素ｃａ（図６の（ａ）では同
じ位置に色差Ｃｂ及びＣｒが存在する）が対応した位置
に存在する画素となり、同様に輝度の画素ｌｅ，ｌｆ，
ｌｇ，ｌｈと色差の画素ｃｂが対応した位置に存在する
画素となる。すなわちここでの対応とは、ｌａの位置の
画素を実際に表示しようとした場合、当該ｌａの位置に
ある輝度Ｙの画素値、及びｃａの位置にある色差Ｃｂ，
Ｃｒの画素値を用いてその表示する画素の情報として用
いると言うことである。

【００９３】ここで、４：２：０フォーマットの場合、
次段に送られることになる形状情報は、輝度の画素と一
対一に対応するように同数で同位置の情報のみとなされ
る。すなわち、図６の（ａ）の場合は、輝度の画素ｌ
ａ，ｌｂ，ｌｃ，ｌｄ，ｌｅ，ｌｆ，ｌｇ，ｌｈの位置
に対応する形状情報のみであり、色差の位置に対応した
形状情報は送られない。そのため、色差信号の符号化を
する際には、色差の画素と一対一対応した同位置で同数
の色差用の形状情報を、輝度用の形状情報より作成する
必要がある。具体的にいうと、色差の画素ｃａの位置
（この位置にはＣｂ，Ｃｒの色差情報が存在する）に対
応する輝度の画素はｌａ，ｌｂ，ｌｃ，ｌｄであり、し
たがって色差の画素ｃａの位置に対応する色差用の形状
情報は、これらｌａ，ｌｂ，ｌｃ，ｌｄの位置に存在す
る形状情報より作成することになる。

【００９４】形状情報は、通常２値の画像で伝送され、
例えば値が０のとき当該画素はオブジェクトの外側であ
ることを、値が１のとき当該画素がオブジェクトの内側
であることを示している。そのため、４：２：０フォー
マットにおいて、対応する輝度の画素の形状情報の中に
一つでも形状情報が１となっている画素、すなわちオブ
ジェクトの内側であると判断された画素の場合には、対
応する色差の形状情報も１（オブジェクトの内側）であ
るとされる。また、対応する輝度の画素が全て０（オブ
ジェクトの外側）である場合、色差の画素も０（オブジ
ェクトの外側）となる。例えば、輝度の画素ｌａ，ｌ
ｂ，ｌｃ，ｌｄの形状情報が１、すなわち当該画素がオ
ブジェクトの内側である場合には、ｃａに位置する色差
用の形状情報も１、すなわちオブジェクトの内側である
として判断され、逆に、輝度の画素ｌａ，ｌｂ，ｌｃ，
ｌｄの形状情報が０、すなわち当該画素がオブジェクト
の外側である場合には、ｃａに位置する色差用の形状情
報も０、すなわちオブジェクトの外側であるとして判断
される。なお、グレイスケールシェイプ（gray-scalesh
ape）の場合の形状情報としては、上記２値情報に加
え、形状情報の階調を表す情報が別途送られる。

【００９５】次に、４：２：２フォーマットの場合は、
図６の（ｂ）に示すように輝度の画素ｌａ，ｌｂと色差
の画素ｃａ（この位置には色差情報Ｃｂ，Ｃｒが存在す
る）が対応し、同様に輝度の画素ｌｃ，ｌｄと色差の画
素ｃｂが対応し、輝度の画素ｌｅ，ｌｆと色差の画素ｃ
ｃが、輝度の画素ｌｇ，ｌｈと色差の画素ｃｄがそれぞ
れ対応する。４：２：２フォーマットの場合は、対応す
る２つの輝度の画素の両方または何れか一方の形状情報
が１、すなわちオブジェクトの内側であることを示して
いる場合、対応する色差の形状情報も１（オブジェクト
の内側）となる。また、対応する２つの輝度の画素の何
れも形状情報が０（オブジェクトの外側）である場合、
同位置の色差の形状情報も０（オブジェクトの外側）と
なる。例えば、図６の（ｂ）の場合には、輝度の画素ｌ
ａ，ｌｂの位置に属する形状情報のどちらかまたは両方
が１の場合、色差の画素ｃａの位置に属する形状情報も
１となる。また輝度の画素ｌａ，ｌｂの位置に属する形
状情報がどちらも０の場合、色差の画素ｃａの位置に属
する形状情報も０となる。

【００９６】次に、４：４：４フォーマットの場合は、
図６の（ｃ）に示すように、各輝度の画素と色差の画素
が同位置に配置される。すなわち、輝度の画素ｌａと色
差の画素ｃａ（この位置には色差情報Ｃｂ，Ｃｒが存在
する）が対応し、以下同様に、輝度の画素ｌｂと色差の
画素ｃｂが、輝度の画素ｌｃと色差の画素ｃｃが、輝度
の画素ｌｄと色差の画素ｃｄが、輝度の画素ｌｅと色差
の画素ｃｅが、輝度の画素ｌｆと色差の画素ｃｆが、輝
度の画素ｌｇと色差の画素ｃｇが、輝度の画素ｌｈと色
差の画素ｃｈがそれぞれ対応する。したがって、この
４：４：４フォーマットの場合は、輝度の画素ｌａの位
置に属する形状情報はそのまま色差の画素ｃａの位置に
ある色差の画素（Ｃｂ、Ｃｒ）の形状情報として活用す
ることが可能である。他の色差の画素ｃｂ，ｃｃ，ｃ
ｄ，ｃｅ，ｃｆ，ｃｇ，ｃｈについても同様に、それぞ
れ対応する輝度の画素ｌｂ，ｌｃ，ｌｄ，ｌｅ，ｌｆ，
ｌｇ，ｌｈの位置に属する形状情報を活用する。

【００９７】このようにして 色差用形状情報作成器５
３では、輝度の画素と同位置にある形状情報より、その
符号化を行っている色差フォーマットに合わせて色差用
の形状情報を作成する。当該色差用形状情報作成器５３
にて作成された色差用形状情報は、パディング（Paddin
g）処理器５１、ＤＣＴ係数差分化器４４、ＶＬＣ器３
６に供給される。

【００９８】ここで、図７及び図８を用いて、パディン
グ処理器５１の動作を説明する。図７は、パディング処
理器５１の具体的な構成例を示している。

【００９９】図７において、図５の演算器４０からの局
所復号画像データであるテクスチャ（texture）情報
は、水平方向パディング処理器６１に供給される。ま
た、水平方向パディング処理器６１には、図５の形状情
報復号器５２及び、色差用形状情報作成器５３より、輝
度のパディングに用いる形状情報、及び色差のパディン
グに用いる形状情報が供給される。

【０１００】図８には、水平方向パディング処理器６１
にて行われる操作手順を示す。

【０１０１】パディング処理は、各マクロブロック毎
に、また各マクロブロック内では輝度及び２つの色差情
報毎に行われる。ここで、マクロブロックの輝度情報に
ついてパディング処理を行う場合、テクスチャ（textur
e）情報の輝度の画素値（１６画素×１６画素）が図８
に示す操作手順の中の変数d[y][x]として、また対応す
る位置の形状情報（１６画素×１６画素）が図８に示す
操作手順の中の変数s[y][x]として処理される。また、
色差情報についてパディング処理を行う場合、それぞれ
テクスチャ情報が変数d[y][x]として、また色差用の形
状情報が変数s[y][x]として処理される。ただし、色差
情報の場合、その処理を行う画素数は４：２：０フォー
マットの場合で８画素×８画素、４：２：２フォーマッ
トの場合で８画素×１６画素、４：４：４フォーマット
の場合で１６画素×１６画素単位となる。

【０１０２】当該水平方向パディング処理器６１でのパ
ディング処理は、各ライン毎に行われる。すなわち、水
平方向パディング処理器６１では、マクロブロックの各
ラインに対して順次パディング操作を行って、水平方向
のパディングを行う。なお、水平方向のパディングを行
うライン内にオブジェクト内の画素が一つも存在しない
場合、そのラインについてはパディング処理が行われな
い。水平方向のラインに１つ以上のオブジェクトが存在
している場合に、図８の処理が行われることとなる。

【０１０３】上記水平方向パディング処理器６１にて水
平方向にパディング処理が施されたテクスチャ（textur
e）情報と形状情報は、垂直方向パディング処理器６２
に供給される。この垂直方向パディング処理器６２に供
給されるテクスチャ情報は、図８に示す操作手順の中の
変数hor_pad[y][x]で表され、また同様に垂直方向パデ
ィング処理器６２へ供給される形状情報は、図８に示す
操作手順の中の変数s'[y][x]で表される。また、図８に
示す操作手順の中の変数x'はパディング処理を行ってい
る水平ラインにおいて、xの左側に位置するオブジェク
トの境界の画素の位置を表し、変数x''は同様に右側の
オブジェクトの境界の位置を示す。

【０１０４】図９には、垂直方向パディング処理器６２
にて行われる操作手順を示す。

【０１０５】この図９に示す操作手順の中の変数hor_pa
d[y][x]は、上記水平方向にパディング処理を行ったテ
クスチャ情報であり、図９に示す操作手順の中の変数s'
[y][x]は水平方向のパディング時に変更された形状情報
であり、どちらも水平方向パディング処理器６１より供
給されたものである。

【０１０６】この垂直方向パディング処理器６２におい
ても水平方向パディング処理器６１と同様、色差情報の
場合、その処理を行う画素数は、４：２：０フォーマッ
トの場合で８画素×８画素、４：２：２フォーマットの
場合で８画素×１６画素、４：４：４フォーマットの場
合で１６画素×１６画素単位となる。

【０１０７】また、この垂直方向パディング処理器６２
にて垂直方向にもパディング処理が行われたテクスチャ
情報は、図９に示す操作手順の中の変数hv_pad[y][x]で
表される。また、図９に示す操作手順の中の変数y'はパ
ディング処理を行う垂直ラインにおいて、yの上側に位
置するオブジェクトの境界の画素の位置を表し、図９に
示す操作手順の中の変数y''は同様に下側のオブジェク
トの境界の位置を示す。

【０１０８】垂直方向パディング処理器６２でのパディ
ング処理は、各垂直ライン毎に行われる。すなわち、当
該垂直方向パディング処理器６２では、マクロブロック
の各垂直ラインに対して順次パディング操作を行って、
垂直方向のパディングを行う。なお、垂直方向のパディ
ングを行うライン内にオブジェクト内の画素が一つも存
在しない場合、そのラインについてはパディング処理が
行われない。垂直方向のラインに１つ以上のオブジェク
トが存在している場合に、図９で示す処理が行われる。
図９に示す操作手順の中の変数hv_pad[y][x]は、拡張パ
ディング器６３へ供給される。

【０１０９】拡張パディング器６３では、オブジェクト
の境界に位置するマクロブロックの上下左右に隣接する
マクロブロックに対し、さらにパディング処理を行う。
すなわち図１０に示す例の場合、図中の黒色のマクロブ
ロックがその対象となる。当該拡張パディングによるマ
クロブロック（previous block）は、例えば図１１の
（ａ），（ｂ）に示すように、隣接するオブジェクトの
境界に位置するマクロブロック（current block）のそ
の端の画素値を用いてパディングされる。また、図１２
に示すように、パディングされるマクロブロック（Exte
rior macroblock）が複数のオブジェクトの境界を持つ
マクロブロック（Boundary macroblock０〜Boundary ma
croblock３）に囲まれている場合、この図１２のマクロ
ブロック（Boundary macroblock０〜Boundary macroblo
ck３）に付けられている０〜３の番号の順番に参照する
マクロブロックを選択する。

【０１１０】拡張パディング器６３の出力は、図５のフ
レームメモリ４１に供給されて記憶され、その後、イン
ター符号化（前方予測符号化、後方予測符号化、量方向
予測符号化）される画像に対する参照画像データ（参照
フレーム）として用いられる。

【０１１１】そして、フレームメモリ４１に記憶された
画像データは、後方予測に用いる画像、または前方予測
に用いる画像データとして、動き補償器４２より出力さ
れることになる。

【０１１２】一方、動き補償器４２は、動き補償参照画
像指示信号により指定される画像（フレームメモリ４１
に記憶されている局所復号された画像）に対して、動き
ベクトル検出器３２からの予測モードおよび動きベクト
ルをもとに動き補償を施し、予測画像を生成して演算器
３３および４０に出力する。すなわち、動き補償器４２
は、前方／後方／両方向予測モードのときのみ、フレー
ムメモリ４１の読み出しアドレスを、演算器３３に対し
て現在出力しているブロックの位置に対応する位置から
動きベクトルに対応する分だけずらして、当該フレーム
メモリ４１から前方予測または後方予測に用いる画像デ
ータを読み出し、予測画像データとして出力する。な
お、両方向予測モードのときは、前方予測と後方予測に
用いる画像データの両方が読み出され、例えばその平均
値が予測画像データとして出力される。このようにして
得られた予測画像データが、減算器としての前記演算器
３３に供給され、前述したように差分データが生成され
る。

【０１１３】ここで、図１３を参照しながら、動き補償
器４２の画像の輝度成分と色差成分に対する動作につい
て具体的に説明する。動き補償器４２は各マクロブロッ
ク単位で動き補償を行う。図１３は、マクロブロックに
対する動き補償動作を示すフローチャートである。

【０１１４】本実施の形態の動き補償においては、動き
ベクトルを生成する際に、上記輝度成分のブロックに対
して得られた動きベクトルに基づいて、対応する色差成
分のブロックの動きベクトルを生成しており、このと
き、上記色差成分の色差フォーマットが、４：２：０フ
ォーマット、４：２：２フォーマット、４：４：４フォ
ーマットのいずれであるかに応じて、上記輝度成分のブ
ロックに対して得られた動きベクトルに基づく色差成分
のブロックの動きベクトルの計算方法を切換選択してい
る。また、上記色差フォーマット、マクロブロックの動
き予想モードのタイプ、及び形状情報に応じて、動き補
償の計算方法を切換選択している。

【０１１５】先ず、図１３の最初のステップＳ２０１で
は、動きベクトル予測モード、動きベクトル、形状情報
の読み込みを行う。次のステップＳ２０２で、予測され
るブロックの決定を行い、次のステップＳ２０３で、全
てのブロックが予測されているか否かを判別し、ＹＥＳ
のときはステップＳ２０１に戻り、ＮＯのときは次のス
テップＳ２０４に進んでいる。ステップＳ２０４では、
現在のブロックが輝度（"luminance"） ブロックか否か
を判別し、ＹＥＳのときはステップＳ２１１に進み、Ｎ
Ｏのときは、ステップＳ２０５以降のクロマタイプ（ch
roma_type） に応じた処理に進んでいる。

【０１１６】ここで、上記ステップＳ２０１において読
み込まれる動きベクトル検出器３２からの予測モードと
しては、後述する図３４に示すように、マクロブロック
毎に、イントラ（intra）、インター（inter）、インタ
ー＋ｑ（inter+q） 及びインター４Ｖ（inter4v） の４
種類のうちのいずれかの予測モードとなる。

【０１１７】マクロブロックのモードが、上記４種類の
内のインター（inter） 及びインター＋ｑ（inter+q）
モードの場合は、このマクロブロックＭＢに対してただ
１つの動きベクトルが動きベクトル検出器３２から得ら
れ、このベクトルが図３における輝度ブロック０〜３全
てに対してそのまま動きベクトルとして用いられる。マ
クロブロックのモードが、インター４Ｖ（inter4v） モ
ードの場合は、このマクロブロックＭＢに対して、Ｋ
（１＜Ｋ≦４）個の動きベクトルが得られる。ここでＫ
は、形状情報符号化器５０からの形状情報から、マクロ
ブロックの４個の輝度ブロックのうち、オブジェクトの
内側にあると判断された輝度ブロックの個数である。こ
れらのベクトルは、それぞれ、図１４の（ｃ）、図１５
の（ｃ）、図１６の（ｃ）に示すように、オブジェクト
の内側にある輝度ブロックの動きベクトルとしてそのま
ま用いられる。このように輝度成分に対しては、動きベ
クトル検出器３２からの動きベクトルを変換せずに用い
るが、画像の解像度とマクロブロック内のブロック数の
異なる色差成分に対する動きベクトルは、輝度ブロック
の動きベクトルを元に以下のように計算される。

【０１１８】マクロブロックが４：２：０フォーマット
の場合には、図１３のステップＳ２０５でＹＥＳ（chro
ma_type ＝ “０１”）と判別され、ステップＳ２０６
で、４：２：０色差動きベクトル計算が行われる。

【０１１９】この４：２：０フォーマットの場合におい
て、色差ブロック４，５の動きベクトルは、マクロブロ
ックのモードがインター（inter） 又はインター＋ｑ
（inter+q） モードの場合、図１４の（ａ）に示すよう
に、対応する輝度ブロックの動きベクトルの解像度を半
分にしたベクトルとする。マクロブロックのモードがイ
ンター４Ｖ（inter4v） の場合、図１４の（ｂ）、
（ｃ）に示すように、オブジェクトの内部にあるＫ個の
輝度ブロックの動きベクトルを全て足し合わせ、その平
均と解像度が半分であるということから、２×Ｋで割り
算することにより色差ブロックの動きベクトルが計算さ
れる。図１４の（ｂ）ではＫ＝４、図１４の（ｃ）では
Ｋ＝２の例が書かれている。

【０１２０】ここで、動きベクトル検出器３２から得ら
れる動きベクトルは、その解像度を２倍としたhalf sam
ple resolutionを採用しており、色差ブロックの動きベ
クトル要素の解像度変換として、そのまま割り算を行う
のではなく、図１７に示すテーブルを用いる。例えば、
Ｋ＝４の場合は、動きベクトルＭＶを、sixteenth samp
le resolution からhalf sample resolutionに変換する
のに、図１７の（ａ）を用いる。同様に、Ｋ＝３、２、
１の場合には、それぞれ、図１７の（ｂ），（ｃ），
（ｄ）の変換を用いる。

【０１２１】このようにして計算された動きベクトルと
フレームメモリーから得られる参照画像から、ステップ
Ｓ２０７での動き補償により、輝度ブロックと色差ブロ
ックから構成される４：２：０予測マクロブロック画像
が得られる。また、輝度ブロックの予測画像は、ＶＯＬ
シンタックス（図２８）のフラグ obmc_disable ＝０の
場合、現在のブロックの１個の動きベクトルによる動き
補償ではなく、オーバーラップ動き補償により得られ
る。

【０１２２】なお、輝度ブロックの動き補償について
は、図１３のステップＳ２１１において、上記フラグ o
bmc_disable が０か否かの判別がなされ、 obmc_disabl
e ＝０（ＹＥＳ）の場合にはオーバーラップ動き補償が
行われ、ＮＯの場合には、ステップＳ２１２に進んで通
常の（オーバーラップ動き補償でない）動き補償が行わ
れる。ここで、オーバーラップ動き補償について説明す
る。オーバーラップ動き補償は、obmc_disable ＝０ の
時のみ実行されるブロック単位の動き補償法であり、隣
接ブロックと動きベクトルの相関が高い輝度ブロックに
対しての適用される。オーバーラップ動き補償では、輝
度ブロックの予測画像は、図１８の（ａ）に示す、この
予測ブロックの動きベクトルと、上下左右に隣接するブ
ロックの動きベクトルＭＶを用いることにより得られ
る。

【０１２３】具体的には、予測ブロック内の各画素値
は、現在の輝度ブロックの動きベクトルＭＶと２個の隣
接ブロックの動きベクトルＭＶとを用いて得られた３個
の予測画素値に、図１９の（ａ），（ｂ），（ｃ）のma
trixに示す重みを掛けて足し合わせ、８で割ることによ
り得られる。例えば、予測輝度ブロックの上半分に存在
する画素に対しては、このブロックの真上に隣接するブ
ロックの動きベクトルＭＶが使われ、逆に下半分の画素
に対しては、真下に隣接するブロックの動きベクトルＭ
Ｖが用いられる。同様に、このブロックの左半分の画素
には、真左のブロックの動きベクトルＭＶが用いられ、
右半分には、真右のブロックの動きベクトルＭＶが用い
られる。この計算を各画素に対して一般化した式を、以
下に示す。

【０１２４】すなわち、予測輝度ブロック内の各画素値
をｐ(i,j) とすると、ｐ (i,j) ＝ (ｑ(i,j)×Ｈ₀(i,j)＋ｒ(i,j)×Ｈ₁(i,
j)＋ｓ(i,j)×Ｈ₂(i,j)＋４)//８ ここで、ｑ(i,j)，ｒ(i,j)，及びｓ(i,j) は、参照画像
から得られる画素値であり、 ｑ(i,j) ＝ ｑ(ｉ＋ＭＶ⁰ _x，ｊ＋ＭＶ⁰ _y) ， ｒ(i,j) ＝ ｒ(ｉ＋ＭＶ¹ _x，ｊ＋ＭＶ¹ _y) ， ｓ(i,j) ＝ ｓ(ｉ＋ＭＶ² _x，ｊ＋ＭＶ² _y) である。また、ベクトル（ＭＶ⁰ _x，ＭＶ⁰ _y）は、現在の
ブロックの動きベクトルであり、ベクトル（ＭＶ¹ _x，Ｍ
Ｖ¹ _y）は、上部、又は下部隣接ブロックの動きベクト
ル、ベクトル（ＭＶ² _x，ＭＶ² _y）は、左側、又は右側隣
接ブロックの動きベクトルである。さらに、行列Ｈ
₀(i,j)，Ｈ₁(i,j) ，及びＨ₂(i,j) は、図１９の
（ａ），（ｂ），（ｃ）で定義された行列である。

【０１２５】ただし、隣接ブロックが符号化されていな
い場合は、このブロックの動きベクトルは０とする。ま
た、隣接ブロックに対応するマクロブロックＭＢがイン
トラモード（intra mode）の場合、及び、予測ブロック
がＶＯＰの境界に位置するために、隣接ブロックがない
場合、及び、予測ブロックがマクロブロックＭＢの底辺
（ブロック２，３）に位置するため、真下に隣接するブ
ロックの動きベクトルＭＶを用いることが出来ない場合
には、これら隣接ブロックに対応する動きベクトルＭＶ
は現在ブロック（current block） の動きベクトルＭＶ
を代用する。

【０１２６】以上が、４：２：０フォーマットにおけ
る、動きベクトル、及び動き補償の計算法であるが、マ
クロブロック内の色差ブロックの個数の異なる、４：
２：２、及び４：４：４フォーマットに対しては適用す
ることが出来ない、以下に４：２：２、及び４：４：４
フォーマットのための動きベクトル、及び動き補償の計
算方法を示す。

【０１２７】図１３のフローチャートでは、ステップＳ
２０５においてクロマタイプ（chroma_type） が“０
１”以外、すなわちＮＯと判別され、ステップＳ２２１
で、４：２：２フォーマットである（chroma_type ＝
“１０”） か否かの判別が行われる。ステップＳ２２
１でＹＥＳ（４：２：２フォーマット）と判別されたと
きには、ステップＳ２２２以降の４：２：２フォーマッ
トにおける色差成分の動きベクトル計算及び動き補償が
行われ、ＮＯ（４：４：４フォーマット）と判別された
ときには、ステップＳ２３１以降の４：４：４フォーマ
ットにおける色差成分の動きベクトル計算及び動き補償
が行われる。

【０１２８】４：２：２、４：４：４フォーマットいず
れにおいても、輝度ブロックに対するＭＶ、ＭＣの計算
法は４：２：０と同じである。

【０１２９】４：２：２フォーマットにおけるマクロブ
ロックＭＢの構造は、図３の（ｂ）となる。この時、Ｃ
ｂ、Ｃｒの上部のブロック４，５は同じ動きベクトルＭ
Ｖを持つ。下部のブロック６，７についても同様に、同
じ動きベクトルＭＶを持つ。

【０１３０】まず、マクロブロックＭＢのモードが図３
４におけるインター（inter） 又はインター＋ｑ（inte
r+q） モードの場合は、色差成分の全てのブロックの動
きベクトルＭＶは全て同じ値となり、図１５の（ａ）に
示すように、色差成分のｘ方向の解像度が１／２である
ということから、動きベクトルのｘ成分のみを１／２に
する。ここで、ＭＶＣのｘ成分ＭＶＣｘはfourth sampl
e resolutionであるため、図１７の（ｂ）を適用して、
half sample resolutionに変換される。

【０１３１】次に、マクロブロックＭＢのモードがイン
ター４ｖ（inter4v） モードの場合は、図１５の（ｂ）
（ｃ）に示すように、色差成分の上部のブロック５，６
の動きベクトルＭＶは、マクロブロックの上部の２個の
輝度ブロック（ブロック０，１）の動きベクトルＭＶ
（ＭＶ０，ＭＶ１）から計算される。ただし、図１５の
（ｃ）に示すように、対応する２個の輝度ブロックのい
づれかがオブジェクトの外部となった場合には、オブジ
ェクト内の輝度ブロックのベクトルから色差ブロックの
ベクトルを計算し、対応する輝度ブロックの両方がオブ
ジェクトの外部となった場合には、動き補償はされな
い。

【０１３２】ここで、図１５の（ｂ）、（ｃ）のＫ（０
＜Ｋ≦２）を、輝度ブロック０，１のうちのオブジェク
トの内部にあるブロックの個数とする。Ｋ＝１の場合、
ＭＶＣ４のｘ成分はfourth sample resolutionとなるた
め、図１７の（ｄ）を用いて、half sample resolution
に変換される。Ｋ＝２の場合、ＭＶＣ４のｘ成分、ｙ成
分はそれぞれ eighth sample resolution、fourth samp
le resolution となるため、図１７の（ｃ）、（ｄ）を
用いて、half sample resolutionに変換される。Ｋ＝０
の場合は、色差ブロック４，６に対応する２個の輝度ブ
ロック全てがオブジェクトの外部となるため、このブロ
ックは符号化されない。色差成分の下部のブロック６，
７の動きベクトルＭＶは、対応する２個の輝度ブロック
２，３の動きベクトルＭＶ２，ＭＶ３から計算される。
その計算法は、上部の色差ブロック４，５の場合と同じ
である。

【０１３３】４：２：２フォーマットの場合、色差ブロ
ックの解像度は、輝度ブロックと比較して、ｘ方向は解
像度が１／２であるが、ｙ方向は同じ解像度であるた
め、ｙ方向に対しては、近接ブロックの動きベクトルの
相関が高い。そのため、色差ブロックの動き補償の方式
として、４：２：０のとき用いられた１個の動きベクト
ルによる動き補償でなく、輝度ブロックのの動き補償法
であるオーバーラップ動き補償を、４：２：２の色差成
分用に改良した方式を用い、予測色差ブロックの上下の
隣接ブロックのみの動きベクトルＭＶを用いてオーバー
ラップ動き補償を行うことが出来る。これは、ＶＯＬ s
yntax の obmc_disable ＝０の時のみ実行される。

【０１３４】具体的には、図１８の（ｂ）のように上下
のブロックを隣接ブロックとし、予測色差ブロック内の
各画素値は現在の色差ブロックの動きベクトルＭＶと１
個の隣接ブロックの動きベクトルＭＶから得られた２個
の予測画素値に図１９の（ａ），（ｂ）のmatrixに示す
重みを掛けて足し合わせ、８で割ることより得られる。
例えば、予測色差ブロックの上半分に有る画素に対して
は、このブロックの真上に隣接するブロックの動きベク
トルＭＶが使われ、逆に下半分の画素に対しては、真下
に隣接するブロックの動きベクトルＭＶが用いられる。
この計算を各画素に対して一般化した式が、以下であ
る。

【０１３５】すなわち、予測輝度ブロック内の各画素値
をｐ(i,j) とすると、ｐ (i,j) ＝ (ｑ(i,j)×Ｈ₀(i,j)＋ｒ(i,j)×Ｈ₁(i,
j)＋４)//８ ここで、ｑ(i,j)，及びｒ(i,j) は、参照画像から得ら
れる画素値であり、 ｑ(i,j) ＝ ｑ(ｉ＋ＭＶ⁰ _x，ｊ＋ＭＶ⁰ _y) ， ｒ(i,j) ＝ ｒ(ｉ＋ＭＶ¹ _x，ｊ＋ＭＶ¹ _y) である。また、ベクトル（ＭＶ⁰ _x，ＭＶ⁰ _y）は、現在の
ブロックの動きベクトルであり、ベクトル（ＭＶ¹ _x，Ｍ
Ｖ¹ _y）は、上部、又は下部隣接ブロックの動きベクトル
である。さらに、行列Ｈ₀(i,j)，及びＨ₁(i,j)
は、図２０の（ａ），（ｂ）で定義された行列である。

【０１３６】ただし、隣接ブロックが符号化されていな
い場合は、このブロックはＭＶ＝０とする。また、隣接
ブロックに対応するマクロブロックＭＢがイントラモー
ド（intra mode）の場合、及び、予測色差ブロックがＶ
ＯＰの境界に位置するために、隣接ブロックがない場
合、及び、予測色差ブロックがマクロブロックＭＢの底
辺（図におけるブロック６、７）に位置するため、真下
に隣接するブロックのＭＶを用いることが出来ない場合
には、これら隣接ブロックに対応する動きベクトルＭＶ
は現ブロックの動きベクトルＭＶを代用する。

【０１３７】図１３のフローチャートにおいては、ステ
ップＳ２２２で４：２：２フォーマットにおける色差ブ
ロックの動きベクトル計算が行われ、ステップＳ２２３
で上記フラグ obmc_disable が０か否かの判別がなさ
れ、 obmc_disable ＝０（ＹＥＳ）の場合にはステップ
Ｓ２２５に進んでオーバーラップ動き補償が行われ、Ｎ
Ｏの場合には、ステップＳ２２４に進んで通常の（オー
バーラップ動き補償でない）動き補償が行われる。

【０１３８】次に、４：４：４フォーマットの場合の色
差ブロックの動きベクトル計算及び動き補償動作につい
て説明する。

【０１３９】４：４：４フォーマットにおけるマクロブ
ロックＭＢの構造は図３の（ｃ）となる。この時、Ｃ
ｂ，Ｃｒの同じ位置にあるブロック４，５、６，７、
８，９、１０，１１は、それぞれ同じ動きベクトルＭＶ
を持つ。

【０１４０】まず、マクロブロックのモードがインター
（inter） 又はインター＋ｑ（inter+q） モードの場合
は、色差ブロックの各ブロックの動きベクトルＭＶは全
て同じ値となり、そのベクトルは、輝度ブロックの動き
ベクトルＭＶと同じベクトルとなる（図１６の
（ａ））。

【０１４１】マクロブロックのモードがインター４ｖ
（inter4v） モードの場合は、各色差ブロックの動きベ
クトルＭＶは、その色差ブロックと同じ位置にある輝度
ブロックのＭＶと同じベクトルとなる（図１６の
（ｂ），（ｃ））。ただし、色差ブロックがオブジェク
トの外部にある場合は、このブロックは符号化されな
い。（図１６の（ｃ））。

【０１４２】４：４：４フォーマットの場合、色差ブロ
ックの解像度は、輝度ブロックと同じであるため、隣接
ブロックの動きベクトルの相関が高い。そのため、輝度
ブロックの動き補償法であるオーバーラップ動き補償
を、４：４：４の色差ブロックに対して同様に行うこと
が出来る。図１３のフローチャートにおいては、ステッ
プＳ２３１で４：４：４フォーマットにおける色差ブロ
ックの動きベクトル計算が行われ、ステップＳ２３２で
上記フラグ obmc_disable が０か否かの判別がなされ、
obmc_disable ＝０（ＹＥＳ）の場合にはステップＳ２
３４に進んでオーバーラップ動き補償が行われ、ＮＯの
場合には、ステップＳ２３３に進んで通常の（オーバー
ラップ動き補償でない）動き補償が行われる。

【０１４３】以上が、各マクロブロックに対する動き補
償法である。

【０１４４】再び図５に戻って、上述したような動き補
償が行われる動き補償器４２からの予測画像データは、
加算器としての演算器４０にも供給される。また、前方
／後方／両方向予測の場合、演算器４０には、予測画像
データの他、予測画像によって差分化された差分データ
が逆ＤＣＴ回路３９から送られている。当該演算器４０
では、この差分データを動き補償器４２からの予測画像
に対して加算し、これにより局所復号が行われることに
なる。この局所復号画像は、復号化装置で復号される画
像と全く同一の画像であり、上述したように、次の処理
画像に対して、前方／後方／両方向予測を行うときに用
いる画像としてフレームメモリ４１に記憶される。

【０１４５】また、予測モードがイントラ符号化である
場合、演算器４０には画像データそのものが逆ＤＣＴ回
路３９の出力として送られてくるので、当該演算器４０
は、この画像データをそのままフレームメモリ４１に出
力して記憶させる。

【０１４６】なお、ＭＰＥＧ４においては、ＭＰＥＧ１
及びＭＰＥＧ２と異なり、Ｂピクチャ（Ｂ−ＶＯＰ）も
参照画像として用いられるため、当該Ｂピクチャも局所
復号され、フレームメモリ４１に記憶されるようになさ
れている。但し、現時点においては、Ｂピクチャが参照
画像として用いられるのは階層符号化を行った場合の上
位レイヤについてだけである。

【０１４７】図５に戻り、ＤＣＴ係数差分化器４４で
は、量子化器３５にて量子化されたＤＣＴ係数に対し、
後述するように、ブロック単位でＡＣ係数／ＤＣ係数の
予測処理を行う。

【０１４８】すなわち、ＤＣＴ係数差分化器４４は、イ
ントラ符号化されるマクロブロックの各ブロックに対
し、そのＤＣＴ係数のうちのＤＣ係数とＡＣ係数をＭＰ
ＥＧ４(ISO/IEC 14496-2)のコミッティドラフト（Commi
tee Draft）にて定められた手段に応じて予測を行う。
また、ＤＣＴ係数差分化器４４は、この時、各ブロック
毎に同じくコミッティドラフトにて定められた手段に応
じて各係数の予測に用いるブロックを決定する。

【０１４９】図２１には、ＤＣＴ係数差分化器４４の具
体的構成例を示す。

【０１５０】この図２１において、ＤＣＴ係数差分化器
４４には、量子化されたＤＣＴ係数及び、量子化スケー
ル、形状情報、色差用形状情報、予測モードが入力され
る。予測モードは、イントラフラグ発生器４００に入力
される。イントラフラグ発生器４００は、予測モードが
イントラ符号化を示す予測モード（イントラ符号化モー
ドあるいは画像内予測モード）である場合のみ、イント
ラフラグを立てる。このイントラフラグは、通常０とな
っているものであり、イントラ符号化の予測モードのと
きに１となされる。

【０１５１】一方、量子化されたＤＣＴ係数、すなわち
６４個のＤＣＴ係数は、スイッチ４０１に供給される。
スイッチ４０１は、イントラフラグが０の場合、被切換
端子Ａ側を選択し、またイントラフラグが１の場合、被
切換端子Ｂ側を選択するようになされている。従って、
予測モードがイントラ符号化（画像内予測）モードでな
い場合、ＤＣＴ係数は、スイッチ４０１の被切換端子Ａ
を介して、図５のＶＬＣ器３６へ供給される。

【０１５２】一方、予測モードがイントラ符号化モード
の場合、ＤＣＴ係数は、ＤＣＴ係数予測器４０２、及び
逆量子化器４０５へ供給される。

【０１５３】ＤＣＴ係数予測器４０２は、スイッチ４０
１より供給されたＤＣＴ係数と、ＤＣＴ係数予測値選択
器４０３より供給されたＤＣＴ係数の予測値との差分を
とり、その差分値を図５のＶＬＣ器３６へと供給する。

【０１５４】また、逆量子化器４０５では、後のＤＣＴ
係数の予測に使用されるＤＣ係数及び一部のＡＣ係数
を、図５の逆量子化器３８と同様の手段で逆量子化し、
その結果をＤＣＴ係数予測モード蓄積メモリ４０４に供
給する。

【０１５５】ＤＣＴ係数予測モード蓄積メモリ４０４
は、前述した通り、ＤＣＴ係数の予測に用いるＤＣ係数
及び一部のＡＣ係数、さらに予測モードを蓄積する。こ
こで蓄積された情報は、次段のＤＣＴ係数予測値選択器
４０４において使用される。

【０１５６】ＤＣＴ係数予測値選択器４０３では、ＤＣ
係数と、ＤＣＴ係数予測モード蓄積メモリ４０４に保存
された情報を用いて、ＤＣＴ係数の予測値及び予測ブロ
ックの位置を出力し、その値をＤＣＴ係数予測器４０２
に供給する。

【０１５７】ここでＤＣＴ成分予測値選択器４０３の動
作を、図２２を用いて説明する。図２２は、ＤＣ係数の
差分演算を行うブロックＸと、当該差分演算を行う上で
ＤＣＴ係数を参照するブロックの位置関係を示してい
る。

【０１５８】この図２２において、ブロックＸの左側に
位置するブロックをＡ、上に位置するブロックをＣ、そ
の左上に位置するブロックをＢとする。また、ブロック
ＡのＤＣ係数をFA[0][0]、ブロックＢのＤＣ係数をFB
[0][0]、ブロックＣのＤＣ係数をFC[0][0]とする。これ
らの値は、逆量子化されたＤＣ係数の値であり、量子化
されたブロックＡ，Ｂ，ＣのＤＣ係数に、イントラＤＣ
プレシジョン（intra_dc_precision）、量子化スケール
を用いて図７の手法により求められたＤＣ量子化ステッ
プの値を積算して求められたものである。ただし、これ
らのブロックが、ＶＯＰの外側に位置していたり、イン
トラ（intra）符号化されるブロック以外のブロックで
あった場合、２の(number_of_bits-2)乗の値が使用され
る。また、図２２のＡ，Ｂ，Ｃの各ブロックについて、
これらのブロックがオブジェクトの外側であると判断さ
れた場合、これらのＤＣ係数も(number_of_bits-2)乗の
値となる。

【０１５９】ここで、ブロックＸのＤＣ係数の差分値を
求めるのに使用するブロックは、式（１）により決定さ
れる。

【０１６０】 if(|FA[0][0]-FB[0][0]|<|FB[0][0]-FC[0][0]|) predict from block C else predict from block A （１） すなわち、この式（１）は、FA[0][0]とFB[0][0]の差の
絶対値とFB[0][0]とFC[0][0]の差の絶対値を比較し、FA
[0][0]とFB[0][0]の差の絶対値がFB[0][0]とFC[0][0]の
よりも小さい場合には、ブロックＡをその予測ブロック
としその予測に用い、FB[0][0]とFC[0][0]の差の絶対値
がFA[0][0]とFB[0][0]の差の絶対値よりも小さい場合に
はブロックＣをその予測ブロックとし予測値とすること
を表している。

【０１６１】また、ＤＣＴ係数は、入力された量子化ス
テップにより図５の量子化器３５と同様の方法により量
子化される。これは、ＤＣＴ係数予測器４０２において
入力されたＤＣＴ係数は、ＤＣＴ係数予測値選択器４０
３に入力された量子化スケールと同じ値により既に量子
化されているため、その量子化ステップを揃えるためで
ある。

【０１６２】また、予測に用いられるＤＣＴ係数は、図
２３により示されるＡＣ係数及び各ＤＣ係数である。

【０１６３】以下、予測値の選択方法をこの図２３を用
いて説明する。

【０１６４】図２３において、ブロックＸのＤＣＴ係数
の予測ブロックがブロックＡであった場合、その予測に
使用されるＡＣ係数は、ブロックＡにおいて図中黒色で
示される位置に対応するＡＣ係数となり、またブロック
ＡのＤＣ係数も同様に予測に用いられる。また、ブロッ
クＣがその予測ブロックとされた場合、当該ブロックＣ
の図中黒色で示される位置に対応するＡＣ係数及び、当
該ブロックＣのＤＣ係数がその予測値として用いられ
る。

【０１６５】さらに、ブロックＡが予測ブロックとして
選択された場合、ブロックＸにおいては、そのＤＣ係数
及び左側の列に並んだＡＣ係数のみがその予測の対象と
なり、これらのＤＣＴ係数のみの差分がとられることに
なる。また同様に、ブロックＣが予測ブロックとして選
択された場合、ブロックＸにおいては、一番上の行のＡ
Ｃ係数及びＤＣ係数がその予測対象となる。

【０１６６】また、ＤＣ係数の予測値は、その予測に選
択されたブロックがオブジェクトの外側に位置していた
り、インター予測をしていた場合、１２８の値が出力さ
れ、ＡＣ係数の場合は、選択されたブロックがオブジェ
クトの外側に位置したとき、そのＡＣ係数が０として扱
われる。

【０１６７】ＤＣＴ成分予測値選択器４０３において上
述にようにして求められたＤＣＴ係数の予測値は、ＤＣ
Ｔ係数予測器４０２に供給される。

【０１６８】ＤＣＴ係数予測器４０２では、前述したよ
うにＤＣＴ係数の予測値と、それに対応する位置の差分
を求め、その値を図５のＶＬＣ器３６に出力する。

【０１６９】次に、上述したようなＡＣ／ＤＣ予測に用
いるブロックについて、色差フォーマット毎に図２４を
用いて説明する。また、色差ブロックにおいてオブジェ
クト内のブロックかどうか判別する方法について、図２
５を用いて説明する。

【０１７０】図２４の（ａ）は、輝度及び４：４：４フ
ォーマットの色差ブロックにおけるＡＣ／ＤＣ予測に用
いるブロックを模式的に示したものである。

【０１７１】すなわち、図２４の（ａ）におけるブロッ
クＥのＡＣ／ＤＣ係数の予測を行う場合、先ず、Ａ，
Ｂ，Ｄのブロックを用いて、その予測に用いるブロック
を決定する。その後、その決定に従い、ブロックＢもし
くはブロックＤの何れかのブロックが、ブロックＥの予
測ブロックとして用いられることになる。同様に、ブロ
ックＦのＡＣ／ＤＣ係数の予測は、Ｂ，Ｃ，Ｅのブロッ
クを予測の決定に用い、その後当該決定に従ってＣ，Ｅ
の何れかのブロックから予測を行う。ブロックＨのＡＣ
／ＤＣ係数の予測は、Ｄ，Ｅ，Ｇのブロックを予測の決
定に用い、その後当該決定に従ってＥ，Ｇのブロックの
何れかから予測を行う。ブロックＩのＡＣ／ＤＣ係数の
予測は、Ｅ，Ｆ，Ｈのブロックを予測の決定に用い、そ
の後当該決定に従ってＦ，Ｈのブロックの何れかから予
測を行う。

【０１７２】ここで、ＡＣ／ＤＣ予測を行う際には、各
ブロックがオブジェクトの境界内に存在するか否かを判
定する必要がある。

【０１７３】輝度ブロックの場合は、図５の形状情報復
号器５２より供給される形状情報を用いてこれを決定す
る。すなわちオブジェクトの内側かどうかを判定するの
は、その同位置に位置する形状情報を参照し、同位置の
形状情報の８×８画素のブロック内に、形状情報が１の
値となる画素を持つ画素値が一つ以上存在する場合（す
なわちオブジェクト内の画素が１つ以上存在する場
合）、そのブロックをオブジェクト内の画素として見な
すことができる。

【０１７４】４：４：４フォーマットにおける色差ブロ
ックの場合は、図２５に示すように、図５の色差用形状
情報作成器５３より供給される色差用の形状情報（ただ
し、４：４：４フォーマットの場合は、輝度に用いられ
る形状情報と等しい）から各ブロック内に値が１となる
画素値を持つ画素、すなわちオブジェクトの内側である
ことを示す画素が１つ以上存在するか否かで判別するこ
とができる。

【０１７５】また、これ以外の方法としては、同位置に
存在する輝度のブロックがオブジェクト内か否かにより
判別しても良い。例えば図３の（ｃ）の場合、ブロック
４，５がオブジェクトの内側であるか否かは、ブロック
０より判定することができ、同様にブロック６，７の場
合はブロック２より、ブロック８，９の場合はブロック
１より、ブロック１０，１１の場合はブロック３より判
定することも可能である。

【０１７６】それらどちらの判断方法を使用した場合で
も、色差ブロックがオブジェクトの内側に位置するかど
うかの判定結果は同じになるため、その符号化／復号化
装置の仕様により適宜選択することができる。

【０１７７】図２４の（ｂ）は、４：２：２フォーマッ
トの色差ブロックにおけるＡＣ／ＤＣ予測に用いるブロ
ックを模式的に示したものである。

【０１７８】すなわち、図２４の（ｂ）におけるブロッ
クＤのＡＣ／ＤＣ係数の予測を行う場合、先ずＡ，Ｂ、
Ｃのブロックを用いて、その予測に用いるブロックを決
定する。その後当該決定に従ってＢもしくはＣのブロッ
クの何れかがブロックＤの予測ブロックとして用いられ
ることになる。同様にブロックＧのＡＣ／ＤＣ係数の予
測は、Ｃ，Ｄ，Ｅのブロックを予測の決定に用い、その
決定に従ってＤ，Ｅのブロックの何れかから予測を行
う。

【０１７９】この４：２：２フォーマットにおいても、
上記４：４：４フォーマットの色差ブロックの場合と同
様に、ＡＣ／ＤＣ予測を行う上で各ブロックがオブジェ
クトの境界内に存在するか否かを判定する必要がある。

【０１８０】すなわち当該４：２：２フォーマットにお
ける色差ブロックの場合は、図２５に示すように、図５
の色差用形状情報作成器５３より供給される色差用の形
状情報から、各ブロック内に値が１となっている画素値
を持つ画素、すなわちオブジェクトの内側であることを
示す画素が存在するか否かで判別することができる。

【０１８１】また、これ以外の方法としては、判定を行
う色差ブロックと対応する位置に存在する輝度のブロッ
クがオブジェクト内か否かにより判別しても良い。例え
ば図３の（ｂ）の場合、ブロック４，５がオブジェクト
の内側かどうかは、ブロック０，１の何れか、もしくは
両方がオブジェクトの内側のブロックであるとき、当該
ブロック４，５もオブジェクトの内側のブロックである
と判断することができ、同様にブロック６，７の場合
は、ブロック２，３がオブジェクトの内側かどうかで判
断することができる。

【０１８２】どちらの判断方法を使用した場合でも色差
ブロックがオブジェクトの内側に位置するかどうかの判
定結果は同じになるため、その符号化／復号化装置の仕
様により適宜選択することができる。

【０１８３】図２４の（ｃ）は、４：２：０フォーマッ
トの色差ブロックにおけるＡＣ／ＤＣ予測に用いるブロ
ックを模式的に示したものである。

【０１８４】すなわち、図２４の（ｃ）におけるブロッ
クＤのＡＣ／ＤＣ係数の予測を行う場合、先ずＡ，Ｂ，
Ｃのブロックを用いて、その予測に用いるブロックを決
定する。その後その決定に従ってＢもしくはＣのブロッ
クの何れかが、Ｄのブロックの予測ブロックとして用い
られることになる。

【０１８５】４：２：０フォーマットにおいても、上記
４：４：４フォーマットや４：２：２フォーマットの色
差ブロックの場合と同様に、ＡＣ／ＤＣ予測を行う上で
各ブロックがオブジェクトの境界内に存在するか否かを
判定する必要がある。

【０１８６】すなわち４：２：０フォーマットにおける
色差ブロックの場合、図２５に示すように、図５の色差
用形状情報作成器５３より供給される色差用の形状情報
から、各ブロック内に値が１となる画素値を持つ画素、
すなわちオブジェクトの内側であることを示す画素が存
在するか否かで判別することができる。

【０１８７】またこれ以外の方法としては、判定を行う
色差ブロックと対応する位置に存在する輝度のブロック
がオブジェクト内か否かにより判別しても良い。例えば
図３の（ａ）の場合、ブロック４，５がオブジェクトの
内側かどうかは、ブロック０，１，２，３の何れか、も
しくは両方がオブジェクトの内側のブロックであると
き、これらブロック４，５もオブジェクトの内側のブロ
ックであると判断することができる。

【０１８８】どちらの判断方法を使用した場合でも、色
差ブロックがオブジェクトの内側に位置するかどうかの
判定結果は同じになるため、その符号化／復号化装置の
仕様により適宜選択することができる。

【０１８９】図５に戻って、ＶＬＣ器３６では、図４２
における場合と同様に、量子化係数、量子化ステップ、
動きベクトル、および予測モードが供給される他、サイ
ズデータＦＳＺ＿ＢおよびオフセットデータＦＰＯＳ＿
Ｂも供給される。したがって、ＶＬＣ器３６では、これ
らのデータすべてを可変長符号化する。

【０１９０】また、ＶＬＣ器３６では、図４２で説明し
たように、Ｉ，Ｐ，Ｂピクチャ（Ｉ−ＶＯＰ，Ｐ−ＶＯ
Ｐ，Ｂ−ＶＯＰ）のマクロブロックについて、スキップ
マクロブロックとするかどうかを決定し、その決定結果
を示すフラグＣＯＤ，ＭＯＤＢを設定する。このフラグ
ＣＯＤ，ＭＯＤＢは、やはり可変長符号化されて伝送さ
れる。また、各ブロック毎にそのＤＣＴ係数の符号化を
行うが、そのブロックがオブジェクトの外側のブロック
である場合、ＤＣＴ係数の符号化は行われない。

【０１９１】各ブロックがオブジェクトの外側もしくは
内側に位置するかは、輝度ブロックの場合は形状情報復
号器５２より判断することができ、色差ブロックの場合
はこの輝度ブロックの判定結果もしくは、色差用形状情
報作成器５３より供給される色差用の形状情報より判断
できる。オブジェクトの内側かどうかの判定法は、輝
度、色差の場合共に、前述したＤＣＴ係数差分化器４４
におけるブロックの判定法と同様の方法で判定すること
ができる。

【０１９２】次に、図２６には、図１のエンコーダから
出力されるビットストリームを復号するデコーダの一実
施の形態の構成例を示している。

【０１９３】このデコーダには、図１のエンコーダから
伝送路５または記録媒体６を介して提供されるビットス
トリーム（bitstream）が供給される。すなわち、図１
のエンコーダから出力され、伝送路５を介して伝送され
てくるビットストリームは図示せぬ受信装置で受信さ
れ、また、記録媒体６に記録されたビットストリームは
図示せぬ再生装置で再生されて、逆多重化部７１に供給
される。

【０１９４】逆多重化部７１では、入力されたビットス
トリーム（後述するＶＳ（Video Stream））を、ビデオ
オブジェクト（Video Object）ごとのビットストリーム
ＶＯ＃１，ＶＯ＃２，・・・，ＶＯ＃Ｎに分離し、それ
ぞれ対応するＶＯＰ復号部７２1〜７２Nに供給する。

【０１９５】ＶＯＰ復号部７２1〜７２Nのうち、ＶＯＰ
復号部７２nでは、逆多重化部７１から供給されたビッ
トストリームより、ビデオオブジェクト（Video Objec
t）を構成するＶＯＰ（画像データ）、サイズデータ
（ＶＯＰ＿size）、およびオフセットデータ（ＶＯＰ＿
offset）を復号し、画像再構成部７３に供給する。

【０１９６】画像再構成部７３では、ＶＯＰ復号部７２
1乃至７２Nからの出力に基づいて、元の画像を再構成す
る。この再構成された画像信号は、例えばモニタ７４に
供給される。これにより、当該モニタ７２には再構成さ
れた画像が表示される。

【０１９７】次に、図２７は、ＶＯＰ復号部７２nの構
成例を示す。なお、図２７中で、図４３のデコーダにお
ける場合と対応する各構成要素については、同一の指示
符号を付してある。すなわち、ＶＯＰ復号部７２nは、
基本的に図４３のデコーダと同様に構成されている。

【０１９８】この図２７において、逆多重化部７２nか
ら供給されたビットストリームは、バッファ１０１に供
給されて一時記憶される。

【０１９９】ＩＶＬＣ器１０２は、後段におけるブロッ
クの処理状態に対応して、上記バッファ１０１からビッ
トストリームを適宜読み出し、そのビットストリームを
可変長復号することで、量子化係数、動きベクトル、予
測モード、量子化ステップ、サイズデータＦＳＺ＿Ｂ、
オフセットデータＦＰＯＳ＿Ｂ、形状復号化情報および
フラグＣＯＤなどを分離する。量子化係数および量子化
ステップは、逆量子化器１０３に供給され、動きベクト
ルおよび予測モードは、動き補償器１０７、逆量子化器
１０３、ＤＣ係数逆差分化器１１１に供給される。ま
た、サイズデータＦＳＺ＿ＢおよびオフセットデータＦ
ＰＯＳ＿Ｂは、動き補償器１０７、図２６の画像再構成
部７３に供給される。形状復号化情報は、形状復号化器
１１０に供給される。

【０２００】逆量子化器１０３、ＩＤＣＴ器１０４、演
算器１０５、フレームメモリ１０６、形状復号化器１１
０、色差用形状情報作成器１０９、パディング処理器１
０８、動き補償器１０７では、図１のＶＯＰ符号化部３
nを構成する図５の逆量子化器３８、ＩＤＣＴ器３９、
演算器４０、フレームメモリ４１、形状情報復号器５
２、色差用形状情報作成器５３，パディング処理器５１
または動き補償器４２における場合とそれぞれ同様の処
理が行われる。

【０２０１】形状情報復号器１１０では、ＩＶＬＣ器１
０２より供給された符号化された形状情報を復号して復
元する。形状情報復号器１１０は、図５の形状情報復号
器５２と同様に動作し、その出力はＤＣＴ係数逆差分化
器１１１、パディング処理器１０８、及び色差用形状情
報作成器１０９に供給される。

【０２０２】色差用形状情報作成器１０９は、図５の色
差用形状情報作成器５３と同様に動作し、色差のフォー
マットに合わせて、形状情報復号器１１０からの出力を
変換してパディング処理器１０８及びＤＣＴ係数逆差分
化器１１１に供給する。

【０２０３】逆量子化器１０３では、ＩＶＬＣ器１０２
から供給された量子化係数（量子化スケール）を元に、
同じくＩＶＬＣ器１０２から供給された量子化されたＤ
ＣＴ係数を逆量子化する。当該逆量子化器１０３は、図
５の逆量子化器３８と同様に動作し、その出力はＤＣＴ
係数逆差分化器１１１に供給される。

【０２０４】ＤＣＴ係数逆差分化器１１１は、図５のＤ
ＣＴ係数差分化器４４と同様にして、該当ブロックの予
測に使用されたブロックを選択し、逆量子化器１０３よ
り供給されたＤＣＴ係数と加算することで、ＤＣＴ係数
のＡＣ係数及びＤＣ係数を復元する。このように復元さ
れたＤＣＴ係数は、ＩＤＣＴ器１０４に送られる。

【０２０５】また、ＤＣＴ係数逆差分化器１１１では、
図５のＤＣＴ係数差分化器４４の場合と同様に、形状情
報復号器１１０から供給された形状情報、及び色差用形
状情報作成器１０９より供給された色差用形状情報を用
いて、各ブロックにオブジェクトの内側かあるいは外側
かの判定を行う。この判定方法についても、図５でのＤ
ＣＴ係数差分化器４４と同様の方法が使用される。

【０２０６】ＩＤＣＴ器１０４は、図５のＩＤＣＴ器３
９と同様に動作し、ＤＣＴ係数逆差分化器１１１からの
ＤＣＴ係数をＩＤＣＴ処理し、得られたデータを演算器
１０５に供給する。

【０２０７】演算器１０５は、図５の演算器４０と同様
に動作し、フレーム間予測が行われている場合には動き
補償器１０７からの出力とＩＤＣＴ器１０４の出力とを
１画素単位で加算する。フレーム内予測（イントラ符号
化）が行われている場合には、特に動作しない。演算器
１０５の出力は、パディング処理器1１０８に供給され
るとともに、テクスチャ情報として出力される。

【０２０８】パディング処理器１０８は、図５のパディ
ング処理器５１と同様に動作し、形状情報復号器１１０
及び色差用形状情報作成器１０９から出力された形状情
報を元に、演算器１０５からの出力画像に対してパディ
ング処理を行う。このパディング処理器１０８の出力
は、フレームメモリ１０６に蓄積される。

【０２０９】フレームメモリ１０６に蓄積されているデ
ータは、動き補償器１０７により適宜呼び出され、演算
器１０５に出力される。これらフレームメモリ１０６及
び動き補償器１０７の動作は、図５に示すフレームメモ
リ４１及び動き補償器４２の動作と同様である。

【０２１０】この図２７に示したように、ＶＯＰ復号部
７２nではＶＯＰが復号され、当該復号されたＶＯＰが
図２６の画像再構成部７３に供給される。

【０２１１】次に、図１のエンコーダが出力する符号化
ビットストリームのシンタックスについて、例えば、Ｍ
ＰＥＧ４規格のビジュアルコミッティドラフト（Visual
Comitee Draft）の記載を例に説明する。なお、これ以
降に説明する各シンタックスは、ＭＰＥＧ４のビジュア
ルコミッティドラフトにて規定されており、既知のもの
であるためそれらの図示は省略するが、本発明において
特に必要と認めるシンタックスについては図示する。

【０２１２】ＭＰＥＧ４において、ビジュアルオブジェ
クト（visual object）については、２次元の動画像デ
ータだけではなく、２次元静止画画像、フェイスオブジ
ェクト（face object）等を符号化／復号化することが
可能である。

【０２１３】そのため、ＭＰＥＧ４のビジュアルオブジ
ェクト（visual Object）については、先ず、ビジュア
ルオブジェクトシーケンス（Visual Object Sequence）
を伝送する。このビジュアルオブジェクトシーケンス内
では、複数のビジュアルオブジェクト（Visual Objec
t）を伝送することができ、複数のビジュアルオブジェ
クによりビジュアルオブジェクシーケンスを構成するこ
とが可能である。

【０２１４】次に、図示しないビジュアルオブジェクト
（VisualObject）のシンタックスでは、当該シンタック
ス以降に続くオブジェクトのタイプ（現在のところ動画
像であるビデオオブジェクト（Video Object）、静止画
であるスチルテクスチャオブジェクト（Still Texture
Object）、２次元のメッシュを示すメッシュオブジェク
ト（Mesh Object）、顔形状を示すフェイスオブジェク
ト（Face Object）の４つが定義されている）等を示す
ことが可能であり、ビジュアルオブジェクト（Visual O
bject）に続いて、ビデオオブジェクト（Video Objec
t）、スチルテクスチャオブジェクト（Still texture o
bject）、メッシュオブジェクト（Mesh Object）、フェ
イスオブジェクト（Face Object）の何れかのシンタッ
クスが続く。

【０２１５】また、図示しないユーザデータ（user_dat
a）のシンタックスでは、ビジュアルオブジェクトシー
ケンス（Visual Obect Sequence）、ビジュアルオブジ
ェクト（Visual Object）、ビデオオブジェクト（Video
Object）、ＧＯＶレイヤ等で使用し、符号化時におい
て、復号時等に使用するデータを復号側で定義して伝送
することが可能である。

【０２１６】ここで、図示しないビデオオブジェクト
（ＶＯ）のシンタックスにおいて、当該ビデオオブジェ
クトは、１以上のＶＯＬ（Video Object Layer Class）
から構成される。なお、画像を階層化しないときは一の
ＶＯＬで構成され、画像を階層化する場合には、その階
層数だけのＶＯＬで構成される。

【０２１７】続いて、図示しないＶＯＬ(video Object
Layer)のシンタックスにおいて、当該ＶＯＬは、上述し
たようなスケーラビリティのためのクラスであり、ビデ
オオブジェクトレイヤＩＤ（video_object_layer_id）
で示される番号によって識別される。すなわち、例え
ば、下位レイヤのＶＯＬについてのビデオオブジェクト
レイヤＩＤ（video_object_layer_id）は０とされ、ま
た、例えば、上位レイヤのＶＯＬについてのビデオオブ
ジェクトレイヤＩＤ（video_object_layer_id）は１と
される。なお、上述したように、スケーラブルのレイヤ
の数は２に限られることなく、１や３以上を含む任意の
数とすることができる。

【０２１８】また、ＶＯＬは大きく２つのシンタックス
から構成されており、ビデオオブジェクトレイヤスター
トコード（video_object_layer_start_code）からなる
部分と、ショートビデオスタートマーカ（short_video_
start_marker）より始る部分の２つにより構成されてい
る。

【０２１９】ここで、ＶＯＬ(video Object Layer)のシ
ンタックスにおいて、ビデオオブジェクトレイヤスター
トコード（video_object_layer_start_code）に続く部
分から構成されるシンタックスについて、図２８を用い
て説明する。なお、図２８には、当該ＶＯＬのシンタッ
クスの前半部分のみを示し、後半部分については省略し
ている。

【０２２０】なお、この図２８や、後述する図３０、図
３１、図４０、図４１のようなシンタックスを示す図面
中で「＊」を付した部分は、本実施の形態による変更箇
所等の注目部分を表している。

【０２２１】図２８に示すシンタックスにおいて、クロ
マフォーマット（chroma_format）は、色差フォーマッ
トの種類を表し、このクロマフォーマットは図２９に示
す通りに定義される。すなわち、クロマフォーマット
（chroma_format）が「０１」の場合、符号化／復号化
される画像は４：２：０フォーマットであり、また「１
０」の場合は４：２：２フォーマット、「１１」の場合
は４：４：４フォーマットとなる。

【０２２２】また、各ＶＯＬについて、それが画像全体
であるのか、画像の一部であるのかは、ビデオオブジェ
クトレイヤシェイプ（video_object_layer_shape）で識
別される。このビデオオブジェクトレイヤシェイプ（vi
deo_object_layer_shape）は、ＶＯＬの形状を示すフラ
グであり、例えば、以下のように設定される。

【０２２３】すなわち、ＶＯＬの形状が長方形状である
とき、当該ビデオオブジェクトレイヤシェイプ（video_
object_layer_shape）は、例えば「００」とされる。ま
た、ＶＯＬが、ハードキー（０または１のうちの何れか
一方の値をとる２値（バイナリ）の信号）によって抜き
出される領域の形状をしているとき、ビデオオブジェク
トレイヤシェイプ（video_object_layer_shape）は、例
えば「０１」とされる。さらに、ＶＯＬが、ソフトキー
（０乃至１の範囲の連続した値（グレイスケール）をと
ることが可能な信号）によって抜き出される領域の形状
をしているとき（ソフトキーを用いて合成されるもので
あるとき）、当該ビデオオブジェクトレイヤシェイプ
（video_object_layer_shape）は、例えば「１０」とさ
れる。

【０２２４】ここで、ビデオオブジェクトレイヤシェイ
プ（video_object_layer_shape）が「００」とされるの
は、ＶＯＬの形状が長方形状であり、かつ、そのＶＯＬ
の絶対座標形における位置および大きさが、時間ととも
に変化しない場合、すなわち、一定の場合である。な
お、この場合、その大きさ（横の長さと縦の長さ）は、
ビデオオブジェクトレイヤワイド（video_object_layer
_width）とビデオオブジェクトレイヤハイ（video_obje
ct_layer_height）によって示される。ビデオオブジェ
クトレイヤワイド（video_object_layer_width）および
ビデオオブジェクトレイヤハイ（video_object_layer_h
eight）は、いずれも１０ビットの固定長のフラグであ
り、ビデオオブジェクトレイヤシェイプ（video_object
_layer_shape）が「００」の場合には、最初に一度だけ
伝送される。これはビデオオブジェクトレイヤシェイプ
（video_object_layer_shape）が「００」の場合、上述
したように、ＶＯＬの絶対座標系における大きさが一定
であるからである。

【０２２５】また、ＶＯＬが、下位レイヤまたは上位レ
イヤのうちの何れかであるかは、１ビットのフラグであ
るスケーラビリティ（scalability）によって示され
る。ＶＯＬが下位レイヤの場合、スケーラビリティ（sc
alability）は例えば１とされ、それ以外の場合は例え
ば０とされる。

【０２２６】さらに、ＶＯＬが、自身以外のＶＯＬにお
ける画像を参照画像として用いる場合、その参照画像が
属するＶＯＬは、リファレンスレイヤＩＤ（ref_layer_
id）で表される。なお、リファレンスレイヤＩＤ（ref_
layer_id）は、上位レイヤについてのみ伝送される。

【０２２７】また、ホリゾンタルサンプリングファクタ
ｎ（hor_sampling_factor_n）とホリゾンタルサンプリ
ングファクタｍ（hor_sampling_factor_m）は、下位レ
イヤのＶＯＰの水平方向の長さに対応する値と、上位レ
イヤのＶＯＰの水平方向の長さに対応する値をそれぞれ
示す。従って、下位レイヤに対する上位レイヤの水平方
向の長さ（水平方向の解像度の倍率）は、下記式（２） hor_sampling_factor_n／hor_sampling_factor_m （２） で与えられる。

【０２２８】さらに、バーチカルサンプリングファクタ
ｎ（ver_sampling_factor_n）とバーチカルサンプリン
グファクタｍ（ver_sampling_factor_m）は、下位レイ
ヤのＶＯＰの垂直方向の長さに対応する値と、上位レイ
ヤのＶＯＰの垂直方向の長さに対応する値をそれぞれ示
す。従って、下位レイヤに対する上位レイヤの垂直方向
の長さ（垂直方向の解像度の倍率）は、下記式（３） ver_sampling_factor_n／ver_sampling_factor_m （３） で与えられる。

【０２２９】ＶＯＬにおいて、コンプレクシティエステ
ィメイションディセーブル（complexity_estimation_di
sable）が０の場合、当該シンタックスのディファイン
ＶＯＰエスティメイションヘッダ（define_ＶＯＰ_esti
mation_header）以下が符号化／復号化される。

【０２３０】また、ＶＯＬのビットストリームの先頭に
ビデオオブジェクトレイヤスタートコード（video_obje
ct_layer_start_code）ではなく、ショートビデオスタ
ートマーカ（short_video_start_marker）が読み込まれ
た場合、当該シンタックスのelse行以下のシンタックス
がＶＯＬのビットストリームの復号に際し使用される。

【０２３１】ＶＯＬは、単数もしくは複数のＶＯＰ、ビ
デオプレーンウイズショートヘッダ（video_plane_with
_short_header）もしくはＧＯＶで構成される。

【０２３２】ＧＯＶ層は、ビットストリームの先頭だけ
でなく、符号化ビットストリームの任意の位置に挿入す
ることができるように、ＶＯＬ層とＶＯＰ層との間に規
定されている。これにより、あるＶＯＬ＃０が、ＯＰ＃
０，ＶＯＰ＃１，・・・，ＶＯＰ＃ｎ，ＶＯＰ＃(n+
1)，・・・，ＶＯＰ＃ｍといったＶＯＰのシーケンスで
構成される場合において、ＧＯＶ層は、その先頭のＶＯ
Ｐ＃０の直前だけでなく、ＶＯＰ＃(n+1)の直前にも挿
入することができる。従って、エンコーダにおいて、Ｇ
ＯＶ層は、例えば符号化ストリームの中のランダムアク
セスさせたい位置に挿入することができ、従って、ＧＯ
Ｖ層を挿入することで、あるＶＯＬを構成するＶＯＰの
一連のシーケンスは、ＧＯＶ層によって複数のグループ
（ＧＯＶ）に分けられて符号化されることになる。

【０２３３】図示しないＧＯＶ層のシンタックスにおい
て、当該ＧＯＶ層は、グループスタートコード（group_
start_code）、タイムコード（time_code）、クローズ
ドＧＯＰ（closed_gop）、ブロークンリンク（broken_l
ink）、ネクストスタートコード（next_start_code()）
が順次配置されて構成される。

【０２３４】次に、図示しないＶＯＰ（Video Object P
lane Class）のシンタックスにおいて、ＶＯＰの大きさ
（横と縦の長さ）は、例えば、１３ビット固定長のＶＯ
Ｐワイド（VOP_width）とＶＯＰハイ（VOPＰ_height）
で表される。また、ＶＯＰの絶対座標系における位置
は、例えば１３ビット固定長のＶＯＰホリゾンタルスペ
ーシャルＭＣリファレンス（VOP_horizontal_spatial_m
c_ref）とＶＯＰバーチカルＭＣリファレンス（VOPＰ_v
ertical_mc_ref）で表される。なお、ＶＯＰワイド（VO
P_width）又はＶＯＰハイ（VOP_height）は、ＶＯＰの
水平方向又は垂直方向の長さをそれぞれ表し、これらは
上述のサイズデータＦＳＺ＿ＢやＦＳＺ＿Ｅに相当す
る。また、ＶＯＰホリゾンタルスペーシャルＭＣリファ
レンス（VOP_horizontal_spatial_mc_ref）またはＶＯ
ＰバーチカルＭＣリファレンス（VOP_vertical_mc_re
f）は、ＶＯＰの水平方向または垂直方向の座標（ｘ座
標またはｙ座標）をそれぞれ表し、これらは、上述のオ
フセットデータＦＰＯＳ＿ＢやＦＰＯＳ＿Ｅに相当す
る。

【０２３５】ＶＯＰワイド（VOP_width）、ＶＯＰハイ
（VOP_height）、ＶＯＰホリゾンタルスペーシャルＭＣ
リファレンス（VOP_horizontal_spatial_mc_ref）、Ｖ
ＯＰバーチカルＭＣリファレンス（VOP_vertical_mc_re
f）は、ビデオオブジェクトレイヤシェイプ（video_obj
ect_layer_shape）が「００」以外の場合にのみ伝送さ
れる。すなわち、ビデオオブジェクトレイヤシェイプ
（video_object_layer_shape）が「００」の場合、上述
したように、ＶＯＰの大きさおよび位置はいずれも一定
であるから、それらＶＯＰワイド（VOP_width）、ＶＯ
Ｐハイ（VOP_height）、ＶＯＰホリゾンタルスペーシャ
ルＭＣリファレンス（VOP_horizontal_spatial_mc_re
f）、ＶＯＰバーチカルＭＣリファレンス（VOP_vertica
l_mc_ref）は伝送する必要がない。この場合、受信側で
は、ＶＯＰは、その左上の頂点が、例えば、絶対座標系
の原点に一致するように配置され、また、その大きさ
は、上述のビデオオブジェクトレイヤスタートコード
（video_object_layer_start_code）に続く部分から構
成されるシンタックスのところで説明したビデオオブジ
ェクトレイヤワイド（video_object_layer_width）およ
びビデオオブジェクトレイヤハイ（video_object_layer
_height）から認識される。

【０２３６】次に、リファレンスセレクトコード（ref_
select_code）は、参照画像として用いる画像を表すも
ので、ＶＯＰのシンタックスにおいて規定されている。

【０２３７】当該シンタックスのリードＶＯＰコンプレ
クシティエスティメイションヘッダ（read_VOP_compexi
ty_estimation_header）以下は、ＶＯＬにおいてコンプ
レクシティエスティメイションディセーブル（complexi
ty_estimation_disable）の値が「０」と示された場合
のみＶＯＰより、読み込まれる。

【０２３８】また、ビデオパケットヘッダ（video_pack
et_header）は、ＶＯＬにおいて、エラーレジッシェン
トディセーブル（error_resilient_disable）が「０」
を示す時にのみ使用可能であり、符号化側でその使用を
自由に使用することができＶＯＰより読み込むことが可
能である。

【０２３９】ここで、前記ＶＯＬがショートビデオスタ
ートマーカ（short_video_start_marker）より始る場合
において使用されるビデオプレーンウイズショートヘッ
ダ（video_plane_with_short_header）について説明す
る。

【０２４０】ビデオプレーンウイズショートヘッダ（vi
deo_plane_with_short_header）は、前述した通りＶＯ
Ｌがショートビデオスタートマーカ（short_video_star
t_marker）により開始する場合にのみ使用される。

【０２４１】このショートビデオスタートマーカ（shor
t_video_start_marker）は、フラグ群及び複数のＧＯＢ
レイヤ（gob_layer）により構成される。

【０２４２】ＧＯＢレイヤ（gob_layer）は、複数のマ
クロブロックをひとまとまりのグループとして符号化し
たもので、ＧＯＢレイヤ（gob_layer）内のマクロブロ
ックの個数は符号化を行っている画像の画枠により一意
に定められる。

【０２４３】ビデオオブジェクトプレーン（video_obje
ct_plane）では、画像のテクスチャ情報、形状符号化情
報を符号化するために、モーションシェイプテクスチャ
（motion_shape_texture）が読み込まれ、この中でマク
ロブロック等の符号化が行われる。図示しないモーショ
ンシェイプテクスチャ（motion_shape_texture）のシン
タックスは、大きく２つの部分から構成され、データパ
ティショニングモーションシェイプテクスチャ（data_p
attitioning_motion_shape_texture）と、コンバインド
モーションシェイプテクスチャ（combined_motion_shap
e_texture）に分けられる。データパティショニングウ
モーションシェイプテクスチャ（data_pattitioning_mo
tion_shape_texture）は、ＶＯＬで示される１ビットの
フラグ（data_partitioning）が１の場合であり、テク
スチャ情報が伝送される場合に使われる。

【０２４４】コンバインドモーションシェイプテクスチ
ャ（combined_motion_shape_texture）は、フラグ（dat
a_partitioning）が０の場合もしくは、形状情報のみを
伝送する場合に用いられる。このようにコンバインドモ
ーションシェイプテクスチャ（combined_motion_shape_
texture）は、一つもしくは複数のマクロブロックによ
り構成されている。

【０２４５】図３０及び図３１には、マクロブロックの
シンタックスの一部（前半部分）を示す。このマクロブ
ロックのシンタックスは大きく３つの部分から構成され
ており、Ｉ−ＶＯＰ、Ｐ−ＶＯＰにおけるマクロブロッ
クのシンタックスを示す部分と、Ｂ−ＶＯＰのマクロブ
ロックのシンタックスを示す部分、またグレイスケール
シェイプ（GrayScale shape）におけるマクロブロック
を示す部分の３個所から構成される。

【０２４６】Ｉ−ＶＯＰ、Ｐ−ＶＯＰにおけるマクロブ
ロックのシンタックスを示す部分、及びＢ−ＶＯＰのマ
クロブロックのシンタックスを示す部分については、シ
ェイプのブロックを符号化する部分ＭＢバイナリシェイ
プコーディング（mb_binary_shape_coding）、マクロブ
ロックの符号化状態を示すフラグ群、及び動きベクトル
の符号化部モーションベクター（motion_vector）、各
ブロックの符号化部ブロック（block）から構成され
る。

【０２４７】また、マクロブロックのグレイスケール
（GrayScale）の情報を表す部分は、マクロブロック内
のグレイスケール（Gray-Scale）状態を表すフラグ群及
びグレイスケール（Gray-Scale）を構成するブロックの
符号化部アルファブロック（alpha_block）から構成さ
れる。

【０２４８】当該マクロブロックのシンタックスでは、
Ｉ−ＶＯＰ、Ｐ−ＶＯＰで使用されるものとＢ−ＶＯＰ
で使用されるものの大きく２つのシンタックスより構成
される。ここで、Ｉ−ＶＯＰ、Ｐ−ＶＯＰの時に読み込
まれるフラグ（mcbpc）は、マクロブロックのタイプ及
び、マクロブロックの色差ブロックのコーディングパタ
ーンを示すＶＬＣである。ＭＰＥＧ４のビジュアルコミ
ッティドラフト（Visual Comitee Draft）で使用されて
いるフラグ（mcbpc）のＶＬＣテーブルを、図３２に示
す。

【０２４９】この図３２に示すＶＬＣテーブルは、Ｉ−
ＶＯＰのフラグ（mcbpc）に対応する表であり、図３３
にはＰ−ＶＯＰに対するＶＬＣテーブルを示す。

【０２５０】これら図３２、図３３のＶＬＣテーブルに
示すように、フラグ（mcbpc）はその値により独立した
２つのパラメータを指す。一つはマクロブロックタイプ
（MBtype）であり、他方はフラグ（cbpc）である。フラ
グ（mcbpc）は図３２、図３３のテーブルをもとに、符
号化／復号される。図３２，図３３のテーブルを用い
て、フラグ（mcbpc）より、マクロブロックタイプ（MBt
ype）及び、フラグ（cbpc）が判断される。マクロブロ
ックタイプ（MBtype）はマクロブロックの符号化タイプ
であり、フラグ（cbpc）は色差信号の符号化の状態を表
す２ビットのフラグである。マクロブロックタイプ（MB
type）は、整数により記述されているが、各整数は、図
３４のようにマクロブロックの符号化タイプとして定義
される。また、同じ番号でもその意味はＶＯＰのタイプ
により異なることもある。

【０２５１】ここで、本実施の形態の方法を明確にする
ためにＭＰＥＧ４のビジュアルコミッティドラフト（Vi
sual Comitee Draft）におけるマクロブロックレイヤの
フラグ（cbpc）の動作について説明する。フラグ（cbp
c）は、図３２に示されるように２ビットで示され、前
述したようにそれぞれの色差ブロックの符号化の状態を
表す。

【０２５２】先ず、４：２：０フォーマットにおけるフ
ラグ（cbpc）の動作を説明する。

【０２５３】当該フラグ（cbpc）は２ビットで表され、
各ビットはそれぞれ対応した色差ブロックの符号化状態
を表す。すなわち、フラグ（cbpc）のうちの先頭の１ビ
ットは図３の（ａ）に示したブロック４の符号化状態を
示し、後ろの１ビットは図３の（ａ）のブロック５の符
号化状態を示す。このビットの値が１の時、その対応す
るブロックは符号化／復号化されるブロックとして判断
され、後にこのフラグをもとにブロックのＤＣＴ係数が
出力／入力される。またこのビットが０の場合、対応す
るブロックのＤＣＴ係数は何も存在しないと判断され
る。

【０２５４】このようなことから、例えばフラグ（cbp
c）が「１１」の場合、図３の（ａ）の対応するブロッ
ク４，５のそれぞれにＤＣＴ係数が存在していると判断
される。また「１０」の場合にはブロック４にのみＤＣ
Ｔ係数が存在する、「０１」の場合には５のブロックの
み、「００」の場合にはブロック４，５にはＤＣＴ係数
が存在しないと判断される。

【０２５５】また、本実施の形態では、他の色差フォー
マットにおいてはフラグ（cbpc）を以下のように定義す
る。

【０２５６】クロマタイプ（croma_type）が「０１」す
なわち４：２：０フォーマットを示す場合、フラグ（cb
pc）は従来と同じ定義、すなわち４：２：０フォーマッ
トのマクロブロックの構成図を表す図３の（ａ）におい
ての、ブロック４，５の状態を表すフラグであると判断
する。

【０２５７】一方、クロマタイプ（croma_type）が「１
０」もしくは「１１」の場合、すなわち４：２：２フォ
ーマットもしくは４：４：４フォーマットの場合、フラ
グ（cbpc）はシンタックスに従い２ビットの値が読み込
まれる。ここでこのフラグのセマンティックスは４：
２：０フォーマットの場合と異なる。この時 先頭の１
ビットは４：２：２フォーマットの場合、図３の（ｂ）
における色差Ｃｂのブロック４，６の何れかもしくは両
方がＤＣＴ係数を持つか否かを表すフラグとして、ま
た、４：４：４フォーマットの場合、図３の（ｂ）にお
ける色差Ｃｂのブロック４，６，８，１０の一つ以上の
ブロックがＤＣＴ係数を持つことを示すフラグと判断さ
れる。

【０２５８】残り１ビットは、同様に４：２：２フォー
マットの場合、図３の（ｂ）の色差Ｃｒのブロック５，
７がＤＣＴ係数を持つか否かを表すフラグとして、ま
た、４：４：４フォーマットの場合、図３の（ｃ）の色
差Ｃｂのブロック５，７，９，１１がＤＣＴ係数と持つ
か否かを示すフラグとして判断される。

【０２５９】フラグ（cbpc）が「００」を示す場合、
４：２：２フォーマット、４：４：４フォーマットどち
らの場合においてもどの色差ブロックもＤＣＴ係数を持
たないものと判断される。

【０２６０】ここでフラグ（cbpc）が「１０」の場合も
しくは「１１」の場合、色差Ｃｂのブロックにおいて、
ＤＣＴ係数を持つブロックが存在すると判断される。こ
のとき色差Ｃｂのブロックの符号化状態を示すフラグ
（cbpcb）が読み込まれる。

【０２６１】４：２：２フォーマットの場合、フラグ
（cbpcb）は１ビットもしくは２ビットであり、４：
４：４フォーマットの場合、フラグ（cbpcb）は１から
４ビットとなる。

【０２６２】フラグ（cbpcb）のビット数は、そのオブ
ジェクトの内側のブロック数により判断される。例え
ば、４：２：２フォーマットの場合、図３の（ｂ）のブ
ロック４，５のうち、どちらか１つのブロックのみがオ
ブジェクトの内側であったとき、このマクロブロックで
のフラグ（cbpcb）のビット数は１ビットとなり、ブロ
ック４，５の二つのブロックともオブジェクトの内側で
あるとき、２ビットのフラグが出力される。

【０２６３】同様に、４：４：４フォーマットの場合に
は、図３の（ｃ）の何れか１つのマクロブロックのみが
オブジェクトの内側であると、フラグ（cbpcb）が１ビ
ット、２個オブジェクト内のブロックが存在する場合に
は２ビット、３個の場合は３ビット、すべてのマクロブ
ロックがオブジェクトの内側である場合には４ビットが
出力される。

【０２６４】これらフラグ（cbpcb）の各ビットは色差
Ｃｂの各ブロックに対し、ＤＣＴ係数を伝送するマクロ
ブロックか否かを出力することを示すフラグとなる。ま
たこの時、オブジェクトの外側のブロックに対しては、
輝度の場合と同様に符号化されるテクスチャのデータが
存在しないため、符号化データは何も出力されず、また
当然、フラグ（cbpcb）のビットにもその状態を表すフ
ラグは存在しない。

【０２６５】このようにフラグ（cbpcb）は、オブジェ
クト内のブロックに対して、図３に示す順序にて各１ビ
ットづつ割り当てられて、またそのフラグが１の場合、
該当ブロック内にＤＣＴ係数が存在し、０の場合には存
在しないことを示す。

【０２６６】図３５及び図３６には上記フラグの定義の
手順を示す。なお、このフローチャートでは、図３７に
示すような色差のブロック番号を使用している。

【０２６７】ステップＳ１ではフラグ（cbpc）の読み込
みを開始し、ステップＳ２ではクロマタイプ（croma_ty
pe）が「０１」か否かの判断を行う。

【０２６８】当該ステップＳ２にてクロマタイプ（crom
a_type）が「０１」であると判断されたとき、すなわち
クロマタイプ（croma_type）が４：２：０フォーマット
を示す場合には、ステップＳ３にてフラグ（cbpc）は従
来同様に定義する。つまり、４：２：０フォーマットの
マクロブロックの構成図を表す前記図３の（ａ）におい
て、ブロック４，５の状態を表すフラグであると判断す
る。

【０２６９】一方、ステップＳ２において、クロマタイ
プ（croma_type）が「０１」でないと判断したとき、す
なわちクロマタイプ（croma_type）が「１０」もしくは
「１１」であると判断（４：２：２フォーマットもしく
は４：４：４フォーマットであると判断）した場合は、
ステップＳ４に進む。

【０２７０】ステップＳ４では、フラグ（cbpc）が「０
１」又は「１１」か否かを判断する。このステップＳ４
において、フラグ（cbpc）が「０１」又は「１１」であ
ると判断した場合はステップＳ５に進み、そうでないと
判断した場合はステップＳ６に進む。

【０２７１】ステップＳ６では、フラグ（cbpc）が「１
０」又は「１１」か否かを判断する。このステップＳ６
において、フラグ（cbpc）が「１０」又は「１１」であ
ると判断した場合はステップＳ７に進み、そうでないと
判断した場合はステップＳ８に進んで処理を終了する。

【０２７２】ステップＳ５とステップＳ７では、クロマ
タイプ（croma_type）が「１０」か否かの判断を行い、
何れの場合も図３６のステップＳ９に進む。

【０２７３】図３６のステップＳ９では、オブジェクト
内のブロックの個数をカウントし、次のステップＳ１０
では、オブジェクト内のブロックの個数分のビットを読
み込んでバッファに格納する。

【０２７４】次のステップＳ１１では、図３７に示した
ブロックｃ１がオブジェクト内であるか否かを判断す
る。このステップＳ１１において、ブロックｃ１がオブ
ジェクト内であると判断した場合はステップＳ１２に進
み、そうでないと判断した場合はステップＳ１３に進
む。

【０２７５】ステップＳ１２では、バッファより１ビッ
トを取り出し、ブロックｃ１の符号化パターンの判断に
使用する。

【０２７６】ステップＳ１３では、図３７に示したブロ
ックｃ２がオブジェクト内であるか否かを判断する。こ
のステップＳ１３において、ブロックｃ２がオブジェク
ト内であると判断した場合はステップＳ１４に進み、そ
うでないと判断した場合はステップＳ１５に進む。

【０２７７】ステップＳ１４では、バッファより１ビッ
トを取り出し、ブロックｃ２の符号化パターンの判断に
使用する。

【０２７８】ステップＳ１５では、４：２：２フォーマ
ットであるか否かの判断を行う。このステップＳ１５に
おいて、４：２：２フォーマットであると判断した場合
はステップＳ１６に進み、そうでないと判断した場合は
ステップＳ１７に進む。

【０２７９】ステップＳ１６では、図３５の処理に戻
る。

【０２８０】ステップＳ１７では、図３７に示したブロ
ックｃ３がオブジェクト内であるか否かを判断する。こ
のステップＳ１７において、ブロックｃ３がオブジェク
ト内であると判断した場合はステップＳ１８に進み、そ
うでないと判断した場合はステップＳ１９に進む。

【０２８１】ステップＳ１８では、バッファより１ビッ
トを取り出し、ブロックｃ３の符号化パターンの判断に
使用する。

【０２８２】ステップＳ１９では、図３７に示したブロ
ックｃ４がオブジェクト内であるか否かを判断する。こ
のステップＳ１９において、ブロックｃ４がオブジェク
ト内であると判断した場合はステップＳ２０に進み、そ
うでないと判断した場合はステップＳ２１に進む。

【０２８３】ステップＳ２０では、バッファより１ビッ
トを取り出し、ブロックｃ４の符号化パターンの判断に
使用する。

【０２８４】ステップＳ２１では、図３５の処理に戻
る。

【０２８５】次に、図３８には、フラグ（cbpcb）のビ
ット割り当ての例を示す。

【０２８６】図３８の（ａ）は、４：２：２フォーマッ
トの場合のオブジェクト内のブロックの数及びその発生
ビット数を示し、図３８の（ｂ）は、４：４：４フォー
マットでの発生ビット量及びその割り当てビット順の例
を示す。

【０２８７】同様に４：２：２フォーマット、４：４：
４フォーマットにおいて、フラグ（cbpc）が「０１」、
「１１」の場合、色差ＣｒのブロックにＤＣＴ係数を持
つブロックが存在するものと判断され、４：２：２フォ
ーマットの場合は２ビット、４：４：４フォーマットの
場合は４ビットの色差Ｃｒのブロックの符号化状態を表
すフラグ（cbpcr）が読み込まれる。

【０２８８】これらのフラグは、フラグ（cbpcb）の場
合と同様の方法により符号化／復号化される。これらの
符号化法は前述したフラグ（cbpcb）の場合と同様にそ
のオブジェクト内のブロック数に応じて変化し、それぞ
れのビットは該当ブロックのＤＣＴ係数の状態を示す。

【０２８９】このようにして、各色差ブロックに対して
ＤＣＴ係数の有無が判別される。この結果は、後のＤＣ
Ｔ係数の出力／入力過程において使用される。

【０２９０】また、マクロブロック内のブロックカウン
ト（block_count）は、マクロブロック内でのオブジェ
クト内に位置するブロックの個数、すなわち（オブジェ
クト内の輝度のブロックの個数＋オブジェクト内の色差
Ｃｂのブロックの個数＋オブジェクト内の色差Ｃｒのブ
ロックの個数）となる。

【０２９１】ブロックカウント（block_count）の最大
値は、色差フォーマットにより決定されるものとし、図
３９に示すように定められる。

【０２９２】次に、図示は省略するが、マクロブロック
内の各ブロックの符号化方法を表すシンタックスと、Ｄ
ＣＴ係数の有無の判別結果の使用方法について説明す
る。

【０２９３】ここで、便宜上これらの判別結果は、当該
シンタックスの配列パターンコード（pattern_code）に
格納されるものとする。例えばパターンコード[i]（pat
ten_code[i]）は、ｉ番目のブロックの符号化状態を示
すものとする。パターンコード[1]（patten_code[1]）
は、前記図３の（ａ）〜（ｃ）に示したブロック１のＤ
ＣＴ係数の状態を示し、パターンコード[5]（patten_co
de[5]）は、同様にブロック５の状態を示す。このパタ
ーンコードの配列の長さは色差フォーマットにより異な
り４：２：０フォーマットの場合は０から５、４：２：
２フォーマットで０から７、４：４：４フォーマットで
０から１１の要素を持つものとする。それぞれの要素
は、対応するブロックがＤＣＴ係数を持つ場合には１、
それ以外に場合には０をとる。また、ＤＣＴの読み出し
を行うか否かは、当該シンタックスの先頭の行において
求められた値により決定される。また、ｉがオブジェク
トの外側のブロックであった場合、その番号は欠番とさ
れ、パターンコードに格納されるビットの総数は、オブ
ジェクト内のブロックの個数と一致する。

【０２９４】次に、Ｂ−ＶＯＰでの色差信号の符号化パ
ターンの認識方法を説明する。

【０２９５】図３０及び図３１に示したマクロブロック
のシンタックスに戻り、Ｂ−ＶＯＰにおいての符号化ブ
ロックのパターンの認識方法を説明する。

【０２９６】Ｂ−ＶＯＰでは、そのマクロブロックの符
号化パターンを示すのに、当該マクロブロックのシンタ
ックスにおけるフラグ（cbpb）が使われる。当該フラグ
（cbpb）は、４：２：０フォーマットの時には、ＭＰＥ
Ｇ４のビジュアルコミッティドラフト（Visual Comitee
Draft）と同様の定義である。

【０２９７】以下、クロマタイプ（croma_type）が「１
０」（４：２：０フォーマット）の時のフラグ（cbpb）
の定義、すなわちＭＰＥＧ４のビジュアルコミッティド
ラフトにおけるフラグ（cbpb）を説明する。

【０２９８】フラグ（cbpb）は、前述した通り６ビット
のフラグであり、その値はマクロブロック内の各ブロッ
クの符号化状態を示す。この時、フラグ（cbpb）の各ビ
ットは、先頭のビットより順に図３の（ａ）に示したブ
ロック０，１，２，３，４，５がＤＣＴ係数を持ってい
るか否かを示し、そのビットが１のとき対応するブロッ
クにおいてＤＣＴ係数が存在すると判断され、０のとき
存在しないと判断される。ここで読み込まれたフラグ
（cbpb）は、後段においてＤＣＴ係数の入出力に使用さ
れる。また、Ｉ−ＶＯＰ、Ｐ−ＶＯＰの場合と同様、こ
のビット数は、あるマクロブロックに存在するオブジェ
クト内のブロックの個数と一致するものとする。すなわ
ちオブジェクト内のブロックが３個であった場合、この
ビットは３ビットとなり、順にオブジェクト内のブロッ
クの符号化状態を示すフラグとして利用される。

【０２９９】これらの判断結果の使用方法は、Ｂ−ＶＯ
Ｐの場合においても、Ｉ−ＶＯＰ、Ｐ−ＶＯＰと同様で
ある。

【０３００】また、フラグ（cbpb）の下位２ビットは、
前述したフラグ（cbpc）と全く同様に色差ブロックの符
号化状態を示す。そのため、４：２：２フォーマットお
よび４：４：４フォーマットにおける色差ブロックの符
号化パターンの判別は、この下位２ビットおよびクロマ
タイプ（croma_type）を用い、Ｉ−ＶＯＰ、Ｐ−ＶＯＰ
の時と同様の手段を用いて行われる。これらの下位２ビ
ットが１を示した場合に読み込まれるビット数も符号化
を行っている画像の色差フォーマット、及びオブジェク
ト内のブロックの個数により変化する。

【０３０１】このようにして、色差フォーマットを用い
ること、および色差の符号化パターンを判断する手段を
用いることにより、４：２：０フォーマット、４：２：
２フォーマット、４：４：４フォーマットの各色差フォ
ーマットの符号化／復号化が可能となる、次に、ＭＢバ
イナリシェイプコーディング（mb_binary_shape_codin
g）のシンタックス、モーションベクター（motion_vect
or）、ブロック（block）の各シンタックスについても
図示は省略するが、ブロック（block）においては、Ｄ
Ｃ係数の差分値、及びその値が符号化される。また、サ
ブシーケンスＤＣＴコイフシャンツ（SubsequentDCTcoe
fficients）は、その他のＡＣ係数を示し、これもＶＬ
Ｃ符号化される。

【０３０２】モーションシェイプテクスチャ（motion_s
hape_texture）のシンタックスに戻って、データパティ
ショニング（data_partitioning）のフラブが１であり
かつテクスチャ情報が伝送される場合には、図示しない
データパティショニングモーションシェイプテクスチャ
（data_partitioning_motion_shape_texture）が符号化
される。このデータパティショニングモーションシェイ
プテクスチャ（data_partitioning_motion_shape_textu
re）は大きく２つの部分から構成されており、ブロック
（block）のシンタックスにおけるデータパティショニ
ングＩ−ＶＯＰ（data_partitioning_I_VOP）及びデー
タパティショニングＰ−ＶＯＰ（data_partitioning_P_
VOP）から構成される。

【０３０３】これらデータパティショニングＩ−ＶＯＰ
（data_partitioning_I_VOP）及びデータパティショニ
ングＰ−ＶＯＰ（data_partitioning_P_VOP）とも、Ｖ
ＯＰの性質を示すフラグ群及び各ブロックのＤＣＴ係数
を符号化する。ＤＣＴ係数の符号化方法は、前述したＤ
ＣＴ係数の符号化方法と同様の方法で行う。

【０３０４】以上説明した本発明実施の形態のエンコー
ダおよびデコーダは、それ専用のハードウェアによって
実現することもできるし、例えばコンピュータに上述し
たような処理を行わせるためのプログラムを実行させる
ことによっても実現することができる。

【０３０５】次に、本発明の第２の実施の形態について
説明する。

【０３０６】この第２の実施の形態では、前述した実施
の形態（第１の実施の形態）においてＢ−ＶＯＰにおけ
る色差ブロックの符号化パターンを、フラグ（cbpb）の
ビット長をクロマタイプ（chroma_type）により変化さ
せて求めるように変更したものである。すなわち、第２
の実施の形態においては、マクロブロックの符号化を行
うそのシンタックス及び、符号化／復号化方法のみが第
１の実施の形態と異なる。

【０３０７】それ以外の符号化／復号化方法、シンタッ
クス等は第１の実施の形態と同様である。

【０３０８】第１の実施の形態においてフラグ（cbpb）
は常に６ビットのフラグであり、その下位２ビットが常
に色差ブロックの状態を示していたが、これを第２の実
施の形態では４：２：２フォーマットの場合には最大８
ビットのフラブ、４：４：４フォーマットの場合には最
大１２ビットのフラグとする。

【０３０９】この第２の実施の形態におけるマクロブロ
ックの符号化方法を示すシンタックスの一部（前半部
分）を図４０及び図４１に示す。

【０３１０】４：２：２フォーマットの場合、この８ビ
ットのフラグは、先頭から図３の（ｂ）に示したブロッ
ク０，１，２，３，４，５，６，７のＤＣＴ係数の有無
を表すものとする。

【０３１１】同様に４：４：４フォーマットの場合、１
２ビットのフラグの先頭のビットより図３の（ｃ）に示
したブロック０，１，２，３，４，５，６，７，８，
９，１０，１１に対応しているものとし、そのＤＣＴ係
数の有無を表すものとする。

【０３１２】４：２：２フォーマット、４：４：４フォ
ーマットとも、対応するブロックがオブジェクトの外側
に位置する時、そのブロックに対応するフラグは存在せ
ず、その場合、フラグ（cbpb）のビット長はそのマクロ
ブロックにおいて、オブジェクト内に存在するブロック
の個数と等しくなる。

【０３１３】このようにして、色差フォーマットを用い
ること、および色差の符号化パターンを判断する手段を
用いることにより、４：２：０フォーマット、４：２：
２フォーマット、４：４：４フォーマットの色差フォー
マットの符号化／復号化が可能となる、この第２の実施
の形態においてもエンコーダおよびデコーダは、それ専
用のハードウェアによって実現することもできるし、コ
ンピュータに、上述したような処理を行わせるためのプ
ログラムを実行させることによっても実現することがで
きる。

【０３１４】なお、本発明の提供媒体は、上述した符号
化データを提供する場合のみならず、本発明実施の形態
のエンコーダやデコーダの動作を行わせるためのプログ
ラムを提供するものとすることも可能である。

【０３１５】なお、本発明の記録媒体としては、上述し
た符号化データが記録された記録媒体のみならず、本発
明実施の形態のエンコーダやデコーダの動作を行わせる
ためのプログラムが記録された記録媒体を提供すること
も可能である。

【０３１６】

【発明の効果】以上の説明から明らかなように、本発明
によれば、画像の輝度成分と色差成分とをそれぞれブロ
ック化して各ブロック毎の動きベクトルを求め、動き補
償を伴う予測符号化を行う際に、上記画像の形状情報が
供給され、上記色差成分として、複数種類の色差フォー
マットのいずれかが選択された色差成分を用い、上記輝
度成分のブロックの動きベクトルを検出すると共に、得
られた輝度成分の動きベクトルに基づき、上記色差成分
の色差フォーマットの種類と、マクロブロックの予測モ
ードあるいは上記形状情報とに応じて選択された計算に
より、対応する色差成分のブロックの動きベクトルを生
成し、上記動きベクトルを用いて動き補償を行い、上記
動き補償が行われたデータと入力画像とに基づいて予測
符号化を行うことにより、４：２：０フォーマット以外
の色差フォーマットにも好適な画像符号化装置及び方
法、並びに記録媒体を提供することができる。

【０３１７】また、上記色差成分として、複数種類の色
差フォーマットのいずれかが選択された色差成分を用
い、この色差フォーマットの種類に応じて、上記輝度成
分のブロックに対して得られた動きベクトルに基づく色
差成分のブロックの動きベクトルの計算を行うことによ
り、４：２：２フォーマット、４：４：４フォーマット
のような色差成分の解像度が高いフォーマットの画像信
号についての動きベクトル検出や動き補償が有効に行
え、色差成分の高い解像度を活かした符号化／復号化が
可能となる。

【図面の簡単な説明】

【図１】本発明実施の形態のエンコーダの概略構成を示
すブロック回路図である。

【図２】ビデオオブジェクトシーケンスからブロックま
での構成説明に用いる図である。

【図３】色差フォーマットにおけるマクロブロック内の
ブロック配置の説明に用いる図である。

【図４】背景画像とオブジェクト画像との関係説明に用
いる図である。

【図５】図１のエンコーダのＶＯＰ符号化部の詳細な構
成例を示すブロック回路図である。

【図６】輝度の形状情報から色差の形状情報を作成する
作成方法の説明に用いる図である。

【図７】図５のパディング処理器の詳細な構成例を示す
ブロック回路図である。

【図８】水平方向のパディング処理の手順を表す図であ
る。

【図９】垂直方向のパディング処理の手順を表す図であ
る。

【図１０】拡張パディング処理されるマクロブロックの
説明に用いる図である。

【図１１】拡張パディング処理の説明に用いる図であ
る。

【図１２】パディングされるマクロブロックが複数のオ
ブジェクトの境界を持つマクロブロックに囲まれている
場合に、参照するマクロブロックの順番を示す図であ
る。

【図１３】マクロブロックに対する動き補償動作を説明
するためのフローチャートである。

【図１４】４：２：０フォーマットの場合の色差ブロッ
クの動きベクトルを説明するための図である。

【図１５】４：２：２フォーマットの場合の色差ブロッ
クの動きベクトルを説明するための図である。

【図１６】４：４：４フォーマットの場合の色差ブロッ
クの動きベクトルを説明するための図である。

【図１７】色差ブロックの解像度変換のためのテーブル
を示す図である。

【図１８】オーバーラップ動き補償の動作を説明するた
めの図である。

【図１９】オーバーラップ動き補償に用いられる重みテ
ーブルを示す図である。

【図２０】オーバーラップ動き補償に用いられる重みテ
ーブルを示す図である。

【図２１】図５のＤＣＴ係数差分化器の詳細な構成例を
示すブロック回路図である。

【図２２】図２１のＤＣＴ成分予測値選択器の動作説明
に用いる図である。

【図２３】予測に用いられるＤＣＴ係数（ＡＣ係数及び
各ＤＣ係数）の説明に用いる図である。

【図２４】各色差フォーマットにおいてＡＣ／ＤＣ予測
に用いるブロックの説明を行うための図である。

【図２５】色差ブロックにおいてオブジェクト内のブロ
ックかどうか判別する方法についての説明に用いる図で
ある。

【図２６】図１のエンコーダから出力されるビットスト
リームを復号する本実施の形態のデコーダの構成例を示
すブロック回路図である。

【図２７】図２６のＶＯＰ復号部の詳細な構成例を示す
ブロック回路図である。

【図２８】ＶＯＬ(video Object Layer)のシンタックス
において、ビデオオブジェクトレイヤスタートコード
（video_object_layer_start_code）に続く部分から構
成されるシンタックスの前半部分を示す図である。

【図２９】クロマフォーマット（chroma_format）の定
義説明に用いる図である。

【図３０】マクロブロックのシンタックスの一部を示す
図である。

【図３１】図３０のシンタックスの続きを示す図であ
る。

【図３２】Ｉ−ＶＯＰのフラグ（mcbpc）のＶＬＣテー
ブルを示す図である。

【図３３】Ｐ−ＶＯＰのフラグ（mcbpc）のＶＬＣテー
ブルを示す図である。

【図３４】マクロブロックタイプ（MBtype）の定義説明
に用いる図である。

【図３５】フラグ（cbpcb）の定義の手順のうち前半部
の手順を示すフローチャートである。

【図３６】フラグ（cbpcb）の定義の手順のうち後半部
の手順を示すフローチャートである。

【図３７】図３５及び図３６中で使用するブロックの説
明に用いる図である。

【図３８】フラグ（cbpcb）のビット割り当ての例の説
明に用いる図である。

【図３９】ブロックカウント（block_count）の最大値
の説明に用いる図である。

【図４０】第２の実施の形態におけるマクロブロックの
符号化方法を示すシンタックスの一部を示す図である。

【図４１】図４０のシンタックスの続きを示す図であ
る。

【図４２】一般的なＭＰＥＧエンコーダの概略構成を示
すブロック回路図である。

【図４３】一般的なＭＰＥＧデコーダの概略構成を示す
ブロック回路図である。

【図４４】４：２：０フォーマットの説明に用いる図で
ある。

【図４５】４：２：２フォーマットの説明に用いる図で
ある。

【図４６】４：４：４フォーマットの説明に用いる図で
ある。

【符号の説明】

１ ＶＯ構成部、 ２ ＶＯＰ構成部、 ３ ＶＯＰ符
号化部、 ４ 多重化部、 ５ 伝送路、 ６ 記録媒
体、 ３１，４１ フレームメモリ、 ３２動きベクト
ル検出器、 ３３，４０ 演算器、 ３４ ＤＣＴ器、
３５ 量子化器、 ３６ ＶＬＣ器、 ３７ バッフ
ァ、 ３８ 逆量子化器、 ３９ ＩＤＣＴ器、 ４２
動き補償器、 ４４ ＤＣＴ係数差分化器、 ５０
形状情報符号化器、 ５１ パディング処理器、 ５２
形状情報復号器、 ５３ 色差用形状情報作成器、
６１ 水平方向パディング処理器、 ６２ 垂直方向パ
ディング処理器、 ６３ 拡張パディング器、 ７１
逆多重化器、 ７２ ＶＯＰ復号部、 ７３ 画像再構
成部、 ７４ モニタ、 １０１ バッファ、１０２
ＩＶＬＣ器、 １０３ 逆多重化器、 １０４ ＩＤＣ
Ｔ器、 １０５演算器、 １０６ フレームメモリ、
１０７ 動き補償器、 １０８ パディング処理器、
１０９ 色差用形状情報作成器、 １１０ 形状情報復
号器、１１１ ＤＣＴ係数逆差分化器、 ４００ イン
トラフラグ発生器、 ４０１スイッチ、 ４０２ ＤＣ
Ｔ係数予測器、 ４０３ ＤＣＴ係数予測値選択器、
４０４ ＤＣＴ係数予測モード蓄積メモリ、 ４０５
逆量子化器、方位表示装置、 ２ ＣＰＵ、 ３ ＲＡ
Ｍ、 ４ ＲＯＭ、 ５ バス、 ６Ａ／Ｄコンバー
タ、 ７ 出力ポート、 ８ 地磁気センサ、 ９ Ｌ
ＥＤ表示器、 １０ 地磁気センサ入力プログラム、
１１ 方位決定プログラム、１２ 表示プログラム、
１３ 演算制御部、 １４ データテーブル

フロントページの続き (56)参考文献 特開 平５−308662（ＪＰ，Ａ) 特開 平６−311533（ＪＰ，Ａ) 特開 平６−78336（ＪＰ，Ａ) 特開 平６−189297（ＪＰ，Ａ) 特開 平６−217344（ＪＰ，Ａ) 特開 平６−319156（ＪＰ，Ａ) (58)調査した分野(Int.Cl.⁷，ＤＢ名) H04N 11/04 H04N 7/32

Claims (3)

(57)【特許請求の範囲】
1. 【請求項１】 画像の輝度成分と色差成分とをそれぞれ
   ブロック化して各ブロック毎の動きベクトルを求め、動
   き補償を伴う予測符号化を行う画像符号化装置におい
   て、 上記色差成分として、複数種類の色差フォーマットのい
   ずれかが選択された色差成分を用い、 上記輝度成分のブロックの動きベクトルを検出すると共
   に、得られた輝度成分の動きベクトルに基づき、上記色
   差成分の色差フォーマットの種類及びマクロブロックの
   予測モードに応じて切換選択された計算により、対応す
   る色差成分のブロックの動きベクトルを生成する動きベ
   クトル検出手段と、 この動きベクトル検出手段により得られた動きベクトル
   を用いて動き補償を行う動き補償手段と、 この動き補償手段からの出力と入力画像とに基づいて予
   測符号化を行う符号化部とを有することを特徴とする画
   像符号化装置。
2. 【請求項２】 画像の輝度成分と色差成分とをそれぞれ
   ブロック化して各ブロック毎の動きベクトルを求め、動
   き補償を伴う予測符号化を行う画像符号化方法におい
   て、画像 の形状情報が供給され、上記色差成分として、複数
   種類の色差フォーマットのいずれかが選択された色差成
   分を用い、 上記輝度成分のブロックの動きベクトルを検出すると共
   に、得られた輝度成分の動きベクトルに基づき、上記色
   差成分の色差フォーマットの種類及び上記形状情報に応
   じて選択された計算により、対応する色差成分のブロッ
   クの動きベクトルを生成し、 上記動きベクトルを用いて動き補償を行い、 上記動き補償が行われたデータと入力画像とに基づいて
   予測符号化を行うことを特徴とする画像符号化方法。
3. 【請求項３】 画像の輝度成分と色差成分とをそれぞれ
   ブロック化して各ブロック毎の動きベクトルを求め、動
   き補償を伴う予測符号化を行うことにより得られた符号
   化データが記録された記録媒体において、 上記符号化データは、 上記色差成分として、複数種類の色差フォーマットのい
   ずれかが選択された色差成分を用い、 上記輝度成分のブロックの動きベクトルを検出すると共
   に、得られた輝度成分の動きベクトルに基づき、上記色
   差成分の色差フォーマットの種類及びマクロブロックの
   予測モードとに応じて切替選択された計算により、対応
   する色差成分のブロックの動きベクトルを生成し、 上記動きベクトルを用いて動き補償を行い、 上記動き補償が行われたデータと入力画像とに基づいて
   予測符号化を行うことにより得られたものであることを
   特徴とする符号化データが記録された記録媒体。