JPH06326999A - 画像信号伝送方法及び装置、並びに画像信号復号化方法及び装置 - Google Patents

Abstract

(57)【要約】 【構成】 Ｎ枚毎の画像信号に対してそれぞれＮ枚前の
画像を予測画像として前方予測符号化を行ってビットス
トリームＡを生成し、Ｎ枚毎の画像信号以外の画像信号
に対し、それぞれＮ枚毎の画像信号を予測画像として前
方予測符号化又は後方予測符号化を行ってビットストリ
ームＢを生成し、それぞれ前後２枚のＮ枚毎の画像信号
を予測画像として両方向予測符号化を行いビットストリ
ームＣを生成する。ビットストリームＡとビットストリ
ームＢとを並列に伝送し、ビットストリームＣはビット
ストリームＡ及びビットストリームＢと並列に伝送す
る。 【効果】 同一のビットストリームから、画像１枚分の
参照画像メモリを持つ前方予測（後方予測）のみが可能
な復号化装置で復号化が可能となり、さらに画像２枚分
の参照画像メモリを持つ両方向予測が可能な復号化装置
で復号化した場合には、画質が向上するように復号化す
ることが可能となる。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、動画像信号を、例えば
光磁気ディスクや磁気テープなどの記録媒体に記録し、
これを再生してディスプレイなどに表示したり、テレビ
会議システム、テレビ電話システム、放送用機器など、
動画像信号を伝送路を介して送信側から受信側に伝送
し、受信側において、これを受信し、表示する場合など
に用いて好適な画像信号伝送方法及び画像信号伝送装
置、並びに画像信号復号化方法及び画像信号復号化装置
に関するものである。

【０００２】

【従来の技術】例えば、テレビ会議システム、テレビ電
話システムなどのように、動画像信号を遠隔地に伝送す
るシステムにおいては、伝送路を効率良く利用するた
め、映像信号のライン相関やフレーム間相関を利用し
て、画像信号を圧縮符号化するようになされている。

【０００３】上記ライン相関を利用する場合には、画像
信号を、例えばＤＣＴ（離散コサイン変換）処理するな
どして圧縮することができる。

【０００４】また、フレーム間相関を利用すると、画像
信号をさらに圧縮して符号化することが可能となる。例
えば図１３のＡに示すように、時刻ｔ＝ｔ１，ｔ２，ｔ
３において、フレーム画像ＰＣ１，ＰＣ２，ＰＣ３がそ
れぞれ発生しているとき、フレーム画像ＰＣ１とＰＣ２
の画像信号の差を演算して、図１３のＢに示すように画
像ＰＣ１２を生成し、また、図１３のＡのフレーム画像
ＰＣ２とＰＣ３の差を演算して、図１３のＢの画像ＰＣ
２３を生成する。通常、時間的に隣接するフレームの画
像は、それ程大きな変化を有していないため、両者の差
を演算すると、その差分信号は小さな値のものとなる。
すなわち、図１３のＢに示す画像ＰＣ１２においては、
図１３のＡのフレーム画像ＰＣ１とＰＣ２の画像信号の
差として、図１３のＢの画像ＰＣ１２の図中斜線で示す
部分の信号が得られ、また、図１３のＢに示す画像ＰＣ
２３においては、図１３のＡのフレーム画像ＰＣ２とＰ
Ｃ３の画像信号の差として、図１３のＢの画像ＰＣ２３
の図中斜線で示す部分の信号が得られる。そこで、この
差分信号を符号化すれば、符号量を圧縮することができ
る。

【０００５】しかしながら、上記差分信号のみを伝送し
たのでは、元の画像を復元することができない。そこ
で、各フレームの画像を、Ｉピクチャ（イントラ符号化
画像：Intra-coded picture)、Ｐピクチャ（前方予測符
号化画像： Perdictive-codedpicture)またはＢピクチ
ャ（両方向予測符号化画像： Bidirectionally-codedp
icture)の３種類のピクチャのいずれかのピクチャと
し、画像信号を圧縮符号化するようにしている。

【０００６】即ち、例えば図１４のＡ及びＢに示すよう
に、フレームＦ１乃至Ｆ１７までの１７フレームの画像
信号をグループオブピクチャとし、処理の１単位とす
る。そして、その先頭のフレームＦ１の画像信号はＩピ
クチャとして符号化し、第２番目のフレームＦ２はＢピ
クチャとして、また第３番目のフレームＦ３はＰピクチ
ャとして、それぞれ処理する。以下、第４番目以降のフ
レームＦ４乃至Ｆ１７は、ＢピクチャまたはＰピクチャ
として交互に処理する。

【０００７】Ｉピクチャの画像信号としては、その１フ
レーム分の画像信号をそのまま伝送する。これに対し
て、Ｐピクチャの画像信号としては、基本的には、図１
４のＡに示すように、それより時間的に先行するＩピク
チャまたはＰピクチャの画像信号からの差分を符号化し
て伝送する。さらにＢピクチャの画像信号としては、基
本的には、図１４のＢに示すように、時間的に先行する
フレームまたは後行するフレームの両方の平均値からの
差分を求め、その差分を符号化して伝送する。

【０００８】図１５のＡ及びＢは、このようにして、動
画像信号を符号化する方法の原理を示している。なお、
図１５のＡには動画像信号のフレームのデータを、図１
５のＢには伝送されるフレームデータを模式的に示して
いる。この図１５に示すように、最初のフレームＦ１は
Ｉピクチャすなわち非補間フレームとして処理されるた
め、そのまま伝送データＦ１Ｘ（伝送非補間フレームデ
ータ）として伝送路に伝送される（イントラ符号化）。
これに対して、第２のフレームＦ２は、Ｂピクチャすな
わち補間フレームとして処理されるため、時間的に先行
する上記フレームＦ１と、時間的に後行するフレームＦ
３（フレーム間符号化の非補間フレーム）の平均値との
差分が演算され、その差分が伝送データ（伝送補間フレ
ームデータ）Ｆ２Ｘとして伝送される。

【０００９】但し、このＢピクチャとしての処理は、さ
らに細かく説明すると、マクロブロック単位で切り替え
が可能な４種類のモードが存在する。その第１の処理
は、元のフレームＦ２のデータを図中破線の矢印ＳＰ１
で示すようにそのまま伝送データＦ２Ｘとして伝送する
ものであり（イントラ符号化モード）、Ｉピクチャにお
ける場合と同様の処理となる。第２の処理は、時間的に
後のフレームＦ３からの差分を演算し、図中破線矢印Ｓ
Ｐ２で示すようにその差分を伝送するものである（後方
予測モード）。第３の処理は、図中破線矢印ＳＰ３で示
すように時間的に先行するフレームＦ１との差分を伝送
するものである（前方予測モード）。さらに第４の処理
は、図中破線矢印ＳＰ４で示すように時間的に先行する
フレームＦ１と後行するフレームＦ３の平均値との差分
を生成し、これを伝送データＦ２Ｘとして伝送するもの
である（両方向予測モード）。

【００１０】この４つの方法のうち、伝送データが最も
少なくなる方法がマクロブロック単位で採用される。

【００１１】尚、差分データを伝送するときには、差分
を演算する対象となるフレームの画像（予測画像）との
間の動きベクトルｘ１（前方予測の場合のフレームＦ１
とＦ２の間の動きベクトル）、もしくは動きベクトルｘ
２（後方予測の場合のフレームＦ３とＦ２の間の動きベ
クトル）、または動きベクトルｘ１とｘ２の両方（両方
向予測の場合）が、差分データとともに伝送される。

【００１２】また、ＰピクチャのフレームＦ３（フレー
ム間符号化の非補間フレーム）は、時間的に先行するフ
レームＦ１を予測画像として、このフレームＦ１との差
分信号（破線矢印ＳＰ３で示す）と、動きベクトルｘ３
が演算され、これが伝送データＦ３Ｘとして伝送される
（前方予測モード）。あるいはまた、元のフレームＦ３
のデータがそのまま伝送データＦ３Ｘとして伝送（破線
矢印ＳＰ１で示す）される（イントラ符号化モード）。
このＰピクチャにおいて、いずれの方法により伝送され
るかは、Ｂピクチャにおける場合と同様であり、伝送デ
ータがより少なくなる方がマクロブロック単位で選択さ
れる。

【００１３】なお、ＢピクチャのフレームＦ４とＰピク
チャのフレームＦ５も上述同様に処理され、伝送データ
Ｆ４Ｘ、Ｆ５Ｘ、動きベクトルｘ４，ｘ５，ｘ６等が得
られる。

【００１４】図１６は、上述した原理に基づいて、動画
像信号を符号化して伝送し、これを復号化する装置の構
成例を示している。符号化装置１は、入力された映像信
号を符号化し、伝送路としての記録媒体３に伝送して記
録するようになされている。そして、復号化装置２は、
記録媒体３に記録された信号を再生し、これを復号して
出力するようになされている。

【００１５】先ず、符号化装置１においては、入力端子
１０を介して入力された映像信号ＶＤが前処理回路１１
に入力され、そこで輝度信号と色信号（この例の場合、
色差信号）が分離され、それぞれＡ／Ｄ変換器１２，１
３でＡ／Ｄ変換される。Ａ／Ｄ変換器１２，１３により
Ａ／Ｄ変換されてディジタル信号となった映像信号は、
フレームメモリ１４に供給され、記憶される。このフレ
ームメモリ１４では、輝度信号を輝度信号フレームメモ
リ１５に、また、色差信号を色差信号フレームメモリ１
６に、それぞれ記憶させる。

【００１６】フォーマット変換回路１７は、フレームメ
モリ１４に記憶されたフレームフォーマットの信号を、
ブロックフォーマットの信号に変換する。即ち、図１７
の（Ａ）に示すように、フレームメモリ１４に記憶され
た映像信号は、１ライン当りＨドットのラインがＶライ
ン集められたフレームフォーマットのデータとされてい
る。フォーマット変換回路１７は、この１フレームの信
号を、１６ラインを単位としてＮ個のスライスに区分す
る。そして、各スライスは、図１７の（Ｂ）に示すよう
に、Ｍ個のマクロブロックに分割される。各マクロブロ
ックは、図１７の（Ｃ）に示すように、１６×１６個の
画素（ドット）に対応する輝度信号により構成され、こ
の輝度信号は、図１７の（Ｃ）に示すように、さらに８
×８ドットを単位とするブロックＹ［１］乃至Ｙ［４］
に区分される。そして、この１６×１６ドットの輝度信
号には、８×８ドットのＣｂ信号と、８×８ドットのＣ
ｒ信号が対応される。

【００１７】このように、ブロックフォーマットに変換
されたデータは、フォーマット変換回路１７からエンコ
ーダ１８に供給され、ここでエンコード（符号化）が行
われる。その詳細については、図１８を参照して後述す
る。

【００１８】エンコーダ１８によりエンコードされた信
号は、ビットストリームとして伝送路に出力され、例え
ば記録媒体３に記録される。

【００１９】記録媒体３より再生されたデータは、復号
化装置２のデコーダ３１に供給され、デコードされる。
デコーダ３１の詳細については、図２１を参照して後述
する。

【００２０】デコーダ３１によりデコードされたデータ
は、フォーマット変換回路３２に入力され、ブロックフ
ォーマットからフレームフォーマットに変換される。そ
して、フレームフォーマットの輝度信号は、フレームメ
モリ３３の輝度信号フレームメモリ３４に供給され、記
憶され、色差信号は色差信号フレームメモリ３５に供給
され、記憶される。輝度信号フレームメモリ３４と色差
信号フレームメモリ３５より読み出された輝度信号と色
差信号は、Ｄ／Ａ変換器３６と３７によりそれぞれＤ／
Ａ変換され、後処理回路３８に供給され、合成される。
この出力映像信号は、出力端子３０から図示せぬ例えば
ＣＲＴなどのディスプレイに出力され、表示される。

【００２１】次に図１８を参照して、エンコーダ１８の
構成例について説明する。

【００２２】入力端子４９を介して供給された符号化さ
れるべき画像データは、マクロブロック単位で動きベク
トル検出回路５０に入力される。動きベクトル検出回路
５０は、予め設定されている所定のシーケンスに従っ
て、各フレームの画像データを、Ｉピクチャ、Ｐピクチ
ャ、またはＢピクチャとして処理する。シーケンシャル
に入力される各フレームの画像を、Ｉ，Ｐ，Ｂのいずれ
のピクチャとして処理するかは、予め定められている
（例えば、図１４に示したように、フレームＦ１乃至Ｆ
１７により構成されるグループオブピクチャが、Ｉ，
Ｂ，Ｐ，Ｂ，Ｐ，・・・Ｂ，Ｐとして処理される）。

【００２３】Ｉピクチャとして処理されるフレーム（例
えばフレームＦ１）の画像データは、動きベクトル検出
回路５０からフレームメモリ５１の前方原画像部５１ａ
に転送、記憶され、Ｂピクチャとして処理されるフレー
ム（例えばフレームＦ２）の画像データは、原画像部
（参照原画像部）５１ｂに転送、記憶され、Ｐピクチャ
として処理されるフレーム（例えばフレームＦ３）の画
像データは、後方原画像部５１ｃに転送、記憶される。

【００２４】また、次のタイミングにおいて、さらにＢ
ピクチャ（例えば前記フレームＦ４）またはＰピクチャ
（前記フレームＦ５）として処理すべきフレームの画像
が入力されたとき、それまで後方原画像部５１ｃに記憶
されていた最初のＰピクチャ（フレームＦ３）の画像デ
ータが、前方原画像部５１ａに転送され、次のＢピクチ
ャ（フレームＦ４）の画像データが、原画像部５１ｂに
記憶（上書き）され、次のＰピクチャ（フレームＦ５）
の画像データが、後方原画像部５１ｃに記憶（上書き）
される。このような動作が順次繰り返される。

【００２５】フレームメモリ５１に記憶された各ピクチ
ャの信号は、そこから読み出され、予測モード切り換え
回路５２において、フレーム予測モード処理、またはフ
ィールド予測モード処理が行なわれる。さらにまた予測
判定回路５４の制御の下に、演算部５３において、イン
トラ符号化モード、前方予測モード、後方予測モード、
または両方向予測モードによる演算が行なわれる。これ
らの処理のうち、いずれの処理を行なうかは、予測誤差
信号（処理の対象とされている参照画像と、これに対す
る予測画像との差分）に対応してマクロブロック単位で
決定される。このため、動きベクトル検出回路５０は、
この判定に用いられる予測誤差信号の絶対値和（自乗和
でもよい）及び、その予測誤差信号に対応するイントラ
符号化モードの評価値をマクロブロック単位で生成す
る。

【００２６】ここで、予測モード切り換え回路５２にお
けるフレーム予測モードとフィールド予測モードについ
て説明する。

【００２７】フレーム予測モードが設定された場合にお
いては、予測モード切り換え回路５２は、動きベクトル
検出回路５０より供給される４個の輝度ブロックＹ
［１］乃至Ｙ［４］を、そのまま後段の演算部５３に出
力する。即ち、この場合においては、図１９のＡに示す
ように、各輝度ブロックに奇数フィールドのラインのデ
ータと、偶数フィールドのラインのデータとが混在した
状態となっている。なお、図１９の各マクロブロック中
の実線は奇数フィールド（第１フィールドのライン）の
ラインのデータを、破線は偶数フィールド（第２フィー
ルドのライン）のラインのデータを示し、図１９の図中
ａ及びｂは動き補償の単位を示している。このフレーム
予測モードにおいては、４個の輝度ブロック（マクロブ
ロック）を単位として予測が行われ、４個の輝度ブロッ
クに対して１個の動きベクトルが対応される。

【００２８】これに対して、予測モード切り換え回路５
２は、フィールド予測モードが設定された場合、図１９
のＡに示す構成で動きベクトル検出回路５０より入力さ
れる信号を、図１９のＢに示すように、４個の輝度ブロ
ックのうち、輝度ブロックＹ［１］とＹ［２］を、例え
ば奇数フィールドのラインのドットによりのみ構成さ
せ、他の２個の輝度ブロックＹ［３］とＹ［４］を、偶
数フィールドのラインのデータにより構成させて、演算
部５３に出力する。この場合においては、２個の輝度ブ
ロックＹ［１］とＹ［２］に対して、１個の動きベクト
ルが対応され、他の２個の輝度ブロックＹ［３］とＹ
［４］に対して、他の１個の動きベクトルが対応され
る。

【００２９】尚、色差信号は、フレーム予測モードの場
合、図１９のＡに示すように、奇数フィールドのライン
のデータと偶数フィールドのラインのデータとが混在す
る状態で、演算部５３に供給される。また、フィールド
予測モードの場合、図１９のＢに示すように、各色差ブ
ロックＣｂ，Ｃｒの上半分（４ライン）が、輝度ブロッ
クＹ［１］，Ｙ［２］に対応する奇数フィールドの色差
信号とされ、下半分（４ライン）が、輝度ブロックＹ
［３］，Ｙ［４］に対応する偶数フィールドの色差信号
とされる。

【００３０】また、動きベクトル検出回路５０は、次の
ようにして、予測判定回路５４において、各マクロブロ
ックに対し、イントラ符号化モード、前方予測モード、
後方予測モード、または両方向予測モードのいずれの予
測を行なうか及びフレーム予測モード、フィールド予測
モードのどちらで処理するかを決定するためのイントラ
符号化モードの評価値及び各予測誤差の絶対値和をマク
ロブロック単位で生成する。

【００３１】即ち、イントラ符号化モードの評価値とし
て、これから符号化される参照画像のマクロブロックの
信号Ａijとその平均値との差の絶対値和Σ｜Ａij−（Ａ
ijの平均値）｜を求める。また、前方予測の予測誤差の
絶対値和として、フレーム予測モード及びフィールド予
測モードそれぞれにおける、参照画像のマクロブロック
の信号Ａijと、予測画像のマクロブロックの信号Ｂijの
差（Ａij−Ｂij）の絶対値｜Ａij−Ｂij｜の和Σ｜Ａij
−Ｂij｜を求める。また、後方予測と両方向予測の予測
誤差の絶対値和も、前方予測における場合と同様に（そ
の予測画像を前方予測における場合と異なる予測画像に
変更して）フレーム予測モード及びフィールド予測モー
ドの場合のそれぞれに対して求める。

【００３２】これらの絶対値和は、予測判定回路５４に
供給される。予測判定回路５４は、フレーム予測モー
ド、フィールド予測モードそれぞれにおける前方予測、
後方予測及び両方向予測の予測誤差の絶対値和のうち、
最も小さいものを、インター(inter) 予測の予測誤差の
絶対値和として選択する。さらに、このインター予測の
予測誤差の絶対値和と、イントラ符号化モードの評価値
とを比較し、その小さい方を選択し、この選択した値に
対応するモードを予測モード及びフレーム／フィールド
予測モードとして選択する。即ち、イントラ符号化モー
ドの評価値の方が小さければ、イントラ符号化モードが
設定される。インター予測の予測誤差の絶対値和の方が
小さければ、前方予測、後方予測または両方向予測モー
ドのうち、対応する絶対値和が最も小さかったモードが
予測モード及びフレーム／フィールド予測モードとして
設定される。

【００３３】上述したように、予測モード切り換え回路
５２は、参照画像のマクロブロックの信号を、フレーム
またはフィールド予測モードのうち、予測判定回路５４
により選択されたモードに対応する図１９で示したよう
な構成で、演算部５３に供給する。また動きベクトル検
出回路５０は、予測判定回路５４により選択された予測
モードに対応する予測画像と参照画像との間の動きベク
トルを出力し、後述する可変長符号化回路５８と動き補
償回路６４に供給する。なお、この動きベクトルとして
は、対応する予測誤差の絶対値和が最小となるものが選
択される。

【００３４】予測判定回路５４は、動きベクトル検出回
路５０が前方原画像部５１ａよりＩピクチャの画像デー
タを読み出しているとき、予測モードとして、イントラ
符号化モード（動き補償を行わないモード）を設定し、
演算部５３のスイッチ５３ｄを接点ａ側に切り換える。
これにより、Ｉピクチャの画像データがＤＣＴモード切
り換え回路５５に入力される。

【００３５】このＤＣＴモード切り換え回路５５は、図
２０のＡまたはＢに示すように、４個の輝度ブロックの
データを、奇数フィールドのラインと偶数フィールドの
ラインが混在する状態（フレームＤＣＴモード）、また
は、分離された状態（フィールドＤＣＴモード）、のい
ずれかの状態にして、ＤＣＴ回路５６に出力する。

【００３６】即ち、ＤＣＴモード切り換え回路５５は、
奇数フィールドと偶数フィールドのデータを混在してＤ
ＣＴ処理した場合における符号化効率と、分離した状態
においてＤＣＴ処理した場合の符号化効率とを比較し、
符号化効率の良好なモードを選択する。

【００３７】例えば、入力された信号を、図２０のＡに
示すように、奇数フィールドと偶数フィールドのライン
が混在する構成とし、上下に隣接する奇数フィールドの
ラインの信号と偶数フィールドのラインの信号の差を演
算し、さらにその絶対値の和（または自乗和）を求め
る。また、入力された信号を、図２０のＢに示すよう
に、奇数フィールドと偶数フィールドのラインが分離し
た構成とし、上下に隣接する奇数フィールドのライン同
士の信号の差と、偶数フィールドのライン同士の信号の
差を演算し、それぞれの絶対値の和（または自乗和）を
求める。さらに、両者（絶対値和）を比較し、小さい値
に対応するＤＣＴモードを設定する。即ち、前者の方が
小さければ、フレームＤＣＴモードを設定し、後者の方
が小さければ、フィールドＤＣＴモードを設定する。

【００３８】そして、選択したＤＣＴモードに対応する
構成のデータをＤＣＴ回路５６に出力するとともに、選
択したＤＣＴモードを示すＤＣＴフラグを、可変長符号
化回路５８に出力する。

【００３９】予測モード切り換え回路５２におけるフレ
ーム／フィールド予測モード（図１９参照）と、このＤ
ＣＴモード切り換え回路５５におけるＤＣＴモード（図
２０参照）を比較して明らかなように、輝度ブロックに
関しては、両者の各モードにおけるデータ構造は実質的
に同一である。

【００４０】予測モード切り換え回路５２において、フ
レーム予測モード（奇数ラインと偶数ラインが混在する
モード）が選択された場合、ＤＣＴモード切り換え回路
５５においても、フレームＤＣＴモード（奇数ラインと
偶数ラインが混在するモード）が選択される可能性が高
く、また予測モード切り換え回路５２において、フィー
ルド予測モード（奇数フィールドと偶数フィールドのデ
ータが分離されたモード）が選択された場合、ＤＣＴモ
ード切り換え回路５５において、フィールドＤＣＴモー
ド（奇数フィールドと偶数フィールドのデータが分離さ
れたモード）が選択される可能性が高い。

【００４１】しかしながら、必ずしも常にそのようにな
されるわけではなく、予測モード切り換え回路５２にお
いては、予測誤差の絶対値和が小さくなるようにモード
が決定され、ＤＣＴモード切り換え回路５５において
は、符号化効率が良好となるようにモードが決定され
る。

【００４２】ＤＣＴモード切り換え回路５５より出力さ
れたＩピクチャの画像データは、ＤＣＴ回路５６に入力
され、ＤＣＴ（離散コサイン変換）処理され、ＤＣＴ係
数に変換される。このＤＣＴ係数は、量子化回路５７に
入力され、送信バッファ５９のデータ蓄積量（バッファ
蓄積量）に対応した量子化ステップで量子化された後、
可変長符号化回路５８に入力される。

【００４３】可変長符号化回路５８は、量子化回路５７
より供給される量子化ステップ（スケール）に対応し
て、量子化回路５７より供給される画像データ（いまの
場合、Ｉピクチャのデータ）を、例えばハフマン(Huffm
an) 符号などの可変長符号に変換し、送信バッファ５９
に出力する。

【００４４】可変長符号化回路５８にはまた、量子化回
路５７より量子化ステップ（スケール）、予測判定回路
５４より予測モード（イントラ符号化モード、前方予測
モード、後方予測モード、または両方向予測モードのい
ずれが設定されたかを示すモード）、動きベクトル検出
回路５０より動きベクトル、予測判定回路５４より予測
フラグ（フレーム予測モードまたはフィールド予測モー
ドのいずれが設定されたかを示すフラグ）、及びＤＣＴ
モード切り換え回路５５が出力するＤＣＴフラグ（フレ
ームＤＣＴモードまたはフィールドＤＣＴモードのいず
れが設定されたかを示すフラグ）が入力されており、こ
れらも可変長符号化される。

【００４５】送信バッファ５９は、入力されたデータを
一時蓄積し、蓄積量に対応するデータを量子化回路５７
に出力する。

【００４６】送信バッファ５９は、そのデータ残量が許
容上限値まで増量すると、量子化制御信号によって量子
化回路５７の量子化スケールを大きくすることにより、
量子化データのデータ量を低下させる。また、これとは
逆に、データ残量が許容下限値まで減少すると、送信バ
ッファ５９は、量子化制御信号によって量子化回路５７
の量子化スケールを小さくすることにより、量子化デー
タのデータ量を増大させる。このようにして、送信バッ
ファ５９のオーバフローまたはアンダフローが防止され
る。

【００４７】そして、送信バッファ５９に蓄積されたデ
ータは、所定のタイミングで読み出され、出力端子６９
を介して伝送路に出力され、例えば記録媒体３に記録さ
れる。

【００４８】一方、量子化回路５７より出力されたＩピ
クチャのデータは、逆量子化回路６０に入力され、量子
化回路５７より供給される量子化ステップに対応して逆
量子化される。逆量子化回路６０の出力は、ＩＤＣＴ
（逆ＤＣＴ）回路６１に入力され、逆ＤＣＴ処理された
後、演算器６２を介してフレームメモリ６３の前方予測
画像部６３ａに供給され、記憶される。

【００４９】ところで動きベクトル検出回路５０は、シ
ーケンシャルに入力される各フレームの画像データを、
たとえば、前述したようにＩ，Ｂ，Ｐ，Ｂ，Ｐ，Ｂ・・
・のピクチャとしてそれぞれ処理する場合、最初に入力
されたフレームの画像データをＩピクチャとして処理し
た後、次に入力されたフレームの画像をＢピクチャとし
て処理する前に、さらにその次に入力されたフレームの
画像データをＰピクチャとして処理する。Ｂピクチャ
は、後方予測及び両方向予測を伴う可能性があるため、
後方予測画像としてのＰピクチャが先に用意されていな
いと、復号することができないからである。

【００５０】そこで動きベクトル検出回路５０は、Ｉピ
クチャの処理の次に、後方原画像部５１ｃに記憶されて
いるＰピクチャの画像データの処理を開始する。そし
て、上述した場合と同様に、マクロブロック単位でのイ
ントラ符号化モードの評価値及びフレーム間差分（予測
誤差）の絶対値和が、動きベクトル検出回路５０から予
測判定回路５４に供給される。予測判定回路５４は、こ
のＰピクチャのマクロブロックのイントラ符号化モード
の評価値及び予測誤差の絶対値和に対応して、フレーム
予測モード、フィールド予測モードの何れか、及びイン
トラ符号化モード、前方予測モードのいずれの予測モー
ドかをマクロブロック単位で設定する。

【００５１】演算部５３はイントラ符号化モードが設定
されたとき、スイッチ５３ｄを上述したように接点ａ側
に切り換える。従って、このデータは、Ｉピクチャのデ
ータと同様に、ＤＣＴモード切り換え回路５５、ＤＣＴ
回路５６、量子化回路５７、可変長符号化回路５８、送
信バッファ５９を介して伝送路に伝送される。また、こ
のデータは、逆量子化回路６０、ＩＤＣＴ回路６１、演
算器６２を介してフレームメモリ６３の後方予測画像部
６３ｂに供給され、記憶される。

【００５２】一方、前方予測モードの時、スイッチ５３
ｄが接点ｂに切り換えられるとともに、フレームメモリ
６３の前方予測画像部６３ａに記憶されている画像（い
まの場合Ｉピクチャの画像）データが読み出され、動き
補償回路６４により、動きベクトル検出回路５０が出力
する動きベクトルに対応して動き補償される。すなわ
ち、動き補償回路６４は、予測判定回路５４より前方予
測モードの設定が指令されたとき、前方予測画像部６３
ａの読み出しアドレスを、動きベクトル検出回路５０が
いま出力しているマクロブロックの位置に対応する位置
から動きベクトルに対応する分だけずらしてデータを読
み出し、予測画像データを生成する。

【００５３】動き補償回路６４より出力された予測画像
データは、演算器５３ａに供給される。演算器５３ａ
は、予測モード切り換え回路５２より供給された参照画
像のマクロブロックのデータから、動き補償回路６４よ
り供給された、このマクロブロックに対応する予測画像
データを減算し、その差分（予測誤差）を出力する。こ
の差分データは、ＤＣＴモード切り換え回路５５、ＤＣ
Ｔ回路５６、量子化回路５７、可変長符号化回路５８、
送信バッファ５９を介して伝送路に伝送される。また、
この差分データは、逆量子化回路６０、ＩＤＣＴ回路６
１により局所的に復号され、演算器６２に入力される。

【００５４】この演算器６２にはまた、演算器５３ａに
供給されている予測画像データと同一のデータが供給さ
れている。演算器６２は、ＩＤＣＴ回路６１が出力する
差分データに、動き補償回路６４が出力する予測画像デ
ータを加算する。これにより、元の（復号した）Ｐピク
チャの画像データが得られる。このＰピクチャの画像デ
ータは、フレームメモリ６３の後方予測画像部６３ｂに
供給され、記憶される。尚、実際には、演算器６２に供
給される、ＩＤＣＴ回路の出力する差分データのデータ
構造と予測画像データのデータ構造とは、同じである必
要があるため、フレーム／フィール予測モードとフレー
ム／フィールドＤＣＴモードが、異なる場合に備えてデ
ータの並べ換えを行う回路が必要であるが、簡単のため
省略する。

【００５５】動きベクトル検出回路５０は、このよう
に、ＩピクチャとＰピクチャのデータが前方予測画像部
６３ａと後方予測画像部６３ｂにそれぞれ記憶された
後、次にＢピクチャの処理を実行する。予測判定回路５
４は、マクロブロック単位でのイントラ符号化モードの
評価値及びフレーム間差分の絶対値和の大きさに対応し
て、フレーム／フィールド予測モードを設定し、また、
予測モードをイントラ符号化モード、前方予測モード、
後方予測モード、または両方向予測モードのいずれかに
設定する。

【００５６】上述したように、イントラ符号化モードま
たは前方予測モードの時、スイッチ５３ｄは接点ａまた
はｂに切り換えられる。このとき、Ｐピクチャにおける
場合と同様の処理が行われ、データが伝送される。

【００５７】これに対して、後方予測モードまたは両方
向予測モードが設定された時、スイッチ５３ｄは、接点
ｃまたはｄにそれぞれ切り換えられる。

【００５８】スイッチ５３ｄが接点ｃに切り換えられて
いる後方予測モードの時、後方予測画像部６３ｂに記憶
されている画像（いまの場合、Ｐピクチャの画像）デー
タが読み出され、動き補償回路６４により、動きベクト
ル検出回路５０が出力する動きベクトルに対応して動き
補償される。すなわち、動き補償回路６４は、予測判定
回路５４より後方予測モードの設定が指令されたとき、
後方予測画像部６３ｂの読み出しアドレスを、動きベク
トル検出回路５０がいま出力しているマクロブロックの
位置に対応する位置から動きベクトルに対応する分だけ
ずらしてデータを読み出し、予測画像データを生成す
る。

【００５９】動き補償回路６４より出力された予測画像
データは、演算器５３ｂに供給される。演算器５３ｂ
は、予測モード切り換え回路５２より供給された参照画
像のマクロブロックのデータから、動き補償回路６４よ
り供給された予測画像データを減算し、その差分を出力
する。この差分データは、ＤＣＴモード切り換え回路５
５、ＤＣＴ回路５６、量子化回路５７、可変長符号化回
路５８、送信バッファ５９を介して伝送路に伝送され
る。

【００６０】スイッチ５３ｄが接点ｄに切り換えられて
いる両方向予測モードの時、前方予測画像部６３ａに記
憶されている画像（いまの場合、Ｉピクチャの画像）デ
ータと、後方予測画像部６３ｂに記憶されている画像
（いまの場合、Ｐピクチャの画像）データが読み出さ
れ、動き補償回路６４により、動きベクトル検出回路５
０が出力する動きベクトルに対応して動き補償される。
すなわち、動き補償回路６４は、予測判定回路５４より
両方向予測モードの設定が指令されたとき、前方予測画
像部６３ａと後方予測画像部６３ｂの読み出しアドレス
を、動きベクトル検出回路５０がいま出力しているマク
ロブロックの位置に対応する位置から動きベクトル（こ
の場合の動きベクトルは、フレーム予測モードの場合、
前方予測画像用と後方予測画像用の２つ、フィールド予
測モードの場合は、前方予測画像用に２つ、後方予測画
像用の２つの計４つとなる）に対応する分だけずらして
データを読み出し、予測画像データを生成する。

【００６１】動き補償回路６４より出力された予測画像
データは、演算器５３ｃに供給される。演算器５３ｃ
は、動きベクトル検出回路５０より供給された参照画像
のマクロブロックのデータから、動き補償回路６４より
供給された予測画像データの平均値を減算し、その差分
を出力する。この差分データは、ＤＣＴモード切り換え
回路５５、ＤＣＴ回路５６、量子化回路５７、可変長符
号化回路５８、送信バッファ５９を介して伝送路に伝送
される。

【００６２】Ｂピクチャの画像は、他の画像の予測画像
とされることがないため、フレームメモリ６３には記憶
されない。

【００６３】尚、フレームメモリ６３において、前方予
測画像部６３ａと後方予測画像部６３ｂは、必要に応じ
てバンク切り換えが行われ、所定の参照画像に対して、
一方または他方に記憶されているものを、前方予測画像
あるいは後方予測画像として切り換えて出力することが
できる。

【００６４】以上においては、輝度ブロックを中心とし
て説明をしたが、色差ブロックについても同様に、図１
９及び図２０に示すマクロブロックを単位として処理さ
れ、伝送される。尚、色差ブロックを処理する場合の動
きベクトルは、対応する輝度ブロックの動きベクトルを
垂直方向と水平方向に、それぞれ１／２にしたものが用
いられる。

【００６５】次に、図２１は、図１６のデコーダ３１の
一例の構成を示すブロック図である。伝送路（記録媒体
３）を介して伝送された符号化された画像データは、図
示せぬ受信回路で受信されたり、再生装置で再生され、
入力端子８０を介して受信バッファ８１に一時記憶され
た後、復号回路９０の可変長復号化回路８２に供給され
る。可変長復号化回路８２は、受信バッファ８１より供
給されたデータを可変長復号化し、動きベクトル、予測
モード、予測フラグ及びＤＣＴフラグを動き補償回路８
７に、また、量子化ステップを逆量子化回路８３に、そ
れぞれ出力するとともに、復号された画像データを逆量
子化回路８３に出力する。

【００６６】逆量子化回路８３は、可変長復号化回路８
２より供給された画像データを、同じく可変長復号化回
路８２より供給された量子化ステップに従って逆量子化
し、ＩＤＣＴ回路８４に出力する。逆量子化回路８３よ
り出力されたデータ（ＤＣＴ係数）は、ＩＤＣＴ回路８
４で、逆ＤＣＴ処理され、演算器８５に供給される。

【００６７】ＩＤＣＴ回路８４より供給された画像デー
タが、Ｉピクチャのデータである場合、そのデータは演
算器８５より出力され、演算器８５に後に入力される画
像データ（ＰまたはＢピクチャのデータ）の予測画像デ
ータ生成のために、フレームメモリ８６の前方予測画像
部８６ａに供給されて記憶される。また、このデータ
は、フォーマット変換回路３２（図１６）に出力され
る。

【００６８】ＩＤＣＴ回路８４より供給された画像デー
タが、その１フレーム前の画像データを予測画像データ
とするＰピクチャのデータであって、前方予測モードで
符号化されたマクロブロックのデータである場合、フレ
ームメモリ８６の前方予測画像部８６ａに記憶されてい
る、１フレーム前の画像データ（Ｉピクチャのデータ）
が読み出され、動き補償回路８７で可変長復号化回路８
２より出力された動きベクトルに対応する動き補償が施
される。そして、演算器８５において、ＩＤＣＴ回路８
４より供給された画像データ（差分のデータ）と加算さ
れ、出力される。この加算されたデータ、即ち、復号さ
れたＰピクチャのデータは、演算器８５に後に入力され
る画像データ（ＢピクチャまたはＰピクチャのデータ）
の予測画像データ生成のために、フレームメモリ８６の
後方予測画像部８６ｂに供給されて記憶される。

【００６９】Ｐピクチャのデータであっても、イントラ
符号化モードで符号化されたマクロブロックのデータ
は、Ｉピクチャのデータと同様に、演算器８５で特に処
理は行わず、そのまま後方予測画像部８６ｂに記憶され
る。

【００７０】このＰピクチャは、次のＢピクチャの次に
表示されるべき画像であるため、この時点では、まだフ
ォーマット変換回路３２へ出力されない（上述したよう
に、Ｂピクチャの後に入力されたＰピクチャが、Ｂピク
チャより先に処理され、伝送されている）。

【００７１】ＩＤＣＴ回路８４より供給された画像デー
タが、Ｂピクチャのデータである場合、可変長復号化回
路８２より供給された予測モードに対応して、フレーム
メモリ８６の前方予測画像部８６ａに記憶されているＩ
ピクチャの画像データ（前方予測モードの場合）、後方
予測画像部８６ｂに記憶されているＰピクチャの画像デ
ータ（後方予測モードの場合）、または、その両方の画
像データ（両方向予測モードの場合）が読み出され、動
き補償回路８７において、可変長復号化回路８２より出
力された動きベクトルに対応する動き補償が施されて、
予測画像が生成される。但し、動き補償を必要としない
場合（イントラ符号化モードの場合）、予測画像は生成
されない。

【００７２】このようにして、動き補償回路８７で動き
補償が施されたデータは、演算器８５において、ＩＤＣ
Ｔ回路８４の出力と加算される。この加算出力は、出力
端子９１を介してフォーマット変換回路３２に出力され
る。

【００７３】但し、この加算出力はＢピクチャのデータ
であり、他の画像の予測画像生成のために利用されるこ
とがないため、フレームメモリ８６には記憶されない。

【００７４】Ｂピクチャの画像が出力された後、後方予
測画像部８６ｂに記憶されているＰピクチャの画像デー
タが読み出され、動き補償回路８７及び演算器８５を介
して再生画像として出力される。但し、このとき、動き
補償及び加算は行われない。

【００７５】尚、このデコーダ３１には、図１８のエン
コーダ１８における予測モード切り換え回路５２とＤＣ
Ｔモード切り換え回路５５に対応する回路が図示されて
いないが、これらの回路に対応する処理、即ち、奇数フ
ィールドと偶数フィールドのラインの信号が分離された
構成を、元の混在する構成に必要に応じて戻す処理は、
動き補償回路８７が実行する。

【００７６】また、以上においては、輝度信号の処理に
ついて説明したが、色差信号の処理も同様に行われる。
但し、この場合、動きベクトルは、輝度信号用のもの
を、垂直方向及び水平方向に１／２にしたものが用いら
れる。

【００７７】

【発明が解決しようとする課題】以上のように、従来の
画像信号符号化および復号化方法によれば、２枚の予測
画像を用いた両方向予測（すなわちＢピクチャを用いた
符号化／復号化）が可能であるが、この場合メモリ量が
大きくなる。また、１枚の予測画像を用いた前方予測
（即ちＰピクチャを用いた符号化／復号化）又は後方予
測（すなわち予測モードをイントラ符号化モード及び後
方予測モードのみに限定したＢピクチャを用いた符号化
／復号化）のみに限定すれば、メモリ量は削減可能であ
るが、画質が低下する。

【００７８】さらに上記両方向予測を用いて生成したビ
ットストリームと、前方予測（後方予測）のみに限定し
て生成したビットストリームには、相互互換性がないと
いう課題がある。

【００７９】現実的には、同一の信号から、画像１枚分
の容量をもつ参照画像メモリを持つデコーダでも画像２
枚分の参照画像メモリを持つデコーダでもデコードが可
能であって、画像２枚分の参照画像メモリをもつデコー
ダを用いた場合は、両方向予測によって画質が向上する
ような、ビットストリームの互換性があることが望まし
い。

【００８０】本発明はこのような状況に鑑みてなされた
ものであり、同一のビットストリームから、画像１枚分
の参照画像メモリを持つ前方予測（後方予測）のみが可
能なデコーダでデコードが可能であり、さらに画像２枚
分の参照画像メモリを持つ両方向予測が可能なデコーダ
でデコードした場合には、画質が向上する様にでき、予
測用参照画像メモリの量の異なるデコーダでそれぞれデ
コードが可能となるような互換性をもたせたビットスト
リームの画像信号伝送並びに復号化方法及びその装置に
関するものである。

【００８１】

【課題を解決するための手段】ここで、本発明において
は、３種類のビットストリームが生成される。すなわ
ち、第一の符号化として、Ｎ枚の画像毎に、Ｉピクチャ
及びＰピクチャとして符号化を行い第一のビットストリ
ームを生成する。第二の符号化としては、上記第一の符
号化において符号化されなかった（Ｎ−１）枚の画像
を、第一の符号化で符号化された画像の局所復号画像を
予測画像に用いて、Ｐピクチャ又は予測モードに制限を
設けたＢピクチャ（イントラ符号化モード及び後方予測
モードのみ選択が可能）として符号化を行い第二のビッ
トストリームを生成する。第三の符号化としては、上記
第一の符号化において符号化されなかった（Ｎ−１）枚
の画像を、第一の符号化で符号化された画像の局所復号
画像を予測画像に用いて、Ｂピクチャとして符号化を行
い、第三のビットストリームを生成する。

【００８２】ここで、１枚の参照画像メモリを持つ前方
予測（後方予測）のみが可能なデコーダでデコードする
場合には、第一のビットストリームと第二のビットスト
リームを組み合わせることによって、復号を行う。１枚
の参照画像メモリを用いることによって、第一のビット
ストリームからＩピクチャ及びＰピクチャとして符号化
された画像信号を復号する。また、その復号画像を上記
１枚の参照画像メモリに記憶し、この復号画像を予測画
像に用いて、第二のビットストリームからＰピクチャ又
は予測モードに制限を設けたＢピクチャ（イントラ符号
化モード及び後方予測モードのみ選択が可能）として符
号化された画像信号を復号する。

【００８３】これに対して、２枚の参照画像メモリを持
つ両方向予測が可能なデコーダでデコードする場合に
は、第一のビットストリームと第三のビットストリーム
を組み合わせることによって復号を行う。２枚の参照画
像メモリの内の１枚を用いることによって第一のビット
ストリームからＩピクチャ及びＰピクチャとして符号化
された画像信号を復号する。またその復号画像を２枚の
参照画像メモリに記憶し、この２枚の復号画像を予測画
像に用いて第二のビットストリームからＢピクチャとし
て符号化された画像信号を復号する。

【００８４】本発明は、この符号化並びに復号化によっ
て、予測用参照画像メモリの量の異なるデコーダでデコ
ードが可能となるような、互換性を持つことを特徴とし
ている。

【００８５】

【作用】本発明によれば、同一のビットストリームか
ら、画像１枚分の参照画像メモリを持つ前方予測（後方
予測）のみが可能な復号化装置で復号化が可能となり、
さらに画像２枚分の参照画像メモリを持つ両方向予測が
可能な復号化装置で復号化した場合、画質が向上する様
にでき、予測用参照画像メモリの量の異なる復号化装置
で、それぞれ復号化することが可能となる。

【００８６】

【実施例】以下、本発明の実施例について図面を参照し
ながら説明する。

【００８７】ここで、本実施例の具体的な説明に先立
ち、本実施例の予測画像について簡単に説明する。

【００８８】本実施例では、前記前方予測，後方予測，
両方向予測等の予測の手法によって、必要となる参照画
像メモリの枚数が限定される。先ず、前方予測のみで画
像間距離が１の場合を図１に示す。この場合、前方予測
に１枚前の画像の復号画像を用いるため、１枚の参照画
像メモリが必要となる。すなわち、この場合、画像はＩ
ピクチャとＰピクチャのみとなり、全て前方予測（但
し、イントラ符号化モードによるマクロブロックを含ん
でもよい）によって画像を構成する。

【００８９】これに対して、両方向予測を行うことがで
きるシステム（デコーダ）の場合を、図２に示す。この
場合、前述した従来例で示したとおり前方予測用画像メ
モリおよび後方予測用画像メモリによる２枚の参照画像
メモリが必要となる。すなわち、この場合、画像はＩピ
クチャ，Ｐピクチャ，Ｂピクチャとなる。

【００９０】本発明実施例では、上記参照画像を１枚と
するデコーダでも、また、参照画像を２枚とするデコー
ダでもデコードが可能な、互換性を持った符号化方式に
関して説明する。

【００９１】先ず、第１の実施例として、以下に示す２
種類のデコーダでの互換性を持つ符号化方式／復号化方
式に関して説明する。すなわち、第１に、１枚の参照画
像メモリを持つ場合で前方予測のみが可能なデコーダ
と、第２に、２枚の参照画像メモリを持つ場合で両方向
予測が可能なデコーダに対して互換性を有する符号化方
式／復号化方式について説明する。

【００９２】上記符号化方式から説明する。図３を用い
て本発明実施例の予測方式について説明する。この図３
において、各画像に示してあるＩ，Ｐ，ＢはそれぞれＩ
ピクチャ、Ｐピクチャ、Ｂピクチャを表し、Ｐ’はＰピ
クチャを表している。また図中矢印は、予測で参照する
画像間の予測の方向を示してある。

【００９３】この符号化においては、３種類のビットス
トリームが生成される。これらを図３の上から順に、第
１のビットストリームであるビットストリームＡ（伝送
チャネル（０）で伝送）、第２のビットストリームであ
るビットストリームＢ（伝送チャネル（１）で伝送）、
第３のビットストリームであるビットストリームＣ (伝
送チャネル（２）で伝送）とする。

【００９４】上記ビットストリームＡにおいては、それ
ぞれの画像間の距離を２枚間隔（Ｎ＝２）として前方予
測を行ったデータ（Ｐピクチャのデータ）及びＩピクチ
ャのデータが符号化される。

【００９５】上記ビットストリームＢにおいては、上記
ビットストリームＡで符号化されなかった１枚の画像を
（Ｎ−１枚の画像すなわち上記ビットストリームＡに示
すＩ，Ｐピクチャ間のＰ′ピクチャを）、ビットストリ
ームＡの局所復号画像（Ｉ，Ｐピクチャ）を予測画像に
用いて前方予測を行ったデータ（Ｐ′ピクチャのデー
タ）が符号化される。

【００９６】上記ビットストリームＣにおいては、上記
ビットストリームＡで符号化されなかった１枚（Ｎ−
１）の画像を（上記ビットストリームＢで符号化する画
像を）、上記ビットストリームＡの前後２枚の局所復号
画像（Ｉ又はＰピクチャ）を用いて両方向予測を行った
データ（Ｂピクチャのデータ）が符号化される。

【００９７】ここで、上記ビットストリームＡは予測の
基本となるビットストリームであり、上記ビットストリ
ームＢおよびビットストリームＣは、それぞれ差し替え
可能な、ビットストリームＡとの組み合わせによりデコ
ードが可能となるビットストリームである。

【００９８】上述した本実施例の符号化によって生成さ
れたビットストリームは、その組み合わせによって、エ
ンコーダのローカルデコーダ及びデコーダに必要なメモ
リ枚数が変化する。

【００９９】すなわち、第１に、ビットストリームＡ＋
ビットストリームＢの組合せの場合には、エンコーダの
ローカルデコーダは少なくとも１枚の参照画像メモリを
持つ必要があり、このローカルデコーダでは、イントラ
符号化及び前方予測符号化されたデータのみの局所復号
（ローカルデコード）が可能となる。

【０１００】この場合のエンコーダブロックダイヤグラ
ムを図４に示す。なお、この図４に示すエンコーダにお
いて、前述した図１８に示した各構成要素と同一のもの
については同一の指示符号を付してその説明については
省略している。この図４は、フレームメモリ１６３の参
照画像用のメモリが１枚（前方予測画像部６３ａのみ）
で、予測として演算部１５３のスイッチ５３ｅの接点
ａ，ｂにおけるイントラ符号化と前方予測のみが可能な
エンコーダである。

【０１０１】このエンコーダでは、符号化は、図３に示
すＰ’，Ｉ１，Ｐ’２，Ｐ３，Ｐ’４，Ｐ５・・・の順
に行われる。但し、伝送チャネル（１）で伝送される画
像のデータ（すなわちビットストリームＢのデータ）は
局所復号（ローカルデコード）されない。まず、ビット
ストリームＢのＰ’の画像が、ビットストリームＡのＰ
の局所復号画像を予測画像に用いてＰピクチャとして符
号化される。但し、このＰ’の画像は局所復号されな
い。次にＩ１の画像が図１８と同様に符号化され、量子
化回路５７から出力されたＩ１の量子化係数は可変長符
号化回路５８及び逆量子化回路６０に供給される。逆量
子化回路６０，ＩＤＣＴ回路６１は上記Ｉ１の量子化係
数を局所復号（ローカルデコード）し、フレームメモリ
１６３に供給する。次にＰ’２の画像が、フレームメモ
リ１６３に記憶されたＩ１の局所復号画像を予測画像と
して図１８と同様に符号化される。量子化回路５７から
出力されたＰ’２の量子化係数は可変長符号化回路５８
にのみ供給され、逆量子化回路６０には供給されない。
よって、フレームメモリ１６３にはＩ１の局所復号画像
がそのまま保持される。次にＰ３の画像が、フレームメ
モリ１６３に記憶されたＩ１の局所復号画像を予測画像
として図１８と同様に符号化される。量子化回路５７か
ら出力されたＰ３の量子化係数は可変長符号化回路５８
及び逆量子化回路６０に供給される。逆量子化回路６
０，ＩＤＣＴ回路６１，演算器１６２は上記Ｐ３の量子
化係数を局所復号（ローカルデコード）し、フレームメ
モリ１６３に供給する。同様にして以下Ｐ’４，Ｐ５・
・・の順に符号化が行われる。

【０１０２】このようにして、この図４の構成によれ
ば、Ｉピクチャ及びＰピクチャのみのビットストリーム
Ａ＋ＰピクチャのみのビットストリームＢからなるビッ
トストリームが得られる。

【０１０３】送信バッファ５９から出力されたビットス
トリームは、分離回路７０において、伝送チャネル
（０）を用いて伝送するビットストリームＡと伝送チャ
ネル（１）を用いて伝送するビットストリームＢに分離
される。

【０１０４】次に、第２に、ビットストリームＡ＋ビッ
トストリームＣの組合せの場合には、エンコーダのロー
カルデコーダは少なくとも２枚の参照画像メモリを持つ
必要があり、このローカルデコーダでは両方向予測符号
化されたデータも復号可能となる。

【０１０５】この場合のエンコーダブロックダイヤグラ
ムは、従来の方式で説明した図１８における、２枚の参
照画像（前方予測画像部６３ａ及び後方予測画像部６３
ｂ）を用いたエンコーダと同様である。

【０１０６】但し、本実施例においては、図１８のエン
コーダに加え、図４のエンコーダと同様に送信バッファ
５９の先に分離回路が設けらる。この分離回路におい
て、エンコードされたビットストリームＡ＋ビットスト
リームＣが、伝送チャネル（０）を用いて伝送するビッ
トストリームＡと伝送チャネル（２）を用いて伝送する
ビットストリームＣに分離される。尚、ビットストリー
ムＡ，Ｂ，Ｃを３並列で伝送する場合には、この分離回
路は、ビットストリームＣのみを伝送チャネル（２）に
供給する。符号化の順序は、Ｉ１，Ｂ，Ｐ３，Ｂ２，Ｐ
５，Ｂ４，Ｐ７・・・である。

【０１０７】次に、復号化方式について説明する。先
ず、第１に、ビットストリームＡ＋ビットストリームＢ
の組合せのデコードの場合は、デコーダは少なくとも１
枚の参照画像メモリを持つ必要があり、このデコーダで
は、イントラ符号化及び前方予測符号化されたデータの
みが復号可能となる。

【０１０８】この場合のデコーダブロックダイヤグラム
を図５に示す。なお、この図５に示すデコーダ（復号回
路）１９０において、前述した図２１に示した各構成要
素と同一のものについては同一の指示符号を付してその
説明については省略している。この復号化回路１９０で
は、フレームメモリ１８６の参照画像用のメモリが１枚
（前方予測画像部８６ａのみ）で、イントラ符号化、前
方予測符号化されたデータのみのデコードを行うことが
可能である。この図５の構成によれば、Ｉピクチャ及び
ＰピクチャのみのビットストリームＡ＋Ｐピクチャのみ
のビットストリームＢの組合せを復号化することが可能
である。

【０１０９】多重化回路７９は、別々のチャネルで伝送
されたビットストリームＡとビットストリームＢを符号
化の順序と同様になるように多重化して、ビットストリ
ームＡ＋ビットストリームＢを生成する。多重化された
ビットストリームは、受信バッファ８１に供給され、以
下図２１の場合と同様に復号化が行われる。但し、ビッ
トストリームＢの復号化画像は、フレームメモリ１８６
へは供給されない。

【０１１０】次に、第２に、ビットストリームＡ＋ビッ
トストリームＣの組合せのデコードの場合は、デコーダ
が２枚の参照画像メモリを持つ必要があり、このデコー
ダでは両方向予測も可能となる。

【０１１１】この場合のデコーダブロックダイヤグラム
は、従来の方式で説明した図２１における、２枚の参照
画像を用いたデコーダ（復号回路９０）によって、デコ
ードが可能である。但し、本実施例においては、図２１
のデコーダに加え、図５のデコーダと同様に受信バッフ
ァ８１の前に多重化回路が設けらる。この多重化回路に
おいて、別々のチャネルで伝送されたビットストリーム
ＡとビットストリームＣを符号化の順序と同様になるよ
うに多重化して、ビットストリームＡ＋ビットストリー
ムＣを生成する。

【０１１２】さらに、上記ビットストリームの構成につ
いて説明する。先ず、第１に、本実施例では、各ビット
ストリームを例えばいわゆるサイマルキャスト(simulca
st) 方式で伝送する。ビットストリームを当該サイマル
キャスト方式によって伝送する場合を図６に示す。

【０１１３】この図６において、ビットストリームＡ
（伝送チャネル（０））には、１枚おきの画像データが
Ｉ，Ｐ，Ｐ，・・・の順に格納されている。各画像デー
タは画像の階層構造にしたがって、ピクチャヘッダ（Ｐ
Ｈ）、スライスヘッダ（ＳＨ）、マクロブロックヘッダ
（ＭＢ Ｈ）を持ち、さらにマクロブロックヘッダ（Ｍ
Ｂ Ｈ）はマクロブロック単位で動きベクトル（Ｍ
Ｖ）、予測モード情報、ＤＣＴ係数データ（ＣＯＥＦ）
から構成されている。予測モード情報は、前方予測（Ｆ
Ｗ）、イントラ（ＩＮＴＲＡ）、両方向予測（ＢＩ−Ｄ
ＩＲ）からなる。

【０１１４】これに対して、ビットストリームＢ（伝送
チャネル（１））には、ビットストリームＡにおいて伝
送されない画像に対して、上記ビットストリームＡの局
所復号画像を予測画像に用いて予測符号化を行ったＰピ
クチャのデータが、上述と同様に、Ｐ′，Ｐ′，Ｐ′，
・・・の順に格納されている。

【０１１５】さらにビットストリームＣ（伝送チャネル
（２））には、ビットストリームＡにおいて伝送されな
い画像に対して、上記ビットストリームＡの前方／後方
２枚の局所復号画像を予測画像に用いて予測符号化を行
ったＢピクチャのデータが、上述と同様に、Ｂ, Ｂ,
Ｂ，・・・の順に格納されている。

【０１１６】このようなことから、別々の伝送チャネル
で伝送されるビットストリームＡおよびビットストリー
ムＢをデコードすることによって、Ｉ、Ｐ′、Ｐ、
Ｐ′、Ｐ、・・・が再生されるようになる。またこの
時、予測には前方予測のみ用いられるので、画像メモリ
１枚でのデコードが可能である。

【０１１７】また、上記ビットストリームＢをビットス
トリームＣに置き換えた場合には、別々の伝送チャネル
で伝送されるビットストリームＡおよびビットストリー
ムＣをデコードすることによって、Ｉ、Ｂ、Ｐ、Ｂ、
Ｐ、・・・が再生されるようになる。またこの時、予測
には両方向予測を用いるため、デコードの際には画像メ
モリ２枚が必要となる。

【０１１８】次に、第２に、上記サイマルキャスト方式
に更にビットストリームＢ、Ｃのヘッダを共通化する手
法（以下、プライオリティ・ブレーク・ポイント、ＰＢ
Ｐ：Priority Break Point手法と呼ぶ）を導入した場合
について説明する。

【０１１９】上記プライオリティ・ブレーク・ポイント
（以下ＰＢＰと記す）を伝送に導入した場合を図７に示
す。

【０１２０】この図７において、各画像データは画像の
階層構造にしたがって、前述同様にピクチャヘッダ（Ｐ
Ｈ）、スライスヘッダ（ＳＨ）、マクロブロックヘッダ
（ＭＢ Ｈ）を持ち、マクロブロック単位で動きベクト
ル（ＭＶ）、予測モード情報（ＦＷ，ＩＮＴＲＡ，ＢＩ
−ＤＩＲ）、係数データ（ＣＯＥＦ）から構成されてい
る。

【０１２１】図７のビットストリームＡでは、１枚おき
に予測を行い、画像データがＩ，Ｐ，Ｐ，・・・の順に
生成されている。ここで、ビットストリームＡにおいて
伝送されない画像（上記１枚おきの画像の間の画像）に
関しては、ヘッダ情報のみ（ピクチャヘッダと複数のス
ライスヘッダ）をビットストリームＡに含ませる。この
ヘッダ情報は、ビットストリームＢおよびビットストリ
ームＣで共通に利用できる共通ヘッダ（Common Header)
とする。各スライスヘッダは、上記ＰＢＰに関する情報
を持つ。上記ＰＢＰは、情報をどのレベルまで送るかど
うかを示す情報であり、これを制御することで、伝送の
際にヘッダ情報のみを伝送したり、マクロブロックの動
きベクトルまでを伝送したりすることなどが可能にな
る。ここでは、スライスヘッダまでを伝送するように制
御する。尚、この実施例におけるエンコーダのブロック
は、基本的に上述したサイマルキャストの場合と同様で
あるが、可変長符号化回路５８は、各スライスヘッダに
上記ＰＢＰに関する情報を付加する。

【０１２２】これに対して、ビットストリームＢには、
上記ビットストリームＡにおいて伝送されない画像に対
して、上記ビットストリームＡの局所復号画像を予測画
像に用いて予測を行ったＰピクチャのデータのうちで、
上記ヘッダ（コモンヘッダ）を除いたマクロブロックレ
イヤ以下のデータが、Ｐ′，Ｐ′，Ｐ′，・・・の順に
格納されている。

【０１２３】さらにビットストリームＣには、上記ビッ
トストリームＡにおいて伝送されない画像に対して、上
記ビットストリームＡの前方／後方２枚の局所復号画像
を予測画像を用いて予測を行ったＢピクチャのデータの
うちで、コモンヘッダを除いたマクロブロックレイヤ
（層）以下のデータが、Ｂ, Ｂ, Ｂ, ・・・の順に格納
されている。

【０１２４】このようなことから、別々の伝送チャネル
で伝送されるビットストリームＡおよびビットストリー
ムＢをデコードすることによって、Ｉ、Ｐ′、Ｐ、
Ｐ′、Ｐ、・・・が再生されるようになる。なお、この
時、Ｐ′ピクチャのヘッダ情報はビットストリームＡか
ら、マクロブロックレイヤ以下のデータはビットストリ
ームＢから復号される。予測には前方予測のみなので、
画像メモリ１枚でのデコードが可能である。

【０１２５】また、上記ビットストリームＢをビットス
トリームＣに置き換えた場合には、別々の伝送チャネル
で伝送されるビットストリームＡおよびビットストリー
ムＣをデコードすることによって、Ｉ、Ｂ、Ｐ、Ｂ、
Ｐ、・・・が再生されるようになる。この時、Ｂピクチ
ャのヘッダ情報はビットストリームＡから、マクロブロ
ックレイヤ以下のデータはビットストリームＣから復号
される。またこの時、予測には両方向予測を用いるた
め、デコードの際には画像メモリ２枚が必要となる。

【０１２６】次に、本発明の第２の実施例として、以下
に示す２種類のデコーダでの互換性を持つ符号化方式／
復号化方式に関して説明する。

【０１２７】すなわち、第１に、１枚の参照画像メモリ
を持つ場合で、前方予測及び後方予測のみが可能なデコ
ーダと、第２に、２枚の参照画像メモリを持つ場合で両
方向予測が可能なデコーダに対して互換性を有する符号
化方式／復号化方式について説明する。

【０１２８】上記符号化方式から説明する。図８を用い
て本発明の第２の実施例の予測方式について説明する。
この図８において、各画像に示してあるＩ，Ｐ，Ｂはそ
れぞれ前記図３同様にＩピクチャ、Ｐピクチャ、Ｂピク
チャを表し、Ｐ’は、予測モードがイントラ符号化モー
ド及び後方予測モードのみに制限されたＢピクチャを表
している。また図中矢印は、予測で参照する画像間の予
測の方向を示してある。

【０１２９】この第２の実施例の符号化においても、３
種類のビットストリームが生成される。これらを図８の
上から順に、第１のビットストリームであるビットスト
リームＡ（伝送チャネル（０）で伝送）、第２のビット
ストリームであるビットストリームＢ（伝送チャネル
（１）で伝送）、第３のビットストリームであるビット
ストリームＣ (伝送チャネル（２）で伝送）とする。

【０１３０】上記ビットストリームＡにおいては、それ
ぞれの画像間の距離を２枚間隔（Ｎ＝２）で、前方予測
を行ったＰピクチャ及びＩピクチャのデータが符号化さ
れる。

【０１３１】上記ビットストリームＢにおいては、上記
ビットストリームＡで符号化されなかった１枚（Ｎ−
１）の画像を、ビットストリームＡの局所復号画像を予
測画像として用いて後方予測を行ったＢピクチャ（但し
予測モードは、イントラ符号化と後方予測モードのみ）
のデータが符号化される。

【０１３２】上記ビットストリームＣにおいては、上記
ビットストリームＢで符号化する画像に対して、上記ビ
ットストリームＡの前後２枚の局所復号画像を予測画像
に用いて両方向予測を行ったＢピクチャのデータが符号
化される。

【０１３３】ここで、第２の実施例においても、上記ビ
ットストリームＡは予測の基本となるビットストリーム
であり、上記ビットストリームＢおよびビットストリー
ムＣは、それぞれ差し替え可能な、ビットストリームＡ
との組み合わせによりデコードが可能となるビットスト
リームである。

【０１３４】第２の実施例も、符号化によって生成され
たビットストリームは、その組み合わせによって、エン
コーダのローカルデコーダ及びデコーダに必要なメモリ
枚数が変化する。

【０１３５】すなわち、第１に、ビットストリームＡ＋
ビットストリームＢの組合せのエンコードの場合には、
エンコーダのローカルデコーダは少なくとも１枚の参照
画像メモリが必要であり、イントラ符号化、前方予測符
号化及び後方予測符号化されたデータのみの局所復号
（ローカルデコード）が可能となる。

【０１３６】この場合のエンコーダブロックダイヤグラ
ムを図９に示す。なお、この図９に示すエンコーダにお
いて、前述した図１８に示した各構成要素と同一のもの
については同一の指示符号を付してその説明については
省略している。この図９は、フレームメモリ２６３の参
照画像用のメモリが１枚（予測画像部６３ｃ）で、予測
として演算部２５３のスイッチ５３ｆの接点ａ，ｂ，ｃ
におけるイントラ符号化と前方予測と後方予測を行うこ
とが可能なエンコーダである。この図９の構成によれ
ば、Ｉピクチャ及びＰピクチャのみのビットストリーム
Ａ＋予測には後方予測のみを用いたＢピクチャ（イント
ラ符号化モードによるマクロブロックを含んでも良い）
のビットストリームＢの組合せを符号化することが可能
である。

【０１３７】このエンコーダでは、符号化は、図８に示
すＩ１，Ｐ’，Ｐ３，Ｐ’２，Ｐ５，Ｐ’４・・・の順
に行われる。但し、伝送チャネル（１）で伝送される画
像のデータ（すなわちビットストリームＢのデータ）は
局所復号（ローカルデコード）されない。先ず、Ｉ１の
画像が図１８と同様に符号化され、量子化回路５７から
出力されたＩ１の量子化係数は可変長符号化回路５８及
び逆量子化回路６０に供給される。逆量子化回路６０，
ＩＤＣＴ回路６１は上記Ｉ１の量子化係数を局所復号
（ローカルデコード）し、フレームメモリ２６３に供給
する。次にＰ’の画像が、フレームメモリ２６３に記憶
されたＩ１の局所復号画像を予測画像として図１８と同
様に符号化される。但し、このＰ’の画像はローカルデ
コードされない。次にＰ３の画像が、フレームメモリ２
６３に記憶されたＩ１の局所復号画像を予測画像として
図１８と同様に符号化される。量子化回路５７から出力
されたＰ３の量子化係数は可変長符号化回路５８及び逆
量子化回路６０に供給される。逆量子化回路６０，ＩＤ
ＣＴ回路６１，演算器１６２は上記Ｐ３の量子化係数を
局所復号（ローカルデコード）し、フレームメモリ２６
３に供給する。次にＰ’２の画像が、フレームメモリ２
６３に記憶されたＰ３の局所復号画像を予測画像として
図１８と同様に符号化される。量子化回路５７から出力
されたＰ’２の量子化係数は可変長符号化回路５８にの
み供給され、逆量子化回路６０には供給されない。よっ
て、フレームメモリ２６３にはＰ３の局所復号画像がそ
のまま保持される。同様にして以下Ｐ５，Ｐ’４・・・
の順に符号化が行われる。

【０１３８】このようにして、この図４の構成によれ
ば、Ｉピクチャ及びＰピクチャのみのビットストリーム
Ａ＋インラ符号化及び後方予測のみのＢピクチャのビッ
トストリームＢからなるビットストリームが得られる。
送信バッファ５９から出力されたビットストリームは、
分離回路７０において、伝送チャネル（０）を用いて伝
送するビットストリームＡと伝送チャネル（１）を用い
て伝送するビットストリームＢに分離される。

【０１３９】次に、第２に、ビットストリームＡ＋ビッ
トストリームＣの組合せの場合には、エンコーダのロー
カルデコーダは少なくとも２枚の参照画像メモリを持つ
必要があり、このローカルデコーダでは両方向予測符号
化されたデータも復号可能となる。

【０１４０】この場合のエンコーダブロックダイヤグラ
ムは、従来の方式で説明した図１８における、２枚の参
照画像（前方予測画像部６３ａ及び後方予測画像部６３
ｂ）を用いたエンコーダによって、エンコードが可能で
ある。

【０１４１】但し、本実施例においては、図１８のエン
コーダに加え、図９のエンコーダと同様に送信バッファ
５９の先に分離回路が設けらる。この分離回路におい
て、エンコードされたビットストリームＡ＋ビットスト
リームＣが、伝送チャネル（０）を用いて伝送するビッ
トストリームＡと伝送チャネル（２）を用いて伝送する
ビットストリームＣに分離される。尚、ビットストリー
ムＡ，Ｂ，Ｃを３並列で伝送する場合には、この分離回
路は、ビットストリームＣのみを伝送チャネル（２）に
供給する。符号化の順序は、Ｉ１，Ｂ，Ｐ３，Ｂ２，Ｐ
５，Ｂ４，Ｐ７・・・である。

【０１４２】次に、第２の実施例の復号化方式について
説明する。先ず、第１に、ビットストリームＡ＋ビット
ストリームＢの組合せのデコードの場合において、デコ
ーダは少なくとも１枚の参照画像メモリを持つ必要があ
り、このデコーダでは、イントラ符号化、前方予測及び
後方予測されたデータのみが復号可能となる。

【０１４３】この場合のデコーダブロックダイヤグラム
を図１０に示す。なお、この図１０に示すデコーダ（復
号回路）２９０において、前述した図２１に示した各構
成要素と同一のものについては同一の指示符号を付して
その説明については省略している。この復号化回路２９
０ではフレームメモリ２８６の参照画像用のメモリが１
枚（予測画像部８６ｃ）で、イントラ符号化、前方予
測、後方予測のデコードを行うことが可能である。この
図１０の構成によれば、Ｉピクチャ及びＰピクチャのみ
のビットストリームＡ＋予測には後方予測のみを用いた
Ｂピクチャ（イントラ符号化モードによるマクロブロッ
クを含んでも良い）のビットストリームＢの組合せを復
号化することが可能である。多重化回路７９は、別々の
チャネルで伝送されたビットストリームＡとビットスト
リームＢを符号化の順序と同様になるように多重化し
て、ビットストリームＡ＋ビットストリームＢを生成す
る。多重化されたビットストリームは、受信バッファ８
１に供給され、以下図２１の場合と同様に復号化が行わ
れる。但し、ビットストリームＢの復号化画像は、フレ
ームメモリ２８６へは供給されない。

【０１４４】次に、第２に、ビットストリームＡ＋ビッ
トストリームＣの組合せのデコードの場合には、デコー
ダは２枚の参照画像メモリを持つ必要があり、このデコ
ーダでは両方向予測も可能となる。

【０１４５】この場合のデコーダブロックダイヤグラム
は、従来の方式で説明した図２１における、２枚の参照
画像を用いたデコーダ（復号回路９０）によって、デコ
ードが可能である。但し、本実施例においては、図２１
のデコーダに加え、図１０のデコーダと同様に受信バッ
ファ８１の前に多重化回路が設けられる。この多重化回
路において、別々のチャネルで伝送されたビットストリ
ームＡとビットストリームＣを符号化の順序と同様にな
るように多重化して、ビットストリームＡ＋ビットスト
リームＣを生成する。

【０１４６】さらに、第２の実施例におけるビットスト
リームの構成について説明する。先ず、第１に、各ビッ
トストリームを前述同様のサイマルキャスト方式で伝送
する。当該サイマルキャスト方式によって伝送する場合
を図１１に示す。

【０１４７】この図１１において、ビットストリームＡ
（伝送チャネル（０））には、１枚おきの画像データが
Ｉ，Ｐ，Ｐ，・・・の順に格納されている。各画像デー
タは画像の階層構造にしたがって、ピクチャヘッダ（Ｐ
Ｈ）、スライスヘッダ（ＳＨ）、マクロブロックヘッダ
（ＭＢ Ｈ）を持ち、マクロブロックヘッダはマクロブ
ロック単位で動きベクトル（ＭＶ）、予測モード情報
（ＦＷ，ＩＮＴＲＡ，ＢＩ−ＤＩＦ，及び後方予測（Ｂ
Ｗ））、係数データ（ＣＯＥＦ）から構成されている。

【０１４８】これに対して、ビットストリームＢ（伝送
チャネル（１））には、ビットストリームＡにおいて伝
送されない画像に対して、上記ビットストリームＡの画
像を予測画像に用いて後方予測を行ったＰ′ピクチャの
データが前述と同様に、Ｐ′，Ｐ′，Ｐ′，・・・の順
に格納されている。

【０１４９】さらにビットストリームＣ（伝送チャネル
（２））には、ビットストリームＡにおいて伝送されな
い画像に対して、上記ビットストリームＡの前方／後方
２枚の画像を予測画像に用いて予測を行ったＢピクチャ
のデータが、Ｂ, Ｂ, Ｂ，・・・の順に格納されてい
る。

【０１５０】このようなことから、別々の伝送チャネル
で伝送されるビットストリームＡおよびビットストリー
ムＢをデコードすることによって、Ｉ、Ｐ′、Ｐ、
Ｐ′、Ｐ、‥‥が再生される。またこの時、予測には予
測画像は１枚のみなので、画像メモリ１枚でのデコード
が可能である。

【０１５１】さらに、上記ビットストリームＢをビット
ストリームＣに置き換えた場合には、別々の伝送チャネ
ルで伝送されるビットストリームＡおよびビットストリ
ームＣをデコードすることによって、Ｉ、Ｂ、Ｐ、Ｂ、
Ｐ、・・・が再生される。またこの時、予測には両方向
予測を用いるため、デコーダに画像メモリ２枚が必要と
なる。

【０１５２】次に、この第２の実施例において、第２
に、ビットストリームＢ、Ｃのヘッダを共通化した場合
として、前述同様にプライオリティ・ブレーク・ポイン
ト（ＰＢＰ）の手法を導入した場合について説明する。
尚、この実施例におけるエンコーダは、上述したサイマ
ルキャストの場合と同様であるが、可変長符号化回路５
８は、各スライスヘッダにＰＢＰに関する情報を付加す
る。

【０１５３】上記プライオリティ・ブレーク・ポイント
（ＰＢＰ）を伝送に導入した場合を図１２に示す。

【０１５４】この図１２においても、各画像データは画
像の階層構造にしたがって、ピクチャヘッダ（ＰＨ）、
スライスヘッダ（ＳＨ）、マクロブロックヘッダ（ＭＢ
Ｈ）を持ち、マクロブロック単位で動きベクトル（Ｍ
Ｖ）、予測モード情報（ＦＷ，ＩＮＴＲＡ，ＢＷ，ＢＩ
−ＤＩＲ）、係数データ（ＣＯＥＦ）から構成されてい
る。

【０１５５】図１２のビットストリームＡでは、１枚お
きに予測を行い、画像データがＩ，Ｐ，Ｐ，・・・の順
に生成されている。またここで読みとばされた画像に関
しては、ヘッダ情報のみ（ピクチャヘッダと複数のスラ
イスヘッダからなるコモンヘッダ）がビットストリーム
に含ませる。この第２の実施例でも、上記ＰＢＰの情報
を制御することで、ヘッダのみを伝送したり、マクロブ
ロックの動きベクトルまでを伝送したりすることなどが
可能になる。本実施例でも、スライスヘッダまでを伝送
するように制御する。

【０１５６】これに対して、ビットストリームＢには、
上記ビットストリームＡにおいて伝送されない画像に対
して、上記ビットストリームＡの画像を予測画像に用い
て後方予測を行ったＰ′ピクチャのデータのうちで、コ
モンヘッダを除いたマクロブロックレイヤ以下のデータ
が、Ｐ′，Ｐ′，Ｐ′，・・・の順に格納されている。

【０１５７】さらにビットストリームＣには、上記ビッ
トストリームＡにおいて伝送されない画像に対して、上
記ビットストリームＡにおける前方／後方２枚の画像を
予測画像に用いて予測を行ったＢピクチャのデータのう
ちで、上記コモンヘッダを除いたマクロブロックレイヤ
以下のデータが、Ｂ, Ｂ, Ｂ, ・・・の順に格納されて
いる。

【０１５８】このようなことから、この第２の実施例に
おいても、別々の伝送チャネルで伝送されるビットスト
リームＡおよびビットストリームＢをデコードすること
によって、Ｐピクチャを前方予測で、Ｐ′ピクチャを後
方予測で復号することによって、Ｉ、Ｐ′、Ｐ、Ｐ′、
Ｐ、・・・が再生される。この時、Ｐ′のヘッダ情報は
ビットストリームＡから、マクロブロックレイヤ以下の
データはビットストリームＢから復号される。この第２
の実施例においても、予測には前方予測或いは後方予測
の一方向の予測のみなので、画像メモリ１枚でのデコー
ドが可能である。

【０１５９】また、上記ビットストリームＢをビットス
トリームＣに置き換えた場合には、別々の伝送チャネル
で伝送されるビットストリームＡおよびビットストリー
ムＣをデコードすることによって、Ｉ、Ｂ、Ｐ、Ｂ、
Ｐ、・・・が再生される。この時、Ｂピクチャのヘッダ
情報はビットストリームＡから、マクロブロックレイヤ
以下のデータはビットストリームＣから復号される。ま
たこの時、予測には両方向予測を用いるため、デコーダ
には画像メモリ２枚が必要となる。

【０１６０】

【発明の効果】本発明の画像信号符号化方法及び装置、
並びに画像信号復号化方法及び装置においては、同一の
ビットストリームから、画像１枚分の参照画像メモリを
持つ前方予測（後方予測）のみが可能な復号化装置で復
号化が可能となり、さらに画像２枚分の参照画像メモリ
を持つ両方向予測が可能な復号化装置で復号化した場合
には、画質が向上するように復号化することが可能とな
る。

【図面の簡単な説明】

【図１】本発明実施例において画像がＩ，Ｐ，Ｐ，Ｐ，
・・・である場合の予測方法を説明するための図であ
る。

【図２】本発明実施例における画像がＩ，Ｐ，Ｂ，Ｐ，
・・・である場合の予測方法を説明するための図であ
る。

【図３】第１の実施例における画像がＩ，Ｐ，Ｐ，Ｐ，
・・・とある場合と画像がＩ，Ｐ，Ｂ，Ｐ，・・・であ
る場合の互換性を考慮した場合の予測方法（ビットスト
リームＢを前方予測）を説明するための図である。

【図４】第１の実施例における前方予測のみのエンコー
ダの概略構成を示すブロック回路図である。

【図５】第１の実施例における前方予測のみのデコーダ
の概略構成を示すブロック回路図である。

【図６】第１の実施例における画像がＩ，Ｐ，Ｐ，Ｐ，
・・・とある場合と画像がＩ，Ｐ，Ｂ，Ｐ，・・・であ
る場合の互換性を考慮した場合のビットストリーム伝送
（ビットストリームＢを前方予測、Simulcast 方式）を
説明するための図である。

【図７】第１の実施例における画像がＩ，Ｐ，Ｐ，Ｐ，
・・・とある場合と画像がＩ，Ｐ，Ｂ，Ｐ，・・・であ
る場合のビットストリーム伝送（ビットストリームＢを
前方予測、 Priority Break Point を利用）を説明する
ための図である。

【図８】第２の実施例における画像がＩ，Ｐ，Ｐ，Ｐ，
・・・とある場合と画像がＩ，Ｐ，Ｂ，Ｐ，・・・であ
る場合の互換性を考慮した場合の予測方法（ビットスト
リームＢを後方予測）を説明するための図である。

【図９】第２の実施例における後方予測によるエンコー
ダの概略構成を示すブロック回路図である。

【図１０】第２の実施例における後方予測によるデコー
ダの概略構成を示すブロック回路図である。

【図１１】第２の実施例における画像がＩ，Ｐ，Ｐ，
Ｐ，・・・とある場合と画像がＩ，Ｐ，Ｂ，Ｐ，・・・
である場合の互換性を考慮した場合のビットストリーム
伝送（ビットストリームＢを前方予測、Simulcast 方
式）を説明するための図である。

【図１２】第２の実施例における画像がＩ，Ｐ，Ｐ，
Ｐ，・・・とある場合と画像がＩ，Ｐ，Ｂ，Ｐ，・・・
である場合のビットストリーム伝送（ビットストリーム
Ｂを前方予測、 Priority Break Point を利用）を説明
するための図である。

【図１３】高能率符号化の原理を説明する図である。

【図１４】画像データを圧縮する場合におけるピクチャ
のタイプを説明する図である。

【図１５】動画像信号を符号化する原理を説明する図で
ある。

【図１６】従来の画像信号符号化装置と復号化装置の構
成例を示すブロック回路図である。

【図１７】図１６におけるフォーマット変換回路１７の
フォーマット変換の動作を説明する図である。

【図１８】図１６におけるエンコーダ１８の構成例を示
すブロック回路図である。

【図１９】図１８の予測モード切り換え回路５２の動作
を説明する図である。

【図２０】図１８のＤＣＴモード切り換え回路５５の動
作を説明する図である。

【図２１】図１６のデコーダ３１の構成例を示すブロッ
ク回路図である。

【符号の説明】

１ 符号化装置 ２ 復号化装置 ３ 記録媒体 １２，１３ Ａ／Ｄ変換器 １４ フレームメモリ １５ 輝度信号フレームメモリ １６ 色差信号フレームメモリ １７ フォーマット変換回路 １８ エンコーダ ３１ デコーダ ３２ フォーマット変換回路 ３３ フレームメモリ ３４ 輝度信号フレームメモリ ３５ 色差信号フレームメモリ ３６，３７ Ｄ／Ａ変換器 ５０ 動きベクトル検出回路 ５１ フレームメモリ ５２ 予測モード切り換え回路 ５３，１５３，２５３ 演算部 ５４ 予測判定回路 ５５ ＤＣＴモード切り換え回路 ５６ ＤＣＴ回路 ５７ 量子化回路 ５８ 可変長符号化回路 ５９ 送信バッファ ６０ 逆量子化回路 ６１ ＩＤＣＴ回路 ６２，１６２ 演算器 ６３，１６３，２６３ フレームメモリ ６４，１６４，２６４ 動き補償回路 ７０ 分離回路 ７９ 多重化回路 ８１ 受信バッファ ８２ 可変長復号化回路 ８３ 逆量子化回路 ８４ ＩＤＣＴ回路 ８５ 演算器 ８６，１８６，２８６ フレームメモリ ８７ 動き補償回路

Claims (20)

【特許請求の範囲】
1. 【請求項１】 画像信号伝送方法において、 Ｎ枚毎の画像信号に対し、それぞれＮ枚前の画像を予測
   画像として前方予測符号化を行って第１のビットストリ
   ームを生成し、 上記Ｎ枚毎の画像信号以外の画像信号に対し、それぞれ
   上記Ｎ枚毎の画像信号を予測画像として前方予測符号化
   又は後方予測符号化を行って第２のビットストリームを
   生成し、 上記第１のビットストリームと上記第２のビットストリ
   ームとを並列に伝送することを特徴とする画像信号伝送
   方法。
2. 【請求項２】 上記Ｎ枚毎の画像信号以外の画像信号に
   対し、それぞれ前後２枚の上記Ｎ枚毎の画像信号を予測
   画像として両方向予測符号化を行い第３のビットストリ
   ームを生成し、 上記第３のビットストリームを、上記第１のビットスト
   リーム及び上記第２のビットストリームと並列に伝送す
   ることを特徴とする請求項１に記載の画像信号伝送方
   法。
3. 【請求項３】 画像信号伝送方法において、 Ｎ枚毎の画像信号に対し、それぞれＮ枚前の画像を予測
   画像として前方予測符号化を行って第１のビットストリ
   ームを生成し、 上記Ｎ枚毎の画像信号以外の画像信号に対し、それぞれ
   前後２枚の上記Ｎ枚毎の画像信号を予測画像として両方
   向予測符号化を行い第２のビットストリームを生成し、 上記第１のビットストリームと上記第２のビットストリ
   ームとを並列に伝送することを特徴とする画像信号伝送
   方法。
4. 【請求項４】 画像信号復号化方法において、 それぞれ並列に伝送された、Ｎ枚毎の画像信号に対しそ
   れぞれＮ枚前の画像を予測画像として前方予測符号化を
   行って生成された第１のビットストリームと、上記Ｎ枚
   毎の画像信号以外の画像信号に対しそれぞれ上記Ｎ枚毎
   の画像信号を予測画像として前方予測符号化又は後方予
   測符号化を行って生成された第２のビットストリームと
   を組み合わせ、 組み合わされた上記ビットストリームを１枚の参照画像
   メモリを用いて予測復号化することを特徴とする画像信
   号復号化方法。
5. 【請求項５】 画像信号復号化方法において、 それぞれ並列に伝送された、Ｎ枚毎の画像信号に対しそ
   れぞれＮ枚前の画像を予測画像として前方予測符号化を
   行って生成された第１のビットストリームと、上記Ｎ枚
   毎の画像信号以外の画像信号に対しそれぞれ前後２枚の
   上記Ｎ枚毎の画像信号を予測画像として両方向予測符号
   化を行って生成された第２のビットストリームとを組み
   合わせ、 組み合わされた上記ビットストリームを２枚の参照画像
   メモリを用いて予測復号化することを特徴とする画像信
   号復号化方法。
6. 【請求項６】 画像信号伝送装置において、 Ｎ枚毎の画像信号に対し、それぞれＮ枚前の画像を予測
   画像として前方予測符号化を行って第１のビットストリ
   ームを生成する符号化手段と、 上記Ｎ枚毎の画像信号以外の画像信号に対し、それぞれ
   上記Ｎ枚毎の画像信号を予測画像として前方予測符号化
   又は後方予測符号化を行って第２のビットストリームを
   生成する符号化手段と、 上記第１のビットストリームと上記第２のビットストリ
   ームとを並列に伝送する伝送手段とを有することを特徴
   とする画像信号伝送装置。
7. 【請求項７】 上記Ｎ枚毎の画像信号以外の画像信号に
   対し、それぞれ前後２枚の上記Ｎ枚毎の画像信号を予測
   画像として両方向予測符号化を行い第３のビットストリ
   ームを生成する第３の符号化手段と、 上記第３のビットストリームを、上記第１のビットスト
   リーム及び上記第２のビットストリームと並列に伝送す
   る伝送手段とを有することを特徴とする請求項６に記載
   の画像信号伝送装置。
8. 【請求項８】 画像信号伝送装置において、 Ｎ枚毎の画像信号に対し、それぞれＮ枚前の画像を予測
   画像として前方予測符号化を行って第１のビットストリ
   ームを生成する符号化手段と、 上記Ｎ枚毎の画像信号以外の画像信号に対し、それぞれ
   前後２枚の上記Ｎ枚毎の画像信号を予測画像として両方
   向予測符号化を行い第２のビットストリームを生成する
   符号化手段と、 上記第１のビットストリームと上記第２のビットストリ
   ームとを並列に伝送する伝送手段とを有することを特徴
   とする画像信号伝送装置。
9. 【請求項９】 画像信号復号化装置において、 それぞれ並列に伝送された、Ｎ枚毎の画像信号に対しそ
   れぞれＮ枚前の画像を予測画像として前方予測符号化を
   行って生成された第１のビットストリームと、上記Ｎ枚
   毎の画像信号以外の画像信号に対しそれぞれ上記Ｎ枚毎
   の画像信号を予測画像として前方予測符号化又は後方予
   測符号化を行って生成された第２のビットストリームと
   を組み合わせる手段と、 組み合わされた上記ビットストリームを１枚の参照画像
   メモリを用いて予測復号化する復号化手段とを有するこ
   とを特徴とする画像信号復号化装置。
10. 【請求項１０】 画像信号復号化装置において、 それぞれ並列に伝送された、Ｎ枚毎の画像信号に対しそ
    れぞれＮ枚前の画像を予測画像として前方予測符号化を
    行って生成された第１のビットストリームと、上記Ｎ枚
    毎の画像信号以外の画像信号に対しそれぞれ前後２枚の
    上記Ｎ枚毎の画像信号を予測画像として両方向予測符号
    化を行って生成された第２のビットストリームとを組み
    合わせる手段と、 組み合わされた上記ビットストリームを２枚の参照画像
    メモリを用いて予測復号化する復号化手段とを有するこ
    とを特徴とする画像信号復号化装置。
11. 【請求項１１】 画像信号伝送方法において、 Ｎ枚毎の画像信号に対し、それぞれＮ枚前の画像を予測
    画像として前方予測符号化を行って第１の符号化信号を
    生成し、 上記Ｎ枚毎の画像信号以外の画像信号に対し、それぞれ
    上記Ｎ枚毎の画像信号を予測画像として前方予測符号化
    又は後方予測符号化を行って第２の符号化信号を生成
    し、 上記第１の符号化信号に上記第２の符号化信号の一部の
    ヘッダ情報を付加した第１のビットストリームと上記第
    ２の符号化信号から上記一部のヘッダ情報を除いた第２
    のビットストリームとを並列に伝送することを特徴とす
    る画像信号伝送方法。
12. 【請求項１２】 上記Ｎ枚毎の画像信号以外の画像信号
    に対し、それぞれ前後２枚の上記Ｎ枚毎の画像信号を予
    測画像として両方向予測符号化を行い第３の符号化信号
    を生成し、 上記第３の符号化信号から上記一部のヘッダ情報を除い
    た第３のビットストリームを、上記第１のビットストリ
    ーム及び上記第２のビットストリームと並列に伝送する
    ことを特徴とする請求項１１に記載の画像信号伝送方
    法。
13. 【請求項１３】 画像信号伝送方法において、 Ｎ枚毎の画像信号に対し、それぞれＮ枚前の画像を予測
    画像として前方予測符号化を行って第１の符号化信号を
    生成し、 上記Ｎ枚毎の画像信号以外の画像信号に対し、それぞれ
    前後２枚の上記Ｎ枚毎の画像信号を予測画像として両方
    向予測符号化を行い第２の符号化信号を生成し、 上記第１の符号化信号に上記第２の符号化信号の一部の
    ヘッダ情報を付加した第１のビットストリームと上記第
    ２の符号化信号から上記一部のヘッダ情報を除いた第２
    のビットストリームとを並列に伝送することを特徴とす
    る画像信号伝送方法。
14. 【請求項１４】 画像信号復号化方法において、 それぞれ並列に伝送された、Ｎ枚毎の画像信号に対しそ
    れぞれＮ枚前の画像を予測画像として前方予測符号化を
    行って生成された第１の符号化信号と一部のヘッダ情報
    からなる第１のビットストリームと、上記Ｎ枚毎の画像
    信号以外の画像信号に対しそれぞれ上記Ｎ枚毎の画像信
    号を予測画像として前方予測符号化又は後方予測符号化
    を行って生成された第２の符号化信号から上記一部のヘ
    ッダ情報を除いた第２のビットストリームとを組み合わ
    せ、 組み合わされた上記ビットストリームを１枚の参照画像
    メモリを用いて予測復号化することを特徴とする画像信
    号復号化方法。
15. 【請求項１５】 画像信号復号化方法において、 それぞれ並列に伝送された、Ｎ枚毎の画像信号に対しそ
    れぞれＮ枚前の画像を予測画像として前方予測符号化を
    行って生成された第１の符号化信号と一部のヘッダ情報
    からなる第１のビットストリームと、上記Ｎ枚毎の画像
    信号以外の画像信号に対しそれぞれ前後２枚の上記Ｎ枚
    毎の画像信号を予測画像として両方向予測符号化を行っ
    て生成された第２の符号化信号から上記一部のヘッダ情
    報を除いた第２のビットストリームとを組み合わせ、 組み合わされた上記ビットストリームを２枚の参照画像
    メモリを用いて予測復号化することを特徴とする画像信
    号復号化方法。
16. 【請求項１６】 画像信号伝送装置において、 Ｎ枚毎の画像信号に対し、それぞれＮ枚前の画像を予測
    画像として前方予測符号化を行って第１の符号化信号を
    生成する符号化手段と、 上記Ｎ枚毎の画像信号以外の画像信号に対し、それぞれ
    上記Ｎ枚毎の画像信号を予測画像として前方予測符号化
    又は後方予測符号化を行って第２の符号化信号を生成す
    る符号化手段と、 上記第１の符号化信号に上記第２の符号化信号の一部の
    ヘッダ情報を付加した第１のビットストリームと上記第
    ２の符号化信号から上記一部のヘッダ情報を除いた第２
    のビットストリームとを並列に伝送する伝送手段とを有
    することを特徴とする画像信号伝送装置。
17. 【請求項１７】 上記Ｎ枚毎の画像信号以外の画像信号
    に対し、それぞれ前後２枚の上記Ｎ枚毎の画像信号を予
    測画像として両方向予測符号化を行い第３の符号化信号
    を生成する第３の符号化手段と、 上記第３の符号化信号から上記一部のヘッダ情報を除い
    た第３のビットストームを、上記第１のビットストリー
    ム及び上記第２のビットストリームと並列に伝送する伝
    送手段とを有することを特徴とする請求項１６に記載の
    画像信号伝送装置。
18. 【請求項１８】 画像信号伝送装置において、 Ｎ枚毎の画像信号に対し、それぞれＮ枚前の画像を予測
    画像として前方予測符号化を行って第１の符号化信号を
    生成する符号化手段と、 上記Ｎ枚毎の画像信号以外の画像信号に対し、それぞれ
    前後２枚の上記Ｎ枚毎の画像信号を予測画像として両方
    向予測符号化を行い第２の符号化信号を生成する符号化
    手段と、 上記第１の符号化信号に上記第２の符号化信号の一部の
    ヘッダ情報を付加した第１のビットストリームと上記第
    ２の符号化信号から上記一部のヘッダ情報を除いた第２
    のビットストリームとを並列に伝送する伝送手段とを有
    することを特徴とする画像信号伝送装置。
19. 【請求項１９】 画像信号復号化装置において、 それぞれ並列に伝送された、Ｎ枚毎の画像信号に対しそ
    れぞれＮ枚前の画像を予測画像として前方予測符号化を
    行って生成された第１の符号化信号と一部のヘッダ情報
    からなる第１のビットストリームと、上記Ｎ枚毎の画像
    信号以外の画像信号に対しそれぞれ上記Ｎ枚毎の画像信
    号を予測画像として前方予測符号化又は後方予測符号化
    を行って生成された第２の符号化信号から上記一部のヘ
    ッダ情報を除いた第２のビットストリームとを組み合わ
    せる手段と、 組み合わされた上記ビットストリームを１枚の参照画像
    メモリを用いて予測復号化する復号化手段とを有するこ
    とを特徴とする画像信号復号化装置。
20. 【請求項２０】 画像信号復号化装置において、 それぞれ並列に伝送された、Ｎ枚毎の画像信号に対しそ
    れぞれＮ枚前の画像を予測画像として前方予測符号化を
    行って生成された第１の符号化信号と一部のヘッダ情報
    からなる第１のビットストリームと、上記Ｎ枚毎の画像
    信号以外の画像信号に対しそれぞれ前後２枚の上記Ｎ枚
    毎の画像信号を予測画像として両方向予測符号化を行っ
    て生成された第２の符号化信号から上記一部のヘッダ情
    報を除いた第２のビットストリームとを組み合わせる手
    段と、 組み合わされた上記ビットストリームを２枚の参照画像
    メモリを用いて予測復号化する復号化手段とを有するこ
    とを特徴とする画像信号復号化装置。