JPH06197326A

JPH06197326A - 画像信号符号化方法および復号化方法並びに画像信号符号化装置および復号化装置

Info

Publication number: JPH06197326A
Application number: JP11253893A
Authority: JP
Inventors: Nobuhisa Taihou; 伸久帯包; Katsumi Tawara; 勝己田原; Yoichi Yagasaki; 陽一矢ヶ崎; Jun Yonemitsu; 潤米満; Teruhiko Suzuki; 輝彦鈴木
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 1992-06-25
Filing date: 1993-05-14
Publication date: 1994-07-15

Abstract

(57)【要約】【目的】符号化されたハイビジョン方式の画像信号
を、縦横それぞれ１／２の画素データに間引いて、ＮＴ
ＳＣ方式の受像機で見る場合において、インターレース
構造の消失に起因して、動きがぎこちなくなることを抑
制する。【構成】エンコーダにおいて、画素データをＤＣＴ処
理して８×８個の係数データを得て、これを伝送する。
デコーダにおいて、この８×８個の係数データのうち、
左上の４×４個の係数データのみを抽出し、これをＩＤ
ＣＴ処理することにより、元の画素データを得る。この
とき、４×４個の係数データのうち、第４行目の係数デ
ータを、第８行目の係数データにより置換する。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、例えばハイビジョンに
代表される高品位画像信号（ＨＤＴＶ信号）を、光ディ
スク、光磁気ディスク、磁気テープなどの記録媒体に圧
縮して記録し、また、これを再生し、伸長して出力、表
示するような場合に用いて好適な画像信号符号化方法お
よび復号化方法並びに画像信号符号化装置および復号化
装置に関する。

【０００２】

【従来の技術】図２１は、従来の画像信号符号化装置お
よび復号化装置の一例の構成を示している。符号化装置
の前処理回路１は、入力される例えばハイビジョンなど
の画像信号のうち、輝度信号成分（Ｙ）と色差信号成分
（Ｃ）とを分離する。輝度信号成分は、Ａ／Ｄ変換器２
によりＡ／Ｄ変換され、色差信号成分は、Ａ／Ｄ変換器
３によりＡ／Ｄ変換されて、それぞれフレームメモリ４
と５に一旦書き込まれる。フォーマット変換回路６は、
フレームメモリ４と５に記憶された輝度データと色差デ
ータを、フレーム単位のデータからブロック単位のデー
タへ、そのフォーマットを変換する。そして、ブロック
単位にフォーマット変換されたデータは、エンコーダ７
に供給され、エンコードされ、ビットストリームとして
光ディスク、光磁気ディスク、磁気テープなどの記録媒
体（メディア）８に供給され、記録される。

【０００３】記録媒体８より再生されたデータは、ビッ
トストリームとして復号化装置のデコーダ９に供給さ
れ、デコードされる。フォーマット変換回路１０は、デ
コーダ９によりデコードされたデータを、ブロック単位
のデータからフレーム単位のデータに、そのフォーマッ
トを変換する。フォーマット変換回路１０より出力され
た輝度データと色差データは、それぞれフレームメモリ
１１と１２に供給され、記憶される。そして、このフレ
ームメモリ１１と１２より読み出された輝度データと色
差データは、Ｄ／Ａ変換器１３と１４によりそれぞれＤ
／Ａ変換され、輝度信号および色差信号として後処理回
路１５に供給され、合成されて、図示せぬ回路に出力さ
れる。

【０００４】エンコーダ７は、入力された画像データを
圧縮して記録媒体８に供給し、デコーダ９は、これを伸
長してフォーマット変換回路１０に出力する。このよう
にデータを圧縮することにより、記録媒体８に記録する
データ量を少なくすることができる。この圧縮には、画
像信号のライン相関やフレーム間相関が利用される。

【０００５】ライン相関を利用すると、画像信号を、例
えばＤＣＴ（離散コサイン変換）処理するなどして圧縮
することができる。

【０００６】また、フレーム間相関を利用すると、画像
信号をさらに圧縮して符号化することが可能となる。例
えば図２２に示すように、時刻ｔ１，ｔ２，ｔ３におい
て、フレーム画像ＰＣ１，ＰＣ２，ＰＣ３がそれぞれ発
生しているとき、フレーム画像ＰＣ１とＰＣ２の画像信
号の差を演算して、ＰＣ１２を生成し、また、フレーム
画像ＰＣ２とＰＣ３の差を演算して、ＰＣ２３を生成す
る。通常、時間的に隣接するフレームの画像は、それ程
大きな変化を有していないため、両者の差を演算する
と、その差分信号は小さな値のものとなる。そこで、こ
の差分信号を符号化すれば、符号量を圧縮することがで
きる。

【０００７】しかしながら、差分信号のみを伝送したの
では、元の画像を復元することができない。そこで、各
フレームの画像を、Ｉピクチャ、ＰピクチャまたはＢピ
クチャの３種類のピクチャのいずれかのピクチャとし、
画像信号を圧縮符号化するようにしている。

【０００８】即ち、例えば図２３に示すように、フレー
ムＦ１乃至Ｆ１７までの１７フレームの画像信号をグル
ープオブピクチャとし、処理の１単位とする。そして、
その先頭のフレームＦ１の画像信号はＩピクチャとして
符号化し、第２番目のフレームＦ２はＢピクチャとし
て、また第３番目のフレームＦ３はＰピクチャとして、
それぞれ処理する。以下、第４番目以降のフレームＦ４
乃至Ｆ１７は、ＢピクチャまたはＰピクチャとして交互
に処理する。

【０００９】Ｉピクチャの画像信号としては、その１フ
レーム分の画像信号をそのまま符号化し、伝送する。こ
れに対して、Ｐピクチャの画像信号としては、基本的に
は、図２３（Ａ）に示すように、それより時間的に先行
するＩピクチャまたはＰピクチャの画像信号からの差分
を符号化し、伝送する。さらにＢピクチャの画像信号と
しては、基本的には、図２３（Ｂ）に示すように、時間
的に先行するフレームまたは後行するフレームの両方の
平均値からの差分を求め、その差分を符号化し、伝送す
る。

【００１０】図２４は、このようにして、動画像信号を
符号化する方法の原理を示している。同図に示すよう
に、最初のフレームＦ１はＩピクチャとして処理される
ため、そのまま符号化され、伝送データＦ１Ｘとして伝
送路に伝送される（画像内符号化）。これに対して、第
２のフレームＦ２は、Ｂピクチャとして処理されるた
め、時間的に先行するフレームＦ１と、時間的に後行す
るフレームＦ３の平均値との差分が演算され、その差分
が符号化され、伝送データＦ２Ｘとして伝送される。

【００１１】但し、このＢピクチャとしての処理は、さ
らに細かく説明すると、４種類存在する。その第１の処
理は、元のフレームＦ２のデータをそのまま符号化し、
伝送データＦ２Ｘとして伝送するものであり（ＳＰ１）
（イントラ符号化）、Ｉピクチャにおける場合と同様の
処理となる。第２の処理は、時間的に後のフレームＦ３
からの差分を演算し、その差分（ＳＰ２）を符号化し、
伝送するものである（後方予測符号化）。第３の処理
は、時間的に先行するフレームＦ１との差分（ＳＰ３）
を符号化し、伝送するものである（前方予測符号化）。
さらに第４の処理は、時間的に先行するフレームＦ１と
後行するフレームＦ３の平均値との差分（ＳＰ４）を演
算し、これを符号化し、伝送データＦ２Ｘとして伝送す
るものである（両方向予測符号化）。

【００１２】この４つの方法のうち、伝送データ量が最
も少なくなる方法が採用される。

【００１３】尚、差分データを伝送するとき、差分を演
算する対象となるフレームの画像（予測画像）との間の
動きベクトルｘ１（フレームＦ１とＦ２の間の動きベク
トル）（前方予測の場合）、もしくはｘ２（フレームＦ
３とＦ２の間の動きベクトル）（後方予測の場合）、ま
たはｘ１とｘ２の両方（両方向予測の場合）が、差分デ
ータとともに伝送される。

【００１４】また、ＰピクチャのフレームＦ３は、時間
的に先行するフレームＦ１を予測画像として、このフレ
ームとの差分信号（ＳＰ３）と、動きベクトルｘ３が演
算され、これが伝送データＦ３Ｘとして伝送される（前
方予測符号化）。あるいはまた、元のフレームＦ３のデ
ータがそのまま伝送データＦ３Ｘとして伝送される（Ｓ
Ｐ１）（イントラ符号化）。いずれの方法により伝送さ
れるかは、Ｂピクチャにおける場合と同様に、伝送デー
タ量がより少なくなる方が選択される。

【００１５】１ライン当りＨドットのラインをＶ本集め
て構成される１枚のフレーム画像データは、図２５に示
すように、例えば１６ライン毎にＮ個のスライス（スラ
イス１乃至スライスＮ）に分割され、各スライスがＭ個
のマクロブロックを含むように構成される。そして、各
マクロブロックは、それぞれ８×８画素分の輝度データ
を含むブロックデータＹ［１］乃至Ｙ［４］と、これら
のブロックデータＹ［１］乃至Ｙ［４］の全（１６×１
６個の）画素データに対応する色差データでなるブロッ
クデータＣｂ［５］およびＣｒ［６］を含んでいる。

【００１６】即ち、マクロブロックは、輝度信号に対し
て、水平および垂直走査方向に連続する１６×１６画素
の画像データ（Ｙ［１］乃至Ｙ［４］）を１つの単位と
するのに対し、これに対応する２つの色差信号に対して
は、データ量を低減処理した後、時間軸多重化処理し、
それぞれ１つのブロック（８×８画素）Ｃｒ［６］，Ｃ
ｂ［５］に、１６×１６画素分の色差データを割り当
て、これを処理単位としている。スライス内の画像デー
タの配列は、マクロブロック単位で画像データが連続す
るように配置されており、このマクロブロック（１６×
１６ドット）内では、ラスタ走査の順で、ブロック（８
×８ドット）単位で画像データが連続するように配置さ
れている。

【００１７】尚、Ｙ［１］乃至Ｙ［４］，Ｃｂ［５］，
Ｃｒ［６］は、この順に伝送される。即ち、これらの記
号に付されている数字は、伝送順序を表している。

【００１８】高解像度の例えばハイビジョンの画像デー
タを縦方向と横方向において、それぞれ１／２に圧縮す
る（間引く）ことにより、低解像度の画像データを得る
ことができる。これを１６対９のアスペクト比から４対
３のアスペクト比に変換して、ＮＴＳＣ方式の受像機に
表示させることが可能となる。

【００１９】このように、高解像度の画像を１／４（＝
（１／２）×（１／２））に圧縮して表示させるように
する場合、図２１のデコーダ９には、例えば図２６に示
すような構成が設けられる。但し、この例は、エンコー
ダ７においてディスクリートコサイン変換（ＤＣＴ）に
より画像データが圧縮されている場合の例である。

【００２０】この例においては、エンコーダ７により８
×８画素単位でＤＣＴ処理された画像データ（ＤＣＴ係
数）が、デコーダ９の抽出回路２１に供給され、例えば
図２７に示すような８×８画素分のデータとして抽出さ
れる。この８×８個のデータは、ＤＣＴ係数により構成
され、図中下方向にいくほど、画像の垂直方向の高周波
成分に対応したデータとなり、図中右方向にいくほど、
水平方向の高周波成分に対応したデータとなっている。

【００２１】そこで、次段の抽出回路２２は、図２７に
示す８×８個のＤＣＴ係数のうち、図２８に示す低周波
成分に対応する４×４個のＤＣＴ係数を抽出する。この
ＤＣＴ係数は、図２７の左上の４×４個の係数である。
抽出回路２２により抽出された４×４個のＤＣＴ係数
は、逆ディスクリートコサイン変換回路（ＩＤＣＴ）２
３に入力され、逆ディスクリートコサイン変換される。
これにより、縦方向と横方向の解像度が１／２の画像デ
ータ（４×４個の画素データ）が得られる。

【００２２】

【発明が解決しようとする課題】従来の装置において
は、このように、高解像度の画像データから低解像度の
画像データを生成する場合、低周波成分に対応する係数
のみを抽出するようにしているため、高周波成分に含ま
れるインターレース構造が失われ、低解像度の画像の動
きがぎこちなくなる課題があった。

【００２３】また、このようなエンコーダ側において８
×８画素単位でＤＣＴ処理された符号化データから、デ
コーダ側において４×４個画素分の符号化データを抽出
して低解像度の画像を復号化するシステムに、予測符号
化を適用した場合、デコーダ側で生成される予測画像
は、エンコーダ側のローカルデコーダで生成される予測
画像とは完全には一致しないため、これを用いてデコー
ドすると、ミスマッチ誤差が蓄積することになる。この
ミスマッチ誤差は、低解像度の画像におけるインターレ
ース構造の消失の原因となり、再生された画像の画質の
低下を招いていた。

【００２４】本発明はこのような状況に鑑みてなされた
ものであり、インターレース構造が失われず、円滑な動
きを有する低解像度の画像を再現することができるよう
にするものである。

【００２５】

【課題を解決するための手段】本発明においては、画素
データがＤＣＴ処理されて、ｍ×ｎ個の係数データに変
換される。このうち、ｊ×ｋ個の係数データが伝送され
る。このｊ×ｋ個の係数データのうち、ｊ行目の係数デ
ータはｍ行目の係数データと加算されて伝送される。あ
るいはまた、ｍ行目の係数データと置換されて伝送され
る。

【００２６】

【作用】本発明においては、係数データのうち、低周波
領域に対応する係数データが伝送される。そして、その
伝送されるデータのうち、所定のデータは、より高周波
領域の係数データを含むようになされる。従って、イン
ターレース構造の消失による画像の動きが、ぎこちなく
なるようなことが抑制される。

【００２７】

【実施例】本発明における画像信号符号化装置および復
号化装置も、基本的に図２１に示した従来の場合と同様
に構成される。但し、そのエンコーダ７とデコーダ９が
従来の場合とは異なる構成とされる。そこで以下におい
ては、本発明におけるエンコーダとデコーダについて説
明する。

【００２８】図１は、本発明のエンコーダの一実施例の
構成を示すブロック図である。

【００２９】符号化されるべき画像データは、マクロブ
ロック単位で動きベクトル検出回路５０に入力される。
動きベクトル検出回路５０は、予め設定されている所定
のシーケンスに従って、各フレームの画像データを、Ｉ
ピクチャ、Ｐピクチャ、またはＢピクチャとして処理す
る。シーケンシャルに入力される各フレームの画像を、
Ｉ，Ｐ，Ｂのいずれのピクチャとして処理するかは、予
め定められている（例えば、図２３に示したように、フ
レームＦ１乃至Ｆ１７により構成されるグループオブピ
クチャが、Ｉ，Ｂ，Ｐ，Ｂ，Ｐ，・・・Ｂ，Ｐとして処
理される）。

【００３０】Ｉピクチャとして処理されるフレーム（例
えばフレームＦ１）の画像データは、動きベクトル検出
回路５０からフレームメモリ５１の前方原画像部５１ａ
に転送、記憶され、Ｂピクチャとして処理されるフレー
ム（例えばフレームＦ２）の画像データは、参照原画像
部５１ｂに転送、記憶され、Ｐピクチャとして処理され
るフレーム（例えばフレームＦ３）の画像データは、後
方原画像部５１ｃに転送、記憶される。

【００３１】また、次のタイミングにおいて、さらにＢ
ピクチャ（フレームＦ４）またはＰピクチャ（フレーム
Ｆ５）として処理すべきフレームの画像が入力されたと
き、それまで後方原画像部５１ｃに記憶されていた最初
のＰピクチャ（フレームＦ３）の画像データが、前方原
画像部５１ａに転送され、次のＢピクチャ（フレームＦ
４）の画像データが、参照原画像部５１ｂに記憶（上書
き）され、次のＰピクチャ（フレームＦ５）の画像デー
タが、後方原画像部５１ｃに記憶（上書き）される。こ
のような動作が順次繰り返される。

【００３２】フレームメモリ５１に記憶された各ピクチ
ャの信号は、そこから読み出され、予測モード切り替え
回路５２において、フレーム予測モード処理、またはフ
ィールド予測モード処理が行なわれる。さらにまた予測
判定回路５４の制御の下に、演算部（予測回路）５３に
おいて、画像内予測、前方予測、後方予測、または両方
向予測の演算が行なわれる。これらの処理のうち、いず
れの処理を行なうかは、予測誤差信号（処理の対象とさ
れている参照原画像と、これに対する予測画像との差
分）に対応して決定される。このため、動きベクトル検
出回路５０は、この判定に用いられる予測誤差信号の絶
対値和（自乗和でもよい）を生成する。

【００３３】ここで、予測モード切り替え回路５２にお
けるフレーム予測モードとフィールド予測モードについ
て説明する。

【００３４】フレーム予測モードが設定された場合にお
いては、予測モード切り替え回路５２は、動きベクトル
検出回路５０より供給される４個の輝度ブロックＹ
［１］乃至Ｙ［４］を、そのまま後段の演算部５３に出
力する。即ち、この場合においては、図２（Ａ）に示す
ように、各輝度ブロックに奇数フィールドのラインのデ
ータと、偶数フィールドのラインのデータとが混在した
状態となっている。このフレーム予測モードにおいて
は、４個の輝度ブロック（マクロブロック）を単位とし
て予測が行われ、４個の輝度ブロックに対して１個の動
きベクトルが対応される。

【００３５】これに対して、予測モード切り替え回路５
２は、フィールド予測モードにおいては、図２（Ａ）に
示す構成で動きベクトル検出回路５０より入力される信
号を、図２（Ｂ）に示すように、４個の輝度ブロックの
うち、輝度ブロックＹ［１］とＹ［２］を、例えば奇数
フィールドのラインのドットによりのみ構成させ、他の
２個の輝度ブロックＹ［３］とＹ［４］を、偶数フィー
ルドのラインのデータにより構成させて、演算部５３に
出力する。この場合においては、２個の輝度ブロックＹ
［１］とＹ［２］に対して、１個の動きベクトル（奇数
フィールドの動きベクトル）が対応され、他の２個の輝
度ブロックＹ［３］とＹ［４］に対して、他の１個の動
きベクトル（偶数フィールドの動きベクトル）が対応さ
れる。

【００３６】動きベクトル検出回路５０は、フレーム予
測モードにおける予測誤差の絶対値和と、フィールド予
測モードにおける予測誤差の絶対値和を、予測モード切
り替え回路５２に出力する。予測モード切り替え回路５
２は、フレーム予測モードとフィールド予測モードにお
ける予測誤差の絶対値和を比較し、その値が小さい予測
モードに対応する処理を施して、データを演算部５３に
出力する。

【００３７】但し、このような処理は、実際には動きベ
クトル検出回路５０で行われる。即ち、動きベクトル検
出回路５０は、決定されたモードに対応する構成の信号
を予測モード切り替え回路５２に出力し、予測モード切
り替え回路５２は、その信号を、そのまま後段の演算部
５３に出力する。

【００３８】尚、色差信号は、フレーム予測モードの場
合、図２（Ａ）に示すように、奇数フィールドのライン
のデータと偶数フィールドのラインのデータとが混在す
る状態で、演算部５３に供給される。また、フィールド
予測モードの場合、図２（Ｂ）に示すように、各色差ブ
ロックＣｂ［５］，Ｃｒ［６］の上半分（４ライン）
が、輝度ブロックＹ［１］，Ｙ［２］に対応する奇数フ
ィールドの色差信号とされ、下半分（４ライン）が、輝
度ブロックＹ［３］，Ｙ［４］に対応する偶数フィール
ドの色差信号とされる。

【００３９】また、動きベクトル検出回路５０は、次の
ようにして、予測判定回路５４において、画像内予測、
前方予測、後方予測、または両方向予測のいずれの予測
を行なうかを決定するための予測誤差の絶対値和を生成
する。

【００４１】これらの絶対値和は、予測判定回路５４に
供給される。予測判定回路５４は、インター予測（前方
予測、後方予測および両方向予測）の予測誤差の絶対値
和のうち、最も小さいものを、インター予測の予測誤差
の絶対値和として選択する。さらに、このインター予測
の予測誤差の絶対値和と、画像内予測の予測誤差の絶対
値和とを比較し、その小さい方を選択し、この選択した
絶対値和に対応するモードを予測モードとして選択す
る。即ち、画像内予測の予測誤差の絶対値和の方が小さ
ければ、画像内予測モードが設定される。インター予測
の予測誤差の絶対値和の方が小さければ、前方予測、後
方予測または両方向予測モードのうち、対応する絶対値
和が最も小さかったモードが設定される。

【００４２】このように、動きベクトル検出回路５０
は、参照原画像のマクロブロックの信号を、フレームま
たはフィールド予測モードのうち、予測モード切り替え
回路５２により選択されたモードに対応する構成で、予
測モード切り替え回路５２を介して演算部５３に供給す
るとともに、４つの予測モードのうち、予測判定回路５
４により選択された予測モードに対応する予測画像と参
照原画像の間の動きベクトルを検出し、可変長符号化回
路５８と動き補償回路６４に出力する。上述したよう
に、この動きベクトルとしては、対応する予測誤差の絶
対値和が最小となるものが選択される。

【００４３】予測判定回路５４は、動きベクトル検出回
路５０が前方原画像部５１ａよりＩピクチャの画像デー
タを読み出しているとき、予測モードとして、フレーム
（画像）内予測モード（動き補償を行わないモード）を
設定し、演算部５３のスイッチ５３ｄを接点ａ側に切り
替える。これにより、Ｉピクチャの画像データがＤＣＴ
モード切り替え回路５５に入力される。

【００４４】このＤＣＴモード切り替え回路５５は、図
３（Ａ）または（Ｂ）に示すように、４個の輝度ブロッ
クのデータを、奇数フィールドのラインと偶数フィール
ドのラインが混在する状態（フレームＤＣＴモード）、
または、分離された状態（フィールドＤＣＴモード）、
のいずれかの状態にして、ＤＣＴ回路５６に出力する。

【００４５】即ち、ＤＣＴモード切り替え回路５５は、
奇数フィールドと偶数フィールドのデータを混在してＤ
ＣＴ処理した場合における符号化効率と、分離した状態
においてＤＣＴ処理した場合の符号化効率とを比較し、
符号化効率の良好なモードを選択する。

【００４６】例えば、入力された信号を、図３（Ａ）に
示すように、奇数フィールドと偶数フィールドのライン
が混在する構成とし、上下に隣接する奇数フィールドの
ラインの信号と偶数フィールドのラインの信号の差を演
算し、さらにその絶対値の和（または自乗和）を求め
る。また、入力された信号を、図３（Ｂ）に示すよう
に、奇数フィールドと偶数フィールドのラインが分離し
た構成とし、上下に隣接する奇数フィールドのライン同
士の信号の差と、偶数フィールドのライン同士の信号の
差を演算し、それぞれの絶対値の和（または自乗和）を
求める。さらに、両者（絶対値和）を比較し、小さい値
に対応するＤＣＴモードを設定する。即ち、前者の方が
小さければ、フレームＤＣＴモードを設定し、後者の方
が小さければ、フィールドＤＣＴモードを設定する。

【００４７】予測モード切り替え回路５２においてフレ
ーム予測モード（図２（Ａ））を設定し、かつ、ＤＣＴ
モード切り替え回路５５においてフレームＤＣＴモード
（図３（Ａ））を設定した場合、並びに予測モード切り
替え回路５２においてフィールド予測モード（図２
（Ｂ））を設定し、かつ、ＤＣＴモード切り替え回路５
５においてフィールドＤＣＴモード（図３（Ｂ））を設
定した場合、ＤＣＴモード切り替え回路５５は、データ
の配列を変更する必要がない。

【００４８】しかしながら、予測モード切り替え回路５
２においてフィールド予測モード（図２（Ｂ））を設定
し、かつ、ＤＣＴモード切り替え回路５５においてフレ
ームＤＣＴモード（図３（Ａ））を設定する場合、並び
に予測モード切り替え回路５２においてフレーム予測モ
ード（図２（Ａ））を設定し、かつ、ＤＣＴモード切り
替え回路５５においてフィールドＤＣＴモード（図３
（Ｂ））を設定する場合、ＤＣＴモード切り替え回路５
５は、データの並べ替えを行う。この処理を実現できる
ように、ＤＣＴモード切り替え回路５５には、予測フラ
グが予測モード切り替え回路５２から供給されている。

【００４９】ＤＣＴモード切り替え回路５５は、選択し
たＤＣＴモードに対応する構成のデータをＤＣＴ回路５
６に出力するとともに、選択したＤＣＴモードを示すＤ
ＣＴフラグを、可変長符号化回路５８と変換回路６５に
出力する。

【００５０】予測モード切り替え回路５２における予測
モード（図２）と、このＤＣＴモード切り替え回路５５
におけるＤＣＴモード（図３）を比較して明らかなよう
に、輝度ブロックに関しては、両者の各モードにおける
データ構造は実質的に同一である。

【００５１】予測モード切り替え回路５２において、フ
レーム予測モード（奇数ラインと偶数ラインが混在する
モード）が選択された場合、ＤＣＴモード切り替え回路
５５においても、フレームＤＣＴモード（奇数ラインと
偶数ラインが混在するモード）が選択される可能性が高
く、また予測モード切り替え回路５２において、フィー
ルド予測モード（奇数フィールドと偶数フィールドのデ
ータが分離されたモード）が選択された場合、ＤＣＴモ
ード切り替え回路５５において、フィールドＤＣＴモー
ド（奇数フィールドと偶数フィールドのデータが分離さ
れたモード）が選択される可能性が高い。

【００５２】しかしながら、必ずしも常にそのようにな
されるわけではなく、予測モード切り替え回路５２にお
いては、予測誤差の絶対値和が小さくなるようにモード
が決定され、ＤＣＴモード切り替え回路５５において
は、符号化効率が良好となるようにモードが決定され
る。

【００５３】ＤＣＴモード切り替え回路５５より出力さ
れたＩピクチャの画像データは、ＤＣＴ回路５６に入力
され、ＤＣＴ（離散コサイン変換）処理され、ＤＣＴ係
数に変換される。このＤＣＴ係数は、量子化回路５７に
入力され、送信バッファメモリ５９のデータ蓄積量（バ
ッファ蓄積量）に対応した量子化ステップで量子化され
た後、可変長符号化回路５８に入力される。

【００５４】可変長符号化回路５８は、量子化回路５７
より供給される量子化ステップ（スケール）に対応し
て、量子化回路５７より供給される画像データ（いまの
場合、Ｉピクチャのデータ）を、例えばハフマン符号な
どの可変長符号に変換し、送信バッファメモリ５９に出
力する。

【００５５】量子化されたＤＣＴ係数は、ＤＣＴの性質
から、左上（例えば図４に示す８×８個のＤＣＴ係数の
うちの左上）に低域の（パワーの大きい）係数が出力さ
れる。一般に係数は、連続するゼロの長さ（ゼロラン）
と係数（レベル）の組合せで可変長符号化される。この
ようにゼロランとレベルの組合せで符号化する方式は、
ランレングス符号化と呼ばれる。係数をランレングス符
号化すると、図５に示すようなジグザグスキャンと呼ば
れる順序（同図において、数字は伝送の順序を示す）で
係数の伝送を行うことによって、長いゼロランが作れる
ため、データを圧縮することができる。

【００５６】可変長符号化回路５８にはまた、量子化回
路５７より量子化ステップ（スケール）、予測判定回路
５４より予測モード（画像内予測、前方予測、後方予
測、または両方向予測のいずれか設定されたモード）
（ブロックタイプ）、動きベクトル検出回路５０より動
きベクトル、予測モード切り替え回路５２より予測フラ
グ（フレーム予測モードまたはフィールド予測モードの
いずれが設定されたかを示すフラグ）、およびＤＣＴモ
ード切り替え回路５５が出力するＤＣＴフラグ（フレー
ムＤＣＴモードまたはフィールドＤＣＴモードのいずれ
が設定されたかを示すフラグ）が入力されており、これ
らも、ジグザグスキャンされた量子化データとともに可
変長符号化される。

【００５７】送信バッファメモリ５９は、伝送データを
一旦格納した後、所定のタイミングでビットストリーム
として出力するとともに、残留しているデータ量に応じ
て、マクロブロック単位の量子化制御信号を量子化回路
５７にフィードバックして、量子化スケールを制御す
る。これにより送信バッファメモリ５９は、ビットスト
リームとして発生されるデータ量を調整し、内部に適正
な残量（オーバフローまたはアンダフローを生じさせな
いような量）のデータを維持する。

【００５８】例えば、送信バッファメモリ５９のデータ
残量が許容上限値にまで増加すると、送信バッファメモ
リ５９は、量子化制御信号によって量子化回路５７の量
子化スケールを大きくすることにより、量子化データの
データ量を低下させる。また、これとは逆に、送信バッ
ファメモリ５９のデータ残量が許容下限値にまで減少す
ると、送信バッファメモリ５９は、量子化制御信号によ
って量子化回路５７の量子化スケールを小さくすること
により、量子化データのデータ量を増大させる。

【００５９】送信バッファメモリ５９から出力されたビ
ットストリームは、符号化されたオーディオ信号、同期
信号等と多重化され、さらにエラー訂正用のコードが付
加され、所定の変調が加えられた後、レーザ光を介して
マスターディスク上に凹凸のピットとして記録される。
このマスターディスクを利用して、スタンパが形成さ
れ、更に、そのスタンパにより、大量の複製ディスク
（例えば光ディスク）が形成される。

【００６０】一方、量子化回路５７より出力されたＩピ
クチャのデータは、逆量子化回路６０に入力され、量子
化回路５７より供給される量子化ステップに対応して、
代表値に逆量子化される。逆量子化回路６０の出力は、
ＩＤＣＴ（逆ＤＣＴ）回路６１に入力され、逆ＤＣＴ処
理された後、変換回路６５に入力される。変換回路６５
は、ＤＣＴモード切り替え回路５５より供給されるＤＣ
Ｔフラグと、予測モード切り替え回路５２の出力する予
測フラグに対応して、ＩＤＣＴ回路６１より入力される
データを、動き補償回路６４から出力された予測画像デ
ータの状態に一致するように、フレーム予測モードの状
態（図２（Ａ））またはフィールド予測モードの状態
（図２（Ｂ））に戻し、演算器６２に出力する。演算器
６２より出力されたデータは、変換回路６６に入力さ
れ、予測フラグに対応して、フレーム予測モードの状態
（図２（Ａ）に示す状態）に戻された後、フレームメモ
リ６３の前方予測画像部６３ａに供給され、記憶され
る。

【００６１】尚、フレームメモリ６３はフィールドメモ
リで代用することが可能であり、この場合、データはフ
ィールド毎に個別に記憶されるため、演算器６２より出
力されたデータは、変換回路６６においてフィールド予
測モードの状態（図２（Ｂ）の状態）に戻される。

【００６２】動きベクトル検出回路５０は、シーケンシ
ャルに入力される各フレームの画像データを、たとえ
ば、Ｉ，Ｂ，Ｐ，Ｂ，Ｐ，Ｂ・・・のピクチャとしてそ
れぞれ処理する場合、最初に入力されたフレームの画像
データをＩピクチャとして処理した後、次に入力された
フレームの画像をＢピクチャとして処理する前に、さら
にその次に入力されたフレームの画像データをＰピクチ
ャとして処理する。Ｂピクチャは、後方予測を伴うた
め、後方予測画像としてのＰピクチャが先に用意されて
いないと、復号することができないからである。

【００６３】そこで動きベクトル検出回路５０は、Ｉピ
クチャの処理の次に、後方原画像部５１ｃに記憶されて
いるＰピクチャの画像データの処理を開始する。そし
て、上述した場合と同様に、マクロブロック単位でのフ
レーム間差分（予測誤差）の絶対値和が、動きベクトル
検出回路５０から予測モード切り替え回路５２と予測判
定回路５４に供給される。予測モード切り替え回路５２
と予測判定回路５４は、このＰピクチャのマクロブロッ
クの予測誤差の絶対値和に対応して、フレーム／フィー
ルド予測モード、または画像内予測、前方予測、後方予
測、もしくは両方向予測の予測モード（ブロックタイ
プ）を設定する。

【００６４】演算部５３は、フレーム内予測モードが設
定されたとき、スイッチ５３ｄを上述したように接点ａ
側に切り替える。従って、このデータは、Ｉピクチャの
データと同様に、ＤＣＴモード切り替え回路５５、ＤＣ
Ｔ回路５６、量子化回路５７、可変長符号化回路５８、
送信バッファメモリ５９を介して伝送路に伝送される。
また、このデータは、逆量子化回路６０、ＩＤＣＴ回路
６１、変換回路６５、演算器６２、変換回路６６を介し
てフレームメモリ６３の後方予測画像部６３ｂに供給さ
れ、記憶される。

【００６５】前方予測モードの時、スイッチ５３ｄが接
点ｂに切り替えられるとともに、フレームメモリ６３の
前方予測画像部６３ａに記憶されている画像（いまの場
合Ｉピクチャの画像）データが読み出され、動き補償回
路６４により、動きベクトル検出回路５０が出力する動
きベクトルに対応して動き補償される。すなわち、動き
補償回路６４は、予測判定回路５４より前方予測モード
の設定が指令されたとき、前方予測画像部６３ａの読み
出しアドレスを、動きベクトル検出回路５０がいま出力
しているマクロブロックの位置に対応する位置から動き
ベクトルに対応する分だけずらしてデータを読み出し、
予測画像データを生成する。また、このとき、動き補償
回路６４は、予測モード切り替え回路５２より供給され
るフレーム／フィールド予測フラグに対応して、予測画
像データを、図２に示す状態に配列する。

【００６６】動き補償回路６４より出力された予測画像
データは、演算器５３ａに供給される。演算器５３ａ
は、予測モード切り替え回路５２より供給された参照原
画像のマクロブロックのデータから、動き補償回路６４
より供給された、このマクロブロックに対応する予測画
像データを減算し、その差分（予測誤差）を出力する。
この差分データは、ＤＣＴモード切り替え回路５５、Ｄ
ＣＴ回路５６、量子化回路５７、可変長符号化回路５
８、送信バッファメモリ５９を介して伝送路に伝送され
る。また、この差分データは、逆量子化回路６０、ＩＤ
ＣＴ回路６１、変換回路６５により局所的に復号され、
演算器６２に入力される。

【００６７】この演算器６２にはまた、演算器５３ａに
供給されている予測画像データと同一のデータが供給さ
れている。演算器６２は、変換回路６５が出力する差分
データに、動き補償回路６４が出力する予測画像データ
を加算する。これにより、元の（復号した）Ｐピクチャ
の画像データが得られる。但し、このデータは、予測モ
ード切り替え回路５２により、図２に示すように配列処
理が行われているので、予測フラグに対応して、この配
列をフレーム予測モードの状態（図２（Ａ）に示す状
態）（フレームメモリ６３がフィールドメモリで構成さ
れる場合は、フィールド予測モードの状態（図２（Ｂ）
に示す状態））に戻す処理が変換回路６６において行わ
れる。このＰピクチャの画像データは、フレームメモリ
６３の後方予測画像部６３ｂに供給され、記憶される。

【００６８】動きベクトル検出回路５０は、このよう
に、ＩピクチャとＰピクチャのデータが前方予測画像部
６３ａと後方予測画像部６３ｂにそれぞれ記憶された
後、次にＢピクチャの処理を実行する。予測モード切り
替え回路５２と予測判定回路５４は、マクロブロック単
位でのフレーム間差分の絶対値和の大きさに対応して、
フレーム／フィールド予測モードを設定し、また、フレ
ーム内／前方／後方／両方向の予測モード（ブロックタ
イプ）をフレーム内予測モード、前方予測モード、後方
予測モード、または両方向予測モードのいずれかに設定
する。

【００６９】上述したように、フレーム内予測モードま
たは前方予測モードの時、スイッチ５３ｄは接点ａまた
はｂに切り替えられる。このとき、Ｐピクチャにおける
場合と同様の処理が行われ、データが伝送される。

【００７０】これに対して、後方予測モードまたは両方
向予測モードが設定された時、スイッチ５３ｄは、接点
ｃまたはｄにそれぞれ切り替えられる。

【００７１】スイッチ５３ｄが接点ｃに切り替えられて
いる後方予測モードの時、後方予測画像部６３ｂに記憶
されている画像（いまの場合、Ｐピクチャの画像）デー
タが読み出され、動き補償回路６４により、動きベクト
ル検出回路５０が出力する動きベクトルに対応して動き
補償される。すなわち、動き補償回路６４は、予測判定
回路５４より後方予測モードの設定が指令されたとき、
後方予測画像部６３ｂの読み出しアドレスを、動きベク
トル検出回路５０がいま出力しているマクロブロックの
位置に対応する位置から動きベクトルに対応する分だけ
ずらしてデータを読み出し、予測画像データを生成す
る。また、予測モード切り替え回路５２が出力する予測
フラグに対応して、データを図２に示すように配列す
る。

【００７２】動き補償回路６４より出力された予測画像
データは、演算器５３ｂに供給される。演算器５３ｂ
は、予測モード切り替え回路５２より供給された参照原
画像のマクロブロックのデータから、動き補償回路６４
より供給された予測画像データを減算し、その差分を出
力する。この差分データは、ＤＣＴモード切り替え回路
５５、ＤＣＴ回路５６、量子化回路５７、可変長符号化
回路５８、送信バッファメモリ５９を介して伝送路に伝
送される。

【００７３】スイッチ５３ｄが接点ｄに切り替えられて
いる両方向予測モードの時、前方予測画像部６３ａに記
憶されている画像（いまの場合、Ｉピクチャの画像）デ
ータと、後方予測画像部６３ｂに記憶されている画像
（いまの場合、Ｐピクチャの画像）データが読み出さ
れ、動き補償回路６４により、動きベクトル検出回路５
０が出力する動きベクトルに対応して動き補償される。
即ち、動き補償回路６４は、予測判定回路５４より両方
向予測モードの設定が指令されたとき、前方予測画像部
６３ａと後方予測画像部６３ｂの読み出しアドレスを、
動きベクトル検出回路５０がいま出力しているマクロブ
ロックの位置に対応する位置から動きベクトル（この場
合の動きベクトルは、前方予測画像用と後方予測画像用
の２つとなる）に対応する分だけずらしてデータを読み
出し、予測画像データを生成する。また、このデータ
は、予測モード切り替え回路５２からの予測フラグに対
応して配列される。

【００７４】動き補償回路６４より出力された予測画像
データは、演算器５３ｃに供給される。演算器５３ｃ
は、動きベクトル検出回路５０より供給された参照原画
像のマクロブロックのデータから、動き補償回路６４よ
り供給された予測画像データの平均値を減算し、その差
分を出力する。この差分データは、ＤＣＴモード切り替
え回路５５、ＤＣＴ回路５６、量子化回路５７、可変長
符号化回路５８、送信バッファメモリ５９を介して伝送
路に伝送される。

【００７５】Ｂピクチャの画像は、他の画像の予測画像
とされることがないため、フレームメモリ６３には記憶
されない。

【００７６】尚、フレームメモリ６３において、前方予
測画像部６３ａと後方予測画像部６３ｂは、必要に応じ
てバンク切り替えが行われ、所定の参照原画像に対し
て、一方または他方に記憶されているものを、前方予測
画像あるいは後方予測画像として切り替えて出力するこ
とができる。

【００７７】以上においては、輝度ブロックを中心とし
て説明をしたが、色差ブロックについても同様に、図２
および図３に示すマクロブロックを単位として処理さ
れ、伝送される。尚、色差ブロックを処理する場合の動
きベクトルは、対応する輝度ブロックの動きベクトルを
垂直方向と水平方向に、それぞれ１／２にしたものが用
いられる。

【００７８】次に、図６に示すデコーダについて説明す
る。光ディスク等（図２１の記録媒体８）からデコーダ
に対して入力される入力ビットストリームは、受信バッ
ファメモリ７０を介して可変長復号化回路（ＩＶＬＣ）
７１に入力され、そこで復号される。これによって量子
化されたデータ（ＤＣＴ係数）、動きベクトル、予測モ
ード、予測フラグ、ＤＣＴフラグ、量子化スケールなど
が得られる。可変長復号化回路７１の出力するデータ
（ＤＣＴ係数）は、逆量子化回路７２に入力され、代表
値に逆量子化される。このときの逆量子化ステップは、
可変長復号化回路７１の出力する量子化スケールに対応
して制御される。

【００７９】逆量子化回路７２の出力である量子化再生
値（ＤＣＴ係数）は、１ブロック当り、８×８個出力さ
れる。ＩＤＣＴ回路７３では、８×８個の係数のＩＤＣ
Ｔ処理を行う。これによって、８×８個の画素データの
ブロックが得られる。ＩＤＣＴ回路７３の出力は、変換
回路７７に入力され、可変長復号化回路７１より供給さ
れるＤＣＴフラグと予測フラグに対応して、動き補償回
路７６が出力するデータの配列と一致する配列状態に戻
された後、演算器７４に供給される。

【００８０】演算器７４に供給された画像データが、Ｉ
ピクチャのデータである場合、そのデータは演算器７４
より出力され、変換回路７８により、可変長復号化回路
７１より供給される予測フラグに対応して、図２（Ａ）
に示すフレーム予測モードの状態（フレームメモリ７５
がフィールドメモリにより構成される場合は、フィール
ド予測モードの状態（図２（Ｂ）に示す状態））に戻さ
れた後、演算器７４に後に入力される画像データ（Ｐま
たはＢピクチャのデータ）の予測画像データ生成のため
に、フレームメモリ７５の前方予測画像部７５ａに供給
されて記憶される。また、このデータは、そのまま後段
の例えばフォーマット変換回路１０（図２１）に出力さ
れる。

【００８１】演算器７４に供給された画像データが、そ
の１フレーム前の画像データを予測画像データとするＰ
ピクチャのデータであって、前方予測モードのデータで
ある場合、フレームメモリ７５の前方予測画像部７５ａ
に記憶されている、１フレーム前の画像データ（Ｉピク
チャのデータ）が読み出され、動き補償回路７６で、可
変長復号化回路７１より出力された動きベクトルに対応
する動き補償が施されるとともに、予測モード（ブロッ
クタイプ）に対応する処理が施される。また、予測フラ
グに対応して、図２に示すようにデータが配列される。
そして、演算器７４において、変換回路７７より供給さ
れた画像データ（差分のデータ）と加算され、出力され
る。この加算されたデータ、即ち、復号されたＰピクチ
ャのデータは、演算器７４に後に入力される画像データ
（ＢピクチャまたはＰピクチャのデータ）の予測画像デ
ータ生成のために、フレームメモリ７５の後方予測画像
部７５ｂに供給されて記憶される。

【００８２】Ｐピクチャのデータであっても、画像内予
測モードのデータは、Ｉピクチャのデータと同様に、演
算器７４で特に処理は行わず、そのまま後方予測画像部
７５ｂに記憶される。

【００８３】このＰピクチャは、次のＢピクチャの次に
表示されるべき画像であるため、この時点では、まだ後
段のフォーマット変換回路１０へ出力されない（上述し
たように、Ｂピクチャの後に入力されたＰピクチャが、
Ｂピクチャより先に処理され、伝送されている）。

【００８４】変換回路７７より供給された画像データ
が、Ｂピクチャのデータである場合、可変長復号化回路
７１より供給された予測モードに対応して、フレームメ
モリ７５の前方予測画像部７５ａに記憶されているＩピ
クチャの画像データ（前方予測モードの場合）、後方予
測画像部７５ｂに記憶されているＰピクチャの画像デー
タ（後方予測モードの場合）、または、その両方の画像
データ（両方向予測モードの場合）が読み出され、動き
補償回路７６において、可変長復号化回路７１より出力
された動きベクトルに対応する動き補償が施されて、さ
らに予測フラグに対応するデータの配列処理が施され
て、予測画像が生成される。但し、動き補償を必要とし
ない場合（画像内予測モードの場合）、予測画像は生成
されない。

【００８５】このようにして、動き補償回路７６で動き
補償が施されたデータは、演算器７４において、変換回
路７７の出力と加算される。この加算出力は、変換回路
７８において、予測フラグに対応してフレーム予測モー
ドの状態に戻された後、フォーマット変換回路１０に出
力される。

【００８６】但し、この加算出力はＢピクチャのデータ
であり、他の画像の予測画像生成のために利用されるこ
とがないため、フレームメモリ７５には記憶されない。

【００８７】Ｂピクチャの画像が出力された後、後方予
測画像部７５ｂに記憶されているＰピクチャの画像デー
タが読み出され、動き補償回路７６、演算器７４、変換
回路７８を介して出力される。但し、このとき、動き補
償、配列処理などは行われない。

【００８８】また、以上においては、輝度信号の処理に
ついて説明したが、色差信号の処理も同様に行われる。
但し、この場合、動きベクトルは、輝度信号用のもの
を、垂直方向および水平方向に１／２にしたものが用い
られる。

【００８９】以上のようにして再生される画像をＤ／Ａ
変換すれば、高解像度のＨＤＴＶの復号画像が得られ
る。

【００９０】本実施例においては、以上のＨＤＴＶの復
号画像を得るための構成の他に、逆量子化回路８１乃至
変換回路８９よりなる１／４解像度画像（スタンダード
ＴＶ）の復号画像を得るための構成が設けられている。
逆量子化回路８１は、可変長復号化回路７１より出力さ
れるデータを、やはり可変長復号化回路７１より出力さ
れる量子化スケールに対応して代表値に逆量子化し、選
択回路８２に出力する。尚、この逆量子化回路８１は、
スタンダードＴＶ映像出力をＨＤＴＶ映像とともに得る
ために設けられているものであり、いずれか一方のみを
出力するだけでよい場合においては、逆量子化回路８１
はこれを省略することができる。そして、この場合、逆
量子化回路７２の出力が選択回路８２に供給される。

【００９１】選択回路８２は、例えば図７に示すよう
に、演算回路９０、アドレス制御回路９１およびメモリ
９２により構成される。逆量子化回路８１（または７
２）より供給されるデータは、メモリ９２に書き込まれ
る。そしてメモリ９２から読み出され、ＩＤＣＴ回路８
３に出力される。このメモリ９２への書き込みと読み出
しは、アドレス制御回路９１により制御される。その書
き込みと読み出しの制御の詳細については後述するが、
この選択回路８２においては、図４に示すような８×８
個のＤＣＴ係数から所定の４×４個のＤＣＴ係数が選択
される。

【００９２】ＩＤＣＴ回路８３は、入力された４×４個
の係数をＩＤＣＴ処理し、変換回路８８に出力する。変
換回路８８は、可変長復号化回路７１より出力されるＤ
ＣＴフラグと予測フラグに対応して、データの配列を、
動き補償回路８６から出力される予測画像データの配列
に一致する状態に戻す。変換回路８８は、このような配
列変換を行ったデータを、演算器８４に出力する。動き
補償回路８６は、可変長復号化回路７１から供給された
動きベクトルと予測モードに基づいて、フレームメモリ
８５に記憶された画像データに対して動き補償を行い、
さらに予測フラグに対応して図２に示すような配列変換
を行って、予測画像データを作成する。

【００９３】動き補償回路８６より出力されたデータ
は、変換回路８８の出力と加算される。このデータは、
変換回路８９により、予測フラグに対応して配列状態が
フレーム予測モードの状態（フレームメモリ８５がフィ
ールドメモリで構成される場合は、フィールド予測モー
ドの状態）に変換された後、スタンダードＴＶ画像デー
タとして出力される。尚、動き補償回路８６における動
きは、動き補償回路７６における動きのほぼ１／２であ
るため、可変長復号化回路７１より出力された動きベク
トルは、スケーリング回路８７により１／２にスケール
変換され、動き補償回路８６に供給される。

【００９４】即ち、図１のエンコーダの予測判定回路５
４により、エンコーダにおける予測モードが、フレーム
予測モードに決定された場合、デコーダの予測モード
も、フレーム予測モードとされる。また、エンコーダに
おける予測モードがフィールド予測モードに決定された
場合、デコーダの予測モードも、フィールド予測モード
とされる。つまり、エンコーダの動き補償回路６４にお
いて、フレーム予測モードで予測画像が形成される場
合、デコーダの動き補償回路８６はスケーリング回路８
７と共同して、同様にフレーム予測モードで予測画像を
形成する。また、動き補償回路６４において、フィール
ド予測モードで予測画像を形成した場合、動き補償回路
８６はスケーリング回路８７と共同して、同様にフィー
ルド予測モードで予測画像を形成する。

【００９５】次に、動き補償とフレーム／フィールド予
測モードとの関係について説明する。フレーム予測モー
ド（フレーム予測モード（１））の場合、動き補償回路
６４を用いたエンコーダの動き補償（ＨＤＴＶデコーダ
ブロックの動き補償回路７６の動き補償も同様である）
においては、図８（ａ）に示すように、ａ，ｃ，ｅ，ｇ
・・・の画素を有する第１フィールド（奇数フィール
ド）と、ｂ，ｄ，ｆ，・・・の画素を有する第２フィー
ルド（偶数フィールド）とから、予測画像として１つの
予測フレームを形成する。また、デコーダの動き補償回
路８６を用いたスタンダードＴＶデコーダブロックの動
き補償においては、図８（ｂ）に示すように、ａ’，
ｃ’・・・を有する第１フィールドと、ｚ’，ｂ’，
ｄ’・・・（ｚ’とｂ’間の距離と、ｂ’とｄ’間の距
離は等しい）を有する第２フィールドとから、予測画像
として１つの予測フレームを形成する。

【００９６】高解像度（ＨＤＴＶ）のデータを１／４の
解像度にするには、画素が水平方向と垂直方向に１／２
に間引けばよい。いま、垂直方向の間引きだけを考える
と、フレームは２つのフィールドによるインターレース
構造とされているため、垂直方向にラインを１／２に間
引くと、結局、一方のフィールド（図８の実施例の場
合、第１フィールド）のデータが、１／４解像度の１フ
レーム（２フィールド）のデータに対応することにな
る。この実施例の場合、高解像度の第１フィールドの画
素ａ，ｃ，ｅ，ｇ・・・のうち、画素ａ，ｅ・・・によ
り低解像度の第１フィールドの画素ａ’，ｃ’・・・が
対応され、画素ｃ，ｇ・・・により低解像度の第２フィ
ールドの画素ｂ’，ｄ’・・・が対応される。

【００９７】例えば、画素ａに関して説明すると、エン
コーダのローカルデコーダ（図８（ａ））では、動きベ
クトル検出回路５０から、画素ａを動き補償する動きベ
クトル（簡単のため、この動きベクトルは、垂直方向の
動きのみを示しているものとする）として、０，１，
２，３または４（但し、動きベクトルの１は、高解像度
の画面において、垂直方向に０．５画素分のオフセット
を示すものとする）が出力されると、動き補償回路６４
からは、それぞれ、ａ，（ａ＋ｂ）／２，ｂ，（ｂ＋
ｃ）／２，ｃが予測画像の画素として出力される。即
ち、動きベクトルが１または３のとき、補間画素が形成
される。

【００９８】また、スタンダードＴＶデコーダブロック
側（図８（ｂ））では、可変長復号化回路７１から、画
素ａ’を動き補償する動きベクトルとして、０，１，
２，３または４（スケーリング回路８７から出力される
動きベクトルが、０，０．５，１，１．５または２）が
与えられた場合、動き補償回路８６から、それぞれ、
ａ’，（３ａ’＋ｂ’）／４，（３ｂ’＋ｚ’）／４，
（ａ’＋３ｂ’）／４，ｂ’が予測画像の画素として出
力される。即ち、動きベクトルが１，２または３（スケ
ーリング回路８７より出力される動きベクトルが、０．
５，１または１．５）の時は、補間画素が形成される。
動きベクトルが５以上の場合も同様である。

【００９９】図８に示すように、低解像度（１／４解像
度）の画素データは、エンコーダの高解像度（フル解像
度）の画素データと、パリティ（フィールド）と位置が
一致するように対応される。即ち、動きベクトルが１ま
たは３のとき、高解像度の画素データは、第１フィール
ドの画素データａ，ｃと、第２フィールドの画素データ
ｂとから補間される（（ａ＋ｂ）／２または（ｂ＋ｃ）
／２）。これに対して、低解像度の画素データも、動き
ベクトルが１または３のとき（スケーリング回路８７よ
り出力される動きベクトルが、０．５または１．５のと
き）、第１フィールドの画素データａ’と、第２フィー
ルドの画素データｂ’とから補間される（３ａ’＋
ｂ’）／４または（ａ’＋３ｂ’）／４）。従って、両
者はパリティ（フィールド）が一致する（両方とも第１
フィールドと第２フィールドから補間される）。また、
両者の各画素の重み付けが調整されているため、両者の
垂直方向の位置が一致している。

【０１００】さらに、動きベクトルが２のとき（スケー
リング回路８７より出力される動きベクトルが１のと
き）、高解像度の画素データｂは、第２フィールドのデ
ータであるので、これに対応する低解像度の画素も、第
２フィールドの画素ｚ’，ｂ’から補間される（（３
ｂ’＋ｚ’）／４）。これにより、両者のパリティと垂
直方向の位置が一致する。

【０１０１】次に、フィールド予測モード時の動き補償
について、図９を用いて説明する。この場合、エンコー
ダのローカルデコーダにおいては、図９（ａ）に示すよ
うに、ａ，ｃ，ｅ，ｇ・・・の画素を有する第１フィー
ルドから、予測画像として第１の予測フィールドの画素
（ａ＋ｃ）／２，（ｃ＋ｅ）／２を形成し、ｂ，ｄ，
ｆ，・・・の画素を有する第２フィールドから、予測画
像として第２の予測フィールドの画素（ｂ＋ｄ）／２，
（ｄ＋ｆ）／２を形成する。また、スタンダードＴＶデ
コーダブロックにおいては、図９（ｂ）に示すように、
ａ’，ｃ’・・・の画素を有する第１フィールドから、
予測画像として第１の予測フィールドの画素（３ａ’＋
ｃ’）／４，（ａ’＋ｃ’）／２，（ｄ’＋３ｃ’）／
４を形成し、ｚ’，ｂ’，ｄ’・・・の画素（ｚ’と
ｂ’間の距離と、ｂ’とｄ’間の距離は等しい）を有す
る第２フィールドから、予測画像として第２の予測フィ
ールドの画素（３ｂ’＋ｚ’）／４，（３ｂ’＋ｄ’）
／４，（ｂ’＋ｄ’）／２，（ｂ’＋３ｄ’）／４を形
成する。

【０１０２】即ち、例えば、第１フィールドの画素ａを
動きベクトルに対応して動き補償する場合に関して説明
すると、エンコーダでは、動きベクトル検出回路５０か
らの動きベクトルとして、０，１，２，３または４が与
えられた場合、動き補償回路６４からは、それぞれ、
ａ，（ａ＋ｃ）／２，ｃ，（ｃ＋ｅ）／２，ｅが予測画
像の画素として出力される。動きベクトルが１または３
のとき画素が補間される。

【０１０３】また、スタンダードＴＶデコーダブロック
側では、可変長復号化回路７１から動きベクトルとし
て、０，１，２，３または４（スケーリング回路８７よ
り出力される動きベクトルが、０，０．５，１，１．５
または２）が与えられた場合、動き補償回路８６から
は、それぞれ、ａ’，（３ａ’＋ｃ’）／４，（ａ’＋
ｃ’）／２，（ａ’＋３ｃ’）／４，ｃ’が、予測画像
の画素として出力される。動きベクトルが、１，２また
は３（スケーリング回路８７より出力される動きベクト
ルが、０．５，１または１．５）の時は、対応する画素
の位置がエンコーダの場合と一致するように、内挿によ
り補間画素が形成される。

【０１０４】また、第２フィールドの画素ｂを動き補償
する場合に関して説明すると、エンコーダは、動きベク
トルとして、０，１，２，３または４が与えられた場
合、動き補償回路６４からは、それぞれ、ｂ，（ｂ＋
ｄ）／２，ｄ，（ｄ＋ｆ）／２，ｆが予測画像の画素と
して出力される。また、スタンダードＴＶデコーダブロ
ック側では、動きベクトルとして、０，１，２，３また
は４（スケーリング回路８７より出力される動きベクト
ルが、０，０．５，１，１．５または２）が与えられた
場合、動き補償回路８６からは、それぞれ、（３ｂ’＋
ｚ’）／４，ｂ’，（３ｂ’＋ｄ’）／２，（ｂ’＋
ｄ’）／２，（ｂ’＋３ｄ’）／４，が予測画像の画素
として出力される。

【０１０５】１／４解像度の第２フィールドには、フル
解像度の第２フィールドの画素ｂに対応するオリジナル
の画素が存在しない。画素ｂ’を画素ｂに対応させる
と、その垂直方向の位置が一致していないため、動き補
償した画素もずれることになる。そこで、実施例では、
画素ｂと一致する位置に画素（３ｂ’＋ｚ’）／４を生
成している。

【０１０６】各フィールドにおいて、補間データは、そ
のフィールド内のデータのみから生成されるため、パリ
ティも一致している。

【０１０７】フレーム予測モード（フレーム予測モード
（２））時の他の動き補償の実施例を、図１０を用いて
説明する。図８のフレーム予測モード（１）時の動き補
償の場合と異なるのは、スタンダードＴＶデコーダブロ
ック側の処理である。動きベクトルが、１，２または３
（スケーリング回路８７より出力される動きベクトル
が、０．５，１または１．５）のときの参照画素は、図
８と同様に、画素ａ’，ｂ’，ｚ’を内挿して作成され
るが、動きベクトルが４（スケーリング回路８７より出
力される動きベクトルが２）のときの参照画素は、エン
コーダにおける参照画素と同一パリティのフィールドか
ら参照するために、第１フィールドの画素ａ’，ｃ’を
内挿して作成され、動き補償回路８６から出力される予
測画像の画素は、（ａ’＋ｃ’）／２となる。即ち、こ
の場合、画素ｂ’は、他の画素の補間のためにのみ用い
られ、それ自身は参照画素として出力されない。

【０１０８】図１１は、フレーム予測モード（フレーム
予測モード（３））の動き補償のさらに他の実施例を表
している。この実施例においては、１／４解像度の場
合、動きベクトルが１または３（スケーリング回路８７
より出力される動きベクトルが０．５または１．５）の
とき、参照画素が、画素ａ’と画素（３ｂ’＋ｚ’）／
４から、（１／２）（ａ’＋（３ｂ’＋ｚ’）／４）と
して補間されるか、または画素（ａ’＋ｃ’）／２と画
素（３ｂ’＋ｚ’）／４から、（１／２）（（ａ’＋
ｃ’）／２＋（３ｂ’＋ｚ’）／４）として補間され
る。その他は、図１０における場合と同様である。

【０１０９】このように、フレーム／フィールド予測モ
ード（予測フラグ）に応じて、パリティと位置が一致す
るように動き補償を行うと、エンコーダの予測画像と、
低解像度デコーダの予測画像との不一致によるミスマッ
チ誤差が低減されるため、インターレース構造の消失に
より、画像の動きがぎこちなくなるようなことが抑制さ
れる。

【０１１０】次に、図７の選択回路８２の処理について
さらに説明する。

【０１１１】選択回路８２のメモリ９２には、逆量子化
回路８１より供給される図４に示すような８×８個の係
数データが記憶される。可変長復号化回路７１から供給
された予測フラグがフレームＤＣＴモードの場合、アド
レス制御回路９１は、このうちの左上の４×４個のデー
タと、左下の１×４個のデータを読み出し、演算回路９
０に出力する。そして、演算回路９０は、第４行目の４
個のデータｄ（３，０），ｄ（３，１），ｄ（３，
２），ｄ（３，３）に対して、第８行目の４個のデータ
ｄ（７，０），ｄ（７，１），ｄ（７，２），ｄ（７，
３）を加算する。その結果、最初に抽出した図１２に示
す４×４個の係数が、図１３に示す４×４個の係数に変
化する。即ち、図１３の上３行の係数は図１２における
場合と同一であるが、最下行のデータが、ｄ（３，０）
＋ｄ（７，０），ｄ（３，１）＋ｄ（７，１），ｄ
（３，２）＋ｄ（７，２），ｄ（３，３）＋ｄ（７，
３）となっている。このデータはメモリ９２に書き込ま
れる。

【０１１２】図４に示す第８行目の左下の４個のデータ
には、インターレース画像の同一フレーム内のフィール
ド間の動きに起因する高周波成分に対応する４個のデー
タが配置されている。この４個のデータが、低周波領域
（４×４個）における最も高い周波数に対応する第４行
目のデータに加算されるため、この４×４個の係数（図
１３）をアドレス制御回路９１により読み出し、ＩＤＣ
Ｔ回路８３に供給し、ＩＤＣＴ処理すれば、８×８個の
ＤＣＴ係数データの中から、低域の左上部の４×４個の
係数データのみを抽出し、その他の係数データを除去し
たために生じるインターレース構造の消失が低減され、
このインターレース構造の消失ために生じていた画像の
不自然な動きが円滑な動きとなって再現される。

【０１１３】フレームＤＣＴモード時における８×８個
のＤＣＴ係数データの最下行付近には、インターレース
に起因する高周波成分が含まれるが、フィールドＤＣＴ
モード時における８×８個のＤＣＴ係数データの最下行
には、このような成分が含まれていない。従って、図１
３に示したような処理は、フレームＤＣＴモード時にお
いて行われるが、フィールドＤＣＴモード時には行われ
ない。このときは、図１２に示した処理が行われる。

【０１１４】図１４は、フレームＤＣＴモード時におけ
る選択回路８２の他の処理例を示している。この実施例
においては、図４における第４行目の８個のデータｄ
（３，０）乃至ｄ（３，７）の絶対値の和Ｄ３が演算回
路９０により演算される。また、同様にして、第８行目
の８個のデータｄ（７，０）乃至ｄ（７，７）の絶対値
の和Ｄ７が演算回路９０により演算される。演算回路９
０はさらに、Ｄ３とＤ７を比較し、Ｄ３がＤ７より大き
ければ、４×４個の係数の第４行目の４個のデータとし
て、ｄ（３，０）乃至ｄ（３，３）を選択し、Ｄ７の方
がＤ３より大きい場合においては、ｄ（７，０）乃至ｄ
（７，３）を選択する。図１４は、この後者の場合の状
態を示している。

【０１１５】即ち、Ｄ３がＤ７より大きいということ
は、そのフレーム内の２つのフィールド間で比較的動き
の少ない画像であることを意味する。従って、この場合
においては、高周波成分に対応するデータｄ（７，０）
乃至ｄ（７，３）ではなく、低周波成分に対応するデー
タｄ（３，０）乃至ｄ（３，３）を選択する。これに対
して、Ｄ７の方がＤ３より大きい場合においては、比較
的動きのある画像であるから、このときはより高周波成
分に対応するデータｄ（７，０）乃至ｄ（７，３）を選
択するのである。

【０１１６】図１５は、さらに他の処理例を示してい
る。この実施例においては、上記したＤ３がＤ７以上の
値である場合においては、４×４個の係数として、図１
２に示した係数が選択されるが、Ｄ７がＤ３より大きい
場合においては、図４における第７行目の左側の４個の
データｄ（６，０）乃至ｄ（６，３）と、第８行目のデ
ータｄ（７，０）乃至ｄ（７，３）が選択され、この２
×４個のデータが、第３行目の左側の４個のデータｄ
（２，０）乃至ｄ（２，３）、および第４行目の左側の
４個のデータｄ（３，０）乃至ｄ（３，３）と置き換え
られる。即ち、図１５に示すような４×４個のデータと
なる。この実施例においては、図１４に示した実施例の
場合より、より高周波成分が多く含まれることになる。

【０１１７】尚、可変長復号化回路７１から供給された
予測フラグが、フレーム予測モードで、かつ選択回路８
２において、Ｄ３がＤ７以上の値である場合、動き補償
をフレーム予測モード（１）で行ない、Ｄ７がＤ３より
大きい場合、動き補償をフレーム予測モード（２）で行
なうようにしてもよい。これは、Ｄ３がＤ７以上の値で
ある場合、上述したように、そのフレームに関してはフ
ィールド間で動きが少ないことを意味することから、
ｂ’≒（ａ’＋ｃ’）／２となり、補間により（ａ’＋
ｃ’）／２を生成しなくても、充分な予測画像が得られ
るからである。

【０１１８】次に、このような処理を実行する場合にお
けるジクザグスキャンの方法について説明する。以上の
３つの処理例を実現するのに、従来における場合と同様
に、例えば図５に示すように、８×８個のデータを、左
上の番号１から始まって右の番号２に移動し、左斜め下
の番号３に進み、さらに下の番号４に進んだ後、右斜め
上の番号５に進むようにして、６４個の係数をエンコー
ダの可変長符号化回路５８においてジグザグスキャンし
て伝送することもできる。しかしながら、ジグザグスキ
ャンを、例えば図１６に示すように行うと、より効率的
にデータを伝送することができる。

【０１１９】この図１６の実施例においては、最初に８
×８個の係数のうち、左上の４×４個の係数が、その範
囲においてジグザグスキャンが行われる。即ち、最初に
左上の番号１の係数が伝送され、次に右隣の番号２の係
数に移り、次に左斜め下の番号３に移行し、１個下の番
号４に下がって、次に右斜め上の番号５に進むようにす
る。以下同様にして、１６個の係数が伝送される。次
に、第８行目の左側の番号１７乃至２０の４個の係数が
順番に伝送された後、その次に第７行目の左側の番号２
１乃至２４の４個の係数が、左側から順番に伝送され
る。そして以上のようにして、合計２４個の係数が伝送
された後、第５行目の一番左側の番号２５の係数に進
み、そこから既に伝送した係数を除いて、斜め方向に順
次ジグザグスキャンが行われる。

【０１２０】以上のジグザグスキャンによる伝送をシン
タックスダイヤグラムに示すと、図１７に示すようにな
る。即ち、最初に量子化スケールが伝送され、その次に
図１６に、番号１番で示す直流成分を表わすＤＣＴ係数
が伝送される。その次に図１６において、番号２乃至２
４で示す低周波のＤＣＴ係数が順次伝送される。そし
て、２４個の係数が伝送された後、次にブロックの終了
を示す信号ＥＯＢが送出される。

【０１２１】このＥＯＢが送出された後、再び量子化ス
ケールが送出される。最初の量子化スケールは、最初の
ＥＯＢ信号が送出されるまでの量子化ステップを示すも
のであり、２回目の量子化スケールは、それ以降に伝送
される係数の量子化ステップを示すものである。この２
回目の量子化スケールが送出された後、図１６におい
て、番号２５乃至６４に示す残りの係数が、番号の順番
に順次伝送される。そして６４番目の係数が伝送された
後、再びブロックの終了を示すＥＯＢ信号が伝送され
る。このＥＯＢ信号は、図１の可変長符号化回路５８が
内蔵するＥＯＢ発生器５８ａが発生するものである。

【０１２２】データをこのような順番に伝送した場合に
おいては、図６に示したデコーダの選択回路８２におい
て最初のＥＯＢ信号を受信したとき、以後、伝送されて
くる係数をスキップし、その後、再び送られてくるＥＯ
Ｂ信号より後の係数から再び処理を開始するようにする
ことができる。これに対して、ＨＤＴＶ信号系において
は、そのＩＤＣＴ回路７３は最初のＥＯＢ信号を無視
し、２回目のＥＯＢ信号をブロックのエンド信号として
検出する。

【０１２３】以上の実施例においては、デコーダ側にお
いて処理を選択するようにしたが、エンコーダ側からこ
の処理を指令するようにすることも可能である。図１８
および図１９は、この場合のエンコーダとデコーダを示
している。即ち、この場合においては、図１８に示すよ
うに、エンコーダにおいて、フレームメモリ５１に記憶
された１フィールド分の画像データから、動きベクトル
検出回路１０１（この回路は、動きベクトル検出回路５
０で兼用することができる）がブロックの動きベクトル
を検出する。１フレーム分のデータではなく、１フィー
ルド分のデータから動きを検出するのは、インターレー
スの間における動き、即ち、奇数フィールドと偶数フィ
ールドの間の動きを検出するためである。動きベクトル
検出回路１０１により検出された動きベクトル（動き情
報）は、可変長符号化回路５８に供給され、１ビットま
たは２ビットのデータとして、ビットストリームとして
デコーダ側に伝送される。

【０１２４】デコーダ側においては、図１９に示すよう
に、可変長復号化回路７１において、エンコーダ側から
送られてきた動き情報を検出し、この動き情報に対応し
て選択回路８２を制御する。即ち、この場合において
は、選択回路８２は、例えば図２０に示すように構成さ
れる。この実施例においては、可変長復号化回路７１よ
り供給された動き情報が、判定回路１１１により判定さ
れ、その判定結果に対応してアドレス制御回路９１が制
御され、メモリ９２より読み出されるデータが制御され
るようになっている。

【０１２５】従って、図１３乃至図１５に示した処理の
うちのいずれか２つを実行させる場合においては、所定
の１ビットのフラグをエンコーダ側から伝送するように
すれば、デコーダ側においてこのフラグに対応して、図
１４乃至図１５に示す処理のいずれか２つが実行される
ことになる。

【０１２６】さらにまた、例えば、この動き情報として
のビット数を２ビット用意すれば、合計４種類のデータ
を送出することが可能である。そこで例えば、動きが大
きい場合、中程度の場合、小さい場合、および静止して
いる場合に分けて、動きが大きい場合においては図１５
に示す処理を実行させ、動きが中程度である場合におい
ては図１４に示す処理を実行させ、動きが小さい場合に
おいては図１３に示す処理を実行させ、そして、静止画
である場合においては図１２に示す処理を実行させるよ
うにすることができる。

【０１２７】以上においては、４×４個の係数データの
うち、第４行目の係数データあるいは第３行目と第４行
目の係数データを、第８行目の係数データあるいは第７
行目と第８行目のデータと置換するようにしたが、少な
くとも１つの係数データを置換するようにすることがで
きる。また、逆に置換する行を３行に増加することも可
能である。

【０１２８】さらに、上記実施例においては、行方向の
データのみを置換するようにしたが、列方向のデータを
置換するようにすることも可能である。

【０１２９】さらにまた、上記実施例においては、画素
データをＤＣＴ処理するようにしたが、ＤＣＴ以外の直
交変換を行う場合にも本発明は適用が可能である。

【０１３０】また、上述の実施例においては、エンコー
ダ側で量子化回路５７から出力された８×８個の量子化
データを、そのまま可変長符号化して伝送し、スタンダ
ードＴＶの画像を得る場合には、デコーダ側で、４×４
個分のデータを抽出するようにしたが、エンコーダ側で
低周波側（左上）の４×４個の量子化データとそれ以外
の量子化データとに分離し、それぞれ可変長符号化して
伝送し、スタンダードＴＶの画像を得る場合には、その
まま低周波側（左上）の４×４個の量子化データのみを
復号化するようにし、フル解像度の画像を得る際に、デ
コーダ側でそれぞれ可変長復号化して、２種類の量子化
データを合成した後、逆量子化を行うようにしてもよ
い。

【０１３１】

【発明の効果】以上の如く本発明によれば、所定の数の
係数データのうち、一部の範囲の係数データを抽出し、
これを逆直交変換する場合において、その一部の範囲に
含まれない係数データを含むようにし、また、予測フラ
グに応じてエンコーダ側の予測画像とフィールドのパリ
ティが一致するような動き補償を行うようにしたので、
インターレースによる画像の動きが、ぎこちなくなるよ
うなことが抑制される。

【図面の簡単な説明】

【図１】本発明の画像信号符号化装置の一実施例の構成
を示すブロック図である。

【図２】図１の予測モード切り替え回路５２の動作を説
明する図である。

【図３】図１のＤＣＴモード切り替え回路５５の動作を
説明する図である。

【図４】図７のアドレス制御回路９１の動作を説明する
図である。

【図５】図４に示すデータをジグザグスキャンする順番
を説明する図である。

【図６】本発明の画像信号復号化装置の一実施例の構成
を示すブロック図である。

【図７】図６の選択回路８２の構成例を示すブロック図
である。

【図８】図６の動き補償回路７６と８５のフレーム予測
モード（１）時の動き補償の動作を説明する図である。

【図９】図６の動き補償回路７６と８５のフィールド予
測モード時の動き補償の動作を説明する図である。

【図１０】図６の動き補償回路７６と８５のフレーム予
測モード（２）時の動き補償の動作を説明する図であ
る。

【図１１】図６の動き補償回路７６と８５のフレーム予
測モード（３）時の動き補償の動作を説明する図であ
る。

【図１２】図４の左上の領域から抽出したデータを示す
図である。

【図１３】図４の第４行目のデータと第８行目のデータ
を加算して図１２の第４行目のデータとした場合のデー
タを説明する図である。

【図１４】図４の第４行目のデータを第８行目のデータ
で置換した場合のデータの構成を説明する図である。

【図１５】図４の第３行目のデータと第４行目のデータ
を、第７行目のデータと第８行目のデータとで置換した
場合のデータの構成を説明する図である。

【図１６】図１５に示した処理の結果得られるデータを
伝送する場合におけるジグザグスキャンの順番を説明す
る図である。

【図１７】図１６のジグザグスキャンを行った場合にお
けるデータの伝送を説明するシンタックスダイヤグラム
である。

【図１８】本発明の画像信号符号化装置の他の実施例の
構成を示すブロック図である。

【図１９】本発明の画像信号復号化装置の他の実施例の
構成を示すブロック図である。

【図２０】図１９の選択回路８２の構成例を示すブロッ
ク図である。

【図２１】従来の画像信号符号化装置と復号化装置の構
成例を示すブロック図である。

【図２２】データを圧縮する様子を説明する図である。

【図２３】画像データを圧縮する場合におけるピクチャ
タイプを説明する図である。

【図２４】動画像信号を符号化する原理を説明する図で
ある。

【図２５】伝送フォーマットを説明する図である。

【図２６】図２１のデコーダ９の構成例を示すブロック
図である。

【図２７】図２６の抽出回路２１により抽出されるデー
タを説明する図である。

【図２８】図２６の抽出回路２２により抽出されるデー
タを説明する図である。

【符号の説明】

７エンコーダ９デコーダ５０動きベクトル検出回路５１フレームメモリ５２予測モード切り替え回路５３演算部５４予測判定回路５５ＤＣＴモード切り替え回路５６ＤＣＴ回路５７量子化回路５８可変長符号化回路５８ａＥＯＢ発生器６０逆量子化回路６１ＩＤＣＴ回路６３フレームメモリ６４動き補償回路７１可変長復号化回路７２逆量子化回路７３ＩＤＣＴ回路７４フレームメモリ７６動き補償回路８１逆量子化回路８２選択回路８３ＩＤＣＴ回路８５フレームメモリ８６動き補償回路８７スケーリング回路９０演算回路９１アドレス制御回路９２メモリ

───────────────────────────────────────────────────── フロントページの続き (72)発明者米満潤東京都品川区北品川６丁目７番35号ソニー株式会社内 (72)発明者鈴木輝彦東京都品川区北品川６丁目７番35号ソニー株式会社内

Claims

【特許請求の範囲】

【請求項１】画素データを直交変換して形成した第１
のブロックの係数データから、上記第１のブロックより
小さい範囲の第２のブロックの上記係数データを抽出し
て逆直交変換を行う画像信号復号化方法において、上記第２のブロック内の少なくとも１つの上記係数デー
タを、上記第１のブロック内であって、上記第２のブロ
ック外の上記係数データに置き換えたデータに対して逆
直交変換を行うことを特徴とする画像信号復号化方法。
【請求項２】上記第１のブロックはｍ×ｎ個の上記係
数データからなり、かつ上記第２のブロックはｊ×ｋ個
（但しｊ＜ｍ，ｋ＜ｎ）の上記係数データからなり、上記第２のブロック内のｊ−Ｎ＋１（但しＮは１，２，
３・・・ｊ−１）行目からｊ行目の連続する上記係数デ
ータを、それぞれ上記第１のブロックの対応する列のｍ
−Ｎ＋１行目からｍ行目の上記係数データに置き換えた
データに対して逆直交変換を行うことを特徴とする請求
項１に記載の画像信号復号化方法。
【請求項３】画素データを直交変換して形成した第１
のブロックの係数データから、上記第１のブロックより
小さい範囲の第２のブロックの上記係数データを抽出し
て逆直交変換する画像信号復号化方法において、上記第２のブロック内の少なくとも１つの上記係数デー
タを、上記第２のブロック内の上記係数データと、上記
第１のブロック内であって、上記第２のブロック外の上
記係数データの和に置き換えたデータに対して逆直交変
換を行うことを特徴とする画像信号復号化方法。
【請求項４】上記第１のブロックはｍ×ｎ個の上記係
数データからなり、かつ上記第２のブロックはｊ×ｋ個
（但しｊ＜ｍ，ｋ＜ｎ）の上記係数データからなり、上記第２のブロック内のｊ行目の連続する上記係数デー
タを、それぞれ対応する列のｊ行目の上記係数データと
上記第１のブロックのｍ行目の上記係数データの和に置
き換えたデータに対して逆直交変換を行うことを特徴と
する請求項３に記載の画像信号復号化方法。
【請求項５】２つのフィールドからなるインターレー
ス構造を有するフレームの画素データを直交変換して形
成した第１のブロックのｍ×ｎ個の係数データから、ｊ
×ｋ個（但しｊ＜ｍ，ｋ＜ｎ）の上記係数データからな
る第２のブロックを抽出して逆直交変換する画像信号復
号化方法において、上記第１のブロックにおける上記２つのフィールド間の
動きを判別し、その判別結果に対応して、上記第２のブロックの上記係
数データをそのまま逆直交変換する第１の逆直交変換モ
ードと、上記第２のブロック内の少なくとも１つの上記
係数データを、上記第２のブロック外であって、上記第
１のブロック内の上記係数データに置き換えて逆直交変
換する第２の逆直交変換モードのいずれかを選択するこ
とを特徴とする画像信号復号化方法。
【請求項６】２つのフィールドからなるインターレー
ス構造を有するフレームの画素データを直交変換して形
成した第１のブロックのｍ×ｎ個の係数データから、ｊ
×ｋ個（但しｊ＜ｍ，ｋ＜ｎ）の上記係数データからな
る第２のブロックを抽出して逆直交変換する画像信号復
号化方法において、上記第１のブロックにおける上記２つのフィールド間の
動きを判別し、その判別結果に対応して、上記第２のブロックの上記係
数データをそのまま逆直交変換する第１の逆直交変換モ
ードと、上記第２のブロック内のｊ−Ｎ＋１（但しＮは
１，２，３・・・ｊ−１）行目からｊ行目の連続する上
記係数データを、それぞれ上記第１のブロックの対応す
る列のｍ−Ｎ＋１行目からｍ行目の上記係数データに置
き換えて逆直交変換する第２の逆直交変換モードのいず
れかを選択することを特徴とする請求項５に記載の画像
信号復号化方法。
【請求項７】上記第１のブロック内のｊ行目の各係数
データの絶対値和Ｊと、ｍ行目の各係数データの絶対値
和Ｍの比較結果に対応して、上記２つのフィールド間の
動きを判別することを特徴とする請求項６に記載の画像
信号復号化方法。
【請求項８】上記第１のブロックのｍ×ｎ個の係数デ
ータが、フレーム予測モードで動き補償が行われた予測
画像との差分に基づいて生成されている場合、上記絶対
値和Ｊが上記絶対値和Ｍと等しいか、それより大きいと
き、第１のフレーム予測モードで上記第２のブロックの
予測画像を生成し、上記絶対値和Ｊが上記絶対値和Ｍよ
り小さいとき、第２のフレーム予測モードで上記第２の
ブロックの予測画像を生成することを特徴とする請求項
７に記載の画像信号復号化方法。
【請求項９】上記絶対値和Ｊが上記絶対値和Ｍと等し
いか、それより大きいとき、上記第１の逆直交変換モー
ドを選択し、上記絶対値和Ｊが上記絶対値和Ｍより小さ
いとき、Ｎ＝１の上記第２の逆直交変換モードを選択す
ることを特徴とする請求項７に記載の画像信号復号化方
法。
【請求項１０】上記絶対値和Ｊが上記絶対値和Ｍと等
しいか、それより大きいとき、上記第１の逆直交変換モ
ードを選択し、上記絶対値和Ｊが上記絶対値和Ｍより小
さいとき、Ｎ＝２の上記第２の逆直交変換モードを選択
することを特徴とする請求項７に記載の画像信号復号化
方法。
【請求項１１】インターレース構造を有する２つのフ
ィールドからなるフレームの画素データを直交変換して
形成した第１のブロックのｍ×ｎ個の係数データから、
ｊ×ｋ個（但しｊ＜ｍ，ｋ＜ｎ）の上記係数データから
なる第２のブロックを抽出して逆直交変換する画像信号
復号化方法において、上記係数データと共に伝送された情報に基づいて、上記
第２のブロックの上記係数データをそのまま逆直交変換
する第１の逆直交変換モードと、上記第２のブロック内
のｊ−Ｎ＋１（但しＮは１，２，３・・・ｊ−１）行目
からｊ行目の連続する上記係数データを、それぞれ対応
する列のｍ−Ｎ＋１行目からｍ行目の上記係数データに
置き換えたデータに対して逆直交変換を行う第２の逆直
交変換モードのいずれかを選択することを特徴とする画
像信号復号化方法。
【請求項１２】上記情報は、静止していることを示す
第１の動き情報と、動きがあることを示す第２の動き情
報とを含み、上記第１の動き情報が検出されたとき、上記第１の逆直
交変換モードを選択し、上記第２の動き情報が検出され
たとき、Ｎ＝１の上記第２の逆直交変換モードを選択す
ることを特徴とする請求項１１に記載の画像信号復号化
方法。
【請求項１３】上記情報は、静止していることを示す
第１の動き情報と、動きがあることを示す第２の動き情
報とを含み、上記第１の動き情報が検出されたとき、上記第１の逆直
交変換モードを選択し、上記第２の動き情報が検出され
たとき、Ｎ＝２の上記第２の逆直交変換モードを選択す
ることを特徴とする請求項１１に記載の画像信号復号化
方法。
【請求項１４】上記情報は、静止していることを示す
第１の動き情報と、小さい動きがあることを示す第２の
動き情報と、大きい動きがあることを示す第３の動き情
報とを含み、上記第１の動き情報が検出されたとき、上記第１の逆直
交変換モードを選択し、上記第２の動き情報が検出され
たとき、Ｎ＝１の上記第２の逆直交変換モードを選択
し、上記第３の動き情報が検出されたとき、Ｎ＝２の上
記第２の逆直交変換モードを選択することを特徴とする
請求項１１に記載の画像信号復号化方法。
【請求項１５】ｍ＝ｎかつｊ＝ｋであることを特徴と
する請求項３乃至１４のいずれかに記載の画像信号復号
化方法。
【請求項１６】ｍ＝ｎ＝８かつｊ＝ｋ＝４であること
を特徴とする請求項１５に記載の画像信号復号化方法。
【請求項１７】上記直交変換はＤＣＴであり、かつ上
記逆直交変換はＩＤＣＴであることを特徴とする請求項
１乃至１６のいずれかに記載の画像信号復号化方法。
【請求項１８】上記画素データが、２つのフィールド
からなるインターレース構造を有するフレームの画像デ
ータであり、上記第１のブロックの係数データが、フレーム予測モー
ドまたはフィールド予測モードで動き補償が行われた予
測画像との差分に基づいて生成されている場合、上記第
１のブロックの予測モードに対応して動き補償を行って
上記第２のブロックの予測画像を生成することを特徴と
する請求項１乃至４のいずれかに記載の画像信号復号化
方法。
【請求項１９】上記第１のブロックの係数データが、
フレーム予測モードで動き補償が行われた予測画像との
差分に基づいて生成されている場合、上記第２のブロッ
クの予測画像の画素のフィールドが、上記第１のブロッ
クの予測画像の対応する画素のフィールドと一致するよ
うに、上記第２のブロックの動き補償を行うことを特徴
とする請求項１８に記載の画像信号復号化方法。
【請求項２０】上記動き補償に際し、上記第１のブロ
ックの予測画像の画素が補間により生成された場合、上
記第２のブロックの予測画像の対応する画素も補間によ
り生成することを特徴とする請求項１９に記載の画像信
号復号化方法。
【請求項２１】上記動き補償に際し、上記第２のブロ
ックの予測画像に、上記第１のブロックの予測画像の画
素に対応する画素が存在する場合、その画素を動き補償
に用いることを特徴とする請求項１８または１９に記載
の画像信号復号化方法。
【請求項２２】上記第１のブロックの係数データが、
フィールド予測モードで動き補償が行われた予測画像と
の差分に基づいて生成されている場合、上記第２のブロ
ックの予測画像の画素の位置が、上記第１のブロックの
予測画像の対応する画素の位置と一致するように、上記
第２のブロックの動き補償を行うことを特徴とする請求
項１８または１９に記載の画像信号復号化方法。
【請求項２３】２つのフィールドからなるインターレ
ース構造を有するフレームの画素データを直交変換して
ｍ×ｎ個の係数データを形成する直交変換手段と、上記係数データを量子化し、量子化データを出力する量
子化手段と、上記量子化データを可変長符号化するとともに、上記ｍ
×ｎ個の係数データのうち、ｊ×ｋ個（但しｊ＜ｍ，ｋ
＜ｎ）の上記係数データに対応する第１の量子化データ
群、１列目からｋ列目でかつｍ−Ｎ＋１（但しＮは１，
２，３・・・ｊ−１）行目からｍ行目の上記係数データ
に対応する第２の量子化データ群、および上記ｍ×ｎ個
の上記係数データのうち、上記第１と第２の量子化デー
タ群に対応する上記係数データを除く上記係数データに
対応する第３の量子化データ群の順に伝送する可変長符
号化手段とを有することを特徴とする画像信号符号化装
置。
【請求項２４】２つのフィールドからなるインターレ
ース構造を有するフレームの画素データを直交変換して
ｍ×ｎ個の係数データを形成する直交変換手段と、上記２つのフィールド間の動きを検出し、動き情報を出
力する動き検出手段と、上記係数データを量子化し、量子化データを出力する量
子化手段と、上記動き情報及び上記量子化データを可変長符号化して
伝送する可変長符号化手段とを有することを特徴とする
画像信号符号化装置。
【請求項２５】上記可変長符号化手段は、上記量子化データを可変長符号化するとともに、上記ｍ
×ｎ個の係数データのうちのｊ×ｋ個（但しｊ＜ｍ，ｋ
＜ｎ）の係数データに対応する第１の量子化データ群、
１列目からｋ列目でかつｍ−Ｎ＋１（但しＮは１，２，
３・・・ｊ−１）行目からｍ行目の上記係数データに対
応する第２の量子化データ群、および上記ｍ×ｎ個の上
記係数データのうち、上記第１と第２の量子化データ群
に対応する上記係数データを除く上記係数データに対応
する第３の量子化データ群の順に伝送することを特徴と
する請求項２４に記載の画像信号符号化装置。
【請求項２６】上記可変長符号化手段は、上記第２及び第３の量子化データ群の終端に終端情報を
付加する手段を含むことを特徴とする請求項２３乃至２
５のいずれかに記載の画像信号処理装置。
【請求項２７】ｍ＝ｎかつｊ＝ｋであることを特徴と
する請求項２３乃至２６のいずれかに記載の画像信号符
号化装置。
【請求項２８】ｍ＝ｎ＝８かつｊ＝ｋ＝４であること
を特徴とする請求項２７に記載の画像信号符号化装置。
【請求項２９】上記直交変換はＤＣＴであることを特
徴とする請求項２３乃至２５のいずれかに記載の画像信
号符号化装置。
【請求項３０】２つのフィールドからなるインターレ
ース構造を有するフレームの画素データを直交変換して
ｍ×ｎ個の係数データを形成し、上記係数データを量子
化し、可変長符号化することにより形成された伝送デー
タを復号する画像信号復号化装置において、上記伝送データを可変長復号化して復号データを出力す
る可変長復号化手段と、上記復号データを逆量子化して上記係数データを出力す
る逆量子化手段と、上記係数データから、ｊ行目の連続する上記係数データ
を、それぞれ対応する列のｊ行目の上記係数データとｍ
行目の上記係数データの和に置き換えたｊ×ｋ個（但し
ｊ＜ｍ，ｋ＜ｎ）の上記係数データを抽出する抽出手段
と、上記抽出手段により抽出されたｊ×ｋ個の上記係数デー
タを逆直交変換する逆直交変換手段とを有することを特
徴とする画像信号復号化装置。
【請求項３１】２つのフィールドからなるインターレ
ース構造を有するフレームの画素データを直交変換して
第１のブロックを構成するｍ×ｎ個の係数データを形成
し、上記係数データを量子化し、可変長符号化すること
により形成された伝送データを復号する画像信号復号化
装置において、上記伝送データを可変長復号化して復号データを出力す
る可変長復号化手段と、上記復号データを逆量子化して係数データを出力する逆
量子化手段と、上記第１のブロックにおける上記２つのフィールド間の
動きを判別する動き判別手段と、上記動き判別手段の判別結果に対応して、ｊ×ｋ個（但
しｊ＜ｍ，ｋ＜ｎ）の第１の係数データ、または、ｊ−
Ｎ＋１（但しＮは１，２，３・・・ｊ−１）行目からｊ
行目の連続する上記係数データが、それぞれ対応する列
のｍ−Ｎ＋１行目からｍ行目の係数データに置き換えら
れたｊ×ｋ個の第２の係数データを選択して抽出する抽
出手段と、上記抽出手段により抽出されたｊ×ｋ個の上記係数デー
タを逆直交変換する逆直交変換手段とを有することを特
徴とする画像信号復号化装置。
【請求項３２】上記判別手段は、ｊ行目の各係数データの絶対値和Ｊを演算する手段と、ｊ行目の各係数データに対応する列のｍ行目の各係数デ
ータの絶対値和Ｍを演算する手段と、上記絶対値和Ｊと上記絶対値和Ｍの比較を行う手段とを
含むことを特徴とする請求項３１に記載の画像信号復号
化装置。
【請求項３３】上記抽出手段は、上記絶対値和Ｊが、
上記絶対値和Ｍと等しいか、またはそれより大きいと
き、上記第１の係数データを選択し、上記絶対値和Ｊが
上記絶対値和Ｍより小さいとき、Ｎ＝１の上記第２の係
数データを選択することを特徴とする請求項３２に記載
の画像信号復号化装置。
【請求項３４】上記抽出手段は、上記絶対値和Ｊが、
上記絶対値和Ｍと等しいか、またはそれより大きいと
き、上記第１の係数データを選択し、上記絶対値和Ｊが
上記絶対値和Ｍより小さいとき、Ｎ＝２の上記第２の係
数データを選択することを特徴とする請求項３２に記載
の画像信号復号化装置。
【請求項３５】上記動き判別手段は、上記伝送データ
に含まれた動き情報を検出する動き情報検出手段を含む
ことを特徴とする請求項３１に記載の画像復号化装置。
【請求項３６】上記動き情報は、静止していることを
示す第１の動き情報と、動きがあることを示す第２の動
き情報とを含み、上記抽出手段は、上記第１の動き情報が検出されたと
き、上記第１の係数データを選択し、上記第２の動き情
報が検出されたとき、Ｎ＝１の上記第２の係数データを
選択することを特徴とする請求項３５に記載の画像信号
復号化装置。
【請求項３７】上記動き情報は、静止していることを
示す第１の動き情報と、動きがあることを示す第２の動
き情報とを含み、上記抽出手段は、上記第１の動き情報が検出されたと
き、上記第１の係数データを選択し、上記第２の動き情
報が検出されたとき、Ｎ＝２の上記第２の係数データを
選択することを特徴とする請求項３５に記載の画像信号
復号化装置。
【請求項３８】上記動き情報は、静止していることを
示す第１の動き情報と、小さい動きがあることを示す第
２の動き情報と、大きい動きがあることを示す第３の動
き情報とを含み、上記抽出手段は、上記第１の動き情報が検出されたと
き、上記第１の係数データを選択し、上記第２の動き情
報が検出されたとき、Ｎ＝１の上記第２の係数データを
選択し、上記第３の動き情報が検出されたとき、Ｎ＝２
の上記第２の係数データを選択することを特徴とする請
求項３５に記載の画像信号復号化装置。
【請求項３９】ｍ＝ｎかつｊ＝ｋであることを特徴と
する請求項３０乃至３８のいずれかに記載の画像信号復
号化装置。
【請求項４０】ｍ＝ｎ＝８かつｊ＝ｋ＝４であること
を特徴とする請求項３９に記載の画像信号復号化装置。
【請求項４１】上記直交変換はＤＣＴであり、かつ上
記逆直交変換はＩＤＣＴであることを特徴とする請求項
３０乃至４０のいずれかに記載の画像信号復号化装置。
【請求項４２】２つのフィールドからなるインターレ
ース構造を有するフレームの画素データを直交変換して
ｍ×ｎ個の係数データを形成し、上記係数データを量子化して量子化データを出力し、上記量子化データを、上記ｍ×ｎ個の係数データのうち
のｊ×ｋ個（但しｊ＜ｍ，ｋ＜ｎ）の係数データに対応
する第１の量子化データ群、１列目からｋ列目でかつｍ
−Ｎ＋１（但しＮは１，２，３・・・ｊ−１）行目から
ｍ行目の上記係数データに対応する第２の量子化データ
群、および上記ｍ×ｎ個の上記係数データのうち、上記
第１と第２の量子化データ群に対応する上記係数データ
を除く上記係数データに対応する第３の量子化データ群
の順に可変長符号化することを特徴とする画像信号符号
化方法。
【請求項４３】２つのフィールドからなるインターレ
ース構造を有するフレームの画素データを直交変換して
ｍ×ｎ個の係数データを形成し、上記２つのフィールド間の動きを検出して動き情報を出
力し、上記係数データを量子化して量子化データを出力し、上記動き情報及び上記量子化データを可変長符号化して
伝送することを特徴とする画像信号符号化方法。
【請求項４４】可変長符号化した上記量子化データの
伝送は、上記ｍ×ｎ個の係数データのうちのｊ×ｋ（但しｊ＜
ｍ，ｋ＜ｎ）個の係数データに対応する第１の量子化デ
ータ群、１列目からｋ列目でかつｍ−Ｎ＋１（但しＮは
１，２，３・・・ｊ−１）行目からｍ行目の上記係数デ
ータに対応する第２の量子化データ群、および上記ｍ×
ｎ個の上記係数データのうち、上記第１と第２の量子化
データ群に対応する上記係数データを除く上記係数デー
タに対応する第３の量子化データ群の順に行なわれるこ
とを特徴とする請求項４３に記載の画像信号符号化方
法。
【請求項４５】可変長符号化した上記量子化データ
は、上記第２及び第３の量子化データ群の終端に終端情報を
付加して伝送されることを特徴とする請求項４２，４３
または４４に記載の画像信号符号化方法。
【請求項４６】ｍ＝ｎかつｊ＝ｋであることを特徴と
する請求項４２乃至４５のいずれかに記載の画像信号符
号化方法。
【請求項４７】ｍ＝ｎ＝８かつｊ＝ｋ＝４であること
を特徴とする請求項４６に記載の画像信号符号化方法。
【請求項４８】上記直交変換はＤＣＴであることを特
徴とする請求項４２乃至４７のいずれかに記載の画像信
号符号化方法。