JPH06343171A

JPH06343171A - 画像符号化方法及び装置

Info

Publication number: JPH06343171A
Application number: JP6365994A
Authority: JP
Inventors: Katsumi Tawara; 勝己田原; Nobuhisa Taihou; 伸久帯包
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 1993-03-31
Filing date: 1994-03-31
Publication date: 1994-12-13

Abstract

(57)【要約】【構成】画像信号をフレーム単位でブロック化してＤ
ＣＴを行うフレームＤＣＴ回路２００と、画像信号をフ
ィールド単位でブロック化してＤＣＴを行うフィールド
ＤＣＴ回路２０１と、フレームＤＣＴ回路２００，フィ
ールドＤＣＴ回路２０１で生成したＤＣＴ係数の情報量
に基づいてフレーム／フィールドでのＤＣＴ係数のいず
れかを選択するフレーム／フィールドＤＣＴモード切り
換え回路２５５とを有する。【効果】符号化効率の面から最適なフレーム／フィー
ルド予測モードの判断及びフレーム／フィールドＤＣＴ
モードの判断を実現することができる。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、光ディスクや磁気テー
プなどの蓄積系動画像メディアを用いた情報記録装置、
または、例えばいわゆるテレビ会議システム、動画電話
システム、放送用機器などの情報伝送装置などに好適な
解像度可変の画像符号化方法及び装置に関するものであ
る。

【０００２】

【従来の技術】従来、例えば、テレビ会議システム、テ
レビ電話システムなどのように、動画像信号を遠隔地に
伝送する画像信号伝送システムにおいては、伝送路を効
率良く利用するため、画像信号のライン相関やフレーム
間相関を利用して、画像信号を符号化し、これにより有
意情報の伝送効率を高めるように（圧縮）なされてい
る。

【０００３】上記ライン相関を利用する場合には、画像
信号を、例えばＤＣＴ（離散コサイン変換）処理するな
どして圧縮することができる。例えば、フレーム内符号
化処理は、画像信号の上記ライン相関を利用するもの
で、図５のＡに示すように、時刻ｔ＝ｔ１，ｔ２，ｔ３
において動画を構成する各画像ＰＣ１，ＰＣ２，ＰＣ３
を伝送しようとする場合に、伝送処理すべき画像データ
を同一走査線内で１次元符号化して伝送するものであ
る。

【０００４】また、フレーム間相関を利用すると、画像
信号をさらに圧縮して符号化することが可能となる。例
えば図５のＡに示すように、時刻ｔ＝ｔ１，ｔ２，ｔ３
において、フレーム画像ＰＣ１，ＰＣ２，ＰＣ３がそれ
ぞれ発生しているとき、フレーム画像ＰＣ１とＰＣ２の
画像信号の差を演算して、図５のＢに示すように画像Ｐ
Ｃ１２を生成し、また、図５のＡのフレーム画像ＰＣ２
とＰＣ３の差を演算して、図５のＢの画像ＰＣ２３を生
成する。通常、時間的に隣接するフレームの画像は、そ
れ程大きな変化を有していないため、両者の差を演算す
ると、その差分信号は小さな値のものとなる。すなわ
ち、図５のＢに示す画像ＰＣ１２においては、図５のＡ
のフレーム画像ＰＣ１とＰＣ２の画像信号の差として、
図５のＢの画像ＰＣ１２の図中斜線で示す部分の信号が
得られ、また、図５のＢに示す画像ＰＣ２３において
は、図５のＡのフレーム画像ＰＣ２とＰＣ３の画像信号
の差として、図５のＢの画像ＰＣ２３の図中斜線で示す
部分の信号が得られる。そこで、この差分信号を符号化
すれば、符号量を圧縮することができる。

【０００５】上述のような画像信号を伝送するシステム
によれば、画像ＰＣ１、ＰＣ２、ＰＣ３、・・・の全て
の画像データを伝送する場合と比較して、格段にデータ
量の少ないディジタルデータに高能率符号化でき、これ
を伝送路に送出し得るようになる。

【０００６】上述したような画像データの伝送において
は、具体的には補間フレームの画像情報を送信側におい
て形成して受信側に伝送する。すなわち、図６のＡに示
すように、伝送しようとする動画像信号ＶＤの第０番
目、第１番目、第２番目、第３番目、・・・のフレーム
のフレームデータＦ０，Ｆ１，Ｆ２，Ｆ３，・・・にお
いて、順次これらフレーム間に動きベクトルＸ０，Ｘ
１，Ｘ２，Ｘ３，・・・でそれぞれ表されるような画像
の変化があった場合、送信側は所定フレーム数（例えば
１フレーム）おきの、すなわち第２番目、第４番目、・
・・のフレームを補間フレームに指定して補間フレーム
処理（差分処理）を実行する。

【０００７】そして、これにより、図６のＢに示すよう
な伝送補間フレームデータ（差分データ）Ｆ２Ｘ，Ｆ４
Ｘ，・・・を成し、この伝送補間フレームデータ（差分
データ）Ｆ２Ｘ，Ｆ４Ｘ，・・・を、残る非補間フレー
ム（フレーム内符号化）である第１番目、第３番目、第
５番目の非補間フレームデータＦ１Ｘ，Ｆ３Ｘ，Ｆ５
Ｘ，・・・と、動きベクトルＸ０，Ｘ１，Ｘ２，Ｘ３，
・・・のデータと共に、伝送データＤＡＴＡとして受信
側に伝送する。

【０００８】画像の予測（補間）方法に関して、さらに
具体的な説明を図７を用いて行う。

【０００９】画像は、図７のＡに示すように、複数枚の
画像データによるグループオブピクチャ（Group of Pic
ture) 単位で予測が行われる。ここで、上記画像には、
Ｉピクチャ（イントラ符号化画像：Intra-coded pictur
e)、Ｐピクチャ（前方予測符号化画像： Perdictive-co
ded picture)、Ｂピクチャ（両方向予測符号化画像：Bi
directionally-coded picture)の３種類のピクチャがあ
る。

【００１０】先ず、Ｉピクチャは、画像内符号化画像と
呼ばれ、他の画像からの補間に依存せず、画像データそ
のものが空間的に単独で圧縮符号化されて伝送される。
Ｐピクチャは、図７のＡに示すように符号化する順番に
おける過去の画像から予測される画像であり、過去の画
像からの差分を符号化したデータが符号化データとして
伝送される。さらに、Ｂピクチャは、図７のＢに示すよ
うに、符号化する順番における過去と未来の２枚の画像
から、予測される画像である。

【００１１】次に、図８は、動画像信号を符号化して伝
送し、これを復号化する装置の構成例を示している。動
画像符号化装置１は、入力された映像信号ＶＤを符号化
し、伝送路としての記録媒体３に伝送して記録するよう
になされている。そして、復号化装置２は、記録媒体３
に記録された信号を再生し、これを復号して出力するよ
うになされている。

【００１２】先ず、符号化装置１においては、入力端子
１０を介して入力された映像信号ＶＤが前処理回路１１
に入力され、そこで輝度信号と色信号（この例の場合、
色差信号）が分離され、それぞれＡ／Ｄ変換器１２，１
３でＡ／Ｄ変換される。Ａ／Ｄ変換器１２，１３により
Ａ／Ｄ変換されて例えば８ビットのディジタル信号とな
った映像信号は、フレームメモリ１４に供給され、記憶
される。このフレームメモリ１４では、ディジタル輝度
信号を輝度信号フレームメモリ１５に、また、ディジタ
ル色差信号を色差信号フレームメモリ１６に、それぞれ
記憶させる。

【００１３】フォーマット変換回路１７は、フレームメ
モリ１４に記憶されたフレームフォーマットの信号を、
ブロックフォーマットの信号に変換する。

【００１４】すなわち、図９の（Ａ）に示すように、フ
レームメモリ１４に記憶された映像信号は、１ライン当
りＨドットのラインがＶライン集められたフレームフォ
ーマットのデータとされている。フォーマット変換回路
１７は、この１フレームの信号を、１６ラインを単位と
してＮ個のスライスに区分する。そして、各スライス
は、図９の（Ｂ）に示すように、Ｍ個のマクロブロック
に分割される。各マクロブロックは、図９の（Ｃ）に示
すように、１６×１６個の画素（ドット）に対応する輝
度信号により構成され、この輝度信号は、図９の（Ｃ）
に示すように、さらに８×８ドットを単位とする微小ブ
ロックＹ［１］乃至Ｙ［４］に区分される。そして、こ
の１６×１６ドットの輝度信号には、８×８ドットのＣ
ｂ信号と、８×８ドットのＣｒ信号が対応される。

【００１５】ここで、上述のスライス内の画像データの
配列は、マクロブロック単位で画像データが連続するよ
うになされており、このマクロブロック内ではラスタ走
査の順で微小ブロック単位で画像データが連続するよう
になされている。また、上記マクロブロックには、後述
するように、予測に対するブロック化モードと、ＤＣＴ
に対する符号化モードがある。

【００１６】なお、上記マクロブロックは、輝度信号に
対して、水平及び垂直走査方向に連続する１６×１６画
素の画像データ（Ｙ１〜Ｙ４）を１つの単位とするのに
対し、これに対応する２つの色差信号においては、デー
タ量が低減処理された後、時間軸多重化処理され、それ
ぞれ１つの微小ブロックＣｒ，Ｃｂに１６×１６画素分
のデータが割り当てられている。

【００１７】このように、ブロックフォーマットに変換
されたデータは、フォーマット変換回路１７からエンコ
ーダ１８に供給され、ここでエンコード（符号化）が行
われる。その詳細については、図１０を参照して後述す
る。

【００１８】エンコーダ１８によりエンコードされた信
号は、ビットストリームとして伝送路に出力され、例え
ば記録媒体３に記録される。

【００１９】記録媒体３より再生されたデータは、復号
化装置２のデコーダ３１に供給され、デコードされる。
デコーダ３１の詳細については、図１４を参照して後述
する。

【００２０】デコーダ３１によりデコードされたデータ
は、フォーマット変換回路３２に入力され、上記ブロッ
クフォーマットからフレームフォーマットに変換され
る。そして、フレームフォーマットの輝度信号は、フレ
ームメモリ３３の輝度信号フレームメモリ３４に供給さ
れ、記憶され、色差信号は色差信号フレームメモリ３５
に供給され、記憶される。輝度信号フレームメモリ３４
と色差信号フレームメモリ３５より読み出された輝度信
号と色差信号は、Ｄ／Ａ変換器３６と３７によりそれぞ
れＤ／Ａ変換され、後処理回路３８に供給され、合成さ
れる。この出力映像信号は、出力端子３０から図示せぬ
例えばＣＲＴなどのディスプレイに出力され、表示され
る。

【００２１】次に図１０を参照して、エンコーダ１８の
構成例について説明する。

【００２２】入力端子４９を介して供給された符号化さ
れるべき画像データは、マクロブロック単位で動きベク
トル検出回路５０に入力される。動きベクトル検出回路
５０は、予め設定されている所定のシーケンスに従っ
て、各フレームの画像データを、Ｉピクチャ、Ｐピクチ
ャ、またはＢピクチャとして処理する。シーケンシャル
に入力される各フレームの画像を、Ｉ，Ｐ，Ｂのいずれ
のピクチャとして処理するかは、予め定められている
（例えば、図７に示したように、フレームＦ１乃至Ｆ１
７により構成されるグループオブピクチャが、Ｉ，Ｂ，
Ｐ，Ｂ，Ｐ，・・・Ｂ，Ｐとして処理される）。

【００２３】Ｉピクチャとして処理されるフレーム（例
えばフレームＦ１）の画像データは、動きベクトル検出
回路５０からフレームメモリ５１の前方原画像部５１ａ
に転送、記憶され、Ｂピクチャとして処理されるフレー
ム（例えばフレームＦ２）の画像データは、原画像部
（参照原画像部）５１ｂに転送、記憶され、Ｐピクチャ
として処理されるフレーム（例えばフレームＦ３）の画
像データは、後方原画像部５１ｃに転送、記憶される。

【００２４】また、次のタイミングにおいて、さらにＢ
ピクチャ（例えば前記フレームＦ４）またはＰピクチャ
（前記フレームＦ５）として処理すべきフレームの画像
が入力されたとき、それまで後方原画像部５１ｃに記憶
されていた最初のＰピクチャ（フレームＦ３）の画像デ
ータが、前方原画像部５１ａに転送され、次のＢピクチ
ャ（フレームＦ４）の画像データが、原画像部５１ｂに
記憶（上書き）され、次のＰピクチャ（フレームＦ５）
の画像データが、後方原画像部５１ｃに記憶（上書き）
される。このような動作が順次繰り返される。

【００２５】フレームメモリ５１に記憶された各ピクチ
ャの信号は、そこから読み出され、予測モード切り換え
回路５２において、フレーム予測モード処理、またはフ
ィールド予測モード処理が行なわれる。さらにまた予測
判定回路５４の制御の下に、演算部５３において、画像
内予測、前方予測、後方予測、または両方向予測の演算
が行なわれる。これらの処理のうち、いずれの処理を行
なうかは、予測誤差信号（処理の対象とされている参照
画像と、これに対する予測画像との差分）に対応して決
定される。このため、動きベクトル検出回路５０は、こ
の判定に用いられる予測誤差信号の絶対値和（自乗和で
もよい）を生成する。

【００２６】ここで、予測モード切り換え回路５２にお
けるフレーム予測モードとフィールド予測モードについ
て説明する。

【００２７】フレーム予測モードが設定された場合にお
いては、予測モード切り換え回路５２は、動きベクトル
検出回路５０より供給される図１１のＡに示す４個の輝
度ブロックＹ［１］乃至Ｙ［４］を、そのまま後段の演
算部５３に出力する。即ち、この場合において、動きベ
クトル検出回路５０からの信号は、図１１のＡに示すよ
うに、各輝度ブロックに奇数フィールドのラインのデー
タと、偶数フィールドのラインのデータとが混在した状
態となっている。なお、図１１の各マクロブロック中の
実線は奇数フィールド（第１フィールドのライン）のラ
インのデータを、破線は偶数フィールド（第２フィール
ドのライン）のラインのデータを示し、図１１の図中ａ
及びｂは動き補償の単位を示している。このフレーム予
測モードにおいては、４個の輝度ブロック（マクロブロ
ック）を単位として予測が行われ、４個の輝度ブロック
に対して１個の動きベクトルが対応される。

【００２８】これに対して、予測モード切り換え回路５
２は、フィールド予測モードが設定された場合、図１１
のＡに示す構成で動きベクトル検出回路５０より入力さ
れる信号を、図１１のＢに示すように、４個の輝度ブロ
ックのうち、輝度ブロックＹ［１］とＹ［２］を、例え
ば奇数フィールドのラインのドットによりのみ構成さ
せ、他の２個の輝度ブロックＹ［３］とＹ［４］を、偶
数フィールドのラインのデータにより構成させて、演算
部５３に出力する。この場合においては、２個の輝度ブ
ロックＹ［１］とＹ［２］に対して、１個の動きベクト
ルが対応され、他の２個の輝度ブロックＹ［３］とＹ
［４］に対して、他の１個の動きベクトルが対応され
る。

【００２９】図１０の構成に即して説明すると、動きベ
クトル検出回路５０は、画像内符号化の評価値と、フレ
ーム予測モードにおける前方向，後方向及び両方向予測
の各予測誤差の絶対値和と、フィールド予測モードにお
ける前方向，後方向及び両方向予測の各予測誤差の絶対
値和を、予測判定回路５４に出力する。予測判定回路５
４は、画像内符号化の評価値及び各予測誤差の絶対値和
を比較し、その値が最も小さい予測モードに対応するフ
ィールド予測モード又はフレーム予測モードを予測モー
ド切り換え回路５２に指示する。予測モード切り換え回
路５２は、入力信号に上述した処理を施して、データを
演算部５３に出力する。

【００３０】尚、色差信号は、フレーム予測モードの場
合、図１１のＡに示すように、奇数フィールドのライン
のデータと偶数フィールドのラインのデータとが混在す
る状態で、演算部５３に供給される。また、フィールド
予測モードの場合、図１１のＢに示すように、各色差ブ
ロックＣｂ，Ｃｒの上半分（４ライン）が、輝度ブロッ
クＹ［１］，Ｙ［２］に対応する奇数フィールドの色差
信号とされ、下半分（４ライン）が、輝度ブロックＹ
［３］，Ｙ［４］に対応する偶数フィールドの色差信号
とされる。

【００３１】また、動きベクトル検出回路５０は、次の
ようにして、予測判定回路５４において、画像内符号
化、前方予測、後方予測、または両方向予測のいずれの
予測を行なうか及びフレーム予測又はフィールド予測の
いずれを行うかを決定するための予測誤差の絶対値和を
生成する。

【００３２】即ち、画像内符号化の予測誤差の絶対値和
に相当する評価値として、これから符号化される参照画
像のマクロブロックの信号Ａijとその平均値との差の絶
対値和Σ｜Ａij−（Ａijの平均値）｜を求める。また、
前方予測の予測誤差の絶対値和として、参照画像のマク
ロブロックの信号Ａijと、予測画像のマクロブロックの
信号Ｂijの差（Ａij−Ｂij）の絶対値｜Ａij−Ｂij｜の
和Σ｜Ａij−Ｂij｜を求める。また、後方予測と両方向
予測の予測誤差の絶対値和も、前方予測における場合と
同様に（その予測画像を前方予測における場合と異なる
予測画像に変更して）求める。また、予測誤差の絶対値
和は、フレーム予測モード，フィールド予測モードの両
方について求められる。

【００３３】これらの絶対値和は、予測判定回路５４に
供給される。予測判定回路５４は、フレーム予測モー
ド，フィールド予測モード各々の前方予測、後方予測及
び両方向予測の予測誤差の絶対値和のうち、最も小さい
ものを、インター(inter) 予測の予測誤差の絶対値和と
して選択する。さらに、このインター予測の予測誤差の
絶対値和と、画像内符号化の評価値とを比較し、その小
さい方を選択し、この選択した値に対応するモードを予
測モードとして選択する。即ち、画像内符号化の評価値
の方が小さければ、画像内符号化モードが設定される。
インター予測の予測誤差の絶対値和の方が小さければ、
前方予測、後方予測または両方向予測モードのうち、対
応する絶対値和が最も小さかったモードが設定される。

【００３４】このように、予測モード切り換え回路５２
は、参照画像のマクロブロックの信号を、フレームまた
はフィールド予測モードのうち、予測判定回路５４によ
り選択されたモードに対応する図１１で示したような構
成で、演算部５３に供給する。動きベクトル検出回路５
０は、予測判定回路５４により選択されたモードに対応
する予測画像と参照画像との間の動きベクトルを、後述
する可変長符号化回路５８と動き補償回路６４に出力す
る。なお、この動きベクトルとしては、対応する予測誤
差の絶対値和が最小となるものが選択される。

【００３５】予測判定回路５４は、動きベクトル検出回
路５０が前方原画像部５１ａよりＩピクチャの画像デー
タを読み出しているとき、予測モードとして、画像内符
号化モード（動き補償を行わないモード）を設定し、演
算部５３のスイッチ５３ｄを接点ａ側に切り換える。こ
れにより、Ｉピクチャの画像データがＤＣＴモード切り
換え回路５５に入力される。

【００３６】このＤＣＴモード切り換え回路５５は、図
１２のＡまたはＢに示すように、４個の輝度ブロックの
データを、奇数フィールドのラインと偶数フィールドの
ラインが混在する状態（フレームＤＣＴモード）、また
は、分離された状態（フィールドＤＣＴモード）、のい
ずれかの状態にして、ＤＣＴ回路５６に出力する。

【００３７】即ち、ＤＣＴモード切り換え回路５５は、
奇数フィールドと偶数フィールドのデータを混在してＤ
ＣＴ処理した場合における符号化効率と、分離した状態
においてＤＣＴ処理した場合の符号化効率とを比較し、
符号化効率の良好なモードを選択する。

【００３８】例えば、入力された信号を、図１２のＡに
示すように、奇数フィールドと偶数フィールドのライン
が混在する構成とし、上下に隣接する奇数フィールドの
ラインの信号と偶数フィールドのラインの信号の差を演
算し、さらにその絶対値の和（または自乗和）を求め
る。また、入力された信号を、図１２のＢに示すよう
に、奇数フィールドと偶数フィールドのラインが分離し
た構成とし、上下に隣接する奇数フィールドのライン同
士の信号の差と、偶数フィールドのライン同士の信号の
差を演算し、それぞれの絶対値の和（または自乗和）を
求める。さらに、両者（絶対値和）を比較し、小さい値
に対応するＤＣＴモードを設定する。例えば、前者の方
が小さければ、フレームＤＣＴモードを設定し、後者の
方が小さければ、フィールドＤＣＴモードを設定する。

【００３９】すなわち、上記フレーム／フィールドＤＣ
Ｔモードのモード決定法のアルゴリズムは、次のように
示すことができる。なお、O(pix,line) は、１６×１６
のマクロブロックの画素を示す。例えば、

【００４０】

【００４１】となる場合には、フィールドＤＣＴモード
が用いられる。そして、

【００４２】

【００４３】となる。また、上記ＤＣＴのモード判断を
行う具体的な構成としては、例えば図１３に示すような
構成を例に挙げることができる。すなわち、このモード
判断の構成において、図１３のａに示すように、フレー
ムでブロック化された１６×１６画素の輝度ブロックに
対して、各ライン間の差分を各差分器１６０で計算し、
これを対応する２乗回路１６１で２乗し、さらに加算回
路１６２で累積加算する。これによって、フレームＤＣ
Ｔモード相関を示す値Ｖａｒ１が計算される。一方、図
１３のｂに示すように、フィールドでブロック化された
２個の１６×８画素の輝度ブロックに４対して、それぞ
れのフィールド毎に各ライン間の差分を各差分器１７０
で計算し、これを対応する２状回路１７１で２乗し、さ
らに累積加算回路１７２で累積加算する。これによっ
て、フィールドＤＣＴモード相関を示す値Ｖａｒ２が計
算される。基本的には、相関が低い場合ほど、上記Ｖａ
ｒ１，Ｖａｒ２の値が大きくなる。このため、上記Ｖａ
ｒ１，Ｖａｒ２の値を比較回路１６５で比較し、この値
が小さいほうをＤＣＴのブロック化のモードとして採用
する。

【００４４】図１０に戻って、上記ＤＣＴモード切り換
え回路５５は、上述したようにして選択したＤＣＴモー
ドに対応する構成のデータをＤＣＴ回路５６に出力する
とともに、選択したＤＣＴモードを示すＤＣＴフラグ
を、可変長符号化回路５８と動き補償回路６４に出力す
る。

【００４５】なお、予測モード切り換え回路５２におけ
る予測モード（図１１参照）と、上記ＤＣＴモード切り
換え回路５５におけるＤＣＴモード（図１１参照）を比
較して明らかなように、輝度ブロックに関しては、両者
の各モードにおけるデータ構造は実質的に同一である。

【００４６】また、予測モード切り換え回路５２におい
て、フレーム予測モード（奇数ラインと偶数ラインが混
在するモード）が選択された場合、ＤＣＴモード切り換
え回路５５においても、フレームＤＣＴモード（奇数ラ
インと偶数ラインが混在するモード）が選択される可能
性が高く、また予測モード切り換え回路５２において、
フィールド予測モード（奇数フィールドと偶数フィール
ドのデータが分離されたモード）が選択された場合、Ｄ
ＣＴモード切り換え回路５５において、フィールドＤＣ
Ｔモード（奇数フィールドと偶数フィールドのデータが
分離されたモード）が選択される可能性が高い。

【００４７】しかしながら、必ずしも常にそのようにな
されるわけではなく、予測モード切り換え回路５２にお
いては、予測誤差の絶対値和が小さくなるようにモード
が決定され、ＤＣＴモード切り換え回路５５において
は、符号化効率が良好となるようにモードが決定され
る。

【００４８】ＤＣＴモード切り換え回路５５より出力さ
れた例えばＩピクチャの画像データは、ＤＣＴ回路５６
に入力され、ＤＣＴ（離散コサイン変換）処理され、Ｄ
ＣＴ係数に変換される。このＤＣＴ係数は、量子化回路
５７に入力され、送信バッファ５９のデータ蓄積量（バ
ッファ蓄積量）に対応した量子化ステップで量子化され
た後、可変長符号化回路５８に入力される。

【００４９】可変長符号化回路５８は、量子化回路５７
より供給される量子化ステップ（スケール）に対応し
て、量子化回路５７より供給される画像データ（いまの
場合、Ｉピクチャのデータ）を、例えばハフマン(Huffm
an) 符号などの可変長符号に変換し、送信バッファ５９
に出力する。

【００５０】可変長符号化回路５８にはまた、量子化回
路５７より量子化ステップ（スケール）、予測判定回路
５４より予測モード（画像内予測、前方予測、後方予
測、または両方向予測のいずれが設定されたかを示すモ
ード）、動きベクトル検出回路５０より動きベクトル、
予測モード切り換え回路５２より予測フラグ（フレーム
予測モードまたはフィールド予測モードのいずれが設定
されたかを示すフラグ）、及びＤＣＴモード切り換え回
路５５が出力するＤＣＴフラグ（フレームＤＣＴモード
またはフィールドＤＣＴモードのいずれが設定されたか
を示すフラグ）が入力されており、これらも可変長符号
化される。

【００５１】送信バッファ５９は、入力されたデータを
一時蓄積し、蓄積量に対応するデータを量子化回路５７
に出力する。

【００５２】送信バッファ５９は、そのデータ残量が許
容上限値まで増量すると、量子化制御信号によって量子
化回路５７の量子化スケールを大きくすることにより、
量子化データのデータ量を低下させる。また、これとは
逆に、データ残量が許容下限値まで減少すると、送信バ
ッファ５９は、量子化制御信号によって量子化回路５７
の量子化スケールを小さくすることにより、量子化デー
タのデータ量を増大させる。このようにして、送信バッ
ファ５９のオーバフローまたはアンダフローが防止され
る。

【００５３】そして、送信バッファ５９に蓄積されたデ
ータは、所定のタイミングで読み出され、出力端子６９
を介して伝送路に出力され、例えば記録媒体３に記録さ
れる。

【００５４】一方、量子化回路５７より出力されたＩピ
クチャのデータは、逆量子化回路６０に入力され、量子
化回路５７より供給される量子化ステップに対応して逆
量子化される。逆量子化回路６０の出力は、ＩＤＣＴ
（逆ＤＣＴ）回路６１に入力され、逆ＤＣＴ処理された
後、演算器６２を介してフレームメモリ６３の前方予測
画像部６３ａに供給され、記憶される。

【００５５】ところで動きベクトル検出回路５０は、シ
ーケンシャルに入力される各フレームの画像データを、
たとえば、前述したようにＩ，Ｂ，Ｐ，Ｂ，Ｐ，Ｂ・・
・のピクチャとしてそれぞれ処理する場合、最初に入力
されたフレームの画像データをＩピクチャとして処理し
た後、次に入力されたフレームの画像をＢピクチャとし
て処理する前に、さらにその次に入力されたフレームの
画像データをＰピクチャとして処理する。Ｂピクチャ
は、後方予測を伴うため、後方予測画像としてのＰピク
チャが先に用意されていないと、復号することができな
いからである。

【００５６】そこで動きベクトル検出回路５０は、Ｉピ
クチャの処理の次に、後方原画像部５１ｃに記憶されて
いるＰピクチャの画像データの処理を開始する。そし
て、上述した場合と同様に、マクロブロック単位でのフ
レーム間又はフィールド間差分（予測誤差）の絶対値和
が、動きベクトル検出回路５０から予測判定回路５４に
供給される。予測判定回路５４は、このＰピクチャのマ
クロブロックの予測誤差の絶対値和に対応して、フレー
ム／フィールド予測モード、及び画像内符号化、前方予
測、後方予測、もしくは両方向予測の予測モードを設定
する。

【００５７】演算部５３はフレーム内符号化モードが設
定されたとき、スイッチ５３ｄを上述したように接点ａ
側に切り換える。従って、このデータは、Ｉピクチャの
データと同様に、ＤＣＴモード切り換え回路５５、ＤＣ
Ｔ回路５６、量子化回路５７、可変長符号化回路５８、
送信バッファ５９を介して伝送路に伝送される。また、
このデータは、逆量子化回路６０、ＩＤＣＴ回路６１、
演算器６２を介してフレームメモリ６３の後方予測画像
部６３ｂに供給され、記憶される。

【００５８】一方、前方予測モードの時、スイッチ５３
ｄが接点ｂに切り換えられるとともに、フレームメモリ
６３の前方予測画像部６３ａに記憶されている画像（い
まの場合Ｉピクチャの画像）データが読み出され、動き
補償回路６４により、動きベクトル検出回路５０が出力
する動きベクトルに対応して動き補償される。すなわ
ち、動き補償回路６４は、予測判定回路５４より前方予
測モードの設定が指令されたとき、前方予測画像部６３
ａの読み出しアドレスを、動きベクトル検出回路５０が
いま出力しているマクロブロックの位置に対応する位置
から動きベクトルに対応する分だけずらしてデータを読
み出し、予測画像データを生成する。

【００５９】動き補償回路６４より出力された予測画像
データは、演算器５３ａに供給される。演算器５３ａ
は、予測モード切り換え回路５２より供給された参照画
像のマクロブロックのデータから、動き補償回路６４よ
り供給された、このマクロブロックに対応する予測画像
データを減算し、その差分（予測誤差）を出力する。こ
の差分データは、ＤＣＴモード切り換え回路５５、ＤＣ
Ｔ回路５６、量子化回路５７、可変長符号化回路５８、
送信バッファ５９を介して伝送路に伝送される。また、
この差分データは、逆量子化回路６０、ＩＤＣＴ回路６
１により局所的に復号され、演算器６２に入力される。

【００６０】この演算器６２にはまた、演算器５３ａに
供給されている予測画像データと同一のデータが供給さ
れている。演算器６２は、ＩＤＣＴ回路６１が出力する
差分データに、動き補償回路６４が出力する予測画像デ
ータを加算する。これにより、元の（復号した）Ｐピク
チャの画像データが得られる。このＰピクチャの画像デ
ータは、フレームメモリ６３の後方予測画像部６３ｂに
供給され、記憶される。

【００６１】動きベクトル検出回路５０は、このよう
に、ＩピクチャとＰピクチャのデータが前方予測画像部
６３ａと後方予測画像部６３ｂにそれぞれ記憶された
後、次にＢピクチャの処理を実行する。予測判定回路５
４は、マクロブロック単位でのフレーム間差分，フィー
ルド間差分（予測誤差）の絶対値和の大きさに対応し
て、フレーム／フィールドモードを設定し、また、予測
モードをフレーム内予測モード、前方予測モード、後方
予測モード、または両方向予測モードのいずれかに設定
する。

【００６２】上述したように、フレーム内予測モードま
たは前方予測モードの時、スイッチ５３ｄは接点ａまた
はｂに切り換えられる。このとき、Ｐピクチャにおける
場合と同様の処理が行われ、データが伝送される。

【００６３】これに対して、後方予測モードまたは両方
向予測モードが設定された時、スイッチ５３ｄは、接点
ｃまたはｄにそれぞれ切り換えられる。

【００６４】スイッチ５３ｄが接点ｃに切り換えられて
いる後方予測モードの時、後方予測画像部６３ｂに記憶
されている画像（いまの場合、Ｐピクチャの画像）デー
タが読み出され、動き補償回路６４により、動きベクト
ル検出回路５０が出力する動きベクトルに対応して動き
補償される。すなわち、動き補償回路６４は、予測判定
回路５４より後方予測モードの設定が指令されたとき、
後方予測画像部６３ｂの読み出しアドレスを、動きベク
トル検出回路５０がいま出力しているマクロブロックの
位置に対応する位置から動きベクトルに対応する分だけ
ずらしてデータを読み出し、予測画像データを生成す
る。

【００６５】動き補償回路６４より出力された予測画像
データは、演算器５３ｂに供給される。演算器５３ｂ
は、予測モード切り換え回路５２より供給された参照画
像のマクロブロックのデータから、動き補償回路６４よ
り供給された予測画像データを減算し、その差分を出力
する。この差分データは、ＤＣＴモード切り換え回路５
５、ＤＣＴ回路５６、量子化回路５７、可変長符号化回
路５８、送信バッファ５９を介して伝送路に伝送され
る。

【００６６】スイッチ５３ｄが接点ｄに切り換えられて
いる両方向予測モードの時、前方予測画像部６３ａに記
憶されている画像（いまの場合、Ｉピクチャの画像）デ
ータと、後方予測画像部６３ｂに記憶されている画像
（いまの場合、Ｐピクチャの画像）データが読み出さ
れ、動き補償回路６４により、動きベクトル検出回路５
０が出力する動きベクトルに対応して動き補償される。
すなわち、動き補償回路６４は、予測判定回路５４より
両方向予測モードの設定が指令されたとき、前方予測画
像部６３ａと後方予測画像部６３ｂの読み出しアドレス
を、動きベクトル検出回路５０がいま出力しているマク
ロブロックの位置に対応する位置から動きベクトル（こ
の場合の動きベクトルは、前方予測画像用と後方予測画
像用の２つとなる）に対応する分だけずらしてデータを
読み出し、予測画像データを生成する。

【００６７】動き補償回路６４より出力された予測画像
データは、演算器５３ｃに供給される。演算器５３ｃ
は、動きベクトル検出回路５０より供給された参照画像
のマクロブロックのデータから、動き補償回路６４より
供給された予測画像データの平均値を減算し、その差分
を出力する。この差分データは、ＤＣＴモード切り換え
回路５５、ＤＣＴ回路５６、量子化回路５７、可変長符
号化回路５８、送信バッファ５９を介して伝送路に伝送
される。

【００６８】Ｂピクチャの画像は、他の画像の予測画像
とされることがないため、フレームメモリ６３には記憶
されない。

【００６９】尚、フレームメモリ６３において、前方予
測画像部６３ａと後方予測画像部６３ｂは、必要に応じ
てバンク切り換えが行われ、所定の参照画像に対して、
一方または他方に記憶されているものを、前方予測画像
あるいは後方予測画像として切り換えて出力することが
できる。また、ＩＤＣＴ回路６１の出力は、図１２のＡ
の構造の場合と図１２のＢの構造の場合があるため、場
合によっては、演算器６２に供給される予測画像の構造
に応じて、並べ換えを行う必要があるが、簡単のため図
示は省略する。

【００７０】以上においては、輝度ブロックを中心とし
て説明をしたが、色差ブロックについても同様に、図１
１及び図１２に示すマクロブロックを単位として処理さ
れ、伝送される。尚、色差ブロックを処理する場合の動
きベクトルは、対応する輝度ブロックの動きベクトルを
垂直方向と水平方向に、それぞれ１／２にしたものが用
いられる。

【００７１】次に、図１４は、図８のデコーダ３１の一
例の構成を示すブロック図である。伝送路（記録媒体
３）を介して伝送された符号化された画像データは、図
示せぬ受信回路で受信されたり、再生装置で再生され、
入力端子８０を介して受信バッファ８１に一時記憶され
た後、復号回路９０の可変長復号化回路８２に供給され
る。可変長復号化回路８２は、受信バッファ８１より供
給されたデータを可変長復号化し、動きベクトル、予測
モード、予測フラグ及びＤＣＴフラグを動き補償回路８
７に、また、量子化ステップを逆量子化回路８３に、そ
れぞれ出力するとともに、復号された画像データを逆量
子化回路８３に出力する。

【００７２】逆量子化回路８３は、可変長復号化回路８
２より供給された画像データを、同じく可変長復号化回
路８２より供給された量子化ステップに従って逆量子化
し、ＩＤＣＴ回路８４に出力する。逆量子化回路８３よ
り出力されたデータ（ＤＣＴ係数）は、ＩＤＣＴ回路８
４で、逆ＤＣＴ処理され、演算器８５に供給される。

【００７３】ＩＤＣＴ回路８４より供給された画像デー
タが、Ｉピクチャのデータである場合、そのデータは演
算器８５より出力され、演算器８５に後に入力される画
像データ（ＰまたはＢピクチャのデータ）の予測画像デ
ータ生成のために、フレームメモリ８６の前方予測画像
部８６ａに供給されて記憶される。また、このデータ
は、フォーマット変換回路３２（図８）に出力される。

【００７４】ＩＤＣＴ回路８４より供給された画像デー
タが、その１フレーム前の画像データを予測画像データ
とするＰピクチャのデータであって、前方予測モードの
データである場合、フレームメモリ８６の前方予測画像
部８６ａに記憶されている、１フレーム前の画像データ
（Ｉピクチャのデータ）が読み出され、動き補償回路８
７で可変長復号化回路８２より出力された動きベクトル
に対応する動き補償が施される。そして、演算器８５に
おいて、ＩＤＣＴ回路８４より供給された画像データ
（差分のデータ）と加算され、出力される。この加算さ
れたデータ、即ち、復号されたＰピクチャのデータは、
演算器８５に後に入力される画像データ（Ｂピクチャま
たはＰピクチャのデータ）の予測画像データ生成のため
に、フレームメモリ８６の後方予測画像部８６ｂに供給
されて記憶される。

【００７５】Ｐピクチャのデータであっても、画像内予
測モードのデータは、Ｉピクチャのデータと同様に、演
算器８５で特に処理は行わず、そのまま後方予測画像部
８６ｂに記憶される。

【００７６】このＰピクチャは、次のＢピクチャの次に
表示されるべき画像であるため、この時点では、まだフ
ォーマット変換回路３２へ出力されない（上述したよう
に、Ｂピクチャの後に入力されたＰピクチャが、Ｂピク
チャより先に処理され、伝送されている）。

【００７７】ＩＤＣＴ回路８４より供給された画像デー
タが、Ｂピクチャのデータである場合、可変長復号化回
路８２より供給された予測モードに対応して、フレーム
メモリ８６の前方予測画像部８６ａに記憶されているＩ
ピクチャの画像データ（前方予測モードの場合）、後方
予測画像部８６ｂに記憶されているＰピクチャの画像デ
ータ（後方予測モードの場合）、または、その両方の画
像データ（両方向予測モードの場合）が読み出され、動
き補償回路８７において、可変長復号化回路８２より出
力された動きベクトルに対応する動き補償が施されて、
予測画像が生成される。但し、動き補償を必要としない
場合（画像内予測モードの場合）、予測画像は生成され
ない。

【００７８】このようにして、動き補償回路８７で動き
補償が施されたデータは、演算器８５において、ＩＤＣ
Ｔ回路８４の出力と加算される。この加算出力は、出力
端子９１を介してフォーマット変換回路３２に出力され
る。

【００７９】但し、この加算出力はＢピクチャのデータ
であり、他の画像の予測画像生成のために利用されるこ
とがないため、フレームメモリ８６には記憶されない。

【００８０】Ｂピクチャの画像が出力された後、後方予
測画像部８６ｂに記憶されているＰピクチャの画像デー
タが読み出され、動き補償回路８７を介して演算器８５
に供給される。但し、このとき、動き補償は行われな
い。

【００８１】尚、このデコーダ３１には、図１０のエン
コーダ１８における予測モード切り換え回路５２とＤＣ
Ｔモード切り換え回路５５に対応する回路が図示されて
いないが、これらの回路に対応する処理、即ち、奇数フ
ィールドと偶数フィールドのラインの信号が分離された
構成を、元の混在する構成に必要に応じて戻す処理は、
動き補償回路８７が実行する。

【００８２】また、以上においては、輝度信号の処理に
ついて説明したが、色差信号の処理も同様に行われる。
但し、この場合、動きベクトルは、輝度信号用のもの
を、垂直方向及び水平方向に１／２にしたものが用いら
れる。

【００８３】ここで、上述した画像信号符号化／復号化
において伝送される画像の品質は、図１５に示されるよ
うに制御される。例えば、画像のＳＮＲ（ＳＮ比）は、
上述した画像内符号化、前方予測符号化、両方向予測符
号化等の符号化のタイプを表すいわゆるピクチャタイプ
に対応して制御され、Ｉピクチャ及びＰピクチャは高品
質に、Ｂピクチャはこれらに比べて劣る品質で伝送され
る。すなわち、高伝送レートで全ての画像を伝送できれ
ばより好まし画質を得ることは可能であるが、伝送路の
特性等からある一定値以上の伝送レートを選べない場合
があり、この場合、人間の視覚特性として、全ての画像
品質を平均化するよりも画像品質を図１１のように振動
させたほうが画像の印象が良くなるという特性を利用し
て上述の図１５のような伝送方式を採用することで、あ
る一定値の伝送レートでより高品質の画像を得るように
している。したがって、図１０の構成においては、この
画像品質を達成するように、量子化器５７で伝送レート
制御を行うようにしている。

【００８４】

【発明が解決しようとする課題】ところで、上述した符
号化方式によって符号化を行う場合におけるフレームＤ
ＣＴ／フィールドＤＣＴのモード判断において、判断に
用いる前記フレームＤＣＴモード相関とフィールドＤＣ
Ｔモード相関は、発生ビット量と直接的な比例関係にあ
るわけではないため、符号化効率の面からみて、必ずし
も最適な判断を行えない場合がある。

【００８５】また同様に画像内予測符号化（イントラ符
号化）および前方予測、後方予測、両方向予測（インタ
ー予測）の予測モード判断もＤＣＴ係数を直接用いるわ
けではないので、符号化効率の面から言って、必ずしも
最適な判断を行えない場合がある。

【００８６】そこで、本発明は、符号化効率の面から最
適なフレーム／フィールド予測モードの判断及びフレー
ム／フィールドＤＣＴモードの判断を実現することがで
きる画像符号化方法及び装置を提供することを目的とす
るものである。

【００８７】

【課題を解決するための手段】本発明は、上述の目的を
達成するために提案されたものであり、マクロブロック
毎にフレーム単位のブロック化又はフィールド単位のブ
ロック化を選択して所定の変換を行う画像符号化方法で
あり、画像信号をフレーム単位でブロック化して上記所
定の変換を行って第１の変換係数を生成し、画像信号を
フィールド単位でブロック化して上記所定の変換を行っ
て第２の変換係数を生成し、上記第１及び第２の変換係
数の情報量に基づいて上記第１又は第２の変換係数を選
択するようにしたものである。

【００８８】ここで、上記マクロブロックは複数の輝度
ブロック及び色差ブロックからなり、当該マクロブロッ
ク中の複数の輝度ブロックに対して求めた上記第１の変
換係数の絶対値和と、上記マクロブロック中の複数の輝
度ブロックに対して求めた上記第２の変換係数の絶対値
和とを比較して上記第１又は第２の変換係数の選択を行
う。また、上記第１の変換係数の絶対値和が所定値以下
の時、上記比較の結果にかかわらず上記第１の変換係数
を選択する。さらに、上記第１又は第２の変換係数の絶
対値和に対して所定の重み付けを行って上記比較を行
う。

【００８９】また、本発明の画像符号化方法では、上記
第１及び第２の変換係数の高次の行の係数の複数個の絶
対値和又は２乗和を比較して上記第１又は第２の変換係
数を選択することもできる。

【００９０】このとき、上記第１又は第２の変換係数の
絶対値和又は２乗和に対して所定の重み付けを行って上
記比較を行う。

【００９１】さらに、本発明は、画像内予測又は画像間
予測された画像信号に所定の変換を行って符号化を行う
画像符号化方法であり、上記画像内予測された信号をフ
レーム単位でブロック化又はフィールド単位でブロック
化して所定の変換を行って変換係数を生成し、上記画像
間予測された信号をフレーム単位でブロック化又はフィ
ールド単位でブロック化して所定の変換を行って変換係
数を生成し、上記各変換係数の情報量に基づいていずれ
かの変換係数を選択するものである。

【００９２】ここで、上記変換係数の情報量として、Ａ
Ｃ成分の変換係数の絶対値和を求める。また、上記フレ
ーム単位のブロック化による変換係数の絶対値和が所定
値以下の時、当該フレーム単位のブロック化による変換
係数を選択する。さらに、上記フレーム単位のブロック
化による変換係数の絶対値和又は上記フィールド単位の
ブロック化による変換係数の絶対値和に対して所定の重
み付けを行って上記選択を行う。

【００９３】さらに、本発明の画像符号化方法では、上
記画像内符号化された信号に基づく変換係数の少なくと
も一部の変換係数の絶対値和と、上記画像間予測された
信号に基づく変換係数の少なくとも一部の変換係数の絶
対値和を比較し、より小さい絶対値和に対応する変換係
数を選択することを行う。このとき、本発明の画像符号
化方法では、上記画像内符号化された信号に基づく変換
係数の少なくとも一部の変換係数の絶対値和と、上記画
像間予測された信号に基づく変換係数の少なくと一部の
変換係数の絶対値和に対して所定の重みづけを行って、
上記選択を行うようにする。

【００９４】次に、本発明の画像符号化装置は、マクロ
ブロック毎にフレーム単位のブロック化又はフィールド
単位のブロック化を選択して所定の変換を行う画像符号
化装置であって、画像信号をフレーム単位でブロック化
して上記所定の変換を行って第１の変換係数を生成する
第１の変換係数生成手段と、画像信号をフィールド単位
でブロック化して上記所定の変換を行って第２の変換係
数を生成する第２の変換係数生成手段と、上記第１及び
第２の変換係数生成手段で生成した第１及び第２の変換
係数の情報量に基づいて上記第１又は第２の変換係数を
選択する変換係数選択手段とを有するものである。

【００９５】また、本発明の画像符号化装置は、上記第
１及び第２の変換係数生成手段で生成した第１及び第２
の変換係数の高次の行の係数の複数個の絶対値和又は２
乗和を比較して上記第１又は第２の変換係数を選択する
変換係数選択手段を有するものとすることもできる。

【００９６】さらに、本発明の画像符号化装置は、画像
内予測又は画像間予測された画像信号に所定の変換を行
って符号化を行う画像符号化装置であり、上記画像内予
測された信号をフレーム単位でブロック化又はフィール
ド単位でブロック化して所定の変換を行って変換係数を
生成する画像内予測変換係数生成手段と、上記画像間予
測された信号をフレーム単位でブロック化又はフィール
ド単位でブロック化して所定の変換を行って変換係数を
生成する画像間予測変換係数生成手段と、上記画像内予
測変換係数生成手段及び画像間予測変換係数生成手段で
生成した各変換係数の情報量に基づいていずれかの変換
係数を選択する変換係数選択手段とを有するものとする
こともできる。

【００９７】すなわち、本発明の画像符号化方法及び装
置では、映像信号に対して、フレームでブロックを形成
してＤＣＴを行う系と、フィールドでブロックを形成し
てＤＣＴを行う系と、上記二つの系よりの上記フレーム
のブロックでＤＣＴされた映像信号と上記フィールドの
ブロックでＤＣＴされた映像信号の何れかを選択する手
段とを有し、上記フレームでＤＣＴされた変換係数と、
上記フィールドでＤＣＴされた変換係数の情報量を比較
し、この比較結果に基づいて上記フレームでＤＣＴがな
された映像信号と上記フィールドでＤＣＴがなされた映
像信号との選択を行うようにしている。

【００９８】ここで、本発明の画像符号化方法では、Ｄ
ＣＴ係数は可変長符号化して伝送されるため、発生ビッ
ト量はＤＣＴ係数の大きさ及び個数と比例する。このた
め、フレーム変換された輝度ブロックのＤＣＴ係数の絶
対値和を計算し、フィールド変換された輝度ブロックの
ＤＣＴ係数の絶対値和を計算し、これらフレームでのＤ
ＣＴ及びフィールドでのＤＣＴにおける絶対値和の小さ
いほうのＤＣＴモードの映像信号を選択することによっ
て、従来に比較して、発生ビット量に対して忠実な、よ
り好ましいモード判断を行うことが可能となる。

【００９９】さらに本発明によれば、映像信号に対し
て、画像内予測（イントラ符号化）を行ってＤＣＴを行
う系と、画像間での予測（インター符号化）を行ってＤ
ＣＴを行う系と、上記イントラ符号化に対してＤＣＴが
施された映像信号とインター符号化に対してＤＣＴが施
された映像信号との何れかを選択する手段を有し、上記
イントラ符号化に対してＤＣＴを行って得たＤＣＴ係数
と、上記インター符号化に対してＤＣＴを行って得たＤ
ＣＴ係数の情報量を比較し、この比較結果に基づいて上
記イントラ符号化に対してＤＣＴが施された映像信号
と、上記インター符号化に対してＤＣＴが施された映像
信号を選択するようにしている。

【０１００】このとき、本発明の画像符号化方法でも、
ＤＣＴ係数は可変長符号化して伝送されるため、発生ビ
ット量はＤＣＴ係数の大きさ及び個数と比例し、このた
め、各符号化の予測モードにおいてＤＣＴされたＤＣＴ
係数の絶対値和を計算し、絶対値和の最も小さい予測モ
ードの映像信号を選択することによって、従来に比較し
て、発生ビット量に対してより忠実なモード判断を行う
ことが可能となる。

【０１０１】

【作用】本発明によれば、映像信号に対して、フレーム
でブロックを形成してＤＣＴを行い、フィールドでブロ
ックを形成しＤＣＴを行い、これらフレームのブロック
でＤＣＴされた映像信号とフィールドのブロックでＤＣ
Ｔされた映像信号の何れかを選択する。すなわち、フレ
ームでのＤＣＴによる係数と、フィールドでのＤＣＴに
よる係数の情報量を比較し、この比較結果に基づいてフ
レームでＤＣＴがなされた映像信号と、フィールドでＤ
ＣＴがなされた映像信号との選択を行う。

【０１０２】さらに本発明によれば、映像信号に対し
て、画像内予測（イントラ符号化）を行ってＤＣＴを施
し、画像間での予測（インター符号化）を行ってＤＣＴ
を施し、イントラ符号化に対してＤＣＴが施された映像
信号と、インター符号化に対してＤＣＴが施された映像
信号の何れかを選択する。すなわち、イントラ符号化に
対してＤＣＴを施して得た係数と、インター符号化に対
してＤＣＴを施して得た係数の情報量とを比較し、この
比較結果に基づいてイントラ符号化に対してＤＣＴがな
された映像信号と、インター符号化に対してＤＣＴがな
された映像信号との選択を行う。

【０１０３】これによって従来に比較して、発生ビット
量に忠実な、より好ましいモード判断を行うことが可能
となる。

【０１０４】

【実施例】以下、本発明の実施例について図面を参照し
ながら説明する。

【０１０５】本実施例の画像符号化方法が適用される画
像符号化装置は、図１に示すように、前記マクロブロッ
ク毎にフレーム単位のブロック化又はフィールド単位の
ブロック化を選択して所定の変換として前記ＤＣＴを行
う画像符号化装置であって、画像信号をフレーム単位で
ブロック化して上記ＤＣＴを行って第１の変換係数（Ｄ
ＣＴ係数）を生成する第１の変換係数生成手段としての
フレームＤＣＴ回路２００と、画像信号をフィールド単
位でブロック化して上記ＤＣＴを行って第２の変換係数
（ＤＣＴ係数）を生成する第２の変換係数生成手段であ
るフィールドＤＣＴ回路２０１と、上記フレームＤＣＴ
回路２００，フィールドＤＣＴ回路２０１で生成したＤ
ＣＴ係数の情報量に基づいて上記フレーム／フィールド
でのＤＣＴ係数のいずれかを選択する変換係数選択手段
としてのフレーム／フィールドＤＣＴモード切り換え回
路２５５とを有するものである。

【０１０６】なお、図１において、前述した図１０と同
一の構成要素には同一の指示符号を付している。

【０１０７】先ず、本発明の第１の実施例装置における
フレームでのＤＣＴとフィールドでのＤＣＴの選択手法
に関して説明する。なお、イントラ符号化及びインター
符号化は前述した従来同様の手法で行なう。また、第１
の実施例の画像符号化装置では、処理をマクロブロック
単位で行なっている。

【０１０８】図１において、前記ブロックフォーマット
の画像は、フレームメモリ５１に記憶される。動きベク
トル検出回路５０は、予め設定された画像シーケンス
（Ｉピクチャ、Ｐピクチャ、Ｂピクチャ）に従って、フ
レームメモリ５１から必要な画像をマクロブロック単位
で読み出し、参照画像と前方原画像及び／又は後方原画
像との間で動きベクトルの検出を行う。ここで、Ｉピク
チャはフィールド内若しくはフレーム内符号化される。
また、Ｐピクチャは、前方向からのみ予測可能とされ
て、フィールド間若しくはフレーム間符号化される。実
際には、動き補償された予測画像（差分をとる基準とな
る画像）との差分を符号化する場合と、差をとらずにそ
のまま符号化する（イントラ符号化）場合との何れか効
率の良い方がマクロブロック単位で選択される。また、
Ｂピクチャは、前方向から、後方向から、および両方向
から予測可能とされて、フィールド間若しくはフレーム
間符号化される。実際には上記３種類の動き補償後の予
測画像との差分を符号化する場合と、差をとらずにその
まま符号化する場合との中で、最も効率の良いものがマ
クロブロック単位に選択される。

【０１０９】動きベクトルの検出は、動きベクトル検出
回路５０によって、フレームメモリ５１に記憶された前
方原画像及び／又は後方原画像を用いて、現在の参照画
像との間で行なう。ここで、ブロック単位でのフレーム
間又はフィールド間差分の絶対値和が最小になるもの
を、その動きベクトルとする。動きベクトルの検出は、
フレーム予測モード及びフィールド予測モードの両方に
関して行われ、フレーム予測に対する１個の動きベクト
ル及びフィールド予測に対する２個の動きベクトルの両
者が求められる。

【０１１０】動きベクトル検出回路５０で計算されたブ
ロック単位でのフレーム及びフィールド間差分の絶対値
和は、予測判定回路５４に送られる。予測判定回路５４
はこの値をもとに、フレーム予測モードとフィールド予
測モードを決定する。この判断結果は、フレーム／フィ
ールド予測フラグとして可変長符号化回路５８に送ら
れ、符号化される。また、フレーム／フィールド予測モ
ード切り換え回路５２において、フレーム／フィールド
予測モードに応じてブロック化されたデータは演算部５
３に供給される。

【０１１１】フレーム内／前方／両方向予測判定回路５
４は、動きベクトル検出回路５０で計算されたブロック
単位でのフレーム間及びフィールド間差分の絶対値和を
もとに、参照ブロックのマクロブロックタイプ（予測モ
ード）を決定する。このマクロブロックタイプ（予測モ
ード）をもとに、マクロブロック単位で画像内／前方／
後方／両方向予測の切り換えを制御し、画像内符号化モ
ードの場合は入力画像そのものを、前方／後方／両方向
予測モードのときはそれぞれの予測画像からのフレーム
間又はフィールド間符号化データを発生する。

【０１１２】以上は、前述した従来例と同様であるが、
本発明実施例では、以降の構成において以下のように従
来例と異なっている。

【０１１３】上記予測モード選択がなされたブロック
は、フレーム単位でブロック化及びフィールド単位でブ
ロック化されて、それぞれフレームＤＣＴ回路２００及
びフィールドＤＣＴ回路２０１に供給される。フレーム
ＤＣＴ回路２００からはフレーム単位のＤＣＴ係数が、
フィールドＤＣＴ回路２０１からはフィールド単位のＤ
ＣＴ係数が、それぞれ出力され、フレーム／フィールド
ＤＣＴモード切り換え回路２５５に出力される。

【０１１４】上記フレーム／フィールドＤＣＴモード切
り換え回路２５５は、符号化効率を考慮して、ＤＣＴの
ためのフレーム単位のブロック化のモード（フレームＤ
ＣＴモード）或いはフィールド単位のブロック化のモー
ド（フィールドＤＣＴモード）の何れかをマクロブロッ
ク単位で選択的に出力し、量子化回路５７に出力するよ
うになされている。また、この判断結果は、フレーム／
フィールドＤＣＴフラグとして可変長符号化回路５８に
送られ、ここで符号化される。なお、フレーム／フィー
ルドＤＣＴモードの判断のアルゴリズムに関しては、後
で詳しく説明する。

【０１１５】上記量子化回路５７は、マクロブロックお
よびスライス毎に定まる量子化ステップサイズでＤＣＴ
変換データを量子化し、その結果出力端に得られる量子
化データを可変長符号化（ＶＬＣ（variable length co
de））回路５８及び逆量子化回路６０に供給する。量子
化に用いる量子化スケールは送信バッファ５９のバッフ
ァ残量をフィードバックすることによって、送信バッフ
ァ５９が破綻しない値に決定する。この量子化スケール
も、可変長符号化回路５８及び逆量子化回路６０に、量
子化データとともに供給される。

【０１１６】ここで可変長符号化回路５８は、量子化デ
ータを、量子化スケール、マクロブロックタイプ、動き
ベクトルと共に可変長符号化処理し、伝送データとして
送信バッフア５９に供給する。

【０１１７】送信バッファ５９は、伝送データを一旦メ
モリに格納した後、所定のタイミングでビットストリー
ムとして出力すると共に、メモリに残留している残留デ
ータ量に応じてマクロブロック単位の量子化制御信号を
量子化回路５７にフイードバックして量子化スケールを
制御するようになされている。これにより送信バッファ
５９は、ビットストリームとして発生されるデータ量を
調整し、メモリ内に適正な残量（オーバーフロー又はア
ンダーフローを生じさせないようなデータ量）のデータ
を維持するようになされている。

【０１１８】因に送信バッファ５９のデータ残量が許容
上限にまで増量すると、送信バッファ５９は量子化制御
信号によつて量子化回路５７の量子化スケールを大きく
することにより、量子化データのデータ量を低下させ
る。

【０１１９】またこれとは逆に送信バッファ５９のデー
タ残量が許容下限値まで減量すると、送信バッファ５９
は量子化制御信号によつて量子化回路５７の量子化スケ
ールを小さくすることにより、量子化データのデータ量
を増大させる。

【０１２０】逆量子化回路６０は、量子化回路５７から
送出される量子化データを代表値に逆量子化して逆量子
化データに変換し、出力データの量子化回路５７におけ
る変換前の変換データを復号し、逆量子化データをディ
スクリートコサイン逆変換ＩＤＣＴ（inverse discrete
cosine trasform）回路６１に供給するようになされて
いる。

【０１２１】ＩＤＣＴ回路６１は、逆量子化回路６０で
復号された逆量子化データをＤＣＴ回路２００又は２０
１とは逆の変換処理で復号画像データに変換し、演算器
６２を介してフレームメモリ６３に送るようになされて
いる。

【０１２２】また、動き補償回路６４は、ＩＤＣＴ回路
６１の出力データとマクロブロックタイプ（予測モー
ド）、動きベクトル、フレーム／フィールド予測フラグ
をもとに局所復号を行ない、復号画像が前方予測画像若
しくは後方予測画像としてフレームメモリ６３に書き込
まれる。

【０１２３】フレームメモリ６３では、バンク切り換え
が行われる。これにより、符号化する画像に応じて、単
一のフレームが、後方予測画像として出力されたり、前
方予測画像として出力されたりする。前方／両方向予測
の場合は、予測画像からの差分がＩＤＣＴ回路６１の出
力として送られてくるために、この差分を予測画像に対
して足し込むことで、局所復号を行なっている。この予
測画像は、デコーダで復号される画像と全く同一の画像
であり、次の処理画像はこの予測画像をもとに、前方／
両方向予測を行なう。

【０１２４】ここで、上記ＤＣＴモード切り換え回路２
５５におけるフレーム／フィールドＤＣＴのモード決定
（判断）法に関して以下に説明する。

【０１２５】先ず、第１の実施例における第１のフレー
ム／フィールドＤＣＴモードのモード決定法として、Ｄ
ＣＴ係数に着目したフレーム／フィールドＤＣＴモード
のモード決定法に関して説明する。

【０１２６】上記ＤＣＴモード切り換え回路２５５にお
いては、フレームＤＣＴ回路２００によってフレーム単
位でＤＣＴされた４個の輝度ブロックのＤＣＴ係数（各
６４個）の絶対値和 (Frame Weightとする）を、数１の
数式(1) にて計算する。

【０１２７】

【数１】

【０１２８】ただし、この数式(1) において、ｉはブロ
ック番号、ｊは係数の番号である。

【０１２９】次に、フィールドＤＣＴ回路２０１によっ
てフィールド単位でＤＣＴされた４個の輝度ブロックの
ＤＣＴ係数（６４個）の絶対値和 (Field Weightとす
る）を数２の数式(2) にて計算する。

【０１３０】

【数２】

【０１３１】この数式(1) においてもｉはブロック番
号、ｊは係数の番号である。

【０１３２】これら数式(1),(2) で計算された値のう
ち、先ず、上記フレームにおける絶対値和(Frame Weigh
t)が、あるしきい値（ＴＨ₁）と比較される。

【０１３３】ここで、 Frame Weight ＜ＴＨ₁ の場合、無条件にフレームＤＣＴモードに判定される。
これは、フレームモードになり易いように設けたハンデ
ィ（重み付け）である。

【０１３４】次に、上記フレームにおける絶対値和（Fr
ame Weight) とフィールドにおける絶対値和(Field Wei
ght)が比較される。この時、それぞれの値(Weight)の小
さい方が選択される。またこのとき、フレームＤＣＴモ
ードになり易いように、当該比較にハンディを付ける
（重み付けする）こともできる。

【０１３５】例えば、 Frame Weight ＜Field Weight＊β₁＋α₁ α₁、β₁：比較におけるハンディの計算を行って、これが真の場合、フレームＤＣＴモー
ドに、偽の場合、フィールドＤＣＴモードに判定され
る。

【０１３６】上記ＤＣＴモード切り換え回路２５５にお
いては、上述した判断法によってフレーム／フィールド
ＤＣＴモードが決定される。なお、上述したフレームに
おける絶対値和（Frame Weight) とフィールドにおける
絶対値和(Field Weigh) は、ブロックのすべてのＤＣＴ
係数の絶対値加算によるものとせずに、いわゆるジグザ
グスキャンの順での、先頭からＮ番目（１≦Ｎ≦６４）
までの係数を絶対値加算した値を用いてもよい。また、
比較に用いるブロックも、輝度ブロックのみでなく、色
差ブロックを含めた６個のブロックに対して行ってもよ
い。

【０１３７】次に、本発明の第１の実施例のＤＣＴモー
ド切り換え回路におけるＤＣＴ係数に着目した第２のフ
レーム／フィールドＤＣＴモードのモード決定法に関し
て説明する。

【０１３８】この第２のモード決定法では、ＤＣＴされ
たブロックにおけるＤＣＴ係数のうち、インターレース
構造に寄与する度合いの高い係数（ＤＣＴ係数の高次の
行の係数）に注目する。これを図２に示す。なお、この
図２において、図中○及び●はＤＣＴ係数を示し、図中
破線で囲む部分が上記注目する係数である。●は、その
中でも特にインターレース構造に寄与する度合いが高い
ため、これらを注目する係数としてもよい。

【０１３９】この場合の上記ＤＣＴモード切り換え回路
２５５では、上述の図２に示すようなインターレース構
造に対して寄与度の高い係数Ｎ個の絶対値和の４個の輝
度ブロック分の和(Interlace Weight とする）を計算す
る。上記絶対値和(InterlaceWeight)が大きい場合は、
奇数フィールドと偶数フィールドの間で画像が動いてい
るような場合であり、このような場合はフィールド単位
でＤＣＴを行なったほうが、圧縮効率が高くなる。

【０１４０】従って、フレーム単位でＤＣＴ及びフィー
ルド単位でＤＣＴされた係数のうち、このインターレー
スに寄与度の高い上記Ｎ個のＤＣＴ係数の４個の輝度ブ
ロック分の絶対値和をそれぞれ(Interlace Weight (Fra
me))及び(Interlace Weight(Field))としたとき、 Interlace Weight (Frame) ＜ Interlace Weight (Fie
ld) の場合には、フレームＤＣＴモードに判定される。逆の
場合はフィールドＤＣＴモードに判定される。

【０１４１】また、フレームＤＣＴモードになり易いよ
うに当該比較にハンディを付ける（重み付けする）こと
もできる。

【０１４２】例えば、 Interlace Weight (Frame) ＜ Interlace Weight (Fie
ld) ＊β₂＋α₂ α₂、β₂：比較におけるハンディとして、これが真の場合にはフレームＤＣＴモードに、
偽の場合にはフィールドＤＣＴモードに判定される。

【０１４３】また、上記絶対値和(Interlace Weight)
は、インターレース構造に対して寄与度の高い係数Ｎ個
の二乗和を用いるようにしてもよい

【０１４４】次に、本発明の第２の実施例について説明
する。この第２の実施例は、第１の実施例に、さらに本
発明のイントラ符号化及びインター符号化の選択手法を
適用した例である。図４に、第２の実施例の画像符号化
装置を示す。また、図３に第２の実施例の画像符号化装
置の要部の概略構成を示す。なお、この第２の実施例の
画像符号化装置は、基本的には、前述した図１０の構成
の予測モード切り換え回路５２の後から、量子化回路５
７の前までの構成を、図３に示す構成に変更したもので
あり、他の構成要素についての図示及び説明は省略す
る。但し、この実施例における動きベクトル検出回路５
０は、上述の画像内符号化の評価値を出力しない。ま
た、この実施例における予測判定回路５４は、インター
符号化が選択されるとした場合の各マクロブロックの仮
の予測モードの判定のみ行い、イントラ符号化かインタ
ー符号化かの選択は、後述する予測判定回路３１９で行
う。

【０１４５】すなわち、第２の実施例の画像符号化装置
は、図３に示すように、イントラ符号化（画像内符号
化）及びインター符号化（画像間予測）された画像信号
にＤＣＴを施して符号化を行う画像符号化装置であり、
上記イントラ符号化された信号をフレーム単位でブロッ
ク化又はフィールド単位でブロック化してＤＣＴを行っ
てＤＣＴ係数を生成するフレームＤＣＴ回路３０３及び
フィールドＤＣＴ回路３０４と、上記インター符号化さ
れた信号をフレーム単位でブロック化又はフィールド単
位でブロック化してＤＣＴを行ってＤＣＴ係数を生成す
るフレームＤＣＴ回路３０５，３０７，３０９及びフィ
ールドＤＣＴ回路３０６，３０８，３１０と、上記各フ
レームＤＣＴ回路及びフィールドＤＣＴ回路で生成した
各ＤＣＴ係数の情報量に基づいていずれかのＤＣＴ係数
を選択する変換係数選択手段としてのフレーム／フィー
ルドＤＣＴモード切り換え回路３１１〜３１４及び予測
モード選択回路３１５と、予測判定回路５４によって選
択された端子３３１を介した仮の予測モードに基づい
て、加算器５３ａ，５３ｂ，５３ｃへの入力を切り換え
るセレクタ３３０と、イントラ−ウエイト(Intra-Weigh
t)及びインター−ウエイト(Inter-Weight)に基づいて、
イントラ符号化又はインター符号化の判定を行い、対応
するフレーム／フィールドＤＣＴフラグ（端子３３２か
ら出力）と真の予測モード（端子３３３から出力）を出
力する予測判定回路３１９とを有するものである。

【０１４６】この図３において、演算部３２０の端子３
００には、図４の予測モード切り換え回路５２の出力が
供給され、端子３０１には前述同様の演算器５３ａ及び
５３ｃに送られる図４の動き補償回路６４からの前方向
の予測画像データが、端子３０２には前述同様の演算器
５３ｂ及び５３ｃに送られる図４の動き補償回路６４か
らの後方向の予測画像データが供給される。

【０１４７】この第２の実施例装置において、フィール
ドでのＤＣＴ及びフレームでのＤＣＴの選択と、イント
ラ符号化（画像内）及びインター符号化（画像間予測）
の選択を行うのが、図３に示す演算部３２０である。

【０１４８】すなわち、前記入力された画像信号は、図
４の前記動きベクトル検出回路５０及び前記フレーム／
フィールド予測モード切り換え回路５２を介し、さらに
上記端子３００を介して図３の演算部３２０に入力され
る。セレクタ３３０は、予測判定回路５４によって選択
された予測モードに応じて加算器５３ａ，５３ｂ，５３
ｃのうちの１つに端子３００からの信号を供給する。

【０１４９】この演算部３２０では、入力信号に対して
Ｉピクチャの場合は画像内符号化信号を、Ｐピクチャの
場合は画像内符号化信号と前方予測信号を、Ｂピクチャ
の場合は画像内符号化信号と予測判定回路５４によって
選択された仮の予測モードに対応する前方予測信号と後
方予測信号と両方向予測信号のうちの１つを生成する。
これらの信号に対して、それぞれ対応するフレームＤＣ
Ｔ回路３０３，３０５，３０７，３０９及びフィールド
ＤＣＴ回路３０４，３０６，３０８，３１０によって、
フレーム単位のＤＣＴ及びフィールド単位のＤＣＴが施
され、これら各ＤＣＴ回路からＤＣＴ係数データが得ら
れる。

【０１５０】ここで、先ず、イントラ符号化（画像内符
号化信号）用のフレームＤＣＴ回路３０３及びフィール
ドＤＣＴ回路３０４における選択手法に関して、以下に
説明する。ここでのＤＣＴのモード判定は、これらＤＣ
Ｔ回路３０３，３０４の出力が供給されるフレーム／フ
ィールドＤＣＴモード切り換え回路３１１で行われる。

【０１５１】当該モード切り換え回路３１１では、フレ
ーム単位でＤＣＴ処理されて得られた４個の輝度ブロッ
クのＤＣＴ係数（各６４個）のうちＡＣ成分６３個の絶
対値和 (Intra Frame Weightとする）を、数３の数式
(3) を用いて計算する。

【０１５２】

【数３】

【０１５３】ただし、この数式(3) において、ｉはブロ
ック番号、ｊはＤＣＴ係数の番号である。なお、ｊ＝１
はＤＣ成分である。

【０１５４】次に、上記フィールドでＤＣＴされた４個
の輝度ブロックのＤＣＴ係数（各６４個）のうち、ＡＣ
成分６３個の絶対値和（Intra Field Weightとする）を
数４の数式(4) を用いて計算する。

【０１５５】

【数４】

【０１５６】ただし、この数式(4) においても、ｉはブ
ロック番号、ｊはＤＣＴ係数の番号である。なお、ｊ＝
１はＤＣ成分である。

【０１５７】これらにより計算された値のうち、先ず、
上記絶対値和(Intra Frame Weight)が、あるしきい値
（ＴＨ₂）と比較される。

【０１５８】このとき、 Intra Frame Weight ＜ＴＨ₂ の場合は無条件にフレームのＤＣＴモードに判定され
る。これは、フレームＤＣＴモードになり易いように設
けたハンディである。

【０１５９】次に、上記フレームにおける絶対値和(Int
ra Frame Weight)とフィールドにおける絶対値和(Intra
Field Weight)が比較される。この時、それぞれの値(W
eight)の小さいほうが選択される。また、フレームのＤ
ＣＴモードになりやすいように比較にハンディを付ける
こともできる。

【０１６０】例えば、 Intra Frame Weight ＜ Intra Field Weight ＊β₃ ＋
α₃ α₃ 、β₃は比較におけるハンディを行って、これが真の場合はフレームのＤＣＴモード
に、偽の場合はフィールドのＤＣＴモードに判定され
る。また、判定されたＤＣＴモードに対応するIntraFra
me Weight又はIntra Field WeightがIntra Weightとし
て、予測判定回路３１９に供給される。

【０１６１】また、上述したフレームにおける絶対値和
（Intra Frame Weight）とフィールドにおける絶対値和
（Intra Field Weigh ）は、ブロックのすべてのＡＣ成
分のＤＣＴ係数の絶対値加算とせずに、例えばいわゆる
ジグザグスキャンの順での、先頭からＮ番目（２≦Ｎ≦
６４）までのＤＣＴ係数を絶対値加算した値を用いても
よい。また、比較に用いるブロックも、輝度ブロックの
みでなく、色差ブロックを含めた６個のブロックに対し
て行ってもよい。また、第１の実施例における第２のモ
ード決定法と同様に、インターレース構造に寄与する度
合いの高い係数のみ用いてもよい。

【０１６２】次にインター符号化である、前方予測信号
のフレームＤＣＴ回路３０５及びフィールドＤＣＴ回路
３０６と、後方予測信号のフレームＤＣＴ回路３０７及
びフィールドＤＣＴ回路３０８と、両方向予測信号のフ
レームＤＣＴ回路３０９及びフィールドＤＣＴ回路３１
０の選択手法に関して説明する。

【０１６３】これらのＤＣＴモード判定は、それぞれ対
応するフレーム／フィールドＤＣＴモード切り換え回路
３１２〜３１４で行なわれる。各フレームＤＣＴ回路３
０５，３０７，３０９でＤＣＴされたそれぞれ４個の輝
度ブロックのＤＣＴ係数（それぞれ６４個）の絶対値和
(Inter Frame Weightとする）を前方予測信号、後方予
測信号、両方向予測信号に対して数５の数式(5) を用い
て計算する。

【０１６４】

【数５】

【０１６５】ただし、数式(5) のｉはブロック番号、ｊ
は係数の番号である。

【０１６６】また、各フィールドＤＣＴ回路３０６，３
０８，３１０でＤＣＴされたそれぞれ４個の輝度ブロッ
クのＤＣＴ係数（それぞれ６４個）の絶対値和（Inter
Field Weightとする）を数６の数式(6) を用いて計算す
る。

【０１６７】

【数６】

【０１６８】ただし、数式(6) のｉはブロック番号、ｊ
は係数の番号である。

【０１６９】この各絶対値和（Inter Frame Weight) 及
び絶対値和(Inter Field Weight)に関してイントラ符号
化の場合と同様の判断によって、それぞれ対応するＤＣ
Ｔモード切り換え回路３１２〜３１４によって、フィー
ルドのＤＣＴかフレームのＤＣＴかを選択する。また、
判定されたＤＣＴモードに対応するInter Frame Weight
又はInter Field Weightが、Inter Weightとして予測判
定回路３１９に供給される。また、上述したInter Fram
e Weight及びInter Field Weightは、ブロックのすべて
のＤＣＴ係数の絶対値和とせずに、例えばいわゆるジグ
ザグスキャンの順での先頭からＮ番目（１≦Ｎ≦６４）
までのＤＣＴ係数の絶対値和としてもよい。また、色差
ブロックを含めるようにしてもよい。さらにまた、第１
の実施例における第２のモード決定法と同様に、インタ
ーレース構造に寄与する度合いの高い係数のみ用いるよ
うにしてもよい。

【０１７０】ここまでの処理によってフレーム／フィー
ルドＤＣＴモード切り換え回路３１１〜３１４からは、
それぞれ絶対値和の値(Weight)に基づいて判断されたＤ
ＣＴ係数データが出力される。このデータは予測モード
選択回路３１５に供給される。予測判定回路３１９で
は、イントラ符号化における絶対値和(Intra Weight)と
インター符号化における絶対値和(Inter Weight)に対し
て以下の判断を行ない、真の予測モードとＤＣＴモード
を決定する。予測判定回路３１９は、選択された予測モ
ードを可変長符号化回路５８に出力する。また、予測判
定回路３１９は、選択された予測モードに応じて予測モ
ード選択回路３１５の出力を切り換える。

【０１７１】先ず、予測判定回路３１９は、Inter Weig
htと、あるしきい値（ＴＨ₃）との比較を行う。

【０１７２】ここで、このイントラ符号化における絶対
値和(Inter Weight)において、 Inter Weight ＜ＴＨ₃ の場合、無条件にインター符号化に判定される。これ
は、インター符号化の予測モードになり易いように設け
たハンディである。

【０１７３】次に、イントラ符号化における絶対値和(I
ntra Weight)とインター符号化における絶対値和(Inter
Weight)が比較される。この時、それぞれの値(Weight)
の小さい方が選択される。またインター符号化の予測モ
ードになり易いように比較にハンディを付けることもで
きる。

【０１７４】例えば、 Inter Weight ＜Intra Weight＊β₄＋α₄ α₄、β₄は比較におけるハンディを行って、これが真の場合はインター符号化に、偽の場
合はイントラ符号化に判定される。また、上記のしきい
値ＴＨ₃を用いた判定を行わず、 Inter Weight ＜Intra Weight＊β₄＋α₄ α₄、β₄は比較におけるハンディの判定のみで、インター符号化とイントラ符号化の判定
を行うこともできる。予測判定回路３１９は、選択され
たInter Weight又はIntra Weightに対応する予測モード
及びフレーム／フィールドＤＣＴフラグを可変長符号化
回路５８に供給する。また、予測判定回路３１９は、予
測モード選択回路３１５を制御して、上記選択されたIn
ter Weight又はIntra Weightに対応するＤＣＴ係数を出
力させる。

【０１７５】これまでの処理によって符号化の予測モー
ド（画像内、前方予測、後方予測、両方向予測）の選択
およびＤＣＴモード（フレーム、フィールド）の選択が
演算部３２０によって行なわれ、当該演算部３２０の出
力が端子３１８からＤＣＴ係数の出力が後段の図４の量
子化回路５７に送られる。また、上述のようにして求め
たフレーム／フィールドＤＣＴモード切り換え回路３１
１〜３１４の判断結果は、上述のようにフレーム／フィ
ールドＤＣＴフラグとして端子３１７を介して可変長符
号化回路５８に送られる。

【０１７６】その他の処理に関しては、第１の実施例と
全く同様であり、それらについての説明は省略する。な
お、上記第２の実施例においては、仮の予測モードを設
定して画像内符号化信号と設定された予測モードに対応
する予測信号にのみフレーム及びフィールドＤＣＴをか
けるようにしたが、ピクチャタイプ（Ｉ，Ｐ，Ｂピクチ
ャ）によって決まる選択可能な予測モードに対応するす
べての画像内信号及び予測信号に対してフレーム及びフ
ィールドＤＣＴをかけ、最も効率のよいものを選択する
ようにしてもよい。

【０１７７】

【発明の効果】以上説明したように、本発明の画像符号
化方法および復号化方法によれば、映像信号に対して、
フレーム単位のブロックを形成しＤＣＴを行う系と、フ
ィールド単位のブロックを形成してＤＣＴを行う系と、
これら二つの系よりのフレームでＤＣＴされた映像信号
とフィールドでＤＣＴされた映像信号の何れかを選択す
る手段とを有し、フレーム変換された係数と、フィール
ド変換された係数の情報量を比較し、この比較結果に基
づいて上記フレーム変換された映像信号と、フィールド
変換された映像信号を選択する。さらに本発明によれ
ば、映像信号に対して、画像内予測（イントラ符号化）
を行ないＤＣＴを行う系と、画像間での予測（インター
符号化）を行ないＤＣＴを行う系と、イントラ符号化に
対してＤＣＴを施された映像信号とインター符号化に対
してＣＴを施された映像信号の何れかを選択する手段を
有し、イントラ符号化に対してＤＣＴされた係数と、上
記インター符号化に対してＤＣＴされた係数の情報量を
比較し、この比較結果に基づいて上記イントラ符号化に
対してＤＣＴされた映像信号と、インター符号化に対し
てＤＣＴされた映像信号を選択するようにした。

【０１７８】これによって従来に比較して、発生ビット
量に忠実な、より好ましいモード判断を行うことが可能
となる。したがって、符号化効率の面から最適なフレー
ム／フィールド予測モードの判断及びフレーム／フィー
ルドＤＣＴモードの判断を実現することができる。

【図面の簡単な説明】

【図１】第１の実施例装置の概略構成を示すブロック回
路図である。

【図２】本発明実施例におけるインターレース構造に寄
与する度合いの高いＤＣＴ係数を説明するための図であ
る。

【図３】第２の実施例装置の要部の概略構成を示すブロ
ック回路図である。

【図４】図３の構成が適用される第２の実施例装置の概
略構成を示すブロック回路図である。

【図５】高能率符号化の原理を説明する図である。

【図６】動画像信号を符号化する原理を説明する図であ
る。

【図７】画像データを圧縮する場合におけるピクチャの
タイプを説明する図である。

【図８】従来の画像符号化装置と復号化装置の構成例を
示すブロック図である。

【図９】図８におけるフォーマット変換回路１７のフォ
ーマット変換の動作を説明する図である。

【図１０】図８におけるエンコーダ１８の構成例を示す
ブロック図である。

【図１１】図１０の予測モード切り替え回路５２の動作
を説明する図である。

【図１２】図１０のＤＣＴモード切り替え回路５５の動
作を説明する図である。

【図１３】フレーム／フィールドＤＣＴのモード判断の
ための演算を行う具体的な構成を示すブロック回路図で
ある。

【図１４】図８のデコーダ３１の構成例を示すブロック
図である。

【図１５】ピクチャタイプにしたがったレート制御を説
明する図である。

【符号の説明】

１符号化装置２復号化装置３記録媒体１２，１３Ａ／Ｄ変換器１４フレームメモリ１５輝度信号フレームメモリ１６色差信号フレームメモリ１７フォーマット変換回路１８エンコーダ３１デコーダ３２フォーマット変換回路３３フレームメモリ３４輝度信号フレームメモリ３５色差信号フレームメモリ３６，３７Ｄ／Ａ変換器５０動きベクトル検出回路５１フレームメモリ５２予測モード切り替え回路５３演算部５４予測判定回路５５ＤＣＴモード切り替え回路５６ＤＣＴ回路５７量子化回路５８可変長符号化回路５９送信バッファ６０逆量子化回路６１ＩＤＣＴ回路６２演算器６３フレームメモリ６４動き補償回路８１受信バッファ８２可変長復号化回路８３逆量子化回路８４ＩＤＣＴ回路８５演算器８６フレームメモリ８７動き補償回路２００，３０３，３０５，３０７，３０９フレームＤ
ＣＴ回路２０１，３０４，３０６，３０８，３１０フィールド
ＤＣＴ回路２５５，３１１〜３１４フレーム／フィールドＤＣＴ
モード切り換え回路３１５予測モード選択回路３１９予測判定回路３２０演算部３３０セレクタ

Claims

【特許請求の範囲】

【請求項１】マクロブロック毎にフレーム単位のブロ
ック化又はフィールド単位のブロック化を選択して所定
の変換を行う画像符号化方法において、画像信号をフレーム単位でブロック化して上記所定の変
換を行って第１の変換係数を生成し、画像信号をフィールド単位でブロック化して上記所定の
変換を行って第２の変換係数を生成し、上記第１及び第２の変換係数の情報量に基づいて上記第
１又は第２の変換係数を選択することを特徴とする画像
符号化方法。
【請求項２】上記マクロブロックは複数の輝度ブロッ
ク及び色差ブロックからなり、当該マクロブロック中の
複数の輝度ブロックに対して求めた上記第１の変換係数
の絶対値和と、上記マクロブロック中の複数の輝度ブロ
ックに対して求めた上記第２の変換係数の絶対値和とを
比較して上記第１又は第２の変換係数の選択を行うこと
を特徴とする請求項１記載の画像符号化方法。
【請求項３】上記第１の変換係数の絶対値和が所定値
以下の時、上記比較の結果にかかわらず上記第１の変換
係数を選択することを特徴とする請求項２記載の画像符
号化方法。
【請求項４】上記第１又は第２の変換係数の絶対値和
に対して所定の重み付けを行って上記比較を行うことを
特徴とする請求項２記載の画像符号化方法。
【請求項５】マクロブロック毎にフレーム単位のブロ
ック化又はフィールド単位のブロック化を選択して所定
の変換を行う画像符号化方法において、画像信号をフレーム単位でブロック化して上記所定の変
換を行って第１の変換係数を生成し、画像信号をフィールド単位でブロック化して上記所定の
変換を行って第２の変換係数を生成し、上記第１及び第２の変換係数の高次の行の係数の複数個
の絶対値和又は２乗和を比較して上記第１又は第２の変
換係数を選択することを特徴とする画像符号化方法。
【請求項６】上記第１又は第２の変換係数の絶対値和
又は２乗和に対して所定の重み付けを行って上記比較を
行うことを特徴とする請求項５記載の画像符号化方法。
【請求項７】画像内符号化又は画像間予測された画像
信号に所定の変換を行って符号化を行う画像符号化方法
において、上記画像内符号化された信号をフレーム単位でブロック
化及び／又はフィールド単位でブロック化して所定の変
換を行って変換係数を生成し、上記画像間予測された信号をフレーム単位でブロック化
及び／又はフィールド単位でブロック化して所定の変換
を行って変換係数を生成し、上記各変換係数の情報量に基づいていずれかの変換係数
を選択することを特徴とする画像符号化方法。
【請求項８】上記画像内符号化の変換係数の情報量と
して、ＡＣ成分の変換係数の絶対値和を求めることを特
徴とする請求項７記載の画像符号化方法。
【請求項９】上記フレーム単位のブロック化による変
換係数の絶対値和が所定値以下の時、当該フレーム単位
のブロック化による変換係数を選択することを特徴とす
る請求項８記載の画像符号化方法。
【請求項１０】上記フレーム単位のブロック化による
変換係数の絶対値和又は上記フィールド単位のブロック
化による変換係数の絶対値和に対して所定の重み付けを
行って上記選択を行うことを特徴とする請求項８記載の
画像符号化方法。
【請求項１１】マクロブロック毎にフレーム単位のブ
ロック化又はフィールド単位のブロック化を選択して所
定の変換を行う画像符号化装置において、画像信号をフレーム単位でブロック化して上記所定の変
換を行って第１の変換係数を生成する第１の変換係数生
成手段と、画像信号をフィールド単位でブロック化して上記所定の
変換を行って第２の変換係数を生成する第２の変換係数
生成手段と、上記第１及び第２の変換係数生成手段で生成した第１及
び第２の変換係数の情報量に基づいて上記第１又は第２
の変換係数を選択する変換係数選択手段とを有すること
を特徴とする画像符号化装置。
【請求項１２】マクロブロック毎にフレーム単位のブ
ロック化又はフィールド単位のブロック化を選択して所
定の変換を行う画像符号化装置において、画像信号をフレーム単位でブロック化して上記所定の変
換を行って第１の変換係数を生成する第１の変換係数生
成手段と、画像信号をフィールド単位でブロック化して上記所定の
変換を行って第２の変換係数を生成する第２の変換係数
生成手段と、上記第１及び第２の変換係数生成手段で生成した第１及
び第２の変換係数の高次の行の係数の複数個の絶対値和
又は２乗和を比較して上記第１又は第２の変換係数を選
択する変換係数選択手段とを有することを特徴とする画
像符号化装置。
【請求項１３】画像内符号化又は画像間予測された画
像信号に所定の変換を行って符号化を行う画像符号化装
置において、上記画像内符号化された信号をフレーム単位でブロック
化及び／又はフィールド単位でブロック化して所定の変
換を行って変換係数を生成する画像内予測変換係数生成
手段と、上記画像間予測された信号をフレーム単位でブロック化
及び／又はフィールド単位でブロック化して所定の変換
を行って変換係数を生成する画像間予測変換係数生成手
段と、上記画像内予測変換係数生成手段及び画像間予測変換係
数生成手段で生成した各変換係数の情報量に基づいてい
ずれかの変換係数を選択する変換係数選択手段とを有す
ることを特徴とする画像符号化装置。
【請求項１４】上記画像内符号化された信号に基づく
変換係数の少なくとも一部の変換係数の絶対値和と、上
記画像間予測された信号に基づく変換係数の少なくとも
一部の変換係数の絶対値和を比較し、より小さい絶対値
和に対応する変換係数を選択することを特徴とする請求
項７記載の画像符号化方法。
【請求項１５】上記画像内符号化された信号に基づく
変換係数の少なくとも一部の変換係数の絶対値和と、上
記画像間予測された信号に基づく変換係数の少なくと一
部の変換係数の絶対値和に対して所定の重みづけを行っ
て、上記選択を行うことを特徴とする請求項１４記載の
画像符号化方法。