JP2669119B2 - 動き補償予測符号化装置及び復号化装置 - Google Patents

Description

【発明の詳細な説明】 （産業上の利用分野） ディジタル信号の処理を行なう記録，伝送，表示装置
において、信号をより少ない符号量で効率に符号化する
高能率符号化で、特に動画像信号の符号化装置及び復号
化装置に関する。

（従来の技術） 動画像の高能率符号化において、画像信号のフレーム
間の相関を利用し、符号化されるフレームを符号化の済
んだフレームで予測して、予測誤差（予測残差）のみを
符号化するフレーム間予測符号化がある。

近年はさらに、画像を動きに合わせて移動させて予測
する動き補償フレーム間予測が一般的になってきてい
る。

これを発展させ、予測方法を適応化した例として、テ
レビジョン学会誌vol.39、No.10、pp861−868、「15/30
Mb/s動き補償フレーム間・フィールド間・フィールド内
適応予測符号化方式」（1985−10）などがある。

これは比較的高レートでテレビ中継信号を符号化する
もので、インターレース信号に対して動き補償フレーム
間予測とフィールド内予測の他に、フィールド間（フレ
ーム内）の予測も用いている。

テレビ会議等でも、動き補償フレーム間予測が使われ
る。この場合、符号化の対象画像は、インターレース信
号を片フィールド間引いたノンインターレース信号が一
般的になっている。

（発明が解決しようとする課題） 従来例として示した符号化方式は、インターレース信
号の符号化として次のような問題点がある。

３種類の予測で、フィールド間予測は動きが垂直に1/
2ライン分程度の場合のみ有効で、静止や動きがそれ以
上で動き補償が追従する範囲以内の場合は動き補償フレ
ーム間予測が有効であり、動きがさらに大きな場合には
フィールド内予測が有効である。

結果として、フィールド間予測はあまり使われず、動
き補償フレーム間予測とフィールド内の適応予測のみを
用いた場合と予測効率が大差ない。

テレビ会議等で使われるインターレース信号を片フィ
ールド間引いたノンインターレース信号は、間引きによ
り垂直方向の折返し成分が多く含まれ、適切なフレーム
間予測ができないという不具合があった。

本発明は以上の点に着目してなされたもので、 適応予測でフィールド間予測を動き補償し、フレーム
間の予測は動き補償無しか、動き補償したとしても垂直
方向は１ライン程度の範囲にすることで、主たる動き補
償予測がフィールド間で行なわれ、その間の画像の変化
も少なく、大きな動きもカバーし易くなり、適切な動き
補償が可能になり、処理量の増加もわずかであり、ノン
インターレース信号では、過去の複数フレームを予測に
用いることで、動きが少ないとき折返し成分の影響を軽
減でき、予測効率が上がり、予測符号化においてデータ
量をより少なくすることができる動き補償予測符号化装
置及び復号化装置を提供することを目的とするものであ
る。

（課題を解決するための手段） 以上の目的を達成するために、 （１）画像信号の相関を利用して、符号化済みの部分か
ら予測対象部分を予測して、予測残差のみを符号化する
予測符号化において、前記画像信号の１フィールド前の
フィールド間予測に用いられる信号を得る手段と、前記
画像信号の１フレーム前のフレーム間予測に用いられる
信号を得る手段と、前記フィールド間予測に用いられる
信号を動き補償し、動き補償フィールド間予測信号を得
る第１の動き補償手段と、前記フレーム間予測に用いら
れる信号を動き補償し、動き補償フレーム間予測信号を
得る第２の動き補償手段と、前記動き補償フィールド間
予測信号と前記動き補償フレーム間予測信号を入力し、
予測残差の小さい方を予測信号として出力すると共に、
この情報を予測モード信号として出力する適応予測手段
と、前記画像信号から前記予測信号を減算して予測残差
を得る減算手段と、前記予測残差を符号化し、データ信
号として出力する符号化手段とを有して構成され、前記
第２の動き補償手段における動きベクトル範囲を、水平
方向に対して垂直方向を1/2以下に狭くすることを特徴
とする動き補償予測符号化装置を提供し、 （２）画像信号の相関を利用して、符号化済みの部分か
ら予測対象部分を予測して、予測残差のみを符号化して
出力したデータ信号を復号化して再生画像信号を得る予
測復号化において、前記再生画像信号の１フィールド前
のフィールド間予測に用いられる信号を得る手段と、前
記再生画像信号の１フレーム前のフレーム間予測に用い
られる信号を得る手段と、符号化側から送られてくる予
測モード信号によって、前記フィールド間予測に用いら
れる信号と前記フレーム間予測に用いられる信号のうち
の片方又は両方を動き補償する動き補償手段と、前記動
き補償手段の出力信号を適応予測して予測信号を出力す
る適応予測手段と、前記データ信号を復号し、再生予測
残差を得る復号化手段と、前記再生予測残差に前記予測
信号を加算して前記再生画像信号を得る加算手段とを有
して構成され、前記動き補償手段における動きベクトル
範囲を、水平方向に対して垂直方向を1/2以下に狭くす
ることを特徴とする動き補償予測復号化装置を提供する
ものである。

（作用） 前項に示したような問題を解決する手段として、適応
予測でフィールド間予測を動き補償し、フレーム間の予
測は動き補償無しか、動き補償としたとしても垂直方向
は１ライン程度の範囲にする。

また、ノンインターレース信号においては、１フレー
ム間の動き補償予測の他にもう１フレーム前の２フレー
ム間予測を用いる。

本発明の予測方法では、主たる動き補償予測がフィー
ルド間で行なわれる。この場合、動き補償を同じとする
と、フィールド間の方が時間的に近いので、その間の画
像の変化も少なく、大きな動きもカバーしやすくなる。
一方、画像が静止に近い場合は、予測がフレーム間予測
にて良好に予測できる。

ノンインターレース信号では折返し成分の適合したフ
レームの方が使われるので、１フレームだけより予測効
率が改善される。

（実施例） 第１図は本発明の動き補償予測符号化装置の第１の実
施例を示すブロック図である。

従来の符号化装置とその動作はほぼ同じであるが、予
測信号の形成方法が異なる。

第１図において、画像信号入力端子１より入力された
画像信号は、予測減算器（減算手段）2,動き補償器（第
１の動き補償手段）３及び適応予測器（適応予測手段）
４へ供給されている。

この画像信号は、後の適応処理等に合わせて、８×８
画素のブロック単位で連続して入力されるものとする。

予測減算器２は、画像入力信号から適応予測器４より
出力される予測信号を減算し、予測残差を得て、フィー
ルド内符号化器（符号化手段）５へ供給している。

フィールド内符号化器５、入力信号をフィールド内符
号化し、冗長が取り除かれたディジタルデータとしてデ
ータ出力端子６より出力すると共に、フィールド内復号
化器７へも出力している。

フィールド内符号化器５の内部処理は、従来例のよう
な簡単なものでもよいが、DCT（Discrete Cosine Trans
form）とハフマン符号等の可変長符号などを用いると効
率を上げられる。

一方、符号化装置での予測信号は、復号化装置と同一
の信号とするため、フィールド内符号化された信号より
作られる必要がある。

従って、フィールド内復号器７は、フィールド内符号
化された信号を復号し、再生予測残差を得て、加算器８
へ供給している。

加算器８は、前記再生予測残差とそれに対応する予測
信号を加算し、再生画像信号を得て、フィールドメモリ
ー９へ供給している。

フィールドメモリー９は、入力信号を１フィールドだ
け遅延した出力信号を得て、フィールドメモリー10及び
動き補償器３へ供給している。

フィールドメモリー10は、フィールドメモリー９と同
様に入力信号を１フィールド遅延し、結果として１フレ
ーム（２フィールド）遅延信号が出力され、適応予測器
４へ供給されている。

一方、動き補償器３は、前記の１フィールドだけ遅延
した再生画像信号を用いて、ブロックごとに画像入力信
号に対する動きベクトルを検出し、その分が動き補償さ
れた１フィールド遅延信号（動き補償により、正確な１
フィールドではなくなっている）を得て、適応予測器４
へ供給している。

さらに、動きベクトルの情報は復号側でも必要なの
で、動きベクトル出力端子11より出力し、復号側に伝送
している。

適応予測器４は、フレーム間と動き補償フィールド間
の２種類の予測信号から、適当な方をブロク単位で選択
して、予測モード出力端子12より出力している。

第２図は第１図における適応予測器の内部構成例を示
すブロック図である。

第２図において、入力端子13より、現フィールド信号
が入来し、減算器14,15へ供給されている。

又、入力端子16,17より、それぞれ１フィールド遅延
信号,1フレーム遅延信号が入来し、それぞれ減算器15,1
4へ供給されている。

減算器14は、前記現フィールド信号と１フレーム遅延
信号の差を求め、絶対値化器18へ供給している。

絶対値化器18は、入力信号の絶対値を取りブロック累
積器19へ供給している。

同様に、減算器15は、前記現フィールド信号と１フィ
ールド遅延信号の差を求め、絶対値化器20へ供給してい
る。

絶対値化器20は、入力信号の絶対値を取りブロック累
積器21へ供給している。

ブロック累積器19,21は、入力端子22より入来するブ
ロック同期信号によって、それぞれの入力信号を８×８
画素などのブロック単位で累積させ、比較器23へ供給し
ている。

比較器23は、その２つのブロック累積値の大小を比較
し、予測残差即ちブロック累積値の小さい方を選択する
出力信号を出し、切り換えスイッチ24へ供給すると共
に、予測モード出力端子12より復号側へ、どちらが選択
されたかの情報をブロック毎に伝送する。

一方、前記１フィールド遅延信号と１フレーム遅延信
号は、それぞれ切り換えスイッチ24へ供給されており、
前記比較器23の出力信号によって制御され、ブロック累
積値即ち予測残差の小さい方が選択され、予測信号出力
端子25より出力されている。

この様な適応予測では、画像が静止しているときには
フレーム間が選択され、それ以外は動き補償フィールド
間が選択される。

なお、第２図の場合は２モードの予測値であったが、
ここで予測の種類を増やし、両方の中間や固定値を加え
た４モードなどとしてもよいことは勿論である。

第３図は本発明の動き補償予測復号化装置の実施例を
示すブロック図である。第１図と同一部分には同一符号
を付して示す。

第３図において、データ入力端子26より符号化装置よ
り伝送されたデータ入力信号が入来し、フィールド内復
号化器（復号化手段）７へ供給されている。

フィールド内復号化器７は、フィールド内符号化され
た信号を復号し、再生予測残差を得て、加算器（加算手
段）８へ供給している。

加算器８は、前記再生予測残差と適応予測器（適応予
測手段）27より供給されるそれに対応する予測信号を加
算し、再生画像信号を得て、再生画像信号出力端子28を
介して出力すると共に、フィールドメモリー９へ供給し
ている。

フィールドメモリー９は、入力信号を１フィールドだ
け遅延した出力信号を得て、フィールドメモリー10及び
動き補償器29へ供給している。

フィールドメモリー10は、フィールドメモリー９と同
様に入力信号を１フィールド遅延し、結果として１フレ
ーム（２フィールド）遅延信号が出力され、適応予測器
27へ供給されている。

一方、動き補償器（第１の動き補償手段）29は、動き
ベクトル入力端子30より入来する伝送された動きベクト
ル信号によって、前記の１フィールドだけ遅延した再生
画像信号を用いて、ブロックごとに画像入力信号に対す
る動き補償をし、適応予測器27へ供給している。

適応予測器27は、予測モード入力端子31より入来する
伝送された予測モード信号によって、フレーム間と動き
補償フィールド間の２種類の予測信号から、適当な方を
ブロック単位で選択して、加算器８ヘ供給している。

動き補償器29や適応予測器27は、第１図に示した符号
化装置の動き補償器３や適応予測器４と比較すると動き
ベクトルの検出やモード判定が必要ないので、処理量は
大幅に少なくてよい。

以上の処理では動き補償はフィールド間のみで行なわ
れる。フレーム間よりフィールド間の方が時間差が少な
い分だけ画像の相関が高いので、フィールド間を動き補
償する方が、従来例のようにフレーム間を動き補償する
より有利である。

しかし、動きが小さな場合や、水平方向にしか動いて
いない場合は、フレーム間予測も動き補償するのが有効
となる。

第４図は本発明の動き補償予測符号化装置の第２の実
施例を示すブロック図である。第１図と同一部分には同
一符号を付して示す。

第１図に示す第１の実施例との相違は、フレーム間の
動き補償も行なうため、動き補償器32を追加した点のみ
であり、以下、相違点についてのみ説明する。

第４図においては、フレーム間予測、フィールド間予
測両方に動き補償が使われる。しかし、動き補償はフィ
ールド間とフレーム間で異なったタイプで、フィールド
間は基本的に従来と変わらないが、フレーム間はフィー
ルド間でうまく予測できない水平方向のみの動きと、上
下の微小動きに対応させ、垂直方向の範囲は±１ライン
程度にする。

第６図は動き補償器における動きベクトルの範囲を説
明するための図である。

フィールド間予測信号を出力する動き補償器３の動き
ベクトル範囲は、第６図（Ａ）に示す如く、垂直水平と
も±７画素である。

これに対し、フレーム間予測信号を出力する動き補償
器32の動きベクトルの範囲は、第６図（Ｂ）に示す如
く、水平をフィールド間と同じ動き量に対応するため±
５画素とするが、垂直は±１画素とする。

従って、フレーム間の動きベクトルの検出はベクトル
数が少なく、フィールド間に対して簡単なもので済む。

なお、復号化装置においても第４図に示す符号化装置
と同様に、フィールド間予測信号とフレーム間予測信号
の両方を動き補償することもできる。

但し、復号化装置の場合には、符号化装置側でどちら
の信号の予測残差が小さいかの情報が予測モード信号と
して復号化装置へ送られてくるので、１つの動き補償器
へ両信号を入力し、予測モード信号によって、必要な信
号を動き補償して、適応予測器へ供給すれば良い。両信
号を動き補償した場合には、適応予測器でその平均を取
ることもできる。

図示は省略するが、具体的には、例えば第３図に示す
復号化装置において、フィールドメモリ10出力を適応予
測器27ではなく、動き補償器29へ供給し、予測モード信
号によって動き補償して、適応予測器29へ供給すれば良
い。

一方、本手法をノンインターレース信号に適用するこ
ともできる。

第５図は予測の様子を説明するための図である。

第５図（Ａ）はインターレース信号の場合、第５図
（Ｂ）はノンインターレース信号の場合を示している。

インターレース信号の場合には、奇数フィールド
（ｏ）と、偶数フィールド（ｅ）がある。

なお、図において四角はフィールドまたはフレーム、
数字はその番号、矢印は予測を示す。

インターレース信号のときのフィールド間予測は１フ
レーム間、フレーム間予測は２フレーム間になる。

ノンインターレース信号の場合には、符号化装置や復
号化装置の構成は、第１図，第３図におけるフィールド
メモリーがフレームメモリーに、フィールド内処理がフ
レーム内処理になる以外は変わらない。動作も同じであ
る。

しかし、フレーム間は同じ位置に画素が存在するの
で、適応予測動作はフィールドがそのままフレーム間と
はならず、画像が静止状態なら１フレーム間の方が予測
に使われる。

この手法は、テレビ会議等で使われる片フィールド間
引きのノンインターレース信号など、折返し成分が多い
場合に有効である。動きの大きな場合や静止は１フレー
ム間での予測が有利であるが、動きが少ない場合は時間
的距離より折返し成分の適合が重要になり、動きによっ
て２フレーム遅延の方が選択される場合がある。

従って、２フレーム遅延の動き補償範囲は前記の様に
狭くてよい。

（発明の効果） 本発明の動き補償予測符号化装置及び復号化装置は、
適応予測でフィールド間予測を動き補償し、フレーム間
の予測は動き補償無しか、動き補償したとしても垂直方
向は１ライン程度の範囲にすることで、主たる動き補償
予測がフィールド間で行なわれ、フィールド間の方が時
間的に近いので、その間の画像の変化も少なく、大きな
動きもカバーしやすくなり、適切な動き補償が可能にな
る。

又、フレーム間の動き補償は範囲が制限されているの
で、処理量の増加も僅かである。

インターレース信号では、１フレーム間と２フレーム
間の適応予測となるが、過去の複数フレームを予測に用
いることで、動きが少ないとき折返し成分の影響を軽減
でき、予測効率が上がる。

より適切な予測ができることで、予測残差が少なくな
り、予測符号化においてデータ量をより少なくすること
ができる。

以上説明の如く、本発明の動き補償予測符号化装置及
び復号化装置は、実用上極めて優れた効果を有するもの
である。

【図面の簡単な説明】

第１図は本発明の動き補償予測符号化装置の第１の実施
例を示すブロック図、第２図は第１図における適応予測
器の内部構成例を示すブロック図、第３図は本発明の動
き補償予測復号化装置の実施例を示すブロック図、第４
図は本発明の動き補償予測符号化装置の第２の実施例を
示すブロック図、第５図は予測の様子を説明するための
図、第６図は動き補償器における動きベクトルの範囲を
説明するための図である。 １……画像信号入力端子、２……予測減算器、3,29,32
……動き補償器、4,27……適応予測器、５……フィール
ド内符号化器、６……データ出力端子、７……フィール
ド内復号化器、８……加算器、9,10……フィールドメモ
リー、11……動きベクトル出力端子、12……予測モード
出力端子、13,16,17,22……入力端子、14,15……減算
器、18,20……絶対値化器、19,21……ブロック累積器、
23……比較器、24……切り換えスイッチ、25……予測信
号出力端子、26……データ入力端子、28……再生画像信
号出力端子、30……動きベクトル入力端子、31……予測
モード入力端子。

Claims (2)

(57)【特許請求の範囲】
1. 【請求項１】画像信号の相関を利用して、符号化済みの
   部分から予測対象部分を予測して、予測残差のみを符号
   化する予測符号化において、 前記画像信号の１フィールド前のフィールド間予測に用
   いられる信号を得る手段と、 前記画像信号の１フレーム前のフレーム間予測に用いら
   れる信号を得る手段と、 前記フィールド間予測に用いられる信号を動き補償し、
   動き補償フィールド間予測信号を得る第１の動き補償手
   段と、 前記フレーム間予測に用いられる信号を動き補償し、動
   き補償フレーム間予測信号を得る第２の動き補償手段
   と、 前記動き補償フィールド間予測信号と前記動き補償フレ
   ーム間予測信号を入力し、予測残差の小さい方を予測信
   号として出力すると共に、この情報を予測モード信号と
   して出力する適応予測手段と、 前記画像信号から前記予測信号を減算して予測残差を得
   る減算手段と、 前記予測残差を符号化し、データ信号として出力する符
   号化手段とを有して構成され、 前記第２の動き補償手段における動きベクトル範囲を、
   水平方向に対して垂直方向を1/2以下に狭くすることを
   特徴とする動き補償予測符号化装置。
2. 【請求項２】画像信号の相関を利用して、符号化済みの
   部分から予測対象部分を予測して、予測残差のみを符号
   化して出力したデータ信号を復号化して再生画像信号を
   得る予測復号化において、 前記再生画像信号の１フィールド前のフィールド間予測
   に用いられる信号を得る手段と、 前記再生画像信号の１フレーム前のフレーム間予測に用
   いられる信号を得る手段と、 符号化側から送られてくる予測モード信号によって、前
   記フィールド間予測に用いられる信号と前記フレーム間
   予測に用いられる信号のうちの片方又は両方を動き補償
   する動き補償手段と、 前記動き補償手段の出力信号を適応予測して予測信号を
   出力する適応予測手段と、 前記データ信号を復号し、再生予測残差を得る復号化手
   段と、 前記再生予測残差に前記予測信号を加算して前記再生画
   像信号を得る加算手段とを有して構成され、 前記動き補償手段における動きベクトル範囲を、水平方
   向に対して垂直方向を1/2以下に狭くすることを特徴と
   する動き補償予測復号化装置。