JP2852118B2 - 動画像符号化方法、及び、動画像符号化装置 - Google Patents

Description

【発明の詳細な説明】 〔産業上の利用分野〕 本発明はディジタル動画像データのデータ圧縮を行う
動画像符号化方式に係り、特に動き補償技術を用いた動
画像符号化方法、及び、動画像符号化装置に関する。

〔従来の技術〕

データ通信回線により動画像を伝送するため、また
は、データ記録メディアに動画像を記録し再生するため
には、膨大な情報量を持つディジタル動画像データをデ
ータ圧縮する必要がある。動画像は、１秒あたり所定枚
数の画面が順次送られてくるものなので、静止画の場合
と同様に画面内のデータ相関を利用してデータ圧縮する
方法と、時間軸方向で考えて画面間のデータ相関を利用
してデータ圧縮する方法とを併用した、動画像符号化方
式が用いられる。

静止画の場合と同様に画面内のデータ相関を利用する
方法としては、予測符号化方式と変換符号化方式とがあ
る。予測符号化方式とは、符号化する画素のデータ値
を、符号化済みの近傍の画素のデータ値から予測し、実
際のデータ値との差分値である予測誤差を量子化する方
式である。これは符号化済みの近傍の画素とのデータ相
関を利用するものである。また、変換符号化方式とは、
画面を所定サイズのブロックに分割し、そのブロック単
位で画像データを直交変換して周波数成分に変換した後
に、その周波数成分を量子化する方式である。これは、
ブロック内の画素のデータ相関を利用する方式である。
直交変換としては、アダマール変換やディスクリートコ
サイン変換などがある。

時間軸方向で考えて画面間のデータ相関を利用してデ
ータ圧縮する方法としては、画面間予測符号化方式と変
化領域符号化方式などがある。画面間予測符号化方式と
は、符号化する画素のデータ値を、符号化済みの前画面
の画素のデータ値から予測して、その予測誤差を符号化
する方式である。これは、前画面との差分データを符号
化するものである。また、変化領域符号化方式とは、前
画面と比べて変化のあった領域の画像データのみを符号
化する方式である。これは、前画面からの変化領域のみ
を符号化するものである。

前記の画面間予測符号化方式の一つとして、動き補償
予測符号化方式が広く用いられている。この動き補償予
測符号化方式とは、画面を所定サイズのブロックに分割
し、そのブロック単位で、前画面の中で最もデータ値の
パターンが近い、すなわちブロック間の差分値が最も小
さくなるブロックを捜し出し、そのブロックのデータ値
との予測誤差、すなわち動き補償予測誤差を符号化する
方式である。もちろん、ブロックのずれ量である動きベ
クトルも符号化する必要がある。例えば、全探索により
動きベクトルを検出する場合、検出範囲を水平と垂直の
それぞれについて±７画素とすると、全部で（２×７＋
１）^２＝225回もブロック間の差分値を計算する必要が
ある。しかし、前画面との差分データの振幅を大幅に低
減でき、データ圧縮率の向上が実現できる。隣接する画
面間で画素の空間的位置がそろっている場合、すなわち
ノンインターレース走査の動画像に対しては、この動き
補償予測符号化方式が効率良く適用できる。しかし、隣
接する画面間で画素の空間的位置がずれている場合、す
なわちインターレース走査の動画像に対しては、効率良
く動き補償予測を行うために多少の工夫が必要である。

通常のテレビ信号はインターレース走査の動画像であ
り、フィールドと呼ばれる画面が１秒あたり60枚伝送さ
れ、隣合ったフィールド間で垂直方向の画素位置が0.5
ラインだけずれている。そのため、２フィールドから構
成されるフレームと呼ばれる画面が、１秒あたり30枚伝
送されるものとも考えられる。したがって、前フィール
ドからの動き補償予測（フィールド間動き補償予測）を
用いた場合には、フィールド間の0.5ラインの画素位置
のズレの影響で、動画像における静止領域においても動
き補償予測誤差がゼロにならないという問題点が生じ
る。また、２フィールド前のフィールドからの動き補償
予測（フレーム間動き補償予測）を用いた場合には、時
間間隔がフィールド間と比べ２倍と長いために、動画像
における動領域においては物体の速い動きに対する十分
な動き補償ができず、動き補償予測誤差が大きくなると
いう問題点が生じる。

これらの問題点を解決した、インターレース画像に対
する従来の動き補償予測符号化方式としては、例えば特
開昭59−128881号公報に記載された動き補償フレーム間
フィールド間符号化装置に用いられている方式が知られ
ている。これは、フィールド間の動きベクトルとフレー
ム間の動きベクトルの両方を検出し、ブロック単位でど
ちらか適したほうの動きベクトルを使用して、動き補償
予測符号化を行う方式である。

〔発明が解決しようとする課題〕

上記従来技術においては、フィールド間とフレーム間
の両方の動きベクトルを検出し、どちらかの動きベクト
ルを選択して動き補償を行っているが、実際にはその動
きベクトル検出処理に無駄があるという問題点があっ
た。例えばフィールド間で垂直0.5ラインの動きがあっ
た場合には、それはフレーム間では２倍の垂直１ライン
の動きに相当するので、実際にはどちらか一方の動きベ
クトルの検出のみで十分のはずである。

本発明の目的は、このように等価な動きベクトル検出
処理の無駄をなくし、その分別の動きベクトル検出処理
に当てることにより、特に動領域において動き補償予測
誤差の低減を実現することにある。

〔課題を解決するための手段〕

上記目的を達成するために、本発明は、前フィールド
と現フィールドとの間で動きベクトルを検出すると同時
に、動き適応ライン補間処理で生成した補間フィールド
と現フィールドとの間でも動きベクトルを検出し、両方
の動きベクトルの中で動き補償予測誤差が小さくなる方
を選択して、動き補償予測符号化を行うようにした。動
き適応ライン補間処理は、インターレース画像の隣接す
るライン間に、新たな補間ラインを生成する処理であ
り、インターレース画像を倍速表示走査のノンインター
レース画像に変換する処理として用いられている。物体
の動きに応じて、上・下・前などの各画素のデータ値を
利用し、補間画素のデータ値を適応的に生成する処理で
ある。

〔作用〕

動き適応ライン補間処理では、まず当該フィールドの
補間すべき画素の位置における動き量を検出する。例え
ば、実際に存在する0.5ライン下の画素に対して、２フ
ィールド前のフィールドとの差分、すなわちフレーム差
分を求めて動き量とする。動き量は、動きがほとんどな
いときは０、動きがある程度以上大きいときは１、その
中間のときは０から１の間の値をとる。次に、その動き
量に応じて静止領域用の第１の補間値と動領域用の第２
の補間値との重み付け平均値を、補間すべき当該画素の
動き適応補間値として出力する。第１の補間値は、静止
領域用であり、補間すべき当該画素と対応する位置にあ
る直前のフィールドの画素値そのものである。また第２
の補間値は、動領域用であり、補間すべき当該画素の近
傍に存在する同一フィールド内の複数個の画素値の重み
付け平均値である。例えば、0.5ラインだけ上と下にあ
る２つの画素値の平均値である。

動きベクトル検出処理では、前フィールドと現フィー
ルドとの間の第１の動きベクトル検出処理と、動き適応
ライン補間により生成された補間フィールドと現フィー
ルドとの間における第２の動きベクトル検出処理が行わ
れる。第１の動きベクトル検出処理により、従来例と同
様に第１のフィールド間動き補償が実現される。ただ
し、インターレース走査のため、動きベクトルの垂直成
分は±0.5,±1.5,……といった値となる。

静止領域では動き量が０であり、補間フィールドの画
素値は実際には２フィールド前の画素値となっているの
で、第２の動きベクトル検出処理により、従来例と同様
にフレーム間動き補償が実現される。また、動領域では
動き量が１であり、補間フィールドの画素値は実際には
前フィールドにおける近傍の画素値の重み付け平均値と
なっているので、第２の動きベクトル検出処理により、
従来例とは異なり第２のフィールド間動き補償が実現さ
れる。ただし、動きベクトルの垂直成分は0,±1,±2,…
…といった値をとる。なお、動き量が０と１との間の値
をとる場合には、上記の２つの動き補償を混合した特殊
な動き補償処理となる。

このように、静止領域ではフィールド間とフレーム間
の適応動き補償予測を行うが、動領域では垂直方向0.5
ライン単位のフィールド間の動き補償予測が行われる。
したがって、特に動領域での動き補償予測誤差を低減
し、動き補償予測の性能を向上させることができる。

〔実施例〕

以下、本発明の実施例を図面を用いて詳しく説明す
る。

第１図は、本発明による動き補償予測符号化方式を適
用した動画像符号化システムにおける、データ圧縮を実
現する動画像符号化装置の第１の実施例のブロック図で
ある。また、第２図は、第１図に示した動画像符号化装
置と共に動画像符号化システムを構成するもので、デー
タ伸長を実現する動画像復号化装置のブロック図であ
る。

第１図の動画像符号化装置において、１は画像データ
の入力端子、２はスキャン変換回路、３はデータ遅延回
路、４はデータ減算回路、５は直交変換回路、６は量子
化回路、７は可変長符号化回路、８はデータ多重回路、
９はバッファメモリ、10は符号化データの出力端子、11
は逆量子化回路、12は逆直交変換回路、13はデータ加算
回路、14aと14bはフィールドメモリ、15は動き補償回
路、16は動きベクトル検出回路、17は動きベクトル符号
化回路、32は動き適応ライン補間回路である。

第２図の動画像復号化装置において、18は符号化デー
タの入力端子、19はバッファメモリ、20はデータ分離回
路、21は可変長復号化回路、22は逆量子化回路、23は逆
直交変換回路、25はデータ加算回路、26はスキャン逆変
換回路、27は画像データの出力端子、28aと28bはフィー
ルドメモリ、29は動き補償回路、30は動きベクトル復号
化回路、33は動き適応ライン補間回路である。

まず、第１図の動画像符号化装置の動作を説明する。
映像信号がディジタル化された原画像データが入力端子
１から入力され、スキャン変換回路２でその原画像デー
タの順番がラスタスキャンからブロックスキャンに変換
される。この様子を第６図に示す。（ａ）に示すよう
に、表示走査通りに左から右の画素へ、そして上から下
の画素へ順番にスキャンされるラスタスキャンで、原画
像データは入力端子１から入力される。そして、以降の
符号化の処理単位が８×８画素のブロックであるため
に、スキャン変換回路２では、（ａ）のラスタスキャン
から（ｂ）のブロックスキャンへ、原画像データの順番
が並び変えられる。（ｂ）に示すように、ブロックスキ
ャンとは、ブロック内は上から下の画素へ、そして左か
ら右の画素へ順番にスキャンされ、かつブロック間は左
から右のブロックへ、そして上から下のブロックへ順番
にスキャンされるものである。

ブロックスキャンに順番が変換された原画像データ
は、データ遅延回路３で所定時間だけ遅延された後に、
データ減算回路４で動き補償予測画像データが減算さ
れ、動き補償予測誤差データが生成される。データ遅延
回路３における遅延時間は後述する動きベクトル検出回
路16の処理時間を補償するためのものである。動き補償
予測画像データは、既に符号化処理済みの過去のフィー
ルドの画像データから動き補償により予測された画像デ
ータであり、動き補償回路15から出力されるものであ
る。

動き補償予測誤差データに対して、８×８画素をブロ
ックとする２次元ディスクリートコサイン変換の処理が
直交変換回路５で行われ、周波数成分に相当する直交変
換後の変換係数は、量子化回路６で所定の量子化ステッ
プ幅で量子化される。そして、量子化後の変換係数に
は、発生頻度が高いデータには短い符号を、逆に発生頻
度が低いデータには長い符号を割り当てるように、可変
長符号化回路７で符号割り当てが行われる。

この画像符号化データは、付加情報の動きベクトル符
号化データ、および量子化ステップ幅の情報により、デ
ータ多重回路８で多重され、一旦バッファメモリ９に保
持された後に、出力端子10から符号化データとして出力
される。ここで、動きベクトル符号化データは、動き補
償に用いられる動きベクトルの情報であり、動きベクト
ル符号化回路17から出力されるものである。また、バッ
ファメモリ９に蓄えられているデータ量、すなわちバッ
ファメモリ占有率に応じて、バッファメモリ９は量子化
ステップ幅を決定してその情報を出力する。バッファメ
モリ占有率が高くなった場合は量子化ステップ幅を大き
く、逆にバッファメモリ占有率が低くなった場合は量子
化ステップ幅を小さく制御する。

さて、量子化回路６から出力された量子化後の変換係
数は、逆量子化回路11で変換係数に戻された後に、逆直
交変換回路12で逆ディスクリートコサイン変換により予
測誤差データに戻される。データ加算回路13では、デー
タ減算回路４で減算に使用された動き補償予測画像デー
タが、この局部復号化された予測誤差データに加算さ
れ、局部復号化画像データが生成される。この局部復号
化画像データは、動画像符号化装置と対になる動画像復
号化装置でデータ伸長により再生される画像データで、
以降の動き補償予測画像データを生成するために用いら
れる。

局部復号化画像データに対しては、動き適応ライン補
間回路32でライン間の画像データが補間生成され、第１
のフィールドメモリ14aには実際に存在する実画像デー
タが、第２のフィールドメモリ14bには補間により生成
された補間画像データが順次書き込まれる。この現フィ
ールドの局部復号化された実画像データと補間画像デー
タは、次フィールドの原画像データの符号化の際に必要
な動き補償予測画像データを生成するために用いられ
る。

動き補償回路15は、動きベクトル検出回路16で検出さ
れた動きベクトルに従って、フィールドメモリ14aに保
持された前フィールドの局部復号化後の実画像データ
か、またはフィールドメモリ14bに保持された前フィー
ルドの局部復号化後の補間画像データを、ブロック単位
でずらして動き補償予測画像データとして出力する。動
きベクトル検出回路16は、現フィールドの現ブロックの
原画像データを、フィールドメモリ14aまたは14bに保持
された前フィールドの局部復号化された画像データと画
素単位でずらしながら比較し、最もブロック間のブロッ
ク差分値が小さくなるブロックのずれ量を、動きベクト
ルとして検出して出力する。なお、この動きベクトル
は、動きベクトル符号化回路17において、前ブロックと
の各成分の差分を可変長符号化される。

次に、第２図の動画像復号化装置の動作を説明する。
入力端子18から入力された符号化データは、一旦バッフ
ァメモリ19に保持された後に、データ分離回路20で画像
符号化データと、付加情報である動きベクトル符号化デ
ータ、量子化ステップ幅の情報が分離される。量子化後
の変換係数の符号化データである画像符号化データは、
まず可変長復号化回路21で復号化され、逆量子化回路22
で変換係数に戻された後に、逆直交変換回路23で逆ディ
スクリートコサイン変換により予測誤差データに戻され
る。

そして、この復号化された予測誤差データには、デー
タ加算回路25で動き補償予測画像データが加算され、再
生画像データが生成される。復号化により再生された画
像データは、スキャン逆変換回路26でブロックスキャン
からラスタスキャンに順番が変換され、出力端子27から
再生画像データとして出力される。

なお、再生画像データに対しては、動き適応ライン補
間回路33でライン間の画像データが補間生成され、第１
のフィールドメモリ28aには実際に存在する実画像デー
タが、第２のフィールドメモリ28bには補間により生成
された補間画像データが順次書き込まれる。この現フィ
ールドの復号化により再生された実画像データと補間画
像データは、次フィールドの再生画像データを復号化に
より再生する際に必要な動き補償予測画像データを生成
するために用いられる。

次に、第１図の動画像符号化装置における動き適応ラ
イン補間回路32の構成と動作について詳しく説明する。
第３図は動き適応ライン補間回路32の詳細なブロック
図、第４図は動き適応ライン補間回路32の処理内容を示
す概念図である。

第３図に示す動き適応ライン補間回路32において、38
はスキャン逆変換回路、39は263ライン遅延回路、40は2
62ライン遅延回路、41はエッジ検出回路、42は動き検出
回路、43は混合比生成回路、45はライン遅延回路、46は
データ加算回路、47は1/2乗算回路、49と50はデータ乗
算回路、51はデータ加算回路、44,48,および52はデータ
遅延回路である。

まず、スキャン逆変換回路38で、入力された現フィー
ルドの画像データは、ブロックスキャンから表示走査と
同じラスタスキャンの順番に並び換えられる。そして、
現フィールドの画像データは263ライン遅延回路39に与
えられ、263ライン遅延回路39の出力の画像データはさ
らに262ライン遅延回路40に与えられる。インターレー
ス走査の画像データの１フィールドは262.5ラインから
なっているので、263ライン遅延回路39からは、現フィ
ールドよりも１フィールド前で、現ラインよりも0.5ラ
イン上の位置の画像データが出力される。また、262ラ
イン遅延回路40からは現フィールドよりもちょうど２フ
ィールド前で、現ラインと同一の位置の画像データが出
力される。

動き検出回路42では、現フィールドの現ラインの画像
データと、現フィールドのちょうど２フィールド前で、
現ラインと同一位置の画像データとの差分、すなわちフ
レーム差分が計算され、その差分値から０と１の間の値
をとる動き量が生成される。所定の第１のしきい値より
もフレーム差分が大きい場合には、動き量は動画モード
を示す１の値を、所定の第１のしきい値よりもフレーム
差分が小さい場合には、動き量は静止画モードを示す０
の値をとる。当然、第１のしきい値は第２のしきい値よ
りも大きな値であり、フレーム差分が両方のしきい値の
間の値である場合には、動き量は０と１との間の値をと
る。

エッジ検出回路41では、現フィールドの画像データに
対して空間内でのハイパスフィルタがかけられ、その出
力値から０と１の間の値をとるエッジ量が生成される。
このエッジ量は、画面内のエッジの強さに対応した値で
あり、エッジがないと考えられる平坦な部分では０の値
を、エッジがあると考えられ急峻な部分では１の値を、
その中間の場合には、０と１との間の値をとる。このエ
ッジ量は動き検出回路42に入力され、エッジ量に従って
動き検出回路で用いられる２つのしきい値が可変制御さ
れる。すなわち、エッジ量が小さい場合には、２つのし
きい値は小さく、エッジ量が大きい場合には、２つのし
きい値は大きくなる。これは、エッジの強い部分では動
き検出の感度を弱めることに相当する。

混合比生成回路43では、動き検出回路42で生成された
動き量から、２種類のライン補間値を重み付け混合する
際の混合比kmが生成される。混合比kmは０と１との間を
とる離散値であり、0,1/8,2/8,……１という９つの値を
とりうる。動き量が小さいときは混合比は小さな値をと
り、逆に動き量が大きいとき混合比は大きな値をとる。
この混合比kmが０のときは静止画モードのライン補間値
が用いられ、この混合比kmが１のときは動画モードのラ
イン補間値が用いられる。

さて、現フィールドにおける現ラインの0.5ライン上
に位置する補間ラインの画像データとしては、次に示す
２種類のライン補間値が混合されて生成される。静止画
モードのライン補間値は１フィールド前値であり、263
ライン遅延回路39の出力、すなわち補間ラインの１フィ
ールド前で補間ラインと同一の位置にある画像データの
値が用いられる。また、動画モードのライン補間値は上
下ライン平均値であり、現ラインの画像データとライン
遅延回路45の出力である１ライン前の画像データがデー
タ加算回路46で加算された後に1/2乗算回路47で1/2の値
に変換され、生成された平均値が用いられる。ここで、
データ遅延回路44と48は、エッジ検出回路41、動き検出
回路42、および混合比生成回路43における処理時間を補
償するためのものである。

混合比生成回路43の出力である混合比kmの値に応じ
て、まず、静止画モードのライン補間値である１フィー
ルド前値には、データ乗算回路49で（１−km）という値
が掛けられ、また、動画モードのライン補間値である上
下ライン平均値には、データ乗算回路50でkmという値が
掛けられる。そして、49と50の両方のデータ乗算回路の
出力がデータ加算回路51で加算され、補間画像データと
して出力される。一方、現フィールドの現ラインの画像
データが、データ遅延回路52で上記の補間画像データ生
成の処理時間が補償された後に、補間画像データと併せ
て実画像データとして出力される。

第４図は、以上説明した動き適応ライン補間回路32の
処理内容、すなわち補間ラインの画像データの生成方法
の概念を示している。○印はインターレース走査される
動画像の各ラインを示しており、×印は動き適応ライン
補間の処理により生成される補間ラインを示している。
現ラインの画像データと、525ライン前の画像データの
両者から動き検出が行われて混合比kmが生成され、263
ライン前の画像データ、および現ラインの画像データ
と、１ライン前の画像データの平均値が、その混合比km
に応じて重み付け混合される。

なお、動画像復号化装置における動き適応ライン補間
回路33の構成と動作も、以上説明した動画像符号化装置
における動き適応ライン補間回路32の場合と全く同じで
ある。

次に、第１図の動画像符号化装置における動き補償回
路15の構成と動作について詳しく説明する。第８図は動
き補償回路15の詳細なブロック図、第５図は動き補償回
路15の処理内容を示す概念図である。

第８図に示す動き補償回路15において、53と55は拡張
ブロックデータ生成回路、54と56はシフトブロック出力
回路、57は動きベクトル垂直成分判定回路、58はデータ
切り換え回路である。

まず、第１図のフィールドメモリ14aに保持されてい
た前フィールドの実画像データが、第３図の拡張ブロッ
クデータ生成回路53に入力され、現ブロックに対応する
拡張ブロックの画像データが出力される。同様に、フィ
ールドメモリ14bに保持されていた前フィールドの動き
適応ライン補間による補間画像データが、拡張ブロック
データ生成回路55に入力され、現ブロックに対応する拡
張ブロックの画像データが出力される。第７図に示す通
り、拡張ブロックとは８×８画素の現ブロックを含む近
傍の９ブロックが結合されたものであり、現ブロックを
中心として24×24画素の大きさを持つ。

第９図に、拡張ブロックデータ生成回路53のさらに詳
細なブロック図を示す。この拡張ブロックデータ生成回
路53において、59と60はブロックライン遅延回路、61〜
66はブロック遅延回路である。ブロックライン遅延回路
59と60は、８×８画素のブロックの水平一列分である１
ブロックライン分だけ、すなわち８ライン分だけ入力の
ブロックデータを遅延させるもので、ブロック遅延回路
61〜66は、８×８画素のブロックの１ブロック分だけ入
力のブロックデータを遅延させるものである。

ブロックライン遅延回路59とブロックライン遅延回路
60とは縦続接続され、かつブロック遅延回路61と62,63
と64,および65と66は、それぞれ縦続接続されている。
まず、第８図の拡張ブロックデータ生成回路53に入力さ
れたブロックデータは、第９図のブロックライン遅延回
路59とブロック遅延回路61に与えられる。また、ブロッ
クライン遅延回路59の出力のブロックデータはブロック
遅延回路63に渡され、ブロックライン遅延回路60の出力
のブロックデータはブロック遅延回路65に渡される。

そして、第９図の中にａ〜ｉの記号で示した、ブロッ
ク遅延回路61〜66の入力や出力である９種類のブロック
データがまとめられ、拡張ブロックデータとして出力さ
れる。各ブロックデータは、第７図の中にａ〜ｉの記号
で示した９個のブロックのブロックデータに相当する。
拡張ブロックの中心である現ブロックはブロックａで、
動き補償回路15に入力されているブロックｉに対して、
１ブロックラインと１ブロック分だけ遅延している。な
お、第８図の拡張ブロックデータ生成回路55の構成と動
作も全く同様である。

さて、第８図のシフトブロック出力回路54では、拡張
ブロックデータ生成回路53から与えられた、前フィール
ドの実画像データにおける現ブロックを中心とする拡張
ブロックの画像データから、その一部分であるシフトブ
ロックの画像データが抜き出される。同様に、シフトブ
ロック出力回路56では、拡張ブロックデータ生成回路55
から与えられた、前フィールドの補間画像データにおけ
る現ブロックを中心とする拡張ブロックの画像データか
ら、その一部分であるシフトブロックの画像データが抜
き出される。

第７図に示す通り、シフトブロックとは拡張ブロック
の一部分を成す８×８画素のブロックであり、中心の現
ブロックの位置から所定のシフトベクトル分だけずれた
位置から抜き出されたものである。後述するように、シ
フトベクトルの値の範囲は、水平方向も垂直方向も±７
画素であり、シフトブロックは必ず拡張ブロックの内部
に存在する。

動きベクトルの値の範囲は、水平方向が１画素単位で
±７画素、垂直方向は0.5画素単位で±７画素である。
そして、第１図の動き補償回路15に入力された動きベク
トルから、第８図の動きベクトル垂直成分判定回路57に
おいて、シフトブロック出力回路54と56に共通に与えら
れるシフトベクトルと、データ切り換え回路58に与えら
れるシフトブロック選択信号とが生成される。シフトベ
クトルは、動きベクトルの垂直成分の小数部を切り捨て
ることにより生成されるので、その値の範囲は、水平方
向も垂直方向も１画素単位で±７画素である。また、シ
フトブロック選択信号は、動きベクトルの垂直成分の小
数部が０のときは“0"、小数部が0.5のときは“1"とな
るように生成される。

シフトブロック出力回路54の出力である前フィールド
の実画像データにおけるシフトブロックと、シフトブロ
ック出力回路56の出力である前フィールドの補間画像デ
ータにおけるシフトブロックのどちらかが、データ切り
換え回路58で選択され、動き補償予測画像データとして
出力される。このデータ切り換え回路58は、垂直成分判
定回路57から与えられるシフトブロック選択信号が“0"
のときは補間画像データのシフトブロックを、“1"のと
きは実画像データのシフトブロックを選択する。

後述する第１図の動きベクトル検出回路16では、その
処理に１ブロックラインと１ブロック分の処理時間がか
かり、動き補償回路15に入力されているブロックｉに対
する、現ブロックとして扱われるブロックａの遅延時間
と等しい。したがって、シフトブロック出力回路54や56
では、現ブロックａを中心とする拡張ブロックに対し、
タイミングの合ったシフトベクトルが与えられ、正しい
シフトブロックが抜き出されることになる。

第５図は、以上説明した動き補償回路15の処理内容、
および動き補償の方法の概念を示している。太い黒枠は
現フィールドの現ブロックで、○印がブロック内の画素
を示している。また、細い黒枠は動き適応ライン補間回
路32により生成された前フィールドの動き補償予測ブロ
ックで、●印がブロック内の実画像データの画素を、×
印がブロック内の補間画像データの画素を示している。
ただし、ここでは図の簡易化のために、ブロックのサイ
ズを水平８画素×垂直４画素として図示している。

動きベクトルの垂直成分が整数、すなわち小数部が０
の場合は、（ａ）に示すように動き補償予測ブロックの
×印で示された補間画像データの画素が、現ブロックの
○印で示された画素と対応する形となる。それに対し
て、動きベクトルの垂直成分が整数と0.5との和、すな
わち小数部が0.5の場合は、（ｂ）に示すように動き補
償予測ブロックの●印で示された実画像データの画素
が、現ブロックの○印で示された画素と対応する形とな
る。そして、データ減算回路４において、太い黒枠で示
された現フィールドの現ブロックの画像データから、細
い黒枠で示された動き適応ライン補間回路32により生成
された前フィールドの動き補償予測ブロックの画像デー
タが減算されて、動き補償の処理が行われることにな
る。

なお、動画像復号化装置における動き補償回路29の構
成と動作も、以上説明した動画像符号化装置における動
き補償回路15の場合と全く同じである。

最後に、第１図の動きベクトル検出回路16の構成と動
作について詳しく説明する。第10図が動きベクトル検出
回路16の詳細なブロック図である。

第10図に示す動きベクトル検出回路16において、67は
データ遅延回路、68と69は拡張ブロックデータ生成回
路、70a〜70z、および73a〜73zはシフトブロック出力回
路、71a〜71z、および74a〜74zはブロック差分値生成回
路、75は最小値検出・動きベクトル生成回路である。

まず、拡張ブロックデータ生成回路68において、第１
図のフィールドメモリ14aに保持されていた前フィール
ドの実画像データから、拡張ブロックの画像データが生
成される。同様に、拡張ブロックデータ生成回路69にお
いて、フィールドメモリ14bに保持されていた前フィー
ルドの動き適応ライン補間による補間画像データから、
拡張ブロックの画像データが生成される。なお、拡張ブ
ロックデータ生成回路68と69の構成と動作は、第９図と
第７図を用いて既に説明した、動き補償回路15における
拡張ブロックデータ生成回路53の場合と同じである。

シフトブロック出力回路70a〜70zは、動きベクトル検
出範囲内で存在しうる全シフトベクトルの個数分だけあ
り、各シフトブロック出力回路70a〜70zには全て異なる
シフトベクトルが与えられている。動きベクトル検出範
囲は、水平方向も垂直方向も±７画素であり、シフトベ
クトルは水平方向も垂直方向も１画素単位で存在しうる
ので、シフトブロック出力回路70a〜70zの個数は、全部
で（２×７＋１）^２＝225個である。

これにより、シフトブロック出力回路70a〜70zから
は、拡張ブロックの中で抜き出しが可能な、全種類のシ
フトブロックの画像データが出力されることになる。な
お、シフトブロックデータ出力回路70a〜70zの構成と動
作も、前述した動き補償回路15におけるシフトブロック
出力回路54の場合と同じである。

ブロック差分値生成回路71a〜71zもシフトブロック出
力回路70a〜70zと同様に225個ある。ブロック差分値生
成回路71aには、シフトブロック出力回路70aの出力であ
る前フィールドにおける第１のシフトブロックの画像デ
ータと、データ遅延回路67で所定時間だけ遅延された現
フィールドにおける現ブロックの原画像データとが入力
される。このデータ遅延回路67は、拡張ブロックデータ
生成回路68と69での処理時間を補償するものであり、１
ブロックラインと１ブロック分だけのデータ遅延を実現
するものである。そして、２つのブロックに対して、対
応する位置の画素間で画像データの差分がとられた後
に、８×８＝64個の差分値が合計されてブロック差分値
が生成される。また、ブロック差分値生成回路71b〜71z
の動作も同様である。

次に、シフトブロック出力回路73a〜73zも225個あ
り、各シフトブロック出力回路73a〜73zには全て異なる
シフトベクトルが与えられている。そのため、シフトブ
ロック出力回路73a〜73zからは、前フィールドにおける
補間画像データの拡張ブロックの中で抜き出しが可能
な、全種類のシフトブロックの画像データが出力される
ことになる。なお、シフトブロック出力回路73a〜73zの
構成と動作も、前述した動き補償回路15におけるシフト
ブロック出力回路54の場合と同様である。

ブロック差分値生成回路74a〜74zも225個あり、各シ
フトブロック出力回路73a〜73zの出力である前フィール
ドの各シフトブロックの画像データと、データ遅延回路
67で所定時間だけ遅延された現フィールドにおける現ブ
ロックの現画像データとが入力される。そして、各ブロ
ック差分値生成回路74a〜74zでは、２つのブロックに対
して、対応する位置の画素間で画像データの差分がとら
れた後に、64個の差分値が合計されてブロック差分値が
生成される。

すなわち、拡張ブロックデータ生成回路68、シフトブ
ロック出力回路70a〜70z、およびブロック差分値生成回
路71a〜71zでは、前フィールドの実画像データにおいて
存在しうる全シフトブロックと、現フィールドにおける
現ブロックとのブロック差分値が生成される。

また、拡張ブロックデータ生成回路69、シフトブロッ
ク出力回路73a〜73z、およびブロック差分値生成回路74
a〜74zでは、前フィールドの補間画像データにおいて存
在しうる全シフトブロックと、現フィールドにおける現
ブロックとのブロック差分値が生成される。

そして、最小値検出・動きベクトル生成回路75では、
生成された全てのブロック差分値が比較されて最小値が
検出され、最小値をとるブロック差分値の番号から動き
ベクトルが生成されて出力される。すなわち、最小値を
とるブロック差分値がブロック差分値生成回路74a〜74z
のいずれかの出力である場合には、対応するシフトブロ
ック出力回路73a〜73zに設定しているシフトベクトルが
そのまま動きベクトルとして用いられる。また、最小値
をとるブロック差分値がブロック差分値生成回路71a〜7
1zのいずれかの出力である場合には、対応するシフトブ
ロック出力回路70a〜70zに設定されているシフトベクト
ルの垂直成分の値が0.5だけ減らされ、動きベクトルと
して用いられる。

第11図は、本発明に係る動き補償動画像符号化方式を
適用した動画像符号化システムにおける、データ圧縮を
実現する動画像符号化装置の第２の実施例のブロック図
である。また、第12図は、第11図に示した動画像符号化
装置と共に動画像符号化システムを構成するもので、デ
ータ伸長を実現する動画像復号化装置のブロック図であ
る。

第11図の動画像符号化装置において、１は画像データ
の入力端子、２はスキャン変換回路、３はデータ遅延回
路、４はデータ減算回路、５は直交変換回路、６は量子
化回路、７は可変長符号化回路、８はデータ多重回路、
９はバッファメモリ、10は符号化データの出力端子、11
は逆量子化回路、12は逆直交変換回路、13はデータ加算
回路、14aと14bはフィールドメモリ、15は動き補償回
路、16は動きベクトル検出回路、17は動きベクトル符号
化回路、32は34と動き適応ライン補間回路、35aと35bは
フィールドメモリである。

第12図の動画像復号化装置において、18は符号化デー
タの入力端子、19はバッファメモリ、20はデータ分離回
路、21は可変長復号化回路、22は逆量子化回路、23は逆
直交変換回路、25はデータ加算回路、27は画像データの
出力端子、28aと28bはフィールドメモリ、29は動き補償
回路、30は動きベクトル復号化回路、33は動き適応ライ
ン補間回路、37は倍速変換回路である。

まず、第11図の動画像符号化装置の動作を説明する。
入力端子１から入力された原画像データは、スキャン変
換回路２でラスタスキャンからブロックスキャンに順番
が変更され、データ遅延回路３で所定時間だけ遅延され
た後に、データ減算回路４で動き補償予測画像データが
減算され、動き補償予測誤差データが生成される。動き
補償予測画像データは、動き補償回路15から出力される
ものである。

そして、直交変換回路５、量子化回路６、および可変
長符号化回路７により、動き補償予測誤差データに対し
てディスクリートコサイン変換による符号化が行われ、
画像符号化データが生成される。この画像符号化データ
は、付加情報の動きベクトル符号化データおよび量子化
ステップ幅の情報とデータ多重回路８で多重され、一旦
バッファメモリ９に保持された後に、出力端子10から符
号化データとして出力される。ここで、動きベクトル符
号化データは、動きベクトル符号化回路17から出力され
るものである。

量子化回路６の出力である量子化後の変換係数は、逆
量子化回路11と逆直交変換回路12で局部復号化され、動
き補償予測誤差データに戻される。そして、データ加算
回路13で、動き補償予測画像データが加算され、局部復
号化画像データが生成される。この局部復号化画像デー
タに対しては、動き適応ライン補間回路32でライン間の
画像データが補間生成され、第１のフィールドメモリに
は実際に存在する実画像データが、第２のフィールドメ
モリには補間により生成された補間画像データが順次書
き込まれる。

動き補償回路15は、動きベクトル検出回路16で検出さ
れた動きベクトルに従って、フィールドメモリ14aと14b
に保持された前フィールドの局部復号化後の実画像デー
タ、または補間画像データを、ブロック単位でずらして
動き補償予測画像データとして出力する。以上の符号化
処理に関しては、前述した第１図の動画像符号化装置の
場合と全く同じである。

ただし、動きベクトル検出の処理が、第１図の動画像
符号化装置の場合とは異なる。現フィールドの画像デー
タは、動き適応ライン補間回路34でライン間の画像デー
タが補間生成された後に、フィールドメモリ35aには実
画像データが、フィールドメモリ35bには補間画像デー
タが順次書き込まれる。動きベクトル検出回路16は、現
フィールドの現ブロックの原画像データを、フィールド
メモリ35aまたは35bに保持された前フィールドの原画像
データと画素単位でずらしながら比較し、最もブロック
間のブロック差分値の小さくなるブロックのずれ量を、
動きベクトルとして検出して出力する。

前述した第１図の動画像符号化装置では、符号化後に
局部復号化された再生画像の過去のフィールドから、現
フィールドにおける現ブロックの動きベクトルが検出さ
れるが、この第11図に示す動画像符号化装置では、原画
像の過去のフィールドから、現フィールドにおける現ブ
ロックの動きベクトルが検出される。このように、符号
化歪が混入していない原画像を用いて動きベクトルを検
出しているので、より正確な動きベクトルの検出が可能
となり、動画像復号化装置においては符号化歪の目立た
ない再生画像が得られ、画質向上が実現できる。

なお、動き適応ライン補間回路32と34の詳細な構成と
動作は、前述した第１図の動画像符号化装置における動
き適応ライン補間回路32の場合と全く同じである。ま
た、動き補間回路15と動きベクトル検出回路16の詳細な
構成と動作は、それぞれ前述した第１図の動画像符号化
装置における動き補償回路15と動きベクトル検出回路16
の場合と全く同じである。

次に、第12図の動画像復号化装置の動作を説明する。
入力端子18から入力された符号化データは、一旦バッフ
ァメモリ19に保持された後に、データ分離回路20で画像
符号化データと、付加情報の動きベクトル符号化デー
タ、量子化ステップ幅の情報が分離される。画像符号化
データは、可変長復号化回路21、逆量子化回路22、およ
び逆直交変換回路23により復号化され、動き補償予測誤
差データに戻される。そして、この復号化された動き補
償予測誤差データには、データ加算回路25で動き補償予
測画像データが加算され、再生画像データが生成され
る。この再生画像データに対しては、動き適応ライン補
間回路33でライン間の画像データが補間され、実画像デ
ータと補間画像データが生成されると同時に、ブロック
スキャンからラスタスキャンに画像データの順番が変換
される。倍速変換回路37では、これらの実画像データと
補間画像データとを対応するライン単位で多重すること
により、１フィールドが通常の２倍のライン数であり、
かつノンインターレース走査の倍速再生画像データが生
成され出力される。

さらに、動き適応ライン補間回路33の出力である実画
像データと補間画像データは、それぞれフィールドメモ
リ28aと28bとに順次書き込まれる。そして、動き補償回
路29は、動きベクトル符号化回路30で復号化された動き
ベクトルに従って、フィールドメモリ28aと28bに保持さ
れた前フィールドの復号化後の実画像データ、または補
間画像データを、ブロック単位でずらして動き補償予測
画像データとして出力する。

前述した第２図の動画像復号化装置では、データ加算
回路25の出力がスキャン逆変換回路26を通過した後に、
そのまま再生画像データとして出力されるが、その第12
図に示す動画像復号化装置では、データ加算回路25の出
力が動き適応ライン補間回路33でそのライン数が２倍に
増やされ、倍速変換回路37でノンインターレース走査の
倍速再生画像となって出力される。このように、ノンイ
ンターレース走査の動き適応ライン補間された倍速再生
画像が出力されるので、動きがなめらかでチラツキがな
い再生画像が得られ、画質向上が実現できる。

なお、動き適応ライン補間回路33、動き補償回路29の
詳細な構成と動作は、前述した第１図の動画像符号化装
置における動き適応ライン補間回路32、動き補償回路15
の場合と全く同じである。

以上、本発明に係る動き補償動画像符号化方式を適用
した動画像符号化システムを構成する、動画像符号化装
置と動画像復号化装置に関して、２種類の実施例を示し
た。当然のことながら、動画像符号化装置の第１の実施
例と、動画像復号化装置の第２の実施例を組み合わせる
ことは可能であり、逆に、動画像符号化装置の第２の実
施例と動画像復号化装置の動１の実施例を組み合わせる
ことも可能である。

さて、第13図は、本発明による動き補償動画像符号化
方式を適用した動画像符号化システムにおける、データ
圧縮を実現する動画像符号化装置の第３の実施例のブロ
ック図である。また、第14図は、第13図に示した動画像
符号化装置と共に動画像符号化システムを構成するもの
で、データ伸長を実現する動画像復号化装置のブロック
図である。

第13図の動画像符号化装置において、１は画像データ
の入力端子、２はスキャン変換回路、３はデータ遅延回
路、４はデータ減算回路、５は直交変換回路、６は量子
化回路、７は可変長符号化回路、８はデータ多重回路、
９はバッファメモリ、10は符号化データの出力端子、11
は逆量子化回路、12は逆直交変換回路、13はデータ加算
回路、14aと14bはフィールドメモリ、15は動き補償回
路、16は動きベクトル検出回路、76は動き適応ライン補
間回路、77はデータ選択回路、78は符号化モード決定回
路、79は付加情報符号化回路である。

第14図の動画像復号化装置において、18は符号化デー
タの入力端子、19はバッファメモリ、20はデータ分離回
路、21は可変長復号化回路、22は逆量子化回路、23は逆
直交変換回路、25はデータ加算回路、27は画像データの
出力端子、28aと28bはフィールドメモリ、29は動き補償
回路、80は動き適応ライン補間回路、81と86はデータ選
択回路、82は出力画像決定回路、83は再生モードの入力
端子、84は付加情報の復号化回路である。

まず、第13図の動画像符号化装置の動作を説明する。
この動画像符号化装置は、データ圧縮後の符号化データ
を、光ディスク等の大容量データ記録メディアに記録す
るために用いられる。対応する第14図の動画像復号化装
置において、記録された動画像の途中のシーンから再生
可能とするために、所定フィールド数ごとに周期的にフ
ィールド内符号化するフィールドを設ける。

入力端子１から入力された原画像データは、スキャン
変換回路２でラスタスキャンからブロックスキャンに順
番が変更され、データ遅延回路３で所定時間だけ遅延さ
れた後に、データ減算回路４で予測画像データが減算さ
れ、予測誤差画像データが生成される。予測画像データ
は、動き補償回路15の出力である動き補償予測画像デー
タと、フィールド内符号化のための固定値“0"とが、デ
ータ選択回路77で切り換えられて出力される。

そして、直交変換回路５、量子化回路６、および可変
長符号化回路７により、予測誤差データに対してディス
クリートコサイン変換による符号化が行われ、画像符号
化データが生成される。この画像符号化データは、付加
情報の動きベクトル符号化データ、符号化モード符号化
データ、および量子化ステップ幅の情報とデータ多重回
路８で多重され、一旦バッファメモリ９に保持された後
に、出力端子10から符号化データとして出力される。こ
こで、動きベクトル符号化データと符号化モード符号化
データは付加情報符号化回路79から出力される。

量子化回路６の出力である量子化後の変換係数は、逆
量子化回路11と逆直交変換回路12で局部復号化され、予
測誤差画像データに戻される。そして、データ加算回路
13で、予測画像データが加算され、局部復号化画像デー
タが生成される。この局部復号化画像データに対して
は、動き適応ライン補間回路76でライン間の画像データ
が補間生成され、第１のフィールドメモリには実際に存
在する実画像データが、第２のフィールドメモリには補
間により生成された補間画像データが順次書き込まれ
る。

動き補償回路15は、動きベクトル検出回路16で検出さ
れた動きベクトルに従って、フィールドメモリ14aと14b
に保持された前フィールドの局部復号化後の実画像デー
タ、または補間画像データを、ブロック単位でずらして
動き補償予測画像データとして出力する。動きベクトル
検出回路16は、現フィールドの現ブロックの画像データ
を、フィールドメモリ14aまたは14bに保持された画像デ
ータと画素単位でずらしながら比較し、最もブロック間
のブロック差分値が小さくなるブロックのずれ量を、動
きベクトルとして検出出力する。

ただし、第１図の動画像符号化装置の場合と異なり、
所定フィールド数ごとに周期的にフィールド内符号化を
行うように、符号化モード決定回路78において符号化モ
ード指示信号が出力される。すなわち、符号化モード指
示信号は、まず２フィールドの間はフィールド内符号化
モードを示す“1"、続く28フィールドの間は動き補償フ
ィールド間符号化モードを示す“0"となる。これによ
り、データ選択回路77は、符号化モード指示信号が“1"
のフィールド内符号化モードの場合には、固定値“0"を
選択し、符号化モード指示信号が“0"の動き補償フィー
ルド間符号化モードの場合には、動き補償回路15の出力
である動き補償予測画像データを選択し、予測画像デー
タとして出力する。符号化モードは動きベクトルと共
に、付加情報符号化回路79で符号化され、データ多重回
路８に出力される。

なお、符号化モード指示信号は動き適応ライン補間回
路76にも与えられる。動き適応ライン補間回路76では、
符号化モード指示信号が“0"の動き補償フィールド間符
号化モードの場合には、通常の動き適応ライン補間が行
われるが、符号化モード指示信号が“1"のフィールド内
符号化モードの場合には、完全動画モードの上下ライン
平均値による補間に強制的に固定される。これは、フィ
ールド内符号化のフィールド、およびそれに続いて動き
補償フィールド間符号化されるフィールドが、過去のフ
ィールドに関係なく符号化および復号化できるようにす
るためである。

第15図は動き適応ライン補間回路76の詳細なブロック
図である。38はスキャン逆変換回路、39は263ライン遅
延回路、40は262ライン遅延回路、41はエッジ検出回
路、42は動き検出回路、43は混合比生成回路、45はライ
ン遅延回路、46はデータ加算回路、47は1/2乗算回路、4
9と50はデータ乗算回路、51はデータ加算回路、44,48,
および52はデータ遅延回路、85はデータ選択回路であ
る。

この動き適応ライン補間回路76の構成と動作は、前述
した第１図の動き適応ライン補間回路32とほとんど同じ
である。異なるのは、符号化モードに応じて混合比を切
り換えるデータ選択回路85が存在し、符号化モード指示
信号が“0"の動き補償フィールド間符号化モードの場合
には、動き適応ライン補間を行うため混合比出力回路43
の出力である混合比が選択されるが、符号化モード指示
信号が“1"をフィールド内符号化モードの場合には、完
全動画モードの補間を行うため固定値“1"が選択される
点である。他の部分の動作に関しては、前述の動き適応
ライン補間回路32の場合と同じなので、その説明は省略
する。

前述した第１図の動画像符号化装置では、前フィール
ドから動き補償予測を行う動き補償フィールド間符号化
モードのみであったが、この第13図に示す動画像符号化
装置では、その動き補償フィールド間符号化モードだけ
でなく、30フィールドごとに２フィールドだけ周期的に
フィールド内符号化モードが存在する。フィールド内符
号化の場合には過去のフィールドに関係なく符号化され
ているので、動画像復号化装置においては、任意のフィ
ールド内符号化されたフィールドの符号化データから復
号化を開始することにより、そのフィールドからの動画
像の再生が実現できる。

なお、動き補償回路15と動きベクトル検出回路16の詳
細な構成と動作は、それぞれ前述した第１図の動画像符
号化装置における動き補償回路15と動きベクトル検出回
路16の場合と全く同じである。

次に、第14図の動画動復号化装置の動作を説明する。
この動画像復号化装置は、光ディスク等の大容量データ
記録メディアに記録された符号化データを、復号化によ
り再生するために用いられる。所定フィールド数ごとに
周期的に設けられたフィールド内符号化の任意のフィー
ルドから、すなわち動画像の途中のシーンから再生を行
うことができる。また、通常再生モードだけでなく、通
常の1/2の速度で符号化データを復号化し再生するスロ
ー再生モードを持つ。

入力端子18から入力された符号化データは、一旦バッ
ファメモリ19に保持された後に、データ分離回路20で画
像符号化データと、付加情報の動きベクトル符号化デー
タ、符号化モード符号化データ、および量子化ステップ
幅の情報が分離される。画像符号化データは、可変長復
号化回路21、逆量子化回路22、逆直交変換回路23により
復号化され、予測誤差データに戻される。

そして、この復号化された予測誤差データには、デー
タ加算回路25で予測画像データが加算され、再生画像デ
ータが生成される。この再生画像データに対しては、動
き適応ライン補間回路80でライン間の画像データが補間
され、実画像データと補間画像データが生成される。動
き適応ライン補間回路80の出力である実画像データと補
間画像データは、それぞれフィールドメモリ28aと28bと
に順次書き込まれる。

動き補償回路29は、付加情報復号化回路84で復号化さ
れた動きベクトルに従って、フィールドメモリ28aと28b
に保持された前フィールドの復号化後の実画像データ、
または補間画像データを、ブロック単位でずらして動き
補償予測画像データとして出力する。そして、付加情報
復号化回路84で復号化された符号化モードに従って、フ
ィールド内符号化モードの場合には固定値“0"が、動き
補償フィールド間符号化モードの場合には動き補償回路
29の出力である動き補償予測画像データが、データ選択
回路86で選択され予測画像データとして出力される。

さて、通常再生を行う場合には、入力端子83から入力
されるスロー再生指示信号は“0"であり、出力画像決定
回路82は常に“0"を出力する。そのため、動き適応ライ
ン補間回路80の出力である実画像データ、すなわちデー
タ加算回路25の出力がブロックスキャンからラスタスキ
ャンに順番が変換され再生画像データとして出力され
る。

それに対して、1/2の速度のスロー再生を行う場合に
は、入力端子83から入力されるスロー再生指示信号は
“1"であり、符号化データは1/2の速度で入力端子18か
ら入力され復号化される。その場合には、２フィールド
の時間でもともとの１フィールドの画像データが復号化
されるので、動き適応ライン補間回路80の出力である１
フィールド分の実画像データと補間画像データが、デー
タ選択回路81で１フィールドごとに交互に切り換えら
れ、再生画像データとして出力される。

すなわち、スロー再生指示信号が“1"のスロー再生モ
ードの場合には、出力画像決定回路82の出力は、もとも
との符号化されたフィールドが奇数フィールドである場
合には、実画像データを先に選択するためにまず“0"と
なり、補間画像データを後に出力するために次に“1"と
なる。また、逆に、出力画像決定回路82の出力は、もと
もとの符号化されたフィールドが偶数フィールドである
場合には、補間フィールドを先に選択するためにまず
“1"となり、実画像データを後に出力するために次に
“0"となる。

このように、1/2倍速のスロー再生モードの際に、符
号化データを復号化した後にそのフィールドを２回繰り
返して再生するのではなく、動き適応ライン補間された
倍のライン数を持つフィールドの実画像データと補間画
像データを１回ずつ再生するので、動きがなめらかで、
かつ解像度の高いスロー再生画像が得られ、画質向上が
実現できる。

なお、動き適応ライン補間回路80の詳細な構成と動作
は、前述した第13図の動画像符号化装置における動き適
応ライン補間回路76の場合と全く同じである。また、動
き補償回路29の詳細な構成と動作は、前述した第１図の
動画像符号化装置における動き補償回路15の場合と全く
同じである。

以上、本発明による動き補償動画像符号化方式を適用
した動画像符号化システムを構成する、動画像符号化装
置と動画像復号化装置に関して、第３の実施例を示し
た。当然のことながら、動画像符号化装置においては、
第２の実施例のように、原画像の前フィールドと現フィ
ールドから動きベクトルを検出する方法を用いてもよ
い。また、動画像復号化装置においても、第２の実施例
のように、１フィールドが通常の２倍のライン数でノン
インターレース走査の倍速再生画像を出力するようにし
てもよい。

さて、以上説明した動画像符号化装置と動画像復号化
装置の実施例は、動き適応ライン補間により生成した２
倍のライン数を持つ参照画像を利用した動き補償、およ
び動きベクトル検出を、ハードウェア処理で実現してい
るものであったが、もちろんディジタルシグナルプロセ
ッサ（DSP）等によるソフトウェア処理で実現してもよ
い。このとき、複数個のDSPの並列処理により１個の処
理を実現することもできるし、１個のDSPの直列処理に
より複数個の処理を実現することもできる。

このようにソフトウェア処理で動き補償、および動き
検出を実現する場合、ハードウェア処理の場合のように
各ブロックにおける処理量を一定にしておく必要はな
く、できるだけ余分な処理量を削減してその分で他の種
類の処理を行うことが望ましい。そこで、動き補償の性
能を落とさずに、無駄な動きベクトル検出処理を削って
処理量の削減を行うとよい。例えば、動き適応ライン補
間による前フィールドの実画像データと補間画像データ
を生成し、それらと原画像の現フィールドとの間で、最
もブロック間のブロック差分値が小さくなる動きベクト
ルを検出し、動き補償を行うが、動き適応ライン補間を
行う際に検出する各画素の動き量から、動きベクトル検
出の際の動きベクトル検出範囲を可変制御することがで
きる。

すなわち、動き適応ライン補間の際に検出している、
前フィールドにおける補間すべき各画素の位置の動き量
から、現フィールドの各ブロックに対する動きベクトル
検出の際に動きベクトル検出範囲を決定する。ここで、
動きベクトルを検出すべき現フィールドのブロックと同
一空間位置にある前フィールドのブロックにおいて、各
画素の動き量の総和が所定のしきい値よりも大きい場合
には、通常の第１の検出範囲を用い、逆に、各画素の動
き量の総和が所定のしきい値よりも小さい場合には、第
１の検出範囲よりも狭い第２の検出範囲を用いる。第１
の検出範囲は、水平±７画素（１画素単位）で垂直±７
画素（0.5画素単位）であり、第２の検出範囲は、水平
±３画素（１画素単位）で垂直±３画素（0.5画素単
位）である。

前フィールドにおけるブロックの各画素の動き量の合
計が小さい場合には、現フィールドにおけるブロックの
動きベクトルは小さいと推定されるので、上記の通りに
動きベクトル検出範囲を可変制御することにより、動き
補償の性能を落とさずに、無駄な動きベクトル検出処理
を削って処理量の削減を行うことができる。

なお、以上説明した動画像符号化装置と動画像復号化
装置の実施例は、フィールド間のデータ相関を利用する
動き補償予測符号化方式に、フィールド内のデータ相関
を利用するディスクリートコサイン変換による変換符号
化方式を組み合わせたものであるが、もちろんアダール
変換などの他の直交変換を用いてもよい。また、変換符
号化方式の代わりに、予測符号化方式やベクトル量子化
などの他の方式を用いてもよい。

また、動き補償、動きベクトル検出、動き適応ライン
補間の処理としては、実施例の回路の動作で説明した以
外にも様々な処理方法が考えられ、いずれの方法でも問
題はない。もちろん、ブロックサイズ、動きベクトル検
出範囲などは他の値を用いてもよい。第３の実施例のよ
うに、フィールド単位で符号化モードを変えることがで
きるが、さらに細かくブロック単位で符号化モードを変
更することも可能である。

〔発明の効果〕

本発明によれば、符号化済みの直前の２フィールドの
動画像信号から現フィールドの予測信号を生成して動き
補償の処理を行うため、動き補償予測の性能を向上させ
ることができる。

【図面の簡単な説明】 第１図は本発明による動き補償予測符号化方式を用いる
動画像符号化装置の第１の実施例のブロック図、第２図
は第１図の動画像符号化装置と対になる動画像復号化装
置の第１の実施例のブロック図、第３図は動画像符号化
装置の第１の実施例における動き適応ライン補間回路の
詳細なブロック図、第４図は動き適応ライン補間回路の
処理内容を示す概念図、第６図は動画像符号化装置の第
１の実施例におけるスキャン変換回路の処理内容を示す
概念図、第８図は動画像符号化装置の第１の実施例にお
ける動き補償回路の詳細なブロック図、第５図は動き補
償回路の処理内容を示す概念図、第９図は動き補償回路
における拡張ブロック生成回路のさらに詳細なブロック
図、第７図は拡張ブロック生成回路の処理内容を示す概
念図、第10図は動画像符号化装置の第１の実施例におけ
る動きベクトル検出回路の詳細なブロック図、第11図は
本発明による動き補償予測符号化方式を用いる動画像符
号化装置の第２の実施例のブロック図、第12図は第11図
の動画像符号化装置と対になる動画像復号化装置の第２
の実施例のブロック図、第13図は本発明による動き補償
予測符号化方式を用いる動画像符号化装置の第３の実施
営のブロック図、第14図は第13図の動画像符号化装置と
対になる動画像復号化装置の第３の実施例のブロック
図、第15図は動画像符号化装置の第３の実施例における
動き適応ライン補間回路の詳細なブロック図である。 ２……スキャン変換回路 ４……データ減算回路 ５……直交変換回路 ６……量子化回路 ７……可変長符号化回路 ８……データ多重回路 ９・19……バッファメモリ 21……可変長復号化回路 11・22……逆量子化回路 12・23……逆直交変換回路 13・25……データ加算回路 26……スキャン逆変換回路 15・29……動き補償回路 16……動きベクトル検出回路 32・33・34・76・80……動き適応ライン補間回路

Claims (4)

(57)【特許請求の範囲】
1. 【請求項１】インターレース走査された動画像信号の各
   フィールドに対して、符号化済みの直前の２フィールド
   の動画像信号を混合してブロック単位での動きベクトル
   に応じた現フィールドの動き補償予測信号を生成し、該
   動き補償予測信号と現フィールドの動画像信号との予測
   誤差を符号化することを特徴とする動画像符号化方法。
2. 【請求項２】前記符号化済みの直前の２フィールドの動
   画像信号を用いてノンインターレース走査信号を生成
   し、該ノンインターレース走査信号から現フィールドの
   動き補償予測信号を生成することを特徴とする請求項１
   記載の動画像符号化方法。
3. 【請求項３】インターレース走査された動画像信号の各
   フィールドに対して、符号化済みの直前の２フィールド
   の動画像信号を混合してブロック単位での動きベクトル
   に応じた現フィールドの動き補償予測信号を生成する予
   測信号生成手段と、該予測信号生成手段で生成された動
   き補償予測信号と現フィールドの動画像信号との予測誤
   差を符号化する予測符号化手段を備えたことを特徴とす
   る動画像符号化装置。
4. 【請求項４】前記予測信号生成手段は、前記符号化済み
   の直前の２フィールドの動画像信号を用いてノンインタ
   ーレース走査信号を生成する走査変換手段と、該走査変
   換手段で生成されたノンインターレース走査信号から現
   フィールドの動き補償予測信号を生成する予測手段を備
   えることを特徴とする請求項３記載の動画像符号化装
   置。