JPH07118808B2

JPH07118808B2 - 動画像信号の符号化・復号化装置

Info

Publication number: JPH07118808B2
Application number: JP60057338A
Authority: JP
Inventors: 敏夫古閑
Original assignee: NEC Corp
Current assignee: NEC Corp
Priority date: 1985-03-20
Filing date: 1985-03-20
Publication date: 1995-12-18
Anticipated expiration: 2010-12-18
Also published as: JPS61214885A

Description

【発明の詳細な説明】（産業上の利用分野）本発明は動画像信号の画面間に存在する相関を用いて予
測符号化する技術に関する。

（従来の技術とその問題点）動画像信号のデータ圧縮を行うに当たって、たとえばテ
レビ信号の場合などはフレームと呼ばれる画面の間に存
在する相関を利用するフレーム間予測符号化が有効であ
ることはよく知られている。特にこの方式は静止画から
動きを少ししか含まない準静止画に対して、非常に高い
圧縮率を実現すると同時に良い品質の再生画像が得られ
る。

しかしながら、動きが大きくなると画面間の相関が低下
するため、高い圧縮率を保持しようとすると画質が低下
せざるを得ないという弱点があった。これを補完するた
めに画面内の動きを用いて確度の高い予測を行い、大き
な動きを含む画像に対しても高圧縮率、かつ高品質画像
を実現する動き補償と呼ばれる手法が応用された。これ
はたとえばティー・イシグロ（T.Ishiguro）他による解
説「テレビジョンバンドウィドスコンプレッション
トランスミッションバイモーションコンペンセィ
ティドインターフレームコーディング（Television
Bandwidth Compression Transmission by Motion-Comp
ensated Interframe Coding）」（IEEE Communication
Magazine,pp.24−30,November 1982）に詳しい。この動
き補償を用いても動きが非常に速い場合などはその効果
が低下し、設定された伝送速度と比較すると過分の情報
が発生することも十分に有り得ることである。この場合
には発生する情報量を少しでも減少させるために、予測
誤差の量子化特性を密なものから粗いものへと変化させ
たり、あるいは符号化すべき画素数を減らす、いわゆる
サブサンプリングや符号化するフィールド数を減らすフ
ィールド間引きなどが適用されるのみならず符号化の停
止もありうる。この場合には、粗い量子化に起因するダ
ーティ・ウィンドウ効果と呼ばれる薄汚れた窓を通して
画像を見るような劣化や、サブサンプリングやフィール
ド間引きに起因する空間解像度の低下よりも目立つ動き
の一時停止が起ることになる。動きが速くて動き補償が
余り効果的でない場合にも発生情報量を軽減する一つの
方法として動き補償による予測誤差に対して直交変換を
適用する方法がある。たとえば、ジエイ・アール・ジェ
イン（J.R.Jain）等による論文「ディスプレースメント
メジャメントアンドイッツアプリケーション
インインターフレームイメージコーディング（Di
splacement Measurement and Its application in Inte
rframe Image Coding）」（IEEE Trans Commun,vol COM
−29,No.12,pp.1799−1808,December1981）に示されて
いる。しかしながら、低速度の伝送を考える時には直交
変換後の変換係数の交流成分の大部分は無視せざるを得
ない。この時通常は複雑な柄に相当する係数すなわち高
周波に対応する係数を量子化により切り捨てる操作が行
なわれる。この結果、変化の多い部分は等価的に平滑化
されることになる。

動きが非常に速い時にはこの平滑化により動き物体の全
体が多少ボケても支障ない場合が多い。もともと現行の
蓄積形TVカメラで撮像すれば、速く動く物体は必然的に
ボケている。すなわち、動き補償が十分できないほど速
い動きに対する動き補償フレーム間予測誤差はもともと
フレーム内相関が強く直交変換に適合し、前記平滑化に
より若干ボケが増加することはあっても視覚的劣化は少
ない。しかしながら、動き補償の効果が発揮される程度
の遅い動きに対しては輪郭もボケが少なくはっきりして
おり、その予測誤差は動き物体の輪郭周辺に孤立して発
生することが多い。

すなわち予測誤差信号自身の画面内相関は非常に低い。
もともと直交変換が画像信号の冗長度低減に有効である
のは画面内の相関が高いからであり、低くなると直交変
換を用いるメリットはなくなる。この時に直交変換を適
用すると、粗い量子化による高周波に対する変換係数の
切り捨てが起こる結果として復号画像の輪郭部にボケが
生じ、視覚的には大きな劣化として目につく。

（発明の目的）本発明は画面間の相関が非常に高い静止−余り速くない
動きに対してはボケのない鮮明な復号画像が、画面間の
相関が大巾に低する速い動きに対しては滑らかな動き
が、その中間の速さの動きに対しては両者の中間の画質
が、それぞれ再現され、しかもこの画質を滑らかに変化
させることができる符号化・復号化装置を実現すること
を目的とする。

（発明の構成）本発明によれば、動画像信号の符号化にあたり、動き補
償を用いて予測信号を発生する手段、前記予測信号と前
記動画像より予測誤差を発生する手段、前記予測誤差を
あらかじめ定められた複数画素からなるブロック単位に
直交変換し変換係数を得る手段、前記変換係数を量子化
する第１の量子化手段、前記第１の量子化手段の出力を
前記ブロック単位に前記直交変換に対応する直交逆変換
を行う手段、前記直交逆変換の結果と空間的に一致する
前記予測誤差との間で減算を行う手段、減算結果を量子
化する第２の量子化手段、前記第２の量子化手段の出力
と前記直交逆変換の出力及び前記予測信号より局部復号
信号を発生する手段、前記局部復号信号を前記動画像の
およそ１画面時間だけ遅延し前記予測信号の発生手段へ
供給する手段、少なくとも前記動き補償で使用された動
ベクトルと前記第１の量子化手段の出力と前記第２の量
子化手段の出力を符号変換する手段、前記符号変換する
手段の出力を一時的に格納し、伝送路または記録媒体へ
の出力速度との整合を図る速度整合手段、前記動ベクト
ルと前記速度整合手段の使用状況を用いて前記第１及び
第２の量子化手段で使用する量子化特性を決定する制御
手段とを具備することを特徴とする動画像信号の符号化
装置が得られる。

また本発明によれば、動き補償フレーム間符号化におい
て得られる動ベクトルと、動き補償フレーム間予測によ
る予測誤差に対して直交変換を適用して得られる第１の
結果と第１の結果に対する直交逆変換結果と前記予測誤
差との差分から得られる第２の結果を少なくとも含み符
号変換された信号より動画像信号の動き補償フレーム間
復号化を行うに当たり、符号変換された前記動ベクトルと前記第１と第２の結果
を符号逆変換する手段、前記符号逆変換された第１の結
果に対して直交逆変換を行う手段、前記動ベクトルを用
いて予測信号を発生する手段、前記予測信号と前記第１
の結果に対する直交逆変換出力及び前記第２の結果に対
する符号逆変換手段の出力を用いて復号動画像信号を発
生する手段、前記復号動画像信号を前記動画像信号のお
よそ１画面時間だけ遅延し、前記予測信号の発生手段へ
供給する手段、とを具備することを特徴とする動画像信
号の復号化装置が得られる。

（発明の原理）本発明は、動き補償を適用する時にその効果が最大とな
るので、画面間の相関の例として動き補償を用いて以下
の説明を行なう。しかしながら、本発明はこれを適用す
る場合に限定されるものではない。

本発明の原理について第１図及び第２図を参照して説明
する。第２図に動き補償が可能な速さで水平方向に動く
人物肩上像を例にとり、これに対して動き補償フレーム
間予測を適用した時の予測誤差の発生状態を示す。これ
は動き補償が効果的であった場合の例であるが、この時
の零でない予測誤差（図中斜線）は動き物体の輪郭部分
に孤立して、あるいはせいぜい線状に連なって発生する
ことが多い。このような状態の予測誤差に直交変換を適
用すると、得られる変換係数は特定の係数が大きくなる
ことは無く、むしろ多数の係数がゼロに近い微小な振巾
をもつことになる。そしてこれに量子化（第１の量子
化）を適用するとほとんどの係数がゼロになることにな
る、直交変換を適用すると後でその逆変換を行なわねば
ならないが、このようにほとんどの係数がゼロあるいは
微小であれば逆変換後の値（予測誤差）もまたほとんど
ゼロとなる。すなわち、輪郭部分について復号画像は明
らかに歪を含む。孤立的あるいは高々線状に連なった信
号に直交変換を行ない量子化すると、もとの信号はほと
んど無くなってしまうので、このような場合には直交変
換を用いたことによる信号の歪が大きい。このような場
合には、直交変換は用いない方が良い。しかし、逆に動
きが非常に速くて動き補償の効果が低下した時には直交
変換による大巾な発生情報量の低減効果は滑らかな動き
を再現する上で非常に有効である。

これを実現するにあたって、直交変換を適用・非適用と
いうように切換えて使用すると切換前後での画質の変化
が大きく、視覚的に大きな劣化となる。これを防ぐた
め、第１図に示すように動き補償フレーム間予測誤差に
直交変換を適用し、変換係数の量子化（第１の量子化）
後に直交逆変換する。そして、この量子化による歪を補
正するために直交逆変換後の予測誤差と直交変換前の予
測誤差との間の差を量子化（第２の量子化）する。この
２種の量子化の精度の選び方次第で直交変換の寄与の程
度を連続的に変化させることができる。

すなわち、動き補償が効果的である間は、直交変換の寄
与を強く制限し、その効果が低下してきたら大巾に適用
するようにすると直交変換による輪郭部分の起り得る劣
化を回避でき、かつその中間における画質の不連続を小
さく抑えることができる。動き補償の効果の有無の評価
についてはたとえば、検出された動ベクトルの値が動き
補償範囲の限界ぎりぎりであるか否かを調べると容易に
わかる。何故なら通常の動ベクトル検出においては、補
償範囲を超える速い動きに対してはもっとも近い補償範
囲内の値に制限する一種のリミッタ動作が適用されるの
が普通であるからである。たとえばＸ方向に動いている
物体の動きの速さV,補償範囲をV_maxとする時にＶ＞V_max
であっても検出結果としてはV_maxにする。この時に、実
際の速さがV_maxである場合との区別はつかないが、直交
変換を適用するか否かの評価においてはほとんど影響を
与えない。

以上より、たとえば検出結果が動き補償範囲ギリギリの
時には直交変換を積極的に用い、そうでない時には変換
結果に対する量子化を非常に粗くし、実質的に予測誤差
のみを符号化するようにすればよい。動ベクトルが伝送
される場合には、この選択を表わす信号を伝送する必要
はない。動き補償範囲内にある速さの動きに対しては輪
郭部分をとくに少ない歪にて再生するために直交変換に
粗い量子化特性を用い実質的に抑えて予測誤差そのもの
を密に量子化し、動き補償範囲ギリギリの時には逆に直
交変換に比較的密な量子化を適用する。この中間におい
ては、予測誤差とその直交変換結果に粗・密の中間程度
の量子化を適用する。これにより滑らかな画質の変化が
実現される。また、動き補償を行なう時のブロックの大
きさは、直交変換を実行する時のブロックと同一の大き
さにしておくと装置構成上具合が良い。とくに直交変換
の場合にはブロックの大きさを2ⁿライン×2ⁿ画素として
おくと都合が良いので、動き補償を行なうときのブロッ
クの大きさもこのようにすると良い。

（実施例）以下に図面を参照しつつ本発明の実施例について詳しく
説明する。

第３図及び第４図を用いて符号化装置の動作を説明す
る。線1000を介して入力される動画像信号は動ベクトル
検出回路10と遅延回路11に供給される。動ベクトル検出
回路10は複数個の画素からなるブロック（たとえばＮラ
イン×Ｍ画素）単位に画像内の動きの速さと方向（動ベ
クトル）を検出し、これを線2000を介して可変遅延回路
22に供給すると同時に遅延回路23へも供給する。可変遅
延回路22はこの動ベクトルが示す速さと方向に従って、
フレームメモリ21より供給されるおよそ１画面時間遅延
した局部復号信号に遅延を与え、これと予測信号として
線2200を介して減算器12と遅延回路29を経由して加算器
20へそれぞれ供給する。減算器12は遅延回路11より供給
される、動ベクトル検出回路10における動ベクトルの検
出，出力に要する時間だけ遅延した動画像信号とこの予
測信号とから予測誤差信号を発生し、線1200を介して直
交変換器13と遅延回路16へ供給する。直交変換器13では
変換に適したブロック毎にアダマール変換や離散コサイ
ン変換などに代表される直交変換により、予測誤差の直
交変換が行なわれる。この時のブロックの大きさは先の
動ベクトルを検出する時のブロック（Ｎライン×Ｍ画
素）と一致させ、かつたとえばＭ＝Ｎ＝2ⁿ（ｎは正整
数）にとると処理が容易となる。直交変換器13の出力は
量子化器14により量子化され、この量子化出力は線1400
を介して符号変換器26と直交逆変換器15へ供給される。
直交逆変換器15は、直交変換器13において用いられた直
交変換に対応する逆変換を行ない、結果を加算器20へ供
給する。一方線1200を介して遅延回路16へ供給された予
測誤差は、直交変換器13における演算，出力に要する時
間だけ遅延した後に、減算器19において直交逆変換器15
の出力と減算され量子化器17にてこの差分は量子化され
る。量子化器17の出力は線1700を介して加算器20と符号
変換器26に供給される。遅延回路29は入力信号である予
測信号を、直交変換器13と直交逆変換器15における演算
と結果の出力に要する時間だけ遅延して、加算器20へ供
給する。

加算器20は量子化器17の出力，直交逆変換器15および遅
延回路29から供給される予測信号とから局部復号信号を
発生し、およそ動画像の１画面時間を記憶するフレーム
メモリ21に供給する。このフレームメモリ21の出力に対
し、可変遅延回路22は、動ベクトルが示す速さと方向に
対応する遅延時間を与え、予測信号として出力する。も
し、動ベクトルが静止を表わしている場合には、遅延回
路16、フレームメモリ21および可変遅延回路22における
合計遅延時間は丁度１画面時間となる。ただし、減算器
12、量子化器17、減算器19、加算器20においては遅延は
ないものとする。

符号変換器26は線2300を介して遅延回路23より供給され
る動ベクトルを符号変換すると同時に、線1700を介して
供給される量子化器17の出力、および線1400を介して供
給される量子化器14の出力もまた符号変換する。この符
号変換器26の動作については後述する。符号変換器26に
おいて発生している符号量の監視信号は線2627を介して
符号化制御回路27へ供給され、使用すべき量子化特性の
決定に利用される。これに加えて、量子化器14、17の量
子化特性の選択に動ベクトルの情報を加味するために
は、遅延回路23より遅延回路11、16における遅延時間の
和に相当する点にタップをとり、このタップ出力を線23
27により符号化制御回路27に供給する。量子化器14,17
の各々に対する量子化特性の選択指示信号は線2714,271
7をそれぞれ介して供給される。これは同時に、符号変
換器26へも直交逆変換器15における遅延時間だけ遅延さ
せる遅延回路32,31を通って供給される。

ここで第４図を用いて符号変換器26の動作を詳しく説明
する。

線1700を介して供給される量子化器17の出力は、符号器
A261に用意された、たとえばこの出力に対して統計的に
求められた分布よりハフマン符号のような能率の良い不
等長符号により符号変換される。

同様に、線1400を介して供給される量子化された変換結
果は符号器B262に用意されている、変換結果に対して統
計的に求められた各変換係数の分布よりハフマン符号の
ような能率の良い不等長符号により符号変換される。線
3200,3100を介してそれぞれ供給される量子化特性の選
択指示信号は、各指示状態を表わす符号に各々符号器C2
63、符号器D264にて変換される。線2300を介して供給さ
れる動ベクトルも符号変換される。動ベクトルの分布に
適合したハフマン符号を構成することは容易で、これを
用いて符号変換器E265は動ベクトルを符号変換する。符
号器A261,符号器B262,符号器C263,符号器D264,符号器E2
65の出力は、多重化器268において予め定められた順序
で多重化され、伝送路3000の伝送速度あるいは記録媒体
の書き込み速度との整合を図るバッファメモリ269に供
給される。このバッファメモリ269におけるメモリの使
用状態（０〜100％）を示す監視信号は線2627を介して
符号化制御回路27へ供給される。

つぎに、第５図及び第６図を用いて復号化装置の動作を
説明する。

伝送路3000または記録媒体より供給される符号変換され
た動画像信号は、符号逆変換器50において符号逆変換さ
れ、予測誤差と直交逆変換結果との差、変換結果、動ベ
クトルがそれぞれ線5001,5002,5003を介して出力され
る。符号逆変換器50の詳細については後述する。

線5002を介して供給される信号に対して直交逆変換器51
は符号化装置において用いられた直交変換に対応する逆
変換を行なう。この時、本来線5001を通るべき信号が線
5002を介して供給される信号に混在していても差支えな
い。少なくともこの信号内に正しく符号逆変換された変
換結果が含まれて居ればよい。同様に線5001を介して供
給される信号は、少なくとも正しく符号逆変換された予
測誤差と直交逆変換の差が含まれて居ればよい。

線5001を介して供給される信号は、直交逆変換器51にお
ける遅延時間だけ遅延回路52にて遅延し、加算器54に供
給される。線5003を介して供給される動ベクトルは、遅
延回路57において遅延回路52と同じ時間だけ遅延を受け
た後、可変遅延回路55における予測信号の発生に用いら
れる。加算器54は、遅延回路52の出力、直交逆変換器51
の出力および可変遅延回路55より供給される予測信号を
用いて動画像信号を復号し線5000を介して復号化装置か
ら出力する。この時、同時に動画像信号のおよそ１画面
を記憶できるフレームメモリ56にも供給する。可変遅延
回路55はフレームメモリ56の出力を用いて、動ベクトル
に従い予測信号を発生する。この可変遅延回路55は符号
化装置における可変遅延回路22と同一の構成でよい。

つぎに第６図を参照して、符号逆変換回路50の動作を詳
しく説明する。

伝送路3000を介して供給される符号変換された信号はま
ず分離回路500において、直交変換結果、予測誤差と直
交逆変換結果との差、量子化特性の選択指示信号、動ベ
クトル、に分離され各々線5056を介しては復号器C503と
復号器D504,線5055を介しては復号器E505に供給され
る。復号器E505は動ベクトルの符号逆変換器であり符号
器E265に対応する。符号逆変換された動ベクトルは線50
03を介して出力される。符号変換されている量子化特性
の選択指示信号は復号器C503と復号器D504で符号逆変換
されるが、予測誤差が符号変換されたブロックについて
は復号器C503が、直交変換結果が符号変換されたブロッ
クについては復号器D504が、それぞれ正しい符号逆変換
を実行するが、これ以外の時には誤まった符号逆変換を
実行する。この結果は、線5531,5542を介して復号器A50
1,復号器B502に各々供給され、遅延回路506より供給さ
れる符号変換された予測誤差を直交逆変換結果との差あ
るいは直交変換結果の符号逆変換時に用いるべき量子化
特性を指定するのに利用される。遅延回路506は量子化
特性の選択指示信号の復号器C503,復号器D504における
符号逆変換，出力に要する時間だけ、入力を遅延させ
る。復号器A501,復号器B502では各々指定された量子化
特性に対応する符号逆変換が実行され、その結果は線50
01,5002を各々介して出力される。この時の符号逆変換
は、復号器A501については線5531を介して供給される上
記選択指示信号が正しく符号逆変換されているブロック
について、かつ予測誤差と直交逆変換結果との差が符号
変換されている時のみ正しい符号逆変換が実行され、他
方復号器B502については線5542を介して供給される上記
選択信号が正しく符号逆変換されているブロックについ
て、かつ直交変換結果が符号変換されている時のみ正し
い符号逆変換が実行される。これ以外は誤まった符号逆
変換を実行することとになり、出力をゼロとする。符号
化装置（第３図）において、符号化制御回路27による量
子化器14、17の量子化特性の選択について説明する。

一般に使用状況が100％に近づくにつれて発生情報量を
抑えることが最優先され、またこの場合には動き補償は
余り効果的でないことが多く、ここで動ベクトル情報を
考慮する余裕はない。従ってこの場合には、量子化器14
についても粗い量子化特性が使用されるが、量子化器17
についてはこれよりはるかに粗い特性、実質的には出力
がゼロにされるほどの特性が選択される。

100％より十分低いノーマルな動作状態例えば20％〜70
％では、動き補償の効果も大きく、この時の動ベクトル
も十分補償範囲内であることが多い。この時には動ベク
トルが示す速さに従って、遅ければ量子化器14の特性は
粗で量子化器17の特性は密、速ければ逆にそれぞれ密、
粗の特性とする。ここで粗、密は相対的な特性であり使
用状態が70％に近づくときにはいずれの特性も段々と粗
いものが使用される。

反対に、使用状態が非常に低く、例えば20％以下である
場合には量子化器14の出力を強制的にゼロとして動作を
停止させる。このとき、量子化器17は非常に細かい量子
化特性を使用する。

本発明を用いると、画面間の相関が非常に高い比較的速
くない動きに対してはボケのない鮮明な動画像が再現で
き、画面間の相関が大巾に低下する速い動きに対しては
フレーム間予測誤差に直交変換を適用して、若干のボケ
は生じるものの大巾な発生情報量の削減により滑らかな
動きが再現できるなど、あらゆる動きの速さについて良
好な画質が提供できるため、その効果はきわめて大であ
る。

【図面の簡単な説明】

第１図及び第２図は本発明の原理を説明する図、第３図
及び第４図は本発明に係る符号化装置の実施例を説明す
る図、第５図及び第６図は本発明に係る復号化装置を説
明する図である。図中、10動ベクトル検出回路、11,16,23,29,31,32は遅
延回路、12,19は減算器、13は直交変換器、14,17は量子
化器、15は直交逆変換器、20は加算器、21はフレームメ
モリ、22は可変遅延回路、26は符号変換器、27は符号化
制御回路、3000は伝送路あるいは記録媒体、50は符号逆
変換器、51は直交逆変換器、52,57は遅延回路、54は加
算器、55は可変遅延回路、56はフレームメモリ、であ
る。

Claims

【特許請求の範囲】

【請求項１】動画像信号の符号化にあたり、動き補償を
用いて予測信号を発生する手段、前記予測信号と前記動
画像より予測誤差を発生する手段、前記予測誤差をあら
かじめ定められた複数画素からなるブロック単位に直交
変換し変換係数を得る手段、前記変換係数を量子化する
第１の量子化手段、前記第１の量子化手段の出力を前記
ブロック単位に前記直交変換に対応する直交逆変換を行
う手段、前記直交逆変換の結果と空間的に一致する前記
予測誤差との間で減算を行う手段、減算結果を量子化す
る第２の量子化手段、前記第２の量子化手段の出力と前
記直交逆変換の出力及び前記予測信号より局部復号信号
を発生する手段、前記局部復号信号を前記動画像のおよ
そ１画面時間だけ遅延し前記予測信号の発生手段へ供給
する手段、少なくとも前記動き補償で使用された動ベク
トルと前記第１の量子化手段の出力と前記第２の量子化
手段の出力を符号変換する手段、前記符号変換する手段
の出力を一時的に格納し、伝送路または記録媒体への出
力速度の整合を図る速度整合手段、前記動ベクトルと前
記速度整合手段の使用状況を用いて前記第１及び第２の
量子化手段で使用する量子化特性を切り替えて直交変換
の寄与の程度を連続的に変化させる制御手段とを具備す
ることを特徴とする動画像信号の符号化装置。
【請求項２】動き補償フレーム間符号化において得られ
る動ベクトルと量子化特性と、動き補償フレーム間予測
による予測誤差に対して直交変換を適用して得られる第
１の結果と第１の結果に対する直交逆変換結果と前記予
測誤差との差分から得られる第２の結果を少なくとも含
み符号変換された信号より動画像信号の動き補償フレー
ム間復号化を行うに当たり、符号変換された前記動ベクトルを符号逆変換する手段、
符号変換された前記第１と第２の結果を前記量子化特性
に対応して符号逆変換する手段、前記符号逆変換された
第１の結果に対して直交逆変換を行う手段、前記動ベク
トルを用いて予測信号を発生する手段、前記予測信号と
前記第１の結果に対する直交逆変換出力及び前記第２の
結果に対する符号逆変換手段の出力を用いて復号動画像
信号を発生する手段、前記復号動画像信号を前記動画像
信号のおよそ１画面時間だけ遅延し、前記予測信号の発
生手段へ供給する手段、とを具備することを特徴とする
動画像信号の復号化装置。