JPH07105947B2 - 動画像の符号化方法及び符号化・復号化装置 - Google Patents

Description

【発明の詳細な説明】 （産業上の利用分野） 本発明は動画像信号の画面間に存在する相関を用いて予
測符号化する技術に関する。

（従来の技術とその問題点） 動画像信号のデータ圧縮を行うに当たって、たとえばテ
レビ信号の場合などはフレームと呼ばれる画面の間に存
在する相関を利用するフレーム間予測符号化が有効であ
ることはよく知られている。特にこの方式は静止画から
動きを少ししか含まない準静止画に対して、非常に高い
圧縮率を実現すると同時に良い品質の再生画像が得られ
る。

しかしながら、動きが大きくなると画面間の相関が低下
するため、高い圧縮率を保持しようとすると画質が低下
せざるを得ないという弱点があった。これを補完するた
めに画面内の動きを用いて確度の高い予測を行い、大き
な動きを含む画像に対しても高圧縮率、かつ高品質画像
を実現する動き補償と呼ばれる手法が応用された。これ
はたとえばティー・イシグロ（T.Ishiguro）他による解
説「テレビジョン バンドウィドス コンプレッション
トランスミッション バイ モーション コンペンセ
ィティド インターフレーム コーディング（Televisi
on Bandwidth Compression Transmission by Motion-Co
mpensated Interframe Coding）」（IEEE Communicatio
n Magazine,pp.24-30,November 1982）に詳しい。この
動き補償を用いても動きが非常に速い場合などはその効
果が低下し、設定された伝送速度と比較すると過分の情
報が発生することも十分に有り得ることである。この場
合には発生する情報量を少しでも減少させるために、予
測誤差の量子化特性を密なものから粗いものへと変化さ
せたり、あるいは符号化すべき画素数を減らす、いわゆ
るサブサンプリングや符号化するフィールド数を減らす
フィールド間引きなどが適用されるのみならず符号化の
停止もありうる。この場合には、粗い量子化に起因する
ダーティウィンドウ効果と呼ばれる薄汚れた窓を通して
画像を見るような劣化や、サブサンプリングやフィール
ド間引きに起因する空間解像度の低下よりも目立つ動き
の一時停止が起ることになる。動きが速くて動き補償が
余り効果的でない場合にも発生情報量を軽減する一つの
方法として動き補償による予測誤差に対して直交変換を
適用する方法がある。たとえば、ジェイ・アール・ジェ
イン（J.R.Jain）等による論文「ディスプレースメント
メジャメント アンド イッツ アプリケーション
イン インターフレーム イメージ コーディング（Di
splacement Measurement and Its application in Inte
rframe Image Coding」IEEE Trans Commun,vol COM-29,
No.12,pp.1799-1808,December 1981）に示されている。
しかしながら、低速度の伝送を考える時には直交変換後
の変換係数の交流成分の大部分は無視せざるを得ない。
この時通常は複雑な柄に相当する係数即ち高周波に対応
する係数を量子化により切り捨てる操作が行なわれる。
この結果、変化の多い部分は等価的に平滑化されること
になる。動きが非常に速い時にはこの平滑化により画像
の動いている部分が多少ボケても支障ない場合が多い。
もともと現行の蓄積形TVカメラで撮像すれば、速く動く
物体は必然的にボケている。すなわち、動き補償が十分
できないほど速い動きに対する動き補償フレーム間予測
誤差もともとフレーム内相関が強く直交変換に適合し、
前記平滑化により若干ボケが増加することはあっても視
覚的劣化は少ない。しかしながら、動き補償の効果が発
揮される程度の遅い動きに対しては輪郭もボケが少なく
はっきりしており、その予測誤差は動き物体の輪郭周辺
に孤立して発生することが多い。

すなわち予測誤差信号自身の画面内相関は非常に低い。
もともと直交変換が画像信号の冗長度低減に有効である
のは画面内の相関が高いからであり、低くなると直交変
換を用いるメリットはなくなる。この時に直交変換を用
いると粗い量子化による高周波に対する変換係数の切り
捨てが起こる結果として復号された画像の輪郭部にボケ
が生じ、視覚的には大きな劣化として目につく。

（発明の目的） 本発明は、動き補償の効果が大きい静止−余り速くない
動きに対してはボケのない鮮明な復号画像が再現でき、
速い動きに対しても符号化能率がきわめて高い動画像の
符号化・復号化装置を実現する。

（発明の構成） 本発明によれば、動画像の符号化に当たり、動画像より
動きを表す情報（動ベクトル）を検出する手段、画面間
の相関を用いて予測信号を発生する手段、該予測信号と
前記動画像より予測誤差を発生する手段、該予測誤差を
あらかじめ定められた複数画素からなるブロック単位に
直交変換し変換係数を得る手段、前記予測誤差を量子化
する第１の量子化手段、前記変換係数を量子化する第２
の量子化手段、前記動ベクトルが示す速さが小なるとき
は前記第１の量子化手段の出力を、大なるときは前記第
２の量子化手段の出力を前記ブロック単位に選択する第
１の選択手段、前記第２の量子化手段の出力を前記ブロ
ック単位に直交逆変換する手段、前記動ベクトルが示す
速さが小なるときは、前記第１の量子化手段の出力を、
大なるときは該直交逆変換手段の出力を該第１の選択手
段における選択に応動して選択する第２の選択手段、該
第２の選択手段の出力と前記予測信号を用いて局部復号
信号を発生する手段、該局部復号信号を前記動画像のお
よそ１画面時間だけ遅延し前記予測信号の発生手段へ供
給する手段、少なくとも前記第１の選択手段の出力およ
び前記動ベクトルを符号化する符号変換手段を具備する
ことを特徴とする動画像の符号化装置が得られる。

また本発明によれば、動画像において検出された動きを
表す情報（動ベクトル）、および該動ベクトルを用いて
複数画素からなるブロック単位に選択された、画面間の
相関を用いて予測を実行した時の予測誤差あるいは該予
測誤差を前記ブロック単位で直交変換して得られる変換
係数のいずれか一方の動画像の振幅に関する情報を少な
くとも含み符号変換された信号を用いて動画像信号の復
号を行うにあたり、符号変換された動ベクトルおよびび
振巾に関する情報に対しそれぞれ符号逆変換し得られた
動ベクトルおよび振巾に関する情報を出力する手段、該
振巾に関する情報に対して前記ブロック単位に直交逆変
換する手段、前記動ベクトルが示す速さが小なるときに
は該振巾に関する情報を、大なるときには該直交逆変換
手段の出力を前記ブロック単位で選択する手段、前記画
面間の相関を用いて予測信号を発生する手段、該予測信
号と前記選択手段出力より復号信号を得る手段、該復号
信号を前記動画像のおよそ１画面時間だけ遅延し前記予
測信号の発生手段へ供給する手段、を具備することを特
徴とする動画像の復号化装置が得られる。

（発明の原理） 本発明は、画面間の相関を用いる例として動き補償を用
いる時にその効果がきわめて大となるため、動き補償が
適用されるものとして以下の説明を行なう。しかしなが
ら、本発明はこれを適用した場合に限定されるものでは
ない。

本発明の原理について第１図及び第２図を参照して説明
する。第２図に動き補償が可能な速さで水平方向に動く
人物肩上像を例にとり、これに対して動き補償フレーム
間予測を適用した時の予測誤差の発生状態を示す。これ
は動き補償が効果的であった場合の例があるが、この時
の零でない予測誤差（図中斜線）は動き物体の輪郭部分
に孤立して、あるいはせいぜい線状に連なって発生する
ことが多い。このような状態の予測誤差に直交変換を適
用すると、得られる変換係数は特定の係数が大きくなる
ことは無く、むしろ多数の係数がゼロに近い微小な振幅
をもつことになる。そしてこれに量子化を適用するとほ
とんどの係数がゼロになることになる。直交変換を適用
すると後でその逆変換を行なわねばならないが、このよ
うにほとんどの係数がゼロあるいは微小であれば逆変換
後の値（予測誤差）もまたほとんどゼロとなる。すなわ
ち、輪郭部分について、復号画像は明らかに歪を含む。
孤立的あるいは高々線状に連なった信号に直交変換を行
ない量子化すると、もとの信号はほとんど無くなってし
まうので、このような場合には直交変換を行なわない
で、予測誤差そのものを第１図に示すように量子化する
方が良い。こうすると孤立して発生していてもある程度
の振巾さえあれば（量子化特性のデットゾーンと呼ばれ
る、量子化出力値がゼロにされるところの入力値に対す
る閾値以上）、その誤差はゼロでないので復号時にボケ
のない輪郭が再現される。

すなわち、動き補償が効果的である間は、直交変換を適
用せず、その効果が低下してきたら適用するようにする
と直交変換による輪郭部分の起り得る劣化を回避でき
る。動き補償の効果の有無の評価についてはたとえば、
検出された動ベクトルの値が動き補償範囲の限界ぎりぎ
りであるか否かを調べると容易にわかる。何故なら通常
の動ベクトル検出においては、補償範囲を超える速い動
きに対してはもっとも近い補償範囲内の値に制限する一
種のリミッタ動作が適用されるのが普通であるからであ
る。たとえばＸ方向に動いている物体の動きの速さをV,
補償範囲をV_maxとする時にＶ＞V_maxであっても検出結果
としてはV_maxにする。この時に、実際の速さがV_maxであ
る場合との区別はつかないが、直交変換を適用するか否
かの評価においてはほとんど影響を与えない。また、動
き補償を行なう時のブロックの大きさは、直交変換を実
行する時のブロックと同一の大きさにしておくと装置構
成上具合が良い。とくに直交変換の場合にはブロックの
大きさを2ⁿライン×2ⁿ画素としておくと都合が良いの
で、動き補償を行なう時のブロックの大きさもこのよう
にすると良い。

（実施例） 以下に図面を参照しつつ本発明の実施例について詳しく
説明する。

第３図及び第４図を用いて符号化装置の動作を説明す
る。線1000を介して入力される動画像信号は動ベクトル
検出回路10と遅延回路11に供給される。動ベクトル検出
回路10は複数個の画素からなるブロック（たとえばＮラ
イン×Ｍ画素）単位に画像内の動きの速さと方向（動ベ
クトル）を検出し、これを線2000を介して可変遅延回路
22に供給すると同時に遅延回路23へも供給する。可変遅
延回路22はこの動ベクトルが示す速さと方向に従って、
フレームメモリ21より供給されるおよそ１画面時間遅延
した局部復号信号に遅延を与え、これを予測信号として
線2200を介して減算器12と遅延回路29へそれぞれ供給す
る。減算器12は遅延回路11より供給される、動ベクトル
検出回路10における動ベクトルの検出，出力に要する時
間だけ遅延した動画像信号とこの予測信号とから予測誤
差信号を発生し、線1200を介して直交変換器13と遅延回
路16へ供給する。直交変換器13では変換に適したブロッ
ク毎にアダマール変換や離散コサイン変換などに代表さ
れる直交変換により、予測誤差の直交変換が行なわれ
る。この時のブロックの大きさは先の動ベクトルを検出
する時のブロック（Ｎライン×Ｍ画素）と一致させ、か
つたとえばＭ＝Ｎ＝2ⁿ（ｎは正整数）にとると処理が容
易となる。直交変換器13の出力は量子化器14により量子
化され、この量子化出力は線1400を介して符号変換器26
と直交逆変換器15へ供給される。直交逆変換器15は、直
交変換器13において用いられた直交変換に対応する逆変
換を行ない、結果をスイッチ19へ供給する。一方線1200
を介して遅延回路16へ供給された予測誤差は、直交変換
器13における演算，出力に要する時間だけ遅延した後
に、量子化器17にて量子化される。量子化器17の出力は
線1700を介して遅延回路18と符号変換器26に供給され
る。遅延回路18は入力信号である量子化された予測誤差
を直交逆変換器15における演算と結果の出力に要する時
間だけ遅延して、スイッチ19へ供給する。スイッチ19は
遅延回路23,24で遅延された動ベクトルを用いて直交逆
変換器15または遅延回路18の出力のいずれかを先のブロ
ック単位で選択する。なお、遅延回路23の遅延時間は遅
延回路16のそれに等しく、遅延回路24については遅延回
路18のそれに等しい、スイッチ19の選択結果は本質的に
予測誤差であるが、加算器20はこれと遅延回路29より供
給される予測信号とから前述の局部復号信号を発生し、
およそ動画像の１画面時間を記憶するフレームメモリ21
に供給する。このフレームメモリ21の出力に対し、可変
遅延回路22は、動ベクトルが示す速さと方向に対応する
遅延時間を与え、予測信号として出力する。もし、動ベ
クトルが静止を表わしている場合には、遅延回路16,1
8、フレームメモリ21および可変遅延回路22における合
計遅延時間は丁度１画面時間となる。ただし、演算器1
2、量子化器17、スイッチ19、加算器20においては遅延
はないものとする。なお、遅延回路29の遅延時間は遅延
回路16,18の遅延時間の和に等しい。

符号変換器26は線2300を介して供給される動ベクトルを
符号変換すると同時に、線1700を介して供給される量子
化された予測誤差または線1400を介して供給される量子
化された変換結果のいずれか一方の選択に用い、これも
また符号変換する。この符号変換器26の動作については
後述する。符号変換器26において発生している符号量の
監視信号は線2627を介して符号化制御回路27へ供給さ
れ、使用すべき量子化特性の決定に利用される。量子化
器14,17の各々に対する量子化特性の選択指示信号は線2
714,2717をそれぞれ介して供給される。これは同時に、
符号変換器26へも供給される。

ここで第４図を用いて符号変換器26の動作を詳しく説明
する。

線1700を介して供給される量子化された予測誤差は、符
号器A261に用意された、たとえば量子化された予測誤差
に対して統計的に求められた各誤差振巾の発生確率より
ハフマン符号のような能率の良い不等長符号により符号
変換される。同様に、線1400を介して供給される量子化
された変換結果は符号器B262に用意されている、変換結
果に対して統計的に求められた各変換係数の発生確率よ
りハフマン符号のような能率の良い不等長符号により符
号変換される。符号器A261と符号器B262の両出力はスイ
ッチ266において線2300を介して供給される動ベクトル
を用いていずれか一方がブロック単位で選択される。線
2717,2714を介してそれぞれ供給される量子化特性の選
択指示信号は、各指示状態を表わす符号に各々符号器C2
63,符号器D264にて変換される。符号器C263,符号器D264
の各出力はスイッチ267に供給され、いずれか一方が動
ベクトルを用いて選択される。線2300を介して供給され
る動ベクトルも符号変換される。動ベクトルの分布に適
合したハフマン符号を構成することは容易で、これを用
いて符号変換器E265は動ベクトルを符号変換する。スイ
ッチ266,267の出力および符号器E265の出力は、多重化
器268において予め定められた順序で多重化され、伝送
路3000の伝送速度あるいは記録媒体の書き込み速度との
整合を図るバッファメモリ269に供給される。このバッ
ファメモリ269における溢れの程度（０〜100％）を示す
監視信号は線2627を介して符号化制御回路27へ供給され
る。

つぎに、スイッチ19,266,267における選択の例について
説明する。動き補償は補償可能な範囲であれば勿論その
効果は大きいが、範囲を超える速い動きに対しては、検
出された動ベクトルは補償範囲ぎりぎりの値をもつこと
になる。したがって、たとえば補償範囲ぎりぎりの値を
もつ動ベクトルが与えられた時には、直交変換結果を選
択するように定めておけば、補償範囲内に十分入ってい
る比較的ゆっくりした動きに対しては直交変換を用いな
いようにすることができる。

つぎに、第５図及び第６図を用いて復号化装置の動作を
説明する。

伝送路3000または記録媒体より供給される符号変換され
た動画像信号は、符号逆変換器50において符号逆変換さ
れ、予測誤差，変換結果，動ベクトルがそれぞれ線500
1,5002,5003を介して出力される、符号逆変換器50の詳
細については後述する。

線5002を介して供給される信号に対して直交逆変換器51
は符号化装置において用いられた直交変換に対応する逆
変換を行なう。この時、もともと直交変換されてない予
測誤差がこの線5002を介して供給される信号に混在して
いても差支えない。少なくともこの信号内に正しく符号
逆変換された変換結果が含まれて居ればよい。同様に線
5001を介して供給される信号は、少なくとも正しく符号
逆変換された予測誤差が含まれて居ればよい。

線5001を介して供給される信号は、直交逆変換器51にお
ける遅延時間だけ遅延回路52にて遅延し、スイッチ53に
供給される。スイッチ53は符号化装置におけると同様に
動ベクトルの値が補償範囲ぎりぎりの値を示しているか
どうかにより選択が制御される。すなわち、ぎりぎりの
値であれば直交逆変換器51の出力が選択される。

線5003を介して供給される動ベクトルは、遅延回路57に
おいて遅延回路52と同じ時間だけ遅延を受けた後、スイ
ッチ53での選択、可変遅延回路55における予測信号の発
生に用いられる。スイッチ53は、動ベクトルを用い前述
の方法で２入力の一方を選択し、加算器54に供給する。
加算器54は、このスイッチ53の出力である予測誤差と可
変遅延回路55より供給される予測信号を用いて動画像信
号を復号し線5000を介して復号化装置から出力する。こ
の時、同時に動画像信号のおよそ１画面を記憶できるフ
レームメモリ56にも供給する。可変遅延回路55はフレー
ムメモリ56の出力を用いて、動ベクトルに従い予測信号
を発生する。この可変遅延回路55は符号化装置における
可変遅延回路22と同一の構成でよい。

つぎに第６図を参照して、符号逆変換回路50の動作を詳
しく説明する。

伝送路3000を介して供給される符号変換された信号はま
ず分離回路500において、動ベクトル，量子化特性の選
択指示信号，動ベクトルに分離され各々線5056を介して
は遅延回路506,線5005を介しては復号器C503と復号器D5
04,線5055を介しては復号器E505に供給される。復号器E
505は動ベクトルの符号逆変換器であり符号器E265に対
応する。符号逆変換された動ベクトルは線5003を介して
出力される。符号変換されている量子化特性の選択指示
信号は復号器C503と復号器D504で符号逆変換されるが、
予測誤差が符号変換されたブロックについては復号器C5
03が、直交変換結果が符号変換されたブロックについて
は復号器D504が、それぞれ正しい符号逆変換を実行する
が、これ以外の時には誤まった符号逆変換を実行する。
この結果は、線5531,5542を介して復号器A501,復号器B5
02に各々供給され、遅延回路506より供給される符号変
換された予測誤差あるいは直交変換結果の符号逆変換時
に用いるべき量子化特性を指定するのに利用される。遅
延回路506は量子化特性の選択指示信号の復号器C503,復
号器D504における符号逆変換，出力に要する時間だけ、
入力を遅延させる。復号器A501,復号器B502では各々指
定された量子化特性に対応する符号逆変換が実行され、
その結果は線5001,5002を各々介して出力される。この
時の符号逆変換は、復号器A501については線5531を介し
て供給される上記選択指示信号が正しく符号逆変換され
ているブロックについて、かつ予測誤差が符号変換され
ている時のみ正しい符号逆変換が実行され、他方復号器
B502については線5542を介して供給される上記選択信号
が正しく符号逆変換されているブロックについて、かつ
直交変換結果が符号変換されている時のみ正しい符号逆
変換が実行される。これ以外は誤まった符号逆変換を実
行する。復号化装置のスイッチ53では動ベクトルの値を
用いて予測誤差あるいは直交変換のいずれか一方の符号
逆変換結果を選択するが、遅延回路506,52,57により各
信号間の位相を合せているため常に正しく符号逆変換さ
れた信号を選択することが出来る。選択されない信号は
正しく符号逆変換されている必要はない。

（発明の効果） 本発明を用いると、画面間の相関が非常に高い比較的速
くない動きに対してはボケのない鮮明な動画像が再現で
き、画面間の相関が大巾に低下する速い動きに対しては
フレーム間予測誤差に直交変換を適用して若干のボケは
生じるものの大巾な発生情報量の削減により滑らかな動
き再現できるなど、あらゆる動きの速さについて良好な
画質が提供できるため、その効果はきわめて大である。

【図面の簡単な説明】

第１図及び第２図は本発明の原理を説明する図、第３図
及び第４図は本発明に係る符号化装置の実施例を説明す
る図、第５図及び第６図は本発明に係る復号化装置を説
明する図である。 図中、10は動ベクトル検出回路、11,16,18,23,24,29は
遅延回路、12は減算器、13は直交変換器、14は量子化
器、15は直交逆変換器、17は量子化器、19,25はスイッ
チ、20は加算器、21はフレームメモリ、22は可変遅延回
路、26は符号変換器、27は符号化制御回路、3000は伝送
路あるいは記録媒体、50は符号逆変換器、51は直交逆変
換器、52,57は遅延回路、53はスイッチ、54は加算器、5
5は可変遅延回路、56はフレームメモリ、である。

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.⁶ 識別記号 庁内整理番号 ＦＩ 技術表示箇所 9071−5Ｌ Ｇ０６Ｆ 15/62

Claims (3)

【特許請求の範囲】
1. 【請求項１】動画像の符号化において、画面間の相関を
   用いる予測により得られる予測誤差、又は、前記予測誤
   差に対して直交変換を実行して得られる変換係数のいず
   れか一方を複数画素単位に選択し符号化するに当たり、
   画面内の動きが速い場合に、前記変換係数を選択するこ
   とを特徴とする動画像の符号化方法。
2. 【請求項２】動画像の符号化に当たり、動画像より動き
   を表す情報（動ベクトル）を検出する手段、画面間の相
   関を用いて予測信号を発生する手段、該予測信号と前記
   動画像より予測誤差を発生する手段、該予測誤差をあら
   かじめ定められた複数画素からなるブロック単位に直交
   変換し変換係数を得る手段、前記予測誤差を量子化する
   第１の量子化手段、前記変換係数を量子化する第２の量
   子化手段、前記動ベクトルが示す速さが小なるときは前
   記第１の量子化手段の出力を、大なるときは前記第２の
   量子化手段の出力を前記ブロック単位に選択する第１の
   選択手段、前記第２の量子化手段の出力を前記ブロック
   単位に直交逆変換する手段、前記動ベクトルが示す速さ
   が小なるときは、前記第１の量子化手段の出力を、大な
   るときは該直交逆変換手段の出力を該第１の選択手段に
   おける選択に応動して選択する第２の選択手段、該第２
   の選択手段の出力と前記予測信号を用いて局部復号信号
   を発生する手段、該局部復号信号を前記動画像のおよそ
   １画面時間だけ遅延し前記予測信号の発生手段へ供給す
   る手段、少なくとも前記第１の選択手段の出力および前
   記動ベクトルを符号化する符号変換手段を具備すること
   を特徴とする動画像の符号化装置。
3. 【請求項３】動画像において検出された動きを表す情報
   （動ベクトル）、および該動ベクトルを用いて複数画素
   からなるブロック単位に選択された、画面間の相関を用
   いて予測を実行した時の予測誤差あるいは該予測誤差を
   前記ブロック単位で直交変換して得られる変換係数のい
   ずれか一方の動画像の振幅に関する情報を少なくとも含
   み符号変換された信号を用いて動画像の復号を行うに当
   たり、符号変換された動ベクトル及び振幅に関する情報
   に対しそれぞれ符号逆変換し得られた動ベクトル及び振
   幅に関する情報を出力する手段、該振幅に関する情報に
   対して前記ブロック単位に直交逆変換する手段、前記動
   ベクトルが示す速さが小なるときには該振幅に関する情
   報を、大なるときには該直交逆変換手段の出力を前記ブ
   ロック単位で選択する手段、前記画面間の相関を用いて
   予測信号を発生する手段、該予測信号と前記選択手段出
   力より復号信号を得る手段、該復号信号を前記動画像の
   およそ１画面時間だけ遅延し前記予測信号の発生手段へ
   供給する手段、を具備することを特徴とする動画像の復
   号化装置。