JPH0546155B2 - - Google Patents

Description

【発明の詳細な説明】 本発明はテレビジヨン信号の動き補償フレーム
間符号化装置に関する。

テレビジヨン信号のデイジタル伝送において
は、隣接するフレームの差分信号（フレーム差分
信号）を符号化して伝送するというフレーム間符
号化方式が用いられている。この方式によれば、
通常のパルス符号変調（PCM）を用いる場合に
くらべて、伝送ビツト数を大幅に低減することが
でき、特に静止画像や動きの小さな画像について
高い圧縮率を得ることができる。しかし、大きな
動きを含んだ画像については、フレーム差分信号
が大きくなるため、圧縮率が低下する。

そこで、大きな動きを含んだ画像に対しても高
い圧縮率を維持するために、「動き補償フレーム
間符号化」という方式が考えられた。この方式は
テレビジヨン信号の動きを検出し、テレビジヨン
信号の動きを補償した予測信号を発生し、予測符
号化を行う。この動き補償フレーム間符号化方式
を、第１図を参照して説明する。第１図ａは前フ
レームを示し、第１図ｂは現フレームを示す。第
１図は、前フレームにおいて点B′にあつた物体
が、現フレームにおいては点Ａに移動したところ
を示している。動き補償フレーム間符号間におい
ては、現フレームにおける点Ａに対してテレビジ
ヨン画面上で同一位置にある前フレームにおける
点A′と点B′との変位量υ→（このυ→を動ベクトル
と称する）を求め、現フレームの点Ａの信号値Ｙ
（ｒ→）の予測信号としては、単純フレーム間符号
化の場合の予測信号である点A′の信号値Y′（ｒ→）
の代りに、点B′の信号値Y′（ｒ→＋υ→）を用いる。
なおｒ→はテレビジヨン画面上の位置を示す位置ベ
クトルである。動き補償フレーム間符号化におけ
る予測誤差信号｛Ｙ（ｒ→）−Y′（ｒ→＋υ→）｝は
、単
純フレーム間符号化における予測誤差信号｛Ｙ
（ｒ→−Y′ｒ→）｝よりも、ずつと小さな値を示すの
で、動き補償フレーム間符号化によつて動きの大
きな画像に対しても効率の良い符号化が実現でき
る。

この動ベクトルの検出方法としては、たとえば
二宮により「フレーム間符号化における動き補
正」（電子通信学会画像工学研究会、資料番号
IE78−６、1978年５月26日、以下文献１と称す）
と題して報告された方法を用いることができる。
この方法においては、テレビジヨン画像を複数個
のブロツクに分割し、各々の現フレームのブロツ
ク内のテレビジヨン信号に対して、テレビジヨン
画面上の同一位置を基準として種々の変位量（シ
フトベクトルと称する）だけずれた位置の前フレ
ームのブロツク内の信号と、現フレームのブロツ
ク内信号との類似度を示す評価値を求め、最も類
似度の高い前フレームのブロツクに対するシフト
ベクトルを動ベクトルとして検出する。なお、こ
の類似度判定の評価値としては、前記現フレーム
のブロツク内信号とシフトベクトルだけずれた前
フレームのブロツク内信号との差信号の絶対値
和、あるいは差信号の絶対値が一定の閾値を越え
たものの個数などが考えられている。（このよう
な評価値を用いる場合評価値の最小となるものが
最つとも類似度が高い。） 以上、動き補償フレーム間符号化の原理や利点
について説明したが、動き補償フレーム間符号化
においては以下に述べるような欠点を有する。

すなわち、単純フレーム間符号化においては、
予測誤差信号に対する量子化特性を粗くした場合
には、量子化雑音が画面上に静止し、あたかも汚
れた窓を通して絵をながめたように見えるダーテ
イウインドウ（dirty window）とよばれるフレ
ーム間符号化特有の画質劣化がある。これに対し
て、動き補償フレーム間符号化においては、この
ダーテイウインドウが動いて見えるという画質劣
化が新たに発生する。この新たな画像劣化は、特
に、入力テレビジヨン信号の信号対雑音比（Ｓ／
Ｎ比）が低い場合、テレビジヨン画像の静止部分
において、顕著である。動き補償フレーム間符号
化において、このような画質劣化が新たに生じる
原因は、次の通りである。前述した通り、動き補
償フレーム間符号化においては、現フレームのブ
ロツクの信号と最も類似度が高い前フレームの信
号をもつて予測信号とし、予測符号化を行うが、
入力テレビジヨン信号に雑音が含まれている場合
には静止部分であつても当該ブロツクが静止して
いることを示すシフトベクトル（０、０）に対す
る類似度が必ずしも最大とならず、静止している
部分が動いていると判定されることがある。した
がつて、フレーム間符号化では静止していたダー
テイウインドウが、動き補償フレーム間符号化で
は動いて見えることとなり、重大な画質劣化とな
るのである。

本発明の目的は、動き補償によつて発生する、
ダーテイウインドウが動いて見えるという画質劣
化を、大幅に軽減した動き補償フレーム間符号化
装置を提供することにある。

本発明によれば、入力テレビジヨン信号の１フ
レームを複数個のブロツクに分割し、個々のブロ
ツクについてテレビジヨン画像の動きである動ベ
クトルを検出するとともに前記画像の動きを補償
した予測信号を発生し、該予測信号に基いて前記
入力テレビジヨン信号を予測符号化する動き補償
フレーム間符号化装置において、前記入力テレビ
ジヨン信号のブロツクに対するテレビジヨン画面
上の同一位置を基準として、あらかじめ定められ
た範囲内の種々の変位量を示す種々のシフトベク
トルだけ、空間的にずれた位置にある前フレーム
信号から構成されるブロツクと、前記入力テレビ
ジヨン信号のブロツクとの類似度を示す評価値を
求める手段と、前記種々のシフトベクトルについ
て求められた評価値の中で、類似度が大であるこ
とを示すシフトベクトルを、動ベクトルとして検
出する手段と、前記検出された動ベクトルに対す
る評価値と、当該ブロツクのテレビジヨン信号が
静止していることを示すシフトベクトルに対する
評価値とを比較し、両評価値の差が一定値以上で
あれば前記動ベクトルを、一定値未満であれば前
記当該ブロツクのテレビジヨン信号が静止してい
ることを示すシフトベクトルを出力することによ
り動ベクトルを修正する手段と、修正された動ベ
クトルに基いて予測信号を発生し前記入力テレビ
ジヨン信号を予測符号化する手段と、前記修正動
ベクトルを符号化する手段とを、備えたことを特
徴とする動き補償フレーム間符号化装置が得られ
る。

次に、本発明の原理及び実施例について説明す
る。

動き補償フレーム間符号化の欠点であるダーテ
ウヴインドウが動いて見えるという画像劣化は、
上述したように、雑音などにより前述の評価値が
変化し、画像の静止的部分が動いていると誤つて
判定されることによる。したがつて、雑音による
評価値の変化分を考慮した動ベクトル検出方法、
すなわち、画像の静止的部分における現フレーム
信号のブロツクに対しては、当該ブロツクが静止
していることを示すシフトベクトル（以下の説明
においてはシフトベクトル（０、０）とする）が
動ベクトルとして検出されるような動ベクトル検
出方法を、用いれば、上述の画質劣化を軽減する
ことができる。

すなわち、本発明においては、いつたん検出さ
れた動ベクトルに対する評価値D_Vとシフトベク
トル（０、０）に対する評価値D_Oとを比較し、
両者の差が一定値未満であれば、そのブロツクに
ついては画像は静止的であるとみなしてフレーム
間予測を行い、逆に一定値以上であれば、動いて
いるものとみなして、動ベクトルを用いて予測信
号を発生する。

なお、以下の説明においては、現フレームのブ
ロツクの信号とシフトベクトルだけずれた位置の
前フレームの信号との類似度を示す評価値は、そ
の値が小であるほど類似度が高いことを示すも
の、たとえば前述した「現フレームのブロツク内
信号と、シフトベクトルだけずれた前フレームの
ブロツク内信号との差信号の絶対値が一定の閾値
を越えた個数」のようなものとして説明する。

次にこの前提にもとづいて本発明の原理をより
具体的に説明する。すなわち、本発明において
は、前記D_OとD_Vとの差（D_O−D_V）（この値は常
に正又は０となる）と一定値とを比較する。（D_O
−D_V）が一定値未満であれば、当該ブロツクの
テレビジヨン信号は静止的であるとみなしてフレ
ーム間予測を行う。すなわち、シフトベクトル
（０、０）により予測信号を発生する。逆に、
（D_O−D_V）が一定値以上であれば、動ベクトルを
用いて予測信号を発生する。言いかえれば、前記
（D_O−D_V）と一定値との比較を行い、比較判定結
果によつて、動ベクトルを修正して修正動ベクト
ルとし、修正動ベクトルにより予測信号を発生す
る。

このような比較判定手段をつけ加えても、伝送
すべき情報量がほとんど増加しないことは、以下
のことから明らかである。すなわち、前記評価値
は現フレームのブロツクとシフトベクトルだけず
れた位置の前フレーム信号との類似度を判定する
尺度であることは前述した通りであるが、前記
D_OとD_Vとの差が（D_O−D_V）が小さい（すなわち
所定値未満）ということは、現フレームブロツク
とシフトベクトル（０、０）に対応する前フレー
ムのブロツク（単純フレーム間予測の場合の予測
信号）との類似度もまた高いということであり、
動ベクトルを用いて発生した予測信号を用いる代
りに、フレーム間予測信号を用いて予測符号化を
行つても、前記一定値を小とすれば、そのブロツ
クにおいて発生される情報量の増加はきわめて小
さい。

なお、この一定値は、対象とするテレビジヨン
信号の信号対雑音比（Ｓ／Ｎ比）、動ベクトル検
出の単位となるブロツクの大きさ、及び前述の類
似度比較を行うための評価値のとりうる最大値を
考慮して、定められる。すなわち、上記一定値
は、Ｓ／Ｎ比が高いほど小さな値とすることがで
き、評価値のとりうる最大値が大きいほど大きな
値とすることができる。

このように、本発明によれば、前述のダーテイ
ウインドウが動いて見えるという画質劣化が低減
できるにもかかわらず、従来の動き補償フレーム
間符号化に比べて伝送すべき情報量の増加はほと
んどなく、本発明の適用による効果はきわめて大
きい。

次に第２図に示した本発明の動き補償フレーム
間符号化装置の実施例について説明する。第２図
において、アナログ／デイジタル変換（Ａ／Ｄ変
換）されたテレビジヨン信号（以下において
「TV信号」と称する）が端子１に入力されるも
のとする。端子１に入力されたTV信号は信号線
２を介して遅延回路３、動ベクトル検出器２０、
及びフレーム間評価値演算器２４に入力される。
遅延回路３は、遅延回路３より信号線４に出力さ
れる入力TV信号と可変遅延回路１４より信号線
１５に出力される予測信号とのタイミングを減算
器５において合わせるために（すなわち前述した
修正動ベクトル検出及び予測信号発生に要する時
間を補正するために）用いられる。減算器５は、
遅延回路３から信号線４を介して入力されたTV
信号と、可変遅延回路１４から信号線１５を介し
て入力された予測信号との差信号を出力する。

この差信号（予測誤差信号）は、信号線６によ
り量子化器７に入力されて量子化される。この量
子化された予測誤差信号は、信号線８を介して第
１の符号器３０及び加算器９に入力される。ここ
で、第１の符号器３０は、量子化された予測誤差
信号を符号化（たとえば可変長符号化）して信号
線３２に出力する。また、加算器９は、信号線８
よりの量子化された予測誤差信号と、信号線１５
よりの予測信号とを加算する。即ち、上記量子化
された予測誤差信号は、加算器９によつて、局部
復号されて、信号線１６を介してフレームメモリ
１０に書き込まれる。フレームメモリ１０に書き
込まれた信号は、次のフレームにおける動ベクト
ルの検出及び予測信号の発生に、用いられる。

動ベクトル検出器２０は、信号線２により入力
されるTV信号と信号線１１より入力されるおよ
そ１フレーム前のTV信号とから前述の動ベクト
ルを検出して動ベクトルを信号線２１に出力する
とともに、この動ベクトルに対応する評価値を信
号線２２に出力する。なお、フレームメモリ１０
より出力されるおよそ１フレーム前の信号は、動
ベクトルの縦方向の検出範囲を上下±Ｍ水平走査
線／フレームまでとし、縦方向のブロツクサイド
をＢ水平走査線とすると、（2M＋Ｂ）水平走査線
の信号が並列に出力される。このような信号線１
１の信号は遅延回路１２に入力され、遅延出力が
信号線１３に出力されるが、信号線１３も（2M
＋Ｂ）ラインのパラレル出力となる。なお、動ベ
クトル検出器２０の構成については、前述の文献
１に詳述されているので説明は省略する。

フレーム間評価値演算器２４は、信号線２より
入力されるTV信号と信号線１１より入力される
およそ１フレーム前のTV信号とから、前述のシ
フトベクトル（０、０）に対する評価値（フレー
ム間評価値）を求め、信号線２５に出力する。こ
こで、フレーム間評価値演算器２４の機能は、動
ベクトル検出器２０の機能の一部に相当する機能
である。従つて、フレーム間評価値演算器２４
は、動ベクトル検出器２０と全く同じものを用い
ることができる。この場合、動ベクトル検出器を
シフトベクトル（０、０）についてのみ動作させ
ればよい。

また、動ベクトル検出の過程において、動ベク
トル検出器２０に、シフトベクトル（０、０）に
ついても評価値演算を行わせることができるた
め、シフトベクトル（０、０）に対する評価値を
動ベクトル検出器２０から出力させることもでき
る。この場合には、フレーム間評価値演算器２４
は不要となる。

判定回路２６は、信号線２２より入力される動
ベクトルに対する評価値（D_V）と、信号線２５
より入力されるフレーム間評価値（D_O）とを比
較する。そして、両者の差（D_O−D_V）が一定値
以上であれば、信号線２１より入力される動ベク
トル信号をそのまま修正動ベクトル信号として信
号線２３に出力し、（D_O−D_V）が一定値未満であ
れば、シフトベクトル（０、０）を示す信号を修
正動ベクトル信号として出力する。

一方、フレームメモリ１０より出力される１フ
レーム前の信号は、遅延回路１２を経由して可変
遅延回路１４に入力される。ここで遅延回路１２
は、動ベクトル検出回路２０、フレーム間評価値
演算器２４及び判定回路２６が、前述の修正動ベ
クトルを決定するのに、必要な時間を補償するた
めに、用いられる、可変遅延回路１４は、信号線
１３により入力されるTV信号を、信号線２３に
より入力される修正動ベクトル信号に応じてシフ
トして、予測信号として信号線１５に出力する。
また、修正動ベクトル信号は信号線２３を介して
第２の符号器３１に入力され符号化（たとえば可
変長符号化）されて、信号線３３に出力される。

マルチプレイクサ３４は、信号線３２よりの符
号化された予測誤差信号と、信号線３３よりの符
号化された修正動ベクトル信号とを、多重化し
て、信号線３５に出力する。このマルチプレイク
サ３４の出力信号は、伝送路３７との速度整合を
行うためのバツフアメモリ３６に書き込まれる。
バツフアメモリ３６に書き込まれた信号は伝送路
３７の伝送速度で読み出され、伝送路３７に送出
される。

次に第３図を用いて判定回路２６の構成及び動
作について説明する。加算器５０は、信号線２２
より入力される動ベクトルに対する評価値D_Vに、
上述した一定値を、加算し、信号線５１に出力す
る。比較器５２は、信号線５１よりの値と、信号
線２５よりのフレーム間評価値D_Oとを比較する。
そして、フレーム間評価値の方が小さい場合に
は、信号値「０」を信号線５３に出力し、そうで
ない場合には信号値「１」を出力する。ゲート回
路５４は信号線５３より入力される信号が「１」
の場合には信号線２１より入力される動ベクトル
信号をそのまま修正動ベクトル信号として信号線
２３に出力し、信号線５３により入力される信号
が「０」である場合にはシフトベクトル（０、
０）を示す信号を修正動ベクトル信号として信号
線２３に出力する。このようにして判定回路２６
は、フレーム間評価値（D_O）と、動ベクトルに
対する評価値（D_V）との差が一定値以上であれ
ば、動ベクトル信号を修正動ベクトル信号として
そのまま出力し、そうでない場合にはシフトベク
トル（０、０）を示す信号を修正動ベクトル信号
として出力する。

ここで、動ベクトル修正を行なうか否かの基準
である「一定値」の定め方について詳細に述べ
る。前述した通り「一定値」の値は、入力TV信
号のＳ／Ｎ比や評価値のよりうる最大値が変われ
ば（すなわち評価値の定義を変更すれば）変化す
るが、実用上は評価値のとりうる値のおよそ10％
ないしそれ以下の値とすればよい。たとえば、動
ベクトル検出の単位であるブロツクの大きさが縦
方向４水平走査線、横方向８サンプルであり、か
つ、評価値が、「現フレームのブロツク内信号と
シフトベクトルだけずれた前フレーム信号との差
信号が一定の閾値を越えたものの個数」である場
合は、評価値のとりうる最大値は32であるので、
「一定値」は１〜３の値とすればよい。

次に第４図を参照して可変遅延回路１４につい
て説明する。なお以上の説明においては、第２図
の信号線１３は１本の線で代表させていたが、こ
こでは12水平走査線のデータが並列に入力される
場合（たとえば縦方向のブロツクサイズは４水平
走査線であり修正動ベクトルの縦方向の検出範囲
が上下４水平走査線までである場合）について説
明する。したがつて、第２図の信号線１３を、第
４図においては１３₁〜１３₁₂と分けて表示する。
また、説明の便宜上１３_Nの添字Ｎが小さいほど
テレビジヨン画面上では上にあるものとする。ま
た、修正動ベクトル信号が入力されてくる信号線
２３についても、その横方向成分が入力される線
を信号線２３₁、縦方向成分が入力される線を信
号線２３₂として示す。

第４図においては、たとえば信号線２３₂より、
修正動ベクトル縦方向成分Ｓが０であることを示
す縦方向シフト制御信号が、入力してきた場合に
は、走査線選択回路２７０は信号線１３₅の信号
を信号線２８２₁に信号線１３₆の信号を信号線２
８２₂に、信号線１３₇の信号を信号線２８２₃に、
信号線１３₈の信号を信号線２８２₄に出力する。
他の値Ｓの縦方向シフト制御信号が入力された場
合も同様にして、Ａ＝５−Ｓ、Ｂ＝Ａ＋１、Ｃ＝
Ａ＋２、Ｃ＝Ａ＋３とすると、信号線１３_Aの信
号を信号線２８２₁に、信号線１３_Bの信号を信号
線２８２₂に、信号線１３_Cの信号を信号線２８２
_３に、信号線１３_Dの信号を信号線２８２₄に出力
する。各出力信号２８２₁〜２８２₄は、各々、シ
フトレジスタ２７４〜２７７に入力される。参照
数字３０１〜３０４に囲まれた部分の構成動作
は、相互に全く同一であるので、参照文字３０１
により囲まれた部分についてのみ以下説明する。

信号線２８２₁に出力された信号はタツプ付シ
フトレジスタ２７４に入力される。ここでシフト
レジスタ２７４の出力タツプ数は、横方向の修正
動ベクトルの検出範囲により決定される。たとえ
ば、左右V_Hサンプルまでの動きを検出する場合、
タツプ数は2V_H＋１となる。シフトレジスタ２７
４の各タツプから出力された信号は、並列に、選
択器２７８に入力される。選択器２７８は、信号
線２３₁より入力される修正動ベクトル横方向成
分の信号に応じて各入力のうち１本を選択し、信
号線２８６を経由して選択器２９０に入力する。

選択器２９０は、現信号ブロツクの最上の水平
走査線の信号に対する予測信号を発生すべき時点
においては、信号線２８６の信号を信号線１５に
出力する。また、現信号のブロツクの上から２番
目、３番目、４番目の水平走査線の信号に対する
予測信号を発生する場合には、各々、信号線２８
７，２８８，２８９の信号を信号線１５に出力す
る。このようにして、信号線１５には、現フレー
ムの信号に対して信号線２３₁，２３₂の修正動ベ
クトルにより補償した予測信号が得られる。

以上説明した通り、本発明によれば、動き補償
フレーム間符号化のもつ欠点であるダーテイウイ
ンドウが動いて見えるという重大な画質劣化を軽
減した動き補償フレーム間符号化装置が得られ
る。

【図面の簡単な説明】

第１図ａ及びｂは動き補償フレーム間符号化方
式の原理を説明するための図、第２図は本発明の
一実施例による動き補償フレーム間符号化装置を
示したブロツク図、第３図は第２図の判定回路２
６の構成を示したブロツク図、第４図は可変遅延
回路１４の構成を示したブロツク図である。 １……テレビジヨン信号入力端子、３，１２…
…遅延回路、５……減算器、７……量子化器、９
……加算器、１０……フレームメモリ、１４……
可変遅延回路、２０……動ベクトル検出器、２４
……フレーム間評価値演算器、２６……判定回
路、３０，３１……符号器、３４……マルチプレ
クサ、３６……バツフアメモリ。

Claims (1)

1. 【特許請求の範囲】 １ 入力テレビジヨン信号の１フレームを複数個
   のブロツクに分割し、個々のブロツクについてテ
   レビジヨン画像の動きである動ベクトルを検出す
   るとともに前記画像の動きを補償した予測信号を
   発生し、該予測信号に基いて前記入力テレビジヨ
   ン信号を予測符号化する動き補償フレーム間符号
   化装置において、 前記入力テレビジヨン信号のブロツクに対する
   テレビジヨン画面上の同一位置を基準として、あ
   らかじめ定められた範囲内の種種の変位量を示す
   種々のシフトベクトルだけ空間的にずれた位置に
   ある前フレーム信号から構成されるブロツクと前
   記入力テレビジヨン信号のブロツクとの類似度を
   示す評価値を求める手段と、 前記種々のシフトベクトルについて求められた
   評価値の中で、類似度が大であることを示すシフ
   トベクトルを、動ベクトルとして検出する手段
   と、前記検出された動ベクトルに対する評価値
   と、当該ブロツクのテレビジヨン信号が静止して
   いることを示すシフトベクトルに対する評価値と
   を比較し、両評価値の差が大であれば前記動ベク
   トルを、両評価値の差が小であれば前記当該ブロ
   ツクのテレビジヨン信号が静止していることを示
   すシフトベクトルを出力することにより動ベクト
   ルを修正する手段と、 修正された動ベクトルに基いて予測信号を発生
   し前記入力テレビジヨン信号を予測符号化する手
   段と、 前記修正動ベクトルを符号化する手段とを、備
   えたことを特徴とする動き補償フレーム間符号化
   装置。