JPH099267A - 画像データ処理装置 - Google Patents

Abstract

(57)【要約】 【目的】 時間的冗長度をより取り除いた動き補償。 【構成】 本発明の一例の画像データ処理装置は、複数
の動き補償部（８，１０）を有する。各動き補償部
（８，１０）は関連する記憶手段（７，９）に記憶され
たデータを動きベクトル信号（ＭＶ（０），ＭＶ
（１））に基き修正し変換手段（２０）にフィードバッ
クする（１１）。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明はデジタル・ビデオ信号の
処理技術に関し、特にデジタル・ビデオ圧縮信号の動き
推定及び補償技術に関する。

【０００２】

【従来の技術及びその課題】今日のディジタル・ビデオ
圧縮では、動き推定／補償がかなめの技術であり、或る
時間位置（フレーム）の像信号は、それより１単位時間
前のものと類似していると云う考えに基いて、いわゆる
ブロック・マッチングと呼ばれる方式が広く使用されて
いる。ブロック・マッチングは画素空間で実行され、１
６行×１６画素のブロック寸法のマッチングが広く用い
られている。推定された動き（垂直（Ｖ）ベクトル及び
水平（Ｈ）ベクトル）は、１組の候補動きベクトルＢ＝
｛（Ｖベクトル、Ｈベクトル）｝に亘って下記の‘コス
ト関数’（ブロック毎の絶対値の信号の差）の内の最小
値を達成する差分アドレスの値として定義される。

【数１】式（１） ここでＶＢＰ，ＨＢＰは夫々垂直及び水平ブロック位置
を表わす。これらの値は、各々のマッチングするための
ブロックの基準位置を表わし、通常はブロックの左上の
画素の座標をとる。Ｉ_N は時刻Ｎに於ける映像を表わ
し、Ｉ′_N-1 は、時刻Ｎより１単位時間前に復号された
映像を表わす。この動きの推定の後に行われる動きの補
償が、一連の映像から時間的な冗長度を取り除く工程で
ある。

【０００３】

【課題を解決するための手段及び作用】本発明は復号さ
れた映像Ｉ′_N-1 の代わりに、元の映像Ｉ_N-1 を使用す
る新規な動き補償技術を提供する。即ち本発明は、ｍ画
素＊ｎ行の画像情報信号を入力し、該画像情報信号を周
波数空間を表す画像データに変換してビット・ストリー
ムとして出力すると共に、前記画像データを復号する変
換手段と、前記変換手段に接続され、復号された画像デ
ータに前フレームからの動き予測信号を加算したデータ
を記憶する第１の記憶手段と、第１の動きベクトル信号
に基き、前記第１記憶手段に記憶されたデータを修正す
る第１の動き補償部と、前記変換手段に接続され、復号
された画像データを記憶する第２の記憶手段と、第２の
動きベクトル信号に基き、前記第２の記憶手段に記憶さ
れた画像データを修正する第２の動き補償部と、前記第
１の動き補償部及び第２の動き補償部から出力される各
動き予測信号を前記変換手段にフィードバックする手段
を含む画像データ処理装置である。

【０００４】

【実施例】本発明の理論的考察を含め一実施例を以下に
説明する。ビデオシーケンスは、時間のスケールで定義
された一連の２次元信号である。動きの推定は、１次元
信号の普通の線形予測と異なり、遅延の推定又は、自乗
平均（又は絶対値の和）の誤差判断基準の下での空間的
な位置のずれの推定である。図１の様な時刻ｎに於ける
映像ｚ（ｎ）内にある像のブロックを考え、その動き補
償信号をｚ（ｎ−１）とする。ここでｂ_n-1 は、時刻ｎ
−１の映像内に定義することのできる全てのブロックの
集合を表わす。ｚ（ｎ）に対する動き補償信号は、最も
一般的な意味で、ｚ（ｎ−１｜Ｂ_n-1）で表わすことが
できる。ここでＢ_n-1 は、従来の全ての映像を用いて定
義することができる全てのブロック信号の集合である。
ｚ（ｎ−１｜Ｂ_n-1 ）の代わりにｚ（ｎ−１｜ｂ_n-1 ）
を使うことにより簡略化は、映像のシーケンスに於ける
マルコフ過程の仮定に基づく（図２）。（過去の全てを
記憶しなくても直前の映像だけから十分補償が行えると
いう意味）。映像信号ｚ（ｎ−１｜ｂ_n-1 ）のこのブロ
ックから出発して、次々と動き補償により時間的に逆方
向の動き推定により、まず時刻ｎ−２に於ける映像内の
一意的にマッチングするブロックｚ（ｎ−２｜ｂ_n-2 ）
を見出すことができる。更にこれを繰返し、出発時のブ
ロック信号ｚ（ｎ）を持つ一連のブロック信号の系列ｚ
（ｎ−ｉ｜ｂ_n-i ）（ｉ＝１，２…）ができる。

【０００５】一方、一般に各々のブロック内の映像信号
は次の様な成分信号から構成されている。

【数２】 ここでｕ（ｎ−ｉ）は、以前は見えていなくて現在映像
に現われた背景信号に対応し、ｖ（ｎ−ｉ）は付加的な
（ａｄｄｉｔｉｖｅ）ホワイトノイズである。最小平均
自乗の推定の性質により、投影理論（ｐｒｏｊｅｃｔｉ
ｏｎ ｔｈｅｏｒｙ）によれば、予測誤差ｅ（ｎ−１）
＝ｕ（ｎ−ｉ）＋ｖ（ｎ−ｉ）は、ｚ（ｎ−ｉ｜
ｂ_n-i ）に対して垂直であることが知られている（図
３）。従って、例えば

【数３】 が同時に両方とも成立する。

【０００６】ｚ（ｎ）がｚ（ｎ−１）に信号の形が近
く、式（３）の右辺の予測誤差ｅは、動画像信号の一般
的な場合は主として新たに出現した背景信号ｕによって
占められるから、ブロック信号ｚ（ｎ）に対する予測誤
差の幾何学的な関係は図４に示す様な構造になるはずで
ある。この関係は、ｅ（ｎ）及びｅ（ｎ−１）の間の相
関は値として１．０又は−１．０の何れかになることを
意味する。この強い相関の存在は、従来の動き補償の性
能を向上させ、より大幅な冗長度の減少を達成すること
ができることを示している。ここでは、予測誤差ｅが２
つの信号成分ｕ及びｖで構成されることに注意しなけれ
ばならない。ホワイトノイズは常に式（３）の関係を満
たすが、ホワイトノイズでは冗長度の減少はできない。
この為、この式並びに図４に示す観察に基づく冗長度の
減少は、ｕ成分がホワイトノイズｖより優勢である場合
に限ってのみ意味がある。これを言い換えれば、「図５
に示す様な遠く離れたブロックｚ（ｎ−ｄ^* ）信号から
の直接的な予測に比べて、どの程度画像毎の動きの補償
が有効であるか？」と云うことである。

【０００７】図５で、量ｄ^* は、ｚ（ｎ−ｄ^* ）による
直接的な予測に比べて、どの映像毎の予測が一層効果が
ある様になるか、時間的にｚ（ｎ）から後向き（バック
ワード）に計数した時の映像フレームの最大数を表わ
す。映像毎の予測では、互いの相関は比較的高いが、こ
の予測は必要なカウントだけ繰返さなければならない。
これに反して、直接的に予測では、相関が小さい。映像
毎の相関（ｚ（ｉ）とｚ（ｉ−１）の間の）がρである
時、マルコフ過程を仮定すると、ｄ^* は次の式を解くこ
とによって得られる。

【数４】 大幅な冗長度の減少を達成する為には、映像毎の相関が
比較的高くなければならない。例えば、相関が０．５よ
り大きい時、映像毎の予測が、残留情報のエネルギを減
少し、ρ＝０．５では、ｄ^* は３乃至４個の映像にな
る。ρが一層大きくなると、それに応じてｄ^* が一層大
きくなる。

【０００８】図５に示すシーケンス内にあるブロック像
は確立的な意味で互いに接近しており、ｚ（ｎ）から出
発して、時間的に後向きに進む像の各々のブロックは、
ｚ（ｎ−ｉ）にある‘ｉ’の様なその時間指数によって
表わすことができる。こう云う指数を予測の‘次数’と
ここでは呼び、以下、ｄ^* が最高次数を表わすとする。
簡単に云うと、この値は、図４に示す様な相関関係が成
立するフレームの長さを示す。幾何学的な関係を図６に
示す。高次の動き推定及び補償は、映像のシーケンスに
於けるこう云う特性を活用する技術である。ビデオ信号
は、高次の予測誤差が強い相関関係を持つ（相関係数が
１又は−１である）この特性を有する。従来のビデオ圧
縮では、符号化ループの構造は非情に簡単で、図７に示
す構造を有する。その符号化過程を図８に示す。

【０００９】図７において、処理単位である例えば１６
＊１６画素のビデオ信号Ｉ（ｎ）が減算器１に入力さ
れ、動き予測信号Ｉ（ｎ−１）と差分をとられ、この差
分値がＦＤＣＴ２により周波数領域の信号に変換され
る。変換されたＤＣＴ係数は量子化部３により量子化コ
ードに変換されビット・ストリームとして出力される。
また、量子化コードは逆量子化部４及び逆ＤＣＴ５によ
り復元され、加算器６により動き予測信号Ｉ（ｎ−１）
と加算され、１フレーム前の画像信号としてフレームメ
モリ７にストアされる。動き補償部８は、動きベクトル
ＭＶに基いてフレームメモリ７からの前の画像信号から
動き予測信号Ｉ（ｎ−１）を求め、これを減算器１及び
加算器６へ供給する。減算器１においては、入力Ｉ
（ｎ）から動きを補償した予測信号Ｉ（ｎ−１）を減算
する（復号後に）。こうして生じた予測誤差Ｅ（ｎ）を
ビット・ストリームとして出力し、可変長符号化によっ
て符号化する。以下、この従来の時間的なビデオ予測方
法を０次動き推定／補償と呼ぶ。

【００１０】図９は本発明に係る高次動き補償による符
号化過程の一例（１次）を示す。高次動き補償は、符号
器及び復号器の動作を同期させる為に符号化されかつ復
号された予測誤差信号の間に存在する高い相関を利用す
る。これは、図８のＥ（ｎ）及びＥ（ｎ−１）が図６に
示す様に強い相関関係を持つことを意味する。然し、相
関は、動きによって生じたフレームの差の場合は１又は
（−１）の何れかにしかならないから、予測係数はこう
云う値の間で適応形で選ばなければならない。動きがな
い時、フレームの差はホワイトノイズで構成され、予測
は全く効果がない。この場合、予測値は値としては０に
なるばずである。図９は、第２段に追加の動き推定及び
補償をおくことができることをも示している。第２段の
効果は後述するが、極く僅かな追加の探索を用いた推定
／補償により、例外なく、性能によい改良が達成される
ことを示す。この追加の探索は、有限寸法のブロックに
より探索による推定された動きの小さな誤差の調節に対
応する。

【００１１】高次動き補償は、現在の０次予測誤差Ｅ
（ｎ）と前の誤差Ｅ（ｎ−１）の間に依然として存在す
る高い相関を相殺する。追加の動き推定を必要としない
最も簡単な補償は、Ｅ（ｎ−１）に対する予測係数とし
て１，０又は（−１）の何れかを選ぶことによって達成
される。この為には、ブロック当たり、１乃至２ビット
の僅かな追加の情報が必要であるが、こう云う情報は、
０次予測段で符号化すべきと判断されたブロックに対し
てのみ必要であるから、殆ど問題にならないのが普通で
ある。予測誤差Ｅ（ｎ−１）は前の映像に対する予測誤
差信号であり、復号器に同じ信号が利用できる様にする
為に、この信号も符号化並びに復号しなければならない
ことにもう１度注意されたい。

【００１２】図９で、ＭＣ（０）は従来の動き推定であ
り、ＭＣ（１）が本発明に係る高次動き推定である。こ
れは、０次動き推定に於ける小さな摂動を調節する助け
になる。最も簡単な場合、ＭＣ（１）＝ＭＣ（０）であ
る。即ち、Ｅ（ｎ−１）に対するメモリ読取アドレス
は、Ｉ（ｎ）に対するＩ（ｎ−１）と同じ値だけ変位し
ている。然し、差分動き推定がＭＣ（０）を中心とする
小さい範囲（｛−１，＋１｝又は｛−３，＋３｝）で行
われる時、予測効率の最大に近い改良を達成することが
できる。その時、Ｅ（ｎ−１）に対するメモリ読取アド
レスはＭＣ（０）＋ＭＣ（１）になり、その一方、予測
係数は依然として１，０又は（−１）の値をとる。図９
に示す動き推定／補償は、この予測が（符号化されて復
号された）前の予測誤差信号しか使わないので、１次の
高次動き推定／補償と呼ばれる。次数が増加するにつれ
て、予測は一層高次の像のブロックを参照する。最高次
が式（４）によって定められる。

【００１３】図１０に本発明の一実施例に係る１次の高
次動き推定／補償による符号器の構造を示す。この符号
器においては、符号化ループが２つの動き推定／補償装
置を含む。フレーム・メモリ７を使って、０次動き推定
の為の全部の復号された映像（即ち、復号された画像デ
ータに前フレームからの動き予測信号を加算したデー
タ）を記憶する。フレーム・メモリ９が、復号された予
測誤差信号を記憶する。この信号が０次予測誤差（ビデ
オ入力信号（Ａ）及び動き補償信号（Ｂ）の間の差）と
比較され、追加の動き推定／補償（１次）が行われる。
追加の動きベクトル並びに予測係数を受信側に対して符
号化する必要がある。こう云う情報は、‘有意’と判断
されたブロックに対してのみ必要である。

【００１４】一方、更に圧縮効率の高い２次の高次動き
推定／補償は、図１１に示す様に、Ｅ（ｎ）の予測の為
にＥ（ｎ−１）及びＥ（ｎ−２）の両方を用いる。０次
予測誤差信号Ｅ（ｎ−２）を保管しておいて、Ｅ（ｎ）
の予測の為にＥ（ｎ−１）と一緒に使う。このような高
次予測を導入することにより、従来の動き補償だけでは
実現できなかった冗長度の圧縮を達成することができ
る。集合｛−１，０，１｝から適応型で選ばれた係数を
用いた適応型予測と共に、高次動き推定では範囲［−
３，３］で追加の動き推定を行うことによりほぼ最大効
果に近い改善が得られる。本発明を一実施例につき説明
したが本発明はこの例だけに限られるものではなく、高
次の構成が可能である。

【００１５】

【発明の効果】動き補償において時間的な冗長度をより
高能率に取り除くことができるため、動きの映像情報を
より少ない量で表現でき、伝送、蓄積などの目的の基本
技術として利用することができる。

【図面の簡単な説明】

【図１】時刻ｎ及びｎ−１での映像のブロックを説明す
る図。

【図２】全ブロック及びその部分集合を示す図。

【図３】予測誤差と動き補償信号の直交関係を示す図。

【図４】ブロック信号に対する予測誤差の幾何学的関係
を示す図。

【図５】映像毎の予測と直接予測を説明する図。

【図６】映像毎の予測の幾何学的関係を説明する図。

【図７】従来の符号化ループ構造のブロック図。

【図８】従来の符号化過程を説明する図。

【図９】本発明の一実施例における符号化過程を説明す
る図。

【図１０】本発明の一実施例における符号化ループ構造
のブロック図。

【図１１】本発明の他の実施例における符号化過程を説
明する図。

【符号の説明】

７ 第１の記憶手段 ８ 第１の動き補償部 ９ 第２の記憶手段 １０ 第２の動き補償部 １１ フィードバック手段 ２０ 変換手段

Claims (2)

【特許請求の範囲】
1. 【請求項１】 ｍ画素＊ｎ行の画像情報信号を入力し、
   該画像情報信号を周波数空間を表す画像データに変換し
   てビット・ストリームとして出力すると共に、前記画像
   データを復号する変換手段と、 前記変換手段に接続され、復号された画像データに前フ
   レームからの動き予測信号を加算したデータを記憶する
   第１の記憶手段と、 第１の動きベクトル信号に基き、前記第１記憶手段に記
   憶されたデータを修正する第１の動き補償部と、 前記変換手段に接続され、復号された画像データを記憶
   する第２の記憶手段と、 第２の動きベクトル信号に基き、前記第２の記憶手段に
   記憶された画像データを修正する第２の動き補償部と、 前記第１の動き補償部及び第２の動き補償部から出力さ
   れる各動き予測信号を前記変換手段にフィードバックす
   る手段を含む画像データ処理装置。
2. 【請求項２】 フィードバックする手段が、拡張される
   高次のフィードバック手段を含む請求項１記載の画像デ
   ータ処理装置。