JPH08116541A - 画像符号化装置 - Google Patents

Abstract

(57)【要約】 【目的】 画素の動きベクトルが、近隣の複数の代表点
の動きベクトルからの内挿により表される動き補償方式
において、従来の方式より演算量が少なく、かつ予測特
性の劣化の少ない動き推定方式を提供する。 【構成】 代表点の動き推定を、代表点を含むブロック
を用いたブロックマッチングのみによって実現する。こ
のとき、ブロックマッチングにおいて画素ごとの輝度値
の予測誤差に重み付け係数を掛けた評価値を用いる。 【効果】 画素の動きベクトルが近隣の複数の代表点の
動きベクトルからの内挿により表される動き補償方式に
おいて、動き推定処理の演算量を低減することができ
る。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、画素の動きベクトル
が、近隣の複数の代表点の動きベクトルからの内挿によ
り表される動き補償を実行する画像符号化装置に関する
ものである。

【０００２】

【従来の技術】動画像の高能率符号化において、時間的
に近接するフレーム間の類似性を活用する動き補償は情
報圧縮に大きな効果を示すことが知られている。現在の
画像符号化技術の主流となっている動き補償方式は、動
画像符号化方式の国際標準であるＭＰＥＧ１およびＭＰ
ＥＧ２にも採用されているブロックマッチングである。
この方式では、符号化しようとする画像を多数の正方形
または長方形のブロックに分割し、ブロックごとにその
動きベクトルを水平・垂直方向に隣接画素間距離の半分
の長さを最小単位として求める。この処理を数式を用い
て表現すると以下のようになる。符号化しようとするフ
レーム（現フレーム）の予測画像をＰ(ｘ,ｙ)、参照画
像（Ｐと時間的に近接しており、既に符号化が完了して
いるフレームの復号画像）をＲ(ｘ, ｙ)とする。また、
ｘとｙは整数であるとして、ＰとＲでは座標値が整数で
ある点に画素が存在すると仮定する。このとき、ＰとＲ
の関係は、

【０００３】

【数１】

【０００４】で表される。ただし、画像はｎ個のブロッ
クに分割されるとして、Ｂiは画像のｉ番目のブロック
に含まれる画素、(ｕi, ｖi)はｉ番目のブロックの動き
ベクトルを表している。動きベクトル(ｕi, ｖi)の推定
方式として最も一般的に用いられているのは、(ｕi, ｖ
i)に一定の探索範囲を設け（例えば-15≦ｕi, ｖi≦１
５）、その中でブロック内の予測誤差Ｅｉ（ｕi, ｖi)
を最小化するものを探索するという方式である。予測誤
差の評価基準として平均絶対誤差を用いた場合、Ｅi(ｕ
i, ｖi)は、符号化しようとしているフレームの原画像
をＩ(ｘ, ｙ)として、

【０００５】

【数２】

【０００６】で表される。ただし、Ｎiはｉ番目のブロ
ックに含まれる画素の数である。このように、異なる動
きベクトルについてそれぞれ予測誤差を評価し、この誤
差が最も小さい動きベクトルを探索する処理をマッチン
グ処理とよぶ。

【０００７】ブロックマッチングは上で述べた通り、現
在広く用いられているが、ＭＰＥＧ１やＭＰＥＧ２より
高い情報圧縮率が必要となるアプリケーションではさら
に高度な動き補償方式が要求される。ブロックマッチン
グの欠点はブロック内のすべての画素が同一の動きベク
トルを持たなければならない点にある。そこでこの問題
を解決するために、隣接する画素が異なる動きベクトル
を持つことを許容する動き補償方式が最近提案されてい
る。以下にこの方式の一例である空間変換に基づく動き
補償に関して簡単に説明する。

【０００８】空間変換に基づく動き補償では、予測画像
Ｐと参照画像Ｒの関係は、

【０００９】

【数３】

【００１０】で表される。ただし、画像はｎ個の小領域
（パッチ）に分割されるとして、Ｐｉは画像のｉ番目の
パッチに含まれる画素を表している。また、変換関数ｆ
ｉ（ｘ,ｙ)とｇi(ｘ, ｙ)は現フレームの画像と参照画
像との間の空間的な対応を表現している。このとき、Ｐ
i内の画素(ｘ, ｙ)の動きベクトルは、(ｘ−ｆi(ｘ,
ｙ),ｙ−ｇi(ｘ, ｙ))で表すことができる。ところで、
ブロックマッチングは変換関数が定数である方式とし
て、空間変換に基づく動き補償の特殊な例として解釈す
ることもできる。しかし、本明細書で空間変換に基づく
動き補償という言葉を用いるときには、ブロックマッチ
ングはその中に含まないこととする。

【００１１】変換関数の形としては、アフィン変換

【００１２】

【数４】

【００１３】を用いた例（中屋他、「３角形パッチに基
づく動き補償の基礎検討」、電子情報通信学会技術報
告、IE90-106、平2-03参照）、共１次変換

【００１４】

【数５】

【００１５】を用いた例（ G. J. Sullivan and R. L.
Baker, "Motion compensation for video compression
using control grid interpolation", Proc. ICASSP '9
1 , M9.1, pp.2713-2716,1991-05）、透視変換

【００１６】

【数６】

【００１７】を用いた例（V.Seferdis and M.Ghanbari,
"General approach to block-matching motion estim
ation'', Optical Engineering, vol. 32, no. 7, pp.
1464-1474, 1993-07）などが報告されている。ここでａ
ij、ｂij、ｃijはパッチごとに推定される動きパラメー
タである。符号化装置で得られる予測画像と同じものを
受信側で得るためには、画像符号化装置は何らかの形で
パッチごとに変換関数の動きパラメータが特定できる情
報を、動き情報として受信側に伝送すればよい。例え
ば、変換関数にアフィン変換を用い、パッチの形状が３
角形であるとする。この場合は、６個の動きパラメータ
を直接伝送しても、パッチの３個の頂点の動きベクトル
を伝送しても、受信側で６個の動きパラメータを再生す
ることができる（共１次変換、透視変換を用いた場合に
は４角形のパッチを採用すれば同様の処理が可能であ
る）。以下では、変換関数にアフィン変換を用いた場合
に関して説明するが、この説明は他の変換を用いた場合
についても、ほぼそのまま適用することができる。

【００１８】空間変換に基づく動き補償には様々なバリ
エーションを考えることができるが、本明細書では、パ
ッチの境界において動きベクトルが連続的に変化するよ
うに制約されている場合を扱う。この方式の例を図１に
示す。この例では、参照画像１０１を用いて現フレーム
の原画像１０２の予測画像が合成される。このために、
まず現フレームは複数の多角形のパッチに分割され、パ
ッチ分割された画像１０８となる。パッチの頂点は代表
点とよばれ、各代表点は複数のパッチに共有される。例
えば、パッチ１０９は、代表点１１０、１１１、１１２
から構成され、これらの代表点は他のパッチの頂点を兼
ねている。こうして画像を複数のパッチに分割した後
に、各代表点に対して動き推定が行なわれる。これは具
体的には現フレームの原画像の各代表点に対し、参照画
像において対応している点を求めることにより実行され
る。つまり、代表点の移動があれば参照画像の代表点は
現フレームの原画像の代表点と異なった場所に位置する
ことになる。この結果、動き推定後の参照画像１０３で
各パッチは変形されたものとなる。例えば、パッチ１０
９は、変形されたパッチ１０４に対応している。これ
は、動き推定の結果、代表点１０５、１０６、１０７が
それぞれ１１０、１１１、１１２に移動したと推定され
たためである。予測画像はパッチ内の各画素に関して変
換関数を計算し、数４にしたがって参照画像の中から対
応する点の輝度値を求めることにより合成される。これ
は、３個の頂点の動きベクトルから数４の６個の動きパ
ラメータを計算し、画素ごとに数４を計算することによ
り実現される。

【００１９】空間変換に基づく動き補償においてもブロ
ックマッチングと同様に、マッチングに基づく動き推定
が有効であることが指摘されている。マッチングに基づ
く動き補償のアルゴリズムの一例を以下に示す。この方
式は６角マッチングとよばれ、パッチの境界で動きベク
トルが連続的に変化する場合に有効である。この方式
は、以下の２つの処理により構成されている。

【００２０】（１）ブロックマッチングによる代表点の
大まかな動き推定 （２） 修正アルゴリズムによる動きベクトルの修正 （１）の処理では、代表点を含むブロック（大きさは任
意）に対してブロックマッチングを適用し、このブロッ
クの動きベクトルを代表点の大まかな動きベクトルとす
る。（２）の修正アルゴリズムは（１）で求めた動きベ
クトルを、さらに良い予測特性を得るために修正するこ
とを目的に実行される。この処理では代表点の動きベク
トルを少しずつ変化させることによって、参照画像のパ
ッチを変形させる。こうして動きベクトルを変化させる
度に予測誤差を計算し、その結果予測誤差を最も小さく
した動きベクトルを新たに採用する。（２）の処理は予
測誤差を減少させる効果があるが、その一方で膨大な演
算量を要するためにハードウェア化の障害となる欠点を
持っている。

【００２１】

【発明が解決しようとする課題】空間変換に基づく動き
補償においてマッチングに基づく動き推定を行なう場
合、演算量が膨大となる問題が発生する。本発明の目的
は、処理を簡略化することにより演算量が少なく、かつ
予測特性の劣化を最小限に止めた動き推定方式を提供す
ることにある。

【００２２】

【課題を解決するための手段】代表点の動き推定を、代
表点を含むブロックを用いたブロックマッチングのみに
よって実現する。このとき、ブロックマッチングにおい
て画素ごとの輝度値の予測誤差に重み付け係数を掛けた
評価値を用いる。

【００２３】

【作用】代表点を含むブロックを用いたブロックマッチ
ングのみによって動き推定を行うことにより、動き推定
の処理量を大幅に減らすことができる。空間変換に基づ
く動き補償においては、代表点の動きベクトルの画素に
対する影響力は、画素と代表点の距離が大きくなるほど
小さくなる。この影響力に応じて誤差評価の重み付け係
数を変化させれば、より正確に代表点の動きベクトルを
求めることができる。

【００２４】

【実施例】空間変換に基づく動き補償は別の見方をすれ
ば、画素の動きベクトルが近隣の数個の代表点の動きベ
クトルを内挿することによって計算される方式と見なす
ことができる。例えば数４は、３角形のパッチの３個の
代表点ＧA、ＧB、ＧCの動きベクトル(ｕa, ｖa)、(ｕb,
ｖb)、(ｕc, ｖc)を用いて

【００２５】

【数７】

【００２６】と書き換えることができる。ここで、ｐi
(ｘ, ｙ)、ｑi (ｘ, ｙ)、ｒ i(ｘ,ｙ)はｘとｙのみに
よって値が決まる関数で、(ｘ, ｙ)に位置する画素にお
ける代表点の動きベクトルの重み付け係数を表してい
る。係数の値が大きいほど、その画素における代表点の
影響力が大きいことになる。数５も同様に４個の代表点
の動きベクトルを用いて数７と同じ線形形式に書き換え
ることができる。一方、数６の場合は動きベクトルの重
み付け係数が画素の座標と代表点の動きベクトルの関数
となってしまうため、線形形式に書き換えることはでき
ない。変換関数にアフィン変換を用い、図２に示すパッ
チ形状を採用した場合の代表点２０１の動きベクトルの
重み付け係数は図３のグラフのようになる。これはすな
わち代表点２０１をＧAとして、代表点に関与する６個
のパッチ（図２の２０２〜２０７）に関して数７のｐi
(ｘ, ｙ)を示したものである。このグラフで、重み付け
係数は図２の代表点２０１の位置３０１において最大値
１をとる。なお、図２の代表点２０８〜２１３は図３に
おいてそれぞれ位置３０２〜３０７に対応している。

【００２７】次に代表点の動きベクトルを、その代表点
を含むブロックによるブロックマッチングで推定するこ
とを考える。「従来の技術」で述べた通り、通常のブロ
ックマッチングでは正方形または長方形のブロックに対
して数２に基づく誤差評価を行うことによって動き推定
が行われる。しかし、空間変換に基づく動き補償では画
素に対する代表点の影響力は図３に示したように一定で
はないため、誤差の評価においてブロック内の画素すべ
てを同等に扱うことは良い結果にはつながらない。そこ
で、予測誤差に重み付け係数を掛けるブロックマッチン
グ（特開平３ー２６６５８０）を導入する。予測誤差に
重み付け係数を掛けるブロックマッチングは、ブロック
マッチングに基づく動き補償（数１）において、ブロッ
クの端にわずかにかかる物体の影響を排除するために考
案された方式である。この考え方を応用し、空間変換に
基づく動き補償における代表点の動きベクトルの重み付
け係数に対応して、予測誤差の重み付け係数を変化させ
れば動き推定をより正確に行うことができる。

【００２８】図４に、空間変換に基づく動き補償の代表
点の動き推定方式として、予測誤差に重み付け係数を掛
けるブロックマッチングを採用した画像符号化装置の一
部分の構成例を示す。動き推定部４０１の入力として、
現フレームの原画像４０２と参照画像４０４が与えられ
る。これらはそれぞれフレームメモリ４０３と４０５に
蓄えられる。予測誤差に重み付け係数を掛けるブロック
マッチングの処理部４０６は、これらのフレームメモリ
をアクセスしながら動き推定を行い、推定結果として代
表点の動きベクトル４１５を出力する。この動きベクト
ルは受信側に伝送されるが、符号化装置内でも予測画像
合成回路４０９において参照画像４０８を用いて予測画
像を合成する際にに活用される。合成された予測画像４
１０と現フレームの原画像４０７との差は減算器４１１
で求められ、予測誤差４１２として、予測誤差符号化器
４１３で符号化され、予測誤差情報４１４として伝送さ
れる。

【００２９】図５に予測誤差に重み付け係数を掛けるブ
ロックマッチングの処理部４０６の構成を示す。図４と
同じ参照番号は同じものをさしている。動きベクトル発
生器５０１は、探索範囲内で代表点の動きベクトル５１
２を発生する。この信号に基づきアドレス信号発生器５
０２は現フレームの原画像を蓄えたフレームメモリ４０
３、参照画像を蓄えたフレームメモリ４０５、重み付け
係数テーブル５０３に対するアドレス信号を生成する。
このアドレス信号に基づいて現フレームの原画像の画素
の輝度値５０４と、参照画像において動きベクトルの分
だけずれた位置にある画素の輝度値５０５が差分絶対値
演算器５０６に入力される。この演算結果に対して乗算
器５０７において重み付け係数テーブルが出力した重み
付け係数５１１が積算され、その結果である重み付け予
測誤差５０８は積分器５０９に入力される。この積分器
はブロック内の画素すべての重み付け予測誤差を積分
し、動きベクトル５１２に対応する予測誤差の評価値５
１３を誤差評価器５１０に供給する。誤差評価器は動き
ベクトルごとの予測誤差の評価値を比較し、最小の評価
値に対応する動きベクトルを推定結果４１５として出力
する。

【００３０】予測誤差の重み付け係数は、代表点の動き
ベクトルの重み付け係数が大きい画素ほど大きくするこ
とが望ましい。これを実現する一つの方法として、予測
誤差の重み付け係数を代表点の動きベクトルの重み付け
係数の定数倍とする方法が考えられる。また、Ｔ(ｓ)を
単調増加関数（ｓ'＞ｓ''であるときに、Ｔ(ｓ')≧T
(ｓ'')となる関数）、ｚとｓをそれぞれ予測誤差と代表
点の動きベクトルの重み付け係数として、ｚ＝Ｔ(ｓ)と
する方法もある。たとえばｓが一定値以上である場合の
みＴ(ｓ)＝１でそれ以外のときはＴ(ｓ)＝０となるよう
なステップ関数も単調増加関数として含まれることにな
る。

【００３１】予測誤差に重み付け係数を掛けることは、
ブロックマッチングにおいて積算処理が必要となること
を意味し、装置の回路規模を複雑にする結果を招いてし
まう。このような重み付け処理を行わずに予測特性を向
上させる方法として、６角形のブロックを採用する方法
が考えられる。６角形は円に近い形状であるため、中心
に代表点を据えれば、代表点から一定距離内にある画素
のみをブロック内に含めた状態に近づけることができる
（一般的に代表点に近い画素は動きベクトルの重み付け
係数が大きいために、この状態は好ましい）。しかも６
角形は重なり合いなしに平面を覆うことができるため、
現フレームの原画像においてすべての画素がどれか一つ
のブロック（この場合のブロックとは、代表点を１個含
むブロックのことをさす）に所属する状態をつくること
ができる。これは、すべての画素を用いるという点で予
測特性の観点から、そして同じ画素を複数回使わないと
いう点で回路構成の簡略化の観点から有利である。

【００３２】

【発明の効果】本発明により、画素の動きベクトルが近
隣の複数の代表点の動きベクトルからの内挿により表さ
れる動き補償方式において、動き推定処理の演算量を低
減することができる。

【図面の簡単な説明】

【図１】空間変換に基づく動き補償の処理の例を示した
図である。

【図２】空間変換に基づく動き補償で３角形のパッチを
採用した場合のパッチ構造の一例を示した図である。

【図３】空間変換に基づく動き補償において、変換関数
としてアフィン変換を採用した場合の代表点の動きベク
トルの重み付け係数の状態を示した図である。

【図４】空間変換に基づく動き補償の代表点の動き推定
方式として、予測誤差に重み付け係数を掛けるブロック
マッチングを採用した画像符号化装置の一部分の構成例
を示した図である。

【図５】予測誤差に重み付け係数を掛けるブロックマッ
チングの処理部の構成例を示した図である。

【符号の説明】

１０１…参照画像、１０２…現フレームの原画像、１０
３…動き推定後の参照画像のパッチと代表点、１０４、
１０９、２０２〜２０７…パッチ、１０５〜１０７、１
１０〜１１２、２０１、２０８〜２１３…代表点、１０
８…現フレームの原画像のパッチと代表点、３０１〜３
０７…代表点の位置、４０１…動き推定部、４０２、４
０７、５０４…現フレームの原画像、４０３、４０５…
フレームメモリ、４０４、４０８、５０５…参照画像、
４０６…予測誤差に重み付け係数を掛けるブロックマッ
チング処理部、４０９…予測画像合成回路、４１０…予
測画像、４１１…減算器、４１２…予測誤差、４１３…
予測誤差符号化器、４１４…予測誤差情報、４１５…代
表点の動きベクトル情報、５０１…動きベクトル発生
器、５０２…アドレス信号発生器、５０３…重み付け係
数テーブル、５０６…差分絶対値減算器、５０７…乗算
器、５０８…重み付け予測誤差、５０９…積分器、５１
０…誤差評価器、５１１…予測誤差の重み付け係数、５
１２…動きベクトル、５１３…ブロックの予測誤差の評
価値。

Claims (5)

【特許請求の範囲】
1. 【請求項１】画素の動きベクトルが、近隣の複数の代表
   点の動きベクトルからの内挿により表される動き補償を
   実行する手段と、上記代表点を含むブロックに対して画
   素ごとの輝度値の予測誤差に重み付け係数を掛けた評価
   値を用いたブロックマッチングを実行することにより代
   表点の動きベクトルを推定する手段とを具備することを
   特徴とする画像符号化装置。
2. 【請求項２】画素の動きベクトルが、近隣の複数の代表
   点の動きベクトルに重み付け係数を掛けた線形結合で表
   される動き補償を実行する手段と、上記代表点を含むブ
   ロックに対して画素ごとの輝度値の予測誤差に重み付け
   係数を掛けた評価値を用いたブロックマッチングを実行
   することにより代表点の動きベクトルを推定する手段と
   を具備することを特徴とする画像符号化装置。
3. 【請求項３】ブロックマッチングにおける予測誤差の評
   価のための重み付け係数が、各画素における上記代表点
   の動きベクトルの重み付け係数の定数倍におおよそ一致
   することを特徴とする請求項１または２に記載の画像符
   号化装置。
4. 【請求項４】ブロックマッチングにおける予測誤差の評
   価のための重み付け係数が０より大きい値をとる範囲が
   ブロックごとに６角形をなすことを特徴とする請求項１
   または２または３に記載の画像符号化装置
5. 【請求項５】画素の動きベクトルが、近隣の複数の代表
   点の動きベクトルからの内挿により表される動き補償を
   実行する手段と、上記代表点を含む６角形のブロックに
   対してブロックマッチングを実行することにより代表点
   の動きベクトルを推定する手段とを具備することを特徴
   とする画像符号化装置。