JP2888152B2

JP2888152B2 - ワーピング動き補償を用いた動画像符号化装置

Info

Publication number: JP2888152B2
Application number: JP6303709A
Authority: JP
Inventors: 義弘宮本
Original assignee: Nippon Electric Co Ltd
Current assignee: NEC Corp
Priority date: 1994-12-07
Filing date: 1994-12-07
Publication date: 1999-05-10
Anticipated expiration: 2014-05-10
Also published as: JPH08163572A

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は動画像の符号化処理に関
するものであり、特にワーピング動き補償を用いた動画
像符号化装置に関する。

【０００２】

【従来の技術】動画像の符号化に際しては、動き補償フ
レーム間予測処理を用いることが多い。近年ではこの処
理をワーピング動き補償により実現することが提案され
ている。この技術に関しては、サリバンとベーカー
（Ｇ．Ｊ．ＳｕｌｌｉｖａｎａｎｄＲ．Ｌ．Ｂａｋ
ｅｒ，“Ｍｏｔｉｏｎｃｏｍｐｅｎｓａｔｉｏｎｆ
ｏｒｖｉｄｅｏｃｏｍｐｒｅｓｓｉｏｎｕｓｉｎｇ
ｃｏｎｔｒｏｌｇｒｉｄｉｎｔｅｒｐｏｌａｔｉ
ｏｎ，”ｉｎＰｒｏｃ．ＩＥＥＥＩｎｔ．Ｃｏｎ
ｆ．Ａｃｏｕｓｔｉｃｓ，Ｓｐｅｅｃｈ，ａｎｄＳ
ｉｇｎａｌＰｒｏｃｅｓｓｉｎｇ，Ｔｏｒｏｎｔｏ
Ｃａｎａｄａ，ｐｐ．２７１３−２７１６，Ｍａｙ１
９９１．）による報告や、中屋と原島（“３角形パッチ
による動き補償の基礎検討，”電子情報通信学会技術研
究報告ＩＥ９０−１０６，１９９０年）による報告が知
られている。

【０００３】図１０を用いてこのワーピング動き補償の
動作を説明する。図１０の画像は静止した背景と、変形
している前面の被写体で構成される。まず画像上に正方
格子を描き、その格子点をワーピング代表点とする。な
お、正方格子に限らず、３角格子など予め定めた任意の
格子を用いてもよい。いずれの場合も画像の被写体構造
に関係なく代表点位置を定めている。フレーム間での動
きベクトルはこの代表点上で検出し、復号側に符号化伝
送する。代表点以外の画素の動きベクトルは、注目画素
の近くの複数の代表点を参照した内挿計算で求める。動
き補償フレーム間予測は画素単位で行う。以上に説明し
たワーピング動き補償を用いれば、画素間で連続的に動
きが変化する場合にも良好なフレーム間予測を実現する
ことができる。特に被写体形状が変形する場合や、被写
体が拡大縮小などする場合に有効である。

【０００４】またワーピング代表点の一部を画像のエッ
ジ部分に移動し、画像全体でワーピング動き補償する方
法が、ニーウェロゥスキー等（Ｊ．Ｎｉｅｗｅｇｌｏｗ
ｓｋｉ，Ｔ．Ｇ．Ｃａｍｐｂｅｌｌ，ａｎｄＰ．Ｈａ
ａｖｉｓｔｏ，“Ａｎｏｖｅｌｖｉｄｅｏｃｏｄ
ｉｎｇｓｃｈｅｍｅｂａｓｅｄｏｎｔｅｍｐｏ
ｒａｌｐｒｅｄｉｃｔｉｏｎｕｓｉｎｇｄｉｇｉ
ｔａｌｉｍａｇｅｗａｒｐｉｎｇ，”ｐｒｅｓｅｎｔ
ｅｄａｔＩＥＥＥＩｎｔｅｒｎａｔｉｏｎａｌ
ＣｏｎｆｅｒｅｎｃｅｏｎＣｏｎｓｕｍｅｒＥｌ
ｅｃｔｒｏｎｉｃｓ，Ｃｈｉｃａｇｏ，ＵＳＡ，Ｊｕｎ
ｅ８−１０，１９９３）により報告されている。この
方法を用いれば被写体のエッジ部分での動きをより正確
に処理することができる。

【０００５】

【発明が解決しようとする課題】従来のワーピング動き
補償を用いたフレーム間予測では、画像内の全てのワー
ピング代表点を区別せず、画素毎に同一の内挿処理で動
きベクトルを求めている。すなわち、実際には動きが不
連続に変化している部分でも動きの異なる複数のワーピ
ング代表点を参照して内挿処理を行う。このため動き補
償フレーム間予測の時に、被写体の境界付近が不自然に
変形することがあった。例えば図１０においては背景の
画像部分は静止している。しかし領域境界の近くでは前
面の被写体の動きに引き込まれ、図の格子線の変形に従
った歪みを生じる。更にこのような歪みの影響で予測誤
差が大量に発生し、符号化効率も損なわれることがあっ
た。

【０００６】本発明の目的は、画像の被写体構造を考慮
したワーピング動き補償を行うことで、動きが不連続に
変化している画像部分でも優れた符号化効率を持った符
号化装置を実現することにある。

【０００７】

【課題を解決するための手段】第１の発明のワーピング
動き補償を用いた動画像符号化装置は、ワーピング動き
補償を用いた動画像符号化装置において、画像を動きの
異なる被写体別に領域分割する手段と、前記分割した領
域の形状に従い、領域それぞれの内部と境界線上とにワ
ーピング代表点を設定する手段と、前記ワーピング代表
点で検出した動きベクトルと、前記ワーピング代表点が
いずれの領域に属するかを示す属性情報とを用い、領域
別に独立したワーピング動き補償を行う手段と、少なく
とも、前記動きベクトルと前記ワーピング代表点の位置
と前記属性情報とを符号化する手段とを備えることを特
徴とする。

【０００８】第２の発明のワーピング動き補償を用いた
動画像符号化装置は、第１の発明において、ワーピング
代表点の位置を設定する手段が、ワーピング代表点で検
出された動きベクトルを用い、ワーピング代表点の位置
をフレーム間で逐次更新できることを特徴とする。

【０００９】第３の発明のワーピング動き補償を用いた
動画像符号化装置は、第２の発明において、ワーピング
代表点の位置を設定する手段が、ワーピング代表点で検
出された動きベクトルを用いてワーピング代表点の位置
を更新した後に、ワーピング代表点の配置と現在の領域
形状とが大きく異なる場合には、領域形状に従って一部
のワーピング代表点の位置を再設定し、前記再設定に関
するデータを符号化できることを特徴とする。

【００１０】第４の発明のワーピング動き補償を用いた
動画像符号化装置は、第２の発明において、ワーピング
代表点の位置を設定する手段が、ワーピング代表点で検
出された動きベクトルを用いてワーピング代表点の位置
を更新した後に、隣接するワーピング代表点間の距離が
予め定めた近接しきい値よりも小さいか、あるいは予め
定めた遠隔しきい値よりも大きい場合には、前記複数の
ワーピング代表点の位置を再設定できることを特徴とす
る。

【００１１】

【実施例】本発明では動画像の被写体構造を解析して動
きの異なる被写体別に領域分割し、領域毎に別々にワー
ピング動き補償を行う。このときワーピング代表点を分
割した領域それぞれの内部と境界線上に設定する。フレ
ーム間での動きはワーピング代表点で検出し、検出した
動きベクトルを復号側に符号化伝送する。またワーピン
グ代表点に関し、復号側で代表点の位置を再現するため
のデータと、各代表点がいずれの領域に属するかを示す
データとを符号化する。領域毎のワーピング動き補償に
際しては、注目領域に属するワーピング代表点のデータ
から画素毎の動きベクトルを内挿計算で求めて動き補償
を行う。

【００１２】第１の発明の動画像符号化装置における領
域別のワーピング動き補償の動作を図１の例を用いて説
明する。図１では画像が動きの異なる３つの領域に分割
された場合を示している。また重なり合う領域同士につ
いてはいずれの領域がより前面にあるかも予め検出して
あるものとする。領域分割の方法にはどのような方法を
用いても良い。第１の発明におけるワーピング動き補償
では、まずワーピング代表点の位置と属性とを設定す
る。例えば、画像全体に予め定めた形状の格子を描き、
格子点をワーピング代表点の初期位置とする。そして領
域境界線の近傍の代表点を境界線上に移動する。このと
き初期位置の近傍に領域境界線の特徴点が有る場合に
は、代表点をこの特徴点の位置に移動する。このように
代表点位置を設定すれば、代表点同士を直線あるいは適
当な曲線で繋ぎ合わせることで被写体領域の境界線を再
現できる。図１に示すように各領域の内部にある代表点
は該領域に属するものとする。境界線上にある代表点
は、該代表点に隣接する領域の中で最も前面にある領域
に属するものと定める。ワーピング代表点の位置と属性
が定まったら、代表点上でフレーム間での動きベクトル
を検出する。動きベクトルの検出には輝度勾配法やブロ
ックマッチング法などの任意の方法を用いてよい。最後
に、画素毎の動きベクトルを計算で求めて画素単位で動
き補償を行う。画素毎の動きベクトルは注目画素に隣接
した複数のワーピング代表点を参照した内挿計算で求め
る。内挿計算には注目画素と参照代表点との距離に逆比
例した線形内挿や、アフィン変換など任意の方法を用い
てよい。但し、この内挿計算では注目画素と同じ領域に
属するワーピング代表点のみしか参照しない。ある画素
がいずれの領域に属するかは次のような処理で判定でき
る。図２を用いてこの原理を説明する。図２ではワーピ
ング代表点は３角格子の格子点として設定している。注
目画素が属する３角形において、３つの頂点位置のワー
ピング代表点がいずれも同じ領域に属するならば、注目
画素もこれらの代表点と同じ領域に属すると判定する。
３つの頂点位置のワーピング代表点の中に異なる領域に
属するものが有る場合には、注目画素は前記領域中で最
も背後の領域に属すると判定する。以上に説明した一連
の処理を行えば、第１の発明におけるワーピング動き補
償を実現できる。

【００１３】第１の発明におけるワーピング動き補償
は、ワーピング代表点を前フレームの復号画像の上に設
定して動き補償を行う方法と、ワーピング代表点を現フ
レームの入力画像の上に設定して動き補償を行う方法と
の両方に適用できる。ワーピング代表点を前フレームの
復号画像の上に設定して動き補償を行う場合には、予測
画像のある画素に対して復号画像の複数の画素から予測
データが与えられることがある。この場合には前記複数
の予測データを平均して注目画素の予測値とすればよ
い。但し、復号画像上の複数の異なる領域の画素から予
測データが与えられた場合には、前記複数の領域の中で
最も前面の領域から与えられた予測データのみを参照し
て予測値を計算する。また逆に動き補償により予測デー
タを与えられない画素が生じることもある。この場合に
は注目画素に隣接する画素の予測データから内挿計算あ
るいは外挿計算して予測値を求めれば良い。あるいは予
め定めた固定値を予測値としてもよい。

【００１４】第１の発明の動画像符号化装置を備えた動
画像符号化装置の一実施例のブロック図を図３に示す。
この動画像符号化装置は符号化部と復号部とから構成さ
れる。符号化部ではまず領域分割回路（３００）におい
て、入力画像（３２１）を参照して前フレームの復号画
像（３２２）を領域分割する。次に代表点設定回路（３
０１）において前フレームの復号画像上にワーピング代
表点を設定する。このときワーピング代表点を前記分割
した領域それぞれの内部と境界線上に設定する。動き検
出回路（３０２）では前記設定した代表点上で入力画像
（３２１）と前フレームの復号画像（３２２）とのフレ
ーム間での動きを検出する。動き補償予測回路（３０
３）では代表点での動きベクトルを参照し、領域別に画
素毎の動きベクトルを内挿計算で求め、画素単位で動き
補償を行う。画素毎の動き補償フレーム間予測データ
（３２７）と入力画像データ（３２１）との差分は量子
化し、符号変換回路（３０９）で符号変換する。またこ
こで前記差分結果のデータに離散コサイン変換などの変
換符号化処理を施した後に量子化を行ってもよい。ワー
ピング代表点の位置および属性のデータ（３２４）と動
きベクトルの値（３２６）も符号変換する。量子化した
データ（３２８）は逆量子化し、予測データ（３２７）
に加算して局部復号画像を得る。なお前記量子化に先だ
って変換符号化処理を施した場合には、前記逆量子化デ
ータに逆変換符号化処理を施してから予測データ（３２
７）に加算する。局部復号画像は復号画像メモリ（３０
８）に保持し、次フレームの符号化に際し、参照データ
として出力する。

【００１５】復号部ではまず逆符号変換回路（３１０）
において、符号化部から供給された符号化データ（３２
９）を逆符号変換し、画素毎の量子化データ（３３０）
とワーピング代表点での動きベクトルの値（３３１）と
各代表点の位置および属性のデータ（３３３）を復元す
る。復元したデータを用いて符号化側と同様の領域別の
ワーピング動き補償を行い予測データ（３３５）を得
る。量子化データ（３３０）は逆量子化し、予測データ
（３３５）に加算して復号画像（３３６）を得る。なお
ここでも符号化側と同様に、符号化側で量子化に先だっ
て変換符号化処理を施した場合には、前記逆量子化した
データに逆変換符号化処理を施してから予測データ（３
３５）に加算する。

【００１６】第２の発明の動画像符号化装置では、ワー
ピング代表点の位置と属性をリセットフレームでのみ符
号化する。以降のフレームでは符号化済みの動きベクト
ルを用いて代表点の位置を更新する。リセットフレーム
は任意のフレーム周期で設定してよい。第２の発明の動
画像符号化装置を備えた動画像符号化復号装置の一実施
例のブロック図を図４に示す。図４の領域分割回路（４
００）は予め定めた周期のリセットフレームでのみ領域
分割を実行する。あるいは毎フレームで領域分割を実行
し、分割結果が急激に変化したフレームをリセットフレ
ームとしてもよい。リセットフレームでは領域分割結果
（４２３）を参照し、代表点設定回路（４０１）におい
てワーピング代表点の位置や属性などのデータ（４２
４）を新たに設定する。この結果は代表点データ（４２
５）として符号変換回路（４０９）で符号化する。リセ
ットフレーム以外のフレームでは、動き検出回路（４０
２）で検出した各代表点での動きベクトル（４２６）を
参照し、代表点設定回路（４０１）において代表点の位
置を更新する。このフレームでは代表点データ（４２
５）を符号化する必要はない。また復号側の代表点更新
回路（４１２）は、リセットフレームでは符号化伝送さ
れた代表点データ（４３２）をそのまま利用して代表点
の位置や属性などを設定する。リセットフレーム以外の
フレームでは、符号化側と同様の動きベクトルの値（４
３１）を参照して代表点の位置を更新する。

【００１７】第３の発明の動画像符号化装置では、動き
ベクトルを用いてワーピング代表点の位置を更新した後
に、ワーピング代表点の配置と現在の領域形状とが大き
く異なる場合には、領域形状に従って一部のワーピング
代表点の位置を再設定する。図５の例を用いてこの再設
定の原理を説明する。図５に示すように動きベクトルを
用いて更新した代表点の位置と、現在の領域境界線の位
置が大きく異なる場合には、適当な代表点を領域境界線
上に移動して再設定を行う。この一連の処理の手順の例
を図７に示す。図７に示す処理においては、まず注目す
るワーピング代表点の位置と領域境界線との距離を測定
する。その距離の値が予め定めたしきい値Ｔｈよりも大
きい場合には、注目しているワーピング代表点を領域境
界線上に移動する。移動したワーピング代表点の属性は
領域境界線の属性、すなわち境界線の両側でより前面に
ある被写体領域のものに設定する。この処理を画像上の
全てのワーピング代表点に対して行い、一連の処理を終
了する。更に代表点位置の近傍に境界線の特徴点がある
場合には、該代表点をこの特徴点に移動してもよい。動
きベクトルを用いて更新した位置と前記再設定後の代表
点の位置との変化量は、該代表点の代表点データとして
符号化する。また図５に示すように前記再設定に伴い代
表点の属性が変化した場合には、この属性の変化量も該
代表点の代表点データとして符号化する。第３の発明の
動画像符号化装置を備えた動画像符号化復号装置は、第
２の発明の動画像符号化装置と同様に図４の実施例のブ
ロック図で示すことができる。第３の発明の実施例は、
リセットフレームにおいては第２の発明の動画像符号化
装置と同様の動作をする。リセットフレーム以外のフレ
ームでは次に説明する動作をする。領域分割回路（４０
０）は毎フレームで領域分割を実行する。代表点設定回
路（４０１）は、動きベクトル（４２６）を参照してワ
ーピング代表点の位置を更新する。更に領域分割結果を
参照し、前記更新したワーピング代表点の位置や属性な
どを必要に応じて再設定する。ワーピング代表点の位置
や属性などを再設定した場合には、その変化量を代表点
データ（４２５）として符号変換回路（４０９）で符号
化する。復号側の代表点更新回路（４１２）では、符号
化伝送された動きベクトル（４３１）と代表点データ
（４３２）とを参照し、ワーピング代表点の位置と属性
とを更新する。

【００１８】第４の発明の動画像符号化装置では、動き
ベクトルを用いてワーピング代表点の位置を更新した後
に、隣接するワーピング代表点間の距離が予め定めた近
接しきい値よりも小さくなったり、あるいは予め定めた
遠隔しきい値よりも大きくなった場合には、前記複数の
代表点の位置を予め定めた処理に従い再設定する。図６
の例を用いてこの再設定の原理を説明する。図６では２
つの被写体領域に跨る画像部分でワーピング代表点の位
置を更新した後に、一方の領域の代表点が他方の領域の
代表点に近接した場合を示している。このように、複数
のワーピング代表点間の距離が予め定めた近接しきい値
よりも小さい場合には、より前面の被写体領域に属する
ワーピング代表点の１つだけを選択し、再設定後の代表
点の位置とする。また互いに近接し合った代表点が同じ
領域に属する場合には予め定めた任意の処理に従い１つ
の代表点を選択する。代表点の属性は選択した代表点の
ものをそのまま引き継ぐ。選択されなかった代表点のデ
ータは廃棄して以降用いない。この一連の処理の手順の
例を図８に示す。図８に示す処理においては、まず注目
するワーピング代表点の位置とこれに最も近いワーピン
グ代表点の位置との距離を測定する。その距離の値が予
め定めたしきい値Ｔｈｎよりも小さい場合には、前記２
つの代表点を統合の候補とする。統合の候補となった２
つの代表点が同じ被写体領域に属する場合には、注目し
ている代表点を選択し、他方の代表点を廃棄する。また
統合の候補となった２つの代表点が異なる領域に属し、
且つ注目している代表点の方がより前面の領域に属する
場合には、注目している代表点を選択し、他方の代表点
を廃棄する。以上の処理を画像上の全てのワーピング代
表点に対して行い、一連の処理を終了する。また図６に
示す例においては、フレーム間での動きに伴い代表点の
存在しない空領域が発生した場合や、隣接する複数のワ
ーピング代表点の間隔が予め定めた遠隔しきい値よりも
離れた場合にも再設定を行う。再設定の方法は、予め定
めた処理であればどのような方法でも良い。新しい代表
点の属性は隣接する代表点の属性と同じものとする。但
し、隣接する複数の代表点の属性が同一で無い場合に
は、前記代表点の中で最も背後の領域に属する代表点を
選択し、新しい代表点の属性とする。この一連の処理の
手順の例を図９に示す。図９に示す処理においては、ま
ず注目するワーピング代表点の位置とこれに隣接する複
数のワーピング代表点の位置との距離を各々測定する。
その距離の値の全てが予め定めたしきい値Ｔｈｆよりも
大きい場合には、注目している代表点と前記複数の代表
点との重心位置に新しい代表点を設定する。新しい代表
点の属性は前記方法で設定する。あるいは画面上に予め
定めた形状の格子を描き、ある格子の枠の中にワーピン
グ代表点が一つも存在しない場合には、この格子の中心
に新たなワーピング代表点を設定してもよい。この場合
にも新しいワーピング代表点の属性は前記と同様の手順
で設定する。図６、図７、図８を用いて前記説明したワ
ーピング代表点の再設定の処理は、復号側においても予
め定めた処理に従い実現することができる。このとき再
設定に関するデータは符号化伝送する必要はない。第４
の発明の動画像符号化装置を備えた動画像符号化復号装
置は、第２の発明の動画像符号化装置と同様の図４の一
実施例のブロック図で示すことができる。第４の発明の
実施例は、リセットフレームでは第２の発明の動画像符
号化装置と同様の動作をする。リセットフレーム以外の
フレームでは符号化側の代表点設定回路（４０１）と復
号側の代表点更新回路（４１２）において、前記説明し
たワーピング代表点の再設定の処理を行う。

【００１９】

【発明の効果】以上説明したように本発明では、動きの
異なる被写体領域毎に別々にワーピング動き補償を行
う。このため従来はワーピング処理に伴い領域境界線付
近で発生していた変形歪みを抑制できる。また画素単位
でより正確な動き補償が行われるため、フレーム間予測
効率の改善も実現できる。

【図面の簡単な説明】

【図１】本発明に従うワーピング動き補償の概念を説明
する図である。

【図２】本発明に従うワーピング動き補償の概念を説明
する図である。

【図３】第１の発明の動画像符号化装置の一実施例の基
本ブロック図である。

【図４】第２の発明の動画像符号化装置の一実施例の基
本ブロック図である。

【図５】第３の発明の動画像符号化装置におけるワーピ
ング代表点の更新処理の概念を説明する図である。

【図６】第４の発明の動画像符号化復号装置におけるワ
ーピング代表点の更新処理の概念を説明する図である。

【図７】第３の発明の動画像符号化装置におけるワーピ
ング代表点の更新処理の概念を説明する図である。

【図８】第４の発明の動画像符号化装置におけるワーピ
ング代表点の更新処理の概念を説明する図である。

【図９】第４の発明の動画像符号化装置におけるワーピ
ング代表点の更新処理の概念を説明する図である。

【図１０】従来のワーピング動き補償の原理を説明する
図である。

【符号の説明】

３００，４００領域分割回路３０１，４０１代表点設定回路３０２，４０２動き検出回路３０３，３１３，４０３，４１３動き補償予測回路３０４，４０４差分器３０５，４０５量子化回路３０６，３１１，４０６，４１１逆量子化回路３０７，３１４，４０７，４１４加算器３０８，３１５，４０８，４１５復号画像メモリ３０９，４０９符号変換回路３１０，４１０符号逆変換回路４１２代表点更新回路３２１，４２１入力画像３２２，３３４，４２２，４３４前フレームの復号画
像３２３，４２３領域分割データ３２４，３３３，４２４，４３３代表点の設定データ４２５，４３２代表点の更新データ３２６，３３１，４２６，４３１動きベクトルデータ３２７，３３５，４２７，４３５予測データ３２８，３３０，４２８，４３０量子化データ３２９，４２９符号化データ３３６，４３６復号画像

Claims

(57)【特許請求の範囲】

【請求項１】ワーピング動き補償を用いた動画像符号
化装置において、画像を動きの異なる被写体別に領域分
割する手段と、前記分割した領域の形状に従い、領域そ
れぞれの内部と境界線上とにワーピング代表点を設定す
る手段と、前記ワーピング代表点で検出した動きベクト
ルと、前記ワーピング代表点がいずれの領域に属するか
を示す属性情報とを用い、領域別に独立したワーピング
動き補償を行う手段と、少なくとも、前記動きベクトル
と前記ワーピング代表点の位置と前記属性情報とを符号
化する手段とを備えることを特徴とした動画像符号化装
置。
【請求項２】ワーピング代表点で検出した動きベクトル
を用いてワーピング代表点の位置をフレーム間で逐次更
新する手段を備えることを特徴とした請求項１記載の動
画像符号化装置。
【請求項３】ワーピング代表点で検出した動きベクトル
を用いてワーピング代表点の位置を更新した後に、ワー
ピング代表点の配置と現在の領域形状とが大きく異なる
場合には、領域形状に従って一部のワーピング代表点の
位置を再設定し、前記再設定に関するデータを符号化す
る手段を備えることを特徴とした請求項２記載の動画像
符号化装置。
【請求項４】ワーピング代表点で検出した動きベクトル
を用いてワーピング代表点の位置を更新した後に、隣接
するワーピング代表点間の距離が予め定めた近接しきい
値よりも小さいか、あるいは予め定めた遠隔しきい値よ
りも大きい場合には、前記複数のワーピング代表点の位
置を再設定する手段を備えることを特徴とした請求項２
記載の動画像符号化装置。