JPH07288813A - 動画像の動き補償方法 - Google Patents

Abstract

(57)【要約】 【目的】動きベクトルの内挿を簡易な構成で実現する動
画像符号化装置の動き補償方法を提供する。 【構成】辺の長さがｍとｎである平行四辺形を複数並べ
て画面を覆うように配置し、線分の始点に対する動き付
加点の位置を求めて動き補償を行い、次に動き付加点の
位置の線分内変化率△Ｘを求め、次に既に求めた動き付
加点の位置に前記線分内変化率△Ｘを加算することによ
り、次の画素に対する動き付加点の位置を求め動き補償
を実行する。この処理を繰り返すことにより線分上の画
素の動き補償を実行する。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は動き補償を実行して画像
間の相関を除去する動画像の符号化方法に関し、特に非
常に低い伝送レートの回線において使用して好適な動き
補償方法に関する。

【０００２】

【従来の技術】従来平行四辺形の４頂点で求められた動
きベクトルを平行四辺形内部で内挿する超低ビットレー
トの動画像符号化技術が提案されている（例えば、電子
情報通信学会技術研究報告IE92-117『動画像の極低ビッ
トレート符号化』を参照）。これは、図６のように画像
中に平行四辺形を設定し、平行四辺形の各頂点を変位さ
せ、前フレームと現在のフレームとの間で対応する平行
四辺形間の写像を４頂点の動きベクトルの線形内挿によ
り定め、動き補償を実行することにより、低ビットレー
トであっても予測性能の優れた動き補償を可能にしたも
のである。ここで４つの動きベクトルの線形内挿とは次
のようなものである。

【０００３】

【数１】

【０００４】但し４つの動きベクトルはＶa 、Ｖb 、Ｖ
c 、Ｖd であり図６に示すような位置関係にあり、
（ｐ，ｑ）は平行四辺形における画素の位置に応じて定
まる変数でそれぞれ０から１までの値をとる。

【０００５】

【発明が解決しようとする課題】従来の技術において
は、各平行四辺形ごとに動き予測画像を生成する際に頂
点において指定される動きベクトルに所定の係数を乗算
して合成する処理を行う必要があり、処理時間が多くか
かるという問題があった。また回路として実現する際に
は、乗算回路が必要なため回路規模が大きくなり、消費
電力が増大するという問題があった。特にテレビ電話等
のように、リアルタイムで画像を符号化して伝送しかつ
受信した符号を復号する装置に応用するためには、高速
で高価な演算回路を必要とするという問題があった。

【０００６】

【課題を解決するための手段】本発明は、辺の長さがｍ
とｎである平行四辺形を複数並べて画面を覆うように配
置し、平行四辺形の頂点における動きベクトルを設定
し、これらの動きベクトルを平行四辺形内で内挿する動
画像の動き補償方法において、前記平行四辺形はｍ＋１
個の格子点からなるｎ＋１個の線分により構成され、そ
のうちのｍ個の画素の範囲をｎ個の線分について走査す
るものであり、変数ｊを１からｎまでの整数として、第
ｊ番目の線分の始点に対する動き付加点の位置を求め
て、その位置における前フレームの値を求め、これを前
記始点における現在のフレームの画素値とする処理と、
前記線分上の動き付加点の位置の線分内変化率△Ｘを求
める処理と、変数ｉを２からｍまでの整数として、前記
線分上の第ｉ−１番目の画素に対して既に求めた動き付
加点の位置に前記線分内変化率△Ｘを加算することによ
り、前記線分上の第ｉ番目の画素に対する動き付加点の
位置を求め、その位置における前フレームの値を求め、
これを前記画素における現在のフレームの画素値とする
処理を行う動画像の動き補償方法である。

【０００７】また本発明は、前記第ｊ番目の線分上の動
き付加点の位置の線分内変化率△Ｘを求める処理は、前
記線分の終点に対する動き付加点の位置と始点に対する
動き付加点の位置との差を線分の長さｍで割った値とし
て求める処理である動画像の動き補償方法である。

【０００８】また本発明は、前記第ｊ番目の線分上の動
き付加点の位置の線分内変化率△Ｘを求める処理は、前
記線分の終点における動きベクトルと始点における動き
ベクトルとの差ベクトルを線分の長さｍで割ったベクト
ルに、線分の走査を表すベクトルを加算して求める処理
である動画像の動き補償方法である。

【０００９】また本発明は、辺の長さがｍとｎである平
行四辺形を複数並べて画面を覆うように配置し、平行四
辺形の頂点における動きベクトルを設定し、これらの動
きベクトルを平行四辺形内で内挿する動画像の動き補償
方法において、前記平行四辺形はｍ＋１個の格子点から
なるｎ＋１個の線分により構成され、そのうちのｍ個の
画素の範囲をｎ個の線分について走査するものであり、
第１番目の線分の始点の位置にその画素における動きベ
クトルを加算することにより、始点に対する動き付加点
の位置を求める処理と、第１番目の線分における動き付
加点の位置の線分内変化率△Ｘを求める処理と、線分の
変更に伴う始点に対する動き付加点の位置の線分間変化
率△Ｂを求める処理と、線分の変更に伴う変化率△Ｘの
線分間変化率△ξを求める処理と、変数ｊを１からｎま
での整数として、ｊが２からｎまでの整数のとき、第ｊ
−１番目の線分において既に求めた動き付加点の位置の
線分内変化率△Ｘに前記線分間変化率△ξを加算するこ
とにより、第ｊ番目の線分における動き付加点の位置の
線分内変化率△Ｘを求め、第ｊ−１番目の線分の始点に
対して既に求めた動き付加点の位置に、前記始点に対す
る動き付加点の位置の線分間変化率△Ｂを加算すること
により、第ｊ番目の線分の始点に対する動き付加点の位
置を求める処理と、第ｊ番目の線分の始点に対する動き
付加点の位置における前フレームの値を求め、これを前
記始点における現在のフレームの画素値とする処理と、
変数ｉを２からｍまでの整数として、第ｊ番目の線分上
の第ｉ−１番目の画素に対して既に求めた動き付加点の
位置に前記動き付加点の位置の線分内変化率△Ｘを加算
することにより、前記線分上の第ｉ番目の画素に対する
動き付加点の位置を求め、この位置における前フレーム
の値を求め、これを前記画素における現在のフレームの
画素値とする処理を行う動画像の動き補償方法である。

【００１０】辺の長さがｍとｎである平行四辺形は、正
方形、長方形、一般の平行四辺形のいずれでもよく、こ
れらの頂点において動きベクトルが設定される。動き補
償は平行四辺形を単位に実行するが、隣接する平行四辺
形との重複を避けて走査する。すなわち辺の長さがｍと
ｎである平行四辺形は、ｍ＋１個の画素からなるｎ＋１
個の線分により構成されるが、動き補償を実行する単位
はそのうちのｍ個の画素のｎ個の線分の範囲となる。ま
た画像の端においては画像データが存在しない格子点が
平行四辺形の頂点となるが、この頂点についても動きベ
クトルが探索され、もし動きがあれば伝送される。この
ため本発明においてはこの格子点も含めて画素と呼ぶこ
とがあるが、この頂点については点の位置の計算に利用
するだけであるから実際に画像データを記憶する必要は
ない。

【００１１】ある画素に対する動き付加点とは、現在の
フレームにおけるある画素に対応する前フレームの点の
ことである。これは平行四辺形の頂点において設定され
る動きベクトルを、各画素について内挿して求められる
動きベクトルをその画素の位置に加算した点である。つ
まり前フレームの時刻において動き付加点の位置にあっ
た画素値が現在のフレームの時刻においてはその画素の
位置に移動したことに相当する。

【００１２】動き付加点の位置の線分内変化率△Ｘと
は、ある線分上の画素の走査に伴って動き付加点の位置
がどのくらいずつ変化するのかを表すベクトルである。
これは走査を行う線分ごとに定まり、第ｊ線分の終点に
対する動き付加点Ｅj と始点に対する動き付加点Ｂj と
の位置の差を辺の長さｍで割ったベクトルとして定義さ
れる。これはまた第ｊ線分の終点に対する動きベクトル
と始点に対する動きベクトルとの差を辺の長さｍで割っ
たベクトルに線分の走査を表すベクトルを加算すること
によっても求めることができる。ここで線分の走査を表
すベクトルとは線分上の隣接する画素の位置の差を表す
ベクトルである。

【００１３】始点に対する動き付加点の位置の線分間変
化率△Ｂとは、ある線分の始点と次の線分の始点とにお
いて、線分の変更に伴ってそれぞれの動き付加点の位置
がどれだけ変化するのかを表すベクトルである。これは
第ｎ＋１番目の線分の始点に対する動き付加点Ｂn+1 と
第１番目の線分の始点に対する動き付加点Ｂ1 との差を
辺の長さｎで割ったベクトルとして定義される。これは
また、第ｎ＋１番目の線分の始点に対する動きベクトル
と第１番目の線分の始点に対する動きベクトルとの差を
辺の長さｎで割ったベクトルに線分の変更を表すベクト
ルを加算することにより求めることもできる。ここで線
分の変更を表すベクトルとは隣接する線分の対応する画
素の位置の差を表すベクトルである。

【００１４】変化率△Ｘの線分間変化率△ξとは、ある
線分の線分内変化率△Ｘと次の線分の線分内変化率△Ｘ
とにおいて、線分の変更に伴ってどれだけ変化するのか
を表すベクトルであり、これはブロック内で一定であ
る。これは第ｎ＋１番目の線分における動き付加点の線
分内変化率△Ｘと第１番目の線分における動き付加点の
線分内変化率△Ｘとの差を辺の長さｎで割ったベクトル
として定義される。これはまた、第１番目の線分の始点
に対する動き付加点Ｂ1 と、その終点に対する動き付加
点Ｅ1 と、第ｎ＋１番目の線分の始点に対する動き付加
点Ｂn+1 と、その終点に対する動き付加点Ｅn+1 とを用
いて次のように求めることができる。すなわち、Ｅn+1
からＢn+1 を減算し、さらにＥ1 を減算し、さらにＢ1
を加算した結果を辺の長さの積ｍｎで割ったベクトルが
△ξである。

【００１５】

【数２】

【００１６】あるいはまた第ｊ線分の第ｉ画素Ｐ(i,j)
における動きベクトルをＶ(i,j) と表すことにすると、
Ｖ(m+1,n+1) からＶ(m+1,1) を減算し、さらにＶ(1,n+
1) を減算し、さらにＶ(1,1) を加算した結果を辺の長
さの積ｍｎで割った値として求めることもできる。

【００１７】

【数３】

【００１８】動き付加点の位置における前フレームの値
を求める処理とは、実数値で指定される点の値を、その
近くの整数座標の画素の画素値から求める処理である。
これは画素間の相関が強い画像に対しては実数値の点の
座標を単純に整数化して、一つの画素の画素値を読み出
せばよい。しかし通常の画像ではこうした処理では大き
な劣化が生じるため、周りの複数画素の画素値を線形内
挿することにより求める方がよい。

【００１９】

【作用】本発明の動き補償方法によれば、画像を覆うよ
うに配置した平行四辺形の頂点における動きベクトルが
設定され、これらに基づいて平行四辺形ごとに動き補償
がなされる。平行四辺形はｍ＋１個の格子点からなるｎ
＋１個の線分によって構成され、そのうちのｍ個の画素
の範囲をｎ個の線分について走査する。

【００２０】変数ｊを１からｎまでの整数として、第ｊ
番目の線分の始点に対して動き付加点の位置を求める。
そしてその位置における前フレームの値を求め、これを
前記始点における現在のフレームの画素値とする。これ
により第ｊ番目の線分の始点において動き補償がなされ
る。

【００２１】そして第ｊ番目の線分に対する動き付加点
の位置の線分内変化率△Ｘを求める。

【００２２】次に変数ｉを２からｍまでの整数として、
前記線分上の第ｉ−１番目の画素に対して既に求めた動
き付加点の位置に前記線分内変化率△Ｘを加算すること
により、第ｉ番目の画素に対する動き付加点の位置を求
める。このように線形内挿の性質を利用して、既に求め
られた位置に対して、線分内変化率△Ｘを加算すること
により次々に新しい動き付加点の位置を求めるのであ
る。この位置における前フレームの値を求め、これを前
記画素における現在のフレームの画素値とすることによ
り画素の動き補償がなされる。変数ｉを次々に変化させ
ることにより第ｊ番目の線分について動き補償が実行さ
れ、さらに変数ｊを変化させることにより平行四辺形の
動き補償が実行される。

【００２３】また本発明によれば、前記第ｊ番目の線分
上の動き付加点の位置の線分内変化率△Ｘを求める処理
は、前記線分の終点に対する動き付加点の位置と始点に
対する動き付加点の位置との差を線分の長さｍで割った
値として求める。

【００２４】また本発明によれば、前記第ｊ番目の線分
上の動き付加点の位置の線分内変化率△Ｘを求める処理
は、前記線分の終点における動きベクトルと始点におけ
る動きベクトルとの差ベクトルを線分の長さｍで割った
ベクトルに、線分の走査を表すベクトルを加算して求め
る。

【００２５】また本発明によれば、第１番目の線分の始
点の位置にその画素における動きベクトルを加算するこ
とにより、前記始点に対する動き付加点の位置を求め
る。

【００２６】次に第１番目の線分における動き付加点の
位置の線分内変化率△Ｘを求める。これは第１番目の線
分における動き補償に用いられると同時に、第２番目以
降の線分における線分内変化率△Ｘを求める際の初期値
として用いる。次に線分の変更に伴う始点に対する動き
付加点の位置の線分間変化率△Ｂを求める。これは第２
番目以降の線分における始点を求めるための準備であ
る。次に線分の変更に伴う変化率の線分間変化率△ξを
求める。これは第２番目以降の線分における線分内変化
率△Ｘを求めるための準備である。

【００２７】次に変数ｊを１からｎまでの整数として、
ｊが１に等しいときは既に初期値を求めているため、ｊ
が２からｍまでの整数のとき次のようにして線分の始点
における動き付加点とその線分内変化率△Ｘを求める処
理を行う。つまり第ｊ−１番目の線分において既に求め
た動き付加点の位置の線分内変化率△Ｘに前記変化率の
線分間変化率△ξを加算することにより、第ｊ番目の線
分における動き付加点の位置の線分内変化率△Ｘを求
め、第ｊ−１番目の線分の始点に対して既に求めた動き
付加点の位置に、前記始点に対する動き付加点の位置の
線分間変化率△Ｂを加算することにより、第ｊ番目の線
分の始点に対する動き付加点の位置を求めるのである。

【００２８】次に第ｊ番目の線分の始点に対する動き付
加点の位置における前フレームの値を求め、これを前記
始点における現在のフレームの画素値とすることにより
動き補償がなされる。次に変数ｉを２からｍまでの整数
として、第ｊ番目の線分上の第ｉ−１番目の画素に対し
て既に求めた動き付加点の位置に前記動き付加点の位置
の線分内変化率△Ｘを加算することにより、前記線分上
の第ｉ番目の画素に対する動き付加点の位置を求め、こ
の位置における前フレームの値を求め、これを前記画素
における現在のフレームの画素値とする処理を行う。こ
うして次々に第ｊ番目の線分上の画素について動き補償
が実行される。変数ｊを変化させることにより平行四辺
形の動き補償が実行される。

【００２９】

【実施例】以下図面を用いて本発明の実施例を説明す
る。図１は本発明の第１の実施例を表すフローチャート
であり、図２はそのブロック図である。画面の縦横の大
きさは１６の倍数となるように設定し、画素のアドレス
が１６で割り切れる位置に頂点を配置すると、これらの
頂点は辺の長さが１６である正方形を成し、これを構成
する画素は１７×１７個ある。すなわちｎ＝ｍ＝１６で
ある。図３では正方形６０は頂点５２、５４、５６、５
８を持ちこの４つの頂点における動きベクトルを内挿す
る。図３から分かるように隣の正方形との境界上の画素
は両方の正方形に属するから、重複を避けて走査するに
は、１６×１６個の範囲を走査すれば充分である。

【００３０】図２において第１のフレームメモリ１０８
には符号化する現在のフレームが記憶され、第２のフレ
ームメモリ１１０には既に符号化した前フレームを復号
した画像が記憶されている。動き補償は前フレームを変
形させて現在のフレームとの相関を除去する処理であ
る。

【００３１】動きベクトルは動きベクトル記憶部１０４
に記憶される。処理を開始する初期化時に、動きベクト
ルは（０，０）に初期化される。次に動き探索制御部１
００の制御により順に各頂点を探索し、動き予測誤差が
減少するような動きベクトルを探索し、動きベクトル記
憶部１０４の記憶値を更新していく。つまりある頂点に
ついて公知のスリーステップ探索方法に従って動きベク
トルを設定して、その頂点を共有する４つの四角形で動
き予測誤差を求め、この誤差が最小となる動きベクトル
を記憶すればよいのである。動き予測誤差は平均絶対値
誤差により測定し、レジスタ１３８に蓄積されるため、
その頂点に対して探索を開始する場合にはレジスタ１３
８の記憶値を零にリセットする。それから４つの正方形
に対して本発明の動き補償方法によって動き補償を実行
する。これを図１のフローチャートによって説明する。

【００３２】正方形の４つの頂点に対する動きベクトル
が動きベクトル記憶部１０４に設定されると処理１１を
行う。ここでは各頂点の位置に各動きベクトルを加算し
て、動き付加点の位置を求める。これは線分の番号ｊを
添え字として、線分の始点をＢj で、線分の終点をＥj
で表すことにすれば、数４のように表される。但しＰ
(i,j) は、注目している正方形内の位置が第ｊ線分の第
ｉ画素である画素の画面内での位置を表し、Ｖ(i,j) は
その頂点に対して記憶されている動きベクトルを表す。
また動き付加点はＸ(i,j) 等と表すことにする。

【００３３】

【数４】

【００３４】図３においては第１番目の線分は符号７０
で示され、第ｎ＋１番目の線分は符号７２で示されてい
る。第１番目の線分７０の始点は頂点５２であり、終点
は頂点５４である。第ｎ＋１番目の線分７２の始点は頂
点５６であり、終点は頂点５８である。

【００３５】次に処理１２を行う。ここでは初期値設定
用演算部１０６が線分の変更に伴う始点の動き付加点の
位置の線分間変化率△Ｂ及び、終点の動き付加点の位置
の線分間変化率△Ｅを求める。

【００３６】

【数５】

【００３７】始点に対する動き付加点の位置の線分間変
化率△Ｂとは、ある線分の始点と次の線分の始点とにお
いて、線分の変更に伴ってそれぞれの動き付加点の位置
がどれだけ変化するのかを表すベクトルである。これは
第ｎ＋１番目の線分７２の始点Ｐ(1,n+1) （頂点５６）
に対する動き付加点Ｂn+1 と第１番目の線分７０の始点
Ｐ(1,1) （頂点５２）に対する動き付加点Ｂ1 との差を
辺の長さｎで割ったベクトルとして定義される。これは
また、第ｎ＋１番目の線分７２の始点Ｐ(1,n+1) （頂点
５６）に対する動きベクトルＶ(1,n+1) と第１番目の線
分７０の始点Ｐ(1,1) （頂点５２）に対する動きベクト
ルＶ(1,1) との差を辺の長さｎで割ったベクトルに線分
の変更を表すベクトルを加算することにより求めること
もできる。但し線分の変更を表すベクトルとは隣接する
線分の対応する画素の位置の差を表すベクトルであり、
ここでは（０，１）である。

【００３８】終点に対する動き付加点の位置の線分間変
化率△Ｅとは、ある線分の終点と次の線分の終点とにお
いて、線分の変更に伴ってそれぞれの動き付加点の位置
がどれだけ変化するのかを表すベクトルである。これは
第ｎ＋１番目の線分７２の終点Ｐ(m+1,n+1) （頂点５
８）に対する動き付加点Ｅn+1 と第１番目の線分７０の
終点Ｐ(m+1,1) （頂点５４）に対する動き付加点Ｅ1 と
の差を辺の長さｎで割ったベクトルとして定義される。
これも同様に、第ｎ＋１番目の線分７２の終点Ｐ(m+1,n
+1) （頂点５４）に対する動きベクトルＶ(m+1,n+1) と
第１番目の線分７０の終点Ｐ(m+1,1) （頂点５４）に対
する動きベクトルＶ(m+1,1) との差を辺の長さｎで割っ
たベクトルに線分の変更を表すベクトルを加算すること
により求めることもできる。またｎは２の４乗であるこ
とから、この除算は小数点の位置を４ビットシフトする
ことにより実行することができる。

【００３９】次に処理１３で示す制御変数ｊを用いた第
１のループに入る。変数ｊは線分を指定するものであ
り、初期値は１に設定され、ループの終了条件は不等式
ｊ＞ｎが成立することである。次に処理１４で示す条件
分岐を行う。第１の線分７０のとき、すなわちｊが１に
等しい場合は、処理１５を行う。ここでは動き付加点の
位置を表す変数ベクトルＸ及び始点の動き付加点の位置
を表す変数ベクトルＢをＢ1 で初期化する。この値は動
き付加点の位置Ｘの記憶部１２８に設定される。また、
終点の動き付加点の位置を表す変数ベクトルＥをＥ1 で
初期化する。Ｂ及びＥの値は初期値設定用演算部１０６
に記憶される。

【００４０】

【数６】

【００４１】一方ｊが１でないときには処理１６を行
う。ここで初期値設定用演算部１０６は始点の動き付加
点の位置Ｂにその線分間変化率△Ｂを加算して更新し、
これを動き付加点の位置Ｘとして記憶部１２８に記憶さ
せる。また終点の動き付加点の位置Ｅにその線分間変化
率△Ｅを加算することにより更新する。

【００４２】

【数７】

【００４３】処理１５と処理１６はともに処理１７へと
接続し、第ｊ番目の線分に対する動き付加点の位置Ｘの
線分内変化率△Ｘを求め、動き付加点の位置の線分内変
化率△Ｘの記憶部１２２に記憶させる。動き付加点の位
置の線分内変化率△Ｘとは、ある線分上の画素の走査に
伴って動き付加点の位置がどのくらいずつ変化するのか
を表すベクトルである。これは走査を行う線分ごとに定
まり、第ｊ番目の線分の終点Ｐ(m+1,j) に対する動き付
加点Ｅと線分の始点Ｐ(1,j) に対する動き付加点Ｂとの
位置の差を辺の長さｍで割ったベクトルとして求める。
これはまた線分の終点Ｐ(m+1,j) に対する動きベクトル
Ｖ(m+1,j) と線分の始点Ｐ(1,j) に対する動きベクトル
Ｖ(1,j) との差を辺の長さｍで割ったベクトルに線分の
走査を表すベクトルを加算したものと定義することもで
きる。但し線分の走査を表すベクトルとは線分上の隣接
する画素の位置の差を表すベクトルであり、ここでは
（１，０）である。

【００４４】

【数８】

【００４５】ｎは２の４乗であるから小数点を４ビット
シフトすることにより除算を実行することができる。こ
れは初期値設定用演算部１０６によって実行され、これ
で第ｉ番目の線分を走査する準備が整ったことになる。
次に処理１８を行う。ここでは動き付加点の位置Ｘにお
ける前フレームの値を内挿により求めて動き予測誤差を
測る。これは輝度値の内挿部１３０が前フレームの記憶
部１１０を参照し、演算して求める。つまりこの輝度値
は実数で指定される点の周りの画素の輝度値を内挿して
求める。まず実数で求められる動き付加点の座標をＸ
(x,y) とすると、これ以下の最大の整数により整数化し
た座標（ｘd ，ｙd ）を求める。またこのときの小数部
（ｒ，ｓ）＝（ｘ−ｘd ，ｙ−ｙd）を求める。（ｘd
，ｙd ）より１だけ座標が大きな画素を含めて４つの
画素の前フレームの輝度値を読み出し、数９のように内
挿する。但し（ｘd ，ｙd ）における輝度値をＹ(xd,y
d) 等と表す。

【００４６】

【数９】

【００４７】この内挿値を所定のビット数の整数値表現
（例えば８ビット）に変換すれば内挿された輝度値が得
られる。得られた輝度値は減算器１３２に入力され、現
在のフレームの対応する画素の輝度値との差を求める。
現在のフレームにおける画素位置Ｐ(i,j) は画素位置指
定部１０２が指示し、その位置の輝度値を現在のフレー
ムの記憶部１０８から読み出す。求めた差は絶対値回路
１３４において絶対値化され加算器１３６に供給され
る。一方加算器１３６にはレジスタ１３８の値が供給さ
れ、両者の和を求めてレジスタ１３８の値を更新する。
次に処理１９で示す制御変数ｉを用いた第２のループに
入る。初期条件はｉ＝２であり、終了条件は不等式ｉ＞
ｍが成立することである。これはｊ番目の線分の第２か
ら第ｍ画素を走査する処理である。まず処理２０を行
う。ここでは記憶部１２８に記憶された動き付加点の位
置Ｘに、記憶部１２２に記憶された線分内変化率△Ｘを
加算器１２４で加算して、値を更新する。

【００４８】

【数１０】

【００４９】次に処理２１を行う。ここでは位置Ｘにお
ける前フレームの輝度値を内挿により求めて、動き予測
誤差を測る。これは処理１８と同様の処理であり、輝度
値の内挿部１３０が前フレームの記憶部１１０を参照し
て数９のように演算を行うことにより求める。同様に求
めた輝度値と現在のフレームの位置Ｐ(i,j) における輝
度値との差の絶対値を求め、動き予測誤差を測る。ここ
で処理２２に示すようにｉのループを閉じ、さらに処理
２３に示すようにｊのループを閉じる。

【００５０】以上の処理により各ループの繰り返しを実
行すればレジスタ１３８には１６×１６画素分の絶対値
誤差が蓄積される。さらに注目している頂点を共有する
４つの正方形についてこれらの処理を繰り返して、絶対
値誤差を蓄積する。ビットシフト回路１４０はレジスタ
１３８に蓄積された値の小数点の位置を変更し、このブ
ロックの平均絶対値誤差を求める。つまり正方形４つ分
の画素数は、４ｍｎ＝２の１０乗、であるから１０ビッ
ト分のシフトを考慮すればよい。この平均絶対値誤差は
探索制御部１００へ供給される。探索制御部１００では
スリーステップ探索方法に従って、種々の動きベクトル
を動きベクトル記憶部１０４に供給し、その状態で得ら
れた平均絶対値誤差を比較して、最も誤差が少なくなる
動きベクトルと誤差値が記憶される。探索が終了すると
最終的に誤差が最も少なくなる動きベクトルを動きベク
トル記憶部１０４に記憶させて、その頂点に関する処理
を終えて、次の頂点の探索を実行する。

【００５１】全ての頂点に対して探索を終えた後、動き
ベクトル記憶部１０４の内容は、符号化された上で、外
部の復号器へと伝送される。さらに動き予測誤差画像を
作成するために、上述と同様の動作で今度は探索を行わ
ずに、各正方形を順に選択して動き補償だけを実行す
る。これは予測誤差画像の記憶部１４２に記憶させ、さ
らに符号化された上で外部の復号器へと伝送される。こ
のように本実施例によれば動きベクトルの内挿が主に数
１０に示す加算によって実行されるため、乗算を必要と
せず簡易な回路で高速に実行できるようになる。

【００５２】図４は第２実施例を示すフローチャートで
あり、図５は第２実施例のブロック図である。但し前記
第１実施例と同じブロックには同一の番号を付してあ
り、同様の働きをする。第２実施例の特徴は変化率△Ｘ
の線分間変化率△ξを用いる点にある。この実施例にお
いてもｎ＝ｍ＝１６とし正方形を成すように頂点を配置
し、正方形の動き補償の処理において走査すべき領域
は、１６×１６個の画素から構成される範囲である。図
３においては正方形６０は頂点５２、５４、５６、５８
を持ち、この４つの頂点の動きベクトルを内挿する。

【００５３】図５において第１のフレームメモリ１０８
には符号化する現在のフレームの画像が記憶され、第２
のフレームメモリ１１０には既に符号化した前フレーム
を復号した画像が記憶されている。動き補償は前フレー
ムを変形させて現在のフレームとの相関を除去する処理
である。第１実施例と同様に動き探索制御部１００は各
頂点の動きベクトルを次々に探索して、動きベクトル記
憶部１０４の値を更新していく。ある頂点に関して探索
を開始すると、動き予測誤差を記憶するレジスタ１３８
を零にリセットし、スリーステップ探索アルゴリズムに
従って探索する動きベクトルを記憶部１０４に供給す
る。その頂点を共有する４つの正方形に対して本発明の
動き補償方法によって動き補償を実行する。正方形の４
つの頂点に対する動きベクトルが、動きベクトル記憶部
１０４に設定されると処理３１を行う。ここでは各頂点
の位置に与えられた動きベクトルを加算して、動き付加
点の位置を求める。これは前述のごとく数４のように表
される。

【００５４】次に処理３２を実行する。ここでは初期値
設定用演算部１０７が線分の変更に伴う始点の動き付加
点の位置の線分間変化率△Ｂを求め記憶部１１２に記憶
させる。始点に対する動き付加点の位置の線分間変化率
△Ｂは、第ｎ＋１番目の線分７２の始点Ｐ(1,n+1) （頂
点５６）に対する動き付加点Ｂn+1 と第１番目の線分７
０の始点Ｐ(1,1) （頂点５２）に対する動き付加点Ｂ1
との差を辺の長さｎで割ったベクトルとして定義され
る。これはまた、第ｎ＋１番目の線分７２の始点Ｐ(1,n
+1) （頂点５６）に対する動きベクトルＶ(1,n+1) と第
１番目の線分７０の始点Ｐ(1,1) （頂点５２）に対する
動きベクトルＶ(1,1) との差を辺の長さｎで割ったベク
トルに線分の変更を表すベクトルを加算することにより
求めることもできる。但し線分の変更を表すベクトルと
は隣接する線分の対応する画素の位置の差を表すベクト
ルであり、ここでは（０，１）である。

【００５５】

【数１１】

【００５６】この除算はｎが２の４乗であることから、
初期値設定用演算部１０７において小数点の位置を４ビ
ット分シフトすることにより実行することができる。次
に処理３３を行う。ここでは変化率△Ｘの線分間変化率
△ξを求め記憶部１１８に記憶させる。変化率△Ｘの線
分間変化率△ξとは、ある線分の線分内変化率△Ｘと次
の線分の線分内変化率△Ｘとにおいて、線分の変更に伴
ってどれだけ変化するのかを表すベクトルである。これ
はブロック内で一定であり、第ｎ＋１番目の線分７２に
おける動き付加点の位置の線分内変化率△Ｘと第１番目
の線分７０における動き付加点の位置の線分内変化率△
Ｘとの差を辺の長さｎで割ったベクトルとして定義され
る。これはまた、第１番目の線分７０の始点Ｐ(1,1)
（頂点２）に対する動き付加点Ｂ1 と、その終点Ｐ(m+
1,1) （頂点５４）に対する動き付加点Ｅ1 と、第ｎ＋
１番目の線分７２の始点Ｐ(1,n+1) （頂点５６）に対す
る動き付加点Ｂn+1 と、その終点Ｐ(m+1,n+1) （頂点５
８）に対する動き付加点Ｅn+1 とを用いて求めることが
できる。あるいはまた画素Ｐ(i,j) における動きベクト
ルをＶ(i,j) と表すことにすると、Ｖ(m+1,n+1) からＶ
(m+1,1) を減算し、さらにＶ(1,n+1) を減算し、さらに
Ｖ(1,1) を加算した結果を辺の長さの積ｍｎで割った値
として求めることもできる。

【００５７】

【数１２】

【００５８】この除算はｍやｎが２の４乗であることか
ら、初期値設定用演算部１０７において小数点の位置を
８ビットシフトすることにより実行することができる。

【００５９】次に処理３４に示す制御変数ｊを用いた第
１のループに入る。変数ｊは線分を指定するものであ
り、初期値は１に設定され、ループの終了条件は不等式
ｊ＞ｎが成立することである。

【００６０】次に処理３５で示す条件分岐を行う。第１
の線分７０のとき、すなわちｊが１に等しい場合は、処
理３６を行う。ここでは第１の線分７０に対する動き付
加点の位置の線分内変化率△Ｘを求め記憶部１２２に記
憶させる。第１番目の線分の終点Ｐ(m+1,1) に対する動
き付加点Ｅ1 と線分の始点Ｐ(1,1) に対する動き付加点
Ｂ1 との位置の差を辺の長さｍで割ったベクトルとして
求める。これはまた線分の終点Ｐ(m+1,1) に対する動き
ベクトルＶ(m+1,1) と線分の始点Ｐ(1,1) に対する動き
ベクトルＶ(1,1) との差を辺の長さｍで割ったベクトル
に線分の走査を表すベクトルを加算することによっても
求めることができる。但し線分の走査を表すベクトルと
は線分上の隣接する画素の位置の差を表すベクトルであ
り、ここでは（１，０）である。

【００６１】

【数１３】

【００６２】この除算も初期値設定用演算部１０７がビ
ットシフトにより実行する。また動き付加点の位置Ｘ及
び始点の動き付加点の位置ＢをＢ1 で初期化し、記憶部
１２８と記憶部１１６に記憶させる。

【００６３】

【数１４】

【００６４】一方変数ｊが１でない場合は処理３７を実
行する。ここでは第ｊ−１番目の線分において求めた線
分内変化率△Ｘに変化率の線分間変化率△ξを加算して
値を更新する。すなわち加算器１２０には記憶部１１８
から△ξが供給され、記憶部１２２からは△Ｘが供給さ
れ、両者を加算してその値を用いて記憶部１２２を更新
する。

【００６５】

【数１５】

【００６６】また第ｊ−１番目の線分において求めた始
点の動き付加点の位置Ｂに始点の動き付加点の位置の線
分間変化率△Ｂを加算して更新する。さらにこれを動き
付加点の位置Ｘとして記憶部１２８に記憶させる。すな
わち加算器１１４には記憶部１１２から△Ｂが供給さ
れ、また記憶部１１６からＢが供給されており、加算を
行い記憶部１１６の値を更新し、さらに記憶部１２８へ
設定する。

【００６７】

【数１６】

【００６８】処理３６と処理３７の後、処理は共通とな
り処理３８を行う。ここでは動き付加点の位置Ｘにおけ
る前フレームの輝度値を内挿により求めて動き予測誤差
を測る。この輝度値は輝度値の内挿部１３０において、
実数で指定される点の周りの画素の輝度値を前述のよう
に数９により内挿して求める。これを所定のビット数の
整数値表現（例えば８ビット）に変換すれば内挿された
輝度値が得られる。

【００６９】得られた輝度値は減算器１３２に入力さ
れ、現在のフレームの対応する画素の輝度値との差を求
める。現在のフレームにおける画素位置Ｐ(i,j) は画素
位置指定部１０２が指示し、その位置の輝度値を現在の
フレームの記憶部１０８から読み出す。求めた差は絶対
値回路１３４において絶対値化され加算器１３６に供給
される。加算器１３６にはレジスタ１３８の値が供給さ
れ、両者の和を求めてレジスタ１３８の値を更新する。

【００７０】次に処理３９に示す制御変数ｉを用いた第
２のループに入る。初期条件はｉ＝２であり、終了条件
は不等式ｉ＞ｍが成立することである。これはｊ番目の
線分の第２から第ｍ画素を走査する処理である。次に処
理４０を行う。ここでは記憶部１２８に記憶された動き
付加点の位置Ｘの値に、記憶部１２２に記憶した線分内
変化率△Ｘを加算器１２４で加算して、値を更新する。

【００７１】

【数１７】

【００７２】次に処理４１を行う。ここでは位置Ｘにお
ける前フレームの輝度値を数９のように内挿により求め
る。求めた輝度値と現在のフレームの位置Ｐ(i,j) にお
ける輝度値との差の絶対値を求め、動き予測誤差を測
る。処理３８と同様に減算器１３２で求めた差は絶対値
回路１３４で絶対値化し、加算器１３６を用いてレジス
タ１３８の記憶値に加算して値を更新する。ここで処理
４２でｉのループを閉じ、さらに処理４３でｊのループ
を閉じる。以上の処理によりループの繰り返しを実行す
れば、レジスタ１３８には１６×１６画素分の絶対値誤
差が蓄積される。さらに注目している頂点を共有する４
つの正方形についてこれらの処理を繰り返して、絶対値
誤差を蓄積する。ビットシフト回路１４０は蓄積された
レジスタ１３８の値の小数点の位置を変更し、このブロ
ックの平均絶対値誤差を求める。探索制御部１００では
スリーステップ探索方法に従って、種々の動きベクトル
を動きベクトル記憶部１０４に供給し、その状態で得ら
れた平均絶対値誤差を比較して、最も誤差が少なくなる
動きベクトルと誤差値が記憶される。探索が終了すると
最終的に誤差が最も少なくなる動きベクトルを動きベク
トル記憶部１０４に記憶させて、その頂点に関する処理
を終えて、次の頂点の探索を実行する。

【００７３】全ての頂点に対して探索を終えた後、動き
ベクトル記憶部１０４の内容は、符号化された上で外部
の復号器へと伝送される。さらに動き予測誤差画像を作
成するために、上述と同様の動作で今度は探索を行わず
に、動き補償だけを実行する。これは予測誤差画像の記
憶部１４２に記憶させ、さらに符号化された上で外部の
復号器へと伝送される。

【００７４】このように第２実施例によれば、動きベク
トルの内挿が主に数１７に示す加算によって実行され、
また動き付加点の線分内変化率△Ｘを求める際に数１５
のように加算によって更新していけばよく、効率的に実
行が可能である。

【００７５】

【発明の効果】本発明によれば、平行四辺形の４つの頂
点の動きベクトルを内挿する際に、乗算を必要としない
ため、専用回路を用いる場合には回路規模を小さくする
ことができる。またマイクロプロセッサやデジタルシグ
ナルプロセッサ等の処理装置を用いて実行する場合に
は、実行時間を短縮することができる。

【図面の簡単な説明】

【図１】本発明の第１実施例のフローチャート

【図２】本発明の第１実施例のブロック図

【図３】ブロックと画素の配置図

【図４】本発明の第２実施例のフローチャート

【図５】本発明の第２実施例のブロック図

【図６】従来例における動きベクトルの内挿方法を示す
図

【符号の説明】

５２、５４、５６、５８ 頂点 ６０ 正方形 ７０ 第１番目の線分 ７２ 第ｎ＋１番目の線分 １００ 動き探索制御部 １０２ 画素位置指定部 １０４ 動きベクトル記憶部 １０６、１０７ 初期値設定用演算部 １０８ 現在のフレームの記憶部 １１０ 前フレームの記憶部 １１２ 始点に対する動き付加点の位置の線分間変化率
△Ｂの記憶部 １１４、１２０、１２４ 加算器 １１６ 始点に対する動き付加点の位置Ｂの記憶部 １１８ 変化率の線分間変化率△ξの記憶部 １２２ 動き付加点の位置の線分内変化率△Ｘの記憶部 １２８ 動き付加点の位置Ｘの記憶部 １３０ 輝度値の内挿部 １３２ 減算器 １３４ 絶対値回路 １３６ 加算器 １３８ レジスタ １４０ ビットシフト回路 １４２ 予測誤差画像の記憶部

Claims (4)

【特許請求の範囲】
1. 【請求項１】辺の長さがｍとｎである平行四辺形を複数
   並べて画面を覆うように配置し、平行四辺形の頂点にお
   ける動きベクトルを設定し、これらの動きベクトルを平
   行四辺形内で内挿する動画像の動き補償方法において、 前記平行四辺形はｍ＋１個の格子点からなるｎ＋１個の
   線分により構成され、そのうちのｍ個の画素の範囲をｎ
   個の線分について走査するものであり、 ａ 変数ｊを１からｎまでの整数として、第ｊ番目の線
   分の始点に対する動き付加点の位置を求めて、その位置
   における前フレームの値を求め、これを前記始点におけ
   る現在のフレームの画素値とする処理と、 ｂ 前記線分上の動き付加点の位置の線分内変化率△Ｘ
   を求める処理と、 ｃ 変数ｉを２からｍまでの整数として、前記線分上の
   第ｉ−１番目の画素に対して既に求めた動き付加点の位
   置に前記線分内変化率△Ｘを加算することにより、前記
   線分上の第ｉ番目の画素に対する動き付加点の位置を求
   め、その位置における前フレームの値を求め、これを前
   記画素における現在のフレームの画素値とする処理を行
   う動画像の動き補償方法。
2. 【請求項２】前記第ｊ番目の線分上の動き付加点の位置
   の線分内変化率△Ｘを求める処理は、前記線分の終点に
   対する動き付加点の位置と始点に対する動き付加点の位
   置との差を線分の長さｍで割った値として求めることを
   特徴とする請求項１記載の動画像の動き補償方法。
3. 【請求項３】前記第ｊ番目の線分上の動き付加点の位置
   の線分内変化率△Ｘを求める処理は、前記線分の終点に
   おける動きベクトルと始点における動きベクトルとの差
   ベクトルを線分の長さｍで割ったベクトルに、線分の走
   査を表すベクトルを加算して求めることを特徴とする請
   求項１記載の動画像の動き補償方法。
4. 【請求項４】辺の長さがｍとｎである平行四辺形を複数
   並べて画面を覆うように配置し、平行四辺形の頂点にお
   ける動きベクトルを設定し、これらの動きベクトルを平
   行四辺形内で内挿する動画像の動き補償方法において、 前記平行四辺形はｍ＋１個の格子点からなるｎ＋１個の
   線分により構成され、そのうちのｍ個の画素の範囲をｎ
   個の線分について走査するものであり、 ａ 第１番目の線分の始点の位置にその画素における動
   きベクトルを加算することにより、始点に対する動き付
   加点の位置を求める処理と、 ｂ 第１番目の線分における動き付加点の位置の線分内
   変化率△Ｘを求める処理と、 ｃ 線分の変更に伴う始点に対する動き付加点の位置の
   線分間変化率△Ｂを求める処理と、 ｄ 線分の変更に伴う変化率△Ｘの線分間変化率△ξを
   求める処理と、 ｅ 変数ｊを１からｎまでの整数として、ｊが２からｎ
   までの整数のとき、第ｊ−１番目の線分において既に求
   めた動き付加点の位置の線分内変化率△Ｘに前記線分間
   変化率△ξを加算することにより、第ｊ番目の線分にお
   ける動き付加点の位置の線分内変化率△Ｘを求め、第ｊ
   −１番目の線分の始点に対して既に求めた動き付加点の
   位置に、前記始点に対する動き付加点の位置の線分間変
   化率△Ｂを加算することにより、第ｊ番目の線分の始点
   に対する動き付加点の位置を求める処理と、 ｆ 第ｊ番目の線分の始点に対する動き付加点の位置に
   おける前フレームの値を求め、これを前記始点における
   現在のフレームの画素値とする処理と、 ｇ 変数ｉを２からｍまでの整数として、第ｊ番目の線
   分上の第ｉ−１番目の画素に対して既に求めた動き付加
   点の位置に前記動き付加点の位置の線分内変化率△Ｘを
   加算することにより、前記線分上の第ｉ番目の画素に対
   する動き付加点の位置を求め、この位置における前フレ
   ームの値を求め、これを前記画素における現在のフレー
   ムの画素値とする処理を行う動画像の動き補償方法。