JP2765528B2

JP2765528B2 - 半画素精度動きベクトル探索装置

Info

Publication number: JP2765528B2
Application number: JP24589195A
Authority: JP
Inventors: 裕三仙田
Original assignee: Nippon Electric Co Ltd
Current assignee: NEC Corp
Priority date: 1995-09-25
Filing date: 1995-09-25
Publication date: 1998-06-18
Anticipated expiration: 2015-09-25
Also published as: JPH0993582A

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、動画像の圧縮符号
化に関する。特に、動きベクトル探索に関する。

【０００２】

【従来の技術】動画像圧縮符号化技術は、動画像信号の
高い時間相関、空間相関、および人間の視覚特性を利用
して、膨大な情報量を大幅に圧縮する技術である。この
動画像符号化技術は幾つもの要素技術から成り立ってい
る。

【０００３】フレーム間予測符号化技術は、動画像信号
の時間方向の相関を利用する技術であり、フレーム間予
測符号化方式は、符号化処理済の先行フレームから現フ
レームの予測を行い、予測誤差信号を伝送する方式であ
る。このフレーム間予測符号化方式を改良した方式とし
て、画像の動きを考慮した動き補償フレーム間予測符号
化方式や、フレーム間予測をフィールド間予測に置き換
えたフィールド間予測符号化方式、未来のフレームを先
行して符号化しておくことで、過去と未来から内挿を行
う内挿予測符号化方式がある。更に、これらの複数の予
測符号化方式を適応的に切り替える適応予測符号化方式
がある。

【０００４】変換符号化技術は、複数の信号を線形変換
することで情報量を圧縮する技術であり、前記適応予測
符号化方式に対しては、予測誤差信号に対して空間方向
（水平、垂直方向）に適用されるのが普通である。この
変換によって、画像信号の空間方向の冗長性が顕現す
る。変換符号化方式にも、前述の適応予測符号化方式と
同様に、フレームでの変換符号化や、フィールドでの変
換符号化や、水平方向だけの変換符号化など複数の変換
方式を適応的に切り替える適応変換符号化方式がある。

【０００５】可変長符号化技術は、信号レベルの確率分
布の偏りを用いて情報量を圧縮する技術であり、前記適
応予測符号化方式の動きベクトルや、前記適応変換符号
化方式の変換係数に適用されるのが普通である。

【０００６】一般に用いられている動画像圧縮符号化技
術は、これらの技術を用いることで、非常に高い圧縮率
を実現している。

【０００７】このような動画像圧縮符号化技術を用いた
動画像符号化装置において、動き補償予測符号化に不可
欠な動きベクトル探索の実装が問題となる。例えば、Ｉ
ＳＯＩＳ１１１７２方式（ＭＰＥＧ−１方式）等では半
画素精度での動き補償予測符号化が可能である。一般
に、動きベクトル探索は高精度になるほど計算量が多
く、回路規模が大きくなる。従来、探索を多段で行うこ
とによりこれらを縮小している。

【０００８】半画素精度動きベクトル探索に２段探索方
式を用いた動き補償予測符号化装置の例を図５に示す。
同図において、動画像は、Ｉｎｐｕｔから符号化処理順
に入力され、１６画素×１６ラインのブロック単位で、
第一の動きベクトル探索部１０と、第二の動きベクトル
探索部１１と、符号化部１２に供給される。

【０００９】第一の動きベクトル探索部１０は、ブロッ
ク毎に、探索範囲（±１４，±７）の各１画素精度候補
ベクトルについて、メモリ１３に保持された符号化済み
画像を用いて、１画素精度動き補償予測画像を生成し、
入力ブロックと比較して予測誤差評価値を計算する。最
小の予測誤差評価値（図ではＭＡＥ）およびこれに対応
する１画素精度動きベクトル（図ではＭＶ１）を第二の
動きベクトル探索部１１に供給する。

【００１０】第二の動きベクトル探索部１１は、ブロッ
ク毎に、第一の動きベクトル探索部１０で得られた１画
素精度動きベクトルの８近傍（±０．５，±０．５）の
各半画素精度候補ベクトルについて、メモリ１３に保持
された符号化済み画像を用いて、半画素精度動き補償予
測画像を生成し、入力ブロックと比較して予測誤差評価
値を計算する。ここで得られた８つの半画素精度候補ベ
クトルの予測誤差評価値と、第一の動きベクトル探索部
１０で得られた１画素精度動きベクトルの予測誤差評価
値から、最小となる予測誤差評価値に対応するベクトル
を、半画素精度動きベクトル（図ではＭＶ２）として符
号化部１２に供給する。

【００１１】符号化部１２は、ブロック毎に、半画素精
度動きベクトルを用いて、入力ブロックを動き補償予測
符号化し、得られたローカルデコード画像を、メモリ１
３に供給するとともに、得られた符号列を出力する。

【００１２】メモリ１３は、動きベクトル探索と動き補
償予測の参照画像として読み出せるように、ローカルデ
コード画像を保持する。

【００１３】

【発明が解決しようとする課題】従来技術では、動きベ
クトル探索を多段で行うことで計算量や回路規模を縮小
しているが、已然として動きベクトル探索の実装は問題
である。

【００１４】本発明の目的は、動き補償予測符号化の性
能をほとんど劣化させることなく、計算量や回路規模を
縮小した半画素動きベクトル探索装置を提供することに
ある。

【００１５】

【課題を解決するための手段】第１の発明の半画素精度
動きベクトル探索装置は、現フレームと先行フレームを
用いて、探索範囲の各１画素精度候補ベクトルに対して
動き補償予測画像を生成し、原画像との差分計算するこ
とで予測誤差評価値を求める第一の動きベクトル探索部
と、現フレームの水平微分パワーと垂直微分パワーを求
める微分パワー計算部と、前記第一の動きベクトル探索
部で得られた予測誤差評価値と前記微分パワー計算部で
得られた水平微分パワーと垂直微分パワーから、探索対
象の各半画素精度候補ベクトルの予測誤差評価値を推定
し、１画素精度候補ベクトルおよび半画素精度候補ベク
トルの中から最小の予測誤差評価値となる候補ベクトル
を半画素精度動きベクトルとして選択する第二の動きベ
クトル探索部から構成されることを特徴とする。

【００１６】第２の発明の半画素精度動きベクトル探索
装置は、現フレームと先行フレームを用いて、探索範囲
の各１画素精度候補ベクトルに対して動き補償予測画像
を生成し、原画像との差分計算することで予測誤差評価
値を求め、最小の予測誤差評価値となる候補ベクトルを
１画素精度動きベクトルとする第一の動きベクトル探索
部と、現フレームの水平微分パワーと垂直微分パワーを
求める微分パワー計算部と、前記第一の動きベクトル探
索部で得られた予測誤差評価値と前記微分パワー計算部
で得られた水平微分パワーと垂直微分パワーから、前記
第一の動きベクトル探索部で得られた１画素精度動きベ
クトルの近傍の８つの半画素精度候補ベクトルの予測誤
差評価値を推定し、１画素精度動きベクトルおよび半画
素精度候補ベクトルの中から最小の予測誤差評価値とな
る候補ベクトルを半画素精度動きベクトルとして選択す
る第二の動きベクトル探索部から構成されることを特徴
とする。

【００１７】

【作用】まず、半画素精度動き補償予測の動作について
考える。動き補償予測は、現フレームの位置（ｘ，ｙ）
の画素値ｚ（ｘ，ｙ）を、符号化済みフレームｚ
₀（ｘ，ｙ）から動きベクトル（ｖｘ，ｖｙ）を使って
予測する。例えば、動きベクトルが（２．５，１）の場
合、動き補償予測による予測値

【００１８】

【外１】

【００１９】は、

【００２０】

【数１】

【００２１】となる。つまり、半画素精度動き補償予測
で得られる予測値は１画素精度動き補償予測で得られる
予測値の平均値であり、半画素精度動き補償予測は単純
な平均予測である。

【００２２】一般に、予測誤差評価値として平均自乗誤
差（ＭＳＥ）または平均絶対誤差（ＭＡＥ）が用いられ
る。予測値

【００２３】

【外２】

【００２４】のＭＳＥおよびＭＡＥは、

【００２５】

【数２】

【００２６】で与えられる。ここで、｜・｜は絶対値を
表し、ｄ₁はＬ１ノルム、ｄ₂はＬ２ノルム、Ｂはブロ
ックである。

【００２７】これらの式を先程の

【００２８】

【外３】

【００２９】に適用すると、

【００３０】

【数３】

【００３１】が得られる。つまり、半画素精度動き補償
予測のＭＳＥは、１画素精度動き補償予測のＭＳＥと予
測値間のＬ２ノルムから求めることができる。この場
合、予測値間のＬ２ノルムは、符号化済みフレームの参
照部分を水平微分したＬ２ノルムとなる。

【００３２】例えば、１段目で１画素精度まで探索し、
２段目で半画素精度に高精度化する動きベクトル探索装
置を考える。１段目で１画素精度動き補償予測の予測誤
差評価値が求まっているので、半画素精度動きベクトル
を探索する段階で新たに求めるべき値は符号化済みフレ
ームの参照部分を水平微分したＬ２ノルムだけである。
ところが、予測がある程度当たっていれば、符号化済み
フレームと現フレームはほぼ等価であり、現フレームを
水平微分したＬ２ノルムで推定できる。先程の

【００３３】

【外４】

【００３４】に適用すると、

【００３５】

【数４】

【００３６】により、推定値

【００３７】

【外５】

【００３８】が求まる。ここで、Ｄ_X2は水平微分のＬ２
ノルムである。

【００３９】ＭＡＥを用いている場合も同様に推定が可
能である。ＭＳＥとＭＡＥは、

【００４０】

【数５】

【００４１】の関係にある。推定値

【００４２】

【外６】

【００４３】は、

【００４４】

【数６】

【００４５】となる。ここで、Ｄ_X1は水平微分のＬ１ノ
ルムである。これに対して、

【００４６】

【数７】

【００４７】の関係を用いて近似すると、

【００４８】

【数８】

【００４９】が得られる。

【００５０】これらのように、動き補償予測画像を生成
することなく、半画像精度動きベクトルの予測誤差評価
値が得られるので、半画素精度動きベクトル探索を簡略
化できる。

【００５１】

【発明の実施の形態】第１の発明の第一の構成を図１に
示す。同図において、動画像は、Ｉｎｐｕｔから符号化
処理順に入力され、１６画素×１６ラインのブロック単
位で、第一の動きベクトル探索部２０と、微分パワー計
算部２１と、符号化部１２に供給される。

【００５２】第一の動きベクトル探索部２０は、ブロッ
ク毎に、探索範囲（±１４，±７）の各１画素精度候補
ベクトルについて、メモリ１３に保持された符号化済み
画像を用いて、１画素精度動き補償予測画像を生成し、
入力ブロックと比較してＬ２ノルムで予測誤差評価値を
計算する。得られた全予測誤差評価値（図ではＭＳＥ）
を第二の動きベクトル探索部２２に供給する。

【００５３】微分パワー計算部２１は、ブロック毎に、
水平微分パワー（図ではＤＸ）と垂直微分パワー（図で
はＤＹ）をＬ２ノルムで計算し、第二の動きベクトル探
索部２２に供給する。

【００５４】第二の動きベクトル探索部２２は、ブロッ
ク毎に、第一の動きベクトル探索部２０で得られた予測
誤差評価値と微分パワー計算部２１で得られた水平微分
パワーと垂直微分パワーを用いて、探索範囲（±１４，
±７）の各半画素精度候補ベクトルの予測誤差評価値を
推定する。最小の予測誤差評価値となる候補ベクトルを
選択して、半画素精度動きベクトル（図ではＭＶ）とし
て符号化部１２に供給する。ここで、水平成分のみ半画
素となる候補ベクトルでは、水平方向に隣接する２つの
１画素精度候補ベクトルの予測誤差評価値の平均から、
水平微分パワーの４分の１を引いた値を予測誤差評価値
とし、垂直成分のみ半画素となる候補ベクトルでは、垂
直方向に隣接する２つの１画素精度候補ベクトルの予測
誤差評価値の平均から、垂直微分パワーの４分の１を引
いた値を予測誤差評価値とし、水平成分垂直成分ともに
半画素となる候補ベクトルでは、近傍の４つの１画素精
度候補ベクトルの予測誤差評価値の平均から、水平微分
パワーの４分の１と、垂直微分パワーの４分の１とを引
いた値を予測誤差評価値とする。

【００５５】符号化部１２、メモリ１３は従来方式と同
じである。

【００５６】第１の発明の第二の構成を図２に示す。同
図において、動画像は、Ｉｎｐｕｔから符号化処理順に
入力され、１６画素×１６ラインのブロック単位で、第
一の動きベクトル探索部２５と、微分パワー計算部２６
と、符号化部１２に供給される。

【００５７】第一の動きベクトル探索部２５は、ブロッ
ク毎に、探索範囲（±１４，±７）の各１画素精度候補
ベクトルについて、メモリ１３に保持された符号化済み
画像を用いて、１画素精度動き補償予測画像を生成し、
入力ブロックと比較してＬ１ノルムで予測誤差評価値を
計算する。得られた全予測誤差評価値（図ではＭＡＥ）
を第二の動きベクトル探索部２７に供給する。

【００５８】微分パワー計算部２６は、ブロック毎に、
水平微分パワー（図ではＤＸ）と垂直微分パワー（図で
はＤＹ）をＬ１ノルムで計算し、第二の動きベクトル探
索部２７に供給する。

【００５９】第二の動きベクトル探索部２７は、ブロッ
ク毎に、第一の動きベクトル探索部２５で得られた予測
誤差評価値と微分パワー計算部２６で得られた水平微分
パワーと垂直微分パワーを用いて、探索範囲（±１４，
±７）の各半画素精度候補ベクトルの予測誤差評価値を
推定する。最小の予測誤差評価値となる候補ベクトルを
選択して、半画素精度動きベクトル（図ではＭＶ）とし
て符号化部１２に供給する。ここで、水平成分のみ半画
素となる候補ベクトルでは、水平方向に隣接する２つの
１画素精度候補ベクトルの予測誤差評価値の平均から、
水平微分パワーの自乗を前記平均で割った値の８分の１
を引いた値を予測誤差評価値とし、垂直成分のみ半画素
となる候補ベクトルでは、垂直方向に隣接する２つの１
画素精度候補ベクトルの予測誤差評価値の平均から、垂
直微分パワーの自乗を前記平均で割った値の８分の１を
引いた値を予測誤差評価値とし、水平成分垂直成分とも
に半画素となる候補ベクトルでは、近傍の４つの１画素
精度候補ベクトルの予測誤差評価値の平均から、水平微
分パワーの自乗を前記平均で割った値の８分の１と、垂
直微分パワーの自乗を前記平均で割った値の８分の１と
を引いた値を予測誤差評価値とする。

【００６０】符号化部１２、メモリ１３は従来方式と同
じである。

【００６１】第２の発明の第一の構成を図３に示す。同
図において、動画像は、Ｉｎｐｕｔから符号化処理順に
入力され、１６画素×１６ラインのブロック単位で、第
一の動きベクトル探索部３０と、微分パワー計算部２１
と、符号化部１２に供給される。

【００６２】第一の動きベクトル探索部３０は、ブロッ
ク毎に、探索範囲（±１４，±７）の各１画素精度候補
ベクトルについて、メモリ１３に保持された符号化済み
画像を用いて、１画素精度動き補償予測画像を生成し、
入力ブロックと比較してＬ２ノルムで予測誤差評価値を
計算する。最小の予測誤差評価値となる１画素精度候補
ベクトルを、１画素精度動きベクトル（図ではＭＶ１）
として第二の動きベクトル探索部３１に供給するととも
に、前記１画素精度動きベクトルの１画素範囲内（±
１，±１）の１画素精度候補ベクトルに対応する９つの
予測誤差評価値（図ではＭＳＥ）を第二の動きベクトル
探索部３１に供給する。

【００６３】第二の動きベクトル探索部３１は、ブロッ
ク毎に、第一の動きベクトル探索部３０で得られた予測
誤差評価値と微分パワー計算部２１で得られた水平微分
パワーと垂直微分パワーを用いて、第一の動きベクトル
探索部３０で得られた１画素精度動きベクトルの８近傍
（±０．５，±０．５）となる各半画素精度候補ベクト
ルの予測誤差評価値を推定する。最小の予測誤差評価値
となるベクトルを選択して、半画素精度動きベクトル
（図ではＭＶ２）として符号化部１２に供給する。ここ
で、水平成分のみ半画素となる候補ベクトルでは、水平
方向に隣接する２つの１画素精度候補ベクトルの予測誤
差評価値の平均から、水平微分パワーの４分の１を引い
た値を予測誤差評価値とし、垂直成分のみ半画素となる
候補ベクトルでは、垂直方向に隣接する２つの１画素精
度候補ベクトルの予測誤差評価値の平均から、垂直微分
パワーの４分の１を引いた値を予測誤差評価値とし、水
平成分垂直成分ともに半画素となる候補ベクトルでは、
近傍の４つの１画素精度候補ベクトルの予測誤差評価値
の平均から、水平微分パワーの４分の１と、垂直微分パ
ワーの４分の１とを引いた値を予測誤差評価値とする。

【００６４】微分パワー計算部２１は第１の発明の第一
の構成と同じであり、符号化部１２、メモリ１３は従来
方式と同じである。

【００６５】第２の発明の第二の構成を図４に示す。同
図において、動画像は、Ｉｎｐｕｔから符号化処理順に
入力され、１６画素×１６ラインのブロック単位で、第
一の動きベクトル探索部３５と、微分パワー計算部２６
と、符号化部１２に供給される。

【００６６】第一の動きベクトル探索部３５は、ブロッ
ク毎に、探索範囲（±１４，±７）の各１画素精度候補
ベクトルについて、メモリ１３に保持された符号化済み
画像を用いて、１画素精度動き補償予測画像を生成し、
入力ブロックと比較してＬ１ノルムで予測誤差評価値を
計算する。最小の予測誤差評価値となる１画素精度候補
ベクトルを、１画素精度動きベクトル（図ではＭＶ１）
として第二の動きベクトル探索部３６に供給するととも
に、前記１画素精度動きベクトルの１画素範囲内（±
１，±１）の１画素精度候補ベクトルに対応する９つの
予測誤差評価値（図ではＭＡＥ）を第二の動きベクトル
探索部３６に供給する。

【００６７】第二の動きベクトル探索部３６は、ブロッ
ク毎に、第一の動きベクトル探索部３５で得られた予測
誤差評価値と微分パワー計算部２６で得られた水平微分
パワーと垂直微分パワーを用いて、第一の動きベクトル
探索部３５で得られた１画素精度動きベクトルの８近傍
（±０．５，±０．５）となる各半画素精度候補ベクト
ルの予測誤差評価値を推定する。最小の予測誤差評価値
となるベクトルを選択して、半画素精度動きベクトル
（図ではＭＶ２）として符号化部１２に供給する。ここ
で、水平成分のみ半画素となる候補ベクトルでは、水平
方向に隣接する２つの１画素精度候補ベクトルの予測誤
差評価値の平均から、水平微分パワーの自乗を前記平均
で割った値の８分の１を引いた値を予測誤差評価値と
し、垂直成分のみ半画素となる候補ベクトルでは、垂直
方向に隣接する２つの１画素精度候補ベクトルの予測誤
差評価値の平均から、垂直微分パワーの自乗を前記平均
で割った値の８分の１を引いた値を予測誤差評価値と
し、水平成分垂直成分ともに半画素となる候補ベクトル
では、近傍の４つの１画素精度候補ベクトルの予測誤差
評価値の平均から、水平微分パワーの自乗を前記平均で
割った値の８分の１と、垂直微分パワーの自乗を前記平
均で割った値の８分の１とを引いた値を予測誤差評価値
とする。

【００６８】微分パワー計算部２６は第１の発明の第二
の構成と同じであり、符号化部１２、メモリ１３は従来
方式と同じである。

【００６９】

【発明の効果】動き補償予測符号化の性能をほとんど低
下させることなく、半画素精度動きベクトル探索方式の
計算量や回路規模を縮小できる。

【図面の簡単な説明】

【図１】第１の発明の第一の構成を示す。

【図２】第１の発明の第二の構成を示す。

【図３】第２の発明の第一の構成を示す。

【図４】第２の発明の第二の構成を示す。

【図５】従来の半画素精度動きベクトル２段探索方式を
用いた動画像符号化装置を示す。

【符号の説明】

１０第一の動きベクトル探索部１１第二の動きベクトル探索部１２符号化部１３メモリ２０第一の動きベクトル探索部２１微分パワー計算部２２第二の動きベクトル探索部２５第一の動きベクトル探索部２６微分パワー計算部２７第二の動きベクトル探索部３０第一の動きベクトル探索部３１第二の動きベクトル探索部３５第一の動きベクトル探索部３６第二の動きベクトル探索部

Claims

(57)【特許請求の範囲】

【請求項１】現フレームと先行フレームを用いて、探索
範囲の各１画素精度候補ベクトルに対して動き補償予測
画像を生成し、原画像との差分計算することで予測誤差
評価値を求める第一の動きベクトル探索部と、現フレー
ムの水平微分パワーと垂直微分パワーを求める微分パワ
ー計算部と、前記第一の動きベクトル探索部で得られた
予測誤差評価値と前記微分パワー計算部で得られた水平
微分パワーと垂直微分パワーから、探索対象の各半画素
精度候補ベクトルの予測誤差評価値を推定し、１画素精
度候補ベクトルおよび半画素精度候補ベクトルの中から
最小の予測誤差評価値となる候補ベクトルを半画素精度
動きベクトルとして選択する第二の動きベクトル探索部
から構成されることを特徴とする半画素精度動きベクト
ル探索装置。
【請求項２】現フレームと先行フレームを用いて、探索
範囲の各１画素精度候補ベクトルに対して動き補償予測
画像を生成し、原画像との差分計算することで予測誤差
評価値を求め、最小の予測誤差評価値となる候補ベクト
ルを１画素精度動きベクトルとする第一の動きベクトル
探索部と、現フレームの水平微分パワーと垂直微分パワ
ーを求める微分パワー計算部と、前記第一の動きベクト
ル探索部で得られた予測誤差評価値と前記微分パワー計
算部で得られた水平微分パワーと垂直微分パワーから、
前記第一の動きベクトル探索部で得られた１画素精度動
きベクトルの近傍の８つの半画素精度候補ベクトルの予
測誤差評価値を推定し、１画素精度動きベクトルおよび
半画素精度候補ベクトルの中から最小の予測誤差評価値
となる候補ベクトルを半画素精度動きベクトルとして選
択する第二の動きベクトル探索部から構成されることを
特徴とする半画素精度動きベクトル探索装置。