JP2840007B2 - 動きベクトル検出回路 - Google Patents

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、動き補償予測を用いる
動画像符号化の際、予測対象画像と参照画像の間のブロ
ックマッチングによって動きベクトルを検出する回路に
関する。

【０００２】

【従来の技術】ブロックマッチングによって動きベクト
ルを求める主な方式として文献「インターフェース Ａ
ｕｇ．１９２２ ｐｐ１３８」に紹介されているフルサ
ーチ、３ステップサーチ等がある。

【０００３】以下、従来の動きベクトル検出方式の計算
量について説明する。

【０００４】ここで、ｓｕｂは減算、ａｄｄは加算、ｏ
ｐｓは計算量を示す。

【０００５】また、ブロックは大きさが１６×１６の矩
形ブロック、動きベクトルの探索範囲は水平方向、垂直
方向ともに−１５〜＋１５の矩形領域、動きベクトルの
精度は１画素単位であるものと仮定し、予測誤差として
は画素値の差分の絶対値の和を用いるものとする。

【０００６】１．フルサーチ （１）ブロック内の全画素を用いて予測誤差ＰＥを求め
る処理を、９６１（３１²）個の全ての候補ブロックに
対して行う。

【０００７】（２）予測誤差ＰＥが最小となる候補ブロ
ックへの動きベクトルを最適な動きベクトルとする。

【０００８】上記の処理においてブロックマッチングに
必要となる計算量は、 予測誤差ＰＥの計算：２５６（ｓｕｂ）＋２５５（ａｄ
ｄ）＝５１１ｏｐｓ 予測誤差ＰＥと最小値の比較：１ｏｐｓ を９６１個の全ての候補ブロックに対して行うので、 （５１１＋１）×９６１＝４９２０３２ｏｐｓ となる。

【０００９】２．３ステップサーチ （１）ブロック内の全画素を用いて予測誤差ＰＥを求め
る処理を、動きベクトル（４ｍ，４ｎ）に対応する候補
ブロックに対して行う。

【００１０】ここで、ｍおよびｎはともに−３〜３の整
数である。

【００１１】（２）（１）における予測誤差ＰＥの最小
値をＭＩＮ＿ＰＥ、ＭＩＮ＿ＰＥを与える動きベクトル
を（ｘ，ｙ）とし、動きベクトル（ｘ−２，ｙ−２），
（ｘ，ｙ−２），（ｘ＋２，ｙ−２），（ｘ−２，ｙ）
（ｘ＋２，ｙ），（ｘ−２，ｙ＋２），（ｘ，ｙ＋
２），（ｘ＋２，ｙ＋２）に対応する８個の候補ブロッ
クに対して、ブロック内の全画素を用いた予測誤差ＰＥ
を求め、ＰＥ＜ＭＩＮ＿ＰＥであればＭＩＮ＿ＰＥ＝Ｐ
Ｅとする。

【００１２】（３）（２）でＭＩＮ＿ＰＥを与える動き
ベクトルを（ｘ，ｙ）とし、動きベクトル（ｘ−１，ｙ
−１），（ｘ，ｙ−１），（ｘ＋１，ｙ−１），（ｘ−
１，ｙ）（ｘ＋１，ｙ），（ｘ−１，ｙ＋１），（ｘ，
ｙ＋１），（ｘ＋１，ｙ＋１）に対応する８個の候補ブ
ロックに対して、ブロック内の全画素を用いた予測誤差
ＰＥを求め、ＰＥ＜ＭＩＮ＿ＰＥであればＭＩＮ＿ＰＥ
＝ＰＥとする。

【００１３】（４）（３）でＭＩＮ＿ＰＥを与える動き
ベクトルを最適な動きベクトルとする。

【００１４】上記の処理においてブロックマッチングに
必要となる計算量は、 予測誤差ＰＥの計算：５１１ｏｐｓ 予測誤差ＰＥと最小値ＭＩＮ＿ＰＥの比較：１ｏｐｓ （１）で予測誤差ＰＥを求める回数：７×７＝４９回 （２）で予測誤差ＰＥを求める回数：８回 （３）で予測誤差ＰＥを求める回数：８回 なので、 （５１１＋１）×（４９＋８＋８）＝３３２８０ｏｐｓ となる。

【００１５】３．２ステップサーチ （１）ブロック内の全画素を用いて予測誤差ＰＥを求め
る処理を、動きベクトル（３ｍ，３ｎ）に対応する候補
ブロックに対して行う。

【００１６】ここで、ｍおよびｎはともに−５〜５の整
数である。

【００１７】（２）（１）における予測誤差ＰＥの最小
値をＭＩＮ＿ＰＥ、ＭＩＮ＿ＰＥを与える動きベクトル
を（ｘ，ｙ）とし、動きベクトル（ｘ−１，ｙ−１），
（ｘ，ｙ−１），（ｘ＋１，ｙ−１），（ｘ−１，ｙ）
（ｘ＋１，ｙ），（ｘ−１，ｙ＋１），（ｘ，ｙ＋
１），（ｘ＋１，ｙ＋１）に対応する８個の候補ブロッ
クに対して、ブロック内の全画素を用いた予測誤差ＰＥ
を求め、ＰＥ＜ＭＩＮ＿ＰＥであればＭＩＮ＿ＰＥ＝Ｐ
Ｅとする。

【００１８】（３）（２）でＭＩＮ＿ＰＥを与える動き
ベクトルを最適な動きベクトルとする。

【００１９】上記の処理においてブロックマッチングに
必要となる計算量は、 予測誤差ＰＥの計算：５１１ｏｐｓ 予測誤差ＰＥと最小値ＭＩＮ＿ＰＥの比較：１ｏｐｓ （１）で予測誤差ＰＥを求める回数：１１×１１＝１２
１回 （２）で予測誤差ＰＥを求める回数：８回 なので、 （５１１＋１）×（１２１＋８）＝６６０４８ｏｐｓ となる。

【００２０】

【発明が解決しようとする課題】しかしながら、フルサ
ーチは上記のようにブロックマッチングに莫大な計算量
を必要とする。

【００２１】また、３ステップサーチおよび２ステップ
サーチは、一部の候補ブロックしか調べないので、正し
い動きベクトルが求められず、フルサーチの場合と比較
して、再生画像の画質が著しく劣化する。

【００２２】本発明の目的は計算量を大幅に削減して
も、正しい動きベクトルを求めることができる方式を提
供することにある。

【００２３】

【課題を解決するための手段】本発明は、動き補償予測
を用いる動画像符号化の際、Ｌ個の画素からなるブロッ
クを単位として、予測対象画像内の１個の該ブロックに
対して、参照画像内のＮ個の候補となる該ブロックとの
間でブロックマッチングを行い動きベクトルを検出する
動きベクトル検出回路において、ブロック内のＬ１（＜
Ｌ）個の画素を用いて予測誤差ＰＥ１を求める処理を、
全ての候補ブロックに対して行う手段と横軸を予測誤差
ＰＥ１とするヒストグラムを作成する手段と、予測誤差
ＰＥ１の小さい方から頻度を蓄積し、その蓄積値がＭ
（＜Ｎ）以下である最大の予測誤差ＰＥ１を閾値ＴＨと
し、ブロック内のＬ２（Ｌ１＜Ｌ２≦Ｌ）個の画素を用
いて予測誤差ＰＥ２を求める処理を、予測誤差ＰＥ１が
閾値ＴＨ以下である候補ブロックに対してのみ行う手段
とを具備してなり、予測誤差ＰＥ２が最小となる候補ブ
ロックへの動きベクトルを最適な動きベクトルとするこ
とを特徴とする。

【００２４】また、上記構成において、予測誤差ＰＥ２
を求める手段が、予測誤差ＰＥ１の小さい方からヒスト
グラムの頻度を蓄積し、その蓄積値がＭ以下である最大
の予測誤差ＰＥ１を閾値ＴＨ１、その時の累積値をｍ、
累積値がＭ以上になる最小の予測誤差ＰＥ１を閾値ＴＨ
２とし、予測誤差ＰＥ２を求める処理を、予測誤差ＰＥ
１が閾値ＴＨ１以下であるｍ個の候補ブロック、および
予測誤差ＰＥ１が閾値ＴＨ１より大きく閾値ＴＨ２以下
である候補ブロックの中の（Ｍ−ｍ）個の候補ブロック
に対してのみ行うように構成されてもよいし、予測誤差
ＰＥ１が閾値ＴＨ以下である候補ブロックに関して、横
軸を予測誤差ＰＥ１とするヒストグラムを作成し、予測
誤差ＰＥ１の小さい方からヒストグラムの頻度を蓄積し
て、その蓄積値がＭ以下である最大の予測誤差ＰＥ１を
新たに閾値ＴＨとし、予測誤差ＰＥ２を求める処理を、
予測誤差ＰＥ１が閾値ＴＨ以下である候補ブロックに対
してのみ行うように構成されていてもよい。

【００２５】後者の場合、更に、予測誤差ＰＥ２を求め
る手段が、予測誤差ＰＥ１の小さい方からヒストグラム
の頻度を蓄積し、その蓄積値がＭ以下である最大の予測
誤差ＰＥ１を閾値ＴＨ１、その時の蓄積値をｍ、蓄積値
がＭ以上になる最小の予測誤差ＰＥ１を閾値ＴＨ２と
し、予測誤差ＰＥ２を求める処理を、予測誤差ＰＥ１が
閾値ＴＨ１以下であるｍ個の候補ブロック、および予測
誤差ＰＥ１が閾値ＴＨ１より大きく閾値ＴＨ２以下であ
る候補ブロックの中の（Ｍ−ｍ）個の候補ブロックに対
してのみ行うように構成されていてもよい。

【００２６】

【作用】上記構成にてなる本発明によれば、まずブロッ
ク内のＬ１（＜Ｌ）個の画素を用いて予測誤差ＰＥ１を
求める処理が、全ての候補ブロックに対して行われる。
次いで横軸を予測誤差ＰＥ１とするヒストグラムが作成
され、予測誤差ＰＥ１の小さい方から頻度が累積され、
その累積値がＭ（＜Ｎ）以下である最大の予測誤差ＰＥ
１が閾値ＴＨとされる。次いで、予測誤差ＰＥ１が閾値
ＴＨ以下である候補ブロックに対してのみブロック内の
Ｌ２（Ｌ１＜Ｌ２≦Ｌ）個の画素を用いて予測誤差ＰＥ
２を求める処理が行われる。

【００２７】

【実施例】以下、図面を参照して実施例を説明する。い
ずれも、Ｌ個の画素からなるブロックを単位として、予
測対象画像内の１個の該ブロックに対して、参照画像内
のＮ個の候補ブロックとの間でブロックマッチングを行
い動きベクトルを検出する。

【００２８】図１は本発明の一実施例を示すブロック図
である。

【００２９】図１において、１０１はアドレス発生器
で、１１４の制御部からの制御信号に応じて、単位ブロ
ック内の、予測誤差ＰＥ１を求める際に用いられるＬ１
（＜Ｌ）個の画素に対するアドレス情報、および、予測
誤差ＰＥ２を求める際に用いられるＬ２（Ｌ１＜Ｌ２≦
Ｌ）個の画素に対するアドレス情報を発生する。

【００３０】ここで、予測誤差ＰＥ２を求める際に用い
るＬ２個の画素は、予測誤差ＰＥ１を求める際に用いる
Ｌ１個の画素を含み、予測誤差ＰＥ２を求める際は、Ｌ
２個の画素のうち、予測誤差ＰＥ１を求める際に用いら
れなかった（Ｌ２−Ｌ１）個の画素に対するアドレス情
報のみを発生するものとする。

【００３１】１０２もアドレス発生器で、制御部１１４
からの制御信号に応じて、１１５の動きベクトル発生部
からの動きベクトル情報に対応する候補ブロック内の、
予測誤差ＰＥ１を求める際に用いられるＬ１個の画素に
対するアドレス情報、および、予測誤差ＰＥ２を求める
際に用いられるＬ２個の画素に対するアドレス情報を発
生する。

【００３２】ここで、予測誤差ＰＥ２を求める際に用い
るＬ２個の画素は、予測誤差ＰＥ１を求める際に用いる
Ｌ１個の画素を含み、予測誤差ＰＥ２を求める際は、候
補ブロック内のＬ２個の画素のうち、予測誤差ＰＥ１を
求める際に用いられなかった（Ｌ２−Ｌ１）個の画素に
対するアドレス情報のみを発生するものとする。

【００３３】１０３は予測対象画像の情報をブロック単
位に格納するメモリで、アドレス発生部１０１からのア
ドレス情報に従って格納されている情報が読み出され
る。

【００３４】１０４は参照画像内の探索領域の情報を格
納するメモリで、アドレス発生部１０２からのアドレス
情報に従って情報が読み出される。

【００３５】１０５は予測誤差演算部で、予測対象ブロ
ックと候補ブロックの間の予測誤差を求める。

【００３６】予測誤差ＰＥ２を求める場合は、Ｌ２個の
画素のうち、予測誤差ＰＥ１を求める際に用いられなか
った（Ｌ２−Ｌ１）個の画素についての予測誤差を求
め、その値を予測誤差ＰＥ１に加算することによって求
める。

【００３７】予測誤差を求める方法としては、例えば、
予測対象ブロックと候補ブロックの対応する各画素間の
画素値の差分の絶対値や２乗値などの累積和を用いるこ
とができる。

【００３８】１０６はヒストグラムの頻度を格納するた
めのメモリである。

【００３９】１０７は累積値演算部で、予測誤差ＰＥ１
の小さい方からヒストグラムの頻度を累積加算してい
く。

【００４０】１０８は比較部で、ヒストグラムの頻度の
累積値と、予測誤差ＰＥ２を求める候補ブロックの数の
最大値Ｍ（＜Ｎ）を比較する。

【００４１】１０９は全候補ブロックの予測誤差ＰＥ１
を格納するためのメモリである。

【００４２】１１０はレジスタで、ヒストグラムの頻度
の累積値がＭ以下である最大の予測誤差ＰＥ１の値を閾
値ＴＨとして格納する。

【００４３】１１１は比較部で、メモリ１０９に格納さ
れている予測誤差ＰＥ１と閾値ＴＨを比較する。

【００４４】１１２は比較部で、予測誤差ＰＥ２と１１
３のレジスタに格納された最小値ＭＩＮ＿ＰＥを比較す
る。

【００４５】レジスタ１１３は、予測誤差ＰＥ２の最小
値ＭＩＮ＿ＰＥと、ＭＩＮ＿ＰＥを与える動きベクトル
を格納する。

【００４６】１１４は制御部で、予測誤差演算部１０
５、比較部１１１、および比較部１１２の結果を受け
て、予測誤差ＰＥ１を求めるための制御信号、および予
測誤差ＰＥ２を求めるための制御信号を発生する。

【００４７】１１５は動きベクトル発生部で、制御部１
１４の制御によって、所定の順序で動きベクトルを発生
する。

【００４８】以下に処理手順を説明する。

【００４９】（０）予測誤差ＰＥ２を求める候補ブロッ
クの数の最大値をＭ（＜Ｎ）とする。

【００５０】（１）予測誤差演算部１０５で、ブロック
内のＬ１（＜Ｌ）個の画素を用いて予測誤差ＰＥ１を求
め、予測誤差ＰＥ１をメモリ１０９に格納するととも
に、ヒストグラムメモリ１０６の予測誤差ＰＥ１が属す
位置の値をインクリメントする処理を全ての候補ブロッ
クに対して、動きベクトル発生部１１５が動きベクトル
を発生する順番に従って実施する。この処理により、ヒ
ストグラムメモリ１０６には、図２に示すような、横軸
を予測誤差ＰＥ１とするヒストグラムが設定されたこと
になる。

【００５１】（２）図３に示すように、ヒストグラムメ
モリ１０６に対して、累積値演算部１０７で予測誤差Ｐ
Ｅ１の小さい方から頻度を累積加算し、比較部１０８で
その累積値をＭと比較する処理を、累積値がＭ以上にな
るまで繰り返し、累積値がＭ以下である最大の予測誤差
ＰＥ１の値を閾値ＴＨとしてレジスタ１１０に格納す
る。

【００５２】（３）比較部１１１で、メモリ１０９に格
納されている予測誤差ＰＥ１を順番に閾値ＴＨと比較
し、予測誤差ＰＥ１が閾値ＴＨ以下である候補ブロック
に対してのみ、予測誤差演算部１０５で、Ｌ２（Ｌ１＜
Ｌ２≦Ｌ）個の画素を用いて予測誤差ＰＥ２を求める。

【００５３】予測誤差ＰＥ２を求める際、比較部１１２
で予測誤差ＰＥ２と最小値ＭＩＮ＿ＰＥを比較し、予測
誤差ＰＥ２が最小値ＭＩＮ＿ＰＥより小さければ、予測
誤差ＰＥ２を新たに最小値ＭＩＮ＿ＰＥとして、そのと
きの動きベクトルとともにレジスタ１１３に格納する。

【００５４】（４）最後にレジスタ１１３に格納されて
いる動きベクトルを最適な動きベクトルとする。

【００５５】なお、上記の処理の初期設定として、予測
誤差ＰＥ２の最小値ＭＩＮ＿ＰＥを予測誤差ＰＥ２のと
り得る最大の値としてレジスタ１１３にセットする。

【００５６】また、閾値ＴＨが０に設定された場合、動
きベクトルを決める手段としては、（１）特定の動きベ
クトルを用いる、（２）直前の予測対象ブロックと同じ
動きベクトルを用いる、（３）予測誤差ＰＥ１が最小と
なる候補ブロックへの動きベクトルを最適な動きベクト
ルとする、等の方法がある。

【００５７】（１）の方法は、初期設定において、動き
ベクトルとして（０，０）等特定の値を１１３にセット
することで行える。

【００５８】（２）の方法は、初期設定において、レジ
スタ１１３の動きベクトルの設定は行わず、直前の処理
の値を保持することで行える。

【００５９】（３）の方法は、予測誤差ＰＥ１の最小値
とその時の動きベクトルの値を記憶する手段を設けるこ
とで行える。この場合、図４に示す４０１の比較部と４
０２のレジスタを予測誤差演算部１０５に付加すること
になる。

【００６０】ここで、４０１の比較部は、予測誤差ＰＥ
１と４０２のレジスタに格納された予測誤差ＰＥ１の最
小値を比較するもので、レジスタ４０２は、予測誤差Ｐ
Ｅ１の最小値とこれに対する動きベクトルを格納するも
のである。

【００６１】レジスタ４０２は、予測誤差ＰＥ１が既に
格納されている予測誤差ＰＥ１の最小値より小さい場合
に更新される。

【００６２】以下、上記の方式においてブロックマッチ
ングに必要な計算量について説明する。

【００６３】ここで、ｓｕｂは減算、ａｄｄは加算、ｏ
ｐｓは計算量を示す。

【００６４】また、ブロックは大きさが１６×１６の矩
形ブロック、動きベクトルの探索範囲は水平方向、垂直
方向ともに−１５〜＋１５の矩形領域、動きベクトルの
精度は１画素単位であるものと仮定する。

【００６５】予測誤差としては画素値の差分の絶対値の
和を用いるものとし、Ｌ１＝１６、Ｌ２＝２５６と仮定
すると、上記の処理で必要となる計算量は、 予測誤差ＰＥ１の計算：１６（ｓｕｂ）＋１５（ａｄ
ｄ）＝３１ｏｐｓ 予測誤差ＰＥ１と閾値ＴＨの比較：１ｏｐｓ 予測誤差ＰＥ２の計算：２４０（ｓｕｂ）＋２４０（ａ
ｄｄ）＝４８０ｏｐｓ 予測誤差ＰＥ２と最小値の比較：１ｏｐｓ となるので、予測誤差が求められるブロックの数をα
（＜Ｍ）とすると、 （３１＋１）×３１² ＋（４８０＋１）×α＝３０７５２＋４８１αｏｐｓ となる。

【００６６】最大値は、３０７５２＋４８１Ｍｏｐｓで
ある。

【００６７】以上のことから、予測誤差ＰＥ１が閾値Ｔ
Ｈ以下のＭ個以下の候補ブロックに対してのみ、予測誤
差ＰＥ２を求めることにより、計算量をフルサーチより
少なく、しかも一定値以下に削減することができる。

【００６８】次に、本発明の動きベクトル検出回路の第
２の実施例を説明する。

【００６９】図５は本発明の第２の実施例を示すブロッ
ク図である。

【００７０】本実施例は、図１を参照して説明した第１
の実施例に対して、レジスタ１１０および比較部１１１
の働きが一部異なり、また、５０１の減算部、５０２の
レジスタ、５０３のカウンタ、５０４の比較部を付加し
たものである。

【００７１】レジスタ１１０は、ヒストグラムの頻度の
累積値が、予測誤差ＰＥ２を求める候補ブロックの数の
最大値Ｍ（＜Ｎ）以下である最大の予測誤差ＰＥ１の値
を閾値ＴＨ１、累積値がＭ以上になる最小の予測誤差Ｐ
Ｅ１の値を閾値ＴＨ２として格納する。

【００７２】比較部１１１は、メモリ１０９に格納され
ている予測誤差ＰＥ１と閾値ＴＨ１および閾値ＴＨ２を
比較する。

【００７３】減算部５０１は、Ｍと、ヒストグラムの予
測誤差ＰＥ１が閾値ＴＨ１以下である部分の頻度の累積
値ｍの差を求める。

【００７４】レジスタ５０２は、減算部５０１で求めた
（Ｍ−ｍ）の値を格納する。

【００７５】カウンタ５０３は、予測誤差ＰＥ１が閾値
ＴＨ１より大きく閾値ＴＨ２以下である候補ブロックの
数を数える。

【００７６】なお、予測誤差ＰＥ１が閾値ＴＨ１より大
きく閾値ＴＨ２以下である候補ブロックの中から（Ｍ−
ｍ）個の候補ブロックを選出する手段としては、 （１）予測誤差ＰＥ１が小さい候補ブロックを選ぶ。

【００７７】（２）動きベクトル発生部１１５におい
て、対応する動きベクトルが早く発生する候補ブロック
を選ぶ。

【００７８】等の方法があるが、ここでは（２）の方法
を用いるものとする。

【００７９】比較部５０４は、カウンタ５０３の値と
（Ｍ−ｍ）の値を比較する。

【００８０】以下に処理手順を説明する。

【００８１】（０）カウンタ５０３を０、予測誤差ＰＥ
２を求める候補ブロックの数の最大値をＭ（＜Ｎ）とす
る。

【００８２】（１）予測誤差演算部１０５で、ブロック
内のＬ１（＜Ｌ）個の画素を用いて予測誤差ＰＥ１を求
め、予測誤差ＰＥ１をメモリ１０９に格納するととも
に、ヒストグラムメモリ１０６の予測誤差ＰＥ１が属す
位置の値をインクリメントする処理を、全ての候補ブロ
ックに対して、動きベクトル発生部１１５が動きベクト
ルを発生する順番に従って実施する。

【００８３】（２）図６に示すように、ヒストグラムメ
モリ１０６に対して、累積値演算部１０７で予測誤差Ｐ
Ｅ１の小さい方から頻度を累積加算し、比較部１０８で
その累積値をＭと比較する処理を、累積値がＭ以上にな
るまで繰り返し、累積値がＭ以下である最大の予測誤差
ＰＥ１の値を閾値ＴＨ１としてレジスタ１１０に格納す
るとともに、その時の累積値をｍとし、減算部５０１で
Ｍからｍを減算した結果をレジスタ５０２に格納する。
また、累積値がＭ以上になる最小の予測誤差ＰＥ１の値
を閾値ＴＨ２としてレジスタ１１０に格納する。

【００８４】ｍがＭに等しい場合はＴＨ２はＴＨ１に等
しくなる。

【００８５】（３）比較部１１１でメモリ１０９に格納
されている予測誤差ＰＥ１を順番に閾値ＴＨ１および閾
値ＴＨ２と比較し、予測誤差ＰＥ１が閾値ＴＨ１以下で
あれば、その候補ブロックに対して、予測誤差演算部１
０５でＬ２（Ｌ１＜Ｌ２≦Ｌ）個の画素を用いて予測誤
差ＰＥ２を求める。

【００８６】予測誤差ＰＥ１が閾値ＴＨ１より大きく閾
値ＴＨ２以下であれば、カウンタ５０３をインクリメン
トし、比較部５０４でカウンタ５０３の値とレジスタ５
０２の値を比較し、カウンタ５０３の値がレジスタ５０
２の値以下であれば、その候補ブロックに対して予測誤
差ＰＥ２を求める。すなわち、予測誤差ＰＥ１が閾値Ｔ
Ｈ１より大きく閾値ＴＨ２以下である候補ブロックの中
で、動きベクトル発生器１１５において、対応する動き
ベクトルが早く発生する（Ｍ−ｍ）個の候補ブロックに
対してのみ、予測誤差ＰＥ２を求めることになる。

【００８７】なお、予測誤差ＰＥ２を求める際、比較部
１１２で予測誤差ＰＥ２と最小値ＭＩＮ＿ＰＥを比較
し、予測誤差ＰＥ２が最小値ＭＩＮ＿ＰＥより小さけれ
ば、予測誤差ＰＥ２を新たに最小値ＭＩＮ＿ＰＥとし
て、そのときの動きベクトルとともにレジスタ１１３に
格納する。

【００８８】（４）最後にレジスタ１１３に格納されて
いる動きベクトルを最適な動きベクトルとする。

【００８９】なお、上記の処置の初期設定として、予測
誤差ＰＥ２の最小値ＭＩＮ＿ＰＥを予測誤差ＰＥ２のと
り得る最大の値としてレジスタ１１３にセットする。

【００９０】以下、上記の方式においてブロックマッチ
ングに必要な計算量について説明する。

【００９１】ここで、ｓｕｂは減算、ａｄｄは加算、ｏ
ｐｓは計算量を示す。

【００９２】また、ブロックは大きさが１６×１６の矩
形ブロック、動きベクトルの探索範囲は水平方向、垂直
方向ともに−１５〜＋１５の矩形領域、動きベクトルの
精度は１画素単位であるものと仮定する。

【００９３】予測誤差としては画素値の差分の絶対値の
和を用いるものとし、Ｌ１＝１６、Ｌ２＝２５６と仮定
すると、上記の処理で必要となる計算量は、 予測誤差ＰＥ１の計算：１６（ｓｕｂ）＋１５（ａｄ
ｄ）＝３１ｏｐｓ 予測誤差ＰＥ１と閾値ＴＨ１の比較：１ｏｐｓ 予測誤差ＰＥ１と閾値ＴＨ２の比較：１ｏｐｓ 予測誤差ＰＥ２の計算：２４０（ｓｕｂ）＋２４０（ａ
ｄｄ）＝４８０ｏｐｓ 予測誤差ＰＥ２と最小値の比較：１ｏｐｓ となるので、 （３１＋１＋１）×３１² ＋（４８０＋１）×Ｍ＝３１７１３＋４８１Ｍｏｐ ｓ となる。

【００９４】実際には、予測誤差ＰＥ１と閾値ＴＨ２の
比較は、予測誤差ＰＥ１が閾値ＴＨ１より大きい候補ブ
ロックに対してのみ行えばよく、また、予測誤差ＰＥ１
が閾値ＴＨ１より大きく、閾値ＴＨ２以下である候補ブ
ロックから（Ｍ−ｍ）個が選び出されたら、それ以降は
実行しなくてよい。

【００９５】以上のことから、予測誤差ＰＥ１が閾値Ｔ
Ｈ２以下のＭ個の候補ブロックに対してのみ、予測誤差
ＰＥ２を求めることにより、計算量をフルサーチより少
なく、しかも一定量に削減することができる。

【００９６】上記の方式を現在ＩＳＯで標準化作業が進
められている動画像符号化方式ＭＰＥＧ２の動きベクト
ル検出部分に適用した場合についての結果を示す。

【００９７】ここでは、予測誤差ＰＥ１を求める際、図
９に示す位置にある１６個の画素を用い、Ｍは７０とし
た。

【００９８】なお、シーケンス１はパンニングをともな
う２秒間の動画像、シーケンス２は平滑領域が多く、ズ
ーミングをともなう２秒間の動画像である。

【００９９】（１）ＰＥ１と閾値の比較により削除され
る候補ブロックの割合（単位：％） シーケンス１：９２．３１ シーケンス２：９２．
３３ （２）再生画像の輝度信号のＳＮＲ（単位：ｄｂ） 参考のために、フルサーチの結果も併記する。

【０１００】（）内の値はフルサーチとの差である。

【０１０１】 以上の結果から、本方式は、フルサーチと比較して計算
量を約９０％削減しても、再生画像の画質（ＳＮＲ）が
ほぼ同等の動きベクトルが得られることがわかる。

【０１０２】次に、本発明にてなる動きベクトル検出回
路の第３の実施例を図７を参照して説明する。

【０１０３】図７は動きベクトル検出回路の第３の実施
例を示すブロック図である。

【０１０４】本実施例の動きベクトル検出回路は、図１
を参照して説明した第１の実施例に、予測誤差ＰＥ１と
閾値ＴＨとを比較する比較部７０１を付加するものであ
る。

【０１０５】以下に処理手順を説明する。

【０１０６】（０）予測誤差ＰＥ１の閾値をＴＨ、予測
誤差ＰＥ２を求める候補ブロックの数の最大値をＭ（＜
Ｎ）とする。

【０１０７】（１）予測誤差演算部１０５で、ブロック
内のＬ１（＜Ｌ）個の画素を用いて予測誤差ＰＥ１を求
め、比較部７０１で予測誤差ＰＥ１と閾値ＴＨを比較
し、予測誤差ＰＥ１が閾値ＴＨ以下であれば、予測誤差
ＰＥ１をメモリ１０９に格納するとともに、ヒストグラ
ムメモリ１０６の予測誤差ＰＥ１が属す位置の値をイン
クリメントする処理を全ての候補ブロックに対して、動
きベクトル発生部１１５が動きベクトルを発生する順番
に従って実施する。

【０１０８】（２）ヒストグラムメモリ１０６に対し
て、累積値演算部１０７で予測誤差ＰＥ１の小さい方か
ら頻度を累積加算し、比較部１０８でその累積値をＭと
比較する処理を、累積値がＭ以上になるまで繰り返し、
累積値がＭ以下である最大の予測誤差ＰＥ１の値を閾値
ＴＨとしてレジスタ１１０に格納する。

【０１０９】ヒストグラム全体の累積値がＭ以下である
場合は、閾値ＴＨは更新されない。

【０１１０】（３）比較部１１１で、メモリ１０９に格
納されている予測誤差ＰＥ１を順番に閾値ＴＨと比較
し、予測誤差ＰＥ１が閾値ＴＨ以下である候補ブロック
に対してのみ、予測誤差演算部１０５でＬ２（Ｌ１＜Ｌ
２≦Ｌ）個の画素を用いて予測誤差ＰＥ２を求める。

【０１１１】予測誤差ＰＥ２を求める際、比較部１１２
で予測誤差ＰＥ２と最小値ＭＩＮ＿ＰＥを比較し、予測
誤差ＰＥ２が最小値ＭＩＮ＿ＰＥより小さければ、予測
誤差ＰＥ２を新たに最小値ＭＩＮ＿ＰＥとして、そのと
きの動きベクトルとともにレジスタ１１３に格納する。

【０１１２】（４）最後にレジスタ１１３に格納されて
いる動きベクトルを最適な動きベクトルとする。

【０１１３】なお、上記の処理の初期設定として、予測
誤差ＰＥ２の最小値ＭＩＮ＿ＰＥを予測誤差ＰＥ２のと
り得る最大の値としてレジスタ１１３にセットし、レジ
スタ１１０の初期値として更新前の閾値ＴＨをセットす
る。

【０１１４】また、上記（２）で閾値ＴＨが０に設定さ
れた場合の処理は、図１を参照して説明した第１の実施
例と同じである。

【０１１５】以下、上記の方式においてブロックマッチ
ングに必要な計算量について説明する。

【０１１６】ここで、ｓｕｂは減算、ａｄｄは加算、ｏ
ｐｓは計算量を示す。

【０１１７】また、ブロックは大きさが１６×１６の矩
形ブロック、動きベクトルの探索範囲は水平方向、垂直
方向ともに−１５〜＋１５の矩形領域、動きベクトルの
精度は１画素単位であるものと仮定する。

【０１１８】予測誤差としては画素値の差分の絶対値の
和を用いるものとし、Ｌ１＝１６、Ｌ２＝２５６と仮定
すると、上記の処理で必要となる計算量は、 予測誤差ＰＥ１の計算：１６（ｓｕｂ）＋１５（ａｄ
ｄ）＝３１ｏｐｓ 予測誤差ＰＥ１と閾値ＴＨの比較：１ｏｐｓ 予測誤差ＰＥ２の計算：２４０（ｓｕｂ）＋２４０（ａ
ｄｄ）＝４８０ｏｐｓ 予測誤差ＰＥ２と最小値の比較：１ｏｐｓ となるので、予測誤差が求められるブロックの数をα
（＜Ｍ）とすると、 （３１＋１）×３１² ＋（４８０＋１）×α＝３０７５２＋４８１αｏｐｓ となる。

【０１１９】最大値は、３０７５２＋４８１Ｍｏｐｓで
ある。

【０１２０】以上のことから、予測誤差ＰＥ１が閾値Ｔ
Ｈ以下のＭ個以下の候補ブロックに対してのみ、予測誤
差ＰＥ２を求めることにより計算量をフルサーチより少
なく、しかも一定値以下に削減することができる。

【０１２１】次に、本発明にてなる動きベクトル検出回
路の第４の実施例を図８を参照して説明する。

【０１２２】図８は動きベクトル検出回路の第４の実施
例を示すブロック図である。

【０１２３】本実施例の動きベクトル検出回路は、図５
を参照して説明した第２の実施例に、予測誤差ＰＥ１と
閾値ＴＨとを比較する比較部８０１を付加するものであ
る。

【０１２４】比較部８０１は、予測誤差ＰＥ１と閾値Ｔ
Ｈを比較する。

【０１２５】なお、予測誤差ＰＥ１が閾値ＴＨ１より大
きく閾値ＴＨ２以下である候補ブロックの中から（Ｍ−
ｍ）個の候補ブロックを選出する手段としては、動きベ
クトル発生部１１５において、対応する動きベクトルが
早く発生する候補ブロックを選ぶものとする。

【０１２６】以下に処理手順を説明する。

【０１２７】（０）カウンタ５０３を０、予測誤差ＰＥ
１の閾値をＴＨ、予測誤差ＰＥ２を求める候補ブロック
の数の最大値をＭ（＜Ｎ）とする。

【０１２８】（１）予測誤差演算部１０５で、ブロック
内のＬ１（＜Ｌ）個の画素を用いて予測誤差ＰＥ１を求
め、比較部８０１で予測誤差ＰＥ１と閾値ＴＨを比較
し、予測誤差ＰＥ１が閾値ＴＨ以下であれば、予測誤差
ＰＥ１をメモリ１０９に格納するとともに、ヒストグラ
ムメモリ１０６の予測誤差ＰＥ１が属す位置の値をイン
クリメントする処理を、全ての候補ブロックに対して、
動きベクトル発生部１１５が動きベクトルを発生する順
番に従って実施する。

【０１２９】（２）ヒストグラムメモリ１０６に対し
て、累積値演算部１０７で予測誤差ＰＥ１の小さい方か
ら頻度を累積加算し、比較部１０８でその累積値をＭと
比較する処理を、累積値がＭ以上になるまで繰り返し、
累積値がＭ以下である最大の予測誤差ＰＥ１の値を閾値
ＴＨ１としてレジスタ１１０に格納するとともに、その
時の累積値をｍとし、減算部５０１でＭからｍを減算し
た結果をレジスタ５０２に格納する。

【０１３０】また、累積値がＭ以上になる最小の予測誤
差ＰＥ１の値を閾値ＴＨ２としてレジスタ１１０に格納
する。

【０１３１】ｍがＭに等しい場合はＴＨ２はＴＨ１に等
しくなる。

【０１３２】ヒストグラム全体の累積値がＭ以下である
場合は、ＴＨ１＝ＴＨ２＝ＴＨとする。

【０１３３】（３）比較部１１１で、メモリ１０９に格
納されている予測誤差ＰＥ１を順番に閾値ＴＨ１および
閾値ＴＨ２と比較し、予測誤差ＰＥ１が閾値ＴＨ１以下
であれば、その候補ブロックに対して、予測誤差演算部
１０５でＬ２（Ｌ１＜Ｌ２≦Ｌ）個の画素を用いて予測
誤差ＰＥ２を求める。

【０１３４】予測誤差ＰＥ１が閾値ＴＨ１より大きく閾
値ＴＨ２以下であれば、カウンタ５０３をインクリメン
トし、比較部５０４でカウンタ５０３の値とレジスタ５
０２の値を比較し、カウンタ５０３の値がレジスタ５０
２の値以下であれば、その候補ブロックに対して予測誤
差ＰＥ２を求める。すなわち、予測誤差ＰＥ１が閾値Ｔ
Ｈ１より大きく閾値ＴＨ２以下である候補ブロックの中
で、動きベクトル発生器１１５において、対応する動き
ベクトルが早く発生する（Ｍ−ｍ）個の候補ブロックに
対してのみ、予測誤差ＰＥ２を求めることなる。

【０１３５】なお、予測誤差ＰＥ２を求める際、比較部
１１２で予測誤差ＰＥ２と最小値ＭＩＮ＿ＰＥを比較
し、予測誤差ＰＥ２が最小値ＭＩＮ＿ＰＥより小さけれ
ば、予測誤差ＰＥ２を新たに最小値ＭＩＮ＿ＰＥとし
て、そのときの動きベクトルとともにレジスタ１１３に
格納する。

【０１３６】（４）最後にレジスタ１１３に格納されて
いる動きベクトルを最適な動きベクトルとする。

【０１３７】なお、上記の処理の初期設定として、予測
誤差ＰＥ２の最小値ＭＩＮ＿ＰＥを予測誤差ＰＥ２のと
り得る最大の値としてレジスタ１１３にセットし、閾値
ＴＨ１、閾値ＴＨ２として閾値ＴＨをレジスタ１１０に
セットする。

【０１３８】以下、上記の方式においてブロックマッチ
ングに必要な計算量について説明する。

【０１３９】ここで、ｓｕｂは減算、ａｄｄは加算、ｏ
ｐｓは計算量を示す。

【０１４０】また、ブロックは大きさが１６×１６の矩
形ブロック、動きベクトルの探索範囲は水平方向、垂直
方向ともに−１５〜＋１５の矩形領域、動きベクトルの
精度は１画素単位であるものと仮定する。

【０１４１】予測誤差としては画素値の差分の絶対値の
和を用いるものとし、Ｌ１＝１６、Ｌ２＝２５６と仮定
すると、上記の処理で必要となる計算量は、 予測誤差ＰＥ１の計算：１６（ｓｕｂ）＋１５（ａｄ
ｄ）＝３１ｏｐｓ 予測誤差ＰＥ１と閾値ＴＨの比較：１ｏｐｓ 予測誤差ＰＥ１と閾値ＴＨ１の比較：１ｏｐｓ 予測誤差ＰＥ１と閾値ＴＨ２の比較：１ｏｐｓ 予測誤差ＰＥ２の計算：２４０（ｓｕｂ）＋２４０（ａ
ｄｄ）＝４８０ｏｐｓ 予測誤差ＰＥ２と最小値の比較：１ｏｐｓ となるので、全画素についての予測誤差が求められるブ
ロックの数をα（＜Ｍ）とすると、 （３１＋１＋１＋１）×３１² ＋（４８０＋１）×α＝３２６７４＋４８１α ｏｐｓ となる。

【０１４２】最大値は、３２６７４＋４８１Ｍｏｐｓで
ある。

【０１４３】実際には、予測誤差ＰＥ１と閾値ＴＨ２の
比較は、予測誤差ＰＥ１が閾値ＴＨ１より大きい候補ブ
ロックに対してのみ行えばよく、また、予測誤差ＰＥ１
が閾値ＴＨ１より大きく、閾値ＴＨ２以下である候補ブ
ロックから（Ｍ−ｍ）個が選び出されたら、それ以降は
実行しなくてよい。

【０１４４】以上のことから、予測誤差ＰＥ１が閾値Ｔ
Ｈ２以下のＭ個以下の候補ブロックに対してのみ、予測
誤差ＰＥ２を求めることにより、計算量をフルサーチよ
り少なく、しかも一定量以下に削減することができる。

【０１４５】上記の方式を現在ＩＳＯで標準化作業が進
められている動画像符号化方式ＭＰＥＧ２の動きベクト
ル検出部分に適用した場合についての結果を示す。

【０１４６】ここでは、予測誤差ＰＥ１を求める際、図
９に示す位置にある１６個の画素を用い、Ｍは７０とし
た。

【０１４７】なお、シーケンス１はパンニングをともな
う２秒間の動画像、シーケンス２は平滑領域が多く、ズ
ーミングをともなう２秒間の動画像である。

【０１４８】（１）ＰＥ１と閾値の比較により削除され
る候補ブロックの割合（単位：％） シーケンス１：９５．９３ シーケンス２：９３．
４７ （２）再生画像の輝度信号のＳＮＲ（単位：ｄｂ） 参考のために、フルサーチの結果も併記する。

【０１４９】（）内の値はフルサーチとの差である。

【０１５０】 以上の結果から、本方式は、フルサーチと比較して計算
量を約９０％削減しても、再生画像の画質（ＳＮＲ）が
ほぼ同等の動きベクトルが得られることがわかる。

【０１５１】

【発明の効果】以上説明したように、本発明にてなる動
きベクトル検出回路を用いれば、ブロックマッチングに
必要な計算量を大きく削減でき、かつフルサーチとほぼ
同等の精度の非常に高い動きベクトルを求めることがで
きる。

【図面の簡単な説明】

【図１】本発明にてなる動きベクトル検出回路の第１の
実施例のブロック図である。

【図２】横軸を予測誤差ＰＥ１とするヒストグラムを示
す図である。

【図３】第１の実施例における閾値ＴＨの決め方を説明
するための図である。

【図４】予測誤差ＰＥ１の最小値を求める手段のブロッ
ク図である。

【図５】本発明にてなる動きベクトル検出回路の第２の
実施例のブロック図である。

【図６】第２の実施例における閾値ＴＨ１、閾値ＴＨ２
の決め方を説明するための図である。

【図７】本発明にてなる動きベクトル検出回路の第３の
実施例のブロック図である。

【図８】本発明にてなる動きベクトル検出回路の第４の
実施例のブロック図である。

【図９】Ｌ１個の画素についての予測誤差を求める際に
用いる画素の一例を示す図である。

【符号の説明】

１０１ アドレス発生器 １０２ アドレス発生器 １０３ メモリ １０４ メモリ １０５ 予測誤差演算部 １０６ ヒストグラムメモリ １０７ 累積値演算部 １０８ 比較部 １０９ メモリ １１０ レジスタ １１１ 比較部 １１２ 比較部 １１３ レジスタ １１４ 制御部 １１５ 動きベクトル発生部 ４０１ 比較部 ４０２ レジスタ ５０１ 減算部 ５０２ レジスタ ５０３ カウンタ ５０４ 比較部 ７０１ 比較部 ８０１ 比較部

フロントページの続き (56)参考文献 特開 平５−40828（ＪＰ，Ａ) 特開 平２−256385（ＪＰ，Ａ) 特開 平３−40687（ＪＰ，Ａ) 特開 昭63−116584（ＪＰ，Ａ) 特開 平４−207790（ＪＰ，Ａ) 特開 昭60−116081（ＪＰ，Ａ) (58)調査した分野(Int.Cl.⁶，ＤＢ名) H04N 5/14 - 5/217

Claims (4)

(57)【特許請求の範囲】
1. 【請求項１】 動き補償予測を用いる動画像符号化の
   際、Ｌ個の画素からなるブロックを単位として、予測対
   象画像内の１個の該ブロックに対して、参照画像内のＮ
   個の候補となる該ブロックとの間でブロックマッチング
   を行い動きベクトルを検出する動きベクトル検出回路に
   おいて、 ブロック内のＬ１（＜Ｌ）個の画素を用いて予測誤差Ｐ
   Ｅ１を求める処理を、全ての候補ブロックに対して行う
   手段と横軸を予測誤差ＰＥ１とするヒストグラムを作成
   する手段と、 予測誤差ＰＥ１の小さい方から頻度を蓄積し、その蓄積
   値がＭ（＜Ｎ）以下である最大の予測誤差ＰＥ１を閾値
   ＴＨとし、ブロック内のＬ２（Ｌ１＜Ｌ２≦Ｌ）個の画
   素を用いて予測誤差ＰＥ２を求める処理を、予測誤差Ｐ
   Ｅ１が閾値ＴＨ以下である候補ブロックに対してのみ行
   う手段とを具備してなり、予測誤差ＰＥ２が最小となる
   候補ブロックへの動きベクトルを最適な動きベクトルと
   することを特徴とする動きベクトル検出回路。
2. 【請求項２】 請求項１に記載の動きベクトル検出回路
   において、 予測誤差ＰＥ２を求める手段が、予測誤差ＰＥ１の小さ
   い方からヒストグラムの頻度を蓄積し、その蓄積値がＭ
   以下である最大の予測誤差ＰＥ１を閾値ＴＨ１、その時
   の累積値をｍ、累積値がＭ以上になる最小の予測誤差Ｐ
   Ｅ１を閾値ＴＨ２とし、予測誤差ＰＥ２を求める処理
   を、予測誤差ＰＥ１が閾値ＴＨ１以下であるｍ個の候補
   ブロック、および予測誤差ＰＥ１が閾値ＴＨ１より大き
   く閾値ＴＨ２以下である候補ブロックの中の（Ｍ−ｍ）
   個の候補ブロックに対してのみ行うように構成されてい
   ることを特徴とする動きベクトル検出方式。
3. 【請求項３】 請求項１に記載の動きベクトル検出回路
   において、 予測誤差ＰＥ２を求める手段が、予測誤差ＰＥ１が閾値
   ＴＨ以下である候補ブロックに関して、横軸を予測誤差
   ＰＥ１とするヒストグラムを作成し、予測誤差ＰＥ１の
   小さい方からヒストグラムの頻度を蓄積して、その蓄積
   値がＭ以下である最大の予測誤差ＰＥ１を新たに閾値Ｔ
   Ｈとし、予測誤差ＰＥ２を求める処理を、予測誤差ＰＥ
   １が閾値ＴＨ以下である候補ブロックに対してのみ行う
   ように構成されていることを特徴とする動きベクトル検
   出回路。
4. 【請求項４】 請求項３に記載の動きベクトル検出回路
   において、 予測誤差ＰＥ２を求める手段が、予測誤差ＰＥ１の小さ
   い方からヒストグラムの頻度を蓄積し、その蓄積値がＭ
   以下である最大の予測誤差ＰＥ１を閾値ＴＨ１、その時
   の蓄積値をｍ、蓄積値がＭ以上になる最小の予測誤差Ｐ
   Ｅ１を閾値ＴＨ２とし、予測誤差ＰＥ２を求める処理
   を、予測誤差ＰＥ１が閾値ＴＨ１以下であるｍ個の候補
   ブロック、および予測誤差ＰＥ１が閾値ＴＨ１より大き
   く閾値ＴＨ２以下である候補ブロックの中の（Ｍ−ｍ）
   個の候補ブロックに対してのみ行うように構成されてい
   ることを特徴とする動きベクトル検出回路。