JP3155509B2 - 動きベクトル探索方法および動きベクトル探索装置ならびに動きベクトル探索プログラムを記憶した記憶媒体 - Google Patents

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、国際標準規格であ
るＭＰＥＧ１， ＭＰＥＧ２， Ｈ２６１，Ｈ２６３等
の画像符号化アルゴリズムで用いられ、ある動画像中の
画素ブロックが他の動画像中のどの位置から動いてきた
かをベクトルで表現する動きベクトルを探索するための
技術に関する。

【０００２】

【従来の技術】以下、模式的説明図を参照して従来の各
種の動きベクトル探索方法について説明する。図１は、
動きベクトルを求める対象であるテンプレート１と、動
きベクトルの探索範囲である探索領域２を模式的に示し
たもので、テンプレート１は、ある画像中の画素ブロッ
ク、探索領域２は、テンプレート１より大きな、他の画
像中の画素ブロックである。また、図中、△３は、テン
プレート１を構成する画素、○４は、探索領域２を構成
する画素である。

【０００３】図１では、探索領域２の上にテンプレー卜
１を重ねて示しているので、重なり部分の探索領域中の
画素○４は表示していない。なお、以下、水平方向の画
素数の単位を「画素」、垂直方向の画素数の単位をライ
ンと称する。したがって、図１に示すテンプレー卜１は
４画素×４ライン、探索領域２は、１１画素×１１ライ
ンである。

【０００４】さて、テンプレート１に対する動きベクト
ルを探索するための従来の第１の手法である「全探索
法」について説明する。この手法では、探索領域２か
ら、テンプレート１と同じ大きさの４画素×４ラインの
領域を順次切り出し、この切り出した領域の各画素の画
素値と、テンプレート１の対応する画素の画素値との間
で、順次、差分絶対値や差分二乗値等を求めていって、
この求めた値の各画素についての総和を、切り出した領
域毎に求めていく。

【０００５】すなわち、探索領域２において、左上から
右下に渡って、４画素×４ラインの領域を１画素または
１ラインずつづらしていくと、探索領域２は、１１画素
×１１ラインであるので、合計８×８＝６４個の領域
が、テンプレート１との間で演算（差分絶対値や差分二
乗値等を求める演算）を行う対象となる。そして、演算
結果が最小となる領域から、このテンプレート１が移動
してきたものとして動きベクトルを求める。

【０００６】図１において、テンプレー卜１に対応する
位置の画素ブロックの動きベクトルを（０，０）とする
と、動きベクトルがとりうる値の範囲は、水平方向、垂
直方向ともに「−４〜＋３」である。これは、図１を参
照すれば分かるように、テンプレー卜１が、水平方向及
び垂直方向の夫々において、一方側に３画素（または３
ライン）分、他方側に４画素（または４ライン）分、移
動しうることによる。

【０００７】そして、例えば、領域５の演算値（差分絶
対値和、差分二乗値和等）が最小であった場合、図１を
参照すると、その動きベクトルは（２，２）となる。以
上が動きベクトルを求める原理説明であるが、図２の模
式図を参照して、この動きベクトル探索を一般化したも
のについて説明する。

【０００８】ある画像中のテンプレート６の大きさをａ
画素×ｂライン、他の画像中における探索領域７の大き
さをｃ画素×ｄライン（ｃ≧ａ、ｄ≧ｂ）、テンプレー
ト６に対応した探索領域７の中心の画素ブロックの動き
ベクトルを「（０，０）」とすると、動きベクトルがと
りうる値の範囲は、「水平方向：−（ｃ−ａ）／２〜
（ｃ−ａ）／２＋１、垂直方向：−（ｄ−ｂ）／２〜
（ｄ−ｂ）／２＋１」であり、「（ｃ−ａ＋１）×（ｄ
−ｂ＋１）個」の動きベクトルを評価する必要がある。
因みに、図２に示した左上角のブロック８の動きベクト
ルは（（ｃ−ａ）／２−１，（ｄ−ｂ）／２−１）、右
下角のブロック９の動きベクトルは（−（ｃ−ａ）／
２，−（ｄ−ｂ）／２）である。なお、動きベクトルを
求めるための動きベクトル探索演算式として、以下では
差分絶対値和を用いる場合のみについて説明する。もち
ろん、他の演算式として、差分二乗値和等の評価式を用
いることも考えられる。

【０００９】さて、このような全探索法を採用すると、
図１の探索領域２を探索するには、６４×１６＝１０２
４回（１６画素からなる１領域を６４個切り出す）の差
分絶対値を計算する必要があり、膨大な演算量となるた
め、演算量を削減するために、第２の従来技術として、
まず、サブサンプリングによって得られた縮小画像上で
動きを評価し、次に、その結果得られた動きベクトルを
初期値として、狭い範囲のみでの探索を行う技術も提案
されていた。

【００１０】これを図３の模式図を参照して説明する。
図３は、２画素×２ライン当たり１画素サブサンプリン
グするとき、このサブサンプリングで取り出される画素
を模式的に示した図面である。▲１０、●１１は夫々、
テンプレート１、探索領域２からサブサンプリングされ
る画素を示している。

【００１１】まず、サブサンプリングで縮小画像を求
め、元の画像上で初期値周りの「−１〜＋１」の範囲を
探索する場合、縮小画像上で１６×４＝６４回（４画素
からなる１領域を１６個切り出す）の差分絶対値計算が
必要であり、元の画像上で９×１６＝１４４回の差分絶
対値計算が必要である。したがって、演算量の合計は、
２０８回（６４回＋１４４回）となり、全探索法に比べ
ると大幅に演算量が削減される。

【００１２】なお、このような縮小画像を用いた動きベ
クトル探索方法については、例えば、「N.Hayasi,T.Kit
ui,L Tamitani,H.Honma,Y.Ooi,T.Miyazaki, K.OobuchI;
“Abiderectional motion compensation LSI with a co
mpact motion estimator”IEICE Trans.Electron,E78-
C,12,pp. 1682-1690,Dec.1995」等の文献に記載されて
いる。

【００１３】また、上記技術の拡張として、広大な探索
範囲を実現するために、４画素×２ライン当たり１画
素、または４画素×４ライン当たり１画素サブサンプリ
ングしてさらに解像度を下げた縮小画像上で探索を行う
ことも考えられる。

【００１４】また、動画像は、時間的に連続した複数の
画像からなるが、時間的に離れた画像間で動きベクトル
を求める場合には、物体が動く範囲が広くなるため、広
い範囲を探索して動きベクトルを求めなければならない
が、このような場合に演算量を削減するため、第３の従
来技術として、テレスコピック探索法が提案されてい
る。

【００１５】このテレスコピック探索法について図４の
模式図を参照して説明する。図４中の画像１２、１３、
１４、１５は時間的に連続した４枚の画像であり、画像
１５が現在の画像であり、画像１２、画像１３、およ
び、画像１４は夫々、３画面前、２画面前、１画面前の
画像である。矩形ブロック１６は、画像１２から画像１
３へ動きベクトルｍｖ１で移動しており、同様に、画像
１３から画像１４、画像１４から画像１５へ夫々動きベ
クトルｍｖ２、ｍｖ３で移動している。このとき、画像
１２から画像１５への矩形ブロック１６の動きベクトル
は「ｍｖ１＋ｍｖ２＋ｍｖ３」となる。テレスコピック
探索法では、画像１２から画像１５への動きベクトルを
求めるために、画像１５中の矩形ブロック１６をテンプ
レートとして最初に画像１４中の領域１７を探索して動
きベクトルｍｖ３を検出する。このとき、領域１７の中
心の動きベクトルは（０，０）である。

【００１６】次に、画像１３中の領域１８を探索して動
きベクトルｍｖ２を検出する。矩形ブロック１６の画像
１４から画像１５への動きベクトルを考量すると、領域
１８の中心の動きベクトルはｍｖ３である。最後に、画
像１２中の領域１９を探索して動きベクトルｍｖ１を検
出する。矩形ブロック１６の画像１３から画像１４への
動きベクトルも考量すると、領域１９の中心の動きベク
トルは「ｍｖ３＋ｍｖ２」である。

【００１７】このように、この第３の従来技術では、隣
接した画像中の狭い領域で動きベクトルを求め、それを
初期値として次の隣接画像中の狭い領域で動きベクトル
を求めることを繰り返し、時間的に離れた画像間での動
きベクトルの探索を行っていた。なお、演算量を削減す
るために、上述したサブサンプリング法とテレスコピッ
ク探索法を組み合わせることも提案されていて、例え
ば、「K.Suguri,T.Minami,H.Matuda,R.Kusaba,T.Kondo,
R.Kasai,T.Watanabe,H.Sato,N.Shibata,Y.Tashiro,T.Iz
uoka,A.Shimiz,H.Kotera,“A real-time motion estima
tion and compensation LSI with wide search range f
or MPEG2 video encoding,”IEEE J.Solid-State Circu
its,vol. 31, no. 11, pp.1733-1741, Nov.1996」に記
載されている。

【００１８】しかしながら、従来、探索精度の最も高い
全探索法を用いても動きベクトルを正確に求めることが
できなかった。そのため、動きの小さな画像と動きの大
きな画像が混在している場合に、動きの大きな画像の画
質を良くするために探索範囲を広くして探索を行うと、
動きの小さな画像では誤検出が生じて動きベクトルが正
確に求まらない確率が高くなっていた。

【００１９】また、テンプレートとその周囲のブロック
が一定の方向に平行移動している画像であっても、ノイ
ズ等のため、動きベクトルの誤検出が生じ、探索処理の
結果、テンプレートとその周囲のブロックの動きベクト
ルが同一とはならない（適宜「動きベクトルがばらつ
く」と表現する）という問題があった。この動きベクト
ルのばらつきは符号化効率の低下を引き起こし、動画像
の画質の劣化を招いてしまう。

【００２０】さらに、演算量を削減して探索範囲を広く
するために、サブサンプリング法やテレスコピック探索
法を用いると、前者では、画素間引きによる検出精度の
低下が必然的に生じ、また、後者によれば、一旦誤検出
が発生すると、誤検出した動きベクトルに基づいて次の
探索を行うため正確な動きベクトルが求まらず、両者と
も、動きベクトルのばらつきが発生する確率は、全探索
法よりもさらに大きかった。

【００２１】

【発明が解決しようとする課題】本発明は、このような
従来の課題を解決するためになされたもので、その目的
は、正確に動きベクトルを探索する手段を提供する点に
あり、より具体的には、動画像中に動きの大きな領域と
動きの小さな領域が混在する場合であっても、動きの小
さな領域については探索範囲を狭くして動きベクトルの
ばらつきを抑え、動きの大きな領域においては探索範囲
を広くすることによって正確に動きベクトルを求める手
段を提供する点にある。

【００２２】

【課題を解決するための手段】上記課題を解決するため
に、請求項１記載の動きベクトル探索方法は、２段階の
動きベクトル探索演算を用いて、注目するテンプレート
と同一の大きさの画素ブロック群の間で所定の演算によ
り動きを評価し、テンプレートについて動画像内におけ
る動きベクトルを求める方法であって、ある動きベクト
ルを動きベクトル探索演算の探索初期値として予測して
おいて、この予測した動きベクトルに対応した画素ブロ
ックを含み、かつ、1個以上の前記画素ブロックからな
る第１の領域を想定し、この第１の領域を構成する画素
の画素値と前記テンプレートを構成する画素の画素値と
の間で、第１の段階の動きベクトル探索演算を行う第１
のステップと、この演算結果が所定値より小さいこと、
および、前記第１ステップの動きベクトル探索演算によ
って動きベクトルが検出されたと想定したとき、この動
きベクトルで示される画素ブロックが前記第１の領域の
周辺部に存在しないこととを満足する場合には、この演
算結果から動きベクトルを求め、一方、この演算結果が
所定値以上である場合、又は、前記第１ステップの動き
ベクトル探索演算によって動きベクトルが検出されたと
想定したとき、この動きベクトルで示される画素ブロッ
クが前記第１の領域の周辺部に存在する場合には、第２
のステップへ処理を進める中間ステップと、前記第１の
領域を完全に含む大きさの第２の領域を想定し、この第
２の領域を構成する画素の画素値と前記テンプレートを
構成する画素の画素値との間で、第２段階の動きベクト
ル探索演算を行って、この演算結果から動きベクトルを
求める第２のステップとを含むことを特徴としている。

【００２３】また、請求項２記載の発明は、請求項１に
おいて、前記第１のステップにおける探索初期値として
の予測する動きベクトルとして、動きがないことを意味
する動きベクトル＝（０，０）を採用することを特徴と
している。

【００２４】また、請求項３記載の発明は、請求項１に
おいて、前記第１のステップにおける探索初期値として
の予測する動きベクトルとして、前記注目するテンプレ
ートに隣接する、いずれかのテンプレートに対して求ま
っている動きベクトルを採用することを特徴としてい
る。

【００２５】また、請求項４記載の発明は、請求項１に
おいて、前記第１のステップにおける探索初期値として
の予測する動きベクトルとして、注目するテンプレート
の左隣のテンプレートに対して求まっている動きベクト
ルを採用することを特徴としている。

【００２６】また、請求項５記載の発明は、３段階の動
きベクトル探索演算を用いて、注目するテンプレートと
同一の大きさの画素ブロック群の間で所定の演算により
動きを評価し、テンプレートについて動画像内における
動きベクトルを求める方法であって、動きベクトル＝
（０，０）を初期値として、動きベクトル＝（０，０）
の画素ブロックを１個以上含む大きさの第１の領域を想
定し、この第１の領域を構成する画素の画素値と前記テ
ンプレートを構成する画素の画素値との間で、第１の段
階の動きベクトルの探索演算を行うとともに、前記注目
するテンプレートに隣接するいずれかのテンプレートに
対して求まっている動きベクトルを初期値とする第３の
領域で第２段階の前記動きベクトルの探索演算を行って
動きベクトルを探索する第１のステップと、両演算結果
を参照し、予め定められている規則にしたがって、いず
れかの演算結果を選択し、この選択した演算結果が所定
値より小さいこと、および、前記第１ステップの動きベ
クトル探索演算によって動きベクトルが検出されたと想
定したとき、この動きベクトルで示される画素ブロック
が前記第１の領域または第３の領域の周辺部に存在しな
いこととを満足する場合には、この演算結果から動きベ
クトルを求め、一方、この演算結果が所定値以上である
場合、又は、前記第１ステップの動きベクトル探索演算
によって動きベクトルが検出されたと想定したとき、こ
の動きベクトルで示される画素ブロックが前記第１の領
域の周辺部に存在する場合には、第２のステップへ処理
を進める中間ステップと、前記第１の領域と第３の領域
を完全に含む大きさの第２の領域を想定し、この第２の
領域を構成する画素の画素値と前記テンプレートを構成
する画素の画素値との間で、第３段階の動きベクトル探
索演算を行って、この演算結果から動きベクトルを求め
る第２のステップとを含むことを特徴としている。

【００２７】また、請求項６記載の動きベクトル探索装
置は、３段階の動きベクトル探索演算を用いて、注目す
るテンプレートと同一の大きさの画素ブロック群の間で
所定の演算により動きを評価し、テンプレートについて
動画像内における動きベクトルを求める装置であって、
動画像を記憶するための記憶手段と、該記憶手段の記憶
内容を参照して動きベクトル探索を行う探索処理手段と
を備え、この探索処理手段は、動きベクトル＝（０，
０）を初期値として、動きベクトル＝（０，０）の画素
ブロックを１個以上含む大きさの第１の領域を想定し、
この第１の領域を構成する画素の画素値と前記テンプレ
ートを構成する画素の画素値との間で、第１の段階の動
きベクトルの探索演算を行うとともに、前記注目するテ
ンプレートに隣接するいずれかのテンプレートに対して
求まっている動きベクトルを初期値とする第３の領域で
第２段階の前記動きベクトルの探索演算を行って動きベ
クトルを探索する第１の手段と、両演算結果を参照し、
予め定められている規則にしたがって、いずれかの演算
結果を選択し、この選択した演算結果が所定値より小さ
いこと、および、前記第１ステップの動きベクトル探索
演算によって動きベクトルが検出されたと想定したと
き、この動きベクトルで示される画素ブロックが前記第
１の領域または第３の領域の周辺部に存在しないことと
を満足する場合には、この演算結果から動きベクトルを
求め、一方、この演算結果が所定値以上である場合、又
は、前記第１ステップの動きベクトル探索演算によって
動きベクトルが検出されたと想定したとき、この動きベ
クトルで示される画素ブロックが前記第１の領域の周辺
部に存在する場合には、第２の手段へ制御を移す中間手
段と、前記第１の領域と第３の領域を完全に含む大きさ
の第２の領域を想定し、この第２の領域を構成する画素
の画素値と前記テンプレートを構成する画素の画素値と
の間で、第３段階の動きベクトル探索演算を行って、こ
の演算結果から動きベクトルを求める第２の手段とを含
むことを特徴としている。

【００２８】なお、動きベクトル探索演算としては、公
知のアルゴリズムである、差分絶対値和や差分二乗値和
を求める演算が挙げられる。

【００２９】また、上記の動きベクトル探索方法は、例
えば、プログラムとして記憶媒体に記憶しておいて、コ
ンピュータがこのプログラムを読み取って実行するよう
にして実現可能である。

【００３０】なお、コンピュータは、例えば、記憶媒体
に記憶されているプログラムにしたがった動作を行うＣ
ＰＵ（中央処理装置）やＲＡＭを有して構成可能であ
り、記憶媒体としては、例えば、ＣＤＲＯＭ、ＤＶＤＲ
ＯＭ等の光記憶媒体、フレキシブルディスク等の磁気記
憶媒体、ＩＣカード、ＲＯＭ等の半導体記憶媒体、ＭＯ
等の光磁気記憶媒体が挙げられる。

【００３１】また、上記の動きベクトル探索装置に制御
手段（制御部）を設けた構成にして、この制御手段が探
索処理手段の駆動制御、求めた動きベクトルの装置外部
への出力等を行うようにしてもよい。

【００３２】

【発明の実施の形態】以下、本発明の実施形態を図面を
参照しつつ説明する。

【００３３】図５は、動きベクトル探索装置１００の一
構成例を示すブロック図であり、この動きベクトル探索
装置１００は、動画像を記憶するための画像メモリ３０
と、動きベクトルの探索を行う探索処理部２５と、与え
られた指令に基づいて探索処理部２５を駆動制御して、
求めた動きベクトルを装置外部に出力する制御部１１０
とを有している。

【００３４】この動きベクトル探索装置１００は、半導
体技術を用いてＬＳＩ化することによってハードウエア
のみによって実現することが可能であることはもちろん
のこと、各構成要素を、例えば、動作プログラムを内蔵
するＲＯＭ等の記憶媒体、動作プログラムにしたがった
動作を行うＣＰＵ（中央処理装置）、ワークエリアや記
憶エリアを有するＲＡＭ等の電子デバイスで実現するこ
とも可能である。

【００３５】すなわち、この動きベクトル探索装置１０
０を、記憶媒体に記憶したプログラムにしたがって動作
を行う１台のコンピュータシステムで実現することも可
能である。

【００３６】以下、この動きベクトル探索装置１００を
使用して動きベクトル探索を行う実施の形態を説明す
る。

【００３７】（第１の実施形態） 図６は、第１の実施形態にかかる処理を示すフローチャ
ートであり、まず、このフローチャートで動作概要を説
明し、その後、模式的説明図でこの実施形態にかかる処
理を説明する。

【００３８】まず、ステップＳ６００において、指令を
与えられた制御部１１０に起動制御された探索処理部２
５は、画像メモリ３０が記憶している動画像の情報を参
照して、テンプレートと同じ大きさの画素ブロックを１
個以上含む大きさを有する第１の領域内での動きベクト
ルの探索を行う。この探索は、テンプレートを構成する
画素と第１の領域を構成する画素との、対応する画素の
画素値に基づいて差分絶対値を求めることや、求めた動
きベクトルで示される画素ブロックが、前記第１の領域
の周辺部に存在しないことを調べる。

【００３９】そして、ステップＳ６０５において、探索
処理部２５は周辺部判定を行って、求めた動きベクトル
で示される画素ブロックが第１の領域の周辺部に存在し
ない場合（ＯＫ）には、ステップＳ６１０に進み、これ
以外の場合（ＮＧ）には、ステップＳ６２０に進む。

【００４０】ステップＳ６１０では、探索処理部２５
は、差分絶対値和が、予め定めたしきい値よりも小さい
ものがあると判定した場合（ＯＫ）には、この差分絶対
値和に対応する画素ブロックの位置を移動元とした動き
ベクトルを、制御部１１０を介して出力して処理を終了
し、これ以外の場合（ＮＧ）には、ステップＳ６２０に
進む。そして、ステップＳ６２０では、第１の領域を完
全に含む第２の領域において、探索処理部２５は、画像
メモリ３０が記憶している動画像の情報を参照して、動
きベクトルの探索を行う。探索処理部２５によって探索
された動きベクトルは、制御部１１０を介して装置外部
に出力される。さらに、ステップＳ６２０で得られた動
きベクトルの差分絶対値和が予め定めた第２のしきい値
よりも大きいときは、動きベクトルが検出できなかった
という信号が制御部１１０を介して出力される。

【００４１】なお、もちろん、周辺部判定（Ｓ６０５）
を行わず、ステップＳ６００において、第１の領域で探
索を行った後、直ちにステップＳ６１０のしきい値判定
を行う形態も考えられる。この場合には、画質は多少劣
化するが、演算量が減少する。これは、以下で示す第
２、第３、そして、第４の実施形態でも同様である。

【００４２】以上の処理を図７の模式図を参照して説明
する。領域２１は動きベクトル＝（０，０）の、テンプ
レートと同一の大きさ（ａ画素×ｂライン）のブロック
２０を中心としたｅ画素×ｆライン（ｃ≧ｅ≧ａ、ｄ≧
ｆ≧ｂ）の狭い領域（第１の領域）、領域２２は動きベ
クトル＝（０，０）のブロック２０を中心とし、領域２
１を含むｃ画素×ｄラインの広い領域（第２の領域）で
ある。但し、ｃ＝ｅ，ｄ＝ｆが同時に成立するときは、
両領域が一致するので除くものとする。

【００４３】第１の実施形態では、まず、狭い領域２１
内で動きベクトルの探索を行って、その結果、検出され
た動きベクトルで示される画素ブロックが、領域２１の
周辺部（領域２１の縁部を意味する。；本願における周
辺部の詳細な定義については後述する。）に存在せず、
かつ、該動きベクトルに対する探索演算結果が所定のし
きい値よりも小さい（類似度合い（尤度）が所定のしき
い値よりも高い）ときには、該動きベクトルを正しいと
して探索を終了する。なお、しきい値は探索開始前に設
定しておくことが多いが、探索途中でしきい値を変更す
ることも可能である。

【００４４】次に、動きベクトルで示される画素ブロッ
クが領域２１の周辺部に存在する場合、または、動きベ
クトルの演算結果が所定のしきい値よりも大きいときに
（尤度が所定のしきい値よりも低いときに）、始めて領
域２２を探索する。なお、動きベクトルで示される画素
ブロックが領域２１の周辺部に存在する場合に必ず領域
２２を探索するのは、領域２１の外に正しい動きベクト
ルが存在する可能性が高いためである。

【００４５】ここで、動きベクトルで示される画素ブロ
ックが領域の周辺部に存在するとはいかなることかを、
図１、図８を参照して説明する。図１の場合、テンプレ
ートの大きさが４画素×４ラインであるため、１１画素
×１１ラインの探索範囲を６４個の画素ブロックに分割
して、各面素ブロックとテンプレートとの間の画素値を
用いた差分絶対値演算により、８×８＝６４個の動きベ
クトル候補（図８の○と×で表現する）が動きベクトル
空間内で得られるわけである。この場合、この動きベク
トルのうち、動きベクトル空間の周辺部に存在する動き
ベクトル（図８の○で表現する）が検出されたとき、画
素のブロックが領域の周辺部に存在するという。このよ
うな動きベクトルは、領域外にもっと最適な動きベクト
ル、即ち、差分絶対値和がより小さいものが存在する可
能性が高いため、第１の領域の外も探索することとした
ものである。

【００４６】この第１の実施形態によれば、動きが小さ
い画像の場合には、領域２１の中で動きベクトルが検出
され、必要以上に広い範囲の探索を行うことによって動
きベクトルがばらつくことがない。また、領域２１の中
で動きベクトルを検出できなかったときに始めて領域２
２を探索するため、大きな動きも検出できる。

【００４７】さらに、領域２１の中で動きベクトルが検
出された場合には、狭い範囲の探索のみですむため、演
算量を削減でき、動きベクトル探索装置１００を省電力
機能を有した構成とすることも可能になる。

【００４８】この第１の実施形態では、第１の領域での
探索に、全探索法またはサブサンプリング法を用い、第
２の領域での探索にサブサンプリング法またはテレスコ
ピック法、あるいは、その両者の組み合わせを用いるよ
うにすればよい。もちろん、いかなる探索アルゴリズム
を用いても良い。

【００４９】なお、上記実施形態においては、第１の領
域での探索に対して特に全探索法を用い、第２の領域で
の探索にサブサンプリング法またはテレスコピック法を
用いるようにすることによって、次のような効果を得る
ことができる。すなわち、第１の領域での探索で狭い範
囲を単画素精度で全探索法により詳細に探索し、第２の
領域の探索で広い範囲をサブサンプリング法またはテレ
スコピック探索法により粗く探索することによって、動
きが小さい画像では第１の領域の探索における狭い範囲
の詳細な探索で正確な動きベクトルが検出でき、また、
動きが大きい画像では第２の領域の探索における広い範
囲の探索で動きベクトルを検出できるので大幅な画質の
低下を防ぐことができる。探索精度を粗くすれば、探索
のための演算量が減少するので、ハード量が少なくて済
む。探索精度を単純に粗くすると、画質が大幅に低下す
るが、本発明では動きベクトルが存在する可能性が高い
領域を詳細に探索するため、大幅な画質の低下を防ぐこ
とができる。

【００５０】また、第１の実施形態ではテンプレートの
形状として長方形の例だけを示したが、テンプレートの
形状を楕円や菱型等を含む任意の形状としても本発明の
実施に関し何ら問題とならない。同様に、第１の領域と
第２の領域の形状を長方形に限らず任意の形状とするこ
とも可能であり、第１の領域については、第２の領域に
完全に含まれ、かつ、テンプレートが完全に含まれる大
きさにしてあればよい。

【００５１】（第２の実施形態） この第２の実施形態は、まず、動きベクトル予測を行い
これを初期値として動きベクトル探索を行う点に特徴が
ある。

【００５２】図１１（ａ）は、第２の実施形態にかかる
処理を示すフローチャートであり、まず、このフローチ
ャートで動作概要を説明し、その後、模式的説明図でこ
の実施形態にかかる処理を説明する。

【００５３】まず、ステップＳ１１００において、指令
を受けた制御部１１０は、探索処理部２５を駆動制御し
て動きベクトル予測を行う。以下、ステップＳ６００、
６０５、６１０、６２０での処理は、図６での同一ステ
ップでの処理と変わる点がない。

【００５４】さて、ステップＳ１１００における処理の
具体例を、図９、図１０の模式図で説明する。画像符号
化では画面をテンプレートの大きさに分割し、個々のテ
ンプレートについて動きベクトルを求めるが、図１０
に、画面２４が「８×６＝４８（個）」のテンプレート
に分割される場合を示す。また、画面２４には物体２３
−１が含まれており、物体２３−１は、前述した狭い探
索範囲２１の外で、かつ、広い探索範囲２２の中の範囲
での動きを有して、図面、左上から右下方向へと水平移
動している場合を想定する。

【００５５】この場合、物体２３−１に完全に含まれて
いる６個のテンプレート４３、４４、４５、５１、５
２、５３の動きベクトルは同一のはずであるが、第１の
実施形態によれば、これらの動きベクトルは広い探索範
囲２２を探索しなければ求めることができない。

【００５６】この実施の形態では、第１の領域の探索に
おいて、注目するテンプレートの左隣のテンプレートに
対する動きベクトルと同一の動きベクトルを探索の初期
値として（ステップＳ１１００）、この動きベクトルに
対応するブロック７３（ａ画素×ｂライン）を中心とす
る狭い探索範囲７４（ｅ画素×ｆライン）を探索する。
具体的には、テンプレート４４での動きベクトルの探索
は、テンプレート４３の動きベクトル（予測した動きベ
クトル）に対応するブロックを探索の初期値とするよう
に、以下、注目するテンプレートの動きベクトルを求め
る際には、左隣のテンプレートに対する動きベクトルを
探索の初期値としていって、以下、第１の実施形態と同
様な処理を行う。

【００５７】その結果、検出された動きベクトルで示さ
れるブロックが領域７４の周辺部に存在せず、かつ、動
きベクトルに対する探索演算結果が所定のしきい値より
も小さいときには、該動きベクトルを正しいとして探索
を終了する。なお、しきい値は探索開始前に設定してお
くことが多いが、探索途中でしきい値を変更することも
可能である。動きベクトルで示されるブロックが領域７
４の周辺部に存在する場合、または、動きベクトルの演
算結果が所定のしきい値よりも大きいときに、始めて領
域２２を探索する。

【００５８】この実施形態は、ステップＳ１１００にお
いて、注目するテンプレートの左隣のテンプレートの動
きベクトルを初期値として、この動きベクトルに対応す
るブロックを中心とする探索範囲を探索する例である
が、注目するテンプレートの右上、下、左上、左下、右
上、および、右下のうちのいずれかの隣接するテンプレ
ートの動きベクトルを初期値として、この動きベクトル
に対応するブロックを中心とする探索範囲を探索しても
良い。ただし、動画像符号化においては動きベクトルの
可変長符号化の際に、注目するテンプレートの左隣のテ
ンプレートに対する動きベクトルとの差分値を符号化す
るため、注目するテンプレートの左隣のテンプレートの
動きベクトルに対するブロック７３を中心とする狭い探
索範囲７４を探索する場合に符号化効率は最も良くな
る。

【００５９】上記実施形態では、動きベクトルが存在す
る可能性が高い領域を予測し、その領域から第１の領域
の探索が開始されている。動きベクトルが存在する可能
性が高い領域としては、動きベクトル＝（０，０）の周
辺、左隣のテンプレートの動きベクトルを初期値とし
て、その周辺等が考えられる。特に、第１の領域の探索
を行う領域として左隣のテンプレートの動きベクトルの
周辺を選択すると、隣接テンプレート間における動きベ
クトルの差分が小さくなるため、ＭＰＥＧ１，ＭＰＥＧ
２， Ｈ２６１，Ｈ２６３等の画像符号化アルゴリズム
において可変長符号化された後のビット数が少なくな
り、他の部分に割り当てられるビット数が増加する。そ
の結果、画質が向上するという効果がある。

【００６０】また、左隣のテンプレートの動きベクトル
の周辺領域で、当該テンプレートに対する第１の領域の
探索を行う場合、動物体の境界において動きベクトルの
変化が大きいために、第１の領域の探索に失敗したとし
ても、一旦第２の領域の探索により動きベクトルを検出
すれば、その次の隣接テンプレートの動き探索からは第
１の領域の探索で動きベクトルを検出できるようにな
る。このような例として、例えば、背景の中を自動車が
移動する映像が考えられる。このような映像では背景の
部分と自動車の部分の動きベクトルが大きく異なるの
で、第１の領域の探索のみでは、境界で動きベクトルが
大きく変化したとき、動きベクトルを検出できない。そ
こで、第２の領域の探索を行って動きベクトルを検出す
る。そして、その右隣のテンプレートの動きベクトルは
直前の探索で得られた動きベクトルを初期値とすること
により第１の領域の探索のみで検出できる。

【００６１】なお、本実施形態においても、まず、狭い
範囲で動きベクトルの探索を行って、次に、広い範囲で
動きベクトルを探索する点では、第１の実施形態と変わ
るところがなく、また、探索法としていがなるものを採
用しても良い。

【００６２】また、業務用ディジタルＶＴＲと家庭用Ｖ
ＴＲから出力される画像では、含まれているノイズの大
きさにかなり差がある。このように予め画像のノイズの
大小が分かっている場合には、ノイズの大きな画像では
大きなしきい値を設定し、ノイズの小さな画像では小さ
なしきい値を設定することにより符号化効率が向上す
る。あるいは、注目するテンプレートの左隣のテンプレ
ートに対する動きベクトルと同一の動きベクトルを第１
ステップの探索の初期値とした場合には、左隣のテンプ
レートに対する動きベクトルの差分絶対値等の演算値が
大きいときはしきい値を大きくし、該演算値が小さなと
きはしきい値を小さくすること等、画像の状態に合わせ
て、しきい値を変更することにより、符号化効率が向上
する。

【００６３】因みに、第１の実施形態は、動きベクトル
を（０，０）と予測して、これを初期値とした動きベク
トル探索を行ったものと言える。

【００６４】また、第２の実施形態においても、テンプ
レートの形状を楕円や菱型等を含む任意の形状としても
本発明の実施に関し、何ら問題とならない。同様に、第
１の領域と第２の領域の形状を長方形に限らず任意の形
状とすることも可能であり、第１の領域については、第
２の領域に完全に含まれ、かつ、テンプレートと同じ大
きさの画素ブロックが１個以上含まれる大きさにしてあ
ればよい。

【００６５】第１の実施形態及び第２の実施形態のいず
れかにおいて、さらに、第１ステップの狭い範囲の探索
のとき、その中心の差分絶対値等の演算値を予め定めた
方法により変換し、中心が検出されやすくすることがで
きる。この予め定めた方法（規則）とは、例えば、その
中心の演算値から予め定めた値を減算する方法が考えら
れる。このようにすることにより、動きベクトル＝
（０，０）を第１ステップの探索の初期値とする場合に
は、ノイズが乗った静止画が入力されても動きベクトル
＝（０，０）が検出されやすくなるため、ノイズの影響
を受け難くなる。また、注目するテンプレートの左隣の
テンプレートに対する動きベクトルと同一の動きベクト
ルを第１ステップの探索の初期値とする場合には、左隣
のテンプレートの動きベクトルと同じ動きベクトルが検
出されやすくなる。従って、動きベクトル自体の符号化
効率が高まる。

【００６６】さらに、第１ステップの探索を終了するた
めのしきい値を画像の状態に応じて変更したのと同様
に、予め画像のノイズの大小が分かっている場合には、
ノイズの大きな画像では大きな値を減算し、ノイズの小
さな画像では小さな値を減算すること、あるいは注目す
るテンプレートの左隣のテンプレートに対する動きベク
トルと同一の動きベクトルを第１ステップの探索の初期
値とした場合には、左隣のテンプレートに対する動きベ
クトルの演算値が大きいときは大きな値を減算し、該演
算値が小さなときは小さな値を減算すること等、画像の
状態に合わせて、適切な変換方法を採用することによ
り、いっそう、ノイズの影響を受け難くなったり、符号
化効率が向上する。

【００６７】（第３の実施形態） この実施形態は、第２の実施形態同様に、まず、動きベ
クトル予測を行いこれを初期値として動きベクトル探索
を行うものであるが、この実施形態では、時間的に前後
するフレーム間の情報を利用して、初期値を求める点に
特徴がある。

【００６８】この実施の形態にかかる処理は、図１１
（ｂ）で示すフローチャートで示され、第２の実施形態
とは、動きベクトルの予測のためのステップ（ステップ
Ｓ１１００Ｂ；図１１（ａ）のステップＳ１１００に対
応するステップ）における処理の内容が異なり、その他
の処理は変わる点がない。

【００６９】具体的には、ステップＳ１１００Ｂにおい
て、探索処理部２５は、注目するテンプレートを含む動
画像に対して時間的に過去に存在する他の動画像におい
て、注目するテンプレートと同じ位置に存在するテンプ
レートに対する動きベクトルを初期値とする。

【００７０】これを図１２の模式図を参照して説明す
る。図１２は、図１０において画面２４に含まれていた
物体２３−１が時間的に１つ前の画面と現画面の間、お
よび、現画面と時間的に１つ後の画面の間を動きベクト
ルｍｖ４で移動しており、１画面前に物体２３−０、１
画面後に物体２３−２の位置に存在することを想定す
る。

【００７１】すると、４個のテンプレート４４、４５、
５２、５３は、物体２３−１と物体２３−２の両方に含
まれるので、現画面における動きベクトルと１画面後に
おける動きベクトルはともにｍｖ４となる。このとき、
ｍｖ４が、第１の実施形態における狭い探索範囲２１の
外、かつ、広い探索範囲２２の中の範囲の動きであると
想定すると、第１の実施形態では、４個のテンプレート
４４、４５、５２、５３の動きベクトルは１画面後の探
索の際に広い探索範囲２２を探索しなければ検出するこ
とはできないが、この実施の形態では、第１の領域にお
ける探索において動きベクトルを探索しようとするテン
プレートが含まれる画像の、時間的に１つ前の画像にお
いて該テンプレートと対応する位置にあるテンプレート
の動きベクトルを中心とする狭い探索範囲を探索するよ
うにすればよい。

【００７２】その結果、検出された動きベクトルで示さ
れるブロックが、狭い探索範囲の周辺部に存在せず、か
つ、動きベクトルに対する探索演算結果が所定のしきい
値よりも小さいときには、該動きベクトルを正しいとし
て探索を終了する。なお、しきい値は探索開始前に設定
しておくことが多いが、探索途中でしきい値を変更する
ことも可能である。動きベクトルで示されるブロックが
領域７４の周辺部に存在する場合、または、動きベクト
ルの演算結果が所定のしきい値よりも大きいときに、始
めて領域２２を探索する。

【００７３】したがって、この第３の実施形態によれ
ば、４個のテンプレート４４、４５、５２、５３の１画
面後の動きベクトルのばらつきを抑えることができる効
果は無いが、狭い範囲の探索のみですむ場合には、演算
量を削減でき動きベクトル探索装置を省電力機能を有し
た構成にすることも可能になる。

【００７４】また、第３の実施形態においても、テンプ
レートの形状を楕円や菱型等を含む任意の形状としても
本発明の実施に関し、何ら問題とならない。同様に、第
１の領域と第２の領域の形状を長方形に限らず任意の形
状とすることも可能であり、第１の領域については、第
２の領域に完全に含まれ、かつ、テンプレートが完全に
含まれるような大きさにしてあればよい。

【００７５】（第４の実施形態） この実施の形態は、最初に２種類の探索を並列に行って
動きベクトルを探索する点に特徴がある。

【００７６】図１４は、第４の実施形態にかかる処理を
示すフローチャートであり、まず、このフローチャート
で動作概要を説明し、その後、模式的説明図でこの実施
形態にかかる処理を説明する。

【００７７】なお、ステップＳ１４００およびステップ
Ｓ１４１０と、ステップＳ１４２０およびステップＳ１
４３０とは、並列に実行される。指令を与えられた制御
部１１０に起動制御された探索処理部２５は、ステップ
Ｓ１４００において、画像メモリ３０が記憶している動
画像の情報を参照して、第１の領域内での動きベクトル
の探索を行う。即ち、動きベクトルを（０，０）とし、
これを中心とする画素ブロック内での動きベクトル探索
演算を行い、その演算結果を予め定めた変換式で変換す
る（変換値ａ）。

【００７８】一方、ステップＳ１４２０において、注目
するテンプレートに隣接したいずれか１つの画素ブロッ
クに対する動きベクトルを選択して、その動きベクトル
を初期値とする第３の領域で動きベクトルの探索を行
い、その演算結果を予め定めた変換式で変換する（変換
値ｂ）。なお、両者の変換規則は、動きの大きな画像や
動きの小さな画像等の様々な画像に応じて適切に定めて
おいて、動きベクトルの検出特性を調整可能にしてお
く。

【００７９】次に、ステップＳ１４４０において、探索
処理部２５は、変換値ａと変換値ｂの大小関係を比較し
て、小さな方の変換値（尤度の高い方の値）に対応する
動きベクトルを用いることにする。

【００８０】さらに、ステップＳ６０５において、探索
処理部２５は周辺部判定を行って、求めた動きベクトル
で示される画素ブロックが第１の領域の周辺部に存在し
ない場合（ＯＫ）には、ステップＳ６１０に進み、これ
以外の場合（ＮＧ）には、ステップＳ６２０に進む。

【００８１】ステップＳ６１０において、探索処理部２
５は、差分絶対値和が予め定めたしきい値よりも小さい
ものがあると判定した場合（ＯＫ）には、この差分絶対
値和に対応する画素ブロックの位置を移動元とした動き
ベクトルを、制御部１１０を介して出力して処理を終了
し、これ以外の場合（ＮＧ）には、ステップＳ６２０に
進む。

【００８２】そして、ステップＳ６２０では、第１の領
域と第３の領域を完全に含む第２の領域において、探索
処理部２５は、画像メモリ３０が記憶している動画像の
情報を参照して、動きベクトルの探索を行う。探索され
た動きベクトルは、制御部１１０を介して装置外部に出
力される。

【００８３】図１３は模式的説明図であって、領域２１
は動きベクトル＝（０，０）の、テンプレートと同一の
大きさのブロック２０を中心としたｅ画素×ｆライン
（ｒ≧ｅ≧ａ、ｄ≧ｆ≧ｂ）の狭い領域（第１の領
域）、領域７４は注目するテンプレートの左隣のテンプ
レートに対する動きベクトルと同一の動きベクトルに対
応するブロック７３（ａ画素×ｂライン）を中心とした
ｇ画素×ｈライン（ｃ≧ｇ≧ａ、ｄ≧ｈ≧ｂ）の狭い領
域（第３の領域）、領域２２は動きベクトル＝（０，
０）のブロック２０を中心とし、領域２１と領域７４を
含むｃ画素×ｄラインの広い領域（第２の領域）であっ
て、まず、第１の領域での探索が行われる。但し、「ｃ
＝ｅ，ｄ＝ｆが同時に成立するとき、またはｃ＝ｇ，ｄ
＝ｈが同時に成立するとき」は、第１の領域と第２の領
域、または第３の領域と第２の領域が一致するので除く
ものとする。

【００８４】このように、最初に、並列して探索処理を
行うことによって、静止した背景の中を物体が移動して
いく動画像において背景に含まれる領域と物体に含まれ
る領域の両方で動きベクトルの誤検出を少なくすること
ができ探索精度の向上を図れるという効果が得られる。

【００８５】なお、第４の実施形態においても、テンプ
レートの形状を楕円や菱型等を含む任意の形状としても
本発明の実施に関し、何ら問題とならない。同様に、第
１の領域と第２および第３の領域の形状を長方形に限ら
ず任意の形状とすることも可能であり、第１と第３の領
域については、第２の領域に完全に含まれ、かつ、テン
プレートと同じ大きさの画素ブロックが完全に含まれる
ような大きさにしてあればよい。

【００８６】なお、以上説明してきた各動きベクトルの
探索方法は、探索手順をプログラムとして記憶媒体に記
憶しておき、コンピュータが、このプログラムを読み取
って実行するようにすることによって実現可能である。
もちろん、以上説明してきた処理を実行するゲートアレ
ーを製造して、ハードウエアのみで処理を行う半導体回
路としても実現することも可能である。

【００８７】以上説明した各実施形態によれば、動画像
中に動きの大きな領域と動きの小さな領域が混在する場
合、動きの小さな領域については探索範囲を狭くして動
きベクトルのばらつきを抑え、動きの大きな領域におい
ては探索範を広くすることができるという効果が得られ
る。

【００８８】また、注目するテンプレートに隣接したい
ずれか一個のテンプレートの動きベクトルを用いること
により、複数のブロックが一定の方向に平行移動してい
て、その動きが大きい場合であっても、求めた動きベク
トルのばらつきを抑えることができるという効果が得ら
れる。さらに、狭い範囲での探索で動きベクトルが得ら
れた場合には、狭い範囲での探索のみでよいため、演算
量を削減でき、動きベクトル探索装置１００を省電力機
能を有した構成とすることが可能となる。

【００８９】また、動きを検出しようとするテンプレー
トが含まれる画像の時間的に１つ前の画像において該テ
ンプレートと同じ位置にあるテンプレートの動きベクト
ルを用いて、動きベクトル探索をすることによっても、
演算量を削減でき、動きベクトル探索装置を省電力機能
を有した構成とすることが可能となる。本発明は、その
精神または主要な特徴から逸脱することなく、他のいろ
いろな形で実施することができる。そのため、前述の実
施形態は単なる例示にすぎず、限定的に解釈してはなら
ない。本発明の範囲は、特許請求の範囲によって示すも
のであって、明細書本文には、なんら拘束されない。さ
らに、特許請求の範囲の均等範囲に属する変形や変更
は、すべて本発明の範囲内のものとする。

【００９０】

【発明の効果】以上説明したように、請求項１記載の発
明によれば、ある動きベクトルを動きベクトル探索演算
の探索初期値として予測しておいて、この予測した動き
ベクトルに対応した画素ブロックを含み、かつ、1個以
上の前記画素ブロックからなる第１の領域を想定し、こ
の第１の領域を構成する画素の画素値と前記テンプレー
トを構成する画素の画素値との間で、第１の段階の動き
ベクトル探索演算を行う第１のステップと、この演算結
果が所定値より小さいこと、および、前記第１ステップ
の動きベクトル探索演算によって動きベクトルが検出さ
れたと想定したとき、この動きベクトルで示される画素
ブロックが前記第１の領域の周辺部に存在しないことと
を満足する場合には、この演算結果から動きベクトルを
求め、一方、この演算結果が所定値以上である場合、又
は、前記第１ステップの動きベクトル探索演算によって
動きベクトルが検出されたと想定したとき、この動きベ
クトルで示される画素ブロックが前記第１の領域の周辺
部に存在する場合には、第２のステップへ処理を進める
中間ステップと、前記第１の領域を完全に含む大きさの
第２の領域を想定し、この第２の領域を構成する画素の
画素値と前記テンプレートを構成する画素の画素値との
間で、第２段階の動きベクトル探索演算を行って、この
演算結果から動きベクトルを求める第２のステップとを
含むことを特徴とするため、以下のような効果が得られ
る。 （１）第１ステップで、ある動きベクトルを探索初期値
として狭い範囲を探索するので、第１の領域での探索の
みで済む場合には探索演算量を削減しつつ探索精度の向
上が図れる。 （２）第１ステップの探索で動きベクトルが検出できな
かったときは、第２ステップの探索で広い範囲を探索す
るので、第１ステップで動きベクトルの予測がはずれて
も動きベクトルを検出できる。

【００９１】また、請求項２記載の発明によれば、予測
する動きベクトルとして、動きがないことを意味する動
きベクトル＝（０，０）を採用するので、動きの小さな
画像において、一層、探索演算量を削減することが可能
となる。

【００９２】また、請求項３記載の発明によれば、予測
する動きベクトルとして、注目するテンプレートに隣接
する、いずれかのテンプレートに対して求まっている動
きベクトルを採用するので、一層、探索演算量を削減し
つつ探索精度の向上を図れるという効果が得られる。

【００９３】また、請求項４記載の発明によれば、注目
するテンプレートの左隣のテンプレートに対して求まっ
ている動きベクトルを第１ステップの探索の初期値とす
るので、左隣のテンプレートの動きベクトルと同じ動き
ベクトルが検出されやすくなり、動きベクトル自体の符
号化効率が高まる効果がある。

【００９４】また、請求項５記載の発明によれば、ま
ず、動きベクトル＝（０，０）を初期値として、動きベ
クトル＝（０，０）の画素ブロックを１個以上含む大き
さの第１の領域を想定し、この第１の領域を構成する画
素の画素値と前記テンプレートを構成する画素の画素値
との間で、第１の段階の動きベクトルの探索演算を行う
とともに、前記注目するテンプレートに隣接するいずれ
かのテンプレートに対して求まっている動きベクトルを
初期値とする第３の領域で第２段階の前記動きベクトル
の探索演算を行って動きベクトルを探索する第１のステ
ップと、両演算結果を参照し、予め定められている規則
にしたがって、いずれかの演算結果を選択し、この選択
した演算結果が所定値より小さいこと、および、前記第
１ステップの動きベクトル探索演算によって動きベクト
ルが検出されたと想定したとき、この動きベクトルで示
される画素ブロックが前記第１の領域または第３の領域
の周辺部に存在しないこととを満足する場合には、この
演算結果から動きベクトルを求め、一方、この演算結果
が所定値以上である場合、又は、前記第１ステップの動
きベクトル探索演算によって動きベクトルが検出された
と想定したとき、この動きベクトルで示される画素ブロ
ックが前記第１の領域の周辺部に存在する場合には、第
２のステップへ処理を進める中間ステップと、前記第１
の領域と第３の領域を完全に含む大きさの第２の領域を
想定し、この第２の領域を構成する画素の画素値と前記
テンプレートを構成する画素の画素値との間で、第３段
階の動きベクトル探索演算を行って、この演算結果から
動きベクトルを求める第２のステップとを含み、３段階
の動きベクトル探索演算で、注目するテンプレートと同
一の大きさの画素ブロック群の間で所定の演算により動
きを評価し、テンプレートについて動画像内における動
きベクトルを求めるようにしたので、第１と第３の領域
での探索のみですむ場合には、動きベクトル探索の演算
量が大幅に低減できるという効果が得られる。

【００９５】また、本発明によれば、探索処理手段が、
記憶手段の記憶内容を参照して、動きベクトル＝（０，
０）を初期値として、動きベクトル＝（０，０）の画素
ブロックを１個以上含む大きさの第１の領域を想定し、
この第１の領域を構成する画素の画素値と前記テンプレ
ートを構成する画素の画素値との間で、第１の段階の動
きベクトルの探索演算を行うとともに、前記注目するテ
ンプレートに隣接するいずれかのテンプレートに対して
求まっている動きベクトルを初期値とする第３の領域で
第２段階の前記動きベクトルの探索演算を行い、両演算
結果を参照し、予め定められている規則にしたがって、
いずれかの演算結果を選択し、この選択した演算結果が
所定値より小さいこと、および、前記の動きベクトル探
索演算によって動きベクトルが検出されたと想定したと
き、この動きベクトルで示される画素ブロックが前記第
１の領域または第３の領域の周辺部に存在しないことと
を満足する場合には、この演算結果から動きベクトルを
求め、一方、この演算結果が所定値以上である場合、又
は、前記第１ステップの動きベクトル探索演算によって
動きベクトルが検出されたと想定したとき、この動きベ
クトルで示される画素ブロックが前記第１の領域の周辺
部に存在する場合には、前記第１の領域と第３の領域を
完全に含む大きさの第２の領域を想定し、この第２の領
域を構成する画素の画素値と前記テンプレートを構成す
る画素の画素値との間で、第３段階の動きベクトル探索
演算を行って、この演算結果から動きベクトルを求める
ので、動きベクトルの探索を正確に行えるとともに、第
１と第３の領域での探索のみですむ場合には、動きベク
トル探索の演算量が大幅に低減できる装置を実現できる
という効果が得られる。

【図面の簡単な説明】

【図１】 本発明および従来技術を説明するための模式
的説明図である。

【図２】 従来技術を説明するための模式的説明図であ
る。

【図３】 従来技術を説明するための模式的説明図であ
る。

【図４】 従来技術を説明するための模式的説明図であ
る。

【図５】 本発明の実施形態を示す動きベクトル探索装
置の構成図である。

【図６】 第１の実施形態における処理を示すフローチ
ャートである。

【図７】 第１の実施形態にかかる模式的説明図であ
る。

【図８】 本発明にかかる実施形態を説明する説明図で
ある。

【図９】 本発明の第２の実施形態の模式的説明図であ
る。

【図１０】 第２の実施形態の模式的説明図である。

【図１１】 図１１（ａ），（ｂ）は、本発明の第２、
３の実施形態における処理を示すフローチャートであ
る。

【図１２】 本発明の第３の実施形態の模式的説明図で
ある。

【図１３】 本発明の第４の実施形態の模式的説明図で
ある。

【図１４】 第４の実施形態における処理を示すフロー
チャートである。

【符号の説明】

１ テンプレート ２ 探索領域 ５ 領域 ６ テンプレート ７ 探索領域 ８ ブロック ９ ブロック １２ 画像 １３ 画像 １４ 画像 １５ 画像 １６ 矩形ブロック １７ 領域 １８ 領域 １９ 領域 ２０ ブロック ２５ 探索処理部 ３０ 画像メモリ １１０ 制御部

フロントページの続き (56)参考文献 特開 平７−143492（ＪＰ，Ａ) 特開 平２−62179（ＪＰ，Ａ) 神田、西田、水野、大塚，「ダウンサ ンプルによる動きベクトルの広範囲探 索」，1996年映像メディア処理シンポジ ウム（ＩＭＰＳ96），Ｐ．99−100（Ｉ −８．22) (58)調査した分野(Int.Cl.⁷，ＤＢ名) H04N 7/24 - 7/68 ＪＩＣＳＴファイル（ＪＯＩＳ)

Claims (8)

(57)【特許請求の範囲】
1. 【請求項１】２段階の動きベクトル探索演算を用いて、
   注目するテンプレートと同一の大きさの画素ブロック群
   の間で所定の演算により動きを評価し、テンプレートに
   ついて動画像内における動きベクトルを求める方法であ
   って、 ある動きベクトルを動きベクトル探索演算の探索初期値
   として予測しておいて、この予測した動きベクトルに対
   応した画素ブロックを含み、かつ、1個以上の前記画素
   ブロックからなる第１の領域を想定し、この第１の領域
   を構成する画素の画素値と前記テンプレートを構成する
   画素の画素値との間で、第１の段階の動きベクトル探索
   演算を行う第１のステップと、 この演算結果が所定値より小さいこと、および、前記第
   １ステップの動きベクトル探索演算によって動きベクト
   ルが検出されたと想定したとき、この動きベクトルで示
   される画素ブロックが前記第１の領域の周辺部に存在し
   ないこととを満足する場合には、この演算結果から動き
   ベクトルを求め、一方、この演算結果が所定値以上であ
   る場合、又は、前記第１ステップの動きベクトル探索演
   算によって動きベクトルが検出されたと想定したとき、
   この動きベクトルで示される画素ブロックが前記第１の
   領域の周辺部に存在する場合には、第２のステップへ処
   理を進める中間ステップと、 前記第１の領域を完全に含む大きさの第２の領域を想定
   し、この第２の領域を構成する画素の画素値と前記テン
   プレートを構成する画素の画素値との間で、第２段階の
   動きベクトル探索演算を行って、この演算結果から動き
   ベクトルを求める第２のステップとを含むことを特徴と
   する動きベクトル探索方法。
2. 【請求項２】請求項１において、 前記第１のステップにおける探索初期値としての予測す
   る動きベクトルとして、動きがないことを意味する動き
   ベクトル＝（０，０）を採用することを特徴とする動き
   ベクトル探索方法。
3. 【請求項３】請求項１において、 前記第１のステップにおける探索初期値としての予測す
   る動きベクトルとして、前記注目するテンプレートに隣
   接する、いずれかのテンプレートに対して求まっている
   動きベクトルを採用することを特徴とする動きベクトル
   探索方法。
4. 【請求項４】請求項１において、 前記第１のステップにおける探索初期値としての予測す
   る動きベクトルとして、注目するテンプレートの左隣の
   テンプレートに対して求まっている動きベクトルを採用
   することを特徴とする動きベクトル探索方法。
5. 【請求項５】３段階の動きベクトル探索演算を用いて、
   注目するテンプレートと同一の大きさの画素ブロック群
   の間で所定の演算により動きを評価し、テンプレートに
   ついて動画像内における動きベクトルを求める方法であ
   って、 動きベクトル＝（０，０）を初期値として、動きベクト
   ル＝（０，０）の画素ブロックを１個以上含む大きさの
   第１の領域を想定し、この第１の領域を構成する画素の
   画素値と前記テンプレートを構成する画素の画素値との
   間で、第１の段階の動きベクトルの探索演算を行うとと
   もに、前記注目するテンプレートに隣接するいずれかの
   テンプレートに対して求まっている動きベクトルを初期
   値とする第３の領域で第２段階の前記動きベクトルの探
   索演算を行って動きベクトルを探索する第１のステップ
   と、 両演算結果を参照し、予め定められている規則にしたが
   って、いずれかの演算結果を選択し、この選択した演算
   結果が所定値より小さいこと、および、前記第１ステッ
   プの動きベクトル探索演算によって動きベクトルが検出
   されたと想定したとき、この動きベクトルで示される画
   素ブロックが前記第１の領域または第３の領域の周辺部
   に存在しないこととを満足する場合には、この演算結果
   から動きベクトルを求め、一方、この演算結果が所定値
   以上である場合、又は、前記第１ステップの動きベクト
   ル探索演算によって動きベクトルが検出されたと想定し
   たとき、この動きベクトルで示される画素ブロックが前
   記第１の領域の周辺部に存在する場合には、第２のステ
   ップへ処理を進める中間ステップと、 前記第１の領域と第３の領域を完全に含む大きさの第２
   の領域を想定し、この第２の領域を構成する画素の画素
   値と前記テンプレートを構成する画素の画素値との間
   で、第３段階の動きベクトル探索演算を行って、この演
   算結果から動きベクトルを求める第２のステップとを含
   むことを特徴とする動きベクトル探索方法。
6. 【請求項６】３段階の動きベクトル探索演算を用いて、
   注目するテンプレートと同一の大きさの画素ブロック群
   の間で所定の演算により動きを評価し、テンプレートに
   ついて動画像内における動きベクトルを求める装置であ
   って、 動画像を記憶するための記憶手段と、該記憶手段の記憶
   内容を参照して動きベクトル探索を行う探索処理手段と
   を備え、 この探索処理手段は、 動きベクトル＝（０，０）を初期値として、動きベクト
   ル＝（０，０）の画素ブロックを１個以上含む大きさの
   第１の領域を想定し、この第１の領域を構成する画素の
   画素値と前記テンプレートを構成する画素の画素値との
   間で、第１の段階の動きベクトルの探索演算を行うとと
   もに、前記注目するテンプレートに隣接するいずれかの
   テンプレートに対して求まっている動きベクトルを初期
   値とする第３の領域で第２段階の前記動きベクトルの探
   索演算を行って動きベクトルを探索する第１の手段と、 両演算結果を参照し、予め定められている規則にしたが
   って、いずれかの演算結果を選択し、この選択した演算
   結果が所定値より小さいこと、および、前記第１ステッ
   プの動きベクトル探索演算によって動きベクトルが検出
   されたと想定したとき、この動きベクトルで示される画
   素ブロックが前記第１の領域または第３の領域の周辺部
   に存在しないこととを満足する場合には、この演算結果
   から動きベクトルを求め、一方、この演算結果が所定値
   以上である場合、又は、前記第１ステップの動きベクト
   ル探索演算によって動きベクトルが検出されたと想定し
   たとき、この動きベクトルで示される画素ブロックが前
   記第１の領域の周辺部に存在する場合には、第２の手段
   へ制御を移す中間手段と、 前記第１の領域と第３の領域を完全に含む大きさの第２
   の領域を想定し、この第２の領域を構成する画素の画素
   値と前記テンプレートを構成する画素の画素値との間
   で、第３段階の動きベクトル探索演算を行って、この演
   算結果から動きベクトルを求める第２の手段とを含むこ
   とを特徴とする動きベクトル探索装置。
7. 【請求項７】３段階の動きベクトル探索演算を用いて、
   注目するテンプレートと同一の大きさの画素ブロック群
   の間で所定の演算により動きを評価し、テンプレートに
   ついて動画像内における動きベクトルを求める処理をコ
   ンピュータに実行させる動きベクトル探索プログラムを
   記憶したコンピュータ読み取り可能な記憶媒体におい
   て、 動きベクトル＝（０，０）を初期値として、動きベクト
   ル＝（０，０）の画素ブロックを１個以上含む大きさの
   第１の領域を想定し、この第１の領域を構成する画素の
   画素値と前記テンプレートを構成する画素の画素値との
   間で、第１の段階の動きベクトルの探索演算を行うとと
   もに、前記注目するテンプレートに隣接するいずれかの
   テンプレートに対して求まっている動きベクトルを初期
   値とする第３の領域で第２段階の前記動きベクトルの探
   索演算を行って動きベクトルを探索する第１の処理と、 両演算結果を参照し、予め定められている規則にしたが
   って、いずれかの演算結果を選択し、この選択した演算
   結果が所定値より小さいこと、および、前記第１ステッ
   プの動きベクトル探索演算によって動きベクトルが検出
   されたと想定したとき、この動きベクトルで示される画
   素ブロックが前記第１の領域または第３の領域の周辺部
   に存在しないこととを満足する場合には、この演算結果
   から動きベクトルを求め、一方、この演算結果が所定値
   以上である場合、又は、前記第１ステップの動きベクト
   ル探索演算によって動きベクトルが検出されたと想定し
   たとき、この動きベクトルで示される画素ブロックが前
   記第１の領域の周辺部に存在する場合には、第２の処理
   へ処理を進める中間処理と、 前記第１の領域と第３の領域を完全に含む大きさの第２
   の領域を想定し、この第２の領域を構成する画素の画素
   値と前記テンプレートを構成する画素の画素値との間
   で、第３段階の動きベクトル探索演算を行って、この演
   算結果から動きベクトルを求める第２の処理とをコンピ
   ュータに実行させる動きベクトル探索プログラムを記憶
   した記憶媒体。
8. 【請求項８】 請求項６に記載された動きベクトル探索
   装置と、 前記探索処理手段に制御指令を入力するための入力手段
   と、 該探索処理手段から探索結果を出力するための出力手段
   とを含むことを特徴とする画像符号化装置。