JPH1175192A - 動きベクトル探索方法および動きベクトル探索装置ならびに動きベクトル探索プログラムを記憶した記憶媒体 - Google Patents

Abstract

(57)【要約】 【課題】動画像中に動きの大きな領域と動きの小さな領
域が混在する場合であっても、動きの小さな領域につい
ては探索範囲を狭くして動きベクトルのばらつきを抑
え、動きの大きな領域においては探索範囲を広くするこ
とによって正確に動きベクトルを求める探索手段を提供
することを目的とする。 【解決手段】画素ブロックを１個以上含む大きさの第１
の領域を想定し、第１の領域を構成する画素の画素値と
テンプレートを構成する画素の画素値との間で、動きベ
クトル探索演算を行う第１のステップと、演算結果が所
定の条件を満足する場合には、演算結果から動きベクト
ルを求め、一方、演算結果が所定の条件を満足しない場
合には、第１の領域を完全に含む大きさの第２の領域を
想定し、第２の領域を構成する画素の画素値とテンプレ
ートを構成する画素の画素値との間で、動きベクトル探
索演算を行って動きベクトルを求める第２のステップと
を含んでいる。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、国際標準規格であ
るＭＰＥＧ１， ＭＰＥＧ２， Ｈ２６１，Ｈ２６３等
の画像符号化アルゴリズムで用いられ、ある動画像中の
画素ブロックが他の動画像中のどの位置から動いてきた
かをベクトルで表現する動きベクトルを探索するための
技術に関する。

【０００２】

【従来の技術】以下、模式的説明図を参照して従来の各
種の動きベクトル探索方法について説明する。図１は、
動きベクトルを求める対象であるテンプレート１と、動
きベクトルの探索範囲である探索領域２を模式的に示し
たもので、テンプレート１は、ある画像中の画素ブロッ
ク、探索領域２は、テンプレート１より大きな、他の画
像中の画素ブロックである。また、図中、△３は、テン
プレート１を構成する画素、○４は、探索領域２を構成
する画素である。

【０００３】図１では、探索領域２の上にテンプレー卜
１を重ねて示しているので、重なり部分の探索領域中の
画素○４は表示していない。なお、以下、水平方向の画
素数の単位を「画素」、垂直方向の画素数の単位をライ
ンと称する。したがって、図１に示すテンプレー卜１は
４画素×４ライン、探索領域２は、１１画素×１１ライ
ンである。

【０００４】さて、テンプレート１に対する動きベクト
ルを探索するための従来の第１の手法である「全探索
法」について説明する。この手法では、探索領域２か
ら、テンプレート１と同じ大きさの４画素×４ラインの
領域を順次切り出し、この切り出した領域の各画素の画
素値と、テンプレート１の対応する画素の画素値との間
で、順次、差分絶対値や差分二乗値等を求めていって、
この求めた値の各画素についての総和を、切り出した領
域毎に求めていく。

【０００５】すなわち、探索領域２において、左上から
右下に渡って、４画素×４ラインの領域を１画素または
１ラインずつづらしていくと、探索領域２は、１１画素
×１１ラインであるので、合計８×８＝６４個の領域
が、テンプレート１との間で演算（差分絶対値や差分二
乗値等を求める演算）を行う対象となる。そして、演算
結果が最小となる領域から、このテンプレート１が移動
してきたものとして動きベクトルを求める。

【０００６】図１において、テンプレー卜１に対応する
位置の画素ブロックの動きベクトルを（０，０）とする
と、動きベクトルがとりうる値の範囲は、水平方向、垂
直方向ともに「−４〜＋３」である。これは、図１を参
照すれば分かるように、テンプレー卜１が、水平方向及
び垂直方向の夫々において、一方側に３画素（または３
ライン）分、他方側に４画素（または４ライン）分、移
動しうることによる。

【０００７】そして、例えば、領域５の演算値（差分絶
対値和、差分二乗値和等）が最小であった場合、図１を
参照すると、その動きベクトルは（２，２）となる。以
上が動きベクトルを求める原理説明であるが、図２の模
式図を参照して、この動きベクトル探索を一般化したも
のについて説明する。

【０００８】ある画像中のテンプレート６の大きさをａ
画素×ｂライン、他の画像中における探索領域７の大き
さをｃ画素×ｄライン（ｃ≧ａ、ｄ≧ｂ）、テンプレー
ト６に対応した探索領域７の中心の画素ブロックの動き
ベクトルを「（０，０）」とすると、動きベクトルがと
りうる値の範囲は、「水平方向：−（ｃ−ａ）／２〜
（ｃ−ａ）／２＋１、垂直方向：−（ｄ−ｂ）／２〜
（ｄ−ｂ）／２＋１」であり、「（ｃ−ａ＋１）×（ｄ
−ｂ＋１）個」の動きベクトルを評価する必要がある。
因みに、図２に示した左上角のブロック８の動きベクト
ルは（（ｃ−ａ）／２−１，（ｄ−ｂ）／２−１）、右
下角のブロック９の動きベクトルは（−（ｃ−ａ）／
２，−（ｄ−ｂ）／２）である。なお、動きベクトルを
求めるための動きベクトル探索演算式として、以下では
差分絶対値和を用いる場合のみについて説明する。もち
ろん、他の演算式として、差分二乗値和等の評価式を用
いることも考えられる。

【０００９】さて、このような全探索法を採用すると、
図１の探索領域２を探索するには、６４×１６＝１０２
４回（１６画素からなる１領域を６４個切り出す）の差
分絶対値を計算する必要があり、膨大な演算量となるた
め、演算量を削減するために、第２の従来技術として、
まず、サブサンプリングによって得られた縮小画像上で
動きを評価し、次に、その結果得られた動きベクトルを
初期値として、狭い範囲のみでの探索を行う技術も提案
されていた。

【００１０】これを図３の模式図を参照して説明する。
図３は、２画素×２ライン当たり１画素サブサンプリン
グするとき、このサブサンプリングで取り出される画素
を模式的に示した図面である。▲１０、●１１は夫々、
テンプレート１、探索領域２からサブサンプリングされ
る画素を示している。

【００１１】まず、サブサンプリングで縮小画像を求
め、元の画像上で初期値周りの「−１〜＋１」の範囲を
探索する場合、縮小画像上で１６×４＝６４回（４画素
からなる１領域を１６個切り出す）の差分絶対値計算が
必要であり、元の画像上で９×１６＝１４４回の差分絶
対値計算が必要である。したがって、演算量の合計は、
２０８回（６４回＋１４４回）となり、全探索法に比べ
ると大幅に演算量が削減される。

【００１２】なお、このような縮小画像を用いた動きベ
クトル探索方法については、例えば、「N.Hayasi,T.Kit
ui,L Tamitani,H.Honma,Y.Ooi,T.Miyazaki, K.OobuchI;
“Abiderectional motion compensation LSI with a co
mpact motion estimator”IEICE Trans.Electron,E78-
C,12,pp. 1682-1690,Dec.1995」等の文献に記載されて
いる。

【００１３】また、上記技術の拡張として、広大な探索
範囲を実現するために、４画素×２ライン当たり１画
素、または４画素×４ライン当たり１画素サブサンプリ
ングしてさらに解像度を下げた縮小画像上で探索を行う
ことも考えられる。

【００１４】また、動画像は、時間的に連続した複数の
画像からなるが、時間的に離れた画像間で動きベクトル
を求める場合には、物体が動く範囲が広くなるため、広
い範囲を探索して動きベクトルを求めなければならない
が、このような場合に演算量を削減するため、第３の従
来技術として、テレスコピック探索法が提案されてい
る。

【００１５】このテレスコピック探索法について図４の
模式図を参照して説明する。図４中の画像１２、１３、
１４、１５は時間的に連続した４枚の画像であり、画像
１５が現在の画像であり、画像１２、画像１３、およ
び、画像１４は夫々、３画面前、２画面前、１画面前の
画像である。矩形ブロック１６は、画像１２から画像１
３へ動きベクトルｍｖ１で移動しており、同様に、画像
１３から画像１４、画像１４から画像１５へ夫々動きベ
クトルｍｖ２、ｍｖ３で移動している。このとき、画像
１２から画像１５への矩形ブロック１６の動きベクトル
は「ｍｖ１＋ｍｖ２＋ｍｖ３」となる。テレスコピック
探索法では、画像１２から画像１５への動きベクトルを
求めるために、画像１５中の矩形ブロック１６をテンプ
レートとして最初に画像１４中の領域１７を探索して動
きベクトルｍｖ３を検出する。このとき、領域１７の中
心の動きベクトルは（０，０）である。

【００１６】次に、画像１３中の領域１８を探索して動
きベクトルｍｖ２を検出する。矩形ブロック１６の画像
１４から画像１５への動きベクトルを考量すると、領域
１８の中心の動きベクトルはｍｖ３である。最後に、画
像１２中の領域１９を探索して動きベクトルｍｖ１を検
出する。矩形ブロック１６の画像１３から画像１４への
動きベクトルも考量すると、領域１９の中心の動きベク
トルは「ｍｖ３＋ｍｖ２」である。

【００１７】このように、この第３の従来技術では、隣
接した画像中の狭い領域で動きベクトルを求め、それを
初期値として次の隣接画像中の狭い領域で動きベクトル
を求めることを繰り返し、時間的に離れた画像間での動
きベクトルの探索を行っていた。なお、演算量を削減す
るために、上述したサブサンプリング法とテレスコピッ
ク探索法を組み合わせることも提案されていて、例え
ば、「K.Suguri,T.Minami,H.Matuda,R.Kusaba,T.Kondo,
R.Kasai,T.Watanabe,H.Sato,N.Shibata,Y.Tashiro,T.Iz
uoka,A.Shimiz,H.Kotera,“A real-time motion estima
tion and compensation LSI with wide search range f
or MPEG2 video encoding,”IEEE J.Solid-State Circu
its,vol. 31, no. 11, pp.1733-1741, Nov.1996」に記
載されている。

【００１８】しかしながら、従来、探索精度の最も高い
全探索法を用いても動きベクトルを正確に求めることが
できなかった。そのため、動きの小さな画像と動きの大
きな画像が混在している場合に、動きの大きな画像の画
質を良くするために探索範囲を広くして探索を行うと、
動きの小さな画像では誤検出が生じて動きベクトルが正
確に求まらない確率が高くなっていた。

【００１９】また、テンプレートとその周囲のブロック
が一定の方向に平行移動している画像であっても、ノイ
ズ等のため、動きベクトルの誤検出が生じ、探索処理の
結果、テンプレートとその周囲のブロックの動きベクト
ルが同一とはならない（適宜「動きベクトルがばらつ
く」と表現する）という問題があった。この動きベクト
ルのばらつきは符号化効率の低下を引き起こし、動画像
の画質の劣化を招いてしまう。

【００２０】さらに、演算量を削減して探索範囲を広く
するために、サブサンプリング法やテレスコピック探索
法を用いると、前者では、画素間引きによる検出精度の
低下が必然的に生じ、また、後者によれば、一旦誤検出
が発生すると、誤検出した動きベクトルに基づいて次の
探索を行うため正確な動きベクトルが求まらず、両者と
も、動きベクトルのばらつきが発生する確率は、全探索
法よりもさらに大きかった。

【００２１】

【発明が解決しようとする課題】本発明は、このような
従来の課題を解決するためになされたもので、その目的
は、正確に動きベクトルを探索する手段を提供する点に
あり、より具体的には、動画像中に動きの大きな領域と
動きの小さな領域が混在する場合であっても、動きの小
さな領域については探索範囲を狭くして動きベクトルの
ばらつきを抑え、動きの大きな領域においては探索範囲
を広くすることによって正確に動きベクトルを求める手
段を提供する点にある。

【００２２】

【課題を解決するための手段】上記課題を解決するた
め、請求項１記載の動きベクトル探索方法は、注目する
テンプレートと同一の大きさの画素ブロック群の間で所
定の演算により動きを評価し、テンプレートについて動
画像内における動きベクトルを求める方法であって、前
記画素ブロックを１個以上含む大きさの第１の領域を想
定し、この第１の領域を構成する画素の画素値と前記テ
ンプレートを構成する画素の画素値との間で、動きベク
トル探索演算を行う第１のステップと、この演算結果が
所定の条件を満足する場合には、この演算結果から動き
ベクトルを求め、一方、この演算結果が前記所定の条件
を満足しない場合には、前記第１の領域を完全に含む大
きさの第２の領域を想定し、この第２の領域を構成する
画素の画素値と前記テンプレートを構成する画素の画素
値との間で、動きベクトル探索演算を行って動きベクト
ルを求める第２のステップとを含むことを特徴としてい
る。

【００２３】請求項２記載の発明は、前記第２のステッ
プにおける探索を、サブサンプリングして作成した縮小
画像上で行うことを特徴としている。また、請求項３記
載の発明は、前記所定の条件を満足することが、前記演
算値として採用した差分絶対値和または差分二乗値和の
いずれかの値が所定値以下になることであることを特徴
としている。また、請求項４記載の発明は、前記所定の
条件を満足することが、前記演算値として採用した差分
絶対値和または差分二乗値和のいずれかの値が所定値以
下になること、および、前記動きベクトル探索演算によ
って動きベクトルが検出されたと想定したとき、この動
きベクトルで示される画素ブロックが前記第１の領域の
周辺部に存在しないことであることを特徴としている。

【００２４】また、請求項５記載の発明は、さらに、あ
る動きベクトルを予測しておいて、この予測した動きベ
クトルを、前記第１のステップでの動きベクトル探索演
算の探索初期値とする第３のステップを含むことを特徴
としている。また、請求項６記載の発明は、請求項５に
おいて、さらに、動きベクトル探索演算の探索初期値と
した動きベクトルが検出されやすくなるように、該動き
ベクトルの演算値を予め定められている規則に従って変
換する第４のステップを含むことを特徴としている。

【００２５】また、請求項７記載の発明は、請求項５ま
たは６において、前記第３のステップが、予測する動き
ベクトルとして、動きがないことを意味する動きベクト
ル＝（０，０）を採用するステップであることを特徴と
している。また、請求項８記載の発明は、請求項５また
は６において、前記第３のステップが、予測する動きベ
クトルとして、前記注目するテンプレートに隣接する、
いずれかのテンプレートに対して求まっている動きベク
トルを採用するステップであることを特徴としている。

【００２６】また、請求項９記載の発明は、請求項８に
おいて、前記注目するテンプレートに隣接するテンプレ
ートとして、注目するテンプレートの左隣のテンプレー
トを採用することを特徴としている。また、請求項１０
記載の発明は、請求項９において、注目するテンプレー
トの左隣のテンプレートに対する動きベクトルの演算値
の大小に応じて、前記第１ステップの探索を終了するた
めのしきい値を予め定めた規則により変換するか、また
は前記第４のステップにおける変換規則を変更するか、
または、それらの双方を同時に行うことを特徴としてい
る。

【００２７】また、請求項１１記載の発明は、請求項５
または６において、前記第３のステップが、予測する動
きベクトルとして、前記注目するテンプレートを含む動
画像に対して時間的に過去に存在する他の動画像におい
て、前記注目するテンプレートと対応する位置に存在す
るテンプレートに対する動きベクトルを採用するステッ
プであることを特徴としている。

【００２８】また、請求項１２記載の動きベクトル探索
方法は、注目するテンプレートと同一の大きさの画素ブ
ロック群の間で所定の演算により動きを評価し、テンプ
レートについて動画像内における動きベクトルを求める
方法であって、動きベクトル＝（０，０）を初期値とし
て 動きベクトル＝（０，０）の画素ブロックを１個以
上含む大きさの第１の領域を想定し、この第１の領域を
構成する画素の画素値と前記テンプレートを構成する画
素の画素値との間で、動きベクトルの探索演算を行うと
ともに、前記注目するテンプレートに隣接するいずれか
のテンプレートに対して求まっている動きベクトルを初
期値とする第３の領域で前記動きベクトルの探索演算を
行って動きベクトルを探索する第１のステップと、両演
算結果を参照し、予め定められている規則にしたがっ
て、いずれかの演算結果を選択し、この選択した演算結
果が、所定の条件を満足する場合には、この演算結果か
ら動きベクトルを求め、一方、この演算結果が前記所定
の条件を満足しない場合には、前記第１の領域と第３の
領域を完全に含む大きさの第２の領域を想定し、この第
２の領域を構成する画素の画素値と前記テンプレートを
構成する画素の画素値との間で、動きベクトル探索演算
を行って動きベクトルを求める第２のステップとを含む
ことを特徴としている。

【００２９】また、請求項１３記載の動きベクトル探索
装置は、注目するテンプレートと同一の大きさの画素ブ
ロック群の間で所定の演算により動きを評価し、テンプ
レートについて動画像内における動きベクトルを求める
装置であって、動画像を記憶するための記憶手段と、該
記憶手段の記憶内容を参照して動きベクトル探索を行う
探索処理手段とを備え、この探索処理手段は、前記画素
ブロックを１個以上含む大きさの第１の領域を想定し、
この第１の領域を構成する画素の画素値と前記テンプレ
ートを構成する画素の画素値との間で、動きベクトル探
索演算を行う手段と、この演算結果が所定の条件を満足
する場合には、この演算結果から動きベクトルを求め、
一方、この演算結果が前記所定の条件を満足しない場合
には、前記第１の領域を完全に含む大きさの第２の領域
を想定し、この第２の領域を構成する画素の画素値と前
記テンプレートを構成する画素の画素値との間で、動き
ベクトル探索演算を行って動きベクトルを求める手段と
を含むことを特徴としている。

【００３０】また、請求項１４記載の動きベクトル探索
装置は、注目するテンプレートと同一の大きさの画素ブ
ロック群の間で所定の演算により動きを評価し、テンプ
レートについて動画像内における動きベクトルを求める
装置であって、動画像を記憶するための記憶手段と、該
記憶手段の記憶内容を参照して動きベクトル探索を行う
探索処理手段とを備え、この探索処理手段は、動きベク
トル＝（０，０）を初期値として 動きベクトル＝
（０，０）の画素ブロックを１個以上含む大きさの第１
の領域を想定し、この第１の領域を構成する画素の画素
値と前記テンプレートを構成する画素の画素値との間
で、動きベクトルの探索演算を行うとともに、前記注目
するテンプレートに隣接するいずれかのテンプレートに
対して求まっている動きベクトルを初期値する第３の領
域で前記動きベクトルの探索演算を行って動きベクトル
を探索する手段と、両演算結果を参照し、予め定められ
ている規則にしたがって、いずれかの演算結果を選択
し、この選択した演算結果が、所定の条件を満足する場
合には、この演算結果から動きベクトルを求め、一方、
この演算結果が前記所定の条件を満足しない場合には、
前記第１の領域と第３の領域を完全に含む大きさの第２
の領域を想定し、この第２の領域を構成する画素の画素
値と前記テンプレートを構成する画素の画素値との間
で、動きベクトル探索演算を行って動きベクトルを求め
る手段とを含むことを特徴としている。

【００３１】また、請求項１５記載の動きベクトル探索
装置は、注目するテンプレートと同一の大きさの画素ブ
ロック群の間で所定の演算により動きを評価し、テンプ
レートについて動画像内における動きベクトルを求める
装置であって、前記画素ブロックを１個以上含む大きさ
の第１の領域を想定し、この第１の領域を構成する画素
の画素値と前記テンプレートを構成する画素の画素値と
の間で、動きベクトル探索演算を行う第１の手段と、こ
の演算結果が所定の条件を満足する場合には、この演算
結果から動きベクトルを求め、一方、この演算結果が前
記所定の条件を満足しない場合には、前記第１の領域を
完全に含む大きさの第２の領域を想定し、この第２の領
域を構成する画素の画素値と前記テンプレートを構成す
る画素の画素値との間で、動きベクトル探索演算を行っ
て動きベクトルを求める第２の手段と、前記注目するテ
ンプレートの左隣のテンプレートに対して求まっている
動きベクトルを、前記第１のステップでの動きベクトル
探索演算の探索初期値とする第３の手段と、動きベクト
ル探索演算の探索初期値とした動きベクトルが検出され
やすくなるように、該動きベクトルの演算値を予め定め
られている規則に従って変換する第４の手段とを含むこ
とを特徴としている。

【００３２】なお、動きベクトル探索演算としては、公
知のアルゴリズムである、差分絶対値和や差分二乗値和
を求める演算が挙げられる。

【００３３】また、上記の動きベクトル探索方法は、例
えば、プログラムとして記憶媒体に記憶しておいて、コ
ンピュータがこのプログラムを読み取って実行するよう
にして実現可能である。

【００３４】なお、コンピュータは、例えば、記憶媒体
に記憶されているプログラムにしたがった動作を行うＣ
ＰＵ（中央処理装置）やＲＡＭを有して構成可能であ
り、記憶媒体としては、例えば、ＣＤＲＯＭ、ＤＶＤＲ
ＯＭ等の光記憶媒体、フレキシブルディスク等の磁気記
憶媒体、ＩＣカード、ＲＯＭ等の半導体記憶媒体、ＭＯ
等の光磁気記憶媒体が挙げられる。

【００３５】また、上記の動きベクトル探索装置に制御
手段（制御部）を設けた構成にして、この制御手段が探
索処理手段の駆動制御、求めた動きベクトルの装置外部
への出力等を行うようにしてもよい。

【００３６】

【発明の実施の形態】以下、本発明の実施形態を図面を
参照しつつ説明する。

【００３７】図５は、動きベクトル探索装置１００の一
構成例を示すブロック図であり、この動きベクトル探索
装置１００は、動画像を記憶するための画像メモリ３０
と、動きベクトルの探索を行う探索処理部２５と、与え
られた指令に基づいて探索処理部２５を駆動制御して、
求めた動きベクトルを装置外部に出力する制御部１１０
とを有している。

【００３８】この動きベクトル探索装置１００は、半導
体技術を用いてＬＳＩ化することによってハードウエア
のみによって実現することが可能であることはもちろん
のこと、各構成要素を、例えば、動作プログラムを内蔵
するＲＯＭ等の記憶媒体、動作プログラムにしたがった
動作を行うＣＰＵ（中央処理装置）、ワークエリアや記
憶エリアを有するＲＡＭ等の電子デバイスで実現するこ
とも可能である。

【００３９】すなわち、この動きベクトル探索装置１０
０を、記憶媒体に記憶したプログラムにしたがって動作
を行う１台のコンピュータシステムで実現することも可
能である。

【００４０】以下、この動きベクトル探索装置１００を
使用して動きベクトル探索を行う実施の形態を説明す
る。

【００４１】（第１の実施形態）図６は、第１の実施形
態にかかる処理を示すフローチャートであり、まず、こ
のフローチャートで動作概要を説明し、その後、模式的
説明図でこの実施形態にかかる処理を説明する。

【００４２】まず、ステップＳ６００において、指令を
与えられた制御部１１０に起動制御された探索処理部２
５は、画像メモリ３０が記憶している動画像の情報を参
照して、テンプレートと同じ大きさの画素ブロックを１
個以上含む大きさを有する第１の領域内での動きベクト
ルの探索を行う。この探索は、テンプレートを構成する
画素と第１の領域を構成する画素との、対応する画素の
画素値に基づいて差分絶対値を求めることや、求めた動
きベクトルで示される画素ブロックが、前記第１の領域
の周辺部に存在しないことを調べる。

【００４３】そして、ステップＳ６０５において、探索
処理部２５は周辺部判定を行って、求めた動きベクトル
で示される画素ブロックが第１の領域の周辺部に存在し
ない場合（ＯＫ）には、ステップＳ６１０に進み、これ
以外の場合（ＮＧ）には、ステップＳ６２０に進む。

【００４４】ステップＳ６１０では、探索処理部２５
は、差分絶対値和が、予め定めたしきい値よりも小さい
ものがあると判定した場合（ＯＫ）には、この差分絶対
値和に対応する画素ブロックの位置を移動元とした動き
ベクトルを、制御部１１０を介して出力して処理を終了
し、これ以外の場合（ＮＧ）には、ステップＳ６２０に
進む。そして、ステップＳ６２０では、第１の領域を完
全に含む第２の領域において、探索処理部２５は、画像
メモリ３０が記憶している動画像の情報を参照して、動
きベクトルの探索を行う。探索処理部２５によって探索
された動きベクトルは、制御部１１０を介して装置外部
に出力される。さらに、ステップＳ６２０で得られた動
きベクトルの差分絶対値和が予め定めた第２のしきい値
よりも大きいときは、動きベクトルが検出できなかった
という信号が制御部１１０を介して出力される。

【００４５】なお、もちろん、周辺部判定（Ｓ６０５）
を行わず、ステップＳ６００において、第１の領域で探
索を行った後、直ちにステップＳ６１０のしきい値判定
を行う形態も考えられる。この場合には、画質は多少劣
化するが、演算量が減少する。これは、以下で示す第
２、第３、そして、第４の実施形態でも同様である。

【００４６】以上の処理を図７の模式図を参照して説明
する。領域２１は動きベクトル＝（０，０）の、テンプ
レートと同一の大きさ（ａ画素×ｂライン）のブロック
２０を中心としたｅ画素×ｆライン（ｃ≧ｅ≧ａ、ｄ≧
ｆ≧ｂ）の狭い領域（第１の領域）、領域２２は動きベ
クトル＝（０，０）のブロック２０を中心とし、領域２
１を含むｃ画素×ｄラインの広い領域（第２の領域）で
ある。但し、ｃ＝ｅ，ｄ＝ｆが同時に成立するときは、
両領域が一致するので除くものとする。

【００４７】第１の実施形態では、まず、狭い領域２１
内で動きベクトルの探索を行って、その結果、検出され
た動きベクトルで示される画素ブロックが、領域２１の
周辺部（領域２１の縁部を意味する。；本願における周
辺部の詳細な定義については後述する。）に存在せず、
かつ、該動きベクトルに対する探索演算結果が所定のし
きい値よりも小さい（類似度合い（尤度）が所定のしき
い値よりも高い）ときには、該動きベクトルを正しいと
して探索を終了する。なお、しきい値は探索開始前に設
定しておくことが多いが、探索途中でしきい値を変更す
ることも可能である。

【００４８】次に、動きベクトルで示される画素ブロッ
クが領域２１の周辺部に存在する場合、または、動きベ
クトルの演算結果が所定のしきい値よりも大きいときに
（尤度が所定のしきい値よりも低いときに）、始めて領
域２２を探索する。なお、動きベクトルで示される画素
ブロックが領域２１の周辺部に存在する場合に必ず領域
２２を探索するのは、領域２１の外に正しい動きベクト
ルが存在する可能性が高いためである。

【００４９】ここで、動きベクトルで示される画素ブロ
ックが領域の周辺部に存在するとはいかなることかを、
図１、図８を参照して説明する。図１の場合、テンプレ
ートの大きさが４画素×４ラインであるため、１１画素
×１１ラインの探索範囲を６４個の画素ブロックに分割
して、各面素ブロックとテンプレートとの間の画素値を
用いた差分絶対値演算により、８×８＝６４個の動きベ
クトル候補（図８の○と×で表現する）が動きベクトル
空間内で得られるわけである。この場合、この動きベク
トルのうち、動きベクトル空間の周辺部に存在する動き
ベクトル（図８の○で表現する）が検出されたとき、画
素のブロックが領域の周辺部に存在するという。このよ
うな動きベクトルは、領域外にもっと最適な動きベクト
ル、即ち、差分絶対値和がより小さいものが存在する可
能性が高いため、第１の領域の外も探索することとした
ものである。

【００５０】この第１の実施形態によれば、動きが小さ
い画像の場合には、領域２１の中で動きベクトルが検出
され、必要以上に広い範囲の探索を行うことによって動
きベクトルがばらつくことがない。また、領域２１の中
で動きベクトルを検出できなかったときに始めて領域２
２を探索するため、大きな動きも検出できる。

【００５１】さらに、領域２１の中で動きベクトルが検
出された場合には、狭い範囲の探索のみですむため、演
算量を削減でき、動きベクトル探索装置１００を省電力
機能を有した構成とすることも可能になる。

【００５２】この第１の実施形態では、第１の領域での
探索に、全探索法またはサブサンプリング法を用い、第
２の領域での探索にサブサンプリング法またはテレスコ
ピック法、あるいは、その両者の組み合わせを用いるよ
うにすればよい。もちろん、いかなる探索アルゴリズム
を用いても良い。

【００５３】なお、上記実施形態においては、第１の領
域での探索に対して特に全探索法を用い、第２の領域で
の探索にサブサンプリング法またはテレスコピック法を
用いるようにすることによって、次のような効果を得る
ことができる。すなわち、第１の領域での探索で狭い範
囲を単画素精度で全探索法により詳細に探索し、第２の
領域の探索で広い範囲をサブサンプリング法またはテレ
スコピック探索法により粗く探索することによって、動
きが小さい画像では第１の領域の探索における狭い範囲
の詳細な探索で正確な動きベクトルが検出でき、また、
動きが大きい画像では第２の領域の探索における広い範
囲の探索で動きベクトルを検出できるので大幅な画質の
低下を防ぐことができる。探索精度を粗くすれば、探索
のための演算量が減少するので、ハード量が少なくて済
む。探索精度を単純に粗くすると、画質が大幅に低下す
るが、本発明では動きベクトルが存在する可能性が高い
領域を詳細に探索するため、大幅な画質の低下を防ぐこ
とができる。

【００５４】また、第１の実施形態ではテンプレートの
形状として長方形の例だけを示したが、テンプレートの
形状を楕円や菱型等を含む任意の形状としても本発明の
実施に関し何ら問題とならない。同様に、第１の領域と
第２の領域の形状を長方形に限らず任意の形状とするこ
とも可能であり、第１の領域については、第２の領域に
完全に含まれ、かつ、テンプレートが完全に含まれる大
きさにしてあればよい。

【００５５】（第２の実施形態）この第２の実施形態
は、まず、動きベクトル予測を行いこれを初期値として
動きベクトル探索を行う点に特徴がある。

【００５６】図１１（ａ）は、第２の実施形態にかかる
処理を示すフローチャートであり、まず、このフローチ
ャートで動作概要を説明し、その後、模式的説明図でこ
の実施形態にかかる処理を説明する。

【００５７】まず、ステップＳ１１００において、指令
を受けた制御部１１０は、探索処理部２５を駆動制御し
て動きベクトル予測を行う。以下、ステップＳ６００、
６０５、６１０、６２０での処理は、図６での同一ステ
ップでの処理と変わる点がない。

【００５８】さて、ステップＳ１１００における処理の
具体例を、図９、図１０の模式図で説明する。画像符号
化では画面をテンプレートの大きさに分割し、個々のテ
ンプレートについて動きベクトルを求めるが、図１０
に、画面２４が「８×６＝４８（個）」のテンプレート
に分割される場合を示す。また、画面２４には物体２３
−１が含まれており、物体２３−１は、前述した狭い探
索範囲２１の外で、かつ、広い探索範囲２２の中の範囲
での動きを有して、図面、左上から右下方向へと水平移
動している場合を想定する。

【００５９】この場合、物体２３−１に完全に含まれて
いる６個のテンプレート４３、４４、４５、５１、５
２、５３の動きベクトルは同一のはずであるが、第１の
実施形態によれば、これらの動きベクトルは広い探索範
囲２２を探索しなければ求めることができない。

【００６０】この実施の形態では、第１の領域の探索に
おいて、注目するテンプレートの左隣のテンプレートに
対する動きベクトルと同一の動きベクトルを探索の初期
値として（ステップＳ１１００）、この動きベクトルに
対応するブロック７３（ａ画素×ｂライン）を中心とす
る狭い探索範囲７４（ｅ画素×ｆライン）を探索する。
具体的には、テンプレート４４での動きベクトルの探索
は、テンプレート４３の動きベクトル（予測した動きベ
クトル）に対応するブロックを探索の初期値とするよう
に、以下、注目するテンプレートの動きベクトルを求め
る際には、左隣のテンプレートに対する動きベクトルを
探索の初期値としていって、以下、第１の実施形態と同
様な処理を行う。

【００６１】その結果、検出された動きベクトルで示さ
れるブロックが領域７４の周辺部に存在せず、かつ、動
きベクトルに対する探索演算結果が所定のしきい値より
も小さいときには、該動きベクトルを正しいとして探索
を終了する。なお、しきい値は探索開始前に設定してお
くことが多いが、探索途中でしきい値を変更することも
可能である。動きベクトルで示されるブロックが領域７
４の周辺部に存在する場合、または、動きベクトルの演
算結果が所定のしきい値よりも大きいときに、始めて領
域２２を探索する。

【００６２】この実施形態は、ステップＳ１１００にお
いて、注目するテンプレートの左隣のテンプレートの動
きベクトルを初期値として、この動きベクトルに対応す
るブロックを中心とする探索範囲を探索する例である
が、注目するテンプレートの右上、下、左上、左下、右
上、および、右下のうちのいずれかの隣接するテンプレ
ートの動きベクトルを初期値として、この動きベクトル
に対応するブロックを中心とする探索範囲を探索しても
良い。ただし、動画像符号化においては動きベクトルの
可変長符号化の際に、注目するテンプレートの左隣のテ
ンプレートに対する動きベクトルとの差分値を符号化す
るため、注目するテンプレートの左隣のテンプレートの
動きベクトルに対するブロック７３を中心とする狭い探
索範囲７４を探索する場合に符号化効率は最も良くな
る。

【００６３】上記実施形態では、動きベクトルが存在す
る可能性が高い領域を予測し、その領域から第１の領域
の探索が開始されている。動きベクトルが存在する可能
性が高い領域としては、動きベクトル＝（０，０）の周
辺、左隣のテンプレートの動きベクトルを初期値とし
て、その周辺等が考えられる。特に、第１の領域の探索
を行う領域として左隣のテンプレートの動きベクトルの
周辺を選択すると、隣接テンプレート間における動きベ
クトルの差分が小さくなるため、ＭＰＥＧ１，ＭＰＥＧ
２， Ｈ２６１，Ｈ２６３等の画像符号化アルゴリズム
において可変長符号化された後のビット数が少なくな
り、他の部分に割り当てられるビット数が増加する。そ
の結果、画質が向上するという効果がある。

【００６４】また、左隣のテンプレートの動きベクトル
の周辺領域で、当該テンプレートに対する第１の領域の
探索を行う場合、動物体の境界において動きベクトルの
変化が大きいために、第１の領域の探索に失敗したとし
ても、一旦第２の領域の探索により動きベクトルを検出
すれば、その次の隣接テンプレートの動き探索からは第
１の領域の探索で動きベクトルを検出できるようにな
る。このような例として、例えば、背景の中を自動車が
移動する映像が考えられる。このような映像では背景の
部分と自動車の部分の動きベクトルが大きく異なるの
で、第１の領域の探索のみでは、境界で動きベクトルが
大きく変化したとき、動きベクトルを検出できない。そ
こで、第２の領域の探索を行って動きベクトルを検出す
る。そして、その右隣のテンプレートの動きベクトルは
直前の探索で得られた動きベクトルを初期値とすること
により第１の領域の探索のみで検出できる。

【００６５】なお、本実施形態においても、まず、狭い
範囲で動きベクトルの探索を行って、次に、広い範囲で
動きベクトルを探索する点では、第１の実施形態と変わ
るところがなく、また、探索法としていがなるものを採
用しても良い。

【００６６】また、業務用ディジタルＶＴＲと家庭用Ｖ
ＴＲから出力される画像では、含まれているノイズの大
きさにかなり差がある。このように予め画像のノイズの
大小が分かっている場合には、ノイズの大きな画像では
大きなしきい値を設定し、ノイズの小さな画像では小さ
なしきい値を設定することにより符号化効率が向上す
る。あるいは、注目するテンプレートの左隣のテンプレ
ートに対する動きベクトルと同一の動きベクトルを第１
ステップの探索の初期値とした場合には、左隣のテンプ
レートに対する動きベクトルの差分絶対値等の演算値が
大きいときはしきい値を大きくし、該演算値が小さなと
きはしきい値を小さくすること等、画像の状態に合わせ
て、しきい値を変更することにより、符号化効率が向上
する。

【００６７】因みに、第１の実施形態は、動きベクトル
を（０，０）と予測して、これを初期値とした動きベク
トル探索を行ったものと言える。

【００６８】また、第２の実施形態においても、テンプ
レートの形状を楕円や菱型等を含む任意の形状としても
本発明の実施に関し、何ら問題とならない。同様に、第
１の領域と第２の領域の形状を長方形に限らず任意の形
状とすることも可能であり、第１の領域については、第
２の領域に完全に含まれ、かつ、テンプレートと同じ大
きさの画素ブロックが１個以上含まれる大きさにしてあ
ればよい。

【００６９】第１の実施形態及び第２の実施形態のいず
れかにおいて、さらに、第１ステップの狭い範囲の探索
のとき、その中心の差分絶対値等の演算値を予め定めた
方法により変換し、中心が検出されやすくすることがで
きる。この予め定めた方法（規則）とは、例えば、その
中心の演算値から予め定めた値を減算する方法が考えら
れる。このようにすることにより、動きベクトル＝
（０，０）を第１ステップの探索の初期値とする場合に
は、ノイズが乗った静止画が入力されても動きベクトル
＝（０，０）が検出されやすくなるため、ノイズの影響
を受け難くなる。また、注目するテンプレートの左隣の
テンプレートに対する動きベクトルと同一の動きベクト
ルを第１ステップの探索の初期値とする場合には、左隣
のテンプレートの動きベクトルと同じ動きベクトルが検
出されやすくなる。従って、動きベクトル自体の符号化
効率が高まる。

【００７０】さらに、第１ステップの探索を終了するた
めのしきい値を画像の状態に応じて変更したのと同様
に、予め画像のノイズの大小が分かっている場合には、
ノイズの大きな画像では大きな値を減算し、ノイズの小
さな画像では小さな値を減算すること、あるいは注目す
るテンプレートの左隣のテンプレートに対する動きベク
トルと同一の動きベクトルを第１ステップの探索の初期
値とした場合には、左隣のテンプレートに対する動きベ
クトルの演算値が大きいときは大きな値を減算し、該演
算値が小さなときは小さな値を減算すること等、画像の
状態に合わせて、適切な変換方法を採用することによ
り、いっそう、ノイズの影響を受け難くなったり、符号
化効率が向上する。

【００７１】（第３の実施形態）この実施形態は、第２
の実施形態同様に、まず、動きベクトル予測を行いこれ
を初期値として動きベクトル探索を行うものであるが、
この実施形態では、時間的に前後するフレーム間の情報
を利用して、初期値を求める点に特徴がある。

【００７２】この実施の形態にかかる処理は、図１１
（ｂ）で示すフローチャートで示され、第２の実施形態
とは、動きベクトルの予測のためのステップ（ステップ
Ｓ１１００Ｂ；図１１（ａ）のステップＳ１１００に対
応するステップ）における処理の内容が異なり、その他
の処理は変わる点がない。

【００７３】具体的には、ステップＳ１１００Ｂにおい
て、探索処理部２５は、注目するテンプレートを含む動
画像に対して時間的に過去に存在する他の動画像におい
て、注目するテンプレートと同じ位置に存在するテンプ
レートに対する動きベクトルを初期値とする。

【００７４】これを図１２の模式図を参照して説明す
る。図１２は、図１０において画面２４に含まれていた
物体２３−１が時間的に１つ前の画面と現画面の間、お
よび、現画面と時間的に１つ後の画面の間を動きベクト
ルｍｖ４で移動しており、１画面前に物体２３−０、１
画面後に物体２３−２の位置に存在することを想定す
る。

【００７５】すると、４個のテンプレート４４、４５、
５２、５３は、物体２３−１と物体２３−２の両方に含
まれるので、現画面における動きベクトルと１画面後に
おける動きベクトルはともにｍｖ４となる。このとき、
ｍｖ４が、第１の実施形態における狭い探索範囲２１の
外、かつ、広い探索範囲２２の中の範囲の動きであると
想定すると、第１の実施形態では、４個のテンプレート
４４、４５、５２、５３の動きベクトルは１画面後の探
索の際に広い探索範囲２２を探索しなければ検出するこ
とはできないが、この実施の形態では、第１の領域にお
ける探索において動きベクトルを探索しようとするテン
プレートが含まれる画像の、時間的に１つ前の画像にお
いて該テンプレートと対応する位置にあるテンプレート
の動きベクトルを中心とする狭い探索範囲を探索するよ
うにすればよい。

【００７６】その結果、検出された動きベクトルで示さ
れるブロックが、狭い探索範囲の周辺部に存在せず、か
つ、動きベクトルに対する探索演算結果が所定のしきい
値よりも小さいときには、該動きベクトルを正しいとし
て探索を終了する。なお、しきい値は探索開始前に設定
しておくことが多いが、探索途中でしきい値を変更する
ことも可能である。動きベクトルで示されるブロックが
領域７４の周辺部に存在する場合、または、動きベクト
ルの演算結果が所定のしきい値よりも大きいときに、始
めて領域２２を探索する。

【００７７】したがって、この第３の実施形態によれ
ば、４個のテンプレート４４、４５、５２、５３の１画
面後の動きベクトルのばらつきを抑えることができる効
果は無いが、狭い範囲の探索のみですむ場合には、演算
量を削減でき動きベクトル探索装置を省電力機能を有し
た構成にすることも可能になる。

【００７８】また、第３の実施形態においても、テンプ
レートの形状を楕円や菱型等を含む任意の形状としても
本発明の実施に関し、何ら問題とならない。同様に、第
１の領域と第２の領域の形状を長方形に限らず任意の形
状とすることも可能であり、第１の領域については、第
２の領域に完全に含まれ、かつ、テンプレートが完全に
含まれるような大きさにしてあればよい。

【００７９】（第４の実施形態）この実施の形態は、最
初に２種類の探索を並列に行って動きベクトルを探索す
る点に特徴がある。

【００８０】図１４は、第４の実施形態にかかる処理を
示すフローチャートであり、まず、このフローチャート
で動作概要を説明し、その後、模式的説明図でこの実施
形態にかかる処理を説明する。

【００８１】なお、ステップＳ１４００およびステップ
Ｓ１４１０と、ステップＳ１４２０およびステップＳ１
４３０とは、並列に実行される。指令を与えられた制御
部１１０に起動制御された探索処理部２５は、ステップ
Ｓ１４００において、画像メモリ３０が記憶している動
画像の情報を参照して、第１の領域内での動きベクトル
の探索を行う。即ち、動きベクトルを（０，０）とし、
これを中心とする画素ブロック内での動きベクトル探索
演算を行い、その演算結果を予め定めた変換式で変換す
る（変換値ａ）。

【００８２】一方、ステップＳ１４２０において、注目
するテンプレートに隣接したいずれか１つの画素ブロッ
クに対する動きベクトルを選択して、その動きベクトル
を初期値とする第３の領域で動きベクトルの探索を行
い、その演算結果を予め定めた変換式で変換する（変換
値ｂ）。なお、両者の変換規則は、動きの大きな画像や
動きの小さな画像等の様々な画像に応じて適切に定めて
おいて、動きベクトルの検出特性を調整可能にしてお
く。

【００８３】次に、ステップＳ１４４０において、探索
処理部２５は、変換値ａと変換値ｂの大小関係を比較し
て、小さな方の変換値（尤度の高い方の値）に対応する
動きベクトルを用いることにする。

【００８４】さらに、ステップＳ６０５において、探索
処理部２５は周辺部判定を行って、求めた動きベクトル
で示される画素ブロックが第１の領域の周辺部に存在し
ない場合（ＯＫ）には、ステップＳ６１０に進み、これ
以外の場合（ＮＧ）には、ステップＳ６２０に進む。

【００８５】ステップＳ６１０において、探索処理部２
５は、差分絶対値和が予め定めたしきい値よりも小さい
ものがあると判定した場合（ＯＫ）には、この差分絶対
値和に対応する画素ブロックの位置を移動元とした動き
ベクトルを、制御部１１０を介して出力して処理を終了
し、これ以外の場合（ＮＧ）には、ステップＳ６２０に
進む。

【００８６】そして、ステップＳ６２０では、第１の領
域と第３の領域を完全に含む第２の領域において、探索
処理部２５は、画像メモリ３０が記憶している動画像の
情報を参照して、動きベクトルの探索を行う。探索され
た動きベクトルは、制御部１１０を介して装置外部に出
力される。

【００８７】図１３は模式的説明図であって、領域２１
は動きベクトル＝（０，０）の、テンプレートと同一の
大きさのブロック２０を中心としたｅ画素×ｆライン
（ｒ≧ｅ≧ａ、ｄ≧ｆ≧ｂ）の狭い領域（第１の領
域）、領域７４は注目するテンプレートの左隣のテンプ
レートに対する動きベクトルと同一の動きベクトルに対
応するブロック７３（ａ画素×ｂライン）を中心とした
ｇ画素×ｈライン（ｃ≧ｇ≧ａ、ｄ≧ｈ≧ｂ）の狭い領
域（第３の領域）、領域２２は動きベクトル＝（０，
０）のブロック２０を中心とし、領域２１と領域７４を
含むｃ画素×ｄラインの広い領域（第２の領域）であっ
て、まず、第１の領域での探索が行われる。但し、「ｃ
＝ｅ，ｄ＝ｆが同時に成立するとき、またはｃ＝ｇ，ｄ
＝ｈが同時に成立するとき」は、第１の領域と第２の領
域、または第３の領域と第２の領域が一致するので除く
ものとする。

【００８８】このように、最初に、並列して探索処理を
行うことによって、静止した背景の中を物体が移動して
いく動画像において背景に含まれる領域と物体に含まれ
る領域の両方で動きベクトルの誤検出を少なくすること
ができ探索精度の向上を図れるという効果が得られる。

【００８９】なお、第４の実施形態においても、テンプ
レートの形状を楕円や菱型等を含む任意の形状としても
本発明の実施に関し、何ら問題とならない。同様に、第
１の領域と第２および第３の領域の形状を長方形に限ら
ず任意の形状とすることも可能であり、第１と第３の領
域については、第２の領域に完全に含まれ、かつ、テン
プレートと同じ大きさの画素ブロックが完全に含まれる
ような大きさにしてあればよい。

【００９０】なお、以上説明してきた各動きベクトルの
探索方法は、探索手順をプログラムとして記憶媒体に記
憶しておき、コンピュータが、このプログラムを読み取
って実行するようにすることによって実現可能である。
もちろん、以上説明してきた処理を実行するゲートアレ
ーを製造して、ハードウエアのみで処理を行う半導体回
路としても実現することも可能である。

【００９１】以上説明した各実施形態によれば、動画像
中に動きの大きな領域と動きの小さな領域が混在する場
合、動きの小さな領域については探索範囲を狭くして動
きベクトルのばらつきを抑え、動きの大きな領域におい
ては探索範を広くすることができるという効果が得られ
る。

【００９２】また、注目するテンプレートに隣接したい
ずれか一個のテンプレートの動きベクトルを用いること
により、複数のブロックが一定の方向に平行移動してい
て、その動きが大きい場合であっても、求めた動きベク
トルのばらつきを抑えることができるという効果が得ら
れる。さらに、狭い範囲での探索で動きベクトルが得ら
れた場合には、狭い範囲での探索のみでよいため、演算
量を削減でき、動きベクトル探索装置１００を省電力機
能を有した構成とすることが可能となる。

【００９３】また、動きを検出しようとするテンプレー
トが含まれる画像の時間的に１つ前の画像において該テ
ンプレートと同じ位置にあるテンプレートの動きベクト
ルを用いて、動きベクトル探索をすることによっても、
演算量を削減でき、動きベクトル探索装置を省電力機能
を有した構成とすることが可能となる。本発明は、その
精神または主要な特徴から逸脱することなく、他のいろ
いろな形で実施することができる。そのため、前述の実
施形態は単なる例示にすぎず、限定的に解釈してはなら
ない。本発明の範囲は、特許請求の範囲によって示すも
のであって、明細書本文には、なんら拘束されない。さ
らに、特許請求の範囲の均等範囲に属する変形や変更
は、すべて本発明の範囲内のものとする。

【００９４】

【発明の効果】以上説明したように、請求項１記載の発
明によれば、まず、第１の領域を構成する画素の画素値
とテンプレートを構成する画素の画素値との間で、動き
ベクトル探索演算を行い、次に、この演算結果が所定の
条件を満足する場合には、この演算結果から動きベクト
ルを求め、一方、この演算結果が所定の条件を満足しな
い場合には、第２の領域を構成する画素の画素値とテン
プレートを構成する画素の画素値との間で、動きベクト
ル探索演算を行って動きベクトルを求めるので、動きベ
クトルの探索を正確に行えるとともに、第１の領域での
探索のみですむ場合には、動きベクトル探索の演算量が
大幅に低減できるという効果が得られる。

【００９５】また、請求項２記載の発明によれば、第１
の領域での探索で狭い範囲を単画素精度で全探索法によ
り詳細に探索し、第２の領域の探索で広い範囲をサブサ
ンプリング法により粗く探索することによって、動きが
小さい画像では第１の領域の探索における狭い範囲の詳
細な探索で正確な動きベクトルが検出でき、また、動き
が大きい画像では第２の領域の探索における広い範囲の
探索で動きベクトルを検出できるので大幅な画質の低下
を防ぐことができる。

【００９６】また、請求項３〜４記載の発明によれば、
演算値として採用した差分絶対値和または差分二乗値和
のいずれかの値が所定値以下になること、および、それ
に加えて動きベクトル探索演算によって動きベクトルが
検出されたと想定したとき、この動きベクトルで示され
る画素ブロックが第１の領域の周辺部に存在しないこと
であることを所定の条件としたので、演算が簡素化され
かつより正確に動きベクトルを探索できるという効果が
得られる。

【００９７】また、請求項５記載の発明によれば、ある
動きベクトルを予測しておいて、この予測した動きベク
トルを、第１のステップでの動きベクトル探索演算の探
索初期値とするので、探索演算量を削減しつつ探索精度
の向上を図れるという効果が得られる。

【００９８】また、請求項６記載の発明によれば、例え
ば、動きベクトル＝（０，０）を検出しやすくすること
で、さらに、ノイズが乗った静止画が入力されても動き
ベクトル＝（０，０）が検出されやすくなるため、ノイ
ズの影響を受け難くなるという効果がある。

【００９９】また、請求項７記載の発明によれば、予測
する動きベクトルとして、動きがないことを意味する動
きベクトル＝（０，０）を採用するので、動きの小さな
画像において、一層、探索演算量を削減することが可能
となる。

【０１００】また、請求項８記載の発明によれば、予測
する動きベクトルとして、注目するテンプレートに隣接
する、いずれかのテンプレートに対して求まっている動
きベクトルを採用するので、一層、探索演算量を削減し
つつ探索精度の向上を図れるという効果が得られる。

【０１０１】また、請求項９記載の発明によれば、特
に、左隣のテンプレートの動きベクトルを第１ステップ
の探索の初期値とする場合には、左隣のテンプレートの
動きベクトルと同じ動きベクトルが検出されやすくな
り、動きベクトル自体の符号化効率が高まる効果があ
る。

【０１０２】また、請求項１０記載の発明によれば、さ
らに、画像の状態に合わせて、しきい値を変更すること
により、符号化効率の向上を図ることができる。

【０１０３】また、請求項１１記載の発明によれば、予
測する動きベクトルとして、注目するテンプレートを含
む動画像に対して時間的に過去に存在する他の動画像に
おいて、注目するテンプレートと同じ位置に存在するテ
ンプレートに対する動きベクトルを採用するので、フレ
ーム間等での情報を用いて動きベクトル探索を行えると
いう効果が得られる。

【０１０４】また、請求項１２記載の発明によれば、動
きベクトル＝（０，０）を初期値として 動きベクトル
＝（０，０）の画素ブロックを１個以上含む大きさの第
１の領域を想定し、この第１の領域を構成する画素の画
素値と前記テンプレートを構成する画素の画素値との間
で、動きベクトルの探索演算を行うとともに、前記注目
するテンプレートに隣接するいずれかのテンプレートに
対して求まっている動きベクトルを初期値とする第３の
領域で前記動きベクトルの探索演算を行って動きベクト
ルを探索し、さらに両演算結果を参照し、予め定められ
ている規則にしたがって、いずれかの演算結果を選択
し、この選択した演算結果が、所定の条件を満足する場
合には、この演算結果から動きベクトルを求めるように
したので、動きベクトルの探索の正確性と、演算量の削
減を同時に図ることができる。

【０１０５】また、本発明によれば、探索処理手段が、
記憶手段の記憶内容を参照して、第１の領域を構成する
画素の画素値とテンプレートを構成する画素の画素値と
の間で、動きベクトル探索演算を行い、この演算結果が
所定の条件を満足する場合には、この演算結果から動き
ベクトルを求め、一方、この演算結果が所定の条件を満
足しない場合には、第２の領域を構成する画素の画素値
とテンプレートを構成する画素の画素値との間で、動き
ベクトル探索演算を行って動きベクトルを求めるので、
動きベクトルの探索を正確に行えるとともに、第１の領
域での探索のみですむ場合には、動きベクトル探索の演
算量が大幅に低減できる装置を実現できるという効果が
得られる。

【図面の簡単な説明】

【図１】 本発明および従来技術を説明するための模式
的説明図である。

【図２】 従来技術を説明するための模式的説明図であ
る。

【図３】 従来技術を説明するための模式的説明図であ
る。

【図４】 従来技術を説明するための模式的説明図であ
る。

【図５】 本発明の実施形態を示す動きベクトル探索装
置の構成図である。

【図６】 第１の実施形態における処理を示すフローチ
ャートである。

【図７】 第１の実施形態にかかる模式的説明図であ
る。

【図８】 本発明にかかる実施形態を説明する説明図で
ある。

【図９】 本発明の第２の実施形態の模式的説明図であ
る。

【図１０】 第２の実施形態の模式的説明図である。

【図１１】 図１１（ａ），（ｂ）は、本発明の第２、
３の実施形態における処理を示すフローチャートであ
る。

【図１２】 本発明の第３の実施形態の模式的説明図で
ある。

【図１３】 本発明の第４の実施形態の模式的説明図で
ある。

【図１４】 第４の実施形態における処理を示すフロー
チャートである。

【符号の説明】

１ テンプレート ２ 探索領域 ５ 領域 ６ テンプレート ７ 探索領域 ８ ブロック ９ ブロック １２ 画像 １３ 画像 １４ 画像 １５ 画像 １６ 矩形ブロック １７ 領域 １８ 領域 １９ 領域 ２０ ブロック ２５ 探索処理部 ３０ 画像メモリ １１０ 制御部

Claims (21)

【特許請求の範囲】
1. 【請求項１】 注目するテンプレートと同一の大きさの
   画素ブロック群の間で所定の演算により動きを評価し、
   テンプレートについて動画像内における動きベクトルを
   求める方法であって、 前記画素ブロックを１個以上含む大きさの第１の領域を
   想定し、この第１の領域を構成する画素の画素値と前記
   テンプレートを構成する画素の画素値との間で、動きベ
   クトル探索演算を行う第１のステップと、 この演算結果が所定の条件を満足する場合には、この演
   算結果から動きベクトルを求め、一方、この演算結果が
   前記所定の条件を満足しない場合には、前記第１の領域
   を完全に含む大きさの第２の領域を想定し、この第２の
   領域を構成する画素の画素値と前記テンプレートを構成
   する画素の画素値との間で、動きベクトル探索演算を行
   って動きベクトルを求める第２のステップとを含むこと
   を特徴とする動きベクトル探索方法。
2. 【請求項２】 請求項１において、 前記第２のステップにおける探索は、 サブサンプリングして作成した縮小画像上で行うことを
   特徴とする動きベクトル探索方法。
3. 【請求項３】 請求項１または２において、 前記所定の条件を満足することは、 前記演算値として採用した差分絶対値和または差分二乗
   値和のいずれかの値が所定値以下になることであること
   を特徴とする動きベクトル探索方法。
4. 【請求項４】 請求項１または２において前記所定の条
   件を満足することは、 前記演算値として採用した差分絶対値和または差分二乗
   値和のいずれかの値が所定値以下になること、および、
   前記動きベクトル探索演算によって動きベクトルが検出
   されたと想定したとき、この動きベクトルで示される画
   素ブロックが前記第１の領域の周辺部に存在しないこと
   であることを特徴とする動きベクトル探索方法。
5. 【請求項５】 請求項１〜４のいずれか１項において、
   さらに、 ある動きベクトルを予測しておいて、この予測した動き
   ベクトルを、前記第１のステップでの動きベクトル探索
   演算の探索初期値とする第３のステップを含むことを特
   徴とする動きベクトル探索方法。
6. 【請求項６】 請求項５において、さらに、 動きベクトル探索演算の探索初期値とした動きベクトル
   が検出されやすくなるように、該動きベクトルの演算値
   を予め定められている規則に従って変換する第４のステ
   ップを含むことを特徴とする動きベクトル探索方法。
7. 【請求項７】 請求項５または６において、 前記第３のステップは、 予測する動きベクトルとして、動きがないことを意味す
   る動きベクトル＝（０，０）を採用するステップである
   ことを特徴とする動きベクトル探索方法。
8. 【請求項８】 請求項５または６において、 前記第３のステップは、 予測する動きベクトルとして、前記注目するテンプレー
   トに隣接する、いずれかのテンプレートに対して求まっ
   ている動きベクトルを採用するステップであることを特
   徴とする動きベクトル探索方法。
9. 【請求項９】 請求項８において、 前記注目するテンプレートに隣接するテンプレートとし
   て、注目するテンプレートの左隣のテンプレートを採用
   することを特徴とする動きベクトル探索方法。
10. 【請求項１０】 請求項９において、 注目するテンプレートの左隣のテンプレートに対する動
    きベクトルの演算値の大小に応じて、前記第１ステップ
    の探索を終了するためのしきい値を予め定めた規則によ
    り変換するか、または前記第４のステップにおける変換
    規則を変更するか、または、それらの双方を同時に行う
    ことを特徴とする動きベクトル探索方法。
11. 【請求項１１】 請求項５または６において、 前記第３のステップは、 予測する動きベクトルとして、前記注目するテンプレー
    トを含む動画像に対して時間的に過去に存在する他の動
    画像において、前記注目するテンプレートと対応する位
    置に存在するテンプレートに対する動きベクトルを採用
    するステップであることを特徴とする動きベクトル探索
    方法。
12. 【請求項１２】 注目するテンプレートと同一の大きさ
    の画素ブロック群の間で所定の演算により動きを評価
    し、テンプレートについて動画像内における動きベクト
    ルを求める方法であって、 動きベクトル＝（０，０）を初期値として 動きベクト
    ル＝（０，０）の画素ブロックを１個以上含む大きさの
    第１の領域を想定し、この第１の領域を構成する画素の
    画素値と前記テンプレートを構成する画素の画素値との
    間で、動きベクトルの探索演算を行うとともに、前記注
    目するテンプレートに隣接するいずれかのテンプレート
    に対して求まっている動きベクトルを初期値とする第３
    の領域で前記動きベクトルの探索演算を行って動きベク
    トルを探索する第１のステップと、 両演算結果を参照し、予め定められている規則にしたが
    って、いずれかの演算結果を選択し、この選択した演算
    結果が、所定の条件を満足する場合には、この演算結果
    から動きベクトルを求め、一方、この演算結果が前記所
    定の条件を満足しない場合には、前記第１の領域と第３
    の領域を完全に含む大きさの第２の領域を想定し、この
    第２の領域を構成する画素の画素値と前記テンプレート
    を構成する画素の画素値との間で、動きベクトル探索演
    算を行って動きベクトルを求める第２のステップとを含
    むことを特徴とする動きベクトル探索方法。
13. 【請求項１３】 注目するテンプレートと同一の大きさ
    の画素ブロック群の間で所定の演算により動きを評価
    し、テンプレートについて動画像内における動きベクト
    ルを求める装置であって、 動画像を記憶するための記憶手段と、該記憶手段の記憶
    内容を参照して動きベクトル探索を行う探索処理手段と
    を備え、 この探索処理手段は、 前記画素ブロックを１個以上含む大きさの第１の領域を
    想定し、この第１の領域を構成する画素の画素値と前記
    テンプレートを構成する画素の画素値との間で、動きベ
    クトル探索演算を行う手段と、 この演算結果が所定の条件を満足する場合には、この演
    算結果から動きベクトルを求め、一方、この演算結果が
    前記所定の条件を満足しない場合には、前記第１の領域
    を完全に含む大きさの第２の領域を想定し、この第２の
    領域を構成する画素の画素値と前記テンプレートを構成
    する画素の画素値との間で、動きベクトル探索演算を行
    って動きベクトルを求める手段とを含むことを特徴とす
    る動きベクトル探索装置。
14. 【請求項１４】 注目するテンプレートと同一の大きさ
    の画素ブロック群の間で所定の演算により動きを評価
    し、テンプレートについて動画像内における動きベクト
    ルを求める装置であって、 動画像を記憶するための記憶手段と、該記憶手段の記憶
    内容を参照して動きベクトル探索を行う探索処理手段と
    を備え、 この探索処理手段は、 動きベクトル＝（０，０）を初期値として 動きベクト
    ル＝（０，０）の画素ブロックを１個以上含む大きさの
    第１の領域を想定し、この第１の領域を構成する画素の
    画素値と前記テンプレートを構成する画素の画素値との
    間で、動きベクトルの探索演算を行うとともに、前記注
    目するテンプレートに隣接するいずれかのテンプレート
    に対して求まっている動きベクトルを初期値する第３の
    領域で前記動きベクトルの探索演算を行って動きベクト
    ルを探索する手段と、 両演算結果を参照し、予め定められている規則にしたが
    って、いずれかの演算結果を選択し、この選択した演算
    結果が、所定の条件を満足する場合には、この演算結果
    から動きベクトルを求め、一方、この演算結果が前記所
    定の条件を満足しない場合には、前記第１の領域と第３
    の領域を完全に含む大きさの第２の領域を想定し、この
    第２の領域を構成する画素の画素値と前記テンプレート
    を構成する画素の画素値との間で、動きベクトル探索演
    算を行って動きベクトルを求める手段とを含むことを特
    徴とする動きベクトル探索装置。
15. 【請求項１５】 注目するテンプレートと同一の大きさ
    の画素ブロック群の間で所定の演算により動きを評価
    し、テンプレートについて動画像内における動きベクト
    ルを求める装置であって、 前記画素ブロックを１個以上含む大きさの第１の領域を
    想定し、この第１の領域を構成する画素の画素値と前記
    テンプレートを構成する画素の画素値との間で、動きベ
    クトル探索演算を行う第１の手段と、 この演算結果が所定の条件を満足する場合には、この演
    算結果から動きベクトルを求め、一方、この演算結果が
    前記所定の条件を満足しない場合には、前記第１の領域
    を完全に含む大きさの第２の領域を想定し、この第２の
    領域を構成する画素の画素値と前記テンプレートを構成
    する画素の画素値との間で、動きベクトル探索演算を行
    って動きベクトルを求める第２の手段と、 前記注目するテンプレートの左隣のテンプレートに対し
    て求まっている動きベクトルを、前記第１のステップで
    の動きベクトル探索演算の探索初期値とする第３の手段
    と、 動きベクトル探索演算の探索初期値とした動きベクトル
    が検出されやすくなるように、該動きベクトルの演算値
    を予め定められている規則に従って変換する第４の手段
    とを含むことを特徴とする動きベクトル探索装置。
16. 【請求項１６】 注目するテンプレートと同一の大きさ
    の画素ブロック群の間で所定の演算により動きを評価
    し、テンプレートについて動画像内における動きベクト
    ルを求める処理をコンピュータに実行させる動きベクト
    ル探索プログラムを記憶したコンピュータ読み取り可能
    な記憶媒体において、 前記画素ブロックを１個以上含む大きさの第１の領域を
    想定し、この第１の領域を構成する画素の画素値と前記
    テンプレートを構成する画素の画素値との間で、動きベ
    クトル探索演算を行う処理と、 この演算結果が所定の条件を満足する場合には、この演
    算結果から動きベクトルを求め、一方、この演算結果が
    前記所定の条件を満足しない場合には、前記第１の領域
    を完全に含む大きさの第２の領域を想定し、この第２の
    領域を構成する画素の画素値と前記テンプレートを構成
    する画素の画素値との間で、動きベクトル探索演算を行
    って動きベクトルを求める処理とをコンピュータに実行
    させる動きベクトル探索プログラムを記憶した記憶媒
    体。
17. 【請求項１７】 注目するテンプレートと同一の大きさ
    の画素ブロック群の間で所定の演算により動きを評価
    し、テンプレートについて動画像内における動きベクト
    ルを求める処理をコンピュータに実行させる動きベクト
    ル探索プログラムを記憶したコンピュータ読み取り可能
    な記憶媒体において、 動きベクトル＝（０，０）を初期値として 動きベクト
    ル＝（０，０）の画素ブロックを１個以上含む大きさの
    第１の領域を想定し、この第１の領域を構成する画素の
    画素値と前記テンプレートを構成する画素の画素値との
    間で、動きベクトルの探索演算を行うとともに、前記注
    目するテンプレートに隣接するいずれかのテンプレート
    に対して求まっている動きベクトルを初期値とする第３
    の領域で前記動きベクトルの探索演算を行って動きベク
    トルを探索する処理と、 両演算結果を参照し、予め定められている規則にしたが
    って、いずれかの演算結果を選択し、この選択した演算
    結果が、所定の条件を満足する場合には、この演算結果
    から動きベクトルを求め、一方、この演算結果が前記所
    定の条件を満足しない場合には、前記第１の領域と第３
    の領域を完全に含む大きさの第２の領域を想定し、この
    第２の領域を構成する画素の画素値と前記テンプレート
    を構成する画素の画素値との間で、動きベクトル探索演
    算を行って動きベクトルを求める処理とをコンピュータ
    に実行させる動きベクトル探索プログラムを記憶した記
    憶媒体。
18. 【請求項１８】 注目するテンプレートと同一の大きさ
    の画素ブロック群の間で所定の演算により動きを評価
    し、テンプレートについて動画像内における動きベクト
    ルを求める処理をコンピュータに実行させる動きベクト
    ル探索プログラムを記憶したコンピュータ読み取り可能
    な記憶媒体において、 前記画素ブロックを１個以上含む大きさの第１の領域を
    想定し、この第１の領域を構成する画素の画素値と前記
    テンプレートを構成する画素の画素値との間で、動きベ
    クトル探索演算を行う第１の処理と、 この演算結果が所定の条件を満足する場合には、この演
    算結果から動きベクトルを求め、一方、この演算結果が
    前記所定の条件を満足しない場合には、前記第１の領域
    を完全に含む大きさの第２の領域を想定し、この第２の
    領域を構成する画素の画素値と前記テンプレートを構成
    する画素の画素値との間で、動きベクトル探索演算を行
    って動きベクトルを求める第２の処理と前記注目するテ
    ンプレートの左隣のテンプレートに対して求まっている
    動きベクトルを、前記第１の処理での動きベクトル探索
    演算の探索初期値とする第３の処理と 動きベクトル探
    索演算の探索初期値とした動きベクトルが検出されやす
    くなるように、該動きベクトルの演算値を予め定められ
    ている規則に従って変換する第４の処理とをコンピュー
    タに実行させる動きベクトル探索プログラムを記憶した
    記憶媒体。
19. 【請求項１９】 請求項１３に記載された動きベクトル
    探索装置と、 前記探索処理手段に制御指令を入力する
    ための入力手段と、 該探索処理手段から探索結果を出力するための出力手段
    とを含むことを特徴とする画像符号化装置。
20. 【請求項２０】 請求項１４に記載された動きベクトル
    探索装置と、 前記探索処理手段に制御指令を入力する
    ための入力手段と、 該探索処理手段から探索結果を出力するための出力手段
    とを含むことを特徴とする画像符号化装置。
21. 【請求項２１】 請求項１５に記載された動きベクトル
    探索装置と、 前記探索処理手段に制御指令を入力するための入力手段
    と、 該探索処理手段から探索結果を出力するための出力手段
    とを含むことを特徴とする画像符号化装置。