JP4859168B2 - 動き検出装置及び動き検出方法 - Google Patents
動き検出装置及び動き検出方法 Download PDFInfo
- Publication number
- JP4859168B2 JP4859168B2 JP2004301750A JP2004301750A JP4859168B2 JP 4859168 B2 JP4859168 B2 JP 4859168B2 JP 2004301750 A JP2004301750 A JP 2004301750A JP 2004301750 A JP2004301750 A JP 2004301750A JP 4859168 B2 JP4859168 B2 JP 4859168B2
- Authority
- JP
- Japan
- Prior art keywords
- block
- template
- partial
- difference
- prediction
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
- Image Analysis (AREA)
Description
本発明は、動き補償を利用した動画像圧縮装置の中核機能として重要であり、画像の特徴抽出、オブジェクト抽出等にも有用な機能である動き検出方法に関わる。より詳しくは、画像列を構成する１枚の画像内の一部分領域である動き検出対象ブロックの移動元あるいは移動先の対応領域（これ以降、いずれも移動元ブロックと呼ぶ）が、画像列中の他の画像（探索対象画像、以降参照画像と呼ぶ）のどの部分領域であるかを予測し、その予測した部分領域（予測ブロックと呼ぶ）に動き検出対象ブロックから向かうベクトルを動きベクトルとして検出する動き検出方法及び装置に関する。
図１は従来の動き検出方法における動き検出対象のテンプレートブロックと、それに対する参照画像中の探索範囲を示している。図中の１は、そこから動き検出対象のテンプレートブロックの移動元ブロックを探す参照画像、２は動き検出対象のテンプレートブロックを含む画像、３は探索範囲、４は動き検出対象のテンプレートブロックを表している。n-2,n-1,・・・,n+2 は、仮に付けたブロックの番号である。
従来の基本的な動き検出方法では、図１に示すようにテンプレートブロック４（ｎ番目のブロック）のみを、差異度評価用のテンプレートとし、参照画像１の一定の広さの領域（探索範囲）内のテンプレートと合同（形状及びサイズが同一）の参照ブロックの中でテンプレートとの差異度が最も小さいものを検出し、移動元のブロック（予測ブロック）としていた。この方法は高い探索精度が得られるものの、十分な探索範囲を実現しようとすると、演算量が膨大になる問題があった。そこで、従来、原画像からサブサンプリングにより生成する縮小（同一画素密度で表示すると小さくなるため、ここでは縮小と表現する）画像を用いた広い範囲の探索により、おおよその動きベクトルを検出した後に、そのベクトルで指定される位置周辺の狭い範囲を非縮小の原画像間で詳細に探索するという階層的な探索手法が主に用いられてきた。しかし、この階層探索法には２つの大きな問題点がある。１つ目は構成画素の値間の凹凸が縮小時に平滑化され有意な情報が欠落してしまうために、差異度評価が不正確となり予測ブロックの誤検出が発生し易くなることである。
従来の基本的な動き検出方法では、図１に示すようにテンプレートブロック４（ｎ番目のブロック）のみを、差異度評価用のテンプレートとし、参照画像１の一定の広さの領域（探索範囲）内のテンプレートと合同（形状及びサイズが同一）の参照ブロックの中でテンプレートとの差異度が最も小さいものを検出し、移動元のブロック（予測ブロック）としていた。この方法は高い探索精度が得られるものの、十分な探索範囲を実現しようとすると、演算量が膨大になる問題があった。そこで、従来、原画像からサブサンプリングにより生成する縮小（同一画素密度で表示すると小さくなるため、ここでは縮小と表現する）画像を用いた広い範囲の探索により、おおよその動きベクトルを検出した後に、そのベクトルで指定される位置周辺の狭い範囲を非縮小の原画像間で詳細に探索するという階層的な探索手法が主に用いられてきた。しかし、この階層探索法には２つの大きな問題点がある。１つ目は構成画素の値間の凹凸が縮小時に平滑化され有意な情報が欠落してしまうために、差異度評価が不正確となり予測ブロックの誤検出が発生し易くなることである。
２つ目は、差異度評価手段自体も縮小画像用と非縮小画像用の２種類設けねばならず、回路構成が複雑となり設計工数が増大することである。縮小画像の段階で必要となる広い範囲の探索と非縮小画像の段階で必要となる狭い範囲の探索の両方で効率の良い探索を実現できないことに起因する問題である。実際、非特許文献１には、種々の差異度評価ユニット構成を比較する中で、参照画像格納用メモリユニットのアクセスバンド幅低減と両立可能な高並列の差異度評価ユニット構成が示されているが、パイプライン段数が大きく、高い効率（稼働率）が達成できるのは、探索範囲が広い場合に限られる。一方、文献２には、階層的な探索方式を採る動き検出器の内部構成が示されているが、階層ごとに構成の異なる専用の差異度評価ユニットを用いている。
ところで、一つ目の問題点に対しては、これまで種々の解決法が提案されている。その中の最も効果的な方法の一つとして、近傍に位置するテンプレートブロック同士を結合し、その結合した全体を１つの拡張テンプレートブロックとして探索する方法（非特許文献３）が知られている。図２は、隣接する４個のテンプレートブロックを結合した拡張テンプレートブロックと、それに対する参照画像中の探索範囲を示している。動き検出対象画像と参照画像は共に縮小画像であり、この拡張テンプレートブロックを用いた探索により求まる動きベクトルを元々の４個のテンプレートブロックの概略動きベクトルとして、後続のより詳細な探索により順次動きベクトルの精度を挙げて行くことにより最終的な動きベクトルを求めるというのが、この方式の基本的な考え方である。
南，近藤，村主，笠井，「１次元シストリックアレー型全探索動きベクトル検出器の提案」，電子情報通信学会論文誌D-1,Vol.J78-D-1,No.12,pp.913-925(1995)
K.Suguri, T.Minami, H.Matsuda, R.Kusaba, T.Kondo, R.Kasai, T.Watanabe, H.Sato, N.Shibata, Y.Tashiro, T.Izuoka, A.Simizu and H.Kotera :「A real-time Motion Estimation and Compensation LSI with Wide Search Range for MPEG2 Video Encoding」, IEEE J.Solid-State Circuits, C-31, No.11, pp.1733-1741(1996)
富永英義, 小松尚久, 宮下壮史, 花村剛：階層画素情報を用いた動画像における動き量検出方式, 電子情報通信学会論文誌, Vol.J72-D-2 No.3, pp.395-403, 1989．
図３は、この方式に基づく動き検出装置の一例のブロック構成図であり、２×２個のテンプレートブロックを結合した拡張テンプレートブロックを用いた縮小画像に対する探索により、テンプレートブロック４個分の予測ブロックの位置をまとめて検出した後、それぞれの予測ブロックの位置を、結合無しの通常テンプレートを用いた非縮小画像に対する探索で精度を上げるという２階層探索方式を採る動き検出装置の構成を示している。
この図で、５は制御ユニットであり、外部より入力される探索中心移動量と探索範囲を基に生成する制御信号（図中の破線）を各構成ユニットに供給するとともに、拡張テンプレートブロックと合同の探索範囲中の参照拡張ブロックの相対位置（拡張テンプレートブロックから参照拡張ブロックに向かうベクトルに相当）を生成し、拡張テンプレートブロック用最小差異度位置検出ユニット１９へ出力する。７は画像列入力から縮小画像を生成するサブサンプリングユニット、６は非縮小画像を処理対称とする標準的な詳細動き検出ユニット、１０は７より受け取る縮小画像を動き検出対象画像として格納する動き検出対象画像用メモリユニット、１１は、やはり７より受け取る縮小画像を参照画像として格納する参照画像用メモリユニット、１９は拡張テンプレートブロック用最小差異度位置検出ユニットである。
図４は、拡張テンプレートブロック用最小差異度位置検出ユニット１９の内部構成を示すブロック図であり、２４は拡張テンプレートブロックを格納するためのバッファメモリ、２５は拡張テンプレートブロックと参照拡張ブロックの対応する画素間の差分絶対値を求める差分絶対値演算器、２６は前段より入力される差分絶対値を一つの参照拡張ブロックごとに加え合わせる累算器、２７は探索範囲内でそれまでに調べた参照拡張ブロックのうちの最小の差異度を保持するレジスタ、２８は累算器２６より出力される参照拡張ブロックごとの差異度である累算結果と、２７に保持されているそれまでの最小差異度と比較し、その比較結果をレジスタ２７、２９の書き込み信号として出力する比較器、２９は最小差異度を与える参照拡張ブロックの相対位置を予測拡張ブロック位置情報として蓄える位置情報レジスタ、３０はＡＮＤゲートである。以下、このユニットの動作について説明する。
この図で、５は制御ユニットであり、外部より入力される探索中心移動量と探索範囲を基に生成する制御信号（図中の破線）を各構成ユニットに供給するとともに、拡張テンプレートブロックと合同の探索範囲中の参照拡張ブロックの相対位置（拡張テンプレートブロックから参照拡張ブロックに向かうベクトルに相当）を生成し、拡張テンプレートブロック用最小差異度位置検出ユニット１９へ出力する。７は画像列入力から縮小画像を生成するサブサンプリングユニット、６は非縮小画像を処理対称とする標準的な詳細動き検出ユニット、１０は７より受け取る縮小画像を動き検出対象画像として格納する動き検出対象画像用メモリユニット、１１は、やはり７より受け取る縮小画像を参照画像として格納する参照画像用メモリユニット、１９は拡張テンプレートブロック用最小差異度位置検出ユニットである。
図４は、拡張テンプレートブロック用最小差異度位置検出ユニット１９の内部構成を示すブロック図であり、２４は拡張テンプレートブロックを格納するためのバッファメモリ、２５は拡張テンプレートブロックと参照拡張ブロックの対応する画素間の差分絶対値を求める差分絶対値演算器、２６は前段より入力される差分絶対値を一つの参照拡張ブロックごとに加え合わせる累算器、２７は探索範囲内でそれまでに調べた参照拡張ブロックのうちの最小の差異度を保持するレジスタ、２８は累算器２６より出力される参照拡張ブロックごとの差異度である累算結果と、２７に保持されているそれまでの最小差異度と比較し、その比較結果をレジスタ２７、２９の書き込み信号として出力する比較器、２９は最小差異度を与える参照拡張ブロックの相対位置を予測拡張ブロック位置情報として蓄える位置情報レジスタ、３０はＡＮＤゲートである。以下、このユニットの動作について説明する。
バッファメモリ２４、差分絶対値演算器２５、累算器２６により、２×２ブロックの拡張テンプレートブロックとそれと合同の参照拡張ブロックとの間で、差分絶対値和を評価関数とする差異度評価を行う。続いて、その累算結果として求まる差異度を、その後に続く最小差異度レジスタ２７、比較器２８とを用いて、これまでの最小の差異度か否かを判定し、最小差異度であるならば最小差異度レジスタ２７、位置情報レジスタ２９で保持しているデータを入力値で更新することにより、予測拡張ブロックの位置を検出する。なお、レジスタの更新信号は、判定が有効となるタイミングでＡＮＤゲート３０に入力している制御信号（比較実行指示）を１にすることで生成している。
この従来法は、演算量の大きい縮小画像の探索において、近傍のテンプレートブロックの探索結果を参照しないため、近傍テンプレートブロックを連結して同時に探索するという並列化により動き検出の処理速度を容易に向上可能であるという利点を有する。また、動き探索に必要な情報のサブサンプリングによる欠落が、テンプレートの拡張により補えるため、全体的に均一な動きをしている画像に対して高い動き検出精度が得られる利点がある。しかし、その反面、結合対象の近傍の動き探索対象ブロックの側の動きが異なるような動きの複雑な画像では、ブロック間の動きの違いを平均化してしまい、検出精度が改善されなくなる欠点がある。そこで、文献３では、後続の階層に対する予測ブロック候補として、自身の拡張テンプレートを用いた探索結果の予測ブロックだけでなく、隣接する周辺拡張テンプレートの探索結果の動きベクトルで指定される参照ブロックも予測ブロック候補に加えるようにして、詳細探索で、それら候補自身あるいはそれらの近傍位置から最小の差異度を与える予測ブロックを見つけ出すようにして改善を図っている。また、縮小率が大きくテンプレートの拡張の割合の大きい先頭の第１階層から縮小率が小さくテンプレートの拡張の割合の小さい第ｎ階層に向かって、探索を繰り返し、予測ブロック候補の位置の精度を順次上げて行く多階層の階層探索方式に対し、番号の小さい階層ほどテンプレートの拡張率を抑える方法が提案され、動きの複雑な画像での探索精度の向上に効果のあることが示されている（特許文献１）。しかし、これらのいずれの方法も、背景と異なる動きをする比較的細かい字幕を含む画像のように、背景とは動きの異なる物体が拡張テンプレート内に完全に包含されてしまうような場合には、ほとんど対応できず、動き検出精度が著しく低下する問題があった。
この従来法は、演算量の大きい縮小画像の探索において、近傍のテンプレートブロックの探索結果を参照しないため、近傍テンプレートブロックを連結して同時に探索するという並列化により動き検出の処理速度を容易に向上可能であるという利点を有する。また、動き探索に必要な情報のサブサンプリングによる欠落が、テンプレートの拡張により補えるため、全体的に均一な動きをしている画像に対して高い動き検出精度が得られる利点がある。しかし、その反面、結合対象の近傍の動き探索対象ブロックの側の動きが異なるような動きの複雑な画像では、ブロック間の動きの違いを平均化してしまい、検出精度が改善されなくなる欠点がある。そこで、文献３では、後続の階層に対する予測ブロック候補として、自身の拡張テンプレートを用いた探索結果の予測ブロックだけでなく、隣接する周辺拡張テンプレートの探索結果の動きベクトルで指定される参照ブロックも予測ブロック候補に加えるようにして、詳細探索で、それら候補自身あるいはそれらの近傍位置から最小の差異度を与える予測ブロックを見つけ出すようにして改善を図っている。また、縮小率が大きくテンプレートの拡張の割合の大きい先頭の第１階層から縮小率が小さくテンプレートの拡張の割合の小さい第ｎ階層に向かって、探索を繰り返し、予測ブロック候補の位置の精度を順次上げて行く多階層の階層探索方式に対し、番号の小さい階層ほどテンプレートの拡張率を抑える方法が提案され、動きの複雑な画像での探索精度の向上に効果のあることが示されている（特許文献１）。しかし、これらのいずれの方法も、背景と異なる動きをする比較的細かい字幕を含む画像のように、背景とは動きの異なる物体が拡張テンプレート内に完全に包含されてしまうような場合には、ほとんど対応できず、動き検出精度が著しく低下する問題があった。
本発明の目的は、動き探索に膨大な演算量を必要とする超高精細画像の符号化や動き探索の負荷が増大の一途の次世代動画像符号化方式（例えばH.264）にも耐えうる小型経済的な動き検出装置を提供することである。この実現に向けて、本発明が解決しようとする課題は、次の２つである。１つは、階層探索の検出精度低下の問題（特に階層探索の有力な方法の一つである拡張テンプレートブロックを用いる階層探索法で動き境界付近で検出精度が低下する問題）を解決し、画像の性質によらず高い検出精度が得られるようにすることである。もう１つは、従来、階層ごとに構成を変えざるをえなかったために設計コスト、ハードウェア規模増の要因となっていた各階層の動き探索を同一構成の部分差異度評価手段とアクセスバンド幅の小さい最小限の個数のメモリユニットで実現できるようにすることである。
１つ目の手段は、ある階層の動き探索で形状・サイズの異なる複数の拡張テンプレートブロックに対する複数の予測拡張ブロックを検出し、その検出された複数の予測拡張ブロックを拡張前のテンプレートブロックの複数の予測ブロック候補として後続の別階層の探索でそれらを絞り込むことで、最終的な予測ブロックを確定するものである。すなわち、拡張テンプレートブロックとして、図６に示す従来例のように、形状・サイズが同一の一種類のみ設けるのではなく、図７に示すように、形状・サイズ・方向別拡張量の異なるものを複数設け、それぞれに対する予測拡張ブロックの位置を参照画像中から検出してから、それらの予測拡張ブロックの位置より定まる複数の予測ブロック候補について、予測ブロック候補位置の近傍に位置する全ての予測ブロックについて、テンプレートブロックとの差異度計算を実施し、最小差異度の予測ブロックの位置を前記予測ブロック位置として検出する。
図７で、（１）〜（７）は併用する拡張テンプレートブロックの一例である。また、ハッチのかかったブロックは、拡張前の元々のテンプレートブロックを表している。この手段により、単一の正方拡張テンプレートブロックでは動き境界を跨ぐため正確な動き検出が困難な場合でも、どれかの拡張テンプレートブロックで、動き境界を跨がない正しい差異度評価を行える可能性が高く、適切な予測ブロック候補が見つかる確率が大幅に高まる。
図７で、（１）〜（７）は併用する拡張テンプレートブロックの一例である。また、ハッチのかかったブロックは、拡張前の元々のテンプレートブロックを表している。この手段により、単一の正方拡張テンプレートブロックでは動き境界を跨ぐため正確な動き検出が困難な場合でも、どれかの拡張テンプレートブロックで、動き境界を跨がない正しい差異度評価を行える可能性が高く、適切な予測ブロック候補が見つかる確率が大幅に高まる。
２つ目の手段は、拡張テンプレートブロックを区切って得る区画（部分ブロック）ごとに、拡張参照ブロックの対応する部分ブロックとの間で部分差異度を異なる重み付けで評価するようにするものである。図６、７で枠内の数字はその重み係数を表している。より重要性の高い元々のテンプレートブロックに対する部分差異度の全体への貢献度を大きくすることが、図７の（１）のように周辺側より中心側の重み係数を大きくすることで対応できるようになる。
３つ目の手段は、テンプレートブロック結合とそれと合同の参照ブロック結合に対し、同一の区切り方で得られる部分テンプレートブロックと部分参照ブロックのうち、両結合のそれぞれで同一の位置にあるもの同士の間で差異度（部分差異度）を求め、それらの部分差異度を差異度算出対象のブロックの形状に合わせて組み合わせ、その和（部分和）を取ることでテンプレートブロック・参照ブロック間あるいは拡張テンプレートブロック・拡張参照ブロック間の差異度を求めるようにするものである。具体的には、始めに、一つ以上の互いに隣接するテンプレートブロックを連結することで構成されるテンプレートブロック結合と、それと合同の参照画像中の参照ブロック結合とを、同一の区切り方で、部分
テンプレートブロックと部分参照ブロックに等分し、両結合のそれぞれで同一位置にある部分ブロック間の差異度（部分差異度）を求める。次いでそれらの部分差異度に対し、テンプレートブロックあるいは拡張テンプレートブロックの形状により定まる所定の部分和（総和も部分和の一形態とする）を取ることによって、テンプレート・参照ブロック間あるいは各々の拡張テンプレート・参照拡張ブロック間の差異度を求めるようにする。この手段では、テンプレートブロック結合として扱えるテンプレートブロックあるいはその結合に含まれる拡張テンプレートブロックに対する差異度を、それぞれの形状に適合する部分和が取ることで計算する。非拡張の通常のテンプレートブロックも、結合数最小のテンプレートブロック結合とみなし、図８に示すように部分テンプレートブロックに等分すれば、部分和として総和を選ぶことで差異度が求められる。拡張テンプレートブロックに関しては、拡張の単位がブロックであれば、そのブロックを部分テンプレートブロックとして扱い部分差異度を求めれば良く、部分和を総和に選ぶことで同様に差異度を求めることができる。３つ目の手段（図７）のように複数の拡張テンプレートブロックを併用する場合でも、最も大きい拡張テンプレートブロック（図７の場合は（１））をテンプレートブロック結合に選べば、各々の部分差異度に重み付けすると共に、それらの必要な組み合わせに対する部分和が取れるようにあらかじめ部分和手段を構成しておくことで、（１）〜（７）のすべての拡張テンプレートブロックに対する差異度を求めることができる。併用する形状の異なる拡張テンプレートブロックの種類が増えても、個々の部分差異度は共通に利用できるので、全体の演算量はほとんど増加しない。さらに、図９に示すように複数のテンプレートブロック（この例では隣接する０，１，２，３の４個のテンプレートブロック）に対する拡張テンプレートブロックのすべて（０，１，２，３のそれぞれのテンプレートブロックを外側に１ブロック分だけ拡張することでできる以下の４個の拡張テンプレートブロック。すなわち、４，５，６，８，０，１，Ａ，２，３の結合からなる拡張テンプレートブロック、５，６，７，０，１，９，２，３，Ｂの結合からなる拡張テンプレートブロック、８，０，１，Ａ，２，３，Ｃ，Ｄ，Ｅからなる拡張テンプレートブロック、および０，１，９，２，３，Ｂ，Ｄ，Ｅ，Ｆからなる拡張テンプレートブロック）を包含する領域をテンプレートブロック結合に選べば、やはり必要な部分和が取れるように構成しておくことで包含されるすべての拡張テンプレートブロックの差異度を求めることができる。この場合には、各々の部分差異度が、元々のテンプレートブロックの異なる拡張テンプレートブロックの差異度計算にも再利用できるようになる。このため、拡張前のテンプレートブロックが異なっても、拡張分の部分ブロックの差異度計算を必ずしもやり直す必要がなくなり、テンプレート拡張による計算量の増加を大幅に抑制できる。結局、この手段により、拡張テンプレートの差異度評価だけでなく通常テンプレートの差異度評価も可能になる上に、テンプレートの拡張による差異度評価対象の面積増に起因する演算量の増加を抑えることも可能になる。
テンプレートブロックと部分参照ブロックに等分し、両結合のそれぞれで同一位置にある部分ブロック間の差異度（部分差異度）を求める。次いでそれらの部分差異度に対し、テンプレートブロックあるいは拡張テンプレートブロックの形状により定まる所定の部分和（総和も部分和の一形態とする）を取ることによって、テンプレート・参照ブロック間あるいは各々の拡張テンプレート・参照拡張ブロック間の差異度を求めるようにする。この手段では、テンプレートブロック結合として扱えるテンプレートブロックあるいはその結合に含まれる拡張テンプレートブロックに対する差異度を、それぞれの形状に適合する部分和が取ることで計算する。非拡張の通常のテンプレートブロックも、結合数最小のテンプレートブロック結合とみなし、図８に示すように部分テンプレートブロックに等分すれば、部分和として総和を選ぶことで差異度が求められる。拡張テンプレートブロックに関しては、拡張の単位がブロックであれば、そのブロックを部分テンプレートブロックとして扱い部分差異度を求めれば良く、部分和を総和に選ぶことで同様に差異度を求めることができる。３つ目の手段（図７）のように複数の拡張テンプレートブロックを併用する場合でも、最も大きい拡張テンプレートブロック（図７の場合は（１））をテンプレートブロック結合に選べば、各々の部分差異度に重み付けすると共に、それらの必要な組み合わせに対する部分和が取れるようにあらかじめ部分和手段を構成しておくことで、（１）〜（７）のすべての拡張テンプレートブロックに対する差異度を求めることができる。併用する形状の異なる拡張テンプレートブロックの種類が増えても、個々の部分差異度は共通に利用できるので、全体の演算量はほとんど増加しない。さらに、図９に示すように複数のテンプレートブロック（この例では隣接する０，１，２，３の４個のテンプレートブロック）に対する拡張テンプレートブロックのすべて（０，１，２，３のそれぞれのテンプレートブロックを外側に１ブロック分だけ拡張することでできる以下の４個の拡張テンプレートブロック。すなわち、４，５，６，８，０，１，Ａ，２，３の結合からなる拡張テンプレートブロック、５，６，７，０，１，９，２，３，Ｂの結合からなる拡張テンプレートブロック、８，０，１，Ａ，２，３，Ｃ，Ｄ，Ｅからなる拡張テンプレートブロック、および０，１，９，２，３，Ｂ，Ｄ，Ｅ，Ｆからなる拡張テンプレートブロック）を包含する領域をテンプレートブロック結合に選べば、やはり必要な部分和が取れるように構成しておくことで包含されるすべての拡張テンプレートブロックの差異度を求めることができる。この場合には、各々の部分差異度が、元々のテンプレートブロックの異なる拡張テンプレートブロックの差異度計算にも再利用できるようになる。このため、拡張前のテンプレートブロックが異なっても、拡張分の部分ブロックの差異度計算を必ずしもやり直す必要がなくなり、テンプレート拡張による計算量の増加を大幅に抑制できる。結局、この手段により、拡張テンプレートの差異度評価だけでなく通常テンプレートの差異度評価も可能になる上に、テンプレートの拡張による差異度評価対象の面積増に起因する演算量の増加を抑えることも可能になる。
４つ目の手段は、部分差異度を評価する差異度評価手段を複数設け、その各々に、全差異度評価手段共通のテンプレートブロック結合と参照画像中の位置が差異度評価手段ごとに異なる参照ブロック結合との間の部分差異度評価を分担させ、並列の部分差異度評価が行えるようにするものである。差異度評価手段の数を増やし、並列度を上げることにより、予測ブロックあるいは拡張予測ブロックの検出速度を大幅に向上させることができる。
５つ目の手段は、テンプレートブロック結合の部分ブロックの構成行を１行ずつ順次切り出して各々の差異度評価手段に放送すると共に、各々が異なる参照ブロック結合に属する部分参照ブロックの並びからなる部分参照領域より１行ずつ順次切り出す行中から、異なる部分参照ブロックの構成行である部分行を抜き出して、各々の差異度評価手段に分配するようにするものである。この５つ目の手段では、差異度評価手段に供給するテンプレートブロック構成行を、全体で共通化している上に、各々の差異度評価手段に別個に供給する必要のある部分参照領域の部分行も、互いに一部を重複させているので、供給もとの動き検出対象画像用メモリユニット、参照画像格納用メモリユニットのデータアクセス幅を大幅に低減できる。
本発明によれば、拡張テンプレートの差異度評価能力向上効果が、動き境界の影響により損なわれ難くなると共に、存在確率の高い探索中心近傍から確実に適切な予測ブロック候補を検出できるようになるので、演算量低減に効果的な縮小画像を用いる動き検出の精度を大幅に高めることができる。
本発明の実施形態について下記に説明するが、本発明の技術的範囲は下記の実施形態によって限定されるものではなく、その要旨を変更することなく様々に改変して実施することができる。また、本発明の技術的範囲は、均等の範囲にまで及ぶものである。
＜第１の実施例＞
図１０は、通常の探索範囲の内側にもう１つの内側探索範囲を設定する本発明の第１の実施例の構成を示すブロック図である。最小差異度位置検出ユニットが内側探索範囲対応の２０になっている点を除くと、縮小画像に対する探索により、予測ブロックの位置を求めた後、予測ブロックの位置の精度を、非縮小画像に対する探索で上げるという従来の２階層探索方式の動き検出装置と、基本的に同一の構成である。この図で、５１は各構成ユニットに破線で示される制御信号を供給する制御ユニット、７は画像列入力から縮小画像を生成するサブサンプリングユニット、６は非縮小画像を処理対称とする詳細動き検出ユニット、１０は７より受け取る縮小画像を、動き検出対象画像として格納する動き検出対象画像用メモリユニット、１１はやはり７より受け取る縮小画像を参照画像として格納する参照画像用メモリユニットである。以下、制御ユニット５１の制御に基づく本実施例の動作について説明する。左端のサブサンプリングユニット７は、動き検出対象の画像列が入力されると、所定の比率でサブサンプリングして生成する縮小画像を、右側のメモリユニット１０、１１に出力する。メモリユニット１０、１１は、動き検出対象画像と参照画像が入力された時点で、テンプレートとそれに対応する探索範囲内の全参照ブロックの画素データを読み出し、内側探索範囲対応の最小差異度位置検出ユニット２０に、順次出力する。内側探索範囲対応の最小差異度位置検出ユニット２０は、テンプレートごとにそれぞれの探索範囲内の全参照ブロックとの間の差異度評価を行い、内側探索範囲内で最小差異度を与える予測ブロック候補と外側探索範囲（探索範囲全体から内側探索範囲を除いた領域）内で最小差異度を与える予測ブロック候補の動き検出対象ブロックに対する相対位置を求め、詳細動き検出ユニット６に出力する。詳細動き検出ユニット６は、テンプレートブロックごとに予測ブロック候補の移動量を真裏位置（動き検出対象ブロックの座標位置と同一の参照画像中の位置）からの探索中心移動量として受けて、テンプレートブロックとの間の差異度計算を、予測ブロック候補及びそれらの近傍に位置する参照ブロックすべてについて行い、最小の差異度を与える参照ブロックの相対位置を予測ブロック相対位置（動きベクトル）として出力する。図１１は、本実施例の要となる内側探索範囲内の予測ブロック候補検出機能を付加した内側探索範囲対応の最小差異度位置検出ユニット２０のブロック構成を示した図である。この図で、２４はテンプレートの画素データを格納するためのバッファメモリ、２５はテンプレートブロックと予測ブロック候補の対応する画素間の差分絶対値を求める差分絶対値演算器、２６は前段より入力される差分絶対値を一つの参照ブロックごとに加え合わせる累算器、２７０、２７１は探索範囲内でそれまでに調べた参照ブロックのうちの最小の差異度を保持する最小差異度レジスタ、２９０、２９１は最小差異度を与える参照ブロックの位置を予測ブロックの位置情報として蓄える位置情報レジスタである。最小差異度レジスタと位置情報レジスタはそれぞれ、２つずつ設けているが、上側は、内側探索範囲用、下側は、外側探索範囲用である。２８は累算器２６より出力される参照拡張ブロックごとの差異度である累算結果と、２７０、２７１に保持されているそれまでの最小差異度と比較し、前者の方が小さい場合には１を、そうでない場合には０を出力する比較器である。３１は、参照ブロック相対位置の探索中心からの変位量を求めるための減算器、３２は３１で得た変位量と制御ユニット５１から入力される内側探索範囲上下限（内側探索範囲を定めるパラメータ）とを比べ、探索範囲の内側に入っている場合には１をそうでない場合には０を出力する内側判定器である。３３は、制御信号として受ける内側判定器の出力が１の場合に、２７０からの入力を、０の場合に２７１からの入力を、それぞれ出力する選択器である。３４０、３４１はＡＮＤゲート、３５はインバータである。なお、２７０、２７１、２９０、２９１は、書き込み信号として受けるＡＮＤゲート出力が１の場合に、入力データで保持データを更新するタイプのレジスタである。以下、この内側探索範囲対応の最小差異度位置検出ユニット２０の動作について説明する。
図１０は、通常の探索範囲の内側にもう１つの内側探索範囲を設定する本発明の第１の実施例の構成を示すブロック図である。最小差異度位置検出ユニットが内側探索範囲対応の２０になっている点を除くと、縮小画像に対する探索により、予測ブロックの位置を求めた後、予測ブロックの位置の精度を、非縮小画像に対する探索で上げるという従来の２階層探索方式の動き検出装置と、基本的に同一の構成である。この図で、５１は各構成ユニットに破線で示される制御信号を供給する制御ユニット、７は画像列入力から縮小画像を生成するサブサンプリングユニット、６は非縮小画像を処理対称とする詳細動き検出ユニット、１０は７より受け取る縮小画像を、動き検出対象画像として格納する動き検出対象画像用メモリユニット、１１はやはり７より受け取る縮小画像を参照画像として格納する参照画像用メモリユニットである。以下、制御ユニット５１の制御に基づく本実施例の動作について説明する。左端のサブサンプリングユニット７は、動き検出対象の画像列が入力されると、所定の比率でサブサンプリングして生成する縮小画像を、右側のメモリユニット１０、１１に出力する。メモリユニット１０、１１は、動き検出対象画像と参照画像が入力された時点で、テンプレートとそれに対応する探索範囲内の全参照ブロックの画素データを読み出し、内側探索範囲対応の最小差異度位置検出ユニット２０に、順次出力する。内側探索範囲対応の最小差異度位置検出ユニット２０は、テンプレートごとにそれぞれの探索範囲内の全参照ブロックとの間の差異度評価を行い、内側探索範囲内で最小差異度を与える予測ブロック候補と外側探索範囲（探索範囲全体から内側探索範囲を除いた領域）内で最小差異度を与える予測ブロック候補の動き検出対象ブロックに対する相対位置を求め、詳細動き検出ユニット６に出力する。詳細動き検出ユニット６は、テンプレートブロックごとに予測ブロック候補の移動量を真裏位置（動き検出対象ブロックの座標位置と同一の参照画像中の位置）からの探索中心移動量として受けて、テンプレートブロックとの間の差異度計算を、予測ブロック候補及びそれらの近傍に位置する参照ブロックすべてについて行い、最小の差異度を与える参照ブロックの相対位置を予測ブロック相対位置（動きベクトル）として出力する。図１１は、本実施例の要となる内側探索範囲内の予測ブロック候補検出機能を付加した内側探索範囲対応の最小差異度位置検出ユニット２０のブロック構成を示した図である。この図で、２４はテンプレートの画素データを格納するためのバッファメモリ、２５はテンプレートブロックと予測ブロック候補の対応する画素間の差分絶対値を求める差分絶対値演算器、２６は前段より入力される差分絶対値を一つの参照ブロックごとに加え合わせる累算器、２７０、２７１は探索範囲内でそれまでに調べた参照ブロックのうちの最小の差異度を保持する最小差異度レジスタ、２９０、２９１は最小差異度を与える参照ブロックの位置を予測ブロックの位置情報として蓄える位置情報レジスタである。最小差異度レジスタと位置情報レジスタはそれぞれ、２つずつ設けているが、上側は、内側探索範囲用、下側は、外側探索範囲用である。２８は累算器２６より出力される参照拡張ブロックごとの差異度である累算結果と、２７０、２７１に保持されているそれまでの最小差異度と比較し、前者の方が小さい場合には１を、そうでない場合には０を出力する比較器である。３１は、参照ブロック相対位置の探索中心からの変位量を求めるための減算器、３２は３１で得た変位量と制御ユニット５１から入力される内側探索範囲上下限（内側探索範囲を定めるパラメータ）とを比べ、探索範囲の内側に入っている場合には１をそうでない場合には０を出力する内側判定器である。３３は、制御信号として受ける内側判定器の出力が１の場合に、２７０からの入力を、０の場合に２７１からの入力を、それぞれ出力する選択器である。３４０、３４１はＡＮＤゲート、３５はインバータである。なお、２７０、２７１、２９０、２９１は、書き込み信号として受けるＡＮＤゲート出力が１の場合に、入力データで保持データを更新するタイプのレジスタである。以下、この内側探索範囲対応の最小差異度位置検出ユニット２０の動作について説明する。
メモリユニット１０より入力されるテンプレートブロックの画素は、一旦バッファメモリ２４に蓄積する。そして、この蓄えているテンプレートブロックの画素データを、そのテンプレートブロックの真裏位置から探索中心移動量分だけずらした点を中心とする探索範囲から読み出すすべての参照ブロックとの間の差異度計算に用いる。すなわち、メモリユニット１１より、バッファメモリ２４に蓄えられているテンプレートブロックに対応する探索範囲中の参照ブロックの画素が入力されるのに合わせて、対応するテンプレートブロックの画素をバッファメモリ２４から読み出し、差分絶対値演算器２５に出力する。差分絶対値演算器２５は、入力されるテンプレートブロックと参照ブロックの対応する画素間の差分絶対値を計算し、結果を累算器２６に出力する。一方、減算器３１は、外部から入力される探索中心移動量と制御ユニット５１より与えられる参照ブロック相対位置より、参照ブロックの探索中心からの変位量を求め、内側判定器３２に出力する。内側判定器３２は、やはり制御ユニット５１より与えられる内側探索範囲上下限と減算器３１から入力される参照ブロック変位量より、参照ブロックが内側探索範囲に入っているか否かを判定し、入っている場合には１を、そうで無い場合には０を出力する。この構造によって、参照ブロックが内側探索範囲に入っている場合には、最小差異度レジスタ２７０の出力が、選択器３３を介して、比較器２８に与えられる。逆に、内側探索範囲に入っていない場合には、最小差異度２７１の出力が、選択器３３を介して比較器２８に与えられる。また、内側判定器の出力は、ＡＮＤゲート３４０、３４１にも導かれており、参照ブロックが内側探索範囲内にある場合には、３４１が閉じレジスタ２７１、２９１が更新されないように、そうでない場合には、３４０が閉じレジスタ２７０、２９０が更新されないようにしている。
始めに、内側探索範囲に入っている参照ブロックが入力されてきた場合の動作から説明する。この場合には比較器２８は、最小差異度レジスタ２７０の内容と、累算器２６の出力を比較することとなり、累算器出力が小さい場合に１を、そうでない場合に０を出力する。制御ユニット５１は、累算器に参照ブロック１つ分の累算結果が得られた時点で、比較実行指示の制御信号を１にする。従って、得られた累算結果が最小差異度レジスタ２７０に保持していたそれまでの最小差異度より小さければ、ＡＮＤゲート３４０の出力が１となり、最小差異度レジスタ２７０と位置情報レジスタ２９０に１が入ることとなり、それぞれのレジスタが入力データで更新される。最小差異度レジスタ２７０には、図から明らかなように累算器２６から出力されている参照ブロックに対する累算結果が入力されているので、その累算結果が最小差異度として書き込まれる。また、位置情報レジスタ２９０には入力されているその参照ブロックの相対位置が書き込まれる。逆に、累算器２６で得られる累算結果が最小差異度レジスタ２７０で保持されているそれまでの最小差異度より小さくなければ、比較器２８からは０しか出ないので、レジスタ２７０、２９０に書き込み信号の１が入力されることはない。従って、レジスタ２７０、２９０にはそれまでの最小差異度とそれを与える位置情報がそのまま残ることになる。
次いで、外側探索範囲の参照ブロックが入力されてきた場合について説明する。この場合には比較器２８は、最小差異度レジスタ２７１の内容と、累算器２６の出力を比較することとなり、累算器出力が小さい場合に１を、そうでない場合に０を出力する。制御ユニット５１は、累算器に参照ブロック１つ分の累算結果が得られた時点で、比較実行指示の制御信号を１にする。従って、得られた累算結果が最小差異度レジスタ２７１にそれまで保持していた最小差異度より小さければ、ＡＮＤゲート３４１の出力が１となり、最小差異度レジスタ２７１と位置情報レジスタ２９１に１が入ることとなり、それぞれのレジスタが入力データで更新される。最小差異度レジスタ２７１には、図から明らかなように累算器２６の累算結果が入力されているので、その累算結果が最小差異度として書き込まれる。また、位置情報レジスタ２９１には入力されているその参照ブロックの相対位置が書き込まれる。逆に、累算器２６で得られる累算結果が最小差異度レジスタ２７１で保持されているそれまでの最小差異度より小さくなければ、比較器２８からは０しか出ないので、レジスタ２７１、２９１に書き込み信号の１が入力されることはない。従って、レジスタ２７１、２９１にはそれまでの最小差異度とそれを与える位置情報がそのまま残ることになる。
内側探索範囲対応の最小差異度位置検出ユニット２０は、参照ブロックの入力に対し、以上のような動作をすることから、探索範囲中のすべての参照ブロックを入力すると、最小差異度レジスタ２７０、２７１には、それぞれ内側探索範囲の最小差異度と、外側探索範囲の最小差異度が残る。また、位置情報レジスタ２９０、２９１には、内側探索範囲の最小差異度を与える参照ブロックの相対位置、すなわち内側探索範囲の予測ブロック候補の相対位置と、外側探索範囲の最小差異度を与える参照ブロックの相対位置、すなわち外側探索範囲の予測ブロック候補の相対位置とが、それぞれ残る。
探索対象のテンプレートに対する探索範囲内の探索が完了した時点で、位置情報レジスタ２９０、
２９１に残っていたデータを、多重化ユニット４００を介して順次出力することで、縮小画像段階でのテンプレート１つ分の探索が終了する。
以上のように、本発明の第１の実施例では、内側の探索範囲と外側探索範囲の両方から別個に予測ブロック候補が検出される。これによって、縮小画像段階の探索ではサブサンプリングによる情報欠落が原因で、適切な予測ブロックが内側の探索範囲中にあるあるにも関わらず、不適切な外側探索範囲中の予測ブロックの方が差異度が小さく出るような場合でも、内側探索範囲から確実に予測ブロック候補を検出できるので、続いて行うすべての予測ブロック候補の近傍に対する詳細な探索で、適切な予測ブロックを高確率で検出できるようになる。また、存在確率の低い外側探索範囲を探索しないわけではないので、外側探索範囲に予測ブロックが存在する場合でも、それが外側探索範囲の予測ブロック候補として選ばれ、詳細探索で適切な予測ブロックとして検出できるため、従来のように単純に探索範囲を狭める方式のように、適切な予測ブロックが、狭まった探索範囲の外側に出てしまうことに起因する検出率の低下は生じない。
なお、この方法は予測ブロック候補が内側と外側で少なくとも２つ出てくるため、従来の縮小画像の段階で予測ブロックの候補を１つに絞り込む方法に比べると、詳細探索の演算量が倍増する問題がある。しかし、この演算量増加の問題については、他方に比べ差異度が大き過ぎる候補を外したり、位置が近接している候補を１つにまとめたりすることで、大幅に緩和できる。
次いで、外側探索範囲の参照ブロックが入力されてきた場合について説明する。この場合には比較器２８は、最小差異度レジスタ２７１の内容と、累算器２６の出力を比較することとなり、累算器出力が小さい場合に１を、そうでない場合に０を出力する。制御ユニット５１は、累算器に参照ブロック１つ分の累算結果が得られた時点で、比較実行指示の制御信号を１にする。従って、得られた累算結果が最小差異度レジスタ２７１にそれまで保持していた最小差異度より小さければ、ＡＮＤゲート３４１の出力が１となり、最小差異度レジスタ２７１と位置情報レジスタ２９１に１が入ることとなり、それぞれのレジスタが入力データで更新される。最小差異度レジスタ２７１には、図から明らかなように累算器２６の累算結果が入力されているので、その累算結果が最小差異度として書き込まれる。また、位置情報レジスタ２９１には入力されているその参照ブロックの相対位置が書き込まれる。逆に、累算器２６で得られる累算結果が最小差異度レジスタ２７１で保持されているそれまでの最小差異度より小さくなければ、比較器２８からは０しか出ないので、レジスタ２７１、２９１に書き込み信号の１が入力されることはない。従って、レジスタ２７１、２９１にはそれまでの最小差異度とそれを与える位置情報がそのまま残ることになる。
内側探索範囲対応の最小差異度位置検出ユニット２０は、参照ブロックの入力に対し、以上のような動作をすることから、探索範囲中のすべての参照ブロックを入力すると、最小差異度レジスタ２７０、２７１には、それぞれ内側探索範囲の最小差異度と、外側探索範囲の最小差異度が残る。また、位置情報レジスタ２９０、２９１には、内側探索範囲の最小差異度を与える参照ブロックの相対位置、すなわち内側探索範囲の予測ブロック候補の相対位置と、外側探索範囲の最小差異度を与える参照ブロックの相対位置、すなわち外側探索範囲の予測ブロック候補の相対位置とが、それぞれ残る。
探索対象のテンプレートに対する探索範囲内の探索が完了した時点で、位置情報レジスタ２９０、
２９１に残っていたデータを、多重化ユニット４００を介して順次出力することで、縮小画像段階でのテンプレート１つ分の探索が終了する。
以上のように、本発明の第１の実施例では、内側の探索範囲と外側探索範囲の両方から別個に予測ブロック候補が検出される。これによって、縮小画像段階の探索ではサブサンプリングによる情報欠落が原因で、適切な予測ブロックが内側の探索範囲中にあるあるにも関わらず、不適切な外側探索範囲中の予測ブロックの方が差異度が小さく出るような場合でも、内側探索範囲から確実に予測ブロック候補を検出できるので、続いて行うすべての予測ブロック候補の近傍に対する詳細な探索で、適切な予測ブロックを高確率で検出できるようになる。また、存在確率の低い外側探索範囲を探索しないわけではないので、外側探索範囲に予測ブロックが存在する場合でも、それが外側探索範囲の予測ブロック候補として選ばれ、詳細探索で適切な予測ブロックとして検出できるため、従来のように単純に探索範囲を狭める方式のように、適切な予測ブロックが、狭まった探索範囲の外側に出てしまうことに起因する検出率の低下は生じない。
なお、この方法は予測ブロック候補が内側と外側で少なくとも２つ出てくるため、従来の縮小画像の段階で予測ブロックの候補を１つに絞り込む方法に比べると、詳細探索の演算量が倍増する問題がある。しかし、この演算量増加の問題については、他方に比べ差異度が大き過ぎる候補を外したり、位置が近接している候補を１つにまとめたりすることで、大幅に緩和できる。
＜第２の実施例＞
図１２は、本発明の第２の実施例の構成を示すブロック図である。図１０に示される第１の実施例との違いは、探索中心移動量と内側探索範囲上下限として、追加された統計解析ユニット４５で生成するものを用いるようにしている点である。以下、本実施例について、第１の実施例との違いである統計解析ユニットの動作を中心に説明する。
統計解析ユニット４５は、詳細探索型動き検出ユニット６より受ける予測ブロック相対位置に関し、平均Ｖｍと標準偏差Ｖσを画像単位で求める。そして、平均Ｖｍを探索中心移動量、標準偏差Ｖσを一定倍したものを内側探索範囲上下限として、内側探索範囲対応の最小差異度位置検出ユニット２０に与える。ただし、この２つのパラメータを用いて動き探索が行われることになる動き検出対象画像と参照画像の時間的な前後関係、画像間距離が、Ｖｍ、Ｖσを求めるのに用いた動き検出対象画像と参照画像の時間的な前後関係、画像間距離と異なる場合には、その違いが補正されるようにＶｍ、Ｖσを換算する。例えば、画像間距離が、２倍に伸びた場合には、Ｖｍ、Ｖσを２倍にする。画像の前後関係が逆の場合には、Ｖｍの要素の正負を反転する。この統計解析ユニット４５の働きにより、画像列中の動きの内容が時間的に変化しても、全探索範囲中の予測ブロックの存在する確率が高い部分領域を内側探索範囲として的確に割り付けることが可能になる。例えば、全体的に一様な動きをする画像列では、内側探索範囲が狭まることで、存在確率の高い領域から適切な予測ブロック候補を確実に検出することが可能になる。
図１２は、本発明の第２の実施例の構成を示すブロック図である。図１０に示される第１の実施例との違いは、探索中心移動量と内側探索範囲上下限として、追加された統計解析ユニット４５で生成するものを用いるようにしている点である。以下、本実施例について、第１の実施例との違いである統計解析ユニットの動作を中心に説明する。
統計解析ユニット４５は、詳細探索型動き検出ユニット６より受ける予測ブロック相対位置に関し、平均Ｖｍと標準偏差Ｖσを画像単位で求める。そして、平均Ｖｍを探索中心移動量、標準偏差Ｖσを一定倍したものを内側探索範囲上下限として、内側探索範囲対応の最小差異度位置検出ユニット２０に与える。ただし、この２つのパラメータを用いて動き探索が行われることになる動き検出対象画像と参照画像の時間的な前後関係、画像間距離が、Ｖｍ、Ｖσを求めるのに用いた動き検出対象画像と参照画像の時間的な前後関係、画像間距離と異なる場合には、その違いが補正されるようにＶｍ、Ｖσを換算する。例えば、画像間距離が、２倍に伸びた場合には、Ｖｍ、Ｖσを２倍にする。画像の前後関係が逆の場合には、Ｖｍの要素の正負を反転する。この統計解析ユニット４５の働きにより、画像列中の動きの内容が時間的に変化しても、全探索範囲中の予測ブロックの存在する確率が高い部分領域を内側探索範囲として的確に割り付けることが可能になる。例えば、全体的に一様な動きをする画像列では、内側探索範囲が狭まることで、存在確率の高い領域から適切な予測ブロック候補を確実に検出することが可能になる。
＜第３の実施例＞
図１３は、異なる拡張テンプレートブロックごとに個別に求める予測拡張ブロックの位置を、予測ブロック候補の位置として用いる本発明の第３の実施例のブロック図である。図３の従来例との違いは、拡張テンプレートブロック用の最小差異度位置検出ユニット１９が、拡張テンプレートブロック複数併用型最小差異度位置検出ユニット２１に置き換わっている点である。
図１４は、本実施例の要となる拡張テンプレートブロック複数併用型最小差異度位置検出ユニット２１の構成を示すブロック図である。２１０、２１１、２１２は、それぞれテンプレートブロックを正方状、横長、縦長に拡張したテンプレートブロック（図７の（１）、（２）、（３）に対応しており、動き検出対象画像メモリより読み出す。）と参照画像メモリ１１中の参照画像の探索範囲を２次元的に走査することで順次読み出す参照拡張ブロック（形状・サイズは拡張テンプレートブロックのそれと同一）との間で、互いの差異度を評価して、それらの候補の中で差異度が最小となる候補の位置を出力する最小差異度位置検出ユニットである。４０１は、２１０、２１１、２１２の出力の位置情報を、多重化し、それらを順次出力する多重化ユニットである。以下、この実例の動作について、拡張テンプレートブロック複数併用型最小差異度位置検出ユニット２１を中心に説明する。
図１３で、サブサンプリングユニット７で縮小された動き検出対象画像と参照画像の列が、メモリユニットの１０、１１へ入力される。メモリユニット１０は、動き検出対象画像が１枚入りきったところで、その動き検出対象画像から３種類の拡張テンプレートブロックを読み出して拡張テンプレートブロック複数併用型最小差異度検出ユニット２１に送出する。メモリユニット１１は、参照画像が１枚溜まったところで、探索範囲の最初の走査点（通常探索範囲の左上端）から読み出す先頭の参照拡張ブロックと、その走査点位置（参照拡張ブロック相対位置）を、拡張テンプレート複数併用型最小差異度位置検出ユニット２１に送出する。ここで、探索範囲とは拡張テンプレートの位置から探索中心移動量だけ移動した位置を中心とする一定範囲の領域である。探索中心移動量と探索範囲は制御ユニット５３に制御パラメータとして入力する。拡張テンプレートブロック複数併用型最小差異度位置検出ユニット２１内の最小差異度検出ユニット２１０、２１１、２１２は、メモリユニット１０、１１から送られてくる拡張テンプレートブロックと参照拡張ブロックの内、自身に適合するものを受け取り、最小の差異度を与える参照拡張ブロックを検出する。そして、その参照拡張ブロックの相対位置情報を、多重化ユニット４０１に出力する。多重化ユニット４０１は、２１０、２１１、２１２から受け取る相対位置を、予測ブロック候補の相対位置として、１つずつ順番に出力する。この実施例では、予測ブロック候補が３つ出てしまうので、詳細探索型動き検出ユニット６の探索の負荷がその分増える欠点があるものの、拡張テンプレートブロックの境界を跨ぐことで差異度評価が不正確になる問題は、複数設けている拡張テンプレートブロックのいずれかで回避できる可能性が高い。このため、予測ブロック候補の中に、適切な予測ブロックが含まれる確率を大幅に高めることができる。
図１５は、最小差異度位置検出ユニット２１０、２１１、２１２の内部構成を示したブロック図である。図４に示した従来の動き検出装置の拡張テンプレートブロック用最小差異度位置検出ユニット１９との違いは、バッファメモリ２４０の容量が、拡張テンプレートブロックの種類に応じて適切な値になっているだけである。
本発明の問題点は、少なくとも拡張テンプレートブロックの種類の数だけ、予測ブロック候補が出て、その分だけ詳細探索の演算量が増大することである。ただし、この演算量増加の問題点については、ブロック当りの平均の差異度が著しく大きいものを候補から外すとか、互いに相対位置が近接しているものは１つの候補にまとめるなどの処置により大幅に緩和することができる。
図１３は、異なる拡張テンプレートブロックごとに個別に求める予測拡張ブロックの位置を、予測ブロック候補の位置として用いる本発明の第３の実施例のブロック図である。図３の従来例との違いは、拡張テンプレートブロック用の最小差異度位置検出ユニット１９が、拡張テンプレートブロック複数併用型最小差異度位置検出ユニット２１に置き換わっている点である。
図１４は、本実施例の要となる拡張テンプレートブロック複数併用型最小差異度位置検出ユニット２１の構成を示すブロック図である。２１０、２１１、２１２は、それぞれテンプレートブロックを正方状、横長、縦長に拡張したテンプレートブロック（図７の（１）、（２）、（３）に対応しており、動き検出対象画像メモリより読み出す。）と参照画像メモリ１１中の参照画像の探索範囲を２次元的に走査することで順次読み出す参照拡張ブロック（形状・サイズは拡張テンプレートブロックのそれと同一）との間で、互いの差異度を評価して、それらの候補の中で差異度が最小となる候補の位置を出力する最小差異度位置検出ユニットである。４０１は、２１０、２１１、２１２の出力の位置情報を、多重化し、それらを順次出力する多重化ユニットである。以下、この実例の動作について、拡張テンプレートブロック複数併用型最小差異度位置検出ユニット２１を中心に説明する。
図１３で、サブサンプリングユニット７で縮小された動き検出対象画像と参照画像の列が、メモリユニットの１０、１１へ入力される。メモリユニット１０は、動き検出対象画像が１枚入りきったところで、その動き検出対象画像から３種類の拡張テンプレートブロックを読み出して拡張テンプレートブロック複数併用型最小差異度検出ユニット２１に送出する。メモリユニット１１は、参照画像が１枚溜まったところで、探索範囲の最初の走査点（通常探索範囲の左上端）から読み出す先頭の参照拡張ブロックと、その走査点位置（参照拡張ブロック相対位置）を、拡張テンプレート複数併用型最小差異度位置検出ユニット２１に送出する。ここで、探索範囲とは拡張テンプレートの位置から探索中心移動量だけ移動した位置を中心とする一定範囲の領域である。探索中心移動量と探索範囲は制御ユニット５３に制御パラメータとして入力する。拡張テンプレートブロック複数併用型最小差異度位置検出ユニット２１内の最小差異度検出ユニット２１０、２１１、２１２は、メモリユニット１０、１１から送られてくる拡張テンプレートブロックと参照拡張ブロックの内、自身に適合するものを受け取り、最小の差異度を与える参照拡張ブロックを検出する。そして、その参照拡張ブロックの相対位置情報を、多重化ユニット４０１に出力する。多重化ユニット４０１は、２１０、２１１、２１２から受け取る相対位置を、予測ブロック候補の相対位置として、１つずつ順番に出力する。この実施例では、予測ブロック候補が３つ出てしまうので、詳細探索型動き検出ユニット６の探索の負荷がその分増える欠点があるものの、拡張テンプレートブロックの境界を跨ぐことで差異度評価が不正確になる問題は、複数設けている拡張テンプレートブロックのいずれかで回避できる可能性が高い。このため、予測ブロック候補の中に、適切な予測ブロックが含まれる確率を大幅に高めることができる。
図１５は、最小差異度位置検出ユニット２１０、２１１、２１２の内部構成を示したブロック図である。図４に示した従来の動き検出装置の拡張テンプレートブロック用最小差異度位置検出ユニット１９との違いは、バッファメモリ２４０の容量が、拡張テンプレートブロックの種類に応じて適切な値になっているだけである。
本発明の問題点は、少なくとも拡張テンプレートブロックの種類の数だけ、予測ブロック候補が出て、その分だけ詳細探索の演算量が増大することである。ただし、この演算量増加の問題点については、ブロック当りの平均の差異度が著しく大きいものを候補から外すとか、互いに相対位置が近接しているものは１つの候補にまとめるなどの処置により大幅に緩和することができる。
＜第４の実施例＞
第３の実施例との違いは、最小差異度位置検出ユニット２１０、２１１、２１２の内部構成だけで、全体構成は図１３と同一である。そこで、その異なる内部構成のブロック図のみを図１６に示す。図１５との違いは、拡張テンプレートブロックの構成画素数以上の容量を有した重み係数ＲＯＭ２０２と乗算器２０４が付け加わっている点である。この両者の追加により、図７の（１）に示されるような拡張テンプレートブロックを分割した部分ブロックごとに、異なる重み付けをした差異度の計算が可能になる。すなわち、バッファメモリ２４０の出力の拡張テンプレートブロックと参照画像用メモリユニット１１より入力される参照拡張ブロックの対応する画素間の差分絶対値に、係数ＲＯＭ２０２から読み出す部分領域ごとに定まる重み係数を乗算器２０４で乗じ、その結果の重みつき差分絶対値を、累算器２６に入力することができるようになる。この第４の実施例の部分ブロックごとに重み付けして差異度を計算できることにより、動き検出精度の大幅な向上が可能になる。
第３の実施例との違いは、最小差異度位置検出ユニット２１０、２１１、２１２の内部構成だけで、全体構成は図１３と同一である。そこで、その異なる内部構成のブロック図のみを図１６に示す。図１５との違いは、拡張テンプレートブロックの構成画素数以上の容量を有した重み係数ＲＯＭ２０２と乗算器２０４が付け加わっている点である。この両者の追加により、図７の（１）に示されるような拡張テンプレートブロックを分割した部分ブロックごとに、異なる重み付けをした差異度の計算が可能になる。すなわち、バッファメモリ２４０の出力の拡張テンプレートブロックと参照画像用メモリユニット１１より入力される参照拡張ブロックの対応する画素間の差分絶対値に、係数ＲＯＭ２０２から読み出す部分領域ごとに定まる重み係数を乗算器２０４で乗じ、その結果の重みつき差分絶対値を、累算器２６に入力することができるようになる。この第４の実施例の部分ブロックごとに重み付けして差異度を計算できることにより、動き検出精度の大幅な向上が可能になる。
＜第５の実施例＞
図１７は、動き検出対象画像より順次切り出す２×２のテンプレートブロックの並びについて、第１階層の縮小画像を用いた探索処理で、予測ブロック候補を並列に求める本発明の第５の実施例のブロック図である。第３の実施例と比べ、動き検出対象画像用メモリユニット１０、参照画像用メモリユニット１１、拡張テンプレートブロック複数併用型最小差異度位置検出ユニット２１が、それぞれ１００、１１０、１９１に置き換わっている点が異なる。動き検出対象画像用メモリユニット１００は、４×４のテンプレート配列のテンプレートブロック結合を４並列で読み出せる構成をとっている。参照画像用メモリユニット１１０も、４×４の参照ブロック配列の参照ブロック結合を４並列で読み出せる構成をとっている。また、テンプレートブロック結合最小差異度位置並列検出ユニット１９１は、図１８のブロック図に示される構成をとっている。この図１８で、ＰＥＸＸで示される９００〜９３３は拡張テンプレートブロックと参照拡張ブロックの対応する部分ブロック（この実施例では、サイズ・形状をテンプレートブロックのそれに揃えている）間の部分差異度を求める部分差異度評価ユニット、２１３〜２１６は図１３に内部構成を示す予測ブロック候補の多重化機能も含む最小差異度位置検出ユニットである。以下、この第５の実施例の動作について、第３の実施例と構成の異なるテンプレートブロック結合最小差異度位置並列検出ユニット１９１を中心に説明する。
図１７は、動き検出対象画像より順次切り出す２×２のテンプレートブロックの並びについて、第１階層の縮小画像を用いた探索処理で、予測ブロック候補を並列に求める本発明の第５の実施例のブロック図である。第３の実施例と比べ、動き検出対象画像用メモリユニット１０、参照画像用メモリユニット１１、拡張テンプレートブロック複数併用型最小差異度位置検出ユニット２１が、それぞれ１００、１１０、１９１に置き換わっている点が異なる。動き検出対象画像用メモリユニット１００は、４×４のテンプレート配列のテンプレートブロック結合を４並列で読み出せる構成をとっている。参照画像用メモリユニット１１０も、４×４の参照ブロック配列の参照ブロック結合を４並列で読み出せる構成をとっている。また、テンプレートブロック結合最小差異度位置並列検出ユニット１９１は、図１８のブロック図に示される構成をとっている。この図１８で、ＰＥＸＸで示される９００〜９３３は拡張テンプレートブロックと参照拡張ブロックの対応する部分ブロック（この実施例では、サイズ・形状をテンプレートブロックのそれに揃えている）間の部分差異度を求める部分差異度評価ユニット、２１３〜２１６は図１３に内部構成を示す予測ブロック候補の多重化機能も含む最小差異度位置検出ユニットである。以下、この第５の実施例の動作について、第３の実施例と構成の異なるテンプレートブロック結合最小差異度位置並列検出ユニット１９１を中心に説明する。
図１７で、サブサンプリングユニット７で縮小された動き検出対象画像と参照画像の列が、メモリユニットの１００、１１０へ入力され、両者の動き探索に必要な画像が入りきったところで処理を開始する。ここでは、探索処理の繰り返しの単位である２×２のテンプレートブロック配列の一つ
BLK11 BLK12
BLK21 BLK22
について、どのような動作で予測ブロック相対位置を求めるかを説明する。（処理対象画像中の残りの部分も、同じ処理を繰り返すことで予測ブロック相対位置が求まるので、このテンプレートブロック配列一つ分の動作説明のみにとどめる。）
始めに、さらに１ブロック分だけ外側に拡張した以下の４×４ブロック分
BLK00 BLK01 BLK02 BLK03
BLK10 BLK11 BLK12 BLK13
BLK20 BLK21 BLK22 BLK23
BLK30 BLK31 BLK32 BLK33
のテンプレートブロック結合を、メモリユニット１００より読み出して、ブロック１つ分の領域が１つの部分差異度評価ユニットに入るように、部分差異度評価ユニットの４×４の配列へ送出する。また、メモリユニット１１０より、４×４ブロック分の参照ブロック結合を読み出して、すでに入っているテンプレートブロック結合の部分ブロックと対応する位置にあるブロック１つ分の部分領域がそれぞれの部分差異度評価ユニットに入るように、部分差異度評価ユニットの４×４の配列９００〜９３３へ送出する。メモリユニット１００と１１０から、テンプレートブロック結合と参照ブロック結合の対応する位置にある部分ブロックの画像データを受け取った部分差異度評価ユニット９００〜９３３は、各々、その対応する部分ブロック間の差異度を算出し、部分差異度として、４個の最小差異度位置検出ユニットへ出力する。部分差異度評価ユニットの配列から、部分差異度を受け取った最小差異度位置検出ユニット２１３〜２１６は、図1９に示すように、内部で所定の形状（この実施例では、３×３の正方拡張テンプレートブロック、３×１の横方向拡張テンプレートブロック、１×３の縦方向拡張テンプレートブロックの３形状）の拡張テンプレートブロックとそれに対応する参照拡張ブロック間の差異度が形成されるように、加算器３０１、３０２を用いて入力される部分差異度を適切に足し合わせて累算する（部分和を取る）。そして、その累算結果(部分和結果)を、比較器２８２〜２８４、最小差異度レジスタ２７２〜２７４へ出力する。比較器２８２〜２８４は、それまでの最小差異度レジスタ２７２〜２７４の保持内容と比較し、受け取った累算結果が小さければ、更新信号を最小差異度レジスタ２７２〜２７４と位置情報レジスタ２９２〜２９４へ出力する。最小差異度レジスタ２７２〜２７４は、比較器より更新信号を受け取ると入力の累算結果を新たな最小差異度として保持内容を更新する。一方、位置情報レジスタ２９２〜２９４も、比較器２８２〜２８４より更新信号を受け取ると、制御ユニット５４より受け取る参照ブロック結合相対位置で、保持内容を更新する。以上の動作を、探索範囲内で設定可能な全走査点について繰り返す。そして、最後に残った位置情報レジスタ２９２〜２９４の保持内容を、予測ブロック候補の位置情報として、多重化ユニット３０９を経由して順次出力する。ここで、４個の最小差異度位置検出ユニット２１３〜２１６への入力としては、PE11を中心とした左上の３×３の部分差異度評価ユニット（900、901、902、910、911、912、920、921、922）からと、PE12を中心とした右上の３×３の部分差異度評価ユニット（901、902、903、911、912、913、921、922、923）からと、PE21を中心とした左下の３×３の部分差異度評価ユニット（910、911、912、920、921、922、930、931、932）からと、PE22を中心とした右下の３×３の部分差異度評価ユニット（911、912、913、921、922、923、931、932、933）からとが、それぞれ入るようにしている。この接続構成により、４個の最小差異度位置検出ユニット２１３〜２１６のうち、左上のユニット２１３では、BLK11の拡張テンプレートブロックとそれに対する参照拡張ブロックとの間の差異度計算を、右上のユニット２１４では、BLK12の拡張テンプレートブロックとそれに対する参照拡張ブロックとの間の差異度計算を、左下のユニット２１５では、BLK21の拡張テンプレートブロックとそれに対する参照拡張ブロックとの間の差異度計算を、右下のユニット２１６では、BLK22の拡張テンプレートブロックとそれに対する参照拡張ブロックとの間の差異度計算を、それぞれ行う。結局、４個の最小差異度位置検出ユニットにより、BLK11、BLK12、BLK21、BLK22のテンプレートブロックの予測ブロック候補が４個の最小差異度位置検出ユニット２１３〜２１６で並列に求められ、その結果が、多重化ユニット２１８で多重化されて詳細探索型動き検出ユニット６に出力される。このように、本実施例では動き探索を並列に行えるので、動き探索の所要時間短縮に有効である。また、部分ブロックごとに求めた部分差異度が、端を除けば、近傍の拡張テンプレートブロック同士で相互利用（再利用）できるため、テンプレートブロックの拡張により増加する差異度計算のオーバヘッドを低減できる利点もある。
BLK11 BLK12
BLK21 BLK22
について、どのような動作で予測ブロック相対位置を求めるかを説明する。（処理対象画像中の残りの部分も、同じ処理を繰り返すことで予測ブロック相対位置が求まるので、このテンプレートブロック配列一つ分の動作説明のみにとどめる。）
始めに、さらに１ブロック分だけ外側に拡張した以下の４×４ブロック分
BLK00 BLK01 BLK02 BLK03
BLK10 BLK11 BLK12 BLK13
BLK20 BLK21 BLK22 BLK23
BLK30 BLK31 BLK32 BLK33
のテンプレートブロック結合を、メモリユニット１００より読み出して、ブロック１つ分の領域が１つの部分差異度評価ユニットに入るように、部分差異度評価ユニットの４×４の配列へ送出する。また、メモリユニット１１０より、４×４ブロック分の参照ブロック結合を読み出して、すでに入っているテンプレートブロック結合の部分ブロックと対応する位置にあるブロック１つ分の部分領域がそれぞれの部分差異度評価ユニットに入るように、部分差異度評価ユニットの４×４の配列９００〜９３３へ送出する。メモリユニット１００と１１０から、テンプレートブロック結合と参照ブロック結合の対応する位置にある部分ブロックの画像データを受け取った部分差異度評価ユニット９００〜９３３は、各々、その対応する部分ブロック間の差異度を算出し、部分差異度として、４個の最小差異度位置検出ユニットへ出力する。部分差異度評価ユニットの配列から、部分差異度を受け取った最小差異度位置検出ユニット２１３〜２１６は、図1９に示すように、内部で所定の形状（この実施例では、３×３の正方拡張テンプレートブロック、３×１の横方向拡張テンプレートブロック、１×３の縦方向拡張テンプレートブロックの３形状）の拡張テンプレートブロックとそれに対応する参照拡張ブロック間の差異度が形成されるように、加算器３０１、３０２を用いて入力される部分差異度を適切に足し合わせて累算する（部分和を取る）。そして、その累算結果(部分和結果)を、比較器２８２〜２８４、最小差異度レジスタ２７２〜２７４へ出力する。比較器２８２〜２８４は、それまでの最小差異度レジスタ２７２〜２７４の保持内容と比較し、受け取った累算結果が小さければ、更新信号を最小差異度レジスタ２７２〜２７４と位置情報レジスタ２９２〜２９４へ出力する。最小差異度レジスタ２７２〜２７４は、比較器より更新信号を受け取ると入力の累算結果を新たな最小差異度として保持内容を更新する。一方、位置情報レジスタ２９２〜２９４も、比較器２８２〜２８４より更新信号を受け取ると、制御ユニット５４より受け取る参照ブロック結合相対位置で、保持内容を更新する。以上の動作を、探索範囲内で設定可能な全走査点について繰り返す。そして、最後に残った位置情報レジスタ２９２〜２９４の保持内容を、予測ブロック候補の位置情報として、多重化ユニット３０９を経由して順次出力する。ここで、４個の最小差異度位置検出ユニット２１３〜２１６への入力としては、PE11を中心とした左上の３×３の部分差異度評価ユニット（900、901、902、910、911、912、920、921、922）からと、PE12を中心とした右上の３×３の部分差異度評価ユニット（901、902、903、911、912、913、921、922、923）からと、PE21を中心とした左下の３×３の部分差異度評価ユニット（910、911、912、920、921、922、930、931、932）からと、PE22を中心とした右下の３×３の部分差異度評価ユニット（911、912、913、921、922、923、931、932、933）からとが、それぞれ入るようにしている。この接続構成により、４個の最小差異度位置検出ユニット２１３〜２１６のうち、左上のユニット２１３では、BLK11の拡張テンプレートブロックとそれに対する参照拡張ブロックとの間の差異度計算を、右上のユニット２１４では、BLK12の拡張テンプレートブロックとそれに対する参照拡張ブロックとの間の差異度計算を、左下のユニット２１５では、BLK21の拡張テンプレートブロックとそれに対する参照拡張ブロックとの間の差異度計算を、右下のユニット２１６では、BLK22の拡張テンプレートブロックとそれに対する参照拡張ブロックとの間の差異度計算を、それぞれ行う。結局、４個の最小差異度位置検出ユニットにより、BLK11、BLK12、BLK21、BLK22のテンプレートブロックの予測ブロック候補が４個の最小差異度位置検出ユニット２１３〜２１６で並列に求められ、その結果が、多重化ユニット２１８で多重化されて詳細探索型動き検出ユニット６に出力される。このように、本実施例では動き探索を並列に行えるので、動き探索の所要時間短縮に有効である。また、部分ブロックごとに求めた部分差異度が、端を除けば、近傍の拡張テンプレートブロック同士で相互利用（再利用）できるため、テンプレートブロックの拡張により増加する差異度計算のオーバヘッドを低減できる利点もある。
なお、本実施例では、最小差異度位置検出ユニット２１３〜２１６で、図７の（１）、（２）、（３）の拡張テンプレートブロックに対応する累算・比較構成としているが、拡張テンプレートブロックの種類を単一に絞る場合（従来の拡張テンプレートブロックを用いた動き検出装置に適用する場合）から４種類以上に増やす場合までの任意の種類に対応させることが可能である。また、この図では、部分ブロックの形状、サイズをもともとのテンプレートブロックのそれに合わせている。これによって、拡張テンプレートブロックの拡張の単位がテンプレートブロックと合同の形状に制限されるものの、本実施例で説明したようにブロック単位の部分差異度評価ユニットで得られる部分差異度を適当に組み合わせた部分和をとるだけで、拡張テンプレートブロック全体の差異度を算出できるメリットがある。もちろん、拡張の単位をブロック単位より小さくすることも可能で、そうすることで予測ブロック候補が適切な予測ブロックとなる割合を上げることも可能である。
＜第６の実施例＞
図２０は、動き検出対象画像より順次切り出す２×２のテンプレートブロックの並びについて、第１階層の縮小画像を用いた探索処理で予測ブロック候補を並列に検出するとともに、同一の部分差異度評価ユニット配列で、詳細探索まで行えるようにした本発明の第６の実施例のブロック図である。第５の実施例との違いは、以下の４点である。
詳細探索用の動き検出ユニットを省いている点。
動き検出対象画像用メモリユニットと参照画像用メモリユニットにそのままの入力画像列も格納できるように、マルチプレクサ１２、１３を追加している点。
テンプレート結合最小差異度位置並列検出ユニットを１９１から１９２に置き換えている点。
探索中心移動量として、縮小画像の探索結果の予測ブロック候補相対位置が入れられるように、テンプレート結合最小差異度位置並列検出ユニット１９２の出力を一時的に保持するＦＩＦＯ機能の予測ブロック候補バッファ１５と、その出力と外部から入力される探索中心移動量を切り替えるためのマルチプレクサか１４が追加されている点。
また、テンプレート結合最小差異度位置並列検出ユニット１９２の１９１との違いは、図２１のブロック図に示すように、部分差異度評価ユニット配列の個々のユニットの出力がすべて入力される最小差異度位置検出ユニット２１７が付け加わっていることである。図２２に、最小差異度位置検出ユニット２１７の内部構成のブロック図を示す。全部分差異度の総和を取り、最小差異度レジスタ２７５、比較
器２８５、位置情報レジスタ２９５により、その結果の最小位置を検出する構成となっている。以下、この第６の実施例の動作について説明する。
図２０は、動き検出対象画像より順次切り出す２×２のテンプレートブロックの並びについて、第１階層の縮小画像を用いた探索処理で予測ブロック候補を並列に検出するとともに、同一の部分差異度評価ユニット配列で、詳細探索まで行えるようにした本発明の第６の実施例のブロック図である。第５の実施例との違いは、以下の４点である。
詳細探索用の動き検出ユニットを省いている点。
動き検出対象画像用メモリユニットと参照画像用メモリユニットにそのままの入力画像列も格納できるように、マルチプレクサ１２、１３を追加している点。
テンプレート結合最小差異度位置並列検出ユニットを１９１から１９２に置き換えている点。
探索中心移動量として、縮小画像の探索結果の予測ブロック候補相対位置が入れられるように、テンプレート結合最小差異度位置並列検出ユニット１９２の出力を一時的に保持するＦＩＦＯ機能の予測ブロック候補バッファ１５と、その出力と外部から入力される探索中心移動量を切り替えるためのマルチプレクサか１４が追加されている点。
また、テンプレート結合最小差異度位置並列検出ユニット１９２の１９１との違いは、図２１のブロック図に示すように、部分差異度評価ユニット配列の個々のユニットの出力がすべて入力される最小差異度位置検出ユニット２１７が付け加わっていることである。図２２に、最小差異度位置検出ユニット２１７の内部構成のブロック図を示す。全部分差異度の総和を取り、最小差異度レジスタ２７５、比較
器２８５、位置情報レジスタ２９５により、その結果の最小位置を検出する構成となっている。以下、この第６の実施例の動作について説明する。
図２０で、入力の画像列とサブサンプリングユニット７で縮小された画像列の両方が、マルチプレクサ１２、１３により多重化され、動き検出対象画像と参照画像の列として、メモリユニットの１００、１１０へ入力される。従って、メモリユニット１００、１１０には、入力画像と縮小画像の両方の動き検出対象画像と参照画像が格納される。処理対象の動き検出対象画像と参照画像が整い次第、階層探索の第１階層、すなわち形状の異なる拡張テンプレートブロックを用いる縮小画像に対する動き探索を開始する。縮小画像に対する動き探索、動き検出のための構成については全く手を加えていないことから、この第一階層の探索動作は、第５の実施例と全く同じであり、拡張テンプレートの数だけの予測ブロック候補の相対位置を検出し、それらを多重化して出力する。第５の実施例とは異なり詳細動き検出ユニット６が無いので、多重化出力は、一旦、予測ブロック候補バッファ１５に書き込む。
予測ブロック候補バッファ１５に予測ブロック候補の位置情報が得られたならば、入力そのままで非縮小の動き検出対象画像と参照画像を用い、第２階層の詳細探索による動き検出を開始する。始めに、メモリユニット１００より、テンプレートブロック結合としてテンプレートブロック１つ分を読み出して、４×４等分した部分ブロック１つ分が１つの部分差異度評価ユニットに入るように、部分差異度評価ユニットの４×４の配列へ出力する（テンプレートブロックサイズが１６×１６画素の場合、部分ブロックのサイズは４×４画素となる。テンプレートブロック全体を縦横１／４縮小すると４×４画素のサイズになるので、第１階層の拡張テンプレートブロックを用いる探索処理は必然的に縦横１／４縮小した縮小画像に対するにものになる。）。同時に、メモリユニット１１０からは、参照ブロック結合として参照ブロック１つ分を予測ブロック相対位置を中心とする探索範囲内から読み出して、同様に４×４等分した部分ブロックのそれぞれが、テンプレートブロックの部分ブロックと対応する位置の部分差異度評価ユニットに入るように、部分差異度評価ユニットの４×４の配列に出力する。
メモリユニット１００と１１０から、テンプレートブロックと参照ブロックの対応する位置にある部分ブロックの画像データを受け取った部分差異度評価ユニット９００〜９３３は、各々、その対応する部分ブロック間の差異度を算出し、結果を部分差異度として５個の最小差異度位置検出ユニット２１３〜２１７へ出力する。ただし、この第２階層の探索では、テンプレートブロック結合をテンプレートブロックそのものに選んでいるため、拡張テンプレートブロック用の２１３〜２１６の最小差異度検出ユニットは意味のある働きをしない。意味があるのは、求まった部分差異度のすべてが入力される２１７のみである。この２１７では、図２２に示されるように、加算器のツリーで入力のすべての部分差異度の間の総和、すなわちテンプレートブロックと参照ブロック間の差異度を求め、その求まった差異度を、最小差異度レジスタ２７５に保持されているこれまでの最小値と比較器２８５で比較し、小さければ最小差異度レジスタ２７５を求まった差異度で更新する。同時に、位置情報レジスタ２９５の内容も、入力の参照ブロック結合相対位置で更新する。
メモリユニット１００と１１０から、テンプレートブロックと参照ブロックの対応する位置にある部分ブロックの画像データを受け取った部分差異度評価ユニット９００〜９３３は、各々、その対応する部分ブロック間の差異度を算出し、結果を部分差異度として５個の最小差異度位置検出ユニット２１３〜２１７へ出力する。ただし、この第２階層の探索では、テンプレートブロック結合をテンプレートブロックそのものに選んでいるため、拡張テンプレートブロック用の２１３〜２１６の最小差異度検出ユニットは意味のある働きをしない。意味があるのは、求まった部分差異度のすべてが入力される２１７のみである。この２１７では、図２２に示されるように、加算器のツリーで入力のすべての部分差異度の間の総和、すなわちテンプレートブロックと参照ブロック間の差異度を求め、その求まった差異度を、最小差異度レジスタ２７５に保持されているこれまでの最小値と比較器２８５で比較し、小さければ最小差異度レジスタ２７５を求まった差異度で更新する。同時に、位置情報レジスタ２９５の内容も、入力の参照ブロック結合相対位置で更新する。
以上の差異度計算と最小差異度検出更新処理を予測ブロック候補相対位置を中心とする探索範囲内の参照ブロックのすべてについて行う。この探索処理を、予測ブロック候補バッファ１５に溜まっている予測ブロック候補を順次読み出して、繰り返す。テンプレートブロックBLK11の予測ブロック候補のすべてについて探索処理を終えると、予測ブロック候補ごとに定まる複数の探索範囲の中で最小の差異度を与える相対位置が位置情報レジスタ２９５に得られる。これをテンプレートブロックBLK11の最終的な予測ブロック相対位置として外部に出力する。
予測ブロック候補バッファには、まだ、BLK12，BLK21，BLK22テンプレートブロックの予測ブロック候補位置情報が残っているので、これらについても同様に第２階層の探索処理を施し、最終的な予測ブロック相対位置を得て、外部に順次出力する。
これらの２×２個のテンプレートブロックの予測ブロック相対位置の出力をすべて終えると、次の２×２個のテンプレートブロックの探索処理に入る。
本実施例は、第５の実施例と比べると、詳細動き検出ユニットを省き、代わりにテンプレート結合最小差異度位置並列検出ユニット１９２で、第２階層の詳細探索型の動き検出も行うようにしているので、設計工数の低減が可能になる利点がある。
予測ブロック候補バッファには、まだ、BLK12，BLK21，BLK22テンプレートブロックの予測ブロック候補位置情報が残っているので、これらについても同様に第２階層の探索処理を施し、最終的な予測ブロック相対位置を得て、外部に順次出力する。
これらの２×２個のテンプレートブロックの予測ブロック相対位置の出力をすべて終えると、次の２×２個のテンプレートブロックの探索処理に入る。
本実施例は、第５の実施例と比べると、詳細動き検出ユニットを省き、代わりにテンプレート結合最小差異度位置並列検出ユニット１９２で、第２階層の詳細探索型の動き検出も行うようにしているので、設計工数の低減が可能になる利点がある。
＜第７の実施例＞
ところで、本発明の第５、第６の実施例は、個々の差異度評価ユニットをアイドルさせないために、テンプレートブロック結合、参照ブロック結合を、それらと同一サイズの部分差異度評価ユニット配列に、メモリユニット１００、１１０より一気に読み出して供給することを前提としている。しかし、これでは端の部分ブロックに対する部分差異度が再利用できないことに起因する効率低下の問題を軽減しようとすると部分差異度評価ユニット配列を大きくせざるを得ないばかりか、メモリユニット１００、１１０も非常に大きなアクセス幅を持たせねばならなくなるので、ハードウェア規模を大幅に増やさざるをえない。
図２３は、この問題をテンプレートブロック結合の部分ブロックと各々が異なる参照ブロック結合に属する部分参照ブロックの並びからなる部分参照領域のそれぞれの構成行を１行ずつ供給することと差異度評価ユニットの並列使用量の向上を両立することで解決する本発明の第７の実施例のブロック図である。第５の実施例の図１７に示すブロック図との違いは、テンプレート結合最小差異度位置並列検出ユニットが１９１から１９３に置き換えると共に、メモリユニットを１００、１１０から１０１、１１１に置き換えている点である。メモリユニット１０１、１１１の１００、１１０との違いは、アクセスの単位を部分テンプレートブロックの構成行、あるいは部分参照領域の構成行の部分行にした点である。また、図２４は、テンプレート結合最小差異度位置並列検出ユニット１９３のブロック図である。ここで、９５０〜９５３は、図２５に示すように、４個の差分絶対値演算器３０２で左あるいは上側から入ってくる部分参照ブロックの構成行（４画素幅）と下側から入ってくる部分テンプレートブロックの構成行（４画素幅）の間の個々の画素間の差分絶対値を取り、その結果同士と累算用レジスタの和を４個の加算器３０１で取って、結果を累算用レジスタに格納する部分差異度評価ユニットである。この部分差異度評価ユニット９５０〜９５３に対し、部分ブロックの構成行のすべて（４行）を順次入力し、結果を累算用レジスタで累算すれば部分ブロック間の差異度が求まる。ここで、差分絶対値演算器３０２は、入力の差分に対して、絶対値をとって出力する演算器である。
ところで、本発明の第５、第６の実施例は、個々の差異度評価ユニットをアイドルさせないために、テンプレートブロック結合、参照ブロック結合を、それらと同一サイズの部分差異度評価ユニット配列に、メモリユニット１００、１１０より一気に読み出して供給することを前提としている。しかし、これでは端の部分ブロックに対する部分差異度が再利用できないことに起因する効率低下の問題を軽減しようとすると部分差異度評価ユニット配列を大きくせざるを得ないばかりか、メモリユニット１００、１１０も非常に大きなアクセス幅を持たせねばならなくなるので、ハードウェア規模を大幅に増やさざるをえない。
図２３は、この問題をテンプレートブロック結合の部分ブロックと各々が異なる参照ブロック結合に属する部分参照ブロックの並びからなる部分参照領域のそれぞれの構成行を１行ずつ供給することと差異度評価ユニットの並列使用量の向上を両立することで解決する本発明の第７の実施例のブロック図である。第５の実施例の図１７に示すブロック図との違いは、テンプレート結合最小差異度位置並列検出ユニットが１９１から１９３に置き換えると共に、メモリユニットを１００、１１０から１０１、１１１に置き換えている点である。メモリユニット１０１、１１１の１００、１１０との違いは、アクセスの単位を部分テンプレートブロックの構成行、あるいは部分参照領域の構成行の部分行にした点である。また、図２４は、テンプレート結合最小差異度位置並列検出ユニット１９３のブロック図である。ここで、９５０〜９５３は、図２５に示すように、４個の差分絶対値演算器３０２で左あるいは上側から入ってくる部分参照ブロックの構成行（４画素幅）と下側から入ってくる部分テンプレートブロックの構成行（４画素幅）の間の個々の画素間の差分絶対値を取り、その結果同士と累算用レジスタの和を４個の加算器３０１で取って、結果を累算用レジスタに格納する部分差異度評価ユニットである。この部分差異度評価ユニット９５０〜９５３に対し、部分ブロックの構成行のすべて（４行）を順次入力し、結果を累算用レジスタで累算すれば部分ブロック間の差異度が求まる。ここで、差分絶対値演算器３０２は、入力の差分に対して、絶対値をとって出力する演算器である。
また、９６０〜９６３は、それぞれテンプレートブロック結合と参照ブロック結合の間の部分差異度のすべてを格納するためのレジスタファイルである。９７０から９７３は、レジスタファイル９６０〜９６３から送られてくる部分差異度に対し拡張テンプレートブロックの形状に合わせた部分和をとることで各拡張テンプレートブロック・拡張参照ブロック間の差異度を求める部分和ユニットである。９８０は、部分和ユニットから送られてくる拡張ブロック間差異度の中から最小のものを検出すると共に、その出所もとの差異度評価ユニットを特定する最小差異度検出ユニットである。９８１〜９８３は、拡張テンプレートブロックごとに設ける最小値位置検出ユニットであり、図２６に示すように、図４の最小差異度位置検出ユニットに用いられているのと同じ働きの比較器２８６、最小差異度レジスタ２７６、位置情報レジスタ２９６に加え、ブロック位置補正ユニット２９７で構成される。ブロック位置補正ユニット２９７は、参照ブロック結合の相対位置を出所もとの差異度評価ユニットに応じて、正しい値に補正するユニットである。以下、この第７の実施例の動作について詳しく説明する。
図２３で、サブサンプリングユニット７で縮小された動き検出対象画像と参照画像の列が、メモリユニットの１０１、１１１へ入力され、両者の動き探索に必要な画像が入りきったところで処理を開始する。ここでは、探索処理の繰り返しの単位である２×２のテンプレートブロック配列の一つ
BLK11 BLK12
BLK21 BLK22
について、どのような動作で予測ブロック相対位置を求めるかを説明する。（処理対象画像中の残りの部分も、同じ処理を繰り返すことで予測ブロック相対位置が求まるので、このテンプレートブロック配列一つ分の動作説明で十分である。）
始めに、さらに１ブロック分だけ外側に拡張した以下の４×４ブロック分
BLK00 BLK01 BLK02 BLK03
BLK10 BLK11 BLK12 BLK13
BLK20 BLK21 BLK22 BLK23
BLK30 BLK31 BLK32 BLK33
のテンプレートブロック結合の一番上の部分ブロックBLK00の以下の４×４画素
tpix00_00 tpix00_01 tpix00_02 tpix00_03
tpix00_10 tpix00_11 tpix00_12 tpix00_13
tpix00_20 tpix00_21 tpix00_22 tpix00_23
tpix00_30 tpix00_31 tpix00_32 tpix00_33
を、一番上の行から順にメモリユニット１０１より読み出して、それぞれを部分差異度評価ユニット９５０〜９５３のすべてに放送する。また、この行単位の放送と同期して、真裏位置より行方向に１画素ずつずれた拡張参照ブロックに属する以下の４個の４×４画素の部分参照ブロック
refpix0-2 refpix0-1 refpix00 refpix01
refpix1-2 refpix1-1 refpix10 refpix11
refpix2-2 refpix2-1 refpix20 refpix21
refpix3-2 refpix3-1 refpix30 refpix31
refpix0-1 refpix00 refpix01 refpix02
refpix1-1 refpix10 refpix11 refpix12
refpix2-1 refpix20 refpix21 refpix22
refpix3-1 refpix30 refpix31 refpix32
refpix00 refpix01 refpix02 refpix03
refpix10 refpix11 refpix12 refpix13
refpix20 refpix21 refpix22 refpix23
refpix30 refpix31 refpix32 refpix33
refpix01 refpix02 refpix03 refpix04
refpix11 refpix12 refpix13 refpix14
refpix21 refpix22 refpix23 refpix24
refpix31 refpix32 refpix33 refpix34
の並びからなる（すべてを含む）以下の部分参照領域
refpix0-2 refpix0-1 refpix00 refpix01 refpix02 refpix03 refpix04
refpix1-2 refpix1-1 refpix10 refpix11 refpix12 refpix13 refpix14
refpix2-2 refpix2-1 refpix20 refpix21 refpix22 refpix23 refpix24
refpix3-2 refpix3-1 refpix30 refpix31 refpix32 refpix33 refpix34
を、一番上の行から順にメモリユニット１１１より読み出して、それぞれを部分差異度評価ユニット９５０〜９５３のすべてに放送する。ただし、この場合には図２４、図２５のブロック構成から明らかなように放送の方向が右下に向かっているので、各部分差異度評価ユニットには、１画素ずつずれた部分行（部分参照ブロックの構成行）が切り出されて入力される。例えば、先頭行は各部分差異度評価ユニットに以下のように入る。
９５０：refpix01 refpix02 refpix03 refpix04
９５１：refpix10 refpix11 refpix12 refpix13
９５２：refpix2-1 refpix20 refpix21 refpix22
９５３：refpix3-2 refpix3-1 refpix30 refpix31
各部分差異度評価ユニットでは、行単位の放送ごとに送られてくる部分テンプレートブロックと部分参照ブロック間の対応する構成行間の差異度を求め累算用レジスタ３０３に加え込む。
BLK11 BLK12
BLK21 BLK22
について、どのような動作で予測ブロック相対位置を求めるかを説明する。（処理対象画像中の残りの部分も、同じ処理を繰り返すことで予測ブロック相対位置が求まるので、このテンプレートブロック配列一つ分の動作説明で十分である。）
始めに、さらに１ブロック分だけ外側に拡張した以下の４×４ブロック分
BLK00 BLK01 BLK02 BLK03
BLK10 BLK11 BLK12 BLK13
BLK20 BLK21 BLK22 BLK23
BLK30 BLK31 BLK32 BLK33
のテンプレートブロック結合の一番上の部分ブロックBLK00の以下の４×４画素
tpix00_00 tpix00_01 tpix00_02 tpix00_03
tpix00_10 tpix00_11 tpix00_12 tpix00_13
tpix00_20 tpix00_21 tpix00_22 tpix00_23
tpix00_30 tpix00_31 tpix00_32 tpix00_33
を、一番上の行から順にメモリユニット１０１より読み出して、それぞれを部分差異度評価ユニット９５０〜９５３のすべてに放送する。また、この行単位の放送と同期して、真裏位置より行方向に１画素ずつずれた拡張参照ブロックに属する以下の４個の４×４画素の部分参照ブロック
refpix0-2 refpix0-1 refpix00 refpix01
refpix1-2 refpix1-1 refpix10 refpix11
refpix2-2 refpix2-1 refpix20 refpix21
refpix3-2 refpix3-1 refpix30 refpix31
refpix0-1 refpix00 refpix01 refpix02
refpix1-1 refpix10 refpix11 refpix12
refpix2-1 refpix20 refpix21 refpix22
refpix3-1 refpix30 refpix31 refpix32
refpix00 refpix01 refpix02 refpix03
refpix10 refpix11 refpix12 refpix13
refpix20 refpix21 refpix22 refpix23
refpix30 refpix31 refpix32 refpix33
refpix01 refpix02 refpix03 refpix04
refpix11 refpix12 refpix13 refpix14
refpix21 refpix22 refpix23 refpix24
refpix31 refpix32 refpix33 refpix34
の並びからなる（すべてを含む）以下の部分参照領域
refpix0-2 refpix0-1 refpix00 refpix01 refpix02 refpix03 refpix04
refpix1-2 refpix1-1 refpix10 refpix11 refpix12 refpix13 refpix14
refpix2-2 refpix2-1 refpix20 refpix21 refpix22 refpix23 refpix24
refpix3-2 refpix3-1 refpix30 refpix31 refpix32 refpix33 refpix34
を、一番上の行から順にメモリユニット１１１より読み出して、それぞれを部分差異度評価ユニット９５０〜９５３のすべてに放送する。ただし、この場合には図２４、図２５のブロック構成から明らかなように放送の方向が右下に向かっているので、各部分差異度評価ユニットには、１画素ずつずれた部分行（部分参照ブロックの構成行）が切り出されて入力される。例えば、先頭行は各部分差異度評価ユニットに以下のように入る。
９５０：refpix01 refpix02 refpix03 refpix04
９５１：refpix10 refpix11 refpix12 refpix13
９５２：refpix2-1 refpix20 refpix21 refpix22
９５３：refpix3-2 refpix3-1 refpix30 refpix31
各部分差異度評価ユニットでは、行単位の放送ごとに送られてくる部分テンプレートブロックと部分参照ブロック間の対応する構成行間の差異度を求め累算用レジスタ３０３に加え込む。
以上の行単位の放送とその放送行に対する部分差異度評価ユニットでの差異度累算を４回繰り返すことで、部分ブロック間の差異度（部分差異度）が累算用レジスタ３０３に得られる。
例えば、部分差異度評価ユニット９５０に送られてくる累算対象の行は、繰り返しの回ごとに以下のようになる。
１回目:
tpix00_00 tpix00_01 tpix00_02 tpix00_03
refpix01 refpix02 refpix03 refpix04
２回目:
tpix00_10 tpix00_11 tpix00_12 tpix00_13
refpix11 refpix12 refpix13 refpix14
３回目:
tpix00_20 tpix00_21 tpix00_22 tpix00_23
refpix21 refpix22 refpix23 refpix24
４回目:
tpix00_30 tpix00_31 tpix00_32 tpix00_33
refpix31 refpix32 refpix33 refpix34
部分差異度評価ユニット９５０は、これら行単位の画素データを受け取るごとに差分絶対値和計算とその結果の累算を行うので、４回の繰り返しの後には、結局、以下の４×４画素の部分テンプレートブロック（BLK00）
tpix00_00 tpix00_01 tpix00_02 tpix00_03
tpix00_10 tpix00_11 tpix00_12 tpix00_13
tpix00_20 tpix00_21 tpix00_22 tpix00_23
tpix00_30 tpix00_31 tpix00_32 tpix00_33
と、以下の４×４画素の部分参照ブロック
refpix01 refpix02 refpix03 refpix04
refpix11 refpix12 refpix13 refpix14
refpix21 refpix22 refpix23 refpix24
refpix31 refpix32 refpix33 refpix34
との間の差異度が累算器３０３に得られる。
このようにしてBLK00に対する部分差異度が求まったならば、各部分差異度評価ユニットは、それを右側のレジスタファイル９６０〜９６３のBLK00用のアドレスに書き込む。
続いて、BLK00の１つ右側の部分ブロックBLK01と４画素だけ右側の部分参照ブロックの並びからなる以下の部分参照領域
refpix02 refpix03 refpix04 refpix05 refpix06 refpix07 refpix08
refpix12 refpix13 refpix14 refpix15 refpix16 refpix17 refpix18
refpix22 refpix23 refpix24 refpix25 refpix26 refpix27 refpix28
refpix32 refpix33 refpix34 refpix35 refpix36 refpix37 refpix38
について、BLK00の場合と全く同じように部分差異度評価ユニットを動かして、部分差異度を得て、結果をレジスタファイル９６０〜９６３の別のアドレスに書き込む。同様の部分ブロック単位の差異度評価をラスタ操作順に繰り返していくと、結局、レジスタファイル９６０〜９６３のそれぞれに、BLK00〜BLK33のテンプレートブロック結合と参照画像中の位置が１画素ずつ異なる参照ブロック結合１つ分の間の部分差異度が全部揃う。そうしたならば、次はレジスタファイル９６０〜９６３からBLK11の拡張テンプレートブロックの部分差異度をすべて読み出し、部分和ユニット９７０〜９７３に送り、拡張テンプレートブロックの形状に対応する部分和を取ることで各拡張テンプレートブロックの差異度を求める。求まった差異度を、拡張テンプレートブロックの形状ごとに、最小差異度検出ユニット９８０に出力する。最小差異度検出ユニット９８０では、拡張テンプレートブロックの形状ごとの最小差異度とその出所もとの差異度評価ユニット番号を検出し、拡張テンプレートブロックの形状ごとの最小値位置検出ユニット９８１〜９８３に出力する。各最小値位置検出ユニットでは、BLK11の拡張テンプレートブロックのそれまでの最小の差異度を最小差異度レジスタファイル２７６のBLK11用探索結果格納番地から読み出し、入力の差異度と比較器２８６で比較する。もし入力の方が小さければ、そのBLK11用探索結果格納番地を入力の差異度で更新すると共に、位置情報レジスタファイル２９６のBLK11の参照拡張ブロックの相対位置を格納する番地も基準の参照ブロック結合相対位置を差異度評価ユニット番号で補正した値で更新する。
例えば、部分差異度評価ユニット９５０に送られてくる累算対象の行は、繰り返しの回ごとに以下のようになる。
１回目:
tpix00_00 tpix00_01 tpix00_02 tpix00_03
refpix01 refpix02 refpix03 refpix04
２回目:
tpix00_10 tpix00_11 tpix00_12 tpix00_13
refpix11 refpix12 refpix13 refpix14
３回目:
tpix00_20 tpix00_21 tpix00_22 tpix00_23
refpix21 refpix22 refpix23 refpix24
４回目:
tpix00_30 tpix00_31 tpix00_32 tpix00_33
refpix31 refpix32 refpix33 refpix34
部分差異度評価ユニット９５０は、これら行単位の画素データを受け取るごとに差分絶対値和計算とその結果の累算を行うので、４回の繰り返しの後には、結局、以下の４×４画素の部分テンプレートブロック（BLK00）
tpix00_00 tpix00_01 tpix00_02 tpix00_03
tpix00_10 tpix00_11 tpix00_12 tpix00_13
tpix00_20 tpix00_21 tpix00_22 tpix00_23
tpix00_30 tpix00_31 tpix00_32 tpix00_33
と、以下の４×４画素の部分参照ブロック
refpix01 refpix02 refpix03 refpix04
refpix11 refpix12 refpix13 refpix14
refpix21 refpix22 refpix23 refpix24
refpix31 refpix32 refpix33 refpix34
との間の差異度が累算器３０３に得られる。
このようにしてBLK00に対する部分差異度が求まったならば、各部分差異度評価ユニットは、それを右側のレジスタファイル９６０〜９６３のBLK00用のアドレスに書き込む。
続いて、BLK00の１つ右側の部分ブロックBLK01と４画素だけ右側の部分参照ブロックの並びからなる以下の部分参照領域
refpix02 refpix03 refpix04 refpix05 refpix06 refpix07 refpix08
refpix12 refpix13 refpix14 refpix15 refpix16 refpix17 refpix18
refpix22 refpix23 refpix24 refpix25 refpix26 refpix27 refpix28
refpix32 refpix33 refpix34 refpix35 refpix36 refpix37 refpix38
について、BLK00の場合と全く同じように部分差異度評価ユニットを動かして、部分差異度を得て、結果をレジスタファイル９６０〜９６３の別のアドレスに書き込む。同様の部分ブロック単位の差異度評価をラスタ操作順に繰り返していくと、結局、レジスタファイル９６０〜９６３のそれぞれに、BLK00〜BLK33のテンプレートブロック結合と参照画像中の位置が１画素ずつ異なる参照ブロック結合１つ分の間の部分差異度が全部揃う。そうしたならば、次はレジスタファイル９６０〜９６３からBLK11の拡張テンプレートブロックの部分差異度をすべて読み出し、部分和ユニット９７０〜９７３に送り、拡張テンプレートブロックの形状に対応する部分和を取ることで各拡張テンプレートブロックの差異度を求める。求まった差異度を、拡張テンプレートブロックの形状ごとに、最小差異度検出ユニット９８０に出力する。最小差異度検出ユニット９８０では、拡張テンプレートブロックの形状ごとの最小差異度とその出所もとの差異度評価ユニット番号を検出し、拡張テンプレートブロックの形状ごとの最小値位置検出ユニット９８１〜９８３に出力する。各最小値位置検出ユニットでは、BLK11の拡張テンプレートブロックのそれまでの最小の差異度を最小差異度レジスタファイル２７６のBLK11用探索結果格納番地から読み出し、入力の差異度と比較器２８６で比較する。もし入力の方が小さければ、そのBLK11用探索結果格納番地を入力の差異度で更新すると共に、位置情報レジスタファイル２９６のBLK11の参照拡張ブロックの相対位置を格納する番地も基準の参照ブロック結合相対位置を差異度評価ユニット番号で補正した値で更新する。
ここまでの動作で、BLK11の各拡張テンプレートブロックについて行方向に−２画素、−１画素、０、＋１画素の４点を探索した結果の最小の差異度とその差異度を与える位置が、各最小値位置検出ユニットの最小差異度レジスタファイル２７６と位置情報レジスタファイル２９６のBLK11用探索結果格納番地に得られる。
BLK12，BLK21，BLK22についても、レジスタファイル９６０〜９６３に求まっている部分差異度をBLK11の場合と同様に読み出して、部分和、最小差異度検出、最小値位置検出のパスを順次通すことで、行方向の４点分の探索結果が最小差異度レジスタファイル２７６と位置情報レジスタファイル２９６のそれぞれの探索結果格納番地に得られる。
通常の動き探索で要求されるより広い探索範囲への対応は、以上の４点単位の探索を探索範囲内でラスタ走査順に繰り返し、より小さい差異度が求まるごとに、最小差異度レジスタファイル２７６と位置情報レジスタファイル２９６の内容を更新することで実現される。
なお、この第７の実施例の説明（特に図２４の説明）では、理解が容易なように、各ユニットの処理は、前段のユニット処理が終了し、その結果が送られてきて始めて開始されるようにしてきた。しかし、実際には、後段のユニットに処理結果を送り終える前に新たな動作を開始したり、あるいは前段の処理が終了しなくとも、後段にとって必要なデータが整い次第動作を開始させたりするパイプライン型の並列動作が可能で、これによって処理速度の一層の向上が可能になる。また、メモリユニット１０１、１１１とレジスタファイルの容量を増やすだけで、テンプレートブロック結合のサイズを大きくできるので、テンプレートブロック結合の端に位置する部分ブロックの部分差異度が再利用できないことに起因する効率低下の問題も、容易に軽減できる利点がある。
BLK12，BLK21，BLK22についても、レジスタファイル９６０〜９６３に求まっている部分差異度をBLK11の場合と同様に読み出して、部分和、最小差異度検出、最小値位置検出のパスを順次通すことで、行方向の４点分の探索結果が最小差異度レジスタファイル２７６と位置情報レジスタファイル２９６のそれぞれの探索結果格納番地に得られる。
通常の動き探索で要求されるより広い探索範囲への対応は、以上の４点単位の探索を探索範囲内でラスタ走査順に繰り返し、より小さい差異度が求まるごとに、最小差異度レジスタファイル２７６と位置情報レジスタファイル２９６の内容を更新することで実現される。
なお、この第７の実施例の説明（特に図２４の説明）では、理解が容易なように、各ユニットの処理は、前段のユニット処理が終了し、その結果が送られてきて始めて開始されるようにしてきた。しかし、実際には、後段のユニットに処理結果を送り終える前に新たな動作を開始したり、あるいは前段の処理が終了しなくとも、後段にとって必要なデータが整い次第動作を開始させたりするパイプライン型の並列動作が可能で、これによって処理速度の一層の向上が可能になる。また、メモリユニット１０１、１１１とレジスタファイルの容量を増やすだけで、テンプレートブロック結合のサイズを大きくできるので、テンプレートブロック結合の端に位置する部分ブロックの部分差異度が再利用できないことに起因する効率低下の問題も、容易に軽減できる利点がある。
上記のように、本実施例によれば、メモリユニットより読み出す部分ブロックの構成行あるいは部分参照領域の構成行を、同時に複数の差異度評価ユニットに放送する形で動作させうる。このため差異度評価ユニットに個別に部分ブロックの画像データを供給する第６以前の実施例に比べ、メモリユニットに必要なデータアクセスのバンド幅が大幅に低減されるので、メモリユニットの占有面積と消費電力の低減が可能になる。
第１の実施例から第５の実施例について本発明を実現するための装置としての構成を説明した。しかし、本発明は当該装置として実現可能であるだけでなく、第１の実施例を実現する図１０・図１１のブロック図、第２の実施例を実現する図１１、図１２のブロック図、第３の実施例を実現する図１３・図１４・図１５のブロック図、第４の実施例を実現する図１３、図１４、図１６、第５の実施例を実現する図１７、図１８、図１９のブロック図のそれぞれについて、図中で進む処理の流れを、そのままフローチャートの形に書き換えることが可能であるので、それぞれが本発明に対応する動き検出方法を具現化したものとみなすことができる。従って、本発明は当該動き検出方法も、請求項８から請求項１２に記述しているように権利範囲に含むものである。さらに、当該動き検出方法は、データ処理装置が実行可能なプログラムをもって表現することが可能である。
請求項８から請求項１１の動き検出方法を併用する動き探索部を組み込んだMPEG−２の符号化プログラムは、動き探索の演算量の大幅な低減が可能な縦横共に４：１という粗いサブサンプリング率の縮小画像を用いる２階層探索にも関わらず、動き探索部を従来最高の検出精度が得られるとされてきた非縮小画像を全探索するＭＰＥＧ-２符号化プログラムより、表１に示すように高い符号化の画質が得られる。
また、部分テンプレートブロックごとの部分差異度が、形状の異なる拡張テンプレートブロック間で相互に利用できるので、テンプレート拡張による演算量の増大も効果的に抑制できる。さらに、部分テンプレートブロックあるいは部分参照領域の構成行を並列に動作する差異度評価ユニットで共通に利用する構成が可能なので、差異度評価ユニットごとに個別にデータを読み出すことが不要となり、動き検出対象画像用メモリユニットと参照画像格納用メモリユニットのアクセスバンド幅の低減が可能である。このように、本発明は演算量、メモリに対するアクセスバンド幅の大幅な低減と全探索にも劣らない動き検出精度の確保とを両立できるので、高性能な動き検出器を小型・低コストで実現するのに極めて有用である。
また、部分テンプレートブロックごとの部分差異度が、形状の異なる拡張テンプレートブロック間で相互に利用できるので、テンプレート拡張による演算量の増大も効果的に抑制できる。さらに、部分テンプレートブロックあるいは部分参照領域の構成行を並列に動作する差異度評価ユニットで共通に利用する構成が可能なので、差異度評価ユニットごとに個別にデータを読み出すことが不要となり、動き検出対象画像用メモリユニットと参照画像格納用メモリユニットのアクセスバンド幅の低減が可能である。このように、本発明は演算量、メモリに対するアクセスバンド幅の大幅な低減と全探索にも劣らない動き検出精度の確保とを両立できるので、高性能な動き検出器を小型・低コストで実現するのに極めて有用である。
Claims (4)
- 動き検出対象画像内に存在するテンプレートブロック（動き検出対象ブロック）の移動元とみなせる予測ブロックが探索対象の参照画像内の探索範囲中のどこに位置するかを検出する動き検出装置であって、
前記テンプレートブロックの周囲に形状・サイズ・方向（上下、左右方向）別拡張量の異なる任意の隣接領域を加え合わせて形成される複数の拡張テンプレートブロックと、それらに合同で相互の差異度の小さい複数の予測拡張ブロックの位置を複数の予測ブロック候補位置として検出し、
前記複数の予測ブロック候補位置の近傍に位置する複数の前記予測ブロックについて、前記テンプレートブロックとの差異度計算を実施し、最小差異度の予測ブロックの位置を前記予測ブロック位置として検出することを特徴とする動き検出装置。 - 前記テンプレートブロックと前記拡張テンプレートブロックが単数又は複数の部分ブロックの集合で構成されており、
前記予測ブロックと前記予測拡張ブロックも、前記テンプレートおよび前記拡張テンプレートを構成する部分ブロックと合同な部分ブロックで構成されており、
前記差異度計算を各部分ブロック対（前記テンプレートまたは前記拡張テンプレートに属する部分ブロックと、これと合同な前記予測ブロック又は前記予測拡張ブロックの部分ブロックと、で構成される１対の部分ブロック）毎に実施し、
これら各部分ブロック対の差異度計算結果の和を求めることで、前記差異度計算を実施することを特徴とする請求項１に記載の動き検出装置。 - 動き検出対象画像内に存在するテンプレートブロック（動き検出対象ブロック）の移動元とみなせる予測ブロックが探索対象の参照画像内の探索範囲中のどこに位置するかを検出する動き検出装置であって、
前記テンプレートブロックの周囲に形状・サイズ・方向（上下、左右方向）別拡張量の異なる任意の隣接領域を加え合わせて形成される複数の拡張テンプレートブロックと、それらに合同で相互の差異度の小さい複数の予測拡張ブロックの位置を複数の予測ブロック候補位置として検出し、
前記複数の予測ブロック候補位置の近傍に位置する複数の前記予測ブロックについて、前記テンプレートブロックとの差異度計算を実施し、最小差異度の予測ブロックの位置を前記予測ブロック位置として検出することを特徴とする動き検出方法。 - 前記テンプレートブロックと前記拡張テンプレートブロックが単数又は複数の部分ブロックの集合で構成されており、
前記予測ブロックと前記予測拡張ブロックも、前記テンプレートおよび前記拡張テンプレートを構成する部分ブロックと合同な部分ブロックで構成されており、
前記差異度計算を各部分ブロック対（前記テンプレートまたは前記拡張テンプレートに属する部分ブロックと、これと合同な前記予測ブロック又は前記予測拡張ブロックの部分ブロックと、で構成される１対の部分ブロック）毎に実施し、
これら各部分ブロック対の差異度計算結果の和を求めることで、前記差異度計算を実施することを特徴とする請求項３に記載の動き検出方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2004301750A JP4859168B2 (ja) | 2004-10-15 | 2004-10-15 | 動き検出装置及び動き検出方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2004301750A JP4859168B2 (ja) | 2004-10-15 | 2004-10-15 | 動き検出装置及び動き検出方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2006115312A JP2006115312A (ja) | 2006-04-27 |
| JP4859168B2 true JP4859168B2 (ja) | 2012-01-25 |
Family
ID=36383431
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2004301750A Expired - Fee Related JP4859168B2 (ja) | 2004-10-15 | 2004-10-15 | 動き検出装置及び動き検出方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4859168B2 (ja) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP5185244B2 (ja) * | 2009-12-18 | 2013-04-17 | 日本電信電話株式会社 | 動きベクトル検出装置、動きベクトル検出方法およびプログラム |
| WO2012005537A2 (ko) * | 2010-07-09 | 2012-01-12 | 한국전자통신연구원 | 템플릿 매칭을 이용한 영상 부호화 방법 및 장치, 그리고 복호화 방법 및 장치 |
| CN114265626A (zh) * | 2021-11-25 | 2022-04-01 | 上海齐感电子信息科技有限公司 | 控制方法及控制系统 |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH07203457A (ja) * | 1993-12-27 | 1995-08-04 | Oki Electric Ind Co Ltd | 動きベクトル検出装置 |
| JPH0923434A (ja) * | 1995-07-07 | 1997-01-21 | Nec Corp | 動き補償回路 |
| JPH0937269A (ja) * | 1995-07-25 | 1997-02-07 | Hitachi Ltd | 画像圧縮装置 |
| JP2000050282A (ja) * | 1998-08-03 | 2000-02-18 | Nippon Telegr & Teleph Corp <Ntt> | 動き検出器及び動き検出方法及びそのプログラムを記録した記録媒体 |
| JP2004200984A (ja) * | 2002-12-18 | 2004-07-15 | Nippon Telegr & Teleph Corp <Ntt> | 動きベクトル検出装置 |
| JP4228705B2 (ja) * | 2003-01-27 | 2009-02-25 | 日本電気株式会社 | 動きベクトル探索方法および装置 |
-
2004
- 2004-10-15 JP JP2004301750A patent/JP4859168B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2006115312A (ja) | 2006-04-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US8218635B2 (en) | Systolic-array based systems and methods for performing block matching in motion compensation | |
| KR101522985B1 (ko) | 영상처리 장치 및 방법 | |
| US6690730B2 (en) | Motion estimator | |
| EP1775963A1 (en) | Motion vector detecting device, and motion vector detecting method | |
| KR101578052B1 (ko) | 움직임 추정 장치 및 이를 구비하는 동영상 부호화 장치 | |
| JPH07250328A (ja) | 動きベクトル検出装置 | |
| KR101520027B1 (ko) | 움직임 추정 방법 및 장치 | |
| US6687299B2 (en) | Motion estimation method and apparatus for interrupting computation which is determined not to provide solution | |
| JP4859168B2 (ja) | 動き検出装置及び動き検出方法 | |
| JP2008060836A (ja) | 動きベクトル探索方法及び装置 | |
| US8428137B2 (en) | Motion search apparatus in video coding | |
| JP2010108205A (ja) | 超解像画像作成方法 | |
| US20110249188A1 (en) | Method of block-based motion estimation | |
| US8705626B2 (en) | Motion estimation method | |
| JP2002152750A (ja) | 動きベクトル検出方法および装置 | |
| JPH09261646A (ja) | 画像の動き検出装置 | |
| US20100074336A1 (en) | Fractional motion estimation engine | |
| Liu et al. | A frame-level FSBM motion estimation architecture with large search range | |
| KR100359091B1 (ko) | 움직임추정장치 | |
| US20090060048A1 (en) | Motion detection circuit and method | |
| KR100926440B1 (ko) | 영상부호화를 위한 블록 매칭 움직임 추정 장치 | |
| CN113434715B (zh) | 用于针对图像进行搜索的方法以及图像处理电路 | |
| CN114727115B (zh) | 一种视频编码的整数运动估计方法、系统及存储介质 | |
| CN113723274B (zh) | 改进基于非极大抑制的目标物体检测方法 | |
| KR102089433B1 (ko) | 영상 부호화 장치의 다방향 계층적 움직임 추정방법 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20071012 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20090616 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090623 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090824 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100608 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100809 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20110405 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110705 |
|
| A911 | Transfer of reconsideration by examiner before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20110713 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20111018 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20111031 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20141111 Year of fee payment: 3 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |