JPH07222160A - 動きベクトル検出装置 - Google Patents

Abstract

(57)【要約】 【目的】 検出精度を低下させることなく、演算量がよ
り減少され、回路規模の削減がより図れる動きベクトル
検出装置を提供する。 【構成】 基準ブロック及び検索ブロックを小ブロック
化してマッチング処理を行う場合に、基準ブロック及び
候補ブロックの水平方向の画素数をＭ、ライン数をＮと
したとき、小ブロックの大きさを、（Ｍ／４）×（Ｎ／
４）以下にする。基準ブロック及び検索ブロックの水平
及び垂直射影を使ってマッチング処理を行う場合に、基
準ブロック及び候補ブロックの水平射影をＮ／Ａ個加算
して１つの要素とし、基準ブロック及び候補ブロックの
垂直射影をＭ／Ｂ個加算して１つの要素とし、Ｍ、Ｎ
は、Ｍ≧８、Ｎ≧８で、Ａを、（４≦Ａ≦Ｎ）、Ｂを
（４≦Ｂ≦Ｍ）の範囲とする。１／２画素以下の動きベ
クトルを検出する場合に、簡易型のぎで１画素精度の動
きベクトルを検出してから、完全型のもので１／２画素
以下の精度の動きベクトルを検出する。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】この発明は、特に、画像の予測符
号化装置に用いて好適な動きベクトル検出装置に関す
る。

【０００２】

【従来の技術】ＭＰＥＧ(Moving Picture Coding Exper
ts Group) 方式のように、他のフレームとの相関を利用
して画像を符号化する予測符号化方式が知られている。
図１６は、このような予測符号化装置の一例である。

【０００３】図１６において、入力端子１０１に画像デ
ータが供給される。この画像データは動きベクトル検出
回路１０２に供給されると共に、減算回路１０３に供給
される。動きベクトル検出回路１０２で、連続するフレ
ーム間の動きベトクルが求められる。この動きベクトル
が動き補償回路１０４に供給される。

【０００４】一方、参照フレームの画像データは、フレ
ームメモリ１０５に蓄えられる。フレームメモリ１０５
の出力は、動き補償回路１０４に供給される。動き補償
回路１０４で、フレームメモリ１０５からの画像データ
が、動きベクトル検出回路１０２で求められた動きベク
トルに基づいて、動き補償される。この動き補償された
画像データは、減算回路１０３に供給されると共に、加
算回路１０６に供給される。

【０００５】減算回路１０３には、入力端子１０１から
現フレームの画像テータが供給されると共に、動き補償
回路１０４で動き補償された参照フレームの画像データ
が供給される。減算回路１０３で、現フレームの画像デ
ータと、動き補償された参照フレームの画像データとが
減算され、連続するフレーム間の差分データが求められ
る。この差分データが、ＤＣＴ回路１０７に供給され
る。ＤＣＴ回路１０７でこの差分データがＤＣＴ変換さ
れる。ＤＣＴ回路１０７の出力が量子化器１０８に供給
される。量子化器１０８で、ＤＣＴ回路１０７の出力が
量子化される。この量子化器１０８の出力が出力端子１
０９から出力される。

【０００６】また、このＤＣＴ変換され、量子化された
差分データは、逆量子化器１１０及び逆ＤＣＴ回路１１
１に供給され、元の差分データに戻され、加算器１０６
に供給される。加算器１０６には、動き補償回路１０４
から参照フレームの画像データが供給される。加算器１
０６で、この参照フレームの画像データに、参照フレー
ムと現フレームとの差分データが加算され、現フレーム
の画像データが求められる。求められた現フレームの画
像データは、次の参照フレームとして、フレームメモリ
１０５に蓄えらる。

【０００７】このように、フレーム間予測符号化処理で
は、動きベクトルに基づいて動き補償された参照フレー
ムと、現フレームとの差分データが符号化される。この
ようなフレーム間予測符号化処理において用いられる動
きベクトル検出方法として、ブロックマッチング法が知
られている。

【０００８】図１７は、このようなブロックマッチング
法を説明するためのものである。図１７において、１２
１は基準フレームを示し、１２２は検索フレームを示し
ている。基準フレーム１２１には基準ブロック１２３が
設定され、検索フレーム１２２に検索ブロック１２４が
設定される。検索フレーム１２２の検索ブロック１２４
は、所定の探査範囲内を移動される。そして、基準フレ
ーム１２１の基準ブロック１２３と、検索フレーム１２
２の検索ブロック１２４とがどの程度合致しているかが
判断される。基準ブロックに最も合致している検索ブロ
ック１２４がマッチングブロックとされる。このマッチ
ングブロックから動きベクトルが求められる。

【０００９】このようなブロックマッチング法で動きベ
クトルを検出する場合に、基準フレームの基準ブロック
と、検索フレームの検索ブロックとの相関を判断するの
に、従来では、基準ブロックの全画素と検索ブロックの
全画素との差分を求め、この差分の絶対値和（又は２乗
和）を求めるようにしている。このような構成を、以
下、完全型と称する。ところが、完全型の構成では、ブ
ロックの全画素を比較するため、演算量が非常に多くな
り、回路規模が増大する。

【００１０】そこで、基準ブロック及び検索ブロックを
更に複数の小ブロックに分割し、各小ブロックの特徴値
を抽出し、基準ブロックの特徴値と、検索ブロックの特
徴値との差分を求め、この差分の絶対値和（又は２乗
和）から、基準フレームの基準ブロックと検索フレーム
の検索ブロックとの相関を判断するようにしたものが提
案されている。また、本願出願人は、基準ブロックの水
平及び垂直射影を求めると共に、検索ブロックの水平及
び垂直射影を求め、基準ブロックの水平及び垂直射影
と、検索ブロックの水平及び垂直射影との差分の絶対値
和（又は２乗和）から、基準フレームの基準ブロックと
検索フレームの検索ブロックとの相関を判断するように
したものを提案している。このような構成を、以下、簡
易型と称する。

【００１１】このような簡易型の構成とすることで、基
準ブロックの全画素と検索ブロックの全画素との差分の
絶対値和を求める完全型の構成と比較して、大幅に演算
量の削減を図ることができる。しかしながら、簡易型の
ものは、完全型のものと比較して、検出性能は良くな
い。特に、簡易型のものでは、特徴値や射影の要素数を
減らす程回路規模は縮小できるが、それだけ性能は劣化
すると考えらる。

【００１２】このように、動きベクトル検出装置には、
基準ブロックの全画素と検索ブロックの全画素を比較し
てマッチングを行う完全型のものと、特徴抽出や射影を
求めて比較する簡易型のものがある。完全型のものは、
検出精度は高いが、演算量が多く、回路規模が増大する
という問題点を有している。簡易型のものは、回路規模
は縮小できるが、検出性能が劣化するという問題を有し
ている。簡易型のものでは、小ブロックの射影の要素数
を減らす程回路規模は縮小できるが、それだけ検出性能
は劣化すると考えらる。性能が十分に確保でき、然も、
回路規模が十分に削減された動きベクトルを実現するた
めには、小ブロックの射影の要素数をどのくらいにした
ら良いかを、十分に検討する必要がある。

【００１３】ところで、このような動きベクトル検出装
置において、１／２画素精度の動きベクトルを検出が要
求される場合がある。１／２画素精度の動きベクトルの
検出は、通常、検索ブロックを１画素単位で移動させて
１画素精度の動きベクトル検出を行ってから、その点と
その点の周辺で１／２画素単位で検索ブロックを移動さ
せて、動きベクトルの検出を行っている。

【００１４】従来の１／２画素精度の動きベクトル検出
回路では、図１８に示すように、最初に完全型の１画素
精度の動きベクトル検出回路１５１で１画素精度の動き
ベクトルを求め、１画素精度の動きベクトルが求められ
たら、簡易型の１／２精度の動きベクトル検出回路１５
２により、１／２画素精度の動きベクトルを求めるよう
にしている。簡易型の１／２精度の動きベクトル検出回
路１５２は、例えば特開平４−３１４２９０号公報に示
されるように、１画素精度位置のマッチング誤差を用い
て１／２画素ずれた位置のマッチング誤差を予測し、動
きベクトル検出を行うようにしたものである。

【００１５】ここで、従来、１画素精度の動きベクトル
検出回路１５１として完全型のものを用いているのは、
以下の理由による。つまり、１画素精度の動きベクトル
検出回路１５１として簡易型のものを用いると、求めら
れた動きベクトルが真の動きベクトルと異なってしまう
ことがあり得る。次の１／２画素精度の動きベクトル検
出回路１５２は、１画素精度の動きベクトル検出回路１
５１で求められた動きベクトルの周囲で１／２画素精度
の動きベクトルを検出するので、最初の１画素精度の動
きベクトル検出回路１５１で求められた動きベクトルが
誤っていると、動きベクトルの検出結果が誤る可能性が
ある。これに対して、１画素精度の動きベクトル検出回
路１５１として完全型のものを用いれば、最初の１画素
精度の動きベクトル検出回路１５１で求められた動きベ
クトルが誤ることはない。１画素精度の動きベクトル検
出回路１５１の検出結果が誤らなければ、簡易型の１／
２精度の動きベクトル検出回路１５２での動きベクトル
検出が誤っていても、動きベクトル検出結果の誤りは許
容範囲内となる。

【００１６】ところが、最終的な動きベクトルの精度
は、１／２精度の動きベクトル検出回路１５２で決まる
ので、１／２精度の動きベクトル検出回路１５２が簡易
型のものでは、最終的な動きベクトルの検出精度が上が
らない。勿論、１画素精度の動きベクトル検出回路１５
１と、１／２精度の動きベクトル検出回路１５２とを共
に完全型のものとすれば、動きベクトルの検出精度は良
いが、回路規模が増大する。

【００１７】

【発明が解決しようとする課題】従来の動きベクトル検
出回路では、検出精度が高いもの（完全型）では回路規
模が大きくなり、回路規模が小さいもの（簡易型）では
十分な検出精度を維持することが困難である。

【００１８】したがって、この発明の目的は、ブロック
マッチング法で動きベクトルを検出する際に、十分な検
出性能を維持でき、回路規模の削減が図れる動きベクト
ル検出回路を提供することにある。

【００１９】従来の１／２以下の精度の動きベクトル検
出回路では、完全型の１画素精度の動きベクトル検出回
路で動きベクトルを検出してから、簡易型の１／２画素
精度の動きベクトル検出回路で１／２画素精度の動きベ
クトルを検出しているので、最終的な動きベクトルの検
出精度が良くないと共に、回路規模が増大する。

【００２０】したがって、この発明の他の目的は、１／
２画素精度の動きベクトル検出の場合に、回路規模の削
減が図れると共に、検出精度が劣化しない動きベクトル
検出装置を提供することにある。

【００２１】

【課題を解決するための手段】この発明は、基準フレー
ムに基準ブロックを設定し、基準ブロックを複数の小ブ
ロックに分割し、基準ブロックの各小ブロックから特徴
値を抽出し、検索フレームに検索ブロックを設定、検索
ブロックを複数の小ブロックに分割し、検索ブロックの
各小ブロックから特徴値を抽出し、基準ブロックの各小
ブロックから抽出された特徴値と、検索ブロックの各小
ブロックから抽出された特徴値とを比較して、基準ブロ
ックと検索ブロックとの残差を求め、検索ブロックを所
定の探査範囲で動かし、残差が最小となる検索ブロック
から動きベクトルを検出するようにした動きベクトル検
出装置において、基準ブロック及び検索ブロックの水平
方向の画素数をＭ、垂直方向のライン数をＮとしたと
き、小ブロックの大きさを、（Ｍ／４）×（Ｎ／４）以
下にするようにした動きベクトル検出装置である。

【００２２】この発明は、基準フレームに基準ブロック
を設定し、基準ブロックの水平及び垂直射影を求め、検
索フレームに検索ブロックを設定し、検索ブロックの水
平及び垂直射影を求め、基準ブロックの水平及び垂直射
影と、検索ブロックの水平及び垂直射影とを比較して、
基準ブロックと検索ブロックとの残差を求め、検索ブロ
ックを所定の探査範囲で動かし、残差が最小となる検索
ブロックから動きベクトルを検出するようにした動きベ
クトル検出装置において、基準ブロック及び検索ブロッ
クの水平方向の画素数をＭ、垂直方向のライン数をＮと
したとき、基準ブロック及び検索ブロックの水平射影を
Ｎ／Ａ個加算して１つの要素とし、基準ブロック及び検
索ブロックの垂直射影をＭ／Ｂ個加算して１つの要素と
し、Ｍ、Ｎは、Ｍ≧８、Ｎ≧８で、Ａは、４≦Ａ≦Ｎ、
Ｂは、４≦Ｂ≦Ｍとするようにした動きベクトル検出装
置である。

【００２３】この発明は、１画素精度の動きベクトルを
検出する第１の動きベクトル検出回路と、１／２画素以
下の精度の動きベクトルを検出する第２の動きベクトル
検出回路とを備え、第１の動きベクトル検出回路は、基
準ブロックの各小ブロックから抽出された特徴値又は射
影と、検索ブロックの各小ブロックから抽出された特徴
値又は射影とを比較して基準ブロックと検索ブロックと
の残差を求めて動きベクトルを検出するものであり、第
２の動きベクトル検出回路は、検索ブロックの探索範囲
内の画素を補間して１／２画素以下ずれた位置での検索
ブロックを求め、各１／２以下画素ずれた検索ブロック
と基準ブロックとを全画素比較して残差を求めて動きベ
クトルを求めるものであり、第１の動きベクトル検出回
路で１画素精度の動きベクトルを検出した後に、第２の
動きベクトル検出回路で１／２画素精度で動きベクトル
の検出するようにした動きベクトル検出装置である。

【００２４】

【作用】基準ブロックを複数の小ブロックに分割し、各
小ブロックから特徴値を抽出し、検索ブロックを複数の
小ブロックに分割し、各小ブロックから特徴値を抽出
し、基準ブロックの小ブロックの特徴値と、検索ブロッ
クの小ブロックの特徴値とから残差を求めることで、演
算量が削減され、回路規模の縮小が図れる。この際、小
ブロックの大きさを、所定の条件に従って定めること
で、検出性能を維持できる。

【００２５】基準ブロックの水平及び／又は垂直射影を
複数個加算して１つの要素とし、検索ブロックの水平及
び／又は垂直射影を複数個加算して１つの要素とし、基
準ブロックの要素と、検索ブロックの要素を使って残差
を求めることで、残差を求める際の要素数が削減され、
この要素を所定の条件に従って定めることで、検出性能
を維持できる。

【００２６】簡易型の１画素精度の動きベクトル検出回
路で動きベクトルを検出してから、完全型の１／２画素
の動きベクトル検出回路で１／２精度の動きベクトルを
検出しているので、最終的な動きベクトルの検出精度が
良くなると共に、回路規模の削減が図れる。

【００２７】

【実施例】以下、この発明の一実施例について図面を参
照して説明する。図１は、基準ブロック及び検索ブロッ
クを更に複数の小ブロックに分割し、各小ブロックの特
徴値を抽出し、基準ブロックの特徴値と、検索ブロック
の特徴値との差分を求め、この差分の絶対値和（又は２
乗和）から、基準フレームの基準ブロックと検索フレー
ムの検索ブロックとの相関を判断するようにした動きベ
クトル検出装置の一例である。

【００２８】図１において、１は基準フレームの基準ブ
ロックの画素データが供給される入力端子である。２は
検索フレームの検索ブロックの画素データが供給される
入力端子である。基準フレームには、例えば（Ｍ×Ｎ）
画素からなる基準ブロックが設定される。この基準ブロ
ックの画素データが入力端子１に供給される。入力端子
１からの画素データが小ブロック化回路３に供給され
る。小ブロック化回路３で、基準ブロックが複数の小ブ
ロックに分割され、各小ブロック内の画素が加算され、
各小ブロックから１つの特徴値が求められる。この特徴
値がマッチング回路５に供給される。

【００２９】基準フレームと連続する検索フレームに
は、例えば（Ｍ×Ｎ）画素からなる検索ブロックが設定
される。この検索ブロックは、所定の探査範囲を動かさ
れる。この検索ブロックの画素データが入力端子２に供
給される。入力端子２からの画素データが小ブロック化
回路４に供給される。小ブロック化回路４で、検索ブロ
ックが複数の小ブロックに分割され、各小ブロック内の
画素が加算され、各小ブロックから１つの特徴値が求め
られる。この特徴値がマッチング回路５に供給される。

【００３０】マッチング回路５は、基準ブロックの各小
ブロックの特徴値と、検索ブロックの各小ブロックの特
徴値との差分の絶対値和を求めるものである。マッチン
グ回路５の出力が最小値検出回路６に供給される。

【００３１】検索ブロックは、所定の探査範囲内を移動
される。そして、マッチング回路５から、基準ブロック
の各小ブロックの特徴値と検索ブロックの各小ブロック
の特徴値との差分の絶対値和から、検索ブロックと基準
ブロックとの相関を示す残差が得られる。最小値検出回
路６で、この残差の最小値が検出される。この残差が最
小となるときの検索ブロックから、動きベクトルが求め
られる。求められた動きベクトルが出力端子７から出力
される。

【００３２】このように、基準ブロック及び検索ブロッ
クを更に複数の小ブロックに分割し、各小ブロックの特
徴値を抽出し、基準ブロックの特徴値と、検索ブロック
の特徴値との差分を求め、この差分の絶対値和から、基
準フレームの基準ブロックと検索フレームの検索ブロッ
クとの相関を判断すると、基準ブロックの全画素と検索
ブロックの全画素との間の差分の絶対値和から相関を求
める場合に比べて、演算量が削減される。

【００３３】例えば、元のブロックが（１６×１６）画
素の場合には、全画素比較を行うと、２５６回の比較演
算が必要になる。これを、図２Ａに示すように、（４×
４）画素からなる小ブロックに分割すると、図２Ｂに示
すように、新たな要素数は（４×４）となり、１６回の
比較演算を行えば良くなる。更に、図３Ａに示すよう
に、（８×８）画素からなる小ブロックに分割すると、
図３Ｂに示すように、新たな要素数は（２×２）とな
り、４回の比較演算を行えば良くなり、演算量は更に少
なくなる。このように、小ブロックの大きさを大きくす
ればそれだけ演算量は少なくなり、回路規模は小さくな
るが、それだけ検出精度が低下すると考えられる。

【００３４】そこで、本願発明者は、小ブロック化して
マッチングを行ったことに伴う演算量の削減と、動きベ
クトルの検出精度の劣化の関係について調べた。図４及
び図５は、その結果を示すものである。

【００３５】図４は、フレーム処理の動きベクトル検出
を行う、ＭＰＥＧ２のアルゴリズムによりＮＴＳＣ方式
の動画（７２０×４８０、信号フォーマット４：２：
２）を６Ｍｂｐｓのレートでコーディングしたときの、
上述のようにして演算量を削減したことと、それに伴う
演算量の削減及び動きベクトルの検出精度の低下の関係
を示すものである。図５は、フィールド処理の場合であ
る。図４及び図５において、横軸は、フルサーチで全画
素比較で動きベクトルを検出した場合を１００％とした
ときの演算量の比率を示し、縦軸は、フルサーチで全画
素比較で動きベクトルを検出した場合に対するＳ／Ｎ比
の劣化を示す。Ａ１〜Ａ８、Ａ１１〜Ａ１８はその結果
を示し、Ａ１〜Ａ８、Ａ１１〜Ａ１８に付されている
（ａ×ｂ）は、小ブロックの大きさを示している。

【００３６】図４及び図５に示す結果から、Ａ６及びＡ
１６で示す（４×４）の小ブロックまでは、Ｓ／Ｎ比の
劣化は大きくならない。したがって、小ブロックの大き
さを（４×４）までに収めれば、実用的である。

【００３７】図６は、基準ブロックの水平及び垂直射影
と、検索ブロックの水平及び垂直射影を求め、基準ブロ
ックの水平及び垂直射影と、検索ブロックの水平及び垂
直射影との差分の絶対値和（又は２乗和）から、基準フ
レームの基準ブロックと検索フレームの検索ブロックと
の相関を判断するようにした動きベクトル検出装置の一
例である。

【００３８】図６において、２１は基準フレームの基準
ブロックの画素データが供給される入力端子である。２
２は検索フレームの検索ブロックの画素データが供給さ
れる入力端子である。

【００３９】基準フレームには、（Ｍ×Ｎ）画素からな
る基準ブロックが設定される。この基準ブロックの画素
データが入力端子２１に供給される。入力端子２１から
の画素データが基準ブロック水平射影演算回路２３に供
給されると共に、基準ブロック垂直射影演算回路２４に
供給される。

【００４０】基準ブロック水平射影演算回路２３で、図
７に示すように、水平方向に並ぶ基準ブロックの画素デ
ータが加算される。これにより、基準ブロックの水平射
影ＲＨ（ｒｈ１，ｒｈ２，ｒｈ３，ｒｈ４，…）が求め
られる。基準ブロック垂直射影演算回路２４で、垂直方
向に並ぶ基準ブロックの画素データが加算される。これ
により、基準ブロックの垂直射影ＲＶ（ｒｖ１，ｒｖ
２，ｒｖ３，ｒｖ４，…）が求められる。

【００４１】基準フレームと連続する検索フレームに
は、例えば（Ｍ×Ｎ）画素からなる検索ブロックが設定
される。この検索ブロックは、所定の探査範囲を動かさ
れる。この検索ブロックの画素データが入力端子２２に
供給される。入力端子２２からの画素データが検索ブロ
ック水平射影演算回路２７に供給されると共に、検索ブ
ロック垂直射影演算回路２８に供給される。検索ブロッ
ク水平射影演算回路２７で、基準ブロックの場合と同様
に、水平方向に並ぶ検索ブロックの画素データが加算さ
れ、検索ブロックの水平射影が求められる。また、検索
ブロック垂直射影演算回路２８で、基準ブロックの場合
と同様に、垂直方向に並ぶ検索ブロックの画素データが
加算され、検索ブロックの垂直射影が求められる。

【００４２】基準ブロック水平射影演算回路２３の出力
が要素数削減回路２５に供給される。基準ブロック垂直
射影演算回路２４の出力が要素数削減回路２６に供給さ
れる。要素数削減回路２５は、隣接する複数の水平射影
を加算するとにより、１つの要素を抽出して、基準ブロ
ックの水平射影の要素数を削減するものである。例え
ば、図７において、水平射影ｒｈ１とｒｈ２、ｒｈ３と
ｒｈ４、…がそれぞれ加算され、水平射影ｅｒｈ１、ｅ
ｒｈ２、…が形成される。これにより、水平射影の要素
数は１／２となる。

【００４３】要素数削減回路２６は、隣接する複数の垂
直射影を加算するとにより、１つの要素を抽出して、基
準ブロックの垂直射影の要素数を削減するものである。
図７において、例えば、垂直射影ｒｖ１とｖｈ２、ｒｖ
３とｒｖ４、…がそれぞれ加算され、垂直射影ｅｒｖ
１、ｅｒｖ２ａ、…が形成される。これにより、垂直射
影の要素数は１／２となる。

【００４４】要素数削減回路２５の出力がマッチング回
路３１に供給される。要素数削減回路２６の出力がマッ
チング回路３２に供給される。

【００４５】検索ブロック水平射影演算回路２７の出力
が要素数削減回路２９に供給される。検索ブロック垂直
射影演算回路２８の出力が要素数削減回路３０に供給さ
れる。要素数削減回路２９は、基準ブロックの場合と同
様に、複数の水平射影を加算するとにより、１つの要素
を抽出して、検索ブロックの水平射影の要素数を削減す
るものである。要素数削減回路３０は、基準ブロックの
場合と同様に、複数の垂直射影を加算するとにより、１
つの要素を抽出して、基準ブロックの垂直射影の要素数
を削減するものである。

【００４６】要素数削減回路２９の出力マッチング回路
３１に供給される。要素数削減回路３０の出力マッチン
グ回路３２に供給される。

【００４７】マッチング回路３１は、基準ブロックの水
平射影と、検索ブロックの水平射影との差分の絶対値和
を求めるものである。マッチング回路３２は、基準ブロ
ックの垂直射影と、検索ブロックの垂直射影との差分の
絶対値和を求めるものである。マッチング回路３１の出
力が加算回路３３に供給される。マッチング回路３２の
出力が加算回路３３に供給される。加算回路３３で、基
準ブロックの水平射影と検索ブロックの水平射影との差
分の絶対値和と、基準ブロックの垂直射影と検索ブロッ
クの垂直射影との差分の絶対値和とが加算される。この
加算回路３３の出力から基準ブロックと検索ブロックと
の相関を示す残差が得られる。この加算回路３３の出力
が最小値検出回路３４に供給される。

【００４８】検索ブロックは、所定の探査範囲内を移動
される。そして、加算回路３３の出力から、検索ブロッ
クと基準ブロックとの相関を示す残差が得られる。最小
値検出回路３４で、加算回路３３の出力される残差の最
小値が検出される。加算回路３３から出力される残差が
最小となるときの検索ブロックから、動きベクトルが求
められる。求められた動きベクトルが出力端子３５から
出力される。

【００４９】このように、基準ブロックの水平及び垂直
射影を求め、検索ブロックの水平及び垂直射影を求め、
基準ブロックの水平及び垂直射影と、検索ブロックの水
平及び垂直射影との差分の絶対値和から、基準ブロック
と検索ブロックとの間の残差を求めることで、基準ブロ
ックの全画素と検索ブロックの全画素との間の差分の絶
対値和を求める場合に比べて、演算量が削減される。更
に、要素数削減回路２５、２６、２９、３０により基準
ブロック及び検索ブロックの水平及び垂直射影の要素数
が削減される。これにより、演算量が更に減らせる。

【００５０】なお、説明を簡単とするため、上述の例で
は、基準ブロック及び検索ブロックの水平及び垂直射影
を求めてから隣接する射影を加算して要素数を削減して
いるが、この演算は、隣接する複数の行及び列の全画素
を加算して水平及び垂直射影を求める演算と同じであ
る。すなわち、図８Ａに示すように、例えば２行、Ｌ１
及びＬ２、Ｌ３及びＬ４、…に渡る画素を加算すること
で、要素数が１／２とされた水平射影ｅｈ１、ｅｈ２、
…が求まり、図８Ｂに示すように、例えば２列、Ｍ１及
びＭ２、Ｍ３及びＭ４、…に渡る画素を加算すること
で、要素数が１／２とされた垂直射影ｅｖ１、ｅｖ２、
…が求まる。

【００５１】隣接する複数の射影を加算して要素数を減
らせば、それだけ演算量は少なくなり、回路規模は小さ
くなる。ところが、要素数を減らせば、それだけ検出精
度が低下すると考えられる。そこで、本願発明者は、要
素数を減らしたときの、それに伴う演算量の削減と、動
きベクトルの検出精度の劣化の関係について調べた。図
９及び図１０は、その結果を示すものである。

【００５２】図９は、フレーム処理の動きベクトル検出
を行う、ＭＰＥＧ２のアルゴリズムによりＮＴＳＣ方式
の動画（７２０×４８０、信号フォーマット４：２：
２）を６Ｍｂｐｓのレートでコーディングしたときの、
上述のようにして要素数を削減したことと、それに伴う
演算量の削減及び動きベクトルの検出精度の低下の関係
を示すものである。図１０は、フィールド処理の場合で
ある。図９及び図１０において、横軸は、フルサーチで
全画素比較で動きベクトルを検出した場合を１００％と
してときの演算量の比率を示し、縦軸は、フルサーチで
全画素比較で動きベクトルを検出した場合に対するＳ／
Ｎ比の劣化を示す。Ｂ１〜Ｂ８、Ｂ１１〜Ｂ１８は結果
を示し、Ｂ１〜Ｂ８、Ｂ１１〜Ｂ１８に付されている
（ａｐ−ｂＰ）は、水平及び垂直射影をいくつ加算した
かを示している。

【００５３】すなわち、Ｂ１、Ｂ１１は、図１１Ａ及び
図１１Ｂに示すように、水平方向の１行毎に水平射影を
求め、垂直方向の１列毎に垂直方向の射影を求めた場合
の結果である。つまり、要素数を減らさずに、水平及び
垂直射影を求めた場合の結果である。ブロックの画素数
が（１６×１６）なら、この場合の要素数は（１６＋１
６＝３２）となる。このようにして求められたものが、
（Ｐ−Ｐ）として示されている。

【００５４】Ｂ２、Ｂ１２は、図１２Ａ及び図１２Ｂに
示すように、水平方向の１行毎に水平射影を求め、垂直
方向の２列分で垂直射影を求めた場合の結果である。つ
まり、垂直射影の要素数を１／２として、水平及び垂直
射影を求めた場合の結果である。ブロックの画素数が
（１６×１６）なら、この場合の要素数は（１６＋８＝
２４）となる。このようにして求められたものが、（Ｐ
−２Ｐ）として示されている。

【００５５】Ｂ３、Ｂ１３は、図１３Ａ及び図１３Ｂに
示すように、水平方向の２行分で水平方向の射影を求
め、垂直方向の１行毎に垂直射影を求めた場合の結果で
ある。つまり、水平射影の要素数を１／２として、水平
及び垂直射影を求めた場合の結果である。ブロックの画
素数が（１６×１６）なら、この場合の要素数は（８＋
１６＝２４）となる。このようにして求められたもの
が、（２Ｐ−Ｐ）として示されている。

【００５６】以下、同様に、Ｂ４、Ｂ１４は（２Ｐ−２
Ｐ）、Ｂ５、Ｂ１５は（２Ｐ−４Ｐ）、Ｂ６、Ｂ１６は
（４Ｐ−２Ｐ）、Ｂ７、Ｂ１７は（４Ｐ−４Ｐ）、Ｂ
８、Ｂ１８は（８Ｐ−８Ｐ）としたときの結果である。
ブロックの画素数が（１６×１６）なら、（２Ｐ−２
Ｐ）の場合の要素数は（８＋８＝１６）となり、（４Ｐ
−２Ｐ）の場合の要素数は（８＋４＝１２）となり、
（２Ｐ−４Ｐ）の場合の要素数は（４＋８＝１２）とな
り、（４Ｐ−４Ｐ）の場合の要素数は（４＋４＝８）と
なり、（８Ｐ−８Ｐ）の場合の要素数は（２＋２＝４）
となる。

【００５７】図９及び図１０に示す結果から、Ｓ／Ｎ比
の劣化は、Ｂ７、Ｂ１７で示す（４Ｐ−４Ｐ）までは、
性能の劣化ば殆どない。

【００５８】また、Ｂ２で示す（Ｐ−２Ｐ）の場合に
は、Ｂ１で示す（Ｐ−Ｐ）の場合とＳ／Ｎ比の劣化は殆
ど同じで、要素数を３６から２４に減らせる。このこと
から、演算量と精度とを総合的にみた場合、Ｐ−２Ｐと
することが効果的である。

【００５９】上述のように、基準ブロック及び検索ブロ
ックを複数の小ブロックに分割する簡易型のものでは、
例えばブロックの大きさが（１６×１６）の場合には、
小ブロックの大きさを（４×４）以下にすることで、十
分な性能を保てる。また、基準ブロックの水平及び垂直
射影と、検索ブロックの水平及び垂直射影とを求める簡
易型のものでは、（４Ｐ−４Ｐ）の場合まで、十分性能
を保てる。このことから、以下のような条件が導ける。

【００６０】基準ブロック及び検索ブロックを複数の小
ブロックに分割する簡易型の場合には、元のブロックの
水平方向の画素数をＭ、垂直方向のライン数をＮとした
とき、小ブロックの大きさを、 （Ｍ／４）×（Ｎ／４） 以下にする。

【００６１】基準ブロックの水平及び垂直射影と、検索
ブロックの水平及び垂直射影とを求める簡易型のもので
は、元のブロックの水平方向の画素数をＭ、垂直方向の
ライン数をＮとしたとき、水平射影をＮ／Ａ個加算して
１つの要素とし、垂直射影をＭ／Ｂ個加算して１つの要
素とし、Ｍ、Ｎを、Ｍ≧８、Ｎ≧８とし、 Ａを、 ４≦Ａ≦Ｎ Ｂを、 ４≦Ｂ≦Ｍ とする。

【００６２】このように、簡易型の構成でも、上述の条
件に従うよにすれば、十分な性能で動きベクトルを検出
できる。このことから、１／２精度を動きベクトルの検
出を行う場合に、最初に、簡易型の１画素精度の動きベ
クトル検出回路により１画素精度の動きベクトルを求
め、１画素精度の動きベクトルが求められたら、完全型
の１／２精度の動きベクトル検出回路により、１／２画
素精度の動きベクトルを求めるような構成がとりえる。
簡易型の１画素精度の動きベクトル検出回路としては、
上述の条件を満たしたものが用いられる。

【００６３】上述の条件を満たした簡易型の１画素精度
の動きベクトル検出回路では、十分な精度で動きベクト
ルを検出できることが確認されている。このため、１画
素精度の動きベクトル検出回路で求められた動きベクト
ルが真の動きベクトルと大きく異なることは殆どない。
完全型の１／２精度の動きベクトル検出回路では、１／
２精度の動きベクトルが正確に求まる。最終的な動きベ
クトルの精度は、１／２精度の動きベクトル検出回路で
決まるので、１／２精度の動きベクトル検出回路を完全
型のものとすることで、最終的な動きベクトルの検出精
度は良くなる。

【００６４】図１４は、このように、１画素精度の動き
ベクトル検出回路を簡易型とし、１／２画素精度の動き
ベクトル検出回路を完全型とした動きベクトル検出回路
の一例である。なお、この例では、１画素精度の動きベ
クトル検出回路として、基準ブロック及び検索ブロック
を複数の小ブロックに分割するような簡易型のものが用
いられている。

【００６５】図１４において、基準ブロックの画素デー
タが入力端子５１に供給される。入力端子５１からの画
素データが小ブロック化回路５３に供給されると共に、
基準ブロックメモリ５８に供給される。小ブロック化回
路５３で、基準ブロックが複数の小ブロックに分割さ
れ、各小ブロック内の画素が加算され、各小ブロックか
ら特徴値が求められる。この特徴値がマッチング回路５
５に供給される。

【００６６】検索ブロックの画素データが入力端子５２
に供給される。入力端子５２からの画素データが小ブロ
ック化回路５４に供給されると共に、探査範囲メモリメ
モリ５９に供給される。小ブロック化回路５４で、検索
ブロックが複数の小ブロックに分割され、各小ブロック
内の画素が加算され、各小ブロックから特徴値が求めら
れる。この特徴値がマッチング回路５５に供給される。

【００６７】なお、小ブロック化回路５３及び小ブロッ
ク化回路５４で設定される小ブロックの大きさは、上述
の条件を満たしている。

【００６８】マッチング回路５５は、基準ブロックの各
小ブロックの特徴値と、検索ブロックの各小ブロックの
特徴値との差分の絶対値和を求めるものである。マッチ
ング回路５５の出力が最小値検出回路５６に供給され
る。

【００６９】検索ブロックは、所定の探査範囲内を移動
される。そして、マッチング回路５５から、基準ブロッ
クの各小ブロックの特徴値と検索ブロックの各小ブロッ
クの特徴値との差分の絶対値和から、検索ブロックと基
準ブロックとの相関を示す残差が得られる。最小値検出
回路５６で、この残差の最小値が検出される。この残差
が最小となるときの検索ブロックから、動きベクトルが
求められる。このようにして、１画素精度の動きベクト
ルが求められる。この１画素精度の動きベクトルは、動
きベクトル発生回路５７に供給されると共に、メモリコ
ントローラ６１に供給される。

【００７０】基準ブロックメモリ５８には、基準ブロッ
クの画素データが貯えられており、また、検索範囲メモ
リ５９には、検索フレームの検索範囲の画素データが貯
えられている。最小値検出回路５６で動きベクトルが求
められると、これに応じて、コントローラ１１から基準
ブロックメモリ５８及び検索範囲メモリ５９にメモリ制
御信号が供給される。メモリ５８からは、基準ブロック
の画素データが読み出され、これがマッチング回路６２
に供給される。また、検索範囲メモリ５９からは、１画
素精度の動きベクトルの近傍の画素データが読み出さ
れ、これが補間回路６３に供給される。

【００７１】補間回路６３は、図１５に示すように、１
／２画素精度の画素データを補間により形成するもので
ある。図１５において、ハッチングで示す画素は実際の
画素であり、白抜きの画素は補間画素である。補間回路
６３の出力がマッチング回路６２に供給される。

【００７２】補間回路６３により１／２画素精度の画素
データを形成することで、検索ブロックが１画素精度の
動きベクトルの近傍を１／２画素毎に移動される。そし
て、マッチング回路６２から、基準ブロックの各小ブロ
ックの特徴値と検索ブロックの各小ブロックの特徴値と
の差分の絶対値和から、検索ブロックと基準ブロックと
の相関を示す残差が得られる。最小値検出回路６４で、
この残差の最小値が検出される。この残差が最小となる
ときの検索ブロックから、１／２精度の動きベクトル
（ｘ、ｙ方向の値は−１／２〜１／２の範囲）が求めら
れる。この動きベクトルは、動きベクトル発生回路５７
に供給される。動きベクトル発生回路５７で、１画素精
度の動きベクトルと、１／２画素精度の動きベクトルと
が加算される。求められた動きベクトルは、出力端子６
５から出力される。

【００７３】このように、１画素精度の動きベクトルを
簡易型のもので検出し、１／２画素精度の動きベクトル
を完全型のもので検出すると、最終的な動きベクトルの
精度は１／２画素精度の動きベクトル検出回路で決まる
ので、検出精度の向上が図れる。また、このような構成
とすることで、１画素精度の動きベクトルを完全型のも
ので検出し、１／２画素精度の動きベクトルを簡易型も
ので検出する従来の構成に比較して、回路規模の削減が
図れる。

【００７４】つまり、完全型の１画素精度の動きベクト
ル検出回路の場合、ブロックの大きさが（１６×１６）
でフルサーチで全画素比較で動きベクトルを求めると、
１点の検索に、２５６回の減算、絶対値化と２５５回の
加算が必要になる。この演算量が各検索点に対して必要
である。例えば、全検索点は１０２４点とする。この場
合の全計算量は、以下のようになる。 〔２５６×（減算、絶対値化）＋２５５×（加算）〕×
１０２４＋１０２３×（比較）…（１）

【００７５】簡易型の１画素精度の動きベクトル検出回
路の場合、ブロックの大きさが（１６×１６）で、基準
ブロック及び検索ブロックの小ブロックの大きさを（２
×２）とし、この２×２の小ブロックから特徴抽出を行
い、動きベクトルを求めると、新たな要素数は６４個と
なり、元の要素数は２５６個であることから、マッチン
グ１回当たりの計算量は、６４／２５６（＝１／４）に
削減され、回路規模も約１／４に削減される。

【００７６】１／２画素精度の動きベクトルの検出回路
は、８点の補間で求めた検索ブロックが基準ブロックと
マッチングされる。この場合、１点の検索に必要な計算
は、上記の場合も同様であり、これを８点について行
い、マッチング誤差をその８点のものと既に求まってい
る中心の１画素精度の位置の誤差との比較を行う。した
がって、この場合の演算量は、以下のようになる。この
値は、検索範囲によらずに一定である。 補間＋〔２５６×（減算、絶対値化＋２５５×（加
算）〕×８＋８×（比較）…（２）

【００７７】簡易型の１／２画素精度の動きベクトル検
出回路の場合も、完全型に比べて、回路規模が約１／４
に削減される。

【００７８】（１）式と（２）式とを比較すると、完全
型の１画素精度の動きベクトル検出部分の方が、完全型
の１／２画素精度の動きベクトル検出部分より演算量が
圧倒的に大きい。例えば、完全型の１画素精度の動きベ
クトル検出回路を実現するために、約９６万ゲート必要
であるのに対して、完全型の１／２画素精度の動きベク
トル検出回路は、約８万ゲートで実現できる。

【００７９】したがって、従来のように、完全型の１画
素精度の動きベクトル検出回路と、簡易型の１／２画素
精度の動きベクトル検出回路を用いると、回路規模は、
例えば、 ９６万ゲート＋（８／４）万ゲート＝９８万ゲート となる。これに対して、簡易型の１画素精度の動きベク
トル検出回路と、完全型の１／２画素精度の動きベクト
ル検出回路を用いると、回路規模は、例えば、 （９６／４）万ゲート＋８万ゲート＝３２万ゲート となり、回路規模が大幅に削減できる。

【００８０】

【発明の効果】この発明によれば、基準ブロックを複数
の小ブロックに分割し、各小ブロックから特徴値を抽出
し、検索ブロックを複数の小ブロックに分割し、各小ブ
ロックから特徴値を抽出し、基準ブロックの小ブロック
の特徴値と、検索ブロックの小ブロックの特徴値とから
残差を求めることで、演算量が削減され、回路規模の縮
小が図れる。この際、小ブロックの大きさを、所定の条
件に従って定めることで、検出性能を維持できる。

【００８１】また、この発明によれば、基準ブロックの
水平及び／又は垂直射影を複数個加算して１つの要素と
し、検索ブロックの水平及び／又は垂直射影を複数個加
算して１つの要素とし、基準ブロックの要素と、検索ブ
ロックの要素を使って残差を求めることで、残差を求め
る際の要素数が削減され、この要素を所定の条件に従っ
て定めることで、検出性能を維持できる。

【００８２】更に、この発明によれば、簡易型の１画素
精度の動きベクトル検出回路で動きベクトルを検出して
から、完全型の１／２画素の動きベクトル検出回路で１
／２精度の動きベクトルを検出しているので、最終的な
動きベクトルの検出精度が良くなると共に、回路規模の
削減が図れる。

【図面の簡単な説明】

【図１】この発明の一実施例のブロック図である。

【図２】この発明の一実施例の説明に用いる略線図であ
る。

【図３】この発明の一実施例の説明に用いる略線図であ
る。

【図４】この発明の一実施例の説明に用いるグラフであ
る。

【図５】この発明の一実施例の説明に用いるグラフであ
る。

【図６】この発明の他の実施例のブロック図である。

【図７】この発明の他の一実施例の説明に用いる略線図
である。

【図８】この発明の他の実施例の説明に用いる略線図で
ある。

【図９】この発明の一実施例の説明に用いるグラフであ
る。

【図１０】この発明の一実施例の説明に用いるグラフで
ある。

【図１１】この発明の一実施例の説明に用いる略線図で
ある。

【図１２】この発明の一実施例の説明に用いる略線図で
ある。

【図１３】この発明の一実施例の説明に用いる略線図で
ある。

【図１４】この発明の更に他の実施例のブロック図であ
る。

【図１５】この発明の更に他の実施例の説明に用いる略
線図である。

【図１６】従来の予測符号化装置の一例のブロック図で
ある。

【図１７】従来の動きベクトル検出装置の説明に用いる
略線図である。

【図１８】従来の動きベクトル検出装置の一例のブロッ
ク図である。

【符号の説明】

１ 基準ブロックの入力端子 ２ 検索ブロックの入力端子 ３、４ 小ブロック化回路 ５ マッチング回路 ２１ 基準ブロックの入力端子 ２２ 検索ブロックの入力端子 ２３ 基準ブロック水平射影演算回路 ２４ 基準ブロック垂直射影演算回路 ２７ 検索ブロック水平射影演算回路 ２８ 検索ブロック垂直射影演算回路 ２５、２６ 要素数削減回路

Claims (3)

【特許請求の範囲】
1. 【請求項１】 基準フレームに基準ブロックを設定し、
   上記基準ブロックを複数の小ブロックに分割し、上記基
   準ブロックの各小ブロックから特徴値を抽出し、 検索フレームに検索ブロックを設定、上記検索ブロック
   を複数の小ブロックに分割し、上記検索ブロックの各小
   ブロックから特徴値を抽出し、 上記基準ブロックの各小ブロックから抽出された特徴値
   と、上記検索ブロックの各小ブロックから抽出された特
   徴値とを比較して、上記基準ブロックと上記検索ブロッ
   クとの残差を求め、 上記検索ブロックを所定の探査範囲で動かし、上記残差
   が最小となる検索ブロックから動きベクトルを検出する
   ようにした動きベクトル検出装置において、上記基準ブ
   ロック及び上記検索ブロックの水平方向の画素数をＭ、
   垂直方向のライン数をＮとしたとき、 上記小ブロックの大きさを、（Ｍ／４）×（Ｎ／４）以
   下にするようにした動きベクトル検出装置。
2. 【請求項２】 基準フレームに基準ブロックを設定し、
   上記基準ブロックの水平及び垂直射影を求め、 検索フレームに検索ブロックを設定し、上記検索ブロッ
   クの水平及び垂直射影を求め、 上記基準ブロックの水平及び垂直射影と、上記検索ブロ
   ックの水平及び垂直射影とを比較して、上記基準ブロッ
   クと上記検索ブロックとの残差を求め、 上記検索ブロックを所定の探査範囲で動かし、上記残差
   が最小となる検索ブロックから動きベクトルを検出する
   ようにした動きベクトル検出装置において、 上記基準ブロック及び上記検索ブロックの水平方向の画
   素数をＭ、垂直方向のライン数をＮとしたとき、 上記基準ブロック及び上記検索ブロックの水平射影をＮ
   ／Ａ個加算して１つの要素とし、 上記基準ブロック及び上記検索ブロックの垂直射影をＭ
   ／Ｂ個加算して１つの要素とし、 上記Ｍ、Ｎは、Ｍ≧８、Ｎ≧８で、 上記Ａは、 ４≦Ａ≦Ｎ 上記Ｂは、 ４≦Ｂ≦Ｍ とするようにした動きベクトル検出装置。
3. 【請求項３】 １画素精度の動きベクトルを検出する第
   １の動きベクトル検出回路と、 １／２画素以下の精度の動きベクトルを検出する第２の
   動きベクトル検出回路とを備え、 上記第１の動きベクトル検出回路は、基準ブロックの各
   小ブロックから抽出された特徴値又は射影と、検索ブロ
   ックの各小ブロックから抽出された特徴値又は射影とを
   比較して上記基準ブロックと上記検索ブロックとの残差
   を求めて動きベクトルを検出するものであり、 上記第２の動きベクトル検出回路は、検索ブロックの探
   索範囲内の画素を補間して１／２画素以下ずれた位置で
   の検索ブロックを求め、各１／２以下画素ずれた検索ブ
   ロックと基準ブロックとを全画素比較して残差を求めて
   動きベクトルを求めるものであり、 上記第１の動きベクトル検出回路で１画素精度の動きベ
   クトルを検出した後に、上記第２の動きベクトル検出回
   路で１／２画素精度で動きベクトルの検出するようにし
   た動きベクトル検出装置。