JP3494307B2 - 動き量検出方法及び動き量検出装置 - Google Patents

Description

【発明の詳細な説明】

【０００１】

【目次】以下の順序で本発明を説明する。 産業上の利用分野 従来の技術 発明が解決しようとする課題 課題を解決するための手段（図１〜図５、図１０） 作用（図１〜図５、図１０） 実施例（図１〜図１４） （１）第１実施例の動き量検出方法及び装置（図１〜図
７） （２）第２実施例の動き量検出方法及び装置（図３、図
５） （３）第３実施例の動き量検出方法及び装置（図５、図
８、図９） （４）第４実施例の動き量検出方法及び装置（図５） （５）第５実施例の動き量検出方法及び装置（図１０） （６）第６実施例の動き量検出方法及び装置（図１１、
図１２） （７）第７実施例の動き量検出方法及び装置（図１３、
図１４） （８）他の実施例（図１０） 発明の効果

【０００２】

【産業上の利用分野】本発明は動き量検出装置及び動き
量検出方法に関し、特に画像の動きを検出する際に時間
的に異なる２つの画像データをそれぞれ階層化してから
動き量を検出するものに適用し得る。

【０００３】

【従来の技術】従来、動画像の処理として、動き量（動
きベクトル）すなわち時間的に異なる画像中の物体の動
き方向と大きさ（又は速さ）を用いるものがある。例え
ば画像の高能率符号化における動き補償フレーム間符号
化や、フレーム間時間領域フイルタによるテレビジヨン
雑音低減装置における動きによるパラメータ制御等に動
き量が用いられる。この画像の動き量を求める動き量検
出方法として、ブロツクマツチング法が用いられる（特
公昭54-124927 号公報）。

【０００４】このブロツクマツチング法では、まず１つ
の画面を適当な数画素からなるブロツクに分割する。続
いてこのようにブロツク化された画像データと、この画
像データが動いた領域を検索するために時間的に異なる
画面の画像データがブロツク化されてなるサーチ領域と
の間で、所定の評価関数を用いて画素単位で評価し、こ
の評価値を最小とする最適値を求めることにより、２つ
のブロツク化された画像データ間の動き量を検出する。
これにより高い精度で画像の動き量を検出し得るように
なされている。

【０００５】

【発明が解決しようとする課題】ところがブロツクマツ
チング法においては、検出対象のブロツクの全ての画素
に対して、検出範囲となる全てのサーチ領域をくまなく
サーチし、その差分を求める必要がある。このため動き
量を検出する計算量が大きくなり、装置自体が大型化し
たり、演算時間が長くなる問題があつた。このような問
題を解決するため、階層画像を複数の解像度で階層化
し、この階層画像を用いてブロツクマツチング法で動き
量を検出するようになされた動き量検出方法が提案され
ている（特願平5-2448814 号）。

【０００６】この動き量検出方法では、まずオリジナル
の画像データ（以下、階層１と呼ぶ）を、平均化やロー
パスフイルタ処理等で平均値階層化して、画素数を低減
した画像データ（以下、階層２と呼ぶ）を作成する。次
に作成した階層２の画像データで大まかな動き量を検出
し、その動き量に基づいて階層１の画像データについて
細かい動き量検出を行うことにより、少ない計算量で動
き量を検出し得るようになされている。なおここでの階
層数は２階層に限らず、順次平均値階層化を繰り返すこ
とにより、さらにデータ量の少ない階層３、階層４、…
…の画像データを作成することもできる。

【０００７】このような動き量検出方法を用いれば、階
層数が多くなる程少ない計算量で動き量を求めることが
できる。すなわちより上位階層の画像データほどブロツ
クのサイズとサーチエリアが小さくなるため、評価関数
による演算量は必然的に小さくなる。最終的に動き量を
求める最下位階層での評価は、ブロツクサイズ自体通常
のブロツクマツチング法と同じになるが、上位階層の画
像データで求めた動き量に応じて動き補償して、サーチ
領域を小さくすることができるため、演算量を削減する
ことができる。

【０００８】ところがこの動き量検出方法においては、
階層数が多くなる程動き量の検出精度が劣化する問題が
あつた。実際上この動き量検出方法では、まず画像の粗
い上位階層においてブロツク毎の動き量を検出し、この
検出結果に基づいて下位階層において動き量を検出する
ため、上位階層での検出結果が下位階層での動き量検出
に大きな影響を与える。すなわち上位階層の画像データ
は、平均値階層化の処理でブロツクサイズを小さくする
ため、画像の特徴量が最下位階層のオリジナル画像と異
なつてくる。特にエツジ成分は平均値階層化により失わ
れることになるため、平均値階層化された画像データに
おける動き量とオリジナル画像による動き量の対応関係
がずれる場合が生じる。

【０００９】実際上現在の階層より下位の階層で動き量
を求める場合、上位階層での動き量の結果を反映させる
ため、もし対応関係のずれ量が大きくサーチ領域以内で
カバーできなかつたときには誤動作となる。従つて平均
値階層化された画像データによる動き量検出方法では、
平均値階層化による情報量の欠落により、誤動作が起き
る可能性が大きくなる問題がある。また階層が上位にな
るほどのブロツクサイズが小さくなることから、平均値
階層化された画像データ上での動き量検出は、オリジナ
ル画像に対する動き量検出の分解能が低下して誤動作が
発生する問題もある。

【００１０】本発明は以上の点を考慮してなされたもの
で、階層化された画像データを用いてブロツクマツチン
グ法で動き量を検出する際に、動き量の検出精度を向上
し得る動き量検出装置及び動き量検出方法を提案しよう
とするものである。

【００１１】

【課題を解決するための手段】かかる課題を解決するた
め本発明においては、入力画像より解像度の異なる複数
階層の画像データを形成する際に、入力画像の所定ブロ
ツクについて周辺ブロツクまでオーバーラツプさせて階
層化する画像階層化ステツプと、それぞれ異なる時点の
入力画像に対応して、画像階層化ステツプで階層化され
た画像データについて、階層毎に所定ブロツク単位でブ
ロツクマツチングによつて評価値を求める評価値算出ス
テツプと、画像データについて、評価値算出ステツプで
得られる評価値より、階層毎に異なる時点の入力画像間
の動き量を検出する動き量検出ステツプとを設けるよう
にした。

【００１２】また本発明においては、入力画像より解像
度の異なる複数階層の画像データを形成する際に、入力
画像の所定ブロツクについて周辺ブロツクまでオーバー
ラツプさせて階層化する画像階層化手段２、５、１０
と、それぞれ異なる時点の入力画像に対応して、画像階
層化手段２、５、１０で階層化された画像データについ
て、階層毎に所定ブロツク単位でブロツクマツチングに
よつて評価値を求める評価値算出手段１９、２６、４
と、画像データについて、評価値算出手段１９、２６、
４で得られる評価値より、階層毎に異なる時点の入力画
像間の動き量を検出する動き量検出手段２２、２９、３
２とを設けるようにした。

【００１３】

【作用】入力画像より解像度の異なる複数階層の画像デ
ータを形成する際に、入力画像の所定ブロツクについて
周辺ブロツクまでオーバーラツプさせて階層化し、それ
ぞれ異なる時点の入力画像に対応した画像データについ
て、階層毎に所定ブロツク単位でブロツクマツチングに
よつて評価値を求め、階層毎に異なる時点の入力画像間
の動き量を検出するようにしたことにより、ブロツク完
結によつて生じる誤検出を未然に防止して、各階層にお
ける動き量の検出精度を向上させることができ、簡易な
構成かつ短い演算時間で最終的な入力画像について動き
量の検出精度を向上し得る。

【００１４】

【実施例】以下図面について、本発明の一実施例を詳述
する。

【００１５】（１）第１実施例の動き量検出方法及び装
置 この第１実施例の動き量検出方法では、オリジナル画像
について平均値階層化の手法によつて複数階層の画像デ
ータを形成すると共に、各階層の高周波成分（以下アク
テイビテイと呼ぶ）を表すデータについても階層化（以
下これをアクテイビテイ階層化とよぶ）してアクテイビ
テイデータを形成し、階層毎にこれらを用いて動き量を
検出するものである。

【００１６】実際上それぞれ階層化された画像データと
アクテイビテイデータについては、上位階層から順にブ
ロツクマツチング法で評価値を求め、これらを総合判断
することにより、その階層の動き量を求める。この動き
量を順次下位階層の評価値を求める際に動き補償して参
照することにより、最終的にオリジナル画像の動き量を
検出する。

【００１７】ここで動き量検出とは、図１に示すように
現在のフイールド（又はフレーム）Ｆ１上のブロツクＢ
１が過去のフイールド（又はフレーム）Ｆ２上のサーチ
エリアＳＡ内のどのブロツクＢ２と一致するかを、評価
関数で評価して当該評価値に最小を与える位置を動き量
として検出する。階層化された画像データを用いた動き
量検出方法では、現在及び過去の両フイールドのオリジ
ナル画像の他に階層化された画像データが必要となる。

【００１８】階層化された画像データを生成する例を、
図２に示す。図２（Ａ）はオリジナル画像について３階
層に階層化された画像データを生成する場合で、階層１
はオリジナル画像である。オリジナル画像上のブロツク
（例えば16×16）より上位階層の画像データ、階層ｎに
おける画像データをＭ_n （ｘ、ｙ）とすると、次式

【数１】 のように平均値化によつて求めることができ、ブロツク
サイズは水平及び垂直方向にそれぞれ１／２になる。ま
たこのように平均値階層化された階層１の画像データか
ら階層２の画像データを生成するときも、（１）式によ
り同様に求めることができる。

【００１９】従来の画像を階層化してなる階層画像を用
いた動き量検出方法では、図２（Ａ）の平均値階層化し
か行わないが、この実施例では（１）式により平均値階
層化された画像データを生成すると同時に、図２（Ｂ）
に示すように、平均値階層化された画像データについて
アクテイビテイ階層化してアクテイビテイデータを生成
する。階層２のアクテイビテイデータをΔ₂ （ｘ、ｙ）
とすると、このアクテイビテイデータΔ₂ （ｘ、ｙ）
は、平均値階層化された画像データからオリジナル画像
の対応する画素の差分の絶対値和によつて、次式

【数２】 で求め、同様に階層３のアクテイビテイデータΔ
₃ （ｘ、ｙ）は、次式

【数３】 で求める。アクテイビテイデータとして、全てオリジナ
ル画像を基底にして求めるようにしたことにより、オリ
ジナル画像に忠実な高周波成分を抽出し得るようになさ
れている。

【００２０】このようにしてアクテイビテイデータを求
めると、その階層構造は図２（Ｂ）に示すようになり、
最下位階層以外での階層プレーンを持つことになる。こ
のアクテイビテイデータは、平均値階層化したときに画
像データ中で欠落する特徴量を反映していることにな
る。

【００２１】ここで例えば図３に示すようなオリジナル
画像中の画像データの４×４の画素ｘ１、ｘ２、……、
ｘ15、ｘ16でなるブロツクを階層１として階層化する場
合、平均値階層化の階層２の画像データ中の画素ｙ１、
ｙ２、ｙ３、ｙ４は（１）式に基づいて、次式

【数４】 によつて求め、さらにこの階層２の２×２の画素を用い
て、平均値階層化した階層３の画像データ中の画素ｚ１
も（１）式に基づいて、次式

【数５】 により求める。

【００２２】また同様にして、アクテイビテイ階層化し
てなる階層２のアクテイビテイデータは、平均値階層化
された階層２の画像データの画素ｙ１、ｙ２、ｙ３、ｙ
４と階層１の画像データの画素ｘ１、ｘ２、……、ｘ1
5、ｘ16を用いて、（２）式に基づいて、次式

【数６】 により求め、さらにアクテイビテイ階層化してなる階層
３のアクテイビテイデータは、平均値階層化された階層
３の画像データの画素ｚ１と階層１の画像データの画素
ｘ１、ｘ２、……、ｘ15、ｘ16を用いて、（３）式に基
づいて、次式

【数７】 により求める。

【００２３】上述のようにして求めた平均値階層化した
画像データとアクテイビテイ階層化したアクテイビテイ
データを用いて、各階層でブロツクマツチング法による
動き量検出を行う。すなわちブロツクマツチングの評価
関数は、現フイールドをｔで表すと、次式

【数８】 で表される。ただし（ｕ_n 、ｖ_n ）は、階層ｎでの動き
量を示す。この評価関数Ｅ（Ｙ）_n の最小を与えるＶ′
_n ＝（ｕ_n 、ｖ_n ）を求める動き量とする。現在の階層
における動き量Ｖ_n は、次式

【数９】 という関係から、最終的な動き量を求めることができ
る。

【００２４】この実施例の場合の評価関数とは、図２
（Ｂ）のアクテイビテイデータについても（８）式と同
様に、次式

【数１０】 となる評価を行い、新たな評価関数Ｅ（Ｇ）_n を、次式

【数１１】 とする。ただしｗ₁ 、ｗ₂ は重み係数である。そして評
価関数Ｅ（Ｇ）_n の最小を与える動き量を求める。なお
最下位階層ではアクテイビテイデータが存在しないた
め、（８）式の評価関数Ｅ（Ｙ）_n のみによる評価を行
う。

【００２５】このように平均値階層化された画像データ
とアクテイビテイ階層化されたアクテイビテイデータの
両者を用いて評価することにより、一方の階層の最適評
価値が誤検出であつても、もう一方の評価値で正しい検
出ができるようになり、各階層における動き量検出の精
度が向上する。このように各階層における動き量検出精
度が向上すると、（９）式で求める最終的な動き量も検
出精度を向上することができる。

【００２６】ここでこの実施例における動き量検出処理
手順ＳＰ０を図３に示す。すなわちまずステツプＳＰ１
において、比較する２画面のオリジナル画像をブロツク
化し、次のステツプＳＰ２でブロツク化されたオリジナ
ル画像を、（１）式に従つて平均値階層化すると共に、
（２）式及び（３）式に従つてアクテイビテイ階層化し
て、例えば階層１、階層２及び階層３の画像データと階
層２及び階層３のアクテイビテイデータを生成する。

【００２７】続くステツプＳＰ３では現在処理済みの階
層が最下位階層か否か判断し、否定結果の場合にはステ
ツプＳＰ４で全サーチ領域について探索終了か否か判断
し、ここで否定結果を得るとステツプＳＰ５で画像デー
タ及びアクテイビテイデータの現在及び過去のデータを
用いて、（８）式及び（10）式について上述した評価関
数Ｅ（Ｙ）_n 及びＥ（Ｄ）_n による評価を行い、ステツ
プＳＰ４に戻る。

【００２８】やがてステツプＳＰ４で肯定結果を得る
と、ステツプＳＰ６に移つて所定階層の画像データ及び
アクテイビテイデータについて求めた評価関数Ｅ（Ｙ）
_n 及びＥ（Ｄ）_n を用いて（11）式より得られる新たな
評価関数Ｅ（Ｇ）_n による評価を行つて最適評価値を求
めステツプＳＰ７に移る。ステツプＳＰ７では最適評価
値より動き量を決定し、次のステツプＳＰ８で動き量を
加算して、それぞれ下位階層に適用し、ステツプＳＰ３
に戻る。やがてこのステツプＳＰ３で否定結果を得る
と、ステツプＳＰ９に移つて当該動き量検出方法の処理
手順ＳＰ０を終了する。

【００２９】このようにサーチ領域内の探索を、最上位
階層から始め平均値階層化された画像データとアクテイ
ビテイ階層化されたアクテイビテイデータの評価値を
（11）式により総合判定しながら最適な動き量を求め、
（９）式によつて求めた動き量を下位階層に適用しなが
ら最下位階層まで処理を繰り返し行い、最終的な動き量
を求める。これにより平均値階層化の画像データのみよ
り求めた動き量に比較して、各階層の高周波成分でなる
アクテイビテイデータより求めた評価値を加味して動き
量を求めるようにしたことにより、平均値化による誤判
定を有効に防止て高い精度で動きを検出し得る。

【００３０】ここで、この実施例の動き量検出方法を用
いる動き量検出装置は、図５に示すように構成されてい
る。この動き量検出装置１においては、入力されるオリ
ジナル画像の画像データがブロツク回路２に入力され、
所定のサイズ（例えば16×16のブロツクサイズに対して
サーチ領域を含むサイズでなる）で順次ブロツク化され
る。この結果ブロツク化されたオリジナル画像の画像デ
ータは、それぞれ階層１のフレームメモリ３及び評価値
算出回路４、階層２の平均値階層化回路５、アクテイビ
テイ階層化回路６、階層３のアクテイビテイ階層化回路
７に入力される。

【００３１】階層２の平均値階層化回路５では、入力さ
れるオリジナル画像の画像データの所定ブロツク分につ
いて、（１）式の演算による平均値階層化処理を実行し
て階層２の画像データを求める。この結果得られる階層
２の画像データは、それぞれ階層２のブロツク回路８、
フレームメモリ９及びアクテイビテイ階層化回路６、階
層３の平均値階層化回路１０に入力される。

【００３２】階層２のアクテイビテイ階層化回路６で
は、入力されるオリジナル画像の画像データと階層２の
画像データを用いて、（２）式の演算によるアクテイビ
テイ階層化処理を実行して階層２のアクテイビテイデー
タを求める。この結果得られる階層２のアクテイビテイ
データは、それぞれ階層２のブロツク回路１１及びフレ
ームメモリ１２に入力される。

【００３３】階層３の平均値階層化回路１０では、入力
される階層２の画像データを用いて、（１）式の演算に
よる平均値階層化処理を実行して階層３の画像データを
求める。この結果得られる階層３の画像データは、それ
ぞれ階層３のブロツク回路１３、フレームメモリ１４及
びアクテイビテイ階層化回路７に入力される。

【００３４】階層３のアクテイビテイ階層化回路７で
は、入力されるオリジナル画像の画像データと階層３の
画像データを用いて、（３）式の演算によるアクテイビ
テイ階層化処理を実行して階層３のアクテイビテイデー
タを求める。この結果得られる階層３のアクテイビテイ
データは、それぞれ階層３のブロツク回路１１及びフレ
ームメモリ１６に入力される。

【００３５】このようにしてブロツク化された画像デー
タが、図２について上述したように、それぞれの階層
１、階層２及び階層３の画像データとして平均値階層化
されると共に、階層２及び階層３のアクテイビテイデー
タとしてアクテイビテイ階層化される。

【００３６】実際の動き量の検出は最上位階層でなる階
層３において、まずフレームメモリ１４及び１６に設定
された過去（すなわち１フレーム前）の画像データ及び
アクテイビテイデータを、サーチ領域に応じてそれぞれ
サーチブロツク回路１７及び１８に読み出す。次に評価
値算出回路１９及び２０において、ブロツク回路１３及
び１５とサーチブロツク回路１７及び１８との画像デー
タ及びアクテイビテイデータを用いて、それぞれ（８）
式及び（10）式の評価関数Ｅ（Ｙ）₃ 及びＥ（Ｄ）₃ に
基づいて評価値を求める。この評価値は加算回路２１に
おいて、（11）式に示すように、重み係数ｗ₁ 、ｗ₂ に
応じて所定の重み付けして加算し、この結果得られる新
たな評価関数Ｅ（Ｇ）₃ に基づく評価値が動き量検出回
路２２に入力される。

【００３７】ここでこの実施例の場合、評価値算出回路
１９、２０は図６に示すような回路４０で構成されてい
る。すなわち評価値算出回路４０においては、それぞれ
ブロツク回路１３、１５に対応する参照ブロツクメモリ
４１と、サーチブロツク回路１７、１８に対応する候補
ブロツクメモリ４２を有し、この参照ブロツクメモリ４
１及び候補ブロツクメモリ４２の内容が、メモリコント
ロール４３で指定されたアドレスの順に読み出され、そ
れぞれレジスタ４４及び４５を通じて減算回路４６で減
算される。この結果得られる差分データは絶対値化回路
４７で絶対値化され、加算回路４８及びレジスタ４９で
累積加算される。

【００３８】この累積加算結果が評価値メモリ５０に、
評価値メモリコントロール５１より指定されたアドレス
の順に従つて入力される。このようにして（８）式及び
（10）式の演算が評価値算出回路４０で実行され、この
結果得られる評価値が評価値メモリ５０に入力される。
なお実際階層２及び階層３では、平均値階層化された画
像データについての評価値と、アクテイビテイ階層化さ
れたアクテイビテイデータについての評価値が、重み付
けされて加算されて評価値メモリ５０に記憶される。

【００３９】またこの実施例の場合、動き量検出回路２
２は図７に示すような回路６０で構成されている。すな
わち動き量検出回路６０では、図６で上述したように評
価値が記憶された評価値メモリ５０が、順次評価値メモ
リコントロール５１より指定されたアドレスに従つて読
み出され、比較器６１及びレジスタ６２に入力される。
比較器６１は他方の入力と評価値メモリ５０より読み出
された評価値を順次比較し、このうち入力された評価値
が小さいとき、レジスタ６２及び６３の内容を更新する
信号を送出する。

【００４０】このレジスタ６３には、評価値メモリ５０
を読み出すアドレスが順次設定される。このようにして
順次評価値メモリ５０に記憶された評価値が評価され、
そのうちの評価値の最小を与えるアドレスがレジスタ６
３より送出され、これが動き量検出回路６０の出力、す
なわち動きベクトルでなる動き量ＭＶとして出力され
る。

【００４１】ここでこの動き量検出装置１の場合、階層
３の動き量検出回路２２で得られる動き量は、階層２の
画像データのフレームメモリ９及びアクテイビテイデー
タのフレームメモリ１２に与えられ、この動き量によつ
てサーチ領域が動き補償される。すなわち階層２の動き
量を検出する場合には、フレームメモリ９及び１２に設
定された過去（すなわち１フレーム前）の画像データ及
びアクテイビテイデータを、動き補償されたサーチ領域
に応じてそれぞれサーチブロツク回路２４及び２５に読
み出す。

【００４２】次に評価値算出回路２６及び２７は、ブロ
ツク回路８及び１１とサーチブロツク回路２４及び２５
との過去及び現在の画像データ及びアクテイビテイデー
タを用いて、それぞれ（８）式及び（10）式の評価関数
Ｅ（Ｙ）₂ 及びＥ（Ｄ）₂ に基づいて評価値を求める。
この評価値は加算回路２８において、（11）式に示すよ
うに、重み係数ｗ₁ 、ｗ₂ に応じて所定の重み付けされ
て加算され、この結果得られる新たな評価関数Ｅ（Ｇ）
₂ に基づく評価値が、動き量検出回路２９に入力され
る。この結果動き量検出回路２９で得られる動き量が加
算回路２３で、（９）式に示すように、階層３の動き量
と加算され階層２の動き量として送出される。なおこの
評価値算出回路２６及び２７、動き量検出回路２９も、
図６及び図７の評価値算出回路４０及び動き量検出回路
６０と同様に構成されている。

【００４３】このようにして階層２で得られる動き量
は、階層１の画像データのフレームメモリ３に与えら
れ、この動き量によつてサーチ領域が動き補償される。
すなわち階層１の動き量検出においては、フレームメモ
リ３に設定された過去（すなわち１フレーム前）の画像
データを、動き補償されたサーチ領域に応じてサーチブ
ロツク回路３１に読み出す。次に評価値算出回路４は、
ブロツク回路２とサーチブロツク回路３１との画像デー
タを用いて、それぞれ（８）式の評価関数Ｅ（Ｙ）₁ に
基づいて評価値を求める。

【００４４】この評価値が動き量検出回路３２に入力さ
れ、この結果得られる階層１の動き量が加算回路３０
で、（９）式に示すように、階層２の動き量と加算さ
れ、このようにしてオリジナル画像の動き量が検出さ
れ、動き量検出装置１の出力として送出される。なおこ
の評価値算出回路４、動き量検出回路３２も、図６及び
図７の評価値算出回路４０及び動き量検出回路６０と同
様に構成されている。

【００４５】このようにして画像を複数の解像度で階層
化し、この階層画像を用いてブロツクマツチング法で動
き量を検出する際、アクテイビテイ階層化したアクテイ
ビテイデータについて求めた評価値を階層毎の評価の対
象とするようにしたことにより、少ない計算量で動き量
を高い精度で検出し得る。因に実験によれば、オリジナ
ル画像について全てくまなくブロツクマツチングによつ
て、フルサーチする場合に比較して、１／１０程度の正
規化ハード量で同様のＳＮを得られることが分かつた。

【００４６】以上の構成によれば、オリジナル画像を平
均値階層化すると共に差分の絶対値和によるアクテイビ
テイ階層化し、この結果得られる複数階層の画像データ
とアクテイビテイデータについて、それぞれ階層毎に最
上位階層より順次ブロツクマツチングによつて評価し、
同一階層上でこれらを総合的に判定することにより、各
階層における動き量の誤検出を未然に防止することがで
き、かくして簡易な構成かつ短い演算時間で、最終的な
オリジナル画像について動き量の検出精度を格段的に向
上し得る。

【００４７】（２）第２実施例の動き量検出方法及び装
置 上述の第１実施例では、アクテイビテイ階層化する際に
差分の絶対値和の平均値を用いたが、この第２実施例で
はアクテイビテイ階層化する際に、標準偏差又は分散値
を用いてアクテイビテイデータを作成する。すなわち平
均値階層化については、上述と同様の処理により作成
し、図２に示すように、階層２のアクテイビテイ階層化
については、平均値階層化された画像データから、次式

【数１２】 に基づく標準偏差を計算することで求める。

【００４８】また階層３のアクテイビテイ階層化につい
ては、階層３の平均値階層化された画像データから階層
２の平均値階層化された画像データから、次式

【数１３】 に基づく標準偏差を計算することで求める。または階層
３の平均値階層化された画像データから、階層１のオリ
ジナル画像を見て、次式

【数１４】 のように標準偏差を計算するようにしても良い。

【００４９】ここで例えば図３に上述したようなオリジ
ナル画像中の画像データの４×４の画素ｘ１、ｘ２、…
…、ｘ15、ｘ16でなるブロツクを階層１として階層化す
る場合、まず平均値階層化として階層２の画像データ中
の画素ｙ１、ｙ２、ｙ３、ｙ４は、（１）式に基づく
（４）式によつて求め、さらにこの階層２の画像データ
中の２×２の画素を用いて、階層３の画像データ中の画
素ｚ１も、（１）式に基づく（５）式により求める。

【００５０】次にアクテイビテイ階層化として階層２の
アクテイビテイデータは、平均値階層化された階層２の
画像データ中の画素ｙ１、ｙ２、ｙ３、ｙ４と、階層１
の画像データ中の画素ｘ１、ｘ２、……、ｘ15、ｘ16を
用いて、（12）式に基づく、次式

【数１５】 により求め、さらにアクテイビテイ階層化として階層３
の画像は、平均値階層化された階層３の画像データ中の
画素ｚ１と階層１の画像データ中の画素ｘ１、ｘ２、…
…、ｘ15、ｘ16を用いて、（14）式に基づく、次式

【数１６】 により求める。この第２実施例の動き量検出装置も、図
５の動き量検出装置１と同様で、アクテイビテイ階層化
回路６、７において、上述したように標準偏差によるア
クテイビテイデータを求める。

【００５１】以上の構成によれば、平均値階層化された
画像データ及び標準偏差でアクテイビテイ階層化された
アクテイビテイデータについて、それぞれ階層毎に最上
位階層より順次ブロツクマツチングによつて評価し、同
一階層上でこれらを総合的に判定することにより、各階
層における動き量の誤検出を未然に防止することがで
き、かくして最終的にオリジナル画像について、動き量
を検出精度を格段的に向上し得る。

【００５２】さらに上述の構成によれば、アクテイビテ
イ階層化として差分の絶対値和の平均値に代えて、標準
偏差を用いるようにしたことより、アクテイビテイデー
タとしてよりオリジナル画像の高周波成分について特徴
量を保存したデータを得ることができ、各階層における
動き量の誤検出を一段と有効に防止することがでる。

【００５３】（３）第３実施例の動き量検出方法及び装
置 上述の第１実施例及び第２実施例では、アクテイビテイ
階層化する際に、差分の絶対値和の平均値を用いたり、
標準偏差を用いた場合について述べたが、この第３実施
例では、ラプラシアンフイルタを前処理に用いて画像の
高周波成分を抽出した後に、アクテイビテイ階層化して
アクテイビテイデータを生成する。

【００５４】すなわち、図８に示すように、第１実施例
で平均値階層化された画像データ（図８（Ａ））から、
まず各階層毎にラプラシアンフイルタ処理によつてラプ
ラシアンデータ（図８（Ｂ））を作成する。このラプラ
シアンデータにおいて、平均値階層化による画像データ
の作成と同様に例えば２×２の小ブロツクに分割し、小
ブロツク内のラプラシアンデータの絶対値の平均値を算
出して、アクテイビテイ階層化しアクテイビテイデータ
（図８（Ｃ））を作成する。

【００５５】ここでラプラシアンフイルタとしては、図
９（Ａ）に示すように、画面の垂直及び水平方向の微分
を考慮した値が設定された３×３の係数フイルタや、図
９（Ｂ）に示すように、斜め方向を考慮した値が設定さ
れた３×３の係数フイルタが用いられる。この第３実施
例の動き量検出装置も、図５の動き量検出装置１と同様
で、アクテイビテイ階層化回路６、７において、上述し
たようにラプラシアンフイルタ処理で前処理して、アク
テイビテイ階層化してアクテイビテイデータを求める。

【００５６】以上の構成によれば、平均値階層化された
画像データ及びラプラシアンフイルタ処理で前処理され
てアクテイビテイ階層化されたアクテイビテイデータに
ついて、それぞれ階層毎に最上位階層より順次ブロツク
マツチングによつて評価し、同一階層上でこれらを総合
的に判定することにより、各階層における動き量の誤検
出を未然に防止することができ、かくして最終的にオリ
ジナル画像について、動き量の検出精度を格段的に向上
し得る。

【００５７】さらに上述の構成によれば、アクテイビテ
イ階層化の前にラプラシアンフイルタ処理で前処理する
ようにしたことにより、アクテイビテイデータとしてよ
りオリジナル画像の高周波成分について特徴量を保存し
たデータを得ることができ、各階層における動き量の誤
検出を一段と有効に防止することがでる。

【００５８】（４）第４実施例の動き量検出方法及び装
置 上述の第１〜第３実施例では、アクテイビテイ階層化す
る際に、差分の絶対値和の平均値を用いたり、標準偏差
を用いたり、さらにオリジナル画像についてラプラシア
ン処理を前処理として施した場合について述べたが、こ
の第４実施例では、オリジナル画像の最大値と最小値の
差で定義されるダイナミツクレンジを用いて、アクテイ
ビテイ階層化してアクテイビテイデータを生成する。

【００５９】このアクテイビテイ階層化の場合、階層２
のアクテイビテイデータをΔ₂ （ｘ、ｙ）とすると、こ
のアクテイビテイデータΔ₂ （ｘ、ｙ）は、平均値階層
化された画像データから、オリジナル画像の対応する画
素の最大値及び最小値の差でなるダイナミツクレンジを
用いて、次式

【数１７】 で求め、同様に階層３のアクテイビテイデータΔ
₃ （ｘ、ｙ）は、次式

【数１８】 で求める。アクテイビテイデータとして、全てオリジナ
ル画像を基底にして求めるようにしたことにより、オリ
ジナル画像に忠実な高周波成分を抽出し得るようになさ
れている。

【００６０】上述のようにダイナミツクレンジを用いて
アクテイビテイ階層化することにより、結果的に得られ
るアクテイビテイデータとしては、平均値階層化したと
きに欠落する特徴量を反映していることになる。この第
４実施例の動き量検出装置も、図５の動き量検出装置１
と同様で、アクテイビテイ階層化回路６、７において、
上述したようにダイナミツクレンジによるアクテイビテ
イ階層化してアクテイビテイデータを求める。

【００６１】以上の構成によれば、平均値階層化された
画像データ及びダイナミツクレンジによりアクテイビテ
イ階層化されたアクテイビテイデータについて、それぞ
れ階層毎に最上位階層より順次ブロツクマツチングによ
つて評価し、同一階層上でこれらを総合的に判定するこ
とにより、各階層における動き量の誤検出を未然に防止
することができ、かくして最終的にオリジナル画像につ
いて、動き量の検出精度を格段的に向上し得る。

【００６２】さらに上述の構成によれば、平均値階層化
したときに欠落する特徴量を反映したダイナミツクレン
ジでアクテイビテイ階層化したことにより、アクテイビ
テイデータとしてよりオリジナル画像の高周波成分につ
いて特徴量を保存したデータを得ることができ、各階層
における動き量の誤検出を一段と有効に防止することが
でる。

【００６３】（５）第５実施例の動き量検出方法及び装
置 上述の第１〜第４実施例では、平均値階層化によつて上
位階層の画像データを作成する際に、オリジナル画像に
ついてブロツク完結で上位まで演算したが、この第５実
施例では、図１０に示すように、平均値階層化する際２
×２のブロツクより広い範囲、例えば４×４のブロツク
について、16画素の平均値を算出して平均値階層化して
画像データを作成する。上位階層の構成は従来と変わら
ないようにするため、下位の階層のブロツクはオーバー
ラツプした形になり、隣接ブロツクとの関係を保持しな
がら階層化し得ることにより、ブロツク完結によつて生
じる動き量の誤検出を防止し得る。

【００６４】すなわちこうすることで、上位階層までの
隣接ブロツクとの関係が完全に切れたものではなく、何
らかの相互関係をもつて平均値階層化された画像データ
が構成されることになり、上位階層でのブロツクマツチ
ング法における誤検出の確率を下げることが可能とな
る。

【００６５】アクテイビテイ階層化したアクテイビテイ
データについては、上述のようにオーバーラツプさせて
作られた平均値階層化の画像データから、第１〜第４実
施例のように差分の絶対値和の平均値や、標準偏差又は
分散値、さらにはダイナミツクレンジを計算することで
求めることができる。

【００６６】以上の構成によれば、画像を階層化する際
にオーバーラツプさせてブロツクを構成し、ブロツク内
の画素の加重平均をとることで、平均値階層化された複
数階層の画像データを作成すると共に、複数階層の画像
データに応じてアクテイビテイ階層化されたアクテイビ
テイデータを作成し、それぞれ階層毎に最上位階層より
順次ブロツクマツチングによつて評価し、同一階層上で
これらを総合的に判定することにより、各階層における
動き量の誤検出を未然に防止することができ、かくして
最終的にオリジナル画像について、動き量の検出精度を
格段的に向上し得る。

【００６７】さらに上述の構成によれば、平均値階層化
やアクテイビテイ階層化において、ブロツクをオーバー
ラツプさせて画像データやアクテイビテイデータを形成
するようにしたことにより、ブロツク完結で階層化した
場合に比較して動き量の誤検出を未然に防止し得る。

【００６８】（６）第６実施例の動き量検出方法及び装
置 上述した第１実施例では、それぞれ平均値階層化した画
像データとアクテイビテイ階層化したアクテイビテイデ
ータとの各階層についてのブロツクマツチングによる評
価関数Ｅ（Ｙ）_n 、Ｅ（Ｄ）_n を、（11）式に示すよう
に重みｗ₁ 、ｗ₂ で重み付け加算して新たな評価関数Ｅ
（Ｇ）_n を求めた。この場合重みｗ₁ 、ｗ₂ はそれぞれ
値１として均等加重によつて演算していたが、この第６
実施例では、動き量検出の誤差が少なくなるように重み
を適応的に変化させる。

【００６９】（６−１）適応化処理１ 適応化処理１では、まず平均値階層化された画像データ
とアクテイビテイ階層化されたアクテイビテイデータと
において、それぞれのブロツクの標準偏差σ_Y、σ_D を
考える。この標準偏差σ_Y 、σ_D が大きいほど、評価テ
ーブルのすり鉢形状は急峻になり、その最適値の信憑性
が大きくなると考えられる。そこで、実際には標準偏差
値σ_Y 、σ_D を用いて次式

【数１９】 の演算により正規化して適応化処理し、新たな評価関数
Ｅ（Ｇ）_n を求めるようにする。

【００７０】（６−２）適応化処理２ 適応化処理２では、まず平均値階層化された画像データ
とアクテイビテイ階層化されたアクテイビテイデータと
において、最適評価値の絶対レベルが異なつていると評
価のウエイトが変わつてしまうことから、最適評価値の
レベルを同じにする正規化を行う。すなわちそれぞれの
最適評価値をｅ_Y 、ｅ_Dとして、次式

【数２０】 の演算により正規化して適応化処理して、新たな評価関
数Ｅ（Ｇ）_n を求めるようにする。

【００７１】（６−３）適応化処理３ 平均値階層化された画像データとアクテイビテイ階層化
されたアクテイビテイデータとの評価値の単純加算値に
おいて、評価値の形状と加重比率の関係には相関関係が
あることが実験によりわかつた。それによると、評価値
の形状が急峻なブロツクが多い場合、平均値の評価値に
対する重みを大きくするほうが良い。この適応化処理３
では、その関係をあらかじめ種々のソースを用いてテー
ブル化しておき、ある評価値の形状に対して重みの比率
を出力して再評価する。

【００７２】評価値の形状を定量化する方法は、最適評
価値を中心とした周囲の評価値を用いる。例えば図１１
に示すように中心の画素ｘについて、周囲８点ｅ1 〜ｅ
8 の評価値を用いると、形状の尺度Ｓは、

【数２１】 で求めることができる。但し、Ｎは最適評価値の周囲の
存在するデータ数である。この尺度Ｓの値を用いて、ル
ツクアツプテーブル（ＬＵＴ）を構成し、このテーブル
から最適な重み係数を出力し、（11）式による評価を再
度行う。

【００７３】（６−４）適応化処理４ 評価値の形状は、急峻な形状ほど最適評価値は正しい可
能性が高いと考えられる。また評価値の形状がほぼフラ
ツトであると、特に一方の形状がフラツトである場合、
（11）式に対する悪影響は少ない。したがつて適応化処
理４では、平均値階層化された画像データとアクテイビ
テイ階層化されたアクテイビテイデータとの評価値のそ
れぞれの評価値形状に適応した重み付けを行う。

【００７４】それぞれの評価値の定量尺度は、（21）式
と同様に考えて、平均値階層化された画像データを
Ｓ_Y 、アクテイビテイ階層化されたアクテビテイデータ
をＳ_D とすると、次式

【数２２】 及び次式

【数２３】 で求め、評価関数は、次式

【数２４】 として評価を行い、新たな評価関数Ｅ（Ｇ）_n を求める
ようにする。

【００７５】（６−５）適応化処理５ 評価値メモリの内容は、ブロツク内の画像の特性（フラ
ツト、エツジ等）によつて値が異なる。一般にフラツト
な画像だと評価値も変化が小さく、エツジなどを含む画
像だと評価値は大きく変化する。従つて均等加算で新た
な評価関数を求めると、真の最小値の位置がずれてしま
い動き量検出として誤検出になるおそれがある。

【００７６】従つてこの適応化処理５では、まず平均値
階層化された画像データについての評価関数Ｅ（Ｙ）_n
の最大値Ｅ（Ｙ）_nmax、最小値Ｅ（Ｍ）_nminを検出し、
次式

【数２５】 を用いて正規化し、同様に、アクテイビテイ階層化され
たアクテイビテイデータについての評価関数Ｅ（Ｄ）_n
の最大値Ｅ（Ｄ）_nmax、最小値Ｅ（Ｄ）_nminを検出し、
次式

【数２６】 を用いて正規化する。

【００７７】このようにして正規化された評価値テーブ
ルを用いて、新たな評価関数Ｅ（Ｇ）_n を次式

【数２７】 によつて求めるようにする。

【００７８】（６−６）適応化処理回路 上述した適応化処理１〜５は、何れも図５について上述
した動き量検出装置１において、各階層の平均値階層化
された画像データ及びアクテイビテイ階層化されたアク
テイビテイデータの評価値算出回路２６、１９及び２
７、２０で得られる評価値メモリの内容を加算回路２
８、２１で加算する際に実行される。因に、図１２に適
応化処理５を実現する適応化処理回路７０の構成を示
す。

【００７９】すなわちこの適応化処理回路７０において
は、平均値階層化された画像データ及びアクテイビテイ
階層化されたアクテイビテイデータの評価値算出回路２
６、１９及び２７、２０で得られる評価値メモリ７１、
７２の評価値Ｅ（Ｙ）_n 、Ｅ（Ｄ）_n が、順次それぞれ
の最大値／最小値検出回路７３、７４と遅延回路７５、
７６に入力される。

【００８０】最大値／最小値検出回路７３、７４はそれ
ぞれの評価値Ｅ（Ｙ）_n 、Ｅ（Ｄ）_n ついて最大値Ｅ
（Ｙ）_nmax、Ｅ（Ｄ）_nmaxと、最小値Ｅ（Ｙ）_nmin、Ｅ
（Ｄ）_nminを求める。この結果得られる最大値Ｅ（Ｙ）
_nmax、Ｅ（Ｄ）_nmaxはそれぞれの第１の減算回路７７、
７８に入力され、また最小値Ｅ（Ｙ）_nmin、Ｅ（Ｄ）
_nminは、それぞれ第１の減算回路７７、７８及び第２の
減算回路７９、８０に入力される。第２の減算回路７
９、８０には、それぞれの評価値Ｅ（Ｙ）_n 、Ｅ（Ｄ）
_n が、最大値／最小値検出回路７３、７４の処理時間分
だけ遅延されて入力されている。

【００８１】それぞれ第１の減算回路７７、７８及び第
２の減算回路７９、８０の減算出力は、除算回路８１、
８２に入力されて除算され、その出力が加算回路８３で
加算される。これにより上述の（25）式〜（27）式の演
算が実行される。このようにして適応化処理５が施され
た新たな評価関数Ｅ（Ｇ）_n は、評価値メモリ８４に記
憶され、動き量検出回路に送出される。なお最下位階層
に関してはオリジナル画像になるため、評価値Ｅ（Ｙ）
₁ を計算して最小値の検出を行なう。

【００８２】（６−６）適応化処理の効果 以上の構成によれば、オリジナル画像を平均値階層化す
ると共にアクテイビテイ階層化し、この結果得られる複
数階層の画像データとアクテイビテイデータについて、
それぞれ階層毎に最上位階層より順次ブロツクマツチン
グによつて評価し、同一階層上でこれらを総合的に判定
する際に、最適に重み付けして得られる新たな評価関数
を用いるようにしたことにより、各階層における動き量
の誤検出を未然に防止することができ、かくして最終的
なオリジナル画像について、動き量の検出精度をさらに
一段と格段的に向上し得る。

【００８３】（７）第７実施例の動き量検出方法及び装
置 上述の第１〜第４実施例では、平均値階層化によつて上
位階層の画像データを作成する際に、オリジナル画像に
ついてブロツク完結で上位まで演算したが、平均値階層
化やアクテイビテイ階層化等の操作がブロツク単位で完
結するため、動き量を誤検出するおそれがあつた。この
ため第５実施例では、平均値階層化する際に下位の階層
のブロツクをオーバーラツプした形として、隣接ブロツ
クとの関係を保持しながら階層化したが、この第７実施
例では、平均値階層化された画像データとアクテイビテ
イ階層化されたアクテイビテイデータの評価値を得る際
に、複数例えば２種類の評価値を得て下位の階層で動き
補償するようになされている。

【００８４】すなわち、この動き量検出方法では、まず
上述の第１実施例と同様に、平均値階層化された画像デ
ータのサーチ領域内での評価値をＥ（Ｙ）_n 、アクテイ
ビテイ階層化されたアクテイビテイデータのサーチ領域
内での評価値をＥ（Ｄ）_n として、各々評価値メモリに
評価値テーブルを作成する。この評価値テーブルは、ブ
ロツク内の画像の特性（フラツト、エツジ等）によつて
かなり値が異なる。一般にフラツトな画像だと評価値テ
ーブルも変化が小さく、エツジ等を含む画像だと評価値
は大きく変化する。通常、評価値テーブルの値は、動き
量に対応する位置の評価値が最小点によるような擦り鉢
形状をしているが、画像によつてはかなり平坦になつて
いたり、極小点が複数存在することもある。特に平均値
階層化された画像データにおける上位階層で、この傾向
が強くなる。

【００８５】従つてこの動き量検出方法では、最上位階
層における評価値テーブルの極小点を複数検出し、これ
を初段の動き量候補とする。具体的には、最上位階層の
評価値テーブルは平均値階層化されたものとアクテイビ
テイ階層化されたものが２種類あり、それぞれにおいて
最も小さいものから複数の極小点を検出する。そして平
均値階層化での極小点の位置とアクテイビテイ階層化で
の極小点の位置に関して、論理和をとることで重なりを
除き、階層３における複数の極小点の位置を初段の動き
量の候補とする。

【００８６】次に階層３すなわち最上位階層における動
き量の候補毎に、以下の操作を行なう。まず平均値階層
化での階層２において、動き量のうちの１つを選択し、
この位置を中心としてサーチ範囲を設定する。サーチ範
囲内で階層２のブロツクマツチングを行ない評価値を計
算する。同様にアクテイビテイ階層化の階層２において
も選択した動き量の位置を中心としてサーチ範囲を設定
し、サーチ範囲内で階層２のブロツクマツチングを行な
い評価値を計算する。

【００８７】続いて階層２における平均値階層化での評
価値と、アクテイビテイ階層化での評価値を重み付け加
算してその最小点を検出する。この最小点の位置を初段
の動き量の１個に対応した階層２における動き量とす
る。次に上述のようにして決定された複数の初段の動き
量のうちの１個と、それに対応する階層２の動き量で決
定される位置を中心として、階層１におけるサーチ範囲
を決定する。

【００８８】階層１はオリジナル画像の階層であり、ブ
ロツクマツチングは１種類のみ行なわれ、差分の絶対値
和で算出された評価値の最小値が検出される。この最小
値の位置が初段の動き量のうちの１個に対応する最終段
の動き量になる。以上の操作を複数決定した初段の動き
量毎に行ない、階層１での評価値の最小値の位置を複数
個求め、その中からさらに最小の評価値を示すものを検
出し、最終的な動き量として送出する。

【００８９】ここでこの第７実施例における動き量検出
処理手順ＳＰ１０を図１３に示す。すなわちまずステツ
プＳＰ１１において、比較する２画面のオリジナル画像
をブロツク化し、次のステツプＳＰ１２でブロツク化さ
れたオリジナル画像について、平均値階層化すると共に
アクテイビテイ階層化し、例えば階層１、階層２及び階
層３の画像データと階層２及び階層３のアクテイビテイ
データを生成する。

【００９０】続くステツプＳＰ１３では現在探索済みの
階層が最上位階層すなわち階層３か否か判断し、否定結
果の場合にはステツプＳＰ１４で、平均値階層化された
画像データとアクテイビテイ階層化されたアクテイビテ
イデータの現在及び過去のデータを用いてサーチ領域に
ついて探索して評価関数による評価値を算出し、ステツ
プＳＰ１３に戻る。このステツプＳＰ１３で肯定結果を
得ると、ステツプＳＰ１５に移つて評価値からｎ個の極
小点を選択して、ステツプＳＰ１６に移る。

【００９１】ステツプＳＰ１６では、最上位階層で求め
たｎ個の極小点について、階層２及び階層３での処理が
終了した否か判断し、ここで否定結果を得るとステツプ
Ｓ１７に移つて現在の階層が最下位階層すなわち階層１
か否か判断し、ここで否定結果を得るとステツプＳＰ１
８に移つて、階層２の画像データ及びアクテイビテイデ
ータの現在及び過去のデータを用いてサーチ領域につい
て探索して評価関数による評価を行いステツプＳＰ１８
に戻る。

【００９２】やがてステツプＳＰ１８で肯定結果を得る
と、階層２の画像データ及びアクテイビテイデータにつ
いて求めた評価関数を用いて新たな評価関数による評価
を行つて最適評価値を求めステツプＳＰ２１に移る。ス
テツプＳＰ２１では最適評価値より動き量を決定して下
位階層に適用してステツプＳＰ１７に戻る。

【００９３】やがてこのステツプＳＰ１７で否定結果を
得ると、ステツプＳＰ１６に戻つて最上位階層で求めた
評価値のｎ個の極小値について、ステツプＳＰ１７−Ｓ
Ｐ１８−ＳＰ１９−ＳＰ２０−ＳＰ２１で、階層２及び
階層１の動き量を検出したか否か判断し、肯定結果を得
るとステツプＳＰ２２に移つて階層１で求めた動き量の
うち、最小の動き量を最終の動き量として送出し、ステ
ツプＳＰ２３において当該動き量検出処理手順ＳＰ１０
を終了する。

【００９４】ここで、この実施例の動き量検出方法を用
いる動き量検出装置は、図１４に示すように構成されて
いる。この動き量検出装置９０においては、入力される
オリジナル画像の画像データがブロツク回路９１及び階
層１のフレームメモリ９２に入力される。ブロツク回路
９１は入力画像データを、所定のサイズ（例えば16×16
のブロツクサイズ）で順次ブロツク化し、この結果得ら
れるブロツク化されたオリジナル画像の画像データが、
それぞれ階層１の動き量検出回路９３、階層２及び階層
３の階層化回路９４及び９５に入力される。この階層化
回路９４及び９５は、それぞれ平均値階層化及びアクテ
イビテイ階層化を含んで構成されている。

【００９５】階層２の階層化回路９４で階層化されて得
られる画像データ及びアクテイビテイデータは、フレー
ムメモリ９７と第１及び第２の動き量検出回路９８及び
９９とに入力される。また階層３の階層化回路９５で階
層化されて得られる画像データ及びアクテイビテイデー
タは、フレームメモリ１００及び動き量検出回路１０１
に入力される。このようにしてブロツク化された画像デ
ータが、それぞれの階層１、階層２及び階層３の画像デ
ータとして平均値階層化されると共に、階層２及び階層
３のアクテイビテイデータとしてアクテイビテイ階層化
される。

【００９６】実際の動き量の検出は最上位階層でなる階
層３において、まずフレームメモリ１００に設定された
過去（すなわち１フレーム前）の画像データ及びアクテ
イビテイデータを、サーチ領域に応じてそれぞれサーチ
ブロツク回路１０２に読み出す。次に動き量検出回路１
０１０において、階層化回路９５とサーチブロツク回路
１００との画像データ及びアクテイビテイデータを用い
て、それぞれ評価関数に基づいて評価値を求め、これら
を重み付け係数に応じて重み付けして加算し、この結果
得られる新たな評価関数に基づく評価値を極小とする極
小点を２つ選出し、これらがそれぞれ階層３の２つの動
き量として送出される。

【００９７】この実施例の場合、階層３の動き量検出回
路１０１で得られる２つの動き量は、階層２のサーチブ
ロツク回路１０３、１０４と加算回路１０５、１０６に
それぞれ入力される。階層２においてはフレームメモリ
９７に記憶された画像データ及びアクテイビテイデータ
をサーチブロツク回路１０３及び１０４に読み出す際
に、それぞれ異なる動き量に応じてサーチ領域が動き補
償される。

【００９８】この結果階層２で動き量を検出する場合に
は、動き量検出回路９８、９９において、サーチブロツ
ク回路１０３及び１０４に設定された過去（すなわち１
フレーム前）の画像データ及びアクテイビテイデータ
と、階層化回路９５より入力される現在の画像データ及
びアクテイビテイデータとを用いて、それぞれ評価関数
に基づいて評価値を求める。次にこれの評価値を重み付
け係数に応じて重み付けして加算し、この結果得られる
新たな評価関数に基づく評価値を最小にするもの検出
し、それぞれの動き量として送出する。

【００９９】この階層２の動き量検出回路９８、９９で
得られる動き量は、それぞれ加算回路１０５、１０６に
おいて、階層３の対応する動き量と加算され、階層２の
動き量として、階層１のサーチブロツク回路１０７、１
０８と加算回路１０９、１１０にそれぞれ入力される。
階層１においてはフレームメモリ９２に記憶された画像
データ及びアクテイビテイデータをサーチブロツク回路
１０７及び１０８に読み出す際に、それぞれ異なる動き
量に応じてサーチ領域が動き補償される。

【０１００】この結果階層１で動き量を検出する場合に
は、動き量検出回路９３、９４において、サーチブロツ
ク回路１０７及び１０８に設定された過去（すなわち１
フレーム前）の画像データ及びアクテイビテイデータ
と、ブロツク回路９１より入力される現在の画像データ
及びアクテイビテイデータとを用いて、それぞれ評価関
数に基づいて評価値を求める。次にこれらの評価値を重
み付け係数に応じて重み付けして加算し、この結果得ら
れる新たな評価関数に基づく評価値を最小にするもの検
出し、それぞれの動き量として送出する。

【０１０１】このようにして動き量検出回路９３、９４
でそれぞれ得られる動き量は、加算回路１０９及び１１
０に送出されると共に、判断回路１１１に入力される。
加算回路１０９及び１１０に入力された動き量は、それ
ぞれ階層２の対応する動き量と加算され、階層１の動き
量として選択回路１１２に入力される。判断回路１１１
は入力される動き量のうち最小を与えるものを判断し、
当該最小を与える動き量に基づく、階層１の動き量を選
択回路１１２で選択し、最終的な動き量として送出す
る。

【０１０２】以上の構成によれば、オリジナル画像を平
均値階層化して複数階層の画像データを作成すると共
に、アクテイビテイ階層化して階層毎の画像データの高
周波成分を表すアクテイビテイデータを作成し、それぞ
れの最上位階層でのブロツクマツチングの評価値を算出
し、この評価値を総合判断して得られる最上位階層の新
たな評価値の極小点の位置を複数選択して動き量の候補
とし、その動き量毎に順次下位の階層でのブロツクマツ
チングを行なつて、評価値の最小値から動き量を算出
し、最下位階層の評価値の最小値で最終の動き量を得る
ようにしたことにより、最上位階層における複数の動き
量の候補から、最下位階層までの経緯にそつて総合評価
でき、最終的に動き量の検出精度を格段的に向上し得
る。

【０１０３】（８）他の実施例 （８−１）上述の実施例においては、オリジナル画像よ
り平均値階層化で３階層の画像データを作成した場合に
ついて述べたが、階層数はこれに限らず２階層や４階層
以上でも、上述の実施例と同様の効果を実現できる。ま
た平均値階層化する際、（１）式のように２×２のブロ
ツク範囲で平均値を求めるようにしたが、ブロツク範囲
はこれに限らず、また平均値に限らずローパスフイルタ
等で平滑化するようにして良い。因に、例えばより広範
囲の４×４のブロツク範囲について、フイルタ処理する
場合に、その重み係数を水平及び垂直方向のマトリクス
で表現すると、次式

【数２８】 のように表すことができる。

【０１０４】（８−２）上述の第１実施例では、アクテ
イビテイ階層化する際に、オリジナル画像でなる階層１
の画像データと求める階層の画像データとの差分の絶対
値和によつて、アクテイビテイデータを得るようにした
が、これに代え、階層ｎのアクテイビテイをΔ_n （ｘ、
ｙ）として、次式

【数２９】 で求めるようにしても良い。この場合１つ下位の平均値
階層化された画像データを用いるため、オリジナル画像
より特徴量が欠落した画像データでアクテイビテイデー
タを求めることになるが、（２）及び（３）式の場合と
比較してハード規模は小さくなる。またこの他に階層２
のアクテイビテイデータは、（２）式によつて求め、一
旦アクテイビテイデータが求まると次式

【数３０】 により順次上位階層のアクテイビテイデータを求めるよ
うにしても良い。

【０１０５】（８−３）上述の実施例においては、ブロ
ツクマツチングの評価値を求めるために、（８）式や
（10）式でなる評価関数によつて、両ブロツクの差分の
絶対値和を用いているが、その他にブロツクマツチング
の評価関数を求めるため、差分の２乗和や相関係数を用
いる等を適用するようにしても上述の実施例と同様の効
果を実現できる。

【０１０６】（８−４）上述の第２実施例においては、
平均値階層化して得られる画像データより（12）式に基
づいて標準偏差を計算することにより、アクテイビテイ
階層化して、アクテイビテイデータで求めるようにした
が、これに代え、分散値を用いるようにしても上述の実
施例と同様の効果を実現できる。因に、この場合、上述
した（12）式において、平方根を演算する前の値を使用
すれば良い。

【０１０７】（８−５）上述の第３実施例においては、
階層１及び階層２の画像データについて、ラプラシアン
処理した場合について述べたが、これに代え、ラプラシ
アンフイルタ処理するのは、最下位階層でなるオリジナ
ル画像のみとし、ラプラシアンデータの例えば２×２の
ブロツク内の絶対値の平均値を算出して階層２のアクテ
イビテイデータを作成し、さらに上位のアクテイビテイ
データは、下位のアクテイビテイデータの平均値階層化
によつて作成するようにして良い。

【０１０８】またこれに代え、最下位階層のラプラシア
ンデータにおける小ブロツク内の絶対値の最大値をアク
テイビテイデータとして階層２をアクテイビテイ階層化
し、さらに上位のアクテイビテイ階層化は、下位のアク
テイビテイデータの小ブロツク内での最大値をアクテイ
ビテイデータとするようにしても良い。

【０１０９】さらにまたこれに代え、最下位階層のラプ
ラシアンデータにおける小ブロツクの最大値と最小値の
差、つまりダイナミツクレンジをアクテイビテイデータ
として、階層２をアクテイビテイ階層化し、さらに上位
のアクテイビテイ階層化に関しては、下位のアクテイビ
テイデータの小ブロツク内での最大値をとることでアク
テイビテイデータとするようにしても良い。

【０１１０】（８−６）上述の第４実施例においては、
アクテイビテイ階層化する際にオリジナル画像でなる階
層１の画像データと求める階層の画像データとの最大値
及び最小値の差でなるダイナミツクレンジを用いてアク
テイビテイデータを得るようにしたが、これに代え、階
層ｎのアクテイビテイデータをΔ_n （ｘ、ｙ）として、
次式

【数３１】 で求めるようにしても良い。この場合１つ下位の階層化
された画像データを用いるため、オリジナル画像より特
徴量が欠落した画像データでアクテイビテイデータを求
めることになるが、（17）式及び（18）式の場合と比較
してハード規模は小さくなる。

【０１１１】またこの他に階層２のアクテイビテイデー
タは、（17）式によつて求め、一旦アクテイビテイデー
タが求まると次式

【数３２】 により順次上位階層のアクテイビテイデータを求める方
法もある。またこのようにダイナミツクレンジでアクテ
イビテイ階層化する場合、オリジナル画像の階層化につ
いても平均値階層化に代えて、最大値又は最小値を用い
て階層化するようにしても良い。このようにすれば、ア
クテイビテイ階層化の際の演算量を削減できることによ
り、回路構成を簡略化し得ると共に演算時間を短縮化し
得る。

【０１１２】（８−７）上述の第５実施例においては、
図１０に示したように、階層３の平均値階層化された画
像データを階層２から作成しているが、これに限らず、
階層１において、例えば６×６のブロツクでオーバーラ
ツプさせて平均値階層化するようにしても良い。

【０１１３】（８−８）上述の第５実施例においては、
オーバーラツプさせて平均値をとるようにしたが、この
平均値を演算する際にブロツクの中心画素に重みを多く
持たせて加重平均を演算するようにしても良い。このよ
うに階層画像に隣接ブロツクの影響を弱くかけること
で、動き量の検出の感度を調整することもできる。また
同様に階層１のオリジナル画像に２次元ローパスフイル
タ処理し、隣接画素の影響をある程度加味できるように
前処理した後、階層化については平均値を用いるように
しても良い。また階層画像についてはオーバーラツプさ
せないで平均値階層化により形成し、アクテイビテイ階
層化する際に下位の平均値階層化された画像データにお
いて、オーバーラツプさせたブロツクで差分の絶対値和
の平均値を算出することで作成するようにしても良い。

【０１１４】（８−９）上述の第７実施例においては、
平均値階層化での評価値とアクテイビテイ階層化での評
価値との各々について、複数の極小値を初段の動き量の
候補とした場合について述べたが、これに代え、平均値
階層化での評価値とアクテイビテイ階層化での評価値を
重み付け加算した後に、複数の極小点を検出しその位置
を初段の動き量の候補としても良い。

【０１１５】（８−10）上述の第７実施例においては、
階層２において動き量の候補として最小位置を選択した
が、最上位階層と同様に平均値階層化での評価値とアク
テイビテイ階層化での評価値毎に極小点を複数個選択
し、さらに下位の階層で動き量の検出について分岐を増
やし、最下位階層で全ての評価値のうち最小となる評価
値を検出して、最終的な動き量として送出するようにし
ても良い。

【０１１６】

【発明の効果】上述のように本発明によれば、入力画像
より解像度の異なる複数階層の画像データを形成する際
に、入力画像の所定ブロツクについて周辺ブロツクまで
オーバーラツプさせて階層化し、それぞれ異なる時点の
入力画像に対応した画像データについて、階層毎に所定
ブロツク単位でブロツクマツチングによつて評価値を求
め、階層毎に異なる時点の入力画像間の動き量を検出す
るようにしたことにより、ブロツク完結によつて生じる
誤検出を未然に防止して、各階層における動き量の検出
精度を向上させることができ、簡易な構成かつ短い演算
時間で最終的な入力画像について動き量の検出精度を向
上し得る動き量検出方法及び動き量検出装置を実現でき
る。

【図面の簡単な説明】

【図１】ブロツクマツチングによる動き量検出方法の説
明に供する略線図である。

【図２】実施例による階層画像の説明に供する略線図で
ある。

【図３】実施例による階層画像の説明に供する略線図で
ある。

【図４】実施例による動き量検出処理手順を示すフロー
チヤートである。

【図５】実施例による動き量検出装置の構成を示すブロ
ツク図である、

【図６】図５の動き量検出装置における評価値算出回路
の構成を示すブロツク図である。

【図７】図５の動き量検出装置における動き量検出回路
の構成を示すブロツク図である。

【図８】第４実施例による動き量検出方法の説明として
ラプラシアンフイルタによる前処理を示す略線図であ
る。

【図９】第４実施例による動き量検出装置の説明として
ラプラシアンフイルタの係数の例を示す略線図である。

【図１０】第５実施例の平均値階層化の説明に供する略
線図である。

【図１１】第６実施例による動き量検出方法の説明とし
て最適評価値と近傍評価値の関係を示す略線図である。

【図１２】第６実施例による動き量検出装置として適応
化処理回路の構成を示すブロツク図である。

【図１３】第７実施例による動き量検出方法の説明とし
て動き量検出処理手順を示すフローチヤートである。

【図１４】第７実施例による動き量検出装置の構成を示
すブロツク図である。

【符号の説明】

１、９０……動き量検出装置、２、８、１１、１３、１
５、９１……ブロツク回路、３、９、１２、１４、１
６、９２、９７、１００……フレームメモリ、４、１
９、２０、２６、２７、４０……評価値算出回路、５、
１０……平均値階層化回路、６、７……アクテイビテイ
階層化回路、１７、１８、２４、２５、３１、１０２、
１０３、１０４、１０７、１０８……サーチブロツク回
路、２１、２３、２８、３０、４８、１０５、１０６、
１０９、１１０……加算回路、２２、２９、３２、６
０、９３、９４、９８、９９、１０１……動き量検出回
路、４１……参照ブロツクメモリ、４２……候補ブロツ
クメモリ、４３……メモリコントロール、４４、４５、
４９、６２、６３……レジスタ、４６……減算回路、４
７……絶対値化回路、５０……評価値メモリ、５１……
評価値メモリコントロール、６１……比較器、９５、９
６……階層化回路、１１１……判断回路、１１２……選
択回路。

───────────────────────────────────────────────────── フロントページの続き (72)発明者 堀士 賢 東京都品川区北品川６丁目７番35号ソニ ー株式会社内 (72)発明者 石坂 敏弥 東京都品川区北品川６丁目７番35号ソニ ー株式会社内 (56)参考文献 特開 平５−95544（ＪＰ，Ａ) 特開 平１−233893（ＪＰ，Ａ) 特開 平５−49023（ＪＰ，Ａ) (58)調査した分野(Int.Cl.⁷，ＤＢ名) H04N 7/24 - 7/68

Claims (12)

(57)【特許請求の範囲】
1. 【請求項１】入力画像より解像度の異なる複数階層の画
   像データを形成する際に、上記入力画像の所定ブロツク
   について周辺ブロツクまでオーバーラツプさせて階層化
   する画像階層化ステツプと、 それぞれ異なる時点の上記入力画像に対応して、上記画
   像階層化ステツプで階層化された画像データについて、
   上記階層毎に所定ブロツク単位でブロツクマツチングに
   よつて評価値を求める評価値算出ステツプと、 上記画像データについて、上記評価値算出ステツプで得
   られる上記評価値より、上記階層毎に上記異なる時点の
   上記入力画像間の動き量を検出する動き量検出ステツプ
   とを具えることを特徴とする動き量検出方法。
2. 【請求項２】上位階層の上記画像データについて、上記
   評価値算出ステツプ及び上記動き量検出ステツプを実行
   し、当該実行結果でなる上記上位階層の動き量に基づい
   て、下位階層について上記ブロツクマツチングのブロツ
   クを動き補償して上記評価値算出ステツプ及び動き量検
   出ステツプを実行し、上記上位階層の動き量及び上記下
   位階層の動き量に応じて、最終的に上記入力画像間の動
   き量を検出するようにしたことを特徴とする請求項１に
   記載の動き量検出方法。
3. 【請求項３】上記画像階層化ステツプでは、上記入力画
   像について上記所定ブロツクをオーバーラツプさせて平
   均値を求め、当該平均値に応じて上位階層の上記画像デ
   ータを形成するようにしたことを特徴とする請求項１又
   は請求項２に記載の動き量検出方法。
4. 【請求項４】上記画像階層化ステツプでは、上記入力画
   像について上記所定ブロツクをオーバーラツプさせてフ
   イルタ処理し、当該フイルタリング結果に応じて上位階
   層の上記画像データを形成するようにしたことを特徴と
   する請求項１又は請求項２に記載の動き量検出方法。
5. 【請求項５】上記画像階層化ステツプでは、上記入力画
   像について上記所定ブロツクをオーバーラツプさせて最
   大値又は最小値を求め、当該最大値又は最小値に応じて
   上位階層の上記画像データを形成するようにしたことを
   特徴とする請求項１又は請求項２に記載の動き量検出方
   法。
6. 【請求項６】上記複数階層の上記画像データに基づい
   て、当該階層毎の画像データの高周波成分を表す複数階
   層のアクテイビテイデータを形成するアクテイビテイ階
   層化ステツプを具え、上記評価値算出ステツプで、それ
   ぞれ異なる時点の上記入力画像に対応して、上記画像階
   層化ステツプで階層化された画像データ及び上記アクテ
   イビテイ階層化ステツプで階層化されたアクテイビテイ
   データについて、階層毎に所定ブロツク単位でブロツク
   マツチングによる評価値を求め、上記動き量検出ステツ
   プで、上記画像データ及び上記アクテイビテイデータに
   ついて、上記評価値算出ステツプで得られる各評価値を
   総合判定して、階層毎に上記異なる時点の上記入力画像
   の動き量を検出するようにしたことを特徴とする請求項
   １又は請求項２に記載の動き量検出方法。
7. 【請求項７】入力画像より解像度の異なる複数階層の画
   像データを形成する際に、上記入力画像の所定ブロツク
   について周辺ブロツクまでオーバーラツプさせて階層化
   する画像階層化手段と、 それぞれ異なる時点の上記入力画像に対応して、上記画
   像階層化手段で階層化された画像データについて、上記
   階層毎に所定ブロツク単位でブロツクマツチングによつ
   て評価値を求める評価値算出手段と、 上記画像データについて、上記評価値算出手段で得られ
   る上記評価値より、上記階層毎に上記異なる時点の上記
   入力画像間の動き量を検出する動き量検出手段とを具え
   ることを特徴とする動き量検出装置。
8. 【請求項８】上位階層の上記画像データについて、上記
   評価値算出手段及び上記動き量検出手段を実行し、当該
   実行結果でなる上記上位階層の動き量に基づいて、下位
   階層について上記ブロツクマツチングのブロツクを動き
   補償して上記評価値算出手段及び動き量検出手段を実行
   し、上記上位階層の動き量及び上記下位階層の動き量に
   応じて、最終的に上記入力画像間の動き量を検出するよ
   うにしたことを特徴とする請求項７に記載の動き量検出
   装置。
9. 【請求項９】上記画像階層化手段では、上記入力画像に
   ついて上記所定ブロツクをオーバーラツプさせて平均値
   を求め、当該平均値に応じて上位階層の上記画像データ
   を形成するようにしたことを特徴とする請求項７又は請
   求項８に記載の動き量検出装置。
10. 【請求項１０】上記画像階層化手段では、上記入力画像
    について上記所定ブロツクをオーバーラツプさせてフイ
    ルタ処理し、当該フイルタリング結果に応じて上位階層
    の上記画像データを形成するようにしたことを特徴とす
    る請求項７又は請求項８に記載の動き量検出装置。
11. 【請求項１１】上記画像階層化手段では、上記入力画像
    について上記所定ブロツクをオーバーラツプさせて最大
    値又は最小値を求め、当該最大値又は最小値に応じて上
    位階層の上記画像データを形成するようにしたことを特
    徴とする請求項７又は請求項８に記載の動き量検出装
    置。
12. 【請求項１２】上記複数階層の上記画像データに基づい
    て、当該階層毎の画像データの高周波成分を表す複数階
    層のアクテイビテイデータを形成するアクテイビテイ階
    層化手段を具え、上記評価値算出手段で、それぞれ異な
    る時点の上記入力画像に対応して、上記画像階層化手段
    で階層化された画像データ及び上記アクテイビテイ階層
    化手段で階層化されたアクテイビテイデータについて、
    階層毎に所定ブロツク単位でブロツクマツチングによる
    評価値を求め、上記動き量検出手段で、上記画像データ
    及び上記アクテイビテイデータについて、上記評価値算
    出手段で得られる各評価値を総合判定して、階層毎に上
    記異なる時点の上記入力画像の動き量を検出するように
    したことを特徴とする請求項７又は請求項８に記載の動
    き量検出装置。