JP3553570B2 - 動き量検出方法及び動き量検出装置 - Google Patents
動き量検出方法及び動き量検出装置 Download PDFInfo
- Publication number
- JP3553570B2 JP3553570B2 JP02740994A JP2740994A JP3553570B2 JP 3553570 B2 JP3553570 B2 JP 3553570B2 JP 02740994 A JP02740994 A JP 02740994A JP 2740994 A JP2740994 A JP 2740994A JP 3553570 B2 JP3553570 B2 JP 3553570B2
- Authority
- JP
- Japan
- Prior art keywords
- motion
- motion amount
- value
- image data
- evaluation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Images
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
Description
【０００１】
【目次】
以下の順序で本発明を説明する。
産業上の利用分野
従来の技術
発明が解決しようとする課題
課題を解決するための手段（図１３及び図１４）
作用（図１３及び図１４）
実施例（図１〜図１４）
（１）第１実施例の動き量検出方法及び装置（図１〜図７）
（２）第２実施例の動き量検出方法及び装置（図３、図５）
（３）第３実施例の動き量検出方法及び装置（図５、図８、図９）
（４）第４実施例の動き量検出方法及び装置（図５）
（５）第５実施例の動き量検出方法及び装置（図１０）
（６）第６実施例の動き量検出方法及び装置（図１１、図１２）
（７）第７実施例の動き量検出方法及び装置（図１３、図１４）
（８）他の実施例（図１０）
発明の効果
【０００２】
【産業上の利用分野】
本発明は動き量検出方法及び動き量検出装置に関し、特に画像の動きを検出する際に時間的に異なる２つの画像データをそれぞれ階層化してから動き量を検出するものに適用し得る。
【０００３】
【従来の技術】
従来、動画像の処理として、動き量（動きベクトル）すなわち時間的に異なる画像中の物体の動き方向と大きさ（又は速さ）を用いるものがある。例えば画像の高能率符号化における動き補償フレーム間符号化や、フレーム間時間領域フイルタによるテレビジヨン雑音低減装置における動きによるパラメータ制御等に動き量が用いられる。この画像の動き量を求める動き量検出方法として、ブロツクマツチング法が用いられる（特公昭５４−１２４９２７ 号公報）。
【０００４】
このブロツクマツチング法では、まず１つの画面を適当な数画素からなるブロツクに分割する。続いてこのようにブロツク化された画像データと、この画像データが動いた領域を検索するために時間的に異なる画面の画像データがブロツク化されてなるサーチ領域との間で、所定の評価関数を用いて画素単位で評価し、この評価値を最小とする最適値を求めることにより、２つのブロツク化された画像データ間の動き量を検出する。これにより高い精度で画像の動き量を検出し得るようになされている。
【０００５】
【発明が解決しようとする課題】
ところがブロツクマツチング法においては、検出対象のブロツクの全ての画素に対して、検出範囲となる全てのサーチ領域をくまなくサーチし、その差分を求める必要がある。このため動き量を検出する計算量が大きくなり、装置自体が大型化したり、演算時間が長くなる問題があつた。このような問題を解決するため、オリジナル画像を複数の解像度で階層化し、この階層画像を用いてブロツクマツチング法で動き量を検出するようになされた動き量検出方法が提案されている（特願平５−２４４８８１４ 号）。
【０００６】
この動き量検出方法では、まずオリジナルの画像データ（以下、階層１と呼ぶ）を、平均化やローパスフイルタ処理等で平均値階層化して、画素数を低減した画像データ（以下、階層２と呼ぶ）を作成する。次に作成した階層２の画像データで大まかな動き量を検出し、その動き量に基づいて階層１の画像データについて細かい動き量検出を行うことにより、少ない計算量で動き量を検出し得るようになされている。なおここでの階層数は２階層に限らず、順次平均値階層化を繰り返すことにより、さらにデータ量の少ない階層３、階層４、……の画像データを作成することもできる。
【０００７】
このような動き量検出方法を用いれば、階層数が多くなる程少ない計算量で動き量を求めることができる。すなわちより上位階層の画像データほどブロツクのサイズとサーチエリアが小さくなるため、評価関数による演算量は必然的に小さくなる。最終的に動き量を求める最下位階層での評価は、ブロツクサイズ自体通常のブロツクマツチング法と同じになるが、上位階層の画像データで求めた動き量に応じて動き補償して、サーチ領域を小さくすることができるため、演算量を削減することができる。
【０００８】
ところがこの動き量検出方法においては、階層数が多くなる程動き量の検出精度が劣化する問題があつた。実際上この動き量検出方法では、まず画像の粗い上位階層においてブロツク毎の動き量を検出し、この検出結果に基づいて下位階層において動き量を検出するため、上位階層での検出結果が下位階層での動き量検出に大きな影響を与える。すなわち上位階層の画像データは、平均値階層化の処理でブロツクサイズを小さくするため、画像の特徴量が最下位階層のオリジナル画像と異なつてくる。特にエツジ成分は平均値階層化により失われることになるため、平均値階層化された画像データにおける動き量とオリジナル画像による動き量の対応関係がずれる場合が生じる。
【０００９】
実際上現在の階層より下位の階層で動き量を求める場合、上位階層での動き量の結果を反映させるため、もし対応関係のずれ量が大きくサーチ領域以内でカバーできなかつたときには誤動作となる。従つて平均値階層化された画像データによる動き量検出方法では、平均値階層化による情報量の欠落により、誤動作が起きる可能性が大きくなる問題がある。また階層が上位になるほどブロツクサイズが小さくなることから、平均値階層化された画像データ上での動き量検出は、オリジナル画像に対する動き量検出の分解能が低下して誤動作が発生する問題もある。
【００１０】
本発明は以上の点を考慮してなされたもので、階層化された画像データを用いてブロツクマツチング法で動き量を検出する際に、動き量の検出精度を向上し得る動き量検出方法及び動き量検出装置を提案しようとするものである。
【００１１】
【課題を解決するための手段】
かかる課題を解決するため本発明においては、入力画像より生成された解像度の異なる複数階層の画像データに基づいて、動き量を検出する動き量検出方法において、それぞれ異なる時点の入力画像に対応する階層化された解像度の異なる複数階層の画像データに基づいて、当該階層毎の画像データの高周波成分を表す複数階層のアクテイビテイデータを形成するアクテイビテイ階層化ステツプと、上位階層から階層毎に、画像データについて所定ブロツク単位でブロツクマツチングによつて第１の評価値を求める第１の評価値算出ステツプと、上位階層から階層毎に、アクテイビテイデータについて所定ブロツク単位でブロツクマツチングによつて第２の評価値を求める第２の評価値算出ステツプと、上位階層の第１及び第２の評価値算出ステツプで得られた第１及び第２の評価値のうち最小値及び／又は極小値となる当該第１及び第２の評価値に基づいて複数の上位階層動き量を動き量候補として検出し、上位階層よりも下位の階層毎に第１及び第２の評価値算出ステツプで得られた第１及び第２の評価値に基づいて、複数の上位階層動き量にそれぞれ対応する階層毎動き量を検出して当該対応する上位階層動き量と順次演算することにより下位階層で複数の演算結果動き量を検出し、当該下位階層の第１の評価値に基づいて複数の演算結果動き量のうち１つの当該演算結果動き量を最終的に異なる時点の入力画像間の動き量として検出する動き量検出ステツプとを設けるようにした。
【００１２】
また本発明においては、入力画像より生成された解像度の異なる複数階層の画像データに基づいて、動き量を検出する動き量検出装置１、９０において、それぞれ異なる時点の入力画像に対応する階層化された解像度の異なる複数階層の画像データに基づいて、当該階層毎の画像データの高周波成分を表す複数階層のアクテイビテイデータを形成するアクテイビテイ階層化手段６、７、９５、９６と、上位階層から階層毎に、画像データについて所定ブロツク単位でブロツクマツチングによつて第１の評価値を求める第１の評価値算出手段１９、２６、４、１０３、１０７と、上位階層から階層毎に、アクテイビテイデータについて所定ブロツク単位でブロツクマツチングによつて第２の評価値を求める第２の評価値算出手段２０、２７、１０１、１０４、１０８と、上位階層の第１及び第２の評価値算出手段１９、２６、１０３及び２０、２７、１０１、１０４で得られた第１及び第２の評価値のうち最小値及び／又は極小値となる当該第１及び第２の評価値に基づいて複数の上位階層動き量を動き量候補として検出し、上位階層よりも下位の階層毎に第１及び第２の評価値算出手段２６、４、１０７及び２７、１０４、１０８で得られた第１及び第２の評価値に基づいて、複数の上位階層動き量にそれぞれ対応する階層毎動き量を検出して当該対応する上位階層動き量と順次演算することにより下位階層で複数の演算結果動き量を検出し、当該下位階層の第１の評価値に基づいて複数の演算結果動き量のうち１つの当該演算結果動き量を最終的に異なる時点の入力画像間の動き量として検出する動き量検出手段２９、３２、９８、９９、９３、９４とを設けるようにした。
【００１３】
【作用】
この場合、階層構造のアクテイビテイデータが、入力画像を階層化したときに画像データ中で欠落する特徴量を反映するものであり、上位階層から階層毎に画像データとアクテイビテイデータとの両方を用いて評価値を算出することで、一方の階層の最適評価値が誤検出であつても、もう一方の階層の評価値で正しい動き量を検出して各階層における動き量の検出精度を向上させることができる。
【００１４】
【実施例】
以下図面について、本発明の一実施例を詳述する。
【００１５】
（１）第１実施例の動き量検出方法及び装置
この第１実施例の動き量検出方法では、オリジナル画像について平均値階層化の手法によつて複数階層の画像データを形成すると共に、各階層の高周波成分（以下アクテイビテイと呼ぶ）を表すデータについても階層化（以下これをアクテイビテイ階層化とよぶ）してアクテイビテイデータを形成し、階層毎にこれらを用いて動き量を検出するものである。
【００１６】
実際上それぞれ階層化された画像データとアクテイビテイデータについては、上位階層から順にブロツクマツチング法で評価値を求め、これらを総合判断することにより、その階層の動き量を求める。この動き量を順次下位階層の評価値を求める際に動き補償して参照することにより、最終的にオリジナル画像の動き量を検出する。
【００１７】
ここで動き量検出とは、図１に示すように現在のフイールド（又はフレーム）Ｆ１上のブロツクＢ１が過去のフイールド（又はフレーム）Ｆ２上のサーチエリアＳＡ内のどのブロツクＢ２と一致するかを、評価関数で評価して当該評価値に最小を与える位置を動き量として検出する。階層化された画像データを用いた動き量検出方法では、現在及び過去の両フイールドのオリジナル画像の他に階層化された画像データが必要となる。
【００１８】
階層化された画像データを生成する例を、図２に示す。図２（Ａ）はオリジナル画像について３階層に階層化された画像データを生成する場合で、階層１はオリジナル画像である。オリジナル画像上のブロツク（例えば１６×１６）より上位階層の画像データ、階層ｎにおける画像データをＭｎ （ｘ、ｙ）とすると、次式
【数１】
のように平均値化によつて求めることができ、ブロツクサイズは水平及び垂直方向にそれぞれ１／２になる。またこのように平均値階層化された階層１の画像データから階層２の画像データを生成するときも、（１）式により同様に求めることができる。
【００１９】
従来の画像を階層化してなる階層画像を用いた動き量検出方法では、図２（Ａ）の平均値階層化しか行わないが、この実施例では（１）式により平均値階層化された画像データを生成すると同時に、図２（Ｂ）に示すように、平均値階層化された画像データについてアクテイビテイ階層化してアクテイビテイデータを生成する。階層２のアクテイビテイデータをΔ２ （ｘ、ｙ）とすると、このアクテイビテイデータΔ２ （ｘ、ｙ）は、平均値階層化された画像データからオリジナル画像の対応する画素の差分の絶対値和によつて、次式
【００２０】
【数２】
で求め、同様に階層３のアクテイビテイデータΔ３ （ｘ、ｙ）は、次式
【数３】
で求める。アクテイビテイデータとして、全てオリジナル画像を基底にして求めるようにしたことにより、オリジナル画像に忠実な高周波成分を抽出し得るようになされている。
【００２１】
このようにしてアクテイビテイデータを求めると、その階層構造は図２（Ｂ）に示すようになり、最下位階層以外での階層プレーンを持つことになる。このアクテイビテイデータは、平均値階層化したときに画像データ中で欠落する特徴量を反映していることになる。
【００２２】
ここで例えば図３に示すようなオリジナル画像中の画像データの４×４の画素ｘ１、ｘ２、……、ｘ１５、ｘ１６でなるブロツクを階層１として階層化する場合、平均値階層化の階層２の画像データ中の画素ｙ１、ｙ２、ｙ３、ｙ４は（１）式に基づいて、次式
【数４】
によつて求め、さらにこの階層２の２×２の画素を用いて、平均値階層化した階層３の画像データ中の画素ｚ１も（１）式に基づいて、次式
【数５】
により求める。
【００２３】
また同様にして、アクテイビテイ階層化してなる階層２のアクテイビテイデータは、平均値階層化された階層２の画像データの画素ｙ１、ｙ２、ｙ３、ｙ４と階層１の画像データの画素ｘ１、ｘ２、……、ｘ１５、ｘ１６を用いて、（２）式に基づいて、次式
【数６】
により求め、さらにアクテイビテイ階層化してなる階層３のアクテイビテイデータは、平均値階層化された階層３の画像データの画素ｚ１と階層１の画像データの画素ｘ１、ｘ２、……、ｘ１５、ｘ１６を用いて、（３）式に基づいて、次式
【数７】
により求める。
【００２４】
上述のようにして求めた平均値階層化した画像データとアクテイビテイ階層化したアクテイビテイデータを用いて、各階層でブロツクマツチング法による動き量検出を行う。すなわちブロツクマツチングの評価関数は、現フイールドをｔで表すと、次式
【数８】
で表される。ただし（ｕｎ 、ｖｎ ）は、階層ｎでの動き量を示す。この評価関数Ｅ（Ｙ）ｎ の最小を与えるＶ′ｎ ＝（ｕｎ 、ｖｎ ）を求める動き量とする。現在の階層における動き量Ｖｎ は、次式
【数９】
という関係から、最終的な動き量を求めることができる。
【００２５】
この実施例の場合の評価関数とは、図２（Ｂ）のアクテイビテイデータについても（８）式と同様に、次式
【数１０】
となる評価を行い、新たな評価関数Ｅ（Ｇ）ｎ を、次式
【数１１】
とする。ただしｗ１ 、ｗ２ は重み係数である。そして評価関数Ｅ（Ｇ）ｎ の最小を与える動き量を求める。なお最下位階層ではアクテイビテイデータが存在しないため、（８）式の評価関数Ｅ（Ｙ）ｎ のみによる評価を行う。
【００２６】
このように平均値階層化された画像データとアクテイビテイ階層化されたアクテイビテイデータの両者を用いて評価することにより、一方の階層の最適評価値が誤検出であつても、もう一方の評価値で正しい検出ができるようになり、各階層における動き量検出の精度が向上する。このように各階層における動き量検出精度が向上すると、（９）式で求める最終的な動き量も検出精度を向上することができる。
【００２７】
ここでこの実施例における動き量検出処理手順ＳＰ０を図３に示す。すなわちまずステツプＳＰ１において、比較する２画面のオリジナル画像をブロツク化し、次のステツプＳＰ２でブロツク化されたオリジナル画像を、（１）式に従つて平均値階層化すると共に、（２）式及び（３）式に従つてアクテイビテイ階層化して、例えば階層１、階層２及び階層３の画像データと階層２及び階層３のアクテイビテイデータを生成する。
【００２８】
続くステツプＳＰ３では現在処理済みの階層が最下位階層か否か判断し、否定結果の場合にはステツプＳＰ４で全サーチ領域について探索終了か否か判断し、ここで否定結果を得るとステツプＳＰ５で画像データ及びアクテイビテイデータの現在及び過去のデータを用いて、（８）式及び（１０）式について上述した評価関数Ｅ（Ｙ）ｎ 及びＥ（Ｄ）ｎ による評価を行い、ステツプＳＰ４に戻る。
【００２９】
やがてステツプＳＰ４で肯定結果を得ると、ステツプＳＰ６に移つて所定階層の画像データ及びアクテイビテイデータについて求めた評価関数Ｅ（Ｙ）ｎ及びＥ（Ｄ）ｎを用いて（11）式より得られる新たな評価関数Ｅ（Ｇ）ｎによる評価を行つて最適評価値を求めステツプＳＰ７に移る。ステツプＳＰ７では最適評価値より動き量を決定し、次のステツプＳＰ８で動き量を加算して、それぞれ下位階層に適用し、ステツプＳＰ３に戻る。やがてこのステツプＳＰ３で肯定結果を得ると、ステツプＳＰ９に移つて当該動き量検出方法の処理手順ＳＰ０を終了する。
【００３０】
このようにサーチ領域内の探索を、最上位階層から始め平均値階層化された画像データとアクテイビテイ階層化されたアクテイビテイデータの評価値を（11）式により総合判定しながら最適な動き量を求め、（９）式によつて求めた動き量を下位階層に適用しながら最下位階層まで処理を繰り返し行い、最終的な動き量を求める。これにより平均値階層化の画像データのみより求めた動き量に比較して、各階層の高周波成分でなるアクテイビテイデータより求めた評価値を加味して動き量を求めるようにしたことにより、平均値化による誤判定を有効に防止して高い精度で動き量を検出し得る。
【００３１】
ここで、この実施例の動き量検出方法を用いる動き量検出装置は、図５に示すように構成されている。この動き量検出装置１においては、入力されるオリジナル画像の画像データがブロツク回路２に入力され、所定のサイズ（例えば１６×１６のブロツクサイズに対してサーチ領域を含むサイズでなる）で順次ブロツク化される。この結果ブロツク化されたオリジナル画像の画像データは、それぞれ階層１のフレームメモリ３及び評価値算出回路４、階層２の平均値階層化回路５、アクテイビテイ階層化回路６、階層３のアクテイビテイ階層化回路７に入力される。
【００３２】
階層２の平均値階層化回路５では、入力されるオリジナル画像の画像データの所定ブロツク分について、（１）式の演算による平均値階層化処理を実行して階層２の画像データを求める。この結果得られる階層２の画像データは、それぞれ階層２のブロツク回路８、フレームメモリ９及びアクテイビテイ階層化回路６、階層３の平均値階層化回路１０に入力される。
【００３３】
階層２のアクテイビテイ階層化回路６では、入力されるオリジナル画像の画像データと階層２の画像データを用いて、（２）式の演算によるアクテイビテイ階層化処理を実行して階層２のアクテイビテイデータを求める。この結果得られる階層２のアクテイビテイデータは、それぞれ階層２のブロツク回路１１及びフレームメモリ１２に入力される。
【００３４】
階層３の平均値階層化回路１０では、入力される階層２の画像データを用いて、（１）式の演算による平均値階層化処理を実行して階層３の画像データを求める。この結果得られる階層３の画像データは、それぞれ階層３のブロツク回路１３、フレームメモリ１４及びアクテイビテイ階層化回路７に入力される。
【００３５】
階層３のアクテイビテイ階層化回路７では、入力されるオリジナル画像の画像データと階層３の画像データを用いて、（３）式の演算によるアクテイビテイ階層化処理を実行して階層３のアクテイビテイデータを求める。この結果得られる階層３のアクテイビテイデータは、それぞれ階層３のブロツク回路１５及びフレームメモリ１６に入力される。
【００３６】
このようにしてブロツク化された画像データが、図２について上述したように、それぞれの階層１、階層２及び階層３の画像データとして平均値階層化されると共に、階層２及び階層３のアクテイビテイデータとしてアクテイビテイ階層化される。
【００３７】
実際の動き量の検出は最上位階層でなる階層３において、まずフレームメモリ１４及び１６に設定された過去（すなわち１フレーム前）の画像データ及びアクテイビテイデータを、サーチ領域に応じてそれぞれサーチブロツク回路１７及び１８に読み出す。次に評価値算出回路１９及び２０において、ブロツク回路１３及び１５とサーチブロツク回路１７及び１８との画像データ及びアクテイビテイデータを用いて、それぞれ（８）式及び（１０）式の評価関数Ｅ（Ｙ）３ 及びＥ（Ｄ）３ に基づいて評価値を求める。この評価値は加算回路２１において、（１１）式に示すように、重み係数ｗ１ 、ｗ２ に応じて所定の重み付けして加算し、この結果得られる新たな評価関数Ｅ（Ｇ）３ に基づく評価値が動き量検出回路２２に入力される。
【００３８】
ここでこの実施例の場合、評価値算出回路１９、２０は図６に示すような回路４０で構成されている。すなわち評価値算出回路４０においては、それぞれブロツク回路１３、１５に対応する参照ブロツクメモリ４１と、サーチブロツク回路１７、１８に対応する候補ブロツクメモリ４２を有し、この参照ブロツクメモリ４１及び候補ブロツクメモリ４２の内容が、メモリコントロール４３で指定されたアドレスの順に読み出され、それぞれレジスタ４４及び４５を通じて減算回路４６で減算される。この結果得られる差分データは絶対値化回路４７で絶対値化され、加算回路４８及びレジスタ４９で累積加算される。
【００３９】
この累積加算結果が評価値メモリ５０に、評価値メモリコントロール５１より指定されたアドレスの順に従つて入力される。このようにして（８）式及び（１０）式の演算が評価値算出回路４０で実行され、この結果得られる評価値が評価値メモリ５０に入力される。なお実際階層２及び階層３では、平均値階層化された画像データについての評価値と、アクテイビテイ階層化されたアクテイビテイデータについての評価値が、重み付けされて加算されて評価値メモリ５０に記憶される。
【００４０】
またこの実施例の場合、動き量検出回路２２は図７に示すような回路６０で構成されている。すなわち動き量検出回路６０では、図６で上述したように評価値が記憶された評価値メモリ５０が、順次評価値メモリコントロール５１より指定されたアドレスに従つて読み出され、比較器６１及びレジスタ６２に入力される。比較器６１は他方の入力と評価値メモリ５０より読み出された評価値を順次比較し、このうち入力された評価値が小さいとき、レジスタ６２及び６３の内容を更新する信号を送出する。
【００４１】
このレジスタ６３には、評価値メモリ５０を読み出すアドレスが順次設定される。このようにして順次評価値メモリ５０に記憶された評価値が評価され、そのうちの評価値の最小を与えるアドレスがレジスタ６３より送出され、これが動き量検出回路６０の出力、すなわち動きベクトルでなる動き量ＭＶとして出力される。
【００４２】
ここでこの動き量検出装置１の場合、階層３の動き量検出回路２２で得られる動き量は、階層２の画像データのフレームメモリ９及びアクテイビテイデータのフレームメモリ１２に与えられ、この動き量によつてサーチ領域が動き補償される。すなわち階層２の動き量を検出する場合には、フレームメモリ９及び１２に設定された過去（すなわち１フレーム前）の画像データ及びアクテイビテイデータを、動き補償されたサーチ領域に応じてそれぞれサーチブロツク回路２４及び２５に読み出す。
【００４３】
次に評価値算出回路２６及び２７は、ブロツク回路８及び１１とサーチブロツク回路２４及び２５との過去及び現在の画像データ及びアクテイビテイデータを用いて、それぞれ（８）式及び（１０）式の評価関数Ｅ（Ｙ）２ 及びＥ（Ｄ）２ に基づいて評価値を求める。この評価値は加算回路２８において、（１１）式に示すように、重み係数ｗ１ 、ｗ２ に応じて所定の重み付けされて加算され、この結果得られる新たな評価関数Ｅ（Ｇ）２ に基づく評価値が、動き量検出回路２９に入力される。この結果動き量検出回路２９で得られる動き量が加算回路２３で、（９）式に示すように、階層３の動き量と加算され階層２の動き量として送出される。なおこの評価値算出回路２６及び２７、動き量検出回路２９も、図６及び図７の評価値算出回路４０及び動き量検出回路６０と同様に構成されている。
【００４４】
このようにして階層２で得られる動き量は、階層１の画像データのフレームメモリ３に与えられ、この動き量によつてサーチ領域が動き補償される。すなわち階層１の動き量検出においては、フレームメモリ３に設定された過去（すなわち１フレーム前）の画像データを、動き補償されたサーチ領域に応じてサーチブロツク回路３１に読み出す。次に評価値算出回路４は、ブロツク回路２とサーチブロツク回路３１との画像データを用いて、それぞれ（８）式の評価関数Ｅ（Ｙ）１ に基づいて評価値を求める。
【００４５】
この評価値が動き量検出回路３２に入力され、この結果得られる階層１の動き量が加算回路３０で、（９）式に示すように、階層２の動き量と加算され、このようにしてオリジナル画像の動き量が検出され、動き量検出装置１の出力として送出される。なおこの評価値算出回路４、動き量検出回路３２も、図６及び図７の評価値算出回路４０及び動き量検出回路６０と同様に構成されている。
【００４６】
このようにして画像を複数の解像度で階層化し、この階層画像を用いてブロツクマツチング法で動き量を検出する際、アクテイビテイ階層化したアクテイビテイデータについて求めた評価値を階層毎の評価の対象とするようにしたことにより、少ない計算量で動き量を高い精度で検出し得る。因に実験によれば、オリジナル画像について全てくまなくブロツクマツチングによつて、フルサーチする場合に比較して、１／１０程度の正規化ハード量で同様のＳＮを得られることが分かつた。
【００４７】
以上の構成によれば、オリジナル画像を平均値階層化すると共に差分の絶対値和によるアクテイビテイ階層化し、この結果得られる複数階層の画像データとアクテイビテイデータについて、それぞれ階層毎に最上位階層より順次ブロツクマツチングによつて評価し、同一階層上でこれらを総合的に判定することにより、各階層における動き量の誤検出を未然に防止することができ、かくして簡易な構成かつ短い演算時間で、最終的なオリジナル画像について動き量の検出精度を格段的に向上し得る。
【００４８】
（２）第２実施例の動き量検出方法及び装置
上述の第１実施例では、アクテイビテイ階層化する際に差分の絶対値和の平均値を用いたが、この第２実施例ではアクテイビテイ階層化する際に、標準偏差又は分散値を用いてアクテイビテイデータを作成する。すなわち平均値階層化については、上述と同様の処理により作成し、図２に示すように、階層２のアクテイビテイ階層化については、平均値階層化された画像データから、次式
【数１２】
に基づく標準偏差を計算することで求める。
【００４９】
また階層３のアクテイビテイ階層化については、階層３の平均値階層化された画像データから階層２の平均値階層化された画像データから、次式
【数１３】
に基づく標準偏差を計算することで求める。または階層３の平均値階層化された画像データから、階層１のオリジナル画像を見て、次式
【数１４】
のように標準偏差を計算するようにしても良い。
【００５０】
ここで例えば図３に上述したようなオリジナル画像中の画像データの４×４の画素ｘ１、ｘ２、……、ｘ１５、ｘ１６でなるブロツクを階層１として階層化する場合、まず平均値階層化として階層２の画像データ中の画素ｙ１、ｙ２、ｙ３、ｙ４は、（１）式に基づく（４）式によつて求め、さらにこの階層２の画像データ中の２×２の画素を用いて、階層３の画像データ中の画素ｚ１も、（１）式に基づく（５）式により求める。
【００５１】
次にアクテイビテイ階層化として階層２のアクテイビテイデータは、平均値階層化された階層２の画像データ中の画素ｙ１、ｙ２、ｙ３、ｙ４と、階層１の画像データ中の画素ｘ１、ｘ２、……、ｘ１５、ｘ１６を用いて、（１２）式に基づく、次式
【数１５】
により求め、さらにアクテイビテイ階層化として階層３の画像は、平均値階層化された階層３の画像データ中の画素ｚ１と階層１の画像データ中の画素ｘ１、ｘ２、……、ｘ１５、ｘ１６を用いて、（１４）式に基づく、次式
【数１６】
により求める。この第２実施例の動き量検出装置も、図５の動き量検出装置１と同様で、アクテイビテイ階層化回路６、７において、上述したように標準偏差によるアクテイビテイデータを求める。
【００５２】
以上の構成によれば、平均値階層化された画像データ及び標準偏差でアクテイビテイ階層化されたアクテイビテイデータについて、それぞれ階層毎に最上位階層より順次ブロツクマツチングによつて評価し、同一階層上でこれらを総合的に判定することにより、各階層における動き量の誤検出を未然に防止することができ、かくして最終的にオリジナル画像について、動き量の検出精度を格段的に向上し得る。
【００５３】
さらに上述の構成によれば、アクテイビテイ階層化として差分の絶対値和の平均値に代えて、標準偏差を用いるようにしたことより、アクテイビテイデータとしてよりオリジナル画像の高周波成分について特徴量を保存したデータを得ることができ、各階層における動き量の誤検出を一段と有効に防止することができる。
【００５４】
（３）第３実施例の動き量検出方法及び装置
上述の第１実施例及び第２実施例では、アクテイビテイ階層化する際に、差分の絶対値和の平均値を用いたり、標準偏差を用いた場合について述べたが、この第３実施例では、ラプラシアンフイルタを前処理に用いて画像の高周波成分を抽出した後に、アクテイビテイ階層化してアクテイビテイデータを生成する。
【００５５】
すなわち、図８に示すように、第１実施例で平均値階層化された画像データ（図８（Ａ））から、まず各階層毎にラプラシアンフイルタ処理によつてラプラシアンデータ（図８（Ｂ））を作成する。このラプラシアンデータにおいて、平均値階層化による画像データの作成と同様に例えば２×２の小ブロツクに分割し、小ブロツク内のラプラシアンデータの絶対値の平均値を算出して、アクテイビテイ階層化しアクテイビテイデータ（図８（Ｃ））を作成する。
【００５６】
ここでラプラシアンフイルタとしては、図９（Ａ）に示すように、画面の垂直及び水平方向の微分を考慮した値が設定された３×３の係数フイルタや、図９（Ｂ）に示すように、斜め方向を考慮した値が設定された３×３の係数フイルタが用いられる。この第３実施例の動き量検出装置も、図５の動き量検出装置１と同様で、アクテイビテイ階層化回路６、７において、上述したようにラプラシアンフイルタ処理で前処理して、アクテイビテイ階層化してアクテイビテイデータを求める。
【００５７】
以上の構成によれば、平均値階層化された画像データ及びラプラシアンフイルタ処理で前処理されてアクテイビテイ階層化されたアクテイビテイデータについて、それぞれ階層毎に最上位階層より順次ブロツクマツチングによつて評価し、同一階層上でこれらを総合的に判定することにより、各階層における動き量の誤検出を未然に防止することができ、かくして最終的にオリジナル画像について、動き量の検出精度を格段的に向上し得る。
【００５８】
さらに上述の構成によれば、アクテイビテイ階層化の前にラプラシアンフイルタ処理で前処理するようにしたことにより、アクテイビテイデータとしてよりオリジナル画像の高周波成分について特徴量を保存したデータを得ることができ、各階層における動き量の誤検出を一段と有効に防止することがでる。
【００５９】
（４）第４実施例の動き量検出方法及び装置
上述の第１〜第３実施例では、アクテイビテイ階層化する際に、差分の絶対値和の平均値を用いたり、標準偏差を用いたり、さらにオリジナル画像についてラプラシアン処理を前処理として施した場合について述べたが、この第４実施例では、オリジナル画像の最大値と最小値の差で定義されるダイナミツクレンジを用いて、アクテイビテイ階層化してアクテイビテイデータを生成する。
【００６０】
このアクテイビテイ階層化の場合、階層２のアクテイビテイデータをΔ２ （ｘ、ｙ）とすると、このアクテイビテイデータΔ２ （ｘ、ｙ）は、平均値階層化された画像データから、オリジナル画像の対応する画素の最大値及び最小値の差でなるダイナミツクレンジを用いて、次式
【数１７】
で求め、同様に階層３のアクテイビテイデータΔ３ （ｘ、ｙ）は、次式
【数１８】
で求める。アクテイビテイデータとして、全てオリジナル画像を基底にして求めるようにしたことにより、オリジナル画像に忠実な高周波成分を抽出し得るようになされている。
【００６１】
上述のようにダイナミツクレンジを用いてアクテイビテイ階層化することにより、結果的に得られるアクテイビテイデータとしては、平均値階層化したときに欠落する特徴量を反映していることになる。この第４実施例の動き量検出装置も、図５の動き量検出装置１と同様で、アクテイビテイ階層化回路６、７において、上述したようにダイナミツクレンジによるアクテイビテイ階層化してアクテイビテイデータを求める。
【００６２】
以上の構成によれば、平均値階層化された画像データ及びダイナミツクレンジによりアクテイビテイ階層化されたアクテイビテイデータについて、それぞれ階層毎に最上位階層より順次ブロツクマツチングによつて評価し、同一階層上でこれらを総合的に判定することにより、各階層における動き量の誤検出を未然に防止することができ、かくして最終的にオリジナル画像について、動き量の検出精度を格段的に向上し得る。
【００６３】
さらに上述の構成によれば、平均値階層化したときに欠落する特徴量を反映したダイナミツクレンジでアクテイビテイ階層化したことにより、アクテイビテイデータとしてよりオリジナル画像の高周波成分について特徴量を保存したデータを得ることができ、各階層における動き量の誤検出を一段と有効に防止することがでる。
【００６４】
（５）第５実施例の動き量検出方法及び装置
上述の第１〜第４実施例では、平均値階層化によつて上位階層の画像データを作成する際に、オリジナル画像についてブロツク完結で上位まで演算したが、この第５実施例では、図１０に示すように、平均値階層化する際２×２のブロツクより広い範囲、例えば４×４のブロツクについて、１６画素の平均値を算出して平均値階層化して画像データを作成する。上位階層の構成は従来と変わらないようにするため、下位の階層のブロツクはオーバーラツプした形になり、隣接ブロツクとの関係を保持しながら階層化し得ることにより、ブロツク完結によつて生じる動き量の誤検出を防止し得る。
【００６５】
すなわちこうすることで、上位階層までの隣接ブロツクとの関係が完全に切れたものではなく、何らかの相互関係をもつて平均値階層化された画像データが構成されることになり、上位階層でのブロツクマツチング法における誤検出の確率を下げることが可能となる。
【００６６】
アクテイビテイ階層化したアクテイビテイデータについては、上述のようにオーバーラツプさせて作られた平均値階層化の画像データから、第１〜第４実施例のように差分の絶対値和の平均値や、標準偏差又は分散値、さらにはダイナミツクレンジを計算することで求めることができる。
【００６７】
以上の構成によれば、画像を階層化する際にオーバーラツプさせてブロツクを構成し、ブロツク内の画素の加重平均をとることで、平均値階層化された複数階層の画像データを作成すると共に、複数階層の画像データに応じてアクテイビテイ階層化されたアクテイビテイデータを作成し、それぞれ階層毎に最上位階層より順次ブロツクマツチングによつて評価し、同一階層上でこれらを総合的に判定することにより、各階層における動き量の誤検出を未然に防止することができ、かくして最終的にオリジナル画像について、動き量の検出精度を格段的に向上し得る。
【００６８】
さらに上述の構成によれば、平均値階層化やアクテイビテイ階層化において、ブロツクをオーバーラツプさせて画像データやアクテイビテイデータを形成するようにしたことにより、ブロツク完結で階層化した場合に比較して動き量の誤検出を未然に防止し得る。
【００６９】
（６）第６実施例の動き量検出方法及び装置
上述した第１実施例では、それぞれ平均値階層化した画像データとアクテイビテイ階層化したアクテイビテイデータとの各階層についてのブロツクマツチングによる評価関数Ｅ（Ｙ）ｎ 、Ｅ（Ｄ）ｎ を、（１１）式に示すように重みｗ１ 、ｗ２ で重み付け加算して新たな評価関数Ｅ（Ｇ）ｎ を求めた。この場合重みｗ１ 、ｗ２ はそれぞれ値１として均等加重によつて演算していたが、この第６実施例では、動き量検出の誤差が少なくなるように重みを適応的に変化させる。
【００７０】
（６−１）適応化処理１
適応化処理１では、まず平均値階層化された画像データとアクテイビテイ階層化されたアクテイビテイデータとにおいて、それぞれのブロツクの標準偏差σＹ 、σＤ を考える。この標準偏差σＹ 、σＤ が大きいほど、評価テーブルのすり鉢形状は急峻になり、その最適値の信憑性が大きくなると考えられる。そこで、実際には標準偏差値σＹ 、σＤ を用いて次式
【数１９】
の演算により正規化して適応化処理し、新たな評価関数Ｅ（Ｇ）ｎ を求めるようにする。
【００７１】
（６−２）適応化処理２
適応化処理２では、まず平均値階層化された画像データとアクテイビテイ階層化されたアクテイビテイデータとにおいて、最適評価値の絶対レベルが異なつていると評価のウエイトが変わつてしまうことから、最適評価値のレベルを同じにする正規化を行う。すなわちそれぞれの最適評価値をｅＹ 、ｅＤとして、次式
【数２０】
の演算により正規化して適応化処理して、新たな評価関数Ｅ（Ｇ）ｎ を求めるようにする。
【００７２】
（６−３）適応化処理３
平均値階層化された画像データとアクテイビテイ階層化されたアクテイビテイデータとの評価値の単純加算値において、評価値の形状と加重比率の関係には相関関係があることが実験によりわかつた。それによると、評価値の形状が急峻なブロツクが多い場合、平均値の評価値に対する重みを大きくするほうが良い。この適応化処理３では、その関係をあらかじめ種々のソースを用いてテーブル化しておき、ある評価値の形状に対して重みの比率を出力して再評価する。
【００７３】
評価値の形状を定量化する方法は、最適評価値を中心とした周囲の評価値を用いる。例えば図１１に示すように中心の画素ｘについて、周囲８点ｅ１ 〜ｅ８ の評価値を用いると、形状の尺度Ｓは、
【数２１】
で求めることができる。但し、Ｎは最適評価値の周囲の存在するデータ数である。この尺度Ｓの値を用いて、ルツクアツプテーブル（ＬＵＴ）を構成し、このテーブルから最適な重み係数を出力し、（１１）式による評価を再度行う。
【００７４】
（６−４）適応化処理４
評価値の形状は、急峻な形状ほど最適評価値は正しい可能性が高いと考えられる。また評価値の形状がほぼフラツトであると、特に一方の形状がフラツトである場合、（１１）式に対する悪影響は少ない。したがつて適応化処理４では、平均値階層化された画像データとアクテイビテイ階層化されたアクテイビテイデータとの評価値のそれぞれの評価値形状に適応した重み付けを行う。
【００７５】
それぞれの評価値の定量尺度は、（２１）式と同様に考えて、平均値階層化された画像データをＳＹ 、アクテイビテイ階層化されたアクテビテイデータをＳＤ とすると、次式
【数２２】
及び次式
【数２３】
で求め、評価関数は、次式
【数２４】
として評価を行い、新たな評価関数Ｅ（Ｇ）ｎ を求めるようにする。
【００７６】
（６−５）適応化処理５
評価値メモリの内容は、ブロツク内の画像の特性（フラツト、エツジ等）によつて値が異なる。一般にフラツトな画像だと評価値も変化が小さく、エツジなどを含む画像だと評価値は大きく変化する。従つて均等加算で新たな評価関数を求めると、真の最小値の位置がずれてしまい動き量検出として誤検出になるおそれがある。
【００７７】
従つてこの適応化処理５では、まず平均値階層化された画像データについての評価関数Ｅ（Ｙ）ｎ の最大値Ｅ（Ｙ）ｎｍａｘ、最小値Ｅ（Ｍ）ｎｍｉｎを検出し、次式
【数２５】
を用いて正規化し、同様に、アクテイビテイ階層化されたアクテイビテイデータについての評価関数Ｅ（Ｄ）ｎ の最大値Ｅ（Ｄ）ｎｍａｘ、最小値Ｅ（Ｄ）ｎｍｉｎを検出し、次式
【数２６】
を用いて正規化する。
【００７８】
このようにして正規化された評価値テーブルを用いて、新たな評価関数Ｅ（Ｇ）ｎ を次式
【数２７】
によつて求めるようにする。
【００７９】
（６−６）適応化処理回路
上述した適応化処理１〜５は、何れも図５について上述した動き量検出装置１において、各階層の平均値階層化された画像データ及びアクテイビテイ階層化されたアクテイビテイデータの評価値算出回路２６、１９及び２７、２０で得られる評価値メモリの内容を加算回路２８、２１で加算する際に実行される。因に、図１２に適応化処理５を実現する適応化処理回路７０の構成を示す。
【００８０】
すなわちこの適応化処理回路７０においては、平均値階層化された画像データ及びアクテイビテイ階層化されたアクテイビテイデータの評価値算出回路２６、１９及び２７、２０で得られる評価値メモリ７１、７２の評価値Ｅ（Ｙ）ｎ 、Ｅ（Ｄ）ｎ が、順次それぞれの最大値／最小値検出回路７３、７４と遅延回路７５、７６に入力される。
【００８１】
最大値／最小値検出回路７３、７４はそれぞれの評価値Ｅ（Ｙ）ｎ 、Ｅ（Ｄ）ｎ ついて最大値Ｅ（Ｙ）ｎｍａｘ、Ｅ（Ｄ）ｎｍａｘと、最小値Ｅ（Ｙ）ｎｍｉｎ、Ｅ（Ｄ）ｎｍｉｎを求める。この結果得られる最大値Ｅ（Ｙ）ｎｍａｘ、Ｅ（Ｄ）ｎｍａｘはそれぞれの第１の減算回路７７、７８に入力され、また最小値Ｅ（Ｙ）ｎｍｉｎ、Ｅ（Ｄ）ｎｍｉｎは、それぞれ第１の減算回路７７、７８及び第２の減算回路７９、８０に入力される。第２の減算回路７９、８０には、それぞれの評価値Ｅ（Ｙ）ｎ 、Ｅ（Ｄ）ｎ が、最大値／最小値検出回路７３、７４の処理時間分だけ遅延されて入力されている。
【００８２】
それぞれ第１の減算回路７７、７８及び第２の減算回路７９、８０の減算出力は、除算回路８１、８２に入力されて除算され、その出力が加算回路８３で加算される。これにより上述の（２５）式〜（２７）式の演算が実行される。このようにして適応化処理５が施された新たな評価関数Ｅ（Ｇ）ｎ は、評価値メモリ８４に記憶され、動き量検出回路に送出される。なお最下位階層に関してはオリジナル画像になるため、評価値Ｅ（Ｙ）１ を計算して最小値の検出を行なう。
【００８３】
（６−６）適応化処理の効果
以上の構成によれば、オリジナル画像を平均値階層化すると共にアクテイビテイ階層化し、この結果得られる複数階層の画像データとアクテイビテイデータについて、それぞれ階層毎に最上位階層より順次ブロツクマツチングによつて評価し、同一階層上でこれらを総合的に判定する際に、最適に重み付けして得られる新たな評価関数を用いるようにしたことにより、各階層における動き量の誤検出を未然に防止することができ、かくして最終的なオリジナル画像について、動き量の検出精度をさらに一段と格段的に向上し得る。
【００８４】
（７）第７実施例の動き量検出方法及び装置
上述の第１〜第４実施例では、平均値階層化によつて上位階層の画像データを作成する際に、オリジナル画像についてブロツク完結で上位まで演算したが、平均値階層化やアクテイビテイ階層化等の操作がブロツク単位で完結するため、動き量を誤検出するおそれがあつた。このため第５実施例では、平均値階層化する際に下位の階層のブロツクをオーバーラツプした形として、隣接ブロツクとの関係を保持しながら階層化したが、この第７実施例では、平均値階層化された画像データとアクテイビテイ階層化されたアクテイビテイデータの評価値を得る際に、複数例えば２種類の評価値を得て下位の階層で動き補償するようになされている。
【００８５】
すなわち、この動き量検出方法では、まず上述の第１実施例と同様に、平均値階層化された画像データのサーチ領域内での評価値をＥ（Ｙ）ｎ 、アクテイビテイ階層化されたアクテイビテイデータのサーチ領域内での評価値をＥ（Ｄ）ｎ として、各々評価値メモリに評価値テーブルを作成する。この評価値テーブルは、ブロツク内の画像の特性（フラツト、エツジ等）によつてかなり値が異なる。一般にフラツトな画像だと評価値テーブルも変化が小さく、エツジ等を含む画像だと評価値は大きく変化する。通常、評価値テーブルの値は、動き量に対応する位置の評価値が最小点によるような擦り鉢形状をしているが、画像によつてはかなり平坦になつていたり、極小点が複数存在することもある。特に平均値階層化された画像データにおける上位階層で、この傾向が強くなる。
【００８６】
従つてこの動き量検出方法では、最上位階層における評価値テーブルの極小点を複数検出し、これを初段の動き量候補とする。具体的には、最上位階層の評価値テーブルは平均値階層化されたものとアクテイビテイ階層化されたものが２種類あり、それぞれにおいて最も小さいものから複数の極小点を検出する。そして平均値階層化での極小点の位置とアクテイビテイ階層化での極小点の位置に関して、論理和をとることで重なりを除き、階層３における複数の極小点の位置を初段の動き量の候補とする。
【００８７】
次に階層３すなわち最上位階層における動き量の候補毎に、以下の操作を行なう。まず平均値階層化での階層２において、動き量のうちの１つを選択し、この位置を中心としてサーチ範囲を設定する。サーチ範囲内で階層２のブロツクマツチングを行ない評価値を計算する。同様にアクテイビテイ階層化の階層２においても選択した動き量の位置を中心としてサーチ範囲を設定し、サーチ範囲内で階層２のブロツクマツチングを行ない評価値を計算する。
【００８８】
続いて階層２における平均値階層化での評価値と、アクテイビテイ階層化での評価値を重み付け加算してその最小点を検出する。この最小点の位置を初段の動き量の１個に対応した階層２における動き量とする。次に上述のようにして決定された複数の初段の動き量のうちの１個と、それに対応する階層２の動き量で決定される位置を中心として、階層１におけるサーチ範囲を決定する。
【００８９】
階層１はオリジナル画像の階層であり、ブロツクマツチングは１種類のみ行なわれ、差分の絶対値和で算出された評価値の最小値が検出される。この最小値の位置が初段の動き量のうちの１個に対応する最終段の動き量になる。以上の操作を複数決定した初段の動き量毎に行ない、階層１での評価値の最小値の位置を複数個求め、その中からさらに最小の評価値を示すものを検出し、最終的な動き量として送出する。
【００９０】
ここでこの第７実施例における動き量検出処理手順ＳＰ１０を図１３に示す。すなわちまずステツプＳＰ１１において、比較する２画面のオリジナル画像をブロツク化し、次のステツプＳＰ１２でブロツク化されたオリジナル画像について、平均値階層化すると共にアクテイビテイ階層化し、例えば階層１、階層２及び階層３の画像データと階層２及び階層３のアクテイビテイデータを生成する。
【００９１】
続くステツプＳＰ１３では現在探索済みの階層が最上位階層すなわち階層３か否か判断し、否定結果の場合にはステツプＳＰ１４で、平均値階層化された画像データとアクテイビテイ階層化されたアクテイビテイデータの現在及び過去のデータを用いてサーチ領域について探索して評価関数による評価値を算出し、ステツプＳＰ１３に戻る。このステツプＳＰ１３で肯定結果を得ると、ステツプＳＰ１５に移つて評価値からｎ個の極小点を選択して、ステツプＳＰ１６に移る。
【００９２】
ステツプＳＰ１６では、最上位階層で求めたｎ個の極小点について、階層２及び階層３での処理が終了したか否かを判断し、ここで否定結果を得るとステツプＳＰ１７に移つて現在の階層が最下位階層すなわち階層１か否かを判断し、ここで否定結果を得るとステツプＳＰ１８に移つて探索が終了したか否かを判断し、ここで否定結果を得ると、ステツプＳＰ１９に移り階層２の画像データ及びアクテイビテイデータの現在及び過去のデータを用いてサーチ領域について探索して評価関数による評価を行いステツプＳＰ１８に戻る。
【００９３】
やがてステツプＳＰ１８で肯定結果を得ると、ステツプＳＰ２０に移つて階層２の画像データ及びアクテイビテイデータについて求めた評価関数を用いて新たな評価関数による評価を行つて最適評価値を求め、その最適評価値より動き量を決定してステツプＳＰ２１に移つて下位階層に適用してステツプＳＰ１７に戻る。
【００９４】
やがてこのステツプＳＰ１７で否定結果を得ると、ステツプＳＰ１６に戻つて最上位階層で求めた評価値のｎ個の極小値について、ステツプＳＰ１７−ＳＰ１８−ＳＰ１９−ＳＰ２０−ＳＰ２１で、階層２及び階層１の動き量を検出したか否か判断し、肯定結果を得るとステツプＳＰ２２に移つて階層１で求めた動き量のうち、最小の動き量を最終の動き量として送出し、ステツプＳＰ２３において当該動き量検出処理手順ＳＰ１０を終了する。
【００９５】
ここで、この実施例の動き量検出方法を用いる動き量検出装置は、図１４に示すように構成されている。この動き量検出装置９０においては、入力されるオリジナル画像の画像データがブロツク回路９１及び階層１のフレームメモリ９２に入力される。ブロツク回路９１は入力画像データを、所定のサイズ（例えば16×16のブロツクサイズ）で順次ブロツク化し、この結果得られるブロツク化されたオリジナル画像の画像データが、それぞれ階層１の動き量検出回路９３及び９４、階層２及び階層３の階層化回路９５及び９６に入力される。この階層化回路９５及び９６は、それぞれ平均値階層化及びアクテイビテイ階層化を含んで構成されている。
【００９６】
階層２の階層化回路９５で階層化されて得られる画像データ及びアクテイビテイデータは、フレームメモリ９７と第１及び第２の動き量検出回路９８及び９９とに入力される。また階層３の階層化回路９６で階層化されて得られる画像データ及びアクテイビテイデータは、フレームメモリ１００及び動き量検出回路１０２に入力される。このようにしてブロツク化された画像データが、それぞれの階層１、階層２及び階層３の画像データとして平均値階層化されると共に、階層２及び階層３のアクテイビテイデータとしてアクテイビテイ階層化される。
【００９７】
実際の動き量の検出は最上位階層でなる階層３において、まずフレームメモリ１００に設定された過去（すなわち１フレーム前）の画像データ及びアクテイビテイデータを、サーチ領域に応じてそれぞれサーチブロツク回路１０１に読み出す。次に動き量検出回路１０２において、階層化回路９６とサーチブロツク回路１０１との画像データ及びアクテイビテイデータを用いて、それぞれ評価関数に基づいて評価値を求め、これらを重み付け係数に応じて重み付けして加算し、この結果得られる新たな評価関数に基づく評価値を極小とする極小点を２つ選出し、これらがそれぞれ階層３の２つの動き量として送出される。
【００９８】
この実施例の場合、階層３の動き量検出回路１０２で得られる２つの動き量は、階層２のサーチブロツク回路１０３、１０４と加算回路１０５、１０６にそれぞれ入力される。階層２においてはフレームメモリ９７に記憶された画像データ及びアクテイビテイデータをサーチブロツク回路１０３及び１０４に読み出す際に、それぞれ異なる動き量に応じてサーチ領域が動き補償される。
【００９９】
この結果階層２で動き量を検出する場合には、動き量検出回路９８、９９において、サーチブロツク回路１０３及び１０４に設定された過去（すなわち１フレーム前）の画像データ及びアクテイビテイデータと、階層化回路９５より入力される現在の画像データ及びアクテイビテイデータとを用いて、それぞれ評価関数に基づいて評価値を求める。次にこれの評価値を重み付け係数に応じて重み付けして加算し、この結果得られる新たな評価関数に基づく評価値を最小にするものを検出し、それぞれの動き量として送出する。
【０１００】
この階層２の動き量検出回路９８、９９で得られる動き量は、それぞれ加算回路１０５、１０６において、階層３の対応する動き量と加算され、階層２の動き量として、階層１のサーチブロツク回路１０７、１０８と加算回路１０９、１１０にそれぞれ入力される。階層１においてはフレームメモリ９２に記憶された画像データ及びアクテイビテイデータをサーチブロツク回路１０７及び１０８に読み出す際に、それぞれ異なる動き量に応じてサーチ領域が動き補償される。
【０１０１】
この結果階層１で動き量を検出する場合には、動き量検出回路９３、９４において、サーチブロツク回路１０７及び１０８に設定された過去（すなわち１フレーム前）の画像データ及びアクテイビテイデータと、ブロツク回路９１より入力される現在の画像データ及びアクテイビテイデータとを用いて、それぞれ評価関数に基づいて評価値を求める。次にこれらの評価値を重み付け係数に応じて重み付けして加算し、この結果得られる新たな評価関数に基づく評価値を最小にするものを検出し、それぞれの動き量として送出する。
【０１０２】
このようにして動き量検出回路９３、９４でそれぞれ得られる動き量は、加算回路１０９及び１１０に送出されると共に、判断回路１１１に入力される。加算回路１０９及び１１０に入力された動き量は、それぞれ階層２の対応する動き量と加算され、階層１の動き量として選択回路１１２に入力される。判断回路１１１は入力される動き量のうち最小を与えるものを判断し、当該最小を与える動き量に基づく、階層１の動き量を選択回路１１２で選択し、最終的な動き量として送出する。
【０１０３】
以上の構成によれば、オリジナル画像を平均値階層化して複数階層の画像データを作成すると共に、アクテイビテイ階層化して階層毎の画像データの高周波成分を表すアクテイビテイデータを作成し、それぞれの最上位階層でのブロツクマツチングの評価値を算出し、この評価値を総合判断して得られる最上位階層の新たな評価値の極小点の位置を複数選択して動き量の候補とし、その動き量毎に順次下位の階層でのブロツクマツチングを行なつて、評価値の最小値から動き量を算出し、最下位階層の評価値の最小値で最終の動き量を得るようにしたことにより、最上位階層における複数の動き量の候補から、最下位階層までの経緯にそつて総合評価でき、最終的に動き量の検出精度を格段的に向上し得る。
【０１０４】
（８）他の実施例
（８−１）上述の実施例においては、オリジナル画像より平均値階層化で３階層の画像データを作成した場合について述べたが、階層数はこれに限らず２階層や４階層以上でも、上述の実施例と同様の効果を実現できる。また平均値階層化する際、（１）式のように２×２のブロツク範囲で平均値を求めるようにしたが、ブロツク範囲はこれに限らず、また平均値に限らずローパスフイルタ等で平滑化するようにして良い。因に、例えばより広範囲の４×４のブロツク範囲について、フイルタ処理する場合に、その重み係数を水平及び垂直方向のマトリクスで表現すると、次式
【数２８】
のように表すことができる。
【０１０５】
（８−２）上述の第１実施例では、アクテイビテイ階層化する際に、オリジナル画像でなる階層１の画像データと求める階層の画像データとの差分の絶対値和によつて、アクテイビテイデータを得るようにしたが、これに代え、階層ｎのアクテイビテイをΔｎ （ｘ、ｙ）として、次式
【０１０６】
【数２９】
で求めるようにしても良い。この場合１つ下位の平均値階層化された画像データを用いるため、オリジナル画像より特徴量が欠落した画像データでアクテイビテイデータを求めることになるが、（２）及び（３）式の場合と比較してハード規模は小さくなる。またこの他に階層２のアクテイビテイデータは、（２）式によつて求め、一旦アクテイビテイデータが求まると次式
【数３０】
により順次上位階層のアクテイビテイデータを求めるようにしても良い。
【０１０７】
（８−３）上述の実施例においては、ブロツクマツチングの評価値を求めるために、（８）式や（１０）式でなる評価関数によつて、両ブロツクの差分の絶対値和を用いているが、その他にブロツクマツチングの評価関数を求めるため、差分の２乗和や相関係数を用いる等を適用するようにしても上述の実施例と同様の効果を実現できる。
【０１０８】
（８−４）上述の第２実施例においては、平均値階層化して得られる画像データより（１２）式に基づいて標準偏差を計算することにより、アクテイビテイ階層化して、アクテイビテイデータで求めるようにしたが、これに代え、分散値を用いるようにしても上述の実施例と同様の効果を実現できる。因に、この場合、上述した（１２）式において、平方根を演算する前の値を使用すれば良い。
【０１０９】
（８−５）上述の第３実施例においては、階層１及び階層２の画像データについて、ラプラシアン処理した場合について述べたが、これに代え、ラプラシアンフイルタ処理するのは、最下位階層でなるオリジナル画像のみとし、ラプラシアンデータの例えば２×２のブロツク内の絶対値の平均値を算出して階層２のアクテイビテイデータを作成し、さらに上位のアクテイビテイデータは、下位のアクテイビテイデータの平均値階層化によつて作成するようにして良い。
【０１１０】
またこれに代え、最下位階層のラプラシアンデータにおける小ブロツク内の絶対値の最大値をアクテイビテイデータとして階層２をアクテイビテイ階層化し、さらに上位のアクテイビテイ階層化は、下位のアクテイビテイデータの小ブロツク内での最大値をアクテイビテイデータとするようにしても良い。
【０１１１】
さらにまたこれに代え、最下位階層のラプラシアンデータにおける小ブロツクの最大値と最小値の差、つまりダイナミツクレンジをアクテイビテイデータとして、階層２をアクテイビテイ階層化し、さらに上位のアクテイビテイ階層化に関しては、下位のアクテイビテイデータの小ブロツク内での最大値をとることでアクテイビテイデータとするようにしても良い。
【０１１２】
（８−６）上述の第４実施例においては、アクテイビテイ階層化する際にオリジナル画像でなる階層１の画像データと求める階層の画像データとの最大値及び最小値の差でなるダイナミツクレンジを用いてアクテイビテイデータを得るようにしたが、これに代え、階層ｎのアクテイビテイデータをΔｎ （ｘ、ｙ）として、次式
【数３１】
で求めるようにしても良い。この場合１つ下位の階層化された画像データを用いるため、オリジナル画像より特徴量が欠落した画像データでアクテイビテイデータを求めることになるが、（１７）式及び（１８）式の場合と比較してハード規模は小さくなる。
【０１１３】
またこの他に階層２のアクテイビテイデータは、（１７）式によつて求め、一旦アクテイビテイデータが求まると次式
【数３２】
により順次上位階層のアクテイビテイデータを求める方法もある。またこのようにダイナミツクレンジでアクテイビテイ階層化する場合、オリジナル画像の階層化についても平均値階層化に代えて、最大値又は最小値を用いて階層化するようにしても良い。このようにすれば、アクテイビテイ階層化の際の演算量を削減できることにより、回路構成を簡略化し得ると共に演算時間を短縮化し得る。
【０１１４】
（８−７）上述の第５実施例においては、図１０に示したように、階層３の平均値階層化された画像データを階層２から作成しているが、これに限らず、階層１において、例えば６×６のブロツクでオーバーラツプさせて平均値階層化するようにしても良い。
【０１１５】
（８−８）上述の第５実施例においては、オーバーラツプさせて平均値をとるようにしたが、この平均値を演算する際にブロツクの中心画素に重みを多く持たせて加重平均を演算するようにしても良い。このように階層画像に隣接ブロツクの影響を弱くかけることで、動き量の検出の感度を調整することもできる。また同様に階層１のオリジナル画像に２次元ローパスフイルタ処理し、隣接画素の影響をある程度加味できるように前処理した後、階層化については平均値を用いるようにしても良い。また階層画像についてはオーバーラツプさせないで平均値階層化により形成し、アクテイビテイ階層化する際に下位の平均値階層化された画像データにおいて、オーバーラツプさせたブロツクで差分の絶対値和の平均値を算出することで作成するようにしても良い。
【０１１６】
（８−９）上述の第７実施例においては、平均値階層化での評価値とアクテイビテイ階層化での評価値との各々について、複数の極小値を初段の動き量の候補とした場合について述べたが、これに代え、平均値階層化での評価値とアクテイビテイ階層化での評価値を重み付け加算した後に、複数の極小点を検出しその位置を初段の動き量の候補としても良い。
【０１１７】
（８−１０）上述の第７実施例においては、階層２において動き量の候補として最小位置を選択したが、最上位階層と同様に平均値階層化での評価値とアクテイビテイ階層化での評価値毎に極小点を複数個選択し、さらに下位の階層で動き量の検出について分岐を増やし、最下位階層で全ての評価値のうち最小となる評価値を検出して、最終的な動き量として送出するようにしても良い。
【０１１８】
【発明の効果】
上述のように本発明によれば、それぞれ異なる時点の入力画像に対応する階層化された解像度の異なる複数階層の画像データに基づいて、当該階層毎の画像データの高周波成分を表す複数階層のアクテイビテイデータを形成し、上位階層から階層毎に、画像データについて所定ブロツク単位でブロツクマツチングによつて第１の評価値を求めると共に、アクテイビテイデータについて所定ブロツク単位でブロツクマツチングによつて第２の評価値を求め、当該上位階層で得られた第１及び第２の評価値のうち最小値及び／又は極小値となる当該第１及び第２の評価値に基づいて複数の上位階層動き量を動き量候補として検出し、上位階層よりも下位の階層毎に得られた第１及び第２の評価値に基づいて、複数の上位階層動き量にそれぞれ対応する階層毎動き量を検出して当該対応する上位階層動き量と順次演算することにより下位階層で複数の演算結果動き量を検出し、当該下位階層の第１の評価値に基づいて複数の演算結果動き量のうち１つの当該演算結果動き量を最終的に異なる時点の入力画像間の動き量として検出するようにしたことにより、上位階層から階層毎に、画像データと、その画像データ中で階層化により欠落する特徴量を反映するアクテイビテイデータとの両方を用いて評価値を算出することができ、その結果、一方の階層の最適評価値が誤検出であつても、もう一方の階層の評価値で正しい動き量を検出して各階層における動き量の検出精度を向上させることができ、かくして簡易な構成かつ短い演算時間で最終的な入力画像について動き量の検出精度を向上し得る動き量検出方法及び動き量検出装置を実現することができる。
【図面の簡単な説明】
【図１】ブロツクマツチングによる動き量検出方法の説明に供する略線図である。
【図２】実施例による階層画像の説明に供する略線図である。
【図３】実施例による階層画像の説明に供する略線図である。
【図４】実施例による動き量検出処理手順を示すフローチヤートである。
【図５】実施例による動き量検出装置の構成を示すブロツク図である、
【図６】図５の動き量検出装置における評価値算出回路の構成を示すブロツク図である。
【図７】図５の動き量検出装置における動き量検出回路の構成を示すブロツク図である。
【図８】第４実施例による動き量検出方法の説明としてラプラシアンフイルタによる前処理を示す略線図である。
【図９】第４実施例による動き量検出装置の説明としてラプラシアンフイルタの係数の例を示す略線図である。
【図１０】第５実施例の平均値階層化の説明に供する略線図である。
【図１１】第６実施例による動き量検出方法の説明として最適評価値と近傍評価値の関係を示す略線図である。
【図１２】第６実施例による動き量検出装置として適応化処理回路の構成を示すブロツク図である。
【図１３】第７実施例による動き量検出方法の説明として動き量検出処理手順を示すフローチヤートである。
【図１４】第７実施例による動き量検出装置の構成を示すブロツク図である。
【符号の説明】
１、９０……動き量検出装置、２、８、１１、１３、１５、９１……ブロツク回路、３、９、１２、１４、１６、９２、９７、１００……フレームメモリ、４、１９、２０、２６、２７、４０……評価値算出回路、５、１０……平均値階層化回路、６、７……アクテイビテイ階層化回路、１７、１８、２４、２５、３１、１０２、１０３、１０４、１０７、１０８……サーチブロツク回路、２１、２３、２８、３０、４８、１０５、１０６、１０９、１１０……加算回路、２２、２９、３２、６０、９３、９４、９８、９９、１０１……動き量検出回路、４１……参照ブロツクメモリ、４２……候補ブロツクメモリ、４３……メモリコントロール、４４、４５、４９、６２、６３……レジスタ、４６……減算回路、４７……絶対値化回路、５０……評価値メモリ、５１……評価値メモリコントロール、６１……比較器、９５、９６……階層化回路、１１１……判断回路、１１２……選択回路。
【目次】
以下の順序で本発明を説明する。
産業上の利用分野
従来の技術
発明が解決しようとする課題
課題を解決するための手段（図１３及び図１４）
作用（図１３及び図１４）
実施例（図１〜図１４）
（１）第１実施例の動き量検出方法及び装置（図１〜図７）
（２）第２実施例の動き量検出方法及び装置（図３、図５）
（３）第３実施例の動き量検出方法及び装置（図５、図８、図９）
（４）第４実施例の動き量検出方法及び装置（図５）
（５）第５実施例の動き量検出方法及び装置（図１０）
（６）第６実施例の動き量検出方法及び装置（図１１、図１２）
（７）第７実施例の動き量検出方法及び装置（図１３、図１４）
（８）他の実施例（図１０）
発明の効果
【０００２】
【産業上の利用分野】
本発明は動き量検出方法及び動き量検出装置に関し、特に画像の動きを検出する際に時間的に異なる２つの画像データをそれぞれ階層化してから動き量を検出するものに適用し得る。
【０００３】
【従来の技術】
従来、動画像の処理として、動き量（動きベクトル）すなわち時間的に異なる画像中の物体の動き方向と大きさ（又は速さ）を用いるものがある。例えば画像の高能率符号化における動き補償フレーム間符号化や、フレーム間時間領域フイルタによるテレビジヨン雑音低減装置における動きによるパラメータ制御等に動き量が用いられる。この画像の動き量を求める動き量検出方法として、ブロツクマツチング法が用いられる（特公昭５４−１２４９２７ 号公報）。
【０００４】
このブロツクマツチング法では、まず１つの画面を適当な数画素からなるブロツクに分割する。続いてこのようにブロツク化された画像データと、この画像データが動いた領域を検索するために時間的に異なる画面の画像データがブロツク化されてなるサーチ領域との間で、所定の評価関数を用いて画素単位で評価し、この評価値を最小とする最適値を求めることにより、２つのブロツク化された画像データ間の動き量を検出する。これにより高い精度で画像の動き量を検出し得るようになされている。
【０００５】
【発明が解決しようとする課題】
ところがブロツクマツチング法においては、検出対象のブロツクの全ての画素に対して、検出範囲となる全てのサーチ領域をくまなくサーチし、その差分を求める必要がある。このため動き量を検出する計算量が大きくなり、装置自体が大型化したり、演算時間が長くなる問題があつた。このような問題を解決するため、オリジナル画像を複数の解像度で階層化し、この階層画像を用いてブロツクマツチング法で動き量を検出するようになされた動き量検出方法が提案されている（特願平５−２４４８８１４ 号）。
【０００６】
この動き量検出方法では、まずオリジナルの画像データ（以下、階層１と呼ぶ）を、平均化やローパスフイルタ処理等で平均値階層化して、画素数を低減した画像データ（以下、階層２と呼ぶ）を作成する。次に作成した階層２の画像データで大まかな動き量を検出し、その動き量に基づいて階層１の画像データについて細かい動き量検出を行うことにより、少ない計算量で動き量を検出し得るようになされている。なおここでの階層数は２階層に限らず、順次平均値階層化を繰り返すことにより、さらにデータ量の少ない階層３、階層４、……の画像データを作成することもできる。
【０００７】
このような動き量検出方法を用いれば、階層数が多くなる程少ない計算量で動き量を求めることができる。すなわちより上位階層の画像データほどブロツクのサイズとサーチエリアが小さくなるため、評価関数による演算量は必然的に小さくなる。最終的に動き量を求める最下位階層での評価は、ブロツクサイズ自体通常のブロツクマツチング法と同じになるが、上位階層の画像データで求めた動き量に応じて動き補償して、サーチ領域を小さくすることができるため、演算量を削減することができる。
【０００８】
ところがこの動き量検出方法においては、階層数が多くなる程動き量の検出精度が劣化する問題があつた。実際上この動き量検出方法では、まず画像の粗い上位階層においてブロツク毎の動き量を検出し、この検出結果に基づいて下位階層において動き量を検出するため、上位階層での検出結果が下位階層での動き量検出に大きな影響を与える。すなわち上位階層の画像データは、平均値階層化の処理でブロツクサイズを小さくするため、画像の特徴量が最下位階層のオリジナル画像と異なつてくる。特にエツジ成分は平均値階層化により失われることになるため、平均値階層化された画像データにおける動き量とオリジナル画像による動き量の対応関係がずれる場合が生じる。
【０００９】
実際上現在の階層より下位の階層で動き量を求める場合、上位階層での動き量の結果を反映させるため、もし対応関係のずれ量が大きくサーチ領域以内でカバーできなかつたときには誤動作となる。従つて平均値階層化された画像データによる動き量検出方法では、平均値階層化による情報量の欠落により、誤動作が起きる可能性が大きくなる問題がある。また階層が上位になるほどブロツクサイズが小さくなることから、平均値階層化された画像データ上での動き量検出は、オリジナル画像に対する動き量検出の分解能が低下して誤動作が発生する問題もある。
【００１０】
本発明は以上の点を考慮してなされたもので、階層化された画像データを用いてブロツクマツチング法で動き量を検出する際に、動き量の検出精度を向上し得る動き量検出方法及び動き量検出装置を提案しようとするものである。
【００１１】
【課題を解決するための手段】
かかる課題を解決するため本発明においては、入力画像より生成された解像度の異なる複数階層の画像データに基づいて、動き量を検出する動き量検出方法において、それぞれ異なる時点の入力画像に対応する階層化された解像度の異なる複数階層の画像データに基づいて、当該階層毎の画像データの高周波成分を表す複数階層のアクテイビテイデータを形成するアクテイビテイ階層化ステツプと、上位階層から階層毎に、画像データについて所定ブロツク単位でブロツクマツチングによつて第１の評価値を求める第１の評価値算出ステツプと、上位階層から階層毎に、アクテイビテイデータについて所定ブロツク単位でブロツクマツチングによつて第２の評価値を求める第２の評価値算出ステツプと、上位階層の第１及び第２の評価値算出ステツプで得られた第１及び第２の評価値のうち最小値及び／又は極小値となる当該第１及び第２の評価値に基づいて複数の上位階層動き量を動き量候補として検出し、上位階層よりも下位の階層毎に第１及び第２の評価値算出ステツプで得られた第１及び第２の評価値に基づいて、複数の上位階層動き量にそれぞれ対応する階層毎動き量を検出して当該対応する上位階層動き量と順次演算することにより下位階層で複数の演算結果動き量を検出し、当該下位階層の第１の評価値に基づいて複数の演算結果動き量のうち１つの当該演算結果動き量を最終的に異なる時点の入力画像間の動き量として検出する動き量検出ステツプとを設けるようにした。
【００１２】
また本発明においては、入力画像より生成された解像度の異なる複数階層の画像データに基づいて、動き量を検出する動き量検出装置１、９０において、それぞれ異なる時点の入力画像に対応する階層化された解像度の異なる複数階層の画像データに基づいて、当該階層毎の画像データの高周波成分を表す複数階層のアクテイビテイデータを形成するアクテイビテイ階層化手段６、７、９５、９６と、上位階層から階層毎に、画像データについて所定ブロツク単位でブロツクマツチングによつて第１の評価値を求める第１の評価値算出手段１９、２６、４、１０３、１０７と、上位階層から階層毎に、アクテイビテイデータについて所定ブロツク単位でブロツクマツチングによつて第２の評価値を求める第２の評価値算出手段２０、２７、１０１、１０４、１０８と、上位階層の第１及び第２の評価値算出手段１９、２６、１０３及び２０、２７、１０１、１０４で得られた第１及び第２の評価値のうち最小値及び／又は極小値となる当該第１及び第２の評価値に基づいて複数の上位階層動き量を動き量候補として検出し、上位階層よりも下位の階層毎に第１及び第２の評価値算出手段２６、４、１０７及び２７、１０４、１０８で得られた第１及び第２の評価値に基づいて、複数の上位階層動き量にそれぞれ対応する階層毎動き量を検出して当該対応する上位階層動き量と順次演算することにより下位階層で複数の演算結果動き量を検出し、当該下位階層の第１の評価値に基づいて複数の演算結果動き量のうち１つの当該演算結果動き量を最終的に異なる時点の入力画像間の動き量として検出する動き量検出手段２９、３２、９８、９９、９３、９４とを設けるようにした。
【００１３】
【作用】
この場合、階層構造のアクテイビテイデータが、入力画像を階層化したときに画像データ中で欠落する特徴量を反映するものであり、上位階層から階層毎に画像データとアクテイビテイデータとの両方を用いて評価値を算出することで、一方の階層の最適評価値が誤検出であつても、もう一方の階層の評価値で正しい動き量を検出して各階層における動き量の検出精度を向上させることができる。
【００１４】
【実施例】
以下図面について、本発明の一実施例を詳述する。
【００１５】
（１）第１実施例の動き量検出方法及び装置
この第１実施例の動き量検出方法では、オリジナル画像について平均値階層化の手法によつて複数階層の画像データを形成すると共に、各階層の高周波成分（以下アクテイビテイと呼ぶ）を表すデータについても階層化（以下これをアクテイビテイ階層化とよぶ）してアクテイビテイデータを形成し、階層毎にこれらを用いて動き量を検出するものである。
【００１６】
実際上それぞれ階層化された画像データとアクテイビテイデータについては、上位階層から順にブロツクマツチング法で評価値を求め、これらを総合判断することにより、その階層の動き量を求める。この動き量を順次下位階層の評価値を求める際に動き補償して参照することにより、最終的にオリジナル画像の動き量を検出する。
【００１７】
ここで動き量検出とは、図１に示すように現在のフイールド（又はフレーム）Ｆ１上のブロツクＢ１が過去のフイールド（又はフレーム）Ｆ２上のサーチエリアＳＡ内のどのブロツクＢ２と一致するかを、評価関数で評価して当該評価値に最小を与える位置を動き量として検出する。階層化された画像データを用いた動き量検出方法では、現在及び過去の両フイールドのオリジナル画像の他に階層化された画像データが必要となる。
【００１８】
階層化された画像データを生成する例を、図２に示す。図２（Ａ）はオリジナル画像について３階層に階層化された画像データを生成する場合で、階層１はオリジナル画像である。オリジナル画像上のブロツク（例えば１６×１６）より上位階層の画像データ、階層ｎにおける画像データをＭｎ （ｘ、ｙ）とすると、次式
【数１】
【００１９】
従来の画像を階層化してなる階層画像を用いた動き量検出方法では、図２（Ａ）の平均値階層化しか行わないが、この実施例では（１）式により平均値階層化された画像データを生成すると同時に、図２（Ｂ）に示すように、平均値階層化された画像データについてアクテイビテイ階層化してアクテイビテイデータを生成する。階層２のアクテイビテイデータをΔ２ （ｘ、ｙ）とすると、このアクテイビテイデータΔ２ （ｘ、ｙ）は、平均値階層化された画像データからオリジナル画像の対応する画素の差分の絶対値和によつて、次式
【００２０】
【数２】
【数３】
【００２１】
このようにしてアクテイビテイデータを求めると、その階層構造は図２（Ｂ）に示すようになり、最下位階層以外での階層プレーンを持つことになる。このアクテイビテイデータは、平均値階層化したときに画像データ中で欠落する特徴量を反映していることになる。
【００２２】
ここで例えば図３に示すようなオリジナル画像中の画像データの４×４の画素ｘ１、ｘ２、……、ｘ１５、ｘ１６でなるブロツクを階層１として階層化する場合、平均値階層化の階層２の画像データ中の画素ｙ１、ｙ２、ｙ３、ｙ４は（１）式に基づいて、次式
【数４】
【数５】
【００２３】
また同様にして、アクテイビテイ階層化してなる階層２のアクテイビテイデータは、平均値階層化された階層２の画像データの画素ｙ１、ｙ２、ｙ３、ｙ４と階層１の画像データの画素ｘ１、ｘ２、……、ｘ１５、ｘ１６を用いて、（２）式に基づいて、次式
【数６】
【数７】
【００２４】
上述のようにして求めた平均値階層化した画像データとアクテイビテイ階層化したアクテイビテイデータを用いて、各階層でブロツクマツチング法による動き量検出を行う。すなわちブロツクマツチングの評価関数は、現フイールドをｔで表すと、次式
【数８】
【数９】
【００２５】
この実施例の場合の評価関数とは、図２（Ｂ）のアクテイビテイデータについても（８）式と同様に、次式
【数１０】
【数１１】
【００２６】
このように平均値階層化された画像データとアクテイビテイ階層化されたアクテイビテイデータの両者を用いて評価することにより、一方の階層の最適評価値が誤検出であつても、もう一方の評価値で正しい検出ができるようになり、各階層における動き量検出の精度が向上する。このように各階層における動き量検出精度が向上すると、（９）式で求める最終的な動き量も検出精度を向上することができる。
【００２７】
ここでこの実施例における動き量検出処理手順ＳＰ０を図３に示す。すなわちまずステツプＳＰ１において、比較する２画面のオリジナル画像をブロツク化し、次のステツプＳＰ２でブロツク化されたオリジナル画像を、（１）式に従つて平均値階層化すると共に、（２）式及び（３）式に従つてアクテイビテイ階層化して、例えば階層１、階層２及び階層３の画像データと階層２及び階層３のアクテイビテイデータを生成する。
【００２８】
続くステツプＳＰ３では現在処理済みの階層が最下位階層か否か判断し、否定結果の場合にはステツプＳＰ４で全サーチ領域について探索終了か否か判断し、ここで否定結果を得るとステツプＳＰ５で画像データ及びアクテイビテイデータの現在及び過去のデータを用いて、（８）式及び（１０）式について上述した評価関数Ｅ（Ｙ）ｎ 及びＥ（Ｄ）ｎ による評価を行い、ステツプＳＰ４に戻る。
【００２９】
やがてステツプＳＰ４で肯定結果を得ると、ステツプＳＰ６に移つて所定階層の画像データ及びアクテイビテイデータについて求めた評価関数Ｅ（Ｙ）ｎ及びＥ（Ｄ）ｎを用いて（11）式より得られる新たな評価関数Ｅ（Ｇ）ｎによる評価を行つて最適評価値を求めステツプＳＰ７に移る。ステツプＳＰ７では最適評価値より動き量を決定し、次のステツプＳＰ８で動き量を加算して、それぞれ下位階層に適用し、ステツプＳＰ３に戻る。やがてこのステツプＳＰ３で肯定結果を得ると、ステツプＳＰ９に移つて当該動き量検出方法の処理手順ＳＰ０を終了する。
【００３０】
このようにサーチ領域内の探索を、最上位階層から始め平均値階層化された画像データとアクテイビテイ階層化されたアクテイビテイデータの評価値を（11）式により総合判定しながら最適な動き量を求め、（９）式によつて求めた動き量を下位階層に適用しながら最下位階層まで処理を繰り返し行い、最終的な動き量を求める。これにより平均値階層化の画像データのみより求めた動き量に比較して、各階層の高周波成分でなるアクテイビテイデータより求めた評価値を加味して動き量を求めるようにしたことにより、平均値化による誤判定を有効に防止して高い精度で動き量を検出し得る。
【００３１】
ここで、この実施例の動き量検出方法を用いる動き量検出装置は、図５に示すように構成されている。この動き量検出装置１においては、入力されるオリジナル画像の画像データがブロツク回路２に入力され、所定のサイズ（例えば１６×１６のブロツクサイズに対してサーチ領域を含むサイズでなる）で順次ブロツク化される。この結果ブロツク化されたオリジナル画像の画像データは、それぞれ階層１のフレームメモリ３及び評価値算出回路４、階層２の平均値階層化回路５、アクテイビテイ階層化回路６、階層３のアクテイビテイ階層化回路７に入力される。
【００３２】
階層２の平均値階層化回路５では、入力されるオリジナル画像の画像データの所定ブロツク分について、（１）式の演算による平均値階層化処理を実行して階層２の画像データを求める。この結果得られる階層２の画像データは、それぞれ階層２のブロツク回路８、フレームメモリ９及びアクテイビテイ階層化回路６、階層３の平均値階層化回路１０に入力される。
【００３３】
階層２のアクテイビテイ階層化回路６では、入力されるオリジナル画像の画像データと階層２の画像データを用いて、（２）式の演算によるアクテイビテイ階層化処理を実行して階層２のアクテイビテイデータを求める。この結果得られる階層２のアクテイビテイデータは、それぞれ階層２のブロツク回路１１及びフレームメモリ１２に入力される。
【００３４】
階層３の平均値階層化回路１０では、入力される階層２の画像データを用いて、（１）式の演算による平均値階層化処理を実行して階層３の画像データを求める。この結果得られる階層３の画像データは、それぞれ階層３のブロツク回路１３、フレームメモリ１４及びアクテイビテイ階層化回路７に入力される。
【００３５】
階層３のアクテイビテイ階層化回路７では、入力されるオリジナル画像の画像データと階層３の画像データを用いて、（３）式の演算によるアクテイビテイ階層化処理を実行して階層３のアクテイビテイデータを求める。この結果得られる階層３のアクテイビテイデータは、それぞれ階層３のブロツク回路１５及びフレームメモリ１６に入力される。
【００３６】
このようにしてブロツク化された画像データが、図２について上述したように、それぞれの階層１、階層２及び階層３の画像データとして平均値階層化されると共に、階層２及び階層３のアクテイビテイデータとしてアクテイビテイ階層化される。
【００３７】
実際の動き量の検出は最上位階層でなる階層３において、まずフレームメモリ１４及び１６に設定された過去（すなわち１フレーム前）の画像データ及びアクテイビテイデータを、サーチ領域に応じてそれぞれサーチブロツク回路１７及び１８に読み出す。次に評価値算出回路１９及び２０において、ブロツク回路１３及び１５とサーチブロツク回路１７及び１８との画像データ及びアクテイビテイデータを用いて、それぞれ（８）式及び（１０）式の評価関数Ｅ（Ｙ）３ 及びＥ（Ｄ）３ に基づいて評価値を求める。この評価値は加算回路２１において、（１１）式に示すように、重み係数ｗ１ 、ｗ２ に応じて所定の重み付けして加算し、この結果得られる新たな評価関数Ｅ（Ｇ）３ に基づく評価値が動き量検出回路２２に入力される。
【００３８】
ここでこの実施例の場合、評価値算出回路１９、２０は図６に示すような回路４０で構成されている。すなわち評価値算出回路４０においては、それぞれブロツク回路１３、１５に対応する参照ブロツクメモリ４１と、サーチブロツク回路１７、１８に対応する候補ブロツクメモリ４２を有し、この参照ブロツクメモリ４１及び候補ブロツクメモリ４２の内容が、メモリコントロール４３で指定されたアドレスの順に読み出され、それぞれレジスタ４４及び４５を通じて減算回路４６で減算される。この結果得られる差分データは絶対値化回路４７で絶対値化され、加算回路４８及びレジスタ４９で累積加算される。
【００３９】
この累積加算結果が評価値メモリ５０に、評価値メモリコントロール５１より指定されたアドレスの順に従つて入力される。このようにして（８）式及び（１０）式の演算が評価値算出回路４０で実行され、この結果得られる評価値が評価値メモリ５０に入力される。なお実際階層２及び階層３では、平均値階層化された画像データについての評価値と、アクテイビテイ階層化されたアクテイビテイデータについての評価値が、重み付けされて加算されて評価値メモリ５０に記憶される。
【００４０】
またこの実施例の場合、動き量検出回路２２は図７に示すような回路６０で構成されている。すなわち動き量検出回路６０では、図６で上述したように評価値が記憶された評価値メモリ５０が、順次評価値メモリコントロール５１より指定されたアドレスに従つて読み出され、比較器６１及びレジスタ６２に入力される。比較器６１は他方の入力と評価値メモリ５０より読み出された評価値を順次比較し、このうち入力された評価値が小さいとき、レジスタ６２及び６３の内容を更新する信号を送出する。
【００４１】
このレジスタ６３には、評価値メモリ５０を読み出すアドレスが順次設定される。このようにして順次評価値メモリ５０に記憶された評価値が評価され、そのうちの評価値の最小を与えるアドレスがレジスタ６３より送出され、これが動き量検出回路６０の出力、すなわち動きベクトルでなる動き量ＭＶとして出力される。
【００４２】
ここでこの動き量検出装置１の場合、階層３の動き量検出回路２２で得られる動き量は、階層２の画像データのフレームメモリ９及びアクテイビテイデータのフレームメモリ１２に与えられ、この動き量によつてサーチ領域が動き補償される。すなわち階層２の動き量を検出する場合には、フレームメモリ９及び１２に設定された過去（すなわち１フレーム前）の画像データ及びアクテイビテイデータを、動き補償されたサーチ領域に応じてそれぞれサーチブロツク回路２４及び２５に読み出す。
【００４３】
次に評価値算出回路２６及び２７は、ブロツク回路８及び１１とサーチブロツク回路２４及び２５との過去及び現在の画像データ及びアクテイビテイデータを用いて、それぞれ（８）式及び（１０）式の評価関数Ｅ（Ｙ）２ 及びＥ（Ｄ）２ に基づいて評価値を求める。この評価値は加算回路２８において、（１１）式に示すように、重み係数ｗ１ 、ｗ２ に応じて所定の重み付けされて加算され、この結果得られる新たな評価関数Ｅ（Ｇ）２ に基づく評価値が、動き量検出回路２９に入力される。この結果動き量検出回路２９で得られる動き量が加算回路２３で、（９）式に示すように、階層３の動き量と加算され階層２の動き量として送出される。なおこの評価値算出回路２６及び２７、動き量検出回路２９も、図６及び図７の評価値算出回路４０及び動き量検出回路６０と同様に構成されている。
【００４４】
このようにして階層２で得られる動き量は、階層１の画像データのフレームメモリ３に与えられ、この動き量によつてサーチ領域が動き補償される。すなわち階層１の動き量検出においては、フレームメモリ３に設定された過去（すなわち１フレーム前）の画像データを、動き補償されたサーチ領域に応じてサーチブロツク回路３１に読み出す。次に評価値算出回路４は、ブロツク回路２とサーチブロツク回路３１との画像データを用いて、それぞれ（８）式の評価関数Ｅ（Ｙ）１ に基づいて評価値を求める。
【００４５】
この評価値が動き量検出回路３２に入力され、この結果得られる階層１の動き量が加算回路３０で、（９）式に示すように、階層２の動き量と加算され、このようにしてオリジナル画像の動き量が検出され、動き量検出装置１の出力として送出される。なおこの評価値算出回路４、動き量検出回路３２も、図６及び図７の評価値算出回路４０及び動き量検出回路６０と同様に構成されている。
【００４６】
このようにして画像を複数の解像度で階層化し、この階層画像を用いてブロツクマツチング法で動き量を検出する際、アクテイビテイ階層化したアクテイビテイデータについて求めた評価値を階層毎の評価の対象とするようにしたことにより、少ない計算量で動き量を高い精度で検出し得る。因に実験によれば、オリジナル画像について全てくまなくブロツクマツチングによつて、フルサーチする場合に比較して、１／１０程度の正規化ハード量で同様のＳＮを得られることが分かつた。
【００４７】
以上の構成によれば、オリジナル画像を平均値階層化すると共に差分の絶対値和によるアクテイビテイ階層化し、この結果得られる複数階層の画像データとアクテイビテイデータについて、それぞれ階層毎に最上位階層より順次ブロツクマツチングによつて評価し、同一階層上でこれらを総合的に判定することにより、各階層における動き量の誤検出を未然に防止することができ、かくして簡易な構成かつ短い演算時間で、最終的なオリジナル画像について動き量の検出精度を格段的に向上し得る。
【００４８】
（２）第２実施例の動き量検出方法及び装置
上述の第１実施例では、アクテイビテイ階層化する際に差分の絶対値和の平均値を用いたが、この第２実施例ではアクテイビテイ階層化する際に、標準偏差又は分散値を用いてアクテイビテイデータを作成する。すなわち平均値階層化については、上述と同様の処理により作成し、図２に示すように、階層２のアクテイビテイ階層化については、平均値階層化された画像データから、次式
【数１２】
【００４９】
また階層３のアクテイビテイ階層化については、階層３の平均値階層化された画像データから階層２の平均値階層化された画像データから、次式
【数１３】
【数１４】
【００５０】
ここで例えば図３に上述したようなオリジナル画像中の画像データの４×４の画素ｘ１、ｘ２、……、ｘ１５、ｘ１６でなるブロツクを階層１として階層化する場合、まず平均値階層化として階層２の画像データ中の画素ｙ１、ｙ２、ｙ３、ｙ４は、（１）式に基づく（４）式によつて求め、さらにこの階層２の画像データ中の２×２の画素を用いて、階層３の画像データ中の画素ｚ１も、（１）式に基づく（５）式により求める。
【００５１】
次にアクテイビテイ階層化として階層２のアクテイビテイデータは、平均値階層化された階層２の画像データ中の画素ｙ１、ｙ２、ｙ３、ｙ４と、階層１の画像データ中の画素ｘ１、ｘ２、……、ｘ１５、ｘ１６を用いて、（１２）式に基づく、次式
【数１５】
【数１６】
【００５２】
以上の構成によれば、平均値階層化された画像データ及び標準偏差でアクテイビテイ階層化されたアクテイビテイデータについて、それぞれ階層毎に最上位階層より順次ブロツクマツチングによつて評価し、同一階層上でこれらを総合的に判定することにより、各階層における動き量の誤検出を未然に防止することができ、かくして最終的にオリジナル画像について、動き量の検出精度を格段的に向上し得る。
【００５３】
さらに上述の構成によれば、アクテイビテイ階層化として差分の絶対値和の平均値に代えて、標準偏差を用いるようにしたことより、アクテイビテイデータとしてよりオリジナル画像の高周波成分について特徴量を保存したデータを得ることができ、各階層における動き量の誤検出を一段と有効に防止することができる。
【００５４】
（３）第３実施例の動き量検出方法及び装置
上述の第１実施例及び第２実施例では、アクテイビテイ階層化する際に、差分の絶対値和の平均値を用いたり、標準偏差を用いた場合について述べたが、この第３実施例では、ラプラシアンフイルタを前処理に用いて画像の高周波成分を抽出した後に、アクテイビテイ階層化してアクテイビテイデータを生成する。
【００５５】
すなわち、図８に示すように、第１実施例で平均値階層化された画像データ（図８（Ａ））から、まず各階層毎にラプラシアンフイルタ処理によつてラプラシアンデータ（図８（Ｂ））を作成する。このラプラシアンデータにおいて、平均値階層化による画像データの作成と同様に例えば２×２の小ブロツクに分割し、小ブロツク内のラプラシアンデータの絶対値の平均値を算出して、アクテイビテイ階層化しアクテイビテイデータ（図８（Ｃ））を作成する。
【００５６】
ここでラプラシアンフイルタとしては、図９（Ａ）に示すように、画面の垂直及び水平方向の微分を考慮した値が設定された３×３の係数フイルタや、図９（Ｂ）に示すように、斜め方向を考慮した値が設定された３×３の係数フイルタが用いられる。この第３実施例の動き量検出装置も、図５の動き量検出装置１と同様で、アクテイビテイ階層化回路６、７において、上述したようにラプラシアンフイルタ処理で前処理して、アクテイビテイ階層化してアクテイビテイデータを求める。
【００５７】
以上の構成によれば、平均値階層化された画像データ及びラプラシアンフイルタ処理で前処理されてアクテイビテイ階層化されたアクテイビテイデータについて、それぞれ階層毎に最上位階層より順次ブロツクマツチングによつて評価し、同一階層上でこれらを総合的に判定することにより、各階層における動き量の誤検出を未然に防止することができ、かくして最終的にオリジナル画像について、動き量の検出精度を格段的に向上し得る。
【００５８】
さらに上述の構成によれば、アクテイビテイ階層化の前にラプラシアンフイルタ処理で前処理するようにしたことにより、アクテイビテイデータとしてよりオリジナル画像の高周波成分について特徴量を保存したデータを得ることができ、各階層における動き量の誤検出を一段と有効に防止することがでる。
【００５９】
（４）第４実施例の動き量検出方法及び装置
上述の第１〜第３実施例では、アクテイビテイ階層化する際に、差分の絶対値和の平均値を用いたり、標準偏差を用いたり、さらにオリジナル画像についてラプラシアン処理を前処理として施した場合について述べたが、この第４実施例では、オリジナル画像の最大値と最小値の差で定義されるダイナミツクレンジを用いて、アクテイビテイ階層化してアクテイビテイデータを生成する。
【００６０】
このアクテイビテイ階層化の場合、階層２のアクテイビテイデータをΔ２ （ｘ、ｙ）とすると、このアクテイビテイデータΔ２ （ｘ、ｙ）は、平均値階層化された画像データから、オリジナル画像の対応する画素の最大値及び最小値の差でなるダイナミツクレンジを用いて、次式
【数１７】
【数１８】
【００６１】
上述のようにダイナミツクレンジを用いてアクテイビテイ階層化することにより、結果的に得られるアクテイビテイデータとしては、平均値階層化したときに欠落する特徴量を反映していることになる。この第４実施例の動き量検出装置も、図５の動き量検出装置１と同様で、アクテイビテイ階層化回路６、７において、上述したようにダイナミツクレンジによるアクテイビテイ階層化してアクテイビテイデータを求める。
【００６２】
以上の構成によれば、平均値階層化された画像データ及びダイナミツクレンジによりアクテイビテイ階層化されたアクテイビテイデータについて、それぞれ階層毎に最上位階層より順次ブロツクマツチングによつて評価し、同一階層上でこれらを総合的に判定することにより、各階層における動き量の誤検出を未然に防止することができ、かくして最終的にオリジナル画像について、動き量の検出精度を格段的に向上し得る。
【００６３】
さらに上述の構成によれば、平均値階層化したときに欠落する特徴量を反映したダイナミツクレンジでアクテイビテイ階層化したことにより、アクテイビテイデータとしてよりオリジナル画像の高周波成分について特徴量を保存したデータを得ることができ、各階層における動き量の誤検出を一段と有効に防止することがでる。
【００６４】
（５）第５実施例の動き量検出方法及び装置
上述の第１〜第４実施例では、平均値階層化によつて上位階層の画像データを作成する際に、オリジナル画像についてブロツク完結で上位まで演算したが、この第５実施例では、図１０に示すように、平均値階層化する際２×２のブロツクより広い範囲、例えば４×４のブロツクについて、１６画素の平均値を算出して平均値階層化して画像データを作成する。上位階層の構成は従来と変わらないようにするため、下位の階層のブロツクはオーバーラツプした形になり、隣接ブロツクとの関係を保持しながら階層化し得ることにより、ブロツク完結によつて生じる動き量の誤検出を防止し得る。
【００６５】
すなわちこうすることで、上位階層までの隣接ブロツクとの関係が完全に切れたものではなく、何らかの相互関係をもつて平均値階層化された画像データが構成されることになり、上位階層でのブロツクマツチング法における誤検出の確率を下げることが可能となる。
【００６６】
アクテイビテイ階層化したアクテイビテイデータについては、上述のようにオーバーラツプさせて作られた平均値階層化の画像データから、第１〜第４実施例のように差分の絶対値和の平均値や、標準偏差又は分散値、さらにはダイナミツクレンジを計算することで求めることができる。
【００６７】
以上の構成によれば、画像を階層化する際にオーバーラツプさせてブロツクを構成し、ブロツク内の画素の加重平均をとることで、平均値階層化された複数階層の画像データを作成すると共に、複数階層の画像データに応じてアクテイビテイ階層化されたアクテイビテイデータを作成し、それぞれ階層毎に最上位階層より順次ブロツクマツチングによつて評価し、同一階層上でこれらを総合的に判定することにより、各階層における動き量の誤検出を未然に防止することができ、かくして最終的にオリジナル画像について、動き量の検出精度を格段的に向上し得る。
【００６８】
さらに上述の構成によれば、平均値階層化やアクテイビテイ階層化において、ブロツクをオーバーラツプさせて画像データやアクテイビテイデータを形成するようにしたことにより、ブロツク完結で階層化した場合に比較して動き量の誤検出を未然に防止し得る。
【００６９】
（６）第６実施例の動き量検出方法及び装置
上述した第１実施例では、それぞれ平均値階層化した画像データとアクテイビテイ階層化したアクテイビテイデータとの各階層についてのブロツクマツチングによる評価関数Ｅ（Ｙ）ｎ 、Ｅ（Ｄ）ｎ を、（１１）式に示すように重みｗ１ 、ｗ２ で重み付け加算して新たな評価関数Ｅ（Ｇ）ｎ を求めた。この場合重みｗ１ 、ｗ２ はそれぞれ値１として均等加重によつて演算していたが、この第６実施例では、動き量検出の誤差が少なくなるように重みを適応的に変化させる。
【００７０】
（６−１）適応化処理１
適応化処理１では、まず平均値階層化された画像データとアクテイビテイ階層化されたアクテイビテイデータとにおいて、それぞれのブロツクの標準偏差σＹ 、σＤ を考える。この標準偏差σＹ 、σＤ が大きいほど、評価テーブルのすり鉢形状は急峻になり、その最適値の信憑性が大きくなると考えられる。そこで、実際には標準偏差値σＹ 、σＤ を用いて次式
【数１９】
【００７１】
（６−２）適応化処理２
適応化処理２では、まず平均値階層化された画像データとアクテイビテイ階層化されたアクテイビテイデータとにおいて、最適評価値の絶対レベルが異なつていると評価のウエイトが変わつてしまうことから、最適評価値のレベルを同じにする正規化を行う。すなわちそれぞれの最適評価値をｅＹ 、ｅＤとして、次式
【数２０】
【００７２】
（６−３）適応化処理３
平均値階層化された画像データとアクテイビテイ階層化されたアクテイビテイデータとの評価値の単純加算値において、評価値の形状と加重比率の関係には相関関係があることが実験によりわかつた。それによると、評価値の形状が急峻なブロツクが多い場合、平均値の評価値に対する重みを大きくするほうが良い。この適応化処理３では、その関係をあらかじめ種々のソースを用いてテーブル化しておき、ある評価値の形状に対して重みの比率を出力して再評価する。
【００７３】
評価値の形状を定量化する方法は、最適評価値を中心とした周囲の評価値を用いる。例えば図１１に示すように中心の画素ｘについて、周囲８点ｅ１ 〜ｅ８ の評価値を用いると、形状の尺度Ｓは、
【数２１】
【００７４】
（６−４）適応化処理４
評価値の形状は、急峻な形状ほど最適評価値は正しい可能性が高いと考えられる。また評価値の形状がほぼフラツトであると、特に一方の形状がフラツトである場合、（１１）式に対する悪影響は少ない。したがつて適応化処理４では、平均値階層化された画像データとアクテイビテイ階層化されたアクテイビテイデータとの評価値のそれぞれの評価値形状に適応した重み付けを行う。
【００７５】
それぞれの評価値の定量尺度は、（２１）式と同様に考えて、平均値階層化された画像データをＳＹ 、アクテイビテイ階層化されたアクテビテイデータをＳＤ とすると、次式
【数２２】
【数２３】
【数２４】
【００７６】
（６−５）適応化処理５
評価値メモリの内容は、ブロツク内の画像の特性（フラツト、エツジ等）によつて値が異なる。一般にフラツトな画像だと評価値も変化が小さく、エツジなどを含む画像だと評価値は大きく変化する。従つて均等加算で新たな評価関数を求めると、真の最小値の位置がずれてしまい動き量検出として誤検出になるおそれがある。
【００７７】
従つてこの適応化処理５では、まず平均値階層化された画像データについての評価関数Ｅ（Ｙ）ｎ の最大値Ｅ（Ｙ）ｎｍａｘ、最小値Ｅ（Ｍ）ｎｍｉｎを検出し、次式
【数２５】
【数２６】
【００７８】
このようにして正規化された評価値テーブルを用いて、新たな評価関数Ｅ（Ｇ）ｎ を次式
【数２７】
【００７９】
（６−６）適応化処理回路
上述した適応化処理１〜５は、何れも図５について上述した動き量検出装置１において、各階層の平均値階層化された画像データ及びアクテイビテイ階層化されたアクテイビテイデータの評価値算出回路２６、１９及び２７、２０で得られる評価値メモリの内容を加算回路２８、２１で加算する際に実行される。因に、図１２に適応化処理５を実現する適応化処理回路７０の構成を示す。
【００８０】
すなわちこの適応化処理回路７０においては、平均値階層化された画像データ及びアクテイビテイ階層化されたアクテイビテイデータの評価値算出回路２６、１９及び２７、２０で得られる評価値メモリ７１、７２の評価値Ｅ（Ｙ）ｎ 、Ｅ（Ｄ）ｎ が、順次それぞれの最大値／最小値検出回路７３、７４と遅延回路７５、７６に入力される。
【００８１】
最大値／最小値検出回路７３、７４はそれぞれの評価値Ｅ（Ｙ）ｎ 、Ｅ（Ｄ）ｎ ついて最大値Ｅ（Ｙ）ｎｍａｘ、Ｅ（Ｄ）ｎｍａｘと、最小値Ｅ（Ｙ）ｎｍｉｎ、Ｅ（Ｄ）ｎｍｉｎを求める。この結果得られる最大値Ｅ（Ｙ）ｎｍａｘ、Ｅ（Ｄ）ｎｍａｘはそれぞれの第１の減算回路７７、７８に入力され、また最小値Ｅ（Ｙ）ｎｍｉｎ、Ｅ（Ｄ）ｎｍｉｎは、それぞれ第１の減算回路７７、７８及び第２の減算回路７９、８０に入力される。第２の減算回路７９、８０には、それぞれの評価値Ｅ（Ｙ）ｎ 、Ｅ（Ｄ）ｎ が、最大値／最小値検出回路７３、７４の処理時間分だけ遅延されて入力されている。
【００８２】
それぞれ第１の減算回路７７、７８及び第２の減算回路７９、８０の減算出力は、除算回路８１、８２に入力されて除算され、その出力が加算回路８３で加算される。これにより上述の（２５）式〜（２７）式の演算が実行される。このようにして適応化処理５が施された新たな評価関数Ｅ（Ｇ）ｎ は、評価値メモリ８４に記憶され、動き量検出回路に送出される。なお最下位階層に関してはオリジナル画像になるため、評価値Ｅ（Ｙ）１ を計算して最小値の検出を行なう。
【００８３】
（６−６）適応化処理の効果
以上の構成によれば、オリジナル画像を平均値階層化すると共にアクテイビテイ階層化し、この結果得られる複数階層の画像データとアクテイビテイデータについて、それぞれ階層毎に最上位階層より順次ブロツクマツチングによつて評価し、同一階層上でこれらを総合的に判定する際に、最適に重み付けして得られる新たな評価関数を用いるようにしたことにより、各階層における動き量の誤検出を未然に防止することができ、かくして最終的なオリジナル画像について、動き量の検出精度をさらに一段と格段的に向上し得る。
【００８４】
（７）第７実施例の動き量検出方法及び装置
上述の第１〜第４実施例では、平均値階層化によつて上位階層の画像データを作成する際に、オリジナル画像についてブロツク完結で上位まで演算したが、平均値階層化やアクテイビテイ階層化等の操作がブロツク単位で完結するため、動き量を誤検出するおそれがあつた。このため第５実施例では、平均値階層化する際に下位の階層のブロツクをオーバーラツプした形として、隣接ブロツクとの関係を保持しながら階層化したが、この第７実施例では、平均値階層化された画像データとアクテイビテイ階層化されたアクテイビテイデータの評価値を得る際に、複数例えば２種類の評価値を得て下位の階層で動き補償するようになされている。
【００８５】
すなわち、この動き量検出方法では、まず上述の第１実施例と同様に、平均値階層化された画像データのサーチ領域内での評価値をＥ（Ｙ）ｎ 、アクテイビテイ階層化されたアクテイビテイデータのサーチ領域内での評価値をＥ（Ｄ）ｎ として、各々評価値メモリに評価値テーブルを作成する。この評価値テーブルは、ブロツク内の画像の特性（フラツト、エツジ等）によつてかなり値が異なる。一般にフラツトな画像だと評価値テーブルも変化が小さく、エツジ等を含む画像だと評価値は大きく変化する。通常、評価値テーブルの値は、動き量に対応する位置の評価値が最小点によるような擦り鉢形状をしているが、画像によつてはかなり平坦になつていたり、極小点が複数存在することもある。特に平均値階層化された画像データにおける上位階層で、この傾向が強くなる。
【００８６】
従つてこの動き量検出方法では、最上位階層における評価値テーブルの極小点を複数検出し、これを初段の動き量候補とする。具体的には、最上位階層の評価値テーブルは平均値階層化されたものとアクテイビテイ階層化されたものが２種類あり、それぞれにおいて最も小さいものから複数の極小点を検出する。そして平均値階層化での極小点の位置とアクテイビテイ階層化での極小点の位置に関して、論理和をとることで重なりを除き、階層３における複数の極小点の位置を初段の動き量の候補とする。
【００８７】
次に階層３すなわち最上位階層における動き量の候補毎に、以下の操作を行なう。まず平均値階層化での階層２において、動き量のうちの１つを選択し、この位置を中心としてサーチ範囲を設定する。サーチ範囲内で階層２のブロツクマツチングを行ない評価値を計算する。同様にアクテイビテイ階層化の階層２においても選択した動き量の位置を中心としてサーチ範囲を設定し、サーチ範囲内で階層２のブロツクマツチングを行ない評価値を計算する。
【００８８】
続いて階層２における平均値階層化での評価値と、アクテイビテイ階層化での評価値を重み付け加算してその最小点を検出する。この最小点の位置を初段の動き量の１個に対応した階層２における動き量とする。次に上述のようにして決定された複数の初段の動き量のうちの１個と、それに対応する階層２の動き量で決定される位置を中心として、階層１におけるサーチ範囲を決定する。
【００８９】
階層１はオリジナル画像の階層であり、ブロツクマツチングは１種類のみ行なわれ、差分の絶対値和で算出された評価値の最小値が検出される。この最小値の位置が初段の動き量のうちの１個に対応する最終段の動き量になる。以上の操作を複数決定した初段の動き量毎に行ない、階層１での評価値の最小値の位置を複数個求め、その中からさらに最小の評価値を示すものを検出し、最終的な動き量として送出する。
【００９０】
ここでこの第７実施例における動き量検出処理手順ＳＰ１０を図１３に示す。すなわちまずステツプＳＰ１１において、比較する２画面のオリジナル画像をブロツク化し、次のステツプＳＰ１２でブロツク化されたオリジナル画像について、平均値階層化すると共にアクテイビテイ階層化し、例えば階層１、階層２及び階層３の画像データと階層２及び階層３のアクテイビテイデータを生成する。
【００９１】
続くステツプＳＰ１３では現在探索済みの階層が最上位階層すなわち階層３か否か判断し、否定結果の場合にはステツプＳＰ１４で、平均値階層化された画像データとアクテイビテイ階層化されたアクテイビテイデータの現在及び過去のデータを用いてサーチ領域について探索して評価関数による評価値を算出し、ステツプＳＰ１３に戻る。このステツプＳＰ１３で肯定結果を得ると、ステツプＳＰ１５に移つて評価値からｎ個の極小点を選択して、ステツプＳＰ１６に移る。
【００９２】
ステツプＳＰ１６では、最上位階層で求めたｎ個の極小点について、階層２及び階層３での処理が終了したか否かを判断し、ここで否定結果を得るとステツプＳＰ１７に移つて現在の階層が最下位階層すなわち階層１か否かを判断し、ここで否定結果を得るとステツプＳＰ１８に移つて探索が終了したか否かを判断し、ここで否定結果を得ると、ステツプＳＰ１９に移り階層２の画像データ及びアクテイビテイデータの現在及び過去のデータを用いてサーチ領域について探索して評価関数による評価を行いステツプＳＰ１８に戻る。
【００９３】
やがてステツプＳＰ１８で肯定結果を得ると、ステツプＳＰ２０に移つて階層２の画像データ及びアクテイビテイデータについて求めた評価関数を用いて新たな評価関数による評価を行つて最適評価値を求め、その最適評価値より動き量を決定してステツプＳＰ２１に移つて下位階層に適用してステツプＳＰ１７に戻る。
【００９４】
やがてこのステツプＳＰ１７で否定結果を得ると、ステツプＳＰ１６に戻つて最上位階層で求めた評価値のｎ個の極小値について、ステツプＳＰ１７−ＳＰ１８−ＳＰ１９−ＳＰ２０−ＳＰ２１で、階層２及び階層１の動き量を検出したか否か判断し、肯定結果を得るとステツプＳＰ２２に移つて階層１で求めた動き量のうち、最小の動き量を最終の動き量として送出し、ステツプＳＰ２３において当該動き量検出処理手順ＳＰ１０を終了する。
【００９５】
ここで、この実施例の動き量検出方法を用いる動き量検出装置は、図１４に示すように構成されている。この動き量検出装置９０においては、入力されるオリジナル画像の画像データがブロツク回路９１及び階層１のフレームメモリ９２に入力される。ブロツク回路９１は入力画像データを、所定のサイズ（例えば16×16のブロツクサイズ）で順次ブロツク化し、この結果得られるブロツク化されたオリジナル画像の画像データが、それぞれ階層１の動き量検出回路９３及び９４、階層２及び階層３の階層化回路９５及び９６に入力される。この階層化回路９５及び９６は、それぞれ平均値階層化及びアクテイビテイ階層化を含んで構成されている。
【００９６】
階層２の階層化回路９５で階層化されて得られる画像データ及びアクテイビテイデータは、フレームメモリ９７と第１及び第２の動き量検出回路９８及び９９とに入力される。また階層３の階層化回路９６で階層化されて得られる画像データ及びアクテイビテイデータは、フレームメモリ１００及び動き量検出回路１０２に入力される。このようにしてブロツク化された画像データが、それぞれの階層１、階層２及び階層３の画像データとして平均値階層化されると共に、階層２及び階層３のアクテイビテイデータとしてアクテイビテイ階層化される。
【００９７】
実際の動き量の検出は最上位階層でなる階層３において、まずフレームメモリ１００に設定された過去（すなわち１フレーム前）の画像データ及びアクテイビテイデータを、サーチ領域に応じてそれぞれサーチブロツク回路１０１に読み出す。次に動き量検出回路１０２において、階層化回路９６とサーチブロツク回路１０１との画像データ及びアクテイビテイデータを用いて、それぞれ評価関数に基づいて評価値を求め、これらを重み付け係数に応じて重み付けして加算し、この結果得られる新たな評価関数に基づく評価値を極小とする極小点を２つ選出し、これらがそれぞれ階層３の２つの動き量として送出される。
【００９８】
この実施例の場合、階層３の動き量検出回路１０２で得られる２つの動き量は、階層２のサーチブロツク回路１０３、１０４と加算回路１０５、１０６にそれぞれ入力される。階層２においてはフレームメモリ９７に記憶された画像データ及びアクテイビテイデータをサーチブロツク回路１０３及び１０４に読み出す際に、それぞれ異なる動き量に応じてサーチ領域が動き補償される。
【００９９】
この結果階層２で動き量を検出する場合には、動き量検出回路９８、９９において、サーチブロツク回路１０３及び１０４に設定された過去（すなわち１フレーム前）の画像データ及びアクテイビテイデータと、階層化回路９５より入力される現在の画像データ及びアクテイビテイデータとを用いて、それぞれ評価関数に基づいて評価値を求める。次にこれの評価値を重み付け係数に応じて重み付けして加算し、この結果得られる新たな評価関数に基づく評価値を最小にするものを検出し、それぞれの動き量として送出する。
【０１００】
この階層２の動き量検出回路９８、９９で得られる動き量は、それぞれ加算回路１０５、１０６において、階層３の対応する動き量と加算され、階層２の動き量として、階層１のサーチブロツク回路１０７、１０８と加算回路１０９、１１０にそれぞれ入力される。階層１においてはフレームメモリ９２に記憶された画像データ及びアクテイビテイデータをサーチブロツク回路１０７及び１０８に読み出す際に、それぞれ異なる動き量に応じてサーチ領域が動き補償される。
【０１０１】
この結果階層１で動き量を検出する場合には、動き量検出回路９３、９４において、サーチブロツク回路１０７及び１０８に設定された過去（すなわち１フレーム前）の画像データ及びアクテイビテイデータと、ブロツク回路９１より入力される現在の画像データ及びアクテイビテイデータとを用いて、それぞれ評価関数に基づいて評価値を求める。次にこれらの評価値を重み付け係数に応じて重み付けして加算し、この結果得られる新たな評価関数に基づく評価値を最小にするものを検出し、それぞれの動き量として送出する。
【０１０２】
このようにして動き量検出回路９３、９４でそれぞれ得られる動き量は、加算回路１０９及び１１０に送出されると共に、判断回路１１１に入力される。加算回路１０９及び１１０に入力された動き量は、それぞれ階層２の対応する動き量と加算され、階層１の動き量として選択回路１１２に入力される。判断回路１１１は入力される動き量のうち最小を与えるものを判断し、当該最小を与える動き量に基づく、階層１の動き量を選択回路１１２で選択し、最終的な動き量として送出する。
【０１０３】
以上の構成によれば、オリジナル画像を平均値階層化して複数階層の画像データを作成すると共に、アクテイビテイ階層化して階層毎の画像データの高周波成分を表すアクテイビテイデータを作成し、それぞれの最上位階層でのブロツクマツチングの評価値を算出し、この評価値を総合判断して得られる最上位階層の新たな評価値の極小点の位置を複数選択して動き量の候補とし、その動き量毎に順次下位の階層でのブロツクマツチングを行なつて、評価値の最小値から動き量を算出し、最下位階層の評価値の最小値で最終の動き量を得るようにしたことにより、最上位階層における複数の動き量の候補から、最下位階層までの経緯にそつて総合評価でき、最終的に動き量の検出精度を格段的に向上し得る。
【０１０４】
（８）他の実施例
（８−１）上述の実施例においては、オリジナル画像より平均値階層化で３階層の画像データを作成した場合について述べたが、階層数はこれに限らず２階層や４階層以上でも、上述の実施例と同様の効果を実現できる。また平均値階層化する際、（１）式のように２×２のブロツク範囲で平均値を求めるようにしたが、ブロツク範囲はこれに限らず、また平均値に限らずローパスフイルタ等で平滑化するようにして良い。因に、例えばより広範囲の４×４のブロツク範囲について、フイルタ処理する場合に、その重み係数を水平及び垂直方向のマトリクスで表現すると、次式
【数２８】
【０１０５】
（８−２）上述の第１実施例では、アクテイビテイ階層化する際に、オリジナル画像でなる階層１の画像データと求める階層の画像データとの差分の絶対値和によつて、アクテイビテイデータを得るようにしたが、これに代え、階層ｎのアクテイビテイをΔｎ （ｘ、ｙ）として、次式
【０１０６】
【数２９】
【数３０】
【０１０７】
（８−３）上述の実施例においては、ブロツクマツチングの評価値を求めるために、（８）式や（１０）式でなる評価関数によつて、両ブロツクの差分の絶対値和を用いているが、その他にブロツクマツチングの評価関数を求めるため、差分の２乗和や相関係数を用いる等を適用するようにしても上述の実施例と同様の効果を実現できる。
【０１０８】
（８−４）上述の第２実施例においては、平均値階層化して得られる画像データより（１２）式に基づいて標準偏差を計算することにより、アクテイビテイ階層化して、アクテイビテイデータで求めるようにしたが、これに代え、分散値を用いるようにしても上述の実施例と同様の効果を実現できる。因に、この場合、上述した（１２）式において、平方根を演算する前の値を使用すれば良い。
【０１０９】
（８−５）上述の第３実施例においては、階層１及び階層２の画像データについて、ラプラシアン処理した場合について述べたが、これに代え、ラプラシアンフイルタ処理するのは、最下位階層でなるオリジナル画像のみとし、ラプラシアンデータの例えば２×２のブロツク内の絶対値の平均値を算出して階層２のアクテイビテイデータを作成し、さらに上位のアクテイビテイデータは、下位のアクテイビテイデータの平均値階層化によつて作成するようにして良い。
【０１１０】
またこれに代え、最下位階層のラプラシアンデータにおける小ブロツク内の絶対値の最大値をアクテイビテイデータとして階層２をアクテイビテイ階層化し、さらに上位のアクテイビテイ階層化は、下位のアクテイビテイデータの小ブロツク内での最大値をアクテイビテイデータとするようにしても良い。
【０１１１】
さらにまたこれに代え、最下位階層のラプラシアンデータにおける小ブロツクの最大値と最小値の差、つまりダイナミツクレンジをアクテイビテイデータとして、階層２をアクテイビテイ階層化し、さらに上位のアクテイビテイ階層化に関しては、下位のアクテイビテイデータの小ブロツク内での最大値をとることでアクテイビテイデータとするようにしても良い。
【０１１２】
（８−６）上述の第４実施例においては、アクテイビテイ階層化する際にオリジナル画像でなる階層１の画像データと求める階層の画像データとの最大値及び最小値の差でなるダイナミツクレンジを用いてアクテイビテイデータを得るようにしたが、これに代え、階層ｎのアクテイビテイデータをΔｎ （ｘ、ｙ）として、次式
【数３１】
【０１１３】
またこの他に階層２のアクテイビテイデータは、（１７）式によつて求め、一旦アクテイビテイデータが求まると次式
【数３２】
【０１１４】
（８−７）上述の第５実施例においては、図１０に示したように、階層３の平均値階層化された画像データを階層２から作成しているが、これに限らず、階層１において、例えば６×６のブロツクでオーバーラツプさせて平均値階層化するようにしても良い。
【０１１５】
（８−８）上述の第５実施例においては、オーバーラツプさせて平均値をとるようにしたが、この平均値を演算する際にブロツクの中心画素に重みを多く持たせて加重平均を演算するようにしても良い。このように階層画像に隣接ブロツクの影響を弱くかけることで、動き量の検出の感度を調整することもできる。また同様に階層１のオリジナル画像に２次元ローパスフイルタ処理し、隣接画素の影響をある程度加味できるように前処理した後、階層化については平均値を用いるようにしても良い。また階層画像についてはオーバーラツプさせないで平均値階層化により形成し、アクテイビテイ階層化する際に下位の平均値階層化された画像データにおいて、オーバーラツプさせたブロツクで差分の絶対値和の平均値を算出することで作成するようにしても良い。
【０１１６】
（８−９）上述の第７実施例においては、平均値階層化での評価値とアクテイビテイ階層化での評価値との各々について、複数の極小値を初段の動き量の候補とした場合について述べたが、これに代え、平均値階層化での評価値とアクテイビテイ階層化での評価値を重み付け加算した後に、複数の極小点を検出しその位置を初段の動き量の候補としても良い。
【０１１７】
（８−１０）上述の第７実施例においては、階層２において動き量の候補として最小位置を選択したが、最上位階層と同様に平均値階層化での評価値とアクテイビテイ階層化での評価値毎に極小点を複数個選択し、さらに下位の階層で動き量の検出について分岐を増やし、最下位階層で全ての評価値のうち最小となる評価値を検出して、最終的な動き量として送出するようにしても良い。
【０１１８】
【発明の効果】
上述のように本発明によれば、それぞれ異なる時点の入力画像に対応する階層化された解像度の異なる複数階層の画像データに基づいて、当該階層毎の画像データの高周波成分を表す複数階層のアクテイビテイデータを形成し、上位階層から階層毎に、画像データについて所定ブロツク単位でブロツクマツチングによつて第１の評価値を求めると共に、アクテイビテイデータについて所定ブロツク単位でブロツクマツチングによつて第２の評価値を求め、当該上位階層で得られた第１及び第２の評価値のうち最小値及び／又は極小値となる当該第１及び第２の評価値に基づいて複数の上位階層動き量を動き量候補として検出し、上位階層よりも下位の階層毎に得られた第１及び第２の評価値に基づいて、複数の上位階層動き量にそれぞれ対応する階層毎動き量を検出して当該対応する上位階層動き量と順次演算することにより下位階層で複数の演算結果動き量を検出し、当該下位階層の第１の評価値に基づいて複数の演算結果動き量のうち１つの当該演算結果動き量を最終的に異なる時点の入力画像間の動き量として検出するようにしたことにより、上位階層から階層毎に、画像データと、その画像データ中で階層化により欠落する特徴量を反映するアクテイビテイデータとの両方を用いて評価値を算出することができ、その結果、一方の階層の最適評価値が誤検出であつても、もう一方の階層の評価値で正しい動き量を検出して各階層における動き量の検出精度を向上させることができ、かくして簡易な構成かつ短い演算時間で最終的な入力画像について動き量の検出精度を向上し得る動き量検出方法及び動き量検出装置を実現することができる。
【図面の簡単な説明】
【図１】ブロツクマツチングによる動き量検出方法の説明に供する略線図である。
【図２】実施例による階層画像の説明に供する略線図である。
【図３】実施例による階層画像の説明に供する略線図である。
【図４】実施例による動き量検出処理手順を示すフローチヤートである。
【図５】実施例による動き量検出装置の構成を示すブロツク図である、
【図６】図５の動き量検出装置における評価値算出回路の構成を示すブロツク図である。
【図７】図５の動き量検出装置における動き量検出回路の構成を示すブロツク図である。
【図８】第４実施例による動き量検出方法の説明としてラプラシアンフイルタによる前処理を示す略線図である。
【図９】第４実施例による動き量検出装置の説明としてラプラシアンフイルタの係数の例を示す略線図である。
【図１０】第５実施例の平均値階層化の説明に供する略線図である。
【図１１】第６実施例による動き量検出方法の説明として最適評価値と近傍評価値の関係を示す略線図である。
【図１２】第６実施例による動き量検出装置として適応化処理回路の構成を示すブロツク図である。
【図１３】第７実施例による動き量検出方法の説明として動き量検出処理手順を示すフローチヤートである。
【図１４】第７実施例による動き量検出装置の構成を示すブロツク図である。
【符号の説明】
１、９０……動き量検出装置、２、８、１１、１３、１５、９１……ブロツク回路、３、９、１２、１４、１６、９２、９７、１００……フレームメモリ、４、１９、２０、２６、２７、４０……評価値算出回路、５、１０……平均値階層化回路、６、７……アクテイビテイ階層化回路、１７、１８、２４、２５、３１、１０２、１０３、１０４、１０７、１０８……サーチブロツク回路、２１、２３、２８、３０、４８、１０５、１０６、１０９、１１０……加算回路、２２、２９、３２、６０、９３、９４、９８、９９、１０１……動き量検出回路、４１……参照ブロツクメモリ、４２……候補ブロツクメモリ、４３……メモリコントロール、４４、４５、４９、６２、６３……レジスタ、４６……減算回路、４７……絶対値化回路、５０……評価値メモリ、５１……評価値メモリコントロール、６１……比較器、９５、９６……階層化回路、１１１……判断回路、１１２……選択回路。
Claims (10)
- 入力画像より生成された解像度の異なる複数階層の画像データに基づいて、動き量を検出する動き量検出方法において、
それぞれ異なる時点の上記入力画像に対応する階層化された上記解像度の異なる複数階層の画像データに基づいて、当該階層毎の上記画像データの高周波成分を表す複数階層のアクテイビテイデータを形成するアクテイビテイ階層化ステツプと、
上位階層から上記階層毎に、上記画像データについて所定ブロツク単位でブロツクマツチングによつて第１の評価値を求める第１の評価値算出ステツプと、
上記上位階層から上記階層毎に、上記アクテイビテイデータについて所定ブロツク単位でブロツクマツチングによつて第２の評価値を求める第２の評価値算出ステツプと、
上記上位階層の上記第１及び第２の評価値算出ステツプで得られた上記第１及び第２の評価値のうち最小値及び／又は極小値となる当該第１及び第２の評価値に基づいて複数の上位階層動き量を動き量候補として検出し、上記上位階層よりも下位の上記階層毎に上記第１及び第２の評価値算出ステツプで得られた上記第１及び第２の評価値に基づいて、上記複数の上位階層動き量にそれぞれ対応する階層毎動き量を検出して当該対応する上記上位階層動き量と順次演算することにより下位階層で複数の演算結果動き量を検出し、当該下位階層の上記第１の評価値に基づいて上記複数の演算結果動き量のうち１つの当該演算結果動き量を最終的に上記異なる時点の上記入力画像間の上記動き量として検出する動き量検出ステツプと
を具えることを特徴とする動き量検出方法。 - 入力画像より生成された解像度の異なる複数階層の画像データに基づいて、動き量を検出する動き量検出装置において、
それぞれ異なる時点の上記入力画像に対応する階層化された上記解像度の異なる複数階層の画像データに基づいて、当該階層毎の上記画像データの高周波成分を表す複数階層のアクテイビテイデータを形成するアクテイビテイ階層化手段と、
上位階層から上記階層毎に、上記画像データについて所定ブロツク単位でブロツクマツチングによつて第１の評価値を求める第１の評価値算出手段と、
上記上位階層から上記階層毎に、上記アクテイビテイデータについて所定ブロツク単位でブロツクマツチングによつて第２の評価値を求める第２の評価値算出手段と、
上記上位階層の上記第１及び第２の評価値算出手段で得られた上記第１及び第２の評価値のうち最小値及び／又は極小値となる当該第１及び第２の評価値に基づいて複数の上位階層動き量を動き量候補として検出し、上記上位階層よりも下位の上記階層毎に上記第１及び第２の評価値算出手段で得られた上記第１及び第２の評価値に基づいて、上記複数の上位階層動き量にそれぞれ対応する階層毎動き量を検出して当該対応する上記上位階層動き量と順次演算することにより下位階層で複数の演算結果動き量を検出し、当該下位階層の上記第１の評価値に基づいて上記複数の演算結果動き量のうち１つの当該演算結果動き量を最終的に上記異なる時点の上記入力画像間の上記動き量として検出する動き量検出手段と
を具えることを特徴とする動き量検出装置。 - 上記演算は、加算である
ことを特徴とする請求項２に記載の動き量検出装置。 - 上記階層毎動き量は、上記上位階層から上記下位階層へ上記第１及び第２の評価値を総合判断して得られる評価値に基づいて検出される
ことを特徴とする請求項２に記載の動き量検出装置。 - 上記階層毎動き量は、上記第１及び第２の評価値の重み付け加算の結果に基づいて検出 される
ことを特徴とする請求項２に記載の動き量検出装置。 - 上記複数の上位階層動き量は、１又は複数の上記上位階層の上記第１及び第２の評価値算出手段で得られた上記第１及び第２の評価値のうち最小値及び／又は極小値となる当該第１及び第２の評価値に基づいて検出される
ことを特徴とする請求項２に記載の動き量検出装置。 - 上記複数の上位階層動き量は、上記上位階層の上記第１及び第２の評価値算出手段で得られた上記第１及び第２の評価値のうち最小値及び／又は極小値となる当該第１及び第２の評価値から得られる新たな評価値に基づいて検出される
ことを特徴とする請求項２に記載の動き量検出装置。 - 上記新たな評価値は、上記第１及び第２の評価値の重み付け加算に基づいて得られる
ことを特徴とする請求項７に記載の動き量検出装置。 - 入力画像より生成された解像度の異なる複数階層の画像データに基づいて、動き量を検出する動き量検出方法において、
それぞれ異なる時点の上記入力画像に対応する階層化された上記解像度の異なる複数階層の画像データに基づいて、当該階層毎の上記画像データの高周波成分を表す複数階層のアクテイビテイデータを形成するアクテイビテイ階層化ステツプと、
上位階層から上記階層毎に、上記アクテイビテイデータについて所定ブロツク単位でブロツクマツチングによつて評価値を求める評価値算出ステツプと、
上記上位階層の上記評価値算出ステツプで得られた上記評価値のうち最小値及び／又は極小値となる当該評価値に基づいて複数の上位階層動き量を動き量候補として検出し、上記上位階層よりも下位の上記階層毎に上記評価値算出ステツプで得られた上記評価値に基づいて、上記複数の上位階層動き量にそれぞれ対応する階層毎動き量を検出して当該対応する上記上位階層動き量と順次演算することにより下位階層で複数の演算結果動き量を検出し、当該下位階層の上記評価値に基づいて上記複数の演算結果動き量のうち１つの当該演算結果動き量を最終的に上記異なる時点の上記入力画像間の上記動き量として検出する動き量検出ステツプと
を具えることを特徴とする動き量検出方法。 - 入力画像より生成された解像度の異なる複数階層の画像データに基づいて、動き量を検出する動き量検出装置において、
それぞれ異なる時点の上記入力画像に対応する階層化された上記解像度の異なる複数階層の画像データに基づいて、当該階層毎の上記画像データの高周波成分を表す複数階層のアクテイビテイデータを形成するアクテイビテイ階層化手段と、
上位階層から上記階層毎に、上記アクテイビテイデータについて所定ブロツク単位でブロツクマツチングによつて評価値を求める評価値算出手段と、
上記上位階層の上記評価値算出手段で得られた上記評価値のうち最小値及び／又は極小値となる当該評価値に基づいて複数の上位階層動き量を動き量候補として検出し、上記上位階層よりも下位の上記階層毎に上記評価値算出手段で得られた上記評価値に基づいて、上記複数の上位階層動き量にそれぞれ対応する階層毎動き量を検出して当該対応する上記上位階層動き量と順次演算することにより下位階層で複数の演算結果動き量を検出し、当該下位階層の上記評価値に基づいて上記複数の演算結果動き量のうち１つの当該演算結果動き量を最終的に上記異なる時点の上記入力画像間の上記動き量として検出する動き量検出手段と
を具えることを特徴とする動き量検出装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP02740994A JP3553570B2 (ja) | 1994-01-31 | 1994-01-31 | 動き量検出方法及び動き量検出装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP02740994A JP3553570B2 (ja) | 1994-01-31 | 1994-01-31 | 動き量検出方法及び動き量検出装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH07222159A JPH07222159A (ja) | 1995-08-18 |
| JP3553570B2 true JP3553570B2 (ja) | 2004-08-11 |
Family
ID=12220295
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP02740994A Expired - Lifetime JP3553570B2 (ja) | 1994-01-31 | 1994-01-31 | 動き量検出方法及び動き量検出装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3553570B2 (ja) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100275694B1 (ko) | 1998-03-02 | 2000-12-15 | 윤덕용 | 실시간 동영상 부호화를 위한 초고속 움직임 벡터 추정방법 |
-
1994
- 1994-01-31 JP JP02740994A patent/JP3553570B2/ja not_active Expired - Lifetime
Also Published As
| Publication number | Publication date |
|---|---|
| JPH07222159A (ja) | 1995-08-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JPH07264603A (ja) | 動き量検出方法及び動き量検出装置 | |
| RU2424561C2 (ru) | Обучение сверточных нейронных сетей на графических процессорах | |
| JP4725001B2 (ja) | 画像処理装置及び方法、並びに記録媒体 | |
| CN112419372A (zh) | 图像处理方法、装置、电子设备及存储介质 | |
| Samantaray et al. | Neighbourhood decision based impulse noise filter | |
| CN111292308A (zh) | 基于卷积神经网络的光伏太阳能板红外缺陷检测方法 | |
| JP3553570B2 (ja) | 動き量検出方法及び動き量検出装置 | |
| JP3494308B2 (ja) | 動き量検出方法及び動き量検出装置 | |
| CN116664921A (zh) | 基于迁移学习与多注意力机制的废旧电路板缺陷分类方法 | |
| JP3494306B2 (ja) | 動き量検出方法及び動き量検出装置 | |
| JP3494307B2 (ja) | 動き量検出方法及び動き量検出装置 | |
| JP5928465B2 (ja) | 劣化復元システム、劣化復元方法およびプログラム | |
| Jia et al. | Fractional‐integral‐operator‐based improved SVM for filtering salt‐and‐pepper noise | |
| CN113506259A (zh) | 一种基于融合网络的图像模糊判别方法及系统 | |
| JP3491768B2 (ja) | 動き量検出方法及び動き量検出装置 | |
| JP3812750B2 (ja) | 動き量検出方法及び動き量検出装置 | |
| JPH08265778A (ja) | 動き量検出方法及び動き量検出装置 | |
| CN111310824A (zh) | 多角度稠密目标检测抑制优化方法及设备 | |
| JPH0888855A (ja) | 動きベクトル検出方法及び装置 | |
| Li et al. | Adaptive salt-&-pepper noise removal: a function level evolution based approach | |
| JPS5935470B2 (ja) | 図形修正方式 | |
| JP2000324495A (ja) | フィールド周波数変換装置および変換方法 | |
| JP3214660B2 (ja) | 動きベクトル検出装置 | |
| JPH09187013A (ja) | 動きベクトル検出装置および方法 | |
| KOLI | TWO PHASE WEIGHTED ADAPTIVE MEAN FILTER FOR HIGH DENSITY IMPULSE NOISE REDUCTION |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20031224 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040220 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040406 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20040416 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20040429 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090514 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100514 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100514 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110514 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120514 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130514 Year of fee payment: 9 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| EXPY | Cancellation because of completion of term |