JP4161441B2

JP4161441B2 - 動きベクトル推定装置および動きベクトル推定方法

Info

Publication number: JP4161441B2
Application number: JP36723398A
Authority: JP
Inventors: 哲二郎近藤; 寿一白木; 秀雄中屋
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 1998-12-24
Filing date: 1998-12-24
Publication date: 2008-10-08
Anticipated expiration: 2018-12-24
Also published as: JP2000197061A

Description

【０００１】
【発明の属する技術分野】
この発明は、入力画像信号から動きベクトルの推定を行う動きベクトル推定装置および動きベクトル推定方法に関する。
【０００２】
【従来の技術】
入力画像信号から動きベクトルを推定する方法として、ブロックマッチング法が従来から知られている。かかる方法では、ブロックのサイズ、形状等が予め決定されており、そのようなブロックを例えば時間的に連続する２個のフレーム（以下、フレームｔ，フレームｔ＋１と表記する）からそれぞれ切り出して、例えばフレームｔ＋１から切り出した幾つかのブロックの内、フレームｔから切り出したブロックとのマッチングの程度が高いと判定されるブロックの位置と、フレームｔから切り出したブロックの位置とから動きベクトルを推定する。
【０００３】
【発明が解決しようとする課題】
この場合、ブロックのサイズ、形状等が動いているオブジェクトに対して適切でない場合には、動きベクトルの推定が正しく行われないという問題がある。例えば、図１１Ａに示すように、薄墨を付して示す楕円形のオブジェクトがフレームｔ，ｔ＋１の間で動きを有する場合に、オブジェクトに対してブロックのサイズが小さ過ぎると、フレームｔ中のブロック２１０とマッチングの程度が高いと判定される、フレームｔ＋１中のブロックが例えばブロック２２０であるとされるおそれがある。この場合、本来推定されるべきブロックは２２０’であるから、結果として動きベクトルの推定が誤ることになる。
【０００４】
また、ブロックのサイズが大き過ぎると、ブロック内に複数のオブジェクトが含まれ、各オブジェクトが互いに異なる動きをする場合に、個々のオブジェクトの動きを正しく捉えることができないおそれがある。例えば、図１１Ｂに示すように、静止しているオブジェクト３００と、動きの大きいオブジェクト４００とがフレームｔ中で同一のブロック４１０内に含まれる場合に、かかるブロック４１０とマッチングの程度が高いと判定される、フレームｔ＋１中のブロックが例えばブロック４２０であるとされるおそれがある。この場合、オブジェクト４００の動きに則して本来推定されるべきブロックの位置は４２０’であるから、結果として動きベクトルの推定が誤ることになる。
【０００５】
この発明は、上述の問題点に鑑みてなされたものであり、従って、この発明の目的は、動きベクトルを精度良く推定することを可能とする、動きベクトル推定方法および動きベクトル推定装置を提供することにある。
【０００６】
【課題を解決するための手段】
請求項１の発明は、入力画像信号から動きベクトルを推定する動きベクトル推定装置において、
入力画像信号中の第１のフレームから領域を切り出し、切り出した領域内の画素値の所定の演算の結果から、領域内にオブジェクトのエッジ或いはテクスチャが含まれるか否かを判定し、領域内にオブジェクトのエッジ或いはテクスチャが含まれると判定される場合に領域を第１の領域として出力し、
領域内にオブジェクトのエッジ或いはテクスチャが含まれないと判定される場合に切り出すべき領域の形状を変形し、または切り出すべき領域の回転角を変化させて再度領域の切り出しを行い、
再度切り出した領域内の画素値の所定の演算の結果から、再度切り出した領域内にオブジェクトのエッジ或いはテクスチャが含まれるか否かを判定する領域切り出し手段と、
入力画像信号中の第２のフレームにおける探索範囲内の各画素を中心とする第２の領域を、第２のフレームから第１の領域を切り出す際の切り出し条件と同一の切り出し条件の下で順次切り出し、切り出した第２の領域の各々と第１の領域との間で差分絶対値の和を順次計算し、計算した差分絶対値の和を探索範囲内の各画素に対応するように保持してなる評価値テーブルを作成する手段と、
評価値テーブルから最小値を検索する手段と、
評価値テーブル上で最小値をとる位置と、第１の領域の中心画素の位置とのずれ量を算出し、算出したずれ量を動きベクトルとして出力する手段とを有することを特徴とする動きベクトル推定装置である。
【０００７】
請求項５の発明は、入力画像信号から動きベクトルを推定する動きベクトル推定方法において、
入力画像信号中の第１のフレームから領域を切り出し、切り出した領域内の画素値の所定の演算の結果から、領域内にオブジェクトのエッジ或いはテクスチャが含まれるか否かを判定し、領域内にオブジェクトのエッジ或いはテクスチャが含まれると判定される場合に領域を第１の領域として出力し、
領域内にオブジェクトのエッジ或いはテクスチャが含まれないと判定される場合に切り出すべき領域の形状を変形し、または切り出すべき領域の回転角を変化させて再度領域の切り出しを行い、
再度切り出した領域内の画素値の所定の演算の結果から、再度切り出した領域内にオブジェクトのエッジ或いはテクスチャが含まれるか否かを判定する領域切り出しステップと、
入力画像信号中の第２のフレームにおける探索範囲内の各画素を中心とする第２の領域を、第２のフレームから第１の領域を切り出す際の切り出し条件と同一の切り出し条件の下で順次切り出し、切り出した第２の領域の各々と第１の領域との間で差分絶対値の和を順次計算し、計算した差分絶対値の和を探索範囲内の各画素に対応するように保持してなる評価値テーブルを作成するステップと、
評価値テーブルから最小値を検索するステップと、
評価値テーブル上で最小値をとる位置と、第１の領域の中心画素の位置とのずれ量を算出し、算出したずれ量を動きベクトルとして出力するステップとを有することを特徴とする動きベクトル推定方法である。
【０００８】
以上のような発明によれば、動きベクトルを推定するためのブロックマッチング等の演算に使用するブロックを切り出す際の大きさ、形状、回転角等の切り出し条件を適切に設定することができる。
【０００９】
【発明の実施の形態】
この発明の一実施形態の構成の一例を図１に示す。入力画像信号がフレームメモリ１０と、評価値テーブル作成部１３とに供給される。フレームメモリ１０は、新たなフレームが供給される毎に、既に記憶しているフレームをフレームメモリ１１に供給する。フレームメモリ１１は、フレームメモリ１０から供給されるフレームを記憶する。このようにして、フレームメモリ１０、１１が連続する２個のフレームｔ＋１、フレームｔをそれぞれ保持することになる。ブロック切り出し部１２は、フレームメモリ１１の記憶内容から、ブロックマッチングに用いる所定数の画素を含むブロックの切り出しを行う。そして、切り出したブロックを評価値テーブル作成部１３に供給する。
【００１０】
評価値テーブル作成部１３は、フレームメモリ１０の記憶内容から、フレームｔ＋１における探索範囲内のそれぞれの画素を中心としたブロックを切り出し、切り出したブロックと、ブロック切り出し部１２が切り出したブロックとの間で差分絶対値の和を計算する。そして、探索範囲の画素毎にその和を評価値テーブルとして保持する。最小評価値探索部１４は、評価値テーブル作成部１３によって作成された評価値テーブルから最小値を探索する。動きベクトル推定部１５は、最小評価値探索部１４によって探索された最小値の位置とフレームｔから切り出したブロックの中心位置とのずれ量を算出し、動きベクトルとする。
【００１１】
図２に、ブロック切り出し部１２の構成の一例を示す。ブロック切り出し部１２は、切り出し処理回路１２１、ブロック内分散計算回路１２２、比較回路１２３、およびカウンター１２４を有する。切り出し処理回路１２１においては、カウンター１２４から供給される値に関連して切り出すべきブロックのサイズが設定される。切り出し処理回路１２１は、切り出したブロックをブロック内分散計算回路１２２に供給する。また、切り出し処理回路１２１は、比較回路１２３から後述するような出力指令信号を受け取った場合には、切り出したブロックをブロック切り出し部１２の最終的な出力として評価値テーブル作成部１３に供給する。
【００１２】
ブロック内分散計算回路１２２は、切り出し処理回路１２１が切り出したブロック内の画素値の分散を計算する。例えば図３に示すようなＸ００〜Ｘｎｎを含む正方形状に画素が並んでなるブロックについては、次の式（１）に従って分散Ｖを計算することができる。このようにして計算される分散値は、比較回路１２３に供給する。
【００１３】
【数１】

【００１４】
比較回路１２３は、供給される分散値を所定のしきい値と比較する。そして、比較回路１２３は、分散値がしきい値以下の場合には、所定のカウントアップ信号をカウンター１２４に供給する。また、比較回路１２３は、分散値がしきい値より大きい場合には、所定の出力指令信号を切り出し処理回路１２１に供給すると共に、所定のリセット信号をカウンター１２４に供給する。カウンター１２４は、カウントアップ信号を受取る毎に例えば１ずつカウントアップを行い、また、リセット信号を受取った場合にはカウント値を初期化する。カウンター１２４のカウント値は、切り出し処理回路１２１に供給される。
【００１５】
以上のような構成によってなされる処理について、図４のフローチャートを参照して説明する。ステップＳ１として、入力画像信号からその時点で設定されているブロックサイズのブロックを切り出す。ステップＳ２として、ステップＳ１によって切り出したブロックについて上述した式（１）等に従ってブロック内分散を計算する。ステップＳ３として、ステップＳ２によって計算されたブロック内分散値が所定のしきい値より大きいか否かを判定する。
【００１６】
ブロック内分散値が所定のしきい値より大きいと判定される場合には、その時のブロックをブロック切り出し処理の最終的な結果として出力し、また、カウント値を初期化する（ステップＳ４）。一方、ブロック内分散値が所定のしきい値より大きいと判定される場合以外の場合には、ステップＳ５に移行してカウントアップを行う。そして、ステップＳ１に移行し、新たなカウント値に関連して設定されるブロックサイズでブロックを切り出す。
【００１７】
上述したような処理によって切り出されるブロックのサイズとカウント値との関係について、図５を参照して概念的に説明する。ここでは正方形のブロックを例とした。初期のブロック３０₀に対し、カウント値が１、２と大きくなるに従って、３０₁，３０₂のようにブロックのサイズが大きくなされる。そして、ブロック内にオブジェクト３５のエッジ或いはテクスチャを含むことができた時に、ブロック内の分散がしきい値を越える。図５中ではブロック３０₂がオブジェクト３５のエッジを含んでおり、このため、ブロック３０₂内の分散がしきい値を越えることになる。従って、ここでは、カウント値２の時のブロック３０₂がブロック切り出し部１２による切り出しの結果として出力される。
【００１８】
次に、図１中の評価値テーブル作成部１３の動作について、図６を参照してより詳細に説明する。評価値テーブル作成部１３は、ブロック切り出し部１２が上述したようにしてフレームｔから切り出した、画素７０を中心画素とするブロック７１に対するマッチングの程度を表す評価値を配列してなる評価値テーブルを以下のようにして作成する。まず、フレームｔ＋１における所定の探索範囲（符号５０を付して示す）内で画素を矢印で示すように順次走査し、各画素を中心としてブロックを順次切り出す。すなわち、ブロック６１₁，６１₂・・・が順次切り出される。但し、図６では、６１₂・・・の図示を省略し、ブロック６１₁のみを図示した。なお、ブロック６１₁は、画素６０₁を中心画素とするブロックである。ここで、ブロック６１₁，６１₂・・・の切り出しは、ブロック７１の切り出し時と同一のサイズ、形状等の切り出し条件の下でなされる。
【００１９】
さらに、ブロック７１に対する、ブロック６１₁，６１₂・・・のマッチングの程度を評価するための評価値として、ブロック７１とブロック６１₁，ブロック７１とブロック６１₂・・・について各々のブロック内の各画素の差分絶対値の和Ｔが順次計算される。この際の計算は、例えば次の式（２）に従って行われる。
【００２０】
【数２】

【００２１】
但し、式（２）は、フレームｔから切り出されるブロック７１、フレームｔ＋１から切り出されるブロック（例えばブロック６１₁）の画素値がそれぞれ、図７Ａ中のｘ₀₀，ｘ₀₁・・・ｘ_nn，図７Ｂ中のｙ₀₀，ｙ₀₁・・・ｙ_nnである場合を前提とした計算式である。
【００２２】
そして、計算された差分絶対値の和がブロック６１₁，ブロック６１₂・・・の中心画素６０₁，６０₂・・・に対応する位置６０₁Ｔ，６０₂Ｔ・・・上に順次プロットされることにより、評価値テーブル８０が形成される。但し、図６中では、位置６０₂Ｔ・・・の図示を省略し、位置６０₁Ｔのみを図示した。例えばブロック７１とブロック６１₁との間で計算された各画素の差分絶対値の和は、ブロック６１₁の中心画素６０₁に対応する評価値テーブル８０上の位置６０₁Ｔ上にプロットされる。
【００２３】
最小評価値検索部１４は、上述したようにして作成される評価値テーブル８０を順次走査し、差分絶対値の和の最小値を検索する。これにより、差分絶対値の和の最小値がプロットされている位置６２Ｔが求められる。位置６２Ｔと、ブロック７１の中心画素７０に対応する評価値テーブル上の位置７０Ｔとに基づいて、動きベクトル推定部１５が動きベクトルを推定する。すなわち、７０Ｔ（ｘ₀，ｙ₀）と、６２Ｔ（ｘ_min，ｙ_min）とに基づいて、フレームｔ内でブロック７１に係るオブジェクトの動きを表す動きベクトルとして（ｘ_min−ｘ₀，ｙ_min−ｙ₀）が求められる。
【００２４】
上述したように、ブロック切り出し部１２がフレームｔからオブジェクトの動きを捉えるために好適なサイズのブロックを切り出し、また、フレームｔ＋１から、フレームｔからブロックを切り出す際の切り出し条件と同一の切り出し条件下で順次ブロックを切り出し、切り出したブロックを用いてブロックマッチングを行うことにより、動きベクトルの推定を精度良く行うことができる。
【００２５】
上述したこの発明の一実施形態は、ブロック内の分散を計算し、計算される分散値に基づいて、オブジェクトの動きを捉えるために好適なブロックサイズのブロックを切り出すようにしたものである。これに対して、ブロック内の画素値のＤＲ（ダイナミックレンジ）を計算し、計算されるＤＲの値に基づいて、オブジェクトの動きを捉えるために好適となるように切り出すべきブロックの回転角を設定するようにした、この発明の他の実施形態について以下に説明する。この発明の他の実施形態の全体的な構成はこの発明の一実施形態と同様であるが、この発明の他の実施形態では、ブロック切り出し部１２として、図８に示すような構成を用いる。
【００２６】
すなわち、ブロック切り出し部１２内には、切り出し処理回路１３１、ブロック内分散計算回路１３２、比較回路１３３、およびカウンター１３４が設けられる。切り出し処理回路１３１は、カウンター１３４から供給される値に関連してブロックの形状を回転させて切り出しを行い、切り出したブロックをブロック内ＤＲ計算回路１３２に供給する。また、切り出し処理回路１３１は、比較回路１３３から後述するような出力指令信号を受け取った場合には、切り出したブロックをブロック切り出し部１２の最終的な出力として評価値テーブル作成部１３に供給する。
【００２７】
ブロック内ＤＲ計算回路１３２は、切り出し処理回路１３１が切り出したブロックについてブロック内ＤＲを計算する。具体的には、供給されるブロック内の画素値を順次スキャンすることによってブロック内の画素値の最大値ｍａｘ、およびブロック内の画素値の最小値ｍｉｎを検出し、ｍａｘ、ｍｉｎの値に基づいて以下の式（３）に従ってＤＲの値を算出することができる。このようにして算出されるＤＲの値が比較回路１３３に供給される。
【００２８】
ＤＲ＝ｍａｘ−ｍｉｎ（３）
比較回路１３３は、供給されるＤＲの値を所定のしきい値と比較し、かかるＤＲの値がしきい値以下の場合には、所定のカウントアップ信号をカウンター１３４に供給する。また、かかるＤＲの値がしきい値より大きい場合には、比較回路１３３が所定の出力指令信号を切り出し処理回路１３１に供給すると共に、所定のリセット信号をカウンター１３４に供給する。カウンター１３４は、カウントアップ信号およびリセット信号に基づいて、上述したこの発明の一実施形態と同様に動作する。
【００２９】
以上のような構成によってなされる処理について、図９のフローチャートを参照して説明する。ステップＳ１０１として、入力画像信号からその時点で設定されている回転角のブロックを切り出す。ステップＳ２として、ステップＳ１によって切り出したブロックについて上述した式（３）等に従ってブロック内ＤＲを計算する。ステップＳ３として、ステップＳ２によって計算されたブロック内ＤＲ値が所定のしきい値より大きいか否かを判定する。
【００３０】
ブロック内ＤＲ値が所定のしきい値より大きいと判定される場合には、その時のブロックをブロック切り出し処理の最終的な結果として出力し、また、カウント値を初期化する（ステップＳ１０４）。一方、ブロック内ＤＲ値が所定のしきい値より大きいと判定される場合以外の場合には、ステップＳ１０５に移行してカウントアップを行う。そして、ステップＳ１０１に移行し、新たなカウント値に関連して設定される回転角の下でブロックを切り出す。
【００３１】
以上のようにしてフレームｔから切り出されるブロックに基づく評価値テーブルの作成、最小評価値の探索、動きベクトルの推定等は、上述したこの発明の一実施形態と略同様に行われる。但し、フレームｔ＋１から切り出されるブロックは、ブロック切り出し部１２がフレームｔから切り出すブロックと同一の形状、回転角等の条件を有するものとされる。
【００３２】
上述したような処理によって切り出されるブロックの回転角とカウント値との関係について、図１０を参照して概念的に説明する。ここでは正方形のブロックを例とした。初期のブロック１７０₀ に対し、カウント値が１、２と大きくなるに従って、１７０ ₁，１７０₂ のようにブロックの回転角が大きくなされる。そして、ブロック内にオブジェクト１８０のエッジ或いはテクスチャを含むことができた時に、ブロック内ＤＲ値がしきい値を越える。図７中ではブロック１７０₂ がオブジェクト１８０のエッジの一部を含んでおり、このため、ブロック１７０₂ 内のＤＲ値がしきい値を越えることになる。従って、ここでは、カウント値が２の時のブロック１７０₂ がブロック切り出し部１２による切り出しの結果として出力されることになる。
【００３３】
上述したように、ブロック切り出し部１２がフレームｔからオブジェクトの動きを捉えるために好適な回転角のブロックを切り出し、また、フレームｔ＋１から切り出されるブロックがフレームｔから切り出されるブロックと同一の回転角、形状等の条件を有するものとされるので、動き検出をより適切に行うことができる。
【００３４】
上述したこの発明の一実施形態およびこの発明の他の実施形態は、それぞれ、ブロック内の分散およびＤＲに基づいてオブジェクトの動きを捉えるために好適なブロックサイズおよびブロックの回転角を設定するようにしたものであるが、ブロックを切り出す際の条件と、当該条件を設定する方法との組合わせはこれらに限定されるものではない。例えば、ブロック内の分散およびＤＲの内の一方または両方に基づいて、ブロックサイズおよびブロックの回転角の内の一方または両方を設定することが可能である。すなわち、ブロック内の分散に基づいてブロックの回転角を設定するようにする、或いは、ブロック内のＤＲに基づいてブロックサイズを設定する等が可能である。
【００３５】
また、ブロックを切り出す際の条件として、ブロックサイズおよびブロックの回転角以外に例えばブロックの形状を使用することもできる。すなわち、ブロック内の分散およびＤＲの内の一方または両方に基づいてブロックの形状を変形させ、ブロックの形状をオブジェクトの動きを捉えるために好適なものとすることも可能である。
【００３６】
また、上述したこの発明の一実施形態およびこの発明の他の実施形態は、時間的に連続する２個のフレームから適切なブロックサイズ、ブロックの回転角等の切り出し条件の下で切り出したブロックを用いてブロックマッチング法を行うものであるが、ブロックマッチング法を行うために切り出されるブロックを、時間的に連続する２個のフレーム以外のフレームから切り出すようにしても良い。
【００３７】
【発明の効果】
この発明によれば、入力画像信号から切り出される領域の内で、当該領域内の各画素値に基づく所定の演算の結果が所定の条件を満たすように設定されたサイズ、形状、回転角等の条件の下で切り出されたブロックが切り出し領域として出力される。これにより、動きベクトルの推定に係るオブジェクトの動きを捉えるために適切なサイズ、形状、回転角等を有するブロック、例えば動きベクトルの推定に係るオブジェクトのエッジ、テクスチャ等を含むようなサイズ、形状、回転角等を有するブロックを使用して動きベクトルを推定するためのブロックマッチング法等の計算処理が行われる。
【００３８】
従って、オブジェクトの大きさ、形状等に依存しない、高精度の動きベクトル推定を実現することができる。
【００３９】
また、特に入力画像信号から切り出される領域内の各画素値に基づく演算結果が所定の条件を満たす迄、切り出すべき領域のサイズを段階的に拡大するようにした場合には、動きベクトルの推定に係るオブジェクトのエッジ、テクスチャ等を含むために必要な最小範囲またはそれに最も近いサイズのブロックを使用して動きベクトルを推定するための計算処理が行われる。このため、動きベクトルを推定するための計算処理を効率良く行うことができる。
【図面の簡単な説明】
【図１】この発明の一実施形態の全体的な構成の一例を示すブロック図である。
【図２】この発明の一実施形態の一部の構成の一例を示すブロック図である。
【図３】ブロック内での分散の計算について説明するための略線図である。
【図４】この発明の一実施形態における処理の一部について説明するためのフローチャートである。
【図５】この発明の一実施形態において順次切り出されるブロックの大きさとオブジェクトの大きさについて説明するための略線図である。
【図６】評価値テーブルの作成と、評価値テーブルに基づいて動きベクトルを推定する処理について説明するための略線図である。
【図７】ブロック間の差分絶対値和の計算について説明するための略線図である。
【図８】この発明の他の実施形態の一部の構成の一例を示すブロック図である。
【図９】この発明の他の実施形態における処理の一部について説明するためのフローチャートである。
【図１０】この発明の他の実施形態におけるブロックの回転角とオブジェクトとの位置関係について説明するための略線図である。
【図１１】従来の動き検出における問題点について説明するための略線図である。
【符号の説明】
１２・・・ブロック切り出し部、１２１・・・切り出し処理回路、１２２・・・ブロック内分散計算回路、１２３・・・比較回路、１２４・・・カウンター、１３２・・・ブロック内計算回路、１３３・・・比較回路、１３４・・・カウンター

Claims

入力画像信号から動きベクトルを推定する動きベクトル推定装置において、
入力画像信号中の第１のフレームから領域を切り出し、切り出した上記領域内の画素値の所定の演算の結果から、上記領域内にオブジェクトのエッジ或いはテクスチャが含まれるか否かを判定し、上記領域内にオブジェクトのエッジ或いはテクスチャが含まれると判定される場合に上記領域を第１の領域として出力し、
上記領域内にオブジェクトのエッジ或いはテクスチャが含まれないと判定される場合に切り出すべき領域の形状を変形し、または切り出すべき領域の回転角を変化させて再度領域の切り出しを行い、
再度切り出した領域内の画素値の上記所定の演算の結果から、上記再度切り出した領域内にオブジェクトのエッジ或いはテクスチャが含まれるか否かを判定する領域切り出し手段と、
上記入力画像信号中の第２のフレームにおける探索範囲内の各画素を中心とする第２の領域を、上記第２のフレームから上記第１の領域を切り出す際の切り出し条件と同一の切り出し条件の下で順次切り出し、切り出した上記第２の領域の各々と上記第１の領域との間で差分絶対値の和を順次計算し、計算した上記差分絶対値の和を上記探索範囲内の各画素に対応するように保持してなる評価値テーブルを作成する手段と、
上記評価値テーブルから最小値を検索する手段と、
上記評価値テーブル上で上記最小値をとる位置と、上記第１の領域の中心画素の位置とのずれ量を算出し、算出した上記ずれ量を動きベクトルとして出力する手段とを有することを特徴とする動きベクトル推定装置。
請求項１において、
上記第１のフレームは、
現フレームであることを特徴とする動きベクトル推定装置。
請求項１において、
上記領域切り出し手段は、
切り出した上記領域内の画素値の分散を計算することを特徴とする動きベクトル推定装置。
請求項１において、
上記領域切り出し手段は、
切り出した上記領域内の画素値のダイナミックレンジを計算することを特徴とする動きベクトル推定装置。
入力画像信号から動きベクトルを推定する動きベクトル推定方法において、
入力画像信号中の第１のフレームから領域を切り出し、切り出した上記領域内の画素値の所定の演算の結果から、上記領域内にオブジェクトのエッジ或いはテクスチャが含まれるか否かを判定し、上記領域内にオブジェクトのエッジ或いはテクスチャが含まれると判定される場合に上記領域を第１の領域として出力し、
上記領域内にオブジェクトのエッジ或いはテクスチャが含まれないと判定される場合に切り出すべき領域の形状を変形し、または切り出すべき領域の回転角を変化させて再度領域の切り出しを行い、
再度切り出した領域内の画素値の上記所定の演算の結果から、上記再度切り出した領域内にオブジェクトのエッジ或いはテクスチャが含まれるか否かを判定する領域切り出しステップと、
上記入力画像信号中の第２のフレームにおける探索範囲内の各画素を中心とする第２の領域を、上記第２のフレームから上記第１の領域を切り出す際の切り出し条件と同一の切り出し条件の下で順次切り出し、切り出した上記第２の領域の各々と上記第１の領域との間で差分絶対値の和を順次計算し、計算した上記差分絶対値の和を上記探索範囲内の各画素に対応するように保持してなる評価値テーブルを作成するステップと、
上記評価値テーブルから最小値を検索するステップと、
上記評価値テーブル上で上記最小値をとる位置と、上記第１の領域の中心画素の位置とのずれ量を算出し、算出した上記ずれ量を動きベクトルとして出力するステップとを有することを特徴とする動きベクトル推定方法。
請求項５において、
上記第１のフレームは、
現フレームであることを特徴とする動きベクトル推定方法。
請求項５において、
上記領域切り出し手段は、
切り出した上記領域内の画素値の分散を計算することを特徴とする動きベクトル推定方法。
請求項５において、
上記領域切り出し手段は、
切り出した上記領域内の画素値のダイナミックレンジを計算することを特徴とする動きベクトル推定方法。