JP4218298B2 - Image processing apparatus and method, recording medium, and program - Google Patents

Description

【００２６】
ステップＳ６において、誤差最小選択部１６は、変数minが変数sumよりも大きいか否かを判定し、例えば、変数minが変数sumよりも大きいと判定する場合、ステップＳ７において、変数minを変数sumに更新し、その時点でのカウンタｎの値を動きベクトル番号として登録する。すなわち、今求めた差分絶対値和を示す変数sumが、最小値を示す変数minよりも小さいと言うことは、これまで演算したどの参照ブロックよりも、今演算している参照ブロックＢｒｎ（ｉ，ｊ）が基準ブロックＢｂ（ｉ，ｊ）により類似したものであるとみなすことができるので、動きベクトルを求める際の候補とするため、その時点でのカウンタｎが動きベクトル番号として登録される。また、ステップＳ６において、変数minが変数sumよりも大きくないと判定された場合、ステップＳ７の処理がスキップされる。
【００２７】
ステップＳ８において、マッチング部１５は、カウンタ変数ｎがサーチエリアＳＲの参照ブロックＢｒｎの総数ｍであるか否か、すなわち、今の参照ブロックＢｒｎがＢｒｎ＝Ｂｒｍであるか否かを判定し、例えば、総数ｍではないと判定した場合、ステップＳ９において、カウンタ変数ｎを１インクリメントし、その処理は、ステップＳ４に戻る。
【００２８】
ステップＳ８において、カウンタ変数ｎがサーチエリア内の参照ブロックＢｒｎの総数ｍである、すなわち、今の参照ブロックＢｒｎがＢｒｎ＝Ｂｒｍであると判定された場合、ステップＳ１０において、誤差最小選択部１６は、登録されている動きベクトル番号に基づいて動きベクトルを出力する。すなわち、ステップＳ４乃至Ｓ９が繰り返されることにより、差分絶対値和が最小となる参照ブロックＢｒｎに対応するカウンタ変数ｎが動きベクトル番号として登録されることになるので、誤差最小選択部１６は、この動きベクトル番号に対応する参照ブロックＢｒｎのＬ×Ｌ個の画素のうち、その中心となる参照画素Ｐｎ（ｉ，ｊ）を求め、カレントフレームＦｃ上の注目画素Ｐ（ｉ，ｊ）に対応する参照フレームＦｒ上の画素Ｐ’（ｉ，ｊ）を始点とし、参照画素Ｐｎ（ｉ，ｊ）を終点とするベクトルを、注目画素Ｐ（ｉ，ｊ）の動きベクトル（Ｖｘ，Ｖｙ）として求めて出力する。
【００２９】
図１に構成を示す画像処理装置において、１フレーム当たりの計算量は、１フレームの画素の数×差分絶対値和の計算量×基準ブロックＢｂに含まれる画素の数×サーチエリアＳＲに含まれる画素の数で求められる。
【００３０】
差分絶対値和の計算量を１クロックで表し、基準ブロックＢｂに８×８の画素が含まれ、サーチエリアＳＲに２０×２０の画素が含まれるとしたとき、１画素についての動きベクトルを求める処理の計算量は、８×８×２０×２０×１クロック、すなわち25600クロックとなる。
【００３１】
膨大な計算量が必要となるので、動画像をリアルタイムで処理することはできない。
【００３２】
演算量を少なくするために、ブロックマッチングアルゴリズムの一種として、代表点ブロックマッチングアルゴリズムが用いられている。
【００３３】
代表点ブロックマッチングアルゴリズムにおいては、図５に示すように、基準ブロックＢｂに代えて、代表点ブロックが用いられる。代表点ブロックに含まれる画素のうち、代表点ブロックの中央の画素、または代表点ブロックの所定の位置の画素など、１または複数の画素が代表点として選択される。
【００３４】
代表点ブロックマッチングアルゴリズムにおいては、代表点と、サーチエリアＳＲの参照代表画素との差分絶対値和が算出され、最小の差分絶対値和が選択される。そして、カレントフレームＦｃ上の代表点（ｉ，ｊ）に対応する参照フレームＦｒ上の画素Ｐ’（ｉ，ｊ）を始点とし、最小の差分絶対値和に対応する参照代表画素（ｉ，ｊ）を終点とするベクトルが、代表点ブロックの動きベクトル（Ｖｘ，Ｖｙ）とされ出力される。
【００３５】
代表点ブロックマッチングにおいて、計算量は、画素の数×差分絶対値和の計算量×代表点ブロックに含まれる画素の数×サーチエリアＳＲに含まれる画素の数／代表点ブロックに含まれる画素の数で求められる。
【００３６】
差分絶対値和の計算量を１クロックで表し、代表点ブロックに８×８の画素が含まれ、サーチエリアＳＲに２０×２０の画素が含まれるとしたとき、１画素についての動きベクトルを求める処理の計算量は、８×８×２０×２０／（８×８）×１クロック、すなわち400クロックとなる。
【００３７】
代表点ブロックマッチングにおいては、計算量が少なくなるが、動きベクトルが代表点ブロックに対して求められるので、動きベクトルの精度は劣化することになる。
【００３８】
また、ブロックマッチング法により動きベクトルを検出する時に、定常成分および過渡成分の絶対値差分を累算した値の加重平均から得られる評価値に基づいて動きベクトルを検出することにより、演算量を低減させるようにするものがある（例えば、特許文献１参照）。
【００３９】
さらに、参照ブロックおよび探索範囲内の画素値を符号化してコード値に基づいてマッチング演算を行い、演算結果に基づいて第１の動きベクトルを算出し、第１の動きベクトルに応じた動き補償を行った後に第１の動きベクトルに係る候補ブロックを１画素を単位としてずらすことで得られる新たな探索範囲について、画素値の差分に基づくブロックマッチングを行うことにより、第２の動きベクトルを算出して、第１の動きベクトルと第２の動きベクトルの和として最終的な動きベクトルを算出することで、演算を簡素化するものがある（例えば、特許文献２参照）。
【００４０】
【特許文献１】
特開平０７−０８７４９４号公報
【特許文献２】
特開２０００−２７８６９１号公報
【００４１】
【発明が解決しようとする課題】
以上のように、従来は、動きベクトルを検出するためには膨大な計算量を必要とし、迅速に動きベクトルを検出することができなかった。また、より正確な動きベクトルを求める場合、さらに計算量が増加するという問題点があった。
【００４２】
本発明はこのような状況に鑑みてなされたものであり、より少ない計算量で、より迅速に、より正確な動きベクトルを検出できるようにすることを目的とする。
【００４３】
【課題を解決するための手段】
本発明の画像処理装置は、第１のフレームに対して時間的に前のフレームである第２のフレームの第１の画素の特徴量を抽出する第１の特徴量抽出手段と、第１の画素の所定の特徴量に対応する第１のアドレスで指定される領域に、所定の特徴量を有する第１の画素の位置を示す画素位置情報と、所定の特徴量を有する他の第１の画素の画素位置情報が記憶される、領域の次の領域を示す領域位置情報とを記憶させる記憶制御手段と、第１のフレームの第２の画素の特徴量を抽出する第２の特徴量抽出手段と、記憶されている、第１の画素の位置を示す画素位置情報から求まる第１の画素と第２の画素との距離に基づいて、第２の画素の特徴量と同じ特徴量の第１の画素の位置の中から、第２の画素の動きベクトルの算出に用いられる、動いた先が第２の画素である第１の画素の位置を選択する選択手段と、選択された第１の画素の位置、および第２の画素の位置から、第２の画素の動きベクトルを算出する算出手段とを含み、記憶制御手段は、第１の画素の所定の特徴量に対応する第１のアドレスで指定される領域に空きが無くなった場合、次の領域を示す領域位置情報として、所定の特徴量とは異なる他の特徴量を有する第１の画素の画素位置情報および領域位置情報が記憶される、他の特徴量に対応する第２のアドレスで指定される領域のうち、画素位置情報および領域位置情報が記憶されていない領域を示す情報を記憶させるとともに、第１のアドレスで指定される領域の領域位置情報により示される、第２のアドレスで指定される領域に、所定の特徴量を有する次の第１の画素の画素位置情報と、領域位置情報とを記憶させることを特徴とする。
【００４５】
選択手段は、記憶されている、第１の画素の位置を示す画素位置情報から求まる第１の画素と第２の画素との距離に基づいて、第２の画素の特徴量に近似する特徴量の第１の画素の位置の中から、第２の画素の動きベクトルの算出に用いられる、動いた先が第２の画素である第１の画素の位置を選択するようにすることができる。
【００４６】
記憶制御手段は、第１の画素の所定の特徴量に対応する第１のアドレスで指定される領域に空きが無くなった場合、最も多い数の空きの領域に対応する第２のアドレスを選択し、第２のアドレスで指定される領域に、画素位置情報および領域位置情報を記憶させるようにすることができる。
【００４７】
第２のフレームの全ての第１の画素について、特徴量毎の第１の画素の数を算出する画素数算出手段をさらに設け、記憶制御手段は、特徴量毎の第１の画素の数を基に、第２のアドレスを予め選択するようにすることができる。
【００４８】
本発明の画像処理方法は、第１のフレームに対して時間的に前のフレームである第２のフレームの第１の画素の特徴量を抽出する第１の特徴量抽出ステップと、第１の画素の所定の特徴量に対応する第１のアドレスで指定される領域に、所定の特徴量を有する第１の画素の位置を示す画素位置情報と、所定の特徴量を有する他の第１の画素の画素位置情報が記憶される、領域の次の領域を示す領域位置情報とを記憶させる記憶制御ステップと、第１のフレームの第２の画素の特徴量を抽出する第２の特徴量抽出ステップと、記憶されている、第１の画素の位置を示す画素位置情報から求まる第１の画素と第２の画素との距離に基づいて、第２の画素の特徴量と同じ特徴量の第１の画素の位置の中から、第２の画素の動きベクトルの算出に用いられる、動いた先が第２の画素である第１の画素の位置を選択する選択ステップと、選択された第１の画素の位置、および第２の画素の位置から、第２の画素の動きベクトルを算出する算出ステップとを含み、記憶制御ステップにおいては、第１の画素の所定の特徴量に対応する第１のアドレスで指定される領域に空きが無くなった場合、次の領域を示す領域位置情報として、所定の特徴量とは異なる他の特徴量を有する第１の画素の画素位置情報および領域位置情報が記憶される、他の特徴量に対応する第２のアドレスで指定される領域のうち、画素位置情報および領域位置情報が記憶されていない領域を示す情報を記憶させるとともに、第１のアドレスで指定される領域の領域位置情報により示される、第２のアドレスで指定される領域に、所定の特徴量を有する次の第１の画素の画素位置情報と、領域位置情報とを記憶させることを特徴とする。
【００４９】
本発明の記録媒体のプログラムは、第１のフレームに対して時間的に前のフレームである第２のフレームの第１の画素の特徴量を抽出する第１の特徴量抽出ステップと、第１の画素の所定の特徴量に対応する第１のアドレスで指定される領域に、所定の特徴量を有する第１の画素の位置を示す画素位置情報と、所定の特徴量を有する他の第１の画素の画素位置情報が記憶される、領域の次の領域を示す領域位置情報とを記憶させる記憶制御ステップと、第１のフレームの第２の画素の特徴量を抽出する第２の特徴量抽出ステップと、記憶されている、第１の画素の位置を示す画素位置情報から求まる第１の画素と第２の画素との距離に基づいて、第２の画素の特徴量と同じ特徴量の第１の画素の位置の中から、第２の画素の動きベクトルの算出に用いられる、動いた先が第２の画素である第１の画素の位置を選択する選択ステップと、選択された第１の画素の位置、および第２の画素の位置から、第２の画素の動きベクトルを算出する算出ステップとを含む処理をコンピュータに実行させ、記憶制御ステップにおいては、第１の画素の所定の特徴量に対応する第１のアドレスで指定される領域に空きが無くなった場合、次の領域を示す領域位置情報として、所定の特徴量とは異なる他の特徴量を有する第１の画素の画素位置情報および領域位置情報が記憶される、他の特徴量に対応する第２のアドレスで指定される領域のうち、画素位置情報および領域位置情報が記憶されていない領域を示す情報を記憶させるとともに、第１のアドレスで指定される領域の領域位置情報により示される、第２のアドレスで指定される領域に、所定の特徴量を有する次の第１の画素の画素位置情報と、領域位置情報とを記憶させることを特徴とする。
【００５０】
本発明のプログラムは、第１のフレームに対して時間的に前のフレームである第２のフレームの第１の画素の特徴量を抽出する第１の特徴量抽出ステップと、第１の画素の所定の特徴量に対応する第１のアドレスで指定される領域に、所定の特徴量を有する第１の画素の位置を示す画素位置情報と、所定の特徴量を有する他の第１の画素の画素位置情報が記憶される、領域の次の領域を示す領域位置情報とを記憶させる記憶制御ステップと、第１のフレームの第２の画素の特徴量を抽出する第２の特徴量抽出ステップと、記憶されている、第１の画素の位置を示す画素位置情報から求まる第１の画素と第２の画素との距離に基づいて、第２の画素の特徴量と同じ特徴量の第１の画素の位置の中から、第２の画素の動きベクトルの算出に用いられる、動いた先が第２の画素である第１の画素の位置を選択する選択ステップと、選択された第１の画素の位置、および第２の画素の位置から、第２の画素の動きベクトルを算出する算出ステップとを含む処理をコンピュータに実行させ、記憶制御ステップにおいては、第１の画素の所定の特徴量に対応する第１のアドレスで指定される領域に空きが無くなった場合、次の領域を示す領域位置情報として、所定の特徴量とは異なる他の特徴量を有する第１の画素の画素位置情報および領域位置情報が記憶される、他の特徴量に対応する第２のアドレスで指定される領域のうち、画素位置情報および領域位置情報が記憶されていない領域を示す情報を記憶させるとともに、第１のアドレスで指定される領域の領域位置情報により示される、第２のアドレスで指定される領域に、所定の特徴量を有する次の第１の画素の画素位置情報と、領域位置情報とを記憶させることを特徴とする。
【００５６】
本発明の画像処理装置および方法、記録媒体、並びにプログラムにおいては、第１のフレームに対して時間的に前のフレームである第２のフレームの第１の画素の特徴量が抽出され、第１の画素の所定の特徴量に対応する第１のアドレスで指定される領域に、所定の特徴量を有する第１の画素の位置を示す画素位置情報と、所定の特徴量を有する他の第１の画素の画素位置情報が記憶される、領域の次の領域を示す領域位置情報とが記憶される。さらに、第１のフレームの第２の画素の特徴量が抽出され、記憶されている、第１の画素の位置を示す画素位置情報から求まる第１の画素と第２の画素との距離に基づいて、第２の画素の特徴量と同じ特徴量の第１の画素の位置の中から、第２の画素の動きベクトルの算出に用いられる、動いた先が第２の画素である第１の画素の位置が選択され、選択された第１の画素の位置、および第２の画素の位置から、第２の画素の動きベクトルが算出される。そして、第１の画素の所定の特徴量に対応する第１のアドレスで指定される領域に空きが無くなった場合、次の領域を示す領域位置情報として、所定の特徴量とは異なる他の特徴量を有する第１の画素の画素位置情報および領域位置情報が記憶される、他の特徴量に対応する第２のアドレスで指定される領域のうち、画素位置情報および領域位置情報が記憶されていない領域を示す情報が記憶されるとともに、第１のアドレスで指定される領域の領域位置情報により示される、第２のアドレスで指定される領域に、所定の特徴量を有する次の第１の画素の画素位置情報と、領域位置情報とが記憶される。
【００５８】
【発明の実施の形態】
図６は、本発明に係る画像処理装置の一実施の形態の構成を示すブロック図である。画像処理装置に入力された画像は、特徴量抽出部１０１および特徴量抽出部１０３に供給される。
【００５９】
特徴量抽出部１０１は、入力された画像の画素を、例えばラスタスキャン順に参照画素とし、参照画素に対応する特徴量を抽出する。特徴量とは、画素の特徴を表す量である。例えば、特徴量抽出部１０１は、参照画素を中心とした、３×３のブロックに含まれる画素の画素値を所定の順（例えば、ラスタスキャン順）に並べた値を特徴量とする。参照画素を中心とした、３×３のブロックに含まれる画素の画素値を所定の順に並べた値が特徴量であるとき、ブロックに含まれるいずれかの画素の画素値が変化した場合、特徴量は変化することになる。
【００６０】
特徴量抽出部１０１は、参照画素の画面上の位置を示す画素位置情報と共に、抽出した特徴量を特徴量フレームメモリ１０２に供給する。
【００６１】
特徴量フレームメモリ１０２は、特徴量抽出部１０１から供給された、参照画素の画面上の位置を示す画素位置情報、および特徴量を取得し、特徴量に対応するアドレスに画素位置情報を記憶する。
【００６２】
図７は、特徴量フレームメモリ１０２が記憶する画素位置情報および画素位置情報の数の配置を説明する図である。
【００６３】
図中においてＤで示される四角は、それぞれ、１つの画素位置情報、または１つの画素位置情報の数を格納する格納領域Ｄを示す。
【００６４】
図７において、格納領域Ｄの縦方向（列方向）の位置は、特徴量アドレスで特定され、１つの（１つの種類の）特徴量に対応する。すなわち、１つの特徴量アドレスは、１つの特徴量を示すと言える。特徴量アドレスが異なる場合、それぞれの特徴量アドレスは、異なる特徴量を示す。図７に示す特徴量フレームメモリ１０２の例においては、０乃至Ｎ−１の範囲のＮ個の特徴量アドレスが設定されている。言い換えれば、図７に示す特徴量フレームメモリ１０２は、Ｎ種類の特徴量に分類された画素の画素位置情報を記憶することができる。
【００６５】
図７において、格納領域Ｄの横方向（行方向）の位置は、フラグアドレスで特定される。フラグアドレスが０である、図中の左側の列の格納領域Ｄには、特徴量アドレスで特定される特徴量を有する画素の数が格納される。同じ特徴量の画素の数は、その画素の位置を示す画素位置情報の数と等しいので、フラグアドレスが０である、図中の左側の列の格納領域Ｄには、同一の特徴量の画素の画素位置情報の数が格納されることになる。言い換えれば、所定の特徴量アドレスで特定される、フラグアドレス０の格納領域Ｄには、その特徴量アドレスで特定される格納領域Ｄに格納される画素位置情報の数が格納されることになる。
【００６６】
以下、特徴量アドレスがａで、フラグアドレスがｂである格納領域Ｄの位置をアドレス（ａ，ｂ）と表す。
【００６７】
フラグアドレスが１乃至Ｍである、図中の列の格納領域Ｄには、特徴量アドレスで特定される特徴量を有する画素の画素位置を示す画素位置情報の１つが格納される。例えば、特徴量アドレス２に対応する特徴量を有する最初の画素の画素位置を示す画素位置情報は、アドレス（２，１）の格納領域Ｄに格納される。そして、特徴量アドレス２に対応する特徴量を有する２番目の画素の画素位置を示す画素位置情報は、アドレス（２，２）の格納領域Ｄに格納される。
【００６８】
このように、特徴量アドレス２に対応する特徴量が抽出されたとき、その特徴量が抽出された参照画素の画素位置を示す画素位置情報が、特徴量アドレス２で示される格納領域Ｄであって、フラグアドレス１乃至Ｍで指定されるものに、図中の左側から右側に順に格納される。
【００６９】
同様に、０乃至Ｎ−１のいずれかの特徴量アドレスに対応する特徴量が抽出されたとき、その特徴量が抽出された参照画素の画素位置を示す画素位置情報が、０乃至Ｎ−１のいずれかの特徴量アドレスで示される格納領域Ｄであって、フラグアドレス１乃至Ｍで指定されるものに、図中の左側から右側に順に格納される。
【００７０】
各格納領域Ｄには、例えば、１ワード（例えば、３２ビット）の記憶領域を配置することができる。
【００７１】
特徴量フレームメモリ１０２は、以上のように、特徴量によって分類される画素の画素位置情報を順に記憶する。
【００７２】
特徴量フレームメモリ１０２は、カレントフレームＦｃ（現在のフレーム）に対応する画素位置情報と、参照フレームＦｒ（１つ前のフレーム）に対応する画素位置情報とをそれぞれに記憶し、それぞれ読み出すことができる。すなわち、特徴量フレームメモリ１０２は、カレントフレームＦｃに対応する図７に示す格納領域Ｄのページと、参照フレームＦｒに対応する図７に示す格納領域Ｄのページとを有し、ページを切り替えることにより、特徴量抽出部１０１から供給されたカレントフレームＦｃの画素位置情報を記憶するとともに、記憶されている参照フレームＦｒの画素位置情報を読み出して、参照画素位置検出部１０４に供給することができる。
【００７３】
特徴量抽出部１０３は、入力された画像の画素を、例えばラスタスキャン順に注目画素とし、特徴量抽出部１０１と同様の処理で、注目画素に対応する特徴量を抽出する。例えば、特徴量抽出部１０１は、参照画素を中心とした、３×３のブロックに含まれる画素の画素値を所定の順に並べた値を特徴量とする。
【００７４】
特徴量抽出部１０３は、注目画素の画面上の位置を示す画素位置情報と共に、抽出した特徴量を参照画素位置検出部１０４に供給する。
【００７５】
なお、特徴量抽出部１０１または特徴量抽出部１０３が出力する特徴量を算出するためのブロックに含まれる画素の数は、任意の数とすることができ、３×３に限定されるものではない。特徴量を算出するためのブロックから、所定の数の画素を抽出して、抽出された画素から特徴量を求めるようにしてもよい。
【００７６】
また、特徴量抽出部１０１または特徴量抽出部１０３が抽出する特徴量は、ブロックに含まれる画素の画素値を並べた値に限らず、注目画素または参照画素の画素値そのもの、画素値の和、画素値の平均値、画素値の上位の所定のビットを抽出した値の配列、和、若しくは平均値などでもよい。
【００７７】
さらに、特徴量抽出部１０１または特徴量抽出部１０３は、ADRC（Adaptive Dynamic Range Coding）またはラプラシアンなど、画素値に所定の演算を適用して得られた結果を基に特徴量を算出するようにしてもよい。
【００７８】
参照画素位置検出部１０４は、特徴量抽出部１０３から供給された注目画素の特徴量、および特徴量フレームメモリ１０２に記憶されている参照フレームＦｒの画素位置情報を基に、注目画素の特徴量と同じ特徴量を有する、参照フレームＦｒの画素の画素位置を検出する。参照画素位置検出部１０４は、検出された注目画素の特徴量と同じ特徴量を有する、参照フレームＦｒの画素の画素位置から、動いた先が注目画素である参照フレームＦｒの画素の位置を選択する。そして、参照画素位置検出部１０４は、注目画素の画素位置情報と参照フレームＦｒの選択された画素の画素位置とから、注目画素の位置に対応する位置の参照フレームＦｒ上の画素を始点とし、注目画素の特徴量と同じ特徴量を有する参照フレームＦｒの選択された画素を終点とする動きベクトルを求めて、求めた動きベクトルを出力する。
【００７９】
なお、フレームを単位として処理を実行すると説明したが、フィールドを単位として処理を実行するようにしてもよいことは、勿論である。また、処理の対象は、時間的に隣接するフレームまたはフィールドに限らず、時間的に離れたフレームまたはフィールドとすることができる。以下の実施の形態においても同様である。
【００８０】
図８は、図６に構成を示す画像処理装置による、動きベクトルの検出の処理を説明するフローチャートである。
【００８１】
ステップＳ１０１において、特徴量抽出部１０１および特徴量フレームメモリ１０２は、参照フレームＦｒの画素位置情報の格納の処理を実行することにより、画素位置情報を記憶する。画素位置情報の格納の処理の詳細は、図９のフローチャートを参照して、後述する。
【００８２】
ステップＳ１０２において、特徴量抽出部１０３および参照画素位置検出部１０４は、注目画素に対応する画素の位置の検出の処理を実行して、注目画素の特徴量と同じ特徴量を有する、参照フレームＦｒの画素の画素位置を検出する。注目画素に対応する画素の位置の検出の処理の詳細は、図１０のフローチャートを参照して、後述する。
【００８３】
ステップＳ１０３において、参照画素位置検出部１０４は、特徴量抽出部１０３から供給された注目画素の画素位置情報、およびステップＳ１０２の処理で検出された、参照フレームＦｒの画素の画素位置を基に、動きベクトルを求める。例えば、参照画素位置検出部１０４は、注目画素の位置に対応する位置の参照フレームＦｒ上の画素を始点とし、注目画素の特徴量と同じ特徴量を有する参照フレームＦｒの画素を終点とする動きベクトルを求める。
【００８４】
ステップＳ１０４において、参照画素位置検出部１０４は、ステップＳ１０３の処理で求めた動きベクトルを出力して、処理は終了する。
【００８５】
図９は、ステップＳ１０１に対応する、画素位置情報の格納の処理を説明するフローチャートである。
【００８６】
ステップＳ１２１において、特徴量フレームメモリ１０２は、特徴量フレームメモリ１０２に格納されているデータを初期化する。例えば、特徴量フレームメモリ１０２は、フラグアドレスが０である格納領域Ｄに０を設定し、フラグアドレスが１乃至Ｍである格納領域Ｄにヌル（null）を設定することにより、データを初期化する。
【００８７】
ステップＳ１２２において、特徴量抽出部１０１は、カウンタ変数ｎを初期化する。カウンタ変数ｎは、処理の対象となる画素の数を数えるための変数である。例えば、特徴量フレームメモリ１０２は、ステップＳ１２２において、カウンタ変数ｎに１を設定する。
【００８８】
ステップＳ１２３において、特徴量抽出部１０１は、参照フレームＦｒの画素のなかからまだ参照画素とされていない画素を選択して参照画素とする。特徴量抽出部１０１は、参照画素に対応するブロックの特徴量を算出することにより、参照画素の特徴量を抽出し、参照画素の位置を示す画素位置情報と共に、抽出した特徴量を特徴量フレームメモリ１０２に供給する。例えば、特徴量抽出部１０１は、参照画素を中心とした、３×３のブロックに含まれる画素の画素値をラスタスキャン順に並べた値である特徴量を算出する。
【００８９】
ステップＳ１２４において、特徴量フレームメモリ１０２は、ステップＳ１２３の処理で算出された特徴量に対応する画素位置情報の数を読み出す。例えば、参照画素の特徴量に対応する特徴量アドレスがｋであるとき、特徴量フレームメモリ１０２は、アドレス（ｋ，０）の格納領域Ｄから、特徴量に対応する画素位置情報の数を読み出す。
【００９０】
ステップＳ１２５において、特徴量フレームメモリ１０２は、ステップＳ１２４の処理で読み出した画素位置情報の数をインクリメントする。すなわち、特徴量フレームメモリ１０２は、ステップＳ１２４の処理で読み出した画素位置情報の数に１を加算する。
【００９１】
ステップＳ１２６において、特徴量フレームメモリ１０２は、ステップＳ１２５の処理でインクリメントされた画素位置情報の数を記憶する。例えば、特徴量フレームメモリ１０２は、特徴量に対応する特徴量アドレスがｋであるとき、アドレス（ｋ，０）の格納領域Ｄに、インクリメントされた画素位置情報の数を書き込む。
【００９２】
ステップＳ１２７において、特徴量フレームメモリ１０２は、特徴量に対応する特徴量アドレスと、画素位置情報の数に対応するフラグアドレスとから特定されるアドレスの格納領域Ｄに、参照画素の画素位置を示す画素位置情報を書き込む。例えば、特徴量フレームメモリ１０２は、参照画素の特徴量に対応する特徴量アドレスがｋであり、画素位置情報の数がｑであるとき、アドレス（ｋ，ｑ）の格納領域Ｄに、参照画素の画素位置を示す画素位置情報を書き込む。
【００９３】
このようにすることで、同じ特徴量の画素を示す画素位置情報は、同じ特徴量アドレスの格納領域Ｄに、図７中の左側から右側に向かって順に格納されることになる。ここで、１つの格納領域Ｄは、１つの画素位置情報を格納する。
【００９４】
ステップＳ１２８において、特徴量抽出部１０１は、カウンタ変数ｎをインクリメントする。すなわち、特徴量抽出部１０１は、カウンタ変数ｎに１を加算する。
【００９５】
ステップＳ１２９において、特徴量抽出部１０１は、カウンタ変数ｎの値が、フレームの画素の数に等しいか否かを判定し、カウンタ変数ｎの値が、フレームの画素の数に等しくないと判定された場合、まだ、参照画素とされていない画素がある、すなわち特徴量が抽出されていない画素があるので、ステップＳ１２３に戻り、上述した処理を繰り返し、次の参照画素について特徴量を抽出して、画素位置情報を特徴量フレームメモリ１０２に格納する。
【００９６】
ステップＳ１２９において、カウンタ変数ｎの値が、フレームの画素の数に等しいと判定された場合、フレームの全ての画素が参照画素とされ、フレームの全ての画素の特徴量が抽出されて、全ての画素に対応する画素位置情報が特徴量フレームメモリ１０２に格納されたので、処理は終了する。
【００９７】
図１０は、ステップＳ１０２の処理に対応する、注目画素に対応する画素位置の検出の処理を説明するフローチャートである。
【００９８】
ステップＳ１４１において、参照画素位置検出部１０４は、カウンタ変数ｎを初期化する。カウンタ変数ｎは、処理の対象となる画素の数を数えるための変数である。例えば、特徴量フレームメモリ１０２は、ステップＳ１４１において、カウンタ変数ｎに１を設定する。
【００９９】
ステップＳ１４２において、特徴量抽出部１０３は、特徴量抽出部１０１と同様の処理で、カレントフレームＦｃの画素のうち、まだ注目画素とされていない画素のなかから注目画素を選択する。特徴量抽出部１０３は、選択された注目画素に対応するブロックの特徴量を算出することにより、注目画素の特徴量を抽出し、注目画素の画面上の位置を示す画素位置情報と共に、抽出した特徴量を参照画素位置検出部１０４に供給する。例えば、特徴量抽出部１０３は、注目画素を中心とした、３×３のブロックに含まれる画素の画素値をラスタスキャン順に並べた値である特徴量を算出する。
【０１００】
ステップＳ１４３において、参照画素位置検出部１０４は、特徴量フレームメモリ１０２から、ステップＳ１４２の処理で算出された特徴量に対応する画素位置情報を読み出す。すなわち、参照画素位置検出部１０４は、ステップＳ１４２の処理で特徴量抽出部１０３から供給された特徴量と同一の特徴量の画素の位置を示す画素位置情報を読み出す。
【０１０１】
より具体的には、特徴量抽出部１０３から供給された注目画素の特徴量に対応する特徴量アドレスがｋであるとき、参照画素位置検出部１０４は、特徴量フレームメモリ１０２のアドレス（ｋ，０）である格納領域Ｄから画素位置情報の数ｑを読み出す。そして、参照画素位置検出部１０４は、特徴量フレームメモリ１０２のアドレス（ｋ，１）乃至（ｋ，ｑ）である格納領域Ｄから、ｑ個の画素位置情報を読み出す。
【０１０２】
ステップＳ１４４において、参照画素位置検出部１０４は、注目画素の動きに対応した参照画素の位置として（動いた先が注目画素である参照画素の位置として）、ステップＳ１４３の処理で読み出した画素位置情報で示される画素の位置のうち、注目画素に最も近い画素の位置を選択する。すなわち、参照画素位置検出部１０４は、画素位置情報で示される参照画素（の位置）Ｐｎ（ｉ，ｊ）と注目画素Ｐ（の位置）（ｉ，ｊ）との距離を求め、距離が最小の参照画素の位置を選択する。
【０１０３】
なお、参照画素位置検出部１０４は、注目画素の動きに対応した参照画素の位置として、注目画素に最も近い画素の位置を選択すると説明したが、注目画素に最も近い画素の位置に限らず、注目画素の画素値に最も近い画素値を有する参照画素の位置、または注目画素を含む所定のブロックの画素の画素値に最も近い画素値の画素からなるブロックに対応する参照画素の位置など、他の基準を基に、動いた先が注目画素である参照画素の位置を選択するようにしてもよい。
【０１０４】
以下に説明する、画素の位置を選択する処理においても同様である。
【０１０５】
ステップＳ１４５において、参照画素位置検出部１０４は、選択された画素の位置と注目画素の位置との距離が、予め定めた閾値より短いか否かを判定し、選択された画素の位置と注目画素の位置との距離が、予め定めた閾値より短いと判定された場合、注目画素の動きに対応した正しい画素の位置が選択されたので、ステップＳ１５２に進む。
【０１０６】
ステップＳ１４５において、選択された画素の位置と注目画素の位置との距離が、予め定めた閾値以上であると判定された場合、注目画素の動きに対応した正しい画素の位置が選択されていないので、ステップＳ１４６に進み、参照画素位置検出部１０４は、注目画素に対応するブロックの特徴量の近傍の特徴量を選択する。ここで、近傍の特徴量とは、近似の特徴を有する画素を示す特徴量をいう。例えば、所定のブロックに含まれる各画素の画素値に近い画素値を有する画素からなるブロックから算出される特徴量は、元のブロックの特徴量の近傍の特徴量である。また、所定のブロックに含まれる画素の各画素値の変化（例えば、画素値の差分の並び）と同様に変化し、元の画素値に近い画素値を有する画素からなるブロックから算出される特徴量は、元のブロックの近傍の特徴量である。
【０１０７】
例えば、元のブロックに含まれる１つの画素の画素値の最下位ビットを反転させて得られたブロックから算出される特徴量は、元のブロックの特徴量の近傍の特徴量である。特徴量が３×３のブロックに含まれる画素の画素値を所定の順に並べた値が特徴量であるとき、ブロックに含まれる全ての画素値の最下位ビットを反転させたブロックの特徴量は、元のブロックの特徴量の近傍の特徴量である。
【０１０８】
ステップＳ１４７において、参照画素位置検出部１０４は、特徴量フレームメモリ１０２から、近傍の特徴量に対応する画素位置情報を読み出す。すなわち、参照画素位置検出部１０４は、ステップＳ１４６の処理で選択された近傍の特徴量と同一の特徴量の画素の位置を示す画素位置情報を読み出す。より具体的には、例えば、近傍の特徴量に対応する特徴量アドレスがｋ’であるとき、参照画素位置検出部１０４は、特徴量フレームメモリ１０２のアドレス（ｋ’，０）である格納領域Ｄから画素位置情報の数ｑ’を読み出す。そして、参照画素位置検出部１０４は、特徴量フレームメモリ１０２のアドレス（ｋ’，１）乃至（ｋ’，ｑ’）である格納領域Ｄから、ｑ’個の画素位置情報を読み出す。
【０１０９】
ステップＳ１４８において、参照画素位置検出部１０４は、動いた先が注目画素である画素の位置として、ステップＳ１４７の処理で読み出した画素位置情報で示される画素の位置のうち、注目画素に最も近い画素の位置を選択する。
【０１１０】
ステップＳ１４９において、参照画素位置検出部１０４は、選択された画素の位置と注目画素の位置との距離が、予め定めた閾値より短いか否かを判定し、選択された画素の位置と注目画素の位置との距離が、予め定めた閾値より短いと判定された場合、注目画素の動きに対応した正しい画素の位置が選択されたので、ステップＳ１５２に進む。
【０１１１】
ステップＳ１４９において、選択された画素の位置と注目画素の位置との距離が、予め定めた閾値以上であると判定された場合、注目画素の動きに対応した正しい画素の位置が選択されていないので、ステップＳ１５０に進み、参照画素位置検出部１０４は、所定の範囲の近傍の特徴量を全て選択したか否かを判定する。
【０１１２】
例えば、参照画素位置検出部１０４は、特徴量が３×３のブロックに含まれる画素の画素値を所定の順に並べた値が特徴量抽出部１０３から供給された特徴量であるとき、選択する近傍の特徴量の範囲には、ブロックに含まれる全ての画素値の最下位ビットを反転させたブロックの特徴量、ブロックに含まれる全ての画素値の下位２ビットを反転させたブロックの特徴量、およびブロックに含まれる全ての画素値の下位３ビットを反転させたブロックの特徴量を含めることができる。
【０１１３】
ステップＳ１５０において、所定の範囲の近傍の特徴量を全て選択していないと判定された場合、まだ選択すべき近傍の特徴量があるので、ステップＳ１４６に戻り、他の近傍の特徴量を選択して、ステップＳ１４７乃至ステップＳ１４９の処理を繰り返す。
【０１１４】
ステップＳ１５０において、所定の範囲の近傍の特徴量を全て選択したと判定された場合、近傍の特徴量にも注目画素の動きに対応した正しい画素がないので、ステップＳ１５１に進み、参照画素位置検出部１０４は、予め定めた値を画素位置に設定して、ステップＳ１５２に進む。ステップＳ１５１において、参照画素位置検出部１０４は、エラーコードを注目画素に対応して設定するようにしてもよい。
【０１１５】
ステップＳ１５２において、参照画素位置検出部１０４は、カウンタ変数ｎをインクリメントする。すなわち、特徴量抽出部１０１は、カウンタ変数ｎに１を加算する。
【０１１６】
ステップＳ１５３において、参照画素位置検出部１０４は、カウンタ変数ｎの値が、フレームの画素の数に等しいか否かを判定し、カウンタ変数ｎの値が、フレームの画素の数に等しくないと判定された場合、まだ、注目画素とされていない画素がある、すなわち対応する画素の位置が検出されていない画素があるので、ステップＳ１４２に戻り、上述した処理を繰り返し、次の注目画素に対応する画素の位置を検出する。
【０１１７】
ステップＳ１５３において、カウンタ変数ｎの値が、フレームの画素の数に等しいと判定された場合、まだ、フレームの全ての画素が注目画素とされ、フレームの全ての画素に対応する画素の位置が検出されたので、処理は終了する。
【０１１８】
以上のように、図６に構成を示す画像処理装置は、従来に比較して、より少ない演算量で、より迅速に、より正確な動きベクトルを検出することができる。
【０１１９】
しかしながら、特徴量フレームメモリ１０２において、フラグアドレスに対応したメモリ領域の大きさは、画素位置情報の最大数、すなわち１フレーム当たりの画素の数から決定される。すなわち、特徴量フレームメモリ１０２において、メモリ領域の全体の大きさは、画素位置情報の最大数×特徴量の数となる。
【０１２０】
従って、特徴量フレームメモリ１０２において、特徴量アドレスで特定される領域のうち、画素位置情報の最大数、すなわち画素の数にならない、特徴量アドレスで特定される領域Ｄには、空きが生じることになる。
【０１２１】
ここで、特徴量フレームメモリ１０２において、処理中にメモリアロケーションが静的に変化することはない。上述した特徴量アドレッシングでは、特徴量アドレス毎に画素位置情報が格納される。
【０１２２】
また、それぞれの特徴量アドレスに対応して特徴量フレームメモリ１０２に格納される画素位置情報の数は、処理の対象となる、入力される画像、フレームによって、変化する。これは、特徴量に対応する画素の数が、画像、またはフレームによって変化するためである。
【０１２３】
図１１は、本発明に係る画像処理装置の他の実施の形態の構成を示すブロック図である。図６に示す場合と同様の部分には、同一の番号を付してあり、その説明は省略する。
【０１２４】
アドレス生成部２０１は、特徴量抽出部１０１から供給された特徴量および画素位置情報を基に、画素位置情報を書き込むべきアドレスを生成し、画素位置情報と共に、生成したアドレスを特徴量フレームメモリ２０２に供給する。アドレス生成部２０１は、各特徴量毎の画素位置情報の数を算出して、算出した画素位置情報の数を特徴量フレームメモリ２０２に供給する。また、アドレス生成部２０１は、特徴量フレームメモリ２０２に格納されているクラスタに格納すべき、次の特徴量アドレスおよび次のクラスタ番号を生成して、生成した次の特徴量アドレスおよび次のクラスタ番号を特徴量フレームメモリ２０２に供給する。
【０１２５】
詳細は後述するが、特徴量フレームメモリ２０２のクラスタは、１または２以上の所定の数の画素位置情報を格納する。次の特徴量アドレスは、その次の特徴量アドレスが格納されているクラスタに続いて同一の特徴量の画素位置情報が格納される、次のクラスタの特徴量アドレスを示す。次のクラスタ番号は、その次のクラスタ番号が格納されているクラスタに続いて同一の特徴量の画素位置情報が格納される、次のクラスタのクラスタアドレスを示す。
【０１２６】
特徴量フレームメモリ２０２は、クラスタを単位として、アドレス生成部２０１から供給されたアドレスを基に、特徴量に対応する画素位置情報を記憶する。
【０１２７】
図１２は、特徴量フレームメモリ２０２が記憶するクラスタおよび画素位置情報の数の配置を説明する図である。
【０１２８】
図１２において、クラスタの縦方向（列方向）の位置は、特徴量アドレスで特定され、原則として、１つの（１つの種類の）特徴量に対応する。すなわち、特徴量フレームメモリ２０２においても、１つの特徴量アドレスは、１つの特徴量を示すと言える。特徴量アドレスが異なる場合、それぞれの特徴量アドレスは、異なる特徴量を示す。図１２に示す特徴量フレームメモリ２０２の例においては、０乃至Ｎ−１の範囲のＮ個の特徴量アドレスが設定されている。言い換えれば、図１２に示す特徴量フレームメモリ２０２は、Ｎ種類の特徴量に分類された画素の画素位置情報を格納することができる。
【０１２９】
特徴量フレームメモリ２０２には、０乃至Ｎ−１の範囲のＮ個の特徴量アドレスに対応して、それぞれの特徴量アドレスに対応した同一の特徴量の画素の画素位置情報の数が格納される。図１２中のＬ₀には、特徴量アドレス０に対応する特徴量の画素の画素位置情報の数が格納される。Ｌ₁には、特徴量アドレス１に対応する特徴量の画素の画素位置情報の数が格納される。同様に、Ｌ₂乃至Ｌ_N-1のそれぞれには、特徴量アドレス２乃至特徴量アドレスＮ−１のそれぞれに対応する特徴量の画素の画素位置情報の数が格納される。
【０１３０】
図１２において、クラスタの横方向（行方向）の位置は、クラスタアドレスで特定される。
【０１３１】
以下、特徴量アドレスがａで、クラスタアドレスがｂの位置をアドレス（ａ，ｂ）と表す。
【０１３２】
原則として、クラスタアドレスが１乃至Ｒである、図中の列のクラスタは、１つまたは２以上の、特徴量アドレスで特定される特徴量を有する画素の画素位置を示す画素位置情報を格納する。ここでＲは、特徴量フレームメモリ２０２の１行に配置できるクラスタの最大数、すなわちクラスタアドレスの最大値を示す。
【０１３３】
図１３は、クラスタの構成の例を説明する図である。
【０１３４】
図１３に示すクラスタは、Ｑ個の画素位置情報を格納するとともに、次の特徴量アドレスおよび次のクラスタ番号を格納する。１つのクラスタに格納される、Ｑ個の画素位置情報が示す位置の画素の特徴量は、同一である。
【０１３５】
クラスタに格納されている、次の特徴量アドレスおよび次のクラスタ番号は、Ｑ個の画素位置情報で示される位置の画素の特徴量と同一の特徴量の画素の画素位置情報が格納される、次のクラスタを特定するための情報である。すなわち、クラスタに格納されている次の特徴量アドレスを特徴量アドレスとし、次のクラスタ番号をクラスタアドレスとして、アドレスが特定される次のクラスタは、次の特徴量アドレスおよび次のクラスタ番号を格納しているクラスタに格納されている画素位置情報で示される位置の画素の特徴量と同じ特徴量の画素の画素位置情報を格納する。例えば、アドレス（Ｋ，Ｒ）のクラスタに格納されている次の特徴量アドレスがＳであり、次のクラスタ番号がＲであるとき、次のクラスタのアドレスは、アドレス（Ｓ，Ｒ）である。アドレス（Ｓ，Ｒ）のクラスタには、アドレス（Ｋ，Ｒ）のクラスタに格納されている画素位置情報で示される位置の画素の特徴量と同じ特徴量の画素の画素位置情報が格納される。
【０１３６】
例えば、特徴量アドレスＫに対応する特徴量を有する最初の画素の画素位置を示す画素位置情報は、アドレス（Ｋ，１）のクラスタに格納される。アドレス（Ｋ，１）のクラスタに順に、次の画素の画素位置情報が順に格納される。
【０１３７】
そして、アドレス（Ｋ，１）のクラスタがいっぱいになったとき、すなわち、これ以上画素位置情報をクラスタに格納することができなくなったとき、特徴量アドレスＫに対応する特徴量を有する次の画素の画素位置を示す画素位置情報は、アドレス（Ｋ，２）のクラスタに格納される。アドレス（Ｋ，１）のクラスタには、アドレス（Ｋ，２）のクラスタを示す、次の特徴量アドレスおよび次のクラスタ番号が格納される。
【０１３８】
このように、アドレス（Ｋ，１）のクラスタ乃至アドレス（Ｋ，Ｒ）のクラスタに、特徴量アドレスＫに対応する特徴量の画素の画素位置情報が順に格納することができる。アドレス（Ｋ，１）のクラスタ乃至アドレス（Ｋ，Ｒ）のクラスタに、特徴量アドレスＫに対応する特徴量の画素の画素位置情報が順に格納されたとき、アドレス（Ｋ，１）のクラスタ乃至アドレス（Ｋ，Ｒ−１）のクラスタには、それぞれ、次のクラスタとして、アドレス（Ｋ，２）のクラスタ乃至アドレス（Ｋ，Ｒ）のクラスタを示す、次の特徴量アドレスおよび次のクラスタ番号が格納されることになる。
【０１３９】
そして、アドレス（Ｋ，１）のクラスタ乃至アドレス（Ｋ，Ｒ）のクラスタの全てがいっぱいになったとき、すなわち、特徴量アドレスＫのクラスタにこれ以上画素位置情報を格納することができなくなったとき、さらに特徴量アドレスＫに対応する特徴量を有する次の画素の画素位置を示す画素位置情報を特徴量フレームメモリ２０２に格納する場合、最も少ない数のクラスタが配置されている特徴量アドレスが探索される。最も少ない数のクラスタが配置されている特徴量アドレスがＳであるとき、アドレス（Ｓ，Ｒ）のクラスタが、アドレス（Ｋ，Ｒ）のクラスタの次のクラスタとされる。
【０１４０】
特徴量アドレスＫに対応する特徴量を有する次の画素の画素位置を示す画素位置情報は、アドレス（Ｓ，Ｒ）のクラスタに格納される。アドレス（Ｋ，Ｒ）のクラスタには、アドレス（Ｓ，Ｒ）のクラスタの位置を示す、次の特徴量アドレスおよび次のクラスタ番号が格納される。そして、特徴量アドレスＫに対応する特徴量を有するさらに次の画素の画素位置を示す画素位置情報は、アドレス（Ｓ，Ｒ）のクラスタがいっぱいになるまで、アドレス（Ｓ，Ｒ）のクラスタに格納される。
【０１４１】
特徴量フレームメモリ２０２は、以上のように、特徴量に対応する特徴量アドレスのクラスタに特徴量が格納しきれなくなったとき、空き領域の最も大きい他の特徴量アドレスのクラスタに画素位置情報を順に記憶する。同じ特徴量の画素の画素位置を示す画素位置情報を格納しているクラスタの位置は、順に、クラスタに格納されている、次の特徴量アドレスおよび次のクラスタ番号で特定される。
【０１４２】
このようにすることで、特徴量フレームメモリ２０２の記憶領域を有効に使用することができるようになり、予め、最大の画素位置情報の数であるフレームの画素の数と同じ画素位置情報を１つの特徴量アドレスに確保する必要がなくなる。すなわち、図１１に構成を示す画像処理装置においては、全体として、画素の数に近い、より少ない記憶領域で、１フレームの画素に対応する画素位置情報を記憶することができるようになる。
【０１４３】
なお、特徴量フレームメモリ２０２を、バーストRAM（バーストDRAM、バーストSRAM、またはパイプライン・バーストSRAMなど）で構成し、クラスタを、４ワード乃至８ワード（１ワードは３２ビット）とすれば、１つのアドレス情報を基に複数のデータを連続して転送する、いわゆるバースト転送により、１クラスタを単位として、より迅速に、書き込みまたは読み出すことができるようになる。
【０１４４】
特徴量フレームメモリ２０２は、特徴量フレームメモリ１０２の場合と同様に、カレントフレームＦｃ（現在のフレーム）に対応する画素位置情報と、参照フレームＦｒ（１つ前のフレーム）に対応する画素位置情報とをそれぞれに記憶し、それぞれ読み出すことができる。
【０１４５】
図１１に戻り、参照画素位置検出部２０３は、特徴量抽出部１０３から供給された注目画素の特徴量、およびクラスタを単位として特徴量フレームメモリ２０２に記憶されている参照フレームＦｒの画素位置情報を基に、注目画素の特徴量と同じ特徴量を有する、参照フレームＦｒの画素の画素位置を検出する。そして、参照画素位置検出部２０３は、検出された注目画素の特徴量と同じ特徴量を有する、参照フレームＦｒの画素の画素位置から、動いた先が注目画素である参照フレームＦｒの画素の位置を選択する。そして、参照画素位置検出部２０３は、特徴量抽出部１０３から供給された注目画素の画素位置情報と参照フレームＦｒの選択された画素の画素位置とから、注目画素の位置に対応する位置の参照フレームＦｒ上の画素を始点とし、注目画素の特徴量と同じ特徴量を有する参照フレームＦｒの選択された画素を終点とする動きベクトルを求めて、求めた動きベクトルを出力する。
【０１４６】
図１４は、アドレス生成部２０１の構成の例を示すブロック図である。
【０１４７】
メモリ状態記憶部２２１は、アドレスを生成する時点における、特徴量フレームメモリ２０２の画素位置情報の記憶の状態を示すデータを記憶する。例えば、メモリ状態記憶部２２１は、特徴量フレームメモリ２０２の、１つの特徴量アドレスごとに、画素位置情報の記憶の状態を示すデータを記憶する。より具体的に説明すれば、メモリ状態記憶部２２１は、特徴量フレームメモリ２０２の、１つの特徴量アドレスごとに、その特徴量アドレスに対応する特徴量の画素の位置を示す画素位置情報の数、その特徴量アドレスに対応する特徴量の画素の位置を示す画素位置情報を格納しているクラスタの数、その特徴量アドレスに対応する、次の画素位置情報を格納しようとするクラスタに格納されている画素位置情報の数、その特徴量アドレスに対応する、次の画素位置情報を格納しようとするクラスタが配置されている特徴量アドレス、その特徴量アドレスに対応する、次の画素位置情報を格納しようとするクラスタが配置されているクラスタアドレス、およびその特徴量アドレスに対応する特徴量の画素の画素位置情報を格納するクラスタの最大数（クラスタの最大数Ｒから、他の特徴量アドレスに対応する特徴量の画素の画素位置情報を格納するクラスタの数を引き算した数）などを記憶する。
【０１４８】
例えば、メモリ状態記憶部２２１は、特徴量アドレス０に対応して、特徴量アドレス０に対応する特徴量の画素の位置を示す画素位置情報の数をＭレジスタに格納し、特徴量アドレス０に対応する特徴量の画素の位置を示す画素位置情報を格納しているクラスタの数をＩレジスタに格納し、特徴量アドレス０に対応する、次の画素位置情報を格納しようとするクラスタに格納されている画素位置情報の数をＱレジスタに格納する。メモリ状態記憶部２２１は、特徴量アドレス０に対応して、特徴量アドレス０に対応する、次の画素位置情報を格納しようとするクラスタが配置されている特徴量アドレスを記憶先特徴量レジスタに格納し、特徴量アドレス０に対応する、次の画素位置情報を格納しようとするクラスタが配置されているクラスタアドレスをクラスタ現在位置レジスタに格納し、特徴量アドレス０に対応する特徴量の画素の画素位置情報を格納するクラスタの最大数をＩＭＡＸレジスタに格納する。
【０１４９】
メモリ状態記憶部２２１は、特徴量アドレス１乃至特徴量アドレスＮ−１のそれぞれに対応して、特徴量アドレス１乃至特徴量アドレスＮ−１のそれぞれに対応する特徴量の画素の位置を示す画素位置情報の数をＭレジスタに格納し、特徴量アドレス１乃至特徴量アドレスＮ−１のそれぞれに対応する特徴量の画素の位置を示す画素位置情報を格納しているクラスタの数をＩレジスタに格納し、特徴量アドレス１乃至特徴量アドレスＮ−１のそれぞれに対応する、次の画素位置情報を格納しようとするクラスタに格納されている画素位置情報の数をＱレジスタに格納する。メモリ状態記憶部２２１は、特徴量アドレス１乃至特徴量アドレスＮ−１のそれぞれに対応して、特徴量アドレス１乃至特徴量アドレスＮ−１のそれぞれに対応する、次の画素位置情報を格納しようとするクラスタが配置されている特徴量アドレスを記憶先特徴量レジスタに格納し、特徴量アドレス１乃至特徴量アドレスＮ−１のそれぞれに対応する、次の画素位置情報を格納しようとするクラスタが配置されているクラスタアドレスをクラスタ現在位置レジスタに格納し、特徴量アドレス１乃至特徴量アドレスＮ−１のそれぞれに対応する特徴量の画素の画素位置情報を格納するクラスタの最大数をＩＭＡＸレジスタに格納する。
【０１５０】
判断部２２２は、メモリ状態記憶部２２１に記憶されている、特徴量フレームメモリ２０２の画素位置情報の記憶の状態を示すデータを基に、各特徴量アドレスに対応する特徴量毎の画素位置情報の数を求めて、各特徴量アドレスに対応する特徴量毎の画素位置情報の数を出力する。例えば、判断部２２２は、Ｍレジスタに格納されている、各特徴量アドレスに対応する特徴量の画素の位置を示す画素位置情報の数を、画素位置情報の数として出力する。
【０１５１】
判断部２２２は、メモリ状態記憶部２２１に記憶されている、特徴量フレームメモリ２０２の画素位置情報の記憶の状態を示すデータを基に、クラスタに格納される、次の特徴量アドレスおよび次のクラスタ番号を求めて、次の特徴量アドレスおよび次のクラスタ番号を出力する。例えば、判断部２２２は、記憶先特徴量レジスタに格納されている、次の画素位置情報を格納しようとするクラスタが配置されている特徴量アドレスを、次の特徴量アドレスとして出力し、クラスタ現在位置レジスタに格納に格納されている、次の画素位置情報を格納しようとするクラスタが配置されているクラスタアドレスを、次のクラスタ番号として出力する。
【０１５２】
アドレス算出部２２３は、メモリ状態記憶部２２１に記憶されている、特徴量フレームメモリ２０２の画素位置情報の記憶の状態を示すデータを基に、画素位置情報を格納するクラスタを指定するアドレスを生成して、生成したアドレスを出力する。
【０１５３】
図１５は、図１１に構成を示す画像処理装置による、動きベクトルの検出の処理を説明するフローチャートである。
【０１５４】
ステップＳ２０１において、特徴量抽出部１０１、アドレス生成部２０１、および特徴量フレームメモリ２０２は、参照フレームＦｒの画素位置情報の格納の処理を実行することにより、参照フレームＦｒの画素位置情報を記憶する。画素位置情報の格納の処理の詳細は、図１６のフローチャートを参照して、後述する。
【０１５５】
ステップＳ２０２において、特徴量抽出部１０３および参照画素位置検出部２０３は、注目画素に対応する画素の位置の検出の処理を実行して、注目画素の特徴量と同じ特徴量を有する、参照フレームＦｒの画素の画素位置を検出する。注目画素に対応する画素の位置の検出の処理の詳細は、図１９のフローチャートを参照して、後述する。
【０１５６】
ステップＳ２０３およびステップＳ２０４の処理は、図８のステップＳ１０３およびステップＳ１０４の処理とそれぞれ同様なので、その説明は省略する。
【０１５７】
図１６は、ステップＳ２０１の処理に対応する、画素位置情報の格納の処理を説明するフローチャートである。
【０１５８】
ステップＳ２２１およびステップＳ２２２の処理は、図９のステップＳ１２１およびステップＳ１２２の処理とそれぞれ同様なので、その説明は省略する。
【０１５９】
ステップＳ２２３において、アドレス生成部２０１は、メモリ状態記憶部２２１に記憶されているデータを初期化する。例えば、アドレス生成部２０１は、メモリ状態記憶部２２１のＭレジスタ、Ｉレジスタ、およびＱレジスタに０を設定し、記憶先特徴量レジスタに、対応する特徴量アドレスを設定し、ＩＭＡＸレジスタに、Ｒを設定し、クラスタ現在位置レジスタに、０を設定する。
【０１６０】
ステップＳ２２５において、アドレス生成部２０１は、画素位置情報を格納するクラスタおよびクラスタ上の位置を示すアドレスを生成する、アドレスの生成の処理を実行する。アドレスの生成の処理の詳細は、図１７および図１８のフローチャートを参照して後述する。
【０１６１】
ステップＳ２２６において、アドレス生成部２０１は、特徴量に対応する画素位置情報の数を特徴量フレームメモリ２０２に書き込む。
【０１６２】
ステップＳ２２７において、特徴量フレームメモリ２０２は、ステップＳ２２５の処理で生成され、アドレス生成部２０１から供給されたアドレスを基に、画素位置情報を所定のクラスタに書き込む。また、特徴量フレームメモリ２０２は、アドレス生成部２０１から次の特徴量アドレスおよび次のクラスタ番号が供給されたとき、アドレス生成部２０１から供給された、次の特徴量アドレスおよび次のクラスタ番号を所定のクラスタ（前回、画素位置情報が記憶されたクラスタ）に記憶させる。
【０１６３】
ステップＳ２２８およびステップＳ２２９の処理は、図９のステップＳ１２８およびステップＳ１２９の処理とそれぞれ同様なので、その説明は省略する。
【０１６４】
次に、ステップＳ２２５の処理に対応する、アドレス生成の処理を図１７および図１８のフローチャートを参照して説明する。
【０１６５】
ステップＳ２５１において、判断部２２２は、メモリ状態記憶部２２１から、ステップＳ２２４の処理で算出された特徴量に対応する、Ｍレジスタ、Ｉレジスタ、Ｑレジスタ、記憶先特徴量レジスタ、ＩＭＡＸレジスタ、およびクラスタ現在位置レジスタの値を読み出す。すなわち、判断部２２２は、メモリ状態記憶部２２１から、特徴量に対応する特徴量アドレスの、Ｍレジスタ、Ｉレジスタ、Ｑレジスタ、記憶先特徴量レジスタ、ＩＭＡＸレジスタ、およびクラスタ現在位置レジスタの値を読み出す。
【０１６６】
ステップＳ２５２において、判断部２２２は、Ｑレジスタの値が、クラスタに格納できる画素位置情報の最大数に等しいか否かを判定し、Ｑレジスタの値が、クラスタに格納できる画素位置情報の最大数に等しくないと判定された場合、現在の格納先のクラスタにまだ空きがあるので、ステップＳ２５３に進み、現在の画像位置情報の格納先であるクラスタの画像位置情報の格納位置を示すＱレジスタの値をインクリメントする。判断部２２２は、インクリメントされた値をメモリ状態記憶部２２１の特徴量に対応する特徴量アドレスのＱレジスタに格納する。
【０１６７】
ステップＳ２５４において、判断部２２２は、特徴量に対応する画像位置情報の数を示すＭレジスタの値をインクリメントする。判断部２２２は、インクリメントされた値をメモリ状態記憶部２２１の特徴量に対応する特徴量アドレスのＭレジスタに格納する。
【０１６８】
ステップＳ２５５において、判断部２２２は、記憶先特徴量レジスタの値が、特徴量に等しいか否かを判定し、記憶先特徴量レジスタの値が、特徴量に等しいと判定された場合、特徴量に対応する特徴量アドレスで特定されるクラスタに画素位置情報が格納されるので、ステップＳ２５６に進み、アドレス算出部２２３は、特徴量、Ｉレジスタの値、およびステップＳ２５３の処理でインクリメントされたＱレジスタの値から、画素位置情報を格納するアドレスを算出して、処理は終了する。例えば、特徴量がＫであり、Ｉレジスタが３であり、インクリメントされたＱレジスタの値が４であるとき、画素位置情報を格納するクラスタのアドレスとして、アドレス（Ｋ，３）が算出され、さらに、アドレス（Ｋ，３）のクラスタの先頭から４番目の画素位置情報を格納する領域を指定するアドレスが算出される。
【０１６９】
ステップＳ２５５において、記憶先特徴量レジスタの値が、特徴量に等しくないと判定された場合、特徴量に対応する特徴量アドレス以外の特徴量アドレスで特定されるクラスタに画素位置情報が格納されるので、ステップＳ２５７に進み、アドレス算出部２２３は、記憶先特徴量レジスタの値、クラスタ現在位置レジスタの値、およびステップＳ２５３の処理でインクリメントされたＱレジスタの値から、画素位置情報を格納するアドレスを算出して、処理は終了する。例えば、記憶先特徴量レジスタの値がＳであり、クラスタ現在位置レジスタの値が２であり、インクリメントされたＱレジスタの値が３であるとき、画素位置情報を格納するクラスタのアドレスとして、アドレス（Ｓ，２）が算出され、さらに、アドレス（Ｓ，２）のクラスタの先頭から３番目の画素位置情報を格納する領域を指定するアドレスが算出される。
【０１７０】
ステップＳ２５２において、Ｑレジスタの値が、クラスタに格納できる画素位置情報の最大数に等しいと判定された場合、現在の格納先のクラスタに空きがないので、ステップＳ２５８に進み、判断部２２２は、Ｉレジスタの値が、ＩＭＡＸレジスタの値以上であるか否かを判定する。
【０１７１】
ステップＳ２５８において、Ｉレジスタの値が、ＩＭＡＸレジスタの値以上でないと判定された場合、特徴量に対応する特徴量アドレスで特定される領域にさらにクラスタを配置することができるので、ステップＳ２５９に進み、判断部２２２は、画素位置情報を格納しているクラスタの数を示すＩレジスタの値をインクリメントする。判断部２２２は、インクリメントされた値をメモリ状態記憶部２２１の特徴量に対応する特徴量アドレスのＩレジスタに格納する。
【０１７２】
ステップＳ２６０において、アドレス生成部２０１は、特徴量フレームメモリ２０２に、現在のクラスタの次にクラスタを生成させる。すなわち、アドレス生成部２０１は、特徴量フレームメモリ２０２に、特徴量に対応する特徴量アドレスと、インクリメントされたＩレジスタの値をクラスタアドレスとする位置に、クラスタを生成させる。例えば、特徴量に対応する特徴量アドレスがＫであり、インクリメントされたＩレジスタの値がＲであるとき、アドレス生成部２０１は、特徴量フレームメモリ２０２に、アドレス（Ｋ，Ｒ）の位置のクラスタを生成させる。
【０１７３】
ステップＳ２６１において、判断部２２２は、Ｑレジスタの値を初期化する。判断部２２２は、メモリ状態記憶部２２１の、特徴量に対応する特徴量アドレスのＱレジスタの値を初期化する。例えば、判断部２２２は、特徴量に対応する特徴量アドレスがＫであるとき、特徴量アドレスＫに対応するＱレジスタの値を１に設定する。
【０１７４】
ステップＳ２６２において、判断部２２２は、Ｍレジスタの値をインクリメントする。判断部２２２は、インクリメントしたＭレジスタの値を、特徴量に対応する特徴量アドレスのＭレジスタに設定する。
【０１７５】
ステップＳ２６３において、アドレス算出部２２３は、ステップＳ２６０の処理で生成したクラスタの最初の特徴量の指定するアドレスを生成する。例えば、例えば、特徴量に対応する特徴量アドレスがＫであり、インクリメントされたＩレジスタの値がＲであり、初期化されたＱレジスタの値が１であるとき、画素位置情報を格納するクラスタのアドレスとして、アドレス（Ｋ，Ｒ）が算出され、さらに、アドレス（Ｋ，Ｒ）のクラスタの先頭の画素位置情報を格納する領域を指定するアドレスが算出される。
【０１７６】
ステップＳ２６４において、アドレス算出部２２３は、特徴量に対応する特徴量アドレスを次の特徴量アドレスとして出力する。
【０１７７】
ステップＳ２６５において、アドレス算出部２２３は、ステップＳ２５９の処理でインクリメントされたＩレジスタの値を次のクラスタ番号として出力し、処理は終了する。
【０１７８】
ステップＳ２５８において、Ｉレジスタの値が、ＩＭＡＸレジスタの値以上であると判定された場合、特徴量に対応する特徴量アドレスで特定される領域にさらにクラスタを配置することができないので、他の特徴量アドレスで特定される領域にクラスタを配置するために、ステップＳ２６６に進み、判断部２２２は、クラスタの数が最小の特徴量アドレスを探索する。例えば、判断部２２２は、メモリ状態記憶部２２１の各特徴量アドレスに対応するＩＭＡＸレジスタの値と、Ｉレジスタの値との差が最も大きい特徴量アドレスを求める。
【０１７９】
ステップＳ２６７において、判断部２２２は、ステップＳ２６６の処理で探索された、クラスタの数が最小の特徴量アドレスを、特徴量に対応する特徴量アドレスで示される記憶先特徴量レジスタに格納する。例えば、特徴量に対応する特徴量アドレスがＫであり、クラスタの数が最小の特徴量アドレスがＳであるとき、判断部２２２は、特徴量アドレスＫの記憶先特徴量レジスタにＳを格納する。
【０１８０】
ステップＳ２６８において、アドレス生成部２０１は、特徴量フレームメモリ２０２に、クラスタの数が最小の特徴量アドレスで特定される領域の後ろ側（クラスタアドレスの値が大きい側）にクラスタを生成させる。すなわち、アドレス生成部２０１は、特徴量フレームメモリ２０２に、クラスタの数が最小の特徴量アドレスと、クラスタアドレスの最大値をクラスタアドレスとする位置に、クラスタがまだ配置されていないとき、クラスタの数が最小の特徴量アドレスと、クラスタアドレスの最大値をクラスタアドレスとする位置に、クラスタを生成させる。例えば、クラスタの数が最小の特徴量アドレスがＳであり、クラスタアドレスの最大値がＲであるとき、アドレス（Ｓ，Ｒ）の位置にクラスタがまだ配置されていない場合、アドレス生成部２０１は、特徴量フレームメモリ２０２に、アドレス（Ｓ，Ｒ）の位置のクラスタを生成させる。
【０１８１】
アドレス生成部２０１は、特徴量フレームメモリ２０２に、クラスタの数が最小の特徴量アドレスと、クラスタアドレスの最大値をクラスタアドレスとする位置に、クラスタがすでに配置されているとき、そのクラスタの前（クラスタアドレスの値が小さい側）にクラスタを生成させる。例えば、クラスタの数が最小の特徴量アドレスがＳであり、クラスタアドレスの最大値がＲであるとき、アドレス（Ｓ，Ｒ）の位置にすでにクラスタが配置されている場合、アドレス生成部２０１は、特徴量フレームメモリ２０２に、アドレス（Ｓ，Ｒ−１）の位置のクラスタを生成させる。
【０１８２】
このように、アドレス生成部２０１は、特徴量フレームメモリ２０２に、クラスタの数が最小、すなわち空いている領域が最大である領域の、クラスタアドレスの後ろ側にクラスタを生成させる。
【０１８３】
ステップＳ２６９において、判断部２２２は、ステップＳ２６８の処理で生成したクラスタのクラスタアドレスを、メモリ状態記憶部２２１の、特徴量に対応する特徴量アドレスのクラスタ現在位置レジスタに格納する。
【０１８４】
ステップＳ２７０において、判断部２２２は、メモリ状態記憶部２２１の、ステップＳ２６６の処理で探索された、クラスタの数が最小である特徴量アドレスのＩＭＡＸレジスタの値をデクリメントする。すなわち、クラスタの数が最小である特徴量アドレスの領域にステップＳ２６８の処理でクラスタが生成されたので、クラスタの数が最小である特徴量アドレスに対応する特徴量の画素の画素位置情報を格納するクラスタの最大数を格納しているＩＭＡＸレジスタの値から１が引き算される。
【０１８５】
ステップＳ２７１において、判断部２２２は、Ｑレジスタの値を初期化する。判断部２２２は、メモリ状態記憶部２２１の、特徴量に対応する特徴量アドレスのＱレジスタの値を初期化する。例えば、判断部２２２は、特徴量に対応する特徴量アドレスがＫであるとき、特徴量アドレスＫに対応するＱレジスタの値を１に設定する。
【０１８６】
ステップＳ２７２において、判断部２２２は、特徴量の画素の位置を示す画素位置情報を格納しているクラスタの数を示すＩレジスタの値をインクリメントする。判断部２２２は、インクリメントされた値をメモリ状態記憶部２２１の特徴量に対応する特徴量アドレスのＩレジスタに格納する。
【０１８７】
ステップＳ２７３において、判断部２２２は、Ｍレジスタの値をインクリメントする。判断部２２２は、インクリメントしたＭレジスタの値を、特徴量に対応する特徴量アドレスのＭレジスタに設定する。
【０１８８】
ステップＳ２７４において、アドレス算出部２２３は、ステップＳ２６８の処理で生成したクラスタの最初の特徴量の指定するアドレスを生成する。例えば、例えば、記憶先特徴量レジスタの値がＳであり、クラスタ現在位置レジスタの値がＲであり、初期化されたＱレジスタの値が１であるとき、画素位置情報を格納するクラスタのアドレスとして、アドレス（Ｓ，Ｒ）が算出され、さらに、アドレス（Ｓ，Ｒ）のクラスタの先頭の画素位置情報を格納する領域を指定するアドレスが算出される。
【０１８９】
ステップＳ２７５において、アドレス算出部２２３は、記憶先特徴量レジスタの値を次の特徴量アドレスとして出力する。
【０１９０】
ステップＳ２６５において、アドレス算出部２２３は、クラスタ現在位置レジスタの値を次のクラスタ番号として出力し、処理は終了する。
【０１９１】
次に、ステップＳ２０２の処理に対応する、注目画素に対応する画素位置の検出の処理について図１９のフローチャートを参照して説明する。
【０１９２】
ステップＳ３０１およびステップＳ３０２の処理は、図１０のステップＳ１４１およびステップＳ１４２の処理とそれぞれ同様なので、その説明は省略する。
【０１９３】
ステップＳ３０３において、参照画素位置検出部２０３は、特徴量に対応する画素位置情報の読み出しの処理を実行する。特徴量に対応する画素位置情報の読み出しの処理の詳細は、図２０のフローチャートを参照して説明する。
【０１９４】
ステップＳ３０４乃至ステップＳ３０６の処理は、図１０のステップＳ１４４乃至ステップＳ１４６の処理とそれぞれ同様なので、その説明は省略する。
【０１９５】
ステップＳ３０７において、参照画素位置検出部２０３は、近傍の特徴量に対応する画素位置情報の読み出しの処理を実行する。
【０１９６】
ステップＳ３０８乃至ステップＳ３１３の処理は、図１０のステップＳ１４８乃至ステップＳ１５３の処理とそれぞれ同様なので、その説明は省略する。
【０１９７】
図２０は、ステップ３０３の処理に対応する、特徴量に対応する画素位置情報の読み出しの処理を説明するフローチャートである。
【０１９８】
ステップＳ３３１において、参照画素位置検出部２０３は、特徴量フレームメモリ２０２から、特徴量に対応する画素位置情報の数を読み出す。例えば、特徴量に対応する特徴量アドレスがＫであるとき、参照画素位置検出部２０３は、特徴量フレームメモリ２０２の、特徴量アドレスＫである画素位置情報の数Ｌ_Kを読み出す。
【０１９９】
最初に実行する、ステップＳ３３２において、参照画素位置検出部２０３は、特徴量フレームメモリ２０２から、特徴量に対応する特徴量アドレスで指定され、クラスタアドレスが１のクラスタを読み出す。例えば、特徴量に対応する特徴量アドレスがＫであるとき、参照画素位置検出部２０３は、特徴量フレームメモリ２０２から、アドレス（Ｋ，１）のクラスタを読み出す。
【０２００】
ステップＳ３３３において、参照画素位置検出部２０３は、ステップＳ３３２の処理で読み出されたクラスタに格納されている画素位置情報を読み出す。クラスタには、１または２以上の画素位置情報が格納されている。
【０２０１】
ステップＳ３３４において、参照画素位置検出部２０３は、読み出された画素位置情報の総和を計算する。例えば、最初のステップＳ３３４の処理では、読み出された画素位置情報の総和に、ステップＳ３３２の処理で読み出された画素位置情報の数が設定され、処理が繰り返されることにより実行される２回目以降のステップＳ３３４の処理では、既に計算された画素位置情報の総和に、ステップＳ３３２の処理で読み出された画素位置情報の数が加算される。
【０２０２】
ステップＳ３３５において、参照画素位置検出部２０３は、ステップＳ３３４の処理で計算された、読み出された画素位置情報の総和が、ステップＳ３３１の処理で読み出された、特徴量に対応する画素位置の数未満であるか否かを判定し、読み出された画素位置情報の総和が、特徴量に対応する画素位置の数未満であると判定された場合、まだ読み出されていない画素位置情報があるので、ステップＳ３３６に進み、ステップＳ３３２の処理で読み出されたクラスタから、次の特徴量アドレスおよび次のクラスタ番号を読み出し、手続きは、ステップＳ３３２に進む。
【０２０３】
２回目以降のステップＳ３３２においては、参照画素位置検出部２０３は、ステップＳ３３６の処理で読み出された、次の特徴量アドレスおよび次のクラスタ番号で指定されるクラスタを読み出し、それ以降の処理を繰り返す。例えば、参照画素位置検出部２０３は、次の特徴量アドレスがＳであり、次のクラスタ番号がＲであるとき、アドレス（Ｓ，Ｒ）のクラスタを読み出す。
【０２０４】
ステップＳ３３５において、読み出された画素位置情報の総和が、特徴量に対応する画素位置の数未満でないと判定された場合、特徴量に対応する全ての画素位置情報が読み出されたので、処理は終了する。
【０２０５】
なお、ステップＳ３０７の処理は、近傍の特徴量に対応する、図２０のフローチャートで説明した処理と同様なのでその説明は省略する。
【０２０６】
以上のように、図１１に構成を示す画像処理装置においては、より少ない記憶領域で、動きベクトルを検出することができるようになる。すなわち、図１１に構成を示す画像処理装置においては、参照フレームＦｒについての特徴量に対応する画素位置情報を特徴量フレームメモリ２０２に格納したとき、特徴量フレームメモリ２０２にできる、画素位置情報が格納されていない空きの領域をより少なくすることができる。
【０２０７】
このように、第１のフレームに対して時間的に前のフレームである第２のフレームの第１の画素の特徴量を抽出し、第１の画素の特徴量に対応する第１のアドレスで指定される領域への、第１の画素の位置を示す画素位置情報の記憶を制御し、第１のフレームの第２の画素の特徴量を抽出し、記憶されている、第１の画素の位置を示す画素位置情報を基に、第２の画素の特徴量と同じ特徴量の第１の画素の位置の中から、動いた先が第２の画素である第１の画素の位置を選択するようにした場合には、動きベクトルを検出することができる。
【０２０８】
また、第１のフレームに対して時間的に前のフレームである第２のフレームの第１の画素の特徴量を抽出し、第１の画素の特徴量に対応する第１のアドレスで指定される領域への、第１の画素の位置を示す画素位置情報の記憶を制御し、第１のフレームの第２の画素の特徴量を抽出し、記憶されている、第１の画素の位置を示す画素位置情報を基に、第２の画素の特徴量と同じ特徴量の第１の画素の位置の中から、動いた先が第２の画素である第１の画素の位置を選択し、第１の画素の特徴量に対応する第１のアドレスで指定される領域に空きが無くなった場合、第２のアドレスで指定される領域への、第１の画素の位置を示す画素位置情報の記憶を制御すると共に、第１の画素の位置を示す画素位置情報を第２のアドレスで指定される領域に記憶することを表す情報の記憶を制御するようにした場合には、より少ない計算量で、より迅速に、より正確な動きベクトルを検出できる。
【０２０９】
次に、本発明に係る画像処理装置のさらに他の構成について説明する。図２１は、本発明に係る画像処理装置のさらに他の実施の形態の構成を示すブロック図である。図６に示す場合と同様の部分には、同一の番号を付してあり、その説明は省略する。
【０２１０】
特徴量記憶部４０１は、特徴量抽出部１０１から供給された、参照画素の位置を示す画素位置情報、および参照画素に対応する特徴量を取得し、特徴量に対応する画素位置情報の数を記憶すると共に、ポインタにより次の画素位置を示すことにより画素位置情報を記憶する。
【０２１１】
図２２は、特徴量記憶部４０１の構成の例を示すブロック図である。
【０２１２】
記憶制御部４２１は、インデックスメモリ４２２およびフレームメモリ４２３へのデータの書き込みおよび読み出しを制御することにより、特徴量記憶部４０１への、特徴量に対応する画素位置情報の数の記憶、および画素位置を示すポインタの記憶を制御する。
【０２１３】
インデックスメモリ４２２は、特徴量に対応した特徴量アドレス毎に、特徴量に対応する特徴量個数、すなわち画素位置情報の数、ポインタで順に示される画素位置情報のうちの、先頭の画素位置、およびポインタで順に示される画素位置情報のうちの、最後の画素位置を格納する。
【０２１４】
この場合のポインタで示される画素位置の順序は、特徴量抽出部１０１が参照画素を選択する順序に対応し、例えば、ラスタスキャン順である。ただし、この順序は、本発明を限定するものではなく、ジグザクスキャンの方向など、任意の順とすることができる。
【０２１５】
フレームメモリ４２３は、領域Ｄを単位として、特徴量に対応した画素の画素位置の繋がりを示すポインタを格納する。フレームメモリ４２３の領域Ｄの位置を特定するための１つの方向は、画像の空間方向の一方、例えば、空間方向ｘ（画像の横方向）に対応し、フレームメモリ４２３の領域Ｄの位置を特定するための他の方向は、画像の空間方向の他方、例えば、空間方向ｙ（画像の縦方向）に対応する。フレームメモリ４２３において、領域Ｄの位置は、フレームメモリ４２３上の２次元のアドレスで特定され、同時に、画面上の画素の画素位置を示す。言い換えれば、フレームメモリ４２３の１つの領域Ｄは、参照フレームＦｒの１つの画素に対応する。従って、フレームメモリ４２３には、画面上（１フレーム）の画素の数と同じ数の領域Ｄが、画面上（フレーム）の画素に対応して配置される。
【０２１６】
フレームメモリ４２３の各領域Ｄは、ポインタであって、自分自身に対応する画素の特徴量と同じ特徴量の次の画素に対応する領域Ｄの位置を示す情報を格納する。画素の位置と領域Ｄの位置とが対応しているので、フレームメモリ４２３の領域Ｄは、同じ特徴量の次の画素の位置を示す情報を格納しているとも言える。
【０２１７】
例えば、インデックスメモリ４２２に、特徴量アドレスＫに対応する特徴量の先頭の画素の画素位置として、図中の領域Ｄ₁の位置を示す画素位置が格納されているとき、特徴量アドレスＫに対応する特徴量の最初の画素の画素位置は、領域Ｄ₁の位置に対応する画素位置であることがわかる。
【０２１８】
フレームメモリ４２３の領域Ｄ₁には、特徴量アドレスＫに対応する特徴量の、次の画素の位置である、領域Ｄ₂の位置を示す情報（アドレス）が格納される。領域Ｄの位置が画素の画素位置に対応しているので、フレームメモリ４２３の領域Ｄ₁から、次の領域Ｄ₂の位置を示す情報を読み出すことにより、特徴量アドレスＫに対応する特徴量の２番目の画素の画素位置は、領域Ｄ₂の位置に対応する画素位置であることがわかる。
【０２１９】
同様に、フレームメモリ４２３の領域Ｄ₂には、特徴量アドレスＫに対応する特徴量の、さらに次の画素の位置である、領域Ｄ₃の位置を示す情報（アドレス）が格納される。領域Ｄの位置が画素の画素位置に対応しているので、フレームメモリ４２３の領域Ｄ₂から、次の領域Ｄ₃の位置を示す情報を読み出すことにより、特徴量アドレスＫに対応する特徴量の３番目の画素の画素位置は、領域Ｄ₃の位置に対応する画素位置であることがわかる。
【０２２０】
このように、特徴量アドレスがＫであるインデックスメモリ４２２に格納されている、先頭の画素位置から、フレームメモリ４２３に格納されているポインタを順に辿ることにより、特徴量アドレスＫに対応した特徴量の画素の画素位置を得ることができる。
【０２２１】
以上のように、フレームメモリ４２３には、画像の画素の位置に対応して記憶領域が配置され、各記憶領域には、所定の特徴量の次の画素位置を示す情報（ポインタ）が格納される。すなわち、参照フレームＦｒの画素の位置を示す位置の、フレームメモリ４２３の領域Ｄに、同じ特徴量の次の画素であって、参照フレームＦｒの画素の位置が順次記憶される。
【０２２２】
そして、インデックスメモリ４２２の先頭画素位置には、参照フレームＦｒの、同じ特徴量の画素の位置のうちの、最初の画素の位置が記憶される。
【０２２３】
従って、特徴量記憶部４０１は、インデックスメモリ４２２に格納されている、各特徴量アドレスに対応して、先頭の画素位置から、最後の画素位置まで、特徴量個数に対応した数の、フレームメモリ４２３に格納されているポインタを順に辿ることにより、各特徴量アドレスに対応した特徴量の画素の画素位置を得ることができる。
【０２２４】
図２１に戻り、参照画素位置検出部４０２は、特徴量抽出部１０３から供給された注目画素の特徴量、および特徴量記憶部４０１に記憶されている情報を基に、注目画素の特徴量と同じ特徴量を有する、参照フレームＦｒの画素の画素位置を検出する。そして、参照画素位置検出部４０２は、検出された注目画素の特徴量と同じ特徴量を有する、参照フレームＦｒの画素の画素位置から、動いた先が注目画素である参照フレームＦｒの画素の位置を選択する。そして、参照画素位置検出部４０２は、特徴量抽出部１０３から供給された注目画素の画素位置情報と参照フレームＦｒの選択された画素の画素位置とから、注目画素の位置に対応する位置の参照フレームＦｒ上の画素を始点とし、注目画素の特徴量と同じ特徴量を有する参照フレームＦｒの選択された画素を終点とする動きベクトルを求めて、求めた動きベクトルを出力する。
【０２２５】
図２３は、インデックスメモリ４２２に格納される、特徴量に対応した特徴量アドレス毎のデータの例を示す図である。特徴量個数は、特徴量の数、すなわち特徴量アドレスに対応する特徴量の画素の画素位置情報の数である（特徴量アドレスに対応する特徴量の画素の数でもあり、領域Ｄの数でもある）。
【０２２６】
先頭画素位置は、特徴量アドレスに対応する特徴量の先頭の画素の画素位置である。すなわち、先頭画素位置は、特徴量アドレスに対応する特徴量の先頭の画素に対応する、フレームメモリ４２３の領域Ｄのアドレスを示す。
【０２２７】
終了画素位置は、特徴量アドレスに対応する特徴量の最後の画素の画素位置である。すなわち、終了画素位置は、特徴量アドレスに対応する特徴量の最後の画素に対応する、フレームメモリ４２３の領域Ｄのアドレスを示す。
【０２２８】
先頭画素位置で示される位置（アドレス）の、フレームメモリ４２３の領域Ｄに格納されている、次の位置から、領域Ｄを順に辿った場合、最終画素位置で示される位置の領域Ｄに到達する。最終画素位置で示される位置の領域Ｄには、例えば、ヌル（null）が格納される。
【０２２９】
図２１に構成を示す動きベクトル検出の処理は、図８のフローチャートに示す処理と同様なので、その説明は省略する。
【０２３０】
画像処理装置が図２１に示す構成を有する場合の、ステップＳ１０１の処理に対応する、画素位置情報の格納の処理を図２４のフローチャートを参照して説明する。
【０２３１】
ステップＳ４０１において、記憶制御部４２１は、インデックスメモリ４２２およびフレームメモリ４２３に格納されているデータを初期化する。例えば、記憶制御部４２１は、特徴量個数を０に設定し、先頭画素位置および終了画素位置にヌル（null）を設定する。また、例えば、記憶制御部４２１は、フレームメモリ４２３の全ての領域Ｄにヌルを設定する。
【０２３２】
ステップＳ４０２において、特徴量抽出部１０１は、カウンタ変数ｎを初期化する。カウンタ変数ｎは、処理の対象となる画素の数を数えるための変数である。例えば、特徴量フレームメモリ１０２は、カウンタ変数ｎに１を設定する。
【０２３３】
ステップＳ４０３において、特徴量抽出部１０１は、参照フレームＦｒの画素の中からまだ参照画素とされていない画素を順に選択して参照画素とする。特徴量抽出部１０１は、参照画素に対応するブロックの特徴量を算出することにより、参照画素の特徴量を抽出し、参照画素の位置を示す画素位置情報と共に、抽出した特徴量を特徴量規約部４０１に供給する。例えば、特徴量抽出部１０１は、参照画素を中心とした、３×３のブロックに含まれる画素の画素値を所定の順に並べた値である特徴量を算出する。
【０２３４】
ステップＳ４０４において、記憶制御部４２１は、特徴量に対応する特徴量個数をインデックスメモリ４２２から読み出す。例えば、記憶制御部４２１は、特徴量に対応する特徴量アドレスの特徴量個数をインデックスメモリ４２２から読み出す。
【０２３５】
ステップＳ４０５において、記憶制御部４２１は、その特徴量に対応する先頭の画素であるか否か、すなわち、ステップＳ４０４の処理で読み出した、特徴量に対応する特徴量個数が０であるか否かを判定し、先頭の画素であると判定された場合、先頭の画素の画素位置をインデックス４２２に記憶する必要があるので、ステップＳ４０６に進み、インデックス４２２の、特徴量に対応する特徴量アドレスの先頭画素位置および終了画素位置に、ステップＳ４０３の処理で取得された画素位置情報を書き込み、ステップＳ４０７に進む。
【０２３６】
ステップＳ４０５において、先頭の画素でないと判定された場合、画素の画素位置をインデックス４２２の先頭画素位置に記憶する必要がないので、ステップＳ４０６の処理はスキップされ、手続きは、ステップＳ４０７に進む。
【０２３７】
ステップＳ４０７において、記憶制御部４２１は、ステップＳ４０４の処理で読み出した特徴量個数をインクリメントする。すなわち、記憶制御部４２１は、特徴量個数に１を加算する。
【０２３８】
ステップＳ４０８において、記憶制御部４２１は、ステップＳ４０７の処理でインクリメントした特徴量個数を、インデックスメモリ４２２の、特徴量に対応した特徴量アドレスの特徴量個数に書き込む。
【０２３９】
ステップＳ４０９において、記憶制御部４２１は、特徴量に対応する特徴量アドレスの終了画素位置を読み出し、フレームメモリ４２３の、終了画素位置で示される領域Ｄに、画素位置情報を書き込む。この場合において、終了画素位置が先頭画素位置と同じであるとき（先頭の画素であるとき）、記憶制御部４２１は、書き込みの対象となる領域Ｄが無いので、画素位置情報を書き込まない。
【０２４０】
ステップＳ４１０において、記憶制御部４２１は、インデックスメモリ４２２の、特徴量に対応する特徴量アドレスの終了画素位置に、画素位置情報を書き込む。
【０２４１】
ステップＳ４０９およびステップＳ４１０の処理により、最終画素位置、および、同じ特徴量の１つ前の画素に対応する領域Ｄに、今回の画素位置情報が格納されることになる。
【０２４２】
ステップＳ４１１において、特徴量抽出部１０１は、カウンタ変数ｎをインクリメントする。すなわち、特徴量抽出部１０１は、カウンタ変数ｎの値に１を加算する。
【０２４３】
ステップＳ４１２において、特徴量抽出部１０１は、カウンタ変数ｎの値が、フレームの画素の数に等しいか否かを判定し、カウンタ変数ｎの値が、フレームの画素の数に等しくないと判定された場合、まだ、参照画素とされていない画素がある、すなわち特徴量が抽出されていない画素があるので、ステップＳ４０３に戻り、上述した処理を繰り返し、次の特徴量を抽出して、特徴量記憶部４０１に格納する。
【０２４４】
ステップＳ４１２において、カウンタ変数ｎの値が、フレームの画素の数に等しいと判定された場合、フレームの全ての画素が参照画素とされ、フレームの全ての画素の特徴量が抽出されて、特徴量記憶部４０１に格納されたので、処理は終了する。
【０２４５】
画像処理装置が図２１に示す構成を有する場合の、ステップＳ１０２の処理に対応する処理は、図１９のフローチャートを参照して処理と同様なので、その説明は省略する。
【０２４６】
画像処理装置が図２１に示す構成を有する場合の、ステップＳ３０３の処理に対応する、特徴量に対応する画素位置情報の読み出しの処理を図２５のフローチャートを参照して説明する。
【０２４７】
ステップＳ４３１において、特徴量記憶部４０１の記憶制御部４２１は、インデックスメモリ４２２から、特徴量に対応する、特徴量個数、先頭画素位置、および終了画素位置の値を読み出す。例えば、参照画素位置検出部４０２から、特徴量が供給され、特徴量に対応する画素位置情報が要求された場合、記憶制御部４２１は、インデックスメモリ４２２から、特徴量に対応する特徴量アドレスの、特徴量個数、先頭画素位置、および終了画素位置を読み出す。
【０２４８】
ステップＳ４３２において、記憶制御部４２１は、ステップＳ４３１の処理で取得した特徴量個数が１以上であるか否かを判定し、特徴量個数が１以上であると判定された場合、特徴量に対応した画素位置情報が存在するので、ステップＳ４３３に進み、ステップＳ４３１の処理で取得された先頭画素位置を画素位置情報および参照画素の画素位置情報に設定する。先頭画素の位置を示す画素位置情報は、参照画素位置検出部４０２に供給される。
【０２４９】
ステップＳ４３４において、記憶制御部４２１は、特徴量個数が１であるか否かを判定し、特徴量個数が１であると判定された場合、先頭画素以外に、その特徴量の画素は無いので、処理は終了する。
【０２５０】
ステップＳ４３４において、特徴量個数が１でないと判定された場合、その特徴量の画素が２以上あるので、ステップＳ４３５に進み、記憶制御部４２１は、フレームメモリ４２３の、参照画素の画素位置情報で示される領域Ｄから、次の領域Ｄの位置を示す情報、すなわち同じ特徴量の次の画素の画素位置を示す画素位置情報を読み出す。
【０２５１】
ステップＳ４３６において、記憶制御部４２１は、ステップＳ４３５の処理で読み出した、画素位置情報を、次の画素位置情報および参照画素の画素位置情報に設定する。次の画素位置情報は、参照画素位置検出部４０２に出力される。
【０２５２】
ステップＳ４３７において、記憶制御部４２１は、ステップＳ４３６の処理で設定した、参照画素の画素位置情報で示される画素位置が、ステップＳ４３１の処理で読み出された終了画素位置の値に等しいか否かを判定し、参照画素の画素位置情報で示される画素位置が、終了画素位置の値に等しくないと判定された場合、特徴量に対応する画素位置情報に、まだ読み出されていない画素位置情報があるので、ステップＳ４３５に戻り、画素位置情報の読み出しの処理を繰り返す。
【０２５３】
ステップＳ４３７において、参照画素の画素位置情報で示される画素位置が、終了画素位置の値に等しいと判定された場合、特徴量に対応する画素位置情報の全てが読み出されたので、処理は終了する。
【０２５４】
ステップＳ４３２において、特徴量個数が１以上でないと判定された場合、特徴量に対応する画素は無く、画素位置情報がないので、処理は終了する。
【０２５５】
このように、図２１に構成を示す画像処理装置においては、画素位置情報を格納する領域にほとんど空きを生じさせることなく、画素位置情報を記憶することができ、記憶された画素位置情報を読み出すことができる。図２１に構成を示す画像処理装置においては、より少ない記憶領域で、確実に画素位置情報を記憶することができる。
【０２５６】
すなわち、第１のフレームに対して時間的に前のフレームである第２のフレームの画素の特徴量を抽出し、第２のフレームの画素の位置を示す位置の第１の領域に、同じ特徴量の次の画素であって、第２のフレームの画素の位置を順次記憶させるように記憶を制御すると共に、画素の特徴量に対応するアドレスで指定される第２の領域に、同じ特徴量の画素の位置のうちの、最初の画素の位置の記憶を記憶させるように記憶を制御し、第１のフレームの画素の特徴量を抽出し、特徴量に対応するアドレスで指定される第２の領域に記憶されている、同じ特徴量の画素の位置のうち、最初の画素の位置、第１の領域に記憶されている同じ特徴量の次の画素の位置、および画素の位置を示す第１の領域の位置を基に、第１のフレームの画素の特徴量と同じ特徴量の第２のフレームの画素の位置の中から、動いた先が第１のフレームの画素である第２のフレームの画素の位置を選択するようにした場合には、より少ない計算量で、より迅速に、より正確な動きベクトルを検出できる。
【０２５７】
図２６は、本発明に係る画像処理装置のさらに他の実施の形態の構成を示すブロック図である。
【０２５８】
図１１に示す場合と同様の部分には同一の番号を付してあり、その説明は省略する。
【０２５９】
特徴量ヒストグラム生成部６０１は、特徴量抽出部１０１から供給される特徴量および画素位置情報を基に、特徴量毎の画素の数を求めて、各特徴量毎の画素の数を示す特徴量分布情報をアドレス生成部６０２に供給する。また、特徴量ヒストグラム生成部６０１は、特徴量抽出部１０１から供給される特徴量および画素位置情報を、そのまま、アドレス生成部６０２に供給する。
【０２６０】
アドレス生成部６０２は、特徴量ヒストグラム生成部６０１から供給された特徴量分布情報を基に、クラスタの次のクラスタを特定する、次の特徴量アドレスおよび次のクラスタ番号を生成し、画素位置情報と共に、生成した次の特徴量アドレスおよび次のクラスタ番号を特徴量フレームメモリ２０２に供給する。
【０２６１】
また、アドレス生成部６０２は、特徴量ヒストグラム生成部６０１から供給された特徴量分布情報に含まれる、特徴量毎の画素位置情報の数を特徴量フレームメモリ２０２に供給する。
【０２６２】
画素値フレームメモリ６０３は、入力された画像をフレーム単位で記憶し、記憶している画像のフレームを、１フレームに対応する期間遅延したタイミングで、特徴量抽出部１０３に供給する。図２６に構成を示す画像処理装置においては、特徴量ヒストグラム生成部６０１の処理に要する期間が、１フレームに対応する期間なので、画素値フレームメモリ６０３は、１フレームに対応する期間遅延させた画像を特徴量抽出部１０３に供給する。従って、特徴量フレームメモリ２０２に記憶されて、参照画素位置検出部２０３に供給される画素位置情報に対応するフレームと、特徴量抽出部１０３から出力される特徴量に対応するフレームとの関係は、図１１に構成を示す画像処理装置の場合と同等になる。すなわち、特徴量フレームメモリ２０２は、参照フレームＦｒ（１つ前のフレーム）に対応する画素位置情報を参照画素位置検出部２０３に供給し、特徴量抽出部１０３は、カレントフレームＦｃ（現在のフレーム）に対応する特徴量および画素位置情報を参照画素位置検出部２０３に供給する。図２６に構成を示す画像処理装置におけるカレントフレームＦｃは、入力される画像の現在のフレームに対して、１つ過去のフレームとなる。
【０２６３】
図２７は、図２６に構成を示す画像処理装置による、動きベクトルの検出の処理を説明するフローチャートである。
【０２６４】
ステップＳ６０１において、特徴量抽出部１０１および特徴量ヒストグラム生成部６０１は、特徴量の分布を求める。すなわち、特徴量抽出部１０１は、入力された画像のフレームの各画素に対応して、特徴量を抽出し、抽出された特徴量と共に、対象とする画素の位置を示す画素位置情報を特徴量ヒストグラム生成部６０１に供給する。特徴量ヒストグラム生成部６０１は、特徴量抽出部１０１から供給される特徴量および画素位置情報を基に、特徴量毎の画素の数を算出して、特徴量毎の画素の数を示す特徴量分布情報をアドレス生成部６０２に供給する。
【０２６５】
ステップＳ６０２において、アドレス生成部６０２は、特徴量フレームメモリ２０２のクラスタに、次の特徴量アドレスおよび次のクラスタ番号を設定する、アドレス組み替えの処理を実行する。すなわち、アドレス組み替えの処理により、特徴量毎に、画素位置情報を格納するためのクラスタが確保されることになる。アドレス組み替えの処理の詳細は、図２８および図２９のフローチャートを参照して、後述する。
【０２６６】
ステップＳ６０３において、特徴量フレームメモリ２０２は、画素位置情報の格納の処理を実行することにより、参照フレームＦｒの画素位置情報を記憶する。画素位置情報は、ステップＳ６０２の処理で確保された、特徴量毎に確保されたクラスタに格納される。ステップＳ６０３における画素位置情報の格納の処理の詳細は、図３０のフローチャートを参照して、後述する。
【０２６７】
ステップＳ６０４乃至ステップＳ６０６の処理は、図１５のステップＳ２０２乃至ステップＳ２０４の処理とそれぞれ同様なので、その説明は省略する。
【０２６８】
図２８および図２９のフローチャートを参照して、各クラスタに１つの画素位置情報を格納する場合の、ステップＳ６０２の処理に対応する、アドレスの組み替えの処理の例を説明する。
【０２６９】
なお、以下の処理を実行する前に、予め、特徴量フレームメモリ２０２に、配置可能な全てのクラスタが生成され、生成されたクラスタは初期化される。
【０２７０】
ステップＳ６２１において、アドレス生成部６０２は、特徴量アドレス変数ｎを初期化する。特徴量アドレス変数ｎは、特徴量アドレスを特定するための変数であり、例えば、特徴量アドレスが０乃至Ｎ−１のいずれかの値であるとき、特徴量アドレス変数ｎには、０乃至Ｎ−１のいずれかの値が設定される。例えば、特徴量アドレスが０乃至Ｎ−１のいずれかの値であるとき、ステップＳ６２１の処理において、特徴量アドレス変数ｎに、０が設定される。
【０２７１】
ステップＳ６２２において、アドレス生成部６０２は、特徴量アドレス変数ｎの値で示される、特徴量アドレスに対応する特徴量の画素位置情報の数ｈｎが、最大格納数Ｍを超えているか否かを判定する。特徴量アドレスに対応する特徴量の画素位置情報の数ｈｎは、特徴量分布情報に含まれる、各特徴量毎の画素の数と同じである。最大格納数Ｍは、図１２において、行方向（横方向）に並ぶ、１行のクラスタに格納することができる画素位置情報の数をいう。この場合、各クラスタに１つの画素位置情報が格納されるので、最大格納数Ｍは、１行のクラスタの数に等しい。
【０２７２】
ステップＳ６２２において、特徴量アドレスに対応する特徴量の画素位置情報の数ｈｎが、最大格納数Ｍを超えていないと判定された場合、１行のクラスタに、特徴量に対応する全ての画素位置情報を格納することができるので、ステップＳ６２３に進み、アドレス生成部６０２は、確定済領域数ｓｎに、特徴量アドレスｎに対応する特徴量の画素位置情報の数ｈｎを設定する。確定済領域数ｓｎは、特徴量アドレスｎのクラスタのうち、画素位置情報を格納することが定まったクラスタの数を示す。
【０２７３】
ステップＳ６２４において、アドレス生成部６０２は、特徴量の画素位置情報の数ｈｎ個の、特徴量アドレス変数ｎで示される特徴量アドレスのクラスタを確保するように、次の特徴量アドレスおよび次のクラスタ番号を設定し、ステップＳ６２５に進む。例えば、特徴量の画素位置情報の数ｈｎがＬであるとき、アドレス生成部６０２は、アドレス（ｎ，１）乃至アドレス（ｎ，Ｌ−１）のクラスタのそれぞれに、アドレス（ｎ，２）乃至アドレス（ｎ，Ｌ）のクラスタのそれぞれを示す、次の特徴量アドレスおよび次のクラスタ番号を設定する。より具体的には、アドレス生成部６０２は、アドレス（ｎ，１）のクラスタに、アドレス（ｎ，２）のクラスタを示す、次の特徴量アドレスおよび次のクラスタ番号を設定し、アドレス（ｎ，２）のクラスタに、アドレス（ｎ，３）のクラスタを示す、次の特徴量アドレスおよび次のクラスタ番号を設定するように、順に、次のクラスタを指すように、Ｌ−１個のクラスタに次の特徴量アドレスおよび次のクラスタ番号を設定する。
【０２７４】
ステップＳ６２２において、特徴量アドレスに対応する特徴量の画素位置情報の数ｈｎが、最大格納数Ｍを超えていると判定された場合、１行のクラスタに、特徴量に対応する全ての画素位置情報を格納することができないので（すなわち、他の特徴量アドレスのクラスタを必要とするので）、ステップＳ６２３およびステップＳ６２４の処理はスキップされ、手続きは、ステップＳ６２５に進む。
【０２７５】
ステップＳ６２５において、アドレス生成部６０２は、特徴量アドレス変数ｎの値が、Ｎ−１以上であるか否かを判定し、特徴量アドレス変数ｎの値が、Ｎ−１以上でないと判定された場合、まだ全ての特徴量アドレスについてステップＳ６２２乃至ステップＳ６２４の処理が終了していないので、ステップＳ６２６に進み、特徴量アドレス変数ｎをインクリメントして、ステップＳ６２２に戻り、次の特徴量アドレスについて、処理を繰り返す。
【０２７６】
ステップＳ６２５において、特徴量アドレス変数ｎの値が、Ｎ−１以上であると判定された場合、全ての特徴量アドレスについてステップＳ６２２乃至ステップＳ６２４の処理が終了したので、ステップＳ６２７に進む。
【０２７７】
ステップＳ６２７において、アドレス生成部６０２は、特徴量アドレス変数ｎを初期化する。ステップＳ６２８において、アドレス生成部６０２は、特徴量アドレス変数ｎの値で示される、特徴量アドレスに対応する特徴量の画素位置情報の数ｈｎが、最大格納数Ｍを超えているか否かを判定し、特徴量の画素位置情報の数ｈｎが、最大格納数Ｍを超えていると判定された場合、２行以上のクラスタに、特徴量に対応する画素位置情報を格納しなければならないので（他の特徴量アドレスのクラスタを必要とするので）、ステップＳ６２９に進み、特徴量アドレス変数ｎの確定済領域数ｓｎに、最大格納数Ｍを設定する。
【０２７８】
ステップＳ６３０において、アドレス生成部６０２は、特徴量の画素位置情報の数ｈｎ個の、特徴量アドレス変数ｎで示される特徴量アドレスの全てのクラスタを確保するように、次の特徴量アドレスおよび次のクラスタ番号を設定する。例えば、アドレス生成部６０２は、アドレス（ｎ，１）乃至アドレス（ｎ，Ｍ−１）のクラスタのそれぞれに、アドレス（ｎ，２）乃至アドレス（ｎ，Ｍ）のクラスタのそれぞれを示す、次の特徴量アドレスおよび次のクラスタ番号を設定する。
【０２７９】
ステップＳ６３１において、アドレス生成部６０２は、空いているクラスタの数が最大の特徴量アドレスｍを求める。例えば、アドレス生成部６０２は、１つの特徴量アドレスで特定されるＭ個のクラスタのうち、次の特徴量アドレスおよび次のクラスタ番号で指定されていないクラスタの数、すなわち画素位置情報の格納が決定していないクラスタの数が最大である特徴量アドレスｍを、特徴量アドレス０乃至Ｎ−１のうちから求める。
【０２８０】
ステップＳ６３２において、アドレス生成部６０２は、画素位置情報をさらに格納するのに必要なクラスタの数が、特徴量アドレスｍの空きクラスタの数を超えているか否かを判定する。例えば、画素位置情報をさらに格納するのに必要なクラスタの数は、画素位置情報を格納するのに必要なクラスタの数は、ｈｎ−ｓｎで示される。特徴量アドレスｍの空いているクラスタの数は、Ｍ−ｓｍで示される。ここで、確定済領域数ｓｍは、特徴量アドレスｍのクラスタのうち、画素位置情報を格納することが定まっているクラスタの数を示す。
【０２８１】
ステップＳ６３２において、画素位置情報をさらに格納するのに必要なクラスタの数が、特徴量アドレスｍの空きクラスタの数を超えていないと判定された場合、特徴量アドレスｍの空きクラスタに残りの画素位置情報の全てを格納することができるので、ステップＳ６３３に進み、アドレス生成部６０２は、特徴量アドレスｍの空いているクラスタのうち、画素位置情報を格納するのに必要な数のクラスタを確保するように、次の特徴量アドレスおよび次のクラスタ番号を設定する。
【０２８２】
ステップＳ６３４において、アドレス生成部６０２は、特徴量アドレスｎの確定済領域数ｓｎを更新する。すなわち、アドレス生成部６０２は、特徴量アドレスｎの確定済領域数ｓｎに、特徴量アドレスｎに対応する特徴量の画素位置情報の数ｈｎを設定する。
【０２８３】
ステップＳ６３５において、アドレス生成部６０２は、特徴量アドレスｍの確定済領域数ｓｍを更新する。すなわち、アドレス生成部６０２は、特徴量アドレスｍの確定済領域数ｓｍに、ステップＳ６３３の処理で、画素位置情報を格納することが定まったクラスタの数を加算する。
【０２８４】
ステップＳ６３６において、アドレス生成部６０２は、特徴量アドレス変数ｎの値が、Ｎ−１以上であるか否かを判定し、特徴量アドレス変数ｎの値が、Ｎ−１以上でないと判定された場合、まだ全ての特徴量アドレスについてステップＳ６２８乃至ステップＳ６３５の処理、またはステップＳ６３８乃至ステップＳ６４０の処理が終了していないので、ステップＳ６３７に進み、特徴量アドレス変数ｎをインクリメントして、ステップＳ６２８に戻り、次の特徴量アドレスについて、処理を繰り返す。
【０２８５】
ステップＳ６３６において、特徴量アドレス変数ｎの値が、Ｎ−１以上であると判定された場合、全ての特徴量アドレスについてステップＳ６２８乃至ステップＳ６３５の処理、またはステップＳ６３８乃至ステップＳ６４０の処理が終了したので、処理は終了する。
【０２８６】
ステップＳ６３２において、画素位置情報をさらに格納するのに必要なクラスタの数が、特徴量アドレスｍの空きクラスタの数を超えていると判定された場合、特徴量アドレスｍの空きクラスタに残りの画素位置情報の全てを格納することができないので、ステップＳ６３８に進み、特徴量アドレスｍの空きクラスタの全てを確保するように、次の特徴量アドレスおよび次のクラスタ番号を設定する。
【０２８７】
ステップＳ６３９において、アドレス生成部６０２は、特徴量アドレスｎの確定済領域数ｓｎを更新する。すなわち、アドレス生成部６０２は、特徴量アドレスｎの確定済領域数ｓｎに、ステップＳ６３８の処理で、画素位置情報を格納することが定まったクラスタの数を加算する。
【０２８８】
ステップＳ６４０において、アドレス生成部６０２は、特徴量アドレスｍの確定済領域数ｓｍを更新し、ステップＳ６３１に戻り、さらに空いているクラスタを確保する処理を繰り返す。すなわち、アドレス生成部６０２は、特徴量アドレスｍの確定済領域数ｓｍに、ステップＳ６３８の処理で、画素位置情報を格納することが定まったクラスタの数を加算する。特徴量アドレスｍの確定済領域数ｓｍには、最大格納数Ｍが設定されることになる。
【０２８９】
このように、アドレス組み替えの処理により、各特徴量ごとに、画素位置情報を格納するのに必要な領域が確保される。すなわち、クラスタに格納された次の特徴量アドレスおよび次のクラスタ番号により、各特徴量毎の画素位置情報が格納されるクラスタが決定されることになる。
【０２９０】
次に、図３０のフローチャートを参照して、ステップＳ６０３の処理に対応する、画素位置情報の格納の処理を説明する。
【０２９１】
ステップＳ６６１乃至ステップＳ６６６の処理は、図９のステップＳ１２１乃至ステップＳ１２６の処理とそれぞれ同様なので、その説明は省略する。
【０２９２】
ステップＳ６６７において、特徴量フレームメモリ２０２は、各クラスタに格納されている、次の特徴量アドレスおよび次のクラスタ番号を基に、画素位置情報をクラスタに書き込む。すなわち、特徴量フレームメモリ２０２は、特徴量アドレスＫに対応する特徴量の最初の画素位置情報を書き込むとき、アドレス（Ｋ，１）のクラスタに画素位置情報を書き込む。特徴量フレームメモリ２０２は、特徴量アドレスＫに対応する特徴量の２番目以降の画素位置情報を書き込むとき、１つ前に画素位置情報を書き込んだクラスタに格納されている、次の特徴量アドレスおよび次のクラスタ番号でアドレスが特定されるクラスタに、画素位置情報を書き込む。
【０２９３】
ステップＳ６６８およびステップＳ６６９の処理は、それぞれ、図９のステップＳ１２８およびステップＳ１２９の処理と同様なので、その説明は省略する。
【０２９４】
このように、図２６に構成を示す画像処理装置においては、空いている領域に画素位置情報を書き込むようにしたので、特徴量フレームメモリ２０２に、余分な領域を設ける必要がなく、必要最低限の記憶領域で特徴量フレームメモリ２０２を構成することができる。また、画素位置情報が確実に記憶されることになる。
【０２９５】
図３１は、本発明に係る画像処理装置のさらに他の実施の形態の構成を示すブロック図である。図６に示す場合と同様の部分には同一の番号を付してあり、その説明は省略する。
【０２９６】
図３１に構成を示す画像処理装置に入力された画像は、フレームメモリ７０１、ラインメモリ７０３、特徴量抽出部１０１、および特徴量抽出部１０３に供給される。
【０２９７】
フレームメモリ７０１は、例えば、時刻ｔ１において、画像（画像データ）が入力されると、１フレーム分の情報を格納し、記憶する。さらに、フレームメモリ７０１は、次のタイミングとなる時刻ｔ２において、次のフレームの画像が入力されると、新たに入力された時刻ｔ２の１フレーム分の画像を格納し、記憶するとともに、時刻ｔ１の１フレーム分の画像をサーチエリア生成部７０２に出力する。すなわち、フレームメモリ７０１は、１フレームに対応する期間遅延させて、１フレームを単位として、画素値をサーチエリア生成部７０２に供給する。
【０２９８】
また、ラインメモリ７０３は、時刻ｔ２のタイミングで、入力されてきた１フレームの所定のラインの画像を格納し、時刻ｔ２のタイミング内で、ブロック生成部７０４に出力する。
【０２９９】
すなわち、フレームメモリ７０１が、上述の時刻ｔ２のタイミングで入力される（今現在の）１フレーム分の画像情報を格納し、記憶するとき、フレームメモリ７０１は、時刻ｔ１（１タイミング過去の）の１フレーム分の画像の画素値をサーチエリア生成部７０２に出力する。ラインメモリ７０３は、時刻ｔ２のタイミングで入力された（今現在の）1フレームのラインの画像の画素値をブロック生成部７０４に出力する。すなわち、ブロック生成部７０４に現在のフレームの画素値が供給され、サーチエリア生成部７０２には、現在のフレームの１つ前（過去）のフレームの画素の画素値が供給される。
【０３００】
サーチエリア生成部７０２は、フレームメモリ７０１から供給された参照フレームＦｒからサーチエリアＳＲを生成し、サーチエリアＳＲの画素の画素値をマッチング部７０５に供給する。
【０３０１】
ブロック生成部７０４は、ラインメモリ７０３から供給されたカレントフレームＦｃから基準ブロックＢｂを生成し、基準ブロックＢｂの画素の画素値をマッチング部７０５に供給する。
【０３０２】
サーチエリア生成部７０２により生成される、参照フレームＦｒのサーチエリアＳＲは、例えば、横にＮＳ（画素数）、縦にＭＳ（画素数）の画素からなる。ブロック生成部７０４により生成される、カレントフレームＦｃの基準ブロックＢｂは、横にＮＢ（画素数）、縦にＭＢ（画素数）の画素からなる。サーチエリアＳＲは、基準ブロックＢｂに比較して大きな領域（画素数が多い）からなる。
【０３０３】
この場合、サーチエリアＳＲの縦および横の画素数を同じ数のＬとしてもよい。
【０３０４】
マッチング部７０５は、サーチエリア生成部７０２から供給されたサーチエリアＳＲの画素の画素値と、ブロック生成部７０４から供給された基準ブロックＢｂの画素の画素値とを基に、サーチエリアＳＲの参照ブロックＢｒｎを構成する各画素の画素値と、基準ブロックＢｂの各画素の画素値との差分絶対値和を算出して、参照ブロックＢｒｎから基準ブロックＢｂへのベクトルと共に、差分絶対値和を誤差値として、誤差最小選択部７０６に供給する。
【０３０５】
誤差最小選択部７０６は、最小である誤差値に対応するベクトルを選択して、選択されたベクトルを動きベクトルとして参照画素位置検出部７０７に供給する。
【０３０６】
参照画素位置検出部７０７は、特徴量抽出部１０３から供給された注目画素の特徴量、および特徴量フレームメモリ１０２に記憶されている参照フレームＦｒの画素位置情報を基に、注目画素の特徴量と同じ特徴量を有する、参照フレームＦｒの画素の画素位置を検出する。参照画素位置検出部７０７は、検出された注目画素の特徴量と同じ特徴量を有する、参照フレームＦｒの画素の画素位置の中から、誤差最小選択部７０６から供給された動きベクトルを基に、誤差最小選択部７０６から供給された動きベクトルに対応したサーチエリア内に位置する画素であって、動いた先が注目画素である参照フレームＦｒの画素の位置を選択する。そして、参照画素位置検出部７０７は、注目画素の画素位置情報と参照フレームＦｒの選択された画素の画素位置とから、注目画素の位置に対応する位置の参照フレームＦｒ上の画素を始点とし、注目画素の特徴量と同じ特徴量を有する参照フレームＦｒの選択された画素を終点とする動きベクトルを求めて、求めた動きベクトルを出力する。
【０３０７】
図３２は、サーチエリア生成部７０２で生成されるサーチエリアＳＲ、ブロック生成部７０４で生成される基準ブロックＢｂ、マッチング部７０５で生成される参照ブロックＢｒｎ、および参照画素位置検出部７０７で生成されるサーチエリアの関係を説明する図である。
【０３０８】
図３２において、サーチエリア生成部７０２で生成されるサーチエリアＳＲは、サーチエリア１と表し、参照画素位置検出部７０７で生成されるサーチエリアは、サーチエリア２と表す。
【０３０９】
サーチエリア生成部７０２で生成されるサーチエリアＳＲは、例えば、基準ブロックＢｂの中心画素を中心として、基準ブロックＢｂに比較して、より広い領域（より多数の画素）からなる。参照ブロックＢｒｎは、サーチエリアＳＲに含まれる画素からなり、基準ブロックＢｂと同じ形状（画素の配置）からなる。すなわち、参照ブロックＢｒｎに含まれる画素の数は、基準ブロックＢｂに含まれる画素の数と同一である。
【０３１０】
最小誤差選択部７０６は、基準ブロックＢｂと、参照ブロックＢｒｎの各画素間の差分絶対値和のうち、差分絶対値和が最小となる参照ブロックＢｒｎを選択する。最小誤差選択部７０６が参照画素位置検出部７０７に供給する動きベクトルは、注目画素に対応する参照フレームＦｒ上の画素を始点とし、参照ブロックＢｒｎの所定の画素を終点とするベクトルである。例えば、最小誤差選択部７０６は、基準ブロックＢｂの中心画素である注目画素に対応する参照フレームＦｒ上の画素を始点とし、参照ブロックＢｒｎの中心画素を終点とするベクトルを動きベクトルとして参照画素位置検出部７０７に供給する。
【０３１１】
フレームメモリ７０１乃至誤差最小選択部７０６は、代表点ブロックマッチングにより、荒く動きベクトルを検出するようにしてもよい。また、フレームメモリ７０１乃至誤差最小選択部７０６は、サーチエリアＳＲ内のベクトルを間引くなど、より荒く動きベクトルを検出するようにしてもよい。この場合、フレームメモリ７０１乃至誤差最小選択部７０６における処理がより高速になり、画像処理装置全体として、より高速に動きベクトルを求めることができる。
【０３１２】
参照画素位置検出部７０７は、例えば、最小誤差選択部７０６で選択された参照ブロックＢｒｎをサーチエリア２として、サーチエリア２内に位置する画素であって、注目画素の特徴量と同じ特徴量を有する、参照フレームＦｒの画素の画素位置を検出する。すなわち、サーチエリア２は、誤差最小選択部７０６から供給された動きベクトルにより指定される領域である。参照画素位置検出部７０７は、注目画素の画素位置情報とサーチエリア２内の画素の画素位置とから、注目画素の位置に対応する位置の参照フレームＦｒ上の画素を始点とし、注目画素の特徴量と同じ特徴量を有するサーチエリア２内の画素を終点とする動きベクトルを求めて、求めた動きベクトルを出力する。
【０３１３】
例えば、参照画素位置検出部７０７は、注目画素の特徴量と同じ特徴量を有し、サーチエリア２内に位置する画素Ａ、画素Ｂ、および画素Ｃのうち、いずれかの画素を選択し、選択された画素の位置と注目画素の位置とから動きベクトルを求める。
【０３１４】
図３３は、図３１に構成を示す画像処理装置による動きベクトルの検出の処理を説明するフローチャートである。
【０３１５】
ステップＳ７０１において、特徴量抽出部１０１および特徴量フレームメモリ１０２は、参照フレームＦｒの画素位置情報の格納の処理を実行する。ステップＳ７０１の処理は、ステップＳ１０１の処理と同様なので、その説明は省略する。
【０３１６】
ステップＳ７０２において、フレームメモリ７０１乃至誤差最小選択部７０６は、ブロックマッチングの処理を実行することにより、動きベクトルを検出する。ブロックマッチングの処理の詳細は、図３４のフローチャートを参照して後述する。
【０３１７】
ステップＳ７０３において、特徴量抽出部１０３および参照画素位置検出部７０７は、注目画素に対応する画素の位置の検出の処理を実行する。ステップＳ７０３の注目画素に対応する画素の位置の検出の処理の詳細は、図３５のフローチャートを参照して後述する。
【０３１８】
ステップＳ７０４およびステップＳ７０５の処理は、図８のステップＳ１０３およびステップＳ１０４の処理とそれぞれ同様なので、その説明は省略する。
【０３１９】
図３４は、ステップＳ７０２に対応する、ブロックマッチングの処理を説明するフローチャートである。
【０３２０】
ステップＳ７２１において、サーチエリア生成部７０２は、カレントフレームＦｃ上の注目画素Ｐ（ｉ，ｊ）の画素位置に応じて、サーチエリアＳＲを設定する。
【０３２１】
ステップＳ７２２において、誤差最小選択部７０６は、上述のように、基準ブロックＢｂ（ｉ，ｊ）と参照ブロックＢｒｎ（ｉ，ｊ）の画素間の差分絶対値和の最小値を設定する変数minを、画素の階調数に基準ブロックＢｂ（ｉ，ｊ）を構成する画素数を乗じた値に設定することにより初期化する。すなわち、例えば、１画素が８ビットのデータであった場合、１画素の階調数は、２の８乗となるため２５６階調（２５６色）となる。また、基準ブロックＢｂ（ｉ，ｊ）がＬ画素×Ｌ画素＝３画素×３画素から構成される場合、その画素数は、９個となる。結果として、変数minは、２３０４（＝２５６（階調数）×９（画素数））に初期化される。
【０３２２】
ステップＳ７２３において、マッチング部７０５は、参照ブロックＢｒｎをカウントするカウンタ変数ｎを１に初期化する。
【０３２３】
ステップＳ７２４において、誤差最小選択部７０６は、基準ブロックＢｂと参照ブロックＢｒｎの画素間の差分絶対値和を代入するために用いる変数sumを０に初期化する。
【０３２４】
ステップＳ７２５において、マッチング部７０５は、基準ブロックＢｂ（ｉ，ｊ）と参照ブロックＢｒｎ（ｉ，ｊ）の画素間の差分絶対値和（＝sum）を求める。すなわち、基準ブロックＢｂ（ｉ，ｊ）の各画素がＰ＿Ｂｂ（ｉ，ｊ）、基準ブロックＢｒｎ（ｉ，ｊ）の各画素がＰ＿Ｂｒｎ（ｉ，ｊ）としてそれぞれ示される場合、マッチング部７０５は、上述した式（１）で示される演算を実行して、基準ブロックＢｂ（ｉ，ｊ）と参照ブロックＢｒｎ（ｉ，ｊ）の画素間の差分絶対値和を求める。
【０３２５】
ステップＳ７２６において、誤差最小選択部７０６は、変数minが変数sumよりも大きいか否かを判定し、例えば、変数minが変数sumよりも大きいと判定する場合、ステップＳ７２７において、変数minを変数sumに更新し、その時点でのカウンタｎの値を動きベクトル番号として登録する。すなわち、今求めた差分絶対値和を示す変数sumが、最小値を示す変数minよりも小さいと言うことは、これまで演算したどの参照ブロックよりも、今演算している参照ブロックＢｒｎ（ｉ，ｊ）が基準ブロックＢｂ（ｉ，ｊ）により類似したものであるとみなすことができるので、動きベクトルを求める際の候補とするため、その時点でのカウンタｎが動きベクトル番号として登録される。また、ステップＳ７２６において、変数minが変数sumよりも大きくないと判定された場合、ステップＳ７２７の処理がスキップされる。
【０３２６】
ステップＳ７２８において、マッチング部７０５は、カウンタ変数ｎがサーチエリアＳＲの参照ブロックＢｒｎの総数ｍであるか否か、すなわち、今の参照ブロックＢｒｎがＢｒｎ＝Ｂｒｍであるか否かを判定し、例えば、総数ｍではないと判定した場合、ステップＳ７２９において、カウンタ変数ｎを１インクリメントし、その処理は、ステップＳ７２４に戻る。
【０３２７】
ステップＳ７２８において、カウンタ変数ｎがサーチエリア内の参照ブロックＢｒｎの総数ｍである、すなわち、今の参照ブロックＢｒｎがＢｒｎ＝Ｂｒｍであると判定された場合、ステップＳ７３０において、誤差最小選択部７０６は、登録されている動きベクトル番号に基づいて動きベクトルを出力する。すなわち、ステップＳ７２４乃至Ｓ７２９が繰り返されることにより、差分絶対値和が最小となる参照ブロックＢｒｎに対応するカウンタ変数ｎが動きベクトル番号として登録されることになるので、誤差最小選択部７０６は、この動きベクトル番号に対応する参照ブロックＢｒｎのＬ×Ｌ個の画素のうち、その中心となる参照画素Ｐｎ（ｉ，ｊ）を求め、カレントフレームＦｃ上の注目画素Ｐ（ｉ，ｊ）に対応する参照フレームＦｒ上の画素Ｐ’（ｉ，ｊ）を始点とし、参照画素Ｐｎ（ｉ，ｊ）を終点とするベクトルを、注目画素Ｐ（ｉ，ｊ）の動きベクトル（Ｖｘ，Ｖｙ）として求めて参照画素位置検出部７０７に出力する。
【０３２８】
次に、ステップＳ７０３に対応する、注目画素に対応する画素の位置の検出の処理を図３５のフローチャートを参照して、説明する。
【０３２９】
ステップＳ７５１乃至ステップＳ７５３の処理は、図１０のステップＳ１４１乃至ステップＳ１４３の処理とそれぞれ同様なので、その説明は省略する。
【０３３０】
ステップＳ７５４において、参照画素位置検出部７０７は、誤差最小選択部７０６から供給された動きベクトルを基に、ステップＳ７５３の処理で読み出された画素位置情報が示す画素の位置のうち、サーチエリア２内の画素の位置を選択する。
【０３３１】
ステップＳ７５５において、参照画素位置検出部７０７は、ステップＳ７５４の処理で選択された画素の位置のうち、注目画素に最も近い画素の位置を選択する。
【０３３２】
ステップＳ７５６乃至ステップＳ７５８の処理は、図１０のステップＳ１４５乃至ステップＳ１４７の処理と同様なので、その説明は省略する。
【０３３３】
ステップＳ７５９において、参照画素位置検出部７０７は、誤差最小選択部７０６から供給された動きベクトルを基に、ステップＳ７５８の処理で読み出された画素位置情報が示す、近傍の特徴量に対応する画素位置情報で示される画素の位置のうち、サーチエリア２内の画素の位置を選択する。
【０３３４】
ステップＳ７６０において、参照画素位置検出部７０７は、ステップＳ７５９の処理で選択された画素の位置のうち、注目画素に最も近い画素の位置を選択する。
【０３３５】
ステップＳ７６１乃至ステップＳ７６５の処理は、図１０のステップＳ１４９乃至ステップＳ１５３の処理と同様なので、その説明は省略する。
【０３３６】
図３１に構成を示す画像処理装置においては、予めフルサーチブロックマッチングまたは代表点ブロックマッチングによって、候補となる動きベクトルを求めてから、その動きベクトルを基準として、特徴量を利用して、より正確な動きベクトルを求めるので、より少ない演算量で、より正確な動きベクトルを求めることができる。
【０３３７】
フレームメモリ７０１乃至誤差最小選択部７０６においては、サーチエリアＳＲ内のベクトルを間引くなど、処理の高速化の手法を採用するようにしてもよい。
【０３３８】
特徴量抽出部１０１乃至特徴量抽出部１０３および参照画素位置検出部７０７においては、誤差最小選択部７０６から供給された動きベクトルを基に、サーチエリア２を決定するので、より高速に、より正確な動きベクトルを求めることができる。
【０３３９】
なお、ブロックマッチングに代えて、勾配法により動きベクトルを検出して、検出された動きベクトルを基にサーチエリア２を決定するようにしてもよい。
【０３４０】
上述した一連の処理は、ハードウェアにより実行させることもできるが、ソフトウェアにより実行させることもできる。一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、記録媒体からインストールされる。
【０３４１】
図３６は、上述した一連の処理をプログラムにより実行するパーソナルコンピュータの構成の例を示すブロック図である。CPU（Central Processing Unit）８２１は、ROM（Read Only Memory）８２２、または記憶部８２８に記憶されているプログラムに従って各種の処理を実行する。RAM（Random Access Memory）８２３には、CPU８２１が実行するプログラムやデータなどが適宜記憶される。これらのCPU８２１、ROM８２２、およびRAM８２３は、バス８２４により相互に接続されている。
【０３４２】
CPU８２１にはまた、バス８２４を介して入出力インタフェース８２５が接続されている。入出力インタフェース８２５には、キーボード、マウス、マイクロホンなどよりなる入力部８２６、ディスプレイ、スピーカなどよりなる出力部８２７が接続されている。CPU８２１は、入力部８２６から入力される指令に対応して各種の処理を実行する。そして、CPU８２１は、処理の結果得られた画像や音声等を出力部８２７に出力する。
【０３４３】
入出力インタフェース８２５に接続されている記憶部８２８は、例えばハードディスクなどで構成され、CPU８２１が実行するプログラムや各種のデータを記憶する。通信部８２９は、インターネット、その他のネットワークを介して外部の装置と通信する。この例の場合、通信部８２９は、入力画像を取得するか、または出力画像を出力する、外部とのインタフェースとして動作する。
【０３４４】
また、通信部８２９を介してプログラムを取得し、記憶部８２８に記憶してもよい。
【０３４５】
入出力インタフェース８２５に接続されているドライブ８３０は、磁気ディスク８５１、光ディスク８５２、光磁気ディスク８５３、或いは半導体メモリ８５４などが装着されたとき、それらを駆動し、そこに記録されているプログラムやデータなどを取得する。取得されたプログラムやデータは、必要に応じて記憶部８２８に転送され、記憶される。
【０３４６】
一連の処理をさせるプログラムが格納されている記録媒体は、図３６に示すように、コンピュータとは別に、ユーザにプログラムを提供するために配布される、プログラムが記録されている磁気ディスク８５１（フレキシブルディスクを含む）、光ディスク８５２（CD-ROM(Compact Disc-Read Only Memory)、ＤＶＤ(Digital Versatile Disc)を含む）、光磁気ディスク８５３（ＭＤ(Mini-Disc)（商標）を含む）、若しくは半導体メモリ８５４などよりなるパッケージメディアにより構成されるだけでなく、コンピュータに予め組み込まれた状態でユーザに提供される、プログラムが記録されているROM８２２や、記憶部８２８に含まれるハードディスクなどで構成される。
【０３４７】
なお、上述した一連の処理を実行させるプログラムは、必要に応じてルータ、モデムなどのインタフェースを介して、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の通信媒体を介してコンピュータにインストールされるようにしてもよい。
【０３４８】
また、本明細書において、記録媒体に格納されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【０３４９】
【発明の効果】
以上のように、本発明によれば、動きベクトルを検出することができる。
【０３５０】
また、本発明によれば、より少ない計算量で、より迅速に、より正確な動きベクトルを検出できる。
【図面の簡単な説明】
【図１】ブロックマッチングアルゴリズムを採用した従来の画像処理装置の構成を示すブロック図である。
【図２】サーチエリアＳＲおよび基準ブロックＢｂを説明する図である。
【図３】ブロックマッチングアルゴリズムを説明する図である。
【図４】従来の動き検出の処理を説明するフローチャートである。
【図５】代表点ブロックマッチングにおける、サーチエリアＳＲおよび代表点ブロックを説明する図である。
【図６】本発明に係る画像処理装置の一実施の形態の構成を示すブロック図である。
【図７】特徴量フレームメモリ１０２が記憶する画素位置情報および画素位置情報の数の配置を説明する図である。
【図８】図６に構成を示す画像処理装置による、動きベクトルの検出の処理を説明するフローチャートである。
【図９】ステップＳ１０１に対応する、画素位置情報の格納の処理を説明するフローチャートである。
【図１０】ステップＳ１０２の処理に対応する、注目画素に対応する画素位置の検出の処理を説明するフローチャートである。
【図１１】本発明に係る画像処理装置の他の実施の形態の構成を示すブロック図である。
【図１２】特徴量フレームメモリ２０２が記憶するクラスタおよび画素位置情報の数の配置を説明する図である。
【図１３】クラスタの構成の例を説明する図である。
【図１４】アドレス生成部２０１の構成の例を示すブロック図である。
【図１５】図１１に構成を示す画像処理装置による、動きベクトルの検出の処理を説明するフローチャートである。
【図１６】ステップＳ２０１の処理に対応する、画素位置情報の格納の処理を説明するフローチャートである。
【図１７】ステップＳ２２５の処理に対応する、アドレス生成の処理を説明するフローチャートである。
【図１８】ステップＳ２２５の処理に対応する、アドレス生成の処理を説明するフローチャートである。
【図１９】ステップＳ２０２の処理に対応する、注目画素に対応する画素位置の検出の処理を説明するフローチャートである。
【図２０】ステップ３０３の処理に対応する、特徴量に対応する画素位置情報の読み出しの処理を説明するフローチャートである。
【図２１】本発明に係る画像処理装置のさらに他の実施の形態の構成を示すブロック図である。
【図２２】特徴量記憶部４０１の構成の例を示すブロック図である。
【図２３】特徴量に対応した特徴量アドレス毎のインデックスメモリ４２２に格納されるデータの例を示す図である。
【図２４】画像処理装置が図２１に示す構成を有する場合の、画素位置情報の格納の処理を説明するフローチャートである。
【図２５】画像処理装置が図２１に示す構成を有する場合の、特徴量に対応する画素位置情報の読み出しの処理を説明するフローチャートである。
【図２６】本発明に係る画像処理装置のさらに他の実施の形態の構成を示すブロック図である。
【図２７】図２６に構成を示す画像処理装置による、動きベクトルの検出の処理を説明するフローチャートである。
【図２８】各クラスタに１つの画素位置情報を格納する場合の、アドレスの組み替えの処理を説明するフローチャートである。
【図２９】各クラスタに１つの画素位置情報を格納する場合の、アドレスの組み替えの処理を説明するフローチャートである。
【図３０】ステップＳ６０３の処理に対応する、画素位置情報の格納の処理を説明するフローチャートである。
【図３１】本発明に係る画像処理装置のさらに他の実施の形態の構成を示すブロック図である。
【図３２】サーチエリア生成部７０２で生成されるサーチエリアＳＲ、ブロック生成部７０４で生成される基準ブロックＢｂ、マッチング部７０５で生成される参照ブロックＢｒｎ、および参照画素位置検出部７０７で生成されるサーチエリアの関係を説明する図である。
【図３３】図３１に構成を示す画像処理装置による動きベクトルの検出の処理を説明するフローチャートである。
【図３４】ステップＳ７０２に対応する、ブロックマッチングの処理を説明するフローチャートである。
【図３５】ステップＳ７０３に対応する、注目画素に対応する画素の位置の検出の処理を説明するフローチャートである。
【図３６】一連の処理をプログラムにより実行するパーソナルコンピュータの構成の例を示すブロック図である。
【符号の説明】
１０１ 特徴量抽出部， １０２ 特徴量フレームメモリ， １０３ 特徴量抽出部， １０４ 参照画素位置検出部， ２０１ アドレス生成部， ２０２特徴量フレームメモリ， ２０３ 参照画素位置検出部， ２２１ メモリ状態記憶部， ２２２ 判断部， ２２３ アドレス算出部， ４０１ 特徴量記憶部， ４０２ 参照画素位置検出部， ４２１ 記憶制御部， ４２２ インデックスメモリ， ４２３ フレームメモリ， ６０１ 特徴量ヒストグラム生成部， ６０２ アドレス生成部， ６０３ 画素値フレームメモリ， ７０１ラインメモリ， ７０２ サーチエリア生成部， ７０３ ラインメモリ， ７０４ ブロック生成部， ７０５ マッチング部， ７０６ 誤差最小選択部， ７０７ 参照画素位置検出部， ８２１ ＣＰＵ， ８２２ ＲＯＭ， ８２３ ＲＡＭ， ８２８ 記憶部， ８５１ 磁気ディスク， ８５２ 光ディスク， ８５３ 光磁気ディスク， ８５４ 半導体メモリ[0001]
BACKGROUND OF THE INVENTION
The present invention relates to an image processing apparatus and method, a recording medium, and a program, and more particularly, to an image processing apparatus and method, a recording medium, and a program for detecting image motion.
[0002]
[Prior art]
There is a technique for obtaining a motion vector indicating the motion of an image and efficiently processing a moving image based on the motion vector.
[0003]
Several methods for obtaining the above-described motion vector have been proposed. As a typical method, there is a method called a block matching algorithm.
[0004]
FIG. 1 is a block diagram showing a configuration of a conventional image processing apparatus employing a block matching algorithm.
[0005]
For example, when an image (image data) is input at time t1, the frame memory 11 stores and stores an image for one frame. Further, when the next frame image is input at time t2, which is the timing of the next frame, the frame memory 11 stores and stores the newly input image for one frame at time t2. An image for one frame at time t1 is output to the search area generation unit 12.
[0006]
The line memory 13 stores an input image of a predetermined line of one frame input at the timing of time t2, and outputs it to the block generation unit 14 at the timing of time t2.
[0007]
That is, when the frame memory 11 stores and stores pixel values of an image of one frame (current) input at the timing of the above-described time t2, the frame memory 11 stores the time t1 (one timing past). Are output to the search area generation unit 12. The line memory 13 outputs the pixel value of the image of the line of one frame (currently) input at the timing of time t <b> 2 to the block generation unit 14. Hereinafter, a frame corresponding to a line of an image stored in the line memory 13 is referred to as a current frame Fc, and an image output from the frame memory 11 is referred to as a reference frame Fr.
[0008]
The search area generation unit 12 generates a search area SR from the reference frame Fr supplied from the frame memory 11 and supplies the pixel values of the pixels in the search area SR to the matching unit 15.
[0009]
The block generation unit 14 generates a reference block Bb from the current frame Fc supplied from the line memory 13 and supplies the pixel value of the pixel of the reference block Bb to the matching unit 15.
[0010]
As shown in FIG. 2, the search area SR of the reference frame Fr is composed of pixels of NS (number of pixels) horizontally and MS (number of pixels) vertically, and the reference block Bb of the current frame Fc is NB (pixels) horizontally. Number), and vertically composed of MB (number of pixels) pixels. Usually, the search area SR is composed of a larger area (a larger number of pixels) than the reference block Bb.
[0011]
In this case, the number of vertical and horizontal pixels in the search area SR can be set to the same number L.
[0012]
The matching unit 15 refers to the search area SR based on the pixel value of the pixel in the search area SR supplied from the search area generation unit 12 and the pixel value of the pixel in the reference block Bb supplied from the block generation unit 14. The sum of absolute differences between the pixel value of each pixel constituting the block Brn and the pixel value of each pixel of the base block Bb is calculated, and the sum of absolute differences is calculated together with the vector from the reference block Brn to the base block Bb. The value is supplied to the minimum error selection unit 16 as a value.
[0013]
The minimum error selection unit 16 selects a vector corresponding to the minimum error value and outputs the selected vector as a motion vector.
[0014]
Here, the block matching algorithm will be described. For example, as shown in FIG. 3, when obtaining a motion vector corresponding to the target pixel P (i, j) in the current frame Fc, first, the target pixel P (i, j) is centered on the current frame Fc. A reference block Bb (i, j) composed of L (number of pixels) × L (number of pixels), a search area SR corresponding to the position of the target pixel P (i, j) on the reference frame Fr, and the search area Reference blocks Brn (i, j) each consisting of L (number of pixels) × L (number of pixels) pixels are set in SR.
[0015]
Next, the process of obtaining the sum of the absolute values of the pixel value differences between the respective pixels of the base block Bb (i, j) and the reference block Brn (i, j) is performed by converting the reference block Brn into the search area SR. While moving in the raster scan order by one pixel in the horizontal direction or the vertical direction throughout the entire area, the process is repeated from Br1 to Brm (m is possible to set m reference blocks Brn in the search area SR) in FIG. .
[0016]
Of the sum of absolute differences between the pixels of the base block Bb (i, j) and the reference block Brn (i, j) obtained in this way, the reference block Brn having the smallest difference absolute value sum is obtained. Thus, the reference pixel Pn (i, j) serving as the center of the L × L pixels constituting the reference block Brn (i, j) closest to (similar to) the base block Bb (i, j) is Desired.
[0017]
A vector having a pixel P ′ (i, j) on the reference frame Fr corresponding to the target pixel P (i, j) on the current frame Fc as a start point and a reference pixel Pn (i, j) as an end point is obtained. , And output as a motion vector (Vx, Vy) of the pixel of interest P (i, j). Here, for example, when P (i, j) = (a, b) and Pn (i, j) = (c, d), (Vx, Vy) becomes (Vx, Vy) = ( c-a, db).
[0018]
That is, the reference block Brn closest to (similar to) the base block Bb (i, j) starting from the reference pixel P ′ (i, j) on the reference frame corresponding to the target pixel P (i, j). A vector whose end point is a reference pixel Pn (i, j) that is the center of L × L pixels that constitute (i, j) is obtained as a motion vector.
[0019]
Next, the motion detection process of the image processing apparatus of FIG. 1 will be described with reference to the flowchart of FIG.
[0020]
In step S1, the search area generator 12 sets a search area SR according to the pixel position of the pixel of interest P (i, j) on the current frame Fc.
[0021]
In step S2, the minimum error selection unit 16 sets the variable min for setting the minimum value of the sum of absolute differences between the pixels of the base block Bb (i, j) and the reference block Brn (i, j) as described above. Initialization is performed by setting a value obtained by multiplying the number of gradations of the pixel by the number of pixels constituting the reference block Bb (i, j). That is, for example, when one pixel is 8-bit data, the number of gradations of one pixel is 2 8, and thus 256 gradations (256 colors) are obtained. Further, when the reference block Bb (i, j) is composed of L pixels × L pixels = 3 pixels × 3 pixels, the number of pixels is nine. As a result, the variable min is initialized to 2304 (= 256 (number of gradations) × 9 (number of pixels)).
[0022]
In step S3, the matching unit 15 initializes a counter variable n for counting the reference block Brn to 1.
[0023]
In step S4, the minimum error selection unit 16 initializes a variable sum used for substituting the sum of absolute differences between the pixels of the base block Bb and the reference block Brn to 0.
[0024]
In step S5, the matching unit 15 obtains the sum of absolute differences (= sum) between the pixels of the base block Bb (i, j) and the reference block Brn (i, j). That is, when each pixel of the reference block Bb (i, j) is indicated as P_Bb (i, j) and each pixel of the reference block Brn (i, j) is indicated as P_Brn (i, j), the matching unit 15 The calculation represented by the following expression (1) is executed to obtain the sum of absolute differences between the pixels of the base block Bb (i, j) and the reference block Brn (i, j).
[0025]
[Expression 1]

[0026]
In step S6, the minimum error selection unit 16 determines whether or not the variable min is larger than the variable sum. For example, when determining that the variable min is larger than the variable sum, in step S7, the variable min is changed to the variable sum. And the value of the counter n at that time is registered as a motion vector number. That is, the fact that the variable sum indicating the sum of absolute differences obtained is smaller than the variable min indicating the minimum value means that the reference block Brn (i, i, Since j) can be regarded as more similar to the reference block Bb (i, j), a counter n at that time is registered as a motion vector number in order to make it a candidate for obtaining a motion vector. If it is determined in step S6 that the variable min is not greater than the variable sum, the process in step S7 is skipped.
[0027]
In step S8, the matching unit 15 determines whether or not the counter variable n is the total number m of reference blocks Brn in the search area SR, that is, whether or not the current reference block Brn is Brn = Brm. If it is determined that the total number is not m, the counter variable n is incremented by 1 in step S9, and the process returns to step S4.
[0028]
If it is determined in step S8 that the counter variable n is the total number m of reference blocks Brn in the search area, that is, the current reference block Brn is Brn = Brm, in step S10, the minimum error selection unit 16 The motion vector is output based on the registered motion vector number. That is, by repeating steps S4 to S9, the counter variable n corresponding to the reference block Brn that minimizes the sum of absolute differences is registered as a motion vector number. Among the L × L pixels of the reference block Brn corresponding to the motion vector number, a reference pixel Pn (i, j) serving as the center is obtained and corresponds to the target pixel P (i, j) on the current frame Fc. A vector starting from the pixel P ′ (i, j) on the reference frame Fr and ending at the reference pixel Pn (i, j) is obtained as the motion vector (Vx, Vy) of the pixel of interest P (i, j). Output.
[0029]
In the image processing apparatus having the configuration shown in FIG. 1, the calculation amount per frame is included in the number of pixels in one frame × the calculation amount of the sum of absolute differences × the number of pixels included in the reference block Bb × the search area SR. It is obtained from the number of pixels.
[0030]
When the calculation amount of the sum of absolute differences is represented by one clock, and the reference block Bb includes 8 × 8 pixels and the search area SR includes 20 × 20 pixels, a motion vector for one pixel is obtained. The calculation amount of processing is 8 × 8 × 20 × 20 × 1 clock, that is, 25600 clocks.
[0031]
Since a huge amount of calculation is required, a moving image cannot be processed in real time.
[0032]
In order to reduce the amount of calculation, a representative point block matching algorithm is used as a kind of block matching algorithm.
[0033]
In the representative point block matching algorithm, a representative point block is used instead of the reference block Bb as shown in FIG. Among the pixels included in the representative point block, one or a plurality of pixels such as a central pixel of the representative point block or a pixel at a predetermined position of the representative point block are selected as representative points.
[0034]
In the representative point block matching algorithm, the sum of absolute differences between the representative point and the reference representative pixel in the search area SR is calculated, and the minimum sum of absolute differences is selected. Then, the reference representative pixel (i, j) corresponding to the minimum sum of absolute differences is set starting from the pixel P ′ (i, j) on the reference frame Fr corresponding to the representative point (i, j) on the current frame Fc. ) As an end point is output as the motion vector (Vx, Vy) of the representative point block.
[0035]
In the representative point block matching, the calculation amount is the number of pixels × the calculation amount of the sum of absolute differences × the number of pixels included in the representative point block × the number of pixels included in the search area SR / the number of pixels included in the representative point block. Calculated by number.
[0036]
When the amount of calculation of the sum of absolute differences is represented by one clock, and the representative point block includes 8 × 8 pixels and the search area SR includes 20 × 20 pixels, a motion vector for one pixel is obtained. The calculation amount of processing is 8 × 8 × 20 × 20 / (8 × 8) × 1 clock, that is, 400 clocks.
[0037]
In the representative point block matching, the amount of calculation is reduced, but since the motion vector is obtained for the representative point block, the accuracy of the motion vector is deteriorated.
[0038]
Also, when detecting a motion vector by the block matching method, the amount of computation is reduced by detecting the motion vector based on an evaluation value obtained from a weighted average of values obtained by accumulating absolute value differences between the steady component and the transient component. There is something to be made (for example, refer to Patent Document 1).
[0039]
Furthermore, the pixel values in the reference block and the search range are encoded, a matching operation is performed based on the code value, a first motion vector is calculated based on the operation result, and motion compensation according to the first motion vector is performed. The second motion vector is calculated by performing block matching based on the difference of the pixel values for a new search range obtained by shifting the candidate block related to the first motion vector by one pixel after being performed. In some cases, the calculation is simplified by calculating the final motion vector as the sum of the first motion vector and the second motion vector (see, for example, Patent Document 2).
[0040]
[Patent Document 1]
Japanese Patent Application Laid-Open No. 07-087494
[Patent Document 2]
JP 2000-278691 A
[0041]
[Problems to be solved by the invention]
As described above, conventionally, in order to detect a motion vector, a huge amount of calculation is required, and a motion vector cannot be detected quickly. Further, when obtaining a more accurate motion vector, there is a problem that the amount of calculation further increases.
[0042]
The present invention has been made in view of such a situation, and an object thereof is to detect a more accurate motion vector more quickly with a smaller amount of calculation.
[0043]
[Means for Solving the Problems]
Of the present invention The image processing apparatus includes: a first feature amount extraction unit that extracts a feature amount of a first pixel of a second frame that is a temporally previous frame with respect to the first frame; Predetermined Area specified by the first address corresponding to the feature quantity In , Has a predetermined feature Pixel position information indicating the position of the first pixel And region position information indicating a region next to the region in which pixel position information of other first pixels having a predetermined feature amount is stored. Storage control means, second feature quantity extraction means for extracting the feature quantity of the second pixel of the first frame, and stored pixel position information indicating the position of the first pixel Based on the distance between the first pixel and the second pixel obtained from From the position of the first pixel having the same feature quantity as the feature quantity of the second pixel, Used to calculate the motion vector of the second pixel, Selection means for selecting the position of the first pixel whose destination is the second pixel And a calculating means for calculating a motion vector of the second pixel from the position of the selected first pixel and the position of the second pixel. And the storage control means includes the first pixel. Predetermined If there is no more space in the area specified by the first address corresponding to the feature amount, As the position information indicating the next area, the pixel position information and the area position information of the first pixel having another feature quantity different from the predetermined feature quantity are stored. The second position corresponding to the other feature quantity is stored. Among the areas specified by the address, the pixel position information and the information indicating the area where the area position information is not stored are stored, and the second position indicated by the area position information of the area specified by the first address The pixel position information of the next first pixel having a predetermined feature amount and the area position information are stored in the area specified by the address. It is characterized by that.
[0045]
The selection means stores pixel position information indicating the position of the first pixel stored. Based on the distance between the first pixel and the second pixel obtained from From the position of the first pixel of the feature quantity that approximates the feature quantity of the second pixel, Used to calculate the motion vector of the second pixel, It is possible to select the position of the first pixel whose destination is the second pixel.
[0046]
The storage control means is for the first pixel. Predetermined When there is no space in the area specified by the first address corresponding to the feature amount, the largest number of free areas Corresponding to Select the second address, and the area specified by the second address To store pixel position information and area position information Can be.
[0047]
For all the first pixels of the second frame, the number of first pixels for each feature amount is calculated. Number of pixels A calculation unit may be further provided, and the storage control unit may select the second address in advance based on the number of first pixels for each feature amount.
[0048]
Of the present invention The image processing method is A first feature amount extraction step for extracting a feature amount of the first pixel of the second frame, which is a temporally previous frame with respect to the first frame, and a predetermined feature amount of the first pixel The pixel position information indicating the position of the first pixel having the predetermined feature amount and the pixel position information of the other first pixel having the predetermined feature amount are stored in the area specified by the first address. A storage control step for storing region position information indicating a region next to the region, a second feature amount extraction step for extracting a feature amount of the second pixel of the first frame, and Based on the distance between the first pixel and the second pixel obtained from the pixel position information indicating the position of the first pixel, the position of the first pixel having the same feature quantity as the feature quantity of the second pixel is selected. , Used to calculate the motion vector of the second pixel, the moved destination is the second A selection step of selecting a position of the first pixel that is a prime, and a calculation step of calculating a motion vector of the second pixel from the position of the selected first pixel and the position of the second pixel. In the storage control step, when there is no more space in the area specified by the first address corresponding to the predetermined feature quantity of the first pixel, the predetermined feature quantity is used as area position information indicating the next area. The pixel position information and the region position of the region specified by the second address corresponding to the other feature amount, in which the pixel position information and the region position information of the first pixel having different other feature amounts are stored. Information indicating an area in which no information is stored is stored, and the area specified by the second address indicated by the area position information of the area specified by the first address has a predetermined feature amount And pixel position information of the first pixel of and stores the area position information It is characterized by that.
[0049]
Of the present invention The program of the recording medium is A first feature amount extraction step for extracting a feature amount of the first pixel of the second frame, which is a temporally previous frame with respect to the first frame, and a predetermined feature amount of the first pixel The pixel position information indicating the position of the first pixel having the predetermined feature amount and the pixel position information of the other first pixel having the predetermined feature amount are stored in the area specified by the first address. A storage control step for storing region position information indicating a region next to the region, a second feature amount extraction step for extracting a feature amount of the second pixel of the first frame, and Based on the distance between the first pixel and the second pixel obtained from the pixel position information indicating the position of the first pixel, the position of the first pixel having the same feature quantity as the feature quantity of the second pixel is selected. , Used to calculate the motion vector of the second pixel, the moved destination is the second A selection step of selecting a position of the first pixel that is a prime, and a calculation step of calculating a motion vector of the second pixel from the position of the selected first pixel and the position of the second pixel. In the storage control step, when there is no more space in the area specified by the first address corresponding to the predetermined feature amount of the first pixel, as the area position information indicating the next area, In the region specified by the second address corresponding to the other feature amount, the pixel position information and the region position information of the first pixel having another feature amount different from the predetermined feature amount are stored. The pixel position information and the information indicating the area where the area position information is not stored are stored, and specified by the second address indicated by the area position information of the area specified by the first address The frequency, and stores the pixel position information of the first pixel of the next, and the area position information having the predetermined feature quantity It is characterized by that.
[0050]
Of the present invention The program A first feature amount extraction step for extracting a feature amount of the first pixel of the second frame, which is a temporally previous frame with respect to the first frame, and a predetermined feature amount of the first pixel The pixel position information indicating the position of the first pixel having the predetermined feature amount and the pixel position information of the other first pixel having the predetermined feature amount are stored in the area specified by the first address. A storage control step for storing region position information indicating a region next to the region, a second feature amount extraction step for extracting a feature amount of the second pixel of the first frame, and Based on the distance between the first pixel and the second pixel obtained from the pixel position information indicating the position of the first pixel, the position of the first pixel having the same feature quantity as the feature quantity of the second pixel is selected. , Used to calculate the motion vector of the second pixel, the moved destination is the second A selection step of selecting a position of the first pixel that is a prime, and a calculation step of calculating a motion vector of the second pixel from the position of the selected first pixel and the position of the second pixel. In the storage control step, when there is no more space in the area specified by the first address corresponding to the predetermined feature amount of the first pixel, as the area position information indicating the next area, In the region specified by the second address corresponding to the other feature amount, the pixel position information and the region position information of the first pixel having another feature amount different from the predetermined feature amount are stored. The pixel position information and the information indicating the area where the area position information is not stored are stored, and specified by the second address indicated by the area position information of the area specified by the first address The frequency, and stores the pixel position information of the first pixel of the next, and the area position information having the predetermined feature quantity It is characterized by that.
[0056]
Of the present invention In the image processing apparatus and method, the recording medium, and the program, the feature amount of the first pixel of the second frame, which is a frame temporally previous to the first frame, is extracted, and the first pixel Predetermined In the area specified by the first address corresponding to the feature amount, Has a predetermined feature Pixel position information indicating the position of the first pixel Region position information indicating a region next to the region, in which pixel position information of other first pixels having a predetermined feature amount is stored; Is memorized. Furthermore, pixel position information indicating the position of the first pixel, in which the feature amount of the second pixel of the first frame is extracted and stored Based on the distance between the first pixel and the second pixel obtained from From the position of the first pixel having the same feature quantity as the feature quantity of the second pixel, Used to calculate the motion vector of the second pixel, The position of the first pixel whose destination is the second pixel is selected The motion vector of the second pixel is calculated from the position of the selected first pixel and the position of the second pixel. . And the first pixel Predetermined If there is no more space in the area specified by the first address corresponding to the feature amount, As the position information indicating the next area, the pixel position information and the area position information of the first pixel having another feature quantity different from the predetermined feature quantity are stored. The second position corresponding to the other feature quantity is stored. Of the area specified by the address, the pixel position information and the information indicating the area where the area position information is not stored are stored, and the second is indicated by the area position information of the area specified by the first address. The pixel position information of the next first pixel having a predetermined feature amount and the area position information are stored in the area specified by the address of Is done.
[0058]
DETAILED DESCRIPTION OF THE INVENTION
FIG. 6 is a block diagram showing a configuration of an embodiment of an image processing apparatus according to the present invention. The image input to the image processing apparatus is supplied to the feature quantity extraction unit 101 and the feature quantity extraction unit 103.
[0059]
The feature quantity extraction unit 101 uses the pixels of the input image as reference pixels in the raster scan order, for example, and extracts feature quantities corresponding to the reference pixels. The feature amount is an amount representing the feature of the pixel. For example, the feature amount extraction unit 101 sets a value obtained by arranging pixel values of pixels included in a 3 × 3 block centered on the reference pixel in a predetermined order (for example, raster scan order). When a value obtained by arranging pixel values of pixels included in a 3 × 3 block centering on a reference pixel in a predetermined order is a feature amount, if the pixel value of any pixel included in the block changes, The amount will change.
[0060]
The feature quantity extraction unit 101 supplies the extracted feature quantity to the feature quantity frame memory 102 together with pixel position information indicating the position of the reference pixel on the screen.
[0061]
The feature amount frame memory 102 acquires the pixel position information indicating the position of the reference pixel on the screen and the feature amount supplied from the feature amount extraction unit 101, and stores the pixel position information at an address corresponding to the feature amount. .
[0062]
FIG. 7 is a diagram for explaining the arrangement of the pixel position information and the number of pixel position information stored in the feature amount frame memory 102.
[0063]
Each square indicated by D in the figure indicates one storage area D for storing one pixel position information or the number of one pixel position information.
[0064]
In FIG. 7, the position in the vertical direction (column direction) of the storage area D is specified by a feature amount address, and corresponds to one (one type) feature amount. That is, it can be said that one feature amount address indicates one feature amount. When the feature amount addresses are different, each feature amount address indicates a different feature amount. In the example of the feature amount frame memory 102 shown in FIG. 7, N feature amount addresses in the range of 0 to N−1 are set. In other words, the feature amount frame memory 102 shown in FIG. 7 can store pixel position information of pixels classified into N types of feature amounts.
[0065]
In FIG. 7, the horizontal direction (row direction) position of the storage area D is specified by a flag address. In the storage area D in the left column in the figure where the flag address is 0, the number of pixels having the feature amount specified by the feature amount address is stored. Since the number of pixels having the same feature amount is equal to the number of pixel position information indicating the position of the pixel, the storage address D in the left column in the drawing in which the flag address is 0 is the same feature amount pixel. The number of pixel position information is stored. In other words, the number of pieces of pixel position information stored in the storage area D specified by the feature quantity address is stored in the storage area D specified by the predetermined feature quantity address. .
[0066]
Hereinafter, the position of the storage area D where the feature amount address is a and the flag address is b is represented as an address (a, b).
[0067]
In the storage area D of the column in the figure having flag addresses 1 to M, one piece of pixel position information indicating the pixel position of the pixel having the feature amount specified by the feature amount address is stored. For example, the pixel position information indicating the pixel position of the first pixel having the feature amount corresponding to the feature amount address 2 is stored in the storage area D of the address (2, 1). Then, the pixel position information indicating the pixel position of the second pixel having the feature amount corresponding to the feature amount address 2 is stored in the storage area D of the address (2, 2).
[0068]
As described above, when the feature amount corresponding to the feature amount address 2 is extracted, the pixel position information indicating the pixel position of the reference pixel from which the feature amount is extracted is the storage area D indicated by the feature amount address 2. Thus, the addresses specified by the flag addresses 1 to M are stored in order from the left side to the right side in the figure.
[0069]
Similarly, when a feature amount corresponding to any one of the feature amount addresses 0 to N−1 is extracted, pixel position information indicating the pixel position of the reference pixel from which the feature amount is extracted is 0 to N−1. Are stored in order from the left side to the right side in the drawing in the storage area D indicated by any one of the feature quantity addresses.
[0070]
In each storage area D, for example, a storage area of one word (for example, 32 bits) can be arranged.
[0071]
As described above, the feature amount frame memory 102 sequentially stores the pixel position information of the pixels classified by the feature amount.
[0072]
The feature amount frame memory 102 stores and reads out pixel position information corresponding to the current frame Fc (current frame) and pixel position information corresponding to the reference frame Fr (previous frame), respectively. it can. That is, the feature amount frame memory 102 has a page of the storage area D shown in FIG. 7 corresponding to the current frame Fc and a page of the storage area D shown in FIG. 7 corresponding to the reference frame Fr, and switches pages. Thus, the pixel position information of the current frame Fc supplied from the feature amount extraction unit 101 can be stored, and the stored pixel position information of the reference frame Fr can be read and supplied to the reference pixel position detection unit 104. .
[0073]
The feature amount extraction unit 103 sets the pixel of the input image as a target pixel in, for example, raster scan order, and extracts a feature amount corresponding to the target pixel by the same processing as the feature amount extraction unit 101. For example, the feature quantity extraction unit 101 sets a value obtained by arranging pixel values of pixels included in a 3 × 3 block centered on the reference pixel in a predetermined order.
[0074]
The feature quantity extraction unit 103 supplies the extracted feature quantity to the reference pixel position detection unit 104 together with pixel position information indicating the position of the target pixel on the screen.
[0075]
Note that the number of pixels included in the block for calculating the feature value output by the feature value extraction unit 101 or the feature value extraction unit 103 can be any number, and is not limited to 3 × 3. Absent. A predetermined number of pixels may be extracted from the block for calculating the feature amount, and the feature amount may be obtained from the extracted pixel.
[0076]
Further, the feature quantity extracted by the feature quantity extraction unit 101 or the feature quantity extraction unit 103 is not limited to the value in which the pixel values of the pixels included in the block are arranged, but the pixel value itself of the target pixel or the reference pixel or the sum of the pixel values Alternatively, an average value of pixel values, an array of values obtained by extracting predetermined bits higher than the pixel value, a sum, or an average value may be used.
[0077]
Further, the feature quantity extraction unit 101 or the feature quantity extraction unit 103 calculates a feature quantity based on a result obtained by applying a predetermined calculation to a pixel value such as ADRC (Adaptive Dynamic Range Coding) or Laplacian. May be.
[0078]
The reference pixel position detection unit 104 uses the feature amount of the target pixel supplied from the feature amount extraction unit 103 and the pixel position information of the reference frame Fr stored in the feature amount frame memory 102, so that the feature amount of the target pixel The pixel position of the pixel of the reference frame Fr having the same feature amount as is detected. The reference pixel position detection unit 104 selects the position of the reference frame Fr whose target is the target pixel from the pixel position of the pixel of the reference frame Fr having the same feature quantity as the detected feature quantity of the target pixel. To do. Then, the reference pixel position detection unit 104 starts from a pixel on the reference frame Fr at a position corresponding to the position of the target pixel from the pixel position information of the target pixel and the pixel position of the selected pixel of the reference frame Fr. A motion vector whose end point is a selected pixel of the reference frame Fr having the same feature amount as the feature amount of the target pixel is obtained, and the obtained motion vector is output.
[0079]
Although it has been described that the process is executed in units of frames, it is needless to say that the process may be executed in units of fields. Further, the processing target is not limited to temporally adjacent frames or fields, but can be frames or fields that are temporally separated. The same applies to the following embodiments.
[0080]
FIG. 8 is a flowchart for explaining motion vector detection processing by the image processing apparatus having the configuration shown in FIG.
[0081]
In step S101, the feature quantity extraction unit 101 and the feature quantity frame memory 102 store the pixel position information by executing a process of storing the pixel position information of the reference frame Fr. Details of the process of storing the pixel position information will be described later with reference to the flowchart of FIG.
[0082]
In step S102, the feature amount extraction unit 103 and the reference pixel position detection unit 104 perform a process of detecting the position of the pixel corresponding to the target pixel, and have the same feature amount as the feature amount of the target pixel. The pixel position of this pixel is detected. Details of the process of detecting the position of the pixel corresponding to the target pixel will be described later with reference to the flowchart of FIG.
[0083]
In step S103, the reference pixel position detection unit 104, based on the pixel position information of the target pixel supplied from the feature amount extraction unit 103 and the pixel position of the pixel of the reference frame Fr detected in the process of step S102. Find the motion vector. For example, the reference pixel position detection unit 104 starts the pixel on the reference frame Fr at the position corresponding to the position of the target pixel, and moves the pixel of the reference frame Fr having the same feature amount as the target pixel as the end point. Find a vector.
[0084]
In step S104, the reference pixel position detection unit 104 outputs the motion vector obtained in the process of step S103, and the process ends.
[0085]
FIG. 9 is a flowchart for explaining pixel position information storage processing corresponding to step S101.
[0086]
In step S <b> 121, the feature amount frame memory 102 initializes data stored in the feature amount frame memory 102. For example, the feature amount frame memory 102 initializes the data by setting 0 in the storage area D whose flag address is 0 and setting null in the storage area D whose flag address is 1 to M. To do.
[0087]
In step S122, the feature amount extraction unit 101 initializes the counter variable n. The counter variable n is a variable for counting the number of pixels to be processed. For example, the feature amount frame memory 102 sets 1 to the counter variable n in step S122.
[0088]
In step S123, the feature amount extraction unit 101 selects a pixel that has not yet been set as a reference pixel from the pixels of the reference frame Fr and sets it as a reference pixel. The feature amount extraction unit 101 extracts the feature amount of the reference pixel by calculating the feature amount of the block corresponding to the reference pixel, and extracts the feature amount together with the pixel position information indicating the position of the reference pixel. This is supplied to the memory 102. For example, the feature amount extraction unit 101 calculates a feature amount that is a value in which pixel values of pixels included in a 3 × 3 block centered on the reference pixel are arranged in raster scan order.
[0089]
In step S124, the feature amount frame memory 102 reads the number of pixel position information corresponding to the feature amount calculated in the process of step S123. For example, when the feature amount address corresponding to the feature amount of the reference pixel is k, the feature amount frame memory 102 reads the number of pixel position information corresponding to the feature amount from the storage area D of the address (k, 0). .
[0090]
In step S125, the feature amount frame memory 102 increments the number of pixel position information read in the process of step S124. That is, the feature amount frame memory 102 adds 1 to the number of pixel position information read out in the process of step S124.
[0091]
In step S126, the feature amount frame memory 102 stores the number of pixel position information incremented in the process of step S125. For example, when the feature amount address corresponding to the feature amount is k, the feature amount frame memory 102 writes the number of incremented pixel position information in the storage area D of the address (k, 0).
[0092]
In step S127, the feature amount frame memory 102 indicates the pixel position of the reference pixel in the storage area D of the address specified from the feature amount address corresponding to the feature amount and the flag address corresponding to the number of pixel position information. Write pixel location information. For example, when the feature amount address corresponding to the feature amount of the reference pixel is k and the number of pixel position information is q, the feature amount frame memory 102 stores the reference pixel in the storage area D of the address (k, q). The pixel position information indicating the pixel position is written.
[0093]
In this way, pixel position information indicating pixels having the same feature amount is stored in order from the left side to the right side in FIG. 7 in the storage region D having the same feature amount address. Here, one storage area D stores one pixel position information.
[0094]
In step S128, the feature amount extraction unit 101 increments the counter variable n. That is, the feature quantity extraction unit 101 adds 1 to the counter variable n.
[0095]
In step S129, the feature amount extraction unit 101 determines whether the value of the counter variable n is equal to the number of pixels in the frame, and determines that the value of the counter variable n is not equal to the number of pixels in the frame. In this case, there are still pixels that are not set as reference pixels, that is, there are pixels for which feature amounts have not been extracted. Therefore, the process returns to step S123 and the above-described processing is repeated to extract feature amounts for the next reference pixel The pixel position information is stored in the feature amount frame memory 102.
[0096]
In step S129, when it is determined that the value of the counter variable n is equal to the number of pixels in the frame, all the pixels in the frame are set as reference pixels, and feature values of all the pixels in the frame are extracted, and all the pixels are extracted. Since the pixel position information corresponding to the pixel is stored in the feature amount frame memory 102, the processing ends.
[0097]
FIG. 10 is a flowchart for describing the process of detecting the pixel position corresponding to the target pixel, corresponding to the process of step S102.
[0098]
In step S141, the reference pixel position detection unit 104 initializes the counter variable n. The counter variable n is a variable for counting the number of pixels to be processed. For example, the feature amount frame memory 102 sets 1 to the counter variable n in step S141.
[0099]
In step S142, the feature amount extraction unit 103 selects a target pixel from among the pixels of the current frame Fc that have not yet been set as the target pixel, by the same processing as the feature amount extraction unit 101. The feature amount extraction unit 103 extracts the feature amount of the target pixel by calculating the feature amount of the block corresponding to the selected target pixel, and extracts it together with the pixel position information indicating the position of the target pixel on the screen. The feature amount is supplied to the reference pixel position detection unit 104. For example, the feature amount extraction unit 103 calculates a feature amount that is a value in which pixel values of pixels included in a 3 × 3 block centered on the target pixel are arranged in raster scan order.
[0100]
In step S143, the reference pixel position detection unit 104 reads pixel position information corresponding to the feature amount calculated in the process of step S142 from the feature amount frame memory 102. That is, the reference pixel position detection unit 104 reads pixel position information indicating the position of the pixel having the same feature amount as the feature amount supplied from the feature amount extraction unit 103 in the process of step S142.
[0101]
More specifically, when the feature amount address corresponding to the feature amount of the target pixel supplied from the feature amount extraction unit 103 is k, the reference pixel position detection unit 104 determines the address (k, The number q of pixel position information is read from the storage area D that is 0). Then, the reference pixel position detection unit 104 reads q pieces of pixel position information from the storage area D that is the addresses (k, 1) to (k, q) of the feature amount frame memory 102.
[0102]
In step S144, the reference pixel position detecting unit 104 reads out the pixel position information read out in step S143 as the position of the reference pixel corresponding to the movement of the target pixel (as the position of the reference pixel whose destination is the target pixel). The pixel position closest to the target pixel is selected from the pixel positions indicated by. That is, the reference pixel position detection unit 104 obtains the distance between the reference pixel (position) Pn (i, j) and the target pixel P (position) (i, j) indicated by the pixel position information, and the distance is minimized. The position of the reference pixel is selected.
[0103]
The reference pixel position detection unit 104 has been described as selecting the position of the pixel closest to the target pixel as the position of the reference pixel corresponding to the movement of the target pixel. However, the reference pixel position detection unit 104 is not limited to the position of the pixel closest to the target pixel. The position of the reference pixel having the pixel value closest to the pixel value of the target pixel, or the position of the reference pixel corresponding to the block composed of pixels having the pixel value closest to the pixel value of the pixel of the predetermined block including the target pixel, etc. Based on this criterion, the position of the reference pixel whose destination is the target pixel may be selected.
[0104]
The same applies to the processing for selecting pixel positions, which will be described below.
[0105]
In step S145, the reference pixel position detection unit 104 determines whether the distance between the position of the selected pixel and the position of the target pixel is shorter than a predetermined threshold, and the position of the selected pixel and the target pixel are determined. If it is determined that the distance from the position of the pixel is shorter than a predetermined threshold value, the correct pixel position corresponding to the movement of the target pixel is selected, and the process proceeds to step S152.
[0106]
If it is determined in step S145 that the distance between the selected pixel position and the target pixel position is greater than or equal to a predetermined threshold, the correct pixel position corresponding to the movement of the target pixel is not selected. In step S146, the reference pixel position detection unit 104 selects a feature quantity in the vicinity of the feature quantity of the block corresponding to the target pixel. Here, the feature amount in the vicinity means a feature amount indicating a pixel having an approximate feature. For example, a feature value calculated from a block composed of pixels having pixel values close to the pixel value of each pixel included in a predetermined block is a feature value near the feature value of the original block. Also, a feature that is calculated in the same way as a change in pixel values of pixels included in a predetermined block (for example, an array of differences in pixel values) and is calculated from a block composed of pixels having pixel values close to the original pixel values. The quantity is a feature quantity in the vicinity of the original block.
[0107]
For example, the feature quantity calculated from the block obtained by inverting the least significant bit of the pixel value of one pixel included in the original block is a feature quantity in the vicinity of the feature quantity of the original block. When a value obtained by arranging pixel values of pixels included in a block having a feature amount of 3 × 3 in a predetermined order is the feature amount, the feature amount of the block obtained by inverting the least significant bit of all the pixel values included in the block is , The feature amount in the vicinity of the feature amount of the original block.
[0108]
In step S <b> 147, the reference pixel position detection unit 104 reads out pixel position information corresponding to a nearby feature quantity from the feature quantity frame memory 102. That is, the reference pixel position detection unit 104 reads out pixel position information indicating the position of the pixel having the same feature quantity as the neighboring feature quantity selected in step S146. More specifically, for example, when the feature quantity address corresponding to the neighboring feature quantity is k ′, the reference pixel position detection unit 104 stores the storage area that is the address (k ′, 0) of the feature quantity frame memory 102. The number q ′ of pixel position information is read from D. Then, the reference pixel position detection unit 104 reads q ′ pieces of pixel position information from the storage area D that is the addresses (k ′, 1) to (k ′, q ′) of the feature amount frame memory 102.
[0109]
In step S148, the reference pixel position detection unit 104 determines the pixel closest to the target pixel among the pixel positions indicated by the pixel position information read out in step S147 as the position of the pixel whose destination is the target pixel. Select the position.
[0110]
In step S149, the reference pixel position detection unit 104 determines whether the distance between the position of the selected pixel and the position of the target pixel is shorter than a predetermined threshold, and the position of the selected pixel and the target pixel are determined. If it is determined that the distance from the position of the pixel is shorter than a predetermined threshold value, the correct pixel position corresponding to the movement of the target pixel is selected, and the process proceeds to step S152.
[0111]
If it is determined in step S149 that the distance between the selected pixel position and the target pixel position is greater than or equal to a predetermined threshold, the correct pixel position corresponding to the movement of the target pixel is not selected. In step S150, the reference pixel position detection unit 104 determines whether or not all the feature amounts in the vicinity of the predetermined range have been selected.
[0112]
For example, the reference pixel position detection unit 104 selects when a value obtained by arranging pixel values of pixels included in a block having a feature amount of 3 × 3 in a predetermined order is the feature amount supplied from the feature amount extraction unit 103. In the range of neighboring feature values, the feature value of the block obtained by inverting the least significant bit of all pixel values included in the block, and the feature value of the block obtained by inverting the lower 2 bits of all pixel values included in the block , And the feature amount of the block obtained by inverting the lower 3 bits of all the pixel values included in the block.
[0113]
If it is determined in step S150 that not all the feature quantities in the vicinity of the predetermined range have been selected, there are still neighboring feature quantities to be selected. Therefore, the process returns to step S146, and other feature quantities in the vicinity are selected. Steps S147 to S149 are repeated.
[0114]
If it is determined in step S150 that all the feature values in the vicinity of the predetermined range have been selected, there is no correct pixel corresponding to the movement of the pixel of interest in the feature values in the vicinity, and the process proceeds to step S151 to detect the reference pixel position. The unit 104 sets a predetermined value as the pixel position, and proceeds to step S152. In step S151, the reference pixel position detection unit 104 may set an error code corresponding to the target pixel.
[0115]
In step S152, the reference pixel position detection unit 104 increments the counter variable n. That is, the feature quantity extraction unit 101 adds 1 to the counter variable n.
[0116]
In step S153, the reference pixel position detection unit 104 determines whether the value of the counter variable n is equal to the number of pixels in the frame, and determines that the value of the counter variable n is not equal to the number of pixels in the frame. If there is, there is still a pixel that is not the target pixel, that is, there is a pixel whose corresponding pixel position has not been detected, so the process returns to step S142 and the above-described processing is repeated to correspond to the next target pixel. The pixel position is detected.
[0117]
If it is determined in step S153 that the value of the counter variable n is equal to the number of pixels in the frame, all the pixels in the frame are still the target pixels, and the positions of the pixels corresponding to all the pixels in the frame are detected. As a result, the process ends.
[0118]
As described above, the image processing apparatus having the configuration shown in FIG. 6 can detect a more accurate motion vector more quickly and with a smaller amount of computation than in the past.
[0119]
However, in the feature amount frame memory 102, the size of the memory area corresponding to the flag address is determined from the maximum number of pixel position information, that is, the number of pixels per frame. That is, in the feature amount frame memory 102, the total size of the memory area is the maximum number of pixel position information times the number of feature amounts.
[0120]
Therefore, in the feature amount frame memory 102, among the regions specified by the feature amount address, a space is generated in the region D specified by the feature amount address that does not become the maximum number of pixel position information, that is, the number of pixels. become.
[0121]
Here, in the feature amount frame memory 102, the memory allocation does not change statically during processing. In the feature amount addressing described above, pixel position information is stored for each feature amount address.
[0122]
Also, the number of pixel position information stored in the feature amount frame memory 102 corresponding to each feature amount address varies depending on the input image and frame to be processed. This is because the number of pixels corresponding to the feature amount varies depending on the image or the frame.
[0123]
FIG. 11 is a block diagram showing the configuration of another embodiment of the image processing apparatus according to the present invention. The same parts as those shown in FIG. 6 are denoted by the same reference numerals, and the description thereof is omitted.
[0124]
The address generation unit 201 generates an address to which pixel position information is to be written based on the feature amount and pixel position information supplied from the feature amount extraction unit 101, and the generated address is stored in the feature amount frame memory 202 together with the pixel position information. To supply. The address generation unit 201 calculates the number of pixel position information for each feature amount, and supplies the calculated number of pixel position information to the feature amount frame memory 202. The address generation unit 201 generates the next feature amount address and the next cluster number to be stored in the cluster stored in the feature amount frame memory 202, and generates the next feature amount address and the next cluster. The number is supplied to the feature amount frame memory 202.
[0125]
Although details will be described later, the cluster of the feature amount frame memory 202 stores a predetermined number of pixel position information of one or two or more. The next feature quantity address indicates the feature quantity address of the next cluster in which the pixel position information of the same feature quantity is stored following the cluster in which the next feature quantity address is stored. The next cluster number indicates the cluster address of the next cluster in which pixel position information of the same feature amount is stored following the cluster in which the next cluster number is stored.
[0126]
The feature amount frame memory 202 stores pixel position information corresponding to the feature amount based on the address supplied from the address generation unit 201 in units of clusters.
[0127]
FIG. 12 is a diagram for explaining the arrangement of the number of clusters and pixel position information stored in the feature amount frame memory 202.
[0128]
In FIG. 12, the position of the cluster in the vertical direction (column direction) is specified by a feature amount address, and in principle corresponds to one (one type) feature amount. That is, in the feature amount frame memory 202, it can be said that one feature amount address indicates one feature amount. When the feature amount addresses are different, each feature amount address indicates a different feature amount. In the example of the feature amount frame memory 202 shown in FIG. 12, N feature amount addresses in the range of 0 to N−1 are set. In other words, the feature amount frame memory 202 shown in FIG. 12 can store pixel position information of pixels classified into N types of feature amounts.
[0129]
The feature amount frame memory 202 stores the number of pixel position information of pixels having the same feature amount corresponding to each feature amount address, corresponding to N feature amount addresses ranging from 0 to N-1. The L in FIG. ₀ Stores the number of pixel position information of the pixel having the feature amount corresponding to the feature amount address 0. L ₁ Stores the number of pixel position information of the pixel having the feature amount corresponding to the feature amount address 1. Similarly, L ₂ Thru L _N-1 In each of these, the number of pixel position information of the pixel having the feature amount corresponding to each of the feature amount address 2 to the feature amount address N-1 is stored.
[0130]
In FIG. 12, the position in the horizontal direction (row direction) of the cluster is specified by the cluster address.
[0131]
Hereinafter, the position where the feature amount address is a and the cluster address is b is represented as address (a, b).
[0132]
As a general rule, the cluster in the column having a cluster address of 1 to R stores pixel position information indicating the pixel position of one or more pixels having the feature quantity specified by the feature quantity address. . Here, R indicates the maximum number of clusters that can be arranged in one row of the feature amount frame memory 202, that is, the maximum value of the cluster address.
[0133]
FIG. 13 is a diagram illustrating an example of a cluster configuration.
[0134]
The cluster shown in FIG. 13 stores Q pixel position information, and also stores the next feature amount address and the next cluster number. The feature amount of the pixel at the position indicated by the Q pixel position information stored in one cluster is the same.
[0135]
The next feature amount address and the next cluster number stored in the cluster store pixel position information of pixels having the same feature amount as the feature amount of the pixel at the position indicated by the Q pixel position information. Information for specifying the next cluster. That is, the next feature address stored in the cluster is the feature address, the next cluster number is the cluster address, and the next cluster whose address is specified stores the next feature address and the next cluster number. The pixel position information of the pixel having the same feature amount as that of the pixel at the position indicated by the pixel position information stored in the cluster is stored. For example, when the next feature amount address stored in the cluster of the address (K, R) is S and the next cluster number is R, the address of the next cluster is the address (S, R). . In the cluster at the address (S, R), the pixel position information of the pixel having the same feature amount as the pixel at the position indicated by the pixel position information stored in the cluster at the address (K, R) is stored. .
[0136]
For example, pixel position information indicating the pixel position of the first pixel having the feature amount corresponding to the feature amount address K is stored in the cluster at the address (K, 1). The pixel position information of the next pixel is sequentially stored in the cluster at the address (K, 1).
[0137]
When the cluster at the address (K, 1) is full, that is, when the pixel position information can no longer be stored in the cluster, the next pixel having the feature amount corresponding to the feature amount address K The pixel position information indicating the pixel position is stored in the cluster at the address (K, 2). The cluster of the address (K, 1) stores the next feature amount address and the next cluster number indicating the cluster of the address (K, 2).
[0138]
As described above, the pixel position information of the pixel having the feature amount corresponding to the feature amount address K can be sequentially stored in the cluster of the address (K, 1) to the cluster of the address (K, R). When the pixel position information of the pixel having the feature amount corresponding to the feature amount address K is sequentially stored in the cluster of the address (K, 1) to the cluster of the address (K, R), the cluster of the address (K, 1) The cluster of the address (K, R-1) has the next feature value address and the next cluster number indicating the cluster of the address (K, 2) to the cluster of the address (K, R) as the next cluster, respectively. Will be stored.
[0139]
Then, when all of the clusters at the address (K, 1) to the cluster at the address (K, R) are full, that is, no more pixel position information can be stored in the cluster at the feature amount address K. When the pixel position information indicating the pixel position of the next pixel having the feature quantity corresponding to the feature quantity address K is further stored in the feature quantity frame memory 202, the feature quantity address in which the smallest number of clusters are arranged is Explored. When the feature amount address where the smallest number of clusters are arranged is S, the cluster of the address (S, R) is set as the next cluster of the cluster of the address (K, R).
[0140]
Pixel position information indicating the pixel position of the next pixel having the feature amount corresponding to the feature amount address K is stored in the cluster at the address (S, R). The cluster of the address (K, R) stores the next feature amount address and the next cluster number indicating the position of the cluster of the address (S, R). Then, the pixel position information indicating the pixel position of the next pixel having the feature amount corresponding to the feature amount address K is stored in the cluster of the address (S, R) until the cluster of the address (S, R) is full. Stored.
[0141]
As described above, the feature amount frame memory 202, when the feature amount cannot be stored in the cluster of feature amount addresses corresponding to the feature amount, stores the pixel position information in the cluster of the other feature amount address having the largest free space. Store in order. The position of the cluster storing the pixel position information indicating the pixel position of the pixel having the same feature amount is sequentially specified by the next feature amount address and the next cluster number stored in the cluster.
[0142]
By doing so, the storage area of the feature amount frame memory 202 can be used effectively, and the pixel position information equal to the number of pixels of the frame, which is the maximum number of pixel position information, is set to 1 in advance. There is no need to secure one feature address. That is, in the image processing apparatus having the configuration shown in FIG. 11, the pixel position information corresponding to the pixels of one frame can be stored in a smaller storage area close to the number of pixels as a whole.
[0143]
If the feature amount frame memory 202 is configured by burst RAM (burst DRAM, burst SRAM, or pipeline burst SRAM, etc.) and the cluster is 4 to 8 words (one word is 32 bits), 1 By so-called burst transfer, in which a plurality of data is continuously transferred based on one address information, writing or reading can be performed more quickly in units of one cluster.
[0144]
Similar to the case of the feature amount frame memory 102, the feature amount frame memory 202 includes pixel position information corresponding to the current frame Fc (current frame) and pixel position information corresponding to the reference frame Fr (previous frame). Can be stored and read out respectively.
[0145]
Returning to FIG. 11, the reference pixel position detection unit 203 includes the feature amount of the target pixel supplied from the feature amount extraction unit 103 and the pixel position information of the reference frame Fr stored in the feature amount frame memory 202 in units of clusters. Based on the above, the pixel position of the pixel of the reference frame Fr having the same feature quantity as the feature quantity of the target pixel is detected. Then, the reference pixel position detection unit 203 determines the position of the pixel of the reference frame Fr whose destination is the target pixel from the pixel position of the pixel of the reference frame Fr having the same feature quantity as the detected feature quantity of the target pixel. Select. Then, the reference pixel position detection unit 203 refers to a position corresponding to the position of the target pixel from the pixel position information of the target pixel supplied from the feature amount extraction unit 103 and the pixel position of the selected pixel of the reference frame Fr. A motion vector starting from a pixel on the frame Fr and ending at a selected pixel of the reference frame Fr having the same feature quantity as that of the target pixel is obtained, and the obtained motion vector is output.
[0146]
FIG. 14 is a block diagram illustrating an example of the configuration of the address generation unit 201.
[0147]
The memory state storage unit 221 stores data indicating the storage state of the pixel position information of the feature amount frame memory 202 at the time of generating the address. For example, the memory state storage unit 221 stores data indicating the storage state of the pixel position information for each feature amount address of the feature amount frame memory 202. More specifically, the memory state storage unit 221 includes, for each feature amount address in the feature amount frame memory 202, the number of pixel position information indicating the position of the pixel of the feature amount corresponding to the feature amount address. The number of clusters storing the pixel position information indicating the position of the pixel of the feature amount corresponding to the feature amount address, and the next pixel position information corresponding to the feature amount address are stored in the cluster to be stored. The pixel position information corresponding to the feature quantity address, the feature quantity address corresponding to the feature quantity address where the cluster to store the next pixel position information is arranged, and the next pixel position information corresponding to the feature quantity address. The cluster address where the cluster to be stored is located and the pixel location information of the pixel of the feature quantity corresponding to the feature quantity address Large numbers (the maximum number of clusters R, subtracting the number of number of clusters for storing pixel position information of the feature amount of pixels corresponding to other feature amount Address) stores a.
[0148]
For example, the memory state storage unit 221 stores, in the M register, the number of pixel position information indicating the position of the pixel of the feature amount corresponding to the feature amount address 0 in the M register corresponding to the feature amount address 0. The number of clusters storing the pixel position information indicating the position of the pixel of the corresponding feature quantity is stored in the I register, and stored in the cluster to store the next pixel position information corresponding to the feature quantity address 0. The number of pixel position information being stored is stored in the Q register. The memory state storage unit 221 stores, in the storage destination feature value register, the feature value address corresponding to the feature value address 0 and the cluster where the next pixel position information corresponding to the feature value address 0 is stored is arranged. The cluster address where the cluster to store the next pixel position information corresponding to the feature quantity address 0 is stored is stored in the cluster current position register, and the pixel of the feature quantity corresponding to the feature quantity address 0 is stored. The maximum number of clusters for storing pixel position information is stored in the IMAX register.
[0149]
The memory state storage unit 221 corresponds to each of the feature amount address 1 to the feature amount address N-1, and is a pixel that indicates the position of the pixel of the feature amount corresponding to each of the feature amount address 1 to the feature amount address N-1. The number of position information is stored in the M register, and the number of clusters storing pixel position information indicating the position of the pixel of the feature amount corresponding to each of the feature amount address 1 to the feature amount address N-1 is stored in the I register. The number of pixel position information stored in the cluster to store the next pixel position information corresponding to each of the feature amount address 1 to the feature amount address N-1 is stored in the Q register. The memory state storage unit 221 stores the next pixel position information corresponding to each of the feature amount address 1 to the feature amount address N-1 corresponding to each of the feature amount address 1 to the feature amount address N-1. Is stored in the storage destination feature value register, and a cluster to store the next pixel position information corresponding to each of the feature value address 1 to the feature value address N-1 is stored. The allocated cluster address is stored in the cluster current position register, and the maximum number of clusters storing the pixel position information of the feature amount pixels corresponding to each of the feature amount address 1 to the feature amount address N-1 is stored in the IMAX register. Store.
[0150]
Based on the data indicating the storage state of the pixel position information in the feature amount frame memory 202 stored in the memory state storage unit 221, the determination unit 222 stores the pixel position information for each feature amount corresponding to each feature amount address. The number of pixel position information for each feature quantity corresponding to each feature quantity address is output. For example, the determination unit 222 outputs, as the number of pixel position information, the number of pixel position information stored in the M register and indicating the position of the pixel having the feature amount corresponding to each feature amount address.
[0151]
Based on the data indicating the storage state of the pixel position information of the feature amount frame memory 202 stored in the memory state storage unit 221, the determination unit 222 stores the next feature amount address and the next feature amount stored in the cluster. The cluster number is obtained and the next feature address and the next cluster number are output. For example, the determination unit 222 outputs, as the next feature quantity address, the feature quantity address stored in the storage destination feature quantity register in which the cluster where the next pixel position information is to be stored is arranged, and the cluster current The cluster address stored in the position register and stored for storing the next pixel position information is output as the next cluster number.
[0152]
The address calculation unit 223 generates an address for designating a cluster for storing the pixel position information based on the data stored in the memory state storage unit 221 and indicating the storage state of the pixel position information in the feature amount frame memory 202. Then, the generated address is output.
[0153]
FIG. 15 is a flowchart for explaining motion vector detection processing by the image processing apparatus having the configuration shown in FIG.
[0154]
In step S201, the feature amount extraction unit 101, the address generation unit 201, and the feature amount frame memory 202 store the pixel position information of the reference frame Fr by executing the process of storing the pixel position information of the reference frame Fr. . Details of the processing for storing the pixel position information will be described later with reference to the flowchart of FIG.
[0155]
In step S202, the feature amount extraction unit 103 and the reference pixel position detection unit 203 execute processing for detecting the position of the pixel corresponding to the target pixel, and have the same feature amount as the feature amount of the target pixel. The pixel position of this pixel is detected. Details of the process of detecting the position of the pixel corresponding to the target pixel will be described later with reference to the flowchart of FIG.
[0156]
The processing in step S203 and step S204 is the same as the processing in step S103 and step S104 in FIG.
[0157]
FIG. 16 is a flowchart for describing pixel position information storage processing corresponding to step S201.
[0158]
The processes in steps S221 and S222 are the same as the processes in steps S121 and S122 in FIG.
[0159]
In step S223, the address generation unit 201 initializes the data stored in the memory state storage unit 221. For example, the address generation unit 201 sets 0 in the M register, I register, and Q register of the memory state storage unit 221, sets the corresponding feature amount address in the storage destination feature amount register, and sets RMAX in the IMAX register. And set 0 in the cluster current position register.
[0160]
In step S225, the address generation unit 201 executes an address generation process for generating a cluster storing pixel position information and an address indicating a position on the cluster. Details of the address generation processing will be described later with reference to the flowcharts of FIGS. 17 and 18.
[0161]
In step S <b> 226, the address generation unit 201 writes the number of pixel position information corresponding to the feature amount in the feature amount frame memory 202.
[0162]
In step S227, the feature amount frame memory 202 writes pixel position information in a predetermined cluster based on the address generated by the process of step S225 and supplied from the address generation unit 201. When the next feature amount address and the next cluster number are supplied from the address generation unit 201, the feature amount frame memory 202 displays the next feature amount address and the next cluster number supplied from the address generation unit 201. It is stored in a predetermined cluster (a cluster in which pixel position information was previously stored).
[0163]
The processing in step S228 and step S229 is the same as the processing in step S128 and step S129 in FIG.
[0164]
Next, address generation processing corresponding to the processing in step S225 will be described with reference to the flowcharts of FIGS.
[0165]
In step S251, the determination unit 222 receives from the memory state storage unit 221 an M register, an I register, a Q register, a storage destination feature value register, an IMAX register, and a cluster corresponding to the feature value calculated in the process of step S224. Reads the value of the current position register. That is, the determination unit 222 obtains the values of the M register, I register, Q register, storage destination feature value register, IMAX register, and cluster current position register of the feature value address corresponding to the feature value from the memory state storage unit 221. read out.
[0166]
In step S252, the determination unit 222 determines whether the value of the Q register is equal to the maximum number of pixel position information that can be stored in the cluster, and the value of the Q register is the maximum number of pixel position information that can be stored in the cluster. If it is determined that the current storage destination cluster is still empty, the process proceeds to step S253, where the Q register indicating the storage position of the image position information of the cluster that is the storage destination of the current image position information is stored. Increment the value. The determination unit 222 stores the incremented value in the Q register of the feature amount address corresponding to the feature amount of the memory state storage unit 221.
[0167]
In step S254, the determination unit 222 increments the value of the M register indicating the number of image position information corresponding to the feature amount. The determination unit 222 stores the incremented value in the M register of the feature amount address corresponding to the feature amount of the memory state storage unit 221.
[0168]
In step S255, the determination unit 222 determines whether or not the value of the storage destination feature value register is equal to the feature value, and if it is determined that the value of the storage destination feature value register is equal to the feature value, the feature value Since the pixel position information is stored in the cluster specified by the feature amount address corresponding to, the process proceeds to step S256, and the address calculation unit 223 determines the feature amount, the value of the I register, and the Q that has been incremented in the process of step S253 The address for storing the pixel position information is calculated from the value of the register, and the process ends. For example, when the feature quantity is K, the I register is 3, and the value of the incremented Q register is 4, an address (K, 3) is calculated as the cluster address for storing the pixel position information. Further, an address for designating an area for storing the fourth pixel position information from the head of the cluster of the address (K, 3) is calculated.
[0169]
If it is determined in step S255 that the value of the storage destination feature value register is not equal to the feature value, the pixel position information is stored in the cluster specified by the feature value address other than the feature value address corresponding to the feature value. Therefore, the process proceeds to step S257, and the address calculation unit 223 stores the pixel position information from the value of the storage destination feature value register, the value of the cluster current position register, and the value of the Q register incremented in the process of step S253. And the process ends. For example, when the value of the storage destination feature value register is S, the value of the cluster current position register is 2, and the value of the incremented Q register is 3, the address of the cluster that stores the pixel position information is the address (S, 2) is calculated, and further, an address for designating an area for storing the third pixel position information from the head of the cluster of the address (S, 2) is calculated.
[0170]
If it is determined in step S252 that the value of the Q register is equal to the maximum number of pixel position information that can be stored in the cluster, the current storage destination cluster is empty, and the process proceeds to step S258. It is determined whether or not the value of the I register is greater than or equal to the value of the IMAX register.
[0171]
If it is determined in step S258 that the value of the I register is not greater than or equal to the value of the IMAX register, a further cluster can be arranged in the area specified by the feature amount address corresponding to the feature amount, and the process proceeds to step S259. The determination unit 222 increments the value of the I register indicating the number of clusters storing the pixel position information. The determination unit 222 stores the incremented value in the I register of the feature amount address corresponding to the feature amount of the memory state storage unit 221.
[0172]
In step S260, the address generation unit 201 causes the feature amount frame memory 202 to generate a cluster next to the current cluster. That is, the address generation unit 201 causes the feature amount frame memory 202 to generate a cluster at a position where the feature amount address corresponding to the feature amount and the incremented I register value are used as the cluster address. For example, when the feature amount address corresponding to the feature amount is K and the value of the incremented I register is R, the address generation unit 201 stores the position of the address (K, R) in the feature amount frame memory 202. Create a cluster.
[0173]
In step S261, the determination unit 222 initializes the value of the Q register. The determination unit 222 initializes the value of the Q register of the feature amount address corresponding to the feature amount in the memory state storage unit 221. For example, when the feature amount address corresponding to the feature amount is K, the determination unit 222 sets the value of the Q register corresponding to the feature amount address K to 1.
[0174]
In step S262, the determination unit 222 increments the value of the M register. The determination unit 222 sets the incremented M register value in the M register of the feature amount address corresponding to the feature amount.
[0175]
In step S263, the address calculation unit 223 generates an address specified by the first feature amount of the cluster generated in the process of step S260. For example, for example, when the feature amount address corresponding to the feature amount is K, the incremented I register value is R, and the initialized Q register value is 1, a cluster that stores pixel position information The address (K, R) is calculated as the address of, and an address for designating an area for storing the top pixel position information of the cluster of the address (K, R) is calculated.
[0176]
In step S264, the address calculation unit 223 outputs the feature amount address corresponding to the feature amount as the next feature amount address.
[0177]
In step S265, the address calculation unit 223 outputs the value of the I register incremented in the process of step S259 as the next cluster number, and the process ends.
[0178]
If it is determined in step S258 that the value of the I register is greater than or equal to the value of the IMAX register, no further cluster can be placed in the area specified by the feature amount address corresponding to the feature amount. In order to arrange a cluster in the area specified by the quantity address, the process proceeds to step S266, and the determination unit 222 searches for a feature quantity address having the smallest number of clusters. For example, the determination unit 222 obtains a feature amount address having the largest difference between the value of the IMAX register corresponding to each feature amount address of the memory state storage unit 221 and the value of the I register.
[0179]
In step S267, the determination unit 222 stores the feature quantity address with the smallest number of clusters searched for in the process of step S266 in the storage destination feature quantity register indicated by the feature quantity address corresponding to the feature quantity. For example, when the feature amount address corresponding to the feature amount is K and the feature amount address with the smallest number of clusters is S, the determination unit 222 stores S in the storage destination feature amount register of the feature amount address K. .
[0180]
In step S268, the address generation unit 201 causes the feature amount frame memory 202 to generate a cluster behind the region specified by the feature amount address with the smallest number of clusters (the side with the larger cluster address value). That is, the address generation unit 201, when no cluster has been arranged in the feature frame memory 202 at a position where the cluster address is the feature address with the smallest number of clusters and the maximum value of the cluster address, A cluster is generated at a position where the smallest feature quantity address and the maximum cluster address are cluster addresses. For example, when the feature quantity address with the smallest number of clusters is S and the maximum value of the cluster address is R, if no cluster is yet arranged at the position of the address (S, R), the address generation unit 201 Then, the cluster at the position of the address (S, R) is generated in the feature amount frame memory 202.
[0181]
When the cluster is already arranged in the feature amount frame memory 202 at the position where the feature amount address with the minimum number of clusters and the maximum value of the cluster address is the cluster address, the address generation unit 201 Create a cluster on the side of the smaller cluster address. For example, when the feature quantity address with the smallest number of clusters is S and the maximum value of the cluster address is R, when the cluster is already arranged at the address (S, R), the address generation unit 201 Then, the cluster at the position of the address (S, R-1) is generated in the feature amount frame memory 202.
[0182]
As described above, the address generation unit 201 causes the feature amount frame memory 202 to generate a cluster behind the cluster address in the area where the number of clusters is the minimum, that is, the area where the vacant area is the maximum.
[0183]
In step S269, the determination unit 222 stores the cluster address of the cluster generated in the process of step S268 in the cluster current position register of the feature amount address corresponding to the feature amount in the memory state storage unit 221.
[0184]
In step S270, the determination unit 222 decrements the value of the IMAX register of the feature amount address with the smallest number of clusters searched for in the process of step S266 in the memory state storage unit 221. That is, since the cluster is generated in the process of step S268 in the area of the feature amount address with the smallest number of clusters, the pixel position information of the pixel with the feature amount corresponding to the feature amount address with the smallest number of clusters is stored. 1 is subtracted from the value of the IMAX register storing the maximum number of clusters to be executed.
[0185]
In step S271, the determination unit 222 initializes the value of the Q register. The determination unit 222 initializes the value of the Q register of the feature amount address corresponding to the feature amount in the memory state storage unit 221. For example, when the feature amount address corresponding to the feature amount is K, the determination unit 222 sets the value of the Q register corresponding to the feature amount address K to 1.
[0186]
In step S272, the determination unit 222 increments the value of the I register indicating the number of clusters storing pixel position information indicating the pixel position of the feature amount. The determination unit 222 stores the incremented value in the I register of the feature amount address corresponding to the feature amount of the memory state storage unit 221.
[0187]
In step S273, the determination unit 222 increments the value of the M register. The determination unit 222 sets the incremented value of the M register in the M register of the feature amount address corresponding to the feature amount.
[0188]
In step S274, the address calculation unit 223 generates an address specified by the first feature amount of the cluster generated in the process of step S268. For example, for example, when the value of the storage destination feature value register is S, the value of the cluster current position register is R, and the value of the initialized Q register is 1, the address of the cluster that stores the pixel position information Then, an address (S, R) is calculated, and further, an address for designating an area for storing the top pixel position information of the cluster of the address (S, R) is calculated.
[0189]
In step S275, the address calculation unit 223 outputs the value of the storage destination feature value register as the next feature value address.
[0190]
In step S265, the address calculation unit 223 outputs the value of the cluster current position register as the next cluster number, and the process ends.
[0191]
Next, a process for detecting a pixel position corresponding to the target pixel, corresponding to the process in step S202, will be described with reference to the flowchart in FIG.
[0192]
The processing in step S301 and step S302 is the same as the processing in step S141 and step S142 in FIG.
[0193]
In step S303, the reference pixel position detection unit 203 performs a process of reading pixel position information corresponding to the feature amount. Details of the process of reading pixel position information corresponding to the feature amount will be described with reference to the flowchart of FIG.
[0194]
The processing from step S304 to step S306 is the same as the processing from step S144 to step S146 in FIG.
[0195]
In step S <b> 307, the reference pixel position detection unit 203 performs a process of reading pixel position information corresponding to a nearby feature amount.
[0196]
The processing from step S308 to step S313 is the same as the processing from step S148 to step S153 in FIG.
[0197]
FIG. 20 is a flowchart for explaining the process of reading pixel position information corresponding to the feature amount, corresponding to the process of step 303.
[0198]
In step S <b> 331, the reference pixel position detection unit 203 reads the number of pixel position information corresponding to the feature amount from the feature amount frame memory 202. For example, when the feature amount address corresponding to the feature amount is K, the reference pixel position detection unit 203 counts the number L of pixel position information that is the feature amount address K in the feature amount frame memory 202. _K Is read.
[0199]
In step S <b> 332 that is executed first, the reference pixel position detection unit 203 reads from the feature amount frame memory 202 a cluster that is designated by a feature amount address corresponding to the feature amount and has a cluster address of 1. For example, when the feature quantity address corresponding to the feature quantity is K, the reference pixel position detection unit 203 reads the cluster at the address (K, 1) from the feature quantity frame memory 202.
[0200]
In step S333, the reference pixel position detection unit 203 reads pixel position information stored in the cluster read in the process of step S332. One or more pixel position information is stored in the cluster.
[0201]
In step S334, the reference pixel position detection unit 203 calculates the sum of the read pixel position information. For example, in the first process of step S334, the number of pixel position information read in the process of step S332 is set to the sum of the read pixel position information, and the second process executed by repeating the process. In the subsequent process of step S334, the number of pixel position information read out in the process of step S332 is added to the sum of the already calculated pixel position information.
[0202]
In step S335, the reference pixel position detection unit 203 calculates the pixel position information corresponding to the feature amount read by the process of step S331, as the sum of the read pixel position information calculated by the process of step S334. If it is determined whether or not the sum of the read pixel position information is less than the number of pixel positions corresponding to the feature amount, pixel position information that has not been read yet is determined. Therefore, the process proceeds to step S336, the next feature amount address and the next cluster number are read from the cluster read in the process of step S332, and the procedure proceeds to step S332.
[0203]
In the second and subsequent steps S332, the reference pixel position detection unit 203 reads the cluster specified by the next feature amount address and the next cluster number read in the processing of step S336, and performs the subsequent processing. repeat. For example, when the next feature amount address is S and the next cluster number is R, the reference pixel position detection unit 203 reads the cluster at the address (S, R).
[0204]
If it is determined in step S335 that the sum of the read pixel position information is not less than the number of pixel positions corresponding to the feature amount, all the pixel position information corresponding to the feature amount has been read. Ends.
[0205]
Note that the processing in step S307 is the same as the processing described with reference to the flowchart of FIG.
[0206]
As described above, the image processing apparatus having the configuration shown in FIG. 11 can detect a motion vector with a smaller storage area. That is, in the image processing apparatus having the configuration shown in FIG. 11, when the pixel position information corresponding to the feature amount for the reference frame Fr is stored in the feature amount frame memory 202, the pixel position information that can be generated in the feature amount frame memory 202 is Free space that is not stored can be reduced.
[0207]
In this manner, the feature quantity of the first pixel of the second frame, which is a temporally previous frame with respect to the first frame, is extracted, and the first address corresponding to the feature quantity of the first pixel is extracted. Controls the storage of pixel position information indicating the position of the first pixel in the specified region, extracts the feature quantity of the second pixel of the first frame, and stores the stored first pixel Based on the pixel position information indicating the position, the position of the first pixel whose destination is the second pixel is selected from the positions of the first pixel having the same feature quantity as that of the second pixel. In such a case, a motion vector can be detected.
[0208]
In addition, the feature amount of the first pixel of the second frame, which is a temporally previous frame with respect to the first frame, is extracted and designated by the first address corresponding to the feature amount of the first pixel. Control the storage of pixel position information indicating the position of the first pixel in the region, extract the feature quantity of the second pixel of the first frame, and store the stored position of the first pixel Based on the pixel position information shown, the position of the first pixel whose destination is the second pixel is selected from the positions of the first pixel having the same feature quantity as the feature quantity of the second pixel, When there is no more space in the area specified by the first address corresponding to the feature quantity of the first pixel, the pixel position information indicating the position of the first pixel in the area specified by the second address An area for controlling the storage and specifying pixel position information indicating the position of the first pixel by the second address If you to control the storage of information indicating that the storage is a smaller amount of calculation, more quickly, it can be detected more accurate motion vector.
[0209]
Next, still another configuration of the image processing apparatus according to the present invention will be described. FIG. 21 is a block diagram showing the configuration of still another embodiment of the image processing apparatus according to the present invention. The same parts as those shown in FIG. 6 are denoted by the same reference numerals, and the description thereof is omitted.
[0210]
The feature amount storage unit 401 acquires the pixel position information indicating the position of the reference pixel and the feature amount corresponding to the reference pixel supplied from the feature amount extraction unit 101, and calculates the number of pixel position information corresponding to the feature amount. The pixel position information is stored by indicating the next pixel position with a pointer.
[0211]
FIG. 22 is a block diagram illustrating an example of the configuration of the feature amount storage unit 401.
[0212]
The storage control unit 421 controls the writing and reading of data to and from the index memory 422 and the frame memory 423, thereby storing the number of pixel position information corresponding to the feature amount in the feature amount storage unit 401, and the pixel position Controls the storage of the pointer indicating.
[0213]
The index memory 422 includes, for each feature amount address corresponding to the feature amount, the number of feature amounts corresponding to the feature amount, that is, the number of pixel position information, the top pixel position of the pixel position information sequentially indicated by the pointer, and Of the pixel position information sequentially indicated by the pointer, the last pixel position is stored.
[0214]
The order of the pixel positions indicated by the pointers in this case corresponds to the order in which the feature amount extraction unit 101 selects the reference pixels, and is, for example, the raster scan order. However, this order does not limit the present invention, and can be an arbitrary order such as a zigzag scan direction.
[0215]
The frame memory 423 stores a pointer indicating the connection between the pixel positions of the pixels corresponding to the feature amount, with the region D as a unit. One direction for specifying the position of the area D of the frame memory 423 corresponds to one of the spatial directions of the image, for example, the spatial direction x (the horizontal direction of the image), and specifies the position of the area D of the frame memory 423. The other direction to do corresponds to the other of the spatial direction of the image, for example, the spatial direction y (vertical direction of the image). In the frame memory 423, the position of the region D is specified by a two-dimensional address on the frame memory 423, and simultaneously indicates the pixel position of the pixel on the screen. In other words, one area D of the frame memory 423 corresponds to one pixel of the reference frame Fr. Accordingly, the same number of regions D as the number of pixels on the screen (one frame) are arranged in the frame memory 423 corresponding to the pixels on the screen (frame).
[0216]
Each area D of the frame memory 423 is a pointer, and stores information indicating the position of the area D corresponding to the next pixel having the same feature quantity as that of the pixel corresponding to itself. Since the position of the pixel corresponds to the position of the area D, it can be said that the area D of the frame memory 423 stores information indicating the position of the next pixel of the same feature amount.
[0217]
For example, the index memory 422 stores the region D in the figure as the pixel position of the first pixel of the feature amount corresponding to the feature amount address K. ₁ Is stored, the pixel position of the first pixel of the feature amount corresponding to the feature amount address K is the region D. ₁ It can be seen that the pixel position corresponds to the position of.
[0218]
Area D of frame memory 423 ₁ Includes a region D which is the position of the next pixel of the feature amount corresponding to the feature amount address K. ₂ The information (address) indicating the position of is stored. Since the position of the area D corresponds to the pixel position of the pixel, the area D of the frame memory 423 ₁ To the next region D ₂ Is read out, the pixel position of the second pixel of the feature amount corresponding to the feature amount address K is changed to the region D. ₂ It can be seen that the pixel position corresponds to the position of.
[0219]
Similarly, the area D of the frame memory 423 ₂ Includes a region D which is the position of the next pixel of the feature amount corresponding to the feature amount address K. _Three The information (address) indicating the position of is stored. Since the position of the area D corresponds to the pixel position of the pixel, the area D of the frame memory 423 ₂ To the next region D _Three Is read out, the pixel position of the third pixel of the feature amount corresponding to the feature amount address K is changed to the region D. _Three It can be seen that the pixel position corresponds to the position of.
[0220]
Thus, the feature quantity corresponding to the feature quantity address K is sequentially traced from the head pixel position stored in the index memory 422 having the feature quantity address K to the pointer stored in the frame memory 423. The pixel position of this pixel can be obtained.
[0221]
As described above, in the frame memory 423, storage areas are arranged corresponding to the positions of the pixels of the image, and information (pointers) indicating the next pixel position of a predetermined feature amount is stored in each storage area. The That is, the position of the pixel of the reference frame Fr that is the next pixel of the same feature amount is sequentially stored in the area D of the frame memory 423 at the position indicating the position of the pixel of the reference frame Fr.
[0222]
Then, the position of the first pixel among the positions of the pixels having the same feature amount in the reference frame Fr is stored in the head pixel position of the index memory 422.
[0223]
Therefore, the feature amount storage unit 401 stores the frame memory corresponding to the number of feature amounts from the first pixel position to the last pixel position corresponding to each feature amount address stored in the index memory 422. By following the pointers stored in 423 in order, the pixel position of the pixel having the feature amount corresponding to each feature amount address can be obtained.
[0224]
Returning to FIG. 21, the reference pixel position detection unit 402 determines the feature amount of the target pixel based on the feature amount of the target pixel supplied from the feature amount extraction unit 103 and the information stored in the feature amount storage unit 401. A pixel position of a pixel of the reference frame Fr having the same feature amount is detected. Then, the reference pixel position detection unit 402 determines the position of the pixel of the reference frame Fr whose destination is the target pixel from the pixel position of the pixel of the reference frame Fr having the same feature quantity as the detected feature quantity of the target pixel. Select. Then, the reference pixel position detection unit 402 refers to a position corresponding to the position of the target pixel from the pixel position information of the target pixel supplied from the feature amount extraction unit 103 and the pixel position of the selected pixel of the reference frame Fr. A motion vector starting from a pixel on the frame Fr and ending at a selected pixel of the reference frame Fr having the same feature quantity as that of the target pixel is obtained, and the obtained motion vector is output.
[0225]
FIG. 23 is a diagram illustrating an example of data stored in the index memory 422 for each feature amount address corresponding to the feature amount. The number of feature amounts is the number of feature amounts, that is, the number of pixel position information of the pixels of the feature amount corresponding to the feature amount address (the number of pixels of the feature amount corresponding to the feature amount address, and the number of regions D) is there).
[0226]
The head pixel position is the pixel position of the head pixel of the feature amount corresponding to the feature amount address. That is, the head pixel position indicates the address of the area D of the frame memory 423 corresponding to the head pixel of the feature amount corresponding to the feature amount address.
[0227]
The end pixel position is the pixel position of the last pixel of the feature amount corresponding to the feature amount address. That is, the end pixel position indicates the address of the region D of the frame memory 423 corresponding to the last pixel of the feature amount corresponding to the feature amount address.
[0228]
When the area D is sequentially traced from the next position stored in the area D of the frame memory 423 at the position (address) indicated by the first pixel position, the area D at the position indicated by the final pixel position is reached. . For example, null is stored in the region D at the position indicated by the final pixel position.
[0229]
The motion vector detection process shown in FIG. 21 is the same as the process shown in the flowchart of FIG.
[0230]
A process of storing pixel position information corresponding to the process of step S101 when the image processing apparatus has the configuration shown in FIG. 21 will be described with reference to the flowchart of FIG.
[0231]
In step S401, the storage control unit 421 initializes data stored in the index memory 422 and the frame memory 423. For example, the storage control unit 421 sets the number of feature amounts to 0, and sets null for the top pixel position and the end pixel position. Further, for example, the storage control unit 421 sets null for all the regions D of the frame memory 423.
[0232]
In step S402, the feature amount extraction unit 101 initializes a counter variable n. The counter variable n is a variable for counting the number of pixels to be processed. For example, the feature amount frame memory 102 sets 1 to the counter variable n.
[0233]
In step S403, the feature amount extraction unit 101 sequentially selects pixels that have not yet been set as reference pixels from the pixels of the reference frame Fr and sets them as reference pixels. The feature amount extraction unit 101 extracts the feature amount of the reference pixel by calculating the feature amount of the block corresponding to the reference pixel, and uses the extracted feature amount together with pixel position information indicating the position of the reference pixel as a feature amount rule. Supplied to the unit 401. For example, the feature amount extraction unit 101 calculates a feature amount that is a value obtained by arranging pixel values of pixels included in a 3 × 3 block centered on the reference pixel in a predetermined order.
[0234]
In step S <b> 404, the storage control unit 421 reads out the feature quantity number corresponding to the feature quantity from the index memory 422. For example, the storage control unit 421 reads the feature quantity number of the feature quantity address corresponding to the feature quantity from the index memory 422.
[0235]
In step S405, the storage control unit 421 determines whether or not it is the first pixel corresponding to the feature amount, that is, whether or not the number of feature amounts corresponding to the feature amount read out in step S404 is zero. If it is determined that the pixel is the first pixel, the pixel position of the first pixel needs to be stored in the index 422. Therefore, the process proceeds to step S406, and the feature amount address corresponding to the feature amount of the index 422 is stored. The pixel position information acquired in the process of step S403 is written in the start pixel position and the end pixel position, and the process proceeds to step S407.
[0236]
If it is determined in step S405 that the pixel is not the first pixel, it is not necessary to store the pixel position of the pixel in the first pixel position of the index 422. Therefore, the process of step S406 is skipped, and the procedure proceeds to step S407.
[0237]
In step S407, the storage control unit 421 increments the number of feature values read in the process of step S404. That is, the storage control unit 421 adds 1 to the feature quantity number.
[0238]
In step S <b> 408, the storage control unit 421 writes the feature quantity number incremented in the process of step S <b> 407 to the feature quantity number of the feature quantity address corresponding to the feature quantity in the index memory 422.
[0239]
In step S409, the storage control unit 421 reads the end pixel position of the feature amount address corresponding to the feature amount, and writes the pixel position information in the area D indicated by the end pixel position in the frame memory 423. In this case, when the end pixel position is the same as the top pixel position (when it is the top pixel), the storage control unit 421 does not write the pixel position information because there is no region D to be written.
[0240]
In step S410, the storage control unit 421 writes pixel position information at the end pixel position of the feature amount address corresponding to the feature amount in the index memory 422.
[0241]
Through the processing in step S409 and step S410, the current pixel position information is stored in the region D corresponding to the last pixel position and the previous pixel of the same feature amount.
[0242]
In step S411, the feature amount extraction unit 101 increments the counter variable n. That is, the feature quantity extraction unit 101 adds 1 to the value of the counter variable n.
[0243]
In step S412, the feature amount extraction unit 101 determines whether the value of the counter variable n is equal to the number of pixels in the frame, and determines that the value of the counter variable n is not equal to the number of pixels in the frame. If there is still a pixel that is not a reference pixel, that is, there is a pixel from which the feature amount has not been extracted, the process returns to step S403, the above-described processing is repeated, and the next feature amount is extracted to obtain the feature amount. Store in the storage unit 401.
[0244]
If it is determined in step S412 that the value of the counter variable n is equal to the number of pixels in the frame, all the pixels in the frame are used as reference pixels, and the feature values of all the pixels in the frame are extracted. Since the data is stored in the storage unit 401, the processing ends.
[0245]
When the image processing apparatus has the configuration shown in FIG. 21, the processing corresponding to the processing in step S102 is the same as the processing with reference to the flowchart in FIG.
[0246]
The pixel position information reading process corresponding to the feature amount corresponding to the process of step S303 when the image processing apparatus has the configuration shown in FIG. 21 will be described with reference to the flowchart of FIG.
[0247]
In step S <b> 431, the storage control unit 421 of the feature amount storage unit 401 reads the value of the number of feature amounts, the top pixel position, and the end pixel position corresponding to the feature amount from the index memory 422. For example, when a feature amount is supplied from the reference pixel position detection unit 402 and pixel position information corresponding to the feature amount is requested, the storage control unit 421 stores a feature amount address corresponding to the feature amount from the index memory 422. The number of feature amounts, the top pixel position, and the end pixel position are read out.
[0248]
In step S432, the storage control unit 421 determines whether or not the number of feature amounts acquired in the process of step S431 is 1 or more. If it is determined that the number of feature amounts is 1 or more, the storage control unit 421 corresponds to the feature amount. Since the obtained pixel position information exists, the process proceeds to step S433, and the head pixel position acquired in the process of step S431 is set as the pixel position information and the pixel position information of the reference pixel. Pixel position information indicating the position of the first pixel is supplied to the reference pixel position detection unit 402.
[0249]
In step S434, the storage control unit 421 determines whether or not the number of feature amounts is 1. If it is determined that the number of feature amounts is 1, there is no pixel of the feature amount other than the top pixel. The process ends.
[0250]
If it is determined in step S434 that the number of feature amounts is not 1, there are two or more pixels of the feature amount, and thus the process proceeds to step S435, and the storage control unit 421 uses the pixel position information of the reference pixel in the frame memory 423. From the area D shown, information indicating the position of the next area D, that is, pixel position information indicating the pixel position of the next pixel of the same feature amount is read.
[0251]
In step S436, the storage control unit 421 sets the pixel position information read out in the process of step S435 to the next pixel position information and the pixel position information of the reference pixel. The next pixel position information is output to the reference pixel position detection unit 402.
[0252]
In step S437, the storage control unit 421 determines whether the pixel position indicated by the pixel position information of the reference pixel set in the process of step S436 is equal to the value of the end pixel position read in the process of step S431. If the pixel position indicated by the pixel position information of the reference pixel is determined not to be equal to the value of the end pixel position, the pixel position information that has not yet been read out in the pixel position information corresponding to the feature amount Therefore, the process returns to step S435, and the pixel position information reading process is repeated.
[0253]
In step S437, when it is determined that the pixel position indicated by the pixel position information of the reference pixel is equal to the value of the end pixel position, all of the pixel position information corresponding to the feature amount has been read, and thus the process ends. To do.
[0254]
If it is determined in step S432 that the number of feature amounts is not 1 or more, there is no pixel corresponding to the feature amount, and there is no pixel position information, so the processing ends.
[0255]
As described above, in the image processing apparatus having the configuration shown in FIG. 21, the pixel position information can be stored and the stored pixel position information is read out with almost no vacancy in the area for storing the pixel position information. be able to. In the image processing apparatus having the configuration shown in FIG. 21, pixel position information can be reliably stored in a smaller storage area.
[0256]
That is, the feature amount of the pixel of the second frame, which is a temporally previous frame with respect to the first frame, is extracted, and the same feature is applied to the first region at the position indicating the position of the pixel of the second frame. The next feature pixel is controlled so that the positions of the pixels in the second frame are sequentially stored, and the same feature value is stored in the second region specified by the address corresponding to the feature value of the pixel. The memory is controlled so as to store the memory of the position of the first pixel among the positions of the pixels, the feature amount of the pixel of the first frame is extracted, and the second specified by the address corresponding to the feature amount The first pixel position, the next pixel position of the same feature quantity stored in the first area, and the pixel position stored in the first area are stored in the first area. Based on the position of one region, the characteristics of the pixels of the first frame If the position of the second frame pixel, which is the first frame pixel, is selected from the pixel position of the second frame having the same feature amount as With quantities, more accurate motion vectors can be detected more quickly.
[0257]
FIG. 26 is a block diagram showing a configuration of still another embodiment of the image processing apparatus according to the present invention.
[0258]
The same parts as those shown in FIG. 11 are denoted by the same reference numerals, and the description thereof is omitted.
[0259]
The feature amount histogram generation unit 601 obtains the number of pixels for each feature amount based on the feature amount and pixel position information supplied from the feature amount extraction unit 101, and indicates the number of pixels for each feature amount. Distribution information is supplied to the address generation unit 602. The feature amount histogram generation unit 601 supplies the feature amount and pixel position information supplied from the feature amount extraction unit 101 to the address generation unit 602 as they are.
[0260]
The address generation unit 602 generates the next feature amount address and the next cluster number for specifying the next cluster of the cluster based on the feature amount distribution information supplied from the feature amount histogram generation unit 601, and the pixel position information At the same time, the generated next feature quantity address and next cluster number are supplied to the feature quantity frame memory 202.
[0261]
The address generation unit 602 also supplies the feature amount frame memory 202 with the number of pixel position information for each feature amount included in the feature amount distribution information supplied from the feature amount histogram generation unit 601.
[0262]
The pixel value frame memory 603 stores the input image in units of frames, and supplies the stored image frames to the feature amount extraction unit 103 at a timing delayed for a period corresponding to one frame. In the image processing apparatus having the configuration shown in FIG. 26, since the period required for the processing of the feature amount histogram generation unit 601 is a period corresponding to one frame, the pixel value frame memory 603 delays the period corresponding to one frame. Is supplied to the feature amount extraction unit 103. Therefore, the relationship between the frame corresponding to the pixel position information stored in the feature amount frame memory 202 and supplied to the reference pixel position detection unit 203 and the frame corresponding to the feature amount output from the feature amount extraction unit 103 is This is equivalent to the image processing apparatus having the configuration shown in FIG. That is, the feature amount frame memory 202 supplies pixel position information corresponding to the reference frame Fr (the previous frame) to the reference pixel position detection unit 203, and the feature amount extraction unit 103 determines that the current frame Fc (current frame) ) And the pixel position information corresponding to the reference pixel position detection unit 203. The current frame Fc in the image processing apparatus having the configuration shown in FIG. 26 is one previous frame with respect to the current frame of the input image.
[0263]
FIG. 27 is a flowchart for explaining motion vector detection processing by the image processing apparatus having the configuration shown in FIG.
[0264]
In step S601, the feature amount extraction unit 101 and the feature amount histogram generation unit 601 obtain a feature amount distribution. That is, the feature amount extraction unit 101 extracts a feature amount corresponding to each pixel of the frame of the input image, and includes pixel position information indicating the position of the target pixel together with the extracted feature amount. This is supplied to the histogram generation unit 601. The feature amount histogram generation unit 601 calculates the number of pixels for each feature amount based on the feature amount and pixel position information supplied from the feature amount extraction unit 101, and indicates the number of pixels for each feature amount. Distribution information is supplied to the address generation unit 602.
[0265]
In step S <b> 602, the address generation unit 602 executes address reassignment processing for setting the next feature amount address and the next cluster number in the cluster of the feature amount frame memory 202. That is, a cluster for storing the pixel position information is secured for each feature amount by the address rearrangement process. Details of the address rearrangement process will be described later with reference to the flowcharts of FIGS.
[0266]
In step S603, the feature amount frame memory 202 stores the pixel position information of the reference frame Fr by executing a process of storing the pixel position information. The pixel position information is stored in a cluster secured for each feature amount secured by the processing in step S602. Details of the processing for storing the pixel position information in step S603 will be described later with reference to the flowchart of FIG.
[0267]
The processes in steps S604 to S606 are the same as the processes in steps S202 to S204 in FIG.
[0268]
With reference to the flowcharts of FIG. 28 and FIG. 29, an example of address rearrangement processing corresponding to the processing in step S602 when one pixel position information is stored in each cluster will be described.
[0269]
Before executing the following processing, all clusters that can be arranged are generated in the feature amount frame memory 202 in advance, and the generated clusters are initialized.
[0270]
In step S621, the address generation unit 602 initializes the feature amount address variable n. The feature quantity address variable n is a variable for specifying the feature quantity address. For example, when the feature quantity address is any value from 0 to N-1, the feature quantity address variable n is 0 to N. Any value of -1 is set. For example, when the feature amount address is any value from 0 to N−1, 0 is set to the feature amount address variable n in the process of step S621.
[0271]
In step S622, the address generation unit 602 determines whether or not the number hn of pixel position information of the feature amount corresponding to the feature amount address indicated by the value of the feature amount address variable n exceeds the maximum storage number M. To do. The number hn of pixel position information of the feature amount corresponding to the feature amount address is the same as the number of pixels for each feature amount included in the feature amount distribution information. The maximum storage number M refers to the number of pixel position information that can be stored in one row of clusters arranged in the row direction (lateral direction) in FIG. In this case, since one pixel position information is stored in each cluster, the maximum storage number M is equal to the number of clusters in one row.
[0272]
If it is determined in step S622 that the number hn of pixel position information of the feature amount corresponding to the feature amount address does not exceed the maximum storage number M, all pixel positions corresponding to the feature amount are included in the cluster of one row. Since the information can be stored, the process proceeds to step S623, and the address generation unit 602 sets the number hn of pixel position information of the feature amount corresponding to the feature amount address n as the determined region number sn. The determined area number sn indicates the number of clusters in which pixel position information is determined to be stored among the clusters of the feature amount address n.
[0273]
In step S624, the address generation unit 602 reserves the next feature quantity address and the next cluster so as to secure a cluster of feature quantity addresses indicated by the feature quantity address variable n for the number hn of pixel position information of the feature quantity. A number is set, and the process proceeds to step S625. For example, when the number hn of pixel position information of the feature amount is L, the address generation unit 602 assigns the address (n, 2) to each of the clusters of the address (n, 1) to the address (n, L−1). To the next feature amount address and the next cluster number indicating each of the clusters of address (n, L). More specifically, the address generation unit 602 sets the next feature amount address and the next cluster number indicating the cluster of the address (n, 2) to the cluster of the address (n, 1), and sets the address (n , 2), in order to set the next feature quantity address and the next cluster number indicating the cluster of the address (n, 3), the L-1 clusters are sequentially pointed to the next cluster. Next feature address and next cluster number are set in.
[0274]
In step S622, when it is determined that the number hn of pixel position information of the feature amount corresponding to the feature amount address exceeds the maximum storage number M, all pixel positions corresponding to the feature amount are included in one row of clusters. Since information cannot be stored (that is, a cluster of other feature amount addresses is required), the processing in steps S623 and S624 is skipped, and the procedure proceeds to step S625.
[0275]
In step S625, the address generation unit 602 determines whether the value of the feature quantity address variable n is N−1 or more, and determines that the value of the feature quantity address variable n is not N−1 or more. In this case, since the processing from step S622 to step S624 has not been completed for all the feature quantity addresses, the process proceeds to step S626, the feature quantity address variable n is incremented, and the process returns to step S622. Repeat the process.
[0276]
If it is determined in step S625 that the value of the feature amount address variable n is N−1 or more, the processing in steps S622 to S624 has been completed for all feature amount addresses, and the process proceeds to step S627.
[0277]
In step S627, the address generation unit 602 initializes the feature amount address variable n. In step S628, the address generation unit 602 determines whether or not the number hn of pixel position information of the feature amount corresponding to the feature amount address indicated by the value of the feature amount address variable n exceeds the maximum storage number M. If it is determined that the number hn of pixel position information of feature amounts exceeds the maximum storage number M, pixel position information corresponding to the feature amounts must be stored in a cluster of two or more rows ( Since a cluster of another feature amount address is required), the process proceeds to step S629, and the maximum storage number M is set as the determined area number sn of the feature amount address variable n.
[0278]
In step S630, the address generation unit 602 secures all the clusters of the feature amount address indicated by the feature amount address variable n by the number hn of the pixel position information of the feature amount, and the next feature amount address and the next feature amount. Set the cluster number. For example, the address generation unit 602 indicates each of the clusters of address (n, 2) to address (n, M) to each of the clusters of address (n, 1) to address (n, M−1). Set the feature address and next cluster number.
[0279]
In step S631, the address generation unit 602 obtains a feature amount address m having the largest number of free clusters. For example, the address generation unit 602 stores the number of clusters not designated by the next feature value address and the next cluster number among M clusters specified by one feature value address, that is, pixel position information is stored. The feature amount address m having the maximum number of undecided clusters is obtained from the feature amount addresses 0 to N-1.
[0280]
In step S632, the address generation unit 602 determines whether the number of clusters necessary for further storing the pixel position information exceeds the number of free clusters of the feature amount address m. For example, the number of clusters necessary for further storing the pixel position information is indicated by hn-sn. The number of vacant clusters at the feature quantity address m is indicated by M-sm. Here, the determined area number sm indicates the number of clusters in which pixel position information is determined to be stored among clusters of the feature amount address m.
[0281]
If it is determined in step S632 that the number of clusters necessary for further storing the pixel position information does not exceed the number of free clusters at the feature amount address m, the remaining pixels in the free cluster at the feature amount address m Since all of the position information can be stored, the process advances to step S633, and the address generation unit 602 secures the number of clusters necessary for storing the pixel position information among the vacant clusters having the feature amount address m. Next feature address and next cluster number are set.
[0282]
In step S634, the address generation unit 602 updates the determined area number sn of the feature amount address n. In other words, the address generation unit 602 sets the number hn of pixel position information of the feature amount corresponding to the feature amount address n as the determined area number sn of the feature amount address n.
[0283]
In step S635, the address generation unit 602 updates the number of defined areas sm of the feature amount address m. That is, the address generation unit 602 adds the number of clusters determined to store the pixel position information in the process of step S633 to the determined area number sm of the feature amount address m.
[0284]
In step S636, the address generation unit 602 determines whether the value of the feature quantity address variable n is N−1 or more, and determines that the value of the feature quantity address variable n is not N−1 or more. In this case, since the processing from step S628 to step S635 or the processing from step S638 to step S640 has not been completed for all the feature amount addresses, the process proceeds to step S637, the feature amount address variable n is incremented, and the process proceeds to step S628. Returning, the process is repeated for the next feature value address.
[0285]
When it is determined in step S636 that the value of the feature value address variable n is N−1 or more, the processing from step S628 to step S635 or the processing from step S638 to step S640 is completed for all feature value addresses. Thus, the process ends.
[0286]
If it is determined in step S632 that the number of clusters necessary for further storing the pixel position information exceeds the number of free clusters at the feature amount address m, the remaining pixels in the free cluster at the feature amount address m Since all of the position information cannot be stored, the process proceeds to step S638, and the next feature amount address and the next cluster number are set so as to secure all the empty clusters of the feature amount address m.
[0287]
In step S639, the address generation unit 602 updates the number of defined areas sn of the feature amount address n. In other words, the address generation unit 602 adds the number of clusters determined to store pixel position information in the process of step S638 to the number of defined areas sn of the feature amount address n.
[0288]
In step S640, the address generation unit 602 updates the determined area number sm of the feature amount address m, returns to step S631, and repeats the process of securing a free cluster. In other words, the address generation unit 602 adds the number of clusters determined to store pixel position information in the process of step S638 to the number of determined areas sm of the feature amount address m. The maximum storage number M is set to the determined area number sm of the feature amount address m.
[0289]
As described above, an area necessary for storing the pixel position information is secured for each feature amount by the address rearrangement process. That is, the cluster in which the pixel position information for each feature amount is stored is determined by the next feature amount address and the next cluster number stored in the cluster.
[0290]
Next, a process for storing pixel position information corresponding to the process in step S603 will be described with reference to the flowchart in FIG.
[0291]
The processes in steps S661 to S666 are the same as the processes in steps S121 to S126 in FIG.
[0292]
In step S667, the feature amount frame memory 202 writes pixel position information to the cluster based on the next feature amount address and the next cluster number stored in each cluster. That is, when the feature amount frame memory 202 writes the first pixel position information of the feature amount corresponding to the feature amount address K, the feature amount frame memory 202 writes the pixel position information to the cluster at the address (K, 1). When the feature amount frame memory 202 writes the second and subsequent pixel position information of the feature amount corresponding to the feature amount address K, the next feature amount address stored in the cluster in which the previous pixel position information was written. The pixel position information is written in the cluster whose address is specified by the next cluster number.
[0293]
Since the processing of step S668 and step S669 is the same as the processing of step S128 and step S129 of FIG. 9, respectively, description thereof is omitted.
[0294]
In this manner, in the image processing apparatus having the configuration shown in FIG. 26, since the pixel position information is written in the vacant area, it is not necessary to provide an extra area in the feature amount frame memory 202, and the minimum necessary amount. The feature amount frame memory 202 can be configured with the storage area. Further, the pixel position information is surely stored.
[0295]
FIG. 31 is a block diagram showing a configuration of still another embodiment of the image processing apparatus according to the present invention. The same parts as those shown in FIG. 6 are denoted by the same reference numerals, and the description thereof is omitted.
[0296]
An image input to the image processing apparatus having the configuration shown in FIG. 31 is supplied to the frame memory 701, the line memory 703, the feature amount extraction unit 101, and the feature amount extraction unit 103.
[0297]
For example, when an image (image data) is input at time t1, the frame memory 701 stores and stores information for one frame. Further, when the next frame image is input at time t2, which is the next timing, the frame memory 701 stores and stores the newly input image for one frame at time t2, and at the time t1. Are output to the search area generation unit 702. That is, the frame memory 701 supplies a pixel value to the search area generation unit 702 by delaying a period corresponding to one frame and using one frame as a unit.
[0298]
In addition, the line memory 703 stores an input image of a predetermined line of one frame input at the timing of time t2, and outputs the image to the block generation unit 704 within the timing of time t2.
[0299]
That is, when the frame memory 701 stores and stores the image information for one frame (current) input at the timing of the above-described time t2, the frame memory 701 stores the image information of the time t1 (one timing past). The pixel value of the image for one frame is output to the search area generation unit 702. The line memory 703 outputs the pixel value of the image of the line of one frame (currently) input at the time t2 to the block generation unit 704. That is, the pixel value of the current frame is supplied to the block generation unit 704, and the pixel value of the pixel of the previous frame (past) of the current frame is supplied to the search area generation unit 702.
[0300]
The search area generation unit 702 generates a search area SR from the reference frame Fr supplied from the frame memory 701, and supplies the pixel value of the pixel in the search area SR to the matching unit 705.
[0301]
The block generation unit 704 generates the reference block Bb from the current frame Fc supplied from the line memory 703, and supplies the pixel value of the pixel of the reference block Bb to the matching unit 705.
[0302]
The search area SR of the reference frame Fr generated by the search area generation unit 702 includes, for example, pixels of NS (number of pixels) horizontally and MS (number of pixels) vertically. The reference block Bb of the current frame Fc generated by the block generation unit 704 is composed of NB (number of pixels) horizontally and MB (number of pixels) vertically. The search area SR is made up of a larger area (a larger number of pixels) than the reference block Bb.
[0303]
In this case, the number of vertical and horizontal pixels in the search area SR may be the same number L.
[0304]
The matching unit 705 refers to the search area SR based on the pixel value of the pixel in the search area SR supplied from the search area generation unit 702 and the pixel value of the pixel in the reference block Bb supplied from the block generation unit 704. The sum of absolute differences between the pixel value of each pixel constituting the block Brn and the pixel value of each pixel of the base block Bb is calculated, and the sum of absolute differences is calculated together with the vector from the reference block Brn to the base block Bb. The value is supplied to the minimum error selection unit 706.
[0305]
The minimum error selection unit 706 selects a vector corresponding to the minimum error value, and supplies the selected vector to the reference pixel position detection unit 707 as a motion vector.
[0306]
The reference pixel position detection unit 707 is based on the feature amount of the target pixel supplied from the feature amount extraction unit 103 and the pixel position information of the reference frame Fr stored in the feature amount frame memory 102. The pixel position of the pixel of the reference frame Fr having the same feature amount as is detected. The reference pixel position detection unit 707 is based on the motion vector supplied from the minimum error selection unit 706 from the pixel positions of the pixels of the reference frame Fr having the same feature amount as the detected feature amount of the target pixel. A pixel located in the search area corresponding to the motion vector supplied from the minimum error selection unit 706, and the position of the pixel in the reference frame Fr whose movement destination is the target pixel is selected. Then, the reference pixel position detection unit 707 starts from a pixel on the reference frame Fr at a position corresponding to the position of the target pixel from the pixel position information of the target pixel and the pixel position of the selected pixel of the reference frame Fr. A motion vector whose end point is a selected pixel of the reference frame Fr having the same feature amount as the feature amount of the target pixel is obtained, and the obtained motion vector is output.
[0307]
32 is generated by the search area SR generated by the search area generation unit 702, the reference block Bb generated by the block generation unit 704, the reference block Brn generated by the matching unit 705, and the reference pixel position detection unit 707. It is a figure explaining the relationship of a search area.
[0308]
In FIG. 32, the search area SR generated by the search area generation unit 702 is expressed as search area 1, and the search area generated by the reference pixel position detection unit 707 is expressed as search area 2.
[0309]
The search area SR generated by the search area generation unit 702 includes, for example, a wider area (a larger number of pixels) around the center pixel of the reference block Bb than the reference block Bb. The reference block Brn is composed of pixels included in the search area SR and has the same shape (pixel arrangement) as that of the base block Bb. That is, the number of pixels included in the reference block Brn is the same as the number of pixels included in the standard block Bb.
[0310]
The minimum error selection unit 706 selects a reference block Brn having the smallest difference absolute value sum among the sum of absolute difference values between the pixels of the base block Bb and the reference block Brn. The motion vector supplied to the reference pixel position detection unit 707 by the minimum error selection unit 706 is a vector having a pixel on the reference frame Fr corresponding to the target pixel as a start point and a predetermined pixel in the reference block Brn as an end point. For example, the minimum error selection unit 706 uses the pixel on the reference frame Fr corresponding to the target pixel, which is the central pixel of the base block Bb, as the start point, and the vector having the central pixel in the reference block Brn as the end point as the motion vector, This is supplied to the detection unit 707.
[0311]
The frame memory 701 to the minimum error selection unit 706 may detect a motion vector roughly by representative point block matching. Further, the frame memory 701 to the minimum error selection unit 706 may detect a motion vector more roughly, for example, by thinning out the vector in the search area SR. In this case, the processing in the frame memory 701 through the minimum error selection unit 706 becomes faster, and the motion vector can be obtained at higher speed as the entire image processing apparatus.
[0312]
For example, the reference pixel position detection unit 707 uses the reference block Brn selected by the minimum error selection unit 706 as the search area 2 and is a pixel located in the search area 2 and has the same feature quantity as the feature quantity of the target pixel. The pixel position of the pixel of the reference frame Fr is detected. That is, the search area 2 is an area specified by the motion vector supplied from the minimum error selection unit 706. The reference pixel position detection unit 707 starts from the pixel on the reference frame Fr at the position corresponding to the position of the target pixel from the pixel position information of the target pixel and the pixel position of the pixel in the search area 2, and the characteristics of the target pixel. A motion vector whose end point is a pixel in the search area 2 having the same feature amount as the amount is obtained, and the obtained motion vector is output.
[0313]
For example, the reference pixel position detection unit 707 selects one of the pixel A, the pixel B, and the pixel C that has the same feature quantity as the feature quantity of the target pixel, and is located in the search area 2. A motion vector is obtained from the position of the selected pixel and the position of the target pixel.
[0314]
FIG. 33 is a flowchart for explaining a motion vector detection process by the image processing apparatus having the configuration shown in FIG.
[0315]
In step S701, the feature quantity extraction unit 101 and the feature quantity frame memory 102 execute a process of storing pixel position information of the reference frame Fr. Since the process of step S701 is the same as the process of step S101, the description thereof is omitted.
[0316]
In step S <b> 702, the frame memory 701 to the minimum error selection unit 706 detects a motion vector by executing a block matching process. Details of the block matching process will be described later with reference to the flowchart of FIG.
[0317]
In step S <b> 703, the feature amount extraction unit 103 and the reference pixel position detection unit 707 execute processing for detecting the position of the pixel corresponding to the target pixel. Details of the process of detecting the position of the pixel corresponding to the target pixel in step S703 will be described later with reference to the flowchart of FIG.
[0318]
Since the processing of step S704 and step S705 is the same as the processing of step S103 and step S104 in FIG.
[0319]
FIG. 34 is a flowchart for describing block matching processing corresponding to step S702.
[0320]
In step S721, the search area generation unit 702 sets the search area SR according to the pixel position of the pixel of interest P (i, j) on the current frame Fc.
[0321]
In step S722, as described above, the minimum error selection unit 706 sets the variable min for setting the minimum value of the sum of absolute differences between the pixels of the base block Bb (i, j) and the reference block Brn (i, j). Initialization is performed by setting a value obtained by multiplying the number of gradations of the pixel by the number of pixels constituting the reference block Bb (i, j). That is, for example, when one pixel is 8-bit data, the number of gradations of one pixel is 2 8, and thus 256 gradations (256 colors) are obtained. Further, when the reference block Bb (i, j) is composed of L pixels × L pixels = 3 pixels × 3 pixels, the number of pixels is nine. As a result, the variable min is initialized to 2304 (= 256 (number of gradations) × 9 (number of pixels)).
[0322]
In step S723, the matching unit 705 initializes a counter variable n that counts the reference block Brn to 1.
[0323]
In step S724, the minimum error selection unit 706 initializes a variable sum used for substituting the sum of absolute differences between the pixels of the base block Bb and the reference block Brn to 0.
[0324]
In step S725, the matching unit 705 calculates the sum of absolute differences (= sum) between the pixels of the base block Bb (i, j) and the reference block Brn (i, j). That is, when each pixel of the reference block Bb (i, j) is indicated as P_Bb (i, j) and each pixel of the reference block Brn (i, j) is indicated as P_Brn (i, j), the matching unit 705 The calculation represented by the above-described equation (1) is executed to obtain the sum of absolute differences between the pixels of the base block Bb (i, j) and the reference block Brn (i, j).
[0325]
In step S726, the minimum error selection unit 706 determines whether or not the variable min is larger than the variable sum. For example, if it is determined that the variable min is larger than the variable sum, in step S727, the variable min is changed to the variable sum. And the value of the counter n at that time is registered as a motion vector number. That is, the fact that the variable sum indicating the sum of absolute differences obtained is smaller than the variable min indicating the minimum value means that the reference block Brn (i, i, Since j) can be regarded as more similar to the reference block Bb (i, j), a counter n at that time is registered as a motion vector number in order to make it a candidate for obtaining a motion vector. If it is determined in step S726 that the variable min is not greater than the variable sum, the process of step S727 is skipped.
[0326]
In step S728, the matching unit 705 determines whether or not the counter variable n is the total number m of reference blocks Brn in the search area SR, that is, whether or not the current reference block Brn is Brn = Brm. If it is determined that the total number is not m, the counter variable n is incremented by 1 in step S729, and the process returns to step S724.
[0327]
If it is determined in step S728 that the counter variable n is the total number m of the reference blocks Brn in the search area, that is, the current reference block Brn is Brn = Brm, in step S730, the minimum error selection unit 706 The motion vector is output based on the registered motion vector number. That is, by repeating steps S724 to S729, the counter variable n corresponding to the reference block Brn that minimizes the sum of absolute differences is registered as a motion vector number. Among the L × L pixels of the reference block Brn corresponding to the motion vector number, a reference pixel Pn (i, j) serving as the center is obtained and corresponds to the target pixel P (i, j) on the current frame Fc. A vector starting from the pixel P ′ (i, j) on the reference frame Fr and ending at the reference pixel Pn (i, j) is obtained as the motion vector (Vx, Vy) of the pixel of interest P (i, j). To the reference pixel position detection unit 707.
[0328]
Next, the process of detecting the position of the pixel corresponding to the target pixel corresponding to step S703 will be described with reference to the flowchart of FIG.
[0329]
The processing in steps S751 to S753 is the same as the processing in steps S141 to S143 in FIG.
[0330]
In step S754, the reference pixel position detection unit 707, based on the motion vector supplied from the minimum error selection unit 706, out of the pixel positions indicated by the pixel position information read out in step S753, the search area 2 The position of the pixel in is selected.
[0331]
In step S755, the reference pixel position detection unit 707 selects the position of the pixel closest to the target pixel among the positions of the pixels selected in the process of step S754.
[0332]
The processing from step S756 to step S758 is the same as the processing from step S145 to step S147 in FIG.
[0333]
In step S759, the reference pixel position detection unit 707, based on the motion vector supplied from the minimum error selection unit 706, corresponds to the neighboring feature amount indicated by the pixel position information read out in step S758. Among the pixel positions indicated by the position information, the position of the pixel in the search area 2 is selected.
[0334]
In step S760, the reference pixel position detection unit 707 selects the position of the pixel closest to the target pixel among the positions of the pixels selected in the process of step S759.
[0335]
The processing from step S761 to step S765 is the same as the processing from step S149 to step S153 in FIG.
[0336]
In the image processing apparatus having the configuration shown in FIG. 31, a candidate motion vector is obtained in advance by full search block matching or representative point block matching, and the feature amount is used as a reference for more accurate. Therefore, a more accurate motion vector can be obtained with a smaller amount of calculation.
[0337]
In the frame memory 701 to the minimum error selection unit 706, a technique for speeding up the processing such as thinning out the vectors in the search area SR may be adopted.
[0338]
In the feature amount extraction unit 101 to the feature amount extraction unit 103 and the reference pixel position detection unit 707, the search area 2 is determined based on the motion vector supplied from the minimum error selection unit 706, so that it is faster and more accurate. A simple motion vector can be obtained.
[0339]
Instead of block matching, a motion vector may be detected by a gradient method, and the search area 2 may be determined based on the detected motion vector.
[0340]
The series of processes described above can be executed by hardware, but can also be executed by software. When a series of processing is executed by software, a program constituting the software may execute various functions by installing a computer incorporated in dedicated hardware or various programs. For example, it is installed from a recording medium in a general-purpose personal computer or the like.
[0341]
FIG. 36 is a block diagram showing an example of the configuration of a personal computer that executes the above-described series of processing by a program. A CPU (Central Processing Unit) 821 executes various processes according to a program stored in a ROM (Read Only Memory) 822 or a storage unit 828. A RAM (Random Access Memory) 823 appropriately stores programs executed by the CPU 821, data, and the like. The CPU 821, ROM 822, and RAM 823 are connected to each other via a bus 824.
[0342]
An input / output interface 825 is also connected to the CPU 821 via the bus 824. The input / output interface 825 is connected to an input unit 826 including a keyboard, a mouse, and a microphone, and an output unit 827 including a display and a speaker. The CPU 821 executes various processes in response to commands input from the input unit 826. Then, the CPU 821 outputs an image, sound, or the like obtained as a result of the processing to the output unit 827.
[0343]
The storage unit 828 connected to the input / output interface 825 includes, for example, a hard disk and stores programs executed by the CPU 821 and various data. The communication unit 829 communicates with an external device via the Internet or other networks. In the case of this example, the communication unit 829 operates as an interface with the outside that acquires an input image or outputs an output image.
[0344]
Further, a program may be acquired via the communication unit 829 and stored in the storage unit 828.
[0345]
The drive 830 connected to the input / output interface 825 drives the magnetic disk 851, the optical disk 852, the magneto-optical disk 853, the semiconductor memory 854, and the like when they are loaded, and programs and data recorded there. Get etc. The acquired program and data are transferred to and stored in the storage unit 828 as necessary.
[0346]
As shown in FIG. 36, a recording medium storing a program for performing a series of processing is distributed to provide a program to a user separately from a computer. Disc), optical disc 852 (including CD-ROM (compact disc-read only memory), DVD (digital versatile disc)), magneto-optical disc 853 (including MD (mini-disc) (trademark)), or semiconductor In addition to a package medium composed of the memory 854 and the like, it is also composed of a ROM 822 in which a program is recorded and a hard disk included in the storage unit 828, which is provided to the user in a state of being preinstalled in a computer. .
[0347]
The program for executing the series of processes described above is installed in a computer via a wired or wireless communication medium such as a local area network, the Internet, or digital satellite broadcasting via an interface such as a router or a modem as necessary. You may be made to do.
[0348]
Further, in the present specification, the step of describing the program stored in the recording medium is not limited to the processing performed in chronological order according to the described order, but is not necessarily performed in chronological order. It also includes processes that are executed individually.
[0349]
【The invention's effect】
As above The present invention According to this, a motion vector can be detected.
[0350]
Also, The present invention Accordingly, a more accurate motion vector can be detected more quickly with a smaller amount of calculation.
[Brief description of the drawings]
FIG. 1 is a block diagram showing a configuration of a conventional image processing apparatus employing a block matching algorithm.
FIG. 2 is a diagram illustrating a search area SR and a reference block Bb.
FIG. 3 is a diagram illustrating a block matching algorithm.
FIG. 4 is a flowchart illustrating a conventional motion detection process.
FIG. 5 is a diagram for explaining a search area SR and a representative point block in representative point block matching;
FIG. 6 is a block diagram showing a configuration of an embodiment of an image processing apparatus according to the present invention.
FIG. 7 is a diagram for explaining the arrangement of pixel position information and the number of pixel position information stored in a feature amount frame memory;
FIG. 8 is a flowchart for explaining motion vector detection processing by the image processing apparatus having the configuration shown in FIG. 6;
FIG. 9 is a flowchart illustrating pixel position information storage processing corresponding to step S101.
FIG. 10 is a flowchart illustrating processing for detecting a pixel position corresponding to a target pixel, corresponding to the processing in step S102.
FIG. 11 is a block diagram showing a configuration of another embodiment of an image processing apparatus according to the present invention.
FIG. 12 is a diagram for explaining the arrangement of the number of clusters and pixel position information stored in a feature amount frame memory 202;
FIG. 13 is a diagram illustrating an example of a cluster configuration.
14 is a block diagram illustrating an exemplary configuration of an address generation unit 201. FIG.
15 is a flowchart for describing motion vector detection processing by the image processing apparatus having the configuration shown in FIG. 11;
FIG. 16 is a flowchart for describing pixel position information storage processing corresponding to step S201;
FIG. 17 is a flowchart for describing address generation processing corresponding to the processing in step S225;
FIG. 18 is a flowchart for describing address generation processing corresponding to the processing in step S225;
FIG. 19 is a flowchart illustrating processing for detecting a pixel position corresponding to a target pixel, corresponding to the processing in step S202.
FIG. 20 is a flowchart illustrating a process of reading pixel position information corresponding to a feature amount corresponding to the process of step 303;
FIG. 21 is a block diagram showing a configuration of still another embodiment of the image processing apparatus according to the present invention.
22 is a block diagram illustrating an example of a configuration of a feature amount storage unit 401. FIG.
FIG. 23 is a diagram illustrating an example of data stored in an index memory 422 for each feature amount address corresponding to a feature amount.
24 is a flowchart illustrating pixel position information storage processing when the image processing apparatus has the configuration shown in FIG.
25 is a flowchart illustrating a process of reading pixel position information corresponding to a feature amount when the image processing apparatus has the configuration illustrated in FIG.
FIG. 26 is a block diagram showing a configuration of still another embodiment of the image processing apparatus according to the present invention.
27 is a flowchart for describing motion vector detection processing by the image processing apparatus having the configuration shown in FIG. 26;
FIG. 28 is a flowchart for describing address reassignment processing when one pixel position information is stored in each cluster;
FIG. 29 is a flowchart for explaining address recombination processing when one pixel position information is stored in each cluster;
FIG. 30 is a flowchart for describing pixel position information storage processing corresponding to the processing in step S603;
FIG. 31 is a block diagram showing a configuration of still another embodiment of the image processing apparatus according to the present invention.
32 shows a search area SR generated by the search area generation unit 702, a reference block Bb generated by the block generation unit 704, a reference block Brn generated by the matching unit 705, and a reference pixel position detection unit 707. FIG. It is a figure explaining the relationship of a search area.
FIG. 33 is a flowchart for describing motion vector detection processing by the image processing apparatus having the configuration shown in FIG. 31;
FIG. 34 is a flowchart for describing block matching processing corresponding to step S702.
FIG. 35 is a flowchart for describing processing for detecting a position of a pixel corresponding to a target pixel, corresponding to step S703.
FIG. 36 is a block diagram illustrating an example of a configuration of a personal computer that executes a series of processes by a program.
[Explanation of symbols]
101 feature amount extraction unit, 102 feature amount frame memory, 103 feature amount extraction unit, 104 reference pixel position detection unit, 201 address generation unit, 202 feature amount frame memory, 203 reference pixel position detection unit, 221 memory state storage unit, 222 Judgment unit, 223 address calculation unit, 401 feature amount storage unit, 402 reference pixel position detection unit, 421 storage control unit, 422 index memory, 423 frame memory, 601 feature amount histogram generation unit, 602 address generation unit, 603 pixel value frame Memory, 701 line memory, 702 search area generation unit, 703 line memory, 704 block generation unit, 705 matching unit, 706 minimum error selection unit, 707 reference pixel position detection unit, 821 CPU, 822 ROM, 823 RAM, 828 Memory, 851 magnetic disk, 852 optical disk, 853 magneto-optical disk, 854 semiconductor memory

Claims (7)

First feature amount extraction means for extracting a feature amount of a first pixel of a second frame that is temporally previous to the first frame;
In the area specified by the first address corresponding to a predetermined feature quantity of the first pixel, said first pixel position information indicating a position of a pixel having the predetermined feature value, said predetermined feature quantity Storage control means for storing the pixel position information of the other first pixel having, and storing area position information indicating a next area of the area ;
Second feature amount extraction means for extracting a feature amount of a second pixel of the first frame;
Based on the stored distance between the first pixel and the second pixel, which is obtained from the pixel position information indicating the position of the first pixel , the same feature quantity as the feature quantity of the second pixel from among the position of the first pixel of a selection means for the used to calculate the motion vector of the second pixel, the moved earlier to choose the position of the first pixel is the second pixel ,
Calculating means for calculating the motion vector of the second pixel from the position of the selected first pixel and the position of the second pixel ;
The storage control means, when the area specified by the first address corresponding to the predetermined feature amount of the first pixel has run out, as the area position information indicating the next area, The pixel position information and the region position information of the first pixel having another feature quantity different from the predetermined feature quantity are specified by a second address corresponding to the other feature quantity. Among the regions, the pixel position information and information indicating a region where the region position information is not stored are stored, and the second position indicated by the region position information of the region specified by the first address. An image processing apparatus , wherein the pixel position information of the next first pixel having the predetermined feature amount and the area position information are stored in an area specified by an address . The selection unit is characterized by the characteristics of the second pixel based on a distance between the first pixel and the second pixel which is obtained from the stored pixel position information indicating the position of the first pixel. Among the positions of the first pixels of the feature amount approximate to the amount , the moved pixel used for calculation of the motion vector of the second pixel is the second pixel whose moving destination is the second pixel. The image processing apparatus according to claim 1, wherein a position is selected. Said storage control unit, when there is no vacancy in the area specified by the first address corresponding to the predetermined feature value of the first pixel, the corresponding region of the largest number of free first 2. The image processing apparatus according to claim 1, wherein an address of 2 is selected, and the pixel position information and the area position information are stored in an area specified by the second address. A pixel number calculating means for calculating the number of the first pixels for each feature amount for all the first pixels of the second frame;
The image processing apparatus according to claim 1, wherein the storage control unit preselects the second address based on the number of the first pixels for each feature amount. A first feature amount extraction step of extracting a feature amount of a first pixel of a second frame which is a temporally previous frame with respect to the first frame;
In the area specified by the first address corresponding to a predetermined feature quantity of the first pixel, said first pixel position information indicating a position of a pixel having the predetermined feature value, said predetermined feature quantity A storage control step of storing the pixel position information of the other first pixel having a region position information indicating a region next to the region ;
A second feature amount extracting step of extracting a feature amount of a second pixel of the first frame;
The same feature quantity as the feature quantity of the second pixel, based on the distance between the first pixel and the second pixel that is obtained from the stored pixel position information indicating the position of the first pixel. A selection step of selecting a position of the first pixel that is used to calculate a motion vector of the second pixel from among the positions of the first pixel and that is moved to the second pixel ; ,
Calculating the motion vector of the second pixel from the position of the selected first pixel and the position of the second pixel ,
In the storage control step, when the area designated by the first address corresponding to the predetermined feature amount of the first pixel is full, the area position information indicating the next area is used. The pixel position information and the region position information of the first pixel having another feature quantity different from the predetermined feature quantity are stored and designated by a second address corresponding to the other feature quantity. The pixel position information and information indicating an area in which the area position information is not stored are stored, and are indicated by the area position information of the area specified by the first address. in the area specified by the second address, and the pixel position information of the first pixel of the next having the predetermined feature amounts, image processing, characterized in that to store said area position information Method. A first feature amount extraction step of extracting a feature amount of a first pixel of a second frame which is a temporally previous frame with respect to the first frame;
In the area specified by the first address corresponding to a predetermined feature quantity of the first pixel, said first pixel position information indicating a position of a pixel having the predetermined feature value, said predetermined feature quantity A storage control step of storing the pixel position information of the other first pixel having a region position information indicating a region next to the region ;
A second feature amount extracting step of extracting a feature amount of a second pixel of the first frame;
The same feature quantity as the feature quantity of the second pixel, based on the distance between the first pixel and the second pixel that is obtained from the stored pixel position information indicating the position of the first pixel. A selection step of selecting a position of the first pixel that is used to calculate a motion vector of the second pixel from among the positions of the first pixel and that is moved to the second pixel ; ,
A calculation step of calculating the motion vector of the second pixel from the position of the selected first pixel and the position of the second pixel;
Causes the computer to execute processing including
In the storage control step, when the area designated by the first address corresponding to the predetermined feature amount of the first pixel is full, the area position information indicating the next area is used. The pixel position information and the region position information of the first pixel having another feature quantity different from the predetermined feature quantity are stored and designated by a second address corresponding to the other feature quantity. The pixel position information and information indicating an area in which the area position information is not stored are stored, and are indicated by the area position information of the area specified by the first address. in the area specified by the second address, and the pixel position information of the first pixel of the next having the predetermined feature amounts, characterized in that to store said area position information competent Over a recording medium in which data is readable program recorded. A first feature amount extraction step of extracting a feature amount of a first pixel of a second frame which is a temporally previous frame with respect to the first frame;
In the area specified by the first address corresponding to a predetermined feature quantity of the first pixel, said first pixel position information indicating a position of a pixel having the predetermined feature value, said predetermined feature quantity A storage control step of storing the pixel position information of the other first pixel having a region position information indicating a region next to the region ;
A second feature amount extracting step of extracting a feature amount of a second pixel of the first frame;
The same feature quantity as the feature quantity of the second pixel, based on the distance between the first pixel and the second pixel that is obtained from the stored pixel position information indicating the position of the first pixel. A selection step of selecting a position of the first pixel that is used to calculate a motion vector of the second pixel from among the positions of the first pixel and that is moved to the second pixel ; ,
A calculation step of calculating the motion vector of the second pixel from the position of the selected first pixel and the position of the second pixel;
Causes the computer to execute processing including
In the storage control step, when there is no space in the area designated by the first address corresponding to the predetermined feature amount of the first pixel, the area position information indicating the next area is used. The pixel position information and the region position information of the first pixel having another feature quantity different from the predetermined feature quantity are stored and designated by a second address corresponding to the other feature quantity. The pixel position information and information indicating an area in which the area position information is not stored are stored, and are indicated by the area position information of the area specified by the first address. in the area specified by the second address, characterized and the next first the pixel position information of pixels having the predetermined feature quantity, that is stored and the area position information programming Beam.

Images