JP5337667B2 - 画像処理装置、画像処理方法及び画像処理プログラム - Google Patents

Description

本発明は、画像に表示される物体を認識する装置及び方法等の技術分野に関する。

画像に表示される物体を認識する画像処理技術は、様々な分野で利用されている。近年では、監視カメラによって撮像された画像に対して画像処理技術により着目する被写体を認識し、異常事態の監視及び警告等を、人為的手段を用いることなく行うようになっている。

かかる目的を達成するための画像処理技術の手法として、追跡が挙げられる。

追跡とは、最初に撮像した画像の被写体を認識し、それ以降に撮像した画像の被写体とを比較する処理をいう。そして、追跡を行うことによって、継続的に撮像される画像間における変化（例えば、ある撮像場所に不審者が侵入した場合等）を認識し、上記異常事態の監視及び警告等を行うようになっている。また、人の手の動きやサイン(ジェスチャ)などを認識するジェスチャ認識も、上記追跡を用いて、当該人の手の動き等を認識している。

そして、上記追跡は、Kanade-Lucas-Tomasi法（ＫＬＴ法）を用いてオプティカルフローを算出することにより実現されている。

オプティカルフローとは、連続する２つの画像における当該画像を構成する画素毎の動きベクトルをいう。すなわち、オプティカルフローは、画像の動きを表す画素毎の速度ベクトルで表され、かかる速度ベクトルを求めることにより、その動きを検出する。

従って、オプティカルフローの算出を実現するためには、上記画像の特徴点の動き（例えば、上記画素、速度ベクトル又は動きベクトル等）を正確かつ確実に抽出することが必要である。

特許文献１では、連続する２つの画像における上記特徴点の動きを得るために、特徴点の信頼度の低い領域と、信頼度の高い領域とに分け、信頼度の低い領域のオプティカルフローを、その４近傍又は８近傍の領域のオプティカルフローに対してそれらの信頼度に応じた重み付けを行い、当該重み付けを行った結果を用いて補完する発明が開示されている。

特開平１１−３３９０２１号公報

しかしながら、抽出される上記動きベクトルの量は、その画像（静止画像）から特徴点を抽出するため、当該画像に表示される人間の服装や背景に影響されてしまう。すなわち、上記ＫＬＴ法では、撮像された画像のエッジ部分を特徴点として抽出するため、当該画像に表示される人間の服装等（例えば、服のチェック柄）をかかる特徴点として抽出してしまい、正確なオプティカルフローを算出することができなかった。

そこで、本発明は上記各問題点に鑑みてなされたもので、その目的の一例は、撮像された物体の特徴点を確実に抽出し、正確にオプティカルフローを算出する装置及び方法等を提供することである。

上記課題を解決するために、請求項１に記載の画像処理装置は、連続する画像を構成する各画像における固有値を算出することにより特徴点を抽出し、当該特徴点の移動座標からオプティカルフローを算出するオプティカルフロー算出手段と、前記オプティカルフローの大きさに応じて算出され、２次元行列からなり当該行列の中心から数値が指数関数的に減少するフィルタ係数を用いて、当該オプティカルフローに対応する終点座標に対してフィルタリング処理を施すフィルタリング処理手段と、算出された前記固有値と、前記連続する画像を構成する各画像のうち現在処理する画像の直前の画像に対する前記フィルタリング処理後の終点座標の大きさとを合成した値である合成データを算出する合成データ算出手段と、算出された前記合成データのうち最大の当該合成データから大きい順に予め設定された数量の当該合成データを抽出する合成データ抽出手段と、前記抽出された合成データが示す座標値に前記フィルタ処理が施されている場合には、当該座標値から予め設定された近傍の固有値を削除する第１の固有値削除手段と、前記抽出された合成データが示す前記座標値に前記フィルタ処理が施されていない場合には、当該座標から予め設定された近傍の固有値を削除する第２の固有値削除手段と、を備え、前記オプティカルフロー算出手段は、前記第１の固有値削除手段又は前記第２の固有値削除手段によって抽出された合成データが示す座標値の近傍の固有値が削除された当該座標値に基づいてオプティカルフローを算出し、前記フィルタリング処理手段は、前記近傍の固有値が削除された当該座標値に基づいて算出されたオプティカルフローの終点座標に対してフィルタリング処理を施すことを特徴とする。

請求項２に記載の画像処理装置は、請求項１に記載の画像処理装置であって、前記フィルタ係数は、前記終点座標を中心に段階的に減少する数値であることを特徴とする。

請求項３に記載の画像処理方法は、連続する画像を構成する各画像における固有値を算出することにより特徴点を抽出し、当該特徴点の移動座標からオプティカルフローを算出するオプティカルフロー算出工程と、前記オプティカルフローの大きさに応じて算出され、２次元行列からなり当該行列の中心から数値が指数関数的に減少するフィルタ係数を用いて、当該オプティカルフローに対応する終点座標に対してフィルタリング処理を施すフィルタリング処理工程と、算出された前記固有値と、前記連続する画像を構成する各画像のうち現在処理する画像の直前の画像に対する前記フィルタリング処理後の終点座標の大きさとを合成した値である合成データを算出する合成データ算出工程と、算出された前記合成データのうち最大の当該合成データから大きい順に予め設定された数量の当該合成データを抽出する合成データ抽出工程と、前記抽出された合成データが示す座標値に前記フィルタ処理が施されている場合には、当該座標値から予め設定された近傍の固有値を削除する第１の固有値削除工程と、前記抽出された合成データが示す前記座標値に前記フィルタ処理が施されていない場合には、当該座標から予め設定された近傍の固有値を削除する第２の固有値削除工程と、を備え、前記オプティカルフロー算出工程は、前記第１の固有値削除工程又は前記第２の固有値削除工程によって抽出された合成データが示す座標値の近傍の固有値が削除された当該座標値に基づいてオプティカルフローを算出し、前記フィルタリング処理工程は、前記近傍の固有値が削除された当該座標値に基づいて算出されたオプティカルフローの終点座標に対してフィルタリング処理を施すことを特徴とする。

請求項４に記載の画像処理プログラムは、画像処理装置に含まれるコンピュータを、連続する画像を構成する各画像における固有値を算出することにより特徴点を抽出し、当該特徴点の移動座標からオプティカルフローを算出するオプティカルフロー算出手段、前記オプティカルフローの大きさに応じて算出され、２次元行列からなり当該行列の中心から数値が指数関数的に減少するフィルタ係数を用いて、当該オプティカルフローに対応する終点座標に対してフィルタリング処理を施すフィルタリング処理手段、算出された前記固有値と、前記連続する画像を構成する各画像のうち現在処理する画像の直前の画像に対する前記フィルタリング処理後の終点座標の大きさとを合成した値である合成データを算出する合成データ算出手段、算出された前記合成データのうち最大の当該合成データから大きい順に予め設定された数量の当該合成データを抽出する合成データ抽出手段、前記抽出された合成データが示す座標値に前記フィルタ処理が施されている場合には、当該座標値から予め設定された近傍の固有値を削除する第１の固有値削除手段、前記抽出された合成データが示す前記座標値に前記フィルタ処理が施されていない場合には、当該座標から予め設定された近傍の固有値を削除する第２の固有値削除手段、として機能させることを特徴とする画像処理プログラムであって、前記画像処理プログラムは、さらに、前記オプティカルフロー算出手段は、前記第１の固有値削除手段又は前記第２の固有値削除手段によって抽出された合成データが示す座標値の近傍の固有値が削除された当該座標値に基づいてオプティカルフローを算出し、前記フィルタリング処理手段は、前記近傍の固有値が削除された当該座標値に基づいて算出されたオプティカルフローの終点座標に対してフィルタリング処理を施すようにコンピュータを機能させることを特徴とする。

以上のように、本発明によれば、画像処理装置は、連続する画像を構成する各画像における特徴点を抽出し、当該特徴点の移動座標からオプティカルフローを算出し、前記オプティカルフローの大きさに応じて算出され、２次元行列からなり当該行列の中心から数値が指数関数的に減少するフィルタ係数を用いて、当該オプティカルフローに対応する終点座標に対してフィルタリング処理をし、算出された前記固有値と、前記連続する画像を構成する各画像のうち現在処理する画像の直前の画像に対する前記フィルタリング処理後の終点座標の大きさとを合成した値である合成データを算出し、算出された前記合成データのうち最大の当該合成データから大きい順に予め設定された数量の当該合成データを抽出し、前記抽出された合成データが示す座標値に前記フィルタ処理が施されている場合には、当該座標値から予め設定された近傍の固有値を削除し、前記抽出された合成データが示す前記座標値に前記フィルタ処理が施されていない場合には、当該座標値から予め設定された近傍の固有値を削除し、さらにオプティカルフローを算出し、当該算出されたオプティカルフローの終点座標に対してフィルタリング処理を施すため、オプティカルフローを多数抽出することができる。

本実施形態にかかる画像処理装置の構成を示すブロック図である。 本実施形態にかかる制御部２の動作を示すフローチャートである。 本実施形態にかかる重みマスクを示す概念図である。 本実施形態にかかる特徴点の間引き処理を示すフローチャートである。 本実施形態にかかるフィルタを施す前後の表示画面例を示す図である。 本実施形態にかかるオプティカルフローの算出結果を示すグラフである。

まず、本願の最良の実施形態を添付図面に基づいて説明する。なお、以下に説明する実施の形態は、画像処理装置に対して本願を適用した場合の実施形態である。

まず、本実施形態にかかる画像処理装置の構成及び機能概要について、図１を用いて説明する。

図１は、本実施形態にかかる画像処理装置の構成を示すブロック図である。

画像処理装置Ｓは、光学系エンジン１、制御部２（本願のオプティカルフロー算出手段、フィルタリング処理手段、合成データ算出手段、合成データ抽出手段、第１の固有値削除手段及び第２の固有値削除手段の一例）、出力データとしての画像を表示する表示部３、及びキーボード、マウス等であり、ユーザ等からの操作指示を受け付け、その指示内容を指示信号として制御部２に出力する操作部４等、とを備える。

光学系エンジン１は、図示しないレンズ、絞り機構、イメージセンサ（例えば、ＣＣＤ（Charge Couple Semiconductor）イメージセンサやＣＭＯＳ（Complementary Metal-Oxide Semiconductor）イメージセンサ等）、カラーフィルタ及びインターフェース部等、とを備える。

具体的には、光学系エンジン１では、レンズから取り込まれた光が、絞り機構等によって調節され、イメージセンサ上に光学像として結像される。かかる光学像（静止画像及び動画像を含む）は、イメージセンサによって電気信号に変換され、インターフェース部へ出力される。

光学系エンジン１には、さらに、インターフェース部へ入力される空間周波数を制限する図示しない光学的ローパスフィルタ、インターフェース部へ入力される可視光領域以外の長波長成分をカットするための図示しない赤外カットフィルタ等が備えられている。

インターフェース部は、撮像された画像を、制御部２へ出力するためのインターフェースである。

具体的には、インターフェース部は、撮像された画像に対して、当該画像を構成する画素を示す画素データと、前記画素に対応する色データから構成される入力データとして、制御部２へ出力する。

制御部２は、前記入力データに基づいて画像処理を行い、二次元的に視認可能な平面画像及び動画像を示す出力データを生成するための処理回路であり、例えば、図示しないＣＰＵ、ＲＡＭ及びＲＯＭとを備えて構成される。

また制御部２は、かかる画像処理の一例として、オプティカルフローの算出を行う。

上記オプティカルフローの算出は、Lucas-Kanade-tomasi法（ＫＬＴ法）を用いて実現される。そして、ＫＬＴ法によって算出された動きベクトルに対して、公知のニュートン・ラプソン法を用いてより正確なベクトル量を計算する。

ここで、ＫＬＴ法及びニュートン・ラプソン法は、公知の技術であるため詳しい説明は省略するが、オプティカルフローとは、連続する２つの画像における当該画像を構成する画素毎の動きベクトルをいう。すなわち、オプティカルフローは、画像の動きを表す画素毎の速度ベクトルで表され、かかる速度ベクトルを求めることによりがその動きを検出する。

従って、正確なオプティカルフローを算出するためには、制御部２は、上記画素データ等、上記画像の特徴点を正確かつ確実に抽出することが必要である。

ＫＬＴ法を用いたオプティカルフローの算出について、より具体的には、現フレームの画像をＩ、次フレームの画像をＪとし、位置Ｘ＝（ｘ，ｙ）での画像の輝度値をそれぞれＩ（ｘ，ｙ）、Ｊ（ｘ，ｙ）とする。Ｉ上の点ｕ＝（ｕｘ，ｕｙ）からＪ上の最も類似性の高い点ｖ＝ｕ＋ｄ＝（ｕｘ＋ｄｘ，ｕｙ＋ｄｙ）への移動量ｄ＝（ｄｘ，ｄｙ）がオプティカルフローである。即ち、次フレームの特徴点たるＪは、Ｊ（ｕｘ＋ｄｘ，ｕｙ＋ｄｙ）として表される。

次に、本実施形態にかかる制御部２の動作について、図２〜４を用いて説明する。

上述したように、制御部２は、ＫＬＴ法を用いてオプティカルフローを算出する。そして、制御部２は、オプティカルフローを算出するに当たって、画像の特徴点を抽出する。

ここで、一般的に、上記ＫＬＴ法では、撮像された画像のエッジ部分を特徴点として抽出するため、当該画像に表示される人間の服装等（例えば、服のチェック柄）をかかる特徴点として抽出してしまい、正確なオプティカルフローを算出することができないとの問題点があった。

そこで、制御部２は、上記特徴点の抽出に際して、画像を構成する画素データに対して座標値を付与し、当該特徴点の移動座標からオプティカルフローを算出するに際し、算出されたオプティカルフローの大きさを定量化し、前記定量化されたオプティカルフローの大きさが予め設定された閾値以上であった場合に、前記オプティカルフローの大きさに応じて算出されるフィルタ係数を用いて、当該オプティカルフローに対応する終点座標に対してフィルタリング処理を施す。

以下に、制御部２の上記動作を詳細に説明する。

図２は、本実施形態にかかる制御部２の動作を示すフローチャートである。

まず、制御部２は、変数の初期化（後述する重みマスク、重み合成データ及びイテレーションの値を０とする）を行い（ステップＳ１）、画像処理の対象である画像（フレーム）を取得する。ここで、制御部２は、連続する画像を順次取得するため、本実施形態におけるステップＳ２では、かかる画像のうちｉ（ｉ＝０〜ｎ）番目のフレームを取得する。

そして、制御部２は、フレームを構成する画素データに対して座標値を付与し、前記座標値に対応する前記画素データの輝度情報（ピクセル）を抽出（カラー画像を輝度画像に変換）する（ステップＳ３）。

次に、制御部２は、特徴点の抽出の一例として、ｉ番目のフレームの全てのピクセルの固有値を算出する（ステップＳ４）。

そして、制御部２は、算出された固有値Ｇから、予め設定された閾値以上のものを特徴点として抽出する。

例えば、上記算出された固有値Ｇの大きさのうち、１以上の値を示す固有値を特徴点として抽出するようにしてもよい。上記閾値は任意に設定することが可能であり、例えば、操作部４の操作により、ユーザが任意の値を入力することが可能である。

以下に、上記固有値としての固有値Ｇの算出の一例について説明する。

なお、固有値の算出方法は公知の手法であるため以下に限定されることはない。

具体的には、まず、上記画像点の位置Ｘ＝（ｘ，ｙ）における空間的な輝度勾配Ｉのモーメント行列を式（１）とする。

また、モーメント行列Ｍを式（２）とした場合に、式（２）の固有値λは、Ｅを単位行列として、式（３）のλに対する解として求められる。

式（３）の解は、式（４）となる。

本実施例では、上記λのうち、式（５）を固有値Ｇとして算出する。

次に、制御部２は、（ｉ−１）番目の重みマスク（本願の、連続する画像を構成する各画像のうち現在処理する画像の直前の画像に対する前記フィルタリング処理後の終点座標の大きさとを合成した値である合成データの一例）と固有値を合成（加算）し、ｉ番目の重み合成データとして出力する（ステップＳ５）。

ここで、（ｉ−１）番目の重みマスクとは、現在のフレーム（ｉ番目のフレーム）の直前のフレーム（即ち、（ｉ−１）番目のフレーム）に対応する重みマスクをいう。従って、初めて取得されるフレーム（即ち、ｉ＝０の場合）の場合には、（ｉ−１）番目の重みマスクは存在しないこととなる。この場合、ステップＳ５及び後述するステップＳ６の処理は行わない。

ここで、重みマスクについて図３を用いて説明する。

図３は、本実施形態にかかる重みマスクを示す概念図であり、重みマスクは、本願のフィルタ係数の一例である。

図３に示すように、重みマスクでは、上記終点座標に加算される係数の大きさをＫｅｒｎｅｌと定義する。このＫｅｒｎｅｌは、２次元行列からなり当該行列の中心から数値が指数関数的に減少し、かつ、上記ベクトルの大きさに比例してその値が増加する係数であり、当該比例の態様は、任意に設定することができる。本実施形態における重みマスクは、上記特徴点を中心として、周囲の画素に対して、Ｋｅｒｎｅｌを階段状に減少させた値を加算するように構成される。

具体的には、動きベクトル（終点座標）にはＫｅｒｎｅｌが示す値を、当該終点座標からＫｅｒｎｅｌが示す値の１／２の距離を示す座標にはＫｅｒｎｅｌが示す値の１／２の値を、当該終点座標からＫｅｒｎｅｌが示す値の１／４の距離を示す座標にはＫｅｒｎｅｌが示す値の１／４の値を、当該終点座標からＫｅｒｎｅｌが示す値の１／８の距離を示す座標にはＫｅｒｎｅｌが示す値の１／８の値を、それぞれ加算する。

従って、上記重みマスクの大きさは、終点座標を中心としてピラミッド型に減少する態様を示すこととなる。

この重みマスクは、Ｎ×Ｎの２次元配列とすることもできる。Ｎは、上述したとおり、特徴点のオプティカルフローの大きさ（移動距離）に比例して変動する。そして、Ｎの値は、マイナス以外の数値とすることもでき、２次元配列の中心が最も高い数値で、中心から外延部へ行くに従って（外れるに従って）小さい数値を示す。

かかる数値が小さくなる勾配は、上記ピラミッド型のようになだらかな段つきにしてもよいし、オプティカルフローの大きさ（特徴点の移動距離）に相関して勾配を変動させてもよい。Ｎは、上記オプティカルフローの大きさが大きい特徴点（特徴点の移動距離が大きいもの）には、大きな数値を与え、当該オプティカルフローの大きさが小さい特徴点（特徴点の移動距離が小さいもの）には、小さな数値を与えるようにしてもよい。

図２の説明に戻り、制御部２は、出力されたｉ番目の重み合成データを記憶する。なお、かかる合成データは、フレームを構成するピクセルの数だけ出力されることになる。

次に、制御部２は、ｉ番目の重み合成データから特徴点の選択・まびきを行う（ステップＳ６）。

以下に、図４を用いて、特徴点の間引き処理について説明する。

図４は、本実施形態にかかる特徴点のまびき処理を示すフローチャートである。

本実施形態のまびき処理では、算出された上記合成データのうち最大の当該合成データから大きい順に予め設定された数量の当該合成データを抽出し、抽出された合成データが示す座標に重みマスクが施されている場合には、当該座標から予め設定された近傍の固有値を削除し、抽出された合成データが示す前記座標に重みマスクが施されていない場合には、当該座標から予め設定された近傍の固有値を削除する。

具体的には、まず、制御部２は、最大重み合成データ（最大の値を示す合成データ）が示す座標を抽出する（ステップＳ２０）。

なお、上述した合成データには、上記特徴点のうち、上記重みマスクが加算されたものと加算されていないものの双方を含む。

制御部２は、最大の値を示す合成データから順番に、所定の数量分の合成データを選択（抽出）する。本実施形態では、制御部２は、１００個の合成データを選択する。

次に、制御部２は、選択した合成データに重みマスクが加算されているか否かを判断し、重みマスクが加算されていれば密に特徴点を抽出し、重みマスクが加算されていなければ疎に特徴点を抽出する（ステップＳ２１）。

そして、抽出した合成データに重みマスクが加算されている場合には（ステップＳ２１：ＹＥＳ）、抽出した合成データが示す上記終点座標から予め設定された近傍（当該終点座標の周囲の画素データが示す座標値）の一例として１５近傍の座標値が示す固有値を削除する（ステップＳ２２）。

ここで１５近傍とは、例えば、あるピクセルを基準に、横軸（Ｘ軸）上の正負方向に１５ピクセル分と縦軸（Ｙ軸）上の正負方向に１５ピクセル分の座標値を示す。即ち、当該ピクセルを基準に、１５×１５のマトリクス表示される座標値を意味する。

上記合成データに重みマスクが加算されている座標周辺は、上記オプティカルフローの大きさが大きくなっている。従って、かかる削除を行うことにより、正確なオプティカルフローを算出することができる。

一方、抽出した合成データに重みマスクが加算されていない場合には（ステップＳ２１：ＮＯ）、抽出した合成データが示す上記終点座標から予め設定された近傍の一例として４５近傍の座標値が示す固有値を削除する（ステップＳ２３）。

上記合成データに重みマスクが加算されていない座標周辺は、上記オプティカルフローのサイズ（大きさ）が小さい。従って、かかる削除を行うことにより、より動きのあるオプティカルフローを多数取得することができる。

ここで、４５近傍とは、例えば、あるピクセルを基準に、横軸（Ｘ軸）上の正負方向に４５ピクセル分と縦軸（Ｙ軸）上の正負方向に４５ピクセル分の座標値を示す。即ち、当該ピクセルを基準に、４５×４５のマトリクス表示される座標値を意味する。

そして、制御部２は、最大合成データから１００個分の合成データについて、上記ステップＳ２０〜Ｓ２３の処理を行う（ステップＳ２４）。

このようにして、特徴点のまびき処理によって処理されたデータは、ｉ番目の特徴点データとして、例えば、ＲＡＭ又は図示しない記憶部等に保存される。

図２の説明に戻り、制御部２は、（ｉ−１）番目の重みマスクを初期化する（ステップＳ７）。

次に、制御部２は、（ｉ＋１）番目のフレームを取得すると（ステップＳ８）、フレームを構成する画素データに対して座標値を付与し、前記座標値に対応する前記画素データの輝度情報を抽出（カラー画像を輝度画像に変換）する（ステップＳ９）。

次に、制御部２は、上述したｉ番目の特徴点データを基に、ｉ及び（ｉ＋１）番目のフレームの輝度情報から、動きベクトル（オプティカルフロー）を算出する（ステップＳ１０）。

具体的に、上述したｉ番目の特徴点データに対して、ｉ及び（ｉ＋１）番目のフレームの輝度情報のうち、当該ｉ番目の特徴点データと、最も類似性の高い点への移動量を算出することにより行われ、上述した公知のＫＬＴ法によって算出される。

更に具体的には、例えば、ｉ番目のフレームの輝度情報のうち当該ｉ番目の特徴点データと、最も類似性の高い点と、ｉ＋１番目のフレームの輝度情報のうち当該ｉ番目の特徴点データと、最も類似性の高い点とを解析し、それぞれの点の移動量から動きベクトルを算出する。

次に、制御部２は、算出された動きベクトルの終点座標に対して、上記重みマスクを加算する（ステップＳ１１）。換言すれば、ｉ番目のフレームに対して、ｉ番目の重みマスクを生成する。

そして、制御部２は、ｉ＋１をｉに変更する（即ち、ｉ＋１をｉにインクリメントする）（ステップＳ１２）。そして、ステップＳ２へ移行する。

次に、図５及び図６を用いて、本実施形態の実施結果について説明する。

図５は、本実施形態にかかるフィルタを施す前後の表示画面例を示す図である。

図５に示すように、図５（Ａ）〜（Ｃ）の上段に示される人物は直立しており、右手のみを左右に振っている。そして、図５（Ａ）〜（Ｃ）の下段には、制御部２が上記ステップＳ１〜Ｓ１０に示す動作を実行することにより生成された動き情報が示されている。このように、動きがある部分のみオプティカルフローが抽出されている。

図６は、本実施形態にかかるオプティカルフローの算出結果を示すグラフである。

図６に示すように、グラフの横軸には画像のフレーム数が、縦軸には、動きを取得した特徴点数（オプティカルフローの算出結果）がそれぞれ示されている。図６のグラフに示すように、本実施形態にかかる動きを取得した特徴点数は、従来手法によって算出された動きを取得した特徴点数よりも、格段に多いことがわかる。

以上説明したように、本実施形態においては、制御部２は、連続する画像を構成する各画像における特徴点を抽出し、当該特徴点の移動座標からオプティカルフローを算出し、重みマスクを用いて、当該オプティカルフローに対応する終点座標に対して重みマスクを加算し、算出された前記固有値と、前記連続する画像を構成する各画像のうち現在処理する画像の直前の画像に対して重みマスクを加算した後の終点座標の大きさとを合成した値である合成データを算出し、算出された前記合成データのうち最大の当該合成データから大きい順に予め設定された数量の当該合成データを抽出し、前記抽出された合成データが示す座標値に前記重みマスクが加算されている場合には、当該座標値から予め設定された近傍の固有値を削除し、前記抽出された合成データが示す前記座標値に重みマスクが加算されていない場合には、当該座標値から予め設定された近傍の固有値を削除し、さらにオプティカルフローを算出し、当該算出されたオプティカルフローの終点座標に対して重みマスクを加算するため、オプティカルフローを多数抽出することができる。

なお、上記実施形態においては、本願を画像処理装置に対して適用した場合の例を示したが、その他にも例えば、デジタルビデオカメラ、デジタルカメラ、パーソナルコンピュータ又は家庭用等の電子機器等に対しても適用可能である。

１ 光学系エンジン
２ 制御部
３ 表示部
４ 操作部
Ｓ 画像処理装置

Claims (4)

1. 連続する画像を構成する各画像における固有値を算出することにより特徴点を抽出し、当該特徴点の移動座標からオプティカルフローを算出するオプティカルフロー算出手段と、
   前記オプティカルフローの大きさに応じて算出され、２次元行列からなり当該行列の中心から数値が指数関数的に減少するフィルタ係数を用いて、当該オプティカルフローに対応する終点座標に対してフィルタリング処理を施すフィルタリング処理手段と、
   算出された前記固有値と、前記連続する画像を構成する各画像のうち現在処理する画像の直前の画像に対する前記フィルタリング処理後の終点座標の大きさとを合成した値である合成データを算出する合成データ算出手段と、
   算出された前記合成データのうち最大の当該合成データから大きい順に予め設定された数量の当該合成データを抽出する合成データ抽出手段と、
   前記抽出された合成データが示す座標値に前記フィルタ処理が施されている場合には、当該座標値から予め設定された近傍の固有値を削除する第１の固有値削除手段と、
   前記抽出された合成データが示す前記座標値に前記フィルタ処理が施されていない場合には、当該座標値から予め設定された近傍の固有値を削除する第２の固有値削除手段と、を備え、
   前記オプティカルフロー算出手段は、前記第１の固有値削除手段又は前記第２の固有値削除手段によって抽出された合成データが示す座標値の近傍の固有値が削除された当該座標値に基づいてオプティカルフローを算出し、
   前記フィルタリング処理手段は、前記近傍の固有値が削除された当該座標値に基づいて算出されたオプティカルフローの終点座標に対してフィルタリング処理を施すことを特徴とする画像処理装置。
2. 請求項１に記載の画像処理装置であって、
   前記フィルタ係数は、前記終点座標を中心に段階的に減少する数値であることを特徴とする画像処理装置。
3. 連続する画像を構成する各画像における固有値を算出することにより特徴点を抽出し、当該特徴点の移動座標からオプティカルフローを算出するオプティカルフロー算出工程と、
   前記オプティカルフローの大きさに応じて算出され、２次元行列からなり当該行列の中心から数値が指数関数的に減少するフィルタ係数を用いて、当該オプティカルフローに対応する終点座標に対してフィルタリング処理を施すフィルタリング処理工程と、
   算出された前記固有値と、前記連続する画像を構成する各画像のうち現在処理する画像の直前の画像に対する前記フィルタリング処理後の終点座標の大きさとを合成した値である合成データを算出する合成データ算出工程と、
   算出された前記合成データのうち最大の当該合成データから大きい順に予め設定された数量の当該合成データを抽出する合成データ抽出工程と、
   前記抽出された合成データが示す座標値に前記フィルタ処理が施されている場合には、当該座標値から予め設定された近傍の固有値を削除する第１の固有値削除工程と、
   前記抽出された合成データが示す前記座標値に前記フィルタ処理が施されていない場合には、当該座標値から予め設定された近傍の固有値を削除する第２の固有値削除工程と、を備え、
   前記オプティカルフロー算出工程は、前記第１の固有値削除工程又は前記第２の固有値削除工程によって抽出された合成データが示す座標値の近傍の固有値が削除された当該座標値に基づいてオプティカルフローを算出し、
   前記フィルタリング処理工程は、前記近傍の固有値が削除された当該座標値に基づいて算出されたオプティカルフローの終点座標に対してフィルタリング処理を施すことを特徴とする画像処理方法。
4. 画像処理装置に含まれるコンピュータを、
   連続する画像を構成する各画像における固有値を算出することにより特徴点を抽出し、当該特徴点の移動座標からオプティカルフローを算出するオプティカルフロー算出手段、
   前記オプティカルフローの大きさに応じて算出され、２次元行列からなり当該行列の中心から数値が指数関数的に減少するフィルタ係数を用いて、当該オプティカルフローに対応する終点座標に対してフィルタリング処理を施すフィルタリング処理手段、
   算出された前記固有値と、前記連続する画像を構成する各画像のうち現在処理する画像の直前の画像に対する前記フィルタリング処理後の終点座標の大きさとを合成した値である合成データを算出する合成データ算出手段、
   算出された前記合成データのうち最大の当該合成データから大きい順に予め設定された数量の当該合成データを抽出する合成データ抽出手段、
   前記抽出された合成データが示す座標値に前記フィルタ処理が施されている場合には、当該座標値から予め設定された近傍の固有値を削除する第１の固有値削除手段、
   前記抽出された合成データが示す前記座標値に前記フィルタ処理が施されていない場合には、当該座標値から予め設定された近傍の固有値を削除する第２の固有値削除手段、
   として機能させることを特徴とする画像処理プログラムであって、
   前記画像処理プログラムは、さらに、
   前記オプティカルフロー算出手段は、前記第１の固有値削除手段又は前記第２の固有値削除手段によって抽出された合成データが示す座標値の近傍の固有値が削除された当該座標値に基づいてオプティカルフローを算出し、
   前記フィルタリング処理手段は、前記近傍の固有値が削除された当該座標値に基づいて算出されたオプティカルフローの終点座標に対してフィルタリング処理を施すようにコンピュータを機能させることを特徴とする画像処理プログラム。