JP5337667B2 - 画像処理装置、画像処理方法及び画像処理プログラム - Google Patents

画像処理装置、画像処理方法及び画像処理プログラム Download PDF

Info

Publication number
JP5337667B2
JP5337667B2 JP2009251218A JP2009251218A JP5337667B2 JP 5337667 B2 JP5337667 B2 JP 5337667B2 JP 2009251218 A JP2009251218 A JP 2009251218A JP 2009251218 A JP2009251218 A JP 2009251218A JP 5337667 B2 JP5337667 B2 JP 5337667B2
Authority
JP
Japan
Prior art keywords
eigenvalue
optical flow
image
coordinate value
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2009251218A
Other languages
English (en)
Other versions
JP2011096121A (ja
Inventor
剛 池永
毅 佐々木
敏光 筬島
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Waseda University
Dai Nippon Printing Co Ltd
Original Assignee
Waseda University
Dai Nippon Printing Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Waseda University, Dai Nippon Printing Co Ltd filed Critical Waseda University
Priority to JP2009251218A priority Critical patent/JP5337667B2/ja
Publication of JP2011096121A publication Critical patent/JP2011096121A/ja
Application granted granted Critical
Publication of JP5337667B2 publication Critical patent/JP5337667B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Image Analysis (AREA)

Description

本発明は、画像に表示される物体を認識する装置及び方法等の技術分野に関する。
画像に表示される物体を認識する画像処理技術は、様々な分野で利用されている。近年では、監視カメラによって撮像された画像に対して画像処理技術により着目する被写体を認識し、異常事態の監視及び警告等を、人為的手段を用いることなく行うようになっている。
かかる目的を達成するための画像処理技術の手法として、追跡が挙げられる。
追跡とは、最初に撮像した画像の被写体を認識し、それ以降に撮像した画像の被写体とを比較する処理をいう。そして、追跡を行うことによって、継続的に撮像される画像間における変化(例えば、ある撮像場所に不審者が侵入した場合等)を認識し、上記異常事態の監視及び警告等を行うようになっている。また、人の手の動きやサイン(ジェスチャ)などを認識するジェスチャ認識も、上記追跡を用いて、当該人の手の動き等を認識している。
そして、上記追跡は、Kanade-Lucas-Tomasi法(KLT法)を用いてオプティカルフローを算出することにより実現されている。
オプティカルフローとは、連続する2つの画像における当該画像を構成する画素毎の動きベクトルをいう。すなわち、オプティカルフローは、画像の動きを表す画素毎の速度ベクトルで表され、かかる速度ベクトルを求めることにより、その動きを検出する。
従って、オプティカルフローの算出を実現するためには、上記画像の特徴点の動き(例えば、上記画素、速度ベクトル又は動きベクトル等)を正確かつ確実に抽出することが必要である。
特許文献1では、連続する2つの画像における上記特徴点の動きを得るために、特徴点の信頼度の低い領域と、信頼度の高い領域とに分け、信頼度の低い領域のオプティカルフローを、その4近傍又は8近傍の領域のオプティカルフローに対してそれらの信頼度に応じた重み付けを行い、当該重み付けを行った結果を用いて補完する発明が開示されている。
特開平11−339021号公報
しかしながら、抽出される上記動きベクトルの量は、その画像(静止画像)から特徴点を抽出するため、当該画像に表示される人間の服装や背景に影響されてしまう。すなわち、上記KLT法では、撮像された画像のエッジ部分を特徴点として抽出するため、当該画像に表示される人間の服装等(例えば、服のチェック柄)をかかる特徴点として抽出してしまい、正確なオプティカルフローを算出することができなかった。
そこで、本発明は上記各問題点に鑑みてなされたもので、その目的の一例は、撮像された物体の特徴点を確実に抽出し、正確にオプティカルフローを算出する装置及び方法等を提供することである。
上記課題を解決するために、請求項1に記載の画像処理装置は、連続する画像を構成する各画像における固有値を算出することにより特徴点を抽出し、当該特徴点の移動座標からオプティカルフローを算出するオプティカルフロー算出手段と、前記オプティカルフローの大きさに応じて算出され、2次元行列からなり当該行列の中心から数値が指数関数的に減少するフィルタ係数を用いて、当該オプティカルフローに対応する終点座標に対してフィルタリング処理を施すフィルタリング処理手段と、算出された前記固有値と、前記連続する画像を構成する各画像のうち現在処理する画像の直前の画像に対する前記フィルタリング処理後の終点座標の大きさとを合成した値である合成データを算出する合成データ算出手段と、算出された前記合成データのうち最大の当該合成データから大きい順に予め設定された数量の当該合成データを抽出する合成データ抽出手段と、前記抽出された合成データが示す座標値に前記フィルタ処理が施されている場合には、当該座標値から予め設定された近傍の固有値を削除する第1の固有値削除手段と、前記抽出された合成データが示す前記座標値に前記フィルタ処理が施されていない場合には、当該座標から予め設定された近傍の固有値を削除する第2の固有値削除手段と、を備え、前記オプティカルフロー算出手段は、前記第1の固有値削除手段又は前記第2の固有値削除手段によって抽出された合成データが示す座標値の近傍の固有値が削除された当該座標値に基づいてオプティカルフローを算出し、前記フィルタリング処理手段は、前記近傍の固有値が削除された当該座標値に基づいて算出されたオプティカルフローの終点座標に対してフィルタリング処理を施すことを特徴とする。
請求項2に記載の画像処理装置は、請求項1に記載の画像処理装置であって、前記フィルタ係数は、前記終点座標を中心に段階的に減少する数値であることを特徴とする。
請求項3に記載の画像処理方法は、連続する画像を構成する各画像における固有値を算出することにより特徴点を抽出し、当該特徴点の移動座標からオプティカルフローを算出するオプティカルフロー算出工程と、前記オプティカルフローの大きさに応じて算出され、2次元行列からなり当該行列の中心から数値が指数関数的に減少するフィルタ係数を用いて、当該オプティカルフローに対応する終点座標に対してフィルタリング処理を施すフィルタリング処理工程と、算出された前記固有値と、前記連続する画像を構成する各画像のうち現在処理する画像の直前の画像に対する前記フィルタリング処理後の終点座標の大きさとを合成した値である合成データを算出する合成データ算出工程と、算出された前記合成データのうち最大の当該合成データから大きい順に予め設定された数量の当該合成データを抽出する合成データ抽出工程と、前記抽出された合成データが示す座標値に前記フィルタ処理が施されている場合には、当該座標値から予め設定された近傍の固有値を削除する第1の固有値削除工程と、前記抽出された合成データが示す前記座標値に前記フィルタ処理が施されていない場合には、当該座標から予め設定された近傍の固有値を削除する第2の固有値削除工程と、を備え、前記オプティカルフロー算出工程は、前記第1の固有値削除工程又は前記第2の固有値削除工程によって抽出された合成データが示す座標値の近傍の固有値が削除された当該座標値に基づいてオプティカルフローを算出し、前記フィルタリング処理工程は、前記近傍の固有値が削除された当該座標値に基づいて算出されたオプティカルフローの終点座標に対してフィルタリング処理を施すことを特徴とする。
請求項4に記載の画像処理プログラムは、画像処理装置に含まれるコンピュータを、連続する画像を構成する各画像における固有値を算出することにより特徴点を抽出し、当該特徴点の移動座標からオプティカルフローを算出するオプティカルフロー算出手段、前記オプティカルフローの大きさに応じて算出され、2次元行列からなり当該行列の中心から数値が指数関数的に減少するフィルタ係数を用いて、当該オプティカルフローに対応する終点座標に対してフィルタリング処理を施すフィルタリング処理手段、算出された前記固有値と、前記連続する画像を構成する各画像のうち現在処理する画像の直前の画像に対する前記フィルタリング処理後の終点座標の大きさとを合成した値である合成データを算出する合成データ算出手段、算出された前記合成データのうち最大の当該合成データから大きい順に予め設定された数量の当該合成データを抽出する合成データ抽出手段、前記抽出された合成データが示す座標値に前記フィルタ処理が施されている場合には、当該座標値から予め設定された近傍の固有値を削除する第1の固有値削除手段、前記抽出された合成データが示す前記座標値に前記フィルタ処理が施されていない場合には、当該座標から予め設定された近傍の固有値を削除する第2の固有値削除手段、として機能させることを特徴とする画像処理プログラムであって、前記画像処理プログラムは、さらに、前記オプティカルフロー算出手段は、前記第1の固有値削除手段又は前記第2の固有値削除手段によって抽出された合成データが示す座標値の近傍の固有値が削除された当該座標値に基づいてオプティカルフローを算出し、前記フィルタリング処理手段は、前記近傍の固有値が削除された当該座標値に基づいて算出されたオプティカルフローの終点座標に対してフィルタリング処理を施すようにコンピュータを機能させることを特徴とする。
以上のように、本発明によれば、画像処理装置は、連続する画像を構成する各画像における特徴点を抽出し、当該特徴点の移動座標からオプティカルフローを算出し、前記オプティカルフローの大きさに応じて算出され、2次元行列からなり当該行列の中心から数値が指数関数的に減少するフィルタ係数を用いて、当該オプティカルフローに対応する終点座標に対してフィルタリング処理をし、算出された前記固有値と、前記連続する画像を構成する各画像のうち現在処理する画像の直前の画像に対する前記フィルタリング処理後の終点座標の大きさとを合成した値である合成データを算出し、算出された前記合成データのうち最大の当該合成データから大きい順に予め設定された数量の当該合成データを抽出し、前記抽出された合成データが示す座標値に前記フィルタ処理が施されている場合には、当該座標値から予め設定された近傍の固有値を削除し、前記抽出された合成データが示す前記座標値に前記フィルタ処理が施されていない場合には、当該座標値から予め設定された近傍の固有値を削除し、さらにオプティカルフローを算出し、当該算出されたオプティカルフローの終点座標に対してフィルタリング処理を施すため、オプティカルフローを多数抽出することができる。
本実施形態にかかる画像処理装置の構成を示すブロック図である。 本実施形態にかかる制御部2の動作を示すフローチャートである。 本実施形態にかかる重みマスクを示す概念図である。 本実施形態にかかる特徴点の間引き処理を示すフローチャートである。 本実施形態にかかるフィルタを施す前後の表示画面例を示す図である。 本実施形態にかかるオプティカルフローの算出結果を示すグラフである。
まず、本願の最良の実施形態を添付図面に基づいて説明する。なお、以下に説明する実施の形態は、画像処理装置に対して本願を適用した場合の実施形態である。
まず、本実施形態にかかる画像処理装置の構成及び機能概要について、図1を用いて説明する。
図1は、本実施形態にかかる画像処理装置の構成を示すブロック図である。
画像処理装置Sは、光学系エンジン1、制御部2(本願のオプティカルフロー算出手段、フィルタリング処理手段、合成データ算出手段、合成データ抽出手段、第1の固有値削除手段及び第2の固有値削除手段の一例)、出力データとしての画像を表示する表示部3、及びキーボード、マウス等であり、ユーザ等からの操作指示を受け付け、その指示内容を指示信号として制御部2に出力する操作部4等、とを備える。
光学系エンジン1は、図示しないレンズ、絞り機構、イメージセンサ(例えば、CCD(Charge Couple Semiconductor)イメージセンサやCMOS(Complementary Metal-Oxide Semiconductor)イメージセンサ等)、カラーフィルタ及びインターフェース部等、とを備える。
具体的には、光学系エンジン1では、レンズから取り込まれた光が、絞り機構等によって調節され、イメージセンサ上に光学像として結像される。かかる光学像(静止画像及び動画像を含む)は、イメージセンサによって電気信号に変換され、インターフェース部へ出力される。
光学系エンジン1には、さらに、インターフェース部へ入力される空間周波数を制限する図示しない光学的ローパスフィルタ、インターフェース部へ入力される可視光領域以外の長波長成分をカットするための図示しない赤外カットフィルタ等が備えられている。
インターフェース部は、撮像された画像を、制御部2へ出力するためのインターフェースである。
具体的には、インターフェース部は、撮像された画像に対して、当該画像を構成する画素を示す画素データと、前記画素に対応する色データから構成される入力データとして、制御部2へ出力する。
制御部2は、前記入力データに基づいて画像処理を行い、二次元的に視認可能な平面画像及び動画像を示す出力データを生成するための処理回路であり、例えば、図示しないCPU、RAM及びROMとを備えて構成される。
また制御部2は、かかる画像処理の一例として、オプティカルフローの算出を行う。
上記オプティカルフローの算出は、Lucas-Kanade-tomasi法(KLT法)を用いて実現される。そして、KLT法によって算出された動きベクトルに対して、公知のニュートン・ラプソン法を用いてより正確なベクトル量を計算する。
ここで、KLT法及びニュートン・ラプソン法は、公知の技術であるため詳しい説明は省略するが、オプティカルフローとは、連続する2つの画像における当該画像を構成する画素毎の動きベクトルをいう。すなわち、オプティカルフローは、画像の動きを表す画素毎の速度ベクトルで表され、かかる速度ベクトルを求めることによりがその動きを検出する。
従って、正確なオプティカルフローを算出するためには、制御部2は、上記画素データ等、上記画像の特徴点を正確かつ確実に抽出することが必要である。
KLT法を用いたオプティカルフローの算出について、より具体的には、現フレームの画像をI、次フレームの画像をJとし、位置X=(x,y)での画像の輝度値をそれぞれI(x,y)、J(x,y)とする。I上の点u=(ux,uy)からJ上の最も類似性の高い点v=u+d=(ux+dx,uy+dy)への移動量d=(dx,dy)がオプティカルフローである。即ち、次フレームの特徴点たるJは、J(ux+dx,uy+dy)として表される。
次に、本実施形態にかかる制御部2の動作について、図2〜4を用いて説明する。
上述したように、制御部2は、KLT法を用いてオプティカルフローを算出する。そして、制御部2は、オプティカルフローを算出するに当たって、画像の特徴点を抽出する。
ここで、一般的に、上記KLT法では、撮像された画像のエッジ部分を特徴点として抽出するため、当該画像に表示される人間の服装等(例えば、服のチェック柄)をかかる特徴点として抽出してしまい、正確なオプティカルフローを算出することができないとの問題点があった。
そこで、制御部2は、上記特徴点の抽出に際して、画像を構成する画素データに対して座標値を付与し、当該特徴点の移動座標からオプティカルフローを算出するに際し、算出されたオプティカルフローの大きさを定量化し、前記定量化されたオプティカルフローの大きさが予め設定された閾値以上であった場合に、前記オプティカルフローの大きさに応じて算出されるフィルタ係数を用いて、当該オプティカルフローに対応する終点座標に対してフィルタリング処理を施す。
以下に、制御部2の上記動作を詳細に説明する。
図2は、本実施形態にかかる制御部2の動作を示すフローチャートである。
まず、制御部2は、変数の初期化(後述する重みマスク、重み合成データ及びイテレーションの値を0とする)を行い(ステップS1)、画像処理の対象である画像(フレーム)を取得する。ここで、制御部2は、連続する画像を順次取得するため、本実施形態におけるステップS2では、かかる画像のうちi(i=0〜n)番目のフレームを取得する。
そして、制御部2は、フレームを構成する画素データに対して座標値を付与し、前記座標値に対応する前記画素データの輝度情報(ピクセル)を抽出(カラー画像を輝度画像に変換)する(ステップS3)。
次に、制御部2は、特徴点の抽出の一例として、i番目のフレームの全てのピクセルの固有値を算出する(ステップS4)。
そして、制御部2は、算出された固有値Gから、予め設定された閾値以上のものを特徴点として抽出する。
例えば、上記算出された固有値Gの大きさのうち、1以上の値を示す固有値を特徴点として抽出するようにしてもよい。上記閾値は任意に設定することが可能であり、例えば、操作部4の操作により、ユーザが任意の値を入力することが可能である。
以下に、上記固有値としての固有値Gの算出の一例について説明する。
なお、固有値の算出方法は公知の手法であるため以下に限定されることはない。
具体的には、まず、上記画像点の位置X=(x,y)における空間的な輝度勾配Iのモーメント行列を式(1)とする。
また、モーメント行列Mを式(2)とした場合に、式(2)の固有値λは、Eを単位行列として、式(3)のλに対する解として求められる。
式(3)の解は、式(4)となる。
本実施例では、上記λのうち、式(5)を固有値Gとして算出する。
次に、制御部2は、(i−1)番目の重みマスク(本願の、連続する画像を構成する各画像のうち現在処理する画像の直前の画像に対する前記フィルタリング処理後の終点座標の大きさとを合成した値である合成データの一例)と固有値を合成(加算)し、i番目の重み合成データとして出力する(ステップS5)。
ここで、(i−1)番目の重みマスクとは、現在のフレーム(i番目のフレーム)の直前のフレーム(即ち、(i−1)番目のフレーム)に対応する重みマスクをいう。従って、初めて取得されるフレーム(即ち、i=0の場合)の場合には、(i−1)番目の重みマスクは存在しないこととなる。この場合、ステップS5及び後述するステップS6の処理は行わない。
ここで、重みマスクについて図3を用いて説明する。
図3は、本実施形態にかかる重みマスクを示す概念図であり、重みマスクは、本願のフィルタ係数の一例である。
図3に示すように、重みマスクでは、上記終点座標に加算される係数の大きさをKernelと定義する。このKernelは、2次元行列からなり当該行列の中心から数値が指数関数的に減少し、かつ、上記ベクトルの大きさに比例してその値が増加する係数であり、当該比例の態様は、任意に設定することができる。本実施形態における重みマスクは、上記特徴点を中心として、周囲の画素に対して、Kernelを階段状に減少させた値を加算するように構成される。
具体的には、動きベクトル(終点座標)にはKernelが示す値を、当該終点座標からKernelが示す値の1/2の距離を示す座標にはKernelが示す値の1/2の値を、当該終点座標からKernelが示す値の1/4の距離を示す座標にはKernelが示す値の1/4の値を、当該終点座標からKernelが示す値の1/8の距離を示す座標にはKernelが示す値の1/8の値を、それぞれ加算する。
従って、上記重みマスクの大きさは、終点座標を中心としてピラミッド型に減少する態様を示すこととなる。
この重みマスクは、N×Nの2次元配列とすることもできる。Nは、上述したとおり、特徴点のオプティカルフローの大きさ(移動距離)に比例して変動する。そして、Nの値は、マイナス以外の数値とすることもでき、2次元配列の中心が最も高い数値で、中心から外延部へ行くに従って(外れるに従って)小さい数値を示す。
かかる数値が小さくなる勾配は、上記ピラミッド型のようになだらかな段つきにしてもよいし、オプティカルフローの大きさ(特徴点の移動距離)に相関して勾配を変動させてもよい。Nは、上記オプティカルフローの大きさが大きい特徴点(特徴点の移動距離が大きいもの)には、大きな数値を与え、当該オプティカルフローの大きさが小さい特徴点(特徴点の移動距離が小さいもの)には、小さな数値を与えるようにしてもよい。
図2の説明に戻り、制御部2は、出力されたi番目の重み合成データを記憶する。なお、かかる合成データは、フレームを構成するピクセルの数だけ出力されることになる。
次に、制御部2は、i番目の重み合成データから特徴点の選択・まびきを行う(ステップS6)。
以下に、図4を用いて、特徴点の間引き処理について説明する。
図4は、本実施形態にかかる特徴点のまびき処理を示すフローチャートである。
本実施形態のまびき処理では、算出された上記合成データのうち最大の当該合成データから大きい順に予め設定された数量の当該合成データを抽出し、抽出された合成データが示す座標に重みマスクが施されている場合には、当該座標から予め設定された近傍の固有値を削除し、抽出された合成データが示す前記座標に重みマスクが施されていない場合には、当該座標から予め設定された近傍の固有値を削除する。
具体的には、まず、制御部2は、最大重み合成データ(最大の値を示す合成データ)が示す座標を抽出する(ステップS20)。
なお、上述した合成データには、上記特徴点のうち、上記重みマスクが加算されたものと加算されていないものの双方を含む。
制御部2は、最大の値を示す合成データから順番に、所定の数量分の合成データを選択(抽出)する。本実施形態では、制御部2は、100個の合成データを選択する。
次に、制御部2は、選択した合成データに重みマスクが加算されているか否かを判断し、重みマスクが加算されていれば密に特徴点を抽出し、重みマスクが加算されていなければ疎に特徴点を抽出する(ステップS21)。
そして、抽出した合成データに重みマスクが加算されている場合には(ステップS21:YES)、抽出した合成データが示す上記終点座標から予め設定された近傍(当該終点座標の周囲の画素データが示す座標値)の一例として15近傍の座標値が示す固有値を削除する(ステップS22)。
ここで15近傍とは、例えば、あるピクセルを基準に、横軸(X軸)上の正負方向に15ピクセル分と縦軸(Y軸)上の正負方向に15ピクセル分の座標値を示す。即ち、当該ピクセルを基準に、15×15のマトリクス表示される座標値を意味する。
上記合成データに重みマスクが加算されている座標周辺は、上記オプティカルフローの大きさが大きくなっている。従って、かかる削除を行うことにより、正確なオプティカルフローを算出することができる。
一方、抽出した合成データに重みマスクが加算されていない場合には(ステップS21:NO)、抽出した合成データが示す上記終点座標から予め設定された近傍の一例として45近傍の座標値が示す固有値を削除する(ステップS23)。
上記合成データに重みマスクが加算されていない座標周辺は、上記オプティカルフローのサイズ(大きさ)が小さい。従って、かかる削除を行うことにより、より動きのあるオプティカルフローを多数取得することができる。
ここで、45近傍とは、例えば、あるピクセルを基準に、横軸(X軸)上の正負方向に45ピクセル分と縦軸(Y軸)上の正負方向に45ピクセル分の座標値を示す。即ち、当該ピクセルを基準に、45×45のマトリクス表示される座標値を意味する。
そして、制御部2は、最大合成データから100個分の合成データについて、上記ステップS20〜S23の処理を行う(ステップS24)。
このようにして、特徴点のまびき処理によって処理されたデータは、i番目の特徴点データとして、例えば、RAM又は図示しない記憶部等に保存される。
図2の説明に戻り、制御部2は、(i−1)番目の重みマスクを初期化する(ステップS7)。
次に、制御部2は、(i+1)番目のフレームを取得すると(ステップS8)、フレームを構成する画素データに対して座標値を付与し、前記座標値に対応する前記画素データの輝度情報を抽出(カラー画像を輝度画像に変換)する(ステップS9)。
次に、制御部2は、上述したi番目の特徴点データを基に、i及び(i+1)番目のフレームの輝度情報から、動きベクトル(オプティカルフロー)を算出する(ステップS10)。
具体的に、上述したi番目の特徴点データに対して、i及び(i+1)番目のフレームの輝度情報のうち、当該i番目の特徴点データと、最も類似性の高い点への移動量を算出することにより行われ、上述した公知のKLT法によって算出される。
更に具体的には、例えば、i番目のフレームの輝度情報のうち当該i番目の特徴点データと、最も類似性の高い点と、i+1番目のフレームの輝度情報のうち当該i番目の特徴点データと、最も類似性の高い点とを解析し、それぞれの点の移動量から動きベクトルを算出する。
次に、制御部2は、算出された動きベクトルの終点座標に対して、上記重みマスクを加算する(ステップS11)。換言すれば、i番目のフレームに対して、i番目の重みマスクを生成する。
そして、制御部2は、i+1をiに変更する(即ち、i+1をiにインクリメントする)(ステップS12)。そして、ステップS2へ移行する。
次に、図5及び図6を用いて、本実施形態の実施結果について説明する。
図5は、本実施形態にかかるフィルタを施す前後の表示画面例を示す図である。
図5に示すように、図5(A)〜(C)の上段に示される人物は直立しており、右手のみを左右に振っている。そして、図5(A)〜(C)の下段には、制御部2が上記ステップS1〜S10に示す動作を実行することにより生成された動き情報が示されている。このように、動きがある部分のみオプティカルフローが抽出されている。
図6は、本実施形態にかかるオプティカルフローの算出結果を示すグラフである。
図6に示すように、グラフの横軸には画像のフレーム数が、縦軸には、動きを取得した特徴点数(オプティカルフローの算出結果)がそれぞれ示されている。図6のグラフに示すように、本実施形態にかかる動きを取得した特徴点数は、従来手法によって算出された動きを取得した特徴点数よりも、格段に多いことがわかる。
以上説明したように、本実施形態においては、制御部2は、連続する画像を構成する各画像における特徴点を抽出し、当該特徴点の移動座標からオプティカルフローを算出し、重みマスクを用いて、当該オプティカルフローに対応する終点座標に対して重みマスクを加算し、算出された前記固有値と、前記連続する画像を構成する各画像のうち現在処理する画像の直前の画像に対して重みマスクを加算した後の終点座標の大きさとを合成した値である合成データを算出し、算出された前記合成データのうち最大の当該合成データから大きい順に予め設定された数量の当該合成データを抽出し、前記抽出された合成データが示す座標値に前記重みマスクが加算されている場合には、当該座標値から予め設定された近傍の固有値を削除し、前記抽出された合成データが示す前記座標値に重みマスクが加算されていない場合には、当該座標値から予め設定された近傍の固有値を削除し、さらにオプティカルフローを算出し、当該算出されたオプティカルフローの終点座標に対して重みマスクを加算するため、オプティカルフローを多数抽出することができる。
なお、上記実施形態においては、本願を画像処理装置に対して適用した場合の例を示したが、その他にも例えば、デジタルビデオカメラ、デジタルカメラ、パーソナルコンピュータ又は家庭用等の電子機器等に対しても適用可能である。
1 光学系エンジン
2 制御部
3 表示部
4 操作部
S 画像処理装置

Claims (4)

  1. 連続する画像を構成する各画像における固有値を算出することにより特徴点を抽出し、当該特徴点の移動座標からオプティカルフローを算出するオプティカルフロー算出手段と、
    前記オプティカルフローの大きさに応じて算出され、2次元行列からなり当該行列の中心から数値が指数関数的に減少するフィルタ係数を用いて、当該オプティカルフローに対応する終点座標に対してフィルタリング処理を施すフィルタリング処理手段と、
    算出された前記固有値と、前記連続する画像を構成する各画像のうち現在処理する画像の直前の画像に対する前記フィルタリング処理後の終点座標の大きさとを合成した値である合成データを算出する合成データ算出手段と、
    算出された前記合成データのうち最大の当該合成データから大きい順に予め設定された数量の当該合成データを抽出する合成データ抽出手段と、
    前記抽出された合成データが示す座標値に前記フィルタ処理が施されている場合には、当該座標値から予め設定された近傍の固有値を削除する第1の固有値削除手段と、
    前記抽出された合成データが示す前記座標値に前記フィルタ処理が施されていない場合には、当該座標値から予め設定された近傍の固有値を削除する第2の固有値削除手段と、を備え、
    前記オプティカルフロー算出手段は、前記第1の固有値削除手段又は前記第2の固有値削除手段によって抽出された合成データが示す座標値の近傍の固有値が削除された当該座標値に基づいてオプティカルフローを算出し、
    前記フィルタリング処理手段は、前記近傍の固有値が削除された当該座標値に基づいて算出されたオプティカルフローの終点座標に対してフィルタリング処理を施すことを特徴とする画像処理装置。
  2. 請求項1に記載の画像処理装置であって、
    前記フィルタ係数は、前記終点座標を中心に段階的に減少する数値であることを特徴とする画像処理装置。
  3. 連続する画像を構成する各画像における固有値を算出することにより特徴点を抽出し、当該特徴点の移動座標からオプティカルフローを算出するオプティカルフロー算出工程と、
    前記オプティカルフローの大きさに応じて算出され、2次元行列からなり当該行列の中心から数値が指数関数的に減少するフィルタ係数を用いて、当該オプティカルフローに対応する終点座標に対してフィルタリング処理を施すフィルタリング処理工程と、
    算出された前記固有値と、前記連続する画像を構成する各画像のうち現在処理する画像の直前の画像に対する前記フィルタリング処理後の終点座標の大きさとを合成した値である合成データを算出する合成データ算出工程と、
    算出された前記合成データのうち最大の当該合成データから大きい順に予め設定された数量の当該合成データを抽出する合成データ抽出工程と、
    前記抽出された合成データが示す座標値に前記フィルタ処理が施されている場合には、当該座標値から予め設定された近傍の固有値を削除する第1の固有値削除工程と、
    前記抽出された合成データが示す前記座標値に前記フィルタ処理が施されていない場合には、当該座標値から予め設定された近傍の固有値を削除する第2の固有値削除工程と、を備え、
    前記オプティカルフロー算出工程は、前記第1の固有値削除工程又は前記第2の固有値削除工程によって抽出された合成データが示す座標値の近傍の固有値が削除された当該座標値に基づいてオプティカルフローを算出し、
    前記フィルタリング処理工程は、前記近傍の固有値が削除された当該座標値に基づいて算出されたオプティカルフローの終点座標に対してフィルタリング処理を施すことを特徴とする画像処理方法。
  4. 画像処理装置に含まれるコンピュータを、
    連続する画像を構成する各画像における固有値を算出することにより特徴点を抽出し、当該特徴点の移動座標からオプティカルフローを算出するオプティカルフロー算出手段、
    前記オプティカルフローの大きさに応じて算出され、2次元行列からなり当該行列の中心から数値が指数関数的に減少するフィルタ係数を用いて、当該オプティカルフローに対応する終点座標に対してフィルタリング処理を施すフィルタリング処理手段、
    算出された前記固有値と、前記連続する画像を構成する各画像のうち現在処理する画像の直前の画像に対する前記フィルタリング処理後の終点座標の大きさとを合成した値である合成データを算出する合成データ算出手段、
    算出された前記合成データのうち最大の当該合成データから大きい順に予め設定された数量の当該合成データを抽出する合成データ抽出手段、
    前記抽出された合成データが示す座標値に前記フィルタ処理が施されている場合には、当該座標値から予め設定された近傍の固有値を削除する第1の固有値削除手段、
    前記抽出された合成データが示す前記座標値に前記フィルタ処理が施されていない場合には、当該座標値から予め設定された近傍の固有値を削除する第2の固有値削除手段、
    として機能させることを特徴とする画像処理プログラムであって、
    前記画像処理プログラムは、さらに、
    前記オプティカルフロー算出手段は、前記第1の固有値削除手段又は前記第2の固有値削除手段によって抽出された合成データが示す座標値の近傍の固有値が削除された当該座標値に基づいてオプティカルフローを算出し、
    前記フィルタリング処理手段は、前記近傍の固有値が削除された当該座標値に基づいて算出されたオプティカルフローの終点座標に対してフィルタリング処理を施すようにコンピュータを機能させることを特徴とする画像処理プログラム。
JP2009251218A 2009-10-30 2009-10-30 画像処理装置、画像処理方法及び画像処理プログラム Expired - Fee Related JP5337667B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2009251218A JP5337667B2 (ja) 2009-10-30 2009-10-30 画像処理装置、画像処理方法及び画像処理プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2009251218A JP5337667B2 (ja) 2009-10-30 2009-10-30 画像処理装置、画像処理方法及び画像処理プログラム

Publications (2)

Publication Number Publication Date
JP2011096121A JP2011096121A (ja) 2011-05-12
JP5337667B2 true JP5337667B2 (ja) 2013-11-06

Family

ID=44112934

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009251218A Expired - Fee Related JP5337667B2 (ja) 2009-10-30 2009-10-30 画像処理装置、画像処理方法及び画像処理プログラム

Country Status (1)

Country Link
JP (1) JP5337667B2 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112508040A (zh) * 2020-12-21 2021-03-16 中国科学院微电子研究所 一种图像识别方法及相关装置

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4086422B2 (ja) * 1999-07-21 2008-05-14 日本放送協会 被写体認識装置
JP2006323437A (ja) * 2005-05-17 2006-11-30 Sony Corp 物体追跡方法、物体追跡方法のプログラム、物体追跡方法のプログラムを記録した記録媒体及び物体追跡装置

Also Published As

Publication number Publication date
JP2011096121A (ja) 2011-05-12

Similar Documents

Publication Publication Date Title
JP6942488B2 (ja) 画像処理装置、画像処理システム、画像処理方法、及びプログラム
JP6109185B2 (ja) 地図に基づいた制御
JP6088792B2 (ja) 画像検出装置及び制御プログラム並びに画像検出方法
JP5809925B2 (ja) 画像処理装置、それを備えた画像表示装置及び撮像装置、画像処理方法、並びに画像処理プログラム
CN108537860B (zh) 图像生成装置、控制方法和计算机可读存储介质
CN108024027B (zh) 图像处理设备、图像处理方法和存储介质
JP2008113071A (ja) 自動追尾装置
JP6587435B2 (ja) 画像処理装置、情報処理方法及びプログラム
CN109218663B (zh) 图像处理设备、图像处理方法和存储介质
JP5613741B2 (ja) 画像処理装置、方法、及びプログラム
JP4764487B2 (ja) 映像監視システム
JP2009212637A (ja) 撮像装置
JP2012530994A (ja) 半顔面検出のための方法および装置
US20180144206A1 (en) Setting apparatus, setting method, and storage medium
JP2015219879A (ja) 画像認識システム、画像認識方法およびプログラム
JP2007188294A (ja) 画像処理による移動体候補の検出方法及び移動体候補から移動体を検出する移動体検出方法、移動体検出装置及び移動体検出プログラム
JP2024098114A (ja) 情報処理装置、情報処理方法、及びプログラム
JP5337667B2 (ja) 画像処理装置、画像処理方法及び画像処理プログラム
JP5876121B2 (ja) 画像処理装置、方法、及びプログラム
JP5862261B2 (ja) 検出装置、検出方法、及び、車両
JP6350331B2 (ja) 追尾装置、追尾方法及び追尾プログラム
EP3496390B1 (en) Information processing device, information processing method, and storage medium
JP5446641B2 (ja) 画像処理装置、画像処理方法及び画像処理プログラム
JP6124739B2 (ja) 画像センサ
JP6543546B2 (ja) 特定動作検出装置及び特定動作検出方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20120914

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20130628

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130709

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130805

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees