JP4926163B2 - 移動対象検出装置、移動対象検出方法及び移動対象検出プログラム - Google Patents

Description

本発明は、映像内の移動対象を検出する移動対象検出装置、移動対象検出方法及び移動対象検出プログラムの技術に関する。

現在、カメラ等で撮影された移動対象の動きを検出する場合には、相互相関法やオプティカルフロー法等の動き検出モデルが利用されている。この動き検出モデルは、２枚の画像フレーム間における移動対象の動きを画像濃淡値（画像輝度値）を利用して確率的に検出するものである。

具体的には、時刻ｔ−１の画像フレームから検出された時刻ｔの画像フレームの移動対象を構成している各画素と、時刻ｔ＋１の画像フレームの全画素との間の輝度変動量をそれぞれ求め、求めた輝度変動量が最も小さい時刻ｔ＋１の画素を時刻ｔに対応する対応画素として推定し、時刻ｔ＋１の画像フレームでの移動対象を検出するものである（非特許文献１参照）。なお、輝度変動量という表現を類似度という表現に置き換えて、類似度が最も高い画素を求める場合もある。

具体的に上記対応画素を推定するには、輝度変動条件や移動対象の動きの滑らかさ条件等を動き検出モデルの拘束条件とし、その拘束条件を構成している速度成分等について差分法や最急降下法等を利用して一定値になるまで反復的に繰り返し計算する。
田村 秀行 監修、"コンピュータ画像処理入門 第５章 画像の特徴抽出と解析・認識"、総研出版、1985年、p.118-125 "粒子法による流れの数値解析"、［online］、［平成20年10月27日検索］、インターネット＜URL : http://www.nagare.or.jp/nagare/21-3/21-3-t02.pdf＞ 中川 徹、外１名、「最小二乗法による実験データ解析」、東京大学出版会、1995、p.168-169

しかしながら、輝度変動量を求める単位は画素毎であって、移動対象の動きを安定して精度よく検出するには移動対象に対する画像フレーム間の輝度変動量がゼロ又は一定若しくは非常に小さいと仮定して対応画素を推定するため、時間的に連続する２枚の画像フレーム間における移動対象の移動距離や輝度（濃淡）の変位量が大きい場合には移動対象の推定が困難という問題があった。

本発明は、上記を鑑みてなされたものであり、サンプリングレイトが低い時系列画像や物理的に単位時間当たりの移動対象の変位量が大きい場合であっても、移動対象を確実に検出する移動対象検出装置、移動対象検出方法及び移動対象検出プログラムを提供することを課題とする。

第１の請求項に係る発明は、移動対象を撮影した映像を時系列な複数の画像フレームとして記憶しておく記憶手段と、前記記憶手段から時系列に連続する現画像フレームと次画像フレームとを読み出して、当該現画像フレームに撮影された前記移動対象のテンプレート領域との距離に比例する大きさの複数の探索領域を当該次画像フレームから決定する探索領域決定手段と、２枚の画像フレーム間の移動対象の動きを画像濃淡値を利用して確率的に検出する所定の動き検出モデルを用いて、前記テンプレート領域と前記各探索領域との間の輝度変動量をそれぞれ計算し、当該輝度変動量が最も小さい前記探索領域を前記次画像フレームにおける前記移動対象として検出する動き検出手段と、を有し、前記テンプレート領域および前記各探索領域は、複数の画素を集合させた領域であって、前記動き検出手段は、前記輝度変動量の計算を領域毎に行うことを要旨とする。

第２の請求項に係る発明は、前記動き検出モデルはオプティカルフロー法であって、当該オプティカルフロー法に基づいて前記輝度変動量を計算する際に用いる拘束条件を構成する時間及び空間の微分演算子に、粒子法に基づく演算子を適用することを要旨とする。

第３の請求項に係る発明は、前記動き検出手段は、前記テンプレート領域から一定距離内に含まれる前記探索領域を用いて前記輝度変動量を計算することを要旨とする。

第４の請求項に係る発明は、コンピュータにより、移動対象を撮影した映像を時系列な複数の画像フレームとして記憶手段に記憶しておく第１ステップと、前記記憶手段から時系列に連続する現画像フレームと次画像フレームとを読み出して、当該現画像フレームに撮影された前記移動対象のテンプレート領域との距離に比例する大きさの複数の探索領域を当該次画像フレームから決定する第２ステップと、２枚の画像フレーム間の移動対象の動きを画像濃淡値を利用して確率的に検出する所定の動き検出モデルを用いて、前記テンプレート領域と前記各探索領域との間の輝度変動量をそれぞれ計算し、当該輝度変動量が最も小さい前記探索領域を前記次画像フレームにおける前記移動対象として検出する第３ステップと、を有し、前記テンプレート領域および前記各探索領域は、複数の画素を集合させた領域であって、前記第３ステップは、前記輝度変動量の計算を領域毎に行うことを要旨とする。

第５の請求項に係る発明は、前記動き検出モデルはオプティカルフロー法であって、当該オプティカルフロー法に基づいて前記輝度変動量を計算する際に用いる拘束条件を構成する時間及び空間の微分演算子に、粒子法に基づく演算子を適用することを要旨とする。

第６の請求項に係る発明は、前記第３ステップは、前記テンプレート領域から一定距離内に含まれる前記探索領域を用いて前記輝度変動量を計算することを要旨とする。

第７の請求項に係る発明は、請求項４乃至６のいずれか１項に記載の移動対象追跡方法における各ステップをコンピュータによって実行させることを要旨とする。

本発明によれば、サンプリングレイトが低い時系列画像や物理的に単位時間当たりの移動対象の変位量が大きい場合であっても、移動対象を確実に検出する移動対象検出装置、移動対象検出方法及び移動対象検出プログラムを提供することができる。

図１は、本実施の形態に係る移動対象検出装置の構成を示す構成図である。この移動対象検出装置１００は、入力部１１と、探索領域決定部１２と、動き検出部１３と、表示部１４と、記憶部１５とを備えている。

入力部１１は、波や台風時の雲といった単位時間当たりの位置や輝度の変位量が大きい移動対象を撮影した映像を入力する機能を備えている。なお、本実施の形態では変位量が大きい対象を移動対象としているが、人や風のない晴天時の雲等といった変位量が小さい移動対象であっても、同様の効果を得ることは可能である。

記憶部１５は、入力部１１で入力された映像を時系列な複数の画像フレームとして記憶する機能を備えている。このような記憶部１５としては、例えばメモリ、ハードディスク等の記憶装置を用いることが一般的であり、移動対象検出装置１００の内部のみならず、インターネットや電話回線等の通信ネットワークを介して電気的に接続可能な外部の記憶装置を用いることも可能である。

探索領域決定部１２は、記憶部１５から時系列に連続する時刻ｔの画像フレーム（現画像フレーム）と時刻ｔ＋１の画像フレーム（次画像フレーム）とを読み出して、図２に示すように、時刻ｔの画像フレームで撮影された移動対象を示す画像領域（以下、「テンプレート領域」と称する）３０との距離に比例して大きさの異なる複数の探索領域５０ａ〜５０ｃを時刻ｔ＋１の画像フレームから決定する機能を備えている。以下、具体的に説明する。

前述したように、単位時間当たりの移動対象の移動距離や輝度の変位量が大きい場合には、時刻ｔの画像フレームの各画素に対応する対応画素を時刻ｔ＋１の画像フレームから推定することは困難である。これは、ビデオレイトが低い場合や、サンプリングレイトに対して高速に移動している移動対象を撮影した場合に生じる問題であって、具体的には、画像輝度情報が各画素に存在し、時間の経過に伴って実環境下での照明、陰影、ノイズ等の影響により輝度値が変化するためである。このような場合には、強い拘束条件を課さない限り決定論的に対応画素を推定することは困難である。

そこで、本実施の形態では、画素毎に輝度変動量を求めて対応画素を推定するのに代えて、複数の画素を集合させた領域間で輝度変動量を求め、輝度変動量の最も小さい領域内に移動対象が存在するものと仮定して、時刻ｔ＋１の画像フレームで移動対象を検出している。具体的に、探索領域決定部１２では、時刻ｔ−１の画像フレームから検出された時刻ｔの画像フレームにおける移動対象を示す範囲を前述したテンプレート領域３０とし、このテンプレート領域３０に対応する複数の探索領域５０ａ〜５０ｃを時刻ｔ＋１の画像フレームから決定している。

このように領域を用いて移動対象を検出する場合には、例えば粒子法を利用することができる。粒子法とは、複数の粒子を用いて流体，剛体，弾性体等の様々な連続体の形状変化を近似するモデリング手法である（非特許文献２参照）。コンピュータ内に自由に移動できる複数の粒子が存在すると仮定した場合、図３に示すように、円の半径ｒ_ｅの範囲内に存在する粒子ｓに対して、円の中心の粒子ｋとの粒子間距離ｒに関する指数関数による重み付け量ｗ（式（１））を与えることができる。なお、半径ｒ_ｅの範囲外の粒子については粒子ｋとの相互作用は無いものとしている。

また、画素の輝度は画像フレーム間で様々な要因により変化するため、安定して移動対象を検出できない可能性がある。そこで、探索領域決定部１２は、図４に示すように、決定される各探索領域５０ａ〜５０ｃの大きさをテンプレート領域３０との距離Ｌに比例（正比例や二乗比例等）して大きくするものとしている。これは、テンプレート領域３０との距離が大きくなるほど探索領域の信頼性が低下するためである。これを粒子法に適用すると先程定義した式（１）を式（２）に変形することができる。なお、テンプレート領域３０との距離Ｌについては、単なる数値ではなく関数を用いることも可能である。

すなわち、粒子法における各粒子を画像フレームの各画素とし、粒子法の円の内側を探索領域とし、半径ｒ_ｅに基づく重み付け量ｗを探索領域の大きさとすることにより、粒子法を用いて後述する動き検出部１３で移動対象の動きを検出することが可能となる。

動き検出部１３は、２枚の画像フレーム間の移動対象の動きを画像濃淡値を利用して確率的に検出する動き検出モデルを用いて、テンプレート領域３０と各探索領域５０ａ〜５０ｃとの間の輝度変動量をそれぞれ計算し、計算された輝度変動量が最も小さい探索領域を時刻ｔ＋１の画像フレームにおける移動対象として検出する機能を備えている。以下、具体的に説明する。

既に背景技術の欄で説明したように動き検出モデルについては相互相関法やオプティカルフロー法等が存在するが、本実施の形態に係る動き検出部１３は、オプティカルフロー法を用いている。オプティカルフローとは、撮影された移動対象の見かけの速度ベクトルのことを意味している。

先に、一般的なオプティカルフロー法について説明する。図５に示すように、時刻ｔにおいて座標（ｘ，ｙ）にある輝度（濃淡）Ｉが、δｔ時間経過した後に座標（ｘ＋δｘ，ｙ＋δｙ）に移動したとき、後者について（ｘ，ｙ，ｔ）のまわりでテイラー展開すると式（３）を得ることができる。

そして、式（３）に示す右辺の第２項〜第４項をδｔで割った値が２枚の画像フレーム間の輝度変動量に相当し、移動対象に対する輝度変動量がゼロとして式（４）を導出する。

ここで、δｔの極限としてδｔ→０とすると式（５）を得ることができる。

式（５）がオプティカルフローを計算する基本式であり、式（６）に示すようにｄｘ／ｄｔとｄｙ／ｄｔとを計算することにより、速度ベクトルｄを求めることができる。このｄがオプティカルフローである。

ここで、この基本式を計算するには拘束条件を与える必要があるが、本実施の形態では、輝度変動条件と移動対象の動きの滑らかさ条件とを拘束条件としている。

最初に、輝度変動条件について説明する。式（５）に示す（∂ｘ／∂ｔ）をＩ_ｘ、（∂ｙ／∂ｔ）をＩ_ｙ、（∂Ｉ／∂ｔ）をＩ_ｔとし、式（５）を用いて誤差ｅｒｒを式（７）のように定義する。Ｉ_ｘ、Ｉ_ｙは、空間二次元成分（ｘ，ｙ）の一次微分を意味し、Ｉ_ｔは、時間に関する一次微分を意味している。

差分法に基づいて（ｉ、ｊ）格子上で式（７）の各変数を離散化すると、画素（ｉ、ｊ）における誤差ｅｒｒ_ｉ，ｊは式（８）で表現することができる。この式（８）が輝度変動条件となる。

一方、観測対象の動きの滑らかさ条件については、式（９）に示すように速度ベクトルの変数ｕ，ｖの１次微分を用いる。

最終的には、式（８）に示す輝度変動条件と式（９）に示す移動対象の動きの滑らか条件とから得られた拘束条件（式（１０））を用いて、未知数（ｕ，ｖ）を最小二乗法等を用いて推定する。なお、Ｅは画像１枚を表し、λは滑らかさ条件に対する調整量である。

この最小二乗法の解法については、それら各未知数で式（１０）をそれぞれ偏微分した２つの線形連立方程式をそれぞれゼロ（最小値）とすることで求めることができる。なお、最小二乗法に関する具体的な計算方法については非特許文献３に記載された方法を用いることが可能であることを付言しておく。

このようなオプティカルフロー法を用いて輝度変動条件を計算することにより、時刻ｔの画像フレームの各画素と時刻ｔ＋１の画像フレームの全画素との間での輝度変動量をそれぞれ計算することが可能となる。従来においては、前述したように移動対象の変位量は微小であると仮定したモデルであったため、通常の差分法を用いても十分に輝度変動に関する勾配計算が可能であった。

しかしながら、その変位量が大きい場合、空間情報（ｘ，ｙ）においては、近傍に十分な輝度情報が存在しないケースが多く、時間情報（ｔ）においても、変位量が大きいために数画素近傍の探索では十分に対応付けができる画素が存在しないケースがある。そのため、画素単位の差分計算の考え方を直接適用することが困難となる。

そこで、動き検出部１３は、粒子法に基づいて重み付けされた一定領域を用いて、対応する探索領域を時刻ｔ＋１の画像フレームから検出するものとしている。具体的には、オプティカルフロー法に基づいて輝度変動量を計算する際に用いる拘束条件（式（１０））の輝度変動条件を構成している空間の微分演算子（Ｉ_ｘ，Ｉ_ｙ）及び時間の微分演算子（Ｉ_ｔ）について、不連続な値を用いた計算に対応できるように拡張するため、式（１）や式（２）を適応させた粒子法に基づく微分演算子を用いる。粒子法に基づく微分演算子には勾配とラプラシアンが含まれるが（非特許文献２参照）、本実施の形態では、粒子ｋの位置におけるスカラー量φの勾配モデルを微分演算子として用いる（式（１１））。

なお、ｒは位置ベクトル、ｄは次元数、ｎ_０は粒子密度、φ_ｋは粒子ｋのスカラー量、φ_ｓは粒子ｓのスカラー量である。粒子ｋと近傍に存在する複数の粒子ｓとの相互作用は和として表れることになる。

空間の微分演算子については、式（１）を適応させた式（１１）を用いることにより、不連続かつ散逸的に分布する画素（輝度）から勾配値を計算することができる。なお、式（１１）は粒子法に基づいて表現しているが、スカラー量を輝度とみなすと共に粒子を画素とみなして、各変数を画像フレーム上のｘ成分、ｙ成分、ｘ成分方向への変数ｉ、ｙ成分方向への変数ｊ等に置き換えて計算することになる。具体的には、式（１１）のｒ_ｓ−ｒ_ｋ＝（ｘ_ｓ−ｘ_ｋ，ｙ_ｓ−ｙ_ｋ）＝（ｉ_ｓ−ｉ_ｋ，ｊ_ｓ−ｊ_ｋ）とし、φ_ｋ＝Ｉ_{ｉｋ，ｊｋ}，φ_ｓ＝Ｉ_{ｉｓ，ｊｓ}として計算する。

一方、時間の微分演算子については、式（２）を適応させた式（１１）を用いる。なお、式（１１）は、本来、同一時刻での空間微分を定義しているため、ここでは、粒子ｋを時刻ｔの粒子、粒子ｓを時刻ｔ＋１の粒子とみなして計算する。ただし、粒子ｋと粒子ｓとの画素の位置は時刻ｔと時刻ｔ＋１とで同じものとする。これは、差分法において、（Ｉ_ｔ）_ｉ，ｊ＝Ｉ_ｉ，ｊ ^ｎ−Ｉ_ｉ，ｊ ^ｎ−１（ｎは離散時間間隔）であるように、同じ位置（ｉ，ｊ）対して、異なる時刻に相当する。ただし、離散時間間隔を便宜上、１．０としている。差分法において、この時間差分が有効なのは、移動前後において、同一位置（ｉ，ｊ）に移動対象が重なってしまうからである。移動対象の移動距離が大きい場合には、この時間項はゼロとなってしまい、指定される速度ゼロとなるからである。

以上から、動き検出部１３は、式（１０）で示した拘束条件式から取り出した輝度変動条件（式（１２））を用いて計算する際に、空間の微分演算子（Ｉ_ｘ，Ｉ_ｙ）については式（１）を適応させた式（１１）を、時間の微分演算子（Ｉ_ｔ）については式（２）を適応させた式（１１）を用いて、時刻ｔの画像フレームのテンプレート領域３０と時刻ｔ＋１の画像フレームの複数の探索領域５０ａ〜５０ｃとの間で輝度変動量をそれぞれ計算する。そして、その輝度変動量が最小となる探索領域の速度ベクトルを式（１０）の拘束条件式を用いて計算し、計算された速度ベクトル（オプティカルフロー）を時刻ｔ＋１の画像フレームにおける移動対象として検出する。

なお、動き検出部１３は、テンプレート領域３０から一定の距離を最大探索範囲ＬＬとし、この最大探索範囲ＬＬ内に含まれる複数の探索領域を用いて式（１２）が最小となる探索領域を検出するようにしてもよい。これは、輝度変動が殆どないが対応付ける探索領域との距離が大きい場合を想定している。

表示部１４は、動き検出部１３で検出されたオプティカルフローを画面に出力する機能を備えている。

図７は、オプティカルフローの表示結果を示す図である。左側に示した時系列な２枚の大波を撮影した画像を用いて、従来法である相互相関法により動き推定を行った場合には、対応付けが不十分なため不完全なオプティカルフローとなっている。一方、本実施の形態の場合には、渦巻く大きな変位を持つ波の特徴とそのままオプティカルフローで表現することを可能としている。

本実施の形態によれば、時刻ｔの画像フレームに撮影された移動対象のテンプレート領域との距離に比例する大きさの複数の探索領域を時刻ｔ＋１の画像フレームから決定し、オプティカルフロー法を用いて、テンプレート領域と各探索領域との間の輝度変動量をそれぞれ計算し、計算された輝度変動量が最も小さい探索領域を時刻ｔ＋１の画像フレームにおける移動対象として検出するので、サンプリングレイトが低い時系列画像や物理的に単位時間当たりの移動対象の変位量が大きい場合であっても、移動対象を確実に検出することができる。

なお、本実施の形態では、テンプレート領域として一定面積のある領域のように説明したが、これは面積が微少な「点」を含む概念であって、例えば１つの画素や２〜３の複数の画素を含む概念であることを付言しておく。

最後に、各実施の形態で説明した移動対象検出装置は、コンピュータで構成され、各機能ブロックの各処理はプログラムで実行されるようになっている。また、各実施の形態で説明した移動対象検出装置の各処理動作をプログラムとして例えばコンパクトディスクやフロッピー（登録商標）ディスク等の記録媒体に記録して、この記録媒体をコンピュータに組み込んだり、若しくは記録媒体に記録されたプログラムを、任意の通信回線を介してコンピュータにダウンロードしたり、又は記録媒体からインストールし、該プログラムでコンピュータを動作させることにより、上述した各処理動作を移動対象検出装置として機能させることができるのは勿論である。

なお、本実施の形態で説明した移動対象検出装置は、マルチメディア分野、符号化分野、通信分野、映像監視分野、携帯電話分野、その他の画像から移動対象の動き変化情報を利用する産業分野において応用可能であることを付言しておく。

本実施の形態に係る移動対象検出装置の構成を示す構成図である。 複数の探索領域を決定する際の説明図である。 粒子法における概念を示す概念図である。 テンプレート領域に対する複数の探索領域の距離と半径との関係を示す図である。 オプティカルフローを説明する説明図である。 粒子法における勾配モデルの概念を示す概念図である。 オプティカルフローの表示結果を示す図である。

符号の説明

１１…入力部
１２…探索領域決定部
１３…動き検出部
１４…表示部
１５…記憶部
３０…テンプレート領域
５０ａ〜５０ｃ…探索領域
１００…移動対象検出装置

Claims (7)

1. 移動対象を撮影した映像を時系列な複数の画像フレームとして記憶しておく記憶手段と、
   前記記憶手段から時系列に連続する現画像フレームと次画像フレームとを読み出して、当該現画像フレームに撮影された前記移動対象のテンプレート領域との距離に比例する大きさの複数の探索領域を当該次画像フレームから決定する探索領域決定手段と、
   ２枚の画像フレーム間の移動対象の動きを画像濃淡値を利用して確率的に検出する所定の動き検出モデルを用いて、前記テンプレート領域と前記各探索領域との間の輝度変動量をそれぞれ計算し、当該輝度変動量が最も小さい前記探索領域を前記次画像フレームにおける前記移動対象として検出する動き検出手段と、を有し、
   前記テンプレート領域および前記各探索領域は、複数の画素を集合させた領域であって、前記動き検出手段は、前記輝度変動量の計算を領域毎に行うことを特徴とする移動対象検出装置。
2. 前記動き検出モデルはオプティカルフロー法であって、
   当該オプティカルフロー法に基づいて前記輝度変動量を計算する際に用いる拘束条件を構成する時間及び空間の微分演算子に、粒子法に基づく演算子を適用することを特徴とする請求項１に記載の移動対象検出装置。
3. 前記動き検出手段は、
   前記テンプレート領域から一定距離内に含まれる前記探索領域を用いて前記輝度変動量を計算することを特徴とする請求項１又は２に記載の移動対象検出装置。
4. コンピュータにより、
   移動対象を撮影した映像を時系列な複数の画像フレームとして記憶手段に記憶しておく第１ステップと、
   前記記憶手段から時系列に連続する現画像フレームと次画像フレームとを読み出して、当該現画像フレームに撮影された前記移動対象のテンプレート領域との距離に比例する大きさの複数の探索領域を当該次画像フレームから決定する第２ステップと、
   ２枚の画像フレーム間の移動対象の動きを画像濃淡値を利用して確率的に検出する所定の動き検出モデルを用いて、前記テンプレート領域と前記各探索領域との間の輝度変動量をそれぞれ計算し、当該輝度変動量が最も小さい前記探索領域を前記次画像フレームにおける前記移動対象として検出する第３ステップと、を有し、
   前記テンプレート領域および前記各探索領域は、複数の画素を集合させた領域であって、前記第３ステップは、前記輝度変動量の計算を領域毎に行うことを特徴とする移動対象検出方法。
5. 前記動き検出モデルはオプティカルフロー法であって、
   当該オプティカルフロー法に基づいて前記輝度変動量を計算する際に用いる拘束条件を構成する時間及び空間の微分演算子に、粒子法に基づく演算子を適用することを特徴とする請求項４に記載の移動対象検出方法。
6. 前記第３ステップは、
   前記テンプレート領域から一定距離内に含まれる前記探索領域を用いて前記輝度変動量を計算することを特徴とする請求項４又は５に記載の移動対象検出方法。
7. 請求項４乃至６のいずれか１項に記載の移動対象検出方法における各ステップをコンピュータによって実行させることを特徴とする移動対象検出プログラム。