JP5261331B2 - 画像解析装置、画像解析方法およびプログラム - Google Patents

Description

本発明は、画像解析装置、画像解析方法およびプログラムに関する。

画像からオブジェクトを抽出する技術が知られている（例えば、特許文献１および特許文献２参照。）。
特開２００１−１９５５８２号公報 特開２００４−５４９６０号公報

ところで、移動の目的地点を定めていない人物は、移動の目的地点を定めている人物とは違い、急に向きを変える場合がある。上記特許文献に記載の技術のように、移動速度が小さい場合に探索領域を狭くすると、探索し損ねてしまう確率が大きくなる場合がある。逆に、移動の目的地点を定めている人物は目的地点に向けて一直線に移動する場合が多いので、人物の移動速度は比較的に大きくなる場合が多い。上記特許文献に記載の技術のように、移動速度が大きい場合に探索領域を広げると、人物のオブジェクトを抽出するための演算量が増加してしまい、オブジェクトを速やかに抽出することができなくなる場合がある。

上記課題を解決するために、本発明の第１の態様においては、画像解析装置であって、複数の動画構成画像を含む動画において動くオブジェクトの動き量を特定する動き量特定部と、動画構成画像においてオブジェクトを探索する画像領域である探索領域を、動き量が大きいほど狭く決定する探索領域決定部と、動画構成画像における他の画像領域より探索領域から優先的にオブジェクトを探索するオブジェクト探索部とを備える。

探索領域決定部は、動き量が大きいほど、オブジェクトの動き方向により広い探索領域を決定してよい。

動き量特定部は、動画において移動するオブジェクトの移動量を示す動き量を特定してよい。

動画構成画像におけるオブジェクトの位置を、他の動画構成画像におけるオブジェクトの位置およびオブジェクトの移動量に基づいて特定する位置特定部をさらに備え、探索領域決定部は、位置特定部が特定した位置を含む探索領域を決定してよい。

オブジェクト探索部は、位置特定部が特定した位置により近い画像領域から、より優先的にオブジェクトを探索してよい。

動き量特定部は、動画の画像領域上におけるオブジェクトの移動量に基づいて、実空間上における移動量を示す動き量を特定してよい。

探索領域決定部は、実空間上における被写体の移動量に対する、動画の画像領域上における当該被写体のオブジェクトの移動量の比に応じて、動画の画像領域上における方向ごとに広さが補正された探索領域を決定してよい。

探索領域決定部は、動き量が時間的に減少している場合に、動き量が時間的に増加している場合より、オブジェクトの動き方向以外の方向に探索領域を広く決定してよい。

探索領域決定部は、動き量の時間的な減少量が大きいほど、オブジェクトの動き方向以外の方向に探索領域をより広く決定してよい。

探索領域決定部は、動き量の時間的な増加量が大きいほど、オブジェクトの動き方向以外の方向に探索領域をより狭く決定してよい。

本発明の第２の態様においては、画像解析方法であって、複数の動画構成画像を含む動画において動くオブジェクトの動き量を特定する動き量特定段階と、動画構成画像においてオブジェクトを探索する画像領域である探索領域を、動き量が大きいほど狭く決定する探索領域決定段階と、動画構成画像における他の画像領域より探索領域から優先的にオブジェクトを探索するオブジェクト探索段階とを備える。

本発明の第３の態様においては、画像解析装置用のプログラムであって、コンピュータを複数の動画構成画像を含む動画において動くオブジェクトの動き量を特定する動き量特定部、動画構成画像においてオブジェクトを探索する画像領域である探索領域を、動き量が大きいほど狭く決定する探索領域決定部、動画構成画像における他の画像領域より探索領域から優先的にオブジェクトを探索するオブジェクト探索部として機能させる。

なお、上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となりうる。

以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。

図１は、一実施形態における画像処理システム１０の一例を示す。以下に説明するように、画像処理システム１０は、一実施形態において店舗用の画像処理システムとして機能することができる。

画像処理システム１０は、店舗空間１６０を撮像する複数の撮像装置１００ａ−ｂ、店舗サーバ１７０、通信ネットワーク１５０、画像解析装置１１０、解析結果データベース１１２、および端末装置１８０を備える。なお、以下の説明において、撮像装置１００ａおよび撮像装置１００ｂを、撮像装置１００と総称する場合がある。同様に、以後の説明においては、末尾の英文字など、数字符号に続く文字を省略することで、数字符号が指し示すものを総称することがある。

撮像装置１００ａは店舗空間１６０を撮像する。撮像装置１００ａは、店舗空間１６０内の人物１６４ａおよび人物１６４ｂを、店舗空間１６０内の商品棚１６２ａ、商品棚１６２ｂなどとともに撮像して、動画を生成する。撮像装置１００ａは、店舗空間１６０を撮像して得られた動画を、店舗サーバ１７０に供給する。なお、撮像装置１００ｂは、撮像装置１００ａと異なる位置に設けられる。その他の点では、撮像装置１００ｂの機能および動作は撮像装置１００ａの機能および動作と略同一であるので、撮像装置１００については説明を省略する。

店舗サーバ１７０は、撮像装置１００ａおよび撮像装置１００ｂから供給された動画を、画像解析装置１１０に向けて通信ネットワーク１５０に送出する。通信ネットワーク１５０としては、インターネットなどの電気通信回線を例示することができる。店舗サーバ１７０は、例えば撮像装置１００の近傍に設けられる。他の形態において、店舗サーバ１７０は店舗空間１６０内に設けられてもよい。

また、店舗サーバ１７０は、撮像装置１００の撮像動作を制御する。例えば、店舗サーバ１７０は、撮像装置１００の撮像機能のオン／オフ、撮像レートなどを制御する。撮像装置１００がズーム撮影できる場合には、店舗サーバ１７０は撮像装置１００のズーム値を制御してもよい。また、撮像装置１００の撮像方向が可変である場合には、店舗サーバ１７０は撮像装置１００の撮像方向を制御してもよい。

画像解析装置１１０は、店舗空間１６０とは異なる空間に設けられ、撮像装置１００がそれぞれ撮像した動画を、通信ネットワーク１５０を通じて店舗サーバ１７０から取得する。画像解析装置１１０は、動画を解析して、解析結果を端末装置１８０に向けて通信ネットワーク１５０に送出する。

なお、画像解析装置１１０は、解析結果を解析結果データベース１１２に出力してもよい。画像解析装置１１０は、解析結果を解析結果データベース１１２から読み出して、読み出した解析結果を端末装置１８０に送信してもよい。なお、解析結果データベース１１２は、画像解析装置１１０が有してもよい。他にも、解析結果データベース１１２は、画像解析装置１１０が設けられた空間とは異なる空間に設けられてよい。この場合、画像解析装置１１０は、通信ネットワーク１５０を介して解析結果データベース１１２に解析結果を送信してもよい。

端末装置１８０は、画像解析装置１１０による解析結果を、通信ネットワーク１５０を通じて画像解析装置１１０から取得する。端末装置１８０は、解析結果をユーザの指示に応じて加工して表示する。端末装置１８０は、画像解析装置１１０が設けられた空間とは異なる空間に設けられてよい。端末装置１８０は、店舗空間１６０の近傍または店舗空間１６０内に設けられてもよい。

以下に、画像解析装置１１０の動作の一例を概略的に説明する。画像解析装置１１０は、撮像装置１００が撮像した動画に含まれる複数のフレーム画像のそれぞれから、人物１６４などの移動体が撮像されたオブジェクトを抽出する。そして、画像解析装置１１０は、各フレーム画像から抽出したオブジェクトの画像領域上における位置に基づき、動画の画像領域上におけるオブジェクトの移動速度を算出する。

そして、画像解析装置１１０は、画像領域上におけるオブジェクトの位置に応じて、画像領域上における移動速度を補正して、店舗空間１６０内の実空間上における移動速度に変換する。画像領域上における移動速度から実空間上における移動速度への変換式は、撮像装置１００の位置と人物１６４が移動する移動平面との位置関係、撮像装置１００の画角、撮像装置１００の撮像方向などに応じて予め定められてよい。

そして、画像解析装置１１０は、速度を算出するために用いたフレーム画像の次のフレーム画像から、同じ被写体のオブジェクトを抽出する。このとき、画像解析装置１１０は、既にオブジェクトを抽出したフレーム画像の画像領域上におけるオブジェクトの位置と、フレーム画像間におけるオブジェクトの移動量とから、次のフレーム画像におけるオブジェクトの位置を予測する。そして、画像解析装置１１０は、予測した位置を含む探索領域を設定して、設定した探索領域内からオブジェクトを抽出する。このとき、画像解析装置１１０は、実空間上における移動速度が大きいほど、狭い探索領域を設定する。

例えば人物１６４が興味のある商品を探しながら店舗内を歩いていて、興味のある商品を見つけた場合には、その商品に向けて急に向きを変える場合がある。このように、人物１６４が移動の目標地点を定めていない場合、急に向きを変える場合がある。画像解析装置１１０は、実空間上における移動速度が小さいほど、広い探索領域を設定するので、人物１６４を確実に抽出することができる。

一方、人物１６４が移動の目標地点を一旦決めると、その目標地点に一直線に移動する場合が多い。このとき、人物１６４の移動速度は、目標地点を決めて移動していない場合に比べて、比較的に大きくなる場合が多い。画像解析装置１１０は、実空間上における移動速度が大きいほど、狭い探索領域を設定するので、人物１６４のオブジェクトを抽出する演算量を低減しながら、人物１６４のオブジェクトを確実に抽出することができる。

なお、記憶媒体９０は、画像解析装置１１０用のプログラムを記憶している。記憶媒体９０が記憶しているプログラムは、本実施形態に係る画像解析装置１１０として機能するコンピュータなどの電子情報処理装置に提供される。当該コンピュータが有するＣＰＵは、当該プログラムの内容に応じて動作して、当該コンピュータの各部を制御する。ＣＰＵが実行するプログラムは、本図および以後の図に関連して説明される画像解析装置１１０などとして当該コンピュータを機能させる。

記憶媒体９０としては、ＣＤ−ＲＯＭの他に、ＤＶＤまたはＰＤ等の光学記録媒体、ＭＯまたはＭＤなどの光磁気記録媒体、テープ媒体またはハードディスク装置などの磁気記録媒体、半導体メモリ、磁気メモリなどを例示することができる。また、専用通信ネットワークあるいはインターネットに接続されたサーバシステムに設けたハードディスクまたはＲＡＭ等の記憶装置が記憶媒体９０として機能することもできる。

また、記憶媒体９０は、画像処理システム１０用のプログラムを記憶してよい。画像処理システム１０用のプログラムは、画像解析装置１１０の他に、本図および以後の図に関連して説明される解析結果データベース１１２、店舗サーバ１７０、端末装置１８０、および撮像装置１００の少なくともいずれかとして、コンピュータを機能させることができる。

図２は、画像解析装置１１０のブロック構成の一例を示す。画像解析装置１１０は、画像取得部２００、オブジェクト抽出部２１０、動き量補正値格納部２２０、撮像パラメータ取得部２０２、動き量特定部２３０、位置特定部２４０、探索領域決定部２５０、探索領域情報格納部２２２、オブジェクト探索部２８０、および出力部２９０を有する。

画像取得部２００は、撮像装置１００が撮像した動画を、通信ネットワーク１５０を通じて店舗サーバ１７０から取得する。画像取得部２００が取得した動画は、オブジェクト抽出部２１０およびオブジェクト探索部２８０に供給される。

また、撮像パラメータ取得部２０２は、動画を撮像した撮像装置１００の撮像方向を取得する。撮像パラメータ取得部２０２は、撮像装置１００の撮像方向を、通信ネットワーク１５０を通じて店舗サーバ１７０から取得してよい。

オブジェクト抽出部２１０は、動画において動くオブジェクトを抽出する。例えば、オブジェクト抽出部２１０は、動画において位置が変化するオブジェクトを抽出する。オブジェクト抽出部２１０は、同じ被写体が撮像されたオブジェクトを複数のフレーム画像から抽出してよい。

動き量特定部２３０は、複数のフレーム画像を含む動画において動くオブジェクトの動き量を特定する。具体的には、動き量特定部２３０は、オブジェクト抽出部２１０が複数のフレーム画像から抽出したオブジェクトの位置の変化量に基づき、動き量を算出する。例えば、動き量特定部２３０は、動画において移動するオブジェクトの移動量を示す動き量を特定してよい。

なお、動き量としては人物１６４全体の移動、人物１６４の頭部の動き、人物１６４の手の動きなどを例示することができる。なお、人物１６４、人物１６４の頭部、人物１６４の手などは、画像解析装置１１０の解析対象としての動体の一例であり、動くオブジェクトとして撮像される動体であれば、画像解析装置１１０による解析対象とすることができる。

ここで、動き量とは、画像領域上のオブジェクトの動き量、実空間上における動体の動き量のいずれも含む。また、動き量特定部２３０は、動き量を示す情報を外部から取得することにより、動き量を特定してもよい。例えば、画像取得部２００は、オブジェクトの動き量を示す情報が付帯された動画を取得してよい。そして、動き量特定部２３０は、付帯された情報に基づき、オブジェクトの動き量を特定してもよい。

探索領域決定部２５０は、フレーム画像においてオブジェクトを探索する画像領域である探索領域を、動き量が大きいほど狭く決定する。ここで、探索領域は、オブジェクト抽出部２１０により抽出されたオブジェクトとして撮像された被写体のオブジェクトを、他のフレーム画像において探索する探索対象の画像領域であってよい。また、探索領域は、フレーム画像の全画像領域のうちの一部の画像領域であってよい。

オブジェクト探索部２８０は、探索領域決定部２５０が決定した探索領域から、フレーム画像における他の画像領域より優先的にオブジェクトを探索する。ここで、優先的にオブジェクトを探索するとは、探索領域からオブジェクトを探索して、他の画像領域からオブジェクトを探索しないことを意味してよい。他にも、優先的にオブジェクトを探索するとは、他の画像領域よりも、探索領域からオブジェクトをより重点的に探索することを意味してよい。

なお、優先的に探索する、または、重点的に探索するとは、より多くの探索点を含む部分領域から、オブジェクトを探索することを意味してよい。他にも、優先的に探索する、または、重点的に探索するとは、より多い画素数の画像を用いて変化オブジェクトを探索することを意味してよい。

位置特定部２４０は、フレーム画像におけるオブジェクトの位置を、他のフレーム画像におけるオブジェクトの位置およびオブジェクトの移動量に基づいて特定する。例えば、位置特定部２４０は、あるフレーム画像におけるオブジェクトの位置から、動き量特定部２３０が特定した移動量だけずらした位置を、当該フレーム画像の次に撮像されたフレーム画像の画像領域におけるオブジェクトの位置として推定する。

そして、探索領域決定部２５０は、位置特定部２４０が特定した位置を含む探索領域を決定してよい。例えば、探索領域決定部２５０は、位置特定部２４０が特定した位置を中心として、動き量特定部２３０が特定した動き量に応じた大きさの探索領域を決定してよい。例えば、探索領域決定部２５０は、動き量特定部２３０が特定した動き量に応じた、探索領域を決定してよい。

そして、オブジェクト探索部２８０は、位置特定部２４０が特定した位置により近い画像領域から、より優先的にオブジェクトを探索してよい。オブジェクト探索部２８０は、位置特定部２４０が特定した位置に近い画像領域から、オブジェクトをより重点的に探索してよい。

動き量補正値格納部２２０は、画像領域上におけるオブジェクトの動き量を、画像領域上のオブジェクトの位置に応じて補正する補正値を格納している。例えば、動き量補正値格納部２２０は、画像領域上におけるオブジェクトの動き量を、実空間上における動き量に変換するための補正値を、画像領域上の位置に対応づけて格納している。

動き量特定部２３０は、動き量補正値格納部２２０が、オブジェクトの位置に対応づけて格納している補正値に基づき、動き量特定部２３０が特定した動き量を補正することにより、オブジェクトとして撮像された被写体の実空間上における動き量に変換する。このように、動き量特定部２３０は、動画の画像領域上におけるオブジェクトの移動量に基づいて、実空間上における移動量を示す動き量を特定してよい。

また、探索領域情報格納部２２２は、探索領域の形状を調整する調整パラメータを格納している。具体的には、画像領域上における位置、および、撮像装置１００の撮像方向に対応づけて、画像領域における探索領域の各方向の広がりを調整する調整パラメータを格納している。例えば、探索領域情報格納部２２２は、実空間上における被写体の移動量に対する、動画の画像領域上における当該被写体のオブジェクトの移動量の比に応じて、探索領域のアスペクト比を調整するパラメータを格納している。また、探索領域情報格納部２２２は、撮像装置１００の撮像方向に応じて、探索ス領域のアスペクト比を調整するパラメータを格納している。

探索領域決定部２５０は、オブジェクトの位置に対応づけて探索領域情報格納部２２２が格納しているパラメータでアスペクト比が調整された探索領域を決定する。このように、探索領域決定部２５０は、実空間上における被写体の移動量に対する、動画の画像領域上における当該被写体のオブジェクトの移動量の比に応じて、動画の画像領域上における方向ごとに広さが補正された探索領域を決定する。

また、探索領域決定部２５０は、撮像パラメータ取得部２０２が取得した撮像方向に対応づけて探索領域情報格納部２２２が格納しているパラメータでアスペクト比が調整された探索領域を決定する。このように、探索領域決定部２５０は、撮像装置１００の撮像方向に応じて、動画の画像領域上における方向ごとに広さが補正された探索領域を決定する。

以上説明した画像解析装置１１０によると、人物１６４が興味のある商品を発見して急に移動方向・移動速度を変えても、人物１６４のオブジェクトを確実に抽出することができる。また、画像解析装置１１０によると、例えば目標地点を定めて移動している人物１６４のオブジェクトを、高速かつ確実に抽出することができる。

図３は、移動速度に応じて決定された探索領域の一例を示す。本図では、複数のフレーム画像から抽出されたオブジェクトＡおよびオブジェクトＢの位置を、同一の画像領域３００内に示している。ここで示すオブジェクトの位置は、抽出されたオブジェクトの重心位置とする。

連続する２つのフレーム画像からオブジェクト抽出部２１０が抽出した同じ動体のオブジェクトＡが、各フレーム画像において画像領域３００上の位置３１０−１および位置３１０−２に位置しているとする。また、連続する２つのフレーム画像からオブジェクト抽出部２１０が抽出した、オブジェクトＡの動体と異なる動体のオブジェクトＢが、画像領域３００上の位置３２０−１および位置３２０−２に位置しているとする。

動き量特定部２３０は、位置３１０−１および位置３１０−２のそれぞれの座標値から、画像領域３００上におけるオブジェクトの移動速度を算出する。また、位置特定部２４０は、オブジェクトの移動速度が示す増分ほど位置３１０−２から座標値を増加した位置３１０−３を、次のフレーム画像におけるオブジェクトの位置として特定する。探索領域決定部２５０は、位置３１０−３を中心とする所定の大きさの探索領域３１２を、オブジェクトＡとして撮像された動体のオブジェクトを探索する領域として決定する。

オブジェクトＢについても同様に、動き量特定部２３０は、位置３２０−１および位置３２０−２のそれぞれの座標値から、画像領域３００上におけるオブジェクトの移動速度を算出する。また、位置特定部２４０は、オブジェクトの移動速度が示す増分ほど位置３２０−２から座標値を増加した位置３２０−３を、次のフレーム画像におけるオブジェクトの位置として特定する。探索領域決定部２５０は、位置３２０−３を中心とする所定の大きさの探索領域３２２を、オブジェクト３２１として撮像された動体のオブジェクトを探索する領域として決定する。

図示されるように、オブジェクトＢの移動速度の方が、オブジェクトＡの移動速度より小さい。この場合、探索領域決定部２５０は、探索領域３１２より面積が大きい探索領域３２２を決定する。これにより、急に動き出した人物を検出し損ねてしまう確率を低減することができる。また、高速に移動している人物を検出するための演算量を低減することができる。

図４は、オブジェクトの存在確率の分布例を示す。探索領域決定部２５０は、画像領域上を速さｖ１で移動するオブジェクトが、次のフレーム画像において分布４０１で示される確率分布で存在すると予測する。当該オブジェクトが画像領域上の原点０に存在する場合、探索領域決定部２５０は、分布４０１の広がりに応じた広さの探索領域を画像領域上の位置ｘ１に設定して、当該オブジェクトを探索するための領域とする。

同様に、探索領域決定部２５０は、画像領域上を速さｖ２で移動するオブジェクトについては、次のフレーム画像において分布４０２で示される確率分布で存在すると予測して、分布４０２の広がりに応じた広さの探索領域を位置ｘ２に設定して、当該オブジェクトを探索するための領域とする。また、探索領域決定部２５０は、画像領域上を速さｖ３で移動するオブジェクトについては、次のフレーム画像において分布４０３で示される確率分布で存在すると予測して、分布４０３の広がりに応じた広さの探索領域をｘ３の位置に設定して、当該領域をオブジェクトを探索するための領域とする。

例えば、探索領域決定部２５０は、決定した存在確率分布のうち、予め定められた値より大きい存在確率となる画像領域を、探索領域として決定してよい。このように、探索領域決定部２５０は、オブジェクトの移動速度の大きさが小さいほど、より大きいσ値を有する正規分布の存在確率分布を画像領域域上に決定する。

具体的には、時刻ｔ−１および時刻ｔ−２におけるオブジェクトの位置をそれぞれθ_ｔ−１（ｘ，ｙ）、θ_ｔ−２（ｘ，ｙ）で表すとすると、時刻ｔにおけるオブジェクトの位置の存在確率分布θ_ｔは、Ａ、Ｂ、Ｃを所定の定数として、Ａ・θ_ｔ−２＋Ｂ・θ_ｔ−１＋Ｃ・Ｎ（０，σ^２）で表される。ここで、Ｎ（０，σ^２）は、平均値が０であり、分散がσ^２の正規分布を示す。探索領域決定部２５０は、移動速度に応じてσ^２を決定することで、本図に図示した存在確率分布に応じた探索領域を決定する。

このように、探索領域決定部２５０は、オブジェクトの速さに応じた探索領域を決定する。なお、オブジェクト探索部２８０は、存在確率がより高い領域から、より重点的にオブジェクトを探索してよい。これにより、オブジェクト探索部２８０は、位置特定部２４０が特定した位置に近い領域から重点的にオブジェクトを探索することで、高速かつ確実にオブジェクトを探索することができる。

図５は、オブジェクトの移動方向に応じて決定された探索領域の一例を示す。探索領域決定部２５０は、図４に関連して説明した速さに加え、移動方向に応じて探索領域を決定する。図示されるように、探索領域決定部２５０は、オブジェクトＡの移動速度が示す移動方向に広がった探索領域５１２を決定する。同様に、探索領域決定部２５０は、オブジェクトＢの移動速度が示す移動方向に広がった探索領域５２２を決定する。このように、探索領域決定部２５０は、移動方向と垂直な方向より移動方向に広い探索領域を決定する。なお、図示されるように、探索領域決定部２５０は、速度が遅いほど、移動方向の垂直方向の広がりが広い探索領域を決定してよい。

人物１６４などは、現在移動している方向に加速・減速する場合が多いが、移動方向に垂直な方向に加速する場合は少なく、移動方向に垂直な方向に移動し始めたとしても、その移動量はわずかである場合が多い。このため、移動方向に垂直な方向には探索領域をさほど広げなくても、十分に高い確率でオブジェクトを検出することができる場合が多い。画像解析装置１１０によると、探索領域決定部２５０は、動き量が大きいほど、オブジェクトの動き方向により広い探索領域を決定するので、オブジェクトを探索する処理の演算量を削減したりオブジェクトの検出確率を向上することができる。

図３から図５にかけて説明したように、探索領域決定部２５０は、速度に応じた探索領域を決定する。これにより、オブジェクト探索の演算量の低減およびオブジェクトの検出確率を向上することができる。

図６は、加速度に応じて決定された探索領域の一例を示す。図示されるように、画像領域３００上において位置６１０−１〜３にオブジェクトＡが検出され、画像領域３００上において位置６２０−１〜３にオブジェクトＢが検出されたとする。

動き量特定部２３０は、位置６１０−１〜３の座標値からオブジェクト６１１の加速度を算出するとともに、位置６２０−１〜３の座標値からオブジェクト６２１の加速度を算出する。図示されるように、オブジェクトＢは、オブジェクトＡの加速度より大きく減少している。この場合、探索領域決定部２５０は、オブジェクトＢ用の探索領域６２２を、オブジェクトＡ用の探索領域６１２より大きく決定する。

人物の移動特性としては、移動の目標地点が定まっている場合には目標地点に向けて直線的に移動していき、目標地点が近づくにつれて目標地点との現在位置とのずれに応じて移動の向きを修正していく場合が多い。この場合、移動速度を減速しながら移動方向を変える場合が多い。上述したように、探索領域決定部２５０は、速さが時間的に減少している場合に、速さが時間的に増加している場合より、オブジェクトの動き方向以外の方向に探索領域を広く決定する。このため、探索領域決定部２５０は、オブジェクトを検出し損ねてしまう確率を低減することができる。

なお、本図においては、速さの変化量に応じて探索領域を決定することについて説明したが、探索領域決定部２５０は、移動方向毎の時間的な変化量など、多様な動き量の時間的な変化量に応じて探索領域を決定することができる。このように、探索領域決定部２５０は、動き量が時間的に減少している場合に、動き量が時間的に増加している場合より、オブジェクトの動き方向以外の方向に探索領域を広く決定する。

なお、探索領域決定部２５０は、動き量の時間的な減少量が大きいほど、オブジェクトの動き方向以外の方向により広い探索領域を決定してよい。言い換えると、探索領域決定部２５０は、動き量の時間的な増加量が大きいほど、オブジェクトの動き方向以外の方向により狭い探索領域を決定してよい。

図７は、撮像装置１００と移動平面１６８との位置関係の一例を示す。人物１６４は、店舗空間１６０内の移動平面１６８上を移動することができる。撮像装置１００ｂの撮像方向は、移動平面１６８の法線方向と一致していないとする。また、撮像装置１００ｂは、移動平面１６８上を移動する人物１６４を広角に撮像しているとする。

撮像装置１００の撮像面上において、移動平面１６８に水平な方向にｘ軸方向をとると、ｙ軸方向は移動平面１６８とは平行にはならない。人物１６４が図面に向かって左右方向に移動すると、動画における人物１６４の像であるオブジェクトは、画像領域上においてｙ軸に沿う方向に動く。

ここで、人物１６４が、移動平面１６８上をｘ軸方向に平行な方向と、当該方向と垂直な方向（図面に対して左右方向）とに同じ速度で動いているとすると、人物１６４のオブジェクトは画像領域上においてｙ方向よりｘ方向の方に大きく動く。また、人物１６４ａおよび人物１６４ｂの移動速度が同じであるとすると、画像領域上においては、人物１６４ｂのオブジェクトの方が、撮像装置１００ｂから遠方に位置する人物１６４ａより大きく動く。

このように、撮像装置１００ｂの位置、撮像方向、および店舗空間１６０における移動平面１６８によって、画像領域上におけるオブジェクトの動き方は、オブジェクトの位置によって大きく異なる場合がある。そこで、動き量特定部２３０は、画像領域上における移動量を実空間上における移動量に変換する。探索領域決定部２５０は、実空間上における移動量に応じて探索領域を決定する。例えば、探索領域決定部２５０は、実空間上における移動量が小さいほど、広い探索領域を決定する。

画像領域における移動量と実空間上の移動量とが比例している場合には、図３から図６に関連して説明したように画像領域上における移動量に応じて探索領域を決定することで、オブジェクト探索の演算量を削減したり、検出確率を向上することができる。実空間上における移動量に応じて探索領域を決定することで、探索領域をより的確に制御することができる。

図８は、画像領域上の位置に応じて決定された探索領域の一例を示す。図示されるように、画像領域３００上の位置８１０−１にオブジェクトＡが検出され、画像領域３００上の位置８２０−１にオブジェクトＢが検出されたとする。オブジェクトＡはｘ方向に移動しており、オブジェクトＢはｙ方向に移動しているものとする。また、位置特定部２４０は、次フレーム画像におけるオブジェクトＡおよびオブジェクトＢのそれぞれの位置を、それぞれ位置８１０−２および位置８２０−２に特定したとする。

探索領域決定部２５０は、オブジェクトＡを探索する探索領域として、位置８１０−２を中心とする探索領域８１２を決定する。また、探索領域決定部２５０は、オブジェクトＢを探索する探索領域として、位置８２０−２を中心とする探索領域８２２を決定する。

ここで、撮像装置１００ｂと移動平面１６８との位置関係が図７に例示した位置関係にある場合に、人物１６４が移動平面１６８上で所定量だけ変位したとすると、画像領域におけるｘ方向の変位は、ｙ方向の変位より大きくなる。そこで、ｘ方向に移動しているオブジェクト６１１は、次フレーム画像においてもｙ方向の座標は大きくは変化しないと考えることができる。そこで、探索領域決定部２５０は、オブジェクトＡを探索する探索領域として、ｙ方向よりもｘ方向に広い探索領域８１２を決定する。なお、探索領域決定部２５０は、上述したようにｘ方向の移動速度が小さいほどｘ方向に広い探索領域を決定したり、ｘ方向の減速量が小さいほどｘ方向に広い探索領域を決定したりしてよい。

一方、ｙ方向に移動しているオブジェクトＢについては、ｘ方向に表れる移動平面１６８上での変位の方が、ｙ方向に表れる移動平面１６８上での変位に比べて小さくても、画像領域においてはｘ方向に比較的に大きく変位する場合がある。そこで、探索領域決定部２５０は、オブジェクト８２１を探索する探索領域として、ｘ方向にいくらか広い探索領域８２２を決定する。つまり、撮像装置１００ｂの撮像方向が移動平面１６８の法線方向と略一致している場合に比べると、ｘ方向に大きいアスペクト比の探索領域を決定する。なお、探索領域決定部２５０は、上述したようにｙ方向の移動速度が小さいほどｙ方向に広い探索領域を決定したり、ｙ方向の減速量が小さいほどｙ方向に広い探索領域を決定したりしてよい。

このように、探索領域決定部２５０は、画像領域における位置に応じて適切な探索領域を決定することができる。このため、撮像装置１００の配置の自由度を比較的に高めることができる。

図９は、動き量補正値格納部２２０が格納しているパラメータの一例をテーブル形式で示す。動き量補正値格納部２２０は、撮像方向および画像エリアに対応づけて、速度補正値を格納している。撮像方向としては、移動平面１６８の法線方向と撮像方向とのなす角などを例示することができる。

画像エリアは、画像領域中の複数の部分画像領域を特定する情報などであってよい。撮像装置１００の撮像面と移動平面１６８とが図７に関連して説明した位置関係にある場合には、画像領域３００をｙ方向に分割した部分画像領域を設定してよい。この場合、探索領域情報格納部２２２は、部分画像領域を規定するｙ座標の範囲を示す情報を、部分画像領域を特定する情報として格納することができる。また、動き量補正値格納部２２０は、画像領域３００におけるｘ方向の速度Ｖｘに対する補正係数、画像領域３００におけるｙ方向の速度Ｖｙに対する補正係数を、速度補正値として格納している。

動き量特定部２３０は、画像領域３００上におけるオブジェクトの速度のｘ方向成分に、Ｖｘに対する補正係数を乗じるなどして、オブジェクトの速度のｘ方向成分を補正する。ここでの補正係数は、移動平面１６８におけるｘ方向の位置差を、当該位置差に対応する画像領域３００上におけるｘ方向の位置差で除した値であってよい。このとき、動き量特定部２３０は、撮像パラメータ取得部２０２が取得した撮像方向に適合する撮像方向と、オブジェクトの位置を含む画像エリアとに対応づけて格納しているＶｘに対する補正係数を用いて補正する。

なお、動き量特定部２３０が画像領域３００上におけるｙ方向の速度を補正する場合についても同様であるので、オブジェクトの速度のｙ方向成分を補正する場合の動作については説明を省略する。なお、動き量特定部２３０は、画像領域３００上におけるｙ方向の速度を補正することにより、画像領域３００のｙ方向に対応する移動平面１６８上の方向の速度成分を算出することができる。

なお、動き量特定部２３０が算出する実空間上における移動速度は、移動平面１６８上における実際の移動速度に応じた値であれば、どのようなものであってもよい。例えば、変化量算出部２３２は、移動平面１６８上における実際の移動速度に比例する指標値を算出してよい。例えば、変化量算出部２３２は、所定の空間スケールでの移動速度に規格化した移動速度を算出してよい。

図１０は、探索領域情報格納部２２２が格納するデータの一例をテーブル形式で示す。探索領域情報格納部２２２は、実空間上における速度、実空間上における加速度、撮像装置１００の撮像方向、画像エリアに対応づけて、調整パラメータを格納している。撮像装置１００の撮像方向および画像エリアについては図９などに関連して既に説明したので、その説明を省略する。

実空間上における速度としては、移動平面１６８上における異なる方向の複数の速度成分を例示することができる。また、実空間上における加速度としては、移動平面１６８上における異なる方向の複数の加速度成分を例示することができる。

調整パラメータは、例えば探索領域の広さ、形状を規定する情報であってよい。例えば、図３などに関連して説明した探索領域の面積、図５および図６などに関連して説明した探索領域の形状、またはそれらの組み合わせなどを例示することができる。探索領域の形状を示す情報としては、探索領域が矩形の場合には、探索領域のアスペクト比を示す情報を例示することができる。他にも、探索領域の形状を示す情報としては、探索領域が楕円形の場合には、長径と短径の比などの楕円度、および、長径の向きとｘ座標軸のなす角度などの楕円の向きを規定する情報などを例示することができる。

また、領域パラメータは、オブジェクト探索処理における探索の重点度合いを加味した存在確率分布を規定する情報を含んでよい。例えば、領域パラメータとしては、図４などに関連して説明した分散σ^２を例示することができる。

以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。

特許請求の範囲、明細書、および図面中において示した装置、システム、プログラム、および方法における動作、手順、ステップ、および段階等の各処理の実行順序は、特段「より前に」、「先立って」等と明示しておらず、また、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現しうることに留意すべきである。特許請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず、」、「次に、」等を用いて説明したとしても、この順で実施することが必須であることを意味するものではない。

一実施形態における画像処理システム１０の一例を示す図である。 画像解析装置１１０のブロック構成の一例を示す図である。 移動速度に応じて決定された探索領域の一例を示す図である。 オブジェクトの存在確率の分布例を示す図である。 オブジェクトの移動方向に応じて決定された探索領域の一例を示す図である。 加速度に応じて決定された探索領域の一例を示す図である。 撮像装置１００と移動平面１６８との位置関係の一例を示す図である。 画像領域上の位置に応じて決定された探索領域の一例を示す図である。 動き量特定部２３０が格納しているパラメータの一例をテーブル形式で示す図である。 探索領域情報格納部２２２が格納するデータの一例をテーブル形式で示す図である。

１０ 画像処理システム
９０ 記憶媒体
１００ 撮像装置
１１０ 画像解析装置
１１２ 解析結果データベース
１５０ 通信ネットワーク
１６０ 店舗空間
１６２ 商品棚
１６４ 人物
１６８ 移動平面
１７０ 店舗サーバ
１８０ 端末装置
２００ 画像取得部
２０２ 撮像パラメータ取得部
２１０ オブジェクト抽出部
２２０ 動き量補正値格納部
２２２ 探索領域情報格納部
２３０ 動き量特定部
２４０ 位置特定部
２５０ 探索領域決定部
２８０ オブジェクト探索部
２９０ 出力部
１６８ 移動平面
３００ 画像領域
３１０、３２０、６１０、６２０、８１０、８２０ 位置
３１２、３２２、５１２、５２２、６１２、６２２、８１２、８２２ 探索領域
４０１、４０２、４０３ 分布

Claims (16)

1. 複数の動画構成画像を含む動画において動くオブジェクトの動き量を特定する動き量特定部と、
   前記動画構成画像においてオブジェクトを探索する画像領域である探索領域を、前記動き量が大きいほど狭く決定する探索領域決定部と、
   前記動画構成画像における他の画像領域より前記探索領域から優先的にオブジェクトを探索するオブジェクト探索部と
   を備え、
   前記動き量特定部は、前記動画の画像領域上におけるオブジェクトの移動量に基づいて、実空間上における移動量を示す前記動き量を特定し、
   前記探索領域決定部は、実空間上における被写体の移動量に対する、前記動画の画像領域上における当該被写体のオブジェクトの移動量の比に応じて、前記動画の画像領域上における方向ごとに広さが補正された前記探索領域を決定する
   画像解析装置。
2. 複数の動画構成画像を含む動画において動くオブジェクトの動き量を特定する動き量特定部と、
   前記動画構成画像においてオブジェクトを探索する画像領域である探索領域を、前記動き量が大きいほど狭く決定する探索領域決定部と、
   前記動画構成画像における他の画像領域より前記探索領域から優先的にオブジェクトを探索するオブジェクト探索部と
   を備え、
   前記探索領域決定部は、前記動き量が時間的に減少している場合に、前記動き量が時間的に増加している場合より、前記オブジェクトの動き方向以外の方向に前記探索領域を広く決定する
   画像解析装置。
3. 複数の動画構成画像を含む動画において動くオブジェクトの動き量を特定する動き量特定部と、
   前記動画構成画像においてオブジェクトを探索する画像領域である探索領域を、前記動き量が大きいほど狭く決定する探索領域決定部と、
   前記動画構成画像における他の画像領域より前記探索領域から優先的にオブジェクトを探索するオブジェクト探索部と
   を備え、
   前記探索領域決定部は、前記動き量の時間的な減少量が大きいほど、前記オブジェクトの動き方向以外の方向に前記探索領域をより広く決定する
   画像解析装置。
4. 複数の動画構成画像を含む動画において動くオブジェクトの動き量を特定する動き量特定部と、
   前記動画構成画像においてオブジェクトを探索する画像領域である探索領域を、前記動き量が大きいほど狭く決定する探索領域決定部と、
   前記動画構成画像における他の画像領域より前記探索領域から優先的にオブジェクトを探索するオブジェクト探索部と
   を備え、
   前記探索領域決定部は、前記動き量の時間的な増加量が大きいほど、前記オブジェクトの動き方向以外の方向に前記探索領域をより狭く決定する
   画像解析装置。
5. 複数の動画構成画像を含む動画において動くオブジェクトの動き量を特定する動き量特定部と、
   前記動画構成画像においてオブジェクトを探索する画像領域である探索領域を、前記動き量が大きいほど狭く決定する探索領域決定部と、
   前記動画構成画像における他の画像領域より前記探索領域から優先的にオブジェクトを探索するオブジェクト探索部と
   を備え、
   前記探索領域決定部は、前記動き量が小さいほど、前記オブジェクトの動き方向の垂直方向の広がりが広い前記探索領域を決定する
   画像解析装置。
6. 前記動き量特定部は、前記動画において移動するオブジェクトの移動量を示す前記動き量を特定する
   請求項１から５のいずれか一項に記載に記載の画像解析装置。
7. 前記動き量特定部は、前記動画の画像領域上におけるオブジェクトの移動量に基づいて、実空間上における移動量を示す前記動き量を特定する
   請求項２から５のいずれか一項に記載の画像解析装置。
8. 前記探索領域決定部は、前記動き量が大きいほど、前記オブジェクトの動き方向により広い前記探索領域を決定する
   請求項１から７のいずれか一項に記載の画像解析装置。
9. 前記動画構成画像におけるオブジェクトの位置を、他の動画構成画像におけるオブジェクトの位置およびオブジェクトの移動量に基づいて特定する位置特定部
   をさらに備え、
   前記探索領域決定部は、前記位置特定部が特定した位置を含む前記探索領域を決定する
   請求項１から８のいずれか一項に記載の画像解析装置。
10. 前記オブジェクト探索部は、前記位置特定部が特定した位置により近い画像領域から、より優先的にオブジェクトを探索する
    請求項９に記載の画像解析装置。
11. コンピュータを、請求項１から１０のいずれか一項に記載の画像解析装置として機能させるためのプログラム。
12. 複数の動画構成画像を含む動画において動くオブジェクトの動き量を特定する動き量特定段階と、
    前記動画構成画像においてオブジェクトを探索する画像領域である探索領域を、前記動き量が大きいほど狭く決定する探索領域決定段階と、
    前記動画構成画像における他の画像領域より前記探索領域から優先的にオブジェクトを探索するオブジェクト探索段階と
    を備え、
    前記動き量特定段階は、前記動画の画像領域上におけるオブジェクトの移動量に基づいて、実空間上における移動量を示す前記動き量を特定し、
    前記探索領域決定段階は、実空間上における被写体の移動量に対する、前記動画の画像領域上における当該被写体のオブジェクトの移動量の比に応じて、前記動画の画像領域上における方向ごとに広さが補正された前記探索領域を決定する
    画像解析方法。
13. 複数の動画構成画像を含む動画において動くオブジェクトの動き量を特定する動き量特定段階と、
    前記動画構成画像においてオブジェクトを探索する画像領域である探索領域を、前記動き量が大きいほど狭く決定する探索領域決定段階と、
    前記動画構成画像における他の画像領域より前記探索領域から優先的にオブジェクトを探索するオブジェクト探索段階と
    を備え、
    前記探索領域決定段階は、前記動き量が時間的に減少している場合に、前記動き量が時間的に増加している場合より、前記オブジェクトの動き方向以外の方向に前記探索領域を広く決定する
    画像解析方法。
14. 複数の動画構成画像を含む動画において動くオブジェクトの動き量を特定する動き量特定段階と、
    前記動画構成画像においてオブジェクトを探索する画像領域である探索領域を、前記動き量が大きいほど狭く決定する探索領域決定段階と、
    前記動画構成画像における他の画像領域より前記探索領域から優先的にオブジェクトを探索するオブジェクト探索段階と
    を備え、
    前記探索領域決定段階は、前記動き量の時間的な減少量が大きいほど、前記オブジェクトの動き方向以外の方向に前記探索領域をより広く決定する
    画像解析方法。
15. 複数の動画構成画像を含む動画において動くオブジェクトの動き量を特定する動き量特定段階と、
    前記動画構成画像においてオブジェクトを探索する画像領域である探索領域を、前記動き量が大きいほど狭く決定する探索領域決定段階と、
    前記動画構成画像における他の画像領域より前記探索領域から優先的にオブジェクトを探索するオブジェクト探索段階と
    を備え、
    前記探索領域決定段階は、前記動き量の時間的な増加量が大きいほど、前記オブジェクトの動き方向以外の方向に前記探索領域をより狭く決定する
    画像解析方法。
16. 複数の動画構成画像を含む動画において動くオブジェクトの動き量を特定する動き量特定段階と、
    前記動画構成画像においてオブジェクトを探索する画像領域である探索領域を、前記動き量が大きいほど狭く決定する探索領域決定段階と、
    前記動画構成画像における他の画像領域より前記探索領域から優先的にオブジェクトを探索するオブジェクト探索段階と
    を備え、
    前記探索領域決定段階は、前記動き量が小さいほど、前記オブジェクトの動き方向の垂直方向の広がりが広い前記探索領域を決定する
    画像解析方法。

Images