JP5919538B2

JP5919538B2 - 物体検出装置及び物体検出方法

Info

Publication number: JP5919538B2
Application number: JP2012135771A
Authority: JP
Inventors: 藤松　健; 健藤松; 山本　裕之; 裕之山本; 藤井　博文; 博文藤井; 偉志渡邊
Original assignee: Panasonic Intellectual Property Management Co Ltd
Current assignee: Panasonic Intellectual Property Management Co Ltd
Priority date: 2012-06-15
Filing date: 2012-06-15
Publication date: 2016-05-18
Anticipated expiration: 2032-06-15
Also published as: JP2014002454A; US20140341472A1; US9147121B2; WO2013187068A1

Description

本発明は、全方位画像での物体検出枠のサイズに基づいて人物を検出する人物検出装置及び人物検出方法に関する。

従来、動き情報を利用して人物を検出する際には、ノイズ除去を目的として物体検出枠の大きさ判定が利用されている。つまり、動きが検出される物体は人物以外にもあるので、人物に特有の標準検出枠（以下これを標準人物枠と呼ぶ）を用意しておき、動きが検出された物体の物体検出枠との大きさを、標準人物枠と比較することで、動きが検出された物体が人物であるか否かを判定する。具体的には、物体検出枠の大きさが標準人物枠の大きさと近い場合に、物体検出枠が人物検出枠であると判定する。

一般に、標準人物枠のサイズ情報はテーブルとして予めメモリに格納される。この標準人物枠のサイズ情報は、メモリ量を削減するために、図１に示すように、画像上の縦方向に１ライン分だけがメモリに格納され、他の列のサイズ情報はこの格納された情報を用いるようになっている。

ところで、全方位カメラにより得られた全方位画像において、上述したように、標準人物枠を用いた大きさ判定を行って人物を検出しようとする場合には、撮像された人物の大きさが全方位画像上での位置に応じて変化することを考慮しなければならない。つまり、図２に示すように、縦方向の１ライン分の標準人物枠サイズ情報を用いようとしても、全方位画像では撮像中心から半径方向に画像のサイズが変化するので、１ライン分のサイズ情報では対処するのが困難である。因みに、全方位画像では、列が変わると、同じ行にある画素でもサイズが大きく変化する。

このようなことを考慮して、特許文献１には、標準人物枠のサイズを全方位画像の中心からの距離に応じて変化させる技術が開示されている。

また、検出枠を用いて、人物とその影とを分離する方法が一般に行われている。この方法は、人物検出枠は縦横比におけて縦の比が大きくなるのに対して、影の検出枠は横の比が大きくなることを利用している。

特開２０１０−１９９７１３号公報

しかしながら、全方位画像において、物体検出枠のサイズに基づいて人物を検出する従来の技術は、全方位画像の特徴を十分に考慮して行われているとは言えず、その結果、人物検出の精度が十分でない。

本発明は、以上の点を考慮してなされたものであり、全方位画像において、物体検出枠のサイズに基づいて人物を検出する場合に、人物の検出精度を向上することができる人物検出装置及び人物検出方法を提供することを目的とする。

本発明の人物検出装置の一つの態様は、物体検出枠の全方位画像上での位置に応じて、前記物体検出枠の縦サイズと横サイズを入れ替える縦横変換部と、前記縦横変換部によって縦横サイズが入れ替えられた前記物体検出枠における縦横サイズに基づいて、前記物体検出枠が人物検出枠か否かを判定する判定部と、を具備する。

本発明の人物検出方法の一つの態様は、物体検出枠の全方位画像上での位置に応じて、前記物体検出枠の縦サイズと横サイズを入れ替えるステップと、縦横サイズが入れ替えられた前記物体検出枠における縦横サイズに基づいて、前記物体検出枠が人物検出枠か否かを判定するステップと、を含む。

本発明によれば、全方位画像において、物体検出枠のサイズに基づいて人物を検出する場合に、人物の検出精度を向上することができる。

標準人物枠サイズ情報のメモリへの格納の説明に供する図全方位画像における、標準人物枠サイズ情報のメモリへの格納の説明に供する図実施の形態に係る人物検出装置の構成を示すブロック図標準人物サイズ記憶部に記憶される標準人物枠サイズ情報の説明に供する図標準人物サイズ生成部による標準人物サイズの生成処理の説明に供する図であり、図５Ａは全方位画像上での表示の様子を示す図、図５Ｂは全方位カメラによる撮像の様子を示す図人物枠変換部の処理に供する図であり、図６Ａは候補枠形成部によって形成される人物検出枠（候補枠）の様子を示す図、図６Ｂは人物枠変換部による変換処理の様子を示す図実際の全方位画像における、人物と枠との相対関係を示す図縦横変換部による、物体検出枠の縦サイズと横サイズの入れ替え処理の説明に供する図人物検出枠と、影の検出枠の形状を示す図車検出枠と、影の検出枠の形状を示す図

以下、本発明の実施の形態について図面を参照して詳細に説明する。

図３は、本発明の実施の形態に係る人物検出装置の構成を示す。人物検出装置１００は、全方位カメラにより得られた全方位画像を画像入力部１０１を介して動き領域検出部１０２に入力する。ここで、本実施の形態の「全方位」は「全周囲」と言い換えてもよい。

動き領域検出部１０２は、例えばフレーム間差分値に基づいて、全方位画像中の動き領域を検出する。検出された動き領域の情報は、候補枠形成部１０３に出力される。また、動き領域の情報は、大きさ判定処理部１１０の標準人物サイズ記憶部１１２及び人物枠変換部１１３に出力される。

候補枠形成部１０３は、動き領域を囲む検出枠を候補人物検出枠として形成し、候補人物検出枠のサイズ情報を枠面積判定部１１４に出力する。図６Ａに、候補枠形成部１０３によって形成される候補人物検出枠の様子を示す。

標準人物サイズ記憶部１１２には、全方位画像の撮像中心から画像端の間の距離に応じた、標準人物枠サイズの情報が記憶されている。換言すれば、標準人物サイズ記憶部１１２には、全方位画像上の半径方向の距離をアドレスとして、標準人物枠サイズが記憶されたテーブルが保持されている。

図４に、その様子を示す。撮像中心から画像端までの距離が、例えば３０分割され、標準人物サイズ記憶部１１２は３０個の標準人物枠サイズが記憶される。そして、動き領域検出部１０２によって検出された動き領域の位置（撮像中心からの距離）に対応した標準人物サイズが標準人物サイズ記憶部１１２から人物枠変換部１１３に出力される。実際上、標準人物サイズ記憶部１１２に記憶される標準人物枠サイズは、撮像中心から離れるほど小さい。

標準人物サイズ記憶部１１２に記憶される標準人物枠サイズの情報は、予め標準人物サイズ生成部１１１によって生成される。図５を用いて、標準人物サイズ生成部１１１による標準人物サイズの生成処理について説明する。図５Ａは全方位画像上での表示の様子を示し、図５Ｂは全方位カメラによる撮像の様子を示す。標準人物枠のサイズの縦横サイズは、図５Ａの人物の高さ（縦サイズ）ｈｅｉ及び幅（横サイズ）ｗｉｄに相当する。以下の説明では、撮像中心から人物までの実際の距離をｒ_ｉ１，ｒ_ｉ２とし、撮像中心から人物までの画素数をｒ_ｐ１，ｒ_ｐ２とし、全方位カメラの焦点距離をｆとする。また、図５Ｂに示したように、θ_１，θ_２，φ，Ｈ，ｈ，ｒ_１，ｒ_２を定義する。

カメラの撮像系は立体射影方式であるため、次式が成り立つ。

また、カメラの高さＨ、人物大きさｈに関して、次式が成り立つ。

これらの式より、中心からの距離ｒ_ｐ１における人物の大きさ（ｈｅｉ，ｗｉｄ）を算出する場合には、θ_１，θ_２，ｒ_ｉ１を消去し、ｒ_ｉ２及びｒ_ｐ２を算出する。したがって、撮像中心からの距離ｒ_ｐ１における人物の高さ（縦サイズ）ｈｅｉは、次式により表される。

また、幅も実空間とセンサ空間で同じ比率である考えると、幅（横サイズ）ｗｉｄは、次式により表される。

このようにして、標準人物サイズ生成部１１１によって人物の位置に応じた標準人物サイズが生成され、このサイズに相当する標準人物枠が標準人物サイズ記憶部１１２に記憶される。

再び、図３の構成について説明する。人物枠変換部１１３は、全方位画像の中心からの候補人物検出枠の方向に基づいて、標準人物枠のサイズを変換する。

図６を用いて、人物枠変換部１１３の処理について説明する。図６Ａは候補枠形成部１０３によって形成される候補人物検出枠の様子を示し、図６Ｂは人物枠変換部１１３による変換処理の様子を示す。

図６Ｂの破線は、標準人物サイズ記憶部１１２から出力される標準人物枠を示す。図６Ｂの実線は、人物枠変換部１１３によって変換された後の標準人物枠を示す。人物枠変換部１１３は、次式の変換式を用いて標準人物枠を変換する。

ここで、式（５）におけるＷは変換後の標準人物枠の横サイズ、Ｈは変換後の標準人物枠の縦サイズ、ａは標準人物サイズ記憶部１１２に記憶された標準人物枠の縦サイズ、ｂは標準人物サイズ記憶部１１２に記憶された標準人物枠の横サイズ、θは図６Ｂに示した角度（つまり、全方位画像上での候補人物検出枠の方向）を示す。

この人物枠変換部１１３による変換は、標準人物枠のサイズ（図６Ｂ）を、実際の全方位画像における人物検出枠のサイズ（図６Ａ）に合わせるために行うものである。つまり、図７に示すように、実際の全方位画像における人物と枠との相対関係は人物が写っている方向によって変わるので、人物枠変換部１１３は、これに合わせるように、標準人物枠の縦横サイズを変換する。人物枠変換部１１３は、変換して得た標準人物枠を枠面積判定部１１４に出力する。

枠面積判定部１１４は、候補枠形成部１０３によって形成された候補人物検出枠の面積と、人物枠変換部１１３によって変換されて得られた標準人物枠の面積とを比較し、標準人物枠の面積に対して候補人物検出枠の面積が似ている場合に（例えば面積の差又は比がある一定の範囲内である場合に）、候補枠形成部１０３によって形成された候補人物検出枠が人物検出枠であると判定する。一方、枠面積判定部１１４は、上記面積が似ていない場合には、候補枠形成部１０３によって形成された候補人物検出枠は、人物検出枠では無く、人物以外の物体の検出枠であると判定する。枠面積判定部１１４は、人物検出枠と判定した候補人物検出枠の情報を、縦横変換部１１５に出力する。

縦横変換部１１５は、人物検出枠であると判定された物体検出枠の全方位画像上での位置（方向）に応じて、物体検出枠の縦サイズと横サイズを入れ替える。実際には、図８に示したように、全方位画像上での人物の写っている方向θを基に、物体検出枠の縦サイズと横サイズを入れ替えるか否かを判断する。

本実施の形態の場合には、図８に示したように、閾値ＴＨ１、ＴＨ２、ＴＨ３、ＴＨ４を用いて全方位画像を４つの領域に分割し、方向θがどの分割領域に属するかに基づいて、物体検出枠の縦サイズと横サイズを入れ替えるか否かを判断する。具体的には、図８に示したように、θが以下の＜１＞、＜３＞の領域に属する場合には、物体検出枠の縦サイズと横サイズを入れ替え、θが以下の＜２＞、＜４＞の領域に属する場合には、物体検出枠の縦サイズと横サイズを入れ替えない。ただし、以下において、ＴＨ４及びＴＨ３は負の値であるとする。

＜１＞：ＴＨ４≦θ＜ＴＨ１
＜２＞：ＴＨ１≦θ＜ＴＨ２
＜３＞：ＴＨ２≦θ＜１８０°、又は、−１８０°≦θ＜ＴＨ３
＜４＞：ＴＨ３≦θ＜ＴＨ４

枠縦横サイズ判定部１１６は、縦横変換部１１５から出力された、物体検出枠の縦横サイズに基づいて、物体検出枠が人物検出枠か否かを判定する。具体的には、枠縦横サイズ判定部１１６は、物体検出枠の縦サイズと横サイズの比が所定値以上の場合（例えば物体検出枠の縦サイズが横サイズに対して２倍以上の場合）に、物体検出枠が人物検出枠であると判定する。これは、図９に示したように、人物検出枠は縦長の形状であり、影の検出枠は横長の形状であるといった事実に基づく。

ここで、枠縦横サイズ判定部１１６に入力される物体検出枠は、人物検出枠に加えて、人物の影の検出枠も含まれる。枠縦横サイズ判定部１１６は、上述の判定を行うことにより、物体検出枠から人物の影の検出枠を除外して、人物検出枠のみを抽出することができる。

枠縦横サイズ判定部１１６によって得られた人物検出枠の情報は、結果出力部１１７を介してモニタ等に出力される。これにより、モニタには、人物検出装置１００により検出された人物検出枠が表示される。

以上説明したように、本実施の形態によれば、物体検出枠の全方位画像上での位置に応じて、物体検出枠の縦サイズと横サイズを入れ替える縦横変換部１１５を設け、縦横変換部１１５によって縦横サイズが入れ替えられた物体検出枠における縦横サイズに基づいて、物体検出枠が人物検出枠か否かを判定したことにより、全方位画像において、人物検出枠と、影の検出枠とを的確に分離できるようになる。換言すれば、影の検出枠を人物検出枠と誤って検出することを防止できるので、人物の検出精度を向上させることができる。

ここで、図７に示したように、全方位画像においては、枠の位置に応じて、縦サイズと横サイズの関係が入れ替わり、たとえ人物検出枠であっても縦サイズＨよりも横サイズＷの方が大きくなる場合もある。従って、従来のように、人物検出枠は縦横比におけて縦の比が大きくなるのに対して、影の検出枠は横の比が大きくなるといった事実を単純に利用しただけでは、物検出枠と影の検出枠とを的確に分離することはできない。

これを考慮して、本実施の形態では、縦横変換部１１５によって、物体検出枠の全方位画像上での位置に応じて、物体検出枠の縦サイズと横サイズを入れ替えた後に、枠縦横サイズ判定部１１６によって人物検出枠と影の検出枠とを分離したことにより、人物検出枠と、影の検出枠とを的確に分離できる。

また、本実施の形態によれば、全方位画像の中心からの候補人物検出枠の方向に基づいて、標準人物枠のサイズを変換する人物枠変換部１１３を設け、候補人物検出枠の面積と人物枠変換部１１３によって変換された後の標準人物枠の面積に基づいて、候補人物検出枠が人物検出枠であるか否かを判定した。これにより、標準人物枠のサイズ（図６Ｂ）を、実際の全方位画像における人物検出枠のサイズ（図６Ａ）に合わせてから、つまり、標準人物枠のサイズを補正してから、面積による人物検出枠か否かの判定を行うことができるので、全方位画像において、面積による人物検出枠の判定を良好に行うことができる。

なお、上述の実施の形態の人物検出装置１００は、メモリ・ＣＰＵを含むパソコン等のコンピュータによって構成することができる。そして、人物検出装置１００を構成する各構成要素の機能は、メモリ上に記憶されたコンピュータプログラムをＣＰＵが読み出して実行処理することで実現できる。

また、本実施の形態は人物について述べたが、人物以外の動物や車両等の物体についても適用可能である。特に、人物や車両のように、縦サイズと横サイズが異なる物体を検出する場合に好適である。図１０は、車検出枠と、影の検出枠の形状を示す図である。図１０に示したような関係を有するものにも、本実施の形態の考え方を適用すれば、全方位画像において、物体（車）の検出精度を向上させることができる。

本発明は、全方位画像において、物体検出枠のサイズに基づいて人物を検出する場合に、人物の検出精度を向上することができるといった効果を有し、例えば人物を監視する監視システムなどに適用して好適である。

１００人物検出装置
１０３候補枠形成部
１１０大きさ判定処理部
１１１標準人物サイズ生成部
１１２標準人物サイズ記憶部
１１３人物枠変換部
１１４枠面積判定部
１１５縦横変換部
１１６枠縦横サイズ判定部

Claims

全方位画像における候補物体検出枠を形成する候補枠形成部と、
前記全方位画像の中心からの前記候補物体検出枠の方向に応じて決定される候補物体検出枠の面積に関する基準に基づいて、前記候補物体検出枠が物体検出枠であるか否かを判定する判定部と、
を具備する物体検出装置。
前記全方位画像の中心からの前記候補物体検出枠の方向に応じて、標準物体枠のサイズを変換する物体枠変換部を具備し、
前記判定部は、
前記候補物体検出枠の面積と、前記物体枠変換部によって変換された後の前記標準物体枠の面積とに基づいて、前記候補物体検出枠が物体検出枠であるか否かを判定する、
請求項１に記載の物体検出装置。
前記物体検出枠の全方位画像上での位置に応じて、前記物体検出枠の縦サイズと横サイズを入れ替える縦横変換部を具備し、
前記物体検出枠を用いて物体を検出する、
請求項１に記載の物体検出装置。
全方位画像における候補物体検出枠を形成する候補枠形成ステップと、
前記全方位画像の中心からの前記候補物体検出枠の方向に応じて決定される候補物体検出枠の面積に関する基準に基づいて、前記候補物体検出枠が物体検出枠であるか否かを判定する判定ステップと、
を具備する物体検出方法。
前記全方位画像の中心からの前記候補物体検出枠の方向に基づいて、標準物体枠のサイズを変換する物体枠変換ステップ、を具備し、
前記判定ステップは、
前記候補物体検出枠の面積と、前記物体枠変換部によって変換された後の前記標準物体枠の面積とに基づいて、前記候補物体検出枠が物体検出枠であるか否かを判定する、
請求項４に記載の物体検出方法。