JP6253397B2 - 物体検出装置 - Google Patents

Description

本発明は、画像から物体を検出する物体検出装置に関する。

従来、写真もしくはビデオの画像検索や防犯用の画像センサなどの様々な目的のために、人物や車両等の対象物体を画像から検出する技術が研究されている。対象物体の数や位置を正確に把握したい場合、それぞれの対象物体を別個に検出する必要がある。

例えば、特許文献１には、入力画像を矩形の検出窓領域をずらしながら走査し、検出窓領域に人が写っているか否かを判定する物体検出装置が開示されている。そして、物体検出装置は、各検出窓領域のうち、人であると判定された人領域と、その人領域の周辺の領域において人であると判定された人候補領域との重複部分の当該人候補領域に対する割合が上限値より小さいか否かを判定する。物体検出装置は、その割合が上限値より小さい場合、その人候補領域を別の人物の領域であると判定し、上限値以上の場合、当該人候補領域の人は、当該人領域の人と同一人物の領域であると判定する。

特開２０１１−１８６６３３号公報

しかしながら、一般に、入力画像から対象物体を適切に検出するために、検出窓領域のサイズは対象物体より大きく設定され、検出窓領域には対象物体が写っていない余白部分が多大に存在する。そのため、異なる検出対象物が写っている複数の検出窓領域がある場合に、対象物体同士はあまり重複していなくても、余白部分が多くあるために検出窓領域同士の重複部分の割合が上限値以上となって、両検出窓領域に同一の対象物体が写っていると判定され、対象物体が二つであるのもかかわらず、一つであるとの結果になるという課題があった。

本発明の目的は、入力画像から対象物体が写っている領域を複数検出した場合に、入力画像に写っている対象物体の数や位置を高精度に判定することができる物体検出装置を提供することにある。

かかる課題を解決するための本発明は、入力画像から対象物体を検出する物体検出装置であって、入力画像上を所定画素数だけずらしつつ所定サイズの検出窓を設定する検出窓設定部と、入力画像に検出窓を設定した検出窓画像に対象物体が存在するか否かを判定する物体存否判定部と、検出窓画像から対象物体を構成する複数の部位それぞれについて当該部位が存在する部位領域を検出する部位検出部と、部位領域を統合して物体候補領域を画定する物体候補領域画定部と、一の検出窓画像における物体候補領域と他の検出窓画像における物体候補領域との重なりの程度である重複度を算出する重複度算出部と、物体候補領域を前記重複度が所定以上であれば物体領域でないとし、重複度が所定未満であると物体領域と判定する物体領域特定部と、物体領域特定部にて特定した物体領域の情報を出力する出力部を少なくとも有する物体検出装置を提供する。

かかる構成により本発明は、部位領域を統合した物体候補領域の重複度が大きいと同一対象物体と判定し、逆に重複度が小さいと異なる対象物体と判定できるので、検出窓画像における余白の影響を少なくして対象物体を個別に検出することができる。

また、対象物体が存在する可能性の程度である物体適合度にて物体存否を判定し、重複している二つの前記物体候補領域のうち面積が小さい物体候補領域の面積に対し、重複している領域の面積が占める割合を重複度として算出し、かかる重複度が所定以上であれば当該二つの物体候補領域のうち物体適合度が小さい物体候補領域を物体領域でないとすることが好適である。

かかる構成により本発明は、二つの物体候補領域の中でも、より対象物体が小さく写っている、すなわち面積が小さい物体候補領域の方が重複領域による影響をより大きく受けるので、これを反映させて物体領域か否かの判定を行うことができる。

また、対象物体が存在する可能性の程度である物体適合度にて判定し、重複度算出部は、重複している二つの物体候補領域のうち物体適合度が小さい物体候補領域の面積に対し、重複している領域の面積が占める割合を重複度として算出し、かかる重複度が所定以上であれば当該二つの物体候補領域のうち物体適合度が小さい物体候補領域を物体領域でないとすることが好適である。

かかる構成により本発明は、二つの物体候補領域の中でも、より対象物体である可能性の小さい物体候補領域ほど、重複領域による影響をより大きく受けるので、これを反映させて物体領域か否かの判定を行うことができる。

また、重複している二つの物体候補領域のうち一方は物体適合度が最小の物体候補領域を選択する。これにより、対象物体である可能性が小さい物体候補領域から物体領域でないとの判定が可能になるので、対象物体である可能性が大きい物体候補領域が間違って物体領域でないと判定されにくくなる。

また、検出窓画像ごとの物体候補領域の面積に対し、重複している領域の面積が占める割合を重複度として算出することが好適である。これにより、簡単に物体領域と判定できる。

また、物体存否判定部にて物体存在との判定に使用した複数の部位領域を和領域に統合して物体候補領域を画定することが好適である。これにより、対象物体の形状に近い物体候補領域を用いることができる。
なお、和領域以外には、検出した部位領域から推定される標準形状領域・検出した部位領域の外延領域などを用いてもよい。

また、検出窓画像における部位毎の所定位置に設定した部位窓画像に部位が存在する可能性の程度を示す部位適合度を算出し、当該部位適合度が部位であると判断できる値以上であると当該部位窓画像の領域を部位領域として検出し、抽出された各部位領域の部位適合度の総和が物体の存在を判断できる値以上であると物体が存在すると判定することが好適である。これにより、物体候補領域を画定するために必要な部位領域の検出を物体の存否の判定にも利用するので、効率良く物体の存否を判定できる。
なお、対象物体を部位適合度を用いずに、例えば全身識別器を利用して対象物体の存否を判定しても良い。

本発明に係る物体検出装置は、入力画像から対象物体が写っている領域を複数検出した場合に、入力画像に写っている対象物体の数や位置を高精度に判定することができるという効果を奏する。

本実施形態による人物検出システムの概略構成図である。 入力画像に検出窓を設定する様子を説明するための模式図である。 部位窓設定情報について説明するための模式図である。 （ａ）、（ｂ）は、検出窓画像に部位窓を設定する様子を説明するための模式図である。 部位領域情報について説明するための模式図である。 部位適合度分布について説明するための模式図である。 人物領域情報について説明するための模式図である。 重複度について説明するための模式図である。 本実施形態による人物検出装置の人物検出処理の動作を示すフローチャートである。 本実施形態による人物検出装置の人物検出処理の動作を示すフローチャートである。

以下、本発明の物体検出装置を人物検出装置に適応した形態について図を参照しつつ説明する。
なお、物体検出装置の対象物体は、人物に限定されることなく、車両、かばん、扉など、画像中に表れる物体であれば良い。また、本実施形態では、人物検出装置が、頭部、右腕、左腕、胴体、腰部、右脚、左脚等の人物を構成する複数の部位を検出することにより人物を検出する例について説明する。本実施の形態では、７つの部位適合度を用いているが、これに限らず、１つの部位適合度の分布を用いて人物を検出しても良い。または、部位を詳細に分けて多数の部分を用いてもよい。

図１は、本実施形態による人物検出システム１００の概略構成を示す図である。人物検出システム１００は、人物検出装置１、撮像装置２及び表示装置３を有する。

撮像装置２は、所定の撮影領域を撮影するカメラであり、例えば、２次元に配列され、受光した光量に応じた電気信号を出力する光電変換素子（例えば、ＣＣＤセンサ、Ｃ−ＭＯＳなど）と、その光電変換素子上に監視領域の像を結像するための結像光学系を有する。撮像装置２は、人物検出装置１と接続され、撮影した撮影画像を人物検出装置１へ出力する。

表示装置３は、液晶ディスプレイ、有機ＥＬディスプレイなどの表示デバイスで構成され、人物検出装置１と接続され、人物検出装置１から受け取った各種情報等を表示する。

人物検出装置１は、ＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro Processing Unit）、周辺回路、端子、各種メモリなどから構成され、撮像装置２が撮影した撮影画像から、検出対象である人物を検出し、検出した人物の数、位置等を表す情報を表示装置３に表示するとともに監視センタへ送信する。人物検出装置１は、画像取得部１０、記憶部１１、検出窓設定部１２、部位検出部１３、人物判定部１４、人物候補領域画定部１５、重複度算出部１６、人物領域特定部１７、出力部１８及び通信部１９を有する。なお、検出窓設定部１２、部位検出部１３、人物判定部１４、人物候補領域画定部１５、重複度算出部１６及び人物領域特定部１７は、メモリ、その周辺回路及びそのマイクロプロセッサなどのいわゆるコンピュータ上で動作するソフトウェアにより実現される機能モジュールである。なお、これらの各部は、独立した集積回路、ファームウェア、マイクロプロセッサなどで構成されてもよい。以下、人物検出装置１の各部について詳細に説明する。

画像取得部１０は、撮像装置２と接続され、撮像装置２から撮影画像を取得するインタフェース及びその制御回路である。なお、本実施形態では、画像取得部１０は、撮像装置２から撮影画像を取得して検出窓設定部１２へ出力するが、ハードディスク等の媒体から画像を取得して検出窓設定部１２へ出力してもよい。以下では、画像取得部１０が取得して検出窓設定部１２へ出力する画像を入力画像と称する。

記憶部１１は、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）等の半導体メモリ、あるいは磁気記録媒体及びそのアクセス装置若しくは光記録媒体及びそのアクセス装置などを有する。記憶部１１は、人物検出装置１を制御するためのコンピュータプログラム及び各種データを記憶し、検出窓設定部１２等との間でこれらの情報を入出力する。各種データは、検出窓設定情報１１１、部位学習データ１１２、部位領域情報１１３及び人物領域情報１１４を少なくとも含んでいる。
検出窓設定情報１１１は、入力画像内に設定される複数の検出窓のうち、相互に隣接する検出窓の間のずらし量を示す情報であり、検出窓設定部１２において検出窓を設定する際に用いられる。検出窓設定情報１１１の詳細については、後述する。
部位学習データ１１２は、部位の識別に有用な一つ以上の特徴量である部位特徴量を算出するための情報、部位特徴量についての特徴量空間において部位が写っている画像について算出された部位特徴量が分布する空間とそれ以外の空間とを分ける識別境界、部位特徴量が識別境界のどちら側に位置するかと、部位特徴量と識別境界の間の距離とを求めるための情報等を含む。部位学習データ１１２は、部位が写っている複数の学習用部位画像及び部位が写っていない複数の学習用非部位画像から事前学習により決定される。部位学習データ１１２は、部位検出部１３において部位適合度を算出する際に用いられる。
部位領域情報１１３は、検出窓内に設定された部位窓の情報であり、部位検出部１３により各部位を検出する際に用いられる。部位領域情報１１３の詳細については、後述する。
人物領域情報１１４は、入力画像内で検出された人物候補領域の情報であり、人物候補領域画定部１５が人物候補領域を画定した際に記憶され、人物領域特定部１７が人物領域を特定する際に用いられる。人物領域情報１１４の詳細については、後述する。

検出窓設定部１２は、撮像装置２の解像度や設置条件、人物の標準的な身長（例えば１７０ｃｍ）から想定される、入力画像中での検出したい人物の大きさを考慮したサイズの検出窓を、検出窓設定情報１１１に基づいて所定画素数ずつずらしながら、入力画像の全体を順次走査するように設定する。

検出窓設定情報１１１は、検出窓のサイズおよび相互に隣接する検出窓の間のずらし量からなる。
検出窓のサイズは、検出窓設定部１２が、入力画像において設定する検出窓の大きさであり、横６０画素、縦１２０画素を標準に複数種類が記憶される。
ずらし量は、検出窓設定部１２が、入力画像において検出窓をずらしながら走査するときの所定画素数である。本実施の形態では、検出窓のサイズが横６０画素、縦１２０画素であるときのずらし量として４画素が記憶されるものとする。
なお、これらの値は、撮像装置２の解像度や設置条件、計算負荷等に応じて、管理者により事前に設定される。
この他、図示しないが、記憶部１１には、後述する処理において人物候補領域画定部１５が二つの検出窓内にそれぞれ画定した二つの人物候補領域に同一の人物が写っているか否かを判定するための、二つの人物候補領域の重なりの程度を表す重複度の閾値である重複度判定閾値が記憶されている。重複度が重複度判定閾値以上では二つの人物候補領域は同一の人物のものと判定し、重複度が重複度判定閾値未満では二つの人物候補領域は別の人物のものと判定する。本実施の形態では、重複度判定閾値は５０％としている。

ここで、図２を参照して、検出窓設定部１２が入力画像に検出窓を設定する様子を説明する。図２は、撮像装置２に対して正面を向いている人物２０１と、人物２０１の背後に位置し且つ横を向いている人物２０２とが写っている入力画像２００を模式的に示した図である。検出窓設定部１２は、矢印２０４に示すように、入力画像２００に対して左上端から水平方向に検出窓設定情報１１１のずらし量ずつずらしながら検出窓２０３を設定し、右上端に到達すると、走査するラインを垂直方向に検出窓設定情報１１１のずらし量だけずらして検出窓２０３を設定していく。

以下、検出窓設定部１２が入力画像中の各走査位置にて設定した検出窓内の画像を検出窓画像と称する。検出窓設定部１２は、検出窓画像のサイズを正規化してスケールを合わせた検出窓画像を生成する。本実施の形態では、横６０画素、縦１２０画素に正規化している。

部位検出部１３は、頭部を検出する頭部検出手段１３１、右腕を検出する右腕検出手段１３２、左腕を検出する左腕検出手段１３３、胴体を検出する胴体検出手段１３４、腰部を検出する腰部検出手段１３５、右脚を検出する右脚検出手段１３６及び左脚を検出する左脚検出手段１３７を有する。

頭部検出手段１３１は、部位学習データ１１２に含まれる頭部の部位窓設定情報に基づいて、頭部の部位窓を検出窓画像の所定位置に順次設定する。同様に、右腕検出手段１３２、左腕検出手段１３３、胴体検出手段１３４、腰部検出手段１３５、右脚検出手段１３６及び左脚検出手段１３７は、それぞれ、各部位の部位窓設定情報に基づいて、各部位の部位窓を検出窓画像の所定位置に順次設定する。以下、部位窓内の画像を部位窓画像と称する。

ここで、部位窓設定情報について、図３を参照して説明する。部位窓設定情報には、検出窓画像における人物の頭部３０１、右腕３０２、左腕３０３、胴体３０４、腰部３０５、右脚３０６、左脚３０７の各部位を検出するための情報として、基準位置３１１、基準サイズ３１２、探索範囲３１３及び投票ベクトル３１４が含まれる。なお、図３に記載の値は、検出窓画像のサイズを横６０画素、縦１２０画素に正規化したときの部位窓設定情報を例示したものである。

基準位置３１１は、経験的に定めた各部位の重心位置を部位窓の重心位置とし、検出窓画像の左上を原点（０、０）として表した座標値である。図３に示す通り、頭部（３０、３０）、右腕（１０、５０）、左腕（５０、５０）、胴体（３０、５５）、腰部（３０、７０）、右脚（２０、９５）、左脚（４０、９５）が記憶されている。なお、本実施の形態では、部位の重心位置を経験的に定めたが、部位学習データ１１２の事前学習に用いた複数の学習用人物画像における各部位画像の外接矩形の重心の平均位置等を用いても良い。なお、事前学習に用いた人物画像は検出窓画像と同様に正規化してスケールを合わせてある。

基準サイズ３１２は、経験的に定めた各部位の外接矩形を部位窓とし、その縦横の画素数で表している。本実施の形態では、図３に示す通り、頭部３０×３０、右腕２０×４０、左腕２０×４０、胴体３０×４０、腰部４０×２０、右脚２０×４０、左脚２０×４０が記憶されている。なお、本実施の形態では、基準サイズ３１２を経験的に定めたが、部位学習データ１１２の事前学習に用いた複数の学習用部位画像における各部位の外接矩形の縦横長の平均等を用いても良い。

探索範囲３１３は、各部位の位置が変動し基準位置から外れる可能性がある範囲であって、その範囲を部位窓にて走査探索するために設定する。具体的には、各部位の基準位置３１１に基準サイズ３１２の部位窓を設定した場合に、この部位窓に同じ基準サイズ３１２の部位窓が重なる割合で表現する。本実施の形態では、図３に示す通り、頭部７０％、右腕８０％、左腕８０％、胴体９０％、腰部９０％、右脚７０％、左脚７０％が記憶されている。なお、本実施の形態では、探索範囲３１３を経験的に定めたが、部位学習データ１１２の事前学習に用いた複数の学習用部位画像における各部位の外接矩形の基準位置からの外れ量の平均等を用いても良い。

投票ベクトル３１４は、各部位窓の基準位置３１１を始点とし、人物の中心付近に所在する胴体部の重心位置を終点としたベクトルであって、後述する部位適合度分布を生成する際に用いる。

なお、基準サイズ３１２の部位窓のみでなく、人物によって異なる体型や撮影時によって異なる環境の変動に対応するために、基準サイズ以外のサイズの部位窓も設定されてもよい。

ここで、図４を参照して、検出窓画像に部位窓が設定された様子を説明する。図４は、検出窓画像に理想的な状況にて人物が撮影された場合の検出窓画像と部位窓との位置関係を模式的に示した図である。

図４（ａ）は、部位窓４０１〜４０７を基準位置に配置した場合を示している。図４（ａ）では、各部位窓４０１〜４０７の基準位置を黒丸（●）で、投票ベクトルを各部位窓４０１〜４０７の基準位置から胴体の重心位置への矢印で示している。

図４（ｂ）は、頭部を例に、部位窓の探索範囲と投票ベクトルを示している。図４（ｂ）では、部位窓設定情報の探索範囲の外縁を点線４１１で、各部位窓の重心位置を黒丸（●）で示し、それぞれの投票ベクトルにしたがって投票した投票位置が示されている。本実施の形態では、右腕、左腕、胴体、腰部、右脚、左脚の各部位についても、探索範囲に部位窓を順次設定し、部位適合度を投票して部位適合度分布を作成する。かかる部位適合度分布は、各部位の投票ベクトルの終点を一致させることにより、一部の部位適合度が低い値となっても、各部位を持つ人物全体としての有効な特徴となる。

各部位の検出手段は、図４（ａ）、（ｂ）に示すように、各部位窓の位置を変化させつつ、検出窓画像に部位窓を順次設定する。

頭部検出手段１３１は、検出窓画像における頭部の各部位窓画像から頭部の部位特徴量を算出する。同様に、右腕検出手段１３２、左腕検出手段１３３、胴体検出手段１３４、腰部検出手段１３５、右脚検出手段１３６及び左脚検出手段１３７は、それぞれ、検出窓画像における各部位の各部位窓画像から各部位の部位特徴量を算出する。本実施形態では、部位特徴量としてＨＯＧ（Histograms of Oriented Gradients）特徴量が用いられる。ＨＯＧ特徴量は、各部位窓画像において複数のブロックを設定し、さらに各ブロックを分割した複数のセルごとに、各勾配方向の勾配強度の総和を度数としたヒストグラムを正規化して算出される。

頭部検出手段１３１は、頭部の部位特徴量が算出された部位窓画像に頭部が存在する可能性の程度を示す部位適合度を算出する。同様に、右腕検出手段１３２、左腕検出手段１３３、胴体検出手段１３４、腰部検出手段１３５、右脚検出手段１３６及び左脚検出手段１３７は、それぞれ、各部位の部位特徴量が算出された部位窓画像における各部位についての部位適合度を算出する。

なお、本実施形態では、各部位の検出手段を、部位学習データ１１２を用いるリアルアダブースト識別器により実現している。リアルアダブースト識別器の詳細については、例えば、R.E.Schapire and Y.Singer, Improved boosting algorithms using confidence-rated predictions, Machine Learning, 37, pp.297-336, 1999に開示されている。

頭部検出手段１３１は、頭部の部位窓画像について算出した部位適合度を記憶部１１の部位領域情報１１３に記憶するとともに、投票ベクトルにしたがって投票する。同様に、右腕検出手段１３２、左腕検出手段１３３、胴体検出手段１３４、腰部検出手段１３５、右脚検出手段１３６及び左脚検出手段１３７は、それぞれ、各部位の部位窓画像について算出した部位適合度を部位領域情報１１３に記憶するとともに、投票ベクトルにしたがって投票する。これにより、投票値（投票された部位適合度の総和）の分布である部位適合度分布が作成される。

ここで、部位領域情報１１３について、図５を参照して説明する。部位領域情報１１３として、部位窓画像毎に、その部位窓画像の識別情報であるＩＤ５０１、対応する部位５０２、検出窓画像内の位置５０３、算出された部位適合度５０４が記憶される。位置５０３は、検出窓画像の左上を原点（０、０）として表した座標値である。

次に、投票について、図４（ｂ）を参照して説明する。まず、頭部検出手段１３１は、図４（ｂ）に示すように、頭部について探索範囲内に設定された各部位窓から算出された部位適合度を図３に示す投票ベクトル３１４にしたがって投票する。同様に、右腕検出手段１３２、左腕検出手段１３３、胴体検出手段１３４、腰部検出手段１３５、右脚検出手段１３６及び左脚検出手段１３７は、それぞれ、右腕、左腕、胴体、腰部、右脚、左脚の各部位について各部位窓画像から算出された部位適合度を図３に示す投票ベクトル３１４にしたがって投票する。

次に、部位適合度を投票した結果である部位適合度分布について、図６を参照して説明する。図６は、理想的な状況で人物が写っている検出窓画像６００から生成された部位適合度分布６０１を模式的に示した図である。図６には、検出窓画像６００の水平方向及び垂直方向をそれぞれｘ軸及びｙ軸とし、検出窓画像６００の各画素に対応する位置における投票値をｚ軸とした部位適合度分布６０１が示される。同図に示すように、検出窓画像６００に理想的な状況で人物が写っている場合の部位適合度分布６０１では、胴体の重心位置６０２において投票値が最も高くなり、胴体の重心位置６０２から離れるにつれて投票値が低くなる。

人物判定部１４は、部位検出部１３により生成された部位適合度分布のピーク値を、その検出窓画像に人物が存在する可能性の程度である人物適合度とし、人物適合度が、人物であると判断できる人物判定閾値以上であるか否かにより、検出窓画像に人物が存在するか否かを判定する。なお、人物判定部１４は、部位ごとの識別器を用いて人物が存在するか否かを判定するのではなく、検出窓画像から人物特徴量を算出し、人物特徴量に基づいて人物適合度を出力する全身識別器を用いて人物が存在するか否かを判定してもよい。

人物判定部１４により検出窓画像に人物が存在すると判定された場合、頭部検出手段１３１は、部位窓設定情報の頭部の投票ベクトル３１４の逆ベクトルにしたがって、部位適合度分布のピーク位置から、そのピーク値の元となった頭部の部位窓画像を特定し、特定した部位窓画像から所定範囲内にある頭部の部位窓画像をさらに特定する。所定範囲は、最初に特定した部位窓画像の近傍の範囲、例えば同一人物の部位が写っていると想定できる範囲に設定される。さらに、頭部検出手段１３１は、部位領域情報１１３を参照して、特定した頭部の部位窓画像の中で部位適合度が最大である部位窓画像を特定し、その部位適合度が、頭部であると判断できる頭部判定閾値以上である場合、検出窓画像内のその部位窓画像の領域を頭部が存在する頭部領域として検出する。同様に、右腕検出手段１３２、左腕検出手段１３３、胴体検出手段１３４、腰部検出手段１３５、右脚検出手段１３６及び左脚検出手段１３７は、それぞれ、部位窓設定情報の各部位の投票ベクトル３１４の逆ベクトルにしたがって、部位適合度分布のピーク位置から、そのピーク値の元となった各部位の部位窓画像及びその所定範囲内にある各部位の部位窓画像を特定する。さらに、右腕検出手段１３２、左腕検出手段１３３、胴体検出手段１３４、腰部検出手段１３５、右脚検出手段１３６及び左脚検出手段１３７は、それぞれ、部位領域情報１１３を参照して、特定した各部位の部位窓画像の中で部位適合度が最大である部位窓画像を特定し、その部位適合度が各部位の判定閾値以上である場合、検出窓画像内のその部位窓画像の領域を各部位が存在する部位領域として検出する。

人物候補領域画定部１５は、部位検出部１３により検出された各部位領域を各部位領域の和集合である和領域に統合することにより人物候補領域を画定し、画定した人物候補領域の情報を人物領域情報１１４に一時記憶する。なお、部位検出部１３により特定の部位の部位領域が検出されなかった場合は、人物候補領域にその部位の領域は含まれない。しかしながら、部位検出部１３により特定の部位の部位領域が検出されなかった場合でも、例えば部位適合度が最大であった部位領域を人物候補領域に含ませるようにしてもよい。

ここで、人物領域情報１１４について、図７を参照して説明する。人物領域情報１１４として、人物候補領域毎に、その人物候補領域の識別情報であるＩＤ７０１、入力画像内の位置７０２、形状情報７０３、人物適合度７０４が記憶される。位置７０２は、入力画像の左上を原点（０、０）として表した、人物候補領域の重心位置の座標値である。形状情報７０３は、人物候補領域又はその外縁を構成する各画素の座標値の集合で表される。人物適合度７０４は、人物候補領域を構成する各部位領域について算出された部位適合度の総和である。
また、部位領域情報１１３には、画定された人物候補領域の総数７０５が含まれる。

人物候補領域画定部１５は、人物候補領域を画定すると、画定した人物候補領域の位置、形状情報、人物適合度を求めて人物領域情報１１４に一時記憶するとともに、総数７０５をインクリメントする。

重複度算出部１６は、人物候補領域画定部１５により複数の人物候補領域が抽出された場合に、相互に重複する人物候補領域があるか否かを判定し、相互に重複する人物候補領域同士の重なりの程度である重複度を算出する。

ここで、重複度について、図８を参照して説明する。図８（ａ）には、図２に示した入力画像２００に写っている人物２０１及び人物２０２が示される。図８（ａ）に示すように、人物２０１の人物候補領域８０１と、人物２０２の人物候補領域８０２は、領域８１１及び８１２において相互に重複している。重複度算出部１６は、人物候補領域の面積に対し、重複している領域の面積が占める割合を重複度として算出する。
なお、図８（ｂ）及び（ｃ）に示すように、人物候補領域８０１の面積と人物候補領域８０２の面積は必ずしも一致しないため、人物候補領域８０１の面積に対する重複領域８１１及び８１２の面積が占める割合と、人物候補領域８０２の面積に対する重複領域８１１及び８１２の面積が占める割合は異なる。そこで、重複度算出部１６は、重複している二つの人物候補領域のうち面積が小さい人物候補領域８０２の面積に対し、重複領域８１１及び８１２の面積が占める割合を重複度として算出する。これにより、重複による影響をより大きく受けている方の人物候補領域に係る重複度を求めることができる。

なお、重複度算出部１６は、重複している二つの人物候補領域のうち人物適合度が小さい人物候補領域の面積に対し、重複領域の面積が占める割合を重複度として算出してもよい。この場合、オクルージョンが発生して人物適合度が小さくなっている可能性の高い方の人物候補領域に係る重複度を求めることができる。

また、重複度算出部１６は、各部位の部位窓画像毎の面積に対し、重複している領域の面積が占める割合を用いて重複度を算出してもよい。すなわち、重複度算出部１６は、重複している二つの人物候補領域について、一方の人物候補領域内の頭部の部位窓画像と、他方の人物候補領域内の頭部の部位窓画像との重複度を算出する。同様に、重複度算出部１６は、右腕の部位窓画像の重複度、左腕の部位窓画像の重複度、胴体の部位窓画像の重複度、腰部の部位窓画像の重複度、右脚の部位窓画像の重複度、左脚の部位窓画像の重複度をそれぞれ算出する。そして、重複度算出部１６は、各部位の重複度の総和を人物候補領域の重複度とする。これにより、部位毎の重複を考慮した、より高精度な重複度を求めることができる。

以下、人物候補領域から重複度を求めることの利点について説明する。一般に、人物を適切に検出するために、検出窓画像は想定する人物の大きさより大きく設定され、検出窓画像には人物が写っていない余白部分が大きく存在する。特に、図２の人物２０２のように撮像装置２に対して横を向いているときは、人物自体が写っている領域が小さくなり、余白部分が大きくなる傾向にある。したがって、仮に、検出窓画像から重複度を求めると、重複度は人物が実際に重複している度合いよりはるかに大きくなる。一方、各部位領域から構成される人物候補領域から重複度を求めることにより、人物が実際に重複している度合いに限りなく近い重複度を求めることが可能となる。

人物領域特定部１７は、重複度算出部１６により算出された重複度が重複判定閾値以上であれば、重複度が算出された二つの人物候補領域は同一の人物のものであり、人物適合度が小さい方の人物候補領域を、以降の処理では不要として、人物領域でないと判定する。また、人物領域特定部１７は、人物領域でないと判定した人物候補領域を消去していき、最終的に残った人物候補領域を人物領域と判定する。人物領域特定部１７は、人物領域と判定した人物候補領域の数を入力画像に含まれる人物の数として計数する。そして、人物領域特定部１７は、入力画像に含まれる人物の数と、入力画像から検出した各人物領域の情報（例えば入力画像における位置及び大きさ）とを記憶部１１に記憶するとともに出力部１８に送る。なお、各人物領域の情報は、例えば入力画像において人物領域の外縁を赤色に表示し、人物の数を表示させた画像とすることができる。また、人物領域特定部１７は、入力画像に含まれる人物の数が、撮影領域への進入が許可されている数（例えば１）を越えている場合に限り、各情報を出力部１８に送ってもよい。

出力部１８は、表示装置３と接続するインタフェース及びその制御回路、並びに通信部１９と接続するインタフェース及びその制御回路を有する。出力部１８は、人物領域特定部１７から、入力画像に含まれる人物の数と人物領域の情報とを受け取ると、接続されている表示装置３が受信可能な形式の信号と、通信部１９が受信可能な形式の信号にそれぞれ変換して出力する。

通信部１９は、一般公衆回線、携帯電話回線などの通信回線を介して監視センタと接続するためのインタフェース回路及びそのドライバソフトウェア等で構成される。通信部１９は、出力部１８から受け取った、入力画像に含まれる人物の数と人物領域の情報とを監視センタへ送信する。

以下、図９及び図１０を参照して、人物検出装置１の全体の動作フローを説明する。
ステップＳ１０１では、人物検出装置１の画像取得部１０が、撮像装置２にて撮影した画像を入力画像として取得し、検出窓設定部１２に出力する。
ステップＳ１０２では、検出窓設定部１２が、画像取得部１０から取得した入力画像に対して、記憶部１１に記憶された検出窓設定情報１１１を参照して、検出窓を設定し、入力画像中の検出窓内画像を検出窓画像として取得し、部位検出部１３に出力する。なお、検出窓の設定は、後述するステップＳ１１２にて入力画像全体を順次走査し終わるまで実行される。

ステップＳ１０３〜ステップＳ１０５の処理は、記憶部１１に記憶された部位学習データ１１２を参照して処理する。
ステップＳ１０３では、部位検出部１３が、検出窓画像に対して、部位学習データ１１２の部位窓設定情報を参照して、部位窓を設定する。具体的には、先ず、頭部検出手段１３１が頭部３０１について、基準サイズ３１２の「３０×３０」の矩形窓の重心位置が基準位置３１１の「（３０、３０）」になる位置へ部位窓を設定する。なお、頭部でなく、右腕であれば右腕検出手段１３２、左腕であれば左腕検出手段１３３、胴体であれば胴体検出手段１３４、腰部であれば腰部検出手段１３５、右脚であれば右脚検出手段１３６、左脚であれば左脚検出手段１３７がそれぞれ選択されて部位窓を設定する。

ステップＳ１０４では、部位検出部１３が、先ず、検出窓画像中の設定した部位窓内の部位窓画像についてＨＯＧ特徴である部位特徴量を算出する。そして、部位検出部１３が、この部位特徴量と記憶部１１に記憶している部位学習データ１１２とを参照して部位適合度を算出し、記憶部１１の部位領域情報１１３に記憶する。ここでは、頭部３０１の場合であるので、頭部検出手段１３１が頭部について学習した部位学習データを用いて、部位特徴量との適合している程度を算出する。なお、頭部でなく、右腕であれば右腕検出手段１３２、左腕であれば左腕検出手段１３３、胴体であれば胴体検出手段１３４、腰部であれば腰部検出手段１３５、右脚であれば右脚検出手段１３６、左脚であれば左脚検出手段１３７がそれぞれ選択されて部位適合度を算出する。

ステップＳ１０５では、部位検出部１３が、投票ベクトル３１４を参照して部位適合度を投票する。ここでは、頭部３０１の場合であるので、頭部の投票ベクトル３１４「（０、３０）」にしたがって部位適合度を投票し、部位適合度分布の各位置の投票値に加算する。なお、頭部でなく、右腕であれば右腕検出手段１３２、左腕であれば左腕検出手段１３３、胴体であれば胴体検出手段１３４、腰部であれば腰部検出手段１３５、右脚であれば右脚検出手段１３６、左脚であれば左脚検出手段１３７がそれぞれ選択されて部位適合度を投票する。その後、図３に示す頭部３０１、右腕３０２、左腕３０３、胴体３０４、腰部３０５、右脚３０６、左脚３０７の順に投票が全て行われていなければ、ステップＳ１０３に戻り次の部位窓を設定する。他方、全ての部位窓に対する処理が終了していれば、ステップＳ１０６に進む。

ステップＳ１０６では、人物判定部１４が、部位検出部１３により生成された部位適合度分布のピーク値が人物判定閾値以上であるか否かにより、人物の存否を判定する。そして、人物が存在していないとの判定であれば（Ｓ１０７−Ｎｏ）、そのまま、ステップＳ１１２に進み、入力画像全体に検出窓を設定したか判定する。他方、人物が存在しているとの判定であれば（Ｓ１０７−Ｙｅｓ）、ステップＳ１０８〜Ｓ１１１の処理を実行する。

ステップＳ１０８〜ステップＳ１０９の処理は、記憶部１１に記憶された部位窓設定情報及び部位領域情報１１３を参照して処理する。
ステップＳ１０８では、部位検出部１３が、部位窓設定情報の各部位の投票ベクトル３１４を参照し、部位適合度分布のピーク位置に投票した部位窓画像及びその所定範囲内の部位窓画像を特定する。具体的には、先ず、頭部検出手段１３１が、部位適合度分布のピーク位置から、頭部の投票ベクトル３１４の逆ベクトル「（０、−３０）」にしたがって、そのピーク値の元となった頭部の部位窓画像及びその所定範囲内の頭部の部位窓画像を特定する。なお、頭部でなく、右腕であれば右腕検出手段１３２、左腕であれば左腕検出手段１３３、胴体であれば胴体検出手段１３４、腰部であれば腰部検出手段１３５、右脚であれば右脚検出手段１３６、左脚であれば左脚検出手段１３７がそれぞれ選択されて各部位の部位窓画像を特定する。

ステップＳ１０９では、部位検出部１３が、部位領域情報１１３を参照し、特定した各部位の部位窓画像の中で部位適合度が最大である部位窓画像を特定し、その部位適合度が各部位の判定閾値以上である場合、検出窓画像内のその部位窓画像の領域を部位領域として検出する。具体的には、先ず、頭部検出手段１３１が、特定した頭部の部位窓画像の中で、部位適合度が最大である部位窓画像を特定し、その部位適合度が頭部判定閾値以上である場合、検出窓画像内のその部位窓画像の領域を頭部領域として検出する。なお、頭部でなく、右腕であれば右腕検出手段１３２、左腕であれば左腕検出手段１３３、胴体であれば胴体検出手段１３４、腰部であれば腰部検出手段１３５、右脚であれば右脚検出手段１３６、左脚であれば左脚検出手段１３７がそれぞれ選択されて各部位領域を検出する。その後、図３に示す頭部３０１、右腕３０２、左腕３０３、胴体３０４、腰部３０５、右脚３０６、左脚３０７の順に部位領域の検出が全て行われていなければ、ステップＳ１０８に戻り次の部位窓について処理する。他方、全ての部位窓に対する処理が終了していれば、ステップＳ１１０に進む。

ステップＳ１１０では、人物候補領域画定部１５が、部位検出部１３により検出された各部位領域を統合することにより人物候補領域を画定する。ステップＳ１１１では、人物候補領域画定部１５が、画定した人物候補領域の位置、形状情報、人物適合度を求めて記憶部１１の人物領域情報１１４に一時記憶するとともに、総数７０５をインクリメントする。ステップＳ１１２では、検出窓の設定が終了していなければ（Ｓ１１２−Ｎｏ）、ステップＳ１０２に戻り、同様の処理を実行する。他方、検出窓の設定が終了していれば（Ｓ１１２−Ｙｅｓ）、ステップＳ１１３の処理に進む。

ステップＳ１１３では、記憶部１１に記憶された人物領域情報１１４を参照し、重複度算出部１６が、人物候補領域画定部１５が画定した人物候補領域の総数７０５が複数であるか否か判定する。総数７０５が複数でなければ（Ｓ１１３−Ｎｏ）、ステップＳ１１４の処理に進み、他方、総数７０５が複数であれば（Ｓ１１３−Ｙｅｓ）、ステップＳ１１６の処理に進む。

ステップＳ１１４では、人物領域特定部１７が、人物領域情報１１４に記憶された人物候補領域を人物領域と判定し、人物領域と判定した人物候補領域の数を入力画像に含まれる人物の数として計数する。なお、ステップＳ１１３でＮｏと判定された場合、入力画像に含まれる人物の数は一人となり、画定された一つの人物候補領域が人物領域と判定される。そして、人物領域特定部１７が、入力画像に含まれる人物の数と、入力画像から検出した人物領域の情報とを記憶部１１に記憶するとともに出力部１８に送る。
ステップＳ１１５では、出力部１８が、人物領域特定部１７から受け取った入力画像に含まれる人物の数と人物領域の情報とを表示装置３に表示させるとともに、通信部１９を介して監視センタへ送信して、一連のステップを終了し、次の入力画像を取得する。

ステップＳ１１６〜ステップＳ１２４の処理は、記憶部１１に記憶された人物領域情報１１４を参照して処理する。
ステップＳ１１６では、重複度算出部１６が、人物領域情報１１４を参照し、人物適合度が最小の人物候補領域を選択する。ステップＳ１１７では、重複度算出部１６が、人物領域情報１１４を参照し、選択した人物候補領域と重複する人物候補領域が存在するか否かを判定する。重複する人物候補領域が存在しなければ（Ｓ１１７−Ｎｏ）、そのまま、ステップＳ１２３の処理に進み、他方、重複する人物候補領域が存在すれば（Ｓ１１７−Ｙｅｓ）、ステップＳ１１８の処理に進む。ステップＳ１１８では、重複度算出部１６が、人物領域情報１１４を参照して、選択した人物候補領域と、その人物候補領域と重複する人物候補領域のペアを選択する。ステップＳ１１９では、重複度算出部１６が、選択したペアの人物候補領域の重複度を算出する。

ステップＳ１２０では、人物領域特定部１７が、算出した重複度が重複判定閾値以上であるか否かを判定する。重複度が重複判定閾値以上であれば（Ｓ１２０−Ｙｅｓ）、人物候補領域のペアのうち、人物適合度が小さい方の人物候補領域を人物領域でないと判定して、その人物候補領域を人物領域情報１１４から消去するとともに、総数７０５をデクリメントする（Ｓ１２１）。他方、重複度が重複判定閾値未満であれば（Ｓ１２０−Ｎｏ）、そのまま、ステップＳ１２２に進み、選択した人物候補領域について、重複する全ての人物候補領域に対する処理が終了したか、又は、選択した人物候補領域が人物領域情報１１４から消去されたか否かを判定する。まだ、重複する全ての人物候補領域に対する処理が終了しておらず、且つ、選択した人物候補領域が人物領域情報１１４から消去されていなければ（Ｓ１２２−Ｎｏ）、ステップＳ１１８に戻り、同様の処理を実行する。他方、重複する全ての人物候補領域に対する処理が終了したか、又は、選択した人物候補領域が人物領域情報１１４から消去されていれば（Ｓ１２２−Ｙｅｓ）、ステップＳ１２３に進み、人物適合度が最高の人物候補領域まで処理が終了したか否かを判定する。人物適合度が最高の人物候補領域まで処理が終了していなければ（Ｓ１２３−Ｎｏ）、ステップＳ１２４に進み、選択した人物候補領域の次に人物適合度が小さい人物候補領域を選択し、ステップＳ１１７に戻り、同様の処理を実行する。他方、人物適合度が最高の人物候補領域まで処理が終了していれば（Ｓ１２３−Ｙｅｓ）、ステップＳ１１４に進む。

この場合、ステップＳ１１４では、人物領域情報１１４に残っている全ての人物候補領域が人物領域と判定され、その数、即ち総数７０５が入力画像に含まれる人物の数として計数される。

なお、例えば、入力画像に人物がちょうど収まるように撮像装置２が設置されるような場合、入力画像中に検出窓を設定する必要がないため、入力画像を検出窓画像として用いてもよい。その場合、検出窓設定手段４１が省略され、図９のフローチャートにおいて、ステップＳ１０２及びＳ１１２の処理が省略される。

以上、本発明の好適な実施形態について説明してきたが、本発明はこれらの実施形態に限定されるものではない。例えば、本実施形態では、重複度が、重複している二つの人物候補領域のうち、面積又は人物適合度が小さい人物候補領域の面積に対し、重複領域の面積が占める割合である例について説明したが、本発明はこれに限定されない。例えば、重複度算出部は、検出窓画像ごとの人物候補領域の面積に対し、重複している領域の面積が占める割合を重複度として算出してもよい。この場合、人物領域特定部は、何れかの重複度が重複判定閾値以上である場合、重複度が大きい方の人物候補領域を人物領域でないと判定して、その人物候補領域を人物領域情報から消去する。他方、重複度が重複判定閾値未満である人物候補領域、及び、重複度が小さい方の人物候補領域は、そのまま消去せず残しておく。これにより、同一人物による人物候補領域のそれぞれで判断できるため、より高速に消去することができ、より高速に人物検知処理を実行することが可能となる。

また、特定の人物候補領域と重複している人物候補領域が一つだけである場合、人物領域特定部は、その特定の人物候補領域について算出した重複度が重複判定閾値以上であれば、その特定の人物候補領域を人物領域でないと判定し、重複度が重複判定閾値未満であれば、その特定の人物候補領域を人物領域であると判定してもよい。これによっても、重複している人物候補領域が一つだけである場合には、適切に人物検知処理を実行することができる。

また、本実施形態では、識別器により部位適合度を算出する例について説明したが、パターンマッチングにより部位適合度を算出してもよい。その場合、部位が写っている複数の画像に平均化処理等を実施した画像のパターンを予め生成して記憶部に記憶しておく。部位検出部は、各部位窓と、記憶部に記憶しておいた画像のパターンの類似の程度を求め、求めた類似の程度を部位適合度とする。類似の程度は、例えば、部位窓画像と、画像のパターンを部位窓と同じサイズに拡大／縮小した画像との正規化相互相関値とすることができる。

また、部位検出部は、検出窓ごとに個別に部位適合度を算出するのではなく、入力画像内に設定された全ての部位窓に対して部位適合度を算出し、算出した部位適合度を記憶部に記憶しておいてもよい。その場合、部位検出部は、図９のステップＳ１０４において、記憶部から対応する部位適合度を読み出すことにより部位適合度を取得する。これにより、各検出窓において重複する部位窓について重複して部位適合度を算出することがなくなり、処理負荷を低減することが可能となる。

以上のように、当業者は、本発明の範囲内で、実施される形態に合わせて様々な変更を行うことができる。

１ 人物検出装置
２ 撮像装置
３ 表示装置
１０ 画像取得部
１１ 記憶部
１２ 検出窓設定部
１３ 部位検出部
１４ 人物判定部
１５ 人物候補領域画定部
１６ 重複度算出部
１７ 人物領域特定部
１８ 出力部
１９ 通信部

Claims (6)

1. 入力画像から対象物体を検出する物体検出装置であって、
   前記入力画像上を所定画素数だけずらしつつ所定サイズの検出窓を設定する検出窓設定部と、
   前記入力画像に前記検出窓を設定した検出窓画像に前記対象物体が存在するか否かを判定する物体存否判定部と、
   前記検出窓画像から対象物体を構成する複数の部位それぞれについて当該部位が存在する部位領域を検出する部位検出部と、
   前記部位領域を統合して物体候補領域を画定する物体候補領域画定部と、
   一の検出窓画像における前記物体候補領域と他の検出窓画像における前記物体候補領域との重なりの程度である重複度を算出する重複度算出部と、
   前記物体候補領域を前記重複度が所定以上であれば物体領域でないとし、前記重複度が所定未満であると物体領域と判定する物体領域特定部と、
   前記物体領域特定部にて特定した物体領域の情報を出力する出力部とを少なくとも有する物体検出装置。
2. 前記物体存否判定部は、前記対象物体が存在する可能性の程度である物体適合度にて判定し、
   前記重複度算出部は、重複している二つの前記物体候補領域のうち面積が小さい物体候補領域の面積に対し、重複している領域の面積が占める割合を重複度として算出し、
   前記物体領域特定部は、前記重複度が所定以上であれば当該二つの物体候補領域のうち物体適合度が小さい物体候補領域を物体領域でないとする請求項１に記載の物体検出装置。
3. 前記物体存否判定部は、前記対象物体が存在する可能性の程度である物体適合度にて判定し、
   前記重複度算出部は、重複している二つの前記物体候補領域のうち物体適合度が小さい物体候補領域の面積に対し、重複している領域の面積が占める割合を重複度として算出し、
   前記物体領域特定部は、前記重複度が所定以上であれば当該二つの物体候補領域のうち物体適合度が小さい物体候補領域を物体領域でないとする請求項１に記載の物体検出装置。
4. 前記重複度算出部は、重複している二つの前記物体候補領域のうち一方は前記物体適合度が最小の物体候補領域を選択する請求項２または請求項３に記載の物体検出装置。
5. 前記物体候補領域画定部は、前記物体存否判定部にて物体存在との判定に使用した複数の部位領域の和領域に統合して物体候補領域を画定する請求項１〜請求項４の何れか１項に記載の物体検出装置。
6. 前記部位検出部は、前記検出窓画像における部位毎の所定位置に設定した部位窓画像に部位が存在する可能性の程度を示す部位適合度を算出し、当該部位適合度が部位であると判断できる値以上であると当該部位窓画像の領域を部位領域として検出し、
   前記物体存否判定部は、抽出された各部位領域の部位適合度の総和が物体の存在を判断できる値以上であると物体が存在すると判定する請求項１〜請求項５の何れか１項に記載の物体検出装置。

Images