JP6266468B2

JP6266468B2 - 対象検出装置

Info

Publication number: JP6266468B2
Application number: JP2014164911A
Authority: JP
Inventors: 秀紀氏家; 正則小野塚; 佐藤　昌宏; 昌宏佐藤; 叶秋李; 陽介村井
Original assignee: Secom Co Ltd
Current assignee: Secom Co Ltd
Priority date: 2014-08-13
Filing date: 2014-08-13
Publication date: 2018-01-24
Anticipated expiration: 2034-08-13
Also published as: JP2016040705A

Description

本発明は入力画像から所定の対象が現れた対象領域を検出する対象検出装置に関する。

監視カメラなどで撮影した入力画像から人物領域などを検出するために識別器やパターンマッチング器を用いた探索処理が行われる。入力画像における対象の位置、大きさ、姿勢は一般に未知である。そこで、探索処理では、入力画像内の各位置に複数通りの大きさの窓領域を設定し、各窓領域における画像の特徴量を複数通りの姿勢の識別器やパターンマッチング器それぞれに入力する。そして、識別器等から出力されるスコアが閾値を超える窓領域を対象の候補領域として抽出する。

この探索処理では１つの対象に対して、複数の候補領域が互いに重複して抽出され得、その場合、複数の候補領域に基づいて対象領域が決定される。特許文献１の画像処理装置は、重複して抽出された候補領域の中から最高スコアのものを対象領域として選出する。また、重複して抽出された複数の候補領域を平均化により合成して対象領域を求めることも行われる。

特開２０１０−１６０６４０号公報

しかしながら、重複して抽出された複数の候補領域（以下、領域グループ）を用いて対象領域を求める際に、領域グループにおける最高スコアの候補領域を対象領域として選出する手法と、候補領域を平均化により合成して対象領域を生成する手法とのいずれにおいても対象の検出精度が劣化する問題があった。具体的には、識別器等に用意される大きさや姿勢は離散的であり、例えば、窓領域の大きさを識別器に対応する規定の窓領域の大きさの１．０倍と１．２倍に設定して探索処理を行ったときに、真の対象の大きさが１．１倍である場合のように、真の対象の大きさや姿勢が識別器等における大きさや姿勢の中間になる場合がある。つまり、最高スコアの候補領域を対象領域として選出する手法では、好適に合致する窓領域が設定されていない対象に対して、真の対象領域との誤差が比較的大きくなる場合がある。一方、複数の候補領域を合成して対象領域を生成する手法では、例えば、窓領域の大きさに１．０倍と１．２倍が設定されているときに真の対象の大きさが１．０倍である場合のように、真の対象領域に好適に合致する窓領域が設定されている場合でも、誤差が大きい他の窓領域による候補領域を含めて合成が行われることにより精度が劣化し得る。すなわち、限られた窓領域の設定の下で択一的な手法によって対象領域を検出すると精度が低下する場合がある。

また、検出対象である人物の服装の影響、鞄や傘などの所持物の影響などによって位置や大きさが真の対象の位置や大きさからずれた候補領域が低いスコアで検出される場合がある。この場合に最高スコアの候補領域を対象領域として選出すると、真の対象領域との誤差が比較的大きくなってしまう。すなわち、対象の変動によっても対象領域の検出精度が低下する場合がある。

本発明は上記問題を鑑みてなされたものであり、限られた窓領域の設定の下であっても、また対象の変動があっても対象領域を精度よく検出可能な対象検出装置を提供することを目的とする。

本発明に係る対象検出装置は、入力画像において所定の対象が現れている対象領域を検出するものであって、前記入力画像内に設定される注目領域に前記対象が存在する尤もらしさを表す指標値を前記入力画像内の各所にて抽出される特徴量を用いて算出するための指標値算出関数を予め記憶している記憶部と、前記入力画像内の複数の位置に前記注目領域を設定し、当該注目領域における前記指標値を前記指標値算出関数により算出する指標値算出部と、前記注目領域のうち前記指標値が予め定められた第一閾値を超えるものを候補領域として抽出すると共に、当該候補領域相互についての予め定められた重複関係を満たす複数の前記候補領域からなる領域グループを生成する領域グループ生成部と、前記領域グループごとに、当該領域グループに帰属する帰属候補領域から選択した１つの代表領域と、前記帰属候補領域を平均した平均領域とのいずれかを前記帰属候補領域の前記指標値が予め定めた条件を満たすか否かに応じて切り替えて前記対象領域として定める対象領域決定部と、を備える。

本発明の好適な態様は、前記対象領域決定部が、前記帰属候補領域の前記指標値のいずれかが前記第一閾値よりも高く定めた第二閾値以上の場合に、前記代表領域を選択して前記対象領域とし、前記帰属候補領域の前記指標値のいずれもが前記第二閾値未満の場合に、前記平均領域を求めて前記対象領域とする対象検出装置である。

さらに、前記対象領域決定部は、前記帰属候補領域の前記指標値の最高値が前記第二閾値以上の場合に、当該最高値が得られた前記帰属候補領域を前記代表領域とすることができる。

本発明の他の好適な態様は、前記対象領域決定部が、前記各帰属候補領域の位置及び寸法を当該帰属候補領域の前記指標値で重み付け平均して前記平均領域を定める対象検出装置である。

本発明によれば、限られた窓領域の設定の下であっても、また対象の変動があっても対象領域を精度よく検出可能することができる。

本発明の実施形態に係る人物検出装置の概略のブロック構成図である。入力画像及び縮小画像の例を示す模式図である。本発明の実施形態に係る人物検出装置の概略の動作を示すフロー図である。倍率が異なる複数の画像から抽出された候補領域を１つの画像上にまとめて表示した模式図である。領域グループ生成部の概略の処理フロー図である。対象領域決定部の概略の処理フロー図である。

以下、本発明の実施の形態（以下実施形態という）について、図面に基づいて説明する。本実施形態に係る対象検出装置は、画像中に映った人物を検出の対象とする人物検出装置１である。

[構成例]
図１は、実施形態に係る人物検出装置１の概略のブロック構成図である。人物検出装置１は、画像入力部２、制御部３、記憶部４及び出力部５を含んで構成される。画像入力部２、記憶部４及び出力部５は制御部３と接続される。

画像入力部２は例えば、監視カメラなどの撮像装置、又は映像を記録したデジタルビデオレコーダーなどの記録装置であり、画像を制御部３へ出力する。以下、画像入力部２から制御部３に入力される画像を入力画像と称する。

制御部３はＣＰＵ（Central Processing Unit）、ＤＳＰ(Digital Signal Processor)等の演算装置を用いて構成される。制御部３は、画像入力部２からの入力画像を処理して人の存在有無を判定し、その判定結果等を出力部５へ出力する処理を行う。そのために、制御部３は、記憶部４からプログラムを読み出して実行し、画像縮小部３０、特徴量抽出部３１、指標値算出部３２、部位検出部３３、領域グループ生成部３４及び対象領域決定部３５として機能する。

画像縮小部３０は、入力画像に撮像されている人物のサイズが様々であることに対応して、予め設定された複数段階の倍率で入力画像を縮小する。これにより画像内にて人物を検出するために設定する窓領域の大きさは変えずに、様々なサイズの人物領域を検出することが可能となる。例えば、画像縮小部３０は入力画像を予め定めた最小幅または高さになるまで決まった間隔で順次縮小し、縮小画像を生成する。縮小倍率は、例えば縦横のサイズが半分になるまでの間に１０段階に設定される。例えば、図２（ａ）に示す画像１００が原サイズの入力画像であり、図２（ｂ），（ｃ）に示す画像１１０，１２０は画像１００を縮小した入力画像の例である。

特徴量抽出部３１は、原サイズの入力画像及び縮小した入力画像のそれぞれを予め定めたブロックサイズに区切り、各ブロックの画像から特徴量を抽出する。特徴量として、ヒストグラム・オブ・オリエンティッド・グラディエント（Histograms of Oriented Gradients：ＨＯＧ）特徴量、局所二値パターン（Local Binary Pattern：ＬＢＰ）特徴量、Haar-like特徴量などの従来知られた特徴量を単独で、又は複数を組み合わせて用いることができる。

指標値算出部３２は、原サイズの入力画像及び縮小した入力画像内の各位置に人物を検出するための枠として、予め定めた人の大きさの窓領域（注目領域）を設定し、当該窓領域に対象が存在する尤もらしさを表す多値の指標値であるスコアを、入力画像内の各所にて抽出された特徴量と予め学習した指標値算出関数により算出する。例えば、指標値算出部３２は、各窓領域内の特徴量を指標値算出関数に入力して当該窓領域に対するスコアを算出する、または、人物の腕部等が窓領域からはみ出す姿勢変動を考慮して窓領域内及び窓領域周辺の所定範囲の特徴量を指標値算出関数に入力して当該窓領域に対するスコアを算出する。

なお、図２では画像１００，１１０，１２０に設定される矩形の窓領域１０１の例を点線で示している。指標値算出部３２は窓領域１０１を少しずつずらしながら繰り返し設定し、画像全体を走査する。例えば、窓領域１０１の走査は画像の左上から水平方向の走査が開始される。水平方向の走査は垂直方向の位置を少しずつずらしつつ繰り返される。

指標値算出関数は本実施形態では、検出対象である「人」と「人」以外とを識別する識別器である。識別器は「人」が映っている多数の画像と、「人」が映っていない多数の画像とを用いて予め学習され、後述する指標値算出関数格納部４０に格納されている。指標値算出部３２は識別器に窓領域の位置に応じて特徴量を与えることでスコアを算出する。

指標値算出部３２は、スコアが予め定めた第一閾値Ｔ_１を超える窓領域を人の候補領域として、当該窓領域の矩形情報（入力画像における位置、幅及び高さ）とそのスコアを、後述する候補領域格納部４１に格納する。例えば、入力画像における窓領域の位置として窓領域をなす矩形の左上の座標が格納される。

部位検出部３３は予め定めた部位、例えば頭部などを検出する。この部位の検出結果は、最終的な人の検出領域を補正するために用いる。部位を検出するために、予め収集した人の当該部位とそれ以外の画像から抽出された特徴量を用いて識別器を学習し、学習した識別器のパラメータを指標値算出関数格納部４０に格納しておく。

部位検出部３３は、候補領域格納部４１に格納された各候補領域について部位の検出を行う。候補領域内に部位検出用の窓領域を設定し、当該窓領域内から得られた特徴量を部位検出用の識別器に与えることで部位らしさを表すスコアを計算する。このスコアが候補領域内で最大になるところを見つける。この時、部位の位置や大きさに関する制約を入れてもよい。例えば、頭部であれば、人物の候補領域の上の方ある可能性が高いため、探索範囲を絞り込むことができる。また、候補領域の大きさからおおよその頭部の大きさの範囲がわかるので、それを利用してもよい。

部位検出部３３から出力される情報は、部位の矩形領域（入力画像における位置、幅及び高さ）及び部位らしさを表すスコアである。なお、入力画像における部位の位置として例えば、部位検出用の窓領域をなす矩形の左上の座標が格納される。

本実施形態では、部位検出部３３は後述する領域グループを構成する各候補領域にて頭部検出を行い、頭部を検出した矩形領域を頭部らしさを表すスコアで重み付け平均して、当該領域グループに対応した人物の頭部の矩形位置を算出する。なお、負のスコアを含む場合は、スコアの最小値の絶対値を加えたスコアで重み付ける。また、頭部位置の算出における平均化の方法は、スコアの重み付きではなく単純平均とすることもできる。また、頭部らしさを表すスコアにシグモイド関数を用いた非線形変換を施し、変換後のスコアで重み付き平均しても良い。

また、指標値算出部３２でスコアを算出する際に、人物の全身について１つの識別器を用いる場合と複数の部位による識別器を用いる場合が考えられ、指標値算出部３２が複数の部位検出によって算出されるものであれば、部位検出部３３はその結果を利用して部位検出を行ってもよい。

領域グループ生成部３４は、候補領域格納部４１に格納されている候補領域について、当該候補領域相互についての予め定められた重複関係を満たす複数の領域からなる領域グループを生成する。具体的には、領域グループ生成部３４は、所定以上の重複を有する候補領域同士に同じラベル番号を割り当てることによって領域グループの情報を生成する。また、その際にスコアの高い候補領域を優先的にグループの核とする。詳細は動作の説明にて後述する。領域グループ生成部３４で割り当てた各候補領域のラベル番号は、矩形情報及びスコアと共に候補領域格納部４１に格納される。

対象領域決定部３５は候補領域格納部４１に格納されている候補領域から最終的な人物領域（対象領域）を求める。対象領域決定部３５は、領域グループ生成部３４で算出されたグループごとに１つの人物領域を定め、当該人物領域の領域情報をスコアと共に対象領域格納部４２に格納する。

ここで、スコアが高い候補領域は真の対象領域との間に位置や大きさのずれが生じにくく、スコアが低い候補領域は真の対象領域との間に位置や大きさのずれが生じやすい傾向があるという知見が実験的に得られた。また、領域グループ単位でみた場合、帰属する候補領域の最大スコアが十分に高い領域グループでは最高スコアが得られた候補領域の方が帰属する複数の候補領域を平均化した領域よりも真の対象領域とのずれが生じにくく、帰属する候補領域の最高スコアが低めの領域グループでは、帰属する複数の候補領域を平均化した領域の方が最高スコアが得られた候補領域よりも真の対象領域とのずれが生じにくい傾向があるという知見が得られた。そこで対象領域決定部３５は、スコアによって対象領域の決定方法を切り替える。

具体的には、対象領域決定部３５は領域グループごとに、当該領域グループに帰属する候補領域（帰属候補領域）から選択した１つの代表領域と、帰属候補領域を平均した平均領域とのいずれかを対象領域として定める。その際、対象領域決定部３５は、帰属候補領域のスコアが予め定めた条件を満たすか否かに応じて、代表領域と平均領域とのいずれを対象領域とするかを切り替える。

本実施形態では、対象領域決定部３５は、帰属候補領域のスコアのいずれかが第一閾値Ｔ_１よりも高く定めた第二閾値Ｔ_２以上の場合に、代表領域を選択して対象領域とし、帰属候補領域のスコアのいずれもが第二閾値Ｔ_２未満の場合に、平均領域を求めて対象領域とする。例えば、対象領域決定部３５は帰属候補領域のスコアの最高値が第二閾値Ｔ_２以上の場合に、当該最高値が得られた帰属候補領域を代表領域とする。また、対象領域決定部３５は各帰属候補領域の位置及び寸法を当該帰属候補領域のスコアで重み付け平均して平均領域を生成する。

なお、代表領域を選択する際、帰属候補領域のうち外れ値のスコアを有する帰属候補領域を除外してから、スコアの最高値が得られた帰属候補領域を代表領域としてもよい。この場合、例えば、スコアが高い帰属候補領域から順に規定数の個数の帰属候補領域を外れ値として除外してもよいし、スコアが高い帰属候補領域から順に規定割合の個数の帰属領域を外れ値として除外してもよいし、スコアの高さが１つ下位の帰属候補領域との間でスコアの差が所定値以上である帰属候補領域を外れ値として除外してもよい。

なお、平均領域を生成する際の平均化の方法は、スコアの重み付きではなく単純平均とすることもできる。また、スコアにシグモイド関数を用いた非線形変換を施し、変換後のスコアで重み付き平均しても良い。

また、平均領域を生成する際、領域グループにおいてスコアが高い帰属候補領域から順に規定個数の帰属候補領域を使って上述の平均化を行ってもよい。

また、スコアに負の値がある場合は、正のスコアを持つ帰属候補領域のみを使って上述の平均化を行ってもよい。また、スコアに負の値がある場合に、スコアの最低値の絶対値を各帰属候補領域のスコアに足すなどの線形変換により全てのスコアを０以上に変換し、変換後のスコアで重み付き平均をしてもよい。

対象領域を決定する方法を切り替えるための第二閾値Ｔ_２は、例えば予めの実験に基づき真の対象領域に対する候補領域のずれと、領域グループ単位で得られる最高スコアとの関係から定めることができる。具体的には、真の対象領域を予め目視確認により設定したテスト画像に対し候補領域を抽出し、領域グループ生成処理を行う。生成された領域グループそれぞれに対して真の対象領域とのずれ度合いが予め定めた閾値（例えば、０．２）未満である候補領域の有無を判定し、ずれ度合いが閾値未満の候補領域の最大スコアを算出する。

候補領域と真の対象領域とのずれ度合いは例えば、１−（候補領域と真の対象領域との重なり領域）／（候補領域と真の対象領域との和領域）や１−（候補領域と真の対象領域との重なり領域の高さ）／（候補領域と真の対象領域との和領域の高さ）などで計算される。ずれ度合いは候補領域が真の対象領域と完全に一致すれば０になり、真の対象領域とまったく合致しない場合は１となる。

そして，テスト画像から生成された領域グループのうち、ずれ度合いが閾値未満である候補領域を含んだ領域グループそれぞれから求めた最大スコアのうち最小値を、人物領域算出方法の切替閾値である第二閾値Ｔ_２に設定する。つまり、この第二閾値Ｔ_２は真の対象領域に対するずれが小さな代表領域を含む領域グループのうち最もスコアが低い領域グループに基づいて定めた閾値であるので、代表領域を対象領域として求めるべき領域グループと平均領域を対象領域として求める領域グループとの境界となる閾値として推定することができる。

制御部３は，入力画像から最終的な人物領域が１つでも検出された場合は、その情報を出力部５に出力する。

記憶部４はＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、ハードディスク等の記憶装置であり、制御部３で使用されるプログラムやデータを記憶する。記憶部４はこれらプログラム、データを制御部３との間で入出力する。記憶部４は指標値算出関数格納部４０、候補領域格納部４１及び対象領域格納部４２としての機能を有する。

指標値算出関数格納部４０は、入力画像内に設定される窓領域に対象が存在する尤もらしさを表す指標値であるスコアを、入力画像内の各ブロックにて抽出される特徴量を用いて算出するための指標値算出関数、及び第一閾値Ｔ_１を予め記憶している。指標値算出関数は既に述べたように識別器であり、具体的には予め収集した人の学習用画像と人以外の学習用画像にサポートベクターマシーン（Support Vector Machine：ＳＶＭ）を適用して求めた識別器のパラメータが指標値算出関数格納部４０に格納される。学習アルゴリズムとして線形ＳＶＭを用いた場合、識別器のパラメータは学習用画像から生成した重みベクトルである。この重みベクトルは、特徴量の各要素に対する重みである。重みベクトルは、当該重みベクトルと学習用画像から抽出された特徴量との内積が０より大きい場合は人、０以下の場合は人以外と識別されるように学習において調整され、入力画像の特徴量と重みベクトルとの内積の値がスコアを表す。よって、人と人以外のスコアを識別する閾値は原理上は０であり、通常、第一閾値Ｔ_１は０に設定することができる。ただし、人を人以外であると識別する誤りを減じるために、第一閾値Ｔ_１を０よりも小さな値に設定してもよい。

識別器の学習アルゴリズムにはＳＶＭの他、アダブースト（AdaBoost）法など、従来知られた各種のものを用いることができる。

また、識別器の代わりにパターンマッチング器を用いることもでき、その場合、スコアは人の学習用画像から抽出した特徴量の平均パターンと入力画像の特徴量との距離の逆数などとなり、指標値算出関数は当該スコアを出力値とし入力画像の特徴量を入力値とする関数とすることができる。

候補領域格納部４１は、指標値算出部３２により得られた人物の候補領域の情報と領域グループ生成部３４により得られた領域グループを示すラベル情報とを対応付けて格納する。なお、候補領域の情報は上述したように窓領域の位置・寸法、及びスコアである。ちなみに、窓領域は矩形であり、その寸法は幅と高さである。また例えば、入力画像における窓領域の位置として窓領域をなす矩形の左上の座標が格納される。

対象領域格納部４２は、対象領域決定部３５により最終的に人物がいると判定された人物領域の情報を格納する。人物領域の情報は、候補領域の情報と同様、入力画像における人物領域の矩形情報（矩形の左上の座標、及び寸法）とスコアとを対応付けた情報である。

出力部５は対象領域決定部３５の結果を受けて、ディスプレイなどの外部表示装置に入力画像と共に異常発生の旨を表示し、または、異常信号をセンタ装置へ送出するといった警報出力を行う。

[動作例]
次に人物検出装置１の動作を説明する。図３は人物検出装置１の概略の動作を示すフロー図である。制御部３は画像入力部２から画像を入力されると（ステップＳ１０）、画像縮小部３０により、入力画像を複数の倍率それぞれで縮小して縮小画像を作成する（ステップＳ２０）。例えば、図２に示したように、入力画像１００から縮小画像１１０，１２０が生成される。

特徴量抽出部３１は入力画像及び複数の縮小画像それぞれについて、画像内の各所における特徴量を計算する（ステップＳ３０）。

指標値算出部３２は、特徴量抽出部３１で抽出された特徴量と指標値算出関数格納部４０に格納されている識別器とにより画像内の各所に設定する窓領域に対応したスコアを算出し、設定した窓領域の中からスコアが第一閾値Ｔ_１を超えるものを人物の候補領域として候補領域格納部４１に格納する（ステップＳ４０）。

図２では、窓領域１０１を点線の矩形で示し、候補領域の例を窓領域に応じた大きさの実線の矩形で示している。画像１００では左側の小さな（遠くの）人物像が窓領域１０１に近い大きさとなり、その辺りにて大きなスコアが得られ候補領域１０２ａ，１０２ｂが抽出されている。また、画像１２０では右側の大きな（近くの）人物像が窓領域１０１に近い大きさとなり、その辺りにて大きなスコアが得られ候補領域１２２ａ，１２２ｂが抽出されている。なお、図２に示すように、１つ人物像に対し、重複した複数の候補領域が抽出され得る。

図４は倍率が異なる複数の画像１００，１１０，１２０から抽出された候補領域を１つの画像上にまとめて表示した模式図である。図４に示す画像１３０は入力画像１００と等倍のサイズであり、画像１００の候補領域１０２ａ，１０２ｂはそのままの倍率で画像１３０上の候補領域１３１ａ，１３１ｂとなる。一方、縮小画像における候補領域は入力画像１００の倍率に正規化され、候補領域１２２ａ，１２２ｂはそれぞれ候補領域１３２ａ，１３２ｂとなる。

領域グループ生成部３４は、候補領域格納部４１に格納されている候補領域同士の重複度を算出し、候補領域相互の重複度が予め定められたグループ判定閾値以上である候補領域からなるグループ（領域グループ）を生成し、当該グループを示すラベル番号を候補領域の情報に追加し候補領域格納部４１に格納する（図３のステップＳ５０）。

図５は領域グループ生成部３４の概略の処理フロー図である。図５を用いて領域グループ生成部３４の動作について説明する。

領域グループ生成部３４は候補領域格納部４１を参照し、候補領域をスコアの降順に並べ替え（ステップＳ５００）、全候補領域についてラベル情報をラベル番号が未割当であることを示す状態に設定する（ステップＳ５０１）。

領域グループ生成部３４は、ラベル番号を０から順次、インクリメントして設定する。そこで、現在のラベル番号を初期値０に設定する（ステップＳ５０２）。

領域グループ生成部３４はラベル番号が未割当の候補領域があるかどうかチェックする（ステップＳ５０３）。未割当の候補領域がある場合は（ステップＳ５０３にて「ＹＥＳ」の場合）、未割当の候補領域の中からスコアが最大になるもの（候補領域Ａとする）を選択し（ステップＳ５０４）、現在のラベル番号を付与する（ステップＳ５０５）。

そして候補領域Ａを比較の基準として、ラベル未割当の候補領域を１つずつ比較相手として繰り返されるループ処理（Ｓ５０６〜Ｓ５１０）が行われる。当該ループ処理では比較相手として選択されていない候補領域を順次選択し（ステップＳ５０６）、比較相手として選択された候補領域Ｂと、候補領域Ａとの重複度を計算し（ステップＳ５０７）、重複度が予め定められたグループ判定閾値より大きいか否かを判定する（ステップＳ５０８）。

重複度は、例えば、（入力画像中での候補領域Ａと候補領域Ｂとの共通領域の面積）／（入力画像中での候補領域Ａ及び候補領域Ｂの面積のうち小さい方）で計算される。また、（入力画像中での候補領域Ａと候補領域Ｂとの共通領域の面積）／（入力画像中での候補領域Ａと候補領域Ｂとの和領域の面積）で重複度を計算することもできる。例えば、重複度のグループ判定閾値は０．５に設定することができる。

重複度がグループ判定閾値より大きい場合は（ステップＳ５０８にて「ＹＥＳ」の場合）、候補領域Ｂに候補領域Ａと同じラベル番号を付与し（ステップＳ５０９）、当該候補領域Ｂについての処理を終えステップＳ５０６に戻る。一方、重複度がグループ判定閾値以下の場合は（ステップＳ５０８にて「ＮＯ」の場合）、候補領域Ｂはラベル番号を未割当の状態のままとして当該候補領域Ｂについての処理を終えステップＳ５０６に戻る。

或る候補領域Ａについて未割当の候補領域すべてとの比較が終了した場合、つまりステップＳ５０６で未処理の候補領域が存在せず選択できなかった場合（ステップＳ５１０にて「ＮＯ」の場合）、現在のラベル番号をインクリメントし（ステップＳ５１１）、ステップＳ５０３に戻り、新たな候補領域Ａを選択してステップＳ５０４〜Ｓ５１１の処理を繰り返す。

一方、候補領域に対してラベル番号の付与が全て終了した場合、つまり未割当の候補領域が無い場合は、（ステップＳ５０３で「ＮＯ」の場合）、グループ生成処理を終了し図３のステップＳ６０に処理を移行する。なお、候補領域に付与されたラベル番号は既に述べたように候補領域格納部４１に格納される。

ちなみに、上述のように、スコアが高い候補領域を優先してグループの核に設定することにより、近接する複数の人物に係る候補領域が１つのグループとなることを回避することが期待できる。

領域グループ生成部３４の処理の結果、例えば、図４の画像１３０における候補領域１３２ａ，１３２ｂがラベル番号“０”のグループとなり、候補領域１３１ａ，１３１ｂがラベル番号“１”のグループとなる。

領域グループ生成部３４により候補領域格納部４１に格納されている候補領域に対してラベル番号の付与が全て終了したら、対象領域決定部３５は最終的な人物領域を算出し対象領域格納部４２に格納する（図３のステップＳ６０）。対象領域決定部３５は、候補領域格納部４１を参照し、同一ラベル番号が割り当てられている候補領域から１つの人物領域を求めて出力する。これにより、最終的にはラベル数分だけ最終的な人物領域が出力される。

なお、重複度に基づくグループ生成は候補領域の重心と寸法をパラメータとしたクラスタリングによって行うこともできる。

図６は対象領域決定部３５の概略の処理フロー図である。図６を用いて対象領域決定部３５の動作について説明する。

対象領域決定部３５は領域グループごとに人物領域を決定する処理を行い（ステップＳ６００〜Ｓ６０６）、全領域グループについて人物領域を決定し終えていれば図３のステップＳ７０に処理を移行する（ステップＳ６００にて「ＹＥＳ」の場合）。

対象領域決定部３５は人物領域を決定していない領域グループがある場合は（ステップＳ６００にて「ＮＯ」の場合）、当該領域グループのラベル番号を選択し、候補領域格納部４１から当該ラベル番号を付された候補領域の情報を抽出する（ステップＳ６０１）。

対象領域決定部３５は、処理対象とする領域グループに帰属する候補領域におけるスコアの最大値を求め、その最大スコアと予め定めた第二閾値Ｔ_２との比較結果に応じて人物領域の決定手法を切り替える。

すなわち、領域グループ内での最大スコアが第二閾値Ｔ_２以上である場合は（ステップＳ６０２にて「ＹＥＳ」の場合）、最大スコアを与える候補領域を代表領域として選択し、当該領域グループにおける人物領域の検出結果とする（ステップＳ６０３）。

一方、最大スコアが第二閾値Ｔ_２未満の場合は（ステップＳ６０２にて「ＮＯ」の場合）、対象領域決定部３５は処理対象とする領域グループに帰属する候補領域の矩形情報をスコアで重み付き平均した平均領域を計算し、これを当該領域グループにおける人物領域の検出結果とする（ステップＳ６０４）。

さて、個々の人物の体型や姿勢によって、実際の人物領域の縦横比は一定ではない。しかし、上述の予め定めた窓領域を用いた検知処理では、それにより抽出された候補領域は全て同じ縦横比を有する。ステップＳ６０３，Ｓ６０４で算出した人物領域は当該候補領域に基づいているので、実際の人物領域と縦横比に違いが生じ得る。

そこで、本実施形態では、比較的人物の部位の中でも安定的に検出できる頭部などの部位検出を用いることで、個々の人物の体型や姿勢に対応する。具体的には、人物領域の決定に際し頭部位置を考慮した補正を行う。そのため、部位検出部３３はステップＳ６０１にて抽出した各候補領域について頭部を検出し、処理対象としている領域グループに対応した人物の頭部の矩形位置を求める（ステップＳ６０５）。

そして、対象領域決定部３５は、ステップＳ６０３又はＳ６０４にて算出された人物領域に対し、ステップＳ６０５にて得られた頭部検出結果を用いた補正を行い、人物領域の最終結果を算出する（ステップＳ６０６）。そして、算出した最終結果を対象領域格納部４２に格納する。例えば、対象領域決定部３５は、部位検出部３３により得られた頭部の位置を使って、人物領域の高さを修正する。具体的には、人物の高さが求めた頭部の位置と同じになるように修正する。

ステップＳ６０にて人物領域の算出後、画像中に人物が一人でもいた場合（ステップＳ７０にて「ＹＥＳ」の場合）、例えば、出力部５は検出された人物領域の情報と当該人物領域が検出された入力画像とを含めた異常信号をセンタ装置に送出する（ステップＳ８０）。

以上、実施形態を用いて説明した本発明では、１つの対象に起因して複数抽出され得る候補領域から１つの対象領域を決定する際に、当該候補領域のスコアが予め定めた条件を満たすか否かに応じて対象領域の計算方法を切り替えることで、対象領域の最終的な検出結果の精度を向上させることができる。

上述の実施形態では、当該計算方法の切り替えの例として、候補領域の抽出に用いる第一閾値Ｔ_１よりも高く定めた第二閾値Ｔ_２を用い、対象領域決定部３５が、帰属候補領域のスコアのいずれかが第二閾値Ｔ_２以上の場合に、代表領域を選択して対象領域とし、帰属候補領域のスコアのいずれもが第二閾値Ｔ_２未満の場合に、平均領域を求めて対象領域とする構成を説明した。しかし、当該計算方法の切り替え方は他の構成とすることもでき、例えば、対象領域決定部３５は、帰属候補領域のスコアのいずれもが第二閾値Ｔ_２以上の場合に、代表領域を選択して対象領域とし、帰属候補領域のスコアのいずれかが第二閾値Ｔ_２未満の場合に、平均領域を求めて対象領域としてもよい。

この場合、第二閾値は実験データに基づき、真の対象領域に対するずれが小さな平均領域を含む領域グループのうち最大スコアが最も高い領域グループに基づいて定めることができる。

また、例えば、領域グループごとのスコアの平均値に対して第二閾値を予め設定して切り替える、領域グループごとの上位規定割合のスコアの平均値に対する第二閾値を予め設定して切り替える、または領域グループごとの上位規定個数のスコアの平均値に対する第二閾値を設定して切り替えるなど、代表領域と平均領域のいずれに基づいて対象領域を定めるかを切り替える条件は予めの実験により得られる領域グループごとのスコアに基づいて適宜定めることができる。

なお、上記実施形態においては検出対象を人物としたが、検出対象は顔や上半身などの部位でもよく、車輌や標識など他の物体でもよく、表情や姿勢などの状態であってもよい。

１人物検出装置、２画像入力部、３制御部、４記憶部、５出力部、３０画像縮小部、３１特徴量抽出部、３２指標値算出部、３３部位検出部、３４領域グループ生成部、３５対象領域決定部、４０指標値算出関数格納部、４１候補領域格納部、４２対象領域格納部。

Claims

入力画像において所定の対象が現れている対象領域を検出する対象検出装置であって、
前記入力画像内に設定される注目領域に前記対象が存在する尤もらしさを表す指標値を前記入力画像内の各所にて抽出される特徴量を用いて算出するための指標値算出関数を予め記憶している記憶部と、
前記入力画像内の複数の位置に前記注目領域を設定し、当該注目領域における前記指標値を前記指標値算出関数により算出する指標値算出部と、
前記注目領域のうち前記指標値が予め定められた第一閾値を超えるものを候補領域として抽出すると共に、当該候補領域相互についての予め定められた重複関係を満たす複数の前記候補領域からなる領域グループを生成する領域グループ生成部と、
前記領域グループごとに、当該領域グループに帰属する帰属候補領域から選択した１つの代表領域と、前記帰属候補領域を平均した平均領域とのいずれかを前記帰属候補領域の前記指標値が予め定めた条件を満たすか否かに応じて切り替えて前記対象領域として定める対象領域決定部と、
を備えることを特徴とする対象検出装置。
前記対象領域決定部は、前記帰属候補領域の前記指標値のいずれかが前記第一閾値よりも高く定めた第二閾値以上の場合に、前記代表領域を選択して前記対象領域とし、前記帰属候補領域の前記指標値のいずれもが前記第二閾値未満の場合に、前記平均領域を求めて前記対象領域とすること、を特徴とする請求項１に記載の対象検出装置。
前記対象領域決定部は、前記帰属候補領域の前記指標値の最高値が前記第二閾値以上の場合に、当該最高値が得られた前記帰属候補領域を前記代表領域とすること、を特徴とする請求項２に記載の対象検出装置。
前記対象領域決定部は、前記各帰属候補領域の位置及び寸法を当該帰属候補領域の前記指標値で重み付け平均して前記平均領域を定めること、を特徴とする請求項１から請求項３のいずれか１つに記載の対象検出装置。