JP6117089B2

JP6117089B2 - 人物検出装置

Info

Publication number: JP6117089B2
Application number: JP2013257493A
Authority: JP
Inventors: 匠宗片
Original assignee: Secom Co Ltd
Current assignee: Secom Co Ltd
Priority date: 2013-12-12
Filing date: 2013-12-12
Publication date: 2017-04-19
Anticipated expiration: 2033-12-12
Also published as: JP2015114917A

Description

本発明は、カメラが撮影した画像を用いて人物を検出する人物検出装置に関し、特に、複数のカメラが撮影した画像のそれぞれから人物を検出し、そのうちの同一人物を対応付けて検出する人物検出装置に関する。

出入口を通行する人物を制限するために、通行者の顔を前方から撮影して認証処理を行い、認証結果に応じて出入口を開閉するなどの制御が行われることがある。さらに、この場合において、認証を受けずに不正に出入口を通行しようとする不正通行者を監視するために、この出入口付近を上方から俯瞰撮影して通行者の追跡処理を行うこともある。

上記事例において、上方から撮影した画像を用いて有効に不正通行者の監視を行うためには、その画像の中に映っている人物の中から、認証を受けた被認証者と認証されていない不正通行者とを識別する必要がある。

そのため、例えば、特許文献１に記載の監視装置においては、認証用画像撮像部が撮像した認証用画像から被認証者の顔領域を検出すると共に、監視画像撮像部が上方から撮像した監視画像から人物像を抽出し、被認証者の顔領域の位置に対応する人物像を被認証者の人物像と特定する。すなわち、両撮像部のカメラパラメータ同士の関係から決定される共通座標系にて顔領域の検出位置と人物像の検出位置とを比較し、検出位置同士が許容範囲内で互いに近い顔領域と人物像とを同一人物のものとして対応付ける。

このとき、対応付けの許容範囲として、検出された人物像の領域全体、或いは人物像における頭部領域が設定されていた。

特開２００９−２２３４２９公報

しかしながら、顔は頭部の前面にて検出されるため、人物が顔の向きに応じて人物像に対する顔領域の位置が変化する。この変化は、例えば人物同士が会話しているときなどに現れ、他人の方を向いている人物の顔領域は他人の人物像寄りに検出される傾向がある。この傾向に顔領域の検出誤差、人物像の検出誤差、及び撮像部間のキャリブレーション誤差が複合すると、それぞれ別人のものである顔領域と人物像との間でそれらの検出位置が許容範囲内となる、或いは同一人物の顔領域と人物像との間で検出位置が許容範囲外となることがあり、対応付けを誤るという問題があった。

また、従来技術においては、人物像における頭部領域を対応付けの許容範囲に設定することによって、人物像の検出誤差による対応付け精度の低下を防止する提案がされている。しかしながら、帽子を被った人物など、頭部領域の検出が困難な場合もある。そのため、人物像から頭部領域を検出せずに、顔領域と人物像とを高精度に対応付けることができる技術が望まれていた。

本発明は上記課題を鑑みてなされたものであり、人物の顔の向きに変化がある場合でも、複数のカメラが撮影した画像に写る人物同士を精度良く対応付けることが可能な人物検出装置を提供することを目的とする。

本発明に係る人物検出装置は、第一カメラにより所定の空間を撮影した画像から第一人物の顔を検出して顔位置及び顔向きを求める顔検出手段と、前記第一カメラとは設置位置が異なる第二カメラにより前記空間を撮影した画像から第二人物を検出する人物検出手段と、前記顔位置の周辺領域を設定し、当該周辺領域にて検出された前記第二人物を前記第一人物と同一人物であると判定する対応付け手段と、を有し、前記対応付け手段は、前記周辺領域を前記顔位置の前方よりも後方に広く設定する。

本発明に係る上記人物検出装置において、前記顔検出手段は、前記顔向きの検出の信頼度をさらに算出し、前記対応付け手段は、前記信頼度が高いほど、前記第一人物の前記顔の横方向に対しての前記周辺領域の広がりを狭く設定する構成とすることができる。

本発明に係る上記人物検出装置において、前記顔検出手段は、さらに前記顔の大きさを検出し、前記対応付け手段は、前記周辺領域を、前記第一カメラからの距離に関し、前記顔の大きさに応じて予め定められた範囲に制限する構成とすることができる。

本発明に係る上記人物検出装置において、前記対応付け手段は、前記周辺領域に複数の前記第二人物が含まれる場合に、前記第一カメラからの距離が近い前記第二人物を優先して前記第一人物に対応付ける構成とすることができる。

本発明によれば、人物の顔の向きによらずに、複数のカメラが撮影した画像に写る人物同士を精度良く対応付けることができる。

本発明の実施形態に係る人物検出装置を用いた監視装置の概略の構成を表すブロック図である。監視空間における認証用撮影部及び追跡用撮影部の配置の一例を示す模式図である。本発明の実施形態に係る人物検出装置を用いた監視装置の概略の機能ブロック図である。顔位置、顔向き及び人物位置の関係を説明するための認証用画像の模式図である。ワールド座標系のＸＹ平面における顔位置及び人物位置の関係を示す模式図である。顔位置に基づいて初期設定した推定領域の例を示す共通座標系のＸＹ平面の模式図である。図６に示す推定領域を顔向きに基づいて補正した補正後の推定領域の例を示す共通座標系のＸＹ平面の模式図である。図７に対応した推定領域の補正方法を説明するための共通座標系のＸＹ平面の模式図である。本発明の実施形態における顔認証装置の動作の概略のフロー図である。本発明の実施形態における人物追跡装置の動作の概略のフロー図である。情報結合処理の概略のフロー図である。情報結合処理の概略のフロー図である。顔向きに基づいて推定領域の初期値を補正する方法の他の例を示す模式図である。顔向きに基づいて推定領域を補正する方法の他の例を示す模式図である。

以下、本発明に係る人物検出装置を用いた実施の形態（以下実施形態という）である監視装置１について、図面に基づいて説明する。監視装置１は、ドアＤとその周辺を含む監視空間を２つのカメラによって撮影し、ドアＤを通行しようとする人物を各カメラが撮影した画像から検出すると共に同一人物をカメラ間で対応付けて当該人物の監視を行う。

［監視装置１の構成］
図１は監視装置１の概略の構成を表すブロック図である。監視装置１は顔認証装置２及び人物追跡装置３を含んで構成される。

顔認証装置２は監視空間に存在する人物の認証を行う装置であり、当該人物の顔を撮影して得られる画像を用いて認証を行う。顔認証装置２は認証用撮影部２０、認証情報記憶部２１、認証処理部２２及び送信部２３を含んで構成される。認証処理部２２は認証用撮影部２０、認証情報記憶部２１及び送信部２３と接続される。

人物追跡装置３は監視空間に存在する人物の追跡、監視を行う装置であり、受信部３０、追跡用撮影部３１、追跡情報記憶部３２、追跡処理部３３及び出力部３４を含んで構成される。追跡処理部３３は受信部３０、追跡用撮影部３１、追跡情報記憶部３２及び出力部３４と接続される。出力部３４は音響出力手段と接続される。

顔認証装置２と人物追跡装置３とは送信部２３と受信部３０との間の通信を介して接続される。また、送信部２３は電気錠とも接続される。

次に顔認証装置２及び人物追跡装置３の各構成要素について説明する。

図２は監視空間における認証用撮影部２０及び追跡用撮影部３１の配置の一例を示す模式図であり、図２（ａ）は監視空間にてドアＤに向かって立つ人物Ｐａの側方から見た図を示しており、図２（ｂ）は当該人物Ｐａの後方から見た図を示している。図２に示すように、認証用撮影部２０及び追跡用撮影部３１は、顔認証装置２が人物Ｐａを認証する際に人物Ｐａが存在する領域を、互いに異なる位置（視点）から撮影可能な位置に設置されている。

認証用撮影部２０（第一カメラ）は、監視空間に存在する人物の顔を撮影する撮影装置であり、当該人物の顔を撮影するのに適した位置に設置される。例えば、認証用撮影部２０の設置位置は、ドアＤに向かう人物Ｐａをほぼ正面から撮影可能な位置とされる。本実施形態では認証用撮影部２０はドアＤ近傍の壁面の例えば高さ２．２ｍの位置に、その撮影方向を水平面に対してやや下向きに向けて設置される。認証用撮影部２０は監視空間を所定時間おきに撮影して、撮影した画像を認証処理部２２に順次出力する。以下、認証用撮影部２０が撮影した画像を認証用画像と称する。

一方、追跡用撮影部３１（第二カメラ）は、監視空間に存在する人物を上方から撮影する撮影装置である。追跡用撮影部３１は所定時間おきに監視空間を撮影して、撮影した画像を追跡処理部３３に順次出力する。以下、追跡用撮影部３１が撮影した画像を追跡用画像と称する。例えば、追跡用撮影部３１は例えばドアＤ近傍の天井に、その撮影方向を鉛直下方に向けて設置される。このように設置すると、追跡用画像内において人物Ｐａの人物像がその周囲に存在する他の人物の人物像と重なりにくくすることができる。つまり、追跡用画像上で他の人物の陰に隠れてしまう人物が減るので、追跡に適した画像が得られる。

認証情報記憶部２１は、例えばＲＯＭ等のメモリ素子を含んで構成され、人物の認証情報や認証処理部２２によって実行される各種のプログラム等を記憶している。具体的に、認証情報記憶部２１は、ドアＤの通行が許可された１又は複数の人物（以下、通行許可者という）それぞれの認証情報を記憶している。ここで認証情報は、例えば通行許可者の顔の特徴を表す特徴量（顔特徴量）及び識別番号など、通行許可者を他の人物と区別して特定するための情報である。

認証処理部２２は、例えばデジタルシグナルプロセッサ（ＤＳＰ）等の演算装置により構成され、認証情報記憶部２１に記憶されるプログラムに従って認証処理を実行する。当該認証処理において認証処理部２２は、認証用撮影部２０が撮影した認証用画像の中から人の顔の領域を検出し、その顔位置、顔向き、顔向き検出の信頼度、及び顔サイズを算出する。また、認証処理部２２は、検出した顔領域内の画像を認証情報記憶部２１に記憶された通行許可者の認証情報と照合し、通行許可者の認証情報と照合一致した顔領域があれば、当該顔領域が示す人物に認証を与える。

認証処理部２２は認証を与える場合には所定の認証信号を送信部２３に対して出力する。この認証信号には、認証を与えたことを示す情報のほか、認証用画像から検出された顔領域における顔位置、顔向き及び顔サイズ、当該顔領域と照合一致した通行許可者の識別番号を含めることができる。以下、顔位置、顔向き、顔サイズ及び識別番号を含んだ情報を顔情報と称する。

送信部２３は、例えばＬＡＮインタフェース等の通信装置であって、照合一致が得られたタイミングで認証処理部２２が出力する認証信号を受けて、顔情報を受信部３０に対して送信する。また、送信部２３は認証信号を受けると、ドアＤを解錠するための制御信号を電気錠に対して出力する。これにより、ドアＤが所定時間だけ開放され、通行許可者はその間にドアＤを通行できる。

受信部３０は、例えばＬＡＮインタフェース等の通信装置及びバッファであって、顔認証装置２の送信部２３が送信する顔情報を受信して、バッファに記憶する。バッファに記憶された顔情報は追跡処理部３３によって読み出される。

なお、本実施形態では２つの撮影部２０，３１それぞれの設置位置に対応して顔認証装置２、人物追跡装置３を互いに分けて配置する構成としており、これに対応して送信部２３及び受信部３０が設けられている。一方、顔認証装置２及び人物追跡装置３を一体的に構成することもでき、この場合は通信装置としての送信部２３及び受信部３０を省略することが可能である。

追跡情報記憶部３２は、例えばＲＯＭやＲＡＭ等のメモリ素子を含んで構成され、追跡処理部３３によって実行される各種のプログラムや、追跡処理部３３が実行する処理により利用される各種のパラメータなどの情報が記憶される。

このパラメータにはカメラパラメータ、及び追跡用画像におけるドアＤの位置が含まれる。具体的には、カメラパラメータは、実空間における、認証用撮影部２０及び追跡用撮影部３１それぞれの設置位置及び撮影方向を含む設置パラメータ、並びに認証用撮影部２０及び追跡用撮影部３１それぞれの画角、画素数及びレンズ歪みを含む撮像パラメータなどである。

追跡処理部３３は、例えばＣＰＵやＤＳＰ等の演算装置であって、追跡情報記憶部３２に記憶されるプログラムに従って追跡処理を実行する。すなわち、追跡処理部３３は、追跡用画像から人物像を抽出して人物像の位置を追跡すると共に、顔認証装置２からの顔情報を、追跡している人物像と対応付けることで人物像の異常を検知した場合に当該異常の検知に応じた信号を出力部３４に出力する。なお、本実施形態において追跡処理部３３が実行する処理の具体例については後述する。

出力部３４は追跡処理部３３による処理結果を外部機器等に出力するためのインタフェースである。出力部３４は、例えばスピーカやブザー等の音響出力手段と接続され、追跡処理部３３からの指示により、当該音響出力手段に対して異常信号を出力して警告音を鳴動させる。

図３は監視装置１の概略の機能ブロック図である。認証処理部２２は、認証情報記憶部２１に記憶されたプログラムに従い、認証用画像を処理する顔検出手段２２０及び顔照合手段２２１として動作する。追跡処理部３３は追跡情報記憶部３２に記憶されたプログラムに従い、追跡用画像を処理する人物検出手段３３０、座標変換手段３３１、対応付け手段３３２、追跡手段３３３及び異常判定手段３３４として動作する。また、顔検出手段２２０、人物検出手段３３０、座標変換手段３３１及び対応付け手段３３２は、認証用画像中の顔を追跡用画像中の人物と対応付ける人物検出装置を構成する。

顔検出手段２２０は認証用画像の中から１又は複数の人物（第一人物）の顔を示す顔領域を検出し、認証用画像上における当該人物の顔の位置（顔位置）、認証用画像上における当該人物の顔の向き（顔向き）、顔向き検出の信頼度、及び認証用画像上における当該人物の顔の大きさ（顔サイズ）を求める。

そのために顔検出手段２２０は、認証用画像上の各位置に検出窓を設定し、予め人の顔の画像を顔の向きごとに学習した複数の識別器に検出窓内の画像を入力して出力値を得、所定値以上の出力値が得られた検出窓を顔領域として検出する。そして、顔検出手段２２０は、検出した顔領域の顔位置、顔向き及び顔サイズを含めた顔情報を生成する。生成した顔情報は座標変換手段３３１に送信される。

例えば、顔検出手段２２０は、所定値以上の出力値が得られた検出窓の中心座標を、検出した顔の位置として算出する。このとき、顔検出手段２２０は互いに重なる検出窓については、これらのうち最大の出力値が得られた検出窓をその代表として選ぶ。こうして人物ごとに１つの顔情報を生成する。

また、顔検出手段２２０は、所定値以上の出力値が得られた識別器のうち最大の出力値が得られた識別器に対応する顔の向きを、検出した顔の向きとして算出する。顔向きは認証用画像上のｘ軸（ｘ１軸）に対する顔の角度とすることができる。或いは顔向きをｙ軸（ｙ１軸）に対する顔の角度としてもよい。或いは、顔検出手段２２０は顔向きの算出に、最大の出力値が得られた識別器の両隣の識別器の出力値を用いても良い。例えば、１５度刻みで識別器を学習しておき、３０度の識別器から最大の出力値が得られた場合、１５度の識別器の出力値と３０度の識別器の出力値の差、及び４５度の識別器の出力値と３０度の識別器の出力値の差を比較して差が小さい方の向きに差に応じた角度だけずらして顔向き（２０度など）を算出することもできる。

また、顔検出手段２２０は、識別器から得られた最大の出力値を顔向き検出の信頼度として算出する。

また、顔検出手段２２０は、所定値以上の出力値が得られた検出窓の大きさを、顔サイズとして算出する。顔サイズは検出窓の幅及び高さとすることができる。或いは顔サイズを検出窓内の画素数で表してもよい。

顔照合手段２２１は、顔検出手段２２０により検出された顔領域の画像に基づいて、監視空間に存在する人物Ｐａを照合する。すなわち、顔領域の画像を解析して得られる解析結果と、認証情報記憶部２１に記憶された通行許可者の認証情報とを照合することにより、人物Ｐａが通行許可者であるか否か判定する。この顔画像の解析及び認証情報との照合の方法としては、例えば特開２００７−２９９１８６号公報に記載された方法を用いることができる。

人物検出手段３３０は、追跡用撮影部３１によって所定時間おきに撮影された追跡用画像のそれぞれについて、当該追跡用画像の中から１又は複数の人物（第二人物）の人物像を抽出すると共に、人物像の重心位置を当該人物の位置（人物検出位置）として検出する。

具体的には、例えば人物検出手段３３０は、予め人が誰もいない状態の監視空間を撮影して得られる追跡用画像を背景画像として追跡情報記憶部３２に記憶しておき、当該背景画像と追跡用画像とを比較して差分画素を抽出する。そして、互いに隣接する差分画素を含んで構成される差分画素群のうち、所定の条件を満足する形状や所定値以上の大きさを有する差分画素群を、人を表す人物像として抽出する。また、人物検出手段３３０は、上記方法のほか、エッジ検出などの各種の画像処理を組み合わせて人物像を抽出してもよい。

人物像は、追跡用画像が撮影されたタイミングで監視空間に存在する人物の数に応じた数だけ、追跡用画像の中から抽出される。人物検出手段３３０によって検出された人物像に関する情報は追跡情報記憶部３２に記憶され、後述する追跡手段３３３による人物像の追跡処理に用いられる。

座標変換手段３３１は、認証用撮影部２０と追跡用撮影部３１のカメラパラメータ同士の関係から決定される共通座標系に、顔位置、顔向き、顔サイズ及び人物位置を変換する。共通座標系はワールド座標系とすることができ、監視空間における水平面をＸＹ平面、鉛直高さ方向をＺ軸とするワールド座標系ＸＹＺを設定する。例えば、Ｘ軸はドアＤが設けられた壁に沿う方向とし、これに直交する水平方向をＹ軸とする。また、監視空間となる部屋の天井高さをＺ＝０とする。本実施形態において座標変換手段３３１は顔位置、顔向き、顔サイズ及び人物位置をそれぞれワールド座標系のＸＹ平面（Ｚ＝０）に射影する。

ここで、認証用画像における位置座標と共通座標系における位置座標との間の対応関係、及び追跡用画像における位置座標と共通座標系における位置座標との間の対応関係は前述したカメラパラメータにより導出される。導出の規則は座標変換手段３３１のプログラムとして追跡情報記憶部３２に予め記憶させておく。

図４及び図５は顔位置、顔向き及び人物位置の関係を説明するための模式図であり、図４は認証用画像の例を示しており、図５はワールド座標系のＸＹ平面における人物等の位置関係を示している。

図４（ａ）に示す認証用画像５０には２人の人物Ｐ１，Ｐ２が写っている。人物Ｐ１，Ｐ２は互いに相手の方を向いており、認証用撮影部２０に対して顔を横に向けている。人物Ｐ１の像から顔領域５０１が検出され、その重心座標が顔位置Ｆ１と算出される。同様に人物Ｐ２の像から顔領域５０２が検出され、その重心座標が顔位置Ｆ２と算出される。人物Ｐ１，Ｐ２が顔を横に向けているため顔位置Ｆ１，Ｆ２は体の中心線から顔向きの方向にずれて検出される。すなわち顔位置Ｆ１，Ｆ２は本人の体の中心線から離れる方向にずれて検出される。そして、顔向きの方向は他人が居る場合、顔位置は当該他人の体に近づく方向にずれて検出される。

図４（ｂ）に示す認証用画像５１は２人の人物Ｐ１，Ｐ２が正面を向いているときの画像であり、対比のために認証用画像５０とは人物Ｐ１，Ｐ２の位置が同じで顔の向きだけが異なる画像を示している。この場合には人物Ｐ１について検出される顔領域５１１の重心座標である顔位置５１２、人物Ｐ２について検出される顔領域５１３の重心座標である顔位置５１４は、それぞれ体の中心線上に算出される。

認証用画像５０のｘ１−ｙ１座標系の顔位置Ｆ１，Ｆ２は、図５に示すように、ワールド座標系のＸＹ平面である共通座標系５２において、認証用撮影部２０の設置位置５２１を通るエピポーラ線ＥＰ１，ＥＰ２にそれぞれ変換される。一方、人物Ｐ１，Ｐ２が正面を向いているときの顔位置５１２，５１４はそれぞれ、当該人物の像の中心を通るエピポーラ線５２２，５２３に変換される。

つまり、共通座標系５２において、人物Ｐ２側に顔を向けた人物Ｐ１の顔位置ＥＰ１は本人Ｐ１の中心から離れ、他人Ｐ２側に角度φ１だけずれて算出される。同様に、共通座標系５２において、人物Ｐ１側に顔を向けた人物Ｐ２の顔位置ＥＰ２は本人Ｐ２の中心から離れ、他人Ｐ１側に角度φ２だけずれて算出される。

ここで、図５において人物Ｐ１，Ｐ２それぞれの人物の検出位置Ｈ１，Ｈ２は人物の像の中心を通るエピポーラ線５２２，５２３からずれている。これは、人物検出手段３３０が追跡用画像から影５２４と一体化した人物Ｐ１の人物像を抽出してしまい、人物像の重心位置Ｈ１が人物Ｐ１の本来の重心位置からずれたためである。人物Ｐ２の人物像についても、影５２５の影響で人物像の重心位置Ｈ２が人物Ｐ２の本来の重心位置からずれて算出されている。

上述のように顔向きに応じて顔位置と人物位置との位置関係が変化することは他人の顔位置と人物位置とを対応付けてしまうという誤りや、本人の顔位置と人物位置とを対応付け損ねる誤りの原因となる。また、この顔向きの変動によって顔位置がずれる傾向に、上述した影などの影響による人物位置の検出誤差や、顔位置の検出誤差及び撮影部間のキャリブレーション誤差などが複合すると、誤対応付けはさらに起こりやすくなる。そこで次に説明する対応付け手段３３２により、顔向きの変動によって顔位置がずれる傾向を考慮して誤対応付けを防止する。

対応付け手段３３２は、認証用撮影部２０（第一カメラ）及び追跡用撮影部３１（第二カメラ）のカメラパラメータから決定される共通座標系において、注目している人物（第一人物。以下、注目人物と称す。）の顔位置の周辺に、人物検出手段３３０によって当該人物が検出されると推定される推定領域（周辺領域）を設定し、人物検出手段３３０が当該推定領域にて検出した人物（第二人物）を注目人物と同一人物であると判定して注目人物に対応付ける。

この際に、対応付け手段３３２は注目人物の顔向きを参照して、推定領域を注目人物の顔位置の前方よりも後方に広く設定する。顔位置の後方に推定領域を広げることは、本人の顔位置と人物位置を対応付け損ねる誤りを起こりにくくし、顔位置の前方における推定領域を狭めることは、他人同士の顔位置と人物位置を対応付けてしまう誤りを起こりにくくする。

また、対応付け手段３３２は、注目人物の推定領域を、認証用撮影部２０からの距離に関し、顔サイズに応じて予め定められた範囲に制限するように構成することができる。これにより、他人同士の顔位置と人物位置とを対応付けてしまう誤りを防止する。

また、対応付け手段３３２は、顔向き検出の信頼度が高いほど注目人物の顔の横方向に対しての推定領域の広がりを狭く設定し、逆に当該信頼度が低いほど顔の横方向に対しての推定領域の広がりを広く設定するように構成することができる。すなわち、顔向き検出の信頼度が高いほど推定領域の推定精度は高くなることが期待でき、推定領域を狭めても本人の顔位置と人物位置とが推定領域から外れにくく、一方、推定領域を狭めることで他人同士の顔位置と人物位置を対応付けてしまう誤りが防止されるので、対応付けの精度が向上する。

例えば、対応付け手段３３２は、顔向き及びその信頼度を考慮せずに顔位置を基準として推定領域を初期設定し、当該推定領域を顔向き及びその信頼度を考慮して補正する。

図６は補正前の推定領域の例を示す共通座標系のＸＹ平面６０の模式図であり、図５にて説明した人物Ｐ１について、その人物像の存在が推定される領域を人物Ｐ１の顔位置ＥＰ１を基準として初期設定した様子を示している。認証用撮影部２０の撮影面に対する顔位置ＥＰ１の方向角をθとしたときに、θ±θ_ｍの範囲を推定領域の人物の幅方向の初期値とすることができる。θ_ｍは、例えば、顔検出手段２２０が顔を検出する平均的な距離（認証用撮影部２０から顔までの距離）を実験から求め、当該距離における標準的な人の幅の見込み角に見込み誤差を加えて予め設定し、例えば、追跡情報記憶部３２に記憶しておく。或いは、上述した平均的な距離の代わりに、検出した顔サイズから換算した顔までの距離を用いて、都度設定することもできる。或いは、顔の検出の信頼度が高いほど狭く、信頼度が低いほど広いθ_ｍを予め設定しておき、算出した信頼度に応じたθ_ｍを用いることもできる。

また、顔検出手段２２０が検出する顔サイズを用い、対応付け手段３３２は推定領域を、認証用撮影部２０からの距離に関し、顔サイズに応じて予め定められた範囲に制限することもできる。すなわち、人物Ｐ１の顔サイズに応じて初期設定の推定領域の人物奥行き方向の範囲を認証用撮影部２０から半径Ｒ_Ｌ以上Ｒ_Ｈ未満とすることができる。顔サイズとＲ_Ｌ，Ｒ_Ｈの関係は人の顔の平均的な大きさとカメラパラメータとから導出される認証用画像上での顔位置と顔サイズとの関係に顔サイズの見込み誤差を加減することによって、顔位置と顔サイズの組み合わせごとに予め設定し、例えば、追跡情報記憶部３２に記憶しておく。

以上の値を用い、対応付け手段３３２は、ＸＹ平面において、認証用撮影部２０の位置を一端とする方向角（θ＋θ_ｍ）の直線６００、方向角（θ−θ_ｍ）の直線６０１、及び認証用撮影部２０の位置を中心とする半径Ｒ_Ｌの円、半径Ｒ_Ｈの円により囲まれた領域６０２を推定領域の初期値として導出する。なお、顔サイズ及びそれに応じたＲ_Ｌ，Ｒ_Ｈを用いずに扇形の推定領域を設定することもできる。

図５に示す例に対応して設定される人物Ｐ１の推定領域の初期値６０２には図６に示すように、本人の人物位置Ｈ１が含まれているものの、他人の人物位置Ｈ２も含まれてしまい、顔位置ＥＰ１に対応する人物位置がＨ１であるかＨ２であるか特定しがたい。

図７、図８は図６に示す推定領域の初期値６０２に対応した補正後の推定領域の例を示す共通座標系のＸＹ平面の模式図である。

図７において、矢印６０５は顔位置ＥＰ１に対応して算出された人物Ｐ１の顔向きを共通座標系に変換したベクトルである。このベクトルは顔位置ＥＰ１のエピポーラ線に対して角度θ_ｆをなしている

対応付け手段３３２は人物Ｐ１の顔向きθ_ｆを参照して、人物Ｐ１の顔位置ＥＰ１の後ろ側に初期設定した方向角（θ＋θ_ｍ）の直線６００を顔向きの後方寄りにθ_ａだけ回転させて方向角（θ＋θ_ｍ＋θ_ａ）の直線６１０に補正する。補正は顔向きだけを考慮して行うこともできるが本実施形態では顔向きとその信頼度の両方を考慮して行い、θ_ａには図８に示すように、顔向きの角度θ_ｆに応じた顔の後ろ向きの成分７００に加え、顔向きの信頼度に応じた顔の側方向きの成分７０２が含まれる。よって、顔向きの信頼度をＣ_ｆとすると、θ_ａはθ_ｆ，Ｃ_ｆの関数α（θ_ｆ，Ｃ_ｆ）で与えられる。すなわちθ_ａ＝α（θ_ｆ，Ｃ_ｆ）である。ここでα≧０である。

顔位置ＥＰ１の後ろ側の直線６００に対する補正のうち後ろ向きの成分７００を用いた補正は、顔位置より後方の推定領域を広げる。これにより顔向きの変動によってずれた推定領域を人物Ｐ１の人物像側に近づけることができ、人物Ｐ１の本来の人物位置Ｈ１が推定領域に含まれる可能性を高めることができる。

側方向きの成分７０２は顔向き検出の信頼度Ｃ_ｆが高いほど大きく設定され、顔位置であるエピポーラ線に近づく方向に補正後の直線６１０を修正する。これにより顔向き検出の信頼度Ｃ_ｆが高いほど、顔の横方向に対しての推定領域の広がりを狭めることができ、他人Ｐ２の人物位置Ｈ２が推定領域に含まれる可能性を低減することができる。

エピポーラ線のずらし量を定める関数αとして、例えば、予め顔向きの角度θ_ｆ及び顔向き検出の信頼度Ｃ_ｆとエピポーラ線のずらし量との関係をテーブルとして追跡情報記憶部３２に記憶させておく。対応付け手段３３２は当該テーブルからθ_ｆ及びＣ_ｆに関連付けたαの値を読み出してθ_ａを定める。

また、対応付け手段３３２は人物Ｐ１の顔向きθ_ｆを参照して、人物Ｐ１の顔位置ＥＰ１の前方側に初期設定した方向角（θ−θ_ｍ）の直線６０１を顔向きの後方寄りにθ_ｂだけ回転させて方向角（θ−θ_ｍ＋θ_ｂ）の直線６１１に補正する。当該補正は上述の顔向きの後ろ側の場合と同様、顔向きとその信頼度の両方を考慮して行い、θ_ｂには図８に示すように、顔向きの角度θ_ｆに応じた顔の後ろ向きの成分７０１と、顔向きの信頼度に応じた顔の側方向きの成分７０３とが含まれる。よって、θ_ｂは関数β（θ_ｆ，Ｃ_ｆ）で与えられる。すなわちθ_ｂ＝β（θ_ｆ，Ｃ_ｆ）である。ここでβ≧０である。

後ろ向きの成分７０１を用いた補正は、顔位置より前方の推定領域を狭める。これにより推定領域を他人Ｐ２の人物像から遠ざけることができ、他人Ｐ２の人物位置Ｈ２を推定領域から除外する可能性を高めることができる。

側方向きの成分７０３は顔向き検出の信頼度Ｃ_ｆが高いほど大きく設定され、補正後の直線６１１は顔位置であるエピポーラ線に近づく。これにより顔向き検出の信頼度Ｃ_ｆが高いほど、顔の横方向に対しての推定領域の広がりを狭めることができ、他人Ｐ２の人物位置Ｈ２が推定領域に含まれる可能性を低減することができる。

エピポーラ線のずらし量を定める関数βとして、例えば、予め顔向きの角度θ_ｆ及び顔向き検出の信頼度Ｃ_ｆとエピポーラ線のずらし量との関係をテーブルとして追跡情報記憶部３２に記憶させておく。対応付け手段３３２は当該テーブルからθ_ｆ及びＣ_ｆに関連付けたβの値を読み出してθ_ｂを定める。

このように補正することで、図６の推定領域の初期値６０２から、図７に示す補正した推定領域６１２が得られる。この補正した推定領域６１２には、本人の人物位置Ｈ１が含まれ、且つ他人の人物位置Ｈ２を含まない。よって、初期値の推定領域６０２とは異なり、補正後の推定領域６１２では、顔位置ＥＰ１に対応する人物位置がＨ１であると正確に特定できるようになる。

また、対応付け手段３３２は、注目人物の推定領域に複数の人物位置が含まれる場合に、認証用撮影部２０から人物位置までの距離が最も近い人物を優先して注目人物に対応付ける。この処理は、認証用画像において手前の人物によって隠された後ろの人物の顔が検出されなかった場合に、他人同士の顔位置と人物位置を対応付けてしまう誤りを防止する効果がある。

図３に戻り、残りの機能ブロックを説明する。追跡手段３３３は、追跡用撮影部３１が所定時間おきに撮影した追跡用画像のそれぞれについて、人物検出手段３３０が人物像を抽出するごとに、以下に説明するような人物像の追跡処理を行う。すなわち、追跡手段３３３は、新たに撮影された追跡用画像から人物検出手段３３０によって抽出された人物像のそれぞれを、当該追跡用画像より過去の時点において撮影された追跡用画像から人物検出手段３３０によって抽出され追跡情報記憶部３２に記憶されている人物像と比較することによって、当該人物像に対応する人物の監視空間内における移動経路を追跡する。具体的には、追跡手段３３３は、新たな追跡用画像から抽出された各人物像の位置や画像特徴に関する量（例えば色ヒストグラム等）を、前回撮影された追跡用画像から抽出された人物像の位置や画像特徴に関する量と比較することによって、同じ人物を表す人物像同士を関連付ける。そして、同一人物を表す人物像として互いに関連付けられた人物像の、時系列に従って撮影された各追跡用画像内における位置を示す時系列情報を、当該人物の移動経路を示す移動経路情報として出力する。

ここで、追跡手段３３３は、対応付け手段３３２によって通行許可者のものであると特定された人物像については、他の人物像と区別するために、当該人物の移動経路情報に対して、対応する識別番号を関連付ける。具体例として、追跡手段３３３は、新たな追跡用画像から抽出された人物像のうち、前回撮影された追跡用画像内に同一人物を示す人物像が存在しないと判定された人物像については、新たに監視空間に入ってきた人物の人物像として、まず人物が不明であることを示す番号を関連付ける。これにより、追跡手段３３３により追跡対象となる監視空間内の各人物は、常に最初は通行許可者ではないものとして管理される。そして、顔認証装置２から認証信号を受信したタイミングにおいて、対応付け手段３３２によって通行許可者であると特定された人物像については、当該通行許可者の識別番号に更新する。これにより、追跡手段３３３による追跡対象となっている人物のうち、通行許可者として特定された人物については、それ以降は他の人物と区別して追跡されることとなる。

異常判定手段３３４は、追跡手段３３３が出力する監視空間内の各人物の移動経路情報に基づいて、所定の条件に合致する不正な移動がないか否かを判定する。具体例として、人物が不明であることを示す番号が関連付けられた人物が、追跡用画像内においてドアＤに対応する領域外からドアＤに対応する領域内に移動したことを示す移動経路情報が追跡手段３３３によって出力された場合、異常判定手段３３４は、不正な通行があると判定して、異常信号を出力部３４に対して出力する。

［動作例］
次に監視装置１の動作について説明する。

図９は顔認証装置２の動作の概略のフロー図である。認証用撮影部２０は、撮影した認証用画像を認証処理部２２に出力する（Ｓ１００）。認証処理部２２は顔検出手段２２０として動作し、認証用画像から顔領域を検出する（Ｓ１０１）。顔検出手段２２０は人の顔の画像を学習した識別器にて認証用画像を走査し、顔領域を検出する。

顔検出手段２２０は、ステップＳ１０１にて顔領域が検出された場合（Ｓ１０２にて「Ｙｅｓ」の場合）は処理をステップＳ１０３へと進める。この場合、顔検出手段２２０はステップＳ１０１にて検出された顔領域のそれぞれについて顔情報を生成する（Ｓ１０３）。すなわち、顔検出手段２２０は、各顔の顔位置、顔向き、顔サイズ及び顔向き検出の信頼度を算出し、これらに識別番号の初期値を加えた顔情報を生成する。

また、認証処理部２２は顔照合手段２２１として動作し、顔領域の照合を行う（Ｓ１０４）。すなわち、顔照合手段２２１はステップＳ１０１にて検出された顔領域のそれぞれを認証情報記憶部２１に記憶されている通行許可者の顔特徴量と照合し、照合一致した顔領域があれば、当該顔領域に対して生成された顔情報に、照合一致した通行許可者の識別番号を書き込む。顔照合手段２２１は、照合一致した顔領域が１以上あれば（Ｓ１０５にて「Ｙｅｓ」の場合）、各顔情報を含めた認証信号を送信部２３に出力して処理をステップＳ１０６へと進める。認証信号を入力された送信部２３は、解錠信号を生成して電気錠に出力し（Ｓ１０６）、また、顔情報を人物追跡装置３に送信する（Ｓ１０７）。

認証処理部２２はステップＳ１０７を終えると、処理をステップＳ１００に戻し、次の認証用画像についての処理に移る。なお、ステップＳ１０１にて顔領域が検出されなかった場合（Ｓ１０２にて「Ｎｏ」の場合）、及びステップＳ１０４にて、照合一致した顔領域が１つもない場合（Ｓ１０５にて「Ｎｏ」の場合）もステップＳ１００に戻る。

図１０は人物追跡装置３の動作の概略のフロー図である。追跡情報記憶部３２には、監視空間に人物が存在しない状態で取得した追跡用画像が背景画像として格納される。監視装置１が監視動作を開始すると、追跡用撮影部３１は撮影した追跡用画像を追跡処理部３３に出力する（Ｓ２００）。追跡処理部３３は人物検出手段３３０として動作し、追跡情報記憶部３２から読み出した背景画像と、追跡用撮影部３１から入力された追跡用画像とを比較して人物像を抽出し、その重心位置を人物位置として検出する（Ｓ２０１）。ステップＳ２０１にて人物像が抽出された場合（Ｓ２０２にて「Ｙｅｓ」の場合）は、追跡処理部３３は顔認証装置２にて検出された顔情報をステップＳ２０１で検出された人物の情報に結合させる情報結合処理Ｓ２０３を行う。

また、追跡処理部３３は追跡手段３０３として動作し、ステップＳ２０１で抽出された人物像の追跡処理を行う（Ｓ２０４）。この追跡処理は、具体的には、ステップＳ２０１で抽出された人物像のそれぞれについて、前回までに抽出された人物像と同一人物を示す人物像か否かの判定を行い、判定結果に応じて、新たに抽出された人物像の位置を既に追跡情報記憶部３２に記録されている各人物の移動経路情報に追加する処理である。

追跡処理部３３は異常判定手段３３４として動作し、ステップＳ２０４の処理により得られる移動経路情報を参照して、顔認証装置２による認証を受けていない人物がドアＤを通行しようとする不正通行がないか判定する（Ｓ２０５）。判定の結果、不正通行が検知された場合（Ｓ２０５にて「Ｙｅｓ」の場合）、異常判定手段３３４は出力部３４に対して異常信号を出力する（Ｓ２０６）。

追跡処理部３３はステップＳ２０６を終えると処理をステップＳ２００に戻し、次の追跡用画像についての処理に移る。なお、ステップＳ２０１にて人物像が抽出されなかった場合（Ｓ２０２にて「Ｎｏ」の場合）、及び不正通行が検知されない場合（Ｓ２０５にて「Ｎｏ」の場合）もステップＳ２００に戻る。

図１１及び図１２は情報結合処理Ｓ２０３の概略のフロー図である。追跡処理部３３は受信部３０が顔認証装置２からの顔情報を新たに受信しているか否か判定する（Ｓ３００）。受信部３０にて顔情報を受信している場合（Ｓ３００にて「Ｙｅｓ」の場合）、処理対象となっている追跡用画像は、顔認証装置２による認証が行われたタイミングで撮影された画像であり、その中には通行許可者が映っていると判断される。その場合、追跡処理部３３はステップＳ３０１以降の処理を実行する。一方、顔情報を受信していない場合（Ｓ３００にて「Ｎｏ」の場合）は、追跡用画像内に新たに通行許可者は映っていないと判断されるため、ステップＳ３０１〜Ｓ３１１をスキップして処理をステップＳ２０４に進める。

追跡処理部３３は座標変換手段３３１として動作し、顔情報と人物位置とを共通座標系に変換する（Ｓ３０１）。すなわち、座標変換手段３３１は、カメラパラメータを用いて、受信した顔情報に含まれる顔位置、顔向き及び顔サイズ、並びにステップＳ２０１にて検出した人物位置を共通座標系に変換する。前述したように、座標変換後の顔位置は、認証用撮影部２０の設置位置を原点とし、その撮影面に対し角度θをなすエピポーラ線となる。また、座標変換後の顔向きは当該エピポーラ線に対する角度θ_ｆで表され、座標変換後の顔サイズは実寸換算した顔領域の幅ｗ及び高さｈで定義する。なお、座標変換手段３３１は複数人物の顔情報を受信していれば各人物の顔情報を座標変換し、複数人物の人物位置を検出していれば各人物の人物位置を座標変換する。

次に追跡処理部３３は対応付け手段３３２として動作する。対応付け手段３３２は、座標変換した顔情報それぞれに対して、顔サイズ（ｗ，ｈ）に基づき、推定領域の奥行き方向の距離範囲を定める下限値Ｒ_Ｌ及び上限値Ｒ_Ｈを算出する（Ｓ３０２）。

また、対応付け手段３３２は、座標変換した顔情報それぞれに対して、顔向きθ_ｆ及び顔向き検出の信頼度Ｃ_ｆに基づき、推定領域の補正量θ_ａ，θ_ｂを算出する（Ｓ３０３）。

対応付け手段３３２は、ステップＳ３０１にて座標変換した顔位置、ステップＳ３０２にて算出した距離範囲及びステップＳ３０３にて算出した補正量から、共通座標系において各顔情報に対応する人物位置が検出される領域を推定する（Ｓ３０４）。すなわち、それぞれが認証用撮影部２０の設置位置を原点とし、その撮影面に対し角度（θ＋θ_ｍ＋θ_ａ），（θ−θ_ｍ＋θ_ｂ）をなす２本の直線に挟まれる扇形領域のうち、認証用撮影部２０の設置位置を中心とする半径Ｒ_Ｌ以上Ｒ_Ｈ未満の領域が推定領域として算出される。なお、推定領域は、２本のエピポーラ線によって形成される２つの扇形領域のうち、中心角が２π以下の方に設定される。

対応付け手段３３２は顔情報を順次処理するループ処理Ｓ３０５〜Ｓ３１１を開始する。対応付け手段３３２は、顔サイズの降順にて顔情報を順次、注目顔情報に設定する（Ｓ３０５）。顔サイズの降順とすることで、認証用撮影部２０に近い人物から対応付けが行われることが期待できる。対応付け手段３３２は、ステップＳ３０１にて座標変換した人物位置を注目顔情報の推定領域と比較して、当該推定領域に含まれる人物位置を選出する（Ｓ３０６）。その際、既に別の顔情報との対応付けが確定している人物位置は除外して選出を行う。

対応付け手段３３２はステップＳ３０６にて選出された人物位置の数を確認する。選出された人物位置が０であれば（Ｓ３０７にて「Ｙｅｓ」の場合）、人物追跡装置３が現フレームにおいて注目顔情報と対応する人物を検出していないとして対応付けをスキップし、処理をステップＳ３１１へと進める。

対応付け手段３３２は、選出された人物位置が１つであれば（Ｓ３０７にて「Ｎｏ」且つＳ３０８にて「Ｙｅｓ」の場合）、注目顔情報を当該人物位置が示す人物情報と対応付ける（Ｓ３０９）。すなわち、注目顔情報に含まれる人物の識別番号を当該人物情報に書き込む。

対応付け手段３３２は、選出された人物位置が複数であれば（Ｓ３０７にて「Ｎｏ」且つＳ３０８にて「Ｎｏ」の場合）、そのうち人物位置が認証用撮影部２０に最も近い人物情報を注目顔情報と対応付ける（Ｓ３１０）。すなわち、対応付け手段３３２は、認証用撮影部２０の設置位置から当該人物位置それぞれまでの距離を算出して算出した距離同士を比較し、最小距離の人物位置が示す人物情報を選出する。そして、対応付け手段３３２は、注目顔情報に含まれる人物の識別番号を選出した人物情報に書き込む。

注目顔情報について人物情報との対応付け処理Ｓ３０９，Ｓ３１０が完了した場合、又は対応付けをスキップした場合、当該注目顔情報についての処理が終わり、対応付け手段３３２は全顔情報を処理し終えていなければ（Ｓ３１１にて「Ｎｏ」の場合）、処理をステップＳ３０５に戻し、次の顔情報を処理する。全顔情報の処理を終えると（Ｓ３１１にて「Ｙｅｓ」の場合）、処理を図１０のステップＳ２０４へと進める。

［変形例］
（１）顔情報の検出
上述の実施形態では顔情報を、顔の向きごとに学習した複数の識別器を用いて認証用画像から検出する例を示したが、顔情報の検出はその他の手法で行うこともできる。

例えば、Regression Forest法を用いて顔向きの角度を連続変数で得ることができる。

また、識別器を用いずに、認証用画像における目、鼻及び口を含む肌色領域を顔領域として検出し、当該顔領域から顔情報を抽出してもよい。例えば、顔向きは、右目と鼻の間の距離と、左目と鼻の間の距離との比率から算出できる。また、肌色領域の重心座標、或いは外接矩形の中心座標を顔位置として算出し、また肌色領域の外接矩形の幅及び高さを顔サイズとして算出できる。

（２）推定領域の設定
図１３は顔位置に基づいて設定した推定領域の初期値を補正する方法の他の例を示す模式図であり、図６，図７等と同様の共通座標系のＸＹ平面の模式図である。図１３には図６に示した初期値の推定領域６０２を補正する例を示している。この方法では、初期値の推定領域６０２を、ベクトル８００で示すように、顔向きの後ろ方向に平行移動させる。移動量は例えば平均的な人の頭部１つ分を円で近似したときの直径とすることができる。

図１４は顔位置に基づいて推定領域を設定する方法の他の例を示す模式図であり、図６，図７等と同様の共通座標系のＸＹ平面の模式図である。図１４には図６に示した人物Ｐ１の顔位置のエピポーラ線ＥＰ１に対応する推定領域を設定する例を示している。この方法では、認証用画像から検出された顔向きの後ろ方向に顔位置を変位させ、変位させた顔位置の周囲の所定範囲を推定領域に設定する。図１４に示す例では、座標変換後の顔位置であるエピポーラ線ＥＰ１を顔向きθ_ｆの後ろ方向にθ_ｃだけ回転させ、回転後のエピポーラ線ＥＰ１’から±θ_ｍの範囲に推定領域９００を設定する。変位量θ_ｃは平均的な人の頭部１つ分に対する見込み角度とすることができる。

（３）共通座標系
追跡用画像の座標系（追跡用撮影部３１の撮影面の座標系）を共通座標系としてもよい。

１監視装置、２顔認証装置、３人物追跡装置、２０認証用撮影部、２１認証情報記憶部、２２認証処理部、２３送信部、３０受信部、３１追跡用撮影部、３２追跡情報記憶部、３３追跡処理部、３４出力部、２２０顔検出手段、２２１顔照合手段、３３０人物検出手段、３３１座標変換手段、３３２対応付け手段、３３３追跡手段、３３４異常判定手段。

Claims

第一カメラにより所定の空間を撮影した画像から第一人物の顔を検出して顔位置及び顔向きを求める顔検出手段と、
前記第一カメラとは設置位置が異なる第二カメラにより前記空間を撮影した画像から第二人物を検出する人物検出手段と、
前記顔位置の周辺領域を設定し、当該周辺領域にて検出された前記第二人物を前記第一人物と同一人物であると判定する対応付け手段と、
を有し、
前記対応付け手段は、前記周辺領域を前記顔位置の前方よりも後方に広く設定すること、を特徴とする人物検出装置
請求項１に記載の人物検出装置において、
前記顔検出手段は、前記顔向きの検出の信頼度をさらに算出し、
前記対応付け手段は、前記信頼度が高いほど、前記第一人物の前記顔の横方向に対しての前記周辺領域の広がりを狭く設定すること、
を特徴とする人物検出装置。
請求項１又は請求項２に記載の人物検出装置において、
前記顔検出手段は、さらに前記顔の大きさを検出し、
前記対応付け手段は、前記周辺領域を、前記第一カメラからの距離に関し、前記顔の大きさに応じて予め定められた範囲に制限すること、
を特徴とする人物検出装置。
請求項１から請求項３のいずれか１つに記載の人物検出装置において、
前記対応付け手段は、前記周辺領域に複数の前記第二人物が含まれる場合に、前記第一カメラからの距離が近い前記第二人物を優先して前記第一人物に対応付けること、を特徴とする人物検出装置。