JP4241763B2

JP4241763B2 - 人物認識装置及びその方法

Info

Publication number: JP4241763B2
Application number: JP2006147850A
Authority: JP
Inventors: 正志西山; 真由美湯浅; 智行柴田; 智和若杉; 修山口
Original assignee: Toshiba Corp
Current assignee: Toshiba Corp
Priority date: 2006-05-29
Filing date: 2006-05-29
Publication date: 2009-03-18
Anticipated expiration: 2026-05-29
Also published as: US8116534B2; US20070297652A1; JP2007317062A

Description

複数のカメラを用いて、複数の歩行者の顔を撮影した動画像から個人識別を行う人物認識装置及びその方法に関するものである。

複数のカメラで複数の歩行者の個人識別を行うため、動画像から検出された顔画像を各カメラにおいて人物毎に追跡処理し、獲得された顔画像の集合からベストショットの顔画像を選択する方法が特許文献１で提案されている。

この方法においては、ベストショットを選択するために顔の大きさ、向き、照明条件など顔画像の状態を推定する。
特開２００５−２２７９５７公報

上記方法では、歩行者が自由に通過する場合、カメラと顔が正対していない場合が発生し、必ずしもベストショットの条件に達する顔画像が得られるとは限らない。また、追跡処理を行うためには、複数の人物に対して検出と追跡の状態遷移と顔の隠れという難しい問題点を考える必要がある。そのため、特許文献１のように、一定時間内に一定範囲に顔画像が存在するという条件だけでは解決できない。さらに、カメラのフレームレートが低い場合、追跡処理が破綻する場合が発生する。

そこで、本発明では、上記問題点に鑑み、正面向きの顔画像が獲得できなくとも、複数のカメラから獲得された複数の人物の認識を行うことができる人物認識装置及びその方法を提供する。

本発明は、複数台のカメラで、複数の人物を時系列に撮影して、前記各人物の個人識別を行う人物認識装置において、前記人物毎の時系列の顔画像を前記カメラ毎に獲得する顔画像獲得手段と、前記カメラ毎に前記複数の人物の顔画像を、人物毎に対応付けした断片画像列に加えるものであって、前記獲得した顔画像と前記断片画像に属する最新の顔画像との間の単純類似度を、前記獲得した顔画像の獲得時間と前記最新の顔画像の獲得時間との差分時間で割った類似度を求め、前記獲得した画像と最も前記類似度が高い前記人物の前記断片画像に加えるカメラ内顔画像対応付け手段と、前記カメラ毎の断片画像列を前記複数のカメラ間で人物毎に対応付けして、前記人物毎の統合画像列を生成するカメラ間断片画像列対応付け手段と、個人識別を行うために予め獲得された人物の顔画像に関する辞書画像列を格納する辞書画像列格納手段と、前記人物毎の統合画像列と前記辞書画像列とを比較して、前記人物を識別する個人識別手段と、を具備することを特徴とする人物認識装置である。

本発明によれば、人物の正面向きの顔画像が獲得できなくとも、入力の段階で顔の見え方の変動を人物毎に獲得できるため、画像列を用いた識別方法の効果が発揮され、高い識別性能を得ることができる。

（実施形態の概念）
具体的な実施形態を述べる前に、その概念について説明する。

本実施形態では、１枚の顔画像だけを入力に用いるのではなく、複数のカメラから獲得された同一人物の時系列の顔画像を一つの画像列、すなわち、動画像として統合し、顔の見え方の変動を獲得した上で個人識別を行う。

例えば、複数のカメラで複数の歩行者を図６のように同時に捉え照合を行う場合、同時刻に同じ場所を歩く人物間での顔画像の対応付け問題に帰着できる。そこで、カメラ内とカメラ間での顔の対応付けを、画像間のパターンマッチングに基づく方法で行う。図７のように、最初に各カメラにおいて人物毎に対応付けることで断片動画像（すなわち、断片画像列）を生成し、次に、カメラ間において断片動画像を対応付ける。このような対応付けは、選択された１枚の顔画像で個人識別を行う場合に比べて、追跡処理を必要とせず、図８のように、照明、顔の向き、特に人数の影響を抑えた上で処理することができる。

本発明の各実施形態では、最初に各カメラにおいて顔画像を対応付け、断片動画像を生成する。

次に、カメラ間で断片動画像を対応付けし、個人識別で用いる統合動画像（すなわち、統合画像列）を生成する。

断片動画像X_ｌを式（１）で定義する。

ここで、ｘは１枚の顔画像、Ｍ_１は顔画像に対してラベルを返す関数、ｌは断片動画像に付けられたラベル、Ｎは獲得された顔画像の枚数を表す。関数Ｍ_１については第１の実施形態で述べる。次に、統合動画像Ｘを式（２）で定義する。

ここで、Ｍ_２は断片動画像に対してラベルを返す関数、ｋは統合された動画像に付けられたラベル、Ｍは獲得された断片動画像の個数を表す。関数Ｍ_２については第１の実施形態で述べる。図９に、３台のカメラの下で、二人の人物画歩行したときの段階的に対応付けされる流れを示す。

以下では、第１の実施形態として、各カメラにおいて顔画像を人物毎に対応付けし断片動画像を生成し、次にカメラ間で断片動画像を対応付けて個人識別を行う装置について述べる。

第２の実施形態として、各カメラにおいて断片動画像を対応付ける処理を第１の実施形態に加えた装置について述べる。

第３の実施形態として、性別などの人物属性を抽出する処理を第１の実施形態に加えた装置について述べる。

第４の実施形態として、どのカメラの前を通過したかという歩行者の行動履歴を残す処理を第１の実施形態に加えた装置について述べる。

（第１の実施形態）
以下、本発明の第１の実施形態の人物認識装置１００について図１と図２に基づいて説明する。本実施形態の人物認識装置１００では、図６に示すように、廊下に複数台（例えば、３台）のカメラを設置し、これらカメラで１箇所を監視する。そして、この監視範囲を複数の歩行者（例えば、男性と女性が１人づつ）が通過する場合に、これら歩行者の個人識別を行うものである。そのために、図７の丸数字１に示すように、３台のカメラにおいて顔画像を人物毎にカメラ内で対応付けし断片動画像をそれぞれ生成する。次に、図７の丸数字２に示すように、カメラ間で断片動画像を対応付ける。最後に、図７の丸数字３に示すように、個人識別を行う。

（１）人物認識装置１００の構成
図１は、人物認識装置１００の構成を示す。

人物認識装置１００は、顔画像獲得部１０１、カメラ内の顔画像の対応付けを行う顔画像対応付け部１０２、カメラ間の顔画像の対応付けを行う断片動画像対応付け部１０３、個人識別部１０４、辞書動画像格納部１０５からなる。これら各部１０１〜１０５の機能は、コンピュータに記憶されたプログラムによって実現できる。

（２）人物認識装置１００の処理
図２は、人物認識装置１００の処理のフローチャートを示す。

（２−１）顔画像獲得部１０１
顔画像獲得部１０１は、カメラ（例えば、ビデオカメラ）から出力された時系列の画像から顔領域を検出し、正規化した時系列の顔画像ｘを生成する（図２のステップ２０１）。なお、顔画像獲得部１０１はカメラの個数だけ存在する。

正規化した時系列の顔画像ｘを生成することで、識別に有効な顔画像の解像度、カメラ位置の違いによる相対的な顔向きの変化、歩行による相対的な照明条件変化の問題を緩和できる。このため、例えば、（ｉ）一定以上の解像度を持つ顔領域に対して顔の特徴点を検出し、（ｉｉ）３次元形状モデルを用いて顔向き正規化を適用し、（ｉｉｉ）照明条件に影響されない拡散反射率の比を抽出する照明正規化を適用する。（ｉ）では、例えば、カメラから獲得された画像に対して顔検出を行い、一定の大きさ以上であれば瞳や鼻腔などの顔の特徴点を検出する。（ｉｉ）では、例えば、検出された特徴点と３次元の平均顔形状上の特徴点とを対応付けてから、顔の向きを正面へ補正する。（ｉｉｉ）では、顔向きが補正された画像に対して、例えば、各画素の照明条件や反射特性の違いを考慮して重み付きガウシアンフィルタに与える重みを決定し、フィルタ処理を適用することで拡散反射率の比を抽出する。

ここで「照明条件」とは、照明の向き、照明の明るさ（すなわち、照度）、照明の種類（照明が点光源、線光源、または、面光源）を意味する。

（２−２）顔画像対応付け部１０２
顔画像対応付け部１０２は、顔画像獲得部１０１から出力された現時刻の顔画像ｘを、現時刻までに蓄積されたカメラ内の断片動画像と対応付け、新たな断片動画像を生成する（図２のステップ２０２）。なお、顔画像対応付け部１０２はカメラの個数だけ存在する。

これらカメラ内の対応付けを行うために、顔画像ｘが獲得される毎に関数Ｍ_１でラベルを判定する。同じラベルをもつ断片動画像Ｘに加える。一定の時間Ｔ１以上新たな顔画像が追加されなかった断片動画像Ｘは通過した人物と判定し、カメラ間の断片動画像対応付け部１０３へ出力される（図２のステップ２０３）。

単純類似度は、Ｓ_{ｓｉｍｐｌｅ}＝ｃｏｓ^２θで定義される。θは、顔画像をラスタースキャンすることで変換されたベクトル同士のなす角度を表す。他の方法として、断片動画像から生成した部分空間を用いた部分空間法を適用してもよい。

関数Ｍ_１は、閾値Ｓ１を越え最も高い類似度が算出された断片動画像のラベルを返す。また、算出された全ての類似度がＳ１未満の場合、新たな人物が現れたと判定し、新たなラベルを返す。対応付ける断片動画像が１個も蓄積されていない場合も新たなラベルを返す。

（２−３）断片動画像対応付け部１０３
断片動画像対応付け部１０３は、カメラ内の顔画像対応付け部１０２から出力された断片動画像Ｘと、現時刻までに蓄積された各カメラの断片動画像をカメラ間で対応付け、統合動画像を生成する（図２のステップ２０４）。

これらカメラ間の対応付けを行うために、Ｘのラベルを関数Ｍ_２で判定する。同じラベルをもつ断片的な動画像Ｘ，Ｘ´を統合し、新たな断片動画像を生成する。一定の時間Ｔ２を経過した断片動画像は対応付けが終了したと判断し、統合動画像Ｘとして個人識別部１０４へ出力する（図２のステップ２０５）。

関数Ｍ_２は、断片動画像間の類似度Ｓ´でラベルを決定する。Ｓ´を算出するために、例えば、動画像同士を比較できる直交相互部分空間法（ＯＭＳＭ：ＯｒｔｈｏｇｏｎａｌＭｕｔｕａｌＳｕｂｓｐａｃｅＭｅｔｈｏｄ）を用いる（特開２００５−１４１４３７公報参照）。ＯＭＳＭは、相互部分空間法の前処理として、人物間における顔の見え方変動の差を強調する線形変換Ｏを用いる。ＯＭＳＭを適用するために、Ｘに対して主成分分析を適用し部分空間を生成する。Ｏで線形変換された二つの部分空間をＰ，Ｑとすると、ＰとＱとの間の類似度Ｓは、正準角と呼ばれる２つの部分空間がなす角度θにより式（４）で決定される。

Ｓ´＝ｃｏｓ^２θ （４）

閾値Ｓ２を越え最も高いＳ´が算出された断片動画像のラベルを返す。また、算出された全てのＳ´がＳ２未満の場合は、新たなラベルを返す。

（２−４）個人識別部１０４
個人識別部１０４は、カメラ間の断片動画像対応付け部１０３から出力された統合動画像Ｘと辞書動画像格納部１０６に格納されている各人物の辞書動画像（すなわち、辞書画像列）とを、ＯＭＳＭを用いて比較し、個人識別を行う（図２のステップ２０６）。

（３）効果
人物認識装置１００は、画像間のパターンマッチングに基づく顔認識の方法のみで行う。これは、厳密なカメラキャリブレーションを行い、人物の３次元位置を追跡し対応付けを行う従来方法と比べて、キャリブレーションが必要ないためシステムを導入するための時間や費用を抑えることができる。

また、本実施形態では、位置情報を用いず画像間のパターンマッチングのみで対応付けを行うため低フレームレートのカメラにも対応できる。

（第２の実施形態）
以下、本発明の第２の実施形態の人物認識装置３００について図３に基づいて説明する。本実施形態は、各カメラにおいて断片動画像を対応付ける処理を第１の実施形態に加えたものである。同一人物であるにも関わらず、顔の見え方の変動に影響され対応付けが失敗し、同一カメラ内で複数の断片動画像が発生する場合がある。そのような発生を防止するために、この断片動画像をカメラ間の対応付けの前にカメラ内で対応付けることにある。

図３に人物認識装置３００の構成を示す。

人物認識装置３００は、顔画像獲得部３０１、カメラ内の顔画像対応付け部３０２、カメラ内の断片動画像対応付け部３０３、カメラ間の断片動画像対応付け部３０４、個人識別部３０５、辞書動画像格納部３０６からなる。

なお、顔画像獲得部３０１は顔画像獲得部１０１、カメラ間の断片動画像対応付け部３０４はカメラ間の断片動画像対応付け部１０３、個人識別部３０５は個人識別部１０４、辞書動画像格納部３０６は辞書動画像格納部１０５と同じ処理を行う。

顔画像対応付け部３０２は、顔画像対応付け部１０２と同じ処理を行うが、生成された断片動画像Ｘの出力先が異なる。一定の時間Ｔ１以上新たな顔画像が追加されなかったＸは、カメラ内の断片動画像対応付け部３０３へ出力される。

カメラ内の断片動画像対応付け部３０３は、カメラ内の顔画像対応付け部３０２から出力された断片動画像Ｘと、現時刻までに蓄積された断片動画像を同一カメラ内で対応付け、断片動画像を更新する。この対応付けに用いられるラベルを返す関数は、Ｍ_２と同じ枠組みを用いればよい。同一人物の分かれた断片動画像をカメラ内で先に対応付けることで、その後に続くカメラ間の対応付けの性能が向上し、最終的な識別性能が向上する。

（第３の実施形態）
以下、本発明の第３の実施形態の人物認識装置４００について図４に基づいて説明する。本実施形態は、性別など人物属性を抽出する処理を第１の実施形態に加えた装置について述べる。この処理の目的は、顔画像を辞書としてシステムに登録していない歩行者が通過した場合に、どのような属性（例えば、性別、年齢）をもつ人物であったかの履歴を残すことにある。

図４に人物認識装置４００の構成を示す。

人物認識装置４００は、顔画像獲得部４０１、カメラ内の顔画像対応付け部４０２、カメラ間の断片動画像対応付け部４０３、個人識別部４０４、辞書動画像格納部４０５、属性判定部４０６、人物属性検索部４０７からなる。

なお、顔画像獲得部４０１は、顔画像獲得部１０１、カメラ内の顔画像対応付け部４０２はカメラ内の顔画像対応付け部１０２、カメラ間の断片動画像対応付け部４０３はカメラ間の断片動画像対応付け部１０３、個人識別部４０４は個人識別部１０４、辞書動画像格納部４０５は辞書動画像格納部１０５と同じ処理を行う。

属性判定部４０６は、カメラ間の断片動画像対応付け部１０３から出力された統合動画像を用いて属性の判定し、統合動画像の属性情報を記録する。例えば、性別や年代を見分ける場合、男性の顔画像、女性の顔画像からそれぞれ辞書を作成し２クラスの識別を行う。その方法として例えば部分空間法やサポートベクタマシンを用いる。他の属性として、眼鏡の有無も犯罪捜査などに役立つと考えられる。このため、眼鏡の鼻当て付近を拡大した画像を用いて性別判定と同様の方法を用いて識別する。

人物属性検索部４０７は、前記属性判定部４０６で記録された属性情報を用いて、カメラが監視している場所をどのような人物が通過したかを検索する。例えば、時間帯と性別の条件を入力することで、条件に対応する歩行者を一覧表示することが考えられる。

（第４の実施形態）
以下、本発明の第４の実施形態の人物認識装置５００について図５に基づいて説明する。本実施形態は、歩行者がどのカメラの前を通過したかという歩行者の行動履歴を残す処理を第１の実施形態に加えた装置について述べる。

図６のシステム構成では、１ケ所を複数カメラで監視していたが、本実施形態では、別々の場所にカメラを配置しても適用できる。すなわち、顔画像に獲得された時の時間とカメラ番号を付加し、統合動画像に含まれる顔画像を検索することで行動履歴を残す。また、個人識別できなかった人物についても同様に行動履歴を残すことができる。

図５に人物認識装置５００の構成を示す。

人物認識装置５００は、顔画像獲得部５０１、カメラ内の顔画像対応付け部５０２、カメラ間の断片動画像対応付け部５０３、個人識別部５０４、辞書動画像格納部５０５、行動履歴抽出部５０６、行動履歴検索部５０７からなる。

なお、顔画像獲得部５０１は顔画像獲得部１０１、カメラ内の顔画像対応付け部５０２はカメラ内の顔画像対応付け部１０２、カメラ間の断片動画像対応付け部５０３はカメラ間の断片動画像対応付け部１０３、個人識別部５０４は個人識別部１０４、辞書動画像格納部５０５は辞書動画像格納部１０５と同じ処理を行う。但し、全ての顔画像に、獲得された時のカメラ番号と時間を付加する。

行動履歴抽出部５０６では、カメラ間の断片動画像対応付け部５０３から出力された統合動画像に含まれる顔画像のカメラ番号と時間を基に、その統合動画像に対応する人物の行動履歴を抽出し、統合動画像に対応する歩行者の行動履歴を記憶する。

行動履歴検索部５０７では、前記行動履歴抽出部５０６で記録された歩行者の行動履歴を検索する。一例として、カメラが配置されている場所を含めた建物の平面図を予め入力しておき、ある時刻にどのような人物が存在していたかを可視化することが考えられる。

（変更例）
本発明は上記各実施形態に限らず、その主旨を逸脱しない限り種々に変更することができる。

本発明の第１の実施形態の人物認識装置１００の構成図である。歩行者認識の流れを表す図である。第２の実施形態の人物認識装置３００の構成図である。第３の実施形態の人物認識装置４００の構成図である。第４の実施形態の人物認識装置５００の構成図である。第１の実施形態における複数のカメラを用いた複数の歩行者の認識の概念図である。第１の実施形態における概念図である。対応付けと個人識別の難しさの比較を表す図である。第１の実施形態における３台のカメラの下で、二人の人物が歩行したときの段階的に対応付けされる流れを示す図である。

符号の説明

１０１顔画像獲得部
１０２カメラ内の顔画像対応付け部
１０３カメラ間の断片動画像対応付け部
１０４個人識別部
１０５辞書動画像格納部

Claims

複数台のカメラで、複数の人物を時系列に撮影して、前記各人物の個人識別を行う人物認識装置において、
前記人物毎の時系列の顔画像を前記カメラ毎に獲得する顔画像獲得手段と、
前記カメラ毎に前記複数の人物の顔画像を、人物毎に対応付けした断片画像列に加えるものであって、前記獲得した顔画像と前記断片画像に属する最新の顔画像との間の単純類似度を、前記獲得した顔画像の獲得時間と前記最新の顔画像の獲得時間との差分時間で割った類似度を求め、前記獲得した画像と最も前記類似度が高い前記人物の前記断片画像に加えるカメラ内顔画像対応付け手段と、
前記カメラ毎の断片画像列を前記複数のカメラ間で人物毎に対応付けして、前記人物毎の統合画像列を生成するカメラ間断片画像列対応付け手段と、
個人識別を行うために予め獲得された人物の顔画像に関する辞書画像列を格納する辞書画像列格納手段と、
前記人物毎の統合画像列と前記辞書画像列とを比較して、前記人物を識別する個人識別手段と、
を具備することを特徴とする人物認識装置。
前記カメラ間断片画像列対応付け手段は、前記顔画像間のパターンマッチングで前記対応付けをそれぞれ行う
ことを特徴とする請求項１記載の人物認識装置。
前記顔画像獲得手段は、前記顔画像における顔の大きさ、顔向き、または、照明条件を正規化して、正規化した顔画像を生成する
ことを特徴とする請求項２記載の人物認識装置。
前記顔画像に時間情報が付加され、
前記カメラ間の断片画像列対応付け手段は、この時間情報に基づいて、新たに獲得された断片画像列とこれまで蓄積された断片画像列とを、前記人物毎に対応付けする
ことを特徴とする請求項２記載の人物認識装置。
前記カメラ内顔画像対応付け手段は、前記複数の人物の顔画像を人物毎に対応付けて断片画像列を生成した後、さらに、これら生成した人物毎の断片画像列の間で類似度が高い断片画像列を一人の人物の断片画像列として対応付ける
ことを特徴とする請求項１記載の人物認識装置。
前記統合画像列を用いて前記人物の属性情報を抽出して記憶する属性判定手段と、
前記属性判定手段に記憶されている属性情報を検索する人物属性探索手段と、
を具備したことを特徴とする請求項１記載の人物認識装置。
前記統合画像列を用いて前記人物の行動履歴を抽出して記憶する行動履歴抽出手段と、
前記行動履歴抽出手段に記憶されている行動履歴を検索する行動履歴検索手段と、
を具備したことを特徴とする請求項１記載の人物認識装置。
複数台のカメラで、複数の人物を時系列に撮影して、前記各人物の個人識別を行う人物認識方法において、
前記人物毎の時系列の顔画像を前記カメラ毎に獲得する顔画像獲得ステップと、
前記カメラ毎に前記複数の人物の顔画像を、人物毎に対応付けした断片画像列に加えるものであって、前記獲得した顔画像と前記断片画像に属する最新の顔画像との間の単純類似度を、前記獲得した顔画像の獲得時間と前記最新の顔画像の獲得時間との差分時間で割った類似度を求め、前記獲得した画像と最も前記類似度が高い前記人物の前記断片画像に加えるカメラ内顔画像対応付けステップと、
前記カメラ毎の断片画像列を前記複数のカメラ間で人物毎に対応付けして、前記人物毎の統合画像列を生成するカメラ間断片画像列対応付け手段と、
個人識別を行うために予め獲得された人物の顔画像に関する辞書画像列を格納する辞書画像列格納ステップと、
前記人物毎の統合画像列と前記辞書画像列とを比較して、前記人物を識別する個人識別ステップと、
ことを特徴とする人物認識方法。
複数台のカメラで、複数の人物を時系列に撮影して、前記各人物の個人識別をコンピュータによって行う人物認識プログラムにおいて、
前記人物毎の時系列の顔画像を前記カメラ毎に獲得する顔画像獲得機能と、
前記カメラ毎に前記複数の人物の顔画像を、人物毎に対応付けした断片画像列に加えるものであって、前記獲得した顔画像と前記断片画像に属する最新の顔画像との間の単純類似度を、前記獲得した顔画像の獲得時間と前記最新の顔画像の獲得時間との差分時間で割った類似度を求め、前記獲得した画像と最も前記類似度が高い前記人物の前記断片画像に加えるカメラ内顔画像対応付け機能と、
個人識別を行うために予め獲得された人物の顔画像に関する辞書画像列を格納する辞書画像列格納機能と、
前記人物毎の統合画像列と前記辞書画像列とを比較して、前記人物を識別する個人識別機能と、
をコンピュータに実現させるための人物認識プログラム。