JP5925557B2

JP5925557B2 - 画像照合装置

Info

Publication number: JP5925557B2
Application number: JP2012080576A
Authority: JP
Inventors: 陽介村井
Original assignee: Secom Co Ltd
Current assignee: Secom Co Ltd
Priority date: 2012-03-30
Filing date: 2012-03-30
Publication date: 2016-05-25
Anticipated expiration: 2032-03-30
Also published as: JP2013210844A

Description

本発明は、画像それぞれに撮像された物体像が同一の対象物体のものであるか照合する画像照合装置に関する。

不審人物の足跡を追う目的等で、異なる場所に設置された監視カメラにて撮像した映像から同一人物の映像を検索することを要求される場合がある。例えば、建物２階の映像で確認された不審人物がいつ入館したかを特定するために、当該建物入口の映像を検索することが要求される。

移動物体を追跡する画像処理技術によれば、人物位置の連続性を利用して同一人物が映った画像を特定することができる。しかし、監視カメラは設置コスト等の理由から離散的に設置されることが多く、離れた監視カメラの間では人物位置の連続性が利用困難となる。そのため異なる監視カメラで追跡した人物の画像を服装などの色や色の配置の特徴で照合することになる。

このように、異なる監視カメラで撮像された人物の照合を行う場合、照明条件の違いにより生じる色ずれが本人不一致の原因となる。

そのために、従来、各カメラで共通の被写体を撮影してカメラ間で被写体画像の色分布を一致させて照明条件の違いを補正したり（特許文献１）、各カメラで多数の人物を撮像して人物の画像の平均的な色特性をカメラ間で一致させて照明条件の違いを補正していた（非特許文献１）。

特開２００７−１９７１３号公報

OmarJaved, Khurram Shafique, Zeeshan Rasheed, Mubarak Shah, "Modeling inter-camera space-time andappearance relationships for tracking across non-overlapping views", Computer Vision and Image Understanding, Vol. 109, Issue 2, pp. 146-162, Feb, 2008.

しかしながら、照明条件は、同一監視カメラの視野内であっても場所によって異なり（例えば視野内の日向と日陰）、また時々刻々と変化する。そのため従来技術のようにカメラ単位で予め照明条件の違いを補正しても、人物位置や撮像時刻により色ずれが生じて照合精度が十分に上がらなかった。

また、個人個人の服装は多様であるため、従来技術のように特定の人物の色特性又は多数の人物の平均的な色特性で予め照明条件の違いを補正しても、補正に用いなかった色の服を着た人物に対して色ずれが生じ、照合精度が十分に上がらなかった。さらに、全ての監視カメラについて予め多数の人物の画像を収集することは労力やコストの面で困難であった。

なお、これら照明条件の問題は、異なる監視カメラで撮像された対象物の照合で生じるほかに、監視カメラの視野から一旦外れた対象物が同一監視カメラの視野に再登場する場合にも生じる。

本発明は上記課題を鑑みてなされたものであり、個体ごとの色特性の違いに起因した色ずれによる照合精度低下を回避しつつ、場所や時刻により変化する照明条件を補正して画像上の物体を高精度に照合できる画像照合装置を提供することを目的とする。

本発明に係る画像照合装置は、２つの画像それぞれに撮像された注目物体像が同一の対象物体のものであるか照合するものであって、前記各画像の前記注目物体像における輝度値の累積ヒストグラムを算出し、一方の前記注目物体像の前記累積ヒストグラムを他方の前記注目物体像の前記累積ヒストグラムに近似させる輝度変換を前記一方の注目物体像に施す輝度変換部と、前記輝度変換を施した前記一方の注目物体像と、前記他方の注目物体像とを照合する照合部と、を備える。

他の本発明に係る画像照合装置においては、前記輝度変換部は、色成分ごとの輝度値についての前記累積ヒストグラムである累積色ヒストグラムを前記注目物体像相互間で近似させる前記輝度変換を行う。

さらに他の本発明に係る画像照合装置においては、前記輝度変換部は、前記２つの画像における前記注目物体像をそれぞれ複数の部分領域に分割し、前記両注目物体像相互の対応する前記部分領域ごとに前記輝度変換を行う。

別の本発明に係る画像照合装置においては、前記両注目物体像はそれぞれ同一の対象物体のものであると判定された複数の物体像からなる物体像群であり、前記輝度変換部は、前記各物体像群における前記累積ヒストグラムを算出する。

さらに別の本発明に係る画像照合装置においては、前記両注目物体像はそれぞれ同一の対象物体のもの、かつ同一の形状特徴を有するものであると判定された複数の物体像からなる物体像群であり、前記輝度変換部は、前記各物体像群における前記累積ヒストグラムを算出する。

本発明によれば、同一対象物の画像ならば輝度変換により色ずれなく照明条件の違いが補正されるが、異なる対象物の画像の場合には輝度変換により個体の違いによる色ずれが生じるので、同一対象物であるときの照合結果と異なる対象物であるときの照合結果との差が開く。よって照明条件を補正しつつ照合精度を向上させることができる。

本発明の実施形態である人物同定・検索システムを構成する人物情報生成装置の概略の構成を示すブロック図である。本発明の実施形態である人物同定・検索システムを構成する人物同定装置の概略の構成を示すブロック図である。クエリの人物とデータベースの人物とが同一人物の時の色変換の一例を示す説明図である。クエリの人物とデータベースの人物とが他人の時の色変換の一例を示す説明図である。人物情報生成装置の動作を説明する概略のフロー図である。人物同定装置の動作を説明する概略のフロー図である。

以下、本発明の実施の形態（以下実施形態という）である人物同定・検索システムについて、図面に基づいて説明する。当該人物同定・検索システムは人物を対象物体とし、画像内の注目物体像である人物像により２つの画像に写る人物が同一であるか照合する機能を有する。人物同定・検索システムは、人物情報生成装置１と人物同定装置２とから構成される。人物情報生成装置１は複数の監視カメラそれぞれによって異なる撮像領域を撮影した複数フレームの画像（時系列画像）から、各撮像領域に現れた人物の画像情報（人物情報）を人物ごとに生成する。この人物情報には背景から分離された人物像が含まれる。人物同定装置２は、人物情報生成装置１が生成した人物情報の間で人物像の照合を行って同一人物の人物情報を検出する。人物同定・検索システムは、この人物像の照合によって、複数の撮像領域に亘って移動する人物の横断的検索を可能にする。以下、人物情報生成装置１及び人物同定装置２をそれぞれ説明する。

［人物情報生成装置１の構成］
図１は人物情報生成装置１の概略の構成を示すブロック図である。人物情報生成装置１は入力部１０、信号処理部１１及び記憶部１２から構成される。

入力部１０は時系列画像を出力する複数の監視カメラ、又は各監視カメラにより撮影済みの時系列画像を記録したＤＶＲ（Digital Video Recorder）などの映像記録装置であり、信号処理部１１に接続される。

信号処理部１１はＣＰＵ(Central
Processing Unit)、ＤＳＰ（Digital Signal Processor）、ＭＣＵ（Micro Control Unit）等の演算装置を用いて構成され、入力部１０及び記憶部１２に接続される。信号処理部１１は記憶部１２からプログラムを読み出して実行し、人物追跡部１１０、人物特徴抽出部１１１、類似姿勢画像グループ生成部１１２及び人物情報生成部１１３等として機能する。

人物追跡部１１０は入力部１０から監視カメラごとの時系列画像を取得し、人物追跡処理により当該時系列画像上に現れた各人物の人物像の時系列（時系列人物像）を生成し、人物特徴抽出部１１１に出力する。具体的には、人物追跡部１１０は背景差分処理等により時系列画像の各フレームから人物像を抽出し、パターンマッチング等によりフレーム間で同一人物の人物像を対応付けることで時系列人物像を生成する。なお、各人物像のデータの受け渡しは、当該人物像が存在するフレームを識別するフレーム番号と、当該フレームにおける人物の領域を表現する２値のマスク画像を受け渡すことで行う。

人物特徴抽出部１１１は人物追跡部１１０が生成した各人物像からアピアランス特徴量と形状特徴量とを抽出して、抽出した特徴量を類似姿勢画像グループ生成部１１２と人物情報生成部１１３に出力する。

アピアランス特徴量は人物の見かけの特徴量であり、具体的には人物像の輝度特徴量である。人物特徴抽出部１１１はアピアランス特徴量として各人物像のＲＧＢカラーヒストグラムを抽出する。これは人物を服や肌などの色により特徴付ける色特徴量である。ＲＧＢカラーヒストグラムに代えてＨＳＶカラーヒストグラムを抽出してもよい。または、人物特徴抽出部１１１はアピアランス特徴量として各人物像の輝度勾配ヒストグラムを抽出する。これは人物を服の模様などにより特徴付けるテクスチャ特徴量である。アピアランス特徴量として各人物像の色特徴量とテクスチャ特徴量の両方を抽出することもできるし、その他の各種の輝度特徴量を加えることもできる。

形状特徴量は人物の姿勢や向きを特徴付ける特徴量であり、例えばシェイプコンテキスト（ShapeContext）又はエッジ方向ヒストグラムを用いることができる。

類似姿勢画像グループ生成部１１２は人物追跡部１１０で生成した各時系列人物像を人物特徴抽出部１１１で抽出した形状特徴量が類似する人物像同士からなる類似姿勢画像グループに分けて、グループ生成の結果を人物情報生成部１１３に出力する。

まず、類似姿勢画像グループ生成部１１２は、各時系列人物像においてフレーム間で人物像の形状特徴量の類似度を求める。形状特徴量の類似度は動的計画（Dynamic Programming）法などのマッチング手法を用いて求めることができる。次に、類似姿勢画像グループ生成部１１２は、求めた類似度に平均シフト（MeanShift）法やクイックシフト（QuickShift）法等の既存のクラスタリング手法を適用して、各時系列人物像の人物像をクラスタリングすることにより類似姿勢画像グループを生成する。

人物情報生成部１１３は、類似姿勢画像グループ生成部１１２で生成した類似姿勢画像グループごとに当該グループを構成する人物像のアピアランス特徴量を代表する代表アピアランス特徴量を算出し、またマスク画像とフレーム番号と時系列画像を基に人物像を切り出し、時系列人物像ごとに人物ＩＤと各類似姿勢画像グループのフレーム番号リストとフレーム番号ごとの人物像及び形状特徴量と各類似姿勢画像グループの代表アピアランス特徴量とを対応付けた人物情報１２０を記憶部１２に記憶させる。

人物情報生成部１１３は各類似姿勢画像グループの人物像のアピアランス特徴量を平均して代表アピアランス特徴量を算出する。平均に用いる人物像は全部としてもよいが、平均値に近い規定数の人物像を用いてもよい。これに代えて各類似姿勢画像グループの人物像のアピアランス特徴量の平均値に最も近いアピアランス特徴量を代表アピアランス特徴量とすることもでき、または、類似姿勢画像グループ生成部１１２でのクラスタリング結果を参照して各類似姿勢画像グループのクラスタ中心に対応するアピアランス特徴量を代表アピアランス特徴量とすることもできる。また、人物情報生成部１１３は形状特徴量についてもアピアランス特徴量と同様にして各類似姿勢画像グループの代表形状特徴量を生成してもよい。

記憶部１２は例えば、ハードディスクドライブ（Hard disk drive：HDD）、ＲＡＭ(Random Access Memory)等の記憶装置からなり、人物情報生成部１１３で生成された人物情報１２０を格納する他、計算用の一時記憶領域（図示せず）として信号処理部１１により利用される。また、記憶部１２は信号処理部１１で用いられる各種プログラムや各種データを記憶し、信号処理部１１との間でこれらの情報を入出力する。

［人物同定装置２の構成］
図２は人物同定装置２の概略の構成を示すブロック図である。人物同定装置２は入力部２０、信号処理部２１、記憶部２２及び出力部２３から構成される。既に述べたように人物同定装置２は、人物情報生成装置１により作成された人物情報１２０を用いて同一人物を見つける同定処理を行う。本実施形態では、ユーザが或る監視カメラ（以下、カメラＡとする）の時系列画像に現れた人物について検索を要求し、人物同定装置２が他の監視カメラ（以下、カメラＢとする）で撮影された時系列画像から当該人物を検索するものとする。

入力部２０はキーボードやマウスなどの入力装置であり、信号処理部２１と接続され、ユーザが検索したい人物を選択したり、検索するカメラＢを指定したりする時などに用いられる。

信号処理部２１は信号処理部１１と同様、ＣＰＵ等の演算装置を用いて構成され、入力部２０、記憶部２２及び出力部２３に接続される。信号処理部２１は記憶部２２からプログラムを読み出して実行し、人物情報取得部２１０、類似姿勢画像グループ選択部２１１、色変換部２１２、人物間類似度算出部２１３及び照合結果生成部２１４等として機能する。

人物情報取得部２１０は入力部２０から検索要求された人物（以下、クエリ（query）人物と称する）の人物情報（人物情報２２０Ａ）を記憶部２２から読み込む。また、人物情報取得部２１０は入力部２０から照合相手として監視カメラ単位で指定された複数の人物（以下、ＤＢ（database）人物と称する）の人物情報群（人物情報２２０Ｂ）を記憶部２２から読み込む。そして、人物情報取得部２１０は検索対象や照合相手として指定された人物の人物情報２２０（２２０Ａ，２２０Ｂ）を類似姿勢画像グループ選択部２１１へ出力する。

類似姿勢画像グループ選択部２１１は、クエリ人物の人物情報に格納された類似姿勢画像グループと、各ＤＢ人物の人物情報に格納された類似姿勢画像グループとから、最も姿勢が類似する類似姿勢画像グループペアを選択する。類似姿勢画像グループ選択部２１１は選択した各類似姿勢画像グループを特定する情報を加えた人物情報を色変換部２１２へ出力する。

類似姿勢画像グループペアの選択は、各類似姿勢画像グループの形状特徴量間の類似度を比較することで行う。類似姿勢画像グループ間の類似度は、人物情報生成装置１の類似姿勢画像グループ生成部１１２で用いた方法と同様に、動的計画法などのマッチング手法を用いて類似姿勢画像グループの形状特徴量を比較することで求めることができる。

クエリ人物とＤＢ人物の照合は選択したペアの人物像を照合することにより行う。このように姿勢が類似した人物像を選択して照合を行うことで、人物の姿勢や向きの違いによる照合精度の低下を抑制することができる。

色変換部２１２は、クエリ人物の人物像とＤＢ人物の人物像との間の照明条件の違いを吸収するために、類似姿勢画像グループ選択部２１１で選択された類似姿勢画像グループペア間で色変換処理を行う。色変換処理は、ＢＴＦ（輝度変換関数：Brightness Transfer Function）により行う。

具体的には色変換部２１２はクエリ人物及びＤＢ人物の人物像それぞれの累積色ヒストグラムを算出し、累積色ヒストグラムの一方の各色成分の輝度値（色輝度値）を変換して他方の近似となるように各色輝度値を変換する。すなわち、一方の累積色ヒストグラムを色輝度値Ｂ_１に対する関数Ｈ_１(Ｂ_１)、他方の累積色ヒストグラムを色輝度値Ｂ_２に対する関数Ｈ_２(Ｂ_２)、及びＢＴＦによる色輝度値Ｂ_１の変換をｆ(Ｂ_１)と表すと、色変換部２１２はＨ_１(Ｂ_１)がＨ_２(ｆ(Ｂ_１))に一致するように関数ｆを定義する。色変換部２１２は各輝度値Ｂ_２についての輝度値０〜Ｂ_２までの累積頻度Ｈ_２(Ｂ_２)と、各輝度値Ｂ_１についての輝度値０〜Ｂ_１までの累積頻度Ｈ_１(Ｂ_１)を求めて、輝度値Ｂ_１のそれぞれをＨ_１(Ｂ_１)＝Ｈ_２(Ｂ_２)を満たす輝度値Ｂ_２に置き換える変換ｆ(Ｂ_１)を行う。この変換は色成分ごとに行う。実際には輝度値も頻度も離散的であるため一般にＨ_１(Ｂ_１)＝Ｈ_２(Ｂ_２)を完全に満たす変換は得られず、当該色変換は一方の累積色ヒストグラムを他方の累積色ヒストグラムに近似させる変換となる。ここでは、累積ヒストグラムの曲線（折れ線）が表す変化特性を積分特性と呼び、ＢＴＦにより当該特性を近似させることを、積分特性を合わせると表現する。

色変換部２１２が行う色変換は背景を除いた人物像に対して行うため、背景の色分布の違いは色変換に影響しない。また、色変換部２１２が行う色変換は特定人物の人物像の色特性に合わせ込む変換であり、上述のように輝度値の順序を変えない拘束条件を課した変換である。そのため、本来の色分布が異なる他人同士で積分特性を合わせようとしても拘束条件により合わせ込みきれずに色ずれが生じて両者の色分布は類似したものとならない。しかし、本来の色分布が同じである本人同士で積分特性を合わせようとすれば拘束条件があっても色ずれを生じずに合わせ込むことができ、照明条件が補正されて両者の色分布は類似したものとなる。

その結果、本人同士の照合と他人同士の照合との差を広げることができ、照合精度を向上させることができる。

図３はクエリ人物とＤＢ人物とが同一人物の時の色変換の一例を示す説明図であり、図４は両人物が他人の時の色変換の一例を示す説明図である。

図３，図４の上半分には人物像の画素におけるＲＧＢ各色についての輝度値の相対度数を累積した累積色ヒストグラムが示されている。左側がクエリ人物の累積色ヒストグラムであり、右側がＤＢ人物の累積色ヒストグラムである。これらの累積色ヒストグラムは色変換前のものである。一方、図３，図４の下半分にはクエリ人物の色輝度値について変換を行い、クエリ人物とＤＢ人物との積分特性を合わせた後の色ヒストグラムが示されている。左側がクエリ人物であり、右側がＤＢ人物である。図３，図４の各グラフにおいて点線が赤（Ｒ）、一点鎖線が緑（Ｇ）、実線が青（Ｂ）に対応する。

図３に示す例ではクエリ人物はＤＢ人物と同一であるが、照明条件が相違している。具体的には、クエリ人物は照明が暗い状態で撮影され、人物像内の色の違いが比較的に不明瞭な画像となった場合を例としている。そのため、左側の累積色ヒストグラムにおける各色の積分特性の差異が右側の累積色ヒストグラムより小さくなっている。この場合に、クエリ人物についての積分特性をＤＢ人物に合わせるように色変換を行うと、例えば、クエリ人物の各色の色ヒストグラムはピークの位置及び相対的な大きさがＤＢ人物の色ヒストグラムと似た、つまり類似した色ヒストグラムとなる。変換された色輝度値で表されたクエリ人物の人物像においては、照明条件だけが上手く補正されて、人物像の肌や服装の色がＤＢ人物の人物像と類似した色合いとなる。

一方、図４に示す例では、クエリ人物とＤＢ人物の服装の色や肌の露出具合が異なる。そのため、例えば、積分特性の増加の速さについてＲＧＢの順序が異なっている。この場合に、クエリ人物とＤＢ人物とで積分特性を合わせるように色変換を行うと、クエリ人物の色ヒストグラムにおける各色のピーク同士の相対的な位置関係や相対的な強度がクエリ人物の本来の色ヒストグラムから変化する。そのため、変換後のクエリ人物の人物像は歪んだ色分布となり、また照明条件もＤＢ人物の人物像における条件に一致しない。

上述した色変換により、本人のときと他人のときとで色合わせの程度の差が開くため、照明条件を補正しつつ本人照合精度を向上させることができる。

またこの色変換を複数の色成分ごとに行うことで他人のときに１つの色成分が偶然に合わせ込めても他の色成分が合わせ込み切れないなど、上記の差を維持する可能性を高めることができる。

この色変換は特定人物の人物像に固有の色分布に都度合わせ込むため上記の差を広げることができる。

またこの色変換は背景を除いた人物像を対象に行うため、上記の差を広げる効果を高めることができる。

さらに、この色変換は時系列人物像の平均的な累積ヒストグラムを用いて行うため人物像の抽出誤差により多少の背景画素が混ざっていてもその影響を希釈できるので上記の差を広げる効果を高めることができる。

またこの色変換は形状特徴量が類似する時系列人物像の平均的な累積ヒストグラムを用いて行うため姿勢や向きの変動による個人性の鈍化が抑制されて上記の差を広げる効果を高めることができる。

なお、類似姿勢画像グループの色変換に際して、累積色ヒストグラムは、当該グループ内の全ての人物像の画素について集計して求められる。ここで、グループ内の人物像の大きさは、実世界での人物とカメラとの相対的な位置関係に応じた差異を有し得る。ヒストグラム集計に際してはこの人物像の大きさの相違に配慮することが好適である。例えば、各人物像の累積色ヒストグラムの各頻度値を当該人物像を構成する画素数で除算して正規化し、正規化した各人物像の累積色ヒストグラムを類似姿勢画像グループ内で平均した結果を色変換に用いる。

上記色変換では人物像全体の累積色ヒストグラムからＢＴＦを構築したが、人物像を複数の部分領域に分割し人物像相互の対応する部分領域にて累積色ヒストグラムからＢＴＦを構築する構成とすることもできる。例えば、人物像を上半身領域と下半身領域とに分割して、上半身領域同士及び下半身領域同士でそれぞれの領域からＢＴＦを構築することが可能である。この場合、例えば、上半身が青色で下半身が茶色の人物と、上半身が茶色で下半身が青色の人物との間で色変換を行うような場合、分割した領域ごとに構築したＢＴＦを用いて色変換を行うことで、より本人のときと他人のときとで色合わせの程度の差を広げることが可能であり、照合精度を向上させることができる。

人物間類似度算出部２１３は、色変換部２１２が色変換を施したクエリ人物の人物像と、各ＤＢ人物の人物像との間の類似性（人物間類似度）を算出して、ＤＢ人物ごとの人物間類似度を照合結果生成部２１４に出力する。

人物間類似度はアピアランス特徴量の類似度として算出する。具体的には、人物間類似度算出部２１３は、類似姿勢画像グループペアの一方であるクエリ人物の類似姿勢画像グループを構成する色変換後の人物像から代表アピアランス特徴量を再抽出すると共に、類似姿勢画像グループペアの他方であるＤＢ人物それぞれの類似姿勢画像グループを構成する物体像の代表アピアランス特徴量を人物情報２２０Ｂから読み出して、クエリ人物の代表アピアランス特徴量と各ＤＢ人物の代表アピアランス特徴量との類似度を人物間類似度として算出する。アピアランス特徴量であるＲＧＢヒストグラムの類似度はヒストグラムインターセクションを計算することで求めることができる。ＲＧＢヒストグラムに代えてＨＳＶヒストグラム又は輝度勾配ヒストグラムを用いる場合もこれらのヒストグラムインターセクションを計算すればよい。また、複数種類の特徴量をアピアランス特徴量として用いる場合は、各特徴量の類似度を予め定めた重みで重み付け加算して人物間類似度とすることができる。

照合結果生成部２１４は、ＤＢ人物のうち人物間類似度算出部２１３が算出した人物間類似度が予め設定した同定閾値以上かつ最大となる者をクエリ人物と同一の人物と判定してこれらの人物の人物情報２２０を出力部２３に出力する。一方、同定閾値以上の人物間類似度を持つＤＢ人物が存在しない場合は該当無しと判定してその旨を出力部２３に出力する。

記憶部２２は記憶部１２と同様、ＨＤＤ等の記憶装置からなり、人物情報２２０Ａ，２２０Ｂを格納する他、計算用の一時記憶領域（図示せず）として信号処理部２１により利用される。また、記憶部２２は信号処理部２１で用いられる各種プログラムや各種データを記憶し、信号処理部２１との間でこれらの情報を入出力する。

ここで、人物情報２２０Ａには、人物情報生成装置１がカメラＡの時系列画像から生成した複数人物の人物情報が格納され、人物情報２２０Ｂには、人物情報生成装置１がカメラＢの時系列画像から生成した複数人物の人物情報が格納される。なお、本実施形態ではカメラが２台の場合で説明しているが、カメラが２台より多い場合はカメラと同じ数の人物情報２２０が記憶部２２に格納される。

出力部２３はディスプレイなどから構成される。出力部２３は信号処理部２１と接続され、照合結果生成部２１４で生成された結果を出力する。

なお、人物情報生成装置１及び人物同定装置２を一体の人物同定・検索システムとして構成する場合、信号処理部１１及び信号処理部２１は共通の演算装置で構成でき、また記憶部１２及び記憶部２２も共通の記憶装置で構成できる。

［人物情報生成装置１の動作］
図５は人物情報生成装置１の動作を説明する概略のフロー図である。

人物追跡部１１０は入力部１０から入力された時系列画像の各画像に対し、背景差分処理を行って当該画像から背景の画素を除くことにより人物像を抽出し、そのマスク画像を生成する（ステップＳ１０）。そして、人物追跡部１１０はステップＳ１０で抽出した現フレームの人物像とその前フレームまでに抽出した人物像とのテンプレートマッチングを行って同一人物の人物像同士を対応付ける（ステップＳ１１）。人物追跡部１１０は同一人物の人物像に共通の人物ＩＤを付与し、また新規人物の人物像に新たな人物ＩＤを付与する。人物追跡部１１０は現フレームのフレーム番号と現フレームで抽出した人物像のマスク画像とその人物ＩＤを対応付けて記憶部１２に追記する。

人物特徴抽出部１１１は人物追跡部１１０がステップＳ１０で抽出した人物像から形状特徴量を抽出し、当該人物像と対応付けて記憶部１２に追記する（ステップＳ１２）。また、人物特徴抽出部１１１は当該人物像から、アピアランス特徴量を抽出し、当該人物像と対応付けて記憶部１２に追記する（ステップＳ１３）。

追跡を終了した人物が居る場合（ステップＳ１４にてＹＥＳの場合）はステップＳ１５に進み、そうでない場合（ステップＳ１４でＮＯの場合）は新たに入力されるフレームに対してステップＳ１０〜Ｓ１３の処理を繰り返す。人物特徴抽出部１１１はステップＳ１０〜Ｓ１３で記録された追跡終了人物の画像情報をとりまとめて類似姿勢画像グループ生成部１１２と人物情報生成部１１３に出力する。類似姿勢画像グループ生成部１１２は、追跡終了人物の時系列人物像をステップＳ１２で抽出された形状特徴量に基づいてクラスタリングして類似姿勢画像グループを生成してグループごとのフレーム番号リストを人物情報生成部１１３に出力する（ステップＳ１５）。

人物情報生成部１１３は、ステップＳ１５にて生成された追跡終了人物の各類似姿勢画像グループごとに、そのグループを構成する人物像のアピアランス特徴量を平均して代表アピアランス特徴量を生成する（ステップＳ１６）。そして、人物情報生成部１１３はステップＳ１０〜Ｓ１２で求められた追跡終了人物の人物ＩＤ、当該人物の時系列人物像とその各フレーム番号、及び当該各人物像の形状特徴量に、ステップＳ１５で生成した類似姿勢画像グループの情報及びステップＳ１６で生成した代表アピアランス特徴量を加えた、追跡終了人物の人物情報１２０を生成して記憶部１２に格納する（ステップＳ１７）。追跡終了人物の人物情報１２０を生成すると、信号処理部１１は処理をステップＳ１０へ戻し次のフレームの処理に移る。

［人物同定装置２の動作］
図６は人物同定装置２の動作を説明する概略のフロー図である。

ユーザは入力部２０を操作して、カメラＡの時系列画像に写っている人物の１人をクエリ人物として選択し（ステップＳ２０）、また、対応付けを行いたいカメラとしてカメラＢを選択する（ステップＳ２１）。カメラＢの選択は当該カメラの時系列画像に写っている全人物をＤＢ人物として選択することに相当する。

人物情報取得部２１０はステップＳ２０で指定されたクエリ人物の人物情報２２０Ａを記憶部２２から読み込む（ステップＳ２２）。

続くステップＳ２３〜Ｓ２８のループ処理ではクエリ人物と全ＤＢ人物との人物間類似度を算出する。

人物情報取得部２１０は、各ＤＢ人物の人物情報２２０Ｂを記憶部２２から順次読み込む（ステップＳ２３）。そして、類似姿勢画像グループ選択部２１１はクエリ人物の各類似姿勢画像グループの形状特徴量と、ステップＳ２３で読み込んだＤＢ人物の各類似姿勢画像グループの形状特徴量とを比較して、形状特徴量が最も類似する類似姿勢画像グループのペアを選出する（ステップＳ２４）。

色変換部２１２は、ステップＳ２４で選出されたペアを構成するクエリ人物の類似姿勢画像グループ及びＤＢ人物の類似姿勢画像グループそれぞれの累積色ヒストグラムを算出し（ステップＳ２５）、クエリ人物の類似姿勢画像グループの累積色ヒストグラムをＤＢ人物の類似姿勢画像グループの累積色ヒストグラムに近似させる色変換処理をクエリ人物の当該類似姿勢画像グループを構成する各人物像に対して施す（ステップＳ２６）。

人物間類似度算出部２１３は、ステップＳ２６にて色変換したクエリ人物の類似姿勢画像グループから代表アピアランス特徴量を抽出し、当該代表アピアランス特徴量と、ＤＢ人物について選出された類似姿勢画像グループの代表アピアランス特徴量との類似度をクエリ人物とＤＢ人物との人物間類似度として算出する（ステップＳ２７）。

人物間類似度算出部２１３は、ステップＳ２１で指定した全ＤＢ人物に対して人物間類似度を算出したか否かを確認する（ステップＳ２８）。全てについて算出していなければ（ステップＳ２８でＮＯ判定）、未算出のＤＢ人物に対してステップＳ２３〜Ｓ２７の処理を繰り返す。一方、全ＤＢ人物について人物間類似度を算出していれば（ステップＳ２８でＹＥＳ判定）ステップＳ２９に処理を進める。

照合結果生成部２１４は、ステップＳ２３〜Ｓ２８のループ処理により各ＤＢ人物について算出した人物間類似度の中から最大の人物間類似度を選出して同定閾値と比較し、最大の人物間類似度が同定閾値以上であれば（ステップＳ２９にてＹＥＳ判定）、当該人物間類似度が算出されたＤＢ人物をクエリ人物と同一人物であると判定してこれらの人物の人物情報を出力部２３に出力する（ステップＳ３０）。

なお最大の人物間類似度が同定閾値未満の場合（ステップＳ２９にてＮＯ判定）、照合結果生成部２１４はクエリ人物に該当するＤＢ人物が検出されなかった旨を出力部２３に出力してステップＳ３０を省略する。

出力部２３は照合結果生成部２１４から入力された同一人物の人物情報若しくは該当人物無しの情報を同定処理結果としてディスプレイ等に出力し（ステップＳ３１）、処理を終了する。

［変形例］
（１）ステップＳ２６にて色変換部２１２がクエリ人物の画像の累積色ヒストグラムをＤＢ人物の画像の累積色ヒストグラムに近似させる色変換の例を示したが、逆に、ＤＢ人物の画像の累積色ヒストグラムをクエリ人物の画像の累積色ヒストグラムに近似させる色変換を施してもよい。

（２）上記実施形態では、同一の対象物体であるか否か照合される注目物体像、つまりクエリ人物の人物像及びＤＢ人物の人物像として、それぞれ同一人物を追跡する処理で得られた複数の人物像を姿勢が類似するグループを用いて照合精度の向上を図っている。一方、同一人物を追跡する処理で得られた複数の人物像を姿勢でグループ分けせずにそのまま照合対象とする簡易な構成も可能である。また、複数フレームから得られた人物像に代えて、単一のフレームから得られた人物像を照合対象としてもよい。

（３）上記実施形態では、色輝度値について輝度変換を行ったが、例えば、モノクロ画像においては色相に関係しない輝度値Ｙについて輝度変換を行ってもよい。

（４）アピアランス特徴量は、例えば、人物領域を上半身領域及び下半身領域に分割し、それぞれの領域から求めても良い。人物領域を分割する方法は、例えば人物追跡部１１０で得られたマスク画像を高さ方向に２分割する方法や、マスク画像の人物領域に対応する画素の位置座標から人物の高さ方向を向く主軸を求め、主軸に沿って等間隔に分割する方法が適用可能である。例えば、マスク画像に現れる人の形をその平均座標を中心とする楕円で近似し、当該楕円の長軸を主軸とすることができる。

この構成では、各領域の照合結果を統合判定することで照合精度を上げることができる。統合判定は例えば、分割した複数個の領域のうち一部の複数個の領域又は全てについて、アピアランス特徴量についての類似度が閾値以上であることを以て同一人物との対応付けを行うようにすることができる。

１人物情報生成装置、２人物同定装置、１０，２０入力部、１１，２１信号処理部、１２，２２記憶部、２３出力部、１１０人物追跡部、１１１人物特徴抽出部、１１２類似姿勢画像グループ生成部、１１３人物情報生成部、２１０人物情報取得部、２１１類似姿勢画像グループ選択部、２１２色変換部、２１３人物間類似度算出部、２１４照合結果生成部。

Claims

２つの画像それぞれに撮像された注目物体像が同一の対象物体のものであるか照合する画像照合装置であって、
前記各画像の前記注目物体像における輝度値の累積ヒストグラムを算出し、一方の前記注目物体像の前記累積ヒストグラムを他方の前記注目物体像の前記累積ヒストグラムに近似させる輝度変換を前記一方の注目物体像に施す輝度変換部と、
前記輝度変換を施した前記一方の注目物体像と、前記他方の注目物体像とを照合する照合部と、
を備え、
前記輝度変換部は、前記２つの画像における前記注目物体像をそれぞれ複数の部分領域に分割し、前記両注目物体像相互の対応する前記部分領域ごとに前記輝度変換を行うこと、
を特徴とする画像照合装置。
２つの画像それぞれに撮像された注目物体像が同一の対象物体のものであるか照合する画像照合装置であって、
前記各画像の前記注目物体像における輝度値の累積ヒストグラムを算出し、一方の前記注目物体像の前記累積ヒストグラムを他方の前記注目物体像の前記累積ヒストグラムに近似させる輝度変換を前記一方の注目物体像に施す輝度変換部と、
前記輝度変換を施した前記一方の注目物体像と、前記他方の注目物体像とを照合する照合部と、
を備え、
前記両注目物体像はそれぞれ同一の対象物体のものであると判定された複数の物体像からなる物体像群であり、
前記輝度変換部は、前記各物体像群における前記累積ヒストグラムを算出すること、
を特徴とする画像照合装置。
請求項１又は請求項２に記載の画像照合装置において、
前記輝度変換部は、色成分ごとの輝度値についての前記累積ヒストグラムである累積色ヒストグラムを前記注目物体像相互間で近似させる前記輝度変換を行うこと、を特徴とする画像照合装置。
請求項１から請求項３のいずれか１つに記載の画像照合装置において、
前記両注目物体像はそれぞれ同一の対象物体のもの、かつ同一の形状特徴を有するものであると判定された複数の物体像からなる物体像群であり、
前記輝度変換部は、前記各物体像群における前記累積ヒストグラムを算出すること、
を特徴とする画像照合装置。