JP6690090B2 - 特徴量比較プログラム、情報処理装置、および特徴量比較方法 - Google Patents

特徴量比較プログラム、情報処理装置、および特徴量比較方法 Download PDF

Info

Publication number
JP6690090B2
JP6690090B2 JP2016094879A JP2016094879A JP6690090B2 JP 6690090 B2 JP6690090 B2 JP 6690090B2 JP 2016094879 A JP2016094879 A JP 2016094879A JP 2016094879 A JP2016094879 A JP 2016094879A JP 6690090 B2 JP6690090 B2 JP 6690090B2
Authority
JP
Japan
Prior art keywords
person
color
color feature
area
cluster
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016094879A
Other languages
English (en)
Other versions
JP2017204095A (ja
Inventor
明燮 鄭
明燮 鄭
瀬川　英吾
英吾 瀬川
健太郎 辻
健太郎 辻
松田　裕司
裕司 松田
信浩 宮▲崎▼
信浩 宮▲崎▼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Priority to JP2016094879A priority Critical patent/JP6690090B2/ja
Publication of JP2017204095A publication Critical patent/JP2017204095A/ja
Application granted granted Critical
Publication of JP6690090B2 publication Critical patent/JP6690090B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Description

本発明は、特徴量比較プログラム、情報処理装置、および特徴量比較方法に関する。
人物の移動情報は、混雑の解消や、商業施設における店舗や人員の最適化よるサービスの向上などに活用されている。監視カメラの映像から人物を検出し、複数のカメラにまたがって移動する人物を対応付けることで、自動的に広範囲の人物の移動を把握できる。
従来、同一人物であるか否かの判定には、人物の服装の色などの特徴が利用されている。
色特徴により正しく人物の対応付けをするためには、異なるカメラにより撮影された画像間において人物領域内の同じ位置が同じ色になることが望ましいが、人物の回転や傾きにより画像上の映り方が変化する。例えば、人物の進行方向の反対方向から人物を撮影した場合、人物の左右の回転（図１）、人物の左右の傾き（図２）、または人物の前後の傾き（図３）により映り方が変化する。映り方が変化すると、各画像の人物領域内の同一座標の画素であっても同一色とならず、人物の照合において誤判定する場合がある。
異なる映り方に対応した人物の照合方法として、隣接する同じ色の画素をクラスタリングしたクラスタを楕円でモデル化し、所定サイズ以上の大きさのクラスタを対象に照合を行う方法が知られている（例えば、非特許文献１参照）。
特開２００７−１５６９１７号公報 特開２０１５−８４４９号公報 特開２０１０−２６３５５２号公報 特開２００９−２８４０８４号公報
M.Farenzena、外４名、「Person Re-identification by Symmetry-Driven Accumulation of Local Features」、IEEE Conference on Computer Vision and Pattern Recognition (CVPR)、 2010
非特許文献１の方法では、所定のサイズ以上のクラスタが対象となるため、ある部分に対応する所定のサイズ以上のクラスタが片方の画像にしかない場合、同一の部分同士で照合されず、誤判定する恐れがある。
また、画像上で色の境界部分に量子化誤差によって混合色のクラスタが生成される場合があり、小さいクラスタも照合の対象とする場合、判定対象の画像間でクラスタの数が一致せず、誤判定する恐れがある。
本発明は、異なる撮像装置で撮影した複数の画像における人物の一致判定の精度を向上させることを目的とする。
実施の形態に係る特徴量比較プログラムは、コンピュータに、以下の処理を実行させる。
前記コンピュータは、撮像装置で撮像された第１の画像から第１の人物領域を抽出し、抽出した前記人物領域から色特徴量を抽出し、前記人物領域から抽出した前記色特徴量の前記人物領域における位置関係を特定する。
前記コンピュータは、前記人物領域から抽出した色特徴量に、複数の色特徴量と該複数の色特徴量に対応する色の合成色に対応する色特徴量が含まれ、前記合成色に対応する色特徴量と前記複数の色特徴量とが隣接する位置関係を有することを検出すると、前記人物領域内に含まれる前記合成色に対応する色特徴量を除く第１の色特徴量と、他の撮像装置で撮像された第２の画像から抽出された第２の人物領域から抽出された第２の色特徴量とを比較する。
実施の形態によれば、異なる撮像装置で撮影した複数の画像における人物の一致判定の精度を向上させることが出来る。
左右の回転による見え方の変化を示す図である。 左右の傾きによる見え方の変化を示す図である。 前後の傾きによる見え方の変化を示す図である。 同一の部分同士で照合されない例を示す図である。 クラスタの数が一致しない例を示す図である。 実施の形態に係るシステムの構成図である。 特徴量テーブルの例である。 実施の形態に係る人物判定処理のフローチャートである。 人物検出処理の詳細なフローチャートである。 人物の移動方向の算出を説明する図である。 人物の向きの定義を示す図である。 撮影状況の例を示す図である。 撮影画像と人物領域の例を示す図である。 遮蔽面積と遮蔽位置の例を示す図である。 色特徴抽出処理の詳細なフローチャートである。 色構造の作成を示す図である。 合成色の判定と合成色のクラスタの除外を示す図である。 照合処理の詳細なフローチャートである。 判定処理の第１の方式のフローチャートである。 第１の実施例を説明する図である。 第１の実施例を説明する図である。 判定処理の第２の方式のフローチャートである。 第２の実施例を説明する図である。 第３の実施例を説明する図である。 第４の実施例を説明する図である。 人物を円柱にモデル化した図である。 人物をモデル化した円柱の横表面を一定度刻みで分割した領域を示す図である。 人物の映る範囲の例を示す図である。 第５の実施例を説明する図である。 情報処理装置（コンピュータ）の構成図である。
非特許文献１の方法では、所定のサイズ以上のクラスタが対象となるため、照合する画像間において、ある部分に対応する所定サイズ以上のクラスタが両方の画像に存在する場合は対応できる。しかし、ある部分に対応する所定のサイズ以上のクラスタが片方の画像にしかない場合、同一の部分同士で照合されず、誤判定する恐れがある。例えば、図４に示すように、あるカメラで撮影した画像２１に対して、隣接する同じ色の画素をクラスタリングしたクラスタを楕円でモデル化した画像２２を生成する。そして、楕円でモデル化した画像２２において所定サイズ以上のクラスタを示すと画像２３となる。画像２３において、腕の肌色部分のクラスタの大きさは所定サイズ未満であるため、照合の対象とはならず、腕の肌色部分は削除されている。また、他のカメラで撮影した画像３１に対して、隣接する同じ色の画素をクラスタリングしたクラスタを楕円でモデル化し、所定サイズ以上のクラスタを示すと画像３３となる。画像３３において、腕の肌色部分のクラスタの大きさは所定サイズ以上であるため、照合の対象となる。画像２３と画像３３とを照合すると、上述のように画像２３において腕の肌色部分は照合対象ではないため、画像３３の腕の肌色部分と照合されずに、誤判定する恐れがある。
また、画像上で色の境界部分に量子化誤差によって混合色のクラスタが生成される場合があり、小さいクラスタも照合の対象とする場合、照合するクラスタの数が一致しない場合がある。量子化誤差による問題は、低解像度の画像ほど１画素が全体に占める割合が大きいため、影響が大きくなる。例えば、図５に示すように、あるカメラで撮影した画像４１に対して、隣接する同じ色の画素をクラスタリングしたクラスタを楕円でモデル化し、所定サイズ以上のクラスタを示すと画像４３となる。また、他のカメラで撮影した画像５１に対して、隣接する同じ色の画素をクラスタリングしたクラスタを楕円でモデル化し、所定サイズ以上のクラスタを示すと画像５３となる。画像５１において、赤色のバッグと青色のズボンとの境界に量子化誤差によりピンク色の画素が生成され、画像５３においてもピンク色の画素に対応するクラスタがある。一方、画像４１において、量子化誤差によるピンク色の画素はなく、画像４３においてもピンク色の画素に対応するクラスタはない。画像４３と画像５３とを照合すると、画像５３には量子化誤差により生成されたピンク色の画素に対応するクラスタがあるため、画像４３のクラスタの数と画像５３のクラスタの数とが一致せず、誤判定する恐れがある。
以下、図面を参照しながら実施の形態について説明する。
図６は、実施の形態に係るシステムの構成図である。
システム１０１は、カメラ２０１−ｉ（ｉ＝１，２）およびサーバ３０１を備える。
カメラ２０１−ｉは、ネットワークを介してサーバ３０１と接続している。また、カメラ２０１−ｉは、Universal Serial Bus（ＵＳＢ）等によりサーバ３０１と接続してもよい。カメラ２０１−ｉは、撮影範囲を撮影し、撮影した画像（撮影画像）をサーバ３０１に送信する。カメラ２０１−１とカメラ２０１−２は、それぞれ異なる撮影範囲を定期的若しくは常に撮影する。尚、カメラ２０１−ｉは動画を撮影し、サーバ３０１に送信してもよい。その場合、動画の各フレームが撮影画像に相当する。カメラ２０１−ｉは、撮像装置の一例である。尚、カメラの数は一例であり、これに限られるものではない。
サーバ３０１は、画像から人物領域を検出し、人物領域の特徴を抽出し、該特徴に基づいて、人物の一致判定を行う。サーバ３０１は、情報処理装置の一例である。
サーバ３０１は、画像入力部３１１、人物検出部３２１、色特徴抽出部３３１、照合部３４１、記憶部３５１、および出力部３６１を備える。
画像入力部３１１は、カメラ２０１−ｉから撮影画像を受信し、撮影画像の解像度を下げた画像を生成する。これは、例えば、街中や商業施設においてカメラ２０１−ｉを利用する場合、被撮影者の顔が把握できないようして、プライバシーを保護するためである。画像入力部３１１は、低解像度化した撮影画像を人物検出部３２１に出力する。また、画像入力部３１１は、低解像度化した撮影画像を記憶部３５１に記憶してもよい。尚、以下で説明する人物検出部３２１および色特徴抽出部３３１で用いられる撮影画像は、低解像度化した撮影画像である。
人物検出部３２１は、人物領域検出部３２２、人物向き算出部３２３、および遮蔽面積算出部３２４を備える。人物検出部３２１は、人物領域抽出部の一例である。
人物領域検出部３２２は、撮影画像の人物領域を検出（抽出）する。
人物向き算出部３２３は、撮影画像の人物の向きを算出する。
遮蔽面積算出部３２４は、人物領域の重畳部分（遮蔽部分）の面積を算出し、遮蔽部分の面積および位置を記録する。
色特徴抽出部３３１は、色領域分割部３３２、合成色判定部３３３、および色構造作成部３３４を備える。
色領域分割部３３２は、人物領域を正規化し、人物領域内の隣接する同じ色（または近い色の画素をクラスタリングしたクラスタを楕円でモデル化する。
合成色判定部３３３は、クラスタの色が当該クラスタに隣接するクラスタの色の合成色であるか判定する。
色構造作成部３３４は、人物の色構造に含まれる複数のクラスタから合成色と判定されたクラスタを削除する。
照合部３４１は、照合範囲選択部３４２、特徴量照合部３４３、および判定部３４４を備える。照合部３４１は、比較部の一例である。
照合範囲選択部３４２は、人物領域に遮蔽部分があるか否か判定する。また、照合範囲選択部３４２は、第１の人物と第２の人物の向きの変化量を算出する。
特徴量照合部３４３は、各人物の色構造に基づいて、人物の一致度を算出する。
判定部３４４は、各人物の色構造から算出された一致度に基づいて、同一人物であるか否か判定する。
記憶部３５１は、サーバ３０１で使用されるデータを格納する。記憶部３５１は、特徴量テーブル３５２−ｊ（ｊ＝１〜ｎ：ｎは１以上の整数）を格納する。特徴量テーブル３５２−ｊのそれぞれには、撮影画像に含まれる人物を含む人物領域のそれぞれの特徴が記載される。
出力部３６１は、判定部３４４による判定結果を出力する。
図７は、特徴量テーブルの例である。
特徴量テーブル３５２−１は、項目として、色構造、大きさ、向き、および遮蔽を含み、各項目の特徴量が記載されている。
色構造は、撮影画像の人物領域に含まれる各クラスタの特徴量を示す。色構造の特徴量には、クラスタ番号、座標、色特徴量、および隣接クラスタ番号が対応付けられて記載されている。クラスタ番号は、クラスタに割り当てられた番号である。座標は、クラスタの中心座標である。色特徴量は、クラスタの画素値（色成分）の平均値であり、赤（Ｒ）、緑（Ｇ）、および青（Ｂ）の各成分の平均値である。尚、色特徴量は、ＲＧＢ色空間以外の色空間の値、例えば、ＨＳＶまたはＨＬＳの値に変換した値でもよい。また、平均値以外に中央値または最頻値といった統計的代表値を、色特徴量として用いてもよい。隣接クラスタ番号は、自クラスタと隣接するクラスタのクラスタ番号である。
大きさは、人物領域のサイズ（幅および高さ）を示す。
向きは、人物領域に含まれる人物の向きを示す。
遮蔽は、他の人物領域によって遮蔽されている遮蔽部分の面積と座標を示す。座標は、遮蔽部分の左上角の座標Ｓｐ（ｘ，ｙ）と右下角の座標Ｅｐ（ｘ’、ｙ’）である。
図８は、実施の形態に係る人物判定処理のフローチャートである。
ステップＳ５０１において、画像入力部３１１は、カメラ２０１−ｉのいずれかから撮影画像を受信する。画像入力部３１１は、撮影画像の解像度を下げた画像を生成し、低解像度化した撮影画像を人物検出部３２１に出力する。また、画像入力部３１１は、低解像度化した撮影画像を記憶部３５１に記憶してもよい。
ステップＳ５１１において、人物検出部３２１は、人物検出処理を行う。尚、人物検出処理の詳細は後述する。
ステップＳ５３１において、色特徴抽出部３３１は、色特徴抽出処理を行う。尚、色特徴抽出処理の詳細は後述する。
ステップＳ５５１において、照合部３４１は、照合処理を行う。尚、照合処理の詳細は後述する。
ステップＳ５８１において、出力部３６１は、照合部３４１の判定部３４４による判定結果を出力する。例えば、出力部３６１は、判定部３４４による判定結果（例えば、同一人物であるか否か）を表示装置（不図示）に表示する。また、出力部３６１は、例えば、第１の撮影画像の第１の人物と第２の撮影画像の第２の人物が同一人物であると判定された場合、第１の人物と第２の人物とを対応付ける情報を記憶部３５１に記憶する。
図９は、人物検出処理の詳細なフローチャートである。
図９は、図８のステップＳ５１１に相当する。図１０は、人物の移動方向の算出を説明する図であり、図１１は、人物の向きの定義を示す図である。実施の形態において、所定の間隔の２つの異なる時刻Ｔ１，Ｔ２における撮影画像６０１，６１１を用いた、人物の向きの算出について説明する。尚、撮影画像６０１，６１１は、同一のカメラ２０１−ｉにより撮影され、低解像度化された画像であり、同一人物が映っている。また、時刻Ｔ１は時刻Ｔ２よりも前の時刻である。
ステップＳ５１２において、人物領域検出部３２２は、画像入力部３１１から低解像度化した撮影画像を受信し、撮影画像に含まれる人物領域を検出する。人物領域を検出する方法は、例えば、非特許文献２（佐藤雄隆、他３名、「Radial Reach Filter(RRF)によるロバストな物体検出」、信学論(D-II)、Vol. J86-D-II No.5、pp 616-624、2003）に記載の移動体の領域を検出する方法や、非特許文献３（山内悠嗣, 他２名、「Boostingに基づく特徴量の共起表現による人検出」、信学論D、 Vol. J92-D， No. 8、pp. 1125-1134、2009）に記載の人の特徴を抽出し、画像から人の特徴を抽出する方法を用いる。人物領域は、撮影画像の人物の輪郭に接する矩形（外接矩形）の領域とする。また、人物領域検出部３２２は、撮影画像の背景部分を背景差分処理により除去する。図１０に示すように、撮影画像６０１において人物領域６０２が検出され、撮影画像６１１において人物領域６１２が検出される。尚、今回受信した画像が時刻Ｔ２における撮影画像６１１である場合、人物領域検出部３２２は、以前に受信した時刻Ｔ１における撮影画像６０１を記憶部３５１に記憶しておき、撮影画像６０１を記憶部３５１から読み出して処理を行う。
以下のステップＳ５１３〜Ｓ５１６では、人物向き算出部３２３により、人物の向きを算出する処理を行う。
ステップＳ５１３において、人物向き算出部３２３は、検出した人物領域の中心座標を算出する。人物領域の中心座標は、矩形である人物領域の横（ｘ）方向の２つの辺の中間を結んだ線と縦（ｙ）方向の２つの辺の中間を結んだ線との交点である。図１０において、時刻Ｔ１の撮影画像６０１の人物領域６０２の中心座標はＰｔ１（Ｘ１，Ｙ１）であり、時刻Ｔ２の撮影画像６１１の人物領域６１２の中心座標はＰｔ２（Ｘ２，Ｙ２）である。
ステップＳ５１４において、人物向き算出部３２３は、人物の実環境の平面上の座標を算出する。詳細には、人物向き算出部３２３は、実環境における３次元（ｘ軸、ｙ軸、ｚ軸）の直交座標系を定義し、ｘｙ平面上の人物の位置（座標）を算出する。人物向き算出部３２３は、例えば、非特許文献４（岡部亜梨子、他２名、「ＡｂＳ手法を用いた店舗内における人物の検出」、電気学会論文誌 C, 電子・情報・システム部門誌 127(4)、 506-512、 2007）に記載のように、人の標準身長を基に、画像から３次元上の人物の位置Ｐ（ｘ，ｙ）を算出する。図１０において、撮影画像６０１の人物の実環境におけるｘｙ平面上の座標はｐ（ｘ１，ｙ１）であり、撮影画像６１１の人物の実環境におけるｘｙ平面上の座標はｐ（ｘ２，ｙ２）である。
ステップＳ５１５において、人物向き算出部３２３は、人物の移動方向を算出する。詳細には、人物向き算出部３２３は、異なる時刻の人物の位置から人物の移動方向を算出する。
例えば、時刻Ｔ２における人物の移動方向θは、時刻Ｔ１における人物の座標ｐ（ｘ１，ｙ１）と時刻Ｔ２における人物の座標ｐ（ｘ２，ｙ２）から、下式（１）により算出される。尚、下式（１）により算出される移動方向は、時刻Ｔ１における人物の移動方向θとしてもよい。
θ＝arctan（（ｙ２−ｙ１）／（ｘ２−ｘ１）） ・・・（１）
実施の形態において、正面を向いて移動する人物を対象として、算出した移動方向θを人物の向きθとする。人物の向きは、図１１に示すような、ｘ軸の正方向を０度、ｙ軸の正方向を９０度とする直交座標系で定義される。また、人物の向きθは、―１８０＜θ≦１８０とする。
人物向き算出部３２３は、人物の向きθを当該人物（人物領域）に対応する特徴量テーブル３５２−ｊに記録する。
以下のステップＳ５１６〜Ｓ５１８では、遮蔽面積算出部３２４により、人物領域の重畳部分の検出と記録を行う。図１２は、撮影状況の例を示す図であり、図１３は、撮影画像と人物領域の例を示す図である。図１４は、遮蔽面積と遮蔽位置の例を示す図である。
図１２において、カメラ２０１−１は、人物Ａ，Ｂの前方上部に設置され、人物Ａ，Ｂを撮影する。また、人物Ｂは、人物Ａの後方に位置する。図１２に示す撮影状況において、図１３に示す撮影画像６３３が得られる。尚、撮影画像６３１は、画像入力部３１１により低解像度化された画像である。人物領域検出部３２２は、撮影画像６３１に対して人物領域の検出を行うと、人物Ａと含む人物領域６３２と人物Ｂを含む人物領域６３３が検出される。また、人物領域６３２の左上部分と人物領域６３３の右下部分は重なり合っており、人物領域Ｂの一部は、人物Ａにより遮蔽されている。
ステップＳ５１６において、遮蔽面積算出部３２４は、画像入力部３１１から受信した撮影画像に含まれる人物領域の座標を算出する。詳細には、矩形である人物領域の左上角と右下角の座標を算出する。尚、人物領域の座標の算出は、ステップＳ５１２と同様の方法で行っても良いし、ステップＳ５１２の人物領域の検出結果を利用することで、処理を省略してもよい。図１４に示すように、人物領域６３２の左上角の座標はＳＰＡ（ｘ１，ｙ１）、右下角の座標はＥＰＡ（ｘ２，ｙ２）である。また、人物領域６３３の左上角の座標はＳＰＢ（ｘ’１，ｙ’１）、右下角の座標はＥＰＢ（ｘ’２，ｙ’２）である。
ステップＳ５１７において、遮蔽面積算出部３２４は、算出した人物領域の座標に基づいて、人物領域と他の人物領域とが重なる重畳部分（遮蔽部分）、すなわち人物領域のうち他の人物領域に覆われている領域があるか否か判定する。遮蔽部分がある場合、遮蔽面積算出部３２４は、当該遮蔽部分の面積（遮蔽面積）ＳＳを算出する。図１４において、人物領域６３３の遮蔽面積ＳＳは、下式（２）で算出される。
ＳＳ＝（ｘ’２−ｘ１）×（ｙ’２−ｙ１） ・・・（２）
ステップＳ５１８において、遮蔽面積算出部３２４は、遮蔽部分の面積および遮蔽部分の位置（遮蔽位置）を特徴量テーブル３５２−ｊに記録する。遮蔽部分の位置は、例えば、矩形である遮蔽部分の左上角の座標（始点座標）Ｓｐ（ｘ，ｙ）および右下角の座標（終点座標）Ｅｐ（ｘ’，ｙ’）である。尚、始点座標および終点座標は、遮蔽部分を含む人物領域における相対位置（例えば、人物領域の左上角を原点する座標）とする。図１４において、人物領域６３３の遮蔽部分の始点座標Ｓｐは（ｘ１−ｘ’１，ｙ１−ｙ’１）であり、終点座標Ｅｐは（ｘ’２−ｘ’１，ｙ’２−ｙ’１）である。遮蔽面積算出部３２４は、撮影画像６３１の人物Ｂ（人物領域６３３）に対応する特徴量テーブル３５２−ｊに遮蔽部分の面積ＳＳ、始点座標Ｓｐ、および終点座標Ｅｐを記録する。
図１５は、色特徴抽出処理の詳細なフローチャートである。
図１５は、図８のステップＳ５３１に相当する。
以下のステップＳ５３２〜Ｓ５３７では、人物の色構造を作成する処理を行う。図１６は、色構造の作成を示す図である。
ステップＳ５３２において、色領域分割部３３２は、撮影画像に含まれる人物領域を抽出し、人物領域の大きさを正規化（すなわち、所定の大きさに変更）する。実施の形態において、色構造の作成時には、人物領域は全て同じ大きさに正規化され、座標は人物領域の左上角を原点（０，０）とする同一平面座標系における値とする。
ステップＳ５３３において、色領域分割部３３２は、非特許文献１記載の方法を用いて、人物領域内の隣接する同じ色（または近い色、すなわち画素間の画素値の差分が所定値以内）の画素をクラスタリング（グループ化）したクラスタを楕円でモデル化する。図１６において、人物領域６４１の人物Ａをクラスタリングして楕円でモデル化すると、人物モデル６４２のようになる。
ステップＳ５３４において、色構造作成部３３４は、楕円でモデル化した人物モデルの各クラスタの画素値の平均値（色特徴量）と外接する矩形（外接矩形）の位置を算出する。尚、色特徴量は、赤（Ｒ）、緑（Ｇ）、および青（Ｂ）の各成分の平均値で表される。外接する矩形の位置は、クラスタの中心座標と大きさ（幅および高さ）を算出する。色構造作成部３３４は、クラスタの中心座標のｙ軸座標値の昇順にクラスタ番号を各クラスタに割り当てる。尚、ｙ軸座標値が同じクラスタはｘ軸座標値の昇順にクラスタ番号を割り当てる。図１６において、人物モデル６４２の各クラスタに外接矩形を追加して表すと人物モデル６４３のようになる。
ステップＳ５３５において、色構造作成部３３４は、各クラスタの外接矩形について、他のクラスタの外接矩形と重なる部分（重畳部分）を算出する。重畳部分は、クラスタの中心座標と大きさに基づいて算出される。
ステップＳ５３６において、色構造作成部３３４は、各クラスタについて隣接するクラスタを算出する。色構造作成部３３４は、あるクラスタの外接矩形に他のクラスタの外接矩形と重なる部分（重畳部分）があるか否かで、２つのクラスタが隣接しているか否か判定する。例えば、クラスタＡの外接矩形とクラスタＢの外接矩形とが重なる部分がある場合、クラスタＡとクラスタＢは隣接していると判定される。このような、クラスタの外接矩形に基づく隣接判定を全てのクラスタの組み合わせに対して行うことで、各クラスタに隣接するクラスタを算出する。図１６において、人物モデル６４２の各クラスタの中心座標を点で示し、隣接するクラスタの中心座標同士を線で結んで表すと、隣接状態６４４のように表される。隣接状態６４４に示すように、人物モデル６４２には８個のクラスタがあり、クラスタには（１）〜（８）のクラスタ番号が割り当てられている。
ステップＳ５３７において、色構造作成部３３４は、人物に対応する特徴量テーブル３５２−ｉの色構造の特徴量にクラスタ番号、中心座標、色特徴量、隣接クラスタ番号を記載する。色構造作成部３３４は、クラスタ番号に、割り当てたクラスタ番号を昇順に記載する。色構造作成部３３４は、中心座標に、クラスタ番号に対応するクラスタの中心座標を記載する。色構造作成部３３４は、色特徴量に、クラスタ番号に対応するクラスタの色特徴量を記載する。色構造作成部３３４は、隣接クラスタ番号に、クラスタ番号に対応するクラスタに隣接するクラスタのクラスタ番号を記載する。図１６において、人物領域６４１の人物Ａに対応する特徴量テーブル３５２−ｉの色構造の特徴量を記載すると表６４６に示すようになる。
以下のステップＳ５３８〜Ｓ５４０では、合成色の判定と合成色のクラスタの除外を行う。
ステップＳ５３８において、合成色判定部３３３は、各クラスタについて、クラスタの色（色特徴）が隣接するクラスタの色（色特徴）の合成色であるか否か判定する。
合成色のクラスタの色特徴量は、第１の隣接するクラスタの色特徴量と第２の隣接するクラスタの色特徴量との線形和で表されると考えられるので、判定対象のクラスタの特徴量Ｖｃは、第１の隣接するクラスタの色特徴量をＶｏ、第２の隣接するクラスタの色特徴量をＶｉ、混色率αとすると下式（３）で表される。
Ｖｃ＝αＶｏ＋（１−α）Ｖｉ ・・・（３）
上式（３）より、混色率αは、下式（４）で算出される。
α＝（Ｖｃ−Ｖｉ）／（Ｖｏ−Ｖｉ） ・・・（４）
尚、色特徴量Ｖｃ、Ｖｉ、ＶｏがそれぞれＲＧＢの３成分で表される場合、色特徴量Ｖｃ＝（ＶｃＲ，ＶｃＧ，ＶｃＢ）、Ｖｉ＝（ＶｉＲ，ＶｉＧ，ＶｉＢ）、Ｖｏ＝（ＶｏＲ，ＶｏＧ，ＶｏＢ）とすると、上式（４）における色特徴量の差分は下記の様にユークリッド距離で算出される。
Ｖｃ−Ｖｉ＝（（ＶｃＲ−ＶｉＲ）２＋（ＶｃＧ−ＶｉＧ）２＋（ＶｃＢ−ＶｉＢ）２）１／２
Ｖｏ−Ｖｉ＝（（ＶｏＲ−ＶｉＲ）２＋（ＶｏＧ−ＶｉＧ）２＋（ＶｏＢ−ＶｉＢ）２）１／２
合成色判定部３３３は、混色率αが閾値以上である場合、クラスタの色は合成色であると判定し、混色率αが閾値未満である場合、クラスタの色は合成色でないと判定する。尚、上記の合成色の判定方法は一例であり、これに限られるものではない。
ステップＳ５３９において、合成色であると判定されたクラスタがある場合、制御はステップＳ５４０に進み、合成色であると判定されたクラスタがない場合、色特徴抽出処理は終了する。
ステップＳ５４０において、色構造作成部３３４は、合成色と判定されたクラスタに対応するエントリを特徴量テーブル３５２−ｉの色構造の特徴量から削除する。色構造作成部３３４は、合成色と判定されたクラスタのエントリの削除に伴い、クラスタ番号をリナンバリングし、それに応じて隣接クラスタ番号も修正する。
図１７は、合成色の判定と合成色のクラスタの除外を示す図である。
図１７において、人物領域６５１の人物Ａ’をクラスタリングして楕円でモデル化すると、人物モデル６５２のようになる。人物モデル６５２の各クラスタの中心座標を点で示し、隣接するクラスタの中心座標同士を線で結んで表すと、隣接状態６５３のように表される。色構造作成部３３４は、ステップＳ５３２〜Ｓ５３７の処理により、人物Ａ’に対応する特徴量テーブル３５２−ｉの色構造の特徴量を記載する。
隣接状態６５３に示すように、人物モデル６５２には１０個のクラスタがあり、クラスタには（１）〜（１０）のクラスタ番号が割り当てられている。以下、クラスタ番号（ｍ）のクラスタは、クラスタ（ｍ）と表記する場合がある。
ここで、クラスタ（７）が合成色であるか否かを判定する場合を説明する。
クラスタ（７）は、クラスタ（６）および（８）と隣接しているので、クラスタ（７）の色がクラスタ（６）および（８）の色の合成色であるか判定する。
クラスタ（６）、（７）、（８）の色は、それぞれ赤、ピンク、青とする。ピンクは、赤と青で合成可能であるため、クラスタ（７）の色は合成色と判定される。詳細には、合成色判定部３３３は、クラスタ（６）、（７）、（８）の色特徴をそれぞれＶｏ、Ｖｃ、Ｖｉとして上式（４）により、混色率αを算出する。ここでは、算出された混色率αは閾値以上であるとする。
隣接状態６５３から合成色と判定されたクラスタ（７）を削除すると、隣接状態６５４のように表される。色構造作成部３３４は、人物Ａ’に対応する特徴量テーブル３５２−ｉの色構造の特徴量のクラスタ（７）のエントリを削除する。
クラスタ（７）の削除に伴い、クラスタ（７）の合成色の判定に用いた隣接するクラスタ（６）と（８）と繋げる。すなわち、特徴量テーブル３５２−ｉの色構造の特徴量のクラスタ（６）の隣接クラスタ番号（７）が隣接クラスタ番号（８）に変更され、クラスタ（８）の隣接クラスタ番号（７）が隣接クラスタ番号（６）に変更される。そして、クラスタ番号をリナンバリングすると、隣接状態６５４のクラスタ番号（８）、（９）、（１０）は、それぞれクラスタ番号（７）、（８）、（９）となり、隣接状態６５５のように表される。色構造作成部３３４は、人物Ａ’に対応する特徴量テーブル３５２−ｉの色構造の特徴量のクラスタ番号と隣接クラスタ番号をリナンバリングし、隣接状態６５５に対応する特徴量テーブル３５２−ｉに修正する。
図１８は、照合処理の詳細なフローチャートである。
図１８は、図８のステップＳ５５１に対応する。
以下の説明では、第１の撮影画像の第１の人物領域の人物Ａと第２の撮影画像の第２の人物領域の人物Ａ’とが同一人物であるか否かを判定する。第１の撮影画像と第２の撮影画像は、それぞれ異なるカメラ２０１−ｉによって撮影された画像である。尚、第１の撮影画像と第２の撮影画像は、同一のカメラ２０１−ｉによって撮影された画像でもよい。
記憶部３５１には、人物Ａの特徴を示す特徴量テーブル３５２−Ａと人物Ａ’の特徴を示す特徴量テーブル３５２−Ａ’とが格納されている。
ステップＳ５５２において、照合範囲選択部３４２は、第１の人物領域または第２の人物領域に遮蔽部分があるか否か判定する。詳細には、照合範囲選択部３４２は、特徴量テーブル３５２−Ａ、３５２−Ａ’を参照し、遮蔽の面積が０より大きい場合、遮蔽部分ありと判定する。
ステップＳ５５３において、遮蔽部分がある場合、制御はステップＳ５５４に進み、遮蔽部分がない場合、制御はステップＳ５５５に進む。
ステップＳ５５４において、照合範囲選択部３４２は、第１の人物領域の遮蔽部分と第２の人物領域に遮蔽部分との合計部分を算出する。照合範囲選択部３４２は、合計部分に中心座標が含まれるクラスタを検出し、当該クラスタのエントリを特徴量テーブル３５２−Ａ、３５２−Ａ’の色構造から除去する。
ステップＳ５５５において、照合範囲選択部３４２は、人物Ａと人物Ａ’の向きの変化量を算出する。詳細には、照合範囲選択部３４２は、特徴量テーブル３５２−Ａ、３５２−Ａ’を参照し、特徴量テーブル３５２−Ａ、３５２−Ａ’に記載の向きθＡ、θＡ’から向きの変化量Δθを算出する。向きの変化量Δθは、人物Ａの向きθＡと人物Ａ’の向きθＡ’との差の絶対値である。すなわち、変化量Δθ＝｜θＡ−θＡ’｜である。尚、θＡ−θＡ’が１８０度より大きいまたは−１８０度より小さい場合は、θＡ−θＡ’を−１８０度より大きい且つ１８０度以下の角度には変換し、その絶対値をΔθとする。
ステップＳ５５６において、照合範囲選択部３４２は、人物の向き変化があるか否か判定する。詳細には、照合範囲選択部３４２は、変化量が閾値より大きいか否か判定する。変化量が閾値より大きい場合（向き変化あり）、制御はステップＳ５５７に進み、変化量が閾値以下の場合（向き変化なし）、制御はステップＳ５５８に進む。
ステップＳ５５７において、照合範囲選択部３４２は、第１の人物領域と第２の人物領域の共通領域を求め、共通領域に含まれない領域に中心座標があるクラスタを除去する。照合範囲選択部３４２は、共通領域に含まれない領域に中心座標があるクラスタのエントリを特徴量テーブル３５２−Ａ、３５２−Ａ’の色構造から除去する。
ステップＳ５５８において、特徴量照合部３４３および判定部３４４は、判定処理を行う。尚、判定処理は、後述の第１の方式または第２の方式のいずれかが用いられる。
以下、判定処理の２つの方式と、遮蔽の有無（ステップＳ５５３：Ｙｅｓ／Ｎｏ）と向き変化の有無（ステップＳ５５６：Ｙｅｓ／Ｎｏ）の組み合わせの実施例１〜５を説明する。
実施例１は、遮蔽無し（ステップＳ５５３：Ｎｏ）且つ向き変化無し（ステップＳ５５６：Ｎｏ）の場合の判定処理の第１の方式について説明する。
図１９は、判定処理の第１の方式のフローチャートである。図１９は、図１８のステップＳ５５８に対応する。図２０および図２１は、第１の実施例を説明する図である。
上述のように、実施例１では、ステップＳ５５３において、遮蔽なしと判定され、ステップＳ５５６において、向き変化なしと判定されている。
上述の人物検出処理および色特徴抽出処理により、図２０において、人物領域６４１の人物Ａはクラスタリングされ楕円でモデル化されて、人物モデル６４２が生成されている。また、人物Ａに対応する特徴量テーブル３５２−Ａの色構造は、表６４６のようになる。同様に、人物領域６５１の人物Ａ’はクラスタリングされ楕円でモデル化されて、人物モデル６５２が生成されている。また、人物Ａ’に対応する特徴量テーブル３５２−Ａ’の色構造は、表６５６のようになる。また、人物領域６４１，６５２は、同じ大きさに正規化されているため、人物Ａ，Ａ’の色構造の座標系は同一の座標系となる。
ステップＳ５６１において、照合範囲選択部３４２は、人物Ａと人物Ａ’の各クラスタの中心座標間の距離ｃｄを算出する。例えば、図２０において、人物Ａのクラスタ（１）と人物Ａ’のクラスタ（２）との距離ｃｄは、人物Ａのクラスタ（１）の中心座標がＰ（ｘ１、ｙ１）、人物Ａ’のクラスタ（２）の中心座標がＰ’（ｘ２、ｙ２）とすると、ｃｄ＝（（ｘ２−ｘ１）２＋（ｙ２−ｙ１）２）１／２となる。
照合範囲選択部３４２は、人物Ａのクラスタごとに、人物Ａ’のクラスタのうち最小の距離となるクラスタを求める。照合範囲選択部３４２は、人物Ａのあるクラスタに対する人物Ａ’のクラスタのうち最小の距離となるクラスタには、同一のクラスタ番号を割り当てる。
ステップＳ５６２において、照合範囲選択部３４２は、人物Ａのクラスタごとに、人物Ａ’のクラスタのうち最小の距離となるクラスタとの距離（最小距離）が閾値（ＴＨｄ）より大きいか否か判定する。最小距離が閾値（ＴＨｄ）より大きいクラスタがある場合、制御はステップＳ５６３に進み、最小距離が閾値（ＴＨｄ）より大きいクラスタがない場合、制御はステップＳ５６４に進む。
ステップＳ５６３において、照合範囲選択部３４２は、最小距離が閾値（ＴＨｄ）より大きいクラスタのエントリを特徴量テーブル３５２−Ａ、３５２−Ａ’の色構造から削除する。図２１において、特徴量テーブル３５２−Ａの色構造を表６４６に示す。表６４６において、クラスタ（５）とクラスタ（８）のエントリが削除され、削除されたエントリは灰色で示されている。特徴量テーブル３５２−Ａ’の色構造を表６５６に示す。表６５６において、クラスタ（５）、クラスタ（８）、クラスタ（９）のエントリが削除され、削除されたエントリは灰色で示されている。また、照合範囲選択部３４２は、残っているエントリの隣接クラスタ番号から削除したクラスタ番号を削除する。例えば、照合範囲選択部３４２は、表６４６において、残っているクラスタ番号（１）〜（４）、（６）、（７）のエントリの隣接クラスタ番号から、（５）と（８）を削除する。また、照合範囲選択部３４２は、表６５６において、残っているクラスタ番号（１）〜（４）、（６）、（７）のエントリの隣接クラスタ番号から、（５）、（８）、（９）を削除する。
ステップＳ５６４において、照合範囲選択部３４２は、各人物の特徴量テーブルの色構造のクラスタ番号および隣接クラスタ番号を１から連続するように振り直す。
図２１において、照合範囲選択部３４２は、表６４６に示される人物Ａの色構造のクラスタ番号（１）〜（４）、（６）、（７）に対応するエントリのクラスタ番号および隣接クラスタ番号を振りなおす。それにより、クラスタ番号（６）および隣接クラスタ番号（６）は、それぞれクラスタ番号（５）および隣接クラスタ番号（５）となる。また、クラスタ番号（７）および隣接クラスタ番号（７）は、それぞれクラスタ番号（６）および隣接クラスタ番号（６）となる。同様に、表６５６に示される人物Ａ’の色構造のクラスタ番号（１）〜（４）、（６）、（７）に対応するエントリのクラスタ番号および隣接クラスタ番号を振りなおす。それにより、クラスタ番号（６）および隣接クラスタ番号（６）は、それぞれクラスタ番号（５）および隣接クラスタ番号（５）となる。また、クラスタ番号（７）および隣接クラスタ番号（７）は、それぞれクラスタ番号（６）および隣接クラスタ番号（６）となる。
ステップＳ５６５において、照合範囲選択部３４２は、特徴量テーブルの色構造に基づいて、各人物の照合用テーブルを作成する。照合用テーブルには、クラスタ番号、色等跳梁、および隣接クラスタ番号が対応付けられて記載される。照合範囲選択部３４２は、ステップＳ５６４においてクラスタ番号および隣接クラスタ番号を振り直した特徴量テーブルの色構造のクラスタ番号、色特徴量、および隣接クラスタ番号を抽出し、照合用テーブルを作成する。
図２１において、表６４６に示される人物Ａの色構造から人物Ａの照合用テーブル６４７が作成される。同様に、表６５６に示される人物Ａ’の色構造から人物Ａ’の照合用テーブル６５７が作成される。
ステップＳ５６６において、特徴量照合部３４３は、照合テーブル６４７と照合テーブル６５７の同じクラスタ番号同士で当該クラスタ番号に対応するクラスタの類似度ＣＳを算出する。クラスタｉの類似度ＣＳｉは、照合テーブル６４７のクラスタ番号ｉの色特徴量が（Ｒ，Ｇ，Ｂ）、照合テーブル６５７のクラスタ番号ｉの色特徴量が（Ｒ’，Ｇ’，Ｂ’）とすると下式（５）により算出される。尚、色特徴量の各成分は０〜２５５の範囲の値である。
ＣＳｉ＝１−（（（|Ｒ−Ｒ’|）／２５５）＋（|Ｇ−Ｇ’|）／２５５）＋（|Ｂ−Ｂ’|）／２５５））／３） ・・・（５）
ステップＳ５６７において、特徴量照合部３４３は、各クラスタｉの隣接クラスタの類似度（Ａｓｉ）を算出する。類似度（Ａｓｉ）は、下式（６）により算出される。
Ｓｊは、照合テーブル６４６と照合テーブル６５６のクラスタ番号（ｉ）の隣接クラスタ番号において、一致する隣接クラスタ番号のうちのｊ番目の隣接クラスタ番号（ｋ）に対応するクラスタｋの類似度（ＣＳｋ）であり、上式（５）から算出される。ｔｎは、一致する隣接クラスタ番号の数である。ｃｎは、照合テーブル６４７のクラスタ番号（ｉ）の隣接クラスタ番号の数である。尚、ｃｎは、照合テーブル６５７のクラスタ番号（ｉ）の隣接クラスタ番号の数でもよい。
例えば、図２１において、照合テーブル６４７のクラスタ番号（２）の隣接クラスタ番号は（１）、（４）であり、照合テーブル６５７のクラスタ番号（２）の隣接クラスタ番号は（１）、（４）である。クラスタ番号（２）の一致する隣接クラスタ番号は、（１）、（４）である。よって、一致するクラスタ番号の数ｔｎは２であり、１番目の隣接クラスタ番号は（１）、２番目の隣接クラスタ番号は（４）となる。また、照合テーブル６４７のクラスタ番号（２）の隣接クラスタ番号の数ｃｎは２となる。上式（６）より、クラスタ２の隣接クラスタの類似度（Ａｓ２）は、Ａｓ２＝（１／ｃｎ）×（Ｓ１＋Ｓ２）＝（１／２）×（Ｃｓ１＋Ｃｓ４）となる。
ステップＳ５６８において、特徴量照合部３４３は、各クラスタの類似度（ＣＳｉ）と隣接クラスタの類似度（ＡＳｉ）から人物の一致度（Ｐｓ）を算出する。一致度（Ｐｓ）は、下式（７）により算出される。
ｔｍは、照合用テーブル６４７または照合用テーブル６５７のクラスタ（クラスタ番号）の数である。ｃｍは、人物Ａの色構造のクラスタの数、すなわち表６４６に示す色構造のクラスタ（クラスタ番号）の数である。例えば、図２１において、照合用テーブル６４７のクラスタの数ｔｍは６、表６４６に示す人物Ａの色構造のクラスタの数ｃｍは８である。一致度（Ｐｓ）は、各クラスタの類似度（ＣＳｉ）と隣接クラスタの類似度（ＡＳｉ）の積和をｃｍで除算した値である。
ステップＳ５６９において、判定部３４４は、一致度（Ｐｓ）と閾値とを比較する。判定部３４４は、一致度が閾値以上である場合、人物Ａと人物Ａ’とが同一人物であると判定する。判定部３４４は、一致度が閾値未満である場合、人物Ａと人物Ａ’とが同一人物でないと判定する。
実施例２は、遮蔽無し（ステップＳ５５３：Ｎｏ）且つ向き変化無し（ステップＳ５５６：Ｎｏ）の場合の判定処理の第２の方式について説明する。
図２２は、判定処理の第２の方式のフローチャートである。図２２は、図１８のステップＳ５５８に対応する。図２３は、第２の実施例を説明する図である。
上述のように、実施例２では、ステップＳ５５３において、遮蔽なしと判定され、ステップＳ５５６において、向き変化なしと判定されている。
上述の人物検出処理および色特徴抽出処理により、図２３において、人物Ａはクラスタリングされ楕円でモデル化されて、人物モデル６４２が生成されている。また、人物Ａに対応する特徴量テーブル３５２−Ａの色構造は、表６４６のようになる。同様に、人物Ａ’はクラスタリングされ楕円でモデル化されて、人物モデル６５２が生成されている。また、人物Ａ’に対応する特徴量テーブル３５２−Ａ’の色構造は、表６５６のようになる。
ステップＳ５７１において、照合範囲選択部３４２は、人物Ａと人物Ａ’の各クラスタの中心座標間の距離ｃｄを算出する。照合範囲選択部３４２は、人物Ａのクラスタごとに、人物Ａ’のクラスタのうち最小の距離（ｃｄｍｉｎ）となるクラスタを求める。ステップＳ５７１の処理は、ステップＳ５６１の処理と同様である。人物Ａのクラスタごとの人物Ａ’のクラスタのうち最小の距離となるクラスタを対応クラスタと称する。
ステップＳ５７２において、照合範囲選択部３４２は、人物Ａのクラスタごとの対応クラスタの重みｍを算出する。人物Ａのクラスタ（ｉ）と人物Ａ’の対応クラスタとの距離がｃｄｍｉｎであり、人物Ａを含む人物領域を正規化した人物領域の縦と横のそれぞれの大きさが（ｗ、ｈ）とすると、人物Ａのクラスタ（ｉ）の対応クラスタの重みｍｉは、ｍｉ＝１−（ｃｄｍｉｎ／（ｗ２＋ｈ２）１／２）により算出される。
ステップＳ５７３、Ｓ５７４の処理は、それぞれステップＳ５６４、Ｓ５６５の処理と同様であるため、説明は省略する。実施例２では、表６４６に示される人物Ａの色構造から人物Ａの照合テーブル６４８が作成される。また、人物Ａの各クラスタに対して、人物Ａ’のクラスタのうち最小の距離となるクラスタとして、クラスタ（８）が算出されなかったとする。すなわち、人物Ａ’のクラスタ（８）は、人物Ａのクラスタのいずれとも対応付けられていない。クラスタ番号および隣接クラスタ番号を振り直すときに、表６５６で示される人物Ａ’の色構造のクラスタ（８）のエントリは削除され、残ったクラスタ番号（１）〜（７）、（９）のエントリの隣接クラスタ番号から（８）は削除される。そして、表６５６に示される人物Ａ’の色構造のクラスタ番号（１）〜（７）、（９）に対応するエントリのクラスタ番号および隣接クラスタ番号を振り直すと、クラスタ番号（９）は、クラスタ番号（８）となる。そして、人物Ａ’の照合テーブル６５８が作成される。
ステップＳ５７５において、特徴量照合部３４３は、照合テーブル６４８と照合テーブル６５８の同じクラスタ番号同士で当該クラスタ番号に対応するクラスタの類似度ＣＳＭを算出する。クラスタｉの類似度ＣＳＭｉは、クラスタｉの類似度ＣＳｉとクラスタｉの対応クラスタの重みｍｉを用いて、下式（８）により算出される。
ＣＳＭｉ＝ＣＳｉ×ｍｉ ・・・（８）
ステップＳ５７６において、特徴量照合部３４３は、各クラスタｉの隣接クラスタの類似度（Ａｓｉ）を算出する。実施例２において、特徴量照合部３４３は、上式（６）で示される隣接クラスタの類似度（Ａｓｉ）の算出に際して、ＣＳｉの代わりにＣＳＭｉを用いて算出する。
ステップＳ５７７において、特徴量照合部３４３は、人物の一致度（Ｐｓ）を算出する。一致度（Ｐｓ）は、上式（７）において、ＣＳｉの代わりにＣＳＭｉを用いて算出する。尚、上述のように隣接クラスタの類似度（Ａｓｉ）は、ＣＳｉの代わりにＣＳＭｉを用いて算出された値を用いる。
ステップＳ５７８の処理は、ステップＳ５６９の処理と同様であるため、説明は省略する。
実施例３は、遮蔽有り（ステップＳ５５３：Ｙｅｓ）且つ向き変化無し（ステップＳ５５６：Ｎｏ）の場合について説明する。ここでは、ステップＳ５５２〜Ｓ５５４の処理の例について説明する。
図２４は、第３の実施例を説明する図である。
上述の人物検出処理および色特徴抽出処理により、図２４において、人物領域６４１の人物Ａはクラスタリングされ楕円でモデル化されて、人物モデル６４２が生成されている。また、人物Ａに対応する特徴量テーブル３５２−Ａの色構造は、表６４６のようになる。同様に、人物領域６６１の人物Ａ’はクラスタリングされ楕円でモデル化されて、人物モデル６６２が生成されている。また、人物Ａ’に対応する特徴量テーブル３５２−Ａ’の色構造は、表６６６のようになる。また、人物領域６６１の右下部分には、人物Ａ’が映っていない遮蔽部分がある。
照合範囲選択部３４２は、特徴量テーブル３５２−Ａ、３５２−Ａ’を参照すると、特徴量テーブル３５２−Ａ’の遮蔽の面積ＳＳ１が４０であり、０より大きいため、遮蔽部分ありと判定する（ステップＳ５５２，Ｓ５５３：Ｙｅｓ）。
照合範囲選択部３４２は、人物領域６４１の遮蔽部分と人物領域６６１に遮蔽部分との合計部分の座標を算出する。図２４において、人物領域６６１にのみ遮蔽部分があるため、合計部分は、人物領域６６１の遮蔽部分と同じとなる。照合範囲選択部３４２は、合計部分に中心座標が含まれる人物Ａ，Ａ’のクラスタを検出する。
照合範囲選択部３４２は、表６４６に示される各クラスタの中心の座標に基づいて、合計部分に中心の座標が含まれる人物Ａのクラスタを検出する。図２４において、合計部分に含まれるクラスタとして、人物Ａのクラスタ（７）、（８）が検出されたとする。同様に、照合範囲選択部３４２は、表６６６に示される各クラスタの中心の座標に基づいて、合計部分に中心の座標が含まれる人物Ａ’のクラスタを検出する。ここでは、合計部分に含まれる人物Ａ’のクラスタは、検出されなかったとする。
照合範囲選択部３４２は、合計部分に含まれる人物Ａのクラスタ（７）、（８）のエントリを表６４６で示す色構造から除去する（ステップＳ５５４）。また、照合範囲選択部３４２は、表６４６において、残ったクラスタ番号（１）〜（６）のエントリの隣接クラスタ番号から（７）、（８）を削除する。
以下、表６４６で示される人物Ａの色構造からクラスタ（７）、（８）を削除した色構造と、表６６６で示される人物Ａ’の色構造を用いて、ステップＳ５５５〜Ｓ５５８の処理が行われる。
第３の実施例において、それぞれの人物領域の遮蔽部分の合計部分に含まれるクラスタを各人物の色構造から削除している。すなわち、２つの人物領域の共通の範囲に含まれるクラスタを選択して照合を行うことで、判定処理において、人物の一致判定の精度が向上する。
実施例４は、遮蔽無し（ステップＳ５５３：Ｎｏ）且つ向き変化有り（ステップＳ５５６：Ｙｅｓ）の場合について説明する。ここでは、ステップＳ５５５〜Ｓ５５７の処理の例について説明する。
実施例４では、第１の撮影画像の第１の人物領域の人物Ａと第２の撮影画像の第２の人物領域の人物Ａ’とが同一人物であるか否かを判定する場合について説明する。
図２５は、第４の実施例を説明する図である。
上述の人物検出処理および色特徴抽出処理により、図２５において、第１の人物領域６４１の人物Ａはクラスタリングされ楕円でモデル化されて、人物モデル６４２が生成されている。また、人物Ａに対応する特徴量テーブル３５２−Ａの色構造は、表６４６のようになる。同様に、第２の人物領域６７１の人物Ａ’はクラスタリングされ楕円でモデル化されて、人物モデル６７２が生成されている。また、人物Ａ’に対応する特徴量テーブル３５２−Ａ’の色構造は、表６７６のようになる。
照合範囲選択部３４２は、人物Ａと人物Ａ’の向きの変化量を算出する（ステップＳ５５５）。詳細には、照合範囲選択部３４２は、特徴量テーブル３５２−Ａ、３５２−Ａ’を参照し、特徴量テーブル３５２−Ａ、３５２−Ａ’に記載の向きθＡ＝４５、θＡ’＝９０から向きの変化量Δθ＝｜θＡ−θＡ’｜を算出する。
照合範囲選択部３４２は、変化量Δθが閾値より大きいか否か判定する（ステップＳ５５６）。実施例４では、変化量Δθが閾値より大きく、向き変化有り（ステップＳ５５６：Ｙｅｓ）と判定される。
照合範囲選択部３４２は、人物領域６４１と人物領域６７１の共通領域を算出する（ステップＳ５５７）。共通領域は、人物領域６４１と人物領域６７１において、重畳する共通の部分領域である。すなわち、人物領域６４１と人物領域６７１の両方に映っている部分領域である。
共通領域は、例えば、特許文献５（特開２０１５−２５４７号公報）に記載の方法を用いて求める。特許文献５に記載の方法は、人物を図２６に示すような円柱にモデル化し、観測した人物領域を分割し、２つの人物領域で重畳して共通する領域を求め、当該領域の特徴量のみを照合対象としている。ここで、特許文献５に記載の共通領域の求め方について簡単に説明する。
図２６は、人物を円柱にモデル化した図である。
特許文献５に記載の方法は、人物を図２６に示すような円柱にモデル化する。
図２７は、人物をモデル化した円柱の横表面を一定度刻みで分割した領域を示す図である。図２７の左側は、人物はカメラの光軸に対して９０度方向に移動する人物を上から見た図であり、右側は、人物をモデル化した円柱の横表面を一定度刻みで分割した領域を示す。カメラの光軸に対して人物の向きが分かれば、向き毎に人物が映る範囲は特定可能である。カメラが観測可能な領域の角度を１４０度とすると、人物の映る範囲は１１０度から２５０度までの領域であり、１１０度から２５０度までの領域は灰色で示されている。
図２８は、人物の映る範囲の例を示す図である。
人物の向きが異なってもカメラに映る人物の体領域は重畳する共通の部分領域が観測できる。例えば、人物Ａの向きが４５度の場合、人物Ａの映る範囲は２０度から１６０度までの領域となり、人物領域６４１には、２０度から１６０度まで範囲が映っている。人物Ａ’の向きが９０度の場合、人物Ａ’の映る範囲は６５度から２０５度までの領域となり、人物領域６７１には、６５度から２０５度まで範囲が映っている。従って、人物領域６４１と人物領域６７１の共通領域は、それぞれの人物領域において６５度から１６０度の範囲に対応する領域となる。
照合範囲選択部３４２は、人物領域６４１のうち、共通領域以外の部分、すなわち２０度から６５度の範囲（除去部分）に中心座標が含まれるクラスタを検出し、当該クラスタのエントリを表６４６で示される色構造から除去する。
照合範囲選択部３４２は、人物領域６７１のうち、共通領域以外の部分、すなわち１６０度から２０５度の範囲（除去部分）に中心座標が含まれるクラスタを検出し、当該クラスタのエントリを表６７６で示される色構造から除去する。
図２５において、人物Ａ’のクラスタのうち、クラスタ（４）、（７）が除去部分に含まれており、照合範囲選択部３４２は、表６７６で示される色構造からクラスタ（４）、（７）のエントリを削除する。また、照合範囲選択部３４２は、残ったクラスタ番号（１）〜（３）、（５）、（６）、（８）、（９）のエントリの隣接クラスタ番号から（４）、（７）を削除する。
以下、表６４６で示される人物Ａの色構造と、表６７６で示される人物Ａ’の色構造からクラスタ（４）、（７）のエントリを削除した色構造とを用いて、ステップＳ５５８の判定処理が行われる。
第４の実施の形態において、２つの人物領域のそれぞれ人物の共通領域以外のクラスタを削除し、共通領域に含まれるクラスタを用いて、判定処理を行うことで、人物の同一部分同士の照合ができ、人物の一致判定の精度が向上する。
実施例５は、遮蔽有り（ステップＳ５５３：Ｙｅｓ）且つ向き変化有り（ステップＳ５５６：Ｙｅｓ）の場合について説明する。
図２９は、第５の実施例を説明する図である。
上述の人物検出処理および色特徴抽出処理により、図２９において、第１の人物領域６４１の人物Ａはクラスタリングされ楕円でモデル化されて、人物モデル６４２が生成されている。また、人物Ａに対応する特徴量テーブル３５２−Ａの色構造は、表６４６のようになる。同様に、第２の人物領域６８１の人物Ａ’はクラスタリングされ楕円でモデル化されて、人物モデル６８２が生成されている。また、人物Ａ’に対応する特徴量テーブル３５２−Ａ’の色構造は、表６８６のようになる。
実施例５では、上述の実施例３の遮蔽有り（ステップＳ５５３：Ｙｅｓ）の場合の処理と実施例４の向き変化有り（ステップＳ５５６：Ｙｅｓ）の場合の両方が行われる。
照合範囲選択部３４２は、特徴量テーブル３５２−Ａ、３５２−Ａ’を参照すると、特徴量テーブル３５２−Ａ’の遮蔽の面積ＳＳ１が４０であり、０より大きいため、遮蔽部分ありと判定する（ステップＳ５５２，Ｓ５５３：Ｙｅｓ）。
照合範囲選択部３４２は、人物領域６４１の遮蔽部分と人物領域６６１に遮蔽部分との合計部分の座標を算出する。図２９において、人物領域６８１にのみ遮蔽部分があるため、合計部分は、人物領域６８１の遮蔽部分と同じとなる。照合範囲選択部３４２は、合計部分に中心座標が含まれる人物Ａ，Ａ’のクラスタを検出する。
照合範囲選択部３４２は、表６４６に示される各クラスタの中心の座標に基づいて、合計部分に中心の座標が含まれる人物Ａのクラスタを検出する。図２９において、合計部分に含まれるクラスタとして、人物Ａのクラスタ（７）、（８）が検出されたとする。同様に、照合範囲選択部３４２は、表６８６に示される各クラスタの中心の座標に基づいて、合計部分に中心の座標が含まれる人物Ａ’のクラスタを検出する。合計部分に含まれるクラスタとして、人物Ａ’のクラスタ（９）が検出されたとする。
照合範囲選択部３４２は、合計部分に含まれる人物Ａのクラスタ（７）、（８）のエントリを表６４６で示す色構造から除去し、人物Ａ’のクラスタ（９）のエントリを表６８６で示す色構造から除去する（ステップＳ５５４）。また、照合範囲選択部３４２は、表６４６において、残ったクラスタ番号（１）〜（６）のエントリの隣接クラスタ番号から（７）、（８）を削除する。照合範囲選択部３４２は、表６８６において、残ったクラスタ番号（１）〜（８）のエントリの隣接クラスタ番号から（９）を削除する。
照合範囲選択部３４２は、人物Ａと人物Ａ’の向きの変化量を算出する（ステップＳ５５５）。詳細には、照合範囲選択部３４２は、特徴量テーブル３５２−Ａ、３５２−Ａ’を参照し、特徴量テーブル３５２−Ａ、３５２−Ａ’に記載の向きθＡ＝４５、θＡ’＝９０から向きの変化量Δθ＝｜θＡ−θＡ’｜を算出する。
照合範囲選択部３４２は、変化量Δθが閾値より大きいか否か判定する（ステップＳ５５６）。実施例５では、変化量Δθが閾値より大きく、向き変化有り（ステップＳ５５６：Ｙｅｓ）と判定される。
照合範囲選択部３４２は、人物領域６４１と人物領域６７１の共通領域を求める（ステップＳ５５７）。
照合範囲選択部３４２は、人物領域６４１のうち、共通領域以外の部分、すなわち２０度から６５度の範囲（除去部分）に中心座標が含まれるクラスタを検出し、当該クラスタのエントリを表６４６で示される色構造から除去する。
照合範囲選択部３４２は、人物領域６８１のうち、共通領域以外の部分、すなわち１６０度から２０５度の範囲（除去部分）に中心座標が含まれるクラスタを検出し、当該クラスタのエントリを表６８６で示される色構造から除去する。
図２９において、人物Ａ’のクラスタのうち、クラスタ（４）、（７）が除去部分に含まれており、照合範囲選択部３４２は、表６８６で示される色構造からクラスタ（４）、（７）のエントリを削除する。また、照合範囲選択部３４２は、残ったクラスタ番号（１）〜（３）、（５）、（６）、（８）のエントリの隣接クラスタ番号から（４）、（７）を削除する。
以下、表６４６で示される人物Ａの色構造からクラスタ（７）、（８）のエントリが削除された色構造と、表６８６で示される人物Ａ’の色構造からクラスタ（４）、（７）、（９）のエントリが削除された色構造とを用いて、ステップＳ５５８の判定処理が行われる。
第５の実施例において、それぞれの人物領域の遮蔽部分の合計部分に含まれるクラスタを各人物の色構造から削除し、クラスタが除去された色構造を用いて、判定処理を行うことで、人物の同一部分同士の比較ができ、人物の一致判定の精度が向上する。
第５の実施の形態において、２つの人物領域のそれぞれ人物の共通領域以外のクラスタを削除し、共通領域に含まれるクラスタを用いて、判定処理を行うことで、人物の同一部分同士の照合ができ、人物の一致判定の精度が向上する。
実施の形態に係るシステムによれば、照合対象のクラスタの数が一致し、同一の部位のクラスタで照合できるため、人物の一致判定の精度を向上させることが出来る。
図３０は、情報処理装置（コンピュータ）の構成図である。
実施の形態のサーバ装置３０１は、例えば、図３０に示すような情報処理装置（コンピュータ）１によって実現可能である。
情報処理装置１は、ＣＰＵ２、メモリ３、入力装置４、出力装置５、記憶部６、記録媒体駆動部７、及びネットワーク接続装置８を備え、それらはバス９により互いに接続されている。
ＣＰＵ２は、情報処理装置１全体を制御する中央処理装置である。ＣＰＵ２は、画像入力部３１１、人物検出部３２１、色特徴抽出部３３１、照合部３４１、および出力部３６１として動作する。
メモリ３は、プログラム実行の際に、記憶部６（あるいは可搬記録媒体１０）に記憶されているプログラムあるいはデータを一時的に格納するRead Only Memory(ＲＯＭ)やRandom Access Memory(ＲＡＭ)等のメモリである。ＣＰＵ２は、メモリ３を利用してプログラムを実行することにより、上述した各種処理を実行する。
この場合、可搬記録媒体１０等から読み出されたプログラムコード自体が実施の形態の機能を実現する。
入力装置４は、ユーザ又はオペレータからの指示や情報の入力、情報処理装置１で用いられるデータの取得等に用いられる。入力装置４は、例えば、キーボード、マウス、タッチパネル、カメラ、またはセンサ等である。
出力装置５は、ユーザ又はオペレータへの問い合わせや処理結果を出力したり、ＣＰＵ２による制御により動作する装置である。出力装置５は、例えば、ディスプレイ、またはプリンタ等である。
記憶部６は、例えば、磁気ディスク装置、光ディスク装置、テープ装置等である。情報処理装置１は、記憶部６に、上述のプログラムとデータを保存しておき、必要に応じて、それらをメモリ３に読み出して使用する。メモリ３および記憶部６は、記憶部３５１に対応する。
記録媒体駆動部７は、可搬記録媒体１０を駆動し、その記録内容にアクセスする。可搬記録媒体としては、メモリカード、フレキシブルディスク、Compact Disk Read Only Memory(ＣＤ−ＲＯＭ)、光ディスク、光磁気ディスク等、任意のコンピュータ読み取り可能な記録媒体が用いられる。ユーザは、この可搬記録媒体１０に上述のプログラムとデータを格納しておき、必要に応じて、それらをメモリ３に読み出して使用する。
ネットワーク接続装置８は、Local Area Network（ＬＡＮ）やWide Area Network（ＷＡＮ）等の任意の通信ネットワークに接続され、通信に伴うデータ変換を行う通信インターフェースである。ネットワーク接続装置８は、通信ネットワークを介して接続された装置へデータの送信または通信ネットワークを介して接続された装置からデータを受信する。
以上の実施の形態に関し、さらに以下の付記を開示する。
（付記１）
撮像装置で撮像された画像から第１の人物領域を抽出し、
抽出した前記人物領域から色特徴量を抽出し、
前記人物領域から抽出した前記色特徴量の前記人物領域における位置関係を特定し、
前記人物領域から抽出した色特徴量に、複数の色特徴量と該複数の色特徴量に対応する色の合成色に対応する色特徴量が含まれ、前記合成色に対応する色特徴量と前記複数の色特徴量とが隣接する位置関係を有することを検出すると、前記人物領域内に含まれる前記合成色に対応する色特徴量を除く第１の色特徴量と、他の撮像装置で撮像された画像から抽出された第２の人物領域から抽出された第２の色特徴量とを比較する、
処理をコンピュータに実行させる特徴量比較プログラム。
（付記２）
前記比較する処理は、前記第１の人物領域のうち前記第１の人物領域以外の領域と重畳している領域および第２の人物領域のうち前記第２の人物領域以外の領域と重畳している領域の合計領域を算出し、前記第１の色特徴量から前記合計領域に含まれる色特徴量を除く第３の色特徴と、前記第２の色特徴から前記合計領域に含まれる色特徴量を除く第４の色特徴量とを比較することを特徴とする付記１記載の特徴量比較プログラム。
（付記３）
前記比較する処理は、
前記第１の人物領域の第１の人物の向きおよび前記第２の人物領域の第２の人物の向きに基づいて、前記第１の人物領域と前記第２の人物領域で共通する領域を算出し、
前記第１の色特徴から前記第１の人物領域のうち前記共通する領域以外の領域に含まれる色特徴を除く第５の色特徴量と、前記第２の色特徴から前記第２の人物領域のうち前記共通する領域以外の領域に含まれる色特徴を除く第６の色特徴量とを比較することを特徴とする付記１または２記載の特徴量比較プログラム。
（付記４）
前記比較する処理は、
前記第１の色特徴量に含まれる第１の複数の色特徴量と前記第２の色特徴に含まれる第２の複数の色特徴量との距離を算出し、前記第２の複数の色特徴量から最小の距離となる前記第１の複数の色特徴量のそれぞれに対応する色特徴を求め、
前記第１の色特徴から前記最小の距離が閾値より大きい色特徴を除く第７の色特徴と、前記第２の色特徴から前記最小の距離が閾値より大きい色特徴に対応する色特徴を除く８の色特徴とを比較することを特徴とする付記１乃至３のいずれか１項に記載の特徴量比較プログラム。
（付記５）
撮像装置で撮像された画像から第１の人物領域を抽出する人物領域抽出部と、
抽出した前記人物領域から色特徴量を抽出し、前記人物領域から抽出した前記色特徴量の前記人物領域における位置関係を特定する色特徴抽出部と、
前記人物領域から抽出した色特徴量に、複数の色特徴量と該複数の色特徴量に対応する色の合成色に対応する色特徴量が含まれ、前記合成色に対応する色特徴量と前記複数の色特徴量とが隣接する位置関係を有することを検出すると、前記人物領域内に含まれる前記合成色に対応する色特徴量を除く第１の色特徴量と、他の撮像装置で撮像された画像から抽出された第２の人物領域から抽出された第２の色特徴量とを比較する比較部と、
を備える情報処理装置。
（付記６）
前記比較部は、前記第１の人物領域のうち前記第１の人物領域以外の領域と重畳している領域および第２の人物領域のうち前記第２の人物領域以外の領域と重畳している領域の合計領域を算出し、前記第１の色特徴量から前記合計領域に含まれる色特徴量を除く第３の色特徴と、前記第２の色特徴から前記合計領域に含まれる色特徴量を除く第４の色特徴量とを比較することを特徴とする付記５記載の情報処理装置。
（付記７）
前記比較部は、
前記第１の人物領域の第１の人物の向きおよび前記第２の人物領域の第２の人物の向きに基づいて、前記第１の人物領域と前記第２の人物領域で共通する領域を算出し、
前記第１の色特徴から前記第１の人物領域のうち前記共通する領域以外の領域に含まれる色特徴を除く第５の色特徴量と、前記第２の色特徴から前記第２の人物領域のうち前記共通する領域以外の領域に含まれる色特徴を除く第６の色特徴量とを比較することを特徴とする付記５または６記載の情報処理装置。
（付記８）
前記比較部は、
前記第１の色特徴量に含まれる第１の複数の色特徴量と前記第２の色特徴に含まれる第２の複数の色特徴量との距離を算出し、前記第２の複数の色特徴量から最小の距離となる前記第１の複数の色特徴量のそれぞれに対応する色特徴を求め、
前記第１の色特徴から前記最小の距離が閾値より大きい色特徴を除く第７の色特徴と、前記第２の色特徴から前記最小の距離が閾値より大きい色特徴に対応する色特徴を除く８の色特徴とを比較することを特徴とする付記５乃至８のいずれか１項に記載の情報処理装置。
（付記９）
情報処理装置が実行する特徴量比較方法であって、
撮像装置で撮像された画像から第１の人物領域を抽出し、
抽出した前記人物領域から色特徴量を抽出し、
前記人物領域から抽出した前記色特徴量の前記人物領域における位置関係を特定し、
前記人物領域から抽出した色特徴量に、複数の色特徴量と該複数の色特徴量に対応する色の合成色に対応する色特徴量が含まれ、前記合成色に対応する色特徴量と前記複数の色特徴量とが隣接する位置関係を有することを検出すると、前記人物領域内に含まれる前記合成色に対応する色特徴量を除く第１の色特徴量と、他の撮像装置で撮像された画像から抽出された第２の人物領域から抽出された第２の色特徴量とを比較する、
処理を含む特徴量比較方法。
（付記１０）
前記比較する処理は、前記第１の人物領域のうち前記第１の人物領域以外の領域と重畳している領域および第２の人物領域のうち前記第２の人物領域以外の領域と重畳している領域の合計領域を算出し、前記第１の色特徴量から前記合計領域に含まれる色特徴量を除く第３の色特徴と、前記第２の色特徴から前記合計領域に含まれる色特徴量を除く第４の色特徴量とを比較することを特徴とする付記９記載の特徴量比較方法。
（付記１１）
前記比較する処理は、
前記第１の人物領域の第１の人物の向きおよび前記第２の人物領域の第２の人物の向きに基づいて、前記第１の人物領域と前記第２の人物領域で共通する領域を算出し、
前記第１の色特徴から前記第１の人物領域のうち前記共通する領域以外の領域に含まれる色特徴を除く第５の色特徴量と、前記第２の色特徴から前記第２の人物領域のうち前記共通する領域以外の領域に含まれる色特徴を除く第６の色特徴量とを比較することを特徴とする付記９または１０記載の特徴量比較方法。
（付記１２）
前記比較する処理は、
前記第１の色特徴量に含まれる第１の複数の色特徴量と前記第２の色特徴に含まれる第２の複数の色特徴量との距離を算出し、前記第２の複数の色特徴量から最小の距離となる前記第１の複数の色特徴量のそれぞれに対応する色特徴を求め、
前記第１の色特徴から前記最小の距離が閾値より大きい色特徴を除く第７の色特徴と、前記第２の色特徴から前記最小の距離が閾値より大きい色特徴に対応する色特徴を除く８の色特徴とを比較することを特徴とする付記９乃至１１のいずれか１項に記載の特徴量比較方法。
１０１ システム
２０１ カメラ
３０１ サーバ
３１１ 画像入力部
３２１ 人物検出部
３２２ 人物領域検出部
３２３ 人物向き算出部
３２４ 遮蔽面積算出部
３３１ 色特徴抽出部
３３２ 色領域分割部
３３３ 合成色判定部
３３４ 色構造作成部
３４１ 照合部
３４２ 照合範囲選択部
３４３ 特徴量照合部
３４４ 判定部
３５１ 記憶部
３６１ 出力部

Claims (6)

  1. 撮像装置で撮像された第１の画像から第１の人物領域を抽出し、
    抽出した前記人物領域から色特徴量を抽出し、
    前記人物領域から抽出した前記色特徴量の前記人物領域における位置関係を特定し、
    前記人物領域から抽出した色特徴量に、複数の色特徴量と該複数の色特徴量に対応する色の合成色に対応する色特徴量が含まれ、前記合成色に対応する色特徴量と前記複数の色特徴量とが隣接する位置関係を有することを検出すると、前記人物領域内に含まれる前記合成色に対応する色特徴量を除く第１の色特徴量と、他の撮像装置で撮像された第２の画像から抽出された第２の人物領域から抽出された第２の色特徴量とを比較する、
    処理をコンピュータに実行させる特徴量比較プログラム。
  2. 前記比較する処理は、前記第１の人物領域のうち前記第１の画像において前記第１の人物領域以外の人物領域と重畳している領域および前記第２の人物領域のうち前記第２の画像において前記第２の人物領域以外の人物領域と重畳している領域の合計領域を算出し、前記第１の色特徴量から前記合計領域に含まれる色特徴量を除く第３の色特徴量と、前記第２の色特徴量から前記合計領域に含まれる色特徴量を除く第４の色特徴量とを比較することを特徴とする請求項１記載の特徴量比較プログラム。
  3. 前記比較する処理は、
    前記第１の人物領域の第１の人物の向きおよび前記第２の人物領域の第２の人物の向きに基づいて、前記第１の人物領域と前記第２の人物領域で共通する領域を算出し、
    前記第１の色特徴量から前記第１の人物領域のうち前記共通する領域以外の領域に含まれる色特徴量を除く第５の色特徴量と、前記第２の色特徴量から前記第２の人物領域のうち前記共通する領域以外の領域に含まれる色特徴量を除く第６の色特徴量とを比較することを特徴とする請求項１または２記載の特徴量比較プログラム。
  4. 前記比較する処理は、
    前記第１の色特徴量に含まれる第１の複数の色特徴量と前記第２の色特徴量に含まれる第２の複数の色特徴量との距離を算出し、前記第２の複数の色特徴量から最小の距離となる前記第１の複数の色特徴量のそれぞれに対応する色特徴量を求め、
    前記第１の色特徴量から前記最小の距離が閾値より大きい色特徴量を除く第７の色特徴量と、前記第２の色特徴量から前記最小の距離が閾値より大きい色特徴量に対応する色特徴量を除く第８の色特徴量とを比較することを特徴とする請求項１乃至３のいずれか１項に記載の特徴量比較プログラム。
  5. 撮像装置で撮像された第１の画像から第１の人物領域を抽出する人物領域抽出部と、
    抽出した前記人物領域から色特徴量を抽出し、前記人物領域から抽出した前記色特徴量の前記人物領域における位置関係を特定する色特徴抽出部と、
    前記人物領域から抽出した色特徴量に、複数の色特徴量と該複数の色特徴量に対応する色の合成色に対応する色特徴量が含まれ、前記合成色に対応する色特徴量と前記複数の色特徴量とが隣接する位置関係を有することを検出すると、前記人物領域内に含まれる前記合成色に対応する色特徴量を除く第１の色特徴量と、他の撮像装置で撮像された第２の画像から抽出された第２の人物領域から抽出された第２の色特徴量とを比較する比較部と、
    を備える情報処理装置。
  6. 情報処理装置が実行する特徴量比較方法であって、
    撮像装置で撮像された第１の画像から第１の人物領域を抽出し、
    抽出した前記人物領域から色特徴量を抽出し、
    前記人物領域から抽出した前記色特徴量の前記人物領域における位置関係を特定し、
    前記人物領域から抽出した色特徴量に、複数の色特徴量と該複数の色特徴量に対応する色の合成色に対応する色特徴量が含まれ、前記合成色に対応する色特徴量と前記複数の色特徴量とが隣接する位置関係を有することを検出すると、前記人物領域内に含まれる前記合成色に対応する色特徴量を除く第１の色特徴量と、他の撮像装置で撮像された第２の画像から抽出された第２の人物領域から抽出された第２の色特徴量とを比較する、
    処理を含む特徴量比較方法。
JP2016094879A 2016-05-10 2016-05-10 特徴量比較プログラム、情報処理装置、および特徴量比較方法 Active JP6690090B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2016094879A JP6690090B2 (ja) 2016-05-10 2016-05-10 特徴量比較プログラム、情報処理装置、および特徴量比較方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016094879A JP6690090B2 (ja) 2016-05-10 2016-05-10 特徴量比較プログラム、情報処理装置、および特徴量比較方法

Publications (2)

Publication Number Publication Date
JP2017204095A JP2017204095A (ja) 2017-11-16
JP6690090B2 true JP6690090B2 (ja) 2020-04-28

Family

ID=60322896

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016094879A Active JP6690090B2 (ja) 2016-05-10 2016-05-10 特徴量比較プログラム、情報処理装置、および特徴量比較方法

Country Status (1)

Country Link
JP (1) JP6690090B2 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6973175B2 (ja) * 2018-02-27 2021-11-24 富士通株式会社 画像選択プログラム、情報処理装置、システム、および画像選択方法
JP7020263B2 (ja) * 2018-04-17 2022-02-16 富士通株式会社 体向き推定プログラム、体向き推定装置、及び体向き推定方法
JP7336835B2 (ja) * 2018-05-09 2023-09-01 コニカミノルタ株式会社 属性決定装置、属性決定システムおよび属性決定方法
JP7331924B2 (ja) * 2019-05-27 2023-08-23 日本電気株式会社 検索装置、制御方法、及びプログラム

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004072628A (ja) * 2002-08-08 2004-03-04 Univ Waseda 複数カメラを用いた移動体追跡システム及びその方法
JP6187261B2 (ja) * 2012-01-05 2017-08-30 日本電気株式会社 人物特徴量抽出システム、サーバおよび人物特徴量抽出方法
JP5940862B2 (ja) * 2012-03-30 2016-06-29 セコム株式会社 画像処理装置
JP6221390B2 (ja) * 2013-06-18 2017-11-01 富士通株式会社 画像処理装置、プログラム、および画像処理方法
JP2016057908A (ja) * 2014-09-10 2016-04-21 宮田　清蔵 万引き予防システム及びソフトウエア
JP6540445B2 (ja) * 2015-10-09 2019-07-10 富士通株式会社 同一判定プログラム、同一判定装置、および同一判定方法

Also Published As

Publication number Publication date
JP2017204095A (ja) 2017-11-16

Similar Documents

Publication Publication Date Title
US9405974B2 (en) System and method for using apparent size and orientation of an object to improve video-based tracking in regularized environments
JP6690090B2 (ja) 特徴量比較プログラム、情報処理装置、および特徴量比較方法
Mangawati et al. Object Tracking Algorithms for video surveillance applications
JP4653606B2 (ja) 画像認識装置、方法およびプログラム
JP5381569B2 (ja) ジェスチャ認識装置、ジェスチャ認識方法、およびジェスチャ認識プログラム
US11915518B2 (en) Facial authentication device, facial authentication method, and program recording medium
Sun et al. Moving foreground object detection via robust SIFT trajectories
CN106603968B (zh) 信息处理装置及信息处理方法
JP6973175B2 (ja) 画像選択プログラム、情報処理装置、システム、および画像選択方法
KR20110074107A (ko) 카메라를 이용한 오브젝트 검출 방법
CN111382637A (zh) 行人检测跟踪方法、装置、终端设备及介质
US20230394792A1 (en) Information processing device, information processing method, and program recording medium
CN111066023A (zh) 检测系统、检测设备及其方法
JP2010057105A (ja) オブジェクトの３次元追跡方法およびシステム
JP7354767B2 (ja) 物体追跡装置および物体追跡方法
JP7188240B2 (ja) 人検出装置および人検出方法
JPWO2019044038A1 (ja) 撮影対象追跡装置及び撮影対象追跡方法
JP2008035301A (ja) 移動体追跡装置
Lin et al. Face occlusion detection for automated teller machine surveillance
US11544926B2 (en) Image processing apparatus, method of processing image, and storage medium
JP6659095B2 (ja) 画像処理装置、画像処理方法及びプログラム
JP6384167B2 (ja) 移動体追跡装置及び移動体追跡方法、並びにコンピュータ・プログラム
Gautam et al. Computer vision based asset surveillance for smart buildings
JP7255173B2 (ja) 人検出装置および人検出方法
JP7215569B2 (ja) オブジェクト特徴量抽出装置、オブジェクト特徴量抽出方法及びプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190212

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200124

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200128

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200225

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20200225

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20200225

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200303

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200316

R150 Certificate of patent or registration of utility model

Ref document number: 6690090

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150