JP6090162B2 - 部位分離位置抽出装置、プログラム、方法 - Google Patents

Description

本発明は部位分離位置抽出装置、プログラム、方法に関する。

監視者等は、監視目的として設置されたカメラから不審者を発見し、その人物の特徴を表現するために、人物が身に着けている服装の色や形状、種類などの情報を活用できる。また、監視者等は、服飾品の販売店へ来る客の傾向を把握するためのマーケティング情報を収集するために、人物が身に着けている服装の色や形状、種類などの情報を活用できる。
この分野に関し、特許文献１には、特定の服を着ている人物が写っている画像の検索方法の一例が開示されている。また、特許文献２には、入力画像と類似する画像を検索する画像検索方法の一例が開示されている。

特開２００８−１３９９４１号公報 特開２００７−０２６３８６号公報

しかし、上述の方法は、画像上の人物や物体等の領域を分離して抽出することができない。その結果、上述の方法は、画像情報から、人物が身に着けている服装等を分離して抽出することもできない。
本発明の目的は、上記課題を解決するため、画像上の人物や物体等の領域を分離して抽出することができる部位分離位置抽出装置、プログラム、方法を提供することである。

上記目的を達成するため、本発明は、画像上の人物領域ごとに、前記画像上の所定軸に平行な複数の軸と、前記画像に含まれる人物領域と、が交わった各々の線分について算出される特徴量の値の、前記所定軸に対する垂直軸上の位置の変化に対する変化量をモデルとして格納する特徴変化モデル蓄積手段と、外部からの入力画像の人物領域に対して前記変化量を算出し、当該変化量と、前記モデルの変化量との比較を行ない、類似する変化量をもつモデルを前記特徴変化モデル蓄積手段から抽出し、抽出されたモデルの変化量の値が所定値以上の箇所であるピーク位置を出力する部位分離位置抽出処理手段と、を備える部位分離位置抽出装置を提供する。
また、本発明は、画像上の人物領域ごとに、前記画像上の所定軸に平行な複数の軸と、前記画像に含まれる人物領域と、が交わった各々の線分について算出される特徴量の値の、前記所定軸に対する垂直軸上の位置の変化に対する変化量をモデルとして格納する特徴変化モデル蓄積手段を備えるコンピュータに、外部からの入力画像の人物領域に対して前記変化量を算出し、当該変化量と、前記特徴変化モデル蓄積手段に格納された前記変化量との比較を行ない、類似する変化量をもつモデルを抽出し、抽出されたモデルの変化量の値が所定値以上の箇所であるピーク位置を出力する部位分離位置抽出処理ステップを実行させる部位分離位置抽出プログラムを格納するプログラム記憶媒体を提供する。
また、本発明は、画像上の人物領域ごとに、前記画像上の所定軸に平行な複数の軸と、前記画像に含まれる人物領域と、が交わった各々の線分について算出される特徴量の値の、前記所定軸に対する垂直軸上の位置の変化に対する変化量をモデルとして格納し、外部からの入力画像の人物領域に対して前記変化量を算出し、当該変化量と、前記特徴変化モデル蓄積手段に格納された前記変化量との比較を行ない、類似する変化量をもつモデルを抽出し、抽出されたモデルの変化量の値が所定値以上の箇所であるピーク位置を出力する部位分離位置抽出方法を提供する。

本発明によれば、画像上の人物や物体等の領域を分離して抽出することができる部位分離位置抽出装置、プログラム、方法を提供することができる。

第１の実施の形態の構成の一例を示すブロック図である。 第１の実施の形態の動作の一例を示すフローチャート図である。 第２の実施の形態の構成の一例を示すブロック図である。 第２の実施の形態の動作の一例を示すフローチャート図である。 第３の実施の形態の構成の一例を示すブロック図である。 第４の実施の形態の構成の一例を示すブロック図である。 第５の実施の形態の構成の一例を示すブロック図である。 第６の実施の形態の構成の一例を示すブロック図である。 第７の実施の形態の構成の一例を示すブロック図である。 第７の実施の形態の動作の一例を示すフローチャート図である。 部位分離可否判定情報の一例を説明する図である。 人物領域の鉛直方向における特徴変化量と部位分離位置の一例を示す図である。 部位分離位置出力処理部と服装領域特徴抽出処理部の一例を示す図である。 特徴変化モデル蓄積部に蓄積される関連付けリスト情報の一例である。 特徴変化モデル蓄積部に蓄積される関連付けリスト情報の一例である。 水平方向特徴変化モデル蓄積部１０３に格納される部位分離区間の一例を示す図である。 第８の実施の形態の構成の一例を示すブロック図である。

以下、本発明の実施の形態について、図面を用いて説明する。すべての図面において、同様な構成要素には同様の符号を付し、適宜説明を省略する。
なお、各実施形態の装置等を構成する各部は、制御部、メモリ、メモリにロードされたプログラム、プログラムを格納するハードディスク等の記憶ユニット、ネットワーク接続用インターフェースなどからなり、ハードウェアとソフトウェアの任意の組合せによって実現される。そして特に断りのない限り、その実現方法、装置は限定されない。
また、制御部はＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）などからなり、オペレーティングシステムを動作させて装置等の全体を制御するとともに、例えばドライブ装置などに装着された記録媒体からメモリにプログラムやデータを読み出し、これに従って各種の処理を実行する。
記録媒体は、例えば光ディスク、フレキシブルディスク、磁気光ディスク、外付けハードディスク、半導体メモリ等であって、コンピュータプログラムをコンピュータが読み取り可能に記録する。また、コンピュータプログラムは、通信網に接続されている図示しない外部コンピュータからダウンロードされても良い。ここで、特に断りの無い限り、通信網は、インターネット、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、公衆回線網、無線通信網、または、これらの組み合わせ等によって構成されるネットワーク等であって良い。
各実施形態の装置等を構成する各部は、論理回路等のハードウェアやソフトウェア等の組み合わせによって構成される。各実施形態の説明において利用するブロック図は、ハードウェア単位の構成ではなく、機能単位の構成を示している。これらの機能ブロックはハードウェア、ソフトウェアの任意の組み合わせによって実現される。また、これらの図においては、各実施形態の構成部は物理的に結合した一つの装置により実現されるよう記載されている場合もあるが、その実現手段はこれに限定されない。すなわち、各実施形態で説明される構成部、装置、システム等は、二つ以上の物理的に分離した装置を有線または無線で接続することにより複数の装置により実現されてもよい。また、各構成部が物理的に分離した２つ以上装置として記載されている場合もあるが、その実現手段はこれに限定されない。すなわち、物理的に結合した一つの装置により実現されるようにハードウェア、ソフトウェアを任意に組み合わせることにより各実施形態の各構成部、装置、システム等が実現されてもよい。
（第１の実施の形態）
まず、第１の実施の形態について図１を用いて説明する。
図１は、本発明の第１の実施の形態で、部位分離位置抽出装置１の一例を示すブロック図である。部位分離位置抽出装置１には部位分離位置出力処理部２が含まれる。部位分離位置出力処理部２には、部位分離位置抽出処理部１０１と特徴変化モデル蓄積部１０２が含まれ、部位分離位置抽出処理部１０１に特徴変化モデル蓄積部１０２が接続されている。
特徴変化モデル蓄積部１０２は、図１２のように、人物が写っている画像上で定義される所定軸方向、例えば、人物の鉛直方向（頭部と足部とを結ぶ軸方向）の画像特徴量（後述）の変化量（特徴変化量）、あるいは、当該変化量と、服装や体の部位の分離位置（頭頂、Ｔシャツ上端、Ｔシャツ下端、スカート上端、スカート下端頭部などの、服装や体の部位の境目の箇所）を示す部位分離位置と、を関連付けた特徴変化モデルを蓄積する。画像特徴量と特徴変化量については後述する。
次に、部位分離位置出力処理部２が、特徴変化モデル蓄積部１０２に特徴変化モデルを蓄積する方法について説明する。部位分離位置出力処理部２は、外部から入力された画像情報（単に画像ともいう）から人物の領域を示す人物領域を既存の方法を用いて抽出し、その人物領域のサイズを、鉛直方向の所定のサイズに拡大ないし縮小することで人物領域のサイズを正規化する。また、部位分離位置出力処理部２は、人物領域を水平方向にスキャンする、すなわち、水平方向軸に平行な軸と人物領域とが交わった線分上の画素値（例えば、画素の色の種類や強さ、明るさを表す数値等）を基に、人物の鉛直方向の軸上の各位置における服装の特徴を示す画像特徴量を算出する（後述の式１参照）。なお、鉛直方向は、画像の人物の頭部と足部とを結ぶ軸方向であり、部位分離位置出力処理部２が公知の方法を用いて画像から算出しても良いし、予めカメラの垂直方向が鉛直方向と一致するようにカメラが設定されており、部位分離位置出力部２は画像の垂直方向を鉛直方向としても良い。
そして、部位分離位置出力処理部２は、人物領域の鉛直方向で起こる画像特徴量の変化を示す特徴変化量を算出し、該特徴変化量を、人物が着ている服装の種類と対応付ける。なお、画像上の人物が着ている服装の情報は予め与えられている。
部位分離位置出力処理部２は、服装ごとに、各特徴変化量を求める（図１２参照）。また、部位分離位置出力処理部２は、各特徴変化量のピークの位置を部位分離位置とし、部位分離位置と、求めた変化量とを関連付けた情報を、上述の特徴変化モデルとして、特徴変化モデル蓄積部１０２に蓄積する。
ところで、服装の種類ごとに特徴変化量が分類された際、各分類の特徴変化量同士が類似することがある。例えば、セーターとジーンズという服装から求めた特徴変化量と、Ｙシャツとスラックスという服装から求めた特徴変化量は類似する可能性が高い。そのため、部位分離位置出力処理部２は、類似する特徴変化量を１つにまとめても良い。例えば、部位分離位置出力処理部２は、類似する特徴変化量を１つの特徴変化量にまとめる際に、各特徴変化量の平均を用いて特徴変化量をまとめても良いし、特徴変化量同士が殆ど同じなら、類似する特徴変化量の中から代表とする特徴変化量を所定の基準で１つ選択しても良い。また、部位分離位置出力処理部２は、複数の特徴変化量の代表となる特徴変化量を算出する他の手法を用いてもかまわない。
部位分離位置出力処理部２は、部位分離位置が類似する服装を集める際に、部位分離位置の数や部位分離位置間の差分距離を用いて算出した類似度を用いたり、ＤＰ（ＤｙｎａｍｉｃＰｒｏｇｒａｍｍｉｎｇ）マッチング等の手法を用いて算出した類似度を用いたりすることができるが、その他の類似度算出手法を用いても良い。
また、部位分離位置出力処理部２は、人物の服装の特徴を示す画像特徴量の算出方法として、人物領域に含まれる画像を水平方向にスキャンすることで得た画素値を利用する代わりに以下の方法を用いても良い。すなわち、部位分離位置出力処理部２は、人物領域に含まれる、ある画素の画素値を抽出し、その画素値と、その画素の周辺にある画素の画素値とを基に画像特徴量を算出し、その画像特徴量を水平方向にスキャンすることで新たな画像特徴量を算出しても良い。例えば、部位分離位置出力処理部２は、１画素ではなく、複数画素をまとめて１つの画素とみなして、それらの複数画素の画素値の平均値を水平方向にスキャンすることで画像特徴量を算出しても良い。
なお、部位分離位置出力処理部２は、部位分離位置で分けられた区間（部位分離区間）に対して服装の名称や体の部位の名称（部位総称情報）を付与し、特徴変化モデルとして特徴変化モデル蓄積部１０２に蓄積しても良い。例えば、図１２のようにＴシャツにスカート、ストッキング、靴を身に着けている女性は、少なくとも頭頂、Ｔシャツ上端、Ｔシャツ下端、スカート上端、スカート下端、靴の間に部位分離位置が存在する。したがって、部位分離位置出力処理部２は、例えば、区間長と部位総称情報とが対応付けられて記憶された不図示記憶部を参照して、各々の部位分離区間に顔、Ｔシャツ、スカート、脚という部位総称情報を付与してもよい。
ところで、種類が異なる服装であっても、鉛直方向の服装の丈の長さが同程度の服装は多く存在する。そのため、類似する特徴変化量を１つにまとめる場合に、種類が異なる服装の特徴変化量がまとめられて同一の特徴変化モデルが算出される可能性が高い。そこで、部位分離位置出力処理部２は、特徴変化モデルに含まれる特徴変化量を算出する際に、丈の長さが類似する服装をまとめた部位総称情報の名称をさらに加えてもよい。例えば、部位分離位置出力処理部２は、Ｔシャツ、ジャージ、ブルゾン、ニットなどを“短い上半身の服装（上半身１）”、という分類名にしても良いし、ロングコート、雨合羽などを“長い上半身の服装（上半身２）”、ミニスカート、ショートパンツ、ハーフパンツを“短い下半身の服装（下半身１）”、七部丈のズボンやロングスカートなど足首付近などが見える下半身の服装を“中間丈の下半身の服装（下半身２）”、足首が見えないような長いズボン、ロングスカートなどを“長い下半身の服装（下半身３）”という分類名にしてもよい。さらに、部位分離位置出力処理部２は、部位分離区間だけでなく、服装全体についての部位総称情報を特徴変化モデルに付与してもよい。例えばジャケットと、スラックスとの組み合わせには、“スーツ類”という部位総称情報が付与されても良い。
ところで、服装によっては、その服装を身につけられる性別が定まっている場合がある。そのため、部位分離位置出力処理部２は、服装ごとに定まっている男性、女性、男女兼用などの情報（部位性別情報）を特徴変化モデルに付与しても良い。部位分離位置出力処理部２は、この部位性別情報も、特徴変化モデル蓄積部１０２に保存しても良い。部位分離位置出力処理部２は、例えば、スカートを身に着ける人物は一般に女性であるため、例えば、部位総称情報と部位性別情報とが対応付けられて記憶された不図示記憶部を参照して、スカートに部位性別情報として女性を付与することが可能である。
部位分離位置出力処理部２は、さらに、人物の性別、年齢、身長、人種、髪型（長さなど）などの属性情報を、部位性別情報と共に特徴変化モデルに付与しても良い。例えば、属性情報は、性別なら“男・女”、髪型なら“長さ”や“スタイル”、年齢なら“年齢層”、人種なら“肌の色”などである。なお、部位分離位置出力処理部２は、公知の技術を用いて、画像に写っている人物からこれらの属性情報を抽出することが可能である。
部位分離位置出力処理部２は、これらの属性情報も、特徴変化モデル蓄積部１０２に蓄積しても良い。また、部位分離位置出力処理部２は、上述した情報以外にその他の属性情報があれば、特徴変化モデルに付与することができ、特徴変化モデル蓄積部１０２に蓄積できる。
これら蓄積された部位性別情報、部位総称情報、属性情報は、後述する特徴変化モデルのマッチングの際に、特徴変化モデル蓄積部１０２から取り出す特徴変化モデルの絞込みに用いることができる。部位性別情報、部位総称情報、属性情報をまとめて人物属性と呼ぶ。
部位性別情報、部位総称情報、属性情報、部位分離区間の長さ（部位分離区間長）、特徴変化量の対応関係を示すためのＩＤ（ＩＤｅｎｔｉｆｉｃａｔｉｏｎ）等は、例えば、図１４のような関連付けリスト情報として特徴変化モデル蓄積部１０２に保存されても良い。保存される形式は、他のデータ形式でも良い。
特徴変化モデル蓄積部１０２は、特徴変化モデルを、人物の方向別に蓄積しても良い。部位分離位置出力処理部２は、公知の技術によって、例えば人物が横方向や後ろを向いていることを検出し、各人物の方向別に特徴変化量と分離位置情報とを算出し、方向別にモデル化して特徴変化モデル蓄積部１０２に蓄積しても良い。特徴変化モデル蓄積部１０２は、例えば、前方向、横方向、後ろ方向からの見え方が異なるスーツ類に対して、前方向、横方向、後ろ方向のそれぞれに対して構築された特徴変化モデルを方向別に蓄積してもよい。
なお、上述の処理は、部位分離位置出力処理部２が特徴変化モデル蓄積部１０２に特徴変化モデルを蓄積する処理として説明したがそれに限定されない。例えば、図示しない外部装置等によって予め生成された特徴変化モデルが特徴変化モデル蓄積部１０２に格納されても良い。
以上のように、特徴変化モデル蓄積部１０２には、図１２のように人物の鉛直方向の軸上の各位置における画像特徴量の特徴変化量、あるいは、特徴変化量と、部位分離位置とが関連付けられた特徴変化モデルが蓄積される。また、上述のように、特徴変化モデル蓄積部１０２には、人物属性（部位性別情報、部位総称情報、属性情報）、部位分離区間長がさらに格納されてもよい。また、特徴変化モデル蓄積部１０２には、人物の鉛直方向軸上の画像特徴量の特徴変化量が閾値以上の箇所が出現する頻度を示す確率分布が格納されてもよい。
部位分離位置抽出処理部１０１は、画像情報と、人物領域情報（画像情報の中で人物が写っている領域の箇所を示す情報）と、その人物領域の服装が分離可能であるか否かを判定する部位分離可否判定情報と、を用いて、図１２の右側グラフのように、人物領域の特徴変化量を算出し、当該特徴変化量と、特徴変化モデル蓄積部１０２に蓄積された特徴変化モデルの特徴変化量との類似度を算出する。部位分離位置抽出処理部１０１は、部位分離位置の数や部位分離位置間の差分距離を利用したり、ＤＰ（Ｄｙｎａｍｉｃ Ｐｒｏｇｒａｍｍｉｎｇ）マッチングといった手法を用いてこれらの類似度を算出することができるが、その他の類似度算出手法を用いても良い。
部位分離可否判定情報とは、画像中の人物の写り方によって人物の部位分離が可能か否かを示す情報である。部位分離可否判定情報には、分離の可否を決める値が記述されている。例えば、部位分離可否判定情報は、可または否を表す２値、または、閾値処理を行うための数値などである。部位分離可否情報は図示しない外部装置によって算出される。該外部装置は、例えば、画像中において人物領域が全身写る、または、下半身が一部隠れる、などを示す人物の写り方を求め、その写り方によって部位分離可否の判定を算出することができる。部位分離可否情報の具体例を図１１を用いて説明する。図１１の左図は入力画像であり、人物が３人おり、１人は机の奥に立っているため上半身しか見えない状況を示している。この場合、外部装置は、例えば人物の足元位置を基に公知の方法によって、図１１の右図のような領域を算出できる。図１１の右図は、机の上端は上半身しか写らない領域（黒い領域）であり、床面は全身が写る領域（斜線領域）であり、壁は人物の足元位置が存在できない領域（白い領域）であることを示している。このように、部位分離可否判定情報は、画像中に部位分離できる可能性がある領域が存在すれば“可”となり、存在しなければ“否”となる。
部位分離位置抽出処理部１０１は、最も類似度が高い特徴変化量をもつ特徴変化モデルの部位分離位置を基に、入力された人物領域の部位分離位置を出力する。この際、部位分離位置抽出処理部１０１は、特徴変化モデル蓄積部１０２から、部位総称情報、部位性別情報、属性情報、部位分離区間長などの情報を併せて受け取り、出力することもできる。例えば、部位分離位置抽出処理部１０１は、入力された画像内の人物が身につける服装の特徴変化量が、特徴変化モデル蓄積部１０２内に蓄積された複数の特徴変化量と類似する場合、部位総称情報を出力することができる。例えば、Ｔシャツを着た人物と、ニットやトレーナーを着た人物とを部位分離位置で区別するのは難しいため、部位分離位置抽出処理部１０１は、上半身に対してこれらを総称する“短い上半身の服装（上半身１）”といった部位総称情報を出力することができる。
続いて第１の実施の形態の動作について、図２を用いて詳細に説明する。
部位分離位置抽出処理部１０１は、部位分離可否判定情報を基に、画像上の人物領域から部位分離が可能であるか否かを判定する（ステップ１００１）。部位分離位置抽出処理部１０１は、部位分離可否判定情報を基に分離の可否を判定する。
部位分離可否判定が可である場合（ステップ１００１、ｙｅｓ）、部位分離位置抽出処理部１０１は、人物領域の正規化を行う（ステップ１００２）。正規化を行う理由は、人物領域サイズ変化による特徴変化量の変動を抑えるためである。具体的な正規化手法としては、部位分離位置抽出処理部１０１は、人物領域の鉛直方向の長さが基準値に揃うように、縦横の縦横比率を維持した画像の拡大または縮小処理を行う。拡大または縮小処理の方法は、一般的な画像の拡大・縮小アルゴリズムでよく、例えば、ニアレストネイバー法、バイリニア法、バイキュービック法などである。
正規化後、部位分離位置抽出処理部１０１は、人物領域の水平方向の画像特徴量を算出する。部位分離位置抽出処理部１０１は、例えば、人物領域情報が示す範囲の画像の画素値を水平方向（ｘ軸方向）にスキャンし、鉛直方向（ｙ軸方向）に射影した画素値などの関数を求め、それを画像特徴量とする（ステップ１００３）。部位分離位置抽出処理部１０１は、具体的には、例えば（式１）のように、人物領域とｘ軸とが交わる線分上で画像特徴量を求める。

ここで、Ｉ（ｘ、ｙ）は入力画像上における座標（ｘ、ｙ）における画素値（例えば、Ｒ（Ｒｅｄ）、Ｇ（Ｇｒｅｅｎ）、Ｂ（Ｂｌｕｅ）の３次元ベクトルから算出された値）、Ｍ（ｘ、ｙ）は、人物領域情報から生成したマスク情報、Ｘ０は人物領域におけるｘ座標の最小値、Ｘ１は人物領域におけるｘ座標の最大値である。
次に部位分離位置抽出処理部１０１は、画像特徴量からその変化量（特徴変化量）を算出する。すなわち、部位分離位置抽出処理部１０１は、鉛直方向へ射影した画像特徴量の特徴変化量を算出する（ステップ１００４）。例えば、部位分離位置抽出処理部１０１は、水平方向軸に平行な複数の軸と、人物領域とが交わった各々の線分について算出される画像特徴量の値の、鉛直方向軸上の位置の変化に対する特徴変化量を算出する。特徴変化量は、例えば（式２）のように求められる。Ｂは、特徴変化量を求めるために用いる画像特徴量の範囲の上限である。

部位分離位置抽出処理部１０１は、算出した特徴変化量と、あらかじめ特徴変化モデル蓄積部１０２に蓄積しておいた特徴変化モデルに含まれる各々の特徴変化量との類似度を算出し、類似する特徴変化量をもつ特徴変化モデルを抽出し、当該モデルの特徴変化量のピーク位置（部位分離位置）を出力する（ステップ１００５）。例えば、部位分離位置抽出処理部１０１は、類似度が一番高い特徴変化量の部位分離位置を出力する。
部位分離位置抽出処理部１０１は、類似度の算出方法として、例えば、（式２）のＤ（ｙ）が閾値以上のピークとなっている値を抽出し、そのピークの位置を部位分離位置の候補（部位分離候補位置）とする。そして、部位分離位置抽出処理部１０１は、特徴変化モデル蓄積部１０２に蓄積した部位分離位置と、抽出した部位分離候補位置とを基に、各部位分離位置の数や部位分離位置間の差分距離を算出し、あるいは、ＤＰマッチングのような手法を用いる等して、特徴変化量の類似度を算出することができる。
また、部位分離位置抽出処理部１０１は、（式２）の特徴変化量と、特徴変化モデル蓄積部１０２に蓄積してある特徴変化モデルの特徴変化量との積を求め、その積の分布に含まれる閾値以上のピークの数とピークの高さを検出し、そのピークの数とピークの高さを基に特徴変化量の類似度を判定しても良い。部位分離位置抽出処理部１０１は、その他の方法を用いて特徴変化量の類似度を判定しても良い。
本実施の形態によれば、入力された画像上の人物が身につけている服装に対して画像特徴量の変化量が類似する特徴変化モデルのピーク位置を出力することによって、服装の部位を分離して抽出することができる。入力された画像から抽出された特徴変化量やそのピーク位置は、画像のノイズなどが原因となって、部位の分離位置を正確に示しているとは限らない場合がある。そのような場合であっても、本実施の形態によれば、部位分離位置抽出処理部１０１が、既に部位分離位置が既知である特徴変化モデルを利用して、入力された画像から得られた特徴変化量と類似する特徴変化量を特定し、その特徴変化量の部位分離位置を出力するため、正確な部位分離位置を出力することができる。
また、このようにして出力された部位分離位置は、例えば、図１３が示すように、部位分離位置出力処理部２から出力され、服装領域特徴量を抽出する服装領域特徴抽出処理部３に入力されてもよい。本実施の形態によって部位分離位置が抽出されることで、服装領域特徴抽出処理部３は、服装領域特徴抽出処理部３に入力される画像情報、人物の領域を示す人物領域情報、部位分離位置を用いて各部位ごとの服装領域を求め、それらの服装領域に含まれる画素情報を用いて、服装領域の特徴量を抽出することができる。服装領域の特徴量としては、例えば、服装領域から色・エッジ（柄）を示すヒストグラムでもよいし、その他の色・柄を示す特徴量を用いてもよい。そしてこの特徴量によって、特定人物の捜索や、服装領域を用いた人物の検索などが可能となる。
また、本実施の形態は人物の服装における部位分離位置の抽出について説明したが、本実施の形態によれば、人物や服装に限られず、動物や物体などについても上述した方法と同様に部位分離位置を抽出することが可能である。
（第２の実施の形態）
次に、本発明の第２の実施の形態について説明する。
図３は、図１に示した部位分離位置出力処理部２の別の構成の一例を示すブロック図である。
本実施の形態における部位分離位置出力処理部２は、部位分離位置抽出処理部１０７と、特徴変化モデル蓄積部１０２と、人物特定情報抽出・照合処理部３０１と、人物属性蓄積部２０１と、を含む。
特徴変化モデル蓄積部１０２は、特徴変化量あるいは部位分離位置だけでなく、上述した人物属性（部位総称情報、部位性別情報、属性情報）と部位分離区間も蓄積している。すなわち、特徴変化モデルは、特徴変化モデルと人物属性とを対応付けて蓄積している。
人物属性蓄積部２０１には、人物を特定する情報、例えば顔認識により人物の特定に用いられる人物個体特徴量と、人物属性（部位性別情報、部位総称情報、属性情報）とが対応付けられて蓄積されている。上述のとおり、部位総称情報とは、具体的な服装の名称（Ｔシャツ、スカートなど）や、特徴変化モデルに含まれる部位分離位置の確率分布を算出する際に類似する服装をまとめた部位総称情報の名称（上半身の服装（上半身１）など）や、服装全体を考慮した部位総称情報（スーツ類）などである。このように、人物属性蓄積部２０１には、特徴変化モデル蓄積部１０２が蓄積する部位総称情報と同一の粒度で名称が付けられている。
人物特定情報抽出・照合処理部３０１は、入力された画像情報と人物領域情報とに基づいて、人物の顔領域を抽出し、既存の方法によって、その顔領域から顔照合に用いる人物個体特徴量を算出する。人物特定情報抽出・照合処理部３０１は、この人物個体特徴量と、人物属性蓄積部２０１に蓄積された人物個体特徴量とを比較し、最も類似する人物個体特徴量に対応する人物属性を人物属性蓄積部２０１から抽出し、部位分離位置抽出処理部１０７に出力する。
なお、顔領域の抽出技術、顔認識技術は、様々な技術が提案されているが、人物特定情報抽出・照合処理部３０１が用いる技術は特段制限されない。また、人物個体特徴量は、顔領域から抽出したものに限らず、人物の体型や歩容特徴、虹彩情報、指紋情報、人物ごとに付与されたＩＤ情報などの特徴量であってもよい。また、人物特定情報抽出・照合処理部３０１には、性別、年齢、身長、人種、髪型などの判定機能を持たせてもよい。これにより、人物特定情報抽出・照合処理部３０１は、人物領域から抽出した性別、年齢、身長、人種、髪型などの情報に基づいて、人物個体特徴量を求めても良い。
部位分離位置抽出処理部１０７は、第１の実施の形態で説明した図１の部位分離位置抽出処理部１０１の機能と同様の部位分離位置を抽出する機能をもつ。
部位分離位置処理部１０７は、人物属性蓄積部２０１に蓄積された人物属性を人物特定情報抽出・照合処理部３０１から取得し、該人物属性と類似する人物属性を特徴変化モデル蓄積部１０２から抽出する。次に、部位分離位置処理部１０７は、抽出された人物属性に類似する人物属性と対応する特徴変化量を特徴変化モデル蓄積部１０２から抽出する。これにより、部位分離位置抽出処理部１０７は、特徴変化モデル蓄積部１０２に蓄積された特徴変化量の絞込みを行なうことができる。部位分離位置抽出処理部１０７は、図１の部位分離位置情報抽出部１０１に比べ、照合精度や処理速度が向上する。
続いて第２の実施の形態の動作について図４を用いて詳細に説明する。
ステップ１００１の部位分離可能性判定処理からステップ１００４の人物鉛直方向での特徴変化量の射影による特徴変化量の算出までは、図２と同一の処理が部位分離位置抽出処理部１０７で行われる。
人物特定情報抽出・照合処理部３０１は、人物領域から抽出した人物個体特徴量と、人物属性蓄積部２０１に蓄積された人物個体特徴量との照合を行い、人物属性蓄積部２０１から、類似する人物個体特徴量に対応付けられた人物属性を抽出する。人物特定情報抽出・照合処理部３０１は、抽出した人物属性を部位分離位置抽出処理部１０７に出力する。
部位分離位置抽出処理部１０７は、受け取った人物属性と、特徴変化モデル蓄積部１０２が蓄積する特徴変化モデルに含まれる人物属性とを照合し、類似する人物属性に対応付けられた特徴変化量を抽出する。すなわち、部位分離位置抽出処理部１０７は、特徴変化モデルを絞り込む（ステップ１００６）。
次に、部位分離位置抽出処理部１０７は、図４のステップ１００５で、図２のステップ１００５と同一の処理を行い、ステップ１００６で抽出されて絞り込まれた特徴変化モデルの特徴変化量とステップ１００４で得た特徴変化量との照合を行い、最も類似する特徴変化量の部位分離位置を出力する。
本実施の形態によれば、第１の実施の形態に比べ、照合精度や処理速度が向上する。その理由は、部位分離位置抽出処理部１０７が、照合に用いる特徴変化モデルを絞り込むからである。
（第３の実施の形態）
図５は、図１の部位分離位置出力処理部２の別の構成の一例を示すブロック図である。
本実施の形態における部位分離位置出力処理部２は、部位分離位置抽出処理部１０５、特徴変化モデル蓄積部１０２、水平方向特徴変化モデル蓄積部１０３を含んでいる。
部位分離位置抽出処理部１０５は、鉛直方向特徴変化量照合処理部２１０、水平方向特徴変化量照合処理部２１１、部位分離位置統合処理部２１２を含んでいる。
特徴変化モデル蓄積部１０２は、鉛直方向特徴変化量照合処理部２１０に接続されている。また、水平方向特徴変化モデル蓄積部１０３は水平方向特徴変化量照合処理部２１１に接続されている。部位分離位置統合処理部２１２は鉛直方向特徴変化量照合処理部２１０と水平方向特徴変化量照合処理部２１１と接続されている。特徴変化モデル蓄積部１０２は図１と同様である。
水平方向特徴変化モデル蓄積部１０３には、特徴変化モデル蓄積部１０２と同様に、部位分離位置が既知の特徴変化量が蓄積されているが、その特徴変化量は人物の鉛直方向ではなく、水平方向に対して抽出したものである。つまり、水平方向特徴変化モデル蓄積部１０３は、人物領域の画像の画素値から人物の鉛直方向（ｙ軸方向）にスキャンし、水平方向（ｘ軸方向）の軸に射影した画素値から算出した特徴変化量（水平方向特徴変化量）を格納している。
水平方向特徴変化モデル蓄積部１０３は、水平方向特徴変化量に加え、部位分離区間、人物属性（部位性別情報、部位総称情報、属性情報）などを、鉛直方向での特徴変化量算出時と同様に保存しても良い。その際、水平方向特徴変化モデル蓄積部１０３は、図１４のようなリスト形式でそれらの情報を保存しても良い。
水平方向特徴変化モデル蓄積部１０３に格納される部位分離区間の一例として、例えば、Ｔシャツにカーディガンを着て、ジーンズを履いている人物の画像（カーディガンの前は開いているとする）を例に説明する（図１５参照）。この場合、Ｔシャツの生地を左右からカーディガンの生地が挟みこみ、またＴシャツの下端にジーンズが位置する。この場合、一例として部位分離区間にはカーディガン、Ｔシャツ、ジーンズ、Ｔシャツ、カーディガンという部位総称情報が与えられている。ただし、水平方向の服装の長さが同程度の服装が多く存在するため、それらの水平方向特徴変化量は類似する可能性が高い。そのため、鉛直方向の特徴変化量について説明したのと同様に、部位分離位置出力処理部２は、それら類似する水平方向特徴変化量を持つ服装をまとめた部位総称情報を特徴変化モデルに付与してもよい。さらに、部位分離位置出力処理部２は、部位分離区間だけでなく、服装全体を考慮した部位総称情報を特徴変化モデルに付与してもよい。これらのような部位総称情報の付与の処理については、第１の実施の形態の鉛直方向における特徴変化モデルで説明した方法と同様である。
また、第１の実施の形態と同様に、服装によっては、その服を身につけられる性別が定まっている場合もあるため、部位分離位置出力処理部２は、服装ごとに定まっている男性、女性、男女兼用などの部位性別情報を水平方向特徴変化モデルにも付与することができる。水平方向特徴変化モデル蓄積部１０３は、この部位性別情報を保存しても良い。部位分離位置出力処理部２は、例えば、ジーンズ、Ｔシャツ、カーディガンという服装情報から、男女兼用という部位性別情報を水平方向特徴変化モデル蓄積部１０３の特徴変化モデルに付与することができる。
さらに、第１の実施の形態と同様に、部位分離位置出力処理部２は、年齢、身長、人種、髪型（スタイル、長さなど）などの属性情報も特徴変化モデルに付与しても良い。また、部位分離位置出力処理部２は、上述した情報以外の属性情報があれば、特徴変化モデルに付与しても良い。また、上述のように、水平方向特徴変化モデル蓄積部１０３は、部位性別情報、部位総称情報、属性情報、部位分離区間長、特徴変化量の対応関係を示すためのＩＤ、部位分離位置と服装の名称とを関連付けた情報などを保存しても良い。
なお、上述の処理は、部位分離位置出力処理部２が行う処理として説明したが、予め外部装置等によって処理された結果が、水平方向特徴変化モデル蓄積部１０３に格納されても良い。
鉛直方向特徴変化量照合処理部２１０は、図１を基に説明した、部位分離位置抽出処理部１０１と同様に、外部から、画像情報、人物領域情報、部位分離可否判定情報を取得する。そして、鉛直方向特徴変化量照合処理部２１０は、部位分離可否判定情報から部位分離が可能であると判定した場合に、入力された画像情報と人物領域情報とを基に特徴変化量を抽出する。そして、鉛直方向特徴変化量照合処理部２１０は、該特徴変化量と、特徴変化モデル蓄積部１０２に蓄積された特徴変化モデルの特徴変化量と、の類似度を算出し、最も類似度の高い鉛直方向の軸上の部位分離位置を出力する。
水平方向特徴変化量照合処理部２１１は、鉛直方向特徴変化量照合処理部２１０と同様に、外部から、画像情報と人物領域情報、部位分離可否判定情報を取得する。水平方向特徴変化量照合処理部２１１は、部位分離可否判定情報から部位分離が可能であると判定した場合、部位分離位置を抽出する。ただし、水平方向特徴変化量照合処理部２１１は、人物の鉛直方向ではなく、人物の水平方向に対して部位分離位置を抽出する。具体的には、水平方向特徴変化量照合処理部２１１は、水平方向特徴変化量を算出し、算出した水平方向特徴変化量と、水平方向特徴変化モデル蓄積部１０３から取り出した水平方向特徴変化量との類似度の算出を行い、最も類似度の高い水平方向特徴変化量をもつ水平方向特徴変化モデルの部位分離位置を出力する。
部位分離位置統合処理部２１２は、鉛直方向特徴変化量照合処理部２１０で抽出した鉛直方向の部位分離位置と、水平方向特徴変化量照合処理部２１１で抽出した水平方向の部位分離位置とを取得し、それらの情報を統合して、人物全体の部位分離位置を出力する。
部位分離位置の統合処理として、部位分離位置統合処理部２１２は、各方向での部位分離位置を組み合わせ、人物領域を分割するための情報を生成する。例えば、部位分離位置統合処理部２１２は、鉛直方向の部位分離位置として保存された部位分離区間と部位総称情報と人物領域とから、頭部や上半身や下半身の領域の位置を抽出し、水平方向の部位分離位置を用いて、上半身の一部である腕領域（重ね着した際の服領域）を、人物の上半身領域から抽出することができる。
本実施の形態によれば、部位分離位置統合処理部２１２は、水平・鉛直方向で各部位の領域の位置を決定するため、より詳細な部位分離位置を抽出することができる。また、部位分離位置統合処理部２１２は、水平・鉛直方向での部位分離位置を用いることで、人物領域の服装名称や部位性別情報の確度をあげることができる。例えば、各方向での部位分離位置に含まれる共通する部位総称は、その人物領域が着ている服装である可能性が高い。また、部位分離位置統合処理部２１２は、各方向での部位性別情報に含まれる性別が共通している場合は該性別の確度は高く、異なる場合は確度が低いといえる。このように部位分離位置統合処理部２１２は、方向ごとに服装名称や部位性別情報等を統合した部位分離情報を出力することが可能である。
（第４の実施の形態）
次に、本発明の第４の実施の形態について説明する。
図６は、図５に示した部位分離位置抽出処理部１０５の別の構成の一例を示すブロック図である。
人物領域から部位分離位置を抽出するために、第３の実施の形態（図５参照）においては、鉛直方向特徴変化量照合処理部２１０と水平方向特徴変化量照合処理部２１１とが、並列で特徴変化量照合処理を行っていた。一方、図６では、鉛直方向特徴変化量照合処理部２１０と水平方向特徴変化量照合処理２１３とが直列につながれている。直列でつながれる目的は、水平方向特徴変化量照合処理２１３が、鉛直方向特徴変化量照合処理部２１０で抽出された鉛直方向で分けられた部位ごとに、水平方向の部位分離位置を抽出するためである。人物の鉛直方向に対する特徴変化の発生回数は、人物の水平方向に対する特徴変化の発生回数に比べて多いため、水平方向の部位分離位置は、鉛直方向の部位分離位置よりも抽出が困難であるケースが発生しうる。例えば、頭、脚、前開きの服装などにおいて水平方向の部位分離位置の算出を行なう場合、水平方向の部位分離位置は同じ位置に集中しやすい。そのため、水平方向において頭、脚、前開きの服装などの部位分離位置を区別して抽出することは困難である。そこで、部位分離位置抽出処理部１０５は、図６の構成のようにまず鉛直方向の部位分離位置を特定し、鉛直方向の部位ごとに水平方向特徴変化量を抽出することで、より精度が高い部位分離位置が抽出できる。
なお、この際、鉛直方向の部位について、全て水平方向特徴変化量を抽出する必要は無い。例えば、部位分離位置抽出処理部１０５は、人物の上半身が重ね着、下半身がズボンである場合等には水平方向特徴変化量抽出を行なっても良い。一方、部位分離位置抽出処理部１０５は、頭部分、靴部分など、それ以上分割する必要が無い領域については、水平方向特徴変化量を求めないようにしてもよい。
本実施の形態における部位分離位置抽出処理部１０５は、鉛直方向特徴変化量照合処理部２１０、水平方向特徴変化量照合処理部２１３、部位分離位置統合処理部２１２を含んでいる。
部位分離位置統合処理部２１２は、鉛直方向特徴変化量照合処理部２１０と、水平方向特徴変化量照合処理部２１３と接続されている。部位分離位置統合処理部２１２は、鉛直方向特徴変化量照合処理部２１０の鉛直方向の部位分離位置などの情報と、水平方向特徴変化量照合処理部２１３の水平方向の部位分離位置などの情報とを統合し、人物領域全体における部位分離位置などの情報を生成、出力する。
水平方向特徴変化量照合処理部２１３は、鉛直方向特徴変化量照合処理部２１０と部位分離位置統合処理部２１２接続されている。鉛直方向特徴変化量照合処理部２１０には、外部から、画像情報、人物領域情報、鉛直方向の特徴変化モデルが入力される。また、水平方向特徴変化量照合処理部２１３には、鉛直方向特徴変化量照合処理部２１０で生成された水平方向の部位分離位置が入力される。
水平方向特徴変化量照合処理部２１３は、鉛直方向の部位分離位置を基に、鉛直方向の部位分離区間ごとに水平方向特徴変化量を抽出し、この水平方向特徴変化量と、入力された水平方向の特徴変化モデルに含まれる水平方向特徴変化量と、を照合して、類似する特徴変化量を含む水平方向の特徴変化モデルを、水平方向特徴変化モデル蓄積部１０３から検索する。
水平方向特徴変化量照合処理部２１３は、類似した特徴変化量を含む特徴変化モデルの水平方向の部位分離位置を部位分離位置統合処理部２１２に出力する。
部位分離位置統合処理部２１２は、鉛直方向特徴変化量照合処理部２１０の鉛直方向の部位分離位置、水平方向特徴変化量照合処理部２１３の水平方向の部位分離位置を統合し、人物領域全体の部位分離情報を生成、出力する。
本実施の形態によれば、まず人物の鉛直方向の部位分離位置を基に、人物の鉛直方向の部位を特定し、次に鉛直方向の部位ごとに水平方向特徴変化量を抽出することで、より精度が高い部位分離位置が抽出できる。
（第５の実施の形態）
図７は、第１の実施の形態の図１に示した部位分離位置抽出処理部１０１の別の構成の一例を示すブロック図である。
本実施形態の部位分離位置抽出処理部１０１は、人物鉛直方向抽出処理部２０７と特徴変化量照合処理部２０６とを含み、特徴変化量照合処理部２０６は図示しない特徴変化モデル蓄積部１０２に接続されている。特徴変化モデル蓄積部１０２は図１と同じものである。
人物鉛直方向抽出処理部２０７には、外部から、画像情報、人物領域情報が入力される。人物鉛直方向抽出処理部２０７は、入力された画像情報、人物領域情報から、その人物領域の鉛直方向を推定する。鉛直方向の推定方法には様々な方法がある。例えば、予め学習により生成した頭部検知器や足下検知器を利用して頭と足元を検知し、頭と足元の２点を結ぶベクトルから鉛直方向を推定する方法や、頭部または足元を表す画像上の二次元座標をカメラのキャリブレーション情報を用いて３次元空間座標に変換し、その点を通る鉛直方向に平行な直線上の点の３次元空間座標を求め、２次元に逆変換する方法などがある。具体的には、人物鉛直方向抽出処理部２０７は、人物領域の下端が足元である場合、撮影する空間の位置情報とカメラパラメタなどの情報を基に、画像座標を２次元から３次元またはその逆に射影する変換行列によって、２次元座標の足元位置を３次元座標の足元位置に変換し、その足元位置から適当な高さを設定した３次元座標を設定し、２次元に逆変換することで、２次元空間、つまり画像上での人物の鉛直方向を抽出することができる。これにより、レンズの周囲の領域などの、レンズのゆがみや画角によってｙ軸と鉛直方向が一致しない領域であっても人物の鉛直方向を自動で設定することができ、より精度の高い、部位分離位置を取得することができる。
特徴変化量照合処理部２０６は、図１の部位分離位置抽出処理部１０１と同様に部位分離位置を抽出する機能を持つ。また、第１の実施の形態と同様に、特徴変化量照合処理部２０６は、人物鉛直方向抽出処理部２０７から取得した人物領域ごとに推定される鉛直方向の情報を基に第１の実施の形態と同様に人物領域の画像特徴量を算出する。
本実施の形態によれば、人物鉛直方向抽出処理部２０７によって推定された人物領域の鉛直方向の情報を基に、該鉛直方向の画像特徴量を算出することができるため、手動でカメラ位置を設定せずとも鉛直方向の画像特徴量を算出できる。
（第６の実施の形態）
次に、本発明の第６の実施の形態について説明する。
図８は、第１の実施の形態の図１に示した部位分離位置抽出処理部１０１の別の構成の一例を示すブロック図である。
本実施の形態における部位分離位置抽出処理部１０１は、人物向き判定部２０９と特徴変化量照合処理部２０８とを含み、特徴変化量照合処理部２０８は図示しない特徴変化モデル蓄積部１０２に接続されている。また、人物向き判定手段２０９は特徴変化量照合処理部２０８に接続されている。
図示しない特徴変化モデル蓄積部１０２には、人物の向きごとに、特徴変化モデルが蓄積されている。人物の向き（正面、背後、横向きなど）は、特定方向を基準に角度やベクトルなどで表現される。例えば人物がカメラに向かって正面を向いている方向を基準に座標系を定義し、角度やベクトルの方向で人物の向きが表現される。これらの角度やベクトル情報を、人物向き情報と定義する。特徴変化モデル蓄積部１０２には、人物向き情報で分類された特徴変化モデルが蓄積されている。
人物向き判定部２０９は、画像情報と人物領域情報を基に人物が向いている方向を判定し、人物向き情報を出力する。人物の向き判定の方法は様々あるが、顔認識によって人物が向いている顔の方向を人物が向いている方向とする方法や、時系列で入力される画像を用いて、オプティカルフローによって進行方向から人物の向きを推定する方法や、抽出した人物領域の位置変化を算出して進行方向から人物の向きを推定する方法などがある。２番目と３番目の手法では、人物向き判定部２０９がカメラ座標系を知る必要があり、人物向き判定部２０９は、例えば、カメラの向きに対して人物が直線的にから遠ざかる場合は背面、逆に直線的に近づく場合は正面、横切る場合は横向きとして人物の向きを推定できる。
特徴変化量照合処理部２０８は、図１の部位分離位置抽出処理部１０１と同様に部位分離位置を抽出する機能を持つ。また、特徴変化量照合処理部２０８は、入力された画像に対する特徴変化量と、特徴変化モデル蓄積部１０２に蓄積された特徴変化モデルの特徴変化量とを照合する前に、人物向き判定部２０９から得た人物向き情報と、特徴変化モデルを分類している人物向き情報とを照合する。照合方法として、特徴変化量照合処理部２０８は、例えば人物向き情報の角度やベクトル同士の類似度を比較する。特徴変化量照合処理部２０８は、例えば、人物向き情報が角度の場合には角度同士の差分によって類似度を比較しても良いし、ベクトルの場合には内積により類似度を比較しても良いし、その他の類似度の比較手法を用いても良い。
その後、特徴変化量照合処理部２０８は、最も人物向き情報が類似する人物向き情報を選択し、当該人物向き情報に対応する特徴変化モデルを選択して特徴変化量の比較を行なう。これにより、特徴変化量照合処理部２０８は、同一ないし類似の人物向きの特徴変化量同士で照合を行うことができる。
以上の構成によれば、まず人物の向きが類似している特徴変化モデルを抽出して絞り込みを行い、当該特徴変化モデルに対して特徴変化量同士の比較を行なうため、第１の実施形態の図１の構成よりも、服装の見え方の変動に対して高い精度で部位分離位置を取得することができる。
（第７の実施の形態）
図９は、第１の実施の形態の図１に示した部位分離位置抽出処理部１０１の別の構成の一例を示すブロック図である。
本実施の形態における部位分離位置抽出処理部１０１は、部位分離位置蓄積部２０３と人物領域情報蓄積部２０４と特徴変化量照合処理部２０５とを含み、特徴変化量照合処理部２０５は、図示しない特徴変化モデル蓄積部１０２に接続されている。
部位分離位置蓄積部２０３は、特徴変化量照合処理部２０５が算出した特徴変化量（あるいは部位分離位置）を、画像情報取得時のタイムスタンプ情報と共に蓄積する。また、部位分離位置蓄積部２０３は、既に蓄積された過去の特徴変化量（あるいは部位分離位置）とタイムスタンプ情報とを特徴変化量照合処理部２０５に出力する。
人物領域情報蓄積部２０４は、画像情報取得時のタイムスタンプ情報と、人物領域情報とを蓄積する。
また、人物領域情報蓄積部２０４は、既に蓄積された過去の人物領域情報をタイムスタンプ情報と共に特徴変化量照合処理部２０５に出力する。
特徴変化量照合処理部２０５には、タイムスタンプ情報が付与された画像情報と、人物領域情報と、部位分離可否判定情報とが、外部から入力される。また、特徴変化量照合処理部２０５には、図示しない特徴変化モデル蓄積部１０２から特徴変化モデルが入力される。
また、特徴変化量照合処理部２０５は、入力される画像情報のタイムスタンプ情報に近い時刻（タイムスタンプ情報が示す時刻と所定時間内にある時刻）、かつ、人物領域の位置やサイズが近い（誤差が所定範囲内の）過去の人物領域を照合するために、人物領域情報蓄積部２０４に接続されている。更に、特徴変化量照合処理部２０５は、タイムスタンプ情報に近い時刻の部位分離位置を取り出すために部位分離位置蓄積部２０３に接続されている。
特徴変化量照合処理部２０５は、人物領域情報蓄積部２０４から、人物領域の位置やサイズが近く、タイムスタンプ情報に近い時刻の過去の人物領域の抽出が可能である場合、それらの人物領域は同一人物の人物領域とみなしても良い。これは、時間があまり経過していない画像に写った人物は急激にその位置やサイズが変化することがないと仮定できるためである。また、特徴変化量照合処理部２０５は、２つの人物領域が同一人物の人物領域か否かを判定する方法として、画像の輝度情報の変化を算出し、画素の移動量を推定するオプティカルフローを用いても良い。この場合、特徴変化量照合処理部２０５は、移動量が少ない人物領域を同一人物の人物領域とみなすことができる。また、特徴変化量照合処理部２０５は、画像情報から人物領域範囲の画素値を抽出し、その色や輝度の同一性を見ることで、同一人物の人物領域か否かを判定することもできる。ただし、この場合、人物領域情報蓄積部２０４には、人物領域情報の蓄積だけでなく、画像情報もタイムスタンプ情報と共に蓄積されている。
特徴変化量照合処理部２０５は、人物領域情報蓄積部２０４から、同一人物の人物領域とみなされた人物領域を抽出し、その人物領域情報に付与されたタイムスタンプ情報に近い時刻のタイムスタンプ情報が付与された特徴変化量（あるいは部位分離位置）を、部位分離位置蓄積部２０３から取り出す。この特徴変化量（あるいは部位分離位置）は、同一人物の特徴変化量（あるいは部位分離位置）を表していると考えられる。
特徴変化量照合処理部２０５は、この取り出した特徴変化量（あるいは部位分離位置）と、特徴変化量照合処理部２０５に現在入力されている画像情報と人物領域情報とから抽出した特徴変化量（あるいは第１の実施の形態と同様に算出した部位分離候補位置）との類似度を算出し、最も類似する部位分離位置を抽出することができる。
一方、特徴変化量照合処理部２０５は、人物領域情報蓄積部２０４から、同一人物の人物領域とみなせる人物領域が存在しない場合、すなわち、人物領域情報蓄積部２０４に人物領域情報の位置やサイズが大きく異なる人物領域しか存在しない場合、特徴変化量照合処理部２０５は、第１の実施の形態と同様の処理で、部位分離位置を出力する。
なお、部位分離位置蓄積部２０３に同一人物の部位分離位置が複数蓄積される場合、部位分離位置抽出処理部１０１は、その複数の部位分離位置の平均位置を用いて、あるいは、タイムスタンプが新しい部位分離位置ほど大きく重みを付ける重み平均位置を用いて、部位分離位置を作成することができる。また、部位分離位置抽出処理部１０１は、複数の画像から抽出した部位分離位置の頻度を示す確率分布（例えばガウス分布）を求めて部位分離位置を作成することができる。これにより、画像情報のノイズによって起こる部位分離位置を除去することができ、部位分離位置のマッチング精度が向上する。この場合、人物領域情報蓄積部２０４は部位分離位置に加え、人物を特定するためのＩＤを部位分離位置に関連付けて蓄積する。
続いて本実施の形態の各部の動作について詳細に説明する。図１０は、部位分離位置抽出処理部１０１の動作の一例を示すフローチャート図である。
ステップ１００１の部位分離可能性判定処理からステップ１００４の人物鉛直方向での特徴変化量の射影による特徴変化量の算出までは、図２と同一の処理を特徴変化量照合処理部２０５で行う。
次に、特徴変化量照合処理部２０５は、入力された画像に付与されたタイムスタンプと時刻が近いタイムスタンプが付与された人物領域を人物領域情報蓄積部２０４から取り出し、人物領域のサイズ、位置から同一人物の人物領域であるか否かを判定する（ステップ１００７）。ステップ１００７において同一人物の人物領域と判定された場合（ステップ１００７、Ｙｅｓ）、特徴変化量照合処理部２０５は、部位分離位置蓄積部２０３から、タイムスタンプ情報に近い時刻のタイムスタンプ情報が付与された特徴変化量（あるいは部位分離位置）を取り出す。特徴変化量照合処理部２０５は、特徴変化量照合処理部２０５に入力されている画像情報と人物領域とを基に特徴変化量を求める（あるいは、第１の実施の形態のステップ１００５で説明した手法で特徴変化量から部位分離候補位置を抽出する）。特徴変化量照合処理部２０５は、当該特徴変化量（あるいは部位分離候補位置）と、部位分離位置蓄積部２０３から抽出した特徴変化量（あるいは部位分離位置）との類似度を第１の実施の形態で説明した手法で算出し、部位分離位置を抽出する（ステップ１００８）。
一方、同一人物の人物領域と判定されなかった場合（ステップ１００７、Ｎｏ）、特徴変化量照合処理部２０５は、第１の実施の形態と同様の処理で、部位分離位置を出力する。
以上の構成によれば、過去の同一人物の人物領域を用いて部位分離位置を取得するため、高い精度で部位分離位置を取得することができる。
（第８の実施の形態）
本実施の形態における部位分離位置抽出装置１は、図１６に示すように、特徴変化モデル蓄積部１０２と部位分離位置抽出処理部１０１とからなる。これらの構成、動作については上述した通りであるから詳細説明を省略する。
特徴変化モデル蓄積部１０２は、複数の画像の人物領域ごとに、画像上で定義された所定軸（例えば水平軸、ｘ軸）に平行な複数の軸と、各々の画像に含まれる人物領域と、が交わった各々の線分上で定義される画像特徴量の値の、所定軸に対する垂直軸（例えば鉛直軸、ｙ軸）上の位置の変化に対する特徴変化量をモデルとして格納する。
部位分離位置抽出処理部１０１は、外部から入力された画像上の人物領域に対して特徴変化量を算出し、当該特徴変化量と、特徴変化モデル蓄積部１０２に格納された特徴変化量との比較を行ない、類似する変化量を特定し、特定された変化量の値が所定値以上の箇所であるピーク位置を出力する。
本実施の形態によれば、入力された画像上の人物が身につけている服装に対して画像特徴量の変化量が類似する特徴変化モデルのピーク位置を出力することによって、服装の部位を分離して抽出することができる。
以上、実施形態を参照して本願発明を説明したが、本願発明は上記実施形態に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解しうる様々な変更をすることができる。
この出願は、２０１１年５月２０日に出願された日本出願特願２０１１−１１３６６３を基礎とする優先権を主張し、その開示の全てをここに取り込む。

Claims (10)

1. 画像上の人物領域ごとに、前記画像上の所定軸に平行な複数の軸と、前記画像に含まれる人物領域と、が交わった各々の線分について算出される特徴量の値の、前記所定軸に対する垂直軸上の位置の変化に対する変化量をモデルとして格納する特徴変化モデル蓄積手段と、
   外部からの入力画像の人物領域に対して前記変化量を算出し、当該変化量と、前記モデルの変化量との比較を行ない、類似する変化量をもつモデルを前記特徴変化モデル蓄積手段から抽出し、抽出されたモデルの変化量の値が所定値以上の箇所であるピーク位置を出力する部位分離位置抽出処理手段と、
   を備える部位分離位置抽出装置。
2. 前記モデルは、前記変化量と、前記ピーク位置によって区切られた前記垂直軸上の区間に対して付与された、服装の種類、名称、性別の少なくともいずれかの情報である人物属性とを対応付けて包含し、
   前記部位分離位置抽出処理手段は、抽出された前記モデルの前記人物属性をさらに出力する請求項１の部位分離位置抽出装置。
3. 人物ごとに算出される個体特徴量と、前記人物属性と、を対応付けて格納する人物属性蓄積手段と、
   前記入力画像の前記人物領域から前記個体特徴量を抽出し、
   抽出した個体特徴量に類似する個体特徴量に対応する前記人物属性を前記人物属性蓄積手段から取得する人物特定情報抽出照合処理手段と、
   を備え、
   前記部位分離位置抽出処理手段は、前記人物特定情報抽出照合処理手段が取得した前記人物属性と類似する人物属性に対応する前記モデルの変化量を前記特徴変化モデル蓄積手段から抽出し、抽出した変化量と、前記入力画像から算出した変化量との前記比較を行なう請求項２に記載の部位分離位置抽出処理装置。
4. 画像上の人物領域ごとに、前記垂直軸に平行な複数の軸と、前記画像に含まれる人物領域と、が交わった各々の線分について算出される特徴量の値の、前記所定軸上の位置の変化に対する変化量（第２の変化量）を第２のモデルとして格納する第２の特徴変化モデル蓄積手段を備え、
   前記部位分離位置抽出処理手段は、前記入力画像の前記人物領域に対して前記第２の変化量を算出し、当該第２の変化量と、前記第２のモデルの前記第２の変化量との比較を行ない、類似する第２の変化量をもつ第２のモデルを前記第２の特徴変化モデル蓄積手段から抽出し、抽出された前記第２のモデルの第２の変化量の値が所定値以上の第２ピーク位置をさらに出力する請求項１乃至３のいずれかに記載の部位分離位置抽出装置。
5. 前記部位分離位置抽出処理手段は、前記ピーク位置によって前記人物領域を前記垂直軸方向に分割し、当該分割された人物領域の部位について前記第２の変化量を算出する請求項４に記載の部位分離位置抽出装置。
6. 前記モデルは、さらに前記人物領域の人物の向きと前記変化量とを対応付けて包含し、
   前記部位分離位置抽出処理手段は、前記入力画像の前記人物領域から人物の向きを抽出し、当該人物の向きと、前記特徴変化モデル蓄積手段に格納された前記人物の向きとを比較し、類似する人物の向きと対応する前記モデルの変化量と、前記入力画像から算出した変化量との前記比較を行なう請求項１乃至５のいずれかに記載の部位分離位置抽出装置。
7. 前記部位分離位置抽出装置が外部から前記入力画像を取得した入力画像取得時刻と、当該画像に対して前記部位分離位置抽出処理手段が算出した前記変化量と、を対応付けて格納する部位分離位置蓄積手段と、
   前記入力画像取得時刻と、前記入力画像の人物領域と、を対応づけて格納する人物領域情報蓄積手段と、
   をさらに備え、
   前記部位分離位置抽出処理手段は、さらに外部から新規入力画像が入力された時刻の所定時間内で、かつ、前記新規入力画像の人物領域と類似する人物領域に対応する前記入力画像取得時刻である特定時刻を前記人物領域情報蓄積手段から抽出し、
   前記特定時刻の所定時間内である前記入力画像取得時刻に対応する前記変化量を前記部位分離位置蓄積手段から抽出し、抽出した変化量と、前記部位分離位置抽出処理手段が算出した前記変化量との前記比較を行なう請求項１乃至請求項６のいずれかに記載の部位分離位置抽出装置。
8. 前記所定軸は、前記人物領域を基に定まる人物の鉛直方向の軸である請求項１乃至７のいずれかに記載の部位分離位置抽出装置。
9. 画像上の人物領域ごとに、前記画像上の所定軸に平行な複数の軸と、前記画像に含まれる人物領域と、が交わった各々の線分について算出される特徴量の値の、前記所定軸に対する垂直軸上の位置の変化に対する変化量をモデルとして格納する特徴変化モデル蓄積手段を備えるコンピュータに、
   外部からの入力画像の人物領域に対して前記変化量を算出し、当該変化量と、前記特徴変化モデル蓄積手段に格納された前記変化量との比較を行ない、類似する変化量をもつモデルを抽出し、抽出されたモデルの変化量の値が所定値以上の箇所であるピーク位置を出力する部位分離位置抽出処理ステップを実行させる部位分離位置抽出プログラムを格納するプログラム記憶媒体。
10. 画像上の人物領域ごとに、前記画像上の所定軸に平行な複数の軸と、前記画像に含まれる人物領域と、が交わった各々の線分について算出される特徴量の値の、前記所定軸に対する垂直軸上の位置の変化に対する変化量をモデルとして格納し、
    外部からの入力画像の人物領域に対して前記変化量を算出し、当該変化量と、格納された前記変化量との比較を行ない、類似する変化量をもつモデルを抽出し、抽出されたモデルの変化量の値が所定値以上の箇所であるピーク位置を出力する部位分離位置抽出方法。

Images