JP5664553B2 - 人物服装特徴抽出装置、人物検索装置、人物服装特徴抽出方法、人物検索方法及びプログラム - Google Patents

Description

本発明は、入力映像から人物服装特徴を抽出する人物服装特徴抽出装置に関する。また、本発明は入力映像から抽出した人物服装特徴に基づいて人物を検索する人物検索装置に関する。更に、本発明は人物服装特徴抽出方法、人物検索方法及びプログラムに関する。
本願は、２００９年１０月１６日付で日本国に出願された特願２００９−２３９３６０号に基づき優先権を主張し、その内容をここに援用する。

従来、種々の人物検索方法及び監視システム、及び画像蓄積・検索システムが開発されている。特許文献１は監視システムにおいて蓄積された映像から人物を検索する人物検索方法を開示している。この監視システムでは映像を録画する際に、人物の顔及び服装の情報を抽出してデータベースに格納する。人物検索時には、データベースに格納された顔・服装特徴とクエリーとして与えられる画像の顔・服装特徴を比較して同一人物かどうかを判定する。

特許文献１に開示された人物検索システムについて図１０を参照して詳述する。図１０は、人物検索装置の構成を示しており、顔領域検出／顔特徴抽出部１０００、１０２０、着衣領域検出／着衣特徴抽出部１０１０、１０３０、着衣特徴データベース１０４０、顔特徴データベース１０５０、顔類似度算出部１０７０、及び人物同一性判定部１０８０より構成される。
顔領域検出／顔特徴抽出部１０００は、監視システムから取得した映像から顔領域検出及び顔特徴抽出を行い、抽出した顔特徴を顔特徴データベース１０５０へ出力する。着衣領域検出／着衣特徴抽出部１０１０は、監視システムから取得した映像から着衣領域検出及び着衣特徴抽出を行い、抽出した着衣特徴を着衣特徴データベース１０４０へ出力する。一方、顔領域検出／顔特徴抽出部１０２０は入力したクエリー画像から顔領域検出及び顔特徴抽出を行い、クエリー顔特徴を着衣類似度算出部１０７０へ出力する。顔類似度算出部１０６０は、顔特徴データベース１０５０に蓄積された顔特徴と顔領域検出／顔特徴抽出部１０２０から入力したクエリー顔特徴を比較し、顔類似度を算出して人物同一性判定部１０８０へ出力する。着衣類似度算出部１０７０は、着衣特徴データベース１０４０に蓄積された着衣特徴と着衣領域検出／着衣特徴抽出部１０３０から入力したクエリー着衣特徴を比較し、着衣類似度を算出して人物同一性判定部１０８０へ出力する。人物同一性判定部１０８０は、顔類似度算出部１０６０で算出された顔類似度と着衣類似度算出部１０７０で算出された着衣類似度に基づいて人物の同一性を判定し、人物検索結果を出力する。

次に、図１０に示す人物検索装置の動作について説明する。先ず、監視システムから取得した映像は顔領域検出／顔特徴抽出部１０００及び着衣領域検出／着衣特徴抽出１０１０へ入力される。顔領域検出／顔特徴抽出部１０００は、入力映像の各フレームについて顔領域検出を行い、検出した顔領域について顔特徴抽出を行なう。入力映像から検出した顔領域から抽出された顔特徴は、顔特徴データベース１０５０に格納される。

着衣領域検出／着衣特徴抽出部１０１０は、入力映像から着衣領域を検出し、その視覚特徴、即ち着衣特徴を抽出する。抽出した着衣特徴は、着衣特徴データベース１０４０に格納される。

人物検索時、クエリー画像を顔領域検出／顔特徴抽出部１０２０及び着衣領域検出／着衣特徴抽出１０３０に入力する。顔領域検出／顔特徴抽出部１０２０及び着衣領域検出／着衣特徴抽出部１０３０は、前記顔領域検出／顔特徴抽出部１０００及び着衣領域検出／着衣特徴抽出１０１０と同様に機能して、クエリー顔特徴及びクエリー着衣特徴を抽出する。

顔類似度算出部１０６０は、クエリー顔特徴と顔特徴データベース１０５０に格納されている顔特徴を比較して、顔類似度を算出する。一方、着衣類似度算出部１０７０はクエリー着衣特徴と着衣類似度データベース１０４０に格納された着衣特徴を比較して、着衣類似度を算出する。人物同一性判定部１０８０は、顔類似度と着衣類似度を統合して人物同一性を判定し、以って、人物検索結果を出力する。

特許文献２は、画像蓄積・検索システムを開示しており、人間が主観的に感知する色合いを表す色感覚言語に相応しい画像特徴を有する画像データを検索するものである。ここで、人間の自然言語に含まれる色合表現と色空間の画素の対応関係を予め設定する。また、データベースに格納した画像データから画素を抽出して、色合表現との類似度を算出し、保存する。クエリーとして色合表現が与えられると、その色合表現と画像データとの類似度を調べ、類似度の高い画像データを検索して、表示する。

特開２００９−１９９３２２号公報 特開２００９−３５８１号公報

図１０に示す人物検索システムは、クエリー画像のみを受け付けるものであり、クエリーテキストによる人物検索を行なうことはできない。即ち、クエリー画像から視覚特徴（例えば、着衣の色や模様の情報）を抽出して人物検索を行なうものであり、「赤い服」という言語表現を示すクエリーテキストを視覚特徴に変換して人物検索を行なうことはできない。また、入力映像から着衣領域を検出する際、人物の向きを考慮しておらず、人物の向きの違いによる着衣の見え方の相違については考慮できない。更に、着衣領域全体の視覚特徴を抽出しているため、「白い上着に青いズボン」といった上半身／下半身で着衣の視覚特徴が異なる場合には、上半身／下半身の着衣の相違を人物検索に反映することはできない。このため、検索者が正面を向いた人物を検索しようとしても該当する人物以外の検索結果が出力されてしまい、また、上半身の着衣のみで人物検索を実行しようとしても上半身以外の着衣部分の視覚特徴が類似する人物が検索されることとなる。このように、従来の人物検索システムの出力する人物検索結果には誤りが多く含まれてしまう。

特許文献２の画像蓄積・検索システムは、「赤い服」のように１色からなる着衣についてクエリーテキストによる人物検索は可能であるが、クエリーテキストが１色のみを指定可能としているため、複数の色を用いて人物検索を行なうことができない。特許文献１と同様、人物の向きの相違や人物の上半身／下半身での視覚特徴の相違を人物検索結果に反映できない。

本発明は、上記の事情に鑑みてなされたものであり、映像に含まれる人物の服装の特徴を性格に抽出することができる人物服装特徴抽出装置を提供するものである。
また、本発明は映像より取得した人物服装特徴とクエリーテキストを照合して人物検索を行なう人物検索装置を提供するものである。
更に、本発明は人物服装特徴抽出方法、人物検索方法及びプログラムを提供するものである。

本発明に係る人物服装特徴抽出装置は、入力映像から人物領域を検出する人物領域検出部と、人物領域における人物の向きを判定する人物向き判定部と、人物領域における人物の服装の分離可能性を判定し、分離できたか否かの分離可能性、および、分離できた場合に分離した部位の位置を示す情報である服装部位分離情報を出力する服装部位分離部と、人物の向き及び服装部位分離情報を考慮して人物領域における人物の服装の視覚特徴を示す服装特徴を抽出する服装特徴抽出部と、抽出した服装特徴を格納する服装特徴格納部を具備する。

本発明に係る人物検索装置は、人物の服装の種類と色を表す服装クエリーテキストに基づいて、服装の種類と視覚特徴とを表す服装特徴パラメータを検索する服装特徴検索部と、服装特徴パラメータに基づいて人物の部位毎の服装の視覚特徴を推定し、服装特徴クエリーを出力する服装特徴クエリー生成部と、服装特徴格納部から検索した服装特徴と服装特徴クエリーを照合し、その照合結果を出力する服装特徴照合部と、照合結果に基づいて人物検索結果を出力する人物検索部を具備する。

本発明に係る人物服装特徴抽出方法は、入力映像から人物領域を検出する人物領域検出処理と、人物領域における人物の向きを判定する人物向き判定処理と、人物領域における人物の服装の分離可能性を判定し、分離できたか否かの分離可能性、および、分離できた場合に分離した部位の位置を示す情報である服装部位分離情報を生成する人物服装部位分離処理と、人物の向き及び服装部位分離情報を考慮して人物領域における人物の服装の視覚特徴を示す服装特徴を抽出する服装特徴抽出処理を実行する。

本発明に係る人物検索方法は、人物の服装の種類と色を表す服装クエリーテキストに基づいて、服装の種類と視覚特徴とを表す服装特徴パラメータを検索する服装特徴検索処理と、服装特徴パラメータに基づいて人物の部位毎の服装の視覚特徴を推定し、服装特徴クエリーを生成する服装特徴クエリー生成処理と、服装特徴格納部から検索した服装特徴と服装特徴クエリーを照合する服装特徴照合処理と、その照合結果に基づいて人物検索結果を出力する人物検索処理を実行する。

本発明は、上記の服装特徴抽出方法をコンピュータに読み取り実行可能な形式で記述したプログラムを提供する。また、本発明は上記の人物検索方法をコンピュータに読み取り実行可能な形式で記述したプログラムを提供する。

本発明は、監視カメラ等で取得した映像から人物領域を検出し、当該人物領域に存在する人物の服装特徴を正確に抽出するとともに、抽出した人物服装特徴に基づいて検索者の意図に近い人物検索結果を出力するものである。

本発明の実施例に係る人物服装特徴抽出装置の構成を示すブロック図である。 本発明の実施例に係る人物検索装置の構成を示すブロック図である。 人物向き判定部の内部構成を示すブロック図である。 服装部位分離部の内部構成を示すブロック図である。 人物服装特徴抽出装置の処理を示すフローチャートである。 人物服装特徴を示す視覚特徴の格納形式の一例を示す図である。 人物向き判定部の処理を示すフローチャートである。 服装部位分離部の処理を示すフローチャートである。 人物検索装置の処理を示すフローチャートである。 従来の人物検索システムの構成を示すブロック図である。

本発明の実施例について添付図面を参照して詳細に説明する。
図１は、本実施例に係る人物服装特徴抽出装置の構成を示すブロック図である。人物服装特徴抽出装置は、人物領域検出部１００、人物向き判定部１１０、服装部位分離部１２０、人物服装特徴抽出部１４０より構成される。

人物服装特徴抽出装置は、ＣＰＵ、ＲＯＭ、ＲＡＭ等により構成されるコンピュータに、人物服装特徴抽出プログラムをインストールすることにより実現される。人物服装特徴抽出プログラム（或いは、情報収集プログラム）を種々の記憶媒体に格納してもよいし、或いは、通信媒体を介して転送するようにしてもよい。記憶媒体には、フレキシブルディスク、ハードディスク、磁気ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＤＶＤ、ＲＯＭカートリッジ、バッテリーバックアップ付きＲＡＭカートリッジ、フラッシュメモリカートリッジ、及び不揮発性ＲＡＭカートリッジが含まれる。通信媒体には、電話回線等の有線通信媒体、マイクロ波回線等の無線通信媒体、及びインターネットが含まれる。

人物領域検出部１００は、入力映像に存在する人物領域を検出する。入力情報から検出した人物領域は、人物向き判定部１１０、服装部位分離部１２０、及び人物服装特徴抽出部１３０に入力される。人物向き判定部１１０は、入力映像の人物領域における人物の向きを判定して、人物服装特徴抽出部１３０に出力する。服装部位分離部１２０は、入力情報の人物領域に存在する人物の服装を各部位に分離可能か否かを判定して、服装部位分離情報を人物服装特徴抽出部１３０に出力する。詳細には、入力映像の人物領域及び背景領域に基づいて服装部位分離情報を算出して人物服装特徴抽出部１３０に出力する。人物服装特徴抽出部１３０は、入力映像の人物領域、人物向き、及び服装部位分離情報に基づいて、人物の服装の視覚情報を抽出して人物服装特徴格納部１４０へ出力する。換言すれば、入力情報の人物領域、人物向き、及び服装部位分離情報から人物服装特徴を抽出して人物服装特徴格納部１４０へ出力する。人物服装特徴格納部１４０は、人物服装特徴抽出部１３０から人物服装特徴を入力して格納する。

次に、図１に示す人物服装特徴抽出装置の動作について詳述する。人物領域抽出部１００は、画像処理対象として所望の映像を入力するものであり、所定の圧縮フォーマットの画像データ、復号処理後の非圧縮フォーマットの画像データを受け付けることができる。圧縮フォーマットとして、ＭＰＥＧ―２（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔ Ｇｒｏｕｐ）フォーマットやＨ．２６４フォーマット（或いは、ＭＰＥＧ−４フォーマット）を採用してもよい。圧縮フォーマットの画像データについては、復号処理を行なってフレーム単位或いはフィールド単位で入力する。以下の説明では、入力映像をフレーム単位とするが、フィールド単位であっても同様の画像処理が可能である。また、入力映像の色フォーマットとしてＹＵＶ形式、ＲＧＢ形式、或いは他の色空間の記述形式を採用することができる。

人物領域検出部１００は、入力映像の各フレームについて人物領域の検出処理を行なう。人物領域検出処理方法として種々の方法を採用することができる。例えば、予め取得した背景画像と入力映像との差分（以後、「差分画像」と称する）を算出し、閾値処理を実行することにより、入力映像における人物領域のみを抽出する。入力映像と背景画像との差分を示す差分画像を各フレームから抽出してもよいし、或いは、各フレームを複数の領域に分割して、各分割部分について差分画像を抽出してもよい。即ち、入力映像の各フレームの分割部分毎に動物体（人物以外の動物等）が存在しているか否かを判定し、動物体が存在していない状態の映像と背景画像との差分を算出して人物領域を抽出するようにしてもよい。また、差分画像に対して施される閾値処理で使用される閾値を全画面に対して一様に設定してもよいし、或いは、各画面領域に対して適応的に設定してもよい。例えば、時間的に情報変動が大きい画面領域については閾値を増大し、一方、時間的な情報変動が少なく安定した画面領域については閾値を減少するようにしてもよい。

入力映像から抽出された人物領域は、近接した領域毎にグループ化され、各グループに個別のＩＤ（識別情報）が割り当てられ、各ＩＤに対応する領域が人物領域を構成する。人物領域の記述方法として様々な方法を適用することができる。例えば、各ＩＤに対応する領域の背景を示す値と異なる値を代入して構成される２次元情報を示すマスク情報として算出してもよい。このようにして算出された人物領域は入力映像とともに人物向き判定部１１０へ出力される。

人物向き判定部１１０は、入力映像と人物領域に基づいて人物の向きを判定する。人物の向きは、顔の向き、人物の動き方向、及び人物の服装の対称性に基づいて決定する。これは、人物の向きが顔の向きや人物の動きと強い相関があることによる。一般に、服装は左右対称の模様パターンを有することが多いため、服装の対称性を人物が正面を向いているか否かの判定に用いることができる。これらの情報を入力画像における人物領域に存在する人物の向き判定に用いる。人物向き判定に用いる情報の詳細については、後述する。人物向き判定に顔の向き、人物の動き方向、及び服装の対称性を全て用いる必要はなく、これらの情報の少なくとも１つに基づいて人物の向き判定を行なってもよい。ここで、人物向きは各ＩＤ対応領域毎に算出される。例えば、人物向きを正面、背面、及び方向不定（即ち、人物方向の判定不能）の３つの区分に分けて算出する。算出された人物向きは人物服装特徴抽出部１３０に出力される。尚、人物向きを正面、背面、及び方向不定の３区分に限定する必要はなく、４区分以上に細分化してもよい。

服装部位分離部１２０は、入力映像、人物領域、及び背景領域を入力する。服装部位分離部１２０は、これらの情報に基づいて人物の服装を複数の部位に分離する。

背景領域は、人物領域の背景上の位置に応じて変化する人物の見え方を示す情報である。例えば、カメラの撮像範囲において床の上に人物領域の下端（足、靴、等）が存在する場合、その背景領域は人物の全身を可視化すると考えられる。一方、カメラの撮像範囲に机や棚等の障害物が存在し、人物領域の下端が障害物に接している場合には、その背景領域は人物の一部（例えば、上半身）のみを可視化すると考えられる。このように、カメラの撮像範囲に床が存在する場合には、人物の全体像可視化しうる背景領域としてマークし、一方、障害物の上側を人物の一部（例えば、上半身）を可視化する背景領域としてマークする。監視カメラでは撮像範囲を固定しているため、背景領域の取得は一度のみでよい。この背景領域の取得方法としては、監視者（或いは、オペレータ）が人的に背景領域をマークして取得する。監視カメラの撮像範囲が複数の固定位置に変化する場合には、各固定位置について人的に背景領域をマークして取得する。監視カメラの撮像範囲が連続的に変化する場合には、一旦、人的に背景領域をマークして取得しておき、監視カメラの動きに追従して、自動的に背景領域も変更する。具体的には、棚や机の角等の特徴点を従来の特徴点抽出方法により自動的に抽出し、カメラの動きに追従して撮像範囲内で移動する特徴点をフレーム間で対応付けることにより、各背景領域における人物領域の移動を追跡することができる。

服装特徴抽出部１３０は、入力映像、人物領域抽出部１００から出力される人物領域、及び服装部位分離部１２０から出力される服装部位分離情報に基づいて、人物領域における視覚特徴を人物の部位毎に抽出する。

例えば、服装部位分離情報が人物の画像が上半身と下半身に分離するものであり、その分離位置が指定されている場合には、人物領域における分離位置よりも上側の部分から上半身の視覚特徴を抽出し、その人物領域における分離位置よりも下側から下半身の視覚特徴を抽出する。人物領域の上半身部分及び下半身部分から人物の顔部分や足部分を判定し、これらの部分を除く視覚特徴を抽出するようにしてもよい。このように人物領域から抽出された視覚特徴は、人物の各部分と対応付けて出力される。例えば、上半身の視覚特徴は人物の上半身であることを示すインデックスと組み合わせて出力する。また、人物向き判定部１１０から出力される人物向きと組み合わせて出力するようにしてもよい。例えば、人物向きが正面方向である場合、その正面方向を示すインデックスとともに出力する。人物向きが背面方向（或いは、側面方向）である場合、その背面方向（或いは、側面方向）を示すインデックスとともに出力する。人物向きが方向不定である場合、方向不定を示すインデックス（例えば、特定の値を有するインデックス）とともに出力する。

視覚特徴は、人物の服装の色や模様等を示すものである。視覚特徴をＨＳＶ色空間で表現する場合、人物領域の画素情報を色相（Ｈｕｅ）、彩度（Ｓａｔｕｒａｔｉｏｎ）、及び明度（Ｖａｌｕｅ）に変換し、更に量子化することによりＨＳＶヒストグラムを生成する。ＩＳＯ／ＩＥＣ １５９３８−３で規定されているＭＰＥＧ−７のＤｏｍｉｎａｎｔ Ｃｏｌｏｒ Ｄｅｓｃｒｉｐｔｏｒのように代表色を視覚特徴とする場合、人物領域の色分割を行い、各分割区分内で支配的な色を検索して視覚特徴とする。上記の方法以外にも、ＭＰＥＧ−７のカラーレイアウトのように、色を表す様々な視覚特徴を用いることができる。模様を表す視覚特徴としてエッジヒストグラムを用いる場合には、人物領域内の各方向のエッジを抽出してエッジヒストグラムを生成する。Ｗａｖｅｌｅｔ方に基づく視覚特徴の場合には、人物領域に対してＷａｖｅｌｅｔ変換を行い、Ｗａｖｅｌｅｔ係数を算出する。そのＷａｖｅｌｅｔ係数、或いは、その統計値（即ち、Ｗａｖｅｌｅｔ係数の方向成分の平均値、分散、等）を視覚特徴とする。更に、ＭＰＥＧ−７のＨｏｍｏｇｅｎｅｏｕｓ Ｔｅｘｔｕｒｅのように、模様に関する様々な視覚特徴を用いることができる。尚、視覚特徴は色及び模様の両方の成分を含む必要はなく、色及び模様のいずれか一方の成分であってもよい。更に、視覚特徴は色及び模様以外の成分を含んでもよい。

上記のように抽出された人物の服装の視覚特徴は服装特徴として服装特徴格納部１４０に格納される。服装特徴の格納形式として様々な形式を用いることができる。例えば、入力映像を固定時間長の時間単位に区切り、各時間単位でファイルに格納する。或いは、映像の録画時間が短い場合には、各映像単位でファイルに格納する。図６は、視覚特徴の格納形式の一例を示す。ここでは、ヘッダ情報に続いて人物領域毎に視覚特徴を順次格納する。各人物領域について、人物領域ＩＤ、服装部位インデックス、人物向きインデックス、色の視覚特徴、及び模様の視覚特徴を順次格納する。尚、視覚特徴の格納形式は図６の形式に限定されるものではなく、各人物領域を一意に特定可能であればどのような形式でもよい。

次に、図１に示す人物服装特徴抽出装置の動作について詳述する。図５は、人物服装特徴抽出装置の処理全体を示すフローチャートである。先ず、人物領域検出部１００が入力映像から人物領域をフレーム毎に検出する（ステップＳ１００）。次に、人物向き判定部１１０が人物領域内の人物の向きを判定する（ステップＳ１１０）。この詳細な処理内容については後述する。次に、服装部位分離部１２０が人物の服装を複数の部位に分離する（ステップＳ１２０）。この詳細な処理内容については後述する。次に、服装特徴抽出部１３０が人物の服装特徴を抽出する（ステップＳ１３０）。尚、ステップＳ１１０とステップＳ１２０の順序は逆であってもよい。

人物服装特徴抽出装置は、人物の向きや服装部位の分離可能性に基づいて服装特徴を抽出して格納する。このため、人物の向きや服装部位毎に異なる視覚特徴を有する服装の検索を可能とする情報（即ち、服装特徴情報）を提供することができる。

次に、人物服装特徴抽出装置の人物向き判定部１１０の動作について詳述する。図３は、人物向き判定部１１０の内部構成を示すブロック図である。人物向き判定部１１０は、顔向き判定部３００、人物動き解析部３１０、服装対称性判定部３２０、及び統合向き判定部３３０より構成される。

顔向き判定部３００は、入力映像から人物の顔の向きを判定して、その判定結果を統合向き判定部３３０へ出力する。人物動き解析部３１０は、入力映像と人物領域に基づいて人物動きを解析して、その解析結果を統合向き判定部３３０へ出力する。服装対称性判定部３２０は、入力映像と人物領域に基づいて服装対称性を判定し、その判定結果を統合向き判定部３３０へ出力する。統合向き判定部３３０は、人物の顔の向き、人物動き、及び服装対称性に基づいて人物向きを判定する。

次に、人物向き判定部１１０の動作について詳述する。顔向き判定部３００は、入力映像の各フレームについて人物の顔領域を検出するとともに、顔の向きを推定する。人物の顔領域の検出及び顔の向きの推定方法として、従来の様々な方法を用いることができる。入力画像の各フレームにおいて複数の人物の顔が検出された場合には、各人物の顔の向きを推定する。人物の顔の向きに係る情報は、顔の位置や向き（特に、左右方向の向き）の集合を各人物の顔毎にまとめたものである。もし、入力画像において人物の顔が検出されなかった場合には、人物の顔が検出されなかったことを示す情報を出力する。人物の顔領域の検出や顔の向きを推定する際、検出／推定の確かさを示す信頼度についても算出して、人物の顔の向きに係る情報に添付する。このようにして判定された人物の顔の向きは統合向き判定部３３０へ出力される。

人物動き解析部３１０は、入力映像と人物領域の時系列情報に基づいて人物領域の動きを解析する。例えば、人物領域内の特徴点をフレーム毎に検出て、フレーム間で追跡し、以って、人物領域の動きを推定する。或いは、人物領域の重心を各フレームで算出し、その移動を追跡することにより人物領域の動きを推定する。その際、時系列で前後する２枚のフレームに基づいて人物領域の動きを推定してもよい。或いは、多数のフレームに基づいて人物領域の動きを推定してもよい。人物領域の動きが比較的小さい場合には、フレーム間でオプティカルフローを算出し、そのオプティカルフローに基づいて人物領域の動きを推定する。この場合、人物領域内の画素間のオプティカルフローの平均値を算出したり、メディアン等の非線形統計処理を行なうことにより、人物領域の動きを推定してもよい。推定された人物領域の動き（即ち、人物動き）は統合向き判定部３３０へ出力される。

服装対称性判定部３２０は、入力映像と人物領域に基づき服装の対称性を判定する。服装の対称性を判定する方法として様々な方法が考えられるが、例えば、人物領域の画素を水平方向に走査して得られる画素関数が人物領域の中心付近を軸として対象性を有するか否かを調べるようにしてもよい。具体的には、数式１に従い対称性のズレを算出する。

ここで、Ｉ（ｘ，ｙ）は座標（ｘ，ｙ）における画素データ（色空間Ｒ、Ｇ、Ｂの３次元ベクトル）を示す。Ｍ（ｘ，ｙ）は、人物領域を示すマスク情報であり、座標（ｘ，ｙ）が人物領域の場合には「１」となり、それ以外の場合には「０」に設定される。Ｗは定数であり、ｕは人物領域の中心付近の値に設定される。数式１は、人物領域の中心を動かした場合（即ち、ｕ値を変化させた場合）における、対象性のズレの最小値としてＤ_ｓ（ｙ）をｙの各値について算出する。このようにして算出した対象性ズレＤ_ｓ（ｙ）を、数式２に従って人物領域の上端ｙ＝Ｙ_０と下端ｙ＝Ｙ_１の間で平均し、以って、平均的な対象性の歪みを算出する。

但し、撮像領域における画素データが一様であり向きによらず対象性が高くなる場合の想定されるため、画素データの平坦性も同時にチェックし、画素データの平坦性が高い場合には、対象性ズレの算出値が高くても、計算の信頼性が低いと判定する。このため、数式３に従って水平方向の走査線毎に画素データの平坦性を算出し（即ち、人物領域の左端ｘ＝Ｘ_０と右端ｘ＝Ｘ_１）、数式４に従って人物領域の上端ｙ＝Ｙ_０と下端ｙ＝Ｙ_１との間で平均し、以って、平均的な対象性の歪を算出する。

ここで、Ｉ（ｘ，ｙ）バーは、ｙを固定して水平方向に走査して得られる画素データを平均した値を示す。上記のように計算したＤ_ｓバー及びＤ_ｆバーを服装対称性として統合向き判定部３３０へ出力する。或いは、数式１及び数式３で表される対称性及び平坦性の関数値を服装対称性として出力するようにしてもよい。

統合向き判定部３３０は、人物領域における人物の顔の向き、人物の動き、及び服装対称性に基づいて統合的な人物向きを判定する。ここでも、様々な方法を適用できるが、例えば、人物の顔の向き、人物の動き、及び服装対称性の夫々について正面方向に対するスコア（以下、「正面性スコア」と称す）を計算し、そのスコアを統合して人物向きを判定する。この場合、人物の顔の向きをそのまま正面性スコアとしてもよい。

人物の動きについては、計算した動きベクトルと下向きのベクトルとの類似度を算出することにより、人物がどちらの方向に移動している（歩いている）のか推測する。例えば、動きベクトルと下向きのベクトルとの余弦値を算出し、その余弦値の大きさに基づいて人物の向きを推測する。ここで、動きベクトルが上向きのベクトルの場合には、余弦値は「−１」となる。具体的には、数式５に従って正面性スコアを算出する。動きベクトルが下向きのベクトルとの相関性が高い場合には、正面性スコアが大きな正の値となる。これとは逆に、動きベクトルが上向きのベクトルとの相関性が高い場合には、正面性スコアが大きな負の値となる。ここでは、ｙ軸の正の方向を下向きとしている。

ここで、動きベクトルの大きさも考慮して正面性スコアを算出するようにしてもよい。例えば、動きベクトルの大きさが閾値以下の場合には、数式５で算出される正面性スコアが「０」となるようにしてもよい。

また、服装対称性に基づいて正面性スコアを算出することもできる。即ち、Ｄ_ｓバー及びＤ_ｆバーが服装対称性として服装対称性判定部３２０から出力される場合には、数式６に従って正面性スコアを算出する。

ここで、ｇ（ｘ）はｘに対する単調非減少関数、ｓ（ｘ）はｘが大きいときに「０」となる単調非増加関数である。或いは、Ｄ_ｓ（ｙ）、Ｄ_ｆ（ｙ）が服装対称性として服装対称性判定部３２０から出力される場合には、数式７に従って正面性スコアを算出する。

上記のように、人物の顔の向き、人物の動き、及び服装対称性について算出した正面性スコアに基づいて、人物向きを判定する。ここでは、各正面性スコアの和或いは積を算出し、その値が一定の閾値よりも大きい場合には人物が正面を向いていると判定する。或いは、各正面性スコアを入力して全体的な正面性の判定結果を出力するニューラルネットワーク等の識別システムを入力データの学習機能を用いて構築し、以って、人物の正面性を判定してもよい。ここでは、人物の向きとして正面方向、背面方向、及び方向不定のいずれかに分類して、人物向きを判定する。

次に、図３に示す人物向き判定部１１０の全体的処理について図７に示すフローチャートを参照して説明する。先ず、顔向き判定部３００は人物の顔の向きを判定して、その判定結果を統合向き判定部３３０へ出力する（ステップＳ３００）。次に、人物動き解析部３１０は人物領域の動きを推定し、その推定結果を統合向き判定部３３０へ出力する（ステップＳ３１０）。次に、服装対称性判定部３２０は人物の服装対称性を判定し、その判定結果を統合向き判定部３３０へ出力する（ステップＳ３２０）。その後、統合向き判定部３３０は人物の顔の向き、人物の動き、及び服装対称性に基づいて人物向きを判定する（ステップＳ３３０）。尚、ステップＳ３００、Ｓ３１０、及びＳ３２０の順序を変更してもよい。

次に、図１に示す人物服装特徴抽出装置の服装部位分離部１２０について詳述する。図４は、服装部位分離部１２０の内部構成を示すブロック図である。服装部位分離部１２０は、領域形状分析部４００、可視部位判定部４１０、及び統合部位分離部４２０より構成される。

領域形状分析部４００は、人物領域を分析して形状分析情報を生成して統合部位分離部４２０へ出力する。可視部位判定部４１０は、人物領域と背景領域に基づいて可視部位情報を生成して統合部位分離部４２０へ出力する。統合部位分離部４２０は、入力映像、領域形状判定部４００から出力される形状分析情報、及び可視部位判定部４１０から出力される可視部位情報に基づいて服装部位分離情報を生成する。

次に、図４に示す服装部位分離部１２０の処理について説明する。以下の説明では、服装部位として上半身と下半身の２つの部位を想定し、それらを分離する情報として服装部位分離情報が生成されるものとする。領域形状分離手段４００は、人物領域の幾何学的な形状を分析し、人物が立っている状態かどうか、或いは人物の上半身のみが撮像範囲に映っているかどうかを判定する形状分析情報を生成する。例えば、人物領域を囲む矩形範囲を想定し、その縦横比を算出して形状分析情報とする。算出された形状分析情報は、統合部位分離部４２０へ出力される。

可視部位判定部４１０は、人物領域と背景領域に基づいて人物を上半身と下半身に分離可能かどうかを判定する。具体的には、人物領域の下端に対応する座標値を算出し、それに基づいて人物領域に人物の全身を可視しうるか否かを判定する。人物の全身の可視化が可能な場合には、その旨を示す可視部位情報を出力する。人物領域が人物の上半身（或いは、下半身）のみを可視化している場合には、その旨を示す可視部位情報を出力する。上記以外の場合には、可視部位不明である旨を示す可視部位情報を出力する。可視部位情報は、統合部位分離部４２０へ出力される。

統合部位分離部４２０は、形状分析情報と可視部位情報に基づいて人物の服装部位が分離可能か否かを判定する。具体的には、形状分析情報に基づいて人物が妥当な範囲（即ち、撮像範囲内の妥当な範囲）に収まっているか否かを判定する。例えば、直立した人物が妥当な範囲で収まっており、かつ、可視部位情報が人物の全身の可視化が可能であることを示している場合には、統合部位分離部４２０は人物を上半身と下半身に分離可能であると判定する。一方、形状分析情報が人物の上半身のみが妥当な範囲に収まっていることを示している場合には、統合部位分離部４２０は人物の上半身のみ可視化できると判定する。可視部位情報が可視部位不明を示している場合には、統合部位分離部４２０は人物を上半身と下半身に分離不可能と判定する。また、形状分析情報が直立した人物が妥当な範囲に収まっていない、或いは、人物の上半身が妥当な範囲に収まっていないことを示す場合には、統合部位分離部４２０は人物を上半身と下半身に分離不可能と判定する。

統合部位分離部４２０は、人物を上半身と下半身に分離可能と判定する場合には、その分離位置も算出する。この分離位置の算出方法には様々な方法が考えられる。例えば、数式８に従って人物領域の画素データを水平方向に走査し、ｙ軸方向に射影した画素関数値を算出する。

ここで、Ｉ（ｘ，ｙ）は座標（ｘ，ｙ）における画素データ（色空間Ｒ、Ｇ、Ｂの３次元ベクトル）を示し、Ｍ（ｘ，ｙ）は人物領域のマスク情報を示す。数式８では、画素関数値ｆ（ｙ）が大きく変化するようなｙ座標を求める。例えば、数式９に従って画素関数値の差分の最大値を求め、その最大差分値Ｄ_０が閾値より大きい場合には、人物を上半身と下半身に分離可能であると判定する。人物を上半身と下半身に分離可能と判定される場合には、そのときのｙ座標の値ｙ_０を数式１０に従って算出する。このように、統合部位分離部４２０は人物を上半身と下半身に分離可能とする判定結果に加えて、そのときのｙ座標の値ｙ_０を服装部位分離情報に格納して出力する。

尚、人物の服装において上半身と下半身との間の視覚特徴の相違が比較的小さい場合には、所定の分割割合にて人物領域を分割可能であると判定し、その分割割合を服装部位分離情報に格納して出力する。

次に、図４に示す服装部位分離部１２０の処理について図８に示すフローチャートを参照して説明する。先ず、領域形状分析部４００は人物領域の形状を分析して形状分析情報を統合部位分離部４２０に出力する（ステップＳ４００）。次に、可視部位判定部４１０は人物領域と背景領域に基づいてカメラの撮像範囲にて可視化されている可視部位を判定して、可視部位情報を統合部位分離部４２０へ出力する（ステップＳ４１０）。統合部位分離部４２０は、上述の統合部位分離処理を実行し、以って、服装部位分離情報を生成する（ステップＳ４２０）。尚、ステップＳ４００及びＳ４１０の順序を変更してもよい。

次に、本発明の実施例に係る人物検索装置について詳述する。図２は、本実施例に係る人物検索装置の構成を示すブロック図である。人物検索装置は、服装特徴検索部２００、服装特徴クエリー生成部２１０、服装特徴照合部２２０、人物検索部２３０、並びに服装特徴格納部１４０より構成される。図２に示す人物検索装置は、図１に示す服装特徴格納部１４０以外の人物服装特徴抽出装置の構成要素を具備していない。しかし、図２の人物検索装置と図１の人物服装特徴抽出装置を組み合わせるようにしてもよい。

人物検索装置の機能は、ＣＰＵ、ＲＯＭ、ＲＡＭ等により構成されるコンピュータに人物検索プログラムをインストールすることにより実現されうるものである。

服装特徴検索部２００は、服装クエリーテキストに基づいて服装の種類と視覚特徴を表す単語を検索して、服装特徴パラメータとして出力する。詳細には、服装辞書を参照して服装クエリーテキストを解析して服装特徴パラメータを生成し、服装特徴クエリー生成部２１０へ出力する。服装特徴クエリー生成部２１０は、服装特徴パラメータから服装の視覚特徴を推定し、服装特徴クエリーを生成して服装特徴照合部２２０へ出力する。服装特徴格納部１４０は、図１に示す人物服装特徴抽出装置により抽出した人物の服装特徴を格納している。この服装特徴は、入力映像の人物領域と服装部位分離情報に基づいて生成された人物の服装の視覚特徴である。この服装特徴に人物の向きに基づいて抽出した服装の視覚特徴を加えてもよい。服装特徴照合部２２０は、服装特徴格納部１４０に格納した服装特徴と服装特徴クエリーを照合して、その照合結果を人物検索部２３０へ出力する。人物検索部２３０は、服装特徴照合部２２０の照合結果を集計し、以って、人物検索結果を出力する。

次に、図２に示す人物検索装置の動作について詳述する。服装特徴検索部２００は、服装クエリーテキストを入力する。服装特徴検索部２００は、服装辞書を参照して服装クエリーテキストから服装の種類と色を示す服装特徴パラメータを検索する。服装辞書は、様々な色を表す単語に対応付けて画素データ（例えば、ＲＧＢデータやＨＳＶデータ）を服装情報として記憶する。また、服装辞書は服装の種類が上半身に関連するか、或いは、下半身に関連するかについても服装情報に記述する。服装特徴検索部２００は、服装辞書に登録された服装情報を参照して、服装クエリーテキストを解析し、以って、服装特徴パラメータを生成する。

例えば、服装クエリーテキストとして「白いシャツに青いジャケット、黒いズボン」が入力された場合、服装特徴検索部２００は「シャツ」と「ジャケット」が上半身に関連し、かつ、夫々の色が「白」と「青」であることを服装辞書から検索する。また、服装特徴検索部２００は、「ズボン」が下半身に関連し、かつ、その色が「黒」であることを服装辞書から検索する。更に、服装特徴検索部２００はシャツとジャケットでは、重ね着した際にジャケットの方が上側になることを判定するとともに、上半身の色としては「青」の比率が「白」よりも大きくなることを判定する。人物を正面からみた場合にはシャツとジャケットの両方が見え、背面から見た場合にはジャケットのみが見えることを考慮して、服装特徴検索部２００は上半身の正面及び背面について異なる色パラメータを生成する。また、下半身については、正面と背面の両方の色が「黒」であることを示す色パラメータを生成する。

日本語の「〜っぽい」、「〜系」といった曖昧さを表す言葉を服装クエリーテキストに含めた場合には、曖昧さの度合いについても服装特徴パラメータに記述する。例えば、服装特徴を色ヒストグラムで示す場合には、色ヒストグラムの広がりの度合いを曖昧さの度合いによって調節することができる。

上記のように、上半身及び下半身に対応する画素データ（例えば、ＲＧＢデータやＨＳＶデータ）、色の比率、色パラメータ、色表現の曖昧さ度合いを服装特徴パラメータに記述して服装特徴クエリー生成部２１０へ出力する。

服装特徴クエリー生成部２１０は、服装特徴検索部２００から出力された服装特徴パラメータに基づいて服装特徴クエリーを生成する。例えば、色ヒストグラムを服装特徴として用いる場合には、服装特徴パラメータに含まれる画素データをピーク値とし、色表現の曖昧さ度合いにより定まる広がりを有する色ヒストグラムを生成する。ここで、色の比率に応じて色ヒストグラムのピーク値を調整する。また、人物の向き（即ち、人物が正面を向いているかどうか）によって服装の色の見え方が異なるため、人物の正面方向と非正面方向について個別に色ヒストグラムを生成する。また、人物の上半身と下半身の夫々についても服装特徴クエリーを生成する。このようにして生成した服装特徴クエリーを服装特徴照合部２２０へ出力する。

服装特徴照合部２２０は、服装特徴クエリー生成部２１０から出力される服装特徴クエリーと服装特徴格納部１４０に蓄積された服装特徴（即ち、検索対象となっている人物の服装特徴）を比較し、照合スコアを計算する。服装特徴クエリーと（服装特徴格納部１４０から検索された）服装特徴の比較は、服装部位分離情報により指定された各服装部位に対して行なってもよい。

上記の照合スコアは、服装特徴の類似度を表しており、例えば、服装特徴ベクトルの内積により計算することができる。或いは、服装特徴間の距離（相違）を算出して、服装特徴の類似度に変換してもよい。即ち、数式１１に従って服装特徴間の距離ｄを類似度Ｓに変換する。

服装特徴格納部１４０に蓄積された服装特徴は、人物の向きや服装部位分離情報と対応付けて格納されているため、服装特徴照合部２２０はその情報も加味して服装特徴クエリーと検索服装特徴との照合を行なう。具体的には、検索服装特徴が人物の正面に対応する場合、人物の正面に係る服装特徴クエリーと照合する。検索服装特徴が人物の非正面方向に対応する場合には、人物の非正面方向に係る服装特徴クエリーと照合する。また、検索服装特徴に係る人物が方向不定の場合には、人物の正面方向及び非正面方向に係る服装特徴の両方と照合し、照合結果のよい方を採用する。

服装部位分離情報を考慮して、検索服装特徴が人物の上半身に対応する場合には、人物の上半身に係る服装特徴クエリーと照合する。検索服装特徴が人物の下半身に対応する場合には、人物の下半身に係る服装特徴クエリーと照合する。一方、人物の服装を上半身と下半身に分離できない場合には、人物の上半身と下半身に係る服装特徴クエリーを統合して得た統合服装特徴クエリーと照合する。例えば、服装特徴を色ヒストグラムで表す場合、人物の上半身と下半身の服装特徴を加算し、必要に応じて正規化を行なって、検索服装特徴と照合する。

人物の上半身と下半身が同時に見えている場合には、服装特徴照合部２２０は人物の上半身と下半身の両方について同時に照合結果を得ることができる。この場合、人物の上半身と下半身の服装特徴の照合結果の両方を用いて照合度合いを判定する。人物の上半身と下半身の一方しか見えていない場合や、人物の服装を上半身と下半身に分離できなかった場合には、服装特徴照合部２２０は１つの照合結果のみ得ることとなる。この場合、１つの照合結果のみを用いて照合の度合いを判定する。

上記のように、服装特徴照合部２２０は人物の見え方に応じて異なる数の照合結果を生成する。１つのみの照合結果が得られる場合には、そのときの服装特徴の類似度がそのまま全体の照合結果となる。また、人物の上半身と下半身のように複数の照合結果が得られる場合には、複数の服装特徴の類似度Ｓ_１、Ｓ_２を計算する。この場合、数式１２に従って統合類似度Ｓを計算する。

ここで、ｈ（ｘ）は単調非減少関数を示し、例えば、数式１３で表される。

上記の処理により、統合的に照合した方の類似度が高くすることにより、直感に近い人物の服装特徴の照合結果を得ることができる。服装特徴照合部２２０の照合結果は、人物検索部２３０へ出力される。

人物検索部２３０は、服装特徴照合部２２０の照合結果に基づいて人物検索結果を出力する。具体的には、統合類似度の大きい順に照合結果を並べ替えて、それらを人物検索結果として出力する。人物検索結果に含める照合結果の個数をＮ個に固定する場合には、統合類似度の大きい順序で上位Ｎ個の照合結果を選択して出力する。

次に、図２に示す人物検索装置の動作について図９に示すフローチャートを参照して詳述する。先ず、服装特徴検索部２００は服装クエリーテキストに対応する服装特徴パラメータを服装辞書から検索して、服装特徴クエリー生成部２１０へ出力する（ステップＳ２００）。次に、服装特徴クエリー生成部２１０は服装特徴パラメータに基づいて服装特徴クエリーを生成して、服装特徴照合部２２０へ出力する（ステップＳ２１０）。次に、服装特徴照合部２２０は服装特徴クエリーと（服装特徴格納部１４０から読み出した）検索服装特徴を照合し、その照合結果を人物検索部２３０へ出力する（ステップＳ２２０）。人物検索部２３０は、服装特徴クエリーと検索服装特徴との照合結果に基づいて人物検索結果を生成して出力する（ステップＳ２３０）。

図２に示した人物検索装置は、日本語や英語等の自然言語により表された服装クエリーテキストに基づいて、人物の向きや服装部位分離情報を考慮して、高度な人物検索処理を実現するものである。換言すれば、本実施例は人物の服装特徴を自然言語により入力し、人物の向きや服装特徴の相違を考慮して人物検索を行なうものであるため、検索者の意図に近い人物検索結果を得ることができる。

尚、本発明は上記の実施例に限定されるものではなく、添付した特許請求の範囲に規定される発明の範囲内の変更を許容するものである。例えば、服装部位分離部１２０は人物の服装部位を上半身と下半身の２つに分離するのみならず、靴や帽子等の他の服装部位に分離可能としてもよい。

本発明は、監視カメラの撮像範囲において人物領域を検出し、その人物領域に含まれる人物の服装特徴を抽出して、データベースを参照して高精度に人物を検索するものであるため、公的機関や私企業のセキュリティ用途等に適用されるものである。

１００ 人物領域検出部
１１０ 人物向き判定部
１２０ 服装部位分離部
１３０ 服装特徴抽出部
１４０ 服装特徴格納部
２００ 服装特徴検索部
２１０ 服装特徴クエリー生成部
２２０ 服装特徴照合部
２３０ 人物検索部
３００ 顔向き判定部
３１０ 人物動き解析部
３２０ 服装特徴対象性判定部
３３０ 統合向き判定部
４００ 領域形状分析部
４１０ 可視部位判定部
４２０ 統合部位分離部
１０００ 顔領域検出／顔特徴抽出部
１０１０ 着衣領域検出／着衣特徴抽出部
１０２０ 顔領域検出／顔特徴抽出部
１０３０ 着衣領域検出／着衣特徴抽出部
１０４０ 着衣特徴データベース（ＤＢ）
１０５０ 顔特徴データベース（ＤＢ）
１０６０ 顔類似度算出部
１０７０ 着衣類似度算出部
１０８０ 人物同一性判定部

Claims (22)

1. 入力映像から人物領域を検出する人物領域検出部と、
   人物領域における人物の向きを判定する人物向き判定部と、
   人物領域における人物の服装の分離可能性を判定し、分離できたか否かの分離可能性、および、分離できた場合に分離した部位の位置を示す情報である服装部位分離情報を出力する服装部位分離部と、
   人物の向き及び服装部位分離情報を考慮して人物領域における人物の服装の視覚特徴を示す服装特徴を抽出する服装特徴抽出部と、
   抽出した服装特徴を格納する服装特徴格納部を具備する人物服装特徴抽出装置。
2. 前記人物向き判定部は、人物の顔の向き、人物の動き、及び服装の対称性の少なくとも１つに基づいて人物の向きを判定するようにした請求項１記載の人物服装特徴抽出装置。
3. 前記人物向き判定部により判定された人物の向きは、正面方向、背面方向、及び方向不定の少なくとも１つを示すものである請求項１記載の人物服装特徴抽出装置。
4. 前記服装部位分離部は、入力映像、人物領域、及び背景領域に基づいて人物の服装部位の分離可能性を判定するものである請求項１記載の人物服装特徴抽出装置。
5. 前記服装部位分離部は、人物領域の幾何学的形状を分析して形状分析情報を生成する領域形状分析部と、人物領域と背景領域に基づいて可視化された人物の服装部位を示す可視部位情報を生成する可視部位判定部と、形状分析情報及び可視部位情報に基づいて人物の服装部位の分離可能性を判定して服装部位分離情報を生成する統合部位分離部を具備する請求項４記載の人物服装特徴抽出装置。
6. 人物の服装の種類と色を表す服装クエリーテキストに基づいて、服装の種類と視覚特徴とを表す服装特徴パラメータを検索する服装特徴検索部と、
   服装特徴パラメータに基づいて人物の部位毎の服装の視覚特徴を推定し、服装特徴クエリーを出力する服装特徴クエリー生成部と、
   服装特徴格納部から検索した服装特徴と服装特徴クエリーを照合し、その照合結果を出力する服装特徴照合部と、
   照合結果に基づいて人物検索結果を出力する人物検索部を具備する人物検索装置。
7. 前記服装部位格納部は、入力映像の人物領域と人物の服装部位の分離可能性を示す服装部位分離情報に基づいて予め生成された服装特徴を格納するものである請求項６記載の人物検索装置。
8. 前記服装部位格納部は、入力映像の人物領域及び服装部位分離情報に加えて人物の向きを考慮して生成された服装特徴を格納するものである請求項７記載の人物検索装置。
9. 前記服装特徴照合部は、服装部位分離情報で指定される服装部位毎に検索服装特徴と服装特徴クエリーを照合するものである請求項６記載の人物検索装置。
10. 入力映像から人物領域を検出する人物領域検出部と、
    人物領域における人物の向きを判定する人物向き判定部と、
    人物領域における人物の服装の分離可能性を判定し、服装部位分離情報を出力する服装部位分離部と、
    人物の向き及び服装部位分離情報を考慮して人物領域における人物の服装の視覚特徴を示す服装特徴を抽出する服装特徴抽出部を更に具備し、
    前記服装特徴格納部は抽出された服装特徴を格納するものである請求項６記載の人物検索装置。
11. 入力映像から人物領域を検出し、
    人物領域における人物の向きを判定し、
    人物領域における人物の服装の分離可能性を判定し、分離できたか否かの分離可能性、および、分離できた場合に分離した部位の位置を示す情報である服装部位分離情報を生成し、
    人物の向き及び服装部位分離情報を考慮して人物領域における人物の服装の視覚特徴を示す服装特徴を抽出して格納するようにした人物服装特徴抽出方法。
12. 人物の顔の向き、人物の動き、及び服装の対称性の少なくとも１つに基づいて人物の向きを判定するようにした請求項１１記載の人物服装特徴抽出方法。
13. 人物の向きは、正面方向、背面方向、及び方向不定の少なくとも１つを示すものである請求項１１記載の人物服装特徴抽出方法。
14. 入力映像、人物領域、及び背景領域に基づいて人物の服装部位の分離可能性を判定するものである請求項１１記載の人物服装特徴抽出方法。
15. 人物領域の幾何学的形状を分析して形状分析情報を生成し、
    人物領域と背景領域に基づいて可視化された人物の服装部位を示す可視部位情報を生成し、
    形状分析情報及び可視部位情報に基づいて人物の服装部位の分離可能性を判定して服装部位分離情報を生成するようにした請求項１４記載の人物服装特徴抽出方法。
16. 人物の服装の種類と色を表す服装クエリーテキストに基づいて、服装の種類と視覚特徴とを表す服装特徴パラメータを検索し、
    服装特徴パラメータに基づいて人物の部位毎の服装の視覚特徴を推定し、服装特徴クエリーを生成し、
    服装特徴格納部から検索した服装特徴と服装特徴クエリーを照合して、その照合結果を出力し、
    照合結果に基づいて人物検索結果を出力するようにした人物検索方法。
17. 前記服装特徴格納部は、入力映像の人物領域と人物の服装部位の分離可能性を示す服装部位分離情報に基づいて予め生成された服装特徴を格納するものである請求項１６記載の人物検索方法。
18. 前記服装部位格納部は、入力映像の人物領域及び服装部位分離情報に加えて人物の向きを考慮して生成された服装特徴を格納するものである請求項１７記載の人物検索方法。
19. 服装部位分離情報で指定される服装部位毎に検索服装特徴と服装特徴クエリーを照合するものである請求項１６記載の人物検索方法。
20. 入力映像から人物領域を検出し、
    人物領域における人物の向きを判定し、
    人物領域における人物の服装の分離可能性を判定して、服装部位分離情報を生成し、
    人物の向き及び服装部位分離情報を考慮して人物領域における人物の服装の視覚特徴を示す服装特徴を抽出して前記服装特徴格納部に格納するものである請求項１６記載の人物検索方法。
21. 請求項１１乃至１５のいずれか一項記載の服装特徴抽出方法をコンピュータに読み取り実行可能な形式で記述したプログラム。
22. 請求項１６乃至２０のいずれか一項記載の人物検索方法をコンピュータに読み取り実行可能な形式で記述したプログラム。

Images