JP5051885B2 - 人物検索装置及び人物検索方法 - Google Patents

Description

本発明は、映像から抽出した人物の特徴量を用いて映像内の人物の検索を行う人物検索装置および人物検索方法に関し、特に、検索において人物の絞り込みがどの程度有効に行えるかに係る絞込有効度を表示する人物検索装置および人物検索方法に関する。

従来、撮影された映像内の人物を検索する人物検索装置では、映像から人物の着衣色、着衣模様、身長などの特徴量を抽出し、当該特徴量を検索キーとして特定の人物の検索が行われている（例えば、特許文献１参照）。このような人物検索装置によれば、例えば、迷子の子供が赤い服を着ている場合、検索キーを「赤い服＋身長１２０ｃｍ以下」などとし、検索条件の絞り込みを行うことで目的とする対象を見つけることができる。
特開２００２−１４０３３１号公報

しかしながら、上記従来の人物検索装置では、例えば、工場内で作業着の色や模様という検索キー（特徴量）で検索を行っても、作業者は皆同じような作業着を着用しているため、非常に多くの候補が検索され、目的とする人物の有効な絞り込みが行えない可能性がある。

とはいえ、作業着の色や模様という特徴量が、常に適切な検索キーとして使用できないわけではなく、休日のように出社人数が少ない場合は検索可能であるし、また、昼休みなどは作業者の移動に伴って、食堂に設置されたカメラでの絞り込みは困難となる一方、作業場に設置したカメラでの絞り込みは比較的容易となる。

つまり、同じ検索条件で検索する場合であっても、検索を行う時間帯やカメラが設置されている環境によって人物検索が有効に行えるか否かが変化する。従って、検索を行う際には、当該検索によってどの程度有効な検索、即ち、人物の絞り込みが行えるかという情報が予め提示されることが好ましい。

本発明は上記従来の事情を鑑みてなされたものであって、選択する検索条件がどの程度特定の人物を絞り込むことができるかという検索の有効度を予め把握することが可能な人物検索装置および人物検索方法を提供することを目的とする。

上記目的を達成するために、本発明の第１の人物検索装置は、複数の撮像装置が撮像した撮像画像内の人物の特徴量を示す特徴量情報を取得する特徴量取得部と、前記特徴量情報に基づいて、第１の撮像装置で撮像された第１の人物の特徴量と第２の撮像装置で撮像された第２の人物の特徴量との差異を人物の特徴毎に算出する特徴量差異算出部と、前記特徴量の差異に基づいて、前記第１の人物を検索する場合の有効度を示す絞込有効度を前記人物の特徴毎に算出する構成としている。

上記構成によれば、選択する検索条件がどの程度特定の人物を絞り込むことができるかを予め把握することができる。

また、本発明の第２の人物検索装置は、前記第１の人物を検索するための検索開始時刻を示す情報および検索終了時刻を示す情報を取得する検索時刻取得部と、前記検索開始時刻と前記検索終了時刻との間に撮像装置によって撮像された人物の各特徴における絞込有効度を表示させる表示制御部とを有する構成としている。

上記構成によれば、ユーザが検索を希望する時間帯において、検索対象の人物の特徴量（例えば、上半身の色や模様、身長、横幅、歩く速度など）がどの程度有効であるかを表示画面に表示させることが可能である。

また、本発明の第３の人物検索装置は、前記特徴量取得部が、前記特徴量情報を前記撮像画像から抽出することで取得する構成としている。

上記構成によれば、複数の撮像装置が撮像した人物の特徴量を人物検索装置内において抽出することも可能である。

また、本発明の第４の人物検索装置は、前記複数の撮像装置の配置位置を示す情報および前記複数の撮像装置間を移動するための移動時間を示す情報を含む配置情報を保持する配置情報保持部を有し、前記特徴量差異算出部が、前記第１の人物を撮像した前記第１の撮像装置の撮像時刻と前記第２の人物を撮像した前記第２の撮像装置の撮像時刻との差が前記移動時間よりも小さい場合、前記特徴量の差異を算出する構成としている。

上記構成によれば、移動時間を考慮して第１の人物と第２の人物が同一人物の可能性がある場合にのみ特徴量の差異を算出することが可能となり、算出処理時の負荷を軽減することができる。

また、本発明の第５の人物検索装置は、前記絞込有効度算出部が、前記特徴量の差異が所定値よりも小さい場合、前記絞込有効度を算出する構成としている。

上記構成によれば、特徴量の差異を考慮して第１の人物と第２の人物が同一人物の可能性がある場合にのみ絞込有効度を算出することが可能となり、算出処理時の負荷を軽減することが可能である。

また、本発明の第１の人物検索方法は、人物検索装置において、複数の撮像装置が撮像した撮像画像内の人物の特徴量を示す特徴量情報を取得するステップと、前記特徴量情報に基づいて、第１の撮像装置で撮像された第１の人物の特徴量と第２の撮像装置で撮像された第２の人物の特徴量との差異を人物の特徴毎に算出するステップと、前記特徴量の差異に基づいて、前記第１の人物を検索する場合の有効度を示す絞込有効度を前記人物の特徴毎に算出するステップとを有する方法としている。

上記方法によれば、選択する検索条件がどの程度特定の人物を絞り込むことができるかを予め把握することができる。

また、本発明の第２の人物検索方法は、前記第１の人物を検索するための検索開始時刻を示す情報および検索終了時刻を示す情報を取得するステップと、前記検索開始時刻と前記検索終了時刻との間に撮像装置によって撮像された人物の各特徴における絞込有効度を表示させるステップとを有する方法としている。

上記方法によれば、ユーザが検索を希望する時間帯において、検索対象の人物の特徴量（例えば、上半身の色や模様、身長、横幅、歩く速度など）がどの程度有効であるかを表示画面に表示させることが可能である。

本発明によれば、選択する検索条件がどの程度特定の人物を絞り込むことができるかという検索の有効度を予め把握できる。

以下、本発明の実施形態について図面を用いて詳細に説明する。

図１は、本発明の実施形態における人物検索装置１００の概略構成の一例を示すブロック図である。人物検索装置１００は、主に、データベース１０１、カメラ間人物移動推定部１０２、絞込有効度計算部１０３、絞込有効度データベース１０４、絞込有効度表示部１０５、特徴量表示部１０６、データ取得部１０７、および検索情報取得部１０８で構成される。尚、人物検索装置１００は、人物検索方法によって人物検索を行うことができる。

人物検索装置１００は、監視映像を撮影する複数のカメラ（撮像装置）１１０および各カメラ１１０に付属する特徴量抽出部１２０に接続され、データ取得部１０７が監視映像として撮影された人物の人物特徴量に係る情報を取得する。ここで、特徴量抽出部１２０は、カメラ１１０で撮影された映像の中から、公知の画像認識技術および画像処理技術を用いて、撮影対象に人物が含まれているか否かを判断し、人物が含まれている場合、人物特徴量を抽出し、カメラ番号、登場時刻、退出時刻等の情報を付加したデータを生成する機能を有する。尚、人物特徴量の抽出方法は公知の手法を用いてよく、従って詳細な説明は省略する。ここでは、特徴量抽出部１２０を人物検索装置１００の外部に配置してデータ取得部１０７が通信回線等を介して取得する構成としたが、データ取得部１０７が人物検索装置１００内で人物特徴量を抽出する構成としてもよい。尚、データ取得部１０７は「特徴量取得部」としての機能を有する。また、カメラ１１０は「撮像装置」の一例である。

また、人物検索装置１００は、検索端末１３０に接続され、検索端末１３０のユーザの指示により入力される検索命令等を検索端末１３０から取得する検索情報取得部１０８を有し、後述する絞込有効度や検索結果に係る情報を検索端末１３０へ出力することも行う。尚、検索端末１３０の備える機能を人物検索装置１００内に備える構成としてもよい。尚、検索情報取得部１０８は「検索時刻取得部」としての機能を有する。

データベース１０１は、各カメラ１１０の映像から抽出した人物特徴量に係る情報を格納する。

カメラ間人物移動推定部１０２は、カメラ１１０の配置情報を保持、利用して、異なるカメラで撮影された映像中の人物の中から、同一と推定される人物の絞り込みを行う。尚、カメラ間人物移動推定部１０２は「配置情報保持部」、「特徴量差異算出部」としての機能を有する。

絞込有効度計算部１０３は、カメラ間人物移動推定部１０２で絞り込みを行った人物について、後述する手順で絞込有効度を算出する。尚、絞込有効度計算部１０３は「絞込有効度算出部」としての機能を有する。

絞込有効度データベース１０４は、算出した絞込有効度に係る情報を格納する。

特徴量表示部１０６は、ユーザが指定した検索時間に合致する特徴量に係る情報をデータベース１０１から取得し、絞込有効度表示部１０５へ送出する。

絞込有効度表示部１０５は、ユーザが指定した検索時間に合致する絞込有効度に係る情報を絞込有効度データベース１０４から取得し、特徴量表示部１０６からの特徴量に係る情報とともに検索端末１３０へ出力する。尚、絞込有効度表示部１０５は「表示制御部」としての機能を有する。

次に、人物検索装置１００の動作の一例について説明する。

はじめに、人物検索装置１００の絞込有効度算出動作の一例について説明する。図２は、人物検索装置１００の絞込有効度算出動作手順の一例を示すフローチャートである。

データ取得部１０７は、特徴量抽出部１２０から人物特徴量、カメラ番号、登場時刻、退出時刻等を含むデータを取得し、データベース１０１とカメラ間人物移動推定部１０２に送出する（ステップＳ１０１）。ここでは、人物特徴量として、上半身の着衣色、下半身の着衣色、上半身の着衣模様、下半身の着衣模様、身長、横幅、移動速度を用いる。但し、これらに限定されるものではなく、これ以外のパラメータを用いてもよい。また、カメラ番号とは、人物検索装置１００内で任意に決定されるもので、「１」，「２」，「３」，「４」のように単純な番号で決定されてもよいし、「入り口Ａ」「会議室Ｂ」のようにユーザが理解しやすいもので決定されてもよい。

データベース１０１は、取得した人物特徴量、カメラ番号、登場時刻、退出時刻に係るデータに人物ＩＤを付与して格納する（ステップＳ１０２）。人物ＩＤは、人物検索を行う際のデータベースの主キーとなる。これにより、人物検索装置１００は、例えば登場時刻をカメラ１１０による撮像開始時刻、退出時刻を撮像終了時刻として認識することが可能である。

カメラ間人物移動推定部１０２は、保持しているカメラ配置情報に基づいて同一人物の絞り込みを行う。ここで、カメラ配置情報とは、カメラの配置（位置関係）に係る情報である。図３は、カメラ配置情報の一例を概念的に示す図である。ここでは、例えば、時刻１０：１０：１０にＣＡＭ２（図３参照）の映像に登場したある人物に関するカメラ間人物移動推定部１０２の人物の絞り込み動作の一例について説明する。

ここでは、配置された５台のカメラが以下のようなカメラ配置情報を保持している。尚、カメラ間の距離は移動時間で表現されている。
（１）ＣＡＭ１とＣＡＭ２は隣接しており、カメラ間の移動時間は７秒である。
（２）ＣＡＭ２とＣＡＭ３は隣接しており、カメラ間の移動時間は５秒である。
（３）ＣＡＭ２とＣＡＭ４は隣接しており、カメラ間の移動時間は３秒である。
（４）ＣＡＭ２とＣＡＭ５は隣接しており、カメラ間の移動時間は１０秒である。

カメラ間人物移動推定部１０２は、カメラ配置情報から、ＣＡＭ２に隣接しているカメラと最大移動時間を取得する（ステップ１０３）。本例の場合、隣接カメラは、ＣＡＭ１、ＣＡＭ３、ＣＡＭ４、ＣＡＭ５で、最大移動時間は１０秒となる。

カメラ間人物移動推定部１０２は、データベース１０１から、ＣＡＭ１、ＣＡＭ３、ＣＡＭ４、ＣＡＭ５のなかで、現時刻から最大移動時間を減じた１０：１０：００から現時刻１０：１０：１０の間に登場（退出）した人物の人物ＩＤと人物特徴量を取得する（ステップＳ１０４）。得られた人物が３人存在し、それぞれが図４の（ｂ）、（ｃ）、（ｄ）に示す特徴量をもつ人物であったとする。図４は、上記のある人物（ａ）と、特定時間に検索された人物（ｂ）、（ｃ）、（ｄ）の人物特徴量データの一例を概念的に示す図である。

カメラ間人物移動推定部１０２は、取得した移動時間を用いて次のように人物の絞り込みを行う。（ａ）と同一人物が（ｂ）の人物である場合、（ｂ）の人物は１０：１０：１０−７秒＝１０：１０：０３に映像に登場すると推定される。同様に、（ａ）と同一人物が（ｃ）の人物である場合、（ｂ）の人物は１０：１０：１０−５秒＝１０：１０：０５に映像に登場すると推定される。更に、（ａ）と同一人物が（ｄ）の人物である場合、（ｄ）の人物は１０：１０：１０−１０秒＝１０：１０：００に映像に登場すると推定される。

以上の推定に基づいて特定時間に登場した各人物の人物特徴量データを照合すると、図４に示すように、（ｄ）の人物は、１０：０５に登場している。従って、カメラ間人物移動推定部１０２は、人物（ｄ）がＣＡＭ２に登場した人物（ａ）ではないと推定する。一方、（ｂ）、（ｃ）は（ａ）と同一人物と推定する。このように、カメラ間人物移動推定部１０２は、カメラの配置情報に基づいて、特定の撮影時間内における異なる映像について、任意の対象人物と同一と推定される人物の絞り込み、即ち、人物マッチングを行う。

続いて、（ｂ）、（ｃ）の人物について、カメラ間人物移動推定部１０２が、（ａ）の人物特徴量との特徴量の差を計算する（ステップＳ１０５）。特徴量の差は、上半身着衣色、下半身着衣色、上半身模様、下半身模様、身長、横幅、速度それぞれについて計算する。例えば、着衣色の計算方法は、代表色のＨＳＶ値のユークリッド距離でもよいし、色ヒストグラムをそれぞれ生成し、ヒストグラムインターセクションを用いてもよい。また、着衣模様の計算方式は、例えば、２次元ガボールフィルタをかけた結果のユークリッド距離を用いても良い。更に、速度、横幅、身長については、例えば、差の絶対値を用いてもよい。

以上のように、それぞれの特徴量の差の計算方式は限定しないが、その計算値は、（ａ）に類似しているほど０に近づき、差異が大きいほど大きい値になるものとする。上記方法で算出した各特徴量の差（上半身着衣色、下半身着衣色、上半身模様、下半身模様、身長、横幅、速度）は、人物ＩＤと共に、カメラ間人物移動推定部１０２から絞込有効度計算部１０３に送出される。

続いて、絞込有効度計算部１０３は、各特徴量（上半身着衣色、下半身着衣色、上半身模様、下半身模様、身長、横幅、速度など）の差に重み付けした結果を用いて、特徴量全体の差を求め、その結果を用いてヒストグラムを生成する（ステップＳ１０６）。例えば、特徴量が着衣色および身長であり、人物αおよび人物βについて、人物α、βの着衣色の特徴量をα１、β１、人物α、βの身長の特徴量をα２、β２、とする。また、着衣色の重みをω１、身長の重みをω２とする。この場合、特徴量全体の差Ｔは、Ｔ＝ω１（α１−β１）＋ω２（α２−β２）となる。特徴量全体の差は、例えば、基準となる人物（例えば、人物α）と他の人物との差を求めるものである場合、カメラ間人物移動推定部１０２で絞り込まれた全人数−１（回）計算される。

図５は、絞込有効度計算部１０３が生成するヒストグラムの一例を模式的に示す図である。ヒストグラムを構成する各ブロックは、特徴量全体の差を求めた結果の１つを示しており、特徴量全体の差が同じもの（例えば人物αおよびβの特徴量の差、人物αおよびγの特徴量の差が同一）が多くなると、度数が高くなる。また、図５における山（例えばｍ１）の両端（例えばｔ１、ｔ２）の決定は、例えばそれぞれの山が正規分布であると仮定し、数理統計学から山全体の９９．７％を網羅するように、
ｔ１＝（山の平均）−３×（山の分散）、ｔ２＝（山の平均）＋３×（山の分散）
としてもよい。または、特徴量の差を１段階左右いずれかにシフトし、ブロックが閾値以下の点を特徴量の差における端点（ｔ１、ｔ２）としてもよい。

絞込有効度計算部１０３は、生成されたヒストグラムの特徴量の差の最小値と０との距離が閾値以下かを計算し、閾値以上ならば（ａ）の人物は新規人物と判断し、閾値以下ならば（ａ）の人物と同一人物と判断する（ステップＳ１０７）。

同一人物と判断された場合、絞込有効度計算部１０３は、特徴量の差の最小値が含まれる山の度数（山に含まれるブロック数）を計算する（ステップＳ１０８）。（ａ）と同一の人物はその度数の中に１つしか存在しないはずなので、絞込有効度計算部１０３は、1を度数で除した結果に１００を乗じた値を絞込有効度として計算し（ステップＳ１０９）、絞込有効度データベース１０４に送出する。絞込有効度データベース１０４は、それぞれの絞込有効度を（ａ）の人物ＩＤとともに格納する（ステップＳ１１０）。

次に、人物検索装置１００の検索動作の一例について説明する。図６は、人物検索装置１００の検索動作手順の一例を示すフローチャートである。

検索情報取得部１０８は、検索端末１３０を介して、ユーザの指示によって入力された検索時間に係る検索情報を取得する（ステップＳ２０１）。

人物検索装置１００の特徴量表示部１０６は、データベース１０１に格納されている全データから、ユーザが選択した検索時間に合致するデータをすべて抽出する（ステップＳ２０２）。

続いて、絞込有効度表示部１０５は、絞込有効度データベース１０４に格納されている全データから、特徴量表示部１０６で合致した人物ＩＤのデータを抽出し、絞込有効度表示部１０５へ抽出したデータを送出する（ステップＳ２０３）。

例えば、データベース１０１に図７に示すデータが、絞込有効度データベース１０４に図８に示すデータが格納されている場合において、ユーザが検索時間を１０：１０：１０〜１０：１０：３０に設定すると、検索条件に合致する人物ＩＤ４と人物ＩＤ５のデータがデータベース１０１から抽出される。

絞込有効度表示部１０５は、特徴量表示部１０６からのデータに人物ＩＤ４と人物ＩＤ５に係る絞込有効度を付加して、検索端末１３０に出力する（ステップＳ６０４）。図９は、検索用画面の表示例を示す図である。図９に示すように、検索キーとなる特徴量のそれぞれに検索の絞込有効度（即ち、当該検索キーで検索を行った場合にどの程度人物の絞り込みが行えるかという確度に関する数値）が表示される。但し、下半身着衣色のように同じ特徴量が存在する場合は、平均値を表示する。

これにより、ユーザは、各検索キーの近傍に表示される絞込有効度を参考にして適切な検索キーを選択することができ、効果的な検索を行うことができる。具体的には、絞込有効度が低い検索キーは選択してもあまり有効ではないと判るので、ユーザは、単独や組み合わせでの選択を避けることができる。

以上のように、人物検索装置１００によれば、検索キーについて、その検索キーがどの程度特定の人物を絞り込むことができるかを表す絞込有効度を表示することができる。

尚、カメラ配置情報は、予めユーザが手動で設定しても良いし、装置が自動的に獲得しても良い。また、カメラ配置情報における隣接関係は、「ＣＡＭ２の右上とＣＡＭ３の左下が隣接」のように、画角の位置を制限しても良い。なお、移動時間は、「ＣＡＭ２とＣＡＭ３を移動するのに、約５〜７秒かかる」と幅を持たせた情報としてもよい。

本発明は、検索の有効度を予め把握できるので、適切な検索キーの選択により的確な人物検索が行えるという効果を有し、人物検索装置、映像監視システム等において有用である。

本発明の実施形態における人物検索装置の概略構成の一例を示すブロック図 本発明の実施形態における人物検索装置の絞込有効度算出動作手順の一例を示すフローチャート 本発明の実施形態におけるカメラ間人物移動推定部が保持するカメラ配置情報の一例を概念的に示す図 本発明の実施形態における、ある人物（ａ）と、特定時間に検索された人物（ｂ）、（ｃ）、（ｄ）の人物特徴量データの一例を概念的に示す図 本発明の実施形態における絞込有効度計算部が生成するヒストグラムの一例を模式的に示す図 本発明の実施形態における人物検索装置の検索動作手順の一例を示すフローチャート 本発明の実施形態におけるデータベースに格納されたデータ例を示す図 本発明の実施形態における絞込有効度データベースに格納されたデータ例を示す図 本発明の実施形態における検索用画面の表示例を示す図

符号の説明

１００ 人物検索装置
１０１ データベース
１０２ カメラ間人物移動推定部
１０３ 絞込有効度計算部
１０４ 絞込有効度データベース
１０５ 絞込有効度表示部
１０６ 特徴量表示部
１１０ カメラ
１２０ 特徴量抽出
１３０ 検索端末

Claims (7)

1. 複数の撮像装置が撮像した撮像画像内の人物の特徴量を示す特徴量情報を取得する特徴量取得部と、
   前記特徴量情報に基づいて、第１の撮像装置で撮像された第１の人物の特徴量と第２の撮像装置で撮像された第２の人物の特徴量との差異を人物の特徴毎に算出する特徴量差異算出部と、
   前記特徴量の差異に基づいて、前記第１の人物を検索する場合の有効度を示す絞込有効度を前記人物の特徴毎に算出する絞込有効度算出部と
   を有する人物検索装置。
2. 請求項１に記載の人物検索装置であって、更に、
   前記第１の人物を検索するための検索開始時刻を示す情報および検索終了時刻を示す情報を取得する検索時刻取得部と、
   前記検索開始時刻と前記検索終了時刻との間に撮像装置によって撮像された人物の各特徴における絞込有効度を表示させる表示制御部と
   を有する人物検索装置。
3. 請求項１または２に記載の人物検索装置であって、
   前記特徴量取得部は、前記特徴量情報を前記撮像画像から抽出することで取得する人物検索装置。
4. 請求項１ないし３のいずれか１項に記載の人物検索装置であって、更に、
   前記複数の撮像装置の配置位置を示す情報および前記複数の撮像装置間を移動するための移動時間を示す情報を含む配置情報を保持する配置情報保持部を有し、
   前記特徴量差異算出部は、前記第１の人物を撮像した前記第１の撮像装置の撮像時刻と前記第２の人物を撮像した前記第２の撮像装置の撮像時刻との差が前記移動時間よりも小さい場合、前記特徴量の差異を算出する人物検索装置。
5. 請求項１ないし４のいずれか１項に記載の人物検索装置であって、
   前記絞込有効度算出部は、前記特徴量の差異が所定値よりも小さい場合、前記絞込有効度を算出する人物検索装置。
6. 人物検索装置において、
   複数の撮像装置が撮像した撮像画像内の人物の特徴量を示す特徴量情報を取得するステップと、
   前記特徴量情報に基づいて、第１の撮像装置で撮像された第１の人物の特徴量と第２の撮像装置で撮像された第２の人物の特徴量との差異を人物の特徴毎に算出するステップと、
   前記特徴量の差異に基づいて、前記第１の人物を検索する場合の有効度を示す絞込有効度を前記人物の特徴毎に算出するステップと
   を有する人物検索方法。
7. 請求項６に記載の人物検索方法であって、更に、
   前記第１の人物を検索するための検索開始時刻を示す情報および検索終了時刻を示す情報を取得するステップと、
   前記検索開始時刻と前記検索終了時刻との間に撮像装置によって撮像された人物の各特徴における絞込有効度を表示させるステップと
   を有する人物検索方法。

Images