JPWO2017046838A1

JPWO2017046838A1 - 特定人物検知システム、特定人物検知方法および検知装置

Info

Publication number: JPWO2017046838A1
Application number: JP2017540351A
Authority: JP
Inventors: 平井　誠一; 誠一平井
Original assignee: Hitachi Kokusai Electric Inc
Current assignee: Hitachi Kokusai Electric Inc
Priority date: 2015-09-14
Filing date: 2015-09-14
Publication date: 2018-06-28
Anticipated expiration: 2035-09-14
Also published as: EP3355269A4; US20190147236A1; WO2017046838A1; EP3355269A1; US10657365B2; JP6503079B2; EP3355269B1

Abstract

特定人物検知システムは、画像データから抽出した特徴量に最も類似した特定人物部に記録されている人物を取得し、他の画像データから抽出した特徴量と当該人物との類似度を算出し、類似度が高い人物の中から角度情報が当該人物と最も類似している人物を照合結果として出力する。

Description

本発明は特定人物検知システムに関し、例えば、画像特徴量から求める一致度を使って、特定人物を検知する特定人物検知システムに適用可能である。

画像認識技術を用いて映像中の特定の事象（イベント）の発生をリアルタイムに自動検知するシステムや技術の開発が行われている。その中の代表的な一つに特定人物検知システムがある。特定人物検知システムとは、検知対象として事前に画像登録しておいた人物（以降、特定人物）が、監視映像中に登場した場合、それを自動検知し、システム運用者に通報する機能を有したシステムである。検知は、特定人物の画像と、監視映像中に登場した人物（登場人物）の画像との画像特徴量の照合により、両人物画像間の一致度を算出し、一致度がある一定範囲の値であった場合に同一人物とみなす、すなわち、特定人物であると判定することで、実施される。

特開２０１４−１０６８１６号公報

特定人物検知システムは、監視カメラの性格上、登場人物はカメラの存在を意識しない場合が多く、登場人物がカメラに正対するとは限らないため、人物の向き変動などにより、画像特徴量が安定しないケースがある。これは、特定人物検知システムにおける検知精度の悪化につながり、具体的には、見逃しや誤検知といった形で現れる。

向き変動に対して、登録しておく人物画像について予め様々な角度の画像を用意し登録することで精度を高める方法が提案されている（例えば、特開２０１４−１０６８１６号公報（特許文献１））。しかし、様々な角度画像を事前に用意することが困難な場合がある。

本発明の課題は、検知精度の悪化を低減する特定人物検知システムを提供することにある。

本開示のうち、代表的なものの概要を簡単に説明すれば、下記のとおりである。
すなわち、特定人物検知システムは、画像データから抽出した特徴量に最も類似した特定人物部に記録されている人物を取得し、他の画像データから抽出した特徴量と当該人物との類似度を算出し、類似度が高い人物の中から角度情報が当該人物と最も類似している人物を照合結果として出力する。

本発明によれば、特定人物検知システムにおいて、より高い検知精度を得ることが可能となる。

第１の実施例に係る特定人物検知システムの装置構成を示す図。図１の検知装置の機能構成を示す図。図２の特定人物記録部における記録データの態様を示す図。図１の検知装置における処理の流れを示す図。図１の検知装置における処理の流れを示す図。図１の検知装置における処理の流れを示す図。図２の判定結果保管部における保管データの態様を示す図。タイミングを説明する図。時刻Ｔにおける処理の内容を説明する図。時刻Ｔにおける処理の内容を説明する図。ステップ４１１〜４２０における処理の内容を説明する図。ステップ４１１〜４２０における処理の内容を説明する図。ステップ４２２〜４３２における処理の内容を説明する図。ステップ４２２〜４３２における処理の内容を説明する図。第２の実施例に係る特定人物検知システムの装置構成を示す図。図１０の検知装置における処理の流れを示す図。図１０の検知装置における処理の流れを示す図。図１０の検知装置における処理の流れを示す図。時刻Ｔにおける処理の内容を説明する図。時刻Ｔにおける処理の内容を説明する図。ステップ１１１０〜１１１７における処理の内容を説明する図。ステップ１１１０〜１１１７における処理の内容を説明する図。ステップ１１１８〜１１２６における処理の内容を説明する図。ステップ１１１８〜１１２６における処理の内容を説明する図。第３の実施例に係る特定人物検知システムの装置構成を示す図。ある建物の中での撮像装置の設置の位置関係を俯瞰的に示す図。制御指示部２０９における撮影エリア間距離データの態様について示す図。図１５の検知装置における処理の流れを示す図。図１５の検知装置における処理の流れを示す図。時刻Ｔにおける処理の内容を説明する図。時刻Ｔにおける処理の内容を説明する図。時刻Ｔ＋１８における処理の内容を説明する図。時刻Ｔ＋１８における処理の内容を説明する図。時刻Ｔ＋１８における処理の内容を説明する図。図１５の検索装置の機能構成を示す図。

実施形態に係る特定人物検知システムは、画像データから抽出した特徴量に最も類似した特定人物部に記録されている人物を取得し、他の画像データから抽出した特徴量と当該人物との類似度を算出し、類似度が高い人物の中から角度情報が当該人物と最も類似している人物を照合結果として出力する。
実施形態に係る特定人物検知システムによれば、より高い検知精度を得ることが可能となる。

以下、実施例について、図面を用いて説明する。ただし、以下の説明において、同一構成要素には同一符号を付し繰り返しの説明を省略することがある。

第１の実施例に係る特定人物検知システムの装置構成について図１を用いて説明する。特定人物検知システム１０は、ネットワーク１００に、撮像装置１０１、録画装置１０２、検知装置１０３、端末装置１０４が接続され、互いに通信可能な状態で構成される。

ネットワーク１００は、各装置を相互に接続しデータ通信を行う専用線やイントラネット、インターネット、無線ＬＡＮ等の通信線である。

撮像装置１０１は、遠近制御やピント制御が可能なズームレンズや、ＣＣＤやＣＭＯＳ等の撮像素子、アナログ信号をデジタル変換するＡ／Ｄ変換回路、ＲＡＭ等の一時記憶メモリ、データ伝送バス、タイミング回路、外部入出力インタフェース、電源回路、パンやチルト等を行う雲台、可視光ライトや近赤外ＬＥＤ等の照明等を備える監視カメラ等の装置である。
撮像装置１０１は、レンズを通った光を、撮像素子で電気信号に変換し、変換した電気信号をＡ／Ｄ変換回路でデジタル値に変換し、変換したデジタル値を一時記憶メモリに画像データとして格納する。格納された画像データは、外部入出力インタフェースに入力された外部からの映像要求やタイミング回路からの指示等に応じて、外部入出力インタフェースからネットワーク１００に出力される。また、同様に外部入出力インタフェースに入力された外部からの制御命令に応じて、撮影の向きやレンズの遠近やピント、照明の量等を変える。

録画装置１０２は、ＲＡＭ等の一時記憶メモリ、ＨＤＤ等の記録媒体、データ伝送バス、タイミング回路、外部入出力インタフェース、電源回路等を備えるネットワークデジタルレコーダ等の装置である。
録画装置１０２は、ネットワーク１００から外部入出力インタフェースに入力された撮像装置１０１からの画像データをＨＤＤ等の記録媒体にその画像時刻とともに記録する。記録された画像データは、外部入出力インタフェースに入力された外部からの映像要求やタイミング回路からの指示等に応じて、外部入出力インタフェースからネットワーク１００に出力される。映像要求は画像時刻を含んで構成され、録画装置１０２は映像要求に含まれる画像時刻の画像データを出力する。
本実施例において、録画装置１０２は、撮像装置１０１の映像を常時録画しているものとする。

検知装置１０３は、ＣＰＵ等の演算回路や、ＲＡＭ等の一時記憶メモリ、ＨＤＤ等の記録媒体、データ伝送バス、外部入出力インタフェース、電源回路等を備える、コンピュータ等の装置である。
検知装置１０３は、ネットワーク１００から外部入出力インタフェースに入力された撮像装置１０１からの画像データを一時記憶メモリに格納する。格納された画像データに対し、演算回路を使い特定人物検知に関わる各種演算を行う。記録媒体には、ソフトウェア一式や、ＯＳ（オペレーションシステム）、特定人物の画像（人物特徴量）一式等が格納されている。特定人物検知の結果は、外部入出力インタフェースからネットワーク１００に出力される。

端末装置１０４は、ＣＰＵ等の演算回路や、ＲＡＭ等の一時記憶メモリ、ＨＤＤ等の記録媒体、データ伝送バス、外部入出力インタフェース、電源回路、液晶ディスプレイ等の画面、キーボードやマウス等のユーザ入力機器を備える、コンピュータ等の装置である。また、端末装置１０４には、例えば、ブザーや音声アナウンス機器、ＬＥＤ発光機器等を加えて構成されてもよい。
端末装置１０４は、ネットワーク１００から外部入出力インタフェースに入力された撮像装置１０１からの画像データや、検知装置１０３からの特定人物検知結果を一時記憶メモリに格納する。格納された画像データや特定人物検知結果に対し、演算回路を使い、表示に適した形態に変換を加え、画面表示する。記録媒体には、ソフトウェア一式や、ＯＳ等が格納されている。また、端末装置１０４に対するユーザ操作は、ユーザ入力機器に対して行われる。

図２に示すように、検知装置１０３は、特定人物記録部２００、画像受信部２０１、人物検出部２０２、人物角度算出部２０３、人物特徴量算出部２０４、特定人物判定部２０５、判定結果保管部２０６、特定人物統合判定部２０７、検知通知部２０８、制御指示部２０９の各処理部にて構成される。

特定人物記録部２００は、特定人物の画像登録の際に、その人物の画像や人物特徴量、その人物ＩＤ（姓名や人物固有に与えた識別情報）等を記録媒体に記録しておく処理部であり、例えば、データベースである。データは、事前に与えられておくものとし、その与え方はどのようであってもよい。特定人物記録部における記録データの態様については、後述する。

画像受信部２０１は、装置外部からの画像入出力を行う処理部であり、本実施例では、撮像装置１０１や録画装置１０２からの入力画像データの受信を行う。

人物検出部２０２は、画像受信部２０１への入力画像データに対し画像認識技術を用いた人物検出を行い、登場人物の存在判定をし、画像中に人物が存在する場合にはその領域座標出力を行う処理部である。

人物角度算出部２０３は、人物検出部２０２で検出した画像中の人物領域に対して画像認識技術を用いて角度算出を行う処理部である。

人物特徴量算出部２０４は、人物検出部２０２で検出した画像中の人物領域に対して画像認識技術を用いて特徴量算出を行う処理部である。

特定人物判定部２０５は、人物検出部２０２で検出した登場人物に対する特定人物該非を、人物特徴量算出部２０４で求めた特徴量を用いて１次判定する処理部である。

判定結果保管部２０６は、特定人物判定部２０５で判定した結果等を一時記憶メモリに格納し、保管する処理部である。判定結果保管部における保管データの態様については、後述する。

特定人物統合判定部２０７は、特定人物判定部２０５にて判定を行い、判定結果保管部２０６に保管された判定結果について、複数の判定結果から２次判定を行う処理部である。

検知通知部２０８は、特定人物統合判定部２０７にて、特定人物を検知した際に、その結果通知の入出力を行う処理部であり、端末装置１０４への特定人物検知結果データの送信を行う。

制御指示部２０９は、各処理部への指示を行う処理部である。

図３に示すように、特定人物記録部２０１における記録データ３２０は、例えば人物１名の情報を１個のレコードとして記録し、特定人物５名の情報、すなわち５個のレコードが記録され、レコード３００〜３０４で構成される。

レコード３００〜３０４のそれぞれは、レコード番号セル３１０、人物ＩＤセル３１１、特徴量セル３１２、角度セル３１３、人物画像セル３１４で構成される。

レコード番号セル３１０は、レコード番号を格納する領域である。レコード番号は、レコードの管理をするために用いる番号であり、例えば、レコード毎にユニークに振られる連続整数値である。

人物ＩＤセル３１１は、特定人物の人物ＩＤを格納する領域である。本実施例では、人物名称としての文字列が格納された例を示すが、人物固有に与えた識別情報であれば、整数値等を用いるようにしてもよい。

特徴量セル３１２は、特定人物の人物特徴量を格納する領域である。本実施例では、説明の容易さのため、１次元値としての小数値が格納された例を示すが、多次元値を用いるようにしてもよい。

角度セル３１３は、特定人物の撮影角度を格納する領域である。

人物画像セル３１４は、特定人物の画像を格納する領域である。本実施例では、人物画像そのものを格納した例を示すが、代わりに画像を別途格納した領域のアドレスを１６進数で格納するようにしてもよい。

本実施例では、人物１名あたりに特徴量、角度、画像を１組ずつ格納する構成を示したが、人物１名あたりに特徴量、角度、画像を複数組ずつ格納する構成であってもよい。

検知装置１０３における処理の流れについて図４Ａ〜４Ｃを用いて説明する。

ステップ４００：制御指示部２０９は、次に取得する画像の時刻（Ｔ）を算出する。特定人物検知を数フレームおきに実施する場合、現在時刻から数フレーム先の時刻を算出し画像の時刻（Ｔ）とする。そして、画像受信部２０１は、撮像装置１０１に対し、画像（Ｔ）の出力を要求する。

ステップ４０１：画像受信部２０１は、画像受信待機を行う。撮像装置１０１からの画像着信を検知すると処理はステップ４０２に進む。

ステップ４０２：画像受信部２０１は、撮像装置１０１からの画像を受信する。この受信した時刻（Ｔ）の画像を画像（Ｔ）とする。

ステップ４０３：人物検出部２０２は、受信した画像データに対して人物検出を行う。人物検出は、例えば、背景画像との差分により動体検出を行い、さらにその動体領域の面積や形状、移動速度等にて人物判定をする方法や、予め学習させ用意しておいた人物の画像特徴パターンを有する領域の有無を画像内探索を使って探す方法等により行う。本実施例では人物検出はいずれの方法であってもよく、また人物検出が人物全体を対象とした検出であっても、人物特定の代表的な部位である顔のような部分領域を対象とした検出であってもよい。上記の結果、人物が検出された場合、処理をステップ４０４に進め、検出されなかった場合には、処理をステップ４００に戻す。

ステップ４０４：人物検出部２０２は、ステップ４０３で検出された人物の人物領域座標を算出する。

ステップ４０５：人物角度算出部２０３は、ステップ４０４で算出した人物の領域画像に対して、撮影角度を算出する。人物の撮影角度の算出は、例えば、領域画像中から目や鼻、口などの各器官を検出し、それらの配置関係から求める方法や角度が既知である画像を予め用意しその画像との類似性から求める方法等により行う。本実施例発明ではいずれの方法であってもよい。

ステップ４０６：人物特徴量抽出部２０４は、ステップ４０４で算出した人物の領域画像に対して、その人物特徴量を算出する。ここで算出する人物特徴量には、例えば、人物の輪郭の形状や方向、頭髪や皮膚の色、歩容、あるいは、顔の輪郭の形状や方向、目や鼻、口といった主要構成要素の大きさ・形状や配置関係等々の画像特徴量が挙げられるが、本実施例においては使用する特徴量の種類や数はいずれであってもよい。

ステップ４０７：特定人物判定部２０５は、人物特徴量の全照合を行う。具体的には、ステップ４０６で算出した人物特徴量を、特定人物記録部２００に予め記録しておいた各特定人物の人物特徴量全てを対象に順番に照合（一致度算出）していき、最も一致性の高い特徴量を探し出す。この特徴量を持つ人物を最類似人物とする。ここで、一致度とは、画像（画像特徴量）同士の近さを示す数値であり、その算出方法については、例えば、「大規模な画像集合のための表現モデル」（廣池敦他、日本写真学会誌２００３年６６巻１号Ｐ９３−Ｐ１０１）のような論文を参照することができる。本実施例における一致度は、値が小さいほど一致性が高いものとする。本実施例において、照合順番の決定方法や、一致度の算出方法はどのようであってもよい。

ステップ４０８：特定人物判定部２０５は、特定人物の検知判定（１次検知）を行う。検知判定は、ステップ４０７で求めた最類似人物についてその一致度とある一定値（第１の閾値）との関係において、一致度が閾値以下であった場合にその人物を特定人物として検知したと判定する。検知と判定された場合には、処理をステップ４０９に進め、それ以外の場合には、処理をステップ４００に戻す。

ステップ４０９：判定結果保管部２０６は、画像（Ｔ）に対して求めた結果を格納し、保管する。ここで、格納の対象となるデータには、ステップ４０８で求めた最類似人物の一致度と人物ＩＤ、ステップ４０５で求めた角度、ステップ４０４で算出した人物領域の座標を含む。保管データの態様については後述する。

ステップ４１０：制御指示部２０９はカウンタ（Ｌ）を１にリセットする。

ステップ４１１：制御指示部２０９はカウンタ（Ｌ）と予め設定した制限値（Ｍ）の大小関係を比較する。ＬがＭ未満の場合には、処理をステップ４１２に進め、ＬがＭ以上となった場合、処理をステップ４２１に進める。ここで、Ｍは、例えば４とする。

ステップ４１２：画像受信部２０１は、録画装置１０２に対し、画像（Ｔ）のＬフレーム前の画像（Ｔ−Ｌ）の出力を要求する。

ステップ４１３：画像受信部２０１は、録画装置１０２からの画像（Ｔ−Ｌ）を受信する。

ステップ４１４：人物検出部２０２は、受信した画像データに対して、ステップ４０３にて検出した人物と同一人物の検出を行う。その際、カウンタ（Ｌ）が１の場合にはステップ４０４、それ以外の場合には前回のステップ４１４にて算出された人物の領域画像の近傍領域のみを検出対象として行う。人物の検出の方法については、ステップ４０３と同様である。ステップ４０３にて検出した人物と本ステップにて検出した人物との同定は、例えば、ステップ４０３で求めた人物領域と、本ステップで求めた人物領域との重なり面積を求め、その値が一定値以上であった場合に同一とする方法等により行う。上述の一定値は、人物の画像中での見かけの移動量を勘案し、事前に与えておくものとする。上記の結果、同一人物が検出された場合、処理をステップ４１５に進め、検出されなかった場合には、処理をステップ４２１に進める。

ステップ４１５：人物検出部２０２は、ステップ４１４で検出された人物の人物領域座標を算出する。

ステップ４１６：人物角度算出部２０３は、ステップ４１５で算出した人物の領域画像に対して、撮影角度を算出する。角度算出の方法については、ステップ４０５と同様である。

ステップ４１７：人物特徴量抽出部２０４は、ステップ４１５で算出した人物の領域画像に対して、その人物特徴量を算出する。人物特徴量算出の方法については、ステップ４０６と同様である。

ステップ４１８：特定人物判定部２０５は、人物特徴量の照合を行う。具体的には、特定人物記録部２００に予め記録しておいた各特定人物の人物特徴量の中からステップ４０７にて求めた最類似人物の特徴量を取り出し、ステップ４１７で算出した人物特徴量と照合を行い、一致度を算出する。一致度算出の方法については、ステップ４０７と同様である。

ステップ４１９：判定結果保管部２０６は、画像（Ｔ−Ｌ）に対して求めた結果を格納し、保管する。ここで、格納の対象となるデータには、ステップ４１８で求めた一致度、ステップ４１６で求めた角度、ステップ４１５で算出した人物領域の座標を含む。

ステップ４２０：制御指示部２０９はカウンタＬを１加算し、制御をステップ４１１に戻す。本例においては、加算量を１、すなわち、連続するフレームを利用する事例を示したが、画像内における人物の移動速度に対して撮像装置１０１の撮影フレームレートが高い場合などについては、加算量を２以上とし、離散なフレームを利用してもよい。以降も同様である。

ステップ４２１：制御指示部２０９はカウンタ（Ｌ）を１にリセットする。

ステップ４２２：制御指示部２０９はカウンタ（Ｌ）と予め設定した制限値（Ｎ）の大小関係を比較する。ＬがＮ未満の場合には、処理をステップ４２３に進め、ＬがＮ以上となった場合、処理をステップ４３２に進める。ここで、Ｎは、例えば４とする。

ステップ４２３：画像受信部２０１は、録画装置１０２に対し、画像（Ｔ）のＬフレーム次の画像（Ｔ＋Ｌ）の出力を要求する。

ステップ４２４：画像受信部２０１は、録画装置１０２からの画像（Ｔ＋Ｌ）を受信する。

ステップ４２５：人物検出部２０２は、受信した画像データに対して、ステップ４０３にて検出した人物と同一人物の人物検出を行う。その際、カウンタ（Ｌ）が１の場合にはステップ４０４、それ以外の場合には前回のステップ４２５にて算出された人物の領域画像の近傍領域のみを検出対象として行う。人物の検出の方法については、ステップ４０３と同様である。ステップ４０３にて検出した人物と本ステップにて検出した人物との同定については、ステップ４１４と同様である。上記の結果、同一人物が検出された場合、処理をステップ４２６に進め、検出されなかった場合には、処理をステップ４３２に進める。

ステップ４２６：人物検出部２０２は、ステップ４２５で検出された人物の人物領域座標を算出する。

ステップ４２７：人物角度算出部２０３は、ステップ４２６で算出した人物の領域画像に対して、撮影角度を算出する。角度算出の方法については、ステップ４０５と同様である。

ステップ４２８：人物特徴量抽出部２０４は、ステップ４２６で算出した人物の領域画像に対して、その人物特徴量を算出する。人物特徴量算出の方法については、ステップ４０６と同様である。

ステップ４２９特定人物判定部２０５は、人物特徴量の照合を行う。具体的には、特定人物記録部２００に予め記録しておいた各特定人物の人物特徴量の中からステップ４０７にて求めた最類似人物の特徴量を取り出し、ステップ４２８で算出した人物特徴量と照合を行い、一致度を算出する。一致度算出の方法については、ステップ４０７と同様である。

ステップ４３０：判定結果保管部２０６は、画像（Ｔ＋Ｌ）に対して求めた結果を格納し、保管する。ここで、格納の対象となるデータには、ステップ４２９で求めた一致度、ステップ４２５で求めた角度、ステップ４２６で算出した人物領域の座標を含む。

ステップ４３１：制御指示部２０９はカウンタ（Ｌ）を１加算し、制御をステップ４２２に戻す。

ステップ４３２：特定人物統合判定部２０７は、ステップ４０９、４１９、４３０で判定結果保管部２０６に保管した結果を用いて、統合判定を行う。統合判定は、特定人物記録部２００に予め記録しておいた各特定人物の撮影角度の中からステップ４０７にて求めた最類似人物の撮影角度を取り出し、その角度と判定結果保管部２０６に保管した結果の中で、最も近い角度の結果を探し出し、その結果の一致度とある一定値（第２の閾値）との関係において、一致度が閾値以下であった場合にその人物を特定人物として検知したと統合判定する。第２の閾値は第１の閾値より小さな値を設定する。検知と判定された場合には、処理をステップ４３３に進め、それ以外の場合には、処理をステップ４３４に進める。

ステップ４３３：検知通知部２０８は、特定人物通知を端末装置１０４に送信する。送信データは、特定人物のＩＤやその人物画像等を含んで構成される。

ステップ４３４：判定結果保管部２０６は、保管していた結果を全て削除する。保管していた結果を削除せず、上書きをしてもよい。削除完了後、処理をステップ４００に戻す。

図５に示すように、判定結果保管部２０６における保管データ５２０は、例えば照合結果を１レコードとして保管され、最大で７個のレコード、すなわち７回分の照合結果が保管できるようになっており、レコード５００〜５０６で構成される。図５はどのレコードも空である状態を示している。

レコード５００〜５０６のそれぞれは、レコード番号セル５１０、人物ＩＤセル５１１、一致度セル５１２、角度セル５１３、人物領域座標セル５１４で構成される。

レコード番号セル５１０は、レコード番号を格納する領域である。レコード番号は、レコードの管理をするために用いる番号であり、例えば、レコード毎にユニークに振られる連続整数値である。

人物ＩＤセル５１１は、最類似人物の人物ＩＤを格納する領域である。人物ＩＤは、人物を識別するために用いる情報であり、例えば、人物名称を表す文字列や、人物固有に割り振られた整数値列、記号列、それらの組合せ等である。

一致度セル５１２は、一致度を格納する領域である。

角度セル５１３は、登場人物の撮影角度を格納する領域である。

人物領域座標セル５１４は、登場人物の画像領域の座標を格納する領域である。

ここで、一人の人物の登場から退場までの動作について、より具体的に説明する。ここでこの登場人物は検知対象、すなわち特定人物の人物Ｅであるとする。

特定人物記録部２００には、図３に示したデータが予め記録されているものとする。また、説明の簡略化のため、人物Ｅの登場から退場まで人物Ｅ以外の人物は現れないものとする。撮像装置１０１は１０フレーム／秒で撮像し、録画装置１０２は撮像装置１０１の映像を１０フレーム／秒で録画しているものとする。また、検知装置１０３は、撮像装置１０１の映像を１フレーム／秒でサンプリングしながら処理を実施するものとする。

図６のタイミング図は、横軸６００が時系列を表し、右が未来側である。横軸６００上に縦線にて刻み表記するタイミング６１０〜６３０は、撮像装置１０１が撮像し、録画装置１０２が録画している画像のタイミングを表す。そのうち、横軸６００下に△印を表記するタイミング６１０、６２０、６３０は、検知装置１０３が定常的にサンプリングしながら処理を実施している画像のタイミングも表す。ここで、タイミング６２０を時刻（Ｔ）とする。また、人物Ｅは、タイミング６１４に登場し、タイミング６２７に退場する、すなわち、登場区間はタイミング６１４〜６２６であるとする。

時刻（Ｔ）における処理の内容について図７Ａ、７Ｂを用いて説明する。図３や図５と同一の符号は、それぞれ同一であることを示す。

画像７００は、時刻（Ｔ）、すなわちタイミング６２０の画像（Ｔ）である。

検知装置１０３は、撮像装置１０１から、画像（Ｔ）を取得する（ステップ４００〜４０２）。そして、この画像の全領域に対し、人物検出などを行う（ステップ４０３〜４０４）。検出領域７０１は、ステップ４０４で得られた人物領域を示す。また領域座標７０２は、検出領域７０１の画像中における座標値を示す。本実施例においては、検出領域７０１の左上座標と右下座標を用いた例を示す。原点は図において検出領域７０１の左上に位置する。

次に、検知装置１０３は、検出領域７０１に対して撮影角度を算出する（ステップ４０５）。角度７０３は、ここで算出された値を示す。

次に、検知装置１０３は、検出領域７０１に対して人物特徴量を算出する（ステップ４０６）。人物特徴量７０４は、ここで算出された値を示す。人物特徴量には、多次元量が用いられるのが通常であるが、本実施例においては、説明の簡略化のため、１次元の小数値を用いた例を示す。以降も同様である。

次に、検知装置１０３は、人物特徴量７０４を用いて、特定人物記録部２００の記録データ３２０に対して、全照合を行う（ステップ４０７）。照合７１０〜７１４は、記録データ３２０の各レコードと照合を行っている様子を示し、一致度７２０〜７２４は、各照合において算出した一致度を示す。一致度は値が小さいほど、似ている度合が高いとされる値である。全照合の結果、最も小さな一致度は、一致度７２４であることから、最類似人物は、レコード３０４に記録されている、人物Ｅであると判定される。一致度には、多次元量である人物特徴量空間におけるベクトルのスカラー値が使われることが多いが、本実施例においては、説明の簡略化のため、人物特徴量の差分の絶対値を用いた例を示す。以降も同様である。

次に、検知装置１０３は、上記で求めた最類似人物である人物Ｅの一致度７２４と予め設定しておいた第１の閾値との大小比較を行う。本実施例では第１の閾値を１．００とする。一致度７２４は、０．９０であり、閾値以下であるので、この登場人物が特定人物の一人であり、人物Ｅであると一次判定される（ステップ４０８）。

次に、検知装置１０３は、判定結果保管部２０６の保管データ５２０のレコード５００に対し、人物ＩＤセル５１１に該当するセルに検知した人物ＩＤである「Ｅ」、一致度セル５１２に該当するセルに一致度７２４の値を、角度セル５１３に該当するセルに角度７０３の値を、人物領域座標セル５１４に該当するセルに領域座標７０２の値をそれぞれ格納する（ステップ４０９）。図７Ｂの保管データ５２０は、本時点での格納データの状態を示す。

画像７００における一連の処理は、以上である。

時刻（Ｔ−１）における処理の内容について図８Ａ、８Ｂを用いて説明する。

画像８００は、時刻（Ｔ−１）、すなわち、タイミング６１９の画像（Ｔ−１）である。

検知装置１０３は、録画装置１０２から、画像（Ｔ−１）を取得する（ステップ４１２〜４１３）。そしてこの画像（Ｔ−１）に対し、人物検出などを行う。その際、検出領域７０１の近傍領域８０１のみに対して実施する。ここで近傍領域とは、検出領域７０１を含み、検出領域７０１の上下左右に領域を拡げた領域である。拡げる量は、画像に映る人物の見かけの移動速度に合わせて適切な値を予め与えるものとする。本実施例では検出領域７０２と同一の領域を近傍領域８０１として与える例を示す。検出領域８０２は、ステップ４１５にて得られた人物領域を示す。また、領域座標８０３は、検出領域８０２の画像中における座標値を示す。

次に、検知装置１０３は、検出領域８０２に対して人物角度を算出する（ステップ４１６）。角度８０４は、ここで算出された値を示す。

次に、検知装置１０３は、検出領域８０２に対して人物特徴量を算出する（ステップ４１７）。人物特徴量８０５は、ここで算出された値を示す。

次に、検知装置１０３は、人物特徴量８０５を用いて、特定人物記録部２００の記録データ３２０に対して、照合を行う（ステップ４１８）。この際、照合を行うのは、照合８１０に示すように、人物Ｅのレコードのみである。一致度８２０は、照合８１０により算出された一致度である。

次に、検知装置１０３は、判定結果保管部２０６の保管データ５２０のレコード５０１に対し、人物ＩＤセル５１１に該当するセルに検知した人物ＩＤである「Ｅ」、一致度セル５１２に該当するセルに一致度８２０の値を、角度セル５１３に該当するセルに角度８０４の値を、人物領域座標セル５１４に該当するセルに領域座標８０３の値をそれぞれ格納する（ステップ４１９）。図８Ｂの保管データ５２０は、本時点での格納データの状態を示す。

画像８００に関わる一連の処理は、以上である。

検知装置１０３は、上記の処理をタイミング６１７の画像（Ｔ−３）まで、または、ステップ４１４で人物が非検出となるまで、遡って実施する。

ステップ４２２〜４３２における処理の内容について図９Ａ、９Ｂを用いて説明する。

画像９００は、時刻（Ｔ＋３）、すなわち、タイミング６２３の画像（Ｔ＋３）である。

検知装置１０３は、録画装置１０２から、画像（Ｔ＋３）を取得する（ステップ４２３〜４２４）。そしてこの画像に対し、人物検出などを行う。その際、近傍領域９０１のみに対して実施する。検出領域９０２は、ステップ４２６にて得られた人物領域を示す。また、領域座標９０３は、検出領域９０２の画像中における座標値を示す。

次に、検知装置１０３は、検出領域９０２に対して人物角度を算出する（ステップ４２７）。角度９０４は、ここで算出された値を示す。

次に、検知装置１０３は、検出領域９０２に対して人物特徴量を算出する（ステップ４２８）。人物特徴量９０５は、ここで算出された値を示す。

次に、検知装置１０３は、人物特徴量９０５を用いて、特定人物記録部２００の記録データ３２０に対して、照合を行う（ステップ４２９）。この際、照合を行うのは、照合９１０に示すように、人物Ｅのレコードのみである。一致度９２０は、照合９１０により算出された一致度である。

次に、検知装置１０３は、判定結果保管部２０６の保管データ５２０のレコード５０６に対し、人物ＩＤセル５１１に該当するセルに検知した人物ＩＤである「Ｅ」、一致度セル５１２に該当するセルに一致度９２０の値を、角度セル５１３に該当するセルに角度９０４の値を、人物領域座標セル５１４に該当するセルに領域座標９０３の値をそれぞれ格納する（ステップ４１９）。図９Ｂの保管データ５２０は、本時点での格納データの状態を示す。

画像９００に関わる一連の処理は、以上である。

次に、検知装置１０３は、特定人物記録部２００に予め記録しておいた人物Ｅの角度の値を取り出し、保管データ５２０に格納された結果の中から、最も近い角度の結果を探す。本実施例では、レコード５０１となる。そして、レコード５０１に格納された一致度を取り出す。取り出した一致度と、予め設定しておいた第２の閾値との大小比較を行う。本実施例では第２の閾値を０．６０とする。取り出した一致度は０．２０であり、閾値以下であるので、この登場人物が特定人物の一人であり、人物Ｅであると統合判定される（ステップ４３２）。

以上が、検知に至る一連の処理の説明となる。

ここまでに示したように、本実施例では、特定人物記録部２００に予め記録しておいた角度に最も近い画像にて照合を行う。一般的に角度が近い画像ほど、精度が高い。従って、本実施例により、特定人物検知システムにおいて、より高い検知精度を得ることを可能とした。また、本実施例では事前に様々な角度の人物画像を登録できなかった場合にもより高い検知精度を得ることができる。また、本実施例では常時の照合を高フレームレートにしない場合においても、より高い検知精度を得ることができる。

ここまでの説明においては、説明の簡略化のため、撮像装置や検知装置、録画装置、端末装置は各１台の構成で示したが、これらはネットワークに対し、複数台の接続が可能である。

また同様に、撮像装置と検知装置、あるいは録画装置と検知装置は、各１台が対向で動作するように示したが、複数の撮像装置や録画装置に対し１台の検知装置で対応させることも可能であり、また逆に１台の撮像装置や録画装置に対し複数台の検知装置で対応させることも可能である。

また同様に、検知装置と端末装置は各１台が対向で動作するように示したが、複数の検知装置に対し１台の端末装置で対応させることも可能であり、また逆に１台の検知装置に対し複数台の端末装置で対応させることも可能である。

また同様に、撮像装置や録画装置と検知装置を別個の装置とする構成にて示したが、同一の装置にて実施するようにしてもよい。

また同様に、検知装置と端末装置を別個の装置とする構成にて示したが、同一の装置にて実施するようにしてもよい。

また同様に、特定人物検知システムを対象に示したが、特定人物だけでなく特定車両や他の特定物体などの検知システムを対象に実施するようにしてもよい。

次に、第２の実施例に係る特定人物検知システムの装置構成について図１０を用いて説明する。図１と同一の符号は、同一の装置であることを示す。

特定人物検知システム２０は、ネットワーク１００に、撮像装置１００１〜１００３、録画装置１０２、検知装置１０３、端末装置１０４が接続され、互いに通信可能な状態で構成される。

撮像装置１００１〜１００３は、撮像装置１０１と同一の装置である。本実施例ではシステムに撮像装置が３台接続されているものとする。撮像装置１００１〜１００３は、同一地点を別の角度から撮影するように設置する。検知装置１０３は同一地点を撮影している撮像装置１００１〜１００３の対応情報を記憶装置に記憶させている。これにより、検知装置１０３は同一地点を撮影している撮像装置はどれかを把握することができる。

本実施例において、録画装置１０２は、撮像装置１００１〜１００３の映像を常時録画しているものとする。

検知装置１０３における処理の流れについて図１１Ａ〜１１Ｃを用いて説明する。

ステップ１１００：制御指示部２０９は、次に取得する画像時刻（Ｔ）を算出する。特定人物検知を数フレームおきに実施する場合、現在時刻から数フレーム先の時刻を算出し画像時刻（Ｔ）とする。そして、画像受信部２０１は、撮像装置１００１に対し、画像（Ｔ）の出力を要求する。

ステップ１１０１：画像受信部２０１は、画像受信待機を行う。撮像装置１００１からの画像着信を検知すると処理はステップ１１０２に進む。

ステップ１１０２：画像受信部２０１は、撮像装置１００１からの画像を受信する。この受信した時刻（Ｔ）の画像を画像（Ｔ）とする。

ステップ１１０３：人物検出部２０２は、受信した画像データに対して人物検出を行う。人物検出については、ステップ４０３と同様である。上記の結果、人物が検出された場合、処理をステップ１１０４に進め、検出されなかった場合には、処理をステップ１１００に戻す。

ステップ１１０４：人物検出部２０２は、ステップ１１０３で検出された人物の人物領域座標を算出する。

ステップ１１０５：人物角度算出部２０３は、ステップ１１０４で算出した人物の領域画像に対して、角度を算出する。人物の角度の算出は、ステップ４０５と同様である。

ステップ１１０６：人物特徴量抽出部２０４は、ステップ１１０４で算出した人物の領域画像に対して、その人物特徴量を算出する。人物特徴量については、ステップ４０６と同様である。

ステップ１１０７：特定人物判定部２０５は、人物特徴量の全照合を行う。具体的には、ステップ１１０６で算出した人物特徴量を、特定人物記録部２００に予め記録しておいた各特定人物の人物特徴量全てを対象に順番に照合（一致度算出）していき、最も一致度の小さい特徴量を探し出す。この特徴量を持つ人物を最類似人物とする。一致度については、ステップ４０７と同様である。

ステップ１１０８：特定人物判定部２０５は、特定人物の検知判定を行う。検知判定については、ステップ４０８と同様である。検知と判定された場合には、処理をステップ１１０９に進め、それ以外の場合には、処理をステップ１１００に戻す。

ステップ１１０９：判定結果保管部２０６は、画像（Ｔ）に対して求めた結果を格納し、保管する。ここで、格納の対象となるデータには、ステップ１１０８で求めた最類似人物の一致度と人物ＩＤ、ステップ１１０５で求めた角度、ステップ１１０４で算出した人物領域の座標を含む。保管データの態様については図５と同様である。

ステップ１１１０：画像受信部２０１は、録画装置１０２に対し、撮像装置１００２の画像（Ｔ）の出力を要求する。

ステップ１１１１：画像受信部２０１は、録画装置１０２から、撮像装置１００２の画像（Ｔ）を受信する。

ステップ１１１２：人物検出部２０２は、受信した画像データに対して、ステップ１１０３にて検出した人物と同一人物の検出を行う。人物の検出の方法については、ステップ１１０３と同様である。ステップ１１０３にて検出した人物と本ステップにて検出した人物との同定は、ステップ４１４と同様である。但し、本実施例においては、撮像装置１００１と撮像装置１００２の撮影位置が異なるので、それぞれの設置位置関係を求めておき、幾何計算にて、それぞれの画像座標間の対応を事前求めておくこととする。上記の結果、同一人物が検出された場合、処理をステップ１１１３に進め、検出されなかった場合には、処理をステップ１１０８に進める。人物検出部２０２は、ステップ１１１２で検出された人物の人物領域座標を算出する。

ステップ１１１４：人物角度算出部２０３は、ステップ１１１３で算出した人物の領域画像に対して、角度を算出する。角度算出の方法については、ステップ４０５と同様である。

ステップ１１１５：人物特徴量抽出部２０４は、ステップ１１１３で算出した人物の領域画像に対して、その人物特徴量を算出する。人物特徴量算出の方法については、ステップ４０６と同様である。

ステップ１１１６：特定人物判定部２０５は、人物特徴量の照合を行う。具体的には、特定人物記録部２００に予め記録しておいた各特定人物の人物特徴量の中からステップ１１０７にて求めた最類似人物の特徴量を取り出し、ステップ１１１５で算出した人物特徴量と照合を行い、一致度を算出する。一致度算出の方法については、ステップ４０７と同様である。

ステップ１１１７：判定結果保管部２０６は、撮像装置１００２の画像（Ｔ）に対して求めた結果を格納し、保管する。ここで、格納の対象となるデータには、ステップ１１１６で求めた一致度、ステップ１１１４で求めた角度、ステップ１１１３で算出した人物領域の座標を含む。

ステップ１１１８：画像受信部２０１は、録画装置１０２に対し、撮像装置１００３の画像（Ｔ）の出力を要求する。

ステップ１１１９：画像受信部２０１は、録画装置１０２から、撮像装置１００３の画像（Ｔ）を受信する。

ステップ１１２０：人物検出部２０２は、受信した画像データに対して、ステップ１１０３にて検出した人物と同一人物の検出を行う。人物の検出の方法については、ステップ１１０３と同様である。ステップ１１０３にて検出した人物と本ステップにて検出した人物との同定は、ステップ４１４と同様である。但し、本実施例においては、撮像装置１００１と撮像装置１００３の撮影位置が異なるので、それぞれの設置位置関係を求めておき、幾何計算にて、それぞれの画像座標間の対応を事前求めておくこととする。上記の結果、同一人物が検出された場合、処理をステップ１１２１に進め、検出されなかった場合には、処理をステップ１１２６に進める。

ステップ１１２１：人物検出部２０２は、ステップ１１２０で検出された人物の人物領域座標を算出する。

ステップ１１２２：人物角度算出部２０３は、ステップ１１２１で算出した人物の領域画像に対して、角度を算出する。角度算出の方法については、ステップ４０５と同様である。

ステップ１１２３：人物特徴量抽出部２０４は、ステップ１１２１で算出した人物の領域画像に対して、その人物特徴量を算出する。人物特徴量算出の方法については、ステップ４０６と同様である。

ステップ１１２４：特定人物判定部２０５は、人物特徴量の照合を行う。具体的には、特定人物記録部２００に予め記録しておいた各特定人物の人物特徴量の中からステップ１１０７にて求めた最類似人物の特徴量を取り出し、ステップ１１２３で算出した人物特徴量と照合を行い、一致度を算出する。一致度算出の方法については、ステップ４０７と同様である。

ステップ１１２５：判定結果保管部２０６は、撮像装置１００３の画像（Ｔ）に対して求めた結果を格納し、保管する。ここで、格納の対象となるデータには、ステップ１１２４で求めた一致度、ステップ１１２２で求めた角度、ステップ１１２１で算出した人物領域の座標を含む。

ステップ１１２６：特定人物統合判定部２０７は、ステップ１１０９、や１１１７、１１２５で判定結果保管部２０６に保管した結果を用いて、統合判定を行う。統合判定は、特定人物記録部２００に予め記録しておいた各特定人物の人物角度の中からステップ１１０７にて求めた最類似人物の角度を取り出し、その角度と判定結果保管部２０６に保管した結果の中で、最も近い角度の結果を探し出し、その結果の一致度とある一定値（第２の閾値）との関係において、一致度が閾値以下であった場合にその人物を特定人物として検知したと統合判定する。第２の閾値は第１の閾値より小さな値を設定する。検知と判定された場合には、処理をステップ１１２７に進め、それ以外の場合には、処理をステップ１１２８に進める。

ステップ１１２７：検知通知部２０８は、特定人物通知を端末装置１０４に送信する。送信データは、特定人物のＩＤやその人物画像等を含んで構成される。

ステップ１１２８：判定結果保管部２０６は、保管していた結果を全て削除する。保管していた結果を削除せず、上書きをしてもよい。削除完了後、処理をステップ１１００に戻す。

時刻（Ｔ）における処理の内容について図１２Ａ、１２Ｂを用いて説明する。図３や図５と同一の符号は、それぞれ同一であることを示す。

画像１２００は、時刻（Ｔ）の撮像装置１００１の画像（Ｔ）である。

検知装置１０３は、撮像装置１００１から、画像（Ｔ）を取得する（ステップ１１００〜１１０２）。そして、この画像の全領域に対し、人物検出などを行う（ステップ１１０３〜１１０４）。検出領域１２０１は、ステップ１１０４で得られた人物領域を示す。また領域座標１２０２は、検出領域１２０１の画像中における座標値を示す。本実施例においては、検出領域１２０１の左上座標と右下座標を用いた例を示す。

次に、検知装置１０３は、検出領域１２０１に対して人物角度を算出する（ステップ１１０５）。角度１２０３は、ここで算出された値を示す。

次に、検知装置１０３は、検出領域１２０１に対して人物特徴量を算出する（ステップ１１０６）。人物特徴量１２０４は、ここで算出された値を示す。

次に、検知装置１０３は、人物特徴量１２０４を用いて、特定人物記録部２００の記録データ３２０に対して、全照合を行う（ステップ１１０７）。照合１２１０〜１２１４は、記録データの各レコードと照合を行っている様子を示し、一致度１２２０〜１２２４は、各照合において算出した一致度を示す。一致度は値が小さいほど、似ている度合が高いとされる値である。全照合の結果、最も小さな一致度は、一致度１２２４であることから、最類似人物は、レコード３０４に記録されている、人物Ｅであると判定される。

次に、検知装置１０３は、上記で求めた最類似人物である人物Ｅの一致度１２２４と予め設定しておいた第１の閾値との大小比較を行う。本実施例では第１の閾値を１．００とする。一致度１２２４は、０．９０であり、閾値以下であるので、この登場人物が特定人物の一人であり、人物Ｅであると一次判定される（ステップ１１０８）。

次に、検知装置１０３は、判定結果保管部２０６の保管データ５２０のレコード５００に対し、人物ＩＤセル５１１に該当するセルに検知した人物ＩＤである「Ｅ」、一致度セル５１２に該当するセルに一致度１２２４の値を、角度セル５１３に該当するセルに角度１２０３を、人物領域座標セル５１４に該当するセルに領域座標１２０２の値をそれぞれ格納する（ステップ１１０９）。図１２Ｂの保管データ５２０は、本時点での格納データの状態を示す。

ステップ１１００〜１１０９における一連の処理は、以上である。

ステップ１１１０〜１１１７における処理の内容について図１３Ａ、１３Ｂを用いて説明する。

画像１３００は、時刻（Ｔ）の撮像装置１００２の画像（Ｔ）である。

検知装置１０３は、録画装置１０２から、撮像装置１００２の画像（Ｔ）を取得する（ステップ１１１０〜１１１１）。この画像の全領域に対し、人物検出などを行う（ステップ１１１２〜１１１３）。検出領域１３０１は、ステップ１１１３にて得られた人物領域を示す。また、領域座標１３０２は、検出領域１３０１の画像中における座標値を示す。

次に、検知装置１０３は、検出領域１３０１に対して人物角度を算出する（ステップ１１１４）。角度１３０３は、ここで算出された値を示す。

次に、検知装置１０３は、検出領域１３０１に対して人物特徴量を算出する（ステップ１１１５）。人物特徴量１３０４は、ここで算出された値を示す。

次に、検知装置１０３は、人物特徴量１３０４を用いて、特定人物記録部２００の記録データ３２０に対して、照合を行う（ステップ１１１６）。この際、照合を行うのは、照合１３１０に示すように、人物Ｅのレコードのみである。一致度１３２０は、照合１３１０により算出された一致度である。

次に、検知装置１０３は、判定結果保管部２０６の保管データ５２０のレコード５０１に対し、人物ＩＤセル５１１に該当するセルに検知した人物ＩＤである「Ｅ」、一致度セル５１２に該当するセルに一致度１３２０の値を、角度セル５１３に該当するセルに角度１３０３を、人物領域座標セル５１４に該当するセルに領域座標１３０２の値をそれぞれ格納する（ステップ１１１７）。図１３Ｂの保管データ１３３０は、本時点での格納データの状態を示す。

ステップ１１１０〜１１１７における一連の処理は、以上である。

ステップ１１１８〜１１２６における処理の内容について図１４Ａ、１４Ｂを用いて説明する。

画像１４００は、時刻（Ｔ）の撮像装置１００３の画像（Ｔ）である。

検知装置１０３は、録画装置１０２から、撮像装置１００３の画像（Ｔ）を取得する（ステップ１１１８〜１１１９）。この画像の全領域に対し、人物検出などを行う（ステップ１１２０〜１１２１）。検出領域１４０１は、ステップ１１２１にて得られた人物領域を示す。また、領域座標１４０２は、検出領域１４０１の画像中における座標値を示す。

次に、検知装置１０３は、検出領域１４０１に対して人物角度を算出する（ステップ１１２２）。角度１４０３は、ここで算出された値を示す。

次に、検知装置１０３は、検出領域１４０１に対して人物特徴量を算出する（ステップ１１２３）。人物特徴量１４０４は、ここで算出された値を示す。

次に、検知装置１０３は、人物特徴量１４０４を用いて、特定人物記録部２００の記録データ３２０に対して、照合を行う（ステップ１１２４）。この際、照合を行うのは、照合１４１０に示すように、人物Ｅのレコードのみである。一致度１４２０は、照合１４１０により算出された一致度である。

次に、検知装置１０３は、判定結果保管部２０６の保管データ５２０のレコード５０２に対し、人物ＩＤセル５１１に該当するセルに検知した人物ＩＤである「Ｅ」、一致度セル５１２に該当するセルに一致度１４２０の値を、角度セル５１３に該当するセルに角度１４０３を、人物領域座標セル５１４に該当するセルに領域座標１４０２の値をそれぞれ格納する（ステップ１１２５）。図１４Ｂの保管データ５２０は、本時点での格納データの状態を示す。

次に、検知装置１０３は、特定人物記録部２００に予め記録しておいた人物Ｅの角度を取り出し、保管データ１４３０に格納された結果の中から、最も近い角度の結果を探す。本実施例では、レコード５０１となる。そして、レコード５０１に格納された一致度を取り出す。取り出した一致度と、予め設定しておいた第２の閾値との大小比較を行う。本実施例では第２の閾値を０．６０とする。取り出した一致度は０．２０であり、閾値以下であるので、この登場人物が特定人物の一人であり、人物Ｅであると統合判定される（ステップ１１２６）。

以上が、検知に至る一連の処理の説明となる。

ここまでに示したように、本実施例では、特定人物記録部２００に予め記録しておいた角度に最も近い画像にて照合を行う。一般的に角度が近い画像ほど、精度が高い。従って、本実施例により、特定人物検知システムにおいて、より高い検知精度を得ることを可能とした。また、本実施例では事前に様々な角度の人物画像を登録できなかった場合にもより高い検知精度を得ることができ、複数の撮像装置間の撮影角度の差異を歩行人物の向き変動幅よりも大きくなるように撮像装置を設置することにより、実施例１よりも大きな効果が得られる。また、本実施例では常時の照合を高フレームレートにしない場合においても、より高い検知精度を得ることができる。

ここまでの説明においては、説明の簡略化のため、同一地点における撮像装置について３台の構成で示したが、３台以外の複数台構成にて実施するようにしてもよい。

次に、第３の実施例に係る特定人物検知システムの装置構成について図１５を用いて説明する。図１と同一の符号は、同一の装置であることを示す。

特定人物検知システム３０は、ネットワーク１００に、撮像装置１５０１〜１５０４、録画装置１０２、検知装置１０３、端末装置１０４、検索装置１５０５が接続され、互いに通信可能な状態で構成される。

撮像装置１５０１〜１５０４は、撮像装置１０１と同一の装置である。本例ではシステムに撮像装置が４台接続されているものとする。

検索装置１５０５は、ＣＰＵ等の演算回路や、ＲＡＭ等の一時記憶メモリ、ＨＤＤ等の記録媒体、データ伝送バス、外部入出力インタフェース、電源回路等を備える、コンピュータ等の装置である。

検索装置１５０５は、ネットワークから外部入出力インタフェースに入力された録画装置１０２からの画像データを一時記憶メモリに格納する。格納された画像データに対し、演算回路を使い類似画像検索に関わる各種演算を行う。記録媒体には、類似画像検索を行うソフトウェア一式や、ＯＳ（オペレーションシステム）、類似画像検索を行うための特徴量を格納するためのデータベース等が格納されている。類似画像検索の結果は、外部入出力インタフェースからネットワーク１００に出力される。

本実施例において、録画装置１０２は、撮像装置１５０１〜１５０４の映像を常時録画しているものとする。また、検索装置１５０５は、録画装置１０２に録画された、撮像装置１５０１〜１５０４の映像を常時収集し、データベース化を行い、類似画像検索を実施可能な状態にしているものとする。検索装置１５０５の詳細については後述する。

上記４台の撮像装置の設置の位置関係について一例を図１６に示す。

図１６に示すように、通路１６００は、人物が歩行できる通路を示し、経路１６０１は人物Ｅが歩行した経路を示す。地点１６１１〜１６１４は、それぞれ撮像装置１５０１〜１５０４が設置されている位置を示し、撮影エリア１６２１〜１６２４はそれぞれ撮像装置１５０１〜１５０４が撮影している範囲を示す。人物Ｅは、経路１６０１を撮影エリア１６２１、１６２２、１６２３の順に歩行したとする。

撮影エリア間の距離は、撮像装置の設置時に予め測定されて、検知装置１０３の制御指示部２０９にて保管されている。

制御指示部２０９における撮影エリア間距離データの態様について図１７を用いて説明する。

距離データ１７００は、撮影エリア間の距離を総当たりで格納する。本実施例は、４つの撮像エリア間の距離を格納した例を示す。行１７０１には撮影エリア１６２１についての他の撮影エリア間との距離を、行１７０２には撮影エリア１６２２についての他の撮影エリア間との距離を格納する。行１７０３や１７０４についても同様である。セル１７１１には、撮影エリア１６２１と１６２２間の距離を格納する。本実施例では、距離値にエリア間を歩行する所要時間としての秒を用いた例を示す。以降も同様である。セル１７１２には、撮影エリア１６２１と１６２３間の距離を、セル１７１３には、撮影エリア１６２１と１６２４間の距離をそれぞれ格納する。本実施例では、格納する距離値に所要時間を用いた例を示したが、道のり（長さ）を用いる等をしてもよい。

検知装置１０３における処理の流れについて図１８Ａ、１８Ｂを用いて説明する。

ステップ１８００において、検知装置１０３の制御指示部２０９は、撮像装置１５０１から次に取得する画像時刻（Ｔ）を算出する。特定人物検知を数フレームおきに実施する場合、現在時刻から数フレーム先の時刻を算出し画像時刻（Ｔ）とする。そして、画像受信部２０１は、撮像装置１５０１に対し、画像（Ｔ）の出力を要求する。

ステップ１８０１：画像受信部２０１は、画像受信待機を行う。撮像装置１５０１からの画像着信を検知すると処理はステップ１８０２に進む。

ステップ１８０２：画像受信部２０１は、撮像装置１５０１からの画像を受信する。この受信した時刻（Ｔ）の画像を画像（Ｔ）とする。

ステップ１８０３：人物検出部２０２は、受信した画像データに対して人物検出を行う。人物検出については、ステップ４０３と同様である。上記の結果、人物が検出された場合、処理をステップ１８０４に進め、検出されなかった場合には、処理をステップ１８００に戻す。

ステップ１８０４：人物検出部２０２は、ステップ１８０３で検出された人物の人物領域座標を算出する。

ステップ１８０５：人物角度算出部２０３は、ステップ１８０４で算出した人物の領域画像に対して、撮影角度を算出する。人物の撮影角度の算出は、ステップ４０５と同様である。

ステップ１８０６：人物特徴量抽出部２０４は、ステップ１８０４で算出した人物の領域画像に対して、その人物特徴量を算出する。人物特徴量については、ステップ４０６と同様である。

ステップ１８０７：特定人物判定部２０５は、人物特徴量の全照合を行う。具体的には、ステップ１８０６で算出した人物特徴量を、特定人物記録部２００に予め記録しておいた各特定人物の人物特徴量全てを対象に順番に照合（一致度算出）していき、最も一致度の小さい特徴量を探し出す。この特徴量を持つ人物を最類似人物とする。一致度については、ステップ４０７と同様である。

ステップ１８０８：特定人物判定部２０５は、特定人物の検知判定を行う。検知判定については、ステップ４０８と同様である。検知と判定された場合には、処理をステップ１８０９に進め、それ以外の場合には、処理をステップ１８００に戻す。

ステップ１８０９：判定結果保管部２０６は、画像（Ｔ）に対して求めた結果を格納し、保管する。ここで、格納の対象となるデータには、ステップ１８０８で求めた最類似人物の一致度と人物ＩＤ、ステップ１８０５で求めた角度、ステップ１８０４で算出した人物領域の座標を含む。保管データの態様については図５と同様である。

ステップ１８１０：制御指示部２０９は距離データ１７００を参照し、画像（Ｔ）を取得した撮像装置１５０１の近接撮影エリアを算出する。ここで近接撮影エリアとは、画像（Ｔ）を取得した撮像装置１５０１との距離がある一定値以下の近距離関係にある撮影エリアとする。近接撮影エリアは、複数個存在する場合もある。また、図１８には図示しないが、ステップ１８１０で近接撮影エリアが存在しなかった場合には、処理をステップ１８２２に進める。

ステップ１８１１：ステップ１８０３にて検出した人物のステップ１８１０で求めた近接撮影エリアの中から最も距離の遠い撮影エリアへの到達予想時刻（ＴＦ）を算出する。最遠到達予想時刻は、距離データ１７００に格納された距離値から計算で求める。

ステップ１８１２：制御指示部２０９は、時刻（ＴＦ）まで待機する。時刻（ＴＦ）到達後、処理を１８１３に進める。

ステップ１８１３：制御指示部２０９は、検索装置１５０５に対し、画像（Ｔ）のステップ１８０４で算出した人物領域に対する類似画像検索の実施を要求する。その際、撮影時刻に関する条件として、時刻（Ｔ）以降、かつ、時刻（ＴＦ）以前であること、撮像エリアに関する条件として、ステップ１８１０で求めた近接撮影エリアであること、類似度が予め定めた一定値以上であることを類似画像検索の絞込条件として与える。

ステップ１８１４：制御指示部２０９は、検索装置１５０５からの検索結果を受信する。検索結果は、画像（Ｒ）とその画像における人物領域の座標を含んで構成される。ここでＲは、例えば、検索結果に含まれる画像数が５つである場合にはＲ＝１〜５となるような整数値であるとする。また、Ｒの最大値である５を検索結果数Ｓとして保管する。

ステップ１８１５：制御指示部２０９は、カウンタ（Ｒ）を０にリセットする。

ステップ１８１６：制御指示部２０９はカウンタ（Ｒ）と検索結果数（Ｓ）の大小関係を比較する。ＲがＳ未満の場合には、処理をステップ１８１７に進め、ＲがＳ以上となった場合、処理を１８２２に進める。

ステップ１８１７：人物角度算出部２０３は、ステップ１８１４で取得した画像（Ｒ）とその人物領域座標から得られる人物領域に対して、撮影角度を算出する。角度算出の方法については、ステップ４０５と同様である。

ステップ１８１８：人物特徴量抽出部２０４は、ステップ１８１４で取得した画像（Ｒ）とその人物領域座標から得られる人物領域に対して、その人物特徴量を算出する。人物特徴量算出の方法については、ステップ４０６と同様である。

ステップ１８１９：特定人物判定部２０５は、人物特徴量の照合を行う。具体的には、特定人物記録部２００に予め記録しておいた各特定人物の人物特徴量の中からステップ１８０７にて求めた最類似人物の特徴量を取り出し、ステップ１８１８で算出した人物特徴量と照合を行い、一致度を算出する。一致度算出の方法については、ステップ４０７と同様である。

ステップ１８２０：判定結果保管部２０６は、画像（Ｒ）に対して求めた結果を格納し、保管する。ここで、格納の対象となるデータには、ステップ１８１９で求めた一致度、ステップ１８１７で求めた撮影角度を含む。

ステップ１８２１：制御指示部２０９はカウンタ（Ｒ）Ｌを１加算し、制御をステップ１８１６に戻す。

ステップ１８２２：特定人物統合判定部２０７は、ステップ１８０９、１８２０で判定結果保管部２０６に保管した結果を用いて、統合判定を行う。統合判定は、特定人物記録部２００に予め記録しておいた各特定人物の撮影角度の中からステップ１８０７にて求めた最類似人物の撮影角度を取り出し、その撮影角度と判定結果保管部２０６に保管した結果の中で、最も近い撮影角度の結果を探し出し、その結果の一致度とある一定値（第２の閾値）との関係において、一致度が閾値以下であった場合にその人物を特定人物として検知したと統合判定する。第２の閾値は第１の閾値より小さな値を設定する。検知と判定された場合には、処理をステップ１８２３に進め、それ以外の場合には、処理をステップ１８２４に進める。

ステップ１８２３：検知通知部２０８は、特定人物通知を端末装置１０４に送信する。送信データは、特定人物のＩＤやその人物画像等を含んで構成される。

ステップ１８２４：判定結果保管部２０６は、保管していた結果を全て削除する。保管していた結果を削除せず、上書きをしてもよい。削除完了後、処理をステップ１８００に戻す。

ここで、検知対象、すなわち特定人物の人物Ｅが、通路１６００を経路１６０１にて、歩行した際の動作について、より具体的に説明する。ここで、人物Ｅは、撮影エリア１６２１に時刻（Ｔ）に登場したものとする。また、特定人物記録部２００には、図３に示したデータが予め記録されているものとする。また、説明の簡略化のため、人物Ｅの登場から退場まで人物Ｅ以外の人物は現れないものとする。

時刻（Ｔ）における処理の内容について図１９Ａ、１９Ｂを用いて説明する。図３や図５と同一の符号は、それぞれ同一であることを示す。

画像１９００は、時刻（Ｔ）における撮像装置１５０１が撮影エリア１６２１を撮影した画像（Ｔ）である。

検知装置１０３は、撮像装置１５０１から、画像（Ｔ）を取得する（ステップ１８００〜１８０２）。そして、この画像の全領域に対し、人物検出などを行う（ステップ１８０３〜１８０４）。検出領域１９０１は、ステップ１８０４で得られた人物領域を示す。また領域座標１９０２は、検出領域１９０１の画像中における座標値を示す。本実施例においては、検出領域１９０１の左上座標と右下座標を用いた例を示す。

次に、検知装置１０３は、検出領域１９０１に対して撮影角度を算出する（ステップ１８０５）。撮影角度１９０３は、ここで算出された値を示す。

次に、検知装置１０３は、検出領域１９０１に対して人物特徴量を算出する（ステップ１８０６）。人物特徴量１９０４は、ここで算出された値を示す。

次に、検知装置１０３は、人物特徴量１９０４を用いて、特定人物記録部２００の記録データ３２０に対して、全照合を行う（ステップ１８０７）。照合１９１０〜１９１４は、記録データの各レコードと照合を行っている様子を示し、一致度１９２０〜１９２４は、各照合において算出した一致度を示す。一致度は値が小さいほど、似ている度合が高いとされる値である。全照合の結果、最も小さな一致度は、一致度１９２４であることから、最類似人物は、レコード３０４に記録されている、人物Ｅであると判定される。

次に、検知装置１０３は、上記で求めた最類似人物である人物Ｅの一致度１９２４と予め設定しておいた第１の閾値との大小比較を行う。本実施例では第１の閾値を１．００とする。一致度１９２４は、０．９０であり、閾値以下であるので、この登場人物が特定人物の一人であり、人物Ｅであると一次判定される（ステップ１８０８）。

次に、検知装置１０３は、判定結果保管部２０６の保管データ５２０のレコード５００に対し、人物ＩＤセル５１１に該当するセルに検知した人物ＩＤである「Ｅ」、一致度セル５１２に該当するセルに一致度１９２４の値を、角度セル５１３に該当するセルに角度１９０３をそれぞれ格納する（ステップ１８０９）。図１９Ｂの保管データ５２０は、本時点での格納データの状態を示す。

ステップ１８００〜１８０９における一連の処理は、以上である。

次に、検知装置１０３は、撮影エリア１６２１の近接撮影エリアを算出する。ここでは、距離データ１７００のうち、撮影エリア１６２１との距離を格納した行１７０１を、セル１７１１〜１７１３の順に参照し、格納値を取得する。取得した格納値を予め決めておく閾値と比較して、閾値以下、すなわち、近距離に存在する近接撮影エリアを求める。近接撮影エリアは複数になることもある。本実施例では閾値を２０とし、結果、近接撮影エリアとして、撮影エリア１６２２、１６２３、１６２４が選ばれる（ステップ１８１０）。そして、選ばれた３つの撮影エリアの中で最も距離の遠い撮影エリアである撮影エリア１６２４の格納値と時刻（Ｔ）との合計である（Ｔ＋１８）が到達予想時刻（ＴＦ）となる（ステップ１８１１）。本実施例では、単純に撮影エリア１６２４の格納値を加算した例を示したが、さらに余裕度を加算する等してもよい。

次に、検知装置１０３は、時刻（Ｔ＋１８）まで待機する（ステップ１８１２）。

時刻（Ｔ＋１８）における処理の内容について図２０Ａから２０Ｃを用いて説明する。図３や図５と同一の符号は、それぞれ同一であることを示す。

検知装置１０３は、検索装置１５０５に対し、類似画像検索の実施を要求する。その際の検索キーは、検出領域１９０１である。撮影時刻に関する絞込条件として、時刻（Ｔ）以降、時刻（Ｔ＋１８）以前を与える。また、撮影エリアに関する絞込条件として、ステップ１８１０で選んだ撮影エリア１６２２、１６２３、１６２４を与える（ステップ１８１３）。

検索結果２０００は、ステップ１８１４で受信した検索結果を示す。本実施例では、検索結果が２つの画像とそれぞれの画像における人物領域の座標を含んで構成される場合を示す。画像２０１０は、検索結果の１つ目の画像であり、画像２０２０は、検索結果の２つ目の画像である。また、人物領域２０１１は、画像２０１０における人物領域、人物領域２０２１は、画像２０２０における人物領域を表す。

次に、検知装置１０３は、人物領域２０１１に対して撮影角度を算出する（ステップ１８１７）。撮影角度２０１２は、ここで算出された値を示す。

次に、検知装置１０３は、人物領域２０１１に対して人物特徴量を算出する（ステップ１８１８）。人物特徴量２０１３は、ここで算出された値を示す。

次に、検知装置１０３は、人物特徴量２０１３を用いて、特定人物記録部２００の記録データ３２０に対して、照合を行う（ステップ１８１９）。この際、照合を行うのは、照合２０３０に示すように、人物Ｅのレコードのみである。一致度２０４０は、照合２０３０により算出された一致度である。

次に、検知装置１０３は、判定結果保管部２０６の保管データ５２０のレコード５０１に対し、人物ＩＤセル５１１に該当するセルに検知した人物ＩＤである「Ｅ」、一致度セル５１２に該当するセルに一致度２０４０の値を、角度セル５１３に該当するセルに角度２０１２をそれぞれ格納する（ステップ１８２０）。図２０Ｂの保管データ５２０は、本時点での格納データの状態を示す。

次に、検知装置１０３は、人物領域２０２１に対して撮影角度を算出する（ステップ１８１７）。撮影角度２０２２は、ここで算出された値を示す。

次に、検知装置１０３は、人物領域２０２１に対して人物特徴量を算出する（ステップ１８１８）。人物特徴量２０２３は、ここで算出された値を示す。

次に、検知装置１０３は、人物特徴量２０２３を用いて、特定人物記録部２００の記録データに対して、照合を行う（ステップ１８１９）。この際、照合を行うのは、照合２０６０に示すように、人物Ｅのレコードのみである。一致度２０７０は、照合２０６０により算出された一致度である。

次に、検知装置１０３は、判定結果保管部２０６の保管データ５２０のレコード５０２に対し、人物ＩＤセル５１１に該当するセルに検知した人物ＩＤである「Ｅ」、一致度セル５１２に該当するセルに一致度２０７０の値を、角度セル５１３に該当するセルに角度２０２２をそれぞれ格納する（ステップ１８２０）。図２０Ｃの保管データ５２０は、本時点での格納データの状態を示す。

次に、検知装置１０３は、特定人物記録部２００に予め記録しておいた人物Ｅの角度を取り出し、図２０Ｃの保管データ５２００に格納された結果の中から、最も近い角度の結果を探す。本実施例では、レコード５０１となる。そして、レコード５０１に格納された一致度を取り出す。取り出した一致度と、予め設定しておいた第２の閾値との大小比較を行う。本実施例では第２の閾値を０．６０とする。取り出した一致度は０．２０であり、閾値以下であるので、この登場人物が特定人物の一人であり、人物Ｅであると統合判定される（ステップ１８２２）。

以上が、検知に至る一連の処理の説明となる。

図２１に示すように、検索装置１５０５は、画像記録部２１０１、画像特徴量記録部２１０２、画像特徴量抽出部２１０３、画像類似度判定部２１０４、顔探索部２１０５の部位を備えている。

画像記録部２１０１は、撮像装置１５０１〜１５０４または録画装置１０２から入力された画像データを、図示しないＨＤＤ等の記録媒体へ記録する部位である。画像記録部２１０１は、画像データを記録する際には、後で画像データを取り出すための情報、例えば、録画装置内でユニークになるように録画開始からフレーム単位で順に割り振ったフレーム番号を同時に記録する。このフレーム番号とは、映像等の動画像のように、所定の期間毎に画像が連続的に記憶される際に、順番に割り振られるような番号のことをいう。また、画像記録部２１０１は、画像が何時に撮像されたものであるか識別するための情報、例えば、画像時刻も同時に記録する。この際の、画像時刻は、例えば、録画装置１０２に内蔵している時計から出力される装置時刻や、撮像装置１５０１〜１５０４にそれぞれ内蔵している時計から出力される装置時刻である。また、画像記録部２１０１は、画像がどの撮像装置で撮像されたかものであるか識別するための情報、例えば、撮像装置のＩＰアドレスも同時に記録する。

画像特徴量記録部２１０２は、画像特徴量を記録媒体へ記録する部位である。画像特徴量記録部２１０２は、まず、画像記録部２１０１により記録された画像データを顔探索部２１０５に出力することにより、顔画像データを取得する。そして、画像特徴量記録部２１０２は、この顔画像データを画像特徴量抽出部２１０３に出力することにより、画像特徴量を取得する。画像特徴量記録部２１０２は、画像特徴量を記録する際には、顔探索部２１０５に入力された画像データに対応するフレーム番号も同時に記録する。この記録により生成されるフレーム番号と画像特徴量で構成されるリストデータを、以下で「画像特徴量リストデータ」と呼ぶ。

画像特徴量抽出部２１０３は、顔探索部２１０５から入力された顔画像データの特徴量を画像認識技術を用いて算出する部位である。ここで画像特徴量とは、例えば、画像の色分布やエッジパターンの構図分布やそれらの組合せを用いる。

画像類似度判定部２１０４は、画像検索を行い、検索結果を出力する部位である。画像類似度判定部２１０４は、以下で説明する検索画像の画像特徴量と、画像記録部２１０１の記録媒体に記録されている画像データの顔画像の画像特徴量とから類似度を算出し、算出された類似度の大小から検索結果を生成する。ここで、検索画像は、入力された、類似度を判定するために参照される雛形の画像として検知装置１０３の制御指示部２０９が指定した画像である。この検索画像は、検索要求信号の中に含まれているデータとして入力する。具体的には、画像のフレーム番号等により指定することができる。なお、検索画像の画像特徴量は、画像類似度判定部２１０４が、顔探索部２１０５に出力することで取得する。また、記録媒体に記録されている顔画像データの画像特徴量は、画像特徴量記録部２１０２に記録された上述の画像特徴量リストデータから取得する。また、画像、類似度の算出方法については、「大規模な画像集合のための表現モデル」（廣池敦他、日本写真学会誌２００３年６６巻１号Ｐ９３−Ｐ１０１）のような論文を参照して構築することができる。

検索装置１５０５の制御部は、検知装置１０３の制御指示部２０９からの検索要求信号を受信すると、検知装置１０３の制御指示部２０９が指定した検索画像を顔探索部２１０５に入力し、顔を探索する。顔が検出された場合、画像特徴量抽出部２１０３にてその検索画像に含まれる顔領域の画像特徴量を抽出する。そして、画像類似度判定部２１０４にて、右記の画像特徴量と、予め登録処理により抽出された画像特徴量リストデータの特徴量とを比較し、画像特徴量を基に画像の類似性を判定し、画像特徴量リストデータに含まれるフレーム情報等を用いて、録画装置の記録画像からユーザが探したい人物の画像を検索処理の実行ごとに探し出す。このような従来の登録処理により、監視画像を対象とした類似顔画像検索を実現することができる。

ここまでに示したように、本実施例では、特定人物記録部２００に予め記録しておいた角度に最も近い画像にて照合を行う。一般的に角度が近い画像ほど、精度が高い。従って、本実施例により、特定人物検知システムにおいて、より高い検知精度を得ることを可能とした。また、本実施例では事前に様々な角度の人物画像を登録できなかった場合にもより高い検知精度を得ることができ、実施例２のように、同一地点を複数の撮像装置で撮影できなかった場合にも、多地点の撮像装置を組み合わせて利用することにより、実施例２とほぼ同等の大きな効果が得られる。

ここまでの説明においては、説明の簡略化のため、撮像装置について４台の構成で示したが、４台以外の複数台構成にて実施するようにしてもよい。

また同様に、検知装置と検索装置を別個の装置とする構成にて示したが、同一の装置にて実施するようにしてもよい。

以上、本発明者によってなされた発明を実施形態および実施例に基づき具体的に説明したが、本発明は、上記実施形態および実施例に限定されるものではなく、種々変更可能であることはいうまでもない。

１０，２０，３０：特定人物検知システム、１００：ネットワーク、１０１：撮像装置、１０２：検知装置、１０３：録画装置、１０４：端末装置、２００：特定人物記録部、２０１：画像受信部、２０２：人物検出部、２０３：人物角度算出部、２０４：人物特徴量算出部、２０５：特定人物判定部、２０６：判定結果保管部、２０７：特定人物統合判定部、２０８：検知通知部、２０９：制御指示部、３００〜３０４：レコード、３１０：レコード番号セル３１０、３１１：人物ＩＤセル、３１２：特徴量セル、３１３:角度セル、３１４：人物画像セル、３２０：記録データ、４００〜４３４：ステップ、５００〜５０６：レコード、５１０：レコード番号セル、５１１：人物ＩＤセル、５１２：一致度セル、５１３：角度セル、５１４：人物領域座標セル、５２０：保管データ、６００：横軸、６１０〜６３０：タイミング、７００：画像、７０１：検出領域、７０２：領域座標、７０３：角度、７０４：人物特徴量、７１０〜７１４：照合、７２０〜７２４：一致度、８００：画像、８０１：近傍領域、８０２：検出領域、８０３：領域座標、８０４：角度、８０５：人物特徴量、８１０：照合、８２０：一致度、９００：画像、９０１：近傍領域、９０２：検出領域、９０３：領域座標、９０４：角度、９０５：人物特徴量、９１０：照合、９２０：一致度、１００１〜１００３：撮像装置、１１１０〜１１２７：ステップ、１２００：画像、１２０１：検出領域、１２０２：領域座標、１２０３：角度、１２０４：人物特徴量、１２１０〜１２１４：照合、１２２０〜１２２４：一致度、１３００：画像、１３０１：検出領域、１３０２：領域座標、１３０３：角度、１３０４：人物特徴量、１３１０：照合、１３２０：一致度、１４００：画像、１４０１：検出領域、１４０２：領域座標、１４０３：角度、１４０４：人物特徴量、１４１０：照合、１４２０：一致度、１５０１〜１５０４：撮像装置、１５０５：検索装置、１６００：通路、１６０１：経路、１６１１〜１６１４：地点、１６２１〜１６２４：撮影エリア、１７００：距離データ、１７０１〜１７０４：行、１７１１〜１７１３：セル、１８００〜１８２４：ステップ、１９００：画像、１９０１：検出領域、１９０２：領域座標、１９０３：角度、１９０４：人物特徴量、１９１０〜１９１４：照合、１９２０〜１９２４：一致度、２０００：検索結果、２０１０：画像、２０１１：人物領域、２０１２：角度、２０１３：人物特徴量、２０２０：画像、２０２１：人物領域、２０２２：角度、２０２３：人物特徴量、２０３０：照合、２０４０：一致度、２０６０：照合、２０７０：一致度、

Claims

特定人物を記録した特定人物記録部を備え、
画像データから抽出した特徴量に最も類似した人物を前記特定人物記録部から取得し、他の画像データから抽出した特徴量と当該人物との類似度を算出し、類似度が高い人物の中から角度情報が当該人物と最も類似している人物を照合結果として出力する
特定人物検知システム。
請求項１において、
撮像装置と録画装置と検知装置とを備え、
前記画像データは前記撮像装置で撮影され、
前記別の画像データは前記録画装置で録画される
特定人物検知システム。
請求項２において、
前記検知装置は、
特定人物の一覧にその人物の撮影角度を保管し、
前記撮像装置で撮影された画像中から任意の登場人物をその撮影角度とともに検出し、
前記特定人物の一覧と前記検出した登場人物との特徴全照合から一致度を求め、特定人物の一次検知を行い、
前記一次検知された画像とは別の画像を前記録画装置から取得し、
前記取得した別の画像から一次検知人物と同一の人物をその撮影角度とともに検出し、照合を行い、
前記一次検知された結果を含む一連の照合による一致度と撮影角度を用いて、特定人物の統合判定を行う
特定人物検知システム。
請求項３において、
前記別の画像は一次検知の時間近傍の同一撮像装置の画像である
特定人物検知システム。
請求項２において、
前記検知装置は、
特定人物の一覧を保管し、
撮影画像中から任意の登場人物を検出し、
特定人物の一覧と登場人物との特徴照合から一致度を求め、特定人物検知を行う
特定人物検知システム。
請求項１において、
複数の撮像装置と検知装置とを備え、
前記画像データは前記複数の撮像装置の１つの撮像装置で撮影され、
前記別の画像データは前記複数の撮像装置の他の撮像装置で撮像される
特定人物検知システム。
請求項６において、
前記検知装置は、
特定人物の一覧にその人物の撮影角度を保管し、
前記１つの撮像装置で撮影された画像中から任意の登場人物をその撮影角度とともに検出し、
前記特定人物の一覧と前記検出した登場人物との特徴全照合から一致度を求め、特定人物の一次検知を行い、
前記一次検知された画像とは別の画像を前記他の撮像装置から取得し、
前記取得した別の画像から一次検知人物と同一の人物をその撮影角度とともに検出し、照合を行い、
前記一次検知された結果を含む一連の照合による一致度と撮影角度を用いて、特定人物の統合判定を行う
特定人物検知システム。
請求項７において、
前記別の画像は一次検知された撮像装置とは別の撮像装置による同時刻画像である
特定人物検知システム。
請求項６において、
前記検知装置は、
特定人物の一覧を保管し、
撮影画像中から任意の登場人物を検出し、
特定人物の一覧と登場人物との特徴照合から一致度を求め、特定人物検知を行う
特定人物検知システム。
請求項６において、
検知装置は、さらに、一次検知された撮像装置に近接する撮像装置を求め、
前記別の画像は一次検知された撮影画像をキーに類似画像検索を行い、時間近傍、地点近傍の条件下で、同一の人物の登場する画像である
特定人物検知システム。
請求項１０において、
さらに、検索装置を備え、
前記検索装置は前記別の画像を検索する特定人物検知システム。
請求項１０において、
前記検知装置は、
特定人物の一覧を保管し、
撮影画像中から任意の登場人物を検出し、
特定人物の一覧と登場人物との特徴照合から一致度を求め、特定人物検知を行う
特定人物検知システム。
特定人物記録部に特定人物を記録し、
画像データから抽出した特徴量に最も類似した人物を前記特定人物記録部から取得し、
他の画像データから抽出した特徴量と当該人物との類似度を算出し、
類似度が高い人物の中から角度情報が当該人物と最も類似している人物を照合結果として出力する
特定人物検知方法。