WO2013108686A1

WO2013108686A1 - 情報処理装置および方法、並びにプログラム

Info

Publication number: WO2013108686A1
Application number: PCT/JP2013/050209
Authority: WO
Inventors: 優嗣小野; 竹内　英人
Original assignee: ソニー株式会社
Priority date: 2012-01-17
Filing date: 2013-01-09
Publication date: 2013-07-25
Also published as: US9412180B2; EP2806634A1; CN104041017B; JPWO2013108686A1; RU2600540C2; RU2014128431A; EP2806634A4; CN104041017A; US20150146921A1; EP2806634B1; JP5999105B2

Abstract

本技術は、複数のカメラにより撮像した画像より、探索追尾したい人物を、高精度で探索し、追尾することができる情報処理装置および方法、並びにプログラムに関する。検索追尾結果を示す画面Ｐ２１１上の、撮像エリアＣａｍＡを撮像する監視カメラで撮像された動体画像ＰＡに対して、手Ｈ１で示されるように、使用者が検索対象者であることを確定する確定情報を入力することにより、プロットＡとプロットＥの検出結果との時空間の比較から、プロットＡからプロットＥまでの移動時間が５秒（１：００：０５－１：００：００）であるにも拘わらず、平均的な人間の移動速度では、５秒程度では移動できない離れた位置であることから、検索追尾結果からプロットＥを削除することにより、検索追尾結果の精度を向上させることが可能となる。本技術は、セキュリティシステムやマーケティング調査システムに適用することができる。

Description

情報処理装置および方法、並びにプログラム

　本技術は、情報処理装置および方法、並びにプログラムに関し、特に、複数のカメラにより撮像した画像より、検索追尾したい人物を、高精度で探索し、追尾できるようにした情報処理装置および方法、並びにプログラムに関する。

　従来から、ホテルや、ビル、コンビニエンスストア、更には市街地等の不特定多数の人が行き交う場所には防犯やマーケティング等の目的で映像監視システムが設置されている。このような監視システムにおいて、不審者がどのように移動したかや、デパート内で顧客がどのように移動したかを確認するという業務は至る所で行われている。

　しかしながら、それぞれの人物が監視エリア内をどのように移動したのかを確認するためには、複数のカメラで取得された映像を見直し、カメラ映像内での人物の移動を追いかけ、カメラ間に跨って移動する人物を対応付けて追いかけるといった作業が必要となり、非常に膨大な時間がかかっており、作業者にとって非常に大きな負担となっている。

　そこで、複数のカメラ映像内で動体を追跡するシステムや、検索するシステムが提案されている。例えば、単一カメラ映像内で人物を追跡し、複数のカメラでそれを紐付けるという手法を行うというものが提案されている（特許文献１参照）。また、類似画像検索を利用して、人物追跡を行うものとして、撮影画像内の前景領域をブロック状に分割し、ブロック単位で類似画像検索を行い、そのマッチング結果によって同一人物か否かを判定するというものが提案されている（非特許文献１参照）。

特開２００６－２４５７９５号公報疎分散カメラ環境における類似画像検索を用いた人物追跡信学技報, vol. 110, no. 330, PRMU2010-130, pp. 25-30, 2010年12月.

　しかしながら、特許文献１に記載の技術では、実際には単一カメラ内で人物を追跡し続ける事は難しく、人物同士の重なりや柱等の裏に人物が隠れてしまう事によって追跡が途切れ、全体としての追跡精度が低下してしまう事があった。

　また、非特許文献１の技術の場合、ブロック状に分割した前景領域全てに対して類似しているかどうかを判定するには撮影時間が増えれば増える程、処理時間の増加を招き、更に精度の低下を招く恐れがあった。

　本技術はこのような状況に鑑みてなされたものであり、特に、複数のカメラにより撮像された画像のうち、検索に適さないものを削除すると共に、検索処理結果に対して、使用者が検索対象画像に適切な画像を確定情報として特定した後、検索処理を修正する処理を繰り返すようにすることで、人物の検索追尾処理の精度を向上できるようにするものである。

　本技術の第１の側面の情報処理装置は、画像を撮像し、動体を検出し、検出した前記動体の画像からなる動体画像を抽出し、前記動体画像に基づいて、前記動体の空間位置座標を検出し、前記動体画像および前記動体の空間位置座標、および前記画像を撮像した撮像時刻とを含む動体情報を出力する複数の撮像部と、検索対象となる動体の動体画像を含む動体情報である検索対象動体情報の動体画像に対する、前記検索対照動体情報以外の動体情報に含まれる動体画像の尤度である動体画像尤度を算出する動体画像尤度算出部と、前記動体画像尤度算出部により算出された動体画像尤度のそれぞれについて、所定の閾値よりも高いか否かを判定し、前記所定の閾値よりも高い動体画像尤度の動体情報を、前記検索対象動体情報の動体画像の動体と同一の動体の動体画像を含む動体情報である検索結果動体情報として検索する動体画像閾値判定部と、前記動体画像閾値判定部により検索結果動体情報として検索された動体情報を記憶する検索結果動体情報記憶部と、前記結果動体情報記憶部に検索結果動体情報として記憶されている動体情報のうち、前記動体画像に基づいて、使用者により、前記検索対象動体情報であることを確定する確定情報の入力を受け付ける操作入力部と、前記結果動体情報記憶部に検索結果動体情報として記憶されている動体情報のうち、前記確定情報が入力された動体情報である確定動体情報以外の動体情報の、前記確定情報が入力された確定動体情報に対する、前記空間位置座標および撮像時刻に基づいた尤度からなる時空間尤度を算出する時空間尤度算出部と、前記時空間尤度算出部により算出された時空間尤度のそれぞれについて所定の閾値よりも低いか否かを判定し、前記所定の閾値よりも低い時空間尤度の動体情報を、前記検索結果動体情報記憶部より削除する時空間尤度閾値判定部とを含む。

　前記操作入力部には、前記時空間尤度閾値判定部により、前記時空間尤度算出部により算出された時空間尤度のそれぞれについて所定の閾値よりも低いか否かを判定された後、前記結果動体情報記憶部に検索結果動体情報として記憶されている動体情報のうち、前記動体画像に基づいて、使用者により、前記検索対象動体情報であることを新たに確定する確定情報の入力を受け付けさせ、前記時空間尤度算出部には、前記結果動体情報記憶部に検索結果動体情報として記憶されている動体情報のうち、前記確定動体情報以外の動体情報の、前記確定情報が新たに入力された確定動体情報に対する、前記空間位置座標および撮像時刻に基づいた尤度からなる時空間尤度を新たに算出させ、前記時空間尤度閾値判定部には、前記時空間尤度算出部により新たに算出された時空間尤度のそれぞれについて所定の閾値よりも低いか否かを判定させ、前記所定の閾値よりも低い時空間尤度の動体情報を、前記検索結果動体情報記憶部より削除させ、前記操作入力部、前記時空間尤度算出部、および前記時空間尤度閾値判定部には、前記操作入力部により新たに確定情報が入力される度に、同様の処理を繰り返させるようにすることができる。

　前記動体情報には、含まれている動体画像を撮像した前記複数の撮像部のいずれかを識別するIDをさらに含ませるようにすることができ、前記検索対象となる動体の動体画像を含む動体情報である検索対象動体情報、および、前記検索対象動体情報であることを確定する確定情報の入力が受け付けられた確定動体情報のうち、それぞれの動体画像を撮像した複数の撮像部を識別するIDが異なる２の前記動体画像に基づいて、前記撮像部間の色変化を補正するBTF（Brightness Transfer Function）を計算するBTF計算部と、前記結果動体情報記憶部に検索結果動体情報として記憶されている動体情報のうち、前記確定動体情報以外の動体情報のうち、前記BTFが求められているIDの撮像部により撮像された動体画像を含む動体情報の動体画像にBTFを施すBTF処理部と、前記確定動体情報の動体画像に対する、前記BTF処理部によりBTFが施された動体画像を含む動体情報の、前記動体画像に基づいた尤度からなるBTF動体画像尤度を算出するBTF動体画像尤度算出部と、前記BTF動体画像尤度算出部により算出されたBTF動体画像尤度のそれぞれについて、所定の閾値よりも低いか否かを判定するBTF動体画像閾値判定部とをさらに含ませるようにすることができ、前記時空間尤度閾値判定部には、前記時空間尤度算出部により新たに算出された時空間尤度のそれぞれについて所定の閾値よりも低いか否かを判定させ、前記所定の閾値よりも低くない場合、前記BTF動体画像閾値判定部には、前記BTF動体画像尤度算出部により算出されたBTF動体画像尤度のそれぞれについて、所定の閾値よりも低いか否かを判定させ、前記BTF動体画像尤度が所定の閾値よりも低いとき、前記BTF動体画像尤度が所定の閾値よりも低い動体画像を含む動体情報を、前記検索結果動体情報記憶部より削除させるようにすることができる。

　前記動体画像尤度算出部には、検索対象となる動体の動体画像を含む動体情報である検索対象動体情報の動体画像と、前記検索対照動体情報以外の動体情報に含まれる動体画像とのそれぞれに含まれる動体画像に基づいて、それぞれの動体がどの程度類似しているのかを示す類似度を、前記動体画像尤度として算出させるようにすることができる。

　前記時空間尤度算出部には、前記確定動体情報以外の動体情報と、前記確定情報が入力された確定動体情報との、前記空間位置座標間の距離を、平均的な人間の移動速度で移動したときの所要時間と、撮像時刻間の時間との関係から前記時空間尤度を算出させるようにすることができる。

　本技術の第１の側面の情報処理方法は、画像を撮像し、動体を検出し、検出した前記動体の画像からなる動体画像を抽出し、前記動体画像に基づいて、前記動体の空間位置座標を検出し、前記動体画像および前記動体の空間位置座標、および前記画像を撮像した撮像時刻とを含む動体情報を出力する複数の撮像部を含む情報処理装置の情報処理方法において、検索対象となる動体の動体画像を含む動体情報である検索対象動体情報の動体画像に対する、前記検索対照動体情報以外の動体情報に含まれる動体画像の尤度である動体画像尤度を算出する動体画像尤度算出処理と、前記動体画像尤度算出処理により算出された動体画像尤度のそれぞれについて、所定の閾値よりも高いか否かを判定し、前記所定の閾値よりも高い動体画像尤度の動体情報を、前記検索対象動体情報の動体画像の動体と同一の動体の動体画像を含む動体情報である検索結果動体情報として検索する動体画像閾値判定処理と、前記動体画像閾値判定処理により検索結果動体情報として検索された動体情報を記憶する検索結果動体情報記憶処理と、前記結果動体情報記憶処理で検索結果動体情報として記憶されている動体情報のうち、前記動体画像に基づいて、使用者により、前記検索対象動体情報であることを確定する確定情報の入力を受け付ける操作入力処理と、前記結果動体情報記憶処理で検索結果動体情報として記憶されている動体情報のうち、前記確定情報が入力された動体情報である確定動体情報以外の動体情報の、前記確定情報が入力された確定動体情報に対する、前記空間位置座標および撮像時刻に基づいた尤度からなる時空間尤度を算出する時空間尤度算出処理と、前記時空間尤度算出処理により算出された時空間尤度のそれぞれについて所定の閾値よりも低いか否かを判定し、前記所定の閾値よりも低い時空間尤度の動体情報を、前記検索結果動体情報記憶処理により記憶された動体情報より削除する時空間尤度閾値判定処理とを含む。

　本技術の第１の側面のプログラムは、画像を撮像し、動体を検出し、検出した前記動体の画像からなる動体画像を抽出し、前記動体画像に基づいて、前記動体の空間位置座標を検出し、前記動体画像および前記動体の空間位置座標、および前記画像を撮像した撮像時刻とを含む動体情報を出力する複数の撮像部を含む情報処理装置を制御するコンピュータに実行させるプログラムであって、検索対象となる動体の動体画像を含む動体情報である検索対象動体情報の動体画像に対する、前記検索対照動体情報以外の動体情報に含まれる動体画像の尤度である動体画像尤度を算出する動体画像尤度算出ステップと、前記動体画像尤度算出ステップの処理により算出された動体画像尤度のそれぞれについて、所定の閾値よりも高いか否かを判定し、前記所定の閾値よりも高い動体画像尤度の動体情報を、前記検索対象動体情報の動体画像の動体と同一の動体の動体画像を含む動体情報である検索結果動体情報として検索する動体画像閾値判定ステップと、前記動体画像閾値判定ステップの処理により検索結果動体情報として検索された動体情報を記憶する検索結果動体情報記憶ステップと、前記結果動体情報記憶ステップの処理で検索結果動体情報として記憶されている動体情報のうち、前記動体画像に基づいて、使用者により、前記検索対象動体情報であることを確定する確定情報の入力を受け付ける操作入力ステップと、前記結果動体情報記憶ステップの処理で検索結果動体情報として記憶されている動体情報のうち、前記確定情報が入力された動体情報である確定動体情報以外の動体情報の、前記確定情報が入力された確定動体情報に対する、前記空間位置座標および撮像時刻に基づいた尤度からなる算出する時空間尤度算出ステップと、前記時空間尤度算出ステップの処理により算出された時空間尤度のそれぞれについて所定の閾値よりも低いか否かを判定し、前記所定の閾値よりも低い時空間尤度の動体情報を、前記検索結果動体情報記憶ステップの処理により記憶された動体情報より削除する時空間尤度閾値判定ステップとをコンピュータに実行させる。

　本技術の第２の側面の情報処理装置は、画像を撮像し、人物を検出し、検出した前記人物の画像からなる人物画像を抽出し、前記人物画像に基づいて、前記人物の空間位置座標を検出し、前記人物画像および前記人物の空間位置座標、および前記画像を撮像した撮像時刻とを含む人物情報を出力する複数の撮像部と、検索対象となる人物の人物画像を含む人物情報である検索対象人物情報の人物画像に対する、前記検索対照人物情報以外の人物情報に含まれる人物画像の尤度である人物画像尤度を算出する人物画像尤度算出部と、前記人物画像尤度算出部により算出された人物画像尤度のそれぞれについて、所定の閾値よりも高いか否かを判定し、前記所定の閾値よりも高い人物画像尤度の人物情報を、前記検索対象人物情報の人物画像の人物と同一の人物の人物画像を含む人物情報である検索結果人物情報として検索する人物画像閾値判定部と、前記人物画像閾値判定部により検索結果人物情報として検索された人物情報を記憶する検索結果人物情報記憶部と、前記結果人物情報記憶部に検索結果人物情報として記憶されている人物情報のうち、前記人物画像に基づいて、使用者により、前記検索対象人物情報であることを確定する確定情報の入力を受け付ける操作入力部と、前記結果人物情報記憶部に検索結果人物情報として記憶されている人物情報のうち、前記確定情報が入力された人物情報である確定人物情報以外の人物情報の、前記確定情報が入力された確定人物情報に対する、前記空間位置座標および撮像時刻に基づいた尤度からなる時空間尤度を算出する時空間尤度算出部と、前記時空間尤度算出部により算出された時空間尤度のそれぞれについて所定の閾値よりも低いか否かを判定し、前記所定の閾値よりも低い時空間尤度の人物情報を、前記検索結果人物情報記憶部より削除する時空間尤度閾値判定部とを含む。

　前記操作入力部には、前記時空間尤度閾値判定部により、前記時空間尤度算出部により算出された時空間尤度のそれぞれについて所定の閾値よりも低いか否かを判定された後、前記結果人物情報記憶部に検索結果人物情報として記憶されている人物情報のうち、前記人物画像に基づいて、使用者により、前記検索対象人物情報であることを新たに確定する確定情報の入力を受け付けさせ、前記時空間尤度算出部には、前記結果人物情報記憶部に検索結果人物情報として記憶されている人物情報のうち、前記確定人物情報以外の人物情報の、前記確定情報が新たに入力された確定人物情報に対する、前記空間位置座標および撮像時刻に基づいた尤度からなる時空間尤度を新たに算出させ、前記時空間尤度閾値判定部には、前記時空間尤度算出部により新たに算出された時空間尤度のそれぞれについて所定の閾値よりも低いか否かを判定し、前記所定の閾値よりも低い時空間尤度の人物情報を、前記検索結果人物情報記憶部より削除され、前記操作入力部、前記時空間尤度算出部、および前記時空間尤度閾値判定部には、前記操作入力部により新たに確定情報が入力される度に、同様の処理を繰り返すようにさせることができる。

　前記人物情報には、含まれている人物画像を撮像した前記複数の撮像部のいずれかを識別するIDをさらに含ませるようにすることができ、前記検索対象となる人物の人物画像を含む人物情報である検索対象人物情報、および、前記検索対象人物情報であることを確定する確定情報の入力が受け付けられた確定人物情報のうち、それぞれの人物画像を撮像した複数の撮像部を識別するIDが異なる２の前記人物画像に基づいて、前記撮像部間の色変化を補正するBTF（Brightness Transfer Function）を計算するBTF計算部と、前記結果人物情報記憶部に検索結果人物情報として記憶されている人物情報のうち、前記確定人物情報以外の人物情報のうち、前記BTFが求められているIDの撮像部により撮像された人物画像を含む人物情報の人物画像にBTFを施すBTF処理部と、前記確定人物情報の人物画像に対する、前記BTF処理部によりBTFが施された人物画像を含む人物情報の、前記人物画像に基づいた尤度からなるBTF人物画像尤度を算出するBTF人物画像尤度算出部と、前記BTF人物画像尤度算出部により算出されたBTF人物画像尤度のそれぞれについて、所定の閾値よりも低いか否かを判定するBTF人物画像閾値判定部とをさらに含ませるようにすることができ、前記時空間尤度閾値判定部には、前記時空間尤度算出部により新たに算出された時空間尤度のそれぞれについて所定の閾値よりも低いか否かを判定させ、前記所定の閾値よりも低くない場合、前記BTF人物画像閾値判定部には、前記BTF人物画像尤度算出部により算出されたBTF人物画像尤度のそれぞれについて、所定の閾値よりも低いか否かを判定させ、前記BTF人物画像尤度が所定の閾値よりも低いとき、前記BTF人物画像尤度が所定の閾値よりも低い人物画像を含む人物情報を、前記検索結果人物情報記憶部より削除させるようにすることができる。

　前記検索対象となる人物の人物画像を含む人物情報である検索対象人物情報、および、前記検索対象人物情報であることを確定する確定情報の入力が受け付けられた確定人物情報を、前記検索対象人物と同一人物の人物情報として保持する同一人物情報保持部と、前記時空間尤度算出部により新たに算出された時空間尤度のそれぞれについて所定の閾値よりも低いか、または、前記BTF人物画像尤度算出部により算出されたBTF人物画像尤度のそれぞれについて、前記所定の閾値よりも低い人物画像を含む人物情報を、前記検索対象人物とは他人の人物情報である他人情報を保持する他人情報保持部と、前記同一人物情報保持部に保持された人物情報における人物画像と、前記他人情報保持部に保持された人物情報における人物画像とに基づいた学習により前記検索対象人物を検索するための固有特徴を選択する固有特徴検索部と、前記検索対象人物情報の人物画像に対する、前記検索対照人物情報以外の人物情報に含まれる人物画像の、前記固有特徴に基づいた尤度である固有特徴尤度を算出する固有特徴尤度算出部と、前記固有特徴尤度算出部により算出された固有特徴尤度のそれぞれについて所定の閾値よりも低いか否かを判定し、前記所定の閾値よりも低い固有特徴尤度の人物情報を、前記検索結果人物情報記憶部より削除する固有特徴尤度閾値判定部とをさらに含ませるようにすることができ、前記時空間尤度閾値判定部には、前記時空間尤度算出部により新たに算出された時空間尤度のそれぞれについて所定の閾値よりも低いかかを判定し、前記所定の閾値よりも低くない場合、前記BTF人物画像閾値判定部は、前記BTF人物画像尤度算出部により算出されたBTF人物画像尤度のそれぞれについて、所定の閾値よりも低いか否かを判定し、前記BTF人物画像尤度が所定の閾値よりも低くないとき、前記固有特徴尤度閾値判定部は、前記固有特徴尤度算出部により算出された固有特徴尤度のそれぞれについて所定の閾値よりも低いか否かを判定し、前記所定の閾値よりも低い固有特徴尤度の人物情報を、前記検索結果人物情報記憶部より削除する。

　前記固有特徴尤度閾値判定部により前記所定の閾値よりも低い固有特徴尤度の人物情報が、前記検索結果人物情報記憶部より削除されるとき、前記他人情報保持部には、前記所定の閾値よりも低い固有特徴尤度の人物情報を他人の人物情報である他人情報として保持させるようにすることができる

　前記固有特徴検索部には、前記同一人物情報保持部に保持された人物情報における人物画像と、前記他人情報保持部に保持された人物情報における人物画像とに基づいた学習により、前記同一人物情報保持部により保持されている人物情報における人物画像と、前記検索対象人物の人物画像との尤度が高くなるような特徴量であって、かつ、前記他人情報保持部により保持されている人物情報における人物画像と、前記検索対象人物の人物画像との尤度が低くなるような特徴量を、固有特徴として選択させるようにすることができる。

　前記固有特徴尤度算出部には、検索対象となる人物の人物画像を含む人物情報である検索対象人物情報の人物画像と、前記検索対照人物情報以外の人物情報に含まれる人物画像とのそれぞれに含まれる人物画像の固有特徴に基づいて、それぞれの人物がどの程度類似しているのかを示す類似度を、前記固有特徴尤度として算出させるようにすることができる。

　前記人物画像尤度算出部には、検索対象となる人物の人物画像を含む人物情報である検索対象人物情報の人物画像と、前記検索対照人物情報以外の人物情報に含まれる人物画像とのそれぞれに含まれる人物画像に基づいて、それぞれの人物がどの程度類似しているのかを示す類似度を、前記人物画像尤度として算出させるようにすることができる。

　前記時空間尤度算出部には、前記確定人物情報以外の人物情報と、前記確定情報が入力された確定人物情報との、前記空間位置座標間の距離を、平均的な人間の移動速度で移動したときの所要時間と、撮像時刻間の時間との関係から前記時空間尤度を算出させるようにすることができる。

　本技術の第２の側面の情報処理方法は、画像を撮像し、人物を検出し、検出した前記人物の画像からなる人物画像を抽出し、前記人物画像に基づいて、前記人物の空間位置座標を検出し、前記人物画像および前記人物の空間位置座標、および前記画像を撮像した撮像時刻とを含む人物情報を出力する複数の撮像部を含む情報処理装置の情報処理方法であって、検索対象となる人物の人物画像を含む人物情報である検索対象人物情報の人物画像に対する、前記検索対照人物情報以外の人物情報に含まれる人物画像の尤度である人物画像尤度を算出する人物画像尤度算出処理と、前記人物画像尤度算出処理により算出された人物画像尤度のそれぞれについて、所定の閾値よりも高いか否かを判定し、前記所定の閾値よりも高い人物画像尤度の人物情報を、前記検索対象人物情報の人物画像の人物と同一の人物の人物画像を含む人物情報である検索結果人物情報として検索する人物画像閾値判定処理と、前記人物画像閾値判定処理により検索結果人物情報として検索された人物情報を記憶する検索結果人物情報記憶処理と、前記結果人物情報記憶処理により検索結果人物情報として記憶されている人物情報のうち、前記人物画像に基づいて、使用者により、前記検索対象人物情報であることを確定する確定情報の入力を受け付ける操作入力処理と、前記結果人物情報記憶処理により検索結果人物情報として記憶されている人物情報のうち、前記確定情報が入力された人物情報である確定人物情報以外の人物情報の、前記確定情報が入力された確定人物情報に対する、前記空間位置座標および撮像時刻に基づいた尤度からなる時空間尤度を算出する時空間尤度算出処理と、前記時空間尤度算出処理により算出された時空間尤度のそれぞれについて所定の閾値よりも低いか否かを判定し、前記所定の閾値よりも低い時空間尤度の人物情報を、前記検索結果人物情報記憶処理により記憶された人物情報を削除する時空間尤度閾値判定処理とを含む。

　本技術の第２の側面のプログラムは、画像を撮像し、人物を検出し、検出した前記人物の画像からなる人物画像を抽出し、前記人物画像に基づいて、前記人物の空間位置座標を検出し、前記人物画像および前記人物の空間位置座標、および前記画像を撮像した撮像時刻とを含む人物情報を出力する複数の撮像部を含む情報処理装置を制御するコンピュータに実行させるプログラムであって、検索対象となる人物の人物画像を含む人物情報である検索対象人物情報の人物画像に対する、前記検索対照人物情報以外の人物情報に含まれる人物画像の尤度である人物画像尤度を算出する人物画像尤度算出ステップと、前記人物画像尤度算出ステップの処理により算出された人物画像尤度のそれぞれについて、所定の閾値よりも高いか否かを判定し、前記所定の閾値よりも高い人物画像尤度の人物情報を、前記検索対象人物情報の人物画像の人物と同一の人物の人物画像を含む人物情報である検索結果人物情報として検索する人物画像閾値判定ステップと、前記人物画像閾値判定ステップの処理により検索結果人物情報として検索された人物情報を記憶する検索結果人物情報記憶ステップと、前記結果人物情報記憶ステップの処理により検索結果人物情報として記憶されている人物情報のうち、前記人物画像に基づいて、使用者により、前記検索対象人物情報であることを確定する確定情報の入力を受け付ける操作入力ステップと、前記結果人物情報記憶ステップの処理により検索結果人物情報として記憶されている人物情報のうち、前記確定情報が入力された人物情報である確定人物情報以外の人物情報の、前記確定情報が入力された確定人物情報に対する、前記空間位置座標および撮像時刻に基づいた尤度からなる時空間尤度を算出する時空間尤度算出ステップと、前記時空間尤度算出ステップの処理により算出された時空間尤度のそれぞれについて所定の閾値よりも低いか否かを判定し、前記所定の閾値よりも低い時空間尤度の人物情報を、前記検索結果人物情報記憶部より削除する時空間尤度閾値判定ステップとを含む処理をコンピュータに実行させる。

　本技術の第１の側面においては、画像が撮像され、動体が検出され、検出された前記動体の画像からなる動体画像が抽出され、前記動体画像に基づいて、前記動体の空間位置座標が検出され、前記動体画像および前記動体の空間位置座標、および前記画像を撮像した撮像時刻とを含む動体情報が出力され、検索対象となる動体の動体画像を含む動体情報である検索対象動体情報の動体画像に対する、前記検索対照動体情報以外の動体情報に含まれる動体画像の尤度である動体画像尤度が算出され、算出された動体画像尤度のそれぞれについて、所定の閾値よりも高いか否かが判定され、前記所定の閾値よりも高い動体画像尤度の動体情報が、前記検索対象動体情報の動体画像の動体と同一の動体の動体画像を含む動体情報である検索結果動体情報として検索され、検索結果動体情報として検索された動体情報が記憶され、検索結果動体情報として記憶されている動体情報のうち、前記動体画像に基づいて、使用者による、前記検索対象動体情報であることを確定する確定情報の入力が受け付けられ、検索結果動体情報として記憶されている動体情報のうち、前記確定情報が入力された動体情報である確定動体情報以外の動体情報の、前記確定情報が入力された確定動体情報に対する、前記空間位置座標および撮像時刻に基づいた尤度からなる時空間尤度が算出され、算出された時空間尤度のそれぞれについて所定の閾値よりも低いか否かが判定され、前記所定の閾値よりも低い時空間尤度の動体情報が、前記検索結果動体情報として記憶された動体情報より削除される。

　本技術の第２の側面においては、画像が撮像され、人物が検出され、検出された前記人物の画像からなる人物画像が抽出され、前記人物画像に基づいて、前記人物の空間位置座標が検出され、前記人物画像および前記人物の空間位置座標、および前記画像を撮像した撮像時刻とを含む人物情報が出力され、検索対象となる人物の人物画像を含む人物情報である検索対象人物情報の人物画像に対する、前記検索対照人物情報以外の人物情報に含まれる人物画像の尤度である人物画像尤度が算出され、算出された人物画像尤度のそれぞれについて、所定の閾値よりも高いか否かが判定され、前記所定の閾値よりも高い人物画像尤度の人物情報が、前記検索対象人物情報の人物画像の人物と同一の人物の人物画像を含む人物情報である検索結果人物情報として検索され、検索結果人物情報として検索された人物情報が記憶され、検索結果人物情報として記憶されている人物情報のうち、前記人物画像に基づいて、使用者により、前記検索対象人物情報であることを確定する確定情報の入力が受け付けられ、検索結果人物情報として記憶されている人物情報のうち、前記確定情報が入力された人物情報である確定人物情報以外の人物情報の、前記確定情報が入力された確定人物情報に対する、前記空間位置座標および撮像時刻に基づいた尤度からなる時空間尤度が算出され、算出された時空間尤度のそれぞれについて所定の閾値よりも低いか否かが判定され、前記所定の閾値よりも低い時空間尤度の人物情報が、削除される。

　本技術の情報処理装置は、独立した装置であっても良いし、情報処理を行うブロックであっても良い。

　本技術の一側面によれば、複数のカメラにより撮像した画像より、探索追尾したい人物を、高精度で探索し、追尾することが可能となる。

本技術を適用した監視システムの一実施の形態の構成例を示す図である。監視カメラの第１の構成例を説明するブロック図である。人物検索追尾サーバの第１の構成例を説明するブロック図である。図２の監視カメラによる撮像処理を説明するフローチャートである。動体情報フィルタリング処理を説明するフローチャートである。前景領域に偏りがある動体画像および前景画像を示す図である。前景領域と背景領域との相関が高い動体画像および前景画像を示す図である。前景領域が正しく求められていない動体画像、前景画像、およびエッジ画像を示す図である。単一人物と複数の人物が撮像された動体画像および前景画像を示す図である。動体情報フィルタリング処理によりフィルタリングされる動体画像の例を示す図である。動体情報マッチング処理を説明するフローチャートである。動体情報マッチング処理により表示される人物検索追尾結果を示す表示画面の例を説明する図である。図１１のマッチング修正処理を説明するフローチャートである。図１１のマッチング修正処理を説明する図である。図１１のマッチング修正処理を説明する図である。監視カメラの第２の構成例を説明するブロック図である。人物検索追尾サーバの第２の構成例を説明するブロック図である。図１６の監視カメラによる撮像処理を説明するフローチャートである。人物検出を説明する図である。人物情報フィルタリング処理を説明するフローチャートである。人物情報マッチング処理を説明するフローチャートである。図２１のマッチング修正処理を説明するフローチャートである。図２１のマッチング修正処理を説明するフローチャートである。図２１のマッチング修正処理を説明する図である。図２１のマッチング修正処理を説明する図である。固有特徴の学習による選択を説明する図である。図２１のマッチング修正処理を説明する図である。汎用のパーソナルコンピュータの構成例を説明する図である。

　以下、発明を実施するための形態（以下、実施の形態という）について説明する。なお、説明は以下の順序で行う。
１．　第１の実施の形態（動体検出を用いた一例）
２．　第２の実施の形態（人物検出を用いた一例）

＜１．第１の実施の形態＞
［監視システムの構成例］
　図１は、本技術を適用した監視システムの一実施の形態の構成例を示している。図１の監視システム１は、人物の検索や追尾が必要となる監視エリア内における複数のエリアを撮像し、撮像された画像に基づいて、監視エリア内の人物の検索と、その人物の移動経路を追尾するものである。監視システム１は、監視カメラ１１－１乃至１１－ｎ、人物検索追尾サーバ１２、およびネットワーク１３より構成されている。

　監視カメラ１１－１乃至１１－ｎは、それぞれ監視システム１により網羅する監視エリアのｎ箇所に分けて設置され、それぞれの監視エリアの画像を撮像して、撮像した画像内の動体を検出して、検出した動体の画像を抽出する。そして、監視カメラ１１－１乃至１１－ｎは、それぞれインタネット、公衆回線、または専用回線などからなるネットワーク１３を介して、抽出した動体の動体画像を含む動体情報を人物検索追尾サーバ１２に供給する。動体情報は、動体画像に加えて、撮像時刻、動体画像の前景画像、動体画像より求められる動体の世界座標、および監視カメラ１１を識別するIDを含む情報である。ここで、世界座標とは、動体の空間内における位置を特定する座標情報であり、例えば、地球上の位置を特定する座標情報である、緯度および経度からなる座標情報である。尚、以降において、監視カメラ１１－１乃至１１－ｎのそれぞれを特に区別する必要がない場合、単に監視カメラ１１と称するものとし、その他の構成についても同様に称するものとする。

　人物検索追尾サーバ１２は、監視カメラ１１より供給されてくる動体情報を取得して、動体情報に含まれる動体画像および動体画像の前景画像に基づいて、検索に不適切な画像をフィルタリングして排除し、検索に適切な動体画像を含む動体情報を保持する。また、人物検索追尾サーバ１２は、保持された動体情報の中から、使用者により指定される人物の情報に基づいて、動体情報マッチング処理を実行して、指定された人物の動体情報を抽出する。さらに、人物検索追尾サーバ１２は、動体情報マッチング処理により抽出された動体情報に基づいて、指定された人物の移動経路からなる検索追尾結果の表示画像を生成して表示する。さらに、人物検索追尾サーバ１２は、検索追尾結果である動体情報の一部に対して、使用者が指定した人物のものであることを確定する確定情報の入力を受け付け、確定情報が受け付けられた動体情報を用いて、マッチング修正処理を実行することで、検索追尾結果を修正し、更新する。人物検索追尾サーバ１２は、このように動体情報マッチング処理またはマッチング修正処理により検索追尾結果を表示しては、使用者の確定情報の入力を受け付けて、マッチング修正処理を繰り返すことにより、検索追尾結果の精度を向上させる。

［監視カメラの第１の構成例］
　次に、図２のブロック図を参照して、監視カメラ１１の第１の構成例について説明する。

　監視カメラ１１は、監視エリアの複数の位置に配置されており、監視カメラ１１－１乃至１１－ｎにより撮像された画像をそれぞれ組み合わせることで、全体として監視エリアの全領域をカバーできるように配置される。監視カメラ１１は、撮像部３１、動体検出部３２、前景画像抽出部３３、カメラID記憶部３４、撮像位置座標算出部３５、撮像時刻検出部３６、および動体情報出力部３７を備えている。

　撮像部３１は、CCD（Charge Coupled Devices）やCMOS（Complementary Metal Oxide Semiconductor）などからなり、監視カメラ１１が設置された位置から撮像可能な範囲の画像を連続的に撮像する。撮像部３１は、連続的に時系列に静止画として扱える画像からなる動画像を撮像する。したがって、撮像部３１により撮像された画像は、フレーム、またはフィールド単位で１枚の画像として処理することが可能であると共に、それらを連続的に再生することにより動画像として処理することも可能である。尚、以降においては、静止画からなる画像が連続的に撮像されるものとして説明を進めるものとする。したがって、以降において、画像とは、静止画を示すものとする。

　動体検出部３２は、撮像部３１により撮像された画像のそれぞれについて、時系列で前後する画像との関係から画像内に動体が撮像されている領域を検出し、動体が存在する領域を含む矩形状の画像を動体画像として抽出する。

　前景画像抽出部３３は、動体検出部３２により抽出された動体画像より、前景領域とそれ以外の領域の２値の画素からなる前景画像を抽出する。前景画像は、例えば、前景領域が白色で表示され、それ以外の領域が黒色で表示される画像である。尚、２値はこれ以外の色を表現する値であってもよいものであり、また、白色および黒色の関係が反転した画像であってもよい。一般に、動体画像には、動体が撮像されている領域が前景領域を構成することが多いため、前景画像は、動体画像のうち、動体が表示された領域と、それ以外の領域とに、それぞれ画素値が分けられた画像として抽出される。

　カメラID記憶部３４は、監視カメラ１１－１乃至１１－ｎをそれぞれ識別するためのカメラIDを記憶しており、動体情報出力部３７において、動体情報が生成される際、読み出される。

　撮像位置座標算出部３５は、撮像部３１において撮像された画像の情報に基づいて、動体として検出された物体の世界座標を算出する。すなわち、撮像位置座標算出部３５は、例えば、図示せぬGPS（Global Positioning System）などにより自らの設置位置を認識すると供に、地磁気に対する撮像方向に対してのずれ角を認識し、画像内の動体の大きさや位置などから、動体として検出された物体までの距離を求め、これらの情報に基づいて、世界座標を算出する。

　撮像時刻検出部３６は、図示せぬリアルタイムクロックなどの時刻情報を発生する機能を内蔵しており、撮像部３１により撮像される画像の１枚１枚について撮像されたタイミングにおける時刻を撮像時刻として検出する。

　動体情報出力部３７は、撮像部３１により撮像される画像より抽出される動体画像の１枚１枚について、対応する前景画像、カメラID、動体の世界座標、および撮像時刻の情報より、これらを含む動体情報を生成し、ネットワーク１３を介して人物検索追尾サーバ１２に出力する。

［人物検索追尾サーバの第１の構成例］
　次に、図３のブロック図を参照して、人物検索追尾サーバ１２の第１の構成例について説明する。

　人物検索追尾サーバ１２は、動体情報取得部５１、動体情報フィルタリング処理部５２、動体情報保持部５３、動体情報尤度算出処理部５４、動体情報尤度閾値判定部５５、結果記憶部５６、表示画像生成部５７、表示部５８、マッチング修正処理部５９、および操作入力部６０より構成される。

　動体情報取得部５１は、ネットワーク１３を介して、監視カメラ１１より供給されてくる動体情報を取得し、一時的に記憶すると供に、動体情報フィルタリング処理部５２に動体情報を供給する。

　動体情報フィルタリング処理部５２は、動体情報取得部５１より供給されてくる動体情報を、所定の条件によりフィルタリングして、人物を検索するのに適している動体情報のみを抽出し、動体情報保持部５３に保持させると供に、適していない動体情報を破棄する。

　より詳細には、動体情報フィルタリング処理部５２は、検知枠サイズ判定部７１、前景偏り判定部７２、前景背景相関判定部７３、エッジ長判定部７４、および複数人数判定部７５を備えている。

　検知枠サイズ判定部７１は、動体画像の枠サイズが所定のサイズよりも大きいか否かにより人物検索に適した動体情報であるか否かを判定し、人物検索に適した動体情報でないと判定した場合、その動体情報を破棄する。この所定のサイズは、経験的に人物検索に必要とされる最小のサイズとするようにしてもよい。また、検知枠サイズ判定部７１は、動体画像の枠サイズに基づいて、動体として検出されている人物の身長などを推定し、推定された身長の人物を検索するのに、最適な枠サイズであるか否かを判定するようにしてもよい。すなわち、長身の人物については、枠サイズが小さな動体画像では、解像度が低くなるので、人物検索には不適切であるとみなされる。一方、身長が低い人物であれば、動体画像の枠サイズが小さくでも、長身の人物ほど解像度が低下しないこともあるので、このような場合については、人物検索に適切であるものとみなす。

　前景偏り判定部７２は、動体画像のうち、前景画像の前景領域が占める割合を算出し、その割合が所定の閾値よりも高い場合、その動体画像を含む動体情報を、人物検索に適した動体情報でないものとみなし破棄する。すなわち、前景領域の画像のみが撮像されているような動体画像だけでは、人物の検索には適さないものであるため、このような動体画像を含む動体情報については、人物検索に適さないものであるものとして破棄される。

　前景背景相関判定部７３は、動体画像および前景画像に基づいて、動体画像の前景領域と、背景領域との相関を求めて、相関が高い場合、すなわち、本来検索する人物が撮像されているべき前景領域が背景領域とほぼ同じような画像である場合、その動体情報を破棄する。すなわち、このような場合、前景領域とみなされている領域には、動体、すなわち、人物が撮像されていない可能性が高いので、人物検索には適さないものとみなし、前景背景相関判定部７３は、このような動体画像を含む動体情報を破棄する。

　エッジ長判定部７４は、前景画像に基づいて、背景画像との境界であるエッジ画像を生成し、エッジの長さが所定の長さより長い場合、その動体画像を含む動体情報は、人物検索には適さないものであるとみなし、破棄する。すなわち、動体である人物が、前景として正しく抽出されている前景画像であれば、その動体画像は正確に人物が撮像された領域が抽出されたものとみなされる。しかしながら、動体画像から、正しく人物が抽出できていない場合、前景領域は、人物の形状とは無関係な斑状に抽出されることが多く、結果として、前景領域と背景領域の境界であるエッジの長さが長くなるので、エッジ長判定部７４は、このような動体画像を含む動体情報については、人物検索には適さないものとみなし、破棄する。

　複数人数判定部７５は、前景画像の水平方向の画素位置を横軸として、垂直方向に配置される画素値の積算値を縦軸として波形を生成し、その波形の外形が、極大値が複数に存在するか否かにより、人物検索に適したものであるか否かを判定し、人物検索に適さない動体情報を破棄する。すなわち、前景画像の水平方向の画素位置を横軸として、垂直方向に配置される画素値の積算値を縦軸として求めた波形は、動体画像内に撮像された人物が１人である場合には、極大値が１の上に凸の形状が１だけの波形となるものと考えられる。しかしながら、複数の人物が撮像されている場合、波形には、極大値が人数分発生することになるので、このような場合、人物検索には適さないものとみなされる。

　動体情報保持部５３は、動体情報フィルタリング処理部５２により人物検索に適した動体情報を保持し、必要に応じて動体情報尤度算出処理部５４および表示画像生成部５７に供給する。

　動体情報尤度算出処理部５４は、動体情報保持部５３に保持されている動体情報に含まれる動体画像のうち、検索対象として指定された動体情報の動体画像を含む検索対象である基準動体情報に対する、それ以外の動体情報の動体画像について、それぞれ動体画像尤度を動体情報毎に算出して、動体情報尤度閾値判定部５５に供給する。

　動体情報尤度閾値判定部５５は、動体情報尤度算出処理部５４により算出された動体画像に基づいて求められた動体画像尤度が閾値よりも高いか否かを判定し、動体画像尤度が高い動体画像を含む動体情報を結果記憶部５６に記憶させる。すなわち、動体情報尤度閾値判定部５５は、検索対象である基準動体情報に対する、その他の動体情報の、動体画像尤度に基づいた動体画像マッチング処理を実行し、動体画像尤度の高い動体画像を含む動体情報を動体画像に基づいてマッチングしたものとして抽出する。そして、動体情報尤度閾値判定部５５は、抽出した動体情報を、検索対象である基準動体情報とのマッチング結果として結果記憶部５６に記憶させる。

　表示画像生成部５７は、検索対象である人物を特定する基準動体情報とマッチングしたものとして、結果記憶部５６に記憶されている動体情報に基づいて、検索対象である人物の検索追尾結果を表示する表示画像を生成する。そして、表示画像生成部５７は、生成した表示画像を、LCD（Liquid Crystal Display）や有機EL（Electro Luminescence）などからなる表示部５８に表示する。また、表示部５８は、表示画像を表示すると供に、操作入力部６０が用いられることにより、表示画像に対しての操作入力を受け付ける。操作入力部６０は、タッチパネルやポインタとしての表示画像への操作内容に応じた操作信号を発生し、動体情報尤度算出処理部５４、およびマッチング修正処理部５９に供給する。

　マッチング修正処理部５９は、表示部５８に表示された検索追尾結果に表示される動体画像に基づいて、使用者が検索対象の人物の動体画像であることを確定するとき、操作入力部６０が操作されて入力される確定情報に基づいて、マッチング修正処理を実行する。マッチング修正処理部５９は、マッチング修正処理を実行した後にも、再び、確定情報が入力されるような場合、さらに、再びマッチング修正処理を実行し、確定情報が入力される度に、繰り返しマッチング修正処理を実行する。

　より詳細には、マッチング修正処理部５９は、操作入力認識部９１、BTF算出部９２、時空間尤度算出部９３、時空間尤度閾値判定部９４、BTF画像処理部９５、BTF画像尤度算出部９６、およびBTF画像尤度閾値判定部９７を備えている。

　操作入力認識部９１は、操作入力部６０の操作信号に基づいて、表示部５８に表示された検索追尾結果のうち、選択された動体情報について、確定情報が入力されたことを認識する。

　BTF算出部９２は、検索対象として指定された動体画像と、動体画像マッチング処理、または、マッチング修正処理により検索された動体画像とのカメラIDを比較し、一致しないとき、確定情報が入力された動体画像間、または、検索対象として指定された動体画像と確定情報が入力された動体画像間の画素信号に基づいて、監視カメラ１１の固体差、または、環境差などにより生じる画像を構成する色の変化を補正するBTF（Brightness Transfer Function）を算出する。すなわち、異なる監視カメラ１１により撮像される画像は、現実の色が同一色であっても、固体差や環境差により異なる発色となる。しかしながら、検索対象として指定された動体画像と、実際に検索された動体画像とが、マッチングしていることが使用者により確認されて確定情報が入力されることにより、両者の動体画像内において同一の部位を構成する領域は同一の色であることが確定されることになる。そこで、BTF算出部９２は、これらの関係から基準動体画像を基準として、マッチングが確認される動体画像の色を補正するBTFを算出する。

　時空間尤度算出部９３は、確定情報が入力された動体情報に含まれる世界座標と、結果記憶部５６に記憶されている他の動体情報に含まれる世界座標との差分から移動距離を求め、その移動距離を人間の平均的な移動速度により要する平均所要時間と、動体情報の撮像時刻間の時間とから、動体情報の時空間尤度を算出する。

　すなわち、時空間尤度が、動体情報間の平均所要時間に対する、撮像時刻間の時間の割合に対応するものである場合、その割合が１に近いほど時空間尤度が高いと考えられ、その割合が１から離れるに従って時空間尤度は低くなるものと考えられる。さらに、この場合、その割合が０に近づくにつれて、時空間尤度は極端に小さくなり、その割合が１を越えて大きくなるほどに、時空間尤度は徐々に小さくなる。すなわち、撮像時刻間の時間が０に近い場合、その空間的な距離が遠いほど移動することは事実上不可能な状態となり、このようなとき時空間尤度は極端に小さくなる。一方、撮像時刻間の時間が長い場合、その空間的な距離を平均的な移動速度よりもゆっくりと移動している可能性があるので、このようなとき時空間尤度は割合が１であるときよりも低いものの、実現可能なので、撮像時刻間の時間が０であるときよりも高い値となる。

　時空間尤度閾値判定部９４は、確定情報が入力された動体情報と、それ以外の結果記憶部５６に記憶されている動体情報との時空間尤度が所定の閾値よりも低いか否かを判定し、時空間尤度が所定の閾値よりも低い場合、その動体情報を結果記憶部５６から削除する。

　BTF画像処理部９５は、時空間尤度が所定の閾値よりも低くない場合、確定情報が入力されていない結果記憶部５６に記憶されている動体情報のうち、確定情報が入力された動体情報との間に動体画像間のBTFが求められているとき、動体情報に含まれる動体画像に対してBTF色変換処理を施す。

　BTF画像尤度算出部９６は、確定情報が入力された動体情報の動体画像と、確定情報が入力されていない、BTF色変換処理が施された動体画像との、それぞれの画素信号を用いた動体画像間の尤度であるBTF画像尤度を算出する。

　BTF画像尤度閾値判定部９７は、BTF画像尤度算出部９６により算出されたBTF画像尤度と所定の閾値を比較し、所定の閾値よりも低い動体画像を含む動体情報を結果記憶部５６より削除する。

［図２の監視カメラによる撮像処理］
　次に、図４のフローチャートを参照して、図２の監視カメラ１１による撮像処理について説明する。

　ステップＳ１において、監視カメラ１１の撮像部３１は、設置された位置より監視可能な監視エリアの静止画または動画からなる画像を連続的に撮像する。

　ステップＳ２において、動体検出部３２は、撮像部３１により撮像された各画像について、その前後の画像との比較により動体を検出し、検出した動体が存在する領域を含む矩形状の動体画像を生成する。例えば、撮像部３１により撮像される画像が固定撮像されるような場合、動きのない背景領域には、変化が生じない。一方、画像内における動体が存在する領域は、何らかの動きにより画像上に変化が生じるため、動体検出部３２は、この変化が生じている領域を動体の存在する領域として検出し、検出された動体が存在する領域を含む矩形画像をトリミングすることにより動体画像を生成する。

　ステップＳ３において、前景画像抽出部３３は、動体検出部３２により生成された動体画像より前景画像を抽出し、例えば、前景領域を白色とし、それ以外の領域を黒色とする２値からなる前景画像を生成する。

　ステップＳ４において、撮像位置座標算出部３５は、動体画像における動体の存在する位置や大きさから撮像方向、角度、および距離を算出し、さらに、自らが設置されている世界座標とから、被写体である動体の世界座標を算出する。すなわち、撮像位置座標算出部３５は、例えば、動体画像に基づいて、動体の地球上の緯度経度などからなる座標位置を世界座標として算出する。

　ステップＳ５において、撮像時刻検出部３６は、図示せぬリアルタイムクロックにより発生される時刻情報に基づいて、画像が撮像されたタイミングにおける時刻情報を撮像時刻として検出する。

　ステップＳ６において、動体情報出力部３７は、カメラID記憶部３４よりカメラIDを読み出し、動体画像、前景画像、世界座標、および撮像時刻をまとめて動体情報を生成する。

　ステップＳ７において、動体情報出力部３７は、インタネットに代表されるネットワーク１３を介して、生成した動体情報を人物検索追尾サーバ１２に出力する。

　以上の処理により、監視カメラ１１のそれぞれにおいて、監視エリア毎に画像が撮像されて、撮像された画像における動体が検出されて、動体画像が抽出される。そして、動体画像と供に、動体画像の前景画像、動体画像における動体の世界座標、および画像が撮像された撮像時刻の情報からなる動体情報が生成されて、人物検索追尾サーバ１２に供給される。

［動体情報フィルタリング処理］
　次に、図５のフローチャートを参照して、人物検索追尾サーバ１２による動体情報フィルタリング処理について説明する。

　ステップＳ２１において、動体情報取得部５１は、監視サーバ１１より順次ネットワーク１３を介して供給されてくる動体情報を取得し記憶する。

　ステップＳ２２において、動体情報フィルタリング処理部５２は、動体情報取得部５１に記憶されている動体情報のうち、未処理の動体情報のいずれかを処理対象である注目動体情報に設定する。

　ステップＳ２３において、検知枠サイズ判定部７１は、注目動体情報に含まれている動体画像を抽出する。

　ステップＳ２４において、検知枠サイズ判定部７１は、注目動体情報の動体画像の枠サイズが所定の範囲内のサイズであるか否かを判定する。すなわち、動体画像の枠サイズが小さいような場合、例えば、人物検索に使用する特徴量の抽出などが困難になるため、検知枠サイズ判定部７１は、人物の検索に必要とされる特徴量などが十分に抽出可能な人物検索に適切な所定の範囲内の枠サイズであるか否かを判定する。

　ステップＳ２４において、検知枠サイズ判定部７１は、注目動体情報の動体画像の枠サイズが所定の範囲内のサイズであり、人体検索に不適切な動体画像ではないとみなされた場合、処理は、ステップＳ２５に進む。尚、ステップＳ２４において、注目動体情報の動体画像の枠サイズが所定の判定内のサイズではないと判定された場合、ステップＳ３４において、動体情報フィルタリング処理部５２は、注目動体情報を破棄する。

　ステップＳ２５において、前景偏り判定部７２は、注目動体情報より前景画像を抽出する。

　ステップＳ２６において、前景偏り判定部７２は、抽出した前景画像となる領域において、動体画像全体に対して前景領域の分布が占める割合を算出し、所定の閾値より高く、動体画像内において、前景領域に偏りが存在しないか否かを判定する。すなわち、例えば、図６の画像Ｐ１で示されるような動体画像である場合、人物の後頭部および肩付近の背中が映し出されている。このような場合、前景画像は、図６の画像Ｐ２で示されるようなものとなる。画像Ｐ２の場合、直線の方形で囲まれた範囲は、前景領域の割合が高いため、人物検索に適していない画像であるといえる。そこで、このような場合、前景偏り判定部７２は、前景領域の分布が占める割合が所定の閾値よりも高く、前景領域の割合に偏りがあり、人物検索には適していないものとみなし、ステップＳ３４において、注目動体情報が破棄される。

　一方、ステップＳ２６において、前景画像の情報に基づいて、前景領域が動体画像に対する所定の閾値よりも小さく、前景領域の割合に偏りがない場合、処理は、ステップＳ２７に進む。

　ステップＳ２７において、前景背景相関判定部７３は、動体画像および前景画像に基づいて、動体画像における、前景領域を構成する白色の領域と、それ以外の領域、すなわち、背景領域との相関を算出する。前景背景相関判定部７３は、例えば、前景領域と背景領域とのそれぞれの色毎のヒストグラムを生成し、最多となる色同士の差分の逆数を相関として求める。この場合、相関値は、相関が高いほど大きくなり、逆に、相関が低いほど小さくなる。

　ステップＳ２８において、前景背景相関判定部７３は、求められた相関が所定の閾値よりも高く、すなわち、前景画像と背景画像との変化がなく、前景が動体ではないものとみなされるか否かを判定する。ステップＳ２８において、例えば、図７で示されるように、動体画像が画像Ｐ１１であり、前景画像が画像Ｐ１２であるような場合、画像Ｐ１２で示されるように白色の領域と黒色の領域との相関が高く、動体が存在しないものとみなされるため、前景背景相関判定部７３は、相関値が所定の閾値よりも高いものとみなし、ステップＳ３４において、注目動体情報が破棄される。

　尚、図７で示されるような動体画像Ｐ１１、および前景画像Ｐ１２は、例えば、人物である動体が、撮像範囲内の同一位置に長時間存在することにより、人物が撮像されている領域が背景画像の領域であるものとみなされた後、人物が撮像範囲外に移動することで、それまで人物が存在した領域が動体として検出されることにより生じる。すなわち、前景画像Ｐ１２において白色で示される領域に人物が長時間存在していたため、人物が存在していた領域を含めて背景画像であるものとみなされた。その後、人物が移動して撮像範囲外に移動することにより、それまで人物が存在していた前景画像の白色の領域が動体の存在領域であるものとみなされたため、動体画像Ｐ１１は、本来の動体であるべき人物が存在しないにも拘らず、動体が検出された結果の画像となっている。

　一方、ステップＳ２８において、相関値が所定の閾値よりも低く、前景領域に動体が存在し、それ以外の領域が背景領域であるものとみなされた場合、処理は、ステップＳ２９に進む。

　ステップＳ２９において、エッジ長判定部７４は、前景画像に基づいて、前景画像と背景画像との境界からなるエッジ画像を求め、さらに、求められたエッジ画像に含まれるエッジの長さであるエッジ長を求める。

　ステップＳ３０において、エッジ長判定部７４は、求められたエッジ長が所定の閾値よりも短いか否かを判定し、所定の閾値よりも短くなければ、処理は、ステップＳ３４に進み、注目動体情報が破棄される。すなわち、例えば、図８の画像Ｐ２１で示されるように、人物の背面画像であるような場合、人物が着ている衣服の色と、背景の色とが似通っているので、前景領域が正しく抽出できず、前景画像が画像Ｐ２２で示されるようなものとなってしまうことがある。画像Ｐ２２で示されるように、前景領域が斑に抽出されてしまうと人物検索には適していないものとなる。このような場合、前景画像である画像Ｐ２２に基づいてエッジ画像を抽出すると画像Ｐ２３で示されるような画像となる。この場合、斑に前景領域が求められることにより、エッジ長が長くなる。そこで、エッジ画像に基づいて、エッジ長が求められ、所定の閾値より長ければ、正しく前景領域が求められなかったものとみなされ、注目動体情報が破棄される。

　一方、ステップＳ３０において、エッジ長が所定の長さよりも短いとみなされた場合、処理は、ステップＳ３１に進む。

　ステップＳ３１において、複数人数判定部７５は、前景画像を抽出し、水平方向の座標位置毎に垂直方向に存在する画素値の総和を要素とするベクトルを生成する。すなわち、図９の画像Ｐ３１で示されるような動体画像に対応する前景画像が画像Ｐ３２であるような場合、画像Ｐ３２の上部に示されるような、前景画像の水平方向の座標位置を横軸として、水平方向の座標位置毎の垂直方向の画素値の総和を縦軸とした波形が求められることになる。そこで、複数人数判定部７５は、この波形に対応するベクトルＶを算出する。例えば、前景画像の座標が（ｘ，ｙ）（ｘ＝ｘ１，ｘ２，ｘ３・・・ｘｎ，ｙ＝ｙ１，ｙ２，ｙ３・・・ｘｍ）で表現され、前景画像の画素値がＰ（ｘ，ｙ）で表現されるとき、求められるベクトルＶは、以下のように表現される。

　Ｖ＝（Ｐ（ｘ１，ｙ１）＋Ｐ（ｘ１，ｙ２）＋・・・＋Ｐ（ｘ１，ｙｍ），Ｐ（ｘ２，ｙ１）＋Ｐ（ｘ２，ｙ２）＋・・・＋Ｐ（ｘ２，ｙｍ），Ｐ（ｘ３，ｙ１）＋Ｐ（ｘ３，ｙ２）＋・・・＋Ｐ（ｘ３，ｙｍ）＋・・，Ｐ（ｘｎ，ｙ１）＋Ｐ（ｘｎ，ｙ２）＋・・・＋Ｐ（ｘｎ，ｙｍ））

　ステップＳ３２において、複数人数判定部７５は、動体画像内に単一人物が撮像されている場合のベクトルＶ１と、ベクトルＶとの相関を算出し、算出された相関が所定の閾値よりも高いか否かを判定する。すなわち、図９の画像Ｐ３１で示されるように、動体画像として単一人物が撮像されている場合、前景画像Ｐ３２の水平方向の座標位置を横軸とし、水平方向の座標位置毎の垂直方向の画素値の総和を縦軸とした波形は、１個の極大値を含む上に凸の波形が１個形成される外形となる。これに対して、例えば、画像Ｐ４１で示されるように４人の人物が撮像されている場合、前景画像は、画像Ｐ４２となるため、水平方向の座標位置毎の垂直方向の画素値の総和の波形は、画像Ｐ４２の上部で示されるように、人数に応じた４個の極大値を含む上に凸の波形が４個形成される外形となる。

　上述したベクトルＶは、この波形の外形形状に対応したものとなるため、単一人物が撮像されている場合のベクトルＶ１は、画像Ｐ３２の上部で示されるような１個の極大値を含む上に凸の波形に対応したものとなるので、その相関が高くなる。一方、複数の人数が撮像されている前景画像の場合は、画像Ｐ４２の上部で示されるような複数の極大値を含む上に凸の波形が複数個形成される外形となるため、ベクトルＶとベクトルＶ１との相関は低くなる。

　そこで、ステップＳ３２において、複数人数判定部７５は、算出された相関が所定の閾値よりも高くない場合、動体画像内に複数の人物が含まれているものとみなし、処理は、ステップＳ３４に進み、注目動体情報が破棄される。

　一方、ステップＳ３２において、算出された相関が所定の閾値よりも高い場合、動体画像内に単一の人物のみが含まれているものとみなし、処理は、ステップＳ３３に進む。

　ステップＳ３３において、動体情報フィルタリング処理部５２は、注目動体情報が人物検索に適した動体情報であるものとみなし、動体情報保持部５３に保持させる。

　ステップＳ３５において、動体情報フィルタリング処理部５２は、未処理の動体情報が動体情報取得部５１に存在するか否かを判定し、未処理の動体情報が存在する場合、処理は、ステップＳ２２に戻る。すなわち、未処理の動体情報が存在しない状態になるまで、ステップＳ２２乃至Ｓ３５の処理が繰り返される。そして、ステップＳ３５において、未処理の動体情報がないと判定された場合、処理は、終了する。

　すなわち、以上の処理により、監視カメラ１１より順次供給されてくる動体情報のうち、枠サイズが所定の範囲内であり、前景画像に偏りがなく、前景画像と背景画像との相関が所定の閾値よりも小さく、前景画像のエッジ画像におけるエッジ長が所定の長さより短く、単一人物が撮像されているとみなされたものだけが、人物検索に適した動体画像であるものとみなされ、このような動体画像を含む動体情報についてだけが、動体情報フィルタリング処理により人物検索に適したものとして動体情報保持部５３に保持されることになる。

　例えば、監視カメラ１１より供給されてくる動体情報に含まれる動体画像が、図１０で示される状態Ｌ１で示されるように動体画像Ｐ１０１乃至Ｐ１１８である場合、動体情報フィルタリング処理により、動体情報は以下のようにフィルタリングされることになる。

　ステップＳ２３，Ｓ２４の処理により、状態Ｌ２で示されるように、枠サイズが所定の範囲内ではない、枠サイズが小さな、図中の斜線が引かれている動体画像Ｐ１０６，Ｐ１０７，Ｐ１１２を含む動体情報が破棄され、状態Ｌ３で示される動体画像を含む動体情報が残される。

　次に、ステップＳ２５，Ｓ２６の処理により、状態Ｌ３で示されるように、前景画像に偏りのある、前景領域の割合が高い動体画像Ｐ１０４，Ｐ１０５，Ｐ１１０，Ｐ１１５を含む動体情報が破棄され、状態Ｌ４で示される動体画像を含む動体情報が残される。

　さらに、ステップＳ２７，Ｓ２８の処理により、状態Ｌ４で示されるように、前景画像と背景画像との相関が高く、動体である人物がほとんど含まれていない動体画像Ｐ１０１，Ｐ１１７，Ｐ１１８を含む動体情報が破棄され、状態Ｌ５で示される動体画像を含む動体情報が残される。尚、動体画像Ｐ１１８は、図７の画像Ｐ１１に対応する画像であり、前景画像はＰ１２となる。

　また、ステップＳ２９，Ｓ３０の処理により、状態Ｌ５で示されるように、前景画像の前景領域が正しく抽出されていない動体画像Ｐ１０８を含む動体情報が破棄され、状態Ｌ６で示される動体画像を含む動体情報が残される。尚、動体画像Ｐ１０８は、図８の画像Ｐ２１に対応する画像である。

　さらに、ステップＳ３１，Ｓ３２の処理により、状態Ｌ６で示されるように、複数の人物が撮像されている動体画像Ｐ１０３，Ｐ１１１，Ｐ１１６を含む動体情報が破棄され、状態Ｌ７で示される動体画像を含む動体情報が残される。

　このように、監視カメラ１１より供給されてくる動体画像Ｐ１０１乃至Ｐ１１８のうち、人物検索に最適な動体画像Ｐ１０２，Ｐ１０９，Ｐ１１３，Ｐ１１４を含む動体情報のみが動体情報保持部５３に保持されることになる。

　結果として、動体情報フィルタリング処理により、人物検索に適している動体画像を含む動体情報だけをフィルタリングして動体情報保持部５３に保持させるようにすることができるので、人物検索の精度を向上させることが可能となる。また、人物検索に適していない動体情報を破棄することで、人物検索に必要な図１１を参照して後述する動体情報マッチング処理を高速化することが可能となる。

［動体情報マッチング処理］
　次に、図１１のフローチャートを参照して、人物検索追尾サーバ１２による動体情報マッチング処理について説明する。

　ステップＳ５１において、表示画像生成部５７は、動体情報保持部５３に保持されている動体情報のうち、動体画像の一覧を表示部５８に表示し、検索対象の人物を指定する動体画像の選択を促す表示画像を表示する。

　ステップＳ５２において、動体情報尤度算出処理部５４は、操作入力部６０が操作されて、検索対象となる人物を指定する動体画像が選択されたか否かを判定する。検索対象となる人物を指定する動体画像が選択されない場合、処理は、ステップＳ５１に戻る。すなわち、検索対象となる人物を指定する動体画像が指定されるまで、ステップＳ５１，Ｓ５２の処理が繰り返される。そして、ステップＳ５２において、検索対象となる人物を指定する動体画像が指定された場合、処理は、ステップＳ５３に進む。

　ステップＳ５３において、動体情報尤度算出処理部５４は、動体情報保持部５３に保持されている動体情報のうち、検索対象として指定された動体画像に対応する動体情報を基準動体情報に設定し、その他の動体情報を未処理の動体情報に設定する。

　ステップＳ５４において、動体情報尤度算出処理部５４は、動体情報保持部５３に保持されている未処理の動体情報のいずれかを読み出し、注目動体情報に設定する。

　ステップＳ５５において、動体情報尤度算出処理部５４は、基準動体情報に含まれている動体画像と、注目動体情報に含まれている動体画像との尤度である動体画像尤度を算出し、注目動体情報と供に動体画像尤度閾値判定部５５に供給する。すなわち、動体情報尤度算出処理部５４は、例えば、基準動体情報および注目動体情報のそれぞれの動体画像に撮像されている人物が類似している程、高い値となる類似度などに基づいた動体画像尤度を算出する。

　ステップＳ５６において、動体画像尤度閾値判定部５５は、供給されてきた動体画像尤度が所定の閾値よりも高いか否かを判定する。すなわち、動体画像尤度閾値判定部５５は、動体画像尤度が所定の閾値よりも高いか否かに基づいて、基準動体情報と注目動体情報との動体画像の人物が一致するものであるか否かを判定する。ステップＳ５６において、動体画像尤度が所定の閾値よりも高く、基準動体情報と注目動体情報との動体画像の人物がマッチングする（一致する）ものであるとみなされる場合、処理は、ステップＳ５７に進む。

　ステップＳ５７において、動体画像尤度閾値判定部５５は、注目動体情報を結果記憶部５６に記憶させる。このとき、動体情報尤度算出処理部５４は、動体情報保持部５３において保持されている注目動体情報を処理済みの動体情報に設定する。

　一方、ステップＳ５６において、動体画像尤度が所定の閾値よりも高くなく、基準動体情報と注目動体情報との動体画像の人物がマッチングしない（一致しない）ものであるとみなされる場合、処理は、ステップＳ５９に進む。

　ステップＳ５９において、動体画像尤度閾値判定部５５は、注目動体情報を破棄する。そして、動体情報尤度算出処理部５４は、動体情報保持部５３において保持されている注目動体情報を処理済みの動体情報に設定する。

　ステップＳ５８において、動体情報尤度算出処理部５４は、動体情報保持部５３に未処理の動体情報が保持されているか否かを判定し、例えば、未処理の動体情報が保持されている場合、処理は、ステップＳ５４に戻る。すなわち、動体情報保持部５３に未処理の動体情報が、存在しない状態になるまで、ステップＳ５４乃至Ｓ５９の処理が繰り返されて、全ての動体情報に対して、基準動体情報との動体画像におけるマッチング処理が繰り返される。

　そして、ステップＳ５８において、動体情報保持部５３に未処理の動体情報が保持されていないとみなされた場合、処理は、ステップＳ６０に進む。

　ステップＳ６０において、表示画像生成部５７は、結果記憶部５６に記憶されている動体情報に基づいて、検索追尾結果を示す表示画像を生成する。

　ステップＳ６１において、表示画像生成部５７は、検索追尾結果を示す表示画像を表示部５８に表示する。検索追尾結果を示す表示画像は、例えば、図１２で示されるような画像Ｐ２０１である。

　図１２で示される画像Ｐ２０１には、結果記憶部５６に記憶されている動体情報に基づいて、監視領域Ｚにおける世界座標に対応する位置に、検索対象となっている人物と同一の人物の動体画像が撮像された位置を示すプロットＡ乃至Ｅが表示されている。尚、領域Ｚ１，Ｚ２は、監視エリア内のオブジェクトを示している。また、検索対象であるものとみなされている人物が検出された位置を示すプロットＡ乃至Ｅのそれぞれの上部には、動体情報のそれぞれに含まれる動体画像が撮像された撮像時刻が表示されている。今の場合、プロットＡ乃至Ｅのそれぞれの撮像時刻は、１：００：００、１：００：０５、１：００：０９、１：００：１８、および１：００：２０であることが示されている。さらに、プロットＡ乃至Ｅには、それぞれ引き出し線によりそれぞれの位置で撮像された動体画像が付されており、プロットＡ乃至Ｅは、それぞれ動体画像ＰＡ乃至ＰＥが付されている。

　このような検索追尾結果を示す画像Ｐ２０１が表示されることにより、使用者は、検索対象として指定した人物が、プロットＡで示される位置から、順に、プロットＢ、プロットＣ、プロットＤ、プロットＥで示される位置を、どの時刻に通過していることを認識することが可能となる。

　また、表示画像Ｐ２０１における各プロットＡ乃至Ｅより引き出し線で結ばれた状態で表示されている動体画像ＰＡ乃至ＰＥは、使用者が、目視により確認し、検索対象の人物であることを確認したとき、操作入力部６０により選択することで確定情報を入力することができる。この確定情報が入力されることにより、図１３のフローチャートを参照して、後述するマッチング修正処理が実行され、検索追尾結果を修正して、より高い精度の検索追尾結果を求めることができる。

　ここで、図１１のフローチャートの説明に戻る。

　ステップＳ６２において、マッチング修正処理部５９は、表示画像生成部５７より供給される表示画像Ｐ２０１の情報と、操作入力部６０より供給される操作信号に基づいて、表示画像Ｐ２０１で示される動体画像ＰＡ乃至ＰＥのいずれかが選択されて、確定情報が入力され、マッチング修正処理が指示されたか否かを判定する。

　ステップＳ６２において、表示画像Ｐ２０１で示される動体画像ＰＡ乃至ＰＥのいずれかが選択されて、確定情報が入力された場合、マッチング修正処理が指示されたものとみなして、処理は、ステップＳ６３に進む。

　ステップＳ６３において、マッチング修正処理部５９は、マッチング修正処理を実行し、修正処理がなされた、人物検索追尾結果を表示する。尚、マッチング修正処理については、図１３を参照して、詳細を後述する。

　ステップＳ６４において、マッチング修正処理部５９は、終了が指示されたか否かを判定し、終了が指示されていない場合、処理は、ステップＳ６１に戻る。すなわち、人物検索追尾結果を示す表示画面Ｐ２０１が表示部５８に表示され続ける。そして、ステップＳ６４において、終了が指示された場合、処理は、終了する。

　以上の動体情報マッチング処理により、検索対象となる人物の動体画像を指定するだけで、動体画像に基づいて、検索対象となる人物に一致する動体情報を検索し、検索結果である動体情報から、検索対象となる人物の移動経路を示す検索追尾結果を表示することが可能となる。尚、以上においては、検索対象となる人物を指定するにあたり、動体情報保持部５３に保持されている動体情報の動体画像から指定する例について説明してきたが、監視カメラ１１により撮像された画像以外の画像を別途入力できるようにして、動体画像と同様に扱うことにより検索対象となる人物を指定するようにしても良い。

［図１１のマッチング修正処理］
　次に、図１３のフローチャートを参照して、人物検索追尾サーバ１２による図１１のマッチング修正処理につい説明する。

　ステップＳ８１において、マッチング修正処理部５９は、操作入力部６０により確定情報が入力された動体画像を含むことを示す情報を動体情報に対応付けて記憶する。尚、確定情報が入力された動体情報は、動体画像マッチング処理により適切に抽出された動体情報であることが確定しているので、以降の処理においては、検索対象から除外され、結果記憶部５３に記憶され続けることになる。

　ステップＳ８２において、マッチング修正処理部５９は、結果記憶部５６に記憶されている動体情報のうち、確定情報が入力されていない、全ての動体情報を未処理の動体情報に設定する。

　ステップＳ８３において、マッチング修正処理部５９は、結果記憶部５６に記憶されている動体情報のうち、直近で確定情報が入力された動体情報を基準動体情報に設定する。

　ステップＳ８４において、BTF算出部９２は、BTFが算出可能であるか否かを判定する。ステップＳ８４において、BTFが算出可能である条件は、第１には、基準動体情報に含まれるカメラIDとは異なるカメラIDであって、確定情報が入力された他の動体画像を含む動体情報があるときである。また、第２には、２以上の確定情報が入力された動体画像があり、それぞれがカメラIDが異なる監視カメラ１１により撮像されたものであるときである。したがって、BTF算出部９２は、上記の２つの条件のいずれかを満たす動体情報が結果記憶部５６に存在するか否かに基づいて、BTFが算出可能であるか否かを判定する。ステップＳ８４において、BTFが算出可能である場合、ステップＳ８５において、BTF算出部９２は、カメラIDは異なるが、確定情報が入力されている動体画像または基準動体情報に含まれる動体画像間の画素値の情報を利用して、BTF算出処理を実行し、BTFを算出する。BTFは、２の異なるカメラIDで特定される監視カメラ１１により撮像された同一の被写体を含む動体画像間の色の相互の対応関係を示す関数である。したがって、このBTFが算出されることにより、確定情報の有無に拘わらず、カメラIDが異なる２の監視カメラ１１により撮像された動体画像のいずれかを、BTFを用いて色変換することにより、色補正することが可能となる。この色補正処理により、異なる監視カメラ１１間の監視エリアの撮像環境光の違いや、撮像部３１の撮像素子の固体差などにより生じる色変化を補正することが可能となる。結果として、２の異なる監視カメラ１１により撮像された動体画像が、同一の監視カメラ１１により撮像されたように色が補正されることになるので、動体画像間の動体画像尤度をより正確に算出することが可能となる。

　尚、BTF算出処理の詳細については、O.Javed,K.Shafique and M.Shah,“Appearance modeling for tracking in multiple non-overlapping cameras”.In IEEE Int.Conf.on Computer Vision and Pattern Recognition pp.26-33,2005.を参照されたい。

　一方、ステップＳ８４において、例えば、確定情報が入力された動体画像が１種類の監視カメラ１１で撮像されたものだけであるような場合、BTFは算出できないものとみなされ、ステップＳ８５の処理はスキップされる。

　ステップＳ８６において、時空間尤度算出部９３は、結果記憶部５６に記憶されている動体情報であって、基準動体情報を除く動体情報のうち、未処理の動体情報のいずれかを注目動体情報に設定する。

　ステップＳ８７において、時空間尤度算出部９３は、基準動体情報と注目動体情報に含まれる世界座標および撮像時刻の情報に基づいて、時空間尤度を算出する。より詳細には、時空間尤度算出部９３は、例えば、基準動体情報に含まれる世界座標と、注目動体情報に含まれる世界座標との差分から移動距離を求め、その移動距離を人間の平均的な移動速度により要する平均所要時間に対する、動体情報の撮像時刻間の時間の割合に基づいて、動体情報の時空間尤度を算出する。

　ステップＳ８８において、時空間尤度閾値判定部９４は、算出された時空間尤度が所定の閾値よりも高いか否かを判定する。例えば、人物検索追尾結果を示す表示画像が図１４の上部に示される表示画像であるような場合、手Ｈ１で示されるように、プロットＡに対応する動体画像ＰＡが操作入力部６０により選択されて、確定情報が入力されるとき、プロットＡに対応する動体情報が基準動体情報となる。尚、図１４の表示画像の場合、プロットＡ乃至Ｅに対応する動体情報においては、撮像時刻がそれぞれ１：００：００、１：００：０５、１：００：１０、１：００：１５、および１：００：０５である。また、プロットＡ，Ｂは、同一の点線からなる三角形で示される撮像エリアＣａｍＡを撮像する同一の監視カメラ１１により撮像された動体画像ＰＡ，ＰＢに対応する動体情報である。同様に、プロットＣ，Ｄは、点線からなる三角形で示される撮像エリアＣａｍＢを撮像する同一の監視カメラ１１により撮像された動体画像ＰＣ，ＰＤに対応する動体情報である。さらに、プロットＥは、点線からなる三角形で示される撮像エリアＣａｍＣを撮像する監視カメラ１１により撮像された動体画像ＰＥに対応する動体情報である。

　この場合、プロットＢに対応する動体情報が注目動体情報であるとき、プロットＡＢ間の距離が距離ＡＢであるものとすると、その移動距離を人間の平均的な移動速度により要する平均所要時間に対する、動体情報の撮像時刻間の時間の割合は、５／（ＡＢ／ｗ）となる。ここで、ｗは、人間の平均的な移動速度である。例えば、距離ＡＢが５ｍであり、人間の平均的な移動速度が１ｍ／ｓであるものとすれば、その割合は１となり、時空間尤度は最も高い値となる。同様に、プロットＣ，Ｄに対応する動体情報が注目動体情報であるとき、プロットＡＣ，ＡＤ間の距離が距離ＡＣ，ＡＤであるものとすると、その移動距離を人間の平均的な移動速度により要する平均所要時間に対する、動体情報の撮像時刻間の時間の割合は、それぞれ１０／（ＡＣ／ｗ），１５／（ＡＤ／ｗ）となる。例えば、距離ＡＣ，ＡＤがそれぞれ１０ｍ，１５ｍであり、人間の平均的な移動速度が１ｍ／ｓであるものとすれば、その割合はいずれも１となり、時空間尤度は最も高い値となる。

　ステップＳ８８において、このように時空間尤度が最も高い値である場合、時空間尤度閾値判定部９４は、所定の閾値よりも高いとみなし、処理は、ステップＳ８９に進む。

　一方、プロットＥに対応する動体情報が注目動体情報であるとき、プロットＡＥ間の距離が距離ＡＥであるものとすると、その移動距離を人間の平均的な移動速度により要する平均所要時間に対する、動体情報の撮像時刻間の時間の割合は、５／（ＡＥ／ｗ）となる。すなわち、例えば、距離ＡＥが２５ｍであり、人間の平均的な移動速度が１ｍ／ｓであるものとすれば、２５ｍを５秒程度で移動したことになるため、その割合は０．２となり、時空間尤度は低い値となる。ステップＳ８８において、このように時空間尤度が低い場合、時空間尤度閾値判定部９４は、所定の閾値よりも低いとみなし、処理は、ステップＳ９６に進む。

　ステップＳ９６において、マッチング修正処理部５９は、注目動体情報を結果記憶部５６から削除する。すなわち、図１４の画像Ｐ２１１で示されるような検索追尾結果を示す画像が表示されている場合、プロットＡに対応する動体画像ＰＡに確定情報が入力されると、時空間の情報に基づいて、図１４の表示画像の下部の表で示されるように、同一人物が存在し得ないプロットＥの動体情報が削除される。このような処理により、動体画像のみを用いた動体情報マッチング処理で生じる誤検出となる検索追尾結果を排除することが可能となり、より高い精度で検索対象となる人物の検索追尾を実現することが可能となる。

　ステップＳ８９において、BTF画像処理部９５は、BTFが求められているか否かを判定し、例えば、BTFが求められていない場合、処理は、ステップＳ９３に進む。

　ステップＳ９３において、マッチング修正処理部５９は、結果記憶部５６に記憶されている動体情報のうち、注目動体情報であった動体情報を処理済みとして設定する。

　ステップＳ９４において、表示画像生成部５７は、結果記憶部５６の更新結果を反映して、検索追尾結果を示す画像を更新して生成し、表示部５８に表示する。すなわち、例えば、図１５の上部の表示画面で示されるように、プロットＥに対応する表示を消去して表示する。尚、図１５においては、表示が消去されていることを示すため、バツ印により表記されているが、実際には、表示そのものが消去される。

　ステップＳ９５において、時空間尤度算出部９３は、結果記憶部５６に記憶されている動体情報であって、基準動体情報を除く動体情報のうち、未処理の動体情報が存在するか否かを判定し、未処理の動体情報が存在する場合、処理は、ステップＳ８６に戻る。すなわち、未処理の動体情報が存在する限り、ステップＳ８６乃至Ｓ９６の処理が繰り返される。そして、ステップＳ９５において、未処理の動体情報が存在しないとみなされた場合、処理は、ステップＳ９７に進む。

　ステップＳ９７において、操作入力認識部９１は、操作入力部６０が操作されて、いずれかの動体情報に対応する動体画像が選択されて、確定情報の入力がなされることにより、更なるマッチング修正処理が指示されたか否かを判定する。ステップＳ９７において、例えば、図１５の手Ｈ２で示されるように、操作入力部６０が操作されて、プロットＣに対応する動体画像ＰＣが選択されて、確定情報が入力されると、処理は、ステップＳ８１に戻り、更なるマッチング修正処理が実行される。

　このとき、ステップＳ８４においては、確定情報が入力された動体画像が動体画像ＰＡ，ＰＣの２枚となり、さらに、それぞれの動体画像を撮像した監視カメラ１１を識別するカメラIDがそれぞれ異なるため、BTFは算出可能であるものとみなされる。

　したがって、この場合、ステップＳ８５においては、BTF算出部９２は、プロットＣに対応する動体情報の動体画像ＰＣと、プロットＡに対応する動体情報の動体画像ＰＡとを用いて、BTFを算出する。この場合、基準動体情報がプロットＣに対応する動体画像ＰＣの動体情報であるので、求められるBTFは、撮像エリアＣａｍＢを撮像する監視カメラ１１により撮像される動体画像ＰＣの色を基準とした、撮像エリアＣａｍＡを撮像する監視カメラ１１により撮像される動体画像ＰＡの色変化を補正するためのものとされる。

　この結果、注目動体情報が、撮像エリアＣａｍＡで撮像された動体画像ＰＢに対応する動体情報である場合、ステップＳ８９においては、BTFが求められているものとみなされるので、処理は、ステップＳ９０に進む。

　ステップＳ９０において、BTF画像処理部９５は、算出されたBTFを用いて、注目動体情報の動体画像を色変換することにより色補正を行う。すなわち、今の場合、BTF画像処理部９５は、図１５における動体画像ＰＢにBTFを施すことにより、基準動体情報の動体画像ＰＣの撮像エリアＣａｍＢを撮像した監視カメラ１１の色に対応するように色補正する。

　ステップＳ９１において、BTF画像尤度算出部９６は、基準動体情報の動体画像と、注目動体情報の動体画像であって、BTFによる色変換がなされた動体画像との尤度である、BTF画像尤度を算出する。尚、BTF画像尤度は、動体情報尤度算出処理部５４における尤度と基本的に同様のものである。

　ステップＳ９２において、BTF画像尤度閾値判定部９７は、算出されたBTF画像尤度が所定の閾値よりも高いか否かに基づいて、基準動体情報の動体画像と、BTFによる色変換が施された注目動体情報の動体情報とがマッチングするか否かを判定する。ステップＳ９２において、BTF画像尤度が所定の閾値よりも高い場合、処理は、ステップＳ９３に進む。すなわち、この場合、注目動体情報の動体情報は、結果記憶部５６に残されることになる。

　一方、ステップＳ９２において、BTF画像尤度が所定の閾値よりも低い場合、処理は、ステップＳ９６に進む。すなわち、この場合、ステップＳ９６の処理により、注目動体情報の動体情報は、結果記憶部５６から削除されることになる。

　すなわち、図１５の下部の表で示されるように、プロットＡに対応する動体画像ＰＡに確定情報が入力された後、プロットＣに対応する動体画像ＰＣに確定情報が入力されると、撮像エリアＣａｍＢを撮像した監視カメラ１１により撮像された画像の色を基準として、撮像エリアＣａｍＡを撮像した監視カメラ１１により撮像された画像の色を補正するためのBTFが求められる。そして、時空間尤度が所定の閾値よりも高く、かつ、BTF画像尤度が所定の閾値よりも高い動体画像を含むプロットＢに対応する動体情報は結果記憶部５６に残される。一方、時空間尤度が所定の閾値よりも高いが、BTF画像尤度が所定の閾値よりも低い動体画像を含むプロットＤに対応する動体情報は結果記憶部５６から削除される。尚、図１５の下部における表においてプロットＡについて斜線が引かれているのは、既に、確定情報が入力されている動体情報であるので、処理対象外であるからである。

　すなわち、以上のマッチング修正処理により、使用者が確定情報を入力することで、確定情報に基づいて、再度、マッチング補正処理が繰り返し実行されるので、確定情報を入力するほどに、検索追尾結果の精度を向上させることが可能となる。また、異なる監視カメラ１１により撮像された動体画像に対して確定情報が入力されることにより、BTFを求めることが可能となるので、時空間尤度を考慮した上で、さらに、監視カメラ１１間での色変化に対応したBTF画像尤度に基づいて、マッチング修正処理がなされるので、さらに高い精度で人物検索追尾をすることが可能となる。

　また、BTFは、基準動体情報の動体画像と、注目動体情報の動体画像との、２台のみの監視カメラ１１に対応するBTFを算出するのみでよいため、BTFを算出するための処理負荷を低減させ、BTF算出に係る処理速度を向上させることが可能となる。

　尚、以上においては、検索対象の人物を指定して、検索対象となる人物の動体情報を検索し、検索結果から人物検索追尾結果を示す表示画像を表示した後、確定情報を入力することでマッチング修正処理を繰り返す例について説明してきたが、検索対象の人物を様々に変化させることにより、本技術は様々な用途に利用することが可能となる。

　例えば、検索対象となる人物を、怪しい人物や不審人物に設定することで、人物検索追尾結果から、怪しい人物や不審人物の移動履歴を確認し、実際に不審な点が無かったかどうかを確認することが可能となる。より具体的には、例えば、社内において、社外の不審な人物を発見したような場合、その不審人物を検索対象人物に設定することで、移動履歴を確認することが可能となり、例えば、社員証を持っていなければ入場不能な場所に侵入しているような場合、これを確認することが可能となり、いわゆるセキュリティシステムとして利用することが可能となる。

　また、例えば、検索対象となる人物を、店舗におけるフロアの複数の利用者に設定することにより、人物検索追尾結果から、各フロアの利用者がどういった移動経路でフロア内を移動しているかを確認することが可能となり、その情報を店舗に反映させることが可能となる。より詳細には、例えば、使用者が顧客のフロア内の移動履歴を確認することが可能となり、その移動履歴に基づいて商品のレイアウトを最適に変更することが可能となり、いわゆる、マーケティング調査システムとして利用することが可能となる。

＜２．第２の実施の形態＞
　以上においては、動体検出により検出された動体情報を利用して人物の移動履歴を求める例について説明してきたが、動体検出に代えて、人物検出により検出された人物情報を利用することにより、より高い精度で移動履歴を求めるようにしてもよい。以下、第２の実施の形態として、人物検出による例について説明するが、図１で示される監視システムの構成については、同一であるので、その説明は省略するものとする。また、以降において、図１乃至図１５を参照して説明した構成と同一の機能を備えた構成については、同一の名称、および同一の符号を付すものとし、その説明は適宜省略するものとする。

［監視カメラの第２の構成例］
　次に、図１６のブロック図を参照して、監視カメラ１１の第２の構成例について説明する。

　図１６の監視カメラ１１の基本的な構成については、図２の監視カメラ１１と同様のものであるが、動体検出部３２、および動体情報出力部３７に代えて、人物検出部１２１、および人物情報出力部１２２を設けた点で異なる。

　人物検出部１２１は、撮像部３１により撮像された画像のそれぞれより特徴量を抽出し、抽出した特徴量に基づいて人物の撮像されている領域を検出し、例えば、検出した人物が撮像されている領域を１とし、それ以外の領域を０とするような人物の撮像領域を示す画像情報を人物画像として抽出する。より詳細には、人物検出部１２１は、画像特徴量としてHOG（Histograms of Oriented Gradients）を利用するような場合、撮像された画像に対してエッジ抽出処理を施すことで、撮像された画像より、被写体のシルエットを認識するためのエッジ画像を抽出する。そして、人物検出部１２１は、エッジ抽出した画像に対して、局所領域毎に勾配方向で区間分割し、ヒストグラムをとってこれを特徴量とする。人物検出部１２１は、このようにして抽出した特徴量に基づいて、そのシルエットが人物であるか否かを判定し、人物であると判定した場合、人物であるとみなされる領域を１とし、それ以外の領域を０とするような画像を生成して人物画像として検出する。

　人物情報出力部１２２は、撮像部３１により撮像される画像より抽出される人物画像の１枚１枚について、撮像された画像、画像を撮像した撮像部３１のカメラID、人物の世界座標、および撮像時刻の情報より、これらを含む人物情報を生成し、ネットワーク１３を介して人物検索追尾サーバ１２に出力する。

［人物検索追尾サーバの第２の構成例］
　次に、図１７のブロック図を参照して、人物検索追尾サーバ１２の第２の構成例について説明する。

　人物検索追尾サーバ１２は、人物情報取得部１５１、人物情報フィルタリング処理部１５２、人物情報保持部１５３、人物情報尤度算出処理部１５４、人物情報尤度閾値判定部１５５、結果記憶部１５６、表示画像生成部１５７、表示部１５８、マッチング修正処理部１５９、および操作入力部１６０より構成される。尚、表示画像生成部１５７、表示部１５８、および操作入力部１６０は、それぞれ表示画像生成部５７、表示部５８、および操作入力部６０と同一の構成であるので、その説明は省略する。

　人物情報取得部１５１は、ネットワーク１３を介して、監視カメラ１１より供給されてくる人物情報を取得し、一時的に記憶すると供に、人物情報フィルタリング処理部１５２に供給する。

　人物情報フィルタリング処理部１５２は、人物情報取得部１５１より供給されてくる人物情報を、所定の条件によりフィルタリングして、人物を検索するのに適している人物情報のみを抽出し、人物情報保持部１５３に保持させると供に、適していない人物情報を破棄する。より具体的には、人物情報フィルタリング処理部１５２は、人物情報に含まれる人物画像が人物の全身を撮像した画像であるか否かによりフィルタリングし、人物の全身が撮像された画像のみを人物情報保持部１５３に保持させると供に、適していない、人物の全身が撮像されていない人物情報を破棄する。

　人物情報保持部１５３は、人物情報フィルタリング処理部１５２により人物検索に適した、人物の全身が撮像されている人物画像を含む人物情報のみを保持し、必要に応じて人物情報尤度算出処理部１５４および表示画像生成部１５７に供給する。

　人物情報尤度算出処理部１５４は、人物情報保持部１５３に保持されている人物情報に含まれる人物画像のうち、検索対象として指定された人物情報の人物画像を含む検索対象である基準人物情報に対する、それ以外の人物情報の人物画像について、それぞれ人物画像尤度を人物情報毎に算出して、人物情報尤度閾値判定部１５５に供給する。

　人物情報尤度閾値判定部１５５は、人物情報尤度算出処理部１５４により算出された人物画像に基づいて求められた人物画像尤度が閾値よりも高いか否かを判定し、人物画像尤度が高い人物画像を含む人物情報を結果記憶部１５６に記憶させる。すなわち、人物情報尤度閾値判定部１５５は、検索対象である基準人物情報に対する、その他の人物情報の、人物画像尤度に基づいた人物画像マッチング処理を実行し、人物画像尤度の高い人物画像を含む人物情報を人物画像に基づいてマッチングしたものとして抽出する。そして、人物情報尤度閾値判定部１５５は、抽出した人物情報を、検索対象である基準人物情報とのマッチング結果として結果記憶部１５６に記憶させる。

　マッチング修正処理部１５９は、表示部１５８に表示された検索追尾結果に表示される人物画像に基づいて、使用者が検索対象の人物画像であることを確定するとき、操作入力部１６０が操作されて入力される確定情報に基づいて、マッチング修正処理を実行する。マッチング修正処理部１５９は、マッチング修正処理を実行した後にも、再び、確定情報が入力されるような場合、さらに、再びマッチング修正処理を実行し、確定情報が入力される度に、繰り返しマッチング修正処理を実行する。

　より詳細には、マッチング修正処理部１５９は、操作入力認識部１８１、他人情報保持部１８２、同一人物情報保持部１８３、固有特徴選択部１８４、固有特徴尤度算出部１８５、固有特徴尤度閾値判定部１８６、およびBTF時空間処理部１８７を備えている。

　操作入力認識部１８１は、操作入力部１６０の操作信号に基づいて、表示部１５８に表示された検索追尾結果のうち、選択された人物情報について、確定情報が入力されたことを認識する。

　他人情報保持部１８２は、確定情報が入力されていない人物画像であって、BTF時空間処理部１８７により検索対象として指定された人物画像ではないとして、破棄された人物情報の人物画像を、検索対象とされた人物とは異なる他人の人物画像であるものとして保持する。

　同一人物情報保持部１８３は、確定情報が入力された人物画像を含む人物情報、および検索対象として指定された人物の人物画像を含む人物情報とを、検索対象の人物と同一人物の人物情報であるものとして保持する。

　固有特徴選択部１８４は、他人情報保持部１８２に登録されている、検索対象の人物の人物画像ではない、すなわち、他人の人物画像であるとみなされた人物画像の情報に基づいて学習し、学習結果となる検索対象の人物ではない人物画像の特徴量を抽出する。また、固有特徴選択部１８４は、同一人物情報保持部１８３に登録されている、検索対象の人物と同一の人物の人物画像であるとみなされた人物画像の情報に基づいて学習し、学習結果となる検索対象の人物の人物画像の特徴量を抽出する。そして、固有特徴選択部１８４は、学習により、他人の人物画像である可能性の低い特徴量であって、かつ、同一人物の人物画像であるとみなされる可能性の高い特徴量を、固有特徴として抽出し、固有特徴尤度算出部１８５に供給する。

　固有特徴尤度算出部１８５は、抽出された固有特徴に基づいて、人物情報保持部１５３に保持されている人物情報に含まれる人物画像のうち、検索対象として指定された人物情報の人物画像を含む検索対象である基準人物情報に対する、それ以外の人物情報の人物画像について、それぞれ固有特徴尤度を人物情報毎に算出して、固有特徴尤度閾値判定部１８６に供給する。

　固有特徴尤度閾値判定部１８６は、固有特徴尤度算出処理部１８５により算出された人物画像に基づいて求められた固有特徴尤度が閾値よりも高いか否かを判定し、固有特徴尤度が高い人物画像を含む人物情報を結果記憶部１５６に記憶させる。すなわち、固有特徴尤度閾値判定部１８６は、検索対象である基準人物情報に対する、その他の人物情報の、固有特徴尤度に基づいた人物画像マッチング処理を実行し、固有特徴尤度の高い人物画像を含む人物情報を人物画像に基づいてマッチングしたものとして抽出する。そして、固有特徴尤度閾値判定部１８６は、抽出した人物情報を、検索対象である基準人物情報とのマッチング結果として結果記憶部１５６に記憶させる。

　BTF時空間処理部１８７は、第１の実施の形態において説明した処理と同様に、時空間、およびBTF画像を利用した判定処理を実行する。より詳細には、BTF時空間処理部１８７は、BTF算出部１９１、時空間尤度算出部１９２、時空間尤度閾値判定部１９３、BTF画像処理部１９４、BTF画像尤度算出部１９５、およびBTF画像尤度閾値判定部１９６を備えている。尚、BTF算出部１９１、時空間尤度算出部１９２、時空間尤度閾値判定部１９３、BTF画像処理部１９４、BTF画像尤度算出部１９５、およびBTF画像尤度閾値判定部１９６は、それぞれ、BTF算出部９２、時空間尤度算出部９３、時空間尤度閾値判定部９４、BTF画像処理部９５、BTF画像尤度算出部９６、およびBTF画像尤度閾値判定部９７と同一であるので、その説明は省略するものとする。

［図１６の監視カメラによる撮像処理］
　次に、図４のフローチャートを参照して、図１６の監視カメラ１１による撮像処理について説明する。

　ステップＳ１０１において、監視カメラ１１の撮像部３１は、設置された位置より監視可能な監視エリアの静止画または動画からなる画像を連続的に撮像する。

　ステップＳ１０２において、人物検出部１２１は、撮像部３１により撮像された各画像より人物が撮像されているか否かを判定するために必要とされる特徴量を抽出し、抽出した特徴量に基づいて人物の撮像されている領域を検出する。そして、例えば、人物検出部１２１は、検出した人物が撮像されている領域を１とし、それ以外の領域を０とするような人物の撮像領域を示す画像情報を人物画像として抽出する。

　より詳細には、人物検出部１２１は、画像特徴量としてHOG（Histograms of Oriented Gradients）を利用するような場合、撮像された画像に対してエッジ抽出処理を施すことで、撮像された画像より、被写体のシルエットを認識するためのエッジ画像を抽出する。そして、人物検出部１２１は、エッジ抽出した画像に対して、局所領域毎に勾配方向で区間分割し、ヒストグラムをとってこれを特徴量とする。人物検出部１２１は、このようにして抽出した特徴量に基づいて、そのシルエットが人物であるか否かを判定し、人物であると判定した場合、人物であるとみなされる領域を１とし、それ以外の領域を０とするような人物画像を生成して検出結果として出力する。

　すなわち、図１９の画像Ｐ１１１で示されるような画像が撮像された場合、人物検出部１２１は、画像Ｐ１０１で示されるような人物のシルエットを検出するための、実線で示される線分からなる特徴量を保持しており、これを撮像された画像Ｐ１１１と重ねる。このとき、画像Ｐ１２１の点線からなる線分で示されるような局所領域毎の勾配方向の区間分割されたヒストグラムを特徴量として抽出する。そして、人物検出部１２１は、抽出した特徴量に基づいて人物であるか否かを判定し、人物であると判定した場合、その人物領域と、それ以外の領域とからなる画像を人物画像として抽出する。図１９の場合、画像Ｐ１１１は、点線で示される特徴量が、予め記憶されていた特徴量と一致することから人物が存在するものと見なされる。尚、撮像された画像Ｐ１１２乃至Ｐ１１４についても、それぞれ同様の処理がなされて、画像Ｐ１２２乃至Ｐ１２４で示されるような線分からなる局所領域毎の勾配方向の区間分割されたヒストグラムが特徴量として抽出される。

　尚、HOG（Histograms of Oriented Gradients）については、例えば、Histograms of Oriented Gradients for Human Detection N. Dalal, B. Trigg : Computer Vision and Pattern Recognition, San Diego, CA, June 20-25, 2005を参照されたい。また、人物検出をするための特徴量の抽出方法は、HOG以外の手法であっても良く、例えば、Haar Like featureや、HOGにより抽出された特徴量を複数に利用するようにしてもよい。ここで、Haar Like featureについては、An Extended Set of Haar-like Features for Rapid Object Detection Rainer Lienhart and Jochen Maydt: IEEE ICIP 2002,Vol. 1, pp. 900-903, Sep. 2002.を参照されたい。また、HOGにより抽出された特徴量を複数に利用する手法については、特開２００９－３０１１０４号公報を参照されたい。

　ステップＳ１０３において、撮像位置座標算出部３５は、人物画像における人物の存在する位置や大きさから撮像方向、角度、および距離を算出し、さらに、自らが設置されている世界座標とから、被写体である人物の世界座標を算出する。すなわち、撮像位置座標算出部３５は、例えば、人物画像に基づいて、人物の地球上の緯度経度などからなる座標位置を世界座標として算出する。

　ステップＳ１０４において、撮像時刻検出部３６は、図示せぬリアルタイムクロックにより発生される時刻情報に基づいて、画像が撮像されたタイミングにおける時刻情報を撮像時刻として検出する。

　ステップＳ１０５において、人物情報出力部１２２は、カメラID記憶部３４よりカメラIDを読み出し、人物画像、世界座標、および撮像時刻をまとめて人物情報を生成する。

　ステップＳ１０６において、人物情報出力部１２２は、インタネットに代表されるネットワーク１３を介して、生成した人物情報を人物検索追尾サーバ１２に出力する。

　以上の処理により、監視カメラ１１のそれぞれにおいて、監視エリア毎に画像が撮像されて、撮像された画像における人物が検出されて、人物画像が抽出される。そして、人物画像と供に、人物画像における人物の世界座標、および画像が撮像された撮像時刻の情報からなる人物情報が生成されて、人物検索追尾サーバ１２に供給される。

［人物情報フィルタリング処理］
　次に、図２０のフローチャートを参照して、人物検索追尾サーバ１２による人物情報フィルタリング処理について説明する。

　ステップＳ１２１において、人物情報取得部１５１は、監視サーバ１１より順次ネットワーク１３を介して供給されてくる人物情報を取得し記憶する。

　ステップＳ１２２において、人物情報フィルタリング処理部１５２は、人物情報取得部１５１に記憶されている人物情報のうち、未処理の人物情報のいずれかを処理対象である注目人物情報に設定する。

　ステップＳ１２３において、人物情報フィルタリング処理部１５２は、注目人物情報に含まれる人物画像のシルエットから、単一人物の全身画像であるか否かを判定する。

　そして、ステップＳ１２３において、注目人物情報に含まれる人物画像のシルエットから、単一人物の全身画像であると判定された場合、処理は、ステップＳ１２４に進む。

　ステップＳ１２４において、人物情報フィルタリング処理部１５２は、注目人物情報が人物検索に適した人物情報であるものとみなし、人物情報保持部１５３に保持させる。

　一方、ステップＳ１２３において、注目人物情報に含まれる人物画像のシルエットから、単一人物の全身画像ではないと判定された場合、処理は、ステップＳ１２５に進む。

　ステップＳ１２５において、人物情報フィルタリング処理部１５２は、注目人物情報が人物検索に適した人物情報ではないものとみなし、取得した注目人物情報に設定した人物情報を破棄する。

　ステップＳ１２６において、人物情報フィルタリング処理部１５２は、未処理の人物情報が人物情報取得部１５１に存在するか否かを判定し、未処理の人物情報が存在する場合、処理は、ステップＳ１２２に戻る。すなわち、未処理の人物情報が存在しない状態になるまで、ステップＳ１２２乃至Ｓ１２６の処理が繰り返される。そして、ステップＳ１２６において、未処理の人物情報がないと判定された場合、処理は、終了する。

　すなわち、以上の処理により、監視カメラ１１より順次供給されてくる人物情報のうち、単一人物の全身画像が撮像されているとみなされたものだけが、人物検索に適した人物画像であるものとみなされ、このような人物画像を含む人物情報だけが、人物情報フィルタリング処理により人物情報保持部１５３に保持されることになる。

　結果として、人体情報フィルタリング処理により、人物検索に適している人物画像を含む人物情報だけをフィルタリングして人物情報保持部１５３に保持させるようにすることができるので、人物検索の精度を向上させることが可能となる。また、人物検索に適していない人物情報を破棄することで、人物検索に必要な図２１を参照して後述する人物情報マッチング処理を高速化することが可能となる。

［人物情報マッチング処理］
　次に、図２１のフローチャートを参照して、人物検索追尾サーバ１２による人物情報マッチング処理について説明する。尚、人物情報マッチング処理の流れは、図１１のフローチャートを参照して説明した動体情報マッチング処理と類似した処理となる。

　すなわち、ステップＳ１５１において、表示画像生成部１５７は、人物情報保持部１５３に保持されている人物情報のうち、人物画像の一覧を表示部１５８に表示し、検索対象の人物を指定する人物画像の選択を促す表示画像を表示する。

　ステップＳ１５２において、人物情報尤度算出処理部１５４は、操作入力部１６０が操作されて、検索対象となる人物を指定する人物画像が選択されたか否かを判定する。検索対象となる人物を指定する人物画像が選択されない場合、処理は、ステップＳ１５１に戻る。すなわち、検索対象となる人物を指定する人物画像が指定されるまで、ステップＳ１５１，Ｓ１５２の処理が繰り返される。そして、ステップＳ１５２において、検索対象となる人物を指定する人物画像が指定された場合、処理は、ステップＳ１５３に進む。

　ステップＳ１５３において、人物情報尤度算出処理部１５４は、人物情報保持部１５３に保持されている人物情報のうち、検索対象として指定された人物画像に対応する人物情報を基準人物情報に設定し、その他の人物情報を未処理の人物情報に設定する。また、このとき、操作入力認識部１８１は、操作入力部１６０の操作信号に基づいて、検索対象として指定された人物画像に対応する人物情報を同一人物情報保持部１８３に保持させる。

　ステップＳ１５４において、人物情報尤度算出処理部１５４は、人物情報保持部１５３に保持されている未処理の人物情報のいずれかを読み出し、注目人物情報に設定する。

　ステップＳ１５５において、人物情報尤度算出処理部１５４は、基準人物情報に含まれている人物画像と、注目人物情報に含まれている人物画像との尤度である人物画像尤度を算出し、注目人物情報と供に人物情報尤度閾値判定部１５５に供給する。すなわち、人物情報尤度算出処理部１５４は、例えば、基準人物情報および注目人物情報のそれぞれの人物画像に撮像されている人物が類似している程、高い値となる類似度などに基づいた人物画像尤度を算出する。

　ステップＳ１５６において、人物情報尤度閾値判定部１５５は、供給されてきた人物画像尤度が所定の閾値よりも高いか否かを判定する。すなわち、人物情報尤度閾値判定部１５５は、人物画像尤度が所定の閾値よりも高いか否かに基づいて、基準人物情報と注目人物情報との人物画像の人物が一致するものであるか否かを判定する。ステップＳ１５６において、人物画像尤度が所定の閾値よりも高く、基準人物情報と注目人物情報との人物画像の人物がマッチングする（一致する）ものであるとみなされる場合、処理は、ステップＳ１５７に進む。

　ステップＳ１５７において、人物情報尤度閾値判定部１５５は、注目人物情報を結果記憶部１５６に記憶させる。このとき、人物情報尤度算出処理部１５４は、人物情報保持部１５３において保持されている注目人物情報を処理済みの人物情報に設定する。

　一方、ステップＳ１５６において、人物画像尤度が所定の閾値よりも高くなく、基準人物情報と注目人物情報との人物画像の人物がマッチングしない（一致しない）ものであるとみなされる場合、処理は、ステップＳ１５９に進む。

　ステップＳ１５９において、人物情報尤度閾値判定部１５５は、注目人物情報を破棄する。そして、人物情報尤度算出処理部１５４は、人物情報保持部１５３において保持されている注目人物情報を処理済みの人物情報に設定する。

　ステップＳ１５８において、人物情報尤度算出処理部１５４は、人物情報保持部１５３に未処理の人物情報が保持されているか否かを判定し、例えば、未処理の人物情報が保持されている場合、処理は、ステップＳ１５４に戻る。すなわち、人物情報保持部１５３に未処理の人物情報が、存在しない状態になるまで、ステップＳ１５４乃至Ｓ１５９の処理が繰り返されて、全ての人物情報に対して、基準人物情報との人物画像におけるマッチング処理が繰り返される。

　そして、ステップＳ１５８において、人物情報保持部１５３に未処理の人物情報が保持されていないとみなされた場合、処理は、ステップＳ１６０に進む。

　ステップＳ１６０において、表示画像生成部１５７は、結果記憶部１５６に記憶されている人物情報に基づいて、検索追尾結果を示す表示画像を生成する。

　ステップＳ１６１において、表示画像生成部１５７は、検索追尾結果を示す表示画像を表示部１５８に表示する。

　ステップＳ１６２において、マッチング修正処理部１５９は、表示画像生成部１５７より供給される表示画像の情報と、操作入力部１６０より供給される操作信号に基づいて、表示画像で示される人物画像のいずれかが選択されて、確定情報が入力され、マッチング修正処理が指示されたか否かを判定する。

　ステップＳ１６２において、表示画像で示される人物画像のいずれかが選択されて、確定情報が入力された場合、マッチング修正処理が指示されたものとみなして、処理は、ステップＳ１６３に進む。

　ステップＳ１６３において、マッチング修正処理部１５９は、マッチング修正処理を実行し、修正処理がなされた、人物検索追尾結果を表示する。尚、マッチング修正処理については、図２２，図２３を参照して、詳細を後述する。

　ステップＳ１６４において、マッチング修正処理部１５９は、終了が指示されたか否かを判定し、終了が指示されていない場合、処理は、ステップＳ１６１に戻る。すなわち、人物検索追尾結果を示す表示画面が表示部１５８に表示され続ける。そして、ステップＳ１６４において、終了が指示された場合、処理は、終了する。

　以上の人物情報マッチング処理により、検索対象となる人物の人物画像を指定するだけで、人物画像に基づいて、検索対象となる人物に一致する人物情報を検索し、検索結果である人物情報から、検索対象となる人物の移動経路を示す検索追尾結果を表示することが可能となる。尚、以上においては、検索対象となる人物を指定するにあたり、人物情報保持部１５３に保持されている人物情報の人物画像から指定する例について説明してきたが、監視カメラ１１により撮像された画像以外の画像を別途入力できるようにして、人物画像と同様に扱うことにより検索対象となる人物を指定するようにしても良い。

［図２１のマッチング修正処理］
　次に、図２２，図２３のフローチャートを参照して、人物検索追尾サーバ１２による図２１のマッチング修正処理につい説明する。

　ステップＳ１８１において、マッチング修正処理部１５９は、操作入力部１６０により確定情報が入力された人物画像を含むことを示す情報を人物情報に対応付けて記憶する。尚、確定情報が入力された人物情報は、人物画像マッチング処理により適切に抽出された人物情報であることが確定しているので、以降の処理においては、検索対象から除外され、結果記憶部１５３に記憶され続けることになる。同時に、操作入力認識部１８３は、確定情報が入力された人物情報を、同一人物情報保持部１８３に保持させる。

　ステップＳ１８２において、マッチング修正処理部１５９は、結果記憶部１５６に記憶されている人物情報のうち、確定情報が入力されていない、全ての人物情報を未処理の人物情報に設定する。

　ステップＳ１８３において、マッチング修正処理部１５９は、結果記憶部１５６に記憶されている人物情報のうち、直近で確定情報が入力された人物情報を基準人物情報に設定する。

　ステップＳ１８４において、BTF時空間処理部１８７のBTF算出部１９１は、BTFが算出可能であるか否かを判定する。ステップＳ１８４において、BTFが算出可能である条件は、第１には、基準人物情報に含まれるカメラIDとは異なるカメラIDであって、確定情報が入力された他の人物画像を含む人物情報があるときである。また、第２には、２以上の確定情報が入力された人物画像があり、それぞれがカメラIDが異なる監視カメラ１１により撮像されたものであるときである。したがって、BTF算出部９２は、上記の２つの条件のいずれかを満たす人物情報が結果記憶部１５６に存在するか否かに基づいて、BTFが算出可能であるか否かを判定する。ステップＳ１８４において、BTFが算出可能である場合、ステップＳ１８５において、BTF算出部１９１は、カメラIDは異なるが、確定情報が入力されている人物画像または基準人物情報に含まれる人物画像間の画素値の情報を利用して、BTF算出処理を実行し、BTFを算出する。BTFは、２の異なるカメラIDで特定される監視カメラ１１により撮像された同一の被写体を含む人物画像間の色の相互の対応関係を示す関数である。したがって、このBTFが算出されることにより、確定情報の有無に拘わらず、カメラIDが異なる２の監視カメラ１１により撮像された人物画像のいずれかを、BTFを用いて色変換することにより、色補正することが可能となる。この色補正処理により、異なる監視カメラ１１間の監視エリアの撮像環境光の違いや、撮像部３１の撮像素子の固体差などにより生じる色変化を補正することが可能となる。結果として、２の異なる監視カメラ１１により撮像された人物画像が、同一の監視カメラ１１により撮像されたように色が補正されることになるので、人物画像間の人物画像尤度をより正確に算出することが可能となる。

　一方、ステップＳ１８４において、例えば、確定情報が入力された人物画像が１種類の監視カメラ１１で撮像されたものだけであるような場合、BTFは算出できないものとみなされ、ステップＳ１８５の処理はスキップされる。

　ステップＳ１８６において、時空間尤度算出部１９２は、結果記憶部１５６に記憶されている人物情報であって、基準人物情報を除く人物情報のうち、未処理の人物情報のいずれかを注目人物情報に設定する。

　ステップＳ１８７において、時空間尤度算出部１９２は、基準人物情報と注目人物情報に含まれる世界座標および撮像時刻の情報に基づいて、時空間尤度を算出する。より詳細には、時空間尤度算出部１９２は、例えば、基準人物情報に含まれる世界座標と、注目人物情報に含まれる世界座標との差分から移動距離を求め、その移動距離を人間の平均的な移動速度により要する平均所要時間に対する、人物情報の撮像時刻間の時間の割合に基づいて、人物情報の時空間尤度を算出する。

　ステップＳ１８８（図２３）において、時空間尤度閾値判定部９４は、算出された時空間尤度が所定の閾値よりも高いか否かを判定する。例えば、人物検索追尾結果を示す表示画像が図２４の上部に示される表示画像であるような場合、手Ｈ１で示されるように、プロットＡに対応する人物画像ＰＡが操作入力部１６０により選択されて、確定情報が入力されるとき、プロットＡに対応する人物情報が基準人物情報となる。尚、図２５の表示画像の場合、プロットＡ乃至Ｇに対応する人物情報においては、撮像時刻がそれぞれ１：００：００、１：００：０５、１：００：１０、１：００：１５、１：００：１３、１：００：１４、および１：００：０５である。また、プロットＡ，Ｂは、同一の点線からなる三角形で示される撮像エリアＣａｍＡを撮像する同一の監視カメラ１１により撮像された人物画像ＰＡ，ＰＢに対応する人物情報である。同様に、プロットＣ乃至Ｆは、点線からなる三角形で示される撮像エリアＣａｍＢを撮像する同一の監視カメラ１１により撮像された人物画像ＰＣ乃至ＰＦに対応する人物情報である。さらに、プロットＧは、点線からなる三角形で示される撮像エリアＣａｍＣを撮像する監視カメラ１１により撮像された人物画像ＰＥに対応する人物情報である。

　この場合、プロットＢに対応する人物情報が注目人物情報であるとき、プロットＡＢ間の距離が距離ＡＢであるものとすると、その移動距離を人間の平均的な移動速度により要する平均所要時間に対する、人物情報の撮像時刻間の時間の割合は、５／（ＡＢ／ｗ）となる。ここで、ｗは、人間の平均的な移動速度である。例えば、距離ＡＢが５ｍであり、人間の平均的な移動速度が１ｍ／ｓであるものとすれば、その割合は１となり、時空間尤度は最も高い値となる。同様に、プロットＣ，Ｄに対応する人物情報が注目人物情報であるとき、プロットＡＣ，ＡＤ，ＡＥ，ＡＦ間の距離が距離ＡＣ，ＡＤ，ＡＥ，ＡＦであるものとすると、その移動距離を人間の平均的な移動速度により要する平均所要時間に対する、人物情報の撮像時刻間の時間の割合は、それぞれ１０／（ＡＣ／ｗ），１５／（ＡＤ／ｗ），１４／（ＡＥ／ｗ），１３／（ＡＦ／ｗ）となる。例えば、距離ＡＣ，ＡＤ，ＡＥ，ＡＦがそれぞれ１０ｍ，１５ｍ，１４ｍ，１３ｍであり、人間の平均的な移動速度が１ｍ／ｓであるものとすれば、その割合はいずれも１となり、時空間尤度は最も高い値となる。

　ステップＳ１８８において、このように時空間尤度が最も高い値である場合、時空間尤度閾値判定部１９３は、所定の閾値よりも高いとみなし、処理は、ステップＳ１８９に進む。

　一方、プロットＧに対応する人物情報が注目人物情報であるとき、プロットＡＧ間の距離が距離ＡＧであるものとすると、その移動距離を人間の平均的な移動速度により要する平均所要時間に対する、人物情報の撮像時刻間の時間の割合は、５／（ＡＥ／ｗ）となる。すなわち、例えば、距離ＡＧが２５ｍであり、人間の平均的な移動速度が１ｍ／ｓであるものとすれば、２５ｍを５秒程度で移動したことになるため、その割合は０．２となり、時空間尤度は低い値となる。ステップＳ１８８において、このように時空間尤度が低い場合、時空間尤度閾値判定部１９３は、所定の閾値よりも低いとみなし、処理は、ステップＳ１９８に進む。

　ステップＳ１９８において、マッチング修正処理部１５９は、注目人物情報を結果記憶部１５６から削除すると共に、他人情報保持部１８２に保持させる。すなわち、図２４の上部で示されるような検索追尾結果を示す画像が表示されている場合、プロットＡに対応する人物画像ＰＡに確定情報が入力されると、時空間の情報に基づいて、図２４の表示画像の下部の表で示されるように、同一人物が存在し得ないプロットＧの人物情報が削除される。このような処理により、人物画像のみを用いた人物情報マッチング処理で生じる誤検出となる検索追尾結果を排除することが可能となり、より高い精度で検索対象となる人物の検索追尾を実現することが可能となる。

　ステップＳ１８９において、BTF画像処理部１９４は、BTFが求められているか否かを判定し、例えば、BTFが求められていない場合、処理は、ステップＳ１９７に進む。

　ステップＳ１９７において、マッチング修正処理部１５９は、結果記憶部１５６に記憶されている人物情報のうち、注目人物情報であった人物情報を処理済みとして設定する。

　ステップＳ１９９において、表示画像生成部１５７は、結果記憶部１５６の更新結果を反映して、検索追尾結果を示す画像を更新して生成し、表示部１５８に表示する。すなわち、例えば、図２５の上部の表示画面で示されるように、プロットＧに対応する表示を消去して表示する。尚、図２５においては、表示が消去されていることを示すため、バツ印により表記されているが、実際には、表示そのものが消去される。

　ステップＳ２００において、時空間尤度算出部１９２は、結果記憶部１５６に記憶されている人物情報であって、基準人物情報を除く人物情報のうち、未処理の人物情報が存在するか否かを判定し、未処理の人物情報が存在する場合、処理は、ステップＳ１８６（図２２）に戻る。すなわち、未処理の人物情報が存在する限り、ステップＳ１８６乃至Ｓ２００の処理が繰り返される。そして、ステップＳ２００において、未処理の人物情報が存在しないとみなされた場合、処理は、ステップＳ２０１に進む。

　ステップＳ２０１において、操作入力認識部１８１は、操作入力部１６０が操作されて、いずれかの人物情報に対応する人物画像が選択されて、確定情報の入力がなされることにより、更なるマッチング修正処理が指示されたか否かを判定する。ステップＳ２０１において、例えば、図２５の手Ｈ２で示されるように、操作入力部１６０が操作されて、プロットＣに対応する人物画像ＰＣが選択されて、確定情報が入力されると、処理は、ステップＳ１８１（図２２）に戻り、更なるマッチング修正処理が実行される。

　このとき、ステップＳ１８４においては、確定情報が入力された人物画像が人物画像ＰＡ，ＰＣの２枚となり、さらに、それぞれの人物画像を撮像した監視カメラ１１を識別するカメラIDがそれぞれ異なるため、BTFは算出可能であるものとみなされる。

　したがって、この場合、ステップＳ１８５においては、BTF算出部１９１は、プロットＣに対応する人物情報の人物画像ＰＣと、プロットＡに対応する人物情報の人物画像ＰＡとを用いて、BTFを算出する。この場合、基準人物情報がプロットＣに対応する人物画像ＰＣの人物情報であるので、求められるBTFは、撮像エリアＣａｍＢを撮像する監視カメラ１１により撮像される人物画像ＰＣの色を基準とした、撮像エリアＣａｍＡを撮像する監視カメラ１１により撮像される人物画像ＰＡの色変化を補正するためのものとされる。

　この結果、注目人物情報が、撮像エリアＣａｍＡで撮像された人物画像ＰＢに対応する人物情報である場合、ステップＳ１８９においては、BTFが求められているものとみなされるので、処理は、ステップＳ１９０に進む。

　ステップＳ１９０において、BTF画像処理部１９４は、算出されたBTFを用いて、注目人物情報の人物画像を色変換することにより色補正を行う。すなわち、今の場合、BTF画像処理部１９４は、図２５における人物画像ＰＢにBTFを施すことにより、基準人物情報の人物画像ＰＣの撮像エリアＣａｍＢを撮像した監視カメラ１１の色に対応するように色補正する。

　ステップＳ１９１において、BTF画像尤度算出部１９６は、基準人物情報の人物画像と、注目人物情報の人物画像であって、BTFによる色変換がなされた人物画像との尤度である、BTF画像尤度を算出する。尚、BTF画像尤度は、人物情報尤度算出処理部１５４における尤度と基本的に同様のものである。

　ステップＳ１９２において、BTF画像尤度閾値判定部９７は、算出されたBTF画像尤度が所定の閾値よりも高いか否かに基づいて、基準人物情報の人物画像と、BTFによる色変換が施された注目人物情報の人物情報とがマッチングするか否かを判定する。ステップＳ１９２において、BTF画像尤度が所定の閾値よりも高い場合、処理は、ステップＳ１９３に進む。

　一方、ステップＳ１９２において、BTF画像尤度が所定の閾値よりも低い場合、処理は、ステップＳ１９８に進む。すなわち、この場合、ステップＳ１９８の処理により、注目人物情報の人物情報は、結果記憶部１５６から削除されると共に、他人情報保持部１８２に保持されることになる。

　すなわち、図２５の下部の表で示されるように、プロットＡに対応する人物画像ＰＡに確定情報が入力された後、プロットＣに対応する人物画像ＰＣに確定情報が入力されると、撮像エリアＣａｍＢを撮像した監視カメラ１１により撮像された画像の色を基準として、撮像エリアＣａｍＡを撮像した監視カメラ１１により撮像された画像の色を補正するためのBTFが求められる。そして、時空間尤度が所定の閾値よりも高く、かつ、BTF画像尤度が所定の閾値よりも高い人物画像を含むプロットＢに対応する人物情報は結果記憶部１５６に残される。一方、時空間尤度が所定の閾値よりも高いが、BTF画像尤度が所定の閾値よりも低い人物画像を含むプロットＤに対応する人物情報は結果記憶部１５６から削除されて、他人情報保持部１８２に保持される。尚、図２５の下部における表においてプロットＡについて斜線が引かれているのは、既に、確定情報が入力されている人物情報であるので、処理対象外であるからである。

　さらに、ステップＳ１９３において、固有特徴選択部１８４は、他人情報記憶部１８２に記憶されている人物情報と、同一人物情報記憶部１８３に記憶されている人物情報に基づいた学習により固有特徴を選択する。

　すなわち、図１８のステップＳ１０２の処理において、人物検出部１２１により人物を検出する際、HOGを用いた特徴量を利用して人物画像を検出した場合、図２６の画像Ｐ２０１で示されるような数種類の線分からなる特徴量が人物画像の検出に利用されていると、図２６の画像Ｐ２１１乃至Ｐ２１４のいずれの画像も、それぞれ画像Ｐ２２１乃至Ｐ２２４で示されるように、いずれかの線分の特徴量と一致するため人物が存在するものとして検出される。

　ここでは、固有特徴選択部１８４が、さらに、線分で示される特徴量の情報を学習により解析し、同一人物として適合する可能性が高く、かつ、他人として適合する可能性の低い特徴量を固有特徴として選択し、選択結果を固有特徴算出部１８５に供給する。

　すなわち、図２６の画像Ｐ２１１，Ｐ２１２の同一人物として確定情報が入力された人物情報に含まれる人物画像に対しては、画像Ｐ２２１，Ｐ２２２の点線からなる線分で示される特徴量が、同一人物として適合する可能性の高い特徴量として学習により特定される。また、画像Ｐ２１３，Ｐ２１４の他人であるものとみなされた人物情報に含まれる人物画像に対しては、画像Ｐ２２３，Ｐ２２４における実線からなる線分で囲まれている特徴量が、同一人物ではない他人として適合する可能性の低い特徴量が学習により特定される。従って、図２６においては、このような学習により、画像Ｐ２５１における、一点鎖線の楕円で囲まれた、線分からなる特徴量が、いずれの条件も満たす有用な固有特徴として選択されることになる。

　尚、学習は、同一人物情報保持部１８３、および他人情報保持部１８２に対して、新たな人物情報が登録される度に繰り返されることにより、固有特徴は、より高い精度のものが選択されることになるため、学習が繰り返される毎に、人物の追跡精度が向上されていくことになる。

　また、学習については、“A decision-theoretic generalization of on-line learningand an application to boosting. Unpublished manuscript available electronically.Yoav Freund and Robert E. Schapir”、および“J. Friedman, T. Hastie, and R. Tibshirani. Additive logistic regression: a statistical view of boosting. Annals of statistics, 38:337-374,2000.”等に記述されているアルゴリズムを利用するようにしてもよい。

　ステップＳ１９４において、固有特徴尤度算出部１８５は、基準人物情報の人物画像、および注目人物情報の人物画像の、それぞれから固有特徴として選択された特徴量を抽出する。

　ステップＳ１９５において、固有特徴尤度算出部１８５は、基準人物情報の人物画像、および注目人物情報の人物画像の、それぞれから固有特徴として抽出した特徴量を用いて固有特徴尤度を算出し、算出結果を固有特徴尤度閾値判定部１８６に供給する。すなわち、固有特徴尤度算出部１８５は、例えば、基準人物情報の人物画像、および注目人物情報の人物画像の、それぞれから固有特徴に基づいた相互の類似度などを固有特徴尤度として算出する。

　ステップＳ１９６において、固有特徴尤度閾値判定部１８６は、算出された固有特徴尤度が所定の閾値よりも高く、相互が類似しているか否かを判定する。ステップＳ１９６において、固有特徴尤度が所定の閾値よりも高くなく、類似していないと判定された場合、処理は、ステップＳ１９８に進む。

　すなわち、この場合、ステップＳ１９８の処理により、注目人物情報の人物情報は、結果記憶部１５６から削除されると共に、他人情報保持部１８２に保持されることになる。

　一方、ステップＳ１９６において、固有特徴尤度が所定の閾値よりも高いと判定された場合、処理は、ステップＳ１９７に進む。

　従って、この場合、注目人物情報の人物情報は、結果記憶部１５６に残されることになる。

　すなわち、図２７の下部の表で示されるように、プロットＡに対応する人物画像ＰＡに確定情報が入力された後、プロットＣに対応する人物画像ＰＣに確定情報が入力されると、撮像エリアＣａｍＢを撮像した監視カメラ１１により撮像された画像の色を基準として、撮像エリアＣａｍＡを撮像した監視カメラ１１により撮像された画像の色を補正するためのBTFが求められる。そして、時空間尤度が所定の閾値よりも高く、かつ、BTF画像尤度が所定の閾値よりも高い人物画像を含むプロットＢ，Ｄ，Ｅに対応する人物情報は結果記憶部１５６に残される。一方、時空間尤度が所定の閾値よりも高いが、BTF画像尤度が所定の閾値よりも低い人物画像を含むプロットＤに対応する人物情報は結果記憶部１５６から削除されて、他人情報保持部１８２に保持される。さらに、人物情報を利用した固有特徴尤度が求められることにより、固有特徴尤度が閾値以下となるプロットＤが削除され、最終的にプロットＢ，Ｆが結果記憶部１５６に残されることになる。

　すなわち、以上のマッチング修正処理により、使用者が確定情報を入力することで、確定情報に基づいて、再度、マッチング補正処理が繰り返し実行されるので、確定情報を入力するほどに、検索追尾結果の精度を向上させることが可能となる。また、異なる監視カメラ１１により撮像された人物画像に対して確定情報が入力されることにより、BTFを求めることが可能となるので、時空間尤度を考慮した上で、さらに、監視カメラ１１間での色変化に対応したBTF画像尤度に基づいて、マッチング修正処理がなされることにより、さらに高い精度で人物検索追尾をすることが可能となる。

　また、BTFは、基準人物情報の人物画像と、注目人物情報の人物画像との、２台のみの監視カメラ１１に対応するBTFを算出するのみでよいため、BTFを算出するための処理負荷を低減させ、BTF算出に係る処理速度を向上させることが可能となる。

　さらに、BTFを利用した処理に加えて、学習により求められる固有特徴により固有特徴尤度に基づいて、マッチング修正処理が繰り返されることにより、固有特徴の精度が向上し、結果として、より高い精度で人物検索追尾を実現することが可能となる。

　尚、以上においては、検索対象の人物を指定して、検索対象となる人物の人物情報を検索し、検索結果から人物検索追尾結果を示す表示画像を表示した後、確定情報を入力することでマッチング修正処理を繰り返す例について説明してきたが、検索対象の人物を様々に変化させることにより、本技術は様々な用途に利用することが可能となる。

　以上の処理により、複数の監視カメラで監視エリアにおける人物の検索追尾を高精度で実現することが可能となる。

　ところで、上述した一連の処理は、ハードウェアにより実行させることもできるが、ソフトウェアにより実行させることもできる。一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、記録媒体からインストールされる。　

　図１６は、汎用のパーソナルコンピュータの構成例を示している。このパーソナルコンピュータは、CPU(Central Processing Unit)１００１を内蔵している。CPU１００１にはバス１００４を介して、入出力インタ-フェイス１００５が接続されている。バス１００４には、ROM(Read Only Memory)１００２およびRAM(Random Access Memory)１００３が接続されている。

　入出力インタ-フェイス１００５には、ユーザが操作コマンドを入力するキーボード、マウスなどの入力デバイスよりなる入力部１００６、処理操作画面や処理結果の画像を表示デバイスに出力する出力部１００７、プログラムや各種データを格納するハードディスクドライブなどよりなる記憶部１００８、LAN（Local Area Network）アダプタなどよりなり、インタネットに代表されるネットワークを介した通信処理を実行する通信部１００９が接続されている。また、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory)、DVD(Digital Versatile Disc)を含む）、光磁気ディスク（ＭＤ(Mini Disc)を含む）、もしくは半導体メモリなどのリムーバブルメディア１０１１に対してデータを読み書きするドライブ１０１０が接続されている。

　CPU１００１は、ROM１００２に記憶されているプログラム、または磁気ディスク、光ディスク、光磁気ディスク、もしくは半導体メモリ等のリムーバブルメディア１０１１から読み出されて記憶部１００８にインストールされ、記憶部１００８からRAM１００３にロードされたプログラムに従って各種の処理を実行する。RAM１００３にはまた、CPU１００１が各種の処理を実行する上において必要なデータなども適宜記憶される。

　以上のように構成されるコンピュータでは、CPU１００１が、例えば、記憶部１００８に記憶されているプログラムを、入出力インタフェース１００５及びバス１００４を介して、RAM１００３にロードして実行することにより、上述した一連の処理が行われる。

　コンピュータ（CPU１００１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア１０１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インタネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。

　コンピュータでは、プログラムは、リムーバブルメディア１０１１をドライブ１０１０に装着することにより、入出力インタフェース１００５を介して、記憶部１００８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部１００９で受信し、記憶部１００８にインストールすることができる。その他、プログラムは、ROM１００２や記憶部１００８に、あらかじめインストールしておくことができる。

　なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。

　また、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。

　なお、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。

　例えば、本技術は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。

　また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。

　さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。

　尚、本技術は、以下のような構成も取ることができる。
（１）　画像を撮像し、動体を検出し、検出した前記動体の画像からなる動体画像を抽出し、前記動体画像に基づいて、前記動体の空間位置座標を検出し、前記動体画像および前記動体の空間位置座標、および前記画像を撮像した撮像時刻とを含む動体情報を出力する複数の撮像部と、
　検索対象となる動体の動体画像を含む動体情報である検索対象動体情報の動体画像に対する、前記検索対照動体情報以外の動体情報に含まれる動体画像の尤度である動体画像尤度を算出する動体画像尤度算出部と、
　前記動体画像尤度算出部により算出された動体画像尤度のそれぞれについて、所定の閾値よりも高いか否かを判定し、前記所定の閾値よりも高い動体画像尤度の動体情報を、前記検索対象動体情報の動体画像の動体と同一の動体の動体画像を含む動体情報である検索結果動体情報として検索する動体画像閾値判定部と、
　前記動体画像閾値判定部により検索結果動体情報として検索された動体情報を記憶する検索結果動体情報記憶部と、
　前記結果動体情報記憶部に検索結果動体情報として記憶されている動体情報のうち、前記動体画像に基づいて、使用者により、前記検索対象動体情報であることを確定する確定情報の入力を受け付ける操作入力部と、
　前記結果動体情報記憶部に検索結果動体情報として記憶されている動体情報のうち、前記確定情報が入力された動体情報である確定動体情報以外の動体情報の、前記確定情報が入力された確定動体情報に対する、前記空間位置座標および撮像時刻に基づいた尤度からなる時空間尤度を算出する時空間尤度算出部と、
　前記時空間尤度算出部により算出された時空間尤度のそれぞれについて所定の閾値よりも低いか否かを判定し、前記所定の閾値よりも低い時空間尤度の動体情報を、前記検索結果動体情報記憶部より削除する時空間尤度閾値判定部と
　を含む情報処理装置。
（２）　前記操作入力部は、前記時空間尤度閾値判定部により、前記時空間尤度算出部により算出された時空間尤度のそれぞれについて所定の閾値よりも低いか否かを判定された後、前記結果動体情報記憶部に検索結果動体情報として記憶されている動体情報のうち、前記動体画像に基づいて、使用者により、前記検索対象動体情報であることを新たに確定する確定情報の入力を受け付け、
　前記時空間尤度算出部は、前記結果動体情報記憶部に検索結果動体情報として記憶されている動体情報のうち、前記確定動体情報以外の動体情報の、前記確定情報が新たに入力された確定動体情報に対する、前記空間位置座標および撮像時刻に基づいた尤度からなる時空間尤度を新たに算出し、
　前記時空間尤度閾値判定部は、前記時空間尤度算出部により新たに算出された時空間尤度のそれぞれについて所定の閾値よりも低いか否かを判定し、前記所定の閾値よりも低い時空間尤度の動体情報を、前記検索結果動体情報記憶部より削除し、
　前記操作入力部、前記時空間尤度算出部、および前記時空間尤度閾値判定部は、前記操作入力部により新たに確定情報が入力される度に、同様の処理を繰り返す
　（１）に記載の情報処理装置。
（３）　前記動体情報には、含まれている動体画像を撮像した前記複数の撮像部のいずれかを識別するIDをさらに含み、
　前記検索対象となる動体の動体画像を含む動体情報である検索対象動体情報、および、前記検索対象動体情報であることを確定する確定情報の入力が受け付けられた確定動体情報のうち、それぞれの動体画像を撮像した複数の撮像部を識別するIDが異なる２の前記動体画像に基づいて、前記撮像部間の色変化を補正するBTF（Brightness Transfer Function）を計算するBTF計算部と、
　前記結果動体情報記憶部に検索結果動体情報として記憶されている動体情報のうち、前記確定動体情報以外の動体情報のうち、前記BTFが求められているIDの撮像部により撮像された動体画像を含む動体情報の動体画像にBTFを施すBTF処理部と、
　前記確定動体情報の動体画像に対する、前記BTF処理部によりBTFが施された動体画像を含む動体情報の、前記動体画像に基づいた尤度からなるBTF動体画像尤度を算出するBTF動体画像尤度算出部と、
　前記BTF動体画像尤度算出部により算出されたBTF動体画像尤度のそれぞれについて、所定の閾値よりも低いか否かを判定するBTF動体画像閾値判定部とをさらに含み、
　前記時空間尤度閾値判定部は、前記時空間尤度算出部により新たに算出された時空間尤度のそれぞれについて所定の閾値よりも低いか否かを判定し、前記所定の閾値よりも低くない場合、前記BTF動体画像閾値判定部は、前記BTF動体画像尤度算出部により算出されたBTF動体画像尤度のそれぞれについて、所定の閾値よりも低いか否かを判定し、前記BTF動体画像尤度が所定の閾値よりも低いとき、前記BTF動体画像尤度が所定の閾値よりも低い動体画像を含む動体情報を、前記検索結果動体情報記憶部より削除する
　（２）に記載の情報処理装置。
（４）
　前記動体画像尤度算出部は、検索対象となる動体の動体画像を含む動体情報である検索対象動体情報の動体画像と、前記検索対照動体情報以外の動体情報に含まれる動体画像とのそれぞれに含まれる動体画像に基づいて、それぞれの動体がどの程度類似しているのかを示す類似度を、前記動体画像尤度として算出する
　（１）または（２）に記載の情報処理装置。
（５）　前記時空間尤度算出部は、前記確定動体情報以外の動体情報と、前記確定情報が入力された確定動体情報との、前記空間位置座標間の距離を、平均的な人間の移動速度で移動したときの所要時間と、撮像時刻間の時間との関係から前記時空間尤度を算出する
　（１）,（２），（４）のいずれかに記載の情報処理装置。
（６）　画像を撮像し、動体を検出し、検出した前記動体の画像からなる動体画像を抽出し、前記動体画像に基づいて、前記動体の空間位置座標を検出し、前記動体画像および前記動体の空間位置座標、および前記画像を撮像した撮像時刻とを含む動体情報を出力する複数の撮像部を含む情報処理装置の情報処理方法において、
　検索対象となる動体の動体画像を含む動体情報である検索対象動体情報の動体画像に対する、前記検索対照動体情報以外の動体情報に含まれる動体画像の尤度である動体画像尤度を算出する動体画像尤度算出処理と、
　前記動体画像尤度算出処理により算出された動体画像尤度のそれぞれについて、所定の閾値よりも高いか否かを判定し、前記所定の閾値よりも高い動体画像尤度の動体情報を、前記検索対象動体情報の動体画像の動体と同一の動体の動体画像を含む動体情報である検索結果動体情報として検索する動体画像閾値判定処理と、
　前記動体画像閾値判定処理により検索結果動体情報として検索された動体情報を記憶する検索結果動体情報記憶処理と、
　前記結果動体情報記憶処理で検索結果動体情報として記憶されている動体情報のうち、前記動体画像に基づいて、使用者により、前記検索対象動体情報であることを確定する確定情報の入力を受け付ける操作入力処理と、
　前記結果動体情報記憶処理で検索結果動体情報として記憶されている動体情報のうち、前記確定情報が入力された動体情報である確定動体情報以外の動体情報の、前記確定情報が入力された確定動体情報に対する、前記空間位置座標および撮像時刻に基づいた尤度からなる時空間尤度を算出する時空間尤度算出処理と、
　前記時空間尤度算出処理により算出された時空間尤度のそれぞれについて所定の閾値よりも低いか否かを判定し、前記所定の閾値よりも低い時空間尤度の動体情報を、前記検索結果動体情報記憶処理により記憶された動体情報より削除する時空間尤度閾値判定処理と
　を含む情報処理方法。
（７）　画像を撮像し、動体を検出し、検出した前記動体の画像からなる動体画像を抽出し、前記動体画像に基づいて、前記動体の空間位置座標を検出し、前記動体画像および前記動体の空間位置座標、および前記画像を撮像した撮像時刻とを含む動体情報を出力する複数の撮像部を含む情報処理装置を制御するコンピュータに実行させるプログラムであって、
　検索対象となる動体の動体画像を含む動体情報である検索対象動体情報の動体画像に対する、前記検索対照動体情報以外の動体情報に含まれる動体画像の尤度である動体画像尤度を算出する動体画像尤度算出ステップと、
　前記動体画像尤度算出ステップの処理により算出された動体画像尤度のそれぞれについて、所定の閾値よりも高いか否かを判定し、前記所定の閾値よりも高い動体画像尤度の動体情報を、前記検索対象動体情報の動体画像の動体と同一の動体の動体画像を含む動体情報である検索結果動体情報として検索する動体画像閾値判定ステップと、
　前記動体画像閾値判定ステップの処理により検索結果動体情報として検索された動体情報を記憶する検索結果動体情報記憶ステップと、
　前記結果動体情報記憶ステップの処理で検索結果動体情報として記憶されている動体情報のうち、前記動体画像に基づいて、使用者により、前記検索対象動体情報であることを確定する確定情報の入力を受け付ける操作入力ステップと、
　前記結果動体情報記憶ステップの処理で検索結果動体情報として記憶されている動体情報のうち、前記確定情報が入力された動体情報である確定動体情報以外の動体情報の、前記確定情報が入力された確定動体情報に対する、前記空間位置座標および撮像時刻に基づいた尤度からなる時空間尤度を算出する時空間尤度算出ステップと、
　前記時空間尤度算出ステップの処理により算出された時空間尤度のそれぞれについて所定の閾値よりも低いか否かを判定し、前記所定の閾値よりも低い時空間尤度の動体情報を、前記検索結果動体情報記憶ステップの処理により記憶された動体情報より削除する時空間尤度閾値判定ステップと
　をコンピュータに実行させるためのプログラム。
（８）　画像を撮像し、人物を検出し、検出した前記人物の画像からなる人物画像を抽出し、前記人物画像に基づいて、前記人物の空間位置座標を検出し、前記人物画像および前記人物の空間位置座標、および前記画像を撮像した撮像時刻とを含む人物情報を出力する複数の撮像部と、
　検索対象となる人物の人物画像を含む人物情報である検索対象人物情報の人物画像に対する、前記検索対照人物情報以外の人物情報に含まれる人物画像の尤度である人物画像尤度を算出する人物画像尤度算出部と、
　前記人物画像尤度算出部により算出された人物画像尤度のそれぞれについて、所定の閾値よりも高いか否かを判定し、前記所定の閾値よりも高い人物画像尤度の人物情報を、前記検索対象人物情報の人物画像の人物と同一の人物の人物画像を含む人物情報である検索結果人物情報として検索する人物画像閾値判定部と、
　前記人物画像閾値判定部により検索結果人物情報として検索された人物情報を記憶する検索結果人物情報記憶部と、
　前記結果人物情報記憶部に検索結果人物情報として記憶されている人物情報のうち、前記人物画像に基づいて、使用者により、前記検索対象人物情報であることを確定する確定情報の入力を受け付ける操作入力部と、
　前記結果人物情報記憶部に検索結果人物情報として記憶されている人物情報のうち、前記確定情報が入力された人物情報である確定人物情報以外の人物情報の、前記確定情報が入力された確定人物情報に対する、前記空間位置座標および撮像時刻に基づいた尤度からなる時空間尤度を算出する時空間尤度算出部と、
　前記時空間尤度算出部により算出された時空間尤度のそれぞれについて所定の閾値よりも低いか否かを判定し、前記所定の閾値よりも低い時空間尤度の人物情報を、前記検索結果人物情報記憶部より削除する時空間尤度閾値判定部と
　を含む情報処理装置。
（９）　前記操作入力部は、前記時空間尤度閾値判定部により、前記時空間尤度算出部により算出された時空間尤度のそれぞれについて所定の閾値よりも低いか否かを判定された後、前記結果人物情報記憶部に検索結果人物情報として記憶されている人物情報のうち、前記人物画像に基づいて、使用者により、前記検索対象人物情報であることを新たに確定する確定情報の入力を受け付け、
　前記時空間尤度算出部は、前記結果人物情報記憶部に検索結果人物情報として記憶されている人物情報のうち、前記確定人物情報以外の人物情報の、前記確定情報が新たに入力された確定人物情報に対する、前記空間位置座標および撮像時刻に基づいた尤度からなる時空間尤度を新たに算出し、
　前記時空間尤度閾値判定部は、前記時空間尤度算出部により新たに算出された時空間尤度のそれぞれについて所定の閾値よりも低いか否かを判定し、前記所定の閾値よりも低い時空間尤度の人物情報を、前記検索結果人物情報記憶部より削除し、
　前記操作入力部、前記時空間尤度算出部、および前記時空間尤度閾値判定部は、前記操作入力部により新たに確定情報が入力される度に、同様の処理を繰り返す
　（８）に記載の情報処理装置。
（１０）　前記人物情報には、含まれている人物画像を撮像した前記複数の撮像部のいずれかを識別するIDをさらに含み、
　前記検索対象となる人物の人物画像を含む人物情報である検索対象人物情報、および、前記検索対象人物情報であることを確定する確定情報の入力が受け付けられた確定人物情報のうち、それぞれの人物画像を撮像した複数の撮像部を識別するIDが異なる２の前記人物画像に基づいて、前記撮像部間の色変化を補正するBTF（Brightness Transfer Function）を計算するBTF計算部と、
　前記結果人物情報記憶部に検索結果人物情報として記憶されている人物情報のうち、前記確定人物情報以外の人物情報のうち、前記BTFが求められているIDの撮像部により撮像された人物画像を含む人物情報の人物画像にBTFを施すBTF処理部と、
　前記確定人物情報の人物画像に対する、前記BTF処理部によりBTFが施された人物画像を含む人物情報の、前記人物画像に基づいた尤度からなるBTF人物画像尤度を算出するBTF人物画像尤度算出部と、
　前記BTF人物画像尤度算出部により算出されたBTF人物画像尤度のそれぞれについて、所定の閾値よりも低いか否かを判定するBTF人物画像閾値判定部とをさらに含み、
　前記時空間尤度閾値判定部は、前記時空間尤度算出部により新たに算出された時空間尤度のそれぞれについて所定の閾値よりも低いか否かを判定し、前記所定の閾値よりも低くない場合、前記BTF人物画像閾値判定部は、前記BTF人物画像尤度算出部により算出されたBTF人物画像尤度のそれぞれについて、所定の閾値よりも低いか否かを判定し、前記BTF人物画像尤度が所定の閾値よりも低いとき、前記BTF人物画像尤度が所定の閾値よりも低い人物画像を含む人物情報を、前記検索結果人物情報記憶部より削除する
　（９）に記載の情報処理装置。
（１１）　前記検索対象となる人物の人物画像を含む人物情報である検索対象人物情報、および、前記検索対象人物情報であることを確定する確定情報の入力が受け付けられた確定人物情報を、前記検索対象人物と同一人物の人物情報として保持する同一人物情報保持部と、
　前記時空間尤度算出部により新たに算出された時空間尤度のそれぞれについて所定の閾値よりも低いか、または、前記BTF人物画像尤度算出部により算出されたBTF人物画像尤度のそれぞれについて、前記所定の閾値よりも低い人物画像を含む人物情報を、前記検索対象人物とは他人の人物情報である他人情報を保持する他人情報保持部と、
　前記同一人物情報保持部に保持された人物情報における人物画像と、前記他人情報保持部に保持された人物情報における人物画像とに基づいた学習により前記検索対象人物を検索するための固有特徴を選択する固有特徴検索部と、
　前記検索対象人物情報の人物画像に対する、前記検索対照人物情報以外の人物情報に含まれる人物画像の、前記固有特徴に基づいた尤度である固有特徴尤度を算出する固有特徴尤度算出部と、
　前記固有特徴尤度算出部により算出された固有特徴尤度のそれぞれについて所定の閾値よりも低いか否かを判定し、前記所定の閾値よりも低い固有特徴尤度の人物情報を、前記検索結果人物情報記憶部より削除する固有特徴尤度閾値判定部とをさらに含み、
　前記時空間尤度閾値判定部は、前記時空間尤度算出部により新たに算出された時空間尤度のそれぞれについて所定の閾値よりも低いか否かを判定し、前記所定の閾値よりも低くない場合、前記BTF人物画像閾値判定部は、前記BTF人物画像尤度算出部により算出されたBTF人物画像尤度のそれぞれについて、所定の閾値よりも低いか否かを判定し、前記BTF人物画像尤度が所定の閾値よりも低くないとき、前記固有特徴尤度閾値判定部は、前記固有特徴尤度算出部により算出された固有特徴尤度のそれぞれについて所定の閾値よりも低いか否かを判定し、前記所定の閾値よりも低い固有特徴尤度の人物情報を、前記検索結果人物情報記憶部より削除する
　（１０）に記載の情報処理装置。
（１２）　前記固有特徴尤度閾値判定部により前記所定の閾値よりも低い固有特徴尤度の人物情報が、前記検索結果人物情報記憶部より削除されるとき、前記他人情報保持部は、前記所定の閾値よりも低い固有特徴尤度の人物情報を他人の人物情報である他人情報として保持する
　（１１）に記載の情報処理装置。
（１３）　前記固有特徴検索部は、前記同一人物情報保持部に保持された人物情報における人物画像と、前記他人情報保持部に保持された人物情報における人物画像とに基づいた学習により、前記同一人物情報保持部により保持されている人物情報における人物画像と、前記検索対象人物の人物画像との尤度が高くなるような特徴量であって、かつ、前記他人情報保持部により保持されている人物情報における人物画像と、前記検索対象人物の人物画像との尤度が低くなるような特徴量を、固有特徴として選択する
　（８）に記載の情報処理装置。
（１４）　前記固有特徴尤度算出部は、検索対象となる人物の人物画像を含む人物情報である検索対象人物情報の人物画像と、前記検索対照人物情報以外の人物情報に含まれる人物画像とのそれぞれに含まれる人物画像の固有特徴に基づいて、それぞれの人物がどの程度類似しているのかを示す類似度を、前記固有特徴尤度として算出する
　（８）に記載の情報処理装置。
（１５）　前記人物画像尤度算出部は、検索対象となる人物の人物画像を含む人物情報である検索対象人物情報の人物画像と、前記検索対照人物情報以外の人物情報に含まれる人物画像とのそれぞれに含まれる人物画像に基づいて、それぞれの人物がどの程度類似しているのかを示す類似度を、前記人物画像尤度として算出する
　（８）に記載の情報処理装置。
（１６）　前記時空間尤度算出部は、前記確定人物情報以外の人物情報と、前記確定情報が入力された確定人物情報との、前記空間位置座標間の距離を、平均的な人間の移動速度で移動したときの所要時間と、撮像時刻間の時間との関係から前記時空間尤度を算出する
　（８）に記載の情報処理装置。
（１７）　画像を撮像し、人物を検出し、検出した前記人物の画像からなる人物画像を抽出し、前記人物画像に基づいて、前記人物の空間位置座標を検出し、前記人物画像および前記人物の空間位置座標、および前記画像を撮像した撮像時刻とを含む人物情報を出力する複数の撮像部を含む情報処理装置の情報処理方法において、
　検索対象となる人物の人物画像を含む人物情報である検索対象人物情報の人物画像に対する、前記検索対照人物情報以外の人物情報に含まれる人物画像の尤度である人物画像尤度を算出する人物画像尤度算出処理と、
　前記人物画像尤度算出処理により算出された人物画像尤度のそれぞれについて、所定の閾値よりも高いか否かを判定し、前記所定の閾値よりも高い人物画像尤度の人物情報を、前記検索対象人物情報の人物画像の人物と同一の人物の人物画像を含む人物情報である検索結果人物情報として検索する人物画像閾値判定処理と、
　前記人物画像閾値判定処理により検索結果人物情報として検索された人物情報を記憶する検索結果人物情報記憶処理と、
　前記結果人物情報記憶処理により検索結果人物情報として記憶されている人物情報のうち、前記人物画像に基づいて、使用者により、前記検索対象人物情報であることを確定する確定情報の入力を受け付ける操作入力処理と、
　前記結果人物情報記憶処理により検索結果人物情報として記憶されている人物情報のうち、前記確定情報が入力された人物情報である確定人物情報以外の人物情報の、前記確定情報が入力された確定人物情報に対する、前記空間位置座標および撮像時刻に基づいた尤度からなる時空間尤度を算出する時空間尤度算出処理と、
　前記時空間尤度算出処理により算出された時空間尤度のそれぞれについて所定の閾値よりも低いか否かを判定し、前記所定の閾値よりも低い時空間尤度の人物情報を、前記検索結果人物情報記憶処理により記憶された人物情報を削除する時空間尤度閾値判定処理と
　を含む情報処理方法。
（１８）　画像を撮像し、人物を検出し、検出した前記人物の画像からなる人物画像を抽出し、前記人物画像に基づいて、前記人物の空間位置座標を検出し、前記人物画像および前記人物の空間位置座標、および前記画像を撮像した撮像時刻とを含む人物情報を出力する複数の撮像部を含む情報処理装置を制御するコンピュータに実行させるプログラムであって、
　検索対象となる人物の人物画像を含む人物情報である検索対象人物情報の人物画像に対する、前記検索対照人物情報以外の人物情報に含まれる人物画像の尤度である人物画像尤度を算出する人物画像尤度算出ステップと、
　前記人物画像尤度算出ステップの処理により算出された人物画像尤度のそれぞれについて、所定の閾値よりも高いか否かを判定し、前記所定の閾値よりも高い人物画像尤度の人物情報を、前記検索対象人物情報の人物画像の人物と同一の人物の人物画像を含む人物情報である検索結果人物情報として検索する人物画像閾値判定ステップと、
　前記人物画像閾値判定ステップの処理により検索結果人物情報として検索された人物情報を記憶する検索結果人物情報記憶ステップと、
　前記結果人物情報記憶ステップの処理により検索結果人物情報として記憶されている人物情報のうち、前記人物画像に基づいて、使用者により、前記検索対象人物情報であることを確定する確定情報の入力を受け付ける操作入力ステップと、
　前記結果人物情報記憶ステップの処理により検索結果人物情報として記憶されている人物情報のうち、前記確定情報が入力された人物情報である確定人物情報以外の人物情報の、前記確定情報が入力された確定人物情報に対する、前記空間位置座標および撮像時刻に基づいた尤度からなる時空間尤度を算出する時空間尤度算出ステップと、
　前記時空間尤度算出ステップの処理により算出された時空間尤度のそれぞれについて所定の閾値よりも低いか否かを判定し、前記所定の閾値よりも低い時空間尤度の人物情報を、前記検索結果人物情報記憶部より削除する時空間尤度閾値判定ステップと
　を含む処理をコンピュータに実行させるプログラム。

　１　監視システム，　１１，１１－１乃至１１－ｎ　監視カメラ，　１２　人物検索追尾サーバ，　１３　ネットワーク，　３１　撮像部，　３２　動体検出部，　３３　前景画像抽出部，　３４　カメラID，　３５　撮像位置座標算出部，　３６　撮像時刻検出部，　３７　動体情報出力部，　５１　動体情報取得部，　５２　動体情報フィルタリング処理部，　５３　動体情報保持部，　５４　動体情報尤度算出処理部，　５５　動体情報尤度閾値判定部，　５６　結果記憶部，　５７　表示画像生成部，　５８　表示部，　５９　マッチング修正処理部，　６０　操作入力部，　７１　検知枠サイズ判定部，　７２　前景偏り判定部，　７３　前景背景相関判定部，　７４　エッジ長判定部，　７５　複数人数判定部，　９１　操作入力認識部，　９２　BTF算出部，　９３　時空間尤度算出部，　９４　時空間尤度閾値判定部，　９５　BTF画像処理部，　９６　BTF画像尤度算出部，　９７　BTF画像尤度閾値判定部

Claims

　画像を撮像し、動体を検出し、検出した前記動体の画像からなる動体画像を抽出し、前記動体画像に基づいて、前記動体の空間位置座標を検出し、前記動体画像および前記動体の空間位置座標、および前記画像を撮像した撮像時刻とを含む動体情報を出力する複数の撮像部と、
　検索対象となる動体の動体画像を含む動体情報である検索対象動体情報の動体画像に対する、前記検索対照動体情報以外の動体情報に含まれる動体画像の尤度である動体画像尤度を算出する動体画像尤度算出部と、
　前記動体画像尤度算出部により算出された動体画像尤度のそれぞれについて、所定の閾値よりも高いか否かを判定し、前記所定の閾値よりも高い動体画像尤度の動体情報を、前記検索対象動体情報の動体画像の動体と同一の動体の動体画像を含む動体情報である検索結果動体情報として検索する動体画像閾値判定部と、
　前記動体画像閾値判定部により検索結果動体情報として検索された動体情報を記憶する検索結果動体情報記憶部と、
　前記結果動体情報記憶部に検索結果動体情報として記憶されている動体情報のうち、前記動体画像に基づいて、使用者により、前記検索対象動体情報であることを確定する確定情報の入力を受け付ける操作入力部と、
　前記結果動体情報記憶部に検索結果動体情報として記憶されている動体情報のうち、前記確定情報が入力された動体情報である確定動体情報以外の動体情報の、前記確定情報が入力された確定動体情報に対する、前記空間位置座標および撮像時刻に基づいた尤度からなる時空間尤度を算出する時空間尤度算出部と、
　前記時空間尤度算出部により算出された時空間尤度のそれぞれについて所定の閾値よりも低いか否かを判定し、前記所定の閾値よりも低い時空間尤度の動体情報を、前記検索結果動体情報記憶部より削除する時空間尤度閾値判定部と
　を含む情報処理装置。
　前記操作入力部は、前記時空間尤度閾値判定部により、前記時空間尤度算出部により算出された時空間尤度のそれぞれについて所定の閾値よりも低いか否かを判定された後、前記結果動体情報記憶部に検索結果動体情報として記憶されている動体情報のうち、前記動体画像に基づいて、使用者により、前記検索対象動体情報であることを新たに確定する確定情報の入力を受け付け、
　前記時空間尤度算出部は、前記結果動体情報記憶部に検索結果動体情報として記憶されている動体情報のうち、前記確定動体情報以外の動体情報の、前記確定情報が新たに入力された確定動体情報に対する、前記空間位置座標および撮像時刻に基づいた尤度からなる時空間尤度を新たに算出し、
　前記時空間尤度閾値判定部は、前記時空間尤度算出部により新たに算出された時空間尤度のそれぞれについて所定の閾値よりも低いか否かを判定し、前記所定の閾値よりも低い時空間尤度の動体情報を、前記検索結果動体情報記憶部より削除し、
　前記操作入力部、前記時空間尤度算出部、および前記時空間尤度閾値判定部は、前記操作入力部により新たに確定情報が入力される度に、同様の処理を繰り返す
　請求項１に記載の情報処理装置。
　前記動体情報には、含まれている動体画像を撮像した前記複数の撮像部のいずれかを識別するIDをさらに含み、
　前記検索対象となる動体の動体画像を含む動体情報である検索対象動体情報、および、前記検索対象動体情報であることを確定する確定情報の入力が受け付けられた確定動体情報のうち、それぞれの動体画像を撮像した複数の撮像部を識別するIDが異なる２の前記動体画像に基づいて、前記撮像部間の色変化を補正するBTF（Brightness Transfer Function）を計算するBTF計算部と、
　前記結果動体情報記憶部に検索結果動体情報として記憶されている動体情報のうち、前記確定動体情報以外の動体情報のうち、前記BTFが求められているIDの撮像部により撮像された動体画像を含む動体情報の動体画像にBTFを施すBTF処理部と、
　前記確定動体情報の動体画像に対する、前記BTF処理部によりBTFが施された動体画像を含む動体情報の、前記動体画像に基づいた尤度からなるBTF動体画像尤度を算出するBTF動体画像尤度算出部と、
　前記BTF動体画像尤度算出部により算出されたBTF動体画像尤度のそれぞれについて、所定の閾値よりも低いか否かを判定するBTF動体画像閾値判定部とをさらに含み、
　前記時空間尤度閾値判定部は、前記時空間尤度算出部により新たに算出された時空間尤度のそれぞれについて所定の閾値よりも低いか否かを判定し、前記所定の閾値よりも低くない場合、前記BTF動体画像閾値判定部は、前記BTF動体画像尤度算出部により算出されたBTF動体画像尤度のそれぞれについて、所定の閾値よりも低いか否かを判定し、前記BTF動体画像尤度が所定の閾値よりも低いとき、前記BTF動体画像尤度が所定の閾値よりも低い動体画像を含む動体情報を、前記検索結果動体情報記憶部より削除する
　請求項２に記載の情報処理装置。
　前記動体画像尤度算出部は、検索対象となる動体の動体画像を含む動体情報である検索対象動体情報の動体画像と、前記検索対照動体情報以外の動体情報に含まれる動体画像とのそれぞれに含まれる動体画像に基づいて、それぞれの動体がどの程度類似しているのかを示す類似度を、前記動体画像尤度として算出する
　請求項１に記載の情報処理装置。
　前記時空間尤度算出部は、前記確定動体情報以外の動体情報と、前記確定情報が入力された確定動体情報との、前記空間位置座標間の距離を、平均的な人間の移動速度で移動したときの所要時間と、撮像時刻間の時間との関係から前記時空間尤度を算出する
　請求項１に記載の情報処理装置。
　画像を撮像し、動体を検出し、検出した前記動体の画像からなる動体画像を抽出し、前記動体画像に基づいて、前記動体の空間位置座標を検出し、前記動体画像および前記動体の空間位置座標、および前記画像を撮像した撮像時刻とを含む動体情報を出力する複数の撮像部を含む情報処理装置の情報処理方法において、
　検索対象となる動体の動体画像を含む動体情報である検索対象動体情報の動体画像に対する、前記検索対照動体情報以外の動体情報に含まれる動体画像の尤度である動体画像尤度を算出する動体画像尤度算出処理と、
　前記動体画像尤度算出処理により算出された動体画像尤度のそれぞれについて、所定の閾値よりも高いか否かを判定し、前記所定の閾値よりも高い動体画像尤度の動体情報を、前記検索対象動体情報の動体画像の動体と同一の動体の動体画像を含む動体情報である検索結果動体情報として検索する動体画像閾値判定処理と、
　前記動体画像閾値判定処理により検索結果動体情報として検索された動体情報を記憶する検索結果動体情報記憶処理と、
　前記結果動体情報記憶処理で検索結果動体情報として記憶されている動体情報のうち、前記動体画像に基づいて、使用者により、前記検索対象動体情報であることを確定する確定情報の入力を受け付ける操作入力処理と、
　前記結果動体情報記憶処理で検索結果動体情報として記憶されている動体情報のうち、前記確定情報が入力された動体情報である確定動体情報以外の動体情報の、前記確定情報が入力された確定動体情報に対する、前記空間位置座標および撮像時刻に基づいた尤度からなる時空間尤度を算出する時空間尤度算出処理と、
　前記時空間尤度算出処理により算出された時空間尤度のそれぞれについて所定の閾値よりも低いか否かを判定し、前記所定の閾値よりも低い時空間尤度の動体情報を、前記検索結果動体情報記憶処理により記憶された動体情報より削除する時空間尤度閾値判定処理と
　を含む情報処理方法。
　画像を撮像し、動体を検出し、検出した前記動体の画像からなる動体画像を抽出し、前記動体画像に基づいて、前記動体の空間位置座標を検出し、前記動体画像および前記動体の空間位置座標、および前記画像を撮像した撮像時刻とを含む動体情報を出力する複数の撮像部を含む情報処理装置を制御するコンピュータに実行させるプログラムであって、
　検索対象となる動体の動体画像を含む動体情報である検索対象動体情報の動体画像に対する、前記検索対照動体情報以外の動体情報に含まれる動体画像の尤度である動体画像尤度を算出する動体画像尤度算出ステップと、
　前記動体画像尤度算出ステップの処理により算出された動体画像尤度のそれぞれについて、所定の閾値よりも高いか否かを判定し、前記所定の閾値よりも高い動体画像尤度の動体情報を、前記検索対象動体情報の動体画像の動体と同一の動体の動体画像を含む動体情報である検索結果動体情報として検索する動体画像閾値判定ステップと、
　前記動体画像閾値判定ステップの処理により検索結果動体情報として検索された動体情報を記憶する検索結果動体情報記憶ステップと、
　前記結果動体情報記憶ステップの処理で検索結果動体情報として記憶されている動体情報のうち、前記動体画像に基づいて、使用者により、前記検索対象動体情報であることを確定する確定情報の入力を受け付ける操作入力ステップと、
　前記結果動体情報記憶ステップの処理で検索結果動体情報として記憶されている動体情報のうち、前記確定情報が入力された動体情報である確定動体情報以外の動体情報の、前記確定情報が入力された確定動体情報に対する、前記空間位置座標および撮像時刻に基づいた尤度からなる時空間尤度を算出する時空間尤度算出ステップと、
　前記時空間尤度算出ステップの処理により算出された時空間尤度のそれぞれについて所定の閾値よりも低いか否かを判定し、前記所定の閾値よりも低い時空間尤度の動体情報を、前記検索結果動体情報記憶ステップの処理により記憶された動体情報より削除する時空間尤度閾値判定ステップと
　をコンピュータに実行させるためのプログラム。
　画像を撮像し、人物を検出し、検出した前記人物の画像からなる人物画像を抽出し、前記人物画像に基づいて、前記人物の空間位置座標を検出し、前記人物画像および前記人物の空間位置座標、および前記画像を撮像した撮像時刻とを含む人物情報を出力する複数の撮像部と、
　検索対象となる人物の人物画像を含む人物情報である検索対象人物情報の人物画像に対する、前記検索対照人物情報以外の人物情報に含まれる人物画像の尤度である人物画像尤度を算出する人物画像尤度算出部と、
　前記人物画像尤度算出部により算出された人物画像尤度のそれぞれについて、所定の閾値よりも高いか否かを判定し、前記所定の閾値よりも高い人物画像尤度の人物情報を、前記検索対象人物情報の人物画像の人物と同一の人物の人物画像を含む人物情報である検索結果人物情報として検索する人物画像閾値判定部と、
　前記人物画像閾値判定部により検索結果人物情報として検索された人物情報を記憶する検索結果人物情報記憶部と、
　前記結果人物情報記憶部に検索結果人物情報として記憶されている人物情報のうち、前記人物画像に基づいて、使用者により、前記検索対象人物情報であることを確定する確定情報の入力を受け付ける操作入力部と、
　前記結果人物情報記憶部に検索結果人物情報として記憶されている人物情報のうち、前記確定情報が入力された人物情報である確定人物情報以外の人物情報の、前記確定情報が入力された確定人物情報に対する、前記空間位置座標および撮像時刻に基づいた尤度からなる時空間尤度を算出する時空間尤度算出部と、
　前記時空間尤度算出部により算出された時空間尤度のそれぞれについて所定の閾値よりも低いか否かを判定し、前記所定の閾値よりも低い時空間尤度の人物情報を、前記検索結果人物情報記憶部より削除する時空間尤度閾値判定部と
　を含む情報処理装置。
　前記操作入力部は、前記時空間尤度閾値判定部により、前記時空間尤度算出部により算出された時空間尤度のそれぞれについて所定の閾値よりも低いか否かを判定された後、前記結果人物情報記憶部に検索結果人物情報として記憶されている人物情報のうち、前記人物画像に基づいて、使用者により、前記検索対象人物情報であることを新たに確定する確定情報の入力を受け付け、
　前記時空間尤度算出部は、前記結果人物情報記憶部に検索結果人物情報として記憶されている人物情報のうち、前記確定人物情報以外の人物情報の、前記確定情報が新たに入力された確定人物情報に対する、前記空間位置座標および撮像時刻に基づいた尤度からなる時空間尤度を新たに算出し、
　前記時空間尤度閾値判定部は、前記時空間尤度算出部により新たに算出された時空間尤度のそれぞれについて所定の閾値よりも低いか否かを判定し、前記所定の閾値よりも低い時空間尤度の人物情報を、前記検索結果人物情報記憶部より削除し、
　前記操作入力部、前記時空間尤度算出部、および前記時空間尤度閾値判定部は、前記操作入力部により新たに確定情報が入力される度に、同様の処理を繰り返す
　請求項８に記載の情報処理装置。
　前記人物情報には、含まれている人物画像を撮像した前記複数の撮像部のいずれかを識別するIDをさらに含み、
　前記検索対象となる人物の人物画像を含む人物情報である検索対象人物情報、および、前記検索対象人物情報であることを確定する確定情報の入力が受け付けられた確定人物情報のうち、それぞれの人物画像を撮像した複数の撮像部を識別するIDが異なる２の前記人物画像に基づいて、前記撮像部間の色変化を補正するBTF（Brightness Transfer Function）を計算するBTF計算部と、
　前記結果人物情報記憶部に検索結果人物情報として記憶されている人物情報のうち、前記確定人物情報以外の人物情報のうち、前記BTFが求められているIDの撮像部により撮像された人物画像を含む人物情報の人物画像にBTFを施すBTF処理部と、
　前記確定人物情報の人物画像に対する、前記BTF処理部によりBTFが施された人物画像を含む人物情報の、前記人物画像に基づいた尤度からなるBTF人物画像尤度を算出するBTF人物画像尤度算出部と、
　前記BTF人物画像尤度算出部により算出されたBTF人物画像尤度のそれぞれについて、所定の閾値よりも低いか否かを判定するBTF人物画像閾値判定部とをさらに含み、
　前記時空間尤度閾値判定部は、前記時空間尤度算出部により新たに算出された時空間尤度のそれぞれについて所定の閾値よりも低いか否かを判定し、前記所定の閾値よりも低くない場合、前記BTF人物画像閾値判定部は、前記BTF人物画像尤度算出部により算出されたBTF人物画像尤度のそれぞれについて、所定の閾値よりも低いか否かを判定し、前記BTF人物画像尤度が所定の閾値よりも低いとき、前記BTF人物画像尤度が所定の閾値よりも低い人物画像を含む人物情報を、前記検索結果人物情報記憶部より削除する
　請求項９に記載の情報処理装置。
　前記検索対象となる人物の人物画像を含む人物情報である検索対象人物情報、および、前記検索対象人物情報であることを確定する確定情報の入力が受け付けられた確定人物情報を、前記検索対象人物と同一人物の人物情報として保持する同一人物情報保持部と、
　前記時空間尤度算出部により新たに算出された時空間尤度のそれぞれについて所定の閾値よりも低いか、または、前記BTF人物画像尤度算出部により算出されたBTF人物画像尤度のそれぞれについて、前記所定の閾値よりも低い人物画像を含む人物情報を、前記検索対象人物とは他人の人物情報である他人情報を保持する他人情報保持部と、
　前記同一人物情報保持部に保持された人物情報における人物画像と、前記他人情報保持部に保持された人物情報における人物画像とに基づいた学習により前記検索対象人物を検索するための固有特徴を選択する固有特徴検索部と、
　前記検索対象人物情報の人物画像に対する、前記検索対照人物情報以外の人物情報に含まれる人物画像の、前記固有特徴に基づいた尤度である固有特徴尤度を算出する固有特徴尤度算出部と、
　前記固有特徴尤度算出部により算出された固有特徴尤度のそれぞれについて所定の閾値よりも低いか否かを判定し、前記所定の閾値よりも低い固有特徴尤度の人物情報を、前記検索結果人物情報記憶部より削除する固有特徴尤度閾値判定部とをさらに含み、
　前記時空間尤度閾値判定部は、前記時空間尤度算出部により新たに算出された時空間尤度のそれぞれについて所定の閾値よりも低いか否かを判定し、前記所定の閾値よりも低くない場合、前記BTF人物画像閾値判定部は、前記BTF人物画像尤度算出部により算出されたBTF人物画像尤度のそれぞれについて、所定の閾値よりも低いか否かを判定し、前記BTF人物画像尤度が所定の閾値よりも低くないとき、前記固有特徴尤度閾値判定部は、前記固有特徴尤度算出部により算出された固有特徴尤度のそれぞれについて所定の閾値よりも低いか否かを判定し、前記所定の閾値よりも低い固有特徴尤度の人物情報を、前記検索結果人物情報記憶部より削除する
　請求項１０に記載の情報処理装置。
　前記固有特徴尤度閾値判定部により前記所定の閾値よりも低い固有特徴尤度の人物情報が、前記検索結果人物情報記憶部より削除されるとき、前記他人情報保持部は、前記所定の閾値よりも低い固有特徴尤度の人物情報を他人の人物情報である他人情報として保持する
　請求項１１に記載の情報処理装置。
　前記固有特徴検索部は、前記同一人物情報保持部に保持された人物情報における人物画像と、前記他人情報保持部に保持された人物情報における人物画像とに基づいた学習により、前記同一人物情報保持部により保持されている人物情報における人物画像と、前記検索対象人物の人物画像との尤度が高くなるような特徴量であって、かつ、前記他人情報保持部により保持されている人物情報における人物画像と、前記検索対象人物の人物画像との尤度が低くなるような特徴量を、固有特徴として選択する
　請求項８に記載の情報処理装置。
　前記固有特徴尤度算出部は、検索対象となる人物の人物画像を含む人物情報である検索対象人物情報の人物画像と、前記検索対照人物情報以外の人物情報に含まれる人物画像とのそれぞれに含まれる人物画像の固有特徴に基づいて、それぞれの人物がどの程度類似しているのかを示す類似度を、前記固有特徴尤度として算出する
　請求項８に記載の情報処理装置。
　前記人物画像尤度算出部は、検索対象となる人物の人物画像を含む人物情報である検索対象人物情報の人物画像と、前記検索対照人物情報以外の人物情報に含まれる人物画像とのそれぞれに含まれる人物画像に基づいて、それぞれの人物がどの程度類似しているのかを示す類似度を、前記人物画像尤度として算出する
　請求項８に記載の情報処理装置。
　前記時空間尤度算出部は、前記確定人物情報以外の人物情報と、前記確定情報が入力された確定人物情報との、前記空間位置座標間の距離を、平均的な人間の移動速度で移動したときの所要時間と、撮像時刻間の時間との関係から前記時空間尤度を算出する
　請求項８に記載の情報処理装置。
　画像を撮像し、人物を検出し、検出した前記人物の画像からなる人物画像を抽出し、前記人物画像に基づいて、前記人物の空間位置座標を検出し、前記人物画像および前記人物の空間位置座標、および前記画像を撮像した撮像時刻とを含む人物情報を出力する複数の撮像部を含む情報処理装置の情報処理方法において、
　検索対象となる人物の人物画像を含む人物情報である検索対象人物情報の人物画像に対する、前記検索対照人物情報以外の人物情報に含まれる人物画像の尤度である人物画像尤度を算出する人物画像尤度算出処理と、
　前記人物画像尤度算出処理により算出された人物画像尤度のそれぞれについて、所定の閾値よりも高いか否かを判定し、前記所定の閾値よりも高い人物画像尤度の人物情報を、前記検索対象人物情報の人物画像の人物と同一の人物の人物画像を含む人物情報である検索結果人物情報として検索する人物画像閾値判定処理と、
　前記人物画像閾値判定処理により検索結果人物情報として検索された人物情報を記憶する検索結果人物情報記憶処理と、
　前記結果人物情報記憶処理により検索結果人物情報として記憶されている人物情報のうち、前記人物画像に基づいて、使用者により、前記検索対象人物情報であることを確定する確定情報の入力を受け付ける操作入力処理と、
　前記結果人物情報記憶処理により検索結果人物情報として記憶されている人物情報のうち、前記確定情報が入力された人物情報である確定人物情報以外の人物情報の、前記確定情報が入力された確定人物情報に対する、前記空間位置座標および撮像時刻に基づいた尤度からなる時空間尤度を算出する時空間尤度算出処理と、
　前記時空間尤度算出処理により算出された時空間尤度のそれぞれについて所定の閾値よりも低いか否かを判定し、前記所定の閾値よりも低い時空間尤度の人物情報を、前記検索結果人物情報記憶処理により記憶された人物情報を削除する時空間尤度閾値判定処理と
　を含む情報処理装置。
　画像を撮像し、人物を検出し、検出した前記人物の画像からなる人物画像を抽出し、前記人物画像に基づいて、前記人物の空間位置座標を検出し、前記人物画像および前記人物の空間位置座標、および前記画像を撮像した撮像時刻とを含む人物情報を出力する複数の撮像部を含む情報処理装置を制御するコンピュータに実行させるプログラムであって、
　検索対象となる人物の人物画像を含む人物情報である検索対象人物情報の人物画像に対する、前記検索対照人物情報以外の人物情報に含まれる人物画像の尤度である人物画像尤度を算出する人物画像尤度算出ステップと、
　前記人物画像尤度算出ステップの処理により算出された人物画像尤度のそれぞれについて、所定の閾値よりも高いか否かを判定し、前記所定の閾値よりも高い人物画像尤度の人物情報を、前記検索対象人物情報の人物画像の人物と同一の人物の人物画像を含む人物情報である検索結果人物情報として検索する人物画像閾値判定ステップと、
　前記人物画像閾値判定ステップの処理により検索結果人物情報として検索された人物情報を記憶する検索結果人物情報記憶ステップと、
　前記結果人物情報記憶ステップの処理により検索結果人物情報として記憶されている人物情報のうち、前記人物画像に基づいて、使用者により、前記検索対象人物情報であることを確定する確定情報の入力を受け付ける操作入力ステップと、
　前記結果人物情報記憶ステップの処理により検索結果人物情報として記憶されている人物情報のうち、前記確定情報が入力された人物情報である確定人物情報以外の人物情報の、前記確定情報が入力された確定人物情報に対する、前記空間位置座標および撮像時刻に基づいた尤度からなる時空間尤度を算出する時空間尤度算出ステップと、
　前記時空間尤度算出ステップの処理により算出された時空間尤度のそれぞれについて所定の閾値よりも低いか否かを判定し、前記所定の閾値よりも低い時空間尤度の人物情報を、前記検索結果人物情報記憶部より削除する時空間尤度閾値判定ステップと
　を含む処理をコンピュータに実行させるプログラム。