JPWO2014103673A1 - 情報処理システム、情報処理方法及びプログラム - Google Patents
情報処理システム、情報処理方法及びプログラム Download PDFInfo
- Publication number
- JPWO2014103673A1 JPWO2014103673A1 JP2014554282A JP2014554282A JPWO2014103673A1 JP WO2014103673 A1 JPWO2014103673 A1 JP WO2014103673A1 JP 2014554282 A JP2014554282 A JP 2014554282A JP 2014554282 A JP2014554282 A JP 2014554282A JP WO2014103673 A1 JPWO2014103673 A1 JP WO2014103673A1
- Authority
- JP
- Japan
- Prior art keywords
- moving body
- area
- information processing
- video
- imaging device
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000010365 information processing Effects 0.000 title claims abstract description 82
- 238000003672 processing method Methods 0.000 title claims abstract description 18
- 238000003384 imaging method Methods 0.000 claims abstract description 82
- 238000000605 extraction Methods 0.000 claims abstract description 20
- 238000000034 method Methods 0.000 claims description 38
- 238000012937 correction Methods 0.000 claims description 35
- 230000008569 process Effects 0.000 claims description 25
- 238000004364 calculation method Methods 0.000 claims description 17
- 230000008859 change Effects 0.000 claims description 9
- 238000012545 processing Methods 0.000 claims description 9
- 238000001514 detection method Methods 0.000 abstract description 20
- 238000012544 monitoring process Methods 0.000 description 33
- 230000006870 function Effects 0.000 description 16
- 238000010586 diagram Methods 0.000 description 9
- 238000005286 illumination Methods 0.000 description 9
- 238000004891 communication Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 4
- 230000002093 peripheral effect Effects 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 239000000284 extract Substances 0.000 description 3
- 230000008929 regeneration Effects 0.000 description 3
- 238000011069 regeneration method Methods 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000005401 electroluminescence Methods 0.000 description 2
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012806 monitoring device Methods 0.000 description 1
- 239000002245 particle Substances 0.000 description 1
- 230000001172 regenerating effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
- H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B13/00—Burglar, theft or intruder alarms
- G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
- G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
- G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
- G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
- G08B13/19602—Image analysis to detect motion of the intruder, e.g. by frame subtraction
- G08B13/19608—Tracking movement of a target, e.g. by detecting an object predefined as a target, using target direction and or velocity to predict its new position
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B13/00—Burglar, theft or intruder alarms
- G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
- G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
- G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
- G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
- G08B13/19639—Details of the system layout
- G08B13/19645—Multiple cameras, each having view on one of a plurality of scenes, e.g. multiple cameras for multi-room surveillance or for tracking an object by view hand-over
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Closed-Circuit Television Systems (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
【課題】複数の撮影装置に係る人物の対応関係を好適に推定することのできる情報処理システム、情報処理方法及びプログラムを提供する。【解決手段】複数の撮影装置で撮影された映像の入力を受けるオブジェクト検出・追跡部１１０と、複数の撮影装置のうちの第１の撮影装置により撮影された映像に映る移動体と、複数の撮影装置のうちの第２の撮影装置により撮影された映像内の、他の領域よりも特徴量抽出に優れた適正領域にある移動体とが、同一の移動体であるか否かを特徴量の類似度に応じて判別する対応関係予測部１７０とを備える。
Description
本発明に係るいくつかの態様は、情報処理システム、情報処理方法及びプログラムに関する。
近年、複数のビデオカメラ（撮影装置）で撮影した映像を利用して広範囲にわたる監視を行うシステムが考えられている。例えば特許文献１は、カメラ間の連結関係情報を用いてカメラ間にまたがる人物の追尾（モニタリング）を適切に行うことのできる装置を開示している。この装置は、カメラ視野に出現した点（Ｉｎ点）と、カメラ視野から消失した点（Ｏｕｔ点）における人物特徴量の類似度に応じて、人物の対応関係を求める。
しかしながら、特許文献１記載の手法のようなカメラ視野に出現した点やカメラ視野から消失した点での人物特徴量を抽出する手法では、好適な特徴量抽出を行えないために、人物の対応関係を好適に求められない可能性がある。例えば、カメラ視野に出現した点やカメラ視野から消失する点の照明条件が逆光の場合には、色などの各種特徴を好適に抽出することができないため、対応関係の評価を誤る可能性がある。
本発明のいくつかの態様は前述の課題に鑑みてなされたものであり、複数の撮影装置に係る人物の対応関係を好適に推定することのできる情報処理システム、情報処理方法及びプログラムを提供することを目的の１つとする。
本発明に係る１の情報処理システムは、複数の撮影装置で撮影された映像の入力を受ける入力手段と、前記複数の撮影装置のうちの第１の撮影装置により撮影された映像に映る移動体と、前記複数の撮影装置のうちの第２の撮影装置により撮影された映像内の、他の領域よりも特徴量抽出に優れた適正領域にある移動体とが、同一の移動体であるか否かを特徴量の類似度に応じて判別する判別手段とを備える。
本発明に係る１の情報処理方法は、複数の撮影装置で撮影された映像の入力を受けるステップと、前記複数の撮影装置のうちの第１の撮影装置により撮影された映像に映る移動体と、前記複数の撮影装置のうちの第２の撮影装置により撮影された映像内の、予め定められた適正領域にある移動体とが、同一の移動体であるか否かを類似度に応じて判別するステップとを情報処理システムが行う。
本発明に係る１のプログラムは、複数の撮影装置で撮影された映像の入力を受ける処理と、前記複数の撮影装置のうちの第１の撮影装置により撮影された映像に映る移動体と、前記複数の撮影装置のうちの第２の撮影装置により撮影された映像内の、予め定められた適正領域にある移動体とが、同一の移動体であるか否かを類似度に応じて判別する処理とをコンピュータに実行させる。
本発明に係る１の情報処理システムは、複数の撮影装置で撮影された映像の入力を受ける入力手段と、前記複数の撮影装置のうちの第１の撮影装置により撮影された映像に映る第１の移動体と、前記複数の撮影装置のうちの第２の撮影装置により撮影された映像に映る第２の移動体とが類似するか否かを、前記第２の撮影装置により撮影された映像内において他の領域よりも適正に判別可能な適正領域に前記第２の移動体が入った際に判別する判別手段とを備える。
本発明に係る１の情報処理方法は、複数の撮影装置で撮影された映像の入力を受けるステップと、前記複数の撮影装置のうちの第１の撮影装置により撮影された映像に映る第１の移動体と、前記複数の撮影装置のうちの第２の撮影装置により撮影された映像に映る第２の移動体とが類似するか否かを、前記第２の撮影装置により撮影された映像内において他の領域よりも適正に判別可能な適正領域に前記第２の移動体が入った際に判別するステップとを情報処理システムが行なう。
本発明に係る１のプログラムは、複数の撮影装置で撮影された映像の入力を受ける処理と、前記複数の撮影装置のうちの第１の撮影装置により撮影された映像に映る第１の移動体と、前記複数の撮影装置のうちの第２の撮影装置により撮影された映像に映る第２の移動体とが類似するか否かを、前記第２の撮影装置により撮影された映像内において他の領域よりも適正に判別可能な適正領域に前記第２の移動体が入った際に判別する処理とをコンピュータに実行させる。
なお、本発明において、「部」や「手段」、「装置」、「システム」とは、単に物理的手段を意味するものではなく、その「部」や「手段」、「装置」、「システム」が有する機能をソフトウェアによって実現する場合も含む。また、１つの「部」や「手段」、「装置」、「システム」が有する機能が２つ以上の物理的手段や装置により実現されても、２つ以上の「部」や「手段」、「装置」、「システム」の機能が１つの物理的手段や装置により実現されても良い。
本発明によれば、複数の撮影装置に係る人物の対応関係を好適に推定することのできる情報処理システム、情報処理方法及びプログラムを提供することができる。
以下に本発明の実施形態を説明する。以下の説明及び参照する図面の記載において、同一又は類似の構成には、それぞれ同一又は類似の符号が付されている。
（１ 第１実施形態）
図１乃至図５は、第１実施形態を説明するための図である。以下、これらの図を参照しながら、以下の流れに沿って本実施形態を説明する。まず、「１．１」でシステム構成の概略を示すと共に、第１実施形態全体の概要を示す。その上で、「１．２」でシステムの機能構成を説明し、「１．３」で処理の流れを説明する。「１．４」では、本システムを実現可能なハードウェア構成の具体例を示す。最後に「１．５」以降で、本実施形態に係る効果などを説明する。
図１乃至図５は、第１実施形態を説明するための図である。以下、これらの図を参照しながら、以下の流れに沿って本実施形態を説明する。まず、「１．１」でシステム構成の概略を示すと共に、第１実施形態全体の概要を示す。その上で、「１．２」でシステムの機能構成を説明し、「１．３」で処理の流れを説明する。「１．４」では、本システムを実現可能なハードウェア構成の具体例を示す。最後に「１．５」以降で、本実施形態に係る効果などを説明する。
（１．１ システム構成及び概要）
図１を参照しながら、本実施形態に係る情報処理システムである監視システム１のシステム構成を説明する。図１は、監視システム１のシステム構成を示すブロック図である。
図１を参照しながら、本実施形態に係る情報処理システムである監視システム１のシステム構成を説明する。図１は、監視システム１のシステム構成を示すブロック図である。
監視システム１は、大きく分けて、情報処理サーバ１００と、映像（動画像）を撮影（撮像）する複数のビデオカメラ２００（ビデオカメラ２００Ａ乃至２００Ｎを総称してビデオカメラ２００と呼ぶ。）とから構成される。
以下、監視システム１は、ビデオカメラ２００で撮影された人物を監視するためのシステムであるものとして説明するが、監視対象はこれに限られるものではない。例えば、クルマやバイク等の移動する物体（オブジェクト／移動体）であっても良い。
ビデオカメラ２００は、映像を撮影すると共に、当該撮影した映像内に人物がいるか否かを判別した上で、当該人物に係る位置や特徴量などの情報を、撮影映像と共に情報処理サーバ１００へと送信する。また、ビデオカメラ２００は、撮影した映像内の人物追跡も行うことができる。
なお、人物の検出や特徴量の抽出、カメラ内の人物追跡などの処理は、例えば情報処理サーバ１００や、図示しない他の情報処理装置上で行なっても良い。以下では、ビデオカメラ２００がこれらの処理を行うものとして説明する。
情報処理サーバ１００は、ビデオカメラ２００で撮影された映像を解析することにより、人物の検出や、追跡する人物の登録、登録された人物の追跡などの各種処理を行う。
なお、以下ではビデオカメラ２００により撮影されるリアルタイムの映像を元に人物監視を行う場合を中心に説明するが、これに限られるものではなく、例えば、ビデオカメラ２００により撮影された後、記憶装置（例えば、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）やＶＣＲ（Ｖｉｄｅｏ Ｃａｓｓｅｔｔｅ Ｒｅｃｏｒｄｅｒ）などに記憶された映像を対象に監視（分析）することも考えられる。更に、当該記憶装置に記憶された映像を逆順に再生（逆再生）した上で、当該逆再生した映像を対象に監視することも考えられる。通常、ある人物が不審な行動を取った場合には、その人物がその行為までにどのような行動を取ったかを調べる必要があるため、このような逆再生による監視手段を持つことは極めて有効である。
情報処理サーバ１００による人物監視において、情報処理サーバ１００は、例えば図示しない表示装置に監視用の画面を出力すると共に、追跡対象の人物として登録された人物が映像上に現れたか否か等の情報を、当該監視用画面に出力することが可能である。このため、情報処理サーバ１００は、あるビデオカメラ２００で撮影された人物（例えば、追跡対象として登録された人物）が他のビデオカメラ２００で撮影された人物と同一であるか否かを判別する機能（人物の対応関係を判別する機能）を有する。
なお、情報処理サーバ１００は、追跡対象の人物として登録された人物が映像上に現れたか否か等を、図示しない音出力手段によって音で出力しても良く、監視者への報知の方法は限定されない。
なお、情報処理サーバ１００は、追跡対象の人物として登録された人物が映像上に現れたか否か等を、図示しない音出力手段によって音で出力しても良く、監視者への報知の方法は限定されない。
映像上の人物が他のビデオカメラ２００で撮影された人物と同一人物であるか否かの判別方法としては複数考えられるが、その中の１つの手法として、例えばそれぞれの人物に係る人物画像から特徴量を抽出し、特徴量の類似度が閾値を超えている場合に、同一人物であると判断する手法が考えられる。
このとき、人物画像から抽出する特徴量としては、例えば色情報や姿勢、高さ等に係る特徴量が考えられる。しかしながら、画像内の人物の位置によっては、好適な特徴量を抽出できないことが考えられる。例えば、照明が逆光になる場合や、薄暗いために人物画像を認識しづらい場合、橙色等の特定色の照明が近傍にある場合、何らかの物体の物陰に入りやすい（人物全体が映りづらい）領域である場合、等である。そこで本実施形態に係る情報処理サーバ１００は、ビデオカメラ２００で撮影される映像内のエリア適合度が他の領域よりも高い領域（適正領域ともいう。）にある場合に特徴量を抽出して、当該特徴量を元に同一人物であるか否かの判別を行う。
この点、図２を参照しながら説明する。図２はビデオカメラ２００による撮影映像２０の具体例を示す図である。図２の撮影映像２０には、人物Ｐが映っており、当該人物Ｐは進行方向ａに移動しているものとする。ここで、映像２０の周辺領域２２は、例えば人物Ｐが進行方向を変えやすい位置であったり、照明が薄暗かったりといった理由により人物Ｐの特徴量にばらつきが発生しやすい、すなわち特徴量の抽出に好適でない領域であるものとする。このような状況において、本実施形態に係る情報処理サーバ１００は領域２１を特徴量の抽出に適した適正領域であるものと認識し、人物Ｐが周辺領域２２にいる間には対応付けの処理を保留する。その後、人物Ｐが適正領域２１に入ると、人物Ｐに係る人物画像から特徴量の抽出を行い、過去に撮影した映像に映る移動体との類似度の判定を行った上で人物の対応付けを行う。あるいは、人物Ｐが周辺領域２２にいる間には、当該人物Ｐに係る人物画像の特徴量（精度が低いと考えられる特徴量）を用いて仮に類似度の判定を行った上で当該判定結果に応じて人物の対応付けを行い、その後、人物Ｐが領域２１に移動した時点で、再度人物の対応付けを行うことも考えられる。以下の説明では、領域２２で仮の対応付けを行った上で、領域２１に移動した時点で、再度人物の対応付けを行うものとして説明する。
このような適正領域２１の判別のため、情報処理サーバ１００は、それぞれのビデオカメラ２００が撮影する映像内を複数の領域に分けて、それらの領域毎に、特徴量抽出に適した領域であるか否かを評価する機能を有する。この適正領域２１を定める手法は複数考えられるが、例えば、ビデオカメラ２００間で確実に対応付けが可能な人物同士を対応付けた上で、当該人物に係る人物画像から抽出される特徴量の変化を学習することによって、他のビデオカメラ２００に係る人物画像の特徴量と類似度の高い特徴量を抽出できる領域をエリア適正度の高い適正領域２１として識別することが考えられる。例えば、移動している人物が監視対象領域に一人しかいない場合には、その人物は確実に同一人物と対応付けが可能なため、その人物の領域の特徴量の変化を学習することで、適正領域２１か否かを判定できる。この際、適正領域２１か否かの判定は、各領域で取得された特徴量同士を比較した上で、それらの特徴量間の類似度が、同一人物と判定するのに十分であるかどうかを調べることで判定可能である。具体的には、それぞれの領域で抽出された特徴量の類似度が一定の閾値以上であれば、適正領域２１と判定することができる。あるいは、基準となる特徴量（例えば、色の特徴の場合には参照色）と、ある領域で取得された特徴量との比較を行い、この類似度が十分高い（例えば、一定の閾値以上）場合に、その領域を適正領域２１と判定することもできる。
適正領域２１を識別するための学習は、システムを設置する際に様々な特徴量を有する人物を歩かせて学習するようにしてもよいし、システムを設置した後、運用中に、確実に人物の対応付けが可能な状況において、学習させるようにしてもよい。確実に対応付けが可能かどうかについては、自動で判定（例えば移動中の人物をカウントし、一人の場合に対応付け可能と判定）してもよいし、オペレータが人手で指定するようにしてもよい。
また、以下では、領域毎の適正度が２段階（適正領域２１か否か）の場合について述べるが、適正度は複数の段階に分けて設定されていてもよい。この場合は、より適正度が高い領域にオブジェクトが移動した際に、判定をし直すようにすればよく、それ以外の動作は、基本的に２段階の場合と同様である。
また、領域毎の適正度の判定は、時間等によって切り替わるようになっていてもよい。例えば、昼と夜で照明条件が変わる場合には、それぞれの照明条件に対して適正度を求めておき、照明条件が切り替わったときに、適正度を切り替えるようにしてもよい。これは、時間によって自動的に切り替わるようになっていてもよいし、照明条件の変化を検知して自動的に切り替わるようになっていてもよい。これは、特定の領域の明るさや色の値が変わったかどうかを検知することによって、判定可能である。この際、既に適正度が求まっている照明条件以外の照明条件であると判定された場合には、その照明条件に対する適正度をその場で学習し、登録するようにしてもよい。この適正度は、それ以降に同じ照明条件になった際に利用可能となる。
あるいは、ビデオカメラのホワイトバランス等の条件の変化に応じて、適正度を切り替えるようにしてもよい。この切り替えは、上述の照明条件の変化の場合と同様である。
（１．２ システムの機能構成）
以下、図３を参照しながら、監視システム１の機能構成を説明する。
以下、図３を参照しながら、監視システム１の機能構成を説明する。
図６に示すように、監視システム１は、画像取得部１０１（画像取得部１０１Ａ乃至１０１Ｎを総称して画像取得部１０１と呼ぶ。）、オブジェクト検出・追跡部１１０（オブジェクト検出・追跡部１１０Ａ乃至１１０Ｎを総称してオブジェクト検出・追跡部１１０と呼ぶ。）、オブジェクト追跡情報ＤＢ（データベース）１２０、次カメラ予測部１３０、カメラ配置情報１４０、エリア適正度算出部１５０、エリア適正度情報１６０、対応関係予測部１７０を含む。
画像取得部１０１は、ビデオカメラ２００が実際のシーンを撮影することにより、撮影映像を取得する。或いは、ビデオカメラ２００が撮影した映像が、ＨＤＤ等の記憶装置に記録（録画）された後、それを再生（ＶＣＲの場合には、再生したアナログ信号をキャプチャ）することによって画像を取得する。
ここで再生とは、符号化された動画像データ（映像データ）を復号して元の絵（フレーム）のデータを生成することをいい、生成した結果を表示画面上に表示することは再生には含まないものとする。また、再生速度は実際の速度（記録された実速度）である必要はなく、可能な場合には、実時間よりも高速に再生（復号）しても良い。更に、全ての映像フレームを復号せず、フレームを飛ばしながら再生することも考えられる。例えば、ＭＰＥＧ−２などの符号化方式で符号化されている場合には、映像データ内にはＩ、Ｐ、Ｂピクチャが存在するが、このうち、Ｉピクチャのみ、或いは、ＩピクチャとＰピクチャのみを復号するようにしても良い。
なお、記憶装置に記録された映像を再生する場合には、順方向の再生により映像を取得する場合と、逆方向の再生により映像を取得する場合とが考えられる。以下では、ビデオカメラ２００で撮影した動画をリアルタイムで、順方向に処理する場合の例を中心に説明する。
オブジェクト検出・追跡部１１０は、オブジェクト検出部１１１（オブジェクト検出部１１１Ａ乃至１１１Ｎを総称してオブジェクト検出部１１１と呼ぶ。）、オブジェクト追跡部１１３Ａ（オブジェクト追跡部１１３Ａ乃至１１３Ｎを総称してオブジェクト追跡部１１３と呼ぶ。）、及びオブジェクト特徴量抽出部１１５（オブジェクト特徴量抽出部１１５Ａ乃至１１５Ｎを総称してオブジェクト特徴量抽出部１１５と呼ぶ。）を含む。オブジェクト検出・追跡部１１０は、オブジェクト検出部１１１において、画像取得部１０１のそれぞれが取得する映像（動画像）から、人物をオブジェクトとして検出し、また、オブジェクト特徴量抽出部１１５において、オブジェクト検出部１１１により検出された人物領域（人物画像）から当該人物に係る特徴量を算出する。より具体的には、例えば、予め生成した背景画像とフレーム画像との差分をとる背景差分法により人物を抽出した上で、人物やその一部の形状などの特徴を学習した検出器を当該抽出した人物領域に対して適用することによって、人物を抽出することが可能となる。人物の特徴量としては、例えば、人物が着ている服の色や模様の特徴を、色ヒストグラムやエッジヒストグラムの形で抽出することができる。
また、オブジェクト追跡部１１３は、時系列の画像（フレーム）間の比較により、オブジェクトとして抽出された人物毎に同一画角内（１台のビデオカメラ２００で撮影された同一の映像内）で追跡し、検出・追跡された人物毎に、オブジェクト追跡情報（オブジェクトとしての人物の位置と特徴量情報の時系列データ）を生成する。フレーム間での人物の追跡には、例えばミーンシフト法による追跡や、パーティクルフィルタを用いた追跡などを用いることが考えられる。オブジェクト追跡部１１５は、生成したオブジェクト追跡情報を、オブジェクト追跡情報ＤＢ１２０に格納すると共に、次カメラ予測部１３０へと出力する。
次カメラ予測部１３０は、オブジェクト追跡部１１３により生成されたオブジェクト追跡情報と、カメラ配置情報１４０とから、人物が映像の画角から外に出た（フレームアウトした）時に、次にどの画像取得部１０１で取得した映像に現れる可能性が高いかを予測すると共に、その結果を示す次カメラ予測情報を生成する。ここで、カメラ配置情報１４０は、配置された複数のビデオカメラ２００間の空間的な位置関係を記述する情報であり、具体的には、例えばビデオカメラ２００間の隣接関係や、ビデオカメラ２００間の距離（或いは、ビデオカメラ２００間の移動に必要となる平均時間）等の情報を含む。なお、隣接関係の情報はビデオカメラ２００の画角と対応付けて記述される。これにより、次カメラ予測部１３０は、人物がフレームアウトする方向に応じて、隣接するビデオカメラ２００（すなわち、人物が現れる可能性のあるビデオカメラ２００）を選択できるようになる。
次カメラ予測部１３０が生成する次カメラ予測情報は、画像取得部１０１毎（ビデオカメラ２００毎）に人物の出現確率、画角内での出現予測位置、出現予測時刻を算出した結果と、人物の特徴量とを含み、追跡人物毎に生成される。例えば、人物Ａがカメラ０１に映っていて、カメラ０２の方向にフレームアウトした場合、カメラ間の平均移動時間を用いて予測する場合には、フレームアウトした時刻に平均移動時間を足した時刻が最も大きくなる確率分布を用いて出現確率を計算できる。この際、平均移動時間を用いる代わりに、フレームアウトする前の移動速度をカメラ０１の追跡結果から算出することによりカメラ０２に到達する時刻を予測した上で、当該時刻に基づいて確率分布を算出しても良い。ここで、確率分布としてはガウス分布等様々な形状のものを用いることができるが、確率分布のパラメータを決定する際には、カメラ０１からカメラ０２への到達時刻のばらつきにかかる情報が重要である。このばらつきに係る情報は、事前に計測することによりデータとして算出しておく、或いは、ユーザによる人物間の対応付けの情報から新たに学習して生成する等の手法により得ることが可能である。また、カメラ０１に隣接するビデオカメラ２００がカメラ０２以外にも存在する場合には、人物が各隣接カメラの方向に移動する可能性を推定した上で、この値を上述の出現確率に乗じて確率を算出しても良い。この推定には、事前に計測した結果などを用いることができる。
対応関係予測部１７０は、人物（オブジェクト／移動体）毎に、次カメラ予測情報に含まれる特徴量と、次に出現する可能性のあるビデオカメラ２００の映像で検出された人物の特徴量とを比較し、特徴量間の距離が閾値よりも小さい（或いは、特徴量間の類似度が閾値よりも高い）ときに、それらの人物同士を同一人物であるものとして対応付け、対応付け情報を出力する。ここで、対応関係予測部１７０は前述の通り、ビデオカメラ２００の映像のうち、エリア適正度情報ＤＢ１６０を参照した上で、エリア適正度が他の領域よりも高い適正領域２１上に人物が位置する場合の特徴量を用いて人物の対応付けを行う。対応関係予測部１７０が作成した対応付け情報は、適宜必要に応じて加工の上、ユーザに人物追跡情報として図示しない表示装置上に表示することが可能である。
エリア適正度算出部１５０は、各画像取得部１０１が取得する各映像を複数の領域にわけ、それぞれの領域に対して、人物の特徴量を抽出するのに適した領域であるか否かを示す尺度であるエリア適正度を算出する。この算出方法の具体例としては、例えば前述の通り、ビデオカメラ２００間で確実に対応付けが可能な人物同士を対応付けた上で（例えば、登場する可能性のある人物が１人しかいない場合や、監視者が人手で人物の対応関係を入力した場合等）、当該人物に係る人物画像から抽出される特徴量の変化を学習することによって、他のビデオカメラ２００に係る人物画像の特徴量と類似度の高い特徴量を抽出できる領域の値が高くなるように、エリア適正度を設定／算出することが考えられる。エリア適正度算出部１５０が算出したエリア適正度は、エリア適正度情報ＤＢ１６０に格納された上で、対応関係予測部１７０から参照される。
（１．３ 処理の流れ）
次に、監視システム１の処理の流れを、図４を参照しながら説明する。図４は、本実施形態に係る情報処理サーバ１００の処理の流れを示すフローチャートである。
次に、監視システム１の処理の流れを、図４を参照しながら説明する。図４は、本実施形態に係る情報処理サーバ１００の処理の流れを示すフローチャートである。
なお、後述の各処理ステップは、処理内容に矛盾を生じない範囲で、任意に順番を変更して若しくは並列に実行することができ、また、各処理ステップ間に他のステップを追加しても良い。更に、便宜上１つのステップとして記載されているステップは複数のステップに分けて実行することもでき、便宜上複数に分けて記載されているステップを１ステップとして実行することもできる。
まず、オブジェクト検出部１１１は、画像取得部１０１で取得した画像内に、検出対象オブジェクトとしての人物が映っているか否かを検出する（Ｓ４０１）。その結果、人物を検出した場合には（Ｓ４０１のＹｅｓ）、オブジェクト特徴量抽出部１１５は当該人物の特徴量を算出し、当該特徴量は、オブジェクト追跡部１１３による人物追跡結果とともにオブジェクト追跡情報ＤＢ１２０に登録される（Ｓ４０３）。なおこのとき、オブジェクト追跡情報ＤＢ１２０に登録される特徴量は、当該画像取得部１０１に係る適正領域２１内に人物がいる際に抽出した特徴量であることが好ましい。
その後、オブジェクト追跡部１１３が当該人物の映像からのフレームアウトを検出すれば（Ｓ４０５）、次カメラ予測部１３０は、オブジェクト追跡部１１３から受け取ったオブジェクト追跡情報と、カメラ配置情報１４０とに基づき、画像取得部１０１で取得した映像からフレームアウトした追跡対象の人物が、次にどの画像取得部１０１の映像に現れる可能性が高いかを予測する（Ｓ４０７）。
その後、次カメラとして予測された画像取得部１０１のいずれかの映像で新たな人物をオブジェクト検出部１１１で検出した場合には（Ｓ４０９のＹｅｓ）、対応関係予測部１７０は、当該人物の位置が、当該画像取得部１０１に係る適正領域２１内であるか否かを判別する（Ｓ４１１）。もし、検出された人物の位置が適正領域２１内であれば（Ｓ４１１のＹｅｓ）、対応関係予測部１７０は当該適正領域２１内で抽出された特徴量と、カメラＡで撮影された人物の特徴量とを比較し、それらの類似度を算出することにより、２人の人物が同一人物であるか否か（人物が対応するか否か）を判別する（Ｓ４１３）。
Ｓ４１１において、検出された人物の位置が適正領域２１にない場合には（Ｓ４１１のＮｏ）、当該領域で検出された特徴量と、カメラＡで撮影された人物の特徴量とを比較することにより、仮の対応付けの判定を行う（Ｓ４１５）。その後、当該人物がエリア適正度の高い適正領域２１に移動した場合には（Ｓ４１７のＹｅｓ、Ｓ４１９のＮｏ、Ｓ４１１のＹｅｓ）、適正領域２１の位置で抽出した移動量を用いて対応付けの判定を行う（Ｓ４１３）。
（１．４ ハードウェア構成の具体例）
以下、図５を参照しながら、上述してきた情報処理サーバ１００をコンピュータにより実現する場合のハードウェア構成の一例を説明する。なお、情報処理サーバ１００の機能は複数の情報処理装置（例えば、サーバとクライアント）により実現することも可能である。
以下、図５を参照しながら、上述してきた情報処理サーバ１００をコンピュータにより実現する場合のハードウェア構成の一例を説明する。なお、情報処理サーバ１００の機能は複数の情報処理装置（例えば、サーバとクライアント）により実現することも可能である。
図５に示すように、情報処理サーバ１００は、プロセッサ５０１、メモリ５０３、記憶装置５０５、入力インタフェース（Ｉ／Ｆ）５０７、データＩ／Ｆ５０９、通信Ｉ／Ｆ５１１、及び表示装置５１３を含む。
プロセッサ５０１は、メモリ５０３に記憶されているプログラムを実行することにより情報処理サーバ１００における様々な処理を制御する。例えば、図３で説明した次カメラ予測部１３０、対応関係予測部１７０、及びエリア適正度算出部１５０に係る処理は、メモリ５０３に一時記憶された上で、主にプロセッサ５０１上で動作するプログラムとして実現可能である。
メモリ５０３は、例えばＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等の記憶媒体である。メモリ５０３は、プロセッサ５０１によって実行されるプログラムのプログラムコードや、プログラムの実行時に必要となるデータを一時的に記憶する。例えば、メモリ５０３の記憶領域には、プログラム実行時に必要となるスタック領域が確保される。
記憶装置５０５は、例えばＨＤＤやフラッシュメモリ、ＶＣＲ等の不揮発性の記憶媒体である。記憶装置５０５は、オペレーティングシステムや、次カメラ予測部１３０、対応関係予測部１７０、及びエリア適正度算出部１５０を実現するための各種プログラムや、オブジェクト追跡情報ＤＢ１２０、カメラ配置情報１４０、エリア適正度情報ＤＢ１６０を含む各種データ等を記憶する。記憶装置５０５に記憶されているプログラムやデータは、必要に応じてメモリ１０３にロードされることにより、プロセッサ５０１から参照される。
入力Ｉ／Ｆ５０７は、ユーザからの入力を受け付けるためのデバイスである。入力Ｉ／Ｆ１０７の具体例としては、キーボードやマウス、タッチパネル、各種センサ等がある。入力Ｉ／Ｆ１０７は、例えばＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）等のインタフェースを介して情報処理サーバ１００に接続されても良い。
データＩ／Ｆ５０９は、情報処理サーバ１００の外部からデータを入力するためのデバイスである。データＩ／Ｆ５０９の具体例としては、各種記憶媒体に記憶されているデータを読み取るためのドライブ装置等が挙げられる。その場合、データＩ／Ｆ５０９は例えばＵＳＢ等のインタフェースを介して情報処理サーバ１００へと接続される。
通信Ｉ／Ｆ５１１は、情報処理サーバ１００の外部の装置、例えばビデオカメラ２００等との間で有線又は無線によりデータ通信するためのデバイスである。通信Ｉ／Ｆ５１１は情報処理サーバ１００の外部に設けられることも考えられる。その場合、通信Ｉ／Ｆ５１１は、例えばＵＳＢ等のインタフェースを介して情報処理サーバ１００に接続される。
表示装置５１３は、例えば監視用画面等の各種情報を表示するためのデバイスである。例えば図２に図示した監視用の映像は、表示装置５１３が表示することが考えられる。表示装置５１３の具体例としては、例えば、液晶ディスプレイや有機ＥＬ（Ｅｌｅｃｔｒｏ−Ｌｕｍｉｎｅｓｃｅｎｃｅ）ディスプレイ等が考えられる。表示装置５１３は、情報処理サーバ１００の外部に設けられても良い。その場合、表示装置５１３は、例えばディスプレイケーブル等を介して情報処理サーバ１００に接続される。
（１．５ 本実施形態に係る効果）
以上説明したように、本実施形態に係る監視システム１では、追跡対象（監視対象）の人物（オブジェクト／移動体）を追跡する際に、当該追跡対象の人物の特徴量を用いて人物の対応関係を求める。この時、照明などの影響により、映像内の位置によっては好適な特徴量を抽出できないこともあるため、本実施形態に係る監視システム１は、特徴量抽出に好適な適正領域２１を定めた上で、当該適正領域２１内に人物がいる場合の特徴量を重点的に用いて人物の対応関係の推定を行う。これにより、好適な人物間の対応関係の推定が可能となる。
以上説明したように、本実施形態に係る監視システム１では、追跡対象（監視対象）の人物（オブジェクト／移動体）を追跡する際に、当該追跡対象の人物の特徴量を用いて人物の対応関係を求める。この時、照明などの影響により、映像内の位置によっては好適な特徴量を抽出できないこともあるため、本実施形態に係る監視システム１は、特徴量抽出に好適な適正領域２１を定めた上で、当該適正領域２１内に人物がいる場合の特徴量を重点的に用いて人物の対応関係の推定を行う。これにより、好適な人物間の対応関係の推定が可能となる。
更に本実施形態では、人物が適正領域２１内に存在しない場合であっても、適正領域２１外での特徴量を用いて仮の対応関係の推定を行う。これにより、たとえ人物が適正領域２１内に入ることがない場合であっても、対応関係の推定を行うことができる。
（２ 第２実施形態）
以下、図６及び図７を参照しながら、第２実施形態について説明する。図６及び図７は、第２実施形態を説明するための図である。以下、第１実施形態との相違点を中心に第２実施形態について説明する。以下の説明において、第１実施形態と同様の構成については第１実施形態と同一の符号を付すとともに説明を省略している。その他、第１実施形態と同様の作用効果についても、説明を省略している。
以下、図６及び図７を参照しながら、第２実施形態について説明する。図６及び図７は、第２実施形態を説明するための図である。以下、第１実施形態との相違点を中心に第２実施形態について説明する。以下の説明において、第１実施形態と同様の構成については第１実施形態と同一の符号を付すとともに説明を省略している。その他、第１実施形態と同様の作用効果についても、説明を省略している。
システム構成の概要は、図１に示した第１実施形態と同様である。また、本実施形態に係る情報処理サーバ１００を実装可能なハードウェア構成の具体例についても、第１実施形態と同様である。よって、これらについての説明は省略する。
第２実施形態に係る情報処理サーバ１００は、第１実施形態に係る情報処理サーバ１００の機能に加えて、エリア毎に、特徴量を抽出する際の補正情報を算出し、当該補正情報を用いて、人物画像から抽出する特徴量を補正する機能を有する。
（２．１ システムの機能構成）
以下、図６を参照しながら、本実施形態に係る監視システム１の機能構成を説明する。第２の実施形態に係る監視システム１は、第１実施形態に係る監視システム１が有する各機能に加えて、補正情報生成部１８０及び補正情報ＤＢ１９０を有する。第１実施形態に係る監視システム１が有する機能の動作は、第２実施形態においても第１実施形態と同様であるため、ここでは説明を省略する。
以下、図６を参照しながら、本実施形態に係る監視システム１の機能構成を説明する。第２の実施形態に係る監視システム１は、第１実施形態に係る監視システム１が有する各機能に加えて、補正情報生成部１８０及び補正情報ＤＢ１９０を有する。第１実施形態に係る監視システム１が有する機能の動作は、第２実施形態においても第１実施形態と同様であるため、ここでは説明を省略する。
補正情報生成部１８０は、エリア適正度算出部１５０が算出したエリア適正度に応じて、画像取得部１０１が取得する映像内の各領域においてオブジェクト特徴量抽出部１１５が特徴量を抽出する際の補正情報を生成する。より具体的には、明るさの情報であれば、明るさの補正量の値、ホワイトバランスを補正するのであれば、ＲＧＢの各チャネルのゲインの値、あるいは全体の色調を補正するのであれば、その補正変換式（例えば、ＲＧＢのアフィン変換パラメータ）等を補正情報生成部１８０は生成する。これらの補正情報は、各カメラに対して、座標に対応付けて算出される。
この補正情報の生成方法は複数考えられるが、例えば、エリア適正度算出部１５０が算出したエリア適正度が最も高い適正領域２１で抽出された特徴量と、他の各領域で抽出された特徴量との差分に基づき、当該差分を統計的に小さくすることのできる補正量を補正情報とすることが考えられる。このような補正情報は、各画像取得部１０１（ビデオカメラ２００）が取得する各映像内の、各領域に対して算出することが可能である。
補正情報ＤＢ１９０は、各映像の各領域に対して補正情報生成部１８０が生成した補正情報を格納するためのデータベースである。
補正情報ＤＢ１９０は、各映像の各領域に対して補正情報生成部１８０が生成した補正情報を格納するためのデータベースである。
また、本実施形態に係るオブジェクト特徴量抽出部１１５は、補正情報ＤＢ１９０を参照することで、当該補正情報を用いて、検出人物に対して抽出した生の特徴量を補正することが可能である。これにより、たとえ人物Ｐが適正領域２１にいない場合であっても、好適な特徴量を算出することができるため、第１実施形態で説明した仮の対応関係の推定の精度を高めることが可能となる。
（２．２ 処理の流れ）
以下、図７を参照しながら監視システム１が特徴量を補正する際の処理の流れを説明する。なお、第１実施形態で図４を参照しながら説明した人物の対応関係の推定に係る処理の流れは、第２実施形態と同様であるため、説明を省略する。但し、第２実施形態においては、特徴量抽出の際、補正情報ＤＢ１９０を参照して特徴量の補正を行う点が異なる。
以下、図７を参照しながら監視システム１が特徴量を補正する際の処理の流れを説明する。なお、第１実施形態で図４を参照しながら説明した人物の対応関係の推定に係る処理の流れは、第２実施形態と同様であるため、説明を省略する。但し、第２実施形態においては、特徴量抽出の際、補正情報ＤＢ１９０を参照して特徴量の補正を行う点が異なる。
エリア適正度算出部１５０は、必要に応じて、各ビデオカメラ２００に係る映像内の各領域に対して、エリア適正度を算出する（Ｓ７０１）。当該エリア適正度の算出タイミングは、複数考えられるが、例えば人物の対応関係が明らかな人物を検出した際に、当該人物の特徴量の変化を学習データとしてエリア適正度を算出することが考えられる。
補正情報生成部１８０は、エリア適正度算出部１５０が算出した各領域内のエリア適正度に応じて、補正情報を生成する（Ｓ７０３）。この手法としては、例えば前述の通り、最も好適に抽出された特徴量と、各領域で実際に抽出された特徴量との差分を統計的に埋めることのできるパラメータ（補正量）を補正情報とすることが考えられる。
情報処理サーバ１００は、当該補正情報を用いた特徴量の補正を、オブジェクト検出・追跡部１１０に要求する。より具体的には、オブジェクト特徴量抽出部１１５は、補正情報ＤＢ１９０から取得した補正情報に応じて、それ以降に映像から抽出した特徴量を補正し、当該補正後の特徴量をオブジェクト追跡部１１３に出力するようにする。これにより、適正領域２１でなくとも、好適な特徴量を算出することができ、結果として、対応関係予測部１７０における対応関係の推定も好適に行うことが可能となる。
（２．３ 本実施形態に係る効果）
以上説明したように、本実施形態に係る監視システム１では、第１実施形態に係る監視システム１が有する機能に加えて、領域ごとの特徴量抽出に係る補正情報を算出し、当該補正情報を用いて特徴量を補正する機能を有する。これにより、たとえ人物Ｐが適正領域２１にいない場合であっても、好適な特徴量を算出することができるため、第１実施形態で説明した仮の対応関係の推定の精度を高めることが可能となる。
以上説明したように、本実施形態に係る監視システム１では、第１実施形態に係る監視システム１が有する機能に加えて、領域ごとの特徴量抽出に係る補正情報を算出し、当該補正情報を用いて特徴量を補正する機能を有する。これにより、たとえ人物Ｐが適正領域２１にいない場合であっても、好適な特徴量を算出することができるため、第１実施形態で説明した仮の対応関係の推定の精度を高めることが可能となる。
（３ 第３実施形態）
以下、第３実施形態を、図８を参照しながら説明する。図８は、情報処理システムである監視装置８００の機能構成を示すブロック図である。図８に示すように、監視装置８００は、入力部８１０と、判別部８２０とを含む。
入力部８１０は、図示しないビデオカメラ（撮影装置）で撮影された映像の入力を受けることができる。
以下、第３実施形態を、図８を参照しながら説明する。図８は、情報処理システムである監視装置８００の機能構成を示すブロック図である。図８に示すように、監視装置８００は、入力部８１０と、判別部８２０とを含む。
入力部８１０は、図示しないビデオカメラ（撮影装置）で撮影された映像の入力を受けることができる。
判別部８２０は、あるビデオカメラ（第１の撮影装置）で撮影された映像に映る移動体と、そのビデオカメラを含む他のビデオカメラ（第２の撮影装置）で撮影された映像内の、他の領域よりも特徴量抽出に優れた適正領域にある移動体とが、同一の移動体であるか否かを特徴量の類似度に応じて判別する。ここで移動体の具体例としては、人間の他、車や自転車、バイク等を挙げることができる。
このように実装することで、本実施形態に係る監視装置８００によれば、複数の撮影装置に係る人物の対応関係を好適に推定することができる。
（４ 付記事項）
なお、前述の各実施形態の構成は、組み合わせたり或いは一部の構成部分を入れ替えたりしてもよい。また、本発明の構成は前述の実施形態のみに限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々変更を加えてもよい。
なお、前述の各実施形態の構成は、組み合わせたり或いは一部の構成部分を入れ替えたりしてもよい。また、本発明の構成は前述の実施形態のみに限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々変更を加えてもよい。
なお、前述の各実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。また、本発明のプログラムは、上記の各実施形態で説明した各動作を、コンピュータに実行させるプログラムであれば良い。
（付記１）
複数の撮影装置で撮影された映像の入力を受ける入力手段と、前記複数の撮影装置のうちの第１の撮影装置により撮影された映像に映る移動体と、前記複数の撮影装置のうちの第２の撮影装置により撮影された映像内の、他の領域よりも特徴量抽出に優れた適正領域にある移動体とが、同一の移動体であるか否かを特徴量の類似度に応じて判別する判別手段とを備える情報処理システム。
複数の撮影装置で撮影された映像の入力を受ける入力手段と、前記複数の撮影装置のうちの第１の撮影装置により撮影された映像に映る移動体と、前記複数の撮影装置のうちの第２の撮影装置により撮影された映像内の、他の領域よりも特徴量抽出に優れた適正領域にある移動体とが、同一の移動体であるか否かを特徴量の類似度に応じて判別する判別手段とを備える情報処理システム。
（付記２）
映像内の各領域において、移動体の特徴量抽出のエリア適正度を算出する算出手段を更に備え、前記適正領域は、映像内の他の領域よりも、エリア適正度の高い領域である、付記１記載の情報処理システム。
映像内の各領域において、移動体の特徴量抽出のエリア適正度を算出する算出手段を更に備え、前記適正領域は、映像内の他の領域よりも、エリア適正度の高い領域である、付記１記載の情報処理システム。
（付記３）
前記算出手段は、映像内の移動体の移動に応じた特徴量の変化に応じて、映像内の各領域におけるエリア適正度を統計的に算出する、付記２記載の情報処理システム。
前記算出手段は、映像内の移動体の移動に応じた特徴量の変化に応じて、映像内の各領域におけるエリア適正度を統計的に算出する、付記２記載の情報処理システム。
（付記４）
領域毎に、移動体の類似度を算出するための特徴量を補正するための補正情報を生成する手段を更に備える、付記１乃至付記３のいずれか１項記載の情報処理システム。
領域毎に、移動体の類似度を算出するための特徴量を補正するための補正情報を生成する手段を更に備える、付記１乃至付記３のいずれか１項記載の情報処理システム。
（付記５）
前記判別手段は、前記第２の撮影装置により撮影された映像内のうちの前記適正領域以外の領域にいる移動体と前記第１の撮影装置により撮影された移動体とが同一であるか否かを判別した後、前記第２の撮影装置により撮影された移動体が前記適正領域に移動した際に、再度、当該移動体が前記第１の撮影装置により撮影された移動体と同一であるか否かを判別する、付記１乃至付記４のいずれか１項記載の情報処理システム。
前記判別手段は、前記第２の撮影装置により撮影された映像内のうちの前記適正領域以外の領域にいる移動体と前記第１の撮影装置により撮影された移動体とが同一であるか否かを判別した後、前記第２の撮影装置により撮影された移動体が前記適正領域に移動した際に、再度、当該移動体が前記第１の撮影装置により撮影された移動体と同一であるか否かを判別する、付記１乃至付記４のいずれか１項記載の情報処理システム。
（付記６）
前記算出手段は、映像内の各領域において、複数の異なる条件下でそれぞれエリア適正度を算出し、前記判別手段は、前記算出手段が算出した複数のエリア適正度のうち、条件の対応するエリア適正度により定められる前記適正領域を用いて、同一の移動体であるか否かを判別する、付記２乃至付記５のいずれか１項記載の情報処理システム。
前記算出手段は、映像内の各領域において、複数の異なる条件下でそれぞれエリア適正度を算出し、前記判別手段は、前記算出手段が算出した複数のエリア適正度のうち、条件の対応するエリア適正度により定められる前記適正領域を用いて、同一の移動体であるか否かを判別する、付記２乃至付記５のいずれか１項記載の情報処理システム。
（付記７）
前記判別手段による判別結果を報知する、付記１乃至付記６のいずれか１項記載の情報処理システム。
前記判別手段による判別結果を報知する、付記１乃至付記６のいずれか１項記載の情報処理システム。
（付記８）
複数の撮影装置で撮影された映像の入力を受けるステップと、前記複数の撮影装置のうちの第１の撮影装置により撮影された映像に映る移動体と、前記複数の撮影装置のうちの第２の撮影装置により撮影された映像内の、予め定められた適正領域にある移動体とが、同一の移動体であるか否かを類似度に応じて判別するステップとを情報処理システムが行う情報処理方法。
複数の撮影装置で撮影された映像の入力を受けるステップと、前記複数の撮影装置のうちの第１の撮影装置により撮影された映像に映る移動体と、前記複数の撮影装置のうちの第２の撮影装置により撮影された映像内の、予め定められた適正領域にある移動体とが、同一の移動体であるか否かを類似度に応じて判別するステップとを情報処理システムが行う情報処理方法。
（付記９）
映像内の各領域において、移動体の特徴量抽出のエリア適正度を算出するステップを更に備え、前記適正領域は、映像内の他の領域よりも、エリア適正度の高い領域である、付記８記載の情報処理方法。
映像内の各領域において、移動体の特徴量抽出のエリア適正度を算出するステップを更に備え、前記適正領域は、映像内の他の領域よりも、エリア適正度の高い領域である、付記８記載の情報処理方法。
（付記１０）
映像内の移動体の移動に応じた特徴量の変化に応じて、映像内の各領域におけるエリア適正度を統計的に算出する、付記９記載の情報処理方法。
映像内の移動体の移動に応じた特徴量の変化に応じて、映像内の各領域におけるエリア適正度を統計的に算出する、付記９記載の情報処理方法。
（付記１１）
領域毎に、移動体の類似度を算出するための特徴量を補正するための補正情報を生成するステップを更に備える、付記８乃至付記１０のいずれか１項記載の情報処理方法。
領域毎に、移動体の類似度を算出するための特徴量を補正するための補正情報を生成するステップを更に備える、付記８乃至付記１０のいずれか１項記載の情報処理方法。
（付記１２）
前記第２の撮影装置により撮影された映像内のうちの前記適正領域以外の領域にいる移動体と前記第１の撮影装置により撮影された移動体とが同一であるか否かを判別した後、前記第２の撮影装置により撮影された移動体が前記適正領域に移動した際に、再度、当該移動体が前記第１の撮影装置により撮影された移動体と同一であるか否かを判別する、付記８乃至付記１１のいずれか１項記載の情報処理方法。
前記第２の撮影装置により撮影された映像内のうちの前記適正領域以外の領域にいる移動体と前記第１の撮影装置により撮影された移動体とが同一であるか否かを判別した後、前記第２の撮影装置により撮影された移動体が前記適正領域に移動した際に、再度、当該移動体が前記第１の撮影装置により撮影された移動体と同一であるか否かを判別する、付記８乃至付記１１のいずれか１項記載の情報処理方法。
（付記１３）
映像内の各領域において、複数の異なる条件下でそれぞれエリア適正度を算出し、算出した複数のエリア適正度のうち、条件の対応するエリア適正度により定められる前記適正領域を用いて、同一の移動体であるか否かを判別する、付記９乃至付記１２のいずれか１項記載の情報処理方法。
映像内の各領域において、複数の異なる条件下でそれぞれエリア適正度を算出し、算出した複数のエリア適正度のうち、条件の対応するエリア適正度により定められる前記適正領域を用いて、同一の移動体であるか否かを判別する、付記９乃至付記１２のいずれか１項記載の情報処理方法。
（付記１４）
同一の移動体であるか否かの判別結果を報知する、付記８乃至付記１３のいずれか１項記載の情報処理方法。
同一の移動体であるか否かの判別結果を報知する、付記８乃至付記１３のいずれか１項記載の情報処理方法。
（付記１５）
複数の撮影装置で撮影された映像の入力を受ける処理と、前記複数の撮影装置のうちの第１の撮影装置により撮影された映像に映る移動体と、前記複数の撮影装置のうちの第２の撮影装置により撮影された映像内の、予め定められた適正領域にある移動体とが、同一の移動体であるか否かを類似度に応じて判別する処理とをコンピュータに実行させるプログラム。
複数の撮影装置で撮影された映像の入力を受ける処理と、前記複数の撮影装置のうちの第１の撮影装置により撮影された映像に映る移動体と、前記複数の撮影装置のうちの第２の撮影装置により撮影された映像内の、予め定められた適正領域にある移動体とが、同一の移動体であるか否かを類似度に応じて判別する処理とをコンピュータに実行させるプログラム。
（付記１６）
映像内の各領域において、移動体の特徴量抽出のエリア適正度を算出する算出処理を更に実行させ、前記適正領域は、映像内の他の領域よりも、エリア適正度の高い領域である、付記１５記載のプログラム。
映像内の各領域において、移動体の特徴量抽出のエリア適正度を算出する算出処理を更に実行させ、前記適正領域は、映像内の他の領域よりも、エリア適正度の高い領域である、付記１５記載のプログラム。
（付記１７）
前記算出処理では、映像内の移動体の移動に応じた特徴量の変化に応じて、映像内の各領域におけるエリア適正度を統計的に算出する、付記１６記載のプログラム。
前記算出処理では、映像内の移動体の移動に応じた特徴量の変化に応じて、映像内の各領域におけるエリア適正度を統計的に算出する、付記１６記載のプログラム。
（付記１８）
領域毎に、移動体の類似度を算出するための特徴量を補正するための補正情報を生成する処理を更に実行させる、付記１５乃至付記１７のいずれか１項記載のプログラム。
領域毎に、移動体の類似度を算出するための特徴量を補正するための補正情報を生成する処理を更に実行させる、付記１５乃至付記１７のいずれか１項記載のプログラム。
（付記１９）
前記判別する処理では、前記第２の撮影装置により撮影された映像内のうちの前記適正領域以外の領域にいる移動体と前記第１の撮影装置により撮影された移動体とが同一であるか否かを判別した後、前記第２の撮影装置により撮影された移動体が前記適正領域に移動した際に、再度、当該移動体が前記第１の撮影装置により撮影された移動体と同一であるか否かを判別する、付記１５乃至付記１８のいずれか１項記載のプログラム。
前記判別する処理では、前記第２の撮影装置により撮影された映像内のうちの前記適正領域以外の領域にいる移動体と前記第１の撮影装置により撮影された移動体とが同一であるか否かを判別した後、前記第２の撮影装置により撮影された移動体が前記適正領域に移動した際に、再度、当該移動体が前記第１の撮影装置により撮影された移動体と同一であるか否かを判別する、付記１５乃至付記１８のいずれか１項記載のプログラム。
（付記２０）
映像内の各領域において、複数の異なる条件下でそれぞれエリア適正度を算出し、算出した複数のエリア適正度のうち、条件の対応するエリア適正度により定められる前記適正領域を用いて、同一の移動体であるか否かを判別する、付記１６乃至付記１９のいずれか１項記載のプログラム。
映像内の各領域において、複数の異なる条件下でそれぞれエリア適正度を算出し、算出した複数のエリア適正度のうち、条件の対応するエリア適正度により定められる前記適正領域を用いて、同一の移動体であるか否かを判別する、付記１６乃至付記１９のいずれか１項記載のプログラム。
（付記２１）
同一の移動体であるか否かの判別結果を報知する、付記１５乃至付記２０のいずれか１項記載のプログラム。
同一の移動体であるか否かの判別結果を報知する、付記１５乃至付記２０のいずれか１項記載のプログラム。
（付記２２）
複数の撮影装置で撮影された映像の入力を受ける入力手段と、前記複数の撮影装置のうちの第１の撮影装置により撮影された映像に映る第１の移動体と、前記複数の撮影装置のうちの第２の撮影装置により撮影された映像に映る第２の移動体とが類似するか否かを、前記第２の撮影装置により撮影された映像内において他の領域よりも適正に判別可能な適正領域に前記第２の移動体が入った際に判別する判別手段とを備える情報処理システム。
複数の撮影装置で撮影された映像の入力を受ける入力手段と、前記複数の撮影装置のうちの第１の撮影装置により撮影された映像に映る第１の移動体と、前記複数の撮影装置のうちの第２の撮影装置により撮影された映像に映る第２の移動体とが類似するか否かを、前記第２の撮影装置により撮影された映像内において他の領域よりも適正に判別可能な適正領域に前記第２の移動体が入った際に判別する判別手段とを備える情報処理システム。
（付記２３）
前記適正領域を目視可能に表示する表示手段を更に備える付記２２記載の情報処理システム。
前記適正領域を目視可能に表示する表示手段を更に備える付記２２記載の情報処理システム。
（付記２４）
複数の撮影装置で撮影された映像の入力を受けるステップと、前記複数の撮影装置のうちの第１の撮影装置により撮影された映像に映る第１の移動体と、前記複数の撮影装置のうちの第２の撮影装置により撮影された映像に映る第２の移動体とが類似するか否かを、前記第２の撮影装置により撮影された映像内において他の領域よりも適正に判別可能な適正領域に前記第２の移動体が入った際に判別するステップとを情報処理システムが行なう情報処理方法。
複数の撮影装置で撮影された映像の入力を受けるステップと、前記複数の撮影装置のうちの第１の撮影装置により撮影された映像に映る第１の移動体と、前記複数の撮影装置のうちの第２の撮影装置により撮影された映像に映る第２の移動体とが類似するか否かを、前記第２の撮影装置により撮影された映像内において他の領域よりも適正に判別可能な適正領域に前記第２の移動体が入った際に判別するステップとを情報処理システムが行なう情報処理方法。
（付記２５）
前記適正領域を目視可能に表示する、付記２４記載の情報処理方法。
前記適正領域を目視可能に表示する、付記２４記載の情報処理方法。
（付記２６）
複数の撮影装置で撮影された映像の入力を受ける処理と、前記複数の撮影装置のうちの第１の撮影装置により撮影された映像に映る第１の移動体と、前記複数の撮影装置のうちの第２の撮影装置により撮影された映像に映る第２の移動体とが類似するか否かを、前記第２の撮影装置により撮影された映像内において他の領域よりも適正に判別可能な適正領域に前記第２の移動体が入った際に判別する処理とをコンピュータに実行させるプログラム。
複数の撮影装置で撮影された映像の入力を受ける処理と、前記複数の撮影装置のうちの第１の撮影装置により撮影された映像に映る第１の移動体と、前記複数の撮影装置のうちの第２の撮影装置により撮影された映像に映る第２の移動体とが類似するか否かを、前記第２の撮影装置により撮影された映像内において他の領域よりも適正に判別可能な適正領域に前記第２の移動体が入った際に判別する処理とをコンピュータに実行させるプログラム。
（付記２７）
前記適正領域を目視可能に表示する、付記２６記載のプログラム。
前記適正領域を目視可能に表示する、付記２６記載のプログラム。
この出願は、２０１２年１２月２８日に出願された日本出願特願２０１２−２８７７５９を基礎とする優先権を主張し、その開示の全てをここに取り込む。
１・・・監視システム、２０・・・撮影映像、２１・・・適正領域、２２・・・周辺領域、１０１・・・画像取得部、１１０・・・オブジェクト検出・追跡部、１１１・・・オブジェクト検出部、１１３・・・オブジェクト追跡部、１１５・・・オブジェクト特徴量抽出部、１２０・・・オブジェクト追跡情報データベース、１３０・・・次カメラ予測部、１４０・・・カメラ配置情報、１５０・・・エリア適正度算出部、１６０・・・エリア適正度情報データベース、１７０・・・対応関係予測部、１８０・・・補正情報生成部、１９０・・・補正情報データベース、８００・・・監視装置、８１０・・・入力部、８２０・・・判別部
Claims (12)
- 複数の撮影装置で撮影された映像の入力を受ける入力手段と、
前記複数の撮影装置のうちの第１の撮影装置により撮影された映像に映る移動体と、前記複数の撮影装置のうちの第２の撮影装置により撮影された映像内の、他の領域よりも特徴量抽出に優れた適正領域にある移動体とが、同一の移動体であるか否かを特徴量の類似度に応じて判別する判別手段と
を備える情報処理システム。 - 映像内の各領域において、移動体の特徴量抽出のエリア適正度を算出する算出手段
を更に備え、
前記適正領域は、映像内の他の領域よりも、エリア適正度の高い領域である、
請求項１記載の情報処理システム。 - 前記算出手段は、映像内の移動体の移動に応じた特徴量の変化に応じて、映像内の各領域におけるエリア適正度を統計的に算出する、
請求項２記載の情報処理システム。 - 領域毎に、移動体の類似度を算出するための特徴量を補正するための補正情報を生成する手段
を更に備える、請求項１乃至請求項３のいずれか１項記載の情報処理システム。 - 前記判別手段は、前記第２の撮影装置により撮影された映像内のうちの前記適正領域以外の領域にいる移動体と前記第１の撮影装置により撮影された移動体とが同一であるか否かを判別した後、前記第２の撮影装置により撮影された移動体が前記適正領域に移動した際に、再度、当該移動体が前記第１の撮影装置により撮影された移動体と同一であるか否かを判別する、
請求項１乃至請求項４のいずれか１項記載の情報処理システム。 - 前記算出手段は、映像内の各領域において、複数の異なる条件下でそれぞれエリア適正度を算出し、
前記判別手段は、前記算出手段が算出した複数のエリア適正度のうち、条件の対応するエリア適正度により定められる前記適正領域を用いて、同一の移動体であるか否かを判別する、
請求項２乃至請求項５のいずれか１項記載の情報処理システム。 - 複数の撮影装置で撮影された映像の入力を受けるステップと、
前記複数の撮影装置のうちの第１の撮影装置により撮影された映像に映る移動体と、前記複数の撮影装置のうちの第２の撮影装置により撮影された映像内の、予め定められた適正領域にある移動体とが、同一の移動体であるか否かを類似度に応じて判別するステップと
を情報処理システムが行う情報処理方法。 - 複数の撮影装置で撮影された映像の入力を受ける処理と、
前記複数の撮影装置のうちの第１の撮影装置により撮影された映像に映る移動体と、前記複数の撮影装置のうちの第２の撮影装置により撮影された映像内の、予め定められた適正領域にある移動体とが、同一の移動体であるか否かを類似度に応じて判別する処理と
をコンピュータに実行させるプログラム。 - 複数の撮影装置で撮影された映像の入力を受ける入力手段と、
前記複数の撮影装置のうちの第１の撮影装置により撮影された映像に映る第１の移動体と、前記複数の撮影装置のうちの第２の撮影装置により撮影された映像に映る第２の移動体とが類似するか否かを、前記第２の撮影装置により撮影された映像内において他の領域よりも適正に判別可能な適正領域に前記第２の移動体が入った際に判別する判別手段と
を備える情報処理システム。 - 前記適正領域を目視可能に表示する表示手段
を更に備える請求項９記載の情報処理システム。 - 複数の撮影装置で撮影された映像の入力を受けるステップと、
前記複数の撮影装置のうちの第１の撮影装置により撮影された映像に映る第１の移動体と、前記複数の撮影装置のうちの第２の撮影装置により撮影された映像に映る第２の移動体とが類似するか否かを、前記第２の撮影装置により撮影された映像内において他の領域よりも適正に判別可能な適正領域に前記第２の移動体が入った際に判別するステップと
を情報処理システムが行なう情報処理方法。 - 複数の撮影装置で撮影された映像の入力を受ける処理と、
前記複数の撮影装置のうちの第１の撮影装置により撮影された映像に映る第１の移動体と、前記複数の撮影装置のうちの第２の撮影装置により撮影された映像に映る第２の移動体とが類似するか否かを、前記第２の撮影装置により撮影された映像内において他の領域よりも適正に判別可能な適正領域に前記第２の移動体が入った際に判別する処理と
をコンピュータに実行させるプログラム。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2012287759 | 2012-12-28 | ||
| JP2012287759 | 2012-12-28 | ||
| PCT/JP2013/082914 WO2014103673A1 (ja) | 2012-12-28 | 2013-12-09 | 情報処理システム、情報処理方法及びプログラム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPWO2014103673A1 true JPWO2014103673A1 (ja) | 2017-01-12 |
| JP6292540B2 JP6292540B2 (ja) | 2018-03-14 |
Family
ID=51020765
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2014554282A Active JP6292540B2 (ja) | 2012-12-28 | 2013-12-09 | 情報処理システム、情報処理方法及びプログラム |
Country Status (2)
| Country | Link |
|---|---|
| JP (1) | JP6292540B2 (ja) |
| WO (1) | WO2014103673A1 (ja) |
Families Citing this family (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2016132772A1 (ja) * | 2015-02-19 | 2016-08-25 | シャープ株式会社 | 情報管理装置、情報管理方法、および制御プログラム |
| JP6688975B2 (ja) * | 2016-03-25 | 2020-04-28 | パナソニックＩｐマネジメント株式会社 | 監視装置及び監視システム |
| JP7235049B2 (ja) * | 2018-07-31 | 2023-03-08 | 日本電気株式会社 | 評価装置、評価方法、及びコンピュータプログラム |
| CN111340856B (zh) * | 2018-12-19 | 2024-04-02 | 杭州海康威视系统技术有限公司 | 车辆的跟踪方法、装置、设备及存储介质 |
| WO2020179730A1 (ja) * | 2019-03-04 | 2020-09-10 | 日本電気株式会社 | 情報処理装置、情報処理方法、およびプログラム |
| JP7001125B2 (ja) * | 2020-06-15 | 2022-01-19 | 日本電気株式会社 | 追跡システム、追跡方法および追跡プログラム |
| CN114660097B (zh) * | 2022-03-23 | 2023-06-02 | 成都智元汇信息技术股份有限公司 | 一种基于双源双视角的同步校正方法及系统 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2004336127A (ja) * | 2003-04-30 | 2004-11-25 | Matsushita Electric Ind Co Ltd | 監視システム |
| JP2008219570A (ja) * | 2007-03-06 | 2008-09-18 | Matsushita Electric Ind Co Ltd | カメラ間連結関係情報生成装置 |
| JP2009032116A (ja) * | 2007-07-27 | 2009-02-12 | Toshiba Corp | 顔認証装置、顔認証方法および入退場管理装置 |
| JP2011215804A (ja) * | 2010-03-31 | 2011-10-27 | Nohmi Bosai Ltd | 煙検出装置 |
-
2013
- 2013-12-09 JP JP2014554282A patent/JP6292540B2/ja active Active
- 2013-12-09 WO PCT/JP2013/082914 patent/WO2014103673A1/ja active Application Filing
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2004336127A (ja) * | 2003-04-30 | 2004-11-25 | Matsushita Electric Ind Co Ltd | 監視システム |
| JP2008219570A (ja) * | 2007-03-06 | 2008-09-18 | Matsushita Electric Ind Co Ltd | カメラ間連結関係情報生成装置 |
| JP2009032116A (ja) * | 2007-07-27 | 2009-02-12 | Toshiba Corp | 顔認証装置、顔認証方法および入退場管理装置 |
| JP2011215804A (ja) * | 2010-03-31 | 2011-10-27 | Nohmi Bosai Ltd | 煙検出装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP6292540B2 (ja) | 2018-03-14 |
| WO2014103673A1 (ja) | 2014-07-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6292540B2 (ja) | 情報処理システム、情報処理方法及びプログラム | |
| JP6741130B2 (ja) | 情報処理システム、情報処理方法及びプログラム | |
| JP6213843B2 (ja) | 画像処理システム、画像処理方法及びプログラム | |
| JP6622894B2 (ja) | 多因子画像特徴登録及び追尾のための方法、回路、装置、システム、及び、関連するコンピュータで実行可能なコード | |
| JP7131599B2 (ja) | 情報処理システム、情報処理方法及びプログラム | |
| EP2549738B1 (en) | Method and camera for determining an image adjustment parameter | |
| CN107438173A (zh) | 视频处理装置、视频处理方法和存储介质 | |
| CN105144705B (zh) | 对象监视系统、对象监视方法和用于提取待监视对象的程序 | |
| JP5754990B2 (ja) | 情報処理装置、情報処理方法及びプログラム | |
| JP6210234B2 (ja) | 画像処理システム、画像処理方法及びプログラム | |
| JP6924064B2 (ja) | 画像処理装置およびその制御方法、ならびに撮像装置 | |
| JP6139447B2 (ja) | 画像処理装置、画像処理方法および画像処理プログラム | |
| JP6638723B2 (ja) | 画像解析装置、画像解析方法、及び、画像解析プログラム | |
| KR20110074107A (ko) | 카메라를 이용한 오브젝트 검출 방법 | |
| US20190027004A1 (en) | Method for performing multi-camera automatic patrol control with aid of statistics data in a surveillance system, and associated apparatus | |
| KR20160048428A (ko) | 팬틸트줌 카메라 기반의 영상 재생방법 및 장치 | |
| KR20130062489A (ko) | 객체추적 시스템 및 그 운영방법 | |
| KR101362630B1 (ko) | 디지털 비디오 레코더에서의 피사체 이동 경로 추적 방법 | |
| KR101272631B1 (ko) | 이동물체 감지장치 및 방법 | |
| Fauzi et al. | The importance of bounding box in motion detection | |
| CN107547851A (zh) | 大数据管理系统 | |
| JP5336017B2 (ja) | 撮像装置及び撮像方法 | |
| CN107547835A (zh) | 大数据管理系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20161107 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20180122 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6292540 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20180204 |