JP6741130B2 - 情報処理システム、情報処理方法及びプログラム - Google Patents

情報処理システム、情報処理方法及びプログラム Download PDF

Info

Publication number
JP6741130B2
JP6741130B2 JP2019135824A JP2019135824A JP6741130B2 JP 6741130 B2 JP6741130 B2 JP 6741130B2 JP 2019135824 A JP2019135824 A JP 2019135824A JP 2019135824 A JP2019135824 A JP 2019135824A JP 6741130 B2 JP6741130 B2 JP 6741130B2
Authority
JP
Japan
Prior art keywords
moving body
image
image capturing
information
appears
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019135824A
Other languages
English (en)
Other versions
JP2020014210A (ja
Inventor
亮磨 大網
亮磨 大網
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Publication of JP2020014210A publication Critical patent/JP2020014210A/ja
Application granted granted Critical
Publication of JP6741130B2 publication Critical patent/JP6741130B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/246Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/292Multi-camera tracking
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/52Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/188Capturing isolated or intermittent images triggered by the occurrence of a predetermined event, e.g. an object reaching a predetermined position
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10024Color image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30196Human being; Person
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30232Surveillance
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00Burglar, theft or intruder alarms
    • G08B13/18Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19602Image analysis to detect motion of the intruder, e.g. by frame subtraction
    • G08B13/19608Tracking movement of a target, e.g. by detecting an object predefined as a target, using target direction and or velocity to predict its new position

Description

本発明に係るいくつかの態様は、情報処理システム、情報処理方法及びプログラムに関する。
近年、複数のカメラで撮影される映像を利用して広範囲にわたる監視を可能とするシステムが考えられている。例えば特許文献1は、監視カメラによる撮影可能範囲間を移動体が移動する平均移動時間を用いて、当該移動体が別の撮影可能範囲に到達すると推測される時刻を予測するシステムを開示している。
特開2009−017416号公報
しかしながら、特許文献1のように時間および距離で人物の出現を予測する手法は、監視カメラ間で滞留が発生したり、監視カメラ間にエレベータやエスカレータ等の、徒歩とは異なる移動手段があったりする場合に適用することは困難であった。
本発明のいくつかの態様は前述の課題に鑑みてなされたものであり、追跡対象の移動体の速度にばらつきがある場合であっても、好適に移動体を追跡することのできる情報処理システム、情報処理方法及びプログラムを提供することを目的の1つとする。
本発明の一態様に係る情報処理システムは、複数の撮影装置で撮影された映像の入力を受ける第1の入力手段と、追跡対象の移動体として登録するための情報の入力を受ける第2の入力手段と、前記複数の撮影装置のうちの第1の撮影装置により撮影される映像に映る前記追跡対象の移動体とは異なる他の移動体を、前記第1の撮影装置により撮影される映像に映る移動体の中から選択する選択手段と、前記他の移動体が、前記複数の撮影装置のうちの第2の撮影装置により撮影される映像に現れたか否かに基づいて、前記追跡対象の移動体が前記第2の撮影装置により撮影される映像に現れる出現時刻を予測する予測手段と、を備え、前記予測手段は、前記複数の撮影装置の配置情報に基づき、前記第1の撮影装置により撮影される映像に映る前記追跡対象の移動体が、前記第2の撮影装置により撮影される映像に現れる出現時刻を予測する。
本発明の一態様に係る情報処理方法は、コンピュータが、複数の撮影装置で撮影された映像の入力を受け、追跡対象の移動体として登録するための情報の入力を受け、前記複数の撮影装置のうちの第1の撮影装置により撮影される映像に映る前記追跡対象の移動体とは異なる他の移動体を、前記第1の撮影装置により撮影される映像に映る移動体の中から選択し、前記他の移動体が前記複数の撮影装置のうちの第2の撮影装置により撮影される映像に現れたか否かの情報と、前記複数の撮影装置の配置情報とに基づき、前記第1の撮影装置により撮影される映像に映る前記追跡対象の移動体が、前記第2の撮影装置により撮影される映像に現れる出現時刻を予測する。
本発明の一態様に係るプログラムは、複数の撮影装置で撮影された映像の入力を受ける処理と、追跡対象の移動体として登録するための情報の入力を受ける処理と、前記複数の撮影装置のうちの第1の撮影装置により撮影される映像に映る前記追跡対象の移動体とは異なる他の移動体を、前記第1の撮影装置により撮影される映像に映る移動体の中から選択する処理と、前記他の移動体が前記複数の撮影装置のうちの第2の撮影装置により撮影される映像に現れたか否かに基づいて、前記追跡対象の移動体が前記第2の撮影装置により撮影される映像に現れる出現時刻を予測する処理と、前記複数の撮影装置の配置情報に基づき、前記第1の撮影装置により撮影される映像に映る前記追跡対象の移動体が、前記第2の撮影装置により撮影される映像に現れる出現時刻を予測する処理とを、コンピュータに実行させる。
なお、本発明において、「部」や「手段」、「装置」、「システム」とは、単に物理的手段を意味するものではなく、その「部」や「手段」、「装置」、「システム」が有する機能をソフトウェアによって実現する場合も含む。また、1つの「部」や「手段」、「装置」、「システム」が有する機能が2つ以上の物理的手段や装置により実現されても、2つ以上の「部」や「手段」、「装置」、「システム」の機能が1つの物理的手段や装置により実現されても良い。
本発明によれば、追跡対象の移動体の速度にばらつきがある場合であっても、好適に移動体を追跡することのできる情報処理システム、情報処理方法及びプログラムを提供することができる。
第1実施形態に係る監視システムの概略構成を示す機能ブロック図である。 図1に示す情報処理サーバの概略構成を示す機能ブロック図である。 図1に示す情報処理サーバの処理の流れを示すフローチャートである。 図1に示す情報処理サーバの処理の流れを示すフローチャートである。 図1に示す情報処理サーバを実装可能なハードウェアの構成を示すブロック図である。 第2実施形態に係る監視装置の概略構成を示す機能ブロック図である。
以下に本発明の実施形態を説明する。以下の説明及び参照する図面の記載において、同一又は類似の構成には、それぞれ同一又は類似の符号が付されている。
(1 第1実施形態)
図1乃至図5は、第1実施形態を説明するための図である。以下、これらの図を参照しながら、以下の流れに沿って本実施形態を説明する。まず、「1.1」でシステム構成の概要を示すとともに、第1実施形態全体の概要を示す。その上で、「1.2」でシステムの機能構成を説明し、「1.3」で処理の流れを説明する。「1.4」で、本システムを実現可能なハードウェア構成の具体例を示す。最後に、「1.5」以降で、本実施形態に係る効果などを説明する。
(1.1 概要)
図1を参照しながら、本実施形態に係る情報処理システムである監視システム1のシステム構成を説明する。図1は、監視システム1のシステム構成を示すブロック図である。
監視システム1は、大きく分けて、情報処理サーバ100と、映像(動画像)を撮影(撮像)する複数の撮影装置であるビデオカメラ200(ビデオカメラ200A乃至200Nを総称してビデオカメラ200と呼ぶ。)と、表示装置300と、入力装置400とから構成される。
以下、監視システム1は、ビデオカメラ200で撮影された人物を監視するためのシステムであるものとして説明するが、監視対象はこれに限られるものではない。例えば、車やバイク等の移動する物体(オブジェクト/移動体)であっても良い。
ビデオカメラ200は、映像を撮影すると共に、当該撮影した映像内に人物がいるか否かを判別した上で、当該人物に係る位置や特徴量などの情報を、撮影映像とともに情報処理サーバ100へと送信する。また、ビデオカメラ200は、撮影した映像内の人物追跡も行うことができる。
なお、人物の検出や特徴量の抽出、カメラ内の人物追跡などの処理は、例えば情報処理サーバ100や、図示しない他の情報処理装置上で行なっても良い。以下では、ビデオカメラ200がこれらの処理をおこなうものとして説明する。
情報処理サーバ100は、ビデオカメラ200で撮影された映像を解析することにより、人物の検出や、追跡する人物の登録、登録された人物の追跡等の各種処理を行う。
なお、以下ではビデオカメラ200により撮影されるリアルタイムの映像を元に人物を監視(追跡)する場合を中心に説明するが、これに限られるものではなく、例えば、ビデオカメラ200により撮影された後、記憶装置(例えば、HDD(Hard Disk Drive)やVCR(Video Cassette Recorder)などに記憶された映像を対象に監視(分析)することも考えられる。更に、当該記憶装置に記憶された映像を逆順に再生(逆再生)した上で、当該逆再生した映像を対象に監視することも考えられる。通常、ある人物が不審な行動を取った場合には、その人物がその行為までにどのような行動を取ったかを調べる必要があるため、このような逆再生による監視手段を持つことは、極めて有効である。
情報処理サーバ100による人物監視において、情報処理サーバ100は、例えば表示装置300に監視用の画面を出力すると共に、追跡対象の人物として登録された人物が、近いうちに映像上に現れる可能性が高いこと等を示す情報を、当該監視用画面に出力することが可能である。このため、情報処理サーバ100は、あるビデオカメラ200(ここでは、ビデオカメラ200Aとする)で撮影された人物(例えば、追跡対象として登録された人物)が、他のビデオカメラ200(ここでは、ビデオカメラ200Nとする)に出現する時刻を予測する機能を有する。
なお、ここでは簡単のため、追跡対象人物が出現する可能性のあるビデオカメラ200をビデオカメラ200Nの1台としているが、これに限られるものではなく、出現可能性のあるビデオカメラ200は複数台あっても良い。
ここで、追跡対象の人物がビデオカメラ200Nの撮影範囲に出現する時刻を予測する方法としては、例えば、ビデオカメラ200Aとビデオカメラ200Nの撮影範囲間の距離を、追跡対象人物の平均移動速度で除算する手法などが考えられる。しかしながら、このような手法では、ビデオカメラ200間に滞留が発生しやすい場所があるために追跡対象人物の移動速度にばらつきがある場合や、途中にエレベータ等の移動手段がある場合などには、速度及び距離のみから追跡対象人物の出現時刻を予測することは困難である。
しかしながら、途中に滞留が発生したり異なる移動手段が発生したりした場合であっても、それぞれの人物の移動速度は近い、すなわち、ビデオカメラ200Nへの到達時刻が近似している場合が多い。そこで本実施形態に係る情報処理サーバ100は、追跡対象の人物がビデオカメラ200Aの映像に映っている場合に、その人物の進行方向前方(若しくは後方)にいる人物(以下、基準人物と呼ぶ。)を抽出する。そして、それらの人物が次に現れると予測されるビデオカメラ200Nでは、それらの人物がどこまで現れたかを判別することにより、追跡対象の人物が出現する時刻を予測する。
この際、追跡対象人物の前方にいる全ての人物を追跡するのではなく、特徴量が周囲の人物とは大きく異なる人物を基準人物(基準オブジェクト)として、当該基準人物の出現を元に、追跡対象人物(ターゲットオブジェクト)が出現する時刻を予測することも考えられる。特徴量が異なる人物は、特徴量を元にした人物間の同一性の判別が誤る可能性が低い。よって、このような特徴量の大きく異なる基準人物を元にすることで、追跡対象人物が出現する時刻の予測精度を高めることが可能となる。
またこのとき、例えば基準人物を多数設定する場合には、それらの基準人物の出現数に応じて、追跡対象人物が現れる可能性の高さに相当する重みを積み上げることも考えられる。或いは、特徴量が周囲の人物とは大きく異なる基準人物は常に追跡するようにし、この結果を用いて、ビデオカメラ200Aとビデオカメラ200Nとの移動に要する移動時間を予測することも考えられる。
このような人物追跡を行うために、情報処理サーバ100は、ビデオカメラ200Aで撮影された人物が、他のビデオカメラ200Nで撮影された人物と同一であるか否かを判別する機能(人物の対応関係を判別する機能)を有する。ここで、ビデオカメラ200Aの映像に映る人物とビデオカメラ200Nに映る人物とが同一人物であるか否かを判別する手法は複数考えられるが、その中の1つの手法として、例えばそれぞれの人物に係る人物画像から特徴量を抽出した上で、特徴量の類似度が閾値を超えている場合、若しくは、他の人物との類似度よりも高い場合に、同一人物であると判断する手法が考えられる。なおここで、人物画像から抽出する特徴量としては、例えば色情報や姿勢、高さ、顔等に係る特徴量が考えられる。
情報処理サーバ100における人物監視(人物追跡)において、情報処理サーバ100は、監視用の画面などの各種表示画面を表示装置300に出力すると共に、入力装置400から、人物監視に係る各種操作入力に係る操作信号を受け付ける。より具体的には、例えば、表示装置300に表示する監視用画面では、ビデオカメラ200から入力された映像を複数表示することで、監視対象の人物が今どこにいるのかや、あとどれくらいで現れるのかといった情報を、監視者であるユーザが把握できるようにしている。
表示装置300は、例えば、液晶や有機EL(Electro Luminescence)等に画像を表示するディスプレイである。情報処理サーバ100から出力される監視用画面は、表示装置300が表示する。
入力装置400は、ユーザ(監視者)が各種情報を入力するための装置である。例えば、マウスやタッチパッド、タッチパネルなどの各種ポインティングデバイスやキーボード等が入力装置400に該当する。監視対象人物の登録等の処理は、ユーザの入力装置400に対する操作に基づいてなされる。
なお、情報処理サーバ100と表示装置300、入力装置400の構成は種々変えることができる。例えば、表示装置300及び入力装置400を1台のクライアントとして実現することも考えられるし、或いは、情報処理サーバ100、表示装置300、及び入力装置400の機能を3台以上の情報処理装置により実現しても良い。また、表示装置300及び入力装置400を1台のクライアントとして実現する場合には、本実施形態に係る情報処理サーバ100の一部の機能を、当該クライアントに持たせても良い。
(1.2 システムの機能構成)
以下、図2を参照しながら、監視システム1の機能構成を説明する。図2に示すように、監視システム1は、映像取得部201(映像取得部201A乃至201Nを総称して映像取得部201と呼ぶ。)、オブジェクト解析部203(オブジェクト解析部203A乃至203Nを総称してオブジェクト解析部203と呼ぶ。)、オブジェクト検出・特徴量・追跡情報205と、基準オブジェクト選択部207と、基準オブジェクトカメラ間対応付け部209と、カメラ配置情報211と、ターゲットオブジェクト出現予測部213とを含む。以下、これらの機能を順番に説明する。
(1.2.1 映像取得部201)
映像取得部201は、ビデオカメラ200が実際のシーンを撮影することにより、撮影映像を取得する。或いは、ビデオカメラ200が撮影した映像が、HDD等の記憶装置に記録(録画)された後、それを再生(VCRの場合には、再生したアナログ信号をキャプチャ)することによって画像を取得する。
ここで再生とは、符号化された動画像データ(映像データ)を復号して元の絵(フレーム)のデータを生成することをいい、生成した結果を表示画面上に表示することは再生には含まないものとする。また、再生速度は実際の速度(記録された実速度)である必要はなく、可能な場合には、実時間よりも高速に再生(復号)しても良い。更に、すべての映像フレームを復号せず、フレームを飛ばしながら再生することも考えられる。例えば、MPEG−2等の符号化方式で符号化されている場合には、映像データ内には、I、P、Bピクチャが存在するが、このうち、Iピクチャのみ、或いは、Iピクチャ及びPピクチャのみを復号するようにしても良い。
なお、記憶装置に記録された映像を再生する場合には、順方向の再生により映像を取得する場合と、逆方向の再生により映像を取得する場合とが考えられる。以下では、ビデオカメラ200で撮影した動画をリアルタイムで、順方向に処理する場合の例を中心に説明する。
(1.2.2 オブジェクト解析部203)
オブジェクト解析部203は、映像取得部201が取得した映像から、例えば人物であるオブジェクトを検出すると共に、オブジェクトの特徴量を算出する。より具体的には、例えば、予め生成した背景画像とフレーム画像との差分をとる背景差分法により移動体を抽出した上で、人物やその一部の形状などの特徴を学習した検出器を、当該抽出した移動体領域に対して適用することによって、人物を抽出することが可能となる。人物の特徴量としては、例えば、人物が着ている服の色や模様の特徴を、色ヒストグラムやエッジヒストグラムの形で抽出することが考えられる。また、オブジェクト解析部203は、時系列の画像(フレーム)間の比較により、オブジェクトとして抽出された人物毎に同一画角内(1台のビデオカメラ200で撮影された同一の映像内)で追跡する。
オブジェクト解析部203は、このようなオブジェクトの検出結果や特徴量、追跡結果に関する情報を、検出及び追跡された人物毎に、オブジェクト検出・特徴量・追跡情報205として図示しない記憶媒体に蓄積する。
(1.2.3 基準オブジェクト選択部207)
基準オブジェクト選択部207は、入力されるターゲットオブジェクト情報と、蓄積されたオブジェクト検出・追跡・特徴量情報とから、追跡の基準となるオブジェクト(以下、基準オブジェクトという。)を選択する。ここで、ターゲットオブジェクトとは、追跡対象のオブジェクト(例えば、人物や車等の移動体。)をいい、当該ターゲットオブジェクト情報は、どのオブジェクトを追跡対象のオブジェクトとするかを登録するための情報である。ターゲットオブジェクト情報は、例えば、監視員による入力装置400に対する操作により入力されたり、或いは、図示しない不審行動検知機能により検知された人物として入力されたりすることが考えられる。
基準オブジェクト選択部207による基準オブジェクトの選択方法としては、例えば、ターゲットオブジェクトの移動方向の前方(若しくは少し後方)で、特徴量が特徴的であるオブジェクトを選択することが考えられる。ここで、特徴量が特徴的であるとは、他のオブジェクトの特徴量と大きく異なっていることために追跡しやすい(同一性の判定を間違えにくい)ことをいう。特徴量が特徴的であるか否かの判別方法としては、例えば、ビデオカメラ200の映像内で検出されたオブジェクトの特徴(例えば、人物であれば人物の服の色等)を逐次抽出した上で、それらの頻度分布を算出しておき、出現頻度の低い(例えば、出現頻度が閾値以下)特徴を有するオブジェクトが出現した場合に、そのオブジェクトを基準オブジェクトとすることが考えられる。この他、例えば、前後あるいは周囲に登場するオブジェクトと比較した時に、特徴量が大きく異なるオブジェクトを基準オブジェクトとすることも考えられる。この場合は、周囲のオブジェクト間で特徴量間の類似度を算出した上で、類似度が一定値以下のもの、若しくは、特徴量間の距離を算出した上で、当該距離が一定値以上のものを、基準オブジェクト選択部207は基準オブジェクトとして抽出する。
なお、基準オブジェクトをターゲットオブジェクトの移動方向の前方(若しくは少し後方)から選ぶ場合に当該基準オブジェクトは、必ずしもターゲットオブジェクトと同時に映っている必要はない。よって、ターゲットオブジェクトの移動方向と同じ方向に移動するオブジェクトの中で、ターゲットオブジェクトが映っている時刻の前後に出現し、ターゲットオブジェクトと同じ方向に移動するオブジェクトの中から基準オブジェクトを選べばよい。
基準オブジェクト選択部207による基準オブジェクトの選択は、ターゲットオブジェクト情報の入力とは独立に常に基準オブジェクトとなり得る基準候補オブジェクトを抽出した上で、ターゲットオブジェクト情報の入力に応じて、当該ターゲットオブジェクトの近傍にある基準候補オブジェクトを基準オブジェクトとすることが考えられる。或いは、基準オブジェクト選択部207は、ターゲットオブジェクト情報が入力されてから、ターゲットオブジェクトの近傍にあるオブジェクトの特徴量を比較することにより基準オブジェクトを選択してもよい。
また、ターゲットオブジェクトの前後どの程度の範囲を基準オブジェクトとして選択するかについては、例えば、上述の方法で選ばれる基準オブジェクト候補のうち、ターゲットオブジェクトの出現時刻から前後一定時間内に現れたオブジェクトの中から選択することも考えられるし、或いは、ターゲットオブジェクトの前後一定個数の基準オブジェクト候補を基準オブジェクトとすることも考えられる。
なお、基準オブジェクトを複数選択する場合には、この基準オブジェクトの数を、ビデオカメラ200間の距離や、ビデオカメラ200間に存在する移動手段(エレベータやエスカレータの有無)に応じて、動的に変えても良い。より具体的には、例えば、ビデオカメラ200間の距離が近い場合には、ビデオカメラ200の撮影範囲間の移動による曖昧性が低いため、基準オブジェクトの数を少なくすることが考えられる。一方、ビデオカメラ200間の距離が離れている場合や、ビデオカメラ200の撮影範囲間に、エレベータやエスカレータなどの、オブジェクトの順序が変化しやすい移動手段が存在する場合には、基準として選ぶオブジェクトの数を多くすることが考えられる。
(1.2.4 基準オブジェクトカメラ間対応付け部209)
基準オブジェクトカメラ間対応付け部209は、基準オブジェクト選択部207により選択された基準オブジェクトがビデオカメラ200(以下、ビデオカメラ200Aとする。)の画角から消えた後、次にどのビデオカメラ200に現れるかを、カメラ配置情報211を参照することにより予測すると共に、予測されたビデオカメラ200(以下、ターゲットオブジェクト及び基準オブジェクトが次に出現すると予測されるビデオカメラ200をビデオカメラ200Nとする。)の画角に基準オブジェクトが現れたか否かを判別する。もし、予測されたカメラの映像に現れたオブジェクトが基準オブジェクトであると判断できる場合には、基準オブジェクトカメラ間対応付け部209は、両者を同一のオブジェクトとして対応付ける。
ここで、ビデオカメラ200Nの映像に現れたオブジェクトが、ビデオカメラ200Aの映像から消えた基準オブジェクトであるか否かを判別する方法としては、まず、基準オブジェクトが現れる確率が一定値以上であるビデオカメラ200Nを選択した上で、オブジェクトが当該ビデオカメラ200Nに現れた際に、その出現オブジェクトと基準オブジェクトとの間で特徴量のマッチングを行う。その結果、基準オブジェクトとの類似度が最大(距離値が最小)となる出現オブジェクトを選択し、当該類似度が閾値以上である場合に、基準オブジェクトカメラ間対応付け部209は、その出現オブジェクトが基準オブジェクトと同一であるものとして対応付ける。
あるいは、基準オブジェクトカメラ間対応付け部209は、特徴量間の類似度(あるいは距離)から両オブジェクトが同一である確率(尤度)と共に、基準オブジェクトがビデオカメラ200Nに出現した時刻(出現時刻)に基づいて両オブジェクトが同一である確からしさを求めた確率を算出した上で、両者を掛けあわせた確率が最大となるオブジェクトを特定することも考えられる。その場合、例えば、基準オブジェクトカメラ間対応付け部209は、当該掛けあわせた確率が閾値以上である場合に、当該オブジェクトを基準オブジェクトと同一であるものとして対応付ければ良い。
このとき、基準オブジェクトカメラ間対応付け部209は、個々のオブジェクトの速度も考慮して対応付けを行うことも考えられる。より具体的には、ビデオカメラ200Aの映像において基準オブジェクトがフレームアウトするまでの動きを解析することにより基準オブジェクトの移動速度を算出しておき、当該移動速度に基づいて、出現時刻に基づく出現確率を変化させることが考えられる。この場合、例えば、基準オブジェクトの移動速度が、全オブジェクトの移動速度よりも早い場合には、基準オブジェクトカメラ間対応付け部209は、その速度の差とビデオカメラ200間の距離とに基づいて、出現確率の時間分布を時間方向に圧縮し,確率が最大となる時間を前にシフトさせることになる。
ここで、基準オブジェクトカメラ間対応付け部209が参照するカメラ配置情報211は、配置された複数のビデオカメラ200間の空間的な位置関係を記述する情報であり、具体的には、例えばビデオカメラ200間の隣接関係や、ビデオカメラ200間の距離、或いは、ビデオカメラ200間の移動に必要となる平均時間等の情報を含む。なお、隣接関係の情報はビデオカメラ200の画角と対応付けて記述される。このようなカメラ配置情報211を参照することにより基準オブジェクトカメラ間対応付け部209は、ビデオカメラ200からオブジェクトがフレームアウトした後、次にオブジェクトが出現するビデオカメラ200を予測できる。
(1.2.5 ターゲットオブジェクト出現予測部213)
ターゲットオブジェクト出現予測部213は、基準オブジェクト追跡情報に基づいて、ターゲットのオブジェクトが出現する時刻を予想した上で、当該出現予測結果を出力する。より具体的には、例えばターゲットオブジェクト出現予測部213は、ターゲットオブジェクトと基準オブジェクトとがビデオカメラ200Aで検出された際の位置関係を用いて、ターゲットオブジェクトの前方を移動する基準オブジェクトが逐次ビデオカメラ200Nにあらわれて対応付けられると、それに伴ってターゲットオブジェクトもビデオカメラ200Nに出現する可能性が高くなるものと予測して、その予測結果を出力することが考えられる。このとき、もし、基準オブジェクトの移動速度とターゲットオブジェクトの移動速度とが異なる場合には、その相対速度を加味して予測することも考えられる。すなわち、ターゲットオブジェクト出現予測部213は、オブジェクト検出・特徴量・追跡情報205からターゲットオブジェクトと基準オブジェクトとの相対的な移動速度を算出した上で、この値に基づいて、基準オブジェクトがビデオカメラ200Nで検出されてからターゲットオブジェクトがビデオカメラ200Nに検出されるまでの予想時間を補正することにより、ターゲットオブジェクトの出現時間を予測しても良い。
なおこのとき、ターゲットオブジェクトよりも後方にいた基準オブジェクトがビデオカメラ200Nに出現したにもかかわらず、ターゲットオブジェクトがビデオカメラ200Nで検知できていない場合には、ターゲットオブジェクト出現予測部213は、アラート(警告)を出力しても良い。
ここで、基準オブジェクトがビデオカメラ200Nの映像に現れた後ターゲットオブジェクトが現れる確率は、基準オブジェクト、及びターゲットオブジェクトがビデオカメラ200Aからフレームアウトした時刻と、現在時刻(処理対象の時刻)までにビデオカメラ200Nに現れた基準オブジェクトがフレームインした時刻とから算出することができる。その上で、ターゲットオブジェクト出現予測部213は、1以上の基準オブジェクトがビデオカメラ200Aにフレームアウトした時刻とビデオカメラ200Nにフレームインした時刻とにもとづき、現時点でのビデオカメラ200間の移動にかかる平均時間を予測した上で、これに基づいて、出現確率の時間分布を求める。
この方法としては、例えば、現時点での平均移動時間と通常の平均移動時間との差を求めた上で、通常時の出現確率の時間分布をこの差の分だけ時間方向に伸縮させることが考えられる。このとき、基準オブジェクトにおけるビデオカメラ200間の移動時間のばらつきの度合い(例えば分散)を求めた上で、現時点でのばらつきの度合いも併せて求め、両者を通常時と比較するようにしても良い。この結果、例えば通常時よりもばらつき度合いが大きい場合には、出現確率の時間分布をその分だけ広げれば良い。この際、平均速度やばらつき度合いの算出においては、現在時刻に近いオブジェクトの値ほど重みを大きくすることも考えられる。
また、エスカレータのような移動手段がビデオカメラ200間に入る場合には、エスカレータを歩く人(オブジェクト)と、エスカレータ上で止まる人との間で到着時刻に差が出る。このため、基準オブジェクトから、エスカレータ上で立ち止まっていたと予想される人と、エスカレータ上を歩いていたと予想される人とで分離した上で、それぞれに対して移動予測を行った上で、予測結果を提示する。もし、ターゲットオブジェクトが、その前の追跡結果からエスカレータを歩く可能性が高いことがわかっている場合には、その情報を考慮して、エスカレータ上を歩く人に対する予測精度が高くなる方法で、出現確率を予測するようにしても良い。
更に、エレベータのような移動手段がビデオカメラ200間に入る場合には、オブジェクトの動きがバースト的になる。よってそのような場合には、ターゲットオブジェクト出現予測部213は、ビデオカメラ200Nに現れた基準オブジェクトから、現在どのオブジェクトまでが現在到着しているエレベータに乗っていたかを判定した上で、ターゲットオブジェクトが現在到着したエレベータ、或いは、次、または何回か後に到着するエレベータに乗る確率を算出すれば良い。もし、直近で到着するエレベータにターゲットオブジェクトが乗っている可能性が高い場合には、その後ビデオカメラ200の映像に人が現れた際にターゲットオブジェクトも出現する可能性が高いと予想されるので、出現確率を上げる。一方、次のエレベータにターゲットオブジェクトが乗る可能性が高い場合には、そのエレベータの到着時刻を予想した上で、ターゲットオブジェクトの出現確率の時間分布を算出すれば良い。
以下、より詳細に説明する。現在時刻をtとし、これより時間Δtだけ前に、ビデオカメラ200Nの画角に現れる人物がバースト的に増えたとする。エレベータを下りてからビデオカメラ200Nまでの平均移動時間をTとすると、t−Δtに現れた人物が乗ったエレベータの到着時刻は、t−Δt−Tと推測できる。ビデオカメラ200Aがある階からビデオカメラ200Nがある階へのエレベータでの平均移動時間をTとすると、ビデオカメラ200Aのある階をエレベータが出発した時刻は、t−Δt−T−Tとなる。エレベータの平均出発(到着)間隔をDとすると、n回後のエレベータがビデオカメラ200Aの階を出発する時刻は、t−Δt−T−T+nDとなる。
ターゲットオブジェクトがビデオカメラ200Aの画角外に出た時刻をt’、ビデオカメラ200Aからエレベータまでの平均移動時間をTとすると、ターゲットオブジェクトがエレベータに到着する時刻はt’+ Tとなるため、

[数1]

Figure 0006741130

を満たす整数n回後のエレベータにターゲットオブジェクトが乗る可能性が高いことになる。

[数2]

Figure 0006741130

となるため、ビデオカメラ200Nに現れる時刻は、t−Δt+nDと予測できる。
ここで、Dの値は、ビデオカメラ200Nでオブジェクトがバースト的に増加する時刻の間隔から算出可能である。また、T+Tの値は、ビデオカメラ200Aからエレベータまでとエレベータからビデオカメラ200Nまでの移動時間の合算であるから、ビデオカメラ200Aとエレベータ、エレベータとビデオカメラ200Nの距離がわかっていれば算出可能である。一方、Tの値は、基準オブジェクトのカメラ間移動時間から推定可能である。各基準オブジェクトの移動時間から、T+Tの分を引くと、Tとエレベータの待ち時間の合算値となる。エレベータの待ち時間は、同一エレベータに乗っている基準オブジェクトのうち、エレベータに到着した時刻が最も遅いものが小さくなるため、同一エレベータ内の基準オブジェクト内で最小のカメラ間移動時間からT+Tを減算することで、Tの値をほぼ推定できるようになる。
このようにして求まるTは、厳密には、到着が最も遅かった基準オブジェクトの待ち時間分(これは他の基準オブジェクトの待ち時間よりも大分小さい)だけ大きくなるため、この待ち時間の期待値を算出しておき、この期待値分だけ減じてもよい。
また、基準オブジェクトが一定時間現れないなど、エレベータに乗るまでに待ち行列ができていることが想定される場合には、その情報を考慮して出現確率を算出してもよい。待ち行列による待ち時間をTとすると、上述のnの値は、

[数3]

Figure 0006741130

となる。この場合は、各基準オブジェクトのカメラ間移動時間からT+Tの値を引いた分がT+Tとなるため、上述のTを求めるやり方と同様にして、T+Tの値を求めることができる。
なお、上述の説明では、平均の値のみを考慮し、各時間の値のばらつき度合いを考慮しなかったが、このばらつき度合いも考慮して、T、T、T、T、Dの値を確率的にモデル化してターゲットオブジェクトがビデオカメラ200Nへ到着する時刻を予測するようにしてもよい。
なお、ターゲットオブジェクト出現予測部213によるターゲットオブジェクト出現予測結果は、例えば表示装置300が表示する監視用画面として出力され、監視者であるユーザに報知される。
(1.3 処理の流れ)
次に、監視システム1の処理の流れを、図3及び図4を参照しながら説明する。図3及び図4は、本実施形態に係る情報処理サーバ100の処理の流れを示すフローチャートである。
なお、後述の各処理ステップは、処理内容に矛盾を生じない範囲で、任意に順番を変更して若しくは並列に実行することができ、また、各処理ステップ間に他のステップを追加しても良い。更に、便宜上1つのステップとして記載されているステップは複数のステップに分けて実行することもでき、便宜上複数に分けて記載されているステップを1ステップとして実行することもできる。
(1.3.1 ターゲットオブジェクト/基準オブジェクト選択時の処理の流れ)
まず、図3を参照しながら、ビデオカメラ200Aにおける、ターゲットオブジェクト及び基準オブジェクト選択時の処理の流れを説明する。
オブジェクト解析部203は、映像取得部201から入力されたビデオカメラ200Aで撮影された画像からオブジェクト領域を抽出すると共に(S301)、抽出されたオブジェクト領域(オブジェクト画像)から特徴量を抽出する(S303)。その上で、もし当該オブジェクトが、例えば入力装置400から入力されたユーザ操作等によりターゲットオブジェクトとして選択されれば(S303のYes)、基準オブジェクト選択部207は、そのターゲットオブジェクトの前若しくは後にいるオブジェクトの中から1以上の基準オブジェクトを選択する(S305)。その上で基準オブジェクトカメラ間対応付け部209は、基準オブジェクトが次に出現する可能性のある1以上のビデオカメラ200Nを予測する(S307)。
(1.3.2 ターゲットオブジェクト出現予測の処理の流れ)
次に、上記S307で予測されたビデオカメラ200Nの映像に対する、登録したターゲットオブジェクトの出現時刻の予測に係る処理の流れを、図4を参照しながら説明する。
オブジェクト解析部203は、映像取得部201から入力されたビデオカメラ200Nで撮影された画像からオブジェクト領域を抽出すると共に(S401)、抽出されたオブジェクト領域から特徴量を抽出する(S403)。その上で、図3のS305においてビデオカメラ200Aの映像に対して基準オブジェクト選択部207が選択した基準オブジェクトと、S403においてビデオカメラ200Nの映像から抽出されたオブジェクトとの類似度を、基準オブジェクトカメラ間対応付け部209は算出する(S405)。その結果、両オブジェクトが同一であると判断できる場合には(S407のYes)、基準オブジェクトカメラ間対応付け部209は、当該基準オブジェクトの出現時刻に基づいて、ターゲットオブジェクトの出現時刻(出現確率の時間分布に相当する)を予測する(S409)。
(1.4 ハードウェア構成)
以下、図5を参照しながら、上述してきた情報処理サーバ100をコンピュータにより実現する場合のハードウェア構成の一例を説明する。なお前述の通り、情報処理サーバ100の機能は、複数の情報処理装置により実現することも可能である。
図5に示すように、情報処理サーバ100は、プロセッサ501,メモリ503、記憶装置505、入力インタフェース(I/F)507、データI/F509、通信I/F511、及び表示装置513を含む。
プロセッサ501は、メモリ503に記憶されているプログラムを実行することにより、情報処理サーバ100における様々な処理を制御する。例えば、図2で説明した映像取得部201、オブジェクト解析部203、基準オブジェクト選択部207、基準オブジェクトカメラ間対応付け部209、及びターゲットオブジェクト出現予測部213に係る処理は、メモリ503に一時記憶された上で、主にプロセッサ501上で動作するプログラムとして実現可能である。
メモリ503は、例えばRAM(Random Access Memory)等の記憶媒体である。メモリ503は、プロセッサ501によって実行されるプログラムのプログラムコードや、プログラムの実行時に必要となるデータを一時的に記憶する。例えば、メモリ503の記憶領域には、プログラム実行時に必要となるスタック領域が確保される。
記憶装置505は、例えばハードディスクやフラッシュメモリ等の不揮発性の記憶媒体である。記憶装置505は、オペレーティングシステムや、映像取得部201、オブジェクト解析部203、基準オブジェクト選択部207、基準オブジェクトカメラ間対応付け部209、及びターゲットオブジェクト出現予測部213を実現するための各種プログラムや、オブジェクト検出・特徴量・追跡情報205及びカメラ配置情報211等の各種データなどを記憶する。記憶装置505に記憶されているプログラムやデータは、必要に応じてメモリ503にロードされることにより、プロセッサ501から参照される。
入力I/F507は、ユーザからの入力を受け付けるためのデバイスである。図1で説明した入力装置400は、入力I/F507により実現することも可能である。入力I/F507の具体例としては、キーボードやマウス、タッチパネル、各種センサ等が挙げられる。入力I/F507は、例えばUSB(Universal Serial Bus)等のインタフェースを介して情報処理サーバ100に接続されても良い。
データI/F509は、情報処理サーバ100の外部からデータを入力するためのデバイスである。データI/F509の具体例としては、各種記憶装置に記憶されているデータを読み取るためのドライブ装置等がある。データI/F509は、情報処理サーバ100の外部に設けられることも考えられる。その場合、データI/F509は、例えばUSB等のインタフェースを介して情報処理サーバ100へと接続される。
通信I/F511は、情報処理サーバ100の外部の装置、例えばビデオカメラ200等との間で有線又は無線によりデータ通信するためのデバイスである。通信I/F511は情報処理サーバ100の外部に設けられることも考えられる。その場合、通信I/F511は、例えばUSB等のインタフェースを介して情報処理サーバ100に接続される。
表示装置513は、各種情報を表示するためのデバイスである。図1で説明した表示装置300は、表示装置513により実現することも可能である。表示装置513の具体例としては、例えば液晶ディスプレイや有機EL(Electro−Luminescence)ディスプレイ等が挙げられる。表示装置513は、情報処理サーバ100の外部に設けられても良い。その場合、表示装置513は、例えばディスプレイケーブル等を介して情報処理サーバ100に接続される。
(1.5 本実施形態に係る効果)
以上説明したように、本実施形態に係る監視システム1では、追跡対象であるターゲットオブジェクトの前又は後ろにいる基準オブジェクトが出現した時刻に基づいて、ターゲットオブジェクトの出現時刻(若しくは出現確率の時間分布)を予測している。これにより、ビデオカメラ200間に滞留が発生したり、エスカレータやエレベータなどの移動速度に変化を与える移動手段があったりするために、追跡対象の移動体の速度にばらつきがある場合であっても、好適にターゲットオブジェクトの出現時刻を予測できる。
また、本実施形態における監視システム1では、特徴量が特徴的なオブジェクトを、基準オブジェクトとして選択する。これにより、基準オブジェクトの対応付け(同一性の判断)を誤る可能性が低くなり、結果として、ターゲットオブジェクトの出現予測の精度も高めることが可能となる。
(2 第2実施形態)
以下、第2実施形態を、図6を参照しながら説明する。図6は、情報処理システムである監視装置600の機能構成を示すブロック図である。図6に示すように、監視装置600は、第1入力部610と、第2入力部620と、選択部630と、予測部640とを含む。第1入力部610は、図示しない複数の撮影装置で撮影された映像の入力を受ける。
第2入力部620は、複数の撮影装置のうち、ある撮影装置(ここでは、第1撮影装置と呼ぶ。)により撮影される映像の映る移動体のうち、追跡対象の移動体に関する情報の入力を受ける。
選択部630は、追跡対象の移動体とは異なる他の移動体(ここでは、基準移動体と呼ぶ。)を、第1撮影装置により撮影される映像に映る移動体の中から選択する。
予測部640は、複数の撮影装置のうち、ある撮影装置(ここでは、第2撮影装置と呼ぶ。)により撮影される映像に、基準移動体が現れたか否かに基づいて、追跡対象の移動体の出現時刻を予測する。
このように実装することで、本実施形態に係る監視装置600によれば、追跡対象の移動体の速度にばらつきがある場合であっても、好適に移動体を追跡することができる。
(3 付記事項)
なお、前述の実施形態の構成は、組み合わせたり或いは一部の構成部分を入れ替えたりしてもよい。また、本発明の構成は前述の実施形態のみに限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々変更を加えてもよい。
なお、前述の各実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。また、本発明のプログラムは、上記の各実施形態で説明した各動作を、コンピュータに実行させるプログラムであれば良い。
(付記1)
複数の撮影装置で撮影された映像の入力を受ける第1の入力手段と、前記複数の撮影装置のうちの第1の撮影装置により撮影される映像に映る追跡対象の移動体とは異なる他の移動体を、前記第1の撮影装置により撮影される映像に映る移動体の中から選択する選択手段と、前記他の移動体が、前記複数の撮影装置のうちの第2の撮影装置により撮影される映像に現れたか否かに基づいて、前記追跡対象の移動体の出現時刻を予測する予測手段とを備える情報処理システム。
(付記2)
前記追跡対象の移動体に関する情報の入力を受ける第2の入力手段を更に備える、付記1記載の情報処理システム。
(付記3)
前記選択手段は、前記第1の撮影装置の映像に映る移動体の中で、特徴量の相違が閾値を上回る移動体を前記他の移動体として選択する付記1又は付記2記載の情報処理システム。
(付記4)
前記選択手段は、特徴量の相違が閾値を上回る移動体を随時検出し、前記追跡対象の移動体に関する情報の入力に伴い、予め検出された特徴量の相違が閾値を上回る移動体の中から前記他の移動体を選択する、付記3記載の情報処理システム。
(付記5)
前記予測手段は、前記追跡対象の移動体及び前記他の移動体が前記第1の映像装置の映像からフレームアウトした時刻、並びに前記他の移動体が前記第2の映像装置の映像にフレームインした時刻に基づき、前記追跡対象の移動体の出現時刻を予測する、付記1乃至付記4のいずれか1項記載の情報処理システム。
(付記6)
前記予測手段は、前記他の移動体が前記第1の撮影装置の映像からフレームアウトしてから前記第2の撮影装置の映像にフレームインするまでに要する移動時間と、通常時における移動体の移動時間との差分に基づいて、前記追跡対象の移動体の出現時刻を予測する、付記5記載の情報処理システム。
(付記7)
前記予測手段は、前記第1の撮影装置の映像からフレームアウトしてから前記第2の撮影装置の映像にフレームインするまでに要する移動時間の通常時におけるばらつきを算出し、当該ばらつきに基づき前記追跡対象の移動体の出現時刻を予測する、付記6記載の情報処理システム。
(付記8)
前記予測手段は、前記第1の撮影装置の映像において前記追跡対象の移動体よりも進行方向に対して後ろにあった前記他の移動体が前記第2の撮影装置の映像に出現した場合に、その旨を報知する、付記1乃至付記7のいずれか1項記載の情報処理システム。
(付記9)
複数の撮影装置で撮影された映像の入力を受けるステップと、前記複数の撮影装置のうちの第1の撮影装置により撮影される映像に映る追跡対象の移動体とは異なる他の移動体を、前記第1の撮影装置により撮影される映像に映る移動体の中から選択するステップと、前記他の移動体が、前記複数の撮影装置のうちの第2の撮影装置により撮影される映像に現れたか否かに基づいて、前記追跡対象の移動体の出現時刻を予測するステップとを情報処理システムが行う、情報処理方法。
(付記10)
前記追跡対象の移動体に関する情報の入力を受けるステップを更に備える、付記9記載の情報処理方法。
(付記11)
前記第1の撮影装置の映像に映る移動体の中で、特徴量の相違が閾値を上回る移動体を前記他の移動体として選択する付記9又は付記10記載の情報処理方法。
(付記12)
特徴量の相違が閾値を上回る移動体を随時検出し、前記追跡対象の移動体に関する情報の入力に伴い、予め検出された特徴量の相違が閾値を上回る移動体の中から前記他の移動体を選択する、付記11記載の情報処理方法。
(付記13)
前記追跡対象の移動体及び前記他の移動体が前記第1の映像装置の映像からフレームアウトした時刻、並びに前記他の移動体が前記第2の映像装置の映像にフレームインした時刻に基づき、前記追跡対象の移動体の出現時刻を予測する、付記9乃至付記12のいずれか1項記載の情報処理方法。
(付記14)
前記他の移動体が前記第1の撮影装置の映像からフレームアウトしてから前記第2の撮影装置の映像にフレームインするまでに要する移動時間と、通常時における移動体の移動時間との差分に基づいて、前記追跡対象の移動体の出現時刻を予測する、付記13記載の情報処理方法。
(付記15)
前記第1の撮影装置の映像からフレームアウトしてから前記第2の撮影装置の映像にフレームインするまでに要する移動時間の通常時におけるばらつきを算出し、当該ばらつきに基づき前記追跡対象の移動体の出現時刻を予測する、付記14記載の情報処理方法。
(付記16)
前記第1の撮影装置の映像において前記追跡対象の移動体よりも進行方向に対して後ろにあった前記他の移動体が前記第2の撮影装置の映像に出現した場合に、その旨を報知する、付記7乃至付記15のいずれか1項記載の情報処理方法。
(付記17)
複数の撮影装置で撮影された映像の入力を受ける処理と、前記複数の撮影装置のうちの第1の撮影装置により撮影される映像に映る追跡対象の移動体とは異なる他の移動体を、前記第1の撮影装置により撮影される映像に映る移動体の中から選択する処理と、前記他の移動体が、前記複数の撮影装置のうちの第2の撮影装置により撮影される映像に現れたか否かに基づいて、前記追跡対象の移動体の出現時刻を予測する処理とをコンピュータに実行させるプログラム。
(付記18)
前記追跡対象の移動体に関する情報の入力を受ける処理を更にコンピュータに実行させる、付記17記載のプログラム。
(付記19)
前記第1の撮影装置の映像に映る移動体の中で、特徴量の相違が閾値を上回る移動体を前記他の移動体として選択する付記17又は付記18記載のプログラム。
(付記20)
特徴量の相違が閾値を上回る移動体を随時検出し、前記追跡対象の移動体に関する情報の入力に伴い、予め検出された特徴量の相違が閾値を上回る移動体の中から前記他の移動体を選択する、付記19記載のプログラム。
(付記21)
前記追跡対象の移動体及び前記他の移動体が前記第1の映像装置の映像からフレームアウトした時刻、並びに前記他の移動体が前記第2の映像装置の映像にフレームインした時刻に基づき、前記追跡対象の移動体の出現時刻を予測する、付記17乃至付記20のいずれか1項記載のプログラム。
(付記22)
前記他の移動体が前記第1の撮影装置の映像からフレームアウトしてから前記第2の撮影装置の映像にフレームインするまでに要する移動時間と、通常時における移動体の移動時間との差分に基づいて、前記追跡対象の移動体の出現時刻を予測する、付記21記載のプログラム。
(付記23)
前記第1の撮影装置の映像からフレームアウトしてから前記第2の撮影装置の映像にフレームインするまでに要する移動時間の通常時におけるばらつきを算出し、当該ばらつきに基づき前記追跡対象の移動体の出現時刻を予測する、付記22記載のプログラム。
(付記24)
前記第1の撮影装置の映像において前記追跡対象の移動体よりも進行方向に対して後ろにあった前記他の移動体が前記第2の撮影装置の映像に出現した場合に、その旨を報知する、付記17乃至付記23のいずれか1項記載のプログラム。
この出願は、2013年4月16日に出願された日本出願特願2013−085632を基礎とする優先権を主張し、その開示の全てをここに取り込む。
1・・・監視システム
100・・・情報処理サーバ
200・・・ビデオカメラ
201・・・映像取得部
203・・・オブジェクト解析部
205・・・オブジェクト検出・特徴量・追跡情報
207・・・基準オブジェクト選択部
209・・・基準オブジェクトカメラ間対応付け部
211・・・カメラ配置情報
213・・・ターゲットオブジェクト出現予測部
300・・・表示装置
400・・・入力装置
501・・・プロセッサ
503・・・メモリ
505・・・記憶装置
507・・・入力インタフェース
509・・・データインタフェース
511・・・通信インタフェース
513・・・表示装置
600・・・監視装置
610・・・第1入力部
620・・・第2入力部
630・・・選択部
640・・・予測部

Claims (10)

  1. 複数の撮影装置で撮影された映像の入力を受ける第1の入力手段と、
    追跡対象の移動体として登録するための情報の入力を受ける第2の入力手段と、
    前記複数の撮影装置のうちの第1の撮影装置により撮影される映像に映る前記追跡対象の移動体とは異なる他の移動体を、前記第1の撮影装置により撮影される映像に映る移動体の中から選択する選択手段と、
    前記他の移動体が前記複数の撮影装置のうちの第2の撮影装置により撮影される映像に現れたか否かに基づいて、前記追跡対象の移動体が、前記第2の撮影装置により撮影される映像に現れる出現時刻を予測する予測手段と、
    を備え、
    前記予測手段は、前記複数の撮影装置の配置情報に基づき、前記第1の撮影装置により撮影される映像に映る前記追跡対象の移動体が、前記第2の撮影装置により撮影される映像に現れる出現時刻を予測する、
    情報処理システム。
  2. 前記配置情報は、前記複数の撮影装置間の隣接関係、前記複数の撮影装置間の距離、前記撮影装置の画角、前記複数の撮影装置間を移動するために要する時間、のうち少なくとも一つを含む、請求項1に記載の情報処理システム。
  3. 前記選択手段は、前記追跡対象の移動体に関する情報の入力に伴い、特徴量の相違が閾値を上回る移動体の中から前記他の移動体を選択する、請求項1または2に記載の情報処理システム。
  4. 前記特徴量は、前記移動体に基づく色ヒストグラムまたはエッジヒストグラムのうち、少なくとも一つを含む、請求項3に記載の情報処理システム。
  5. コンピュータが、
    複数の撮影装置で撮影された映像の入力を受け、
    追跡対象の移動体として登録するための情報の入力を受け、
    前記複数の撮影装置のうちの第1の撮影装置により撮影される映像に映る前記追跡対象の移動体とは異なる他の移動体を、前記第1の撮影装置により撮影される映像に映る移動体の中から選択し、
    前記他の移動体が、前記複数の撮影装置のうちの第2の撮影装置により撮影される映像に現れたか否かの情報と、前記複数の撮影装置の配置情報とに基づき、前記第1の撮影装置により撮影される映像に映る前記追跡対象の移動体が、前記第2の撮影装置により撮影される映像に現れる出現時刻を予測する、
    情報処理方法。
  6. 前記配置情報は、前記複数の撮影装置間の隣接関係、前記複数の撮影装置間の距離、前記撮影装置の画角、前記複数の撮影装置間を移動するために要する時間、のうち少なくとも一つを含む、請求項5に記載の情報処理方法。
  7. 前記追跡対象の移動体に関する情報の入力に伴い、特徴量の相違が閾値を上回る移動体の中から前記他の移動体を選択する、請求項5または6に記載の情報処理方法。
  8. 複数の撮影装置で撮影された映像の入力を受ける処理と、
    追跡対象の移動体として登録するための情報の入力を受ける処理と、
    前記複数の撮影装置のうちの第1の撮影装置により撮影される映像に映る前記追跡対象の移動体とは異なる他の移動体を、前記第1の撮影装置により撮影される映像に映る移動体の中から選択する処理と、
    前記他の移動体が、前記複数の撮影装置のうちの第2の撮影装置により撮影される映像に現れたか否かに基づいて、前記追跡対象の移動体が前記第2の撮影装置により撮影される映像に現れる出現時刻を予測する処理と、
    前記複数の撮影装置の配置情報に基づき、前記第1の撮影装置により撮影される映像に映る前記追跡対象の移動体が、前記第2の撮影装置により撮影される映像に現れる出現時刻を予測する処理とを、
    コンピュータに実行させるプログラム。
  9. 前記配置情報は、前記複数の撮影装置間の隣接関係、前記複数の撮影装置間の距離、前記撮影装置の画角、前記複数の撮影装置間を移動するために要する時間、のうち少なくとも一つを含む、請求項8に記載のプログラム。
  10. 前記追跡対象の移動体に関する情報の入力に伴い、特徴量の相違が閾値を上回る移動体の中から前記他の移動体を選択する処理を、さらにコンピュータに実行させる請求項8または9に記載のプログラム。
JP2019135824A 2013-04-16 2019-07-24 情報処理システム、情報処理方法及びプログラム Active JP6741130B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2013085632 2013-04-16
JP2013085632 2013-04-16

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2015512370A Division JP6561830B2 (ja) 2013-04-16 2014-03-20 情報処理システム、情報処理方法及びプログラム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2020122507A Division JP2020191646A (ja) 2013-04-16 2020-07-17 情報処理システム、情報処理方法及びプログラム

Publications (2)

Publication Number Publication Date
JP2020014210A JP2020014210A (ja) 2020-01-23
JP6741130B2 true JP6741130B2 (ja) 2020-08-19

Family

ID=51731215

Family Applications (3)

Application Number Title Priority Date Filing Date
JP2015512370A Active JP6561830B2 (ja) 2013-04-16 2014-03-20 情報処理システム、情報処理方法及びプログラム
JP2019135824A Active JP6741130B2 (ja) 2013-04-16 2019-07-24 情報処理システム、情報処理方法及びプログラム
JP2020122507A Pending JP2020191646A (ja) 2013-04-16 2020-07-17 情報処理システム、情報処理方法及びプログラム

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2015512370A Active JP6561830B2 (ja) 2013-04-16 2014-03-20 情報処理システム、情報処理方法及びプログラム

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2020122507A Pending JP2020191646A (ja) 2013-04-16 2020-07-17 情報処理システム、情報処理方法及びプログラム

Country Status (3)

Country Link
US (4) US10225524B2 (ja)
JP (3) JP6561830B2 (ja)
WO (1) WO2014171258A1 (ja)

Families Citing this family (37)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9443298B2 (en) 2012-03-02 2016-09-13 Authentect, Inc. Digital fingerprinting object authentication and anti-counterfeiting system
US8774455B2 (en) 2011-03-02 2014-07-08 Raf Technology, Inc. Document fingerprinting
US10621594B2 (en) 2016-02-19 2020-04-14 Alitheon, Inc. Multi-level authentication
CN105763847A (zh) * 2016-02-26 2016-07-13 努比亚技术有限公司 一种监控方法及监控终端
WO2017163282A1 (ja) * 2016-03-25 2017-09-28 パナソニックIpマネジメント株式会社 監視装置及び監視システム
JP6631962B2 (ja) * 2016-03-25 2020-01-15 パナソニックIpマネジメント株式会社 監視装置及び監視システム
EP3236401A1 (en) 2016-04-18 2017-10-25 Alitheon, Inc. Authentication-triggered processes
US10740767B2 (en) 2016-06-28 2020-08-11 Alitheon, Inc. Centralized databases storing digital fingerprints of objects for collaborative authentication
US10915612B2 (en) 2016-07-05 2021-02-09 Alitheon, Inc. Authenticated production
US10902540B2 (en) 2016-08-12 2021-01-26 Alitheon, Inc. Event-driven authentication of physical objects
US10839528B2 (en) 2016-08-19 2020-11-17 Alitheon, Inc. Authentication-based tracking
JP6206857B1 (ja) * 2016-08-24 2017-10-04 パナソニックIpマネジメント株式会社 追跡支援装置、追跡支援システムおよび追跡支援方法
JP2019022077A (ja) * 2017-07-18 2019-02-07 ソニーセミコンダクタソリューションズ株式会社 撮像装置および撮像システム
EP3435287A3 (en) 2017-07-25 2019-05-01 Alitheon, Inc. Model-based digital fingerprinting
JP7085812B2 (ja) * 2017-08-02 2022-06-17 キヤノン株式会社 画像処理装置およびその制御方法
US11170208B2 (en) * 2017-09-14 2021-11-09 Nec Corporation Of America Physical activity authentication systems and methods
US20190079591A1 (en) * 2017-09-14 2019-03-14 Grabango Co. System and method for human gesture processing from video input
EP3514715A1 (en) 2018-01-22 2019-07-24 Alitheon, Inc. Secure digital fingerprint key object database
WO2019146184A1 (ja) * 2018-01-29 2019-08-01 日本電気株式会社 処理装置、処理方法及びプログラム
CN110324528A (zh) * 2018-03-28 2019-10-11 富泰华工业(深圳)有限公司 摄像装置、影像处理系统及方法
WO2019202487A1 (en) * 2018-04-17 2019-10-24 Eth Zurich Robotic camera software and controller
JP6604413B1 (ja) * 2018-10-09 2019-11-13 日本電気株式会社 画像検索装置、画像検索システム、画像検索方法及びプログラム
KR20200090403A (ko) * 2019-01-21 2020-07-29 삼성전자주식회사 전자 장치 및 그 제어 방법
US10963670B2 (en) 2019-02-06 2021-03-30 Alitheon, Inc. Object change detection and measurement using digital fingerprints
EP3734506A1 (en) 2019-05-02 2020-11-04 Alitheon, Inc. Automated authentication region localization and capture
EP3736717A1 (en) 2019-05-10 2020-11-11 Alitheon, Inc. Loop chain digital fingerprint method and system
US11643115B2 (en) * 2019-05-31 2023-05-09 Waymo Llc Tracking vanished objects for autonomous vehicles
US11238146B2 (en) 2019-10-17 2022-02-01 Alitheon, Inc. Securing composite objects using digital fingerprints
CN111047622B (zh) * 2019-11-20 2023-05-30 腾讯科技(深圳)有限公司 视频中对象的匹配方法和装置、存储介质及电子装置
CN111008611B (zh) * 2019-12-20 2023-07-14 浙江大华技术股份有限公司 排队时长的确定方法及装置、存储介质、电子装置
EP3859603A1 (en) 2020-01-28 2021-08-04 Alitheon, Inc. Depth-based digital fingerprinting
US11341348B2 (en) 2020-03-23 2022-05-24 Alitheon, Inc. Hand biometrics system and method using digital fingerprints
US11568683B2 (en) 2020-03-23 2023-01-31 Alitheon, Inc. Facial biometrics system and method using digital fingerprints
US11948377B2 (en) 2020-04-06 2024-04-02 Alitheon, Inc. Local encoding of intrinsic authentication data
US11663849B1 (en) 2020-04-23 2023-05-30 Alitheon, Inc. Transform pyramiding for fingerprint matching system and method
US11700123B2 (en) 2020-06-17 2023-07-11 Alitheon, Inc. Asset-backed digital security tokens
CN114359335A (zh) * 2020-09-30 2022-04-15 华为技术有限公司 一种目标跟踪方法及电子设备

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7612796B2 (en) * 2000-01-13 2009-11-03 Countwise, Llc Video-based system and method for counting persons traversing areas being monitored
US7242423B2 (en) * 2003-06-16 2007-07-10 Active Eye, Inc. Linking zones for object tracking and camera handoff
JP4525089B2 (ja) * 2004-01-27 2010-08-18 フジノン株式会社 オートフォーカスシステム
US20070170037A1 (en) * 2004-08-19 2007-07-26 Mitsubishi Denki Kabushiki Kaisha Lifting machine image monitoring system
JP4572099B2 (ja) * 2004-09-13 2010-10-27 三菱電機株式会社 移動体追跡支援システム
JP2006093955A (ja) 2004-09-22 2006-04-06 Matsushita Electric Ind Co Ltd 映像処理装置
JP4759988B2 (ja) * 2004-11-17 2011-08-31 株式会社日立製作所 複数カメラを用いた監視システム
JP2006221355A (ja) 2005-02-09 2006-08-24 Hitachi Ltd 監視装置及び監視システム
JP2006301995A (ja) * 2005-04-21 2006-11-02 Matsushita Electric Ind Co Ltd 人物検索装置及び人物検索方法
JP4700477B2 (ja) * 2005-11-15 2011-06-15 株式会社日立製作所 移動体監視システムおよび移動体特徴量算出装置
US7787656B2 (en) 2007-03-01 2010-08-31 Huper Laboratories Co., Ltd. Method for counting people passing through a gate
JP4937016B2 (ja) * 2007-07-09 2012-05-23 三菱電機株式会社 監視装置及び監視方法及びプログラム
JP5018321B2 (ja) * 2007-08-06 2012-09-05 国立大学法人 千葉大学 自動追尾装置
US8538103B2 (en) * 2009-02-10 2013-09-17 Hitachi Medical Corporation Medical image processing device, medical image processing method, medical image diagnostic apparatus, operation method of medical image diagnostic apparatus, and medical image display method
JP5398301B2 (ja) * 2009-03-02 2014-01-29 株式会社東芝 通行管理装置、及び通行管理方法
WO2011060385A1 (en) 2009-11-13 2011-05-19 Pixel Velocity, Inc. Method for tracking an object through an environment across multiple cameras
US9412180B2 (en) * 2012-01-17 2016-08-09 Sony Corporation Information processing apparatus, information processing method, and program
WO2014031560A1 (en) * 2012-08-20 2014-02-27 Jonathan Strimling System and method for vehicle security system
US8781293B2 (en) * 2012-08-20 2014-07-15 Gorilla Technology Inc. Correction method for object linking across video sequences in a multiple camera video surveillance system
US20140088865A1 (en) * 2012-09-27 2014-03-27 Siemens Industry, Inc. Apparatus and method for predicting arrival times in a transportation network

Also Published As

Publication number Publication date
JPWO2014171258A1 (ja) 2017-02-23
JP2020191646A (ja) 2020-11-26
US11483521B2 (en) 2022-10-25
JP6561830B2 (ja) 2019-08-21
US20190149771A1 (en) 2019-05-16
US10225524B2 (en) 2019-03-05
JP2020014210A (ja) 2020-01-23
US10574943B2 (en) 2020-02-25
US20190149770A1 (en) 2019-05-16
US20160055651A1 (en) 2016-02-25
US20210144340A1 (en) 2021-05-13
WO2014171258A1 (ja) 2014-10-23

Similar Documents

Publication Publication Date Title
JP6741130B2 (ja) 情報処理システム、情報処理方法及びプログラム
JP6213843B2 (ja) 画像処理システム、画像処理方法及びプログラム
JP6406241B2 (ja) 情報処理システム、情報処理方法及びプログラム
JP7131599B2 (ja) 情報処理システム、情報処理方法及びプログラム
CN105144705B (zh) 对象监视系统、对象监视方法和用于提取待监视对象的程序
JP6347211B2 (ja) 情報処理システム、情報処理方法及びプログラム
JP6233624B2 (ja) 情報処理システム、情報処理方法及びプログラム
JP6436077B2 (ja) 画像処理システム、画像処理方法及びプログラム
JP6414066B2 (ja) 画像処理システム、画像処理方法及びプログラム
US11120838B2 (en) Information processing apparatus, control method, and program
JP6292540B2 (ja) 情報処理システム、情報処理方法及びプログラム
JP6789421B2 (ja) 情報処理装置、追跡方法、及び追跡プログラム
JP2010140425A (ja) 画像処理システム
JP2021196741A (ja) 画像処理装置、画像処理方法、及びプログラム
JP6954416B2 (ja) 情報処理装置、情報処理方法、及びプログラム
JP2022028861A (ja) 情報処理装置、情報処理システム、情報処理方法及びプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190724

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200612

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200623

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200706

R150 Certificate of patent or registration of utility model

Ref document number: 6741130

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150