JP5506990B1 - 追跡支援装置、追跡支援システムおよび追跡支援方法 - Google Patents

追跡支援装置、追跡支援システムおよび追跡支援方法 Download PDF

Info

Publication number
JP5506990B1
JP5506990B1 JP2013145287A JP2013145287A JP5506990B1 JP 5506990 B1 JP5506990 B1 JP 5506990B1 JP 2013145287 A JP2013145287 A JP 2013145287A JP 2013145287 A JP2013145287 A JP 2013145287A JP 5506990 B1 JP5506990 B1 JP 5506990B1
Authority
JP
Japan
Prior art keywords
tracking
image
camera
display
person
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2013145287A
Other languages
English (en)
Other versions
JP2015019249A (ja
Inventor
健 藤松
園子 平澤
裕之 山本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Corp
Panasonic Holdings Corp
Original Assignee
Panasonic Corp
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Corp, Matsushita Electric Industrial Co Ltd filed Critical Panasonic Corp
Priority to JP2013145287A priority Critical patent/JP5506990B1/ja
Application granted granted Critical
Publication of JP5506990B1 publication Critical patent/JP5506990B1/ja
Priority to US14/326,683 priority patent/US9357181B2/en
Priority to GB1412204.8A priority patent/GB2516172B/en
Priority to RU2014128335/07A priority patent/RU2565243C1/ru
Priority to DE102014213554.0A priority patent/DE102014213554B4/de
Priority to CN201410332320.7A priority patent/CN104284147B/zh
Publication of JP2015019249A publication Critical patent/JP2015019249A/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/292—Multi-camera tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19639—Details of the system layout
    • G08B13/19641—Multiple cameras having overlapping views on a single scene
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19639—Details of the system layout
    • G08B13/19645—Multiple cameras, each having view on one of a plurality of scenes, e.g. multiple cameras for multi-room surveillance or for tracking an object by view hand-over
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/19—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
    • G11B27/28—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
    • G11B27/30—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording on the same track as the main recording
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/34—Indicating arrangements 

Abstract

【課題】監視者の負担を軽減する支援処理を適切に行って、追跡中の人物を見失うことなく円滑に追跡作業を進めることができるようにする。
【解決手段】レコーダ２に蓄積された複数のカメラ１ａ〜１ｄごとの撮影画像を表示する複数の表示部において追跡対象となる移動体を指定する監視者の入力操作に応じて、指定された移動体を追跡対象に設定する追跡対象設定部２３と、カメラ内追尾処理装置４およびカメラ間追尾処理部５から取得した追尾情報に基づいて、追跡対象を指定した表示部に対応するカメラ以外で、追跡対象となる移動体を撮影したものと推測されるカメラを選択するカメラ選択部２４と、このカメラ選択部により選択されたカメラの撮影画像を、それぞれに対応する表示部に表示させる画像再生部２７と、を備えたものとする。
【選択図】図３

Description

本発明は、画像蓄積装置に蓄積された複数のカメラごとの撮影画像をそれぞれ表示する複数の表示部が配置された画面を表示装置に表示させて、追跡対象となる移動体を追跡する監視者の作業を支援する追跡支援装置、追跡支援システムおよび追跡支援方法に関するものである。
監視エリア内に複数のカメラを設置し、この複数のカメラごとの撮影画像をそれぞれ表示する複数の表示部が配置された監視画面をモニタに表示して、監視者に監視させる監視システムが広く普及している。このような監視システムでは、カメラの撮影画像をレコーダに蓄積することで、万引きなどの問題のある行為を行った人物が監視エリア内でどのような行動を行ったかを監視者が事後に確認することができる。
このように、監視者が画面内の複数の表示部を見ながら人物を追跡する場合、監視中の人物の進行方向から、その人物が次に写る表示部を探し出せばよいが、この次の表示部を探し出す作業に手間取ると、監視中の人物を見失うことになるため、監視者の負担を軽減して、人物の追跡を円滑に行うことができる構成が望まれる。
このような要望に関して、従来、監視中の人物の移動方向などに基づいて、監視中の人物を次に写すカメラを選択して、そのカメラの撮影画像を表示する表示部を、監視中の人物が現在写っている表示部の隣に表示する技術が知られている（特許文献１参照）。また、監視エリアを示す地図画像上に、カメラを示す画像（カメラマーク）と、そのカメラによる撮影画像を表示する表示部とを配置した監視画面を表示させる技術が知られている（特許文献２参照）。
また、特許文献１に開示された技術のように、監視中の人物を次に写すカメラを選択する処理は、カメラの撮影画像から検出された移動体を追尾する追尾処理装置で取得した追尾情報に基づいて行えばよいが、この追尾情報に誤りがあると、監視中の人物を見失うことになる。そこで、監視者が画面を見ながら人物を追跡する過程で、追尾情報の誤りが見つかった場合に、追尾情報を修正する作業を、監視者に大きな負担をかけずに行うことができる構成が望まれる。
このような要望に関して、追尾装置において、移動体上に注目点を設定して追尾処理を行い、その注目点による追尾処理が困難になると、監視者からの補正指示に応じて、注目点を変更して追尾処理を継続する技術が知られている（特許文献３参照）。
特開２００５−０１２４１５号公報 特開２０１０−２６８１８６号公報 特開２００７−２７２７３２号公報
しかしながら、特許文献１に開示された技術では、監視中の人物を次に写すカメラを予測してそのカメラの撮影画像を表示するため、監視者の負担を軽減することができるが、監視中の人物を現在写しているカメラの撮影画像内に、監視中の人物とは別の人物が存在する場合、その別の人物の移動方向に基づいてカメラの予測が行われる場合があり、この場合、カメラの予測が正しく行われないため、監視中の人物を見失うことになる。
一方、特許文献２に開示された技術では、地図画像上のカメラ同士の位置関係により、監視中の人物が次に写る表示部を監視者がある程度予測することができるため、監視者の負担を多少は軽減することができるが、カメラの設置台数に応じて表示部が多数配置されている場合に、その多数の表示部の中から監視中の人物が写った表示部を即座にかつ正確に判断することは難しく、依然として監視者の負担が大きく、監視中の人物を見失う可能性が高い。
また、特許文献３に開示された技術では、追尾装置での追尾処理が難しい状況でも、監視者の手を借ることで、追尾処理を中断させることなく追尾処理を継続することができるが、この従来技術は、１つのカメラの撮影画像を対象にしたカメラ内追尾処理に関するものである。一方、カメラ内追尾処理により取得した追尾情報を対応付けるカメラ間追尾処理でも誤りが発生し、このカメラ間追尾処理で誤りが発生すると、人物の入れ替わりが生じ、このようなカメラ間追尾処理で発生する誤りについては、この従来技術ではなんら有効な対応ができない。
本発明は、このような従来技術の問題点を解消するべく案出されたものであり、その主な目的は、表示装置の画面に表示された複数のカメラごとの撮影画像を見ながら特定の人物を追跡する際に、監視者の負担を軽減する支援処理を適切に行って、追跡中の人物を見失うことなく円滑に追跡作業を進めることができるように構成された追跡支援装置、追跡支援システムおよび追跡支援方法を提供することにある。
本発明の追跡支援装置は、監視エリアを示す地図画像上に、画像蓄積部に蓄積された複数のカメラごとの撮影画像をそれぞれ表示する複数の表示ビューが、前記カメラの実際の配置状況に対応して配置された画面を表示装置に表示させて、追跡対象となる移動体を追跡する監視者の作業を支援する追跡支援装置であって、撮影時刻等の指定による検索条件に従って、前記画像蓄積部に蓄積された撮影画像を前記表示ビューに表示させ、その表示ビューのいずれかにおいて追跡対象となる移動体を指定する監視者の入力操作に応じて、指定された移動体を追跡対象に設定する追跡対象設定部と、撮影画像を処理して取得した追尾情報に基づいて、前記追跡対象を指定した前記表示ビューに対応する前記カメラ以外で、前記追跡対象となる移動体を撮影したものと推測される前記カメラを選択するカメラ選択部と、前記追跡対象に設定された移動体に関する前記追尾情報に基づいて、その移動体が写ったものと想定される追尾開始時の撮影画像を確認画像として抽出して、その確認画像が配置された追跡対象確認画面を前記表示装置に表示させる確認画像提示部と、この確認画像提示部で提示された前記カメラの撮影画像を、時間の経過にしたがって順次、複数の前記表示ビューに表示させる連続再生を行う画像再生部と、を備えた構成とする。
また、本発明の追跡支援システムは、監視エリアを示す地図画像上に、画像蓄積部に蓄積された複数のカメラごとの撮影画像をそれぞれ表示する複数の表示ビューが、前記カメラの実際の配置状況に対応して配置された画面を表示装置に表示させて、追跡対象となる移動体を追跡する監視者の作業を支援する追跡支援システムであって、前記監視エリアを撮像する前記カメラと、前記画面を表示する前記表示装置と、複数の情報処理装置と、を有し、前記複数の情報処理装置のいずれかが、前記カメラの撮影画像から検出された移動体を追尾して、移動体ごとの追尾情報を生成する追尾処理部と、撮影時刻等の指定による検索条件に従って、前記画像蓄積部に蓄積された撮影画像を前記表示部に表示させ、その表示ビューのいずれかにおいて追跡対象となる移動体を指定する監視者の入力操作に応じて、指定された移動体を追跡対象に設定する追跡対象設定部と、前記追尾処理部から取得した追尾情報に基づいて、前記追跡対象を指定した前記表示ビューに対応する前記カメラ以外で、前記追跡対象となる移動体を撮影したものと推測される前記カメラを選択するカメラ選択部と、前記追跡対象に設定された移動体に関する前記追尾情報に基づいて、その移動体が写ったものと想定される追尾開始時の撮影画像を確認画像として抽出して、その確認画像が配置された追跡対象確認画面を前記表示装置に表示させる確認画像提示部と、この確認画像提示部で提示された前記カメラの撮影画像を、時間の経過にしたがって順次、複数の前記表示ビューに表示させる連続再生を行う画像再生部と、を備えた構成とする。
また、本発明の追跡支援方法は、監視エリアを示す地図画像上に、画像蓄積部に蓄積された複数のカメラごとの撮影画像をそれぞれ表示する複数の表示ビューが、前記カメラの実際の配置状況に対応して配置された画面を表示装置に表示させて、追跡対象となる移動体を追跡する監視者の作業の支援を情報処理装置により行う追跡支援方法であって、撮影時刻等の指定による検索条件に従って、前記画像蓄積部に蓄積された撮影画像を前記表示ビューに表示させ、その表示ビューのいずれかにおいて追跡対象となる移動体を指定する監視者の入力操作に応じて、指定された移動体を追跡対象に設定するステップと、撮影画像を処理して取得した追尾情報に基づいて、前記追跡対象を指定した前記表示ビューに対応する前記カメラ以外で、前記追跡対象となる移動体を撮影したものと推測される前記カメラを選択するステップと、前記追跡対象に設定された移動体に関する前記追尾情報に基づいて、その移動体が写ったものと想定される追尾開始時の撮影画像を確認画像として抽出して、その確認画像が配置された追跡対象確認画面を前記表示装置に表示させるステップと、このステップにより提示された前記カメラの撮影画像を、時間の経過にしたがって順次、複数の前記表示ビューに表示させる連続再生を行うステップと、を有する構成とする。
本発明によれば、表示装置に表示される画面に、監視エリアを示す地図画像上にカメラの実際の配置状況に対応して、複数のカメラごとの撮影画像を表示する複数の表示ビューが配置されて、この複数の表示ビューに、追跡対象に指定した移動体が表示されるため、追跡対象とした移動体が監視エリア内でどのような行動を行ったかを監視者が容易に確認することができる。特に、追尾情報に基づいて追跡対象に設定された移動体が写ったものと想定される確認画像が表示ビューに表示されるため、この確認画像が追跡対象とした移動体のものか否かを監視者が確認することで、追跡対象とした移動体に関する追尾情報に誤りがある否かを監視者が容易に判断することができる。
本実施形態に係る追跡支援システムの全体構成図 店舗におけるカメラ１ａ〜１ｄの設置状況を示す斜視図 ＰＣ３の概略構成を示す機能ブロック図 モニタ７に表示される追跡対象指定画面を示す説明図 モニタ７に表示される追跡対象確認画面を示す説明図 モニタ７に表示される候補選択画面を示す説明図 モニタ７に表示される連続再生画面を示す説明図 カメラ内追尾処理装置４およびカメラ間追尾処理部５にて行われるカメラ内追尾処理およびカメラ間追尾処理の状況を示す説明図 ＰＣ３の各部で行われる処理および各画面で行われる監視者の操作の手順を示すフロー図 連続再生画面において表示ビューを強調表示する枠画像の推移状況を示す説明図 モニタ７に表示される追跡対象確認画面を示す説明図 モニタ７に表示される候補選択画面を示す説明図 モニタ７に表示される候補選択画面を示す説明図 モニタ７に表示される候補選択画面を示す説明図
前記課題を解決するためになされた第１の発明は、監視エリアを示す地図画像上に、画像蓄積部に蓄積された複数のカメラごとの撮影画像をそれぞれ表示する複数の表示ビューが、前記カメラの実際の配置状況に対応して配置された画面を表示装置に表示させて、追跡対象となる移動体を追跡する監視者の作業を支援する追跡支援装置であって、撮影時刻等の指定による検索条件に従って、前記画像蓄積部に蓄積された撮影画像を前記表示ビューに表示させ、その表示ビューのいずれかにおいて追跡対象となる移動体を指定する監視者の入力操作に応じて、指定された移動体を追跡対象に設定する追跡対象設定部と、撮影画像を処理して取得した追尾情報に基づいて、前記追跡対象を指定した前記表示ビューに対応する前記カメラ以外で、前記追跡対象となる移動体を撮影したものと推測される前記カメラを選択するカメラ選択部と、前記追跡対象に設定された移動体に関する前記追尾情報に基づいて、その移動体が写ったものと想定される追尾開始時の撮影画像を確認画像として抽出して、その確認画像が配置された追跡対象確認画面を前記表示装置に表示させる確認画像提示部と、この確認画像提示部で提示された前記カメラの撮影画像を、時間の経過にしたがって順次、複数の前記表示ビューに表示させる連続再生を行う画像再生部と、を備えた構成とする。
これによると、表示装置に表示される画面に、監視エリアを示す地図画像上にカメラの実際の配置状況に対応して、複数のカメラごとの撮影画像を表示する複数の表示ビューが配置されて、この複数の表示ビューに、追跡対象に指定した移動体が表示されるため、追跡対象とした移動体が監視エリア内でどのような行動を行ったかを監視者が容易に確認することができる。特に、追尾情報に基づいて追跡対象に設定された移動体が写ったものと想定される確認画像が表示ビューに表示されるため、この確認画像が追跡対象とした移動体のものか否かを監視者が確認することで、追跡対象とした移動体に関する追尾情報に誤りがある否かを監視者が容易に判断することができる。
また、第２の発明は、前記追跡対象に設定された移動体に対応した移動体枠を強調する第１の強調表示を施す追跡対象提示部と、前記連続再生が行われる連続再生画面において、前記追跡対象とした移動体が現在写っている前記表示ビューに対応した表示枠を強調する第２の強調表示を施す表示ビュー提示部と、を有した画面生成部を、さらに備えた構成とする。
これによると、画面に表示された複数のカメラごとの撮影画像を見ながら追跡対象とした移動体を追跡する際に、複数の表示ビューの中から追跡対象とした移動体が現在写っている表示ビューを一目で判断することができるため、追跡作業を行う監視者の負担を軽減し、また、追跡対象とした移動体を見失うことなく円滑に追跡作業を進めることができる。
また、第３の発明は、前記表示ビュー提示部は、前記追尾情報において前記追跡対象とした移動体の追尾が途切れている場合に、その追尾が途切れた期間の前後で前記追跡対象とした移動体の撮影画像を表示する２つの前記表示ビューを同時に提示する構成とする。
これによると、追跡対象とした移動体の追尾が途切れている場合、追跡対象とした移動体が現在写っている表示ビューは不明であるが、追尾が途切れた期間の前後の２つの表示ビューのいずれか一方あるいは双方に写っている可能性があり、この２つの表示ビューを同時に提示することで、監視者は移動体を見失うことなく円滑に追跡作業を進めることができる。
また、第４の発明は、前記追跡対象に設定した移動体に関する前記追尾情報に誤りがある場合に、前記追尾情報に基づいて、前記追跡対象に設定した移動体と関連度の高い移動体を候補として選択する候補選択部と、前記候補となる移動体が写った撮影画像を候補画像として抽出して、その候補画像が配置された候補選択画面を前記表示装置に表示させて、前記候補選択画面上で前記追跡対象に指定した移動体が写った候補画像を監視者に選択させる候補画像提示部と、前記候補選択画面で選択された候補画像に写った移動体を追跡対象に変更して、前記追跡対象に指定した移動体に関する前記追尾情報を修正する追尾情報修正部と、をさらに備えた構成とする。
これによると、監視者は、追跡対象とした移動体が写った候補画像を選択すればよいため、追跡対象とした移動体に関する追尾情報を修正する作業を簡単に行うことができ、監視者の負担を軽減することができる。
また、第５の発明は、前記カメラ選択部および前記画像再生部でそれぞれ行われる処理は、監視者が追跡対象となる移動体を指定した追跡対象指定画像の撮影時刻より時間的に前および後のいずれか一方または双方の事象を対象とすることを特徴とする。
これによると、追跡対象となる移動体を指定した時刻以前の移動体の状況や、移動体を指定した時刻以後の移動体の状況を監視者が把握することができる。
また、第６の発明は、監視エリアを示す地図画像上に、画像蓄積部に蓄積された複数のカメラごとの撮影画像をそれぞれ表示する複数の表示ビューが、前記カメラの実際の配置状況に対応して配置された画面を表示装置に表示させて、追跡対象となる移動体を追跡する監視者の作業を支援する追跡支援システムであって、前記監視エリアを撮像する前記カメラと、前記画面を表示する前記表示装置と、複数の情報処理装置と、を有し、前記複数の情報処理装置のいずれかが、前記カメラの撮影画像から検出された移動体を追尾して、移動体ごとの追尾情報を生成する追尾処理部と、撮影時刻等の指定による検索条件に従って、前記画像蓄積部に蓄積された撮影画像を前記表示部に表示させ、その表示ビューのいずれかにおいて追跡対象となる移動体を指定する監視者の入力操作に応じて、指定された移動体を追跡対象に設定する追跡対象設定部と、前記追尾処理部から取得した追尾情報に基づいて、前記追跡対象を指定した前記表示ビューに対応する前記カメラ以外で、前記追跡対象となる移動体を撮影したものと推測される前記カメラを選択するカメラ選択部と、前記追跡対象に設定された移動体に関する前記追尾情報に基づいて、その移動体が写ったものと想定される追尾開始時の撮影画像を確認画像として抽出して、その確認画像が配置された追跡対象確認画面を前記表示装置に表示させる確認画像提示部と、この確認画像提示部で提示された前記カメラの撮影画像を、時間の経過にしたがって順次、複数の前記表示ビューに表示させる連続再生を行う画像再生部と、を備えた構成とする。
これによると、前記の第１の発明と同様に、表示装置の画面に表示された複数のカメラごとの撮影画像を見ながら特定の移動体を追跡する際に、監視者の負担を軽減する支援処理を適切に行って、追跡中の移動体を見失うことなく円滑に追跡作業を進めることができる。
また、第７の発明は、監視エリアを示す地図画像上に、画像蓄積部に蓄積された複数のカメラごとの撮影画像をそれぞれ表示する複数の表示ビューが、前記カメラの実際の配置状況に対応して配置された画面を表示装置に表示させて、追跡対象となる移動体を追跡する監視者の作業の支援を情報処理装置により行う追跡支援方法であって、撮影時刻等の指定による検索条件に従って、前記画像蓄積部に蓄積された撮影画像を前記表示ビューに表示させ、その表示ビューのいずれかにおいて追跡対象となる移動体を指定する監視者の入力操作に応じて、指定された移動体を追跡対象に設定するステップと、撮影画像を処理して取得した追尾情報に基づいて、前記追跡対象を指定した前記表示ビューに対応する前記カメラ以外で、前記追跡対象となる移動体を撮影したものと推測される前記カメラを選択するステップと、前記追跡対象に設定された移動体に関する前記追尾情報に基づいて、その移動体が写ったものと想定される追尾開始時の撮影画像を確認画像として抽出して、その確認画像が配置された追跡対象確認画面を前記表示装置に表示させるステップと、このステップにより提示された前記カメラの撮影画像を、時間の経過にしたがって順次、複数の前記表示ビューに表示させる連続再生を行うステップと、を有する構成とする。
これによると、前記の第１の発明と同様に、表示装置の画面に表示された複数のカメラごとの撮影画像を見ながら特定の移動体を追跡する際に、監視者の負担を軽減する支援処理を適切に行って、追跡中の移動体を見失うことなく円滑に追跡作業を進めることができる。
以下、本発明の実施の形態を、図面を参照しながら説明する。なお、文章中において「追跡」と「追尾」の同様の意味を持った記載が併存するが、単に、説明の便宜上で、両者を使い分けているに過ぎない。追跡は、主として監視者の関わりの強い部分での構成、追尾は、主として装置との関わりの強い部分での構成、を説明する場合に用いている。
図１は、本実施形態に係る追跡支援システムの全体構成図である。この追跡支援システムは、スーパーマーケットやホームセンターなどの小売店舗などを対象にして構築されるものであり、カメラ１ａ〜１ｄと、レコーダ（画像蓄積手段）２と、ＰＣ（追跡支援装置）３と、カメラ内追尾処理装置４と、を備えている。
カメラ１ａ〜１ｄは店舗内の適所に設置され、カメラ１ａ〜１ｄにより店舗内の監視エリアが撮像され、これにより得られた画像情報がレコーダ２に録画される。
ＰＣ３には、監視者が種々の入力操作を行うマウスなどの入力デバイス６と、監視画面を表示するモニタ（表示装置）７とが接続されている。なお、タッチパネルディスプレイで、入力デバイス６およびモニタ７を構成してもよい。
このＰＣ３は、店舗の警備室などに設置され、監視者（警備員）が、モニタ７に表示される監視画面で、カメラ１ａ〜１ｄで撮像された店舗内の画像をリアルタイムで閲覧することができ、また、レコーダ２に録画された過去の店舗内の画像を閲覧することができる。
なお、本部に設けられたＰＣ１１にも図示しないモニタが接続され、カメラ１ａ〜１ｄで撮像された店舗内の画像をリアルタイムで閲覧し、また、レコーダ２に録画された過去の店舗内の画像を閲覧して、本部で店舗内の状況を確認することができる。
カメラ内追尾処理装置４では、カメラ１ａ〜１ｄの撮影画像から検出された人物（移動体）を追尾して、人物ごとの追尾情報（カメラ内追尾情報）を生成する処理が行われる。このカメラ内追尾処理は、公知の画像認識技術（人物検出技術および人物追跡技術など）を利用すればよい。
また、ＰＣ３は、カメラ間追尾処理部５を備えている。このカメラ間追尾処理部５では、カメラ内追尾処理装置４からカメラ内追尾情報を取得して、各カメラ１ａ〜１ｄの撮影画像からカメラ内追尾処理で検出された人物を対応付ける処理が行われる。これにより、複数のカメラ１ａ〜１ｄの撮影画像で人物を継続して追尾することができる。
なお、本実施形態では、カメラ内追尾処理装置４が、ＰＣ３とは独立して、カメラ内追尾処理を常時行うようにしているが、ＰＣ３からの指示に応じて追尾処理を実行するものとしてもよい。また、カメラ内追尾処理装置４では、撮影画像から検出された全ての人物を対象にして追尾処理を行うことが望ましいが、追跡対象に指定された人物およびこれと関連度の高い人物に絞って追尾処理を行うようにしてもよい。
図２は、店舗におけるカメラ１ａ〜１ｄの設置状況を示す斜視図である。店舗内の監視エリアには、商品陳列スペースの間に通路が設けられており、この通路を主に撮像するように第１〜第４のカメラ１ａ〜１ｄが設置されている。
通路を人物が移動すると、第１〜第４のカメラ１ａ〜１ｄのいずれか１つあるいは複数で人物が撮像され、人物が移動するのに応じて人物を撮像するカメラが切り替わる。本実施形態では、人物が、第１カメラ１ａ、第２カメラ１ｂ、第３カメラ１ｃの順で第１〜第３カメラ１ａ〜１ｃに写るように移動する例について説明するが、人物の移動経路はこの例に限定されるものではない。
次に、図１に示したＰＣ３で行われる追跡支援処理について説明する。図３は、ＰＣ３の概略構成を示す機能ブロック図である。図４〜図７は、モニタ７に表示される画面を示す説明図である。ここで、まず、図４〜図７に示す画面の概略を説明する。
図４は、追跡対象指定画面を示しており、この追跡対象指定画面は、追跡したい人物を、その人物が万引きなどの問題のある行為を行った日付および時刻の撮影画像上で指定するものである。図５は、追跡対象確認画面を示しており、この追跡対象確認画面は、カメラ内追尾処理装置４およびカメラ間追尾処理部５で取得した追尾情報に基づいて抽出された確認画像によって追尾情報に誤りがないかを確認するものである。図６は、候補選択画面を示しており、この候補選択画面は、追跡対象とした人物の候補となる人物が写った候補画像を複数表示して、追跡対象とした人物が写った候補画像を監視者に選択させるものである。図７は、連続再生画面を示しており、この連続再生画面は、追跡対象が写った撮影画像を、時間の経過にしたがって順次表示させる連続再生を行うものである。
図４、図５および図７に示す画面には、監視エリアを示す地図画像４１上に、複数のカメラ１ａ〜１ｄごとのカメラマーク（カメラを示す画像）４２が、カメラ１ａ〜１ｄの実際の配置状況に対応した位置に配置されている。また、カメラマーク４２の近傍には、カメラ１ａ〜１ｄごとの撮影画像をそれぞれ表示する複数の表示ビュー（表示部）４３ａ〜４３ｄが配置されている。
カメラマーク４２は、カメラ１ａ〜１ｄの撮影方向を表すように傾斜して表示されており、これにより、カメラ１ａ〜１ｄの撮像領域を監視者が大まかに把握することができる。表示ビュー４３ａ〜４３ｄは、カメラ１ａ〜１ｄの撮像領域に概ね対応する位置に配置されており、地図画像４１で表される監視エリア内のどの位置が表示ビュー４３ａ〜４３ｄに表示されているかを監視者が大まかに把握することができる。
また、図４〜図７に示す画面では、表示ビュー４３ａ〜４３ｄに表示された撮影画像から検出された人物に人物枠４７が表示される。また、追跡対象とした人物には、追跡対象であることを示す人物枠４８が表示される。この人物枠４８は、他の人物に表示された人物枠４７と識別可能な着色（例えば緑色）による強調表示が施される。
次に、図３に示したＰＣ３の各部について説明する。ＰＣ３は、カメラ間追尾処理部５の他に、追尾情報処理部２１と、追尾情報蓄積部２２と、追跡対象設定部（追跡対象設定手段）２３と、カメラ選択部（カメラ選択手段）２４と、追跡対象確認部２５と、追跡対象修正部２６と、画像再生部（画像再生手段）２７と、画面生成部２８と、を備えている。
追尾情報処理部２１では、カメラ内追尾処理装置４およびカメラ間追尾処理部５から追尾情報を取得して追尾情報蓄積部２２に蓄積する処理が行われる。
追跡対象設定部２３では、レコーダ２に蓄積された撮影画像を表示ビュー４３ａ〜４３ｄに表示させた追跡対象指定画面をモニタ７に表示させ、その表示ビュー４３ａ〜４３ｄにおいて追跡対象となる人物を指定する監視者の入力操作に応じて、指定された人物を追跡対象に設定する処理が行われる。この監視者の入力操作はマウスなどの入力デバイス６を用いて行われる。なお、この追跡対象を指定する操作が行われた時に表示ビュー４３ａ〜４３ｄに表示されていた撮影画像を以降、追跡対象指定画像と呼称する。
カメラ選択部２４では、追跡対象に設定された人物に関する追尾情報を追尾情報蓄積部２２から取得して、その追尾情報に基づいて、追跡対象を指定した表示ビュー４３ａ〜４３ｄに対応するカメラ１ａ〜１ｄ以外で、追跡対象とした人物を撮影したものと推測されるカメラ１ａ〜１ｄを選択する処理が行われる。
追跡対象確認部２５は、確認画像提示部（確認画像提示手段）３１を備えている。この確認画像提示部３１では、追跡対象に設定された人物に関する追尾情報を追尾情報蓄積部２２から取得して、その追尾情報に基づいて、その人物が写ったものと想定される撮影画像を確認画像として抽出して、その確認画像が配置された追跡対象確認画面をモニタに表示させる処理が行われる。確認画像の抽出処理では、追尾情報に基づいて追跡対象とした人物が写ったものと想定される撮影画像をレコーダ２から取得する。
これにより、追跡対象確認画面に表示された確認画像が追跡対象に指定した人物のものか否かを監視者が確認することで、追跡対象に指定した人物に関する追尾情報に誤りがない否かを監視者が判断することができる。
ここで、確認画像が追跡対象とした人物と異なる人物のものである場合、すなわち確認画像に追跡対象とした人物と異なる人物のみが写っている場合、また、確認画像に追跡対象とした人物が写っているが、追跡対象を示す人物枠４８が異なる人物に表示されている場合には、追跡対象とした人物に関する追尾情報に誤りがある。
追跡対象修正部２６は、候補選択部（候補選択手段）３３と、候補画像提示部（候補画像提示手段）３４と、追尾情報修正部（追尾情報修正手段）３５と、を備えている。
候補選択部３３では、追尾情報蓄積部２２から各人物の追尾情報を取得して、その追尾情報に基づいて、追跡対象とした人物と関連度の高い人物を候補として選択する処理が行われる。この候補選択処理は、追跡対象とした人物に関する追尾情報に誤りがあることを監視者が発見した場合に、監視者の指示操作に応じて実行される。この候補選択処理では、人物の検出時刻（フレームの撮影時刻）、人物の検出位置、人物の移動速度、人物像の色情報などに基づいて関連度の高さを求める。人物像の色情報は、テンプレートで色を抽出する手法により取得する。また、この候補選択部３３では、候補となる人物に関連度の高さに応じて順位が付与される。
候補画像提示部３４では、候補選択部３３で選択された候補となる人物が写った撮影画像を候補画像として抽出して、その候補画像が配置された候補選択画面をモニタ７に表示させて、候補選択画面上で追跡対象に指定した人物が写った候補画像を監視者に選択させる処理が行われる。候補画像の抽出処理では、追尾情報に基づいて候補となる人物が写った撮影画像をレコーダ２から取得する。
特に、本実施形態では、追尾情報蓄積部２２の追尾情報から追跡対象指定画像および候補画像の撮影時刻および撮影したカメラ１ａ〜１ｄの識別情報を取得して、候補選択画面に追跡対象指定画像および候補画像を撮影したカメラ１ａ〜１ｄごとに分けて撮影時刻の順に並べて配置する処理が行われる。また、候補画像提示部３４では、候補として選択された人物に関する追尾情報からその人物の追尾期間を取得して、候補選択画面の候補画像ごとに追尾期間を表す画像を表示させる処理が行われる。また、候補画像提示部３４では、候補選択画面の初期状態で、撮影画像を静止画で表示させ、監視者の指示操作に応じて撮影画像を動画で表示させる処理が行われる。
追尾情報修正部３５では、候補選択画面で選択された候補画像に対応する人物を追跡対象に変更して、追跡対象とした人物に関する追尾情報を修正する処理が行われる。すなわち、前記の確認画像が追跡対象とした人物と異なる人物のものである場合には、人物の入れ替わりが発生しているため、追跡対象に変更した人物に関する追尾情報に基づいて、追跡対象に指定した人物に関する追尾情報を修正する。ここで修正された追尾情報は追尾情報蓄積部２２に蓄積される。
なお、以上のカメラ選択部２４、追跡対象確認部２５、および追跡対象修正部２６で行われる各処理は、監視者が追跡対象となる人物を指定した追跡対象指定画像の撮影時刻より時間的に前および後のいずれか一方または双方の事象を対象として行われる。
画像再生部２７では、カメラ選択部２４により選択されたカメラ１ａ〜１ｄの撮影画像を、それぞれに対応する表示ビュー４３ａ〜４３ｄに表示させる処理が行われる。特に、本実施形態では、画像再生部２７において、追跡対象となる人物が写った撮影画像を、時間の経過にしたがって順次、複数の表示ビュー４３ａ〜４３ｄに表示させる連続再生を行う処理が行われる。
画面生成部２８は、モニタ７に表示させる画面を生成するものであり、基本画面生成部３６と、表示ビュー提示部（表示部提示手段）３７、追跡対象提示部（追跡対象提示手段）３８と、撮影画像処理部３９と、を備えている。
この画面生成部２８は、追跡対象設定部２３からの指示に応じて図４に示した追跡対象指定画面を生成し、確認画像提示部３１からの指示に応じて図５に示した追跡対象確認画面を生成し、候補画像提示部３４からの指示に応じて図６に示した候補選択画面を生成し、画像再生部２７からの指示に応じて図７に示した連続再生画面を生成する。
基本画面生成部３６では、監視エリアを示す地図画像４１上に、複数のカメラ１ａ〜１ｄごとのカメラマーク４２と、複数のカメラ１ａ〜１ｄごとの撮影画像をそれぞれ表示させる複数の表示ビュー４３ａ〜４３ｄの空枠（撮影画像がないもの）とが配置された基本画面（背景画面）を生成する処理が行われる。
表示ビュー提示部３７では、連続再生画面において追跡対象とした人物が現在写っている表示ビュー４３ａ〜４３ｄを提示する処理が行われる。特に、本実施形態では、追跡対象とした人物が現在写っている表示ビュー４３ａ〜４３ｄに、他の表示ビュー４３ａ〜４３ｄと識別する強調表示を施す処理が行われる。具体的には、強調表示として、所定の着色が施された枠画像４５を表示ビュー４３ａ〜４３ｄの外周部に表示する。この表示ビュー提示処理では、追跡対象とした人物に関する追尾情報を取得して、その追尾情報に基づいて、追跡対象とした人物が現在写っている表示ビュー４３ａ〜４３ｄを提示する。
追跡対象提示部３８では、追尾情報蓄積部２２から追尾情報を取得して、その追尾情報に基づいて、追跡対象とした人物が写る表示ビュー４３ａ〜４３ｄの各々において、追跡対象に設定された人物を提示する処理が行われる。特に、本実施形態では、表示ビュー４３ａ〜４３ｄに写った追跡対象とした人物の像に、他の人物と識別する強調表示を施す処理が行われる。具体的には、強調表示として、追跡対象とした人物に、追跡対象であることを示す人物枠４８が表示され、この人物枠４８は、撮影画像から検出された人物に表示される人物枠４７と識別可能な着色（例えば緑色）による強調表示が施される。
撮影画像処理部３９では、基本画面生成部３６で生成された基本画面の表示ビュー４３ａ〜４３ｄに、レコーダ２から取得した撮影画像を埋め込む処理が行われる。
なお、図３に示したＰＣ３の各部は、ＰＣ３のＣＰＵで追跡支援用のプログラムを実行させることで実現される。これらのプログラムは、情報処理装置としてのＰＣ３に予め導入して専用の装置として構成する他、汎用ＯＳ上で動作するアプリケーションプログラムとして適宜なプログラム記録媒体に記録してユーザに提供されることも可能である。
次に、カメラ内追尾処理装置４およびカメラ間追尾処理部５において追尾情報に誤りが発生する場合について説明する。図８は、カメラ内追尾処理装置４およびカメラ間追尾処理部５にて行われるカメラ内追尾処理およびカメラ間追尾処理の状況を示す説明図である。ここでは、２人の人物Ａ，Ｂが同様に、図２に記したように、第１〜第３カメラ１ａ〜１ｃに写るように移動する例について説明する。
第１カメラ１ａのカメラ内追尾処理装置４では、第１カメラ１ａの撮影画像から人物Ａ，Ｂが検出され、その人物Ａ，Ｂにそれぞれ人物ＩＤ（Id=01、Id=02）が付与される。第２カメラ１ｂのカメラ内追尾処理装置４では、第２カメラ１ｂの撮影画像から人物Ａ，Ｂが検出され、その人物Ａ，Ｂにそれぞれ人物ＩＤ（Id=03、Id=04）が付与されるが、特にここでは、人物Ａについては追尾が途中で中断され、人物Ｂについては人物検出に手間取り、追尾の開始が遅くなっている。第３カメラ１ｃのカメラ内追尾処理装置４では、第３カメラ１ｃの撮影画像から人物Ａ，Ｂが検出され、人物Ａ，Ｂにそれぞれ人物ＩＤ（Id=05、Id=06）が付与される。
ＰＣ３のカメラ間追尾処理部５では、第１〜第３カメラ１ａ〜１ｃの各カメラ内追尾処理装置４からそれぞれ追尾情報を取得して、各々で検出された人物を対応付ける処理が行われるが、特にここでは、第２カメラ１ｂのカメラ内追尾処理装置４で発生した追尾の中断や遅れが原因で、第２カメラ１ｂと第３カメラ１ｃとの間でのカメラ間追尾処理で、人物Ａと人物Ｂとが入れ替わる誤りが発生している。このような場合、第３カメラ１ｃで人物Ａを追跡対象として指定すると、第１カメラ１ａおよび第２カメラ１ｂにそれぞれ対応した第１表示ビュー４３ａおよび第２表示ビュー４３ｂでは人物Ｂが追跡対象として表示される。
このようにカメラ間追尾処理部５で取得した追尾情報に誤りがあると、表示ビュー４３ａ〜４３ｄに追跡対象とした人物とは異なる人物が表示され、これにより追尾情報に誤りがあるか否かを検証することができる。そして、この検証で追尾情報に誤りがあることが判明すると、追跡対象として正しい人物を監視者に選択させて、追尾情報を修正する処理が行われる。
次に、図４〜図７に示した各画面およびその画面で行われる監視者の操作の手順について詳しく説明する。図９は、図３に示したＰＣ３の各部で行われる処理および各画面で行われる監視者の操作の手順を示すフロー図である。
まず、追跡支援処理を開始する操作を行うと、図４に示した追跡対象指定画面がモニタ７に表示され、この追跡対象指定画面で、監視者は日付および時刻を指定する操作を行う（ＳＴ１０１）。追跡対象指定画面の上部には、日付および時刻の入力欄が設けられており、ここで、日付および時刻（年月日時分秒）を指定して検索のボタンを操作すると、指定された日付および時刻の撮影画像（静止画）が各表示ビュー４３ａ〜４３ｄに表示される（ＳＴ１０２）。なお、追跡対象となる人物が万引きなどの行為を行った日付および時刻は既知であるため、その日付および時刻に基づいて、追跡対象となる人物が確実に写った撮影画像を見つけ出すことができる。
この追跡対象指定画面では、監視者が追跡対象となる人物を指定する操作を行う（ＳＴ１０３）。具体的には、マウスなどの入力デバイス６を用いて、表示ビュー４３ａ〜４３ｄに表示された撮影画像に写った追跡したい人物の像にポインタ４９を合わせて選択する操作（マウスであればクリック）を行う。図４に示す例では、第３カメラ１ｃに対応する第３表示ビュー４３ｃに追跡対象となる人物が写っており、この人物を追跡対象に指定する。
このように、追跡対象指定画面で監視者が追跡対象となる人物を指定する操作を行うと、カメラ選択部２４において、追跡対象とした人物を撮影したものと推測されるカメラ１ａ〜１ｄを選択する処理が行われる（ＳＴ１０４）。そして、追跡対象確認部２５の確認画像提示部３１において、追跡対象となる人物が写ったものと想定される確認画像が配置された図５に示す追跡対象確認画面をモニタ７に表示させる処理が行われる（ＳＴ１０５）。
図５に示す追跡対象確認画面では、各表示ビュー４３ａ〜４３ｄに、各々に対応するカメラ１ａ〜１ｄで追跡対象とした人物が写った確認画像が表示される。この確認画像は、追跡対象とした人物が写った撮影画像のうちの代表画像（静止画）であり、この代表画像は、追跡対象とした人物の追尾開始時の撮影画像、すなわち追跡対象とした人物が最初に検出された撮影画像とすればよい。この追跡対象確認画面の各表示ビュー４３ａ〜４３ｄには、撮影画像内の人物に人物枠４７が表示され、特に追跡対象とした人物には、追跡対象であることを示す人物枠４８が表示される。
なお、この追跡対象確認画面の下部には、再生、逆再生、停止、早送り、および巻き戻しの各ボタンが設けられており、これらのボタンを操作すると、各表示ビュー４３ａ〜４３ｄで、各々に対応するカメラ１ａ〜１ｄで追跡対象とした人物を撮影した撮影画像が動画で表示され、動画で追跡対象に誤りがないかを確認することができる。
ここで、追跡対象とした人物に関する追尾情報に誤りがある場合には、追跡対象確認画面の各表示ビュー４３ａ〜４３ｄに表示された確認画像に、追跡対象とした人物が写っていないか、あるいは追跡対象とした人物が写っているものの、追跡対象とした人物と異なる人物に人物枠４８が表示されており、この確認画像を見ることで、追跡対象とした人物に関する追尾情報に誤りがあるか否かを判断することができる。
この追跡対象確認画面で表示ビュー４３ａ〜４３ｄに写った追跡対象に誤りがあることを監視者が発見すると（ＳＴ１０６でＮＯ）、監視者は、追跡対象の候補を表示させる指示、すなわち追跡対象に誤りがある表示ビュー４３ａ〜４３ｄを選択して手動検索のボタンを操作する（ＳＴ１０７）。すると、追跡対象修正部２６の候補選択部３３において、追跡対象とした人物と関連度の高い人物を候補として選択する処理が行われる（ＳＴ１０８）。ついで、候補画像提示部３４において、候補選択部３３で選択された候補となる人物が写った撮影画像を候補画像として抽出して、図６に示す候補選択画面をモニタ７に表示させる処理が行われる（ＳＴ１０９）。
図６に示す候補選択画面では、図５に示した追跡対象確認画面で、誤りがあるものとして選択した表示ビュー４３ａ〜４３ｄに対応するカメラ１ａ〜１ｄで撮影された候補画像が、候補となる人物に付与された順位に基づいて上位のものから所定数表示される。特に、図６に示す例では、候補選択画面に４つの表示ビュー５１ａ〜５１ｄが設けられており、第１から第４の順位の各候補画像が表示される。
なお、この候補選択画面の下部には、候補なしのボタンおよび次へのボタンが設けられている。候補なしのボタンを操作すると、候補を選択することなく、図５に示した追跡対象確認画面に戻る。次へのボタンを操作すると、次の順位の候補となる人物が写った候補画像が表示される。
この候補選択画面で追跡対象に指定した正しい人物が写った候補画像を監視者が選択すると（ＳＴ１１０）、確定のボタンがポップアップ表示され、この確定のボタンを操作すると、図５に示した追跡対象確認画面に戻る。このとき、追尾情報修正部３５において、候補選択画面で選択された候補画像に写った人物を追跡対象に変更して、追跡対象に指定した人物に関する追尾情報を修正する処理が行われる（ＳＴ１１１）。
ついで、図５に示した追跡対象確認画面の全ての表示ビュー４３ａ〜４３ｄで追跡対象に誤りがないかを監視者が確認し（ＳＴ１１２）、追跡対象に誤りがある表示ビュー４３ａ〜４３ｄがある場合には、追跡対象確認画面で追跡対象に誤りがある表示ビュー４３ａ〜４３ｄを選択して手動検索のボタンを操作し（ＳＴ１０７）、前記の処理および操作が繰り返される。
そして、図５に示した追跡対象確認画面の全ての表示ビュー４３ａ〜４３ｄで追跡対象に誤りがないことが確認されると、追跡対象確認画面の下部に設けられた再生ボタンを操作する。すると、画像再生部２７において、追跡対象となる人物が写った撮影画像を、時間の経過にしたがって順次、複数の表示ビュー４３ａ〜４３ｄに表示させる連続再生を行う処理が行われ、図７に示した連続再生画面がモニタ７に表示される（ＳＴ１１３）。この連続再生は、追跡対象とした人物に関する修正された追尾情報に基づいて行われるため、追跡対象とした人物が監視エリア内でどのような行動を行ったかを監視者が確認するとともに、追尾情報に誤りがないかの確認を再度行うことができる。
以上のように本実施形態では、モニタ７に表示される画面に、監視エリアを示す地図画像４１上にカメラ１ａ〜１ｄの実際の配置状況に対応して、複数のカメラ１ａ〜１ｄごとの撮影画像を表示する複数の表示ビュー４３ａ〜４３ｄが配置されて、この複数の表示ビュー４３ａ〜４３ｄに、追跡対象に指定した人物が表示されるため、追跡対象とした人物が監視エリア内でどのような行動を行ったかを監視者が容易に確認することができる。特に、複数の表示ビュー４３ａ〜４３ｄの中から追跡対象とした人物が写った表示ビュー４３ａ〜４３ｄを探し出す手間を省くことができるため、追跡作業を行う監視者の負担を大幅に軽減し、追跡対象とした人物を見失うことなく円滑に追跡作業を進めることができる。そして、表示ビュー４３ａ〜４３ｄに複数の人物が写っている場合に、追跡対象となる人物が１つに特定されるため、追跡対象とした人物が写った表示ビューが誤って提示されることも避けることができる。
また、本実施形態では、追跡対象に設定した人物に関する追尾情報に誤りがある場合に、追跡対象に設定した人物と関連度の高い人物を候補として選択して、その候補となる人物が写った候補画像が候補選択画面に表示され、監視者は、追跡対象とした人物が写った候補画像を選択すればよいため、追跡対象とした人物に関する追尾情報を修正する作業を簡単に行うことができ、監視者の負担を軽減することができる。
また、本実施形態では、追尾情報に基づいて追跡対象に設定された人物が写ったものと想定される確認画像が追跡対象確認画面に表示されるため、この確認画像が追跡対象とした人物のものか否かを監視者が確認することで、追跡対象とした人物に関する追尾情報に誤りがある否かを監視者が容易に判断することができる。
また、本実施形態では、カメラ選択部２４、追跡対象確認部２５、および追跡対象修正部２６で行われる各処理が、監視者が追跡対象となる人物を指定した追跡対象指定画像の撮影時刻より時間的に前および後のいずれか一方または双方の事象を対象として行われるため、追跡対象となる人物を指定した時刻以前の人物の状況や、人物を指定した時刻以後の人物の状況を監視者が把握することができる。
図１０は、図７に示した連続再生画面において追跡対象とした人物が現在写っている表示ビュー４３ａ〜４３ｄを示す枠画像４５の推移状況を示す説明図である。ここでは、追跡対象とした人物が、第１表示ビュー４３ａ、第２表示ビュー４３ｂ、および第３表示ビュー４３ｃの順に写る例について説明する。
前記のように、本実施形態では、追跡対象とした人物が写った撮影画像を複数の表示ビュー４３ａ〜４３ｄに連続して表示させる連続再生を行うことができる。この連続再生を行う連続再生画面では、図７（Ａ）〜（Ｃ）に示したように、追跡対象となる人物が写った撮影画像を表示している期間に、表示ビュー４３ａ〜４３ｄに黄色の枠画像４５が表示さる。
図１０に示す例では、第２カメラ１ｂで人物を検出して追尾を開始するタイミングが遅れて、そのタイミングと、第１カメラ１ａで人物の追尾が終了するタイミングとの間に人物の追尾が途切れた期間が発生しているが、本実施形態では、追尾が途切れた期間では、その期間の前後で追跡対象とした人物の撮影画像を表示する２つの表示ビュー４３ａ〜４３ｄに同時に黄色の枠画像４５を表示する処理が行われ、図１０に示す例では、第１表示ビュー４３ａおよび第２表示ビュー４３ｂに同時に黄色の枠画像４５が表示される。
また、図１０に示す例では、第３カメラ１ｃで人物を検出して追尾を開始するタイミングが、第２カメラ１ｂで人物の追尾が終了するタイミングより早くなっているが、このような場合には、本実施形態では、後から追跡対象とした人物を写すカメラ１ａ〜１ｄで人物を検出して追尾が開始されると、その前に追跡対象とした人物を写すカメラ１ａ〜１ｄに対応する表示ビュー４３ａ〜４３ｄでの画像再生および枠画像４５の表示を停止する処理が行われ、図１０に示す例では、第３カメラ１ｃで人物を検出して追尾を開始したところで、第３カメラ１ｃに対応する第３表示ビュー４３ｃで画像再生および枠画像４５の表示が開始されると同時に、第２カメラ１ｂに対応する第２表示ビュー４３ｂでの画像再生および枠画像４５の表示が停止される。
このように本実施形態では、追跡対象とした人物が写った撮影画像を、時間の経過にしたがって順次、複数の表示ビュー４３ａ〜４３ｄに表示させる連続再生を行うことから、追跡対象とした人物を複数の表示ビュー４３ａ〜４３ｄで連続して追跡することができるため、追跡対象とした人物が監視エリア内でどのような行動を行ったかを監視者が簡単に確認することができる。
特に、本実施形態では、連続再生が行われる連続再生画面において、追跡対象とした人物が現在写っている表示ビュー４３ａ〜４３ｄに枠画像４５を表示するため、追跡対象とした人物が写った表示ビュー４３ａ〜４３ｄを一目で判別することができ、これにより複数の表示ビュー４３ａ〜４３ｄの中から追跡対象とした人物が現在写っている表示ビュー４３ａ〜４３ｄを探し出す手間を省くことができるため、追跡作業を行う監視者の負担を軽減し、追跡対象とした人物を見失うことなく円滑に追跡作業を進めることができる。
また、カメラ内追尾処理装置４およびカメラ間追尾処理部５における追尾処理で追跡対象とした人物の追尾が途切れている場合には、追跡対象とした人物が現在写っている表示ビュー４３ａ〜４３ｄが不明であるが、追尾が途切れた期間の前後の２つの表示ビュー４３ａ〜４３ｄのいずれか一方あるいは双方に追跡対象とした人物が写っている可能性が高いため、本実施形態では、追跡対象とした人物の追尾が途切れた期間の前後で追跡対象とした人物の撮影画像を表示する２つの表示ビュー４３ａ〜４３ｄに同時に枠画像４５を表示するようにしたため、監視者は人物を見失うことなく円滑に追跡作業を進めることができる。
次に、モニタ７に表示される追跡対象確認画面および候補選択画面の別の実施形態について説明する。図１１は、モニタ７に表示される追跡対象確認画面を示す説明図である。図１２、図１３および図１４は、モニタ７に表示される候補選択画面を示す説明図である。なお、ここで特に言及しない点は前記の実施形態と同様である。
図１１に示す追跡対象確認画面は、図４に示した追跡対象指定画面で追跡対象となる人物を指定することで表示される。この追跡対象確認画面は、図５に示した例と略同様であるが、この追跡対象確認画面の下部にはタイムライン検索のボタンが表示されており、この追跡対象確認画面で、図５に示した例と同様に、追跡対象に誤りがないかを監視者が確認して、追跡対象に誤りがあることが判明すると、監視者はタイムライン検索のボタンを操作する。これにより、図１２〜図１４に示す候補選択画面が表示される。
図１２〜図１４に示す候補選択画面には、監視者が追跡対象となる人物を指定した追跡対象指定画像６１と、追跡対象の候補となる複数の人物がそれぞれ写った複数の候補画像６２とが、撮影時刻の順に並べて配置されている。特に本実施形態では、追跡対象指定画像６１および候補画像６２が、それらを撮影したカメラ１ａ〜１ｄごとに分けて、撮影時刻の順に並べて配置されている。
また、図１２〜図１４に示す候補選択画面では、最も順位の高い候補となる人物、すなわち追跡対象とした人物と関連度の最も高い候補となる人物の候補画像６２が、他の候補画像６２より大きく表示されている。
なお、図１２〜図１４に示す例では、撮影時刻の異なる候補画像６２を横方向に並べるとともに、カメラ１ａ〜１ｄごとの候補画像６２を縦方向に並べた構成となっているが、縦横を逆にした構成、すなわち、撮影時刻の異なる候補画像６２を縦方向に並べるとともに、カメラ１ａ〜１ｄごとの候補画像６２を横方向に並べた構成としてもよい。また、撮影時刻の表示は、左方から右方に向かって時刻が遡るレイアウトになっているが、左方から右方に向かって時刻が進むレイアウトとしても良く、それに合わせて追跡対象指定画像６１および候補画像６２などの配置も適宜変更するとよい。
特に、図１２に示す修正候補選択画面は、図４に示した追跡対象指定画面で追跡対象となる人物を指定した後に、図１１に示した追跡対象確認画面でタイムライン検索のボタンを操作したときに最初に表示されるものであり、ここでは、第３カメラ１ｃの表示ビュー４３ｃで追跡対象となる人物を選択した際の追跡対象指定画像６１が表示され、一方、第１カメラ１ａおよび第２カメラ１ｂについては選択が未了であるため、第１カメラ１ａの候補画像６２および第２カメラ１ｂの候補画像６２が表示されている。
また、図１３に示す修正候補選択画面は、図１２に示す修正候補選択画面で第２カメラ１ｂの候補画像６２の選択が終了したときに表示されるものであり、ここでは、第３カメラ１ｃの追跡対象指定画像６１と、図１２に示す修正候補選択画面で第２カメラ１ｂの候補画像６２の中から選択された選択画像６５とが表示され、一方、第１カメラ１ａについては選択が未了であるため、第１カメラ１ａの候補画像６２が複数表示されている。
また、図１２および図１３に示す修正候補選択画面は、追跡対象となる人物を指定した追跡対象指定画像６１より時間的に前にだけ追跡対象となる人物を撮影したカメラ１ａ〜１ｄがある場合に表示されるものであり、追跡対象となる人物を指定した追跡対象指定画像６１より時間的に後にも追跡対象となる人物を撮影したカメラ１ａ〜１ｄがある場合には図１４に示す修正候補選択画面が表示される。
この図１４に示す修正候補選択画面では、第３カメラ１ｃの追跡対象指定画像６１と、これより時間的に前になる第１カメラ１ａの候補画像６２および第２カメラ１ｂの候補画像６２が表示されるとともに、第３カメラ１ｃの追跡対象指定画像６１より時間的に後になる第４カメラ１ｄの候補画像６２が表示されている。
このように本実施形態では、追跡対象となる人物を指定した追跡対象指定画像６１より時間的に前になるカメラ１ａ〜１ｄの候補画像６２と、追跡対象指定画像６１より時間的に後になるカメラ１ａ〜１ｄの候補画像６２と、が表示されるため、追跡対象指定画像６１の撮影時刻以前の人物の移動状況と、追跡対象指定画像の撮影時刻以後の人物の移動状況を監視者が把握することができる。
また、図１２〜図１４に示す候補選択画面には、追跡対象となる人物および候補として選択された人物の追尾期間、すなわち撮影画像から人物を検出して追尾を開始してから、追尾が終了するまでの期間を表す矢印画像６３が、追跡対象指定画像６１、候補画像６２および選択画像６５に対応する位置（ここでは下側）に表示されている。この矢印画像６３では、矢印の始点が追尾開始時刻となり、矢印の終点が追尾終了時刻となる。
このように本実施形態では、追跡対象指定画像６１および選択画像６５に写る追跡対象となる人物の追尾期間、および候補画像６２に写る候補となる人物の追尾期間が、矢印画像６３で表示されるため、追跡対象指定画像６１および選択画像６５に写る追跡対象となる人物と、候補画像６２に写る候補となる人物との関連性を一目で判断することができる。
また、図１２〜図１４に示す候補選択画面には、人物の移動経路上で隣接する２つのカメラ１ａ〜１ｄの追跡対象指定画像６１、候補画像６２および選択画像６５に付された矢印画像６３同士を結ぶように線画像６４（ここでは点線の画像）が表示されている。特に、図１２〜図１４に示す例では、人物の移動経路上で時間的に前となる画像に付された矢印画像６３の始点と、時間的に後となる画像に付された矢印画像６３の終点とを結ぶように線画像６４が表示されている。
この線画像６４により、追跡対象指定画像６１および選択画像６５に写る追跡対象となる人物と、候補画像６２に写る候補となる人物との関連性を一目で判断することができる。すなわち、線画像６４の角度（矢印画像６３とのなす角度）が大きいもの程、時間的に近接して、関連性が高いものと判断することができる。
また、図１２〜図１４に示す候補選択画面では、初期状態で候補画像６２が静止画で表示され、候補選択画面の下部に設けられた再生ボタンを操作すると、候補画像６２の各表示部で、候補画像６２に写る候補となる人物の追尾期間中の撮影画像が動画で表示される。また、候補画像６２の各表示部を操作すると、ホップアップ画面が表示され、このホップアップ画面で撮影画像が動画で表示され、大きな画面で候補となる人物を確認することができる。
また、図１２〜図１４に示す候補選択画面では、別候補、候補なし、および手動検索の各ボタンが設けられている。別候補のボタンは、現在表示された候補画像６２に該当するものがない場合に、次の順位の候補画像を表示させるものである。候補なしのボタンは、候補画像６２に適切なものがないため、候補画像６２を選択することなく候補画像６２の選択を終了させるものである。手動検索のボタンは、図１２〜図１４に示した候補選択画面に代わって、図６に示した候補選択画面を表示させるものである。
以上のように本実施形態では、候補選択画面に、監視者が追跡対象となる人物を選択した追跡対象指定画像６１と、追跡対象の候補となる複数の人物がそれぞれ写った複数の候補画像６２とが、撮影時刻の順に並べて配置されるため、追跡対象指定画像６１に写る追跡対象となる人物と、候補画像６２に写る候補となる人物との関連性を一目で判断することができ、候補画像６２の選択が容易になる。
特に、本実施形態では、候補選択画面に、追跡対象指定画像６１および候補画像６２が、撮影したカメラ１ａ〜１ｄごとに、撮影時刻の順に並べて配置されていることから、追跡対象指定画像６１に写る追跡対象となる人物と、候補画像６２に写る候補となる人物との関連性を、各画像を撮影したカメラ１ａ〜１ｄを考慮して判断することができるため、候補画像６２の選択がより一層容易になる。
また、本実施形態では、候補選択画面に、追跡対象となる人物および候補として選択された人物の追尾期間を表す矢印画像６３が表示されることから、追跡対象指定画像６１に写る追跡対象となる人物の追尾期間、および候補画像６２に写る候補となる人物の追尾期間を監視者が一目で把握することができるため、候補画像の選択がより一層容易になる。
また、本実施形態では、候補選択画面の初期状態で、撮影画像を静止画で表示させ、監視者の指示操作に応じて撮影画像を動画で表示させるようにしたため、必要に応じて、候補画像が追跡対象に指定した人物が写ったものか否かを動画で確認することができ、候補画像の選択がより一層容易になる。
以上、本発明を特定の実施形態に基づいて説明したが、これらの実施形態はあくまでも例示であって、本発明はこれらの実施形態によって限定されるものではない。また、上記実施形態に示した本発明に係る追跡支援装置、追跡支援システムおよび追跡支援方法の各構成要素は、必ずしも全てが必須ではなく、少なくとも本発明の範囲を逸脱しない限りにおいて適宜取捨選択することが可能である。
例えば、本実施形態では、スーパーマーケットなどの小売店舗の例について説明したが、ファミリーレストランなどの飲食店など、小売店舗以外の業務形態の店舗に適用することも可能であり、さらに、事業所などの店舗以外の施設にも適用することができる。
また、本実施形態では、移動体として人物を追跡する例について説明したが、人物以外の移動体、例えば自動車や自転車などの車両を追跡する構成も可能である。
また、本実施形態では、カメラ１ａ〜１ｄを４台設置して、その撮影画像を表示する表示ビュー４３ａ〜４３ｄを画面に４つ配置した例について説明したが、カメラ１ａ〜１ｄおよび表示ビュー４３ａ〜４３ｄの数はこれに限定されるものではなく、特に表示ビュー４３ａ〜４３ｄの数が多くなる場合に本実施形態の構成が有効となる。
また、本実施形態では、画面内の表示ビュー４３ａ〜４３ｄを強調表示するために、所定の着色が施された枠画像４５を表示ビュー４３ａ〜４３ｄの外周部に表示する構成としたが、強調表示はこれに限定されるものではなく、表示ビュー４３ａ〜４３ｄの内部またはその近傍に、マークなどの所要の画像を表示させたり、２つの表示ビュー４３ａ〜４３ｄを結ぶ矢印の画像を表示させたりしてもよい。
また、本実施形態では、図３に示したように、カメラ内追尾処理をカメラ内追尾処理装置４に行わせ、カメラ間追尾処理および追跡支援処理をＰＣ３に行わせる例について説明したが、カメラ内追尾処理もＰＣ３に行わせる構成としてもよい。また、カメラ内追尾処理部をカメラ１ａ〜１ｄに設ける構成も可能である。また、カメラ間追尾処理部５をＰＣ３とは別の追尾処理装置で構成することも可能である。また、カメラ１ａ〜１ｄとして、視野角の限定される箱型カメラが図示されているが、これに限らず、広範囲の撮影が可能な全方位カメラを用いることもできる。
また、本実施形態では、カメラ内追尾処理、カメラ間追尾処理および追跡支援処理を、店舗に設けられた装置に行わせるようにしたが、これらの必要な処理を、図１に示したように、本部に設けられたＰＣ１１や、クラウドコンピューティングシステムを構成するクラウドコンピュータ１２に行わせるようにしてもよい。また、必要な処理を複数の情報処理装置で分担し、ＩＰネットワークやＬＡＮなどの通信媒体、またはハードディスクやメモリカードなどの記憶媒体を介して、複数の情報処理装置の間で情報を受け渡すようにしてもよい。この場合、必要な処理を分担する複数の情報処理装置で追跡支援システムが構成される。
このような構成では、店舗に設けられた装置に、少なくともカメラ内追尾処理やカメラ間追尾処理を行わせるようにするとよい。このように構成すると、カメラ内追尾処理やカメラ間追尾処理で取得した情報はデータ量が少なくて済むため、残りの処理を店舗とは異なる場所に設置された情報処理装置、例えば本部に設置されたＰＣ１１に行わせるようにしても、通信負荷を軽減することができるため、広域ネットワーク接続形態によるシステムの運用が容易になる。
また、クラウドコンピュータ１２に、少なくともカメラ内追尾処理やカメラ間追尾処理を行わせるようにしてもよい。このように構成すると、カメラ内追尾処理やカメラ間追尾処理は演算量が大きくなるため、これをクラウドコンピューティングシステムを構成する情報処理装置に行わせることで、店舗などのユーザ側に高速な情報処理装置が不要となり、また、残りの処理は演算量が小さくて済むため、店舗に設置された販売情報管理装置を構成する情報処理装置に拡張機能として兼用させることも可能になり、これにより監視者が負担するコストを軽減することができる。
また、クラウドコンピュータ１２に、必要な処理の全部を行わせるようにしてもよく、このように構成すると、店舗や本部に設けられたＰＣ３，１１の他に、スマートフォン１３などの携帯型端末でも追跡状況を閲覧することができるようになり、これにより店舗や本部の他に外出先などの任意の場所で追跡状況を閲覧することができる。
本発明にかかる追跡支援装置、追跡支援システムおよび追跡支援方法は、表示装置の画面に表示された複数のカメラごとの撮影画像を見ながら特定の人物を追跡する際に、監視者の負担を軽減する支援処理を適切に行って、追跡中の人物を見失うことなく円滑に追跡作業を進めることができる効果を有し、画像蓄積装置に蓄積された複数のカメラごとの撮影画像をそれぞれ表示する複数の表示部が配置された画面を表示装置に表示させて、追跡対象となる移動体を追跡する監視者の作業を支援する追跡支援装置、追跡支援システムおよび追跡支援方法などとして有用である。
１ａ〜１ｄ カメラ
２ レコーダ（画像蓄積手段）
３ ＰＣ（追跡支援装置）
４ カメラ内追尾処理装置（追尾処理手段）
５ カメラ間追尾処理部（追尾処理手段）
６ 入力デバイス
７ モニタ
１２ クラウドコンピュータ
１３ スマートフォン
２３ 追跡対象設定部（追跡対象設定手段）
２４ カメラ選択部（カメラ選択手段）
２５ 追跡対象確認部
２６ 追跡対象修正部
２７ 画像再生部（画像再生手段）
２８ 画面生成部
３１ 確認画像提示部（確認画像提示手段）
３３ 候補選択部（候補選択手段）
３４ 候補画像提示部（候補画像提示手段）
３５ 追尾情報修正部（追尾情報修正手段）
３６ 基本画面生成部
３７ 表示ビュー提示部（表示部提示手段）
３８ 追跡対象提示部（追跡対象提示手段）
３９ 撮影画像処理部
４１ 地図画像
４２ カメラマーク
４３ａ〜４３ｄ 表示ビュー（表示部）
４５ 枠画像
４８ 人物枠
６１ 追跡対象指定画像
６２ 候補画像
６３ 矢印画像
６４ 線画像
６５ 選択画像

Claims (7)

  1. 監視エリアを示す地図画像上に、画像蓄積部に蓄積された複数のカメラごとの撮影画像をそれぞれ表示する複数の表示ビューが、前記カメラの実際の配置状況に対応して配置された画面を表示装置に表示させて、追跡対象となる移動体を追跡する監視者の作業を支援する追跡支援装置であって、
    撮影時刻等の指定による検索条件に従って、前記画像蓄積部に蓄積された撮影画像を前記表示ビューに表示させ、その表示ビューのいずれかにおいて追跡対象となる移動体を指定する監視者の入力操作に応じて、指定された移動体を追跡対象に設定する追跡対象設定部と、
    撮影画像を処理して取得した追尾情報に基づいて、前記追跡対象を指定した前記表示ビューに対応する前記カメラ以外で、前記追跡対象となる移動体を撮影したものと推測される前記カメラを選択するカメラ選択部と、
    前記追跡対象に設定された移動体に関する前記追尾情報に基づいて、その移動体が写ったものと想定される追尾開始時の撮影画像を確認画像として抽出して、その確認画像が配置された追跡対象確認画面を前記表示装置に表示させる確認画像提示部と、
    この確認画像提示部で提示された前記カメラの撮影画像を、時間の経過にしたがって順次、複数の前記表示ビューに表示させる連続再生を行う画像再生部と、
    を備えたことを特徴とする追跡支援装置。
  2. 前記追跡対象に設定された移動体に対応した移動体枠を強調する第１の強調表示を施す追跡対象提示部と、前記連続再生が行われる連続再生画面において、前記追跡対象とした移動体が現在写っている前記表示ビューに対応した表示枠を強調する第２の強調表示を施す表示ビュー提示部と、を有した画面生成部を、
    さらに備えたことを特徴とする請求項１に記載の追跡支援装置。
  3. 前記表示ビュー提示部は、前記追尾情報において前記追跡対象とした移動体の追尾が途切れている場合に、その追尾が途切れた期間の前後で前記追跡対象とした移動体の撮影画像を表示する２つの前記表示ビューを同時に提示することを特徴とする請求項１または請求項２に記載の追跡支援装置。
  4. 前記追跡対象に設定した移動体に関する前記追尾情報に誤りがある場合に、前記追尾情報に基づいて、前記追跡対象に設定した移動体と関連度の高い移動体を候補として選択する候補選択部と、
    前記候補となる移動体が写った撮影画像を候補画像として抽出して、その候補画像が配置された候補選択画面を前記表示装置に表示させて、前記候補選択画面上で前記追跡対象に指定した移動体が写った候補画像を監視者に選択させる候補画像提示部と、
    前記候補選択画面で選択された候補画像に写った移動体を追跡対象に変更して、前記追跡対象に指定した移動体に関する前記追尾情報を修正する追尾情報修正部と、
    をさらに備えたことを特徴とする請求項１から請求項３のいずれかに記載の追跡支援装置。
  5. 前記カメラ選択部および前記画像再生部でそれぞれ行われる処理は、監視者が追跡対象となる移動体を指定した追跡対象指定画像の撮影時刻より時間的に前および後のいずれか一方または双方の事象を対象とすることを特徴とする請求項１から請求項４のいずれかに記載の追跡支援装置。
  6. 監視エリアを示す地図画像上に、画像蓄積部に蓄積された複数のカメラごとの撮影画像をそれぞれ表示する複数の表示ビューが、前記カメラの実際の配置状況に対応して配置された画面を表示装置に表示させて、追跡対象となる移動体を追跡する監視者の作業を支援する追跡支援システムであって、
    前記監視エリアを撮像する前記カメラと、
    前記画面を表示する前記表示装置と、
    複数の情報処理装置と、
    を有し、
    前記複数の情報処理装置のいずれかが、
    前記カメラの撮影画像から検出された移動体を追尾して、移動体ごとの追尾情報を生成する追尾処理部と、
    撮影時刻等の指定による検索条件に従って、前記画像蓄積部に蓄積された撮影画像を前記表示部に表示させ、その表示ビューのいずれかにおいて追跡対象となる移動体を指定する監視者の入力操作に応じて、指定された移動体を追跡対象に設定する追跡対象設定部と、
    前記追尾処理部から取得した追尾情報に基づいて、前記追跡対象を指定した前記表示ビューに対応する前記カメラ以外で、前記追跡対象となる移動体を撮影したものと推測される前記カメラを選択するカメラ選択部と、
    前記追跡対象に設定された移動体に関する前記追尾情報に基づいて、その移動体が写ったものと想定される追尾開始時の撮影画像を確認画像として抽出して、その確認画像が配置された追跡対象確認画面を前記表示装置に表示させる確認画像提示部と、
    この確認画像提示部で提示された前記カメラの撮影画像を、時間の経過にしたがって順次、複数の前記表示ビューに表示させる連続再生を行う画像再生部と、
    を備えたことを特徴とする追跡支援システム。
  7. 監視エリアを示す地図画像上に、画像蓄積部に蓄積された複数のカメラごとの撮影画像をそれぞれ表示する複数の表示ビューが、前記カメラの実際の配置状況に対応して配置された画面を表示装置に表示させて、追跡対象となる移動体を追跡する監視者の作業の支援を情報処理装置により行う追跡支援方法であって、
    撮影時刻等の指定による検索条件に従って、前記画像蓄積部に蓄積された撮影画像を前記表示ビューに表示させ、その表示ビューのいずれかにおいて追跡対象となる移動体を指定する監視者の入力操作に応じて、指定された移動体を追跡対象に設定するステップと、
    撮影画像を処理して取得した追尾情報に基づいて、前記追跡対象を指定した前記表示ビューに対応する前記カメラ以外で、前記追跡対象となる移動体を撮影したものと推測される前記カメラを選択するステップと、
    前記追跡対象に設定された移動体に関する前記追尾情報に基づいて、その移動体が写ったものと想定される追尾開始時の撮影画像を確認画像として抽出して、その確認画像が配置された追跡対象確認画面を前記表示装置に表示させるステップと、
    このステップにより提示された前記カメラの撮影画像を、時間の経過にしたがって順次、複数の前記表示ビューに表示させる連続再生を行うステップと、
    を有することを特徴とする追跡支援方法。
JP2013145287A 2013-07-11 2013-07-11 追跡支援装置、追跡支援システムおよび追跡支援方法 Active JP5506990B1 (ja)

Priority Applications (6)

Application Number Priority Date Filing Date Title
JP2013145287A JP5506990B1 (ja) 2013-07-11 2013-07-11 追跡支援装置、追跡支援システムおよび追跡支援方法
US14/326,683 US9357181B2 (en) 2013-07-11 2014-07-09 Tracking assistance device, a tracking assistance system and a tracking assistance method
GB1412204.8A GB2516172B (en) 2013-07-11 2014-07-09 A tracking assistance device, a tracking assistance system and a tracking assistance method
RU2014128335/07A RU2565243C1 (ru) 2013-07-11 2014-07-10 Устройство содействия отслеживанию, система содействия отслеживанию и способ содействия отслеживанию
DE102014213554.0A DE102014213554B4 (de) 2013-07-11 2014-07-11 Tracking-Unterstützungsvorrichtung, Tracking-Unterstützungssystem und Tracking-Unterstützungsverfahren
CN201410332320.7A CN104284147B (zh) 2013-07-11 2014-07-11 跟踪辅助装置、跟踪辅助系统和跟踪辅助方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2013145287A JP5506990B1 (ja) 2013-07-11 2013-07-11 追跡支援装置、追跡支援システムおよび追跡支援方法

Publications (2)

Publication Number Publication Date
JP5506990B1 true JP5506990B1 (ja) 2014-05-28
JP2015019249A JP2015019249A (ja) 2015-01-29

Family

ID=50941903

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013145287A Active JP5506990B1 (ja) 2013-07-11 2013-07-11 追跡支援装置、追跡支援システムおよび追跡支援方法

Country Status (6)

Country Link
US (1) US9357181B2 (ja)
JP (1) JP5506990B1 (ja)
CN (1) CN104284147B (ja)
DE (1) DE102014213554B4 (ja)
GB (1) GB2516172B (ja)
RU (1) RU2565243C1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018037075A (ja) * 2016-08-29 2018-03-08 パナソニックＩｐマネジメント株式会社 不審者通報システム及び不審者通報方法
US11335173B2 (en) 2016-02-05 2022-05-17 Panasonic Intellectual Property Management Co., Ltd. Tracking assistance device, tracking assistance system, and tracking assistance method
JP7420932B2 (ja) 2019-10-25 2024-01-23 セブン－イレブン インコーポレイテッド スケーラブル位置追跡システムを用いた位置の追跡

Families Citing this family (40)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5919665B2 (ja) * 2011-07-19 2016-05-18 日本電気株式会社 情報処理装置、物体追跡方法および情報処理プログラム
AU2013204965B2 (en) 2012-11-12 2016-07-28 C2 Systems Limited A system, method, computer program and data signal for the registration, monitoring and control of machines and devices
JP6273685B2 (ja) 2013-03-27 2018-02-07 パナソニックＩｐマネジメント株式会社 追尾処理装置及びこれを備えた追尾処理システム並びに追尾処理方法
JP5683663B1 (ja) * 2013-09-27 2015-03-11 パナソニックＩｐマネジメント株式会社 滞留時間測定装置、滞留時間測定システムおよび滞留時間測定方法
JP5834249B2 (ja) 2013-11-20 2015-12-16 パナソニックＩｐマネジメント株式会社 人物移動分析装置、人物移動分析システムおよび人物移動分析方法
US9488833B2 (en) 2014-02-07 2016-11-08 International Business Machines Corporation Intelligent glasses for the visually impaired
JP2016046642A (ja) * 2014-08-21 2016-04-04 キヤノン株式会社 情報処理システム、情報処理方法及びプログラム
US9871830B2 (en) * 2014-10-07 2018-01-16 Cisco Technology, Inc. Internet of things context-enabled device-driven tracking
JP6128468B2 (ja) * 2015-01-08 2017-05-17 パナソニックＩｐマネジメント株式会社 人物追尾システム及び人物追尾方法
JP5999394B2 (ja) 2015-02-20 2016-09-28 パナソニックＩｐマネジメント株式会社 追跡支援装置、追跡支援システムおよび追跡支援方法
WO2016139906A1 (ja) 2015-03-04 2016-09-09 パナソニックＩｐマネジメント株式会社 人物追跡方法および人物追跡装置
JP6399356B2 (ja) * 2015-05-26 2018-10-03 パナソニックＩｐマネジメント株式会社 追跡支援装置、追跡支援システムおよび追跡支援方法
TWI562642B (en) * 2015-06-24 2016-12-11 Vivotek Inc Image surveillance method and image surveillance device thereof
JP6268498B2 (ja) * 2015-08-27 2018-01-31 パナソニックＩｐマネジメント株式会社 警備システム及び人物画像表示方法
US9824723B1 (en) * 2015-08-27 2017-11-21 Amazon Technologies, Inc. Direction indicators for panoramic images
JP6643843B2 (ja) 2015-09-14 2020-02-12 オリンパス株式会社 撮像操作ガイド装置および撮像装置の操作ガイド方法
US10152652B2 (en) * 2015-09-24 2018-12-11 International Business Machines Corporation Selecting a device with visual confirmation in the internet of things
US9495763B1 (en) * 2015-09-28 2016-11-15 International Business Machines Corporation Discovering object pathways in a camera network
KR20180010042A (ko) * 2016-07-20 2018-01-30 엘지전자 주식회사 이동 단말기 및 그 제어방법
JP6206857B1 (ja) * 2016-08-24 2017-10-04 パナソニックＩｐマネジメント株式会社 追跡支援装置、追跡支援システムおよび追跡支援方法
JP6733434B2 (ja) * 2016-09-02 2020-07-29 富士ゼロックス株式会社 情報表示システムおよび画像形成装置
TWI622024B (zh) * 2016-11-22 2018-04-21 Chunghwa Telecom Co Ltd 智慧影像式監測告警裝置
KR20180086662A (ko) * 2017-01-23 2018-08-01 한화에어로스페이스 주식회사 모니터링 장치 및 시스템
CN106934840B (zh) * 2017-03-02 2018-06-19 山东朗朗教育科技股份有限公司 一种教育云课实景图生成方法和装置
EP3515064A4 (en) * 2017-09-28 2020-04-22 KYOCERA Document Solutions Inc. TERMINAL MONITORING DEVICE AND DISPLAY PROCESSING METHOD
EP3694205B1 (en) * 2017-10-05 2024-03-06 Panasonic Intellectual Property Management Co., Ltd. Mobile entity tracking device and method for tracking mobile entity
JP6969987B2 (ja) * 2017-11-15 2021-11-24 パナソニック株式会社 通信装置、通信システムおよび移動体追跡方法
WO2019100011A1 (en) 2017-11-17 2019-05-23 Divine Logic, Inc. Systems and methods for tracking items
RU2670429C1 (ru) * 2017-11-24 2018-10-23 ООО "Ай Ти Ви групп" Системы и способы отслеживания движущихся объектов на видеоизображении
RU2682315C1 (ru) * 2018-06-19 2019-03-19 Акционерное общество Научно-производственный центр "Электронные вычислительно-информационные системы" (АО НПЦ "ЭЛВИС") Способ видеосъемки телекамерой, установленной на наклонно-поворотной платформе
JP7121138B2 (ja) * 2018-11-08 2022-08-17 ヤマハ発動機株式会社 部品実装装置
KR102614496B1 (ko) * 2019-08-09 2023-12-15 엘지전자 주식회사 Xr 디바이스 및 그 제어 방법
US11368991B2 (en) 2020-06-16 2022-06-21 At&T Intellectual Property I, L.P. Facilitation of prioritization of accessibility of media
US11233979B2 (en) 2020-06-18 2022-01-25 At&T Intellectual Property I, L.P. Facilitation of collaborative monitoring of an event
US11037443B1 (en) 2020-06-26 2021-06-15 At&T Intellectual Property I, L.P. Facilitation of collaborative vehicle warnings
US11184517B1 (en) 2020-06-26 2021-11-23 At&T Intellectual Property I, L.P. Facilitation of collaborative camera field of view mapping
US11411757B2 (en) 2020-06-26 2022-08-09 At&T Intellectual Property I, L.P. Facilitation of predictive assisted access to content
JP2022011666A (ja) * 2020-06-30 2022-01-17 キヤノン株式会社 画像処理装置、画像処理方法およびプログラム
US11356349B2 (en) 2020-07-17 2022-06-07 At&T Intellectual Property I, L.P. Adaptive resource allocation to facilitate device mobility and management of uncertainty in communications
US11768082B2 (en) 2020-07-20 2023-09-26 At&T Intellectual Property I, L.P. Facilitation of predictive simulation of planned environment

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005012415A (ja) * 2003-06-18 2005-01-13 Matsushita Electric Ind Co Ltd 監視映像モニタリングシステム、監視映像生成方法、および監視映像モニタリングサーバ
JP2006146378A (ja) * 2004-11-17 2006-06-08 Hitachi Ltd 複数カメラを用いた監視システム
JP2009098774A (ja) * 2007-10-15 2009-05-07 Mitsubishi Electric Corp 人物追跡システム及び人物追跡方法及び人物追跡プログラム
JP2010268186A (ja) * 2009-05-14 2010-11-25 Panasonic Corp 監視画像表示装置

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6359647B1 (en) * 1998-08-07 2002-03-19 Philips Electronics North America Corporation Automated camera handoff system for figure tracking in a multiple camera system
WO2004045215A1 (en) * 2002-11-12 2004-05-27 Intellivid Corporation Method and system for tracking and behavioral monitoring of multiple objects moving throuch multiple fields-of-view
US7242423B2 (en) * 2003-06-16 2007-07-10 Active Eye, Inc. Linking zones for object tracking and camera handoff
US7683940B2 (en) * 2003-09-12 2010-03-23 Canon Kabushiki Kaisha Streaming non-continuous video data
RU2452033C2 (ru) * 2005-01-03 2012-05-27 Опсигал Контрол Системз Лтд. Системы и способы наблюдения в ночное время
AU2006338248B2 (en) 2005-03-25 2011-01-20 Sensormatic Electronics, LLC Intelligent camera selection and object tracking
JP4797753B2 (ja) 2006-03-31 2011-10-19 ソニー株式会社 画像処理装置および方法、並びにプログラム
US20080130949A1 (en) 2006-11-30 2008-06-05 Ivanov Yuri A Surveillance System and Method for Tracking and Identifying Objects in Environments
JP4881766B2 (ja) 2007-03-06 2012-02-22 パナソニック株式会社 カメラ間連結関係情報生成装置
WO2008147913A2 (en) 2007-05-22 2008-12-04 Vidsys, Inc. Tracking people and objects using multiple live and recorded surveillance camera video feeds
JP4933354B2 (ja) * 2007-06-08 2012-05-16 キヤノン株式会社 情報処理装置、及び情報処理方法
CN101803385A (zh) * 2007-09-23 2010-08-11 霍尼韦尔国际公司 跨多个关联视频屏动态跟踪闯入者
WO2009122416A2 (en) * 2008-04-02 2009-10-08 Evt Technologies Ltd. Object content navigation
CN201248107Y (zh) * 2008-04-30 2009-05-27 深圳市飞瑞斯科技有限公司 主从式摄像机智能视频监控系统
US8457466B1 (en) 2008-09-29 2013-06-04 Videomining Corporation Videore: method and system for storing videos from multiple cameras for behavior re-mining
TWI391801B (zh) * 2008-12-01 2013-04-01 Inst Information Industry 接手視訊監控方法與系統以及電腦裝置
TWI405457B (zh) * 2008-12-18 2013-08-11 Ind Tech Res Inst 應用攝影機換手技術之多目標追蹤系統及其方法，與其智慧節點
CN201718000U (zh) * 2010-07-16 2011-01-19 西安秦码软件科技有限公司 智能化动态场视频监控系统
GB2482127B (en) 2010-07-19 2015-01-14 Ipsotek Ltd Apparatus, system and method
US9615064B2 (en) * 2010-12-30 2017-04-04 Pelco, Inc. Tracking moving objects using a camera network
CN102905122A (zh) * 2012-11-13 2013-01-30 北京航天福道高技术股份有限公司 一种监控系统可疑人员辅助跟踪方法
US20140240511A1 (en) * 2013-02-25 2014-08-28 Xerox Corporation Automatically focusing a spectral imaging system onto an object in a scene

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005012415A (ja) * 2003-06-18 2005-01-13 Matsushita Electric Ind Co Ltd 監視映像モニタリングシステム、監視映像生成方法、および監視映像モニタリングサーバ
JP2006146378A (ja) * 2004-11-17 2006-06-08 Hitachi Ltd 複数カメラを用いた監視システム
JP2009098774A (ja) * 2007-10-15 2009-05-07 Mitsubishi Electric Corp 人物追跡システム及び人物追跡方法及び人物追跡プログラム
JP2010268186A (ja) * 2009-05-14 2010-11-25 Panasonic Corp 監視画像表示装置

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11335173B2 (en) 2016-02-05 2022-05-17 Panasonic Intellectual Property Management Co., Ltd. Tracking assistance device, tracking assistance system, and tracking assistance method
JP2018037075A (ja) * 2016-08-29 2018-03-08 パナソニックＩｐマネジメント株式会社 不審者通報システム及び不審者通報方法
JP7420932B2 (ja) 2019-10-25 2024-01-23 セブン－イレブン インコーポレイテッド スケーラブル位置追跡システムを用いた位置の追跡

Also Published As

Publication number Publication date
GB201412204D0 (en) 2014-08-20
CN104284147B (zh) 2016-12-28
GB2516172A (en) 2015-01-14
US9357181B2 (en) 2016-05-31
DE102014213554B4 (de) 2015-09-17
DE102014213554A1 (de) 2015-01-15
GB2516172B (en) 2015-11-04
CN104284147A (zh) 2015-01-14
RU2565243C1 (ru) 2015-10-20
US20150016798A1 (en) 2015-01-15
JP2015019249A (ja) 2015-01-29

Similar Documents

Publication Publication Date Title
JP5506990B1 (ja) 追跡支援装置、追跡支援システムおよび追跡支援方法
JP5438861B1 (ja) 追跡支援装置、追跡支援システムおよび追跡支援方法
JP5506989B1 (ja) 追跡支援装置、追跡支援システムおよび追跡支援方法
JP5999394B2 (ja) 追跡支援装置、追跡支援システムおよび追跡支援方法
JP6399356B2 (ja) 追跡支援装置、追跡支援システムおよび追跡支援方法
JP6284086B2 (ja) 追跡支援装置、追跡支援システムおよび追跡支援方法
JP6593742B2 (ja) 施設内人物捜索支援装置、施設内人物捜索支援システムおよび施設内人物捜索支援方法
JP6206857B1 (ja) 追跡支援装置、追跡支援システムおよび追跡支援方法
JP6210234B2 (ja) 画像処理システム、画像処理方法及びプログラム
KR20140126936A (ko) 실시간 영상에 프라이버시 마스킹 툴을 제공하는 장치 및 방법

Legal Events

Date Code Title Description
TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20140225

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20140318

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250