JP4572099B2 - Mobile tracking support system - Google Patents

Mobile tracking support system Download PDF

Info

Publication number
JP4572099B2
JP4572099B2 JP2004264942A JP2004264942A JP4572099B2 JP 4572099 B2 JP4572099 B2 JP 4572099B2 JP 2004264942 A JP2004264942 A JP 2004264942A JP 2004264942 A JP2004264942 A JP 2004264942A JP 4572099 B2 JP4572099 B2 JP 4572099B2
Authority
JP
Japan
Prior art keywords
camera
tracking
moving body
video
display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2004264942A
Other languages
Japanese (ja)
Other versions
JP2006081053A (en
Inventor
淑彦 秦
直樹 桑原
俊治 野沢
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Priority to JP2004264942A priority Critical patent/JP4572099B2/en
Publication of JP2006081053A publication Critical patent/JP2006081053A/en
Application granted granted Critical
Publication of JP4572099B2 publication Critical patent/JP4572099B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Closed-Circuit Television Systems (AREA)

Description

本発明は、複数のカメラを用いて所定の監視空間を移動する移動体の追跡を行うユーザーを支援する移動体追跡支援システムに関する。   The present invention relates to a moving body tracking support system that supports a user who tracks a moving body that moves in a predetermined monitoring space using a plurality of cameras.

複数のカメラを用い、所定の監視空間を移動する、例えば、車や人などの移動体を追跡する移動体追跡システムとして、例えば、非特許文献1のものがある。この移動体追跡システムは、所定の監視空間内の複数の予め決められた空間それぞれを撮影する複数のカメラを有し、まず、カメラの撮影映像に映されている追跡対象である移動体の特徴(特徴量)を画像処理によって抽出する。カメラの撮影映像に移動体が現れたとき(映されたとき)、画像処理により、特徴量に基づいて該移動体が追跡対象の移動体であることを自動的に認識する。追跡対象の移動体が認識された映像を、自動的に表示装置に表示することにより、ユーザーは表示された映像を見て追跡対象の移動体を追跡することができる。
北村健児、他2名、「分散型映像監視システム」計測技術,Vol.25,No.7,pp.11−15,1997
As a moving body tracking system that uses a plurality of cameras and moves in a predetermined monitoring space, for example, for tracking a moving body such as a car or a person, there is, for example, the one of Non-Patent Document 1. This moving body tracking system has a plurality of cameras that shoot each of a plurality of predetermined spaces in a predetermined monitoring space, and first, the characteristics of the moving body that is the tracking target shown in the captured video of the camera (Feature amount) is extracted by image processing. When a moving body appears in the captured image of the camera (when it is projected), it is automatically recognized by image processing that the moving body is a tracking target moving body based on the feature amount. By automatically displaying the video in which the tracking target moving body is recognized on the display device, the user can track the tracking target moving body by viewing the displayed video.
Kenji Kitamura and two others, “Distributed Video Surveillance System” measurement technology, Vol. 25, no. 7, pp. 11-15, 1997

しかしながら、上述の移動体追跡システムにおいて、特徴量に基づいて映像に映されている移動体を追跡対象の移動体と認識するための画像処理は、多大な計算量を必要とするため、非常に高価な計算装置が必要であった。また、画像処理を行うには、カメラが撮影する空間を重ねなければならず、そのため、多くのカメラを高密度で配置する必要があり、その結果、移動体追跡システムは高価なものになっていた。   However, in the above-described moving body tracking system, the image processing for recognizing the moving body shown in the video based on the feature amount as the tracking target moving body requires a large amount of calculation. An expensive computing device was required. In addition, in order to perform image processing, it is necessary to overlap the space taken by the camera, and therefore, it is necessary to arrange many cameras at high density, and as a result, the moving body tracking system is expensive. It was.

そこで、本発明は、ユーザーとの対話処理を行えるようにした、ユーザーによる追跡を支援するシステムであって、高価な計算装置を必要とせず、また、カメラを密に配置する必要がないものを提供することを目的とする。   Therefore, the present invention is a system that supports user tracking that enables interactive processing with a user, that does not require an expensive computing device and that does not require dense camera arrangement. The purpose is to provide.

本発明の移動体追跡支援システムは、複数のカメラを用いて移動体の追跡を行うユーザーを支援する移動体追跡支援システムにおいて、
個々の撮影領域をそれぞれ撮影する複数のカメラと、
複数のカメラのうち二つまたはそれ以上のカメラの撮影映像を表示する表示手段と、
ユーザーにより移動体を撮影する第1のカメラを選択できるようにしたカメラ選択手段と、
各カメラの撮影領域同士の接続関係を記憶する接続関係記憶手段と、
カメラ選択手段を介して第1のカメラが選択されると、接続関係記憶手段を参照して、第1のカメラの撮影領域と接続関係にある撮影領域を撮影する一つまたはそれ以上の第2のカメラの撮影映像を、第1のカメラの撮影映像とともに表示手段に表示させる表示撮影映像決定手段と
ユーザーの移動体の追跡を支援する追跡支援情報を表示手段に表示させる追跡支援情報表示制御手段と、
各カメラの配置位置および撮影方向に関する情報を記憶するカメラ情報記憶手段とを備え、
追跡支援情報表示制御手段は、カメラ情報記憶手段に記憶された情報に基づいて、第1のカメラの撮影領域内の移動体が第2のカメラの撮影領域内に移動したときに第2のカメラの撮影映像内に出現しうる位置を、追跡支援情報として表示手段に表示させることを特徴とする。
The mobile tracking support system of the present invention is a mobile tracking support system that supports a user who tracks a mobile using a plurality of cameras.
Multiple cameras that shoot each individual shooting area,
Display means for displaying video images taken by two or more of a plurality of cameras;
Camera selection means for enabling the user to select a first camera for photographing the moving body;
A connection relationship storage means for storing the connection relationship between the shooting areas of each camera;
When the first camera is selected via the camera selection means, the connection relation storage means is referred to, and one or more second images for photographing the photographing area connected to the photographing area of the first camera. Display photographed video determining means for displaying on the display means together with the photographed video of the first camera on the display means ;
Tracking support information display control means for displaying tracking support information for supporting tracking of a user's moving body on a display means;
Camera information storage means for storing information on the arrangement position and shooting direction of each camera,
The tracking support information display control means, based on the information stored in the camera information storage means, moves the second camera when the moving body in the shooting area of the first camera moves into the shooting area of the second camera. The position that can appear in the captured video is displayed as tracking support information on the display means .

本願において、接続関係とは、以下のように定義されるものである。撮影領域AとBとがあって、撮影領域AとBが接続関係を有するとは、複数の撮影領域を有する追跡領域内において、撮影領域Aを通過した移動体が、他の撮影領域を通過することなく、撮影領域Bに移動できるような場合をいう。   In the present application, the connection relationship is defined as follows. There are imaging areas A and B, and the imaging areas A and B have a connection relationship. In a tracking area having a plurality of imaging areas, a moving object that has passed the imaging area A passes through another imaging area. This is a case where the user can move to the shooting area B without doing.

本発明によれば、高価な計算装置を必要とせず、また、カメラを密に配置する必要がなく、ユーザーと協力しながら移動体を追跡することができる移動体追跡支援システムを提供することができる。   According to the present invention, it is possible to provide a moving body tracking support system that can track a moving body in cooperation with a user without the need for an expensive computing device and the need for densely arranging cameras. it can.

実施の形態1.
図1は、本発明の実施の形態1に係る移動体追跡支援システムの構成図を示している。移動体追跡支援システム10は、所定の監視領域、例えば、道路や通路などの監視を行うユーザー(監視者)を支援するものである。しかしながら、本発明の移動体追跡支援システムは、移動体を監視することに限定しておらず、移動体の移動の様子(移動経路や移動中の様子など)を観察するためにも使用でき、例えば、移動しながら変態する微生物の観察などにも使用できる。
Embodiment 1 FIG.
FIG. 1 shows a configuration diagram of a mobile tracking support system according to Embodiment 1 of the present invention. The moving body tracking support system 10 supports a user (monitorer) who monitors a predetermined monitoring area, for example, a road or a passage. However, the moving body tracking support system of the present invention is not limited to monitoring a moving body, and can also be used to observe the state of movement of a moving body (such as a movement path and a state of movement) For example, it can be used for observation of microorganisms that transform while moving.

移動体追跡支援システム10は、所定の監視領域内の複数の予め決められた領域それぞれを撮影する複数のカメラ12−1〜12−M(Mは2以上の整数)、ネットワーク14を介して複数のカメラ12−1〜12−Mと接続されている移動体追跡支援サーバ16を有する。   The moving body tracking support system 10 includes a plurality of cameras 12-1 to 12-M (M is an integer of 2 or more) that captures each of a plurality of predetermined areas within a predetermined monitoring area, and a plurality of networks via the network 14. Mobile body tracking support server 16 connected to the cameras 12-1 to 12-M.

複数のカメラ12−1〜12−Mは、撮影映像を映像データに変換する変換装置(図示せず)、例えば、映像をMPEG−2/4(Motion Picture Expert Group Phase 2/4)データに変換するMPEGエンコーダを有し、変換された映像データを、常時ネットワーク14に送信するようにしてある。また、送信される映像データには、映像データの映像が撮影された時期(年月日と時刻)の情報が付加される。   The plurality of cameras 12-1 to 12 -M convert a captured video into video data (not shown), for example, convert video into MPEG-2 / 4 (Motion Picture Expert Group Phase 2/4) data. The converted video data is always transmitted to the network 14. Further, information on the time (year / month / day and time) when the video of the video data was taken is added to the transmitted video data.

複数のカメラ12−1〜12−Mはそれぞれ、所定の監視領域内の予め決められた領域を撮影することが可能な位置に配置されている。以下、予め決められた領域を撮影領域と称する。複数のカメラ12−1〜12−Mが撮影する撮影領域は、以下に述べるように、相互に接続関係を有する場合と有さない場合に分けられる。   Each of the plurality of cameras 12-1 to 12-M is arranged at a position where a predetermined area within a predetermined monitoring area can be photographed. Hereinafter, the predetermined area is referred to as an imaging area. The imaging areas captured by the plurality of cameras 12-1 to 12 -M are classified into cases where they have a connection relationship with each other and cases where they do not have a connection as described below.

接続関係について1つの例を挙げて説明する。図2は、接続関係を理解するための、複数の撮影領域を有する監視領域の一例である。図中の監視領域20は、中央分離帯22を有する片側1車線の道路24を有する。監視領域20において、複数のカメラC1〜C7それぞれが、対応する道路24上の撮影領域A1〜A7を撮影している(例えば、カメラC1は撮影領域A1を撮影する。)。カメラC2が撮影する撮影領域A2を例に接続関係を説明すると、撮影領域A2と接続関係にあるのは撮影領域A1とA5である。撮影領域A3とA4は撮影領域A2と隣接しているが、これらは撮影領域A2と接続関係を有しない。つまり、撮影領域A2を通過した移動体(車)が、次に移動する可能性があるのは撮影領域A1とA5である。これに対し、撮影領域A2を通過した移動体が、他の撮影領域を通過することなく、次に、中央分離帯22を介して反対車線上の撮影領域A3またはA4に移動することはない。   The connection relationship will be described with an example. FIG. 2 is an example of a monitoring area having a plurality of imaging areas for understanding the connection relationship. The monitoring area 20 in the figure has a one-lane road 24 having a median strip 22. In the monitoring area 20, each of the plurality of cameras C1 to C7 images the corresponding imaging areas A1 to A7 on the road 24 (for example, the camera C1 images the imaging area A1). The connection relationship will be described by taking the shooting area A2 shot by the camera C2 as an example. The shooting areas A1 and A5 are connected to the shooting area A2. The shooting areas A3 and A4 are adjacent to the shooting area A2, but they are not connected to the shooting area A2. That is, the moving bodies (cars) that have passed through the shooting area A2 may move next in the shooting areas A1 and A5. On the other hand, the moving body that has passed through the imaging area A2 does not move to the imaging area A3 or A4 on the opposite lane through the central separation band 22 without passing through another imaging area.

確認のために、例えば、撮影領域A6を通過した追跡対象の移動体(以下、追跡対象の移動体を、「被追跡体」と称する。)が、監視領域20の外部に出て、再び監視領域20内に入って撮影領域A7に移動した場合、撮影領域A6とA7は、接続関係を有していないものとする。   For confirmation, for example, a tracking target moving body that has passed through the imaging area A6 (hereinafter, the tracking target moving body is referred to as a “tracked object”) goes out of the monitoring area 20 and is monitored again. When entering the area 20 and moving to the shooting area A7, it is assumed that the shooting areas A6 and A7 have no connection relationship.

更に確認のために、複数のカメラ12−1〜12−Mは、監視領域内に必ず配置されているわけでなく、複数のカメラ12−1〜12−Mの撮影領域が監視領域内にあるだけである。例えば、監視領域外部に配置されたカメラが、監視領域内のある空間を撮影していてもよい。   For further confirmation, the plurality of cameras 12-1 to 12-M are not necessarily arranged in the monitoring area, and the imaging areas of the plurality of cameras 12-1 to 12-M are in the monitoring area. Only. For example, a camera arranged outside the monitoring area may photograph a certain space in the monitoring area.

なお、本実施の形態において、複数の撮影領域を有する領域は、監視の対象である監視領域であるが、広義には、ユーザーが移動体の追跡を行う追跡領域であって、この場合も上述の記載は成り立つ。   In this embodiment, an area having a plurality of imaging areas is a monitoring area to be monitored, but in a broad sense, a tracking area in which a user tracks a moving object. Is valid.

複数のカメラ12−1〜12−Mが撮影する撮影領域の接続関係を示す接続関係情報は、後述する移動体追跡支援サーバの接続関係記憶部に記憶されている。   The connection relationship information indicating the connection relationship of the imaging areas captured by the plurality of cameras 12-1 to 12-M is stored in the connection relationship storage unit of the moving body tracking support server described later.

図3は、本実施の形態に係る移動体追跡支援サーバ16の概略的構成を示す図である。移動体追跡支援サーバ16は、概略、複数のカメラ12−1〜12−Mから送信された映像データを蓄積する映像蓄積部30、ユーザーによる指令を入力するための入力部32、カメラの撮影映像を表示する表示部34、移動体追跡支援サーバ16全体を制御する制御部36とを有する。   FIG. 3 is a diagram showing a schematic configuration of the moving object tracking support server 16 according to the present embodiment. The mobile body tracking support server 16 generally includes a video storage unit 30 that stores video data transmitted from a plurality of cameras 12-1 to 12-M, an input unit 32 for inputting a command by a user, and a captured video of the camera. And a control unit 36 for controlling the entire mobile tracking support server 16.

また、移動体追跡支援サーバ16は、ユーザーによる被追跡体の追跡を支援する際に使用される情報をそれぞれ有する、接続関係記憶部38、カメラ情報記憶部40、監視領域情報記憶部42と、追跡結果の情報が記録される追跡結果情報記録部44とを有する。   In addition, the mobile body tracking support server 16 includes information used when supporting tracking of a tracked object by a user, a connection relationship storage unit 38, a camera information storage unit 40, a monitoring area information storage unit 42, And a tracking result information recording unit 44 in which tracking result information is recorded.

映像蓄積部30は、ネットワーク14を介して送信される複数のカメラ12−1〜12−Mそれぞれからの映像データを受信して蓄積(記録)していく。映像データの記録は、例えば、エンドレス記録(新しい映像データが記録される際に、最も古い映像データを消去する記録法)で行う。映像蓄積部30は、記録している映像データを、制御部36からの読み出し指令に基づいて、制御部36に送出するようにしてある。なお、制御部36に送出する映像データは過去に記録されたものに限らない。複数のカメラ12−1〜12−Mそれぞれからのリアルタイムの映像データが、映像蓄積部30に記録されるとともに、映像蓄積部30を介して送出されることもある。表示部34に表示する撮影映像が、リアルタイムのものであるか過去のものであるかは、ユーザーが入力部32を介して制御部36に指示する。   The video storage unit 30 receives and stores (records) video data from each of the plurality of cameras 12-1 to 12 -M transmitted via the network 14. The video data is recorded by, for example, endless recording (a recording method that erases the oldest video data when new video data is recorded). The video storage unit 30 sends the recorded video data to the control unit 36 based on a read command from the control unit 36. The video data sent to the control unit 36 is not limited to those recorded in the past. Real-time video data from each of the plurality of cameras 12-1 to 12 -M is recorded in the video storage unit 30 and may be transmitted via the video storage unit 30. The user instructs the control unit 36 via the input unit 32 whether the captured video displayed on the display unit 34 is real-time or past.

入力部32は、制御部36に接続されており、ユーザーが選択したカメラの撮影映像を表示部34の表示画面に表示させるユーザーの選択表示指令など(他の指令については後述する。)を制御部36に入力するものであり(言い換えれば、入力部は、ユーザーにより被追跡体を撮影するカメラを選択させるカメラ選択手段として機能する。)、入力部は例えば、キーボードやマウスなどである。また、タッチパネルで構成してもよい。   The input unit 32 is connected to the control unit 36, and controls a user's selection display command (other commands will be described later) for displaying the captured image of the camera selected by the user on the display screen of the display unit 34. This is input to the unit 36 (in other words, the input unit functions as a camera selection unit that allows the user to select a camera that captures the tracked object), and the input unit is, for example, a keyboard or a mouse. Moreover, you may comprise with a touchscreen.

表示部34は、制御部36に接続されており、例えば、液晶ディスプレイなどである。   The display unit 34 is connected to the control unit 36 and is, for example, a liquid crystal display.

制御部36は、表示部34の表示を制御する表示制御部46およびカメラの選択履歴を作成するカメラ選択履歴作成部48を有する。   The control unit 36 includes a display control unit 46 that controls display on the display unit 34 and a camera selection history creation unit 48 that creates a camera selection history.

表示制御部46は、表示部34に表示する撮影映像を決定する表示撮影映像決定部50、ユーザーの被追跡体の追跡を支援する情報を表示部34に表示する追跡支援情報表示制御部52を有する。   The display control unit 46 includes a display shooting image determination unit 50 that determines a shooting image to be displayed on the display unit 34, and a tracking support information display control unit 52 that displays information for supporting tracking of the user's tracked object on the display unit 34. Have.

以下、制御部36内の表示制御部46、カメラ選択履歴作成部48、表示撮影映像決定部50、追跡支援情報表示制御部52の詳細を、表示部34の表示画面を参照しながら説明する。   Hereinafter, details of the display control unit 46, the camera selection history creation unit 48, the display shooting video determination unit 50, and the tracking support information display control unit 52 in the control unit 36 will be described with reference to the display screen of the display unit 34.

図4は、表示部34の表示画面を示す図である。表示撮影映像決定部50は、ユーザーの入力部32を介する選択表示指示に基づいて、ユーザーが選択したカメラ(第1のカメラ)の撮影映像(複数のカメラ12−1〜12−Mから送信されるリアルタイムの映像データの映像または映像蓄積部30に記録されている過去に撮影された映像データの映像)60を、表示部34の表示画面62に表示するようにしてある。それと並行して、表示撮影映像決定部50は、接続関係記憶部38を参照して、第1のカメラの撮影領域と接続関係にある撮影領域を有する1つまたはそれ以上のカメラ(第2のカメラ)の撮影映像64を表示部34の表示画面62に表示するようにしてある。なお、表示画面62に表示される第2のカメラの撮影映像64の数は、第1のカメラの撮影領域と接続関係にある撮影領域の数(第2のカメラの数)によって決定される。このとき、第1のカメラの撮影映像の撮影時刻と、同一の撮影時刻の第2のカメラの撮影映像が表示される。撮影時刻も表示部34の表示画面62の撮影時刻カウンタ66に表示されている。   FIG. 4 is a diagram showing a display screen of the display unit 34. Based on a selection display instruction via the user input unit 32, the displayed captured video determination unit 50 is transmitted from the captured video (a plurality of cameras 12-1 to 12 -M) of the camera (first camera) selected by the user. Real-time video data or a video data video captured in the past recorded in the video storage unit 30) 60 is displayed on the display screen 62 of the display unit 34. In parallel with this, the display photographed video determination unit 50 refers to the connection relationship storage unit 38 and includes one or more cameras (second sensors) having a shooting region connected to the shooting region of the first camera. The captured image 64 of the camera) is displayed on the display screen 62 of the display unit 34. Note that the number of captured images 64 of the second camera displayed on the display screen 62 is determined by the number of captured areas (number of second cameras) connected to the captured area of the first camera. At this time, the shooting time of the shooting image of the first camera and the shooting image of the second camera at the same shooting time are displayed. The shooting time is also displayed on the shooting time counter 66 of the display screen 62 of the display unit 34.

ユーザーにより、第1のカメラの撮影映像60から被追跡体が消えて(映っていない状態になって)1つまたはそれ以上の第2のカメラの撮影映像64の1つに追跡対象の移動体が出現した(映されている状態になった)ことを確認され、確認された撮影映像を撮影している第2のカメラを入力部32を介して選択されると、表示撮影映像決定部50は、選択された第2のカメラを新たな第1のカメラと決定し、その撮影映像を新たな第1のカメラのものとして表示部34の表示画面62の第1のカメラの撮影映像表示位置に表示する。続いて、接続関係記憶部38を参照して、新たな第1のカメラの撮影領域と接続関係にある撮影領域を撮影するカメラを新たな第2のカメラとし、新たな第2のカメラの撮影映像を新たな第1のカメラの撮影映像とともに、表示部34の表示画面62の第2のカメラの撮影映像表示位置に表示する。   The tracked object disappears from the captured image 60 of the first camera by the user (becomes a non-imaged state), and one of the captured images 64 of the second camera is moved to the tracked moving object. When the second camera that captures the confirmed captured image is selected via the input unit 32, the display captured image determination unit 50 is displayed. Determines the selected second camera as the new first camera, and regards the captured video as that of the new first camera, and the captured video display position of the first camera on the display screen 62 of the display unit 34. To display. Subsequently, referring to the connection relationship storage unit 38, a camera that captures an imaging area connected to the imaging area of the new first camera is set as a new second camera, and the imaging of the new second camera is performed. The video is displayed together with the new video captured by the first camera at the video captured video display position of the second camera on the display screen 62 of the display unit 34.

このように、表示撮影映像決定部50は、ユーザーによって第2のカメラの撮影映像から新たな第1のカメラが選択され、新たな第1のカメラに基づいて新たな第2のカメラの撮影映像を表示部34の表示画面62に表示することを繰り返す、すなわち、ユーザーの指示に基づいてカメラを切り替えることにより、ユーザーの被追跡体の追跡を支援する。   In this way, the display photographed video determination unit 50 selects a new first camera from the photographed video of the second camera by the user, and creates a new photographed video of the second camera based on the new first camera. Is repeatedly displayed on the display screen 62 of the display unit 34, that is, by switching the camera based on the user's instruction, the user's tracking of the tracked object is supported.

追跡支援情報表示制御部52は、ユーザーの被追跡体の追跡を支援するためのさまざまな情報(以下、追跡支援情報と称する。)の1つとして、所定の監視領域の地図70を示すようにしてある(図4参照。)。監視領域の地図70には、複数のカメラ12−1〜12−Mが撮影する撮影領域の位置(または、複数のカメラ12−1〜12−Mの配置位置)が示されている。このような地図の情報は、監視領域情報に含まれており、監視領域情報は、監視領域情報記憶部42に記憶されている。監視領域情報は、単なる地図情報だけでなく、複数の撮影領域の間の距離などの数値情報や、例えば、監視領域が道路である場合は、道路の交通規制情報(制限速度や一方通行など)などが含まれている。   The tracking support information display control unit 52 shows a map 70 of a predetermined monitoring area as one of various pieces of information (hereinafter referred to as tracking support information) for supporting the tracking of the tracked object of the user. (See FIG. 4). The monitoring area map 70 shows the positions of the imaging areas (or the arrangement positions of the plurality of cameras 12-1 to 12-M) taken by the plurality of cameras 12-1 to 12-M. Such map information is included in the monitoring area information, and the monitoring area information is stored in the monitoring area information storage unit 42. The monitoring area information is not only mere map information, but also numerical information such as distances between a plurality of imaging areas, or road traffic regulation information (such as speed limit and one-way traffic) when the monitoring area is a road. Etc. are included.

また、追跡支援情報表示制御部52は、追跡支援情報の1つとして、ユーザーが決定した被追跡体の画像(被追跡体画像)72を表示部34の表示画面62に表示することができるようにしてある。これにより、ユーザーは、撮影映像に複数の移動体が映されていても間違えることなく、被追跡体画像72を参照することにより、被追跡体が映されている撮影映像64を撮影している第2のカメラを選択することができる。このような被追跡体画像72を、追跡対象参照画像72と称する。   Further, the tracking support information display control unit 52 can display an image of the tracked object (tracked object image) 72 determined by the user on the display screen 62 of the display unit 34 as one of the tracking support information. It is. As a result, the user shoots the photographic video 64 in which the tracked object is shown by referring to the tracked object image 72 without making a mistake even if a plurality of moving objects are shown in the photographic video. A second camera can be selected. Such a tracked object image 72 is referred to as a tracking target reference image 72.

さらに、追跡支援情報表示制御部52は、追跡支援情報の1つとして、表示部34の表示画面62に表示されている第2のカメラの撮影映像64において、被追跡体が最初に出現しうる位置に印74(例えば、矢印)を付すように構成されている。   Further, the tracking support information display control unit 52 may first appear in the captured image 64 of the second camera displayed on the display screen 62 of the display unit 34 as one of the tracking support information. The position is configured to have a mark 74 (for example, an arrow).

第2のカメラの撮影映像64が表示部34の表示画面62に複数表示される場合、第1のカメラの撮影映像60から被追跡体が消え、複数の第2のカメラの撮影映像64の1つに被追跡体が出現したとき、ユーザーが出現を確認できずにそのまま該複数の第2のカメラの撮影映像64の1つから該被追跡体が消えることがある。これは、第2のカメラの撮影映像64が複数あるためにユーザーが撮影映像64全てを見きれず、また、第2のカメラの撮影映像64において、どの場所から被追跡体が出現するか分からないためである。   When a plurality of captured images 64 of the second camera are displayed on the display screen 62 of the display unit 34, the tracked object disappears from the captured images 60 of the first camera, and one of the captured images 64 of the plurality of second cameras is displayed. When the tracked object appears, the tracked object may disappear from one of the captured images 64 of the plurality of second cameras without being confirmed by the user. This is because the user cannot see all of the captured images 64 because there are a plurality of captured images 64 of the second camera, and from where the tracked object appears in the captured images 64 of the second camera. This is because there is not.

第1のカメラの撮影映像60から消えた被追跡体が、複数の第2のカメラの撮影映像64において最初に出現しうる位置に印74があれば、ユーザーは複数の第2のカメラの撮影映像64の印74近傍を見るだけで済み、該被追跡体が出現したことを見逃す可能性が低くなる。以下、このような印74を出現場所特定マーク74と称する。   If the tracked object disappeared from the captured image 60 of the first camera has a mark 74 at a position where it can appear first in the captured images 64 of the plurality of second cameras, the user captures images of the plurality of second cameras. It is only necessary to see the vicinity of the mark 74 in the video 64, and the possibility of missing the tracked object is reduced. Hereinafter, such a mark 74 is referred to as an appearance location specifying mark 74.

出現場所特定マーク74は、第2のカメラの配置位置や撮影方向によって異なる。このことを、図5を用いて説明する。図5は、複数のカメラC10〜C12と、複数のカメラC10〜C12によって撮影される撮影領域A10〜A12を有する直線道路76の概略的なモデルを示している。図5(a)は、直線道路76を側面から見た図であり、図5(b)は、直線道路76を上方から見た図である。複数のカメラC10〜C12は、直線道路76の幅方向中央線78上方の直線道路76から略等距離の位置に配置されている。カメラC10とC12は、それぞれの撮影領域A10とA12に対して略同一位置に配置されており(撮影方向80―10と80−12が略同じである)、カメラC11の撮影方向80−11が、カメラC10とC12の撮影方向80−10と80−12と、幅方向中央線78の伸張方向に関して略対称である。   The appearance location specifying mark 74 differs depending on the position of the second camera and the shooting direction. This will be described with reference to FIG. FIG. 5 shows a schematic model of a straight road 76 having a plurality of cameras C10 to C12 and photographing areas A10 to A12 photographed by the plurality of cameras C10 to C12. Fig.5 (a) is the figure which looked at the straight road 76 from the side surface, and FIG.5 (b) is the figure which looked at the straight road 76 from upper direction. The plurality of cameras C <b> 10 to C <b> 12 are disposed at substantially equal distances from the straight road 76 above the center line 78 in the width direction of the straight road 76. The cameras C10 and C12 are arranged at substantially the same position with respect to the respective shooting areas A10 and A12 (the shooting directions 80-10 and 80-12 are substantially the same), and the shooting direction 80-11 of the camera C11 is the same. The imaging directions 80-10 and 80-12 of the cameras C10 and C12 are substantially symmetrical with respect to the extending direction of the center line 78 in the width direction.

ここで、カメラC10が第2のカメラとした場合、出現場所特定マーク74は、第1のカメラがC11であるまたはC12であるかによって異なる。第1のカメラがC11であるとき、カメラC11の撮影領域A11を通過した移動体M1は、第2のカメラの撮影映像の上方から出現して該撮影映像に映される。一方、第1のカメラがC12であるとき、カメラC12の撮影領域A12を通過した移動体M2は、第2のカメラの撮影映像の下方から出現して該撮影映像に映される。   Here, when the camera C10 is the second camera, the appearance location specifying mark 74 differs depending on whether the first camera is C11 or C12. When the first camera is C11, the moving body M1 that has passed through the shooting area A11 of the camera C11 appears from above the shot video of the second camera and is reflected in the shot video. On the other hand, when the first camera is C12, the moving body M2 that has passed through the shooting area A12 of the camera C12 appears from below the shot video of the second camera and is reflected in the shot video.

このように、出現場所特定マーク74は、第1のカメラとともに、第2のカメラの配置位置や撮影方向によって決定される。追跡支援情報表示制御部52は、接続関係記憶部38を参照するとともに、カメラの配置位置や撮影方向に関する情報を記憶しているカメラ情報記憶部40を参照して、第1のカメラの撮影領域内の被追跡体が第2のカメラの撮影領域内に移動したときに第2のカメラの撮影映像64内に出現しうる位置に、出現場所特定マーク74を付する。   Thus, the appearance location specifying mark 74 is determined by the arrangement position and the shooting direction of the second camera together with the first camera. The tracking support information display control unit 52 refers to the connection relationship storage unit 38 and also refers to the camera information storage unit 40 that stores information related to the camera placement position and shooting direction, and the shooting area of the first camera. An appearance location specifying mark 74 is attached to a position where the tracked object in the track can appear in the captured image 64 of the second camera when it moves into the imaging region of the second camera.

加えて、追跡支援情報表示制御部52は、追跡支援情報の1つとして、監視領域情報記憶部42を参照して、複数の第2のカメラの中、第1のカメラの撮影映像60から被追跡体が消えて、次に該被追跡体が移動してくる可能性が高い撮影領域を撮影している第2のカメラの撮影映像64に印82(例えば、枠状印)を付すように構成されてもよい。   In addition, the tracking support information display control unit 52 refers to the monitoring area information storage unit 42 as one of the tracking support information, and is selected from the captured video 60 of the first camera among the plurality of second cameras. The tracking object disappears, and a mark 82 (for example, a frame-shaped mark) is added to the captured image 64 of the second camera that captures the imaging region where the tracked object is likely to move next. It may be configured.

具体的に説明するために、図2を用いる。図に示される道路24において、移動体(車)は、矢印方向(進行方向)26に進行するものとする。この場合、撮影領域A2に注目して考えると、撮影領域A2と接続関係にある撮影領域A1とA5である。撮影領域A2から消えた移動体が次に移動する可能性が高いのは、進行方向26の先にある撮影領域A5である。撮影領域A1に移動するのは、移動体が逆走した場合であってその可能性は低い。   For specific description, FIG. 2 is used. In the road 24 shown in the figure, it is assumed that the moving body (car) travels in the arrow direction (traveling direction) 26. In this case, if attention is paid to the shooting area A2, the shooting areas A1 and A5 are connected to the shooting area A2. The moving object that has disappeared from the imaging area A2 is most likely to move next in the imaging area A5 ahead of the traveling direction 26. The movement to the photographing area A1 is a case where the moving body runs backward, and the possibility is low.

このように、監視領域記憶部42を参照して、複数の第2のカメラにおいて、第1のカメラの撮影映像60から被追跡体が消えて、次に該被追跡体が移動する可能性が高い撮影領域を撮影している第2のカメラの撮影映像64に印82を付すことにより、ユーザーは該印82が付された第2の撮影映像64に重きをおいて複数の第2のカメラの撮影映像64を見ることができる。以下、このような印82を、出現候補マーク82と称する。   In this way, with reference to the monitoring area storage unit 42, in the plurality of second cameras, the tracked object may disappear from the captured image 60 of the first camera, and the tracked object may move next. By attaching a mark 82 to the shot image 64 of the second camera that is shooting a high shooting area, the user puts weight on the second shot image 64 with the mark 82 and places a plurality of second cameras. Can be seen. Hereinafter, such a mark 82 is referred to as an appearance candidate mark 82.

監視領域が、例えば道路である場合、被追跡体(移動体)の速度は制限されている。この制限速度(監視領域情報に含まれている)と、第1のカメラの撮影領域と複数の第2のカメラの撮影領域それぞれとの間の距離(監視領域情報に含まれている)から、第1のカメラの撮影映像から被追跡体が消え、第2のカメラの撮影映像に該被追跡体が出現するまでの出現時間を予測することができる。この予測出現時間を利用して、出現候補マークは、例えば、複数の第2のカメラの撮影映像中、最先に被追跡体が出現する可能性がある第2のカメラの撮影映像のみに付されてもよい。また、第1のカメラの撮影映像から被追跡体が消えて時間が経過する毎に、出現候補マークを付する第2のカメラの撮影映像を変更してもよい。これは、出現候補マークが付され、複数の第2のカメラの撮影映像中、最先に被追跡体が現れうる第2のカメラの撮影映像に該被追跡体が現れるまでの予測出現時間経過後は、該第2のカメラの撮影領域に被追跡体が移動しなかったことを示し、次に被追跡体が現れうる第2のカメラの撮影映像に出現候補マークを付することを意味する。   When the monitoring area is, for example, a road, the speed of the tracked body (moving body) is limited. From this speed limit (included in the monitoring area information) and the distance (included in the monitoring area information) between the imaging area of the first camera and each of the imaging areas of the plurality of second cameras, The appearance time until the tracked object disappears from the captured image of the first camera and the tracked object appears in the captured image of the second camera can be predicted. Using this predicted appearance time, the appearance candidate mark is attached only to, for example, a captured image of the second camera in which the tracked object may appear first in the captured images of the plurality of second cameras. May be. Further, every time when the tracked object disappears from the video captured by the first camera and the time elapses, the video captured by the second camera to which the appearance candidate mark is attached may be changed. This is because an expected appearance time elapses until the tracked object appears in the captured image of the second camera, to which the tracked object appears first, among the captured images of the plurality of second cameras with the appearance candidate mark attached. After that, it indicates that the tracked object has not moved to the shooting area of the second camera, and means that an appearance candidate mark is attached to the shot image of the second camera where the tracked object can appear. .

表示制御部46は、ユーザーの入力部32を介する再生速度の変更や巻き戻し再生などの指令に基づいて、例えば、ユーザーによって図4の表示画面62に表示されている再生速度調整ボタン84がマウスを介してクリックされることにより、撮影映像(第1のカメラと第2カメラの撮影映像)の再生速度を速める、または遅らせて表示部34の表示画面62に表示する、または、巻き戻し再生で表示するように構成されている。   The display control unit 46, for example, moves the playback speed adjustment button 84 displayed on the display screen 62 of FIG. 4 by the user based on the user's command such as change of playback speed or rewind playback. Is clicked via the button, the playback speed of the shot video (the shot video of the first camera and the second camera) is increased or delayed and displayed on the display screen 62 of the display unit 34, or in rewind playback. It is configured to display.

また、表示制御部46は、複数のカメラ12−1〜12−Mの撮影映像を表示部34の表示画面62に示すようにしてある。例えば、カメラが9台ある場合、図6に示すように、9台のカメラの撮影映像85−1〜85−9を表示部34の表示画面62に表示する。これは、上述するように第2のカメラから第1のカメラを選択するためには、まず、最初に第1のカメラ(最初の第1のカメラ)が決定されていなければならず(第1のカメラが決定されないと第2のカメラが決定されない。)、そのために、複数のカメラ12−1〜12−Mの撮影映像を表示部34の表示画面62に示し、ユーザーに最初の第1のカメラを選択させるためである。   Further, the display control unit 46 is configured to display the captured images of the plurality of cameras 12-1 to 12 -M on the display screen 62 of the display unit 34. For example, when there are nine cameras, as shown in FIG. 6, the captured images 85-1 to 85-9 of the nine cameras are displayed on the display screen 62 of the display unit 34. As described above, in order to select the first camera from the second cameras as described above, first, the first camera (first first camera) must be determined first (first first camera). Therefore, the second camera is not determined unless the first camera is determined.) For this purpose, the captured images of the plurality of cameras 12-1 to 12-M are displayed on the display screen 62 of the display unit 34, and the first first is shown to the user. This is to select a camera.

図3に戻って、カメラ選択履歴作成部48は、被追跡体を追跡する際に第1のカメラの選択履歴をカメラ選択履歴情報として作成記録する。第1のカメラの選択履歴によって被追跡体が通過した撮影領域がわかり、その結果、所定の監視領域内において、被追跡体が移動した軌跡が分かる。カメラ選択履歴作成部48が作成したカメラ選択履歴情報は、追跡結果情報記憶部44に保存されている追跡結果情報に付加される。   Returning to FIG. 3, the camera selection history creation unit 48 creates and records the selection history of the first camera as camera selection history information when tracking the tracked object. The imaging region through which the tracked object has passed is known from the selection history of the first camera, and as a result, the trajectory of the tracked object in the predetermined monitoring region can be identified. The camera selection history information created by the camera selection history creation unit 48 is added to the tracking result information stored in the tracking result information storage unit 44.

移動体追跡支援サーバ16は、ユーザーの入力部32を介する追跡終了の指示に基づいて、追跡を終了するように構成されており、例えば、ユーザーによって図4の表示画面62に表示されている追跡完了ボタン86がマウスを介してクリックされることにより、表示撮影映像決定部50による第2のカメラの撮影映像の表示を終了する。   The mobile body tracking support server 16 is configured to end tracking based on an instruction to end tracking via the user input unit 32. For example, the tracking displayed on the display screen 62 of FIG. When the completion button 86 is clicked via the mouse, the display of the captured image of the second camera by the display captured image determination unit 50 is terminated.

なお、図4に示す表示部34の表示画面62において、説明されていないボタンや表示画像に関しては、後述する実施例において説明する。   Note that buttons and display images that are not described in the display screen 62 of the display unit 34 illustrated in FIG. 4 will be described in an embodiment described later.

次に、ユーザーとの対話処理をしながら移動体追跡支援サーバ16が行う追跡支援処理を、図7に一例として示す処理フローに沿って説明する。   Next, a tracking support process performed by the mobile body tracking support server 16 while performing a dialog process with the user will be described along a processing flow shown as an example in FIG.

まず、ステップS10において、制御部36は、ユーザーの入力部32を介する第1のカメラ選択指令の入力を確認する。第1のカメラ選択指令の入力が確認されるとステップS20に進む。なお、ステップ10におけるユーザーによる第1のカメラの選択指令として、ユーザーは、表示部34に、図6に示すように表示画面62に複数のカメラ12−1〜12−Mの撮影映像を表示させ、その撮影映像を参照してあるカメラを第1のカメラと選択する選択指令を行う。代わりに、ユーザーが、例えば、不審な移動体がある領域を移動中との連絡を受けてなどして、ある領域を撮影しているカメラを第1のカメラと選択する選択指令もある。第1のカメラ選択指令の入力が確認されるまで、制御部36は、追跡支援処理の実施を待機する。   First, in step S <b> 10, the control unit 36 confirms the input of the first camera selection command via the user input unit 32. When the input of the first camera selection command is confirmed, the process proceeds to step S20. As a first camera selection command by the user in Step 10, the user causes the display unit 34 to display the captured images of the cameras 12-1 to 12-M on the display screen 62 as shown in FIG. Then, a selection command for selecting a camera that refers to the captured image as the first camera is performed. Instead, there is also a selection command for selecting a camera that is shooting a certain area as the first camera, for example, when the user is notified that the suspicious moving body is moving in a certain area. Until the input of the first camera selection command is confirmed, the control unit 36 waits for execution of the tracking support process.

ステップS20において、表示撮影映像決定部50は、ステップS10におけるユーザーによって選択された第1のカメラの撮影映像60を表示部34の表示画面62に表示するとともに、接続関係記憶部38を参照して、第2のカメラを決定し、その撮影映像64を表示部34の表示画面62に表示する。   In step S20, the displayed captured video determination unit 50 displays the captured video 60 of the first camera selected by the user in step S10 on the display screen 62 of the display unit 34, and refers to the connection relationship storage unit 38. The second camera is determined, and the captured video 64 is displayed on the display screen 62 of the display unit 34.

ステップS30において、追跡支援情報表示制御部52は、ステップS20において決定された第2のカメラに基づき、カメラ情報記憶部40と監視領域情報記憶部42とを参照して、追跡支援情報を表示部34の表示画面62に表示する。   In step S30, the tracking support information display control unit 52 refers to the camera information storage unit 40 and the monitoring area information storage unit 42 based on the second camera determined in step S20, and displays the tracking support information display unit. 34 on the display screen 62.

ステップS40において、制御部36は、ユーザーが複数の第2のカメラの撮影映像64から新たな第1のカメラを選択して入力部32を介して入力した新たな第1のカメラ選択指令の入力を確認する。新たな第1のカメラ選択指令の入力が確認されるとステップS50に進む。第1のカメラ選択指令の入力が確認されるまで、制御部36はステップS40を繰り返す。   In step S <b> 40, the control unit 36 inputs a new first camera selection command that the user has selected through the input unit 32 by selecting a new first camera from the captured images 64 of the plurality of second cameras. Confirm. When the input of a new first camera selection command is confirmed, the process proceeds to step S50. The control unit 36 repeats step S40 until the input of the first camera selection command is confirmed.

ステップS50において、カメラ選択履歴作成部48は、新たな第1のカメラの選択履歴情報を作成し、作成された新たな第1のカメラの選択履歴情報は追跡結果情報記憶部44に保存されている追跡結果情報に付加される。   In step S 50, the camera selection history creation unit 48 creates new first camera selection history information, and the created new first camera selection history information is stored in the tracking result information storage unit 44. Added to the tracking result information.

ステップS60において、表示撮影映像決定部50は、ステップS40におけるユーザーによって選択された新たな第1のカメラの撮影映像を表示部34の表示画面62に表示するとともに、接続関係記憶部38を参照して、新たな第2のカメラを決定し、その撮影映像を表示部34の表示画面62に表示する。   In step S60, the display shooting video determination unit 50 displays the shooting video of the new first camera selected by the user in step S40 on the display screen 62 of the display unit 34, and refers to the connection relationship storage unit 38. Then, a new second camera is determined, and the captured video is displayed on the display screen 62 of the display unit 34.

ステップS70において、追跡支援情報表示制御部52は、ステップS60において決定された新たな第2のカメラに基づき、カメラ情報記憶部40と監視領域情報記憶部42とを参照して、追跡支援情報(例えば、矢印74や枠状印82)を表示部34の表示画面62に表示する。   In step S70, the tracking support information display control unit 52 refers to the camera information storage unit 40 and the monitoring area information storage unit 42 based on the new second camera determined in step S60, and provides tracking support information ( For example, an arrow 74 or a frame-shaped mark 82) is displayed on the display screen 62 of the display unit 34.

ステップS80において、制御部36は、ユーザーの入力部32を介する追跡完了指令の入力を確認する。入力が確認された場合、制御部36は、追跡を完了する。入力が確認されない場合、ステップS40に戻り、追跡支援を続行する。   In step S <b> 80, the control unit 36 confirms the input of the tracking completion command via the user input unit 32. If the input is confirmed, the control unit 36 completes the tracking. If the input is not confirmed, the process returns to step S40 to continue the tracking support.

本実施形態によれば、高価な計算装置を必要とせず、また、カメラを密に配置する必要がない、ユーザーと協力して(ユーザーを支援して)移動体を追跡する移動体追跡支援システムを提供することができる。また、追跡対象の移動体が映されているカメラの撮影映像の確認を行うユーザーの負担が軽減されるため、ユーザーは追跡対象の移動体を楽に追跡することができる。   According to the present embodiment, a mobile object tracking support system that tracks a mobile object in cooperation with a user (in support of the user), which does not require an expensive computing device and does not require a dense arrangement of cameras. Can be provided. In addition, since the burden on the user who confirms the captured image of the camera on which the tracking target moving body is displayed is reduced, the user can easily track the tracking target moving body.

以下、実施例を挙げて移動体追跡支援サーバ16が行うユーザーの移動体追跡の支援の流れを説明する。   Hereinafter, the flow of support for tracking a user's moving object performed by the moving object tracking support server 16 will be described with reference to an example.

ここで挙げる移動体追跡支援サーバ16は、コンピュータ(パーソナルコンピュータ)に専用のソフトウェアが組み込まれて構成されており、二つまたはそれ以上のカメラ12−1〜12−Mの撮影映像を表示部34であるディスプレイ(以下、ディスプレイ34と称する。)の表示画面に表示するようにしてある。   The moving body tracking support server 16 described here is configured by incorporating dedicated software into a computer (personal computer), and displays a captured image of two or more cameras 12-1 to 12-M. Is displayed on a display screen of a display (hereinafter referred to as a display 34).

また、移動体追跡支援サーバ16は、ユーザーから指令される移動体の追跡に関する指令が割り当てられた複数の指令ボタンをディスプレイ34の表示画面に表示するとともに、マウスと連動して移動するポインタ(マウスポインタ)をディスプレイ34の表示画面に表示している。マウス、指令ボタン、マウスポインタが入力部32に含まれる。移動体追跡支援サーバ16は、ディスプレイ34の表示画面上において、ユーザーによってマウスを介してマウスポインタが指令ボタン上に移動され、そこでマウスに設けられた決定ボタン(図示せず)がクリックされることによって指令ボタンに割り当てられた移動体の追跡に関する指令を実行するようにしてある。指令ボタンに割り当てられた指令については、後で説明する。また、文章や数字を入力するためのキーボードも入力部32に含まれる。   In addition, the moving body tracking support server 16 displays a plurality of command buttons to which commands relating to tracking of a moving body instructed by the user are assigned on the display screen of the display 34 and a pointer that moves in conjunction with the mouse (mouse A pointer) is displayed on the display screen of the display 34. The input unit 32 includes a mouse, command buttons, and a mouse pointer. In the moving body tracking support server 16, the user moves the mouse pointer onto the command button via the mouse on the display screen of the display 34, and the decision button (not shown) provided on the mouse is clicked there. A command relating to tracking of the moving object assigned to the command button is executed. The command assigned to the command button will be described later. The input unit 32 also includes a keyboard for inputting sentences and numbers.

ここで説明する実施例は、複数のカメラA〜Hそれぞれが道路上の予め決められた撮影領域を撮影して映像蓄積部30に蓄積された過去の撮影映像(映像データ)を用いて、カメラAの撮影領域内の道路に荷物を落としたトラック(被追跡体)を追跡していくものである。移動体追跡支援サーバ16が行うユーザーの移動体追跡の支援の流れに従って表示されるディスプレイ34の表示画面を図に示す。   In the embodiment described here, each of the plurality of cameras A to H captures a predetermined shooting area on the road and uses the past shot video (video data) stored in the video storage unit 30 to A truck (tracked object) whose luggage has been dropped on the road in the shooting area A is tracked. A display screen of the display 34 displayed according to the flow of the user's moving body tracking support performed by the moving body tracking support server 16 is shown in the figure.

まず、移動体追跡支援サーバ16は、ユーザーによって起動されると、複数のカメラ12−1〜12−Mが撮影している今現在の映像、または、撮影して映像蓄積サーバ16に蓄積されている過去の映像を表示する。表示される映像、すなわち、今現在の映像を表示するか過去の映像を表示するかは、例えば、ユーザーが見たい時期をキーボードによって撮影時刻カウンタ108に入力することによって決定される。撮影時刻カウンタ108は、表示されている撮影映像の撮影時刻を示すとともに、ユーザーが所望する撮影時刻を入力させることにより、所望の撮影時刻の撮影映像の部分を表示制御部46が頭出しできるようにしてある。   First, when activated by the user, the moving body tracking support server 16 is captured by the plurality of cameras 12-1 to 12 -M, or is captured and stored in the video storage server 16. Display past video. Whether to display the video to be displayed, that is, the current video or the past video, is determined, for example, by inputting a time when the user wants to view to the shooting time counter 108 using the keyboard. The shooting time counter 108 indicates the shooting time of the displayed shooting image, and allows the display control unit 46 to find the portion of the shooting image at the desired shooting time by inputting the shooting time desired by the user. It is.

ユーザーが、カメラAの過去の撮影映像を表示するように入力部32を介して移動体追跡支援サーバ16に指令すると、カメラAの過去の撮影映像が第1のカメラの撮影映像としてディスプレイ34の表示画面に表示される。   When the user instructs the moving body tracking support server 16 via the input unit 32 to display the past shot video of the camera A, the past shot video of the camera A becomes the shot video of the first camera on the display 34. Displayed on the display screen.

図8(a)は、表示撮影映像決定部50により、ユーザーが所望する撮影時刻のカメラAの撮影映像が表示されているとともに、接続関係記憶部38を参照して、第2のカメラB、C、D、Eの撮影映像が表示されているディスプレイ34の表示画面100を示している。   In FIG. 8A, the display shooting video determination unit 50 displays the shooting video of the camera A at the shooting time desired by the user, and the second camera B, A display screen 100 of the display 34 on which captured images of C, D, and E are displayed is shown.

第1のカメラの撮影映像110と第2のカメラの撮影映像112とを区別するために表示撮影映像決定部48は、第1のカメラであるカメラAの撮影映像110を、第2のカメラであるカメラB、C、D、Eの撮影映像112より大きく表示している。表示画面100の左上隅には、追跡支援情報表示制御部52により、監視領域情報である監視領域の地図114が表示されており、地図114には、複数のカメラA〜Hの配置位置が示されている。また、表示画面100において、第2のカメラB、C、D、Eの撮影映像112には、追跡支援情報表示制御部52により、出現場所特定マーク116が付されている。   In order to distinguish between the photographed image 110 of the first camera and the photographed image 112 of the second camera, the display photographed image determining unit 48 uses the second camera to capture the photographed image 110 of the camera A, which is the first camera. It is displayed larger than the captured image 112 of a certain camera B, C, D, E. In the upper left corner of the display screen 100, the tracking support information display control unit 52 displays a monitoring area map 114 as monitoring area information, and the map 114 shows the positions of the plurality of cameras A to H. Has been. In addition, on the display screen 100, the captured video 112 of the second cameras B, C, D, and E is given an appearance location identification mark 116 by the tracking support information display control unit 52.

また、表示画面100には、入力装置44のマウスと連動して表示画面100上を移動するマウスポインタ118によってクリックされる複数の指令ボタン120、122、124、126、128、130が示されている。以下、省略するために、ユーザーがマウスによってマウスポインタ118をボタン上に移動させ、マウスの決定ボタンをクリックすることによって動作ボタンをクリックするという動作を、単に、ユーザーが指令ボタンをクリックすると表現する。   Also, the display screen 100 shows a plurality of command buttons 120, 122, 124, 126, 128, and 130 that are clicked by a mouse pointer 118 that moves on the display screen 100 in conjunction with the mouse of the input device 44. Yes. Hereinafter, for the sake of omission, an operation in which the user moves the mouse pointer 118 over the button with the mouse and clicks the operation button by clicking the determination button of the mouse is simply expressed by the user clicking the command button. .

再生速度調整ボタン120は、表示されている撮影映像の再生速度を調整する際にクリックされるボタンである。表示画面100に表示されている複数の撮影映像(第1のカメラと第2のカメラの撮影映像)は、表示制御部46により、同期再生され、同期して再生速度が調整される。再生速度調整ボタン120がクリックされると、表示制御部50は、撮影映像に対し、早送り再生、スロー再生、逆再生、コマ送り再生、スチル再生を行う。ユーザーは追跡しやすい再生速度で撮影映像に映されているトラックを追跡する。   The playback speed adjustment button 120 is a button that is clicked when the playback speed of the displayed captured video is adjusted. A plurality of captured images (captured images of the first camera and the second camera) displayed on the display screen 100 are synchronously reproduced by the display control unit 46, and the reproduction speed is adjusted synchronously. When the playback speed adjustment button 120 is clicked, the display control unit 50 performs fast-forward playback, slow playback, reverse playback, frame-by-frame playback, and still playback of the captured video. The user tracks the track shown in the captured image at a playback speed that is easy to track.

ユーザーは、第1のカメラのカメラAの撮影映像110に映されているトラックを追跡することを決定すると、出現ボタン124を押す。出現ボタン124が押されると、カメラ選択履歴作成部48により、カメラAの情報と出現ボタン124がクリックされたときの撮影時刻の情報が付加されたトラックに関するカメラ選択履歴情報が作成される。   When the user decides to track the track shown in the captured image 110 of the camera A of the first camera, the user presses the appearance button 124. When the appearance button 124 is pressed, the camera selection history creation unit 48 creates camera selection history information related to the track to which the information of the camera A and the information of the shooting time when the appearance button 124 is clicked are added.

次に、ユーザーは、追跡対象であるトラックの画像を追跡対象参照情報として表示させる。図8(b)は、トラックの画像132を追跡対象参照情報表示領域134に表示した表示画面100である。まず、ユーザーは、再生速度調整ボタン120によって撮影映像の再生を停止させる。再生停止している第1のカメラのカメラAの撮影映像110からトラックの像をキャプチャリング(捕捉)する。キャプチャリングは、記録ボタン122を押し、第1のカメラの撮影映像に映されているトラックの像をマウスポインタ118によって矩形枠138を描いて囲み、マウスの決定ボタンを押すことで行われる。キャプチャリングされたトラックの像は、トラックの画像132として追跡対象参照情報表示領域134に表示される。以後、ユーザーは、トラックの画像132を参照しながら、トラックを追跡していく。   Next, the user displays an image of the track that is the tracking target as tracking target reference information. FIG. 8B is a display screen 100 in which the track image 132 is displayed in the tracking target reference information display area 134. First, the user stops the reproduction of the captured video using the reproduction speed adjustment button 120. The image of the track is captured (captured) from the captured image 110 of the camera A of the first camera whose reproduction is stopped. Capturing is performed by pressing the record button 122, enclosing a rectangular frame 138 with the mouse pointer 118 on the image of the track shown in the captured image of the first camera, and pressing the determination button of the mouse. The captured image of the track is displayed in the tracking target reference information display area 134 as a track image 132. Thereafter, the user tracks the track while referring to the image 132 of the track.

図9(c)に示すように、追跡支援情報表示制御部52により、第1のカメラのカメラAの撮影映像110に映されているトラックの像が該撮影映像110から消えたとき、次に出現する可能性が高い第2のカメラの撮影映像112には出現候補マーク140が付されている。出現候補マーク140は、例えば、第2のカメラの撮影映像112を囲む枠であり、ここでは、カメラD、Eの撮影映像112を囲んでいる。   As shown in FIG. 9C, when the track image displayed on the captured image 110 of the camera A of the first camera disappears from the captured image 110 by the tracking support information display control unit 52, An appearance candidate mark 140 is attached to the captured image 112 of the second camera that is highly likely to appear. The appearance candidate mark 140 is, for example, a frame that surrounds the captured image 112 of the second camera. Here, the appearance candidate mark 140 surrounds the captured images 112 of the cameras D and E.

図9(d)は、第1のカメラの撮影映像110からトラックの像が消えた後の表示画面100である。第2のカメラであるカメラEにトラックらしき像が映されているが、この段階では、ユーザーはトラックらしき像が追跡対象のトラックであるとは確認できていない。   FIG. 9D shows the display screen 100 after the track image disappears from the captured image 110 of the first camera. A camera-like image is displayed on the camera E, which is the second camera, but at this stage, the user cannot confirm that the truck-like image is the track to be tracked.

図10(e)は、第2のカメラのカメラEの撮影映像を拡大表示したときの表示画面100である。第2のカメラの撮影映像112の拡大表示は、マウスポインタ118を拡大したい撮影映像上に移動させ、マウスの決定ボタンを押すことで実行される。ユーザーは、一時的に第1のカメラの撮影映像と置き換えられ、拡大表示された第2のカメラのカメラEの撮影映像112Lを見て、第2のカメラのカメラEに映されているトラックが追跡対象であるトラックであることを確認する。   FIG. 10E shows a display screen 100 when an image captured by the camera E of the second camera is enlarged. The enlarged display of the photographed image 112 of the second camera is executed by moving the mouse pointer 118 over the photographed image to be magnified and pressing the enter button on the mouse. The user temporarily replaces the captured image of the first camera with the captured image 112L of the camera E of the second camera which is enlarged and displays the track displayed on the camera E of the second camera. Confirm that the track is the track target.

図10(f)に示すように、確認後、ユーザーが、出現ボタン124を押すと、表示撮影映像決定部50により、カメラEが新たな第1のカメラと決定され、カメラEの撮影映像が新たな第1のカメラの撮影映像110’となる。また、表示撮影映像決定部50により、カメラEの撮影領域と接続関係がある撮影領域を撮影しているカメラA、D、G、Fが新たな第2のカメラと決定され、カメラA、D、G、Fの撮影映像が新たな第2のカメラの撮影映像112’となる。さらに、カメラ選択履歴作成部48により、トラックに関するカメラ選択履歴情報に、カメラEと出現ボタン124がクリックされたときの撮影時刻の情報が付加される。   As shown in FIG. 10 (f), after confirmation, when the user presses the appearance button 124, the display shooting video determination unit 50 determines that the camera E is a new first camera. A new video image 110 ′ of the first camera is obtained. In addition, the display shooting video determination unit 50 determines that the cameras A, D, G, and F that are shooting the shooting areas connected to the shooting area of the camera E are new second cameras, and the cameras A and D , G, F shot images become the new second camera shot images 112 ′. Further, the camera selection history creation unit 48 adds information on the shooting time when the camera E and the appearance button 124 are clicked to the camera selection history information regarding the track.

以上のように、ユーザーは、第2のカメラの撮影映像から新たな第1のカメラを選択し、新たな第1のカメラに基づいて新たに表示された第2のカメラの撮影映像から更に新たな第1のカメラを選択することを繰り返す、すなわち、カメラを切り替えることにより、トラックを追跡する。   As described above, the user selects a new first camera from the captured image of the second camera, and further adds a new one from the captured image of the second camera newly displayed based on the new first camera. Repeat the selection of the first camera, i.e., track the track by switching cameras.

ユーザーは、追跡完了ボタン128をクリックしてトラックの追跡を完了する。追跡完了ボタン128がクリックされると、図11(g)に示すように、トラックに関する追跡結果情報を示すウインドウ142が表示される。ウインドウ142には、トラックが映されている撮影映像が撮影された時期、トラックに関する追跡結果情報のファイル名、ユーザーのコメント、カメラの選択履歴情報、及びトラックの画像132などが表示される。また、トラックに関する追跡結果情報をファイルとして保存するか否か、または、情報142の内容で保存するか否かをユーザーに問う保存確認ボタン144が表示される。ユーザーは、トラックに関する追跡結果情報を保存する場合、保存確認ボタン144の「はい」ボタンをクリックする。ユーザーは、トラックに関する追跡結果情報を示すウインドウ142に表示されているファイル名を変更する場合やユーザーのコメントを加える場合、例えば、キーボードによってファイル名を変更する又はコメントを加える。トラックに関する追跡結果情報は、追加結果情報記録部44に保存される。   The user clicks the track completion button 128 to complete track tracking. When the tracking completion button 128 is clicked, a window 142 showing tracking result information about the track is displayed as shown in FIG. The window 142 displays the time when the shot video showing the track was shot, the file name of the tracking result information regarding the track, the user's comment, the camera selection history information, the track image 132, and the like. In addition, a save confirmation button 144 is displayed to ask the user whether to save the tracking result information regarding the track as a file or whether to save the track according to the contents of the information 142. When saving the tracking result information regarding the track, the user clicks a “Yes” button of the save confirmation button 144. When changing the file name displayed in the window 142 showing the tracking result information regarding the track or adding a user comment, the user changes the file name or adds a comment using a keyboard, for example. The tracking result information regarding the track is stored in the additional result information recording unit 44.

ユーザーが保存されている追跡結果情報を閲覧する場合、追跡履歴再生ボタン130をクリックする(図8(a)参照。)。追跡履歴再生ボタン130がクリックされると、表示制御部46により、図12(a)に示すように、保存されている複数の移動体に関する追跡履歴情報146の一覧が表示される。閲覧したい追跡履歴情報上にマウスポインタ118を移動させ、マウスの決定ボタンを押すと追跡履歴情報が表示される。   When the user browses the stored tracking result information, the user clicks the tracking history playback button 130 (see FIG. 8A). When the tracking history reproduction button 130 is clicked, the display control unit 46 displays a list of tracking history information 146 relating to a plurality of stored moving objects, as shown in FIG. When the mouse pointer 118 is moved over the tracking history information to be browsed and the determination button of the mouse is pressed, the tracking history information is displayed.

追跡履歴情報は、図12(b)に示すように表示画面100に表示される。追跡履歴情報に付加されている詳細情報148が、表示画面100の上部に表示される。また、時系列に沿ったカメラの切り替え履歴を示す情報150が表示される。さらに、追跡時に複数のカメラに撮影された撮影映像(第1のカメラに選択された複数のカメラの撮影映像)が連続してなる追跡映像152が表示される。   The tracking history information is displayed on the display screen 100 as shown in FIG. Detailed information 148 added to the tracking history information is displayed at the top of the display screen 100. In addition, information 150 indicating the switching history of the cameras along the time series is displayed. In addition, a tracking image 152 is displayed in which captured images captured by a plurality of cameras during tracking (captured images of a plurality of cameras selected as the first camera) are continuously displayed.

また、追跡履歴情報を閲覧する場合、新たな指令ボタン(スキップボタン154、モードボタン156、通過ボタン158)が表示され、追跡映像152の「スキップ再生」、「モード再生」の実行が可能になる。   Further, when browsing the tracking history information, new command buttons (skip button 154, mode button 156, pass button 158) are displayed, and it becomes possible to execute “skip playback” and “mode playback” of tracking video 152. .

「スキップ再生」は、追跡映像152において、例えば、スキップボタン150が押され続けられている撮影時刻の間の撮影映像を飛ばして再生するためのものである。   “Skip playback” is for skipping and playing back the shot video during the shooting time when the skip button 150 is kept pressed in the tracking video 152, for example.

「モード再生」は、一度、ユーザーが追跡映像152を見て、追跡対象の移動体が映されていない部分を追跡映像152からトリミング(削除)したものを再生するものである。例えば、追跡映像152を再生中、ある第1のカメラの撮影映像(追跡映像152に含まれ、第1のカメラに選択された複数のカメラの撮影映像の1つ)から被追跡体が消えたことを確認したユーザーによって通過ボタン158がクリックされると、ある第1のカメラの撮影映像の再生が終了し、次の第1のカメラの撮影映像を再生するようにしてある。このとき、追跡映像152は、通過ボタン158がクリックされたときに再生していたある第1のカメラの撮影映像の部分から次の第1のカメラの撮影映像の最初の部分(ある第1のカメラの撮影映像の最後の部分)までトリミングされる。このトリミング処理を繰り返すことにより、追跡映像152から被追跡体が映されていない部分がトリミングされる。トリミング処理された追跡映像152を新たなファイルとして保存した後(または、保存前に)、モードボタン156がクリックされると、トリミング処理された追跡映像152が再生される。トリミング処理された追跡画像152に常に被追跡体が映り続けることになり、ユーザーは被追跡体の移動の様子がよくわかるようになる。   The “mode playback” is a mode in which the user once views the tracking video 152 and plays back a trimmed (deleted) portion of the tracking video 152 where a moving object to be tracked is not shown. For example, while the tracking video 152 is being played back, the tracked object disappeared from the video captured by a certain first camera (one of the video captured by the first camera included in the tracking video 152 and selected by the first camera). When the pass button 158 is clicked by the user who has confirmed that, the reproduction of the captured image of a certain first camera is finished, and the captured image of the next first camera is reproduced. At this time, the tracking image 152 is changed from the portion of the captured image of the first camera that was reproduced when the pass button 158 was clicked to the first portion of the captured image of the first camera (the first first image). The image is cropped up to the last part of the camera image. By repeating this trimming process, a portion of the tracked video 152 where the tracked object is not projected is trimmed. After the trimmed tracking video 152 is saved as a new file (or before saving), when the mode button 156 is clicked, the trimmed tracking video 152 is reproduced. The tracked object continues to be reflected in the trimmed tracking image 152, and the user can clearly see the movement of the tracked object.

追跡映像152において、被追跡体が映されていない部分が発生するのは、例えば、第1のカメラXから被追跡体が消えたとき、第2のカメラYに被追跡体が出現するまでに、カメラXの撮影領域とカメラYの撮影領域とが離れている理由から時間がかかることがあり、この間、被追跡体が存在しない状態をカメラXは撮影しているためである。カメラYに被追跡体が出現してユーザーが出現ボタン124をクリックするまで、カメラの選択履歴には被追跡体が存在しない状態を撮影しているカメラXの情報が残ることになる。   For example, when the tracked object disappears from the first camera X, the portion in which the tracked object is not reflected in the tracking image 152 occurs before the tracked object appears in the second camera Y. This is because it may take time because the shooting area of the camera X and the shooting area of the camera Y are separated, and during this time, the camera X is shooting a state in which the tracked object does not exist. Until the tracked object appears in the camera Y and the user clicks the appearance button 124, information on the camera X that captures the state where the tracked object does not exist remains in the camera selection history.

実施例1において、荷物を落とした以後のトラックを追跡したが、荷物を落とす以前のトラックの走行を逆方向に追跡することも、映像蓄積部により蓄積される過去に撮影した映像を表示制御部が逆再生することにより可能である。また、表示画面において、第1のカメラの撮影映像と第2のカメラの撮影映像は、異なる大きさで表示されているが、これに限定するわけでなく、例えば、XGAやSXGAの高解像度のディスプレイであれば、第1のカメラの撮影映像と第2のカメラの撮影映像を同じ大きさで表示してもよい。さらに、第1のカメラと第2のカメラの位置が直感的にわかるように、それぞれの撮影映像を表示画面上に配置してもよい。例えば、背景画面に監視領域の地図を示し、地図において複数の撮影領域位置に、複数の撮影領域を撮影しているカメラの撮影映像を表示してもよい。加えて、表示画面において、撮影領域や追跡支援情報などの表示のレイアウトは、ユーザーによって自由に変更できるようにしてもよい。   In the first embodiment, the track after the load is dropped is tracked, but the traveling of the track before the load is dropped can be traced in the reverse direction. Is possible by reverse playback. In addition, on the display screen, the video image captured by the first camera and the video image captured by the second camera are displayed in different sizes. However, the present invention is not limited to this. For example, a high resolution XGA or SXGA In the case of a display, the captured image of the first camera and the captured image of the second camera may be displayed in the same size. Furthermore, each captured image may be arranged on the display screen so that the positions of the first camera and the second camera can be intuitively understood. For example, a map of the monitoring area may be shown on the background screen, and captured images of a camera that is capturing a plurality of imaging areas may be displayed at a plurality of imaging area positions on the map. In addition, on the display screen, the layout of the display such as the shooting area and the tracking support information may be freely changed by the user.

実施の形態2.
本実施の形態の移動体追跡支援システムは、実施の形態1の移動体追跡支援システムにおいて、第1のカメラの撮影映像に映されている被追跡体の第1のカメラの撮影領域での追跡を容易にするものである。第1のカメラの撮影映像に複数の移動体が映されている場合、被追跡体をマーキング(例えば、被追跡体を色付けしたり、被追跡体の像に特定の形状のマークを重ねるなど)することで、ユーザーはマーキングされた移動体だけを追跡すればよく、複数の移動体から被追跡体を見付ける負荷が低減される。
Embodiment 2. FIG.
The moving body tracking support system according to the present embodiment is the same as the moving body tracking support system according to the first embodiment, except that the tracked object shown in the captured image of the first camera is tracked in the shooting area of the first camera. To make it easier. When a plurality of moving objects are shown in the captured image of the first camera, the tracked object is marked (for example, the tracked object is colored or a mark of a specific shape is superimposed on the image of the tracked object). Thus, the user only needs to track the marked moving body, and the load of finding the tracked body from the plurality of moving bodies is reduced.

本実施の形態の移動体追跡支援システムは、第1のカメラの撮影映像に映されている被追跡体を第1のカメラの撮影映像上で追跡するために、第1のカメラの撮影映像をなす画像フレーム上でユーザーにより移動体を指定できるように入力部(移動体指定手段)を構成するとともに、入力部を介して指定した移動体に関する第1のカメラの撮影領域内での移動を、画像処理を用いて追跡する移動体追跡部を設ける以外、実施の形態1と同じ構成である。従って、入力部と移動体追跡部に関して説明する。   The moving body tracking support system according to the present embodiment uses a captured image of the first camera in order to track the tracked object reflected in the captured image of the first camera on the captured image of the first camera. The input unit (moving body specifying means) is configured so that the moving body can be specified by the user on the image frame formed, and the movement of the first camera with respect to the moving body specified through the input unit is moved within the imaging region. The configuration is the same as that of the first embodiment except that a moving body tracking unit that tracks using image processing is provided. Therefore, the input unit and the moving body tracking unit will be described.

図13は、本実施の形態に係る移動体追跡支援サーバ316の概略的構成を示す図である。入力部388と制御部336内の移動体追跡部390以外は、実施の形態1のものとほぼ同じであり、実施の形態1の符号に300を付して表し、説明を適宜省略する。   FIG. 13 is a diagram showing a schematic configuration of the mobile tracking support server 316 according to the present embodiment. Except for the input unit 388 and the moving body tracking unit 390 in the control unit 336, it is almost the same as that of the first embodiment, and the reference numeral of the first embodiment is denoted by 300, and the description thereof will be omitted as appropriate.

入力部388は、第1のカメラの撮影映像において、ユーザーが被追跡体を指定するためのものである。被追跡体は、ユーザーが入力部388を介して再生停止させた過去の撮影映像(映像蓄積部330内の撮影映像)の画像フレーム、またはリアルタイム映像から取得した画像フレーム(静止映像)から指定される。被追跡体の指定は、例えば、静止映像上において、被追跡体の像の部分とそれ以外の部分の境界をユーザーが入力部388を介して示すことによって行われる。指定された被追跡体の情報(指定指令)は、制御部336の移動体追跡部390に入力される。   The input unit 388 is for the user to specify the tracked object in the captured image of the first camera. The tracked object is specified from an image frame of a past captured video (captured video in the video storage unit 330) that has been stopped by the user via the input unit 388, or an image frame (still video) acquired from a real-time video. The The tracking target is specified by, for example, the user indicating the boundary between the portion of the image of the tracking target and the other portion via the input unit 388 on the still image. Information (designation command) on the designated tracked object is input to the moving object tracking unit 390 of the control unit 336.

移動体追跡部390は、画像処理を行うことにより、ユーザーが入力部388によって指定した被追跡体から特徴量(例えば、色成分や輝度など)を抽出し、抽出した特徴量に基づいて第1のカメラの撮影映像を構成する画像フレーム毎に被追跡体を特定する。このように移動体の特徴量に基づいて移動体を特定する方法は、例えば、非特許文献1に詳細に説明されている。   The moving body tracking unit 390 extracts a feature amount (for example, a color component or luminance) from the tracked body designated by the user using the input unit 388 by performing image processing, and performs first processing based on the extracted feature amount. The tracked object is specified for each image frame constituting the video captured by the camera. A method for specifying the moving body based on the feature amount of the moving body is described in detail in Non-Patent Document 1, for example.

表示制御部346は、移動体追跡部390が画像フレーム毎に特定した被追跡体の像にマーキング(追跡マークを付す。)した撮影映像を表示部334の表示画面に表示する。これにより、ユーザーは、被追跡体と追跡マークとがともに第1のカメラの撮影映像において移動しているように見える。   The display control unit 346 displays on the display screen of the display unit 334 a photographed image that is marked (with a tracking mark) on the image of the tracked object specified by the moving body tracking unit 390 for each image frame. As a result, the user appears to move both the tracked object and the tracking mark in the captured image of the first camera.

被追跡体の特徴量と類似の特徴量を有する別の移動体が第1のカメラの撮影映像上に存在し、該撮影映像において被追跡体と別の移動体が重なって映された場合、追跡マークが別の移動体に付されることがある。この場合、ユーザーは、第1のカメラの撮影映像において、被追跡体の追跡マークが別の移動体に付されているのに気がついて、被追跡体に追跡マークが再び付すために、撮影映像を停止させる。ユーザーによって被追跡体が再び指定されると、別の移動体に付されていた追跡マークを消去するように表示制御部346は構成されている。   When another moving body having a feature amount similar to the feature amount of the tracked object is present on the captured image of the first camera, and the tracked object and another moving body are overlapped in the captured image, A tracking mark may be attached to another moving body. In this case, the user notices that the tracking mark of the tracked object is attached to another moving object in the captured image of the first camera, and the tracking image is attached again to the tracked object. Stop. When the tracked object is designated again by the user, the display control unit 346 is configured to erase the tracking mark attached to another moving object.

第1のカメラの撮影映像上の被追跡体の追跡は、必ず行わなければならないことはなく、追跡の実施はユーザーによって任意に決定される。基本的には、第1のカメラの撮影映像に被追跡体が写されていれば、実行可能である。以下、ユーザーとの対話処理をしながら移動体追跡支援サーバ316が行う第1のカメラの撮影映像上での追跡支援処理を、図14に一例として示す処理フローに沿って説明する。   The tracking of the tracked object on the captured image of the first camera is not necessarily performed, and the execution of the tracking is arbitrarily determined by the user. Basically, it can be executed if the tracked object is captured in the image captured by the first camera. Hereinafter, the tracking support process on the captured image of the first camera performed by the moving body tracking support server 316 while performing the interactive process with the user will be described along a processing flow shown as an example in FIG.

まず、ステップS110において、制御部336は、ユーザーによって過去またはリアルタイムの撮影映像が再生停止されていることを確認する。撮影映像が再生停止が確認された場合、ステップS120に進む。   First, in step S110, the control unit 336 confirms that playback of the past or real-time captured video is stopped by the user. If it is confirmed that the captured video is stopped, the process proceeds to step S120.

ステップS120において、制御部336は、ユーザーが入力部332を介して撮影映像が再生停止されて表示されている画像フレーム上で被追跡体を指定したか否かを確認する。被追跡体が指定されたことが確認できない場合、ステップS130に進む。指定されたことが確認されるとステップS150に進み、第1のカメラの撮影映像上での追跡支援処理が開始される。   In step S <b> 120, the control unit 336 confirms whether or not the user has designated the tracked object on the displayed image frame via the input unit 332, where the captured video is stopped from being reproduced. If it cannot be confirmed that the tracked object is specified, the process proceeds to step S130. If it is confirmed that the designation has been made, the process proceeds to step S150, and tracking support processing on the captured image of the first camera is started.

ステップS130において、ユーザーの入力部332を介する再生指令の入力を確認する。再生指令の入力が確認されると、ステップS140に進む。再生指令の入力が確認されない場合、ステップS120に戻る。   In step S130, the input of the reproduction command via the user input unit 332 is confirmed. When the input of the reproduction command is confirmed, the process proceeds to step S140. When the input of the reproduction command is not confirmed, the process returns to step S120.

ステップS140において、表示制御部346が再生停止されている撮影映像を再生する。次に、ステップS110に戻る。   In step S140, the display control unit 346 plays back the captured video that has been stopped. Next, the process returns to step S110.

ステップS150において、移動体追跡部390は、画像処理により、指定された被追跡体の像から特徴量を抽出する。   In step S150, the moving body tracking unit 390 extracts a feature amount from the image of the specified tracked body by image processing.

ステップS160において、制御部336は、ユーザーの入力部332を介する再生指令の入力を確認する。再生指令の入力が確認されると、ステップS170に進む。 In step S <b> 160, the control unit 336 confirms the input of a reproduction command via the user input unit 332. When the input of the reproduction command is confirmed, the process proceeds to step S170.

ステップS170において、表示制御部346が再生停止されている撮影映像を再生する。   In step S170, the display control unit 346 plays back the captured video that has been stopped.

ステップS180において、移動体追跡処理部390は、ステップS150において抽出した特徴量に基づいて、再生されている撮影映像の画像フレーム毎に被追跡体を特定する。   In step S180, the moving body tracking processing unit 390 identifies a tracked object for each image frame of the captured video that is being reproduced, based on the feature amount extracted in step S150.

ステップS190において、表示制御部346は、ステップS180において特定され、再生されている撮影映像の画像フレーム毎の被追跡体にマーキングを行う。   In step S190, the display control unit 346 performs marking on the tracked object for each image frame of the captured video that is specified and reproduced in step S180.

ステップS200において、制御部336は、ユーザーの入力部332を介する再生停止指令の入力を確認する。再生停止指令の入力がある場合、ステップS210に進む。再生停止指令の入力がない場合、ステップS220に進む。   In step S <b> 200, the control unit 336 confirms the input of the playback stop command via the user input unit 332. If there is a reproduction stop command input, the process proceeds to step S210. If no playback stop command is input, the process proceeds to step S220.

ステップS210において、制御部336は、ユーザーが入力部332を介して撮影映像が再生停止されて表示されている画像フレーム上で被追跡体を指定したか否かを確認する。被追跡体が指定されたことが確認されるとステップS150に戻る。指定されたことが確認されない場合、ステップS160に戻る。なお、このステップS210は、ユーザーが、第1のカメラの撮影映像において、被追跡体の追跡マークが別の移動体に付されているのに気がついて、被追跡体に追跡マークが再び付するために、被追跡体を再指定したか否かを確認している。   In step S <b> 210, the control unit 336 confirms whether or not the user has designated the tracked object on the displayed image frame via the input unit 332, where the captured video is stopped from being reproduced. If it is confirmed that the tracked object is designated, the process returns to step S150. If it is not confirmed that it has been designated, the process returns to step S160. In step S210, the user notices that the tracking mark of the tracked object is attached to another moving object in the captured image of the first camera, and the tracking mark is attached to the tracked object again. Therefore, it is confirmed whether or not the tracked object is redesignated.

ステップS220において、制御部336は、ユーザーの入力部332を介する新たな第1のカメラ(被追跡体をマーキングして追跡している第1のカメラの撮影領域と接続関係にある第2のカメラから選択される新たな第1のカメラ)選択指令の入力を確認する。入力が確認された場合、第1のカメラの撮影映像上から被追跡体が消えたとユーザーが判断したとして、第1のカメラの撮影映像上での追跡支援処理を終了する。   In step S <b> 220, the control unit 336 connects the new first camera (the second camera that is connected to the imaging region of the first camera that is marking and tracking the tracked object) via the user input unit 332. Confirm the input of the selection command of the new first camera selected from (1). When the input is confirmed, it is determined that the tracked object has disappeared from the captured image of the first camera, and the tracking support process on the captured image of the first camera is terminated.

新たな第1のカメラ選択指令入力が確認されない場合、第1のカメラの撮影映像上に被追跡体が存在するとして、ステップS180に戻って、第1のカメラの撮影映像上での追跡支援処理を続行する。   If a new first camera selection command input is not confirmed, it is determined that there is a tracked object on the captured image of the first camera, and the process returns to step S180 to perform tracking support processing on the captured image of the first camera. To continue.

本実施形態によれば、第1のカメラの撮影映像に複数の移動体が映されている場合、ユーザーはマーキングされた移動体だけを追跡すればよく、複数の移動体から被追跡体を見付ける負荷が低減される。   According to the present embodiment, when a plurality of moving objects are shown in the captured image of the first camera, the user only needs to track the marked moving object, and find the tracked object from the plurality of moving objects. The load is reduced.

以下、実施例を挙げて、第1のカメラの撮影映像上において行われる被追跡体の追跡の流れを説明する。ここで、挙げる実施例は、複数のカメラT〜Zが配置された建物空間において、人物を追跡するものである。   Hereinafter, the flow of tracking of the tracked object performed on the captured image of the first camera will be described with an example. Here, the example given trackss a person in a building space where a plurality of cameras T to Z are arranged.

図15(a)は、カメラXが追跡対象の不審人物をライブ撮影しているときの表示装置の表示画面200を示している。表示制御部346により、表示画面200には、カメラXの撮影映像210が表示されている。また、表示画面200の左上隅には、追跡支援情報表示制御部352により、監視領域情報である建物内部の空間図214が表示されており、空間図214には、複数のカメラT〜Zの配置位置が示されている。また、表示画面200には、複数の指令ボタン220と260が表示されている。指令ボタン220は、実施の形態1の再生速度調整ボタン120と同一であるため説明を省略する。追跡ボタン260は、移動体(不審人物)261を追跡する際に押されるボタンである。   FIG. 15A shows a display screen 200 of the display device when the camera X is shooting a suspicious person to be tracked live. The display control unit 346 displays a captured image 210 of the camera X on the display screen 200. In addition, a space diagram 214 inside the building, which is monitoring area information, is displayed in the upper left corner of the display screen 200 by the tracking support information display control unit 352. The space diagram 214 includes a plurality of cameras TZ. The placement position is shown. In addition, a plurality of command buttons 220 and 260 are displayed on the display screen 200. Since the command button 220 is the same as the playback speed adjustment button 120 of the first embodiment, a description thereof will be omitted. The tracking button 260 is a button that is pressed when tracking the moving body (suspicious person) 261.

図15(b)は、図15(a)の表示画面200において、追跡ボタン260がユーザーによって押されたとき切り替わり、再生速度調整ボタン220がクリックされて再生停止している状態の表示部334の表示画面200を示している。カメラXの撮影映像が第1のカメラの撮影映像として表示されるとともに、カメラXの撮影領域と接続関係がある撮影領域を撮影するカメラV、Zが撮影映像212が第2のカメラの撮影映像として表示されている。   FIG. 15 (b) is switched when the tracking button 260 is pressed by the user on the display screen 200 of FIG. 15 (a) and the playback speed adjustment button 220 is clicked to stop playback. A display screen 200 is shown. The video captured by the camera X is displayed as the video captured by the first camera, and the cameras V and Z that capture the imaging area connected to the camera X imaging area are the video captured by the second camera. It is displayed as.

ユーザーは、第1のカメラのカメラXの撮影映像上で(カメラXの撮影領域内において)、不審人物261を追跡するための追跡マークを付与する不審人物261を特定するために、不審人物261を指定する。指定は、停止中の撮影映像210の画像フレームに映されている不審人物261の像をマウスポインタ218により、例えば、楕円形枠262を描いて囲み、マウスの決定ボタンを押すことで行われる。その結果、移動体追跡部390は、画像処理によって不審人物261の特徴量を抽出する。   In order to specify the suspicious person 261 to which the tracking mark for tracking the suspicious person 261 is given on the captured image of the camera X of the first camera (within the photographing area of the camera X), the user 261 Is specified. The designation is performed by surrounding the image of the suspicious person 261 shown in the image frame of the photographed video 210 being stopped with a mouse pointer 218, for example, by drawing an oval frame 262, and pressing the determination button of the mouse. As a result, the moving body tracking unit 390 extracts the feature amount of the suspicious person 261 by image processing.

続いて、ユーザーがライブ監視ボタン264を押すと、表示画面200に表示されている第1のカメラのカメラXの撮影映像が、リアルタイムのカメラXの撮影映像に切り替わる(図16(c)参照。)。第1のカメラのカメラXの撮影映像210に映されている不審人物261の像に、表示制御部346によって追跡マーク266が付与されている。   Subsequently, when the user presses the live monitoring button 264, the captured image of the camera X of the first camera displayed on the display screen 200 is switched to the captured image of the camera X in real time (see FIG. 16C). ). A tracking mark 266 is given by the display control unit 346 to the image of the suspicious person 261 shown in the captured image 210 of the camera X of the first camera.

停止中の撮影映像210の画像フレーム上の不審人物261を指定する間の実際の不審人物261の追跡は、映像蓄積部340に蓄積されている映像データによって行ってもよい。または、蓄積された撮影映像を、リアルタイムの撮影映像の撮影時刻に追いつくまでユーザーまたは表示性制御部346が不審人物261を追跡できる速さで早送りし、追いつくと同時に、表示制御部346がリアルタイムの撮影映像に切り替えることによって追跡を行ってもよい。   The tracking of the actual suspicious person 261 while designating the suspicious person 261 on the image frame of the captured video 210 being stopped may be performed by the video data stored in the video storage unit 340. Alternatively, the user or the display control unit 346 fast-forwards the accumulated captured video at a speed at which the user or the display control unit 346 can track the suspicious person 261 until the real-time captured video is captured, and at the same time, the display control unit 346 Tracking may be performed by switching to a captured video.

また、不審人物261の像をマウスポインタ218で、例えば、楕円を描いて囲むことによって指定した際、追跡支援情報表示制御部352が、囲んだ不審人物261の像を、不審人物の画像268として追跡対象参照情報表示領域232に表示してもよい。   Further, when the image of the suspicious person 261 is designated by, for example, drawing an ellipse with the mouse pointer 218, the tracking support information display control unit 352 uses the enclosed image of the suspicious person 261 as the image 268 of the suspicious person. It may be displayed in the tracking target reference information display area 232.

図16(d)に示すように、第1のカメラのカメラXの撮影映像210から不審人物261が消え、第2のカメラのカメラZに不審人物261が出現したことを確認すると、ユーザーは、実施例1と同様に、カメラZを第1のカメラと選択する。   As shown in FIG. 16D, when it is confirmed that the suspicious person 261 disappears from the captured image 210 of the camera X of the first camera and the suspicious person 261 appears in the camera Z of the second camera, the user Similarly to the first embodiment, the camera Z is selected as the first camera.

図17(e)は、表示撮影映像決定部350により、カメラZが第1のカメラと決定され、接続関係記憶部338を参照して、カメラX、Yが第2のカメラと決定されたときの表示部334の表示画面200を示している。   FIG. 17E shows the case where the camera Z is determined as the first camera by the display shooting video determination unit 350 and the cameras X and Y are determined as the second cameras with reference to the connection relationship storage unit 338. The display screen 200 of the display unit 334 is shown.

ユーザーは、カメラZの撮影領域において不審人物261を追跡する場合、上述したように、不審人物261を指定する。ユーザーは、指定前に、再生速度調整ボタン220により、撮影映像を停止させる。このとき、不審人物261を指定する際、不審人物261の像をマウスポインタ218で、例えば、楕円を描いて囲むことによって指定した不審人物261の像が、追跡支援情報表示制御部352により、画像として追跡対象参照情報表示領域232に表示されることを考慮して、例えば、不審人物261の顔が見える頭部分を囲んで指定してもよい。この場合、追跡対象参照情報表示領域232に、不審人物261の別の画像として、不審人物261の顔が見える頭部分の画像270が表示される。   When the user tracks the suspicious person 261 in the shooting area of the camera Z, the user designates the suspicious person 261 as described above. The user uses the playback speed adjustment button 220 to stop the captured video before designation. At this time, when designating the suspicious person 261, the image of the suspicious person 261 specified by surrounding the image of the suspicious person 261 with the mouse pointer 218, for example, by drawing an ellipse, is imaged by the tracking support information display control unit 352. For example, the head portion where the face of the suspicious person 261 can be seen may be surrounded and specified. In this case, an image 270 of the head portion where the face of the suspicious person 261 can be seen is displayed as another image of the suspicious person 261 in the tracking target reference information display area 232.

不審人物261の特徴量と類似の特徴量を有する別の人物272がカメラZの撮影領域に存在し、カメラZの撮影映像210において不審人物261と別の人物272が重なって映された場合、追跡マーク274が別の人物272に付されることがある(図17(f)参照。)。この場合、ユーザーは、不審人物261に追跡マークが再び付されるように、上述するように該不審人物261を指定する。このとき、別の人物272に付された追跡マーク274を消去するように表示制御部346は構成されている。   When another person 272 having a feature quantity similar to the feature quantity of the suspicious person 261 exists in the shooting area of the camera Z, and the suspicious person 261 and another person 272 are projected on the shooting image 210 of the camera Z, A tracking mark 274 may be attached to another person 272 (see FIG. 17F). In this case, the user designates the suspicious person 261 as described above so that the tracking mark is attached to the suspicious person 261 again. At this time, the display control unit 346 is configured to erase the tracking mark 274 attached to another person 272.

第1のカメラの撮影映像上で被追跡体を追跡したが、第2のカメラの撮影映像上でも被追跡体の追跡を行ってもよい。この場合、第1のカメラの撮影領域と第2のカメラの撮影領域との一部が重なるように撮影領域を設定する。こうすることにより、第1のカメラの撮影映像上と、第2のカメラの撮影映像上に同一の被追跡体が出現する。このとき、第1のカメラの撮影映像上で被追跡体にマーキングすると、第2のカメラの撮影映像上でも被追跡体に自動的にマーキングされるように移動体追跡支援システムを構成してもよい。この場合、ユーザーが第2のカメラに被追跡体が映されているか確認する際に役立つ。   Although the tracked object is tracked on the captured image of the first camera, the tracked object may be tracked on the captured image of the second camera. In this case, the shooting area is set so that the shooting area of the first camera and the shooting area of the second camera partially overlap. By doing so, the same tracked object appears on the captured image of the first camera and on the captured image of the second camera. At this time, even if the moving body tracking support system is configured such that when the tracked object is marked on the captured image of the first camera, the tracked object is automatically marked also on the captured image of the second camera. Good. In this case, it is useful when the user confirms whether the tracked object is reflected on the second camera.

また、カメラは、映像データの映像に映されている被追跡体にマーキングした状態で映像データを送信できるようにしてもよい。この場合、カメラが被追跡体を特定するための特徴量を移動体追跡支援サーバから取得する特徴量取得部と、特徴量に基づいて画像フレーム毎に被追跡体を特定する移動体特定部と、映像データの画像フレーム上の被追跡体の像に追跡マークを付する画像変換部とを有すればよい(これらの構成要素が、対応するカメラが第1のカメラと決定されたとき、入力部を介して指定した被追跡体に関する第1のカメラの撮影領域内での移動を、画像処理を用いて追跡する移動体追跡手段を構成する。)。この場合、移動体追跡支援サーバの制御部内の移動体追跡部が省略される。   The camera may be capable of transmitting the video data in a state where the tracked object shown in the video of the video data is marked. In this case, a feature amount acquisition unit for the camera to acquire a feature amount for specifying the tracked object from the moving body tracking support server, a mobile object specification unit for specifying the tracked object for each image frame based on the feature amount, And an image conversion unit that attaches a tracking mark to the image of the tracked object on the image frame of the video data. (These components are input when the corresponding camera is determined to be the first camera. And moving body tracking means for tracking the movement of the first camera in the imaging region with respect to the tracked object specified via the unit using image processing. In this case, the moving body tracking unit in the control unit of the moving body tracking support server is omitted.

以上、2つの実施形態を挙げて、本発明の移動体追跡支援システムを説明したが、本発明はこれに限定される訳でない。また、様々な変形例を当業者が考えるのは容易である。例えば、1つの移動体Mを追跡中、移動体Mが映されている、あるカメラCのある撮影時刻Pの撮影映像に映されている別の移動体M’を追跡したい場合がある。この場合、移動体Mの追跡が完了した後、別の移動体M’を直ぐに追跡できるように、あるカメラCのある撮影時刻Pの撮影映像を直ぐに頭出しできるように、カメラCの撮影時刻Pの撮影映像に「しおり」として機能する頭出し信号を付する。ユーザーは、「しおり」が付された撮影映像の部分が、別の移動体M’が映されている撮影映像の部分とわかり、別の移動体M’の追跡がすぐに実施できるようになる。   The mobile tracking support system of the present invention has been described above with reference to two embodiments, but the present invention is not limited to this. In addition, it is easy for those skilled in the art to consider various modifications. For example, while tracking one moving body M, there is a case where it is desired to track another moving body M ′ shown in a captured image at a certain shooting time P of a certain camera C in which the moving body M is shown. In this case, after the tracking of the moving body M is completed, the shooting time of the camera C is set so that the shooting video of the shooting time P of a certain camera C can be quickly found so that another moving body M ′ can be tracked immediately. A cueing signal that functions as a “bookmark” is attached to the P video. The user recognizes the portion of the photographed image to which the “bookmark” is attached as the portion of the photographed image on which another moving body M ′ is shown, and can immediately track another moving body M ′. .

本発明の移動体追跡支援システムの概略図である。It is the schematic of the mobile body tracking assistance system of this invention. 撮影領域同士の接続関係を説明するための図である。It is a figure for demonstrating the connection relationship between imaging areas. 本発明の実施の形態1に係る移動体追跡支援サーバの概略図である。It is the schematic of the mobile body tracking assistance server which concerns on Embodiment 1 of this invention. 表示部の表示画面を示す図である。It is a figure which shows the display screen of a display part. 出現場所特定マークを説明する図である。It is a figure explaining an appearance place specific mark. 複数のカメラの撮影映像を表示する表示部の表示画面を示す図である。It is a figure which shows the display screen of the display part which displays the picked-up image of a some camera. 移動体の追跡のフロー図である。It is a flowchart of tracking of a mobile body. 図1の移動体追跡支援システムを利用した移動体の追跡の際に表示部に表示される表示画面を示す図である。It is a figure which shows the display screen displayed on a display part in the case of tracking of the mobile body using the mobile body tracking assistance system of FIG. 図1の移動体追跡支援システムを利用した移動体の追跡の際に表示部に表示される別の表示画面を示す図である。It is a figure which shows another display screen displayed on a display part in the case of tracking of the mobile body using the mobile body tracking assistance system of FIG. 図1の移動体追跡支援システムを利用した移動体の追跡の際に表示部に表示される更なる表示画面を示す図である。It is a figure which shows the further display screen displayed on a display part in the case of tracking of the mobile body using the mobile body tracking assistance system of FIG. 図1の移動体追跡支援システムを利用した移動体の追跡の際に表示部に表示される更に別の表示画面を示す図である。It is a figure which shows another display screen displayed on a display part in the case of tracking of the mobile body using the mobile body tracking assistance system of FIG. 図1の移動体追跡支援システムを利用した移動体の追跡の際に表示部に表示される表示画面を示す図である移動体追跡支援システムを利用した移動体の追跡の完了後において、追跡履歴再生モードで表示部に表示される表示画面を示す図である。FIG. 3 is a diagram showing a display screen displayed on a display unit when tracking a mobile object using the mobile object tracking support system of FIG. 1, and tracking history after completion of tracking of the mobile object using the mobile object tracking support system It is a figure which shows the display screen displayed on a display part in reproduction | regeneration mode. 本発明の実施の形態2に係る移動体追跡支援サーバの概略図である。It is the schematic of the mobile body tracking assistance server which concerns on Embodiment 2 of this invention. 第1のカメラの撮影映像上で行われる移動体の追跡のフロー図である。It is a flowchart of the tracking of the moving body performed on the picked-up image of a 1st camera. 本発明の実施の形態2に係る移動体追跡支援システムを利用した動体の追跡の際に表示部に表示される表示画面を示す図である。It is a figure which shows the display screen displayed on a display part in the case of tracking of the moving body using the moving body tracking assistance system which concerns on Embodiment 2 of this invention. 本発明の実施の形態2に係る移動体追跡支援システムを利用した動体の追跡の際に表示部に表示される別の表示画面を示す図である。It is a figure which shows another display screen displayed on a display part in the case of tracking of the moving body using the moving body tracking assistance system which concerns on Embodiment 2 of this invention. 本発明の実施の形態2に係る移動体追跡支援システムを利用した動体の追跡の際に表示部に表示される更なる表示画面を示す図である。It is a figure which shows the further display screen displayed on a display part in the case of tracking of the moving body using the moving body tracking assistance system which concerns on Embodiment 2 of this invention.

符号の説明Explanation of symbols

16 移動体追跡支援サーバ、 32 入力部(カメラ選択手段)、 34 表示部(表示手段)、 38 接続関係記憶部(接続関係記憶手段)、 50 表示撮影映像決定部(表示撮影映像決定手段)
16 moving body tracking support server, 32 input unit (camera selection unit), 34 display unit (display unit), 38 connection relationship storage unit (connection relationship storage unit), 50 display shooting video determination unit (display shooting video determination unit)

Claims (7)

複数のカメラを用いて移動体の追跡を行うユーザーを支援する移動体追跡支援システムにおいて、
個々の撮影領域をそれぞれ撮影する複数のカメラと、
複数のカメラのうち二つまたはそれ以上のカメラの撮影映像を表示する表示手段と、
ユーザーにより移動体を撮影する第1のカメラを選択できるようにしたカメラ選択手段と、
各カメラの撮影領域同士の接続関係を記憶する接続関係記憶手段と、
カメラ選択手段を介して第1のカメラが選択されると、接続関係記憶手段を参照して、第1のカメラの撮影領域と接続関係にある撮影領域を撮影する一つまたはそれ以上の第2のカメラの撮影映像を、第1のカメラの撮影映像とともに表示手段に表示させる表示撮影映像決定手段と、
ユーザーの移動体の追跡を支援する追跡支援情報を表示手段に表示させる追跡支援情報表示制御手段と、
各カメラの配置位置および撮影方向に関する情報を記憶するカメラ情報記憶手段とを備え、
追跡支援情報表示制御手段は、カメラ情報記憶手段に記憶された情報に基づいて、第1のカメラの撮影領域内の移動体が第2のカメラの撮影領域内に移動したときに第2のカメラの撮影映像内に出現しうる位置を、追跡支援情報として表示手段に表示させることを特徴とする移動体追跡支援システム。
In a moving body tracking support system that supports a user who tracks a moving body using a plurality of cameras,
Multiple cameras that shoot each individual shooting area,
Display means for displaying video images taken by two or more of a plurality of cameras;
Camera selection means for enabling the user to select a first camera for photographing the moving body;
A connection relationship storage means for storing the connection relationship between the shooting areas of each camera;
When the first camera is selected via the camera selection means, the connection relation storage means is referred to, and one or more second images for photographing the photographing area connected to the photographing area of the first camera. Display photographed video determining means for displaying on the display means together with the photographed video of the first camera on the display means;
Tracking support information display control means for displaying tracking support information for supporting tracking of a user's moving body on a display means;
Camera information storage means for storing information on the arrangement position and shooting direction of each camera,
The tracking support information display control means, based on the information stored in the camera information storage means, moves the second camera when the moving body in the shooting area of the first camera moves into the shooting area of the second camera. A moving body tracking support system characterized in that a position that can appear in the captured video is displayed on the display means as tracking support information.
複数のカメラを用いて移動体の追跡を行うユーザーを支援する移動体追跡支援システムにおいて、
個々の撮影領域を有する複数のカメラにより取得された映像データを蓄積する映像蓄積手段と、
映像蓄積手段に蓄積された映像データに基づいて、複数のカメラのうち二つまたはそれ以上のカメラの撮影映像を同期しながら特殊再生して表示する表示手段と、
ユーザーにより移動体を撮影する第1のカメラを選択できるようにしたカメラ選択手段と、
各カメラの撮影領域同士の接続関係を記憶する接続関係記憶手段と、
カメラ選択手段を介して第1のカメラが選択されると、接続関係記憶手段を参照して、第1のカメラの撮影領域と接続関係にある撮影領域を撮影する一つまたはそれ以上の第2のカメラの撮影映像を、第1のカメラの撮影映像とともに表示手段に表示させる表示撮影映像決定手段と
ユーザーの移動体の追跡を支援する追跡支援情報を表示手段に表示させる追跡支援情報表示制御手段と、
各カメラの配置位置および撮影方向に関する情報を記憶するカメラ情報記憶手段とを備え、
追跡支援情報表示制御手段は、カメラ情報記憶手段に記憶された情報に基づいて、第1のカメラの撮影領域内の移動体が第2のカメラの撮影領域内に移動したときに第2のカメラの撮影映像内に出現しうる位置を、追跡支援情報として表示手段に表示させることを特徴とする移動体追跡支援システム。
In a moving body tracking support system that supports a user who tracks a moving body using a plurality of cameras,
Video storage means for storing video data acquired by a plurality of cameras having individual shooting areas;
Based on the video data stored in the video storage means, display means for specially reproducing and displaying the captured video of two or more cameras among a plurality of cameras,
Camera selection means for enabling the user to select a first camera for photographing the moving body;
A connection relationship storage means for storing the connection relationship between the shooting areas of each camera;
When the first camera is selected via the camera selection means, the connection relation storage means is referred to, and one or more second images for photographing the photographing area connected to the photographing area of the first camera. Display photographed video determining means for displaying on the display means together with the photographed video of the first camera on the display means ;
Tracking support information display control means for displaying tracking support information for supporting tracking of a user's moving body on a display means;
Camera information storage means for storing information on the arrangement position and shooting direction of each camera,
The tracking support information display control means, based on the information stored in the camera information storage means, moves the second camera when the moving body in the shooting area of the first camera moves into the shooting area of the second camera. moving object tracking support system a position that might be encountered in a photographic image, it is displayed on the display unit as the tracking assistance information, characterized in Rukoto.
表示手段が、特殊再生として早送り再生または巻き戻し再生の少なくとも一方を行うことを特徴とする請求項2に記載の移動体追跡支援システム。   The mobile body tracking support system according to claim 2, wherein the display means performs at least one of fast-forward playback and rewind playback as special playback. 複数のカメラを用いて移動体の追跡を行うユーザーを支援する移動体追跡支援システムにおいて、
個々の撮影領域を有する複数のカメラにより取得された映像データを蓄積する映像蓄積手段と、
映像蓄積手段に蓄積された映像データに基づいて、複数のカメラのうち二つまたはそれ以上のカメラの撮影映像を表示する表示手段と、
ユーザーにより映像データにしおりとして機能する頭出し信号を付せるようにしたしおり付加手段と、
ユーザーにより移動体を撮影する第1のカメラを選択できるようにしたカメラ選択手段と、
各カメラの撮影領域同士の接続関係を記憶する接続関係記憶手段と、
カメラ選択手段を介して第1のカメラが選択されると、接続関係記憶手段を参照して、第1のカメラの撮影領域と接続関係にある撮影領域を撮影する一つまたはそれ以上の第2のカメラの撮影映像を、第1のカメラの撮影映像とともに表示手段に表示させる表示撮影映像決定手段と
ユーザーの移動体の追跡を支援する追跡支援情報を表示手段に表示させる追跡支援情報表示制御手段と、
各カメラの配置位置および撮影方向に関する情報を記憶するカメラ情報記憶手段とを備え、
追跡支援情報表示制御手段は、カメラ情報記憶手段に記憶された情報に基づいて、第1のカメラの撮影領域内の移動体が第2のカメラの撮影領域内に移動したときに第2のカメラの撮影映像内に出現しうる位置を、追跡支援情報として表示手段に表示させることを特徴とする移動体追跡支援システム。
In a moving body tracking support system that supports a user who tracks a moving body using a plurality of cameras,
Video storage means for storing video data acquired by a plurality of cameras having individual shooting areas;
Display means for displaying shot images of two or more cameras out of a plurality of cameras based on the video data stored in the video storage means;
Bookmark adding means that allows a user to add a cue signal that functions as a bookmark to video data;
Camera selection means for enabling the user to select a first camera for photographing the moving body;
A connection relationship storage means for storing the connection relationship between the shooting areas of each camera;
When the first camera is selected via the camera selection means, the connection relation storage means is referred to, and one or more second images for photographing the photographing area connected to the photographing area of the first camera. Display photographed video determining means for displaying on the display means together with the photographed video of the first camera on the display means ;
Tracking support information display control means for displaying tracking support information for supporting tracking of a user's moving body on a display means;
Camera information storage means for storing information on the arrangement position and shooting direction of each camera,
The tracking support information display control means, based on the information stored in the camera information storage means, moves the second camera when the moving body in the shooting area of the first camera moves into the shooting area of the second camera. moving object tracking support system a position that might be encountered in a photographic image, it is displayed on the display unit as the tracking assistance information, characterized in Rukoto.
カメラ選択手段は、上記一つまたはそれ以上の第2のカメラの撮影映像を参照してユーザーにより第1のカメラを選択できるようにしたことを特徴とする請求項1〜4のいずれか一つに記載の移動体追跡支援システム。   5. The camera selecting means according to claim 1, wherein the user can select the first camera by referring to the captured images of the one or more second cameras. The moving body tracking support system described in 1. 第1のカメラの撮影映像をなす画像フレーム上でユーザーにより移動体を指定できるようにした移動体指定手段と、
移動体指定手段を介して指定した移動体に関する第1のカメラの撮影領域内での移動を、画像処理を用いて追跡する移動体追跡手段をさらに備えた請求項1〜のいずれか一つに記載の移動体追跡支援システム。
A moving object designating means for allowing a user to designate a moving object on an image frame forming a video image taken by the first camera;
6. The mobile object tracking means according to any one of claims 1 to 5 , further comprising a mobile object tracking means for tracking movement in the imaging area of the first camera related to the mobile object specified via the mobile object specifying means using image processing. The moving body tracking support system described in 1.
第1のカメラの選択の履歴を作成するカメラ選択履歴作成手段をさらに備えた請求項1〜のいずれか一つに記載の移動体追跡支援システム。 The moving body tracking support system according to any one of claims 1 to 6 , further comprising camera selection history creation means for creating a history of selection of the first camera.
JP2004264942A 2004-09-13 2004-09-13 Mobile tracking support system Expired - Fee Related JP4572099B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2004264942A JP4572099B2 (en) 2004-09-13 2004-09-13 Mobile tracking support system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2004264942A JP4572099B2 (en) 2004-09-13 2004-09-13 Mobile tracking support system

Publications (2)

Publication Number Publication Date
JP2006081053A JP2006081053A (en) 2006-03-23
JP4572099B2 true JP4572099B2 (en) 2010-10-27

Family

ID=36160112

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004264942A Expired - Fee Related JP4572099B2 (en) 2004-09-13 2004-09-13 Mobile tracking support system

Country Status (1)

Country Link
JP (1) JP4572099B2 (en)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4706535B2 (en) * 2006-03-30 2011-06-22 株式会社日立製作所 Moving object monitoring device using multiple cameras
JP4937016B2 (en) * 2007-07-09 2012-05-23 三菱電機株式会社 Monitoring device, monitoring method and program
JP5084542B2 (en) * 2008-02-08 2012-11-28 三菱電機株式会社 Automatic tracking imaging device, automatic tracking imaging method, and automatic tracking imaging program
JP4715909B2 (en) * 2008-12-04 2011-07-06 ソニー株式会社 Image processing apparatus and method, image processing system, and image processing program
JP6080346B2 (en) * 2011-10-03 2017-02-15 株式会社日立国際電気 Video display device
JP2013257689A (en) * 2012-06-12 2013-12-26 Tokyu Corp Cooperative security system and control center server
WO2014021005A1 (en) 2012-07-31 2014-02-06 日本電気株式会社 Image processing system, image processing method, and program
JP6347211B2 (en) * 2012-10-18 2018-06-27 日本電気株式会社 Information processing system, information processing method, and program
JP6233721B2 (en) * 2012-10-29 2017-11-22 日本電気株式会社 Information processing system, information processing method, and program
JP6233624B2 (en) * 2013-02-13 2017-11-22 日本電気株式会社 Information processing system, information processing method, and program
WO2014171258A1 (en) * 2013-04-16 2014-10-23 日本電気株式会社 Information processing system, information processing method, and program
KR101678004B1 (en) * 2015-02-24 2016-11-21 주식회사세오 node-link based camera network monitoring system and method of monitoring the same
JP6982277B2 (en) * 2018-01-12 2021-12-17 京セラドキュメントソリューションズ株式会社 Information terminal equipment, information processing system and display control program
US20220051432A1 (en) * 2019-03-29 2022-02-17 Sony Group Corporation Information processing device, information processing method, and program
CN111768433B (en) * 2020-06-30 2024-05-24 杭州海康威视数字技术股份有限公司 Method and device for realizing tracking of moving target and electronic equipment
KR102339002B1 (en) * 2020-07-30 2021-12-14 네이버랩스 주식회사 Control method and system for robot

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000032435A (en) * 1998-07-10 2000-01-28 Mega Chips Corp Monitoring system
JP2001111987A (en) * 1999-10-07 2001-04-20 Daikoku Denki Co Ltd Monitoring device
JP2002239180A (en) * 2001-02-22 2002-08-27 Sankyo Kk Game parlor monitoring device

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1139589A (en) * 1997-07-18 1999-02-12 Fuji Electric Co Ltd Traffic monitoring device and method
GB2329539B (en) * 1997-09-17 2002-05-15 Sony Uk Ltd Security System

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000032435A (en) * 1998-07-10 2000-01-28 Mega Chips Corp Monitoring system
JP2001111987A (en) * 1999-10-07 2001-04-20 Daikoku Denki Co Ltd Monitoring device
JP2002239180A (en) * 2001-02-22 2002-08-27 Sankyo Kk Game parlor monitoring device

Also Published As

Publication number Publication date
JP2006081053A (en) 2006-03-23

Similar Documents

Publication Publication Date Title
JP4572099B2 (en) Mobile tracking support system
CN108292364B (en) Tracking objects of interest in omnidirectional video
EP1204933B1 (en) A system for digitally capturing and recording panoramic images
JP4980779B2 (en) Imaging apparatus, method and program
CN100583999C (en) Apparatus and method for processing images, apparatus and method for processing reproduced images
CN105210379A (en) Display control apparatus, display control method, and program
JP2008271522A (en) Nonlinear video playback control method and program
JP2011050038A (en) Image reproducing apparatus and image sensing apparatus
KR101484844B1 (en) Apparatus and method for privacy masking tool that provides real-time video
US20160379682A1 (en) Apparatus, method and computer program
US20160381290A1 (en) Apparatus, method and computer program
CN101627623A (en) Image processing device, dynamic image reproduction device, and processing method and program in them
JP4154012B2 (en) Recording medium storing program for realizing image display method and image composition apparatus
US20050237579A1 (en) Image editing apparatus, frame searching method and frame searching apparatus for photo movie
JP5612457B2 (en) Moving image display device, moving image object search system, moving image display method and program
JP5785038B2 (en) Photography equipment
TW201504089A (en) Method for operating the playback of a video file of an event data recorder
JP4185376B2 (en) Image processing system
JP5965037B2 (en) Photography equipment
JP2000209541A (en) Moving picture reproducing device and storage medium storing moving picture reproduction program
JP4175622B2 (en) Image display system
JP5554214B2 (en) Minutes system and program
JP2013162154A (en) Photographing apparatus and photographing system
JP3426997B2 (en) Editing video shooting method and apparatus with subject information acquisition function, and storage medium storing program describing the method
JP2006140605A (en) Photographing apparatus and its method

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20061220

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20100216

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100302

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100422

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100601

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100715

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20100810

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20100816

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130820

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees