JP4786447B2 - Image recording device for monitoring - Google Patents
Image recording device for monitoring Download PDFInfo
- Publication number
- JP4786447B2 JP4786447B2 JP2006197829A JP2006197829A JP4786447B2 JP 4786447 B2 JP4786447 B2 JP 4786447B2 JP 2006197829 A JP2006197829 A JP 2006197829A JP 2006197829 A JP2006197829 A JP 2006197829A JP 4786447 B2 JP4786447 B2 JP 4786447B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- monitoring
- unit
- camera
- composite image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Closed-Circuit Television Systems (AREA)
Description
本発明は、複数のカメラで撮影された画像を記録する監視用画像記録装置に関する。 The present invention relates to a monitoring image recording apparatus that records images taken by a plurality of cameras.
従来、複数のカメラで撮影された画像からマルチ表示画像を生成するマルチ表示制御装置と、複数のカメラ夫々に対応させた異常検出用のセンサとを備え、該センサにより異常を検出した場合に、該センサからの検出信号と各カメラで撮影された画像とをマルチ表示制御装置に入力し、該マルチ表示制御装置の出力画像にセンサによる異常検出結果をアラームとして重畳させるマルチ表示監視システムが考案されている(例えば、特許文献1参照)。 Conventionally, provided with a multi-display control device that generates a multi-display image from images captured by a plurality of cameras, and a sensor for abnormality detection corresponding to each of the plurality of cameras, and when an abnormality is detected by the sensor, A multi-display monitoring system is devised that inputs a detection signal from the sensor and an image taken by each camera to a multi-display control device, and superimposes an abnormality detection result by the sensor on an output image of the multi-display control device. (For example, refer to Patent Document 1).
また、従来、自動車に搭載した複数の撮影手段(カメラ)で撮影された画像を合成し、自動車の周囲の様子を運転者に提示することによって、駐車時などの運転を支援する装置に用いられる画像合成装置が考案されている(例えば、特許文献2参照)。特許文献2で開示されている画像合成装置は、複数の撮影手段と、複数の撮影手段夫々の撮影状況を検出する撮影状況検出手段と、複数の撮影手段で撮影された複数の画像を、検出された撮影状況を反映して投影手段に投影し複数の第1の投影映像を生成する平面投影手段と、複数の第1の投影映像を3次元投影モデルに投影し第2の投影映像を生成する3次元投影モデル投影手段と、第2の投影映像を仮想的に投影する仮想投影手段と、3次元投影モデルの位置と形状とを決定する3次元投影モデル決定手段と、仮想投影手段の撮影状況を決定する仮想投影手段投影状況決定手段とを備えている。 Further, conventionally, it is used in a device that supports driving such as parking by combining images taken by a plurality of photographing means (cameras) mounted on a car and presenting the driver with the situation around the car. An image composition device has been devised (see, for example, Patent Document 2). An image composition device disclosed in Patent Document 2 detects a plurality of photographing units, a photographing state detecting unit that detects photographing states of the plurality of photographing units, and a plurality of images photographed by the plurality of photographing units. A plane projection unit that projects the projected image on the projection unit to reflect the captured shooting situation, and generates a second projection image by projecting the plurality of first projection images onto a three-dimensional projection model. 3D projection model projecting means, virtual projection means for virtually projecting the second projection image, 3D projection model determining means for determining the position and shape of the 3D projection model, and imaging by the virtual projection means Virtual projection means for determining the situation, and projection status determining means.
しかしながら、従来のマルチ表示監視システムにおいては、室内に複数のカメラを設置してその室内を監視する場合、マルチ表示できる画像の数は有限であり、全てのカメラで撮影された画像を一度にマルチ表示することは不可能である。すなわち、モニタに映し出す画像は、その内容を人間が識別できる程度の大きさが必要であり、たとえモニタを大型にしても、表示できる画像の数が増えるものの、その数は有限である。また、たとえマルチ表示可能な数で画像をマルチ表示するようにしても、何らかの異常が発生した場合に全てのカメラで撮影された画像を確認して異常の原因を特定するためには非常に多くの労力を要する。さらに多くの画像を検索することになるので、重要な映像を見逃す可能性もある。 However, in the conventional multi-display monitoring system, when a plurality of cameras are installed in a room and the room is monitored, the number of images that can be displayed in a multi display is limited, and images taken by all the cameras can be displayed at a time. It is impossible to display. In other words, the image displayed on the monitor needs to be large enough to enable human identification of the content, and even if the monitor is large, the number of images that can be displayed increases, but the number is limited. In addition, even if multiple images are displayed as many as possible, if there is any abnormality, it is very often used to check the images taken by all cameras and identify the cause of the abnormality. Requires labor. Since more images will be searched, important videos may be missed.
また、各カメラからの画像は相互に連携しておらず、例えばオペレータが、あるカメラが撮影している領域の右側を見たい場合には、該当する領域を撮影している他のカメラを選択し、そのカメラからの画像を表示させるための操作を行う必要がある。また、この作業を行うためには各カメラが撮影する領域を把握し、かつ各カメラの相対的位置関係を把握しておく必要がある。また、何らかの異常が発生した場合に、前述した作業を短時間で、かつ繰り返し実行する必要があり、そのためには高度な技術と経験が必要となる。 Also, the images from each camera are not linked to each other. For example, when the operator wants to see the right side of the area captured by a certain camera, select another camera that captures the corresponding area. However, it is necessary to perform an operation for displaying an image from the camera. In addition, in order to perform this work, it is necessary to grasp the area to be photographed by each camera and grasp the relative positional relationship between the cameras. In addition, when any abnormality occurs, it is necessary to repeatedly perform the above-described work in a short time, and for that purpose, advanced technology and experience are required.
本発明は、係る事情に鑑みてなされたものであり、室内に設置した全てのカメラで撮影された画像の全てを確実に確認することができ、しかも何らかの異常が発生した場合には異常の原因を突き止めることができる画像を容易にかつ確実に検索することができ、さらに、各カメラからの画像を相互に連携できる監視用画像記録装置を提供することを目的とする。 The present invention has been made in view of such circumstances, and can surely check all images taken by all cameras installed indoors, and if any abnormality occurs, the cause of the abnormality It is an object of the present invention to provide a monitoring image recording apparatus capable of easily and surely searching for an image capable of locating an image, and capable of mutually linking images from each camera.
上記目的は下記構成により達成される。
(1) ネットワークに接続された複数のカメラで撮影された画像を前記ネットワーク経由で取り込み記録する監視用画像記録装置において、複数の前記カメラで撮影された複数の画像を同一時刻ごとに整列するソーティング手段と、前記ソーティング手段で整列処理された同一時刻の複数の画像夫々に対して動き検出を行い、その結果から複数の前記画像を1枚の画像として合成する際の継ぎ目位置を選択し、選択した継ぎ目位置を移動させて合成画像の変化量を評価しながら画像合成する画像合成手段と、前記画像合成手段で合成された合成画像及び該合成画像の元となる複数の画像を夫々圧縮する画像圧縮手段と、前記画像圧縮手段で圧縮された合成画像と該合成画像の元となる複数の前記画像とを関連付けたデータベースを生成するデータベース生成手段と、前記データベース生成手段で生成されたデータベースを記録する記録手段と、オペレータの指示に従って前記記録手段に記録されたデータベースを検索するデータベース検索手段と、前記データベース検索手段による検索結果により前記記録手段から読み出された圧縮画像を伸張して圧縮前の元の状態に戻す画像伸張手段と、を備える。
The above object is achieved by the following configuration.
(1) Sorting for aligning a plurality of images photographed by a plurality of cameras at the same time in a monitoring image recording apparatus that captures and records images photographed by a plurality of cameras connected to the network via the network And a plurality of images at the same time subjected to alignment processing by the sorting means, and motion detection is performed, and a seam position at the time of combining the plurality of images as one image is selected and selected. An image synthesizing unit that synthesizes an image while moving the joint position and evaluating a change amount of the synthesized image, and an image that compresses the synthesized image synthesized by the image synthesizing unit and a plurality of images that are the basis of the synthesized image. A compression unit, and a database that generates a database that associates the composite image compressed by the image compression unit with the plurality of images that are the basis of the composite image. The database generation means, the recording means for recording the database generated by the database generation means, the database search means for searching the database recorded in the recording means in accordance with an operator's instruction, and the search result by the database search means Image decompression means for decompressing the compressed image read from the recording means and returning it to the original state before compression.
(2) 上記(1)に記載の監視用画像記録装置において、前記画像合成手段は、複数の前記カメラ夫々で撮影された画像から動きを検出する複数の動き検出手段と、現在の合成画像と直前に生成された合成画像との差分を検出する変化検出手段と、前記変化検出手段で検出された差分を所定の閾値と比較し、該閾値を超える場合、複数の前記動き検出手段夫々の動き検出結果からどのカメラで撮影された画像に動きが検出されたかを判定し、該判定結果から合成画像を生成する際に移動すべき画像の継ぎ目位置を決定する継ぎ目位置決定手段と、画像の継ぎ目位置を保持する継ぎ目位置保持手段と、前記継ぎ目位置保持手段に保持されている現在の継ぎ目位置を前記継ぎ目位置決定手段で決定された継ぎ目位置に移動させる継ぎ目位置移動手段とを備え、前記現在の合成画像の継ぎ目位置が前記継ぎ目位置決定手段で決定された継ぎ目位置に移動された後、継ぎ目位置移動後の合成画像と前記現在の合成画像との差分が前記閾値に収まるまで画像合成、変化検出、継ぎ目位置決定及び継ぎ目位置移動の各処理を繰り返し行い、前記現在の合成画像と前記継ぎ目位置を移動した後の合成画像との差分が前記閾値に収まると、そのときの移動した継ぎ目位置を前記継ぎ目位置保持手段に格納する。 (2) In the monitoring image recording apparatus according to (1), the image synthesizing unit includes a plurality of motion detecting units that detect a motion from images captured by the plurality of cameras, a current synthesized image, A change detection unit that detects a difference from the composite image generated immediately before, and a difference detected by the change detection unit is compared with a predetermined threshold value. A seam position determining means for determining a motion of the image captured by the camera from the detection result and determining a seam position of the image to be moved when generating the composite image from the determination result; and a seam of the image Seam position holding means for holding the position, and seam position movement for moving the current seam position held by the seam position holding means to the seam position determined by the seam position determining means And the difference between the synthesized image after movement of the joint position and the current synthesized image is the threshold value after the joint position of the current synthesized image is moved to the joint position determined by the joint position determining means. The image synthesis, change detection, joint position determination, and joint position movement processing are repeated until the difference between the current composite image and the composite image after moving the joint position falls within the threshold. The moved seam position is stored in the seam position holding means.
(3) 上記(1)又は(2)に記載の監視用画像記録装置において、複数の前記カメラは、監視を行う部屋に、それぞれの撮影範囲が相互に重複するように設置され、前記画像合成手段は、同一時刻に撮影された複数の画像を画像変換して前記部屋を上から見た合成画像を生成する。 (3) In the monitoring image recording apparatus according to (1) or (2), the plurality of cameras are installed in a room for monitoring so that respective shooting ranges overlap each other, and the image synthesis is performed. The means converts a plurality of images taken at the same time to generate a composite image in which the room is viewed from above.
(4) 上記(1)又は(2)に記載の監視用画像記録装置において、複数の前記カメラは、監視を行う建物のフロア全体に、それぞれの撮影範囲が相互に重複するように設置され、前記画像合成手段は、複数の前記カメラが撮影した画像を部屋ごと又は特定の撮影箇所ごとに画像変換を行い、前記部屋又は撮影箇所ごとに上から見た合成画像を生成する。 (4) In the monitoring image recording apparatus according to (1) or (2) above, the plurality of cameras are installed on the entire floor of the building to be monitored so that the respective shooting ranges overlap each other. The image synthesizing unit performs image conversion on images taken by the plurality of cameras for each room or each specific shooting location, and generates a synthesized image viewed from above for each room or shooting location.
(5) 上記(1)乃至(4)のいずれかに記載の監視用画像記録装置において、複数の前記カメラ夫々の位置情報を管理するフロア情報管理手段を備え、前記データベース生成手段は、前記画像圧縮手段で圧縮された合成画像と該合成画像の元となる前記複数の画像とを関連付けたデータベースを生成する際に、前記フロア情報管理手段が管理している複数の前記カメラ夫々の位置情報を活用することにより合成前の前記複数の画像夫々を呼び出すことができるようにデータベースを生成する。 (5) The monitoring image recording apparatus according to any one of (1) to (4), further including floor information management means for managing position information of each of the plurality of cameras, wherein the database generation means includes the image The position information of each of the plurality of cameras managed by the floor information management unit is generated when generating a database in which the combined image compressed by the compression unit and the plurality of images that are the basis of the combined image are generated. By utilizing this, a database is generated so that each of the plurality of images before synthesis can be called.
(6) 上記(5)に記載の監視用画像記録装置において、前記フロア情報管理手段は、前記監視対象となる部屋の出入り口や窓を含む建物フロアの構造に関する情報を管理し、前記データベース生成手段は、前記フロア情報管理手段が管理している複数の前記カメラ夫々の位置情報及び前記建物フロアの構造に関する情報を活用することにより複数の監視領域に亘って合成画像を呼び出すことができるようにデータベースを生成する。 (6) In the monitoring image recording apparatus according to (5), the floor information management unit manages information on a structure of a building floor including a doorway and a window of the room to be monitored, and the database generation unit Is a database so that a composite image can be called over a plurality of monitoring areas by utilizing the position information of each of the plurality of cameras managed by the floor information management means and the information on the structure of the building floor. Is generated.
(7) 上記(2)乃至(6)のいずれかに記載の監視用画像記録装置において、ある特定の部屋で監視を行っている際に、前記画像合成手段の複数の前記動き検出手段夫々が監視対象の予想動きベクトルを算出し、前記動き検出手段夫々が算出した前記監視対象の予想動きベクトルを基に前記監視対象の移動先を予測し、前記監視対象が室外に出ると予測した場合には、予測した移動先領域の合成画像を読み出す制御を行う制御手段を備える。 (7) In the monitoring image recording apparatus according to any one of (2) to (6), when monitoring is performed in a specific room, each of the plurality of motion detection units of the image synthesis unit is When the predicted motion vector of the monitoring target is calculated, the movement destination of the monitoring target is predicted based on the predicted motion vector of the monitoring target calculated by each of the motion detection means, and when the monitoring target is predicted to go out of the room Includes control means for performing control to read out a composite image of the predicted destination area.
(8) 上記(2)乃至(7)のいずれかに記載の監視用画像記録装置において、複数の前記カメラで撮影された画像に対して人間の頭部と顔を検出する頭部・顔検出手段を備え、前記継ぎ目位置決定手段は、前記頭部・顔検出手段が人間の顔を検出した場合に、合成画像に人間の顔が表示されるように画像合成の継ぎ目位置を決定する。 (8) In the monitoring image recording apparatus according to any one of (2) to (7) above, head / face detection for detecting a human head and face with respect to images captured by the plurality of cameras. The joint position determining means determines the joint position of the image composition so that the human face is displayed in the composite image when the head / face detection means detects a human face.
(9) セキュリティシステムにおいて、ネットワークに直接又は無線送受信機を介して接続される複数のカメラと、上記(1)乃至(8)のいずれかに記載の監視用画像記録装置と、前記監視用画像記録装置に記録された画像を表示するためのモニタと、前記監視用画像記録装置に対して動作指令を与える入力部と、を備える。 (9) In the security system, a plurality of cameras connected directly to a network or via a wireless transceiver, the monitoring image recording apparatus according to any one of (1) to (8), and the monitoring image A monitor for displaying an image recorded on the recording apparatus; and an input unit for giving an operation command to the monitoring image recording apparatus.
上記(1)に記載の監視用画像記録装置では、画像合成する複数のカメラが撮影する監視画像に対して動き検出を行い、その動き検出結果から画像合成する際の継ぎ目位置を選択し、継ぎ目位置を移動させて合成画像の変化量を評価しながら画像合成するので、複数のカメラにより撮影された画像を1枚の画像に合成することで、画像合成時に移動する監視対象が合成画像からの消失したり、不自然に表示されたりすることを防止することが可能となり、これによって、複数のカメラから得られる多くの情報を容易に把握することができる。 In the monitoring image recording apparatus described in (1) above, motion detection is performed on monitoring images taken by a plurality of cameras for image synthesis, and a seam position for image synthesis is selected from the motion detection result, and the seam is selected. Since the image is synthesized while moving the position and evaluating the amount of change in the synthesized image, the monitoring target moving from the synthesized image is moved from the synthesized image by synthesizing images taken by a plurality of cameras into one image. It is possible to prevent disappearance or unnatural display, and thus, a lot of information obtained from a plurality of cameras can be easily grasped.
また、複数のカメラが撮影する画像に含まれる情報を1枚の合成画像として見ることができるので、状況の変化を容易に把握することができる。さらに、何らかの異常が発生した場合でも1枚の合成画像の元となる複数のカメラの映像を辿って検索することができるので、検索における労力の軽減が図れる。 In addition, since information included in images taken by a plurality of cameras can be viewed as a single composite image, changes in the situation can be easily grasped. Furthermore, even if some abnormality occurs, it is possible to search by tracing a plurality of camera images that are the basis of one composite image, so that the labor required for the search can be reduced.
上記(2)に記載の監視用画像記録装置では、画像合成する際の継ぎ目位置を選択し、継ぎ目位置を移動させて合成画像の変化量を評価しながら画像合成するので、画像合成時に移動する監視対象が合成画像からの消失したり、不自然に表示されたりすることを防止することができる。 In the monitoring image recording apparatus described in (2) above, the joint position at the time of image composition is selected, and the joint position is moved to perform image composition while evaluating the amount of change in the composite image. It is possible to prevent the monitoring target from disappearing from the composite image or being displayed unnaturally.
上記(3)に記載の監視用画像記録装置では、監視を行う部屋に、それぞれの撮影範囲が相互に重複するように複数のカメラを設置し、これらのカメラによって同一時刻に撮影された複数の画像を画像変換して部屋を上から見た合成画像を生成するので、監視対象が動く様子を極めて容易に把握することができる。 In the monitoring image recording apparatus described in (3) above, a plurality of cameras are installed in a room to be monitored so that respective shooting ranges overlap with each other, and a plurality of images shot at the same time by these cameras are provided. Since the image is converted to generate a composite image in which the room is viewed from above, it is possible to very easily grasp how the monitoring target moves.
上記(4)に記載の監視用画像記録装置では、監視を行う建物のフロア全体に、それぞれの撮影範囲が相互に重複するように複数のカメラを設置し、これらのカメラが撮影した画像を部屋ごと又は特定の撮影箇所ごとに画像変換を行い、部屋や撮影箇所ごとに上から見た合成画像を生成するので、監視対象が複数の部屋に亘って移動する様子を追跡する場合に、部屋の構造を意識して監視映像を順次切り替える必要がなく、極めて容易に監視対象を追跡することができる。 In the monitoring image recording apparatus described in (4) above, a plurality of cameras are installed on the entire floor of the building to be monitored so that the respective shooting ranges overlap each other, and images taken by these cameras are stored in the room. Image conversion is performed every time or every specific shooting location, and a composite image seen from above is generated for each room or shooting location, so when tracking the movement of the monitoring target across multiple rooms, There is no need to sequentially switch the monitoring video in consideration of the structure, and the monitoring target can be traced very easily.
上記(5)に記載の監視用画像記録装置では、合成画像と該合成画像の元となる複数の画像とを関連付けたデータベースを生成する際に、複数のカメラ夫々の位置情報を活用して合成前の複数の画像夫々を呼び出すことができるようにデータベースを生成するので、何らかの異常が発生した場合に、異常の原因を突き止めることができる画像を容易にかつ確実に検索することができる。 In the monitoring image recording apparatus described in (5) above, when generating a database in which a composite image and a plurality of images that are the basis of the composite image are generated, the position information of each of the plurality of cameras is used for the synthesis. Since the database is generated so that each of the plurality of previous images can be called, when any abnormality occurs, an image that can determine the cause of the abnormality can be easily and reliably searched.
上記(6)に記載の監視用画像記録装置では、監視対象となる部屋の出入り口や窓などの建物フロアの構造に関する情報を管理し、複数の監視領域に亘って合成画像を呼び出すことができるので、何らかの異常が発生した場合に、その原因を複数の監視領域に亘って検索することができる。 In the monitoring image recording apparatus described in (6) above, it is possible to manage information related to the structure of the building floor, such as the entrance / exit of a room to be monitored and windows, and to call up a composite image over a plurality of monitoring areas. When some abnormality occurs, the cause can be searched over a plurality of monitoring areas.
上記(7)に記載の監視用画像記録装置では、画像合成手段の複数の動き検出手段夫々が監視対象の予想動きベクトルを算出し、この予想動きベクトルを基に監視対象の移動先を予測して、監視対象が室外に出る場合は、予測した移動先領域の合成画像を読み出すので、複数の監視領域に亘って移動する監視対象を極めて容易に追跡することができる。 In the monitoring image recording apparatus described in (7) above, each of the plurality of motion detecting means of the image synthesizing means calculates the predicted motion vector to be monitored, and predicts the destination of the monitoring target based on this predicted motion vector. When the monitoring target goes out of the room, the composite image of the predicted destination area is read out, so that the monitoring target moving across a plurality of monitoring areas can be traced very easily.
上記(8)に記載の監視用画像記録装置では、合成画像に人間の顔が表示されるように画像合成の継ぎ目位置を決定して顔を認識できるように画像合成を行うので、容易に人物の認識が可能となる。 In the monitoring image recording apparatus described in (8) above, since the image composition is performed so that the face can be recognized by determining the joint position of the image composition so that the human face is displayed in the composite image, the person can be easily Can be recognized.
上記(9)に記載のセキュリティシステムでは、実質上扱える監視カメラの数が無限であり、ユビキタスセンサネットワークにおけるセキュリティシステムでの監視を実現できる。 In the security system described in (9) above, the number of surveillance cameras that can be handled is practically infinite, and monitoring by the security system in the ubiquitous sensor network can be realized.
以下、本発明を実施するための好適な実施の形態について、図面を参照して詳細に説明する。 DESCRIPTION OF EXEMPLARY EMBODIMENTS Hereinafter, preferred embodiments for carrying out the invention will be described in detail with reference to the drawings.
(実施の形態1)
図1は、本発明の実施の形態1に係るセキュリティシステムの概略構成を示すブロック図である。同図において、本実施の形態のセキュリティシステムは、有線カメラ101と、無線カメラ102と、無線受信機103と、ネットワーク104と、監視用画像記録装置105と、モニタ106と、入力部107とを備えて構成される。有線カメラ101及び無線カメラ102は、通常、複数台使用される。有線カメラ101は、映像信号を電気信号に変換した後、画像圧縮を施し、圧縮画像データとしてネットワーク104に送出する。無線カメラ102は、映像信号を電気信号に変換した後、画像圧縮を施し、圧縮画像データとして無線にて送信する。無線カメラ102より送信された無線信号は無線受信機103にて受信される。
(Embodiment 1)
FIG. 1 is a block diagram showing a schematic configuration of a security system according to Embodiment 1 of the present invention. In the figure, the security system of the present embodiment includes a wired camera 101, a wireless camera 102, a wireless receiver 103, a network 104, a monitoring
無線受信機103は、無線によるデータ受信を行い、また受信したデータをネットワーク104に送出する。ネットワーク104は、本実施の形態では、有線カメラ101、無線カメラ102及び無線受信機103夫々から送信される圧縮画像データを監視用画像記録装置105に供給するための専用ネットワークであり、高速データ通信が可能な充分なネットワーク容量を有している。監視用画像記録装置105は、ネットワーク104経由で送られてくる圧縮画像データを蓄積する。また、蓄積した画像の検索及び再生が可能となっている。モニタ106は、LCD(Liquid Crystal Display)などにより構成され、監視用画像記録装置105の操作に必要な制御情報の表示や再生画の表示等を行う。入力部107は、キーボードやマウスなどにより構成され、オペレータ操作による制御情報を監視用画像記録装置105に入力する。
The wireless receiver 103 performs wireless data reception and sends the received data to the network 104. In the present embodiment, the network 104 is a dedicated network for supplying compressed image data transmitted from the wired camera 101, the wireless camera 102, and the wireless receiver 103 to the monitoring
図2は、監視用画像記録装置105の概略構成を示すブロック図である。同図において、監視用画像記録装置105は、ネットワークI/F(インタフェース)201と、ソーティング部(整列手段)202と、画像伸張部203と、画像合成部204と、フロア情報管理部205と、制御部207と、画像圧縮部209と、データベース生成部210と、データベース検索部211と、データ書込み制御部212と、ハードディスク等の記録部213と、データ読出し制御部214と、画像伸張部215と、表示制御部216とを備えて構成される。
FIG. 2 is a block diagram illustrating a schematic configuration of the monitoring
ネットワークI/F201は、ネットワーク104経由で供給される複数のカメラ(有線カメラ101、無線カメラ102)からの圧縮画像データを受信し、ソーティング部202に入力する。ソーティング部202は、ネットワークI/F201から入力された複数のカメラからの圧縮画像データを撮影時刻及びカメラごとに整列し、画像伸張部203及びデータベース生成部210に入力する。画像伸張部203は、ソーティング部202で撮影時刻及びカメラごとに整列された圧縮画像データを伸張して画像合成部204に入力する。画像合成部204は、フロア情報管理部205からの情報を基に画像伸張部203から入力された伸張画像をカメラが設置された部屋ごとに1枚の上から見たような合成画像を生成する。
The network I /
フロア情報管理部205は、監視対象となる部屋に設置されたカメラの設置情報や監視を行っている建物のフロア構造情報を画像合成部204及びデータベース生成部210に入力する。この場合、カメラの設置情報とは、監視対象となる部屋におけるカメラの位置情報(水平位置、垂直位置)やカメラの撮影方向、撮影範囲などである。また、フロア構造情報とは、各部屋の位置、部屋の出入り口(ドア等)の位置情報などである。制御入力206は、入力部107(図1参照)から入力される制御信号である。制御部207は、本装置105の各部を制御する。制御部207には、通常、マイクロコンピュータが用いられる。表示出力208は、モニタ106に向けて出力される表示信号である。
The floor
画像圧縮部209は、画像合成部204で生成された合成画像を画像圧縮すると共に、該合成画像の元となる同一時刻に撮影された複数の画像を画像圧縮する。データベース生成部210は、フロア情報管理部205からのフロア構造情報と、ソーティング部202からの圧縮画像データ(撮影時刻及びカメラごとに整列された圧縮画像データ)と、画像圧縮部209からの圧縮合成画像とを基にデータベースを生成する。データベース検索部211は、時刻情報やアラーム情報、カメラ番号、カメラの位置などをキーワードとして該当する画像を検索する。データ書込み制御部212は、記録部213に対するデータの書き込みの制御を行う。記録部213は、各種の画像データをデータベース生成部210が生成したデータベースを基に格納する。データ読出し制御部214は、データベース検索部211の検索結果を基に記録部213に対するデータの読み出し制御を行う。画像伸張部215は、データ読出し制御部214によって記録部213から読み出された圧縮画像データを伸張する。表示制御部216は、本装置105を制御するために必要な情報及び画像伸張部215が伸張した画像をモニタ216に表示できるフォーマットに変換して表示出力208として出力する。
The
次に、画像合成部204を詳細に説明する。図3は、画像合成部204の概略構成を示すブロック図である。同図において、画像合成部204は4台のカメラからの映像を合成できるものであり、4つのフレームメモリ302〜305と、4つの動き検出部306〜309と、合成処理部310と、変化検出部311と、継ぎ目位置決定部312と、継ぎ目位置移動部313と、継ぎ目位置バッファ314とを備えている。ここで、4台のカメラは、例えば有線カメラ101のみとする。勿論、無線カメラ102のみでも良いし、有線カメラ101と無線カメラ102を混在させても良いことは言うまでもない。フレームメモリ(A)302には、カメラ101−1で撮影された画像が複数フレーム分格納される。フレームメモリ(B)303には、カメラ101−2で撮影された画像が複数フレーム分格納される。フレームメモリ(C)304には、カメラ101−3で撮影された画像が複数フレーム分格納される。フレームメモリ(D)305には、カメラ101−4で撮影された画像が複数フレーム分格納される。
Next, the
動き検出部(A)306は、フレームメモリ(A)302に格納された複数フレームの画像の差分を算出することで、カメラ101−1で撮影された画像の動きを検出し、その結果を合成処理部310に入力する。動き検出部(B)307は、フレームメモリ(B)303に格納された複数フレームの画像の差分を算出することで、カメラ101−2で撮影された画像の動きを検出し、その結果を合成処理部310に入力する。動き検出部(C)308は、フレームメモリ(C)304に格納された複数フレームの画像の差分を算出することで、カメラ101−3で撮影された画像の動きを検出し、その結果を合成処理部310に入力する。動き検出部(D)309は、フレームメモリ(D)305に格納された複数フレームの画像の差分を算出することで、カメラ101−4で撮影された画像の動きを検出し、その結果を合成処理部310に入力する。
The motion detection unit (A) 306 detects the motion of the image captured by the camera 101-1, by calculating the difference between the images of the plurality of frames stored in the frame memory (A) 302, and synthesizes the result. Input to the
合成処理部310は、継ぎ目位置バッファ314に格納された継ぎ目位置に応じてフレームメモリ(A)302、フレームメモリ(B)303、フレームメモリ(C)304、フレームメモリ(D)305それぞれに格納された画像に対して画像合成処理を実施し、部屋を上から見たような1枚の合成画像を生成する。変化検出部311は、現在の合成画像と1フレーム前の合成画像との差分を領域ごとに算出し、予め設定された閾値を超えた場合に合成画像のどの領域に変化があったかを判断する。継ぎ目位置決定部312は、変化検出部311の出力から合成画像を生成する際にどの継ぎ目位置を移動すべきかを決定する。継ぎ目位置移動部313は、継ぎ目位置決定部312で決定された継ぎ目位置を移動し、その移動結果を継ぎ目位置バッファ314に入力する。継ぎ目位置バッファ314は、継ぎ目位置移動部313から入力された継ぎ目位置を保持する。画像入力301は、画像伸張部203から入力される画像データである。合成画像出力315は、合成処理部310の出力であり、画像圧縮部209に入力される。
The
次に、図4を用いてカメラ101−1〜101−4の設置例について説明する。同図において、監視部屋400は、監視の対象となる部屋である。カメラ101−1は、領域(A)405と領域(B)406を撮影し、領域(C)407と領域(D)408の左側(図面に向かって)の領域も撮影範囲となる。カメラ101−2は、領域(B)406と領域(A)405を撮影し、領域(D)408と領域(C)407の左側(図面に向かって)の領域も撮影範囲となる。カメラ101−3は、領域(C)407と領域(D)408を撮影し、領域(A)405と領域(B)406の右側(図面に向かって)の領域も撮影範囲となる。カメラ101−4は、領域(D)408と領域(C)407を撮影し、領域(B)406と領域(A)405の右側(図面に向かって)の領域も撮影範囲となる。このように、各カメラ101−1〜101−4の撮影範囲は互いにオーバーラップしており、監視対象となる室内では少なくとも2台のカメラにより撮影が行われる。 Next, an installation example of the cameras 101-1 to 101-4 will be described with reference to FIG. In the figure, a monitoring room 400 is a room to be monitored. The camera 101-1 captures the area (A) 405 and the area (B) 406, and the area on the left side of the area (C) 407 and the area (D) 408 (toward the drawing) is also an imaging range. The camera 101-2 captures the area (B) 406 and the area (A) 405, and the area on the left side (toward the drawing) of the area (D) 408 and the area (C) 407 is also an imaging range. The camera 101-3 captures the area (C) 407 and the area (D) 408, and the area on the right side (toward the drawing) of the area (A) 405 and the area (B) 406 is also an imaging range. The camera 101-4 captures the area (D) 408 and the area (C) 407, and the area on the right side (toward the drawing) of the area (B) 406 and the area (A) 405 is also an imaging range. In this way, the shooting ranges of the cameras 101-1 to 101-4 overlap each other, and shooting is performed by at least two cameras in the room to be monitored.
領域(A)405は、主にカメラ101−1とカメラ101−2により撮影される。領域(B)406は、主にカメラ101−2とカメラ101−1により撮影される。領域(C)407は、主にカメラ101−3とカメラ101−4により撮影される。領域(D)408は、主にカメラ101−4とカメラ101−3により撮影される。監視対象409は、室内への侵入者などの移動する物体であり、図4では領域(A)405と領域(B)406の境界付近に位置している。
The area (A) 405 is photographed mainly by the camera 101-1 and the camera 101-2. The area (B) 406 is mainly captured by the camera 101-2 and the camera 101-1. The area (C) 407 is photographed mainly by the camera 101-3 and the camera 101-4. The area (D) 408 is mainly captured by the camera 101-4 and the camera 101-3. The
次に、図5を用いて画像合成部204が生成する合成画像について説明する。簡単のために4つの画像を合成する箇所で説明する。同図において、合成画像500は画像合成部204で生成される。合成画像500は、画区(A)501、画区(B)502、画区(C)503、画区(D)504を基に生成され、部屋を上から見たような1枚の合成画像となる。画区(A)501は、カメラ101−2で撮影された画像を継ぎ目(AB)509と継ぎ目(AC)510を境界として切り出された画像である。この際、部屋の形状に合わせて矩形になるように座標変換も施される。画区(B)502は、カメラ101−1で撮影された画像を継ぎ目(AB)509と継ぎ目(BD)512を境界として切り出された画像である。この際、部屋の形状に合わせて矩形になるように座標変換も施される。画区(C)503は、カメラ101−4で撮影された画像を継ぎ目(AC)510と継ぎ目(CD)511を境界として切り出された画像である。この際、部屋の形状に合わせて矩形になるように座標変換も施される。画区(D)504は、カメラ101−3で撮影された画像を継ぎ目(CD)511と継ぎ目(BD)512を境界として切り出された画像である。この際、部屋の形状に合わせて矩形になるように座標変換も施される。監視対象505は、侵入者などの移動する物体であり、継ぎ目(AB)509付近に位置している。
Next, a composite image generated by the
継ぎ目(AB1)506は、継ぎ目(AB)509を求める際に継ぎ目を移動させる始点とする。継ぎ目(AB2)507は、継ぎ目(AB)509を求める際に継ぎ目を移動させる終点とする。継ぎ目移動方向508は、継ぎ目(AB)509を求める際に、継ぎ目(AB1)506から継ぎ目(AB2)507まで継ぎ目を移動する際の方向を示す。継ぎ目(AB)509は、画区(A)501と画区(B)502を繋げる際の境界を意味する。継ぎ目(AC)510は、画区(A)501と画区(C)503を繋げる際の境界を意味する。継ぎ目(CD)511は、画区(C)503と画区(D)504を繋げる際の境界を意味する。継ぎ目(BD)512は、画区(B)502と画区(D)504を繋げる際の境界を意味する。 The joint (AB1) 506 is a starting point for moving the joint when the joint (AB) 509 is obtained. The joint (AB2) 507 is an end point for moving the joint when the joint (AB) 509 is obtained. The joint movement direction 508 indicates the direction in which the joint is moved from the joint (AB1) 506 to the joint (AB2) 507 when the joint (AB) 509 is obtained. A joint (AB) 509 means a boundary when the image segment (A) 501 and the image segment (B) 502 are connected. The joint (AC) 510 means a boundary when the image segment (A) 501 and the image segment (C) 503 are connected. The joint (CD) 511 means a boundary when connecting the section (C) 503 and the section (D) 504. The joint (BD) 512 means a boundary when connecting the section (B) 502 and the section (D) 504.
次に、実施の形態1の動作について説明する。図6は、実施の形態1の動作を説明するためのフローチャートである。各カメラ101−1〜101−4で撮影された画像が圧縮画像データとして送信され、ソーティング部202で撮影時刻ごと及びカメラごとに整列される。次いで、画像伸張部203で伸張された後、画像合成部204に入力される。そして、監視部屋400に設置された各カメラ101−1〜101−4で撮影された画像に対して、各動き検出部(動き検出部(A)306、動き検出部(B)307、動き検出部(C)308、動き検出部(D)309)が動き検出処理を行う(ステップS601)。監視部屋400に設置された各カメラ101−1〜101−4で撮影された画像に対して合成処理部310が画像合成処理を行い、監視部屋400を上から見たような1枚の合成画像を生成する(ステップS602)。
Next, the operation of the first embodiment will be described. FIG. 6 is a flowchart for explaining the operation of the first embodiment. Images captured by the cameras 101-1 to 101-4 are transmitted as compressed image data, and are sorted by the
次いで、変化検出部311が、ステップS602で生成された現在の合成画像と前のフレームで生成された合成画像とを比較し、その差分(変化分)を算出する(ステップS603)。そして、算出した差分を予め設定された閾値THと比較し、該閾値THを超える場合はステップS605に遷移し、超えない場合はステップS609に遷移する(ステップS604)。ここで、合成画像に閾値THを超えるような大きな変化が検出された場合には、合成画像の継ぎ目を適切な位置に移動する必要がある。継ぎ目位置決定部312が、各カメラ101−1〜101−4で撮影された画像に対する動き検出結果からどのカメラで撮影された画像に動きが検出されたかを判定する(ステップS605)。ステップS605の処理結果から合成画像を生成する際に移動すべき画像の継ぎ目位置を決定する(ステップS606)。
Next, the
ここで、図7を用いて合成画像の継ぎ目の位置と合成される画像について説明する。2つの画像を合成し、その中間線の近辺に監視対象が存在する場合、監視対象と継ぎ目には3通りの関係が考えられる。3つの関係を合成画像(A)700、合成画像(B)706、合成画像(C)713に示す。ここで、中間線とは、画像を撮影する2台のカメラから等距離の線である。 Here, an image to be combined with the joint position of the combined image will be described with reference to FIG. When two images are combined and a monitoring target exists in the vicinity of the intermediate line, there are three possible relationships between the monitoring target and the joint. The three relationships are shown in a composite image (A) 700, a composite image (B) 706, and a composite image (C) 713. Here, the intermediate line is a line equidistant from the two cameras that take an image.
合成画像(A)700は、監視対象(A)703が画区(AA)701に表示されている場合であり、このときの継ぎ目(ABA)704は中間線(A)705よりも下側に位置する。合成画像(B)706は、継ぎ目(ABB)710が中間線(B)712の近傍に位置し、監視対象(B)709は合成画像から消失してしまい、合成画像には表示されない。この場合、継ぎ目(ABB)710を移動方向(B)711に移動させると、監視対象(B)709は合成画像(A)700のように画区(AB)707に表示されるようになる。継ぎ目(ABB)710を移動方向(B)711と反対方向に移動させると、監視対象(C)716は合成画像(C)713のように、継ぎ目(ABC)717が中間線(Cwww)719よりも上側に位置し、監視対象(C)716は合成画像(C)713のように画区(BC)715に表示されるようになる。 The composite image (A) 700 is a case where the monitoring target (A) 703 is displayed in the section (AA) 701, and the joint (ABA) 704 at this time is below the intermediate line (A) 705. To position. In the composite image (B) 706, the joint (ABB) 710 is positioned in the vicinity of the intermediate line (B) 712, and the monitoring target (B) 709 disappears from the composite image and is not displayed in the composite image. In this case, when the joint (ABB) 710 is moved in the movement direction (B) 711, the monitoring target (B) 709 is displayed on the section (AB) 707 like the composite image (A) 700. When the joint (ABB) 710 is moved in the direction opposite to the moving direction (B) 711, the monitoring target (C) 716 has the joint (ABC) 717 from the intermediate line (Cwww) 719 like the composite image (C) 713. The monitoring target (C) 716 is displayed on the section (BC) 715 like the composite image (C) 713.
図6のフローチャートに戻り、継ぎ目位置バッファ314から現在の継ぎ目位置の値を読み出す(ステップS607)。合成画像700の場合は、継ぎ目(ABA)704が中間線(A)705より下側に存在し、その位置情報が格納されている。継ぎ目位置移動部313は、継ぎ目位置バッファ314から読み出された継ぎ目位置を、ステップS606の処理結果に応じて、現在の位置から垂直方向に移動させる(ステップS608)。継ぎ目を移動させた後、ステップS602に遷移し、ステップS602からステップS608の処理を現在の合成画像と継ぎ目を移動した後の合成画像との差分が閾値に収まるまで繰り返す。合成画像と継ぎ目を移動した後の合成画像との差分が閾値THに収まると、そのときの移動した継ぎ目位置が継ぎ目位置バッファ314に格納される(ステップS609)。
Returning to the flowchart of FIG. 6, the value of the current seam position is read from the seam position buffer 314 (step S607). In the case of the composite image 700, the joint (ABA) 704 exists below the intermediate line (A) 705, and position information thereof is stored. The joint
以上のように本実施の形態によれば、画像合成する複数のカメラ101、102が撮影する監視映像に対して動き検出を行い、その動き検出結果から画像合成する際の継ぎ目位置を選択し、継ぎ目を移動させて合成画像の変化量を評価しながら画像合成することにより、複数のカメラ101、102により撮影された画像を1枚の画像に合成することで、画像合成時に移動する監視対象が合成画像からの消失したり、不自然に表示されたりすることを防止することが可能となり、これによって、オペレータは複数のカメラから得られる多くの情報を容易に把握することができる。 As described above, according to the present embodiment, motion detection is performed on the monitoring video captured by the plurality of cameras 101 and 102 that perform image synthesis, and a joint position at the time of image synthesis is selected from the motion detection result, The image to be monitored is moved at the time of image synthesis by synthesizing images taken by a plurality of cameras 101 and 102 by synthesizing images while moving the joints and evaluating the amount of change in the synthesized image. It is possible to prevent the composite image from disappearing or being unnaturally displayed, whereby the operator can easily grasp a lot of information obtained from a plurality of cameras.
また、複数のカメラ101、102が撮影する画像に含まれる情報を1枚の合成画像として見ることができるので、状況の変化を容易に把握することができる。さらに、何らかの異常が発生した場合でも1枚の合成画像の元となる複数のカメラ101、102の映像を辿って検索することができるので、検索におけるオペレータの労力の軽減が図れる。 In addition, since information included in images taken by the plurality of cameras 101 and 102 can be viewed as a single composite image, changes in the situation can be easily grasped. Furthermore, even if some kind of abnormality occurs, it is possible to search by tracing the images of the plurality of cameras 101 and 102 that are the basis of one composite image, so that the labor of the operator in the search can be reduced.
また、監視対象の部屋を上から見たような1枚の合成画像を生成するので、監視対象の動きを極めて容易に把握することができる。 In addition, since a single composite image as if the room to be monitored was viewed from above is generated, the movement of the monitoring object can be grasped extremely easily.
(実施の形態2)
次に、本発明の実施の形態2について説明する。図8は、本発明の実施の形態2に係るセキュリティシステムのカメラの設置例を示す図である。同図において、監視フロア801は、監視用画像記録装置105を用いて監視を行う対象となる建物のあるフロアを示す。監視部屋(A)802は、監視フロア801に存在する一室であり、図4と同様に4台のカメラ101−1〜101−4が設置されており、これらのカメラ101−1〜101−4で撮影された画像から、画像合成部204により部屋を上から見たような1枚の合成画像が生成される。監視部屋(B)803、監視部屋(C)804、監視部屋(D)805、監視部屋(E)806についても同様であり、それぞれ画像合成部204により1枚ずつ合成画像が生成される。共有スペース807は、監視フロア801に存在する廊下などのスペースである。
(Embodiment 2)
Next, a second embodiment of the present invention will be described. FIG. 8 is a diagram showing an installation example of the camera of the security system according to Embodiment 2 of the present invention. In the figure, a monitoring floor 801 indicates a floor having a building to be monitored using the monitoring
共有スペース807から、監視部屋(A)802、監視部屋(B)803、監視部屋(C)804、監視部屋(D)805、監視部屋(E)806へ、ドア(A)813、ドア(B)814、ドア(C)815、ドア(D)816、ドア(E)817を介して出入りが可能である。カメラ101−5は共有スペース807に設置され、共有スペース807における監視映像を撮影する。カメラ101−6、カメラ101−7、カメラ101−8、カメラ101−9、カメラ101−10についても同様である。共有スペース807に設置された各カメラ101−5〜101−10で撮影された画像から、画像合成部204により1枚の合成画像が生成される。ドア(A)814は、監視部屋(A)802に設けられた共有スペース807との出入り口である。ドア(B)815は、監視部屋(B)803に設けられた共有スペース807との出入り口である。ドア(C)816は、監視部屋(C)804に設けられた共有スペース807との出入り口である。ドア(D)817は、監視部屋(D)805に設けられた共有スペース807との出入り口である。ドア(E)818は、監視部屋(E)806に設けられた共有スペース807との出入り口である。
From the shared
次に、図9を用いて動きベクトルを用いた画像呼び出しの例について説明する。同図において、監視対象902は、室内への侵入者などの移動する物体であり、本例では1フレーム期間前には動きベクトル(MVA)904で移動し、現在は動きベクトル(MVB)905で移動している。ドア(C)816は、監視部屋(C)804と共有スペース807とを繋ぐ出入り口である。予測動きベクトル(MV)912は、次のフレームで監視対象902がどの位置に移動するかを示す予想される動きベクトルである。切り出し領域913は、予測動きベクトル(MVP)912の終点が存在する場所を監視フロア801から切り出した領域である。
Next, an example of image call using a motion vector will be described with reference to FIG. In the figure, a monitoring object 902 is a moving object such as an intruder into the room. In this example, the object to be monitored 902 moves with a motion vector (MVA) 904 one frame before, and currently has a motion vector (MVB) 905. Has moved. The door (C) 816 is an entrance that connects the monitoring room (C) 804 and the shared
次に、本実施の形態の動作について説明する。図10は、本実施の形態の動作を説明するためのフローチャートである。同図において、監視部屋(C)804に設置された各カメラ101−1〜101−4から出力される監視映像に対して、各動き検出部(動き検出部(A)306、動き検出部(B)307、動き検出部(C)308、動き検出部(D)309)が動き検出処理を行う(ステップS1001)。ステップS1001での動き検出処理で監視部屋(C)804内で動きが検出された場合はステップS1003に遷移し、検出されなかった場合はS1001に遷移する(ステップS1002)。各動き検出部306〜309は、監視部屋(C)804に存在する監視対象902の予想動きベクトルを算出する(ステップS1003)。各動き検出部306〜309は、前フレームで検出された動きベクトル(MVA)904を保持しており、現フレームで検出された動きベクトル(MVB)905との差分を基に予想動きベクトル(MVP)912を算出する。
Next, the operation of the present embodiment will be described. FIG. 10 is a flowchart for explaining the operation of the present embodiment. In the figure, with respect to the monitoring video output from each of the cameras 101-1 to 101-4 installed in the monitoring room (C) 804, each motion detector (motion detector (A) 306, motion detector (
次いで、ステップS1003で算出された予想動きベクトル(MVP)912の情報から、制御部207が監視対象902の次のフレームにおける移動先が現在の監視領域の中にあるか、外にあるかを判定する。監視領域内であった場合にはステップS1001に遷移し、領域外であった場合にはステップS1005に遷移する(ステップS1004)。予想動きベクトル(MVP)912には、ベクトルの起点の位置情報と次のフレームまでに移動する距離と方向の情報を有しており、これらの情報から監視対象902が次のフレームで現在の監視領域(監視部屋(C)804)の外に出るか出ないかを判定できる。
Next, from the information of the predicted motion vector (MVP) 912 calculated in step S1003, the
次いで、監視部屋(C)804の出入り口情報を読み出す(ステップS1005)。出入り口情報とは、監視部屋(C)804に設けられている出入り口の位置情報であり、本実施の形態ではドア(C)816の位置情報を意味する。 Next, the entrance / exit information of the monitoring room (C) 804 is read (step S1005). The entrance / exit information is the location information of the entrance / exit provided in the monitoring room (C) 804, and means the location information of the door (C) 816 in this embodiment.
次いで、監視対象902がドア(C)816を通って監視部屋(C)804を出たかどうかを判断する。監視部屋(C)804から出た場合にはステップS1007に遷移し、出なかった場合にはステップS1001に遷移する(ステップS1006)。ステップS1003で算出された監視対象902の予想動きベクトル(MVP)912が持つ次のフレームまでに予想される移動先が、監視部屋(C)804に設けられたドア(C)816を経由する場合に、監視対象902は監視部屋(C)804を出たと判定できる。また、監視対象902の予想動きベクトル(MVP)912に予想される移動先がドア(C)816を経由しない場合は、監視対象902は監視部屋(C)804から外に出ないことが判定できる。監視対象902が監視部屋(C)804を出た場合にはモニタ106にアラームを表示し、その旨をオペレータに通知する(ステップS1007)。 Next, it is determined whether the monitoring object 902 has exited the monitoring room (C) 804 through the door (C) 816. If the user leaves the monitoring room (C) 804, the process proceeds to step S1007, and if not, the process proceeds to step S1001 (step S1006). When the movement destination predicted by the next frame of the predicted motion vector (MVP) 912 of the monitoring target 902 calculated in step S1003 passes through the door (C) 816 provided in the monitoring room (C) 804 In addition, it can be determined that the monitoring target 902 has left the monitoring room (C) 804. Further, when the movement destination predicted by the predicted motion vector (MVP) 912 of the monitoring target 902 does not pass through the door (C) 816, it can be determined that the monitoring target 902 does not leave the monitoring room (C) 804. . When the monitoring object 902 leaves the monitoring room (C) 804, an alarm is displayed on the monitor 106 and the operator is notified of this (step S1007).
次いで、監視対象902の移動先に監視領域を変更する(ステップS1008)。ドア(C)816は共有スペース807に繋がっており、監視対象902はドア(C)816を経由して共有スペース807に移動したことが分かる。また、共有スペース807におけるドア(C)816の位置から次の監視領域は、ドア(C)816の周辺を撮影しているカメラ101−8、カメラ101−9、カメラ101−10が撮影している切り出し領域913が望ましいと判定できる。
Next, the monitoring area is changed to the movement destination of the monitoring target 902 (step S1008). The door (C) 816 is connected to the shared
次の監視領域の圧縮合成画像を記録部213から読み出す(ステップS1009)。すなわち、次の監視領域となる切り出し領域913の圧縮合成画像を記録部213から読み出す。ステップS1009で読み出した次の監視領域の圧縮合成画像を伸張し、モニタ106に表示する(ステップS1010)。
The compressed composite image of the next monitoring area is read from the recording unit 213 (step S1009). That is, the compressed composite image of the cutout area 913 that becomes the next monitoring area is read from the
以上のように本実施の形態によれば、監視を行う建物のフロア全体に、それぞれの撮影範囲が相互に重複するように複数のカメラ101を設置し、これらのカメラ101が撮影した画像を部屋ごと又は特定の撮影箇所ごとに画像変換を行い、部屋や撮影箇所ごとに上から見た合成画像を生成し、また、予想動きベクトルを算出して監視対象の移動先を予測し、出入り口の位置情報とカメラ101の設置情報を用いて監視対象の移動先の合成画像を予測して表示するので、監視対象が複数の部屋に亘って移動する様子を追跡する場合に、部屋の構造を意識して監視映像を順次切り替える必要がなく、極めて容易に監視対象を追跡することができる。 As described above, according to the present embodiment, a plurality of cameras 101 are installed on the entire floor of a building to be monitored so that respective shooting ranges overlap each other, and images taken by these cameras 101 are displayed in a room. Every time or every specific shooting location, generate a composite image seen from above for each room or shooting location, calculate the predicted motion vector to predict the destination to be monitored, Information and the installation information of the camera 101 are used to predict and display a composite image of the movement destination of the monitoring target. Therefore, when tracking the movement of the monitoring target across a plurality of rooms, be aware of the structure of the room. Therefore, it is not necessary to switch the monitoring video sequentially, and the monitoring target can be traced very easily.
(実施の形態3)
次に、本発明の実施の形態3について説明する。図11は、本発明の実施の形態3に係るセキュリティシステムにおける合成画像から各カメラが撮影した画像の呼び出し処理を説明するための図である。合成画像1101は、カメラ101−1、カメラ101−2、カメラ101−3、カメラ101−4から出力される監視映像を画像合成部204により生成された部屋を上から見たような1枚の合成画像である。画区(A)1102は、カメラ101−2で撮影された監視画像が反映されている部分、画区(B)1103は、カメラ101−1で撮影された監視画像が反映されている部分、画区(C)1104は、カメラ101−4で撮影された監視画像が反映されている部分、画区(D)1105は、カメラ101−3で撮影された監視画像が反映されている部分である。
(Embodiment 3)
Next, a third embodiment of the present invention will be described. FIG. 11 is a diagram for explaining the calling process of images taken by each camera from the composite image in the security system according to Embodiment 3 of the present invention. The composite image 1101 is a piece of surveillance video output from the camera 101-1, the camera 101-2, the camera 101-3, and the camera 101-4 as seen from above the room generated by the
カメラ101−2で撮影された監視映像1106は、合成画像1101の画区(A)1102に相当する画像であり、画区(A)1102よりも詳細な情報が含まれている。カメラ101−1で撮影された監視映像1107は、合成画像1101の画区(B)1103に相当する画像であり、画区(B)1103よりも詳細な情報が含まれている。カメラ101−4で撮影された監視映像1108は、合成画像1101の画区(C)1104に相当する画像であり、画区(C)1104よりも詳細な情報が含まれている。カメラ101−3で撮影された監視映像1109は、合成画像1101の画区(D)1105に相当する画像であり、画区(D)1105よりも詳細な情報が含まれている。
The
カメラ101−2で撮影された監視映像1106の位置情報1110は、カメラ101−1の撮影範囲に関する情報を有する。カメラ101−1で撮影された監視映像1107の位置情報1111は、カメラ101−2の撮影範囲に関する情報を有する。カメラ101−4で撮影された監視映像1108の位置情報1112は、カメラ101−3の撮影範囲に関する情報を有する。カメラ101−3で撮影された監視映像1109の位置情報1113は、カメラ101−4の撮影範囲に関する情報を有する。これらの位置情報1110、1111、1112、1113はフロア情報管理部205に格納される。
The position information 1110 of the
次に、本実施の形態の動作について説明する。図12は、本実施の形態の動作を説明するためのフローチャートである。同図において、制御部207は、記録部213に格納された圧縮合成画像を読み出し、画像伸張部215で伸張を行い、表示制御部216はモニタ106に表示している合成画像を更新する(ステップS1201)。合成画像の更新は一定の時間間隔で行われる。オペレータが入力部107を操作し、モニタ106に表示された特定の領域を詳細表示するための指示を入力したかどうかを判断する(ステップS1202)。詳細表示するための指示があった場合はステップS1203へ遷移し、指示がなかった場合はステップS1201へ遷移する。
Next, the operation of the present embodiment will be described. FIG. 12 is a flowchart for explaining the operation of the present embodiment. In the figure, the
制御部207は、オペレータが詳細表示を指示した領域がモニタ106に表示されている合成画像1101のどの画区に相当するかを認識する(ステップS1203)。ステップS1203の処理結果から得られた画区からその画区を撮影しているカメラ101を特定する(ステップS1204)。合成画像1101の場合、画区(A)1102はカメラ101−2で撮影された監視画像1106を基に画像合成されており、画区(B)1103はカメラ101−1で撮影された監視画像1107を基に画像合成されており、画区(C)1104はカメラ101−4で撮影された監視画像1108を基に画像合成されており、画区(D)1105はカメラ101−3で撮影された監視画像1109を基に画像合成されている。これらの情報はフロア情報管理部205に格納されている。カメラ101−1で撮影された監視画像1107にはカメラ101−1の位置情報1111、カメラ101−2で撮影された監視画像1106にはカメラ101−2の位置情報1110、カメラ101−3で撮影された監視画像1109にはカメラ101−3の位置情報1113、カメラ101−4で撮影された監視画像1108にはカメラ101−4の位置情報1112が対応する。
The
制御部207は、現在、モニタ106に表示している合成画像の撮影時刻を基に、次にモニタ106に表示するステップS1204で決定したカメラ101の画像の撮影時刻を決定する(ステップS1205)。通常は、現在、モニタ106に表示されている合成画像の撮影時刻の1フレーム後に該当するカメラ101で撮影された監視映像をモニタ106に表示すべきである。制御部207は、ステップS1204で決定したカメラ101、ステップS1205で決定した撮影時刻を基にデータベース検索部211に制御信号を入力する。データベース検索部211は、該当する圧縮画像データを記録部213の中から検索し、読み出す(ステップS1206)。ステップS1206の処理により読み出された圧縮画像は画像伸張部215で伸張される(ステップS1207)。ステップS1207で伸張された画像が表示制御部216に入力される。表示制御部216はモニタ106に該当するカメラで撮影された監視映像を表示する(ステップS1208)。
The
以上のように本実施の形態によれば、複数のカメラ101からの監視映像を1枚の合成画像を見ることにより多くの情報を容易に把握し、さらに詳細が監視映像を見たい場合にも容易に該当する監視映像を見ることが可能となり、監視のための労力を大幅に軽減することができる。 As described above, according to the present embodiment, monitoring information from a plurality of cameras 101 can be easily grasped by viewing a single composite image, and more detailed information can be viewed. The corresponding monitoring video can be easily viewed, and the labor for monitoring can be greatly reduced.
(実施の形態4)
次に、本発明の実施の形態4について説明する。図13は、本発明の実施の形態4に係るセキュリティシステムの画像合成部の概略構成を示すブロック図である。本実施の形態のセキュリティシステムの画像合成部204Aは、頭部・顔を検出する機能を有している。画像入力1301は、画像伸張部203の出力である。フレームメモリ(A)1302は、カメラ101−1からの画像を複数フレーム分格納する。フレームメモリ(B)1303は、カメラ101−2からの画像を複数フレーム分格納する。フレームメモリ(C)1304は、カメラ101−3からの画像を複数フレーム分格納する。フレームメモリ(D)1305は、カメラ101−4からの画像を複数フレーム分格納する。
(Embodiment 4)
Next, a fourth embodiment of the present invention will be described. FIG. 13 is a block diagram showing a schematic configuration of the image composition unit of the security system according to Embodiment 4 of the present invention. The image composition unit 204A of the security system according to the present embodiment has a function of detecting the head / face. An
動き検出部(A)1306は、フレームメモリ(A)1302に格納された複数フレームの画像の差分を算出し、カメラ101−1で撮影された画像の動き情報を合成処理部1314に入力する。頭部・顔検出部(A)1307は、フレームメモリ(A)1302に格納された画像より人間の頭部の検出を行い、その結果を継ぎ目位置決定部1316に入力する。さらに、頭部と判定された領域に対して顔検出を行い、その結果を継ぎ目位置決定部1316に入力する。動き検出部(B)1308は、フレームメモリ(B)1303に格納された複数フレームの画像の差分を算出し、カメラ101−2で撮影された画像の動き情報を合成処理部1314に入力する。頭部・顔検出部(B)1309は、フレームメモリ(B)1303に格納された画像より人間の頭部の検出を行い、その結果を継ぎ目位置決定部1316に入力する。さらに、頭部と判定された領域に対して顔検出を行い、その結果を継ぎ目位置決定部1316に入力する。
The motion detection unit (A) 1306 calculates the difference between the images of a plurality of frames stored in the frame memory (A) 1302 and inputs the motion information of the image captured by the camera 101-1 to the
動き検出部(C)1310は、フレームメモリ(C)1304に格納された複数フレームの画像の差分を算出し、カメラ101−3で撮影された画像の動き情報を合成処理部1314に入力する。頭部・顔検出部(C)1311は、フレームメモリ(C)1304に格納された画像より人間の頭部の検出を行い、その結果を継ぎ目位置決定部1316に入力する。さらに、頭部と判定された領域に対して顔検出を行い、その結果を継ぎ目位置決定部1316に入力する。動き検出部(D)1312は、フレームメモリ(D)1305に格納された複数フレームの画像の差分を算出し、カメラ101−4で撮影された画像の動き情報を合成処理部1314に入力する。頭部・顔検出部(D)1313は、フレームメモリ(D)1305に格納された画像より人間の頭部の検出を行い、その結果を継ぎ目位置決定部1316に入力する。さらに、頭部と判定された領域に対して顔検出を行い、その結果を継ぎ目位置決定部1316に入力する。
The motion detection unit (C) 1310 calculates the difference between the images of a plurality of frames stored in the frame memory (C) 1304, and inputs the motion information of the image captured by the camera 101-3 to the
合成処理部1314は、継ぎ目位置バッファ1318に格納された継ぎ目位置に応じてフレームメモリ(A)1302、フレームメモリ(B)1303、フレームメモリ(C)1304、フレームメモリ(D)1305夫々に格納された画像に対して画像合成処理を実施し、合成画像出力1319として出力する。変化検出部1315は、現在の合成画像と1フレーム前の差分を領域ごとに算出し、予め設定された閾値を超えた場合に合成画像のどの領域に変化があったかを判断する。
The
継ぎ目位置決定部1316は、変化検出部1315の出力結果と頭部・顔検出部(A)1307、頭部・顔検出部(B)1309、頭部・顔検出部(C)1311、頭部・顔検出部(D)1313それぞれの出力から画像合成を行う際の継ぎ目を決定する。継ぎ目位置移動部1317は、継ぎ目位置決定部1316の出力に応じて合成画像の継ぎ目位置を移動し、その移動結果を継ぎ目位置バッファ1318に出力する。継ぎ目位置バッファ1318は、継ぎ目位置移動部1317の出力する継ぎ目位置を保持する。合成画像出力1319は、合成処理部1314の出力である。
The joint
図14を用いて画像合成部204Aにおける画像合成処理について説明する。本実施の形態では、簡単のために2つの画像を合成する箇所で説明する。合成画像(A)1400は、監視部屋400においてカメラ101−1で撮影した画像とカメラ(B)101−2で撮影した画像を、継ぎ目(ABA)1404を境界に画像合成した合成画像である。画区(AA)1401は、カメラ101−2で撮影された画像の領域である。画区(BA)1402は、カメラ101−1で撮影された画像の領域である。監視対象(A)1403は、中間線(A)1405付近に存在し、顔は正面を向いた画像が表示されている。継ぎ目(ABA)1404は、カメラ101−1とカメラ101−2で撮影された画像を1枚の画像に合成する際の継ぎ目である。なお、中間線とは、画像を撮影する2台のカメラから等距離の線である。 The image composition processing in the image composition unit 204A will be described with reference to FIG. In the present embodiment, for the sake of simplicity, a description will be given at a place where two images are combined. A composite image (A) 1400 is a composite image obtained by combining an image captured by the camera 101-1 and an image captured by the camera (B) 101-2 in the monitoring room 400 with a joint (ABA) 1404 as a boundary. An image area (AA) 1401 is an area of an image captured by the camera 101-2. An image area (BA) 1402 is an area of an image captured by the camera 101-1. The monitoring target (A) 1403 is present near the intermediate line (A) 1405, and an image with the face facing the front is displayed. A seam (ABA) 1404 is a seam when the images photographed by the camera 101-1 and the camera 101-2 are combined into one image. The intermediate line is a line that is equidistant from two cameras that capture an image.
合成画像(B)1406は、監視部屋400においてカメラ101−1で撮影した画像とカメラ101−2で撮影した画像を、継ぎ目(ABB)1410を境界に画像合成した合成画像である。画区(AB)1407は、カメラ101−1で撮影された画像の領域である。画区(BB)1408は、カメラ101−1で撮影された画像の領域である。監視対象(B)1409は、中間線(B)1411付近に存在し、背面を向いた画像が表示されている。継ぎ目(ABB)1410は、カメラ101−1とカメラ101−2で撮影された画像を1枚の画像に合成する際の継ぎ目である。 The composite image (B) 1406 is a composite image obtained by combining the image captured by the camera 101-1 and the image captured by the camera 101-2 in the monitoring room 400 with the joint (ABB) 1410 as a boundary. An image area (AB) 1407 is an area of an image captured by the camera 101-1. An image area (BB) 1408 is an area of an image captured by the camera 101-1. The monitoring target (B) 1409 exists near the intermediate line (B) 1411 and an image facing the back is displayed. A seam (ABB) 1410 is a seam when the images photographed by the camera 101-1 and the camera 101-2 are combined into one image.
次に、本実施の形態の動作について説明する。図15は、本実施の形態の動作を説明するためのフローチャートである。同図において、監視用画像記録装置105は、監視部屋400に設置された4台のカメラ(カメラ101−1、カメラ101−2、カメラ101−3、カメラ101−4)がネットワークI/F201を介して接続される。各カメラ101−1〜101−4で撮影された画像が圧縮画像データとして送信され、ソーティング部202で時刻ごと及びカメラごとに整列される。次いで画像伸張部203で伸張され、画像合成部204に入力される。
Next, the operation of the present embodiment will be described. FIG. 15 is a flowchart for explaining the operation of the present embodiment. In the figure, the monitoring
監視部屋400に設置された各カメラ(カメラ101−1、カメラ101−2、カメラ101−3、カメラ101−4)から出力される監視映像に対して、各動き検出部(動き検出部(A)1306、動き検出部(B)1308、動き検出部(C)1310、動き検出部(D)1312)が動き検出処理を行う(ステップS1501)。監視部屋400に設置された各カメラ(カメラ101−1、カメラ101−2、カメラ101−3、カメラ101−4)から出力される監視映像に対して、各頭部・顔検出部(頭部・顔検出部(A)1307、頭部・顔検出部(B)1309、頭部・顔検出部(C)1311、頭部・顔検出部(D)1312)が頭部・顔検出部を行う(ステップS1502)。ここで、頭部検出は、監視映像に対して、人間の頭部の形状をした物体があるかを検出する画像認識処理の一種である。また、顔検出処理は頭部検出処理により検出された領域に対して、人間の顔があるかを検出する画像認識処理の一種である。 For the monitoring video output from each camera (camera 101-1, camera 101-2, camera 101-3, camera 101-4) installed in the monitoring room 400, each motion detector (motion detector (A ) 1306, the motion detection unit (B) 1308, the motion detection unit (C) 1310, and the motion detection unit (D) 1312) perform motion detection processing (step S1501). Each head / face detection unit (head) is output to the monitoring video output from each camera (camera 101-1, camera 101-2, camera 101-3, camera 101-4) installed in the monitoring room 400. The face detection unit (A) 1307, the head / face detection unit (B) 1309, the head / face detection unit (C) 1311, and the head / face detection unit (D) 1312) serve as the head / face detection unit. This is performed (step S1502). Here, head detection is a type of image recognition processing that detects whether there is an object having the shape of a human head with respect to a monitoring video. The face detection process is a kind of image recognition process for detecting whether a human face is present in the area detected by the head detection process.
次に、監視部屋400に設置された各カメラ(カメラ101−1、カメラ101−2、カメラ101−3、カメラ101−4)から入力される監視映像に対して画像合成処理を行い、監視部屋400を上から見たような1枚の合成画像を生成する(ステップS1503)。次いで、ステップS1503で生成された現在の合成画像と前のフレームで生成された合成画像とを比較し、その差分を算出する(ステップS1504)。ステップS1504で算出された合成画像の変化検出処理の結果に対して、予め設定された閾値THと比較し、閾値THを超えた場合はステップS1506に遷移し、超えない場合はステップS1511に遷移し、継ぎ目位置を保存する(ステップS1505)。合成画像に閾値THを超えるような大きな変化が発生した場合には、合成画像の継ぎ目を適切な位置に移動する必要がある。 Next, image composition processing is performed on the monitoring video input from each camera (camera 101-1, camera 101-2, camera 101-3, camera 101-4) installed in the monitoring room 400, and the monitoring room One composite image as seen from above 400 is generated (step S1503). Next, the current composite image generated in step S1503 is compared with the composite image generated in the previous frame, and the difference is calculated (step S1504). The result of the composite image change detection process calculated in step S1504 is compared with a preset threshold value TH. If the threshold value TH is exceeded, the process proceeds to step S1506, and if not, the process proceeds to step S1511. The seam position is stored (step S1505). When a large change that exceeds the threshold TH occurs in the composite image, it is necessary to move the joint of the composite image to an appropriate position.
ステップS1501で検出された各カメラ(カメラ101−1、カメラ101−2、カメラ101−3、カメラ101−4)で撮影された監視映像に対する動き検出結果からどのカメラからの監視映像に動きが検出されたかを判定する(ステップS1506)。ステップS1502で検出された各カメラ(カメラ101−1、カメラ101−2、カメラ101−3、カメラ101−4)で撮影された監視映像に対する頭部検出及び顔検出の結果からどのカメラからの監視映像に頭部、及び顔が検出されたかを判定する(ステップS1507)。 A motion is detected in the monitoring video from which camera from the motion detection result for the monitoring video shot by each camera (camera 101-1, camera 101-2, camera 101-3, camera 101-4) detected in step S1501. It is determined whether it has been done (step S1506). Monitoring from which camera based on the results of head detection and face detection for the monitoring video imaged by each camera (camera 101-1, camera 101-2, camera 101-3, camera 101-4) detected in step S1502. It is determined whether a head and a face are detected in the video (step S1507).
ステップS1506の処理結果及びステップS1507での処理結果から合成画像を生成する際に移動すべき画像の継ぎ目位置を決定する(ステップS1508)。合成画像(A)1400の場合について説明する。動きが検出された領域が画区(AA)1401にある場合、移動すべき継ぎ目は継ぎ目(ABA)1404である。また、頭部、及び顔が検出された領域が画区(AA)1401にある場合は、監視対象(A)1403の正面が表示されており、現在の継ぎ目位置(ABA)1404は正しい位置にあると判断できる。 The joint position of the image to be moved when generating the composite image is determined from the processing result in step S1506 and the processing result in step S1507 (step S1508). The case of the composite image (A) 1400 will be described. When the area where the motion is detected is in the area (AA) 1401, the joint to be moved is the joint (ABA) 1404. When the area where the head and face are detected is in the area (AA) 1401, the front of the monitoring target (A) 1403 is displayed, and the current seam position (ABA) 1404 is in the correct position. It can be judged that there is.
次いで、合成画像(B)1406の場合について説明する。動きが検出された領域が画区(BB)1408にある場合、移動すべき継ぎ目は継ぎ目(ABB)1410である。ここで、頭部が検出された領域が画区(BB)1408にあり、顔が検出されない場合は、監視対象(B)1409の背面が表示されていることが分かり、現在継ぎ目位置(ABB)1410を移動する必要があると判断できる。このとき、現在の継ぎ目(ABB)1410を移動する方向は移動方向1412である。継ぎ目(ABB)1410を継ぎ目移動方向1412に移動することにより、監視対象(B)1409の正面が合成されるように継ぎ目(ABB)1410を移動させる。
Next, the case of the composite image (B) 1406 will be described. When the area where the motion is detected is in the block (BB) 1408, the seam to be moved is the seam (ABB) 1410. Here, if the area where the head is detected is in the block (BB) 1408 and no face is detected, it can be seen that the back of the monitoring target (B) 1409 is displayed, and the current seam position (ABB) It can be determined that 1410 needs to be moved. At this time, the direction in which the current seam (ABB) 1410 is moved is the moving
次いで、継ぎ目位置バッファ1318から現在の継ぎ目位置の値を読み出す(ステップS1509)。合成画像(B)1406の場合は、画区(AB)1407と画区(BB)1408の間における継ぎ目(ABB)1410の位置情報が格納されている。継ぎ目位置移動部1317は、継ぎ目位置バッファ1318から読み出した継ぎ目位置を、ステップS1508の処理結果に応じて、現在の位置から継ぎ目と垂直方向に移動させる(ステップS1510)。継ぎ目を移動後、ステップS1503に遷移し、ステップS1503からステップS1510の処理を現在の合成画像と継ぎ目を移動した後の合成画像の差分が閾値THに収まるまで繰り返す。合成画像と継ぎ目を移動した後の合成画像の差分が閾値THに収まった場合、移動した継ぎ目位置を継ぎ目位置バッファ1318に格納する(ステップS1511)。
Next, the current joint position value is read from the joint position buffer 1318 (step S1509). In the case of the composite image (B) 1406, position information of the joint (ABB) 1410 between the image segment (AB) 1407 and the image segment (BB) 1408 is stored. The joint
以上のように本実施の形態によれば、顔・頭部検出処理の結果を利用して、画像合成処理の際の継ぎ目の移動方向を制御することにより、常に監視対象の顔を合成画像内に表示させることが可能となり、異常が発生した際に監視対象を特定するための労力を大幅に軽減することが可能となる。 As described above, according to the present embodiment, the face to be monitored is always included in the synthesized image by controlling the moving direction of the seam during the image synthesizing process using the result of the face / head detection process. It is possible to display the information on the screen, and it is possible to greatly reduce the labor for specifying the monitoring target when an abnormality occurs.
本発明は、室内に設置した全てのカメラで撮影された画像の全てを確実に確認することができ、しかも何らかの異常が発生した場合には異常の原因を突き止めることができる画像を容易にかつ確実に検索することができ、さらに、各カメラからの画像を相互に連携できるといった効果を有し、セキュリティシステムなどへの適用が可能である。 The present invention can surely check all images taken by all cameras installed indoors, and can easily and reliably find an image that can determine the cause of an abnormality when any abnormality occurs. And can be applied to a security system and the like.
101 有線カメラ
102 無線カメラ
103 無線受信機
104 ネットワーク
105 監視用画像記録装置
106 モニタ
107 入力部
201 ネットワークI/F
202 ソーティング部
203 画像伸張部
204 画像合成部
205 フロア情報管理部
207 制御部
209 画像圧縮部
210 データベース生成部
211 データベース検索部
212 データ書込み制御部
213 記録部
214 データ読出し制御部
215 画像伸張部
216 表示制御部
302 フレームメモリ(A)
303 フレームメモリ(B)
304 フレームメモリ(C)
305 フレームメモリ(D)
306 動き検出部(A)
307 動き検出部(B)
308 動き検出部(C)
309 動き検出部(D)
310 合成処理部
311 変化検出部
312 継ぎ目位置決定部
313 継ぎ目位置移動部
314 継ぎ目位置バッファ
400 監視部屋
801 監視フロア
802 監視部屋(A)
803 監視部屋(B)
804 監視部屋(C)
805 監視部屋(D)
806 監視部屋(E)
807 共有スペース
814 ドア(A)
815 ドア(B)
816 ドア(C)
817 ドア(D)
818 ドア(E)
1302 フレームメモリ(A)
1303 フレームメモリ(B)
1304 フレームメモリ(C)
1305 フレームメモリ(D)
1306 動き検出部(A)
1307 頭部・顔検出部(A)
1308 動き検出部(B)
1309 頭部・顔検出部(B)
1310 動き検出部(C)
1311 頭部・顔検出部(C)
1312 動き検出部(D)
1313 頭部・顔検出部(D)
1314 合成処理部
1315 変化検出部
1316 継ぎ目位置決定部
1317 継ぎ目位置移動部
1318 継ぎ目位置バッファ
DESCRIPTION OF SYMBOLS 101 Wired camera 102 Wireless camera 103 Wireless receiver 104
202
303 Frame memory (B)
304 Frame memory (C)
305 Frame memory (D)
306 Motion detection unit (A)
307 Motion detection unit (B)
308 Motion detection unit (C)
309 Motion detection unit (D)
310 Combining
803 Monitoring room (B)
804 Monitoring room (C)
805 Monitoring room (D)
806 Monitoring room (E)
815 Door (B)
816 Door (C)
817 Door (D)
818 Door (E)
1302 Frame memory (A)
1303 Frame memory (B)
1304 Frame memory (C)
1305 Frame memory (D)
1306 Motion Detection Unit (A)
1307 Head / Face Detection Unit (A)
1308 Motion Detection Unit (B)
1309 Head / Face Detection Unit (B)
1310 Motion Detection Unit (C)
1311 Head / Face Detection Unit (C)
1312 Motion Detection Unit (D)
1313 Head / Face Detection Unit (D)
1314
Claims (9)
複数の前記カメラで撮影された複数の画像を同一時刻ごとに整列するソーティング手段と、
前記ソーティング手段で整列処理された同一時刻の複数の画像夫々に対して動き検出を行い、その結果から複数の前記画像を1枚の画像として合成する際の継ぎ目位置を選択し、選択した継ぎ目位置を移動させて合成画像の変化量を評価しながら画像合成する画像合成手段と、
前記画像合成手段で合成された合成画像及び該合成画像の元となる複数の画像を夫々圧縮する画像圧縮手段と、
前記画像圧縮手段で圧縮された合成画像と該合成画像の元となる複数の前記画像とを関連付けたデータベースを生成するデータベース生成手段と、
前記データベース生成手段で生成されたデータベースを記録する記録手段と、
オペレータの指示に従って前記記録手段に記録されたデータベースを検索するデータベース検索手段と、
前記データベース検索手段による検索結果により前記記録手段から読み出された圧縮画像を伸張して圧縮前の元の状態に戻す画像伸張手段と、
を備える監視用画像記録装置。 In the monitoring image recording apparatus for capturing and recording images taken by a plurality of cameras connected to a network via the network,
Sorting means for aligning a plurality of images taken by a plurality of the cameras at the same time;
Motion detection is performed on each of a plurality of images at the same time that have been aligned by the sorting means, and a seam position for combining the plurality of images as one image is selected from the result, and the selected seam position is selected. Image synthesizing means for synthesizing images while evaluating the amount of change in the synthesized image by moving
Image compression means for compressing the composite image synthesized by the image synthesis means and a plurality of images that are the basis of the composite image;
Database generating means for generating a database associating the composite image compressed by the image compressing means with a plurality of the images that are the basis of the composite image;
Recording means for recording the database generated by the database generating means;
Database search means for searching a database recorded in the recording means according to an operator's instruction;
Image decompression means for decompressing the compressed image read from the recording means according to the search result by the database retrieval means and returning it to the original state before compression;
A monitoring image recording apparatus comprising:
複数の前記カメラ夫々で撮影された画像から動きを検出する複数の動き検出手段と、
現在の合成画像と直前に生成された合成画像との差分を検出する変化検出手段と、
前記変化検出手段で検出された差分を所定の閾値と比較し、該閾値を超える場合、複数の前記動き検出手段夫々の動き検出結果からどのカメラで撮影された画像に動きが検出されたかを判定し、該判定結果から合成画像を生成する際に移動すべき画像の継ぎ目位置を決定する継ぎ目位置決定手段と、
画像の継ぎ目位置を保持する継ぎ目位置保持手段と、
前記継ぎ目位置保持手段に保持されている現在の継ぎ目位置を前記継ぎ目位置決定手段で決定された継ぎ目位置に移動させる継ぎ目位置移動手段とを備え、
前記現在の合成画像の継ぎ目位置が前記継ぎ目位置決定手段で決定された継ぎ目位置に移動された後、継ぎ目位置移動後の合成画像と前記現在の合成画像との差分が前記閾値に収まるまで画像合成、変化検出、継ぎ目位置決定及び継ぎ目位置移動の各処理を繰り返し行い、前記現在の合成画像と前記継ぎ目位置を移動した後の合成画像との差分が前記閾値に収まると、そのときの移動した継ぎ目位置を前記継ぎ目位置保持手段に格納する請求項1に記載の監視用画像記録装置。 The image composition means includes
A plurality of motion detection means for detecting motion from images captured by each of the plurality of cameras;
Change detection means for detecting a difference between the current composite image and the composite image generated immediately before;
The difference detected by the change detection means is compared with a predetermined threshold value, and when the threshold value is exceeded, it is determined from which motion detection result of each of the plurality of motion detection means which image is captured by which camera. A seam position determining means for determining a seam position of an image to be moved when generating a composite image from the determination result;
Seam position holding means for holding the seam position of the image;
Seam position moving means for moving the current seam position held by the seam position holding means to the seam position determined by the seam position determining means,
After the joint position of the current composite image is moved to the joint position determined by the joint position determining means, image synthesis is performed until the difference between the composite image after the joint position movement and the current composite image falls within the threshold value. When the difference between the current composite image and the composite image after moving the joint position falls within the threshold value, the change detection, the joint position determination, and the joint position movement are repeatedly performed. The monitoring image recording apparatus according to claim 1, wherein the position is stored in the joint position holding unit.
前記画像合成手段は、同一時刻に撮影された複数の画像を画像変換して前記部屋を上から見た合成画像を生成する請求項1又は請求項2に記載の監視用画像記録装置。 The plurality of cameras are installed in a room to be monitored so that respective shooting ranges overlap each other,
The monitoring image recording apparatus according to claim 1, wherein the image synthesizing unit converts a plurality of images taken at the same time to generate a synthesized image when the room is viewed from above.
前記画像合成手段は、複数の前記カメラが撮影した画像を部屋ごと又は特定の撮影箇所ごとに画像変換を行い、前記部屋又は撮影箇所ごとに上から見た合成画像を生成する請求項1又は請求項2に記載の監視用画像記録装置。 The plurality of cameras are installed on the entire floor of the building to be monitored so that the respective shooting ranges overlap each other,
The image synthesizing unit performs image conversion on images captured by the plurality of cameras for each room or each specific shooting location, and generates a synthesized image viewed from above for each room or shooting location. Item 3. The monitoring image recording apparatus according to Item 2.
前記データベース生成手段は、前記画像圧縮手段で圧縮された合成画像と該合成画像の元となる複数の画像とを関連付けたデータベースを生成する際に、前記フロア情報管理手段が管理している複数の前記カメラ夫々の位置情報を活用することにより合成前の複数の画像夫々を呼び出すことができるようにデータベースを生成する請求項1乃至請求項4のいずれかに記載の監視用画像記録装置。 A floor information management means for managing position information of each of the plurality of cameras;
The database generation unit generates a plurality of databases managed by the floor information management unit when generating a database in which the composite image compressed by the image compression unit and a plurality of images that are the basis of the composite image are generated. The monitoring image recording apparatus according to any one of claims 1 to 4, wherein a database is generated so that each of a plurality of images before composition can be called by utilizing position information of each of the cameras.
前記データベース生成手段は、前記フロア情報管理手段が管理している複数の前記カメラ夫々の位置情報及び前記建物フロアの構造に関する情報を活用することにより複数の監視領域に亘って合成画像を呼び出すことができるようにデータベースを生成する請求項5に記載の監視用画像記録装置。 The floor information management means manages information related to the structure of the building floor including the doorway and windows of the room to be monitored,
The database generation unit can call a composite image over a plurality of monitoring areas by utilizing position information of each of the plurality of cameras managed by the floor information management unit and information on the structure of the building floor. The monitoring image recording apparatus according to claim 5, wherein the database is generated so as to be able to do so.
前記継ぎ目位置決定手段は、前記頭部・顔検出手段が人間の顔を検出した場合に、合成画像に人間の顔が表示されるように画像合成の継ぎ目位置を決定する請求項2乃至請求項7のいずれかに記載の監視用画像記録装置。 A head / face detecting means for detecting a human head and face with respect to images taken by the plurality of cameras;
The seam position determining means determines the joint position of image synthesis so that a human face is displayed in a composite image when the head / face detection means detects a human face. The monitoring image recording apparatus according to any one of claims 7 to 9.
請求項1乃至請求項8のいずれかに記載の監視用画像記録装置と、
前記監視用画像記録装置に記録された画像を表示するためのモニタと、
前記監視用画像記録装置に対して動作指令を与える入力部と、
を備えるセキュリティシステム。 A plurality of cameras connected to the network directly or via a wireless transceiver;
A monitoring image recording apparatus according to any one of claims 1 to 8,
A monitor for displaying an image recorded in the monitoring image recording device;
An input unit for giving an operation command to the monitoring image recording apparatus;
Security system with
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006197829A JP4786447B2 (en) | 2006-07-20 | 2006-07-20 | Image recording device for monitoring |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006197829A JP4786447B2 (en) | 2006-07-20 | 2006-07-20 | Image recording device for monitoring |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2008028605A JP2008028605A (en) | 2008-02-07 |
JP4786447B2 true JP4786447B2 (en) | 2011-10-05 |
Family
ID=39118828
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2006197829A Expired - Fee Related JP4786447B2 (en) | 2006-07-20 | 2006-07-20 | Image recording device for monitoring |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4786447B2 (en) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5205210B2 (en) * | 2008-10-17 | 2013-06-05 | ローレルバンクマシン株式会社 | Surveillance camera system |
JP5205225B2 (en) * | 2008-11-19 | 2013-06-05 | ローレルバンクマシン株式会社 | Surveillance camera system |
JP5264822B2 (en) * | 2010-04-21 | 2013-08-14 | ローレルバンクマシン株式会社 | Surveillance camera system |
JP5264823B2 (en) * | 2010-04-21 | 2013-08-14 | ローレルバンクマシン株式会社 | Surveillance camera system |
JP6704360B2 (en) * | 2017-01-12 | 2020-06-03 | 株式会社日立ビルシステム | Video display system and method |
JP6920776B2 (en) * | 2017-06-22 | 2021-08-18 | 西日本高速道路株式会社 | Monitoring support system and monitoring support method |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001319218A (en) * | 2000-02-29 | 2001-11-16 | Hitachi Ltd | Image monitoring device |
JP3707769B2 (en) * | 2000-07-05 | 2005-10-19 | 株式会社日立国際電気 | Object tracking system |
JP3652678B2 (en) * | 2001-10-15 | 2005-05-25 | 松下電器産業株式会社 | Vehicle surrounding monitoring apparatus and adjustment method thereof |
JP3798747B2 (en) * | 2002-12-02 | 2006-07-19 | 中央電子株式会社 | Wide area photographing method and apparatus using a plurality of cameras |
JP4265919B2 (en) * | 2003-02-28 | 2009-05-20 | 株式会社日立製作所 | Tracking cooperative monitoring system and imaging apparatus |
JP2006050491A (en) * | 2004-08-09 | 2006-02-16 | Matsushita Electric Ind Co Ltd | Multichannel image codec apparatus |
JP4647975B2 (en) * | 2004-11-17 | 2011-03-09 | オリンパス株式会社 | Image generation device |
-
2006
- 2006-07-20 JP JP2006197829A patent/JP4786447B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2008028605A (en) | 2008-02-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10846529B2 (en) | Image monitoring system and image monitoring program | |
KR102164863B1 (en) | Information processing apparatus, method thereof, and computer readable storage medium | |
US6690374B2 (en) | Security camera system for tracking moving objects in both forward and reverse directions | |
JP4786447B2 (en) | Image recording device for monitoring | |
GB2553991A (en) | Tracking support apparatus, tracking support system, and tracking support method | |
JP4722537B2 (en) | Monitoring device | |
JP2003284053A (en) | Monitoring camera system and monitoring camera control device | |
US20160210516A1 (en) | Method and apparatus for providing multi-video summary | |
KR100967718B1 (en) | Video watch system using object recognition information | |
JP2016009896A (en) | Video monitoring system, and video retrieval method of video monitoring system | |
JP2006254277A (en) | Video-monitoring system | |
KR101915199B1 (en) | Apparatus and method of searching image based on imaging area of the PTZ camera | |
JPH1132323A (en) | Monitoring system by still image | |
JP2023039508A (en) | Video monitoring device, display control method, and video monitor system |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20071113 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20071120 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20090630 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20110527 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20110614 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20110713 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140722 Year of fee payment: 3 |
|
LAPS | Cancellation because of no payment of annual fees |