JP5896438B2 - Surveillance camera system and monitoring method - Google Patents
Surveillance camera system and monitoring method Download PDFInfo
- Publication number
- JP5896438B2 JP5896438B2 JP2015114512A JP2015114512A JP5896438B2 JP 5896438 B2 JP5896438 B2 JP 5896438B2 JP 2015114512 A JP2015114512 A JP 2015114512A JP 2015114512 A JP2015114512 A JP 2015114512A JP 5896438 B2 JP5896438 B2 JP 5896438B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- camera
- server
- terminal
- live image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Television Signal Processing For Recording (AREA)
- Closed-Circuit Television Systems (AREA)
Description
本発明は、防犯や管理等のために画像を撮影して電気通信回線を介してモニターで監視する監視カメラシステム及び監視方法に関する。 The present invention relates to a surveillance camera system and a surveillance method for taking an image for crime prevention, management, and the like and monitoring it with a monitor via an electric communication line.
従来より、防犯や調査あるいは管理といった目的で、集合住宅などの建物の出入口や店頭あるいは街頭、工場や配送センター等、監視対象となるポイントを監視用カメラにより適時監視し、監視結果をインターネットその他電気通信回線を介して、ユーザ端末のモニターに送出し、モニターするカメラシステムが導入されている。一般に、カメラで撮影した動画を記録し、有線あるいは無線でユーザ側に送信し、同時監視や事後的再生により適宜モニターするシステムが知られている(例えば、特許文献1参照)。 Conventionally, for the purpose of crime prevention, investigation or management, the monitoring target points such as the entrances and exits of buildings such as apartment buildings, stores or streets, factories and distribution centers are monitored by the monitoring camera in a timely manner. A camera system for sending and monitoring to a monitor of a user terminal via a communication line has been introduced. In general, a system is known in which a moving image captured by a camera is recorded, transmitted to a user side by wire or wirelessly, and appropriately monitored by simultaneous monitoring or subsequent reproduction (for example, see Patent Document 1).
従来の監視カメラシステムのようにUDP方式で動画データを取得すると、カメラからサーバへデータを送信する際にパケット紛失が起きやすいという問題があった。したがって、インターネット回線(WAN)越しのクラウドサーバでのデータ蓄積ができないという問題があった。 When moving image data is acquired by the UDP method as in the conventional surveillance camera system, there is a problem that packet loss is likely to occur when data is transmitted from the camera to the server. Therefore, there is a problem that data cannot be stored in the cloud server over the Internet line (WAN).
また、同時監視において、カメラからユーザ端末へ常に動画が送られるため、通信するデータ量が増え、経由する通信網への負荷が大きく、トラフィックが混雑するという問題があった。したがって、カメラが多数であると、全ての同一のネットワーク上に設置することができず、サーバが何台も必要になるという問題があり、また、インターネット回線(WAN)越しのクラウドサーバでのデータ蓄積ができないという問題があった。 In addition, in the simultaneous monitoring, a moving image is always transmitted from the camera to the user terminal, so that there is a problem that the amount of data to be communicated increases, the load on the communication network through which the traffic passes is large, and traffic is congested. Therefore, if there are a large number of cameras, they cannot be installed on all the same networks, and there are problems that a number of servers are required, and data on cloud servers over the Internet (WAN) There was a problem that it could not be accumulated.
さらに、動画データをサーバに保存するためにデータ容量が膨大になるという問題や長期保存ができないという問題があった。また、大容量のサーバを多数用意する必要があり、コストがかさむという問題があった。データ量に制限があるため、解像度を上げることができず、再生時に鮮明な画像が得られないという問題があった。 In addition, there is a problem that the data capacity becomes enormous because video data is stored in the server, and that long-term storage is not possible. In addition, it is necessary to prepare a large number of large-capacity servers, and there is a problem that costs increase. Since the amount of data is limited, there is a problem that the resolution cannot be increased and a clear image cannot be obtained during reproduction.
また、カメラ側の録画条件が、そのまま録画サーバー側の保存の条件になっており、動画データを軽量化するために現在主流であるH.264形式の動画フォーマットで録画するには、ネットワークカメラ側にH.264形式で録画する機能を備えたカメラを製造する必要があり、コストがかかるという問題があった。 In addition, the recording conditions on the camera side are the same as the storage conditions on the recording server side, and in order to reduce the moving image data in the mainstream H.264 format, the network camera side In addition, it is necessary to manufacture a camera having a function of recording in the H.264 format, which is expensive.
また、スマートフォンなどの端末で動画を再生する際に、データ量が多いために再生などの操作を行ってから実行されるまでに時間がかかるという問題があった。再生までに時間がかかるためにタイムラグやフリーズ状態が生じ、トラブル発見が遅れるという問題があった。複数のカメラをモニターするにはスマートフォンではスムーズに再生できず、モニタールーム等、大容量のコンピュータがあるところで監視しなければならず、場所を移動しながらの作業の傍らでチェックするということが困難で、負担が大きいという問題があった。したがって、費用をかけて設置しても録画した画像が活用されず、撮影したのみになっているのが現状である。 In addition, when a moving image is played back on a terminal such as a smartphone, there is a problem that it takes a long time to execute the operation after performing an operation such as playback due to a large amount of data. There was a problem that time lag and freeze occurred due to the time required for playback, and trouble discovery was delayed. To monitor multiple cameras, it cannot be played back smoothly on a smartphone, it must be monitored where there is a large-capacity computer such as a monitor room, and it is difficult to check alongside work while moving between places There was a problem that the burden was large. Therefore, the current situation is that the recorded images are not used even if they are installed at a high cost, and are only taken.
また、上記文献に記載されたカメラシステムでは、撮影中のリアルタイムの画像を見る際、現時点の画像からの巻き戻しや現時点からの巻き戻し後の再生、現時点への早送りができないという問題があった。 In addition, the camera system described in the above document has a problem that when viewing a real-time image during shooting, it is not possible to rewind from the current image, play back after rewinding from the current time, or fast forward to the current time. .
また、撮影においては、何らかの理由で撮影できなかった時点が生じるというトラブルが起き得るが、その場合、動画では再生時に画像が飛んでしまうという問題があった。 Further, in shooting, there may be a trouble that a time when shooting could not be performed for some reason may occur. However, in that case, there is a problem that an image skips during playback of a moving image.
したがって、本発明の第1の目的は、上記した課題を解決し、高画質の再生やライブ画像の巻戻しが手軽にでき、かつデータ量が小さく低コスト化を可能とする監視カメラシステムを提供することにある。 Therefore, the first object of the present invention is to provide a surveillance camera system that solves the above-described problems, makes it easy to reproduce high-quality images and rewind live images, and can reduce the amount of data and reduce costs. There is to do.
本発明の第1の態様は、上記目的を達成するため、静止画を撮影するカメラ群にネットワークを介して接続されたサーバと、前記サーバにネットワークを介して接続され画像を表示する端末とを具備し、
前記サーバは、
一定時間毎に、前記カメラ群に静止画を撮影させ撮影したカメラ画像を前記サーバに入力させるカメラ画像取得手段、
前記カメラ画像を圧縮して一次データを作成し蓄積する一次データ作成手段、
前記端末から、監視権限のある1又は複数のカメラについてサムネイル画像要求を受け付けるサムネイル画像受付手段、
サムネイル画像要求を受け付けたカメラについて前記カメラ画像からサムネイル画像を作成するサムネイル画像作成手段、
前記サムネイル画像作成手段で作成されたサムネイル画像を前記端末に送信するサムネイル画像送信手段、
前記端末から、ライブ画像を表示するカメラの選択を受け付けるライブ画像選択受付手段、
前記ライブ画像選択受付手段で選択されたカメラについてサムネイル画像に代えて、前記カメラ画像をライブ画像として前記端末に送信するライブ画像送信手段、
前記端末から、ライブ画像からの巻戻し要求を受け付けるライブ画像巻戻し受付手段、
前記巻戻し要求毎に、前記端末に前回送信した画像より一定時間分過去の時点の一次データを抽出して巻戻しライブ画像として前記端末に送信する巻戻しライブ画像送信手段、
前記端末から、巻戻しライブ画像からの早送り要求を受け付ける巻戻しライブ画像早送り受付手段、
前記早送り要求毎に、現時点の画像に達するまでは、前記端末に前回送信した画像より一定時間分未来の時点の一次データを抽出して早送りライブ画像として前記端末に送信する早送りライブ画像送信手段
を有し、
前記端末は、
サーバから送信された画像を表示する画像表示手段、
サムネイル画像表示中に、一定時間毎に、サムネイル画像をサーバに要求するサムネイル画像要求手段、
ライブ画像表示中に、カメラからサーバへのカメラ画像取得間隔毎に、ライブ画像をサーバに要求するライブ画像要求手段、
ライブ画像表示中に、巻戻し要求の入力を受け付け、巻戻しライブ画像をサーバに要求する巻戻し開始要求手段、
巻戻しライブ画像表示中に、ライブ画像の要求間隔より短い一定時間毎に、巻戻しライブ画像をサーバに要求する巻戻し継続要求手段、
巻戻しライブ画像表示中に、早送り要求の入力を受け付け、早送りライブ画像をサーバに要求する巻戻しライブ画像早送り開始要求手段、
早送りライブ画像表示中に、ライブ画像の要求間隔より短い一定時間毎に、早送りライブ画像をサーバに要求する巻戻しライブ画像早送り継続要求手段、
を有することを特徴とする監視カメラシステムを提供する。「サムネイル画像」は、多数の画像を一覧表示するために縮小された画像である。「ライブ画像」は、リアルタイムの画像を示す。
In order to achieve the above object, according to a first aspect of the present invention, there is provided a server connected to a camera group for taking a still image via a network, and a terminal connected to the server via a network and displaying an image. Equipped,
The server
Camera image acquisition means for capturing a still image in the camera group and inputting the captured camera image to the server at regular time intervals,
Primary data creation means for compressing the camera image to create and store primary data;
A thumbnail image receiving means for receiving a thumbnail image request for one or a plurality of cameras having a monitoring authority from the terminal;
Thumbnail image creation means for creating a thumbnail image from the camera image for a camera that has received a thumbnail image request;
Thumbnail image transmitting means for transmitting the thumbnail image created by the thumbnail image creating means to the terminal;
Live image selection accepting means for accepting selection of a camera for displaying a live image from the terminal,
Live image transmission means for transmitting the camera image as a live image to the terminal instead of a thumbnail image for the camera selected by the live image selection receiving means,
Live image rewind receiving means for receiving a rewind request from a live image from the terminal,
For each rewind request, a rewind live image transmission means for extracting primary data at a certain point in time from a previously transmitted image to the terminal and transmitting it to the terminal as a rewind live image;
Rewind live image fast forward accepting means for accepting a fast forward request from the rewind live image from the terminal,
Fast-forward live image transmission means for extracting primary data at a certain time in the future from the previously transmitted image to the terminal and transmitting it to the terminal as a fast-forward live image until the current image is reached for each fast-forward request Have
The terminal
Image display means for displaying an image transmitted from the server;
During thumbnail image display, thumbnail image request means for requesting a thumbnail image from the server at regular intervals;
Live image requesting means for requesting a live image from the server at every camera image acquisition interval from the camera to the server during live image display,
Rewind start request means for accepting an input of a rewind request during live image display and requesting a rewind live image from the server,
During rewind live image display, rewind continuation requesting means for requesting the server for a rewind live image every fixed time shorter than the request interval of the live image,
Rewind live image fast forward start request means for accepting an input of a fast forward request and displaying a fast forward live image from the server while displaying the rewind live image.
Rewind live image fast forward continuation requesting means for requesting the server for a fast forward live image every fixed time shorter than the live image request interval during fast forward live image display,
There is provided a surveillance camera system characterized by comprising: The “thumbnail image” is an image reduced to display a list of a large number of images. The “live image” indicates a real-time image.
本発明の第1の態様によれば、静止画でデータ取得を行うので、ネットワーク上に同時に流れるデータ量が少なく、多台数のカメラを同一ネットワーク上に設置することが可能となる。また、データ転送量が少ないために、インターネット回線等を経由してクラウドサーバでのデータ蓄積も可能となる。また、ライブ画像を見ているときに、見落とし等気付いたとき、そのまま巻き戻して見直すことで、さかのぼって確認でき、また、過去から現時点までの画像を早送りで確認しながら行うことができる。 According to the first aspect of the present invention, since data acquisition is performed with a still image, the amount of data that flows simultaneously on the network is small, and a large number of cameras can be installed on the same network. In addition, since the data transfer amount is small, data can be stored in the cloud server via the Internet line or the like. When a live image is viewed, if an oversight or the like is noticed, the user can rewind and review the image as it is, and can check the image from the past to the current time while confirming the image by fast-forwarding.
前記サーバは、さらに、前記一次データを、一定時間分毎に結合させタイムスタンプを付して動画形式で圧縮した二次データに変換する二次データ作成手段を有することが好ましい。動画への圧縮形式は、現時点で高圧縮であるH.264であることがさらに好ましい。軽量で、ハードウェア、ソフトウェアいずれであっても実装が容易である。 It is preferable that the server further includes secondary data creation means for converting the primary data into secondary data that is compressed at a predetermined time, combined with a time stamp, and compressed in a moving image format. The compression format for moving images is H.264, which is currently highly compressed. More preferably, it is H.264. It is lightweight and easy to implement regardless of hardware or software.
前記サーバは、さらに、
前記端末から、カメラの一覧の要求を受け付ける一覧受付手段、
前記カメラ群のうち、前記端末に監視権限があるカメラの一覧を抽出する権限確認手段、
前記権限確認手段で抽出されたカメラの一覧を前記端末に送信する一覧送信手段、
前記端末から、サムネイル画像を表示するカメラの1又は複数の選択を前記一覧から受け付けるサムネイル画像選択受付手段、
を有し、前記端末は、
前記サーバにカメラ一覧の要求をし、サーバから取得したカメラ一覧を表示する一覧表示手段、
サムネイル画像を表示するカメラの選択又はライブ画像を表示するカメラの選択をするカメラ選択手段、
を有するものであることが好ましい。前記サムネイル画像受付手段が、前記一覧から選択したカメラについてのサムネイル画像要求を受け付けるものであることが好ましい。
The server further includes:
List accepting means for accepting a camera list request from the terminal;
Authority confirmation means for extracting a list of cameras having authority to monitor the terminal from the camera group;
List sending means for sending a list of cameras extracted by the authority checking means to the terminal;
Thumbnail image selection accepting means for accepting from the list one or more selections of cameras for displaying thumbnail images from the terminal;
And the terminal
List display means for requesting a camera list to the server and displaying a camera list acquired from the server,
Camera selection means for selecting a camera that displays a thumbnail image or a camera that displays a live image,
It is preferable that it has. It is preferable that the thumbnail image accepting unit accepts a thumbnail image request for a camera selected from the list.
また、前記サーバは、さらに、
前記端末から、巻戻しライブ画像からのリライブ画像要求を受け付けるリライブ画像受付手段、
前記リライブ画像要求毎に、前記端末に前回送信した画像より一定時間分未来の時点の一次データを抽出してリライブ画像として前記端末に送信するリライブ画像送信手段、
を有し、前記端末は、
巻戻しライブ画像表示中に、リライブ画像要求の入力を受け付け、リライブ画像をサーバに要求するリライブ画像開始要求手段、
リライブ画像表示中に、カメラからサーバへのカメラ画像取得間隔毎に、リライブ画像をサーバに要求するリライブ画像継続要求手段、
を有することが好ましい。本願において、「ライブ画像」がリアルタイムの画像を示すのに対し、「リライブ画像」はライブ画像から過去へ巻き戻しての再生画像を示す。
The server further includes:
Relive image receiving means for receiving a relive image request from a rewind live image from the terminal,
Relive image transmission means for extracting primary data at a certain time in the future for a predetermined time from the image previously transmitted to the terminal and transmitting it to the terminal as a relive image for each relive image request;
And the terminal
Relive image start request means for accepting an input of a relive image request during rewind live image display and requesting the relive image from the server,
Relive image continuation request means for requesting the relive image from the server at every camera image acquisition interval from the camera to the server during the relive image display,
It is preferable to have. In the present application, the “live image” indicates a real-time image, whereas the “relive image” indicates a reproduced image that is rewound from the live image to the past.
本発明の第2の態様は、上記目的を達成するため、静止画を撮影するカメラ群にネットワークを介して接続されたサーバが、一定時間毎に、前記サーバが前記カメラ群に、静止画を撮影させ、前記カメラ群からTCP/IP方式で、カメラ画像をJPEG形式の静止画で取得し、一定期間内は静止画で保存し、一定期間経過後に圧縮動画ファイルに変換して保存し直し、静止画で保存している前記一定期間内はライブ画像の表示中に巻き戻しライブ画像の表示を端末より受付し前記端末に表示する手段を有し、巻き戻しライブ画像表示中は現時点の画像に達するまでは早送りライブ画像の表示を受付する手段を有することを特徴とする監視カメラシステムを提供する。通信相手を互いに確認してから通信するため、UDP方式と異なり、ネットワーク上においても、データ送受信に欠損がなく、データ保全性が高く、信頼性が高い。サーバがカメラに直接的に接続されている必要がなく、ネットワーク上で接続されていれば、クラウドコンピューティングによるサービスでも、確実に画像を提供できる。また、カメラ側にサーバ装置あるいはサーバ機能を持たせる必要がなく、スペースやコストの削減にもなる。本発明において、「カメラ」は、静止画撮影機能と出力機能を有するならば、他に動画撮影機能を有するものであってもよい。カメラはIPカメラであることが好ましいが、アナログカメラでも可能である。また、一定期間は静止画で、その後は圧縮動画とするので、データ容量が小さくて済み、したがって長期保存も可能となる。一定期間内は静止画で保存されているためにリアルタイムの画像の送出や巻戻し早送りといった操作に対するレスポンスを素早くできる。静止画での入力・一時保存とその後の圧縮動画での保存を組合わせるシステムにより、動画での入力・保存に比べ格段にデータ量が小さく、多数のカメラとの接続を実現し、かつ、画像のクオリティを高く保てる。 According to a second aspect of the present invention, in order to achieve the above object, a server connected to a camera group that captures a still image via a network transmits a still image to the camera group at regular intervals. is captured, the TCP / IP system from the camera unit, acquires the camera image in a JPEG still picture, within a certain period to save a still image, save Tadashi converted into compressed video file after a certain period of time And a means for receiving a rewind live image from the terminal and displaying it on the terminal during the display of the live image within the predetermined period of time stored as a still image, and displaying the current image during the rewind live image display. A surveillance camera system is provided that includes means for accepting display of a fast-forward live image until reaching . Since communication is performed after confirming the communication partners with each other, unlike the UDP method, data transmission / reception is not lost on the network, data integrity is high, and reliability is high. It is not necessary for the server to be directly connected to the camera. If the server is connected on the network, an image can be reliably provided even with a service based on cloud computing. Further, it is not necessary to provide a server device or a server function on the camera side, and space and cost can be reduced. In the present invention, the “camera” may have a moving image shooting function as long as it has a still image shooting function and an output function. The camera is preferably an IP camera, but can also be an analog camera. In addition, since it is a still image for a certain period and then a compressed moving image, the data capacity is small, so that long-term storage is possible. Since it is stored as a still image within a certain period, it is possible to quickly respond to operations such as real-time image transmission and rewind / fast-forward. A system that combines input / temporary storage for still images and subsequent storage for compressed movies, which significantly reduces the amount of data compared to input / storage for movies, enables connection to many cameras, and images The quality of the can be kept high.
また、本発明の第3の態様は、静止画を撮影するカメラ群にネットワークを介して接続されたサーバが、一定時間毎に、前記カメラ群に静止画を撮影させ撮影したカメラ画像を前記サーバに入力させるカメラ画像取得ステップ、
前記サーバが、前記カメラ画像を圧縮して一次データを作成し蓄積する一次データ作成ステップ、
前記サーバにネットワークを介して接続され画像を表示する端末が、ライブ画像を表示するカメラの選択をするカメラ選択ステップ、
前記サーバが、選択されたカメラのカメラ画像をライブ画像として、前記端末に、送信するライブ画像送信ステップ、
前記端末が、前記サーバから送信されたライブ画像を表示するライブ画像表示ステップ、
前記端末が、ライブ画像表示中に、巻戻し要求の入力を受け付け、巻戻しライブ画像をサーバに要求する巻戻し開始要求ステップ、
前記サーバが、前記端末に前回送信した画像より一定時間分過去の時点の一次データを抽出して巻戻しライブ画像として前記端末に送信する巻戻しライブ画像送信ステップ、
前記端末が、前記サーバから送信された巻戻しライブ画像を表示する巻戻しライブ画像表示ステップ、
前記端末が、巻戻しライブ画像表示中に、ライブ画像の要求間隔より短い一定時間毎に、巻戻しライブ画像をサーバに要求する巻戻し継続要求ステップ、
前記サーバが、前記巻戻し要求毎に、前記巻戻しライブ画像送信ステップ、巻戻しライブ画像表示ステップを繰り返し、
前記端末が、巻戻しライブ画像表示中に、早送り要求の入力を受け付け、早送りライブ画像をサーバに要求する早送り開始要求ステップ、
前記サーバが、前記端末に前回送信した画像より一定時間分未来の時点の一次データを抽出して早送りライブ画像として前記端末に送信する早送りライブ画像送信ステップ
前記端末が、前記サーバから送信された早送りライブ画像を表示する早送りライブ画像表示ステップ、
前記端末が、早送りライブ画像表示中に、ライブ画像の要求間隔より短い一定時間毎に、早送りライブ画像をサーバに要求する早送り継続要求ステップ、
前記サーバが、現時点の画像に達するまでは、前記早送ライブ画像要求毎に、前記早送りライブ画像送信ステップ、早送りライブ画像表示を繰り返すこと
を含むことを特徴とする監視方法を提供する。
According to a third aspect of the present invention, a server connected to a camera group that captures a still image via a network captures a camera image obtained by capturing the still image in the camera group at regular intervals. Camera image acquisition step to be input to,
A primary data creation step in which the server compresses the camera image to create and store primary data;
A camera selection step in which a terminal connected to the server via a network and displaying an image selects a camera that displays a live image;
A live image transmitting step in which the server transmits a camera image of the selected camera as a live image to the terminal;
A live image display step in which the terminal displays a live image transmitted from the server;
The terminal receives a rewind request input during live image display, and requests a rewind start request step to request a rewind live image from the server.
A rewind live image transmission step in which the server extracts primary data at a time point past a certain time from the image transmitted last time to the terminal and transmits it to the terminal as a rewind live image;
Rewind live image display step in which the terminal displays a rewind live image transmitted from the server,
A rewind continuation request step for requesting a rewind live image to the server at a certain time shorter than the request interval of the live image while the terminal is displaying the rewind live image.
The server repeats the rewind live image transmission step and the rewind live image display step for each rewind request,
The terminal receives a fast-forward request input while displaying a rewind live image, and requests a fast-forward start request requesting a server for a fast-forward live image,
A fast-forward live image transmission step in which the server extracts primary data at a certain time in the future from the image previously transmitted to the terminal and transmits it to the terminal as a fast-forward live image. A fast-forward live image display step for displaying a live image,
While the fast-forward live image is displayed, the terminal requests a fast-forward live image from the server every predetermined time shorter than the live image request interval.
There is provided a monitoring method characterized by including repeating the fast-forward live image transmission step and the fast-forward live image display for each fast-forward live image request until the server reaches the current image.
本発明によれば、高画質の再生やライブ画像の巻戻しが手軽にでき、かつデータ量が小さく低コスト化を可能とする。 According to the present invention, high-quality playback and live image rewinding can be easily performed, and the amount of data can be reduced and the cost can be reduced.
以下、本発明について、実施例を用いて本発明を具体的に説明するが、本発明はこれらに限定されるものではない。 EXAMPLES Hereinafter, although this invention is concretely demonstrated using an Example about this invention, this invention is not limited to these.
本実施例は、ネットワークを介してサーバで監視用カメラを作動させて、サーバが画像を収集・編集・保存し、サーバがユーザの端末に端末からの要求に応じてネットワークを介してモニターする画像を送信するもので、過去の画像の再生・巻戻し・早送りもライブ画像の再生・巻戻し・早送りもリライブ再生も行うものである。例えば、ネットワークで接続されている地方工場内の製造ラインに取り付けられた監視用カメラの画像を本社の管理部門の担当者や各工場の責任者のスマートフォンに送信して管理するのに利用できる。 In this embodiment, a monitoring camera is operated on a server via a network, and the server collects, edits, and stores images, and the server monitors the user's terminal via the network in response to a request from the terminal. , And playback / rewind / fast-forward of past images as well as playback / rewind / fast-forward and re-live playback of live images. For example, it can be used to manage images transmitted from a surveillance camera attached to a production line in a local factory connected via a network to a smartphone of a person in charge at a management department at the head office or a person in charge at each factory.
{構成}
図1は、本発明の監視カメラシステムの実施例1のネットワーク構成の一例を示す図である。LANやインターネット、Wi−Fi回線、3G回線等の通信網から構成されるネットワーク500上には、(1)画像を撮影するカメラとして、複数台の監視用カメラ400A〜F、(2)ネットワーク500を介して監視用カメラ400と接続され、カメラで撮影した画像データを取得し蓄積し端末に送信するサーバとして、録画サーバ100、(3)ネットワーク500を介して録画サーバ100と接続され、録画サーバ100からの画像データを受信して表示する端末として、スマートフォンなどのモバイル端末200A、Bや、デスクトップPC(パーソナルコンピュータ)やノートPCなどの閲覧PC300A〜Cが接続されている。以下、モバイル端末と閲覧PCとをまとめるときは、「端末」又は「Viewer」という。
{Constitution}
FIG. 1 is a diagram illustrating an example of a network configuration of a monitoring camera system according to a first embodiment of the present invention. On a network 500 including a communication network such as a LAN, the Internet, a Wi-Fi line, or a 3G line, (1) a plurality of monitoring cameras 400A to 400F as cameras for taking images, and (2) a network 500. Connected to the monitoring camera 400 via the network, the
録画サーバ100は、監視用カメラ400が同じLAN内に存在する場合に限らず、互いにネットワーク500にルータ600を介して接続されていれば、インターネットを介して接続されていてもよい。本実施例では、監視用カメラ400と録画サーバ100との通信がTCP/IP方式で、同じLAN内にカメラとサーバが存在しなくても、確実に画像データの送受信ができ、信頼性が高い。監視用カメラ400は、本実施例ではIPカメラであるが、アナログカメラでもよい。画像表示用の端末である閲覧PC300も、録画サーバ100と同じLAN内に存在する場合に限らず、互いにネットワーク500にルータ600を介して接続されていれば、インターネットを介して接続されていてもよい。画像表示用の端末であるモバイル端末200についても、LAN、インターネット、携帯電話用ネットワーク(Wi−Fi回線や3G回線等)等、複数のネットワークを介して接続されていてもよい。
The
1台の録画サーバ100は、複数台の監視カメラ400から画像を取得することができる。従来のIPカメラシステムでは、1つの同容量のサーバで管理できるカメラの台数はIPカメラで20台程度であるが、本実施例では、1秒に1回録画する場合でも、同一ネットワーク環境において、100台のIPカメラの接続が可能である。したがって、コスト削減と大規模監視を同時に可能とする。また、サーバ側がネットワークトラフィックを自動的に分散させるので、ネットワーク設計が不要で、カメラをポートに繋ぐだけで済むため、作業が非常に簡便となる。
One
図2は、本発明の監視カメラシステムの実施例1のサーバの構成図である。録画サーバ100は、キャッシュメモリであるメモリ102を伴うCPU101やデバイスドライバ等を有する制御・演算装置と、DRAM等の主記憶装置やハードディスク等の補助記憶装置を有する記憶装置110と、ネットワークインターフェース104等の通信制御装置や表示装置としてのディスプレイ103、キーボード105、マウス106等で構成される入出力装置とを備えている。記憶装置110には、一次画像フォルダ111と二次画像フォルダ112と撮影・編集・送信プログラム113と認証用データベースと環境設定フォルダ等の他、オペレーティングシステム114が格納されている。撮影・編集・送信プログラム113は通常記憶装置110の補助記憶装置に格納されており、実行時には主記憶装置にロードされる。一次画像フォルダ111には、カメラ画像を圧縮したファイルを一次データとして蓄積し、二次画像フォルダ112には、一次画像フォルダ111内に蓄積された一定時間分の一次データを動画圧縮変換して二次データとして蓄積する。認証用データベースには、ID、パスワード、各監視用カメラ400やモバイル端末200や閲覧PC300のポート番号とIPアドレス、IPアドレスのない端末では個体識別情報(UID)が蓄積されている。本実施例では、録画サーバ100は、サーバと端末が一体となっており、自ら画像を表示する端末の役割も果たすため、また、メンテナンスや管理のため、ディスプレイ103、また入力手段としてのキーボード105やマウス106を有している。録画サーバでカメラ画像の再生を要しない場合は、画像表示装置としての端末機能はなくてもよい。環境設定フォルダには、各監視用カメラの画像取得タイミング、一次画像データや二次画像データの作成間隔、圧縮条件等が蓄積されている。
FIG. 2 is a configuration diagram of a server according to the first embodiment of the surveillance camera system of the present invention. The
録画サーバ100は、CPU101が、撮影・編集・送信プログラム113をメモリ102にロードして実行することにより本発明のカメラ画像取得及び端末への画像送出処理が可能なコンピュータの機能を実現する。CPU101は、通常のコンピュータに搭載する演算処理装置であり、各種プログラムを実行し、各種制御等を行う。
The
録画サーバ100は、1台のサーバとする他、複数のサーバからなるサーバ群であってもよい。例えば、二次画像フォルダについて、一定期間(例えば24時間)経過後の二次データについては、保存先を、カメラ画像を取得するサーバと別のサーバに設けた二次画像フォルダとしてもよい。頻繁には再生しない過去の保存データを別にすることで、さらに多くの台数のカメラを同一ネットワーク上で監視可能となる。
The
撮影・編集・送信プログラムは、コンピュータに、監視用カメラとの接続を行うカメラ接続機能、端末との接続を行う端末接続機能、一定時間(例えば1秒)毎に、接続した監視用カメラに静止画を撮影させ撮影したカメラ画像を録画サーバに入力させるカメラ画像取得機能、前記カメラ画像を圧縮して一次データを作成し蓄積する一次データ作成機能、端末からのカメラ一覧の要求を受け付ける一覧受付機能、端末に監視権限があるカメラの一覧を抽出する権限確認機能、抽出されたカメラの一覧を端末に送信する一覧送信機能、端末からのサムネイル画像を表示するカメラの1又は複数の選択を前記一覧から受け付けるすなわち監視権限のある1又は複数のカメラについてサムネイル画像要求を受け付けるサムネイル画像選択受付機能、サムネイル画像要求を受け付けたカメラについてカメラ画像からサムネイル画像を作成するサムネイル画像作成機能、サムネイル画像を端末に送信するサムネイル画像送信機能、端末からのライブ画像を表示するカメラの選択を受け付けるライブ画像選択受付機能、選択されたカメラについてサムネイル画像に代えてカメラ画像データをライブ画像として端末に送信するライブ画像送信機能、端末よりライブ画像からの巻戻し要求を受け付けるライブ画像巻戻し受付機能、巻戻し要求毎に、端末に前回送信した画像より一定時間分(例えば1秒分)過去の時点の一次データを抽出して巻戻しライブ画像として端末に送信する巻戻しライブ画像送信機能、端末より巻戻しライブ画像からの早送り要求を受け付ける巻戻しライブ画像早送り受付機能、早送り要求毎に、現時点の画像に達するまでは、端末に前回送信した画像より一定時間分(例えば1秒分)未来の時点の一次データを抽出して早送りライブ画像として端末に送信する早送りライブ画像送信機能を実現させるためのプログラムである。「現時点の画像」とは、監視用カメラから取得した最新の画像を意味する。したがって、現時点の画像は、カメラ画像がサーバに入力される度に、新しい画像に変わる。 The shooting / editing / transmission program is connected to the computer with a camera connection function for connecting to the surveillance camera, a terminal connection function for connecting to the terminal, and stationary at the connected surveillance camera every fixed time (for example, 1 second). A camera image acquisition function that captures images and inputs the captured camera images to a recording server, a primary data creation function that compresses the camera images to create and accumulate primary data, and a list reception function that accepts a camera list request from a terminal , An authority confirmation function for extracting a list of cameras having authority to monitor the terminal, a list transmission function for transmitting the extracted camera list to the terminal, and one or more selections of cameras for displaying thumbnail images from the terminal. A thumbnail image selection accepting function for accepting a thumbnail image request for one or a plurality of cameras with authority to monitor, Thumbnail image creation function that creates thumbnail images from camera images for cameras that have received a thumbnail image request, thumbnail image transmission function that transmits thumbnail images to the terminal, and live image selection reception that accepts selection of cameras that display live images from the terminal Function, live image transmission function that transmits camera image data to the terminal as a live image instead of thumbnail images for the selected camera, live image rewind acceptance function that accepts a rewind request from the live image from the terminal, each rewind request In addition, a rewind live image transmission function that extracts primary data for a certain time (for example, 1 second) in the past from the image previously transmitted to the terminal and transmits it to the terminal as a rewind live image, and a rewind live image from the terminal. Rewind live image fast forward accepting machine that accepts fast forward requests from For each fast-forwarding request, until the current image is reached, the fast-forwarding live that extracts primary data at a future time from the previously transmitted image to the terminal and transmits it to the terminal as a fast-forwarding live image. This is a program for realizing the image transmission function. “Current image” means the latest image acquired from the monitoring camera. Therefore, the current image changes to a new image each time a camera image is input to the server.
本実施例では、撮影・編集・送信プログラムは、さらに、コンピュータに、一次データを、一定時間分(例えば1時間分)毎に結合させタイムスタンプを付して動画形式で圧縮した二次データに変換する二次データ作成機能をも実現させるためのプログラムである。 In the present embodiment, the shooting / editing / transmission program further combines the primary data with the computer every second time (for example, one hour), and attaches a time stamp to the compressed secondary data. This is a program for realizing the function of creating secondary data to be converted.
本実施例では、撮影・編集・送信プログラムは、さらに、コンピュータに、端末より巻戻しライブ画像からのリライブ画像要求を受け付けるリライブ画像受付機能、リライブ画像要求毎に、端末に前回送信した画像より一定時間分、詳細には、カメラでの設定監視用カメラ400から録画サーバ100へのカメラ画像取得間隔分、未来の時点の一次データを抽出して早送りライブ画像として端末に送信するリライブ画像送信機能をも実現させるためのプログラムである。
In the present embodiment, the shooting / editing / transmission program further has a re-live image reception function that accepts a re-live image request from a rewind live image from the terminal to the computer, and is constant from the previous image transmitted to the terminal for each re-live image request. A relive image transmission function that extracts primary data at a future time and transmits it to the terminal as a fast-forward live image for the time, in detail, for the camera image acquisition interval from the setting monitoring camera 400 to the
本実施例では、監視カメラと録画サーバとの接続はTCP/IP方式で行い、監視カメラを特定するため、録画サーバ側で設定したユーザIDとパスワードで認証を行ってからカメラ画像の撮影等の要求を行う。端末と録画サーバとの接続もTCP/IP方式で行い、ユーザIDとパスワードで認証を行って、端末が録画サーバに登録してある端末であることを確認してから画像送信を行う。認証は、録画サーバ上の認証用データベースによる認証が好ましい。 In this embodiment, the connection between the surveillance camera and the recording server is performed by the TCP / IP method, and the surveillance camera is specified. Therefore, after authenticating with the user ID and password set on the recording server side, Make a request. The connection between the terminal and the recording server is also performed by the TCP / IP method, authentication is performed with a user ID and a password, and image transmission is performed after confirming that the terminal is a terminal registered in the recording server. The authentication is preferably performed by an authentication database on the recording server.
端末やカメラが同じLAN上になくてもルータを介してネットワークで繋がっていれば、接続するルータのIPアドレスとそれぞれに割り振られたポート番号で行う。インターネットで接続されているときは、両者の間のルータのポート番号を「有効」にする。IPアドレスのないモバイル端末ではUIDを利用する。 If the terminals and cameras are not on the same LAN but are connected via a network via a router, the IP address of the router to be connected and the port number assigned to each are used. When connected via the Internet, set the port number of the router between the two to “valid”. A mobile terminal without an IP address uses a UID.
図3は、本発明の監視カメラシステムの実施例1の端末(モバイル)の構成図である。モバイル端末200は、メモリ202を伴うCPU201やデバイスドライバ等を有する制御・演算装置と、記憶装置210、データの送受信等を行う通信制御装置、表示装置としてのディスプレイ204、操作ボタンあるいはタッチパネル等の入出力装置を備えている。記憶装置210には、画像表示プログラム213やオペレーティングシステム214が格納されている。モバイル端末200は、例えばスマートフォン等の携帯電話等であり、CPU201が画像表示プログラム213をメモリ202にロードして実行することにより本発明の画像表示が可能なコンピュータの機能を実現する。CPU201は、通常のモバイル端末に搭載する演算処理装置であり、各種プログラムを実行し、各種制御等を行う。
FIG. 3 is a configuration diagram of a terminal (mobile) according to the first embodiment of the surveillance camera system of the present invention. The
図4は、本発明監視カメラシステムの実施例1の端末(PC)の構成図である。閲覧PC300は、メモリ302を伴うCPU301やデバイスドライバ等を有する制御・演算装置と、DRAM等の主記憶装置やハードディスク等の補助記憶装置を有する記憶装置310と、ネットワークインターフェース304等の通信制御装置や表示装置としてのディスプレイ303、キーボード305、マウス306等で構成される入出力装置とを備えている。記憶装置310には、画像表示プログラム313やオペレーティングシステム314が格納されている。閲覧PC300は、例えばデスクトップPCやノートPC、タブレット端末等であり、CPU301が画像表示プログラム313をメモリ302にロードして実行することにより本発明の画像表示が可能なコンピュータの機能を実現する。CPU301は、通常のPCに搭載する演算処理装置であり、各種プログラムを実行し、各種制御等を行う。
FIG. 4 is a configuration diagram of a terminal (PC) in the first embodiment of the surveillance camera system of the present invention. The viewing PC 300 includes a control / arithmetic unit having a
画像表示プログラムは、コンピュータに、録画サーバとの接続を行う端末接続機能、録画サーバにカメラ一覧の要求をし、サーバから取得したカメラ一覧を表示する一覧表示機能、サムネイル画像を表示する監視用カメラの選択又はライブ画像を表示する監視用カメラの選択をするカメラ選択機能、録画サーバから送信された画像を表示する画像表示機能、サムネイル画像表示中に、一定時間(例えば1秒)毎に、サムネイル画像を録画サーバに要求するサムネイル画像要求機能、ライブ画像表示中に、監視用カメラから録画サーバへのカメラ画像取得間隔毎に、ライブ画像を録画サーバに要求するライブ画像要求機能、ライブ画像表示中に、巻戻し要求の入力を受け付け、巻戻しライブ画像を録画サーバに要求する巻戻し開始要求機能、巻戻しライブ画像表示中に、ライブ画像の要求間隔より短い一定時間(例えば0.2秒)毎に、巻戻しライブ画像を録画サーバに要求する巻戻し継続要求機能、巻戻しライブ画像表示中に、ユーザからの早送り要求の入力を受け付け、早送りライブ画像を録画サーバに要求する巻戻しライブ画像早送り開始要求機能、早送りライブ画像表示中に、ライブ画像の要求間隔より短い一定時間(例えば0.2秒)毎に、早送りライブ画像を録画サーバに要求する巻戻しライブ画像早送り継続要求機能、巻戻しライブ画像表示中に、リライブ画像要求の入力を受け付け、リライブ画像をサーバに要求するリライブ画像開始要求機能、リライブ画像表示中に、カメラからサーバへのカメラ画像取得間隔毎に、リライブ画像をサーバに要求するリライブ画像継続要求機能を実現させるためのプログラムである。 The image display program includes a terminal connection function for connecting to a recording server to a computer, a list display function for requesting a camera list to the recording server and displaying a camera list acquired from the server, and a monitoring camera for displaying thumbnail images. Or a camera selection function for selecting a monitoring camera for displaying a live image, an image display function for displaying an image transmitted from a recording server, and a thumbnail at regular intervals (for example, 1 second) during thumbnail image display. A thumbnail image request function for requesting an image from the recording server, a live image display function during live image display, and a live image request function for requesting a live image from the recording server at every camera image acquisition interval from the monitoring camera to the recording server. The rewind start request function that accepts the input of the rewind request and requests the rewind live image from the recording server, During live image display, a rewind continuation request function for requesting a rewind live image to the recording server every fixed time (for example, 0.2 seconds) shorter than the live image request interval, A fast-forward live image fast-forward start request function that accepts a fast-forward request input from the user and requests the fast-forward live image from the recording server, while displaying the fast-forward live image, a certain time shorter than the request interval of the live image (for example, 0.2 seconds) ) A rewind live image fast forward continuation request function that requests a fast-forward live image to the recording server every time, and a relive image start request function that accepts a relive image request and displays a relive image from the server while the rewind live image is displayed. During the live image display, the live image that requests the live image from the server at every camera image acquisition interval from the camera to the server Is a program for realizing the connection request function.
録画サーバ100は、接続開始時毎に、監視用カメラや端末のIPアドレス及びポート番号、UIDを調べ、またIPアドレス及びポート番号やUIDを用いた接続によって接続相手を特定でき、ユーザIDとパスワードで認証する。ルータのポート番号を「有効」にしてあれば、端末側のルータの設定を録画サーバ100から行うことができ、グローバルIPアドレスやプライベートIPアドレスの割当設定をすることができる。したがって、LAN内のPCのアドレスが変換されてしまった場合でも、監視用カメラの認識をするので、カメラ画像の取得が可能である。監視用カメラ側でグローバルIPアドレス、プライベートIPアドレスの割当設定等を行う必要がなく、ブロードバンドルータなどを利用していてLAN内のPCのアドレスが変換されてしまう場合でもカメラ画像の送受信が可能であり、また、ユーザのPC操作能力が、様々な設定を行うことができないレベルであっても画像表示が可能である。監視用カメラと録画サーバとが同じLAN内に限定されるときは、ローカルIPアドレスとポート番号で認識を行ってもよい。
The
本実施例においては、録画サーバ100と閲覧PC300とは、ともにパーソナルコンピュータとして構成され、通常のパーソナルコンピュータが有するクロック機能等を備えている。モバイル端末200もクロック機能等を備えている。
In this embodiment, the
本実施例では、静止画を撮影する監視用カメラ400にネットワーク500を介して接続された録画サーバ100と、録画サーバ100に500を介して接続され画像を表示する端末(モバイル端末200や閲覧PC300)とを具備しており、録画サーバ100には、(1)一定時間毎に、監視用カメラ400に静止画を撮影させ撮影したカメラ画像を録画サーバ100に入力させるカメラ画像取得手段、(2)前記カメラ画像を圧縮して一次データを作成し蓄積する一次データ作成手段、(3)端末から、カメラ一覧の要求を受け付ける一覧受付手段、(4)監視用カメラ400のうち、前記端末に監視権限があるカメラの一覧を抽出する権限確認手段、(5)前記権限確認手段で抽出されたカメラの一覧を前記端末に送信する一覧送信手段、(6)前記端末から、サムネイル画像を表示する監視用カメラ400の1又は複数の選択を前記一覧から受け付ける、すなわち監視権限のある1又は複数のカメラについてサムネイル画像要求を受け付けるサムネイル画像選択受付手段、(7)サムネイル画像要求を受け付けた監視用カメラ400について前記カメラ画像からサムネイル画像を作成するサムネイル画像作成手段、(8)前記サムネイル画像作成手段で作成されたサムネイル画像を前記端末に送信するサムネイル画像送信手段、(9)前記端末から、ライブ画像を表示する監視用カメラ400の選択を受け付けるライブ画像選択受付手段、(10)前記ライブ画像選択受付手段で選択された監視用カメラ400についてサムネイル画像に代えて前記カメラ画像データをライブ画像として前記端末に送信するライブ画像送信手段、(11)前記端末から、ライブ画像からの巻戻し要求を受け付けるライブ画像巻戻し受付手段、(12)前記巻戻し要求毎に、前記端末に前回送信した画像より一定時間分過去の時点の一次データを抽出して巻戻しライブ画像として前記端末に送信する巻戻しライブ画像送信手段、(13)前記端末から、巻戻しライブ画像からの早送り要求を受け付ける巻戻しライブ画像早送り受付手段、(14)前記早送り要求毎に、現時点の画像に達するまでは、前記端末に前回送信した画像より一定時間分未来の時点の一次データを抽出して早送りライブ画像として前記端末に送信する早送りライブ画像送信手段、(15)前記一次データを、一定時間分毎に結合させタイムスタンプを付して動画形式で圧縮した二次データに変換する二次データ作成手段、(16)前記端末から、巻戻しライブ画像からのリライブ画像要求を受け付けるリライブ画像受付手段、(17)前記リライブ画像要求毎に、前記端末に前回送信した画像より一定時間分未来の時点の一次データを抽出してリライブ画像として前記端末に送信するリライブ画像送信手段とを設けてある。録画サーバ100は、前述のハードウェア構成と撮影・編集・送信プログラム112によって、(1)〜(17)の手段として機能する。
In the present embodiment, the
また、端末(モバイル端末200及び閲覧PC300)に、(1)録画サーバ100にカメラ一覧の要求をし、録画サーバ100から取得したカメラ一覧を表示する一覧表示手段、(2)サムネイル画像を表示する監視用カメラ400の選択又はライブ画像を表示する監視用カメラ400の選択をするカメラ選択手段、(3)録画サーバ100から送信された画像を表示する画像表示手段、(4)サムネイル画像表示中に、一定時間毎に、サムネイル画像を録画サーバ100に要求するサムネイル画像要求手段、(5)ライブ画像表示中に、監視用カメラ400から録画サーバ100へのカメラ画像取得間隔毎に、ライブ画像を録画サーバ100に要求するライブ画像要求手段、(6)ライブ画像表示中に、巻戻し要求の入力を受け付け、巻戻しライブ画像を録画サーバ100に要求する巻戻し開始要求手段、(7)巻戻しライブ画像表示中に、ライブ画像の要求間隔より短い一定時間毎に、巻戻しライブ画像を録画サーバ100に要求する巻戻し継続要求手段、(8)巻戻しライブ画像表示中に、早送り要求の入力を受け付け、早送りライブ画像を録画サーバ100に要求する巻戻しライブ画像早送り開始要求手段、(9)早送りライブ画像表示中に、ライブ画像の要求間隔より短い一定時間毎に、早送りライブ画像を録画サーバ100に要求する巻戻しライブ画像早送り継続要求手段、(10)巻戻しライブ画像表示中に、リライブ画像要求の入力を受け付け、リライブ画像を録画サーバ100に要求するリライブ画像開始要求手段、(11)リライブ画像表示中に、カメラから録画サーバ100へのカメラ画像取得間隔毎に、リライブ画像をサーバに要求するリライブ画像継続要求手段、とを設けてある。端末は、前述のハードウェア構成と画像表示プログラム213によって、(1)〜(11)の手段として機能する。なお、本実施例では、カメラ画像データを圧縮して作成された一次データは、一定時間毎に録画サーバで二次データに変換されているので、端末は、ライブ画像の巻戻しや巻戻し後の早送り以外に、従来の録画再生装置で可能な、過去のカメラ画像の再生や巻戻し、早送りも可能である。例えば、録画翌日等に再生を行うとき、何日の何時の録画について再生をしたいかを選択し、1時間分ずつ2次データに変換されたファイルを呼び出して、再生を行う。再生中の巻戻しや早送りも可能である。ライブ画像は、カメラから入力されたカメラ画像を圧縮せず使用するため高画質でありながら静止画であるためデータ量が小さく、サムネイル画像は、カメラ画像を、指定されたサイズに縮小化及び圧縮して使用するため十分な画質と十分な小データ量で、巻戻しライブ画像や早送りライブ画像は、一次的な静止画保存用に圧縮した一次データを使用するため、高画質ながらデータ量が小さい。頻繁には使用しない、二次データ作成単位以上に過去分の再生や早送り巻戻しは、圧縮変換した動画ファイルである二次データを使用するため、動画ながら保存に要するデータ量が小さくて済む。また、本実施例の構成により、ライブ画像の巻戻し後の再生が可能となる。
In addition, the terminal (
本実施例の監視カメラシステムは、静止画を撮影するカメラ群にネットワークを介して接続されたサーバが、一定時間毎に、前記カメラ群からTCP/IP方式で、カメラ画像をJPEG形式の静止画で取得し、一定期間内は静止画で保存し、一定期間経過後に、動画ファイルへの圧縮形式、例えば現時点で高圧縮であるH.264形式で高圧縮動画ファイルに変換して保存し直す。本実施例では、H.264形式で圧縮して動画ファイルに変換する。TCP/IP方式の通信にてサーバー主導型によりカメラ群に静止画データを要求することにより、通信上におけるデータの欠損がなく、データの高い保全性を実現できる。従来、ネットワークカメラから動画品質(例:30fps程度)でデータ取得を行うと、経由するネットワーク上に膨大なデータが流れてしまい、多台数のカメラを同一ネットワーク上に設置することができなかったが、本実施例では、動画でデータ取得を行うのではなく、例えば、1秒間に1画像と、画像取得間隔を長くし、動画ではなく静止画の画像としてデータを取得する。したがって、ネットワーク上に同時に流れるデータ量が少なくなり、一般のインターネット回線などにも、ネットワークカメラ情報を流すことができる。さらに、従来の動画転送方法ではパケット紛失やデータ転送量などが問題で不可能であった、インターネット回線(WAN)越しのクラウドサーバーでのデータ蓄積を可能にする。従来のネットワークカメラ録画システムでは、ネットワークカメラ側の録画条件が、そのまま録画サーバー側の保存の条件になっており、動画データを軽量化するために現在主流であるH.264形式の動画フォーマットで録画するには、ネットワークカメラ側にH.264形式で録画する機能を備えたカメラを製造する必要があったが、本実施例では、サーバー側でH.264形式に変換を行うため、カメラ側に保存したい動画フォーマットの機能が備わっている必要がない。また、従来システムの場合、ファイルサイズが軽量化するH.264形式であっても長期保存するにはまだまだデータ量が大きく、動画データを取得する段階(ネットワークカメラで録画する段階)で解像度を下げるなどの対応が必要で、また、保存期間を長くするために解像度を下げてしまうことで、動画データの画質が粗くなってしまうという問題点があったが、本実施例では、画像データ収集時のデータを、一次データ、すなわち、高解像度の一時保存データ(頻繁に見る可能性があるデータ)、として保存して、一定期間を経過すると、二次データ、すなわち、解像度を低くしたり画質を軽量化したりするなどして一時保存データ(長期保存データ)、に変換することで、保存期間のさらなる延長が可能となる。本実施例では、データから二次データへの変換については、画像とタイムスタンプ情報を付加しながら、二次データへの変換を行い、例えば1秒間に1フレーム(1fps)の設定であれば、3600枚の画像とタイムスタンプを二次データに格納し、何らかの異常で画像が欠落している場合は、一つ前の画像と同じ画像を再度使って、時間軸を調整する。 In the surveillance camera system of this embodiment, a server connected to a camera group that captures a still image via a network receives a camera image from the camera group in a TCP / IP system at regular time intervals in a JPEG format. And is stored as a still image for a certain period, and after a certain period of time, a compression format into a moving image file, for example H.P. Convert to a highly compressed video file in H.264 format and save again. In this embodiment, H. Compressed to H.264 format and converted to a video file. By requesting still image data from the camera group by server-driven type in TCP / IP communication, there is no data loss on communication, and high data integrity can be realized. Conventionally, when data is acquired from a network camera with moving image quality (for example, about 30 fps), a huge amount of data flows on the network through which it was not possible to install a large number of cameras on the same network. In this embodiment, data acquisition is not performed with a moving image, but, for example, one image per second and the image acquisition interval are lengthened, and data is acquired as a still image instead of a moving image. Therefore, the amount of data that flows simultaneously on the network is reduced, and the network camera information can be flowed to a general Internet line or the like. Furthermore, it is possible to store data on a cloud server over the Internet line (WAN), which is impossible due to problems such as packet loss and data transfer amount in the conventional moving image transfer method. In the conventional network camera recording system, the recording conditions on the network camera side are the storage conditions on the recording server side as they are, and recording is performed in the currently mainstream H.264 video format to reduce the video data weight. In order to do this, it is necessary to manufacture a camera having a function for recording in the H.264 format on the network camera side. In this embodiment, however, the server side converts to the H.264 format, It is not necessary to have the function of the video format you want to save. In the case of the conventional system, even in the H.264 format in which the file size is reduced, the amount of data is still large for long-term storage, and the resolution is lowered at the stage of acquiring moving image data (at the stage of recording with a network camera). In addition, there is a problem that the image quality of moving image data becomes coarse by lowering the resolution in order to extend the storage period. Is stored as primary data, that is, high-resolution temporary storage data (data that may be frequently viewed), and after a certain period of time, secondary data, that is, resolution is reduced or image quality is reduced. The storage period can be further extended by converting to temporary storage data (long-term storage data) by reducing the weight. In the present embodiment, for the conversion from data to secondary data, conversion to secondary data is performed while adding image and time stamp information. For example, if the setting is 1 frame per second (1 fps), 3600 images and time stamps are stored in the secondary data. If an image is missing due to some abnormality, the same image as the previous image is used again to adjust the time axis.
{手順}
本発明の監視カメラシステムの実施例1の監視手順について次に説明する。本手順では、上述した監視カメラシステムを使用するが、図1における録画サーバ100はサーバ、監視用カメラ400はカメラ、モバイル端末200及び閲覧PC300は端末として表して説明をする。各端末は、サーバを介して、複数のカメラで撮影した画像を同時に表示させることができる。
{procedure}
Next, a monitoring procedure according to the first embodiment of the surveillance camera system of the present invention will be described. In this procedure, the above-described monitoring camera system is used, but the
本実施例の監視方法では、(1)静止画を撮影するカメラ群にネットワークを介して接続されたサーバが、一定時間毎に、前記カメラ群に静止画を撮影させ撮影したカメラ画像データを前記サーバに入力させるカメラ画像取得ステップ、(2)前記サーバが、前記カメラ画像データを圧縮して一次データを作成し蓄積する一次データ作成ステップ、(4)前記サーバにネットワークを介して接続され画像を表示する端末が、ライブ画像を表示するカメラの選択をするカメラ選択ステップ、(5)前記サーバが、選択されたカメラのカメラ画像データをライブ画像として、前記端末に、送信するライブ画像送信ステップ、(6)前記端末が、前記サーバから送信されたライブ画像を表示するライブ画像表示ステップ、(7)前記端末が、ライブ画像表示中に、巻戻し要求の入力を受け付け、巻戻しライブ画像をサーバに要求する巻戻し開始要求ステップ、(8)前記サーバが、前記端末に前回送信した画像より一定時間分過去の時点の一次データを抽出して巻戻しライブ画像として前記端末に送信する巻戻しライブ画像送信ステップ、(9)前記端末が、前記サーバから送信された巻戻しライブ画像を表示する巻戻しライブ画像表示ステップ、(10)前記端末が、巻戻しライブ画像表示中に、ライブ画像の要求間隔より短い一定時間毎に、巻戻しライブ画像をサーバに要求する巻戻し継続要求ステップ、(11)前記サーバが、前記巻戻し要求毎に、前記巻戻しライブ画像送信ステップ、(12)巻戻しライブ画像表示ステップを繰り返し、(13)前記端末が、巻戻しライブ画像表示中に、早送り要求の入力を受け付け、早送りライブ画像をサーバに要求する早送り開始要求ステップ、(14)前記サーバが、前記端末に前回送信した画像より一定時間分未来の時点の一次データを抽出して早送りライブ画像として前記端末に送信する早送りライブ画像送信ステップ、(15)前記端末が、前記サーバから送信された早送りライブ画像を表示する早送りライブ画像表示ステップ、(16)前記端末が、早送りライブ画像表示中に、ライブ画像の要求間隔より短い一定時間毎に、早送りライブ画像をサーバに要求する早送り継続要求ステップ、(17)前記サーバが、現時点の画像に達するまでは、前記早送りライブ画像要求毎に、前記早送りライブ画像送信ステップ、(18)早送りライブ画像表示を繰り返し、(19)前記一次データを、一定時間分毎に結合させタイムスタンプを付して動画形式で圧縮した二次データに変換する二次データ作成ステップを含む。 In the monitoring method of this embodiment, (1) a server connected to a camera group that captures a still image via a network captures the camera image data obtained by capturing a still image in the camera group at regular intervals. A camera image acquisition step to input to the server, (2) a primary data creation step in which the server creates and stores primary data by compressing the camera image data, and (4) an image connected to the server via a network. A camera selection step in which a terminal to display selects a camera to display a live image; (5) a live image transmission step in which the server transmits camera image data of the selected camera to the terminal as a live image; (6) a live image display step in which the terminal displays a live image transmitted from the server; (7) the terminal A rewind start request step for accepting an input of a rewind request during image display and requesting a rewind live image from the server; (8) a time point past a predetermined time from the image that the server transmitted to the terminal last time; A rewind live image transmission step of extracting primary data and transmitting it to the terminal as a rewind live image; (9) a rewind live image display step in which the terminal displays the rewind live image transmitted from the server; (10) During the rewind live image display, the terminal requests a rewind live image to the server every predetermined time shorter than the live image request interval. (11) The server includes the server For each rewind request, the rewind live image transmission step and (12) rewind live image display step are repeated. (13) The terminal rewinds the live image. A fast-forward start request step for accepting a fast-forward request input and requesting a fast-forward live image from the server during the display, (14) The server extracts primary data at a time point that is a certain time in the future from the image previously transmitted to the terminal A fast-forward live image transmission step for transmitting to the terminal as a fast-forward live image, (15) a fast-forward live image display step for displaying the fast-forward live image transmitted from the server, and (16) the terminal for fast-forwarding. During the live image display, a fast-forward continuation requesting step for requesting the server for a fast-forward live image at regular intervals shorter than the request interval of the live image. (17) The fast-forward live image until the server reaches the current image. For each request, the fast-forward live image transmission step (18) The fast-forward live image display is repeated, (19) A secondary data creation step of converting the primary data into secondary data that is compressed at a predetermined time, combined with a time stamp, and compressed in a moving image format.
本実施例の監視方法では、(20)前記端末が、巻戻しライブ画像表示中に、リライブ画像要求の入力を受け付け、リライブ画像をサーバに要求するリライブ画像開始要求ステップ、(21)前記サーバが、前記端末からの、巻戻しライブ画像からのリライブ画像要求を受け付けるリライブ画像受付ステップ、(22)リライブ画像表示中に、カメラからサーバへのカメラ画像取得間隔毎に、リライブ画像をサーバに要求するリライブ画像継続要求ステップ、(23)前記リライブ画像要求毎に、前記端末に前回送信した画像より一定時間分未来の時点の一次データを抽出してリライブ画像として前記端末に送信するリライブ画像送信ステップを含む。 In the monitoring method of the present embodiment, (20) the terminal accepts an input of a relive image request during rewind live image display, and requests a relive image from the server, (21) the server A relive image accepting step for accepting a relive image request from the rewind live image from the terminal; (22) requesting the relive image from the server at every camera image acquisition interval from the camera to the server during the relive image display. A relive image continuation request step; (23) for each relive image request, a relive image transmission step of extracting primary data at a time point that is a certain time in the future from the image previously transmitted to the terminal and transmitting it to the terminal as a relive image. Including.
撮影・編集・送信プログラムと画像表示プログラムとを有する監視カメラシステムのプログラムは、これらのステップをコンピュータに実行させるものである。図を用いて、さらに具体的に説明する。 A surveillance camera system program having a photographing / editing / transmission program and an image display program causes a computer to execute these steps. This will be described more specifically with reference to the drawings.
(カメラとサーバとの接続、撮影から画像編集まで)
図5は、本発明の監視カメラシステムの実施例1におけるカメラとサーバとの接続から画像編集までの手順概要を示すフロー図である。先ず、サーバは、カメラにTCP/IP方式で、接続を要求する。カメラは複数台で構成され、各カメラとサーバはユーザID及びパスワードで認証を行う。サーバの認証用データベースを参照して認証に成功すると、接続状態となる。サーバからカメラに、静止画を撮影し撮影したカメラ画像をJPEG形式でサーバに送信することを要求する。カメラは、画像の要求を受けてスナップショット(静止画)を撮影して、撮影して得られた静止画をJPEG形式でカメラ画像としてTCP/IP方式でサーバに送信する。
(From camera to server, from shooting to image editing)
FIG. 5 is a flowchart showing an outline of a procedure from connection between the camera and the server to image editing in the monitoring camera system according to the first embodiment of the present invention. First, the server requests the camera to connect using the TCP / IP method. A plurality of cameras are configured, and each camera and server authenticates with a user ID and a password. If authentication is successful by referring to the server authentication database, the connection state is established. The server requests the camera to take a still image and send the taken camera image to the server in JPEG format. The camera receives a request for an image, captures a snapshot (still image), and transmits the captured still image as a camera image in the JPEG format to the server using the TCP / IP method.
本実施例では、カメラがJPEG形式の静止画で画像を撮影してサーバに送信するため、カメラが、H.264形式で録画する機能を有しなくても使用できる。また、後述のように、本実施例では、サーバ側で一定時間毎に二次データに動画圧縮変換するため、カメラに動画フォーマットの機能が備わっている必要がない。したがって、カメラは、IPカメラのほか、アナログカメラでもよく、古いカメラも利用でき、コストが削減できる。 In this embodiment, since the camera captures an image with a still image in JPEG format and transmits it to the server, the camera can be used even if it does not have a function of recording in the H.264 format. Further, as will be described later, in this embodiment, since the moving image compression conversion is performed on the server side to the secondary data every predetermined time, it is not necessary for the camera to have a moving image format function. Therefore, the camera may be an analog camera in addition to the IP camera, and an old camera can be used, thereby reducing the cost.
サーバは静止画のカメラ画像を受信すると、カメラ画像をメモリに展開する。さらに、カメラ画像を圧縮して、静止画の一次データを作成する。カメラ画像受信後、一定時間スリープして、接続状態のカメラに、また、静止画を撮影し撮影したカメラ画像をサーバに送信することを要求する。スリープする時間は、10分の1秒、1秒、3秒あるいは60秒等、予め任意で設定する。本実施例では1秒とする。 When the server receives the still camera image, it expands the camera image in the memory. Further, the camera image is compressed to create still data primary data. After receiving the camera image, it sleeps for a certain period of time, and requests the connected camera to send a still image to the server. The sleep time is arbitrarily set in advance, such as 1/10 second, 1 second, 3 seconds, or 60 seconds. In this embodiment, it is 1 second.
図6は、本発明の監視カメラシステムの実施例1における画像データ収集フロー図である。サーバにおけるカメラ画像取得のさらに詳細なフローを示す。サーバはカメラとTCP/IP方式でコネクションを張り、コネクションができたら、一定時間(本実施例では1秒)毎にカメラから静止画像のカメラ画像を取得する。取得ができなかった場合は再度コネクションを張る。取得ができた場合は、カメラ画像をファイルへ保存する。終了信号があるまでカメラ画像の取得を行う。 FIG. 6 is a flowchart of image data collection in the first embodiment of the surveillance camera system of the present invention. A more detailed flow of camera image acquisition in the server is shown. The server establishes a connection with the camera using the TCP / IP method, and when the connection is established, obtains a camera image of a still image from the camera at regular time intervals (1 second in this embodiment). If it cannot be obtained, establish a connection again. If it can be obtained, save the camera image to a file. Camera images are acquired until an end signal is received.
図7は、本発明の監視カメラシステムの実施例1のデータ圧縮フロー図である。一次データから二次データへの動画圧縮変換をするステップである。一次データを作成し始めて一定期間(本実施例では1時間とする)経過したら、一次データが蓄積された一次画像フォルダから、時系列順に一次データのファイルを開き、それぞれを動画の1コマ分のコマ画像として取得する。カメラ画像を1秒に1回取得する場合には、60×60=3600個のファイルが一次画像フォルダにあることになる。コマ画像を取得ごとに軽量化をしてよいかを判断する。予め決めた解像度や画質以上であれば、解像度や画質を落とす。例えば、解像度が640×480dpiであったファイルを320×240dpiの画質に落とす、あるいは画質を90%から60%に落とす等で軽量化を行う。解像度や画質が予め決めた値以下であればそのままとする。次に、一定時間、本実施例では1時間経過したら、1時間分のコマ画像、すなわち本実施例では3600個、を集めて動画の二次データに圧縮変換する。ファイルの終端、すなわち3600個完了に達したら、二次データへの変換の終了を待機し、一次データのファイルをクローズする。
FIG. 7 is a data compression flowchart of
(端末とサーバとの接続、画像表示まで)
図8は、本発明の監視カメラシステムの実施例1における端末とサーバとの接続から画像表示までの手順概要を示すフロー図である。先ず、端末は、ユーザによるサーバへの接続要求を受付け、接続要求が入力されると、サーバにTCP/IP方式で接続を要求する。モバイルの端末では、一部分を携帯電話独自のプロトコルを使用して接続することもある。端末は1又は複数台で構成され、各端末とサーバはユーザID及びパスワードで認証を行う。サーバの認証用データベースを参照し、端末の認証登録がされていない場合は、初回のみ暗号化キーを発行して登録を行い、登録時にユーザIDとパスワードを発行する。認証に成功すると、接続状態となる。
(Until connection of terminal and server, image display)
FIG. 8 is a flowchart showing an outline of the procedure from the connection between the terminal and the server to the image display in the first embodiment of the surveillance camera system of the present invention. First, the terminal receives a connection request to the server from the user, and when the connection request is input, requests the server to connect using the TCP / IP method. In a mobile terminal, a part of the mobile terminal may be connected using a protocol unique to the mobile phone. One or a plurality of terminals are configured, and each terminal and server authenticate with a user ID and a password. If the authentication database of the terminal is not registered by referring to the server authentication database, the encryption key is issued for registration only for the first time, and the user ID and password are issued at the time of registration. When authentication is successful, the connection state is established.
端末は、ユーザからのカメラ一覧要求を受付け、カメラ一覧要求が入力されると、サーバにカメラ一覧要求を送信する。サーバは、カメラ一覧要求を受信すると、要求した端末が監視できるカメラについての権限情報を確認する。サーバは、権限のあるカメラ一覧データを端末に送信する。端末は受信したカメラ一覧データをディスプレイに表示し、ユーザからの、サムネイル画像を表示させるカメラの選択を受け付ける。 The terminal receives the camera list request from the user, and transmits the camera list request to the server when the camera list request is input. When the server receives the camera list request, the server confirms authority information about cameras that can be monitored by the requested terminal. The server transmits authorized camera list data to the terminal. The terminal displays the received camera list data on the display, and accepts selection of a camera for displaying a thumbnail image from the user.
端末は、サムネイル画像を表示させるカメラの選択が入力されると、選択されたカメラの数とディスプレイの画面サイズからサムネイル画像のサイズを計算し、サーバに選択されたカメラのサムネイル画像をサイズ指定で要求する。サーバは、サムネイル画像の要求を受信すると、各カメラから取得してメモリ上に展開された最新のカメラ画像を指定されたサイズに縮小化及び圧縮し、サムネイル画像として、端末へ送信する。端末は送信されたサムネイル画像をディスプレイに表示する。終了信号を確認するまでは、一定時間毎、例えば1秒毎に、繰り返す。 When the selection of the camera to display the thumbnail image is input, the terminal calculates the size of the thumbnail image from the number of selected cameras and the screen size of the display, and specifies the thumbnail image of the selected camera on the server. Request. Upon receiving a request for thumbnail images, the server reduces and compresses the latest camera image acquired from each camera and developed on the memory to a specified size, and transmits the thumbnail image to the terminal as a thumbnail image. The terminal displays the transmitted thumbnail image on the display. Until the end signal is confirmed, the process is repeated at regular intervals, for example, every second.
図9は、本発明の監視カメラシステムの実施例1のライブ画像選択フロー図である。端末は、表示されたサムネイル画像の中からライブ画像を見たいカメラについて、ユーザからの選択を受け付ける。端末は、ライブ画像の再生を表示させるカメラの選択が入力されると、サーバに選択されたカメラのライブ画像を要求する。サーバはライブ画像の要求を受信すると、選択されたカメラから取得してメモリ上に展開された最新のカメラ画像を、ライブ画像として、端末へ送信する。端末は送信されたライブ画像をディスプレイに表示する。ユーザによってカメラの選択が解除されるまで、あるいは再生以外が選択されている間を除き、端末は、カメラでの画像取得タイミング毎に、ライブ画像の要求以降を繰り返す。 FIG. 9 is a live image selection flowchart of the surveillance camera system according to the first embodiment of the present invention. The terminal accepts a selection from the user for a camera that wants to view a live image from the displayed thumbnail images. When the selection of the camera for displaying the reproduction of the live image is input, the terminal requests the live image of the selected camera from the server. When the server receives the request for the live image, the server transmits the latest camera image acquired from the selected camera and developed on the memory as a live image to the terminal. The terminal displays the transmitted live image on the display. The terminal repeats the live image request and subsequent operations at every image acquisition timing of the camera until the user cancels the selection of the camera, or while other than playback is selected.
図10は、本発明の監視カメラシステムの実施例1における端末からの各種要求とサーバからの応答を示す説明図である。端末は、ライブ画像を表示中、ユーザからの巻戻し要求の入力を受け付ける。端末は、巻戻し要求が入力されると、サーバに巻戻し画像を要求する。サーバは巻戻し画像の要求を受信すると、端末に前回送信した画像より、一定時間分過去の時点の一次データを抽出し、巻戻しライブ画像として端末に送信する。本実施例では、一定時間分過去の時点を1秒分過去の時点とし、ライブ画像が1秒毎に取得した画像であるので、最初に巻戻しが入力されたときは、1枚前の一次データが送信される。 FIG. 10 is an explanatory diagram showing various requests from the terminals and responses from the server in the first embodiment of the surveillance camera system of the present invention. The terminal accepts an input of a rewind request from the user while displaying the live image. When a rewind request is input, the terminal requests a rewind image from the server. When the server receives the rewind image request, the server extracts primary data at a certain point in time from a previously transmitted image to the terminal and transmits it to the terminal as a rewind live image. In this embodiment, the time point that is a certain time in the past is set as the time point in the past for 1 second, and the live image is an image acquired every second. Data is sent.
巻戻しが選択されている間中、すなわち、巻戻しライブ画像の表示中は、端末は、サーバに、一定時間毎に巻戻しライブ画像を要求する。その際の一定時間は、ライブ画像の要求間隔より短い一定時間であって、本実施例では0.2秒毎である。したがって、端末には、0.2秒毎に、1秒ずつ前のカメラ画像の一次データから作成された巻戻しライブ画像が表示されることになる。 While the rewind is selected, that is, while the rewind live image is being displayed, the terminal requests the rewind live image from the server at regular intervals. The fixed time at that time is a fixed time shorter than the request interval of the live image, and is 0.2 seconds in this embodiment. Accordingly, the rewind live image created from the primary data of the previous camera image is displayed every 0.2 seconds on the terminal.
さらに、端末は、巻戻しライブ画像表示中に、ユーザからの早送り要求の入力を受け付ける。端末は、早送り要求が入力されると、サーバに早送りライブ画像を要求する。サーバは早送りライブ画像の要求を受信すると、端末に前回送信した画像より、一定時間分未来の時点の一次データを抽出し、早送りライブ画像として端末に送信する。本実施例では、一定時間分未来の時点を1秒分未来の時点とし、ライブ画像が1秒毎に取得した画像であるので、最初に早送り要求が入力されたときは、巻戻しライブ画像として現在表示されている一次データより、1枚未来の一次データが送信される。 Further, the terminal accepts an input of a fast-forward request from the user during rewind live image display. When a fast forward request is input, the terminal requests a fast forward live image from the server. When the server receives the fast-forward live image request, the server extracts primary data of a certain time in the future from the image previously transmitted to the terminal and transmits it to the terminal as a fast-forward live image. In the present embodiment, since a future time of a certain time is a future time of 1 second and a live image is an image acquired every second, when a fast-forward request is input for the first time, a rewind live image is obtained. From the primary data that is currently displayed, the primary data that is one sheet in the future is transmitted.
早送りが選択されている間中、すなわち、早送りライブ画像の表示中は、端末は、サーバに、一定時間毎に巻戻し画像を要求する。その際の一定時間は、ライブ画像の要求間隔より短い一定時間であって、本実施例では0.2秒毎である。したがって、端末には、0.2秒毎に、1秒ずつ前のカメラ画像が表示されることになる。早送りライブ画像が現時点の画像までたどり着いたら、ライブ画像表示に切り替わり、早送りは終了する。 While fast forward is selected, that is, while a fast forward live image is being displayed, the terminal requests a rewind image from the server at regular intervals. The fixed time at that time is a fixed time shorter than the request interval of the live image, and is 0.2 seconds in this embodiment. Therefore, the previous camera image is displayed on the terminal every 0.2 seconds by 1 second. When the fast-forward live image reaches the current image, the live image display is switched to, and the fast-forward is finished.
さらに、端末は、巻戻しライブ画像表示中に、ユーザからのリライブ画像要求の入力を受け付ける。端末は、リライブ要求が入力されると、サーバにリライブ画像を要求する。サーバはリライブ画像の要求を受信すると、端末に前回送信した画像より、一定時間分未来の時点の一次データを抽出し、リライブ画像として端末に送信する。本実施例では、一定時間分未来の時点を1秒分未来の時点とし、ライブ画像が1秒毎に取得した画像であるので、最初に早送り要求が入力されたときは、巻戻しライブ画像として現在表示されている一次データより、1枚未来の一次データが送信される。 Furthermore, the terminal accepts an input of a relive image request from the user while displaying the rewind live image. When the relive request is input, the terminal requests a relive image from the server. When the server receives the request for the relive image, the server extracts primary data at a future time point from the image previously transmitted to the terminal, and transmits it to the terminal as a relive image. In the present embodiment, since a future time of a certain time is a future time of 1 second and a live image is an image acquired every second, when a fast-forward request is input for the first time, a rewind live image is obtained. From the primary data that is currently displayed, the primary data that is one sheet in the future is transmitted.
リライブが選択されている間中、すなわち、リライブ画像の表示中は、端末は、サーバに、一定時間毎にリライブ画像を要求する。その際の一定時間は、ライブ画像の要求間隔と同じ一定時間であって、本実施例では1秒毎である。したがって、端末には、1秒毎に、1秒ずつ前のカメラ画像が表示されることになる。リライブ以外の選択を行うと、リライブは終了する。 While relive is selected, that is, while the relive image is being displayed, the terminal requests the relive image from the server at regular intervals. The fixed time at that time is the same fixed time as the request interval of the live image, and is every second in this embodiment. Therefore, the previous camera image is displayed every second by 1 second on the terminal. If a selection other than relive is made, relive ends.
サーバにおいて、カメラ画像を圧縮して作成された一次データは、一定時間毎、本実施例では1時間毎、に録画サーバで二次データに変換される。タイムスタンプを付して動画に変換して圧縮されるため、データ保存に要する容量は小さくて済む。例えば、Quad−VGA画像にて、1280×960dpiで録画保存した場合のIPカメラ一台のデータ容量は、夜間での撮影に適したカメラにて1秒に1画像取得の場合で1時間で10MB、1カ月で7.2GB、1年で86.4GBで済むので、40台のIPカメラのデータを1年間保存した場合でも3.456TBで済む。VGA画像であれば、640×480dpiで録画保存した場合のIPカメラ一台のデータ容量は、夜間での撮影に適したカメラにて1秒に1画像取得の場合で1時間で8MB、1カ月で5.76GB、1年で69.12GBで済むので、40台のIPカメラのデータを1年間保存した場合でも2.7648TBで済む。したがって、保存データ容量の大幅削減が実現できる。 In the server, the primary data created by compressing the camera image is converted into secondary data by the recording server every fixed time, in this embodiment every hour. Since it is converted into a moving image with a time stamp and compressed, the capacity required for data storage can be small. For example, when a Quad-VGA image is recorded and saved at 1280 × 960 dpi, the data capacity of one IP camera is 10 MB per hour when acquiring one image per second with a camera suitable for night photography. Since 7.2 GB is required for one month and 86.4 GB is required for one year, even if the data of 40 IP cameras are stored for one year, only 3.456 TB is required. If it is a VGA image, the data capacity of one IP camera when recording and saving at 640 x 480 dpi is 8 MB per hour for 1 month when acquiring one image per second with a camera suitable for night photography. Therefore, even if the data of 40 IP cameras are stored for one year, it is only 2.7648 TB. Therefore, the storage data capacity can be greatly reduced.
{効果}
本実施例は、かかる構成であるため、高画質の再生やライブ画像の巻戻しが手軽にでき、かつデータ量が小さく低コスト化を可能とする。
{effect}
Since the present embodiment has such a configuration, high-quality image reproduction and live image rewinding can be easily performed, the amount of data is small, and the cost can be reduced.
詳細には、本実施例では、静止画で送信しているので、撮影中のライブ画像の再生中に、即時に、現時点の画像からの巻戻し及びリライブ再生、さらには現時点の画像への早送りができる。何らかの理由で撮影できなかった時点が生じても、本実施例では、欠損した時点の静止画を、一つ前時点の静止画をコピーしたもので補うため、低コストでコマ落ちのない再生を可能とする。また、ライブ画像において問題が発見された時、すぐその場で、巻戻してリライブ再生で見直すことができる。 Specifically, in the present embodiment, since the still image is transmitted, during playback of the live image being shot, rewind and relive playback from the current image, and fast forward to the current image are immediately performed. Can do. Even if there is a point in time when shooting was not possible for some reason, in this embodiment, the still image at the time of loss is supplemented with a copy of the still image at the previous point in time. Make it possible. In addition, when a problem is found in a live image, it can be immediately rewound and reviewed by relive playback.
本実施例では、カメラから録画サーバへ動画でなく静止画が送られ、サーバ主導で撮影・静止画保存・再生画像送出が行われるので、通信するデータ量は小さくなる。したがって、通信網へ負荷がかからず、トラフィックの混雑が生じにくい。トラフィックが常に安定するために多くのカメラをサーバー1台で管理することができる。本実施例によれば、カメラ画像は、取得して一定時間内は、画像を圧縮して一次データとするため、データ容量が小さく、カメラやユーザが多数であっても必要容量が小さく、サーバ数が少なくて済む。例えば、1つのサーバで50台以上のカメラの接続が可能である。また、一次データは、サーバにおいて、一定時間経過するとまとめて動画圧縮変換され保存するため、データ容量が小さくて済み、したがって長期保存も可能となる。動画に比べ格段にデータ量が小さく、高い解像度で送出することができ、鮮明な画像で再生できる。H.264に変換することにより、例えば、Motion JPEGと比べて80%以上、MPEG−4と比べて50%以上も、保存容量を削減できる。また、IPカメラだけでなく、変換機を利用することでアナログカメラも併用が可能である。 In this embodiment, a still image, not a moving image, is sent from the camera to the recording server, and shooting / still image storage / replayed image transmission is performed under the initiative of the server. Therefore, no load is applied to the communication network, and traffic congestion hardly occurs. Many cameras can be managed by one server so that traffic is always stable. According to the present embodiment, since a camera image is acquired and compressed into a primary data within a certain period of time, the data capacity is small, and the required capacity is small even if there are many cameras and users. The number is small. For example, 50 or more cameras can be connected to one server. In addition, since the primary data is compressed and converted into a moving image and stored together after a predetermined time in the server, the data capacity is small, so that long-term storage is possible. Compared to moving images, the amount of data is much smaller, and the data can be sent out at a higher resolution, and can be reproduced with clear images. By converting to H.264, the storage capacity can be reduced by, for example, 80% or more compared to Motion JPEG and 50% or more compared to MPEG-4. Further, not only an IP camera but also an analog camera can be used by using a converter.
スマートフォンなどの端末で再生する際に、再生などの操作を行ってから実行されるまでに時間がかからないため、ストレスなく再生でき、また、トラブル発見がすぐできる。複数のカメラをモニターする場合でもスマートフォンで、手軽に、かつスムーズに再生でき、場所を移動しながらの作業の傍らでチェックするということが容易にできる。本実施例では、撮影した静止画を順次リアルタイムで送信し、かつ、巻戻し等の操作時には撮影した静止画を圧縮した静止画を順次送信し、さらに、過去分の再生等には、静止画から圧縮変換してデータを軽くして作成しておいた動画を用いるということを組合わせているため、便利かつ簡単でありながら、データ容量が少なくて済む。 When playing back on a device such as a smartphone, it takes no time to perform playback and other operations, so it can be played back without stress, and trouble can be found immediately. Even when monitoring multiple cameras, it can be played back easily and smoothly with a smartphone, making it easy to check alongside work while moving from place to place. In this embodiment, the captured still images are sequentially transmitted in real time, and at the time of operations such as rewinding, the still images obtained by compressing the captured still images are sequentially transmitted. Is combined with the use of a moving image that has been created by compressing and converting the data to make the data lighter.
本実施例によれば、画像を再生する端末側は、持ち運びできてリアルタイムの再生や巻戻しなどが、すぐその場でスムーズにできるため、現場での検証も容易にできる。さらに、本実施例によれば、高機能と低コスト化を、ともに実現でき、また電力も抑制できエコロジーである。例えば、カメラ100台で撮影する場合、消費電力量においても二酸化炭素排出量においても、従来の約3分の1で済む。巻戻しにおいて、表示間隔が再生よりも短くなるだけでコマ飛ばしをしないため、巻戻し中の画像に漏れがなく、したがってチェック漏れが防止でき、またライブ画像再生に比べて画像が飛び飛びになっているような違和感がない。 According to the present embodiment, the terminal that reproduces the image can be carried and real-time reproduction and rewinding can be performed smoothly on the spot, so that verification at the site can be facilitated. Furthermore, according to the present embodiment, both high functionality and low cost can be realized, and power can be suppressed, which is ecological. For example, when shooting with 100 cameras, both the power consumption and the carbon dioxide emission are about one-third of the conventional one. In rewinding, the display interval is shorter than playback and frame skipping is not performed, so there is no omission in the image being rewinded, so check omission can be prevented, and the image is skipped compared to live image playback. There is no sense of incongruity.
本実施例は、ネットワークで接続されている地方工場内の製造ラインに取り付けられた監視用カメラの画像を本社の管理部門の担当者や各工場の責任者のスマートフォンに送信して管理することにより、稼働状況の監視のみならず、製造ライン間や各工場の連携にも利用できる。利用可能なシーンは幅広く、配送センターのように広大な敷地内のセキュリティや配送状況管理にも利用でき、配送物の紛失や積み忘れのチェック、また、マンション等の集合住宅におけるエントランスや通用口等を管理人や住人が管理室等決まった部屋にいなくてもチェックすることを可能にでき、個人宅、商店、街頭各所などのセキュリティ目的や、通行人数等の調査目的にも利用可能である。本実施例によれば、携帯端末にて遠隔でモニター確認中にトラブルが発覚した際、現場に急行し到着して直ぐに携帯端末の巻戻してリライブ画像を見ながら、的確で迅速な対応を可能とする。 In this embodiment, the images of the surveillance cameras attached to the production lines in the local factories connected by the network are sent to the managers of the headquarters' management department and the smartphones of the managers of the factories for management. It can be used not only for monitoring the operation status but also for cooperation between production lines and factories. There are a wide range of scenes available, which can be used for security and delivery status management in a vast site like a delivery center, check for lost or forgotten deliveries, and entrances and entrances in condominiums such as condominiums Can be checked even if the manager or resident is not in a fixed room such as a management room, and can also be used for security purposes such as private houses, shops, street locations, etc., and for survey purposes such as the number of people passing by . According to this embodiment, when a trouble is detected while checking a monitor remotely on a mobile terminal, it is possible to respond accurately and promptly while rewinding the mobile terminal as soon as it arrives on the spot and arriving at the site and watching the relive image. And
カメラが多数であっても、全ての同一のネットワーク上に設置することができ、1台のサーバで多数のカメラを制御できる。 Even if there are many cameras, they can be installed on all the same networks, and a large number of cameras can be controlled by one server.
カメラから端末へデータを送信する際にパケット紛失が起きにくく、データ転送量が少なくて済む。したがって、インターネット回線(WAN)越しのクラウドサーバでのデータ蓄積が可能となる。 When transmitting data from the camera to the terminal, packet loss is unlikely to occur and the amount of data transfer is small. Therefore, data can be stored in the cloud server over the Internet line (WAN).
本実施例によれば、カメラ側から静止画にて画像を取得して、録画サーバー側で、高圧縮動画ファイルに変換(H.264形式で変換)を行うので、カメラ側に保存したい動画フォーマットの機能が備わっていなくても、録画サーバー側で変換することが可能となる。さらに、画像収集時のデータを、まずは、頻繁に見る可能性があるデータとして、高解像度の一時保存データで保存して、一定期間を経過すると解像度を低くしたり画質を軽量化したりするなどして長期保存データに変換することで、保存期間のさらなる延長が可能となる。 According to this embodiment, a still image is acquired from the camera side and converted into a high-compression video file (converted in H.264 format) on the recording server side. Even if the function is not provided, it is possible to convert on the recording server side. Furthermore, the data at the time of image collection is first saved as high-resolution temporarily stored data as data that may be frequently viewed, and after a certain period of time, the resolution is reduced or the image quality is reduced. By converting to long-term storage data, the storage period can be further extended.
なお、本発明は、上記実施の形態に限定されず、その発明の趣旨を逸脱しない範囲で種々と変形実施が可能である。また、上記各実施の形態の構成要素を発明の趣旨を逸脱しない範囲で任意に組み合わせることができる。 The present invention is not limited to the above embodiment, and various modifications can be made without departing from the spirit of the invention. In addition, the constituent elements of the above embodiments can be arbitrarily combined without departing from the spirit of the invention.
100 録画サーバ
101 CPU
102 メモリ
103 ディスプレイ
104 ネットワークインターフェース
105 キーボード
106 マウス
110 記憶装置
111 一次画像フォルダ
112 二次画像フォルダ
113 撮影・編集・送信プログラム
114 オペレーティングシステム
200 モバイル端末
201 CPU
202 メモリ
203 ディスプレイ
210 記憶装置
213 画像表示プログラム
214 オペレーティングシステム
300 閲覧PC
301 CPU
302 メモリ
303 ディスプレイ
305 キーボード
306 マウス
310 磁気ディスク
313 画像表示プログラム
314 オペレーティングシステム
400 監視用カメラ
500 ネットワーク
600 ルータ
100 Recording server 101 CPU
102 Memory 103 Display 104 Network Interface 105 Keyboard 106 Mouse 110 Storage Device 111 Primary Image Folder 112 Secondary Image Folder 113 Shooting / Editing / Transmission Program 114
202
301 CPU
302 Memory 303 Display 305 Keyboard 306 Mouse 310 Magnetic disk 313 Image display program 314 Operating system 400 Surveillance camera 500 Network 600 Router
Claims (1)
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015114512A JP5896438B2 (en) | 2015-06-05 | 2015-06-05 | Surveillance camera system and monitoring method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015114512A JP5896438B2 (en) | 2015-06-05 | 2015-06-05 | Surveillance camera system and monitoring method |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011188063A Division JP5854194B2 (en) | 2011-08-31 | 2011-08-31 | Surveillance camera system and monitoring method |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2015173506A JP2015173506A (en) | 2015-10-01 |
JP5896438B2 true JP5896438B2 (en) | 2016-03-30 |
Family
ID=54260510
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015114512A Active JP5896438B2 (en) | 2015-06-05 | 2015-06-05 | Surveillance camera system and monitoring method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5896438B2 (en) |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003219415A (en) * | 2002-01-23 | 2003-07-31 | Toyo Commun Equip Co Ltd | Photographed image providing system |
JP4238507B2 (en) * | 2002-02-25 | 2009-03-18 | カシオ計算機株式会社 | Movie creation system and movie creation method |
JP4110296B2 (en) * | 2003-03-31 | 2008-07-02 | 富士フイルム株式会社 | Camera theft prevention method and imaging system |
JP4692138B2 (en) * | 2005-08-08 | 2011-06-01 | 株式会社メガチップス | Pan / tilt function-equipped network camera viewing method from a mobile terminal and pan / tilt function-equipped network camera |
JP2008010955A (en) * | 2006-06-27 | 2008-01-17 | Canon Inc | Network camera system |
JP2008198135A (en) * | 2007-02-15 | 2008-08-28 | Sony Corp | Information delivery system, information delivery device and information delivery method |
US8411168B2 (en) * | 2008-09-16 | 2013-04-02 | Panasonic Corporation | Imaging apparatus and video data creating method |
-
2015
- 2015-06-05 JP JP2015114512A patent/JP5896438B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
JP2015173506A (en) | 2015-10-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5854194B2 (en) | Surveillance camera system and monitoring method | |
TWI760328B (en) | Animation dividing device and monitoring method | |
JP6357185B2 (en) | Surveillance camera system and monitoring method | |
JP6416465B2 (en) | Image monitoring system and image transmission method | |
JP6284172B1 (en) | Screen image transfer method, image restoration method, screen image transfer system, image restoration system, screen image transfer program, image restoration program, image compression method, image compression system, image compression program | |
JP6261020B2 (en) | Screen image transfer method and screen image restoration method | |
JP5896438B2 (en) | Surveillance camera system and monitoring method | |
JP6453281B2 (en) | Surveillance camera system, information processing apparatus, information processing method, and program | |
JP6446006B2 (en) | Surveillance camera system, moving image browsing method and moving image combination method in surveillance camera system | |
JP6363130B2 (en) | Surveillance method, difference image creation method, image restoration method, and difference detection apparatus in surveillance camera system | |
JP6357188B2 (en) | Surveillance camera system and surveillance camera data storage method | |
TW201824850A (en) | Monitoring camera system | |
JP2018174573A (en) | Monitoring method, difference image creating method, image restoring method, and difference detecting apparatus in monitoring camera system | |
JP2012039284A (en) | Moving image compression apparatus, moving image distribution system, moving image compression program, recording medium, and moving image compression method | |
JP2018110404A (en) | Screen image transfer method, image decompression method, screen image transfer system, image decompression system, screen image transfer program, image decompression program, image compression method, image compression system, and image compression program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A975 | Report on accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A971005 Effective date: 20150911 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20150930 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20151111 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20160218 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20160224 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5896438 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
R360 | Written notification for declining of transfer of rights |
Free format text: JAPANESE INTERMEDIATE CODE: R360 |
|
R360 | Written notification for declining of transfer of rights |
Free format text: JAPANESE INTERMEDIATE CODE: R360 |
|
R371 | Transfer withdrawn |
Free format text: JAPANESE INTERMEDIATE CODE: R371 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |