JP6403551B2 - VIDEO RECORDING CONTROL DEVICE, VIDEO RECORDING CONTROL METHOD, AND CCTV SYSTEM - Google Patents

VIDEO RECORDING CONTROL DEVICE, VIDEO RECORDING CONTROL METHOD, AND CCTV SYSTEM Download PDF

Info

Publication number
JP6403551B2
JP6403551B2 JP2014237898A JP2014237898A JP6403551B2 JP 6403551 B2 JP6403551 B2 JP 6403551B2 JP 2014237898 A JP2014237898 A JP 2014237898A JP 2014237898 A JP2014237898 A JP 2014237898A JP 6403551 B2 JP6403551 B2 JP 6403551B2
Authority
JP
Japan
Prior art keywords
video
video frame
recording
frame
power
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2014237898A
Other languages
Japanese (ja)
Other versions
JP2016100829A (en
Inventor
裕志 笠原
裕志 笠原
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Priority to JP2014237898A priority Critical patent/JP6403551B2/en
Publication of JP2016100829A publication Critical patent/JP2016100829A/en
Application granted granted Critical
Publication of JP6403551B2 publication Critical patent/JP6403551B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Description

この発明は、映像記録再生装置に、撮像装置の撮像した映像を記録させるための制御を行う映像記録制御装置、映像記録制御方法、および、CCTVシステムに関するものである。   The present invention relates to a video recording control apparatus, a video recording control method, and a CCTV system for controlling a video recording / playback apparatus to record a video captured by an imaging apparatus.

近年、カメラなどの撮像装置とレコーダなどの映像記録再生装置をネットワークで接続し、撮像装置から映像フレームをパケットデータで送出し、映像記録再生装置でそのパケットデータを受信したのち、映像フレームを組み立てて記録、再生するCCTVシステム(Closed Circuit Television System)が一般的となってきている。また、撮像装置の電源はPoE(Power on Ethernet/Ethernetは登録商標。以下記載を省略する)により供給し、映像記録再生装置の電源と分離されている構成も多い。
従って、電源断が発生した時に映像記録再生装置のみが停止し、撮像装置は動作継続が可能ということが起こり得る。映像記録再生装置のみ停止した場合、撮像装置が継続して動作し、映像フレームが送出されているにも関わらず、その記録処理が途絶え、結果として撮像装置の撮像映像の記録が失われる。
In recent years, an imaging device such as a camera and a video recording / playback device such as a recorder are connected via a network, a video frame is transmitted from the imaging device as packet data, and the packet data is received by the video recording / playback device, and then the video frame is assembled. The CCTV system (Closed Circuit Television System) that records and reproduces data is becoming popular. Further, the power supply of the image pickup apparatus is supplied by PoE (Power on Ethernet / Ethernet is a registered trademark; the description is omitted below) and is often separated from the power supply of the video recording / reproducing apparatus.
Therefore, when the power is cut off, only the video recording / reproducing apparatus is stopped, and the imaging apparatus can continue to operate. When only the video recording / reproducing apparatus is stopped, the imaging apparatus continues to operate and the recording process is interrupted even though the video frame is transmitted, and as a result, the recording of the captured video of the imaging apparatus is lost.

そこで、従来から、映像記録再生装置が停止し、撮像装置からの映像フレームの記録処理が途絶えてしまった場合でも、映像記録再生装置において、再生時の画像乱れを抑制させる映像フレームの記録技術、あるいは、映像記録再生装置において、撮像装置の撮像映像を消失させないようにする技術が開示されている。   Therefore, conventionally, even when the video recording / reproducing apparatus is stopped and the recording process of the video frame from the imaging apparatus is interrupted, the video recording / reproducing apparatus suppresses image disturbance at the time of reproduction, Alternatively, there is disclosed a technique for preventing an image captured by an image capturing apparatus from being lost in the image recording / reproducing apparatus.

例えば、特許文献1には、映像記録再生装置における電源断が発生し、不完全な映像フレームが記録された場合に、当該不完全な映像フレームを削除することで、映像記録再生装置において撮像装置からの映像フレームの記録処理が途絶えてしまった場合でも、不完全なフレームの再生を回避して再生映像の乱れを防止する技術が開示されている。
また、例えば、特許文献2には、映像記録再生装置における電源断等による通信障害が発生したことを撮像装置が検知した場合に、撮像装置からの監視データが消失することに備え、映像記録再生装置が停止している間、撮像装置で一時的に監視データを記録し、映像記録再生装置の復帰後、その監視データを映像記録再生装置が回収することで、撮像装置の監視データを消失させないようにする技術が開示されている。また、撮像装置において監視データを記録する際には、撮像装置と映像記録再生装置がそれぞれ保有する時刻の誤差を考慮して、監視データを記録する技術が開示されている。
For example, Patent Document 1 discloses that when a power failure occurs in a video recording / reproducing apparatus and an incomplete video frame is recorded, the incomplete video frame is deleted, whereby the imaging apparatus is used in the video recording / reproducing apparatus. Even when the recording process of video frames from the video is interrupted, a technique for preventing the playback video from being disturbed by preventing the playback of incomplete frames is disclosed.
Also, for example, in Patent Document 2, video recording / playback is provided in preparation for loss of monitoring data from the imaging device when the imaging device detects that a communication failure has occurred due to a power failure or the like in the video recording / playback device. While the device is stopped, the monitoring data is temporarily recorded by the imaging device, and after the video recording / reproducing device is restored, the monitoring data is collected by the video recording / reproducing device so that the monitoring data of the imaging device is not lost. Techniques for doing so are disclosed. In addition, a technique for recording monitoring data in consideration of an error in time held by each of the imaging apparatus and the video recording / reproducing apparatus when monitoring data is recorded in the imaging apparatus is disclosed.

国際公開第2009/050894号International Publication No. 2009/050894 特開2009−260838号公報JP 2009-260838 A

しかしながら、特許文献1に開示されているような技術では、電源断時に破損した不完全な映像フレームを削除し、不完全な映像フレームの再生を回避できるようにすることで、再生乱れは抑えられるが、映像記録再生装置の電源断中に撮像装置で撮像した映像フレームは消失したままであるという課題があった。
これに対し、特許文献2では、映像記録再生装置の復帰後、撮像装置で記録した監視データを記録することで、撮像装置の監視データを消失させないようにしているが、映像記録再生装置に記録している監視データと、撮像装置から取得した監視データの接続部分で乱れが生じるという課題があった。すなわち、特許文献2では、撮像装置からの監視データの記録の際に時刻の誤差を考慮するようにはしているが、映像記録再生装置と撮像装置の間には時刻を保有するためのクロック発信器の精度差があるため、時刻の誤差だけを考慮するのでは、映像フレーム精度まで合致した監視データを記録することは困難であり、その結果、映像記録再生装置に記録している監視データと、撮像装置から取得した監視データの接続部分で乱れが生じるという課題があった。
However, with the technique disclosed in Patent Document 1, playback disturbance can be suppressed by deleting an incomplete video frame that is damaged when the power is turned off to avoid playback of the incomplete video frame. However, there is a problem that a video frame captured by the imaging device while the power of the video recording / reproducing device is turned off remains lost.
On the other hand, in Patent Document 2, after the video recording / reproducing apparatus is restored, the monitoring data recorded by the imaging apparatus is recorded so that the monitoring data of the imaging apparatus is not lost. There is a problem that disturbance occurs in the connection portion between the monitoring data being monitored and the monitoring data acquired from the imaging device. That is, in Patent Document 2, an error in time is taken into account when monitoring data is recorded from the imaging device, but a clock for holding the time between the video recording / reproducing device and the imaging device. Because there is a difference in the accuracy of the transmitter, it is difficult to record the monitoring data that matches the video frame accuracy if only the time error is taken into account. As a result, the monitoring data recorded in the video recording / playback device And the subject that disorder arises in the connection part of the monitoring data acquired from the imaging device occurred.

この発明は上記のような課題を解決するためになされたもので、電源断により撮像装置からの映像の記録が停止した間の映像フレームを補うため、当該記録の停止中に撮像装置に記録させた映像フレームを映像記録再生装置の停止期間中の映像として、すでに記録済みの映像フレームと接続する際に、接続前後で乱れのない滑らかな記録映像を得ることができるような映像フレームを抽出する映像記録制御装置、映像記録制御方法、および、当該映像記録制御装置と映像記録再生装置と撮像装置とを備えたCCTVシステムを得ることを目的としている。   The present invention has been made to solve the above-described problems. In order to compensate for a video frame during which video recording from the imaging device is stopped due to power interruption, the imaging device is recorded while the recording is stopped. Video frames that can be obtained as uninterrupted smooth recorded video before and after connection as connected video frames that have already been recorded as video during a video recording / playback device stop period It is an object to obtain a video recording control apparatus, a video recording control method, and a CCTV system including the video recording control apparatus, a video recording / reproducing apparatus, and an imaging apparatus.

この発明に係る映像記録制御装置は、撮像装置から受信した映像フレームを記録する映像記録再生装置に対する電源供給状態を監視する電源監視部と、電源監視部により電源断となることが検出された場合、撮像装置に対して映像フレームの記録開始を指示する記録開始信号を送信し、電源断後に電源監視部により電源復帰が検出された場合、電源断によって映像記録再生装置が映像フレームを記録できなかった未記録期間を算出し、撮像装置に対して映像フレームの記録停止を指示する記録停止信号を送信する電源断時制御部と、電源復帰が検出された場合、撮像装置が記録開始信号を受信してから記録停止信号を受信するまでの間に記録した映像フレームを撮像装置から取得し、当該映像フレームから、映像記録再生装置が電源断前に記録した最後の映像フレームとの相関度に基づき検出した第1の映像フレームと映像記録再生装置が電源復帰後に記録した最初の映像フレームとの相関度に基づき検出した第2の映像フレームとの間の映像フレームを、未記録期間の映像フレームとして抽出する未記録映像抽出部とを備えたものである。   When the video recording control device according to the present invention detects that the power supply monitoring unit for monitoring the power supply state to the video recording / reproducing device for recording the video frame received from the imaging device and that the power supply monitoring unit turns off the power supply When a power supply monitoring unit detects a power recovery after sending a recording start signal instructing the imaging device to start recording a video frame, the video recording / playback device cannot record a video frame due to power failure In addition, the power-off control unit that calculates the unrecorded period and transmits a recording stop signal instructing the imaging device to stop recording video frames, and when the power recovery is detected, the imaging device receives the recording start signal. Video frames recorded from when the recording stop signal is received until the recording stop signal is received from the imaging device. Between the first video frame detected based on the degree of correlation with the last video frame and the second video frame detected based on the degree of correlation between the first video frame recorded by the video recording / playback apparatus after the power is restored. An unrecorded video extraction unit that extracts a video frame as a video frame in an unrecorded period is provided.

この発明によれば、電源断により撮像装置からの映像の記録が停止した間の映像フレームを補うため、当該記録の停止中に撮像装置に記録させた映像フレームを映像記録再生装置の停止期間中の映像として、すでに記録済みの映像フレームと接続する際に、接続前後で乱れのない滑らかな記録映像を得ることができるような映像フレームを抽出することができる。   According to the present invention, in order to compensate for the video frame while the recording of the video from the imaging device is stopped due to the power interruption, the video frame recorded in the imaging device during the recording is stopped during the stop period of the video recording / reproducing device. When connecting to a video frame that has already been recorded, a video frame that can obtain a smooth recorded video without disturbance before and after connection can be extracted.

この発明の実施の形態1に係る映像記録再生装置を備えたCCTVシステムの概略を示す図である。It is a figure which shows the outline of the CCTV system provided with the video recording / reproducing apparatus concerning Embodiment 1 of this invention. この発明の実施の形態1に係るレコーダの構成図である。It is a block diagram of the recorder which concerns on Embodiment 1 of this invention. 電源断が発生した場合の制御部における処理内容を時系列に説明する図である。It is a figure explaining the processing content in the control part at the time of a power failure occurring in time series. 電源からの出力電圧が閾値以下となったことで電源断となることが検出され、電源監視部から電源断予告信号を受信してから、実際に電源断となってレコーダの動作が停止するまでの電源断時制御部の動作を説明するフローチャートである。From when it is detected that the power supply is cut off because the output voltage from the power supply has fallen below the threshold, and after receiving the power-off notice signal from the power supply monitoring unit, until the recorder is stopped due to actual power-off It is a flowchart explaining operation | movement of the control part at the time of a power-off. レコーダにおいて、電源断により動作を停止した後、電源復帰してから通常時の動作に戻るまでの制御部の動作を説明するフローチャートである。6 is a flowchart for explaining the operation of the control unit in the recorder from when the operation is stopped due to a power interruption, after returning from the power supply to returning to the normal operation. レコーダの時刻とカメラの時刻とがずれていない状態での、未記録映像抽出部による、開始フレーム一致検索期間および終了フレーム一致検索期間決定方法を説明する図である。It is a figure explaining the start frame coincidence search period and end frame coincidence search period determination method by the unrecorded video extraction part in the state where the time of a recorder and the time of a camera are not shifted. カメラの時刻がレコーダの時刻に対して遅れている場合の、未記録映像抽出部による開始フレーム一致検索期間および終了フレーム一致検索期間決定方法を説明する図である。It is a figure explaining the start frame coincidence search period and end frame coincidence search period determination method by an unrecorded image extraction part when the camera time is late with respect to the recorder time. カメラの時刻がレコーダの時刻に対して進んでいる場合の、未記録映像抽出部による開始フレーム一致検索期間および終了フレーム一致検索期間決定方法を説明する図である。It is a figure explaining the determination method of the start frame coincidence search period and the end frame coincidence search period by the unrecorded video extraction unit when the camera time is advanced with respect to the recorder time. 未記録映像抽出部における、カメラ映像取得期間G決定処理の概要を説明する図である。It is a figure explaining the outline | summary of the camera video acquisition period G determination process in an unrecorded video extraction part. 開始フレーム一致検索期間および終了フレーム一致検索期間においてフレームパターンマッチングを行って、HDDに記録された映像フレームとカメラで記録された映像フレームとの相関度を算出し、相関度(フレームパターンマッチ度)を表わす値をプロットしたグラフである。Frame pattern matching is performed in the start frame match search period and end frame match search period to calculate the correlation between the video frame recorded on the HDD and the video frame recorded by the camera, and the correlation (frame pattern match) It is the graph which plotted the value showing. 開始フレーム一致検索期間および終了フレーム一致検索期間においてフレームパターンマッチングを行って、HDDに記録された映像フレームとカメラで記録された映像フレームとの相関度を算出した結果、最高点の間隔Hの長さが、未記録期間Dの長さより長い場合の、未記録映像抽出部によるカメラ映像取得期間Gの決定方法について説明する図である。As a result of calculating the degree of correlation between the video frame recorded on the HDD and the video frame recorded by the camera by performing frame pattern matching in the start frame match search period and the end frame match search period, the length of the highest point interval H is calculated. FIG. 6 is a diagram for describing a method for determining a camera video acquisition period G by an unrecorded video extraction unit when the length is longer than the length of an unrecorded period D. 開始フレーム一致検索期間および終了フレーム一致検索期間においてフレームパターンマッチングを行って、HDDに記録された映像フレームとカメラで記録された映像フレームとの相関度を算出した結果、最高点の間隔Hの長さが、未記録期間Dの長さより短い場合の、未記録映像抽出部によるカメラ映像取得期間Gの決定方法について説明する図である。As a result of calculating the degree of correlation between the video frame recorded on the HDD and the video frame recorded by the camera by performing frame pattern matching in the start frame match search period and the end frame match search period, the length of the highest point interval H is calculated. FIG. 6 is a diagram for describing a method for determining a camera video acquisition period G by an unrecorded video extraction unit when the length is shorter than the length of an unrecorded period D. 実施の形態2における、未記録映像抽出部による、開始フレーム一致検索期間のフレームパターンマッチングの一例を説明する図である。10 is a diagram illustrating an example of frame pattern matching in a start frame match search period by an unrecorded video extraction unit in Embodiment 2. FIG. 図13に示すフレームパターンマッチングを行った結果を説明する図である。It is a figure explaining the result of having performed the frame pattern matching shown in FIG. 実施の形態3において、レコーダの未記録期間Dの長さが、最高点の間隔Hの長さより長い場合の、カメラからの映像フレームの取得処理を説明する図である。In Embodiment 3, it is a figure explaining the acquisition process of the video frame from a camera in case the length of the unrecorded period D of a recorder is longer than the length of the space | interval H of the highest point. 実施の形態3において、レコーダの未記録期間Dの長さが、最高点の間隔Hの長さより短い場合の、カメラからの映像フレームの取得処理を説明する図である。In Embodiment 3, it is a figure explaining the acquisition process of the video frame from a camera when the length of the unrecorded period D of a recorder is shorter than the length of the space | interval H of the highest point.

以下、この発明の実施の形態について、図面を参照しながら詳細に説明する。
実施の形態1.
図1は、この発明の実施の形態1に係る映像記録再生装置(以下、レコーダとする)16を備えたシステム(以下、CCTVシステム)1の概略を示す図である。
図1に示すように、CCTVシステムは、n台(nは1以上の整数)の撮像装置(以下、カメラとする)10−1,10−2,・・・,10−nと、レコーダ16とが、伝送路11−1,11−2,・・・,11−n、PoEハブ12、伝送路15を介して接続される。
Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings.
Embodiment 1 FIG.
FIG. 1 is a diagram schematically showing a system (hereinafter referred to as a CCTV system) 1 including a video recording / reproducing apparatus (hereinafter referred to as a recorder) 16 according to Embodiment 1 of the present invention.
As shown in FIG. 1, the CCTV system includes n imaging devices (hereinafter referred to as cameras) 10-1, 10-2,. Are connected via the transmission lines 11-1, 11-2,..., 11-n, the PoE hub 12, and the transmission line 15.

カメラ10−i(iは1以上n以下の整数)は、撮像した映像を圧縮し、映像フレームをパケット化して伝送路11−iに送出する。また、カメラ10−iは、内部に記録領域を有し、レコーダ16からの制御により、撮像した映像の記録、および、記録した映像の映像フレームの送出を行う。送出する映像フレームには、その映像を撮像した時刻を、自身が保有する時刻に則ってタイムスタンプとして付与する。レコーダ16からの制御の詳細については後述する。
なお、カメラ10−iでは、通常時においては、映像の記録はしていないものとする。
また、図1に示すCCTVシステムにおいて、カメラ10−iは、1台以上であればよい。
The camera 10-i (i is an integer between 1 and n) compresses the captured video, packetizes the video frame, and sends it to the transmission line 11-i. In addition, the camera 10-i has a recording area inside, and performs recording of a captured video and transmission of a video frame of the recorded video under the control of the recorder 16. The video frame to be sent is given the time when the video was captured as a time stamp in accordance with the time it owns. Details of the control from the recorder 16 will be described later.
In the camera 10-i, it is assumed that no video is recorded during normal operation.
Further, in the CCTV system shown in FIG. 1, the number of cameras 10-i may be one or more.

伝送路11−iは、カメラ10−iからのデータ送出や、レコーダ16からカメラ10−iへの制御データ、あるいはカメラ10−iがPoEハブ12から給電を受けるための伝送路であり、例えばEthernetである。
PoEハブ12は、カメラ10−iからの伝送路11−iを収容し、伝送路15(例えばEthernet)を通じてレコーダ16と接続するPoE(Power on Ethernet)給電機能付きスイッチングハブである。PoEハブ12は、コード13を通じて電源14に接続され、電源14から、動作に必要な電力を得る。また、PoEハブ12は、カメラ10−iに対してPoE給電を行い、カメラ10−iはPoEハブ12からのPoE給電により、伝送路11−iを通じて動作に必要な電力を得る。
レコーダ16は、コード17を通じて電源18に接続され、電源18から、動作に必要な電力を得る。
The transmission path 11-i is a transmission path for data transmission from the camera 10-i, control data from the recorder 16 to the camera 10-i, or for the camera 10-i to receive power from the PoE hub 12, for example. Ethernet.
The PoE hub 12 is a switching hub with a PoE (Power on Ethernet) feeding function that accommodates the transmission path 11-i from the camera 10-i and is connected to the recorder 16 through the transmission path 15 (for example, Ethernet). The PoE hub 12 is connected to a power source 14 through a cord 13 and obtains power necessary for operation from the power source 14. The PoE hub 12 supplies PoE power to the camera 10-i, and the camera 10-i obtains power necessary for operation through the transmission line 11-i by PoE power supply from the PoE hub 12.
The recorder 16 is connected to the power source 18 through the cord 17 and obtains power necessary for operation from the power source 18.

図2は、この発明の実施の形態1に係るレコーダ16の構成図である。
図2に示すように、レコーダ16は、受信端子20、送信端子21、受信部22、送信部23、制御部24、電源監視部25、表示処理部26、映像出力端子27、電源入力端子28、時刻保持部29、フラッシュメモリ30、HDD31を備える。
また、制御部24は、記録処理部241、映像表示制御部242、電源断時制御部243、未記録映像抽出部244を備える。また、時刻保持部29は、リアルタイムクロック291とバッテリ292とを備える。
なお、制御部24、電源監視部25で、映像記録制御部100を構成する。
FIG. 2 is a configuration diagram of the recorder 16 according to the first embodiment of the present invention.
As shown in FIG. 2, the recorder 16 includes a reception terminal 20, a transmission terminal 21, a reception unit 22, a transmission unit 23, a control unit 24, a power supply monitoring unit 25, a display processing unit 26, a video output terminal 27, and a power supply input terminal 28. A time holding unit 29, a flash memory 30, and an HDD 31.
The control unit 24 includes a recording processing unit 241, a video display control unit 242, a power-off control unit 243, and an unrecorded video extraction unit 244. The time holding unit 29 includes a real time clock 291 and a battery 292.
The control unit 24 and the power supply monitoring unit 25 constitute the video recording control unit 100.

受信端子20,送信端子21は、いずれも伝送路15に接続するための端子であり、PoEハブ12を介してカメラ10−iとの送受信を行う。
受信部22は、受信端子20より入力されたカメラ10−iのパケット化された映像フレームから、カメラ10−iが撮像した映像フレームを組み立てて、制御部24へ出力する。
送信部23は、制御部24により生成されたカメラ10−iに対する制御情報のパケットを生成し、送信端子21より出力する。
The reception terminal 20 and the transmission terminal 21 are both terminals for connection to the transmission path 15, and perform transmission / reception with the camera 10-i via the PoE hub 12.
The reception unit 22 assembles a video frame captured by the camera 10-i from the packetized video frame of the camera 10-i input from the reception terminal 20, and outputs the video frame to the control unit 24.
The transmission unit 23 generates a packet of control information for the camera 10-i generated by the control unit 24 and outputs it from the transmission terminal 21.

制御部24は、電源18よりレコーダ16に電力が供給され続けている通常時は、受信部22より入力されたカメラ10−iごとの映像フレームをHDD31へ記録する制御を行う。また、制御部24は、表示処理部26が表示映像を生成するための映像フレームをHDD31より読み出して表示処理部26に出力する(通常時処理)。なお、カメラ10−iのライブ映像を表示する場合は、制御部24は、直接カメラ10−iからの映像フレームを表示処理部26へ出力する。
また、制御部24は、電源監視部25から電源断予告信号が入力された場合、カメラ10−iに対する電源断時の制御情報を生成し、送信部23へ出力し、電源復帰後、未記録期間の映像フレームを、カメラ10−iから取得する(電源断時処理)。制御部24の処理詳細については後述する。
The control unit 24 performs control to record the video frame for each camera 10-i input from the receiving unit 22 in the HDD 31 during normal times when power is continuously supplied from the power source 18 to the recorder 16. In addition, the control unit 24 reads a video frame for the display processing unit 26 to generate a display video from the HDD 31 and outputs the video frame to the display processing unit 26 (normal processing). When displaying live video from the camera 10-i, the control unit 24 directly outputs a video frame from the camera 10-i to the display processing unit 26.
In addition, when a power-off notice signal is input from the power supply monitoring unit 25, the control unit 24 generates control information at the time of power-off for the camera 10-i, and outputs the control information to the transmission unit 23. A video frame of the period is acquired from the camera 10-i (processing when the power is turned off). Details of the processing of the control unit 24 will be described later.

電源監視部25は、レコーダ16の外部の電源18と、電源入力端子28を介してコード17により接続され、電源18を監視し、外部電源からの出力電圧が閾値以下となったのを検知することで、外部電源が停止(電源断)となることを検出する。すなわち、電源監視部25は、レコーダ16に対する電源供給状態を監視する。
なお、この実施の形態1において、レコーダ16は、電源18が電源断となった際、即時には電源供給が停止せず、電源断から一定の猶予を持って給電が停止される機構を持つものとする。これは、例えばUPS(無停電電源装置)やスーパーキャパシタを有して電源断とともに即時給電を停止しない電源を想定したものである。電源監視部25は、電源18からの出力電圧が閾値以下となったことをもって外部の電源18が停止となることを検出し、制御部24に電源断予告信号を出力する。
The power supply monitoring unit 25 is connected to the external power supply 18 of the recorder 16 by the cord 17 via the power supply input terminal 28, monitors the power supply 18, and detects that the output voltage from the external power supply is equal to or lower than the threshold value. Thus, it is detected that the external power supply is stopped (power is cut off). That is, the power supply monitoring unit 25 monitors the power supply state for the recorder 16.
In the first embodiment, the recorder 16 has a mechanism in which the power supply is not stopped immediately when the power supply 18 is turned off, and the power supply is stopped with a certain grace period after the power supply is turned off. And This assumes, for example, a power supply that has a UPS (uninterruptible power supply) or a supercapacitor and that does not stop immediate power supply when the power is turned off. The power supply monitoring unit 25 detects that the external power supply 18 is stopped when the output voltage from the power supply 18 is equal to or lower than the threshold value, and outputs a power-off notice signal to the control unit 24.

表示処理部26は、制御部24がHDD31から読み出した映像フレームを受信し、映像圧縮を展開することで再生映像を生成して、映像出力端子27より出力する。なお、カメラ10−iのライブ映像を表示する場合は、表示処理部26へは、HDD31を経由せず直接制御部24を介して、受信部22で受信した映像フレームが入力される。
映像出力端子27にはモニタ(図示せず)等を接続し、カメラ10−iの映像を確認することができる。
The display processing unit 26 receives the video frame read from the HDD 31 by the control unit 24, generates a playback video by expanding the video compression, and outputs it from the video output terminal 27. When displaying the live video of the camera 10-i, the video frame received by the receiving unit 22 is input to the display processing unit 26 via the control unit 24 directly without passing through the HDD 31.
A monitor (not shown) or the like can be connected to the video output terminal 27 to check the video of the camera 10-i.

時刻保持部29のリアルタイムクロック291は、時刻を保持するリアルタイムクロック発振器である。また、時刻保持部29のバッテリ292は、リアルタイムクロック291に電源18からの電力供給が止まっても給電を続けるバッテリであり、バッテリ292により、リアルタイムクロック291は、常時時刻を保持し続けることができる。
フラッシュメモリ30は、電源断により異常終了したことが確認できるデータ(異常終了フラグ)を保持する不揮発メモリであり、制御部24により書き込み、または、読み出しされる。
The real time clock 291 of the time holding unit 29 is a real time clock oscillator that holds the time. Further, the battery 292 of the time holding unit 29 is a battery that continues to supply power even when the power supply from the power source 18 is stopped to the real-time clock 291, and the real-time clock 291 can always keep the time by the battery 292. .
The flash memory 30 is a non-volatile memory that holds data (abnormal end flag) that can be confirmed to have ended abnormally due to power-off, and is written or read by the control unit 24.

ここで、CCTVシステム1は、図1に示すように、カメラ10−iの電源の系統である電源14と、レコーダ16の電源の系統である電源18に分かれており、レコーダ16だけが電源断により停止するということがあり得る。その際、レコーダ16は、カメラ10−iで撮像を続行させるとともに撮像した映像を記録させ、レコーダ16の電源復帰後、カメラ10−iで記録した映像の映像フレームを取得する制御を行うことで、自身がHDD31に記録する映像フレームを消失しないようにする。当該電源断時の制御は、主にレコーダ16の制御部24で行われる。   Here, as shown in FIG. 1, the CCTV system 1 is divided into a power source 14 that is a power source system of the camera 10-i and a power source 18 that is a power source system of the recorder 16, and only the recorder 16 is powered off. May stop. At that time, the recorder 16 continues the imaging with the camera 10-i and records the captured video, and performs control to acquire the video frame of the video recorded with the camera 10-i after the power of the recorder 16 is restored. The video frame recorded on the HDD 31 is not lost. The control when the power is turned off is mainly performed by the control unit 24 of the recorder 16.

図3は、電源断が発生した場合の制御部24における処理内容を時系列に説明する図である。
図3を用いて、制御部24の各部(記録処理部241、映像表示制御部242、電源断時制御部243、未記録映像抽出部244)について説明する。
レコーダ16に電源が供給されている通常時は、制御部24の記録処理部241は、受信部22から入力されたカメラ10−iごとの映像フレームをHDD31に記録する(通常フレーム記録処理(P1))。
また、制御部24の電源断時制御部243は、電源監視部25から電源断予告信号が出力されるのを待機し、電源断予告信号の出力があった場合に、当該電源断予告信号を受信することで、電源断時の制御を開始する(電源断待機処理(P2))。
FIG. 3 is a diagram for explaining the processing contents in the control unit 24 when the power interruption occurs in time series.
With reference to FIG. 3, each unit (recording processing unit 241, video display control unit 242, power-off control unit 243, unrecorded video extraction unit 244) of the control unit 24 will be described.
During normal times when power is supplied to the recorder 16, the recording processing unit 241 of the control unit 24 records the video frame for each camera 10-i input from the receiving unit 22 on the HDD 31 (normal frame recording processing (P1 )).
The power-off control unit 243 of the control unit 24 waits for the power-off notice signal to be output from the power supply monitoring unit 25, and when the power-off notice signal is output, By receiving, the control at the time of power-off is started (power-off standby process (P2)).

また、制御部24の映像表示制御部242は、HDD31に記録した映像フレームを読み出して表示処理部26に出力し、外部のモニタへ映像を出力させる(映像表示処理(P3))。なお、外部のモニタにおいて、カメラ10−iのライブ映像を表示する場合は、映像表示制御部242は、受信部22より受信したカメラ10−iからの映像フレームを、直接、表示処理部26へ出力する。
この、通常フレーム記録処理(P1)、電源断待機処理(P2)、映像表示処理(P3)は、レコーダ16に電源が供給されている通常時は、並行して行われる。すなわち、P1〜P3の処理はいずれもレコーダ16の本来の処理であり、電源断が発生しなければ常時実施されるものである。
なお、図示は省略したが、通常時において、レコーダ16とカメラ10−iとの間で時刻同期処理が随時行われている。よって、レコーダ16とカメラ10−iとの間の時刻差は限りなく小さくなるように制御されているため、カメラ10−iで撮像された映像フレームは、レコーダ16に取り込まれると、レコーダ16の内部で保持する時刻と紐付けられてHDD31に記録される。
In addition, the video display control unit 242 of the control unit 24 reads out the video frame recorded in the HDD 31 and outputs it to the display processing unit 26 to output the video to an external monitor (video display process (P3)). Note that when displaying a live video of the camera 10-i on an external monitor, the video display control unit 242 directly receives the video frame from the camera 10-i received from the receiving unit 22 to the display processing unit 26. Output.
The normal frame recording process (P1), the power-off standby process (P2), and the video display process (P3) are performed in parallel at the normal time when the power is supplied to the recorder 16. In other words, the processes of P1 to P3 are all the original processes of the recorder 16, and are always performed unless the power is cut off.
Although illustration is omitted, time synchronization processing is performed at any time between the recorder 16 and the camera 10-i in normal times. Therefore, since the time difference between the recorder 16 and the camera 10-i is controlled to be as small as possible, when the video frame captured by the camera 10-i is captured by the recorder 16, the recorder 16 It is linked to the time held internally and recorded in the HDD 31.

レコーダ16の電源断が発生すると、電源監視部25が、電源18からの出力電圧が閾値以下となったことで当該電源断となることを検出し、電源断時制御部243が、電源監視部25からの電源断予告信号を受信する。
ここでは、時刻T1に電源断予告信号を受信したとすると、電源断時制御部243は、カメラ制御A処理(P4)および電源停止処理(P5)を行う。カメラ制御A処理(P4)および電源停止処理(P5)の詳細については後述する。
なお、このとき、記録処理部241による通常フレーム記録処理(P1)は継続されたままである。
その後、時刻T2に電源断となったら、レコーダ16の動作が停止する。
When the power supply of the recorder 16 is cut off, the power supply monitoring unit 25 detects that the power supply is cut off because the output voltage from the power supply 18 is equal to or lower than the threshold value, and the power cut-off control unit 243 controls the power supply monitoring unit. The power-off notice signal from 25 is received.
Here, assuming that a power-off notice signal is received at time T1, the power-off control unit 243 performs a camera control A process (P4) and a power supply stop process (P5). Details of the camera control A process (P4) and the power supply stop process (P5) will be described later.
At this time, the normal frame recording process (P1) by the recording processing unit 241 is continued.
Thereafter, when the power is cut off at time T2, the operation of the recorder 16 is stopped.

時刻T3で電源が復帰すると、電源監視部25が電源18からの給電再開を検出し、制御部24の各部において、起動処理(P6)を行う。起動処理(P6)とは、ブートローダーの起動、OSの立ち上げ、周辺デバイスの認識、アプリケーションの起動など、レコーダ16の基本的な起動処理である。
時刻T4で起動処理が完了したら、記録処理部241は通常フレーム記録処理(P1)を再開し、電源断時制御部243は、通常フレーム記録処理(P1)と並行してカメラ制御B処理(P7)を行う。
カメラ制御B処理(P7)が時刻T5で完了したら(カメラ記録停止)、制御部24の未記録映像抽出部244は、停止時フレーム記録処理(P8)を行う。
カメラ制御B処理(P7)および停止時フレーム記録処理(P8)の詳細については後述する。
停止時フレーム記録処理(P8)が時刻T6で完了すると、通常時の通常フレーム記録処理(P1)、電源断待機処理(P2)、映像表示処理(P3)に戻る。
When the power supply is restored at time T3, the power supply monitoring unit 25 detects resumption of power supply from the power supply 18, and performs a startup process (P6) in each unit of the control unit 24. The startup process (P6) is a basic startup process of the recorder 16 such as boot loader startup, OS startup, peripheral device recognition, and application startup.
When the activation process is completed at time T4, the recording processing unit 241 resumes the normal frame recording process (P1), and the power-off control unit 243 performs the camera control B process (P7) in parallel with the normal frame recording process (P1). )I do.
When the camera control B process (P7) is completed at time T5 (camera recording stop), the unrecorded video extraction unit 244 of the control unit 24 performs a stop frame recording process (P8).
Details of the camera control B process (P7) and the stop frame recording process (P8) will be described later.
When the stop frame recording process (P8) is completed at time T6, the process returns to the normal frame recording process (P1), the power-off standby process (P2), and the video display process (P3).

以下、電源断時制御部243によるカメラ制御A処理(P4),電源停止処理(P5),カメラ制御B処理(P7)、未記録映像抽出部244による停止時フレーム記録処理(P8)の詳細について、図4,図5を用いて説明する。
図4は、電源18からの出力電圧が閾値以下となったことで電源断となることが検出され、電源監視部25から電源断予告信号を受信してから、実際に電源断となってレコーダ16の動作が停止するまでの電源断時制御部243の動作を説明するフローチャートである。
なお、図4において、ステップST102,ステップST103が、カメラ制御A処理(P4)であり、ステップST104,ステップST105が電源停止処理(P5)である。
Hereinafter, details of the camera control A process (P4), the power supply stop process (P5), the camera control B process (P7) by the power-off control unit 243, and the frame recording process (P8) at the time of unrecorded video extraction unit 244 will be described. This will be described with reference to FIGS.
In FIG. 4, it is detected that the power supply is cut off when the output voltage from the power supply 18 is equal to or lower than the threshold value. 16 is a flowchart for explaining the operation of the power-off control unit 243 until the operation of FIG.
In FIG. 4, steps ST102 and ST103 are camera control A processes (P4), and steps ST104 and ST105 are power supply stop processes (P5).

通常時の電源断待機処理(P2)において、電源断時制御部243は電源断予告が発生するまで、すなわち、電源監視部25からの電源断予告信号を受信するまで待機する(ステップST101の“NO”の場合)。
電源監視部25によって電源18からの出力電圧が閾値以下となったことで電源断となることが検出され、電源断時制御部243が電源監視部25から電源断予告信号を受信すると(ステップST101の“YES”の場合)、電源断時制御部243は、時刻同期信号の送信を行う(ステップST102)。具体的には、電源断時制御部243は、レコーダ16の内部で保持する時刻(以下、レコーダ16の時刻、または、実時刻という)と、カメラ10−iの内部で保持している時刻(以下、カメラ10−iの時刻という)とを同じ、もしくは、近くなるように同期させる制御データを時刻同期信号として、送信部23を介して全てのカメラ10−iに送信する。カメラ10−iでは、レコーダ16からの時刻同期信号に基づき、カメラ10−iの時刻を変更する。
この制御により、レコーダ16において、電源断により映像データの記録が停止しても、カメラ10−iが、レコーダ16の停止中に記録した映像フレームに紐付けられる時刻は、レコーダ16の保持している時刻と近くなる。ただし、レコーダ16とカメラ10−iのクロック発信器の精度は必ずしも等しくないため、時間が経つとずれが拡大することがある。
なお、電源断時制御部243は、時刻同期信号を、レコーダ16に対して映像フレームを送信するカメラ10−nのうち1つ、あるいは数個の代表カメラ10−iに対して送信するようにしてもよい。その場合は、時刻同期信号を受信した代表カメラ10−iが、時刻同期信号を受信しないカメラ10−iに対して、時刻同期信号を送信するようにする。
In the normal power-off standby process (P2), the power-off control unit 243 waits until a power-off notice is generated, that is, until a power-off notice signal is received from the power monitor 25 ("ST" in step ST101). NO ”).
When the power supply monitoring unit 25 detects that the power supply is cut off when the output voltage from the power supply 18 is equal to or lower than the threshold value, and the power supply cut-off control unit 243 receives a power-off notice signal from the power supply monitoring unit 25 (step ST101). In the case of “YES”,) the power-off control unit 243 transmits a time synchronization signal (step ST102). Specifically, the power-off control unit 243 controls the time held in the recorder 16 (hereinafter referred to as the time of the recorder 16 or the actual time) and the time held in the camera 10-i ( Hereinafter, the control data that is synchronized so as to be the same as or close to the time of the camera 10-i is transmitted as a time synchronization signal to all the cameras 10-i via the transmission unit 23. In the camera 10-i, the time of the camera 10-i is changed based on the time synchronization signal from the recorder 16.
With this control, even when recording of video data is stopped due to power failure in the recorder 16, the time associated with the video frame recorded by the camera 10-i while the recorder 16 is stopped is held by the recorder 16. It will be close to the time. However, since the accuracy of the clock transmitters of the recorder 16 and the camera 10-i is not necessarily equal, the deviation may increase with time.
The power-off control unit 243 transmits the time synchronization signal to one or several representative cameras 10-i among the cameras 10-n that transmit video frames to the recorder 16. May be. In this case, the representative camera 10-i that has received the time synchronization signal transmits the time synchronization signal to the camera 10-i that has not received the time synchronization signal.

電源断時制御部243は、全てのカメラ10−iに対して、カメラ10−i内部での記録の開始を指示する記録開始指示信号を送信する(ステップST103)。なお、カメラ10−iでは、通常時においては、映像の記録はしていないものとする。
また、ここでは、カメラ10−iは、記録開始指示信号に基づき、カメラ10−i内部で記録を開始するようにしたが、これに限らず、カメラ10−iは、記録開始指示信号を受信すると、外部の記録装置等に自身が撮像した映像フレームを記録させるようにしてもよい。
The power-off control unit 243 transmits a recording start instruction signal instructing the start of recording inside the camera 10-i to all the cameras 10-i (step ST103). In the camera 10-i, it is assumed that no video is recorded during normal operation.
Here, the camera 10-i starts recording inside the camera 10-i based on the recording start instruction signal. However, the present invention is not limited to this, and the camera 10-i receives the recording start instruction signal. Then, you may make it record the video frame which self imaged on the external recording device.

電源断時制御部243は、レコーダ16で現在開いているファイルをクローズ処理し、電源断により正常にクローズされないことでファイル全体が破壊されないようにする制御を行う(ステップST104)。なお、電源断による停止の瞬間まで記録処理部241はカメラ10−iの映像フレームの記録を続行するため(図3参照)、全てのファイルをクローズすることができないが、電源断時制御部243は、このステップST104にて、ファイル単位を細かく設定し、破損が発生する可能性のあるファイルのサイズ、映像時間が小さくなるよう制御する。
電源断時制御部243は、次回起動時に電源断により異常終了したことが確認できるように、その旨のフラグ(異常終了フラグ)をフラッシュメモリ30に書き込む(ステップST105)。
その後、レコーダ16は、時刻T2において(図3参照)、無停電電源装置等からの給電も停止し、電源断による動作の停止を迎える。
The power-off control unit 243 closes the file currently opened by the recorder 16 and performs control so that the entire file is not destroyed because it is not normally closed due to power-off (step ST104). Note that since the recording processing unit 241 continues to record the video frame of the camera 10-i until the moment of stoppage due to power-off (see FIG. 3), all the files cannot be closed, but the power-off control unit 243 In step ST104, the file unit is set finely, and control is performed to reduce the size and video time of a file that may be damaged.
The power-off control unit 243 writes a flag to that effect (abnormal end flag) in the flash memory 30 so that it can be confirmed that the power-off has occurred due to power-off at the next startup (step ST105).
Thereafter, at time T2 (see FIG. 3), the recorder 16 stops the power supply from the uninterruptible power supply and the like, and the operation is stopped due to the power interruption.

図5は、レコーダ16が、電源断により動作を停止した後、電源復帰してから通常時の動作に戻るまでの制御部24の動作を説明するフローチャートである。
なお、図5において、ステップST202〜ステップST204が、電源断時制御部243によるカメラ制御B処理(P7)であり、ステップST205〜ステップST212が未記録映像抽出部244による停止時フレーム記録処理(P8)である。
時刻T3で電源が復帰すると(図3参照)、制御部24の各部において、起動処理(P6)を行う(ステップST201)。具体的には、図3を用いて説明したように、ブートローダーの起動、OSの立ち上げ、周辺デバイスの認識、アプリケーションの起動など、レコーダ16の基本的な起動処理を行う。
FIG. 5 is a flowchart for explaining the operation of the control unit 24 from when the recorder 16 stops operation due to power interruption until the power is restored and returns to the normal operation.
In FIG. 5, steps ST202 to ST204 are camera control B processing (P7) by the power-off control unit 243, and steps ST205 to ST212 are stop frame recording processing (P8) by the unrecorded video extraction unit 244. ).
When the power is restored at time T3 (see FIG. 3), the activation process (P6) is performed in each unit of the control unit 24 (step ST201). Specifically, as described with reference to FIG. 3, basic startup processing of the recorder 16 such as boot loader startup, OS startup, peripheral device recognition, and application startup is performed.

電源断時制御部243は、フラッシュメモリ30に異常終了フラグが書き込まれていないか確認する(ステップST202)。異常終了フラグは、電源断による異常終了があった場合に、有意になっているものである(図4のステップST105参照)。
ステップST202において、異常終了フラグが書き込まれていない場合(ステップST202の“NO”の場合)、前回の起動時に電源断による異常終了はなかったと判断し、以降の処理をスキップして図5の動作は終了し、レコーダ16は通常時の処理を行う。
The power-off control unit 243 checks whether an abnormal end flag is written in the flash memory 30 (step ST202). The abnormal end flag is significant when there is an abnormal end due to power failure (see step ST105 in FIG. 4).
In step ST202, when the abnormal end flag is not written (in the case of "NO" in step ST202), it is determined that there was no abnormal end due to power interruption at the previous start-up, and the subsequent processing is skipped. Is finished, and the recorder 16 performs normal processing.

ステップST202において、異常終了フラグが書き込まれていた場合(ステップST202の“YES”の場合)、電源断時制御部243は、前回の起動時に電源断による異常終了があったと判断し、電源断により記録処理部241がカメラ10−iからの映像フレームを記録できなかった期間(以下、未記録期間Dとする)を算出する(ステップST203)。具体的には、例えば、予め、記録処理部241は、記録する映像フレームに実時刻のタイムスタンプを付与するようにしておき、電源断時制御部243は、電源断前に記録処理部241がHDD31に記録した最後の映像フレームに付与されたタイムスタンプの時刻と、電源復帰後、通常フレーム記録処理(P1)を開始した際に記録処理部241が記録した最初の映像フレームに付与されたタイムスタンプの時刻とを読み出し、それらの間の期間を未記録期間Dとして算出する。
電源断時制御部243は、全てのカメラ10−iに対して、カメラ内部での記録の停止を指示する記録停止指示信号を送信する(ステップST204)。
In step ST202, when the abnormal end flag is written (in the case of “YES” in step ST202), the power-off control unit 243 determines that there is an abnormal end due to the power-off at the previous activation, and the power-off The recording processing unit 241 calculates a period during which the video frame from the camera 10-i could not be recorded (hereinafter referred to as an unrecorded period D) (step ST203). Specifically, for example, the recording processing unit 241 adds a time stamp of real time to a video frame to be recorded in advance, and the power-off control unit 243 determines that the recording processing unit 241 The time stamp given to the last video frame recorded in the HDD 31 and the time given to the first video frame recorded by the recording processing unit 241 when the normal frame recording process (P1) is started after the power is restored. The stamp time is read out, and the period between them is calculated as an unrecorded period D.
The power-off control unit 243 transmits a recording stop instruction signal instructing to stop recording inside the camera to all the cameras 10-i (step ST204).

次に、未記録映像抽出部244が、全てのカメラ10−iから、1台ずつ未記録映像を取得する。
未記録映像抽出部244は、まず、iに1を代入する(ステップST205)。
未記録映像抽出部244は、カメラ10−iから、カメラ10−iの時刻を取得し、レコーダ16の時刻とのずれがないかを確認する(ステップST206)。レコーダ16の時刻とカメラ10−iの時刻とは、レコーダ16の電源断期間中は、同期を取れないのでずれる可能性があるため、未記録映像抽出部244は、当該ステップST206にてずれの確認を行う。ただし、レコーダ16の電源断前にレコーダ16とカメラ10−iとの時刻同期を行っているので(図4のステップST102参照)、そのずれは最小限にすることができる。
Next, the unrecorded video extraction unit 244 acquires unrecorded videos one by one from all the cameras 10-i.
The unrecorded video extraction unit 244 first substitutes 1 for i (step ST205).
The unrecorded video extraction unit 244 acquires the time of the camera 10-i from the camera 10-i and confirms whether there is any deviation from the time of the recorder 16 (step ST206). Since the time of the recorder 16 and the time of the camera 10-i cannot be synchronized during the power-off period of the recorder 16 and may be shifted, the unrecorded video extraction unit 244 is shifted in step ST206. Confirm. However, since the time synchronization between the recorder 16 and the camera 10-i is performed before the power of the recorder 16 is turned off (see step ST102 in FIG. 4), the deviation can be minimized.

未記録映像抽出部244は、カメラ10−iが、今回の電源断があったことにより記録している映像フレームを全て、時刻情報とともに送出するよう、カメラ10−iに指示信号を送信し、カメラ10−iから、時刻情報に紐付けられた映像フレームを取得する(ステップST207)。
なお、未記録映像抽出部244は、ステップST207で取得した映像フレームを、HDD31、自身で保有するメモリ、あるいは、外部の記憶媒体などに一時的に保存する。
ここで、ステップST207でカメラ10−iから取得する映像フレームは、レコーダ16でも記録している期間があることから重複する部分がある。具体的には、カメラ制御A処理(P4)にて、電源断時制御部243がカメラ10−iに対して記録開始指示信号を送信してから電源断となってレコーダ16が動作を停止するまで、および、電源復帰後、レコーダ16の起動処理(P6)が完了してから、カメラ制御B処理(P7)にて、電源断時制御部243がカメラ10−iに対して記録停止指示信号を送信するまでの間は、並行して記録処理部241による通常フレーム記録処理(P1)も行われており(図3、図4のステップST103、ステップST204参照)、この期間においては、レコーダ16による記録と、カメラ10−iによる記録が重複する。
The unrecorded video extraction unit 244 transmits an instruction signal to the camera 10-i so that the camera 10-i sends all video frames recorded due to the current power interruption together with time information, A video frame associated with the time information is acquired from the camera 10-i (step ST207).
Note that the unrecorded video extraction unit 244 temporarily stores the video frame acquired in step ST207 in the HDD 31, its own memory, an external storage medium, or the like.
Here, since the video frame acquired from the camera 10-i in step ST207 has a period recorded in the recorder 16, there is an overlapping portion. Specifically, in the camera control A process (P4), after the power-off control unit 243 transmits a recording start instruction signal to the camera 10-i, the power is turned off and the recorder 16 stops its operation. And after the power is restored, after the start-up process (P6) of the recorder 16 is completed, the power-off control unit 243 instructs the camera 10-i to stop recording in the camera control B process (P7). The normal frame recording process (P1) by the recording processing unit 241 is also performed in parallel (see steps ST103 and ST204 in FIGS. 3 and 4), and during this period, the recorder 16 And the recording by the camera 10-i overlap.

そこで、未記録映像抽出部244は、ステップST207で取得し、一時的に記憶しておいた、カメラ10−iにおいて記録された映像フレームの中から、未記録期間Dに対応する期間(カメラ映像取得期間Gとする)に記録された映像フレームを抽出し、当該抽出した映像フレームをレコーダ16に取り込む。
まず、未記録映像抽出部244は、ステップST203において電源断時制御部243が算出した未記録期間Dと、ステップST206においてカメラ10−iから取得した時刻およびレコーダ16の時刻とカメラ10−iの時刻とのずれの確認結果と、ステップST207で取得した、カメラ10−iの時刻に紐付けられたカメラ10−iの映像フレームとに基づき、未記録映像を滑らかに繋ぐための映像フレームを検出するための開始・終了フレーム一致検索期間の設定を行う(ステップST208)。
Therefore, the unrecorded video extraction unit 244 acquires the period (camera video) corresponding to the unrecorded period D from the video frames recorded in the camera 10-i acquired and temporarily stored in step ST207. The video frame recorded in the acquisition period G) is extracted, and the extracted video frame is taken into the recorder 16.
First, the unrecorded video extraction unit 244 determines the unrecorded period D calculated by the power-off control unit 243 in step ST203, the time acquired from the camera 10-i in step ST206, the time of the recorder 16, and the camera 10-i. Based on the result of confirming the deviation from the time and the video frame of the camera 10-i associated with the time of the camera 10-i acquired in step ST207, a video frame for smoothly connecting unrecorded videos is detected. A start / end frame match search period is set (step ST208).

前述のように、レコーダ16における未記録期間Dの映像フレームは、レコーダ16と記録重複する部分を含むカメラ10−iでの記録映像フレームから、当該未記録期間Dに対応する期間、すなわち、カメラ映像取得期間Gに記録された映像フレームを取得することによって補う。その際、カメラ10−iから取り込んだ映像フレームとレコーダ16で記録している映像フレームとの接続部分とは滑らかに繋がれたほうが、映像再生時の乱れを抑制することができる。そこで、未記録映像抽出部244は、ステップST207においてカメラ10−iから取得した映像フレームのうち、一定の期間の映像フレームから、所定の条件を満たす映像フレームを特定し、これに基づき、未記録映像を滑らかに繋ぐことのできる未記録期間Dの開始時刻と終了時刻に対応する、カメラ10−iで記録した映像フレームを検出し、カメラ映像取得期間Gを決定する。   As described above, the video frame in the unrecorded period D in the recorder 16 is a period corresponding to the unrecorded period D, that is, the camera, from the recorded video frame in the camera 10-i that includes a portion overlapping with the recorder 16. It compensates by acquiring the video frame recorded in the video acquisition period G. At that time, if the connection portion between the video frame captured from the camera 10-i and the video frame recorded by the recorder 16 is smoothly connected, disturbance during video playback can be suppressed. Therefore, the unrecorded video extraction unit 244 identifies a video frame satisfying a predetermined condition from video frames of a certain period among the video frames acquired from the camera 10-i in step ST207, and based on this, an unrecorded video frame is identified. A video frame recorded by the camera 10-i corresponding to the start time and end time of the unrecorded period D that can smoothly connect the videos is detected, and the camera video acquisition period G is determined.

この、一定の期間について、ここでは、未記録期間Dの開始時刻において未記録映像を滑らかに繋ぐことができる一致フレームを検出するための一定の期間を、開始フレーム一致検索期間という。つまり、開始フレーム一致検索期間とは、カメラ10−iから取得した映像フレームのうち、記録処理部241がHDD31に記録した電源断前の最後の、すなわち、記録停止前最後の映像フレームに対応する映像フレームを検出するための期間である。また、未記録期間Dの終了時刻において未記録映像を滑らかに繋ぐことができる一致フレームを検出するための一定の期間を、終了フレーム一致検索期間という。つまり、終了フレーム一致検索期間とは、カメラ10−iから取得した映像フレームのうち、記録処理部241がHDD31に記録した電源復帰後起動完了してから最初の、すなわち、記録再開後最初の映像フレームに対応する映像フレームを検出するための期間である。
当該ステップST208では、まず、この開始フレーム一致検索期間と終了フレーム一致検索期間の設定を行う。なお、上述したように、レコーダ16の時刻とカメラ10−iの時刻とはずれている可能性があるため、当該ステップST208においては、それを加味した上での、開始フレーム一致検索期間および終了フレーム一致検索期間の設定を行う。
Regarding this fixed period, here, the fixed period for detecting a matching frame that can smoothly connect unrecorded video at the start time of the unrecorded period D is referred to as a start frame match search period. That is, the start frame match search period corresponds to the last video frame before the power-off, that is, the last video frame before the recording stop, recorded by the recording processing unit 241 in the HDD 31 among the video frames acquired from the camera 10-i. This is a period for detecting a video frame. In addition, a certain period for detecting a matching frame that can smoothly connect unrecorded videos at the end time of the unrecorded period D is referred to as an end frame match search period. In other words, the end frame match search period is the first video after the start of the recording processing unit 241 that has been recorded on the HDD 31 after the power is restored, that is, the first video after the resumption of recording, among the video frames acquired from the camera 10-i. This is a period for detecting a video frame corresponding to the frame.
In step ST208, first, the start frame match search period and end frame match search period are set. As described above, the time of the recorder 16 and the time of the camera 10-i may be different from each other. Therefore, in step ST208, the start frame match search period and the end frame are taken into account. Set the match search period.

所定の条件を満たす映像フレームの特定、これに基づく、未記録映像を滑らかに繋ぐことのできる未記録期間Dの開始時刻と終了時刻に対応する、カメラ10−iで記録した映像フレームの検出、および、カメラ映像取得期間Gの決定については後述する(ステップST209の処理が該当の処理である)。   Identification of a video frame that satisfies a predetermined condition, detection of a video frame recorded by the camera 10-i corresponding to a start time and an end time of an unrecorded period D based on which the unrecorded video can be smoothly connected; The determination of the camera video acquisition period G will be described later (the process in step ST209 is the corresponding process).

ステップST208における、未記録映像抽出部244による開始フレーム一致検索期間および終了フレーム一致検索期間決定の動作の詳細について、図6〜図8を用いて説明する。
図6は、レコーダ16の時刻とカメラ10−iの時刻とがずれていない状態での、未記録映像抽出部244による、開始フレーム一致検索期間および終了フレーム一致検索期間決定方法を説明する図である。
図6において、レコーダ16の時刻T2_RからT4_Rの期間は、電源断のため記録ができていない、すなわち、記録処理部241によるHDD31への映像フレームの記録ができていない、未記録期間Dである(図3参照)。
Details of the operation of determining the start frame match search period and the end frame match search period by the unrecorded video extraction unit 244 in step ST208 will be described with reference to FIGS.
FIG. 6 is a diagram illustrating a method for determining a start frame match search period and an end frame match search period by the unrecorded video extraction unit 244 in a state where the time of the recorder 16 and the time of the camera 10-i are not shifted. is there.
In FIG. 6, a period from time T2_R to T4_R of the recorder 16 is an unrecorded period D in which recording is not possible due to power failure, that is, video frames are not recorded on the HDD 31 by the recording processing unit 241. (See FIG. 3).

レコーダ16の時刻とカメラ10−iの時刻とにはずれがないので、実時刻T2_Rはカメラ10−iの時刻T2_C、実時刻T4_Rはカメラ10−iの時刻T4_Cであり、この場合、未記録映像抽出部244は、開始フレーム一致検索期間を、カメラ10−iの時刻T2_Cの前後検索幅Wの期間とする。すなわち、未記録期間Dの開始時刻の映像フレームを滑らかに繋ぐことができる映像フレームを、カメラ10−iにおいて時刻T2_Cの検索幅Wの時間だけ前倒しした時刻から、時刻T2_Cの検索幅Wの時間だけ後ろ倒しした時刻までの間に記録された映像フレームの中から選択するものとする(滑らかに繋ぐことができる映像フレームの選択動作の詳細については後述する)。   Since there is no difference between the time of the recorder 16 and the time of the camera 10-i, the real time T2_R is the time T2_C of the camera 10-i, and the real time T4_R is the time T4_C of the camera 10-i. The extraction unit 244 sets the start frame match search period as the period of the search width W before and after the time T2_C of the camera 10-i. That is, the time of the search width W of the time T2_C from the time when the video frame that can smoothly connect the video frames at the start time of the unrecorded period D is advanced by the time of the search width W of the time T2_C in the camera 10-i. It is assumed that selection is made from among the video frames recorded up to the time when the video is moved backward (details of the selection operation of the video frames that can be smoothly connected will be described later).

また、同様に、未記録映像抽出部244は、終了フレーム一致検索期間を、カメラ10−iの時刻T4_Cの前後検索幅Wの期間とする。すなわち、未記録期間Dの終了時刻の映像フレームを滑らかに繋ぐことができる映像フレームを、カメラ10−iにおいて時刻T4_Cの検索幅Wの時間だけ前倒しした時刻から、時刻T4_Cの検索幅Wの時間だけ後ろ倒しした時刻までの間に記録された映像フレームの中から選択するものとする。
なお、カメラ10−iにおける映像フレームの記録時刻については、映像フレームに紐付けられたタイムスタンプから特定できる。
Similarly, the unrecorded video extraction unit 244 sets the end frame match search period as the period of the search width W before and after the time T4_C of the camera 10-i. That is, the time of the search width W of the time T4_C from the time when the video frame that can smoothly connect the video frames at the end time of the unrecorded period D is advanced by the time of the search width W of the time T4_C in the camera 10-i. It is assumed that the user selects from among the video frames recorded until the time when the user is behind the scenes.
Note that the recording time of the video frame in the camera 10-i can be specified from the time stamp associated with the video frame.

図7は、カメラ10−iの時刻がレコーダ16の時刻に対して遅れている場合の、未記録映像抽出部244による開始フレーム一致検索期間および終了フレーム一致検索期間決定方法を説明する図である。
図7において、実時刻と遅れているカメラ10−iの時刻との差を誤差Eとすると、実時刻T2_Rの映像フレームに対応するカメラ10−iで記録された映像フレームは、カメラ10−iの時刻T2_C−Eのタイムスタンプが付与されている映像フレームであると考えられる。この点を加味し、未記録映像抽出部244は、開始フレーム一致検索期間を、カメラ10−iの時刻T2_Cの後ろは検索幅W、前は検索幅W+誤差Eの期間とする。すなわち、レコーダ16における未記録期間Dの開始時刻の映像フレームを滑らかに繋ぐことができる一致フレームを、カメラ10−iにおいて時刻T2_Cの検索幅W+誤差Eの時間だけ前倒しした時刻から、時刻T2_Cの検索幅Wの時間だけ後ろ倒しした時刻までの間に記録された映像フレームの中から選択するものとする。
FIG. 7 is a diagram for explaining a method for determining the start frame match search period and the end frame match search period by the unrecorded video extraction unit 244 when the time of the camera 10-i is delayed with respect to the time of the recorder 16. .
In FIG. 7, if the difference between the actual time and the time of the delayed camera 10-i is an error E, the video frame recorded by the camera 10-i corresponding to the video frame at the actual time T2_R is the camera 10-i. It is considered that the video frame has a time stamp of the time T2_CE. In consideration of this point, the unrecorded video extraction unit 244 sets the start frame match search period to the search width W after the time T2_C of the camera 10-i and the search width W + error E before. That is, the coincidence frame that can smoothly connect the video frames at the start time of the unrecorded period D in the recorder 16 is moved forward from the time T2_C at the time T2_C by the time of the search width W + error E at the time T2_C. It is assumed that a selection is made from among video frames recorded until the time when the search width W is delayed.

また、同様に、未記録映像抽出部は、終了フレーム一致検索期間を、カメラ10−iの時刻T4_Cの、後ろは検索幅W、前は検索幅W+誤差Eの範囲とする。すなわち、レコーダ16における未記録期間Dの終了時刻の映像フレームを滑らかに繋ぐことができる一致フレームを、カメラ10−iにおいて時刻T4_Cの検索幅W+誤差Eの時間だけ前倒しした時刻から、時刻T4_Cの検索幅Wの時間だけ後ろ倒しした時刻までの間に記録された映像フレームの中から選択するものとする。   Similarly, the unrecorded video extraction unit sets the end frame match search period to the range of the search width W and the search width W + error E after the time T4_C of the camera 10-i. That is, the coincidence frame that can smoothly connect the video frames at the end time of the unrecorded period D in the recorder 16 is moved forward at the time T4_C from the time when the camera 10-i is advanced by the search width W + error E at the time T4_C. It is assumed that a selection is made from among video frames recorded until the time when the search width W is delayed.

図8は、カメラ10−iの時刻がレコーダ16の時刻に対して進んでいる場合の、未記録映像抽出部244による開始フレーム一致検索期間および終了フレーム一致検索期間決定方法を説明する図である。
図8において、実時刻と進んでいるカメラ10−iの時刻との差を誤差Eとすると、実時刻T2_Rの映像フレームに対応するカメラ10−iで記録された映像フレームは、カメラ10−iの時刻T2_C+Eのタイムスタンプが付与されている映像フレームであると考えられる。この点を加味し、未記録映像抽出部244は、開始フレーム一致検索期間を、カメラ10−iの時刻T2_Cの前は検索幅W、後ろは検索幅W+誤差Eの期間とする。すなわち、レコーダ16における未記録期間Dの開始時刻の映像フレームを滑らかに繋ぐことができる一致フレームを、カメラ10−iにおいて時刻T2_Cの検索幅Wの時間だけ前倒しした時刻から、時刻T2_Cの検索幅W+誤差Eの時間だけ後ろ倒しした時刻までの間に記録された映像フレームの中から選択するものとする。
FIG. 8 is a diagram illustrating a method for determining a start frame match search period and an end frame match search period by the unrecorded video extraction unit 244 when the time of the camera 10-i is ahead of the time of the recorder 16. .
In FIG. 8, when the difference between the real time and the time of the camera 10-i that is advanced is an error E, the video frame recorded by the camera 10-i corresponding to the video frame at the real time T2_R is the camera 10-i. It is considered that the video frame has a time stamp of time T2_C + E. In consideration of this point, the unrecorded video extraction unit 244 sets the start frame match search period as a search width W before the time T2_C of the camera 10-i and a search width W + error E after the time T2_C. That is, the search width of the time T2_C from the time when the matching frame that can smoothly connect the video frames at the start time of the unrecorded period D in the recorder 16 is advanced by the time of the search width W of the time T2_C in the camera 10-i. It is assumed that a selection is made from video frames recorded up to the time when the time is delayed by the time of W + error E.

また、同様に、未記録映像抽出部244は、終了フレーム一致検索期間を、カメラ10−iの時刻T4_Cの前は検索幅W、後ろは検索幅W+誤差Eの期間とする。すなわち、レコーダ16における未記録期間Dの終了時刻の映像フレームを滑らかに繋ぐことができる一致フレームを、カメラ10−iにおいて時刻T4_Cの検索幅Wの時間だけ前倒しした時刻から、時刻T4_C+誤差Eの検索幅Wの時間だけ後ろ倒しした時刻までの間に記録された映像フレームの中から選択するものとする。   Similarly, the unrecorded video extraction unit 244 sets the end frame match search period to the search width W before the time T4_C of the camera 10-i and the search width W + error E after the time T4_C. In other words, the coincidence frame that can smoothly connect the video frames at the end time of the unrecorded period D in the recorder 16 is advanced by the time T4_C + the error E from the time when the camera 10-i is advanced by the time of the search width W at the time T4_C. It is assumed that a selection is made from among video frames recorded until the time when the search width W is delayed.

未記録映像抽出部244は、図6〜図8を用いて説明したように、未記録期間Dの開始時刻および終了時刻の映像フレームを滑らかに繋ぐことができる映像フレームを検出するための一定の期間(開始フレーム一致検索期間、終了フレーム一致検索期間)を設定することで、レコーダ16とカメラ10−iの時刻ずれを考慮したフレーム一致検索を行うことができ、映像フレームの相関の算出をより正確に行うことができる。すなわち、レコーダ16の時刻とカメラ10−iの時刻とにずれがあることにより、開始フレーム一致検索期間、または、終了フレーム一致検索期間に、未記録期間Dの開始時刻または終了時刻に合致すべき映像フレームの候補が入らなくなることを防ぐことができる。また、不必要に開始フレーム一致検索期間、終了フレーム一致検索期間を拡大しなくて済むため、相関を算出するための負荷を抑えることができる。   As described with reference to FIGS. 6 to 8, the unrecorded video extraction unit 244 detects a video frame that can smoothly connect video frames at the start time and end time of the unrecorded period D. By setting the period (start frame match search period, end frame match search period), it is possible to perform a frame match search taking into account the time lag between the recorder 16 and the camera 10-i, and to further calculate the correlation of video frames. Can be done accurately. That is, due to the difference between the time of the recorder 16 and the time of the camera 10-i, the start frame match search period or the end frame match search period should match the start time or end time of the unrecorded period D. It is possible to prevent video frame candidates from being entered. In addition, since it is not necessary to extend the start frame match search period and the end frame match search period unnecessarily, the load for calculating the correlation can be reduced.

なお、検索幅Wは、レコーダ16が図4のステップST102でカメラ10−iに対して時刻同期した後、カメラ10−iが実時刻に対してどれくらいずれるか、そのクロック精度によって適宜決定されるパラメータであり、精度が悪い場合は、ずれ量が大きくなることが見込まれるため、検索幅Wの値を大きくする。   It should be noted that the search width W is appropriately determined depending on how much the camera 10-i is relative to the actual time after the recorder 16 synchronizes the time with the camera 10-i in step ST102 of FIG. If it is a parameter and the accuracy is poor, the shift amount is expected to increase, so the value of the search width W is increased.

図5のフローチャートに戻る。
ステップST208において、フレーム一致検索期間(開始フレーム一致検索期間、終了フレーム一致検索期間)の設定を行うと、未記録映像抽出部244は、ステップST208において設定したフレーム一致検索期間にカメラ10−iで記録された映像フレームから、未記録映像を滑らかに繋ぐための映像フレームを検出し、カメラ10−iから映像フレームを取得すべきカメラ映像取得期間Gを決定する(ステップST209)。具体的には、未記録映像抽出部244は、開始フレーム一致検索期間にカメラ10−iが記録した映像フレームから、記録処理部241がHDD31に記録した、記録停止前最後の映像フレームと相関の最も高い映像フレーム(第1の映像フレーム)を検出し、終了フレーム一致検索期間にカメラ10−iが記録した映像フレームから、記録処理部241がHDD31に記録した、記録再開後最初の映像フレームと相関の最も高い映像フレーム(第2の映像フレーム)を検出する。そして、当該第1の映像フレームと第2の映像フレームとを記録した時刻をそれぞれ先頭と末尾とした期間(最高点の間隔Hとする)に基づき、カメラ10−iからレコーダ16が取得すべきカメラ映像取得期間Gを決定する(ステップST209)。
ここでは、記録停止前に記録処理部241が記録した最後の映像フレームとの相関度が最高となる、カメラ10−iで記録された映像フレームを第1の映像フレームといい、記録再開後に記録処理部241が記録した最初の映像フレームとの相関度が最高となる、カメラ10−iで記録された映像フレームを第2の映像フレームという。
Returning to the flowchart of FIG.
When the frame match search period (start frame match search period, end frame match search period) is set in step ST208, the unrecorded video extraction unit 244 uses the camera 10-i in the frame match search period set in step ST208. A video frame for smoothly connecting unrecorded video is detected from the recorded video frames, and a camera video acquisition period G in which a video frame is to be acquired from the camera 10-i is determined (step ST209). Specifically, the unrecorded video extraction unit 244 correlates with the last video frame before recording stop recorded by the recording processing unit 241 in the HDD 31 from the video frame recorded by the camera 10-i during the start frame match search period. The highest video frame (first video frame) is detected, and from the video frame recorded by the camera 10-i during the end frame match search period, the first video frame recorded after resumption of recording is recorded in the HDD 31 by the recording processing unit 241. The video frame having the highest correlation (second video frame) is detected. Then, the recorder 16 should acquire from the camera 10-i based on a period (the highest point interval H) in which the time when the first video frame and the second video frame are recorded is the beginning and the end, respectively. A camera video acquisition period G is determined (step ST209).
Here, the video frame recorded by the camera 10-i having the highest correlation with the last video frame recorded by the recording processing unit 241 before the recording is stopped is referred to as the first video frame, and is recorded after the recording is resumed. The video frame recorded by the camera 10-i that has the highest degree of correlation with the first video frame recorded by the processing unit 241 is referred to as a second video frame.

未記録映像抽出部244は、ステップST209で決定したカメラ映像取得期間Gに記録した映像フレームを、ステップST207においてカメラ10−iから取得し、一時的に記憶しておいた映像フレームから抽出して取り込み、レコーダ16の記録映像としてHDD31に保存する(ステップST210)。   The unrecorded video extraction unit 244 extracts the video frame recorded in the camera video acquisition period G determined in step ST209 from the video frame acquired in step ST207 from the camera 10-i and temporarily stored. Captured and stored in the HDD 31 as a recorded video of the recorder 16 (step ST210).

ここで、ステップST209における、未記録映像抽出部244によるカメラ映像取得期間G決定の動作について図9〜図12を用いて詳細に説明する。
図9は、未記録映像抽出部244における、カメラ映像取得期間G決定処理の概要を説明する図である。
図9に示すように、記録処理部241がHDD31に記録した記録停止前最後の映像フレーム、すなわち、電源断前の最後の映像フレームに対応するカメラ10−iで記録した映像フレームは、ステップST208において決定した、開始フレーム一致検索期間にカメラ10−iが記録した映像フレームと、記録停止前最後の映像フレームとの相関を算出することによって検出する。この映像フレームの相関の算出を、フレームパターンマッチングと称する。
Here, the operation of determining the camera video acquisition period G by the unrecorded video extraction unit 244 in step ST209 will be described in detail with reference to FIGS.
FIG. 9 is a diagram for explaining the outline of the camera video acquisition period G determination process in the unrecorded video extraction unit 244.
As shown in FIG. 9, the last video frame before the recording stop recorded by the recording processing unit 241 on the HDD 31, that is, the video frame recorded by the camera 10-i corresponding to the last video frame before the power-off is step ST208. This is detected by calculating the correlation between the video frame recorded by the camera 10-i determined during the start frame match search period and the last video frame before the recording is stopped. This calculation of the correlation of the video frames is referred to as frame pattern matching.

また、記録処理部241がHDD31に記録した記録再開後最初の映像フレーム、すなわち、電源復帰後最初の映像フレームに対応するカメラ10−iで記録した映像フレームは、ステップST208において決定した、終了フレーム一致検索期間にカメラ10−iが記録した映像フレームと、記録再開後最初のフレームとの相関を算出することによって検出する。
なお、フレームパターンマッチングは、2つのフレームの相関を測る一般的な手法であるSSD(Sum of Squared Difference)やSAD(Sum of Absolute Difference)などで、画素ごとの輝度値、色差値の相関度を算出することで行う。相関度の算出には圧縮された映像フレームの展開をする必要があるが、未記録映像抽出部244は、この映像フレームの展開および相関度の算出も行う。
In addition, the first video frame after the resumption of recording recorded in the HDD 31 by the recording processing unit 241, that is, the video frame recorded by the camera 10-i corresponding to the first video frame after the power is restored is the end frame determined in step ST 208. Detection is performed by calculating the correlation between the video frame recorded by the camera 10-i during the match search period and the first frame after recording is resumed.
Note that frame pattern matching is a general technique for measuring the correlation between two frames, such as SSD (Sum of Squared Difference) or SAD (Sum of Absolute Difference). This is done by calculating. In order to calculate the correlation level, it is necessary to expand the compressed video frame. The unrecorded video extraction unit 244 also expands the video frame and calculates the correlation level.

そして、未記録映像抽出部244は、検出した電源断前の最後の映像フレームに対応するカメラ10−iで記録した映像フレームに付与されたタイムスタンプの時刻と、検出した電源復帰後最初の映像フレームに対応するカメラ10−iで記録した映像フレームに付与されたタイムスタンプの時刻とに基づき、カメラ映像取得期間Gを決定する。   Then, the unrecorded video extracting unit 244 detects the time stamp given to the video frame recorded by the camera 10-i corresponding to the detected last video frame before power-off, and the detected first video after power recovery. The camera video acquisition period G is determined based on the time stamp given to the video frame recorded by the camera 10-i corresponding to the frame.

図10は、開始フレーム一致検索期間および終了フレーム一致検索期間においてフレームパターンマッチングを行って、HDD31に記録された映像フレームとカメラ10−iで記録された映像フレームとの相関度を算出し、相関度(フレームパターンマッチ度)を表わす値をプロットしたグラフである。
図10のグラフは、横軸を映像フレームごとの記録時刻、縦軸をフレームパターンマッチ度としている。なお、フレームパターンマッチ度は、HDD31に記録された映像フレームとカメラ10−iで記録された映像フレームとの相関度が高いほど大きい値を示すものとする。
FIG. 10 shows the correlation between the video frame recorded in the HDD 31 and the video frame recorded by the camera 10-i by performing frame pattern matching in the start frame match search period and the end frame match search period. It is the graph which plotted the value showing degree (frame pattern matching degree).
In the graph of FIG. 10, the horizontal axis represents the recording time for each video frame, and the vertical axis represents the frame pattern matching degree. The frame pattern matching degree is assumed to indicate a larger value as the degree of correlation between the video frame recorded in the HDD 31 and the video frame recorded by the camera 10-i is higher.

未記録映像抽出部244は、開始フレーム一致検索期間にカメラ10−iで記録された映像フレームと、記録処理部241がHDD31に記録した記録停止前(電源断前)最後の映像フレームとの相関度、および、終了フレーム一致検索期間にカメラ10−iで記録された映像フレームと記録処理部241がHDD31に記録した記録再開後(電源復帰後)最初の映像フレームとの相関度をそれぞれ算出し、記録停止前、記録再開後で相関度が最高となる映像フレーム(第1のフレーム、第2のフレーム)を記録した時刻の間隔(最高点の間隔Hとする)を、レコーダ16が取得すべきカメラ映像取得期間Gの候補とする。
最高点に同値がある場合は、例えば、フレーム一致検索範囲の中央に近いものを採用するようにすればよい。
The unrecorded video extraction unit 244 correlates the video frame recorded by the camera 10-i during the start frame match search period and the last video frame before recording is stopped (before power is turned off) recorded by the recording processing unit 241 in the HDD 31. And the degree of correlation between the video frame recorded by the camera 10-i during the end frame match search period and the first video frame after recording resumed (after power recovery) recorded in the HDD 31 by the recording processing unit 241. The recorder 16 obtains the time interval (highest point interval H) at which the video frames (first frame and second frame) having the highest degree of correlation are recorded before the recording is stopped and after the recording is resumed. It is assumed that the camera image acquisition period G should be a candidate.
When there is an equivalent value at the highest point, for example, a value close to the center of the frame match search range may be adopted.

そして、未記録映像抽出部244は、カメラ映像取得期間Gの候補とした最高点の間隔Hの長さに基づき、カメラ映像取得期間Gを決定する。
この実施の形態1では、カメラ映像取得期間Gの長さは、未記録期間Dの長さと一致するものとし、未記録期間Dの長さと最高点の間隔Hの長さとが一致する場合は、図10に示すように、未記録映像抽出部244は、最高点の間隔Hを、カメラ映像取得期間Gとする。すなわち、当該最高点の間隔Hの、先頭の時刻から、末尾の時刻までの、カメラ10−iで記録した映像フレームが、ステップST210において、レコーダ16に取り込まれる映像フレームとなる。
Then, the unrecorded video extraction unit 244 determines the camera video acquisition period G based on the length of the highest point interval H as a candidate for the camera video acquisition period G.
In the first embodiment, it is assumed that the length of the camera video acquisition period G matches the length of the unrecorded period D, and when the length of the unrecorded period D matches the length of the highest point interval H, As illustrated in FIG. 10, the unrecorded video extraction unit 244 sets the highest point interval H as the camera video acquisition period G. That is, the video frame recorded by the camera 10-i from the start time to the end time of the highest point interval H becomes a video frame taken into the recorder 16 in step ST210.

なお、未記録映像抽出部244は、レコーダ16に映像フレームを取り込んだ際は、カメラ10−iから取り込んだ先頭の映像フレームにはレコーダ16の記録停止時の時刻のタイムスタンプを付与し、以降、レコーダ16において記録停止中であった時刻と対応するよう、カメラ10−iから取り込んだ映像フレームにレコーダ16での時刻に基づくタイムスタンプを付与してHDD31にて管理するようにする。   The unrecorded video extraction unit 244, when capturing video frames in the recorder 16, gives a time stamp of the recording stop time of the recorder 16 to the first video frame captured from the camera 10-i. Then, a time stamp based on the time at the recorder 16 is assigned to the video frame captured from the camera 10-i so as to correspond to the time when the recording was stopped in the recorder 16, and the HDD 31 manages the video frame.

図11は、開始フレーム一致検索期間および終了フレーム一致検索期間においてフレームパターンマッチングを行って、HDD31に記録された映像フレームとカメラ10−iで記録された映像フレームとの相関度を算出した結果、最高点の間隔Hの長さが、未記録期間Dの長さより長い場合の、未記録映像抽出部244によるカメラ映像取得期間Gの決定方法について説明する図である。
最高点の間隔Hの長さが未記録期間Dの長さより長い場合は、図11に示すように、最高点の間隔Hの長さの範囲内で、カメラ映像取得期間Gは複数選択し得る。従って、未記録映像抽出部244は、記録停止前の相関度(フレームパターンマッチ度)の最高点の時刻、すなわち、最高点の間隔Hの先頭の時刻から未記録期間Dの長さとなる期間を、カメラ映像取得期間G1とし、そこから、記録再開後の相関度(フレームパターンマッチ度)の最高点の時刻、すなわち、最高点の間隔Hの末尾の時刻と、未記録期間Dの末尾の時刻が一致するカメラ映像取得期間Gが設定されるまで、1フレームずつずらして、カメラ映像取得期間G1、G2・・・Gjまで、カメラ映像取得期間Gの候補を設定する。
FIG. 11 shows the result of calculating the correlation between the video frame recorded on the HDD 31 and the video frame recorded by the camera 10-i by performing frame pattern matching in the start frame match search period and the end frame match search period. FIG. 11 is a diagram for describing a method for determining a camera video acquisition period G by an unrecorded video extraction unit 244 when the length of the highest point interval H is longer than the length of an unrecorded period D.
When the length of the highest point interval H is longer than the length of the unrecorded period D, a plurality of camera video acquisition periods G can be selected within the range of the length of the highest point interval H as shown in FIG. . Accordingly, the unrecorded video extraction unit 244 determines the time that is the length of the unrecorded period D from the time of the highest point of the correlation degree (frame pattern match degree) before recording stop, that is, the top time of the highest point interval H. , The camera video acquisition period G1, from which the highest point of correlation (frame pattern match degree) after resumption of recording, that is, the end time of the highest point interval H and the end time of the unrecorded period D Are set one frame at a time until a camera video acquisition period G is set, and candidates for the camera video acquisition period G are set up to camera video acquisition periods G1, G2,... Gj.

そして、未記録映像抽出部244は、設定したそれぞれのカメラ映像取得期間G(G1〜Gj)の先頭のフレームパターンマッチ度と、末尾の時刻のフレームパターンマッチ度の和の最も大きい期間を、カメラ映像取得期間Gに決定する。すなわち、決定したカメラ映像取得期間Gの最高点の間隔Hの、先頭の時刻から、末尾の時刻までの、カメラ10−iで記録した映像フレームが、ステップST210において、レコーダ16に取り込まれる映像フレームとなる。   Then, the unrecorded video extraction unit 244 determines the period in which the sum of the first frame pattern matching degree and the last frame pattern matching degree of the camera video acquisition periods G (G1 to Gj) is the largest for the camera. The video acquisition period G is determined. That is, the video frames recorded by the camera 10-i from the start time to the end time of the determined interval H of the highest point of the camera video acquisition period G are taken into the recorder 16 in step ST210. It becomes.

なお、この場合も、未記録映像抽出部244は、レコーダ16に映像フレームを取り込んだ際は、カメラ10−iから取り込んだ先頭の映像フレームにはレコーダ16の記録停止時の時刻のタイムスタンプを付与し、以降、レコーダ16において記録停止中であった時刻と対応するよう、カメラ10−iから取り込んだ映像フレームにレコーダ16での時刻に基づくタイムスタンプを付与してHDD31にて管理するようにする。   In this case as well, when the unrecorded video extraction unit 244 captures a video frame in the recorder 16, a time stamp at the recording stop time of the recorder 16 is added to the first video frame captured from the camera 10-i. After that, a time stamp based on the time at the recorder 16 is assigned to the video frame captured from the camera 10-i so as to correspond to the time when the recording was stopped at the recorder 16, and managed by the HDD 31. To do.

図12は、開始フレーム一致検索期間および終了フレーム一致検索期間においてフレームパターンマッチングを行って、HDD31に記録された映像フレームとカメラ10−iで記録された映像フレームとの相関度を算出した結果、最高点の間隔Hの長さが、未記録期間Dの長さより短い場合の、未記録映像抽出部244によるカメラ映像取得期間Gの決定方法について説明する図である。
最高点の間隔Hの長さが未記録期間Dより短い場合は、図12に示すように、最高点の間隔Hの長さの範囲を超えて、カメラ映像取得期間Gを複数選択し得る。従って、未記録映像抽出部244は、記録再開後の相関度(フレームパターンマッチ度)の最高点の時刻、すなわち、最高点の間隔Hの末尾の時刻が未記録期間Dの末尾の時刻となる期間を、カメラ映像取得期間G1とし、そこから、記録停止前の相関度(フレームパターンマッチ度)の最高点の時刻、すなわち、最高点の間隔Hの先頭の時刻と、未記録期間Dの先頭の時刻が一致するカメラ映像取得期間Gが設定されるまで、1フレームずつずらして、カメラ映像取得期間G1、G2・・・Gjまで、カメラ映像取得期間Gの候補を設定する。
FIG. 12 shows a result of calculating the correlation between the video frame recorded on the HDD 31 and the video frame recorded by the camera 10-i by performing frame pattern matching in the start frame match search period and the end frame match search period. 10 is a diagram for describing a method for determining a camera video acquisition period G by an unrecorded video extraction unit 244 when the length of the highest point interval H is shorter than the length of an unrecorded period D. FIG.
When the length of the highest point interval H is shorter than the unrecorded period D, a plurality of camera video acquisition periods G can be selected beyond the range of the length of the highest point interval H as shown in FIG. Accordingly, the unrecorded video extraction unit 244 sets the time at the highest point of the correlation degree (frame pattern match degree) after resumption of recording, that is, the time at the end of the interval H of the highest point as the time at the end of the unrecorded period D. The period is set as the camera video acquisition period G1, from which the time of the highest point of the correlation (frame pattern match degree) before the recording is stopped, that is, the start time of the highest point interval H and the start of the unrecorded period D. The camera video acquisition period G is set up to the camera video acquisition periods G1, G2,... Gj by shifting one frame at a time until the camera video acquisition period G with the same time is set.

そして、未記録映像抽出部244は、設定したそれぞれのカメラ映像取得期間G(G1〜Gj)の先頭のフレームパターンマッチ度と、末尾の時刻のフレームパターンマッチ度の和の最も大きい期間を、カメラ映像取得期間Gに決定する。すなわち、決定したカメラ映像取得期間Gの最高点の間隔Hの、先頭の時刻から、末尾の時刻までの、カメラ10−iで記録した映像フレームが、ステップST210において、レコーダ16に取り込まれる映像フレームとなる。   Then, the unrecorded video extraction unit 244 determines the period in which the sum of the first frame pattern matching degree and the last frame pattern matching degree of the camera video acquisition periods G (G1 to Gj) is the largest for the camera. The video acquisition period G is determined. That is, the video frames recorded by the camera 10-i from the start time to the end time of the determined interval H of the highest point of the camera video acquisition period G are taken into the recorder 16 in step ST210. It becomes.

なお、この場合も、未記録映像抽出部244は、レコーダ16に映像フレームを取り込んだ際は、カメラ10−iから取り込んだ先頭の映像フレームにはレコーダ16の記録停止時の時刻のタイムスタンプを付与し、以降、レコーダ16において記録停止中であった時刻と対応するよう、カメラ10−iから取り込んだ映像フレームにレコーダ16での時刻に基づくタイムスタンプを付与してHDD31にて管理するようにする。   In this case as well, when the unrecorded video extraction unit 244 captures a video frame in the recorder 16, a time stamp at the recording stop time of the recorder 16 is added to the first video frame captured from the camera 10-i. After that, a time stamp based on the time at the recorder 16 is assigned to the video frame captured from the camera 10-i so as to correspond to the time when the recording was stopped at the recorder 16, and managed by the HDD 31. To do.

図5のフローチャートに戻る。
ステップST209において、カメラ10−iからレコーダ16が取得すべきカメラ映像取得期間Gを決定し、ステップST210において、カメラ映像取得期間Gに記録された映像フレームをカメラ10−iから取得した映像フレームから抽出して取り込み、レコーダ16の記録映像としてHDD31に保存すると、未記録映像抽出部244は、iをインクリメントする(ステップST211)。
そして、未記録映像抽出部244は、i=nとなったかを判断し(ステップST212)、i=n+1ではない場合(ステップST212の“NO”の場合)、ステップST206に戻る。
ステップST212において、i=n+1であった場合(ステップST212の“YES”の場合)、処理を終了する。
このように、未記録映像抽出部244は、ステップST204において、電源断時制御部243が記録停止を指示した全てのカメラ10−iに対して、1台ずつ、未記録映像フレームを取得していく。
Returning to the flowchart of FIG.
In step ST209, the camera video acquisition period G to be acquired by the recorder 16 from the camera 10-i is determined. In step ST210, the video frames recorded in the camera video acquisition period G are determined from the video frames acquired from the camera 10-i. When extracted and captured, and stored in the HDD 31 as a recorded video of the recorder 16, the unrecorded video extracting unit 244 increments i (step ST211).
The unrecorded video extraction unit 244 determines whether i = n (step ST212). If i = n + 1 is not satisfied (NO in step ST212), the process returns to step ST206.
In step ST212, when i = n + 1 (in the case of “YES” in step ST212), the process is terminated.
In this way, in step ST204, the unrecorded video extraction unit 244 acquires unrecorded video frames one by one for all the cameras 10-i to which the power-off control unit 243 has instructed to stop recording. Go.

以上のように、この実施の形態1によれば、カメラ(撮像装置)10−iから受信した映像フレームを記録するレコーダ(映像記録再生装置)16に対する電源供給状態を監視する電源監視部25と、電源監視部25により電源断となることが検出された場合、カメラ10−iに対して映像フレームの記録開始を指示する記録開始信号を送信し、電源断後に電源監視部25により電源復帰が検出された場合、電源断によってレコーダ16(記録処理部241)が映像フレームを記録できなかった未記録期間Dを算出し、カメラ10−iに対して映像フレームの記録停止を指示する記録停止信号を送信する電源断時制御部243と、電源復帰が検出された場合、カメラ10−iが記録開始信号を受信してから記録停止信号を受信するまでの間に記録した映像フレームをカメラ10−iから取得し、当該映像フレームから、レコーダ16(記録処理部241)が電源断前に記録した最後の映像フレームとの相関度に基づき検出した第1の映像フレームとレコーダ16(記録処理部241)が電源復帰後に記録した最初の映像フレームとの相関度に基づき検出した第2の映像フレームとの間の映像フレームを、未記録期間Dの映像フレームとして抽出する未記録映像抽出部244とを備えるように構成したので、レコーダ16の電源断によりレコーダ16の映像の記録が停止しても、後ほど電源復帰しレコーダ16の動作が再開された場合、レコーダ16の停止期間中の映像をすでに記録済みのカメラ10−iの映像フレームと接続する際も、接続前後で乱れのない滑らかな記録映像を得ることができる。   As described above, according to the first embodiment, the power supply monitoring unit 25 that monitors the power supply state to the recorder (video recording / playback device) 16 that records the video frame received from the camera (imaging device) 10-i; When it is detected by the power monitoring unit 25 that the power is cut off, a recording start signal for instructing the camera 10-i to start recording a video frame is transmitted, and the power monitoring unit 25 restores the power after the power is turned off. If detected, a recording stop signal for calculating an unrecorded period D during which the recorder 16 (recording processing unit 241) could not record a video frame due to power-off and instructing the camera 10-i to stop recording the video frame. When the power cut-off control unit 243 transmits the power, and when power recovery is detected, the camera 10-i receives the recording start signal and then receives the recording stop signal. The recorded video frame is acquired from the camera 10-i, and the first video frame detected from the video frame based on the degree of correlation with the last video frame recorded by the recorder 16 (recording processing unit 241) before the power is turned off. And the second video frame detected based on the degree of correlation with the first video frame recorded by the recorder 16 (recording processing unit 241) after the power is restored are extracted as video frames in the unrecorded period D. Since the unrecorded video extraction unit 244 is provided, even if the recording of the video of the recorder 16 is stopped due to the power failure of the recorder 16, the power of the recorder 16 is resumed and the operation of the recorder 16 is resumed. Even when the video during the stop period is connected to the video frame of the camera 10-i that has already been recorded, a smooth recorded video is obtained before and after the connection. It is possible.

また、この実施の形態1によれば、未記録映像抽出部244は、電源断となることが検出された場合、レコーダ16(記録処理部241)が電源断前に記録した最後の映像フレームに付与された時刻と、カメラ10−iから取得した映像フレームに付与された時刻とに基づき開始フレーム一致検索期間を設定して、当該開始フレーム一致検索期間の映像フレームから前記第1の映像フレームを検出し、レコーダ16(記録処理部241)が電源復帰後に記録した最初の映像フレームに付与された時刻と、カメラ10−iから取得した映像フレームに付与された時刻とに基づき終了フレーム一致検索期間を設定して、当該終了フレーム一致検索期間の映像フレームから前記第2の映像フレームを検出するようにしたので、レコーダ16とカメラ10−iの時刻ずれを考慮したフレーム一致検索を行うことができ、映像フレームの相関の検出をより正確に行うことができる。 Further, according to the first embodiment, when it is detected that the unrecorded video extraction unit 244 is powered off, the unrecorded video extraction unit 244 applies the last video frame recorded by the recorder 16 (recording processing unit 241) before the power shutdown. A start frame match search period is set based on the given time and the time given to the video frame acquired from the camera 10-i, and the first video frame is extracted from the video frame in the start frame match search period. The end frame match search period based on the time given to the first video frame detected and recorded by the recorder 16 (recording processing unit 241) after the power is restored and the time given to the video frame acquired from the camera 10-i . And the second video frame is detected from the video frames in the end frame match search period. 0-i time deviation of can do frame match search in consideration of, it is possible to detect the correlation of video frames more accurately.

また、この実施の形態1によれば、未記録映像抽出部244は、レコーダ16内部で保持する時刻とカメラ10−iが内部で保持する時刻とに誤差がある場合、レコーダ16(記録処理部241)が電源断前に記録した最後の映像フレームに付与された時刻とカメラ10−iから取得した映像フレームに付与された時刻と誤差とに基づき開始フレーム一致検索期間を設定し、レコーダ16(記録処理部241)が電源復帰後に記録した最初の映像フレームに付与された時刻とカメラ10−iから取得した映像フレームに付与された時刻と誤差とに基づき終了フレーム一致検索期間を設定するようにしたので、レコーダ16とカメラ10−iの時刻ずれを考慮したフレーム一致検索を行うことができ、映像フレームの相関の算出をより正確に行うことができる。また、レコーダ16が内部で保持している時刻とカメラ10−iが内部で保持している時刻がずれている場合であっても、その誤差を考慮することで、誤差を加味してよりよい映像フレーム一致検索期間を設定することができ、映像フレームの相関の検出精度を高めることができ、レコーダ16の停止期間中の映像をすでに記録済みの映像フレームと接続する際、より精度よく、接続前後で滑らかな記録映像を得ることができる。 Further, according to the first embodiment, the unrecorded video extracting unit 244, when there is an error between the time held in the recorder 16 and the time held in the camera 10-i, 241) sets a start frame match search period based on the time given to the last video frame recorded before power-off, the time given to the video frame acquired from the camera 10-i, and the error, and the recorder 16 ( The recording processing unit 241) sets the end frame coincidence search period based on the time given to the first video frame recorded after the power return and the time given to the video frame acquired from the camera 10-i and the error. Therefore, it is possible to perform a frame matching search that takes into account the time lag between the recorder 16 and the camera 10-i, and more accurately calculate the correlation between video frames. It is possible. Even when the time held internally by the recorder 16 is different from the time held internally by the camera 10-i, the error can be taken into account by taking the error into consideration. The video frame match search period can be set, the detection accuracy of the correlation of the video frame can be increased, and the connection during the stop period of the recorder 16 with the video frame that has already been recorded can be performed with higher accuracy. Smooth recorded images can be obtained before and after.

また、実施の形態1によれば、未記録映像抽出部244は、第1の映像フレームに付与された時刻から第2の映像フレームに付与された時刻までの長さが未記録期間Dの長さと一致しない場合、カメラ10−iから取得した映像フレームとレコーダ16(記録処理部241)が電源断前に記録した最後の映像フレームとの相関度、および、カメラ10−iから取得した映像フレームとレコーダ16(記録処理部241)が電源復帰後に記録した最初の映像フレームとの相関度に基づき、未記録期間Dの長さと一致するように、カメラ10−iから取得した映像フレームが記録された期間から映像取得期間を決定し、当該映像取得期間に対応する映像フレームを、未記録期間Dに対応する映像フレームとして抽出するようにしたので、カメラ10−iから取得した映像フレームとレコーダ16で記録した映像フレームを相関度の高い映像で接続しつつ、レコーダ16で記録する映像フレームの抜けや、同時刻で映像フレームが重複することを防ぐことができる。   Further, according to the first embodiment, the unrecorded video extraction unit 244 determines that the length from the time given to the first video frame to the time given to the second video frame is the length of the unrecorded period D. The video frame acquired from the camera 10-i and the correlation between the last video frame recorded by the recorder 16 (recording processing unit 241) before the power is turned off, and the video frame acquired from the camera 10-i. And the video frame acquired from the camera 10-i is recorded so as to coincide with the length of the unrecorded period D based on the degree of correlation between the recorder 16 (recording processing unit 241) and the first video frame recorded after the power is restored. Since the video acquisition period is determined from the determined period and the video frame corresponding to the video acquisition period is extracted as the video frame corresponding to the unrecorded period D, the camera 1 -Connecting the video frame obtained from -i and the video frame recorded by the recorder 16 with a video having a high degree of correlation, while preventing the video frame recorded by the recorder 16 from being lost or overlapping at the same time it can.

実施の形態2.
実施の形態1では、開始フレーム一致検索期間および終了フレーム一致検索期間に記録されたカメラ10−iの映像フレームとフレームパターンマッチングさせるレコーダ16の映像フレームは、それぞれ、記録停止前最後の1枚の映像フレームと記録再開後最初の1枚の映像フレームの1フレームずつとしていた(図9参照)。
この実施の形態2では、記録停止前と記録再開後にレコーダ16に記録されている複数の映像フレームについて、それぞれ開始フレーム一致検索期間および終了フレーム一致検索期間に記録されたカメラ10−iの映像フレームとフレームパターンマッチングさせる実施の形態について説明する。
なお、実施の形態1とは、フレームパターンマッチングの手法が異なるのみであるので、ここでは、実施の形態2におけるフレームパターンマッチングの手法についてのみ説明し、その他の構成および動作については、実施の形態1で説明したものと同様であるため、重複した説明を省略する。
Embodiment 2. FIG.
In the first embodiment, the video frame of the recorder 16 to be subjected to frame pattern matching with the video frame of the camera 10-i recorded in the start frame match search period and the end frame match search period is the last one before recording stop. One video frame and one first video frame after resuming recording are used (see FIG. 9).
In the second embodiment, the video frames of the camera 10-i recorded in the start frame match search period and the end frame match search period, respectively, for a plurality of video frames recorded in the recorder 16 before and after recording is stopped. An embodiment in which frame pattern matching is performed will be described.
Since only the frame pattern matching method is different from that of the first embodiment, only the frame pattern matching method in the second embodiment will be described here, and the other configurations and operations will be described in the first embodiment. 1 is the same as that described in FIG.

上述したように、実施の形態1では、カメラ10−iで開始フレーム一致検索期間に記録された映像フレームとフレームパターンマッチングさせる、レコーダ16で記録された記録停止前最後の映像フレーム、および、カメラ10−iで終了フレーム一致検索期間に記録された映像フレームとフレームパターンマッチングさせる、レコーダ16で記録された記録再開後最初の映像フレームは、それぞれ1枚の映像フレームであったため、1枚の映像フレームで相関度の最高点の間隔Hを決定することになり、場合によっては、レコーダ16の未記録期間Dに真に対応するカメラ映像取得期間Gが得られない可能性がある。
この可能性を抑制するため、この実施の形態2では、未記録映像抽出部244において決定した開始フレーム一致検索期間、および、終了フレーム一致検索期間においてフレームパターンマッチングに使用するレコーダ16の映像フレームのフレーム数を増やすものである。
なお、開始フレーム一致検索期間、および、終了フレーム一致検索期間の決定方法は、実施の形態1で説明したものと同様である。
As described above, in the first embodiment, the last video frame before recording stop recorded by the recorder 16 and the camera frame that is frame-pattern matched with the video frame recorded during the start frame match search period by the camera 10-i, and the camera Since the first video frame after resumption of recording recorded by the recorder 16 for frame pattern matching with the video frame recorded in the end frame match search period in 10-i is one video frame, one video The interval H of the highest correlation degree is determined by the frame, and in some cases, there is a possibility that the camera video acquisition period G that truly corresponds to the unrecorded period D of the recorder 16 cannot be obtained.
In order to suppress this possibility, in the second embodiment, the video frame of the recorder 16 used for frame pattern matching in the start frame match search period and the end frame match search period determined by the unrecorded video extraction unit 244 is used. This is to increase the number of frames.
The method for determining the start frame match search period and the end frame match search period is the same as that described in the first embodiment.

図13は、実施の形態2における、未記録映像抽出部244による、開始フレーム一致検索期間のフレームパターンマッチングの一例を説明する図である。
図13に示すように、ここでは、一例として、カメラ10−iで記録された映像フレームに対するフレームパターンマッチングを、レコーダ16において記録された記録停止前最後の映像フレームおよびその1つ前の映像フレームの計2枚の映像フレームについてそれぞれ行うものとする。
FIG. 13 is a diagram for explaining an example of frame pattern matching in the start frame match search period by the unrecorded video extraction unit 244 in the second embodiment.
As shown in FIG. 13, here, as an example, the frame pattern matching with respect to the video frame recorded by the camera 10-i is performed as the last video frame before the recording stop and the previous video frame recorded by the recorder 16. It is assumed that each of the two video frames is performed.

図14は、図13に示すフレームパターンマッチングを行った結果を説明する図である。
図14において、黒丸で表わす値は、未記録映像抽出部244が、開始フレーム一致検索期間にカメラ10−iで記録された映像フレームに対して、記録処理部241が記録停止前最後にHDD31に記録した映像フレームをフレームパターンマッチングさせた場合のフレームパターンマッチ度(相関度)を示している。
FIG. 14 is a diagram for explaining the result of performing the frame pattern matching shown in FIG.
In FIG. 14, the value represented by the black circle indicates that the unrecorded video extraction unit 244 stores the video frame recorded by the camera 10-i during the start frame match search period in the HDD 31 last before the recording processing is stopped by the recording processing unit 241. The frame pattern matching degree (correlation degree) when the recorded video frame is subjected to frame pattern matching is shown.

また、図14において、白丸で表わす値は、未記録映像抽出部244が、開始フレーム一致検索期間にカメラ10−iで記録された映像フレームに対して、記録処理部241が記録停止前最後にHDD31に記録した映像フレームの1フレーム前の映像フレームをフレームパターンマッチングさせた場合のフレームパターンマッチ度(相関度)を示している。なお、この時、記録処理部241が記録停止前最後に記録した映像フレームの1フレーム前の映像フレームは、開始フレーム一致検索期間にカメラ10−iで記録された映像フレームとフレームパターンマッチングさせると、通常、記録処理部241が記録停止前最後にHDD31に記録した映像フレームをフレームパターンマッチングさせた場合と比べ、全体的に1フレーム前でピークとなる。そこで、記録処理部241が記録停止前最後に記録した映像フレームの1フレーム前の映像フレームと開始フレーム一致検索期間にカメラ10−iで記録された映像フレームとのフレームパターンマッチング結果は、1フレーム進める補正を行う。図14において白丸で表わす値は、1フレーム進める補正を行ったあとのフレームパターンマッチ度を示している。 In FIG. 14, the value represented by a white circle is the last value recorded by the recording processing unit 241 before the recording is stopped by the unrecorded video extracting unit 244 for the video frame recorded by the camera 10-i during the start frame match search period. A frame pattern matching degree (correlation degree) when a frame pattern matching of a video frame one frame before the video frame recorded in the HDD 31 is shown. At this time, if the video frame one frame before the last video frame recorded by the recording processing unit 241 before the recording stop is subjected to frame pattern matching with the video frame recorded by the camera 10-i during the start frame matching search period. Usually, the recording processing unit 241 has a peak one frame before as compared with the case where the video frame recorded on the HDD 31 last before the recording is stopped is subjected to frame pattern matching. Therefore, the frame pattern matching result between the video frame one frame before the last recorded video frame by the recording processing unit 241 and the video frame recorded by the camera 10-i in the start frame match search period is one frame. Perform forward correction. In FIG. 14, a value represented by a white circle indicates a frame pattern matching degree after correction for advancing one frame.

また、図14において、黒四角で表わす値は、黒丸で表わす値と、白丸で表わす値を加算した値を示す。すなわち、開始フレーム一致検索期間にカメラ10−iで記録された映像フレームに対して、記録処理部241が記録停止前最後にHDD31に記録した映像フレームをフレームパターンマッチングさせた場合のフレームパターンマッチ度と、記録処理部241が記録停止前最後にHDD31に記録した映像フレームの1フレーム前の映像フレームを補正後にフレームパターンマッチングさせた場合のフレームパターンマッチ度とを加算したフレームパターンマッチ度を示す。   In FIG. 14, a value represented by a black square represents a value obtained by adding a value represented by a black circle and a value represented by a white circle. That is, the frame pattern matching degree when the recording processing unit 241 performs frame pattern matching on the video frame recorded last on the HDD 31 before the recording is stopped with respect to the video frame recorded by the camera 10-i during the start frame match search period. The frame pattern matching degree is obtained by adding the frame pattern matching degree when the recording processing unit 241 performs the frame pattern matching after correcting the video frame one frame before the video frame recorded last on the HDD 31 before the recording is stopped.

記録処理部241が記録した2枚の映像フレームに対してフレームパターンマッチング処理を行うことで、フレームパターンマッチングの処理負荷は2倍となるが、両映像フレームの、カメラ10−iで記録された映像フレームとの相関度を加算することにより、より顕著に最高点を検出することができる。   By performing frame pattern matching processing on the two video frames recorded by the recording processing unit 241, the processing load of frame pattern matching is doubled, but both video frames were recorded by the camera 10-i. By adding the degree of correlation with the video frame, the highest point can be detected more remarkably.

図示は省略するが、これと同様に、未記録映像抽出部244は、終了フレーム一致検索期間においても、カメラ10−iで記録された映像フレームに対して、記録処理部241が記録再開後最初にHDD31に記録した映像フレームと、当該映像フレームの1フレーム次に記録した映像フレームとのフレームパターンマッチングをそれぞれ行い、フレームパターンマッチング結果のフレームパターンマッチ度を加算する。なお、この場合も、1フレーム次に記録された映像フレームと、終了フレーム一致検索期間にカメラ10−iで記録された映像フレームとのフレームパターンマッチング結果は、1フレーム戻す補正を行うものとする。
そして、未記録映像抽出部244は、開始フレーム一致検索期間の最高点と、終了フレーム一致検索期間の最高点から、より精度よく最高点の間隔Hを設定する。
Although not shown in the figure, similarly to this, the unrecorded video extraction unit 244 first performs the recording after the recording processing unit 241 resumes recording for the video frame recorded by the camera 10-i even during the end frame match search period. The frame pattern matching between the video frame recorded in the HDD 31 and the video frame recorded next to the video frame is performed, and the frame pattern matching degree of the frame pattern matching result is added. In this case as well, the frame pattern matching result between the video frame recorded next one frame and the video frame recorded by the camera 10-i during the end frame match search period is corrected back by one frame. .
The unrecorded video extraction unit 244 sets the highest point interval H with higher accuracy from the highest point of the start frame match search period and the highest point of the end frame match search period.

なお、ここでは、一例として、カメラ10−iで記録された映像フレームに対するフレームパターンマッチングを、記録処理部241がHDD31に記録した記録停止前最後の映像フレームおよびその1つ前の映像フレーム、または、記録処理部241がHDD31に記録した記録再開後最初の映像フレームおよびその1つ次の映像フレームの計2枚の映像フレームについて行うものとしたが、これに限らず、最高点を検出し、最高点の間隔Hを設定するためのレコーダ16の映像フレームの枚数は、フレームパターンマッチングの処理負荷の増大が許せる範囲内で、3枚以上に増やしてもよい。   Here, as an example, the frame pattern matching for the video frame recorded by the camera 10-i is performed as a last video frame before recording stop and the previous video frame recorded by the recording processing unit 241 in the HDD 31, or The recording processing unit 241 performs the recording on the HDD 31 for the first video frame after the resumption of recording and the next one video frame. However, the present invention is not limited to this, and the highest point is detected. The number of video frames of the recorder 16 for setting the highest interval H may be increased to 3 or more within a range that allows an increase in the processing load of frame pattern matching.

以上のように、この実施の形態2によれば、未記録映像抽出部244は、カメラ10−iから取得した映像フレームから、レコーダ16(記録処理部241)が電源断前に記録した最後の映像フレームを含む複数の連続する映像フレームとの相関度をそれぞれ検索した結果に基づき第1の映像フレームを検出し、レコーダ16(記録処理部241)が電源復帰後に記録した最初の映像フレームを含む複数の連続する映像フレームとの相関度をそれぞれ検索した結果に基づき第2の映像フレームを検出するようにしたので、レコーダ16の停止期間中の映像をすでに記録済みのカメラ10−iの映像フレームと接続する際に、より精度よく、接続前後で乱れのない滑らかな記録映像を得ることができる。   As described above, according to the second embodiment, the unrecorded video extraction unit 244 uses the video frame acquired from the camera 10-i to record the last recorded by the recorder 16 (recording processing unit 241) before the power is turned off. A first video frame is detected based on a result of searching for correlations with a plurality of consecutive video frames including the video frame, and includes the first video frame recorded after the recorder 16 (recording processing unit 241) returns to power. Since the second video frame is detected based on the results of searching for the correlation with a plurality of consecutive video frames, the video frame of the camera 10-i in which the video during the stop period of the recorder 16 has already been recorded. When connecting to a smooth recorded video without any disturbance before and after the connection can be obtained with higher accuracy.

実施の形態3.
実施の形態1では、最高点の間隔Hと未記録期間Dが一致しない場合、最高点の間隔Hが未記録期間Dより長ければ、最高点の間隔Hの範囲内で未記録期間Dの長さに合う期間をカメラ映像取得期間Gとし、最高点の間隔Hが未記録期間Dより短ければ、最高点の間隔Hを越えて未記録期間Dの長さに合う期間をカメラ映像取得期間Gとしていた。この実施の形態3では、最高点の間隔Hの長さが未記録期間Dと一致しない場合であっても、最高点の間隔Hの期間をカメラ映像取得期間Gとし、最高点の間隔Hの期間にカメラ10−iで記録された映像フレームを取得する実施の形態について説明する。
なお、実施の形態1とは、カメラ映像取得期間Gの決定処理およびレコーダ16に取り込むカメラ10−iの映像フレームの取得処理(図5のステップST209〜ステップST210)が異なるのみであるので、当該異なる処理についてのみ説明し、その他の構成・動作については、実施の形態1で説明したものと同様であるため、重複した説明を省略する。
Embodiment 3 FIG.
In the first embodiment, when the highest point interval H and the unrecorded period D do not match, if the highest point interval H is longer than the unrecorded period D, the length of the unrecorded period D within the range of the highest point interval H The period that matches this is the camera video acquisition period G, and if the highest point interval H is shorter than the unrecorded period D, the period that exceeds the highest point interval H and matches the length of the unrecorded period D is the camera video acquisition period G. I was trying. In the third embodiment, even when the length of the highest point interval H does not coincide with the unrecorded period D, the highest point interval H is set as the camera video acquisition period G, and the highest point interval H is set. An embodiment in which video frames recorded by the camera 10-i during a period are acquired will be described.
The first embodiment is different from the first embodiment only in the determination process of the camera video acquisition period G and the acquisition process of the video frame of the camera 10-i to be captured in the recorder 16 (step ST209 to step ST210 in FIG. 5). Only the different processing will be described, and other configurations and operations are the same as those described in the first embodiment, and thus redundant description will be omitted.

未記録映像抽出部244は、未記録映像抽出部244は、開始フレーム一致検索期間にカメラ10−iで記録された映像フレームと記録処理部241がHDD31に記録した記録停止前(電源断前)最後の映像フレームとの相関度、および、終了フレーム一致検索期間にカメラ10−iで記録された映像フレームと記録処理部241がHDD31に記録した記録再開後(電源復帰後)最初の映像フレームとの相関度をそれぞれ算出し、記録停止前、記録再開後で相関度が最高となる映像フレーム(第1のフレーム、第2のフレーム)を記録した時刻の間隔(最高点の間隔H)を、最高点の間隔Hの長さに関わらず、レコーダ16が取得すべきカメラ映像取得期間Gとする。
そして、未記録映像抽出部244は、カメラ10−iから取得した映像フレームから、カメラ映像取得期間Gに記録した映像フレームを抽出して取り込み、レコーダ16の記録映像としてHDD31に保存する。
The unrecorded video extraction unit 244, the unrecorded video extraction unit 244, and the video frames recorded by the camera 10-i during the start frame match search period and before the recording stop (before the power cut) recorded by the recording processing unit 241 on the HDD 31. The degree of correlation with the last video frame, the video frame recorded by the camera 10-i during the end frame match search period, and the first video frame after the recording resumed after the recording processing unit 241 recorded in the HDD 31 (after power recovery) And the interval of the time (highest point interval H) at which the video frame (first frame, second frame) having the highest degree of correlation is recorded before recording is stopped and after recording is restarted. Regardless of the length of the highest point interval H, the camera image acquisition period G to be acquired by the recorder 16 is assumed.
Then, the unrecorded video extraction unit 244 extracts and captures the video frames recorded during the camera video acquisition period G from the video frames acquired from the camera 10-i and stores them in the HDD 31 as the recorded video of the recorder 16.

ここで、図15,図16を用いて、未記録映像抽出部244による、カメラ10−iからの映像フレーム取得処理について、例をあげて説明する。
図15は、実施の形態3において、レコーダ16の未記録期間Dの長さが、最高点の間隔Hの長さより長い場合の、カメラ10−iからの映像フレームの取得処理を説明する図である。
図15に示すように、この実施の形態3では、レコーダ16の未記録期間Dの長さが、最高点の間隔Hの長さより長い場合であっても、未記録映像抽出部244は、最高点の間隔Hの期間をカメラ映像取得期間Gとする。つまり、未記録映像抽出部244は、カメラ10−iにおいて、最高点の間隔Hの先頭の時刻に記録された映像フレームから、最高点の間隔Hの末尾の時刻に記録された映像フレームまでをカメラ10−iから取得し、HDD31に記録する。この時、カメラ10−iから取り込んだ映像フレームには、レコーダ16で記録できなかった期間の時刻におさまるように、タイムスタンプを付与するようにする。例えば、レコーダ16での未記録期間の方が、カメラ10−iから取り込んだ映像フレームを記録した期間より10分長かったとすると、カメラ10−iから取り込んだ映像フレームには、レコーダ16での未記録期間の前後5分を空白とし、レコーダ16で録画停止前最後に映像フレームを記録した時刻の5分後から、レコーダ16で録画再開後最初に映像フレームを記録した時刻の5分前までの時刻に基づくタイムスタンプを付与するようにすればよい。また、例えば、レコーダ16で録画停止前最後の映像フレームを記録した時刻と、カメラ10−iから取り込んだ映像フレームの先頭の映像フレームに付与する時刻が連続するようにタイムスタンプを付与するようにしてもよい。
Here, with reference to FIGS. 15 and 16, the video frame acquisition processing from the camera 10-i by the unrecorded video extraction unit 244 will be described with an example.
FIG. 15 is a diagram for explaining video frame acquisition processing from the camera 10-i when the length of the unrecorded period D of the recorder 16 is longer than the length of the highest point interval H in the third embodiment. is there.
As shown in FIG. 15, in the third embodiment, even if the length of the unrecorded period D of the recorder 16 is longer than the length of the maximum interval H, the unrecorded video extracting unit 244 A period of the point interval H is defined as a camera video acquisition period G. That is, the unrecorded video extraction unit 244 performs, from the video frame recorded at the beginning time of the highest point interval H to the video frame recorded at the end time of the highest point interval H in the camera 10-i. Obtained from the camera 10-i and recorded in the HDD 31. At this time, a time stamp is given to the video frame taken from the camera 10-i so as to fall within the time period during which the recorder 16 could not record. For example, if the unrecorded period in the recorder 16 is 10 minutes longer than the period in which the video frame captured from the camera 10-i is recorded, the video frame captured from the camera 10-i is not recorded in the recorder 16-i. Five minutes before and after the recording period are left blank, and from 5 minutes after the last video frame was recorded by the recorder 16 before the recording was stopped to 5 minutes before the first video frame was recorded after the recording was resumed by the recorder 16. What is necessary is just to give the time stamp based on time. Further, for example, a time stamp is given so that the time when the last video frame before the recording is stopped by the recorder 16 and the time given to the first video frame of the video frame taken from the camera 10-i are continuous. May be.

この場合、HDD31に記録された映像フレームに、カメラ10−iから取得した映像フレームを結合すると、時刻順に映像フレームを構成した場合、映像フレームのない期間が存在する。この実施の形態3においては、タイムスタンプが飛ぶことを許容し、映像表示制御部242は、表示処理部26に対して、タイムスタンプが飛んだ、すなわち、時刻順に映像フレームのない期間が存在する映像フレームに基づいて、映像表示を行うよう制御する。   In this case, when the video frames acquired from the camera 10-i are combined with the video frames recorded in the HDD 31, there is a period without the video frames when the video frames are configured in time order. In the third embodiment, the time stamp is allowed to fly, and the video display control unit 242 causes the display processing unit 26 to skip the time stamp, that is, there is a period in which there is no video frame in time order. Control is performed to perform video display based on the video frame.

図16は、実施の形態3において、レコーダ16の未記録期間Dの長さが、最高点の間隔Hの長さより短い場合の、カメラ10−iからの映像フレームの取得処理を説明する図である。
図16に示すように、この実施の形態3では、レコーダ16の未記録期間Dの長さが、最高点の間隔Hの長さより短い場合であっても、未記録映像抽出部244は、最高点の間隔Hの期間をカメラ映像取得期間Gとする。つまり、未記録映像抽出部244は、カメラ10−iにおいて、最高点の間隔Hの先頭の時刻に記録された映像フレームから、最高点の間隔Hの末尾の時刻に記録された映像フレームまでをカメラ10−iから取得し、HDD31に記録する。この時、カメラ10−iから取り込んだ映像フレームには、その期間内に、レコーダ16で記録できなかった期間の時刻がおさまるように、タイムスタンプを付与するようにする。
FIG. 16 is a diagram for explaining video frame acquisition processing from the camera 10-i when the length of the unrecorded period D of the recorder 16 is shorter than the length of the highest point interval H in the third embodiment. is there.
As shown in FIG. 16, in the third embodiment, even if the length of the unrecorded period D of the recorder 16 is shorter than the length of the maximum interval H, the unrecorded video extracting unit 244 A period of the point interval H is defined as a camera video acquisition period G. That is, the unrecorded video extraction unit 244 performs, from the video frame recorded at the beginning time of the highest point interval H to the video frame recorded at the end time of the highest point interval H in the camera 10-i. Obtained from the camera 10-i and recorded in the HDD 31. At this time, a time stamp is added to the video frame captured from the camera 10-i so that the time of the period that cannot be recorded by the recorder 16 falls within that period.

この場合、HDD31に記録された映像フレームに、カメラ10−iから取得した映像フレームを結合すると、時刻順に映像フレームを構成した場合、映像フレームが重複する期間が存在する。この実施の形態3においては、未記録映像抽出部244は、重複した映像フレームに同じタイムスタンプを付与しておくとともに、レコーダ16の通常時において記録処理部241が記録した映像フレームと電源断があった場合にカメラ10−iから取得した映像フレームとを区別して管理する。また、映像表示制御部242は、表示処理部26に対して、同一タイムスタンプ、すなわち、同一時刻の映像表示を重複して行うよう制御する。   In this case, when the video frames acquired from the camera 10-i are combined with the video frames recorded in the HDD 31, there are periods in which the video frames overlap when the video frames are configured in time order. In the third embodiment, the unrecorded video extraction unit 244 gives the same time stamp to the duplicate video frames, and the video frame recorded by the recording processing unit 241 at the normal time of the recorder 16 is disconnected from the power source. If there is, the video frame acquired from the camera 10-i is managed separately. In addition, the video display control unit 242 controls the display processing unit 26 so that video display at the same time stamp, that is, at the same time, is performed repeatedly.

例えば、HDD31に記録された映像フレームとカメラ10−iから取得した映像フレームが重複する期間において、tr1からtr2をレコーダ16がHDDに記録した映像フレームのタイムスタンプ、tc1からtc2をカメラ10−iから取得した映像フレームのタイムスタンプとすると、この期間を含む映像フレームの再生時には、tr1からtr2の映像を表示したのち、tc1からtc2の映像を表示するようにする。
このようにすることで、映像を繋ぐ際も、滑らかな映像とすることができる。
ただし、この場合、HDD31に記録された映像フレームとカメラ10−iから取得した映像フレームとで重複した映像フレームを繋ぐことになるので、映像再生時間としては、レコーダ16での未録画期間の長さより長くなってしまう。そこで、映像再生時間が未録画期間の長さと一致することを優先させたい場合には、ユーザが、重複する映像フレームのどちらを用いるかを選択できるようにしてもよい。
For example, in a period in which a video frame recorded on the HDD 31 and a video frame acquired from the camera 10-i overlap, tr1 to tr2 are time stamps of the video frames recorded on the HDD by the recorder 16, and tc1 to tc2 are camera 10-i. If the time stamp of the video frame acquired from the above is used, when the video frame including this period is reproduced, the video from tr1 to tr2 is displayed, and then the video from tc1 to tc2 is displayed.
By doing so, it is possible to obtain a smooth image even when the images are connected.
However, in this case, since the video frame recorded in the HDD 31 and the video frame acquired from the camera 10-i are connected, the video playback time is the length of the unrecorded period in the recorder 16. It will be longer than that. Therefore, when it is desired to prioritize that the video playback time matches the length of the unrecorded period, the user may be able to select which of the overlapping video frames is used.

以上のように、実施の形態3によれば、未記録映像抽出部244は、未記録期間Dの映像フレームとして抽出した映像フレームをレコーダ16(HDD31)に記録させるようにしており、レコーダ16(記録処理部241)が、電源断前および電源復帰後に記録した映像フレームに付与された時刻と、抽出した第1の映像フレームと第2の映像フレームとの間の映像フレームに付与された時刻とが連続しない場合は、時刻が連続しない映像フレームとして抽出した映像フレームをレコーダ16(HDD31)に記録させ、レコーダ16(記録処理部241)が、電源断前および電源復帰後に記録した映像フレームに付与された時刻と、抽出した第1の映像フレームと第2の映像フレームとの間の映像フレームに付与された時刻とが重複する場合は、レコーダ16(記録処理部241)が記録した映像フレームと区別して、抽出した映像フレームをレコーダ16(HDD31)に記録させるようにしたので、ある時刻の映像フレームがなかったり、または、重複して映像表示することになるが、映像としては、より滑らかに、カメラ10−iで記録した映像を、レコーダ16の記録停止期間中の映像として接続することが可能となる。   As described above, according to the third embodiment, the unrecorded video extraction unit 244 causes the recorder 16 (HDD 31) to record the video frame extracted as the video frame of the unrecorded period D. The time given to the video frame recorded by the recording processing unit 241) before the power interruption and after the power return, and the time given to the video frame between the extracted first video frame and the second video frame Is not continuous, the extracted video frame is recorded as a video frame with a non-continuous time on the recorder 16 (HDD 31), and the recorder 16 (recording processing unit 241) assigns the video frame recorded before the power is turned off and after the power is restored. And the time assigned to the video frame between the extracted first video frame and the second video frame overlap. In this case, the extracted video frame is recorded on the recorder 16 (HDD 31) separately from the video frame recorded by the recorder 16 (recording processing unit 241), so that there is no video frame at a certain time or duplication. Thus, the video can be displayed more smoothly, and the video recorded by the camera 10-i can be connected as video during the recording stop period of the recorder 16.

なお、この発明の実施の形態1において、レコーダ16は、図2で示すような構成としたが、レコーダ16は、電源監視部25と、電源断時制御部243と、未記録映像抽出部244とを備えることにより、上述したような効果が得られるものである。   In the first embodiment of the present invention, the recorder 16 is configured as shown in FIG. 2, but the recorder 16 includes the power monitoring unit 25, the power-off control unit 243, and the unrecorded video extraction unit 244. The above-described effects can be obtained.

また、本願発明はその発明の範囲内において、各実施の形態の自由な組み合わせ、あるいは各実施の形態の任意の構成要素の変形、もしくは各実施の形態において任意の構成要素の省略が可能である。
また、実施の形態1〜3におけるレコーダ16の制御に用いられる各部は、ソフトウェアに基づくCPUを用いたプログラム処理によって実行される。
また、各実施の形態1〜3におけるHDD31は、HDDのほか、DVD、メモリなどによって構成されるものであってもよい。
Further, within the scope of the present invention, the invention of the present application can be freely combined with each embodiment, modified with any component in each embodiment, or omitted with any component in each embodiment. .
Each unit used for controlling the recorder 16 in the first to third embodiments is executed by a program process using a CPU based on software.
Further, the HDD 31 in each of the first to third embodiments may be configured by a DVD, a memory, or the like in addition to the HDD.

1 CCTVシステム、10−1〜10−n カメラ、11−1〜11−n,15 伝送路、12 PoEハブ、13,17 コード、14,18 電源、16 レコーダ、20 受信端子、21 送信端子、22 受信部、23 送信部、24制御部、25 電源監視部、26 表示制御部、27 映像出力端子、28 電源入力端子、29 時刻保持部、30 フラッシュメモリ、31 HDD、100 映像記録制御部、241 記録処理部、242 映像表示制御部、243 電源断時制御部、244 未記録映像抽出部。   1 CCTV system, 10-1 to 10-n camera, 11-1 to 11-n, 15 transmission path, 12 PoE hub, 13, 17 code, 14, 18 power supply, 16 recorder, 20 reception terminal, 21 transmission terminal, 22 receiving unit, 23 transmitting unit, 24 control unit, 25 power supply monitoring unit, 26 display control unit, 27 video output terminal, 28 power input terminal, 29 time holding unit, 30 flash memory, 31 HDD, 100 video recording control unit, 241 Recording processing unit, 242 Video display control unit, 243 Power-off control unit, 244 Unrecorded video extraction unit

Claims (8)

撮像装置から受信した映像フレームを記録する映像記録再生装置に対する電源供給状態を監視する電源監視部と、
前記電源監視部により電源断となることが検出された場合、前記撮像装置に対して映像フレームの記録開始を指示する記録開始信号を送信し、前記電源断後に前記電源監視部により電源復帰が検出された場合、前記電源断によって前記映像記録再生装置が映像フレームを記録できなかった未記録期間を算出し、前記撮像装置に対して映像フレームの記録停止を指示する記録停止信号を送信する電源断時制御部と、
前記電源復帰が検出された場合、前記撮像装置が前記記録開始信号を受信してから前記記録停止信号を受信するまでの間に記録した映像フレームを前記撮像装置から取得し、当該映像フレームから、前記映像記録再生装置が前記電源断前に記録した最後の映像フレームとの相関度に基づき検出した第1の映像フレームと前記映像記録再生装置が前記電源復帰後に記録した最初の映像フレームとの相関度に基づき検出した第2の映像フレームとの間の映像フレームを、前記未記録期間の映像フレームとして抽出する未記録映像抽出部
とを備えた映像記録制御装置。
A power monitoring unit for monitoring a power supply state to a video recording / reproducing device for recording a video frame received from the imaging device;
When the power supply monitoring unit detects that the power supply is cut off, it sends a recording start signal instructing the imaging device to start recording a video frame. After the power supply is turned off, the power supply monitoring unit detects that the power supply is restored. When the power is turned off, the video recording / playback apparatus calculates an unrecorded period during which the video frame could not be recorded and transmits a recording stop signal instructing the imaging apparatus to stop recording the video frame. A time control unit;
When the power return is detected, the imaging device acquires a video frame recorded from when the imaging start signal is received until the recording stop signal is received from the imaging device, and from the video frame, Correlation between the first video frame detected by the video recording / reproducing apparatus based on the degree of correlation with the last video frame recorded before the power interruption and the first video frame recorded by the video recording / reproducing apparatus after the power is restored A video recording control device comprising: an unrecorded video extracting unit that extracts a video frame between the second video frame detected based on the degree as a video frame in the unrecorded period.
前記未記録映像抽出部は、
前記電源断となることが検出された場合、前記映像記録再生装置が前記電源断前に記録した最後の映像フレームに付与された時刻と、前記撮像装置から取得した映像フレームに付与された時刻とに基づき開始フレーム一致検索期間を設定して、当該開始フレーム一致検索期間の映像フレームから前記第1の映像フレームを検出し、前記映像記録再生装置が前記電源復帰後に記録した最初の映像フレームに付与された時刻と、前記撮像装置から取得した映像フレームに付与された時刻とに基づき終了フレーム一致検索期間を設定して、当該終了フレーム一致検索期間の映像フレームから前記第2の映像フレームを検出する
ことを特徴とする請求項1記載の映像記録制御装置。
The unrecorded video extraction unit
When it is detected that the power is turned off, a time given to the last video frame recorded by the video recording / playback apparatus before the power is turned off, and a time given to the video frame acquired from the imaging device, The start frame match search period is set based on the first frame, the first video frame is detected from the video frames in the start frame match search period, and is added to the first video frame recorded after the video recording / playback apparatus returns to the power source. An end frame match search period is set based on the set time and the time given to the video frame acquired from the imaging device, and the second video frame is detected from the video frame in the end frame match search period The video recording control apparatus according to claim 1.
前記未記録映像抽出部は、
前記映像記録再生装置内部で保持する時刻と前記撮像装置が内部で保持する時刻とに誤差がある場合、前記映像記録再生装置が前記電源断前に記録した最後の映像フレームに付与された時刻と前記撮像装置から取得した映像フレームに付与された時刻と前記誤差とに基づき前記開始フレーム一致検索期間を設定し、前記映像記録再生装置が前記電源復帰後に記録した最初の映像フレームに付与された時刻と前記撮像装置から取得した映像フレームに付与された時刻と前記誤差とに基づき前記終了フレーム一致検索期間を設定する
ことを特徴とする請求項2記載の映像記録制御装置。
The unrecorded video extraction unit
When there is an error between the time held in the video recording / reproducing apparatus and the time held in the imaging apparatus, the time given to the last video frame recorded by the video recording / reproducing apparatus before the power-off The start frame coincidence search period is set based on the time and the error given to the video frame acquired from the imaging device, and the time given to the first video frame recorded by the video recording / reproducing device after the power is restored The video recording control device according to claim 2, wherein the end frame match search period is set based on the time given to the video frame acquired from the imaging device and the error.
前記未記録映像抽出部は、
前記第1の映像フレームに付与された時刻から前記第2の映像フレームに付与された時刻までの長さが前記未記録期間の長さと一致しない場合、前記撮像装置から取得した映像フレームと前記映像記録再生装置が前記電源断前に記録した最後の映像フレームとの相関度、および、前記撮像装置から取得した映像フレームと前記映像記録再生装置が前記電源復帰後に記録した最初の映像フレームとの相関度に基づき、前記未記録期間の長さと一致するように、前記撮像装置から取得した映像フレームが記録された期間から映像取得期間を決定し、当該映像取得期間に対応する映像フレームを、前記未記録期間に対応する映像フレームとして抽出する
ことを特徴とする請求項1から請求項3のうちのいずれか1項記載の映像記録制御装置。
The unrecorded video extraction unit
When the length from the time given to the first video frame to the time given to the second video frame does not match the length of the unrecorded period, the video frame acquired from the imaging device and the video Correlation between the last video frame recorded by the recording / playback device before the power interruption and the correlation between the video frame acquired from the imaging device and the first video frame recorded by the video recording / playback device after the power recovery. A video acquisition period is determined from a period in which a video frame acquired from the imaging device is recorded so as to match the length of the unrecorded period, and the video frame corresponding to the video acquisition period is The video recording control device according to any one of claims 1 to 3, wherein the video frame is extracted as a video frame corresponding to a recording period.
前記未記録映像抽出部は、
前記未記録期間の映像フレームとして抽出した映像フレームを前記映像記録再生装置に記録させるようにしており、
前記映像記録再生装置が、前記電源断前および前記電源復帰後に記録した映像フレームに付与された時刻と、前記抽出した前記第1の映像フレームと前記第2の映像フレームとの間の映像フレームに付与された時刻とが連続しない場合は、前記時刻が連続しない映像フレームとして前記抽出した映像フレームを前記映像記録再生装置に記録させ、
前記映像記録再生装置が、前記電源断前および前記電源復帰後に記録した映像フレームに付与された時刻と、前記抽出した前記第1の映像フレームと前記第2の映像フレームとの間の映像フレームに付与された時刻とが重複する場合は、前記映像記録再生装置が記録した映像フレームと区別して、前記抽出した映像フレームを前記映像記録再生装置に記録させる
ことを特徴とする請求項2または請求項3記載の映像記録制御装置。
The unrecorded video extraction unit
The video recording / reproducing apparatus records the video frame extracted as the video frame of the unrecorded period,
The video recording / playback apparatus applies the time given to the video frame recorded before the power-off and after the power return to the video frame between the extracted first video frame and the second video frame. If the given time is not continuous, the extracted video frame is recorded in the video recording / playback device as a video frame in which the time is not continuous,
The video recording / playback apparatus applies the time given to the video frame recorded before the power-off and after the power return to the video frame between the extracted first video frame and the second video frame. 3. The video recording / reproducing apparatus according to claim 2, wherein when the given time overlaps, the video recording / reproducing apparatus records the extracted video frame separately from the video frame recorded by the video recording / reproducing apparatus. 3. The video recording control device according to 3.
前記未記録映像抽出部は、
前記撮像装置から取得した映像フレームから、前記映像記録再生装置が前記電源断前に記録した最後の映像フレームを含む複数の連続する映像フレームとの相関度をそれぞれ検索した結果に基づき前記第1の映像フレームを検出し、前記映像記録再生装置が前記電源復帰後に記録した最初の映像フレームを含む複数の連続する映像フレームとの相関度をそれぞれ検索した結果に基づき前記第2の映像フレームを検出する
ことを特徴とする請求項1から請求項5のうちのいずれか1項記載の映像記録制御装置。
The unrecorded video extraction unit
Based on the results obtained by searching the video frames acquired from the imaging device for the degree of correlation with a plurality of consecutive video frames including the last video frame recorded by the video recording / playback device before the power-off, respectively. A video frame is detected, and the second video frame is detected based on a result of searching for correlations with a plurality of consecutive video frames including the first video frame recorded after the video recording / reproducing apparatus returns to the power source. 6. The video recording control device according to claim 1, wherein the video recording control device is a video recording control device.
電源監視部が、撮像装置から受信した映像フレームを記録する映像記録再生装置に対する電源供給状態を監視するステップと、
前記電源監視部により電源断となることが検出された場合、
電源断時制御部が、前記撮像装置に対して映像フレームの記録開始を指示する記録開始信号を送信するステップと、
前記電源断後に前記電源監視部により電源復帰が検出された場合、
前記電源断時制御部が、前記電源断によって前記映像記録再生装置が映像フレームを記録できなかった未記録期間を算出し、前記撮像装置に対して映像フレームの記録停止を指示する記録停止信号を送信するステップと、
未記録映像抽出部が、前記撮像装置が前記記録開始信号を受信してから前記記録停止信号を受信するまでの間に記録した映像フレームを前記撮像装置から取得し、当該映像フレームから、前記映像記録再生装置が前記電源断前に記録した最後の映像フレームとの相関度に基づき検出した第1の映像フレームと、前記映像記録再生装置が前記電源復帰後に記録した最初の映像フレームとの相関度に基づき検出した第2の映像フレームとの間の映像フレームを、前記未記録期間の映像フレームとして抽出し、前記映像記録再生装置に記録させるステップ
とを備えた映像記録制御方法。
A step of monitoring a power supply state to a video recording / reproducing device for recording a video frame received from the imaging device by a power monitoring unit;
When it is detected by the power monitoring unit that power is cut off,
A step of transmitting a recording start signal for instructing the imaging device to start recording a video frame;
When power recovery is detected by the power monitoring unit after the power is turned off,
The power-off control unit calculates an unrecorded period during which the video recording / playback apparatus cannot record a video frame due to the power-off, and outputs a recording stop signal for instructing the imaging apparatus to stop recording the video frame. Sending, and
An unrecorded video extraction unit obtains a video frame recorded from when the imaging device receives the recording start signal to when the recording stop signal is received from the imaging device, and from the video frame, the video Correlation between the first video frame detected by the recording / reproducing apparatus based on the correlation with the last video frame recorded before the power interruption and the first video frame recorded by the video recording / reproducing apparatus after the power is restored A video recording control method comprising: extracting a video frame between the second video frame detected on the basis of the video frame as a video frame in the unrecorded period and recording the video frame in the video recording / playback apparatus.
映像記録再生装置と映像記録制御装置と撮像装置とがネットワークを介して接続され、前記映像記録再生装置が、前記撮像装置が撮影した映像フレームを受信して記録し、前記映像記録制御装置が、前記映像記録再生装置における前記映像フレームの記録を制御するCCTVシステムにおいて、
前記映像記録制御装置は、
前記映像記録再生装置に対する電源供給状態を監視する電源監視部と、
前記電源監視部により電源断となることが検出された場合、前記撮像装置に対して映像フレームの記録開始を指示する記録開始信号を送信し、前記電源断後に前記電源監視部により電源復帰が検出された場合、前記電源断によって前記映像記録再生装置が映像フレームを記録できなかった未記録期間を算出し、前記撮像装置に対して映像フレームの記録停止を指示する記録停止信号を送信する電源断時制御部と、
前記電源復帰が検出された場合、前記撮像装置が前記記録開始信号を受信してから前記記録停止信号を受信するまでの間に記録した映像フレームを前記撮像装置から取得し、当該映像フレームから、前記映像記録再生装置が前記電源断前に記録した最後の映像フレームとの相関度に基づき検出した第1の映像フレームと、前記映像記録再生装置が前記電源復帰後に記録した最初の映像フレームとの相関度に基づき検出した第2の映像フレームとの間の映像フレームを、前記未記録期間の映像フレームとして抽出する未記録映像抽出部
とを備えたことを特徴とするCCTVシステム。
A video recording / playback device, a video recording control device, and an imaging device are connected via a network, the video recording / playback device receives and records a video frame taken by the imaging device, and the video recording control device includes: In the CCTV system for controlling the recording of the video frame in the video recording / reproducing apparatus,
The video recording control device includes:
A power monitoring unit for monitoring a power supply state to the video recording / reproducing device;
When the power supply monitoring unit detects that the power supply is cut off, it sends a recording start signal instructing the imaging device to start recording a video frame. After the power supply is turned off, the power supply monitoring unit detects that the power supply is restored. When the power is turned off, the video recording / playback apparatus calculates an unrecorded period during which the video frame could not be recorded and transmits a recording stop signal instructing the imaging apparatus to stop recording the video frame. A time control unit;
When the power return is detected, the imaging device acquires a video frame recorded from when the imaging start signal is received until the recording stop signal is received from the imaging device, and from the video frame, A first video frame detected based on a degree of correlation with the last video frame recorded by the video recording / playback apparatus before the power-off, and a first video frame recorded by the video recording / playback apparatus after the power recovery. A CCTV system, comprising: an unrecorded video extraction unit that extracts a video frame between the second video frame detected based on the degree of correlation as a video frame in the unrecorded period.
JP2014237898A 2014-11-25 2014-11-25 VIDEO RECORDING CONTROL DEVICE, VIDEO RECORDING CONTROL METHOD, AND CCTV SYSTEM Active JP6403551B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2014237898A JP6403551B2 (en) 2014-11-25 2014-11-25 VIDEO RECORDING CONTROL DEVICE, VIDEO RECORDING CONTROL METHOD, AND CCTV SYSTEM

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014237898A JP6403551B2 (en) 2014-11-25 2014-11-25 VIDEO RECORDING CONTROL DEVICE, VIDEO RECORDING CONTROL METHOD, AND CCTV SYSTEM

Publications (2)

Publication Number Publication Date
JP2016100829A JP2016100829A (en) 2016-05-30
JP6403551B2 true JP6403551B2 (en) 2018-10-10

Family

ID=56078165

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014237898A Active JP6403551B2 (en) 2014-11-25 2014-11-25 VIDEO RECORDING CONTROL DEVICE, VIDEO RECORDING CONTROL METHOD, AND CCTV SYSTEM

Country Status (1)

Country Link
JP (1) JP6403551B2 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7028756B2 (en) * 2018-11-29 2022-03-02 パナソニックi-PROセンシングソリューションズ株式会社 Recorder and exit method

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007194722A (en) * 2006-01-17 2007-08-02 Mitsubishi Electric Corp Video monitor system
JP5032583B2 (en) * 2007-10-17 2012-09-26 パナソニック株式会社 Video recording apparatus, video recording method, video recording program, and integrated circuit
JP5517417B2 (en) * 2008-04-18 2014-06-11 キヤノン株式会社 Monitoring device, control method therefor, and program
WO2014112207A1 (en) * 2013-01-15 2014-07-24 三菱電機株式会社 Monitoring system and monitoring camera

Also Published As

Publication number Publication date
JP2016100829A (en) 2016-05-30

Similar Documents

Publication Publication Date Title
CN101483762B (en) Platform video recording method, system and customer terminal
TWI486913B (en) Security monitoring device with network and record function and failure detecting and repairing mehtod for storage device thereof
CN109155840B (en) Moving image dividing device and monitoring method
US9736363B2 (en) Imaging apparatus and control method thereof
US20140341531A1 (en) Dynamic video storing method and network security surveillance apparatus
US8982241B2 (en) Image photography apparatus and method of recovering editing image thereof
KR20190005188A (en) Method and apparatus for generating a composite video stream from a plurality of video segments
JP6403551B2 (en) VIDEO RECORDING CONTROL DEVICE, VIDEO RECORDING CONTROL METHOD, AND CCTV SYSTEM
JP2016167788A (en) Moving image recorder
US8094993B2 (en) Video recording device, video recording method, video recording program, and integrated circuit
JP2015095705A (en) Video monitoring system
US20120194690A1 (en) Image data recording apparatus
JP5739079B1 (en) Movie compression apparatus and movie compression / decompression system
JP2000270249A (en) Image communication unit, its method, its system and storage medium read by computer
CN113242263B (en) Conference server and audio and video conference data correction method
US8805156B2 (en) Recording control apparatus and recording control method
US20200366898A1 (en) Image capturing apparatus, control method thereof, and non-transitory computer-readable storage medium
US7444581B2 (en) Error handling of storage device data in real time systems
US8145031B2 (en) Recording apparatus
KR101685043B1 (en) Determining method and acquiring method for past video data from overwritten video data of CCTV
KR100681640B1 (en) Method for recording data of dvr system
JP2015099995A (en) Recording device and recording device control method
JP6249749B2 (en) Information processing apparatus, control method thereof, and program
US11089212B2 (en) Image capture apparatus that records video signal captured at variable frame rate as moving image data, method of controlling same, and storage medium
JP5392140B2 (en) Video data collection system

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20171017

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20180625

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180703

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180806

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180814

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180911

R150 Certificate of patent or registration of utility model

Ref document number: 6403551

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250