JP6403551B2 - VIDEO RECORDING CONTROL DEVICE, VIDEO RECORDING CONTROL METHOD, AND CCTV SYSTEM - Google Patents
VIDEO RECORDING CONTROL DEVICE, VIDEO RECORDING CONTROL METHOD, AND CCTV SYSTEM Download PDFInfo
- Publication number
- JP6403551B2 JP6403551B2 JP2014237898A JP2014237898A JP6403551B2 JP 6403551 B2 JP6403551 B2 JP 6403551B2 JP 2014237898 A JP2014237898 A JP 2014237898A JP 2014237898 A JP2014237898 A JP 2014237898A JP 6403551 B2 JP6403551 B2 JP 6403551B2
- Authority
- JP
- Japan
- Prior art keywords
- video
- video frame
- recording
- frame
- power
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Description
この発明は、映像記録再生装置に、撮像装置の撮像した映像を記録させるための制御を行う映像記録制御装置、映像記録制御方法、および、CCTVシステムに関するものである。 The present invention relates to a video recording control apparatus, a video recording control method, and a CCTV system for controlling a video recording / playback apparatus to record a video captured by an imaging apparatus.
近年、カメラなどの撮像装置とレコーダなどの映像記録再生装置をネットワークで接続し、撮像装置から映像フレームをパケットデータで送出し、映像記録再生装置でそのパケットデータを受信したのち、映像フレームを組み立てて記録、再生するCCTVシステム(Closed Circuit Television System)が一般的となってきている。また、撮像装置の電源はPoE(Power on Ethernet/Ethernetは登録商標。以下記載を省略する)により供給し、映像記録再生装置の電源と分離されている構成も多い。
従って、電源断が発生した時に映像記録再生装置のみが停止し、撮像装置は動作継続が可能ということが起こり得る。映像記録再生装置のみ停止した場合、撮像装置が継続して動作し、映像フレームが送出されているにも関わらず、その記録処理が途絶え、結果として撮像装置の撮像映像の記録が失われる。
In recent years, an imaging device such as a camera and a video recording / playback device such as a recorder are connected via a network, a video frame is transmitted from the imaging device as packet data, and the packet data is received by the video recording / playback device, and then the video frame is assembled. The CCTV system (Closed Circuit Television System) that records and reproduces data is becoming popular. Further, the power supply of the image pickup apparatus is supplied by PoE (Power on Ethernet / Ethernet is a registered trademark; the description is omitted below) and is often separated from the power supply of the video recording / reproducing apparatus.
Therefore, when the power is cut off, only the video recording / reproducing apparatus is stopped, and the imaging apparatus can continue to operate. When only the video recording / reproducing apparatus is stopped, the imaging apparatus continues to operate and the recording process is interrupted even though the video frame is transmitted, and as a result, the recording of the captured video of the imaging apparatus is lost.
そこで、従来から、映像記録再生装置が停止し、撮像装置からの映像フレームの記録処理が途絶えてしまった場合でも、映像記録再生装置において、再生時の画像乱れを抑制させる映像フレームの記録技術、あるいは、映像記録再生装置において、撮像装置の撮像映像を消失させないようにする技術が開示されている。 Therefore, conventionally, even when the video recording / reproducing apparatus is stopped and the recording process of the video frame from the imaging apparatus is interrupted, the video recording / reproducing apparatus suppresses image disturbance at the time of reproduction, Alternatively, there is disclosed a technique for preventing an image captured by an image capturing apparatus from being lost in the image recording / reproducing apparatus.
例えば、特許文献1には、映像記録再生装置における電源断が発生し、不完全な映像フレームが記録された場合に、当該不完全な映像フレームを削除することで、映像記録再生装置において撮像装置からの映像フレームの記録処理が途絶えてしまった場合でも、不完全なフレームの再生を回避して再生映像の乱れを防止する技術が開示されている。
また、例えば、特許文献2には、映像記録再生装置における電源断等による通信障害が発生したことを撮像装置が検知した場合に、撮像装置からの監視データが消失することに備え、映像記録再生装置が停止している間、撮像装置で一時的に監視データを記録し、映像記録再生装置の復帰後、その監視データを映像記録再生装置が回収することで、撮像装置の監視データを消失させないようにする技術が開示されている。また、撮像装置において監視データを記録する際には、撮像装置と映像記録再生装置がそれぞれ保有する時刻の誤差を考慮して、監視データを記録する技術が開示されている。
For example,
Also, for example, in
しかしながら、特許文献1に開示されているような技術では、電源断時に破損した不完全な映像フレームを削除し、不完全な映像フレームの再生を回避できるようにすることで、再生乱れは抑えられるが、映像記録再生装置の電源断中に撮像装置で撮像した映像フレームは消失したままであるという課題があった。
これに対し、特許文献2では、映像記録再生装置の復帰後、撮像装置で記録した監視データを記録することで、撮像装置の監視データを消失させないようにしているが、映像記録再生装置に記録している監視データと、撮像装置から取得した監視データの接続部分で乱れが生じるという課題があった。すなわち、特許文献2では、撮像装置からの監視データの記録の際に時刻の誤差を考慮するようにはしているが、映像記録再生装置と撮像装置の間には時刻を保有するためのクロック発信器の精度差があるため、時刻の誤差だけを考慮するのでは、映像フレーム精度まで合致した監視データを記録することは困難であり、その結果、映像記録再生装置に記録している監視データと、撮像装置から取得した監視データの接続部分で乱れが生じるという課題があった。
However, with the technique disclosed in
On the other hand, in
この発明は上記のような課題を解決するためになされたもので、電源断により撮像装置からの映像の記録が停止した間の映像フレームを補うため、当該記録の停止中に撮像装置に記録させた映像フレームを映像記録再生装置の停止期間中の映像として、すでに記録済みの映像フレームと接続する際に、接続前後で乱れのない滑らかな記録映像を得ることができるような映像フレームを抽出する映像記録制御装置、映像記録制御方法、および、当該映像記録制御装置と映像記録再生装置と撮像装置とを備えたCCTVシステムを得ることを目的としている。 The present invention has been made to solve the above-described problems. In order to compensate for a video frame during which video recording from the imaging device is stopped due to power interruption, the imaging device is recorded while the recording is stopped. Video frames that can be obtained as uninterrupted smooth recorded video before and after connection as connected video frames that have already been recorded as video during a video recording / playback device stop period It is an object to obtain a video recording control apparatus, a video recording control method, and a CCTV system including the video recording control apparatus, a video recording / reproducing apparatus, and an imaging apparatus.
この発明に係る映像記録制御装置は、撮像装置から受信した映像フレームを記録する映像記録再生装置に対する電源供給状態を監視する電源監視部と、電源監視部により電源断となることが検出された場合、撮像装置に対して映像フレームの記録開始を指示する記録開始信号を送信し、電源断後に電源監視部により電源復帰が検出された場合、電源断によって映像記録再生装置が映像フレームを記録できなかった未記録期間を算出し、撮像装置に対して映像フレームの記録停止を指示する記録停止信号を送信する電源断時制御部と、電源復帰が検出された場合、撮像装置が記録開始信号を受信してから記録停止信号を受信するまでの間に記録した映像フレームを撮像装置から取得し、当該映像フレームから、映像記録再生装置が電源断前に記録した最後の映像フレームとの相関度に基づき検出した第1の映像フレームと映像記録再生装置が電源復帰後に記録した最初の映像フレームとの相関度に基づき検出した第2の映像フレームとの間の映像フレームを、未記録期間の映像フレームとして抽出する未記録映像抽出部とを備えたものである。 When the video recording control device according to the present invention detects that the power supply monitoring unit for monitoring the power supply state to the video recording / reproducing device for recording the video frame received from the imaging device and that the power supply monitoring unit turns off the power supply When a power supply monitoring unit detects a power recovery after sending a recording start signal instructing the imaging device to start recording a video frame, the video recording / playback device cannot record a video frame due to power failure In addition, the power-off control unit that calculates the unrecorded period and transmits a recording stop signal instructing the imaging device to stop recording video frames, and when the power recovery is detected, the imaging device receives the recording start signal. Video frames recorded from when the recording stop signal is received until the recording stop signal is received from the imaging device. Between the first video frame detected based on the degree of correlation with the last video frame and the second video frame detected based on the degree of correlation between the first video frame recorded by the video recording / playback apparatus after the power is restored. An unrecorded video extraction unit that extracts a video frame as a video frame in an unrecorded period is provided.
この発明によれば、電源断により撮像装置からの映像の記録が停止した間の映像フレームを補うため、当該記録の停止中に撮像装置に記録させた映像フレームを映像記録再生装置の停止期間中の映像として、すでに記録済みの映像フレームと接続する際に、接続前後で乱れのない滑らかな記録映像を得ることができるような映像フレームを抽出することができる。 According to the present invention, in order to compensate for the video frame while the recording of the video from the imaging device is stopped due to the power interruption, the video frame recorded in the imaging device during the recording is stopped during the stop period of the video recording / reproducing device. When connecting to a video frame that has already been recorded, a video frame that can obtain a smooth recorded video without disturbance before and after connection can be extracted.
以下、この発明の実施の形態について、図面を参照しながら詳細に説明する。
実施の形態1.
図1は、この発明の実施の形態1に係る映像記録再生装置(以下、レコーダとする)16を備えたシステム(以下、CCTVシステム)1の概略を示す図である。
図1に示すように、CCTVシステムは、n台(nは1以上の整数)の撮像装置(以下、カメラとする)10−1,10−2,・・・,10−nと、レコーダ16とが、伝送路11−1,11−2,・・・,11−n、PoEハブ12、伝送路15を介して接続される。
Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings.
FIG. 1 is a diagram schematically showing a system (hereinafter referred to as a CCTV system) 1 including a video recording / reproducing apparatus (hereinafter referred to as a recorder) 16 according to
As shown in FIG. 1, the CCTV system includes n imaging devices (hereinafter referred to as cameras) 10-1, 10-2,. Are connected via the transmission lines 11-1, 11-2,..., 11-n, the
カメラ10−i(iは1以上n以下の整数)は、撮像した映像を圧縮し、映像フレームをパケット化して伝送路11−iに送出する。また、カメラ10−iは、内部に記録領域を有し、レコーダ16からの制御により、撮像した映像の記録、および、記録した映像の映像フレームの送出を行う。送出する映像フレームには、その映像を撮像した時刻を、自身が保有する時刻に則ってタイムスタンプとして付与する。レコーダ16からの制御の詳細については後述する。
なお、カメラ10−iでは、通常時においては、映像の記録はしていないものとする。
また、図1に示すCCTVシステムにおいて、カメラ10−iは、1台以上であればよい。
The camera 10-i (i is an integer between 1 and n) compresses the captured video, packetizes the video frame, and sends it to the transmission line 11-i. In addition, the camera 10-i has a recording area inside, and performs recording of a captured video and transmission of a video frame of the recorded video under the control of the
In the camera 10-i, it is assumed that no video is recorded during normal operation.
Further, in the CCTV system shown in FIG. 1, the number of cameras 10-i may be one or more.
伝送路11−iは、カメラ10−iからのデータ送出や、レコーダ16からカメラ10−iへの制御データ、あるいはカメラ10−iがPoEハブ12から給電を受けるための伝送路であり、例えばEthernetである。
PoEハブ12は、カメラ10−iからの伝送路11−iを収容し、伝送路15(例えばEthernet)を通じてレコーダ16と接続するPoE(Power on Ethernet)給電機能付きスイッチングハブである。PoEハブ12は、コード13を通じて電源14に接続され、電源14から、動作に必要な電力を得る。また、PoEハブ12は、カメラ10−iに対してPoE給電を行い、カメラ10−iはPoEハブ12からのPoE給電により、伝送路11−iを通じて動作に必要な電力を得る。
レコーダ16は、コード17を通じて電源18に接続され、電源18から、動作に必要な電力を得る。
The transmission path 11-i is a transmission path for data transmission from the camera 10-i, control data from the
The
The
図2は、この発明の実施の形態1に係るレコーダ16の構成図である。
図2に示すように、レコーダ16は、受信端子20、送信端子21、受信部22、送信部23、制御部24、電源監視部25、表示処理部26、映像出力端子27、電源入力端子28、時刻保持部29、フラッシュメモリ30、HDD31を備える。
また、制御部24は、記録処理部241、映像表示制御部242、電源断時制御部243、未記録映像抽出部244を備える。また、時刻保持部29は、リアルタイムクロック291とバッテリ292とを備える。
なお、制御部24、電源監視部25で、映像記録制御部100を構成する。
FIG. 2 is a configuration diagram of the
As shown in FIG. 2, the
The control unit 24 includes a
The control unit 24 and the power
受信端子20,送信端子21は、いずれも伝送路15に接続するための端子であり、PoEハブ12を介してカメラ10−iとの送受信を行う。
受信部22は、受信端子20より入力されたカメラ10−iのパケット化された映像フレームから、カメラ10−iが撮像した映像フレームを組み立てて、制御部24へ出力する。
送信部23は、制御部24により生成されたカメラ10−iに対する制御情報のパケットを生成し、送信端子21より出力する。
The
The
The
制御部24は、電源18よりレコーダ16に電力が供給され続けている通常時は、受信部22より入力されたカメラ10−iごとの映像フレームをHDD31へ記録する制御を行う。また、制御部24は、表示処理部26が表示映像を生成するための映像フレームをHDD31より読み出して表示処理部26に出力する(通常時処理)。なお、カメラ10−iのライブ映像を表示する場合は、制御部24は、直接カメラ10−iからの映像フレームを表示処理部26へ出力する。
また、制御部24は、電源監視部25から電源断予告信号が入力された場合、カメラ10−iに対する電源断時の制御情報を生成し、送信部23へ出力し、電源復帰後、未記録期間の映像フレームを、カメラ10−iから取得する(電源断時処理)。制御部24の処理詳細については後述する。
The control unit 24 performs control to record the video frame for each camera 10-i input from the receiving
In addition, when a power-off notice signal is input from the power
電源監視部25は、レコーダ16の外部の電源18と、電源入力端子28を介してコード17により接続され、電源18を監視し、外部電源からの出力電圧が閾値以下となったのを検知することで、外部電源が停止(電源断)となることを検出する。すなわち、電源監視部25は、レコーダ16に対する電源供給状態を監視する。
なお、この実施の形態1において、レコーダ16は、電源18が電源断となった際、即時には電源供給が停止せず、電源断から一定の猶予を持って給電が停止される機構を持つものとする。これは、例えばUPS(無停電電源装置)やスーパーキャパシタを有して電源断とともに即時給電を停止しない電源を想定したものである。電源監視部25は、電源18からの出力電圧が閾値以下となったことをもって外部の電源18が停止となることを検出し、制御部24に電源断予告信号を出力する。
The power
In the first embodiment, the
表示処理部26は、制御部24がHDD31から読み出した映像フレームを受信し、映像圧縮を展開することで再生映像を生成して、映像出力端子27より出力する。なお、カメラ10−iのライブ映像を表示する場合は、表示処理部26へは、HDD31を経由せず直接制御部24を介して、受信部22で受信した映像フレームが入力される。
映像出力端子27にはモニタ(図示せず)等を接続し、カメラ10−iの映像を確認することができる。
The
A monitor (not shown) or the like can be connected to the
時刻保持部29のリアルタイムクロック291は、時刻を保持するリアルタイムクロック発振器である。また、時刻保持部29のバッテリ292は、リアルタイムクロック291に電源18からの電力供給が止まっても給電を続けるバッテリであり、バッテリ292により、リアルタイムクロック291は、常時時刻を保持し続けることができる。
フラッシュメモリ30は、電源断により異常終了したことが確認できるデータ(異常終了フラグ)を保持する不揮発メモリであり、制御部24により書き込み、または、読み出しされる。
The
The
ここで、CCTVシステム1は、図1に示すように、カメラ10−iの電源の系統である電源14と、レコーダ16の電源の系統である電源18に分かれており、レコーダ16だけが電源断により停止するということがあり得る。その際、レコーダ16は、カメラ10−iで撮像を続行させるとともに撮像した映像を記録させ、レコーダ16の電源復帰後、カメラ10−iで記録した映像の映像フレームを取得する制御を行うことで、自身がHDD31に記録する映像フレームを消失しないようにする。当該電源断時の制御は、主にレコーダ16の制御部24で行われる。
Here, as shown in FIG. 1, the
図3は、電源断が発生した場合の制御部24における処理内容を時系列に説明する図である。
図3を用いて、制御部24の各部(記録処理部241、映像表示制御部242、電源断時制御部243、未記録映像抽出部244)について説明する。
レコーダ16に電源が供給されている通常時は、制御部24の記録処理部241は、受信部22から入力されたカメラ10−iごとの映像フレームをHDD31に記録する(通常フレーム記録処理(P1))。
また、制御部24の電源断時制御部243は、電源監視部25から電源断予告信号が出力されるのを待機し、電源断予告信号の出力があった場合に、当該電源断予告信号を受信することで、電源断時の制御を開始する(電源断待機処理(P2))。
FIG. 3 is a diagram for explaining the processing contents in the control unit 24 when the power interruption occurs in time series.
With reference to FIG. 3, each unit (
During normal times when power is supplied to the
The power-
また、制御部24の映像表示制御部242は、HDD31に記録した映像フレームを読み出して表示処理部26に出力し、外部のモニタへ映像を出力させる(映像表示処理(P3))。なお、外部のモニタにおいて、カメラ10−iのライブ映像を表示する場合は、映像表示制御部242は、受信部22より受信したカメラ10−iからの映像フレームを、直接、表示処理部26へ出力する。
この、通常フレーム記録処理(P1)、電源断待機処理(P2)、映像表示処理(P3)は、レコーダ16に電源が供給されている通常時は、並行して行われる。すなわち、P1〜P3の処理はいずれもレコーダ16の本来の処理であり、電源断が発生しなければ常時実施されるものである。
なお、図示は省略したが、通常時において、レコーダ16とカメラ10−iとの間で時刻同期処理が随時行われている。よって、レコーダ16とカメラ10−iとの間の時刻差は限りなく小さくなるように制御されているため、カメラ10−iで撮像された映像フレームは、レコーダ16に取り込まれると、レコーダ16の内部で保持する時刻と紐付けられてHDD31に記録される。
In addition, the video
The normal frame recording process (P1), the power-off standby process (P2), and the video display process (P3) are performed in parallel at the normal time when the power is supplied to the
Although illustration is omitted, time synchronization processing is performed at any time between the
レコーダ16の電源断が発生すると、電源監視部25が、電源18からの出力電圧が閾値以下となったことで当該電源断となることを検出し、電源断時制御部243が、電源監視部25からの電源断予告信号を受信する。
ここでは、時刻T1に電源断予告信号を受信したとすると、電源断時制御部243は、カメラ制御A処理(P4)および電源停止処理(P5)を行う。カメラ制御A処理(P4)および電源停止処理(P5)の詳細については後述する。
なお、このとき、記録処理部241による通常フレーム記録処理(P1)は継続されたままである。
その後、時刻T2に電源断となったら、レコーダ16の動作が停止する。
When the power supply of the
Here, assuming that a power-off notice signal is received at time T1, the power-
At this time, the normal frame recording process (P1) by the
Thereafter, when the power is cut off at time T2, the operation of the
時刻T3で電源が復帰すると、電源監視部25が電源18からの給電再開を検出し、制御部24の各部において、起動処理(P6)を行う。起動処理(P6)とは、ブートローダーの起動、OSの立ち上げ、周辺デバイスの認識、アプリケーションの起動など、レコーダ16の基本的な起動処理である。
時刻T4で起動処理が完了したら、記録処理部241は通常フレーム記録処理(P1)を再開し、電源断時制御部243は、通常フレーム記録処理(P1)と並行してカメラ制御B処理(P7)を行う。
カメラ制御B処理(P7)が時刻T5で完了したら(カメラ記録停止)、制御部24の未記録映像抽出部244は、停止時フレーム記録処理(P8)を行う。
カメラ制御B処理(P7)および停止時フレーム記録処理(P8)の詳細については後述する。
停止時フレーム記録処理(P8)が時刻T6で完了すると、通常時の通常フレーム記録処理(P1)、電源断待機処理(P2)、映像表示処理(P3)に戻る。
When the power supply is restored at time T3, the power
When the activation process is completed at time T4, the
When the camera control B process (P7) is completed at time T5 (camera recording stop), the unrecorded
Details of the camera control B process (P7) and the stop frame recording process (P8) will be described later.
When the stop frame recording process (P8) is completed at time T6, the process returns to the normal frame recording process (P1), the power-off standby process (P2), and the video display process (P3).
以下、電源断時制御部243によるカメラ制御A処理(P4),電源停止処理(P5),カメラ制御B処理(P7)、未記録映像抽出部244による停止時フレーム記録処理(P8)の詳細について、図4,図5を用いて説明する。
図4は、電源18からの出力電圧が閾値以下となったことで電源断となることが検出され、電源監視部25から電源断予告信号を受信してから、実際に電源断となってレコーダ16の動作が停止するまでの電源断時制御部243の動作を説明するフローチャートである。
なお、図4において、ステップST102,ステップST103が、カメラ制御A処理(P4)であり、ステップST104,ステップST105が電源停止処理(P5)である。
Hereinafter, details of the camera control A process (P4), the power supply stop process (P5), the camera control B process (P7) by the power-
In FIG. 4, it is detected that the power supply is cut off when the output voltage from the
In FIG. 4, steps ST102 and ST103 are camera control A processes (P4), and steps ST104 and ST105 are power supply stop processes (P5).
通常時の電源断待機処理(P2)において、電源断時制御部243は電源断予告が発生するまで、すなわち、電源監視部25からの電源断予告信号を受信するまで待機する(ステップST101の“NO”の場合)。
電源監視部25によって電源18からの出力電圧が閾値以下となったことで電源断となることが検出され、電源断時制御部243が電源監視部25から電源断予告信号を受信すると(ステップST101の“YES”の場合)、電源断時制御部243は、時刻同期信号の送信を行う(ステップST102)。具体的には、電源断時制御部243は、レコーダ16の内部で保持する時刻(以下、レコーダ16の時刻、または、実時刻という)と、カメラ10−iの内部で保持している時刻(以下、カメラ10−iの時刻という)とを同じ、もしくは、近くなるように同期させる制御データを時刻同期信号として、送信部23を介して全てのカメラ10−iに送信する。カメラ10−iでは、レコーダ16からの時刻同期信号に基づき、カメラ10−iの時刻を変更する。
この制御により、レコーダ16において、電源断により映像データの記録が停止しても、カメラ10−iが、レコーダ16の停止中に記録した映像フレームに紐付けられる時刻は、レコーダ16の保持している時刻と近くなる。ただし、レコーダ16とカメラ10−iのクロック発信器の精度は必ずしも等しくないため、時間が経つとずれが拡大することがある。
なお、電源断時制御部243は、時刻同期信号を、レコーダ16に対して映像フレームを送信するカメラ10−nのうち1つ、あるいは数個の代表カメラ10−iに対して送信するようにしてもよい。その場合は、時刻同期信号を受信した代表カメラ10−iが、時刻同期信号を受信しないカメラ10−iに対して、時刻同期信号を送信するようにする。
In the normal power-off standby process (P2), the power-
When the power
With this control, even when recording of video data is stopped due to power failure in the
The power-
電源断時制御部243は、全てのカメラ10−iに対して、カメラ10−i内部での記録の開始を指示する記録開始指示信号を送信する(ステップST103)。なお、カメラ10−iでは、通常時においては、映像の記録はしていないものとする。
また、ここでは、カメラ10−iは、記録開始指示信号に基づき、カメラ10−i内部で記録を開始するようにしたが、これに限らず、カメラ10−iは、記録開始指示信号を受信すると、外部の記録装置等に自身が撮像した映像フレームを記録させるようにしてもよい。
The power-
Here, the camera 10-i starts recording inside the camera 10-i based on the recording start instruction signal. However, the present invention is not limited to this, and the camera 10-i receives the recording start instruction signal. Then, you may make it record the video frame which self imaged on the external recording device.
電源断時制御部243は、レコーダ16で現在開いているファイルをクローズ処理し、電源断により正常にクローズされないことでファイル全体が破壊されないようにする制御を行う(ステップST104)。なお、電源断による停止の瞬間まで記録処理部241はカメラ10−iの映像フレームの記録を続行するため(図3参照)、全てのファイルをクローズすることができないが、電源断時制御部243は、このステップST104にて、ファイル単位を細かく設定し、破損が発生する可能性のあるファイルのサイズ、映像時間が小さくなるよう制御する。
電源断時制御部243は、次回起動時に電源断により異常終了したことが確認できるように、その旨のフラグ(異常終了フラグ)をフラッシュメモリ30に書き込む(ステップST105)。
その後、レコーダ16は、時刻T2において(図3参照)、無停電電源装置等からの給電も停止し、電源断による動作の停止を迎える。
The power-
The power-
Thereafter, at time T2 (see FIG. 3), the
図5は、レコーダ16が、電源断により動作を停止した後、電源復帰してから通常時の動作に戻るまでの制御部24の動作を説明するフローチャートである。
なお、図5において、ステップST202〜ステップST204が、電源断時制御部243によるカメラ制御B処理(P7)であり、ステップST205〜ステップST212が未記録映像抽出部244による停止時フレーム記録処理(P8)である。
時刻T3で電源が復帰すると(図3参照)、制御部24の各部において、起動処理(P6)を行う(ステップST201)。具体的には、図3を用いて説明したように、ブートローダーの起動、OSの立ち上げ、周辺デバイスの認識、アプリケーションの起動など、レコーダ16の基本的な起動処理を行う。
FIG. 5 is a flowchart for explaining the operation of the control unit 24 from when the
In FIG. 5, steps ST202 to ST204 are camera control B processing (P7) by the power-
When the power is restored at time T3 (see FIG. 3), the activation process (P6) is performed in each unit of the control unit 24 (step ST201). Specifically, as described with reference to FIG. 3, basic startup processing of the
電源断時制御部243は、フラッシュメモリ30に異常終了フラグが書き込まれていないか確認する(ステップST202)。異常終了フラグは、電源断による異常終了があった場合に、有意になっているものである(図4のステップST105参照)。
ステップST202において、異常終了フラグが書き込まれていない場合(ステップST202の“NO”の場合)、前回の起動時に電源断による異常終了はなかったと判断し、以降の処理をスキップして図5の動作は終了し、レコーダ16は通常時の処理を行う。
The power-
In step ST202, when the abnormal end flag is not written (in the case of "NO" in step ST202), it is determined that there was no abnormal end due to power interruption at the previous start-up, and the subsequent processing is skipped. Is finished, and the
ステップST202において、異常終了フラグが書き込まれていた場合(ステップST202の“YES”の場合)、電源断時制御部243は、前回の起動時に電源断による異常終了があったと判断し、電源断により記録処理部241がカメラ10−iからの映像フレームを記録できなかった期間(以下、未記録期間Dとする)を算出する(ステップST203)。具体的には、例えば、予め、記録処理部241は、記録する映像フレームに実時刻のタイムスタンプを付与するようにしておき、電源断時制御部243は、電源断前に記録処理部241がHDD31に記録した最後の映像フレームに付与されたタイムスタンプの時刻と、電源復帰後、通常フレーム記録処理(P1)を開始した際に記録処理部241が記録した最初の映像フレームに付与されたタイムスタンプの時刻とを読み出し、それらの間の期間を未記録期間Dとして算出する。
電源断時制御部243は、全てのカメラ10−iに対して、カメラ内部での記録の停止を指示する記録停止指示信号を送信する(ステップST204)。
In step ST202, when the abnormal end flag is written (in the case of “YES” in step ST202), the power-
The power-
次に、未記録映像抽出部244が、全てのカメラ10−iから、1台ずつ未記録映像を取得する。
未記録映像抽出部244は、まず、iに1を代入する(ステップST205)。
未記録映像抽出部244は、カメラ10−iから、カメラ10−iの時刻を取得し、レコーダ16の時刻とのずれがないかを確認する(ステップST206)。レコーダ16の時刻とカメラ10−iの時刻とは、レコーダ16の電源断期間中は、同期を取れないのでずれる可能性があるため、未記録映像抽出部244は、当該ステップST206にてずれの確認を行う。ただし、レコーダ16の電源断前にレコーダ16とカメラ10−iとの時刻同期を行っているので(図4のステップST102参照)、そのずれは最小限にすることができる。
Next, the unrecorded
The unrecorded
The unrecorded
未記録映像抽出部244は、カメラ10−iが、今回の電源断があったことにより記録している映像フレームを全て、時刻情報とともに送出するよう、カメラ10−iに指示信号を送信し、カメラ10−iから、時刻情報に紐付けられた映像フレームを取得する(ステップST207)。
なお、未記録映像抽出部244は、ステップST207で取得した映像フレームを、HDD31、自身で保有するメモリ、あるいは、外部の記憶媒体などに一時的に保存する。
ここで、ステップST207でカメラ10−iから取得する映像フレームは、レコーダ16でも記録している期間があることから重複する部分がある。具体的には、カメラ制御A処理(P4)にて、電源断時制御部243がカメラ10−iに対して記録開始指示信号を送信してから電源断となってレコーダ16が動作を停止するまで、および、電源復帰後、レコーダ16の起動処理(P6)が完了してから、カメラ制御B処理(P7)にて、電源断時制御部243がカメラ10−iに対して記録停止指示信号を送信するまでの間は、並行して記録処理部241による通常フレーム記録処理(P1)も行われており(図3、図4のステップST103、ステップST204参照)、この期間においては、レコーダ16による記録と、カメラ10−iによる記録が重複する。
The unrecorded
Note that the unrecorded
Here, since the video frame acquired from the camera 10-i in step ST207 has a period recorded in the
そこで、未記録映像抽出部244は、ステップST207で取得し、一時的に記憶しておいた、カメラ10−iにおいて記録された映像フレームの中から、未記録期間Dに対応する期間(カメラ映像取得期間Gとする)に記録された映像フレームを抽出し、当該抽出した映像フレームをレコーダ16に取り込む。
まず、未記録映像抽出部244は、ステップST203において電源断時制御部243が算出した未記録期間Dと、ステップST206においてカメラ10−iから取得した時刻およびレコーダ16の時刻とカメラ10−iの時刻とのずれの確認結果と、ステップST207で取得した、カメラ10−iの時刻に紐付けられたカメラ10−iの映像フレームとに基づき、未記録映像を滑らかに繋ぐための映像フレームを検出するための開始・終了フレーム一致検索期間の設定を行う(ステップST208)。
Therefore, the unrecorded
First, the unrecorded
前述のように、レコーダ16における未記録期間Dの映像フレームは、レコーダ16と記録重複する部分を含むカメラ10−iでの記録映像フレームから、当該未記録期間Dに対応する期間、すなわち、カメラ映像取得期間Gに記録された映像フレームを取得することによって補う。その際、カメラ10−iから取り込んだ映像フレームとレコーダ16で記録している映像フレームとの接続部分とは滑らかに繋がれたほうが、映像再生時の乱れを抑制することができる。そこで、未記録映像抽出部244は、ステップST207においてカメラ10−iから取得した映像フレームのうち、一定の期間の映像フレームから、所定の条件を満たす映像フレームを特定し、これに基づき、未記録映像を滑らかに繋ぐことのできる未記録期間Dの開始時刻と終了時刻に対応する、カメラ10−iで記録した映像フレームを検出し、カメラ映像取得期間Gを決定する。
As described above, the video frame in the unrecorded period D in the
この、一定の期間について、ここでは、未記録期間Dの開始時刻において未記録映像を滑らかに繋ぐことができる一致フレームを検出するための一定の期間を、開始フレーム一致検索期間という。つまり、開始フレーム一致検索期間とは、カメラ10−iから取得した映像フレームのうち、記録処理部241がHDD31に記録した電源断前の最後の、すなわち、記録停止前最後の映像フレームに対応する映像フレームを検出するための期間である。また、未記録期間Dの終了時刻において未記録映像を滑らかに繋ぐことができる一致フレームを検出するための一定の期間を、終了フレーム一致検索期間という。つまり、終了フレーム一致検索期間とは、カメラ10−iから取得した映像フレームのうち、記録処理部241がHDD31に記録した電源復帰後起動完了してから最初の、すなわち、記録再開後最初の映像フレームに対応する映像フレームを検出するための期間である。
当該ステップST208では、まず、この開始フレーム一致検索期間と終了フレーム一致検索期間の設定を行う。なお、上述したように、レコーダ16の時刻とカメラ10−iの時刻とはずれている可能性があるため、当該ステップST208においては、それを加味した上での、開始フレーム一致検索期間および終了フレーム一致検索期間の設定を行う。
Regarding this fixed period, here, the fixed period for detecting a matching frame that can smoothly connect unrecorded video at the start time of the unrecorded period D is referred to as a start frame match search period. That is, the start frame match search period corresponds to the last video frame before the power-off, that is, the last video frame before the recording stop, recorded by the
In step ST208, first, the start frame match search period and end frame match search period are set. As described above, the time of the
所定の条件を満たす映像フレームの特定、これに基づく、未記録映像を滑らかに繋ぐことのできる未記録期間Dの開始時刻と終了時刻に対応する、カメラ10−iで記録した映像フレームの検出、および、カメラ映像取得期間Gの決定については後述する(ステップST209の処理が該当の処理である)。 Identification of a video frame that satisfies a predetermined condition, detection of a video frame recorded by the camera 10-i corresponding to a start time and an end time of an unrecorded period D based on which the unrecorded video can be smoothly connected; The determination of the camera video acquisition period G will be described later (the process in step ST209 is the corresponding process).
ステップST208における、未記録映像抽出部244による開始フレーム一致検索期間および終了フレーム一致検索期間決定の動作の詳細について、図6〜図8を用いて説明する。
図6は、レコーダ16の時刻とカメラ10−iの時刻とがずれていない状態での、未記録映像抽出部244による、開始フレーム一致検索期間および終了フレーム一致検索期間決定方法を説明する図である。
図6において、レコーダ16の時刻T2_RからT4_Rの期間は、電源断のため記録ができていない、すなわち、記録処理部241によるHDD31への映像フレームの記録ができていない、未記録期間Dである(図3参照)。
Details of the operation of determining the start frame match search period and the end frame match search period by the unrecorded
FIG. 6 is a diagram illustrating a method for determining a start frame match search period and an end frame match search period by the unrecorded
In FIG. 6, a period from time T2_R to T4_R of the
レコーダ16の時刻とカメラ10−iの時刻とにはずれがないので、実時刻T2_Rはカメラ10−iの時刻T2_C、実時刻T4_Rはカメラ10−iの時刻T4_Cであり、この場合、未記録映像抽出部244は、開始フレーム一致検索期間を、カメラ10−iの時刻T2_Cの前後検索幅Wの期間とする。すなわち、未記録期間Dの開始時刻の映像フレームを滑らかに繋ぐことができる映像フレームを、カメラ10−iにおいて時刻T2_Cの検索幅Wの時間だけ前倒しした時刻から、時刻T2_Cの検索幅Wの時間だけ後ろ倒しした時刻までの間に記録された映像フレームの中から選択するものとする(滑らかに繋ぐことができる映像フレームの選択動作の詳細については後述する)。
Since there is no difference between the time of the
また、同様に、未記録映像抽出部244は、終了フレーム一致検索期間を、カメラ10−iの時刻T4_Cの前後検索幅Wの期間とする。すなわち、未記録期間Dの終了時刻の映像フレームを滑らかに繋ぐことができる映像フレームを、カメラ10−iにおいて時刻T4_Cの検索幅Wの時間だけ前倒しした時刻から、時刻T4_Cの検索幅Wの時間だけ後ろ倒しした時刻までの間に記録された映像フレームの中から選択するものとする。
なお、カメラ10−iにおける映像フレームの記録時刻については、映像フレームに紐付けられたタイムスタンプから特定できる。
Similarly, the unrecorded
Note that the recording time of the video frame in the camera 10-i can be specified from the time stamp associated with the video frame.
図7は、カメラ10−iの時刻がレコーダ16の時刻に対して遅れている場合の、未記録映像抽出部244による開始フレーム一致検索期間および終了フレーム一致検索期間決定方法を説明する図である。
図7において、実時刻と遅れているカメラ10−iの時刻との差を誤差Eとすると、実時刻T2_Rの映像フレームに対応するカメラ10−iで記録された映像フレームは、カメラ10−iの時刻T2_C−Eのタイムスタンプが付与されている映像フレームであると考えられる。この点を加味し、未記録映像抽出部244は、開始フレーム一致検索期間を、カメラ10−iの時刻T2_Cの後ろは検索幅W、前は検索幅W+誤差Eの期間とする。すなわち、レコーダ16における未記録期間Dの開始時刻の映像フレームを滑らかに繋ぐことができる一致フレームを、カメラ10−iにおいて時刻T2_Cの検索幅W+誤差Eの時間だけ前倒しした時刻から、時刻T2_Cの検索幅Wの時間だけ後ろ倒しした時刻までの間に記録された映像フレームの中から選択するものとする。
FIG. 7 is a diagram for explaining a method for determining the start frame match search period and the end frame match search period by the unrecorded
In FIG. 7, if the difference between the actual time and the time of the delayed camera 10-i is an error E, the video frame recorded by the camera 10-i corresponding to the video frame at the actual time T2_R is the camera 10-i. It is considered that the video frame has a time stamp of the time T2_CE. In consideration of this point, the unrecorded
また、同様に、未記録映像抽出部は、終了フレーム一致検索期間を、カメラ10−iの時刻T4_Cの、後ろは検索幅W、前は検索幅W+誤差Eの範囲とする。すなわち、レコーダ16における未記録期間Dの終了時刻の映像フレームを滑らかに繋ぐことができる一致フレームを、カメラ10−iにおいて時刻T4_Cの検索幅W+誤差Eの時間だけ前倒しした時刻から、時刻T4_Cの検索幅Wの時間だけ後ろ倒しした時刻までの間に記録された映像フレームの中から選択するものとする。
Similarly, the unrecorded video extraction unit sets the end frame match search period to the range of the search width W and the search width W + error E after the time T4_C of the camera 10-i. That is, the coincidence frame that can smoothly connect the video frames at the end time of the unrecorded period D in the
図8は、カメラ10−iの時刻がレコーダ16の時刻に対して進んでいる場合の、未記録映像抽出部244による開始フレーム一致検索期間および終了フレーム一致検索期間決定方法を説明する図である。
図8において、実時刻と進んでいるカメラ10−iの時刻との差を誤差Eとすると、実時刻T2_Rの映像フレームに対応するカメラ10−iで記録された映像フレームは、カメラ10−iの時刻T2_C+Eのタイムスタンプが付与されている映像フレームであると考えられる。この点を加味し、未記録映像抽出部244は、開始フレーム一致検索期間を、カメラ10−iの時刻T2_Cの前は検索幅W、後ろは検索幅W+誤差Eの期間とする。すなわち、レコーダ16における未記録期間Dの開始時刻の映像フレームを滑らかに繋ぐことができる一致フレームを、カメラ10−iにおいて時刻T2_Cの検索幅Wの時間だけ前倒しした時刻から、時刻T2_Cの検索幅W+誤差Eの時間だけ後ろ倒しした時刻までの間に記録された映像フレームの中から選択するものとする。
FIG. 8 is a diagram illustrating a method for determining a start frame match search period and an end frame match search period by the unrecorded
In FIG. 8, when the difference between the real time and the time of the camera 10-i that is advanced is an error E, the video frame recorded by the camera 10-i corresponding to the video frame at the real time T2_R is the camera 10-i. It is considered that the video frame has a time stamp of time T2_C + E. In consideration of this point, the unrecorded
また、同様に、未記録映像抽出部244は、終了フレーム一致検索期間を、カメラ10−iの時刻T4_Cの前は検索幅W、後ろは検索幅W+誤差Eの期間とする。すなわち、レコーダ16における未記録期間Dの終了時刻の映像フレームを滑らかに繋ぐことができる一致フレームを、カメラ10−iにおいて時刻T4_Cの検索幅Wの時間だけ前倒しした時刻から、時刻T4_C+誤差Eの検索幅Wの時間だけ後ろ倒しした時刻までの間に記録された映像フレームの中から選択するものとする。
Similarly, the unrecorded
未記録映像抽出部244は、図6〜図8を用いて説明したように、未記録期間Dの開始時刻および終了時刻の映像フレームを滑らかに繋ぐことができる映像フレームを検出するための一定の期間(開始フレーム一致検索期間、終了フレーム一致検索期間)を設定することで、レコーダ16とカメラ10−iの時刻ずれを考慮したフレーム一致検索を行うことができ、映像フレームの相関の算出をより正確に行うことができる。すなわち、レコーダ16の時刻とカメラ10−iの時刻とにずれがあることにより、開始フレーム一致検索期間、または、終了フレーム一致検索期間に、未記録期間Dの開始時刻または終了時刻に合致すべき映像フレームの候補が入らなくなることを防ぐことができる。また、不必要に開始フレーム一致検索期間、終了フレーム一致検索期間を拡大しなくて済むため、相関を算出するための負荷を抑えることができる。
As described with reference to FIGS. 6 to 8, the unrecorded
なお、検索幅Wは、レコーダ16が図4のステップST102でカメラ10−iに対して時刻同期した後、カメラ10−iが実時刻に対してどれくらいずれるか、そのクロック精度によって適宜決定されるパラメータであり、精度が悪い場合は、ずれ量が大きくなることが見込まれるため、検索幅Wの値を大きくする。
It should be noted that the search width W is appropriately determined depending on how much the camera 10-i is relative to the actual time after the
図5のフローチャートに戻る。
ステップST208において、フレーム一致検索期間(開始フレーム一致検索期間、終了フレーム一致検索期間)の設定を行うと、未記録映像抽出部244は、ステップST208において設定したフレーム一致検索期間にカメラ10−iで記録された映像フレームから、未記録映像を滑らかに繋ぐための映像フレームを検出し、カメラ10−iから映像フレームを取得すべきカメラ映像取得期間Gを決定する(ステップST209)。具体的には、未記録映像抽出部244は、開始フレーム一致検索期間にカメラ10−iが記録した映像フレームから、記録処理部241がHDD31に記録した、記録停止前最後の映像フレームと相関の最も高い映像フレーム(第1の映像フレーム)を検出し、終了フレーム一致検索期間にカメラ10−iが記録した映像フレームから、記録処理部241がHDD31に記録した、記録再開後最初の映像フレームと相関の最も高い映像フレーム(第2の映像フレーム)を検出する。そして、当該第1の映像フレームと第2の映像フレームとを記録した時刻をそれぞれ先頭と末尾とした期間(最高点の間隔Hとする)に基づき、カメラ10−iからレコーダ16が取得すべきカメラ映像取得期間Gを決定する(ステップST209)。
ここでは、記録停止前に記録処理部241が記録した最後の映像フレームとの相関度が最高となる、カメラ10−iで記録された映像フレームを第1の映像フレームといい、記録再開後に記録処理部241が記録した最初の映像フレームとの相関度が最高となる、カメラ10−iで記録された映像フレームを第2の映像フレームという。
Returning to the flowchart of FIG.
When the frame match search period (start frame match search period, end frame match search period) is set in step ST208, the unrecorded
Here, the video frame recorded by the camera 10-i having the highest correlation with the last video frame recorded by the
未記録映像抽出部244は、ステップST209で決定したカメラ映像取得期間Gに記録した映像フレームを、ステップST207においてカメラ10−iから取得し、一時的に記憶しておいた映像フレームから抽出して取り込み、レコーダ16の記録映像としてHDD31に保存する(ステップST210)。
The unrecorded
ここで、ステップST209における、未記録映像抽出部244によるカメラ映像取得期間G決定の動作について図9〜図12を用いて詳細に説明する。
図9は、未記録映像抽出部244における、カメラ映像取得期間G決定処理の概要を説明する図である。
図9に示すように、記録処理部241がHDD31に記録した記録停止前最後の映像フレーム、すなわち、電源断前の最後の映像フレームに対応するカメラ10−iで記録した映像フレームは、ステップST208において決定した、開始フレーム一致検索期間にカメラ10−iが記録した映像フレームと、記録停止前最後の映像フレームとの相関を算出することによって検出する。この映像フレームの相関の算出を、フレームパターンマッチングと称する。
Here, the operation of determining the camera video acquisition period G by the unrecorded
FIG. 9 is a diagram for explaining the outline of the camera video acquisition period G determination process in the unrecorded
As shown in FIG. 9, the last video frame before the recording stop recorded by the
また、記録処理部241がHDD31に記録した記録再開後最初の映像フレーム、すなわち、電源復帰後最初の映像フレームに対応するカメラ10−iで記録した映像フレームは、ステップST208において決定した、終了フレーム一致検索期間にカメラ10−iが記録した映像フレームと、記録再開後最初のフレームとの相関を算出することによって検出する。
なお、フレームパターンマッチングは、2つのフレームの相関を測る一般的な手法であるSSD(Sum of Squared Difference)やSAD(Sum of Absolute Difference)などで、画素ごとの輝度値、色差値の相関度を算出することで行う。相関度の算出には圧縮された映像フレームの展開をする必要があるが、未記録映像抽出部244は、この映像フレームの展開および相関度の算出も行う。
In addition, the first video frame after the resumption of recording recorded in the
Note that frame pattern matching is a general technique for measuring the correlation between two frames, such as SSD (Sum of Squared Difference) or SAD (Sum of Absolute Difference). This is done by calculating. In order to calculate the correlation level, it is necessary to expand the compressed video frame. The unrecorded
そして、未記録映像抽出部244は、検出した電源断前の最後の映像フレームに対応するカメラ10−iで記録した映像フレームに付与されたタイムスタンプの時刻と、検出した電源復帰後最初の映像フレームに対応するカメラ10−iで記録した映像フレームに付与されたタイムスタンプの時刻とに基づき、カメラ映像取得期間Gを決定する。
Then, the unrecorded
図10は、開始フレーム一致検索期間および終了フレーム一致検索期間においてフレームパターンマッチングを行って、HDD31に記録された映像フレームとカメラ10−iで記録された映像フレームとの相関度を算出し、相関度(フレームパターンマッチ度)を表わす値をプロットしたグラフである。
図10のグラフは、横軸を映像フレームごとの記録時刻、縦軸をフレームパターンマッチ度としている。なお、フレームパターンマッチ度は、HDD31に記録された映像フレームとカメラ10−iで記録された映像フレームとの相関度が高いほど大きい値を示すものとする。
FIG. 10 shows the correlation between the video frame recorded in the
In the graph of FIG. 10, the horizontal axis represents the recording time for each video frame, and the vertical axis represents the frame pattern matching degree. The frame pattern matching degree is assumed to indicate a larger value as the degree of correlation between the video frame recorded in the
未記録映像抽出部244は、開始フレーム一致検索期間にカメラ10−iで記録された映像フレームと、記録処理部241がHDD31に記録した記録停止前(電源断前)最後の映像フレームとの相関度、および、終了フレーム一致検索期間にカメラ10−iで記録された映像フレームと記録処理部241がHDD31に記録した記録再開後(電源復帰後)最初の映像フレームとの相関度をそれぞれ算出し、記録停止前、記録再開後で相関度が最高となる映像フレーム(第1のフレーム、第2のフレーム)を記録した時刻の間隔(最高点の間隔Hとする)を、レコーダ16が取得すべきカメラ映像取得期間Gの候補とする。
最高点に同値がある場合は、例えば、フレーム一致検索範囲の中央に近いものを採用するようにすればよい。
The unrecorded
When there is an equivalent value at the highest point, for example, a value close to the center of the frame match search range may be adopted.
そして、未記録映像抽出部244は、カメラ映像取得期間Gの候補とした最高点の間隔Hの長さに基づき、カメラ映像取得期間Gを決定する。
この実施の形態1では、カメラ映像取得期間Gの長さは、未記録期間Dの長さと一致するものとし、未記録期間Dの長さと最高点の間隔Hの長さとが一致する場合は、図10に示すように、未記録映像抽出部244は、最高点の間隔Hを、カメラ映像取得期間Gとする。すなわち、当該最高点の間隔Hの、先頭の時刻から、末尾の時刻までの、カメラ10−iで記録した映像フレームが、ステップST210において、レコーダ16に取り込まれる映像フレームとなる。
Then, the unrecorded
In the first embodiment, it is assumed that the length of the camera video acquisition period G matches the length of the unrecorded period D, and when the length of the unrecorded period D matches the length of the highest point interval H, As illustrated in FIG. 10, the unrecorded
なお、未記録映像抽出部244は、レコーダ16に映像フレームを取り込んだ際は、カメラ10−iから取り込んだ先頭の映像フレームにはレコーダ16の記録停止時の時刻のタイムスタンプを付与し、以降、レコーダ16において記録停止中であった時刻と対応するよう、カメラ10−iから取り込んだ映像フレームにレコーダ16での時刻に基づくタイムスタンプを付与してHDD31にて管理するようにする。
The unrecorded
図11は、開始フレーム一致検索期間および終了フレーム一致検索期間においてフレームパターンマッチングを行って、HDD31に記録された映像フレームとカメラ10−iで記録された映像フレームとの相関度を算出した結果、最高点の間隔Hの長さが、未記録期間Dの長さより長い場合の、未記録映像抽出部244によるカメラ映像取得期間Gの決定方法について説明する図である。
最高点の間隔Hの長さが未記録期間Dの長さより長い場合は、図11に示すように、最高点の間隔Hの長さの範囲内で、カメラ映像取得期間Gは複数選択し得る。従って、未記録映像抽出部244は、記録停止前の相関度(フレームパターンマッチ度)の最高点の時刻、すなわち、最高点の間隔Hの先頭の時刻から未記録期間Dの長さとなる期間を、カメラ映像取得期間G1とし、そこから、記録再開後の相関度(フレームパターンマッチ度)の最高点の時刻、すなわち、最高点の間隔Hの末尾の時刻と、未記録期間Dの末尾の時刻が一致するカメラ映像取得期間Gが設定されるまで、1フレームずつずらして、カメラ映像取得期間G1、G2・・・Gjまで、カメラ映像取得期間Gの候補を設定する。
FIG. 11 shows the result of calculating the correlation between the video frame recorded on the
When the length of the highest point interval H is longer than the length of the unrecorded period D, a plurality of camera video acquisition periods G can be selected within the range of the length of the highest point interval H as shown in FIG. . Accordingly, the unrecorded
そして、未記録映像抽出部244は、設定したそれぞれのカメラ映像取得期間G(G1〜Gj)の先頭のフレームパターンマッチ度と、末尾の時刻のフレームパターンマッチ度の和の最も大きい期間を、カメラ映像取得期間Gに決定する。すなわち、決定したカメラ映像取得期間Gの最高点の間隔Hの、先頭の時刻から、末尾の時刻までの、カメラ10−iで記録した映像フレームが、ステップST210において、レコーダ16に取り込まれる映像フレームとなる。
Then, the unrecorded
なお、この場合も、未記録映像抽出部244は、レコーダ16に映像フレームを取り込んだ際は、カメラ10−iから取り込んだ先頭の映像フレームにはレコーダ16の記録停止時の時刻のタイムスタンプを付与し、以降、レコーダ16において記録停止中であった時刻と対応するよう、カメラ10−iから取り込んだ映像フレームにレコーダ16での時刻に基づくタイムスタンプを付与してHDD31にて管理するようにする。
In this case as well, when the unrecorded
図12は、開始フレーム一致検索期間および終了フレーム一致検索期間においてフレームパターンマッチングを行って、HDD31に記録された映像フレームとカメラ10−iで記録された映像フレームとの相関度を算出した結果、最高点の間隔Hの長さが、未記録期間Dの長さより短い場合の、未記録映像抽出部244によるカメラ映像取得期間Gの決定方法について説明する図である。
最高点の間隔Hの長さが未記録期間Dより短い場合は、図12に示すように、最高点の間隔Hの長さの範囲を超えて、カメラ映像取得期間Gを複数選択し得る。従って、未記録映像抽出部244は、記録再開後の相関度(フレームパターンマッチ度)の最高点の時刻、すなわち、最高点の間隔Hの末尾の時刻が未記録期間Dの末尾の時刻となる期間を、カメラ映像取得期間G1とし、そこから、記録停止前の相関度(フレームパターンマッチ度)の最高点の時刻、すなわち、最高点の間隔Hの先頭の時刻と、未記録期間Dの先頭の時刻が一致するカメラ映像取得期間Gが設定されるまで、1フレームずつずらして、カメラ映像取得期間G1、G2・・・Gjまで、カメラ映像取得期間Gの候補を設定する。
FIG. 12 shows a result of calculating the correlation between the video frame recorded on the
When the length of the highest point interval H is shorter than the unrecorded period D, a plurality of camera video acquisition periods G can be selected beyond the range of the length of the highest point interval H as shown in FIG. Accordingly, the unrecorded
そして、未記録映像抽出部244は、設定したそれぞれのカメラ映像取得期間G(G1〜Gj)の先頭のフレームパターンマッチ度と、末尾の時刻のフレームパターンマッチ度の和の最も大きい期間を、カメラ映像取得期間Gに決定する。すなわち、決定したカメラ映像取得期間Gの最高点の間隔Hの、先頭の時刻から、末尾の時刻までの、カメラ10−iで記録した映像フレームが、ステップST210において、レコーダ16に取り込まれる映像フレームとなる。
Then, the unrecorded
なお、この場合も、未記録映像抽出部244は、レコーダ16に映像フレームを取り込んだ際は、カメラ10−iから取り込んだ先頭の映像フレームにはレコーダ16の記録停止時の時刻のタイムスタンプを付与し、以降、レコーダ16において記録停止中であった時刻と対応するよう、カメラ10−iから取り込んだ映像フレームにレコーダ16での時刻に基づくタイムスタンプを付与してHDD31にて管理するようにする。
In this case as well, when the unrecorded
図5のフローチャートに戻る。
ステップST209において、カメラ10−iからレコーダ16が取得すべきカメラ映像取得期間Gを決定し、ステップST210において、カメラ映像取得期間Gに記録された映像フレームをカメラ10−iから取得した映像フレームから抽出して取り込み、レコーダ16の記録映像としてHDD31に保存すると、未記録映像抽出部244は、iをインクリメントする(ステップST211)。
そして、未記録映像抽出部244は、i=nとなったかを判断し(ステップST212)、i=n+1ではない場合(ステップST212の“NO”の場合)、ステップST206に戻る。
ステップST212において、i=n+1であった場合(ステップST212の“YES”の場合)、処理を終了する。
このように、未記録映像抽出部244は、ステップST204において、電源断時制御部243が記録停止を指示した全てのカメラ10−iに対して、1台ずつ、未記録映像フレームを取得していく。
Returning to the flowchart of FIG.
In step ST209, the camera video acquisition period G to be acquired by the
The unrecorded
In step ST212, when i = n + 1 (in the case of “YES” in step ST212), the process is terminated.
In this way, in step ST204, the unrecorded
以上のように、この実施の形態1によれば、カメラ(撮像装置)10−iから受信した映像フレームを記録するレコーダ(映像記録再生装置)16に対する電源供給状態を監視する電源監視部25と、電源監視部25により電源断となることが検出された場合、カメラ10−iに対して映像フレームの記録開始を指示する記録開始信号を送信し、電源断後に電源監視部25により電源復帰が検出された場合、電源断によってレコーダ16(記録処理部241)が映像フレームを記録できなかった未記録期間Dを算出し、カメラ10−iに対して映像フレームの記録停止を指示する記録停止信号を送信する電源断時制御部243と、電源復帰が検出された場合、カメラ10−iが記録開始信号を受信してから記録停止信号を受信するまでの間に記録した映像フレームをカメラ10−iから取得し、当該映像フレームから、レコーダ16(記録処理部241)が電源断前に記録した最後の映像フレームとの相関度に基づき検出した第1の映像フレームとレコーダ16(記録処理部241)が電源復帰後に記録した最初の映像フレームとの相関度に基づき検出した第2の映像フレームとの間の映像フレームを、未記録期間Dの映像フレームとして抽出する未記録映像抽出部244とを備えるように構成したので、レコーダ16の電源断によりレコーダ16の映像の記録が停止しても、後ほど電源復帰しレコーダ16の動作が再開された場合、レコーダ16の停止期間中の映像をすでに記録済みのカメラ10−iの映像フレームと接続する際も、接続前後で乱れのない滑らかな記録映像を得ることができる。
As described above, according to the first embodiment, the power
また、この実施の形態1によれば、未記録映像抽出部244は、電源断となることが検出された場合、レコーダ16(記録処理部241)が電源断前に記録した最後の映像フレームに付与された時刻と、カメラ10−iから取得した映像フレームに付与された時刻とに基づき開始フレーム一致検索期間を設定して、当該開始フレーム一致検索期間の映像フレームから前記第1の映像フレームを検出し、レコーダ16(記録処理部241)が電源復帰後に記録した最初の映像フレームに付与された時刻と、カメラ10−iから取得した映像フレームに付与された時刻とに基づき終了フレーム一致検索期間を設定して、当該終了フレーム一致検索期間の映像フレームから前記第2の映像フレームを検出するようにしたので、レコーダ16とカメラ10−iの時刻ずれを考慮したフレーム一致検索を行うことができ、映像フレームの相関の検出をより正確に行うことができる。
Further, according to the first embodiment, when it is detected that the unrecorded
また、この実施の形態1によれば、未記録映像抽出部244は、レコーダ16内部で保持する時刻とカメラ10−iが内部で保持する時刻とに誤差がある場合、レコーダ16(記録処理部241)が電源断前に記録した最後の映像フレームに付与された時刻とカメラ10−iから取得した映像フレームに付与された時刻と誤差とに基づき開始フレーム一致検索期間を設定し、レコーダ16(記録処理部241)が電源復帰後に記録した最初の映像フレームに付与された時刻とカメラ10−iから取得した映像フレームに付与された時刻と誤差とに基づき終了フレーム一致検索期間を設定するようにしたので、レコーダ16とカメラ10−iの時刻ずれを考慮したフレーム一致検索を行うことができ、映像フレームの相関の算出をより正確に行うことができる。また、レコーダ16が内部で保持している時刻とカメラ10−iが内部で保持している時刻がずれている場合であっても、その誤差を考慮することで、誤差を加味してよりよい映像フレーム一致検索期間を設定することができ、映像フレームの相関の検出精度を高めることができ、レコーダ16の停止期間中の映像をすでに記録済みの映像フレームと接続する際、より精度よく、接続前後で滑らかな記録映像を得ることができる。
Further, according to the first embodiment, the unrecorded
また、実施の形態1によれば、未記録映像抽出部244は、第1の映像フレームに付与された時刻から第2の映像フレームに付与された時刻までの長さが未記録期間Dの長さと一致しない場合、カメラ10−iから取得した映像フレームとレコーダ16(記録処理部241)が電源断前に記録した最後の映像フレームとの相関度、および、カメラ10−iから取得した映像フレームとレコーダ16(記録処理部241)が電源復帰後に記録した最初の映像フレームとの相関度に基づき、未記録期間Dの長さと一致するように、カメラ10−iから取得した映像フレームが記録された期間から映像取得期間を決定し、当該映像取得期間に対応する映像フレームを、未記録期間Dに対応する映像フレームとして抽出するようにしたので、カメラ10−iから取得した映像フレームとレコーダ16で記録した映像フレームを相関度の高い映像で接続しつつ、レコーダ16で記録する映像フレームの抜けや、同時刻で映像フレームが重複することを防ぐことができる。
Further, according to the first embodiment, the unrecorded
実施の形態2.
実施の形態1では、開始フレーム一致検索期間および終了フレーム一致検索期間に記録されたカメラ10−iの映像フレームとフレームパターンマッチングさせるレコーダ16の映像フレームは、それぞれ、記録停止前最後の1枚の映像フレームと記録再開後最初の1枚の映像フレームの1フレームずつとしていた(図9参照)。
この実施の形態2では、記録停止前と記録再開後にレコーダ16に記録されている複数の映像フレームについて、それぞれ開始フレーム一致検索期間および終了フレーム一致検索期間に記録されたカメラ10−iの映像フレームとフレームパターンマッチングさせる実施の形態について説明する。
なお、実施の形態1とは、フレームパターンマッチングの手法が異なるのみであるので、ここでは、実施の形態2におけるフレームパターンマッチングの手法についてのみ説明し、その他の構成および動作については、実施の形態1で説明したものと同様であるため、重複した説明を省略する。
In the first embodiment, the video frame of the
In the second embodiment, the video frames of the camera 10-i recorded in the start frame match search period and the end frame match search period, respectively, for a plurality of video frames recorded in the
Since only the frame pattern matching method is different from that of the first embodiment, only the frame pattern matching method in the second embodiment will be described here, and the other configurations and operations will be described in the first embodiment. 1 is the same as that described in FIG.
上述したように、実施の形態1では、カメラ10−iで開始フレーム一致検索期間に記録された映像フレームとフレームパターンマッチングさせる、レコーダ16で記録された記録停止前最後の映像フレーム、および、カメラ10−iで終了フレーム一致検索期間に記録された映像フレームとフレームパターンマッチングさせる、レコーダ16で記録された記録再開後最初の映像フレームは、それぞれ1枚の映像フレームであったため、1枚の映像フレームで相関度の最高点の間隔Hを決定することになり、場合によっては、レコーダ16の未記録期間Dに真に対応するカメラ映像取得期間Gが得られない可能性がある。
この可能性を抑制するため、この実施の形態2では、未記録映像抽出部244において決定した開始フレーム一致検索期間、および、終了フレーム一致検索期間においてフレームパターンマッチングに使用するレコーダ16の映像フレームのフレーム数を増やすものである。
なお、開始フレーム一致検索期間、および、終了フレーム一致検索期間の決定方法は、実施の形態1で説明したものと同様である。
As described above, in the first embodiment, the last video frame before recording stop recorded by the
In order to suppress this possibility, in the second embodiment, the video frame of the
The method for determining the start frame match search period and the end frame match search period is the same as that described in the first embodiment.
図13は、実施の形態2における、未記録映像抽出部244による、開始フレーム一致検索期間のフレームパターンマッチングの一例を説明する図である。
図13に示すように、ここでは、一例として、カメラ10−iで記録された映像フレームに対するフレームパターンマッチングを、レコーダ16において記録された記録停止前最後の映像フレームおよびその1つ前の映像フレームの計2枚の映像フレームについてそれぞれ行うものとする。
FIG. 13 is a diagram for explaining an example of frame pattern matching in the start frame match search period by the unrecorded
As shown in FIG. 13, here, as an example, the frame pattern matching with respect to the video frame recorded by the camera 10-i is performed as the last video frame before the recording stop and the previous video frame recorded by the
図14は、図13に示すフレームパターンマッチングを行った結果を説明する図である。
図14において、黒丸で表わす値は、未記録映像抽出部244が、開始フレーム一致検索期間にカメラ10−iで記録された映像フレームに対して、記録処理部241が記録停止前最後にHDD31に記録した映像フレームをフレームパターンマッチングさせた場合のフレームパターンマッチ度(相関度)を示している。
FIG. 14 is a diagram for explaining the result of performing the frame pattern matching shown in FIG.
In FIG. 14, the value represented by the black circle indicates that the unrecorded
また、図14において、白丸で表わす値は、未記録映像抽出部244が、開始フレーム一致検索期間にカメラ10−iで記録された映像フレームに対して、記録処理部241が記録停止前最後にHDD31に記録した映像フレームの1フレーム前の映像フレームをフレームパターンマッチングさせた場合のフレームパターンマッチ度(相関度)を示している。なお、この時、記録処理部241が記録停止前最後に記録した映像フレームの1フレーム前の映像フレームは、開始フレーム一致検索期間にカメラ10−iで記録された映像フレームとフレームパターンマッチングさせると、通常、記録処理部241が記録停止前最後にHDD31に記録した映像フレームをフレームパターンマッチングさせた場合と比べ、全体的に1フレーム前でピークとなる。そこで、記録処理部241が記録停止前最後に記録した映像フレームの1フレーム前の映像フレームと開始フレーム一致検索期間にカメラ10−iで記録された映像フレームとのフレームパターンマッチング結果は、1フレーム進める補正を行う。図14において白丸で表わす値は、1フレーム進める補正を行ったあとのフレームパターンマッチ度を示している。
In FIG. 14, the value represented by a white circle is the last value recorded by the
また、図14において、黒四角で表わす値は、黒丸で表わす値と、白丸で表わす値を加算した値を示す。すなわち、開始フレーム一致検索期間にカメラ10−iで記録された映像フレームに対して、記録処理部241が記録停止前最後にHDD31に記録した映像フレームをフレームパターンマッチングさせた場合のフレームパターンマッチ度と、記録処理部241が記録停止前最後にHDD31に記録した映像フレームの1フレーム前の映像フレームを補正後にフレームパターンマッチングさせた場合のフレームパターンマッチ度とを加算したフレームパターンマッチ度を示す。
In FIG. 14, a value represented by a black square represents a value obtained by adding a value represented by a black circle and a value represented by a white circle. That is, the frame pattern matching degree when the
記録処理部241が記録した2枚の映像フレームに対してフレームパターンマッチング処理を行うことで、フレームパターンマッチングの処理負荷は2倍となるが、両映像フレームの、カメラ10−iで記録された映像フレームとの相関度を加算することにより、より顕著に最高点を検出することができる。
By performing frame pattern matching processing on the two video frames recorded by the
図示は省略するが、これと同様に、未記録映像抽出部244は、終了フレーム一致検索期間においても、カメラ10−iで記録された映像フレームに対して、記録処理部241が記録再開後最初にHDD31に記録した映像フレームと、当該映像フレームの1フレーム次に記録した映像フレームとのフレームパターンマッチングをそれぞれ行い、フレームパターンマッチング結果のフレームパターンマッチ度を加算する。なお、この場合も、1フレーム次に記録された映像フレームと、終了フレーム一致検索期間にカメラ10−iで記録された映像フレームとのフレームパターンマッチング結果は、1フレーム戻す補正を行うものとする。
そして、未記録映像抽出部244は、開始フレーム一致検索期間の最高点と、終了フレーム一致検索期間の最高点から、より精度よく最高点の間隔Hを設定する。
Although not shown in the figure, similarly to this, the unrecorded
The unrecorded
なお、ここでは、一例として、カメラ10−iで記録された映像フレームに対するフレームパターンマッチングを、記録処理部241がHDD31に記録した記録停止前最後の映像フレームおよびその1つ前の映像フレーム、または、記録処理部241がHDD31に記録した記録再開後最初の映像フレームおよびその1つ次の映像フレームの計2枚の映像フレームについて行うものとしたが、これに限らず、最高点を検出し、最高点の間隔Hを設定するためのレコーダ16の映像フレームの枚数は、フレームパターンマッチングの処理負荷の増大が許せる範囲内で、3枚以上に増やしてもよい。
Here, as an example, the frame pattern matching for the video frame recorded by the camera 10-i is performed as a last video frame before recording stop and the previous video frame recorded by the
以上のように、この実施の形態2によれば、未記録映像抽出部244は、カメラ10−iから取得した映像フレームから、レコーダ16(記録処理部241)が電源断前に記録した最後の映像フレームを含む複数の連続する映像フレームとの相関度をそれぞれ検索した結果に基づき第1の映像フレームを検出し、レコーダ16(記録処理部241)が電源復帰後に記録した最初の映像フレームを含む複数の連続する映像フレームとの相関度をそれぞれ検索した結果に基づき第2の映像フレームを検出するようにしたので、レコーダ16の停止期間中の映像をすでに記録済みのカメラ10−iの映像フレームと接続する際に、より精度よく、接続前後で乱れのない滑らかな記録映像を得ることができる。
As described above, according to the second embodiment, the unrecorded
実施の形態3.
実施の形態1では、最高点の間隔Hと未記録期間Dが一致しない場合、最高点の間隔Hが未記録期間Dより長ければ、最高点の間隔Hの範囲内で未記録期間Dの長さに合う期間をカメラ映像取得期間Gとし、最高点の間隔Hが未記録期間Dより短ければ、最高点の間隔Hを越えて未記録期間Dの長さに合う期間をカメラ映像取得期間Gとしていた。この実施の形態3では、最高点の間隔Hの長さが未記録期間Dと一致しない場合であっても、最高点の間隔Hの期間をカメラ映像取得期間Gとし、最高点の間隔Hの期間にカメラ10−iで記録された映像フレームを取得する実施の形態について説明する。
なお、実施の形態1とは、カメラ映像取得期間Gの決定処理およびレコーダ16に取り込むカメラ10−iの映像フレームの取得処理(図5のステップST209〜ステップST210)が異なるのみであるので、当該異なる処理についてのみ説明し、その他の構成・動作については、実施の形態1で説明したものと同様であるため、重複した説明を省略する。
Embodiment 3 FIG.
In the first embodiment, when the highest point interval H and the unrecorded period D do not match, if the highest point interval H is longer than the unrecorded period D, the length of the unrecorded period D within the range of the highest point interval H The period that matches this is the camera video acquisition period G, and if the highest point interval H is shorter than the unrecorded period D, the period that exceeds the highest point interval H and matches the length of the unrecorded period D is the camera video acquisition period G. I was trying. In the third embodiment, even when the length of the highest point interval H does not coincide with the unrecorded period D, the highest point interval H is set as the camera video acquisition period G, and the highest point interval H is set. An embodiment in which video frames recorded by the camera 10-i during a period are acquired will be described.
The first embodiment is different from the first embodiment only in the determination process of the camera video acquisition period G and the acquisition process of the video frame of the camera 10-i to be captured in the recorder 16 (step ST209 to step ST210 in FIG. 5). Only the different processing will be described, and other configurations and operations are the same as those described in the first embodiment, and thus redundant description will be omitted.
未記録映像抽出部244は、未記録映像抽出部244は、開始フレーム一致検索期間にカメラ10−iで記録された映像フレームと記録処理部241がHDD31に記録した記録停止前(電源断前)最後の映像フレームとの相関度、および、終了フレーム一致検索期間にカメラ10−iで記録された映像フレームと記録処理部241がHDD31に記録した記録再開後(電源復帰後)最初の映像フレームとの相関度をそれぞれ算出し、記録停止前、記録再開後で相関度が最高となる映像フレーム(第1のフレーム、第2のフレーム)を記録した時刻の間隔(最高点の間隔H)を、最高点の間隔Hの長さに関わらず、レコーダ16が取得すべきカメラ映像取得期間Gとする。
そして、未記録映像抽出部244は、カメラ10−iから取得した映像フレームから、カメラ映像取得期間Gに記録した映像フレームを抽出して取り込み、レコーダ16の記録映像としてHDD31に保存する。
The unrecorded
Then, the unrecorded
ここで、図15,図16を用いて、未記録映像抽出部244による、カメラ10−iからの映像フレーム取得処理について、例をあげて説明する。
図15は、実施の形態3において、レコーダ16の未記録期間Dの長さが、最高点の間隔Hの長さより長い場合の、カメラ10−iからの映像フレームの取得処理を説明する図である。
図15に示すように、この実施の形態3では、レコーダ16の未記録期間Dの長さが、最高点の間隔Hの長さより長い場合であっても、未記録映像抽出部244は、最高点の間隔Hの期間をカメラ映像取得期間Gとする。つまり、未記録映像抽出部244は、カメラ10−iにおいて、最高点の間隔Hの先頭の時刻に記録された映像フレームから、最高点の間隔Hの末尾の時刻に記録された映像フレームまでをカメラ10−iから取得し、HDD31に記録する。この時、カメラ10−iから取り込んだ映像フレームには、レコーダ16で記録できなかった期間の時刻におさまるように、タイムスタンプを付与するようにする。例えば、レコーダ16での未記録期間の方が、カメラ10−iから取り込んだ映像フレームを記録した期間より10分長かったとすると、カメラ10−iから取り込んだ映像フレームには、レコーダ16での未記録期間の前後5分を空白とし、レコーダ16で録画停止前最後に映像フレームを記録した時刻の5分後から、レコーダ16で録画再開後最初に映像フレームを記録した時刻の5分前までの時刻に基づくタイムスタンプを付与するようにすればよい。また、例えば、レコーダ16で録画停止前最後の映像フレームを記録した時刻と、カメラ10−iから取り込んだ映像フレームの先頭の映像フレームに付与する時刻が連続するようにタイムスタンプを付与するようにしてもよい。
Here, with reference to FIGS. 15 and 16, the video frame acquisition processing from the camera 10-i by the unrecorded
FIG. 15 is a diagram for explaining video frame acquisition processing from the camera 10-i when the length of the unrecorded period D of the
As shown in FIG. 15, in the third embodiment, even if the length of the unrecorded period D of the
この場合、HDD31に記録された映像フレームに、カメラ10−iから取得した映像フレームを結合すると、時刻順に映像フレームを構成した場合、映像フレームのない期間が存在する。この実施の形態3においては、タイムスタンプが飛ぶことを許容し、映像表示制御部242は、表示処理部26に対して、タイムスタンプが飛んだ、すなわち、時刻順に映像フレームのない期間が存在する映像フレームに基づいて、映像表示を行うよう制御する。
In this case, when the video frames acquired from the camera 10-i are combined with the video frames recorded in the
図16は、実施の形態3において、レコーダ16の未記録期間Dの長さが、最高点の間隔Hの長さより短い場合の、カメラ10−iからの映像フレームの取得処理を説明する図である。
図16に示すように、この実施の形態3では、レコーダ16の未記録期間Dの長さが、最高点の間隔Hの長さより短い場合であっても、未記録映像抽出部244は、最高点の間隔Hの期間をカメラ映像取得期間Gとする。つまり、未記録映像抽出部244は、カメラ10−iにおいて、最高点の間隔Hの先頭の時刻に記録された映像フレームから、最高点の間隔Hの末尾の時刻に記録された映像フレームまでをカメラ10−iから取得し、HDD31に記録する。この時、カメラ10−iから取り込んだ映像フレームには、その期間内に、レコーダ16で記録できなかった期間の時刻がおさまるように、タイムスタンプを付与するようにする。
FIG. 16 is a diagram for explaining video frame acquisition processing from the camera 10-i when the length of the unrecorded period D of the
As shown in FIG. 16, in the third embodiment, even if the length of the unrecorded period D of the
この場合、HDD31に記録された映像フレームに、カメラ10−iから取得した映像フレームを結合すると、時刻順に映像フレームを構成した場合、映像フレームが重複する期間が存在する。この実施の形態3においては、未記録映像抽出部244は、重複した映像フレームに同じタイムスタンプを付与しておくとともに、レコーダ16の通常時において記録処理部241が記録した映像フレームと電源断があった場合にカメラ10−iから取得した映像フレームとを区別して管理する。また、映像表示制御部242は、表示処理部26に対して、同一タイムスタンプ、すなわち、同一時刻の映像表示を重複して行うよう制御する。
In this case, when the video frames acquired from the camera 10-i are combined with the video frames recorded in the
例えば、HDD31に記録された映像フレームとカメラ10−iから取得した映像フレームが重複する期間において、tr1からtr2をレコーダ16がHDDに記録した映像フレームのタイムスタンプ、tc1からtc2をカメラ10−iから取得した映像フレームのタイムスタンプとすると、この期間を含む映像フレームの再生時には、tr1からtr2の映像を表示したのち、tc1からtc2の映像を表示するようにする。
このようにすることで、映像を繋ぐ際も、滑らかな映像とすることができる。
ただし、この場合、HDD31に記録された映像フレームとカメラ10−iから取得した映像フレームとで重複した映像フレームを繋ぐことになるので、映像再生時間としては、レコーダ16での未録画期間の長さより長くなってしまう。そこで、映像再生時間が未録画期間の長さと一致することを優先させたい場合には、ユーザが、重複する映像フレームのどちらを用いるかを選択できるようにしてもよい。
For example, in a period in which a video frame recorded on the
By doing so, it is possible to obtain a smooth image even when the images are connected.
However, in this case, since the video frame recorded in the
以上のように、実施の形態3によれば、未記録映像抽出部244は、未記録期間Dの映像フレームとして抽出した映像フレームをレコーダ16(HDD31)に記録させるようにしており、レコーダ16(記録処理部241)が、電源断前および電源復帰後に記録した映像フレームに付与された時刻と、抽出した第1の映像フレームと第2の映像フレームとの間の映像フレームに付与された時刻とが連続しない場合は、時刻が連続しない映像フレームとして抽出した映像フレームをレコーダ16(HDD31)に記録させ、レコーダ16(記録処理部241)が、電源断前および電源復帰後に記録した映像フレームに付与された時刻と、抽出した第1の映像フレームと第2の映像フレームとの間の映像フレームに付与された時刻とが重複する場合は、レコーダ16(記録処理部241)が記録した映像フレームと区別して、抽出した映像フレームをレコーダ16(HDD31)に記録させるようにしたので、ある時刻の映像フレームがなかったり、または、重複して映像表示することになるが、映像としては、より滑らかに、カメラ10−iで記録した映像を、レコーダ16の記録停止期間中の映像として接続することが可能となる。
As described above, according to the third embodiment, the unrecorded
なお、この発明の実施の形態1において、レコーダ16は、図2で示すような構成としたが、レコーダ16は、電源監視部25と、電源断時制御部243と、未記録映像抽出部244とを備えることにより、上述したような効果が得られるものである。
In the first embodiment of the present invention, the
また、本願発明はその発明の範囲内において、各実施の形態の自由な組み合わせ、あるいは各実施の形態の任意の構成要素の変形、もしくは各実施の形態において任意の構成要素の省略が可能である。
また、実施の形態1〜3におけるレコーダ16の制御に用いられる各部は、ソフトウェアに基づくCPUを用いたプログラム処理によって実行される。
また、各実施の形態1〜3におけるHDD31は、HDDのほか、DVD、メモリなどによって構成されるものであってもよい。
Further, within the scope of the present invention, the invention of the present application can be freely combined with each embodiment, modified with any component in each embodiment, or omitted with any component in each embodiment. .
Each unit used for controlling the
Further, the
1 CCTVシステム、10−1〜10−n カメラ、11−1〜11−n,15 伝送路、12 PoEハブ、13,17 コード、14,18 電源、16 レコーダ、20 受信端子、21 送信端子、22 受信部、23 送信部、24制御部、25 電源監視部、26 表示制御部、27 映像出力端子、28 電源入力端子、29 時刻保持部、30 フラッシュメモリ、31 HDD、100 映像記録制御部、241 記録処理部、242 映像表示制御部、243 電源断時制御部、244 未記録映像抽出部。 1 CCTV system, 10-1 to 10-n camera, 11-1 to 11-n, 15 transmission path, 12 PoE hub, 13, 17 code, 14, 18 power supply, 16 recorder, 20 reception terminal, 21 transmission terminal, 22 receiving unit, 23 transmitting unit, 24 control unit, 25 power supply monitoring unit, 26 display control unit, 27 video output terminal, 28 power input terminal, 29 time holding unit, 30 flash memory, 31 HDD, 100 video recording control unit, 241 Recording processing unit, 242 Video display control unit, 243 Power-off control unit, 244 Unrecorded video extraction unit
Claims (8)
前記電源監視部により電源断となることが検出された場合、前記撮像装置に対して映像フレームの記録開始を指示する記録開始信号を送信し、前記電源断後に前記電源監視部により電源復帰が検出された場合、前記電源断によって前記映像記録再生装置が映像フレームを記録できなかった未記録期間を算出し、前記撮像装置に対して映像フレームの記録停止を指示する記録停止信号を送信する電源断時制御部と、
前記電源復帰が検出された場合、前記撮像装置が前記記録開始信号を受信してから前記記録停止信号を受信するまでの間に記録した映像フレームを前記撮像装置から取得し、当該映像フレームから、前記映像記録再生装置が前記電源断前に記録した最後の映像フレームとの相関度に基づき検出した第1の映像フレームと前記映像記録再生装置が前記電源復帰後に記録した最初の映像フレームとの相関度に基づき検出した第2の映像フレームとの間の映像フレームを、前記未記録期間の映像フレームとして抽出する未記録映像抽出部
とを備えた映像記録制御装置。 A power monitoring unit for monitoring a power supply state to a video recording / reproducing device for recording a video frame received from the imaging device;
When the power supply monitoring unit detects that the power supply is cut off, it sends a recording start signal instructing the imaging device to start recording a video frame. After the power supply is turned off, the power supply monitoring unit detects that the power supply is restored. When the power is turned off, the video recording / playback apparatus calculates an unrecorded period during which the video frame could not be recorded and transmits a recording stop signal instructing the imaging apparatus to stop recording the video frame. A time control unit;
When the power return is detected, the imaging device acquires a video frame recorded from when the imaging start signal is received until the recording stop signal is received from the imaging device, and from the video frame, Correlation between the first video frame detected by the video recording / reproducing apparatus based on the degree of correlation with the last video frame recorded before the power interruption and the first video frame recorded by the video recording / reproducing apparatus after the power is restored A video recording control device comprising: an unrecorded video extracting unit that extracts a video frame between the second video frame detected based on the degree as a video frame in the unrecorded period.
前記電源断となることが検出された場合、前記映像記録再生装置が前記電源断前に記録した最後の映像フレームに付与された時刻と、前記撮像装置から取得した映像フレームに付与された時刻とに基づき開始フレーム一致検索期間を設定して、当該開始フレーム一致検索期間の映像フレームから前記第1の映像フレームを検出し、前記映像記録再生装置が前記電源復帰後に記録した最初の映像フレームに付与された時刻と、前記撮像装置から取得した映像フレームに付与された時刻とに基づき終了フレーム一致検索期間を設定して、当該終了フレーム一致検索期間の映像フレームから前記第2の映像フレームを検出する
ことを特徴とする請求項1記載の映像記録制御装置。 The unrecorded video extraction unit
When it is detected that the power is turned off, a time given to the last video frame recorded by the video recording / playback apparatus before the power is turned off, and a time given to the video frame acquired from the imaging device, The start frame match search period is set based on the first frame, the first video frame is detected from the video frames in the start frame match search period, and is added to the first video frame recorded after the video recording / playback apparatus returns to the power source. An end frame match search period is set based on the set time and the time given to the video frame acquired from the imaging device, and the second video frame is detected from the video frame in the end frame match search period The video recording control apparatus according to claim 1.
前記映像記録再生装置内部で保持する時刻と前記撮像装置が内部で保持する時刻とに誤差がある場合、前記映像記録再生装置が前記電源断前に記録した最後の映像フレームに付与された時刻と前記撮像装置から取得した映像フレームに付与された時刻と前記誤差とに基づき前記開始フレーム一致検索期間を設定し、前記映像記録再生装置が前記電源復帰後に記録した最初の映像フレームに付与された時刻と前記撮像装置から取得した映像フレームに付与された時刻と前記誤差とに基づき前記終了フレーム一致検索期間を設定する
ことを特徴とする請求項2記載の映像記録制御装置。 The unrecorded video extraction unit
When there is an error between the time held in the video recording / reproducing apparatus and the time held in the imaging apparatus, the time given to the last video frame recorded by the video recording / reproducing apparatus before the power-off The start frame coincidence search period is set based on the time and the error given to the video frame acquired from the imaging device, and the time given to the first video frame recorded by the video recording / reproducing device after the power is restored The video recording control device according to claim 2, wherein the end frame match search period is set based on the time given to the video frame acquired from the imaging device and the error.
前記第1の映像フレームに付与された時刻から前記第2の映像フレームに付与された時刻までの長さが前記未記録期間の長さと一致しない場合、前記撮像装置から取得した映像フレームと前記映像記録再生装置が前記電源断前に記録した最後の映像フレームとの相関度、および、前記撮像装置から取得した映像フレームと前記映像記録再生装置が前記電源復帰後に記録した最初の映像フレームとの相関度に基づき、前記未記録期間の長さと一致するように、前記撮像装置から取得した映像フレームが記録された期間から映像取得期間を決定し、当該映像取得期間に対応する映像フレームを、前記未記録期間に対応する映像フレームとして抽出する
ことを特徴とする請求項1から請求項3のうちのいずれか1項記載の映像記録制御装置。 The unrecorded video extraction unit
When the length from the time given to the first video frame to the time given to the second video frame does not match the length of the unrecorded period, the video frame acquired from the imaging device and the video Correlation between the last video frame recorded by the recording / playback device before the power interruption and the correlation between the video frame acquired from the imaging device and the first video frame recorded by the video recording / playback device after the power recovery. A video acquisition period is determined from a period in which a video frame acquired from the imaging device is recorded so as to match the length of the unrecorded period, and the video frame corresponding to the video acquisition period is The video recording control device according to any one of claims 1 to 3, wherein the video frame is extracted as a video frame corresponding to a recording period.
前記未記録期間の映像フレームとして抽出した映像フレームを前記映像記録再生装置に記録させるようにしており、
前記映像記録再生装置が、前記電源断前および前記電源復帰後に記録した映像フレームに付与された時刻と、前記抽出した前記第1の映像フレームと前記第2の映像フレームとの間の映像フレームに付与された時刻とが連続しない場合は、前記時刻が連続しない映像フレームとして前記抽出した映像フレームを前記映像記録再生装置に記録させ、
前記映像記録再生装置が、前記電源断前および前記電源復帰後に記録した映像フレームに付与された時刻と、前記抽出した前記第1の映像フレームと前記第2の映像フレームとの間の映像フレームに付与された時刻とが重複する場合は、前記映像記録再生装置が記録した映像フレームと区別して、前記抽出した映像フレームを前記映像記録再生装置に記録させる
ことを特徴とする請求項2または請求項3記載の映像記録制御装置。 The unrecorded video extraction unit
The video recording / reproducing apparatus records the video frame extracted as the video frame of the unrecorded period,
The video recording / playback apparatus applies the time given to the video frame recorded before the power-off and after the power return to the video frame between the extracted first video frame and the second video frame. If the given time is not continuous, the extracted video frame is recorded in the video recording / playback device as a video frame in which the time is not continuous,
The video recording / playback apparatus applies the time given to the video frame recorded before the power-off and after the power return to the video frame between the extracted first video frame and the second video frame. 3. The video recording / reproducing apparatus according to claim 2, wherein when the given time overlaps, the video recording / reproducing apparatus records the extracted video frame separately from the video frame recorded by the video recording / reproducing apparatus. 3. The video recording control device according to 3.
前記撮像装置から取得した映像フレームから、前記映像記録再生装置が前記電源断前に記録した最後の映像フレームを含む複数の連続する映像フレームとの相関度をそれぞれ検索した結果に基づき前記第1の映像フレームを検出し、前記映像記録再生装置が前記電源復帰後に記録した最初の映像フレームを含む複数の連続する映像フレームとの相関度をそれぞれ検索した結果に基づき前記第2の映像フレームを検出する
ことを特徴とする請求項1から請求項5のうちのいずれか1項記載の映像記録制御装置。 The unrecorded video extraction unit
Based on the results obtained by searching the video frames acquired from the imaging device for the degree of correlation with a plurality of consecutive video frames including the last video frame recorded by the video recording / playback device before the power-off, respectively. A video frame is detected, and the second video frame is detected based on a result of searching for correlations with a plurality of consecutive video frames including the first video frame recorded after the video recording / reproducing apparatus returns to the power source. 6. The video recording control device according to claim 1, wherein the video recording control device is a video recording control device.
前記電源監視部により電源断となることが検出された場合、
電源断時制御部が、前記撮像装置に対して映像フレームの記録開始を指示する記録開始信号を送信するステップと、
前記電源断後に前記電源監視部により電源復帰が検出された場合、
前記電源断時制御部が、前記電源断によって前記映像記録再生装置が映像フレームを記録できなかった未記録期間を算出し、前記撮像装置に対して映像フレームの記録停止を指示する記録停止信号を送信するステップと、
未記録映像抽出部が、前記撮像装置が前記記録開始信号を受信してから前記記録停止信号を受信するまでの間に記録した映像フレームを前記撮像装置から取得し、当該映像フレームから、前記映像記録再生装置が前記電源断前に記録した最後の映像フレームとの相関度に基づき検出した第1の映像フレームと、前記映像記録再生装置が前記電源復帰後に記録した最初の映像フレームとの相関度に基づき検出した第2の映像フレームとの間の映像フレームを、前記未記録期間の映像フレームとして抽出し、前記映像記録再生装置に記録させるステップ
とを備えた映像記録制御方法。 A step of monitoring a power supply state to a video recording / reproducing device for recording a video frame received from the imaging device by a power monitoring unit;
When it is detected by the power monitoring unit that power is cut off,
A step of transmitting a recording start signal for instructing the imaging device to start recording a video frame;
When power recovery is detected by the power monitoring unit after the power is turned off,
The power-off control unit calculates an unrecorded period during which the video recording / playback apparatus cannot record a video frame due to the power-off, and outputs a recording stop signal for instructing the imaging apparatus to stop recording the video frame. Sending, and
An unrecorded video extraction unit obtains a video frame recorded from when the imaging device receives the recording start signal to when the recording stop signal is received from the imaging device, and from the video frame, the video Correlation between the first video frame detected by the recording / reproducing apparatus based on the correlation with the last video frame recorded before the power interruption and the first video frame recorded by the video recording / reproducing apparatus after the power is restored A video recording control method comprising: extracting a video frame between the second video frame detected on the basis of the video frame as a video frame in the unrecorded period and recording the video frame in the video recording / playback apparatus.
前記映像記録制御装置は、
前記映像記録再生装置に対する電源供給状態を監視する電源監視部と、
前記電源監視部により電源断となることが検出された場合、前記撮像装置に対して映像フレームの記録開始を指示する記録開始信号を送信し、前記電源断後に前記電源監視部により電源復帰が検出された場合、前記電源断によって前記映像記録再生装置が映像フレームを記録できなかった未記録期間を算出し、前記撮像装置に対して映像フレームの記録停止を指示する記録停止信号を送信する電源断時制御部と、
前記電源復帰が検出された場合、前記撮像装置が前記記録開始信号を受信してから前記記録停止信号を受信するまでの間に記録した映像フレームを前記撮像装置から取得し、当該映像フレームから、前記映像記録再生装置が前記電源断前に記録した最後の映像フレームとの相関度に基づき検出した第1の映像フレームと、前記映像記録再生装置が前記電源復帰後に記録した最初の映像フレームとの相関度に基づき検出した第2の映像フレームとの間の映像フレームを、前記未記録期間の映像フレームとして抽出する未記録映像抽出部
とを備えたことを特徴とするCCTVシステム。 A video recording / playback device, a video recording control device, and an imaging device are connected via a network, the video recording / playback device receives and records a video frame taken by the imaging device, and the video recording control device includes: In the CCTV system for controlling the recording of the video frame in the video recording / reproducing apparatus,
The video recording control device includes:
A power monitoring unit for monitoring a power supply state to the video recording / reproducing device;
When the power supply monitoring unit detects that the power supply is cut off, it sends a recording start signal instructing the imaging device to start recording a video frame. After the power supply is turned off, the power supply monitoring unit detects that the power supply is restored. When the power is turned off, the video recording / playback apparatus calculates an unrecorded period during which the video frame could not be recorded and transmits a recording stop signal instructing the imaging apparatus to stop recording the video frame. A time control unit;
When the power return is detected, the imaging device acquires a video frame recorded from when the imaging start signal is received until the recording stop signal is received from the imaging device, and from the video frame, A first video frame detected based on a degree of correlation with the last video frame recorded by the video recording / playback apparatus before the power-off, and a first video frame recorded by the video recording / playback apparatus after the power recovery. A CCTV system, comprising: an unrecorded video extraction unit that extracts a video frame between the second video frame detected based on the degree of correlation as a video frame in the unrecorded period.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014237898A JP6403551B2 (en) | 2014-11-25 | 2014-11-25 | VIDEO RECORDING CONTROL DEVICE, VIDEO RECORDING CONTROL METHOD, AND CCTV SYSTEM |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014237898A JP6403551B2 (en) | 2014-11-25 | 2014-11-25 | VIDEO RECORDING CONTROL DEVICE, VIDEO RECORDING CONTROL METHOD, AND CCTV SYSTEM |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2016100829A JP2016100829A (en) | 2016-05-30 |
JP6403551B2 true JP6403551B2 (en) | 2018-10-10 |
Family
ID=56078165
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014237898A Active JP6403551B2 (en) | 2014-11-25 | 2014-11-25 | VIDEO RECORDING CONTROL DEVICE, VIDEO RECORDING CONTROL METHOD, AND CCTV SYSTEM |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6403551B2 (en) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7028756B2 (en) * | 2018-11-29 | 2022-03-02 | パナソニックi-PROセンシングソリューションズ株式会社 | Recorder and exit method |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007194722A (en) * | 2006-01-17 | 2007-08-02 | Mitsubishi Electric Corp | Video monitor system |
JP5032583B2 (en) * | 2007-10-17 | 2012-09-26 | パナソニック株式会社 | Video recording apparatus, video recording method, video recording program, and integrated circuit |
JP5517417B2 (en) * | 2008-04-18 | 2014-06-11 | キヤノン株式会社 | Monitoring device, control method therefor, and program |
WO2014112207A1 (en) * | 2013-01-15 | 2014-07-24 | 三菱電機株式会社 | Monitoring system and monitoring camera |
-
2014
- 2014-11-25 JP JP2014237898A patent/JP6403551B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
JP2016100829A (en) | 2016-05-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN101483762B (en) | Platform video recording method, system and customer terminal | |
TWI486913B (en) | Security monitoring device with network and record function and failure detecting and repairing mehtod for storage device thereof | |
CN109155840B (en) | Moving image dividing device and monitoring method | |
US9736363B2 (en) | Imaging apparatus and control method thereof | |
US20140341531A1 (en) | Dynamic video storing method and network security surveillance apparatus | |
US8982241B2 (en) | Image photography apparatus and method of recovering editing image thereof | |
KR20190005188A (en) | Method and apparatus for generating a composite video stream from a plurality of video segments | |
JP6403551B2 (en) | VIDEO RECORDING CONTROL DEVICE, VIDEO RECORDING CONTROL METHOD, AND CCTV SYSTEM | |
JP2016167788A (en) | Moving image recorder | |
US8094993B2 (en) | Video recording device, video recording method, video recording program, and integrated circuit | |
JP2015095705A (en) | Video monitoring system | |
US20120194690A1 (en) | Image data recording apparatus | |
JP5739079B1 (en) | Movie compression apparatus and movie compression / decompression system | |
JP2000270249A (en) | Image communication unit, its method, its system and storage medium read by computer | |
CN113242263B (en) | Conference server and audio and video conference data correction method | |
US8805156B2 (en) | Recording control apparatus and recording control method | |
US20200366898A1 (en) | Image capturing apparatus, control method thereof, and non-transitory computer-readable storage medium | |
US7444581B2 (en) | Error handling of storage device data in real time systems | |
US8145031B2 (en) | Recording apparatus | |
KR101685043B1 (en) | Determining method and acquiring method for past video data from overwritten video data of CCTV | |
KR100681640B1 (en) | Method for recording data of dvr system | |
JP2015099995A (en) | Recording device and recording device control method | |
JP6249749B2 (en) | Information processing apparatus, control method thereof, and program | |
US11089212B2 (en) | Image capture apparatus that records video signal captured at variable frame rate as moving image data, method of controlling same, and storage medium | |
JP5392140B2 (en) | Video data collection system |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20171017 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20180625 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20180703 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180806 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20180814 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20180911 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6403551 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |