JP4327221B2 - データ記録装置 - Google Patents

Description

この発明は、カメラにより得られた画像データをメモリに記憶するデータ記録装置に関する。

近年、例えば、カメラを用いて侵入者や進入物体等を監視するシステムが種々開発され、そのいくつかは実用化されている。例えば、特許文献１に記載される監視カメラシステムでは、監視対象エリアにカメラを設置し、このカメラにより撮影された画像データをネットワークを介して監視センタに伝送し、この監視センタに設けられた記録装置で記憶するようにしている。

しかしながら、記録装置の容量は固定であるため、一定時間分のデータしか記憶することができない。このため、記録装置の容量が一杯になった場合には以後のデータ記憶を停止するか、或いは記録装置に記録されているデータを古い順に消去して代わりに新たな監視データを記憶させる必要がある。
特開２００３−３１９３７８号公報

ところが、前記従来の記録装置では、記録装置の容量が一杯になると古いデータが無条件に一括消去される。このため、記録装置の容量を十分に大きくとれない場合には、各監視データの保存期間が短くなり、過去の監視データを検証する必要が生じた場合に目的の監視データが既に全て消去されていて検証をまったく行えなくなると云った不具合が発生する。

一方、限られた記憶容量の範囲でできる限り多くの監視データを記憶させるために、監視データのフレームレートや画質を低下させてデータ量を削減する技術も種々提案されている。しかし、この種の技術では全ての監視データが準動画又は静止画になったり、或いは解像度が低下した映像になってしまう。このため、例えば管理者や閲覧者が記録直後の監視データを再生して監視エリアの状況を確認する通常の監視動作において、監視データの品質が低く詳細な確認が困難になる。

この発明は上記事情に着目してなされたもので、その目的とするところは、比較的新しいデータについては高品質を維持しかつ古いデータについては長期間の保存を可能としたデータ記録装置を提供することにある。

上記目的を達成するためにこの発明は、時系列で入力される複数のデータを記憶媒体に順次記憶するデータ記録装置において、上記入力されたデータを第１の品質で上記記憶媒体に記憶する第１の手段と、上記記憶媒体に記憶されたデータ量が予め定められた上限値に達した場合に、上記記憶媒体に記憶されたデータを上記第１の品質より低い第２の品質に変換して記憶を継続する第２の手段と、上記品質の変換処理により生成された空き領域に、新たに入力されたデータを第１の品質で記憶する第３の手段とを備えるようにしたものである。

したがってこの発明によれば、比較的新しいデータについては高品質を維持して記憶され、かつ古くなるにつれ品質が下げられて記憶が継続される。このため、全てのデータを高品質の状態で記憶し続ける場合に比べて長期間の保存が可能となり、一方全てのデータを当初から品質を落とした状態で記憶する場合に比べて高品質の記憶データに基づく種々処理が可能となる。

例えば、監視カメラにより撮像された画像データを記録する装置においては、管理者や閲覧者が記録直後の監視データを再生して監視エリアの状況を確認する通常の監視業務では高品質の画像データを用いて詳細な確認作業を行うことができ、一方過去に遡って監視データを検証する必要が生じた場合には長期保存された所望の古いデータを検索することが可能となる。

この発明を実現する具体的な構成としては次のようなものが考えられる。
すなわち、時系列で入力された、フレームの種類としてＩフレームとＰフレームとを有するように符号化された映像のデータを、記憶容量を定められた第１及び第２の仮想記憶領域を有する記憶媒体に順次記憶するデータ記憶装置にあって、上記記憶媒体に記憶されたフレームの各々に対し、フレーム番号と、記憶アドレスと、データ長と、記録時刻と、フレームレートとを対応付ける管理情報をテーブルに記憶する手段を備える。そして、上記入力されたフレームデータを第１フレームレートで上記記憶媒体の空き領域に順次記憶する際に、上記第１フレームレートで記憶されたフレームデータの全記憶データ量を計算して、上記第１の仮想記憶領域の容量内で上記入力されたフレームデータを記憶するための空き領域があるか否かを判定する。そして、この判定の結果、上記第１の仮想記憶領域に空き領域がないと判定されたときに、上記第１フレームレートで記憶された最古のフレームデータが上記第１フレームレートより低レートに設定された第２フレームレートにおける保存対象であれば、上記テーブルに記憶されている当該最古のフレームデータに対応する管理情報のフレームレートを上記第２フレームレートに変更し、保存対象でなければ当該最古のフレームデータが記憶されていた領域に上記入力されたフレームデータを記憶する。さらに、上記第１フレームレートから上記第２フレームレートへの変更があったときに、上記第２の仮想記憶領域の全記憶データ量を計算し、上記第２の仮想記憶領域の容量内で上記入力されたフレームデータを記憶するための空き領域があれば、当該空き領域に上記入力されたフレームデータを記憶し、当該空き領域がなければ、上記第２フレームレートで記憶された最古のフレームデータが記憶されていた領域に上記入力されたフレームデータを記憶させるようにしたものである。

このように構成すると、データ記憶領域上のデータを物理的に移動させることなく、データに対する記憶アドレスの付け替え処理により品質変換を伴うデータの延長保存処理を実現できる。

またこの発明は、上記第２の手段において、第２フレームレートにおける保存対象と判断された当該最古のフレームがＰフレームである場合に、当該最古のフレームの位置でＩフレームを作成し、前記第２の記憶領域に記憶することも特徴とする。

したがってこの発明によれば、比較的新しいデータについては高品質を維持しかつ古いデータについては長期間の保存を可能としたデータ記録装置を提供することができる。

（第１の実施形態）
図１は、この発明の第１の実施形態に係わるデータ記録装置を備えた監視システムの概略構成図である。
この監視システムは、監視対象エリアに配置された複数の監視カメラＣＭ１〜ＣＭｒを通信ネットワークＮＷを介して監視サーバ装置ＳＶに接続すると共に、この監視サーバ装置ＳＶに対し複数の閲覧用端末を上記通信ネットワークＮＷを介して接続可能としたものである。

通信ネットワークＮＷは、例えばＬＡＮ（Local Area Network）、或いはインターネットに代表されるコンピュータ・ネットワークと、このコンピュータ・ネットワークと閲覧用端末との間を接続するための加入者網とから構成される。なお、上記監視カメラＣＭ１〜ＣＭｒと監視サーバ装置ＳＶとの間を接続するネットワークと、閲覧用端末と監視サーバ装置ＳＶとの間を接続するネットワークとを別々に構成することも可能である。

閲覧用端末は監視対象施設の管理者やオーナ等の閲覧者が使用するもので、固定端末ＰＣ１〜ＰＣｋと、移動通信端末ＭＳ１〜ＭＳｊとから構成される。固定端末ＰＣ１〜ＰＣｋは例えばパーソナル・コンピュータからなり、加入者線や有線ＬＡＮ等の有線回線を介して上記通信ネットワークＮＷに接続される。移動通信端末ＭＳ１〜ＭＳｊは携帯電話機やＰＤＡ（Personal Digital Assistants）、携帯型のパーソナル・コンピュータからなり、無線回線を介して上記通信ネットワークＮＷに接続される。

監視サーバ装置ＳＶにはデータベースＤＢが付設されており、この監視サーバ装置ＳＶとデータベースＤＢによりデータ記録装置が構成される。
データベースＤＢは記憶媒体としてハードディスクを使用したもので、データ記憶領域と、管理情報記憶領域とを備えている。データ記憶領域は、図３に示すように記憶領域ＥA ，ＥB ，ＥC に分割されている。記憶領域ＥA は、監視カメラＣＭ１〜ＣＭｒにより撮像された比較的新しい監視データをフルレートで記憶するために用いられる。記憶領域ＥB は、上記記憶領域ＥA に記憶された監視データの中で古くなった監視データをフルレートの１／２で記憶するために用いられる。記憶領域ＥC は、上記記憶領域ＥB に記憶された画像データの中でさらに古くなった画像データをフルレートの１／４で記憶するために用いられる。

管理情報記憶領域には記憶領域管理テーブルが記憶されている。記憶領域管理テーブルは、上記各記憶領域ＥA ，ＥB ，ＥC に対応して設けられ、それぞれ当該記憶領域ＥA ，ＥB ，ＥC に記憶された監視データの管理情報を記憶する。管理情報には、監視データ名（データ識別番号）、当該監視データを構成する複数のフレームの番号、各フレームの先頭記憶アドレス、各フレームのデータ長、及び記録時刻が含まれる。図５にその一例を示す。

一方、監視サーバ装置ＳＶは次のように構成される。図２はこの監視サーバ装置ＳＶの構成を示すブロック図である。監視サーバ装置ＳＶは中央処理ユニット（ＣＰＵ；Central Processing Unit）１１を備え、このＣＰＵ１１にはバス１２を介して、プログラムメモリ１３と、画像エンコーダ１４と、画像デコーダ１５がそれぞれ接続される。さらにＣＰＵ１１には、インタフェース群として、データベースインタフェース（データベースＩ／Ｆ）１６と、ネットワークインタフェース（ネットワークＩ／Ｆ）１７と、入出力インタフェース（入出力Ｉ／Ｆ）１８と、シリアル通信インタフェース（シリアル通信Ｉ／Ｆ）１９がそれぞれ接続されている。

データベースＩ／Ｆ１６は、ＣＰＵ１１の制御の下、データベースＤＢに対する監視データ及び管理情報の書き込み及び読み出しを行う。ネットワークＩ／Ｆ１７は通信ネットワークＮＷに接続され、ＣＰＵ１１の制御の下、監視カメラＣＭ１〜ＣＭｒとの間で遠隔制御信号及び監視データの送受信を行う。また、固定端末ＰＣ１〜ＰＣｋ及び移動通信端末ＭＳ１〜ＭＳｊとの間で監視データ及びその閲覧要求の送受信を行う。なお、以下では監視データが画像データである場合について説明するが、監視データは画像データ画像データに加え音声データを含む場合もある。

入出力Ｉ／Ｆ１８には入力部２０及び表示部２１が接続される。入力部２０は例えばキーボード及びマウスからなり、監視制御のための制御コマンド等を入力するために使用される。表示部２１は例えば液晶表示器からなり、入出力Ｉ／Ｆ１８から出力される監視映像等の表示データを表示する。また入出力Ｉ／Ｆ１８には各種コネクタも設けられ、これらのコネクタにはセンサ等が接続される。シリアル通信Ｉ／Ｆ１９は、外部のシリアル機器との間でデータのシリアル通信を行うために使用される。

画像エンコーダ１４及び画像デコーダ１５は、例えばＤＳＰ（Digital Signal Processor）により構成される。画像エンコーダ１４は、上記ネットワークＩ／Ｆ１７により受信された画像データを圧縮符号化する。画像デコーダ１５は、データベースＤＢから読み出された符号化画像データを伸長復号して元の画像データを再生する。

プログラムメモリ１３には、この発明に係わる制御プログラムとして、データ記憶制御プログラム１３１と、アドレス管理プログラム１３２と、データ再生制御プログラム１３３が格納されている。
データ記憶制御プログラム１３１は、上記データベースＤＢの記憶領域ＥA ，ＥB ，ＥC に対する画像データの記憶制御を行うもので、受信された画像データを先ず記憶領域ＥA にフルレート、例えば毎秒３０フレーム（３０fps）で記憶させる。次に、上記記憶領域ＥA に空き領域がなくなった場合に、当該記憶領域ＥA に記憶されたフレーム画像データを記録時刻が古い順にフルレートの１／２、例えば１５fps に間引くようにし、間引きの対象とならない画像フレームを記憶領域ＥB に移動記憶させる。さらに上記記憶領域ＥB にも空き領域がなくなった場合には、当該記憶領域ＥB に記憶された画像データを最古のフレームから順にフルレートの１／４、例えば７．５fps に間引くようにし、間引きの対象とならない画像フレームを記憶領域ＥC に移動記憶させる。

アドレス管理プログラム１３２は、上記データ記憶制御プログラム１３１により上記記憶領域ＥA に対し新たな画像データが記憶されるごとに、当該画像データの管理情報を生成して記憶領域管理テーブルに記憶させる。また、画像データが記憶領域ＥA から記憶領域ＥB へ、また記憶領域ＥB から記憶領域ＥC へそれぞれ移動記憶されるごとに、当該画像データの管理情報を書き換える。

データ再生制御プログラム１３３は、閲覧用の固定端末ＰＣ１〜ＰＣｋ又は移動通信端末ＭＳ１〜ＭＳｊから画像データの閲覧要求が送られた場合に、上記記憶領域管理テーブルに記憶された管理情報をもとに該当する画像データを上記記憶領域ＥA ，ＥB ，ＥC から選択的に読み出す。そして、この読み出された画像データを、そのフレームレート等を挿入したヘッダ情報と共にネットワークＩ／Ｆ１７から要求元の端末に向け送信する。なお、端末がフレームレートに応じた画像再生機能を備えていない場合には、上記読み出された画像データに対して間引き処理前の画像を再生するための速度変換処理やフレーム補間処理を行い、この再生処理後の画像データを端末へ送信するようにしてもよい。

次に、以上のように構成されたデータ記録装置による画像データの記録動作を説明する。図６はその制御手順と制御内容を示すフローチャートである。
監視サーバ装置ＳＶのＣＰＵ１１は、監視カメラＣＭ１〜ＣＭｒから１フレームの画像データが送られるごとに、当該画像データをステップ６ａによりネットワークＩ／Ｆ１７から取り込む。画像データを取り込むとＣＰＵ１１は、先ずこの画像データを画像エンコーダ１４で圧縮符号化する。なお、上記監視カメラＣＭ１〜ＣＭｒから画像データと共に音声データが送られた場合には、この音声データを図示しない音声エンコーダにより圧縮符号化する。

次にＣＰＵ１１は、ステップ６ｂにおいてデータベースＤＢのデータ記憶領域ＥA の空き容量を判定する。この判定の結果、上記圧縮符号化された画像データを記憶するために必要な空き容量が上記記憶領域ＥA に存在することが確認されると、ステップ６ｎに移行してここで上記記憶領域ＥA 内の空き領域に上記圧縮符号化された画像データを記憶させる。そして、この記憶処理の終了後に、ステップ６ｏにおいて上記新たな記憶された画像データの管理情報を生成し、この生成された管理情報を上記記憶領域ＥA に対応する記憶領域管理テーブルに追加記憶する。

例えば、記憶領域ＥA が全て空きの状態で１フレームの画像データｆａ１が受信された場合には、この受信された１フレームの画像データｆａ１を圧縮符号化した後図４に示すように記憶領域ＥA に記憶する。そして、その管理情報を図５に示すように記憶領域管理テーブルに記憶する。以後同様に、上記フレーム画像データｆａ１に続いてフレーム画像データｆａ２，ｆａ３，…が受信された場合にも、これらのフレーム画像データｆａ２，ｆａ３，…を圧縮符号化した後図４に示すように記憶領域ＥA に順次記憶する。そして、その管理情報を図５に示すように記憶領域管理テーブルにそれぞれ記憶する。

一方、上記圧縮符号化された１フレームの画像データを記憶するための空き容量が上記記憶領域ＥA に存在しなかったとする。この場合ＣＰＵ１１はステップ６ｃに移行し、記憶領域管理テーブルの管理情報をもとに、記憶領域ＥA に記憶されたフレーム画像データの中から記録時刻が最も古い画像データを選択する。そして、この選択された最古のフレーム画像データを、当該データが保存対象であるか否かを確認したのち記憶領域ＥB へ移動させるための処理を実行する。

すなわち、先ずステップ６ｄにおいて、上記最古のフレーム画像データが保存対象となっているか否かを判定する。保存対象か否かは、フレーム画像データを記憶領域ＥA から記憶領域ＥB へ移動させる際のフレームの間引き率により決まる。例えば、間引き率が１／２であれば保存対象のフレームは１フレームおきに設定される。

上記ステップ６ｄにおいて保存対象フレームと判定されると、ＣＰＵ１１は続いてステップ６ｅにより記憶領域ＥB に上記保存対象のフレーム画像データを記憶するために必要な空き容量が存在するか否かを判定する。この判定の結果、空き容量が存在することが確認されると、ＣＰＵ１１はステップ６ｍに移行して、上記保存対象のフレーム画像データを上記記憶領域ＥA から記憶領域ＥB の空き領域に移動させる。そして、ステップ６ｎにおいて、上記移動により実質的に空きとなった記憶領域ＥA の領域に、上記圧縮符号化された１フレームの画像データを記憶させる。これに対し、保存対象でないフレームについては記憶領域ＥB へ移動させない。そして上記ステップ６ｎに移行し、ここで記憶領域ＥA の上記保存対象でないフレーム画像データが記憶されていた領域に、上記圧縮符号化された１フレームの画像データを上書き保存させる。

例えば、いま図４に示すようにフレーム画像データｆａ１，ｆａ２，ｆａ３，ｆａ４，…の順に記録時刻が古く、かつ間引き率が１／２であれば、上記各フレーム画像データｆａ１，ｆａ２，ｆａ３，ｆａ４，…のうちの奇数フレームの画像データｆａ１，ｆａ３，ｆａ５，…を保存対象のフレーム画像データとして古い順に選択して記憶領域ＥB に移動させる。これに対し偶数フレームの画像データｆａ２，ｆａ４，ｆａ６，…は保存対象のフレーム画像データではないので移動させない。そして、上記奇数フレームの画像データｆａ１，ｆａ３，ｆａ５，…が移動した後の領域と、上記保存対象ではない偶数フレームの画像データｆａ２，ｆａ４，ｆａ６，…が記憶されている領域に、新たに受信された各フレーム画像データｆｉ１，ｆｉ２，ｆｉ３，…を順次上書き保存する。
そして、上記上書き保存の終了後に、ステップ６ｏにおいて記憶領域管理テーブルの該当するフレーム画像データの管理情報を書き換える。

以後同様に、記憶領域ＥB に空き容量が存在する限り、上記記憶領域ＥA に記憶されたフレーム画像データのうち保存対象フレームの画像データが記録時刻の古い順に記憶領域ＥB の空き領域に移動される。そして、この移動された保存対象フレームの移動前の記憶領域と、保存対象でないフレームの記憶領域に、新たに受信されたフレーム画像データが順次上書き保存される。

一方、上記ステップ６ｅにおいて、記憶領域ＥB に空き容量が存在しないと判定されたとする。この場合ＣＰＵ１１はステップ６ｆに移行し、ここで記憶領域ＥB に記憶された各フレーム画像データを記録時刻が古い順に選択して、当該フレーム画像データが保存対象であるか否かを確認したのち記憶領域ＥC へ移動させるための処理を実行する。

すなわちＣＰＵ１１は、先ずステップ６ｇにおいて、上記記憶領域ＥB において最古のフレーム画像データを選択し、このフレーム画像データが保存対象となっているか否かを判定する。なお、この場合も保存対象であるか否かは、フレーム画像データを記憶領域ＥB から記憶領域ＥC へ移動させる際のフレームの間引き率により決まる。例えば、間引き率が１／２であれば保存対象のフレームは１フレームおきに設定される。

上記ステップ６ｇにおいて保存対象フレームと判定されると、ＣＰＵ１１はステップ６ｈにより記憶領域ＥC に上記保存対象のフレーム画像データを移動させるために必要な空き容量が存在するか否かを判定する。この判定の結果、空き容量が存在することが確認されると、ＣＰＵ１１はステップ６ｋに移行して、上記保存対象のフレーム画像データを上記記憶領域ＥB から記憶領域ＥC の空き領域に移動させる。そして、この移動処理後にステップ６ｍに移行し、ここで上記移動処理により実質的に空きとなった記憶領域ＥB の領域に上記記憶領域ＥA に記憶されていた保存対象のフレーム画像データを移動させる。そして、ステップ６ｎにより上記記憶領域ＥB へのデータ移動により実質的に空きとなった記憶領域ＥA に、新たに受信されたフレーム画像データを記憶させる。そして最後に、ステップ６ｏにより記憶領域管理テーブルの該当するフレーム画像データの管理情報を書き換える。

これに対し、上記記憶領域ＥB の保存対象でないフレームの画像データについては記憶領域ＥC へ移動させない。そして、ステップ６ｍに移行し、ここで上記移動させなかった非保存対象のフレーム画像データの記憶領域に上記記憶領域ＥA に記憶されていた保存対象の奇数フレームの画像データを上書き記憶させる。そして、この上書き記憶の終了後に、ステップ６ｏにより記憶領域管理テーブルの該当する画像データの管理情報を書き換える。

例えば、いま図４に示すように記憶領域ＥB においてフレーム画像データｆｋ１，ｆｋ３，ｆｋ５，…の順に記録時刻が古く、かつ間引き率が１／２であれば、上記各フレーム画像データｆｋ１，ｆｋ３，ｆｋ５，…のうちの奇数番目のフレーム画像データｆｋ１，ｆｋ５，ｆｋ９，…を保存対象のフレーム画像データとして古い順に選択して記憶領域ＥC に移動させる。これに対し偶数番目のフレーム画像データｆｋ３，ｆｋ７，…は保存対象のフレーム画像データではないので移動させない。そして、上記奇数番目のフレーム画像データｆｋ１，ｆｋ５，ｆｋ９，…が移動した後の領域と、上記保存対象ではない偶数番目のフレーム画像データｆｋ３，ｆｋ７，…が記憶されている領域に、上記記憶領域ＥA に記憶されていた保存対象の奇数フレームの画像データｆａ１，ｆａ３，ｆａ５，…を移動させる。そしてこの奇数フレームの画像データｆａ１，ｆａ３，ｆａ５，…が移動した後の領域と、保存対象ではない偶数フレームの画像データｆａ２，ｆａ４，ｆａ６，…が記憶されている領域に、新たに受信されたフレーム画像データｆｉ１，ｆｉ２，…を順次上書き保存する。
また、上記上書き保存の終了後に、ステップ６ｏにおいて記憶領域管理テーブルの該当するフレーム画像データの管理情報を書き換える。

以後同様に、記憶領域ＥC に空き容量が存在する限り、上記記憶領域ＥB に記憶された保存対象フレームが記録時刻の古い順に記憶領域ＥC の空き領域に移される。そして、上記記憶領域ＥB における、上記移動により実質的に空きとなった領域と、非保存対象のフレームが記憶されていた領域に、上記記憶領域ＥA に記憶されていた保存対象のフレーム画像データが古い順に移される。さらに、記憶領域ＥA における、上記移動により実質的に空きとなった領域と、保存対象ではないフレーム画像データが記憶されていた領域に、新たに受信されたフレーム画像データが順次上書き記憶される。

なお、上記ステップ６ｈにおいて、記憶領域ＥC に空き容量が存在しないと判定されたとする。この場合ＣＰＵ１１はステップ６ｉに移行し、ここで記憶領域ＥC に記憶されたフレーム画像データを記録時刻の古い順に選択する。そして、この選択されたフレーム画像データが記憶されていた記憶領域ＥC の領域に、記憶領域ＥB の保存対象のフレーム画像データを移動させる（ステップ６ｋ）。そして、ステップ６ｍにより記憶領域ＥA における保存対象のフレーム画像データを記憶領域ＥB に移動させ、この移動により実質的に空きとなった記憶領域ＥA の最後に新たに受信されたフレーム画像データを記憶させる。

例えば、図４に示す例では記憶領域ＥC に記憶されているフレーム画像データｆｓ１，ｆｓ５，ｆｓ９，…を記録時刻の古い順に選択し、この選択されたフレーム画像データが記憶されていた領域に、記憶領域ＥB の保存対象のフレーム画像データｆｋ１，ｆｋ５，ｆｋ９，…を記録時刻の古い順に移動させる。そして、上記記憶領域ＥB の移動後の領域に記憶領域ＥA における保存対象フレームｆａ１，ｆａ３，ｆａ５，…を記録時刻の古い順に移動させ、さらに上記記憶領域ＥA の移動後の領域に、新たに受信されたフレーム画像データｆｉ１，ｆｉ２，…を順次上書き保存する。

一方、以上のようにデータベースＤＢの各データ記憶領域ＥA ，ＥB ，ＥC に記憶された画像データは、次のように再生される。
すなわち、閲覧用の固定端末ＰＣ１〜ＰＣｋ及び移動通信端末ＭＳ１〜ＭＳｊから画像データの閲覧要求が到来すると、監視サーバ装置ＳＶのＣＰＵ１１は受信された閲覧要求から閲覧者が指定した再生開始時刻を抽出する。そして、この抽出された再生開始時刻をもとに記憶領域管理テーブルから該当する時刻に記録された画像データの管理情報を読み出し、この読み出された管理情報に含まれる記憶アドレスをもとに記憶領域ＥA ，ＥB ，ＥC を選択的にアクセスして、該当するフレーム画像データを読み出す。

次に、上記読み出されたフレーム画像データを、当該フレーム画像データのフレームレート等の管理情報を含むヘッダと共にネットワークＩ／Ｆ１７から閲覧要求元の端末に向け送信する。以後同様に、記録時刻順にフレーム画像データを記憶領域ＥA ，ＥB ，ＥC から読み出し、この読み出されたフレーム画像データをその管理情報を含むヘッダと共に閲覧要求元の端末へ送信する。なお、この画像データの送信動作は端末から閲覧終了要求が到来した時点で終了する。

以上述べたように第１の実施形態では、データ記憶領域を物理的に異なる３個の記憶領域ＥA ，ＥB ，ＥC に分割し、受信されたフレーム画像データを先ずフルレートで上記記憶領域ＥA に記憶する。そして、記憶領域ＥA に空きがなくなった場合には、当該記憶領域ＥA に記憶されたフレーム画像データを記録時刻が古い順に間引き率１／２で間引いて保存対象のフレーム画像データを記憶領域ＥB に移動させ、このデータ移動により記憶領域ＥA に生成された空き領域に、新たに受信されたフレーム画像データをフルレートで上書き保存するようにしている。また、記憶領域ＥB ，ＥC にも空き領域がなくなった場合には、上記記憶領域ＥA の場合と同様にそれぞれ記憶されたフレーム画像データを記録時刻の古い順に間引き率１／２で間引いて保存対象のフレーム画像データを順次移動させ、この移動により空きとなった領域に記憶領域ＥB ，ＥA の保存対象フレームを順次移動させるようにしている。

したがって、受信直後の比較的新しい画像データについては高品質を維持して記憶され、かつ古くなるにつれ品質が下げられて記憶が継続されることになる。このため、全ての画像データを高品質の状態で記憶し続ける場合に比べて長期間の保存が可能となり、一方全ての画像データを当初から品質を落とした状態で記憶する場合に比べて高品質の画像データに基づく処理が可能となる。例えば、監視システムにおいては、管理者や閲覧者が記録直後の比較的新しい画像データを用いて監視エリアの状況を詳細に確認することができる。一方、過去に遡って画像データを検証する必要が生じた場合には、長期保存された古い画像データの中から所望の画像データを読み出して検証を行うことができる。

（第２の実施形態）
上記第１の実施形態では、データ記憶領域を物理的に異なる３個の記憶領域ＥA ，ＥB ，ＥC に分割し、上位側の記憶領域に空きが足りなくなるごとに、記憶データをフレーム単位で間引き処理しつつ順次下位側の記憶領域へ物理的に移動させるようにした。

これに対し、この発明の第２の実施形態は、データベースにデータ記憶領域と記憶管理テーブルとを設け、受信されたフレーム画像データを上記データ記憶領域に順次記憶する。そして、データ記憶領域に空きが足りなくなった場合に、記憶されているフレーム画像データを物理的に移動させずに、上記フレーム画像データに対して間引き処理を行い、この間引き処理により生成された空き領域に新たに受信されたフレーム画像データを記憶するようにしたものである。

図７乃至図１１は、この発明の第２の実施形態を説明するための図である。なお、監視サーバ装置ＳＶの構成については、その制御手順と内容を除いて前記図２と同一なので説明は省略する。
データベースＤＢには、データ記憶領域と記憶管理テーブルとが設けられている。データ記憶領域には、受信されたフレーム画像データが固定的に記憶される。図７はその一例を示すもので、アドレス“００００”〜“ＦＦＦＦ”で表されるデータ記憶領域にフレーム画像データｆａ１，ｆａ２，…，ｆａｎ，…が順に記憶された状態を示している。

一方、記憶管理テーブルには、上記データ記憶領域に記憶された各フレーム画像データの管理情報が記憶される。管理情報は、フレーム画像データのフレーム番号と、先頭記憶アドレスと、末尾記憶アドレスと、データ長と、記録時刻と、レート変更の有無と、フレームレート（fps）とから構成される。図８にその一例を示す。

監視サーバ装置ＳＶのプログラムメモリ１３には、前記第１の実施形態と同様、データ記憶制御プログラムと、アドレス管理プログラムと、データ再生制御プログラムが格納されている。
データ記憶制御プログラムは、上記データベースＤＢのデータ記憶領域に対する画像データの記憶制御を行うもので、データ記憶領域に空き領域が存在するときには、受信されたフレーム画像データをデータ記憶領域に順次記憶する。一方、データ記憶領域に空き領域がなくなった場合には、間引き処理により生成された空き領域に、新たに受信されたフレーム画像データを書き込む。

アドレス管理プログラムは、データ記憶領域に新たにフレーム画像データが記憶されるごとに、当該記憶されたフレーム画像データに関する管理情報及びアドレス情報を生成して、記憶管理テーブルに追加記憶する。またデータ記憶領域に空き領域がなくなった場合には、記憶管理テーブルに記憶された管理情報をもとに、上記データ記憶領域に記憶された複数のフレーム画像データを記録時刻が古い順に選択する。そして、上記選択されたフレーム画像データが保存対象フレームであるか否かを判定し、保存対象でないフレーム画像データの記憶アドレスは空き領域として、新たに受信されたフレーム画像データを書き込み、保存対象でないフレーム画像データの管理情報を、新たに書き込まれるフレーム画像データの管理情報に書き換える。一方保存対象のフレーム画像データについては、記憶領域の物理的な移動は行わず、管理情報のフレームレートをフルレートの１／２に変更すると共に、レート変更の有無の項目を「無」から「有」に変更する。

データ再生制御プログラムは、閲覧用の固定端末ＰＣ１〜ＰＣｋ又は移動通信端末ＭＳ１〜ＭＳｊ端末から画像データの閲覧要求が送られた場合に、当該閲覧要求に含まれる再生開始時刻に従い、該当する記録時刻のフレーム画像データから順に読み出す。そして、この読み出されたフレーム画像データをそのフレームレート等を含むヘッダと共に、ネットワークＩ／Ｆ１７から閲覧要求元の端末に向け送信する。

次に、以上のように構成された装置におけるデータ記録動作を説明する。図９はその制御手順と制御内容を示すフローチャートである。
監視サーバ装置ＳＶのＣＰＵ１１は、監視カメラＣＭ１〜ＣＭｒからフレーム画像データが送られるごとに、当該フレーム画像データをステップ１０ａによりネットワークＩ／Ｆ１７から取り込む。フレーム画像データを取り込むとＣＰＵ１１は、先ずこの取り込んだフレーム画像データを画像エンコーダ１４で圧縮符号化する。なお、フレーム画像データに音声データが付属している場合には、この音声データについても図示しない音声エンコーダにより圧縮符号化する。

次にＣＰＵ１１は、ステップ１０ｂにおいて、データベースＤＢのデータ記憶領域に論理的に設定された２つの仮想領域ＶA ，ＶB のうち、仮想領域ＶA の空き容量を判定する。なお、仮想領域ＶA ，ＶB とは、データ記憶領域における空き容量の管理のために画像データのフレームレートに応じて予め設定された領域であり、仮想領域ＶA はフルレートのフレーム画像データが記憶される領域、仮想領域ＶB は間引き処理によりレートが下げられたフレーム画像データを記憶する領域と定義される。

図１０は、上記仮想領域ＶA ，ＶB に記憶された全データ量を計算する処理内容を示すフローチャートである。仮想領域ＶA の空き容量を判定する場合、ＣＰＵ１１は先ずステップ１１ｂにより記憶データ管理テーブル（図８）の「フレームレート」の項目を参照し、フレーム画像データの各々についてそのフレームレートがフルレート（３０fps ）であるか否かをステップ１１ｃで判定する。この判定の結果フルレートであれば、ステップ１１ｄにより当該フルレートのデータのデータ量を順次累積加算する。そして、記憶管理テーブルで管理されている全てのフレーム画像データについて上記処理が終わったことをステップ１１ａで確認すると、ＣＰＵ１１は仮想領域ＶA における全記憶データ量の計算処理を終了する。

次にＣＰＵ１１は、上記仮想領域ＶA における全記憶データ量の計算結果に基づいて、ステップ１０ｃにより仮想領域ＶA に空き領域があるか否かを判定する。この判定の結果、上記圧縮符号化されたフレーム画像データを記憶するために必要な空き容量が上記仮想領域ＶA に存在することを確認すると、ステップ１０ｋに移行してここで上記仮想領域ＶA 内の空き領域に上記圧縮符号化されたフレーム画像データを記憶させる。そして、この記憶処理の終了後に、ステップ１０ｌにおいて上記新たに記憶されたフレーム画像データの管理情報を生成し、この生成された管理情報を記憶管理テーブル（図８）に追加記憶する。上記管理情報には、先に述べたようにフレーム番号、先頭記憶アドレス及び末尾記憶アドレス、データ長、記録時刻、レート変更の有無、及びフレームレート（fps）が含まれる。

一方、上記圧縮符号化されたフレーム画像データを記憶するための空き容量が上記仮想領域ＶA に存在しなかったとする。この場合ＣＰＵ１１はステップ１０ｄに移行し、記憶管理テーブルの管理情報をもとに、仮想領域ＶA に記憶されたフレーム画像データの中から記録時刻が最も古いフレーム画像データを選択する。そして、この選択された最古のフレーム画像データについて当該データが保存対象フレームであるか否かを判定し、空き領域としての認知処理またはフレームレートの変更処理を実行する。

すなわち、先ずステップ１０ｅにおいて、上記最古のフレーム画像データが保存対象フレームであるか否かを判定する。保存対象フレームであるか否かは、予め設定されたフレーム間引き率により決まる。例えば、間引き率が１／２であれば保存対象のフレームは１フレームおきに設定される。上記ステップ１０ｅにおいて上記最古のフレーム画像データが保存対象フレームでないと判定されると、ＣＰＵ１１はステップ１０ｋに移行して当該最古のフレーム画像データが記憶されていた領域に新たに取得されたフレーム画像データを記憶する。そして、ステップ１０ｌにおいて、上記新たに記憶されたフレーム画像データの管理情報を記憶管理テーブルに記憶する。

これに対し上記ステップ１０ｅにおいて上記最古のフレーム画像データが保存対象フレームであると判定されると、ＣＰＵ１１はステップ１０ｆに移行してここで当該保存対象フレームの管理情報を更新する。例えば、いまフレーム画像データｆａ１が最古のフレーム画像データとして選択され、かつ当該データが保存対象フレームであれば、図８に示すように当該フレーム画像データに対応する管理情報のフレームレートが「１５」に更新され、かつレート変更の有無が「無」から「有」に更新される。

続いてＣＰＵ１１は、ステップ１０ｇにおいて、今度は仮想領域ＶB の全記憶データ量の計算処理を行う。この計算処理も、先に述べた仮想領域ＶA に対する計算処理と同じく図１０に示した手順により行われる。そうして仮想領域ＶB の全記憶データ量の計算結果が得られると、ＣＰＵ１１はこの計算結果をもとに仮想領域ＶB に取得データを記憶するために必要な空き容量が存在するか否かをステップ１０ｈにより判定する。この判定の結果、空き容量が存在することが確認されると、ＣＰＵ１１はステップ１０ｊに移行してここで上記仮想領域ＶB 内の空き領域に上記取得データを記憶させる。そして、この記憶処理の終了後に、ステップ１０ｌにおいて上記新たな記憶されたフレーム画像データの管理情報を生成し、この生成された管理情報を記憶管理テーブルに追加記憶する。

一方、上記ステップ１０ｈにおいて、仮想領域ＶB に空き容量が存在しないと判定されたとする。この場合ＣＰＵ１１はステップ１０ｉに移行し、ここで仮想領域ＶB に記憶されたフレーム画像データの中から記録時刻が最も古いフレーム画像データを選択する。そして、ステップ１０ｊに移行して、上記選択されたフレーム画像データの記憶領域に取得データを記憶し、この取得データの記憶終了後にステップ１０ｌにて管理情報を更新する。
以後同様に、フレーム画像データが受信されるごとに上記処理が繰り返し実行される。

以上述べたように第２の実施形態では、データ記憶領域に空きがなくなった場合に、記憶管理テーブル上において、空き領域としての認知処理またはフレームレートの変更処理を行うことによりフレーム画像データを間接的に間引き処理し、この間引き処理により実質的に空きとなった領域に新たな画像データをフレーム単位で記憶するようにしている。
したがって、管理情報の変更により間引き処理を含む画像データの延長保存処理を行えるようになり、これによりデータ記憶領域における画像データの物理的な移動処理が不要になって、その分処理手順を削減して処理の簡単化及び高速化を図ることができる。

（その他の実施形態）
前記各実施形態では、画像符号化方式としてＪＰＥＧ（Joint Photographic Experts Group）方式を採用した場合を例にとって説明した。しかし、それに限らずＭＰＥＧ（Motion Picture Experts Group）方式を採用した場合にもこの発明は適用可能である。
ＭＰＥＧ方式により符号化された画像データは、Ｉフレーム（ＭＰＥＧ１／２ではＩピクチャ、ＭＰＥＧ４ではＩ−ＶＯＰと呼称される）と、これに続く複数のＰフレーム（ＭＰＥＧ１／２ではＰピクチャ、ＭＰＥＧ４ではＰ−ＶＯＰと呼称される）とから構成される。したがって、このような符号化データを前記各実施形態と同様に単純にフレーム単位で間引き処理しようとすると、Ｉフレームが削除されてデータが再生できなくなるおそれがある。

そこで、ＭＰＥＧ方式を採用している場合の間引き方式としては、
（１）Ｉフレームを残してＰフレームを後ろから選択的に削除する方式（削除する１または複数のＰフレームは間引かずに連続的に選択する）。
（２）目的フレームの位置でＩフレームを作成し、その前後のＰフレームを削除する方式。
のいずれかを採用する。

図１１は上記（２）の間引き方式を説明するための図である。同図において、Ｉ1 フレームとＩ2 フレームとの間のＰ1nフレームを目的フレーム位置とした場合、先ずＩ1 フレームに対しＰ11フレームからＰ1nフレームを順に反映させてＰ1nフレームの位置におけるＩ1.5フレームを作成する。そして、この作成されたＩ1.5フレームを上記Ｐ1nフレームに置き換え、しかるのち上記Ｉ1 フレームとＩ2 フレームとの間にあるＰ11フレーム〜Ｐ1mフレームを削除する。このようにすれば、Ｉフレームを損なうことなく、間引き処理後のデータから間引き処理前のデータを復号再生することが可能となる。

また前記第１及び第２の実施形態では、データ記憶領域に画像データをフルレートで記憶し、その後データ記憶領域に空き領域がなくなった場合に、上記画像データに対し間引き処理を行って情報量を減らしたのち記憶を継続させるようにした。しかし、この発明はそれに限るもものではない。例えば、記憶容量の等しい複数の記憶領域を用意する。そして、受信された画像データを記憶する際に、当該画像データをもとにフレームレートの異なる複数の画像データを生成し、この生成された複数のデータをそれぞれ上記記憶領域に並行して記憶する。例えば、受信された１個の画像データに対し、フルレートのデータと、１／２／レートのデータと、１／４レートのデータを生成し、これら３種類のデータをそれぞれ記憶容量の等しい第１、第２及び第３の記憶領域に記憶する。

このように構成すると、第１の記憶領域には保存期間は短いが比較的新しい画像データが高品質の状態で記憶され、一方第３の記憶領域には品質は低下するが古い画像データを長期間にわたり保存することが可能となる。また第２の記憶領域には、中程度の品質の画像データを必要十分な期間にわたり記憶することができる。しかも、このような構成を採用すると、記憶後において画像データの物理的な移動やアドレスの変更処理が不要となり、これにより画像データの記憶管理制御をさらに簡単化することができる。また、画像データを再生する際に記憶領域を選択することで、希望するレートの画像データを選択的に再生することができる。

さらに、前記各実施形態では、全てのフレームの情報サイズを同一サイズと仮定するか、或いはデータ記憶領域に１フレームの最大情報サイズに相当する複数のフレーム記憶エリアを固定的に設定し、これらのフレーム記憶エリアに、新たに入力された画像データのフレームの記憶や保存対象フレームの移動を行う場合について説明した。しかし、画像符号化方式によっては各フレームの情報サイズが常に一定になるとは限らない。この場合、新たに入力された画像データのフレームや保存対象フレームを、上記サイズが固定されたフレーム記憶エリアに記憶または移動しようとすると、余剰領域が発生したり反対に記憶領域が不足する場合がある。

そこで、先ず余剰領域が発生した場合には、非監視時間帯を利用して、或いは画像データの記憶処理動作と並行して、データ記憶領域に対するデフラグメンテーション処理を実行するとよい。一方記憶領域が１個のフレーム記憶エリアでは不足する場合には、新たに入力された画像データのフレームや保存対象フレームを、複数のフレーム記憶エリアに跨って記憶するように制御する。そして、この複数のフレーム記憶エリアへの記憶の結果余剰記憶領域が発生した場合には、上記したようにデフラグメンテーション処理を実行する。以上のようにすれば、フレームの情報サイズが可変長の場合においても、確実でかつ効率的なメモリ領域管理が可能となる。

さらに、前記実施形態では間引き処理後の画像データを再生する際に、各フレームの再生タイミングをその記録時刻をもとに間引き処理前の画像データの速度に対応するように調整するようにしたが、再生タイミングを調整せずにあえてそのまま再生するようにしてもよい。このようにすると、古いデータについては自動的に早送り再生されることになり、この結果過去の古いデータの再閲覧を短時間に行うことが可能となる。

さらに、記憶された画像データを再生する際には、その管理情報をもとに記録時刻は勿論のこと、レート変更の有無やフレームレートを表すキャラクタデータを画像データに重畳するか、または画像データとは別の表示エリアを設けてこのエリアに表示するようにしてもよい。また、フレームレートについては、キャラクタデータを用いる代わりに、画像データの背景色または表示枠の色を異ならせることで表示するようにしてもよい。

さらに、データ記憶領域に記憶されている複数の画像データをサムネール形式に編集して一覧表示することもでき、その際フレームレートの違いを上記キャラクタデータまたは色を異ならせることにより表示するようにしてもよい。このようにすると、記憶されている複数の画像データをサムネール形式で一覧表示する際に、各画像データのフレームレートを一目で確認することが可能となる。

前記第１の実施形態では、データ記憶領域に３個の記憶領域ＥA ，ＥB ，ＥC を設け、古い画像データから順に記憶領域ＥA から記憶領域ＥB へ、さらに記憶領域ＥB から記憶領域ＥC へと、間引きしながら記憶場所を移動させる場合を例にとって説明した。しかしこれに限るものではなく、記憶領域を２個にしてもよく、また４個以上にしてもよい。また、上記複数の記憶領域は同一記憶装置上または同一記憶媒体上に設ける以外に、例えば異なるサーバや端末の記憶装置に分散して設けてもよく、さらには異なる複数の記憶媒体に分散して設けてもよい。同様に、前記第２の実施形態においては２個の仮記憶領域ＶA ，ＶB を定義した場合を例にとって説明したが、仮記憶領域は３個以上設定してもよい。

さらに前記各実施形態では、監視システムにおいて監視カメラにより得られる画像データを監視サーバ装置のデータベースに記憶する構成例を示したが、他の構成例として例えばディジタルカメラまたはビデオカメラにより得られる画像データ（静止画及び動画を含む）をディジタルカメラ内の記憶部に記憶するような構成においても、この発明を適用することが可能である。

また、記憶領域間で画像データの記憶場所を移動させる際の間引き率は１／２に限らず１／３以上でもよく、さらに受信される画像データの数に応じて適応的に可変するようにしてもよい。さらに、画像データの情報品質を低下させる手法としては、フレーム単位の間引き処理以外に画素単位での間引き処理を用いてもよい。

さらに前記各実施形態では、奇数番目のフレームを保存対象フレームとし、偶数番目のフレームを間引き対象フレームとした。しかし、監視システムにおいては、例えば異常が検出されたフレームとその前後の所定数のフレームを保存対象フレームとし、その他の各フレームの中で間欠的に間引き処理を行うようにするとよい。このようにすると、異常が検出されたフレームを確実に保存することが可能となる。

さらに前記第１の実施形態では、各記憶領域ＥA ，ＥB ，ＥC の中で記録時刻が最も古いフレームから順に選択して間引き処理を行ったのち下層の記憶領域へ移動させるようにしたが、必ずしも記録時刻が最も古いフレームから選択する必要はなく、また記録時刻に関係なくランダムに選択するようにしてもよい。これは、前記第２の実施形態についても同様である。

さらに前記実施形態では、監視システムにおいて監視カメラにより得られる画像データを記録する場合を例にとって説明したが、画像データに限らず測定データや資料データ、各種計算データ等を記録する場合にも、この発明は適用可能である。
その他、データ記録装置の構成、データ記憶制御、アドレス管理制御及びデータ再生制御の手順と内容、データの種類などについても、この発明の要旨を逸脱しない範囲で種々変形して実施できる。

要するにこの発明は、上記各実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記各実施形態に開示されている複数の構成要素の適宜な組み合せにより種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態に亘る構成要素を適宜組み合せてもよい。

この発明に係わる監視システムの第１の実施形態を示す概略構成図。 図１に示す監視システムにおいて監視データ記録装置の構成を示すブロック図。 図２に示す監視データ記録装置に設けられるデータベースの監視データ記憶領域の構成を示す図。 図３に示した監視データ記憶領域に対するデータの記憶制御動作を説明するための図。 図２に示す監視データ記録装置に設けられる記憶領域管理テーブルの構成を示す図。 図２に示す監視データ記録装置によるデータ記憶制御の手順と内容を示すフローチャート。 この発明の第２の実施形態に係わる監視データ記録装置に設けられるデータ記憶領域の構成を示す図。 この発明の第２の実施形態に係わる監視データ記録装置に設けられる記憶管理テーブルに記憶される管理情報の一例を示す図。 この発明の第２の実施形態に係わる監視データ記録装置によるデータ記憶制御の手順と内容を示すフローチャート。 図９に示したフローチャートにおける記憶データ量の計算手順とその内容を示すフローチャート。 この発明の他の実施形態に係わる監視データ記録装置におけるフレーム間引き方式を説明するための図。

符号の説明

ＣＭ１〜ＣＭｒ…監視カメラ、ＳＶ…監視サーバ装置、ＤＢ…データベース、ＰＣ１〜ＰＣｋ…固定端末、ＭＳ１〜ＭＳｊ…移動通信端末、ＮＷ…通信ネットワーク、１１…ＣＰＵ、１２…バス、１３…プログラムメモリ、１３１…データ記憶制御プログラム、１３２…データ記憶管理プログラム、１３３…データ再生制御プログラム、１４…画像エンコーダ、１５…画像デコーダ、１６…データベースインタフェース、１７…ネットワークインタフェース、１８…入出力インタフェース、１９…シリアル通信インタフェース、２０…入力部、２１…表示部。

Claims (2)

1. 時系列で入力された、フレームの種類としてＩフレームとＰフレームとを有するように符号化された映像のデータを、記憶容量が定められた第１及び第２の仮想記憶領域を有する記憶媒体に順次記憶するデータ記憶装置において、
   前記記憶媒体に記憶されたフレームの各々に対し、フレーム番号と、記憶アドレスと、データ長と、記録時刻と、フレームレートとを対応付ける管理情報をテーブルに記憶する手段と、
   前記入力されたフレームデータを、第１フレームレートで前記記憶媒体の空き領域に順次記憶する第１の手段と、
   前記第１フレームレートで記憶されたフレームデータの全記憶データ量を計算し、前記第１の仮想記憶領域の容量内で前記入力されたフレームデータを記憶するための空き領域があるか否かを判定する第２の手段と、
   前記第１の仮想記憶領域に空き領域がないと判定されたときに、前記第１フレームレートで記憶された最古のフレームデータが前記第１フレームレートより低レートに設定された第２フレームレートによる保存対象であれば、前記テーブルに記憶されている当該最古のフレームデータに対応する管理情報のフレームレートを前記第２フレームレートに変更し、保存対象でなければ当該最古のフレームデータが記憶されていた領域に前記入力されたフレームデータを記憶する第３の手段と、
   前記第１フレームレートから前記第２フレームレートへの変更があったときに、前記第２の仮想記憶領域の全記憶データ量を計算し、前記第２の仮想記憶領域の容量内で前記入力されたフレームデータを記憶するための空き領域があれば当該空き領域に前記入力されたフレームデータを記憶し、当該空き領域がなければ前記第２フレームレートで記憶された最古のフレームデータが記憶されていた領域に前記入力されたフレームデータを記憶させる第４の手段と
   を具備することを特徴とするデータ記録装置。
2. 前記第３の手段は、第２フレームレートにおける保存対象と判断された当該最古のフレームデータがＰフレームである場合に、当該最古のフレームデータの位置でＩフレームを作成することを特徴とする請求項１記載のデータ記録装置。

Images