JP4350638B2 - 映像記録装置 - Google Patents

Description

この発明は、映像蓄積配信システムに適用される映像記録装置に関しており、特に、連続する映像データを間欠的に蓄積して長時間記録を行い、端末からの要求によって蓄積している映像ストリームを端末に配信する映像記録装置に関するものである。

従来、監視等の用途で使用される映像蓄積配信システムにおいては、ＭＰＥＧ−２等で圧縮された映像ストリーム（以下、間欠記録されたストリームと区別するために連続映像ストリームと称する）を長時間記録するために、入力された連続映像ストリームを時間間隔で間引いて、例えばフレーム内符号化ピクチャ（以下、Ｉピクチャ）のみを蓄積し、端末からの映像の要求に応じて蓄積された映像を再送信するのが一般的であった。

しかしながらこの方法では、連続映像ストリームからＩピクチャのみを抽出するので、本来のＭＰＥＧ−２の構造から逸脱した映像ストリームになる場合がある。そのためＩピクチャのみから構成される間欠記録ストリームの再生を可能にするために、再生側のデコーダに何らかの仕組みを用意しなければならないという問題があった。また、Ｉピクチャのみを間欠的に配信することから、例えば多重装置や分離装置のバッファがアンダーフローを発生する問題を有していた。

また特に監視用途等では、侵入検知等のイベント発生した場合には、イベント発生前の一定期間の入力映像の重要性が高まるため、この期間では通常の連続記録を行う方が望ましい。これについては、イベントの重要性により、Ｉピクチャのみ記録する間欠記録モードから、全ピクチャを記録する連続記録モードまで４段階の記録モードを切り替えることで、イベント発生後の重要な映像を連続記録する映像記録方法及び装置が提供されている（例えば、特許文献１参照）。しかしながら、この映像記録方法及び装置では、イベントが発生した後の連続映像は記録できるが、従来と同様に、イベント発生前の重要な映像は間欠記録分しか得られないという問題があった。

更に、ディスク型記録媒体を２つの領域に分け、１つの領域では長時間記録のため間欠記録を行い、もう１つの比較的小容量の領域ではエンドレスで連続記録を行うディスク型記録媒体の記録装置が提供されている（例えば、特許文献２参照）。イベント発生時に連続記録領域を参照することにより、イベント発生前の連続映像を参照できるようにしている。しかし、この記録装置では２つの領域を管理する必要があるため、イベント発生前後で連続して映像を参照できないという問題を有していた。

特開２０００−１６５８１５号公報 特開２０００−３３３１１４号公報

従来の映像記録装置は、以上のように構成されていたので、記録した間欠記録ストリームを配信する際に、Ｉピクチャをそのまま出力しているため、ＭＰＥＧ−２から逸脱した映像ストリームとなり、復号装置によっては正しく再生できないという課題があった。また監視時等での侵入イベント発生時に、発生前の連続映像が取得できないという課題があった。

この発明は上記のような課題を解消するためになされたもので、間欠記録された映像信号ストリームをネットワーク伝送して端末で復号する際に、一般的な復号装置を利用でき、またイベント発生前の連続映像を確実に記録できる映像記録装置を提供することを目的とする。

この発明に係る映像記録装置は、外部からのイベント信号を受信するイベント受信部と、連続映像ストリームからフレーム内符号化ピクチャ及び符号化パラメータを抽出して間欠記録ストリームを生成するフレーム抽出部と、通常時に間欠記録ストリームを選択し、イベント受信部がイベント信号を受信した場合に連続映像ストリームを選択する蓄積制御部と、イベント受信部がイベント信号を受信した場合に連続映像ストリームを選択し、その他の場合に間欠記録ストリームを選択する蓄積制御部と、蓄積制御部で選択されたストリームを蓄積する第一の蓄積部と、連続映像ストリームを記録する第二の蓄積部と、イベント受信部がイベント信号を受信した場合に第二の蓄積部から第一の蓄積部へ連続映像ストリームを転送する転送部とを備えている。

この発明によれば、通常時は間欠記録により蓄積領域を有効に使用する一方、イベント信号受信前の連続映像ストリームとイベント信号受信後の連続映像ストリームを同一の蓄積領域に記録することで、イベント信号受信前後で途切れることなく、信頼性の高い連続映像ストリームを再生できるという効果が得られる。また、イベント信号受信前後の連続映像ストリームと、更にその前後の間欠記録ストリームとを一連の映像ストリームとして再生できるため、前後関係の把握をし易い明確な映像ストリームが得られるという効果がある。

実施の形態１．
以下、この発明の実施の形態１について説明する。図１は、実施の形態１に係る映像記録装置を用いた映像蓄積配信システムを示す構成図である。図１では、入力される映像から一定時間間隔でピクチャを間引いて記録する間欠記録を行うことで、蓄積部に対して長時間の映像を記録することができる。本実施の形態で使用する映像ストリームは、ＩＳＯ／ＩＥＣ１３８１８−１、いわゆるＭＰＥＧ−２のプログラムストリームで記録されているものとする。

図１の映像蓄積配信システムは、受信映像ストリームを記録及び配信するサーバ１と、ネットワーク２と、端末３、１９、２０を備えている。端末の数は特に限定されない。サーバ１が実質的に本発明の映像記録装置に該当する。サーバ１は、内部に複数の間欠記録ストリームを保存するための蓄積部４を有する。先ず、サーバ１に間欠記録ストリームを保存する場合について説明する。Ｉピクチャ抽出部６は、ネットワーク受信部５を介して受信した連続映像ストリームからＩピクチャデータのみ抽出すると共に、符号化パラメータを読み取る。書き込み部７は、Ｉピクチャデータと符号化パラメータを蓄積部４に書き込む。また、Ｉピクチャ抽出部６は、蓄積部４に書き込まれたＩピクチャデータのアドレス情報と再生タイムスタンプをアドレスマップ８に記録する。

続いて、間欠記録ストリームを再生する場合について説明する。再生処理した間欠記録ストリームを以下、間欠再生ストリームと称する。端末３から再生要求コマンドがネットワーク２を通じてサーバ１の再生制御部９に入力されると、再生制御部９は読み出し部１０に読み出し指示を出す。読み出し部１０はアドレスマップ８に記録されているアドレス情報と再生タイムスタンプをもとに、蓄積部４から該当アドレスに記録された間欠記録ストリームのＩピクチャデータを読み出す。再生制御部９は読み出されたＩピクチャデータを間欠再生処理部１１へ入力する。

間欠再生処理部１１は、Ｉピクチャデータをもとに間欠再生ストリームの生成を行う。間欠再生処理部１１は、入力されたＩピクチャの解析を行う解析部１２、生成する間欠再生ストリームのデコーダバッファの計算を行うデコーダバッファ計算部１３、入力されたＩピクチャの符号化パラメータを変更するＩピクチャデータ変換処理部１４、Ｉピクチャと同じ映像表示を行うリピートピクチャを生成して付加するリピートピクチャ付加部１５、生成する間欠再生ストリームの発生符号量を制御する符号量制御部１６、記録前の映像ストリームと同じ形式のプログラムストリームに多重化を行うＰＳ化部１７を備える。

解析部１２は、入力されたＩピクチャのＶＢＶ Ｄｅｌａｙ、Ｔｅｍｐｏｒａｌ Ｒｅｆｅｒｅｎｃｅ、Ｐｉｃｔｕｒｅ Ｃｏｄｉｎｇ Ｔｙｐｅ、符号量等の解析を行い、間欠再生処理部１１内で必要な符号化パラメータを取得する。デコーダバッファ計算部１３は、前記解析部１２から取得した符号化パラメータをもとに、生成する間欠再生ストリームのＶＢＶ Ｄｅｌａｙの計算を行う。Ｉピクチャデータ変換処理部１４は、入力したＩピクチャが生成する間欠再生ストリームに適するように、例えばＴｅｍｐｏｒａｌ ＲｅｆｅｒｅｎｃｅやＶＢＶ Ｄｅｌａｙ及びシーケンスヘッダ以降のＩピクチャまでのＢｉｔ Ｒａｔｅ ＶａｌｕｅやＶＢＶ Ｂｕｆｆｅｒ Ｓｉｚｅ Ｖａｌｕｅを変更する。リピートピクチャ付加部１５は、先行するＩピクチャと表示内容が同じになるように、動きベクトルを０かつ予測誤差を０に符号化し、かつスキップドマクロブロックを使用することによって符号量を大幅に削減したデータを生成する。

符号量制御部１６は、生成する間欠再生ストリームの目標転送レートに対して、発生する符号量を予測し、予測符号量が目標転送レートに比べて小さいならスタッフィングによって目標転送レートに近づけ、予測符号量が目標転送レートを上回りそうであれば一時的に目標符号量を上げると共に関連する例えばＢｉｔ Ｒａｔｅ ＶａｌｕｅやＳＣＲの再調整を行う。このように、ＭＰＥＧの規格に対して矛盾が生じない処理を行うことによって、発生符号量を制御する。ＰＳ化部１７は、ビデオエレメンタリーストリームの形式で生成された間欠再生ストリームをパック単位に分割し、プログラムストリームの形式に変換する。

配信部１８は、このように生成された間欠再生ストリームを、例えば映像をストリーミング再生するための伝送プロトコルであるＲＴＰ（Ｒｅａｌ Ｔｉｍｅ Ｔｒａｎｓｐｏｒｔ Ｐｒｏｔｏｃｏｌ）に従って、ネットワーク２を介して配信要求を発行した端末３に対して配信する。

次に、端末の構成について説明する。端末３、１９、２０は全て同じ構成をとるため、ここでは端末３についてのみ説明を行う。端末３は、蓄積入力部２１、蓄積指示部２２、再生入力部２３、再生指示部２４、受信部２５、デコーダ部２６、表示部２７を備えている。蓄積指示部２２と再生指示部２４は、ネットワーク２を介してサーバ１に論理的に接続されている。端末３は、ネットワーク２を介して接続されたサーバ１に対して、映像ストリームの蓄積または配信を要求し、蓄積の際には希望する映像ストリームのネットワークアドレス、記録種別、蓄積時刻等を指定する。

蓄積入力部２１は、ユーザが蓄積を希望する間欠記録ストリームの種類の受け付けを行なう。蓄積指示部２２は、蓄積入力部２１で受け付けたユーザ要求をサーバ１の制御コマンドに変換してサーバ１に送信する。再生入力部２３は、ユーザが再生を希望する間欠再生ストリームの種類の受け付けを行う。再生指示部２４は、再生入力部２３で受け付けたユーザ要求をサーバ１の制御コマンドに変換してサーバ１に送信する。受信部２５は、ネットワーク２を介してストリームの受信を行い、受信したＲＴＰパケットから必要な映像ストリームを抜き出す。デコーダ部２６は、ＭＰＥＧ−２圧縮された間欠再生ストリームをデコードして表示部２７で表示を行う。

生成する間欠再生ストリームは、通常の連続映像ストリームから抽出したＩピクチャに符号量の少ないリピートピクチャを付加することで、端末３で通常の速度で再生することによって、あたかも間欠再生されたかのような映像を呈するように作成されている。従って、端末３で間欠再生ストリームを再生するにあたり特別な仕組みを設ける必要がない。更に、連続映像ストリームから抽出したＩピクチャの符号化パラメータの値を、間欠再生ストリーム及びＭＰＥＧ−２ストリームの規約に従うように再設定するので、符号化パラメータが不正な値をとることによる再生映像の乱れや多重装置における多重化の失敗がなくなる。また、デコーダバッファを制御するＶＢＶ Ｄｅｌａｙについても値を設定し直すので、デコーダバッファの破綻を防ぐことができる。

以上のように、この実施の形態１によれば、蓄積したＩピクチャからＭＰＥＧ−２ストリームの規約に従って再構築した間欠再生ストリームを配信できるので、再生側では特別な機能を有すること無く、従来の連続映像用のデコーダをそのまま使用することができるという効果がある。

実施の形態２．
以下、この発明の実施の形態２について説明する。図２は、実施の形態２に係る映像記録装置を用いた映像監視システムを示す構成図である。実施の形態２では、長時間記録のために通常は間欠記録を行っているが、部外者侵入等のアラームにより連続記録に切り替えて映像蓄積を行うことができる。図２の映像記録システムは図１の構成に加えて、サーバ１の外部にカメラ２９と侵入センサ３０を備える一方、サーバ１内部には、イベント受信部３１、蓄積制御部３２、書き込み部３５、第２の蓄積部２８、転送部３４、スイッチ３３、３６、３７を備えている。なお、ストリーム受信部５ａ、第１の蓄積部４ａはそれぞれ図１の受信部５、蓄積部４に相当する。その他の構成については実施の形態１と同様であるので、説明を省略する。

第二の蓄積部２８は、比較的低容量なリングバッファで構成され、カメラ２９から入力される連続映像ストリームを、書き込み部３５によって常時記録している。イベント受信部３１は、カメラ２９が監視している領域に設置された侵入センサ３０から供給されるイベント信号を受信する。蓄積制御部３２は、イベント受信部３１がイベント信号を受信すると、スイッチ３３によって、第一の蓄積部４ａへの間欠記録と第２の蓄積部２８への連続記録の切り換えを実行する。転送部３４は、第二の蓄積部に記録された連続映像ストリームの一部または全部を第一の蓄積部４ａへ転送する。

次に、蓄積動作について説明する。システム起動時からサーバ１は接続されたカメラ２９の映像をストリーム受信部５ａから受信し始める。初期状態ではスイッチ３３はａの側に設定されており、ストリーム受信部５ａで受信した連続映像ストリームはＩピクチャ抽出部６でＩピクチャが抽出され、書き込み部７によって第一の蓄積部４ａに間欠記録として蓄積される。この時に、書き込み部７によって、記録種別情報（間欠記録）が間欠記録ストリームと同時に第一の蓄積部４ａに記録される。またストリーム受信部５ａに入力された連続映像ストリームはスイッチ３３の状態にかかわらず、常時、書き込み部３５によって第二の蓄積部２８に蓄積されている。第二の蓄積部２８は、第一の蓄積部４ａと比べて小容量ではあるが、リングバッファで構成されている。書き込み部３５は、例えば、５分間の映像を記録し続けるように第二の蓄積部を制御する。

侵入センサ３０が、部外者の侵入を検知してアラームを発報した場合について説明する。発報されたイベント信号はイベント受信部３１に入力され、蓄積制御部３２に伝達される。蓄積制御部３２は、直ちに転送部３４を用いて、第二の蓄積部２８に記録されたアラーム発報前５分間の連続映像ストリームを、第一の蓄積部４ａへ通常の映像記録速度よりも高速に転送する。この時に、連続記録であることを示す記録種別情報（連続記録）が連続映像ストリームと同時に第一の蓄積部４ａに記録される。それと同時に、蓄積制御部３２はスイッチ３３をｂへ切り替え、ストリーム受信部５ａで受信した連続映像ストリームが、書き込み部７が第一の蓄積部４ａへ直接書き込まれるように設定する。蓄積制御部３２は、イベント受信部３１で受信していたイベント信号がなくなってから一定時間後に、スイッチ３３をａへ切り替えて間欠記録モードに復帰する。以降は、記録種別情報（間欠記録）が第一の蓄積部４ａに記録される。

次に、再生動作について説明する。まず端末３の再生入力部２３において任意の映像を選択すると、再生指示部２４でサーバ１の制御用コマンドに変換され、ネットワーク２を経由してサーバ１の再生制御部９へ送信される。再生制御部９は読み出し部１０に読み出し開始指示を発行し、読み出し部１０は第一の蓄積部４ａから該当の映像ストリームを読み出し始める。同時に読み出し部１０は記録種別情報を読み出し、読み出した映像ストリームが間欠記録か連続記録かを判定する。

読み出し部１０が判定を行った結果、記録種別情報が間欠記録だった場合は、再生制御部９はスイッチ３６及び３７をａ側に設定し、間欠再生処理部１１を使って間欠再生ストリームを生成し、配信部１８によってネットワーク２を介して端末３の受信部２５へ送信する。これは実施の形態１と同様である。また、記録種別情報が連続記録だった場合は、再生制御部９はスイッチ３６及び３７をｂ側に設定する。この場合は間欠再生処理部１１は使われず、読み出した連続映像ストリームは配信部１８によって受信部２５へ送信される。なお、その他の動作については実施の形態１と同様であるので説明を省略する。

以上のように、この実施の形態２によれば、通常時は間欠記録により蓄積領域を有効に使用する一方、アラーム発報前の連続映像ストリームとアラーム発報後の連続映像ストリームを同一の蓄積領域に記録することで、アラーム発報前後で途切れることなく、信頼性の高い連続映像ストリームを再生できるという効果が得られる。また、アラーム発報前後の連続映像ストリームと、更にその前後の間欠記録ストリームとを一連の映像ストリームとして再生できるため、前後関係の把握をし易い明確な映像ストリームが得られるという効果がある。

実施の形態１、２ではＩピクチャ抽出部６でＩピクチャの抽出のみ行なっているが、Ｉピクチャ抽出部をフレーム抽出部として、一定の時間間隔でフレームを抽出する形式としてもよい。

この発明の実施の形態１に係る映像記録装置を用いた映像蓄積配信システムを示す構成図である。 この発明の実施の形態２に係る映像記録装置を用いた映像監視システムを示す構成図である。

符号の説明

１ サーバ、２ ネットワーク、３ 端末、４ 蓄積部、４ａ 第１の蓄積部、５ ネットワーク受信部、５ａ ストリーム受信部、６ Ｉピクチャ抽出部、７ 書き込み部、８ アドレスマップ、９ 再生制御部、１０ 読み出し部、１１ 間欠再生処理部、１２ 解析部、１３ デコーダバッファ計算部、１４ Ｉピクチャデータ変換処理部、１５ リピートピクチャ付加部、１６ 符号量制御部、１７ ＰＳ化部、１８ 配信部、１９ 端末、２０ 端末、２１ 蓄積入力部、２２ 蓄積指示部、２３ 再生入力部、２４ 再生指示部、２５ 受信部、２６ デコーダ、２７ 表示部、２８ 第二の蓄積部、２９ カメラ、３０ 侵入センサ、３１ イベント受信部、３２ 蓄積制御部、３３ スイッチ、３４ 転送部、３５ 書き込み部、３６ スイッチ、３７ スイッチ。

Claims (2)

1. 外部からのイベント信号を受信するイベント受信部と、
   連続映像ストリームからフレームを抽出して間欠記録ストリームを生成するフレーム抽出部と、
   通常時に前記間欠記録ストリームを選択し、前記イベント受信部が前記イベント信号を受信した場合に前記連続映像ストリームを選択する蓄積制御部と、
   前記蓄積制御部で選択されたストリームを蓄積する第一の蓄積部と、
   前記連続映像ストリームを記録する第二の蓄積部と、
   前記イベント受信部が前記イベント信号を受信した場合に前記第二の蓄積部から第一の蓄積部へ前記連続映像ストリームを転送する転送部とを備えた映像記録装置。
2. 外部からのイベント信号を受信するイベント受信部と、
   連続映像ストリームからフレーム内符号化ピクチャ及び符号化パラメータを抽出して間欠記録ストリームを生成するフレーム抽出部と、
   通常時に前記間欠記録ストリームを選択し、前記イベント受信部が前記イベント信号を受信した場合に前記連続映像ストリームを選択する蓄積制御部と、
   前記蓄積制御部で選択されたストリームを蓄積する第一の蓄積部と、
   前記連続映像ストリームを記録する第二の蓄積部と、
   前記イベント受信部が前記イベント信号を受信した場合に前記第二の蓄積部から第一の蓄積部へ前記連続映像ストリームを転送する転送部と、
   前記第一の蓄積部から前記フレーム内符号化ピクチャを読み出す読み出し部と、
   前記読み出し部で読み出したフレーム内符号化ピクチャの符号化パラメータを変更するＩピクチャデータ変換処理部と、
   前記読み出したフレーム内符号化ピクチャにリピートピクチャを生成して付加するリピートピクチャ付加部とを備えた映像記録装置。

Images