JP4522835B2 - 画像伝送装置及び画像監視システム - Google Patents

Description

この発明は、ネットワークを介して画像データを伝送する画像伝送装置と、画像データを受信し記録する画像記録装置と、画像伝送装置および画像記録装置を用いた画像監視システムに関するものである。

ネットワークを介して監視映像を伝送、記録するシステムとしては、ネットワークを挟んで画像データを受信する側で、通常はフレーム間引きを行うことで記録容量を削減し、異常発生を通知する信号を入力した時はフルレートで記録することで長時間録画と異常発生時の情報量優先録画を両立するディジタル監視カメラシステムが提供されている（例えば、特許文献１参照）。

また、ネットワークを挟んだ監視地点側に画像記録装置を備え、異常発生を通知する信号の入力時に監視地点側が回線を接続し、監視地点側で記録した画像データを監視室側にネットワークを介して伝送する時に、監視地点側で記録された異常発生時刻前後のデータを伝送することで、監視室側で異常発生時前後の画像を再現でき、監視の信頼性を高める遠隔監視システムが提供されている（例えば、特許文献２参照）。

特開２００２−２６２２７２号公報 特開２０００−３１６１４６号公報

従来の画像伝送装置及び画像記録装置は、以上のように構成されていたので、ネットワークを挟んで監視拠点側（人がモニタなどで監視する場所）に画像記録装置を設置する場合と、監視地点側（実際に監視カメラが設置されている場所）に画像記録装置を設置する場合のいずれにおいても、伝送する画像データがネットワークに与える負荷に関して何ら考慮がされていない。その結果、通常時、或いは異常発生時の画像伝送において、不必要なトラフィックを発生させて、ネットワークの回線容量を圧迫してしまうという課題があった。

例えば、特許文献１のディジタル監視カメラシステムでは、常にフルレートで監視カメラからの監視映像がネットワーク上に流されるため、監視カメラがネットワークに多数接続されると定常的にトラフィックが増大し、ネットワークを使用している他の機器の通信に影響を及ぼすという課題があった。

また、特許文献２の遠隔監視システムでは、異常発生時に初めて回線を接続して監視地点側で記録した監視映像の伝送を開始するため、監視室で監視映像を実際に目にするまでの遅延時間が大きいという課題があった。加えて監視映像の記録装置が監視地点側にあるため、監視室側から監視映像を再生するには常にネットワークを介してデータを伝送する必要があり、監視地点側の記録装置を制御するための制御データがネットワークに流れ、監視映像再生時にはネットワークの負荷が増大するという課題があった。

この発明は上記のような課題を解消するためになされたもので、通常時あるいは異常発生時の画像伝送において、トラフィックの発生を必要最小限に抑えてネットワークに対する負荷を低減すると共に、異常発生時前後の重要なポイントに関しては、情報量の多い画像データを記録した信頼性の高い監視映像を得ることを可能とする、画像伝送装置及び画像監視システムを提供することを目的とする。

この発明に係る画像伝送装置は、監視カメラ等からの監視映像を入力して画像データを出力する画像入力部と、画像データを圧縮符号化する画像符号化部と、圧縮符号化した画像データを高フレームレートで一定時間分記憶するバッファと、アラーム信号を受信して信号を送信するアラーム受信部と、バッファから画像データを読み出してアラーム受信部からの信号に応じて任意のフレームレートに画像を間引いた画像データを出力するフレーム間引き処理部と、フレーム間引き処理部からの出力画像データをネットワークを介して伝送するネットワーク処理部とを備えた画像伝送装置において、画像切替部は、前記バッファからの信号に応じて前記バッファからの読み出し速度を設定する読み出し制御部を備えている。

この発明によれば、通常時は画像データのフレームを間引いてネットワークに出力し、ネットワークのトラフィックを軽減するので、同一ネットワークに多数の監視カメラを接続しても輻輳を防止できるという効果がある。また、異常発生時には、バッファに蓄積した異常発生時刻以前の高フレームレート画像を送信するため、異常発生前後の重要な画像データをコマ落ちすることなく画像記録装置で記録可能で、信頼性の高い監視映像が得られる効果がある。

実施の形態１．
図１はこの発明に係る画像伝送装置及び画像記録装置を用いた画像監視システムの構成図である。図１の画像監視システムは、画像伝送装置１とネットワーク２、画像記録装置３を備えている。画像伝送装置１は、監視カメラ等の監視映像を入力してネットワーク２に画像データを伝送する。画像記録装置３は、ネットワーク２から前記画像データを受信して記録する。

図２はこの発明の実施の形態１に係る画像伝送装置を示す構成図である。図２において、画像伝送装置１は、画像入力部４、画像符号化部５、バッファ６、アラーム受信部７、フレーム間引き処理部８、ネットワーク処理部９を備えている。画像入力部４は監視カメラ等外部からの監視映像を入力して画像データを出力する。画像符号化部５は、画像入力部４からの画像データを圧縮符号化する。バッファ６は、圧縮符号化された画像データを複数フレーム、一定時間分蓄積する。アラーム受信部７は、センサ等外部からの異常発生を知らせるアラーム信号を受信してフレーム間引き処理部８へ信号を送信する。フレーム間引き処理部８は、アラーム受信部７からの信号に応じてバッファ６から入力された画像データを一定の間隔で間引く。ネットワーク処理部９はフレーム間引き処理部８の出力をネットワーク２に送信する。

次に、動作について説明する。まず外部から、監視カメラ等の監視映像が画像入力部４に入力される。画像入力部４は監視映像を一定の時間間隔、例えば１秒間に３０フレームでデジタルデータ（以下、画像データ）に変換し、画像符号化部５に出力する。画像符号化部５は入力した画像データをフレーム毎に圧縮符号化する。そして、圧縮符号化された画像データを、ＦＩＦＯ（Ｆｉｒｓｔ Ｉｎ Ｆｉｒｓｔ Ｏｕｔ）構造を有するバッファ６に一定時間分蓄積する。例えば、１秒間に３０フレームの画像データを１分間蓄積する場合、バッファ６は３０フレーム×６０秒＝１８００フレームの画像データを蓄積する容量を備える必要がある。

アラーム受信部７へアラーム信号が入力されない場合（以下、通常時）には、フレーム間引き処理部８はバッファ６から画像データを読み出し、予め任意に設定したフレームレートに従って、フレームを間引いてネットワーク処理部９に出力する。例えば、バッファ６に蓄積された画像データが３０フレーム／秒とする。ここで、フレーム間引き処理部８の出力を１フレーム／秒と設定すれば、フレーム間引き処理部８はバッファ６から読み出した画像データを３０フレームに１フレームの間隔でネットワーク処理部９に出力する。残りのデータは読み出したまま何もせずに廃棄する。このように、通常時にフレームレートを落として出力する画像データを以下、低フレームレート画像と呼ぶ。

アラーム受信部７がセンサ等外部からの異常発生を通知するアラーム信号を受信した場合（以下、異常発生時）には、前述のように３０フレームに１フレームの間隔でネットワーク処理部９に画像データを出力してたフレーム間引き処理部８は、間引き処理を中断してバッファ６から読み出した画像データを全てネットワーク処理部９に出力する。このように、異常発生時にフレームレートを落とさずに出力する画像データを以下、高フレームレート画像と呼ぶ。

図３は図１の画像伝送装置内部のバッファの動作を示す図である。仮にバッファ６が１分間の画像データを蓄積する容量があるとすると、バッファ６がＦＩＦＯ構造であるので、フレーム間引き処理部８が読み出す画像データは１分前のものである。従って、異常発生によりフレーム間引き処理部８が出力を開始する高フレームレート画像は、異常発生時刻より１分前のものから出力される。

以上のように、この実施の形態１によれば、通常時は画像データのフレームを間引いてネットワーク２に出力し、ネットワーク２のトラフィックを軽減するので、同一ネットワーク２に多数の監視カメラを接続しても輻輳を防止できるという効果がある。また、異常発生時には、バッファ６に蓄積した異常発生時刻以前の高フレームレート画像を送信するため、アラーム受信前後の重要な場面をコマ落ちすることなく画像記録装置３で記録可能で、信頼性の高い監視映像が得られる効果がある。

実施の形態２．
以下、この発明の実施の形態２について説明する。図４は、実施の形態２に係る画像伝送装置の部分構成図である。実施の形態１では間引き処理部８をバッファメモリ６の後段に配置したが、実施の形態２では間引き処理部８をバッファメモリ６と並列に配置している。それ以外の構成については実施の形態１（図２）と同様であるので説明を省略する。図４において、画像切替部１０は、アラーム受信部７からの信号に応じて、バッファ６とフレーム間引き処理部８からの出力を切り替えてネットワーク処理部９に出力する。

次に、動作について説明する。画像符号化部５で画像データを圧縮符号化するまでは実施の形態１と同様であるので説明を省略する。実施の形態１ではバッファ６の後段でフレーム間引き処理を行っていたため、画像データの送信については、常にバッファ６に画像データが蓄積されるのに要する時間分だけ送信遅延が発生する。実施の形態２では、画像データをバッファ６とフレーム間引き処理部８へ並列に入力することで送信遅延の発生を防止する。

通常時には、画像切替部１０は、フレーム間引き処理部８で間引きされた画像データを選択してネットワーク処理部９に出力する。通常時の低フレームレート画像は、バッファ６を介さずにネットワーク２に伝送されるため、バッファ６による送信遅延は発生しない。この時に、バッファ６に蓄積された画像データはバッファあふれを防ぐために入力と同じ速度で読み出されるが、何も処理せずそのまま読み捨てられる。
一方で、異常発生時には、画像切替部１０は画像入力先を切り替え、バッファ６の高フレームレート画像をネットワーク処理部９に出力する。

以上のように、この実施の形態２によれば、画像データをフレーム間引き処理部８とバッファ６へ並列に入力する構成にしたもので、通常時における画像送信においてはバッファ６による送信遅延が発生しないという効果がある。

実施の形態３．
以下、この発明の実施の形態３について説明する。図５は、実施の形態３に係る画像伝送装置内部のバッファと読み出し制御部の構成図である。読み出し制御部１１は実施の形態２における画像切替部１０に含まれるものとする。それ以外の構成については実施の形態２（図４）と同様であるので説明を省略する。バッファ６は内部容量が空（Ｅｍｐｔｙ）になったことを示す信号Ｓ１と、満杯（Ｆｕｌｌ）になったことを示す信号Ｓ３を出力する。読み出し制御部１１はＥｍｐｔｙ信号Ｓ１あるいはＦｕｌｌ信号Ｓ３を受信して、バッファ６へ制御信号Ｓ２を送信して、読み出し速度を制御する。

次に、動作について図４、５を用いて説明する。実施の形態２では通常時の送信遅延はなくなるが、異常発生時にはバッファ蓄積時間分の送信遅延が生じる。そこで実施の形態３では、異常発生時の送信遅延を直ちに解消する構造を備える。異常発生時に画像切替部１０がバッファ６からの高フレームレート画像読み出しに切り替わった時、読み出し制御部１１は制御信号Ｓ２をバッファ６へ送信し、バッファ６への画像データの入力速度より高速に読み出しを行う。例えば、バッファ６への画像入力速度が３０フレーム／秒ならば、読み出し制御部１１はその倍の６０フレーム／秒の読み出し速度で読み出しを行う。

読み出し制御部１１はバッファ６への入力より高速に画像データを読み出すため、バッファ６に蓄積した画像データはいずれ空になる。バッファ６内部に画像データが無くなった時、バッファ６はＥｍｐｔｙ信号Ｓ１を読み出し制御部１１に送信する。読み出し制御部１１は、Ｅｍｐｔｙ信号Ｓ１を受信すると、バッファ６へ制御信号Ｓ２を送信してバッファ６からの読み出し速度を画像データの入力速度に等しく設定する。前述の例であれば、６０フレーム／秒から３０フレーム／秒に設定する。

この状態ではバッファ６にデータが残っておらず、かつ入力されたデータがすぐに読み出されるため、バッファ６への画像データ蓄積による送信遅延は発生しない。即ち、バッファ６に蓄積された画像データをバッファ６への入力速度より高速で送信することによって、バッファ６への画像データの蓄積により生じる送信遅延を短時間で解消する。

一方で、異常発生時から通常時に戻った場合には、読み出し制御部１１はバッファ６からの読み出しを一旦停止する。その後、バッファ６には再び高フレームレート画像が蓄積され、満杯になった時点でＦｕｌｌ信号Ｓ３を出力する。読み出し制御部１１は、Ｆｕｌｌ信号Ｓ３を受信すると、制御信号Ｓ２を送信してバッファ６からの高速読み出しを再開する。

以上のように、この実施の形態３によれば、異常発生時またはバッファ６が満杯時に、バッファ６からの読み出し速度を高速に切り替えることで、バッファ６による送信遅延を短時間で解消する効果がある。

実施の形態４．
以下、この発明の実施の形態４について説明する。図６は実施の形態４に係る画像伝送装置内部のネットワーク処理部とその周辺の構成図である。ネットワーク処理部９は、その内部に輻輳チェック部１２を備えている。それ以外の構成については実施の形態１（図２）と同様であるので説明を省略する。なお、この構成は実施の形態２（図４）に対しても適用することができる。

次に、動作について説明する。アラーム信号の無い通常時と、異常発生時にフレーム間引き処理部８が間引き処理を中断してバッファ６から項フレームレート画像を読み出し、ネットワーク処理部９に出力するまでの動作は実施の形態１と同様である。実施の形態１では、異常発生時にフレーム間引き処理部８が間引き処理を中断して、高フレームレート画像を送信すると、送信データ量が増加する。その結果、送信データ量がネットワーク２の回線容量を超え、輻輳が発生してしまう恐れがある。

実施の形態４では、輻輳チェック部１２が定期的にネットワーク２の輻輳の有無をチェックし、輻輳が発生した場合にはフレーム間引き処理部８に信号を送信する。信号を受信したフレーム間引き処理部８は、少しずつ間引きフレームの割合を高くしてフレームレートを落としていく。その間も、フレーム間引き処理部８は、定期的に輻輳チェック部１２からの信号をポーリングし、応答がなくなった時点でフレームレートを固定する。その後、再び輻輳が発生して輻輳チェック部１２からの信号を受信したら、信号が無くなるまでフレームレートを落としていく。

以上のように、この実施の形態４によれば、輻輳チェック部１２で定期的にネットワーク２の輻輳をチェックし、その状態に応じてフレームの間引き率を変えてフレームレートを微調整することで、異常発生時の高フレームレート画像送信時にも輻輳の発生を抑え、かつネットワーク２の容量を超えない範囲の最大フレームレートで画像データを送信できるという効果がある。

実施の形態５．
以下、この発明の実施の形態５について説明する。図７は、実施の形態５に係る画像伝送装置の構成図である。実施の形態５は実施の形態２（図４）において、バッファ６と画像切替部１０の間にインデックス処理部１３を配置した構成である。それ以外の構成については実施の形態２と同様であるので説明を省略する。インデックス処理部１３は、高フレームレート画像であることを示すインデックスを同画像データに付加する。

図８は、実施の形態５に係る画像記録装置の構成図である。画像記録装置３は、ネットワーク処理部１４、インデックス検出部１５、記録媒体制御部１６、記録媒体１７を備えている。ネットワーク処理部１４はネットワーク２を介して伝送されてきた画像データを受信する。インデックス検出部１５はインデックス処理部１３で付加されたインデックスを検出する。記録媒体制御部１６は記録媒体１７の読み書きを制御する。

次に、動作について説明する。フレーム間引き処理部８までの処理は実施の形態２と同様であるため説明を省略する。インデックス処理部１３は、異常発生時にアラーム受信部７からの信号を受信すると、バッファ６から読み出した画像データに、高フレームレート画像であることを示すインデックスを付加する。インデックスを付加する方法は、画像データの特定フィールドのビットを立てる方法や、インデックスデータを画像データに追加する方法等、複数の方法が考えられるが、通常時に送信する低フレームレート画像と区別できればその方法は問わない。

一方、画像記録装置３は、入力した画像データが通常時の低フレームレート画像か、異常発生時の高フレームレート画像かを、インデックス検出部１５で識別する。インデックス検出部１５が高フレームレート画像に付加されたインデックスを検出した場合、インデックス検出部１５から記録媒体制御部１６に信号が送信される。信号を受信した記録媒体制御部１６は、記録媒体１７に記録済みの異常発生時以前の低フレームレート画像を、高フレームレート画像の同時刻部分で上書きする。

図９は実施の形態５における画像記録装置の画像データの上書き動作を示した図である。実施の形態２では、通常時はリアルタイムで低フレームレート画像が送信されてくるが、異常発生時にはバッファ６の容量分だけ遅延して高フレームレート画像が送信されてくる。

例えば、画像伝送装置１のバッファ６の蓄積容量を時間にして５分間分とする。アラームの発生時刻が午前２：００の場合、画像伝送装置１のバッファ５には午前１：５５からの高フレームレート画像が蓄積されている。画像伝送装置はアラーム信号を受信した午前２：００からバッファ６に蓄積した高フレームレート画像の送信を開始する。

一方画像記録装置３は、異常が発生する午前２：００まではリアルタイムで低フレームレートの画像データが記録している。続いて、異常が発生した午前２：００以降に、バッファ６から遅れて送信されてくる午前１：５５からの高フレームレート画像を受信した場合、画像記録装置３は既に記録してある午前１：５５から午前２：００までの低フレームレート画像を、受信した同時刻間の高フレームレート画像で上書きする。

以上のように、この実施の形態５によれば、既に記録されている低フレームレート画像を、受信した高フレームレート画像で上書きするので、異常発生時の高フレームレート画像を遅延して受信しても、記録した画像データは時間的リニアリティが保たれているため再生時の違和感が低減される効果がある。また、異常発生時前後の重要なポイントが高フレームレートで記録されるため、信頼性の高い監視映像が得られる効果がある。

なお、実施の形態１では画像伝送装置は監視カメラと分離した構成を示したが、監視カメラの中に画像伝送装置１を内蔵する構成、或いは監視カメラを画像伝送装置１に含む構成としてもよい。また、外部にセンサ等を設けてそこからアラーム信号アラーム受信部７で受信する構成を示したが、センサ等を画像伝送装置１に含む構成としてもよい。

この発明に係る画像伝送装置及び画像記録装置を用いた画像監視システムの構成図である。 この発明の実施の形態１に係る画像伝送装置の構成図である。 図１の画像伝送装置内部のバッファの動作を示す図である。 この発明の実施の形態２に係る画像伝送装置の部分構成図である。 この発明の実施の形態３に係る画像伝送装置内部のバッファと読み出し制御部の構成図である。 この発明の実施の形態４に係る画像伝送装置内部のネットワーク処理部とその周辺の構成図である。 この発明の実施の形態５に係る画像伝送装置の構成図である。 この発明の実施の形態５に係る画像記録装置の構成図である。 図８の画像記録装置の画像データの上書き動作を示す図である。

符号の説明

１ 画像伝送装置、２ ネットワーク、３ 画像記録装置、４ 画像入力部、５ 画像符号化部、６ バッファ、７ アラーム受信部、８ フレーム間引き処理部、９ ネットワーク処理部、１０ 画像切替部、１１ 読み出し制御部、１２ 輻輳チェック部、１３ インデックス処理部、１４ ネットワーク処理部、１５ インデックス検出部、１６ 記録媒体制御部、１７ 記録媒体、Ｓ１ Ｅｍｐｔｙ信号、Ｓ２ 制御信号、Ｓ３ Ｆｕｌｌ信号。

Claims (4)

1. 監視映像を入力して画像データを出力する画像入力部と、
   前記画像データを圧縮符号化する画像符号化部と、
   圧縮符号化した画像データを高フレームレートで一定時間分記憶するバッファと、
   アラーム信号を受信して信号を送信するアラーム受信部と、
   前記アラーム受信部からの信号に応じて前記符号化した画像データから任意のフレームレートに画像を間引いた画像データを生成するフレーム間引き処理部と、
   前記アラーム受信部からの信号に応じて前記フレーム間引き処理部からの画像データと前記バッファからの画像データとを切り替えて出力する画像切替部と、
   前記画像切替部から出力される画像データをネットワークを介して伝送するネットワーク処理部とを備えた画像伝送装置において、
   前記画像切替部は、前記バッファからの信号に応じて前記バッファからの読み出し速度を設定する読み出し制御部を備えることを特徴とする画像伝送装置。
2. 前記ネットワーク処理部は、前記ネットワークでの輻輳発生時に前記フレーム間引き処理部に信号を送信する輻輳チェック部を備え、
   前記フレーム間引き処理部は、前記輻輳チェック部からの信号に応じてフレームレートを設定することを特徴とする請求項１記載の画像伝送装置。
3. 前記アラーム受信部からの信号を受信して前記バッファから読み出した画像にインデックスを付加するインデックス処理部を備えることを特徴とする請求項１または請求項２記載の画像伝送装置。
4. 監視映像を入力して画像データを出力する画像入力部と、前記画像データを圧縮符号化する画像符号化部と、圧縮符号化した画像データを高フレームレートで一定時間分記憶するバッファと、アラーム信号を受信して信号を送信するアラーム受信部と、前記アラーム受信部からの信号に応じて前記符号化した画像データから任意のフレームレートに画像を間引いた画像データを生成するフレーム間引き処理部と、前記バッファからの信号に応じて前記バッファからの読み出し速度を設定する読み出し制御部を有し、前記アラーム受信部からの信号に応じて前記フレーム間引き処理部からの画像データと前記バッファからの画像データとを切り替えて出力する画像切替部と、前記画像切替部から出力される画像データをネットワークを介して伝送するネットワーク処理部と、前記アラーム受信部からの信号を受信して前記バッファから読み出した画像にインデックスを付加するインデックス処理部とを備えた画像伝送装置と、
   ネットワークを介して画像データを受信するネットワーク処理部と、前記画像データに付加されたインデックスを検出して高フレームレート画像か低フレームレート画像かを識別するインデックス検出部と、前記インデックス検出部で識別した高フレームレート画像を、予め記録媒体に記録された同時刻の低フレームレート画像に上書きする記録媒体制御部とを備えた画像記録装置とから構成されることを特徴とする画像監視システム。

Images