JP6364838B2 - 映像処理装置および映像処理方法 - Google Patents

Description

本発明は、映像の表示技術に関するものであり、特に、複数の映像を同時に表示する技術に関するものである。

交通施設や公共施設、工場、港湾などにおいて複数の箇所にカメラを設置し、ネットワークを介して映像を１箇所に伝送して、集中的に映像の監視を行う映像監視システムが広く用いられている。大規模な映像監視システムは、数千箇所にそれぞれ設置されたカメラにより構成されていることもある。複数のカメラを用いて、１箇所の管理センターなどで映像の監視を行う場合には、複数の映像から一部を選択し、選択した映像を１つの画面に同時に表示することにより映像の監視が行われることがある。

カメラで撮影された映像は所定の符号化が行われた映像信号としてネットワークで伝送される。そのため、管理センターなどで映像を映像表示装置に表示するためには、受信した映像信号を元にした復号の処理が必要となる。また、安全性の要求が高い箇所を観察するときなど、特に監視する対象を詳しく観察したい場合などに、映像の高画質化を行うと復号に要するデータ処理量は膨大なものとなり得る。そのため、複数の映像を同時に表示する映像監視システムに用いる映像処理装置には、高い映像処理能力を要求されることがある。

映像監視システムは、不審者の検出や安全の確認などに用いられるため、継続的に安定して稼働できる必要がある。また、映像監視システムは、各映像を詳細に確認できることが望ましく、かつ、映像の表示のリアルタイム性が高いことが望ましい。そのためには、各映像を再生表示する際のフレームレートをできるだけ高くすることが必要となる。しかし、詳細に確認できることを可能とする高画質の映像を表示するために、各映像のフレームレートを高くすると処理量が膨大となり、処理が可能なデータ量を超えてしまう恐れがある。映像処理装置が同時に処理することが可能なデータ量を超えてしまうと、映像の表示が停止するなど、映像監視システムにおける映像の監視に支障が生じる。そのため、複数の映像を１画面にフレームレート等を適切に管理して同時に表示するための技術が重要となる。複数の画像を映像表示装置に１画面として同時に表示する技術としては、例えば、特許文献１のような技術が開示されている。

特許文献１は、複数の拠点に設置されたカメラが撮影した映像を、ネットワークを介して接続された映像監視センターで１画面に同時に表示する映像監視システムに関するものである。特許文献１の映像監視システムでは、カメラおよび映像記憶装置が映像の撮影を行う各拠点に備えられている。特許文献１では、カメラとともに備えられた映像記憶装置に映像が保存され、保存された各映像データが映像監視センターに伝送される。映像監視センターでは、各拠点から送られてきた映像を１つの映像表示装置に画面を分割することにより映像が同時に表示される。

また、特許文献１では各拠点においてカメラが撮影した映像を映像記憶装置に保存する際に、保存するフレーム数の調整が行われている。特許文献１では、あるフレームの映像データと次のフレームの映像データを比較し、差分があるときのみデータの保存が行われている。映像監視センターには、フレーム数を削減して保存された映像データが読み出されて伝送される。特許文献１では、そのようなデータの保存を行うことにより、映像の再生に用いるフレーム数を削減することができ、再生に要する時間を短時間化することが可能になるとしている。

特開２０１０−２１３０２０号公報

しかしながら、特許文献１の技術は次のような点で十分ではない。映像監視システムでは、監視する対象の動き等を継続的に観察するために安定して稼働する必要がある。特許文献１の技術では、前後のフレームを比較して一致したときに同じフレームを間引くことによりフレーム数を削減している。そのため、監視する対象物が連続的に動く場合などには、フレームごとのデータの差分が大きくなるため間引くことが可能なフレームが十分には存在しない可能性がある。その結果、特許文献１の映像監視システムでは、連続的に動く対象物などを監視する場合は、映像データ処理量が増大して処理が映像の再生速度に追いつかなくなり映像の再生停止やシステムの停止が生じる恐れがある。従って、特許文献１の技術は、複数の映像について、監視する対象をできるだけ詳細かつリアルタイムに観察するための映像監視システムを、継続的に安定して稼働させるための技術としては十分ではない。

本発明は、複数の映像の同時表示を継続的に行うことが可能な映像処理装置を得ることを目的としている。

上記の課題を解決するため、本発明の映像処理装置は、映像生成手段と、負荷計測手段と、フレームレート制御手段を備えている。映像生成手段は、複数の撮影装置からネットワークを介して入力される映像装置のそれぞれの映像信号を元に、所定の設定値のフレームレートの映像をそれぞれ生成する。負荷計測手段は、映像生成手段が映像を生成する処理を行う際の負荷を計測する。負荷計測フレームレート制御手段は、負荷計測手段による負荷の計測結果を基に、所定の設定値を更新し、更新後の所定の設定値のフレームレートで映像をそれぞれ生成するように映像生成手段を制御する。

本発明の映像処理方法は、複数の撮影装置からネットワークを介して入力される撮影装置のそれぞれの映像信号を元に、所定の設定値のフレームレートの映像をそれぞれ生成する。本発明の映像処理方法は、記映像を生成する処理を行う際の負荷を計測する。本発明の映像処理方法は、負荷の計測結果を基に、所定の設定値を更新し、更新後の所定の設定値のフレームレートで映像をそれぞれ生成するように制御する。

本発明によると、複数の映像の同時表示を継続的に行うことができる。

本発明の第１の実施形態の構成の概要を示す図である。 本発明の第２の実施形態の構成の概要を示す図である。 本発明の第２の実施形態の映像表示装置の構成の概要を示す図である。 本発明の第２の実施形態のデータテーブルの例を示す図である。 本発明の第２の実施形態のデータテーブルの例を示す図である。 本発明の第２の実施形態のデータテーブルの例を示す図である。 本発明の第２の実施形態における設定の例を示す図である。 本発明の第２の実施形態における設定の例を示す図である。 本発明の第２の実施形態における動作フローの概要を示した図である。 本発明の第２の実施形態における動作フローの概要を示した図である。 本発明の第２の実施形態における動作フローの概要を示した図である。 本発明の第３の実施形態の構成の概要を示した図である。 本発明の第３の実施形態の映像処理装置の構成の概要を示した図である。 本発明の第３の実施形態のデータテーブルの例を示す図である。 本発明の第３の実施形態の動作フローの概要を示した図である。

本発明の第１の実施形態について図を参照して詳細に説明する。図１は、本実施形態の映像処理装置の構成の概要を示したものである。本実施形態の映像処理装置は、映像生成手段１と、負荷計測手段２と、フレームレート制御手段３を備えている。映像生成手段１は、複数の撮影装置からネットワークを介して入力される映像装置のそれぞれの映像信号を元に、所定の設定値のフレームレートの映像をそれぞれ生成する。負荷計測手段２は、映像生成手段１が映像を生成する処理を行う際の負荷を計測する。フレームレート制御手段３は、負荷計測手段２による負荷の計測結果を基に、所定の設定値を更新し、更新後の所定の設定値のフレームレートで映像をそれぞれ生成するように映像生成手段１を制御する。

本実施形態の映像処理装置は、負荷計測手段２により、映像生成手段１が映像を生成する際の負荷を計測している。また、負荷の計測結果を基に、フレームレート制御手段３が、フレームレートの設定値の更新を行っている。本実施形態の映像処理装置では、負荷に応じてフレームレートを更新しているため、映像の生成処理の負荷が装置の能力を超えることを防ぐことができる。そのため、本実施形態の映像処理装置では、高画質の設定で動作させても、処理の負荷が高くなったときにフレームレートを変更することで映像の処理を継続的して行うことができる。その結果、本実施形態の映像処理装置は、複数の映像の同時表示を継続的に行うことができる。

本発明の第２の実施形態について図を参照して詳細に説明する。図２は、本実施形態の映像監視システムの構成の概要を示したものである。本実施形態の映像監視システムは、映像処理部１０と、撮影部６０と、映像表示部７０を備えている。撮影部６０は複数、備えられ、各撮影部６０と映像処理部１０はネットワーク８０を介して接続されている。本実施形態の映像監視システムでは、撮影部６０により撮影された映像データが伝送用映像信号Ｓ１として映像処理部１０に送られる。映像処理部１０は、伝送用映像信号Ｓ１を元に映像表示部７０に映像を表示するための映像データを生成し、映像出力信号Ｓ２として映像表示装置７０に送る。また、映像表示装置７０は、映像出力信号Ｓ２を元にして、複数の映像を同時に表示する。

図３は、映像処理部１０の構成の概要を示したものである。図３に示す通り、映像処理部１０は、映像デコード処理部２０と、映像再生制御部３０と、映像デコード設定管理部４０と、データ管理部５０を備えている。

映像デコード処理部２０は、デコード処理部２１と、デコード制御部２２を備えている。デコード処理部２１は伝送用映像信号Ｓ１の復号を行うエンコード処理を実施する機能を有する。デコード処理部２１は、複数のＣＰＵ（Central Processing Unit）や記憶装置により構成されている。映像再生管理テーブル５３に設定されているカメラＩＤに対応するそれぞれの伝送用映像信号Ｓ１について、並列してデコード処理を行う。各伝送用映像信号Ｓ１についてのそれぞれのデコード処理へのリソースの割り当ては、デコード処理部２２により制御される。デコード処理部２１は、デコード制御部２２に基づいて、デコード処理の対象となる伝送用映像信号Ｓ１のデコード処理を行い、映像再生管理テーブル５３に設定された値のフレームレートの映像を生成する。

デコード処理部２１におけるデコード処理は並列で行われるため、デコード処理を行うデータの総量が処理能力を超えると、優先度が高い映像についてのデコード処理についても遅延や停止が生じ得る。そのため、本実施形態の映像監視システムでは、高負荷状態を検知したときに各映像の優先度に応じたフレームレートの見直しを行っている。優先度に応じてフレームレートを更新することにより、本実施形態の映像監視システムでは、優先度の高い映像のフレームレートを維持しつつ、複数の映像の同時表示を継続することを可能としている。

デコード処理部２１は、生成した映像データを復元映像信号Ｓ３として映像再生処理部３１に出力する。復元映像信号Ｓ３は、映像データと映像ＩＤ（IDentification）の情報により構成されている。映像ＩＤとは、映像表示装置７０に表示を行う映像を互いに区別するための識別子である。映像表示装置７０では、映像ＩＤに対応した位置に映像が表示される。デコード処理部２１は、１つの装置として構成されていてもよく、また、複数のサーバなど複数の装置により構成されていてもよい。

デコード制御部２２は、デコード処理部２１がデコード処理により映像を生成する動作を制御する機能を有する。デコード制御部２２は、デコード制御管理部４２から送られてくる映像処理信号Ｓ４に基づいてデコード処理部２１の動作を制御する。映像処理信号Ｓ４は、デコード処理を行う対象となる伝送用映像信号Ｓ１の識別子としてのカメラＩＤ、フレームレートの設定値および映像ＩＤの情報により構成されている。デコード制御部２２は、デコード処理を行う対象となる伝送用映像信号Ｓ１とフレームレートを指定して、デコード処理部２１におけるデコード処理を制御する。また、デコード制御部２２は、各伝送用映像信号Ｓ１のデータのデコード処理へのデコード処理部２１のＣＰＵなどのリソースの割り当てを制御する。

デコード制御部２２は、システム負荷制御監視部４１から送られてくる負荷計測信号Ｓ５に応じて、デコード処理部２１の負荷を計測する機能を有する。デコード制御部２２は、負荷計測信号Ｓ５に指定された項目の負荷の計測を行い、計測結果の情報を計測結果信号Ｓ６としてシステム負荷制御監視部４１に送る。負荷の計測は、各伝送用映像信号Ｓ１のデコード処理ごとではなく、並列で行っているデコード処理全体での負荷を計測することにより行われる。

映像再生制御部３０は、映像再生処理部３１と、映像出力部３２を備えている。映像再生処理部３１は、映像表示部７０で映像を表示するための映像データを、映像表示部７０の仕様に応じて生成する機能を有する。映像表示部７０の仕様とは、映像表示部７０の解像度や色仕様等の特性のことをいう。映像再生処理部３１は、復元映像信号Ｓ３を元に映像表示部７０で表示するための映像データを生成し、生成した画像データを映像出力部３２に送る。また、映像再生処理部３１は、設定画面信号Ｓ７が入力されたときは、設定の選択画面の画像データを生成して映像出力部３２に送る。設定画面信号Ｓ７は、作業者が設定を行う際に参照する情報を映像表示装置７０に表示するための映像データにより構成されている。

映像出力部３２は、映像再生処理部３１から受け取った映像データを映像表示部７０に送る際の規格に沿った信号形式に変換して出力する機能を有する。映像出力部３２は、映像表示部７０に送る信号形式に変換した信号を、映像出力信号Ｓ２として映像表示部７０に出力する。映像出力信号Ｓ２は、映像ＩＤに対応した映像データごとに独立した信号として映像表示部７０に送られる。本実施形態では、映像出力部３２と映像表示部７０は同時に表示が可能な映像の数に対応した映像ケーブルで接続されている。複数の映像ケーブルは、１本に束ねられて見かけ上は１本のケーブルとして構成されていてもよい。映像出力部３２と映像表示部７０は、無線通信方式により接続されていてもよい。

映像デコード設定管理部４０は、システム負荷制御監視部４１と、デコード制御管理部４２と、フレームレート制御管理部４３と、再生表示情報制御管理部４４を備えている。

システム負荷制御監視部４１は、映像デコード処理部２０の負荷状況から、各映像のフレームレートの変更が必要かを判断する機能を有する。システム負荷制御監視部４１は、で映像デコード処理部２０の負荷を計測するとき、負荷の計測を要求する信号を負荷計測信号Ｓ５としてデコード制御部２２に送る。また、システム負荷制御監視部４１は、負荷の計測結果の情報を計測結果信号Ｓ６として受け取ると、負荷の計測結果を所定の基準と比較して高負荷状態にあるかを判断する。高負荷状態とは、デコード処理部２１のＣＰＵなどの稼働率が高く、そのままのフレームレートで映像の生成処理を継続すると処理能力が不足する可能性が高い状態のことをいう、
デコード制御管理部４２は、映像デコード処理部２０に映像のデコード処理に関する設定情報を送る機能を有する。デコード制御管理部４２は、映像再生管理テーブル５３の情報を参照して、デコード処理に関する設定情報を示す信号を映像処理信号Ｓ４としてデコード処理部２１に送る。映像処理信号Ｓ４は、デコード処理を行う対象となる伝送用映像信号Ｓ１の識別子、フレームレートの設定値および映像ＩＤの情報により構成されている。

フレームレート制御管理部４３は、デコード処理２１でデコード処理を行う際の、フレームレートの設定値を決定する機能を有する。フレームレート制御管理部４３は、システム負荷制御監視部４１がデコード処理部２１の高負荷状態を検知したときに、フレームレートの変更の要否を判断する。また、フレームレート制御管理部４３は、フレームレートの変更が必要と判断したときに、フレームレートの値を再設定して映像再生管理テーブル５３を更新する。

再生表示情報制御管理部４４は、再生表示方法の設定などを行う際に、映像表示装置７０に表示する設定画面の映像データを生成する機能を有する。再生表示情報制御管理部４４は、生成した設定画面の画像データを設定画面信号Ｓ７として、映像再生処理部３１に送る。

データ管理部５０は、映像処理部１０の動作に必要な各情報を保存する機能を有する。データ管理部５０は、再生表示管理テーブル５１と、負荷情報管理テーブル５２と、映像再生管理テーブル５３として情報を保存している。

再生表示管理テーブル５１は、映像の再生表示方法の情報が保存されているデータテーブルである。映像の再生表示方法とは、映像表示装置７０にどのような画質で映像を表示するかの情報などのことをいう。図４は、本実施形態の再生表示管理テーブル５１の例を示したものである。図４に示す通り、本実施形態の再生表示管理テーブル５１は、ＩＤ、再生表示方法、フレームレート値および映像優先度の４つの項目の情報により構成されている。

ＩＤは、再生映像表示ＩＤの略であり、再生映像表示ＩＤは、映像の再生表示方法を識別するための識別子の情報である。再生表示方法は、再生表示方法の名称を示す情報である。本実施形態では、再生表示方法は、「高画質再生」、「中画質再生」、「通常再生」および「荒め再生」の４段階で設定され、それぞれに名称が設定されている。再生表示方法は、さらに多段階で設定されていてもよく、また、３段階以下で設定されていてもよい。フレームレート値は、各再生表示方法で再生を行った際の、最大のフレームレートの値を示している。フレームレート値は、３０ｆｐｓ（Frames Per Second）のように１秒当たりのフレームの最大数として示されている。映像優先度は、映像表示の優先度を示した情報であり、再生表示方法に対応して設定されている。映像優先度は、作業者による変更を可能としてもよい。本実施形態の映像優先度は、数値が大きくなるほど優先度が高くなるように設定されている。

高負荷判定管理テーブル５２は、デコード処理部２１におけるデコード処理の負荷を判断する際の基準となる情報が保存されているデータテーブルある。図５は、本実施形態の高負荷判定管理テーブル５２の例を示したものである。図５に示す通り本実施形態の高負荷判定管理テーブル５２は、ＩＤ、負荷情報、判定条件、実行モジュールおよび負荷判定重みの５つの項目で構成されている。

ＩＤは、負荷情報ＩＤの略であり、負荷情報ＩＤは負荷情報を識別するための識別子の情報である。負荷情報は、負荷情報の内容を名称として示した情報である。負荷情報は、負荷を判断する対象を示している。例えば、負荷情報のＣＰＵ負荷は、デコード処理部２１のＣＰＵ（Central Processing Unit）の使用率を示している。判定条件は、負荷情報ごとに、高負荷であるかを判定する基準を示している。実行モジュールは、負荷情報を取得する際に用いるプログラム名を示している。最終判定重みは、高負荷かどうかを判定する際の各負荷情報の重みづけの値である。計測結果が判定条件の基準以上であった負荷情報の負荷判定重みが加算され、合計値を基に高負荷状態であるかの判断が行われる。

映像再生管理テーブル５３は、映像を再生するために必要な各情報が保存されているデータテーブルである。映像再生管理テーブル５３には、例えば、デコード処理を行う際の設定値の情報が保存されている。図６は、本実施形態の映像再生管理テーブル５３の構成の例を示したものである。図６に示す通り、本実施形態の映像再生管理テーブル５３は、映像ＩＤ、カメラＩＤ、現フレームレート、最大フレームレート、最少フレームレート、再生表示方法ＩＤおよび映像優先度の７つの項目の情報により構成されている。

映像ＩＤは、映像表示装置７０に複数の映像を同時に表示する際に、各映像を表示する区画ごとの識別子の情報である。図６の映像管理テーブル５３は１つの画面を１２分割して、１２個の映像を同時に表示する場合について示している。そのため、映像管理テーブル５３では、１２種類の映像ＩＤが設定されている。

カメラＩＤは、映像を撮影した撮影部６０を識別するための識別子の情報である。図６の例では、各撮影部６０にそれぞれ固有の番号が採番され、固有の番号で撮影部６０を特定することができる。また、映像用伝送信号Ｓ１には、カメラＩＤの情報がそれぞれ含まれている。

現フレームレートは、各映像ＩＤに対応した映像のフレームレートの設定値の情報を示している。デコード処理部２１は、現フレームレートの設定値のフレームレートの映像を生成するようにデコード処理を行う。最大フレームレートは、フレームレートの設定範囲の最大値を示している。最小フレームレートは、フレームレートの設定範囲の最小値を示している。本実施形態では、最小フレームレートは、（最大フレームレート）×（映像優先度）÷（映像優先度の総和）で算出する。すなわち、映像優先度が高いほど最小フレームレートの値は大きくなり、間引きされる可能性のあるフレームの数が減少する。

再生表示管理ＩＤは、選択された再生表示方法の再生映像表示ＩＤの情報である。再生映像表示ＩＤおよび再生表示方法は、再生表示管理テーブル５１と対応している。映像優先度は、各映像ＩＤに対応した映像の優先度を示す情報である。映像優先度の値の大小によって、フレームレートを増減する際の順番が決定される。本実施形態では、映像優先度の値が大きい方が、優先度が高い映像として設定されている。また、本実施形態の映像再生管理テーブル５３の再生表示管理ＩＤおよび映像優先度の組み合わせは、再生表示管理テーブル５１と対応している。

撮影部６０は、映像の撮影を行う撮影素子と、撮影した映像を所定の規格に基づいて符号化するエンコード処理を行う機能を有する。撮影部６０は、撮影した映像をエンコード処理により符号化し、映像データを伝送用映像信号Ｓ１としてネットワーク８０を介して映像処理部１０に送る。撮影部６０にはそれぞれ固有のカメラＩＤが付与されている。撮影部６０は、伝送用映像信号Ｓ１にカメラＩＤの情報を付加して映像処理部１０に送る。

各撮影部６０から送信された伝送用映像信号Ｓ１は、それぞれネットワーク８０を介して映像処理部１０に伝送される。本実施形態では、ネットワーク８０に備えられた中継装置により、各伝送用映像信号Ｓ１は時分割多重され、多重化信号として映像処理部１０に送られる。

撮影部６０は、交通施設や公共施設、工場、港湾施設など映像の監視を行う箇所にそれぞれ設置されている。撮影部６０は、映像を撮影する方向や条件を遠隔地から制御できる構成としてもよい。また、本実施形態の撮影部６０のようにネットワークを介して映像データを伝送する機能を有するカメラは、ネットワークカメラとも呼ばれる。

映像表示部７０は、映像処理部１０から送られてきた映像出力信号Ｓ２に基づいた映像を表示する機能を有する。映像表示部７０には、例えば、液晶表示装置のような表示装置を用いることができる。映像表示部７０は、複数の表示装置を格子状に並べることにより構成することができる。本実施形態では、縦に３列、横に４列の計１２台の表示装置により構成されている。各表示装置はそれぞれ対応した映像ＩＤの映像の表示を行う。

ネットワーク８０は、光通信ネットワークや無線ネットワークなどにより構成されている。ネットワーク８０は、光通信ネットワークおよび無線ネットワークなど複数の方式の組み合わせによって構成されていてもよい。また、ネットワーク８０は、専用回線または共用回線のいずれかでもよく、専用回線と共用回線の組み合わせにより構成されていてもよい。また、各撮影部６０が映像処理部１０とそれぞれ独立した専用回線で接続されていてもよい。伝送用映像信号Ｓ１が途中の中継装置等で多重化されて伝送される方式とすることもできる。また、伝送用映像信号Ｓ１はインターネット等の共用回線または専用回線を介して、パケット方式で伝送することもできる。

本実施形態の映像監視システムの動作について説明する。始めに、映像処理部１０において、映像の再生表示方法、すなわち、映像を表示する際の条件を設定する際の動作について説明する。

本実施形態では、初期状態では図７に示すような再生表示の設定になっているとして説明する。図７は、縦方向に３区画、横方向に４区画の合計１２個の映像を同時に表示する際の、各区画の設定情報を示したものである。図７に示した映像の再生表示方法の設定の初期設定は、１画面に表示される１２個の映像全てが通常再生となっている。通常再生の設定内容は、再生表示管理テーブル５１に保存されている。図７ではフレームレートは５ｆｐｓ、優先度は２０、最大フレームレートは５ｆｐｓ、最小フレームレートは１ｆｐｓとして設定されている。

再生表示情報制御管理部４４は、図７に示すような映像を映像出力部３１を介して映像表示部７０に表示する。始めに、作業者は、映像表示部７０の画面表示を見ながら、映像ＩＤがＳＣ０１の区画の再生表示方法を選択する。映像ＩＤがＳＣ０１の区画の再生表示方法が選択されると、再生表示情報制御管理部４４は、映像再生管理テーブル５３の映像再生表示ＩＤの情報を更新する。また、再生表示情報制御管理部４４は、再生表示管理テーブル５１を参照し、映像再生表示ＩＤに対応したフレームレート値の値を、映像再生管理テーブル５３の現フレームレートおよび最大フレームレートの値として保存する。さらに、再生表示情報制御管理部４４は、再生表示管理テーブル５１を参照し、映像再生表示ＩＤに対応した映像優先度の値を、映像再生管理テーブル５３の映像優先度の値として保存する。

映像ＩＤがＳＣ０１の区画の再生表示方法の設定が行われると、順次、他の区画についての再生表示方法が行われる。１２個全ての区画についての再生表示方法が終わると、再生表示情報制御管理部４４は、各映像ＩＤに対応した最小フレームレートを算出する。最小フレームレートを算出すると、再生表示情報制御管理部４４は、算出した値を映像再生管理テーブル５３に保存する。また、再生表示方法の設定は映像ＩＤの順ではなく、必要な映像ＩＤを選択して、その映像ＩＤのみについて設定を行う方法とすることもできる。

図８は、映像ＩＤがＳＣ０２の区画について高画質再生、ＳＣ０３およびＳＣ０４の区画について中画質再生、ＳＣ０４からＳＣ１２の区画について通常再生が選択された場合における、映像再生管理テーブル５３を示している。図８の例では、最大フレームレートが３０ｆｐｓ、映像優先度は２００、全ての区画の映像優先度の総和は６６０である。よって、映像ＩＤがＳＣ０１およびＳＣ０２の区画の最小フレームレートは、３０×２００／６６０＝９．０９として算出される。小数点以下は切り上げられて、１０ｆｐｓがＳＣ０１およびＳＣ０２の区画の最小フレームレートとして設定される。同様に、映像ＩＤがＳＣ０３およびＳＣ０４の区画の最小フレームレートは、１５×５０／６６０＝１．１４として算出される。小数点以下は切り上げられて、２ｆｐｓがＳＣ０３およびＳＣ０４の区画の最小フレームレートとして設定される。映像ＩＤがＳＣ０４からＳＣ１２の区画の最小フレームレートは、５×２０／６６０＝０．１５として算出される。小数点以下は切り上げられて、１ｆｐｓがＳＣ０４からＳＣ１２の区画の最小フレームレートとして設定される。

次に本実施形態の映像監視システムにおいて、映像表示部７０に映像を表示する際のフレームレートの設定値を変更する際の動作について説明する。図９はフレームレートの変更が行われる際のフローの概要を示したものである。

作業者による操作または所定のタイミングにより、フレームレートの見直し処理が開始される。所定のタイミングは、例えば、一定の時間ごととして設定される。フレームレートの見直し処理が開始されると、フレームレート負荷監視制御部４１は、フレーム処理部２１が高負荷状態であるかの確認を行う（ステップ２０１）。高負荷状態であるかを確認する際の動作については、後で説明する。

負荷が所定の基準を超えていて高負荷状態として判断された場合は（ステップ２０２でＹｅｓ）、フレームレート制御管理部４３は、間引きを行ったフレームレートの合計数が所定の閾値を超えていないかを確認する（ステップ２０３）。動作開始直後は、フレームレートの間引きの合計数は０となる。また、所定の時間の経過後などに再度、フレームレートの変更の動作を行う際は、合計数を０に戻して動作が行われる。本実施形態では所定の閾値は３０ｆｐｓとして設定されている。フレームレートも間引き数が所定の閾値以上であるとき（ステップ２０４でＹｅｓ）、フレームレート制御管理部４３は、フレームをさらに間引くことはできないと判断し、フレームレートの変更の動作を終了する。

フレームレートの間引きの合計数が所定の閾値未満であるとき（ステップ２０４でＮｏ）、フレームレート制御管理部４３は、フレームの間引きが可能と判断してフレームの間引きの動作を開始する。動作開始直後は、フレームレートの間引きの合計数は０であるので、ステップ２０４はＮｏとなる。

間引きが可能と判断すると、フレームレート制御管理部４３は、映像再生管理テーブル５３を参照して、映像優先度が最も低い映像ＩＤを、フレームレートを減少させる映像ＩＤとして選択する（ステップ２０５）。本実施形態では、現フレームレートが最小フレームレートではない映像ＩＤの中から、映像優先度が最も低い映像ＩＤがフレームレートを減少させる映像ＩＤとして選択される。また、候補が重複する場合は、映像ＩＤの番号が最も大きな映像ＩＤが選択される。

フレームレートを減少させる映像ＩＤを選択すると、フレームレート制御管理部４３は、対象となる映像ＩＤの現フレームレートを最小フレームレートの値に変更する（ステップ２０６）。例えば、映像ＩＤがＳＣ１２のフレームレートを減少させる対象として選択されたとすると、現フレームレートの５ｆｐｓは最小フレームレートの１ｆｐｓに変更される。このとき、フレームレートの間引き数は４となる。

現フレームレートの値を変更すると、フレームレート制御管理部４３は、間引きの動作が未了の映像ＩＤがあるかを確認する。間引きの動作が未了の映像ＩＤがある場合（ステップ２０７でＹｅｓ）、ステップ２０３に戻って間引きの動作が継続される。

間引きの動作が継続される場合は、映像ＩＤがＳＣ１１から順に番号が小さくなるように順次、フレームレートの間引きが行われる。順次、間引きが行われると、映像ＩＤがＳＣ０５からＳＣ１２までは、それぞれ現フレームレートが５ｆｐｓから１ｐｓへと変更され、間引きの合計数は２８ｆｐｓとなる。さらに、映像ＩＤがＳＣ０４である区画は、間引きにより現フレープレートが１５ｆｐｓから２ｆｐｓとなるように１３ｆｐｓ分の間引きが行われ、間引きの合計数が４１ｆｐｓとなる。間引きの合計数が所定の閾値３０ｆｐｓを越えると、ステップ２０４でＹｅｓとなりフレームレートの間引きの動作は終了する。フレームレートの間引きの動作が完了して、映像再生管理テーブル５３の更新が終わると、新たなフレームレートでのデコード処理が行われる。

負荷が所定の基準未満で高負荷状態ではないと判断された場合は（ステップ２０２でＮｏ）、フレームレート制御管理部４３は、フレームレートを上げて高画質化することが可能かを判断する。フレームレート制御管理部４３は、フレームレートを上げることができるかを判断するために、増加させたフレームレートの合計数が所定の閾値を超えていないかを確認する（ステップ２０８）。本実施形態は、所定の閾値は２０ｆｐｓとして設定されている。動作開始直後は、増加させたフレームレートの合計数は０となる。また、所定の時間の経過後などに再度、フレームレートの変更の動作を行う際は、合計数を０に戻して動作が行われる。

増加させたフレームレートの合計数が所定の閾値以上である場合は（ステップ２０９でＹｅｓ）、フレームレート制御管理部４３は、フレームレートの増加は不可と判断する。フレームレートの増加が、負荷と判断すると、フレームレート制御管理部４３は、フレームレートの変更の動作を終了する。

増加させたフレームレートの合計数が所定の閾値未満である場合は、フレームレート制御管理部４３は、フレームレートの増加が可能と判断する。フレームレートの増加が可能と判断すると、フレームレート制御管理部４３は、映像再生管理テーブル５３を参照して、映像優先度が最も高い映像ＩＤを、フレームレートを増加させる映像ＩＤとして選択する（ステップ２１０）。本実施形態では、現フレームレートが最大フレームレートに達していない映像ＩＤの中から、映像優先度が最も高い映像ＩＤの情報が選択される。候補が重複する場合は、映像ＩＤの番号が最も小さな映像ＩＤが選択される。

フレームレートを増加させる映像ＩＤを選択すると、フレームレート制御管理部４３は、対象となる映像ＩＤの現フレームレートを最大フレームレートの値に変更する（ステップ２１２）。例えば、映像ＩＤがＳＣ０４の区画がフレームレートを増加させる対象として選択されると、フレームレート制御管理部４３は、現フレームレートを２ｆｐｓから最大フレームレートである１５ｆｐｓへと、１３ｆｐｓ分増加させる。

フレームレートを増加させると、フレームレートの増加が未了の映像ＩＤがあるかを確認する。フレームレートの増加が未了の映像ＩＤが無い場合は（ステップ２１２でＮｏ）、フレームレート制御管理部４３は、フレームレートの変更の動作を終了する。

フレームレートの増加が未了の映像ＩＤがある場合は（ステップ２１２でＹｅｓ）、ステップ２０８に戻って、フレームレートの増加数の合計数が所定の閾値を超えるまで動作が行われる。本実施形態では、フレームレート制御管理部４３は、映像ＩＤがＳＣ０５およびＳＣ０６の現フレームレートをそれぞれ１ｆｐｓから５ｐｆｓへと４ｆｐｓずつ増加させる。映像ＩＤがＳＣ０６の現フレームレートを増加させると、フレームレートの増加数の合計数は２１ｆｐｓ分になり、所定の閾値を超過する。所定の閾値を超えるとステップ２０８でＮｏとなるため、他の映像ＩＤのフレームレートは変更されない。

フレームレートの増加の動作が完了して、映像再生管理テーブル５３の更新が終わると、新たなフレームレートでのデコード処理が行われる。以上で、フレームレートの変更の動作は完了となる。

次に、デコード処理部２１の負荷が高負荷状態であるかを判断する際の動作について説明する。図１０は、デコード処理部２１が高負荷状態であるかを判断する際の動作フローの概要を示したものである。

高負荷状態であるかの判断を開始すると、システム負荷制御監視部４１は、負荷情報管理テーブル５２から、負荷の計測を行う対象を示す高負荷判定管理ＩＤを選択する（ステップ２２１）。高負荷判定管理ＩＤは、負荷の計測を行う項目、すなわち、負荷情報に対応している。高負荷判定管理ＩＤを選択すると、システム負荷制御監視部４１は、高負荷判定管理ＩＤに対応した実行モジュールの情報を示した信号を負荷計測信号Ｓ５としてデコード制御部２２に送る。デコード制御部２２は、負荷計測信号Ｓ５に示された情報に従ってデコード処理部２１の負荷の計測を実行する（ステップ２２２）。例えば、高負荷判定管理ＩＤにＦ０１が選択された場合は、負荷の計測は、所定の時間当たりの、ＣＰＵの使用率を計測することにより行われる。デコード制御部２２は、負荷の計測が終わると計測結果を示す信号を計測結果信号Ｓ６としてシステム負荷制御監視部４１に送る。

システム負荷制御監視部４１は、計測結果信号Ｓ６を受け取ると、計測結果を高負荷判定管理テーブル５２の判定条件と比較する。判定条件を満たすとき、すなわち負荷が所定の基準以上であるとき（ステップ２２３でＹｅｓ）、システム負荷制御監視部４１は、負荷判定重みを加算する（ステップ２２４）。負荷判定重みとは、負荷状況を最終的に判断する際の評価値を算出する際の、各負荷情報の計測結果の重みづけのことをいう。負荷判定重みは、値が大きくなるほど負荷が高い状態として設定されている。負荷判定重みを加算すると、システム負荷制御監視部４１は、高負荷判定管理テーブル５２の全ての項目を計測したかを確認する。全ての項目、すなわち負荷情報を計測していないとき（ステップ２２５でＮｏ）、ステップ２２１に戻り、システム負荷制御監視部４１は、他の項目の計測を実施する。

全ての項目の計測が終わっている場合（ステップ２２５でＹｅｓ）、システム負荷制御監視部４１は、負荷判定重みの合計数を所定の閾値と比較する。負荷判定重みの合計数が所定の閾値以上であるとき（ステップ２２７でＹｅｓ）、システム負荷制御監視部４１はデコード処理部２１が高負荷状態であると判断する（ステップ２２８）。負荷判定重みが所定の閾値未満であるとき（ステップ２２７でＮｏ）、システム負荷制御監視部４１はデコード処理部２１が高負荷状態ではないと判断する（ステップ２３０）。

また、ステップ２２３において判定条件を満たさないとき、すなわち負荷が所定の基準未満であるとき（ステップ２２３でＮｏ）、システム負荷制御監視部４１は、負荷判定重みを加算しない（ステップ２２９）。負荷が所定の基準未満であるときは、負荷判定重みが加算されずにステップ２２５からの処理が行われる。以上で、デコード処理部２１の負荷が高負荷状態であるかを判断する際の動作は完了する。

次に、本実施形態の映像監視システムにおいて、撮影部６０で撮影された映像を映像表示部７０に表示する際の動作について説明する。図１１は、撮影部６０で撮影された映像の表示を映像表示部７０に行う際の動作フローの概要を示したものである。

始めに、作業者により映像を表示する対象の撮影部６０が所定の数、選択される。また、各映像に対する再生表示方法が設定される（ステップ２４１）。本実施形態では、１２個の映像を同時に表示するので、１２個の撮影部６０および映像再生方法の選択が行われる。映像を表示する対象として選択される撮影部６０は、映像表示装置７０で同時に表示を行うことが可能な映像の最大数でなくてもよい。本実施形態では撮影部６０の選択は、対応する映像ＩＤを選択することによって行われる。

再生表示方法が設定されると、フレームレート制御管理部４３は、映像再生管理テーブル５３の情報を更新する。映像再生管理テーブル５３が更新されると、デコード制御管理部４２は、映像デコード処理部２０にデコード処理の設定情報を映像処理信号Ｓ４として送る（ステップ２４２）。

各撮影部６０が撮影した画像はエンコーダより符号化され、所定の通信規格に沿った信号形式の映像信号に変換される。変換された映像信号は、伝送用映像信号Ｓ１としてネットワーク８０を介して、映像処理部１０に送られる。各伝送用映像信号Ｓ１は、ネットワーク８０に備えられた中継装置により時分割多重されて映像処理部１０に送られる。また、伝送用映像信号Ｓ１には、各撮影部６０に固有に割り当てられたカメラＩＤの情報が含まれている。

映像処理部１０に入力された多重化された伝送用映像信号Ｓ１は、映像処理部１０の入力部で各伝送用映像信号Ｓ１に分割されて映像デコード処理部２０に送られる。映像デコード処理部２０に入力された各伝送用映像信号Ｓ１のうち、選択された撮影部６０に対応する伝送用映像信号Ｓ１についてデコード処理が実行される（ステップ２４３）。また、デコード処理は選択された複数の伝送用映像信号Ｓ１について並列に行われる。

映像デコード処理部２０のデコード制御部２２は、映像処理信号Ｓ４に示されたフレームレートとなるようにデコード処理部２１におけるデコード処理を制御する。デコード処理部２１は、デコード処理を行って生成したそれぞれの映像データを、復元映像信号Ｓ３として映像再生処理部３１に送る。

映像再生処理部３１は、各映像ＩＤに対応した復元映像信号Ｓ４を映像表示部７０の仕様に応じた信号にそれぞれ変換し、映像出力部３２に送る。映像出力部３２は、映像再生処理部３１から受け取った信号を、各映像ＩＤごとの映像出力信号Ｓ２として映像表示部７０に送る。映像表示部７０は、受け取った映像出力信号Ｓ２を元に各映像ＩＤに対応した区画に映像を表示する（ステップ２４４）。

映像表示装置７０への映像の表示が行われて、所定の時間が経過すると（ステップ２４５でＹｅｓ）、デコード処理部２１が高負荷状態かを判断する負荷の判定のフローが実行される（ステップ２４６）。デコード処理部２１が高負荷状態かを判断するための負荷の判定のフローは、ステップ２２１からステップ２３０に示したフローで行われる。

フレームレートの変更を行った場合は（ステップ２４７でＹｅｓ）、ステップ２４２に戻り新たなフレームレートに基づいた動作が行われる。フレームレートの変更を行っていない場合は（ステップ２４７でＮｏ）、ステップ２４３に戻り現設定での動作が継続される。以上で、撮影部６０で撮影された映像の表示を映像表示部７０に行う際の動作は完了となる。

本実施形態の映像監視システムは、映像デコード処理部２０の負荷状態を計測して、負荷が所定の基準よりも高かったときに、優先度の低い映像のフレームレートを下げて映像デコード処理部２０の処理量を低減している。優先度の低い映像のフレームレートを下げることで、優先度の高い映像のフレームレートの維持、すなわち、画質の維持が可能となる。また、優先度の低い映像についてもフレームレートを下げることにより、継続的に映像表示装置７０への表示を行うことが可能となる。

本実施形態の映像監視システムが高画質の設定で稼動を開始しても、負荷が高くなると優先度の低い映像のフレームレートを下げることにより全体の負荷を抑制する。そのため、本実施形態の映像監視システムでは、動作開始時の設定通りのフレームレートでの処理を維持しようとしてシステムが停止するようなことは生じない。その結果、本実施形態の映像監視システムでは、詳細な観察を要する優先度の高い映像を維持しつつ、複数の映像の同時表示を継続的に行うことができる。

本発明の第３の実施形態について図１２を参照して詳細に説明する。図１２は本実施形態の映像監視システムの構成の概要を示したものである。第２の実施形態では所定の時間ごとに負荷状態を計測してフレームレートの見直しが行われた。本実施形態の映像監視システムは、所定の時間ごとに加え、映像解析部を備え、所定の画像を検知したときに優先度を変更してフレームレートの変更を行う。

図１２に示す通り、本実施形態の映像監視システムは、映像処理部１００と、撮影部６１と、映像表示部７１を備えている。撮影部６１は複数、備えられ、各撮影部６１と映像処理部１００はネットワーク８１を介して接続されている。本実施形態の映像監視システムでは、撮影部６１が撮影した映像データが伝送用映像信号Ｓ１１として映像処理部１００に送られる。映像処理部１００は、伝送用映像信号Ｓ１１を元に映像表示部７１に映像を表示するための映像データを生成し、映像出力信号Ｓ１２として映像表示装置７１に送る。映像表示装置７１は、映像出力信号Ｓ１２の映像データを元にして複数の映像を同時に表示する。

本実施形態の撮影部６１、映像表示部７２およびネットワーク８１の構成および機能は、第２の実施形態の同名称の部位と同様である。本実施形態の伝送用映像信号Ｓ１１および映像出力信号Ｓ１２は、第２の実施形態の同名称の信号と同様の情報により構成されている。また、本実施形態の復元映像信号Ｓ１３、映像処理信号Ｓ１４、負荷計測信号Ｓ１５、計測結果信号Ｓ１６および設定画面信号Ｓ１７を構成する情報および各信号の機能は、第２の実施形態の同名称の信号と同様である。

図１３は、本実施形態の映像処理部１００の構成の概要を示している。図１３に示す通り、映像処理部１００は、映像デコード処理部１２０と、映像再生制御部１３０と、映像デコード設定管理部１４０と、データ管理部１５０と、映像解析部１６０を備えている。

映像デコード処理部１２０は、デコード処理部１２１と、デコード制御部１２２を備えている。デコード制御部１２２の構成と機能は、第２の実施形態の同名称の部位と同様である。デコード処理部１２１は、第２の実施形態の同名称の部位と同様の構成および機能に加え、復元映像信号Ｓ１３を画像検知部１６１に送る機能を有する。

映像再生制御部１３０は、映像再生処理部１３１と、映像出力部１３２を備えている。映像再生処理部１３１および映像出力部１３２の構成と機能は、第２の実施形態の同名称の部位と同様である。

映像デコード設定管理部１４０は、システム負荷制御監視部１４１と、デコード制御管理部１４２と、フレームレート制御管理部１４３と、再生表示情報制御管理部１４４を備えている。システム負荷制御監視部１４１、デコード制御管理部１４２および再生表示情報制御管理部１４４の構成と機能は、第２の実施形態の同名称の部位と同様である。

フレームレート制御管理部１４３は、第２の実施形態と同様の機能に加え、画像検知部１６１から画像検知信号Ｓ１８を受け取ったときに、フレームレートを再設定する機能を有する。画像検知信号Ｓ１８は、映像データから所定の画像を検知したことを示す信号であり、所定の画像を検知した映像ＩＤおよび所定の画像を検知したことを示す情報により構成されている。所定の画像とは、特定の物体や不審人物など検知用データ保存部１６２に保存されている画像データと一致する画像のことをいう。

フレームレート制御管理部１４３は、画像検知信号Ｓ１８を受け取ったときに、所定の画像を検知した映像ＩＤの緊急度の項目を、緊急度が有りの情報に更新する。緊急度の項目を更新すると、フレームレート制御管理部１４３は、画像検知信号Ｓ１８に基づいて所定の画像が検知された映像ＩＤのフレームレートが最大フレームレートとなるように映像再生管理テーブル１５３を更新する。また、フレームレート制御管理部１４３は、所定の画像が検知されていない映像ＩＤのフレームレートを最低フレームレートとなるように映像再生管理テーブル１５３を更新する。

データ管理部１５０は、再生表示管理テーブル１５１と、負荷情報管理テーブル１５２と、映像再生管理テーブル１５３として情報を保存している。再生表示管理テーブル１５１および負荷情報管理テーブル１５２のデータ構成は第２の実施形態の同一名称のデータテーブルと同様である。

映像再生管理テーブル１５３は、第２の実施形態の映像再生管理テーブルと同様の項目に加え、緊急度の情報が保存されている。緊急度の情報は、緊急度が有りの場合は「１」、無しの場合は「０」として保存されている。図１４は、映像ＩＤがＳＣ０１の映像で所定の画像を検知した際の更新後の映像再生管理テーブル１５３の例を示したものである。図１４に示す通り、本実施形態の映像再生管理テーブル１５３には、第２の実施形態と同様の項目に加え、緊急度の情報が保存されている。図１４では、映像ＩＤがＳＣ０１の優先度が「１」として保存されている。また、図１４では、映像ＩＤがＳＣ０１の映像については現フレームレートが最大フレームレートの設定であるのに対して、それ以外の映像ＩＤのフレームレートは最低フレームレートの設定になっている。

本実施形態では、このように、緊急度が高い映像以外のフレームレートを下げることで、処理の負荷を低減し、緊急度が高い映像の処理への影響を抑制している。そのため、緊急度の高い映像、すなわち、所定の画像が検知された映像のフレームレートを下げる必要があるような高負荷状態は生じにくく、詳細な観察を継続することができる。また、このように、他の映像のフレームレートを一律に下げることで、フレームレートの再設定に要する処理の時間を短くすることができるので、所定の画像を検知した後、すぐに対応したフレームレートの設定に変更することが可能となる。

映像解析部１６０は、映像を解析して所定の画像を検知する機能を有する。映像解析部１６０は、画像検知部１６１と、検知用データ保存部１６２を備えている。画像検知部１６１は、復元映像信号Ｓ１３として送られてくる映像データの中から所定の画像を検知する機能を有する。画像検知部１６１は、映像データと検知用データ保存部１６２に保存されているデータを比較して、一致したときに所定の画像を検知したと判断する。画像検知部１６１は、映像データから所定の画像を検知すると、画像検知信号Ｓ１８をフレームレート制御部１４３に送信する。所定の画像とは、例えば、特定の人物や車両など物体のことをいう。画像検知部１６１は、人や物の数や動きの変化を検知する構成とすることもできる。本実施形態の映像監視システムでは、所定の画像は監視の優先度が高いものとして設定されている。そのため、所定の画像が検知された映像ＩＤに対応する映像について、詳細な観察を可能とするために、フレームレートを上げるか維持し、他の映像のフレームレートを下げた映像の表示が行われる。

検知用データ保存部１６２は、画像検知部１６１が所定の画像を検知する際に参照する画像データを保存する機能を有する。検知用データ保存部１６２には、参照用の画像デーが保存されている。画像検知部１６１を人や物の数や動きの変化を検知する構成とした場合には、検知用データ保存部１６２には、変化を検知する際の基準データが保存されている。

本実施形態の映像監視システムの動作について説明する。本実施形態の映像監視システムにおいて、所定の画像を検知したとき以外の動作は第２の実施形態と同様である。そのため、以下では、本実施形態の映像監視システムにおいて、所定の画像を検知した場合にフレームレートの変更を行う際の動作についてのみ説明する。図１５は、本実施形態の映像監視システムにおいて所定の画像を検知した場合に、フレームレートの変更を行う際のフローの概要を示している。

画像検知部１６１は、デコード処理部１２１から入力される映像データの画像と検知用データ保存部１６２の画像の比較を行って映像の監視を行う。画像検知部１６１は、所定の画像を検知すると（ステップ２５１）、画像検知信号Ｓ１８をフレームレート制御管理部１４３に送る。映像検知信号Ｓ１８には、映像ＩＤの情報が含まれている。

フレームレート制御管理部１４３は、画像検知信号Ｓ１８を受け取ると、映像再生管理テーブル１５３の映像ＩＤに対応する現フレームレートの設定値を最大フレームレートの値に変更する（ステップ２５２）。映像検知信号Ｓ１８で指定された映像ＩＤのフレームレートを変更すると、フレームレート更新管理部１４３は、それ以外の映像ＩＤの現フレームレートの設定値を最低フレームレートになるように変更する（ステップ２５３）。映像再生管理テーブル１５３が更新されると、デコード制御管理部１４２は、各映像ＩＤのカメラＩＤとフレームレートの情報を映像処理信号Ｓ１４としてデコード制御部１２２に送信する（ステップ２５４）。デコード制御部１２２は、映像処理信号Ｓ１４を受け取ると、映像処理信号Ｓ１４で映像ＩＤごとに指定されたフレームレートでのデコード処理を行うようにデコード処理部１２１を制御する（ステップ２５５）。デコード処理部１２１でデコード処理が行われた映像データは、映像再生制御部１３０を介して映像出力信号Ｓ１２として映像表示部７０に送られる。映像表示部７０は、映像出力信号Ｓ１２の映像データを元にして、複数の映像を同時に表示する（ステップ２５６）。

所定の時間が経過すると（ステップ２５７でＹｅｓ）、フレームレートの変更の要否の判断を行う。映像処理部１００は、負荷の判定フローを実行してフレームレートの変更が必要かを判断する（ステップ２５８）。フレームレートの変更を行った場合（ステップ２５９でＹｅｓ）、フレームレート管理制御部１４３は、フレームレートを変更して映像再生管理テーブル１５３を更新する。映像再生管理テーブル１５３が更新されると、ステップ２５３に戻り、デコード制御部１２２に新たな設定値が送信されて、新たな設定値でのデコード処理が行われる。フレームレートの変更が行われなかった場合（ステップ２５９でＮｏ）、ステップ２５５に戻りその時点での設定でのデコード処理が継続される。

また、ステップ２５７で所定の時間が経過していないときは（ステップ２５７でＮｏ）、ステップ２５５に戻りその時点での設定でのデコード処理が継続される。また、所定の時間後のフレームレートの変更の動作が行われない構成とすることもできる。そのような構成とした場合は、所定の画像を検知した映像ＩＤの緊急度を、作業者が緊急度無しに設定した後に、フレームレートの変更の動作が行われるようにする。また、所定の画像を検知した際は、所定の時間を通常よりも長く設定する方法とすることもできる。

本実施形態の映像監視システムは、所定の画像など所定の画像が検知された映像のフレームレートを最大のフレームレートに上げて映像表示装置７０への表示を行っている。また、所定の画像が検知されていない映像については、最低のフレームレートに下げている。このような構成とすることにより、所定の画像が検知された場合に、複雑な処理を必要とせず所定の画像が検知された映像のフレームレートを上げるか維持しつつ、全体の処理量が大幅に増えることを防ぐことができる。映像監視システムでは、所定の画像を含むような観察の緊急度が高い画像を詳細に観察しているときに、処理能力が不足してシステムの停止等が起こる恐れは低い。よって、本実施形態の映像監視システムでは、所定の画像が検知された映像の詳細な観察をリアルタイムに可能にしつつ、他の映像についても継続的な表示が可能となる。その結果、本実施形態の映像監視システムでは、緊急度の高いような映像の詳細な観察を可能としつつ、複数の映像の同時表示を継続的に行うことが可能となる。

第２の実施形態および第３の実施形態では１画面に複数の映像を同時に表示する場合について示したが、映像の表示先は２画面以上とすることもできる。

第３の実施形態では所定の画像を検知して、優先度の変更が行われた。そのような構成に代えて、音声や温度などを検知して優先度を変更する構成としてもよい。また、河川の水深等の日常とは異なる変化を検知して優先度を変更する構成とすることもできる。音声や温度などを検知して、優先度を変更する場合には、撮影装置の周囲にセンサを備え、音声や温度情報が映像処理装置に送られる構成とする。映像処理装置は温度や音声が所定の基準値未満または基準値以上になったときに、優先度を変更してフレームレートの再設定を行う。また、フレームレートの変更を行った映像について、映像表示装置にフレームレートの変更が行われた旨の表示が行われるようにすることもできる。このような構成とすることにより、状態の変化があった箇所における映像を特別な作業を必要とせずに詳細に確認することが可能となる。

また、所定の画像を検知して優先度を変更する構成に代えて、撮影部が所定の動きをしたときに優先度を変更する構成としてもよい。例えば、作業者による操作で撮影部の方向や傾き、ズームなどを変更したときに映像の優先度を変更する。

第１の実施形態から第３の実施形態の映像処理装置または映像監視システムを、所定のフレームのグループを単位として映像圧縮を行う方式に用いる際には、次のように行うことができる。フレームのグループを単位として映像圧縮を行う方式としては、例えば、ＭＰＥＧ（Moving Picture Experts Group）方式がある。ＭＰＥＧ方式ではＧＯＰ（Group Of Picture）と呼ばれるフレームの単位で映像の圧縮が行われる。そのため、ＧＯＰを単位とせずにフレームの削減を行うと、映像の再生の不具合が生じ得る。

このような映像圧縮方式に、第１乃至第３の実施形態の技術を用いる場合は、最小フレームレートはＧＯＰの設定値に基づいた値として設定する。最小フレームレートはＧＯＰの設定値の倍数となるようにし、０に近い値として設定される。また、最大フレームレートもＧＯＰの設定値の倍数となるように設定される。デコード処理を行う際のフレームレートは、最小のフレームレートから最大のフレームレートのうち、ＧＯＰの設定値の倍数の値として設定することができる。以上のように設定することで、フレームを単位として映像の圧縮を行う方式においても、映像の再生に不具合を生じることなく、優先度に応じたフレームレートの変更が可能となる。

本発明は、ネットワークを介して撮影された映像を同時に表示する映像監視システムに利用することができる。

１ 映像生成手段
２ 負荷計測手段
３ フレームレート制御手段
１０ 映像処理部
２０ 映像デコード処理部
２１ デコード処理部
２２ デコード制御部
３０ 映像再生制御部
３１ 映像再生処理部
３２ 映像出力部
４０ 映像デコード設定管理部
４１ システム負荷制御監視部
４２ デコード制御管理部
４３ フレームレート制御管理部
４４ 再生表示情報制御管理部
５０ データ管理部
５１ 再生表示管理テーブル
５２ 負荷情報管理テーブル
５３ 映像再生管理テーブル
６０ 撮影部
６１ 撮影部
７０ 映像表示部
７１ 映像表示部
８０ ネットワーク
８１ ネットワーク
１００ 映像処理部
１２０ 映像デコード処理部
１２１ デコード処理部
１２２ デコード制御部
１３０ 映像再生制御部
１３１ 映像再生処理部
１３２ 映像出力部
１４０ 映像デコード設定管理部
１４１ システム負荷制御監視部
１４２ デコード制御管理部
１４３ フレームレート制御管理部
１４４ 再生表示情報制御管理部
１５０ データ管理部
１５１ 再生表示管理テーブル
１５２ 負荷情報管理テーブル
１５３ 映像再生管理テーブル
１６０ 映像解析部
１６１ 画像検知部
１６２ 検知用データ保存部
２０１−２１２ 映像処理の動作ステップ
２２１−２３０ 映像処理の動作ステップ
２４１−２４７ 映像処理の動作ステップ
２５１−２５９ 映像処理の動作ステップ
Ｓ１ 伝送用映像信号
Ｓ２ 映像出力信号
Ｓ３ 復元映像信号
Ｓ４ 映像処理信号
Ｓ５ 負荷計測信号
Ｓ６ 計測結果信号
Ｓ７ 設定画面信号
Ｓ１１ 伝送用映像信号
Ｓ１２ 映像出力信号
Ｓ１３ 復元映像信号
Ｓ１４ 映像処理信号
Ｓ１５ 負荷計測信号
Ｓ１６ 計測結果信号
Ｓ１７ 設定画面信号
Ｓ１８ 画像検知信号

Claims (10)

1. 複数の撮影装置からネットワークを介して入力される前記撮影装置のそれぞれの映像信号を元に、所定の設定値のフレームレートの映像をそれぞれ生成する映像生成手段と、
   複数の前記撮影装置から入力される前記映像信号に、前記映像生成手段における処理の優先度を設定する優先度設定手段と、
   前記映像生成手段が前記映像を生成する処理を行う際の負荷を計測する負荷計測手段と、
   前記負荷計測手段による前記負荷の計測結果を基に、前記所定の設定値を更新し、更新後の前記所定の設定値の前記フレームレートで、前記映像をそれぞれ生成するように前記映像生成手段を制御するフレームレート制御手段と
   を備え、
   前記フレームレート制御手段は、前記負荷が所定の基準より高いときに、前記優先度が低い少なくとも１つの前記映像信号の前記フレームレートの前記所定の設定値を、前記映像信号ごとに設定されている範囲の最小値とすることを特徴とする映像処理装置。
2. 前記フレームレート制御手段は、前記負荷が所定の基準より高いときに、間引きを行った前記フレームレートの合計があらかじめ設定された閾値を超えるまで、前記優先度が低い前記映像信号から順に、前記フレームレートの前記所定の設定値を設定されている範囲の最小値にすることを特徴とする請求項１に記載の映像処理装置。
3. 前記フレームレート制御手段は、前記負荷が所定の基準より低いときに、前記優先度が高い前記映像信号のフレームレートを上げるように前記所定の設定値を更新することを特徴とする請求項１または２に記載の映像処理装置。
4. 前記負荷計測手段は、前記映像生成手段が前記映像を生成する処理を行う際の負荷を、複数の項目について計測することを特徴とする請求項１から３いずれかに記載の映像処理装置。
5. 前記映像生成手段が生成した前記映像から所定の画像を検知する画像検知手段をさらに備え、
   前記画像検知手段が前記所定の画像を検知したときに、前記フレームレート制御手段は、前記所定の画像が検知された映像以外の映像のフレームレートを下げるように、前記所定の設定値を更新することを特徴とする請求項１から４いずれかに記載の映像処理装置。
6. 複数の撮影装置と、
   請求項１から４いずれかに記載の映像処理装置と、
   映像表示装置とを備え
   前記撮影装置が出力した映像信号が、前記映像処理装置に入力され、前記映像処理装置が生成した映像を前記映像表示装置が表示することを特徴とする映像監視システム。
7. 複数の撮影装置からネットワークを介して入力される映像信号に、処理の優先度を設定し、
   複数の前記撮影装置から前記ネットワークを介して入力される前記撮影装置のそれぞれの映像信号を元に、所定の設定値のフレームレートの映像をそれぞれ生成し、
   前記映像を生成する処理を行う際の負荷を計測し、
   前記負荷の計測結果を基に、前記負荷が所定の基準より高いときに、前記優先度が低い少なくとも１つの前記映像信号の前記フレームレートの前記所定の設定値を、前記映像信号ごとに設定されている範囲の最小値となるように更新し、
   更新後の前記所定の設定値の前記フレームレートで、前記映像をそれぞれ生成することを特徴とする映像処理方法。
8. 前記負荷が所定の基準より高いときに、間引きを行った前記フレームレートの合計があらかじめ設定された閾値を超えるまで、前記優先度が低い前記映像信号から順に、前記フレームレートの前記所定の設定値を設定されている範囲の最小値にすることを特徴とする請求項７に記載の映像処理方法。
9. 前記負荷が所定の基準より低いときに、前記優先度が高い前記映像信号のフレームレートを上げるように前記所定の設定値を更新することを特徴とする請求項７または８に記載の映像処理方法。
10. 生成した前記映像から所定の画像を検知し、
    前記所定の画像を検知したときに、前記所定の画像が検知された映像以外の映像のフレームレートを下げるように、前記所定の設定値を更新することを特徴とする請求項７から９いずれかに記載の映像処理方法。

Images