WO2014103131A1 - 画像監視システム - Google Patents

Abstract

　画像監視システム（１）は、符号化した映像信号を送信する複数の映像送信装置（２）と、複数の映像送信装置（２）から受信した映像信号を復号化し、復号化により得られる複数の画像を合成して合成画像を生成し、合成画像を再符号化した映像信号を映像受信装置（４）に送信する変換装置（３）を備える。変換装置（３）は、複数の映像送信装置（２）から受信した映像信号を復号化する際に、映像送信装置（２）から受信した映像信号の符号化パラメータを算出し、符号化パラメータに基づいて、複数の画像を合成する際に合成画像中での各画像の大きさ又はフレームレートの少なくとも一方を決定する。

Description

画像監視システム

　本発明は、複数ストリームをトランスコードする機能を備えた画像監視システムに関し、特に、複数の映像送信装置から受信した映像信号を復号化し、復号化により得られる複数の画像を合成して合成画像を生成し、合成画像を再符号化した映像信号を映像受信装置に送信する画像監視システムに関するものである。

　従来、映像ごとに映像品質を制御することにより、目的に応じた複数の映像を同一画面上で適切に表示する映像監視システムが提案されている（例えば、特許文献１参照）。この従来の映像監視システムでは、複数の映像を任意の大きさやフレームレートで合成することが可能である。

　ししかしながら、従来の映像監視システムにおいては、複数の映像を任意の大きさやフレームレートで合成するために、映像の受信側（表示制御手段や表示手段）の性能の制限内になるように、映像の送信側（映像配信装置）に対してフレームレートや圧縮率や解像度などを指示する必要があった。

特開２００２－３５１４３８号公報

　本発明は、上記背景の下でなされたものである。本発明の目的は、映像送信装置に対してフレームレート等を指示することを必要とせずに、適切な大きさやフレームレートで画像を合成することのできる画像監視システムを提供することにある。

　本発明の一の態様は、符号化した映像信号を送信する複数の映像送信装置と、複数の映像送信装置から受信した映像信号を復号化し、復号化により得られる複数の画像を合成して合成画像を生成し、合成画像を再符号化した映像信号を映像受信装置に送信する変換装置と、を備えた画像監視システムであって、変換装置は、複数の映像送信装置から受信した映像信号を復号化する際に、映像送信装置から受信した映像信号の符号化パラメータを算出する符号化パラメータ算出部と、符号化パラメータに基づいて、複数の画像を合成する際に合成画像中での各画像の大きさ又はフレームレートの少なくとも一方を決定する画像優先度決定部と、を有している。

　以下に説明するように、本発明には他の態様が存在する。したがって、この発明の開示は、本発明の一部の態様の提供を意図しており、ここで記述され請求される発明の範囲を制限することは意図していない。

図１は、本発明の第１の実施の形態における画像監視システムの構成を示す説明図 図２は、本発明の第１の実施の形態における変換装置の構成を示すブロック図 図３は、本発明の第１の実施の形態における変換装置の動作を説明するための図 図４は、本発明の第２の実施の形態における変換装置の動作を説明するための図 図５は、本発明の実施の形態における合成画像の表示例を示す図

　以下に本発明の詳細な説明を述べる。ただし、以下の詳細な説明と添付の図面は発明を限定するものではない。

　本発明の画像監視システムは、符号化した映像信号を送信する複数の映像送信装置と、複数の映像送信装置から受信した映像信号を復号化し、復号化により得られる複数の画像を合成して合成画像を生成し、合成画像を再符号化した映像信号を映像受信装置に送信する変換装置と、を備えた画像監視システムであって、変換装置は、複数の映像送信装置から受信した映像信号を復号化する際に、映像送信装置から受信した映像信号の符号化パラメータを算出する符号化パラメータ算出部と、符号化パラメータに基づいて、複数の画像を合成する際に合成画像中での各画像の大きさ又はフレームレートの少なくとも一方を決定する画像優先度決定部と、を備えた構成を有している。

　この構成により、画像監視システムにおいて、変換装置が、複数の映像送信装置から映像信号を受信し、受信した映像信号を復号化し、復号化により得られる複数の画像を合成して合成画像を生成し、合成画像を再符号化した映像信号を映像受信装置に送信する。この場合、変換装置は、映像送信装置から受信した映像信号の符号化パラメータを算出し、その符号化パラメータに基づいて、画像を合成する際の合成画像中での画像の大きさ又はフレームレートの少なくとも一方を決定する。これにより、映像送信装置に対してフレームレート等を指示することを必要とせずに、合成画像中での画像の大きさやフレームレートを適切に決定することができ、適切な大きさやフレームレートで画像が合成された合成画像を生成することができる。

　また、本発明の画像監視システムでは、符号化パラメータは、動き情報、複雑度、量子化値、解像度、ビットレート、フレームレート、伝送損失のうちの少なくとも一つである。

　この構成により、動き情報、複雑度、量子化値、解像度、ビットレート、フレームレート、伝送損失のうちの少なくとも一つに基づいて、合成画像中での画像の大きさ又はフレームレートを決定することができ、適切な大きさ又はフレームレートで画像が合成された合成画像を生成することができる。

　また、本発明の画像監視システムでは、符号化パラメータは、複雑度であり、符号化パラメータ算出部は、イントラフレームの量子化値とビットレートに基づいて複雑度を算出する構成を有している。

　この構成により、イントラフレームの量子化値とビットレートに基づいて、復号化により得られる複数の画像の複雑度を算出することができ、その複雑度に基づいて、合成画像中での画像の大きさ又はフレームレートを決定することができ、適切な大きさ又はフレームレートで画像が合成された合成画像を生成することが可能になる。

　また、本発明の画像監視システムでは、符号化パラメータは、動き情報であり、符号化パラメータ算出部は、インターフレームの動きベクトル（ＭＶ）、および量子化値とビットレートに基づいて動き情報を算出する構成を有している。

　この構成により、インターフレームの動きベクトル（ＭＶ）、および量子化値とビットレートに基づいて、復号化により得られる複数の画像の動き情報を算出することができ、そして、その動き情報に基づいて、合成画像中での画像の大きさ又はフレームレートを決定することができ、適切な大きさ又はフレームレートで画像が合成された合成画像を生成することが可能になる。

　また、本発明の画像監視システムでは、符号化パラメータは、動き情報と複雑度であり、画像優先度決定部は、映像送信装置から受信した映像信号を復号化して得られる画像を合成する際に、動き情報に基づいて画像に含まれる動き領域を決定し、動き領域の大きさおよび複雑度に基づいて動き領域の大きさを拡大または縮小する比率を決定する構成を有している。

　この構成により、映像送信装置から受信した映像信号を復号化して得られる画像を合成する際に、動き情報に基づいて画像に含まれる動き領域を決定し、動き領域の大きさおよび複雑度に基づいて動き領域の大きさを拡大または縮小する適切な比率を決定する。これにより、適切な比率で拡大または縮小した動き領域の画像を用いた合成画像を生成することが可能になる。

　また、本発明の画像監視システムでは、変換装置は、動き領域の画像を合成する合成部を備え、合成部は、比率で拡大または縮小した動き領域の画像の周辺に、動き領域の周辺の動きなし領域の画像を比率で拡大または縮小して付加する構成を有している。

　この構成により、適切な比率で拡大または縮小した動き領域の画像の周辺に、同じ比率で拡大または縮小した動きなし領域の画像が付加された合成画像を生成することができる。動き領域の画像の周辺に動きなし領域の画像が付加されることにより、動き領域の周辺の状況も把握することが可能になる。

　また、本発明の画像監視システムでは、符号化パラメータは、動き情報と複雑度であり、画像優先度決定部は、映像送信装置から受信した映像信号を復号化して得られる画像を合成する際に、動き情報に基づいて対象物の移動方向を決定し、移動方向に基づいて画像に含まれる注目領域を決定し、注目領域の大きさおよび複雑度に基づいて注目領域の大きさを拡大または縮小する比率を決定する構成を有している。

　この構成により、映像送信装置から受信した映像信号を復号化して得られる画像を合成する際に、動き情報に基づいて対象物の移動方向を決定し、移動方向に基づいて画像に含まれる注目領域を決定し、注目領域の大きさおよび複雑度に基づいて注目領域の大きさを拡大または縮小する適切な比率を決定する。これにより、適切な比率で拡大または縮小した注目領域の画像を用いた合成画像を生成することが可能になる。

　また、本発明の画像監視システムでは、変換装置は、注目領域の画像を合成する合成部を備え、合成部は、比率で拡大または縮小した注目領域の画像の周辺に、注目領域の周辺の非注目領域の画像を比率で拡大または縮小して付加する構成を有している。

　この構成により、適切な比率で拡大または縮小した注目領域の画像の周辺に、同じ比率で拡大または縮小した非注目領域の画像が付加された合成画像を生成することができる。注目領域の画像の周辺に非注目領域の画像が付加されることにより、注目領域の周辺の状況も把握することが可能になる。

　本発明の変換装置は、複数の映像送信装置から受信した映像信号を復号化し、復号化により得られる複数の画像を合成して合成画像を生成し、合成画像を再符号化した映像信号を映像受信装置に送信する変換装置であって、変換装置は、複数の映像送信装置から受信した映像信号を復号化する際に、映像送信装置から受信した映像信号の符号化パラメータを算出する符号化パラメータ算出部と、符号化パラメータに基づいて、複数の画像を合成する際に合成画像中での各画像の大きさ又はフレームレートの少なくとも一方を決定する画像優先度決定部と、を備えた構成を有している。

　本発明の方法は、複数の映像送信装置が、符号化した映像信号を変換装置に送信し、変換装置が、複数の映像送信装置から受信した映像信号を復号化し、復号化により得られる複数の画像を合成して合成画像を生成し、合成画像を再符号化した映像信号を映像受信装置に送信する方法であって、変換装置は、複数の映像送信装置から受信した映像信号を復号化する際に、映像送信装置から受信した映像信号の符号化パラメータを算出し、符号化パラメータに基づいて、複数の画像を合成する際に合成画像中での各画像の大きさ又はフレームレートの少なくとも一方を決定する。

　本発明のプログラムは、複数の映像送信装置から受信した映像信号を復号化し、復号化により得られる複数の画像を合成して合成画像を生成し、合成画像を再符号化した映像信号を映像受信装置に送信する変換装置で実行されるプログラムであって、プログラムは、コンピュータに、複数の映像送信装置から受信した映像信号を復号化する際に、映像送信装置から受信した映像信号の符号化パラメータを算出する処理と、符号化パラメータに基づいて、複数の画像を合成する際に合成画像中での各画像の大きさ又はフレームレートの少なくとも一方を決定する処理と、を実行させる。

　これらの変換装置、方法、プログラムによっても、上記のシステムと同様に、変換装置は、映像送信装置から受信した映像信号の符号化パラメータを算出し、その符号化パラメータに基づいて、画像を合成する際の合成画像中での画像の大きさ又はフレームレートの少なくとも一方を決定する。これにより、映像送信装置に対してフレームレート等を指示することを必要とせずに、合成画像中での画像の大きさやフレームレートを適切に決定することができ、適切な大きさやフレームレートで画像が合成された合成画像を生成することができる。

　本発明は、映像送信装置に対してフレームレート等を指示することを必要とせずに、適切な大きさやフレームレートで画像を合成することができる。

　以下、本発明の実施の形態の画像監視システムについて、図面を用いて説明する。本実施の形態では、複数ストリームをトランスコードする機能を備えた画像監視システムの場合を例示する。

（第１の実施の形態）
　本発明の第１の実施の形態の画像監視システムの構成を、図面を参照して説明する。図１は、本実施の形態の画像監視システムの構成を示す説明図である。図１に示すように、画像監視システム１は、カメラ機能を有する複数の映像送信装置２と、変換装置３と、映像受信装置４で構成されている。映像送信装置２と変換装置３はネットワーク５を介して接続されており、変換装置３と映像受信装置４もネットワーク６を介して接続されている。なお、ネットワーク５および６はそれぞれ有線であってもよいし、無線であってもよい。例えばネットワーク５を近距離無線ネットワークのＷｉＦｉ（登録商標）通信ネットワークとし、ネットワーク６を公衆無線回線である３Ｇ、ＬＴＥなどのネットワークとしてよいし、いずれか片方を有線（イーサネット（登録商標）、光通信、ＰＬＣ等）としてもよい。もちろん共に有線とすることも可能である。

　映像送信装置２は、映像信号を符号化して変換装置３へ送信する機能を備えている。本実施の形態では、映像送信装置２は、据付型の映像送信装置２（固定カメラ）である。変換装置３は、複数の映像送信装置２から受信した映像信号を復号化し、復号化により得られる複数の画像を合成して合成画像を生成し、合成画像を再符号化した映像信号を映像受信装置４に送信する機能を備えている。映像受信装置４は、変換装置３から受信した合成画像を表示する機能を備えている。

　ここで、変換装置３の構成について、図２のブロック図を参照しながら詳細に説明する。図２に示すように、変換装置３は、映像送信装置２からの映像信号を受信する受信部１０と、受信した映像信号を復号化する復号化部１１と、復号化により得られる複数の画像を合成して合成画像を生成する合成部１２と、合成画像を再符号化する符号化部１３と、再符号化した映像信号を映像受信装置４に送信する送信部１４を備えている。

　この変換装置３は、複数の映像送信装置２から受信した映像信号を復号化する際に、映像送信装置２から受信した映像信号の符号化パラメータを算出する符号化パラメータ算出部１５と、符号化パラメータに基づいて、複数の画像を合成する際に合成画像中での各画像の大きさ又はフレームレートの少なくとも一方を決定する画像優先度決定部１６を備えている。また、変換装置３は、符号化パラメータ算出部１５や画像優先度決定部１６などを制御する制御部１７と、復号化部１１や合成部１２などで得られる画像や合成画像を記憶する記憶部１８を備えている。

　符号化パラメータとしては、動き情報を用いることができる。動き情報には、動き領域（の大きさ）と動き量が含まれる。符号化パラメータ算出部１５は、インターフレーム（ＰフレームやＢフレーム）の動きベクトル（ＭＶ：Motion Vector）に基づいて、その画像の動き領域、動き量を推定するか、あるいは量子化値とビットレートに基づいて、その画像の動き量を推定する。そして、画像優先度決定部１６は、動き領域が大きいほど、合成画像中でのその画像の大きさを大きく（優先度を高く）する。また、画像優先度決定部１６は、動き量が大きいほど、合成画像中でのその画像のフレームレートを高く（優先度を高く）する。

　例えば、符号化パラメータ算出部１５は、複数の映像送信装置２から得られる各画像について、インターフレーム（ＰフレームやＢフレーム）の量子化値ＱＰと発生符号量Ｃを検出し、量子化値に対する発生符号量（＝Ｃ／ｆ（ＱＰ））を「動き量」として算出する。画像優先度決定部１６は、各画像の動き量Ｃ／ｆ（ＱＰ）を比較して、動き量Ｃ／ｆ（ＱＰ）が大きいほど、その画像のフレームレートを高くする。動き量の比較は、基準値との比較（例えば、平均より大：＋１、平均より小：－１）で行ってもよく、相対的な比較（最も小さい：１、次に大きい：２、その次に大きい：３、最も大きい：４）で行ってもよい。

　また、画像優先度決定部１６は、動き量Ｃ／ｆ（ＱＰ）が大きく増加した場合（例えば、シーンチェンジをした場合）には、合成画像中でのその画像の大きさを大きくする。その場合、動き量の比較は、例えば、第２の基準値との比較（例えば、上限値より大きいか否か）で行ってもよい。

　また、符号化パラメータとしては、複雑度を用いることができる。符号化パラメータ算出部１５は、イントラフレーム（Ｉフレーム）の量子化値とビットレートに基づいて、その画像の複雑度を算出する。そして、画像優先度決定部１６は、複雑度が大きいほど、合成画像中でのその画像の大きさを大きく（優先度を高く）する。

　例えば、符号化パラメータ算出部１５は、複数の映像送信装置２から得られる各画像について、イントラフレーム（Ｉフレーム）の量子化値ＱＰと発生符号量Ｃを検出し、量子化値に対する発生符号量（＝Ｃ／ｆ（ＱＰ））を「複雑度」として算出する。画像優先度決定部１６は、各画像の複雑度Ｃ／ｆ（ＱＰ）を比較して、複雑度Ｃ／ｆ（ＱＰ）が大きいほど、その画像の大きさを大きく。複雑度の比較は、基準値との比較（例えば、平均より大：＋１、平均より小：－１）で行ってもよく、相対的な比較（最も小さい：１、次に大きい：２、その次に大きい：３、最も大きい：４）で行ってもよい。

　なお、符号化パラメータとしては、量子化値ＱＰ、解像度、ビットレート、フレームレート、伝送損失なども用いることができる。例えば、画像優先度決定部１６は、量子化値ＱＰが小さいほど、合成画像中でのその画像の大きさを大きく（優先度を高く）する。また、画像優先度決定部１６は、解像度が大きいほど、合成画像中でのその画像の大きさを大きく（優先度を高く）する。また、画像優先度決定部１６は、ビットレートが大きいほど、合成画像中でのその画像の大きさを大きく（優先度を高く）する。また、画像優先度決定部１６は、フレームレートが大きいほど、合成画像中でのその画像のフレームレートを高く（優先度を高く）する。また、画像優先度決定部１６は、伝送損失が小さいほど、合成画像中でのその画像のフレームレートを高く（優先度を高く）する。

　以上のように構成された第１の実施の形態の画像監視システム１について、図３を参照してその動作を説明する。

　図３に示すように、画像優先度決定部１６は、映像送信装置２から受信した映像信号を復号化して得られる画像を合成する際に、動き情報に基づいて画像に含まれる動き領域を決定し、動き領域の大きさおよび複雑度に基づいて動き領域の大きさを拡大または縮小する比率を決定する。そして、合成部１２は、比率で拡大または縮小した動き領域の画像の周辺に、動き領域の周辺の動きなし領域の画像を比率で拡大または縮小して付加する。

　より具体的には、まず、図３（ａ）に示すように、マクロブロック単位の動きベクトル（ＭＶ）に基づいて、動き領域であるか否かを判定する。例えば、動きベクトル（ＭＶ）の値が所定の閾値より大きい場合には「動き領域」であると判定し、動きベクトル（ＭＶ）の値が所定の閾値以下の場合には「動きなし領域」（斜線で図示）であると判定する。

　つぎに、図３（ｂ）に示すように、それぞれの動き領域について、所定の基準点（例えば、各４隅）を配置し、図３（ｃ）に示すように、動き領域の大きさや複雑度に応じた比率で、それぞれの動き領域を拡大／縮小する。動き領域の拡大／縮小は、それぞれの動き領域が互いに重ならないように行われる。そして、図３（ｄ）に示すように、それぞれの動き領域の周りに、各動き領域の周辺の動きなし領域を、上記と同じ比率で拡大／縮小して配置する。なお、動きなし領域を配置せずに、無信号としてもよい。これにより合成画像のビットレートを抑えつつ効率的な符号化が可能となる。

　このような第１の実施の形態の画像監視システム１によれば、映像送信装置２に対してフレームレート等を指示することを必要とせずに、適切な大きさやフレームレートで画像を合成することができる。

　すなわち、本実施の形態では、画像監視システム１において、変換装置３が、複数の映像送信装置２から映像信号を受信し、受信した映像信号を復号化し、復号化により得られる複数の画像を合成して合成画像を生成し、合成画像を再符号化した映像信号を映像受信装置４に送信する。この場合、変換装置３は、映像送信装置２から受信した映像信号の符号化パラメータを算出し、その符号化パラメータに基づいて、画像を合成する際の合成画像中での画像の大きさ又はフレームレートの少なくとも一方を決定する。これにより、映像送信装置２に対してフレームレート等を指示することを必要とせずに、合成画像中での画像の大きさやフレームレートを適切に決定することができ、適切な大きさやフレームレートで画像が合成された合成画像を生成することができる。

　例えば、本実施の形態では、動き情報、複雑度、量子化値、解像度、ビットレート、フレームレート、伝送損失のうちの少なくとも一つに基づいて、合成画像中での画像の大きさ又はフレームレートを決定することができ、適切な大きさ又はフレームレートで画像が合成された合成画像を生成することができる。

　この場合、イントラフレームの量子化値とビットレートに基づいて、復号化により得られる複数の画像の複雑度を算出することができ、その複雑度に基づいて、合成画像中での画像の大きさ又はフレームレートを決定することができ、適切な大きさ又はフレームレートで画像が合成された合成画像を生成することが可能になる。

　また、インターフレームの動きベクトル（ＭＶ）、および量子化値とビットレートに基づいて、復号化により得られる複数の画像の動き情報を算出することができ、その動き情報に基づいて、合成画像中での画像の大きさ又はフレームレートを決定することができ、適切な大きさ又はフレームレートで画像が合成された合成画像を生成することが可能になる。

　本実施の形態では、映像送信装置２が据付型であり、映像送信装置２から受信した映像信号を復号化して得られる画像を合成する際に、動き情報に基づいて画像に含まれる動き領域を決定し、動き領域の大きさおよび複雑度に基づいて動き領域の大きさを拡大または縮小する適切な比率を決定する。これにより、適切な比率で拡大または縮小した動き領域の画像を用いた合成画像を生成することが可能になる。

　また、本実施の形態では、適切な比率で拡大または縮小した動き領域の画像の周辺に、同じ比率で拡大または縮小した動きなし領域の画像が付加された合成画像を生成することができる。動き領域の画像の周辺に動きなし領域の画像が付加されることにより、動き領域の周辺の状況も把握することが可能になる。また、本実施の形態では複数のインターフレームまたはイントラフレームを用いた画像優先度の決定処理について説明したが、ＧＯＰ（Group of Pictures）単位で行うこともできる。

（第２の実施の形態）
　次に、本発明の第２の実施の形態の画像監視システム１について説明する。ここでは、第２の実施の形態の画像監視システム１が、第１の実施の形態と相違する点を中心に説明する。ここで特に言及しない限り、本実施の形態の構成および動作は、第１の実施の形態と同様である。

　本実施の形態では、映像送信装置２は、移動体（例えば監視員）への取付型の映像送信装置２（携帯カメラ）である。この場合、図４に示すように、画像優先度決定部１６は、映像送信装置２から受信した映像信号を復号化して得られる画像を合成する際に、動きベクトル（ＭＶ）に基づいて対象物（例えば監視対象）の移動方向を推定し、移動方向に基づいて画像に含まれる注目領域を決定し、注目領域の大きさおよび複雑度に基づいて注目領域の大きさを拡大または縮小する比率を決定する。そして、合成部１２は、比率で拡大または縮小した注目領域の画像の周辺に、注目領域の周辺の非注目領域の画像を比率で拡大または縮小して付加する。

　より具体的には、まず、図４（ａ）に示すように、マクロブロック単位の動きベクトル（ＭＶ）に基づいて、対象物（例えば監視対象）の移動方向を推定する。この移動方向の推定は、揺れ補正を行った後に、公知の画像処理技術を用いて行われる。

　つぎに、図４（ｂ）に示すように、上記の移動方向に基づいて、対象物の移動先を推定し、注目領域（移動先を含む領域）を決定する。そして、図４（ｃ）に示すように、注目領域の大きさや複雑度に応じた比率で、それぞれの注目領域を拡大／縮小する。注目領域の拡大／縮小は、それぞれの注目領域が互いに重ならないように行われる。そして、図４（ｄ）に示すように、それぞれの注目領域の周りに、各注目領域の周辺の非注目領域を、上記と同じ比率で拡大／縮小して配置する。

　このような第２の実施の形態の画像監視システム１によっても、第１の実施の形態と同様の作用効果が奏される。

　本実施の形態では、映像送信装置２が移動体への取付型であり、映像送信装置２から受信した映像信号を復号化して得られる画像を合成する際に、動き情報に基づいて対象物の移動方向を決定し、移動方向に基づいて画像に含まれる注目領域を決定し、注目領域の大きさおよび複雑度に基づいて注目領域の大きさを拡大または縮小する適切な比率を決定する。これにより、適切な比率で拡大または縮小した動き領域の画像を用いた合成画像を生成することが可能になる。

　また、本実施の形態では、適切な比率で拡大または縮小した注目領域の画像の周辺に、同じ比率で拡大または縮小した非注目領域の画像が付加された合成画像を生成することができる。注目領域の画像の周辺に非注目領域の画像が付加されることにより、注目領域の周辺の状況も把握することが可能になる。

　以上、本発明の実施の形態を例示により説明したが、本発明の範囲はこれらに限定されるものではなく、請求項に記載された範囲内において目的に応じて変更・変形することが可能である。

　例えば、以上の説明では、映像送信装置２の数が４つである場合について例示したが、映像送信装置２の数はこれに限定されない。また、合成画像の表示の仕方は、図５（ａ）に示すように、画面を等分割（例えば、４分割）して、それぞれの画像を表示するようにしてもよく、図５（ｂ）に示すように、画面の下部に、それぞれの画像（合成画像）を表示するとともに、画面の上部に、優先度の最も高い画像（注目すべき画像）を大きく表示するようにしてもよい。

　以上に現時点で考えられる本発明の好適な実施の形態を説明したが、本実施の形態に対して多様な変形が可能なことが理解され、そして、本発明の真実の精神と範囲内にあるそのようなすべての変形を添付の請求の範囲が含むことが意図されている。

　以上のように、本発明にかかる画像監視システムは、映像送信装置に対してフレームレート等を指示することを必要とせずに、適切な大きさやフレームレートで画像を合成することができるという効果を有し、複数ストリームをトランスコードする機能を備えた画像監視システム等として有用である。

　１　画像監視システム
　２　映像送信装置
　３　変換装置
　４　映像受信装置
　５　ネットワーク
　６　ネットワーク
　１０　受信部
　１１　復号化部
　１２　合成部
　１３　符号化部
　１４　送信部
　１５　符号化パラメータ算出部
　１６　画像優先度決定部
　１７　制御部
　１８　記憶部

Claims (11)

1. 　符号化した映像信号を送信する複数の映像送信装置と、
   　前記複数の映像送信装置から受信した映像信号を復号化し、前記復号化により得られる複数の画像を合成して合成画像を生成し、前記合成画像を再符号化した映像信号を映像受信装置に送信する変換装置と、
   を備えた画像監視システムであって、
   　前記変換装置は、
   　前記複数の映像送信装置から受信した映像信号を復号化する際に、前記映像送信装置から受信した映像信号の符号化パラメータを算出する符号化パラメータ算出部と、
   　前記符号化パラメータに基づいて、前記複数の画像を合成する際に前記合成画像中での各画像の大きさ又はフレームレートの少なくとも一方を決定する画像優先度決定部と、
   を有することを特徴とする画像監視システム。
2. 　前記符号化パラメータは、動き情報、複雑度、量子化値、解像度、ビットレート、フレームレート、伝送損失のうちの少なくとも一つであることを特徴とする請求項１に記載の画像監視システム。
3. 　前記符号化パラメータは、複雑度であり、
   　前記符号化パラメータ算出部は、イントラフレームの量子化値とビットレートに基づいて前記複雑度を算出することを特徴とする請求項１に記載の画像監視システム。
4. 　前記符号化パラメータは、動き情報であり、
   　前記符号化パラメータ算出部は、インターフレームの量子化値とビットレートに基づいて前記動き情報を算出することを特徴とする請求項１に記載の画像監視システム。
5. 　前記符号化パラメータは、動き情報と複雑度であり、
   　前記画像優先度決定部は、前記映像送信装置から受信した映像信号を復号化して得られる画像を合成する際に、前記動き情報に基づいて前記画像に含まれる動き領域を決定し、前記動き領域の大きさおよび前記複雑度に基づいて前記動き領域の大きさを拡大または縮小する比率を決定することを特徴とする請求項１に記載の画像監視システム。
6. 　前記変換装置は、前記動き領域の画像を合成する合成部を備え、
   　前記合成部は、前記比率で拡大または縮小した前記動き領域の画像の周辺に、前記動き領域の周辺の動きなし領域の画像を前記比率で拡大または縮小して付加することを特徴とする請求項５に記載の画像監視システム。
7. 　前記符号化パラメータは、動き情報と複雑度であり、
   　前記画像優先度決定部は、前記映像送信装置から受信した映像信号を復号化して得られる画像を合成する際に、前記動き情報に基づいて対象物の移動方向を決定し、前記移動方向に基づいて前記画像に含まれる注目領域を決定し、前記注目領域の大きさおよび前記複雑度に基づいて前記注目領域の大きさを拡大または縮小する比率を決定することを特徴とする請求項１に記載の画像監視システム。
8. 　前記変換装置は、前記注目領域の画像を合成する合成部を備え、
   　前記合成部は、前記比率で拡大または縮小した前記注目領域の画像の周辺に、前記注目領域の周辺の非注目領域の画像を前記比率で拡大または縮小して付加することを特徴とする請求項７に記載の画像監視システム。
9. 　複数の映像送信装置から受信した映像信号を復号化し、前記復号化により得られる複数の画像を合成して合成画像を生成し、前記合成画像を再符号化した映像信号を映像受信装置に送信する変換装置であって、
   　前記変換装置は、
   　前記複数の映像送信装置から受信した映像信号を復号化する際に、前記映像送信装置から受信した映像信号の符号化パラメータを算出する符号化パラメータ算出部と、
   　前記符号化パラメータに基づいて、前記複数の画像を合成する際に前記合成画像中での各画像の大きさ又はフレームレートの少なくとも一方を決定する画像優先度決定部と、
   を有することを特徴とする変換装置。
10. 　複数の映像送信装置が、符号化した映像信号を変換装置に送信し、前記変換装置が、前記複数の映像送信装置から受信した映像信号を復号化し、前記復号化により得られる複数の画像を合成して合成画像を生成し、前記合成画像を再符号化した映像信号を映像受信装置に送信する方法であって、
    　前記変換装置は、
    　前記複数の映像送信装置から受信した映像信号を復号化する際に、前記映像送信装置から受信した映像信号の符号化パラメータを算出し、
    　前記符号化パラメータに基づいて、前記複数の画像を合成する際に前記合成画像中での各画像の大きさ又はフレームレートの少なくとも一方を決定することを特徴とする方法。
11. 　複数の映像送信装置から受信した映像信号を復号化し、前記復号化により得られる複数の画像を合成して合成画像を生成し、前記合成画像を再符号化した映像信号を映像受信装置に送信する変換装置で実行されるプログラムであって、
    　前記プログラムは、コンピュータに、
    　前記複数の映像送信装置から受信した映像信号を復号化する際に、前記映像送信装置から受信した映像信号の符号化パラメータを算出する処理と、
    　前記符号化パラメータに基づいて、前記複数の画像を合成する際に前記合成画像中での各画像の大きさ又はフレームレートの少なくとも一方を決定する処理と、
    を実行させることを特徴とするプログラム。

Images