JPWO2008056421A1 - ネットワーク映像合成表示システム - Google Patents

Abstract

複数のカメラ１０１、１０２、１０３で撮影したカメラ映像を、複数の送信装置１１０、１１１、１１２を用いてネットワーク経由でマルチキャスト送信し、合成パラメータ算出装置１０５は前記カメラ映像を用いて、表示装置１１３、１１４、１１５、１１６に表示させる表示映像を合成するのに必要な合成パラメータを映像処理装置対応に算出し、この合成パラメータを映像処理装置１０６、１０７、１０８、１０９に送信し、映像処理装置１０６、１０７、１０８、１０９はこの合成パラメータに基づいて、カメラ映像から表示映像を合成する。これにより、表示映像の合成処理を各映像処理装置で分散して行う。

Description

ネットワークに接続された複数のカメラで撮影した映像を、ネットワークに接続された複数の表示装置に表示させるネットワーク映像合成表示システムに関するものである。

遠隔地のカメラで撮影した映像を表示する機能をもつ装置としては、テレビをはじめとして数多く存在する。また、近年では、インターネット等のネットワークの発展に伴い、ネットワークに接続されたカメラで撮影した映像をパソコンに表示させることも一般的におこなわれている。また、複数のカメラで撮影した映像を合成することにより、１つのカメラで撮影できる範囲よりも広い範囲の映像を表示する表示システムも提案されている（例えば特許文献１）。また、大きな映像を表示するために複数の表示処理装置の映像をつなぎ合わせて１つの大きな映像として表示するマルチ大画面装置も製品化されている。

特開２００２―２４４６８３号公報

しかしながら、複数のカメラで撮影した映像から１つの合成映像を作成し、この合成映像を遠隔地に設置した表示装置にネットワーク経由で送信し、表示装置は受信した合成映像を表示するシステムにおいては、カメラ台数の増加に伴い映像合成処理の負荷が大きくなるため、映像合成処理がシステム動作のボトルネックとなってしまう。即ち、同時に処理できるカメラ映像の数が映像合成の処理能力により制限されてしまうという課題がある。

また、カメラ台数の増加に伴い合成映像のデータ量が増加するので、合成映像のネットワーク送信時のネットワーク負荷が増大してしまうという課題もある。また、表示装置が複数の表示装置で構成され、複数の表示装置の表示映像を組み合わせて一つの合成映像を表示させる場合には、各表示装置は自己の表示領域に合わせて受信した合成映像の一部を分割・選択する処理も必要であり、表示装置の処理負荷も高くなるという課題もある。

本発明はかかる課題を解決するためになされたものであり、カメラ台数の増加による映像合成処理のボトルネックを解消するとともに、映像伝送におけるネックワークの通信トラヒックを低減できる、ネットワーク映像合成表示システムを得ることを目的とする。

本発明に係るネットワーク映像合成表示システムは、複数のカメラで撮影したカメラ映像を、複数の送信装置を用いてネットワーク経由でマルチキャスト送信し、合成パラメータ算出装置は前記カメラ映像を用いて、各表示装置に表示させる表示映像を合成するのに必要な合成パラメータを映像処理装置対応に算出し、この合成パラメータを各映像処理装置に送信し、映像処理装置はこの合成パラメータに基づいて、カメラ映像から表示映像を合成するようにしたものである。

本発明に係るネットワーク映像合成表示システムによれば、各映像処理装置が、一つの表示装置に表示させる表示映像のみ合成処理するようにしたため、１つの映像処理装置ですべての表示装置に表示させる映像を合成処理する場合と比較して、処理負荷が集中せず、合成処理のボトルネックが発生しない効果がある。また、ネットワーク上で合成映像を送信する必要がないため、ネットワーク負荷を低減できるという効果もある。

本発明の実施の形態１に係わるネットワーク映像合成表示システムの構成図である。 複数のカメラで撮影したカメラ映像の相互関係を示す図である。 本発明の実施の形態１に係わる合成パラメータ算出装置の動作フローを示す図である。 映像補正処理後の各カメラのカメラ映像を示す図である。 各カメラ映像の共通映像領域を示す図である。 映像領域の設定例を示す図である。 映像領域の分割例を示す図である。 表示領域とカメラ映像との対応関係の一例を示す図である。 合成パラメータの設定内容を示す図である。 映像処理装置の動作フローを示す図である。 映像処理装置における映像合成方法を示す図である。 表示装置に表示した合成後の全ての映像を示す図である。 本発明の実施の形態２に係わる合成パラメータ算出装置の動作フローを示す図である。 本発明の実施の形態３に係わるネットワーク映像合成表示システムの構成図である。

符号の説明

１０１、１０２、１０３：カメラ、１０４：ネットワーク、１０５：合成パラメータ算出装置、１０６、１０７、１０８、１０９：映像処理装置、１１０、１１１、１１２：送信装置、１１３、１１４、１１５、１１６：表示装置

実施の形態１．
本発明の実施の形態１によるネットワーク映像合成表示システムの構成を図１に基づいて説明する。このネットワーク映像合成表示システムは、映像を撮影するためのカメラ１０１、１０２、１０３と、これらのカメラで撮影した映像をネットワーク１０４を介して合成パラメータ算出装置１０５及び映像処理装置１０６、１０７、１０８、１０９にマルチキャスト送信する送信装置１１０、１１１、１１２と、複数のカメラ映像を合成する際に使用する合成パラメータを算出し、算出した合成パラメータをネットワーク１０４を介して映像処理装置１０６、１０７、１０８、１０９に送信する合成パラメータ算出装置１０５と、送信装置１１０、１１１、１１２から受信したカメラ映像及び合成パラメータ算出装置１０５から受信した合成パラメータとに基づいて、表示映像を合成する映像処理装置１０６、１０７、１０８、１０９と、合成した表示映像を表示する表示装置１１３、１１４、１１５、１１６とから構成される。

なお、ネットワーク１０４はマルチキャスト伝送をサポートするネットワークであり、インターネット、専用通信回線、ＬＡＮ等のいずれでもよい。また、図１では３台のカメラと４台の表示装置を用いているが、カメラの台数及び表示装置の台数はこれに限るものではない。

次に、実施の形態１によるネットワーク映像合成表示システムの動作を説明する。図２は風景２０１を３台のカメラ１０１、１０２、１０３で撮影した映像の相互関係を示した例である。図２（ａ）において、カメラ１０１が撮影した映像をカメラ映像２０２、カメラ１０２が撮影した映像をカメラ映像２０３、カメラ１０３が撮影した映像をカメラ映像２０４とする。図２（ａ）に示すように、カメラ映像２０２、２０３、２０４は部分的に他のカメラ映像と重なる映像領域を持ち、全体で風景２０１をカバーするように撮影するものとする。但し、カメラの設置においてカメラ間相互の位置姿勢を厳密に合わせることは困難であるため、一般的に図に示すように各カメラ映像は異なった傾きやスケールを持つ。従って、カメラ映像２０２、２０３、２０４を表示装置１１３、１１４、１１５、１１６に表示させる際に、単純にカメラ映像を並列的に表示させても図２（ｂ）に示すように、各表示映像の境界領域が連続しないことになる。なお、実施の形態１においては、カメラ１０１、１０２、１０３は固定して設置するものとし、カメラのアングル等の設定は撮影期間を通じて変動させないものとする。

カメラ１０１はカメラ映像２０２を送信装置１１０に出力する。同様に、カメラ１０２はカメラ映像２０３を送信装置１１１に出力し、カメラ１０３はカメラ映像２０４を送信装置１１２に出力する。

送信装置１１０は、カメラ１０１が撮影したカメラ映像２０２をネットワーク送信に適合する形式に変換して、ネットワーク１０４経由で合成パラメータ算出装置１０５及び映像処理装置１０６、１０７、１０８、１０９にマルチキャスト送信する。同様に、送信装置１１１、１１２はそれぞれカメラ１０２、１０３が撮影したカメラ映像２０３、２０４を、合成パラメータ算出装置１０５及び映像処理装置１０６、１０７、１０８、１０９にマルチキャスト送信する。

合成パラメータ算出装置１０５は、映像処理装置１０６、１０７、１０８、１０９が表示装置１１３、１１４、１１５、１１６に表示させる表示映像をカメラ映像２０２、２０３、２０４を使って合成する際に使用する合成パラメータを算出し、この算出した合成パラメータを映像処理装置１０６、１０７、１０８、１０９に送信する。なお、合成パラメータは各映像処理装置対応に算出するものであり、各各映像処理装置にはそれぞれ対応する合成パラメータのみを送信する。図３は合成パラメータ算出装置１０５の動作フローを示したものである。以下、図に基づいて合成パラメータ算出装置１０５の動作を説明する。

合成パラメータ算出装置１０５は、まず送信装置１１０、１１１、１１２からカメラ映像２０２、２０３、２０４を受信する（映像受信処理：ステップＳ３０１）。次に、受信したカメラ映像２０２、２０３、２０４を比較し、各カメラ映像間の共通部分を検出する（映像比較処理：ステップＳ３０２）。ここで、各カメラ映像間の共通部分を検出する方法は限定しないが、一般的な手法の一つとして、各映像の特徴的な点を抽出し、その特徴点が各映像に共通にあるかをチェックする方法がある。具体的な手法としてSIFT(Scale Invariant Feature Transform)がある。

次に、受信したカメラ映像の共通部分がずれなく重ね合わせられるように、各映像間のずれを補正するための映像補正パラメータを求める（映像補正パラメータ生成処理：ステップＳ３０３）。

ここで、映像補正パラメータの役割を説明する。カメラ映像２０２、２０３、２０４は、異なったカメラ１０１、１０２、１０３で撮影されているため、映像の縮尺、傾き、カメラの視点などが異なり、カメラ映像をそのまま重ね合わせようとしても、ずれが生じてしまう。この為、各カメラ映像の共通部分がずれなく重なるようにカメラ映像２０２、２０３、２０４を補正する必要がある。図４は、カメラ映像２０２、２０３、２０４を映像補正した補正映像４０１、４０２、４０３を示し、各補正映像内の共通の物体が同じ傾き、同じ大きさを持つ状態であることを示している。映像補正パラメータは、このようなカメラ映像対応の映像補正量を指定するパラメータである。

なお、本実施の形態では、映像補正パラメータの具体的な形式、導出手法は限定しないが、例えば遠景を撮影した場合には、各映像間で４点以上の共通点を検出できれば、補正パラメータとして平面射影変換(Homography)が求められることが一般に知られている。

次に、輝度や色等の画質を調整するための画質調整パラメータを生成する（画質調整パラメータ生成処理：ステップＳ３０４）。図５は、図４に示した補正映像を重ね合わせた様子を示す。図５で図４と同一部分は同一符号で示す。共通映像領域５０１は補正映像４０１と補正映像４０２を重ね合わせる際の共通する映像領域を示し、共通映像領域５０２は補正映像４０２と補正映像４０３を重ね合わせる際の共通する映像領域を示す。画像合成の際には、共通映像領域５０１、５０２部分は２つの補正映像が加算され、単独の映像領域部分とは輝度が異なってしまうため、輝度を調整する必要がある。また、光の反射やカメラパラメータの違いにより共通映像領域部分の色が映像間で異なる場合には、色成分も調整する必要がある。画質調整パラメータは、このように各補正映像を重ね合わせた際に映像間の画質にムラが生じないようにするための画質調整量を規定するものである。画質調整パラメータの生成処理は、色補正、ブレンディングとも呼ばれ、映像合成する際の調整手法として各種提案されている。

次に、表示装置１１３、１１４、１１５、１１６で表示する映像領域を設定する（表示領域設定処理：ステップＳ３０５）。図５に示すように、ステップＳ３０４の終了時における補正映像４０１、４０２、４０３からなる合成映像全体の領域形状は、凹凸形状であるのが一般的である。従って、その形状は映像を表示する表示装置１１３、１１４、１１５、１１６の各表示領域を合わせた表示領域全体の形状とは通常異なることになる。その為、表示装置の表示領域全体の形状に合わせて、表示する映像領域を設定する必要がある。

ここでは、表示装置１１３、１１４、１１５、１１６の表示領域を合わせた全体形状が長方形であるとして説明する。図６に、映像領域の設定例として、映像領域６０１と映像領域６０２の２つのケースを示す。表示装置１１３、１１４、１１５、１１６の表示領域全体の形状が長方形である為、映像領域６０１、６０２の形状はいずれも長方形である。映像領域６０１の場合、その領域内には、補正映像４０１、４０２、４０３のいずれの映像にも含まれない領域が存在するので、そのような領域は黒などあらかじめ決められた色で塗りつぶすなどの処理が必要となる。これに対し、映像領域６０２は、その領域内が補正映像４０１、４０２、４０３のいずれかに含まれるような最大長方形を映像領域として設定した例である。以後の説明では映像領域６０２を表示領域として設定したものとして説明を行う。

次に、映像処理装置１０６、１０７、１０８、１０９に送信する合成パラメータを設定する（合成パラメータ設定処理：ステップＳ３０６）。ステップＳ３０６では、まず、表示領域設定処理Ｓ３０５にて設定した映像領域６０２を表示装置１１３、１１４、１１５、１１６の各表示領域の形状に合わせて分割する。ここでは、図７に示すように、映像領域６０２を４つの合同な長方形の領域に分割し、それぞれ表示装置１１３、１１４、１１５、１１６で表示する表示領域７０２、７０３、７０４、７０５とする。

次に、各表示領域７０２、７０３、７０４、７０５と補正映像４０１、４０２、４０３との合成の対応関係を決定する。図８は、この対応関係の一例を示したものである。この例では、まず表示領域７０２に表示する映像は補正映像４０１と４０２とから合成し、表示領域７０３に表示する映像は補正映像４０２と４０３とから合成し、表示領域７０４に表示する映像は補正映像４０１と４０２とから合成し、表示領域７０５に表示する映像は補正映像４０２と４０３とから合成するものとする。そして、各表示領域を合成するのに必要な各補正映像から切り出す部分領域を決定する。例えば、表示領域７０２の合成用として、表示領域７０２と補正映像４０１との共通部分である部分領域７０２ａ、及び表示領域７０２と補正映像４０２の共通部分である部分領域７０２ｂの２の部分領域を、補正映像４０１と４０２から抽出する部分領域として設定する。ここで、図８に示すように部分領域７０２ａと７０２ｂは重畳する領域を有している。また、部分領域７０２ａ、７０２ｂ各々の表示領域７０２における表示位置も計算する。

次に、これまでに求めた各値を使って、映像処理装置１０６、１０７、１０８、１０９が映像合成処理する際に使用する合成パラメータを設定する。合成パラメータは、受信すべきカメラ映像を送信する送信装置を指定する「映像選択パラメータ」、受信したカメラ映像から表示映像を合成する際の映像合成処理内容を指定する「映像処理パラメータ」からなる。また、「映像処理パラメータ」は、受信したカメラ映像のうち映像合成処理で使用する部分領域を指定する「領域範囲パラメータ」と、カメラ映像内の点を表示領域内の対応する点にマッピングする変換行列で表現できる「映像変換パラメータ」と、輝度、色度等を補正するための「画質調整パラメータ」とからなる。ここで、変換行列は映像補正パラメータ生成処理Ｓ３０３で生成した映像のスケールや傾きの補正量である映像補正パラメータと、「領域範囲パラメータ」で指定した各部分領域と表示領域との対応関係とから算出できる。

一例として、映像処理装置１０６が使用する合成パラメータを図９に示す。映像処理装置１０６は送信装置１１０から受信したカメラ映像２０２と送信装置１１１から受信した映像２０３を用いて、表示装置１１３に表示する表示映像を合成するので、合成パラメータの「映像選択パラメータ」は、送信装置１１０と送信装置１１１となり、送信装置１１０、１１１毎の「映像処理パラメータ」がそれぞれ設定されている。なお、「映像処理パラメータ」には「領域範囲パラメータ」、「映像変換パラメータ」及び「画質調整パラメータ」が含まれている。

最後に、設定した合成パラメータを各映像処理装置に送信する（合成パラメータ送信処理：ステップＳ３０６）。即ち、映像処理装置１０６用の合成パラメータを映像処理装置１０６に送信する。同様に、映像処理装置１０７、１０８、１０９用の合成パラメータをそれぞれ映像処理装置１０７、１０８、１０９に送信する。このように合成パラメータは、映像処理装置用毎に生成され、各映像処理装置に個別に送信される。

なお、合成パラメータ算出装置１０５による合成パラメータの算出、及び各映像処理装置への送信は、本システムの起動時に初期設定処理として一度行えばよい。

次に映像処理装置１０６、１０７、１０８、１０９の動作について説明する。図１０は、映像処理装置の動作フローを示した図である。以下、図に基づいて映像処理装置の動作を説明する。なお、映像処理装置１０６、１０７、１０８、１０９はいずれも同様な動作手順で動作するので、ここでは映像処理装置１０６を例にして説明する。

映像処理装置１０６は、合成パラメータ算出装置１０５が送信した映像処理装置１０６用の合成パラメータを受信する（合成パラメータ受信処理：ステップＳ１００１）。受信した合成パラメータは、以後の映像合成処理に使用する。ここでは、映像処理装置１０６用の合成パラメータとして図９に示した合成パラメータを受信したものとする。

次に、合成パラメータの「映像選択パラメータ」で指定した送信装置が送信したカメラ映像を受信する（映像受信処理：ステップＳ１００２）。映像処理装置１０６は、図９の合成パラメータに従って、送信装置１１０が送信したカメラ映像２０２と、送信装置１１１が送信したカメラ映像２０３を受信する。

次に、合成パラメータの「映像処理パラメータ」に含まれる「領域範囲パラメータ」の領域指定パラメータに基づいて、受信したカメラ映像から映像合成処理に使用する映像部分を抽出する（映像領域抽出処理：ステップＳ１００３）。図９の合成パラメータにより、映像処理装置１０６は、送信装置１１０から受信したカメラ映像２０２、及び送信装置１１１から受信したカメラ映像２０３からそれぞれ部分領域を抽出する。図１１は映像処理装置１０６でのステップＳ１００３以降の処理を説明する図である。図１１（ａ）はカメラ映像２０２から抽出した部分領域１１０１と、カメラ映像２０３から抽出した部分領域１１０２を示す。

次に、合成パラメータの「映像処理パラメータ」に含まれる「映像変換パラメータ」を使用して、抽出した部分領域１１０１、１１０２を表示領域７０２に対応した形状である補正部分領域１１０３、１１０４（図１１（ｂ））に変換する（映像補正処理：ステップＳ１００４）。

次に、合成パラメータの「映像処理パラメータ」に含まれる「画質調整パラメータ」を使って、補正部分領域１１０３、１１０４を画質調整した上で重畳することにより、重畳映像１１０５（図１１（ｃ））を作成する（映像重畳処理：ステップＳ１００５）。

次に、重畳映像１１０５を１つの表示映像１１０６（図１１（ｄ））として、表示装置１１３に出力する（映像表示処理：ステップＳ１００６）。

これ以降、ステップＳ１００２〜Ｓ１００７の処理を繰り返すことにより、送信装置１１０、１１１から受信したカメラ映像を用いて、表示装置１１３に表示させる表示映像を継続的に合成することができる。

映像処理装置１０６と同様に、映像処理装置１０７、１０８、１０９もそれぞれ並行して動作することで、各カメラから送られてきた映像をリアルタイムで処理し、各表示装置１１４、１１５、１１６に表示させる表示映像を合成する。

表示装置１１３、１１４、１１５、１１６は、映像処理装置１０６、１０７、１０８、１０９が出力した表示映像を表示する。このようにして、図１２に示すように、表示装置１１３、１１４、１１５、１１６を並べて配置したときに、全体として一体化した一枚の映像としての表示ができる。

なお、以上の説明では、合成パラメータの「映像変換パラメータ」をカメラ映像から表示映像に変換する変換行列として規定したが、「映像変換パラメータ」をこの変換行列の逆行列で定義してもよい。この場合、「領域範囲パラメータ」として、表示装置の表示領域における部分範囲を指定するようにする。例えば映像処理装置１０６の場合、「領域範囲パラメータ」として表示領域７０２ａの範囲を指定すればよい。

また、送信装置１１０、１１１、１１２に映像圧縮エンコード処理を設けて、カメラ映像を画像圧縮して、データ量を削減した状態で送信するようにすると共に、合成パラメータ算出装置１０５及び映像処理装置１０６、１０７、１０８、１０９に圧縮映像デコード処理を設け、送信装置から受信した圧縮映像をデコードして、カメラ映像を復元させるようにしてもよい。こうすることにより、カメラ映像の送信におけるネットワーク負荷をさらに減少させることができる。

また、各映像処理装置用の合成パラメータを各映像処理装置に個別に送信する代わりに、各映像処理装置用の合成パラメータを一括して全ての映像処理装置にマルチキャスト送信し、各映像処理装置は受信した合成パラメータから映像合成処理に使用するパラメータのみ選択して使用するようにしてもよい。

以上のように実施の形態１によるネットワーク映像合成表示システムは、各映像処理装置が、一つの表示装置に表示させる映像のみを合成処理するようにしたため、１つの映像処理装置ですべての表示装置の表示映像を合成処理する場合と比較して、処理負荷が集中せず、合成処理のボトルネックが発生しない効果がある。また、ネットワーク上で合成した映像を送信する必要がないため、ネットワーク負荷を低減できるという効果もある。

実施形態２．
実施形態１では、合成パラメータ算出装置１０５はネットワーク映像合成表示システムの初期処理として一度だけ合成パラメータを算出し、映像処理装置１０６、１０７、１０８、１０９は、この合成パラメータをシステム運用中の全期間の映像合成処理に適用して動作していた。この為、システム運用中の途中に各カメラの設置位置や撮影対象の変更といった設定変更があった場合、設定変更前に算出した合成パラメータを使用し続けることにより、カメラの設定変更後の表示装置１１３、１１４、１１５、１１６の表示にずれが生じてしまうことになる。これに対して、実施形態２におけるネットワーク映像合成表示システムは、システム運用中の途中に各カメラの設置位置の変更があった場合にも正常な合成映像の表示ができるようにしたものである。実施の形態２のシステムを構成する各装置の配置は図１に示した実施形態１におけるシステム構成と同様である。よって、実施形態１との相違点に着目して、実施の形態２の動作を以下に説明する。

実施の形態２ではカメラ１０１、１０２、１０３の設定を映像撮影の途中で変更してもよいものとする。例えば、各カメラの設置位置や撮影対象の変更が考えられる。送信装置１１０、１１１、１１２は、実施の形態１の場合と同様に、撮影したカメラ映像を合成パラメータ１０５、及び映像処理装置１０６、１０７、１０８、１０９にマルチキャスト送信する。

次に、合成パラメータ算出装置１０５の動作を図１３の動作フロー図に基づいて説明する。合成パラメータ算出装置１０５におけるカメラ映像を受信してから合成パラメータを設定するまでの処理（ステップＳ１３０１〜Ｓ１３０７）は、実施の形態１における処理（図３のステップＳ３０１〜Ｓ３０６）と同一の処理であるので説明を省略する。

次に、算出した合成パラメータを、合成パラメータ算出装置１０５内部の（図示していない）記憶媒体に既に保存してある前回算出した合成パラメータと比較する（合成パラメータ比較処理：ステップＳ１３０７）。なお、システム起動後初めて合成パラメータを算出した場合には、前回分の合成パラメータが存在しないので、比較は行わずに比較結果が「一致」であるとして以後の処理を行う。

合成パラメータ比較処理の結果が「不一致」の場合には、カメラ１０１、１０２、１０３のいずれかに設定変更があったことになるので、算出した合成パラメータを合成パラメータ算出装置１０５内部の記憶媒体に保存する（合成パラメータ保存処理：ステップＳ１３０８）。その後、算出した合成パラメータを各映像処理装置１０６、１０７、１０８、１０９に送信する（合成パラメータ保存処理：ステップＳ１３０９）。合成パラメータの送信完了後は再び、映像受信処理Ｓ１３０１に戻る。

一方、合成パラメータ比較処理の結果が「一致」の場合には、カメラ１０１、１０２、１０３のいずれにも設定変更はなかったことになるので、合成パラメータの保存や、各映像処理装置への送信をせずに、映像受信処理Ｓ１３０１に戻る。

これ以降は、ステップＳ１３０１〜Ｓ１３０９を繰り返し実行する。なお、処理の繰返し周期は、カメラの設定変更の頻度に合わせて予め設定しておけばよい。例えば、５分毎というように一定周期で繰返し処理するようにしてもよい。また、一定周期ではなく、予め決めたタイムスケジュールに従って繰返し処理を行ってもよい。

映像処理装置１０６、１０７、１０８、１０９は、合成パラメータ算出装置１０５から受信した合成パラメータに基づいて表示映像の合成処理を行うが、合成処理開始後に合成処理パラメータを新たに受信した場合には、新たに受信した合成処理パラメータを用いて合成処理するように動作させる。こうすることにより、合成パラメータの変更があった場合でも、そのパラメータ変更に合わせて表示映像の合成方法を変更することができる。これにより、表示装置１１３、１１４、１１５、１１６の表示映像も、合成パラメータの変更に合わせて切り替わることになる。

以上のように実施の形態２によるネットワーク映像合成表示システムは、合成パラメータ算出装置１０５が合成パラメータを繰り返し算出しなおし、算出した合成パラメータと保存してある合成パラメータとを比較し、前記算出した合成パラメータが前回映像処理装置に送信した合成パラメータと相違する場合に、合成パラメータの変化を検出したものとして、最新の合成パラメータを映像処理装置に送信するようにしたので、カメラの位置変更等の設定変更があった場合でも、すみやかにずれのない合成映像を表示することができるという効果がある。

実施形態３．
実施形態１、２では、合成パラメータ算出装置が、システム動作時に合成パラメータを算出し、各情報処理装置に合成パラメータを送信するようにしていた。これに対して、実施形態３におけるネットワーク映像合成表示システムは、合成パラメータ算出装置を用いずに他の手段で算出した合成パラメータを、各情報処理装置に個別に設定できるようにし、各情報処理装置がこの合成パラメータを用いて映像合成するようにしたものである。

図１４は実施の形態３におけるネットワーク映像合成表示システムのシステム構成を示す図である。なお、図１４において、図１と同一、若しくは対応する部分については同一符号を付してある。以下、実施の形態１との相違点に着目して、動作を説明する。

まず、各映像処理装置１０６、１０７、１０８、１０９で使用する合成パラメータを、システム起動前に予め何らかの手段で算出しておく。合成パラメータを算出する方法としては、例えば、カメラ１０１、１０２、１０３の設定値（スケール、傾き等）及びカメラの配置位置関係の情報から平面射影変換を求め、これにより映像処理装置毎の合成パラメータを算出するようにしてもよい。

このようにして予め準備した合成パラメータを、映像処理装置１０６、１０７、１０８、１０９の付属して設けた合成パラメータ記憶部１４０１、１４０２、１４０３、１４０４に設定する。ここで、各合成パラメータ記憶部に設定する合成パラメータは、各映像処理装置で使用する専用のパラメータである。

合成パラメータ記憶部１４０１、１４０２、１４０３、１４０４への具体的な設定方法としては、例えば合成パラメータを記載した合成パラメータファイルを記録した記憶媒体を映像処理装置１０６、１０７、１０８、１０９に読み込ませ、読み込んだ合成パラメータファイルを合成パラメータ記憶部１４０１、１４０２、１４０３、１４０４に記憶させるようにすればよい。

合成パラメータの設定後、映像処理装置１０６、１０７、１０８、１０９は、合成パラメータ記憶部１４０１、１４０２、１４０３、１４０４に設定した合成パラメータに基づいて、送信装置１１０、１１１、１１２から受信したカメラ映像から表示映像を合成する。合成の具体的な処理手順は、実施の形態１の場合と同様に行うことができる。

以上のように、合成パラメータ算出装置を用いずに、他の手段で求めた合成パラメータを映像処理装置に付属した合成パラメータ記憶部に記憶させることで、合成パラメータ算出装置による合成パラメータの設定手法によらずに、映像処理装置を動作させることができ、映像合成処理の実行形態を多様化できる。また、予め設定した合成パラメータどおりの映像合成ができるので、より計画的な映像表示が可能になるという効果がある。

なお、映像処理装置に予め設定する合成パラメータを、複数のパターンからなる合成パラメータとし、これらの合成パラメータのパターンを予め設定したスケジュールに従って、切り換えて使用するようにしてもよい。これにより、より多彩な映像表現が可能な映像合成処理が可能になる。

この発明は、遠隔映像監視や、ライブ映像表示システム等、ネットワークに接続された複数のカメラで撮影した映像を繋ぎ合わせて一つの映像として表示させるシステムに適用可能である。

Claims (5)

1. 複数のカメラと、該カメラに対応して設けられ、前記カメラの撮影したカメラ映像をネットワーク経由でマルチキャスト送信する複数の送信装置と、前記カメラ映像を受信し、該カメラ映像から表示映像を合成する複数の映像処理装置と、該映像処理装置に対応して設けられ、前記表示映像を表示する複数の表示装置と、前記複数の送信装置からの映像の組み合わせを示す映像選択パラメータ、及び映像合成処理内容を指定する映像処理パラメータとからなる合成パラメータを前記映像処理装置対応に算出し、前記合成パラメータを前記ネットワーク経由で前記映像処理装置に送信する合成パラメータ算出装置とを備え、
   前記映像処理装置は、前記映像処理パラメータに基づいて、前記映像選択パラメータで指定された送信装置からのカメラ映像を合成して表示映像を生成することにより、前記表示映像の合成処理を前記複数の映像処理装置で分散して行うことを特徴とするネットワーク映像合成表示システム。
2. 合成パラメータ算出装置は、合成パラメータを繰り返し算出し、映像処理装置に送信した合成パラメータを前記映像処理装置の内部に保存し、算出した合成パラメータと前記保存した合成パラメータとを比較することにより、前記算出した合成パラメータが前回映像処理装置に送信した合成パラメータと相違する場合に、前記算出した合成パラメータを前記映像処理装置に送信することを特徴とする請求項１記載のネットワーク映像合成表示システム。
3. 合成パラメータ算出装置は、映像処理装置対応の合成パラメータをそれぞれ対応する前記映像処理装置に送信することを特徴とする請求項１又は２記載のネットワーク映像合成表示システム。
4. 合成パラメータ算出装置は、映像処理装置対応の合成パラメータを一括してすべての前記映像処理装置にマルチキャスト送信し、前記映像処理装置は前記合成パラメータから映像合成処理に使用するパラメータのみ選択して、表示映像の合成を行うことを特徴とする請求項１又は２記載のネットワーク映像合成表示システム。
5. 複数のカメラと、該カメラに対応して設けられ、前記カメラの撮影したカメラ映像をネットワーク経由でマルチキャスト送信する複数の送信装置と、前記カメラ映像を受信し、該カメラ映像から表示映像を合成する複数の映像処理装置と、前記映像処理装置に対応して設けられ、前記表示映像を表示する複数の表示装置とを備え、
   前記映像処理装置は、前記複数の送信装置からの映像の組み合わせを示す映像選択パラメータ、及び映像合成処理内容を指定する映像処理パラメータとからなる合成パラメータを記憶する合成パラメータ記憶部を有し、該合成パラメータ記憶部に記憶した前記映像選択パラメータで指定された送信装置からのカメラ映像を、前記映像処理パラメータに基づいて合成して表示映像を生成することにより、前記表示映像の合成処理を前記複数の映像処理装置で分散して行うことを特徴とするネットワーク映像合成表示システム。

Images