JP4644555B2

JP4644555B2 - 映像音声合成装置及び遠隔体験共有型映像視聴システム

Info

Publication number: JP4644555B2
Application number: JP2005217247A
Authority: JP
Inventors: 伸行八木
Original assignee: Japan Broadcasting Corp
Current assignee: Japan Broadcasting Corp
Priority date: 2005-07-27
Filing date: 2005-07-27
Publication date: 2011-03-02
Anticipated expiration: 2025-07-27
Also published as: JP2007036685A

Description

本発明は、複数の遠隔地にいる視聴者が、あたかも、テレビ番組等の映像コンテンツを居間等の同じ場所で視聴しているかのような臨場感を実現するための映像視聴技術に関する。

従来、映像を共有するシステムとして、多地点間テレビ会議システムが知られている。このテレビ会議システムでは、共有しているコンテンツを含め、多地点の映像をウィンドウに表示したり、同じ会議室にいるかのように複数の映像をＣＧを援用することでシームレスに接続して表示したりする方法がとられている。

例えば、特許文献１のテレビ会議システムは、会議室を仮想空間として扱い、参加者をＣＧモデルで表現し、そのモデルの移動等を明確にして合成及び配置するものである。これにより、各参加者が相手との位置関係を明確に把握しながら会議を行い、物理的距離を感じることなく同一空間で会議を行っている感覚を得ることができる。また、特許文献２のテレビ会議システムは、共存在空間を形成し、音声及び動き等の明示的情報に加えて、場によって得ることが可能な相手方との間（暗示的情報）も伝送するものである。

特開平１１−２８９５２４号公報特開２００４−２９７７６６号公報

しかしながら、従来のテレビ会議システムは、映像コンテンツを鑑賞する用途には適していない。すなわち、同じ映像コンテンツを鑑賞している自分以外の視聴者の表情を確認するためには、その視聴者が表示されているウィンドウに視線を動かす必要がある。このため、映像コンテンツの鑑賞が妨げられ、鑑賞に集中することができないという問題があった。このように、従来のテレビ会議システムでは、複数の遠隔地にいる視聴者は、同じ場所で同一の映像コンテンツを視聴しているかのような臨場感を十分に得ることができなかった。

そこで、本発明は、かかる課題を解決するためになされたものであり、その目的は、複数の遠隔地にいる視聴者が、映像コンテンツを同じ場所で視聴しているかのような臨場感を得ることが可能な映像音声合成装置及び遠隔体験共有型映像視聴システムを提供することにある。

本発明による映像音声合成装置は、各地点の視聴者が時間同期して視聴可能な同一の映像コンテンツを受信し、予め画面上の表示位置が設定された各視聴者の映像を、前記映像コンテンツの映像に合成して表示すると共に、各視聴者の音声を、前記映像コンテンツの音声に合成して出力する映像音声合成装置であって、各視聴者の映像を同一の濃度になるように調整すると共に、各視聴者の映像における濃度の和が映像コンテンツの映像の濃度よりも小さくなるように、各視聴者の映像及び映像コンテンツの映像を調整し、該調整した各視聴者の映像及び映像コンテンツの映像を合成する映像処理部と、各視聴者の音声の大きさの和が映像コンテンツの音声の大きさよりも小さくなるように、各視聴者の音声及び映像コンテンツの音声を調整し、該調整した各視聴者の音声及び映像コンテンツの音声を合成する音声処理部とを備えたことを特徴とする。

また、本発明による映像音声合成装置は、前記映像処理部が、視聴者の映像を入力し、前記予め設定された視聴者の位置に基づいて、該視聴者の画面上のサイズ及び位置を幾何学変換する幾何学変換部と、該幾何学変換された各視聴者の映像を同一の濃度になるように調整すると共に、該各視聴者の映像における濃度の和が映像コンテンツの映像の濃度よりも小さくなるように、各視聴者の映像及び映像コンテンツの映像を調整するレベル調整部と、該レベル調整された各視聴者の映像及び映像コンテンツの映像を合成する合成部とを備え、前記音声処理部が、視聴者の音声を入力し、前記予め設定された視聴者の位置に基づいて、該視聴者の音声を音像定位させる音像定位移相部と、該音像定位された各視聴者の音声の大きさの和が、映像コンテンツの音声の大きさよりも小さくなるように、各視聴者の音声及び映像コンテンツの音声を調整するレベル調整部と、該レベル調整された各視聴者の音声及び映像コンテンツの音声を合成する合成部とを備えたことを特徴とする。

また、本発明による遠隔体験共有型視聴システムは、前記いずれかの映像音声合成装置を各地点に備え、第１の地点の映像音声合成装置が、自らの地点の視聴者の映像及び音声を、他の地点の映像音声合成装置へ送信し、他の地点の視聴者の映像及び音声を、他の地点の映像音声合成装置からそれぞれ受信して入力することを特徴とする。

本発明によれば、複数の遠隔地にいる視聴者は、映像コンテンツを同じ場所で視聴しているかのような臨場感を得ることが可能となる。

以下、本発明の実施の形態について図面を用いて詳細に説明する。
〔遠隔体験共有型視聴システムの構成〕
図１は、本発明の実施の形態による遠隔体験共有型視聴システムの構成を説明する概略図である。この遠隔体験共有型視聴システム１は、Ａ地点からＮ地点までの複数地点に、それぞれ映像音声合成装置１０−Ａ〜Ｎ、マイク１１−Ａ〜Ｎ、カメラ１２−Ａ〜Ｎ、モニタ１３−Ａ〜Ｎ、及びスピーカー１４−Ａ〜Ｎを備えて構成される。各地点の映像音声合成装置１０は、図示しない放送局から映像コンテンツを入力し、自らの地点のマイク１１及び他の地点のマイク１１からマイク音声を、自らの地点のカメラ１２及び他の地点のカメラ１２からカメラ映像を入力し、映像を合成してモニタ１３へ出力すると共に、音声を合成してスピーカー１４へ出力する。

図２は、図１に示した遠隔体験共有型視聴システム１を説明する全体構成図である。この遠隔体験共有型視聴システム１は、前述したように、各地点に、映像音声合成装置１０、マイク１１、カメラ１２、モニタ１３、及びスピーカー１４を備え、さらに、集約サーバ３０及び映像コンテンツを送信する放送局４０から構成される。映像音声合成装置１０−Ａ〜Ｎ及びカメラ１２−Ａ〜Ｎと集約サーバ３０とは、インターネット２０を介して接続される。

放送局４０から送信される映像コンテンツの放送形態は、放送波によるもの、インターネットを伝送路としたＩＰ放送によるもの、ケーブルを伝送路としたＣＡＴＶによるもの等である。尚、映像コンテンツの放送形態は限定されるものではなく、Ａ〜Ｎ地点において時間同期して映像コンテンツを再生可能な伝送路を利用できればよい。

〔動作〕
次に、動作について説明する。Ａ〜Ｎ地点は、例えば家庭内を指し、Ａ〜Ｎ地点の視聴者は、放送局４０から送信されている映像コンテンツを視聴しており、同時に、視聴の様子が撮影及び集音されているものとする。Ａ地点のマイク１１−Ａ及びカメラ１２−Ａに接続された図示しない通信手段は、そのマイク音声及びカメラ映像を、インターネット２０を介して集約サーバ３０へ送信する。同様に、Ｂ〜Ｎ地点のマイク１１−Ｂ〜Ｎ及びカメラ１２−Ｂ〜Ｎについても、通信手段が、それぞれマイク音声及びカメラ映像を、インターネット２０を介して集約サーバ３０へ送信する。集約サーバ３０は、Ａ〜Ｎ地点のマイク音声及びカメラ映像を一括管理し、他の地点へ一括配信する機能を有する。Ａ〜Ｎ地点の映像音声合成装置１０−Ａ〜Ｎの図示しない通信手段は、他の地点のマイク音声及びカメラ映像を集約サーバ３０から受信する。そして、他の地点のマイク音声及びカメラ映像、自らの地点のマイク音声及びカメラ映像、及び、放送局４０から受信した映像コンテンツを、音声合成及び映像合成し、それぞれスピーカー１４及びモニタ１３に出力する。これにより、複数の遠隔地にいる視聴者が、映像コンテンツを同じ場所で視聴しているかのような臨場感を得ることができる。

尚、図２に示した遠隔体験共有型視聴システム１は、集約サーバ３０が、Ａ〜Ｎ地点のマイク音声及びカメラ映像を受信し、当該マイク音声及びカメラ映像を他のＡ〜Ｎ地点の映像音声合成装置１０−Ａ〜Ｎへそれぞれ送信するようにしたが、これに限定されるものではない。例えば、集約サーバ３０を含まない遠隔体験共有型視聴システムにおいて、マイク１１及びカメラ１２に接続された図示しない通信手段が、他の地点の映像音声合成装置１０の図示しない通信手段へ直接送信するようにしてもよい。

〔マイク等の配置〕
図３は、Ａ地点におけるマイク１１−Ａ、カメラ１２−Ａ、モニタ１３−Ａ、及びスピーカー１４−Ａの設置を示す図である。図３に示すように、Ａ地点の家庭内には、１台のモニタ１３−Ａを中心として、その上部に１台のカメラ１２−Ａが設けられ、カメラの両側に右用及び左用の２台のマイク１１−Ａ、及びモニタ１３−Ａの両側に右用及び左用のスピーカー１４−Ａが設けられている。このような設置により、Ａ地点の視聴者は、モニタ１３−Ａ及びスピーカー１４−Ａにより放送局４０から受信した映像コンテンツを視聴すると共に、マイク１１−Ａ及びカメラ１２−Ａにより、その様子が集音及び撮影される。

尚、マイク１１−Ａ、カメラ１２−Ａ、モニタ１３−Ａ及びスピーカー１４−Ａの設置状態（配置）は、図３に示した配置に限定されるものではない。マイク１１−Ａは、視聴者の反応を集音することができればよく、カメラ１２−Ａは、後で合成可能な視聴の様子を撮影することができればよい。また、他の地点においても、図３に示した設置を実現することができる。

このようにして集音された音声及び撮影された映像は、マイク１１−Ａ及びカメラ１２−Ａに接続された図示しない通信手段により、インターネット２０を介して集約サーバ３０へ送信される。そして、他の地点の映像音声合成装置１０へ送信される。

〔表示例〕
図４は、Ａ地点におけるモニタ１３−Ａに表示される画面例である。この画面は、放送局４０から受信した映像コンテンツの映像と、集約サーバ３０から受信した他の地点（Ｂ〜Ｎ地点）の視聴者の映像と、自らの地点（Ａ地点）の視聴者の映像とを合成したものである。中央の視聴者はＡ地点の視聴者、左側の視聴者はＢ地点の視聴者、そして、右側の視聴者はＣ地点の視聴者であり、それぞれ、映像コンテンツ上にうっすらと写るように配置されている。ここで、各地点の視聴者が画面に表示される位置は、Ａ〜Ｎ地点の映像音声合成装置１０毎に、予め設定されているものとする。

〔映像音声合成装置〕
図５は、図１及び図２に示した映像音声合成装置１０−Ａの機能構成を説明する図である。映像音声合成装置１０−Ｂ〜Ｎも同様の機能構成を有する。この映像音声合成装置１０−Ａは、映像処理部１００、音声処理部２００、及び位置設定部３００を備えている。位置設定部３００は、Ａ〜Ｎ地点の視聴者のカメラ映像をモニタ１３−Ａに表示するときの配置が設定され、Ａ〜Ｎ地点の視聴者の映像を表示するための表示位置情報（モニタ１３−Ａの画面における視聴者の映像の表示位置座標）を映像処理部１００及び音声処理部２００に出力する。

映像処理部１００は、放送局４０により送信された映像コンテンツの映像、カメラ１２−Ａにより撮影された自分（視聴者）のカメラ映像、集約サーバ３０により送信されたＢ〜Ｎ地点の視聴者のカメラ映像、及び、位置設定部３００により出力された各視聴者の表示位置情報をそれぞれ入力する。そして、表示位置情報に基づいて各視聴者のサイズ及び位置を調整した映像を生成し、他の視聴者と同じ濃度で表示されるように、視聴者の映像の濃度値を調整すると共に、映像コンテンツに対してうっすらと写るように、映像コンテンツの映像の濃度値及び視聴者の映像の濃度値を調整する。そして、調整及び合成した映像をモニタ１３−Ａに出力する。

音声処理部２００は、放送局４０により送信された映像コンテンツの音声、マイク１１−Ａにより集音された自分（視聴者）のマイク音声、集約サーバ３０により送信されたＢ〜Ｎ地点の視聴者のマイク音声、及び、位置設定部３００により出力された各視聴者の表示位置情報をそれぞれ入力する。そして、表示位置情報に基づいて、左用のスピーカー１４−Ａに出力する音声の大きさ（レベル）と、右用のスピーカー１４−Ａに出力する音声の大きさとの間の比率を調整すると共に、映像コンテンツの音声に対して十分に小さな音声の大きさになるように、映像コンテンツの音声の大きさ及び視聴者の音声の大きさを調整する。そして、調整及び合成した音声を左用及び右用のスピーカー１４−Ａにそれぞれ出力する。

〔映像処理部１００〕
図６は、図５に示した映像音声合成装置１０−Ａにおける映像処理部１００の機能構成図である。この映像処理部１００は、Ａ〜Ｎ地点に対応する幾何学変換部１０１−Ａ〜Ｎ、レベル調整部１０２、Ａ〜Ｎ地点に対応するレベル調整部１０２−Ａ〜Ｎ、及び合成部１０３を備えている。

幾何学変換部１０１−Ａは、Ａ地点の視聴者の表示位置情報を位置設定部３００から入力し、Ａ地点の視聴者のカメラ映像をカメラ１２−Ａから入力する。そして、アフィン変換または透視投影変換（パースペクティブ変換）等の幾何学変換により、視聴者のカメラ映像に対して左右反転の処理を施し、表示位置情報に基づいて、モニタ１３−Ａに視聴者を表示するための表示サイズ及び位置を調整する。具体的には、他のＢ〜Ｎ地点の視聴者のサイズが同じになるように調整し、表示位置情報が示す座標の位置に視聴者を表示するように調整する。そして、幾何学変換して調整したＡ地点の視聴者の映像（Ａ地点の視聴者が所定のサイズ及び位置に配置された映像）をレベル調整部１０２−Ａに出力する。同様に、幾何学変換部１０１−Ｂ〜Ｎも、それぞれＢ〜Ｎ地点の視聴者の表示に関し、そのサイズ及び位置を調整し、幾何学変換した映像を出力する。

幾何学変換部１０１−Ａは、以下の式により、前述のアフィン変換を行う。

ここで、（ｘ，ｙ）はＡ地点の視聴者のカメラ映像の座標（幾何学変換部１０１−Ａの入力）を、（Ｘ，Ｙ）はアフィン変換を施して調整した映像の座標（幾何学変換部１０１−Ａの出力）を、ａ，ｂ，ｃ，ｄ，ｅ及びｆは、視聴者の左右反転、表示サイズ及び位置を調整するパラメータをそれぞれ示す。

また、幾何学変換部１０１−Ａは、以下の式により前述の透視投影変換を行う。

ここで、（ｘ，ｙ）、（Ｘ，Ｙ）及びａ，ｂ，ｃ，ｄ，ｅ，ｆ，ｐ，ｑ，ｒは、前述と同様である。この透視投影変換により、視聴者の映像の左右反転、表示サイズ及び位置を調整することに加えて、遠近の差に伴うサイズの調整を行うことができる。例えば、カメラ１２−Ａが視聴者を上から撮影した場合には、全体に比べて頭のサイズが大きくなってしまう。透視投影変換により、全体として均一のとれたサイズに調整することができる。

レベル調整部１０２−Ａは、幾何学変換部１０１−Ａにより幾何学変換されたＡ地点の視聴者の映像を入力し、Ａ地点の視聴者が他のＢ〜Ｎ地点の視聴者と共にモニタ１３−Ａに表示された場合、他の視聴者と同じ濃度で表示されるように、また、Ａ地点の視聴者がうっすらと表示されるように（映像コンテンツの映像に比べて十分に暗くなるように）、映像の濃度値を調整する。そして、調整したＡ地点の視聴者の映像を合成部１０３に出力する。同様に、レベル調整部１０２−Ｂ〜Ｎも、それぞれＢ〜Ｎ地点の視聴者の表示に関し、他の視聴者と同じ濃度で表示されるように、また、視聴者がうっすらと表示されるように、映像の濃度値を調整し、調整した映像を出力する。この場合、Ａ〜Ｎ地点の視聴者の映像の明るさが均一のときは、Ａ〜Ｎ地点の調整レベルは同じになる。一方、Ａ〜Ｎ地点の視聴者の映像の明るさが均一でないときは、Ａ〜Ｎ地点の視聴者の映像が同じ程度になるようにレベル調整される。

具体的には、レベル調整部１０２−Ａは、Ａ（ｘ，ｙ）×ｋ_Ａが、予め設定された値Ｋに一致するように、ｋ_Ａを調整する。ここで、予め設定された値Ｋは、レベル調整部１０２−Ａ〜Ｎにおいて共通の値とする。つまり、以下の式が成立するように、ｋ_Ａを調整する。

ここで、Ａ（ｘ，ｙ）は、幾何学変換部１０１−Ａから入力した映像であり、（ｘ，ｙ）は座標を示す。Ｎ（ｘ，ｙ）も同様である。また、ｋ_Ａ，・・・，ｋ_Ｎは係数を示す。これにより、モニタ１３−Ａには、Ａ地点の視聴者が、他の視聴者と同じ濃度で表示され、Ａ地点の視聴者がうっすらと表示されることができる。

図７は、レベル調整部１０２−Ａの構成を示す図である。レベル調整部１０２−Ｂ〜Ｎも同様の構成を有する。図７を参照して、レベル調整部１０２−Ａは、アンプ１１０及びレベルセンス部１１１を備えている。アンプ１１０は、幾何学変換されたＡ地点の視聴者の映像Ａ（ｘ，ｙ）を入力し、レベルセンス部１１１により算出されたゲインであるｋ_Ａにより、レベル調整した映像Ａ（ｘ，ｙ）×ｋ_Ａを出力する。レベルセンス部１１１は、Ａ（ｘ，ｙ）×ｋ_Ａが予め設定された値Ｋに一致するように、ｋ_Ａを調整する。

図６に戻って、レベル調整部１０２は、映像コンテンツの映像を入力し、映像コンテンツの映像がＡ〜Ｎ地点の視聴者と共にモニタ１３−Ａに表示された場合に、Ａ〜Ｎ地点の視聴者がうっすらと表示されるように、映像コンテンツの映像の濃度値を調整する。そして、調整した映像コンテンツの映像を合成部１０３に出力する。つまり、レベル調整部１０２は、Ａ〜Ｎ地点の視聴者の映像を合成して得られた映像の濃度値が、映像コンテンツの映像の濃度値よりも大きくならないように調整するものである。

具体的には、レベル調整部１０２は、Ｐ（ｘ，ｙ）×ｋ_Ｐが、前述した予め設定された値Ｋに地点の数を乗じた値よりも、かなり大きくなるように、ｋ_Ｐを調整する。つまり、以下の式が成立するように、ｋ_Ｐを調整する。

ここで、Ｐ（ｘ，ｙ）は、映像コンテンツの映像であり、Ａ（ｘ，ｙ）は、幾何学変換部１０１−Ａから入力した映像であり、（ｘ，ｙ）は座標を示す。Ｎ（ｘ，ｙ）も同様である。また、ｋ_Ｐ，ｋ_Ａ，・・・，ｋ_Ｎは係数を示す。この場合、約１０倍になるように調整するのが望ましい。これにより、合成部１０３は、反射率の低い平面のように薄っすらと合成することができる。

合成部１０３は、レベル調整部１０２から調整した映像コンテンツの映像を、レベル調整部１０２−Ａ〜Ｎから調整したＡ〜Ｎ地点の視聴者の映像をそれぞれ入力し、以下の式に示すように映像を合成し、モニタ１３−Ａに出力する。

ここで、Ｏ（ｘ，ｙ）は、合成した映像を示す。これにより、モニタ１３−Ａには、Ａ〜Ｎ地点の視聴者がうっすらと表示される。つまり、自分であるＡ地点の視聴者は、モニタ１３−Ａの画面上に自分が写り込んでいるような感覚を得ることができる。また、自分以外の他の地点の視聴者も表示されるから、自分であるＡ地点の視聴者は、他の地点の視聴者がモニタ１３−Ａの前に存在し、その様子がモニタ１３−Ａの画面上に写り込んでいて、あたかも隣にいるかのような感覚を得ることができる。

尚、画面に表示する地点の視聴者の数が多くなり、全ての視聴者を表示できない場合には、位置設定部３００は、視聴者を複数の列に前後するように並べてそれぞれの位置を設定する。この場合、前後の視聴者は重なる部分を有することになる。合成部１０３は、レベル調整部１０２から映像コンテンツの映像を，レベル調整部１０２−Ａ〜Ｎから視聴者の映像をそれぞれ入力することに加えて、位置設定部３００から表示位置情報を入力し、この表示位置情報から視聴者の重なりを判断し、重なる部分については、後列に位置する視聴者が表示されないように映像を合成する。例えば、Ａ地点の視聴者とＢ地点の視聴者との一部が重なり、Ａ地点の視聴者の方が前列である場合には、合成部１０３は、重なる箇所における座標（ｘ，ｙ）において、Ｂ（ｘ，ｙ）＝０とし、上記（５）式により、重なる部分については、Ａ地点の視聴者の映像を表示するように、各映像を合成する。これにより、視聴者の画面における前後関係をはっきりさせることができ、狭い面積の画面上に多くの視聴者を配置することができる。

〔音声処理部２００〕
図８は、図５に示した映像音声合成装置１０−Ａにおける音声処理部２００の機能構成図である。この音声処理部２００は、Ａ〜Ｎ地点に対応する音像定位移相部２０１−Ａ〜Ｎ、レベル調整部２０２、Ａ〜Ｎ地点に対応するレベル調整部２０２−Ａ〜Ｎ、及び合成部２０３を備えている。

音像定位移相部２０１−Ａは、Ａ地点の視聴者の表示位置情報を位置設定部３００から入力し、Ａ地点の視聴者のマイク音声をマイク１１−Ａから入力する。そして、Ａ地点の視聴者の表示位置情報に基づいて、モニタ１３−Ａに視聴者が表示される位置に対応した音声をスピーカー１４に出力できるように、音像を定位する。そして、音像定位したＡ地点の視聴者のマイク音声をレベル調整部２０２−Ａに出力する。同様に、音像定位移相部２０１−Ｂ〜Ｎも、それぞれＢ〜Ｎ地点の視聴者のマイク音声に関し、その視聴者が表示される位置に対応した音声について音像を定位し、音像定位したマイク音声を出力する。

例えば、図４に示したように、Ａ地点の視聴者を画面の中央に表示する場合には、音像定位移相部２０１−Ａは、画面中央を示す表示位置情報を入力する。また、図３に示したように、スピーカー１４−Ａは、左側及び右側の２台が設置されている。したがって、音像定位移相部２０１−Ａは、Ａ地点の視聴者のマイク音声を入力し、左側のスピーカー１４−Ａと右側のスピーカー１４−Ａに同じレベルのマイク音声を出力できるように、ステレオ音像を定位する。具体的には、音像定位移相部２０１−Ａが、左側のスピーカー１４−Ａからマイク音声Ａ_Ｌを、右側のスピーカー１４−Ａからマイク音声Ａ_Ｒを入力し、表示位置情報に対応した係数Ｋ_ＡＬ，Ｋ_ＡＲ（この場合は、Ｋ_ＡＬ＝Ｋ_ＡＲ）をそれぞれ乗算し、その結果を音像定位したマイク音声（左側の音声Ａ_Ｌ×Ｋ_ＡＬ、右側の音声Ａ_Ｒ×Ｋ_ＡＬ）として出力する。

また、図４に示したように、Ｃ地点の視聴者を画面の右側（向かって右側）に表示する場合には、音像定位移相部２０１−Ｃは、画面右側の位置を示す表示位置情報を入力し、左側（向かって右側）のスピーカー１４−Ｃよりも右側（向かって左側）のスピーカー１４−Ｃの方が、その表示位置情報に応じてレベルの音声を小さく出力できるように、ステレオ音像を定位する。具体的には、音像定位移相部２０１−Ｃは、左側のスピーカー１４−Ｃからマイク音声Ｃ_Ｌを、右側のスピーカー１４−Ｃからマイク音声Ｃ_Ｒを入力し、表示位置情報に対応した係数Ｋ_ＣＬ，Ｋ_ＣＲ（この場合は、Ｋ_ＣＬ＞Ｋ_ＣＲ）をそれぞれ乗算し、その結果を音像定位したマイク音声（左側の音声Ｃ_Ｌ×Ｋ_ＣＬ、右側の音声Ｃ_Ｒ×Ｋ_ＣＬ）として出力する。この場合、Ｃ_Ｌ×Ｋ_ＣＬ＞Ｃ_Ｒ×Ｋ_ＣＬとなるから、Ａ地点の視聴者は、Ｃ地点の視聴者の音声を、右側のスピーカー１４−Ａからは大きく、左側のスピーカー１４−Ａからは小さく視聴することができる。これにより、Ｃ視点の視聴者の位置（画面の右側の表示位置）に対応した音声を視聴することができる。

レベル調整部２０２−Ａは、音像定位移相部２０１−Ａにより音像定位されたＡ地点の視聴者のマイク音声を入力し、映像コンテンツの音声に比べ、Ａ地点の音声が小さくなるように音声の大きさをレベル調整する。具体的には、レベル調整部２０２−Ａは、入力したＡ地点の視聴者の音声の大きさが、予め設定されたしきい値（映像コンテンツの音声の大きさに対応したしきい値）よりも小さくなるように、音声の大きさを調整する。そして、調整したＡ地点の視聴者の音声を合成部２０３に出力する。同様に、レベル調整部２０２−Ｂ〜Ｎも、それぞれＢ〜Ｎ地点の視聴者の音声に関し、音声の大きさを調整し、調整した音声を出力する。この場合、Ａ〜Ｎ地点の視聴者の音声レベルが均一であるときは、Ａ〜Ｎ地点の調整レベルは同じになる。一方、Ａ〜Ｎ地点の視聴者の音声レベルが均一でないときは、Ａ〜Ｎ地点の視聴者の音声が環境音と同程度になるようにレベル調整される。

レベル調整部２０２は、映像コンテンツの音声を入力し、映像コンテンツの音声がＡ〜Ｎ地点の視聴者の音声と共にスピーカー１４−Ａから出力された場合に、Ａ〜Ｎ地点の視聴者の音声が小さくなるように、映像コンテンツの音声の大きさを調整する。そして、調整した映像コンテンツの音声を合成部２０３に出力する。つまり、レベル調整部２０２は、Ａ〜Ｎ地点の視聴者の音声を合成して得られた音声の大きさが、映像コンテンツの音声の大きさよりも大きくならないように調整するものである。

具体的には、レベル調整部２０２は、以下の式が成立するように、係数ｋ_ＸＸを調整する。

ここで、Ｐ_Ｌは映像コンテンツの左側の音声、Ｐ_Ｒは映像コンテンツの右側の音声、Ａ_ＬはＡ地点の視聴者の左側の音声、Ａ_ＲはＡ地点の視聴者の右側の音声、Ｎ_ＬはＮ地点の視聴者の左側の音声、Ｎ_ＲはＮ地点の視聴者の右側の音声を示し、Ｋ_ＰＰ，Ｋ_ＡＬ，Ｋ_ＡＲ，Ｋ_ＮＬ，Ｋ_ＮＲは係数を示す。この場合、約１０倍になるように調整することが考えられる。これによりスピーカー１４−Ａは、Ａ〜Ｎ地点の視聴者の小さいレベルの音声を出力する。

合成部２０３は、レベル調整部２０２から調整した映像コンテンツの音声を、レベル調整部２０２−Ａ〜Ｎから調整したＡ〜Ｎ地点の視聴者の音声をそれぞれ入力し、以下の式に示すように音声を合成し、スピーカー１４−Ａに出力する。

ここで、Ｏ_Ｌは合成した左側の音声を示し、Ｏ_Ｒは合成した右側の音声を示す。これにより、スピーカー１４−Ａは、Ａ〜Ｎ地点の視聴者の音声を、視聴者の位置に応じて映像コンテンツの音声に比べて小さいレベルで出力することができ、視聴者はその位置に応じた共有感を増大させることができる。尚、ハウリングを避けるために自分自身の音声は（６）式にかかわらず、極端に小さくするのが通例であり、本件においても適用する。従って、図８では、自分自身の音声は小さい。

本発明の実施の形態による遠隔体験共有型視聴システムの構成を説明する概略図である。図１の遠隔体験共有型視聴システムを説明する全体構成図である。マイク、カメラ、モニタ及びスピーカの設置を示す図である。Ａ地点におけるモニタに表示される画面例である。映像音声合成装置の機能構成図である。映像音声合成装置に備えた映像合成部の機能構成図である。レベル調整部１０２−Ａ〜Ｎの構成を示す図である。映像音声合成装置に備えた音声合成部の機能構成図である。

符号の説明

１遠隔体験共有型視聴システム
１０映像音声合成装置
１１マイク
１２カメラ
１３モニタ
１４スピーカー
２０インターネット
３０集約サーバ
４０放送局
１００映像処理部
１０１幾何学変換部
１０２レベル調整部
１０３，２０３合成部
２００音声処理部
２０１音像定位移相部
２０２レベル調整部
３００位置設定部

Claims

各地点の視聴者が時間同期して視聴可能な同一の映像コンテンツを受信し、予め画面上の表示位置が設定された各視聴者の映像を、前記映像コンテンツの映像に合成して表示すると共に、各視聴者の音声を、前記映像コンテンツの音声に合成して出力する映像音声合成装置であって、
各視聴者の映像を同一の濃度になるように調整すると共に、各視聴者の映像における濃度の和が映像コンテンツの映像の濃度よりも小さくなるように、各視聴者の映像及び映像コンテンツの映像を調整し、該調整した各視聴者の映像及び映像コンテンツの映像を合成する映像処理部と、
各視聴者の音声の大きさの和が映像コンテンツの音声の大きさよりも小さくなるように、各視聴者の音声及び映像コンテンツの音声を調整し、該調整した各視聴者の音声及び映像コンテンツの音声を合成する音声処理部とを備えたことを特徴とする映像音声合成装置。
請求項１に記載の映像音声合成装置において、
前記映像処理部が、
視聴者の映像を入力し、前記予め設定された視聴者の位置に基づいて、該視聴者の画面上のサイズ及び位置を幾何学変換する幾何学変換部と、
該幾何学変換された各視聴者の映像を同一の濃度になるように調整すると共に、該各視聴者の映像における濃度の和が映像コンテンツの映像の濃度よりも小さくなるように、各視聴者の映像及び映像コンテンツの映像を調整するレベル調整部と、
該レベル調整された各視聴者の映像及び映像コンテンツの映像を合成する合成部とを備え、
前記音声処理部が、
視聴者の音声を入力し、前記予め設定された視聴者の位置に基づいて、該視聴者の音声を音像定位させる音像定位移相部と、
該音像定位された各視聴者の音声の大きさの和が、映像コンテンツの音声の大きさよりも小さくなるように、各視聴者の音声及び映像コンテンツの音声を調整するレベル調整部と、
該レベル調整された各視聴者の音声及び映像コンテンツの音声を合成する合成部とを備えたことを特徴とする映像音声合成装置。
請求項１または２の映像音声合成装置を前記各地点に備え、
第１の地点の映像音声合成装置が、自らの地点の視聴者の映像及び音声を、他の地点の映像音声合成装置へ送信し、他の地点の視聴者の映像及び音声を、他の地点の映像音声合成装置からそれぞれ受信して入力することを特徴とする遠隔体験共有型視聴システム。