JP3036088B2 - 複数画像ウインドウ表示用音信号出力方法 - Google Patents

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】この発明は例えばテレビ会議装置
や親子画面方式などの１画面に複数のウインドウを設
け、そのウインドウに各別の画像を表示する場合におけ
るその画像と付随した音声、音楽などの音信号の出力方
法に関する。

【０００２】

【従来の技術】テレビ会議システムや多地点間接続され
たテレビ電話で複数の者が同時に会話する、一種のテレ
ビ会議における表示は、従来においては１台の表示装置
に切替えて表示していた。つまり例えば地点Ａ，Ｂ，
Ｃ，Ｄの４地点間接続されたテレビ会議システムで１台
のモニタに切り替えて表示する場合、図５に示すように
地点Ａの参加者１１はカメラ１２にて撮像され、その撮
像出力は制御装置１３、通信回線１４を介して地点Ｂ，
Ｃ，Ｄの各通信相手に送信される。また、地点Ａの参加
者１１は、表示モニタ１５を使用して、例えば地点Ｂの
参加者の像１６を見ることができる。ここで、地点Ｃ，
Ｄの参加者を見たい場合には制御装置１３を介して表示
モニタ１５に表示されている画像を地点Ｃ，Ｄからの画
像に切り替えて表示することにより見ることができる。
また、音声は地点Ｂ，Ｃ，Ｄの音声を制御装置１３によ
りミキシングしてスピーカ１７に出力される。この方式
では、地点Ａ，Ｂ，Ｃ，Ｄから入力される音声をミキシ
ングにより出力するために、出力されている音声がどの
参加者の音声なのかを認識できない欠点がある。

【０００３】また従来において、１地点に複数のモニタ
を設けて、各別の地点からの像を表示する方式もあっ
た。図６は地点Ａ，Ｂ，Ｃ，Ｄの４地点間接続されたテ
レビ会議システムで２台のモニタに通信相手画像を表示
する方式を示し、地点Ａでは表示モニタ１５の他に表示
モニタ１８を並べて設け、この表示モニタ１８に地点Ｃ
からの画像信号を表示させる。このようにして地点Ｂ，
Ｃの参加者の像１６，１９を見ることができる。

【０００４】地点Ｄの参加者の像を見たい場合には、表
示モニタ１６または１８の映像を切り替えて地点Ｄの参
加者の像を表示する。また、音声は地点Ｂ，Ｃ，Ｄの音
声を制御装置１３によりミキシングしてスピーカ１７か
ら出力される。この従来方式では、１台のモニタで切り
替えて表示する場合と同様に、地点Ａ，Ｂ，Ｃ，Ｄから
入力される音声をミキシングにより出力するために、出
力されている音声がどの参加者の音声なのかを認識でき
ない同じ欠点がある。

【０００５】更に従来において、１画面全体を１つのウ
インドウとしてこれに画像を表示すると共にその画面
（ウインドウ）の一部に他の小ウインドウを設け、この
小ウインドウに他の画像を表示するいわゆる親子画面表
示方式においては、音声又は音楽などの音信号について
はその一方のウインドウに付随するものを切り替えてス
ピーカより出力するか、両ウインドウに付随する両音信
号を単純にミキシングしてスピーカより出力しているた
め、両者を聞き分けることができなかった。

【０００６】

【課題を解決するための手段】この発明によれば複数の
ウインドウを設けて各別の画像を１画面に同時に表示す
る表示装置のその画面の周辺に複数のスピーカを分散配
置し、これらスピーカに、これらからウインドウまでの
距離に応じて逆比例的に、そのウインドウに付随した音
信号を分配して音信号を出力する。

【０００７】

【実施例】図１に地点Ａ，Ｂ，Ｃ，Ｄの４地点間接続さ
れたテレビ会議システムにこの発明を適用した実施例を
示す。つまり図１は地点Ａに設けられた装置であって、
表示モニタ２１はいわゆるマルチウインドウ表示方式の
ものであって、その画面２２に複数の動画ウインドウ２
３，２４，２５が設けられ、これらウインドウ２３，２
４，２５にそれぞれ地点Ｂ，Ｃ，Ｄの各参加者像１６，
１９，２８が表示される。

【０００８】制御装置１３内において、映像／音声入出
力制御部３１が通信回線１４，テレビカメラ１２、マル
チウインドウ拡大／縮小部３２及び音声レベル検出部３
３に接続され、マルチウインドウ拡大／縮小部３２、マ
ルチウインドウ表示制御部３４、マルチウインドウ移動
処理部３５、マウス入力処理部３６及び音像定位制御部
３７が中央制御部３８に接続される。音声レベル検出部
３３の検出出力は音声レベル制御部３９へ出力され、音
声レベル制御部３９の出力は音像定位制御部３７に出力
される。マウス入力処理部３６にマウス４１が接続され
る。画面２２の左右の両側にスピーカ４２，４３が配さ
れる。

【０００９】カメラ１２により撮像された地点Ａの参加
者１１の映像は映像／音声入出力制御部３１、通信回線
１４を介して通信相手に送信される。また、通信回線１
４を介して制御装置１３に入力された多重化された３地
点の映像、音声は、映像／音声入出力制御部３１で３地
点の映像、音声に分離され、映像はマルチウインドウ拡
大／縮小部３２を介してマルチウインドウ表示制御部３
４に入力され、音声は音声レベル検出部３３、音声レベ
ル出力制御部３９を介して音像定位制御部３７に入力さ
れる。ここで、地点Ｂ，Ｃ，Ｄの映像をそれぞれ映像チ
ャネル１，２，３とし、映像チャネル１，２，３に付随
する音声をそれぞれ音声チャネル１，２，３とする。マ
ルチウインドウ表示制御部３４では中央制御部３８の指
示の下に、例えばマルチウインドウ表示モニタ２１の画
面２２に表示されているように、地点Ｂの参加者像１
６、すなわち映像チャネル１を画面２２の左側の動画ウ
インドウ２５に、地点Ｃの参加者像１９、すなわち映像
チャネル２を画面２２の中央の動画ウインドウ２６に、
地点Ｄの参加者像２８、すなわち映像チャネル３を画面
２２の右側の動画ウインドウ２７に表示する。

【００１０】この発明ではウインドウ２５に付随する音
声、つまり音声チャネル１を、ウインドウ２５からスピ
ーカ４２，４３までの距離と逆比例的にスピーカ４２，
４３に分配する。ウインドウ２６，２７にそれぞれ付随
する音声、つまり音声チャネル２，３も同様に、スピー
カ４２，４３に分配する。このため中央制御部３８は、
音像定位制御部３７に、ウインドウ２５，２６，２７そ
れぞれの表示中央水平座標位置と、ウインドウに表示さ
れている映像チャネルに付随する音声のチャネル番号と
を入力する。音像定位制御部３７では、入力された各ウ
インドウの表示中央水平座標位置に基づき、そのウイン
ドウに表示されている映像チャネルに付随する音声チャ
ネルの音声出力のスピーカ４２，４３への分配レベルを
制御する。

【００１１】音声レベル可能範囲を５段階とした場合、
図２Ａに示すように画面２２を水平方向において５つの
領域〜に分割し、領域を左のスピーカ４２側に位
置させ、これら領域〜の何れに像（ウインドウ）が
あるかに応じて、その像（ウインドウ）に付随した音声
を、スピーカ４２，４３へ分配する分配比を決める。こ
の決め方は近いスピーカに大きなレベルが、遠いスピー
カに小さなレベルが供給されるように、図２Ｂに示すよ
うにする。例えば領域に位置したウインドウに付随す
る音声はスピーカ４２，４３に０．７５：０．２５とな
るように分配し、スピーカ４２，４３の出力の比はこの
関係となり、地点Ａの参加者には領域からその音声が
発声されているように聞こえる。従って図１の画面２２
に表示されている動画ウインドウ２５，２６，２７の表
示中央水平座標位置はそれぞれ領域、、にあるか
ら、動画ウインドウ２５に表示されている映像、すなわ
ち映像チャネル１に付随する音声チャネル１の音声レベ
ル比は スピーカ４２：スピーカ４３＝１：０ となる。同様に動画ウインドウ２６，２７に表示されて
いる映像チャネル２，３に付随する音声チャネル２，３
の音声レベル比はそれぞれ スピーカ４２：スピーカ４３＝０．５：０．５ スピーカ４２：スピーカ４３＝０：１ となる。音像定位制御部３７では、この比に基づきスピ
ーカ４２，４３に出力する音声レベルを変化させて出力
する。このようにして、動画ウインドウ２５に表示され
ている動画像に付随する音声チャネル１の音声、すなわ
ち地点Ｂの参加者の音声は画面２２の左側部分から発声
しているように参加者１１に聞こえる。同様に、動画ウ
インドウ２６，２７に表示されている動画像に付随する
音声チャネル２，３の音声、すなわち地点Ｃ，Ｄの各参
加者の音声はそれぞれ、画面２２の中央部、右側部分か
らそれぞれ発声されているかのように聞こえる。このよ
うにして、マルチウインドウで表示されている会議参加
者の表示位置とみかけ上の音声発声位置とが一致してい
るため、従来の技術に比べて出力されている音声が何れ
の参加者からのものであるかの認識が容易になるため、
良好なテレビ会議が可能となる。

【００１２】図３Ａに示すようにスピーカ４２，４３の
中央部にスピーカ４４を設け、つまり３つのスピーカを
画面２２の下側で水平方向に配列し、音声レベル可変範
囲を７段階とする場合は、画面２２を水平方向に７つの
領域〜に分割し、各領域にあるウインドウの像に付
随する音声をスピーカ４２，４３，４４から図３Ｂに示
すような分配比で出力させるようにすればよい。この場
合も図２Ａと同様に表示中央水平座標位置に応じて、ス
ピーカ４２，４３，４４に出力する音声レベルを変化さ
せて出力する。３スピーカを使用し、また音声レベル可
変範囲を７段階としたため、より細かい制御が可能にな
り、上述した場合と同様に、出力されている音声の発声
者の認識がより容易になり、良好なテレビ会議が可能と
なる。

【００１３】次に、マウス４１を使用して、マルチウイ
ンドウ表示モニタ２１に表示されている動画マルチウイ
ンドウを移動させた場合について説明する。マウス４１
によるウインドウ移動操作は例えば、マウス４１のスイ
ッチを操作して、画面２２の一部に機能メニューウイン
ドウを表示させ、その項目（拡大、縮小、移動、消去な
ど）中の「移動」をマーカにより選択クリックし、その
後、移動したいウインドウを同様にしてクリックし、そ
の後、移動させたい位置にマーカを移動させてクリック
すればよい。マウス４１を操作し、例えばウインドウ２
５を画面２２の中央付近へ移動させたとする。図２Ｃは
動画ウインドウ２５を中央付近に移動させた状態を示
す。まず、マウス４１により移動されるウインドウが選
択され、次にマウスを操作してマーカを所望の位置に移
動させる。これによりマウス４１により入力されたデー
タはマウス入力処理部３６にて移動座標値として中央制
御部３８に入力される。中央制御部３８ではその移動座
標値をマルチウインドウ移動処理部３５に入力し、マル
チウインドウ移動処理部３５にてその移動座標値に基づ
き動画ウインドウの移動処理を行う。移動されたこの動
画ウインドウはマルチウインドウ表示制御部３４に入力
され、動画ウインドウ２５をマーカの位置に表示させ
る。

【００１４】中央制御部３８は、同時にその移動座標値
を音像定位制御部３７に入力し、音像定位制御部３７で
はその移動座標値に基づき、移動した動画ウインドウ２
５に付随する音声のスピーカ４２，４３への供給分配比
を図２Ｂに従って変化させる。例えば、図２Ｃに示す位
置に動画ウインドウ２５が移動された場合、動画ウイン
ドウ２５に付随する音声チャネルの音声、すなわち地点
Ｂの参加者の音声は画面２２の中央位置から発声されて
いるかのようになる。このようにして、マルチウインド
ウで表示されている動画像の表示位置を任意の位置に移
動することが可能で、この移動に応じてスピーカ４２，
４３から出力され、音声出力レベル比を変化させること
により、マルチウインドウで表示されている会議参加者
の表示位置と音声発声位置とが一致されて出力される。
これは、実際の会議などでは、席を移動する場合に相当
し、テレビ会議においても、席の移動を模擬した状態を
実現しているため、従来の技術に比べて、より臨場感の
あるテレビ会議が可能となる。

【００１５】次に動画ウインドウを拡大・縮小する場合
について説明する。マウス４１により所望の動画ウイン
ドウを選択し、そのウインドウの枠を所望の大きさに変
化させる操作をすると、中央制御部３８はマウス４１に
より決定されたその動画ウインドウの大きさ情報をマル
チウインドウ拡大／縮小部３２、音声レベル制御部３９
に転送する。マルチウインドウ拡大／縮小部３２では、
この動画ウインドウの大きさ情報に基づき動画ウインド
ウの大きさを拡大・縮小させ、マルチウインドウ表示制
御部３４に転送し表示する。音声レベル制御部３９では
転送された動画ウインドウの大きさ情報に基づきその動
画ウインドウに付随する音声のレベルを増減させる。こ
れにより、縮小表示されている動画ウインドウの音声は
小さな音量で、拡大表示されている動画ウインドウの音
声は大きな音量で出力されるため、ユーザが注目したい
ために拡大表示した動画ウインドウの音声は自動的に増
大され、音声にも注目することができ、また、利用者が
あまり会議に関係ないと思われる動画像を縮小表示した
動画ウインドウの音声は自動的に減少され、他の重要な
音声に注目することができ、ユーザインタフェースのよ
いテレビ会議が可能になる。

【００１６】また、逆に、受信した音声レベルに応じ
て、該当する動画ウインドウを拡大・縮小する場合につ
いて説明する。音声レベル検出部３３にて受信した音声
レベルを検出し、あるしきい値以上の音声レベルの動画
ウインドウを拡大表示する。また、あるしきい値以下の
音声レベルの動画ウインドウを縮小表示する事により、
ユーザインタフェースのよいテレビ会議、テレビ電話が
可能になる。すなわち、たとえば地点Ｂの参加者が他の
参加者に注意を喚起するために大きな声を発声した場
合、この音声は音声レベル検出部３３にてしきい値以上
の音声レベルとして判断し、地点Ｂの参加者表示のため
のウインドウ２５を拡大表示して表示する。また、たと
えば地点Ｃの参加者がしばらくの間会話に参加せず、一
定の時間以上黙っていた場合、その動画ウインドウ２６
を縮小表示する。

【００１７】ウインドウ形式で２つの動画像を表示する
システムとしては、親子画面方式で表示する方式があ
る。この親子画面方式のシステムにこの発明を適用した
例について図４を参照して説明する。親子画面表示モニ
タ５１の画面２２には、画面一杯のウインドウ（親画
面）５２に例えばあるチャネルの画像が表示され、画面
２２の一部、つまりウインドウ５２内の一部にウインド
ウ（子画面）５３が設けられ、これに他のチャネルの画
像が表示される。この親子画面表示モニタ５１に対する
親子画面表示制御部５４には映像／音声入力制御部５
５、親子画面表示制御部５６、子画面移動処理部５７、
音声レベル出力制御部５８、遠隔操作器入力処理部５９
及び中央制御部６１が相互に接続されて設けられる。映
像／音声入力部制御５５に入力された映像、音声はそれ
ぞれ親子画面表示制御部５６、音声レベル出力制御部５
８に入力される。画面観察者は、遠隔操作器６２により
子画面５３の表示位置を指示し、指示されたデータは遠
隔操作器入力処理部５９に転送される。遠隔操作器入力
処理部５９では、指示された子画面表示位置情報を中央
制御部６１に入力する。中央制御部６１では入力された
子画面表示位置情報を親子画面表示制御部５６に転送
し、親子画面表示制御部５６では、親画面５２の中に子
画面５３を埋め込んで親子画面表示モニタ５１に表示す
る。同時に中央制御部６１は、子画面表示位置情報を音
声レベル出力制御部５８に入力する。音声レベル出力制
御部５８では、子画面表示位置情報に基づき、親画面、
子画面の音声出力レベルを制御する。音声出力レベルの
制御方は図１の実施例と同様である。たとえば、親子画
面が図４の画面２２に示しているように表示されている
場合、つまり子画面５３が右側部分に表示されている場
合は親画面５２の音声は中央から、子画面５３の音声は
右側から聞こえるようにされる。

【００１８】このようにして、親子画面方式で２つの動
画像を同時に表示する場合、子画面５３の表示位置に応
じて２台のスピーカ４２，４３に出力する親、子画面の
音声レベルを制御するため、同時に親、子画面の音声を
聞くことができ、また、どちらの音声が親画面からまた
は子画面からかを容易に認識できる利点がある。なおこ
の親子画面方式では画像（ウインドウ）に付随する音信
号としては音声に限らず音楽などの場合もある。上述で
は動画を表示したが静止画像を表示する場合にもこの発
明を適用できる。上述では複数のスピーカを横方向（水
平方向）に配列し、これらから出力される音のレベル比
を制御したが、ウインドウが上下に配列される場合はス
ピーカを縦方向（垂直方向）に配列して、これらから出
力される音のレベル比を制御して音像位置を、縦方向に
おいてウインドウと対応して定位させてもよい。更には
スピーカを画面の周辺全体に分散配置し、画面内のウイ
ンドウの２次位置と対応して、音像を定位させるように
することもできる。

【００１９】

【発明の効果】以上説明したようにマルチウインドウ表
示方式や親子画面方式などで複数のウインドウに各別の
画像を表示できるシステムにおいて、表示されている複
数の画像の表示位置に応じてその複数動画像に付随する
音のレベルを変化させ、ｎ個のスピーカへ出力するた
め、その結果として、画像が表示されている位置から音
が聞こえてくるから、従来の技術に比べて出力されてい
る音声の発声者の認識が容易になるため、良好なテレビ
会議が可能となり、あるいは親子画面表示における子画
面の音を識別して聞くことができる。

【００２０】また、複数表示されているウインドウの一
つに注目するためにウインドウを拡大・縮小する場合、
拡大・縮小率に応じてそのウインドウに付随する音信号
のレベルを増減することにより、よりユーザインタフェ
ースのよいテレビ会議が可能になる。逆に、受信した音
声レベルに応じて、そのウインドウを拡大・縮小表示す
ることにより、注目されたい場合には大きな声で呼びか
けて拡大表示させ、会議の途中でしばらくの間離席する
ような場合、そのウインドウを縮小表示させることによ
り表示画面を有効に使用し、ユーザインタフェースの良
いテレビ会議が可能となる。

【００２１】また、この発明を親子画面表示方式に適用
した場合、同時に親、子画面の音を聞くことができ、ま
た、どちらの声が親画面からまたは子画面からかを容易
に認識できる利点がある。

【図面の簡単な説明】

【図１】この発明をテレビ会議の表示装置における音声
出力方法に適用した実施例を示すブロック図。

【図２】Ａは図１において音声レベル可変範囲を５段階
とした場合の画面の分割領域を示す図、Ｂはその各領域
に付随する音声のスピーカ４２，４３からの出力レベル
比を示す図、Ｃはウインドウ２５を図１の状態から中央
部に移動させた状態を示す図。

【図３】Ａはスピーカを３つとし、音声レベル可変範囲
を７段階とした場合の画面の分割領域を示す図、Ｂはそ
の各領域に付随する音声のスピーカ４２，４３，４４か
らの出力レベル比を示す図。

【図４】この発明を親子画面方式における音出力方法に
適用した実施例を示すブロック図。

【図５】従来のテレビ会議システムのモニタ装置を示す
ブロック図。

【図６】従来のテレビ会議システムのモニタ装置の他の
ものを示すブロック図。

───────────────────────────────────────────────────── フロントページの続き (56)参考文献 特開 昭48−66726（ＪＰ，Ａ) 特開 昭51−3718（ＪＰ，Ａ) 特開 昭54−114038（ＪＰ，Ａ) 特開 昭62−190962（ＪＰ，Ａ) 特開 昭63−14588（ＪＰ，Ａ) 特開 平１−206765（ＪＰ，Ａ) (58)調査した分野(Int.Cl.⁷，ＤＢ名) H04N 7/15 G09G 5/14 H04N 5/66

Claims (2)

(57)【特許請求の範囲】
1. 【請求項１】 １画面上に複数のウインドウを設け、こ
   れら各ウインドウに各別の画像を表示する表示装置につ
   いて、上記画像に付随した音信号を出力する方法におい
   て、上記画面の周辺に複数のスピーカを分散配置し、こ
   れらスピーカに、これらから上記ウインドウまでの距離
   に応じて逆比例的にそのウインドウの画像に付随した音
   信号を分配して音信号を出力することを特徴とする複数
   画像ウインドウ表示用音信号出力方法。
2. 【請求項２】 上記ウインドウの拡大縮小に応じて、そ
   のウインドウに付随した音信号のレベルを大小に制御す
   ることを特徴とする請求項１記載の複数画像ウインドウ
   表示用音信号出力方法。