JPH0591508A - テレビ会議システムにおける話者表示方法 - Google Patents

Abstract

(57)【要約】 【目的】 複数の発言が重複しても、再生される音声の
内容と、話者を示す強調表示の内容を一致させる。 【構成】 まず会議の傍聴を行なう会議参加者の画像を
傍聴者表示領域６ａに表示する。そして、発言に先立ち
会議参加者によって生成された話者加入要求が出力され
た場合、この会議参加者の画像を話者表示領域７ａに表
示し、傍聴を行なう会議参加者と容易に区別ができる表
示を行なう。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、テレビ会議の際に利用
する端末装置の表示画面上において、発言中の会議参加
者の把握を容易に行なうことができるように表示を制御
するテレビ会議システムにおける話者表示方法に関す
る。

【０００２】

【従来の技術】通信路の高速化、及び通信端末装置の性
能向上に伴い、近年、各種形態のテレビ会議システムが
稼働している。このテレビ会議システムは、会議を開催
する場合、会議参加者がある特定の会議開催地に集う必
要がなく、例えば企業の場合、本社や地方の支社に滞在
したままで、会議に参加することができる。

【０００３】図２に、テレビ会議システムの概念図を示
す。図に示したテレビ会議システムＳは、センタ装置１
とセンタ装置１に通信路Ｌを介して接続されたＡ〜Ｆ端
末（通信端末装置）２ａ〜２ｆが設けられている。セン
タ装置１は、各端末から受信した画像データや音声デー
タの編集を行ない、この編集結果を再び各端末に向けて
送信するホストコンピュータ等から構成されるものであ
る。

【０００４】Ａ〜Ｆ端末２ａ〜２ｆは、それぞれの端末
を操作する会議参加者の音声データ及びデータ画像をセ
ンタ装置１に向けて送信し、さらにセンタ装置１から受
信した他の端末の画像データや音声データの表示及び再
生を行なうもので、カメラ及びマイク、そしてディスプ
レイ（表示画面）及びスピーカ等を備えている。

【０００５】以上の構成のテレビ会議システムＳにおい
て、センタ装置１により編集された画像データ及び音声
データは、センタ装置１から各端末に送信される。各端
末では、受信した画像データ及び音声データの表示及び
再生が実施される。この表示及び再生の内容を認識する
ことにより、他の端末を操作する会議参加者の動向を把
握することができる。

【０００６】ここで、各端末の表示画面の表示内容につ
いて説明を行なう。図３は、従来の表示内容説明図であ
る。図は、Ａ端末２ａの表示画面を示したものである Ａ端末２ａの表示画面３ａには、画像表示領域４ａと、
文字データ表示領域５ａが設けられている。

【０００７】画像表示領域４ａは、センタ装置１から受
信した最新の画像データの内容を表示するもので、Ａ〜
Ｆ端末２ａ〜２ｆを操作する各会議参加者の画像を表示
するブロックＢ１〜Ｂ６が設けられている。文字データ
表示領域５ａは、会議の資料として利用する為、画像デ
ータに付加される文字データ等の表示を行なう領域であ
る。Ｂ〜Ｆ端末２ｂ〜２ｆの表示画面についても、同様
の構成である。

【０００８】さて、画像表示領域４ａを構成する各ブロ
ックの表示は、表示画面を見ることにより、容易に現在
発言中である会議参加者（話者）を認識できるように、
話者の表示のみ他の会議参加者と異なる強調表示が行な
われる。ここで、話者の表示について、Ｆ端末２ｆを操
作する会議参加者（ブロックＢ６の表示）が話者である
場合を例に、図４を参照しながら説明する。

【０００９】図４は、従来の話者表示の説明図である。
ここに示した表示画面３ａは、先に図３において説明し
た文字データ表示領域５ａを削除した状態にある。図４
（ａ）の強調表示は、話者の表示されたブロックＢ６の
みを他のブロックとは異なる固有の色や枠等により囲む
方法である。図４（ｂ）の強調表示は、話者の表示され
たブロックＢ６のみを他のブロックよりも拡大して表示
する方法である。図４（ｃ）の強調表示は、話者の表示
されたブロックＢ６のみを画像表示領域４ａとは別途設
けられた専用の領域に表示する方法である。図４（ｄ）
の強調表示は、話者の表示されたブロックＢ６のみを動
画表示し、他のブロックを静止画表示する方法である。

【００１０】ところで、強調表示を行なう前に、複数の
会議参加者の中から話者を特定する処理が必要となる。
この話者の特定は、例えばセンタ装置１が強調表示の制
御を行なう場合、センタ装置１は、各端末から受信した
音声データを監視し、最も音量レベルの大きいものを識
別し、識別結果、即ち最も音量レベルの大きい音声デー
タを送信した端末を操作する会議参加者が話者である決
定を下す。

【００１１】また、予め音声データの監視を行なう単位
時間を設定し、ある閾値以上の音量レベルが継続し、単
位時間を越えた場合に話者である決定を下す。話者の決
定が下された会議参加者が表示されるブロックは、先に
図４において説明したような方法により、強調表示され
ることになる。

【００１２】

【発明が解決しようとする課題】ところで、テレビ会議
システムＳの利用形態の例として、議長により話者が時
分割的に変更される場合（第１の会議と呼ぶことにす
る）と、議長を設けることなく会議参加者が自由に発言
を行なうことのできる場合（第２の会議と呼ぶことにす
る）を挙げることができる。第１の会議の場合、話者が
複数同時に存在する事態が稀なため、表示画面の強調表
示と再生される音声が比較的一致する。しかし、第２の
会議の場合に問題が生じる。一般に、音量レベルは、端
末側に設けれたマイクの集音能力や会議参加者の声の大
小、音質等に大きく左右される。

【００１３】このため、極端な例として、声の大きい会
議参加者が議題と相違する発言の継続中に、一方で声の
比較的小さい会議参加者が議題について発言を開始した
場合、再生される音声は、両者の音声が再生されるが、
強調表示は、声の大きい会議参加者の画像に施され、声
の小さい会議参加者の画像は、傍聴を行なう他の会議参
加者と同じ表示のままとなり、会議の進行状況と一致し
ない強調表示が実施されるといった問題が生じていた。

【００１４】また、ある会議参加者の発言をきっかけ
に、複数の会議参加者が発言を開始し、それぞれ声の大
きさが変化したような場合、強調表示される会議参加者
が激しく変化してしまうといった問題が生じていた。本
発明は以上の点に着目してなされたもので、複数の発言
が重複しても、再生される音声の内容と、話者を示す強
調表示の内容を一致させることのできるテレビ会議シス
テムにおける話者特定方法を提供することを目的とす
る。

【００１５】

【課題を解決するための手段】本発明の話者特定方法
は、会議参加者の画像の表示及び音声の再生を行なう端
末装置を用いて会議を実現する場合において、前記端末
装置の表示画面に、発言中の前記会議参加者を表示する
話者表示領域と、傍聴を行なう前記会議参加者を表示す
る傍聴者表示領域とを設け、前記傍聴者表示領域に表示
された前記何れかの会議参加者によって、前記発言に先
立ち生成される話者加入要求が出力された場合、当該何
れかの会議参加者の画像を、前記話者表示領域に表示す
る。

【００１６】

【作用】この方法は、まず会議の傍聴を行なう会議参加
者の画像を傍聴者表示領域に表示する。そして、発言に
先立ち会議参加者によって生成された話者加入要求が出
力された場合、この会議参加者の画像を話者表示領域に
表示し、傍聴を行なう会議参加者と容易に区別ができる
表示を行なう。

【００１７】

【実施例】本発明を実現するテレビ会議システムの基本
的な構成は、先に図２において説明したテレビ会議シス
テムＳである。従ってここでは、本発明に固有の内容の
み説明を行ない重複する説明を省略する。図１に、本発
明に係る表示画面の説明図を示す。図は、本発明を適用
して、先に図３において説明した表示画面３ａの表示を
行なった場合の表示内容である。表示画面３ａには、傍
聴者表示領域６ａ及び話者表示領域７ａが設けられてい
る。

【００１８】傍聴者表示領域６ａは、会議に参加中の会
議参加者の全てが表示される領域で、この場合、Ａ〜Ｆ
端末２ａ〜２ｆを操作する会議参加者がブロックＢ１〜
Ｂ６に表示されている。話者表示領域７ａは、発言に先
だち話者加入要求を生成し、この要求を出力した会議参
加者、即ち話者を表示する領域で、ここでは傍聴者表示
領域６ａのブロックと同じ表示領域を持つ通常ブロック
と、通常ブロックの４倍の表示領域を持つ拡大ブロック
の２種類を複数表示することができる大きさが設定され
ている。

【００１９】ここで、本発明に係る端末の構成について
説明を行なう。図５は、本発明に係る端末の構成図であ
る。Ａ端末２ａにおいて、会議参加者の撮影を行なうカ
メラ等から構成されるカメラ入力手段１１ａ、及び会議
参加者の音声を集音するマイク等から構成されるマイク
入力手段１２ａから出力される画像データ及び音声デー
タは、符号・復号化手段１６ａにより、符号化（例えば
アナログ／ディジタル変換）される。

【００２０】符号化された画像データ（音声データ）
は、送信データ生成手段１７ａに送られ、所定の形式の
送信データ（通信電文）に整えられる。送信データ生成
手段１７ａにより生成された通信電文は、通信制御手段
１８ａにより、センタ装置１に向けて通信路Ｌ上に送信
される。

【００２１】一方、通信制御手段１８ａが通信路Ｌから
受信した通信電文からは、符号・復号化手段１６ａによ
り画像データ及び音声データが認識され、表示装置等か
ら構成される画像表示手段１３ａ及びスピーカ等から構
成される音声出力手段１４ａにより表示及び再生され
る。

【００２２】さて、本発明の実現に対応して、Ａ端末２
ａには要求入力手段１５ａが設けられている。この要求
入力手段１５ａは、例えば数値データの入力を行なうテ
ンキー等から構成されるものである。この要求入力手段
１５ａは、Ａ端末２ａを操作する会議参加者が発言を実
施する場合、この発言に先立ち、話者加入要求を出力す
るために操作するものである。また、会議参加者が所望
の発言を完了し、話者として認識される必要がなくなっ
た場合に強調表示の解除を要求する話者脱退要求を出力
する場合にも操作する。要求入力手段１５ａの操作内容
は、送信データ生成手段１７ａにより通信路Ｌ上に送信
する通信電文の内容の一部として設定される。

【００２３】この実施例においては、話者表示領域７ａ
上での表示の大きさを指定するため、話者加入要求を２
種類用意している。これは、傍聴者表示領域６ａに表示
される大きさと同一の表示を実現するレベルＬＯＷと、
４倍の表示を実現するレベルＨＩＧＨである。会議参加
者は、話者加入要求を出力する場合、これらレベルも合
わせて指定することになる。

【００２４】ここで、送信データ生成手段１７ａが生成
する通信電文の構成について説明する。図６は、本発明
に係る通信電文の概念図である。図に示すように、通信
電文Ｄには、端末番号（端末No）Ｄ１、要求データＤ
２、音声入力状態Ｄ３、そして画像データＤ４が設定さ
れる。端末NoＤ１は、通信電文Ｄを送信した端末を特定
する内容を示す情報である。要求データＤ２は、要求入
力手段１５ａの操作内容を示す情報である。音声入力状
態Ｄ３は、マイク入力手段１２ａの出力の有無を示す情
報である。画像データＤ４は、符号・復号化手段１６ａ
により生成された画像データ（音声データ）である。以
上の構成の通信電文Ｄが、送信データ生成手段１７ａに
より生成される。

【００２５】次に、図７を参照しながら、本発明に係る
センタ装置１の構成について説明する。図７は、本発明
に係るセンタ装置の構成図である。通信路Ｌを介して入
力した通信電文は通信制御手段２１により受信され、受
信データ分配手段２２に向けて出力される。受信データ
分配手段２２では、通信電文から画像データ及び音声デ
ータが分配され、それぞれ画像作成手段２３及び音声合
成手段２４に向けて出力される。画像作成手段２３で
は、各端末へ送信する画像データ（表示画面を構成する
為の１画面分の画像データ）を作成する。一方、音声合
成手段２４では、各端末から受信した音声データを合成
する。画像作成手段２３で作成された画像データ、及び
音声合成手段２４において合成された音声データは、送
信データ作成手段２５により結合され、通信路Ｌを介し
て各端末装置に向けて送信される。

【００２６】なお、画像作成手段２３では、通信電文の
要求データＤ２の内容に基づいて、受信した画像データ
を傍聴者表示領域６ａ、もしくは話者表示領域７ａの何
れに表示するかを決定する。即ち、要求データＤ２の内
容が話者加入要求を示していた場合、話者表示領域７ａ
への表示を行なう。また、話者脱退要求を示していた場
合、話者表示領域７ａへの表示を削除する。

【００２７】画像作成手段２３には、話者表示領域７ａ
に表示された画像の管理を行なうため、話者管理テーブ
ルが設けられている。この話者管理テーブルを利用した
画像作成手段２３が動作を図８を参照しながら説明す
る。図８は、画像作成手段２３の動作説明図である。図
８（ａ）に示した話者管理テーブル３０には、端末No項
目３０ａ，現在位置項目３０ｂ、保存位置項目３０ｃ、
サイズ項目３０ｄ、そして音声入力最終時間項目３０ｅ
が設けられている。端末No項目３０ａは、表示内容が何
れの端末のものであるか特定する為の項目である。現在
位置項目３０ｂは、話者表示領域７ａ上の表示位置を示
す項目である。保存位置項目３０ｃは、表示すべき画像
データを記憶したメモリのアドレスを記憶する項目であ
る。サイズ項目３０ｄは、表示の大きさを示す項目であ
る。音声入力最終時間項目３０ｅは、音声が入力した最
新の時間を示す項目である。

【００２８】画像作成手段２３は、音声入力最終時間項
目３０ｅの監視を行ない、現在時間と一定の差が生じた
場合、即ち一定時間音声の入力が無い表示においては、
端末No項目３０ａの内容を読取り、内部レジスタ等に記
憶し削除話者列を生成する（図８（ｂ））。画像作成手
段２３は、話者管理テーブル３０を更新するタイミング
が訪れると、削除話者列の有無を確認し、話者列が存在
した場合には該当する内容を話者管理テーブル３０から
削除し、さらに話者表示領域７ａから画像の削除を行な
う。また、話者管理テーブル３０は、内容の削除が実施
されると内容の移動が行なわれる（図８（ｃ））。

【００２９】図９は、話者表示領域７ａの表示説明図で
ある。話者管理テーブル３０が、先に図８（ａ）に示し
た内容の場合、図９（ａ）に示すように、４つの画像が
表示される。その後、話者管理テーブル３０が図８
（ｂ）に示した内容に変化した場合、図９（ｂ）に示す
ように、表示の内容が２つに削減される。

【００３０】ここで 図１０乃至図１２を参照しなが
ら、本発明の動作説明を行なう。図１０は本発明に係る
第１のフローチャートである。画像作成手段２３は、受
信した画像データを、傍聴者表示領域６ａの１ブロック
の表示に必要な大きさに縮小（画素数の削減）する（ス
テップＳ１）。縮小された画像データは、通信電文の端
末Noに対応させて、傍聴者表示領域６ａ上の所定の領域
に表示させる（ステップＳ２）。次に話者管理テーブル
３０の音声入力最終時間項目３０ｅの内容に基づいて、
削除話者列の作成を行なう（ステップＳ３）。さらに通
信電文の要求データＤ２の内容を把握し、脱退要求が設
定されているか否かを判断する（ステップＳ４）。判断
結果がＮＯの場合、さらに加入要求が設定されているか
否かを判断する（ステップＳ５）。ステップＳ５の結果
がＹＥＳの場合、レベルに応じて通信電文に設定された
画像データの縮小を行ない（ステップＳ６）、縮小した
画像データを保存領域に書込み（ステップＳ７）、話者
管理テーブル３０に新たな話者に関する内容を追加する
（ステップＳ８）。

【００３１】ステップＳ８以降の処理は、図１１を参照
しながら説明する。図１１は、本発明に係る第２の説明
図である。画像作成手段２３は、削除話者列の内容に基
づいて話者管理テーブル３０の更新を行ない（ステップ
Ｓ１１）、話者管理テーブル３０の内容を参照して、保
存領域から画像データの読取りを行ない、話者表示領域
７ａを構成する表示メモリへの書込みを行なう（ステッ
プＳ１２）。そして、受信した通信電文の端末Noが話者
管理テーブル３０に登録されているか判断し（ステップ
Ｓ１３）、結果がＹＥＳ、即ち登録されていた場合、通
信電文上の音声入力状態Ｄ３の内容がＯＮ（有効）であ
るかＯＦＦ（無効）であるかを判断する（ステップＳ１
４）。判断結果がＯＮであった場合、話者管理テーブル
３０の対応する音声入力最終時間項目３０ｅを最新の時
間に変更し（ステップＳ１５）、処理を終了する。ステ
ップＳ１３においてＮＯの判断、ステップＳ１４におい
てＯＦＦの判断がなされた場合、直ちに処理を終了させ
ることになる。

【００３２】図１０のステップＳ４において、ＹＥＳの
判断がなされた場合、画像作成手段２３は、受信した通
信電文の端末NoＤ１が話者管理テーブル３０に登録され
ているか判断し（ステップＳ９）、結果がＹＥＳの場
合、この端末Noを削除話者列に設定し、図１１のステッ
プＳ１１に移る。ステップＳ５，Ｓ９においてＮＯの判
断がなされた場合にも、直ちに図１１のステップＳ１１
に処理が移る。

【００３３】次に図１２を参照しながら話者管理テーブ
ル３０の削除について説明する。図１２は、本発明に係
る第３のフローチャートである。画像作成手段２３は、
まず初めに話者管理テーブル３０の先頭の端末Noと削除
話者列の先頭の端末Noであるかを比較する（ステップＳ
２１）。比較の結果が一致した場合には、話者管理テー
ブル３０の開始位置を２番目の端末Noが格納された位置
に設定する（ステップＳ２２）。ステップＳ１の結果、
不一致であった場合、話者管理テーブル３０の開始位置
を現在の位置に保つ（ステップＳ２３）。

【００３４】ステップＳ２２，２３が実施されると、話
者管理テーブル３０に登録された全ての端末Noについて
削除話者列に加える処理を実施したか、即ち、現在着目
している話者管理テーブル３０の端末Noが話者管理テー
ブル３０の最終であるかを判断する（ステップＳ２
４）。結果がＮＯの場合、削除話者列に判断すべき端末
Noが存在するかを判断する（ステップＳ２５）。結果が
ＮＯの場合、話者管理テーブル３０上の並びの変化に合
わせて、話者表示領域７ａ上の表示が移動するように現
在位置の内容を変更し（ステップＳ２６）、ステップＳ
２４に戻る。ステップＳ２５の結果がＹＥＳの場合、話
者管理テーブル３０から削除話者列の内容に該当する端
末Noの情報を削除し（ステップＳ２７）、ステップＳ２
４に移る。

【００３５】このように、話者加入要求が出力された場
合、話者管理テーブルに登録し、要求するレベルに対応
する画像の表示を話者表示領域７ａに実施する。また、
話者脱退要求が出力された場合、もしくは一定時間発言
が実施されない場合、速やかに話者表示領域７ａに表示
された画像を削除し、話者を正確かつ容易に把握できる
表示を行なう。

【００３６】

【発明の効果】以上説明したように、本発明によると、
話者を特定する為の情報を容易かつ的確に把握すること
ができ、音量レベルの監視等の複雑な信号処理を実施す
る必要がない。また、同時に複数の強調表示を実現する
ことができるため、話者が複数重複しても大きく表示内
容が変化する事態を回避することができる。さらに、発
言を終了し傍聴を行なう場合についても、速やかに強調
表示を取り止めることができるため、発言を実施してい
る話者のみを常に表示することができる。そして、複数
の話者の強調表示を、強調表示を開始した時期を把握で
きるようにしたため、発言内容及び会議の流れを容易に
理解することができる。

【図面の簡単な説明】

【図１】本発明に係る表示画面の説明図である。

【図２】テレビ会議システムの概念図である。

【図３】従来の表示内容説明図である。

【図４】従来の話者表示の説明図である。

【図５】本発明に係る端末の構成図である。

【図６】本発明に係る通信電文の概念図である。

【図７】本発明に係るセンタ装置の構成図である。

【図８】画像作成手段の動作説明図である。

【図９】話者表示領域の表示説明図である。

【図１０】本発明に係る第１のフローチャートである。

【図１１】本発明に係る第２のフローチャートである。

【図１２】本発明に係る第３のフローチャートである。

【符号の説明】

３ａ 表示画面 ６ａ 傍聴者表示領域 ７ａ 話者表示領域

Claims (1)

【特許請求の範囲】
1. 【請求項１】 会議参加者の画像の表示及び音声の再生
   を行なう端末装置を用いて会議を実現する場合におい
   て、 前記端末装置の表示画面に、 発言中の前記会議参加者を表示する話者表示領域と、 傍聴を行なう前記会議参加者を表示する傍聴者表示領域
   とを設け、 前記傍聴者表示領域に表示された前記何れかの会議参加
   者によって、前記発言に先立ち生成される話者加入要求
   が出力された場合、 当該何れかの会議参加者の画像を、前記話者表示領域に
   表示することを特徴とするテレビ会議システムにおける
   話者表示方法。