JP4562649B2

JP4562649B2 - 映像音声会議システム

Info

Publication number: JP4562649B2
Application number: JP2005361635A
Authority: JP
Inventors: 武井上; 鑑豊島; 仁上松
Original assignee: Nippon Telegraph and Telephone Corp
Current assignee: Nippon Telegraph and Telephone Corp
Priority date: 2005-12-15
Filing date: 2005-12-15
Publication date: 2010-10-13
Anticipated expiration: 2025-12-15
Also published as: JP2007166375A

Description

本発明は、会議参加者同士の端末装置をネットワークにより接続することにより映像および音声を用いて会議を実現するシステムに利用する。特に、発話者の端末装置を認識し、発話者の映像および音声を他の参加者の端末装置に配信する技術に関する。

従来の映像音声会議システムでは、各参加者の発話状態に基づいて発話者を選択し、その発話者の映像ストリームを受信する。あるいは、発話状態を判断するために音声ストリームを配信するのではなく、各参加者が発話状態を表す数値データを配信し、その値に基づいて発話者の選択が行われる。これらの映像音声会議方システムでは、音声ストリームは常時配信されており、映像ストリームのみを選択的に受信している。

これにより、参加者の発話に伴って、表示される参加者映像をリアルタイムに変更することができる。また、実際には、トラフィックや復号処理を軽減するために、音声ストリームを選択的に受信することも考えられる。

このような従来技術の具体例を図７ないし図９を参照して説明する。図７のように、端末装置１〜３がネットワーク５に接続されている。簡単のため、選択される発話者数は１とする。ここでは、端末装置１が発話者を選択し、端末装置１のみが他端末装置２または３からの映像および音声ストリームを受信するとして説明を行うが、実際には複数の端末装置が発話者の選択を行ってもよいし、映像および音声ストリームの受信は複数の端末装置によって行われるべきである。

図８は従来例の端末装置の要部ブロック構成図である。図８に示すように、各端末装置は、カメラ１１、マイクロフォン１２、カメラ１１により撮影された映像に基づき映像ストリームを生成する映像ストリーム生成部１３、マイクロフォン１２により集音された音声に基づき音声ストリームを生成する音声ストリーム生成部１４、マイクロフォン１２により集音された音声に基づき会議参加者の発話状態を判断する発話状態判断部１５、発話の開始または終了を他端末装置へ伝達するための発話状態メッセージを生成して送信する発話状態通知部１６、他端末装置から到来した発話状態メッセージを受け取って音声ストリームおよび映像ストリームを受信する映像音声受信部１７、その時点での発話者と受信者とを記録する管理テーブル１８、他端末装置の映像音声受信部１７から送出された送信開始メッセージまたは送信停止メッセージを受信し、映像ストリーム生成部１３および音声ストリーム生成部１４に、映像ストリームおよび音声ストリームの送信開始または送信停止を指示する送信開始・停止メッセージ受信部１９により構成される。

端末装置２または３の発話状態判断部１５は、マイクロフォン１２からの音声入力の変化などから発言レベルを算出する。端末装置２または３の発話状態通知部１６は、発言レベルが変化すると、その旨を伝えるための「発話状態メッセージ（発言レベル↑）または（発言レベル↓）」を生成して端末装置１に通知する。「発話状態メッセージ（発言レベル↑）」を受信した端末装置１の映像音声受信部１７は、当該「発話状態メッセージ（発言レベル↑）」の送信元の端末装置２または３を発話者として認識する。このときに、複数の端末装置２および３からの「発話状態メッセージ（発言レベル↑）」をほぼ同時に受信した場合には、発言レベルの高い端末装置２または３を発話者として選択する。

図９のシーケンス図を用いて従来例の説明を行う。各端末装置１〜３は、その時点での発話者と受信者とを記録する管理テーブル１８を管理する。例えば、図９の最初の状態では、端末装置１にとっての発話者が端末装置２であることがわかる。また、端末装置２にとっての受信者は端末装置１である。このとき、端末装置２が端末装置１に対して映像ストリームと音声ストリームとを送信する。

まず、端末装置２が発話者として選択されているとする。すると、端末装置１は、端末装置２から映像および音声ストリームを受信する。ここで、端末装置３を利用している参加者が、発言を開始したとする。すると、端末装置３の発話状態判断部１５はマイクロフォンからの音声入力の変化などから、発言レベルが上がったことを検知する。端末装置３の発話状態通知部１６は、その旨を伝えるための「発話状態メッセージ（発言レベル↑）」を端末装置１に送信する。この「発話状態メッセージ（発言レベル↑）」を受信した端末装置１の映像音声受信部１７は、端末装置２へ「送信停止メッセージ」を送信し、端末装置３へ「送信開始メッセージ」を送信する。その後、端末装置１は、端末装置３の映像ストリームと音声ストリームとを受信するようになる。

頻繁な映像の切り替えは目に障るため、端末装置３の発話状態判断部１５はマイクロフォン１２からの音声入力の変化を比較的ゆっくりと検知するように設定されていたとする。この例では、サンプリング時間を長く設定することによって、ゆっくり検知する。すると、発話と判定されるまでに時間がかかるため、音声の話頭切断が発生しやすくなる。一方、端末装置３の発話状態判断部１５がマイクロフォン１２からの音声入力の変化を短時間で検知するように設定されていると、話頭切断は回避できるかも知れないが、次に述べるような問題が発生する。

図１０のシーケンス図を用いて、端末装置３の近くで物音がしたような状況を考える。例えば、端末装置３の参加者のくしゃみがマイクに拾われたとする。この例では、サンプリング時間を短く設定することによって、発話状態の変化を機敏に検知できるものとする。端末装置３の発話状態判断部１５は、発言レベルが上がったことをすぐに検知し、発話状態通知部１６は、その旨を伝えるための「発話状態メッセージ（発言レベル↑）」を端末装置１に送信する。このメッセージを受信した端末装置１の映像音声受信部１７は、端末装置２へ「送信停止メッセージ」を送信し、端末装置３へ「送信開始メッセージ」を送信する。その後、端末装置１は、端末装置３の映像ストリームと音声ストリームとを受信するようになる。

音がしなくなると、端末装置３の発話状態判断部１５は、発言レベルが低下したことをすぐに検知し、発話状態通知部１６は、その旨を伝えるための「発話状態メッセージ（発言レベル↓）」を端末装置１に送信する。このメッセージを受信した端末装置１の映像音声受信部１７は、端末装置３へ「送信停止メッセージ」を送信し、端末装置２へ「送信開始メッセージ」を送信する。その後、端末装置１は、端末装置２の映像ストリームと音声ストリームとを受信するようになる。

このようなことが繰り返し行われると、画面が頻繁に切り替わり、目に障るようになる。また、映像と音声とについて、異なる数の発話者を選択することはできない。

このような従来技術では、映像ストリームと音声ストリームとを選択的に受信する際に、話頭切断を回避するために、音声ストリームに対しては発話者を機敏に選択し、切り替えることが望ましい。例えば、５０ミリ秒のように比較的短い間隔で発話者選択を行うことで、発言の頭が途切れてしまう話頭切断を回避しやすくなる。

一方で、映像ストリームを機敏に切り替え過ぎると、表示される参加者が頻繁に切り替わる可能性があり、目に障るため望ましくない。参加者映像は５０ミリ秒のように短い間隔で切り替える必要はなく、例えば１秒毎に切り替わっても会議の運営には差し支えない。

よって、音声ストリームと映像ストリームとでは、最適とされる発話者選択基準が異なると考えられる。また、映像ストリームと音声ストリームとでは復号負荷が異なるため、最適とされる発話者数も異なると考えられる。

本発明は、このような背景の下に行われたものであって、映像音声会議システムにおける相反する要求、つまり、話頭切断を回避することと参加者映像をゆっくり切り替えることとを同時に満たすことができる映像音声会議システムを提供することを目的とする。

本発明は、複数の端末装置が相互通信可能なネットワークに接続され、前記端末装置は、会議参加者の発話状態を判断する発話状態判断手段と、前記発話状態判断手段により会議参加者が発話状態であると判断したときには発話開始を表す発話状態メッセージを送信する発話状態通知手段と、他端末装置から前記発話状態メッセージを受信したときには、当該発話状態メッセージを送信した前記他端末装置からの音声ストリームおよび映像ストリームを受信する映像音声受信手段とを備えた映像音声会議システムである。

ここで、本発明の特徴とするところは、前記発話状態判断手段は、音声用発話状態判断基準と、映像用発話状態判断基準とを備え、前記音声用発話状態判断基準を用いた判断に要する時間は、前記映像用発話状態判断基準を用いた判断に要する時間と比較して短く設定され、前記発話状態通知手段は、前記発話状態判断手段が前記音声用発話状態判断基準により会議参加者が発話状態であると判断したときには他端末装置に音声ストリームの受信を促すための音声用発話状態メッセージを送信し、前記発話状態判断手段が前記映像用発話状態判断基準により会議参加者が発話状態であると判断したときには他端末装置に映像ストリームの受信を促すための映像用発話状態メッセージを送信する属性別発話状態通知手段を備え、前記映像音声受信手段は、他端末装置から前記音声用発話状態メッセージを受信したときには、当該音声用発話状態メッセージを送信した前記他端末装置からの音声ストリームを受信し、他端末装置から前記映像用発話状態メッセージを受信したときには、当該映像用発話状態メッセージを送信した前記他端末装置からの映像ストリームを受信する属性別受信手段を備えたところにある。

このように、映像に関する処理と音声に関する処理とを個別に扱うことにより、映像音声会議システムにおける相反する要求、つまり、話頭切断を回避することと参加者映像をゆっくり切り替えることとを同時に満たすことができる。

また、本発明では、音声の切替えは、映像の切替えと比較して短めのサンプリング時間により切替えを行うことを特徴とするが、例えば、映像切替えのためのサンプリングを行っている内に、発話者が既に発言を終えてしまったといったケースも考えられる。すなわち、音声切替えのためのサンプリングと映像切替えのためのサンプリングとが同期していないため、切替えタイミングに多少のズレが生じ、例えば、発話者が発言を終えた直後の無駄な映像ストリームを配信してしまうなどの可能性がある。

このような無駄な映像ストリームの配信または受信を行わないために、例えば、前記属性別発話状態通知手段は、前記発話状態判断手段が前記映像用発話状態判断基準により会議参加者が発話状態であると判断したときであっても前記発話状態判断手段が前記音声用発話状態判断基準により当該会議参加者の発話が既に終了していると判断したときには他端末装置への前記映像用発話状態メッセージの送信を禁止する映像用発話状態メッセージ送信禁止手段を備える。

または、前記属性別受信手段は、他端末装置から前記映像用発話状態メッセージを受信したときであっても当該他端末装置からの音声ストリームの受信を既に終了しているときには当該他端末装置からの映像ストリームの受信を禁止する映像ストリーム受信禁止手段を備える。

前記映像用発話状態メッセージ送信禁止手段と前記映像ストリーム受信禁止手段とは、いずれか一方を送信側または受信側に備えればよいが、これら双方の手段を送信側および受信側の双方に備えてもよい。

また、前記ネットワークに接続され、前記複数の端末装置を統括的に制御する制御装置が設けられ、前記制御装置は、前記複数の端末装置間で所定数の端末装置に対して重複した発話許可を与える重複発話許可手段を備え、前記重複発話許可手段は、音声ストリームの送信元として許可する端末装置数と映像ストリームの送信元として許可する端末装置数とを異なる数に設定することができる。

このように、会議参加者の中で、複数の発話者を許可する場合に、例えば、映像ストリームの送信元として許可する端末装置数を、音声ストリームの送信元として許可する送信端末数よりも少なく設定することにより、会議の運営に支障を来すことなく、復号負荷の大きい映像ストリーム数を削減することができる。

また、前記重複発話許可手段を、前記複数の端末装置の一部または全部に備えることにより、前記制御装置を省くこともできる。

本発明によれば、映像音声会議システムにおける相反する要求、つまり、話頭切断を回避することと参加者映像をゆっくり切り替えることとを同時に満たすことができる。また、本発明により、復号負荷の大きい映像ストリーム数を削減することができる。

（第一実施例）
本発明第一実施例を図７、図１〜図３を参照して説明する。図７のように、端末装置１〜３がネットワーク５に接続されている。簡単のため、選択される発話者数は１とする。ここでは、端末装置１が発話者を選択し、端末装置１のみが端末装置２または３からの映像および音声ストリームを受信するとして説明を行うが、実際には複数の端末装置が発話者の選択を行ってもよいし、映像および音声ストリームの受信は複数の端末装置によって行われるべきである。

図１は本実施例の端末装置の要部ブロック構成図である。図１に示すように、各端末装置は、カメラ１１、マイクロフォン１２、カメラ１１により撮影された映像に基づき映像ストリームを生成する映像ストリーム生成部１３、マイクロフォン１２により集音された音声に基づき音声ストリームを生成する音声ストリーム生成部１４、マイクロフォン１２により集音された音声に基づき会議参加者の発話状態を判断する発話状態判断部２０、発話の開始または終了を他端末装置へ伝達するための発話状態メッセージを生成して送信する発話状態通知部２３、他端末装置から到来した発話状態メッセージを受け取って音声ストリームおよび映像ストリームを受信する映像音声受信部２６、その時点での発話者と受信者とを記録する管理テーブル１８、他端末装置の映像音声受信部２６から送出された音声送信開始メッセージまたは音声送信停止メッセージを受信し、音声ストリーム生成部１４に、音声ストリームの送信開始または送信停止を指示する音声送信開始・停止メッセージ受信部２９、他端末装置の映像音声受信部２６から送出された映像送信開始メッセージまたは映像送信停止メッセージを受信し、映像ストリーム生成部１３に、映像ストリームの送信開始または送信停止を指示する映像送信開始・停止メッセージ受信部３０により構成される。

図８に示した従来例の端末装置との差異は、発話状態判断部２０に、音声用発話状態判断基準２１と、映像用発話状態判断基準２２とを備え、さらに、発話状態通知部２３に、音声用発話状態メッセージ送信部２４と、映像用発話状態メッセージ送信部２５とを備え（属性別発話状態通知手段）、さらに、映像音声受信部２６に、音声受信部２７と、映像受信部２８とを備え（属性別受信手段）、さらに、上述した音声送信開始・停止メッセージ受信部２９と、映像送信開始・停止メッセージ受信部３０とを備え、映像に関する処理と音声に関する処理とを個別に扱うことができるところにある。

図１は説明をわかりやすくするために構成を細分化して図示したが、例えば、発話状態判断部２０と発話状態通知部２３とを一体化したり、管理テーブル１８を発話状態判断部２０の内部に備えるなど、構成の簡単化を図れることはいうまでもない。

端末装置２または３の発話状態判断部２０は、マイクロフォン１２からの音声入力の変化などから発言レベルを算出する。端末装置２または３の発話状態通知部２３は、発言レベルが変化すると、その旨を「音声用発話状態メッセージ（発言レベル↑）または（発言レベル↓）」または「映像用発話状態メッセージ（発言レベル↑）または（発言レベル↓）」として端末装置１に通知する。「音声用発話状態メッセージ（発言レベル↑）」または「映像用発話状態メッセージ（発言レベル↑）」を受信した端末装置１の映像音声受信部２６は、当該「音声用発話状態メッセージ（発言レベル↑）」または「映像用発話状態メッセージ（発言レベル↑）」の送信元の端末装置２または３を発話者として認識する。このときに、複数の端末装置２および３からの「音声用発話状態メッセージ（発言レベル↑）」または「映像用発話状態メッセージ（発言レベル↑）」をほぼ同時に受信した場合には、発言レベルの高い端末装置２または３を発話者として選択する。

図２のシーケンス図を用いて第一実施例の説明を行う。各端末装置１〜３は、映像ストリームと音声ストリームとを区別して、発話者と受信者とを管理テーブル１８により管理する。例えば、図２の最初の状態では、端末装置１にとって、映像ストリームおよび音声ストリーム共に、端末装置２を発話者としている。また、端末装置２にとっての受信者は、映像ストリームおよび音声ストリーム共に端末装置１である。このとき、端末装置２が端末装置１に対して映像ストリームと音声ストリームとを送信する。

まず、端末装置２が発話者として選択されているとする。すると、端末装置１は、端末装置２から映像および音声ストリームを受信する。ここで、端末装置３を利用している参加者が、発言を開始したとする。すると、端末装置３の発話状態判断部２０は、マイクロフォン１２からの音声入力の変化などから、発言レベルが上がったことを検知する。この例では、音声発話状態判断基準２１である音声ストリームに対するサンプリング時間を短く設定することによって、すぐに検知することができるとする。端末装置３の発話状態通知部２３の音声用発話状態メッセージ送信部２４は、音声ストリームに対する発話状態メッセージである「音声用発話状態メッセージ（発言レベル↑）」を端末装置１に送信する。このメッセージを受信した端末装置１の音声受信部２７は、端末装置２へ「音声ストリームの送信停止メッセージ」を送信し、端末装置３へ「音声ストリームの送信開始メッセージ」を送信する。その後、端末装置１の音声受信部２７は、端末装置３の音声ストリームを受信するようになる。

このように、端末装置３の発話状態判断部２０がマイクロフォン１２からの音声入力の変化を短時間で検知することにより、端末装置１は端末装置３からの音声ストリームをすぐに受信できるため、話頭切断を回避できるようになる。

さて、端末装置３の発話状態通知部２３の映像用発話状態メッセージ送信部２５は、しばらくしてから映像ストリームに対する発話状態メッセージである「映像用発話状態メッセージ（発言レベル↑）」を端末装置１に送信する。この例では、映像用発話状態判断基準である映像ストリームに対するサンプリング時間を長く設定することによって、ゆっくりと発言レベルの変化を検知する。このメッセージを受信した端末装置１の映像受信部２８は、端末装置２へ「映像ストリームの送信停止メッセージ」を送信し、端末装置３へ「映像ストリームの送信開始メッセージ」を送信する。その後、端末装置１は、端末装置３の映像ストリームを受信するようになる。

図３のシーケンス図を用いて、端末装置３の近くで物音がしたような状況を考える。例えば、端末装置３の参加者のくしゃみがマイクロフォン１２に拾われたとする。すると、端末装置３の発話状態判断部２０は発言レベルが上がったことを検知し、発話状態通知部２３の音声用発話状態メッセージ送信部２４は、その旨を伝達するための「音声用発話状態メッセージ（発言レベル↑）」を端末装置１に送信する。このメッセージを受信した端末装置１の音声受信部２７は、端末装置２へ「音声ストリームの送信停止メッセージ」を送信し、端末装置３へ「音声ストリームの送信開始メッセージ」を送信する。その後、端末装置１の音声受信部２７は、端末装置３の音声ストリームを受信するようになる。

端末装置３の発話状態判断部２０は音がしなくなったため、発言レベルが低下したことを検知し、発話状態通知部２３の音声用発話状態メッセージ送信部２４は、その旨を伝達するための「音声用発話状態メッセージ（発言レベル↓）」を端末装置１に送信する。このメッセージを受信した端末装置１の音声受信部２７は、端末装置３へ「音声ストリームの送信停止メッセージ」を送信し、端末装置２へ「音声ストリームの送信開始メッセージ」を送信する。その後、端末装置１の音声受信部２７は、端末装置２の音声ストリームを受信するようになる。

ここで、端末装置３の映像用発話状態メッセージ送信部２５が、音声ストリームだけでなく映像ストリームについても「映像用発話状態メッセージ（発言レベル↑）」を送信すると、端末装置１の参加者映像には一瞬だけ端末装置３が表示されることとなる。端末装置３の参加者が繰り返しくしゃみをすると、映像が頻繁に切り替わってしまい、目に障る。しかし、映像ストリームに対してはサンプリング時間を長く設定することで、発言状態に切り替わらなくなる。映像ストリームおよび音声ストリームに対して、独立に発話状態を決定することにより、このような事態を避けることができる。

また、本実施例では、音声の切替えは、映像の切替えと比較して短めのサンプリング時間により切替えを行うことを特徴とするが、例えば、映像切替えのためのサンプリングを行っている内に、発話者が既に発言を終えてしまったといったケースも考えられる。すなわち、音声切替えのためのサンプリングと映像切替えのためのサンプリングとが同期していないため、切替えタイミングに多少のズレが生じ、例えば、発話者が発言を終えた直後の無駄な映像ストリームを配信してしまうなどの可能性がある。

このような無駄な映像ストリームの配信または受信を行わないために、発話状態通知部２３は、発話状態判断部２０が映像用発話状態判断基準２２により会議参加者が発話状態であると判断し、映像用発話状態メッセージ送信部２５が「映像用発話状態メッセージ（発言レベル↑）」を送信しようとしたときであっても発話状態判断部２０が音声用発話状態判断基準２１により当該会議参加者の発話が既に終了していると判断し、音声用発話状態メッセージ送信部２４が「音声用発話状態メッセージ（発言レベル↓）」を既に送信した後であるときには他端末装置への映像用発話状態メッセージの送信を禁止する。

または、映像音声受信部２６は、映像受信部２８が他端末装置から「映像用発話状態メッセージ（発言レベル↑）」を受信したときであっても音声受信部２７が当該他端末装置からの音声ストリームの受信を既に終了しているときには当該他端末装置からの映像ストリームの受信を禁止する。

このような音声用発話状態メッセージ送信部２４と映像用発話状態メッセージ送信部２５との連携処理または音声受信部２７と映像受信部２８との連携処理は、いずれか一方の連携処理を送信側または受信側で行えばよいが、これら双方の連携処理を送信側および受信側の双方で行ってもよい。

（第二実施例）
本発明第二実施例を図４〜図６を参照して説明する。端末装置の要部ブロック構成は図１に示した第一実施例と共通である。図４に示すように、端末装置１〜４がネットワーク５に接続されている。映像ストリームに対しては選択される発話者数を１とし、音声ストリームに対しては２とする。ここでは、端末装置１が発話者を選択し、端末装置１のみが端末装置２〜４からの映像および音声ストリームを受信するとして説明を行うが、実際には複数の端末装置が発話者の選択を行ってもよいし、映像および音声ストリームの受信は複数の端末装置によって行われるべきである。

第二実施例では、図４に示すように、ネットワーク５に制御装置３３を接続し、ネットワーク５に接続された端末装置１〜４間で許可される発話者を決定している。なお、図４では説明をわかりやすくするために、制御装置３３を独立した装置として図示したが、制御装置３３に相応する機能を各端末装置１〜４のいずれか一部あるいは端末装置１〜４の全部が備えてもよい。

次に、制御装置３３の動作を図５を参照して説明する。図５は制御装置３３における発話者選択処理の流れを示すフローチャートである。発話頻度評価部３１は、現時点における音声用発話状態メッセージ数の集計を行う（Ｓ１）。所定時間集計した後（Ｓ２）、頻度評価を行う（Ｓ３）。この所定時間は、会議が行われるネットワーク環境によって適宜設定する（例えば、数秒間〜数分間）。重複発話許可部３２は、発話頻度評価部３１による頻度評価の結果、頻度が最も高い端末装置に対して映像および音声ストリームの送信許可を与える（Ｓ４）。さらに、二番目に頻度の高い端末装置に対して音声ストリームのみの送信許可を与える（Ｓ５）。ここでは上述したように、最初の段階で、端末装置２に映像および音声ストリームの送信許可が与えられ、端末装置３に音声ストリームのみの送信許可が与えられているものとする。

次に、図６のシーケンス図を用いて第二実施例の説明を行う。端末装置２の参加者と端末装置３の参加者とが議論を交わしていたとする。そして、映像ストリームに対しては端末装置２が発話者として選択されており、音声ストリームに対しては端末装置２および３がそれぞれ発話者として選択されているとする。すると、端末装置１は、端末装置２から映像および音声ストリームを受信し、端末装置３から音声ストリームを受信する。

端末装置３の参加者が発言を始めると、端末装置３の発話状態判断部２０はマイクロフォン１２からの音声入力の変化などから発言レベルが上がったことを検知する。すると、端末装置３の発話状態通知部２３の音声用発話状態メッセージ送信部２４は、端末装置１へ「音声用発話状態メッセージ（発言レベル↑）」を送信する。しかし、端末装置３は、音声ストリームに対しては既に発話者を選択されていたため、発話者の変更は起こらない。

しばらくすると、端末装置３の発話状態通知部２３の映像用発話状態メッセージ送信部２５は、端末装置１へ「映像用発話状態メッセージ（発言レベル↑）」を送信する。このメッセージを受信した端末装置１の映像受信部２８は、端末装置２へ「映像ストリームの送信停止メッセージ」を送信し、端末装置３へ「映像ストリームの送信開始メッセージ」を送信する。その後、端末装置１の映像受信部２８は、端末装置３の映像ストリームを受信するようになる。

この後、端末装置２の参加者が発言を始めると、端末装置２の発話状態判断部２０は、マイクロフォン１２からの音声入力の変化などから発言レベルが上がったことを検知する。その結果、映像ストリームに対する発話者のみが、端末装置３から端末装置２へ切り替わることとなる。端末装置２の参加者と端末装置３の参加者とが議論を交わしている間、音声ストリームの切り替えが行われることはなく、話頭切断を完全に回避することができる。一方、映像ストリームに対する発話者数を１に限定することで、復号処理の軽減や、表示映像解像度の向上といった利点を得ることができる。

第二実施例では、音声用発話状態メッセージ数の集計によって、端末装置１〜４の発言頻度を調査することにより、発言頻度の高い順から複数の端末装置に対して重複して発話許可を与える例を示したが、発言レベルの高い順から複数の端末装置に対して重複して発話許可を与えたり、あるいは、予め定められた順番に従って複数の端末装置に対して重複して発話許可を与えるなど、発話許可を重複して与えるアルゴリズムについては、他の方法を適用してもよい。

（第三実施例）
第三実施例は、汎用の情報処理装置にインストールすることにより、その情報処理装置に本実施例の端末装置に相応する機能を実現させるプログラムである。このプログラムは、記録媒体に記録されて情報処理装置にインストールされ、あるいは通信回線を介して情報処理装置にインストールされることにより当該情報処理装置に、本実施例の端末装置にそれぞれ相応する機能を実現させることができる。また、端末装置の機能として図４に示す制御装置の機能を加えることもできる。

本発明によれば、映像音声会議システムにおける相反する要求、つまり、話頭切断を回避することと参加者映像をゆっくり切り替えることとを同時に満たすことができる。また、本発明により、復号負荷の大きい映像ストリーム数を削減することができる。これにより、会議参加者および会議運営者の双方にとって利便性の向上に寄与することができる。

第一実施例の端末装置の要部ブロック構成図。第一実施例の説明に用いるシーケンス図。第一実施例の説明に用いるシーケンス図。第二実施例の説明に用いるシステム構成例を示す図。制御装置の動作を示すフローチャート。第二実施例の説明に用いるシーケンス図。従来例および第一実施例の説明に用いるシステム構成例を示す図。従来例の端末装置の要部ブロック構成図。従来例の説明に用いるシーケンス図。従来例の説明に用いるシーケンス図。

符号の説明

１〜４端末装置
５ネットワーク
１１カメラ
１２マイクロフォン
１３映像ストリーム生成部
１４音声ストリーム生成部
１５、２０発話状態判断部
１６、２３発話状態通知部
１７、２６映像音声受信部
１８管理テーブル
１９送信開始・停止メッセージ受信部
２１音声用発話状態判断基準
２２映像用発話状態判断基準
２４音声用発話状態メッセージ送信部
２５映像用発話状態メッセージ送信部
２７音声受信部
２８映像受信部
２９音声送信開始・停止メッセージ受信部
３０映像送信開始・停止メッセージ受信部
３１発話頻度評価部
３２重複発話許可部
３３制御装置

Claims

複数の端末装置が相互通信可能なネットワークに接続され、
前記端末装置は、
会議参加者の発話状態を判断する発話状態判断手段と、
前記発話状態判断手段により会議参加者が発話状態であると判断したときには発話開始を表す発話状態メッセージを送信する発話状態通知手段と、
他端末装置から前記発話状態メッセージを受信したときには、当該発話状態メッセージを送信した前記他端末装置からの音声ストリームおよび映像ストリームを受信する映像音声受信手段と
を備えた映像音声会議システムにおいて、
前記発話状態判断手段は、音声用発話状態判断基準と、映像用発話状態判断基準とを備え、前記音声用発話状態判断基準を用いた判断に要する時間は、前記映像用発話状態判断基準を用いた判断に要する時間と比較して短く設定され、
前記発話状態通知手段は、前記発話状態判断手段が前記音声用発話状態判断基準により会議参加者が発話状態であると判断したときには他端末装置に音声ストリームの受信を促すための音声用発話状態メッセージを送信し、前記発話状態判断手段が前記映像用発話状態判断基準により会議参加者が発話状態であると判断したときには他端末装置に映像ストリームの受信を促すための映像用発話状態メッセージを送信する属性別発話状態通知手段を備え、
前記映像音声受信手段は、他端末装置から前記音声用発話状態メッセージを受信したときには、当該音声用発話状態メッセージを送信した前記他端末装置からの音声ストリームを受信し、他端末装置から前記映像用発話状態メッセージを受信したときには、当該映像用発話状態メッセージを送信した前記他端末装置からの映像ストリームを受信する属性別受信手段を備えた
ことを特徴とする映像音声会議システム。
複数の端末装置が相互通信可能なネットワークに接続され、
前記端末装置は、
会議参加者の発話状態を判断する発話状態判断手段と、
前記発話状態判断手段により会議参加者が発話状態であると判断したときには発話開始を表す発話状態メッセージを送信する発話状態通知手段と、
他端末装置から前記発話状態メッセージを受信したときには、当該発話状態メッセージを送信した前記他端末装置からの音声ストリームおよび映像ストリームを受信する映像音声受信手段と
を備えた映像音声会議システムにおいて、
前記発話状態判断手段は、音声用発話状態判断基準と、映像用発話状態判断基準とを備え、前記音声用発話状態判断基準を用いた判断に要する時間は、前記映像用発話状態判断基準を用いた判断に要する時間と比較して短く設定され、
前記発話状態通知手段は、前記発話状態判断手段が前記音声用発話状態判断基準により会議参加者が発話状態であると判断したときには他端末装置に音声ストリームの受信を促すための音声用発話状態メッセージを送信し、前記発話状態判断手段が前記映像用発話状態判断基準により会議参加者が発話状態であると判断したときには他端末装置に映像ストリームの受信を促すための映像用発話状態メッセージを送信する属性別発話状態通知手段を備え、
前記映像音声受信手段は、他端末装置から前記音声用発話状態メッセージを受信したときには、当該音声用発話状態メッセージを送信した前記他端末装置からの音声ストリームを受信し、他端末装置から前記映像用発話状態メッセージを受信したときには、当該映像用発話状態メッセージを送信した前記他端末装置からの映像ストリームを受信する属性別受信手段を備え、
前記属性別発話状態通知手段は、前記発話状態判断手段が前記映像用発話状態判断基準により会議参加者が発話状態であると判断したときであっても前記発話状態判断手段が前記音声用発話状態判断基準により当該会議参加者の発話が既に終了していると判断したときには他端末装置への前記映像用発話状態メッセージの送信を禁止する映像用発話状態メッセージ送信禁止手段を備えた
ことを特徴とする映像音声会議システム。
複数の端末装置が相互通信可能なネットワークに接続され、
前記端末装置は、
会議参加者の発話状態を判断する発話状態判断手段と、
前記発話状態判断手段により会議参加者が発話状態であると判断したときには発話開始を表す発話状態メッセージを送信する発話状態通知手段と、
他端末装置から前記発話状態メッセージを受信したときには、当該発話状態メッセージを送信した前記他端末装置からの音声ストリームおよび映像ストリームを受信する映像音声受信手段と
を備えた映像音声会議システムにおいて、
前記発話状態判断手段は、音声用発話状態判断基準と、映像用発話状態判断基準とを備え、前記音声用発話状態判断基準を用いた判断に要する時間は、前記映像用発話状態判断基準を用いた判断に要する時間と比較して短く設定され、
前記発話状態通知手段は、前記発話状態判断手段が前記音声用発話状態判断基準により会議参加者が発話状態であると判断したときには他端末装置に音声ストリームの受信を促すための音声用発話状態メッセージを送信し、前記発話状態判断手段が前記映像用発話状態判断基準により会議参加者が発話状態であると判断したときには他端末装置に映像ストリームの受信を促すための映像用発話状態メッセージを送信する属性別発話状態通知手段を備え、
前記映像音声受信手段は、他端末装置から前記音声用発話状態メッセージを受信したときには、当該音声用発話状態メッセージを送信した前記他端末装置からの音声ストリームを受信し、他端末装置から前記映像用発話状態メッセージを受信したときには、当該映像用発話状態メッセージを送信した前記他端末装置からの映像ストリームを受信する属性別受信手段を備え、
前記属性別受信手段は、他端末装置から前記映像用発話状態メッセージを受信したときであっても当該他端末装置からの音声ストリームの受信を既に終了しているときには当該他端末装置からの映像ストリームの受信を禁止する映像ストリーム受信禁止手段を備えた
ことを特徴とする映像音声会議システム。
複数の端末装置が相互通信可能なネットワークに接続され、
前記端末装置は、
会議参加者の発話状態を判断する発話状態判断手段と、
前記発話状態判断手段により会議参加者が発話状態であると判断したときには発話開始を表す発話状態メッセージを送信する発話状態通知手段と、
他端末装置から前記発話状態メッセージを受信したときには、当該発話状態メッセージを送信した前記他端末装置からの音声ストリームおよび映像ストリームを受信する映像音声受信手段と
を備えた映像音声会議システムにおいて、
前記発話状態判断手段は、音声用発話状態判断基準と、映像用発話状態判断基準とを備え、前記音声用発話状態判断基準を用いた判断に要する時間は、前記映像用発話状態判断基準を用いた判断に要する時間と比較して短く設定され、
前記発話状態通知手段は、前記発話状態判断手段が前記音声用発話状態判断基準により会議参加者が発話状態であると判断したときには他端末装置に音声ストリームの受信を促すための音声用発話状態メッセージを送信し、前記発話状態判断手段が前記映像用発話状態判断基準により会議参加者が発話状態であると判断したときには他端末装置に映像ストリームの受信を促すための映像用発話状態メッセージを送信する属性別発話状態通知手段を備え、
前記映像音声受信手段は、他端末装置から前記音声用発話状態メッセージを受信したときには、当該音声用発話状態メッセージを送信した前記他端末装置からの音声ストリームを受信し、他端末装置から前記映像用発話状態メッセージを受信したときには、当該映像用発話状態メッセージを送信した前記他端末装置からの映像ストリームを受信する属性別受信手段を備え、
前記ネットワークに接続され、前記複数の端末装置を統括的に制御する制御装置が設けられ、
前記制御装置は、
前記複数の端末装置間で所定数の端末装置に対して重複した発話許可を与える重複発話許可手段を備え、
前記重複発話許可手段は、音声ストリームの送信元として許可する端末装置数と映像ストリームの送信元として許可する端末装置数とを異なる数に設定する
ことを特徴とする映像音声会議システム。
複数の端末装置が相互通信可能なネットワークに接続され、
前記端末装置は、
会議参加者の発話状態を判断する発話状態判断手段と、
前記発話状態判断手段により会議参加者が発話状態であると判断したときには発話開始を表す発話状態メッセージを送信する発話状態通知手段と、
他端末装置から前記発話状態メッセージを受信したときには、当該発話状態メッセージを送信した前記他端末装置からの音声ストリームおよび映像ストリームを受信する映像音声受信手段と
を備えた映像音声会議システムにおいて、
前記発話状態判断手段は、音声用発話状態判断基準と、映像用発話状態判断基準とを備え、前記音声用発話状態判断基準を用いた判断に要する時間は、前記映像用発話状態判断基準を用いた判断に要する時間と比較して短く設定され、
前記発話状態通知手段は、前記発話状態判断手段が前記音声用発話状態判断基準により会議参加者が発話状態であると判断したときには他端末装置に音声ストリームの受信を促すための音声用発話状態メッセージを送信し、前記発話状態判断手段が前記映像用発話状態判断基準により会議参加者が発話状態であると判断したときには他端末装置に映像ストリームの受信を促すための映像用発話状態メッセージを送信する属性別発話状態通知手段を備え、
前記映像音声受信手段は、他端末装置から前記音声用発話状態メッセージを受信したときには、当該音声用発話状態メッセージを送信した前記他端末装置からの音声ストリームを受信し、他端末装置から前記映像用発話状態メッセージを受信したときには、当該映像用発話状態メッセージを送信した前記他端末装置からの映像ストリームを受信する属性別受信手段を備え、
前記複数の端末装置の一部または全部は、
前記複数の端末装置間で所定数の端末装置に対して重複した発話許可を与える重複発話許可手段を備え、
前記重複発話許可手段は、音声ストリームの送信元として許可する端末装置数と映像ストリームの送信元として許可する端末装置数とを異なる数に設定する
ことを特徴とする映像音声会議システム。
請求項１ないし５のいずれかに記載の映像音声会議システムに適用される端末装置。
汎用の情報処理装置にインストールすることにより、その情報処理装置に、請求項６記載の端末装置に相応する機能を実現させるプログラム。
請求項７記載のプログラムが記録された前記情報処理装置が読み取り可能な記録媒体。
複数の端末装置が相互通信可能なネットワークに接続された映像音声会議システムにおける前記端末装置が、
会議参加者の発話状態を判断する発話状態判断ステップと、
前記発話状態判断ステップにより会議参加者が発話状態であると判断したときには発話開始を表す発話状態メッセージを送信する発話状態通知ステップと、
他端末装置から前記発話状態メッセージを受信したときには、当該発話状態メッセージを送信した前記他端末装置からの音声ストリームおよび映像ストリームを受信する映像音声受信ステップと
を実行する通信方法において、
前記発話状態判断ステップでは、音声用発話状態判断基準と、映像用発話状態判断基準とを用い、前記音声用発話状態判断基準を用いた判断に要する時間は、前記映像用発話状態判断基準を用いた判断に要する時間と比較して短く設定され、
前記発話状態通知ステップとして、前記発話状態判断ステップにおいて前記音声用発話状態判断基準により会議参加者が発話状態であると判断したときには他端末装置に音声ストリームの受信を促すための音声用発話状態メッセージを送信し、前記発話状態判断ステップにおいて前記映像用発話状態判断基準により会議参加者が発話状態であると判断したときには他端末装置に映像ストリームの受信を促すための映像用発話状態メッセージを送信する属性別発話状態通知ステップを実行し、
前記映像音声受信ステップとして、他端末装置から前記音声用発話状態メッセージを受信したときには、当該音声用発話状態メッセージを送信した前記他端末装置からの音声ストリームを受信し、他端末装置から前記映像用発話状態メッセージを受信したときには、当該映像用発話状態メッセージを送信した前記他端末装置からの映像ストリームを受信する属性別受信ステップを実行する
ことを特徴とする通信方法。
複数の端末装置が相互通信可能なネットワークに接続された映像音声会議システムにおける前記端末装置が、
会議参加者の発話状態を判断する発話状態判断ステップと、
前記発話状態判断ステップにより会議参加者が発話状態であると判断したときには発話開始を表す発話状態メッセージを送信する発話状態通知ステップと、
他端末装置から前記発話状態メッセージを受信したときには、当該発話状態メッセージを送信した前記他端末装置からの音声ストリームおよび映像ストリームを受信する映像音声受信ステップと
を実行する通信方法において、
前記発話状態判断ステップでは、音声用発話状態判断基準と、映像用発話状態判断基準とを用い、前記音声用発話状態判断基準を用いた判断に要する時間は、前記映像用発話状態判断基準を用いた判断に要する時間と比較して短く設定され、
前記発話状態通知ステップとして、前記発話状態判断ステップにおいて前記音声用発話状態判断基準により会議参加者が発話状態であると判断したときには他端末装置に音声ストリームの受信を促すための音声用発話状態メッセージを送信し、前記発話状態判断ステップにおいて前記映像用発話状態判断基準により会議参加者が発話状態であると判断したときには他端末装置に映像ストリームの受信を促すための映像用発話状態メッセージを送信する属性別発話状態通知ステップを実行し、
前記映像音声受信ステップとして、他端末装置から前記音声用発話状態メッセージを受信したときには、当該音声用発話状態メッセージを送信した前記他端末装置からの音声ストリームを受信し、他端末装置から前記映像用発話状態メッセージを受信したときには、当該映像用発話状態メッセージを送信した前記他端末装置からの映像ストリームを受信する属性別受信ステップを実行し、
前記属性別発話状態通知ステップでは、前記発話状態判断ステップにおいて前記映像用発話状態判断基準により会議参加者が発話状態であると判断したときであっても前記発話状態判断ステップにおいて前記音声用発話状態判断基準により当該会議参加者の発話が既に終了していると判断したときには他端末装置への前記映像用発話状態メッセージの送信を禁止する映像用発話状態メッセージ送信禁止ステップを実行する
ことを特徴とする通信方法。
複数の端末装置が相互通信可能なネットワークに接続された映像音声会議システムにおける前記端末装置が、
会議参加者の発話状態を判断する発話状態判断ステップと、
前記発話状態判断ステップにより会議参加者が発話状態であると判断したときには発話開始を表す発話状態メッセージを送信する発話状態通知ステップと、
他端末装置から前記発話状態メッセージを受信したときには、当該発話状態メッセージを送信した前記他端末装置からの音声ストリームおよび映像ストリームを受信する映像音声受信ステップと
を実行する通信方法において、
前記発話状態判断ステップでは、音声用発話状態判断基準と、映像用発話状態判断基準とを用い、前記音声用発話状態判断基準を用いた判断に要する時間は、前記映像用発話状態判断基準を用いた判断に要する時間と比較して短く設定され、
前記発話状態通知ステップとして、前記発話状態判断ステップにおいて前記音声用発話状態判断基準により会議参加者が発話状態であると判断したときには他端末装置に音声ストリームの受信を促すための音声用発話状態メッセージを送信し、前記発話状態判断ステップにおいて前記映像用発話状態判断基準により会議参加者が発話状態であると判断したときには他端末装置に映像ストリームの受信を促すための映像用発話状態メッセージを送信する属性別発話状態通知ステップを実行し、
前記映像音声受信ステップとして、他端末装置から前記音声用発話状態メッセージを受信したときには、当該音声用発話状態メッセージを送信した前記他端末装置からの音声ストリームを受信し、他端末装置から前記映像用発話状態メッセージを受信したときには、当該映像用発話状態メッセージを送信した前記他端末装置からの映像ストリームを受信する属性別受信ステップを実行し、
前記属性別受信ステップでは、他端末装置から前記映像用発話状態メッセージを受信したときであっても当該他端末装置からの音声ストリームの受信を既に終了しているときには当該他端末装置からの映像ストリームの受信を禁止する映像ストリーム受信禁止ステップを実行する
ことを特徴とする通信方法。