JP4977385B2

JP4977385B2 - テレビ会議システム及びテレビ会議方法

Info

Publication number: JP4977385B2
Application number: JP2006070872A
Authority: JP
Inventors: 敬八木
Original assignee: NEC Corp
Current assignee: NEC Corp
Priority date: 2006-03-15
Filing date: 2006-03-15
Publication date: 2012-07-18
Anticipated expiration: 2026-03-15
Also published as: JP2007251501A

Description

本発明は、テレビ会議システムにおいて限られたネットワーク帯域の中で重要なデータをより高品質に配信するものである。

テレビ会議において、発言権を有しているクライアント端末は、実際に発言中でも発言中でなくても音声・映像データを送信している。従来のシステムでは、常に一定のビットレートで音声・映像を送信するため、発言中でないユーザのクライアント端末音声・映像データ（無音に近い音声・動きの少ない映像）も、発言中ユーザの音声・映像データ（テレビ会議において重要）も、同品質で配信される。
特開２００１−１２８１３２号公報

テレビ会議システムにおいて、少ないネットワーク帯域の中で、いかに高品質な音声・映像を配信するかが課題となっている。

従来のテレビ会議システムでは、クライアント端末あたりで使用する音声・映像のビットレートを固定している。そのため、全員が同時に発言してもネットワーク帯域をオーバーしない値にクライアント端末あたりの使用ビットレートを設定する必要があった。しかし、この方式では少数のユーザしか発言しない場合にネットワークの使用効率が悪い。また、複数のユーザが発言者となっている場合でもその全員が同時に発言を行うことは少ないため、ネットワーク帯域を常に十分に生かすことができない。

特許文献１の発明は、単に、必要帯域が許容帯域よりも多い場合に、選択された一人の者以外の者の画像を間引くものである。

本発明はこれを解消し、限られたリソースであるネットワークの性能を十分に活用することを可能とするテレビ会議システム及びテレビ会議方法を提供することを目的とする。

本発明によれば、複数のクライアント端末とサーバとを備えるテレビ会議システムにおいて、各クライアントにおける発言に関するパラメータを時々刻々にサーバで集め、集められたパラメータを基に、各クライアントから出力される音声・映像データの時々刻々のビットレートを配分する手段を備え、前記パラメータに基づいて発言中であると判断できるクライアントの数が多くなるに従って、前記発言中であると判断できるクライアントと、それ以外クライアントとの何れか又は双方に配分するビットレートを低くすることにより、前記各クライアントの各々が受信するビットレートの総量が、該各クライアントの各々が受信時に使用可能な帯域の範囲内に収まり且つ可能な限り最大限に前記帯域を利用できるように前記配分を行うことを特徴とするテレビ会議システムが提供される。
上記のテレビ会議システムにおいて、前記パラメータは、発言の有無、発言の意欲度又は発言の評価の何れかを含むようにしてもよい。
上記のテレビ会議システムにおいて、各クライアントから出力される音声・映像データは、そのビットレートを維持したまま他のクライアントに分配されるようにしてもよい。
上記のテレビ会議システムにおいて、前記パラメータに基づいて発言中であると判断できるクライアントが複数ある場合に、当該複数のクライアントから出力されるビットレートを他の発言中ではないクラインアントから出力されるビットレートよりも高くするようにしてもよい。

本発明によれば、複数のクライアント端末とサーバとを備えるテレビ会議システムにおいて、各クライアントにおける発言に関するパラメータをサーバで集め、集められたパラメータを基に、各クライアントから出力される音声・映像データのビットレートを配分する手段を備えるので、重要な音声・映像データの品質を高めることができる。

以下、図面を参照して本発明を実施するための最良の形態について詳細に説明する。

Ｃｌｉｅｎｔ−Ｓｅｒｖｅｒ型のテレビ会議システムにおいて、各クライアント端末は自端末の音声・映像データを音声・映像サーバ４へ送信し（以後、このようなクライアントからサーバへのデータの流れを「上り」と表現する）、自端末以外の全てのクライアント端末からの音声・映像データを、音声・映像サーバから受信する（以後、このようなサーバからクライアントへのデータの流れを「下り」と表現する）。全てのクライアント端末が発言中である場合、図１のように各クライアント端末からの上りのビットレートは同一である。図２のように発言中でないクライアント端末２、３からの上りのビットレート及びクライアント端末２、３からサーバ４を経由した下りのビットレートを低く抑え、発言中であるクライアント端末１からのみ高品質な音声・映像を送信することで、限られたネットワーク帯域の中で重要な情報とそうでない情報を取捨選択する。

図３において、制御情報送信部／受信部１８、２０、３４、３５は、制御情報をやりとりし、音声・映像送信部／受信部１１、１５、３１、３２は音声・映像情報をやりとりする。

映像・音声入力装置１７から入力されたデータはエンコーダ１６でエンコードされ、サーバ４へ送信される。デコーダ１２は、サーバ４から受信したデータをデコードする。各クライアントからの音声は、音声ミキサ１３で合成され、映像・音声出力装置１４のスピーカ部等から出力される。サーバ４からの各クライアントからの映像は、映像・音声出力装置１４のディスプレイ部等上に各クライアントごとに（画面分割されて）表示される。

発言中判定部２１は、当該クライアントを利用しているクライアントが発言中であるかを判定し、判定結果は、発言者数判定部３６に送られる。発言者数判断部３６による判断の結果を基に各クライアントのエンコーダ１６が出力するデータのビットレートが決定される。ビットレート制御部１９は、その発言者数判断部３６から指定されたビットレートのデータがエンコーダ１６から出力されるようにエンコーダ１６を制御する。

図３を参照してビットレート本実施例の全体動作について詳細に説明する。

発言中判定部２１では当該クライアント端末のユーザが現在発言中であるか否かを判断する。この判断には、音声・映像入力１７からの音声データによる自動判定を用いる。自動判定の手法は、音声レベルの大きさによる判定等、既存の技術を用いる。

発言中判定部２１で判定した結果（発言中である／発言中でない）は、制御情報送信部２０よりサーバの制御情報受信部３５に送信される。発言者数判断部３６では、各クライアント端末が発言中か、発言中でないかの情報を取りまとめ、現在発言中の端末がいくつあるか調べる。そこから各クライアントが音声・映像データを送信する際のビットレートを決定する。使用ビットレートの例は図４を参照。下りで使用可能な帯域の範囲内でビットレートを割り振る。

図４は、クライアント端末が４つの場合の例を示している。各クライアント端末の最大ビットレートは１００ｂｐｓである。発言者数判断部３６は、全てのクライアント端末それぞれの下りのビットレートが１００ｂｐｓ以下となるように、各クライアント端末の上りのビットレートを算出する。

ユーザＡ、ユーザＢ、ユーザＣ、ユーザＤが発言中の場合には、１人のユーザのクライアント端末に対し、残りの３人の音声・映像データを均等に送る必要があるため、各クライアント端末の上りのビットレートを３３（≒１００／３）ｂｐｓとする。

ユーザＡのみが発言中の場合には、ユーザＢ、Ｃ、Ｄに対して送るユーザＡの音声・映像データのビットレートを上げて、ユーザＡ、Ｂ、Ｃ、Ｄに対し送る残りのユーザ（例えば、ユーザＢに対して送るユーザＣ、Ｄのデータ、ユーザＣに対して送るユーザＢ、Ｄのデータ、ユーザＤに対して送るユーザＢ、Ｃのデータ）のビットレートを下げる。例えば、ユーザＢ、Ｃ、Ｄに対して送るユーザＡの音声・映像データのビットレートを６０ｂｐｓとして、ユーザＢ、Ｃ、Ｄに対し送る残りのユーザのビットレートをそれぞれ２０ｂｐｓとする。こうすることにより、ユーザＢ、Ｃ、Ｄに対して送る音声・映像データのビットレートは、６０＋２０＋２０＝１００ｂｐｓとなる。代わりに、ユーザＢ、Ｃ、Ｄに対して送る音声・映像データのビットレートを、４０＋３０＋３０＝１００ｂｐｓとしてもよいし、５０＋２５＋２５＝１００ｂｐｓとしてもよいし、７０＋１５＋１５＝１００ｂｐｓとしてもよい。ユーザＡに対して送る音声・映像データのビットレートは、１００ｂｐｓ未満（例えば、３×２０ｂｐｓ＝６０ｂｐｓ）となる。

ユーザＡ、Ｂのみが発言中の場合には、ユーザＢ、Ｃ、Ｄに対して送るユーザＡの音声・映像データのビットレートを上げて、ユーザＡ、Ｃ、Ｄに対して送るユーザＢの音声・映像データのビットレートを上げて、ユーザＡ、Ｂ、Ｃ、Ｄに対しそれぞれ送るデータのうちユーザＡ、Ｂ以外のデータ（例えば、ユーザＡに対して送るユーザ、Ｃ、Ｄのデータ、ユーザＢに対して送るユーザＣ、Ｄのデータ、ユーザＣに対して送るユーザＤのデータ、ユーザＤに対して送るユーザＣのデータ）のビットレートを下げる。例えば、ユーザＢ、Ｃ、Ｄに対して送るユーザＡの音声・映像データのビットレートを４０ｂｐｓとして、ユーザＡ、Ｃ、Ｄに対して送るユーザＢの音声・映像データのビットレートを４０ｂｐｓとして、ユーザＡ、Ｂ、Ｃ、Ｄに対し送る残りのユーザのビットレートをそれぞれ２０ｂｐｓとする。こうすることにより、ユーザＣ、Ｄに対して送る音声・映像データのビットレートは、４０＋４０＋２０＝１００ｂｐｓとなる。代わりに、ユーザＣ、Ｄに対して送る音声・映像データのビットレートを、４５＋４５＋１０＝１００ｂｐｓとしてもよい。ユーザＡ、Ｂに対して送る音声・映像データのビットレートは、１００ｂｐｓ未満（例えば、４０ｂｐｓ＋２×２０ｂｐｓ＝８０ｂｐｓ）となる。

決定した各クライアントのエンコーダ１６におけるビットレートは制御情報送信部３４から制御情報受信部１８へ送信される。この値をビットレート制御部１９へ渡し、エンコーダ１６でエンコードする際のビットレートを変化させることにより、送信パケットのデータ量が変化する。

ビットレートを変化させるためには、解像度を変化させたり、量子化の粗さを変化させたりすることが一般的である。この代わりに、画像領域の大きさを変化させてもよい。すなわち、発言者の画像を大きくして、非発言者の画像を小さくしてもよい。また、ＭＰＥＧ方式のようにＧＯＰ構造を有している場合には、ＧＯＰの構造を変えることによりビットレートを変化させてもよい。

また、発言中判定部２１による発言／非発言を基にビットレートを調整する代わりに、各クライアント端末の利用者の発言意欲の度合いを基にビットレートを調整してもよい。「発言意欲」の度合いをクライアント端末が検出するためには、例えば、クライアント端末にボリュームを設け、これをクライアントに操作させればよい。この場合、発言者数判定部３６は、各クライアントから来る０％〜１００％の発言意欲を基に、発言意欲が大きいクライアントが利用しているクライアント端末のエンコーダ１６が出力する音声・映像データのビットレートが相対的に大きくなるように調整をする。

また、発言中判定部２１による発言／非発言を基にビットレートを調整する代わりに、各クライアント端末以外のクライアント端末の利用者による「評価」を基にビットレートを調整してもよい。「評価」の度合いをクライアント端末が検出するためには、例えば、クライアント端末にボリュームを設け、これをクライアントに操作させればよい。例えば、ユーザＡの発言に対するユーザＢによる評価の度合い、ユーザＣによる評価の度合い及びユーザＤによる評価の度合い、ユーザＢの発言に対するユーザＡによる評価の度合い、ユーザＣによる評価の度合い、ユーザＤによる評価の度合い、ユーザＣの発言に対するユーザＡによる評価の度合い、ユーザＢによる評価の度合い及びユーザＤによる評価の度合い並びにユーザＤの発言に対するユーザＡによる評価の度合い、ユーザＢによる評価の度合い及びユーザＣによる評価の度合いを総合的に勘案して、ビットレートの割合を調整してもよい。この場合、平均値、最小値、最大値又はこれらの組合せを利用するようにしてもよい。例えば、数段階評価のうち多数の他のユーザから高い評価を得られている発言者のビットレートを上げるようにしてもよい。

発言中判定部２１及びビットレート制御部１９は、それぞれ、サーバ４に設けられていてもよい。

本実施形態によれば、重要度の高い情報を自動的に選択することにより、限られたネットワーク帯域を有効に生かし、重要度の高い情報をより高品質で配信することが可能になる。また、テレビ会議においては、発言しているユーザが１人の場合の注目度（会議における重要度）より、同時に複数のユーザが発言している場合の注目度の方が低いが、注目度に合わせた品質の音声・映像を使用することが可能となる。

本発明の実施形態において各クライアント端末から出力される音声・映像データのビットレートが均一である場合の例を示す図である。本発明の実施形態において各クライアント端末から出力される音声・映像データのビットレートが均一でない場合（重み付けをした場合）の例を示す図である。本発明の実施形態による音声・映像サーバ及びクライアント端末の構成を示すブロック図である。本発明の実施形態による各クライアント端末における上りの音声・映像データ及び下りの音声・映像データのビットレートの配分の様子の例を示す図である。

符号の説明

１、２、３クライアント端末
４音声・映像サーバ
１６エンコーダ
２１発言中判定部
３６発言者数判断部
１７映像・音声入力部
１９ビットレート制御部

Claims

複数のクライアント端末とサーバとを備えるテレビ会議システムにおいて、
各クライアントにおける発言に関するパラメータを時々刻々にサーバで集め、集められたパラメータを基に、各クライアントから出力される音声・映像データの時々刻々のビットレートを配分する手段を備え、
前記パラメータに基づいて発言中であると判断できるクライアントの数が多くなるに従って、前記発言中であると判断できるクライアントと、それ以外クライアントとの何れか又は双方に配分するビットレートを低くすることにより、前記各クライアントの各々が受信するビットレートの総量が、該各クライアントの各々が受信時に使用可能な帯域の範囲内に収まり且つ可能な限り最大限に前記帯域を利用できるように前記配分を行うことを特徴とするテレビ会議システム。
複数のクライアント端末とサーバとを備えるシステムが行うテレビ会議方法において、
各クライアントにおける発言に関するパラメータを時々刻々にサーバで集め、集められたパラメータを基に、各クライアントから出力される音声・映像データの時々刻々のビットレートを配分するステップを備え、
前記パラメータに基づいて発言中であると判断できるクライアントの数が多くなるに従って、前記発言中であると判断できるクライアントと、それ以外クライアントとの何れか又は双方に配分するビットレートを低くすることにより、前記各クライアントの各々が受信するビットレートの総量が、該各クライアントの各々が受信時に使用可能な帯域の範囲内に収まり且つ可能な限り最大限に前記帯域を利用できるように前記配分を行うことを特徴とするテレビ会議方法。