JP3818054B2 - 多地点ビデオ会議制御装置、音声切替え方法、およびそのプログラムを記録した記録媒体 - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、映像データの切替えと音声データの切替えを違和感なく行う多地点ビデオ会議制御装置、音声切替え方法、およびそのプログラムを記録した記録媒体に関する。
【０００２】
【従来の技術】
従来、複数地点間を相互に接続し、遠隔地の会議参加者で会議を行うことができるテレビ会議システムが実現されている。テレビ会議システムの映像データの切替えについての従来技術として、多地点会議制御装置の一例が特開２０００−８３２２９号公報に記載されている。このテレビ会議システムは、例えば、各地点に分散して配置される会議端末、会議端末間でのデータのやり取りを制御するＭＣＵ（多地点接続装置：Multipoint Control Unit ）、等を備える。
【０００３】
当該会議端末は、例えば、会議参加者の映像の入力・表示等を行う映像入出力部、会議参加者の音声の入出力等を行う音声入出力部、会議に使用される情報（会議情報）の入力・表示等を行うデータ入出力部、等を備える。当該ＭＣＵは、各地点に配置された会議端末と公衆回線等で接続され、各会議端末から映像・音声・会議情報等のデータを受信し、受信したデータに所定の処理（画像処理、音声処理、データ処理等）を施して各会議端末に供給する。
【０００４】
このようなシステムにおいて、発言者を特定するためには、ＭＣＵが各会議端末から受信した音声データのうち、一番大きいものを検出し、その音声データの発信元の会議端末から受信した映像を各会議端末に送信し、発言者の映像として表示させるのが一般的である。
【０００５】
また、ＭＣＵが各会議端末から受信した映像を画面分割によって同時に各会議端末に送信して表示させ、分割表示された各参加者の口の動きから発言者を判断させる方法もある。また、各会議端末に、各参加者が発した音声の大きさを示すレベル値を所定の形式（例えば、レベル値に連動するインジケータ等）で表示ささる方法もある。これにより、会議の参加者は、各参加者の音声のレベル値の大きさを見て、その時点の発言者を容易に判断することができる。
【０００６】
あるいは、オペレータ等が発言者の声を聞いて、いずれの地点からの映像を各会議端末に送信するかを判断し、手動切替えを行うことにより、各会議端末に発言者の映像を表示させる方法もある。
【０００７】
しかしながら、上述した音声レベルを検出する方法では、咳等で誤って画面が切替えられないように、音声を検出してから画像が切替わるまでに一定時間余裕（遅延）を持たせているため、短い発言を行った者の画像を遅滞なく画面表示することが困難となる。また、画面分割により各地点の参加者の画像を同時に映す方法では、各地点の画像が相対的に小さくなるため、各画像を見て、発言者を識別することは各参加者にとって煩雑となる。また、オペレータ等が手動で表示画面を切替える方法では、切替え作業に手間がかかり、また、参加者の声が似ている場合等には、的確な切替えが困難となる。
【０００８】
一方、音声データ切替えについての従来技術として、多地点会議制御装置の一例が、特開平９−１６８０５８号公報に記載されている。特開平９−１６８０５８号公報において、音声情報を複数のテレビ会議通信端末装置間でやりとりするために、多地点制御装置は、それぞれのテレビ会議通信端末装置に、送出先のテレビ会議通信端末装置以外から受信した複数の音声情報をミキシングした状態で送出している。このとき、各テレビ会議通信端末装置における音声入力装置の入力ゲインは、一致しているとは限らない。したがって、受信したミキシング音声情報に含まれるそれぞれの音声情報の大きさに差が出て、非常に聞きとりにくい音声を受信するという事態が生じていた。
【０００９】
また、映像情報を複数のテレビ会議通信端末装置の間でやりとりする際、映像情報は、音声情報と異なり、単純にミキシングすることができないので、多地点制御装置は、その時点で発言している人の映像を、各テレビ会議通信端末装置に配信するようにしている。その際、どの映像情報を選択するかというその選択方法として、上述した話者検出方法という方法が採用される。この話者検出方法では、受信した音声情報のうち、最もレベルの大きい音声情報を送信したテレビ会議通信端末装置が現在の発言者のテレビ会議通信端末装置であると判断し、そのテレビ会議通信端末装置から受信した映像情報をそれぞれのテレビ会議通信端末装置に送出するようにしている。
【００１０】
ところが、上述したように、それぞれのテレビ会議通信端末装置から受信した音声情報の入力ゲインが一致しているとは限らないため、例えば、あるテレビ会議通信端末装置のマイク入力ボリュームが最大になっている場合、そのテレビ会議通信端末装置から受信した音声情報が常に最大値と判定されることがある。そのために、発言者の映像が配信されないという事態が生じていた。
【００１１】
多地点制御装置は、適切なレベルの音声情報を各々のテレビ会議通信端末装置に送出できるとともに、適切な話者検出が可能でなければならない。この点、上記従来技術によれば、各々のテレビ会議通信端末装置から送信される音声信号を、音声信号の平均値に基づいて正規化した後に、それぞれのテレビ会議通信端末装置にミキシングして送出する。したがって、各々のテレビ会議通信端末装置においては、他のテレビ会議通信端末装置からの音声を、自然な状態で聞くことができ、円滑にテレビ会議通信セッションを進行することができるという効果を奏した。
【００１２】
また、各々のテレビ会議通信端末装置から送信される音声信号を、音声信号の最大値に基づいて正規化した後に、それぞれのテレビ会議通信端末装置にミキシングして送出するので、例えば、マイクボリュームが大きく、常に大きな音声を出力しているテレビ会議通信端末装置があった場合でも、各テレビ会議通信端末装置からの音声レベルを自然な状態に設定することができるので、より円滑にテレビ会議通信セッションを進行することができるという効果を奏した。
【００１３】
また、話者検出により映像を切替える場合、適切な話者検出動作を行うことができ、テレビ会議通信セッションをより円滑に進行することができるという効果を奏した。
【００１４】
しかしながら、代表話者の音声レベルを強調してミキシングしたり、代表話者による映像切替えを音声切替えと同期して行うものではなかった。よって、適切なレベルの音声情報を各々のテレビ会議通信端末装置に送出できるとともに、適切な話者検出が実現したとまではいえなかった。
【００１５】
【発明が解決しようとする課題】
本発明は、上記問題点に鑑みなされたものであり、適切なレベルの音声情報を各々のテレビ会議通信端末装置に送出できるとともに、違和感のない映像および音声の切替えを実現する多地点ビデオ会議制御装置、音声切替え方法、およびそのプログラムを記録した記録媒体を提供することを目的とする。
【００１６】
【課題を解決するための手段】
かかる目的を達成するために、請求項１記載の発明は、複数のビデオ会議通信制御端末から受信した複数の音声データを、端末毎の所定の割当ミキシングレベルによりミキシングし、ミキシングした音声データを複数のビデオ会議通信制御端末に送信することを特徴とする。
【００１７】
請求項２記載の発明は、請求項１記載の発明において、複数のビデオ会議制御端末から受信した複数の音声データの最大レベルを検出し、検出した最大レベルの音声データを代表話者と特定して、代表話者にかかる音声データのミキシングレベルだけを強調してミキシングすることを特徴とする。
【００１８】
請求項３記載の発明は、請求項２記載の発明において、複数のビデオ会議通信制御端末から受信した複数の映像データから、代表話者にかかるビデオ会議通信制御端末からの映像データを選択して、複数のビデオ会議通信制御端末に送出することを特徴とする。
【００１９】
請求項４記載の発明は、複数のビデオ会議通信制御端末から複数の音声データが入力され、入力された複数の音声データの音声レベルを検出し、音声レベルから代表話者を選定し、代表話者情報として出力する代表話者選定手段と、代表話者選定手段から入力された音声レベル、代表話者情報、および端末毎の所定の割当ミキシングレベルを基に、複数の音声データをミキシングする音声ミキサ手段と、代表話者選定手段から入力された代表話者情報にかかるビデオ会議通信制御端末からの映像データのイントラフレームを検出し、イントラフレーム検出情報として出力するイントラフレーム検出手段と、イントラフレーム検出手段から入力されたイントラフレーム検出情報を基に、代表話者に選定されたビデオ会議通信制御端末の映像データに切替える映像データ選択手段と、を有することを特徴とする。
【００２０】
請求項５記載の発明は、請求項４記載の発明において、所定の割当ミキシングレベルは、代表話者情報にかかる音声データのミキシングレベルが強調されたものとなっていることを特徴とする。
【００２１】
請求項６記載の発明は、請求項４または５記載の発明において、代表話者選定手段は、入力された音声データを復号化する復号化部と、復号化部により復号化された音声データの音声レベルを検出する音声レベル検出部と、音声レベル検出部により検出された音声レベルから代表話者を決定する代表話者決定部と、を有することを特徴とする。
【００２２】
請求項７記載の発明は、請求項６記載の発明において、音声ミキサ手段は、音声レベル検出部により検出された音声レベルと、代表話者決定部により決定された代表話者情報と、端末毎の所定の割当ミキシングレベルとを基に、複数の音声データをミキシングする際の複数の音声データの各々のミキシングレベルを生成するミキシングレベル生成部と、ミキシングレベル生成部により生成されたミキシングレベルを基に、音声復号化部から入力された複数の音声データをミキシングする音声データミキシング部と、音声データミキシング部によりミキシングされたミキシング音声データを符号化する音声符号化部と、を有することを特徴とする。
【００２３】
請求項８記載の発明は、請求項７記載の発明において、ミキシングレベル生成部は、代表話者決定部から入力された代表話者情報により代表話者に選定された音声データのミキシングレベルを、段階的に複数回生成し、音声データミキシング部に出力することを特徴とする。
【００２４】
請求項９記載の発明は、請求項７記載の発明において、音声データミキシング部は、代表話者決定部から入力された代表話者情報の入力タイミングから、代表話者に選定された音声データのミキシングレベルを、割当ミキシングレベルとなるまで、所定の間隔で増加することを特徴とする。
【００２５】
請求項１０記載の発明は、請求項７記載の発明において、イントラフレーム検出手段は、音声ミキサ手段にイントラフレーム検出情報を出力し、音声ミキサ手段は、イントラフレーム検出手段から入力されたイントラフレーム検出情報を基に、音声データのミキシングレベルの切替えを制御することを特徴とする。
【００２６】
請求項１１記載の発明は、請求項１０記載の発明において、音声データミキシング部は、代表話者決定部から入力される代表話者情報の入力タイミングで、代表話者に選定された音声データのミキシングレベルの増加を開始し、イントラフレーム検出手段から入力されるイントラフレーム検出情報の入力タイミングで、音声データのミキシングレベルの増加を終了することを特徴とする。
【００２７】
請求項１２記載の発明は、複数のビデオ会議通信制御端末から複数の音声データが入力され、入力された複数の音声データの音声レベルを検出し、音声レベルから代表話者を選定し、代表話者情報を生成する代表話者選定工程と、代表話者選定工程により生成された代表話者情報、音声レベルおよび端末毎の所定の割当ミキシングレベルを基に、複数の音声データをミキシングする音声ミキサ工程と、代表話者選定工程により生成された代表話者情報にかかるビデオ会議通信制御端末からの映像データのイントラフレームを検出し、イントラフレーム検出情報を生成するイントラフレーム検出工程と、イントラフレーム検出工程により生成されたイントラフレーム検出情報を基に、代表話者に選定されたビデオ会議通信制御端末の映像データに切替える映像データ選択工程と、を有することを特徴とする。
【００２８】
請求項１３記載の発明は、請求項１２記載の発明において、所定の割当ミキシングレベルは、代表話者情報にかかる音声データのミキシングレベルが強調されたものとなっていることを特徴とする。
【００２９】
請求項１４記載の発明は、請求項１２または１３記載の発明において、代表話者選定工程は、入力された音声データを復号化し、復号化した音声データの音声レベルを検出し、検出した音声レベルから代表話者を決定することを特徴とする。
【００３０】
請求項１５記載の発明は、請求項１４記載の発明において、音声ミキサ工程は、音声レベルと、代表話者情報と、端末毎の所定の割当ミキシングレベルとを基に、複数の音声データをミキシングする際の複数の音声データの各々のミキシングレベルを生成し、生成したミキシングレベルを基に、複数の音声データをミキシングし、ミキシングしたミキシング音声データを符号化することを特徴とする。
【００３１】
請求項１６記載の発明は、請求項１５記載の発明において、音声ミキサ工程は、代表話者情報により代表話者に選定された音声データのミキシングレベルを、段階的に複数回生成して、複数の音声データをミキシングすることを特徴とする。
【００３２】
請求項１７記載の発明は、請求項１５記載の発明において、音声ミキサ工程は、代表話者情報の入力タイミングから、代表話者に選定された音声データのミキシングレベルを、割当ミキシングレベルとなるまで、所定の間隔で増加することを特徴とする。
【００３３】
請求項１８記載の発明は、請求項１５記載の発明において、音声ミキサ工程は、イントラフレーム検出工程により生成されたイントラフレーム検出情報を基に、音声データのミキシングレベルの切替えを制御することを特徴とする。
【００３４】
請求項１９記載の発明は、請求項１８記載の発明において、音声ミキサ工程は、代表話者情報の入力タイミングで、代表話者に選定された音声データのミキシングレベルの増加を開始し、イントラフレーム検出工程により生成されたイントラフレーム検出情報の入力タイミングで、音声データのミキシングレベルの増加を終了することを特徴とする。
【００３５】
請求項２０記載の発明は、複数のビデオ会議通信制御端末から複数の音声データが入力され、入力された複数の音声データの音声レベルを検出し、音声レベルから代表話者を選定し、代表話者情報を生成する代表話者選定処理と、代表話者選定処理により生成された代表話者情報、音声レベルおよび端末毎の所定の割当ミキシングレベルを基に、複数の音声データをミキシングする音声ミキサ処理と、代表話者選定処理により生成された代表話者情報にかかるビデオ会議通信制御端末からの映像データのイントラフレームを検出し、イントラフレーム検出情報を生成するイントラフレーム検出処理と、イントラフレーム検出処理により生成されたイントラフレーム検出情報を基に、代表話者に選定されたビデオ会議通信制御端末の映像データに切替える映像データ選択処理と、を実行させることを特徴とする。
【００３６】
請求項２１記載の発明は、請求項２０記載の発明において、所定の割当ミキシングレベルは、代表話者情報にかかる音声データのミキシングレベルが強調されたものとなっていることを特徴とする。
【００３７】
請求項２２記載の発明は、請求項２０または２１記載の発明において、代表話者選定処理は、入力された音声データを復号化し、復号化した音声データの音声レベルを検出し、検出した音声レベルから代表話者を決定することを特徴とする。
【００３８】
請求項２３記載の発明は、請求項２２記載の発明において、音声ミキサ処理は、音声レベルと、代表話者情報と、端末毎の所定の割当ミキシングレベルとを基に、複数の音声データをミキシングする際の複数の音声データの各々のミキシングレベルを生成し、生成したミキシングレベルを基に、複数の音声データをミキシングし、ミキシングしたミキシング音声データを符号化することを特徴とする。
【００３９】
請求項２４記載の発明は、請求項２３記載の発明において、音声ミキサ処理は、代表話者情報により代表話者に選定された音声データのミキシングレベルを、段階的に複数回生成して、複数の音声データをミキシングすることを特徴とする。
【００４０】
請求項２５記載の発明は、請求項２３記載の発明において、音声ミキサ処理は、代表話者情報の入力タイミングから、代表話者に選定された音声データのミキシングレベルを、割当ミキシングレベルとなるまで、所定の間隔で増加することを特徴とする。
【００４１】
請求項２６記載の発明は、請求項２３記載の発明において、音声ミキサ処理は、イントラフレーム検出処理により生成されたイントラフレーム検出情報を基に、音声データのミキシングレベルの切替えを制御することを特徴とする。
【００４２】
請求項２７記載の発明は、請求項２６記載の発明において、音声ミキサ処理は、代表話者情報の入力タイミングで、代表話者に選定された音声データのミキシングレベルの増加を開始し、イントラフレーム検出処理により生成されたイントラフレーム検出情報の入力タイミングで、音声データのミキシングレベルの増加を終了することを特徴とする。
【００４３】
【発明の実施の形態】
以下、本発明の実施の形態を添付図面を参照しながら詳細に説明する。
【００４４】
本発明は、入力される音声データのミキシング出力と、入力音声データの最大レベルの話者の映像データを選択して出力する多地点会議制御装置であって、複数の音声データをあらかじめ割り当てたレベルにミキシングレベルを割り当て、かつ、代表話者の音声データのレベルだけ強調させてミキシングを行うとともに、代表話者の検出タイミングと映像データ切替えタイミングとにより、ミキシング音声の切替え制御を行うことができる構成を提供するものである。
【００４５】
図１は、第１の実施の形態における多地点ビデオ会議システムの構成を示すブロック図である。図１を参照すると、多地点に配置され、会議の参加者が使用する複数のビデオ会議通信制御端末１００と、会議に使用される所定情報を各ビデオ会議通信制御端末１００に供給する多地点会議制御装置（ＭＣＵ）１０と、を備える。各ビデオ会議通信制御端末１００と多地点会議制御装置１０とは、例えば、公衆回線やインターネット網等を介してネットワークにより接続される。
【００４６】
会議端末１００は、会議の参加者が使用する端末であり、図示していない、カメラ、ディスプレイ、マイク、スピーカ、キーボード、マウス等を備える。以下、ビデオ会議通信制御端末１００及び多地点会議制御装置１０の内部構成を説明する。
【００４７】
ビデオ会議通信制御端末１００は、映像入出力部１０１と、音声入出力部１０２と、ビデオ会議通信制御端末の各種制御を行うビデオ会議制御部１０３と、データ送受信部１０４と、を備える。
【００４８】
映像入出力部１０１は、上述のカメラとディスプレイとを含み、カメラにより撮影された参加者の映像から映像データを生成し、符号化し、データ送受信部１０４を介して多地点会議制御装置１０に送信する。映像データの符号化には、フレーム内予測符号化と、フレーム間予測符号化と、を組み合わせた高能率符号化が用いられる。ここで、フレーム内予測符号化を用いて符合化されたデータをイントラフレームと呼び、フレーム間予測符号化を用いて符号化されたデータをインターフレームと呼ぶ。
【００４９】
また、映像入出力部１０１は、各地点の映像データをデータ送受信部１０４を介して多地点会議制御装置１０から受信し、復号化し、所定の形式でディスプレイに表示する。
【００５０】
音声入出力部１０２は、上述したマイクとスピーカとを含み、マイクから入力された音声にＡ／Ｄ変換等の所定の処理を施し、音声符号化を行い、データ送受信部１０４を介して多地点会議制御装置１０に送信する。
【００５１】
また、音声入出力部１０２は、各地点のビデオ会議通信制御端末１００の音声データが合成された音声データを、データ送受信部１０４を介して多地点会議制御装置１０から受信し、復号化し、Ｄ／Ａ変換等の所定の処理を施して、スピーカから再生する。
【００５２】
ビデオ会議制御部１０３は、多地点ビデオ会議を行うために、多地点会議制御装置１０と呼接続を行う。また、ビデオ会議制御部１０３は、上述したキーボードとディスプレイとを含み、当該キーボードから入力された会議情報をデータ送受信部１０４を介して多地点会議制御装置１０と送信するとともに、受信した会議に関連する情報をディスプレイに表示する。
【００５３】
データ送受信部１０４は、映像データ、音声データおよび会議関連情報を多地点会議制御装置１０と送受信する。
【００５４】
多地点会議制御装置１０は、映像データ選択部１１と、イントラフレーム検出部１２と、代表話者選定部１３と、音声ミキサ部１４と、多地点ビデオ会議制御部１５と、データ送受信部１６と、を備える。
【００５５】
まず、多地点会議制御装置１０の動作を概説する。代表話者選定部１３は、ビデオ会議通信制御装置１００から複数の音声データが入力され、それぞれの音声レベルを検出し、その中から１つ代表話者を選定する。選定された代表話者情報は、イントラフレーム検出部１２と音声ミキサ部１４とに通知される。
【００５６】
音声ミキサ部１４は、それぞれ検出された音声レベルの値と、代表話者情報とをもとに、ミキシングレベルを決定し、音声データのミキシングを行う。イントラフレーム検出部１２は、代表話者に選定された映像データのイントラフレームの検出を行い、イントラフレームを検出すると、映像データ選択部１１に当該イントラフレームの検出を通知する。映像データ選択部１１は、イントラフレームの検出通知を受けると、出力する映像データを代表話者に選定されている端末の映像データに切り替える。音声ミキサ部１４でミキシングされたミキシング音声データは、代表話者情報と、イントラフレーム検出情報とに合わせて切り替えられる。
【００５７】
図２は、代表話者選定部１３と音声ミキサ部１４との構成を示すブロック図である。代表話者選択部１３は、音声復号化部１３１と、音声レベル検出部１３２と、代表話者決定部１３３と、を備える。音声ミキサ部１４は、ミキシングレベル生成部１４１と、音声データミキシング部１４２と、音声符号化１４３と、を備える。
【００５８】
代表話者選定部１３に、データ送受信部１６を介して圧縮された音声データが入力される。この入力された音声データは、音声復号化部１３１にて復号化され、ＰＣＭなどの音声データに変換される。変換された音声データは、音声レベル検出部１３２と、音声データミキシング部１４２とに供給される。音声データミキシング部１４２でミキシングされた音声データは、音声符号化部１４３で、再び、圧縮される。
【００５９】
音声レベル検出部１３２は、入力された音声データの音声レベル検出を行い、検出した音声レベル情報を代表話者決定部１３３と、ミキシングレベル生成部１４１とに供給する。代表話者決定部１３３は、音声レベル検出部１３２から供給される各ビデオ会議通信制御端末１００の音声レベル情報を比較して、代表話者を決定する。
【００６０】
ミキシングレベル生成部１４１は、音声レベル検出部１３２から供給されたそれぞれの音声レベル情報と、代表話者決定部１３３から供給された代表話者情報とを基に、ミキシングの際に割り当てる音声レベルを決定し、音声データミキシング部１４２に当該決定したミキシングレベル情報を供給する。
【００６１】
ここで、ミキシングレベル生成部１４１と、音声データミキシング部１４２とにおいて行われるミキシングについて、図４を用いて説明する。図４は、ミキシングレベル生成部１４１において決定する音声レベルを示す表である。端末Ａ、Ｂ、Ｃが多地点会議制御装置１０に接続されていることを前提に説明する。各端末の音声レベルが入力レベル欄で示す音声データとして入力され、割合（出力）欄で示す割合でミキシングを行う。出力レベル欄は、音声データミキシング部１４２から出力される音声データのレベルを示している。便宜上、入力レベルは、１００の値を最大値として説明する。
【００６２】
図４（１−１）は、音声データの入力レベルのまま、音声データミキシング部１４２でミキシングを行う場合を示している。図４（１−１）では、割合（出力）に関係なく、入力レベルがそのまま出力レベルとなる。
【００６３】
図４（１−２）は、音声データミキシング１４２により行われるミキシングに代表話者情報を反映させた場合を示している。代表話者として端末Ａが選定されている状態において、端末Ａの音声レベルが割り当てた５０％に入力レベルが満たない場合に、出力レベルを５０に引き上げていることを示している。
【００６４】
図４（１−３）は、図４（１−２）とは逆に、端末Ａの入力レベルが６０であり、割り当てた音声レベルを超えたているために端末Ａの出力レベルを割り当てた音声レベルの最大値である５０まで引き下げたことを示している。図４（１−２）、図４（１−３）において、端末Ｂは、代表話者ではないので、割り当てた音声レベルの最大値である３０に満たないレベルでも、そのまま出力レベルとなる。
【００６５】
図４（２）は、入力音声レベルが割り当てた音声レベルを越えている場合に、出力レベルを割り当てた音声レベルまで引き下げたことを示している。図４（２）においては、代表話者情報を使用していないが、割り当てた入力音声レベルに引き下げている。したがって、各端末の入力音声レベルを割り当てた入力音声レベルである５０、３０、２０に引き下げている。
【００６６】
図４（３−１）は、入力音声レベルに関わらず、出力音声レベルを全てあらかじめ割当てた音声レベルにすることを示している。端末Ｃは、代表話者ではないので、割り当てた音声レベルの最大値である２５に満たないレベルでも、そのまま出力している。
【００６７】
図４（３−２）は、入力音声レベルがある一定のレベル（ノイズレベル１５）に満たない場合に、音声を出力しない場合を示している。したがって、端末Ｃの入力レベルが１０であり、１５以下であるため、出力が０となる。これは、低いレベルの出力は、かえって雑音になってしまうからである。
【００６８】
図２に戻り、音声データミキシング部１４２は、複数の音声データをミキシングレベル生成部１４１で割り当てられた音声レベルの情報を利用し、１つのミキシング音声として出力する。
【００６９】
図１に戻り、映像データ選択部１１は、データ送受信部１６を介して各ビデオ会議通信制御端末１００から受信した映像データの中から、代表話者情報で通知された端末の映像データを選択し、データ送受信部１６を介して各ビデオ会議通信制御端末１００に配信する。
【００７０】
イントラフレーム検出部１２は、複数の圧縮された映像データの中から、イントラフレームで圧縮されたフレームを検出し、映像データ選択部１１にイントラフレーム検出情報を送信する。
【００７１】
映像データ選択部１１は、代表話者に選択された映像データに切り替える際、このイントラフレーム検出情報を基に切替えを行う。多地点ビデオ会議制御部１５は、多地点会議制御装置１０全体の制御を行う。
【００７２】
次に、第１の実施の形態における多地点ビデオ会議システムの動作を、例えば各地点における参加者Ａ、Ｂ、Ｃが会議を行う場合を例に、図１を参照して説明する。
【００７３】
まず、各ビデオ会議通信制御端末１００の音声入出力部１０２は、マイクから取得された参加者の音声に対してＡ／Ｄ変換、および符号化などの所定の処理を施し、データ送受信部１０４を介して、音声データとして多地点会議制御装置１０に送信する。
【００７４】
多地点会議制御装置１０の音声ミキサ部１４は、各ビデオ会議通信制御端末１００から音声データを受信し、音声情報のミキシング（合成）を行い、データ送受信部１６を介して、各地点のビデオ会議通信制御端末１００に送信する。
【００７５】
また、各地点に配置されているビデオ会議通信制御端末１００の映像入出力部１０１は、データ送受信部１０４を介して、カメラで撮影した参加者の映像を多地点会議制御装置１０に送信する。
【００７６】
多地点会議制御装置１０の映像データ選択部１１は、各ビデオ会議通信制御端末１００から受信した映像データ（この場合、参加者Ａ、Ｂ、Ｃのうち、どれか１つの画像）を選択して、各地点のビデオ会議通信制御端末１００に送信する。この際、映像データ選択部１１は、選択した映像における参加者情報を、映像データとともに各ビデオ会議通信制御端末１００に送信することができる。例えば、参加者の名前等を参加者情報とするとよい。
【００７７】
各地点のビデオ会議通信制御端末１００の映像入出力部１０１は、多地点制御装置１０から受信した映像データをディスプレイに表示する。これにより、この会議の参加者Ａ、Ｂ、Ｃの顔等の映像が各地点のビデオ会議通信制御端末１００に表示される。また、ビデオ会議通信制御端末１００は、映像データと一緒に受信した参加者情報なども、映像データと一緒にディスプレイに表示することができる。
【００７８】
図５は、ミキシング音声データの切替え動作を説明するための図である。代表話者選定部１３は、各地点の音声データから、その音声の強さ（大きさ）を示すレベル値（デジタル値）を計算するとともに、各地点の音声データの中から、最も音声のレベルが高い端末、すなわち、代表話者を選定する。
【００７９】
この代表話者情報は、イントラフレーム検出部１２と、音声ミキサ部１４とに供給される。代表話者情報を供給されたイントラフレーム検出部１２は、代表話者に選定されたビデオ会議情報通信端末１００から送信される映像データ（ここでは、ビデオ会議通信端末Ａから送信される映像データ）の中のイントラフレームの検出を行う。イントラフレームを検出すると、イントラフレームの検出を表すイントラフレーム検出情報を映像データ選択部１１に通知する。
【００８０】
イントラフレーム検出情報を受け取った映像データ選択部１１は、出力する映像データをビデオ会議通信端末Ａの映像データに切り替え、データ送受信部１６に出力する。
【００８１】
次に、ミキシング音声データの切替えについて、図２、図５を用いて説明する。代表話者情報は、ミキシングレベル生成部１４１と、音声データミキシング部１４２とに通知される。ミキシングレベル生成部１４１は、代表話者情報とともに、それぞれの検出されたビデオ会議通信制御端末の音声レベルが音声レベル検出部１３２から供給され、ミキシングレベルを決定する。
【００８２】
音声データミキシング部１４２は、復号化された音声データを音声レベル検出部１３２から供給されるミキシングレベルに基づき、ミキシングを行い、音声符号化部１４３に出力する。
【００８３】
図６は、代表話者が端末Ｂから端末Ａに切り替わる動作について説明するための図である。端末Ａのミキシング後の音声データレベルを６０、端末Ｂのミキシング後の音声データレベルを３０とする。今、端末Ｂが代表話者としてレベル６０、端末Ａがレベル２０の状態の時、代表話者が切替わった場合（タイミングＡ）、代表話者情報の通知と同時に、端末Ｂのレベルは、ミキシング後の音声データのレベル３０に切り替わる。端末Ａのレベルは、段階的にレベル６０まで切り替わる。
【００８４】
この段階的な切り替えは、ミキシングレベル生成部１４１からミキシングレベル情報として、段階的なミキシングレベルを音声データミキシング部１４２に与えることにより行う。もしくは、図３に示す通り、音声データミキシング部１４２に代表話者決定部１３３から代表話者情報が供給され、この代表話者情報を音声ミキシングの切替え開始として、あらかじめ決められた代表話者の切替わりステップ幅（常に１０レベルずつ増加）等から段階的に代表話者のミキシングレベルを変更してもよい。ここで、図３は、代表話者選定部１３と音声ミキサ部１４との他の構成を示すブロック図である。
【００８５】
次に、本発明の第２の実施の形態について図面を参照して詳細に説明する。図７は、第２の実施の形態における多地点ビデオ会議システムの構成を示すブロック図である。図８は、第２の実施の形態における代表話者選定部１３と音声ミキサ部１４との構成を示すブロック図である。
【００８６】
図７を参照すると、イントラフレーム検出部１２で検出されたイントラフレーム検出情報が、音声ミキサ部１４に通知される。図８を参照すると、この通知されたイントラフレーム検出情報は、音声データミキシング部１４２に供給される。なお、その他の構成については、図１、図２と同様であるため、説明を省略する。
【００８７】
次に、第２の実施の形態における多地点ビデオ会議システムの動作を図９、図１０、図１１、図１２、図１３を用いて説明する。図９は、第２の実施の形態におけるミキシング音声データの切替え動作を説明するための図である。代表話者選定部１３は、各ビデオ会議通信制御装置の音声データからその音声の強さ（大きさ）を示すレベル値（デジタル値）を計算するとともに、各地点の音声データの中から、最も音声のレベルが高い端末、すなわち、代表話者を選定する。ここでは、代表話者をビデオ会議通信制御端末Ａに選定する。
【００８８】
この代表話者情報は、イントラフレーム検出部１２と、音声ミキサ部１４とに供給される。代表話者情報を供給されたイントラフレーム検出部１２は、代表話者に選定されたビデオ会議情報通信端末Ａから送信される映像データ中のイントラフレームの検出を行う。ビデオ会議通信制御端末Ａから入力される映像データ中からイントラフレームを検出すると、イントラフレーム検出情報を映像データ選択部１１と音声ミキサ部１４とに通知する。
【００８９】
イントラフレーム検出情報を受け取った映像データ選択部１１は、出力映像データをビデオ会議通信制御端末Ａの映像データに切替え、データ送受信部１６に出力する。以後、多地点会議制御装置１０の出力映像は、ビデオ会議通信制御端末Ａの映像データとなる。
【００９０】
ミキシング音声データの切替えについて、図８、図９を用いて説明する。代表話者決定部１３３により決定された代表話者情報は、ミキシングレベル生成部１４１と、音声データミキシング部１４２とに通知される。ミキシングレベル生成部１４１は、代表話者情報とともに、それぞれの検出されたビデオ会議通信制御装置１００の音声レベルが音声レベル検出部１３２から供給される。ミキシングレベル生成部１４１は、当該代表話者情報と当該音声レベルとを基にミキシングレベルを決定する。
【００９１】
音声データミキシング部１４２は、音声復号化部１３１により復号化された音声データを、音声レベル検出部１３２から供給されるミキシングレベルに基づき、ミキシングを行う。音声データミキシング部１４２は、イントラフレーム検出情報に基づき、ミキシング音声データを音声符号化部１４３に出力する。ここでは、ビデオ会議通信制御端末Ａの出力音声データに切替える。図９中の点線矢印は、出力映像データと出力音声データとの同期がとれていることを示している。音声ミキサ部１４は、代表話者情報切替えタイミング（タイミングＡ）ではなく、イントラフレーム検出要求切替えタイミング（タイミングＢ）で出力音声データを切替える。
【００９２】
図１０〜図１３は、代表話者情報とイントラフレーム検出情報の２つの情報を使って制御されるミキシング音声データの切替えタイミングを示している。図１０は、代表話者情報をミキシング音声データ出力の切替え開始タイミングとして利用している場合である。端末Ｂの音声データが代表話者情報の入力タイミングで切替わる。端末Ａの音声データは、段階的にレベルが増加し、イントラフレーム検出情報の入力タイミングで、最終レベルに到達する。図１０は、図６と異なり、端末Ａの音声データ切替えタイミングがイントラフレーム切替えタイミングに連動している。
【００９３】
図１１は、代表話者Ｂの音声データが代表話者情報の入力タイミングで切替わり、端末Ａの音声データがイントラフレーム検出情報の入力タイミングで切替わっていることを示している。図１１では、図１０と異なり、端末Ａの音声データの段階的なレベル増加は行われていない。
【００９４】
図１２は、イントラフレーム検出情報の入力タイミングで、端末Ａ、端末Ｂともに、音声データが切替わっていることを示している。図１２では、図１０、図１１と異なり、端末Ｂの音声データの切替えを代表話者情報の入力タイミングではなく、イントラフレーム検出情報のタイミングで行っている。
【００９５】
図１３は、端末Ａの音声データが代表話者情報の入力タイミングで、端末Ｂの音声データがイントラフレーム検出情報の入力タイミングで切替わっていることを示している。なお、図１１、図１２において、端末Ａの音声データの切替えを段階的に行ってもよい。
【００９６】
なお、本発明における音声データ切替え方法をプログラムにより実行することが可能である。当該プログラムは、光記録媒体、磁気記録媒体、または半導体記録媒体に記録されて提供されるか、もしくは、ファイル転送プロトコル（ＦＴＰ）により、インターネット等のネットワークを介して各端末にダウンロードされる。
【００９７】
なお、上述した実施の形態は、本発明の好適な実施の形態の一例であり、本発明はそれに限定されることなく、その要旨を逸脱しない範囲内において種々変形実施が可能である。
【００９８】
【発明の効果】
以上の説明から明らかなように、本発明による第１の効果は、代表話者情報を強調させてミキシングを行うことにある。この結果、表示されている映像データの参加者の音声が聞き取りやすくなる。その理由は、代表話者情報と、検出した音声レベル情報を利用して、ミキシングレベルを決定し、音声データをミキシングするためである。
【００９９】
第２の効果は、ミキシングデータの切替えを段階的に行えることにある。この結果、急なレベル変動が起こっても聞き取りやすくなる。その理由は、ミキシングレベルのあらかじめ指示された増加レベルでミキシングレベルを増加させるためである。
【０１００】
第３の効果は、ミキシングデータの切替えを映像データの切替えタイミングに合わせて行うことにある。その結果、映像データの切替わりタイミングと音声データの切替わりタイミングとの同期が取れ、映像の切替わり時の違和感がなくなる。その理由は、検出されたイントラフレーム検出情報をミキシング音声の切替えの際に用いるためである。
【図面の簡単な説明】
【図１】第１の実施の形態における多地点ビデオ会議システムの構成を示すブロック図である。
【図２】第１の実施の形態における多地点会議制御装置１０の代表話者選定部１３と音声ミキサ部１４との構成を示すブロック図である。
【図３】第１の実施の形態における多地点会議制御装置１０の代表話者選定部１３と音声ミキサ部１４との他の構成を示すブロック図である。
【図４】第１の実施の形態におけるミキシングレベル生成部１４１において決定する音声レベルを示す表である。
【図５】第１の実施の形態におけるミキシング音声データの切替え動作を説明するための図である。
【図６】本発明の実施の形態における代表話者が端末Ｂから端末Ａに切り替わる動作について説明するための図である。
【図７】第２の実施の形態における多地点ビデオ会議システムの構成を示すブロック図である。
【図８】第２の実施の形態における多地点会議制御装置１０の代表話者選定部１３と音声ミキサ部１４との構成を示すブロック図である。
【図９】第２の実施の形態におけるミキシング音声データの切替え動作を説明するための図である。
【図１０】第２の実施の形態における代表話者情報とイントラフレーム検出情報の２つの情報を使って制御されるミキシング音声データの切替えタイミングの一例を示す図である。
【図１１】第２の実施の形態における代表話者情報とイントラフレーム検出情報の２つの情報を使って制御されるミキシング音声データの切替えタイミングの一例を示す図である。
【図１２】第２の実施の形態における代表話者情報とイントラフレーム検出情報の２つの情報を使って制御されるミキシング音声データの切替えタイミングの一例を示す図である。
【図１３】第２の実施の形態における代表話者情報とイントラフレーム検出情報の２つの情報を使って制御されるミキシング音声データの切替えタイミングの一例を示す図である。
【符号の説明】
１０ 多地点会議制御装置
１１ 映像データ選択部
１２ イントラフレーム検出部
１３ 代表話者選定部
１４ 音声ミキサ部
１５ 多地点ビデオ会議制御部
１６ データ送受信部
１００ ビデオ会議通信制御端末
１０１ 映像入出部
１０２ 音声入出力部
１０３ ビデオ会議制御部
１０４ データ送受信部
１３１ 音声復号化部
１３２ 音声レベル検出部
１３３ 代表話者決定部
１４１ ミキシングレベル生成部
１４２ 音声データミキシング部
１４３ 音声符号化部

Claims (12)

1. 複数のビデオ会議通信制御端末から複数の音声データが入力され、該入力された複数の音声データの音声レベルを検出し、該音声レベルから代表話者を選定し、代表話者情報として出力する代表話者選定手段と、
   該代表話者選定手段から入力された前記音声レベル、前記代表話者情報、および端末毎の所定の割当ミキシングレベルを基に、前記複数の音声データをミキシングする音声ミキサ手段と、
   前記代表話者選定手段から入力された代表話者情報にかかるビデオ会議通信制御端末からの映像データのイントラフレームを検出し、イントラフレーム検出情報として出力するイントラフレーム検出手段と、
   該イントラフレーム検出手段から入力されたイントラフレーム検出情報を基に、前記代表話者に選定されたビデオ会議通信制御端末の映像データに切替える映像データ選択手段とを有し、
   前記所定の割当ミキシングレベルは、
   前記代表話者情報にかかる音声データのミキシングレベルが強調されたものとなっており、
   前記代表話者選定手段は、
   入力された前記音声データを復号化する復号化部と、
   該復号化部により復号化された音声データの音声レベルを検出する音声レベル検出部と、
   該音声レベル検出部により検出された音声レベルから前記代表話者を決定する代表話者決定部とを有し、
   前記音声ミキサ手段は、
   前記音声レベル検出部により検出された音声レベルと、前記代表話者決定部により決定された代表話者情報と、端末毎の前記所定の割当ミキシングレベルとを基に、前記複数の音声データをミキシングする際の該複数の音声データの各々のミキシングレベルを生成するミキシングレベル生成部と、
   該ミキシングレベル生成部により生成されたミキシングレベルを基に、前記音声復号化部から入力された複数の音声データをミキシングする音声データミキシング部と、
   該音声データミキシング部によりミキシングされたミキシング音声データを符号化する音声符号化部とを有し、
   前記ミキシングレベル生成部は、
   前記代表話者決定部から入力された前記代表話者情報により前記代表話者に選定された音声データのミキシングレベルを、段階的に複数回生成し、前記音声データミキシング部に出力することを特徴とする多地点ビデオ会議制御装置。
2. 複数のビデオ会議通信制御端末から複数の音声データが入力され、該入力された複数の音声データの音声レベルを検出し、該音声レベルから代表話者を選定し、代表話者情報として出力する代表話者選定手段と、
   該代表話者選定手段から入力された前記音声レベル、前記代表話者情報、および端末毎の所定の割当ミキシングレベルを基に、前記複数の音声データをミキシングする音声ミキサ手段と、
   前記代表話者選定手段から入力された代表話者情報にかかるビデオ会議通信制御端末からの映像データのイントラフレームを検出し、イントラフレーム検出情報として出力するイントラフレーム検出手段と、
   該イントラフレーム検出手段から入力されたイントラフレーム検出情報を基に、前記代表話者に選定されたビデオ会議通信制御端末の映像データに切替える映像データ選択手段とを有し、
   前記所定の割当ミキシングレベルは、
   前記代表話者情報にかかる音声データのミキシングレベルが強調されたものとなっており、
   前記代表話者選定手段は、
   入力された前記音声データを復号化する復号化部と、
   該復号化部により復号化された音声データの音声レベルを検出する音声レベル検出部と、
   該音声レベル検出部により検出された音声レベルから前記代表話者を決定する代表話者決定部とを有し、
   前記音声ミキサ手段は、
   前記音声レベル検出部により検出された音声レベルと、前記代表話者決定部により決定された代表話者情報と、端末毎の前記所定の割当ミキシングレベルとを基に、前記複数の音声データをミキシングする際の該複数の音声データの各々のミキシングレベルを生成するミキシングレベル生成部と、
   該ミキシングレベル生成部により生成されたミキシングレベルを基に、前記音声復号化部から入力された複数の音声データをミキシングする音声データミキシング部と、
   該音声データミキシング部によりミキシングされたミキシング音声データを符号化する音声符号化部とを有し、
   前記音声データミキシング部は、
   前記代表話者決定部から入力された代表話者情報の入力タイミングから、前記代表話者に選定された音声データのミキシングレベルを、前記割当ミキシングレベルとなるまで、所定の間隔で増加することを特徴とする多地点ビデオ会議制御装置。
3. 複数のビデオ会議通信制御端末から複数の音声データが入力され、該入力された複数の音声データの音声レベルを検出し、該音声レベルから代表話者を選定し、代表話者情報として出力する代表話者選定手段と、
   該代表話者選定手段から入力された前記音声レベル、前記代表話者情報、および端末毎の所定の割当ミキシングレベルを基に、前記複数の音声データをミキシングする音声ミキサ手段と、
   前記代表話者選定手段から入力された代表話者情報にかかるビデオ会議通信制御端末からの映像データのイントラフレームを検出し、イントラフレーム検出情報として出力するイントラフレーム検出手段と、
   該イントラフレーム検出手段から入力されたイントラフレーム検出情報を基に、前記代表話者に選定されたビデオ会議通信制御端末の映像データに切替える映像データ選択手段とを有し、
   前記所定の割当ミキシングレベルは、
   前記代表話者情報にかかる音声データのミキシングレベルが強調されたものとなっており、
   前記代表話者選定手段は、
   入力された前記音声データを復号化する復号化部と、
   該復号化部により復号化された音声データの音声レベルを検出する音声レベル検出部と、
   該音声レベル検出部により検出された音声レベルから前記代表話者を決定する代表話者決定部とを有し、
   前記音声ミキサ手段は、
   前記音声レベル検出部により検出された音声レベルと、前記代表話者決定部により決定された代表話者情報と、端末毎の前記所定の割当ミキシングレベルとを基に、前記複数の音声データをミキシングする際の該複数の音声データの各々のミキシングレベルを生成するミキシングレベル生成部と、
   該ミキシングレベル生成部により生成されたミキシングレベルを基に、前記音声復号化部から入力された複数の音声データをミキシングする音声データミキシング部と、
   該音声データミキシング部によりミキシングされたミキシング音声データを符号化する音声符号化部とを有し、
   前記イントラフレーム検出手段は、
   前記音声ミキサ手段に前記イントラフレーム検出情報を出力し、
   前記音声ミキサ手段は、前記イントラフレーム検出手段から入力されたイントラフレーム検出情報を基に、前記音声データのミキシングレベルの切替えを制御することを特徴とする多地点ビデオ会議制御装置。
4. 前記音声データミキシング部は、
   前記代表話者決定部から入力される代表話者情報の入力タイミングで、前記代表話者に選定された音声データのミキシングレベルの増加を開始し、
   前記イントラフレーム検出手段から入力されるイントラフレーム検出情報の入力タイミングで、前記音声データのミキシングレベルの増加を終了することを特徴とする請求項３記載の多地点ビデオ会議制御装置。
5. 複数のビデオ会議通信制御端末から複数の音声データが入力され、該入力された複数の音声データの音声レベルを検出し、該音声レベルから代表話者を選定し、代表話者情報を生成する代表話者選定工程と、
   該代表話者選定工程により生成された代表話者情報、前記音声レベルおよび端末毎の所定の割当ミキシングレベルを基に、前記複数の音声データをミキシングする音声ミキサ工程と、
   前記代表話者選定工程により生成された代表話者情報にかかるビデオ会議通信制御端末からの映像データのイントラフレームを検出し、イントラフレーム検出情報を生成するイントラフレーム検出工程と、
   該イントラフレーム検出工程により生成されたイントラフレーム検出情報を基に、前記代表話者に選定されたビデオ会議通信制御端末の映像データに切替える映像データ選択工程とを有し、
   前記所定の割当ミキシングレベルは、
   前記代表話者情報にかかる音声データのミキシングレベルが強調されたものとなっており、
   前記代表話者選定工程は、
   入力された前記音声データを復号化し、
   該復号化した音声データの音声レベルを検出し、
   該検出した音声レベルから前記代表話者を決定し、
   前記音声ミキサ工程は、
   前記音声レベルと、前記代表話者情報と、端末毎の前記所定の割当ミキシングレベルとを基に、前記複数の音声データをミキシングする際の該複数の音声データの各々のミキシングレベルを生成し、
   該生成したミキシングレベルを基に、前記複数の音声データをミキシングし、
   該ミキシングしたミキシング音声データを符号化し、
   前記音声ミキサ工程は、
   前記代表話者情報により前記代表話者に選定された音声データのミキシングレベルを、段階的に複数回生成して、前記複数の音声データをミキシングすることを特徴とする音声切替え方法。
6. 複数のビデオ会議通信制御端末から複数の音声データが入力され、該入力された複数の音声データの音声レベルを検出し、該音声レベルから代表話者を選定し、代表話者情報を生成する代表話者選定工程と、
   該代表話者選定工程により生成された代表話者情報、前記音声レベルおよび端末毎の所定の割当ミキシングレベルを基に、前記複数の音声データをミキシングする音声ミキサ工程と、
   前記代表話者選定工程により生成された代表話者情報にかかるビデオ会議通信制御端末からの映像データのイントラフレームを検出し、イントラフレーム検出情報を生成するイントラフレーム検出工程と、
   該イントラフレーム検出工程により生成されたイントラフレーム検出情報を基に、前記代表話者に選定されたビデオ会議通信制御端末の映像データに切替える映像データ選択工 程とを有し、
   前記所定の割当ミキシングレベルは、
   前記代表話者情報にかかる音声データのミキシングレベルが強調されたものとなっており、
   前記代表話者選定工程は、
   入力された前記音声データを復号化し、
   該復号化した音声データの音声レベルを検出し、
   該検出した音声レベルから前記代表話者を決定し、
   前記音声ミキサ工程は、
   前記音声レベルと、前記代表話者情報と、端末毎の前記所定の割当ミキシングレベルとを基に、前記複数の音声データをミキシングする際の該複数の音声データの各々のミキシングレベルを生成し、
   該生成したミキシングレベルを基に、前記複数の音声データをミキシングし、
   該ミキシングしたミキシング音声データを符号化し、
   前記音声ミキサ工程は、
   前記代表話者情報の入力タイミングから、前記代表話者に選定された音声データのミキシングレベルを、前記割当ミキシングレベルとなるまで、所定の間隔で増加することを特徴とする音声切替え方法。
7. 複数のビデオ会議通信制御端末から複数の音声データが入力され、該入力された複数の音声データの音声レベルを検出し、該音声レベルから代表話者を選定し、代表話者情報を生成する代表話者選定工程と、
   該代表話者選定工程により生成された代表話者情報、前記音声レベルおよび端末毎の所定の割当ミキシングレベルを基に、前記複数の音声データをミキシングする音声ミキサ工程と、
   前記代表話者選定工程により生成された代表話者情報にかかるビデオ会議通信制御端末からの映像データのイントラフレームを検出し、イントラフレーム検出情報を生成するイントラフレーム検出工程と、
   該イントラフレーム検出工程により生成されたイントラフレーム検出情報を基に、前記代表話者に選定されたビデオ会議通信制御端末の映像データに切替える映像データ選択工程とを有し、
   前記所定の割当ミキシングレベルは、
   前記代表話者情報にかかる音声データのミキシングレベルが強調されたものとなっており、
   前記代表話者選定工程は、
   入力された前記音声データを復号化し、
   該復号化した音声データの音声レベルを検出し、
   該検出した音声レベルから前記代表話者を決定し、
   前記音声ミキサ工程は、
   前記音声レベルと、前記代表話者情報と、端末毎の前記所定の割当ミキシングレベルとを基に、前記複数の音声データをミキシングする際の該複数の音声データの各々のミキシングレベルを生成し、
   該生成したミキシングレベルを基に、前記複数の音声データをミキシングし、
   該ミキシングしたミキシング音声データを符号化し、
   前記音声ミキサ工程は、
   前記イントラフレーム検出工程により生成されたイントラフレーム検出情報を基に、前記音声データのミキシングレベルの切替えを制御することを特徴とする音声切替え方法。
8. 前記音声ミキサ工程は、
   前記代表話者情報の入力タイミングで、前記代表話者に選定された音声データのミキシングレベルの増加を開始し、
   前記イントラフレーム検出工程により生成されたイントラフレーム検出情報の入力タイ ミングで、前記音声データのミキシングレベルの増加を終了することを特徴とする請求項７記載の音声切替え方法。
9. 複数のビデオ会議通信制御端末から複数の音声データが入力され、該入力された複数の音声データの音声レベルを検出し、該音声レベルから代表話者を選定し、代表話者情報を生成する代表話者選定処理と、
   該代表話者選定処理により生成された代表話者情報、前記音声レベルおよび端末毎の所定の割当ミキシングレベルを基に、前記複数の音声データをミキシングする音声ミキサ処理と、
   前記代表話者選定処理により生成された代表話者情報にかかるビデオ会議通信制御端末からの映像データのイントラフレームを検出し、イントラフレーム検出情報を生成するイントラフレーム検出処理と、
   該イントラフレーム検出処理により生成されたイントラフレーム検出情報を基に、前記代表話者に選定されたビデオ会議通信制御端末の映像データに切替える映像データ選択処理とを実行させ、
   前記所定の割当ミキシングレベルは，
   前記代表話者情報にかかる音声データのミキシングレベルが強調されたものとなっており、
   前記代表話者選定処理は、
   入力された前記音声データを復号化し、
   該復号化した音声データの音声レベルを検出し、
   該検出した音声レベルから前記代表話者を決定し、
   前記音声ミキサ処理は、
   前記音声レベルと、前記代表話者情報と、端末毎の前記所定の割当ミキシングレベルとを基に、前記複数の音声データをミキシングする際の該複数の音声データの各々のミキシングレベルを生成し、
   該生成したミキシングレベルを基に、前記複数の音声データをミキシングし、
   該ミキシングしたミキシング音声データを符号化し、
   前記音声ミキサ処理は、
   前記代表話者情報により前記代表話者に選定された音声データのミキシングレベルを、段階的に複数回生成して、前記複数の音声データをミキシングすることを特徴とするプログラムを記録した記録媒体。
10. 複数のビデオ会議通信制御端末から複数の音声データが入力され、該入力された複数の音声データの音声レベルを検出し、該音声レベルから代表話者を選定し、代表話者情報を生成する代表話者選定処理と、
    該代表話者選定処理により生成された代表話者情報、前記音声レベルおよび端末毎の所定の割当ミキシングレベルを基に、前記複数の音声データをミキシングする音声ミキサ処理と、
    前記代表話者選定処理により生成された代表話者情報にかかるビデオ会議通信制御端末からの映像データのイントラフレームを検出し、イントラフレーム検出情報を生成するイントラフレーム検出処理と、
    該イントラフレーム検出処理により生成されたイントラフレーム検出情報を基に、前記代表話者に選定されたビデオ会議通信制御端末の映像データに切替える映像データ選択処理とを実行させ、
    前記所定の割当ミキシングレベルは、
    前記代表話者情報にかかる音声データのミキシングレベルが強調されたものとなっており、
    前記代表話者選定処理は、
    入力された前記音声データを復号化し、
    該復号化した音声データの音声レベルを検出し、
    該検出した音声レベルから前記代表話者を決定し、
    前記音声ミキサ処理は、
    前記音声レベルと、前記代表話者情報と、端末毎の前記所定の割当ミキシングレベルとを基に、前記複数の音声データをミキシングする際の該複数の音声データの各々のミキシングレベルを生成し、
    該生成したミキシングレベルを基に、前記複数の音声データをミキシングし、
    該ミキシングしたミキシング音声データを符号化し、
    前記音声ミキサ処理は、
    前記代表話者情報の入力タイミングから、前記代表話者に選定された音声データのミキシングレベルを、前記割当ミキシングレベルとなるまで、所定の間隔で増加することを特徴とするプログラムを記録した記録媒体。
11. 複数のビデオ会議通信制御端末から複数の音声データが入力され、該入力された複数の音声データの音声レベルを検出し、該音声レベルから代表話者を選定し、代表話者情報を生成する代表話者選定処理と、
    該代表話者選定処理により生成された代表話者情報、前記音声レベルおよび端末毎の所定の割当ミキシングレベルを基に、前記複数の音声データをミキシングする音声ミキサ処理と、
    前記代表話者選定処理により生成された代表話者情報にかかるビデオ会議通信制御端末からの映像データのイントラフレームを検出し、イントラフレーム検出情報を生成するイントラフレーム検出処理と、
    該イントラフレーム検出処理により生成されたイントラフレーム検出情報を基に、前記代表話者に選定されたビデオ会議通信制御端末の映像データに切替える映像データ選択処理とを実行させ、
    前記所定の割当ミキシングレベルは、
    前記代表話者情報にかかる音声データのミキシングレベルが強調されたものとなっており、
    前記代表話者選定処理は、
    入力された前記音声データを復号化し、
    該復号化した音声データの音声レベルを検出し、
    該検出した音声レベルから前記代表話者を決定し、
    前記音声ミキサ処理は、
    前記音声レベルと、前記代表話者情報と、端末毎の前記所定の割当ミキシングレベルとを基に、前記複数の音声データをミキシングする際の該複数の音声データの各々のミキシングレベルを生成し、
    該生成したミキシングレベルを基に、前記複数の音声データをミキシングし、
    該ミキシングしたミキシング音声データを符号化し、
    前記音声ミキサ処理は、
    前記イントラフレーム検出処理により生成されたイントラフレーム検出情報を基に、前記音声データのミキシングレベルの切替えを制御することを特徴とするプログラムを記録した記録媒体。
12. 前記音声ミキサ処理は、
    前記代表話者情報の入力タイミングで、前記代表話者に選定された音声データのミキシングレベルの増加を開始し、
    前記イントラフレーム検出処理により生成されたイントラフレーム検出情報の入力タイミングで、前記音声データのミキシングレベルの増加を終了することを特徴とする請求項１１記載のプログラムを記録した記録媒体。

Images