JP4255461B2

JP4255461B2 - 電話会議用のステレオ・マイクロフォン処理

Info

Publication number: JP4255461B2
Application number: JP2005189507A
Authority: JP
Inventors: ケイトリュオンクワン; チューピーター; エイパチーノマイケル
Original assignee: ポリコム・インコーポレイテッド
Priority date: 2004-06-30
Filing date: 2005-06-29
Publication date: 2009-04-15
Anticipated expiration: 2025-06-29
Also published as: TWI264934B; JP2006020314A; CN1716986A; US20060013416A1; EP1613124A2; EP1613124A3; TW200610373A; US8687820B2; CN100484177C; EP1613124B1

Description

本発明は、一般的に、電話会議に関し、特に、電話会議におけるオーディオの構成部分に関する。

電話会議は、事業組織、政府機関及び教育機関における通信にとって、長年にわたって重要なツールとなっている。電話会議の機器には多くの種類のものが存在する。１つの種類の電話会議装置は、リアルタイム画像や生の会話を伝送するビデオ会議装置である。ビデオ会議装置は通常、ビデオ処理構成部分及びオーディオ処理構成部分を備える。ビデオ処理構成部分は、会議の参加者のリアルタイム画像を捕らえるカメラと、会議の参加者のリアルタイム画像又は文書の静止画像を近端若しくは遠端から示すビデオ・ディスプレイとを含み得る。ビデオ会議装置のオーディオ部分は通常、会議の参加者の音声信号を捕らえる１つ又は複数のマイクロフォンと、遠端での参加者の音声を再生する拡声器とを含む。場合によっては、より一般的にスピーカフォンとして知られているオーディオ会議装置が代わりに用いられている。スピーカフォンは、２つ以上の場所での人々の間の会話のみを伝送する。

多くの人々が会議場所での電話会議に参加する場合、単一のマイクロフォンの会議装置は多くの課題を有する。マイクロフォンの近くに座っている人々の音声は強い信号をもたらし得る一方、マイクロフォンから遠く離れた場所に座っている人々の音声は弱い信号をもたらし得る。システムの利得は通常、強い信号がシステムを飽和させないように、又はシステムを不安定な状態にさせないように制限される。この利得の制限が理由で、マイクロフォンから遠く離れた場所に座っている人々の音声は、理解できるには弱すぎる場合がある。

会議室の周りに配置される複数のマイクロフォンを用いてこの課題を軽減し得る。複数のマイクロフォンが会議室の周りに配置される場合、どの話者にも話者の音声を捕らえることができるほど十分に近いものが１つ存在することになる。全てのマイクロフォンからの信号はミキシングしてオーディオ信号を生成することになり、オーディオ信号は処理されて、会議の遠端に伝送される。このようにして、全ての話者の音声は同様な強さを有する。しかし、全てのマイクロフォン信号をミキシングすることはなお、それ自体の課題を有する。全ての話者が全て同時に話している訳ではない。マイクロフォンの近くで話している人が誰もいない場合、そのマイクロフォンからの信号は実質的に雑音である。全てのマイクロフォンからの信号が全て一緒にミキシングされる場合、多数の雑音信号が１つ又は少数の音声信号とミキシングされ、信号対雑音比（ＳＮＲ）を削減する。全ての参加者の音声を会議の遠端にいる関係者に理解させることが可能な会議装置を有することが望ましい。

ＳＮＲを向上させるよう、マイクロフォン・ゲーティング又は動的ミキシングが一部の先行技術の電話会議装置によって用いられている。マイクロフォン・ゲーティングが複数のマイクロフォンを備えている電話会議装置に適用される場合、十分強い信号を備えているマイクロフォンのみが「ゲーティング」される、すなわち、他のマイクロフォン信号とミキシングされてオーディオ信号を形成する。マイクロフォンにおける信号が強いことは、信号が、背景雑音のみならず、話者からのものであるということを示す。マイクロフォンにおける信号が弱い場合、そのことは話者が近くにいないということを示す場合があり、信号が主に背景雑音からのものであるということを示す場合がある。これらのマイクロフォンは閉じた状態にある、すなわちそれらの信号は他の「ゲーティング」されたマイクロフォン信号とミキシングされることから排除される。マイクロフォンのゲーティング手法はＳＮＲを向上させるが、依然として、人間の耳が分かることが可能な非常に現実的な音響を備えるものでない。

ステレオ・オーディオ・システムとマルチチャンネル・オーディオ・システムは、より現実的な音響を再生することが可能である。ステレオの音響は、種々の音源間の空間的な関係を再生する。この空間的な関係によって、音声を種々の人々から区別し、よりよく分かるようにすることを容易にすることが可能である。ステレオ音をビデオ会議装置とオーディオ会議装置との何れかの電話会議装置に含めることが望ましい。

電話会議機能を向上させることが可能な方法及び装置を有することが望ましい。

本発明の一実施例によれば、複数のマイクロフォンを備えている電話会議装置では、複数のオーディオ・チャンネルが会議場所間で維持され、交換される。オーディオ・チャンネル毎の最善の信号レベルを備えているマイクロフォンが選択される（ゲーティングされる）一方、全ての別のマイクロフォンは、最善の信号対雑音比が達成されるように無視される（閉じた状態にされる）。

一実施例によれば、最善のマイクロフォンは帯域制限解析を用いて選択し得る。複数のマイクロフォンからの一時間間隔についての各信号は、多くの部分帯域に分割される。部分帯域毎に、最も強い信号が選択され、一投票が、この部分集合の元のマイクロフォンに与えられる。全ての部分帯域についてのマイクロフォン毎の投票が集約される。最も多くの投票を有するマイクロフォンがその時間間隔について選択される。代替策では、投票数が閾値を超える場合にのみ、マイクロフォンがその時間間隔について選択される。十分に大きな投票数を有するマイクロフォンが何らない場合、最後の時間間隔について選択されたマイクロフォンが選択される。別の代替策では、最も多くの投票を備えている１つのマイクロフォンのみを選択するよりも、いくつかのマイクロフォンを選択し得る。これらのマイクロフォンは、最小の投票閾値を超える投票を各々が有する場合に選択される。別の代替策では、ゲーティングされた状態（利得＝１）と閉じた状態（利得＝０）との間の中間利得が用いられる。

別の実施例によれば、１つのマイクロフォンからの信号を、２つ以上のオーディオ・チャンネルに用い得る、すなわちオーディオ・パニングに用い得る。１つのオーディオ・チャンネルに対するマイクロフォン信号の一部分を、マイクロフォンの相対位置に応じてミキシングする場合がある。同様に、いくつかのマイクロフォンからの信号をミキシングして１つのオーディオ・チャンネル信号を形成し得る。ミキシングの量はマイクロフォンの相対位置によって変わってくる。

好適実施例の以下の詳細説明を添付図面に関して検討する場合に本発明がよりよく分かり得る。

本発明による方法及び装置は電話会議装置におけるオーディオ・システムを改良させることになる。電話会議装置は、ビデオ・システムとオーディオ・システムとの両方を含むビデオ会議装置又は、オーディオ会議装置、すなわちオーディオ・システムのみを有するスピーカフォンであり得る。

図１は、会議室におけるビデオ会議の通常の配置を示す。ビデオ会議機器は、ビデオ表示画面１０１、ビデオ表示画面１０１上のビデオ・カメラ１０５、拡声器１０２及び１０４、並びに会議テーブル１１９の前にあるマイクロフォン１１２、１１４、１１６、１１１、１１３及び１１５を含む。マイクロフォン１１２、１１４及び１１６は右マイクロフォン１１０として一緒にグループ化される一方、マイクロフォン１１１、１１３及び１１５は左マイクロフォン１２０としてグループ化される。単純にするよう、図１に示す部分はこれらのみである。これらの部分は、中央モジュールに全て接続されている。中央モジュールは、全ての信号処理回路、制御回路、ネットワーク・インタフェース等を含む。図５は、中央モジュールをもう少し詳細に示した、ビデオ会議装置を示す構成図である。会議の参加者１２１、１２２及び１２３は、会議テーブル１１９の前に座っている。この配置では、この場所での会議参加者の前に６つのマイクロフォンがある。

図２は、より大きな会議室の別の配置を示す。ビデオ表示画面２０１及びスイバル・ビデオ・カメラ２４１が会議室の前にある。拡声器が会議室の周りに配置されている。そのうちの２つ、２０２及び２０４を示す。又、マイクロフォン２１２、２１４、２１６、２１８、２２２、２２４、２２６、２１１、２１３、２１５、２１７、２２１、２２３及び２２５を含む多くのマイクロフォンが会議室に散在している。図１に示す配置と同様に、マイクロフォンは、右マイクロフォン群及び左マイクロフォン群に分割される。各マイクロフォン群は１つのオーディオ・チャンネルに用いられる。会議の参加者は、会議室において、マイクロフォンとともに配置されている場合がある。それらのうちの３つ、２３１、２３３及び２３５を示す。

図５は、図１及び図２の配置において用い得るビデオ会議装置５００の構成図を示す。ビデオ会議装置５００は、内部の拡声器４２２及び４２４、内部のマイクロフォン４３２及び４３４、設置されたカメラ４１２に対する接続並びに設置された表示画面４１０に対する接続を有する中央モジュール４４０を有する。中央モジュール４４０は追加のビデオ構成部分用及びオーディオ構成部分用の多くのインタフェース、すなわち、ビデオ入力インタフェース４４１、ビデオ出力インタフェース４４２、オーディオ入力インタフェース４４５及びオーディオ出力インタフェース４４６を有する。各インタフェースは、複数のオーディオ・チャンネル又はビデオ・チャンネルに対する接続を有する。例えば、ビデオ入力インタフェース４４１は、２つの追加のビデオ・カメラからのビデオ信号を受け入れることが可能である。ビデオ出力インタフェース４４２は２つのビデオ・チャンネル、４つのモニタまでを出力し得る。オーディオ入力インタフェース４４５は、４つまでのオーディオ・チャンネルにグループ化することが可能な１２のマイクロフォンまでを受け入れ得る。オーディオ出力インタフェース４４６は、更に５つのオーディオ・チャンネルを出力し得る。信号処理及び制御は、中間部４５１、４５２、４５３及び４５４を介して種々のオーディオ／ビデオの構成部分又はインタフェースに結合される処理装置４５０によって行われる。これらの中間部は、ＤＡＣやＡＤＣなどの信号変換を行う。これらは別個のブロックとして示しているが、単一モジュール又は集積チップに集積することが可能である。処理装置４５０は、ＲＡＭ４５６及びフラッシュ・メモリ４５７によってサポートされる。信号処理プログラムはフラッシュ・メモリ４５７に記憶さえ得る。特定の場合に用い得る構成部分プロファイルをフラッシュ・メモリ４５７にも記憶させることが可能である。中央モジュール４４０は、ディジタル・ネットワーク用の１つのインタフェース４４３、及び通常、ＰＯＴＳ（一般電話サービス）回線に接続するアナログ・ネットワーク用の別のインタフェース４４４の、いくつかのネットワーク・インタフェースを有する。このインタフェース４４４は、オーディオ・チャンネル毎に１本の回線の、少なくとも２本のＰＯＴＳ回線を有する。ディジタル・インタフェース４４３は、ＩＳＤＮ、イーサネット（登録商標）又はＵＳＢなどの種々のディジタル接続をサポートし得る。ＩＳＤＮ接続は、ＩＳＤＮネットワークを介したビデオ会議接続に主に用いられる。イーサネット（登録商標）接続又はＬＡＮ接続は、インターネットを介したビデオ会議又は企業ネットワーク上の内部的なビデオ会議に主に用いられる。ＵＳＢ接続を用いて、追加のカメラ、マイクロフォン、追加の文書等を備えているコンピュータなどの追加のオーディオ／ビデオ・メディア・ストリームを交換するのに用い得る。

図１及び図２における配置では、全ての参加者の音声を、少なくとも１つのマイクロフォンによって捕らえ得る。各マイクロフォンからオーディオ信号が収集され、一緒にミキシングされて、各オーディオ・チャンネルにおいて単一のオーディオ信号を形成する場合、話者の音声は、電話会議の遠端に送信し、その遠端での拡声器によって再生することが可能である。図１及び図２における配置の各々では、本発明によれば、複数のマイクロフォンからの信号が選択され、ミキシングされて、少なくとも２つのオーディオ・チャンネルを形成する。

本発明の実施例によれば、マイクロフォンの全てが同様に扱われる訳でない。各マイクロフォンは、マイクロフォンでの信号品質によってゲーティングされるか閉じた状態にされる。各マイクロフォンは特定のオーディオ・チャンネルに割り当て得る。

例えば、図１を参照すれば、２つのオーディオ・チャンネルが保持されている。右のオーディオ・チャンネルは、マイクロフォン１１２、１１４及び１１６を有する。左オーディオ・チャンネルは、マイクロフォン１１１、１１３及び１１５を有する。話者１２１が話している場合、マイクロフォン１１２からのオーディオ信号は右チャンネルについて最も強く、マイクロフォン１１１は左チャンネルについて最も強い信号を有する。よって、マイクロフォン１１２からのオーディオ信号が右チャンネルを表すよう選択される一方、マイクロフォン１１１からのオーディオ信号が左オーディオ・チャンネルを表すものとして選択される。信号処理は図３に示す流れ図をたどり得る。単純にするよう、１つの信号経路のみを示す、すなわち、ビデオ会議の近端場所での音声が捕らえられ、処理され、遠端に送信され、それは処理され、再生される。反対方向、すなわち、遠端から近端まで、の方向である以外はこれと同じ別の信号経路が存在する。図３に示す流れ図では、近端でのマイクロフォンのうちの全てからのオーディオ信号の全てが収集され、オーディオ・チャンネル毎の調停器１４２及び１４１に送られる。調停器１４２又は１４１は、種々のマイクロフォンからの各オーディオ信号の強度を比較する。各チャンネルからの最強オーディオ信号が選択され、ミキサ１５２に送られる。ミキサ１５２は、電話ネットワーク又はデータ・ネットワーク１５３を介して送信するうえで適切な形式にオーディオ信号をフォーマッティングするか変換する更なる処理を行うことになる。例えば、各オーディオ・チャンネルは別個のアナログ電話回線を用いて遠端とオーディオ信号を交換し得る。又は、各オーディオ・チャンネルをディジタル・データ・パケットとして符号化し、復号化するよう遠端に送信し得る。フォーマッティングされたデータは遠端プロセッサ１５４に送信される。左チャンネルのオーディオ信号と右チャンネルのオーディオ信号とが埋め込まれるフォーマッティング・データを遠端プロセッサ１５４が受信すると、遠端プロセッサはこれらの２つのチャンネルを分割する。チャンネル毎のオーディオ信号は更に処理される、例えば、右チャンネルはプロセッサ１６２に進み、左チャンネルはプロセッサ１６１に進む。オーディオ信号は増幅され、再コンディショニングされた後、拡声器１７２及び１７１に入力され、音声として再生される。

一部の場合には、チャンネル毎に２つ以上のマイクロフォン信号を選択し得る。例えば、同じ会議場所で同時に２者以上の話者が話している場合、それらの話者に近いマイクロフォンからの信号は、各話者の音声を聴くことが可能であるようにオーディオ・チャンネルについてオーディオ信号にミキシングすることとする。この場合、誰かが話しているということを示す、十分に高い信号強度を有するマイクロフォン信号は全て、調停器１４２及び１４１によって選択され、更に処理される。

なお図３を参照すれば、調停器１４２、ミキサ１５２、遠端ミキサ１５４の相当部分、及びプロセッサ１６２などの、種々の構成部分を別個の構成部分として示す。それらは物理的に別個の構成部分であり得る。それらは更に、なお少ない構成部分に合成してもよく集約してもよい。

上記のマイクロフォン信号の調停又は選択は簡単である。本発明の別の実施例によれば、種々のマイクロフォンからのオーディオ信号又は調停信号の選択は、より良好なオーディオ品質及び柔軟性を達成するよう更に工夫をこらしている。この実施例では、マイクロフォン信号毎に部分帯域解析が行われ、調停及び選択が部分帯域レベルで行われる。図４は、オーディオ信号の一オーディオ・チャンネルについての処理を示す。同様な処理を何れかのオーディオ・チャネルに用いることが可能である。図３におけるシステムと同様に、マイクロフォン１１２、１１４及び１１６などのマイクロフォン全てからのオーディオ信号が収集される。オーディオ信号は、瞬間的にではなく、一度に１つの時間フレームを処理する。１つの時間フレームについて、オーディオ信号が種々のマイクロフォンから収集されると、各マイクロフォン信号は複数の部分帯域に分割される。図４において示す例では、１つの時間フレームは２０ミリ秒であり、部分帯域は、５０ヘルツずつ間隔があいて、５０の帯域を生成する、５００ヘルツから３０００ヘルツまでに及ぶ。各マイクロフォン信号は周波数分割器１８１によって分割される。オーディオ信号の各部分帯域は、その特定の帯域について帯域調停器１８２に収集される。例えば、全ての３０００ヘルツの帯域信号が図４に示すように調停器１８２で収集される。各マイクロフォンからの特定の部分帯域毎の部分帯域エネルギが解析される。部分帯域毎に、マイクロフォンのうちの１つが最大エネルギを有することになる。よって、各部分帯域は最善のマイクロフォンに１票を入れる。全ての５０の帯域の投票を数えれば、マイクロフォンのうちの１つが最大の投票数を有することになる。上記と同様に、一話者のみが話している一部の場合には、１つのマイクロフォンが１つのオーディオ・チャネルに対して選択され、２者以上の話者が話している別の場合には、複数のマイクロフォンが選択される。

１つのマイクロフォンが受信する投票数が閾値を超える場合、そのマイクロフォンが現在の時間間隔に対するマイクロフォンとして選択される。いくつかのマイクロフォンが閾値を超える投票を受信する場合、これらのいくつかのマイクロフォンを選択することが可能である。最高数の投票を備えているマイクロフォンが閾値よりもなお少ない場合、先行する時間間隔における最善のマイクロフォンが選択される。閾値は会議に適合するよう調節可能である。一実施例では、閾値は１６である。この部分帯域解析方法は、個々の会議の状況毎に、かつ、会議の何れかの期間中に、最善のマイクロフォンをより好適に示す一話者から別の話者へのよりスムーズな移行を備える。

本発明の上記実施例では、マイクロフォン信号を選択して特定のオーディオ・チャンネルについてのオーディオ信号を形成する工程は、２つのオーディオ・チャネルのシステムにおける左チャンネルについて、

の公式で表す場合があり、その場合、Ｌｅｆｔ＿ａｕｄｉｏ＿ｓｉｇｎａｌは左オーディオ・チャンネルについてのオーディオ信号であり、Ｇａｉｎ＿ｌｅｆｔ_ｉはｉ番目のマイクロフォン信号の利得であり、Ｍｉｃ＿Ｌｅｆｔ_ｉはｉ番目のマイクロフォン信号である。Ｇａｉｎ＿ｌｅｆｔ_ｉが実質的にゼロである場合、ｉ番目のマイクロフォンからのマイクロフォン信号は「廃棄される」。Ｇａｉｎ＿ｌｅｆｔ_ｉが実施的に１である場合、ｉ番目のマイクロフォンからのマイクロフォン信号が「選択される」。複数のマイクロフォンが選択される場合、選択されるマイクロフォンの利得は約１／ｎであり、ｎは選択されるマイクロフォンの数である。

マイクロフォンの利得の判定は、単一のマイクロフォンの選択についても複数の信号の選択についてもより容易に実施し得る。マイクロフォン信号が選択される場合、利得はゼロよりもかなり大きい、例えば、単一の信号が選択される場合、利得は０．８よりも大きい。２つのマイクロフォン信号が選択される場合、少なくとも１つのマイクロフォンの利得は０．４よりも大きい。信号が廃棄される場合、利得は実質的にゼロに等しい。例えば、図１に示す例では、マイクロフォン１１１のマイクロフォン利得は０．９５であり、マイクロフォン１１３及び１１５のマイクロフォン利得は、１つのマイクロフォンのみが選択される場合、各々、０．０２５である。利得の分布は、２つのマイクロフォンが選択される場合、０．４５、０．４５、０．１又は０．７、０．３、０．０であり得る。

図２を参照すれば、多数のマイクロフォンを用いて多くの人々を大会議室に収容している。この会議室では、一話者が特に１つのマイクロフォンの近くに位置している、例えば、話者２３１がマイクロフォン２２３に対して非常に近いところに位置している。よって、話者２３１が話している場合、マイクロフォン２２３からの信号は飛びぬけて最強の信号である。この信号は左オーディオ・チャンネルに割り当てられる。右オーディオ・チャンネルでは、マイクロフォン２１６からの信号が最も強いものであり得るので、それが右チャンネルを表すよう選択される。しかし、マイクロフォン２１６からの１つとマイクロフォン２２３からの１つのこれらの２つの信号は強度が大きく異なるので、遠端で再生される場合、話者２３１が会議室の左遠端に位置しているかのように聞こえることになる。これによって、オーディオ画像に歪みをもたらし、話者２３１がマイクロフォン２２３でではなく、マイクロフォン２１５又は２２５の近くで話しているように聞こえるようにする。これによって、遠端での参加者における混乱をもたらし得る。リアルタイム・ビデオ画像に示す相対位置は、音による相対位置に一致するものでない。

本発明の一実施例によれば、そのようなオーディオ画像の歪みがオーディオ・パニングによって削減されるか除去される。「パニング」は、２チャンネルのオーディオ・システムを前提とすれば、信号を取り込んで、その一部分を左チャンネルに分配し、その残りを右チャンネルに分配するということを意味する。なお図２を参照すれば、左オーディオ・チャンネルにマイクロフォン２２３信号を専ら用い、右オーディオ・チャンネルにマイクロフォン２１６信号を専ら用いるかわりに、これらの信号をあるかたちで合成したものがチャンネル毎に用いられる。マイクロフォン２２３からの信号の一部分がマイクロフォン２１６からの信号の一部分とミキシングされて右のオーディオ・チャンネル信号を形成する。このようにして、ＳＮＲを大いに失うことなく右のオーディオ・チャンネルの信号がより強いものとなる。同様に、マイクロフォン２２３からの信号は、左のオーディオ・チャンネルにおける信号が強すぎないように、左オーディオ・チャンネル信号に用いられる前に多少減衰される。

ミキシングの量とその割合はマイクロフォンの相対位置に応じて変わってくる。図２に示す例では、マイクロフォン２２３は会議室の中心、すなわちカメラ視野の中心線からθ_Ｌ度離れている。よって、このマイクロフォンはカメラ視野の中心に対してθ_Ｌ度パニングされる。同様に、マイクロフォン２１６は、中心線からθ_Ｒ度離れている。このマイクロフォンがオーディオ・チャンネルに用いられる場合、θ_Ｒ度パニングされる。マイクロフォン信号を左オーディオ・チャンネルと右オーディオ・チャンネルとの両方にパニングすることによって、話者２３１のオーディオ画像が中心線からθ_Ｌ度離れているように再位置設定される。よって、話者２３１のオーディオ画像はビデオ・ディスプレイ上のビデオ画像に一致する。オーディオ・パニングは、音楽ミキシングにおいて周知であり、オーディオ画像を再位置設定するのに用いられる。マイクロフォンの位置が既知であるので、位置設定角θ_Ｒ又はθ_Ｌは既知である。マイクロフォン信号を調節させてそのようなオーディオ画像の再位置設定を達成する工程は周知である。このことは、本明細書及び特許請求の範囲ではより詳細に説明するものでない。

複数のマイクロフォン信号が単一のオーディオ・チャンネルに対してゲーティングされる場合、各マイクロフォン信号をパニングして上記のオーディオ画像歪みがないようにする場合がある。ゲーティングされたマイクロフォン信号の各々は減衰され、オーディオ・チャンネル間で配分される。その場合、各オーディオ・チャンネルにおいては、ゲーティングされた信号は全て、ミキシングされ、バランスがとられる。例えば、なお図２を参照すれば、話者２３３も話者２３１も話している場合、マイクロフォン２１１及び２２３が左チャンネルに選択される一方、右チャンネルにはマイクロフォン２１６を選択し得る。マイクロフォン２１１、２３３及び２１６からのマイクロフォン信号各々は、各マイクロフォンの位置によって左チャンネルと右チャンネルにパニングされる。

同様に、話者２３４及び２３３が同時に話している場合、マイクロフォン２１２及び２３３が、右チャンネルと左チャンネルとの各々に選択される。両方の信号を別のチャンネルにパニングして話者のオーディオ画像を適切に配置させることになる。

上記例では、２つのオーディオ・チャンネルが活用される。電話会議装置において帯域及び処理能力が十分ある場合、更に多くのオーディオ・チャンネルを設定し、遠端電話会議装置に送信し得る。複数のオーディオ・チャンネルはより現実的でかつ真に迫った音を再生することになる。例えば、５チャンネルのオーディオ・システムは非常に現実的な音響を備えることが可能である。

ステレオ・オーディオ・システムは、ビデオ会議がいくつかの会議場所を有する場合に特に有用である。図２に示す配置を参照すれば、ビデオ表示画面２０１はいくつかのウィンドウに分割する場合があり、その各々は各場所での参加者を示す。例えば、図６に示すように、第１の遠端場所は画面２０１上の左側のウィンドウ２４２上に示し、第２の遠端場所は画面２０１上の右側のウィンドウ２４３上に示す。近端場所は、画面２０１の最下部の小挿入部２４４として示し得る。会議に関する現在の状態の情報を表示する更に２つのウィンドウ２４５及び２４６が画面２０１の最下部にある。各遠端場所から受信される２つのオーディオ・チャンネルは拡声器２０２及び２０４によって再生される。第１の遠端場所からのオーディオ信号はわずかに左にパニングされる場合がある一方、第２の遠端場所から受信されるオーディオ信号はわずかに右にパニングされる場合がある。このようにして、遠端場所毎のオーディオ画像は、各場所内の個々の話者が隔てられることに加え、お互いに隔てられる。各話者のオーディオ画像は画面２０１上に示す自らのビデオ画像に一致する。遠端での各話者からの音声は、空間的に異なるので、別の話者の音声とミキシングされる場合よりもずっとよく分かる。

上記電話会議装置における音響信号を更に精緻化するよう、マイクロフォン信号は、ステレオ・エコー除去、ステレオＡＧＣ、ストレオ雑音抑制やその他の信号などの追加の音響信号処理を経る場合がある。これらの追加の音響信号処理はマイクロフォン信号の先行処理によって選択し得る。例えば、雑音抑制アルゴリズムは、各マイクロフォンに特有な雑音スペクトル形状を有することになる。マイクロフォン毎の雑音スペクトル形状は、音響信号プロセッサによってアクセス可能なメモリ・モジュールに記憶される。したがって、どのマイクロフォンが選択されるかに基づいて、音響プロセッサは雑音スペクトル形状を用いてその特定のマイクロフォンに対する雑音を削減し得る。ステレオＡＧＣは、マイクロフォン信号調停器に送られる前にマイクロフォン信号を再コンディショニングするよう起動される場合がある。ステレオＡＧＣはマイクロフォン上の利得を調節して話者の音声の変動する音量を補償し得る。音量の高い話者の場合、信号のピークが切断されることのないように利得をより低く調節し得る。音量の低い話者の場合、信号強度が強度閾値に達し、信号を調停器によって選択可能であるように利得をより高く調節し得る。信号強度が十分でない場合、音量の低い話者の音声を、それが背景雑音であるかのように、調停器によって廃棄し得る。

同様に、マイクロフォン・プロファイルをマイクロフォン毎に記憶させ得る。このプロファイルは、特定のマイクロフォンに必要な処理のみが用いられるように更なる信号処理中に用いる場合があり、不必要な処理や有用でない処理をしなくてよいようにしている。マイクロフォン毎のマイクロフォン・プロファイルは、その位置や関連するパニング因子を含み得る。その位置や関連するパニング因子はパニング処理中に用いられて、信号を、２つ以上のオーディオ・チャンネルが用いられる場合、全てのオーディオ・チャンネルにパニングする。プロファイルは、雑音抑制に用いられる雑音スペクトルを含み得る。このプロファイルは更に、ＡＧＣに用いられる周波数応答スペクトルを含み得る。

上記の２つのビデオ会議装置は、お互いに接続される場合、図７に示すような、より好適なビデオ会議システムを形成する。図７に示す会議システムは２つの場所を有し、その各々は図２に示すビデオ会議装置を有する。近端中央モジュール４４０は、各装置上のネットワーク・インタフェース（図示せず）を介して遠端中央モジュール７４０に接続される。中央モジュール４４０及び７４０は、図７に示す構成部分に結合される。単純にするよう、構成部分と中央モジュールとの間の接続は示していない。このビデオ会議システムは、参加者全てが同じ会議室において会議を行っているように、参加者全てに対してずっと好適な会議の体験をもたらすことが可能である。

本発明の実施例は、マルチチャンネル・オーディオ処理を用いて電話会議の各場所での、ステレオ音又はマルチチャンネル・サラウンド音などのより現実的な、真に迫る音の再生を備える。本発明の実施例は、電話会議中に種々の話者の種々の場所を区別する人間の両耳聴の空間的区別を利用し、音声の明瞭度を向上させる。本発明の実施例は、会議システム内の多くのマイクロフォンから最善のオーディオ信号を選択するうえでの種々の方法を用いる。本発明の実施例は電話会議の品質を大いに向上させる。

本発明の例示的実施例を示し、説明したが、種々の変更をその実施例において本発明の趣旨及び範囲から逸脱することなく行うことが可能であることが分かるものである。

会議室におけるビデオ会議装置の通常の配置を示す図である。複数のマイクロフォン及び拡声器を含み、マイクロフォン・パニング手法を用いたステレオ・オーディオ・システムを備えている大会議室を示す図である。マイクロフォン信号の調停と、２つのオーディオ・チャンネルを備えている会議室におけるオーディオ再生とを示す流れ図である。マイクロフォン信号の部分帯域の調停と、左オーディオ・チャンネルについての再ミキシング及びオーディオ再生とを示す流れ図である。複数のオーディオ・チャンネルを備えているビデオ会議装置を示す構成図である。２つの遠端場所を備えているビデオ会議装置のビデオ画面を示す図である。１つの近端場所と１つの遠端場所とを備えているビデオ会議システムを示す図である。

符号の説明

１０１ビデオ表示画面
１０２拡声器
１０４拡声器
１０５ビデオ・カメラ
１１０右マイクロフォン
１１１マイクロフォン
１１２マイクロフォン
１１３マイクロフォン
１１４マイクロフォン
１１５マイクロフォン
１１６マイクロフォン
１１９会議テーブル
１２０左マイクロフォン
１２１会議参加者
１２２会議参加者
１２３会議参加者
１４１調停器
１４２調停器
１５２ミキサ
１５３ネットワーク
１５４遠端プロセッサ
１６１プロセッサ
１６２プロセッサ
１７１拡声器
１７２拡声器
１８１周波数分割器
１８２調停器
１８３周波数分割器
１８４ミキサ
２０１ビデオ表示画面
２０２拡声器
２０４拡声器
２１１マイクロフォン
２１２マイクロフォン
２１３マイクロフォン
２１４マイクロフォン
２１５マイクロフォン
２１６マイクロフォン
２１７マイクロフォン
２１８マイクロフォン
２２１マイクロフォン
２２２マイクロフォン
２２３マイクロフォン
２２４マイクロフォン
２２５マイクロフォン
２２６マイクロフォン
２３１会議参加者
２３３会議参加者
２３４会議参加者
２４１ビデオ表示画面
２４２ウィンドウ
２４３ウィンドウ
２４４挿入部
２４５ウィンドウ
２４６ウィンドウ
４１０表示画面
４１２カメラ
４２２拡声器
４２４拡声器
４３２マイクロフォン
４３４マイクロフォン
４４０中央モジュール
４４１ビデオ入力インタフェース
４４２ビデオ出力インタフェース
４４３インタフェース
４４４インタフェース
４４５オーディオ入力インタフェース
４４６オーディオ出力インタフェース
４５０プロセッサ装置
４５１中間部
４５２中間部
４５３中間部
４５４中間部
４５６ＲＡＭ
４５７フラッシュ・メモリ
５００ビデオ会議装置
７０１ビデオ表示画面
７０２拡声器
７０４拡声器
７１１マイクロフォン
７１２マイクロフォン
７１４マイクロフォン
７１５マイクロフォン
７１６マイクロフォン
７１７マイクロフォン
７１８マイクロフォン
７１９マイクロフォン
７２１マイクロフォン
７２２マイクロフォン
７２３マイクロフォン
７２４マイクロフォン
７２５マイクロフォン
７２６マイクロフォン
７３２会議参加者
７３３会議参加者
７３４会議参加者
７４０中央モジュール

Claims

電話会議におけるマルチチャンネル・オーディオ信号を処理する方法であって：
複数のチャンネルについて、１つの時間フレームについてマイクロフォン信号を蓄積する工程と、
該時間フレームにおける各マイクロフォン信号を複数の周波数帯域制限部分帯域に分割する工程と、
部分帯域毎に、全てのマイクロフォンからの部分帯域信号を比較する工程と、
最大の信号エネルギを有するマイクロフォンに一票を与える工程と、
マイクロフォン毎に全ての部分帯域について投票を全て加算する工程と、
投票数が該時間フレームに対する投票閾値を超えるマイクロフォン信号を選択する工程と、
チャンネル毎にオーディオ信号を、該１つ又は複数の選択されるマイクロフォン信号から形成する工程と、
チャンネル毎の該オーディオ信号を遠端に送る工程とを備えることを特徴とする方法。
請求項１記載の方法であって：
投票数が該時間フレームに対する投票閾値を超えるマイクロフォンが２つ以上選択された場合、投票数が最大の１つのマイクロフォン信号が保持され、選択された他のマイクロフォン信号が廃棄されることを特徴とする方法。
請求項１記載の方法であって：
該時間フレームに対する該閾値を超える投票を有するマイクロフォンが何らない場合、直前時間フレームについて選択されたマイクロフォンが選択されることを特徴とする方法。
請求項１記載の方法であって：
該時間フレームにおける各マイクロフォン信号を複数の周波数帯域制限部分帯域に分割する工程が、各マイクロフォン信号を少なくとも５０の部分帯域に分割するものであり、該投票閾値が１６であることを特徴とする方法。
請求項１記載の方法であって、
上記１つのオーディオ・チャンネルについて選択されたマイクロフォン信号を選択されたマイクロフォンの位置に基づいて他のオーディオ・チャンネルにパニングする工程を、上記形成する工程の後に、かつ、上記送る工程の前に、更に備えることを特徴とする方法。
請求項１記載の方法であって、
会議参加者の画像をビデオ・ディスプレイ上に示す工程と、
選択されたマイクロフォン信号のレベルを、話者の音像位置と、該ビデオ・ディスプレイ上に示される該話者のビデオ画像位置とを一致させるよう調節する工程とを、上記形成する工程の後に、かつ、上記送る工程の前に、更に備えることを特徴とする方法。
請求項１記載の方法であって、自動利得制御、又は雑音抑制を行う工程を、上記形成する工程の後に、かつ、上記送る工程の前に、更に備えることを特徴とする方法。
請求項１記載の方法であって、選択されたマイクロフォンのプロファイルを取り出す工程及び、該選択されたマイクロフォンの該取り出されたプロファイルによって該オーディオ信号を処理する工程を、上記形成する工程の後に、かつ、上記送る工程の前に、更に備えることを特徴とする方法。