JP5177820B2 - 強調された主観的ステレオオーディオのためのシステムと方法 - Google Patents

Description

本発明は改良された音響特性を有するオーディオ通信のシステムと方法に関し、特に改良されたステレオオーディオエコーキャンセレーション性能を有する会議システムに関する。

ラウドスピーカーを使う従来の会議システムセットアップでは、別々のサイトに２つ以上の通信ユニットが置かれる。会議システムを使って１つのサイトからもう１つサイトへ送信される信号は幾つかの遅延を経るが、これらの遅延は送信遅延と処理遅延を含む。ビデオ会議システム用では、ビデオ信号についての該処理遅延はオーディオ信号についての処理遅延より可成り大きい。該ビデオ及びオーディオ信号が同時に同相で提供されねばならないので、より長いビデオ信号遅延を補償するために該送信及び受信信号路内で該オーディオ信号にリップシンク遅延が意図的に導入される。

従来の会議システムでは、１つ以上のマイクロホンがサイトＡで音波を取り込み、該音波を第１オーディオ信号に変換する。該第１オーディオ信号はサイトＢへ送信されるが、そこではテレビジョンセット又は増幅器及びラウドスピーカーがサイトＡで発生された該第１オーディオ信号を該音波に変換することにより元の音波を再生する。サイトＢで該作られた音波は、サイトＢでそのオーディオ取り込みシステムにより部分的に取り込まれ、第２オーディオ信号に変換され、サイトＡの該システムへ送信し返される。１つのサイトで取り込まれ、もう１つのサイトへ送信され、そして次いでその最初のサイトへ送信し返された音波を持つこの問題は音響エコーと呼ばれる。その最も厳しい現れでは、そのループ利得が１を超えると、該音響エコーはフイードバック音を引き起こす。もし該システムセットアップ内に、特に上記で述べたリップシンク遅延のために、ビデオ会議システムで普通にある様に、遅延があれば、該音響エコーは又サイトＡ及びサイトＢの両者での参加者に自分自身を聞こえさせ、該会議システム上での会話を困難にさせる。該音響エコー問題は、下記で説明される、音響エコーキャンセラーを使って通常解決される。

図１はビデオ会議システムの全体図である。このシステムは２つのサイト、ＡとＢに分布する。該会議システムセットアップに関しては、ビデオ会議モジュールが２つより多いサイトに分布し得て、又該システムセットアップは１つのサイトだけがラウドスピーカーを有する時機能する。該ビデオモジュールはサイトＡには、ビデオ画像を取り込むビデオ取り込みシステム１１４１と、該ビデオ画像を符号化するビデオサブシステム１１５０と、を有する。平行して、音波はオーディオ取り込みシステム１１１１により取り込まれ、オーディオサブシステム１１３０は該音波を音響信号に符号化する。該ビデオ符号化システム内の処理遅延のために、該制御システム１１６０は、該ビデオ及びオーディオ信号間の同期を達成するよう、リップシンク遅延１１６３により、該オーディオ信号に追加の遅延を導入する。該ビデオ及びオーディオ信号はマルチプレクサー１１６１で一緒に混合され、最終信号、オーディオ−ビデオ信号は該送信チャンネル１３００上をサイトＢへ送られる。追加のリップシンク遅延１２６２がサイトＢで挿入される。更に、該オーディオ提供デバイス１２２１により提供された該オーディオ信号はサイトＢで音波として具体化される。サイトＢで提供された音波の１部は、直接音波としてか、又は反射音波としてか何れかでオーディオ取り込みデバイス１２１１へ到着する。サイトＢで該音を取り込み、この音を組み合わされた遅延と一緒にサイトＡへ送信し返すことは該エコーを形成する。説明された全遅延は合計されて可成りになり、従って、該ビデオ会議システムでのエコーキャンセラー用の品質要求は特に高度である。

図２は、図１のビデオ会議システム内のオーディオシステムの部分であってもよい音響エコーキャンセラーサブシステムの例を示す。該参加サイトの少なくとも１つは、該通信システム内のエコーを減らすために該音響エコーキャンセラーサブシステムを有する。該音響エコーキャンセラーサブシステム２１００はデジタル音響エコーキャンセラーのフルバンドモデルである。フルバンドモデルは該オーディオ信号の完全なオーディオバンド（例えば、２０ｋＨｚまで；ビデオ会議用では該バンドは典型的には７ｋＨｚまで、オーディオ会議では該バンドは３．４ｋＨｚまで）を直接処理する。

既に述べた様に、音響エコーの補償は音響エコーキャンセラーにより普通達成される。該音響エコーキャンセラーはスタンドアローンデバイスであるか、又は通信システムの場合の中の集積化部品である。該音響エコーキャンセラーは、例えば線形／非線形数学モデルを使って、サイトＡからサイトＢへ送信された音響信号を変換し、次いでサイトＢからサイトＡへ送信される該音響信号から該数学的に変調された音響信号を引き算する。より詳細には、例えばサイトＢの該音響エコーキャンセラーサブシステム２１００を参照すると、該音響エコーキャンセラーは該第１音響信号２１３１をサイトＡから該音響システム２１２１の数学的モデラーを通過させ、該エコー信号の見積もり２１３３を計算し、該見積もられたエコー信号をサイトＢで取り込まれた第２オーディオ信号２１３２から引き算し、そして該見積もられたエコーだけ小さい、第２オーディオ信号２１３５をサイトＡへ送信し返す。図２の該エコーキャンセラーサブシステムは又、該音が該オーディオ取り込みデバイスにより取り込まれた位置で、該数学的モデルを環境の変化に従って更新又は適合させるために、見積もり誤差、すなわち、該見積もられたエコーと現実のエコーの間の差、を含む。

大抵のエコーキャンセラーで使われる音響システムのモデル２１２１は、直接の音と室内の反射の大部分との伝達関数を近似する、エフアイアール（ＦＩＲ）｛有限インパルス応答｝フイルターである。該音響システム２１２１のフルバンドモデルは比較的複雑で、処理パワーを要し、該周波数バンドを幾つかのサブバンドへ分ける、フルバンドへの代替え、が普通好まれる。

エコーキャンセラー内のコア部品は既に述べた音響モデルである（最も普通にはエフアイアールフイルターにより実施される）。該音響モデルはラウドスピーカーからマイクロホンへのファーエンド信号の伝達関数を模擬するよう企てる。この適合モデルは勾配探索アルゴリズムにより更新される。該アルゴリズムは、該エコー見積もりが引き算された後の該信号の冪である誤差関数を最小化しようとする。モノエコーキャンセラー用では、この解は作動し、それは均一で唯一の解である。

しかしながら、高品質通信では、高品質多数チャンネルオーディオ、例えば、ステレオオーディオを送信し、提供することが屡々望まれる。ステレオオーディオは或る音組成からの異なる空間のオーディオを表す２つの分離したチャンネルからのオーディオ信号を含む。該チャンネルを各それぞれのラウドスピーカーに負荷するともっと忠実なオーディオ再生を創るが、それはリスナーが、該音組成が創られたオーディオ源間の空間的差を感知するからである。

１つのラウドスピーカー上で演じられる信号はもう１つのラウドスピーカー（複数を含む）上で提供される信号とは異なる。かくして、ステレオ（又は多数チャンネル）エコーキャンセラーについては、各それぞれのスピーカーからマイクロホンへの伝達関数は補償される必要がある。これはモノオーディオエコーキャンセレーションと比較して幾分異なる状況であり、それは２つの異なるが相関付けられた補償すべき信号があるからである。

加えて、該異なるチャンネル内の相関は重要になる傾向がある。これは普通の勾配探索
アルゴリズムを悩ませる。数学的に表すと、該相関は誤差関数へ幾つかの擬似最小解を導入する。これは不在であるが、非特許文献１で説明される。基本的問題は、多数チャンネルが線形的に関係付けられた信号を運ぶ時、適合アルゴリズムにより解かれた誤差関数に対応する正規関数の解は特異であることである。これは、その方程式に唯一な解は無く、無限の数の解があることを意味し、それは真の１つを除く全ては該送信室のインパルス応答に依ることが示され得る（この背景では、該送信室は、例えば、記録される又はプログラムされた材料がファーエンド側でプレーバックされるので、該送信室も又合成された送信室を含んでもよい）。該勾配探索アルゴリズムは次いで最小値にトラップされてもよいが、該最小値は必ずしも真の最小解ではない。

このステレオエコーキャンセラー適合問題を表すもう１つの普通の方法は、室の応答の変化と該ステレオ画像内のオーディオの“動き”の間を区別することが難しいことである。例えば、該音響モデルはもし１人の話し手が該ファーエンド側の異なる場所で話しをスタートするなら再収斂せねばならない。この様な変化を充分速く追跡出来る適合アルゴリズムは無く、多数チャンネルの場合のモノエコーキャンセラーは満足すべき性能に帰着しない。

該唯一性問題を解く１つの共通のアプローチは該ラウドスピーカーオーディオ信号路内に非相関化デバイスを付加することである。これは、該唯一性問題を解くが、該オーディオの望ましくない歪みを導入する。

もう１つのアプローチはハイブリッドモノ／ステレオエコーキャンセラーを用いて該エコーキャンセラーを解くことであり、それは、例えステレオ信号又は材料も大部分の時間では２つの等しい信号を有し、すなわちモノであると言う事実に基づく。

この問題にアプローチするハイブリッのモノ／ステレオエコーキャンセラーの変形は図３で示される。該システムは左（Ｌ）及び右（Ｒ）の合計、すなわちモノ応答、を作る。更に、該システムはステレオ検出器を備え、すなわち、ステレオが検出された時、該音響信号モデルに収斂を中断させる。該エコーのステレオ寄与はその時該モデルを擬似解へ収斂させず、例えステレオが存在しても、モノエコーの満足すべき抑制が保持される。大抵の音響エコーキャンセラーにある非線形処理ユニットはそのステレオエコー信号のみなら残留モノエコー信号も除去／減衰させるよう修正される。上記説明のハイブリッドステレオ／モノエコーキャンセラーを用いてステレオエコー状況を解く時、その性能は、ファーエンド信号の客観的ステレオレベルを減ずると、増大する。しかしながら、ステレオの主観的感知性を減ずることは望ましくない。もしキャンセラーがモノ補償器に完全に基づくなら、ステレオ画像エコーは残留エコーと考えられ、該非線形処理ユニットにより扱われねばならない。

従って、本発明の目的は、ハイブリッドモノ／ステレオエコーキャンセリングシステムのより良い効果を達成するために主観的感知性を減じることなく、客観的感知ステレオを減ずることである。

Ｓｔｅｖｅｎ Ｌ．Ｇａｔ ａｎｄ Ｊａｃｏｂ Ｂｅｎｅｓｔｙ、Ａｃｏｕｓｔｉｃ ｓｉｇｎａｌ ｐｒｏｃｅｓｓｉｎｇ ｆｏｒ ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎ、Ｂｏｓｔｏｎ：Ｋｌｕｗａｒ Ａｃａｄｅｍｉｃ Ｐｕｂｌｉｓｈｅｒｓ、２０００

特に、本発明は、左（エル）及び右（アール）オーディオ信号を受信するファーエンドオーディオプレゼンターユニットから発するエコー寄与に加えて、ニアエンドオーディオを含むエコー付加入力信号からのエコー減衰された出力信号を提供するよう調整されたオーディオエコーキャンセラーを開示するが、該ファーエンドオーディオプレゼンターユニットは、エル及びアールを加算するよう構成され、非遅延モノ信号を創る第１加算器と、予め規定された時間で前記非遅延モノ信号を遅延させるよう構成され、中央ラウドスピーカーに負荷される遅延モノ信号を創る遅延ユニットと、そして第１及び第２のエル及びアールのディデュースされた信号がそれぞれ負荷される左及び右スピーカーと、を有する。又本発明は該システムに対応する方法を提供する。

本発明をもっと容易に理解可能にするため、下記議論は付随する図面を参照する。
従来の会議システムセットアップの詳細ブロック線図である。 音響エコーキャンセラーサブシステムのより接近した図である。 ステレオオーディオエコーキャンセラーシステムの例のブロック線図である。 本発明の第１実施例のファーエンドオーディオプレゼンターユニットである。 本発明の第２実施例のファーエンドオーディオプレゼンターユニットである。

本発明を実行する最良モード
下記では、本発明は、好ましい実施例を説明し、そして付随図面を参照することにより論じられる。しかしながら、例え特定の実施例がビデオ会議を関連して説明されても、当業者は同封の独立請求項内で規定された本発明の範囲内で他の応用と変型を実現するであろう。

本発明は音響学の技術で良く知られるいわゆるハース効果に基づく。該ハース効果は又先行効果としても知られ、両耳で聞かれるが、異なる時刻に到着する音源の方向を正しく識別する人間の心理音響学的現象を説明する。頭の形状により（離れ隔てられ、バリアにより分離された２つの耳）何等かの源からの直接音は最初該音源に最も近い耳に、次いで最も遠く離れた耳に入る。該ハース効果は、もし続く到着がオーディオレベルによる２５−３５ミリ秒より短く遅延するなら、如何に人間が該最初に到着する音に基づいて音源の場所を突き止めるかを説明する。もし後れた到着がこれより長いなら、２つの個別音が聞かれる。該ハース効果は例え第２到着が第１より声高でも成立する（例え１０ｄＢ程の大きさのレベルでも）。

本発明は客観的ステレオイメージと比較してもステレオ音のよりよい主観的印象を与える音ピクチャーをシミュレートするためにこの効果を使う。それはステレオの主観的感知性と妥協することなく、組み合わせエコーキャンセラー用に最適の方法でステレオイメージを与えるシステムと方法を提供する。

図４は本発明の１実施例のオーディオ提供システムを示す。左及び右信号は合計され１／２を掛け算され（正しいレベルを得るため）、モノ信号を創る。該モノ信号は遅延させられ、その後中央スピーカー上で演奏される。該モノ信号はステレオ強調利得ｇ_ｅを掛け算され、それぞれ該右及び左信号から引き算される。該引き算された信号は、該ステレオイメージ利得ｇ_ｉで掛け算されることにより減衰させられ、その後右及び左（衛星）スピーカー上で演奏される。

該利得ｇ_ｉ及び該遅延の選択はその結果に重要である。最良のエコーキャンセラー用に、ｇ_ｉは出来るだけ低く選択されるべきである。経験は０のステレオ強調利得ｇ_ｅ、５−１０ｍｓの範囲内の時間遅延そして−１２ｄＢのｇ_ｉがステレオ感知性を保持することを示した。

ステレオ強調利得ｇ_ｅは、該衛星スピーカーからモノ／合計信号の部分を除去することにより、該ステレオイメージを拡大する。この技術は、僅かに異なって提供されるが、３次元オーディオ提供技術から知られる。左及び右衛星スピーカー上の修正された信号は、それぞれ
Ｌ’＝（Ｌ＊（１−ｇ_ｅ／２）−Ｒ＊（ｇ_ｅ／２））＊ｇ_ｉ
Ｒ’＝（Ｒ＊（１−ｇ_ｅ／２）−Ｌ＊（ｇ_ｅ／２））＊ｇ_ｉ

該強調利得は０から１の範囲内で選択され得る。０は強調無しであり、元の左及び右信号がそれぞれ左及び右衛星スピーカー上で未修整で演奏される。１はフル強調で、モノ信号は該衛星スピーカー上で演奏されるオーディオは無いことを意味することに帰着する。

上記表現から見られ得る様に、該２つの利得ｇ_ｅとｇ_ｉは独立ではない。もし強調利得が０より上に増加するなら、衛星スピーカー上で同じ客観的オーディオレベルを保持するためにイメージ利得は増加される必要がある。しかしながら、該ステレオイメージが拡大されると、これはステレオの主観的感知性を保持するためには必ずしも真ではない。かくして、該客観的ステレオイメージレベルは該強調利得を使って更に減じられることが出来る。

図５は該システムの一般化バージョンである。

該左及び右チャンネルは合計され、フイルターＨ_ｍでフイルターされる。図４と比較して、このフイルターは１／２による掛け算及び遅延の両者を組み入れる。

該左及び右チャンネルは両者共直接フイルターＨ_ｄでフイルターされ、クロスオーバーフイルターＨ_ｃでフイルターされた、相対する信号と合計される。図４と比較すると、Ｈ_ｄ及びＨ_ｃの組み合わせは強調利得及びイメージ利得を構成する。

もっと一般的フイルターを使うことにより、更に進んだ改善／ステレオエコー減少を得ることが出来る。該強調利得、該イメージ利得そして該遅延は種々の周波数用に個別に最適化されることが可能である。加えて、他の周波数バンドの該ステレオ情報を保持しながら、人間のステレオ感知性に少ししか寄与しない周波数バンドのステレオ情報を全て慎重に除去することが可能である。

本発明はステレオの主観的感知性を保持しながら、全体の客観的ステレオイメージレベルを減じる。従ってそれは、ステレオエコー制御用にハイブリッドモノ／ステレオエコーキャンセラーアルゴリズムを使うことにより導入される欠点を減じる。ステレオイメージエコーが残留エコーと比肩出来るレベルまで客観的に下げられるので、殆ど全ての高品質音響エコーキャンセラーに存在するありふれた非線形処理アルゴリズムを使ってステレオイメージエコーは残留エコーとして取り扱われ得る。この背景でのありふれた非線形処理は、１つの線形適応フイルターを使うエコーキャンセリングを意味する。

本発明は更に該衛星スピーカー上の必要なオーディオレベルを減じ、従ってより小さく、より廉価な、該システムに適合しやすいスピーカーが使われ得る。

Claims (10)

1. 左（エル）及び右（アール）オーディオ信号を受信するファーエンドオーディオプレゼンターユニットから発するエコー寄与に加えてニアエンドオーディオを含むエコー付加された入力信号からエコー減衰した出力信号を提供するオーディオエコーキャンセラーシステムであって、ファーエンドオーディオプレゼンターユニットが、
   非遅延モノ信号を創る左オーディオ信号及び右オーディオ信号を加算するように形成された加算器と、
   第１利得ｇ_iを有し、１つ以上の左ラウドスピーカーに、聞き取り得る第１出力信号を創るように形成された第１出力回路と、
   前記非遅延モノ信号に基づいて１つ以上の中央ラウドスピーカーに聞き取り得る第２出力信号を創るように形成された第２出力回路と、
   前記第１利得ｇ_iを有し、１つ以上の右ラウドスピーカーに、聞き取り得る第３出力信号を創るように形成された第３出力回路と、
   前記左オーディオ信号からステレオ増進利得ｇ _e を掛け算した前記非遅延モノ信号を引き算するように形成され、出力が前記第１出力回路に供給される第１減衰器と、
   前記右オーディオ信号からステレオ増進利得ｇ _e を掛け算した前記非遅延モノ信号を引き算するように形成され、出力が前記第３出力回路に供給される第２減衰器と、
   を具備するオーディオエコーキャンセラーシステムにおいて、
   前記第１出力回路は、ステレオ増進利得ｇ_eが０と等しければ前記左オーディオ信号に基づき、前記ステレオ増進利得ｇ_eが０と等しくなければ、前記左オーディオ信号及び前記右オーディオ信号に基づいて前記第１出力信号を創るように形成され、
   前記第２出力回路は、５〜１０ｍｓの範囲内の予定された時間遅れで、前記非遅延モノ信号を遅延するように形成された遅延ユニットであり、
   前記第３出力回路は、前記ステレオ増進利得ｇ_eが０と等しければ前記右オーディオ信号に基づいて、前記ステレオ増進利得ｇ_eが０と等しくなければ前記左オーディオ信号及び前記右オーディオ信号に基づいて前記第３出力信号を創るように形成され、及び
   前記加算器は、前記左オーディオ信号と前記右オーディオ信号の合計に１／２を掛け算して形成される減衰器を有する、
   ことを特徴とするオーディオエコーキャンセラーシステム。
2. 前記ステレオ増進利得ｇ_eが０乃至１の範囲内にあり、ｇ_e＝０が何の増進も示さず、ｇ_e＝１が全増進を示すことを特徴とする請求項１に記載のオーディオエコーキャンセラーシステム。
3. 前記ステレオ増進利得ｇ_eが、１に等しいことを特徴とする請求項２に記載のオーディオエコーキャンセラーシステム。
4. 前記第１利得ｇ_iが、ステレオイメージ利得であることを特徴とする請求項１乃至３のいずれか１つに記載のオーディオエコーキャンセラーシステム。
5. 前記第１利得ｇ_iが、−１２ｄＢであることを特徴とする請求項１乃至４のいずれか１つに記載のオーディオエコーキャンセラーシステム。
6. 左（エル）及び右（アール）オーディオ信号を受信するファーエンドオーディオプレゼンターユニットから発するエコー寄与に加えてニアエンドオーディオを含むエコー付加された入力信号からエコー減衰した出力信号を提供するオーディオエコーキャンセラーシステムの方法であって、
   非遅延モノ信号を創るためにエルとアールを加算する過程と、
   第１利得ｇ_iを掛け算することにより、１つ以上の左ラウドスピーカーに、聞き取り得る第１出力信号を創る過程と、
   前記非遅延モノ信号に基づいて１つ以上の中央ラウドスピーカーに聞き取り得る第２出力信号を創る過程と、
   前記第１利得ｇ_iを掛け算することにより、１つ以上の右ラウドスピーカーに、聞き取り得る第３出力信号を創る過程と、
   前記左オーディオ信号から、ステレオ増進利得ｇ _e を掛け算した前記非遅延モノ信号を引き算して前記第１出力信号を創るための入力としての差を提供する過程と、
   前記右オーディオ信号から、ステレオ増進利得ｇ _e を掛け算した前記非遅延モノ信号を引き算して前記第３出力信号を創るための入力としての差を提供する過程と、を具備するオーディオエコーキャンセラーシステムの方法において、
   ステレオ増進利得ｇ_eが０と等しければ前記左オーディオ信号に基づき、前記ステレオ増進利得ｇ_eが０と等しくなければ、前記左オーディオ信号及び前記右オーディオ信号に基づいて前記第１出力信号を創る過程と、
   ５〜１０ｍｓの範囲内の予定された時間遅れで、前記非遅延モノ信号を遅延することにより前記第２出力信号を創る過程と、
   前記ステレオ増進利得ｇ_eが０と等しければ前記右オーディオ信号に基づいて、前記ステレオ増進利得ｇ_eが０と等しくなければ前記左オーディオ信号及び前記右オーディオ信号に基づいて前記第３出力信号を創る過程と、
   を具備し、及び
   前記非遅延モノ信号が、前記左オーディオ信号と右オーディオ信号の合計に１／２を掛けて得られることを特徴とする方法。
7. 前記ステレオ増進利得ｇ_eが０乃至１の範囲内にあり、ｇ_e＝０が何の増進も示さず、ｇ_e＝１が全増進を示すことを特徴とする請求項６に記載の方法。
8. 前記ステレオ増進利得ｇ_eが、１に等しいことを特徴とする請求項７に記載の方法。
9. 前記第１利得ｇ_iが、ステレオイメージ利得であることを特徴とする請求項７乃至８のいずれか１つに記載の方法。
10. 前記第１利得ｇ_iが、−１２ｄＢであることを特徴とする請求項６乃至９のいずれか１つに記載の方法。

Images