JP5637661B2 - 時変性の指向特性を有する音源を録音および再生する方法 - Google Patents

Description

本発明は、録音空間内に配置され時変性の指向特性を有する音源の音響信号を捕捉し、再生空間内で該音響信号を再生する方法と、該方法を実施するためのシステムとに関する。

空間内に発生する音響印象を捕捉して再生するのを試みるための種々の手法が公知である。最も知られている手法は、音源の位置を録音時に検出して再生時にシミュレートするステレオ方式と、該ステレオ方式の発展形態である。しかし再生時には、録音される音源の位置が正確に再現される領域はごく制限されてしまう。それに対して、録音される音波面を合成する別の再生方式、たとえば波面合成法では、音源の場所を聴取位置に依存せずに正確に再現することができる。

これらの手法のうちで、音源の放射方向に関する時変性の情報を捕捉して再生する手法はない。時変性の指向特性を有する音源が録音される場合、情報は失われてしまう。たとえば、参加者が異なる参加者の方を向いて所期のように話しかけるビデオ会議の伝送を行うためには、公知の手法ではこの方向情報は検出されず、捕捉されず、再生されない。

本発明の基礎となる課題は、音を捕捉して伝送および再生する次のような方法、すなわち、情報を搬送する音源の特性を感覚に近似的に再生し、とりわけリアルタイムで伝送できる方法を提供することである。

前記課題は、録音空間内に配置され時変性の指向特性を有する音源の音響信号を音捕捉手段によって録音し、音響再生手段によって該音響信号を再生空間内で再生するための次のような方法、すなわち、該音源から送出された音響信号の主放射方向を時間に依存して検出し、検出された主放射方向に依存して再生を行うことを特徴とする方法によって解決される。

時変性の指向特性を有する音源は、ここではとりわけ、異なる参加者の方を向いて異なる方向で話すビデオ会議の参加者とすることができる。送出される音響信号が捕捉されると同時に、該音響信号の主放射方向が検出される。

音響信号の録音は従来のようにマイクロフォンによって行われ、１つまたは複数のマイクロフォンアレイによっても行うことができる。主放射方向を検出するための手段は任意の種類とすることができる。とりわけ音響的手段が使用される。こうするためには、異なる方向で信号のレベル差および／または位相差を検出する複数のマイクロフォンおよび／または１つまたは複数のマイクロフォンアレイを使用することができ、このレベル差および／または位相差から、主放射方向を適切な信号処理によって求めることができる。音響的手段の位置および／または指向特性および／または音源の位置が既知である場合、これらの情報を主放射方向の検出時に、信号処理によって適切に考慮することができる。また、周辺のジオメトリに関する知識と、これに関連する音響伝搬の特性も、たとえば反射特性も、主放射方向の検出時に使用することができる。特に有利には、音源の測定された指向特性または近似された指向特性またはシミュレートされた指向特性に関する情報も、主放射方向の検出で使用することができる。このことはとりわけ、主放射方向を大雑把に検出する場合に当てはまり、このことは多くの用途で十分である。

また主放射方向を検出するために、たとえばパターン識別によるビデオ検出等の光学的手段を使用することもできる。ビデオ会議の参加者の場合には、発話方向が視線方向に相応することを前提とすることができる。このようにしてパターン識別により、どの方向を参加者が見ているかを検出し、この方向から発話方向を検出することができる。とりわけ、音響的手段と光学的手段との組み合わせを、適切な信号処理とともに使用することもできる。場合によっては、音響信号を録音するための音響的手段を、主放射方向の検出にも同時に使用することができ、その逆も可能である。

しばしば、主放射方向を大雑把に検出するので十分であることが多い。重要な情報を伝えるためには、３段階または５段階に段階分けすることで完全に十分であることが多く、たとえば、真っ直ぐ、右および左に段階分けするか、または、真っ直ぐ、斜め右、右、斜め左および左に段階分けすることで完全に十分であることが多い。

主放射方向は有利には、情報を搬送する周波数領域内にある主放射方向とされる。こうするためには、主放射方向の検出に使用される周波数領域を制限することができ、たとえば周波数フィルタを使用して制限することができる。

音響信号の再生は、検出された主放射方向に依存して行うことができる。ここでは、原音源の指向性の放射をシミュレートすべきである。このことは、音響信号の実際の指向性放射によって行われるか、または、従来の意味では物理的に実際に指向性ではなく聴取者によって指向性再生として知覚されるシミュレートされた指向性の再生によって行われる。これらの適用可能な手法はとりわけ、指向特性を再構築する精度の点で異なる。実際には、再構築ないしはシミュレーションの感覚指向の自然さが決定的要因である。以下では、このような方法はすべて「指向性再生」という概念にまとめることとする。

本発明による方法では音響信号の再生は、音源に所属する第１の再生ユニットと、該第１の再生ユニットから離隔されて配置された第２の再生ユニットとによって行うことができる。ここでは、再生空間内の第１の再生ユニットの位置は、該再生空間内の音源の仮想的位置に相応することができる。１つないしは複数の第２の再生ユニットは、音響再生の方向情報を伝達するのに使用することができる。こうするために有利には、２つの第２の再生ユニットを使用し、これらのうち１つの再生ユニットを第１の音響再生ユニットの一方の側に配置し、他方の再生ユニットを他方の側に配置することができる。第１の音響再生ユニットの各側にそれぞれ１つの第２の再生ユニットを使用する代わりに、相互に離隔されたそれぞれ複数の第２の再生ユニットを配置することもでき、有利にはそれぞれ２つの第２の再生ユニットを配置することができる。

録音空間内で録音された音源の音響信号は、再生空間内で第１の再生ユニットによって、たとえばスピーカによって再生することができる。このスピーカは、再生空間内の音源の仮想的位置にあるように、該再生空間内に配置することができる。すなわち、音源をいわば再生空間内に持ってくる。また、第１の再生ユニットを複数のスピーカによって形成するか、またはスピーカの群によって形成するか、またはスピーカアレイによって形成することもできる。たとえば、第１の再生ユニットを波面合成によって、点音源として再生空間内の音源の仮想的位置に配置し、該音源を仮想的に再生空間内に持ってくることができる。このことはたとえば、すべての参加者が存在する実際の会議の印象を可能な限り実現しなければならないビデオ会議で有利である。その際には、音源は録音空間内の参加者である。再生は、録音空間内のこの参加者が再生空間内に仮想的に存在する該再生空間内の場所に配置された第１の再生ユニットを介して行われる。

放射方向に関する情報を伝達するために、再生を１つまたは複数の第２の再生ユニットによって、第１の再生ユニットに対して時間遅延τで、第１の再生ユニットに対して行うことができる。この時間遅延は、各第２の再生ユニットごとにそれぞれ異なることができる。１つまたは複数の離隔された音源からの音響信号の一種のエコーまたは反射が僅かな時間遅延で送出されることにより、人間の耳に対して、音源の放射方向に関する情報が伝達されることが判明している。このようなエコーないしは反射が別個の音波現象として処理されないためには、たとえばビデオ会議の場合に参加者が位置する参加者位置における時間遅延は２ｍｓ〜１００ｍｓの間でなければならない。したがって、１つまたは複数の第２の再生ユニットの時間遅延τは有利には次のように選択される。すなわち、再生空間の少なくとも部分領域内において音響信号間の実際の時間遅延が２ｍｓ〜１００ｍｓの間となり、有利には５ｍｓ〜８０ｍｓの間となり、とりわけ１０ｍｓ〜４０ｍｓの間となるように選択される。

（複数の）第２の再生ユニットによる再生は、再生空間の空間特性に相応して、低減されたレベルで行うことができ、とりわけ１〜６ｄＢ低減されたレベルで行うことができ、有利には２〜４ｄＢ低減されたレベルで行うことができる。シミュレートすべき指向特性に相応して、音響信号を（複数の）第２の再生ユニットによる再生前に、周波数フィルタによって処理することもでき、たとえばハイパスフィルタまたはローパスフィルタまたはバンドパスフィルタによって処理することもできる。このような周波数フィルタのパラメータは、固定的に設定するか、または主放射方向に依存して制御することができる。

（複数の）第２の再生ユニットは第１の再生ユニットのように、１つまたは複数のスピーカを有するか、または、スピーカの群またはスピーカアレイを使用してたとえば波面合成によって生成される仮想的な音源とすることができる。

音源の放射方向に関する情報を可能な限り感覚に近似的に再生するために、第１の再生ユニットおよび第２の再生ユニットの再生レベルも、シミュレートすべき指向特性に依存して適合することができる。こうするためには再生レベルは、異なる聴取位置で前記指向特性から得られる知覚可能な音量差が適切に近似されるように設定される。個々の再生ユニットにおけるこのようにして求められた再生レベルは、異なる主放射方向に対して定義して記憶することができる。その際には、時変性の指向特性の場合、検出された主放射方向が個々の再生ユニットの再生レベルを制御する。

上記の方法はもちろん、録音空間内の複数の音源に対しても適用することができる。複数の音源を上記の方法によって再生するために特に有利なのは、個々の伝送すべき音源の音響信号が相互に分離されて得られるようにすることである。それゆえ、音響信号を録音するために種々の方法が考えられる。音響信号を録音するためには、個々の音源ごとに音捕捉手段を割り当てることができる。各音源が専用の音捕捉手段を有するように前記割り当てを１：１で行うか、または、複数の音源をグループ化して１つの音捕捉手段に割り当てるように行うことができる。所与の時点でアクティブな音源の位置は、従来の位置検出アルゴリズムによって求めることができ、また、ビデオ検出およびパターン認識によっても求めることができる。１つより多い音源からの音波放射が同時である場合、音源を１つの音捕捉手段にグループ化する際に、個々の音源の音響信号を従来の音源分離アルゴリズムによって、たとえば「ブラインド音源分離（Blind Source Separation）」、「独立成分分析（Independent Component Analysis）」または「畳み込み音源分離（Convolutive Source Separation）」によって、相互に分離することができる。録音すべき音源の位置が既知である場合、音源の群に対する音捕捉手段として、ダイナミック方向選択性マイクロフォンアレイを使用することもできる。このダイナミック方向選択性マイクロフォンアレイは、受信された音響信号を所定の位置に相応して処理し、各音源に対して分離してまとめる。

個々の音源の主放射方向は、１つの音源に関して説明されたのと同じ原理で検出することができる。こうするためには、個々の音源に相応の手段を割り当てることができる。この割り当ては、各音源が専用の方向検出手段を有するか、または、音源がそれぞれグループ化されて複数の１つの方向検出手段に割り当てられるように行うことができる。音源がグループ化される場合、音源が１つであり、所与の時点で音波を放射する音源が１つである場合と同様に、主放射方向の検出は行われる。２つ以上の音源が同時に音波を放射する場合、方向検出手段の第１の処理ステップにおいてまずは、受信された信号（たとえば音響信号またはビデオ信号）が相応の音源に対応付けられる。このことは、光学的手段の場合にはオブジェクト識別アルゴリズムによって行うことができる。音響的手段の場合、前記の音捕捉手段によって別個に録音された音源の音響信号を、受信された信号と相応の音源との対応付けに使用することができる。音源の位置が既知である場合、有利には、音源と音響的方向検出手段との間の伝達関数を考慮し、また、該音響的方向検出手段の指向特性も音捕捉手段の指向特性も考慮することができる。受信された信号と関連の音源とが対応付けられた後に初めて、個々の音源の主放射方向が別個に求められる。こうするためには、音源に対して上記の同様の方法を使用することができる。

再生の品質を改善するために、音源に割り当てられていない捕捉手段ないしは方向検出手段によって受信された該音源の音響信号を、音響的なエコー抑圧またはクロストーク抑圧（cross talk cancellation）によって抑圧することができる。音響的な反射および２次的な雑音を従来の手段によって低減することも、再生品質を改善するのに寄与する。

音響信号を再生するために、各音源に１つの再生ユニットを割り当てることができる。各音源が専用の第１の音捕捉手段を有するように前記割り当てを１：１で行うか、または、複数の音源をグループ化して複数の１つの第１の音捕捉手段に割り当てるように行うことができる。割り当てに応じて、再生空間内で再生される空間的情報の精度は、高くなったり低くなったりする。

上記の再生技術の他に択一的に、再生を波面合成によって行うこともできる。こうするためには、通常使用される点音源の代わりに、音源の指向特性を音波面の合成のために考慮しなければならない。こうするために有利なのは、使用すべき指向特性をデータバンクにすでに保持することである。この指向特性はたとえば、測定結果、測定から得られた近似、または、数学的関数によって記述された近似とすることができる。また、この指向特性をモデルによってシミュレートすることもでき、たとえば、方向依存性のフィルタ、複数の音源要素、または方向依存性の励振によってシミュレートすることもできる。適切な指向特性を有する音波面の合成は、検出された主放射方向によって制御されることにより、音源の放射方向に関する情報が時間に依存して再生されるようにされる。上記の手法はもちろん、録音空間内の複数の音源に対しても適用することができる。

上記で説明された２つの再生技術の他に、音響信号を指向性再生するために、従来技術から公知のマルチスピーカシステム（multi-speaker display device）を使用することができる。このマルチスピーカシステムの再生パラメータも同様に、時間に依存して求められた主放射方向によって制御される。この再生パラメータの制御の他に、回転式メカニズムの制御も可能である。録音空間内に複数の音源が設けられている場合、再生空間内において各音源に対し、１つのマルチスピーカシステムを設けることができる。

音響信号を指向性再生するためには、従来技術から公知である別の再生手法を使用することもできる。その際には、この再生手法の再生パラメータを、時間に依存して求められた主放射方向に相応して制御しなければならない。

本発明はさらに、情報を有する音源の特性の録音、伝送および感覚に近似的な再生を可能にするシステムを提供するという課題を基礎とする。

前記課題は、時変性の指向特性を有する１つまたは複数の音源の音響信号を録音空間内において録音手段によって録音し、音響再生手段によって該音響信号を再生空間内で再生するために構成された次のようなシステム、すなわち、該１つまたは複数の音源から送出された音響信号の主放射方法を時間に依存して検出するための手段と、伝送された該音響信号の再生を、検出された主放射方向に依存して行うための手段とを有するシステムによって解決される。

前記システムは、１つの音源に所属する少なくとも２つの音捕捉ユニットを有することができ、該音捕捉ユニットは、該音源から送信された音響信号と該音響信号の主放射方向とを捕捉するために使用される。これに対して択一的または補足的に、前記システムは主放射方向を識別するための光学的手段を有することもできる。

前記主放射方向を識別するための手段は、たとえばマイクロフォン、またはマイクロフォンアレイ、または、とりわけパターン識別部を有するビデオ検出手段とすることができる。

音響信号の再生は、音源に所属する第１の再生ユニットと、該第１の再生ユニットから離隔されて配置された第２の再生ユニットとによって行うことができる。再生空間内の第１の再生ユニットの位置は、該再生空間内の音源の仮想的位置に相応することができる。

１つまたは複数の第２の再生ユニットによる再生は、指向性の音波放射を主体的に生成するために、第１の再生ユニットに対して時間遅延τによって行うことができる。第２の再生ユニットが複数である場合、各１つの第２の再生ユニットに対して個別の時間遅延を選択することができる。

前記システムはたとえば、ビデオ会議において音伝達のために使用することができる。ここでは、会議の参加者が留まる固定的な位置が設けられる。参加者位置に依存して、１つまたは複数の第２の再生ユニットの時間遅延τを次のように選択することができる。すなわち、再生空間内の少なくとも各参加者位置における音響信号間の実際の時間遅延が２ｍｓ〜１００ｍｓの間になり、有利には５ｍｓ〜８０ｍｓの間になり、とりわけ１０ｍｓ〜４０ｍｓの間になるように選択することができる。

第１の再生ユニットおよび／または（複数の）第２の再生ユニットによる再生は、低減されたレベルで、かつ／または、とりわけ主放射方向に依存して行うことができ、とりわけ１〜６ｄＢ低減されたレベルで行うことができ、有利には２〜４ｄＢ低減されたレベルで行うことができる。

もちろん、１つの音源の音響信号を伝送するためのシステムを複数の音源の音響信号の伝送に拡大することも可能である。このことは、上記手段を単純に倍化することによって行うことができる。また有利には、所定の手段が録音側の複数の音源に割り当てられるように必要な手段を削減することもできる。択一的または補足的に、再生側の再生手段も複数の割り当て関係を有することができる。上記で本発明による方法に関して説明された割り当て手段は、システムにも同様に当てはまる。とりわけ、音捕捉ユニットおよび／または音響再生ユニットの数は音源の数＋２に相応することができる。

従属請求項に本方法および本システムの別の実施形態が記載されている。

以下で、添付された各図を参照して、選択された実施例に基づいて本発明を詳細に説明する。
図１ マイクロフォンアレイを示す。
図２Ａおよび２Ｂ 音源の主放射方向を検出するための音響的手法を簡略化して説明する図である。
図３ 基準音波レベルによる音源の主放射方向の検出を示す。
図４ 録音空間内にある音源が複数である場合の方向検出方法を示す。
図５ 各音源ごとに専用の方向検出手段を使用する方法を示す。
図６ 第１の再生ユニットと少なくとも１つの離隔された第２の再生ユニットとを有する音源の再生方法を示す。
図７Ａおよび７Ｂ 第１の再生ユニットおよび第２の再生ユニットを実現するための種々の手段を示す。
図８Ａおよび８Ｂ 第１の再生ユニットと複数の相互に離隔された第２の再生ユニットとによる音源の再生方法を示す。
図９ 複数の音源の再生方法を示し、ここでは第１の再生ユニットと第２の再生ユニットとがオーバーラップしている。
図１０Ａおよび１０Ｂ 図５に示された方向検出のための再生方法を簡略化して示す図である。

図１に示されたマイクロフォンアレイＭＡは、録音空間内の音源Ｔの主放射方向を検出するのに使用される。

音源Ｔの主放射方向はマイクロフォンアレイＭＡによって、すなわち、相互に接続された複数の個々のマイクロフォンアレイＭによって検出される。こうするためには、音源ＴはこれらのマイクロフォンＭＡによって任意の形で包囲され、たとえば図１に示されたように環状に包囲される。

第１のステップにおいて、マイクロフォンＭに対する音源Ｔの位置を検出し、音源ＴとマイクロフォンＭとの間のすべての間隔ｒが既知になる。音源Ｔの位置はたとえば測定によって検出されるか、または従来の位置検出アルゴリズムによって検出される。この位置検出では、音波放射に関して顕著な優先方向を有さない周波数領域のみを適切なフィルタによって考慮することが有利である。このことは多くの場合、低い周波数領域に当てはまり、たとえば約５００Ｈｚを下回る音声に当てはまる。

音源Ｔの主放射方向は、マイクロフォンＭで検出された音波レベルから求めることができる。こうするためには、異なる音波減衰や、個々のマイクロフォンＭと音源Ｔとの間の間隔ｒが異なることに起因する伝搬時間差を考慮する。方向選択性のマイクロフォンＭの場合、マイクロフォンＭの指向特性を主放射方向の検出で使用することもできる。

マイクロフォンによって検出される方向が多いほど、主放射方向の検出はより正確になる。その逆に、（ａ）主放射方向を大まかに検出すればよい場合、たとえば３段または５段の段階付けで完全に十分であり、これに相応して方向検出手段をこれらの方向に配置するので十分である場合、必要なマイクロフォンの数を低減することができる。または、（ｂ）制限された角度領域に主放射方向が限定される場合、たとえば電話会議の場合の発話方向は通常、前方に向かう方向の角度領域に制限され、ここでも必要なマイクロフォンの数を低減することができる。

マイクロフォンは方向検出手段としても、またそれと同時に、音源の音響信号を録音するための音捕捉手段としても使用することができる。音源の位置と、場合によっては検出された主放射方向とに基づいて、録音される音響信号に対する個々のマイクロフォンの寄与を制御するマイクロフォンの重みづけを検出することができる。

図２Ａおよび２Ｂは、図１の方法より簡略化された音源の主放射方向を検出するための音響的方法を示す。

図１の比較的面倒な方法の代わりに、主放射方向を検出するために、図１と同様の基本原理にしたがって異なる方向の音波レベルを相応の補正によって検出する非常に簡略化された方法を使用することもできる。しかし主放射方向は、異なる方向で検出されたレベル比と所定の基準との比較によって検出される。音源の指向特性が、測定結果、測定結果から得られる近似、数学的関数またはモデルないしはシミュレーション等の形態で得られる場合、これらを主放射方向の検出のための基準として使用することができる。基準として選択された音源の指向特性の近似の複雑性に応じて、主放射方向を検出するのに必要とされるマイクロフォンは僅かのみになる。基準の精度ひいては複雑性は、主放射方向をどの程度正確に検出すべきかに依存する。主放射方向を大まかに検出するので十分である場合には、非常に簡単な基準を選択することができる。異なる方向で音波レベルを検出するためのマイクロフォンの数および位置は、基準とともに該マイクロフォンに関する音源の指向特性の位置を一義的に検出するために、該マイクロフォンによってサンプリングされる方向が十分であるように選択しなければならない。

音声信号の場合、たとえば図２Ａに概略的に示されているように、指向特性に対する基準が非常に簡単であることを前提とする場合、主放射方向を、それぞれ６０°〜１２０°の角度を成すように位置決めされた少なくとも３つのマイクロフォンによって、有利には４つのマイクロフォンによって十分な精度で検出することができる。図２Ｂに、４つのマイクロフォンＭ_１〜Ｍ_４がそれぞれ９０°の角度を成す一例が示されている。

可能な主放射方向が所定の角度領域に制限される場合、図２Ａに示された基準をさらに簡略化することもできる。たとえば会議の場合、参加者が相互に前後に着席していない場合には、後方向の主放射方向を除外することができる。この場合、図２Ａの基準は、後ろを向いているピークは考慮されないように簡略化される。すなわち基準として、近似的に腎臓形の指向特性のみが前提とされるように簡略化される。この場合、主放射方向を十分に正確に検出するためには、６０°〜１２０°の角度を成す２つのマイクロフォンで十分である。たとえば図２Ｂでは、発話者Ｓの後方に位置決めされた２つのマイクロフォンＭ_３およびＭ_４を省略することができる。

上記の２つの基準パターンによる音声の指向特性の近似は、多くのアプリケーションにおいて十分であることが判明しており、とりわけ、自然な再構築のために主放射方向を比較的大まかに検出するので十分である会議アプリケーションにおいて十分であることが判明している。主放射方向をより正確に検出するためには、ビデオ会議アプリケーションではさらに、パターン識別部を有する１つまたは複数の光学的手段を使用することができる。また、主放射方向の検出を、前置接続された周波数フィルタによって、情報を搬送する周波数領域に制限することもできる。

図１のように、方向検出のために設定されたマイクロフォンは、同時に音源の音響信号を録音するための音捕捉手段としても使用することができる。

図３に、基準音波レベルによる音源の主放射方向の検出が示されている。音源Ｔの主放射方向は、基準として設けられた音源の指向特性と既知の方向の該音源の実際の基準音波レベルとによって検出することができる。図２で説明された方法と比較してこの方法では、より複雑な基準指向特性でも、主放射方向を検出するために使用されるマイクロフォンＭを格段に少なくすることができる。既知の方向の基準音波レベルに基づいて、マイクロフォンＭによって設定された方向でこの基準音波レベルに対して相対的な減衰量を検出することができる。もちろんこの方法でも、マイクロフォンＭと音源Ｔとの間隔に関する必要な補正と、マイクロフォンの指向特性とを考慮しなければならない。この補正では、周辺のジオメトリに関する知識と、これに関連する音響伝搬の条件も、たとえば反射特性も使用することができる。このようにして検出された相対的な減衰量と基準として設けられた音源Ｔの指向特性とを比較することにより、主放射方向が得られる。

基準音波レベルはたとえば、音源Ｔの方向変化に常に追従するピンマイクＭ_１によって検出することにより、これによって検出される音響信号の方向が常に等しくなり、ひいては既知であるようにすることができる。有利なのは、基準音波レベルの方向が主放射方向と一致することである。基準音波レベルを検出するのに使用されるマイクロフォンＭ_１は、同時に音響信号を録音するための音響的手段としても使用することができる。

たとえば、音声信号の指向特性に対する基準として、図２Ａに示された近似が設けられている場合、音源の主放射方向を、約６０°〜１２０°の角度領域を成す２つの方向検出マイクロフォンＭと、基準音波レベルを検出するためのマイクロフォンＭ_１とのみで比較的精確に検出することができる。

この方法でも、主放射方向の検出を適切な周波数フィルタによって、情報を搬送する周波数領域に制限することができる。

図４に、録音空間内にある音源が複数である場合の方向検出方法が示されている。録音空間内の複数の音源Ｔ_１〜Ｔ_３の個々の主放射方向は、設けられているすべての音源に所属する１つの方向検出音響的手段だけで検出される。

図４に示されているように録音空間内に複数の音源Ｔが設けられている場合、各個別の音源の主放射方向は、上記で１つの音源に関して説明されたのと同様の方法で検出することができる。しかしこうするためには、個々の音源Ｔ_ｘの音響信号を方向検出のために相互に分離して得られなければならない。所与の時点で音波を放射する音源が１つだけである場合には、自然とそうなる。しかし、２つ以上の音源が同時に音波を放射する場合、方向検出手段のマイクロフォンＭ_１〜Ｍ_４によってすべて同時に検出される個々の音源の音響信号は、方向検出のために予め、適切な手法で相互に分離しなければならない。この分離は、たとえば従来の音源分離アルゴリズムによって行われる。基準信号として、音源の分離された音響信号が既知である場合、該音響信号を相応の音源に特に簡単に対応付けることができる。このような基準信号はたとえば、図４に示されているように、各音源ごとに音響信号を録音するために別個に音響的手段を使用し、たとえばマイクロフォンＭＴ_１，ＭＴ_２およびＭＴ_３を使用する場合に得られる。主放射方向を検出すべき対応する音源に所属しないすべての音響信号は、方向検出のために抑圧される。音響信号を基準信号によって分離することは、方向検出手段（Ｍ_１〜Ｍ_４）のマイクロフォンと音響信号の録音のために設けられた手段（ＭＴ_１，ＭＴ_２およびＭＴ_３）とで得られる異なる伝達関数も考慮することによって改善することができる。

図４に示された実施例では、個々の音源の主放射方向を方向検出手段によって別個に検出することは、図２に示された方法にしたがって実施される。同図で説明されたように方向検出手段は、約６０°〜１２０°の角度領域を成す４つのマイクロフォンから構成することができるが、参加者の前方に位置決めされた２つのマイクロフォンのみを使用することも可能である。

図５に、各音源ごとに専用の方向検出手段を使用する方法が示されている。録音空間内の複数の音源Ｔ_１〜Ｔ_３の主放射方向を検出するために、各音源に専用の方向検出手段Ｍ_１〜Ｍ_３を割り当てることができる。各音源は方向検出のための専用の手段を有するので、この形式の方法では、所属の音源に対する音響信号の分離を行う必要はない。図５に示された実施例では、各音源の主放射方向は、図２に示された方法によって検出される。多くの会議アプリケーションでは、とりわけビデオ会議でも、後方向の発話方向はたいてい除外することができるので、音源の主放射方向を十分に正確に検出するためには２つのマイクロフォンで十分である。

音源の音響信号は図５では、各音源Ｔ_１〜Ｔ_３に所属する音源ごとの付加的なマイクロフォンＭ_１′〜Ｍ_３′によって選択的に録音されるか、または方向検出マイクロフォンＭ_１〜Ｍ_３を音響信号の録音にも同時に使用する。

図６に、第１の再生ユニットと少なくとも１つの離隔された第２の再生ユニットとを有する音源の再生方法が示されている。

録音空間内で録音される音源の音響信号ＴＳは再生空間内において、該音源に所属する第１の再生ユニットＷＥ１によって再生される。第１の再生ユニットＷＥ１の位置は、再生空間内の音源の仮想的位置に相応するように選択される。ビデオ会議の場合、この仮想的位置はたとえば、空間内において音源の視覚的表現が存在する位置にある。

音響再生の方向情報を伝達するためには、第１の再生ユニットから離隔された少なくとも１つの第２の再生ユニットＷＥ２が使用される。こうするために有利には、２つの第２の再生ユニットを使用し、これらのうち１つの再生ユニットを第１の再生ユニットＷＥ１の一方の側に配置し、他方の再生ユニットを他方の側に配置することができる。このような構成により、第１の再生ユニットを中心として、すなわちこの位置に位置決めされた仮想的音源を中心として１８０°の角度領域で音源の主放射方向の変化をシミュレートすることができる。放射方向に関する情報は、第２の再生ユニットによる再生を第１の再生ユニットより遅延して行うことにより伝達される。時間遅延τはここでは、再生空間の少なくとも部分空間において音響信号間の実際の時間遅延Δｔ＝ｔ_ＷＥ２−ｔ_ＷＥ１が２ｍｓ〜１００ｍｓの間になり、このことによって受信側において、すなわちたとえば、このような部分領域内に存在するビデオ会議の受信側の参加者において、実際の時間遅延が２ｍｓ〜１００ｍｓの間になるように選択すべきである。

録音空間内で検出された主放射方向ＨＲは、減衰要素ａを介して第２の再生ユニットにおける再生レベルを制御する。たとえば、空間の右側の方に方向づけされた音源の主放射方向をシミュレートするためには、音響信号は、左側に存在する第２の再生ユニットでは完全に減衰され、右側の第２の再生ユニットを介してのみ、第１の再生ユニットに対して遅延されて再生される。

上記の手法はもちろん、録音空間内の複数の音源に対しても適用することができる。こうするためには相応に複数の第１の再生ユニットと第２の再生ユニットとを使用しなければならない。

図７Ａおよび７Ｂに、第１の再生ユニットおよび第２の再生ユニットを実装するための種々の手段が示されている。

第１の再生ユニットＷＥ１も第２の再生ユニットＷＥ２も、図７Ａに示されているように、それぞれ１つの実際のスピーカによって実現するか、または、空間内の相応の位置におけるスピーカ群によって実現することができる。またこれらの再生ユニットは、たとえば波面合成によって適切な位置に配置されるそれぞれ１つの仮想的な音源によって実現することもできる。このことは図７Ｂに示されている。もちろん、実際の音源と仮想的な音源との混合的な構成も可能である。

図８Ａおよび８Ｂに、第１の再生ユニットと複数の相互に離隔された第２の再生ユニットとを有する音源の再生方法が示されている。

図６で説明された基本的方法は、音源の方向情報を可能な限り感覚に近似的に再生するために、以下で説明される補足によって拡張することができる。

第１の再生ユニットＷＥ１の各側にそれぞれ１つの第２の再生ユニットを設ける代わりに、図８Ａに示されたように、相互に離隔された複数の第２の再生ユニットＷＥ２を使用することもできる。個々の再生ユニットＷＥ２に対する遅延時間τは、各再生ユニットごとに個別に選択することができる。たとえば、再生ユニットＷＥ２と再生ユニットＷＥ１との間隔が拡大するほど、相応の遅延時間をより短く選択するのが特に有利である。その際には、図６で説明されるように、再生空間の少なくとも部分領域内において音響信号間の実際の時間遅延が２ｍｓ〜１００ｍｓの間となり、有利には５ｍｓ〜８０ｍｓの間となり、とりわけ２０ｍｓ〜４０ｍｓの間となるように留意しなければならない。

図８Ａに示されているように、音源のシミュレートすべき指向特性に相応して、音響信号ＴＳを（複数の）第２の再生ユニットＷＥ２による再生前に、付加的にフィルタＦによって処理することもでき、たとえばハイパスフィルタまたはローパスフィルタまたはバンドパスフィルタによって処理することもできる。

放射方向を可能な限り感覚に近似的に再生するために、第１の再生ユニットおよび第２の再生ユニットの再生レベルを、シミュレートすべき指向特性に依存して適合することもできる。こうするためには再生レベルは、減衰要素ａによって、異なる聴取位置で前記指向特性から得られる知覚可能な音量差が適切に近似されるように設定される。個々の再生ユニットにおけるこのようにして求められた減衰量を、異なる主放射方向ＨＲに対して定義して記憶することができる。その際には、時変性の指向特性を有する音源の場合、検出された主放射方向が個々の再生ユニットの再生レベルを制御する。

図８Ｂに一例として、主放射方向ＨＲに依存する１つの第１の再生ユニットと該第１の再生ユニット（の各側にそれぞれ２つ設けられた第２の再生ユニットＷＥ１，ＷＥ２_Ｌ１，ＷＥ２_Ｌ２，ＷＥ２_Ｒ１，ＷＥ２_Ｒ２）との減衰関数が概略的に図解されている。これは、指向性再生を制御するために記憶して設けることができる。簡略化するために、対数レベル値の代わりに、相応の再生ユニットの音圧が音響信号の音圧との比ｐ_ＴＳで示されている。検出および伝送された主放射方向ＨＲに依存して、各再生ユニットの減衰要素ａは、記憶された設定に相応して調整される。ここで選択された例では、すべての可能な主放射方向において、第１の再生ユニットのレベル値は第２の再生ユニットの相応のレベル値以上であるか、または、第２の再生ユニットの相応のレベル値より最大１０ｄＢ小さいか、ないしはより有利には、３〜６ｄＢ小さい。

上記の手法はもちろん、録音空間内の複数の音源に対しても適用することができる。こうするためには相応に複数の第１の再生ユニットと第２の再生ユニットとを使用しなければならない。

図９に、複数の音源の再生方法が示されており、ここでは第１の再生ユニットと第２の再生ユニットとがオーバーラップしている。

録音空間内に複数の音源が設けられている場合、図６および８で説明されたように、音源の音響信号は再生空間内で第１の再生ユニットとおよび第２の再生ユニットによって再生される。しかし、各音源ごとに専用の第１の再生ユニットおよび第２の再生ユニットを設けない場合、必要な再生ユニットの数を格段に低減することができる。その代わり再生ユニットを、異なる音源に対して第１の再生ユニットとしても第２の再生ユニットとしても同時に使用することができる。特に有利には、第１の再生ユニットを各音源に割り当て、再生空間内の各音源の仮想的位置に設ける。その際には、音源に対する第２の再生ユニットとして、隣接する音源の第１の再生ユニットを使用することができる。付加的に、すべての音源または少なくとも一部に対してもっぱら第２の再生ユニットとして使用される再生ユニットも使用することができる。

図９に、４つの音源を有する一例が示されている。ここでは、各音源に１つの第１の再生ユニットが所属しており、該第１の再生ユニットの各側に、最大２つの例外まで、さらに２つの第２の再生ユニットが所属する。４つの音源の音響信号ＴＳ１，ＴＳ２，ＴＳ３およびＴＳ４は、該音源に所属する第１の再生ユニットＷＥ１によって再生され、これらの第１の再生ユニットＷＥ１は、再生空間内の音源の相応の仮想的位置に配置されている。第１の再生ユニットＷＥ１は、さらに同時に、隣接する音源に対する第２の再生ユニットＷＥ２としても使用される。これらの第２の再生ユニットの時間遅延τは有利には、再生空間の少なくとも部分領域における音響信号間の実際の時間遅延が５ｍｓ〜２０ｍｓの間になるように選択される。付加的にこの実施例では、さらに２つの再生ユニットＷＥ２′が設けられている。これらの再生ユニットはもっぱら、４つすべての音源に対する第２の再生ユニットとして使用される。これら第２の再生ユニットの時間遅延７２は、再生空間内において受信側における音響信号間の実際の時間遅延、すなわちたとえばビデオ会議の受信側の参加者における音響信号間の実際の時間遅延が、２０ｍｓ〜４０ｍｓの間になるように選択される。

図８に示されているように、録音空間内で検出された音源の主放射方向ＨＲが、各減衰要素ａを介して第１の再生ユニットおよび第２の再生ユニットの再生レベルを制御する。もちろん、この音響信号を付加的にフィルタＦによって処理することもできる。このフィルタは、各音響信号または各再生ユニットＷＥ２ないしはＷＥ２′ごとに個別に選択することができる。再生ユニットを介して再生され加算される音響信号の数は変化するので、有利には、再生レベルを実際の数に相応して正規化エレメントＮＯＭによって正規化する。

図１０Ａおよび１０Ｂに、図５に示された方向検出のための再生方法が簡略化して示されている。ここでは、各音源に専用の方向検出音響的手段が所属している。

図５で説明されたように、録音空間内の複数の音源の主放射方向を検出するために、各音源に方向検出手段を割り当てることができる。この場合、第１の再生ユニットおよび第２の再生ユニットによる放射方向の再生を、相応の音源の異なる方向で検出された音響信号によって直接行うことができる。以下の実施例で、１つの音源を例にしてこの再生方法を説明する。複数の音源の場合、この方法を同一の基本原理にしたがって適切に拡張しなければならない。ここでは、第１の再生ユニットおよび第２の再生ユニットの所要数を低減するために、例９で説明されたオーバーラップする再生ユニットの技術を使用する。

図１０Ａに音源が、該音源に所属する主放射方向検出手段と、録音空間内の音響信号ＴＳを録音するためのオプションであるマイクロフォンとともに示されている。放射方向を検出するために、この例では４つのマイクロフォンが使用される。これらのマイクロフォンは、音響信号ＴＲ_９０，ＴＲ_４５，ＴＬ_９０およびＴＬ_４５を録音する。音源の音響信号ＴＳを録音するために、専用のマイクロフォンを設けることができる。または、音響信号を再生時に、図１０Ｂに示されたように、方向検出手段の録音された音響信号から形成される。

図１０Ｂに、第１の再生ユニットおよび第２の再生ユニットによる再生方法が示されている。方向情報を伝達するためには、相応の第２の再生ユニットＷＥ２を介して、方向検出手段によって録音された音響信号ＴＲ_９０，ＴＲ_４５，ＴＬ_９０およびＴＬ_４５を音響信号ＴＳに対して遅延して再生する。時間遅延τは、前記の実施例で説明されたように選択することができる。方向に依存するレベル差はすでに方向検出手段の録音された音響信号中に含まれるので、第２の再生ユニットを主放射方向によってレベル制御する必要はないので、減衰要素ａは単なるオプションである。音響信号は付加的に、第２の再生ユニットＷＥ２による再生前に、シミュレートすべき指向特性に相応して、フィルタＦによって処理することができる。

音源の音響信号ＴＳの再生は、第１の再生ユニットを介して行われる。その際には音響信号ＴＳは、専用のマイクロフォンによって録音された音響信号であるか、または、たとえば音響信号ＴＲ_９０，ＴＲ_４５，ＴＬ_９０およびＴＬ_４５のうち最大の音響信号または４つの音響信号の和を使用することにより、音響信号ＴＳは該音響信号から形成される。図１０Ｂに、一例として和形成が示されている。

ここで説明された再生方法の音質は確かにコームフィルタ効果によって妨害されることがあるが、この方法は簡略的であるため、多くのアプリケーションにおいて一貫して有利である。

マイクロフォンアレイを示す。 音源の主放射方向を検出するための音響的手法を簡略化して説明する図である。 基準音波レベルによる音源の主放射方向の検出を示す。 録音空間内にある音源が複数である場合の方向検出方法を示す。 各音源ごとに専用の方向検出手段を使用する方法を示す。 第１の再生ユニットと少なくとも１つの離隔された第２の再生ユニットとを有する音源の再生方法を示す。 第１の再生ユニットおよび第２の再生ユニットを実現するための種々の手段を示す。 第１の再生ユニットと複数の相互に離隔された第２の再生ユニットとによる音源の再生方法を示す。 複数の音源の再生方法を示し、ここでは第１の再生ユニットと第２の再生ユニットとがオーバーラップしている。 図５に示された方向検出のための再生方法を簡略化して示す図である。

Claims (16)

1. 録音空間内に配置され時変性の指向特性を有する音源の音響信号を音捕捉手段によって捕捉し、該音響信号を再生空間内において音響再生手段によって再生する方法において、
   該音源から送出された音響信号の主放射方向を時間に依存して検出し、該音響信号の再生を、検出された該主放射方向に依存して行い、
   該音響信号の再生を、該音源に所属する第１の再生ユニットと、該第１の再生ユニットから離隔されて配置された少なくとも１つの第２の再生ユニットとによって行い、
   該第２の再生ユニットによる再生を、該第１の再生ユニットに対して時間遅延τで、かつ、検出された前記主放射方向に依存して前記第１の再生ユニットより低減したレベルで行うことにより、前記音源の指向特性をシミュレートする
   ことを特徴とする方法。
2. 前記音源の音響信号を音捕捉手段によって捕捉し、送出された該音響信号の主放射方向を方向検出手段によって検出する、請求項１記載の方法。
3. 前記方向検出手段は音響的方式であり、とりわけマイクロフォンおよび／または１つまたは複数のマイクロフォンアレイである、請求項２記載の方法。
4. 前記方向検出手段は光学的方式であり、とりわけ、パターン認識部を有するビデオ検出部である、請求項２または３記載の方法。
5. 前記再生空間内における前記第１の再生ユニットの位置は、該再生空間内の前記音源の仮想的位置に相応する、請求項１から４までのいずれか１項記載の方法。
6. 前記時間遅延τは次のように選択される、すなわち、前記再生空間の少なくとも部分領域内において音響信号間の時間遅延が２ｍｓ〜１００ｍｓの間となり、有利には５ｍｓ〜８０ｍｓの間となり、とりわけ１０ｍｓ〜４０ｍｓの間となるように選択される、請求項１から５までのいずれか１項記載の方法。
7. 前記（複数の）第２の再生ユニットによる再生を、前記主放射方向に依存して１〜６ｄＢ低減されたレベルで行い、有利には２〜４ｄＢ低減されたレベルで行う、請求項１から６までのいずれか１項記載の方法。
8. 前記再生ユニットは、スピーカまたはスピーカの群であるか、またはスピーカアレイであるか、またはこれらの組み合わせであるか、または仮想音源であり、該仮想音源はとりわけ、波面合成によって生成された仮想音源である、請求項１から７までのいずれか１項記載の方法。
9. 前記録音空間内に配置された複数の音源の音響信号を捕捉し、前記再生空間において再生する、請求項１から８までのいずれか１項記載の方法。
10. 各音源に音捕捉手段が割り当てられている、請求項９記載の方法。
11. 前記音源に割り当てられていない音捕捉手段によって受信された音源の音響信号をエコー抑圧またはクロストーク抑圧（cross talk cancellation）によって抑圧する、請求項１０記載の方法。
12. 時変性の指向特性を有する１つまたは複数の音源の音響信号を録音空間内において音捕捉手段によって録音し、音響再生手段によって該音響信号を再生空間内で再生するためのシステムにおいて、
    該１つまたは複数の音源から送出された音響信号の主放射方向を時間に依存して検出するための検出手段と、
    伝送された該音響信号の再生を、検出された該主放射方向に依存して行うための再生手段
    とを有し、
    音源の音響信号が、当該音源に所属する第１の再生ユニットと、当該第１の再生ユニットから離隔されて配置された少なくとも１つの第２の再生ユニットとによって再生され、
    前記第２の再生ユニットは、前記第１の再生ユニットに対して時間遅延τで再生を行い、
    前記第２の再生ユニットによる再生を、検出された前記主放射方向に依存して前記第１の再生ユニットより低減したレベルで行うことにより、前記音源の時変性の指向特性がシミュレートされることを特徴とするシステム。
13. １つの音源に所属する少なくとも２つの音捕捉手段を有し、
    該音捕捉手段は、該音源から送信された音響信号と該音響信号の主放射方向とを捕捉するために使用される、請求項１２記載のシステム。
14. １つの音源に所属する少なくとも１つの音捕捉手段を有し、
    該音捕捉手段は、該音源から送信された音響信号を捕捉するために使用され、
    該音響信号の主放射方向を識別するための光学的手段が設けられている、請求項１２記載のシステム。
15. 前記音捕捉手段および／または音響再生手段の数は、前記音源の数＋２に相応する、請求項１２から１４までのいずれか１項記載のシステム。
16. 前記音響再生手段は、スピーカまたはスピーカの群であるか、またはスピーカアレイであるか、またはこれらの組み合わせであるか、または仮想音源であり、該仮想音源はとりわけ、波面合成によって生成された仮想音源である、請求項１２から１５までのいずれか１項記載のシステム。

Images