JP6421385B2 - サウンド立体化のためのトランスオーラル合成方法 - Google Patents

Description

本発明は、立体レンダリングとも呼ばれるオーディオ信号のサウンド立体化、より詳細には、室内効果を含むサウンド立体化の分野に関し、特にトランスオーラル技術の分野に関する。

“バイノーラル”の語は、ペアのヘッドホン、ペアのイヤホン、又はペアのラウドスピーカにおいて、１つのサウンド信号でありながら立体効果を有するサウンド信号を再現することに関する。しかしながら、本発明は、上述した技術に限定されず、“トランスオーラル”（登録商標）再現技術（すなわち、マルチポイントのサウンドシステムに関する、例えば、コンサートホールや映画劇場において設けられる離れたラウドスピーカ）等の“バイノーラル”技術から導かれる技術に特に適用できる。

本発明の具体的な用途は、例えば、立体化されたサウンドシーン、より詳細には室内効果（ｅｆｆｅｔ ｄｅ ｓａｌｌｅ）又は屋外の（ｄ’ｅｓｐａｃｅ ｅｘｔｅｒｉｅｕｒ）効果を含むサウンドシーンに聴取者を没頭させるため、ペアのラウドスピーカが伝えるオーディオコンテンツを質的に向上させることにある。

ヘッドホン又はラウドスピーカにおける“バイノーラル”技術の実装のため、空間におけるサウンドソース（音源）の位置と、聴取者の２つの耳の位置との間のサウンド信号に関して伝達関数やフィルタが本技術分野では定義される。前述した頭部の音響伝達関数は、周波数形式ではＨＲＴＦ（“Ｈｅａｄ Ｒｅｌａｔｅｄ Ｔｒａｎｓｆｅｒ Ｆｕｎｃｔｉｏｎ”）と、時間形式ではＨＲＩＲ（“Ｈｅａｄ Ｒｅｌａｔｅｄ Ｉｍｐｕｌｓｅ
Ｒｅｓｐｏｎｓｅ”）と示される。空間における１つの方向に関して、２つのＨＲＴＦが最終的に得られる。つまり、右耳のためのＨＲＴＦと、左耳のためのＨＲＴＦである。

より詳細には、バイノーラル技術は、ステレオ信号（ペアのヘッドホンにおいて聴取される場合、サウンドソースが空間における特定の方向に由来するという感覚を聴取者に提供する）を得るために頭部についてのそのような音響伝達関数をモノラルのオーディオ信号に適用することにある。右耳のための信号は、右耳のＨＲＴＦによってモノラル信号をフィルタリングすることにより得られ、左耳のための信号は、左耳のＨＲＴＦによって同じモノラル信号をフィルタリングすることにより得られる。

空間レンダリングにおいて、聴取者が、その頭部から様々な距離にあるサウンドソースを、そのサウンドソースの方向、すなわち、音の由来とは無関係に知覚する（“外在化”として知られる現象）という事実を考慮する場合、バイノーラル３次元レンダリングでは、ソースが聴取者の頭部の内部に存在するように知覚されることが頻繁に発生する。そのように知覚されるソースは、“外在化されていない”と称される。

様々な研究では、バイノーラル３次元レンダリング方法において室内効果を加えることによりサウンドソースの外在化を相当向上させられることが示されている。
特許文献１は本技術分野において既知であり、特許文献１は、サウンド立体化のための方法であって、実際の位置におけるサウンドソースの実際のセットに関する音響行列を決定する工程と、聴取者についての実際の位置と異なった位置において、見かけのサウンドソースのセットの音響信号を伝送するための音響行列を計算する工程とを備える方法を開示している。その方法は、さらに、伝達関数行列を解き、見かけのソースに由来するサウンドのオーディオイメージを作り出すオーディオ信号を聴取者に提供する工程を備える。

米国特許出願公開第２００７／０１１０２５号明細書

パルス信号のデータベースを生成する工程のための装置の一般的なブロック図。 パルス信号の取得のための装置の概略図。 聴取装置のブロック図。

先行技術の解決手段では、固定されており、複数の可能なサウンドスケープの中から３次元サウンドスケープを選択することを可能にしない。その解決手段は、一般に、仮想の頭部から計算される変換行列に基づいている。

先行技術の解決手段は、一般に、サウンド環境が外在化されているという感覚が持たれることを可能にしない。
物理的な室及び物理的なエンクロージャによって、マルチチャンネルを生成するのに使用されるフィルタを計算することが可能になる。

本発明は、以下の説明を読むことと、添付の図面を参照することとによってより良く理解される。
本発明による方法は、複数の周波数のリファレンス信号に応じて音響ラウドスピーカにより生成される信号を記録することによって、複数の物理空間における音響信号の取得からパルス信号のデータベースを生成することからなる第１処理（１）を備える。

次に、立体化される各オーディオシーケンスについて、その方法は、連続した処理演算を適用することからなる。すなわち、
−立体化される信号がステレオ信号の場合、その方法は、そのステレオ信号からＮ．ｉ信号を生成する準備の工程（２）と、
−上述したデータベースにおいて選択されるパルス応答ファイルのうちの１つによって、各Ｎ．ｉチャンネルの信号を変換する工程（３）と、
−立体化されたステレオ信号を生成するために、そのように変換されたＮ．ｉチャンネルの信号を再結合する工程（４）とを備える。

次に、このステレオ信号は、パルス応答信号を生成するために使用された空間、又はそのような空間の組み合わせに対応する立体化されたサウンドスケープを生成するために、一対の標準的な音響ラウドスピーカによって伝えることができる。

パルス応答データベースを生成する最初の工程
この工程は、複数回繰り返される。その工程は、図２に示されている。
その工程は、各一連のパルス応答について、位置に関し、物理空間（コンサートホール、開放空間若しくは閉鎖空間、又は所与の建物等）における、増幅器１４に関連付けられた一連の既知の音響ラウドスピーカ５〜１１，１７（好適には、既知の特性を有する）と、一対のマイクロホン１２，１３（一連のラウドスピーカ５〜１１，１７に対するマイクロホン１２，１３の位置は、取得される一連のパルス応答のために配置されている）とからなる。

次に、複数の周波数の元の信号は、増幅器１４を使用して、ラウドスピーカ５〜１１の
各々に連続的に適用される。そのような元の信号は、例えば、サウンドスペクトラム内の周波数変化とともに、１０〜９０秒に及ぶ期間のシーケンスである。そのような信号は、例えば、２０Ｈｚから２０ｋＨｚの間の線形変化であり、またさらにはラウドスピーカの全スペクトラムを含む任意の信号である。

アクティブラウドスピーカによって生成されるサウンド信号は、一対のマイクロホン１２，１３によって受信され、記録されたステレオ信号が生成される。この信号から、９６ｋＨｚのサンプリングと、元の信号と記録された信号との間において、既知の手法により高速フーリエ変換による逆畳み込みとが実行され、考慮される物理空間における考慮されるラウドスピーカについてのパルス応答が生成される。

この工程は、ラウドスピーカ５〜１１の各々について一連に繰り返され、次に様々な物理空間について、一連のラウドスピーカは、同一であっても異なっていても、同一又は異なる増幅器と、同一のマイクロホンとともに配置されている。

この第１工程によって、ステレオパルス応答のデータベースの生成がなされる。
立体化された信号を用意する工程
この工程によって、従来のデジタル記録に対応するマルチチャンネルのＮ．ｉ信号から立体化されたステレオオーディオ信号を生成することが可能になる。

そのような工程は、最初の工程の際に作り出されたデータベースからＮ＋ｉ個のパルス応答を選択することからなる。
その選択は、パルス応答について取得の空間における位置が、そのパルス応答が関連付けられるチャンネルの空間における位置に対応することに注意することによって、Ｎ＋１個の信号の各々に上記のデータベースのパルス応答のうちの１つを関連付けることからなる。

各“モノラル信号／ステレオパルス応答”について、一対の立体化されたステレオ信号Ｓ_ｓＧ及びＳ_ｓＤを計算するために、畳み込み処理が適用される。
次に、立体化されたｊ番目の信号Ｓ^ｊ _ｓＧ及びＳ^ｊ _ｓＤ（ｊは１からＮ＋ｉに及ぶ）からなるＮ＋ｉ個の対は、このように生成される。

例えば、最初の記録が５．１型の場合、６対の立体化された信号が生成される。
随意に、ｊ信号の強弱変化（ｄｙｎａｍｉｑｕｅ）を改良するためにチャンネルはイコライジングされる。

立体化されたステレオ信号の生成
最終工程は、一対の立体化された右及び左の信号を生成するべく、ｊ信号を再結合することからなる。

このために、左に位置する空間に対応するｊ信号Ｓ^ｊ _ｓＧは加算されて、立体化されたステレオ信号の左チャンネルが生成される。右に位置する空間に対応する信号Ｓ^ｊ _ｓＤについて同じことがなされ、立体化されたステレオ信号の右チャンネルが生成される。

随意に、ｊ信号の強弱変化を改良するためにチャンネルはイコライジングされる。
元の信号がステレオの場合に、チャンネル数を増やすことと、中間に存在するチャンネルを作り出すこと
立体化される信号がＮ．ｉ型ではなく単にステレオ信号の場合には中間段階の工程が実行され、その工程は、左トラックと右トラックとの間における位相抽出処理によってＮ．ｉ信号を生成し、新たな異なる信号を生成することからなる。

そのような位相抽出は、再現される中央チャンネルに対応する信号を生成することからなり、その生成は、左チャンネルの信号と、位相の異なる右チャンネル信号（例えば、逆位相）とを加算することからなる処理を通じてなされる。

他の“再現された”チャンネルを作成するべく、左トラック及び右トラックは異なる位相角により位相が変えられており、経験的に決定される重み付けを用いて異なる位相の信号の対が加算される（立体化されたサウンドスケープを提供するために）。すなわち、各チャンネルの信号に対し、位相が異なり重み付けされた他のチャンネルの信号に対応する信号を加算することからなる、クロストークキャンセレーションの工程が実行される。

信号の強弱変化を増大させ、サウンドの正確性の高い質を維持するため、“再現された”チャンネルの作成の際、周波数フィルタが左右の信号にさらに適用される。
信号の再現
図３は、実際のラウドスピーカ１７，１８のペアから再現する装置の概略図を示している。

そのような一対のラウドスピーカ１７，１８は、計算されたラウドスピーカ２０〜２７，３０〜３７を模することを可能にする信号を受信する。
計算されたラウドスピーカ２０〜２７の有効数は、パルス信号のデータベースの生成のために使用された物理ラウドスピーカ５〜１１，１７の数、又は前述した方法により再現された仮想ラウドスピーカの数に対応する。

さらに仮想ラウドスピーカ３０〜３７が作り出され、サウンドの欠落部分を満たすために、隣り合う実際のラウドスピーカの組み合わせによるサウンド空間における知覚がこのように生成される。

そのような仮想ラウドスピーカは、隣り合う実際のラウドスピーカに供給される信号を修正することによって作り出される。
１５個のサウンドファイルがこのように生成され、８つのサウンドファイル（７．１）は、パルス信号からの処理に対応し、７つのサウンドファイルは、これらの１５個のファイルを組み合わせることによって計算されている。

信号は、右、左、又は中央の成分によって配置され、左のラウドスピーカのための左信号１７と、右のラウドスピーカ１８のための右信号１８とが生成される。すなわち、
−“右”信号は、計算された“右”信号２１，２２，２３及び仮想“右”信号３０，３１，３２や、計算された信号２０，２７及び仮想“中央”信号３３の加算に対応する（５０％程度の重み付けを用いる）。

−“左”信号は、計算された“左”信号２４，２５，２６及び仮想“左”信号３４，３５，３６や、計算された信号２０，２７及び仮想“中央”信号３３の加算に対応する（５０％程度の重み付けを用いる）。

次に、そのようなステレオ信号は、ラウドスピーカ１８，１９のペアに接続される従来のオーディオ設備に適用され、そのラウドスピーカ１８，１９のペアは、パルス信号のデータベースを生成するために使用された装置のサウンドスケープに対応する立体化されたサウンドスケープ、可能であれば仮想サウンドスケープを用いて質的に向上されたサウンドスケープを再現し、又は元のサウンドスケープのいくつかの組み合わせに対応する仮想サウンドスケープを再現する。

Claims (4)

1. 元のマルチチャンネルオーディオファイルからデジタル立体化ステレオオーディオファイルを生成するための方法であって、
   音響ラウドスピーカにより生成される信号を記録することによって、複数の物理空間における音響信号の取得からパルス信号のデータベースを生成する工程と、
   信号がステレオ信号の場合、ステレオ信号からＮ．ｉ信号を生成するさらなる工程と、
   前記データベースにおいて選択されるパルス応答ファイルのうちの１つによって、各Ｎ．ｉチャンネルの信号を変換する工程であって、
   データベースからＮ＋ｉ個のパルス応答を選択し、該選択は、Ｎ＋１個のモノラル信号の各々にデータベースのパルス応答のうちの１つを関連付けることからなる、工程と、
   関連付けられたモノラル信号とパルス応答との各組について、一対の立体化されたステレオ信号を計算するために、処理が適用される工程と、を含む、変換する工程と、
   チャンネルの各々に対してクロストークキャンセレーションのための処理を実行する工程と、
   ステレオ信号を生成するために前記チャンネルをマージする工程と、
   サウンドの強弱変化を増大させるべく、ダイナミックフィルタリングと、所定のイコライジングとを行う工程とを備える、方法。
2. クロストークキャンセレーションの工程は、各チャンネルの信号に対し、位相が異なり重み付けされた他のチャンネルの信号に対応する信号を加算することからなる、請求項１に記載の方法。
3. 元の信号は、ネイティブ５．ｎマルチチャンネル信号である、請求項１に記載の方法。
4. 元の信号は、ステレオ信号から計算される、ネイティブ５．ｎマルチチャンネル信号である、請求項１に記載の方法。