JP5525527B2 - 変換された空間オーディオ信号を決定するための装置 - Google Patents

Description

本発明は、オーディオ処理、特に空間オーディオ処理および異なる空間オーディオフォーマットの変換の分野にある。

ＤｉｒＡＣオーディオコーディング（ＤｉｒＡＣ＝方向オーディオコーディング（Ｄｉｒｅｃｔｉｏｎａｌ Ａｕｄｉｏ Ｃｏｄｉｎｇ））は、空間オーディオの再生および処理のための方法である。従来のシステムは、記録されたサウンドの２次元および３次元の高品質再生、テレビ会議アプリケーション、指向性マイクロホンおよびステレオからサラウンドへのアップミキシングにおいてＤｉｒＡＣを適用する（参照：
Ｖ． ＰｕｌｋｋｉおよびＣ． Ｆａｌｌｅｒ、方向オーディオコーディング：フィルタバンクおよびＳＴＦＴベースの設計（Ｄｉｒｅｃｔｉｏｎａｌ ａｕｄｉｏ ｃｏｄｉｎｇ：Ｆｉｌｔｅｒｂａｎｋ ａｎｄ ＳＴＦＴ−ｂａｓｅｄ ｄｅｓｉｇｎ）、ｉｎ １２０ｔｈ ＡＥＳ Ｃｏｎｖｅｎｔｉｏｎ、Ｍａｙ ２０−２３、２００６、Ｐａｒｉｓ、Ｆｒａｎｃｅ Ｍａｙ ２００６、
Ｖ． ＰｕｌｋｋｉおよびＣ． Ｆａｌｌｅｒ、空間サウンド再生およびステレオアップミキシングにおける方向オーディオコーディング（Ｄｉｒｅｃｔｉｏｎａｌ ａｕｄｉｏ ｃｏｄｉｎｇ ｉｎ ｓｐａｔｉａｌ ｓｏｕｎｄ ｒｅｐｒｏｄｕｃｔｉｏｎ ａｎｄ ｓｔｅｒｅｏ ｕｐｍｉｘｉｎｇ）、ｉｎ ＡＥＳ ２８ｔｈ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ、Ｐｉｔｅａ、Ｓｗｅｄｅｎ、Ｊｕｎｅ ２００６、
Ｖ． Ｐｕｌｋｋｉ、方向オーディオコーディングを用いた空間サウンド再生（Ｓｐａｔｉａｌ ｓｏｕｎｄ ｒｅｐｒｏｄｕｃｔｉｏｎ ｗｉｔｈ ｄｉｒｅｃｔｉｏｎａｌ ａｕｄｉｏ ｃｏｄｉｎｇ）、Ｊｏｕｒｎａｌ ｏｆ ｔｈｅ Ａｕｄｉｏ Ｅｎｇｉｎｅｅｒｉｎｇ Ｓｏｃｉｅｔｙ、５５（６）：５０３−５１６、Ｊｕｎｅ ２００７、
Ｊｕｋｋａ Ａｈｏｎｅｎ、Ｖ． ＰｕｌｋｋｉおよびＴａｐｉｏ Ｌｏｋｋｉ、方向オーディオコーディングのためのテレビ会議アプリケーションおよびＢ−フォーマットマイクロホンアレイ（Ｔｅｌｅｃｏｎｆｅｒｅｎｃｅ ａｐｐｌｉｃａｔｉｏｎ ａｎｄ Ｂ−ｆｏｒｍａｔ ｍｉｃｒｏｐｈｏｎｅ ａｒｒａｙ ｆｏｒ ｄｉｒｅｃｔｉｏｎａｌ ａｕｄｉｏ ｃｏｄｉｎｇ）、ｉｎ ３０ｔｈ ＡＥＳ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ）。

ＤｉｒＡＣストリームは、方向メタデータを有するオーディオの１−４チャンネルからなる。テレビ会議においておよびの他の場合において、ストリームは、メタデータを有する単一のオーディオチャンネルだけからなり、モノラルＤｉｒＡＣストリームと呼ばれる。これは、単一のオーディオチャンネルだけが例えば話す人の間に良好な空間分離を与えるサイド情報とともに送信される必要があるように、空間オーディオを表す非常にコンパクトな方法である。しかしながら、そのような場合、例えば反響されたまたはアンビエントなサウンドシナリオなどのいくつかのサウンドタイプが、制限された品質で再生されることがある。これらの場合により良好な品質を得るために、さらならオーディオチャンネルを送信する必要がある。

Ｂ−フォーマットからＤｉｒＡＣへの変換は、Ｖ． Ｐｕｌｋｋｉ、マルチチャンネルリスニングにおける自然のまたは修正された空間印象を再生するための方法（Ａ ｍｅｔｈｏｄ ｆｏｒ ｒｅｐｒｏｄｕｃｉｎｇ ｎａｔｕｒａｌ ｏｒ ｍｏｄｉｆｉｅｄ ｓｐａｔｉａｌ ｉｍｐｒｅｓｓｉｏｎ ｉｎ ｍｕｌｔｉｃｈａｎｎｅｌ ｌｉｓｔｅｎｉｎｇ）、国際公開第ＷＯ２００４／０７７８８４Ａ１号、２００４年９月に記載されている。方向オーディオコーディングは、空間サウンドの分析および再生の効率的な方法である。ＤｉｒＡＣは、空間サウンドの知覚に関連する機能に基づく音場のパラメトリック表現、すなわち、周波数サブバンドにおいて音場のＤＯＡ（ＤＯＡ＝到来方向）および拡散を用いる。実際に、ＤｉｒＡＣは、音場のＤＯＡが正しく再生されるときに両耳間時間差（ＩＴＤ）および両耳間レベル差（ＩＬＤ）が正しく知覚され、拡散が正確に再生される場合に両耳間コヒーレンス（ＩＣ）が正しく知覚されると仮定する。これらのパラメータ、すなわちＤＯＡおよび拡散は、モノラルＤｉｒＡＣストリームと呼ばれるモノラル信号をともなうサイド情報を表す。

ＤｉｒＡＣおよび例えばＭＰＥＧ Ｓｕｒｒｏｕｎｄなどのパラメトリックマルチチャンネルオーディオコーディング間に相当の相違点がある（参照：Ｌａｒｓ Ｖｉｌｌｅｍｏｃｓ、Ｊｕｅｒｇｅｎ Ｈｅｒｒｅ、Ｊｅｒｏｅｎ Ｂｒｅｅｂａａｒｔ、Ｇｅｒａｒｄ Ｈｏｔｈｏ、Ｓａｓｃｈａ Ｄｉｓｃｈ、Ｈｅｉｋｏ ＰｕｒｎｈａｇｅｎおよびＫｒｉｓｔｏｆｅｒ Ｋｊｒｌｉｎｇ、ＭＰＥＧ ｓｕｒｒｏｕｎｄ：空間オーディオコーディングのための次回のＩＳＯ規格（Ｔｈｅ ｆｏｒｔｈｃｏｍｉｎｇ ＩＳＯ ｓｔａｎｄａｒｄ ｆｏｒ ｓｐａｔｉａｌ ａｕｄｉｏ ｃｏｄｉｎｇ）、ｉｎ ＡＥＳ ２８ｔｈ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ、Ｐｉｔｅａ、Ｓｗｅｄｅｎ、Ｊｕｎｅ ２００６）が、それらは同様の処理構造を共有する。ＭＰＥＧ Ｓｕｒｒｏｕｎｄは異なるスピーカチャンネルの時間／周波数分析に基づくが、ＤｉｒＡＣは入力として一致するマイクロホンのチャンネルをとり、それは音場を１点で効果的に表す。このように、ＤｉｒＡＣも、空間オーディオのための効率的な記録技術を表す。

空間オーディオを取扱う他のシステムは、ＳＡＯＣ（ＳＡＯＣ＝空間オーディオオブジェクトコーディング（Ｓｐａｔｉａｌ Ａｕｄｉｏ Ｏｂｊｅｃｔ Ｃｏｄｉｎｇ））であり（参照：Ｊｏｎａｓ Ｅｎｇｄｅｇａｒｄ、Ｂａｒｂａｒａ Ｒｅｓｃｈ、Ｃｏｒｎｅｌｉａ Ｆａｌｃｈ、Ｏｌｉｖｅｒ Ｈｅｌｌｍｕｔｈ、Ｊｏｈａｎｎｅｓ Ｈｉｌｐｅｒｔ、Ａｎｄｒｅａｓ Ｈｏｅｌｚｅｒ、Ｌｅｏｎｉｄ Ｔｅｒｅｎｔｉｅｖ、Ｊｅｒｏｅｎ Ｂｒｅｅｂａａｒｔ、Ｊｅｒｏｅｎ Ｋｏｐｐｅｎｓ、Ｅｒｉｋ Ｓｃｈｕｉｊｅｒｓ、およびＷｅｒｎｅｒ Ｏｏｍｅｎ、空間オーディオオブジェクト（ＳＡＯＣ）パラメトリックオブジェクトベースのオーディオコーディングに関する次回のＭＰＥＧ規格（Ｓｐａｔｉａｌ ａｕｄｉｏ ｏｂｊｅｃｔ （ＳＡＯＣ） ｔｈｅ ｕｐｃｏｍｉｎｇ ＭＰＥＧ ｓｔａｎｄａｒｄ ｏｎ ｐａｒａｍｅｔｒｉｃ ｏｂｊｅｃｔ ｂａｓｅｄ ａｕｄｉｏ ｃｏｄｉｎｇ）、ｉｎ １２ｔｈ ＡＥＳ Ｃｏｎｖｅｎｔｉｏｎ、Ｍａｙ １７−２０、２００８、Ａｍｓｔｅｒｄａｍ、Ｔｈｅ Ｎｅｔｈｅｒｌａｎｄｓ、２００８）、現在規格化ＩＳＯ／ＭＰＥＧに基づく。それは、ＭＰＥＧ Ｓｕｒｒｏｕｎｄのレンダリングエンジンを構築し、さらに、異なる音源をオブジェクトとして扱う。このオーディオコーディングは、ビットレートに関して非常に高い効率を提供し、さらに、再生側で相互作用の前例のない自由を与える。この方法は、いくつかの他の新しいアプリケーションと同様に、レガシーシステムにおいて新しい強力な機能および機能性を約束する。

国際公開第ＷＯ２００４／０７７８８４Ａ１号

Ｖ． ＰｕｌｋｋｉおよびＣ． Ｆａｌｌｅｒ、方向オーディオコーディング：フィルタバンクおよびＳＴＦＴベースの設計（Ｄｉｒｅｃｔｉｏｎａｌ ａｕｄｉｏ ｃｏｄｉｎｇ：Ｆｉｌｔｅｒｂａｎｋ ａｎｄ ＳＴＦＴ−ｂａｓｅｄ ｄｅｓｉｇｎ）、ｉｎ １２０ｔｈ ＡＥＳ Ｃｏｎｖｅｎｔｉｏｎ、Ｍａｙ ２０−２３、２００６、Ｐａｒｉｓ、Ｆｒａｎｃｅ Ｍａｙ ２００６ Ｖ． ＰｕｌｋｋｉおよびＣ． Ｆａｌｌｅｒ、空間サウンド再生およびステレオアップミキシングにおける方向オーディオコーディング（Ｄｉｒｅｃｔｉｏｎａｌ ａｕｄｉｏ ｃｏｄｉｎｇ ｉｎ ｓｐａｔｉａｌ ｓｏｕｎｄ ｒｅｐｒｏｄｕｃｔｉｏｎ ａｎｄ ｓｔｅｒｅｏ ｕｐｍｉｘｉｎｇ）、ｉｎ ＡＥＳ ２８ｔｈ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ、Ｐｉｔｅａ、Ｓｗｅｄｅｎ、Ｊｕｎｅ ２００６ Ｖ． Ｐｕｌｋｋｉ、方向オーディオコーディングを用いた空間サウンド再生（Ｓｐａｔｉａｌ ｓｏｕｎｄ ｒｅｐｒｏｄｕｃｔｉｏｎ ｗｉｔｈ ｄｉｒｅｃｔｉｏｎａｌ ａｕｄｉｏ ｃｏｄｉｎｇ）、Ｊｏｕｒｎａｌ ｏｆ ｔｈｅ Ａｕｄｉｏ Ｅｎｇｉｎｅｅｒｉｎｇ Ｓｏｃｉｅｔｙ、５５（６）：５０３−５１６、Ｊｕｎｅ ２００７ Ｊｕｋｋａ Ａｈｏｎｅｎ、Ｖ． ＰｕｌｋｋｉおよびＴａｐｉｏ Ｌｏｋｋｉ、方向オーディオコーディングのためのテレビ会議アプリケーションおよびＢ−フォーマットマイクロホンアレイ（Ｔｅｌｅｃｏｎｆｅｒｅｎｃｅ ａｐｐｌｉｃａｔｉｏｎ ａｎｄ Ｂ−ｆｏｒｍａｔ ｍｉｃｒｏｐｈｏｎｅ ａｒｒａｙ ｆｏｒ ｄｉｒｅｃｔｉｏｎａｌ ａｕｄｉｏ ｃｏｄｉｎｇ）、ｉｎ ３０ｔｈ ＡＥＳ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ Ｍｉｃｈａｅｌ Ｇｅｒｚｏｎ、サラウンドサウンド心理音響（Ｓｕｒｒｏｕｎｄ ｓｏｕｎｄ ｐｓｙｃｈｏａｃｏｕｓｔｉｃｓ）、ｉｎ Ｗｉｒｅｌｅｓｓ Ｗｏｒｌｄ、ｖｏｌｕｍｅ ８０、ｐａｇｅｓ ４８３−４８６、Ｄｅｃｅｍｂｅｒ １９７４ Ｌａｒｓ Ｖｉｌｌｅｍｏｃｓ、Ｊｕｅｒｇｅｎ Ｈｅｒｒｅ、Ｊｅｒｏｅｎ Ｂｒｅｅｂａａｒｔ、Ｇｅｒａｒｄ Ｈｏｔｈｏ、Ｓａｓｃｈａ Ｄｉｓｃｈ、Ｈｅｉｋｏ ＰｕｒｎｈａｇｅｎおよびＫｒｉｓｔｏｆｅｒ Ｋｊｒｌｉｎｇ、ＭＰＥＧ ｓｕｒｒｏｕｎｄ：空間オーディオコーディングのための次回のＩＳＯ規格（Ｔｈｅ ｆｏｒｔｈｃｏｍｉｎｇ ＩＳＯ ｓｔａｎｄａｒｄ ｆｏｒ ｓｐａｔｉａｌ ａｕｄｉｏ ｃｏｄｉｎｇ）、ｉｎ ＡＥＳ ２８ｔｈ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ、Ｐｉｔｅａ、Ｓｗｅｄｅｎ、Ｊｕｎｅ ２００６ Ｊｏｎａｓ Ｅｎｇｄｅｇａｒｄ、Ｂａｒｂａｒａ Ｒｅｓｃｈ、Ｃｏｒｎｅｌｉａ Ｆａｌｃｈ、Ｏｌｉｖｅｒ Ｈｅｌｌｍｕｔｈ、Ｊｏｈａｎｎｅｓ Ｈｉｌｐｅｒｔ、Ａｎｄｒｅａｓ Ｈｏｅｌｚｅｒ、Ｌｅｏｎｉｄ Ｔｅｒｅｎｔｉｅｖ、Ｊｅｒｏｅｎ Ｂｒｅｅｂａａｒｔ、Ｊｅｒｏｅｎ Ｋｏｐｐｅｎｓ、Ｅｒｉｋ Ｓｃｈｕｉｊｅｒｓ、およびＷｅｒｎｅｒ Ｏｏｍｅｎ、空間オーディオオブジェクト（ＳＡＯＣ）パラメトリックオブジェクトベースのオーディオコーディングに関する次回のＭＰＥＧ規格（Ｓｐａｔｉａｌ ａｕｄｉｏ ｏｂｊｅｃｔ （ＳＡＯＣ） ｔｈｅ ｕｐｃｏｍｉｎｇ ＭＰＥＧ ｓｔａｎｄａｒｄ ｏｎ ｐａｒａｍｅｔｒｉｃ ｏｂｊｅｃｔ ｂａｓｅｄ ａｕｄｉｏ ｃｏｄｉｎｇ）、ｉｎ １２ｔｈ ＡＥＳ Ｃｏｎｖｅｎｔｉｏｎ、Ｍａｙ １７−２０、２００８、Ａｍｓｔｅｒｄａｍ、Ｔｈｅ Ｎｅｔｈｅｒｌａｎｄｓ、２００８

本発明の目的は、空間処理のための改良された概念を提供することである。

その目的は、請求項１による変換された空間オーディオ信号を決定するための装置および請求項１５による対応する方法によって達成される。

本発明は、例えばモノラルＤｉｒＡＣストリームとして符号化される空間オーディオ信号をＢ−フォーマット信号に変換するときに、改良された空間処理を達成することができるという知見に基づく。実施形態において、変換されたＢ−フォーマット信号は、いくつかの他のオーディオ信号に加算されさらにＤｉｒＡＣストリームへ符号化される前に、処理されまたはレンダリングされてもよい。実施形態は、例えば、異なる種類のＤｉｒＡＣおよびＢ−フォーマットストリーム、基礎になるＤｉｒＡＣなどをミックスする、異なるアプリケーションを有することができる。実施形態は、逆演算を国際公開第ＷＯ２００４／０７７８８４Ａ１号に、すなわち、モノラルＤｉｒＡＣストリームからＢ−フォーマットへの変換を導入することができる。

本発明は、オーディオ信号が方向成分に変換される場合、改良された処理を達成することができるという知見に基づく。言い換えれば、本発明の知見は、空間オーディオ信号のフォーマットが、例えばＢ−フォーマット指向性マイクロホンによって記録されるように方向成分に対応するときに、改良された空間処理を達成することができることである。さらに、本発明の知見は、異なる音源から方向または全方向成分を一緒におよび増加した効率で処理することができることである。言い換えれば、特に多数の音源から空間オーディオを処理するときに、多数の音源の信号がそれらの全方向および方向成分のフォーマットにおいて利用できる場合、これらを一緒に処理することができるように、処理をより効率的に行うことができる。したがって、実施形態において、オーディオエフェクトジェネレータまたはオーディオプロセッサは、多数の音源の結合された成分を処理することによって、より効率的に用いることができる。

実施形態において、空間オーディオ信号は、媒体データには送信において１つのオーディオチャンネルだけをともなうＤｉｒＡＣストリーミング技術を意味するモノラルＤｉｒＡＣストリームとして表されてもよい。このフォーマットは、例えば、多数の方向成分を有するＢ−フォーマットストリームに変換することができる。実施形態は、空間オーディオ信号を方向成分に変換することによって、改良された空間処理を可能にすることができる。

実施形態は、モノラルＤｉｒＡＣデコーディングに勝る利点を提供することができ、そこにおいて、さらなる空間処理が、スピーカ信号を作り出す前に決定される方向オーディオ成分に基づいて可能であるという点で、１つのオーディオチャンネルだけがすべてのスピーカ信号を作り出すために用いられる。実施形態は、残響サウンドの作成における問題が低減されるという利点を提供することができる。

実施形態において、例えば、ＤｉｒＡＣストリームは、モノラルオーディオ信号の代わりにステレオオーディオ信号を用いることができ、そこにおいて、ステレオチャンネルは、Ｌ（Ｌ＝左ステレオチャンネル）およびＲ（Ｒ＝右ステレオチャンネル）であって、ＤｉｒＡＣデコーディングにおいて用いられるために送信される。実施形態は、残響サウンドのためのより良好な品質を達成することができ、例えば、ステレオスピーカシステムとの直接互換性を提供することができる。

実施形態は、仮想マイクロホンＤｉｒＡＣデコーディングが可能であるという利点を提供することができる。仮想マイクロホンＤｉｒＡＣデコーディングに関する詳細は、Ｖ． Ｐｕｌｋｋｉ、方向オーディオコーディングを用いた空間サウンド再生（Ｓｐａｔｉａｌ ｓｏｕｎｄ ｒｅｐｒｏｄｕｃｔｉｏｎ ｗｉｔｈ ｄｉｒｅｃｔｉｏｎａｌ ａｕｄｉｏ ｃｏｄｉｎｇ）、Ｊｏｕｒｎａｌ ｏｆ ｔｈｅ Ａｕｄｉｏ Ｅｎｇｉｎｅｅｒｉｎｇ Ｓｏｃｉｅｔｙ、５５（６）：５０３−５１６、Ｊｕｎｅ ２００７に見られる。これらの実施形態は、仮想マイクロホンをスピーカの位置に向けて配置し、点状の音源を有する、位置がＤｉｒＡＣパラメータによって決定されるスピーカのためのオーディオ信号を得る。実施形態は、変換によって、オーディオ信号の便利な線形結合が可能にされるという利点を提供することができる。

本発明の実施形態は、添付図面を用いて詳述される。

図１ａは、変換された空間オーディオ信号を決定するための装置の実施形態を示す。 図１ｂは、平面波のためのガウス平面において圧力および粒子速度ベクトルの成分を示す。 図２は、モノラルＤｉｒＡＣストリームをＢ−フォーマット信号に変換するための他の実施形態を示す。 図３は、多数の変換された空間オーディオ信号を結合するための実施形態を示す。 図４ａは、異なるオーディオエフェクトを適用する多数のＤｉｒＡＣベースの空間オーディオ信号を結合するための実施形態を示す。 図４ｂは、異なるオーディオエフェクトを適用する多数のＤｉｒＡＣベースの空間オーディオ信号を結合するための実施形態を示す。 図４ｃは、異なるオーディオエフェクトを適用する多数のＤｉｒＡＣベースの空間オーディオ信号を結合するための実施形態を示す。 図４ｄは、異なるオーディオエフェクトを適用する多数のＤｉｒＡＣベースの空間オーディオ信号を結合するための実施形態を示す。 図５は、オーディオエフェクトジェネレータの実施形態を表現する。 図６は、方向成分に関する多数のオーディオエフェクトを適用するオーディオエフェクトジェネレータの実施形態を示す。 図７は、当該技術分野のＤｉｒＡＣエンコーダの状態を示す。

図１ａは、入力された空間オーディオ信号から、変換された空間オーディオ信号を決定するための装置１００を示し、変換された空間オーディオ信号は、全方向成分および少なくとも１つの方向成分（Ｘ；Ｙ；Ｚ）を有し、入力された空間オーディオ信号は、入力されたオーディオ表現（Ｗ）および入力された到来方向（φ）を有する。

装置１００は、入力されたオーディオ表現（Ｗ）および入力された到来方向（φ）に基づいて波場量および波到来方向量を含む波表現を推定するための推定器１１０を含む。さらに、装置１００は、全方向成分および少なくとも１つの方向成分を得るために波場量および波到来方向量を処理するためのプロセッサ１２０を含む。推定器１１０は、平面波表現として波表現を推定するために構成されてもよい。

実施形態において、プロセッサは、全方向オーディオ成分（Ｗ´）として入力されたオーディオ表現（Ｗ）を提供するために構成されてもよい。言い換えれば、全方向オーディオ成分Ｗ´は、入力されたオーディオ表現Ｗに等しくてもよい。したがって、図１ａにおける点線によれば、入力されたオーディオ表現は、推定器１１０、プロセッサ１２０または両方を迂回することができる。他の実施態様において、全方向オーディオ成分Ｗ´は、入力されたオーディオ表現Ｗとともに、プロセッサ１２０によって処理される波強度および波到来方向に基づくものであってもよい。実施形態において、多数の方向オーディオ成分（Ｘ；Ｙ；Ｚ）は、例えば、異なる空間方向に対応する第１（Ｘ）、第２（Ｙ）および／または第３（Ｚ）の方向オーディオ成分として、処理されてもよい。実施形態において、例えば、３つの異なる方向オーディオ成分（Ｘ；Ｙ；Ｚ）は、デカルト座標系の異なる方向に従って導き出されてもよい。

推定器１１０は、波場振幅および波場位相に関して波場量を推定するために構成することができる。言い換えれば、実施形態において、波場量は、複素数値量として推定されてもよい。いくつかの実施形態において、波場振幅は、音圧大きさに対応することができ、さらに、波場位相は、音圧位相に対応することができる。

実施形態において、波到来方向量は、例えばベクトル、１つ以上の角度などによって表されるいかなる方向量にも対応することができ、さらに、それは、例えば強度ベクトル、粒子速度ベクトルなどとしてオーディオ成分を表すいかなる方向量から導き出されてもよい。波場量は、実数値または複素数値でありうる、圧力信号、粒子速度振幅または大きさ、ラウドネスなどに対応する、オーディオ成分を表すいかなる物理量にも対応することができる。さらに、量（ｍｅａｓｕｒｅ）は、時間および／または周波数領域において考慮されうる。

実施形態は、入力されたストリームのそれぞれのための平面波表現の推定に基づくものであってもよく、それは、図１ａにおいて推定器１１０によって行うことができる。言い換えれば、波場量は、平面波表現を用いてモデル化されてもよい。一般に、平面波または一般の波のいくつかの等価な徹底的な（すなわち、完全な）記述が存在する。以下において、数学的記述が、異なる成分のための拡散パラメータおよび到来方向または方向量を計算するために導入される。ほんの少数の記述だけが例えば圧力、粒子速度などのように物理量に直接関するにもかかわらず、１つがその後に例として表される波表現を記載するために無限数の異なる方法が存在する可能性があり、本発明の実施形態に決して制限されない。いかなる結合も、波場量および波到来方向量に対応することができる。

本発明の実施形態は、モノラルＤｉｒＡＣストリームをＢ−フォーマット信号に変換する方法を提供することができる。モノラルＤｉｒＡＣストリームは、例えば、全指向性マイクロホンによって捕獲される圧力信号によっておよびサイド情報によって表すことができる。サイド情報は、サウンドの拡散および到来方向の時間周波数依存量を含んでもよい。

入力された到来方向および波到来方向量は、入力された空間オーディオ信号の記録位置に対応する基準点を参照することができ、すなわち、言い換えれば、すべての方向は、同じ基準点を参照することができる。基準点は、音場を記録するために、マイクロホンが配置され、または、多数の指向性マイクロホンが配置される位置であってもよい。

実施形態において、変換された空間オーディオ信号は、第１（Ｘ）、第２（Ｙ）および第３（Ｚ）の方向成分を含んでもよい。プロセッサ１２０は、第１（Ｘ）および／または第２（Ｙ）および／または第３（Ｚ）の方向成分および／または全方向オーディオ成分を得るために、さらに波場量および波到来方向量を処理するために構成することができる。

以下において、表記法およびデータモデルが導入される。

Ｂ−フォーマットが本質的にスピーカセットアップ独立表現であるという事実のため、実施形態は、異なるオーディオデバイスによって話される共通言語としてＢ−フォーマットを用いることができ、１つのものから他の１つのものへの変換がＢ−フォーマットに中間変換を介して実施形態によって可能にすることができることを意味する。例えば、実施形態は、Ｂ−フォーマットにおいて異なる合成されたサウンド環境を有する異なる記録された音響環境から、ＤｉｒＡＣストリームを連結することができる。モノラルＤｉｒＡＣストリームとＢ−フォーマットストリームの連結は、実施形態によって可能にされてもよい。

実施形態は、モノラルＤｉｒＡＣストリームを有するいかなるサラウンドフォーマットにおいてマルチチャンネルオーディオ信号の連結を可能にすることができる。さらに、実施形態は、いかなるＢ−フォーマットストリームを有するモノラルＤｉｒＡＣストリームの連結を可能にすることができる。さらに、実施形態は、モノラルＤｉｒＡＣストリームとＢ−フォーマットストリームとの連結を可能にすることができる。

これらの実施形態は、その後に詳述されるように、例えば、残響の作成またはオーディオエフェクトの導入において利点を提供することができる。音楽制作において、反響器は、処理されたオーディオを仮想空間に知覚的に配置するエフェクトデバイスとして用いることができる。仮想現実において、残響の合成は、仮想音源が閉空間内で例えばルームまたはコンサートホールにおいて聴覚化されるときに、必要かもしれない。

残響のための信号が利用できるときに、そのような聴覚化は、ドライサウンドおよび反響されたサウンドを異なるＤｉｒＡＣストリームに適用することによって実施形態によって実行することができる。実施形態は、ＤｉｒＡＣコンテクストにおいて反響された信号をどのように処理するかに関する異なる方法を用いることができ、そこにおいて、実施形態は、リスナーの回りに最大限に拡散される反響されたサウンドを生成することができる。

図３は、結合された変換空間オーディオ信号を決定するための装置３００の実施形態を示し、結合された変換空間オーディオ信号は、少なくとも第１の結合された成分および第２の結合された成分を有し、そこにおいて、結合された変換空間オーディオ信号は、第１および第２の入力されたオーディオ表現および第１および第２の到来方向を有する第１および第２の入力された空間オーディオ信号から決定される。

装置３００は、第１の装置１０１から第１の全方向成分および少なくとも１つの方向成分を有する第１の変換された信号を提供するために、上述の説明による変換された空間オーディオ信号を決定するための装置１０１の第１の実施形態を含む。さらに、装置３００は、第２の装置１０２から第２の全方向成分および少なくとも１つの方向成分を有する第２の変換された信号を提供するために上述の説明による変換された空間オーディオ信号を決定するための装置１０２の他の実施形態を含む。

一般に、実施形態は、２つの装置１００だけを含むことに制限されず、一般に、複数の上述の装置が、装置３００に含まれてもよく、例えば、装置３００は、複数のＤｉｒＡＣ信号を結合するために構成されてもよい。

図３によれば、装置３００は、第１のレンダリングされた成分を得るために、第１の装置１０１からの第１の全方向または第１の方向オーディオ成分をレンダリングするためのオーディオエフェクトジェネレータ３０１をさらに含む。

さらに、装置３００は、第１の結合された成分を得るために、第１のレンダリングされた成分と第１および第２の全方向成分を結合するための、または、第１のレンダリングされた成分と第１の装置１０１および第２の装置１０２からの方向成分を結合するための第１の結合器３１１を含む。装置３００は、第２の結合された成分を得るために、第１および第２の全方向成分または第１または第２の装置１０１および１０２からの方向成分を結合するための第２の結合器３１２をさらに含む。

言い換えれば、オーディオエフェクトジェネレータ３０１は、第１の全方向成分をレンダリングすることができ、そして、第１の結合器３１１は、第１の結合された成分を得るために、レンダリングされた第１の全方向成分、第１の全方向成分および第２の全方向成分を結合することができる。それから、第１の結合された成分は、例えば、結合された全方向成分に対応することができる。この実施形態において、第２の結合器３１２は、例えば、第１の結合された方向成分に対応する第２の結合された成分を得るために、第１の装置１０１からの方向成分および第２の装置からの方向成分を結合することができる。

他の実施態様において、オーディオエフェクトジェネレータ３０１は、方向成分をレンダリングすることができる。これらの実施形態において、結合器３１１は、この場合に結合された方向成分に対応する第１の結合された成分を得るために、第１の装置１０１からの方向成分、第２の装置１０２からの方向成分および第１のレンダリングされた成分を結合することができる。この実施形態において、第２の結合器３１２は、第２の結合された成分すなわち結合された全方向成分を得るために、第１の装置１０１および第２の装置１０２からの第１および第２の全方向成分を結合することができる。

言い換えれば、図３は、第１および第２の入力された空間オーディオ信号から、結合された変換空間オーディオ信号を決定するように構成される装置３００の実施形態を示し、結合された変換空間オーディオ信号は、少なくとも第１の結合された成分および第２の結合された成分を有し、第１の入力された空間オーディオ信号は、第１の入力されたオーディオ表現および第１の到来方向を有し、第２の空間入力信号は、第２の入力されたオーディオ表現および第２の到来方向を有する。

装置３００は、入力された空間オーディオ信号から、変換された空間オーディオ信号を決定するように構成される装置１００を含む第１の装置１０１を含み、変換された空間オーディオ信号は、全方向オーディオ成分Ｗ´および少なくとも１つの方向オーディオ成分Ｘ；Ｙ；Ｚを有し、入力された空間オーディオ信号は、入力されたオーディオ表現および入力された到来方向を有する。装置１００は、入力されたオーディオ表現および入力された到来方向に基づいて、波表現を推定するように構成される推定器１１０を含み、波表現は、波場量および波到来方向量を含む。

さらに、装置１００は、全方向成分（Ｗ´）および少なくとも１つの方向成分（Ｘ；Ｙ；Ｚ）を得るために、波場量および波到来方向量を処理するように構成されるプロセッサ１２０を含む。第１の装置１０１は、第１の入力された空間オーディオ信号に基づいて、第１の装置１０１から第１の全方向成分および少なくとも１つの方向成分を有する第１の変換された信号を提供するように構成される。

さらに、装置３００は、第２の入力された空間オーディオ信号に基づいて、第２の装置１０２から第２の全方向成分および少なくとも１つの方向成分を有する第２の変換された信号を提供するように構成される他の装置１００を含む第２の装置１０２を含む。さらに、装置３００は、第１のレンダリングされた成分を得るために第１の全方向成分をレンダリングし、または、第１のレンダリングされた成分を得るために第１の装置１０１からの方向成分をレンダリングするように構成されるオーディオエフェクトジェネレータ３０１を含む。

さらに、装置３００は、第１の結合された成分を得るために、第１のレンダリングされた成分、第１の全方向成分および第２の全方向成分を結合し、または、第１のレンダリングされた成分、第１の装置１０１からの方向成分および第２の装置１０２からの方向成分を結合するように構成される第１の結合器３１１を含む。装置３００は、第２の結合された成分を得るために、第１の装置１０１からの方向成分および第２の装置１０２からの方向成分を結合し、または、第１の全方向成分および第２の全方向成分を結合するように構成される第２の結合器３１２を含む。

言い換えれば、図３は、第１および第２の入力された空間オーディオ信号から、結合された変換空間オーディオ信号を決定するように構成される装置３００の実施形態を示し、結合された変換空間オーディオ信号は、少なくとも第１の結合された成分および第２の結合された成分を有し、第１の入力された空間オーディオ信号は、第１の入力されたオーディオ表現および第１の到来方向を有し、第２の空間入力信号は、第２の入力されたオーディオ表現および第２の到来方向を有する。装置３００は、第１の入力された空間オーディオ信号から、第１の変換された信号を決定するように構成される第１の手段１０１を含み、第１の変換された信号は、第１の全方向成分および少なくとも１つの第１の方向成分（Ｘ；Ｙ；Ｚ）を有する。第１の手段１０１は、上述の装置１００の実施形態を含んでもよい。

第１の手段１０１は、第１の入力されたオーディオ表現および第１の入力された到来方向に基づいて、第１の波表現を推定するように構成される推定器を含み、第１の波表現は、第１の波場量および第１の波到来方向量を含む。推定器は、上述の推定器１１０の実施形態に対応してもよい。

第１の手段１０１は、第１の全方向成分および少なくとも１つの第１の方向成分を得るために、第１の波場量および第１の波到来方向量を処理するように構成されるプロセッサをさらに含む。プロセッサは、上述のプロセッサ１２０の実施形態に対応してもよい。

第１の手段１０１は、第１の全方向成分および少なくとも１つの第１の方向成分を有する第１の変換された信号を提供するようにさらに構成されてもよい。

さらに、装置３００は、第２の入力された空間オーディオ信号に基づいて、第２の全方向成分および少なくとも１つの第２の方向成分を有する第２の変換された信号を提供するように構成される第２の手段１０２を含む。第２の手段は、上述の装置１００の実施形態を含んでもよい。

第２の手段１０２は、第２の入力されたオーディオ表現および第２の入力された到来方向に基づいて、第２の波表現を推定するように構成される他の推定器をさらに含み、第２の波表現は、第２の波場量および第２の波到来方向量を含む。他の推定器は、上述の推定器１１０の実施形態に対応してもよい。

第２の手段１０２は、第２の全方向成分および少なくとも１つの第２の方向成分を得るために、第２の波場量および第２の波到来方向量を処理するように構成される他のプロセッサをさらに含む。他のプロセッサは、上述のプロセッサ１２０の実施形態に対応してもよい。

さらに、第２の手段１０１は、第２の全方向成分および少なくとも１つの第２の方向成分を有する第２の変換された信号を提供するように構成される。

さらに、装置３００は、第１のレンダリングされた成分を得るために第１の全方向成分をレンダリングし、または、第１のレンダリングされた成分を得るために第１の方向成分をレンダリングするように構成されるオーディオエフェクトジェネレータ３０１を含む。装置３００は、第１の結合された成分を得るために、第１のレンダリングされた成分、第１の全方向成分および第２の全方向成分を結合し、または、第１のレンダリングされた成分、第１の方向成分および第２の方向成分を結合するように構成される第１の結合器３１１を含む。

さらに、装置３００は、第２の結合された成分を得るために、第１の方向成分および第２の方向成分を結合し、または、第１の全方向成分および第２の全方向成分を結合するように構成される第２の結合器３１２を含む。

実施形態において、第１および第２の入力された空間オーディオ信号から、結合された変換空間オーディオ信号を決定するための方法が実行されうり、結合された変換空間オーディオ信号は、少なくとも第１の結合された成分および第２の結合された成分を有し、第１の入力された空間オーディオ信号は、第１の入力されたオーディオ表現および第１の到来方向を有し、第２の空間入力信号は、第２の入力されたオーディオ表現および第２の到来方向を有する。

その方法は、第１の入力されたオーディオ表現および第１の入力された到来方向に基づいて、第１の波表現を推定するサブステップを用いることによって、第１の入力された空間オーディオ信号から、第１の変換された空間オーディオ信号を決定するステップであって、第１の変換された空間オーディオ信号は、第１の全方向成分（Ｗ´）および少なくとも１つの第１の方向成分（Ｘ；Ｙ；Ｚ）を有し、第１の波表現は、第１の波場量および第１の波到来方向量を含む、決定するステップと、第１の全方向成分（Ｗ´）および少なくとも１つの第１の方向成分（Ｘ；Ｙ；Ｚ）を得るために、第１の波場量および第１の波到来方向量を処理するステップとを含んでもよい。

その方法は、第１の全方向成分および少なくとも１つの第１の方向成分を有する第１の変換された信号を提供するステップをさらに含んでもよい。

さらに、その方法は、第２の入力されたオーディオ表現および第２の入力された到来方向に基づいて、第２の波表現を推定するサブステップを用いることによって、第２の入力された空間オーディオ信号から、第２の変換された空間オーディオ信号を決定するステップであって、第２の変換された空間オーディオ信号は、第２の全方向成分（Ｗ´）および少なくとも１つの第２の方向成分（Ｘ；Ｙ；Ｚ）を有し、第２の波表現は、第２の波場量および第２の波到来方向量を含む、決定するステップと、第２の全方向成分（Ｗ´）および少なくとも１つの第２の方向成分（Ｘ；Ｙ；Ｚ）を得るために、第２の波場量および第２の波到来方向量を処理するステップとを含んでもよい。

さらに、その方法は、第２の全方向成分および少なくとも１つの第２の方向成分を有する第２の変換された信号を提供するステップを含んでもよい。

その方法は、第１のレンダリングされた成分を得るために第１の全方向成分をレンダリングしまたは第１のレンダリングされた成分を得るために第１の方向成分をレンダリングするステップと、第１の結合された成分を得るために、第１のレンダリングされた成分、第１の全方向成分および第２の全方向成分を結合しまたは第１のレンダリングされた成分、第１の方向成分および第２の方向成分を結合するステップとをさらに含んでもよい。

さらに、その方法は、第２の結合された成分を得るために、第１の方向成分および第２の方向成分を結合しまたは第１の全方向成分および第２の全方向成分を結合するステップを含んでもよい。

上述の実施形態によれば、装置のそれぞれは、多数の方向成分、例えばＸ、ＹおよびＺ成分を生成することができる。実施形態において、多数のオーディオエフェクトジェネレータが用いられてもよく、それは、破線のボックス３０２、３０３および３０４によって図３に示される。これらの任意のオーディオエフェクトジェネレータは、全方向および／または方向の入力信号に基づいて、対応するレンダリングされた成分を生成することができる。１つの実施形態において、オーディオエフェクトジェネレータは、全方向成分に基づいて方向成分をレンダリングすることができる。さらに、装置３００は、例えば、３つの空間次元のために、全方向の結合された成分および複数の結合された方向成分を結合するために、多数の結合器、すなわち結合器３１１、３１２、３１３および３１４を含んでもよい。

装置３００の構造の利点のうちの１つは、最大４つのオーディオエフェクトジェネレータが一般に無制限の数の音源をレンダリングするために必要であるということである。

図３において破線の結合器３３１、３３２、３３３および３３４によって示されるように、オーディオエフェクトジェネレータは、装置１０１および１０２からの方向または全方向成分の結合をレンダリングするために構成することができる。１つの実施形態において、オーディオエフェクトジェネレータ３０１は、第１のレンダリングされた成分を得るために、第１の装置１０１および第２の装置１０２の全方向成分の結合をレンダリングし、または、第１の装置１０１および第２の装置１０２の方向成分の結合をレンダリングするために構成することができる。図３において破線のパスによって示されるように、多数の成分の結合が、異なるオーディオエフェクトジェネレータに提供されてもよい。

１つの実施形態において、すべての音源のすべての全方向成分は、第１の装置１０１および第２の装置１０２によって表される図３において、多数のレンダリングされた成分を生成するために、結合されてもよい。図３に示される４つのパスのそれぞれにおいて、それぞれのオーディオエフェクトジェネレータが、音源から対応する方向または全方向成分に加算されるレンダリングされた成分を生成することができる。

さらに、図３に示すように、多数の遅延およびスケーリングステージ３２１および３２２が用いられてもよい。言い換えれば、それぞれの装置１０１または１０２は、その出力成分の１つ以上を遅延するために、その出力パスにおいて１つの遅延およびスケーリングステージ３２１または３２２を有してもよい。いくつかの実施形態において、遅延およびスケーリングステージは、それぞれの全方向成分だけを遅延しおよびスケーリングすることができる。一般に、遅延およびスケーリングステージは、全方向および方向成分のために用いられてもよい。

実施形態において、装置３００は、音源および対応して複数のオーディオエフェクトジェネレータを表す複数の装置１００を含んでもよく、そこにおいて、オーディオエフェクトジェネレータの数は、音源に対応する装置の数より少ない。すでに上述したように、１つの実施形態において、基本的に無制限の数の音源をともなう、最大４つのオーディオエフェクトジェネレータがあってもよい。実施形態において、オーディオエフェクトジェネレータは、反響器に対応してもよい。

図４ａは、装置３００の他の実施形態をさらに詳細に示す。図４ａは、それぞれ、全方向オーディオ成分Ｗおよび３つの方向成分Ｘ、Ｙ、Ｚを出力する２つの装置１０１および１０２を示す。図４ａに示される実施形態によれば、装置１０１および１０２のそれぞれの全方向成分は、２つの遅延およびスケーリングステージ３２１および３２２に提供され、それらは、３つの遅延されおよびスケーリングされた成分を出力し、そして、それらは、結合器３３１、３３２、３３３および３３４によって加算される。それから、結合された信号のそれぞれは、図４ａにおいて反響器として実施される４つのオーディオエフェクトジェネレータ３０１、３０２、３０３および３０４のうちの１つによって別々にレンダリングされる。図４ａに示すように、オーディオエフェクトジェネレータのそれぞれは、全体で１つの全方向成分および３つの方向成分に対応する１つの成分を出力する。そして、結合器３１１、３１２、３１３および３１４は、それぞれのレンダリングされた成分と装置１０１および１０２によって出力される元の成分を結合するために用いられ、そこにおいて、図４ａにおいて一般に、多数の装置１００が存在できる。

言い換えれば、結合器３１１において、すべての装置の結合された全方向出力信号のレンダリングされたバージョンが、元のまたはレンダリングされていない全方向出力成分と結合されうる。同様の結合が、方向成分に関して他の結合器によって行うことができる。図４ａに示される実施形態において、レンダリングされた方向成分は、全方向成分の遅延されおよびスケーリングされたバージョンに基づいて作り出される。

一般に、実施形態は、オーディオエフェクトを例えば残響のように１つ以上のＤｉｒＡＣストリームに効率的に適用することができる。例えば、図４ａに示すように、少なくとも２つのＤｉｒＡＣストリームが、装置３００の実施形態に入力される。実施形態において、これらのストリームは、例えば、モノラル信号をとり、さらに、方向および拡散としてサイド情報を加算することによって、実際のＤｉｒＡＣストリームまたは合成されたストリームであってもよい。上述の説明によると、装置１０１、１０２は、ストリームごとに、すなわちＷ、Ｘ、ＹおよびＺごとに、最大４つの信号を生成することができる。一般に、装置１０１または１０２の実施形態は、３つよりも少ない方向成分、例えばＸだけ、またはＸおよびＹ、または他のいかなるそれらの結合を提供することができる。

図３および図４ａによれば、異なるストリームのブランチ、すなわち装置１０１および１０２の出力は、４つの結合された信号を得るために結合することができる。そして、結合された信号は、オーディオジェネレータ、例えば従来のモノラル反響器によって、独立してレンダリングされうる。結果として生じるレンダリングされた信号は、異なる装置１０１および１０２から最初に出力されるＷ、Ｘ、ＹおよびＺ信号に合計されうる。

実施形態において、一般のＢ−フォーマット信号は、得られうり、そして、それは、例えば、アンビソニックス（Ａｍｂｉｓｏｎｉｃｓ）において行われるように、Ｂ−フォーマットデコーダによって再生することができる。他の実施形態において、Ｂ−フォーマット信号は、結果として生じるＤｉｒＡＣストリームがその後に送信されさらに従来のモノラルＤｉｒＡＣデコーダによって処理されまたは復号化されるように、例えば図７に示すようにＤｉｒＡＣエンコーダで符号化されうる。復号化するステップは、再生のためのスピーカ信号の計算に対応してもよい。

図４ｂは、装置３００の他の実施形態を示す。図４ｂは、対応する４つの出力成分とともに２つの装置１０１および１０２を示す。図４ｂに示される実施形態において、全方向Ｗ成分だけが、結合器３３１によって結合される前に、遅延およびスケーリングステージ３２１および３２２において最初に個々に遅延されおよびスケーリングされるために用いられる。そして、結合された信号は、図４ｂにおいて反響器として再び実施されるオーディオエフェクトジェネレータ３０１に提供される。それから、反響器３０１のレンダリングされた出力は、結合器３１１によって装置１０１および１０２からの元の全方向成分と結合される。他の結合器３１２、３１３および３１４は、対応する結合された方向成分を得るために、装置１０１および１０２からの方向成分Ｘ、ＹおよびＺを結合するために用いられる。

図４ａに表現される実施形態との関係において、図４ｂに表現される実施形態は、ブランチＸ、ＹおよびＺのためのスケーリングファクタを０に設定することに対応する。この実施形態において、１つのオーディオエフェクトジェネレータまたは反響器３０１だけが用いられる。１つの実施形態において、オーディオエフェクトジェネレータ３０１は、第１のレンダリングされた成分を得るために、第１の全方向成分だけを反響するために構成することができ、すなわち、Ｗだけが反響されうる。

一般に、装置１０１、１０２および潜在的にＮ個の音源に対応するＮ個の装置として、任意である潜在的にＮ個の遅延およびスケーリングステージ３２１は、音源の距離をシミュレートすることができ、より短い遅延が、リスナーにより近い仮想音源の知覚に対応することができる。一般に、遅延およびスケーリングステージ３２１は、それぞれ、変換された信号、変換された空間オーディオ信号によって表される異なる音源の空間関係をレンダリングするために用いられうる。そして、サラウンディング環境の空間印象は、対応するオーディオエフェクトジェネレータ３０１または反響器によって作り出されうる。言い換えれば、いくつかの実施形態において、遅延およびスケーリングステージ３２１は、他の音源に関連して音源特有の遅延およびスケーリングを導入するために用いられうる。そして、適切に関連したすなわち遅延されおよびスケーリングされた変換信号の結合は、オーディオエフェクトジェネレータ３０１によって空間環境に適合することができる。

遅延およびスケーリングステージ３２１は、同様に一種の反響器とみなすことができる。実施形態において、遅延およびスケーリングステージ３２１によって導入される遅延は、オーディオエフェクトジェネレータ３０１によって導入される遅延より短くすることができる。いくつかの実施形態において、共通時間基準は、例えばクロックジェネレータによって提供されるように、遅延およびスケーリングステージ３２１とオーディオエフェクトジェネレータ３０１のために用いられうる。そして、遅延は、多くのサンプル期間に関して表されうり、さらに、遅延およびスケーリングステージ３２１によって導入される遅延は、オーディオエフェクトジェネレータ３０１によって導入される遅延より短いサンプル期間に対応することができる。

図３、図４ａおよび図４ｂに表現されるように実施形態は、モノラルＤｉｒＡＣデコーディングがその後に一緒に反響するＮ個の音源のために用いられるときの場合のために利用されうる。反響器の出力が完全な拡散である出力を有すると仮定することができるので、すなわち、それは同様に全方向信号Ｗとして解釈されうる。この信号は、例えば、Ｎ個の音源自体から向けられるＢ−フォーマット信号などのように他の合成されたＢ−フォーマット信号と結合されうり、そのためリスナーに直通パスを表す。結果として生じるＢ−フォーマット信号がさらにＤｉｒＡＣ符号化されおよび復号化されるときに、反響されたサウンドは、実施形態によって利用できるようにすることができる。

図４ｃにおいて、装置３００の他の実施形態が示される。図４ｃに示される実施形態において、装置１０１および１０２の出力全方向信号に基づいて、方向の反響されたレンダリング成分が作り出される。したがって、全方向出力に基づいて、遅延およびスケーリングステージ３２１および３２２は、個々に遅延およびスケーリングされた成分を作り出し、それらは、結合器３３１、３３２および３３３によって結合される。結合された信号のそれぞれに、異なる反響器３０１、３０２および３０３が適用され、それらは、一般に異なるオーディオエフェクトジェネレータに対応する。上述の説明によると、対応する全方向、方向およびレンダリングされた成分は、結合された全方向成分および結合された方向成分を提供するために、結合器３１１、３１２、３１３および３１４によって結合される。

言い換えれば、ストリームごとにＷ信号または全方向信号は、図に示すように、例えば反響器のように、３つのオーディオエフェクトジェネレータに送られる。一般に、２次元または３次元のサウンド信号が生成されるかどうかに依存する２つのブランチだけが存在することもできる。一旦、Ｂ−フォーマット信号が得られると、ストリームは、仮想マイクロホンＤｉｒＡＣデコーダを介して復号化されうる。後者は、Ｖ． Ｐｕｌｋｋｉ、方向オーディオコーディングを用いた空間サウンド再生（Ｓｐａｔｉａｌ Ｓｏｕｎｄ Ｒｅｐｒｏｄｕｃｔｉｏｎ Ｗｉｔｈ Ｄｉｒｅｃｔｉｏｎａｌ Ａｕｄｉｏ Ｃｏｄｉｎｇ）、Ｊｏｕｒｎａｌ ｏｆ ｔｈｅ Ａｕｄｉｏ Ｅｎｇｉｎｅｅｒｉｎｇ Ｓｏｃｉｅｔｙ、５５（６）：５０３−５６１に詳細に記載されている。

言い換えれば、図４ｃに示される実施形態は、仮想マイクロホンをスピーカの位置に向けて配置することによって得ることができるオーディオ信号に対応し、点状の音源を有する、位置がＤｉｒＡＣパラメータによって決定されるスピーカのためのオーディオ信号を提供することができる。仮想マイクロホンは、カージオイドとして、ダイポールとして、または、いかなる一次の方向パターンとしても形成されるピックアップパターンを有することができる。

反響されたサウンドは、例えばＢ−フォーマット合計においてＸおよびＹとして効率的に用いることができる。そのような実施形態は、より多くの反響器の必要性を生じることなしに、いかなる数のスピーカを有する水平スピーカレイアウトにも適用されうる。

上述のように、モノラルＤｉｒＡＣデコーディングは、残響の品質において制限を有し、そこにおいて、実施形態において、品質は、仮想マイクロホンＤｉｒＡＣデコーディングによって改善することができ、それは、Ｂ−フォーマットストリームにおいてダイポール信号をうまく利用する。

実施形態は、信号の残響に制限されないが、例えばサウンドの完全に拡散された知覚を目的とする他のいかなるオーディオエフェクトを適用することができる。上述の実施形態と同様に、反響されたＢ−フォーマット信号は、例えばＮ個の音源自体から向けられるような実施形態において他の合成されたＢ−フォーマット信号に合計することができ、そのためリスナーに直通パスを表す。

さらに他の実施形態が図４ｄに示される。図４ｄは、図４ａと同様の実施形態を示すが、遅延またはスケーリングステージ３２１または３２２が存在せず、すなわち、ブランチにおいて個々の信号だけが反響され、いくつかの実施形態において、全方向成分Ｗだけが反響される。図４ｄに表現される実施形態は、遅延およびスケーリングまたは反響器がそれぞれ０および１に設定される前のゲインをともなう図４ａに表現される実施形態と同様であるとみなすこともできるが、この実施例において、反響器３０１、３０２、３０３および３０４は、任意で独立していると仮定されない。図４ｄに表現される実施形態において、４つのオーディオエフェクトジェネレータは、特定の構造を有して互いに依存していると仮定される。

オーディオエフェクトジェネレータまたは反響器のそれぞれは、図５を用いてその後に詳述されるように、タップ付遅延線として実施されうる。遅延およびゲインまたはスケーリングは、タップのそれぞれが、方向、遅延およびパワーを意のままに設定できる１つのはっきりと区別できる反響をモデル化するような方法で、適切に選択することができる。

いくつかの実施形態において、それぞれの残響の物理的パラメータは、ランダムプロセスから引き出されてもルーム空間インパルス応答からとられてもよい。後者は、例えば、レイトレーシングツールで測定しまたはシミュレートすることができる。

一般に、実施形態は、それとともに、オーディオエフェクトジェネレータの数が音源の数から独立しているという利点を提供することができる。

実施形態は、入力された空間オーディオ信号から、変換された空間オーディオ信号を決定するための方法を含み、変換された空間オーディオ信号は、第１の方向オーディオ成分および第２の方向オーディオ成分を有し、入力された空間オーディオ信号は、入力されたオーディオ表現および入力された到来方向を有する。その方法は、入力されたオーディオ表現および入力された到来方向に基づいて波場量および波到来方向量を含む波表現を推定するステップを含む。さらに、その方法は、第１の方向成分および第２の方向成分を得るために、波場量および波到来方向量を処理するステップを含む。

本発明の方法の特定の実現要求に応じて、本発明の方法は、ハードウェアにおいてまたはソフトウェアにおいて実施することができる。実施は、本発明の方法が実行されるように、プログラム可能なコンピュータシステムと協動する、電子的に可読の制御信号を格納したデジタル記憶媒体、特にフラッシュメモリ、ディスク、ＤＶＤまたはＣＤを用いて実行することができる。そのため、本発明は、一般に、機械可読のキャリアに格納されたプログラムコードを有するコンピュータプログラムコードであり、プログラムコードは、コンピュータプログラムがコンピュータまたはプロセッサ上で実行されるときに、本発明の方法を実行するために作動される。したがって、言い換えれば、本発明の方法は、コンピュータプログラムがコンピュータ上で実行されるときに、本発明の方法のうちの少なくとも１つを実行するためのプログラムコードを有するコンピュータプログラムである。

Claims (16)

1. 第１および第２の入力された空間オーディオ信号から、結合された変換空間オーディオ信号を決定するように構成される装置（３００）であって、前記結合された変換空間オーディオ信号は少なくとも第１の結合された成分および第２の結合された成分を有し、前記第１の入力された空間オーディオ信号は第１の入力されたオーディオ表現および第１の到来方向を有し、前記第２の空間入力信号は第２の入力されたオーディオ表現および第２の到来方向を有する、前記装置（３００）は、
   前記第１の入力された空間オーディオ信号から、第１の変換された信号を決定するように構成される第１の手段（１０１）を含み、前記第１の変換された信号は第１の全方向成分および少なくとも１つの第１の方向成分（Ｘ；Ｙ；Ｚ）を有し、前記第１の手段（１０１）は、
   前記第１の入力されたオーディオ表現および前記第１の入力された到来方向に基づいて、第１の波表現を推定するように構成される推定器であって、前記第１の波表現は第１の波場量および第１の波到来方向量を含む、推定器、および
   前記第１の全方向成分および前記少なくとも１つの第１の方向成分を得るために前記第１の波場量および前記第１の波到来方向量を処理するように構成されるプロセッサを含み、
   前記第１の手段（１０１）は、前記第１の全方向成分および前記少なくとも１つの第１の方向成分を有する前記第１の変換された信号を提供するように構成され、前記装置（３００）は、さらに、
   前記第２の入力された空間オーディオ信号に基づいて、第２の全方向成分および少なくとも１つの第２の方向成分を有する第２の変換された信号を提供するように構成される第２の手段（１０２）を含み、前記第２の手段（１０２）は、
   前記第２の入力されたオーディオ表現および前記第２の入力された到来方向に基づいて、第２の波表現を推定するように構成される他の推定器であって、前記第２の波表現は第２の波場量および第２の波到来方向量を含む、他の推定器、および
   前記第２の全方向成分および前記少なくとも１つの第２の方向成分を得るために前記第２の波場量および前記第２の波到来方向量を処理するように構成される他のプロセッサを含み、
   前記第２の手段（１０１）は、前記第２の全方向成分および少なくとも１つの第２の方向成分を有する前記第２の変換された信号を提供するように構成され、前記装置（３００）は、さらに、
   第１のレンダリングされた成分を得るために前記第１の全方向成分をレンダリングし、または、前記第１のレンダリングされた成分を得るために前記第１の方向成分をレンダリングするように構成されるオーディオエフェクトジェネレータ（３０１）、
   前記第１の結合された成分を得るために、前記第１のレンダリングされた成分、前記第１の全方向成分および前記第２の全方向成分を結合し、または、前記第１のレンダリングされた成分、前記第１の方向成分および前記第２の方向成分を結合するように構成される第１の結合器（３１１）、および
   前記第２の結合された成分を得るために、前記第１の方向成分および前記第２の方向成分を結合し、または、前記第１の全方向成分および前記第２の全方向成分を結合するように構成される第２の結合器（３１２）を含む、装置（３００）。
2. 前記推定器または前記他の推定器は波場振幅および波場位相に関して前記第１または第２の波場量を推定するために構成される、 請求項１に記載の装置（３００）。
3. 
4. 前記第１または第２の入力された到来方向は基準点を参照し、さらに、前記推定器または前記他の推定器は前記基準点に関して前記第１または第２の波到来方向量を推定するために構成され、前記基準点は前記入力された空間オーディオ信号の記録位置に対応する、請求項１ないし請求項３の１つに記載の装置（３００）。
5. 前記第１または前記第２の変換された空間オーディオ信号は第１（Ｘ）、第２（Ｙ）および第３（Ｚ）の方向成分を含み、さらに、前記プロセッサまたは前記他のプロセッサは前記第１または第２の変換された信号のための前記第１（Ｘ）、第２（Ｙ）および第３（Ｚ）の方向成分を得るために前記第１または第２の波場量および前記第１または第２の波到来方向量をさらに処理するために構成される、請求項１ないし請求項４の１つに記載の装置（３００）。
6. 
7. 
8. 
9. 
10. 前記第１または前記第２の入力された空間オーディオ信号はＤｉｒＡＣ符号化されたオーディオ信号に対応し、さらに、前記プロセッサまたは前記他のプロセッサはＢ−フォーマット信号に関して前記第１または第２の全方向成分（Ｗ´）および前記少なくとも１つの第１または第２の方向成分（Ｘ；Ｙ；Ｚ）を得るように構成される、請求項１ないし請求項９の１つに記載の装置（３００）。
11. 前記オーディオエフェクトジェネレータ（３０１）は、前記第１のレンダリングされた成分を得るために、前記第１の全方向成分および前記第２の全方向成分の結合をレンダリングし、または、前記第１の方向成分および前記第２の方向成分の結合をレンダリングするために構成される、請求項１ないし請求項１０の１つに記載の装置（３００）。
12. 前記第１の全方向および／または前記第１の方向成分を遅延しおよび／またはスケーリングするための第１の遅延およびスケーリングステージ（３２１）、および／または、前記第２の全方向および／または前記第２の方向成分を遅延しおよび／またはスケーリングするための第２の遅延およびスケーリングステージ（３２２）をさらに含む、請求項１ないし請求項１１の１つに記載の装置（３００）。
13. 複数の入力された空間オーディオ信号を変換するための複数の手段（１００）を含み、前記装置（３００）は複数のオーディオエフェクトジェネレータをさらに含み、オーディオエフェクトジェネレータの数は手段（１００）の数より少ない、請求項１ないし請求項１２の１つに記載の装置（３００）。
14. 前記オーディオエフェクトジェネレータ（３０１）は前記第１のレンダリングされた成分を得るために前記第１の全方向成分または前記第１の方向成分を反響するために構成される、請求項１ないし請求項１３の１つに記載の装置（３００）。
15. 第１および第２の入力された空間オーディオ信号から、結合された変換空間オーディオ信号を決定するための方法であって、前記結合された変換空間オーディオ信号は少なくとも第１の結合された成分および第２の結合された成分を有し、前記第１の入力された空間オーディオ信号は第１の入力されたオーディオ表現および第１の到来方向を有し、前記第２の空間入力信号は第２の入力されたオーディオ表現および第２の到来方向を有する、前記方法は、
    前記第１の入力されたオーディオ表現および前記第１の入力された到来方向に基づいて、第１の波表現を推定するサブステップであって、前記第１の波表現は第１の波場量および第１の波到来方向量を含む、推定するサブステップ、および
    前記第１の全方向成分（Ｗ´）および前記少なくとも１つの第１の方向成分（Ｘ；Ｙ；Ｚ）を得るために前記第１の波場量および前記第１の波到来方向量を処理するサブステップ
    を用いることによって、前記第１の入力された空間オーディオ信号から、第１の変換された空間オーディオ信号を決定するステップであって、前記第１の変換された空間オーディオ信号は第１の全方向成分（Ｗ´）および少なくとも１つの第１の方向成分（Ｘ；Ｙ；Ｚ）を有する、決定するステップ、
    前記第１の全方向成分および前記少なくとも１つの第１の方向成分を有する前記第１の変換された信号を提供するステップ、
    前記第２の入力されたオーディオ表現および前記第２の入力された到来方向に基づいて、第２の波表現を推定するサブステップであって、前記第２の波表現は第２の波場量および第２の波到来方向量を含む、推定するサブステップ、および
    前記第２の全方向成分（Ｗ´）および前記少なくとも１つの第２の方向成分（Ｘ；Ｙ；Ｚ）を得るために前記第２の波場量および前記第２の波到来方向量を処理するサブステップ
    を用いることによって、前記第２の入力された空間オーディオ信号から、第２の変換された空間オーディオ信号を決定するステップであって、前記第２の変換された空間オーディオ信号は第２の全方向成分（Ｗ´）および少なくとも１つの第２の方向成分（Ｘ；Ｙ；Ｚ）を有する、決定するステップ、
    前記第２の全方向成分および前記少なくとも１つの第２の方向成分を有する前記第２の変換された信号を提供するステップ、
    第１のレンダリングされた成分を得るために前記第１の全方向成分をレンダリングし、または、前記第１のレンダリングされた成分を得るために前記第１の方向成分をレンダリングするステップ、
    前記第１の結合された成分を得るために、前記第１のレンダリングされた成分、前記第１の全方向成分および前記第２の全方向成分を結合し、または、前記第１のレンダリングされた成分、前記第１の方向成分および前記第２の方向成分を結合するステップ、および
    前記第２の結合された成分を得るために、前記第１の方向成分および前記第２の方向成分を結合し、または、前記第１の全方向成分および前記第２の全方向成分を結合するステップを含む、方法。
16. プログラムコードがコンピュータプロセッサ上で実行されるときに、請求項１５の方法を実行するためのプログラムコードを有するコンピュータプログラム。

Images