JP7345460B2 - ３ｄオーディオバーチャライゼーションのためのオーディオ信号のプレコンディショニング - Google Patents

Description

（関連出願及び優先権の主張）
本出願は、全体が引用により本明細書に組み入られる、名称が「ラウドスピーカを用いた３Ｄオーディオバーチャライゼーションのためのオーディオ信号のプレコンディショニングのシステム及び方法」の２０１７年１０月１８日に出願された米国仮出願第６２／５７３，９６６号明細書に関し、これに対する優先権を主張するものである。

本明細書に記載される技術は、ラウドスピーカサウンド再生システムのオーディオ信号プレコンディショニングのためのシステム及び方法に関する。

３Ｄオーディオバーチャライザは、個々のオーディオ信号が様々な位置（例えば３Ｄ空間に定位される）から生じているという知覚を生成するのに用いることができる。３Ｄオーディオバーチャライザは、複数のラウドスピーカを用いるか又はヘッドフォンを用いてオーディオを再生する際に用いることができる。３Ｄオーディオバーチャライゼーションの一部の技術は、頭部伝達関数（ＨＲＴＦ）バイノーラル合成及びクロストークキャンセレーションを含む。ＨＲＴＦバイノーラル合成は、耳、頭、及び他の身体的特徴によってサウンドがどのように変換されるかを再現することによってヘッドフォン又はラウドスピーカ３Ｄバーチャライゼーションで用いられる。ラウドスピーカからのサウンドが両耳に送られるので、クロストークキャンセレーションを用いて、左のスピーカからのサウンドが右の耳に到達するなど、１つのラウドスピーカからのサウンドが反対の耳に到達するのを低減又は排除する。ラウドスピーカからのオーディオ信号が３Ｄ空間において正しく定位されるという知覚を生成するために、クロストークキャンセレーションを用いて、サウンドの音響クロストークを低減又は排除して、リスナーの耳にて音源が中和できるようにする。クロストークキャンセレーションの目標は、音源が意図した位置から生じるかのように、３Ｄ空間においてバイノーラルで合成又はバイノーラルで録音されたサウンドを表現することであるが、実際の課題（例えば、リスナーの位置、クロストークキャンセレーション設計とは異なる音響環境）により、完璧なクロストークキャンセレーションを達成することは極めて難しい。この不完全なクロストークキャンセレーションは、不正確なバーチャライゼーションをもたらす可能性があり、ローカライゼーションエラー、望ましくない音色及びラウドネス変化、及び正しくない音場表現を生じる場合がある。必要とされるのは、３Ｄオーディオバーチャライゼーションに対する改善されたクロストークキャンセレーションである。

米国特許第５，９７４，３８０号明細書 米国特許第５，９７８，７６２号明細書 米国特許第６，４８７，５３５号明細書

例示的な実施形態による、オリジナルラウドネスの棒グラフを示す図である。 例示的な実施形態による、第１クロストークキャンセレーションラウドネスの棒グラフを示す図である。 例示的な実施形態による、第２ＣＴＣラウドネスの棒グラフを示す図である。 例示的な実施形態による、ＣＴＣラウドネスの折れ線グラフを示す図である。 例示的な実施形態による、プレコンディショニングラウドスピーカベースのバーチャライゼーションシステムを示すブロック図である。 例示的な実施形態による、プレコンディショニング及びバイノーラル合成ラウドスピーカベースのバーチャライゼーションシステムを示すブロック図である。 例示的な実施形態による、プレコンディショニング及びバイノーラル合成パラメトリックバーチャライゼーションシステムを示すブロック図である。

本発明の主題は、３Ｄオーディオバーチャライゼーションのクロストークキャンセレーションが直面する技術的問題に対する技術的解決策を提供する。１つの技術的解決策は、クロストークキャンセレーション特性に基づいて、及び３Ｄ空間の意図した位置でのサウンドソースの特徴に基づいて、オーディオ信号をプレコンディショングするステップを含む。この解決策は、３Ｄ音源のバーチャライゼーションの全体精度を改善し、正しくないローカライゼーション、チャネル間サウンドレベルインバランス、又は意図したものよりも高い又は低いサウンドレベルなどのオーディオアーティファクトを低減又は排除する。クロストークキャンセレーションに加えて、この技術的解決策はまた、バイノーラル合成及びクロストークキャンセレーションの組み合わされたカラーレーション及びラウドネス差を正確に考慮に入れたバイノーラルサウンドの改善された表現を提供する。改善されたバイノーラルサウンド表現に加えて、この解決策は、任意の環境における任意の再生システムに任意のリスナーの大幅に改善されたクロストークキャンセラを提供することによって、高度な融通性を提供する。例えば、この技術的解決策は、個人の頭部伝達関数（ＨＲＴＦ）のバリエーション、オーディオ再生のバリエーション（例えば、拡散又はフリーフィールド）、リスナー位置又はリスナーの数のバリエーション、又は再生デバイスのスペクトル応答のバリエーションに関わらず、大幅に改善されたクロストークキャンセレーションを提供する。

これらの技術的解決策を提供するために、本明細書で記載されるシステム及び方法は、オーディオバーチャライザ及びオーディオプレコンディショナを含む。詳細には、オーディオバーチャライザはクロストークキャンセラを含み、オーディオプレコンディショナは、クロストークキャンセレーションシステムの特性に基づき且つバイノーラル合成システムの特徴又は空間における意図された入力ソース位置に基づいて、オーディオ信号をプレコンディショニングする。本明細書で記載されるシステム及び方法は様々な利点を提供する。１つの実施形態では、バーチャライゼーションの改善された精度を達成することに加えて、本明細書で記載されるシステム及び方法は、クロストークキャンセラ又はクロストークキャンセラのフィルタを異なるバイノーラル合成フィルタのために再設計する必要がなく、代わりに、タップ及び利得を実施するために修正フィルタを活用する。別の利点は、入力チャネルの数を修正する能力、資源が制限される場合は値のグループを修正する能力、又は周波数ビンの数に基づいて周波数依存又は周波数に依存しないを修正する能力などを提供するシステム設計及びコンピューテーション資源の複雑さのスケーラビリティを含む。追加の利点は、オーディオソース位置、フィルタ応答、又はＣＴＣ方位角又はエレベーションを考慮するものを含む、様々な特定及び正規化クロストークキャンセラを解決策に提供する能力である。追加の利点は、様々な再生デバイス又は再生環境に対して融通性のあるチューニングを提供する能力であり、融通性のあるチューニングは、ユーザによって、相手先商標製品製造会社（ＯＥＭ）によって、或いは別のパーティによって提供することができる。これらのシステム及び方法は、テレビジョン、サウンドバー、Ｂｌｕｅｔｏｏｔｈスピーカ、ラップトップ、タブレット、デスクトップコンピュータ、携帯電話、及び他のＡ／Ｖ製品を含む様々なオーディオ／ビデオ（Ａ／Ｖ）製品における３Ｄオーディオバーチャライゼーションに改善されたクロストークキャンセレーションを提供することができる。

添付図面に関して以下に記載される詳細な説明は、本発明の主題の現在のところ好ましい実施形態の説明として意図するものであり、本発明の主題を構築又は利用できる唯一の形態を表すことを意図するものではない。本説明は、例証する実施形態に関して本発明の主題を構築し動作させる機能及びステップシーケンスを示す。同じ又は同等の機能及びシーケンスは、本発明の主題の範囲内に包含されるものとする異なる実施形態によって達成できる点を理解されたい。更に、関係を示す用語（例えば、第１、第２）の使用は、単に１つの構成要素を別の構成要素から区別するためだけに用いられ、何れかの実際のこのような関係又はこのような構成要素間の順序を必ずしも必要とするか又は示唆するものではない点を理解されたい。

図１は、例示的な実施形態による、オリジナルラウドネスの棒グラフ１００を含む。グラフ１００は、様々なオーディオソース方向（例えば、スピーカ位置）のオリジナル（例えば、未処理）のサウンドソースレベルを示す。各オーディオソース方向は、方位角及びエレベーション（elevation）によってリスナーに対して記述される。例えば、中心チャネル１１０は、０°方位角及び０°エレベーションにてリスナーの真正面に存在するが、上部後方左チャネル１２０は、１４５°方位角（例えば、中心から反時計方向に１４５°回転した）及び４５°エレベーションにある。サウンドソースレベルは、各位置からの自然なサウンドレベルを表し、Ｂ加重との各方位角及びエレベーション角度の同側及び対側ＨＲＴＦのパワーの和に基づいて計算される。様々な位置でのサウンドレベル間の差は、各オーディオソース方向からの異なる音色及びサウンドレベルに起因する。図１に示した未処理のサウンドソースレベルとは対照的に、バイノーラル合成サウンドは、図２及び図３に示すような関連の異なる音色及びサウンドレベルを有することになる。

図２は、例示的な実施形態による、第１クロストークキャンセレーションラウドネスの棒グラフ２００を含む。各サウンドソース位置に対して、グラフ２００は、オリジナルラウドネス２１０とクロストークキャンセレーション（ＣＴＣ）によるラウドネス２２０の両方を示す。グラフ２００に示した実施形態では、クロストークキャンセレーション２２０は、１５°方位角及び０°エレベーションでのデバイスに向けて設計されている。図２から分かるように、オリジナルラウドネス２１０は、各サウンドソース位置に対するＣＴＣによるラウドネス２２０よりも大きい。グラフ２００は、音響クロストークキャンセレーションを含まないので、ラウドネスの差は、リスナーの両耳で全く同じではないが、それでも、各サウンドソースについてのラウドネスの差は、様々なサウンドソース位置の間で変化することは明らかである。ラウドネスの差のこの変動は、単一利得補償では、異なるサウンドソース位置におけるサウンドソースのラウドネスがオリジナルラウドネスレベルにまで回復しないことを示している。例えば、９ｄＢのオーディオ利得は、中心チャネルのラウドネスを回復できるが、９ｄＢの同じオーディオ利得は、グラフ２００に示された他のチャネルを過度に補償することになる。

図３は、例示的な実施形態による、第２ＣＴＣラウドネスの棒グラフ３００を含む。図２と同様に、図３は、オリジナルラウドネス３１０とＣＴＣによるラウドネス３２０の両方を示しているが、ＣＴＣによるラウドネス３２０は、５°方位角及び０°エレベーションでのデバイスに向けて設計されている。図２と同様に、オリジナルラウドネス３１０は、各サウンドソース位置でのＣＴＣによるラウドネス３２０よりも大きく、オリジナルラウドネス３１０とクロストークキャンセレーション３２０の間の変動は、各サウンドソース位置で異なるので、単一利得補償は、様々なサウンドソース位置においてサウンドソースのラウドネスを回復しないことになる。

単一利得補償の使用とは対照的に、本明細書で記載される技術的解決策は、別個の位置におけるＣＴＣシステムとサウンドソースの両方の特徴を考慮した補償を提供する。これらの解決策は、カラーレーション（coloration）及びラウドネスの差を補償しながら、３Ｄ空間でのオリジナルサウンドソースの音色及びラウドネスを維持する。詳細には、これらの解決策は、クロストークキャンセラの前に実行される信号プレコンディショニング（例えば、フィルタプレコンディショニング）を含み、ここで信号プレコンディショニングは、クロストークキャンセラのスペクトル応答と、空間におけるバイノーラル合成システム又は意図した入力ソース位置の特徴との両方に基づいている。この信号プレコンディショニングは、バイノーラル合成及びクロストークキャンセレーション特性を決定するためのシステム全体の事前分析を含む。この事前分析は、オーディオ信号処理中又は処理の前に適用されるＣＴＣデータセットを生成する。様々な実施形態では、生成されたＣＴＣデータセットは、バイノーラル合成フィルタ又はシステムに組み込むことができる。例えば、バイノーラル合成システムは、生成されたＣＴＣデータセットに基づいてバイノーラル合成及びクロストークキャンセレーション特性を実装するハードウェアとソフトウェアデバイスの組み合わせを含むことができる。プレコンディショニングのためのこの事前分析の実施例は、図４に関して記載されるようなラウドネス分析である。

図４は、例示的な実施形態による、ＣＴＣラウドネスの折れ線グラフ４００を含む。上述のように、各方位角での単一利得値は、様々な意図した位置での様々なＣＴＣ及びサウンドソースについてのパワー又はラウドネスの差異を正確に補償することはできない。折れ線グラフ４００は、別個の位置にあるサウンドソースに対するラウドネス値の曲線（例えば、軌跡）を示す。注目すべきは、ＣＴＣの方位角が増大したときに、ラウドネスの相対的変化（例えば、ラウドネスデルタ）は一貫していない。曲線及びラウドネスデルタはまた、クロストークキャンセラのエレベーションパラメータが変化したときに異なる。これらの非一貫性に対処するための例示的システムが、以下の図６－７に示されている。

図５は、例示的な実施形態による、プレコンディショニングラウドスピーカベースのバーチャライゼーションシステム５００のブロック図である。別個の位置におけるサウンドソース間の非一貫性に対処するために、本発明の解決策は、ＣＴＣフィルタＨｘ（Ａ、Ｅ）の各セットに対して別個のオフセット値を使用し、ここで各ＣＴＣフィルタＨｘ（Ａ，Ｅ）は、方位角「Ａ」及びエレベーション「Ｅ」でのサウンドソースの各々に対応する。図５に示すように、システム５００は、ＣＴＣシステム及び利得補償アレイ５２０内の信号入力特性５１０を用いて、ＣＴＣフィルタＨｘ（Ａ，Ｅ）５３０を生成する。利得補償アレイ５２０は、音色を補償するために周波数依存利得補償アレイを含むことができ、又は周波数に依存しない利得補償アレイを含むことができる。ＣＴＣフィルタＨｘ（Ａ，Ｅ）５３０は、対応する利得Ｇによって各ソース信号ＳＲＣ５４０を修正して、以下の式１に示すような、補償された信号ＳＲＣ’５５０を生成することができる。

ＳＲＣ’５５０は、クロストークキャンセレーション５６０に提供される補償された信号であり、ＳＲＣ５４０はオリジナルサウンドソース、Ｇは、サウンドソースの所与の方位角及びエレベーション（例えば、Ａｓ及びＥｓ）及びＣＴＣ（例えば、Ａｃ及びＥｃ）に対する定量化パワー差（例えば、利得）、及びＷ_Kは加重値である。入力補償信号ＳＲＣ’５５０に基づいて、クロストークキャンセレーション５６０は、第１及び第２出力サウンドチャネルを含むバイノーラルサウンド出力５７０を生成する。クロストークキャンセレーション５６０はまた、オーディオ特性化フィードバック５８０を利得補償アレイ５２０に提供することができ、ここでオーディオ特性化フィードバック５８０は、ＣＴＣ方位角及びエレベーション情報、各ラウドスピーカ（例えばサウンドソース）までの距離、リスナー位置、又は他の情報を含むことができる。利得補償アレイ５２０は、オーディオ特性化フィードバック５８０を用いて、ＣＴＣフィルタＨｘ（Ａ，Ｅ）５３０によって提供される補償を改善することができる。

図６は、例示的な実施形態による、プレコンディショニング及びバイノーラル合成ラウドスピーカベースのバーチャライゼーションシステム６００のブロック図である。システム５００と同様に、システム６００は、ＣＴＣシステム特性及び信号入力特性を入力が記述する事前計算データモジュールによるプレコンディショニング処理を示す。システム５００とは対照的に、システム６００は、システム応答が公知であるように追加のバイノーラル合成６４５を含み、バイノーラル合成は、ＣＴＣシステム及び信号入力特性６１０を利得補償アレイ６２０に提供して、ＣＴＣフィルタＨｘ（Ａ，Ｅ）６３０を生成する。利得補償アレイ６２０は、音色を補償するための周波数依存利得補償アレイを含むことができ、又は周波数に依存しない利得補償アレイを含むことができる。ＣＴＣフィルタＨｘ（Ａ，Ｅ）６３０は、対応する利得Ｇによって各ソース信号ＳＲＣ６４０を修正し、式１に示すように補償された信号ＳＲＣ’６５０を生成することができる。入力補償信号ＳＲＣ’６５０に基づいて、クロストークキャンセレーション６６０は、第１及び第２出力サウンドチャネルを含むバイノーラルサウンド出力６７０を生成する。クロストークキャンセレーション６６０はまた、オーディオ特性化フィードバック６８０を利得補償アレイ６２０に提供することができ、ここで利得補償アレイ６２０は、オーディオ特性化フィードバック６８０を用いてＣＴＣフィルタＨｘ（Ａ，Ｅ）６３０によって提供される補償を改善することができる。

図７は、例示的な実施形態による、プレコンディショニング及びバイノーラル合成パラメトリックバーチャライゼーションシステム７００のブロック図である。システム５００及びシステム６００は各入力信号の単一利得を含むが、システム７００はラウドネスの利得コンディショニングに対して追加の選択肢を提供する。特にシステム７００は、パラメータ補償アレイ７２０及びデバイス又は再生チューニングパラメータ７２５を含むことができる。パラメータ補償アレイ７２０は、音色を補償する周波数依存パラメータ補償アレイを含むことができるか、又は周波数に依存しないパラメータ補償アレイを含むことができる。再生チューニングパラメータ７２５は、ユーザ、サウンドエンジニア、マイクロフォンベースのオーディオ監査アプリケーション、又は他の入力によって提供することができる。再生チューニングパラメータ７２５は、特定の位置の部屋固有の反射を補償するためにオーディオ応答を修正するような利得を調整する能力を提供する。図２及び図３に示した実施形態では、再生チューニングパラメータ７２５は、オリジナルラウドネス（２１０、３１０）とＣＴＣによるラウドネス（２２０、３２０）の間の一致を改善する能力を提供する。再生チューニングパラメータ７２５はユーザ（例えばパラメータを修正すること）によって直接提供することができるか、又はプログラマアクセス可能アプリケーションプログラミングインタフェース（ＡＰＩ）を介してデジタル信号プロセッサ（ＤＳＰ）内で実施することができる。

再生チューニングパラメータ７２５を用いて、修正されたＣＴＣフィルタＨｘ´（Ａ，Ｅ）７３０を生成することができ、これを用いて対応する利得Ｇによって各ソース信号ＳＲＣ７４０を修正して式１に示すように補償された信号ＳＲＣ’７５０を生成することができる。入力補償信号ＳＲＣ’７５０に基づいて、クロストークキャンセレーション７６０は第１及び第２出力サウンドチャネルを含むバイノーラルサウンド出力７７０を生成する。クロストークキャンセレーション７６０はまた、オーディオ特性化フィードバック７８０を利得補償アレイ７２０に提供することができ、利得補償アレイ７２０がオーディオ特性化フィードバック７８０を用いてパラメータ補償アレイ７２０によって提供された補償を改善することができる。

本明細書で記載されるように、オーディオソースは、複数のオーディオ信号（すなわち、物理的サウンドを表す信号）を含むことができる。これらのオーディオ信号は、デジタル電子信号によって表される。これらのオーディオ信号はアナログとすることができるが、本発明の主題の典型的な実施形態は、時系列のデジタルバイト又はワードとの関連において動作し、これらのバイト又はワードがアナログ信号の離散的近似又は最終的には物理的サウンドを形成する。離散的デジタル信号は、定期的にサンプリングされたオーディオ波形のデジタル表現に対応する。均一なサンプリングでは、波形は、関心のある周波数のナイキストサンプリング定理を満足させるのに十分な速度で又はこれよりも高い速度でサンプリングされる。典型的な実施形態では、１秒当たり約４４，１００サンプルの均一なサンプリングレート（例えば、４４．１ｋＨｚ）を用いることができるが、高サンプリングレート（例えば、９６ｋＨｚ、１２８ｋＨｚ）を代わりに用いることもできる。定量化方式及びビット解像度は、標準的なデジタル信号処理技術に従って特定の応用の要件を満足させるように選択する必要がある。本発明の主題の技術及び装置は、典型的には複数のチャネルで互いに依存し合って適用されることになる。例えば、「サラウンド」オーディオシステム（例えば、２より多いチャネルを有する）の関連で用いることができる。

本明細書で用いる「デジタルオーディオ信号」又は「オーディオ信号」は、単なる数学的な抽象的概念を表すのではなく、代わりに機械又は装置により検出可能な物理的媒体にて具現化され又はこれによって搬送される情報を示す。これらの用語は、記録又は送信される信号を含み、パルスコード変調（ＰＣＭ）又は他の符号化を含む何れの形式の符号化による伝達を含むものと理解すべきである。出力、入力、又は中間オーディオ信号は、ＭＰＥＧ、ＡＴＲＡＣ、ＡＣ３、又は米国特許第５，９７４，３８０号、５，９７８，７６２号、及び６，４８７，５３５号に記載されるＤＴＳ社所有の方法を含む、様々な既知の方法の何れかによって符号化又は圧縮することができる。計算の一部の修正は、当業者には明らかなように、特定の圧縮又は符号化方法に対応するために必要となる場合がある。

ソフトウェアでは、オーディオ「コーデック」は、所与のオーディオファイルフォーマット又はストリーミングオーディオフォーマットに従ってデジタルオーディオデータをフォーマット化するコンピュータプログラムを含む。多くのコーデックが、ＱｕｉｃｋＴｉｍｅプレーヤ、ＸＭＭＳ、Ｗｉｎａｍｐ、Ｗｉｎｄｏｗｓメディアプレーヤ、ＰｒｏＬｏｇｉｃ、又は他のコーデックなどの１又は２以上のマルチメディアプレーヤに接続するライブラリとして実装される。ハードウェアでは、オーディオコーデックは、アナログオーディオをデジタル信号として符号化してデジタルをアナログに復号する１又は２以上のデバイスを指す。換言すると、コーデックは、共通クロックで動作するアナログ－デジタルコンバータ（ＡＤＣ）及びデジタル－アナログコンバータ（ＤＡＣ）の両方を包含する。

オーディオコーデックは、ＤＶＤプレーヤ、Ｂｌｕ－Ｒａｙプレーヤ、ＴＶチューナ、ＣＤプレーヤ、手持ち式プレーヤ、インターネットオーディオ／ビデオデバイス、ゲームコンソール、携帯電話、又は別の電子デバイスなどの消費者電子デバイスで実施することができる。消費者電子デバイスは、ＩＢＭ ＰｏｗｅｒＰＣ、Ｉｎｔｅｌ Ｐｅｎｔｉｕｍ（ｘ８６）プロセッサ、又は他のプロセッサなどのプロセッサの１又は２以上の従来のタイプのものを表すことができる中央処理ユニット（ＣＰＵ）を含む。ランダムアクセスメモリ（ＲＡＭ）は、ＣＰＵによって実行されるデータ処理動作の結果を一時的に格納し、ＣＰＵは一般的に専用メモリチャネルを介してＲＡＭに相互接続される。消費者電子デバイスは、入力／出力（Ｉ／Ｏ）バスを通じてＣＰＵと通信するハードドライブなどの永久ストレージデバイスを含むこともできる。テープドライブ、光学ディスクドライブ、又は他のストレージデバイスなどの他の種類のストレージデバイスも接続することができる。ビデオバスを介してグラフィクスカードもＣＰＵに接続することができ、グラフィクスカードがディスプレイデータを表す信号をディスプレイモニタに送信する。キーボード又はマウスなどの外部周辺データ入力デバイスをＵＳＢポートを通じてオーディオ再生システムに接続することができる。ＵＳＢコントローラがＵＳＢポートに接続された外部周辺装置のＣＰＵとの間でデータ及び命令を翻訳する。プリンタ、マイクロフォン、スピーカ、又は他のデバイスなどの追加のデバイスを消費者電子デバイスに接続することができる。

消費者電子デバイスは、ワシントン州レドモンドのマイクロソフト社製のＷＩＮＤＯＷＳ、カリフォルニア州クパチーノのアップル社製のＭＡＣ ＯＳ、Ａｎｄｒｏｉｄなどのモバイルオペレーティングシステム用に設計されたモバイルＧＵＩの様々なバージョン、又は他のオペレーティングシステムなどのグラフィクスユーザインタフェース（ＧＵＩ）を有するオペレーティングシステムを用いることができる。消費者電子デバイスは１又は２以上のコンピュータプログラムを実行することができる。一般的には、オペレーティングシステム及びコンピュータプログラムは、コンピュータ可読媒体に有形で実施され、コンピュータ可読媒体は、ハードドライブを含む固定又は取り外し可能なデータストレージデバイスの１又は２以上を含む。オペレーティングシステム及びコンピュータプログラムの両方をＣＰＵによる実行のために前述のデータストレージデバイスからＲＡＭにロードすることができる。コンピュータプログラムは命令を含むことができ、この命令がＣＰＵによって読み取られ実行されるときに、ＣＰＵにステップを実施させ本発明の主題のステップ又は特徴を実行する。

オーディオコーデックは、様々な構成又はアーキテクチャを含むことができる。何れかのこのような構成又はアーキテクチャは、本発明の主題の範囲から逸脱することなく容易に置き換えることができる。当業者であれば、上述のシーケンスがコンピュータ可読媒体で最も一般的に用いられるが、本発明の主題の範囲から逸脱することなく置き換えることができる他の既存のシーケンスも存在することを理解するであろう。

オーディオコーデックの１つの実施形態の要素は、ハードウェア、ファームウェア、ソフトウェア、又はこれらの何れかの組み合わせによって実施することができる。ハードウェアとして実施されたときに、オーディオコーデックを単一オーディオ信号プロセッサで利用できるか又は様々な処理構成要素間に分散させることができる。ソフトウェアで実施されるときは、本発明の主題の実施形態の要素が必要なタスクを実行するためのコードセグメントを含むことができる。ソフトウェアは、本発明の主題の１つの実施形態に記述される動作を実行するための実際のコードを含むか、又は動作を真似るか又はシミュレートするコードを含むのが好ましい。このプログラム又はコードセグメントは、プロセッサ又は機械アクセス可能媒体に格納するか又は送信媒体を通じて搬送波（例えば、キャリアによって変調される信号）で実施されるコンピュータデータ信号によって送信することができる。「プロセッサ可読又はアクセス可能媒体」又は「機械可読又はアクセス可能媒体」は、情報を格納、送信、又は転送することができる何れかの媒体を含むことができる。

プロセッサ可読媒体の実施例は、電子回路、半導体メモリデバイス、読取り専用メモリ（ＲＯＭ）、フラッシュメモリ、消去可能プログラマブルＲＯＭ（ＥＰＲＯＭ）、フロッピーディスケット、コンパクトディスク（ＣＤ）ＲＯＭ、光学ディスク、ハードディスク、光ファイバ媒体、無線周波数（ＲＦ）リンク、又は他の媒体を含む。コンピュータデータ信号は、電子ネットワークチャネル、光ファイバ、空気、電磁的、ＲＦリンク、、又は他の伝送媒体などの伝送媒体を通じて伝播できる何れかの信号を含むことができる。コードセグメントは、インターネット、イントラネット、又は別のネットワークなどのコンピュータネットワークを介してダウンロードすることができる。機械アクセス可能媒体は、製造物品にて具現化することができる。機械アクセス可能媒体は、機械によってアクセスされたときに、以下に説明する動作を機械に実行させるデータを含むことができる。本明細書での用語「データ」は、機械可読目的で符号化される何れかの種類の情報を指し、プログラム、コード、データ、ファイル、又は他の情報を含むことができる。

本発明の主題の実施形態はソフトウェアによって実装することができる。ソフトウェアは、互いに結合された複数のモジュールを含むことができる。ソフトウェアモジュールは、別のモジュールに結合されて、変数、パラメータ、引数、ポインタ、結果、更新された変数、ポインタ、又は他の入力又は出力を生成、送信、受信、又は処理する。ソフトウェアモジュールはまた、プラットフォーム上で実行されるオペレーティングシステムと対話するためのソフトウェアドライバ又はインタフェースとすることもできる。ソフトウェアモジュールはまた、ハードウェアデバイスとの間でデータを構成、セットアップ、初期化、送信、又は受信するためのハードウェアドライバとすることができる。

本発明の主題の実施形態は、通常はフローチャート、流れ図、構造図、又はブロック図として表される処理として記述することができる。ブロック図は順次的処理として動作を記述することができるが、これらの動作の多くは、並列で又は同時に実行することができる。加えて、動作の順序は、並べ替えることができる。処理は、その動作が完了したときに終了することができる。処理は、方法、プログラム、手順、又はステップの他のグループに対応することができる。

特定の実施形態について、本明細書で例証し説明してきたが、同じ目的を達成するために計画されるあらゆる構成が、図示した特定の実施形態に対して置き換え得ることは、当業者には理解されるであろう。様々な実施形態は、本明細書で記載される実施形態の置換及び／又は組み合わせを用いる。上記の説明は、例証を意図しており、限定ではないこと、及び本明細書で用いる表現及び用語は説明の目的であることを理解されたい。上記の実施形態と他の実施形態の組み合わせは、上記の説明を学習した当業者には明らかであろう。本開示について、本開示の例示的な実施形態を参照しながら詳細に説明してきたが、様々な変更及び修正が実施形態の範囲から逸脱することなく本明細書にて行い得ることは当業者には明らかであろう。従って、本開示は、本開示の修正及び変形形態が添付の請求項及びそれらの均等物の範囲内にある場合、これらに及ぶものとする。本明細書にて引用又は言及される各特許及び特許公開は、個々にその全体が引用により組み入れられるか、又は全体が本明細書に記載されるのと同等に引用により本明細書に組み入れられる。本明細書の教示とのこれらの特許又は特許公開の何らかの不一致は、本明細書の教示によって管理される。

本明細書で開示される方法及び装置をより良好に例証するために、実施形態の非限定的なリストが提示される。

実施例１は、１又は２以上のプロセッサと、命令を含むストレージデバイスとを備えた没入型サウンドシステムであって、この命令は、１又は２以上のプロセッサによって実行されたときに、複数の３次元サウンドソース位置内の対応する意図されたサウンドソース位置と各々が関連付けられる複数のオーディオサウンドソースを受信し、複数の補償利得を含む補償アレイ出力を複数の３次元サウンドソース位置に基づいて生成し、複数のオーディオサウンドソース及び複数の補償利得に基づいて複数の補償されたオーディオソースを生成する、ように１又は２以上のプロセッサを構成する。

実施例２では、実施例１の主題は、複数の補償オーディオソースに基づいてバイノーラルクロストークキャンセレーション出力を生成し、バイノーラルクロストークキャンセレーション出力に基づいてバイノーラルサウンド出力を変換する、ように１又は２以上のプロセッサを更に構成する命令を任意選択的に含む。

実施例３では、実施例２の主題は、サウンドソースメタデータを受信するよう１又は２以上のプロセッサを更に構成する命令を任意選択的に含み、複数の３次元サウンドソース位置は、受信されたサウンドソースメタデータに基づく。

実施例４では、実施例２－３のうちの何れか１又は２以上の実施例の主題は、任意選択的に複数のオーディオサウンドソースを含み、複数のオーディオサウンドソースが、標準的なサラウンドサウンドデバイスレイアウトに関連付けられ、複数の３次元サウンドソース位置が、事前に決められたサラウンドサウンドデバイスレイアウトに基づく。

実施例５では、実施例４の主題が任意選択的にサラウンドサウンドを含む。

実施例６では、実施例１－５のうちの何れか１又は２以上の実施例の主題は、チューニングパラメータを受信するよう１又は２以上のプロセッサを更に構成する命令を任意選択的に含み、補償アレイ出力の生成が、受信されたチューニングパラメータに基づく。

実施例７では、実施例６の主題は、ユーザチューニング入力を受信し、受信したユーザチューニング入力に基づいてチューニングパラメータを生成するよう１又は２以上のプロセッサを更に構成する命令を任意選択的に含む。

実施例８では、実施例１－７のうちの何れか１又は２以上の実施例の主題は、補償アレイ出力の生成が音色を補償するために周波数依存補償アレイに基づくことを任意選択的に含む。

実施例９では、実施例１－８のうちの何れか１又は２以上の実施例の主題は、補償アレイ出力の生成が周波数に依存しない補償アレイに基づくことを任意選択的に含む。

実施例１０では、実施例３－９のうちの何れか１又は２以上の実施例の主題は、補償アレイ出力の生成がバイノーラルクロストークキャンセレーション出力に更に基づくことを任意選択的に含む。

実施例１１では、実施例３－１０のうちの何れか１又は２以上の実施例の主題は、バイノーラルクロストークキャンセレーション出力がＣＴＣ方位角及びエレベーション情報を含むことを任意選択的に含む。

実施例１２では、実施例３－１１のうちの何れか１又は２以上の実施例の主題は、バイノーラルクロストークキャンセレーション出力がリスナー位置及び複数のラウドスピーカの各々までの距離を含むことを任意選択的に含む。

実施例１３は、複数のオーディオサウンドソースを受信するステップであって、複数のオーディオサウンドソースの各々が、複数の３次元サウンドソース位置内の対応する意図されたサウンドソース位置と関連付けられる、ステップと、複数の３次元サウンドソース位置に基づいて、複数の補償された利得を含む補償アレイ出力を生成するステップと、複数のオーディオサウンドソース及び複数の補償された利得に基づいて複数の補償されたオーディオソースを生成するステップと、を含む没入型サウンド方法である。

実施例１４では、実施例１３の主題は、複数の補償されたオーディオソースに基づいてバイノーラルクロストークキャンセレーション出力を生成するステップと、バイノーラルクロストークキャンセレーション出力に基づいてバイノーラルサウンド出力を変換するステップとを任意選択的に含む。

実施例１５では、実施例１４の主題は、サウンドソースメタデータを受信するステップを任意選択的に含み、複数の３次元サウンドソース位置は、受信されたサウンドソースメタデータに基づく。

実施例１６では、実施例１４－１５のうちの何れか１又は２以上の実施例の主題は、複数のオーディオサウンドソースが標準的なサラウンドサウンドデバイスレイアウトに関連付けられること、複数の３次元サウンドソース位置が、事前に決められたサラウンドサウンドデバイスレイアウトに基づくことを、任意選択的に含む。

実施例１７では、実施例１６の主題は、サラウンドサウンドを任意選択的に含む。

実施例１８では、実施例１３－１７のうちの何れか１又は２以上の実施例の主題は、チューニングパラメータを受信するステップを任意選択的に含み、補償アレイ出力の生成が、受信されたチューニングパラメータに基づく。

実施例１９では、実施例１８の主題は、ユーザチューニング入力を受信するステップと、受信したユーザチューニング入力に基づいてチューニングパラメータを生成するステップとを任意選択的に含む。

実施例２０では、実施例１３－１９のうちの何れか１又は２以上の実施例の主題は、補償アレイ出力の生成が音色を補償するための周波数依存補償アレイに基づくことを任意選択的に含む。

実施例２１では、実施例１３－２０のうちの何れか１又は２以上の実施例の主題は、補償アレイ出力の生成が、周波数に依存しない補償アレイに基づくことを任意選択的に含む。

実施例２２では、実施例１５－２１のうちの何れか１又は２以上の実施例の主題は、補償アレイ出力の生成が、バイノーラルクロストークキャンセレーション出力に基づくことを任意選択的に含む。

実施例２３では、実施例１５－２２のうちの何れか１又は２以上の実施例の主題は、バイノーラルクロストークキャンセレーション出力がＣＴＣ方位角及びエレベーション情報を含むことを任意選択的に含む。

実施例２４では、実施例１５－２３のうちの何れか１又は２以上の実施例の主題は、バイノーラルクロストークキャンセレーション出力がリスナー位置及び複数のラウドスピーカの各々までの距離を含むことを任意選択的に含む。

実施例２５は、コンピュータシステムによって実行されたときに実施例１３－４３の方法の何れかをコンピュータシステムに実行させる命令を含む１又は２以上の機械可読媒体である。

実施例２６は、実施例１３－２４の方法の何れかを実行する手段を含む装置である。

実施例２７は、複数の命令を含む機械可読ストレージ媒体であって、該命令は、デバイスのプロセッサによって実行されたときに、デバイスに、複数の３次元サウンドソース位置内の対応する意図されたサウンドソース位置と各々が関連付けられる複数のオーディオサウンドソースを受信させ、複数の補償された利得を含む補償アレイ出力を複数の３次元サウンドソース位置に基づいて生成させ、複数のオーディオサウンドソース及び複数の補償された利得に基づいて複数の補償されたオーディオソースを生成させる。

実施例２８では、実施例２７の主題が、デバイスに、複数の補償されたオーディオソースに基づいてバイノーラルクロストークキャンセレーション出力を生成し、バイノーラルクロストークキャンセレーション出力に基づいてバイノーラルサウンド出力を変換させる命令を任意選択的に含む。

実施例２９では、実施例２８の主題は、サウンドソースメタデータをデバイスに受信させる命令を任意選択的に含み、複数の３次元サウンドソース位置が、受信されたサウンドソースメタデータに基づく。

実施例３０では、実施例２８－２９のうちの何れか１又は２以上の実施例の主題は、複数のオーディオサウンドソースが標準的なサラウンドサウンドデバイスレイアウトに関連付けられること、及び複数の３次元サウンドソース位置が事前に決められたサラウンドサウンドデバイスレイアウトに基づくことを任意選択的に含む。

実施例３１では、実施例３０の主題は、サラウンドサウンドを任意選択的に含む。

実施例３２では、実施例２７－３１のうちの何れか１又は２以上の実施例の主題は、チューニングパラメータをデバイスに受信させる命令を任意選択的に含み、補償アレイ出力の生成が、受信したチューニングパラメータに基づく。

実施例３３では、実施例３２の主題は、デバイスに、ユーザチューニング入力を受信させ、受信したユーザチューニング入力に基づいてチューニングパラメータを生成させる命令を任意選択的に含む。

実施例３４では、実施例２７－３３のうちの何れか１又は２以上の実施例の主題は、補償アレイ出力の生成が音色を補償するための周波数依存補償アレイに基づくことを任意選択的に含む。

実施例３５では、実施例２７－３４のうちの何れか１又は２以上の実施例の主題は、補償アレイ出力の生成が周波数に依存しない補償アレイに基づくことを任意選択的に含む。

実施例３６では、実施例２９－３５のうちの何れか１又は２以上の実施例の主題は、補償アレイ出力の生成がバイノーラルクロストークキャンセレーション出力に更に基づくことを任意選択的に含む。

実施例３７では、実施例２９－３６のうちの何れか１又は２以上の実施例の主題は、バイノーラルクロストークキャンセレーション出力がＣＴＣ方位角及びエレベーション情報を含むことを任意選択的に含む。

実施例３８では、実施例２９－３７のうちの何れか１又は２以上の実施例の主題は、バイノーラルクロストークキャンセレーション出力がリスナー位置及び複数のラウドスピーカの各々までの距離を含むことを任意選択的に含む。

実施例３９は、複数の３次元サウンドソース位置内の対応する意図されたサウンドソース位置と各々が関連付けられる複数のオーディオサウンドソースを受信する手段と、複数の３次元サウンドソース位置に基づいて、複数の補償された利得を含む補償アレイ出力を生成する手段と、複数のオーディオサウンドソース及び複数の補償された利得に基づいて複数の補償されたオーディオソースを生成する手段とを含む、没入型サウンドシステム装置である。

実施例４０は、機械によって実行されたときに、実施例１－３９の動作の何れかの動作を機械に実行させる命令を含む１又は２以上の機械可読媒体である。

実施例４１は、実施例１－３９の動作の何れかを実行する手段を含む装置である。

実施例４２は、実施例１－３９の何れかの動作を実行するシステムである。

実施例４３は、実施例１－３９の何れかの動作を実行する方法である。

上記の詳細な説明は、この詳細な説明の一部を形成する添付図面の参照を含む。図面は、例証として特定の実施形態を示す。これらの実施形態はまた、「実施例」として本明細書で参照される。このような実施例は、図示又は説明されたものに加えて要素を含むことができる。更に、本発明の主題は、特定の実施例（又はこの１又は２以上の態様）に関して、又は本明細書で図示又は説明された他の実施例（又はこの１又は２以上の態様）に関しての何れかにおいて、図示又は説明された要素（又はこの１又は２以上の態様）の何れかの組み合わせ又は置換を含むことができる。

本明細書において、用語「ａ」又は「ａｎ」は、特許文献で共通するように、「少なくとも１つ」又は「１又は２以上」の他の何れかの事例又は使用に関係なく１又は１よりも多いものを含むのに使用される。本明細書において、用語「ｏｒ（又は）」は、非排他的であることを指すのに使用され、すなわち、別途指示がない限り、「Ａ又はＢ」が「ＢではなくＡ」、「ＡではなくＢ」、及び「Ａ及びＢ」を含むものとする。本明細書において、「ｉｎｃｌｕｄｉｎｇ」及び「ｉｎ ｗｈｉｃｈ」は、それぞれの用語「ｃｏｍｐｒｉｓｉｎｇ」及び「ｗｈｅｒｅｉｎ」の一般的意味の等価物として使用される。また、以下の請求項において、用語「ｉｎｃｌｕｄｉｎｇ」及び「ｃｏｍｐｒｉｓｉｎｇ」は、非制限的なものであり、すなわち、請求項におけるこのような用語の後に列挙された用語に加えて要素を含むシステム、デバイス、製品、組成物、配合物、又はプロセスは、当該請求項の範囲内にあるものと見なされる。更に、以下の請求項において、「第１」、「第２」、及び「第３」などの用語は、単にラベルとして用いられ、これらの対象に対して数値的要件を課すものではない。

上記の説明は例証であり限定ではないものとする。例えば、上述の実施例（又はこの１又は２以上の態様）は、互いに組み合わせて用いることができる。上記の説明を読むと、当業者によってなど、他の実施形態を用いることができる。要約は、読んだ人が技術的開示の本質を迅速に確認できるようにするために提供される。この要約は、請求項の範囲又は意味を解釈又は限定するのに用いられないという了解の下で提示される。上記の詳細な説明では、様々な特徴を共にグループ化して、本開示を簡素化することができる。これは、特許請求されていない開示された特徴が何れかの請求項に必須であるという意図として解釈すべきではない。むしろ、本発明の主題は、特定の開示された実施形態の全ての特徴より少ない特徴にある。従って、以下の請求項は、本明細書で詳細な説明に組み入れられ、各請求項は、別個の実施形態として単独で成立しており、このような実施形態が様々な組み合わせ又は置換で互いに組み合わせ得ることが企図される。本発明の範囲は、このような請求項が与えられる均等物の全範囲と共に添付の請求項を参照して決定すべきである。

Claims (17)

1. 没入型サウンドシステムであって、
   １又は２以上のプロセッサと、
   命令を含むストレージデバイスと、
   を備え、
   前記命令が、前記１又は２以上のプロセッサによって実行されたときに、
   複数の３次元サウンドソース位置内の対応する意図されたサウンドソース位置と各々が関連付けられる複数のオーディオサウンドソースを受信し、
   前記複数の３次元サウンドソース位置に基づいて、複数の補償された利得を含む補償アレイ出力を生成し、
   前記複数のオーディオサウンドソース及び前記複数の補償された利得に基づいて複数の補償されたオーディオソースを生成し、
   バイノーラルクロストークキャンセレーションの入力信号として提供される前記複数の補償されたオーディオソースに基づいて、バイノーラルクロストークキャンセレーション出力を生成し、
   前記バイノーラルクロストークキャンセレーション出力に基づいてバイノーラルサウンド出力を変換する、
   ように前記１又は２以上のプロセッサを構成する、
   没入型サウンドシステム。
2. 前記命令は更に、サウンドソースメタデータを受信するよう前記１又は２以上のプロセッサを構成し、前記複数の３次元サウンドソース位置は、前記受信したサウンドソースメタデータに基づく、
   請求項１に記載の没入型サウンドシステム。
3. 前記複数のオーディオサウンドソースは、標準的なサラウンドサウンドデバイスレイアウトに関連付けられ、
   前記複数の３次元サウンドソース位置は、事前に決められた前記サラウンドサウンドデバイスレイアウトに基づく、
   請求項１に記載の没入型サウンドシステム。
4. 前記標準的なサラウンドサウンドデバイスレイアウトは、５．１サラウンドサウンド、７．１サラウンドサウンド、１０．２サラウンドサウンド、１１．１サラウンドサウンド、及び２２．２サラウンドサウンドのうちの少なくとも１つを含む、
   請求項３に記載の没入型サウンドシステム。
5. 前記命令が更に、チューニングパラメータを受信するよう前記１又は２以上のプロセッサを構成し、前記補償アレイ出力の生成は、受信した前記チューニングパラメータに基づく、
   請求項１に記載の没入型サウンドシステム。
6. 前記命令が更に、
   ユーザチューニング入力を受信し、
   受信した前記ユーザチューニング入力に基づいて前記チューニングパラメータを生成する、
   よう前記１又は２以上のプロセッサを構成する、
   請求項５に記載の没入型サウンドシステム。
7. 前記補償アレイ出力の生成は、音色を補償するための周波数依存補償アレイに基づく、 請求項１に記載の没入型サウンドシステム。
8. 前記補償アレイ出力の生成は、前記バイノーラルクロストークキャンセレーション出力に更に基づく、
   請求項２に記載の没入型サウンドシステム。
9. 前記バイノーラルクロストークキャンセレーション出力は、ＣＴＣ方位角及びエレベーション情報を含む、
   請求項２に記載の没入型サウンドシステム。
10. 前記バイノーラルクロストークキャンセレーション出力は、リスナー位置及び複数のラウドスピーカの各々までの距離を含む、
    請求項２に記載の没入型サウンドシステム。
11. 複数のオーディオサウンドソースを受信するステップであって、該複数のオーディオサウンドソースの各々が、複数の３次元サウンドソース位置内の対応する意図されたサウンドソース位置と関連付けられる、ステップと、
    前記複数の３次元サウンドソース位置に基づいて、複数の補償された利得を含む補償アレイ出力を生成するステップと、
    前記複数のオーディオサウンドソース及び前記複数の補償された利得に基づいて複数の補償されたオーディオソースを生成するステップと、
    バイノーラルクロストークキャンセレーションの入力信号として提供される前記複数の補償されたオーディオソースに基づいて、バイノーラルクロストークキャンセレーション出力を生成するステップと、
    前記バイノーラルクロストークキャンセレーション出力に基づいて、バイノーラルサウンド出力を変換するステップと、
    を含む、
    没入型サウンド方法。
12. サウンドソースメタデータを受信するステップを更に含み、前記複数の３次元サウンドソース位置は、前記受信されたサウンドソースメタデータに基づく、
    請求項１１に記載の没入型サウンド方法。
13. 前記複数のオーディオサウンドソースは、標準的なサラウンドサウンドデバイスレイアウトに関連付けられ、
    前記複数の３次元サウンドソース位置は、事前に決められた前記サラウンドサウンドデバイスレイアウトに基づく、
    請求項１１に記載の没入型サウンド方法。
14. チューニングパラメータを受信するステップを更に含み、前記補償アレイ出力の生成は、受信された前記チューニングパラメータに基づく、
    請求項１１に記載の没入型サウンド方法。
15. ユーザチューニング入力を受信するステップと、
    受信した前記ユーザチューニング入力に基づいて前記チューニングパラメータを生成するステップと、
    を更に含む、
    請求項１４に記載の没入型サウンド方法。
16. デバイスのプロセッサによって実行されたときに前記デバイスに対して動作を実行させる複数の命令を含む機械可読ストレージ媒体であって、
    前記動作が、
    複数の３次元サウンドソース位置内の対応する意図されたサウンドソース位置と各々が関連付けられる複数のオーディオサウンドソースを受信するステップと、
    前記複数の３次元サウンドソース位置に基づいて、複数の補償された利得を含む補償アレイ出力を生成するステップと、
    前記複数のオーディオサウンドソース及び前記複数の補償された利得に基づいて複数の補償されたオーディオソースを生成するステップと、
    バイノーラルクロストークキャンセレーションの入力信号として提供される前記複数の補償されたオーディオソースに基づいて、バイノーラルクロストークキャンセレーション出力を生成するステップと、
    前記バイノーラルクロストークキャンセレーション出力に基づいてバイノーラルサウンド出力を変換するステップと、
    を含む、
    機械可読ストレージ媒体。
17. 前記命令は、前記デバイスにチューニングパラメータを受信させ、前記補償アレイ出力の生成は、前記受信したチューニングパラメータに基づく、
    請求項１６に記載の機械可読ストレージ媒体。

Images