JP7842872B2 - 没入型オーディオの再生のためのオーディオ処理方法 - Google Patents

Description

（関連出願への相互参照）
本願は、以下の優先権出願の優先権を主張する。２０２１年１２月２０日に出願された米国仮出願６３／２９１，５９８号（参照番号：Ｄ２１１４７ＡＵＳＰ１）、２０２２年６月２０日に出願された米国仮出願６３／３５３，７７８号（参照番号：Ｄ２１１４７ＡＵＳＰ２）、および２０２２年６月２０日に出願されたＥＰ出願ＥＰ２２１７９９４３．０号（参照番号：Ｄ２１１４７ＡＥＰ）。

本開示は、オーディオ処理の分野に関する。特に、本開示は、没入型オーディオフォーマットのオーディオから少なくとも２つのオーディオチャンネルを生成し、（非没入型）スピーカシステムを用いて前記少なくとも２つのオーディオチャンネルを再生する方法に関する。本開示はさらに、本方法を実行するように構成されたプロセッサを備える装置、本装置を備える車両、プログラムおよびコンピュータ読み取り可能な記憶媒体に関する。

車両は通常、オーディオ再生用のスピーカシステムを備えている。車両におけるスピーカシステムは、例えばテープ、ＣＤ、オーディオストリーミングサービス、または車両の車載エンターテインメントシステムでもしくは車両に接続されたデバイスを介してリモートで実行されるアプリケーションから、オーディオを再生するために使用され得る。デバイスは、例えば、車両に無線またはケーブルで接続されたポータブルデバイスであってもよい。例えば、最近では、ＳｐｏｔｉｆｙやＴｉｄａｌなどのストリーミングサービスが、車両のハードウェア（通常は「ヘッドユニット」として知られる）に直接統合されるか、あるいはＢｌｕｅｔｏｏｔｈやＡｐｐｌｅ ＣａｒＰｌａｙ、Ａｎｄｒｏｉｄ Ａｕｔｏを用いてスマートフォンを介して車載エンターテインメントシステムに統合されている。また、車両のスピーカシステムは、地上波ラジオおよび／または衛星ラジオの再生に使用されることもある。従来の車両用スピーカシステムは、ステレオスピーカシステムである。ステレオスピーカシステムは、フロントおよびリアの乗客のためにそれぞれ、フロントペアのスピーカおよびリアペアのスピーカの合計４つのスピーカを含むことがある。しかしより近年では、車両にＤＶＤプレーヤが導入されたために、ＤＶＤオーディオフォーマットの再生をサポートするサラウンドスピーカシステムが車両に導入されている。図１は、車両１００の室内図を示す。車両１００は、スピーカ１０、１１、３０、３１、４１、４２および４３を含むサラウンドスピーカシステムを有する。スピーカは、車両１００の左側についてのみ示されている。対応するスピーカが車両１００の右側に対称的に配置され得る。特に、図１のサラウンドスピーカシステムには、ツイータースピーカ４１、４２および４３のペア、フルレンジフロントスピーカ３０およびリアスピーカ３１のペア、センタースピーカ１０、ならびに低域効果（Low Frequency Effects）スピーカまたはサブウーファー１１が含まれる。ツイータースピーカ４１は、車両のダッシュボードの近くに配置されている。ツイータースピーカ４２は、車両１００のフロントサイドピラーの低い位置に設置されている。しかし、トゥイータースピーカ４１、４２、４３だけでなく、フルレンジのフロントスピーカ３０およびリアスピーカ３１も、特定の実装に適した任意の位置に配置することができる。

映画館や家庭のリスニング環境では、没入型オーディオが主流になりつつある。没入型オーディオが映画館や家庭で主流になりつつある今、没入型オーディオが車内でも再生されるようになると考えるのは自然なことである。Ｄｏｌｂｙ Ａｔｍｏｓ Ｍｕｓｉｃは、すでに様々なストリーミングサービスで利用できる。没入型オーディオは、オーバーヘッドまたはハイトオーディオ（height audio）チャンネルを含むことによって、しばしばサラウンドオーディオフォーマットと区別される。そのため、没入型オーディオの再生には、オーバーヘッドまたはハイトスピーカ（height loudspeakers）が使用される。高級車にはこのようなオーバーヘッドまたはハイトスピーカが搭載されることもあるが、従来の車両のほとんどは、ステレオスピーカシステムや、図１に示すようなより高度なサラウンドスピーカシステムを使用している。実際、ハイトスピーカは車両のスピーカシステムの複雑さを劇的に増大させる。ハイトスピーカは、通常この目的には適さない車両のルーフに設置する必要がある。例えば、車両は通常ルーフが低いため、ハイトスピーカを設置できる高さが制限される。さらに、車両はサンルーフ（車両のルーフに設けたウィンドウが開く）を取り付けるオプションで販売されることがしばしばあり、ルーフにハイトスピーカを設置することは産業設計的に困難である。また、このようなハイトスピーカには、追加のオーディオケーブルが必要になることもある。このような理由から、ハイトスピーカを車両に組み込むことは、スペースや産業設計上の制約から高コストになり得る。

没入型オーディオコンテンツを、例えばステレオスピーカシステムまたはサラウンドスピーカシステムなどの非没入型スピーカシステムで再生することは有利であろう。本開示の文脈において「非没入型スピーカシステム」とは、少なくとも２つのスピーカを備えるが、オーバーヘッドスピーカがない（すなわちこれを有しない）、すなわちハイトスピーカを有しないスピーカ／スピーカシステムである。

没入型オーディオコンテンツを、オーバーヘッドスピーカを使用しなくてもユーザーのオーディオ体験が向上するように非没入型スピーカシステムで再生することで、音の高さ（height）の知覚を作り出すことは有利であろう。

本開示の一態様は、少なくとも１つのハイトオーディオチャンネルおよび少なくとも２つの非ハイトオーディオチャンネルを含む没入型オーディオフォーマットのオーディオから、少なくとも２つのオーディオチャンネルを生成し、車両内（または任意のリスニング環境内）の少なくとも２つのオーディオスピーカの非没入型スピーカシステムを用いて前記少なくとも２つのオーディオチャンネルを再生する方法を提供する。この方法は、少なくとも１つのハイトチャンネルに仮想ハイトフィルタを適用することを含む。仮想ハイトフィルタは、前記少なくとも１つのオーディオハイトチャンネルが前記少なくとも２つのスピーカのうちの１つによって再生されたとき、前記少なくとも１つのハイトチャンネルのうちハイトチャンネルが再生されている前記スピーカから直接発せられるスペクトル成分を少なくとも部分的に減衰させるように構成される。仮想ハイトフィルタはまた、前記少なくとも１つのハイトチャンネルのうち前記車両におけるルーフまたは前記ルーフに近い領域から反射されるスペクトル成分を少なくとも部分的に増幅することにより、少なくとも１つの仮想ハイトフィルタリングされたオーディオ信号を生成するように構成される。本方法はさらに、前記少なくとも１つの仮想ハイトフィルタリングされたオーディオ信号を前記２つの非ハイトオーディオチャンネルの少なくとも一方とミキシングすることにより、前記少なくとも２つのオーディオチャンネルを生成することを含む。

本開示の文脈において、「チャンネル」という用語は、オーディオ信号のみならず、その位置がチャンネル識別子（例えば、左フロントまたは右トップサラウンド）として符号化されたメタデータを任意に（optionally）加えたものを意味する。「チャンネルベースのオーディオ」とは、予め定義されたスピーカゾーンのセット（例えば、５．１、７．１など）を介して再生するようにフォーマットされたオーディオであり、これらスピーカゾーンのセットは対応付けられた公称位置を有する。「オブジェクト」または「オブジェクトベースのオーディオ」という用語は、見かけのソース位置（たとえば、３Ｄ座標）、見かけのソース幅など、パラメトリックなソース記述を有する１つ以上のオーディオチャンネルを意味する。

ハイトチャンネルがフィルタリングなしで少なくとも２つのスピーカのうちの１つから再生される場合、音は異なる経路に沿って放射される可能性がある。スピーカからリスニング位置（例えば、乗客や運転者の耳）へ直接経路に沿って放射される音もあるが、他の音は、スピーカからリスニング位置へ反射経路で放射されることもある。例えば、ある音は、車両内のルーフまたはルーフに近い領域から反射されるため、ルーフまたはルーフに近い領域からリスニング位置に放射される場合がある。ハイトチャンネルが再生されるとき、直接経路に沿って放射される音は望ましくない。仮想ハイトフィルタを少なくとも１つのハイトチャンネルに適用することにより、ルーフまたはルーフの近くから反射されるハイトチャンネルのスペクトル成分は増幅され、スピーカに直接発せられたハイトチャンネルのスペクトル成分は減衰される。上記のように構成された本方法は、望ましくない直接音を補償し、少なくとも２つのスピーカのうちの１つに供給されるオーディオ信号に知覚的な高さの手がかり（perceptual height cues）を導入することで、仮想ハイト信号の定位および知覚品質を向上させる。例えば、仮想ハイトフィルタを作成するために指向性聴覚モデルが開発されており、これは少なくとも２つのスピーカによって再生されているオーディオを処理するために使用されたとき、再生の知覚品質を向上させる。

ある実施形態において、前記没入型オーディオフォーマットの前記オーディオは少なくとも２つのさらなる非ハイトオーディオチャンネルをさらに含んでもよい。前記仮想ハイトフィルタリングされたオーディオ信号は、非ハイトオーディオチャンネルの各１つとミキシングされることにより、４つのオーディオチャンネルを生成してもよい。

ある実施形態において、前記没入型オーディオフォーマットのオーディオは少なくとも２つのハイトオーディオチャンネルを含んでもよい。前記仮想ハイトフィルタは、少なくとも２つのハイトオーディオチャンネルの各１つに適用されることにより少なくとも２つの仮想ハイトフィルタリングされたオーディオ信号を生成してもよい。前記仮想ハイトフィルタリングされたオーディオ信号の各１つは前記少なくとも２つの非ハイトチャンネルの１つとミキシングされてもい。

ある実施形態において、前記没入型オーディオフォーマットのオーディオは４つのハイトオーディオチャンネルおよび４つの非ハイトオーディオチャンネルを含んでもよい。前記仮想ハイトフィルタは前記４つのハイトオーディオチャンネルの各１つに適用されることにより４つの仮想ハイトフィルタリングされたオーディオ信号を生成してもよい。前記仮想ハイトフィルタリングされたオーディオ信号の各１つは前記４つの非ハイトチャンネルの１つとミキシングされてもよい。

ある実施形態において、前記仮想ハイトフィルタはフィルタ伝達関数を有してもよく、前記方法は、前記フィルタ伝達関数を識別する１つ以上のパラメータから前記仮想ハイトフィルタの前記フィルタ伝達関数を決定することをさらに含んでもよい。

ある実施形態において、前記方法は、前記１つ以上のパラメータをルックアップテーブルまたは解析関数としてプロセッサに格納することをさらに含んでもよい。

ある実施形態において、前記仮想ハイトフィルタは、第１の周波数にピークを有し、かつ前記第１の周波数より高い第２の周波数にノッチを有するフィルタ伝達関数を有してもよい。

ある実施形態において、前記少なくとも２つのオーディオスピーカは、リスニング位置に対して側方に間隔を有し、かつ前記方法は、前記リスニング位置からの前記少なくとも２つのスピーカの相対距離と前記リスニング位置に対する前記ルーフまたは前記ルーフに近い領域の高度とに基づいて、前記仮想ハイトフィルタのためのフィルタ伝達関数を決定することをさらに含んでもよい。

ある実施形態において、前記少なくとも２つのオーディオスピーカはリスニング位置に対して側方に間隔を有しており、かつ前記方法は、前記リスニング位置からの前記少なくとも２つのスピーカの相対距離の範囲と前記リスニング位置に対する前記ルーフまたは前記ルーフに近い領域の高度の範囲とに基づいて、複数の仮想ハイトフィルタのための複数のフィルタ伝達関数を取得することと、前記複数のフィルタ伝達関数から１つのフィルタ伝達関数を選択することとをさらに含んでもよい。

ある実施形態において、前記選択されたフィルタ伝達関数は、前記複数のフィルタ伝達関数の平均であってもよい。

ある実施形態において、前記複数のフィルタ伝達関数から１つのフィルタ伝達関数を選択することは、前記リスニング位置からの前記少なくとも２つのスピーカの平均距離と前記リスニング位置に対する前記ルーフまたは前記ルーフに近い領域の平均高度とに基づいて、前記選択されたフィルタ伝達関数を識別する１つ以上のパラメータを選択することを含んでもよい。

ある実施形態において、上記方法の取得し、選択し、適用し、ミキシングすることは、前記フィルタ伝達関数が音の高度の知覚を最大にする前記少なくとも２つのチャンネルの再生を提供するまで、各選択されたフィルタ伝達関数に対し反復的に適用されてもよい。

ある実施形態において、前記方法は、利得を前記仮想ハイトフィルタに適用することをさらに含んでもよい。ある実施形態において、前記利得はユーザー設定可能であってもよい。本開示の別の態様は、プロセッサと前記プロセッサに結合されたメモリとを備えた装置を提供し、前記プロセッサは、本開示で説明した方法のいずれかを実行するように構成されている。

本開示の別の態様は、このような装置を備える車両を提供する。

本開示の他の態様は、プロセッサによって実行されたとき、前記プロセッサにオーディオ処理方法を実行させる命令を含むプログラム、およびそのようなプログラムを格納したコンピュータ読み取り可能な記憶媒体をさらに提供する。

本開示の実施形態は、添付の図面において、例示のために図示されており、限定するものではない。添付の図面において、同様な参照符号は同様な要素を指している。
図１は、本開示の一実施形態に従って配置されたスピーカシステムを備えた車両の室内図を模式的に示している。 図２は、本開示の一実施形態による、没入型オーディオフォーマットのオーディオから少なくとも２つのオーディオチャンネルを生成する方法の一例を示すフローチャートである。 図２Ａは、本開示の一実施形態による、没入型オーディオフォーマットのオーディオから少なくとも２つのオーディオチャンネルを生成する方法の一例を模式的に示している。 図３は車両を模式的に示している。 図４は、本開示の一実施形態に従って配置されたスピーカシステムを備えた車両の上面図を模式的に示している。 図５は、車両における音の経路例を模式的に示している。 図６は、本開示のいくつかの実施形態による仮想ハイトフィルタのいくつかの例を模式的に示す。 図７は、本開示の一実施形態による、没入型オーディオフォーマットのオーディオから４つのオーディオチャンネルを生成する方法の一例を模式的に示している。 図８は、本開示の一実施形態による、没入型オーディオフォーマットのオーディオから２つのオーディオチャンネルを生成する方法の一例を模式的に示す。 図９は、本開示の一実施形態による、没入型オーディオフォーマットのオーディオから４つのオーディオチャンネルを生成する方法の一例を模式的に示している。 図１０は、本開示の一実施形態による、没入型オーディオフォーマットのオーディオから６つのオーディオチャンネルを生成する方法の一例を模式的に示している。 図１０Ａは、本開示の一実施形態による、没入型オーディオフォーマットのオーディオから８つのオーディオチャンネルを生成する方法の一例を模式的に示す。 図１１は、本開示の実施形態による方法を実施するための装置の一例を示す概略図である。

本開示の完全な理解を提供するために、多数の具体的な詳細を以下に記載する。しかし、本開示は、これらの具体的な詳細を伴わずに実施されてもよい。また、周知の部分は、あまり詳細を網羅的にせず説明することがある。図は模式的であり、本開示を理解するために関連する部分を含んでいるが、一方で他の部分は省略または単に示唆されている場合がある。

図２は、本開示の一実施形態による、没入型オーディオフォーマットのオーディオから少なくとも２つのオーディオチャンネルを生成する方法１０００の一例を示すフローチャートである。没入型オーディオフォーマットのオーディオは、少なくとも１つのハイトチャンネルおよび少なくとも２つの非ハイトチャンネルを備える。方法１０００は、生成された少なくとも２つのオーディオチャンネルを、車両における少なくとも２つのオーディオスピーカの非没入型スピーカシステムで再生するために用いられ得る。車両は、例えば商業目的または貨物の輸送に使用される任意のタイプの乗用車両または非乗用車両であってもよい。本開示で提供される例は、生成された少なくとも２つのオーディオチャンネルの再生が車両内で実行されることを想定している。しかしながら、生成された少なくとも２つのオーディオチャンネルは、特定の実装に適した任意の他のタイプのリスニング環境、例えば、閉じたまたは部分的に閉じたリスニング環境（例えば部屋）で再生されてもよい。

一例として、図３を参照すると、車両３０００（この例では４人乗りの自動車）が模式的に描かれている。簡単のため、図３にはスピーカの配置が示されていないが、図１のより詳細な車両１００の室内図には示されている。乗用車３０００は４つの座席３１１０、３１２０、３１３０および３１４０を有する。図１に示すスピーカシステムを考える場合、スピーカ３０、３１、４１、４２、４３について、対応するスピーカ（不図示）が車両３０００の右側に配置されることになる。図３を参照すると、車両３０００の左側にあるスピーカ群と車両３０００の右側にあるそれぞれの対応するスピーカ群は、車両３０００の中心をその長さに沿って横切る中心軸３１５０に関して、反射対称に配置される。座席３１１０、３１２０、３１３０および３１４０の各々、従ってそこに位置する潜在的なリスナーは、スピーカ３０、３１、４１、４２、４３（図３には不図示）と、車両の右側におけるそれぞれの対応するスピーカ（これらも図３には不図示）とからなるスピーカのいずれかの組に関して、対称中心から外れ得ることが理解される。例えば、運転席３１１０に座る運転者は、スピーカ３０、４１、４２と対応する右側スピーカ（不図示）との間で対称中心から外れることになる。運転者は、車両３０００の右側にある対応するスピーカよりも、スピーカ３０、４１および４２により近くなる。図１および図３において、運転席は、車両３０００の左側（運転方向前方に対して左側）に示されている。しかしながら、車両における運転席の位置は、地域によって異なり得ることが理解される。例えば、英国、オーストラリア、または日本では、運転席は、車両の運転方向前方に対して車両の右側に位置する。

非没入型スピーカシステムは、例えば、図１を参照して示したようなステレオスピーカシステムまたはサラウンドスピーカシステムであり得る。

ある実施形態において、没入型オーディオフォーマットのオーディオは、没入型オーディオフォーマットでレンダリングされたオーディオであってもよい。

（例えばレンダリングされた）オーディオの没入型オーディオフォーマットは、少なくとも１つのハイトチャンネルを含み得る。ある実施形態において、没入型オーディオフォーマットは、高度（elevation）をサポートするオブジェクトベースのオーディオフォーマット、例えばＤｏｌｂｙ Ａｔｍｏｓフォーマットであってもよい。別の実施形態では、没入型オーディオフォーマットは、高度をサポートするチャンネルベースのオーディオフォーマット、例えば、Ｘ．Ｙ．Ｚオーディオフォーマットであってもよい。ここで、Ｘ≧２は、フロントまたはサラウンドオーディオチャンネルの数であり、Ｙ≧０は、存在する場合、低域効果またはサブウーファーオーディオチャンネルであり、Ｚ≧１は、少なくとも１つのハイトオーディオチャンネルである。ある実施形態において、オブジェクトベースのオーディオフォーマット（例えば高度をサポートする）は、チャンネルベースのオーディオフォーマットのチャンネル群に対応するスピーカフィード群を生成するために、対応するチャンネルベースのオーディオフォーマットにレンダリングまたはプリレンダリングされ得る。図１に示すスピーカシステムは、５つのフロントまたはサラウンドスピーカ、２つの左オーディオスピーカ（たとえば、左および左サラウンド）、２つの右オーディオスピーカ（たとえば、右および右サラウンド）、センタースピーカ、および１つのＬＦＥスピーカを備えた、５．１オーディオを再生するための典型的な５．１スピーカシステムである。２つの左オーディオスピーカは、スピーカ３０、３１（ミッドレンジまたはフルレンジ周波数用）、４１、４２および４３（ハイレンジ周波数用）に対応する。センタースピーカはスピーカ１０に対応する。ＬＦＥスピーカはスピーカ１１に対応する。

例えば図４を参照すると、別の例示的な車両４０００の上面図を模式的に示している。車両４０００は、３つの異なる列に分配された６人または７人乗りの車両であってもよい。車両４０００は、例えば、ＳＵＶ（Sport Utility Vehicle）またはミニバスであってもよい。車両４０００は、６つの座席４１１０、４１２０、４１３０、４１４０、４１５０および４１６０を有する。車両４０００には、典型的な７．１スピーカシステムが実装され得る。図４に示すスピーカシステムは、３つの左スピーカ４２１０、４２３０および４２５０（例えば、左と２つの左サラウンド）および３つの右スピーカ４２２０、４２４０および４２６０（例えば、右と２つの右サラウンド）、センタースピーカ４２７０、ならびにＬＦＥスピーカ４２８０を有する。

図２に模式的に示した方法について、図２Ａも参照して説明する。

図２Ａを参照すると、没入型オーディオフォーマットのオーディオは、非ハイトチャンネル１０５０および１１００（例えば、左チャンネルおよび右チャンネル）と、（この例では単一の）ハイトチャンネル１０１０とを含み得る。図２Ａの例のスピーカシステムは、スピーカ１および２のステレオスピーカシステムである。この例では、スピーカ１および２は、チャンネル１０５０、１１００および１０１０の没入型オーディオフォーマットのオーディオの再生に使用される。方法１０００は、以下に説明するように、没入型オーディオフォーマットのオーディオから２つのチャンネル１００８および１０１６を生成する。没入型オーディオフォーマットの３つのチャンネルから２つのチャンネル１００８および１０１６が生成されるので、没入型オーディオフォーマットの３つのチャンネルは、再生のために２つのチャンネルにダウンミックスされていると言うことができる。

図２および図２Ａを参照すると、方法１０００は、仮想ハイトフィルタ１３００をハイトチャンネル１０１０に適用すること１５００を含む。仮想ハイトフィルタ１３００は、ハイトチャンネル１０１０のうちスピーカ１または２のうち一方から直接発せられるスペクトル成分を、ハイトチャンネル１０１０がそのようなスピーカ１または２のうち一方によって再生されたときに、少なくとも部分的に減衰させるように構成される。仮想ハイトフィルタ１３００はさらに、ハイトチャンネル１０１０のうち車両におけるルーフまたはルーフに近い領域から反射されるスペクトル成分を少なくとも部分的に増幅することにより、仮想ハイトフィルタリングされたオーディオ信号１１７５を生成するように構成される。方法１０００はさらに、仮想ハイトフィルタリングされたオーディオ信号１１７５を非ハイトオーディオチャンネル１０５０および１１００とミキシング１７００することにより、スピーカ１および２で再生するための２つのオーディオチャンネル１００８および１０１６を生成することを含む。図２Ａは、仮想ハイトフィルタリングされたオーディオ信号１１７５が非ハイトチャンネル１０５０および１１００の両方とミキシングされることを示している。しかしながら、仮想ハイトフィルタリングされたオーディオ信号１１７５は、非ハイトチャンネル１０５０および１１００のうちの一方のみとミキシングされてもよい。再生用の２つのチャンネルを生成するために、仮想ハイトフィルタリングされたオーディオ信号１１７５を非ハイトチャンネル１０５０または１１００の一方のみとミキシングすることは、ハイト／オーバーヘッドスピーカを使用することなく音の高さ（height）または高度（elevation）の知覚を作り出すのに十分である。

さらに説明するために、図５を参照する。図５は、スピーカ５０００によって再生された音がスピーカ５０００から車両におけるリスニング位置５１００まで伝わる経路例５３００および５４００を模式的に示している。スピーカ５０００は、例えば図１および図４のスピーカシステムを参照して示したスピーカのいずれでもよい。特に、スピーカ５０００は、図示されている左スピーカ、右スピーカ、またはサラウンドスピーカのいずれであってもよい。好ましくは、高さの手がかり（cues）は、典型的には、低周波信号よりもむしろ高周波信号においてより優勢であるので、スピーカ５０００は、例えば、図１に示されるスピーカ（例えば、ツイーター）４１、４２および４３のような、左、右またはサラウンドスピーカのいずれかに関連する任意の高周波スピーカであり得る。リスニング位置５１００は、車両の乗客または運転手の耳／頭であってもよい。スピーカ５０００によって再生された音は、図５に鎖線で示す反射経路５３００と、図５に実線で示す直接経路５４００とに沿って放射され得る。反射経路５３００は、スピーカ５０００からリスニング位置５１００への間接経路であり、リスニング位置５１００の上方に位置する表面５５００から音が反射されることによって形成される。車両内において、表面５５００は車両のルーフまたは車両のルーフに近い領域であり得る。ルーフに近い領域は、フロントウィンドシールドまたはリアウィンドシールドの上内側部、または車両の側部ウィンドウの上内側部であってもよい。一般に、表面５５００は、音の再生中においてリスニング位置よりも高い高度（例えば上方）に位置する、車両内部の任意の部分であり得る。音の高度の知覚を高めるためには、音が反射経路５３００に沿って放射されることが望ましい。しかし、スピーカ５０００からの音の一部は直接経路５４００に沿って伝わり、音がリスニング位置５１００に向けて反射される表面５５００上の位置から来る音の知覚を低下させてしまう。望ましい反射音と比較してのこの望ましくない直接音の量は、スピーカ５０００の指向性パターンの関数であり得る。車両内部の全高の約半分（例えば、およそドア中央高）に配置されたスピーカは、音の高度の知覚を向上させることが分かっている。

望ましくない直接音を補償するために、スピーカ５０００に供給されるオーディオ信号に知覚的な高さの手がかりを導入するための信号処理を組み込めば、仮想ハイト信号の定位および知覚品質が向上することが示されている。例えば、仮想ハイトフィルタを作成するために指向性聴覚モデルが開発されており、このモデルは、スピーカによって再生されているオーディオを処理するために使用されたとき再生の知覚品質を向上させる。ある実施形態において、仮想ハイトフィルタは、リスニング位置に対する物理的スピーカ位置と仮想スピーカ位置（リスニング位置の上方の）の両方から導出される。物理的スピーカ位置については、第１の指向性フィルタが、スピーカ位置からリスニング位置にいるリスナーの耳に直接伝わる音のモデルに基づいて決定される。このようなフィルタは、ＨＲＴＦ（頭部伝達関数：head related transfer function）測定値のデータベースや、パラメトリック両耳聴モデル、耳介モデル、または高さを知覚するのに役立つ手がかりを利用する他の同様の伝達関数モデルなどの、指向性聴覚のモデルから導出することができる。耳介モデルを考慮したモデルは、高さがどのように知覚されるかを定義するのに役立つため、一般的に有用であるが、フィルタ関数は耳介効果を分離することを意図しているのではなく、むしろ、ある方向から別の方向への音レベルの比率を処理することを意図している。耳介モデルは、使用可能な両耳聴覚モデルのそのようなモデルの一例であるが、他のモデルも使用することができる。

次に、このフィルタの逆関数が決定され、物理的スピーカ位置からリスニング位置まで直接に経路を伝わるオーディオの方向的手がかりを除去するために使用される。次に、仮想スピーカ位置について、同じ指向性聴覚のモデルを使用して、仮想スピーカ位置から同じリスニング位置にいるリスナーの耳に直接伝わる音のモデルに基づいて、第２の指向性フィルタが決定される。このフィルタは直接適用され、リスニング位置の上方にある仮想スピーカ位置から音が発せられた場合に耳が受け取るであろう方向的手がかりを与える。実際において、第１の指向性フィルタと第２の指向性フィルタは、物理的スピーカ位置からの方向的手がかりを少なくとも部分的に除去（減衰）し、かつ仮想スピーカ位置からの方向的手がかりを少なくとも部分的に挿入（増幅）する、単一のフィルタを可能にするように組み合わせられ得る。このような単一のフィルタは、本明細書において「ハイトフィルタ伝達関数」、「仮想ハイトフィルタ応答曲線」、「所望の周波数伝達関数（desired frequency transfer function）」、「高さ手がかり応答曲線（height cue response curve）」、あるいはオーディオスピーカシステムにおいて高さサウンド成分から直接音成分をフィルタリング（例えば減衰）するフィルタまたはフィルタ応答曲線を表すその他の言葉で呼ばれる、周波数応答曲線を提供する。

フィルタモデルに関して、Ｐ１が物理的スピーカ位置からの音の伝達をモデル化した第１のフィルタの周波数応答をｄＢで表し、Ｐ２が仮想スピーカ位置からの音の伝達をモデル化した第２のフィルタの周波数応答をｄＢで表しているとき、仮想ハイトフィルタの全応答ＰＴをｄＢで表すと、次のように表すことができる。ＰＴ＝α（Ｐ２－Ｐ１）。ここで、αはフィルタの強さを制御するスケーリング係数または利得である。α＝１では、フィルタは最大に適用され、α＝０では、フィルタは何もしない（０ｄＢ応答）。実際には、反射音と直接音との相対的なバランスに基づいて、αを０と１の間のどこかに設定し得る（例えば、α＝０．５）。反射音に比べて直接音のレベルが高くなるにつれて、この望ましくない直接音経路に対して仮想スピーカ位置の方向的手がかりをより完全に付与するために、αも高くなるはずである。しかし、αは、すでに適切な方向的手がかりを含んでいる反射経路を伝わるオーディオの知覚される音色を損なうほど大きくすべきではない。一般的に、フィルタＰ１およびＰ２の正確な値は、リスニング位置および反射されたスピーカ位置の高度に対する物理的スピーカ位置の方位角の関数になる。この高度はそして、リスニング位置からの物理的スピーカ位置の距離および、ルーフまたはルーフに近い領域（図５の表面５５００）の高さとスピーカの高さとの差の関数である。

図６は、本開示のいくつかの実施形態による仮想ハイトフィルタの例示的な曲線６２００、６３００および６４００を示す。曲線６２００、６３００および６４００は、縦軸に仮想ハイトフィルタの振幅をデシベル（ｄＢ）で示し、横軸に周波数をヘルツ（Ｈｚ）で示した図で表されている。

曲線６２００、６３００および６４００は、３つの異なる仮想ハイトフィルタのフィルタ伝達関数を表す。図６は、３つの異なるフィルタのフィルタ伝達関数６２００、６３００および６４００が、約８０００ヘルツの第１の周波数にピークを有し、第１の周波数よりも高い約１２０００ヘルツの第２の周波数にノッチを有することを示している。ただし、ピークおよびノッチは、これらとは異なる周波数であってもよい。３つの異なる伝達関数は、上述したように、仮想ハイトフィルタに異なるスケーリング係数／異なる利得を適用することによって得られてもよい。ある実施形態において、利得は、仮想ハイトフィルタの「強さ」を特定の実装に従ってユーザーが調整できるように、ユーザー設定可能であってもよい。

ある実施形態において、図２を参照して示されるように、本開示の方法は、フィルタ伝達関数を識別する１つ以上のパラメータから仮想ハイトフィルタのフィルタ伝達関数を決定すること１８００をさらに含み得る。例えば、１つ以上のパラメータは、仮想ハイトフィルタを表すフィルタ伝達関数のピーク、ピークの周波数、ノッチ、およびノッチの周波数のうち少なくとも１つの値を示し得る。例えば、パラメータは、メモリまたはメモリを含むプロセッサに、例えばルックアップテーブルまたは解析関数として格納されてもよい。これらのパラメータは、処理装置によってメモリから取得されてもよく、処理装置がここから仮想ハイトフィルタを再構成してもよい。こうして再構成された仮想ハイトフィルタは、ハイトチャンネルに使用され適用され得る。１つ以上のパラメータを用いてフィルタ伝達関数を識別することで、仮想ハイトフィルタがローカルで生成される代わりに少数のパラメータによって記述されるため、ハイトチャンネルの処理が簡素化される。

ある実施形態において、図２を参照して示されるように、本開示の方法は、リスニング位置からの少なくとも２つのスピーカの相対距離とリスニング位置に対するルーフまたはルーフに近い領域の高度とに基づいて、仮想ハイトフィルタのフィルタ伝達関数を決定すること１８５０をさらに含み得る。

例えば、ある実施形態において、リスニング位置からの少なくとも２つのスピーカの相対距離、およびリスニング位置に対するルーフまたはルーフに近い領域の高度を測定するために、１つ以上のセンサがリスニング位置またはその近くに位置していてもよい。例えば、ある実施形態では、このようなセンサは、リスナーの頭の高さとおよそ同じ高さで、車両の各座席のヘッドレストに埋め込まれることができる。測定は、本方法の初期較正段階で実施してもよいし、あるいは、オーディオの再生とともに実質的にリアルタイムで実施してもよい。

代替的に、追加的に、またはオプションとして、仮想ハイトフィルタのフィルタ伝達関数は、１つ以上のリスニング位置と少なくとも２つのスピーカのそれぞれとの間の所定の絶対距離、およびリスニング位置に対するルーフの所定の高度に基づいていてもよい。たとえば、１つ以上のリスニング位置（たとえば図３の座席３１１０、３１２０、３１３０または３１４０のいずれかの位置）とステレオスピーカのペアとの間の距離、およびルーフの高度は、環境特性、たとえば車両の内装設計、およびスピーカ設置によって決定／予め決定され得る。本開示の方法は、仮想ハイトフィルタのフィルタ伝達関数を得るために、この予め決定された情報を使用してもよい。例えば、ある実施形態では、１つ以上のパラメータから仮想ハイトフィルタのフィルタ伝達関数を決定するステップ１８００は、所定のパラメータにアクセスすることを含み得る。例えば、パラメータは、あるタイプの１つの車両について取得／測定され、その後、同じタイプの車両群の車載コンピューティングシステムのメモリに格納されてもよい。このようなオフライン較正には、車両にフィルタ伝達関数をオンラインで測定し取得するためのセンサを備える必要がないという利点がある。

代替的に、追加的に、またはオプションとして、図２を参照して示した実施形態において、方法１０００は、典型的にはステップ１５００の前に、複数の仮想ハイトフィルタのための複数のフィルタ伝達関数を得ること１９００をさらに含んでよい。複数の仮想ハイトフィルタは、リスニング位置からの少なくとも２つのスピーカの相対距離の範囲と、リスニング位置に対するルーフまたはルーフに近い領域の高度の範囲とに基づいて取得され得る。例えば、複数の異なるリスニング位置および／または複数のスピーカ位置について、スピーカ－リスニング位置（単数または複数）の距離の範囲を、例えば較正段階中に測定することができる。同様に、ルーフ（またはその仮想スピーカ位置）の高度の範囲は、複数の異なるリスニング位置について、例えば較正段階中に測定することができる。本方法は、複数のフィルタ伝達関数から１つのフィルタ伝達関数を選択すること２０００をさらに含む。例えば、ある実施形態では、選択されたフィルタ伝達関数は、リスニング位置からの少なくとも２つのスピーカの平均距離とリスニング位置に対するルーフまたはルーフに近い領域（または仮想スピーカ位置の）平均高度とに基づいていてもよい。別の実施形態では、選択された仮想ハイトフィルタ（のフィルタ伝達関数）は、複数のフィルタ伝達関数の平均である。例えば、選択された伝達関数は、複数のフィルタ伝達関数の間で補間することによって決定されてもよい。さらに別の実施形態では、ステップ１９００および２０００を含む方法１０００は、例えば、較正段階中に、図２にステップ１７００とステップ１９００とを結ぶ鎖線で示すように、選択されたフィルタ伝達関数が１つ以上のリスニング位置における音の高度の知覚を最適に（例えば、最大になるように）提供するまで、各繰り返しで選択された各フィルタ伝達関数に対し反復的に適用されてもよい。言い換えれば、ステップ１９００および２０００を含む方法１０００は、（選択された）フィルタ伝達関数が、音の高度の知覚を最大にする少なくとも２つのチャンネルの再生を提供するまで、反復的に適用され得る。一般に、特定のタイプの車両における単純でより効果的なオーディオ処理のためには、リスニング位置／スピーカ位置およびルーフまたはルーフに近い領域の高さ（または仮想スピーカ位置の高度）のほとんどに対して平均的に良好に機能する、単一のフィルタ伝達関数が選択され得る。しかし、フィルタ伝達関数は、例えば、上述したように、センサによって、実質的にリアルタイムで適応的に決定されてもよい。フィルタ伝達関数を適応的に決定することで、より正確な決定が可能になり、音の高度の知覚が向上する可能性がある。

ある実施形態において、図２を参照すると、ステップ１９００で得られた複数の伝達関数の各フィルタ伝達関数は、上述したように、例えばＬＵＴまたは解析関数としてメモリに格納された、１つ以上のパラメータから決定されてもよい。本方法は、センサが使用される場合、特定の車両タイプに対するフィルタ伝達関数のパラメータを動的／適応的に選択してもよい。

ある実施形態において、図２を参照すると、（所定の距離／高度情報に基づいて、または実際の測定値に基づいて）１つ以上のパラメータから仮想ハイトフィルタのフィルタ伝達関数を決定するステップ１８００は、１つ以上のリスニング位置にいるリスナーの動きの検出時にトリガされてもよい。例えば、リスナーの動きを検出するために１つ以上のセンサを用いることができる。車両の内部において用いられる場合、そのようなセンサは、例えば、車両のそれぞれの座席に配置されてもよい。当該１つ以上のセンサは、車両における乗客または運転者の存在を検出するように構成されることにより、フィルタ伝達関数を得るために正しい距離情報を処理方法が使用することを可能にし得る。

ある実施形態において、１つ以上の座席センサまたはセンサの異なるセットを用いて、新たなリスニング位置、例えば、リスナーの頭の新たな位置（またはリスナーの耳の位置）を検出してもよい。例えば、運転者または乗客は、車両におけるより快適な着座位置のために、自身の座席を水平方向および／または垂直方向に調整し得る。この実施形態において、本方法は、新たに検出されたリスニング位置に応じて、仮想ハイトフィルタ（のフィルタ伝達関数）を取り出し／取得してもよい。このようにして、所定のリスナーからスピーカまでの距離情報および所定のルーフ高度情報の正しいセットに基づく（あるいは実際の測定値に基づく）正しい情報が、新しいリスニング位置に応じて使用され得る。例えば、仮想ハイトフィルタ（のフィルタ伝達関数を）識別する所定の１つ以上のパラメータが解析関数またはルックアップテーブル（ＬＵＴ）として格納されている場合／とき、異なる解析関数または異なるＬＵＴが異なる（例えば検出された）座席またはリスニング位置に対応し得る。

上述したように、没入型オーディオフォーマットは、特定の実装に適した異なるタイプのものであってもよい。

例えば、図７を参照すると、オーディオの没入型オーディオフォーマットは、単一のハイトチャンネル１０１０と、４つの非ハイトチャンネル１０５０、１１００、１１２５および１１５０とを含む。非ハイトチャンネル１０５０および１１００は、それぞれ左（Ｌ）および右（Ｒ）チャンネルであってもよい。非ハイトチャンネル１１２５および１１５０は、それぞれ左サラウンド（Ｌ_Ｓ）チャンネルおよび右サラウンド（Ｒ_Ｓ）チャンネルとすることができる。非ハイトチャンネル１０５０および１１００は、それぞれフロント、ミドルまたはリアの左および右チャンネルとすることができる。同様に、非ハイトチャンネル１１２５および１１５０は、それぞれ、フロント、ミドルまたはリアの左サラウンドおよび右サラウンドチャンネルとすることができる。

仮想ハイトフィルタ１３００がハイトチャンネル１０１０に適用されて、仮想ハイトフィルタリングされた信号１１７５を生成する。仮想ハイトフィルタリングされた信号１１７５は、非ハイトチャンネル１０５０、１１００、１１２５および１１５０の各１つとミキシングされ、４つのチャンネル信号１００８、１０１６、１０３２および１０６４を生成する。チャンネル信号１００８、１０１６、１０３２および１０６４は、再生のためにスピーカ１、２、３および４に供給される。単一の仮想ハイトフィルタ（のフィルタ伝達関数）を使用することで、没入型オーディオフォーマットのオーディオを、スピーカ１～４用のチャンネルフィード信号１００８～１０６４に変換することが簡単になる。

別の例では、図８を参照すると、オーディオの没入型オーディオフォーマットは、２つのハイトチャンネル１０１０および１０２０と、２つの非ハイトチャンネル１０５０および１１００とを含む。例えば、ハイトチャンネル１０２０および１０１０は、トップ左（ＴＬ）およびトップ右（ＴＬ）チャンネルであってもよい。非ハイトチャンネル１０５０および１１００は、それぞれ左（Ｌ）チャンネルおよび右（Ｒ）チャンネルであってもよい。チャンネル１０２０および１０１０は、それぞれ、トップフロント左、トップミドル／センター左、またはトップリア左および右のチャンネルであってもよい。同様に、チャンネル１０５０および１１００は、それぞれ、フロント左、ミドル／センター左またはリア左および右チャンネルであってもよい。

仮想ハイトフィルタ１３００がハイトチャンネル１０１０に適用されて、仮想ハイトフィルタリングされた信号１１７５を生成する。仮想ハイトフィルタ１４００がハイトチャンネル１０２０に適用されて、仮想ハイトフィルタリングされた信号１２００を生成する。仮想ハイトフィルタ１３００は、仮想ハイトフィルタ１４００と同じであってもよい。全てのハイトチャンネルに対して単一のハイトフィルタを使用することにより、オーディオ処理が簡素化され、処理パワーが少なくて済む。しかしながら、いくつかの実施形態では、仮想ハイトフィルタ１３００は、仮想ハイトフィルタ１４００と異なっていてもよい。例えば、仮想ハイトフィルタ１３００は、右チャンネル用に最適化されてもよい。例えば、仮想ハイトフィルタ１３００のフィルタ伝達関数は、右チャンネルにおける音の高度の知覚を最大化するように選択されてもよい。同様に、仮想ハイトフィルタ１４００は、左チャンネル用に最適化されてもよい。例えば、仮想ハイトフィルタ１４００のフィルタ伝達関数は、左チャンネルにおける音の高度の知覚を最大化するように選択されてもよい。一般に、仮想ハイトフィルタを異なるチャンネルに適応化することで、それぞれの（この例では左右の）チャンネルに対応付けられたリスニング位置における音の高度の知覚が向上する。

仮想ハイトフィルタリングされた信号１１７５は非ハイトチャンネル１１００とミキシングされ、スピーカ２に供給するチャンネル信号１０１７を生成する。仮想ハイトフィルタリングされた信号１２００は非ハイトチャンネル１０５０とミキシングされ、スピーカ１に供給するチャンネル信号１００９を生成する。こうして、チャンネル（信号）１００９および１０１７をそれぞれスピーカ１および２で再生することにより、音の高度の知覚を向上させることができる。

別の例では、図９を参照すると、オーディオの没入型オーディオフォーマットは、４つの非ハイトチャンネル１０５０、１１００、１１２５および１１５０と、４つのハイトチャンネル１０１０、１０２０、１０３０および１０４０とを含む。非ハイトチャンネル１０５０および１１００は、それぞれ左（Ｌ）チャンネルおよび右（Ｒ）チャンネルであってもよい。非ハイトチャンネル１１２５および１１５０は、それぞれ左サラウンド（Ｌ_Ｓ）チャンネルおよび右サラウンド（Ｒ_Ｓ）チャンネルとすることができる。非ハイトチャンネル１０５０および１１００は、それぞれフロント左、ミドル／センター左、またはリア左および右チャンネルとすることができる。同様に、非ハイトチャンネル１１２５および１１５０は、それぞれ、フロントサラウンド左、ミドル／センターサラウンド左、またはリアサラウンド左および右サラウンドチャンネルとすることができる。ハイトチャンネル１０２０および１０１０は、トップフロント左（ＴＦＬ）およびトップフロント右（ＴＦＲ）チャンネルであってもよい。ハイトチャンネル１０４０および１０３０は、トップリア右（ＴＲＲ）およびトップリア左（ＴＲＬ）チャンネルであってもよい。仮想ハイトフィルタ１３００がハイトチャンネル１０１０に適用されて、仮想ハイトフィルタリングされた信号１１７５を生成する。仮想ハイトフィルタ１４００がハイトチャンネル１０２０に適用されて、仮想ハイトフィルタリングされた信号１２００を生成する。仮想ハイトフィルタ２５００がハイトチャンネル１０３０に適用されて、仮想ハイトフィルタリングされた信号１２２５を生成する。仮想ハイトフィルタ２６００がハイトチャンネル１０４０に適用されて、仮想ハイトフィルタリングされた信号１２５０を生成する。仮想ハイトフィルタ１３００、１４００、２５００、２６００は、図８の例を参照して説明したように、同じであっても異なっていてもよい。

仮想ハイトフィルタリングされた信号１１７５は非ハイトチャンネル１１００とミキシングされ、スピーカ２に供給するチャンネル信号１０１８を生成する。仮想ハイトフィルタリングされた信号１２００は非ハイトチャンネル１０５０とミキシングされ、スピーカ１に供給するチャンネル信号１０１１を生成する。仮想ハイトフィルタリングされた信号１２２５は非ハイトチャンネル１１２５とミキシングされ、スピーカ３に供給するチャンネル信号１０３３を生成する。仮想ハイトフィルタリングされた信号１２５０は非ハイトチャンネル１１５０とミキシングされ、スピーカ４に供給するチャンネル信号１０６３を生成する。

従って、スピーカ１～４でそれぞれチャンネル（チャンネル信号）１０１１、１０１８、１０３３および１０６３を再生することにより、音の高度の知覚を向上させることができる。

図２Ａ、図７～図９の例で説明したように、再生に使用されるチャンネルは、一般に没入型オーディオフォーマットのチャンネルの数よりも少ない。したがって、没入型オーディオフォーマットのチャンネルは、再生用のチャンネルにおいてダウンミックスされていると言える。

特定の実装に適した、他の任意の適切な没入型オーディオフォーマットおよび／またはスピーカ構成を想定することができる。

例えば、図７～９を参照して示した実施例のチャンネルに加えて、没入型オーディオフォーマットのオーディオは、センター（Ｃ）チャンネルおよび／または低域効果（ＬＦＥ）チャンネル（図７～９のいずれにも不図示）も含むことができる。上述したように、高さの手がかりは、典型的には、低周波数信号よりもむしろ高周波数信号においてより優勢であるので、存在する場合、センターチャンネルおよび／またはＬＦＥチャンネルは、典型的にはフィルタリングされたハイトチャンネルとミキシングされない。

いくつかの実施形態（不図示）では、センターチャンネルが存在する場合、センターチャンネルを、フロント左チャンネルおよびフロント右チャンネルとミキシングしてもよい。そのような実施形態では、フィルタリングされたハイトチャンネル（単数または複数）と非ハイトオーディオチャンネル（単数または複数）（すなわち、フロント左チャンネルおよび／またはフロント右チャンネル）とのミキシングは、フロント左チャンネルおよびフロント右チャンネルをセンターチャンネルとミキシングした後に実行されてもよい。

図４に示すように、ミドル左（ＭＬ）およびミドル右（ＭＲ）スピーカ４２３０および４２４０を含むスピーカ構成についても同様の考慮が可能である。どのようなスピーカ構成を用いたとしても、生成されたチャンネルの再生中はシステム内のすべてのスピーカがアクティブのままであることが好都合である。

図１０は、本開示の一実施形態に従って、没入型オーディオフォーマットのオーディオから６つのオーディオチャンネル（すなわち、５．１オーディオフォーマットのオーディオ）を生成する方法の一例を模式的に示す。５．１オーディオフォーマットの出力は、例えば、図１に示すスピーカシステムに適している。入力オーディオフォーマットは、例えば５．１．４である。この場合、上述したように、前段ミキシング５００を用いて、例えば、フロント左、フロント右、およびセンターチャンネルをミキシングしてもよい。ただし、前段ミキシング５００は、特定の実装に応じて、適宜有効または無効にすることができる。前段ミキシング５００が有効にされた場合、入力オーディオ５．１．４のフィルタリングされた４つのハイトチャンネルは、ブロック６００において、以下のように４つの非ハイトチャンネルとミキシングされ得る。センターチャンネルとミキシングされた２つの非ハイトフロント左およびフロント右チャンネルはそして、フィルタリングされた、例えばＴＦＬおよびＴＦＲとミキシングされる。２つの非ハイトＬＳおよびＲＳは、ＴＲＬおよびＴＲＲと直接ミックスされる。前段ミキシング５００が無効にされている場合、ブロック６００において、フィルタリングされた４つのハイトチャンネルは、入力された４つの非ハイトチャンネルと直接ミキシングされてもよい（すなわち、センターチャンネルとこれらはミキシングされない）。この例では、センターチャンネル信号はミキシングされず、図１のセンタースピーカ１０に直接供給される。同様に、この例ではＬＦＥチャンネルはミキシングされず、図１のＬＦＥスピーカ１１に直接供給される。ハイトチャンネルとのミキシングによって生成されたチャンネルは、図９の例を参照して説明したように、対応するフロントおよびリアスピーカに供給される。

図１０Ａは、本開示の一実施形態に従って、没入型オーディオフォーマットのオーディオから８つのオーディオチャンネル（すなわち７．１オーディオフォーマットのオーディオ）を生成する方法の一例を模式的に示す。７．１オーディオフォーマットの出力は、例えば、図４に示すスピーカシステムに適している。

この例では、図４のスピーカシステムのすべてのスピーカをアクティブに維持するために、追加的な中段ミキシング７００を用いて７．１オーディオフォーマットのオーディオ出力を得てもよい。

このプロセスは図１０を参照して説明したのと同じであり、ここでは繰り返さない。ブロック６００の出力では、図１０を参照して説明したように、オーディオ出力は５．１オーディオフォーマットになる。追加的な中段ミキシングブロック７００は、オーディオを５．１．から７．１オーディオフォーマットに変換することによって、図４に示すスピーカシステムのすべてのスピーカに供給する。実用的な実装では、前段ミキシング５００および中段ミキシング７００は、車両／プロセッサまたは装置に常に実装されていて、特定のスピーカシステム構成および／または前段ミキシング要件によって必要に応じて有効化／無効化されてもよい。

いくつかの実施形態では、非ハイトチャンネル、例えば、フロント左とフロント右チャンネル、および／またはリア左とリア右チャンネルは、対応する仮想フィルタリングされたハイトチャンネルとミキシングされる前に処理される。例えば、フロント左チャンネルとフロント右チャンネル、および／またはリア左チャンネルとリア右チャンネルは、車両における乗客（単数または複数）／運転者の中心から外れたリスニング位置を補償するために処理されてもよい。中心から外れたリスニング位置の補償は、その全体を本明細書において援用するＥＰ１９９４７９５Ｂ１に記載されているアルゴリズムで実行することができる。ＥＰ１９９４７９５Ｂ１では、同じペアの（ステレオ）スピーカから対称中心から外れた２つのリスニング位置を同時に「仮想センタリング」することが可能であることが示されている。これは、１つのリスニング位置の両耳間位相差（interaural phase difference：ＩＤＰ）の位相差を小さくする原理と同じである。２つのリスニング位置の場合、２つのリスニング位置に各々について得られたＩＤＰの位相差は、各リスニング位置における各ＩＤＰが－９０度から９０度の間の所望の周波数範囲の値を持つように、同時に低減される。中心から外れたリスニング位置を補償し、フィルタリングされたハイトチャンネルを対応する補償されたフロントおよび／またはリア非ハイトチャンネルとミキシングすることにより、フロントおよび／またはリアのスピーカにわたってハイトチャンネルのコンテンツのパンニングを防止することができる。

（コンピューティングデバイス例）
没入型オーディオフォーマットのオーディオから少なくとも２つのオーディオチャンネルを生成し、少なくとも２つのオーディオスピーカの非没入型スピーカシステムを用いて前記少なくとも２つのオーディオチャンネルを生成する方法を説明した。さらに、本開示は、これらの方法を実施するための装置にも関する。さらに、本開示は、これらの方法を実施するための装置を含み得る車両に関する。そのような装置１４４０の一例を図１１に模式的に示す。装置１４４０は、プロセッサ１４１０（例えば、中央処理装置（ＣＰＵ）、画像処理装置（ＧＰＵ）、デジタルシグナルプロセッサ（ＤＳＰ）、１つ以上の特定用途向け集積回路（ＡＳＩＣ）、１つ以上の高周波集積回路（ＲＦＩＣ）、またはこれらの任意の組み合わせ）と、プロセッサ１４１０に結合されたメモリ１４２０とを含み得る。メモリ１４２０は、例えば、異なるリスニング位置および／またはルーフの高度および／または異なる車両について、仮想ハイトフィルタのフィルタ伝達関数を識別する１つ以上のパラメータを表す、１つの（もしくは１セットの）解析関数（単数または複数）、または１つの（もしくは１セットの）ルックアップテーブル（単数または複数）を格納することができる。プロセッサは、例えば、メモリ１４２０から解析関数および／またはＬＴＵのセットを取り出すことによって、本開示を通じて説明される方法のことの一部または全部を実行するように構成され得る。少なくとも２つのオーディオチャンネルを生成する方法を実行するために、装置１４４０は、没入型オーディオフォーマットの（たとえばレンダリングされた）オーディオのチャンネル、たとえばハイトチャンネルおよび１つ以上のフロントまたはサラウンドオーディオチャンネル１４２５を、入力として受信してもよい。この場合、装置１４４０は、非没入型スピーカシステムにおけるチャンネル信号の再生のために、２つ以上のチャンネル信号１４３０を出力し得る。

装置１４４０は、サーバコンピュータ、クライアントコンピュータ、パーソナルコンピュータ（ＰＣ）、タブレットＰＣ、セットトップボックス（ＳＴＢ）、携帯情報端末（personal digital assistant：ＰＤＡ）、携帯電話、スマートフォン、ウェブアプライアンス、ネットワークルータ、スイッチ、ブリッジ、またはその装置によって実行されるべきアクションを指定する命令（シーケンシャルであるか否かを問わない）を実行可能な任意の機器であってよい。さらに、図１１には単一の装置１４４０のみが図示されているが、本開示は、本明細書で議論される方法論のいずれか１つ以上を実行する命令を個々にまたは共同で実行する装置の任意の集合体に関するものとする。

本開示はさらに、プロセッサによって実行されたとき、プロセッサに本明細書に記載の方法のことの一部または全部を実行させる命令を含むプログラム（例えば、コンピュータプログラム）に関する。

さらにまた本開示は、前述のプログラムを格納したコンピュータ読み取り可能な（または機械可読の）記憶媒体に関する。ここで、「コンピュータ読み取り可能な記憶媒体」という用語は、例えば、固体メモリ、光学媒体、および磁気媒体の形態のデータリポジトリを含むが、これらに限定されない。

本明細書に記載の実施形態は、ハードウェア、ソフトウェア、ファームウェア、およびそれらの組み合わせで実装することができる。例えば、実施形態は、コンピュータシステムなどの電子回路やコンポーネントから構成されるシステム上に実装することができる。コンピュータシステムの例としては、デスクトップコンピュータシステム、ポータブルコンピュータシステム（例えば、ラップトップ）、ハンドヘルドデバイス（例えば、スマートフォンまたはタブレット）、およびネットワーキングデバイスが挙げられる。実施形態を実装るためのシステムは、例えば、集積回路（ＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）などのプログラマブルロジックデバイス（ＰＬＤ）、デジタルシグナルプロセッサ（ＤＳＰ）、特定用途向けＩＣ（ＡＳＩＣ）、中央処理装置（ＣＰＵ）、および画像処理装置（ＧＰＵ）のうちの少なくとも１つから構成され得る。

本明細書で説明した実施形態の特定の実装は、データ処理システムによって実行されたとき、データ処理システムに本明細書で説明する実施形態のいずれかの方法を実行させる命令を含むコンピュータプログラム製品を含み得る。コンピュータプログラム製品は、前記命令を格納した非一時的媒体、例えば、フロッピーディスクやハードディスクドライブを含む磁気データ記憶媒体、ＣＤ ＲＯＭやＤＶＤを含む光学データ記憶媒体、ＲＯＭを含む電子データ記憶媒体、フラッシュＲＡＭやＵＳＢフラッシュドライブを含むフラッシュメモリなどの物理的媒体から構成されてもよい。別の例では、コンピュータプログラム製品は、前記命令を含むデータストリーム、または分散コンピューティングシステム、例えば１つ以上のデータセンターに格納された前記命令を含むファイルを備える。

本開示は、上述した実施形態および実施例に限定されない。添付の特許請求の範囲によって定義される本開示の範囲から逸脱することなく、多数の改変および変形が可能である。

本発明の様々な態様は、以下の列挙実施形態例（enumerated example embodiments）（Ａ－ＥＥＥおよびＢ－ＥＥＥ）から理解され得る：

Ａ－ＥＥＥ１．没入型ビットストリームから別個の（discrete）チャンネルを生成する方法であって、
前記没入型ビットストリームの１つ以上のハイトチャンネルおよび１つ以上の非ハイトチャンネルを識別することと、
仮想ハイトフィルタおよび非標準的なミキシング手法を用いて前記１つ以上のハイトチャンネルを処理することと、
処理された前記１つ以上のハイトチャンネルを前記１つ以上の非ハイトチャンネルとミキシングすることと、
を含む、方法。

Ｂ－ＥＥＥ１．少なくとも１つのハイトオーディオチャンネル（１０１０）および少なくとも２つの非ハイトオーディオチャンネル（１０５０、１１００）を含む没入型オーディオフォーマットのオーディオから、少なくとも２つのオーディオチャンネルを生成し、車両における少なくとも２つのオーディオスピーカ（１、２）の非没入型スピーカシステムを用いて前記少なくとも２つのオーディオチャンネルを再生する方法（１０００）であって、
－前記少なくとも１つのオーディオハイトチャンネルが前記少なくとも２つのスピーカのうちの１つによって再生されたとき、前記少なくとも１つのハイトチャンネル（１０１０）のうち前記スピーカ（１、２）から直接発せられるスペクトル成分を少なくとも部分的に減衰させ、かつ前記少なくとも１つのハイトチャンネルのうち前記車両におけるルーフまたは前記ルーフに近い領域から反射されるスペクトル成分を少なくとも部分的に増幅することにより、少なくとも１つの仮想ハイトフィルタリングされたオーディオ信号（１１７５）を生成するように、仮想ハイトフィルタ（１３００）を前記少なくとも１つのハイトチャンネル（１０１０）に適用すること（１５００）と、
－前記少なくとも１つの仮想ハイトフィルタリングされたオーディオ信号（１１７５）を前記２つの非ハイトオーディオチャンネルの少なくとも一方とミキシングする（１７００）ことにより、前記少なくとも２つのオーディオチャンネル（１００８、１０１６）を生成することと、
を含む、方法。

Ｂ－ＥＥＥ２．前記没入型オーディオフォーマットの前記オーディオは少なくとも２つのさらなる非ハイトオーディオチャンネル（１１２５、１１５０）をさらに含み、前記仮想ハイトフィルタリングされたオーディオ信号（１１７５）は前記非ハイトオーディオチャンネル（１０５０、１１００、１１２５、１１５０）の各１つとミキシングされることにより、４つのオーディオチャンネル（１００８、１０１６、１０３２、１０６４）を生成する、Ｂ－ＥＥＥ１に記載の方法（１０００）。

Ｂ－ＥＥＥ３．前記没入型オーディオフォーマットの前記オーディオは少なくとも２つのハイトオーディオチャンネル（１０１０、１０２０）を含み、前記仮想ハイトフィルタ（１３００、１４００）は、前記少なくとも２つのハイトオーディオチャンネル（１０１０、１０２０）の各１つに適用されることにより少なくとも２つの仮想ハイトフィルタリングされたオーディオ信号（１１７５、１２００）を生成し、前記仮想ハイトフィルタリングされたオーディオ信号（１１７５、１２００）の各１つは前記少なくとも２つの非ハイトチャンネル（１１００、１０５０）の１つとミキシングされる、先行するＢ－ＥＥＥのいずれかに記載の方法。

Ｂ－ＥＥＥ４．前記没入型オーディオフォーマットの前記オーディオは４つのハイトオーディオチャンネル（１０１０、１０２０、１０３０、１０４０）および４つの非ハイトオーディオチャンネル（１０５０、１１００、１１２５、１１５０）を含み、前記仮想ハイトフィルタ（１３００、１４００、２５００、２６００）は、４つのハイトオーディオチャンネル（１０１０、１０２０、１０３０、１０４０）の各１つに適用されることにより４つの仮想ハイトフィルタリングされたオーディオ信号（１１７５、１２００、１２２５、１２５０）を生成し、前記仮想ハイトフィルタリングされたオーディオ信号（１１７５、１２００、１２２５、１２５０）の各１つは前記４つの非ハイトチャンネル（１１００、１０５０、１１２５、１１５０）の各１つとミキシングされる、先行するＢ－ＥＥＥのいずれか１つに記載の方法。

Ｂ－ＥＥＥ５．前記非没入型スピーカシステムはステレオまたはサラウンドスピーカシステムである、先行するＢ－ＥＥＥのいずれか１つに記載の方法。

Ｂ－ＥＥＥ６．前記仮想ハイトフィルタはフィルタ伝達関数を有し、前記方法は、前記フィルタ伝達関数を識別する１つ以上のパラメータから前記仮想ハイトフィルタの前記フィルタ伝達関数を決定することをさらに含む、先行するＢ－ＥＥＥのいずれか１つに記載の方法。

Ｂ－ＥＥＥ７．前記仮想ハイトフィルタは、第１の周波数にピークを有し、かつ前記第１の周波数より高い第２の周波数にノッチを有するフィルタ伝達関数を有する、先行するＢ－ＥＥＥのいずれか１つに記載の方法。

Ｂ－ＥＥＥ８．前記１つ以上のパラメータは、前記フィルタ伝達関数のピーク、第１の周波数、ノッチ、および第２の周波数のうち少なくとも１つの値を示している、Ｂ－ＥＥＥ６および７に記載の方法。

Ｂ－ＥＥＥ９．前記少なくとも２つのオーディオスピーカ（１、２）は、リスニング位置に対して側方に間隔を有する、先行するＢ－ＥＥＥのいずれか１つに記載の方法。

Ｂ－ＥＥＥ１０．前記リスニング位置からの前記少なくとも２つのスピーカの相対距離と前記リスニング位置に対する前記ルーフまたは前記ルーフに近い領域の高度とに基づいて、前記仮想ハイトフィルタのためのフィルタ伝達関数を決定すること（１８００）をさらに含む、Ｂ－ＥＥＥ９に記載の方法。

Ｂ－ＥＥＥ１１．
前記リスニング位置からの前記少なくとも２つのスピーカの相対距離の範囲と前記リスニング位置に対する前記ルーフまたは前記ルーフに近い領域の高度の範囲とに基づいて、複数の仮想ハイトフィルタのための複数のフィルタ伝達関数を取得すること（１９００）と、
前記複数のフィルタ伝達関数から１つのフィルタ伝達関数を選択すること（２０００）と、をさらに含む、Ｂ－ＥＥＥ９に記載の方法。

Ｂ－ＥＥＥ１２．前記選択されたフィルタ伝達関数は、前記複数のフィルタ伝達関数の平均である、Ｂ－ＥＥＥ１１に記載の方法。

Ｂ－ＥＥＥ１３．前記複数のフィルタ伝達関数から１つのフィルタ伝達関数を選択することは、前記リスニング位置からの前記少なくとも２つのスピーカの平均距離と前記リスニング位置に対する前記ルーフまたは前記ルーフに近い領域の平均高度とに基づいて、前記選択されたフィルタ伝達関数を識別する１つ以上のパラメータを選択することを含む、Ｅ－ＥＥＥ６から８のいずれかに従属するＢ－ＥＥＥ１１に記載の方法。

Ｂ－ＥＥＥ１４．前記取得するし（１９００）、選択し（２０００）、適用し（１５００）、ミキシングする（１７００）ステップは、前記フィルタ伝達関数が音の高度の知覚を最大にする前記少なくとも２つのチャンネルの再生を提供するまで、各選択されたフィルタ伝達関数に対し反復的に適用される、Ｂ－ＥＥＥ１１から１３のいずれか１つに記載の方法。

Ｂ－ＥＥＥ１５．前記１つ以上のパラメータをルックアップテーブルまたは解析関数としてプロセッサに格納することをさらに含む、Ｂ－ＥＥＥ６～１４のいずれか１つに記載の方法。

Ｂ－ＥＥＥ１６．利得を前記仮想ハイトフィルタに適用することをさらに含む、先行するＢ－ＥＥＥのいずれか１つに記載の方法。

Ｂ－ＥＥＥ１７．前記利得はユーザー設定可能である、Ｂ－ＥＥＥ１６に記載の方法。

Ｂ－ＥＥＥ１８．前記没入型オーディオフォーマットの前記オーディオは前記没入型オーディオフォーマットでレンダリングされたオーディオであり、かつ／または前記没入型オーディオフォーマットはＤｏｌｂｙ Ａｔｍｏｓであるか、Ｘ≧２はフロントまたはサラウンドオーディオチャンネルの数であり、Ｙ≧０は、存在する場合、低域効果またはサブウーファーオーディオチャンネルであり、かつＺ≧１は前記少なくとも１つのハイトオーディオチャンネルであるような任意のＸ．Ｙ．Ｚオーディオフォーマットである、先行するＢ－ＥＥＥのいずれか１つに記載の方法。

Ｂ－ＥＥＥ１９．Ｂ－ＥＥＥ１～１８の方法を実行するように構成された、装置。

Ｂ－ＥＥＥ２０．少なくとも２つのオーディオスピーカ（１、２）のスピーカシステムを有する車両であって、Ｂ－ＥＥＥ１９に記載の装置をさらに備える、車両。

Ｂ－ＥＥＥ２１．プロセッサによって実行されたとき、前記プロセッサにＢ－ＥＥＥ１～１８のいずれかに記載の方法を実行させる命令を含む、プログラム。

Ｂ－ＥＥＥ２２．Ｂ－ＥＥＥ２１に記載のプログラムを格納した、コンピュータ読み取り可能な記憶媒体。

Claims (21)

1. 少なくとも１つのハイトオーディオチャンネルおよび少なくとも２つの非ハイトオーディオチャンネルを含む没入型オーディオフォーマットのオーディオから、少なくとも２つのオーディオチャンネルを生成し、車両における少なくとも２つのオーディオスピーカの非没入型スピーカシステムを用いて前記少なくとも２つのオーディオチャンネルを再生する方法であって、
   －前記少なくとも１つのハイトオーディオチャンネルが前記少なくとも２つのオーディオスピーカのうちの１つによって再生されたとき、前記少なくとも１つのハイトオーディオチャンネルのうち前記オーディオスピーカからリスニング位置まで反射されずに直接伝わるように知覚されるスペクトル成分を少なくとも部分的に減衰させ、かつ前記少なくとも１つのハイトオーディオチャンネルのうち前記オーディオスピーカから前記車両におけるルーフまたは前記ルーフに近い領域から反射されて前記リスニング位置まで伝わるように知覚されるスペクトル成分を少なくとも部分的に増幅することにより、少なくとも１つの仮想ハイトフィルタリングされたオーディオ信号を生成するように、仮想ハイトフィルタを前記少なくとも１つのハイトオーディオチャンネルに適用することと、
   －前記少なくとも１つの仮想ハイトフィルタリングされたオーディオ信号を前記２つの非ハイトオーディオチャンネルの少なくとも一方とミキシングすることにより、前記少なくとも２つのオーディオチャンネルを生成することと、
   を含む、方法。
2. 前記没入型オーディオフォーマットの前記オーディオは少なくとも２つのさらなる非ハイトオーディオチャンネルをさらに含み、前記仮想ハイトフィルタリングされたオーディオ信号は前記非ハイトオーディオチャンネルの各１つとミキシングされることにより、４つのオーディオチャンネルを生成する、請求項１に記載の方法。
3. 前記没入型オーディオフォーマットの前記オーディオは少なくとも２つのハイトオーディオチャンネルを含み、前記仮想ハイトフィルタは少なくとも２つのハイトオーディオチャンネルの各１つに適用されることにより少なくとも２つの仮想ハイトフィルタリングされたオーディオ信号を生成し、前記仮想ハイトフィルタリングされたオーディオ信号の各１つは前記少なくとも２つの非ハイトオーディオチャンネルの１つとミキシングされる、請求項１に記載の方法。
4. 前記没入型オーディオフォーマットの前記オーディオは４つのハイトオーディオチャンネルおよび４つの非ハイトオーディオチャンネルを含み、前記仮想ハイトフィルタは前記４つのハイトオーディオチャンネルの各１つに適用されることにより４つの仮想ハイトフィルタリングされたオーディオ信号を生成し、前記仮想ハイトフィルタリングされたオーディオ信号の各１つは前記４つの非ハイトオーディオチャンネルの１つとミキシングされる、
   請求項１に記載の方法。
5. 前記非没入型スピーカシステムはステレオまたはサラウンドスピーカシステムである、請求項１に記載の方法。
6. 前記仮想ハイトフィルタはフィルタ伝達関数を有し、前記方法は、前記フィルタ伝達関数を識別する１つ以上のパラメータから前記仮想ハイトフィルタの前記フィルタ伝達関数を決定することをさらに含む、請求項１に記載の方法。
7. 前記仮想ハイトフィルタは、第１の周波数にピークを有し、かつ前記第１の周波数より高い第２の周波数にノッチを有するフィルタ伝達関数を有する、請求項１に記載の方法。
8. 前記１つ以上のパラメータは、前記フィルタ伝達関数のピーク、前記ピークの第１の周波数、ノッチ、および前記ノッチの第２の周波数のうち少なくとも１つの値を示している、請求項６に記載の方法。
9. 前記少なくとも２つのオーディオスピーカは、リスニング位置に対して側方に間隔を有する、請求項１に記載の方法。
10. 前記リスニング位置からの前記少なくとも２つのオーディオスピーカの相対距離と前記リスニング位置に対する前記ルーフまたは前記ルーフに近い領域の高度とに基づいて、前記仮想ハイトフィルタのためのフィルタ伝達関数を決定することをさらに含む、請求項９に記載の方法。
11. 前記リスニング位置からの前記少なくとも２つのオーディオスピーカの相対距離の範囲と前記リスニング位置に対する前記ルーフまたは前記ルーフに近い領域の高度の範囲とに基づいて、複数の仮想ハイトフィルタのための複数のフィルタ伝達関数を取得することと、前記複数のフィルタ伝達関数から１つのフィルタ伝達関数を選択することと、をさらに含む、請求項９に記載の方法。
12. 前記選択されたフィルタ伝達関数は、前記複数のフィルタ伝達関数の平均である、請求項１１に記載の方法。
13. 前記複数のフィルタ伝達関数から１つのフィルタ伝達関数を選択することは、前記リスニング位置からの前記少なくとも２つのオーディオスピーカの平均距離と前記リスニング位置に対する前記ルーフまたは前記ルーフに近い領域の平均高度とに基づいて、前記選択されたフィルタ伝達関数を識別する１つ以上のパラメータを選択することを含む、請求項１１に記載の方法。
14. 前記取得し、選択し、適用し、ミキシングするステップは、前記フィルタ伝達関数が音の高度の知覚を最大にする前記少なくとも２つのオーディオチャンネルの再生を提供するまで、各選択されたフィルタ伝達関数に対し反復的に適用される、請求項１１に記載の方法。
15. 前記１つ以上のパラメータをルックアップテーブルまたは解析関数としてプロセッサに格納することをさらに含む、請求項６に記載の方法。
16. 利得またはユーザー設定可能な利得を前記仮想ハイトフィルタに適用することをさらに含む、請求項１に記載の方法。
17. 前記没入型オーディオフォーマットの前記オーディオは前記没入型オーディオフォーマットでレンダリングされたオーディオであり、かつ／または前記没入型オーディオフォーマットはＤｏｌｂｙ Ａｔｍｏｓであるか、Ｘ≧２はフロントまたはサラウンドオーディオチャンネルの数であり、Ｙ≧０は、存在する場合、低域効果またはサブウーファーオーディオチャンネルであり、かつＺ≧１は前記少なくとも１つのハイトオーディオチャンネルであるような任意のＸ．Ｙ．Ｚオーディオフォーマットである、請求項１に記載の方法。
18. 請求項１から１７のいずれかに記載の方法を実行するように構成された、装置。
19. 少なくとも２つのオーディオスピーカのスピーカシステムを有する車両であって、請求項１８に記載の装置をさらに備える、車両。
20. プロセッサによって実行されたとき、前記プロセッサに請求項１から１７のいずれかに記載の方法を実行させる命令を含む、プログラム。
21. 請求項２０に記載のプログラムを格納した、コンピュータ読み取り可能な記憶媒体。