JP6891350B2 - クロストークプロセッシングｂ−チェーン - Google Patents

クロストークプロセッシングｂ−チェーン Download PDF

Info

Publication number
JP6891350B2
JP6891350B2 JP2020529258A JP2020529258A JP6891350B2 JP 6891350 B2 JP6891350 B2 JP 6891350B2 JP 2020529258 A JP2020529258 A JP 2020529258A JP 2020529258 A JP2020529258 A JP 2020529258A JP 6891350 B2 JP6891350 B2 JP 6891350B2
Authority
JP
Japan
Prior art keywords
spatial
processor
channel
spatial enhancement
signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020529258A
Other languages
English (en)
Other versions
JP2021505064A (ja
Inventor
セルデス ザッカリー
セルデス ザッカリー
Original Assignee
ブームクラウド ３６０ インコーポレイテッド
ブームクラウド ３６０ インコーポレイテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ブームクラウド ３６０ インコーポレイテッド, ブームクラウド ３６０ インコーポレイテッド filed Critical ブームクラウド ３６０ インコーポレイテッド
Publication of JP2021505064A publication Critical patent/JP2021505064A/ja
Priority to JP2021088445A priority Critical patent/JP7410082B2/ja
Application granted granted Critical
Publication of JP6891350B2 publication Critical patent/JP6891350B2/ja
Priority to JP2023137381A priority patent/JP2023153394A/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/302—Electronic adaptation of stereophonic sound system to listener position or orientation
    • H04S7/303—Tracking of listener position or orientation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/302—Electronic adaptation of stereophonic sound system to listener position or orientation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R5/00—Stereophonic arrangements
    • H04R5/04—Circuit arrangements, e.g. for selective connection of amplifier inputs/outputs to loudspeakers, for loudspeaker detection, or for adaptation of settings to personal preferences or hearing impairments
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H04R3/04—Circuits for transducers, loudspeakers or microphones for correcting frequency response
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H04R3/12—Circuits for transducers, loudspeakers or microphones for distributing signals to two or more loudspeakers
    • H04R3/14—Cross-over networks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R5/00—Stereophonic arrangements
    • H04R5/02—Spatial or constructional arrangements of loudspeakers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S1/00—Two-channel systems
    • H04S1/002—Non-adaptive circuits, e.g. manually adjustable or static, for enhancing the sound image or the spatial distribution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S1/00—Two-channel systems
    • H04S1/007—Two-channel systems in which the audio signals are in digital form
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S3/00—Systems employing more than two channels, e.g. quadraphonic
    • H04S3/008—Systems employing more than two channels, e.g. quadraphonic in which the audio signals are in digital form, i.e. employing more than two discrete digital channels
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/13—Aspects of volume control, not necessarily automatic, in stereophonic sound systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
    • H04S2420/01—Enhancing the perception of the sound image or of the spatial distribution using head related transfer functions [HRTF's] or equivalents thereof, e.g. interaural time difference [ITD] or interaural level difference [ILD]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
    • H04S2420/13—Application of wave-field synthesis in stereophonic audio systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Otolaryngology (AREA)
  • Stereophonic System (AREA)

Description

本明細書において説明する主題は、オーディオ信号処理に関し、より詳細には、スピーカーに音声クロストークキャンセルを適用するときの（幾何学的なおよび物理的な）非対称性の対処に関する。
オーディオ信号（audio signal）は、あまり最適に設定されていないレンダリングシステムおよび／または室内音響に、出力されることがあり得る。図１Ａは、理想的なトランスオーラル（transaural）構成、すなわち、空いている防音室に１人のリスナーの２チャネルステレオスピーカーシステムに理想的なラウドスピーカーおよびリスナー構成の例を示す。図１Ａに示すように、リスナー１４０は、コンテンツ制作者の本来の意図に関して、空間的および音色的（timbral）に最も正確に再現された、左ラウドスピーカー１１０Ｌおよび右ラウドスピーカー１１０Ｒからのレンダリングされたオーディオを体験する理想的な位置（すなわち、「スイートスポット」）にいる。
しかしながら、理想的な「スイートスポット」条件が満たされない、またはオーディオ出力デバイスにより達成できない様々な状況がある。図１Ｂに示すように、今までに述べたことは、リスナー１４０の頭の位置が、ラウドステレオスピーカー１１０Ｌとラウドステレオスピーカー１１０Ｒとの間の理想的な「スイートスポット」の聴取位置から横方向にオフセットされる状況を含む。または、図１Ｃに示すように、リスナー１４０は、理想的な位置にあるが、各ラウドスピーカー１１０Ｒおよびラウドスピーカー１１０Ｒと、リスナー１４０の頭の位置との距離は、等しくない。さらに、図１Ｄに示すように、リスナー１４０は、理想的な位置にあるが、ラウドスピーカー１１０Ｌおよびラウドスピーカー１１０Ｒの周波数特性および振幅特性は、等しくない（すなわち、レンダリングシステムは、「アンマッチ（un-matched）」である）。別の例において、リスナー１４０とラウドスピーカー１１０Ｌおよびラウドスピーカー１１０Ｒとの物理的な位置は、理想的であるかもしれないが、図１Ｅに示すように、１つまたは複数のラウドスピーカー１１０Ｌおよびラウドスピーカー１１０Ｒは、右ラウドスピーカー１１０Ｒに対して、理想的な角度から回転としてオフセットされことがあり得る。
例示的な実施形態は、さまざまなスピーカーまたは環境の非対称性を調整する空間的にエンハンスメントされたオーディオ信号（spatially enhanced audio signal）のｂ−チェーン処理に関する。非対称性の例は、あるスピーカーと、別のスピーカーのとは異なるリスナーとの間の時間遅延、あるスピーカーと、別のスピーカーのとは異なるリスナーとの間の（知覚されるおよび目的の）信号レベル、または、あるスピーカーと、別のスピーカーのとは異なるリスナーとの間の周波数応を含むことがあり得る。
例示的な実施形態において、左スピーカーおよび右スピーカーの入力オーディオ信号をエンハンスメントするためのシステムは、空間エンハンスメントプロセッサーおよびｂ−チェーンプロセッサーを含む。空間エンハンスメントプロセッサーは、入力オーディオ信号の空間成分および非空間成分を利得調整することによって、空間エンハンスメント信号（spatially enhanced signal）を生成する。ｂ−チェーンプロセッサーは、周波数応答、タイムアライメントおよび聴取位置の信号レベルにおいて、左スピーカーと右スピーカーとの間の非対称性を決定する。ｂ−チェーンプロセッサーは、次の方法、空間エンハンスメント信号にＮ−バンドイコライゼーション（N-band equalization）を適用して、周波数応答の非対称性を調整すること、空間エンハンスメント信号に遅延を適用して、タイムアライメントの非対称性を調整すること、および空間エンハンスメント信号に利得を適用して、信号レベルの非対称性を調整することによって、左スピーカー用の左出力チャネルと右スピーカー用の右出力チャネルとを生成する。
実施形態において、ｂ−チェーンプロセッサーは、左空間のエンハンスメントされたチャネルと右空間のエンハンスメントされたチャネルとの少なくとも１つに１つまたは複数のフィルターを適用することによって、Ｎバンドイコライゼーションを適用する。１つまたは複数のフィルターは、左スピーカーおよび右スピーカーの周波数応答のバランスをとり、ローシェルフフィルターおよびハイシェルフフィルター、バンドパスフィルター、バンドストップフィルター、ピークノッチフィルター、ローパスフィルターおよびハイパスフィルターのうちの少なくとも１つのフィルターを含むことがあり得る。
実施形態において、ｂ−チェーンプロセッサーは、聴取位置の変化に応じて、遅延および利得のうちの少なくとも１つを調整する。
実施形態は、プロセッサーにより実行されると、左スピーカー用の左入力チャネルと右スピーカー用の右入力チャネルとを含む入力オーディオ信号の空間成分および非空間成分を利得調整することにより空間エンハンスメント信号を生成し、左スピーカーと右スピーカーとの間の非対称性を決定し、Ｎバンドイコライゼーションを空間エンハンスメント信号に適用して周波数応答の非対称性を調整することと、空間エンハンスメント信号に遅延を適用してタイムアライメントの非対称性を調整することと、空間エンハンスメント信号に利得を適用して信号レベルの非対称性を調整することと、によって左スピーカー用の左出力チャネルと右スピーカー用の右出力チャネルとを生成するようにプロセッサーを構成する命令を格納する非一時的なコンピューター読み取り可能な媒体を含むことがあり得る。
実施形態は、左スピーカーおよび右スピーカーの入力オーディオ信号を処理する方法が含むことがあり得る。方法は、左スピーカー用の左入力チャネルと右スピーカー用の右入力チャネルを含む入力オーディオ信号の空間成分および非空間成分を利得調整することによって空間エンハンスメント信号を生成することと、周波数応答、タイムアライメント、および聴取位置の信号レベルにおける左スピーカーと右スピーカーとの間の非対称性を決定することと、Ｎバンドイコライゼーションを空間エンハンスメント信号に適用して周波数応答の非対称性を調整すること、空間エンハンスメント信号に遅延を適用してタイムアライメントの非対称性を調整すること、および空間エンハンスメント信号に利得を適用して信号レベルの非対称性を調整することによって左スピーカー用の左出力チャネルと右スピーカー用の右出力チャネルとを生成することとを含むことがあり得る。
いくつかの実施形態に係るリスナーに関するラウドスピーカーの位置を例示する。 いくつかの実施形態に係るリスナーに関するラウドスピーカーの位置を例示する。 いくつかの実施形態に係るリスナーに関するラウドスピーカーの位置を例示する。 いくつかの実施形態に係るリスナーに関するラウドスピーカーの位置を例示する。 いくつかの実施形態に係るリスナーに関するラウドスピーカーの位置を例示する。 いくつかの実施形態に係るオーディオ処理システムの概略的なブロック図である。 いくつかの実施形態に係る空間エンハンスメントプロセッサーの概略的なブロック図である。 いくつかの実施形態に係るサブバンド空間プロセッサーの概略的なブロック図である。 いくつかの実施形態に係るクロストーク補償プロセッサーの概略的なブロック図である。 いくつかの実施形態に係るクロストークキャンセルプロセッサーの概略的なブロック図である。 いくつかの実施形態に係るｂ−チェーンプロセッサーの概略的なブロック図である。 いくつかの実施形態に係る入力オーディオ信号のｂ−チェーン処理のための方法のフローチャートである。 いくつかの実施形態に係る理想的ではない頭の位置およびアンマッチのラウドスピーカーを例示する。 いくつかの実施形態に係る図９に示す理想的ではない頭の位置およびアンマッチのラウドスピーカーの周波数応答を例示する。 いくつかの実施形態に係る図９に示す理想的ではない頭の位置およびアンマッチのラウドスピーカーの周波数応答を例示する。 いくつかの実施形態に係るコンピューターシステムの概略的なブロック図である。
図面は、および詳細な説明は、例示のみの目的のための様々な非限定的な実施形態を描写する。
ここで、実施形態を詳細に参照し、その例を添付図面に示す。以下の説明は、ある特定の具体的詳細を、様々な実施形態の徹底した理解を提供するために示す。ただし、これらの具体的な詳細なしに、記載されている実施形態を実施することができる。その他の事例では、明確な方法、手順、構成要素、回路、およびネットワークについては、実施形態の態様を不必要に曖昧にしないように詳細に説明されていない。
本開示の実施形態は、空間エンハンスメントおよびｂ−チェーンの処理を提供するオーディオ処理システムに関する。空間エンハンスメントは、サブバンド空間処理およびクロストークキャンセルを入力オーディオ信号に適用することを含むことがあり得る。ｂ−チェーン処理は、非理想的に構成されたステレオラウドスピーカーレンダリングシステム上に、トランスオーラルにレンダリングされたオーディオの知覚される空間的なサウンドステージを復元する。
例えば、映画館または個人用ヘッドフォンに使用されることが可能であるようなデジタルオーディオシステムは、ａ−チェーンとｂ−チェーンとの２つの部分として考えられることが可能である。例えば、映画館のような環境では、ａ−チェーンは、通常、ドルビーアナログに、さらにドルビーデジタル、ＤＴＳ、およびＳＤＤＳなどのデジタルフォーマットの中からの選択に、利用できるフィルムプリント上の音声録音を含む。さらに、フィルムプリントからオーディオを取得し処理して、増幅の準備ができるような装置は、ａ−チェーンの一部である。
ｂ−チェーンは、あまり最適に構成されていないレンダリングシステムの設置、室内音響、またはリスナーの位置の影響を修正および／または最小化するために、マルチチャネルの音量制御、イコライゼーション、タイムアライメント、および増幅を、ラウドスピーカーに適用するためのハードウェアおよびソフトウェアシステムを含む。ｂ−チェーン処理は、リスナーを「理想的な」体験に近づけるという一般的な目的で、リスニング体験の知覚される質を最適化するように、分析的またはパラメトリックに構成されることが可能である。
例示的なオーディオシステム
図２は、いくつかの実施形態に係るオーディオ処理システム２００の概略的なブロック図である。オーディオ処理システム２００は、サブバンド空間処理、クロストークキャンセル処理、およびｂ−チェーン処理を、左入力チャネルＸＬおよび右入力チャネルＸＲを含む入力オーディオ信号Ｘに適用して、左出力チャネルＯＬおよび右出力チャネルＯＲを含む出力オーディオ信号Ｏを生成する。出力オーディオ信号Ｏは、非理想的に構成されたステレオラウドスピーカーレンダリングシステム上で、トランスオーラルにレンダリングされた入力オーディオ信号Ｘに対して、知覚される空間的なサウンドステージを復元する。
オーディオ処理システム２００は、ｂ−チェーンプロセッサー２４０に接続された空間エンハンスメントプロセッサー２０５を含む。空間エンハンスメントプロセッサー２０５は、サブバンド空間プロセッサー２１０と、クロストーク補償プロセッサー２２０と、サブバンド空間プロセッサー２１０およびクロストーク補償プロセッサー２２０に接続されたクロストークキャンセルプロセッサー２３０とを含む。
サブバンド空間プロセッサー２１０は、左入力チャネルＸＬおよび右入力チャネルＸＲのミッドおよびサイドのサブバンドコンポーネントを利得調整することによって、空間的にエンハンスメントされたオーディオ信号を生成する。クロストーク補償プロセッサー２２０は、クロストーク補償（crosstalk compensation）を実行して、クロストークキャンセルプロセッサー２３０によって適用されたクロストークキャンセルのスペクトル欠陥またはアーチファクトを補償する。クロストークキャンセルプロセッサー２３０は、サブバンド空間プロセッサー２１０およびクロストーク補償プロセッサー２２０の組み合わされた出力にクロストークキャンセルを実行して、左エンハンスメントチャネルＡＬおよび右エンハンスメントチャネルＡＲを生成する。空間エンハンスメントプロセッサー２１０に関する追加の詳細は、図３〜６に関して以下に説明される。
ｂ−チェーンプロセッサー２４０は、ディレイアンドゲインプロセッサー２６０に接続されたスピーカーマッチングプロセッサー２５０を含む。特に、ｂ−チェーンプロセッサー２４０は、ラウドスピーカー１１０Ｌおよびラウドスピーカー１１０Ｒとリスナーの頭との差の全体的な遅延時間、ラウドスピーカー１１０Ｌおよびラウドスピーカー１１０Ｒとリスナーの頭との間の（知覚されるおよび目的の）信号レベルの差、およびラウドスピーカー１１０Ｌおよびラウドスピーカー１１０Ｒとリスナーの頭との間の周波数応答の差を調整することが可能である。
スピーカーマッチングプロセッサー２５０は、左エンハンスメントチャネルＡＬおよび右エンハンスメントチャネルＡＲを受信し、例えば、モバイルデバイスのスピーカーペアまたは他のタイプの左／右スピーカーペアなど、マッチしたスピーカーペアを提供しないデバイスに対してスピーカーバランシングを行う。実施形態において、スピーカーマッチングプロセッサー２５０は、左エンハンスメントチャネルＡＬおよび右エンハンスメントチャネルＡＲの各々にイコライゼーションおよび利得または減衰を適用して、理想的なリスニングスイートスポットの視点からスペクトル的に知覚的にバランスのとれたステレオイメージを提供する。ディレイアンドゲインプロセッサー２６０は、スピーカーマッチングプロセッサー２５０の出力を受信し、チャネルＡＬおよびＡＲの各々にイコライゼーションおよび利得または減衰を適用して、タイムアライメントをし、さらに、レンダリング／リスニングシステム内の実際の物理的な非対称性（例えば、オフセンターの頭の位置および／または同等でないラウドスピーカーとヘッドとの間の距離など）が与えられた、特定のリスナーの頭の位置からの空間イメージの知覚的なバランスをとる。スピーカーマッチングプロセッサー２５０およびディレイアンドゲインプロセッサー２６０によって適用される処理は、異なる順序で行うことがあり得る。ｂ−チェーンプロセッサー２４０に関する追加の詳細は、図７に関して以下に説明する。
空間エンハンスメントプロセッサーの例
図３は、いくつかの実施形態に係る空間エンハンスメントプロセッサー２０５の概略的なブロック図である。空間エンハンスメントプロセッサー２０５は、入力オーディオ信号を空間的にエンハンスメントし、空間的にエンハンスメントされたオーディオ信号上にクロストークキャンセルを行う。その目的のために、空間エンハンスメントプロセッサー２０５は、左入力チャネルＸＬおよび右入力チャネルＸＲを含む入力オーディオ信号Ｘを受信する。実施形態において、入力オーディオ信号Ｘは、デジタルビットストリーム（例えば、ＰＣＭデータなど）のソースコンポーネントから提供される。ソースコンポーネントは、コンピューター、デジタルオーディオプレーヤー、光学式ディスクプレーヤー（例えば、ＤＶＤ、ＣＤ、ブルーレイなど）、デジタルオーディオストリーマー、またはデジタルオーディオ信号の他のソースであることがあり得る。空間エンハンスメントプロセッサー２０５は、入力チャネルＸＬおよび入力チャネルＸＲを処理することにより、２つの出力チャネルＡＬおよび出力チャネルＡＲを含む出力オーディオ信号Ａを生成する。出力オーディオ信号Ａは、クロストーク補償およびクロストークキャンセルによる入力オーディオ信号Ｘの空間的にエンハンスメントされたオーディオ信号である。図３に示さないが、さらに、空間エンハンスメントプロセッサー２０５は、クロストークキャンセルプロセッサー２３０からの出力オーディオ信号Ａを増幅し、例えば、ラウドスピーカー１１０Ｒおよびラウドスピーカー１１０Ｒなど、出力チャネルＡＬおよび出力チャネルＡＲを音に変換する出力デバイスに信号Ａを提供する増幅器を含むことがあり得る。
空間エンハンスメントプロセッサー２０５は、サブバンド空間プロセッサー２１０、クロストーク補償プロセッサー２２０、コンバイナー２２２、およびクロストークキャンセルプロセッサー２３０を含む。空間エンハンスメントプロセッサー２０５は、入力音声入力チャネルＸＬ、ＸＲのクロストーク補償およびサブバンド空間処理を実行し、サブバンド空間処理の結果をクロストーク補償の結果と組み合わせて、次に、組み合わされた信号にクロストークキャンセルを実行する。
サブバンド空間プロセッサー２１０は、空間周波数帯域ディバイダー３１０、空間周波数帯域プロセッサー３２０、空間周波数帯域コンバイナー３３０を含む。空間周波数帯域ディバイダー３１０は、入力チャネルＸＬおよび入力チャネルＸＲと空間周波数帯域プロセッサー３２０に接続される。空間周波数帯域ディバイダー３１０は、左入力チャネルＸＬおよび右入力チャネルＸＲを受け取り、入力チャネルを、空間（または「サイド」）成分Ｙｓおよび非空間（または「ミッド」）成分Ｙｍへと処理する。例えば、空間成分Ｙｓは、左入力チャネルＸＬと右入力チャネルＸＲとの差に基づいて、生成されることが可能である。非空間成分Ｙｍは、左入力チャネルＸＬと右入力チャネルＸＲとの和に基づいて、生成されることが可能である。空間周波数帯域ディバイダー３１０は、空間成分Ｙｓおよび非空間成分Ｙｍを空間周波数帯域プロセッサー３２０に提供する。
空間周波数帯域プロセッサー３２０は、空間周波数帯域ディバイダー３１０および空間周波数帯域コンバイナー３３０に接続される。空間周波数帯域プロセッサー３２０は、空間周波数帯域ディバイダー３１０から空間Ｙｓおよび非空間成分Ｙｍを受信し、受信信号をエンハンスメントする。特に、空間周波数帯域プロセッサー３２０は、空間成分Ｙｓからエンハンスメントされた空間成分Ｅｓを生成し、非空間成分Ｙｍからエンハンスメントされた非空間成分Ｅｍを生成する。
例えば、空間周波数帯域プロセッサー３２０は、空間成分Ｙｓにサブバンドゲインを適用してエンハンスメントされた空間成分Ｅｓを生成し、非空間成分Ｙｍにサブバンドゲインを適用してエンハンスメントされた非空間成分Ｅｍを生成する。いくつかの実施形態では、追加としてまたは代替として、空間周波数帯域プロセッサー３２０は、エンハンスメントされた空間成分Ｅｓを生成するために空間成分Ｙｓにサブバンド遅延を、およびエンハンスメントされた非空間成分Ｅｍを生成するために非空間成分Ｙｍにサブバンド遅延を提供する。サブバンドの利得および／または遅延は、空間成分Ｙｓおよび非空間成分Ｙｍの異なる（例えば、ｎ個の）サブバンドに対して異なることが可能であるか、または（例えば、２つ以上のサブバンドに対して）同じであることが可能である。空間周波数帯域プロセッサー３２０は、空間成分Ｙｓと非空間成分Ｙｍとの異なるサブバンドの利得および／または遅延を互に関して調整して、エンハンスメントされた空間成分Ｅｓおよびエンハンスメントされた非空間成分Ｅｍを生成する。次に、空間周波数帯域プロセッサー３２０は、エンハンスメントされた空間成分Ｅｓおよびエンハンスメントされた非空間成分Ｅｍを空間周波数帯域コンバイナー３３０に提供する。
空間周波数帯域コンバイナー３３０は、空間周波数帯域プロセッサー３２０に接続され、さらにコンバイナー２２２に接続される。空間周波数帯域コンバイナー３３０は、空間周波数帯域プロセッサー３２０からエンハンスメントされた空間成分Ｅｓおよびエンハンスメントされた非空間成分Ｅｍを受け取り、エンハンスメントされた空間成分Ｅｓおよびエンハンスメントされた非空間成分Ｅｍを左空間エンハンスメントチャネルＥＬおよび右空間エンハンスメントチャネルＥＲに組み合わせる。たとえば、左空間エンハンスメントチャネルＥＬは、エンハンスメントされた空間成分Ｅｓとエンハンスメントされた非空間成分Ｅｍとの和に基づいて、生成されることが可能であり、右空間エンハンスメントチャネルＥＲは、エンハンスメントされた非空間成分Ｅｍとエンハンスメントされた空間成分Ｅｓとの差に基づいて、生成されることが可能である。空間周波数帯域コンバイナー３３０は、左空間エンハンスメントチャネルＥＬおよび右空間エンハンスメントチャネルＥＲをコンバイナー２２２に提供する。
クロストーク補償プロセッサー２２０は、クロストーク補償を実行して、クロストークキャンセルのスペクトル欠陥やアーチファクトを補償する。クロストーク補償プロセッサー２２０は、入力チャネルＸＬおよびＸＲを受け取り、クロストークキャンセルプロセッサー２３０によって実行されるエンハンスメントされた非空間成分Ｅｍおよびエンハンスメントされた空間成分Ｅｓの後続のクロストークキャンセルにおけるアーチファクトを補償する処理を実行する。実施形態では、クロストーク補償プロセッサー２２０は、左クロストーク補償チャネルＺＬおよび右クロストーク補償チャネルＺＲを含むクロストーク補償信号Ｚを生成するフィルターを適用することによって、非空間成分Ｘｍおよび空間成分Ｘｓ上のエンハンスメントを実行し得る。他の実施形態において、クロストーク補償プロセッサー２２０は、非空間成分Ｘｍ上にのみエンハンスメントを実行することがあり得る。
コンバイナー２２２は、左空間エンハンスメントチャネルＥＬを左クロストーク補償チャネルＺＬと組み合わせて左エンハンスメント補償チャネルＴＬを生成し、右空間エンハンスメントチャネルＥＲを右クロストーク補償チャネルＺＲと組み合わせて右エンハンスメント補償チャネルＴＲを生成する。コンバイナー２２２は、クロストークキャンセルプロセッサー２３０に接続され、左エンハンスメント補償チャネルＴＬおよび右エンハンスメント補償チャネルＴＲをクロストークキャンセルプロセッサー２３０に提供する。
クロストークキャンセルプロセッサー２３０は、左エンハンスメント補償チャネルＴＬおよび右エンハンスメント補償チャネルＴＲを受け取り、チャネルＴＬ、ＴＲに対してクロストークキャンセルを実行して、左出力チャネルＯＬおよび右出力チャネルＯＲを含む出力オーディオ信号Ａを生成する。
サブバンド空間プロセッサー２１０に関する追加の詳細は、図４に関して以下に説明され、クロストーク補償プロセッサー２２０に関する追加の詳細は、図５に関して以下に説明され、クロストークキャンセルプロセッサー２３０に関する追加の詳細は、図６に関して以下に説明される。
図４は、いくつかの実施形態に係るサブバンド空間プロセッサー２１０の概略的なブロック図である。サブバンド空間プロセッサー２１０は、空間周波数帯域ディバイダー３１０、空間周波数帯域プロセッサー３２０、および空間周波数帯域コンバイナー３３０を含む。空間周波数帯域ディバイダー３１０は、空間周波数帯域プロセッサー３２０と接続され、空間周波数帯域プロセッサー３２０は、空間周波数帯域コンバイナー３３０と接続される。
空間周波数帯域ディバイダー３１０には、左入力チャネルＸＬおよび右入力チャネルＸＲを受信し、これらの入力を空間成分Ｘｓおよび非空間成分Ｘｍに変換するＬ／Ｒ−Ｍ／Ｓコンバーター４０２を含む。空間成分Ｘｓは、左入力チャネルＸＬおよび右入力チャネルＸＲを減算することによって、生成されることがあり得る。非空間成分Ｘｍは、左入力チャネルＸＬおよび右入力チャネルＸＲを加算することによって、生成されることがあり得る。
空間周波数帯域プロセッサー３２０は、非空間成分Ｘｍを受信し、サブバンドフィルターのセットを適用して、非空間エンハンスメントサブバンドコンポーネントＥｍを生成する。さらに、空間周波数帯域プロセッサー３２０は、空間サブバンドコンポーネントＸｓを受信し、サブバンドフィルターのセットを適用して、非空間エンハンスメントサブバンドコンポーネントＥｍを生成する。サブバンドフィルターは、ピークフィルター、ノッチフィルター、ローパスフィルター、ハイパスフィルター、ローシェルフフィルター、ハイシェルフフィルター、バンドパスフィルター、バンドストップフィルター、および／またはオールパスフィルターのさまざまな組み合わせを含むことが可能である。
実施形態において、空間周波数帯域プロセッサー３２０は、非空間成分Ｘｍのうちのｎ個の周波数サブバンドの各々に対するサブバンドフィルターと、空間成分Ｘｓのうちのｎ個の周波数サブバンドの各々に対するサブバンドフィルターを含む。例えば、ｎ＝４に対して、空間周波数帯域プロセッサー３２０は、サブバンド（１）用のミッドイコライゼーション（ＥＱ）フィルター４０４（１）、サブバンド（２）用のミッドＥＱフィルター４０４（２）、サブバンド（３）用のミッドＥＱフィルター４０４（３）、サブバンド（４）用のミッドＥＱフィルター４０４（４）を含む非空間成分Ｘｍ用の一連のサブバンドフィルターを含む。各ミッドＥＱフィルター４０４は、非空間成分Ｘｍの周波数サブバンド部分にフィルターを適用して、エンハンスメントされた非空間成分Ｅｍを生成する。
さらに、空間周波数帯域プロセッサー３２０は、サブバンド（１）用のサイドイコライゼーション（ＥＱ）フィルター４０６（１）、サブバンド用（２）のサイドＥＱフィルター４０６（２）、サブバンド用のサイドＥＱフィルター４０６（３）、サブバンド用のサイドＥＱフィルター４０６（４）を含む空間成分Ｘｓの周波数サブバンドに対する一連のサブバンドフィルターを含む。各サイドＥＱフィルター４０６は、空間成分Ｘｓの周波数サブバンド部分にフィルターを適用して、エンハンスメントされた空間成分Ｅｓを生成する。
非空間成分Ｘｍおよび空間成分Ｘｓに関するｎ個の周波数サブバンドの各々は、周波数の範囲に対応することがあり得る。たとえば、周波数サブバンド（１）は０〜３００Ｈｚに対応し、周波数サブバンド（２）は３００〜５１０Ｈｚに対応し、周波数サブバンド（３）は５１０〜２７００Ｈｚに対応し、周波数サブバンド（４）は２７００Ｈｚ〜ナイキスト周波数に対応する。いくつかの実施形態では、ｎ個の周波数サブバンドは重要なバンドの統合セットである。重要なバンドは色々な音楽的なジャンルからの可聴周波サンプルのコーパスを使用して定められ得る。２４バーク尺度の臨界帯域における中間成分とサイド成分の長期平均エネルギー比は、サンプルから決定される。次に、同様の長期平均比を持つ連続周波数帯域をグループ化して、重要な帯域のセットを形成する。周波数サブバンドの範囲と周波数サブバンドの数は調整することができる。実施形態において、ｎ個の周波数サブバンドの各々は、重要なバンドのセットを含むことがあり得る。
実施形態において、ミッドＥＱフィルター４０４またはサイドＥＱフィルター−４０６は、式１により定義される伝達関数を有する４次フィルター（biquad filter）を含むことがあり得る。
Figure 0006891350
ただし、ｚは複素変数で、ａ0、ａ1、ａ2、ｂ0、ｂ1、およびｂ2はデジタルフィルター係数である。フィルターは、式２により定義されるダイレクトフォーム（direct form）Ｉトポロジーを使用して実装されることがあり得る。
Figure 0006891350
ここで、Ｘは、入力ベクトルであり、Ｙは、出力である。他のトポロジーは、最大ワード長およびサチュレーションビヘイビア（saturation behavior）に依存する、あるプロセッサーに対して利点があることがあり得るだろう。
次に、４次を使用して、実数の入力値および出力値を有する任意の２次フィルターを実装することが可能である。離散時間フィルターを設計するために、連続時間フィルターは、設計され、双一次変換を介して離散時間に変換する。さらに、中心周波数および帯域幅における任意の結果のシフトに対する補償は、周波数歪みを使用して、達成されることがあり得る。
例えば、ピークフィルターは、式３により定義されるＳ平面伝達関数（S-plane transfer function）を含むことがあり得る。
Figure 0006891350
ここで、Ｓは、複素変数であり、Ａは、ピークの振幅であり、Ｑはフィルター「品質」（次のようにカノニカルに導かれる
Figure 0006891350
）である。
デジタルフィルター係数は、次のとおりである。
Figure 0006891350
ただし、ω0は、フィルターの中心周波数をラジアンおよび
Figure 0006891350
で表したものである。
空間周波数帯域コンバイナー３３０は、中間部とサイドの成分を受け取り、各成分にゲインを適用し、中間とサイドの成分を左右のチャネルに変換する。たとえば、空間周波数帯域コンバイナー３３０は、エンハンスメントされた非空間成分Ｅｍおよびエンハンスメントされた空間成分Ｅｓを受信し、エンハンスメントされた非空間成分Ｅｍおよびエンハンスメントされた空間成分Ｅｓを左空間エンハンスメントチャネルＥＬおよび右空間エンハンスメントチャネルＥＲに変換する前に、大域的なミッドアンドサイドの利得を実行する。
具体的には、空間周波数帯域コンバイナー３３０は、グローバルミッドゲイン４０８と、グローバルサイドゲイン４１０と、グローバルミッドゲイン４０８およびグローバルサイドゲイン４１０に接続されたＭ／Ｓ−Ｌ／Ｒコンバーター４１２を含む。グローバルミッドゲイン４０８は、エンハンスメントされた非空間成分Ｅｍを受信し、利得を適用し、グローバルサイドゲイン４１0は、エンハンスメントされた非空間成分Ｅｓを受信し、利得を適用する。Ｍ／Ｓ−Ｌ／Ｒコンバーター４１２は、グローバルミッドゲイン４０８からエンハンスメントされた非空間成分Ｅｍを、グローバルサイドゲイン４１０からエンハンスメントされた空間成分Ｅｓを受信し、これらの入力を左空間エンハンスメントチャネルＥＬおよび右空間エンハンスメントチャネルＥＲに変換する。
図５は、いくつかの実施形態に係るクロストーク補償プロセッサー２２０の概略的なブロック図である。クロストーク補償プロセッサー２２０は、左右の入力チャネルを受信し、入力チャネル上にクロストーク補償を適用することによって、左右の出力チャネルを生成する。クロストーク補償プロセッサー２２０は、Ｌ／Ｒ−Ｍ／Ｓコンバーター５０２、ミッドコンポーネントプロセッサー５２０、サイドコンポーネントプロセッサー５３０、およびＭ／Ｓ−Ｌ／Ｒコンバーター５１４を含む。
クロストーク補償プロセッサー２２０がオーディオシステム２０２、４００、５００または５０４の部分であるとき、クロストーク補償プロセッサー２２０は、入力チャネルＸＬおよびＸＲを受信し、前処理を実行して左クロストーク補償チャネルＺＬおよび右クロストーク補償チャネルＺＲを生成する。チャネルＺＬ、ＺＲは、例えば、クロストークキャンセルまたはシミュレーションなど、クロストーク処理のアーチファクトを補償するのに使用されることがあり得る。Ｌ／Ｒ−Ｍ／Ｓコンバーター５０２は、左入力音声チャネルＸＬおよび右入力音声チャネルＸＲを受信し、入力チャネルＸＬ、ＸＲの非空間成分Ｘｍおよび空間成分Ｘｓを生成する。一般に、左右のチャネルは、加算されて左右のチャネルの非空間成分を生成し、減算されて左右のチャネルの空間成分を生成することがあり得る。
ミッドコンポーネントプロセッサー５２０には、ｍ個のミッドフィルター５４０（ａ）、５４０（ｂ）、５４０（ｍ）などの複数のフィルター５４０が搭載されている。ここで、ｍ個のミッドフィルター５４０の各々は、非空間成分Ｘｍおよび空間成分Ｘｓのｍ個の周波数帯域のうちの１つを処理する。ミッドコンポーネントプロセッサー５２０は、非空間成分Ｘｍを処理することによって、ミッドクロストーク補償チャネルＺｍを生成する。実施形態において、ミッドフィルター５４０は、シミュレーションを通したクロストーク処理による非空間成分Ｘｍの周波数応答プロットを使用して、構成される。また、周波数応答プロットを解析することにより、クロストーク処理のアーチファクトとして発生する周波数応答プロットのピークやトラフなどのスペクトル障害を、あらかじめ設定されたしきい値（１０ｄｂなど）を超えて推定することができる。これらのアーチファクトは、主にクロストーク処理において、遅延され反転された対側信号と、対応する同側信号との合計に起因し、よって、最終的なレンダリング結果にコームフィルターのような周波数応答を効果的に導入する。ミッドクロストーク補償チャネルＺｍは、ミッドコンポーネントプロセッサー５２０によって生成されて、推定されたピークまたはトラフに対して補償することが可能であり、ただし、ｍ個の周波数帯域の各々がピークまたはトラフに対応する。具体的には、クロストーク処理で適用される特定の遅延、フィルタリング周波数、およびゲインに基づいて、周波数応答でピークとトラフが上下に移動し、スペクトルの特定の領域におけるエネルギーの増幅や減衰を引き起こす。各ミッドフィルター５４０は、１つまたは複数のピークとトラフに合わせて調整するように設定できる。
サイドコンポーネントプロセッサー５３０は、ｍ個のサイドフィルター５５０（ａ）、５５０（ｂ）〜５５０（ｍ）などの複数のフィルター５５０を含む。サイドコンポーネントプロセッサー５３０は、空間成分Ｘｓを処理することによって、サイドクロストーク補償チャネルＺｓを生成する。実施形態において、クロストーク処理による空間成分Ｘｓの周波数応答プロットは、シミュレーションによって、得られることが可能である。周波数応答プロットを解析することにより、クロストーク処理のアーチファクトとして発生する周波数応答プロットのピークやトラフなどのスペクトル障害を、あらかじめ設定されたしきい値（１０ｄＢなど）を超えて推定できる。サイドクロストーク補償チャネルＺｓは、サイドコンポーネントプロセッサー５３０によって生成されて、推定されるピークまたはトラフを補償することが可能である。具体的には、クロストーク処理で適用される特定の遅延、フィルタリング周波数、およびゲインに基づいて、周波数応答でピークとトラフが上下に移動し、スペクトルの特定の領域におけるエネルギーの増幅や減衰を引き起こす。各サイドフィルター５５０は、１つまたは複数のピークおよびトラフに合わせて調整するように設定できる。一部の実施形態では、ミッドコンポーネントプロセッサー５２０とサイドコンポーネントプロセッサー５３０に異なる数のフィルターが含まれている場合がある。
実施形態において、ミッドフィルター５４０およびサイドフィルター５５０は、式４により定義された伝達関数を有する４次フィルターを含むことがあり得る。
Figure 0006891350
ただし、ｚは複素変数で、a0、a1、a2、b0、b1、およびb2はデジタルフィルター係数である。このようなフィルターを実装する１つの方法は、式５で定義されたダイレクトフォームＩトポロジーである。
Figure 0006891350
ただし、Ｘは入力ベクトル、Ｙは出力である。ほかのトポロジーは最大ワード長および飽和動作に応じて、使用される。
その後、バイクアッドを使用して、実値の入出力を持つ２次フィルターが実装できる。離散時間フィルターを設計するために、連続時間フィルターが設計され、双一次変換によって離散時間に変換される。さらに、中心周波数と帯域幅のシフトは、周波数歪みを使用して補償できる。
例えば、ピークフィルターは、式６で定義され複素平面転送機能がある。
Figure 0006891350
ただし、ｓは、複素変数であり、Ａは、ピークの振幅であり、Ｑは、フィルター「品質」であり、デジタルフィルター係数は、次のように定義される。
Figure 0006891350
ただし、ω0は、フィルターの中心周波数をラジアンおよび
Figure 0006891350
で表したものである。
さらに、フィルター品質Ｑは式７で定義できる。
Figure 0006891350
ただし、
Figure 0006891350
は帯域幅、ｆcは中心周波数である。
Ｍ／Ｓ−Ｌ／Ｒコンバーター５１４は、ミッドクロストーク補償チャネルＺｍおよびサイドクロストーク補償チャネルＺｓを受信し、左クロストーク補償チャネルＺＬおよび右クロストーク補償チャネルＺＲを生成する。一般に、ミッドチャネルとサイドチャネルとを加算して、ミッドコンポーネントおよびサイドコンポーネントの左チャネルを生成し、ミッドチャネルとサイドチャネルとを減算して、ミッドコンポーネントおよびサイドコンポーネントの右チャネルを生成することがあり得る。
図６は、いくつかの実施形態に係るクロストークキャンセルプロセッサー２３０の概略的なブロック図である。クロストークキャンセルプロセッサー２３０は、コンバイナー２２２から左エンハンスメント補償チャネルＴＬおよび右エンハンスメント補償チャネルＴＲを受信し、チャネルＴＬ、ＴＲ上にクロストークキャンセルを実行して、左出力チャネルＡＬおよび右出力チャネルＡＲを生成する。
クロストークキャンセルプロセッサー２３０は、インアウトバンドディバイダー６１０、インバーター６２０および６２２、対側エスティメーター６３０および６４０、コンバイナー６５０および６５２、インアウトバンドコンバイナー６６０を含む。これらの構成要素は、入力チャネルＴＬ、ＴＲを帯域内成分および帯域外成分に分割し、帯域内成分上にクロストークキャンセルを実行して、出力チャネＡＬ、ＡＲを生成する。
入力オーディオ信号Ｔを異なる周波数帯域成分に分割し、選択的成分（帯域内成分など）でクロストークキャンセルを実行することで、他の周波数帯域での劣化をなくしながら、特定の周波数帯域でクロストークキャンセルを実行できる。入力オーディオ信号Ｔを異なる周波数帯域に分割せずにクロストークキャンセルを実行すると、クロストークキャンセル後のオーディオ信号は、低周波数（３５０Ｈｚ未満など）、高周波数（１２０００Ｈｚ以上など）、または両方での非空間成分および空間成分で大きな減衰または増幅を示す場合がある。影響の大きい空間的手がかりの大部分が存在するインバンド（２５０Ｈｚ〜１４０００Ｈｚなど）のクロストークキャンセルを選択的に実行することで、ミックス内のスペクトル全体にわたって、特に非空間的な成分でバランスのとれた全体的なエネルギーを維持できる。
インアウトバンドディバイダー６１０は、入力チャネルＴＬ、ＴＲを、それぞれ、帯域内チャネルＴＬ，Ｉｎ、ＴＲ，Ｉｎ、および帯域外チャネルＴＬ，Ｏｕｔ、ＴＲ，Ｏｕｔに分離する。特に、インアウトバンドディバイダー６１０は、左エンハンスメント補償チャネルＴＬを、左帯域内チャネルＴＬ，Ｉｎ、および左帯域外チャネルＴＬ，Ｏｕｔに分割する。同様に、インアウトバンドディバイダー６１０は、右エンハンスメント補償チャネルＴＲを、右帯域内チャネルＴＲ，Ｉｎ、および右帯域外チャネルＴＲ，Ｏｕｔに分割する。各帯域内チャネルは、例えば２５０Ｈｚ〜１４ｋＨｚなど、周波数範囲に対応する各入力チャネルの一部を包含する。周波数帯域の範囲は、スピーカーのパラメーターなどに応じて調整できる。
インバーター６２０および対側エスティメーター６３０は、左帯域内チャネルＴＬ，Ｉｎによる対側サウンド成分を補償するために、左対側キャンセル成分ＳＬを生成するようにともに動作する。同様に、インバーター６２２および対側エスティメーター６４０は、右帯域内チャネルＴＲ，Ｉｎによる対側サウンド成分を補償するために、右対側キャンセル成分ＳＲを生成するようにともに動作する。
１つのアプローチでは、インバーター６２０は、帯域内チャネルＴＬ，Ｉｎを受信し、受信された帯域内チャネルＴＬ，Ｉｎの極性を反転して、反転された帯域内チャネルＴＬ，Ｉｎ’を生成する。対側エスティメーター６３０は、反転された帯域内チャネルＴＬ，Ｉｎ’を受け取り、フィルタリングを通じて、対側サウンド成分に対応する反転された帯域内チャネルＴＬ、Ｉｎ’の一部を抽出する。フィルタリングが、反転された帯域内チャネルＴＬ，Ｉｎ’上に実行されるので、対側エスティメーター６３０によって抽出された部分は、対側サウンドコンポーネントに帰する帯域内チャネルＴＬ，Ｉｎの一部の逆になる。したがって、対側エスティメーター６３０によって抽出された部分は、左対側キャンセル成分ＳＬになり、反対側の帯域内チャネルＴＲ，Ｉｎに加算して、帯域内チャネルＴＬ，Ｉｎに起因する対側サウンド成分を減らすことが可能である。一部の実施形態では、インバーター６２０と対側エスティメーター６３０は、異なる順序で実装される。
インバーター６２２および対側エスティメーター６４０は、帯域内チャネルＴＲ，Ｉｎに関して同様の操作を行い、右対側キャンセル成分ＳＲを生成する。従って、その詳細な説明は、本明細書では簡潔さのために省略される。
１つの例示的な実装形態において、対側エスティメーター６３０は、フィルター６３２、アンプ６３４、およびディレイユニット６３６を含む。フィルター６３２は、反転された入力チャネルＴＬ，Ｉｎ’を受け取り、フィルタリング機能を通して対側サウンド成分に対応する反転された帯域内チャネルＴＬ，Ｉｎ’の一部を抽出する。フィルターの実装の例は、５０００〜１００００Ｈｚにおいて選択される中心周波数と、０．５〜１．０において選択されるＱとを使用するＮｏｔｃｈまたはＨｉｇｈｓｈｅｌｆのフィルターがある。デシベル（ＧｄＢ）単位の利得は、式８から導出されることがあり得る。
ＧdB＝−３．０−ｌｏｇ1.333（Ｄ） 式８
ただし、Ｄは、サンプルにおけるディレイユニット６３６による遅延量、例えば、４８ＫＨｚのサンプリングレートである。
別の実装方法としては、ローパスフィルターがあり、コーナー周波数は５０００〜１００００Ｈｚの範囲で選択され、Ｑは０．５〜１．０の範囲で選択される。さらに、アンプ６３４は、対応するゲイン係数ＧL,Inによって抽出部分を増幅し、ディレイユニット６３６は遅延機能Ｄに従ってアンプ６３４からの増幅出力を遅延させ、左対側キャンセル成分ＳＬを生成する。対側エスティメーター６４０には、フィルター６４２、アンプ６４４、およびディレイユニット６４６が含まれている。このユニットは、反転された帯域内チャネルＴR,In’で同様の操作を実行して、右対側キャンセル成分ＳＲを生成する。１つの例において、対側エスティメーター６３０、６４０は、次の式に従って、左対側キャンセル成分ＳＬ、および右対側キャンセル成分ＳＲを生成する。
ＳL＝Ｄ［ＧL,In＊Ｆ［ＴL,In’］］ 式９
ＳR＝Ｄ［ＧR,In＊Ｆ［ＴR,In’］］ 式１０
ただし、Ｆ［］はフィルター関数、Ｄ［］は遅延関数である。
クロストークキャンセルの設定は、スピーカーのパラメーターによって決定できる。
例えば、２つのスピーカー１１０間のリスナーに対する角度に応じて、フィルターの中心周波数、遅延量、アンプゲイン、およびフィルターゲインを決定できる。一部の実施形態では、スピーカー角度間の値を使用して他の値を補間する。
コンバイナー６５０は、右対側キャンセル成分ＳＲを左帯域内チャネルＴＬ，Ｉｎに組み合わせて、左帯域内補償チャネルＵＬを生成し、コンバイナー６５２は、左対側キャンセル成分ＳＬを右帯域内チャネルＴＲ，Ｉｎに組み合わせて、右帯域内補償チャネルＵＲを生成する。インアウトバンドコンバイナー６６０は、左帯域内補償チャネルＵＬを帯域外チャネルＴＬ，Ｏｕｔに組み合わせて、左出力チャネルＡＬを生成し、右帯域内補償チャネルＵＲを帯域外チャネルＴＲ，Ｏｕｔに組み合わせて、右出力チャネルＡＲを生成する。
したがって、左出力チャネルＡＬは、対側の音に帰する帯域内チャネルＴＲ，Ｉｎの一部の逆に対応する右対側キャンセル成分ＳＲを含み、右出力チャネルＡＲは、対側の音に帰する帯域内チャネルＴＬ，Ｉｎの一部の逆に対応する左対側キャンセル成分ＳＬを含む。本構成において、右耳に届く右出力チャネルＡＲに応じたラウドスピーカー１１０Ｒによる同側サウンド成分出力の波面は、左出力チャネルＡＬに応じたラウドスピーカー１１０Ｌによる対側サウンド成分出力の波面をキャンセルすることが可能である。同様に、左耳に届く左出力チャネルＡＬに応じたラウドスピーカー１１０Ｌによる同側サウンド成分出力の波面は、右出力チャネルＡＲに応じたラウドスピーカー１１０Ｒによる対側サウンド成分出力の波面をキャンセルすることが可能である。したがって、対側サウンド成分は、空間的な検出性をエンハンスメントするために削減されることが可能である。
例示的なｂ−チェーンプロセッサー
図７は、いくつかの実施形態に係るｂ−チェーンプロセッサー２４０の概略的なブロック図である。ｂ−チェーンプロセッサー２４０は、スピーカーマッチングプロセッサー２５０およびディレイアンドゲインプロセッサー２６０を含む。スピーカーマッチングプロセッサー２５０は、左アンプ７０４と右アンプ７０６とに接続されたＮ−バンドイコライザー（ＥＱ）７０２を含む。ディレイアンドゲインプロセッサー２６０は、左アンプ７１２に接続された左ディレイ７０８と、右アンプ７１４に接続された右ディレイ７１０とを含む。
図１Ａ〜１Ｅに示すように、リスナー１４０の向きは、理想的な空間イメージ（例えば、音場の仮想的なラテラルセンター（lateral center）、所定の対称性、マッチング、および等距離のラウドスピーカーなど）の中心に向かって固定されたままであると仮定すると、理想的な空間イメージと実際にレンダリングされる空間イメージとの間の変換関係は、（ａ）１つのスピーカーとリスナー１４０との間の全体的な時間遅延が別のスピーカーのとは異なることと、（ｂ）１つのスピーカーとリスナー１４０との間の（知覚されるおよび目的の）信号レベルが別のスピーカーのとは異なることと、（ｃ）１つのスピーカーとリスナー１４０との間の周波数応答が別のスピーカーのとは異なることとに基づいて、説明されることが可能である。
ｂ−チェーンプロセッサー２４０は、遅延、信号レベル、および周波数応答における上記の相対的な違いを訂正して、リスナー１４０（ヘッド位置など）および／またはレンダリングシステムが理想的に構成されているかのように、ほぼ理想的な空間イメージの復元に帰着する。
ｂ−チェーンプロセッサー２４０は、空間エンハンスメントプロセッサー２０５から、左エンハンスメントチャネルＡＬおよび右エンハンスメントチャネルＡＲを含むオーディオ信号Ａを入力として受信する。ｂ−チェーンプロセッサー２４０への入力は、（図１Ａに例示するように）理想的な状態において、与えられたリスナー／スピーカーの構成に対してトランスオーラルに処理されたどんなステレオオーディオストリームでも含むことがあり得る。オーディオ信号Ａが空間非対称性を有さないならば、および他の異常がシステムに存在しないならば、空間エンハンスメントプロセッサー２０５は、劇的にエンハンスメントされた音場をリスナー１４０に提供する。しかしながら、上記で説明され図１Ｂ〜１Ｅに例示されるように、非対称がシステムに存在するならば、ｂ−チェーンプロセッサー２４０は、非理想的な条件下にエンハンスメントされた音場を維持するのに適用されることがあり得る。
理想的なリスナー／スピーカーの構成が左右のスピーカーと頭との距離が一致するラウドスピーカーのペアを含むのに対して、実際の設定の多くは、これらの基準を満たさず、欠陥のあるステレオリスニング体験に帰着する。たとえば、モバイルデバイスは、限られた帯域幅（例えば、１０００〜８０００Ｈｚの周波数応答）の正面向きイヤピースラウドスピーカー、および直交する向き（下向きまたは横向き）のマイクロラウドスピーカー（例えば、２００〜２００００Ｈｚの周波数応答）を含むことがあり得る。ここで、スピーカーシステムは、オーディオドライバーの性能特性（例えば、信号レベル、周波数応答など）が異なることと、「理想的な」リスナー位置に関するタイムアライメントが、スピーカーの向きが平行でないために不一致であることとによる２つの要素において、アンマッチである。別の例は、ステレオデスクトップスピーカーシステムを使用するリスナーが、ラウドスピーカーかそれら自体かのいずれかを（例えば、図１Ｂ、１Ｃ、または１Ｅに示すように）理想的な構成に配置しない場合がある。従って、ｂ−チェーンプロセッサー２４０は、各チャネルの特性を調整すること、関連するシステム固有の非対称に対処すること、より知覚的に説得力のあるトランスオーラルな音場に帰着することを支える。
空間エンハンスメント処理または他の処理が、理想的に構成されたシステム（すなわち、スイートスポットのリスナー、マッチング、対称的に配置されたラウドスピーカーなど）の仮定の下に調整されたステレオ入力信号Ｘに、適用された後に、スピーカーマッチングプロセッサー２５０は、大多数のモバイルデバイスにおける場合と同様に、マッチしたスピーカーペアを供給しないデバイスに実用的なラウドスピーカーバランシングを提供する。スピーカーマッチングプロセッサー２５０のＮ−バンドＥＱ７０２は、左エンハンスメントチャネルＡＬおよび右エンハンスメントチャネルＡＲを受信し、チャネルＡＬおよびＡＲの各々にイコライゼーションを適用する。
実施形態において、Ｎ−バンドＥＱ７０２は、例えば、ローシェルフフィルター、ハイシェルフフィルター、バンドパスフィルター、バンドストップフィルター、ピークノッチフィルター、ローパスフィルター、ハイパスフィルターなど、さまざまなＥＱフィルター−タイプを提供する。例えば、ステレオペアの１つのラウドスピーカーが理想的なリスナースイートスポットから離れた角度であるならば、そのラウドスピーカーは、リスナースイートスポットから顕著な高周波減衰を示すだろう。Ｎ−バンドＥＱ７０２の１つまたは複数の帯域は、スイートスポットから（例えば、ハイシェルフフィルターを介してなど）見たときに高周波エネルギーを復元するために、ラウドスピーカーチャネルに適用することが可能であり、その他の前方のラウドスピーカーの特性に近いマッチングを達成する。別のシナリオでは、両方のラウドスピーカーが前面に面しているが１つのラウドスピーカーが大きく異なる周波数特性を有するならば、ＥＱチューニングを、左右の両方のチャネルに適用して、２つの間のスペクトルバランスをとることが可能である。上記の調整を適用することは、相手側の前向きのスピーカーの向きに合わせて、目的のスピーカーを「回転」させることに等しいことが可能である。実施形態において、Ｎ−バンドＥＱ７０２は、独立して処理されるｎ個の帯域の各々に対するフィルターを含む。帯域の数は、異なることがあり得る。実施形態において、帯域の数は、サブバンド空間処理のサブバンドに対応する。
実施形態において、スピーカーの非対称性は、Ｎ−バンドＥＱ７０２のパラメーターを選択するための基礎として使用される既知の非対称性によって、特定のスピーカーセットに対して予め定義されることがあり得る。別の例では、スピーカーの非対称性は、例えば、試験オーディオ信号を使用すること、スピーカーによって信号から生成された音を記録すること、記録された音を分析することなどによるスピーカーのテストに基づいて決定されることがあり得る。
左アンプ７０４は、Ｎ−バンドＥＱ７０２に接続されて、左チャネルを受信し、右アンプ７０６は、Ｎ−バンドＥＱ７０２に接続されて、右チャネルを受信する。アンプ７０４および７０６は、１つまたは両方のチャネル上の出力利得を調整することにより、ラウドスピーカーのラウドネスおよびダイナミックレンジ機能における非対称に対処する。これは、聴取位置からのラウドスピーカーの距離においてラウドネスオフセットのバランスをとるのに、および音圧レベル（ＳＰＬ）出力特性が大きく異なるアンマッチのラウドスピーカーペアのバランスをとるのに特に有益である。
ディレイアンドゲインプロセッサー２６０は、スピーカーマッチングプロセッサー２５０の左右の出力チャネルを受信し、１つまたは複数のチャネルに時間遅延および利得または減衰を適用する。その目的のために、ディレイアンドゲインプロセッサー２６０は、スピーカーマッチングプロセッサー２５０から左チャネル出力を受信し時間遅延を適用する左ディレイ７０８と、左チャネルに利得または減衰を適用して左出力チャネルＯＬを生成する左アンプ７１２とを含む。さらに、ディレイアンドゲインプロセッサー２６０は、スピーカーマッチングプロセッサー２５０から右チャネル出力を受信し時間遅延を適用する右ディレイ７１０と、右チャネルに利得または減衰を適用して右出力チャネルＯＲを生成する右アンプ７１４を含む。前述のように、スピーカーマッチングプロセッサー２５０は、理想的なリスナー「スイートスポット」の観点から左／右の空間イメージの知覚的なバランスを取り、その位置から各ドライバにバランスの取れたＳＰＬおよび周波数応答を提供することに焦点を当てて、実際の構成に存在する時間ベースの非対称を無視する。このスピーカーマッチングが達成された後に、ディレイアンドゲインプロセッサー２６０は、レンダリング／リスニングシステムの実際の物理的な非対称性（例えば、オフセンターの頭の位置および／または同等でないスピーカーと頭との距離など）が与えられた、特定のリスナーの頭の位置からの空間イメージのタイムアライメントをし、さらに知覚的バランスをとる。
ディレイアンドゲインプロセッサー２６０によって適用される遅延値および利得値は、例えば、直交する向きのラウドスピーカーを使用する携帯電話などの静的なシステム構成、または例えば、ホームシアターサウンドバーなどのスピーカーの前にある理想的なスイートスポットから横方向にオフセットされたリスナーに対処するように設定されることがあり得る。
さらに、ディレイアンドゲインプロセッサー２６０によって適用される遅延値および利得値は、（例えば、ゲームや人工現実システムなどの深度カメラを使用した位置追跡など）ゲームプレイの要素として物理的な動きを使用するゲームシナリオで発生する可能性があるように、リスナーの頭とラウドスピーカーとの間の変化する空間的な関係に基づいて動的に調整されることがあり得る。実施形態において、音声処理システムは、カメラ、光センサー、近接センサー、またはスピーカーに対するリスナーの頭の位置を決定するのに使用される他の適切なデバイスを含む。決定されるユーザーの頭の位置は、ディレイアンドゲインプロセッサー２６０の遅延値および利得値を決定するのに使用されることがあり得る。
音声解析ルーチンは、ｂ−チェーンプロセッサー２４０を構成するのに使用される適切なスピーカー間の遅延および利得を提供し、タイムアライメントされ、知覚的なバランスがとれた左／右のステレオイメージに帰着することが可能である。実施形態において、このような分析方法から測定可能なデータが得られない場合、直感的なユーザーの手動制御、またはコンピュータービジョンもしくは他のセンサー入力を介する自動制御は、以下の式１１および１２により定義されるようなマッピングを使用して達成されることが可能である。
Figure 0006891350
Figure 0006891350
ただし、ｄｅｌａｙＤｅｌｔａおよびｄｅｌａｙは、ミリ秒単位であり、ｇａｉｎは、デシベル単位である。ｄｅｌａｙおよびｇａｉｎの列ベクトルは、第１成分が左チャネルに、第２成分が右チャネルに関連することを仮定する。したがって、
Figure 0006891350
は、左スピーカーの遅延が右スピーカーの遅延以上を示し、ｄｅｌａｙＤｅｌｔａ＜０は、左スピーカー遅延が右スピーカーの遅延より小さいことを示す。
実施形態では、チャネルに減衰を適用する代わりに、同じ量の利得を、反対側のチャネルに、または１つのチャネルに適用される利得と他のチャネルに適用される減衰との組み合わせに適用することがあり得る。たとえば、利得は、左チャネルの減衰よりもむしろ左チャネルに適用されることがあり得る。モバイルと、デスクトップＰＣおよびコンソールゲームと、ホームシアターのシナリオとに生じるような近距離のリスニングに対して、リスナーの位置と各スピーカーとの間の距離の差は、十分に小さく、したがって、リスナーの位置と各スピーカーとの間のＳＰＬデルタは、十分に小さく、上記のマッピングのいずれかが、理想的なリスナー／スピーカーの構成と比較して、全体的に許容できる大きさの音場を維持しつつ、トランスオーラルな空間イメージを首尾よく復元するのに役立つだろう。
例示的なオーディオシステム処理
図８は、いくつかの実施形態に係る入力オーディオ信号を処理する方法８００のフローチャートである。方法８００は、より少ないまたは追加のステップを有することがあり得り、ステップは、異なる順において実行されることがあり得る。
オーディオ処理システム２００（例えば、空間エンハンスメントプロセッサー２０５）は、入力オーディオ信号をエンハンスメントして、エンハンスメント信号を生成する８０２。エンハンスメントは、空間的なエンハンスメントを含むことがあり得る。例えば、空間エンハンスメントプロセッサー２０５は、サブバンド空間処理、クロストーク補償処理、およびクロストークキャンセル処理を、左入力チャネルＸＬおよび右入力チャネルＸＲを含む入力オーディオ信号Ｘに適用して、左エンハンスメントチャネルＡＬおよび右エンハンスメントチャネルＡＲを含むエンハンスメント信号Ａを生成する。ここでは、オーディオ処理システム２００は、入力オーディオ信号Ｘのミッド（非空間）およびサイド（空間）サブバンド成分を利得調整することによって空間エンハンスメントを適用し、エンハンスメント信号Ａは、「空間エンハンスメント信号（spatially enhanced signal）」という。オーディオ処理システム２００は、他のタイプのエンハンスメントを実行してエンハンスメント信号Ａを生成することがあり得る。
オーディオ処理システム２００（例えば、ｂ−チェーンプロセッサー２４０のスピーカーマッチングプロセッサー２５０のＮ−バンドＥＱ７０２）は、Ｎ−バンドイコライゼーションをエンハンスメント信号Ａに適用して、左スピーカーと右スピーカーとの間の周波数応答の非対称性を調整する８０４。Ｎ−バンドＥＱ７０２は、１つまたは複数のフィルターを、左エンハンスメントチャネルＡＬ、右エンハンスメントチャネルＡＲ、または左チャネルＡＬおよび右チャネルＡＲの両方に適用することがあり得る。左エンハンスメントチャネルＡＬおよび／または右エンハンスメントチャネルＡＲに適用される１つまたは複数のフィルターは、左右のスピーカーについての周波数応答のバランスをとる。実施形態において、周波数応答のバランスをとることは、左右のスピーカーの理想的な角度からの回転オフセットを調整するのに使用されることがあり得る。実施形態において、Ｎ−バンドＥＱ７０２は、左右のスピーカーの非対称性を調整し、決定された非対称性に基づいてＮバンドＥＱを適用するためのフィルターのパラメーターを決定する。
オーディオ処理システム２００（例えば、左アンプ７０４および／または右アンプ７０６など）は、信号レベルで左スピーカーと右スピーカーとの間の非対称性を調整するために、左エンハンスメントチャネルＡＬおよび右エンハンスメントチャネルＡＲの少なくとも１つに利得を適用する８０６。適用される利得は、スピーカーのラウドネスおよびダイナミックレンジ機能における、または異なる音圧レベル（ＳＰＬ）出力特性を有するアンマッチのスピーカーペアにおける非対称に対処するための正の利得または負の利得（減衰ともいう）であることがあり得る。
オーディオ処理システム２００（例えば、ｂ−チェーンプロセッサー２４０のディレイアンドゲインプロセッサー２６０）は、遅延および利得をエンハンスメント信号Ａに適用して、聴取位置を調整する８０８。聴取位置は、左スピーカーおよび右スピーカーに関するユーザーの位置を含むことがあり得る。ユーザーは、スピーカーのリスナーを参照する。遅延および利得は、レンダリング／リッスンシステムの実際の物理的な非対称（例えば、中心を外れた頭の位置および／または同等でないラウドスピーカーと頭との距離）が与えられたリスナーの位置に対して、スピーカーマッチングプロセッサー２５０からの空間イメージ出力のタイムアライメントをし、さらに知覚的なバランスをとる。たとえば、左エンハンスメントチャネルＡＬに、左ディレイ７０８は、遅延を適用することがあり得り、左アンプ７１２は、利得を適用することがあり得る。右エンハンスメントチャネルＡＲに、右ディレイ７１０は、遅延を適用することがあり得り、右アンプ７１４は、利得を適用することがあり得る。実施形態において、遅延は、左エンハンスメントチャネルＡＬまたは右エンハンスメントチャネルＡＲのうちの１つに適用されることがあり得り、利得は、左エンハンスメントチャネルＡＬまたは右エンハンスメントチャネルＡＲのうちの１つに適用されることがあり得る。
オーディオ処理システム２００（例えば、ｂ−チェーンプロセッサー２４０のディレイアンドゲインプロセッサー２６０）は、聴取位置の変化に応じて、遅延および利得の少なくとも１つを調整する８１０。たとえば、左スピーカーと右スピーカーに関するユーザーの空間的な位置は、変わることがあり得る。オーディオ処理システム２００は、時間経過に伴うリスナーの位置を監視し、リスナーの位置に基づいてエンハンスメント信号Ｏに適用される利得および遅延を決定し、時間経過に伴うリスナーの位置の変化に応じてエンハンスメント信号Ｏに適用される遅延および利得を調整して、左出力チャネルＯＬおよび右出力チャネルＯＲを生成する。
さまざまな非対称の調整は、異なる順序において実行されることがあり得る。たとえば、スピーカーの特性（例えば、周波数応答など）の非対称性に対する調整は、スピーカーの位置または向きに関する聴取位置の非対称性に対する調整の前、後、または関連して実行されることがあり得る。オーディオ処理システムは、周波数応答、タイムアライメント、および聴取位置の信号レベルにおいて左スピーカーと右スピーカーとの間の非対称性を決定し、Ｎバンドイコライゼーションを空間エンハンスメント信号に適用して、周波数応答の左スピーカーと右スピーカーとの間の非対称性を調整することと、空間エンハンスメント信号に遅延を適用してタイムアライメントの非対称性を調整することと、空間エンハンスメント信号に利得を適用して信号レベルの非対称性を調整することと、によって左スピーカーの左出力チャネルおよび右スピーカーの右出力チャネルを生成する。
実施形態において、複数の利得または遅延を適用して非対称性の異なる原因（例えば、スピーカー特性または聴取位置など）に対して調整するよりもむしろ、単一の利得および単一の遅延を使用して、スピーカー間の利得または時間遅延の差に起因し、聴取位置の有利な地点に帰着する複数のタイプの非対称性を調整する。しかしながら、スピーカーの非対称性および聴取位置の非対称性に対する処理を分離して処理ニーズを減らすことは、有益であることがあり得る。例えば、スピーカーの周波数応答がわかると、同じフィルター値を、スピーカーの調整に使用することがあり得る一方、別個の時間遅延および信号レベルの調整は、聴取位置の変更（例えば、ユーザーの移動など）に対して行われる。
図９は、いくつかの実施形態に係る理想的ではない頭の位置およびアンマッチのラウドスピーカーを例示する。リスナー１４０は、左スピーカー９１０Ｌおよび右スピーカー９１０Ｒから異なる距離にある。さらに、スピーカー９１０Ｌおよび９１０Ｒの周波数および／または振幅特性は、同等ではない。図１０Ａは、左スピーカー９１０Ｌの周波数応答を例示し、および図１０Ｂは、右スピーカー９１０Ｒの周波数応答を例示する。
図９、１０Ａおよび１０Ｂに示すように、スピーカー９１０Ｌおよび９１０Ｒのスピーカーの非対称性と、スピーカー９１０Ｌおよび９１０Ｒの各々に関するリスナー１４０の位置とを訂正するために、ｂ−チェーンプロセッサー２４０のコンポーネントは、次の構成を使用することがあり得る。Ｎ−バンドＥＱ７０２は、４，５００ＨＺの遮断周波数、０．７のＱ値、および−６ｄＢの傾斜を有するハイシェルフフィルターを、左エンハンスメントチャネルＡＬに適用することがあり得り、６，０００ＨＺの遮断周波数、０．５のＱ値、および＋３ｄＢの傾斜を有するハイシェルフフィルターを、右エンハンスメントチャネルＡＲに適用することがあり得る。左ディレイ７０８は、０ミリ秒の遅延を適用することがあり得り、右ディレイ７１０は、０．２７ミリ秒の遅延を適用することがあり得り、左アンプ７１２は、０ｄＢの利得を適用することがあり得り、および右アンプ７１４は、−０．４０６２５ｄＢの利得を適用することがあり得る。
例示的なコンピューティングシステム
本明細書において説明されるシステムおよびプロセスは、埋め込まれた電子回路または電子システムに具現化されることがあり得ることが留意される。さらに、システムおよびプロセスは、１つまたは複数の処理システム（例えば、デジタル信号プロセッサーなど）、メモリー（例えば、プログラムされた読み取り専用メモリーもしくはプログラム可能なソリッドステートメモリなど）、または例えば、特定用途向け集積回路（ＡＳＩＣ）もしくはフィールドプログラマブルゲートアレイ（ＦＰＧＡ）回路などの他の回路を含むコンピューティングシステムにおいて、具現化されることがあり得る。
図１１は、ある実施形態に係るコンピューターシステム１１００の例を例示する。オーディオシステム２００は、システム１１００上に実装されることがあり得る。チップセット１１０４に接続された少なくとも１つのプロセッサー１１０２を、例示する。チップセット１１０４は、メモリーコントローラーハブ１１２０およびＩ／Ｏ（入力／出力）コントローラーハブ１１２２を含む。メモリー１１０６およびグラフィックスアダプター１１１２は、メモリーコントローラーハブ１１２０に接続され、ディスプレイデバイス１１１８は、グラフィックスアダプター１１１２に接続される。ストレージデバイス１１０８、キーボード１１１０、ポインティングデバイス１１１４、およびネットワークアダプター１１１６は、Ｉ／Ｏコントローラーハブ１１２２に接続される。コンピューター１１００の他の実施形態は、異なるアーキテクチャーを有する。例えば、いくつかの実施形態によると、メモリー１１０６はプロセッサー１１０２に直接接続されている。
ストレージデバイス１１０８には、ハードドライブ、コンパクトディスク読み取り専用メモリー（ＣＤ−ＲＯＭ）、ＤＶＤ、ソリッドステートメモリデバイスなど、一時的にコンピューターで読み取り可能な１つ以上のストレージメディアが含まれている。メモリー１１０６は、プロセッサー１１０２により使用される命令およびデータを保持する。例えば、メモリー１１０６は、プロセッサー１１０２により実行されると、プロセッサー１１０２に、例えば、方法８００など、本明細書において説明される機能を実行させる、または実行するように構成する命令を格納することがあり得る。ポインティングデバイス１１１４は、キーボード１１１０と組み合わせて使用され、コンピューターシステム１１００にデータを入力する。グラフィックスアダプター１１１２は、ディスプレイデバイス１１１８に画像および他の情報を表示する。実施形態において、ディスプレイデバイス１１１８は、ユーザーの入力および選択を受信するためのタッチスクリーンの性能を含む。ネットワークアダプター１１１６は、コンピューターシステム１１００をネットワークに接続する。コンピューター１１００のいくつかの実施形態は、図１１に示すものとは異なるおよび／または他のコンポーネントを有する。たとえば、コンピューターシステム１１００は、ディスプレイデバイス、キーボード、および他のコンポーネントがないサーバーであることがあり得り、または他のタイプの入力デバイスを使用することがあり得る。
追加の考慮事項
開示される構成は、いくつもの利益および／または利点を含むことがあり得る。例えば、入力信号は、音場の空間感覚を維持し、またはエンハンスメントしながら、アンマッチのラウドスピーカーに出力させることが可能である。高品質のリスニング体験は、スピーカーがアンマッチであるときでさえ、リスナーがスピーカーに関する理想的な聴取位置にいないときでさえ、到達されることが可能である。
本開示を読むと、依然として、当業者は、本明細書において開示される原理原則の追加の代替の実施形態を認めるだろう。従って、特定の実施形態および応用が例示され説明される一方、開示される実施形態は、本明細書において開示されるとおりの構造およびコンポーネントに限定されないことが理解されることである。当業者には明らかであろう様々な修正、変更、およびバリエーションは、本明細書において説明される範囲から逸脱することなく、本明細書において開示される方法および装置の配置、動作および細部に行われることがあり得る。
本明細書において説明されるステップ、オペレーションまたはプロセスは、１つまたは複数のハードウェアまたはソフトウェアモジュールにより、単独または他のデバイスと組み合わせにおいて実行されるまたは実装されることがあり得る。１つの実施形態において、ソフトウェアモジュールは、コンピュータープログラムコードを含むコンピューター読み取り可能な媒体（例えば、非一時的なコンピューター読み取り可能な媒体など）により実装され、説明されるステップ、オペレーションまたはプロセスのいくつかまたはすべてを行うためのコンピュータープロセッサーによって実行されることが可能である。

Claims (23)

  1. 左スピーカーおよび右スピーカーに対して入力オーディオ信号をエンハンスメントするためのシステムであって、
    前記入力オーディオ信号の空間成分および非空間成分を利得調整することにより空間エンハンスメント信号を生成するように構成された空間エンハンスメントプロセッサーと、
    聴取位置に対する周波数応答、タイムアライメント、および信号レベルにおける左スピーカーおよび右スピーカーの間の非対称性を決定し、
    前記空間エンハンスメント信号にＮバンドイコライゼーションを適用して、前記周波数応答における前記非対称性を調整すること、
    前記空間エンハンスメント信号に遅延を適用して、前記タイムアライメントにおける前記非対称性を調整すること、および
    前記空間エンハンスメント信号に利得を適用して、前記信号レベルにおける前記非対称性を調整すること
    によって、前記左スピーカーのための左出力チャネルおよび前記右スピーカーのための右出力チャネルを生成する
    ように構成されたｂ−チェーンプロセッサーと
    を備えたシステム。
  2. 前記Ｎバンドイコライゼーションを適用するように構成された前記ｂ−チェーンプロセッサーは、前記空間エンハンスメント信号の左空間エンハンスメントチャネルおよび右空間エンハンスメントチャネルのうちの少なくとも１つに１つまたは複数のフィルターを適用するように構成された前記ｂ−チェーンプロセッサーを含むことを特徴とする請求項１に記載のシステム。
  3. 前記１つまたは複数のフィルターは、前記左スピーカーおよび前記右スピーカーの周波数応答のバランスをとることを特徴とする請求項２に記載のシステム。
  4. 前記１つまたは複数のフィルターは、
    ローシェルフフィルターおよびハイシェルフフィルターと、
    バンドパスフィルターと、
    バンドストップフィルターと、
    ピークノッチフィルターと、
    ローパスフィルターおよびハイパスフィルターと
    のうちの少なくとも１つを含むことを特徴とする請求項２に記載のシステム。
  5. 前記空間エンハンスメント信号に前記遅延を適用するように構成された前記ｂ−チェーンプロセッサーは、前記空間エンハンスメント信号の左空間エンハンスメントチャネル又は右空間エンハンスメントチャネルのうちの１つに前記遅延を適用するように構成された前記ｂ−チェーンプロセッサーを含むことを特徴とする請求項１に記載のシステム。
  6. 前記空間エンハンスメント信号に前記利得を適用するように構成された前記ｂ−チェーンプロセッサーは、前記空間エンハンスメント信号の左空間エンハンスメントチャネル又は右空間エンハンスメントチャネルのうちの１つに前記利得を適用するように構成された前記ｂ−チェーンプロセッサーを含むことを特徴とする請求項１に記載のシステム。
  7. 前記ｂ−チェーンプロセッサーは、前記聴取位置における変化に従って、前記遅延および前記利得のうちの少なくとも１つを調整するようにさらに構成されたことを特徴とする請求項１に記載のシステム。
  8. 前記遅延および前記利得は、前記左スピーカーおよび前記右スピーカーから等しくない距離である前記聴取位置に対して調整することを特徴とする請求項１に記載のシステム。
  9. 前記空間エンハンスメントプロセッサーは、前記入力オーディオ信号にクロストーク補償およびクロストークキャンセルを適用して、前記空間エンハンスメント信号を生成するようにさらに構成されたことを特徴とする請求項１に記載のシステム。
  10. プロセッサーにより実行されると、
    左スピーカーのための左入力チャネルおよび右スピーカーのための右入力チャネルを含む入力オーディオ信号の空間成分および非空間成分を利得調整することにより空間エンハンスメント信号を生成し、
    聴取位置に対する周波数応答、タイムアライメント、および信号レベルにおける前記左スピーカーおよび前記右スピーカーの間の非対称性を決定し、
    前記空間エンハンスメント信号にＮバンドイコライゼーションを適用して、前記周波数応答における前記非対称性を調整すること、
    前記空間エンハンスメント信号に遅延を適用して、前記タイムアライメントにおける前記非対称性を調整すること、および
    前記空間エンハンスメント信号に利得を適用して、前記信号レベルにおける前記非対称性を調整すること
    によって、前記左スピーカーのための左出力チャネルおよび前記右スピーカーのための右出力チャネルを生成する
    ように前記プロセッサーを構成する命令を格納する非一時的なコンピューター読み取り可能な媒体。
  11. 前記Ｎバンドイコライゼーションを適用するように前記プロセッサーを構成する前記命令は、前記空間エンハンスメント信号の左空間エンハンスメントチャネルおよび右空間エンハンスメントチャネルのうちの少なくとも１つに１つまたは複数のフィルターを適用するように前記プロセッサーを構成する命令をさらに含むことを特徴とする請求項１０に記載の非一時的なコンピューター読み取り可能な媒体。
  12. 前記１つまたは複数のフィルターは、前記左スピーカーおよび前記右スピーカーの周波数応答のバランスをとることを特徴とする請求項１１に記載の非一時的なコンピューター読み取り可能な媒体。
  13. 前記１つまたは複数のフィルターは、
    ローシェルフフィルターおよびハイシェルフフィルターと、
    バンドパスフィルターと、
    バンドストップフィルターと、
    ピークノッチフィルターと、
    ローパスフィルターおよびハイパスフィルターと
    のうちの少なくとも１つを含むことを特徴とする請求項１１に記載の非一時的なコンピューター読み取り可能な媒体。
  14. 前記空間エンハンスメント信号に前記遅延を適用するように前記プロセッサーを構成する前記命令は、前記空間エンハンスメント信号の左空間エンハンスメントチャネル又は右空間エンハンスメントチャネルのうちの１つに前記遅延を適用するように前記プロセッサーを構成する命令をさらに含むことを特徴とする請求項１０に記載の非一時的なコンピューター読み取り可能な媒体。
  15. 前記空間エンハンスメント信号に前記利得を適用するように前記プロセッサーを構成する前記命令は、前記空間エンハンスメント信号の左空間エンハンスメントチャネル又は右空間エンハンスメントチャネルのうちの１つに前記利得を適用するように前記プロセッサーを構成する命令をさらに含むことを特徴とする請求項１０に記載の非一時的なコンピューター読み取り可能な媒体。
  16. 前記聴取位置における変化に従って、前記遅延および前記利得のうちの少なくとも１つを調整するように前記プロセッサーを構成する命令をさらに含むことを特徴とする請求項１０に記載の非一時的なコンピューター読み取り可能な媒体。
  17. 前記遅延および前記利得は、前記左スピーカーおよび前記右スピーカーから等しくない距離である前記聴取位置に対して調整することを特徴とする請求項１０に記載の非一時的なコンピューター読み取り可能な媒体。
  18. 前記入力オーディオ信号にクロストーク補償およびクロストークキャンセルを適用して、前記空間エンハンスメント信号を生成するように前記プロセッサーを構成する命令をさらに含むことを特徴とする請求項１０に記載の非一時的なコンピューター読み取り可能な媒体。
  19. 左スピーカーおよび右スピーカーに対して入力オーディオ信号をエンハンスメントするための方法であって、
    前記左スピーカーのための左入力チャネルおよび前記右スピーカーのための右入力チャネルを含む前記入力オーディオ信号の空間成分および非空間成分を利得調整することにより空間エンハンスメント信号を生成することと、
    聴取位置に対する周波数応答、タイムアライメント、および信号レベルにおける前記左スピーカーおよび前記右スピーカーの間の非対称性を決定することと、
    前記空間エンハンスメント信号にＮバンドイコライゼーションを適用して、前記周波数応答における前記非対称性を調整すること、
    前記空間エンハンスメント信号に遅延を適用して、前記タイムアライメントにおける前記非対称性を調整すること、および
    前記空間エンハンスメント信号に利得を適用して、前記信号レベルにおける前記非対称性を調整すること
    によって、前記左スピーカーのための左出力チャネルおよび前記右スピーカーのための右出力チャネルを生成することと
    を含む方法。
  20. 前記Ｎバンドイコライゼーションを適用することは、前記空間エンハンスメント信号の左空間エンハンスメントチャネルおよび右空間エンハンスメントチャネルのうちの少なくとも１つに１つまたは複数のフィルターを適用することを含むことを特徴とする請求項１９に記載の方法。
  21. 前記１つまたは複数のフィルターは、前記左スピーカーおよび前記右スピーカーの周波数応答のバランスをとることを特徴とする請求項２０に記載の方法。
  22. 前記１つまたは複数のフィルターは、
    ローシェルフフィルターおよびハイシェルフフィルターと、
    バンドパスフィルターと、
    バンドストップフィルターと、
    ピークノッチフィルターと、
    ローパスフィルターおよびハイパスフィルターと
    のうちの少なくとも１つを含むことを特徴とする請求項２０に記載の方法。
  23. 前記聴取位置における変化に従って、前記遅延および前記利得のうちの少なくとも１つを調整することをさらに含むことを特徴とする請求項１９に記載の方法。
JP2020529258A 2017-11-29 2018-11-26 クロストークプロセッシングｂ−チェーン Active JP6891350B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2021088445A JP7410082B2 (ja) 2017-11-29 2021-05-26 クロストークプロセッシングｂ－チェーン
JP2023137381A JP2023153394A (ja) 2017-11-29 2023-08-25 クロストークプロセッシングｂ－チェーン

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201762592304P 2017-11-29 2017-11-29
US62/592,304 2017-11-29
US16/138,893 2018-09-21
US16/138,893 US10524078B2 (en) 2017-11-29 2018-09-21 Crosstalk cancellation b-chain
PCT/US2018/062487 WO2019108487A1 (en) 2017-11-29 2018-11-26 Crosstalk processing b-chain

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2021088445A Division JP7410082B2 (ja) 2017-11-29 2021-05-26 クロストークプロセッシングｂ－チェーン

Publications (2)

Publication Number Publication Date
JP2021505064A JP2021505064A (ja) 2021-02-15
JP6891350B2 true JP6891350B2 (ja) 2021-06-18

Family

ID=66633752

Family Applications (3)

Application Number Title Priority Date Filing Date
JP2020529258A Active JP6891350B2 (ja) 2017-11-29 2018-11-26 クロストークプロセッシングｂ−チェーン
JP2021088445A Active JP7410082B2 (ja) 2017-11-29 2021-05-26 クロストークプロセッシングｂ－チェーン
JP2023137381A Pending JP2023153394A (ja) 2017-11-29 2023-08-25 クロストークプロセッシングｂ－チェーン

Family Applications After (2)

Application Number Title Priority Date Filing Date
JP2021088445A Active JP7410082B2 (ja) 2017-11-29 2021-05-26 クロストークプロセッシングｂ－チェーン
JP2023137381A Pending JP2023153394A (ja) 2017-11-29 2023-08-25 クロストークプロセッシングｂ－チェーン

Country Status (7)

Country Link
US (2) US10524078B2 (ja)
EP (1) EP3718317A4 (ja)
JP (3) JP6891350B2 (ja)
KR (2) KR102475646B1 (ja)
CN (1) CN111418220B (ja)
TW (1) TWI692257B (ja)
WO (1) WO2019108487A1 (ja)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9132352B1 (en) 2010-06-24 2015-09-15 Gregory S. Rabin Interactive system and method for rendering an object
US10499153B1 (en) * 2017-11-29 2019-12-03 Boomcloud 360, Inc. Enhanced virtual stereo reproduction for unmatched transaural loudspeaker systems
US10524078B2 (en) * 2017-11-29 2019-12-31 Boomcloud 360, Inc. Crosstalk cancellation b-chain
KR102527336B1 (ko) * 2018-03-16 2023-05-03 한국전자통신연구원 가상 공간에서 사용자의 이동에 따른 오디오 신호 재생 방법 및 장치
US11659332B2 (en) 2019-07-30 2023-05-23 Dolby Laboratories Licensing Corporation Estimating user location in a system including smart audio devices
CN118102179A (zh) * 2019-07-30 2024-05-28 杜比实验室特许公司 音频处理方法和系统及相关非暂时性介质
US11968268B2 (en) 2019-07-30 2024-04-23 Dolby Laboratories Licensing Corporation Coordination of audio devices

Family Cites Families (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE2244162C3 (de) * 1972-09-08 1981-02-26 Eugen Beyer Elektrotechnische Fabrik, 7100 Heilbronn «system
US4975954A (en) * 1987-10-15 1990-12-04 Cooper Duane H Head diffraction compensated stereo system with optimal equalization
JPH03171900A (ja) * 1989-11-29 1991-07-25 Pioneer Electron Corp 狭空間用音場補正装置
US5400405A (en) * 1993-07-02 1995-03-21 Harman Electronics, Inc. Audio image enhancement system
KR20050060789A (ko) * 2003-12-17 2005-06-22 삼성전자주식회사 가상 음향 재생 방법 및 그 장치
US20050265558A1 (en) * 2004-05-17 2005-12-01 Waves Audio Ltd. Method and circuit for enhancement of stereo audio reproduction
KR101118214B1 (ko) * 2004-09-21 2012-03-16 삼성전자주식회사 청취 위치를 고려한 2채널 가상 음향 재생 방법 및 장치
KR100608024B1 (ko) * 2004-11-26 2006-08-02 삼성전자주식회사 다중 채널 오디오 입력 신호를 2채널 출력으로 재생하기위한 장치 및 방법과 이를 수행하기 위한 프로그램이기록된 기록매체
KR100739762B1 (ko) * 2005-09-26 2007-07-13 삼성전자주식회사 크로스토크 제거 장치 및 그를 적용한 입체 음향 생성 시스템
US8619998B2 (en) * 2006-08-07 2013-12-31 Creative Technology Ltd Spatial audio enhancement processing method and apparatus
US8612237B2 (en) * 2007-04-04 2013-12-17 Apple Inc. Method and apparatus for determining audio spatial quality
US8705748B2 (en) * 2007-05-04 2014-04-22 Creative Technology Ltd Method for spatially processing multichannel signals, processing module, and virtual surround-sound systems
US9107021B2 (en) * 2010-04-30 2015-08-11 Microsoft Technology Licensing, Llc Audio spatialization using reflective room model
US9154897B2 (en) * 2011-01-04 2015-10-06 Dts Llc Immersive audio rendering system
US9219460B2 (en) * 2014-03-17 2015-12-22 Sonos, Inc. Audio settings based on environment
KR102049602B1 (ko) 2012-11-20 2019-11-27 한국전자통신연구원 멀티미디어 데이터 생성 장치 및 방법, 멀티미디어 데이터 재생 장치 및 방법
US9124983B2 (en) 2013-06-26 2015-09-01 Starkey Laboratories, Inc. Method and apparatus for localization of streaming sources in hearing assistance system
TWI631553B (zh) 2013-07-19 2018-08-01 瑞典商杜比國際公司 將以<i>L</i><sub>1</sub>個頻道為基礎之輸入聲音訊號產生至<i>L</i><sub>2</sub>個揚聲器頻道之方法及裝置，以及得到一能量保留混音矩陣之方法及裝置，用以將以輸入頻道為基礎之聲音訊號混音以用於<i>L</i><sub>1</sub>個聲音頻道至<i>L</i><sub>2</sub>個揚聲器頻道
EP3056025B1 (en) 2013-10-07 2018-04-25 Dolby Laboratories Licensing Corporation Spatial audio processing system and method
EP3081014A4 (en) * 2013-12-13 2017-08-09 Ambidio, Inc. Apparatus and method for sound stage enhancement
JP2015206989A (ja) * 2014-04-23 2015-11-19 ソニー株式会社 情報処理装置、情報処理方法及びプログラム
KR102423753B1 (ko) * 2015-08-20 2022-07-21 삼성전자주식회사 스피커 위치 정보에 기초하여, 오디오 신호를 처리하는 방법 및 장치
NZ750171A (en) * 2016-01-18 2022-04-29 Boomcloud 360 Inc Subband spatial and crosstalk cancellation for audio reproduction
CN108781331B (zh) * 2016-01-19 2020-11-06 云加速360公司 用于头戴式扬声器的音频增强
FR3049802B1 (fr) * 2016-04-05 2018-03-23 Pierre Vincent Procede de diffusion sonore prenant en compte les particularites individuelles
US10009704B1 (en) * 2017-01-30 2018-06-26 Google Llc Symmetric spherical harmonic HRTF rendering
TWI627603B (zh) * 2017-05-08 2018-06-21 偉詮電子股份有限公司 影像視角轉換方法及其系統
US10313820B2 (en) * 2017-07-11 2019-06-04 Boomcloud 360, Inc. Sub-band spatial audio enhancement
US10499153B1 (en) * 2017-11-29 2019-12-03 Boomcloud 360, Inc. Enhanced virtual stereo reproduction for unmatched transaural loudspeaker systems
US10524078B2 (en) * 2017-11-29 2019-12-31 Boomcloud 360, Inc. Crosstalk cancellation b-chain

Also Published As

Publication number Publication date
JP2021132408A (ja) 2021-09-09
WO2019108487A1 (en) 2019-06-06
TW201927010A (zh) 2019-07-01
JP7410082B2 (ja) 2024-01-09
EP3718317A4 (en) 2021-07-21
CN111418220A (zh) 2020-07-14
US20200037095A1 (en) 2020-01-30
EP3718317A1 (en) 2020-10-07
TWI692257B (zh) 2020-04-21
CN111418220B (zh) 2021-04-20
KR102185071B1 (ko) 2020-12-01
KR102475646B1 (ko) 2022-12-07
US10524078B2 (en) 2019-12-31
US20190166447A1 (en) 2019-05-30
KR20200080344A (ko) 2020-07-06
JP2023153394A (ja) 2023-10-17
JP2021505064A (ja) 2021-02-15
KR20200137020A (ko) 2020-12-08
US10757527B2 (en) 2020-08-25

Similar Documents

Publication Publication Date Title
JP6891350B2 (ja) クロストークプロセッシングｂ−チェーン
JP6877664B2 (ja) 不一致のトランスオーラルラウドスピーカシステムのためのエンハンスド仮想ステレオ再生
JP7370415B2 (ja) 空間オーディオ信号のクロストーク処理のためのスペクトル欠陥補償
TW202030721A (zh) 用於對相聽覺傳輸技術之揚聲器系統之串音消除
US11284213B2 (en) Multi-channel crosstalk processing

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200728

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200728

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20200728

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20201224

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210105

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210126

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210427

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210526

R150 Certificate of patent or registration of utility model

Ref document number: 6891350

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250