JP6479287B1 - オーディオ再生のためのサブバンド空間クロストークキャンセル - Google Patents

オーディオ再生のためのサブバンド空間クロストークキャンセル Download PDF

Info

Publication number
JP6479287B1
JP6479287B1 JP2018547278A JP2018547278A JP6479287B1 JP 6479287 B1 JP6479287 B1 JP 6479287B1 JP 2018547278 A JP2018547278 A JP 2018547278A JP 2018547278 A JP2018547278 A JP 2018547278A JP 6479287 B1 JP6479287 B1 JP 6479287B1
Authority
JP
Japan
Prior art keywords
channel
component
band
subband
frequency
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018547278A
Other languages
English (en)
Other versions
JP2019508978A (ja
Inventor
セルデス ザッカリー
セルデス ザッカリー
トレイシー ジェームズ
トレイシー ジェームズ
クレイマー アラン
クレイマー アラン
Original Assignee
ブームクラウド ３６０ インコーポレイテッド
ブームクラウド ３６０ インコーポレイテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ブームクラウド ３６０ インコーポレイテッド, ブームクラウド ３６０ インコーポレイテッド filed Critical ブームクラウド ３６０ インコーポレイテッド
Application granted granted Critical
Publication of JP6479287B1 publication Critical patent/JP6479287B1/ja
Publication of JP2019508978A publication Critical patent/JP2019508978A/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H04R3/04—Circuits for transducers, loudspeakers or microphones for correcting frequency response
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R5/00—Stereophonic arrangements
    • H04R5/04—Circuit arrangements, e.g. for selective connection of amplifier inputs/outputs to loudspeakers, for loudspeaker detection, or for adaptation of settings to personal preferences or hearing impairments
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H04R3/12—Circuits for transducers, loudspeakers or microphones for distributing signals to two or more loudspeakers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/301—Automatic calibration of stereophonic sound system, e.g. with test microphone
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/13—Aspects of volume control, not necessarily automatic, in stereophonic sound systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
    • H04S2420/01—Enhancing the perception of the sound image or of the spatial distribution using head related transfer functions [HRTF's] or equivalents thereof, e.g. interaural time difference [ITD] or interaural level difference [ILD]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
    • H04S2420/07—Synergistic effects of band splitting and sub-band processing

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Otolaryngology (AREA)
  • Stereophonic System (AREA)
  • Soundproofing, Sound Blocking, And Sound Damping (AREA)
  • Circuit For Audible Band Transducer (AREA)

Abstract

本明細書の実施形態は、主として、拡張空間検知能及び低減されたクロストーク干渉を伴って音響を生成するためのシステム、方法、及び非一時的コンピュータ可読媒体の状況で説明される。オーディオ処理システムは、入力オーディオ信号を受信し、入力オーディオ信号に対してオーディオ処理を実行して、出力オーディオ信号を生成する。開示された実施形態の一態様では、オーディオ処理システムは入力オーディオ信号を異なる周波数バンドに分割し、各周波数バンドについて、入力オーディオ信号の空間成分を入力オーディオ信号の非空間成分に対して拡張する。

Description

本開示の実施形態は、概して、オーディオ信号処理の分野に関し、より詳細にはクロストーク干渉低減及び空間拡張に関する。
関連出願の相互参照
本出願は、参照によりそれらの全体が本明細書に組み込まれている、２０１６年１月１８日に出願した「Ｓｕｂ−Ｂａｎｄ Ｓｐａｔｉａｌ ａｎｄ Ｃｒｏｓｓ−Ｔａｌｋ Ｃａｎｃｅｌｌａｔｉｏｎ Ａｌｇｏｒｉｔｈｍ ｆｏｒ Ａｕｄｉｏ Ｒｅｐｒｏｄｕｃｔｉｏｎ」という名称の同時係属の米国特許仮出願第６２／２８０，１１９号、及び２０１６年１月２９日に出願した「Ｓｕｂ−Ｂａｎｄ Ｓｐａｔｉａｌ ａｎｄ Ｃｒｏｓｓ−Ｔａｌｋ Ｃａｎｃｅｌｌａｔｉｏｎ Ａｌｇｏｒｉｔｈｍ ｆｏｒ Ａｕｄｉｏ Ｒｅｐｒｏｄｕｃｔｉｏｎ」という名称の同時係属の米国特許仮出願第６２／３８８，３６６号からの優先権を、米国特許法第１１９条（ｅ）の下に主張するものである。
ステレオ音響再生は、音響場の空間特性を包含している信号を符号化すること、及び再生することを必要とする。ステレオ音響は、聴取者が音響場における空間感覚を知覚することを可能にする。
例えば、図１において、固定位置に配置された２つのラウドスピーカ（loudspeakers）１１０Ａ及び１１０Ｂは、ステレオ信号を、聴取者１２０の方へ向けられる音波に変換して、様々な方向から聞こえる音響の印象をもたらす。図１に示されたものなど、従来の近接音響場スピーカ機構では、ラウドスピーカ１１０の両方によって生成された音波は、左耳１２５Ｌと右耳１２５Ｒの間のわずかな遅延と、聴取者１２０の頭部によってもたらされたフィルタリングとを伴って、聴取者１２０の左耳１２５Ｌと右耳１２５Ｒの両方で受け取られる。両方のスピーカによって生成された音波がクロストーク干渉をもたらし、これは、聴取者１２０が想像上の音源１６０の知覚された空間位置を決定するのを妨害する可能性がある。
オーディオ処理システムは、スピーカのパラメータと、スピーカに対する聴取者の位置とに基づいて、拡張空間の検知能及びクロストーク干渉の低減を伴う再生のための２つ以上の出力チャネルを適応的に生成する。オーディオ処理システムは、スピーカの物理的境界を超えて与えられるオーディオ信号の拡張音響場の範囲と、拡張音響場の範囲内の音響成分の位置及び強度とを、聴取者が知覚する具合に適応的に制御する複数のオーディオ処理パイプラインに対して、２チャネル入力オーディオ信号を印加する。オーディオ処理パイプラインは、２チャネル入力オーディオ信号（例えば、左チャネルスピーカ向けオーディオ信号及び右チャネルスピーカ向けオーディオ信号）を処理するための音響場拡張処理パイプライン及びクロストークキャンセル処理パイプラインを含む。
一実施形態では、音響場拡張処理パイプラインは、クロストークキャンセル処理を実行する前に、入力オーディオ信号を前処理して空間成分及び非空間成分を抽出する。前処理は、入力オーディオ信号の空間成分及び非空間成分におけるエネルギーの強度及びバランスを調節する。空間成分は、２つのチャネル間の非相関部分（「側方成分」）に対応し、非空間成分は、２つのチャネル間の相関部分（「中央成分」）に対応する。音響場拡張処理パイプラインは、入力オーディオ信号の空間成分及び非空間成分の音質及びスペクトル特性の制御も可能にする。
開示された実施形態の一態様では、音響場拡張処理パイプラインは、入力オーディオ信号の各チャネルを異なる周波数サブバンドに分割して各周波数サブバンドにおける空間成分及び非空間成分を抽出することにより、入力オーディオ信号に対するサブバンド空間拡張を実行する。次いで、音響場拡張処理パイプラインは、各周波数サブバンドにおける空間成分又は非空間成分のうち１つ又は複数のエネルギーを別個に調節し、空間成分及び非空間成分のうち１つ又は複数のスペクトルの特性を調節する。異なる周波数サブバンドに応じて入力オーディオ信号を分割して、各周波数サブバンドについて非空間成分に対する空間成分のエネルギーを調節することにより、サブバンド空間拡張オーディオ信号は、スピーカによって再生されたとき、より良好な空間位置認識を達成する。非空間成分に対して空間成分のエネルギーを調節することは、第１の利得係数によって空間成分を調節すること、第２の利得係数によって非空間成分を調節すること、又は両方によって実現され得る。
開示された実施形態の一態様では、クロストークキャンセル処理パイプラインは、音響場処理パイプラインからのサブバンド空間拡張オーディオ信号出力に対するクロストークキャンセルを実行する。聴取者の頭部の同じ側のスピーカによって出力されて聴取者のその側の耳によって受け取られた信号成分（例えば、１１８Ｌ、１１８Ｒ）は、本明細書では「同側音響成分」（例えば、左耳で受け取られる左チャネル信号成分、及び右耳で受け取られる右チャネル信号成分）と称され、聴取者の頭部の対側（opposite side）のスピーカによって出力された信号成分（例えば、１１２Ｌ、１１２Ｒ）は、本明細書では「対側音響成分」（例えば、右耳で受け取られる左チャネル信号成分、及び左耳で受け取られる右チャネル信号成分）と称される。対側音響成分がクロストーク干渉に寄与して、空間性の知覚を低下させる。クロストークキャンセル処理パイプラインは、対側音響成分を予測して、対側音響成分に寄与する入力オーディオ信号の信号成分を特定する。次いで、クロストークキャンセル処理パイプラインは、サブバンド空間拡張オーディオ信号の他のチャネルに対してチャネルの特定された信号成分の反転したものを加算することにより、サブバンド空間拡張オーディオ信号の各チャネルを修正して、音響を再生するための出力オーディオ信号を生成する。その結果、開示されたシステムは、クロストーク干渉に寄与する対側音響成分を低減して、音響出力の知覚される空間性を改善することができる。
開示された実施形態の一態様では、出力オーディオ信号は、入力オーディオ信号を、音響場拡張処理パイプラインによって適応的に処理し、次に、クロストークキャンセル処理パイプラインによって、聴取者に対するスピーカの位置に関するパラメータに従って処理することにより取得される。スピーカのパラメータの例は、聴取者とスピーカとの間の距離と、２つのスピーカによって聴取者に対して形成される角度とを含む。付加パラメータは、スピーカの周波数応答を含み、パイプライン処理以前に、又はパイプライン処理中にリアルタイムで測定され得る他のパラメータを含むことができる。クロストークキャンセルプロセスは、これらのパラメータを使用して実行される。例えば、クロストークキャンセルに関連する遮断周波数、遅延、及び利得は、スピーカのパラメータの関数として決定され得る。さらに、スピーカのパラメータに関連する、対応するクロストークキャンセルによる何らかのスペクトルの欠陥も推定され得る。その上、推定されたスペクトルの欠陥を補償するための、対応するクロストーク補償は、音響場拡張処理パイプラインによって１つ又は複数のサブバンドに対して実行され得る。
それゆえに、サブバンド空間拡張処理及びクロストーク補償などの音響場拡張処理は、後続のクロストークキャンセル処理の全体的な知覚される効果を改善する。その結果、聴取者は、音響がスピーカの位置に相当する空間の特定個所からではなく広い範囲から聴取者に向けられ、それによって聴取者に対してより実体験のように感じるリスニング体験を生成していることを、知覚することができる。
関連技術のステレオオーディオ再生システムを示す図である。 一実施形態による、低減されたクロストーク干渉で拡張音響場を再生するためのオーディオ処理システムの例を示す図である。 一実施形態による、図２Ａに示されたオーディオ処理システムの詳細な実装形態を示す図である。 一実施形態による、オーディオ信号を処理してクロストーク干渉を低減するための例示の信号処理アルゴリズムを示す図である。 一実施形態によるサブバンド空間オーディオプロセッサの例示の図である。 一実施形態によるサブバンド空間拡張を実行するための例示のアルゴリズムを示す図である。 一実施形態によるクロストーク補償プロセッサの例示の図である。 一実施形態による、クロストークキャンセルのための補償を実行する例示の方法を示す図である。 一実施形態によるクロストークキャンセルプロセッサの例示の図である。 一実施形態による、クロストークキャンセルを実行する例示の方法を示す図である。 クロストークキャンセルによるスペクトルのアーチファクトを明示するための例示の周波数応答グラフである。 クロストークキャンセルによるスペクトルのアーチファクトを明示するための例示の周波数応答グラフである。 クロストーク補償の効果を明示するための例示の周波数応答グラフである。 クロストーク補償の効果を明示するための例示の周波数応答グラフである。 図８に示された周波数バンド分割器の折点周波数（changing corner frequencies）を変化させる効果を明示するための例示の周波数応答を示す図である。 図８に示された周波数バンド分割器の効果を明示するための例示の周波数応答を示す図である。 図８に示された周波数バンド分割器の効果を明示するための例示の周波数応答を示す図である。
本明細書で説明される特徴及び利点は全てを包括するものではなく、詳細には、多くの追加の特徴及び利点が、当業者には、図面、明細書、及び特許請求の範囲を考慮すれば明らかになるはずである。その上、本明細書で使用される言語は、主に読みやすさ及び教育の目的のために選択されており、本発明の主題を輪郭づけるか又は限定するために選択されたものではないことに留意されたい。
図及び以下の説明は、解説のためにのみ、好ましい実施形態に関連するものである。以下の議論から、本明細書で開示された構造及び方法の代替的実施形態は、本発明の原理から逸脱することなく採用され得る実現可能な代替形態として容易に認識されるはずであることに留意されたい。
以下、本発明のいくつかの実施形態が詳細に参照され、それらの例が添付の図に示される。図において、実用的な場合はいつでも、同様又は類似の参照番号が使用されることがあり、同様又は類似の機能を指示し得ることが留意される。図は、実施形態を、解説のみのために表すものである。当業者なら、以下の説明から、本明細書で示された構造及び方法の代替的実施形態が、本明細書で説明された原理から逸脱することなく採用され得ることを容易に認識するはずである。
（例示のオーディオ処理システム）
図２Ａは、一実施形態による、低減されたクロストーク干渉で拡張空間場を再生するためのオーディオ処理システム２２０の例を示す。オーディオ処理システム２２０は、２つの入力チャネルＸL、ＸRを含む入力オーディオ信号Ｘを受信する。オーディオ処理システム２２０は、各入力チャネルにおいて、対側の信号成分をもたらすであろう信号成分を予測する。一態様では、オーディオ処理システム２２０は、スピーカのパラメータ２８０L、２８０Rを表す情報を取得し、スピーカのパラメータを表す情報に従って、対側の信号成分をもたらすであろう信号成分を推定する。オーディオ処理システム２２０は、推定された対側の信号成分を各入力チャネルから除去するために、他のチャネルに対して対側の信号成分をもたらすであろう信号成分の反転したものを各チャネルに加算することにより、２つの出力チャネルＯL、ＯRを含む出力オーディオ信号Ｏを生成する。その上、オーディオ処理システム２２０は、出力チャネルＯL、ＯRをラウドスピーカ２８０L、２８０Rなどの出力デバイスに結合してよい。
一実施形態では、オーディオ処理システム２２０は、音響場拡張処理パイプライン２１０、クロストークキャンセル処理パイプライン２７０、及びスピーカ設定検出器２０２を含む。オーディオ処理システム２２０の構成要素は電子回路で実現され得る。例えば、ハードウェア構成要素は、（例えばデジタル信号プロセッサ（ＤＳＰ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）又は特定用途向け集積回路（ＡＳＩＣ）などの専用プロセッサとして）本明細書で開示された特定の動作を実行するように構成された専用回路又は論理回路を含み得る。
スピーカ設定検出器２０２は、スピーカ２８０のパラメータ２０４を決定する。スピーカのパラメータの例は、スピーカの数、聴取者とスピーカの間の距離、２つのスピーカによって聴取者に対して形成される、境界を定められた聴取角度（「スピーカ角度」）、スピーカの出力周波数、遮断周波数、及び、予め定められ得る、若しくはリアルタイムで測定され得る他の量を含む。スピーカ設定検出器２０２は、ユーザ入力又はシステム入力（例えば、ヘッドホンジャック検知イベント）から種類（例えば、電話の内蔵スピーカ、パーソナルコンピュータの内蔵スピーカ、携帯用スピーカ、大型の携帯用ステレオなど）を表す情報を取得して、スピーカ２８０のタイプ又はモデルに従ってスピーカのパラメータを決定してよい。或いは、スピーカ設定検出器２０２は、スピーカ２８０の各々に対して試験信号を出力して、内蔵マイクロフォン（図示せず）を使用してスピーカ出力をサンプリングすることができる。スピーカ設定検出器２０２は、それぞれのサンプリングされた出力から、スピーカ距離及び応答特性を決定することができる。スピーカ角度は、ユーザ（例えば、聴取者１２０又は別の人）によって角度量を選択することにより、又はスピーカタイプに基づいて提供され得る。その代わりに、又はそれに加えて、スピーカ角度は、マイクロフォン信号解析、スピーカの得られた画像のコンピュータビジョン解析（例えば、焦点距離を使用してスピーカ間の距離を推定し、次いでスピーカ間の距離の２分の１の焦点距離に対する比率の逆正接を使用してスピーカ角度の半分を取得する）、システムに組み込まれたジャイロスコープ又は加速度計のデータなど、ユーザ又はシステムによって生成されたセンサデータの、取り込まれて解釈されたものによって決定され得る。音響場拡張処理パイプライン２１０は、入力オーディオ信号Ｘを受信し、入力オーディオ信号Ｘに対して音響場拡張を実行して、チャネルＴL及びＴRを含む予め補償された信号を生成する。音響場拡張処理パイプライン２１０は、サブバンド空間拡張を使用して、また、スピーカ２８０のパラメータ２０４を使用し得て、音響場拡張を実行する。詳細には、音響場拡張処理パイプライン２１０は、適応的に、（ｉ）１つ又は複数の周波数サブバンドについて、入力オーディオ信号Ｘに対するサブバンド空間拡張を実行して、入力オーディオ信号Ｘの空間情報を拡張し、（ｉｉ）スピーカ２８０のパラメータに従ってクロストーク補償を実行して、クロストークキャンセル処理パイプライン２７０による後続のクロストークキャンセルに起因する何らかのスペクトルの欠陥を補償する。音響場拡張処理パイプライン２１０の詳細な実装形態及び動作は、以下の図２Ｂ、図３〜図７を参照しながら提供される。
クロストークキャンセル処理パイプライン２７０は、予め補償された信号Ｔを受信し、予め補償された信号Ｔに対するクロストークキャンセルを実行して、出力信号Ｏを生成する。クロストークキャンセル処理パイプライン２７０は、パラメータ２０４に従ってクロストークキャンセルを適応的に実行してよい。クロストークキャンセル処理パイプライン２７０の詳細な実装形態及び動作は、以下の図３、及び図８〜図９を参照しながら提供される。
一実施形態では、音響場拡張処理パイプライン２１０及びクロストークキャンセル処理パイプライン２７０の設定（例えば、中心周波数又は遮断周波数、品質因子（Ｑ）、利得、遅延など）は、スピーカ２８０のパラメータ２０４に従って決定される。一態様では、音響場拡張処理パイプライン２１０及びクロストークキャンセル処理パイプライン２７０の異なる設定は、１つ又は複数のルックアップテーブルとして記憶されてよく、スピーカパラメータ２０４に従ってアクセスされ得る。スピーカパラメータ２０４に基づく設定は、１つ又は複数のルックアップテーブルによって特定され得て、音響場拡張及びクロストークキャンセルを実行するために適用され得る。
一実施形態では、音響場拡張処理パイプライン２１０の設定は、スピーカパラメータ２０４と音響場拡張処理パイプライン２１０の対応する設定との間の関連性を表す第１のルックアップテーブルによって特定され得る。例えば、スピーカパラメータ２０４が聴取角度（又は範囲）を指定し、スピーカのタイプ（又は周波数応答範囲（例えば、携帯用スピーカについては３５０Ｈｚと１２ｋＨｚ）をさらに指定する場合、音響場拡張処理パイプライン２１０の設定は、第１のルックアップテーブルによって決定され得る。第１のルックアップテーブルは、対応するスペクトルのアーチファクト（artifacts）を補償するために、様々な設定下で（例えば、クロストークキャンセルを実行するための遮断周波数、利得又は遅延を変化させて）クロストークキャンセルのスペクトルのアーチファクトをシミュレートして、音響場拡張の設定を事前に決めることによって生成され得る。その上、スピーカパラメータ２０４は、クロストークキャンセルに従って、音響場拡張処理パイプライン２１０の設定に対してマッピングされ得る。例えば、特定のクロストークキャンセルのスペクトルのアーチファクトを修正するための音響場拡張処理パイプライン２１０の設定は、クロストークキャンセルに関連したスピーカ２８０用の第１のルックアップテーブルに記憶されてよい。
一実施形態では、クロストークキャンセル処理パイプライン２７０の設定は、様々なスピーカパラメータ２０４と、クロストークキャンセル処理パイプライン２７０の対応する設定（例えば、遮断周波数、中心周波数、Ｑ、利得及び遅延）との間の関連性を表す第２のルックアップテーブルによって特定される。例えば、特定タイプのスピーカ２８０（例えば、携帯用スピーカ）が特定の角度に配置されていれば、スピーカ２８０のクロストークキャンセルを実行するためのクロストークキャンセル処理パイプライン２７０の設定は、第２のルックアップテーブルによって決定され得る。第２のルックアップテーブルは、様々なスピーカ２８０の様々な設定（例えば、距離、角度など）下で生成された音響を試験することにより、経験的実験によって生成されてよい。
図２Ｂは、一実施形態による、図２Ａに示されたオーディオ処理システム２２０の詳細な実装形態を示す。一実施形態では、音響場拡張処理パイプライン２１０は、サブバンド空間（ＳＢＳ）オーディオプロセッサ２３０、クロストーク補償プロセッサ２４０、及び合成器２５０を含み、クロストークキャンセル処理パイプライン２７０は、クロストークキャンセル（ＣＴＣ）プロセッサ２６０を含む（この図にはスピーカ設定検出器２０２は示されていない）。いくつかの実施形態では、クロストーク補償プロセッサ２４０及び合成器２５０は、省略されるか又はＳＢＳオーディオプロセッサ２３０に統合されてよい。ＳＢＳオーディオプロセッサ２３０は、左チャネルＹL及び右チャネルＹRなど２つのチャネルを含む空間拡張オーディオ信号Ｙを生成する。
図３は、オーディオ処理システム２２０によって実行されるであろう、オーディオ信号を処理してクロストーク干渉を低減するための、一実施形態による例示の信号処理アルゴリズムを示す。いくつかの実施形態では、オーディオ処理システム２２０は、ステップを並行して実行してよく、ステップを異なる順序で実行してよく、又は異なるステップを実行してもよい。
サブバンド空間オーディオプロセッサ２３０は、３７０で左チャネルＸL及び右チャネルＸRなど２つのチャネルを含む入力オーディオ信号Ｘを受信し、３７２で入力オーディオ信号Ｘに対してサブバンド空間拡張を実行して、左チャネルＹL及び右チャネルＹRなど２つのチャネルを含む空間拡張オーディオ信号Ｙを生成する。一実施形態ではサブバンド空間拡張は、入力オーディオ信号Ｘの各チャネルを異なる入力サブバンド信号Ｘ（ｋ）に分割する分割回路に対して左チャネルＹL及び右チャネルＹRを印加するステップを含む。分割回路は、図４に示された周波数バンド分割器４１０に関連して論じられるような様々な回路トポロジに配置された複数のフィルタを含む。分割回路の出力は、中央成分及び側方成分にマトリクス化される。中央成分及び側方成分に対して利得が適用され、各サブバンドの中央成分と側方成分の間のバランス又は比率を調節する。中央サブバンド成分及び側方サブバンド成分に対して適用されるそれぞれの利得及び遅延は、第１のルックアップテーブル又は関数に従って決定され得る。従って、入力サブバンド信号Ｘ（ｋ）における各空間サブバンド成分Ｘs（ｋ）のエネルギーが、入力サブバンド信号Ｘ（ｋ）における各非空間サブバンド成分Ｘn（ｋ）のエネルギーに対して調節されて、サブバンドｋ向けの拡張空間サブバンド成分Ｙ（ｋ）及び拡張非空間サブバンド成分Ｙn（ｋ）を生成するサブバンド空間オーディオプロセッサ２３０は、拡張サブバンド成分Ｙs（ｋ）、Ｙn（ｋ）に基づいて非マトリクス化演算を実行して、サブバンドｋ向けの空間拡張サブバンドオーディオ信号Ｙ（ｋ）の２つのチャネル（例えば左チャネルＹL（ｋ）及び右チャネルＹR（ｋ））を生成するサブバンド空間オーディオプロセッサは、２つの非マトリクス化されたチャネルに対して空間利得を適用してエネルギーを調節する。さらに、サブバンド空間オーディオプロセッサ２３０は、各チャネルの空間拡張サブバンドオーディオ信号Ｙ（ｋ）を合成して、空間拡張オーディオ信号Ｙの対応するチャネルＹL及びＹRを生成する。周波数分割及びサブバンド空間拡張の詳細は、図４を参照しながら以下で説明される。
クロストーク補償プロセッサ２４０は、３７４でクロストーク補償を実行して、クロストークキャンセルに由来するアーチファクトを補償する。クロストークキャンセルプロセッサ２６０において、遅延して反転された対側音響成分に対してそれらの対応する同側音響成分を加算することに主として由来するこれらのアーチファクトは、最終的に与えられる結果に対して櫛形フィルタに似た周波数応答を導入する。クロストークキャンセルプロセッサ２６０において適用される特定の遅延、増幅、又はフィルタリングに基づいて、サブナイキスト櫛形フィルタのピーク及びトラフ（troughs）の量及び特性（例えば、中心周波数、利得、及びＱ値）が周波数応答において上下にシフトし、スペクトルの特定領域におけるエネルギーの可変の増幅及び／又は減衰をもたらす。クロストーク補償は、クロストークキャンセルプロセッサ２６０によって実行されるクロストークキャンセルに先立って、スピーカ２８０の所与のパラメータに関して、特定の周波数バンドについて入力オーディオ信号Ｘを遅延させるか又は増幅することによる前処理ステップとして実行され得る。一実装形態では、サブバンド空間オーディオプロセッサ２３０によって実行されるサブバンド空間拡張と並行して、入力オーディオ信号Ｘに対してクロストーク補償が実行されてクロストーク補償信号Ｚを生成する。この実装形態では、合成器２５０は、３７６でクロストーク補償信号Ｚに２つのチャネルＹL及びＹRの各々を合成して、２つの予め補償されたチャネルＴL及びＴRを含む予め補償された信号Ｔを生成する。或いは、クロストーク補償は、サブバンド空間拡張の後、クロストークキャンセルの後に順次に実行されるか、又はサブバンド空間拡張に統合される。クロストーク補償の詳細は、図６を参照しながら以下で説明される。
クロストークキャンセルプロセッサ２６０は、３７８でクロストークキャンセルを実行して、出力チャネルＯL及びＯRを生成する。より詳細には、クロストークキャンセルプロセッサ２６０は、合成器２５０から予め補償されたチャネルＴL及びＴRを受信し、予め補償されたチャネルＴL及びＴRに対するクロストークキャンセルを実行して、出力チャネルＯL及びＯRを生成する。チャネル（Ｌ／Ｒ）について、クロストークキャンセルプロセッサ２６０は、予め補償されたチャネルＴ(L/R)による対側音響成分を推定して、スピーカパラメータ２０４に従って対側音響成分に寄与する予め補償されたチャネルＴ(L/R)の部分を特定する。クロストークキャンセルプロセッサ２６０は、予め補償されたチャネルＴ(L/R)の特定された部分の反転したものを他の予め補償されたチャネルＴ(R/L)に加算して、出力チャネルＯ(R/L)を生成する。この設定では、耳１２５(R/L)に到達した出力チャネルＯ(R/L)に従ってスピーカ２８０(R/L)によって出力される同側音響成分の波頭（wavefront）は、他のスピーカ２８０(L/R)による対側音響成分出力の波頭を出力チャネルＯ(L/R)に従ってキャンセルすることができ、それによって出力チャネルＯ(L/R)による対側音響成分を効果的に除去する。或いは、クロストークキャンセルプロセッサ２６０は、サブバンド空間オーディオプロセッサ２３０からの空間拡張オーディオ信号Ｙに対して、又は代わりに入力オーディオ信号Ｘに対して、クロストークキャンセルを実行してよい。クロストークキャンセルの詳細は、図８を参照しながら以下で説明される。
図４は、中央／側方処理手法を採用する、一実施形態によるサブバンド空間オーディオプロセッサ２３０の例示の図を示すサブバンド空間オーディオプロセッサ２３０は、チャネルＸL、ＸRを含む入力オーディオ信号を受信し、入力オーディオ信号に対してサブバンド空間拡張を実行して、チャネルＹL、ＹRを含む空間拡張オーディオ信号を生成する。一実施形態では、サブバンド空間オーディオプロセッサ２３０は、周波数バンド分割器４１０、左側／右側オーディオから中央／側方オーディオへのコンバータ４２０（ｋ）（「Ｌ／Ｒ Ｔｏ Ｍ／Ｓコンバータ４２０（ｋ）」）、中央／側方オーディオプロセッサ４３０（ｋ）（「Ｍｉｄ／Ｓｉｄｅプロセッサ４３０」（ｋ）又は「サブバンドプロセッサ４３０」（ｋ））、周波数サブバンドｋのグループ用の中央／側方オーディオから左側／右側オーディオへのコンバータ４４０（ｋ）（「Ｍ／Ｓ Ｔｏ Ｌ／Ｒコンバータ４４０（ｋ）」又は「反転コンバータ４４０」（ｋ））、及び周波数バンド合成器４５０を含む。いくつかの実施形態では、図４に示されたサブバンド空間オーディオプロセッサ２３０の構成要素は、異なる順序で配置されてよい。いくつかの実施形態ではサブバンド空間オーディオプロセッサ２３０は、図４に示されたのとは異なる構成要素、追加の構成要素又はより少ない構成要素を含む。
１つの構成では、周波数バンド分割器４１０すなわちフィルタバンクは、直列、並列、又は派生（derived）など、様々な回路トポロジのうち任意のものに配置された複数のフィルタを含む分割回路である。分割回路に含まれる例示のフィルタタイプは、無限インパルス応答（ＩＩＲ）又は有限インパルス応答（ＦＩＲ）のバンドパスフィルタ、ＩＩＲピーキング及びシェルビングフィルタ、Ｌｉｎｋｗｉｔｚ−Ｒｉｌｅｙ、又はオーディオ信号処理技術の当業者に既知の他のフィルタタイプを含む。これらのフィルタは、各周波数サブバンドｋについて、左側入力チャネルＸLを左側サブバンド成分ＸL（ｋ）に分割し、右側入力チャネルＸRを右側サブバンド成分ＸR（ｋ）に分割する。１つの手法では、人間の耳の臨界帯域を近似するために、４つのバンドパスフィルタ、或いは、ローパスフィルタと、バンドパスフィルタと、ハイパスフィルタとの任意の組合せが採用される。臨界帯域は、第２のトーンが既存の第１のトーンをマスクすることができる範囲の帯域幅に対応するものである。例えば、周波数サブバンドの各々が、人間の聴覚の臨界帯域を模倣するように、統合されたバーク尺度に対応してよい。例えば、周波数バンド分割器４１０は、対応する周波数バンドについて、左側入力チャネルＸLを、それぞれ０から３００Ｈｚ、３００から５１０Ｈｚ、５１０から２７００Ｈｚ、及び２７００Ｈｚからナイキスト周波数に対応する４つの左側サブバンド成分ＸL（ｋ）に分割し、同様に、右側入力チャネルＸRを右側サブバンド成分ＸR（ｋ）に分割する。臨界帯域の統合された組を決定するプロセスは、多種多様な音楽ジャンルからのオーディオサンプルのコーパスを使用して、サンプルから、２４のバーク尺度臨界帯域（Bark scale critical bands）にわたって、中央成分と側方成分との長期平均エネルギーの比率を決定するステップを含む。次いで、同様の長期平均比率を伴う連続した周波数バンドがグループ化されて、臨界帯域の組を形成する。他の実装形態では、フィルタは、左側入力チャネル及び右側入力チャネルを、４つよりも少数又は多数のサブバンドに分離する。周波数バンドの範囲は調節可能でよい。周波数バンド分割器４１０は、左側サブバンド成分ＸL（ｋ）と右側サブバンド成分ＸR（ｋ）の対を、対応するＬ／Ｒ Ｔｏ Ｍ／Ｓコンバータ４２０（ｋ）に出力する。
各周波数サブバンドｋにおけるＬ／Ｒ Ｔｏ Ｍ／Ｓコンバータ４２０（ｋ）、中央／側方プロセッサ４３０（ｋ）、及びＭ／Ｓ Ｔｏ Ｌ／Ｒコンバータ４４０（ｋ）は、一緒に動作して、空間サブバンド成分Ｘs（ｋ）（「側方サブバンド成分」とも称される）を、そのそれぞれの周波数サブバンドｋにおける非空間サブバンド成分Ｘn（ｋ）（「中央サブバンド成分」とも称される）に対して拡張する。具体的には、それぞれのＬ／Ｒ Ｔｏ Ｍ／Ｓコンバータ４２０（ｋ）は、所与の周波数サブバンドｋについて、サブバンド成分ＸL（ｋ）とＸR（ｋ）の対を受信し、これらの入力を中央サブバンド成分及び側方サブバンド成分に変換する。一実施形態では、非空間サブバンド成分Ｘn（ｋ）は、左側サブバンド成分ＸL（ｋ）と右側サブバンド成分ＸR（ｋ）の間の相関部分に対応し、故に非空間情報を含む。その上、空間サブバンド成分Ｘs（ｋ）は、左側サブバンド成分ＸL（ｋ）と右側サブバンド成分ＸR（ｋ）との間の非相関部分に対応し、故に空間情報を含む。非空間サブバンド成分Ｘn（ｋ）は、左側サブバンド成分ＸL（ｋ）と右側サブバンド成分ＸR（ｋ）の和として計算されてよく、空間サブバンド成分Ｘs（ｋ）は、左側サブバンド成分ＸL（ｋ）と右側サブバンド成分ＸR（ｋ）との間の差として計算されてよい。一例では、Ｌ／Ｒ Ｔｏ Ｍ／Ｓコンバータ４２０は、周波数バンドの空間サブバンド成分Ｘs（ｋ）及び非空間サブバンド成分Ｘn（ｋ）を以下の式に従って取得する。
サブバンドｋについて、Ｘs（ｋ）＝ＸL（ｋ）−ＸR（ｋ） …式（１）
サブバンドｋについて、Ｘn（ｋ）＝ＸL（ｋ）＋ＸR（ｋ） …式（２）
それぞれの中央／側方プロセッサ４３０（ｋ）は、サブバンドｋについて、受信した空間サブバンド成分Ｘs（ｋ）を、受信した非空間サブバンド成分Ｘn（ｋ）に対して拡張して、拡張空間サブバンド成分Ｙs（ｋ）及び拡張非空間サブバンド成分Ｙn（ｋ）を生成する。一実施形態では、中央／側方プロセッサ４３０（ｋ）は、非空間サブバンド成分Ｘn（ｋ）を対応する利得係数Ｇn（ｋ）だけ調節し、増幅された非空間サブバンド成分Ｇn（ｋ）＊Ｘn（ｋ）を対応する遅延関数Ｄ［］によって遅延させて、拡張非空間サブバンド成分Ｙn（ｋ）を生成する。同様に、中央／側方プロセッサ４３０（ｋ）は、受信した空間サブバンド成分Ｘs（ｋ）を対応する利得係数Ｇs（ｋ）だけ調節し、増幅された空間サブバンド成分Ｇs（ｋ）＊Ｘs（ｋ）を対応する遅延関数Ｄによって遅延させて、拡張空間サブバンド成分Ｙ（ｋ）を生成する。利得係数及び遅延量は調節可能であり得る。利得係数及び遅延量は、スピーカパラメータ２０４に従って決定されてよく、又はパラメータ値の想定される組用に固定されてよい。それぞれの中央／側方プロセッサ４３０（ｋ）は、非空間サブバンド成分Ｘn（ｋ）及び空間サブバンド成分Ｘs（ｋ）を、対応するそれぞれの周波数サブバンドｋのＭ／Ｓ Ｔｏ Ｌ／Ｒコンバータ４４０（ｋ）に出力する。周波数サブバンドｋの中央／側方プロセッサ４３０（ｋ）は、拡張非空間サブバンド成分Ｙn（ｋ）及び拡張空間サブバンド成分Ｙs（ｋ）を以下の式に従って生成する。
サブバンドｋについて、Ｙn（ｋ）＝Ｇn（ｋ）＊Ｄ［Ｘn（ｋ），ｋ］ …式（３）
サブバンドｋについて、Ｙs（ｋ）＝Ｇs（ｋ）＊Ｄ［Ｘs（ｋ），ｋ］ …式（４）
利得係数及び遅延係数の例は、次の表１に列挙される。
Figure 0006479287
それぞれのＭ／Ｓ Ｔｏ Ｌ／Ｒコンバータ４４０（ｋ）は、拡張非空間成分Ｙn（ｋ）及び拡張空間成分Ｙs（ｋ）を受信して、それらを拡張左側サブバンド成分ＹL（ｋ）及び拡張右側サブバンド成分ＹR（ｋ）に変換する。Ｌ／Ｒ Ｔｏ Ｍ／Ｓコンバータ４２０（ｋ）が上記の式（１）及び式（２）に従って非空間サブバンド成分Ｘn（ｋ）及び空間サブバンド成分Ｘs（ｋ）を生成すると想定して、Ｍ／Ｓ Ｔｏ Ｌ／Ｒコンバータ４４０（ｋ）は、周波数サブバンドｋの拡張左側サブバンド成分ＹL（ｋ）及び拡張右側サブバンド成分ＹR（ｋ）を以下の式に従って生成する。
サブバンドｋについて、ＹL（ｋ）＝（Ｙn（ｋ）＋Ｙs（ｋ））／２ …式（５）
サブバンドｋについて、ＹR（ｋ）＝（Ｙn（ｋ）−Ｙs（ｋ））／２ …式（６）
一実施形態では、式（１）及び式（２）におけるＸL（ｋ）とＸR（ｋ）は交換されてよく、その場合、式（５）及び式（６）におけるＹL（ｋ）とＹR（ｋ）も同様に交換される。
周波数バンド合成器４５０は、以下の式に従って、Ｍ／Ｓ Ｔｏ Ｌ／Ｒコンバータ４４０からの異なる周波数バンドにおける拡張左側サブバンド成分を合成して空間拡張左側オーディオチャネルＹLを生成し、Ｍ／Ｓ Ｔｏ Ｌ／Ｒコンバータ４４０からの異なる周波数バンドにおける拡張右側サブバンド成分を合成して空間拡張右側オーディオチャネルＹRを生成する。
ＹL＝ΣＹL（ｋ） …式（７）
ＹR＝ΣＹR（ｋ） …式（８）
図４の実施形態では入力チャネルＸL、ＸRは４つの周波数サブバンドに分割されているが、他の実施形態では、入力チャネルＸL、ＸRは、上記で説明されたように、別の数の周波数サブバンドに分割され得る。
図５は、一実施形態によりサブバンド空間オーディオプロセッサ２３０によって実行されるであろうサブバンド空間拡張を実行するための例示のアルゴリズムを示す。いくつかの実施形態ではサブバンド空間オーディオプロセッサ２３０は、ステップを並行して実行してよく、ステップを異なる順序で実行してよく、又は異なるステップを実行してもよい。
サブバンド空間オーディオプロセッサ２３０は、入力チャネルＸL、ＸRを含む入力信号を受信する。サブバンド空間オーディオプロセッサ２３０は、５１０で、ｋ個（例えば、ｋ＝４）の周波数サブバンドに従って、入力チャネルＸLを、サブバンド成分ＸL（ｋ）、例えば、ＸL（１）、ＸL（２）、ＸL（３）、ＸL（４）に分割し、入力チャネルＸRを、サブバンド成分ＸR（ｋ）、例えば、ＸR（１）、ＸR（２）、ＸR（３）、ＸR（４）に分割し、例えば、サブバンドは、それぞれ０から３００Ｈｚ、３００から５１０Ｈｚ、５１０から２７００Ｈｚ、及び２７００Ｈｚからナイキスト周波数をＸL包含する。
サブバンド空間オーディオプロセッサ２３０は、各周波数サブバンドｋについて、サブバンド成分に対するサブバンド空間拡張を実行する。具体的にはサブバンド空間オーディオプロセッサ２３０は、５１５で、それぞれのサブバンドｋについて、例えば、上記の式（１）及び式（２）に従って、空間サブバンド成分Ｘs（ｋ）及び非空間サブバンド成分Ｘn（ｋ）に基づいてサブバンド成分ＸL（ｋ）、ＸR（ｋ）を生成する。加えてサブバンド空間オーディオプロセッサ２３０は、５２０で、サブバンドｋについて、例えば、上記の式（３）及び式（４）に従って、空間サブバンド成分Ｘs（ｋ）及び非空間サブバンド成分Ｘn（ｋ）に基づいて、拡張空間成分Ｙs（ｋ）及び拡張非空間成分Ｙn（ｋ）を生成する。その上、サブバンド空間オーディオプロセッサ２３０は、５２５で、サブバンドｋについて、例えば、上記の式（５）及び式（６）に従って、拡張空間成分Ｙs（ｋ）及び拡張非空間成分Ｙn（ｋ）に基づいて、拡張サブバンド成分ＹL（ｋ）、ＹR（ｋ）を生成する。
サブバンド空間オーディオプロセッサ２３０は、５３０で、全ての拡張サブバンド成分ＹL（ｋ）を合成することにより、空間拡張チャネルＹLを生成し、全ての拡張サブバンド成分ＹR（ｋ）を合成することにより、空間拡張チャネルＹRを生成する。
図６は、一実施形態によるクロストーク補償プロセッサ２４０の例示の図を示す。クロストーク補償プロセッサ２４０は、入力チャネルＸL及びＸRを受信し、クロストークキャンセルプロセッサ２６０によって実行される後続のクロストークキャンセルにおける何らかのアーチファクトを予め補償するための前処理を実行する。一実施形態では、クロストーク補償プロセッサ２４０は、左側信号及び右側信号の合成器６１０（「Ｌ＆Ｒ合成器６１０」とも称される）、及び非空間成分プロセッサ６２０を含む。
Ｌ＆Ｒ合成器６１０は、左側入力オーディオチンネルＸL及び右側入力オーディオチャネルＸRを受信して、入力チャネルＸL、ＸRの非空間成分Ｘnを生成する。開示された実施形態の一態様では、非空間成分Ｘnは、左側入力チャネルＸLと右側入力チャネルＸRとの間の相関部分に対応する。Ｌ＆Ｒ合成器６１０は、左側入力チャネルＸLと右側入力チャネルＸRとを加算して、次式で示されるように入力オーディオチャネルＸL、ＸRの非空間成分Ｘnに対応する相関部分を生成してよい。
Ｘn＝ＸL＋ＸR …式（９）
非空間成分プロセッサ６２０は、非空間成分Ｘnを受信し、非空間成分Ｘnに対して非空間拡張を実行してクロストーク補償信号Ｚを生成する。開示された実施形態の一態様では、非空間成分プロセッサ６２０は、入力チャネルＸL、ＸRの非空間成分Ｘnに対する前処理を実行して、後続のクロストークキャンセルにおける何らかのアーチファクトを補償する。後続のクロストークキャンセルの非空間信号成分の周波数応答グラフは、シミュレーションによって取得され得る。加えて、周波数応答グラフを解析することにより、クロストークキャンセルのアーチファクトとして生じる、周波数応答グラフにおいて所定の閾値（例えば、１０ｄＢ）を上回るピーク又はトラフなどの何らかのスペクトルの欠陥が推定され得る。クロストークキャンセルプロセッサ２６０において、遅延して反転された対側の信号に対してそれらの対応する同側の信号を加算することに主として由来するこれらのアーチファクトは、それによって、最終的に与えられる結果に対して櫛形フィルタに似た周波数応答を効果的に導入する。クロストーク補償信号Ｚは、推定されたピーク又はトラフを補償するために非空間成分プロセッサ６２０によって生成され得る。具体的には、クロストークキャンセルプロセッサ２６０において適用される特定の遅延、フィルタリング周波数、及び利得に基づいて、ピーク及びトラフは周波数応答において上下にシフトし、スペクトルの特定領域においてエネルギーの可変の増幅及び／又は減衰をもたらす。
一実装形態では、非空間成分プロセッサ６２０は、クロストークキャンセルの推定されるスペクトルの欠陥を補償するために、クロストーク補償信号Ｚを生成するための増幅器６６０、フィルタ６７０及び遅延器６８０を含む。１つの例示的実装形態では、増幅器６６０は、非空間成分Ｘnを利得係数Ｇnだけ増幅し、フィルタ６７０は、増幅された非空間成分Ｇn＊Ｘnに対して２次のピーキングＥＱフィルタＦ［］を実行する。フィルタ６７０の出力は、遅延器６８０により、遅延機能Ｄによって遅延され得る。フィルタ、増幅器、及び遅延器は、任意の順番でカスケードに配置されてよい。フィルタ、増幅器、及び遅延器は、調節可能な構成（例えば、中心周波数、遮断周波数、利得係数、遅延量など）を伴って実施されてよい。一例では、非空間成分プロセッサ６２０は次式に従ってクロストーク補償信号Ｚを生成する。
Ｚ＝Ｄ［Ｆ［Ｇn＊Ｘn］］ …式（１０）
上記の図２Ａを参照しながら上記で説明されたように、クロストークキャンセルを補償する構成は、例えば第１のルックアップテーブルとして以下の表２及び表３に従って、スピーカパラメータ２０４によって決定され得る。
Figure 0006479287
Figure 0006479287
一例では、スピーカの特定タイプ（小さい／携帯用のスピーカ又は大きなスピーカ）について、フィルタ６７０のフィルタ中心周波数、フィルタ利得及び品質因子は、２つのスピーカ２８０の間で聴取者に対して形成された角度に従って決定され得る。いくつかの実施形態では、スピーカ角度の間の値が、他の値を補間するために使用される。
いくつかの実施形態では、非空間成分プロセッサ６２０はサブバンド空間オーディオプロセッサ２３０（例えば、中央／側方プロセッサ４３０）に統合されてよく、１つ又は複数の周波数サブバンドについて、後続のクロストークキャンセルのスペクトルのアーチファクトを補償する。
図７は、一実施形態による、クロストーク補償プロセッサ２４０によって実行されるであろうクロストークキャンセルのための補償を実行する例示の方法を示す。いくつかの実施形態では、クロストーク補償プロセッサ２４０は、ステップを並行して実行してよく、ステップを異なる順序で実行してよく、又は異なるステップを実行してもよい。
クロストーク補償プロセッサ２４０は、入力チャネルＸL及びＸRを含む入力オーディオ信号を受信する。クロストーク補償プロセッサ２４０は、７１０で、例えば、上記の式（９）に従って、入力チャネルＸLとＸRとの間の非空間成分Ｘnを生成する。
クロストーク補償プロセッサ２４０は、７２０で、上記の図６を参照しながら上記で説明されたように、クロストーク補償を実行するための設定（例えば、フィルタパラメータ）を決定する。クロストーク補償プロセッサ２４０は、７３０で、クロストーク補償信号Ｚを生成して、入力信号ＸL及びＸRに適用される後続のクロストークキャンセルの周波数応答において推定されるスペクトルの欠陥を補償する。
図８は、一実施形態によるクロストークキャンセルプロセッサ２６０の例示の図を示す。クロストークキャンセルプロセッサ２６０は、入力チャネルＴL、ＴRを含む入力オーディオ信号Ｔを受信し、チャネルＴL、ＴRに対するクロストークキャンセルを実行して、出力チャネルＯL、ＯR（例えば、左チャネル及び右チャネル）を含む出力オーディオ信号Ｏを生成する。入力オーディオ信号Ｔは、図２Ｂの合成器２５０から出力されてよい。或いは、入力オーディオ信号Ｔは、サブバンド空間オーディオプロセッサ２３０からの空間拡張オーディオ信号Ｙでよい。一実施形態では、クロストークキャンセルプロセッサ２６０は、周波数バンド分割器８１０、インバータ８２０Ａ、８２０Ｂ、対側推定器８２５Ａ、８２５Ｂ、及び周波数バンド合成器８４０を含む。１つの手法では、これらの構成要素は一緒に動作して、入力チャネルＴL、ＴRをバンド内成分とバンド外成分に分割し、バンド内成分に対してクロストークキャンセルを実行して出力チャネルＯL、ＯRを生成する。
入力オーディオ信号Ｔを別々の周波数バンド成分に分割して、選択的成分（例えば、バンド内成分）に対してクロストークキャンセルを実行することにより、他の周波数バンドにおける劣化を回避しながら特定の周波数バンドに対してクロストークキャンセルが実行され得る。入力オーディオ信号Ｔを別々の周波数バンドに分割せずにクロストークキャンセルが実行されると、そのようなクロストークキャンセルの後のオーディオ信号は、低周波数（例えば３５０Ｈｚ未満）、高周波数（例えば１２０００Ｈｚ超）、又は両方の、非空間成分及び空間成分における、著しい減衰又は増幅を示す可能性がある。影響力の強い空間キュー（spatial cues）の大部分が存在するバンド内（例えば、２５０Ｈｚと１４０００Ｈｚの間）に対してクロストークキャンセルを選択的に実行することにより、バランスのとれた全体的なエネルギーが、特に非空間成分において混合のスペクトルにわたって保持され得る。
１つの構成では、周波数バンド分割器８１０すなわちフィルタバンクは、入力チャネルＴL、ＴRを、それぞれバンド内チャネルＴL,In、ＴR,Inとバンド外チャネルＴL,Out、ＴR,Outとに分割する。詳細には、周波数バンド分割器８１０は、左側入力チャネルＴLを、左側バンド内チャネルＴL,Inと左側バンド外チャネルＴL,Outとに分割する。同様に、周波数バンド分割器８１０は、右側入力チャネルＴRを、右側バンド内チャネルＴR,Inと右側バンド外チャネルＴR,Outとに分割する。それぞれのバンド内チャネルは、例えば２５０Ｈｚから１４ｋＨｚを含む周波数範囲に対応するそれぞれの入力チャネルの部分を包含し得る。周波数バンドの範囲は、例えば、スピーカパラメータ２０４に従って調節可能であり得る。
インバータ８２０Ａ及び対側推定器８２５Ａは、左側バンド内チャネルＴL,Inによる対側音響成分を補償するために、一緒に動作して対側のキャンセル成分ＳLを生成する。同様に、インバータ８２０Ｂ及び対側推定器８２５Ｂは、右側バンド内チャネルＴR,Inによる対側音響成分を補償するために、一緒に動作して対側のキャンセル成分ＳRを生成する。
１つの手法では、インバータ８２０Ａは、バンド内チャネルＴL,Inを受信し、受信されたバンド内チャネルＴL,Inの極性を反転して、反転したバンド内チャネルＴL,In’を生成する。対側推定器８２５Ａは、反転したバンド内チャネルを受信してフィルタリングすることにより、対側音響成分に対応する、反転したバンド内チャネルＴL,In’の部分を抽出する。反転したバンド内チャネルに対してフィルタリングが実行されるため、対側推定器８２５Ａによって抽出される部分は、対側音響成分に起因するバンド内チャネルＴL,Inの部分を反転したものになる。それゆえに、対側推定器８２５Ａによって抽出される部分は対側のキャンセル成分ＳLになり、これが対応部分のバンド内チャネルＴR,Inに加算され得て、バンド内チャネルＴL,Inによる対側音響成分を低減する。いくつかの実施形態では、インバータ８２０Ａ及び対側推定器８２５Ａは異なるシーケンスにおいて実装される。
インバータ８２０Ｂ及び対側推定器８２５Ｂは、バンド内チャネルＴR,Inに対して同様の動作を実行して、対側のキャンセル成分ＳRを生成する。従って、その詳細な説明は、本明細書では簡潔さのために省略される。
１つの例示的実装形態では、対側推定器８２５Ａは、フィルタ８５２Ａ、増幅器８５４Ａ、及び遅延器８５６Ａを含む。フィルタ８５２Ａは、反転した入力チャネルＴL,In’を受信し、フィルタリング関数Ｆによって、対側音響成分に対応する、反転したバンド内チャネルＴL,In’の部分を抽出する。例示のフィルタ実装形態は、５０００Ｈｚと１００００Ｈｚの間で選択された中心周波数及び０．５と１．０との間で選択されたＱ値を有するノッチフィルタ又はハイシェルフフィルタ（Highshelf filter）である。デシベルで表された利得（ＧdB）は次式から導出され得る。
ＧdB＝−３．０−ｌｏｇ1.333（Ｄ） …式（１１）
ここで、Ｄは、例えば４８ｋＨｚのサンプリングレートにおける遅延器８５６Ａ／Ｂによるサンプルの遅延量である。代替的実装形態は、５０００Ｈｚと１００００Ｈｚとの間で選択された折点周波数及び０．５と１．０との間で選択されたＱ値を有するローパスフィルタである。その上、増幅器８５４Ａが、抽出された部分を、対応する利得係数ＧL,Inだけ増幅し、遅延器８５６Ａが増幅器８５４Ａからの増幅出力を遅延関数Ｄに従って遅延させて、対側のキャンセル成分ＳLを生成する。対側推定器８２５Ｂが、反転したバンド内チャネルＴR,In’に対して同様の動作を実行して、対側のキャンセル成分ＳRを生成する。一例では、対側推定器８２５Ａ、８２５Ｂは、以下の式に従って対側のキャンセル成分ＳL、ＳRを生成する。
ＳL＝Ｄ［ＧL,In＊Ｆ［ＴL,In’］］ …式（１２）
ＳR＝Ｄ［ＧL,In＊Ｆ［ＴR,In’］］ …式（１３）
上記の図２Ａを参照しながら上記で説明されたように、クロストークキャンセルの構成は、例えば第２のルックアップテーブルとして以下の表４に従って、スピーカパラメータ２０４によって決定され得る。
Figure 0006479287
一例では、フィルタ中心周波数、遅延量、増幅器利得、及びフィルタ利得は、２つのスピーカ２８０の間で聴取者に対して形成された角度に従って決定され得る。いくつかの実施形態では、スピーカ角度の間の値が、他の値を補間するために使用される。
合成器８３０Ａが対側のキャンセル成分ＳRを左側バンド内チャネルＴL,Inと合成して左側バンド内の補償されたチャネルＣLを生成し、合成器８３０Ｂが対側のキャンセル成分ＳLを右側バンド内チャネルＴR,Inと合成して右側バンド内の補償されたチャネルＣRを生成する。周波数バンド合成器８４０が、バンド内の補償されたチャネルＣL、ＣRを、それぞれバンド外チャネルＴL,Out、ＴR,Outと合成して、オーディオチャネルＯL、ＯRを生成する。
それゆえに、出力オーディオチャネルＯLは、対側の音響に起因するバンド内チャネルＴR,Inの部分の反転したものに対応する対側のキャンセル成分ＳRを含み、出力オーディオチャネルＯRは、対側の音響に起因するバンド内チャネルＴL,Inの部分の反転したものに対応する対側のキャンセル成分ＳLを含む。この構成では、右耳に到達した出力チャネルＯRに従ってスピーカ２８０Rによって出力された同側音響成分の波頭は、出力チャネルＯLに従ってスピーカ２８０Lによって出力された対側音響成分の波頭をキャンセルすることができる。同様に、左耳に到達した出力チャネルＯLに従ってスピーカ２８０Lによって出力された同側音響成分の波頭は、出力チャネルＯRに従ってスピーカ２８０Rによって出力された対側音響成分の波頭をキャンセルすることができる。従って、空間検知能を強化するために、対側音響成分が低減され得る。
図９は、一実施形態による、クロストークキャンセルプロセッサ２６０によって実行されるであろうクロストークキャンセルを実行する例示の方法を示す。いくつかの実施形態では、クロストークキャンセルプロセッサ２６０は、ステップを並行して実行してよく、ステップを異なる順序で実行してよく、又は異なるステップを実行してもよい。
クロストークキャンセルプロセッサ２６０は、入力チャネルＴL、ＴRを含む入力信号を受信する。入力信号は合成器２５０からの出力ＴL、ＴRでよい。クロストークキャンセルプロセッサ２６０は、９１０で、入力チャネルＴLをバンド内チャネルＴL,Inとバンド外チャネルＴL,Outに分割する。同様に、クロストークキャンセルプロセッサ２６０は、９１５で、入力チャネルＴRをバンド内チャネルＴR,Inとバンド外チャネルＴR,Outに分割する。入力チャネルＴL、ＴRは、上記の図８を参照しながら上記で説明されたように、周波数バンド分割器８１０によってバンド内チャネルとバンド外チャネルとに分割され得る。
クロストークキャンセルプロセッサ２６０は、９２５で、表４及び上記の式（１２）に従って、例えば対側音響成分に寄与するバンド内チャネルＴL,Inの部分に基づいて、クロストークキャンセル成分ＳLを生成する。同様に、クロストークキャンセルプロセッサ２６０は、９３５で、表４及び式（１３）に従って、例えば、対側音響成分に寄与するバンド内チャネルＴR,Inの特定された部分に基づいて、クロストークキャンセル成分ＳRを生成する。
クロストークキャンセルプロセッサ２６０は、９４０で、バンド内チャネルＴL,Inと、クロストークキャンセル成分ＳRと、バンド外チャネルＴL,Outとを合成することにより、出力オーディオチャネルＯLを生成する。同様に、クロストークキャンセルプロセッサ２６０は、９４５で、バンド内チャネルＴR,Inと、クロストークキャンセル成分ＳLと、バンド外チャネルＴR,Outとを合成することにより、出力オーディオチャネルＯRを生成する。
出力チャネルＯL、ＯRは、それぞれのスピーカに提供され得て、低減されたクロストーク及び改善された空間検知能を伴ってステレオ音を再生する。
図１０及び図１１は、クロストークキャンセルによるスペクトルのアーチファクトを明示するための例示の周波数応答グラフを示す。一態様では、クロストークキャンセルの周波数応答は、櫛形フィルタアーチファクトを示す。これらの櫛形フィルタアーチファクトは、信号の空間成分と非空間成分において反転した応答を示す。図１０は、４８ｋＨｚのサンプリングレートにおいて１つのサンプル遅延を採用するクロストークキャンセルに由来するアーチファクトを示し、図１１は、４８ｋＨｚのサンプリングレートにおいて６つのサンプル遅延を採用するクロストークキャンセルに由来するアーチファクトを示す。グラフ１０１０は、ホワイトノイズ入力信号の周波数応答であり、グラフ１０２０は、１つのサンプル遅延を採用するクロストークキャンセルの非空間（相関）成分の周波数応答であり、グラフ１０３０は、１つのサンプル遅延を採用するクロストークキャンセルの空間（非相関）成分の周波数応答である。グラフ１１１０はホワイトノイズ入力信号の周波数応答であり、グラフ１１２０は、６つのサンプル遅延を採用するクロストークキャンセルの非空間（相関）成分の周波数応答であり、グラフ１１３０は、６つのサンプル遅延を採用するクロストークキャンセルの空間（非相関）成分の周波数応答である。クロストーク補償の遅延を変化させることにより、ナイキスト周波数未満で生じるピーク及びトラフの、数及び中心周波数を変化させることができる。
図１２及び図１３は、クロストーク補償の効果を明示するための例示の周波数応答グラフを示す。グラフ１２１０は、ホワイトノイズ入力信号の周波数応答であり、グラフ１２２０は、１つのサンプル遅延を採用するクロストークキャンセルの、クロストーク補償無しの非空間（相関）成分の周波数応答であり、グラフ１２３０は、１つのサンプル遅延を採用するクロストークキャンセルの、クロストーク補償有りの非空間（相関）成分の周波数応答である。グラフ１３１０は、ホワイトノイズ入力信号の周波数応答であり、グラフ１３２０は、６つのサンプル遅延を採用するクロストークキャンセルの、クロストーク補償無しの非空間（相関）成分の周波数応答であり、グラフ１３３０は、６つのサンプル遅延を採用するクロストークキャンセルの、クロストーク補償有りの非空間（相関）成分の周波数応答である。一例では、クロストーク補償プロセッサ２４０は、トラフを伴う周波数範囲にわたって非空間成分に対してピーキングフィルタを適用し、別の周波数範囲のピークを伴う周波数範囲にわたって非空間成分に対してノッチフィルタを適用して、グラフ１２３０及び１３３０に示されるように周波数応答を平坦化する。その結果、中央にパンした（center-panned）音楽的要素のより安定した知覚プレゼンスが創造され得る。クロストークキャンセルの中心周波数、利得、及びＱ値など他のパラメータは、スピーカパラメータ２０４に従って第２のルックアップテーブル（例えば、上記の表４）によって決定されてよい。
図１４は、図８に示された周波数バンド分割器の折点周波数を変化させる効果を明示するための例示の周波数応答を示す。グラフ１４１０は、ホワイトノイズ入力信号の周波数応答であり、グラフ１４２０は、３５０〜１２０００Ｈｚのバンド内折点周波数を採用するクロストークキャンセルの非空間（相関）成分の周波数応答であり、グラフ１４３０は、２００〜１４０００Ｈｚのバンド内折点周波数を採用するクロストークキャンセルの非空間（相関）成分の周波数応答である。図１４に示されるように、図８の周波数バンド分割器８１０の遮断周波数を変化させるとクロストークキャンセルの周波数応答に影響を及ぼす。
図１５及び図１６は、図８に示された周波数バンド分割器８１０の効果を明示するための例示の周波数応答を示す。グラフ１５１０はホワイトノイズ入力信号の周波数応答であり、グラフ１５２０は、４８ｋＨｚのサンプリングレートにおける１つのサンプル遅延と３５０から１２０００Ｈｚのバンド内周波数範囲とを採用するクロストークキャンセルの非空間（相関）成分の周波数応答であり、グラフ１５３０は、周波数バンド分割器８１０無しで、全体の周波数について４８ｋＨｚのサンプリングレートにおける１つのサンプル遅延を採用するクロストークキャンセルの非空間（相関）成分の周波数応答である。グラフ１６１０はホワイトノイズ入力信号の周波数応答であり、グラフ１６２０は、４８ｋＨｚのサンプリングレートにおける６つのサンプル遅延と２５０から１４０００Ｈｚのバンド内周波数範囲とを採用するクロストークキャンセルの非空間（相関）成分の周波数応答であり、グラフ１６３０は、周波数バンド分割器８１０無しで、全体の周波数について４８ｋＨｚのサンプリングレートにおける６つのサンプル遅延を採用するクロストークキャンセルの非空間（相関）成分の周波数応答である。周波数バンド分割器８１０無しでクロストークキャンセルを適用することにより、グラフ１５３０は、１０００Ｈｚ未満の大幅な抑制と、１００００Ｈｚの上のリップルとを示す。同様に、グラフ１６３０は、４００Ｈｚ未満の大幅な抑制と、１０００Ｈｚの上のリップル（ripples）とを示す。周波数バンド分割器８１０を実施し、選択された周波数バンドに対してクロストークキャンセルを選択的に行うことにより、グラフ１５２０及び１６２０に示されるように、低周波数領域（例えば１０００Ｈｚ未満）における抑制と高周波領域（例えば、１００００Ｈｚ超）におけるリップルとが低減され得る。
当業者なら、この開示を読み取れば、本明細書で開示された原理を通じてさらに追加の代替的実施形態を理解するはずである。従って、特定の実施形態及び用途が示されて説明されてきたが、開示された実施形態は、本明細書で開示された正確な構造や構成要素に限定されるものではないことを理解されたい。本明細書で説明された範囲から逸脱することなく、当業者には明らかなはずの様々な修正形態、変更形態及び変形形態が、本明細書で開示された方法及び装置の配置、動作及び詳細において作製され得る。
本明細書で説明されたステップ、動作、又はプロセスのうちいかなるものも、１つ又は複数のハードウェアモジュール又はソフトウェアモジュールを、単独で用いて、又は他のデバイスと合成して用いて、実行され得、又は実施され得る。一実施形態では、ソフトウェアモジュールは、説明されたステップ、動作、若しくはプロセスのいずれか又は全てを実行するためにコンピュータプロセッサによって実行され得るコンピュータプログラムコードを包含しているコンピュータ可読媒体（例えば非一時的コンピュータ可読媒体）を含むコンピュータプログラム製品を用いて実施される。

Claims (21)

  1. 第１の音響及び第２の音響を生成する方法であって、
    第１の入力チャネル及び第２の入力チャネルを含む入力オーディオ信号を受信するステップと、
    前記第１の入力チャネルを第１のサブバンド成分に分割するステップであって、前記第１のサブバンド成分の各々が周波数バンドのグループからの１つの周波数バンドに対応するステップと、
    前記第２の入力チャネルを第２のサブバンド成分に分割するステップであって、前記第２のサブバンド成分の各々が周波数バンドの前記グループからの１つの周波数バンドに対応するステップと、
    前記周波数バンドの各々について、対応する第１のサブバンド成分と対応する第２のサブバンド成分の間の相関部分を生成するステップと、
    前記周波数バンドの各々について、前記対応する第１のサブバンド成分と前記対応する第２のサブバンド成分の間の非相関部分を生成するステップと、
    前記周波数バンドの各々について、前記非相関部分に対して前記相関部分を増幅して、拡張空間成分及び拡張非空間成分を取得するステップと、
    前記周波数バンドの各々について、前記拡張空間成分と前記拡張非空間成分の和を取得することにより、拡張された第１のサブバンド成分を生成するステップと、
    前記周波数バンドの各々について、前記拡張空間成分と前記拡張非空間成分の間の差を取得することにより、拡張された第２のサブバンド成分を生成するステップと、
    前記周波数バンドの各々の生成された前記拡張された第１のサブバンド成分を合成することにより、第１の空間拡張チャネルを生成するステップと、
    前記周波数バンドの各々の生成された前記拡張された第２のサブバンド成分を合成することにより、第２の空間拡張チャネルを生成するステップと
    を含む、方法。
  2. 周波数バンドの第１のサブバンド成分と第２のサブバンド成分の間の相関部分は、前記周波数バンドの非空間情報を含み、前記周波数バンドの前記第１のサブバンド成分と前記第２のサブバンド成分の間の非相関部分は、前記周波数バンドの空間情報を含む
    請求項１に記載の方法。
  3. 前記第１の入力チャネルと前記第２の入力チャネルの間の相関部分を生成するステップと、
    前記第１の入力チャネルと前記第２の入力チャネルの間の前記相関部分に基づいてクロストーク補償信号を生成するステップと、
    前記クロストーク補償信号を前記第１の空間拡張チャネルに加算して第１の予め補償されたチャネルを生成するステップと、
    前記クロストーク補償信号を前記第２の空間拡張チャネルに加算して第２の予め補償されたチャネルを生成するステップとをさらに含む
    請求項１に記載の方法。
  4. 前記クロストーク補償信号を生成するステップは、
    前記クロストーク補償信号を生成して、後続のクロストークキャンセルの周波数応答において推定されるスペクトルの欠陥を除去するステップを含む
    請求項３に記載の方法。
  5. 前記第１の予め補償されたチャネルを、バンド内周波数に対応する第１のバンド内チャネルとバンド外周波数に対応する第１のバンド外チャネルとに分割するステップと、
    前記第２の予め補償されたチャネルを、前記バンド内周波数に対応する第２のバンド内チャネルと前記バンド外周波数に対応する第２のバンド外チャネルとに分割するステップと、
    第１のクロストークキャンセル成分を生成して、前記第１のバンド内チャネルによって寄与される第１の対側音響成分を補償するステップと、
    第２のクロストークキャンセル成分を生成して、前記第２のバンド内チャネルによって寄与される第２の対側音響成分を補償するステップと、
    前記第１のバンド内チャネルと、前記第２のクロストークキャンセル成分と、前記第１のバンド外チャネルとを合成して、第１の補償されたチャネルを生成するステップと、
    前記第２のバンド内チャネルと、前記第１のクロストークキャンセル成分と、前記第２のバンド外チャネルとを合成して、第２の補償されたチャネルを生成するステップとをさらに含む
    請求項３に記載の方法。
  6. 前記第１のクロストークキャンセル成分を生成ステップは、
    前記第１のバンド内チャネルによって寄与される前記第１の対側音響成分を推定するステップと、
    前記推定された第１の対側音響成分の反転したものから、前記第１のクロストークキャンセル成分を生成するステップと
    を備え、
    前記第２のクロストークキャンセル成分を生成ステップは、
    前記第２のバンド内チャネルによって寄与される前記第２の対側音響成分を推定するステップと、
    前記推定された第２の対側音響成分の反転したものから、前記第２のクロストークキャンセル成分を生成するステップとを含む
    請求項５に記載の方法。
  7. サブバンド空間オーディオプロセッサを含むシステムであって、
    前記サブバンド空間オーディオプロセッサは、
    第１の入力チャネル及び第２の入力チャネルを含む入力オーディオ信号を受信し、前記第１の入力チャネルを、各々が周波数バンドのグループからの１つの周波数バンドに対応する第１のサブバンド成分に分割し、前記第２の入力チャネルを、各々が周波数バンドの前記グループからの１つの周波数バンドに対応する第２のサブバンド成分に分割するように構成された周波数バンド分割器と、
    前記周波数バンド分割器に結合されたコンバータであって、各コンバータが、周波数バンドの前記グループからの対応する周波数バンド向けに、対応する第１のサブバンド成分と対応する第２のサブバンド成分の間の相関部分を生成し、前記対応する周波数バンド向けに、前記対応する第１のサブバンド成分と前記対応する第２のサブバンド成分の間の非相関部分を生成するように構成されたコンバータと、
    サブバンドプロセッサであって、各サブバンドプロセッサが、対応する周波数バンド用のコンバータに結合されており、前記対応する周波数バンドについて、前記非相関部分に対して前記相関部分を増幅して、拡張空間成分及び拡張非空間成分を取得するように構成されたサブバンドプロセッサと、
    反転コンバータであって、各反転コンバータが、対応するサブバンドプロセッサに結合されており、対応する周波数バンドについて、前記拡張空間成分と前記拡張非空間成分の和を取得することにより、拡張された第１のサブバンド成分を生成し、前記対応する周波数バンドについて、前記拡張空間成分と前記拡張非空間成分の間の差を取得することにより、拡張された第２のサブバンド成分を生成するように構成された反転コンバータと、
    前記反転コンバータに結合された周波数バンド合成器であって、前記周波数バンドの拡張された第１のサブバンド成分を合成することにより、第１の空間拡張チャネルを生成し、前記周波数バンドの拡張された第２のサブバンド成分を合成することにより、第２の空間拡張チャネルを生成するように構成された周波数バンド合成器と
    を含む、システム。
  8. 周波数バンドの第１のサブバンド成分と第２のサブバンド成分の間の相関部分は、前記周波数バンドの非空間情報を含み、前記周波数バンドの前記第１のサブバンド成分と前記第２のサブバンド成分の間の非相関部分は、前記周波数バンドの空間情報を含む
    請求項７に記載のシステム。
  9. 前記第１の入力チャネルと前記第２の入力チャネルの間の相関部分を生成し、
    前記第１の入力チャネルと前記第２の入力チャネルの間の前記相関部分に基づいてクロストーク補償信号を生成するように構成された非空間オーディオプロセッサをさらに含む
    請求項７に記載のシステム。
  10. クロストーク補償信号は、後続のクロストークキャンセルの周波数応答において、推定されるスペクトルの欠陥を除去するために用いられる
    請求項９に記載のシステム。
  11. 前記サブバンド空間オーディオプロセッサ及び前記非空間オーディオプロセッサに結合された合成器であって、
    前記クロストーク補償信号を前記第１の空間拡張チャネルに加算して第１の予め補償されたチャネルを生成し、
    前記クロストーク補償信号を前記第２の空間拡張チャネルに加算して第２の予め補償されたチャネルを生成するように構成された合成器をさらに含む
    請求項１０に記載のシステム。
  12. 前記合成器に結合されたクロストークキャンセルプロセッサであって、
    前記第１の予め補償されたチャネルを、バンド内周波数に対応する第１のバンド内チャネルとバンド外周波数に対応する第１のバンド外チャネルとに分割し、
    前記第２の予め補償されたチャネルを、前記バンド内周波数に対応する第２のバンド内チャネルと前記バンド外周波数に対応する第２のバンド外チャネルとに分割し、
    第１のクロストークキャンセル成分を生成して、前記第１のバンド内チャネルによって寄与される第１の対側音響成分を補償し、
    第２のクロストークキャンセル成分を生成して、前記第２のバンド内チャネルによって寄与される第２の対側音響成分を補償し、
    前記第１のバンド内チャネルと、前記第２のクロストークキャンセル成分と、前記第１のバンド外チャネルとを合成して、第１の補償されたチャネルを生成し、
    前記第２のバンド内チャネルと、前記第１のクロストークキャンセル成分と、前記第２のバンド外チャネルとを合成して、第２の補償されたチャネルを生成するように構成されたクロストークキャンセルプロセッサをさらに含む
    請求項１１に記載のシステム。
  13. 前記クロストークキャンセルプロセッサに結合された第１のスピーカであって、前記第１の補償されたチャネルに従って第１の音響を生成するように構成された第１のスピーカと、
    前記クロストークキャンセルプロセッサに結合された第２のスピーカであって、前記第２の補償されたチャネルに従って第２の音響を生成するように構成された第２のスピーカとをさらに含む
    請求項１２に記載のシステム。
  14. 前記クロストークキャンセルプロセッサは、
    第１のバンド内チャネルの反転したものを生成するように構成された第１のインバータと、
    前記第１のインバータに結合された第１の対側推定器であって、前記第１のバンド内チャネルによって寄与される前記第１の対側音響成分を推定し、前記第１のバンド内チャネルの反転したものに従って、前記第１の対側音響成分の反転したものに対応する前記第１のクロストークキャンセル成分を生成するように構成された第１の対側推定器と、
    前記第２のバンド内チャネルの反転したものを生成するように構成された第２のインバータと、
    前記第２のインバータに結合された第２の対側推定器であって、前記第２のバンド内チャネルによって寄与される前記第２の対側音響成分を推定し、前記第２のバンド内チャネルの反転したものに従って、前記第２の対側音響成分の反転したものに対応する前記第２のクロストークキャンセル成分を生成するように構成された第２の対側推定器とを含む
    請求項１２に記載のシステム。
  15. プログラムコードを記憶するように構成された非一時的コンピュータ可読ストレージ媒体であって、前記プログラムコードが含む命令は、プロセッサによって実行されたとき、前記プロセッサが、
    第１の入力チャネル及び第２の入力チャネルを含む入力オーディオ信号を受信し、
    前記第１の入力チャネルを、各々が周波数バンドのグループからの１つの周波数バンドに対応する第１のサブバンド成分に分割し、
    前記第２の入力チャネルを、各々が周波数バンドの前記グループからの１つの周波数バンドに対応する第２のサブバンド成分に分割し、
    前記周波数バンドの各々について、対応する第１のサブバンド成分と対応する第２のサブバンド成分の間の相関部分を生成し、
    前記周波数バンドの各々について、前記対応する第１のサブバンド成分と前記対応する第２のサブバンド成分の間の非相関部分を生成し、
    前記周波数バンドの各々について、前記非相関部分に対して前記相関部分を増幅して、拡張空間成分及び拡張非空間成分を取得し、
    前記周波数バンドの各々について、前記拡張空間成分と前記拡張非空間成分の和を取得することにより、拡張された第１のサブバンド成分を生成し、
    前記周波数バンドの各々について、前記拡張空間成分と前記拡張非空間成分の間の差を取得することにより、拡張された第２のサブバンド成分を生成し、
    前記周波数バンドの各々の生成された前記拡張された第１のサブバンド成分を合成することにより、第１の空間拡張チャネルを生成し、
    前記周波数バンドの各々の生成された前記拡張された第２のサブバンド成分を合成することにより、第２の空間拡張チャネルを生成することを生じさせる
    非一時的コンピュータ可読ストレージ媒体。
  16. 周波数バンドの第１のサブバンド成分と第２のサブバンド成分の間の相関部分は、前記周波数バンドの非空間情報を含み、前記周波数バンドの前記第１のサブバンド成分と前記第２のサブバンド成分の間の非相関部分は、前記周波数バンドの空間情報を含む
    請求項１５に記載の非一時的コンピュータ可読ストレージ媒体。
  17. 前記命令は、前記プロセッサによって実行されたとき、前記プロセッサが、さらに、
    前記第１の入力チャネルと前記第２の入力チャネルの間の相関部分を生成し、
    前記第１の入力チャネルと前記第２の入力チャネルの間の前記相関部分に基づいてクロストーク補償信号を生成し、
    前記クロストーク補償信号を前記第１の空間拡張チャネルに加算して第１の予め補償されたチャネルを生成し、
    前記クロストーク補償信号を前記第２の空間拡張チャネルに加算して第２の予め補償されたチャネルを生成することを生じさせる
    請求項１５に記載の非一時的コンピュータ可読ストレージ媒体。
  18. 前記プロセッサによって実行されたとき、前記プロセッサが、前記クロストーク補償信号を生成することを生じさせる前記命令は、前記プロセッサが、さらに、
    前記クロストーク補償信号を生成して、後続のクロストークキャンセルの周波数応答において推定されるスペクトルの欠陥を除去することを生じさせる
    請求項１７に記載の非一時的コンピュータ可読ストレージ媒体。
  19. 前記命令は、前記プロセッサによって実行されたとき、前記プロセッサが、さらに、
    前記第１の予め補償されたチャネルを、バンド内周波数に対応する第１のバンド内チャネルとバンド外周波数に対応する第１のバンド外チャネルとに分割し、
    前記第２の予め補償されたチャネルを、前記バンド内周波数に対応する第２のバンド内チャネルと前記バンド外周波数に対応する第２のバンド外チャネルとに分割し、
    第１のクロストークキャンセル成分を生成して、前記第１のバンド内チャネルによって寄与される第１の対側音響成分を補償し、
    第２のクロストークキャンセル成分を生成して、前記第２のバンド内チャネルによって寄与される第２の対側音響成分を補償し、
    前記第１のバンド内チャネルと、前記第２のクロストークキャンセル成分と、前記第１のバンド外チャネルとを合成して、第１の補償されたチャネルを生成し、
    前記第２のバンド内チャネルと、前記第１のクロストークキャンセル成分と、前記第２のバンド外チャネルとを合成して、第２の補償されたチャネルを生成することを生じさせる
    請求項１７に記載の非一時的コンピュータ可読ストレージ媒体。
  20. 前記プロセッサによって実行されたとき、前記プロセッサが、前記第１のクロストークキャンセル成分を生成することを生じさせる前記命令は、前記プロセッサが、さらに、
    前記第１のバンド内チャネルによって寄与される前記第１の対側音響成分を推定し、
    前記推定された第１の対側音響成分の反転したものを含む前記第１のクロストークキャンセル成分を生成することを生じさせ、
    前記プロセッサによって実行されたとき、前記プロセッサが、前記第２のクロストークキャンセル成分を生成することを生じさせる前記命令は、前記プロセッサが、さらに、
    前記第２のバンド内チャネルによって寄与される前記第２の対側音響成分を推定し、
    前記推定された第２の対側音響成分の反転したものから、前記第２のクロストークキャンセル成分を生成することを生じさせる
    請求項１９に記載の非一時的コンピュータ可読ストレージ媒体。
  21. 第１のスピーカ及び第２のスピーカによって出力されるオーディオ信号のクロストークキャンセルのための方法であって、
    前記第１のスピーカ及び前記第２のスピーカに関するスピーカパラメータを決定するステップであって、前記スピーカパラメータは前記第１のスピーカと前記第２のスピーカの間の聴取角度を含むステップと、
    前記オーディオ信号を受信するステップと、
    入力オーディオ信号の複数の周波数バンド向けに補償信号を生成するステップであって、前記補償信号は、前記入力オーディオ信号に適用されたクロストークキャンセルから各周波数バンドにおいて推定されるスペクトルの欠陥を除去するものであり、前記クロストークキャンセル及び前記補償信号は、前記スピーカパラメータに基づいて決定されるステップと、
    前記補償信号を前記入力オーディオ信号に加算することにより、前記クロストークキャンセルのための前記入力オーディオ信号を予め補償して、予め補償された信号を生成するステップと、
    前記スピーカパラメータに基づき、前記予め補償された信号に対して前記クロストークキャンセルを実行して、クロストークキャンセルされたオーディオ信号を生成するステップと、を含み、
    前記スピーカパラメータに基づき、前記予め補償された信号に対して前記クロストークキャンセルを実行して、前記クロストークキャンセルされたオーディオ信号を生成するステップは、
    前記予め補償された信号の第１の予め補償されたチャネルを、バンド内周波数に対応する第１のバンド内チャネルとバンド外周波数に対応する第１のバンド外チャネルとに分割するステップと、
    前記予め補償された信号の第２の予め補償されたチャネルを、前記バンド内周波数に対応する第２のバンド内チャネルと前記バンド外周波数に対応する第２のバンド外チャネルとに分割するステップと、
    前記第１のバンド内チャネルによって寄与される第１の対側音響成分を推定するステップと、
    前記第２のバンド内チャネルによって寄与される第２の対側音響成分を推定するステップと、
    前記推定された第１の対側音響成分に基づいて第１のクロストークキャンセル成分を生成するステップと、
    前記推定された第２の対側音響成分に基づいて第２のクロストークキャンセル成分を生成するステップと、
    前記第１のバンド内チャネルと、前記第２のクロストークキャンセル成分と、前記第１のバンド外チャネルとを合成して、第１の補償されたチャネルを生成するステップと、
    前記第２のバンド内チャネルと、前記第１のクロストークキャンセル成分と、前記第２のバンド外チャネルとを合成して、第２の補償されたチャネルを生成するステップとをさらに含む、方法。
JP2018547278A 2016-01-18 2017-01-11 オーディオ再生のためのサブバンド空間クロストークキャンセル Active JP6479287B1 (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201662280119P 2016-01-18 2016-01-18
US62/280,119 2016-01-18
US201662388366P 2016-01-29 2016-01-29
US62/388,366 2016-01-29
PCT/US2017/013061 WO2017127271A1 (en) 2016-01-18 2017-01-11 Subband spatial and crosstalk cancellation for audio reproduction

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2019018784A Division JP6832968B2 (ja) 2016-01-18 2019-02-05 クロストーク処理の方法

Publications (2)

Publication Number Publication Date
JP6479287B1 true JP6479287B1 (ja) 2019-03-06
JP2019508978A JP2019508978A (ja) 2019-03-28

Family

ID=59362011

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2018547278A Active JP6479287B1 (ja) 2016-01-18 2017-01-11 オーディオ再生のためのサブバンド空間クロストークキャンセル
JP2019018784A Active JP6832968B2 (ja) 2016-01-18 2019-02-05 クロストーク処理の方法

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2019018784A Active JP6832968B2 (ja) 2016-01-18 2019-02-05 クロストーク処理の方法

Country Status (10)

Country Link
EP (2) EP3780653A1 (ja)
JP (2) JP6479287B1 (ja)
KR (1) KR101858917B1 (ja)
CN (2) CN112235695B (ja)
AU (2) AU2017208909B2 (ja)
BR (1) BR112018014632B1 (ja)
CA (2) CA3011628C (ja)
NZ (2) NZ750171A (ja)
TW (2) TWI620172B (ja)
WO (1) WO2017127271A1 (ja)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101858917B1 (ko) * 2016-01-18 2018-06-28 붐클라우드 360, 인코포레이티드 오디오 재생성을 위한 부대역 공간 및 크로스토크 제거 기법
US10524078B2 (en) * 2017-11-29 2019-12-31 Boomcloud 360, Inc. Crosstalk cancellation b-chain
US10511909B2 (en) 2017-11-29 2019-12-17 Boomcloud 360, Inc. Crosstalk cancellation for opposite-facing transaural loudspeaker systems
US10575116B2 (en) 2018-06-20 2020-02-25 Lg Display Co., Ltd. Spectral defect compensation for crosstalk processing of spatial audio signals
CN110718237B (zh) * 2018-07-12 2023-08-18 阿里巴巴集团控股有限公司 串音数据检测方法和电子设备
US10715915B2 (en) * 2018-09-28 2020-07-14 Boomcloud 360, Inc. Spatial crosstalk processing for stereo signal
US10841728B1 (en) 2019-10-10 2020-11-17 Boomcloud 360, Inc. Multi-channel crosstalk processing
US11032644B2 (en) * 2019-10-10 2021-06-08 Boomcloud 360, Inc. Subband spatial and crosstalk processing using spectrally orthogonal audio components
US11533560B2 (en) * 2019-11-15 2022-12-20 Boomcloud 360 Inc. Dynamic rendering device metadata-informed audio enhancement system

Family Cites Families (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB9622773D0 (en) * 1996-11-01 1997-01-08 Central Research Lab Ltd Stereo sound expander
JP3368836B2 (ja) * 1998-07-31 2003-01-20 オンキヨー株式会社 音響信号処理回路および方法
WO2003104924A2 (en) * 2002-06-05 2003-12-18 Sonic Focus, Inc. Acoustical virtual reality engine and advanced techniques for enhancing delivered sound
US20050265558A1 (en) * 2004-05-17 2005-12-01 Waves Audio Ltd. Method and circuit for enhancement of stereo audio reproduction
EP1752017A4 (en) * 2004-06-04 2015-08-19 Samsung Electronics Co Ltd APPARATUS AND METHOD FOR REPRODUCING LARGE STEREO SOUND
JP4509686B2 (ja) * 2004-07-29 2010-07-21 新日本無線株式会社 音響信号処理方法および装置
GB2419265B (en) * 2004-10-18 2009-03-11 Wolfson Ltd Improved audio processing
EP1942582B1 (en) * 2005-10-26 2019-04-03 NEC Corporation Echo suppressing method and device
JP4887420B2 (ja) 2006-03-13 2012-02-29 ドルビー ラボラトリーズ ライセンシング コーポレイション 中央チャンネルオーディオのレンダリング
WO2007110103A1 (en) * 2006-03-24 2007-10-04 Dolby Sweden Ab Generation of spatial downmixes from parametric representations of multi channel signals
US8619998B2 (en) * 2006-08-07 2013-12-31 Creative Technology Ltd Spatial audio enhancement processing method and apparatus
EP1858296A1 (en) * 2006-05-17 2007-11-21 SonicEmotion AG Method and system for producing a binaural impression using loudspeakers
JP4841324B2 (ja) 2006-06-14 2011-12-21 アルパイン株式会社 サラウンド生成装置
US8705748B2 (en) 2007-05-04 2014-04-22 Creative Technology Ltd Method for spatially processing multichannel signals, processing module, and virtual surround-sound systems
US8306243B2 (en) * 2007-08-13 2012-11-06 Mitsubishi Electric Corporation Audio device
CN101884065B (zh) * 2007-10-03 2013-07-10 创新科技有限公司 用于双耳再现和格式转换的空间音频分析和合成的方法
JP4655098B2 (ja) 2008-03-05 2011-03-23 ヤマハ株式会社 音声信号出力装置、音声信号出力方法およびプログラム
US8295498B2 (en) * 2008-04-16 2012-10-23 Telefonaktiebolaget Lm Ericsson (Publ) Apparatus and method for producing 3D audio in systems with closely spaced speakers
US9247369B2 (en) * 2008-10-06 2016-01-26 Creative Technology Ltd Method for enlarging a location with optimal three-dimensional audio perception
JPWO2010076850A1 (ja) * 2009-01-05 2012-06-21 パナソニック株式会社 音場制御装置及び音場制御方法
US9107021B2 (en) * 2010-04-30 2015-08-11 Microsoft Technology Licensing, Llc Audio spatialization using reflective room model
JP5957446B2 (ja) 2010-06-02 2016-07-27 コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． 音響処理システム及び方法
WO2012036912A1 (en) * 2010-09-03 2012-03-22 Trustees Of Princeton University Spectrally uncolored optimal croostalk cancellation for audio through loudspeakers
JP5587706B2 (ja) * 2010-09-13 2014-09-10 クラリオン株式会社 音響処理装置
KR101785379B1 (ko) * 2010-12-31 2017-10-16 삼성전자주식회사 공간 음향에너지 분포 제어장치 및 방법
CN103329571B (zh) * 2011-01-04 2016-08-10 Dts有限责任公司 沉浸式音频呈现系统
EP2560161A1 (en) * 2011-08-17 2013-02-20 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Optimal mixing matrices and usage of decorrelators in spatial audio processing
CN102737647A (zh) * 2012-07-23 2012-10-17 武汉大学 双声道音频音质增强编解码方法及装置
CN103928030B (zh) * 2014-04-30 2017-03-15 武汉大学 基于子带空间关注测度的可分级音频编码系统及方法
KR101858917B1 (ko) * 2016-01-18 2018-06-28 붐클라우드 360, 인코포레이티드 오디오 재생성을 위한 부대역 공간 및 크로스토크 제거 기법

Also Published As

Publication number Publication date
CN108886650A (zh) 2018-11-23
TW201732785A (zh) 2017-09-16
TWI646530B (zh) 2019-01-01
JP2019083570A (ja) 2019-05-30
WO2017127271A1 (en) 2017-07-27
CN112235695A (zh) 2021-01-15
CN112235695B (zh) 2022-04-15
NZ745415A (en) 2019-03-29
TW201804462A (zh) 2018-02-01
EP3406084A1 (en) 2018-11-28
KR101858917B1 (ko) 2018-06-28
JP6832968B2 (ja) 2021-02-24
AU2019202161A1 (en) 2019-04-18
AU2017208909A1 (en) 2018-09-06
JP2019508978A (ja) 2019-03-28
AU2019202161B2 (en) 2020-09-03
EP3780653A1 (en) 2021-02-17
EP3406084A4 (en) 2019-08-14
TWI620172B (zh) 2018-04-01
CA3011628A1 (en) 2017-07-27
EP3406084B1 (en) 2020-08-26
WO2017127271A8 (en) 2018-08-02
CN108886650B (zh) 2020-11-03
CA3034685A1 (en) 2017-07-27
CA3011628C (en) 2019-04-09
NZ750171A (en) 2022-04-29
AU2017208909B2 (en) 2019-01-03
KR20170126105A (ko) 2017-11-16
BR112018014632A2 (pt) 2018-12-11
BR112018014632B1 (pt) 2020-12-29

Similar Documents

Publication Publication Date Title
JP6479287B1 (ja) オーディオ再生のためのサブバンド空間クロストークキャンセル
US10721564B2 (en) Subband spatial and crosstalk cancellation for audio reporoduction
JP6834061B2 (ja) 不一致のトランスオーラルラウドスピーカシステムのためのエンハンスド仮想ステレオ再生
JP2021505064A (ja) クロストークプロセッシングｂ−チェーン
KR102548014B1 (ko) 공간적 오디오 신호의 크로스토크 처리에 대한 스펙트럼 결함 보상
CN111492669B (zh) 用于相反朝向跨耳扬声器系统的串扰消除
CN109791773B (zh) 音频输出产生系统、音频通道输出方法和计算机可读介质

Legal Events

Date Code Title Description
A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20181218

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190108

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190205

R150 Certificate of patent or registration of utility model

Ref document number: 6479287

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250