JP2023548324A - 増強されたオーディオを提供するためのシステム及び方法 - Google Patents

増強されたオーディオを提供するためのシステム及び方法 Download PDF

Info

Publication number
JP2023548324A
JP2023548324A JP2023526403A JP2023526403A JP2023548324A JP 2023548324 A JP2023548324 A JP 2023548324A JP 2023526403 A JP2023526403 A JP 2023526403A JP 2023526403 A JP2023526403 A JP 2023526403A JP 2023548324 A JP2023548324 A JP 2023548324A
Authority
JP
Japan
Prior art keywords
signal
content
binaural
bass
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2023526403A
Other languages
English (en)
Inventor
レムコ・ターウォル
ヤドゥヴィール・シン
エーベン・クンツ
チャールズ・オズワルド
マイケル・エス・ダブリン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Bose Corp
Original Assignee
Bose Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Bose Corp filed Critical Bose Corp
Publication of JP2023548324A publication Critical patent/JP2023548324A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S5/00—Pseudo-stereo systems, e.g. in which additional channel signals are derived from monophonic signals by means of phase shifting, time delay or reverberation 
    • H04S5/005—Pseudo-stereo systems, e.g. in which additional channel signals are derived from monophonic signals by means of phase shifting, time delay or reverberation  of the pseudo five- or more-channel type, e.g. virtual surround
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/302—Electronic adaptation of stereophonic sound system to listener position or orientation
    • H04S7/303—Tracking of listener position or orientation
    • H04S7/304—For headphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/20—Arrangements for obtaining desired frequency or directional characteristics
    • H04R1/32—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only
    • H04R1/40—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers
    • H04R1/403—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers loud-speakers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2203/00—Details of circuits for transducers, loudspeakers or microphones covered by H04R3/00 but not provided for in any of its subgroups
    • H04R2203/12—Beamforming aspects for stereophonic sound reproduction with loudspeaker arrays
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2499/00—Aspects covered by H04R or H04S not otherwise provided for in their subgroups
    • H04R2499/10—General applications
    • H04R2499/13—Acoustic transducers and sound field adaptation in vehicles
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H04R3/12—Circuits for transducers, loudspeakers or microphones for distributing signals to two or more loudspeakers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/07—Generation or adaptation of the Low Frequency Effect [LFE] channel, e.g. distribution or signal processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
    • H04S2420/01—Enhancing the perception of the sound image or of the spatial distribution using head related transfer functions [HRTF's] or equivalents thereof, e.g. interaural time difference [ITD] or interaural level difference [ILD]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
    • H04S2420/07—Synergistic effects of band splitting and sub-band processing

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Otolaryngology (AREA)
  • General Health & Medical Sciences (AREA)
  • Stereophonic System (AREA)
  • Details Of Audible-Bandwidth Transducers (AREA)

Abstract

車両内に増強された、空間化されたオーディオを提供するためのシステムであって、車両の客室の周囲に配置された複数のスピーカと、コントローラと、を含み、コントローラは、車両内の第１のユーザの頭部の位置を示す位置信号を受信し、かつ第１のバイノーラルデバイスが、車両客室内の第１の仮想音源場所から発せられたものとして第１のユーザによって知覚される第１の空間音響信号を生成するように、第１の位置信号に従って、第１の空間オーディオ信号を第１のバイノーラルデバイスに出力するように構成されており、第１の空間オーディオ信号が、少なくとも第１のコンテンツ信号の上位範囲を含み、コントローラは、第１のコンテンツ信号の第１の低音コンテンツが車両客室内で生成されるように、複数のスピーカを駆動信号で駆動するように更に構成されている、システム。

Description

（関連出願の相互参照）
本出願は、２０２０年１０月３０日に出願され、「Ｓｙｓｔｅｍｓ ａｎｄ Ｍｅｔｈｏｄｓ ｆｏｒ Ｐｒｏｖｉｄｉｎｇ Ａｕｇｍｅｎｔｅｄ Ａｕｄｉｏ」と題された米国特許出願第１７／０８５，５７４号の優先権を主張し、その開示全体が参照により本明細書に組み込まれる。
本開示は、概して、車室内で増強されたオーディオを提供するためのシステム及び方法に関し、特に、車室内に配置された少なくとも１つのバイノーラルデバイスの低音応答を増強する方法に関する。
下記で言及される全ての実施例及び特徴は、任意の技術的に可能な方式で組み合わせることができる。
別の態様によれば、車両内に増強された、空間化されたオーディオを提供するためのシステムは、車両の客室の周囲に配置された複数のスピーカと、コントローラと、を含み、コントローラは、車両内の第１のユーザの頭部の位置を示す位置信号を受信し、かつ第１のバイノーラルデバイスが、車両客室内の第１の仮想音源場所から発せられたものとして第１のユーザによって知覚される第１の空間音響信号を生成するように、第１の位置信号に従って、第１の空間オーディオ信号を第１のバイノーラルデバイスに出力するように構成されており、第１の空間オーディオ信号が、少なくとも第１のコンテンツ信号の上位範囲を含み、コントローラは、第１のコンテンツ信号の第１の低音コンテンツが車両客室内で生成されるように、複数のスピーカを駆動信号で駆動するように更に構成されている。
一実施例では、コントローラは、第１の低音コンテンツの生成を第１の空間音響信号の生成と時間整合させるように構成されている。
一実施例では、システムは、車両内の第１のユーザの頭部の位置に関連する頭部追跡信号を生成するように構成された頭部追跡デバイスを更に備える。
一実施例では、頭部追跡デバイスは、飛行時間センサを備える。
一実施例では、頭部追跡デバイスは、複数の二次元カメラを備える。
一実施例では、システムは、頭部追跡信号に従って第１の位置信号を生成するように訓練されたニューラルネットワークを更に含む。
一実施例では、コントローラは、車両内の第２のユーザの頭部の位置を示す第２の位置信号を受信し、かつ第２のバイノーラルデバイスが、車両客室内の第１の仮想音源場所又は第２の仮想音源場所のいずれかから発せられたものとして第２のユーザによって知覚される第２の空間音響信号を生成するように、第２の位置信号に従って、第２の空間オーディオ信号を第２のバイノーラルデバイスに出力するように更に構成されている。
一実施例では、第２の空間オーディオ信号は、第２のコンテンツ信号の少なくとも上位範囲を含み、コントローラは、第１の低音コンテンツが車両客室内の第１の聴取ゾーンで生成されるように第１のアレイ構成に従って、かつ第２のコンテンツ信号の低音コンテンツが車両客室内の第２の聴取ゾーンで生成されるように第２のアレイ構成に従って、複数のスピーカを駆動するように更に構成されており、第１の聴取ゾーンにおいて、第１の低音コンテンツの大きさは、第２の低音コンテンツの大きさよりも大きく、第２の聴取ゾーンにおいて、第２の低音コンテンツの大きさは、第１の低音コンテンツの大きさよりも大きい。
一実施例では、コントローラは、第１の聴取ゾーンにおいて、第１の低音コンテンツの生成を第１の空間音響信号の生成と時間整合させ、第２の聴取ゾーンにおいて、第２の低音コンテンツの生成を第２の空間音響信号と時間整合させるように構成されている。
一実施例では、第１の聴取ゾーンにおいて、第１の低音コンテンツの大きさは、第２の低音コンテンツの大きさを３デシベルだけ超え、第２の聴取ゾーンにおいて、第２の低音コンテンツの大きさは、第１の低音コンテンツの大きさを３デシベルだけ超える。
一実施例では、第１のバイノーラルデバイス及び第２のバイノーラルデバイスは各々、ヘッドレスト又はオープンイヤーウェアラブル内に配置されたスピーカのセットのうちの１つから選択される。
別の態様によれば、車両客室内に増強された、空間化されたオーディオを提供するための方法であって、第１のバイノーラルデバイスが、車両客室内の第１の仮想音源場所から発せられたものとして第１のユーザによって知覚される第１の空間音響信号を生成するように、車両客室内の第１のユーザの頭部の位置を示す第１の位置信号に従って、第１の空間オーディオ信号を第１のバイノーラルデバイスに出力するステップであって、第１の空間オーディオ信号が、少なくとも第１のコンテンツ信号の上位範囲を含む、出力するステップと、第１のコンテンツ信号の第１の低音コンテンツが車両客室内で生成されるように、複数のスピーカを駆動信号で駆動するステップと、を含む、方法。
一実施例では、第１の低音コンテンツの生成は、第１の空間音響信号の生成を含む生成と時間整合される。
一実施例では、方法は、頭部追跡デバイスから受信した頭部追跡信号に従って、位置信号を生成するステップを更に含む。
一実施例では、頭部追跡デバイスは、飛行時間センサを備える。
一実施例では、頭部追跡デバイスは、複数の二次元カメラを備える。
一実施例では、位置信号は、頭部追跡信号に従って第１の位置信号を生成するように訓練されたニューラルネットワークに従って生成される。
一実施例では、方法は、第２のバイノーラルデバイスが、車両客室内の第２の仮想音源場所から発せられたものとして第２のユーザによって知覚される第２の空間音響信号を生成するように、車両内の第２のユーザの頭部の位置を示す第２の位置信号に従って、第２の空間オーディオ信号を第２のバイノーラルデバイスに出力するステップを更に含む。
一実施例では、第１の低音コンテンツが車両客室内の第１の聴取ゾーンで生成されるように第１のアレイ構成に従って、かつ第２のコンテンツ信号の低音コンテンツが車両客室内の第２の聴取ゾーンで生成されるように第２のアレイ構成に従って、複数のスピーカは駆動され、第１の聴取ゾーンにおいて、第１の低音コンテンツの大きさは、第２の低音コンテンツの大きさよりも大きく、第２の聴取ゾーンにおいて、第２の低音コンテンツの大きさは、第１の低音コンテンツの大きさよりも大きく、第２の空間オーディオ信号は、少なくとも第２のコンテンツ信号の上位範囲を含む。
一実施例では、第１の聴取ゾーンにおいて、第１の低音コンテンツの生成は、第１の音響信号の生成と時間整合され、第２の聴取ゾーンにおいて、第２の低音コンテンツの生成は、第２の音響信号と時間整合される。
一実施例では、第１の聴取ゾーンにおいて、第１の低音コンテンツの大きさは、第２の低音コンテンツの大きさを３デシベルだけ超え、第２の聴取ゾーンにおいて、第２の低音コンテンツの大きさは、第１の低音コンテンツの大きさを３デシベルだけ超える。
１つ以上の実装形態の詳細が、添付図面及び以下の説明において記載される。他の特徴、目的、及び利点は、本明細書及び図面から、並びに特許請求の範囲から明らかになるであろう。
図面では、同じ参照符号は、一般に、異なる図を通して同じ部分を指す。また、図面は、必ずしも縮尺通りではなく、むしろ、一般に、様々な態様の原理を例解することに重点が置かれている。
一実施例による、車両客室内に増強されたオーディオを提供するためのオーディオシステムを示す。 一実施例による、車両客室内に増強されたオーディオを提供するためのオーディオシステムを示す。 一実施例による、オープンイヤーウェアラブルを示す。 一実施例による、オープンイヤーウェアラブルを示す。 一実施例による、車両客室内に増強されたオーディオを提供するための方法のフローチャートを示す。 一実施例による、車両客室内に増強された、空間化されたオーディオを提供するためのオーディオシステムを示す。 一実施例による、車両客室内に増強された、空間化されたオーディオを提供するための方法のフローチャートを示す。 一実施例によるクロスオーバプロットを示す。 一実施例によるクロスオーバプロットを示す。
周辺スピーカのみを含む車両オーディオシステムは、異なる乗客に異なるオーディオコンテンツを提供する能力において制限される。車両オーディオシステムは、十分な分離を伴う低音コンテンツの別個のゾーンを提供するように配列され得るが、これは、波長が、周辺スピーカのみを使用して独立コンテンツを伴う別個の聴取ゾーンを適切に生成するには短すぎる、上位範囲コンテンツに関して同様に述べることはできない。
聴取ゾーン間の上位範囲コンテンツの漏れは、ヘッドホンなどのウェアラブルデバイスを各ユーザに提供することによって解決され得る。各ユーザが一対のヘッドホンを装着している場合、最小限の音漏れで各ユーザに別個のオーディオ信号を提供することができる。しかし、最小限の漏れは、各乗客を環境から隔離するという犠牲を払って生じ、これは車両の状況では望ましくない。これは、特に、緊急車両によって生成される音又は乗客の声などの環境内の音を聞くことができる必要がある運転者に当てはまるが、典型的には会話に携わって互いに対話することができることを望む残りの乗客にも当てはまる。
これは、ユーザの耳へのオープンパスを維持しながら、各乗客に別個の上位範囲オーディオコンテンツを提供し、ユーザがその環境に関与することを可能にする、オープンイヤーウェアラブル又はヘッドレストスピーカ等の近接場スピーカ等のバイノーラルデバイスを各ユーザに提供することによって解決され得る。しかし、オープンイヤーウェアラブル及び近接場スピーカは、典型的には、ロードノイズが同じ周波数帯域をマスクする傾向があるので、移動している車両において適切な低音応答を提供しない。
ここで図１Ａを参照すると、車室１００内に増強されたオーディオを提供するためのオーディオシステムを表す概略図が示されている。図示のように、車両客室１００は、周辺スピーカ１０２のセットを含む。（本開示の目的について、スピーカは、電気信号を受信し、それを音響信号に変換する任意のデバイスである。）車両内に配置されたコントローラ１０４は、第１のコンテンツ信号ｕ１及び第２のコンテンツ信号ｕ２を受信するように構成されている。第１のコンテンツ信号ｕ１及び第２のコンテンツ信号ｕ２は、低音コンテンツ（すなわち、２５０Ｈｚ±１５０Ｈｚ未満のコンテンツ）及び上位範囲コンテンツ（すなわち、２５０Ｈｚ±１５０Ｈｚを超えるコンテンツ）を各々が含む、オーディオ信号（及び、任意の好適なプロトコルに従ってアナログ又はデジタル信号として受信され得る）である。コントローラ１０４は、駆動信号ｄ１～ｄ４で周辺スピーカ１０２を駆動して、少なくとも第１のアレイ構成及び第２のアレイ構成を形成するように構成されている。周辺スピーカ１０２の少なくともサブセットによって形成される第１のアレイ構成は、第１の着座位置Ｐ１に配列された第１の聴取ゾーン１０６において第１のコンテンツ信号ｕ１の低音コンテンツを生成するために、周辺スピーカ１０２によって発生した音響エネルギーを建設的に組み合わせる。周辺スピーカ１０２の少なくともサブセットによって同様に形成される第２のアレイ構成は、第２の着座位置Ｐ２に配列された第２の聴取ゾーン１０８において第２のコンテンツ信号ｕ２の低音コンテンツを生成するために、周辺スピーカ１０２によって発生した音響エネルギーを建設的に組み合わせる。更に、第１のアレイ構成は、第２の聴取ゾーン１０８（及び車両客室内の任意の他の着座位置）において実質的なヌルを形成するために、周辺スピーカ１０２によって発生した音響エネルギーを弱め合うように組み合わせることができ、第２のアレイ構成は、第１の聴取ゾーン（及び車両客室内の任意の他の着座位置）において実質的なヌルを形成するために、周辺スピーカ１０２によって発生した音響エネルギーを弱め合うように組み合わせることができる。
様々な実施例では、第１の聴取ゾーン１０６内の第１のコンテンツ信号ｕ１の低音コンテンツを生成するように配列された周辺スピーカ１０２のサブセットと、第２の聴取ゾーン内の第２のコンテンツ信号ｕ２の低音コンテンツを生成するように配列された周辺スピーカ１０２のサブセットとの間に、いくらか又は完全なオーバーラップが存在し得ることを理解されたい。
第１及び第２のコンテンツ信号における低音コンテンツの大きさが実質的に同じであるとすると、周辺スピーカ１０２の配列は、第１のコンテンツ信号ｕ１の低音コンテンツの大きさが、第１の聴取ゾーン１０６において第２のコンテンツ信号ｕ２の低音コンテンツの大きさよりも大きいことを意味する。同様に、第２のコンテンツ信号ｕ２の低音コンテンツの大きさは、第１のコンテンツ信号ｕ１の低音コンテンツの大きさよりも大きい。最終的な効果は、位置Ｐ１に座っているユーザが、第１のコンテンツ信号ｕ１の低音コンテンツを、第２のコンテンツ信号ｕ２の低音コンテンツよりも大きいものとして主に知覚することであり、これは、場合によっては知覚されないことがある。同様に、位置Ｐ２に座っているユーザは、第２のコンテンツ信号ｕ２の低音コンテンツを、第１のコンテンツ信号ｕ１の低音コンテンツよりも大きいものとして主に知覚する。一実施例では、第１の聴取ゾーンにおいて、第１のコンテンツ信号ｕ１の低音コンテンツの大きさは、第２のコンテンツ信号ｕ２の低音コンテンツの大きさよりも少なくとも３ｄＢだけ大きく、同様に、第２の聴取ゾーンにおいて、第２のコンテンツ信号ｕ２の低音コンテンツの大きさは、第１のコンテンツ信号ｕ１の低音コンテンツの大きさよりも少なくとも３ｄＢだけ大きい。
４つの周辺スピーカ１０２のみが示されているが、１より大きい任意の数の周辺スピーカ１０２が使用され得ることが理解されるべきである。更に、本開示の目的のために、周辺スピーカ１０２は、車両ドア、ピラー、天井、床、ダッシュボード、リアデッキ、トランク、座席の下、座席内に一体化されたもの、若しくは客室１００内のセンターコンソール、又は客室内に音響低音エネルギーを生成する客室の構造内の任意の他の駆動ポイントに配置され得る。
様々な実施例では、第１のコンテンツ信号ｕ１及び第２のコンテンツ信号ｕ２（並びに任意の他の受信されたコンテンツ信号）は、（例えば、Ｂｌｕｅｔｏｏｔｈ接続を介して）モバイルデバイス、無線信号、衛星無線信号、又はセルラー信号のうちの１つ以上から受信され得るが、他のソースが企図される。更に、各コンテンツ信号は、同時に受信される必要はなく、むしろ、以前に受信され、後で再生するためにメモリに記憶されていてもよい。更に、上述したように、第１のコンテンツ信号ｕ１及び第２のコンテンツ信号ｕ２は、任意の好適な通信プロトコルに従ってアナログ又はデジタル信号として受信され得る。更に、第１のコンテンツ信号ｕ１及び第２のコンテンツ信号ｕ２は、バイナリ値のセットから構成されるデジタルで送信され得るので、これらの信号の低音コンテンツ及び上位範囲コンテンツは、コンテンツ信号がスピーカ又は他のデバイスによって変換される前にアナログ信号に変換されるときの、低音コンテンツ及び上位範囲コンテンツのそれぞれの周波数範囲の構成信号を指す。
図１Ａに示されるように、バイノーラルデバイス１１０及び１１２は、それぞれ、第１の聴取ゾーン１０６においてステレオの第１の音響信号１１４を生成し、第２の聴取ゾーンにおいてステレオの第２の音響信号１１６を生成するように位置付けられている。図１Ａに示すように、バイノーラルデバイス１１０及び１１２は、聴取ゾーン１０６、１０８に近接して配置されたそれぞれのヘッドレストに配置されたスピーカ１１８、１２０から構成されている。バイノーラルデバイス１１０は、例えば、第１の着座位置Ｐ１に座っているユーザの左耳に左側の第１の音響信号１１４Ｌを送出するためにヘッドレストに配置された左スピーカ１１８Ｌと、ユーザの右耳に右側の第１の音響信号１１４Ｒを送出するための右スピーカ１１８Ｒと、を備える。同様に、バイノーラルデバイス１１２は、第２の着座位置Ｐ２に座っているユーザの左耳に左側の第２の音響信号１１６Ｌを送出するためにヘッドレストに配置された左スピーカ１２０Ｌと、ユーザの右耳に右側の第２の音響信号１１６Ｒを送出するための右スピーカ１２０Ｒと、を備える。音響信号１１４、１１６は、左右のステレオ成分を備えるものとして示されているが、いくつかの実施例では、音響信号１１４、１１６の一方又は両方が、左側と右側の両方が同じであるモノラル信号であり得ることを理解されたい。バイノーラルデバイス１１０、１１２は各々、反対側によって生成されたそれぞれの側のオーディオをキャンセルするクロスキャンセルフィルタのセットを更に採用することができる。したがって、例えば、バイノーラルデバイス１１０は、ユーザの右耳のために生成されたオーディオをユーザの左耳においてキャンセルするために（その逆もまた同様である）、クロスキャンセルフィルタのセットを採用することができる。バイノーラルデバイスがウェアラブル（例えば、オープンイヤーヘッドホン）であり、耳の近くに駆動ポイントを有する実施例では、クロストークキャンセルは典型的には必要とされない。しかしながら、より遠くにあるヘッドレストスピーカ又はウェアラブル（例えば、Ｂｏｓｅ ＳｏｕｎｄＷｅａｒ）の場合、バイノーラルデバイスは、典型的には、バイノーラル制御を達成するために何らかの測定クロストークキャンセルを採用する。
第１のバイノーラルデバイス１１０及び第２のバイノーラルデバイス１１２は、ヘッドレストに配置されたスピーカとして示されているが、本開示で説明されるバイノーラルデバイスは、それぞれの位置に座っているユーザに独立した左耳音響信号及び右耳音響信号（すなわち、ステレオ信号）を送出するのに適した任意のデバイスであり得ることを理解されたい。したがって、代替例では、第１のバイノーラルデバイス１１０及び／又は第２のバイノーラルデバイス１１２は、独立した左耳及び右耳の音響信号をユーザに送出するのに適した、上部シートバック、ヘッドライナー、又はユーザの耳の近くに配置される任意の他の場所など、車両客室１００の他の領域に位置するスピーカから構成され得る。更に別の代替例では、第１のバイノーラルデバイス１１０及び／又は第２のバイノーラルデバイス１１２は、それぞれの着座位置に座っているユーザによって装着されるオープンイヤーウェアラブルであり得る。本開示の目的のために、オープンイヤーウェアラブルは、ユーザによって装着されるように設計され、かつユーザの耳へのオープンパスを維持しながら、独立した左耳及び右耳音響信号を送出することが可能である、任意のデバイスである。図２及び図３は、そのようなオープンイヤーウェアラブルの２つの実施例を示す。第１のオープンイヤーウェアラブルは、左テンプル２０４Ｌ及び右テンプル２０４Ｒにそれぞれ位置する左スピーカ２０２Ｌ及び右スピーカ２０２Ｒを特徴とする、一対のフレーム２００である。第２のものは、左スピーカ３０２Ｌ及び右スピーカ３０２Ｒを特徴とする、一対のオープンイヤーヘッドホン３００である。フレーム２００及びオープンイヤーヘッドホン３００の両方は、ユーザの左耳及び右耳に別個の音響信号を提供することができる一方で、ユーザの耳へのオープンパスを保持する。
コントローラ１０４は、バイノーラル信号ｂ１を介して第１のコンテンツ信号ｕ１の少なくとも上位範囲コンテンツを第１のバイノーラルデバイス１１０に提供し、かつバイノーラル信号ｂ２を介して第２のコンテンツ信号ｕ２の少なくとも上位範囲コンテンツを第２のバイノーラルデバイス１１２に提供することができる。（一実施例では、第１のコンテンツ信号ｕ１及び第２のコンテンツ信号ｕ２の低音コンテンツを含む全範囲が、それぞれ第１のバイノーラルデバイス１１０及び第２のバイノーラルデバイス１１２に送出される。）結果として、第１の音響信号１１４は、少なくとも第１のコンテンツ信号ｕ１の上位範囲コンテンツを含み、第２の音響信号１１６は、少なくとも第２の信号ｕ２の上位範囲コンテンツを含む。周辺スピーカ１０２による第１の聴取ゾーン１０６における第１のコンテンツ信号ｕ１の低音コンテンツの生成は、第１のバイノーラルデバイス１１０によって生成される第１の信号ｕ１の上位範囲コンテンツの生成を増強し、周辺スピーカ１０２による第２の聴取ゾーン１０８における第２のコンテンツ信号ｕ２の低音コンテンツの生成は、第２のバイノーラルデバイスによって生成される第２のコンテンツ信号ｕ２の上位範囲コンテンツの生成を増強する。
したがって、着座位置Ｐ１に座っているユーザは、第１の聴取ゾーン１０６において再生される第１のコンテンツ信号ｕ１を、周辺スピーカ１０２と第１のバイノーラルデバイス１１０との第１の配列構成の組み合わされた出力から知覚する。同様に、着座位置Ｐ２に座っているユーザは、第２の聴取ゾーン１０８において再生される第２のコンテンツ信号ｕ２を、周辺スピーカ１０２と第２のバイノーラルデバイス１１２との第２の配列構成の組み合わされた出力から知覚する。
図７Ａ及び図７Ｂは、それぞれ１００Ｈｚ及び２００Ｈｚにおける例示的なコンテンツ信号（例えば、第１のコンテンツ信号ｕ１）の低音コンテンツと上位範囲コンテンツとの間の周波数クロスオーバの例示的なプロットを示す。上述したように、低音コンテンツと上位範囲コンテンツとの間のクロスオーバは、例えば、２５０Ｈｚ±１５０Ｈｚで発生する可能性があり、したがって、クロスオーバ１００Ｈｚ又は２００Ｈｚは、この範囲の例である。図示されるように、聴取ゾーンにおける組み合わされた総応答は、平坦な応答であると知覚される。（もちろん、平坦な応答は、周波数応答の一例にすぎず、他の例は、所望の等化に応じて、例えば、低音域、中音域、及び／又は高音域をブーストすることができる。
バイノーラル信号ｂ１、ｂ２（及び追加のバイノーラルデバイスについて発生する任意の他のバイノーラル信号）は、概してＮチャネル信号であり、ここで、Ｎ≧２である（１つの耳につき少なくとも１つのチャネルが存在するため）。Ｎは、レンダリングシステム内のスピーカの数に相関することができる（例えば、ヘッドレストが４つのスピーカを有する場合、関連するバイノーラル信号は、典型的には４つのチャネルを有する）。バイノーラルデバイスがクロストークキャンセルを採用する場合、キャンセルの目的でチャネル内のコンテンツ間にいくらかのオーバーラップが存在し得る。しかし、典型的には、信号の混合は、バイノーラルデバイスによって受信されたバイノーラル信号ではなく、バイノーラルデバイス内に配置されたクロストークキャンセルフィルタによって実施される。
コントローラ１０４は、バイノーラル信号ｂ１、ｂ２を有線又は無線のいずれかで提供することができる。例えば、バイノーラルデバイス１１０又は１１２がオープンイヤーウェアラブルである場合、それぞれのバイノーラル信号ｂ１、ｂ２は、Ｂｌｕｅｔｏｏｔｈ、ＷｉＦｉ、又は任意の他の好適な無線プロトコルを介して送信され得る。
更に、コントローラ１０４は、そのような信号の生成に固有の無線、音響、又は他の伝送遅延を考慮するために、第１の聴取ゾーン１０６における低音コンテンツの生成を、第１のバイノーラルデバイス１１０による上位範囲コンテンツの生成と時間整合させるように更に構成され得る。同様に、コントローラ１０４は、第２の聴取ゾーン１０８における低音コンテンツの生成を、第２のバイノーラルデバイス１１２による上位範囲コンテンツの生成と時間整合させるように更に構成され得る。駆動信号ｄ１～ｄ４の出力と、周辺スピーカ１０２によって変換された低音コンテンツがそれぞれの聴取ゾーン１０６、１０８に到達する時点との間には、いくらかの固有の遅延が存在する。遅延は、駆動信号ｄ１～ｄ４がそれぞれのスピーカ１０２によって音響信号に変換され、それぞれのスピーカ１０２から第１の聴取ゾーン１０６又は第２の聴取ゾーン１０８に移動するのに必要な時間を含む。（ただし、他の要因が遅延に影響を与えることも考えられる）。各周辺スピーカ１０２は、第１の聴取ゾーン１０６及び第２の聴取ゾーン１０８からある固有の距離に位置する可能性が高いので、遅延は、各周辺スピーカ１０２について別々に計算することができる。更に、バイノーラル信号ｂ１、ｂ２の出力と第１の聴取ゾーン１０６及び第２の聴取ゾーン１０８における音響信号１１４、１１６のそれぞれの生成との間にいくらかの遅延が存在する。この遅延は、受信されたバイノーラル信号ｂ１、ｂ２を処理し（バイノーラル信号が無線プロトコルなどの通信プロトコルで符号化される場合、及び／又はバイノーラルデバイスが何らかの追加の信号処理を実施する場合）、かつバイノーラル信号ｂ１、ｂ２を音響信号１１４、１１６に変換する時間と、音響信号１１４、１１６が位置Ｐ１、Ｐ２に座っているユーザに伝わる時間（ただし、各バイノーラルデバイスはユーザの比較的近くに位置するので、これは無視できる可能性が高い）との関数である。（この場合も、他の要因が遅延に影響を及ぼす可能性がある。）したがって、これらの遅延を考慮に入れて、コントローラ１０４は、駆動信号ｄ１～ｄ４及びバイノーラル信号ｂ１、ｂ２の生成のタイミングをとることができ、その結果、周辺スピーカ１０２による第１のコンテンツ信号ｕ１の低音コンテンツの生成が、第１の聴取ゾーン１０６において、第１のバイノーラルデバイス１１０による第１のコンテンツ信号ｕ１の上位範囲コンテンツの生成と時間整合され、周辺スピーカ１０２による第２のコンテンツ信号ｕ２の低音コンテンツの生成が、第２の聴取ゾーン１０８において、第２のバイノーラルデバイス１１２による第２のコンテンツ信号ｕ２の上位範囲コンテンツの生成と時間整合される。
本開示の目的のために、「時間整合された」は、空間内の所与の点において、コンテンツが正確に再生されるように、空間（例えば、聴取ゾーン）内の所与の点における所与のコンテンツ信号の低音コンテンツ及び上位範囲コンテンツの生成の時間における整合を指す。低音コンテンツ及び上位範囲コンテンツは、コンテンツ信号が正確に再生されることをユーザが知覚するのに十分な程度に時間整合される必要があるだけであることを理解されたい。一般に、低音コンテンツと上位範囲コンテンツとの間のクロスオーバ周波数における９０°のオフセットは、時間整合された音響信号において許容可能である。いくつかの異なるクロスオーバ周波数におけるいくつかの例を提供するために、許容可能なオフセットは、１００Ｈｚに対して＋／－２．５ｍｓ、２００Ｈｚに対して＋／－１．２５ｍｓ、２５０Ｈｚに対して＋／－１ｍｓ、及び４００Ｈｚに対して＋／－０．６２５ｍｓであり得る。しかしながら、本開示の目的のために、クロスオーバ周波数における１８０°オフセットまでの任意のものが時間整合されていると考えられることが理解されるべきである。
図７Ａ及び図７Ｂに示されるように、クロスオーバ周波数を超えて、低音コンテンツと上位範囲コンテンツとの間に更なるオーバーラップがある。オーバーラップ内のこれらの周波数の位相を個々にシフトさせて、上位範囲コンテンツと低音コンテンツとを時間的に整合させることができる。理解されるように、適用される位相シフトは、周波数に依存する。例えば、周波数にわたって所望の時間整合を達成するために、少なくとも上位範囲コンテンツと低音コンテンツのオーバーラップ周波数に位相シフトを導入するように設計された１つ以上の全域通過フィルタを含めることができる。
時間整合は、所与のバイノーラルデバイスについて先験的に確立され得る。ヘッドレストスピーカの実施例では、バイノーラル信号の受信と音響信号の生成との間の遅延は、常に同じであり、したがって遅延は、工場設定として設定され得る。しかしながら、バイノーラルデバイス１１０、１１２がウェアラブルである場合、遅延は、典型的には、それぞれのバイノーラル信号ｂ１、ｂ２を処理し、かつ音響信号１１４、１１６を生成するために必要とされる様々な時間に基づいて、ウェアラブルごとに変化する（これは、よく知られている可変レイテンシを有する無線プロトコルの場合に特に当てはまる）。したがって、一実施例では、コントローラ１０４は、様々なウェアラブルデバイス又はウェアラブルデバイスのタイプについて、低音コンテンツの生成を音響信号１１４、１１６の生成と時間整合させるための複数の遅延プリセットを記憶することができる。したがって、コントローラ１０４は、特定のウェアラブルデバイスに接続すると、ウェアラブルデバイス（例えば、一対のＢｏｓｅフレーム）を識別し、かつ低温コンテンツを識別されたウェアラブルデバイスによって生成された音響信号１１４、１１６と時間整合させるための特定の予め記憶された遅延をストレージから取り出すことができる。代替例では、予め記憶された遅延を特定のデバイスタイプと関連付けることができる。例えば、特定の通信プロトコル（例えば、Ｂｌｕｅｔｏｏｔｈ）又はプロトコルバージョン（例えば、Ｂｌｕｅｔｏｏｔｈバージョン）を動作させるウェアラブルと関連付けられた遅延が典型的には同じである場合、コントローラ１０４は、検出された通信プロトコル又は通信プロトコルバージョンに従って遅延を選択することができる。所与のデバイス又はデバイスのタイプに対するこれらの予め記憶された遅延は、所与のコンテンツ信号の低音コンテンツが、聴取ゾーンにおける所与のバイノーラルデバイスの音響信号と時間整合されるまで、所与の聴取ゾーンにおいてマイクロフォンを採用し、手動又は自動プロセスによって遅延を較正することによって決定され得る。更に別の例では、遅延は、ユーザ入力に従って較正され得る。例えば、オープンイヤーウェアラブルデバイスを装着しているユーザは、着座位置Ｐ１又はＰ２に着座し、低音コンテンツが音響信号１１４、１１６の上位範囲と正しく時間整合されるまで、駆動信号ｄ１～ｄ４及び／又はバイノーラル信号ｂ１、ｂ２の生成を調整することができる。別の例では、デバイスは、時間整合に必要な遅延をコントローラ１０４に報告することができる。
代替例では、時間整合は、予め記憶された遅延のセットによってではなく、ランタイム中に自動的に決定され得る。一実施例では、マイクロフォンは、バイノーラルデバイス上又はその近く（例えば、ヘッドレスト上又はウェアラブル上）に配置され得、時間整合のための遅延を決定するためにコントローラへの信号を生成するために使用され得る。時間整合を自動的に決定するための１つの方法は、全体が参照により本明細書に組み込まれる、「Ｌａｔｅｎｃｙ Ｎｅｇｏｔｉａｔｉｏｎ ｉｎ ａ Ｈｅｔｅｒｏｇｅｎｅｏｕｓ Ｎｅｔｗｏｒｋ ｏｆ Ｓｙｎｃｈｒｏｎｉｚｅｄ Ｓｐｅａｋｅｒｓ」と題された米国特許出願公開第２０２０／０２５２６７８号に説明されているが、遅延を決定するための任意の他の好適な方法が使用されてもよい。
上記で説明したように、時間整合は、全域通過フィルタを使用して周波数の範囲にわたって達成され得る。様々なバイノーラルデバイスの異なる遅延を考慮するために、実装される特定のフィルタが、記憶されたフィルタのセットから選択され得るか、又は全域通過フィルタによって実装される位相変化が、調整され得る。選択されたフィルタ又は位相変化は、上述したように、異なるデバイス又はデバイスタイプに基づく、ユーザ入力による、ウェアラブルデバイス上のマイクロフォンによって検出された遅延に従う、ウェアラブルデバイスによって報告された遅延に従う、などであり得る。
図１Ａの実施例では、コントローラ１０４は、駆動信号ｄ１～ｄ４及びバイノーラル信号ｂ１、ｂ２の両方を発生させる。しかしながら、代替例では、１つ以上のモバイルデバイスが、バイノーラル信号ｂ１、ｂ２を提供することができる。例えば、図１Ｂに示されるように、モバイルデバイス１２２は、有線又は無線（例えば、Ｂｌｕｅｔｏｏｔｈ（登録商標））接続を介して、バイノーラル信号ｂ１をバイノーラルデバイス１１０（例えば、バイノーラルデバイス１１０がオープンイヤーウェアラブルである場合）に提供する。例えば、ユーザは、オープンイヤーウェアラブルバイノーラルデバイス１１０を装着して車両客室１００に入り、かつモバイルデバイス１２２とペアリングされたブルートゥース接続（バイノーラル信号ｂ１）を介して音楽を聴くことができる。車両客室１００に入ると、コントローラ１０４は、第１のコンテンツ信号ｕ１の低音コンテンツを提供し始めることができ、一方で、モバイルデバイス１２２は、バイノーラル信号ｂ１をオープンイヤーウェアラブルバイノーラルデバイス１１０に提供し続ける。この実施例では、コントローラ１０４は、第１の聴取ゾーン１０６において第１のコンテンツ信号ｕ１の低音コンテンツを生成するために、モバイルデバイス１２２から第１のコンテンツ信号ｕ１を受信することができる。したがって、モバイルデバイス１２２は、バイノーラル信号ｂ１及び第１のコンテンツ信号ｕ１を提供するために、バイノーラルデバイス１１０及びコントローラ１０４の両方とペアリングすることができる（又はそうでなければ接続されることができる）。代替例では、モバイルデバイス１２２は、コントローラ１０４及びバイノーラルデバイス１１０の両方によって受信される単一の信号をブロードキャストすることができる（この実施例では、各デバイスは、クロスオーバのためにそれぞれのハイパス／ローパスを適用することができる）。例えば、Ｂｌｕｅｔｏｏｔｈ５．０規格は、近くのデバイスに信号をローカルにブロードキャストするためのそのような等時性チャネルを提供する。代替例では、第１のコンテンツ信号ｕ１を送信するのではなく、モバイルデバイス１２２は、第１のバイノーラル信号ｂ１によって第１のバイノーラルデバイス１１０に送信されたコンテンツのメタデータをコントローラ１０４に送信することができ、これは、コントローラ１０４が、ストリーミングサービスなどの外部ソースから正しい第１のコンテンツ信号ｕ１（すなわち、同じコンテンツ）を供給することを可能にする。
１つのモバイルデバイス１２２のみが図１Ｂに示されているが、任意の数のモバイルデバイスが、車両客室１００内に配置された任意の数のバイノーラルデバイス（例えば、バイノーラルデバイス１１０、１１２）にバイノーラル信号を提供することができることを理解されたい。
もちろん、図１Ｂに関連して説明したように、コントローラ１０４は、モバイルデバイスから第１のコンテンツ信号ｕ１を受信することができる。したがって、一実施例では、ユーザは、車両に入るときに、オープンイヤーウェアラブルの第１のバイノーラルデバイス１１０を装着することができ、そのとき、モバイルデバイス１２２は、コンテンツを第１のバイノーラルデバイスに送信することを停止し、代わりに、第１のコンテンツ信号ｕ１をコントローラ１０４に提供し、これは、例えば、Ｂｌｕｅｔｏｏｔｈなどの無線接続を介して、バイノーラル信号ｂ１を送信することを想定する。同様に、複数のモバイルデバイスから信号を受信する複数のバイノーラルデバイス（例えば、バイノーラルデバイス１１０、１１２）の場合、コントローラ１０４は、それぞれのバイノーラル信号（例えば、バイノーラル信号ｂ１、ｂ２）をモバイルデバイスではなくバイノーラルデバイスに送信することを想定することができる。
コントローラ１０４は、プロセッサ１２４（例えば、デジタル信号プロセッサ）と、プロセッサ１２４によって実行されたときに本開示で説明される様々な機能及び方法を実行するプログラムコードを記憶する非一時的記憶媒体１２６と、を備えることができる。しかしながら、いくつかの実施例において、コントローラ１０４は、ハードウェアのみとして（例えば、特定用途向け集積回路又はフィールドプログラマブルゲートアレイとして）、又はハードウェア、ファームウェア、及びソフトウェアの何らかの組み合わせとして実装され得ることが理解されるべきである。
第１の聴取ゾーン１０６及び第２の聴取ゾーン１０８に低音コンテンツを提供するように周辺スピーカ１０２を配列するために、コントローラ１０４は、第１のコンテンツ信号ｕ１の低音コンテンツが第１の聴取ゾーン１０６で建設的に組み合わされ、第２の信号ｕ２の低音コンテンツが第２の聴取ゾーン１０８で建設的に組み合わされるように、各々が周辺スピーカ１０２の音響出力を調整する複数のフィルタを実装することができる。このようなフィルタは、通常デジタルフィルタとして実現されるが、これらのフィルタは、代替的にアナログフィルタとして実現されてもよい。
更に、図１Ａ及び図１Ｂには２つの聴取ゾーン１０６及び１０８のみが示されているが、コントローラ１０４は、任意の数のコンテンツ信号を受信し、コンテンツ信号をアレイ周辺スピーカにフィルタリングすることによって任意の数の聴取ゾーン（１つのみを含む）を作成することができ、各聴取ゾーンは、固有のコンテンツ信号の低音コンテンツを受信することを理解されたい。例えば、５席の自動車では、周辺スピーカは、５つの別個の聴取ゾーンを生成するように配列され得、各聴取ゾーンは、固有のコンテンツ信号の低音コンテンツを生成する（すなわち、各コンテンツ信号の低音コンテンツが他の聴取ゾーンにおいて実質的に等しい大きさで再生されると仮定すると、それぞれのコンテンツ信号の低音コンテンツの大きさが最も大きい）。更に、別個のバイノーラルデバイスは、各聴取ゾーンに配置され、それぞれの聴取ゾーンにおいて生成された低音コンテンツによって増強され、かつそれと時間整合された別個のバイノーラル信号を受信することができる。
上記の実施例では、バイノーラルデバイス１１０、１１２（又は任意の他のバイノーラルデバイス）は、両方のユーザに同じコンテンツを送出することができる。この実施例では、コントローラ１０４は、別個のコンテンツを再生するための別個の聴取ゾーンを作成することなく、バイノーラルデバイスによって生成された音響信号を、周辺スピーカ１０２によって生成された低音コンテンツで増強することができる。低音コンテンツは、バイノーラルデバイス１１０、１１２の両方から再生される上位範囲コンテンツと時間整合され得、したがって、両方のユーザは、バイノーラルデバイス１１０、１１２によって送出される上位範囲信号及び周辺スピーカ１０２によって再生される低音コンテンツを含む、再生されたコンテンツ信号を知覚する。各デバイスは同じプログラムコンテンツ信号を受信するが、ユーザが同じコンテンツの異なるボリュームレベルを選択することが考えられる。この場合、別個の聴取ゾーンを作成するのではなく、コントローラ１０４は、第１のアレイ構成及び第２のアレイ構成を採用して、各ユーザが同じプログラムコンテンツを異なるボリュームで知覚する別個のボリュームゾーンを作成することができる。
一実施例では、各ユーザが同じ関連付けられたバイノーラルデバイスを有する必要はなく、むしろ、一部のユーザは、周辺スピーカ１０２によって生成されたコンテンツのみを聴くことができる。この実施例では、周辺スピーカ１０２は、低音コンテンツだけでなく、プログラムコンテンツ信号の上位範囲コンテンツ（例えば、プログラムコンテンツ信号ｕ１）も生成する。バイノーラルデバイスを有するユーザにとって、プログラムコンテンツ信号は、バイノーラル信号（例えば、バイノーラル信号ｂ１）によって、かつバイノーラルデバイスの左右のスピーカによって提供されるように、ステレオ信号として知覚される。実際、本開示で説明される実施例の各々では、周辺スピーカ１０２によって生成される信号とバイノーラルデバイス（例えば、バイノーラルデバイス１１０、１１２）によって生成される信号との間にスペクトル範囲のいくらかの又は完全なオーバーラップがあり得ることを理解されたい。周辺スピーカ１０２とのスペクトル範囲のオーバーラップを有するバイノーラルデバイスを有するものは、改善されたステレオ、オーディオステージング、及び知覚される広がりを有する強化された体験を受ける。
ナビゲーションプロンプト及び電話は、聴取ゾーン内の特定のユーザに向けられ得るプログラムコンテンツ信号に含まれることが理解されるべきである。したがって、運転者は、周辺スピーカによって増強された低音を有するバイノーラルデバイス（例えば、バイノーラルデバイス１１０）によって生成されたナビゲーションプロンプトを聞くことができる一方で、乗客は、異なる聴取ゾーンにおいて音楽を聞くことができる。
加えて、ウェアラブルバイノーラルデバイス上のマイクロフォンは、音声ピックアップのために、電話、車両ベース又はモバイルデバイスベースの音声認識、デジタルアシスタントなどの従来の使用のために使用され得る。
更に、車両客室１００の構成に応じて、１セットのフィルタではなく、複数のフィルタをコントローラ１０４によって実装することができる。例えば、車室内の様々なパラメータは、車両客室１００の音響を変化させ、そのパラメータには、車両内の乗客数、窓がロールアップされているか、又はロールダウンされているかどうか、車両内の座席の位置（例えば、座席が直立しているかリクライニングしているか、又は車両客室内で前後に移動しているか）などが含まれる。これらのパラメータは、コントローラ１０４によって（例えば、車両搭載コンピュータから信号を受信することによって）検出され、第１、第２、及び任意の追加の配列構成を提供するためにフィルタの正しいセットを実装することができる。例えば、フィルタの様々なセットをメモリ１２６に記憶し、検出された客室構成に従って取り出すことができる。
代替例では、フィルタは、それぞれの座席位置（第１の座席位置Ｐ１又は第２の座席位置Ｐ２）にわたって第１の聴取ゾーンを位置合わせするようにフィルタ係数を調整するために、又は窓がロールアップされているか、若しくはロールダウンされているかどうかなどの客室構成の変化に対して調整するために、（例えば、バイノーラルデバイス上又はそれぞれの聴取ゾーン内に配置された）エラーマイクロフォンから受信された信号に従って調整される、適応フィルタのセットであり得る。
図４は、車両客室内のユーザに増強された音声を提供する方法４００のフローチャートを示す。方法４００のステップは、車両内に配置された周辺スピーカ（周辺スピーカ１０２など）のセットと通信し、更に車両内のそれぞれの座席位置に配置されたバイノーラルデバイス（バイノーラルデバイス１１０、１１２など）のセットと通信する、コントローラ（コントローラ１０４など）によって実行され得る。
ステップ４０２において、第１のコンテンツ信号及び第２のコンテンツ信号が受信される。これらのコンテンツ信号は、モバイルデバイス、ラジオ、衛星ラジオ、セルラー接続などの複数の潜在的なソースから受信され得る。コンテンツ信号は各々、低音コンテンツ及び上位範囲コンテンツを含み得る、オーディオを表す。
ステップ４０４及び４０６において、複数の周辺スピーカは、第１のアレイ構成（ステップ４０４）及び第２のアレイ構成（ステップ４０６）に従って駆動され、その結果、第１のコンテンツ信号の低音コンテンツが、第１の聴取ゾーンにおいて生成され、第２のコンテンツ信号の低音コンテンツが、客室内の第２の聴取ゾーンにおいて生成される。配列の性質は、第２の信号の低音コンテンツが第２の聴取ゾーンにおいて再生されるのと同じ大きさで、第１のコンテンツ信号の低音コンテンツが第１の聴取ゾーンにおいて再生されるときに、第１のコンテンツ信号の低音コンテンツの大きさが第１の聴取ゾーンにおいて第２のコンテンツ信号の低音コンテンツの大きさよりも大きくなり（例えば、少なくとも３ｄＢだけ）、かつ第２の信号の低音コンテンツの大きさが第２の聴取ゾーンにおいて第１のコンテンツ信号の低音コンテンツの大きさよりも大きくなる（例えば、少なくとも３ｄＢだけ）ように、聴取ゾーンを生成する。このようにして、第１の着座位置に座っているユーザは、第１の低音コンテンツの大きさを第２の低音コンテンツよりも大きいものとして知覚する。同様に、第２の着座位置に座っているユーザは、第２の低音コンテンツの大きさを第１の低音コンテンツよりも大きいものとして知覚する。
ステップ４０８及び４１０において、第１のコンテンツ信号の上位範囲コンテンツは、第１の聴取ゾーンにおいて上位範囲コンテンツを生成するように位置付けられた第１のバイノーラルデバイスに提供され（ステップ４０８）、第２のコンテンツ信号の上位範囲コンテンツは、第２の聴取ゾーンにおいて上位範囲コンテンツを生成するように位置付けられた第２のバイノーラルデバイスに提供される（ステップ４１０）。最終的な結果は、第１の着座位置に座っているユーザが、第１のバイノーラルデバイスの出力と周辺スピーカの出力との組み合わせから第１のコンテンツ信号を知覚し、かつ第２の着座位置に座っているユーザが、第２のバイノーラルデバイスの出力と周辺スピーカの出力との組み合わせから第２のコンテンツ信号を知覚することである。別の言い方をすれば、周辺スピーカは、第１の聴取ゾーンにおいて第１のコンテンツ信号の低音を用いて第１のバイノーラルデバイスによって生成されるように第１のコンテンツ信号の上位範囲を増強し、かつ第２の聴取ゾーンにおいて第２のコンテンツ信号の低音を用いて第２のバイノーラル信号によって生成されるように第２のコンテンツ信号の上位範囲を増強する。様々な代替例では、第１のバイノーラルデバイスは、オープンイヤーウェアラブル又はヘッドレストに配置されたスピーカである。
更に、第１の聴取ゾーンにおける第１のコンテンツ信号の低音コンテンツの生成は、第１の聴取ゾーンにおける第１のバイノーラルデバイスによる第１のコンテンツ信号の上位範囲の生成と時間整合されてもよく、第２の聴取ゾーンにおける第２の低音コンテンツの生成は、第２のバイノーラルデバイスによる第２のコンテンツ信号の上位範囲の生成と時間整合されてもよい。代替的な実施例では、第１の上位範囲コンテンツ又は第２の上位範囲コンテンツは、モバイルデバイスによって第１のバイノーラルデバイス又は第２のバイノーラルデバイスに提供され得、モバイルデバイスを用いて、低音コンテンツの生成が時間整合される。
方法４００は、２つの別個の聴取ゾーン及び２つのバイノーラルデバイスについて説明されるが、方法４００は、車両内に配置され、かつそれぞれのバイノーラルデバイスが配置される任意の数の聴取ゾーン（１つのみを含む）に拡張され得ることを理解されたい。単一のバイノーラルデバイス及び聴取ゾーンの場合、他の座席への分離はもはや重要ではなく、複数の周辺スピーカフィルタは、低音提示を最適化するためにマルチゾーンの場合とは異なることができる。（単一のユーザの場合は、例えば、ユーザインターフェースによって、又は座席に配置されたセンサを介して決定され得る。）
ここで図５を参照すると、車両客室１００内に配置された車両オーディオシステムの代替的な概略図が示されており、ここでは、周辺スピーカ１０２が、空間化されたオーディオを生成する少なくとも１つのバイノーラルデバイスの低音コンテンツを増強するために採用される。この実施例では、コントローラ５０４（コントローラ１０４の代替例）は、バイノーラル信号ｂ１、ｂ２を空間オーディオ信号として生成するように構成され、これにより、バイノーラルデバイス１１０及び１１２は、音響信号１１４、１１６を、仮想オーディオソースＳＰ１及びＳＰ２からそれぞれ発せられたものとしてユーザによって知覚される空間音響信号として生成する。バイノーラル信号ｂ１は、位置Ｐ１に座っているユーザの頭部の位置に応じた空間オーディオ信号として生成される。同様に、バイノーラル信号ｂ２は、位置Ｐ２に座っているユーザの頭部の位置に応じた空間オーディオ信号として生成される。図１Ａ及び図１Ｂの実施例と同様に、バイノーラルデバイス１１０、１１２によって生成されるこれらの空間化された音響信号は、周辺スピーカ１０２によって生成され、かつコントローラ５０４によって駆動される低音コンテンツによって増強され得る。
図５に示すように、第１の頭部追跡デバイス５０６及び第２の頭部追跡デバイス５０８は、着座位置Ｐ１に座っているユーザ及び着座位置Ｐ２に座っているユーザの頭部の位置をそれぞれ検出するように配置される。様々な実施例において、第１の頭部追跡デバイス５０６及び第２の頭部追跡デバイス５０８は、車両客室１００内のユーザの頭部の位置を検出するように構成された飛行時間センサから構成され得る。しかしながら、飛行時間センサは可能な例にすぎない。代替として、８点アルゴリズム等のエピポーラ幾何学を使用して、カメラ焦点のうちの１つからの距離を三角測量する複数の２Ｄカメラが、使用され得る。代替的に、各頭部追跡デバイスは、１つのデータセットとして各ピクセルに対する測距データを有する白黒画像を生成するＬＩＤＡＲデバイスを備えることができる。各ユーザがオープンイヤーウェアラブルを装着している代替例では、頭部追跡は、ユーザ上のオープンイヤーウェアラブルのそれぞれの位置を追跡することによって達成され得るか、又は増強され得、これは、典型的には、ユーザの頭部の位置に相関するためである。更に他の代替例では、容量性感知、誘導性感知、慣性測定ユニット追跡を撮像と組み合わせて使用することができる。頭部追跡デバイスの上述の実装形態は、様々な可能なデバイス及びデバイスの組み合わせが、ユーザの頭部の場所を追跡するために使用され得ることを伝えることを意味することを理解されたい。
本開示の目的のために、ユーザの頭部の位置を検出することは、ユーザの頭蓋の中心の位置がそこから導出され得る、ユーザ又はユーザによって装着されるウェアラブルの任意の部分を検出することを含むことができる。例えば、ユーザの耳の場所を検出することができ、そこから耳珠の間に線を引いて、中心を見つけることに近似して中央を見つけることができる。ユーザの頭部の位置を検出することはまた、ピッチ角、ヨー角、及びロール角を見出すための任意の方法に従って導出され得る、ユーザの頭部の配向を検出することを含むことができる。これらのうち、ヨーは、典型的には、各バイノーラルスピーカまでの耳の距離に最も影響を与えるので、特に重要である。
第１の頭部追跡デバイス５０６及び第２の頭部追跡デバイス５０８は、第１の頭部追跡デバイス５０６及び第２の頭部追跡デバイス５０８のそれぞれの出力ｈ１、ｈ２を受信し、それらから位置Ｐ－１又は位置Ｐ２に座っているユーザの頭部の位置を決定し、かつそれに応じてコントローラ５０４への出力信号を発生させる、頭部追跡コントローラ５１０と通信することができる。例えば、頭部追跡コントローラ５１０は、第１の頭部追跡デバイス５０６から生の出力データｈ１を受信し、位置Ｐ１に座っているユーザの頭部の位置を解釈し、かつ検出された位置を表す位置信号ｅ１をコントローラ５０４に出力することができる。同様に、頭部追跡コントローラ５１０は、第２の頭部追跡デバイス５０８から出力データｈ２を受信し、着座位置Ｐ２に座っているユーザの頭部の位置を解釈し、かつ検出された位置を表す位置信号ｅ２をコントローラ５０４に出力することができる。位置信号ｅ１及びｅ２は、（例えば、ピッチ、ヨー、及びロールによって決定されるような配向を含む）ユーザの頭部の位置を表す座標としてリアルタイムで送出され得る。
コントローラ５１０は、プロセッサ５１２と、プログラムコードを記憶する非一時的記憶媒体５１４と、を備えることができ、プログラムコードは、プロセッサ５１２によって実行されると、各頭部追跡デバイス５０６、５０８の出力信号を受信することを含む位置信号を生成するために、かつコントローラ１０４への位置信号ｅ１、ｅ２を発生させるために、本明細書で開示される様々な機能及び方法を実施する。一実施例では、コントローラ５１０は、記憶されたソフトウェアを通して、又は頭部追跡デバイスの出力に従ってユーザの頭部の位置を検出するように訓練されたニューラルネットワークを用いて、ユーザの頭部の位置を決定することができる。代替例では、各頭部追跡デバイス５０６、１３０は、コントローラ５１０の機能を実行するためのそれ自体のコントローラを備えることができる。更に別の実施例では、コントローラ５０４は、頭部追跡デバイス５０６、５０８の出力を直接的に受信し、かつコントローラ５１０の処理を実施することができる。
位置信号ｅ１及び／又はｅ２を受信するコントローラ５０４は、バイノーラル信号ｂ１及び／又はｂ２を発生させることができ、そのため、バイノーラルデバイス１１０、１１２のうちの少なくとも１つが、音響信号を発生させるスピーカ（例えばスピーカ１１８、１２０）の実際の場所以外の車両客室１００内の空間におけるいくつかの仮想点から発せられたものとしてユーザによって知覚される音響信号を発生させる。例えば、コントローラ５０４は、バイノーラルデバイス１１０が、着座位置Ｐ１に座っているユーザによって知覚される音響信号１１４を、空間点ＳＰ１（これは仮想音源であるため、図５において点線で表される）から発するものとして発生させるように、バイノーラル信号ｂ１を発生させることができる。同様に、コントローラ５０４は、バイノーラルデバイス１１２が、着座位置Ｐ２に座っているユーザによって知覚される音響信号１１６を空間点ＳＰ２から発するものとして発生させるように、バイノーラル信号ｂ２を発生させることができる。これは、仮想空間点（例えば、空間点ＳＰ１、ＳＰ２）からの音をシミュレートするように音響信号１１４、１１６を調整する複数の頭部伝達関数（ｈｅａｄ－ｒｅｌａｔｅｄ ｔｒａｎｓｆｅｒ ｆｕｎｃｔｉｏｎ、ＨＲＴＦ）に従って、バイノーラル信号ｂ１、ｂ２をフィルタリング及び／又は減衰することによって達成され得る。信号がバイノーラルである、すなわち、聴取者の耳の両方に関連するので、システムは、１つ以上のＨＲＴＦを利用して、聴取者の周りの様々な場所に特有の音をシミュレートすることができる。コントローラ５０４によって使用される特定の左及び右ＨＲＴＦは、ユーザの左耳及び右耳の相対位置とそれぞれの空間位置ＳＰ１、ＳＰ２との間で検出される方位角及び仰角の所与の組み合わせに基づいて選択され得ることを認識されたい。より具体的には、複数のＨＲＴＦがメモリに記憶され、ユーザの左耳及び右耳の検出された位置及び選択された空間位置ＳＰ１、ＳＰ２に従って取り出され、かつ実装され得る。しかしながら、バイノーラルデバイス１１０、１１２がオープンイヤーウェアラブルである場合、ユーザの耳の場所は、オープンイヤーウェアラブルの場所の代わりに使用され得るか、又はオープンイヤーウェアラブルの場所から決定され得ることを理解されたい。
２つの異なる空間点ＳＰ１、ＳＰ２が図５に示されているが、同じ空間点がバイノーラルデバイス１１０、１１２の両方に使用され得ることを理解されたい。更に、所与のバイノーラルデバイスに対して、空間内の任意の点が、発生した音響信号を仮想化する空間点として選択され得る。（空間内の選択された点は、例えば、動いている、オーディオ発生オブジェクトをシミュレートするために、空間内の移動する点であり得る。）例えば、左、右、又は中央チャネルオーディオ信号は、あたかもそれらが周辺スピーカ１０２に近接する場所で発生したかのようにシミュレートされ得る。更に、シミュレートされた音の現実性は、環境、すなわち、車両客室１００内の位置に追加の仮想音源を追加して、仮想音源場所で発生した音が音響反射面から反射されて聴取者に戻る効果をシミュレートすることによって高めることができる。具体的には、環境内で発生した仮想音源ごとに、追加の仮想音源を発生させ、様々な位置に置いて、第１の仮想音源から伝搬し、表面から音響的に反射し、かつ聴取者の耳に伝搬して戻る音（一次反射）、及び第１の仮想音源から伝搬し、第１の表面及び第２の表面から音響的に反射し、かつ聴取者の耳に伝搬して戻る音（二次反射）に対応する音の一次反射及び二次反射をシミュレートすることができる。空間化されたオーディオを作成するためにＨＲＴＦ及び仮想反射を実装する方法は、全体が参照により本明細書に組み込まれる、「Ｓｙｓｔｅｍｓ ａｎｄ ｍｅｔｈｏｄｓ ｆｏｒ ｓｏｕｎｄ ｓｏｕｒｃｅ ｖｉｒｔｕａｌｉｚａｔｉｏｎ」と題された米国特許出願公開第２０２０／００３７０９７（Ａ１）号においてより詳細に論じられている。一実施例では、仮想音源は、車両の外部に位置することができる。同様に、一次反射及び二次反射は、車両内の実際の表面に対して計算される必要はなく、むしろ、車両の外側の仮想表面に対して計算されて、例えば、ユーザが客室よりも広い領域にいるという印象を生成するか、又は少なくとも、車両の客室よりも良好な環境に対する音の残響及び品質を最適化することができる。
コントローラ５０４は、そうでなければ、図１Ａ及び図１Ｂに関連して説明したコントローラ１０４のように構成され、すなわち、空間化された音響信号１１４、１１６は、周辺スピーカ１０２によって生成された低音コンテンツを用いて（例えば、時間整合された方法で）増強され得る。例えば、周辺スピーカ１０２は、第１のコンテンツ信号ｕ１の低音コンテンツを生成するために利用され得、その上位範囲コンテンツは、バイノーラルデバイス１１０によって空間化音響信号として生成され、空間位置ＳＰ１で発するために、着座位置Ｐ１のユーザによって知覚される。第１の聴取ゾーン１０６内の周辺スピーカ１０２によって生成される低音コンテンツは、ステレオ信号ではない場合があるが、着座位置Ｐ１に座っているユーザは、依然として、第１のコンテンツ信号ｕ１が空間位置ＳＰ１から発していると知覚する場合がある。同様に、周辺スピーカは、第２の聴取ゾーンにおいて、第２のコンテンツ信号ｕ２の低音コンテンツを増強することができ、その上位範囲は、空間音響信号としてバイノーラルデバイス１１２によって生成される。着座位置Ｐ２にいるユーザは、第２のコンテンツ信号ｕ２が第２の聴取ゾーンにおいて空間位置ＳＰ２として発生し、低温コンテンツが周辺スピーカ１０２からモノラル音響信号として提供されることを知覚する。
２つのバイノーラルデバイス１１０、１１２が図５に示されているが、単一の空間化されたバイノーラル信号（例えば、バイノーラル信号ｂ１）のみが１つのバイノーラルデバイスに提供され得ることが理解されるべきである。更に、各バイノーラルデバイスが空間化された音響信号を提供する必要はなく、いずれにしても、一方のバイノーラルデバイス（例えば、バイノーラルデバイス１１０）は、空間化音響信号を提供することができ、一方で、他方のバイノーラルデバイス（例えば、バイノーラルデバイス１１２）は、非空間化音響信号を提供することができる。更に、上述したように、各バイノーラルデバイスは、各ユーザが同じコンテンツを聞くように、同じバイノーラル信号を受信することができ、その低音コンテンツは、周辺スピーカ１０２によって増強される（必ずしも別個の聴取ゾーンにおいて生成される必要はない）。更に、図５の実施例は、任意の数の聴取ゾーン及び任意の数のバイノーラルデバイスに拡張され得る。
コントローラ５０４は、例えば、左右のプログラムコンテンツ信号を受信し、かつ車両内の左、右、中央などのチャネルを発生させるアップミキサを更に実装することができる。バイノーラルデバイス（例えば、バイノーラルデバイス１１０、１１２）によってレンダリングされる空間化されたオーディオは、これらのチャネルのソースのユーザの知覚を向上させるために活用され得る。したがって、実際には、複数の仮想音源を選択して、左、右、中央などのオーディオチャネルの印象を正確に生成することができる。
図６は、車両客室内のユーザに増強された音声を提供する方法６００のフローチャートを示す。方法６００のステップは、車両内に配置された周辺スピーカ（周辺スピーカ１０２など）のセットと通信し、更に車両内のそれぞれの座席位置に配置されたバイノーラルデバイス（バイノーラルデバイス１１０、１１２など）のセットと通信する、コントローラ（コントローラ５０４など）によって実行され得る。
ステップ６０２で、コンテンツ信号が受信される。コンテンツ信号は、モバイルデバイス、ラジオ、衛星ラジオ、セルラー接続などの複数の潜在的なソースから受信され得る。コンテンツ信号は、低音コンテンツ及び上位範囲コンテンツを含む、オーディオ信号である。
ステップ６０４において、空間オーディオ信号は、車両内のユーザの頭部の位置を示す位置信号に従ってバイノーラルデバイスに出力され、その結果、バイノーラルデバイスは、仮想音源から発せられたものとしてユーザによって知覚される空間音響信号を生成する。仮想音源は、一実施例では、車両の周辺スピーカの近くなど、車両客室内の選択された位置とすることができる。これは、仮想音源（例えば、空間点ＳＰ１、ＳＰ２）からの音をシミュレートするように音響信号を調整する、複数の頭部伝達関数（ＨＲＴＦ）に従って、バイノーラルデバイスへのオーディオ信号出力をフィルタリング及び／又は減衰することによって達成され得る。信号がバイノーラルである、すなわち、聴取者の耳の両方に関連するので、システムは、１つ以上のＨＲＴＦを利用して、聴取者の周りの様々な場所に特有の音をシミュレートすることができる。使用される特定の左及び右ＨＲＴＦは、ユーザの左耳及び右耳の相対位置とそれぞれの空間位置との間で検出される方位角及び仰角の所与の組み合わせに基づいて選択され得ることを認識されたい。より具体的には、複数のＨＲＴＦがメモリに記憶され、ユーザの左耳及び右耳の検出された位置及び選択された空間位置に従って取り出され、かつ実装され得る。
ユーザの頭部位置は、例えば、飛行時間センサ、ＬＩＤＡＲデバイス、複数の二次元カメラ、ウェアラブル搭載慣性運動ユニット、近接センサ、又はこれらの構成要素の組み合わせから成り得る、頭部追跡デバイス（頭部追跡デバイス５０６、５０８など）の出力に従って決定され得る。更に、他の好適なデバイスが企図される。頭部追跡デバイスの出力は、ユーザの頭部の位置を検出するように訓練されたソフトウェア又はニューラルネットワークを実装することができる、専用コントローラ（例えば、コントローラ５１０）を通して処理され得る。
ステップ６０６において、周辺スピーカは、コンテンツ信号の低音コンテンツが車室内で生成されるように駆動される。このようにして、バイノーラルデバイスによって生成された空間音響信号は、車両客室内の周辺スピーカによって増強される。ユーザの頭部の位置を検出することは、ユーザの耳の位置を直接的に検出すること、又はウェアラブルの位置を直接的に検出することを含む、ユーザの耳のそれぞれの位置又はユーザによって装着されたウェアラブルの位置をそこから導出することができる、ユーザ又はユーザによって装着されたウェアラブルの任意の部分を検出することを含むことができる。
方法６００は、単一のバイノーラルデバイスによって提供される空間音響信号を増強するための方法を説明しているが、方法６００は、客室全体にわたる異なる聴取ゾーンにおいてそれぞれのコンテンツ信号の低音コンテンツを生成するように周辺スピーカを配列することによって、複数のバイノーラルデバイスによって提供される複数のコンテンツ信号を増強するように拡張され得る。そのような方法のステップは、方法４００において、図１Ａ及び図１Ｂに関連して説明される。
本明細書に記載される機能又はその部分、及びその種々の修正（以下「機能」）は、少なくとも部分的に、コンピュータプログラム製品（例えば、１つ以上のデータ処理装置、例えば、プログラム可能プロセッサ、コンピュータ、複数のコンピュータ、及び／若しくはプログラム可能論理構成要素による実行のための、又はその動作を制御するための、１つ以上の非一時的機械可読媒体又は記憶デバイスなどの情報キャリアにおいて有形に具現化されたコンピュータプログラム）を介して実装され得る。
コンピュータプログラムは、コンパイル型言語又はインタプリタ型言語を含む任意の形態のプログラム言語で書き得るが、それは、独立型プログラムとして、又はコンピューティング環境での使用に好適なモジュール、構成要素、サブルーチン若しくは他のユニットとして含む任意の形態で配設され得る。コンピュータプログラムは、１つのコンピュータ上で、若しくは１つの設置先における複数のコンピュータ上で実行されるように配設され得るか、又は複数の設置先にわたって配信されて、ネットワークによって相互接続され得る。
機能の全部又は一部を実装することと関連した動作は、較正プロセスの機能を実施するために１つ以上のコンピュータプログラムを実行する１つ以上のプログラム可能なプロセッサによって、実施され得る。機能の全部又は一部は、特殊目的論理回路、例えば、ＦＰＧＡ及び／又はＡＳＩＣ（ａｐｐｌｉｃａｔｉｏｎ－ｓｐｅｃｉｆｉｃ ｉｎｔｅｇｒａｔｅｄ ｃｉｒｃｕｉｔ）（特定用途向け集積回路）として実装され得る。
コンピュータプログラムの実行に好適なプロセッサとしては、例として、汎用マイクロプロセッサ及び特殊目的マイクロプロセッサの両方並びに任意の種類のデジタルコンピュータの任意の１つ以上のプロセッサが挙げられる。一般的に、プロセッサは、読取り専用メモリ、ランダムアクセスメモリ、又はその両方から命令及びデータを受信することになる。コンピュータの構成要素は、命令を実行するためのプロセッサ並びに命令及びデータを記憶するための１つ以上のメモリデバイスを含む。
本明細書において、いくつかの本発明の実施形態について説明及び例解してきたが、当業者であれば、様々な他の手段及び／若しくは機能の実行及び／若しくは結果を得るための構造、並びに／又は本明細書に説明される１つ以上の利点を容易に想起し、こうした変更形態及び／又は修正の各々は、本明細書に説明される本発明の実施形態の範囲内にあるとみなされる。より一般的には、当業者であれば、本明細書に説明されるパラメータ、寸法、材料及び構成の全てが例示的であること、実際のパラメータ、寸法、材料、及び／又は構成が、具体的な用途又は本発明の教示が使用される用途に依存するであろうことを、容易に理解するであろう。当業者であれば、本明細書に説明される具体的な本発明の実施形態に対する多くの同等物を、通常の実験のみを使用して認識するか、又は確認することができるであろう。したがって、前述の実施形態は、単なる例として提示されたものであり、添付の特許請求の範囲及びその等価物の範囲内で、具体的に記載及び特許請求されるものとは別様に本発明の実施形態を実践することができるということを理解されたい。本開示の本発明の実施形態は、本明細書に説明される各個々の特徴、システム、物品、材料、及び／又は方法に関する。更に、２つ以上のこうした特徴、システム、物品、材料及び／又は方法のいかなる組む合わせも、こうした特徴、システム、物品、材料及び／又は方法が相互に矛盾しない場合、本開示の発明の範囲内に含まれる。
１００ 車両客室
１０２ 周辺スピーカ
１０４ コントローラ
１０６ 第１の聴取ゾーン
１０８ 第２の聴取ゾーン
１１０、１１２ バイノーラルデバイス
１１４ 第１の音響信号
１１４Ｌ 左側の第１の音響信号
１１４Ｒ 右側の第１の音響信号
１１６ 第２の音響信号
１１６Ｌ 左側の第２の音響信号
１１６Ｒ 右側の第２の音響信号
１１８、１２０ スピーカ
１１８Ｌ、１２０Ｌ 左スピーカ
１１８Ｒ、１２０Ｒ 右スピーカ
１２２ モバイルデバイス
１２４ プロセッサ
１２６ 非一時的記憶媒体
２００ フレーム
２０２Ｌ 左スピーカ
２０２Ｒ 右スピーカ
２０４Ｌ 左テンプル
２０４Ｒ 右テンプル
３００ オープンイヤーヘッドホン
３０２Ｌ 左スピーカ
３０２Ｒ 右スピーカ
５０４ コントローラ
５０６ 第１の頭部追跡デバイス
５０８ 第２の頭部追跡デバイス
５１０ 頭部追跡コントローラ
５１２ プロセッサ
５１４ 非一時的記憶媒体

Claims (21)

  1. 車両内に増強された、空間化されたオーディオを提供するためのシステムであって、
    前記車両客室の周囲に配置された複数のスピーカと、
    コントローラと、を備え、前記コントローラは、前記車両内の第１のユーザの頭部の位置を示す位置信号を受信し、かつ第１のバイノーラルデバイスが、前記車両の客室内の第１の仮想音源場所から発せられたものとして前記第１のユーザによって知覚される第１の空間音響信号を生成するように、前記第１の位置信号に従って、第１の空間オーディオ信号を前記第１のバイノーラルデバイスに出力するように構成されており、前記第１の空間オーディオ信号が、少なくとも第１のコンテンツ信号の上位範囲を含み、前記コントローラは、前記第１のコンテンツ信号の第１の低音コンテンツが前記車両客室内で生成されるように、前記複数のスピーカを駆動信号で駆動するように更に構成されている、システム。
  2. 前記コントローラが、前記第１の低音コンテンツの前記生成を前記第１の空間音響信号の前記生成と時間整合させるように構成されている、請求項１に記載のシステム。
  3. 前記車両内の前記第１のユーザの頭部の前記位置に関連する頭部追跡信号を生成するように構成された頭部追跡デバイスを更に備える、請求項１に記載のシステム。
  4. 前記頭部追跡デバイスが、飛行時間センサを備える、請求項３に記載のシステム。
  5. 前記頭部追跡デバイスが、複数の二次元カメラを備える、請求項４に記載のシステム。
  6. 前記頭部追跡信号に従って前記第１の位置信号を生成するように訓練されたニューラルネットワークを更に備える、請求項３に記載のシステム。
  7. 前記コントローラは、前記車両内の第２のユーザの頭部の位置を示す第２の位置信号を受信し、かつ第２のバイノーラルデバイスが、前記車両客室内の前記第１の仮想音源場所又は第２の仮想音源場所のいずれかから発せられたものとして前記第２のユーザによって知覚される第２の空間音響信号を生成するように、前記第２の位置信号に従って、第２の空間オーディオ信号を前記第２のバイノーラルデバイスに出力するように更に構成されている、請求項１に記載のシステム。
  8. 前記第２の空間オーディオ信号が、第２のコンテンツ信号の少なくとも上位範囲を含み、前記コントローラは、前記第１の低音コンテンツが前記車両客室内の第１の聴取ゾーンで生成されるように第１のアレイ構成に従って、かつ前記第２のコンテンツ信号の低音コンテンツが前記車両客室内の第２の聴取ゾーンで生成されるように第２のアレイ構成に従って、前記複数のスピーカを駆動するように更に構成されており、前記第１の聴取ゾーンにおいて、前記第１の低音コンテンツの大きさが、第２の低音コンテンツの大きさよりも大きく、前記第２の聴取ゾーンにおいて、前記第２の低音コンテンツの前記大きさが、前記第１の低音コンテンツの前記大きさよりも大きい、請求項７に記載のシステム。
  9. 前記コントローラが、前記第１の聴取ゾーンにおいて、前記第１の低音コンテンツの前記生成を前記第１の空間音響信号の前記生成と時間整合させ、前記第２の聴取ゾーンにおいて、前記第２の低音コンテンツの前記生成を前記第２の空間音響信号と時間整合させるように構成されている、請求項８に記載のシステム。
  10. 前記第１の聴取ゾーンにおいて、前記第１の低音コンテンツの前記大きさが、前記第２の低音コンテンツの前記大きさを３デシベルだけ超え、前記第２の聴取ゾーンにおいて、前記第２の低音コンテンツの前記大きさが、前記第１の低音コンテンツの前記大きさを３デシベルだけ超える、請求項８に記載のシステム。
  11. 前記第１のバイノーラルデバイス及び前記第２のバイノーラルデバイスが各々、ヘッドレスト又はオープンイヤーウェアラブル内に配置されたスピーカのセットのうちの１つから選択される、請求項７に記載のシステム。
  12. 車両客室内に増強された、空間化されたオーディオを提供するための方法であって、
    第１のバイノーラルデバイスが、前記車両客室内の第１の仮想音源場所から発せられたものとして第１のユーザによって知覚される第１の空間音響信号を生成するように、前記車両客室内の前記第１のユーザの頭部の位置を示す第１の位置信号に従って、第１の空間オーディオ信号を前記第１のバイノーラルデバイスに出力するステップであって、前記第１の空間オーディオ信号が、少なくとも第１のコンテンツ信号の上位範囲を含む、出力するステップと、
    前記第１のコンテンツ信号の第１の低音コンテンツが前記車両客室内で生成されるように、複数のスピーカを駆動信号で駆動するステップと、を含む、方法。
  13. 前記第１の低音コンテンツの前記生成が、前記第１の空間音響信号の前記生成を含む生成と時間整合される、請求項１２に記載の方法。
  14. 頭部追跡デバイスから受信した頭部追跡信号に従って、前記位置信号を生成するステップを更に含む、請求項１２に記載の方法。
  15. 頭部追跡デバイスが、飛行時間センサを備える、請求項１２に記載の方法。
  16. 前記頭部追跡デバイスが、複数の二次元カメラを備える、請求項１５に記載の方法。
  17. 前記位置信号が、頭部追跡信号に従って前記第１の位置信号を生成するように訓練されたニューラルネットワークに従って生成される、請求項１５に記載の方法。
  18. 第２のバイノーラルデバイスが、前記車両客室内の第２の仮想音源場所から発せられたものとして第２のユーザによって知覚される第２の空間音響信号を生成するように、前記車両内の前記第２のユーザの頭部の位置を示す第２の位置信号に従って、第２の空間オーディオ信号を前記第２のバイノーラルデバイスに出力するステップを更に含む、請求項１２に記載の方法。
  19. 前記第１の低音コンテンツが前記車両客室内の第１の聴取ゾーンで生成されるように第１のアレイ構成に従って、かつ第２のコンテンツ信号の低音コンテンツが前記車両客室内の第２の聴取ゾーンで生成されるように第２のアレイ構成に従って、前記複数のスピーカが駆動され、前記第１の聴取ゾーンにおいて、前記第１の低音コンテンツの大きさが、第２の低音コンテンツの大きさよりも大きく、前記第２の聴取ゾーンにおいて、前記第２の低音コンテンツの前記大きさが、前記第１の低音コンテンツの前記大きさよりも大きく、前記第２の空間オーディオ信号が、少なくとも第２のコンテンツ信号の上位範囲を含む、請求項１８に記載の方法。
  20. 前記第１の聴取ゾーンにおいて、前記第１の低音コンテンツの前記生成が、前記第１の音響信号の前記生成と時間整合され、前記第２の聴取ゾーンにおいて、前記第２の低音コンテンツの前記生成が、前記第２の音響信号と時間整合される、請求項１７に記載の方法。
  21. 前記第１の聴取ゾーンにおいて、前記第１の低音コンテンツの前記大きさが、前記第２の低音コンテンツの前記大きさを３デシベルだけ超え、前記第２の聴取ゾーンにおいて、前記第２の低音コンテンツの前記大きさが、前記第１の低音コンテンツの前記大きさを３デシベルだけ超える、請求項１９に記載の方法。
JP2023526403A 2020-10-30 2021-10-28 増強されたオーディオを提供するためのシステム及び方法 Pending JP2023548324A (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US17/085,574 US11700497B2 (en) 2020-10-30 2020-10-30 Systems and methods for providing augmented audio
US17/085,574 2020-10-30
PCT/US2021/072072 WO2022094571A1 (en) 2020-10-30 2021-10-28 Systems and methods for providing augmented audio

Publications (1)

Publication Number Publication Date
JP2023548324A true JP2023548324A (ja) 2023-11-16

Family

ID=78709579

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2023526403A Pending JP2023548324A (ja) 2020-10-30 2021-10-28 増強されたオーディオを提供するためのシステム及び方法

Country Status (5)

Country Link
US (2) US11700497B2 (ja)
EP (1) EP4238320A1 (ja)
JP (1) JP2023548324A (ja)
CN (1) CN116636230A (ja)
WO (1) WO2022094571A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023245001A1 (en) * 2022-06-13 2023-12-21 Bose Corporation Systems and methods for providing augmented audio

Family Cites Families (52)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7630500B1 (en) 1994-04-15 2009-12-08 Bose Corporation Spatial disassembly processor
US6446002B1 (en) 2001-06-26 2002-09-03 Navigation Technologies Corp. Route controlled audio programming
US7305097B2 (en) 2003-02-14 2007-12-04 Bose Corporation Controlling fading and surround signal level
WO2007113718A1 (en) 2006-03-31 2007-10-11 Koninklijke Philips Electronics N.V. A device for and a method of processing data
US7925307B2 (en) 2006-10-31 2011-04-12 Palm, Inc. Audio output using multiple speakers
US20080273708A1 (en) 2007-05-03 2008-11-06 Telefonaktiebolaget L M Ericsson (Publ) Early Reflection Method for Enhanced Externalization
US20080273722A1 (en) 2007-05-04 2008-11-06 Aylward J Richard Directionally radiating sound in a vehicle
US20080273724A1 (en) 2007-05-04 2008-11-06 Klaus Hartung System and method for directionally radiating sound
US8325936B2 (en) 2007-05-04 2012-12-04 Bose Corporation Directionally radiating sound in a vehicle
US20080304677A1 (en) 2007-06-08 2008-12-11 Sonitus Medical Inc. System and method for noise cancellation with motion tracking capability
JP2009206691A (ja) 2008-02-27 2009-09-10 Sony Corp 頭部伝達関数畳み込み方法および頭部伝達関数畳み込み装置
KR101234973B1 (ko) 2008-04-09 2013-02-20 프라운호퍼 게젤샤프트 쭈르 푀르데룽 데어 안겐반텐 포르슝 에. 베. 필터 특징을 발생시키는 장치 및 방법
GB2472092A (en) 2009-07-24 2011-01-26 New Transducers Ltd Audio system for an enclosed space with plural independent audio zones
EP2564601A2 (en) 2010-04-26 2013-03-06 Cambridge Mechatronics Limited Loudspeakers with position tracking of a listener
EP2405670B1 (en) 2010-07-08 2012-09-12 Harman Becker Automotive Systems GmbH Vehicle audio system with headrest incorporated loudspeakers
EP2428813B1 (en) 2010-09-08 2014-02-26 Harman Becker Automotive Systems GmbH Head Tracking System with Improved Detection of Head Rotation
JP5141738B2 (ja) 2010-09-17 2013-02-13 株式会社デンソー 立体音場生成装置
US8767968B2 (en) 2010-10-13 2014-07-01 Microsoft Corporation System and method for high-precision 3-dimensional audio for augmented reality
US9131305B2 (en) 2012-01-17 2015-09-08 LI Creative Technologies, Inc. Configurable three-dimensional sound system
US8963805B2 (en) 2012-01-27 2015-02-24 Microsoft Corporation Executable virtual objects associated with real objects
JP6388907B2 (ja) 2013-03-15 2018-09-12 ティ エイチ エックス リミテッド 所定聴取空間内の特定位置におけるサウンドフィールドを修正する方法及びシステム
CN107426666B (zh) 2013-03-28 2019-06-18 杜比实验室特许公司 用于创作和渲染音频再现数据的非暂态介质和设备
WO2014204377A1 (en) 2013-05-02 2014-12-24 Dirac Research Ab Audio decoder configured to convert audio input channels for headphone listening
US9445197B2 (en) * 2013-05-07 2016-09-13 Bose Corporation Signal processing for a headrest-based audio system
US9215545B2 (en) 2013-05-31 2015-12-15 Bose Corporation Sound stage controller for a near-field speaker-based audio system
US20150119130A1 (en) * 2013-10-31 2015-04-30 Microsoft Corporation Variable audio parameter setting
US9560445B2 (en) 2014-01-18 2017-01-31 Microsoft Technology Licensing, Llc Enhanced spatial impression for home audio
CN104869524B (zh) 2014-02-26 2018-02-16 腾讯科技（深圳）有限公司 三维虚拟场景中的声音处理方法及装置
US9352701B2 (en) 2014-03-06 2016-05-31 Bose Corporation Managing telephony and entertainment audio in a vehicle audio platform
DE102014210215A1 (de) 2014-05-28 2015-12-03 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Ermittlung und Nutzung hörraumoptimierter Übertragungsfunktionen
DE102014217344A1 (de) 2014-06-05 2015-12-17 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Lautsprechersystem
US20160100250A1 (en) 2014-10-02 2016-04-07 AISIN Technical Center of America, Inc. Noise-cancelation apparatus for a vehicle headrest
US9743187B2 (en) 2014-12-19 2017-08-22 Lee F. Bender Digital audio processing systems and methods
US9788118B2 (en) 2015-03-27 2017-10-10 Thales Avionics, Inc. Spatial systems including eye tracking capabilities and related methods
US10095306B2 (en) * 2015-06-15 2018-10-09 Harman International Industries, Incorporated Passive magnetic head tracker
US9854376B2 (en) 2015-07-06 2017-12-26 Bose Corporation Simulating acoustic output at a location corresponding to source position data
US9913065B2 (en) 2015-07-06 2018-03-06 Bose Corporation Simulating acoustic output at a location corresponding to source position data
US9847081B2 (en) 2015-08-18 2017-12-19 Bose Corporation Audio systems for providing isolated listening zones
CN108141684B (zh) 2015-10-09 2021-09-24 索尼公司 声音输出设备、声音生成方法以及记录介质
IL243513B2 (en) 2016-01-07 2023-11-01 Noveto Systems Ltd A system and method for voice communication
WO2018127901A1 (en) 2017-01-05 2018-07-12 Noveto Systems Ltd. An audio communication system and method
EP3193514B1 (en) 2016-01-13 2019-07-24 VLSI Solution Oy A method and apparatus for adjusting a cross-over frequency of a loudspeaker
EP3220667A1 (en) * 2016-03-14 2017-09-20 Thomson Licensing Headphones for binaural experience and audio device
US9906885B2 (en) 2016-07-15 2018-02-27 Qualcomm Incorporated Methods and systems for inserting virtual sounds into an environment
US10327090B2 (en) 2016-09-13 2019-06-18 Lg Electronics Inc. Distance rendering method for audio signal and apparatus for outputting audio signal using same
US20180124513A1 (en) * 2016-10-28 2018-05-03 Bose Corporation Enhanced-bass open-headphone system
US10623857B2 (en) * 2016-11-23 2020-04-14 Harman Becker Automotive Systems Gmbh Individual delay compensation for personal sound zones
US10531195B2 (en) 2017-09-29 2020-01-07 Bose Corporation Multi-zone audio system with integrated cross-zone and zone-specific tuning
US11617050B2 (en) 2018-04-04 2023-03-28 Bose Corporation Systems and methods for sound source virtualization
US10390170B1 (en) * 2018-05-18 2019-08-20 Nokia Technologies Oy Methods and apparatuses for implementing a head tracking headset
US11128976B2 (en) 2018-10-02 2021-09-21 Qualcomm Incorporated Representing occlusion when rendering for computer-mediated reality systems
US10880594B2 (en) 2019-02-06 2020-12-29 Bose Corporation Latency negotiation in a heterogeneous network of synchronized speakers

Also Published As

Publication number Publication date
CN116636230A (zh) 2023-08-22
US20220141608A1 (en) 2022-05-05
EP4238320A1 (en) 2023-09-06
US20230300552A1 (en) 2023-09-21
WO2022094571A1 (en) 2022-05-05
US11700497B2 (en) 2023-07-11

Similar Documents

Publication Publication Date Title
JP5184741B2 (ja) 車両マルチチャネルオーディオシステムにおける中央チャネル情報の再生
CN103053180B (zh) 用于声音再现的系统和方法
US9674609B2 (en) Speaker device and audio signal processing method
JP5323055B2 (ja) 車両における音の有指向放射（ｄｉｒｅｃｔｉｏｎａｌｌｙｒａｄｉａｔｉｎｇｓｏｕｎｄｉｎａｖｅｈｉｃｌｅ）
US20080273722A1 (en) Directionally radiating sound in a vehicle
US20200366990A1 (en) Multi-channel sound implementation device using open-ear headphones and method therefor
EP2987340A1 (en) Signal processing for a headrest-based audio system
JP2008271067A (ja) ノイズ低減装置および音響再生装置
US20230276188A1 (en) Surround Sound Location Virtualization
JP5776597B2 (ja) 音信号処理装置
US11968517B2 (en) Systems and methods for providing augmented audio
US20230300552A1 (en) Systems and methods for providing augmented audio
CN107743713B (zh) 处理用于在汽车中再现的立体声信号以通过前置扬声器实现单独的三维声音的装置和方法
JP4848774B2 (ja) 音響装置、音響再生方法および音響再生プログラム
JP2021036661A (ja) 座席ヘッドレスト用の自律型オーディオシステム、座席ヘッドレスト、及び関連する車両
AU2016210695B1 (en) A System, Method and Apparatus for Suppressing Crosstalk
US20230403529A1 (en) Systems and methods for providing augmented audio
AU2016100957A4 (en) Improvements to footbeds and footwear
JP2008011099A (ja) ヘッドフォン音響再生システム、ヘッドフォン装置
CN117652161A (zh) 用于回放沉浸式音频的音频处理方法
KR200248983Y1 (ko) 차량용 스테레오 음향 재생을 위한 신호처리기
JP2003054326A (ja) 車両用ステレオ音響再生のためのスピーカー配置と信号処理機及びこれらを備えた車両
JP2010034764A (ja) 音響再生システム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230428

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20240422

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20240520