JP2023530479A - モバイル周辺デバイスに対する空間化されたオーディオ - Google Patents

Abstract

オーディオシステム、方法、並びに、ウェアラブルオーディオデバイス及びモバイル周辺デバイスを含むコンピュータプログラム製品。各デバイスは、各デバイスのそれぞれの絶対位置又は相対位置、及び絶対配向又は相対配向を判定することが可能である。デバイス間の相対位置及び相対配向が分かると、周辺デバイスの位置及び／又は配向の任意の変化が仮想音源の位置及び／又は配向の比例的な変化を生成するように、仮想音源が、周辺デバイスに対して固定された位置及び配向で生成される。追加的に、第一次及び第二次の反射オーディオ経路は、各仮想音源に対してシミュレートされて、シミュレートされた音源の現実性を増加させ得る。頭部伝達関数（ＨＲＴＦ）を使用して元のオーディオ信号を修正することによって各音経路を生成して、オーディオを、オーディオが各仮想音源から到来するものとしてユーザの左耳及び右耳によって知覚されているかのようにシミュレートすることができる。

Description

（関連出願の相互参照）
本出願は、２０２０年６月１７日に出願された、「Ｓｐａｔｉａｌｉｚｅｄ Ａｕｄｉｏ Ｒｅｌａｔｉｖｅ ｔｏ ａ Ｍｏｂｉｌｅ Ｐｅｒｉｐｈｅｒａｌ Ｄｅｖｉｃｅ」と題する、米国特許出願第１６／９０４，０８７号に対する優先権を主張し、その出願は、参照によりその全体が本明細書に組み込まれる。

本開示の態様及び実装形態は、概して、オーディオシステム、例えば、モバイル周辺デバイス及びウェアラブルオーディオデバイスを含むオーディオシステムを対象とする。

オーディオシステム、例えば、拡張現実オーディオシステムは、音外在化（sound externalization）と称される技法を利用して、聴取者にオーディオ信号をレンダリングして、聴取者が環境内の物理的な場所からの音を知覚していると思うように錯覚させることができる。具体的には、オーディオ、特にステレオヘッドフォンを通してオーディオを聴くとき、多くの聴取者は、音を「聴取者の頭の内側」から到来するものとして知覚する。音外在化とは、音が周囲環境から到来しているかのようにユーザによって知覚されるように、すなわち、音が聴取者の「外部」にあるように、音をシミュレート及びレンダリングするプロセスを指す。

これらの拡張現実オーディオシステムは、モバイルデバイスを使用して実行されることが可能であるため、所定の位置に音源をシミュレート又は外在化することは、一部のユーザにとって望ましくない場合がある。

本開示は、ウェアラブルオーディオデバイス及びモバイル周辺デバイスを含むオーディオシステム、方法、及びコンピュータプログラム製品に関する。ウェアラブルオーディオデバイス及び周辺デバイスは、環境内のそれらのそれぞれの位置及び／又は配向、並びに互いに対するそれらのそれぞれの位置及び／又は配向を判定することが可能である。例えばウェアラブルオーディオデバイスと周辺デバイスとの間の、相対位置及び相対配向が分かると、周辺デバイスの位置及び／又は配向の任意の変化が仮想音源の位置及び／又は配向の比例的な変化を生成するように、仮想音源が、周辺デバイスに対して固定された位置及び配向で生成され得る。追加的に、１つ以上の次数の反射オーディオ経路は、各仮想音源に対してシミュレートされて、シミュレートされた音源の現実性の感覚を増加させ得る。例えば、複数の左頭部伝達関数（head-related transfer function、ＨＲＴＦ）及び複数の右ＨＲＴＦを使用して元のオーディオ信号を修正することによって、各音経路、例えば、直接音経路、並びに第一次反射音経路及び第二次反射音経路を生成して、オーディオを、オーディオが各仮想音源から到来するとユーザの左耳及び右耳によってそれぞれ知覚されているかのようにシミュレートすることができる。

したがって、本開示は、周辺デバイスに「ピン留め」された空間化及び外在化されたオーディオを生成するためのオーディオシステム、方法、及びコンピュータプログラム製品を含む。本システム、方法、及びコンピュータプログラム製品は、１）ユーザの頭部場所及び／又は配向を追跡する手段と、２）周辺デバイスの場所及び／又は配向を追跡する手段と、３）仮想音源の場所が何らかの方法で周辺デバイスに留止又はピン留めされる空間化されたオーディオ信号をレンダリングする手段と、を利用することができる。このことは、左チャネルオーディオ信号及び右チャネルオーディオ信号に対する仮想音源を、周辺デバイスの仮想左及び仮想右に配置することを含み得る。仮想音源はまた、中央チャネルオーディオに対する離散的な中央仮想音源、抽出された中央仮想音源、又はファントム中央仮想音源を含むことができる。本明細書に開示される概念はまた、追加のチャネルにスケーリングし、例えば、仮想サラウンド音システム（例えば、仮想５．１又は７．１）の実装のための追加のチャネルを含むことができる。これらの概念はまた、例えば、仮想サラウンド音システム（例えば、仮想５．１．２又は５．１．４）に仮想高さチャネルを追加することができる、Ｄｏｌｂｙ Ａｔｍｏｓシステムによって提供されるオブジェクト指向レンダリングのような、オブジェクト指向レンダリングを含むことができる。

一実施例では、オーディオ信号をシミュレートするためのコンピュータプログラム製品が提供され、コンピュータプログラム製品は、メモリに記憶された非一時的コンピュータ可読命令のセットを含み、非一時的コンピュータ可読命令のセットは、プロセッサで実行可能であり、かつ環境内の周辺デバイスに対するウェアラブルオーディオデバイスの配向を取得又は受信することと、第１の修正されたオーディオ信号を生成することであって、第１の修正されたオーディオ信号が、周辺デバイスに対するウェアラブルオーディオデバイスの配向に少なくとも部分的に基づく第１の頭部伝達関数（ＨＲＴＦ）を使用して修正されている、生成することと、第２の修正されたオーディオ信号を生成することであって、第２の修正されたオーディオ信号が、周辺デバイスに対するウェアラブルオーディオデバイスの配向に少なくとも部分的に基づく第２の頭部伝達関数（ＨＲＴＦ）を使用して修正されている、生成することと、第１の修正されたオーディオ信号及び第２の修正されたオーディオ信号をウェアラブルオーディオデバイスに送信することであって、第１修正されたオーディオ信号が、ウェアラブルオーディオデバイスの第１スピーカを使用してレンダリングされるように構成されており、第２の修正されたオーディオ信号が、ウェアラブルオーディオデバイスの第２のスピーカを使用してレンダリングされるように構成されている、送信することと、を行うように構成されている。

一態様では、非一時的コンピュータ可読命令のセットは、環境内の周辺デバイスの位置に対するウェアラブルオーディオデバイスの位置を取得又は受信するように更に構成されており、第１の修正されたオーディオ信号を修正すること、及び第２の修正されたオーディオ信号を修正することが、ウェアラブルオーディオデバイスの位置と周辺デバイスの位置との間の計算された距離に少なくとも部分的に基づく減衰を含む。

一態様では、非一時的コンピュータ可読命令のセットは、ウェアラブルオーディオデバイスに対する周辺デバイスの配向を取得又は受信するように更に構成されており、第１のＨＲＴＦ及び第２のＨＲＴＦが、ウェアラブルデバイスに対する周辺デバイスの配向に部分的に基づく。

一態様では、第１の修正されたオーディオ信号及び第２の修正されたオーディオ信号は、周辺デバイスの中心に近接する第１の仮想音源から生じる第１の直接音をシミュレートするように構成されている。

一態様では、第１の修正されたオーディオ信号を生成すること、及び第２の修正されたオーディオ信号を生成することは、環境内の周辺デバイスの位置に近接する第１の仮想音源から生じる第１の直接音をシミュレートすることと、周辺デバイスの位置に近接する第２の仮想音源から生じる第２の直接音をシミュレートすることと、を含む。

一態様では、第１の修正されたオーディオ信号を生成すること、及び第２の修正されたオーディオ信号を生成することは、サラウンド音をシミュレートすることを含む。

一態様では、第１の修正されたオーディオ信号を生成すること、及び第２の修正されたオーディオ信号を生成することは、全ての利用可能なオーディオ周波数及び／又はチャネルのサブセットのみに対して、第１のＨＲＴＦ及び第２のＨＲＴＦをそれぞれ使用することを含む。

一態様では、第１のＨＲＴＦ及び第２のＨＲＴＦは、環境内の複数の音響反射表面の場所に対応する環境内の定位モジュールからの定位データを利用するように更に構成されている。

一態様では、第１の修正されたオーディオ信号を生成することは、周辺デバイスに近接する第１の仮想音源から生じる第１の直接音をシミュレートすることと、複数の音響反射表面のうちの第１の音響反射表面からの第１の直接音のシミュレートされた反射に対応する一次反射音をシミュレートすることと、を含む。

一態様では、第１の修正されたオーディオ信号を生成することは、複数の音響反射表面のうちの第２の音響反射表面からの一次反射音のシミュレートされた反射に対応する二次反射音をシミュレートすることを含む。

一態様では、第１の修正されたオーディオ信号及び第２の修正されたオーディオ信号は、周辺デバイス上に表示されるビデオコンテンツに対応する。

一態様では、周辺デバイスに対するウェアラブルオーディオデバイスの配向は、少なくとも１つのセンサを使用して判定され、少なくとも１つのセンサは、ウェアラブルオーディオデバイス又は周辺デバイス上に、これの中に、又はこれに近接して位置し、少なくとも１つのセンサは、ジャイロスコープ、加速度計、磁力計、全地球測位センサ（global positioning sensor、ＧＰＳ）、近接センサ、マイクロフォン、ライダセンサ、又はカメラから選択される。

別の実施例では、オーディオ信号をシミュレートする方法が提供され、方法は、周辺デバイスからウェアラブルオーディオデバイスを介して、第１の修正されたオーディオ信号を受信することであって、第１の修正されたオーディオ信号は、周辺デバイスに対するウェアラブルオーディオデバイスの配向に少なくとも部分的に基づく第１の頭部伝達関数（ＨＲＴＦ）を使用して修正される、受信することと、周辺デバイスからウェアラブルオーディオデバイスを介して、第２の修正されたオーディオ信号を受信することであって、第２の修正されたオーディオ信号は、周辺デバイスに対するウェアラブルオーディオデバイスの配向に少なくとも部分的に基づく第２の頭部伝達関数（ＨＲＴＦ）を使用して修正される、受信することと、ウェアラブルオーディオデバイスの第１のスピーカを使用して、第１の修正されたオーディオ信号をレンダリングすることと、ウェアラブルオーディオデバイスの第２のスピーカを使用して、第２の修正されたオーディオ信号をレンダリングすることと、を含む。

一態様では、この方法は、環境内の周辺デバイスに対するウェアラブルオーディオデバイスの位置を取得することを更に含み、第１の修正されたオーディオ信号を修正すること、及び第２の修正されたオーディオ信号を修正することは、ウェアラブルオーディオデバイスの位置と周辺デバイスの位置との間の計算された距離に少なくとも部分的に基づく。

一態様では、この方法は、ウェアラブルオーディオデバイスに対する周辺デバイスの配向を取得することを更に含み、第１のＨＲＴＦ及び第２のＨＲＴＦは、周辺デバイスの配向に部分的に基づく。

一態様では、第１の修正されたオーディオ信号及び第２の修正されたオーディオ信号は、周辺デバイスの中心に近接する第１の仮想音源から生じる第１の直接音をシミュレートするように構成されている。

一態様では、第１の修正されたオーディオ信号をレンダリングすること、及び第２の修正されたオーディオ信号をレンダリングすることは、環境内の周辺デバイスの位置に近接する第１の仮想音源から生じる第１の直接音をシミュレートすることと、周辺デバイスの位置に近接する第２の仮想音源から生じる第２の直接音をシミュレートすることと、を含む。

一態様では、第１の修正されたオーディオ信号を生成すること、及び第２の修正されたオーディオ信号を生成することは、サラウンド音をシミュレートすることを含む。

一態様では、第１の修正されたオーディオ信号を生成すること、及び第２の修正されたオーディオ信号を生成することは、全ての利用可能なオーディオ周波数及び／又はチャネルのサブセットのみに対して、第１のＨＲＴＦ及び第２のＨＲＴＦをそれぞれ使用することを含む。

一態様では、この方法は、環境内の定位モジュールから定位データを受信することと、定位データに基づいて、環境内の複数の音響反射表面の場所を判定することと、を更に含む。

一態様では、第１の修正されたオーディオ信号をレンダリングすることは、周辺デバイスに近接する第１の仮想音源から生じる第１の直接音をシミュレートすることと、複数の音響反射表面のうちの第１の音響反射表面からの第１の直接音のシミュレートされた反射に対応する一次反射音をシミュレートすることと、を含む。

一態様では、第１の修正されたオーディオ信号をレンダリングすることは、複数の音響反射表面のうちの第２の音響反射表面からの一次反射音のシミュレートされた反射に対応する二次反射音をシミュレートすることを含む。

一態様では、周辺デバイスは、第１の修正されたオーディオ信号及び第２の修正されたオーディオ信号と関連付けられたビデオコンテンツを表示するように構成されたディスプレイを含む。

一態様では、周辺デバイスに対するウェアラブルオーディオデバイスの配向は、少なくとも１つのセンサを使用して判定され、少なくとも１つのセンサは、ウェアラブルオーディオデバイス又は周辺デバイス上に、これの中に、又はこれに近接して位置し、少なくとも１つのセンサは、ジャイロスコープ、加速度計、磁力計、全地球測位センサ（ＧＰＳ）、近接センサ、マイクロフォン、ライダセンサ、又はカメラから選択される。

更なる実施例では、オーディオをシミュレートするためのオーディオシステムが提供され、システムは、周辺デバイスであって、環境内の周辺デバイスに対するウェアラブルオーディオデバイスの配向を取得又は受信するように構成されており、周辺デバイスは、周辺デバイスに対するウェアラブルオーディオデバイスの配向に基づく第１の頭部伝達関数（ＨＲＴＦ）を使用して第１の修正されたオーディオ信号を生成し、かつ周辺デバイスに対するウェアラブルオーディオデバイスの配向に基づく第２の頭部伝達関数（ＨＲＴＦ）を使用して第２の修正されたオーディオ信号を生成するように更に構成されている、周辺デバイスと、ウェアラブルオーディオデバイスと、を含む。ウェアラブルオーディオデバイスは、第１の修正されたオーディオ信号を受信し、かつ第２の修正されたオーディオ信号を受信するように構成されたプロセッサと、第１のスピーカを使用して第１の修正されたオーディオ信号をレンダリングするように構成された第１のスピーカと、第２のスピーカを使用して第２の修正されたオーディオ信号をレンダリングするように構成された第２のスピーカと、を含む。

様々な実施形態のこれら及び他の態様は、以下に記載される実施形態から明らかになり、それを参照して解明されるであろう。

図面では、同じ参照符号は、一般に、異なる図を通して同じ部分を指す。また、図面は、必ずしも縮尺どおりではなく、代わりに、概して、様々な実施形態の原理を例解することに重点が置かれている。
本開示によるオーディオシステムの概略斜視図である。 本開示によるウェアラブルオーディオデバイスの構成要素の概略表現である。 本開示による周辺デバイスの構成要素の概略表現である。 本開示によるオーディオシステムの構成要素の概略上面図である。 本開示による環境内のオーディオシステムの構成要素の概略上面図である。 本開示による環境内のオーディオシステムの構成要素の概略上面図である。 本開示によるオーディオシステムの構成要素の概略上面図である。 本開示による環境内のオーディオシステムの構成要素の概略上面図である。 本開示による環境内のオーディオシステムの構成要素の概略上面図である。 本開示による環境内のオーディオシステムの構成要素の概略上面図である。 本開示の態様による方法のステップを例解するフロー図である。 本開示の態様による方法のステップを例解するフロー図である。

本開示は、ウェアラブルオーディオデバイス（例えば、ヘッドフォン又はイヤバッド）と、モバイル周辺デバイス（例えば、スマートフォン又はタブレットコンピュータ）などの周辺デバイスと、を含むオーディオシステム、方法、及びコンピュータプログラム製品に関する。ウェアラブルオーディオデバイス及び周辺デバイスは、環境内のそれらのそれぞれの位置及び／又は配向、並びに互いに対するそれらのそれぞれの位置及び／又は配向を判定することが可能である。例えばウェアラブルオーディオデバイスと周辺デバイスとの間の、相対位置及び相対配向が分かると、周辺デバイスの位置及び／又は配向の任意の変化が仮想音源の位置及び／又は配向の比例的な変化を生成するように、仮想音源が、周辺デバイスに対して固定された位置及び配向で生成され得る。追加的に、１つ以上の次数の反射オーディオ経路（例えば、第一次、及び任意選択的に第二次）は、各仮想音源に対してシミュレートされて、シミュレートされた音源の現実性の感覚を増加させ得る。複数の左頭部伝達関数（ＨＲＴＦ）及び複数の右ＨＲＴＦを使用して元のオーディオ信号を修正することによって、各音経路、例えば直接音経路、及び反射音経路の次数（例えば、第一次、及び任意選択的に第二次）を生成して、オーディオを、オーディオが各仮想音源から到来するとユーザの左耳及び右耳によってそれぞれ知覚されているかのようにシミュレートすることができる。

本出願で使用される場合、「ウェアラブルオーディオデバイス」という用語は、耳周りに、耳上に、耳内に、又は耳の近くに嵌合し（ユーザの頭部又は肩に装着されたオープンイヤオーディオデバイスを含む）、かつ音響エネルギーを耳の中へと、又は耳に向けて放射するデバイスを意味することが意図されている。ウェアラブルオーディオデバイスは、ヘッドフォン、イヤホン、イヤピース、ヘッドセット、イヤバッド、又はスポーツ用ヘッドフォンと称されることもあり、有線式又は無線式とすることができる。ウェアラブルオーディオデバイスは、オーディオ信号を音響エネルギーに変換するための音響ドライバを含み、音響ドライバは、空気伝導技法及び／又は骨伝導技法を利用することができる。この音響ドライバは、イヤカップ内に収容され得る。以下の図及び説明のうちのいくつかは、一対のイヤカップ（各々が音響ドライバを含む）を有する単一のウェアラブルオーディオデバイスを示し得るが、ウェアラブルオーディオデバイスは、１つのイヤカップのみを有する単一のスタンドアローンユニットであり得ることを理解されたい。ウェアラブルオーディオデバイスの各イヤカップは、例えば、ヘッドバンドによって、及び／又はイヤカップ若しくはヘッドフォン内の音響トランスデューサにオーディオ信号を伝えるリード線によって、別のイヤカップ又はヘッドフォンへと機械的に接続され得る。ウェアラブルオーディオデバイスは、音声信号を無線で受信する構成要素を含み得る。ウェアラブルオーディオデバイスは、アクティブノイズ低減（active noise reduction、ＡＮＲ）システムの構成要素を含み得る。ウェアラブルオーディオデバイスは、このデバイスがヘッドセットとして機能することができるように、マイクロフォンなどの他の機能も含み得る。図１は、オーディオ眼鏡フォームファクタの一実施例を示しているが、他の実施例では、ヘッドセットは、耳内、耳上、耳周り、又は近耳ヘッドセットであり得る。いくつかの実施例では、ウェアラブルオーディオデバイスは、耳を耳の環境及び周囲に開放しながら、耳に向けて音響エネルギーを放射する音響ドライバを含むオープンイヤデバイスであり得る。

本明細書で使用される「頭部伝達関数」又は頭字語「ＨＲＴＦ」という用語は、当業者にとってのその通常の意味に加えて、聴取者が空間内の音の元の位置を近似することができるように、人間の耳が知覚するバイノーラル音を計算、判定、又は近似する任意の方法を広く反映するように意図されている。例えば、ＨＲＴＦは、修正されたオーディオ信号を聞いているユーザが、音を空間内の特定の点で生じているものと知覚することができるように、オーディオ信号に適用し、又は畳み込むことができる数式又は数式の集合であり得る。本明細書で言及されるこれらのＨＲＴＦは、例えば、ユーザの固有の生理（例えば、頭部、耳、鼻腔、口腔などのサイズ及び形状）を考慮して、各ユーザに固有に生成され得る。代替的に、全てのユーザに適用される一般化されたＨＲＴＦが生成され得るか、又は、ユーザのサブセットに適用される複数の一般化されたＨＲＴＦが生成され得る（例えば、年齢、性別、頭部サイズ、耳サイズ、又は他のパラメータなどの、そのユーザの固有の頭部伝達関数を少なくとも大まかに示す特定の生理学的特性に基づいて）ことを理解されたい。一実施例では、ＨＲＴＦの特定の態様は、正確に判定され得る一方、他の態様は、粗く近似される（例えば、両耳間遅延を正確に判定するが、振幅応答を粗く判定する）。

以下の説明は、図１～図９を考慮して読まれるべきである。図１は、本開示によるオーディオシステム１００の概略図である。オーディオシステム１００は、ウェアラブルオーディオデバイス１０２及び周辺デバイス１０４を含む。ウェアラブルオーディオデバイス１０２は、オーディオ信号、例えば、以下で考察されるオーディオ信号、例えば、修正されたオーディオ信号１４６Ａ～１４６Ｂ（図２Ａ及び図２Ｂに示される）を受信し、その信号を環境Ｅ内の、及びユーザ又は装着者の耳に近接する音響エネルギーに生成又はレンダリングすることが可能なデバイスであることが意図されている。一実施例では、図１に例解されるように、ウェアラブルオーディオデバイス１０２は、ユーザの耳の外側の、及びユーザの耳に近接する音響エネルギーをレンダリングすることが可能な眼鏡フォームファクタオーディオデバイスを備える。他の実施例では、ウェアラブルオーディオデバイス１０２は、耳上若しくは耳内ヘッドフォン、イヤホン、イヤピース、ヘッドセット、イヤバッド、又はスポーツヘッドフォンから選択され得ることを理解されたい。周辺デバイス１０４は、オーディオ信号、例えば、以下で考察される修正されたオーディオ信号１４６Ａ～１４６Ｂを、生成し、かつ／又は別個のデバイス、例えば、ウェアラブルオーディオデバイス１０２に伝送することが可能な、任意の電子デバイスから選択され得る。一実施例では、図１及び図３～図９に例解されるように、周辺デバイス１０４は、タブレットであることが意図されている。しかしながら、周辺デバイス１０４は、スマートフォン、ラップトップ若しくはパーソナルコンピュータ、ウェアラブルオーディオデバイス１０２と嵌合係合及び／若しくはこれを充電するように構成されたケース、又は任意の他のポータブル及び／若しくは可動計算デバイスから選択され得ることを理解されたい。

図２Ａに例解されるように、ウェアラブルオーディオデバイス１０２は、第１の回路１０６を更に含む。第１の回路１０６は、本明細書に記載されるように、それぞれ、第１の非一時的コンピュータ可読命令のセット１１２を実行及び記憶して、第１の回路１０６及びウェアラブルオーディオデバイス１０２の様々な機能を実施するように構成された第１のプロセッサ１０８及び第１のメモリ１１０を含む。第１の回路１０６は、周辺デバイス１０４との有線接続又は無線接続、例えば、データ接続１４２（以下で考察される）を介して、データ、例えば、オーディオデータを送信及び／又は受信するように構成された第１の通信モジュール１１４を更に含む。いくつかの実施例では、送信及び／又は受信されたオーディオデータは、以下で考察される修正されたオーディオ信号１４６Ａ～１４６Ｂを含む。第１の通信モジュール１１４は、上記で考察されるデータを送信及び／又は受信する目的で第１のアンテナ１１６を更に含むことができることを理解されたい。更に、例解されていないが、ウェアラブルオーディオデバイス１０２は、第１の回路１０６上に位置するか、第１の回路１０６内に位置するか、又は第１の回路１０６と電子通信するバッテリ、キャパシタ、スーパーキャパシタ、又は他の電源を含むことができることを理解されたい。

第１の回路１０６はまた、少なくとも１つのセンサ、すなわち第１のセンサ１１８を含む。第１のセンサ１１８は、ウェアラブルオーディオデバイス１０２上に位置することができるか、ウェアラブルオーディオデバイス１０２内に位置することができるか、又はウェアラブルオーディオデバイス１０２と通信することができる。第１のセンサ１１８は、ジャイロスコープ、加速度計、磁力計、全地球測位センサ（ＧＰＳ）、近接センサ、１つ若しくは複数のマイクロフォン、１つ若しくは複数のカメラ（例えば、前搭載カメラ及び後搭載カメラ）、又は環境Ｅ内のウェアラブルオーディオデバイス１０２の第１の位置Ｐ１、周辺デバイス１０４に対する第１の位置Ｐ１、環境Ｅに対するウェアラブルオーディオデバイス１０２の第１の配向Ｏ１、周辺デバイス１０４に対するウェアラブルオーディオデバイス１０２の第１の配向Ｏ１、又はウェアラブルオーディオデバイス１０２と周辺デバイス１０４との間の距離のうちの少なくとも１つを取得することが可能な任意の他のセンサデバイス、のうちの少なくとも１つから選択される。第１の位置Ｐ１及び第１の配向Ｏ１について、以下で更に詳細に考察される。更に、第１の回路１０６はまた、少なくとも１つのスピーカ１２０を含むことができる。一実施例では、第１のセンサ１１８は、以下で考察されるように、環境Ｅの画像データ並びに／又は周辺デバイス１０４の相対位置及び相対配向を取得することが可能である１つ又は複数のカメラ、例えば前搭載カメラ及び後搭載カメラである。一実施例では、第１の回路１０６は、オーディオ信号、例えば、修正されたオーディオ信号１４６Ａ～１４６Ｂ（以下で考察される）を受信し、かつオーディオ再生ＡＰＢを生成して、ユーザの耳に近接するオーディオ信号と関連付けられた可聴音響エネルギーを生成するように構成された複数のスピーカ１２０Ａ～１２０Ｂを含む。

図２Ｂに例解されるように、周辺デバイス１０４は、第２の回路１２２を更に含む。第２の回路１２２は、本明細書に記載されるように、それぞれ、第２の非一時的コンピュータ可読命令のセット１２８を実行及び記憶して、第２の回路１２２及び周辺デバイス１０４の様々な機能を実施するように構成された第２のプロセッサ１２４及び第２のメモリ１２６を含む。第２の回路１２２は、ウェアラブルオーディオデバイス１０２（以下で考察される）及び／又はインターネットに接続することが可能なデバイス、例えば、ローカルルータ又はセルラタワーとの有線接続又は無線接続を介して、データ、例えば、オーディオデータを送信及び／又は受信するように構成された第２の通信モジュール１３０を更に含む。いくつかの実施例では、送信及び／又は受信されたオーディオデータは、以下で考察される修正されたオーディオ信号１４６Ａ～１４６Ｂを含む。第２の通信モジュール１３０は、上記で考察されるデータを送信及び／又は受信する目的で第２のアンテナ１３２を更に含むことができることを理解されたい。更に、例解されていないが、周辺デバイス１０４は、第２の回路１２２上に位置するか、第２の回路１２２中に位置するか、又は第２の回路１２２と電子通信する電池、キャパシタ、スーパーキャパシタ、又は他の電源を含むことができることを理解されたい。

第２の回路１２２はまた、少なくとも１つのセンサ、すなわち第２のセンサ１３４を含むことができる。第２のセンサ１３４は、周辺デバイス１０４上に位置することができるか、周辺デバイス１０４内に位置することができるか、又は周辺デバイス１０４と通信することができる。第２のセンサ１３４は、ジャイロスコープ、加速度計、磁力計、全地球測位センサ（ＧＰＳ）、近接センサ、マイクロフォン、カメラ若しくは複数のカメラ（例えば、前カメラ及び後カメラ）、又は環境Ｅ内の周辺デバイス１０４の第２の位置Ｐ２、ウェアラブルオーディオデバイス１０２に対する第２の位置Ｐ２、環境Ｅに対する周辺デバイス１０４の第２の配向Ｏ２、ウェアラブルオーディオデバイス１０２に対する周辺デバイス１０４の第２の配向Ｏ２、又はウェアラブルオーディオデバイス１０２と周辺デバイス１０４との間の距離のうちの少なくとも１つを取得することが可能な任意の他のセンサデバイス、のうちの少なくとも１つから選択される。第２の位置Ｐ２及び第２の配向Ｏ２について、以下で更に詳細に考察する。一実施例では、第２のセンサ１３４は、以下で考察されるように、環境Ｅの画像データ並びに／又はウェアラブルオーディオデバイス１０２の相対位置及び相対配向を取得することが可能である１つ又は複数のカメラ、例えば前搭載カメラ及び後搭載カメラである。

更に、第２の回路１２２はまた、少なくとも１つのデバイススピーカ１３６、及びディスプレイ１３８を含むことができる。一実施例では、少なくとも１つのデバイススピーカ１３６は、オーディオ信号又はオーディオ信号の一部分、例えば、修正されたオーディオ信号１４６Ａ～１４６Ｂ（以下で考察される）を受信し、かつオーディオ再生ＡＰＢを生成して、ウェアラブルオーディオデバイス１０２から固定距離にある周辺デバイス１０４の第２の位置Ｐ２でオーディオ信号と関連付けられた可聴音響エネルギーを生成するように構成されている。ディスプレイ１３８は、ビデオコンテンツ１４０を表示することが可能なスクリーンであることが意図されている。一実施例では、ディスプレイ１３８は、液晶ディスプレイ（Liquid-Crystal Display、ＬＣＤ）であり、またタッチスクリーン機能を含み得、例えば、抵抗性又は容量性の感知を利用して、スクリーン表面に対するユーザの指の接触及び位置を判定することができる。ディスプレイ１３８は、発光ダイオード（Light-Emitting Diode、ＬＥＤ）スクリーン、有機発光ダイオード（Organic Light-Emitting Diode、ＯＬＥＤ）スクリーン、プラズマスクリーン、又は視聴者若しくはユーザにピクチャ若しくはビデオ、例えば、ビデオコンテンツ１４０を提示することが可能な任意の他のディスプレイ技術、のうちの少なくとも１つから選択され得ることも理解されたい。

上記に述べたように、ウェアラブルオーディオデバイス１０２及び／又は周辺デバイス１０４は、それぞれ、第１のセンサ１１８及び第２のセンサ１３４を使用して、環境Ｅ内の及び／又は互いに対する、それらのそれぞれの位置及び配向を取得するように構成されている。一実施例では、環境Ｅは、部屋、例えば、少なくとも１つの壁によって囲まれ、かつ天井又は屋根によって覆われた床によって画定される空間であり、部屋内で、単一の位置が、それぞれ、長さ寸法、幅寸法、及び高さ寸法と関連付けられた画定される空間内のＸ、Ｙ、及びＺ位置を有するものとして、三次元デカルト座標系によってモデル化及び画定され得る。したがって、ウェアラブルオーディオデバイス１０２の第１の位置Ｐ１を取得することは、例えば、部屋内のウェアラブルオーディオデバイスのデカルト座標によって純粋に定義される、環境Ｅ内で絶対的であり得るか、又は他のデバイス、すなわち周辺デバイス１０４の位置に相対的であり得る。

同様に、各デバイスは、各デバイスの中心に原点を有する球面座標系内のそれぞれのヨー、ピッチ、及びロールによって定義されるデバイス自体の配向を取得することができ、ヨーは、デバイスを通り、かつデバイスの真下の床に直交する垂直軸を中心とする回転を含み、ピッチは、垂直軸に直交し、かつ部屋の少なくとも１つの壁から延在する第１の水平軸を中心とする回転を含み、ロールは、垂直軸及び第１の水平軸に直交する第２の水平軸を中心とする回転を含む。一実施例では、ウェアラブルオーディオデバイス１０２の第１の配向Ｏ１と周辺デバイス１０４の第２の配向Ｏ２とが互いに対して定義される場合、各デバイスは、各デバイスのヨー、ピッチ、及びロールに部分的に基づく、各デバイス間の相対仰角と、相対方位角と、を表すベクトルを判定し得る。第１の配向Ｏ１及び第２の配向Ｏ２を、例えば、環境Ｅ内の所定の及び／又は固定された位置に対して、環境Ｅ内で絶対的に取得することもできることも理解されたい。

上記に述べたように、オーディオシステム１００のデバイスのそれぞれの回路、例えば、ウェアラブルオーディオデバイス１０２の第１の回路１０６及び周辺デバイス１０４の第２の回路１２２は、データ接続１４２を確立し、データ接続１４２を介して有線データ又は無線データを送信及び／又は受信することが可能である。例えば、第１の通信モジュール１１４の第１のアンテナ１１６は、第２の通信モジュール１３０の第２のアンテナ１３２とのデータ接続１４２を確立するように構成されている。データ接続１４２は、Ｂｌｕｅｔｏｏｔｈ、Ｂｌｕｅｔｏｏｔｈ低エネルギー（Bluetooth Low-Energy、ＢＬＥ）若しくはＬＥオーディオ、無線周波数識別（Radio Frequency Identification、ＲＦＩＤ）通信、低電力無線周波数伝送（Low-Power Radio frequency transmission、ＬＰ－ＲＦ）、近距離無線通信（Near-Field Communication、ＮＦＣ）、又は第１の回路１０６と第２の回路１２２との間に、ペアリング接続とも称される、永久的又は半永久的な接続を確立することが可能な任意の他のプロトコル若しくは通信規格のうちの少なくとも１つから選択された１つ以上の有線データプロトコル又は無線データプロトコルを利用することができる。データ接続１４２を、ウェアラブルオーディオデバイス１０２の第１の回路１０６及び周辺デバイス１０４の第２の回路１２２によって利用して、上記で考察されるように、各デバイスのそれぞれの位置及び配向、例えば、第１の位置Ｐ１、第２の位置Ｐ２、第１の配向Ｏ１、第２の配向Ｏ２、及びデバイス間の距離、に関するデータを送信及び／又は受信することができ、これにより、各デバイスは、それ自体及び／又はオーディオシステム１００内の他のデバイスの位置及び配向を認識することができることを理解されたい。追加的に、上記に述べたように、データ接続１４２を使用して、オーディオシステム１００のデバイス間でオーディオデータ、例えば、修正されたオーディオ信号１４６Ａ～１４６Ｂ（以下で考察される）を送信及び／又は受信することもできる。

オーディオシステム１００の各デバイスのそれぞれの位置及び配向を取得する能力に加えて、オーディオシステム１００はまた、例えば、少なくとも１つの頭部伝達関数（ＨＲＴＦ）（以下で考察される）を使用してフィルタ処理又は修正された、修正されたオーディオ信号１４６Ａ～１４６Ｂ（また、以下で考察される）を使用して、環境Ｅ内のユーザに外在化された音をレンダリングするように構成されている。オーディオシステム１００の一実施例では、拡張現実オーディオシステム及びプログラムを使用するための音外在化は、環境Ｅをモデル化することと、環境Ｅ内の様々な位置に仮想音源、例えば、仮想音源１４４Ａ～１４４Ｇ（「複数の仮想音源１４４」又は「仮想音源１４４」と総称される）を作成することと、仮想音源１４４（図３～図９に示される）からユーザの耳の位置までの音波及びこれらの音波のそれぞれの経路をモデル化又はシミュレートして、仮想音源１４４が現実又は有形の音源、例えば、各仮想音源位置に位置する物理スピーカであるかのようにユーザに対して音の知覚をシミュレートすることと、によって達成される。モデル化又はシミュレートされた音経路ごとに、計算処理を使用して、少なくとも一対のＨＲＴＦ（１つは左耳と関連付けられ、１つは右耳と関連付けられる）をオーディオ信号に適用又は畳み込みして、修正されたオーディオ信号１４６Ａ～１４６Ｂを生成する。ＨＲＴＦが適用され、かつ修正されたオーディオ信号１４６Ａ～１４６Ｂが生成されると、修正されたオーディオ信号１４６Ａ～１４６Ｂを、ウェアラブルデバイス１０２の複数のスピーカ１２０Ａ～１２０Ｂ（左スピーカ及び右スピーカ）を通して再生して、ユーザの心理を錯覚させて、ユーザがそれぞれの仮想音源１４４の位置に位置する実際の外在化された音源からの音を知覚していると思うようにすることができる。以下で説明するように、これらの修正されたオーディオ信号１４６Ａ～１４６Ｂのシミュレートされた現実性の品質を、環境Ｅ内の各仮想音源からの第一次音響反射及び第二次音響反射をシミュレートすること、及びシミュレートされた信号を減衰又は遅延させて、空気中の音信号の伝搬の飛行時間を近似することによって、増加させることができる。ウェアラブルオーディオデバイス１０２及び／又は周辺デバイス１０４のいずれかは、本明細書で考察されるように、ＨＲＴＦを処理、適用、又は畳み込みして、仮想音源をシミュレートすることができることを理解されたい。しかしながら、フォームファクタ、したがって追加の処理構成要素のための空間は、典型的には、ウェアラブルオーディオデバイス、例えば、ウェアラブルオーディオデバイス１０２において制限されるため、考察されるオーディオ信号とのＨＲＴＦの適用又は畳み込みは、周辺デバイス１０４の回路によって達成される可能性が高く、次いで、修正されたオーディオ信号１４６Ａ～１４６Ｂをウェアラブルオーディオデバイスに送信又はストリーミングして、オーディオ再生ＡＰＢとしてレンダリングすることができることも理解されたい。

いくつかの実施例では、ウェアラブルオーディオデバイス１０２の位置に対する複数の仮想音源１４４の各仮想音源の位置を利用して、それぞれの複数の直接音経路１４８Ａ～１４８Ｇ（「複数の直接音経路１４８」又は「直接音経路１４８」と総称される）、すなわち、各仮想音源１４４から直接ユーザの耳への少なくとも１つの直接音経路１４８を計算及びシミュレートすることができる。各音経路は、仮想音源１４４からウェアラブルオーディオデバイス１０２へのそれぞれの直接音経路１４８の計算された距離（例えば、図３に示される計算された距離Ｄ１、並びに図５及び図７に示される計算された距離Ｄ２～Ｄ３）と関連付けられ得る。現実の音波伝搬は、原点からの距離又は半径の関数として散逸するため、計算された距離を、ＨＲＴＦによって使用して、計算された距離の関数として、例えば、本明細書で考察される各音経路について１／距離として、音信号を減衰及び／又は遅延させることができる。直接音経路１４８ごとに、オーディオシステム１００は、複数の左ＨＲＴＦ１５０及び複数の右ＨＲＴＦ１５２のうちの少なくとも１つを利用して、指向性及び／又は計算された距離を考慮するように元のオーディオ信号をフィルタリング又は修正することができる。一実施例では、ＨＲＴＦは、オーディオ信号をフィルタリング及び／又は減衰するために、各仮想音源１４４とウェアラブルオーディオデバイス１０２との間の方位角、仰角、及び距離を利用することができる。一実施例では、左ＨＲＴＦ及び右ＨＲＴＦは、選定される特定の対又は個々のＨＲＴＦがデバイス間の特定の相対方位角及び／又は特定の相対仰角に基づいて選定される所定のデータベースから取得され得ることを理解されたい。したがって、いくつかの例示的な実装形態では、それぞれのＨＲＴＦは、直接計算されるのではなく、異なる方位角及び／又は相対的仰角についてのフィルタ係数のデータベースとして記憶される。

図３及び図４に例解される一実施例では、オーディオシステム１００は、単一の仮想音源１４４Ａからの直接音をシミュレートするように構成されている。図３に示されるように、オーディオシステム１００は、第１の位置Ｐ１及び第１の配向Ｏ１にあるウェアラブルオーディオデバイス１０２と、第２の位置Ｐ２及び第２の配向Ｏ２にある周辺デバイス１０４と、を含む。示されるように、単一の仮想音源１４４Ａは、周辺デバイス１０４の中心Ｃで生成又はシミュレートされる。仮想音源１４４Ａは、直接音経路１４８Ａに沿った所与のオーディオ信号の中央オーディオチャネルをシミュレートすることが意図されている。追加的に、ウェアラブルオーディオデバイス１０２及び周辺デバイス１０４の位置は、互いに対して、又は環境Ｅにおいて絶対的に既知であるため、仮想音源１４４Ａの位置も既知であり、したがって、第１の音源１４４Ａとウェアラブルオーディオデバイス１０２との間の距離は、例えば、図３に示される計算された距離Ｄ１として計算され得る。上記で考察されるように、かつ図４に例解されるように、オーディオシステム１００は、元の中央チャネルオーディオ信号を左ＨＲＴＦ１５０及び右ＨＲＴＦ１５２に適用及び畳み込みして、仮想音源１４４Ａからユーザの左耳及び右耳への直接音経路１４８Ａをそれぞれシミュレートするように左スピーカ及び右スピーカ（例えば、図２に示されるスピーカ１２０Ａ及び１２０Ｂ）を通して再生され得る修正されたオーディオ信号１４６Ａ～１４６Ｂにすることによって、オーディオ信号を修正して、中央チャネルオーディオを、中央チャネルオーディオが周辺デバイス１０４の中心Ｃに対応する位置及び距離で生成されているかのようにシミュレートすることができる。図４において、直接音経路１４８Ａは、直接音経路１４８Ａが左ＨＲＴＦ１５０によって修正された修正されたオーディオ信号１４６Ａと、右ＨＲＴＦ１５２によって修正された、修正されたオーディオ信号１４６Ｂと、の両方をどのように表すことができるかを例解するために概略的に分割されていることを理解されたい。簡略化のために、以下の例解及び説明は、個々の音経路のみを参照する。しかしながら、各音経路は、上記で考察されるように、左右のＨＴＲＦを使用して修正された２つの別個の修正されたオーディオ信号を概略的に表すことができることを理解されたい。

中央チャネルオーディオ信号と関連付けられた仮想音源１４４Ａと同様に、左チャネルオーディオ信号及び右チャネルオーディオ信号は、図５に例解されるように、追加の仮想音源、例えば、１４４Ｂ及び１４４Ｃを通してシミュレートされ得る。例解されるように、周辺デバイス１０４の左側Ｌに近接して左チャネルオーディオをシミュレートするように仮想音源１４４Ｂを生成することができ、周辺デバイス１０４の右側Ｒに近接して右チャネルオーディオをシミュレートするように仮想音源１４４Ｃを生成することができる。また、これらのオーディオ信号を、仮想音源１４４Ｂ及び１４４Ｃ間に等距離にファントム中央チャネルが作成されるように生成することができ、これにより、仮想音源１４４Ａを通して中央チャネルオーディオをシミュレートする必要がないことを理解されたい。一実施例では、図５に例解されるように、仮想音源１４４Ｂ及び１４４Ｃは、ウェアラブルオーディオデバイス１０２の第１の位置Ｐ１を原点として使用するとき、仮想音源１４４Ｂ及び１４４Ｃ間に作成される角度αが、中心線ＣＬを中心として約３０度、例えば－１５～＋１５度であるように位置決めされ得る。この角度は、中心線ＣＬを中心として０～１８０度の範囲内、例えば、－７５～＋７５度、－５０～＋５０度、－３０～＋３０度、又は－５～＋５度、の任意の角度から選択され得ることを理解されたい。

追加的に、他の仮想音源構成が可能である。例えば、図６は、５．１サラウンド音システムをシミュレートする仮想音源１４４の構成を例解する。例えば、仮想音源１４４Ａ～１４４Ｃは、上記で考察されるように、前中央、前左、及び前右チャネルオーディオ信号をシミュレートするために、ウェアラブルオーディオデバイス１０２の前の、かつ周辺デバイス１０４に近接する空間をシミュレートする。５．１サラウンド音効果を生成するために、２つの追加の仮想音源、例えば、１４４Ｄ及び１４４Ｅを、ウェアラブルオーディオデバイス１０２の背後でシミュレートして、それぞれ、後左オーディオ信号及び後右オーディオ信号をシミュレートする。他の配置及び構成が可能であり、例えば、オーディオシステム１００が７．１サラウンド音システム及び９．１サラウンド音システムをシミュレートすることができるように、追加の仮想音源を追加することができ、例解されていないが、シミュレートされたベースチャネルオーディオを提供するための少なくとも１つのシミュレートされたサブウーファを含むこともできることを理解されたい。

代替的に、例解されていないが、前述の例示的な構成のいずれか内の１つ以上の仮想音源１４４は、現実の音源、例えば、環境Ｅ内の、置換することが意図されている仮想音源の近似場所に配置された現実の有形のスピーカによって置換され得ることを理解されたい。例えば、仮想音源１４４Ａに対して示された場所でレンダリングされた中央チャネルオーディオ信号を、置換することができ、すなわち、その位置で仮想的に生成することができず、少なくとも１つのデバイススピーカ１３６は、オーディオ再生ＡＰＢが中央チャネルオーディオのみを含む周辺デバイス１０４の場所で、オーディオ再生ＡＰＢをレンダリングすることができる。同様に、ベースオーディオチャネルに対応するオーディオの指向性をシミュレートすることは困難であり得るため、現実のサブウーファを環境Ｅ内に配置して、仮想等価ベース音源を置換することができる。前述のものに加えて、又は代替として、前述の例示的な構成のいずれか内の１つ以上の仮想音源１４４は、本明細書で考察されるように、仮想化又は空間化されることなく、ウェアラブルオーディオデバイス１０２によってレンダリングされ得ることを理解されたい。例えば、左オーディオチャネル、右オーディオチャネル、及び中央オーディオチャネルを利用する構成では、上記で考察されるように、オーディオシステム１００は、それらのチャネルのうちの１つ以上をシミュレートする環境Ｅ内の仮想音源１４４を生成することによって、それらのチャネルのうちのいずれかを仮想化又は空間化することを選定することができる。しかしながら、オーディオシステム１００は、それらのチャネルのうちの１つ以上を空間化することに加えて、又は代替として、非空間化されているウェアラブルオーディオデバイス１０２のスピーカにおいてオーディオをレンダリングすることができ、例えば、それらのチャネルのうちの１つ以上は、ウェアラブルオーディオデバイス１０２によって可聴音にレンダリングされ、ユーザの頭部の内側から到来しているかのようにユーザによって知覚され得る。

加えて、いくつかの実装形態では、オーディオを所与の場所（周辺デバイスのディスプレイの中心など）に空間的にピン留めするための本明細書に記載の技法は、オーディオの部分が空間的にピン留めされ、かつ他の部分がそうでないように、オーディオを分離して、周波数及び／又はチャネルによって空間的にピン留めすることができる。例えば、サブウーファチャネルのためのものなどの、低周波数に関するオーディオの部分は、それらの低周波数が他の周波数と比較して相対的に空間的／方向的に不可知であるため、本明細書に様々に記載される技法を使用して空間化されることから除外され得る。言い換えれば、低周波数及び／又はサブウーファチャネルの場合、ユーザの脳が低周波数及び／又はサブウーファチャネルの音源を定位するために使用することができる情報がほとんどなく、そのため、オーディオを空間的にピン留めされるように変換するときにそれらの周波数及び／又はそのチャネルを含めるとすれば、（とにかく、ユーザが、それらの低周波数及び／又はサブウーファチャネルがどこから到来しているのかを見分けることができないであろうため）心理音響的利益をほとんど伴わずに計算コストを追加するであろう。この理由により、低周波数が方向不可知であるため、オーディオシステムにおけるサブウーファを、一般に部屋のどこにでも配置することができる。いくつかのそのような実装形態では、これらの技法は、本明細書に様々に記載されるように空間ピン留めを実行する前に、周波数、チャネル、及び／又は部分（例えば、低周波数及び／又はサブウーファチャネル）を分離することと、周波数、チャネル、及び／又は部分の残りについて空間ピン留めを実行することと、次いで、非空間ピン留め態様（例えば、低周波数及び／又はサブウーファチャネル）を空間ピン留め態様（例えば、全ての他の周波数及び／又は全ての他のチャネル）と組み合わせることと、を含む。

図７～図９に対応する以下の実施例では、２つの仮想音源のみ、すなわち仮想音源１４４Ｂ及び１４４Ｃが記載及び例解される。しかしながら、上記で詳述したように、１つ以上のベースチャネルをシミュレートするための１つ以上のサブウーファを有する構成だけでなく、より多くの又はより少ない仮想音源を有する他の構成も可能であることを理解されたい。上記で考察されるように、各仮想音源１４４の位置及び配向は、周辺デバイス１０４の位置及び配向に対して、ピン留めされ、ロックされ、又は別様に空間的に固定される。言い換えれば、周辺デバイス１０４が、環境Ｅ内で、又はウェアラブルオーディオデバイス１０２に対して、移動し、回転し、枢動し、傾斜し、又は別様に位置、場所、若しくは配向を変化させた場合、複数の仮想音源１４４は、各仮想音源１４４の位置及び配向が周辺デバイス１０４に対して固定されるように、比例的に移動し、回転し、枢動し、傾斜し、又は別様に位置、場所、若しくは配向を変化させることとなる。オーディオシステム１００のデバイスは、互いに対する又は環境Ｅ内でのこれらのデバイスの相対的な位置及び配向を取得することが可能であるため、デバイス及び／又は仮想音源１４４間の距離をＨＲＴＦによって利用して、音信号を減衰及び／又は遅延させて、現実の音波がそれぞれの仮想音源１４４の位置から空気中を伝搬するときに経験するであろう実際の飛行時間をシミュレートすることができる。したがって、左ＨＲＴＦ１５０及び右ＨＲＴＦ１５２を使用して元のオーディオ信号を修正されたオーディオ信号１４６Ａ及び１４６Ｂに修正することを変更することによって、複数の現実の外部音源によって経験されるであろう現実世界の指向性及び現実世界の時間遅延を、ウェアラブルオーディオデバイス１０２を介して装着者、ユーザ、又は聴取者に対してシミュレートすることができる。追加的に、いくつかの実施例では、環境Ｅ内の仮想音源の位置は、周辺デバイス１０４の位置及び配向に比例してピン留め又は固定され、例えば、周辺デバイス１０４の移動に比例して移動し、回転し、枢動し、傾斜し、又は別様に位置、場所、又は配向を変化させることとなるが、いくつかの実施例では、各仮想音源の高さは、ユーザの真下の床に対する特定の高さに留められるか、又は制限される。例えば、ユーザが、周辺デバイスのスクリーンをユーザの上方の天井に実質的に面するように配置する回転で周辺デバイスを４５度枢動させた場合、周辺デバイスの位置の反対側又は背側で空間化又は仮想化された任意の前仮想音源（例えば、５．１サラウンド音構成の）は、比例して枢動し、ユーザの真下の床に近接し得るか、又はこの床の内側にあり得る一方、ユーザの背後で空間化又は仮想化された後仮想音源は、比例して枢動することとなり、ユーザの上方の天井に近接し得るか、又はこの天井の内側にあり得る。したがって、いくつかの実施例では、仮想音源、例えば、少なくとも前及び後のシミュレートされた仮想音源の高さは、床からの特定の高さ、例えば、床からおよそウェアラブルオーディオデバイス１０２の高さに固定又はロックされ得る。他の実施例では、仮想音源の高さは、環境Ｅ内の台座又は他の物体の高さに対して固定又はロックされ得る。

動作中、図７に例解されるように、オーディオシステム１００は、２つの仮想音源、例えば、左チャネルオーディオ信号及び右チャネルオーディオ信号に対応する仮想音源１４４Ｂ及び１４４Ｃ、をシミュレートすることができ、仮想音源は、周辺デバイス１０４の第２の配向Ｏ２及び第２の位置Ｐ２に対して空間的にピン留めされ、ロックされ、又は別様に固定される。例解されるように、ユーザが周辺デバイス１０４の配向を回転させるか又は別様に変更する場合、例えば、周辺デバイス１０４を第２の位置Ｐ２を中心として時計回りにおよそ４５度回転させる場合、仮想音源１４４Ｂ及び１４４Ｃの位置は、周辺デバイス１０４から固定距離で位置Ｐ２を中心としておよそ４５度転回することとなり、これにより、周辺デバイス１０４の回転後、周辺デバイス１０４に対する仮想音源１４４Ｂ及び１４４Ｃの位置が回転前と同じになる。特に、ユーザが元の頭部位置、すなわちウェアラブルオーディオデバイス１０２の第１の位置Ｐ１及び第１の配向Ｏ１を維持しながら、周辺デバイス１０４を４５度回転させることによって、ウェアラブルオーディオデバイス１０２に対する各仮想音源１４４Ｂ及び１４４Ｃの位置が変更される。例えば、図７に示されるように、周辺デバイス１０４を時計回りにおよそ４５度回転させると、仮想音源１４４Ｂは、ウェアラブルオーディオデバイス１０２から離れるように移動することとなる一方、仮想音源１４４Ｃは、ウェアラブルオーディオデバイス１０２に近づくように移動することとなる。別の言い方をすれば、示されるように、計算された距離Ｄ２は、増加することとなる一方、計算された距離Ｄ３は、減少することとなる。したがって、ウェアラブルオーディオデバイス１０２に対する周辺デバイス１０４の回転を考慮するために、左ＨＲＴＦ１５０は、ウェアラブルオーディオデバイス１０２までの距離の増加をシミュレートするために、仮想音源１４４Ｂの計算された距離Ｄ２の変化を含むことができる一方、右ＨＲＴＦ１５２は、ウェアラブルオーディオデバイス１０２までの距離の減少をシミュレートするために、仮想音源１４４Ｃの計算された距離Ｄ３の変化を含むことができる。上記で考察されるように、任意の数の仮想音源１４４が上記の例示的な構成のいずれかにおいてシミュレートされ得、各仮想音源１４４を、本明細書に開示されるように、周辺デバイス１０４に対して空間的にピン留め、ロック、又は固定することができることを理解されたい。更に、前述の実施例は、時計回りの回転における周辺デバイス１０４の４５度の単純な回転を開示するにすぎないが、配向又は位置のより複雑な変化、例えば、傾斜、移動、枢動、又はこれらの運動の任意の組み合わせ、を上述したものと同様に考慮することができる。

別の実施例では、オーディオシステム１００は、定位データを利用して、外在化及び／又は仮想化された音源１４４のシミュレートされた現実性を更に増加させ得る。上記に述べたように、各仮想音源１４４からの直接音経路をシミュレートすることに加えて、シミュレートされた音の現実性を増加させるための１つの方法は、伝搬する音信号が音響反射表面から反射してユーザに戻るときに現実のオーディオ源が生成する一次反射及び二次反射をシミュレートする追加の仮想音源１４４を追加することである。言い換えれば、現実の音源は、指向性波だけでなく、例えば、音響反射表面１５４Ａ～１５４Ｄ（「音響反射表面１５４」又は「表面１５４」と総称される）から反射する球面波を生成し、音響反射表面１５４Ａ～１５４Ｄは、壁、床、天井、及び家具などの他の音響反射表面を含むことができるが、これらに限定されない。したがって、定位は、ユーザを取り囲む、例えば、ウェアラブルオーディオデバイス１０２及び／又は周辺デバイス１０４を取り囲む、直近の又は近接するエリア又は環境Ｅのデータを取得するプロセスを指し、このデータの場合、ユーザの環境Ｅ内のオブジェクトの場所、配向、及び／又は音響反射特性を示すものとなる。定位されると、反射経路は、各仮想音源１４４と各表面１５４との間で計算され得る。本明細書では接触点ＣＰと称される、経路が各表面１５４に接触する点を利用して、シミュレートされたときに、元の仮想音源１４４の音響反射をシミュレートする音を生成する新しい仮想音源を生成することができる。これらの新しい仮想音源を生成するための１つの方法は、各仮想音源のミラーリング仮想音源を作成することであり、ミラー仮想音源は、以下の図８に関して記載するように、音響１５４を中心に反射表面ミラーリングされる。ユーザ、ウェアラブルオーディオデバイス１０２、及び／又は周辺デバイス１０４を取り囲む環境Ｅに関する定位データを取得することを支援するために、オーディオシステム１００は、別個のデバイスとして提供できるか、又はウェアラブルオーディオデバイス１０２若しくは周辺デバイス１０４内に統合され得る、定位モジュール１５６（図２Ａ及び２Ｂに示される）を更に含むことができることを理解されたい。例えば、別個の定位モジュール１５６を提供することができ、この場合、別個の定位モジュール１５６が、距離計（例えば、ＬＩＤＡＲセンサ）、近接センサ、カメラ若しくは複数のカメラ、全地球測位センサ（ＧＰＳ）、又は、ユーザ、ウェアラブルオーディオデバイス１０２、周辺デバイス１０４、及び音響反射表面１５４の場所に関する定位データを取得、収集、若しくは生成することが可能な任意のセンサ、デバイス、構成要素、若しくは技術、のうちの少なくとも１つから選択される。一実施例では、定位モジュール１５６は、ウェアラブルオーディオデバイス１０２又は周辺デバイス１０４のいずれかの内部に、例えば、第１のセンサ１１８又は第２のセンサ１３４として統合された少なくとも１つのカメラを含む。定位モジュール１５６はまた、人工ニューラルネットワーク、深層学習エンジン若しくはアルゴリズム、又はカメラによって取り込まれた画像データから環境Ｅ内の音響反射表面１５４の音響特性、場所、及び配向を視覚的に検出するように訓練された他の機械学習アルゴリズムを含むか、又は採用することができる。別の実施例では、定位モジュール１５６は、ユーザ、ウェアラブルオーディオデバイス１０２、又は周辺デバイス１０４が位置する環境の残響時間及び／又は音響減衰特性に関連するデータを収集するように配置されている。例えば、定位モジュール１５６は、専用スピーカを含み得、指定された音信号（例えば、「ピング」又は人間の可聴範囲外の他の信号）を生成し、かつ反射された応答を（例えば、専用マイクロフォンで）測定するように構成され得る。一実施例では、吸収係数は、残響時間、又は環境全体の他の特性から計算され、近似として音響反射表面１５４に適用される。音信号が音響反射表面１５４に特に誘導されるか又は向けられる場合には、元の信号と最初に受信された反射との間の差分を使用して、音響反射表面１５４の吸収係数を計算することができる。一実施例では、定位モジュールは、例えば、ウェアラブルオーディオデバイス１０２又は周辺デバイス１０４に埋め込まれた全地球測位システム（ＧＰＳ）センサを含み、定位モジュール１５６は、各仮想音源１４４のある閾値距離内にある音響反射表面１５４からのデータを選択的に利用することができる。

例えば、定位モジュール１５６を使用して、定位データが取得されると、上記で考察される直接音経路１４８Ａ及び１４８Ｂに加えて、各仮想音源１４４と各音響反射表面１５４との間の経路を判定することができる。各判定された経路と各音響反射表面１５４との間の接合部には、接触点ＣＰがある。一実施例では、環境Ｅ内のオーディオシステム１００の上面図にある図８に例解されるように、オーディオシステム１００は、一次ミラーリング仮想音源１５８Ａ及び１５８Ｂ（「一次ミラーリング仮想音源１５８」又は一次ミラーリング音源１５８」と総称される）を含む。各一次ミラーリング仮想音源１５８は、元の仮想音源１４４の位置と等価な位置に生成され、かつ音響反射表面１５４に関してミラーリングされた、新しい仮想音源である。例えば、例解されるように、仮想音源１４４Ｂと音響反射表面１５４Ａ（壁として例解される）との間の経路（図８の破線によって示される）が判定される。判定された経路が音響反射表面１５４Ａと交わる点は、接触点ＣＰと標記されている。仮想音源１４４Ｂのコピーが、音響反射表面１５４Ａに関してミラーリングされた後の仮想音源１４４Ｂの位置と等価な位置において、一次ミラーリング仮想音源１５８Ａとして生成される。例解される位置で生成されると、この一次ミラーリング音源１５８Ａの位置から生成されたシミュレートされた音は、仮想音源１４４Ｂからの音を、仮想音源１４４Ｂからの音が環境Ｅ内で生成され、かつ音響反射表面１５４Ａからユーザの耳の場所、すなわちおよそウェアラブルオーディオデバイス１０２の場所に反射されているかのようにシミュレートする、第一次又は一次反射音経路１６０Ａ（図８において点線で示される）をシミュレートする。同様の経路を判定及びシミュレートして、仮想音源１４４Ｃの第一次又は一次反射音経路１６０Ｂに対応する一次ミラーリング仮想音源１５８Ｂを生成することができる。

同様に、オーディオシステム１００は、二次ミラーリング仮想音源１６２Ａ～１６２Ｂ（「二次ミラーリング仮想音源１６２」又は二次ミラーリング音源１６２」と総称される）を生成することができる。各二次ミラーリング仮想音源１６２は、元の仮想音源１４４の位置と等価な位置に生成され、かつ異なる音響反射表面１５４に関してミラーリングされた、新しい仮想音源である。例えば、例解されるように、２部分経路（図８において２つの破線によって示される）、すなわち、第１の部分が仮想音源１４４Ｂから音響反射表面１５４Ａ（壁として例解される）まで延在し、第２の部分が経路の第１の部分の終端から第２の音響反射表面１５４Ｂ（壁として例解される）まで延在する経路が判定される。判定された経路の第２の部分が音響反射表面１５４Ｂと交わる点は、接触点ＣＰと標記されている。仮想音源１４４Ｂのコピーが、音響反射表面１５４Ｂに関してミラーリングされた後の仮想音源１４４Ｂの位置と等価な位置において、二次ミラーリング仮想音源１６２Ａとして生成される。例解される位置で生成されると、この二次ミラーリング音源１６２Ａの位置から生成されたシミュレートされた音は、仮想音源１４４Ｂからの音を、仮想音源１４４Ｂからの音が環境Ｅ内で生成され、かつ音響反射表面１５４Ａ及び音響反射表面１５４Ｂからユーザの耳の場所、すなわちおよそウェアラブルオーディオデバイス１０２の場所、に反射されているかのようにシミュレートする、第二次又は二次反射音経路１６４Ａ（図８において点線で示される）をシミュレートする。同様の経路を判定及びシミュレートして、音響反射表面１５４Ａ及び音響反射表面１５４Ｃから反射された第二次又は二次反射音経路１６４Ｂに対応する二次ミラーリング仮想音源１６２Ｂを生成して、仮想音源１４４Ｃの二次反射オーディオをシミュレートすることができる。

図７に関して上述した実施例と同様に、一次ミラーリング仮想音源１５８及び二次ミラーリング仮想音源１６２は、周辺デバイス１０４の配向及び位置に対してピン留めされるか、又は別様に空間的にロックされる。言い換えれば、周辺デバイス１０４が、環境Ｅ内で、又はウェアラブルオーディオデバイス１０２に対して、移動し、回転し、枢動し、傾斜し、又は別様に位置、場所、若しくは配向を変化させた場合、環境Ｅ内の複数の仮想音源１４４は、各仮想音源１４４の位置及び配向が周辺デバイス１０４に対して固定されるように、比例的に移動し、回転し、枢動し、傾斜し、又は別様に位置、場所、若しくは配向を変化させることとなる。仮想音源１４４の場所、位置、及び／又は配向が周辺デバイス１０４とともに変化することとなるため、各一次ミラーリング仮想音源１５８及び各二次ミラーリング仮想音源もまた、それらが各音響反射表面の周りの仮想音源１４４の反射をシミュレートし続けるように移動することとなる。

一次反射音経路１６０及び二次反射音経路１６４は、上記で考察されるあらゆる仮想音源構成、例えば、５．１、７．１、及び９．１サラウンド音構成、並びにベースチャネルオーディオ信号と関連付けられた少なくとも１つの仮想サブウーファを含む構成について、一次ミラー仮想音源１５８及び二次ミラー仮想音源１６２を使用してシミュレートできることを理解されたい。追加的に、本開示は、一次反射及び二次反射に限定されない。例えば、より高次の反射が可能であり、例えば、三次反射、四次反射、五次反射などが可能であるが、追加の次数の反射、したがって、シミュレートされる仮想音源の数が増加するにつれて、計算処理能力及び処理時間は指数関数的にスケーリングする。一実施例では、オーディオシステム１００は、例えば、５．１サラウンド音構成に対応する、６つの仮想音源１４４をシミュレートするように構成されている。各仮想音源１４４について、直接音経路１４８が計算される。各仮想音源１４４について、４つの壁、天井、及び床（例えば、音響反射表面１５４）からの第一次反射に対応する、６つの第一次又は一次反射音経路１６０がある。各第一次反射経路は、他の５つの残りの表面１５４から再び反射して、指数関数的な数の仮想音源及び反射音経路を生成し得る。オーディオシステム１００のいくつかの例示的な実装形態では、第二次反射１６４の数は、環境Ｅの幾何学的形状、例えば、ウェアラブルオーディオデバイス１０２及び仮想音源１４４の位置に対する部屋の形状に依存することを理解されたい。例えば、長方形の部屋形状では、第一次又は一次反射音経路１６０が選択されると、例えば、有効な第二次反射経路を得るには接触点ＣＰが部屋の外側に位置付けられる必要があるような場合、特定の第二次反射１６４が、物理的に可能でない場合がある。したがって、長方形の部屋形状を有する例では、第一次反射音経路１６０ごとに５つの二次反射音経路１６４をシミュレートするのではなく、特定の部屋形状によって引き起こされる無効な第二次反射１６４を考慮するために、３つの二次反射音経路１６４のみがシミュレートされ得ることを理解されたい。例えば、６つの第一次反射１６０及び３０個の第二次反射１６４（例えば、６つの一次音経路１６０の各々が、５つの残りの壁からそれぞれ反射される場合）をシミュレートするのではなく、オーディオシステム１００は、６つの第一次反射１６０及び１８個の第二次反射音経路１６４（例えば、５つの残りの壁のうちの３つからの６つの第一次反射１６０の各々）のみをシミュレートすることができる。オーディオシステム１００は、各シミュレートされた音源から例えばウェアラブルオーディオデバイス１０２までの経路が有効な経路であること、すなわち環境Ｅの幾何学的形状に依存して物理的に実現可能であることを保証するために、全てのシミュレートされた経路にわたって有効性テストを実行するように構成できることも理解されたい。

追加的に、これらの第一次反射及び第二次反射をリアルタイムで生成するために必要とされる潜在的処理能力に起因して、一実施例では、オーディオシステム１００は、例えば、第２のプロセッサ１２４、第２のメモリ１２６、及び／又は非一時的コンピュータ可読命令の第２のセット１２８を使用して、周辺デバイス１０４の第２の回路１２２の処理能力を利用する。しかしながら、オーディオシステム１００のいくつかの例示的な実装形態では、オーディオシステム１００は、ウェアラブルオーディオデバイス１０２の第１の回路１０６の処理能力を利用して、例えば、第１のプロセッサ１０８、第１のメモリ１１０、及び／又は非一時的コンピュータ可読命令の第１のセット１１２を使用して、本明細書で考察される第一次反射音源及び二次反射音源をシミュレートすることができることを理解されたい。更に、オーディオシステム１００は、任意の考えられる組み合わせで、第１の回路１０６と第２の回路１２２との間で処理負荷を分割することができることを理解されたい。

動作中、図９に例解されるように、オーディオシステム１００は、２つの仮想音源、例えば、左チャネルオーディオ信号及び右チャネルオーディオ信号に対応する仮想音源１４４Ｂ及び１４４Ｃをシミュレートすることができ、仮想音源は、周辺デバイス１０４の第２の配向Ｏ２及び第２の位置Ｐ２に対して空間的にピン留めされるか、ロックされるか、又は別様に固定される。例解されるように、ユーザが周辺デバイス１０４の配向を回転させるか又は別様に変更する場合、例えば、周辺デバイス１０４を第２の位置Ｐ２を中心として時計回りにおよそ４５度回転させる場合、仮想音源１４４Ｂ及び１４４Ｃの位置は、周辺デバイス１０４から固定距離で位置Ｐ２を中心としておよそ４５度転回することとなり、これにより、周辺デバイス１０４の回転後、周辺デバイス１０４に対する仮想音源１４４Ｂ及び１４４Ｃの位置が回転前と同じになる。とりわけ、ユーザがユーザの元の頭部位置、すなわちウェアラブルオーディオデバイス１０２の第１の位置Ｐ１及び第１の配向Ｏ１、を維持しながら周辺デバイス１０４を４５度回転させることによって、ウェアラブルオーディオデバイス１０２に対する各仮想音源１４４Ｂ及び１４４Ｃの位置、各一次ミラーリング音源１５８の位置、並びに各二次ミラーリング音源１６２の位置は、変更されることとなる。例えば、図９に示されるように、周辺デバイス１０４を時計回りにおよそ４５度回転させると、仮想音源１４４Ｂは、ウェアラブルオーディオデバイス１０２から離れるように移動することとなる一方、仮想音源１４４Ｃは、ウェアラブルオーディオデバイス１０２に近づくように移動することとなる。追加的に、これらの変化は、ウェアラブルオーディオデバイス１０２の位置Ｐ１に対する仮想音源１５８の移動を考慮するために、各一次ミラーリング仮想音源１４４及び各二次ミラーリング仮想音源１６２の比例的なミラーリング変化をもたらす。したがって、少なくとも１つの左ＨＲＴＦ１５０は、ウェアラブルオーディオデバイス１０２までの距離の増加をシミュレートするために仮想音源１４４Ｂの計算された距離の変化を含むことができ、少なくとも１つの左ＨＲＴＦ１５０は、ウェアラブルオーディオデバイス１０２までの距離の増加をシミュレートするために一次ミラーリング仮想音源１５８Ａの計算された距離の変化を含むことができ、少なくとも１つの左ＨＲＴＦ１５０は、ウェアラブルオーディオデバイス１０２までの距離の増加をシミュレートするために二次ミラーリング仮想音源１６２Ａの計算された距離の変化を含むことができる。同様に、少なくとも１つの右ＨＲＴＦ１５０は、ウェアラブルオーディオデバイス１０２までの距離の増加をシミュレートするために仮想音源１４４Ｂの計算された距離の変化を含むことができ、少なくとも１つの左ＨＲＴＦ１５０は、ウェアラブルオーディオデバイス１０２までの距離の増加をシミュレートするために一次ミラーリング仮想音源１５８Ａの計算された距離の変化を含むことができ、少なくとも１つの左ＨＲＴＦ１５０は、ウェアラブルオーディオデバイス１０２までの距離の増加をシミュレートするために二次ミラーリング仮想音源１６２Ａの計算された距離の変化を含むことができる。仮想音源１４４Ｃの位置及び／又は配向の変化に基づいて、左ＨＲＴＦ１５０及び右ＨＲＴＦ１５２を使用して同様の修正を行うことができる。更に、前述の実施例は、時計回りの回転における周辺デバイス１０４の４５度の単純な回転を開示するにすぎないが、配向又は位置のより複雑な変化、例えば、傾斜、移動、枢動、又はこれらの運動の任意の組み合わせ、を上述したものと同様に考慮することができる。

図１０及び図１１は、本開示による方法２００の例示的なステップを例解する。方法２００は、例えば、周辺デバイス１０４からウェアラブルオーディオデバイス１０２を介して、第１の修正されたオーディオ信号１４６Ａを受信することであって、第１の修正されたオーディオ信号１４６Ａが、周辺デバイス１０４に対するウェアラブルオーディオデバイス１０２の配向Ｏ１に少なくとも部分的に基づく第１の頭部伝達関数（ＨＲＴＦ）１５０を使用して修正される、受信すること（ステップ２０２）と、周辺デバイス１０４からウェアラブルオーディオデバイス１０２を介して、第２の修正されたオーディオ信号１４６Ｂを受信することであって、第２の修正されたオーディオ信号１４６Ｂが、周辺デバイス１０４に対するウェアラブルオーディオデバイス１０２の配向Ｏ１に少なくとも部分的に基づく第２の頭部伝達関数（ＨＲＴＦ）１５２を使用して修正される、受信すること（ステップ２０４）と、環境Ｅ内の周辺デバイス１０４に対するウェアラブルオーディオデバイス１０２の位置Ｐ１を取得することであって、第１の修正されたオーディオ信号１４６Ａを修正すること、及び第２の修正されたオーディオ信号１４６Ｂを修正することが、ウェアラブルオーディオデバイス１０２の位置Ｐ１と周辺デバイス１０４の位置Ｐ２との間の計算された距離Ｄ１ーＤ３に少なくとも部分的に基づく、取得すること（ステップ２０６）と、ウェアラブルオーディオデバイス１０２に対する周辺デバイス１０４の配向Ｏ２を取得することであって、第１のＨＲＴＦ１５０及び第２のＨＲＴＦ１５２が、周辺デバイス１０４の配向Ｏ２に部分的に基づく、取得すること（ステップ２０８）と、ウェアラブルオーディオデバイス１０２の第１のスピーカ１２０Ａを使用して、第１の修正されたオーディオ信号１４６Ａをレンダリングすること（ステップ２１０）と、ウェアラブルオーディオデバイス１０２の第２のスピーカ１２０Ｂを使用して、第２の修正されたオーディオ信号１４６Ｂをレンダリングすること（ステップ２１２）と、を含む。任意選択的に、方法２００は、環境Ｅ内の定位モジュール１５６から定位データを受信すること（ステップ２１４）と、定位データに基づいて、環境Ｅ内の複数の音響反射表面１５４の場所を判定すること（ステップ２１６）と、を更に含み得る。

本明細書で定義及び使用される全ての定義は、辞書の定義、参照により組み込まれる文書における定義、及び／又は定義された用語の通常の意味を制御するものと理解されるべきである。

本明細書及び特許請求の範囲で使用される「ａ」及び「ａｎ」という不定冠詞は、別途明確に示されない限り、「少なくとも１つ」を意味すると理解されるべきである。

本明細書及び特許請求の範囲で使用される「及び／又は」という句は、そのように結合された要素の「いずれか又は両方」、すなわち、ある場合には結合的に存在し、他の場合には分離的に存在する要素を意味すると理解されるべきである。「及び／又は」でリストされた複数の要素は、同じ様式、すなわち、そのように結合された要素の「１つ以上」で解釈されるべきである。他の要素が、具体的に特定された要素に関係するか無関係であるかにかかわらず、「及び／又は」条項によって具体的に特定された要素以外に任意選択的に存在し得る。

本明細書及び特許請求の範囲で使用される場合、「又は」は、上記で定義された「及び／又は」と同じ意味を有すると理解されるべきである。例えば、リスト内の項目を分離する場合、「又は」若しくは「及び／又は」は、包括的であると解釈されるべきであり、すなわち、要素の数又はリストのうちの少なくとも１つを含むが、また１つを超えて含み、任意選択的に、追加のリストにない項目を含む。「のうちの１つのみ」又は「のうちの正確に１つ」、若しくは特許請求の範囲で使用される場合、「からなる」などの用語が別途明確に示される場合のみ、要素の数又はリストのうちの正確に１つの要素を含むことを指す。概して、本明細書で使用される「又は」という用語は、「いずれか」、「のうちの１つ」、「のうちの１つのみ」、又は「のうちの正確に１つ」などの排他性の用語が前に付いている場合に、排他的な選択肢（すなわち、「一方又は他方であるが両方ではない」）を示すものとしてのみ解釈される。

本明細書及び特許請求の範囲で使用される場合、１つ以上の要素のリストに関する「少なくとも１つ」という句は、要素のリスト内の要素のうちの任意の１つ以上から選択された少なくとも１つの要素を意味するが、必ずしも要素のリスト内に具体的にリストされた各及び全ての要素のうちの少なくとも１つを含むわけではなく、要素のリスト内の要素の任意の組み合わせを除外するものではないと理解されるべきである。この定義はまた、具体的に特定された要素に関係するか無関係であるかにかかわらず、要素が、「少なくとも１つ」という句が指す要素のリスト内で具体的に特定される要素以外に任意選択的に存在し得ることを可能にする。

別途明確に示されない限り、１つを超えるステップ又は作用を含む本明細書で特許請求される任意の方法において、方法のステップ又は作用の順序は、必ずしも方法のステップ又は作用が列挙される順序に限定されないことも理解されたい。

特許請求の範囲において、並びに上記の明細書において、「備える（comprising）」、「含む（including）」、「担持する（carrying）」、「有する（having）」、「含有する（containing）」、「関与する（involving）」、「保持する（holding）」、「構成されている（composed of）」などのような全ての移行句は、制限のないこと、すなわち、含むが限定されないことを意味すると理解されるべきである。「～からなる（consisting of）」及び「本質的に～からなる（consisting essentially of）」という移行句に限っては、それぞれ限定的又は半限定的な移行句となる。

記載の主題の上述の例は、多数の方法のいずれかで実施することができる。例えば、いくつかの態様において、ハードウェア、ソフトウェア、又はこれらの組み合わせで実装され得る。いずれかの態様の少なくとも一部がソフトウェアとして実装される場合、ソフトウェアコードは、単一デバイス若しくはコンピュータに提供されるか、又は複数のデバイス／コンピュータに分散されるかにかかわらず、任意の好適なプロセッサ、若しくはプロセッサの集合で実行することができる。

本開示は、想定される任意の技術的に詳細なレベルの統合で、システム、方法、及び／又はコンピュータプログラム製品として実装され得る。コンピュータプログラム製品は、本明の態様をプロセッサに実行させるコンピュータ可読プログラム命令を有するコンピュータ可読記憶媒体（又はメディア）を含み得る。

コンピュータ可読記憶媒体は、命令実行デバイスによって使用するための命令を保持及び記憶することができる有形デバイスとすることができる。コンピュータ可読記憶媒体は、例えば、電子記憶デバイス、磁気記憶デバイス、光学記憶デバイス、電磁記憶デバイス、半導体記憶デバイス、又は前述の任意の好適な組み合わせであり得るが、これらに限定されない。コンピュータ可読記憶媒体のより具体的な例の非網羅的リストには、以下のものが含まれる：ポータブルコンピュータディスケット、ハードディスク、ランダムアクセスメモリ（random access memory、ＲＡＭ）、読み取り専用メモリ（read-only memory、ＲＯＭ）、消去可能プログラマブル読み取り専用メモリ（erasable programmable read-only memory、ＥＰＲＯＭ、又はフラッシュメモリ）、静的ランダムアクセスメモリ（static random access memory、ＳＲＡＭ）、ポータブルコンパクトディスク読み取り専用メモリ（compact disc read-only memory、ＣＤ－ＲＯＭ）、デジタル多用途ディスク（digital versatile disk、ＤＶＤ）、メモリスティック、フロッピーディスク、パンチカード又は溝内で隆起した構造物な命令が記録された機械的に符号化されたデバイス、並びに、上記の好適な組み合わせ。本明細書で使用する場合、コンピュータ可読記憶媒体は、電波などの自由に伝播する電磁波、導波管などの伝送媒体を伝播する電磁波（例えば、光ファイバケーブルを通過する光パルス）、電線を伝送する電気信号などの一過性の信号そのものであると解釈されない。

本明細書に記載のコンピュータ可読プログラム命令は、ネットワーク、例えば、インターネット、ローカルエリアネットワーク、ワイドエリアネットワーク、及び／若しくは無線ネットワークを介して、コンピュータ可読記憶媒体からそれぞれの計算／処理デバイスに、又は外部コンピュータ、若しくは外部記憶デバイスにダウンロードすることができる。ネットワークは、銅伝送ケーブル、光伝送ファイバ、無線伝送、ルータ、ファイアウォール、スイッチ、ゲートウェイコンピュータ、及び／又はエッジサーバを含み得る。各計算／処理デバイスのネットワークアダプタカード、又はネットワークインターフェイスは、ネットワークからコンピュータ可読プログラム命令を受信し、このコンピュータ可読プログラム命令を転送して、それぞれの計算／処理デバイス内のコンピュータ可読記憶媒体に記憶する。

本開示の動作を実行するためのコンピュータ可読プログラム命令は、アセンブラ命令、命令セットアーキテクチャ（instruction-set-architecture、ＩＳＡ）命令、機械命令、機械依存命令、マイクロコード、ファームウェア命令、状態設定データ、集積回路の設定データ、又は、Ｓｍａｌｌｔａｌｋ、Ｃ＋＋などのオブジェクト指向プログラミング言語、「Ｃ」プログラミング言語などの手続き型プログラミング言語、又は類似のプログラミング言語を含む、１つ以上のプログラミング言語の任意の組み合わせで記述されたソースコード若しくはオブジェクトコードであり得る。コンピュータ可読プログラム命令は、全てがユーザのコンピュータで実行され得るか、一部がユーザのコンピュータで実行され得るか、スタンドアロンのソフトウェアパッケージとして実行され得るか、一部がユーザのコンピュータ上で、一部がリモートコンピュータで実行され得るか、又は、全体がリモートコンピュータ若しくはサーバで実行され得る。後者のシナリオでは、リモートコンピュータは、ローカルエリアネットワーク（local area network、ＬＡＮ）若しくはワイドエリアネットワーク（wide area network、ＷＡＮ）を含む任意の種類のネットワークを通じて、ユーザのコンピュータに接続され得るか、又は（例えば、インターネットサービスプロバイダを使用してインターネットを通じて）外部コンピュータに接続され得る。いくつかの例では、例えば、プログラマブルロジック回路、フィールドプログラマブルゲートアレイ（field-programmable gate array、ＦＰＧＡ）、又はプログラマブルロジックアレイ（programmable logic array、ＰＬＡ）を含む、電子回路は、本開示の態様を実行するために、コンピュータ可読プログラム命令の状態情報を使用して電子回路を個別化することによって、コンピュータ可読プログラム命令を実行し得る。

本開示の態様は、本開示の例による方法、機器（システム）、及びコンピュータプログラム製品のフローチャート例解図、及び／又はブロック図を参照して本明細書で記載されている。フローチャート例解図、及び／又はブロック図の各ブロック、並びにフローチャート例解図、及び／又はブロック図のブロックの組み合わせは、コンピュータ可読プログラム命令によって実装することができるということが理解されよう。

コンピュータ可読プログラム命令は、専用目的のコンピュータ、又は他のプログラマブルデータ処理機器のプロセッサに提供されて、機械を製造し得、これにより、コンピュータ若しくは他のプログラマブルデータ処理機器のプロセッサを介して実行する命令は、フローチャート、及び／又はブロック図の１つ以上のブロックで指定された機能／操作を実施するための手段を作り出す。更に、これらのコンピュータ可読プログラム命令は、コンピュータ、プログラマブルデータ処理機器、及び／又は他のデバイスに対して特定の方法で機能するように、指示することができるコンピュータ可読記憶媒体に記憶され得、これにより、命令が記憶されているコンピュータ可読記憶媒体は、フローチャート、及び／若しくはブロック図、又はブロックで指定された機能／操作の態様を実装する命令を有する製造物品を含む。

また、コンピュータ可読プログラム命令は、コンピュータ、他のプログラマブルデータ処理機器、又は他のデバイスにロードされて、コンピュータ、他のプログラマブル機器、又は他のデバイス上で実行されるべき一連の操作ステップに対して、コンピュータ実装プロセスを生成させ得、これにより、コンピュータ、他のプログラマブル機器、又は他のデバイス上で実行する命令は、フローチャート、及び／若しくはブロック図の１つ以上のブロックで指定された機能／操作を実装する。

図中のフローチャート及びブロック図は、本開示の様々な例によるシステム、方法、及びコンピュータプログラム製品について想定される実装のアーキテクチャ、機能、並びに動作を例解する。これに関して、フローチャート又はブロック図の各ブロックは、指定された論理機能（複数）を実装するための１つ以上の実行可能命令を含む、命令のモジュール、セグメント、又は部分に相当し得る。いくつかの代替的な実装形態では、ブロックに記載されている機能は、図に記載された順序から生じ得る。例えば、連続して示される２つのブロックは、実際には実質的に同時に実行され得るか、又は、場合によっては、ブロックは、関与する機能に応じて、逆の順序で実行され得る。更に、ブロック図、及び／又はフローチャート例解図の各ブロック、並びに、ブロック図、及び／又はフローチャート例解図におけるブロックの組み合わせは、特定機能を実行するか、又は専用ハードウェアとコンピュータ命令との組み合わせを操作若しくは実行する専用ハードウェアベースのシステムで実装することができることにも留意されたい。

他の実装形態は、以下の請求項、並びに本出願人が権利を有し得る他の請求項の範囲内にある。

本明細書において、様々な例について記載及び例解してきたが、当業者であれば、様々な他の手段、及び／若しくは、機能を実施し、かつ／又は結果、及び／若しくは、本明細書に記載の１つ以上の利点を得るための構造を容易に着想し、こうした変更形態、及び／若しくは変形形態の各々は、本明細書に記載の例の範囲内にあると見なされる。より一般的には、当業者であれば、本明細書に記載のパラメータ、寸法、材料、及び構成の全てが例示的であること、更に、実際のパラメータ、寸法、材料、及び／又は構成は、特定の用途、又は本発明の教示が使用される用途に依存することを容易に理解するであろう。当業者であれば、日常的な実験を行うだけで、本明細書に記載されている特定例に相当する多くの等価物を認識又は確認することができるであろう。したがって、前述の例は、例示のみとして提示されたものであり、添付の特許請求の範囲及びその同等物の範囲内で、明確に記載、特許請求された以外の方法で例を実施することができるということを理解されたい。本開示の例は、本明細書に記載の各個々の特徴、システム、物品、材料、キット、及び／又は方法を対象とする。更に、２つ以上のこうした特徴、システム、物品、材料、キット、及び／又は方法のいかなる組む合わせも、こうした特徴、システム、物品、材料、キット、及び／又は方法が相互に矛盾しない場合、本開示の発明の範囲内に含まれる。

１００ オーディオシステム
１０２ ウェアラブルデバイス
１０４ 周辺デバイス
１０６ 第１の回路
１０８ 第１のプロセッサ
１１０ 第１のメモリ
１１２ 第１のセット
１１４ 第１の通信モジュール
１１６ 第１のアンテナ
１１８ 第１のセンサ
１２０ スピーカ
１２０Ａ 第１のスピーカ
１２０Ｂ 第２のスピーカ
１２２ 第２の回路
１２４ 第２のプロセッサ
１２６ 第２のメモリ
１２８ 第２のセット
１３０ 第２の通信モジュール
１３２ 第２のアンテナ
１３４ 第２のセンサ
１３６ デバイススピーカ
１３８ ディスプレイ
１４０ ビデオコンテンツ
１４２ データ接続

Claims (25)

1. オーディオ信号をシミュレートするためのコンピュータプログラム製品であって、前記コンピュータプログラム製品は、メモリに記憶された非一時的コンピュータ可読命令のセットを含み、前記非一時的コンピュータ可読命令のセットが、プロセッサで実行可能であり、かつ
   環境内の周辺デバイスに対するウェアラブルオーディオデバイスの配向を取得又は受信することと、
   第１の修正されたオーディオ信号を生成することであって、前記第１の修正されたオーディオ信号が、前記周辺デバイスに対する前記ウェアラブルオーディオデバイスの前記配向に少なくとも部分的に基づく第１の頭部伝達関数（ＨＲＴＦ）を使用して修正される、生成することと、
   第２の修正されたオーディオ信号を生成することであって、前記第２の修正されたオーディオ信号が、前記周辺デバイスに対する前記ウェアラブルオーディオデバイスの前記配向に少なくとも部分的に基づく第２の頭部伝達関数（ＨＲＴＦ）を使用して修正される、生成することと、
   前記第１の修正されたオーディオ信号及び前記第２の修正されたオーディオ信号を前記ウェアラブルオーディオデバイスに送信することであって、前記第１の修正されたオーディオ信号が、前記ウェアラブルオーディオデバイスの第１のスピーカを使用してレンダリングされるように構成されており、前記第２の修正されたオーディオ信号が、前記ウェアラブルオーディオデバイスの第２のスピーカを使用してレンダリングされるように構成されている、送信することと、を行うように構成されている、コンピュータプログラム製品。
2. 前記非一時的コンピュータ可読命令のセットが、
   前記環境内の前記周辺デバイスの位置に対する前記ウェアラブルオーディオデバイスの位置を取得又は受信するように更に構成されており、前記第１の修正されたオーディオ信号を修正すること、及び前記第２の修正されたオーディオ信号を修正することが、前記ウェアラブルオーディオデバイスの前記位置と前記周辺デバイスの前記位置との間の計算された距離に少なくとも部分的に基づく減衰を含む、請求項１に記載のコンピュータプログラム製品。
3. 前記非一時的コンピュータ可読命令のセットが、
   前記ウェアラブルオーディオデバイスに対する前記周辺デバイスの配向を取得又は受信するように更に構成されており、前記第１のＨＲＴＦ及び前記第２のＨＲＴＦが、前記ウェアラブルデバイスに対する前記周辺デバイスの前記配向に部分的に基づく、請求項１に記載のコンピュータプログラム製品。
4. 前記第１の修正されたオーディオ信号及び前記第２の修正されたオーディオ信号が、前記周辺デバイスの中心に近接する第１の仮想音源から生じる第１の直接音をシミュレートするように構成されている、請求項１に記載のコンピュータプログラム製品。
5. 前記第１の修正されたオーディオ信号を生成すること、及び前記第２の修正されたオーディオ信号を生成することが、前記環境内の前記周辺デバイスの位置に近接する第１の仮想音源から生じる第１の直接音をシミュレートすることと、前記周辺デバイスの前記位置に近接する第２の仮想音源から生じる第２の直接音をシミュレートすることと、を含む、請求項１に記載のコンピュータプログラム製品。
6. 前記第１の修正されたオーディオ信号を生成すること、及び前記第２の修正されたオーディオ信号を生成することが、サラウンド音をシミュレートすることを含む、請求項１に記載のコンピュータプログラム製品。
7. 前記第１の修正されたオーディオ信号を生成すること、及び前記第２の修正されたオーディオ信号を生成することが、全ての利用可能なオーディオ周波数及び／又はチャネルのサブセットのみに対して、前記第１のＨＲＴＦ及び前記第２のＨＲＴＦをそれぞれ使用することを含む、請求項１に記載のコンピュータプログラム製品。
8. 前記第１のＨＲＴＦ及び前記第２のＨＲＴＦが、前記環境内の複数の音響反射表面の場所に対応する前記環境内の定位モジュールからの定位データを利用するように更に構成されている、請求項１に記載のコンピュータプログラム製品。
9. 前記第１の修正されたオーディオ信号を生成することが、前記周辺デバイスに近接する第１の仮想音源から生じる第１の直接音をシミュレートすることと、前記複数の音響反射表面のうちの第１の音響反射表面からの前記第１の直接音のシミュレートされた反射に対応する一次反射音をシミュレートすることと、を含む、請求項８に記載のコンピュータプログラム製品。
10. 前記第１の修正されたオーディオ信号を生成することが、前記複数の音響反射表面のうちの第２の音響反射表面からの前記一次反射音のシミュレートされた反射に対応する二次反射音をシミュレートすることを含む、請求項９に記載のコンピュータプログラム製品。
11. 前記第１の修正されたオーディオ信号及び前記第２の修正されたオーディオ信号が、前記周辺デバイス上に表示されるビデオコンテンツに対応する、請求項１に記載のコンピュータプログラム製品。
12. 前記周辺デバイスに対する前記ウェアラブルオーディオデバイスの前記配向が、少なくとも１つのセンサを使用して判定され、前記少なくとも１つのセンサが、前記ウェアラブルオーディオデバイス若しくは前記周辺デバイス上に、前記ウェアラブルオーディオデバイス若しくは前記周辺デバイス内に、又は前記ウェアラブルオーディオデバイス若しくは前記周辺デバイスに近接して位置し、前記少なくとも１つのセンサが、ジャイロスコープ、加速度計、磁力計、全地球測位センサ（ＧＰＳ）、近接センサ、マイクロフォン、ライダセンサ、又はカメラから選択される、請求項１に記載のコンピュータプログラム製品。
13. オーディオ信号をシミュレートする方法であって、
    周辺デバイスからウェアラブルオーディオデバイスを介して、第１の修正されたオーディオ信号を受信することであって、前記第１の修正されたオーディオ信号が、前記周辺デバイスに対する前記ウェアラブルオーディオデバイスの配向に少なくとも部分的に基づく第１の頭部伝達関数（ＨＲＴＦ）を使用して修正される、受信することと、
    前記周辺デバイスから前記ウェアラブルオーディオデバイスを介して、第２の修正されたオーディオ信号を受信することであって、前記第２の修正されたオーディオ信号が、前記周辺デバイスに対する前記ウェアラブルオーディオデバイスの前記配向に少なくとも部分的に基づく第２の頭部伝達関数（ＨＲＴＦ）を使用して修正される、受信することと、
    前記ウェアラブルオーディオデバイスの第１のスピーカを使用して、前記第１の修正されたオーディオ信号をレンダリングすることと、
    前記ウェアラブルオーディオデバイスの第２のスピーカを使用して、前記第２の修正されたオーディオ信号をレンダリングすることと、を含む、方法。
14. 前記方法が、
    環境内の前記周辺デバイスに対するウェアラブルオーディオデバイスの位置を取得することを更に含み、前記第１の修正されたオーディオ信号を修正すること、及び前記第２の修正されたオーディオ信号を修正することが、前記ウェアラブルオーディオデバイスの前記位置と前記周辺デバイスの位置との間の計算された距離に少なくとも部分的に基づく、請求項１３に記載の方法。
15. 前記ウェアラブルオーディオデバイスに対する前記周辺デバイスの配向を取得することを更に含み、前記第１のＨＲＴＦ及び前記第２のＨＲＴＦが、前記周辺デバイスの前記配向に部分的に基づく、請求項１３に記載の方法。
16. 前記第１の修正されたオーディオ信号及び前記第２の修正されたオーディオ信号が、前記周辺デバイスの中心に近接する第１の仮想音源から生じる第１の直接音をシミュレートするように構成されている、請求項１３に記載の方法。
17. 前記第１の修正されたオーディオ信号をレンダリングすること、及び前記第２の修正されたオーディオ信号をレンダリングすることが、環境内の前記周辺デバイスの位置に近接する第１の仮想音源から生じる第１の直接音をシミュレートすることと、前記周辺デバイスの前記位置に近接する第２の仮想音源から生じる第２の直接音をシミュレートすることと、を含む、請求項１３に記載の方法。
18. 前記第１の修正されたオーディオ信号を生成すること、及び前記第２の修正されたオーディオ信号を生成することが、サラウンド音をシミュレートすることを含む、請求項１３に記載の方法。
19. 前記第１の修正されたオーディオ信号を生成すること、及び前記第２の修正されたオーディオ信号を生成することが、全ての利用可能なオーディオ周波数及び／又はチャネルのサブセットのみに対して、前記第１のＨＲＴＦ及び前記第２のＨＲＴＦをそれぞれ使用することを含む、請求項１３に記載の方法。
20. 環境内の定位モジュールから定位データを受信することと、
    前記定位データに基づいて、前記環境内の複数の音響反射表面の場所を判定することと、を更に含む、請求項１３に記載の方法。
21. 前記第１の修正されたオーディオ信号をレンダリングすることが、前記周辺デバイスに近接する第１の仮想音源から生じる第１の直接音をシミュレートすることと、前記複数の音響反射表面のうちの第１の音響反射表面からの前記第１の直接音のシミュレートされた反射に対応する一次反射音をシミュレートすることと、を含む、請求項２０に記載の方法。
22. 前記第１の修正されたオーディオ信号をレンダリングすることが、前記複数の音響反射表面のうちの第２の音響反射表面からの前記一次反射音のシミュレートされた反射に対応する二次反射音をシミュレートすることを含む、請求項２１に記載の方法。
23. 前記周辺デバイスが、前記第１の修正されたオーディオ信号及び第２の修正されたオーディオ信号と関連付けられたビデオコンテンツを表示するように構成されたディスプレイを含む、請求項１３に記載の方法。
24. 前記周辺デバイスに対する前記ウェアラブルオーディオデバイスの前記配向が、少なくとも１つのセンサを使用して判定され、前記少なくとも１つのセンサが、前記ウェアラブルオーディオデバイス若しくは前記周辺デバイス上に、前記ウェアラブルオーディオデバイス若しくは前記周辺デバイス内に、又は前記ウェアラブルオーディオデバイス若しくは前記周辺デバイスに近接して位置し、前記少なくとも１つのセンサが、ジャイロスコープ、加速度計、磁力計、全地球測位センサ（ＧＰＳ）、近接センサ、マイクロフォン、ライダセンサ、又はカメラから選択される、請求項１３に記載の方法。
25. オーディオをシミュレートするためのシステムであって、
    周辺デバイスであって、環境内の前記周辺デバイスに対するウェアラブルオーディオデバイスの配向を取得又は受信するように構成された周辺デバイスを備え、前記周辺デバイスが、前記周辺デバイスに対する前記ウェアラブルオーディオデバイスの前記配向に基づく第１の頭部伝達関数（ＨＲＴＦ）を使用して第１の修正されたオーディオ信号を生成し、かつ前記周辺デバイスに対する前記ウェアラブルオーディオデバイスの前記配向に基づく第２の頭部伝達関数（ＨＲＴＦ）を使用して第２の修正されたオーディオ信号を生成するように更に構成されており、
    前記ウェアラブルオーディオデバイスが、
    前記第１の修正されたオーディオ信号を受信することと、
    前記第２の修正されたオーディオ信号を受信することと、を行うように構成されたプロセッサと、
    第１のスピーカであって、前記第１のスピーカを使用して、前記第１の修正されたオーディオ信号をレンダリングするように構成された第１のスピーカと、
    第２のスピーカであって、前記第２のスピーカを使用して、前記第２の修正されたオーディオ信号をレンダリングするように構成された第２のスピーカと、を備える、システム。

Images