JP7053855B2 - 空間オーディオナビゲーション - Google Patents

Description

モバイル多目的デバイス及び車両用Ａ／Ｖシステムを含むがこれらに限定されないデバイスのナビゲーションアプリケーションは、ユーザを目的地に導くために、「左に曲がる」又は「右に曲がる」などの視覚的キュー及び／又は音声指示を提供する。スマートフォン及びタブレット／パッドデバイスなどのモバイル多目的デバイスの場合、ナビゲーションアプリケーションを使用して、歩いている又は自転車に乗っているときに、視覚的キュー及び／又は音声指示を使用して、街、公園などを通る経路上でユーザを案内することができる。モバイル多目的デバイスのナビゲーションアプリケーションはまた、直接モバイル多目的デバイスを介するか、又は車両のＡ／Ｖシステムへのインターフェースを介するかのいずれかで、車両内で使用して、視覚的キュー及び／又は音声指示を使用して運転中にユーザを目的地に導くことができる。

仮想現実（Virtual reality、ＶＲ）は、ユーザが没入型人工環境を体験及び／又はそれと相互作用して、それにより、ユーザが物理的にその環境内にいるかのように感じることを可能にする。例えば、仮想現実システムは、奥行きの錯覚を作り出すために、立体的シーンをユーザに表示してもよく、コンピュータは、シーンコンテンツをリアルタイムで調整して、ユーザがシーン内で移動する錯覚を提供することができる。ユーザが仮想現実システムを介して画像を見る場合、ユーザは、このように一人称の視点からシーン内で移動しているかのように感じることができる。複合現実（Mixed reality、ＭＲ）は、現実世界のビューとコンピュータが生成した情報（仮想コンテンツと呼ばれる）とを組み合わせて、ユーザの現実環境のユーザのビューに仮想コンテンツを拡張又は追加する、拡張現実（augmented reality、ＡＲ）システムから、コンピュータが生成した三次元（three-dimensional、３Ｄ）仮想世界のビューと現実世界のオブジェクトの表現とを組み合わせる、拡張仮想現実（augmented virtual reality、ＡＶ）システムまでの範囲を網羅する。したがって、仮想現実のシミュレートされた環境及び／又は複合現実の複合環境を利用して、複数のアプリケーションの相互作用型ユーザエクスペリエンスを提供することができる。

空間オーディオナビゲーションのための方法及び装置の様々な実施形態が記載される。例えば、スマートフォン、パッドデバイス、及びタブレットデバイスなどのモバイル多目的デバイスによって実施することができる、空間オーディオナビゲーションシステム及び空間オーディオナビゲーション方法の実施形態が記載される。空間オーディオナビゲーションシステムは、オーディオ形式のナビゲーション情報を提供して、現実世界の位置、人々、又はオブジェクトなどの目的地にユーザを導く。従来のナビゲーションアプリケーションのように音声指示を使用する又は視覚的キューに依拠する代わりに、空間オーディオナビゲーションシステムは、バイノーラルオーディオデバイス（例えば、ヘッドフォン、ヘッドセット、有線又は無線イヤホンなど、総じて「ヘッドセット」と呼ばれる）を介して再生されるオーディオの指向性及び距離を使用して、ユーザにナビゲーションキューを提供する。

従来のナビゲーションアプリケーションは、「左に曲がる」又は「右に曲がる」などの音声指示を提供して、ユーザを目的地に導くことができる。しかし、ユーザは、例えば、歩いている又は自転車に乗っている間に、ナビゲーションアプリケーションを使用しながら、オーディオ源（例えば、音楽、オーディオブック、電話通話など）を聴いていることがあり、音声指示によってオーディオが中断されないことを好む場合がある。加えて、通話中に、音声指示は、会話を妨げることがあり、及び／又は会話は、音声指示を妨げることがある。本明細書に記載される空間オーディオナビゲーションシステム及び空間オーディオナビゲーション方法の実施形態は、代わりに、バイノーラルオーディオデバイスを介して再生される音の指向性及び距離を使用して、ユーザにナビゲーションキューを提供する。したがって、実施形態は、音の見かけの音源の空間的位置を使用して、ユーザを特定の方向に案内する。例えば、音楽を聴いている間に経路上でユーザを案内するために、音楽の見かけの音源を、ユーザの前に配置して、経路に沿ってユーザを案内し、ユーザの側面に移動させて、経路上で曲がるようにユーザに促すことができる。したがって、音楽は中断されず、実施形態は、従来のナビゲーションアプリケーションよりも、ナビゲーション情報を伝達するためのより繊細な方法を提供する。同様に、オーディオブック、電話会話、シミュレートされた若しくはキャプチャされた環境ノイズ、トーン、ベル、サイレン、若しくはホワイトノイズなどのシミュレートされた音、又は鉄道列車若しくは狼の群れの音などの録音された音が挙げられるが、これらに限定されない、他のオーディオ源を用いて行うことができる。

加えて、心理学的にユーザは、音声指示が正しいと思い込む傾向があり、したがって、あまり考えずに指示に従って、潜在的に事故を引き起こす場合がある。ユーザに告げる音声指示の代わりに、音の指向性及び距離をオーディオキューとして使用して、ユーザを案内することにより、指向性オーディオキューに従うことが安全であるか否かを判定することは、ユーザ次第である。音声は、ユーザに何かをする（例えば、「左に曲がる」又は「右に曲がる」）ように告げず、代わりに、ユーザは、指向性オーディオキューに従う。指向性オーディオキューなどの何かに従う場合、口頭コマンドを聴いている場合とは、異なる心理学が関与する。

空間オーディオナビゲーションシステムの実施形態では、現在位置、目標位置、及び地図情報を経路探索アルゴリズムに入力して、ユーザの現在位置と目標位置との間の現実世界の経路を判定することができる。次いで、空間オーディオナビゲーションシステムは、ヘッドセットを介して再生される指向性オーディオを使用して、現在位置から目標位置までの経路上でユーザを案内することができる。モバイル多目的デバイスによって判定されるようなユーザの現在位置及び動きの方向、並びにヘッドセットによって判定されるような頭部の向き及び移動を、空間オーディオナビゲーションシステムによって使用して、ユーザが現実世界で移動するときに、例えば、左右のオーディオチャネルの音量を調整することにより、オーディオの知覚される又は仮想指向性及び距離を調整して、経路に沿ってユーザを目標位置に案内する。音量を調整する代わりに、又はそれに加えて、周波数及び残響を含むがこれらに限定されない、オーディオの他の様相を減衰させて、オーディオの仮想指向性及び距離に影響を及ぼすことができる。再生されている特定の音などのオーディオの他の様相を、入力に基づいて調整して、ユーザを目標位置に案内するのを支援することができる。

空間オーディオナビゲーションシステムは、有線又は無線接続を介してヘッドセットにオーディオを出力して、それにより、ユーザは、空間オーディオ感覚で音を聴くことができる。換言すれば、ユーザは、正確な距離及び方向を有する現実世界の位置から音が来ているかのように音を聴く。例えば、システムは、ヘッドセットを介して音を再生して、それにより、ユーザの左、ユーザの右、正面、背後、又はなんらかの角度から来る音をユーザが聴くことができる。音が来ているように思われる方向を変更して、経路上でユーザを案内することができる。例えば、ユーザが経路上の左折に近づくと、左オーディオ出力チャネルの音量を増加させることによって、及び／又は右オーディオ出力チャネルの音量を減少させることによって、音は、左に移動されてもよい。いくつかの実施形態では、システムは、音の音量を変調して、ユーザに距離の感覚を与える、例えば、３フィート、１０フィート、又は５０フィート離れたところから音が来ているかのように思わせることができる。音量を調整する代わりに、又はそれに加えて、周波数及び残響を含むがこれらに限定されない、左右のオーディオチャネルの他の様相を減衰させて、オーディオの仮想指向性及び距離に影響を及ぼすことができる。いくつかの実施形態では、システムは、検出されたイベントに基づいて、例えば、ユーザが曲がり目を逃した又は障害物に近づいている場合に警告又は警報音を再生することによって、音を変更することができる。

空間オーディオナビゲーションシステムの実施形態は、いくつかの異なる空間オーディオナビゲーション方法のうちの１つ以上を実施して、空間オーディオベースのキューを使用して経路をたどるときにユーザを導くことができる。この方法は、以下を含むことができるが、これらに限定されない。

連続経路トレーシング－音は、経路を連続的にたどるように移動される。音が経路の終端に到達すると、音は、経路の開始に戻り、プロセスは、繰り返される。

離散経路トレーシング－音は、経路に沿って離散間隔で移動される。音が経路の終端に到達すると、音は、経路の開始に戻り、プロセスは、繰り返される。

現在再生している音の局所方向－ユーザは、音楽、ポッドキャスト、又は電話通話などのオーディオ源を聴いている。ユーザがヘッドセットを介して単純なステレオサウンドとしてオーディオ源を聴く代わりに、空間オーディオナビゲーションシステムは、ユーザが経路をたどるように移動すべき方向に、ユーザからなんらかの距離だけ離れたところに音を配置する。音は、経路のカーブ又は曲がり目をたどるように、左又は右に移動されてもよい。

音指向性－音は、ユーザの背後から前に、ユーザが経路をたどるように移動する必要がある方向に向かって移動し、停止し、その後、繰り返す。音は、ユーザの頭部からなんらかの距離だけ離れて配置されて、例えば、耳優位性に応じて、ユーザの左又は右のいずれかに配置されてもよい。

音トンネリング－環境内の環境ノイズがサンプリング又はシミュレートされる。例えば、ユーザが森にいる場合、環境ノイズは、木のさらさら音を含んでもよく、又はユーザが街にいる場合、環境ノイズは、群衆及び交通の音を含んでもよい。次いで、この環境ノイズは、空間オーディオナビゲーションシステムによって再生される。ユーザが経路をたどるように移動すべき方向を除いて、ユーザを完全に囲む音に対する障害物が、空間オーディオナビゲーションシステムによって配置される。これにより、ユーザに環境ノイズの方向に経路をたどるように促す音トンネリング効果が生じる。

環境音閉塞－上記のように、環境内の適切な環境ノイズは、空間オーディオナビゲーションシステムによってサンプリング又はシミュレートされ、ユーザに再生される。しかしながら、障害物は、ユーザが経路をたどるように移動すべき方向に配置され、ユーザに面するように向けられる。これは、ユーザが移動すべき方向の環境ノイズを遮断し、環境ノイズの欠如又は間隙の方向に経路をたどるようにユーザに促す環境ノイズの間隙が存在する効果を引き起こす。

音追尾－音（例えば、狼の群れ、列車などの音）がユーザの背後のなんらかの距離で再生され、ユーザが移動すると、音は、ユーザを「追いかける」又は追従して、経路に沿ってユーザを後押しする。

ユーザによって装着されたヘッドセットに有線又は無線接続によって接続されたモバイル多目的デバイス内に空間オーディオナビゲーションシステムが実装される実施形態が主に説明されているが、空間オーディオナビゲーションシステムの実施形態はまた、位置技術、頭部向き技術、及びバイノーラルオーディオ出力を含むヘッドマウントディスプレイ（head-mounted displays、ＨＭＤ）として実装されるＶＲ／ＭＲシステムに実装されてもよく、ＨＭＤに統合されたスピーカは、バイノーラルオーディオデバイスとして使用されてもよく、又は代わりに、外部ヘッドセットが、バイノーラルオーディオデバイスとして使用されてもよい。ＨＭＤ、並びにスマートフォン及びパッドなどのモバイル多目的デバイスは、「モバイルデバイス」と呼ばれることがあることに留意されたい。更に、実施形態は、モバイル多目的デバイス、又はデバイスの２つ以上のスピーカを使用してオーディオ形式でナビゲーション情報を出力する、したがって、バイノーラルオーディオデバイスとして機能する、ヘッドセットを有さないノートブックコンピュータ若しくはネットブックコンピュータなどの他のポータブルコンピューティングデバイスに使用することができる。より一般的には、実施形態は、バイノーラルオーディオ出力を含み、かつ頭部の動き及び向き追跡を提供する、任意のデバイス又はシステムに実装されてもよい。

加えて、実施形態は、車両位置及び向き技術を使用して、車両の位置、動き、及び向きを判定し、かつ車両の「サラウンド」スピーカシステムをバイノーラルオーディオデバイスとして使用して、指向性音を出力して、目標位置まで運転している間にユーザを案内する車両用Ａ／Ｖシステム、並びに、モバイル多目的デバイス又は他の技術を使用して、「サラウンド」スピーカシステムをバイノーラルオーディオデバイスとして使用して指向性音を出力してユーザを案内している間に、ユーザの位置、向き、及び移動を判定する、家若しくは他の建造物又は環境で機能するように適合させることができる。

本明細書に記載される空間オーディオナビゲーションシステム及び方法の実施形態を実装することができる、例示的なモバイル多目的デバイスの実施形態を示す。 本明細書に記載される空間オーディオナビゲーションシステム及び方法の実施形態を実装することができる、例示的なモバイル多目的デバイスの実施形態を示す。 本明細書に記載される空間オーディオナビゲーションシステム及び方法の実施形態を実装することができる、例示的なＶＲ／ＭＲシステムの実施形態を示す。 本明細書に記載される空間オーディオナビゲーションシステム及び方法の実施形態を実装することができる、例示的なＶＲ／ＭＲシステムの実施形態を示す。 本明細書に記載される空間オーディオナビゲーションシステム及び方法の実施形態を実装するためにＶＲ／ＭＲシステムとともに使用される、モバイル多目的デバイスを示す。 いくつかの実施形態に係る、空間オーディオナビゲーションシステムの構成要素及び入力を示す。 いくつかの実施形態に係る、図３に示すような空間オーディオナビゲーションシステムによって実施することができる方法の高レベルフローチャートである。 バイノーラルオーディオデバイスを介した従来のオーディオ出力を示す。 バイノーラルオーディオデバイスを介した従来のオーディオ出力を示す。 いくつかの実施形態に係る、図３及び図４に示すような空間オーディオナビゲーションシステムによって使用することができる、様々な空間オーディオナビゲーション方法をグラフィカルに示す。 いくつかの実施形態に係る、図３及び図４に示すような空間オーディオナビゲーションシステムによって使用することができる、様々な空間オーディオナビゲーション方法をグラフィカルに示す。 いくつかの実施形態に係る、図３及び図４に示すような空間オーディオナビゲーションシステムによって使用することができる、様々な空間オーディオナビゲーション方法をグラフィカルに示す。 いくつかの実施形態に係る、図３及び図４に示すような空間オーディオナビゲーションシステムによって使用することができる、様々な空間オーディオナビゲーション方法をグラフィカルに示す。 いくつかの実施形態に係る、図３及び図４に示すような空間オーディオナビゲーションシステムによって使用することができる、様々な空間オーディオナビゲーション方法をグラフィカルに示す。 いくつかの実施形態に係る、図３及び図４に示すような空間オーディオナビゲーションシステムによって使用することができる、様々な空間オーディオナビゲーション方法をグラフィカルに示す。 いくつかの実施形態に係る、図３及び図４に示すような空間オーディオナビゲーションシステムによって使用することができる、様々な空間オーディオナビゲーション方法をグラフィカルに示す。 いくつかの実施形態に係る、空間オーディオナビゲーション方法を更に示す。 いくつかの実施形態に係る、空間オーディオナビゲーション方法を更に示す。 いくつかの実施形態に係る、空間オーディオナビゲーション方法を更に示す。 いくつかの実施形態に係る、空間オーディオナビゲーション方法を更に示す。 いくつかの実施形態に係る、曲がり目に対処するための空間オーディオナビゲーション方法を示す。 いくつかの実施形態に係る、曲がり目に対処するための空間オーディオナビゲーション方法を示す。 いくつかの実施形態に係る、曲がり目に対処するための空間オーディオナビゲーション方法を示す。

本明細書は、「ｏｎｅ ｅｍｂｏｄｉｍｅｎｔ（一実施形態）」又は「ａｎ ｅｍｂｏｄｉｍｅｎｔ（実施形態」に対する参照を含む。「ｉｎ ｏｎｅ ｅｍｂｏｄｉｍｅｎｔ（一実施形態において）」又は「ｉｎ ａｎ ｅｍｂｏｄｉｍｅｎｔ（ある実施形態において）」という語句表現は、必ずしも同一の実施形態を指すわけではない。特定の機能、構造、又は特性は、本開示と一貫したいずれかの適切な方式で組み合わされてもよい。

「ｃｏｍｐｒｉｓｉｎｇ（備える、含む）」。この用語はオープンエンドである。特許請求の範囲で使用されるとき、この用語は、追加の構造又はステップを除外しない。「１つ以上のプロセッサユニット・・・を備えた装置」と記載される請求項を検討する。このような請求項は、装置が追加の構成要素（例えば、ネットワークインターフェースユニット、グラフィック回路など）を含むことを除外しない。

「ｃｏｎｆｉｇｕｒｅｄ ｔｏ（ように構成されている）」。様々なユニット、回路、又は他の構成要素は、タスク又はタスク（複数）を実行する「ように構成されている」と説明又は請求されてもよい。このような文脈では、「構成されている」は、ユニット／回路／構成要素が、動作の間にそれらのタスク又はタスク（複数）を実行する構造（例えば、回路）を含むことを示すことによって構造を暗示するときに使用される。そのように、ユニット／回路／構成要素は、指定されたユニット／回路／構成要素が現在動作可能でない（例えば、オンの状態でない）ときでさえ、タスクを実行するように構成されていると言うことができる。「構成されている」という言葉とともに使用されるユニット／回路／構成要素は、ハードウェア、例えば、演算を実施するように実行可能なプログラム命令を記憶した回路、メモリなどを含む。ユニット／回路／構成要素が１つ以上のタスクを実行するように「構成されている」と記述することは、そのユニット／回路／構成要素に対して米国特許法第１１２条、段落（ｆ）が適用されないことが明示的に意図されている。加えて、「構成されている」は、ソフトウェア及び／又はファームウェア（例えば、ＦＰＧＡ又はソフトウェアを実行する汎用プロセッサ）によって操作され、対象のタスク（単数又は複数）を実行可能な方式で動作する一般的な構造体（例えば、一般的な回路）を含むことができる。「構成されている」はまた、１つ以上のタスクを実施又は実行するように適合されたデバイス（例えば、集積回路）を組み立てるように製造工程（例えば、半導体組み立て設備）を適合させることを含んでもよい。

「第１」、「第２」など。本明細書で使用されるように、これらの用語は、続く名詞の標識として使用され、いかなるタイプの順序付け（例えば、空間的、時間的、論理的など）も意味しない。例えば、バッファ回路は、「第１」及び「第２」の値に対する書き込み演算を実行するものとして本明細書で説明されてもよい。用語「第１」及び「第２」は、必ずしも第１の値が第２の値の前に書き込まれなければならないことを含意していない。

「基づいて」又は「従って」。本明細書で使用されるように、これらの用語は、判定に影響を及ぼす１つ以上の要因を説明するために使用される。これらの用語は、判定に影響を及ぼすことがある追加の要因を除外しない。すなわち、判定はそれらの要因のみに基づいているか、又は少なくとも部分的にそれらの要因に基づいていることがある。「Ｂに基づいてＡを判定する」というフレーズを検討する。このケースでは、ＢはＡの判定に影響を及ぼす要因であるが、このようなフレーズはＡの判定がＣにも基づいていることを除外しない。他の例では、ＡはＢのみに基づいて判定されてもよい。

「又は」。特許請求の範囲で使用されるとき、用語「又は」は、包括的論理和として使用され、排他的論理和として使用されない。例えば、語句「ｘ、ｙ、又はｚのうちの少なくとも１つ」は、ｘ、ｙ、及びｚのいずれか１つ、並びにこれらの任意の組み合わせを意味する。

空間オーディオナビゲーションのための方法及び装置の様々な実施形態が記載される。例えば、モバイル多目的デバイスによって実施することができる、空間オーディオナビゲーションシステム及び空間オーディオナビゲーション方法の実施形態が記載される。空間オーディオナビゲーションシステムは、オーディオ形式のナビゲーション情報を提供して、現実世界の位置、人々、又はオブジェクトなどの目的地にユーザを導く。従来のナビゲーションアプリケーションのように口頭コマンドを使用する代わりに、空間オーディオナビゲーションシステムは、バイノーラルオーディオデバイス（例えば、ヘッドフォン、ヘッドセット、有線又は無線イヤホンなど、総じて「ヘッドセット」と呼ばれる）を介して再生されるオーディオの指向性を使用して、ユーザにナビゲーションキューを提供する。

ヘッドセットは、ユーザの左耳内又はその上に装着された左オーディオ出力構成要素と、ユーザの右耳内又はその上に装着された右オーディオ出力構成要素と、を含む。音の指向性は、例えば、オーディオ出力構成要素のうちの一方によって出力される音の音量を増加させること、及び／又は他方のオーディオ出力構成要素によって出力される音の音量を減少させることによって、提供されてもよい。両方の構成要素が同じ音量レベルにある場合、音は、ユーザの前から来ているように思われることがある。音量が左の構成要素でゼロを上回り、かつ右の構成要素でゼロである場合、音は、ユーザの直ぐ左から来ているように思われることがある。音量が右の構成要素でゼロを上回り、かつ左の構成要素でゼロである場合、音は、ユーザの直ぐ右から来ているように思われることがある。音量が、左の構成要素でより高く、かつ右の構成要素でより低い場合、音は、ユーザの前かつ左の位置から来ているように思われることがある。音量が、右の構成要素でより高く、かつ左の構成要素でより低い場合、音は、ユーザの前かつ右の位置から来ているように思われることがある。加えて、一方又は両方の構成要素によって出力される音を変調して、音がユーザの背後から来ていると思わせることができる。加えて、一方又は両方の構成要素の音量を変調することにより、距離の感覚を提供することができ、より低い音量では、音は、より遠く離れたところから来ているように思われることがあり、より高い音量では、音は、近くから来ているように思われることがある。音量を調整する代わりに、又はそれに加えて、周波数及び残響を含むがこれらに限定されない、左右のオーディオチャネルの他の様相を減衰させて、オーディオの仮想指向性及び距離に影響を及ぼすことができる。

空間オーディオナビゲーションシステムへの入力は、（典型的には、モバイル多目的デバイス上のアプリケーションへのインターフェースを介してユーザによって提供される）現実世界の目標位置、モバイル多目的デバイスによって判定されたユーザの現実世界の現在位置、ユーザの頭部の動き及び向き、典型的にはモバイル多目的デバイス上の地図又はナビゲーションアプリケーションによって提供される現実世界の地図情報、並びにオーディオ源を含むことができる。目標位置は、場所、人（例えば、その位置をユーザのモバイル多目的デバイスに通信することができる別のモバイル多目的デバイスを保持する人）、又は位置が既知である若しくは空間オーディオナビゲーションシステムによって発見可能であるオブジェクト（例えば、鍵のセット）であってもよい。ユーザのモバイル多目的デバイスは、１つ以上の位置センサからの入力を使用して、現実世界でのその位置を計算する。位置センサは、ＧＰＳ（ｇｌｏｂａｌ ｐｏｓｉｔｉｏｎｉｎｇ ｓｙｓｔｅｍ、全地球測位システム）技術センサ、ｄＧＰＳ（ｄｉｆｆｅｒｅｎｔｉａｌ ＧＰＳ、差分ＧＰＳ）技術センサ、カメラ、屋内測位技術センサ、ＳＬＡＭ（ｓｉｍｕｌｔａｎｅｏｕｓ ｌｏｃａｌｉｚａｔｉｏｎ ａｎｄ ｍａｐｐｉｎｇ、同時ローカライゼーション及びマッピング）技術センサなどのうちの１つ以上を含むことができるが、これらに限定されない。ユーザによって装着されたヘッドセットは、現実世界に対するユーザの頭部の動き及び向きを検出して追跡するために使用される動きセンサを含む。動きセンサは、ＩＭＵ（inertial measurement units、慣性測定ユニット）、ジャイロスコープ、姿勢センサ、コンパスなどのうちの１つ以上を含んでもよいが、これらに限定されない。現実世界の地図情報としては、位置間のルート、適切な通過可能エリア（歩道、道路、ドアなど）、及び障害物（壁、建造物、フェンスなど）に関する情報を挙げることができるが、これらに限定されない。オーディオ源としては、例えば、環境からサンプリングされた若しくは環境に対してシミュレートされた環境ノイズ、ユーザが聴いているオーディオ源（例えば、音楽、ポッドキャスト、オーディオブック、ラジオ放送、電話通話など）、又は様々な予め録音された若しくは生成された音を挙げることができる。

現在位置、目標位置、及び地図情報を経路探索アルゴリズムに入力して、ユーザの現在位置と目標位置との間の現実世界の経路を判定することができる。次いで、空間オーディオナビゲーションシステムは、ヘッドセットを介して再生される指向性オーディオを使用して、現在位置から目標位置までの経路上でユーザを案内することができる。モバイル多目的デバイスによって判定されるようなユーザの現在位置及び動きの方向、並びにヘッドセットによって判定されるような頭部の向き及び移動を、空間オーディオナビゲーションシステムによって使用して、ユーザが現実世界で移動するときに、オーディオの仮想指向性及び距離を調整して、経路に沿ってユーザを目標位置に案内する。いくつかの実施形態では、オーディオの仮想指向性及び距離は、音量、周波数、及び残響を含むがこれらに限定されない、左及び／又は右オーディオチャネルへのオーディオ出力の１つ以上の様相を減衰させることによって、調整されてもよい。オーディオの音量及び種類などのオーディオの他の様相を、入力に基づいて調整して、ユーザを目標位置に案内するのを支援することができる。

空間オーディオナビゲーションシステムは、有線又は無線接続を介してヘッドセットにオーディオを出力して、それにより、ユーザは、空間オーディオ感覚で音を聴くことができる。換言すれば、ユーザは、正確な距離及び方向を有する現実世界の位置から音が来ているかのように音を聴く。例えば、システムは、ヘッドセットを介して音を再生して、それにより、ユーザの左、ユーザの右、正面、背後、又はなんらかの角度から来る音をユーザが聴くことができる。音が来ているように思われる方向を変更して、経路上でユーザを案内することができる。例えば、ユーザが経路上の左折に近づくと、音は、左に移動されてもよい。いくつかの実施形態では、システムは、音の音量を変調して、ユーザに距離の感覚を与える、例えば、３フィート、１０フィート、又は５０フィート離れたところから音が来ているかのように思わせることができる。音量を調整する代わりに、又はそれに加えて、周波数及び残響を含むがこれらに限定されない、オーディオの他の様相を減衰させて、オーディオの仮想距離に影響を及ぼすことができる。いくつかの実施形態では、システムは、検出されたイベントに基づいて、例えば、ユーザが曲がり目を逃した又は障害物に近づいている場合に警告又は警報音を再生することによって、音を変更することができる。

空間オーディオナビゲーションシステムの実施形態は、いくつかの異なる空間オーディオナビゲーション方法のうちの１つ以上を実施して、空間オーディオベースのキューを使用して経路をたどるときにユーザを導くことができる。この方法としては、連続経路トレーシング法、離散経路トレーシング法、現在再生している音の局所方向法、音指向性法、音トンネリング法、環境音閉塞法、及び音追尾法を挙げることができるが、これらに限定されない。これらの様々な空間オーディオナビゲーション方法及び実施形態で使用することができる他の方法は、図５Ｃ～図５Ｉ、図６Ａ～図６Ｄ、及び図７Ａ～図７Ｃに関連して更に説明する。

例えば、図１Ａ及び図１Ｂに示すような、ユーザによって装着されたヘッドセットに有線又は無線接続によって接続されたモバイル多目的デバイス内に、空間オーディオナビゲーションシステムが実装される実施形態が主に説明されているが、空間オーディオナビゲーションシステムの実施形態はまた、例えば、図２Ａ及び図２Ｂに示すように、位置技術、頭部向き技術、及びバイノーラルオーディオ出力を含むヘッドマウントディスプレイ（ＨＭＤ）として実装されるＶＲ／ＭＲシステムに実装されてもよく、ＨＭＤに統合されたスピーカは、バイノーラルオーディオデバイスとして使用されてもよく、又は代わりに、外部ヘッドセットが、バイノーラルオーディオデバイスとして使用されてもよい。更に、実施形態は、モバイル多目的デバイス、又はデバイスの２つ以上のスピーカを使用してオーディオ形式でナビゲーション情報を出力する、したがって、バイノーラルオーディオデバイスとして機能する、ヘッドセットを有さないノートブックコンピュータ若しくはネットブックコンピュータなどの他のポータブルコンピューティングデバイスに使用することができる。より一般的には、実施形態は、バイノーラルオーディオ出力を含み、かつ頭部の動き及び向き追跡を提供する、任意のデバイス又はシステムに実装されてもよい。

加えて、実施形態は、車両位置及び向き技術を使用して、車両の位置、動き、及び向きを判定し、かつ車両の「サラウンド」スピーカシステムをバイノーラルオーディオデバイスとして使用して、指向性音を出力して、目標位置まで運転している間にユーザを案内する車両用Ａ／Ｖシステム、並びに、モバイル多目的デバイス又は他の技術を使用して、「サラウンド」スピーカシステムをバイノーラルオーディオデバイスとして使用して指向性音を出力してユーザを案内している間に、ユーザの位置、向き、及び移動を判定する、家若しくは他の建造物又は環境に実装することができる。

図１Ａ及び図１Ｂは、本明細書に記載される空間オーディオナビゲーションシステム及び方法の実施形態を実装することができる、例示的なモバイル多目的デバイスの実施形態を示す。図１Ａに示すように、スマートフォン、タブレット、又はパッドデバイスなどのモバイル多目的デバイス１００は、ユーザ１９０によって、例えば、手又はポケットに携帯されてもよい。デバイス１００は、デバイス１００の現実世界の位置を判定することを可能にする１つ以上の位置センサ、例えば、ＧＰＳ（全地球測位システム）技術センサ、ｄＧＰＳ（差分ＧＰＳ）技術センサ、カメラ、屋内測位技術センサ、ＳＬＡＭ（同時ローカライゼーション及びマッピング）技術センサなどを含んでもよい。ヘッドセット１０８と呼ばれるバイノーラルオーディオデバイス（例えば、ヘッドフォン、ヘッドセット、有線又は無線イヤホンなど）は、ユーザ１９０によって装着されてもよい。ヘッドセット１０８は、右オーディオ１１０Ａ及び左オーディオ１１０Ｂ出力構成要素（例えば、イヤホン）と、現実世界に対するユーザ１９０の頭部の動き及び向きを検出して追跡するために使用される１つ以上の動きセンサと、を含んでもよい。動きセンサは、ＩＭＵ（慣性測定ユニット）、ジャイロスコープ、姿勢センサ、コンパスなどのうちの１つ以上を含んでもよいが、これらに限定されない。モバイルデバイス１００は、有線又は無線接続を介して右１１２Ａ及び左１１２Ｂオーディオチャネルを右オーディオ１１０Ａ及び左オーディオ１１０Ｂ出力構成要素（例えば、イヤホン）に送信してもよく、ヘッドセット１０８は、有線又は無線接続を介して頭部の向き及び移動の情報をデバイス１００に通信することができる。

図１Ｂは、いくつかの実施形態に係る、図１Ａに示すようなシステムの構成要素を示すブロック図である。スマートフォン、タブレット、又はパッドデバイスなどのモバイル多目的デバイス１００は、１つ以上のプロセッサ１０４と、メモリ１３０と、１つ以上のセンサ１２０と、タッチ対応ディスプレイ１０２と、を含むことができるが、これらに限定されない。

デバイス１００は、コンテンツをユーザに表示することができ、かつユーザが情報及びコマンドをデバイス１００に入力することができる、タッチ対応ディスプレイ１０２を含んでもよい。ディスプレイ１０２は、様々なタイプのタッチ対応ディスプレイ技術のいずれかを実装することができる。

デバイス１００はまた、モバイル多目的デバイスの機能を実施する１つ以上のプロセッサ１０４を含んでもよい。デバイス１００はまた、プロセッサ１０４によって実行可能なソフトウェア（コード１３２）、並びにコード１３２によってプロセッサ１０４上で実行するときに使用することができるデータ１３４を記憶するメモリ１３０を含んでもよい。
コード１３２及びデータ１３４は、例えば、デバイス１００のオペレーティングシステムを実行するためのコード及びデータ、並びにデバイス１００上で様々なアプリケーションを実施するためのコード及びデータを含むことができる。コード１３２はまた、本明細書に記載される空間オーディオナビゲーションシステム及び方法を実施するための、プロセッサ１０４によって実行可能なプログラム命令を含んでもよいが、これらに限定されない。データ１３４はまた、現実世界の地図情報、オーディオファイル、又は本明細書に記載される空間オーディオナビゲーションシステムによって使用することができる他のデータも含むことができるが、これらに限定されない。

各種実施形態では、プロセッサ１０４は、１つのプロセッサを含むユニプロセッサシステム、又はいくつかのプロセッサ（例えば、２個、４個、８個、若しくは別の適切な数）を含むマルチプロセッサシステムであってもよい。プロセッサ１０４は、任意の好適な命令セットアーキテクチャを実装するように構成された中央処理装置（central processing units、ＣＰＵ）を含んでもよく、その命令セットアーキテクチャで定義された命令を実行するように構成されてもよい。例えば、各種実施形態では、プロセッサ１０４は、ｘ８６、ＰｏｗｅｒＰＣ、ＳＰＡＲＣ、ＲＩＳＣ、若しくはＭＩＰＳ 命令セットアーキテクチャ（instruction set architectures、ＩＳＡ）、又は任意の他の好適なＩＳＡなどの、様々なＩＳＡのいずれかを実装する汎用プロセッサ又は組み込みプロセッサを含んでもよい。マルチプロセッサシステムでは、プロセッサの各々は、必ずしもではないが、同一のＩＳＡを共通して実装してもよい。プロセッサ１０４は、スカラ方式、スーパースカラ方式、パイプライン方式、スーパーパイプライン方式、アウトオブオーダ方式、インオーダ方式、スペキュレーティブ方式、非スペキュレーティブ方式など、又はそれらの組み合わせを含む、任意のマイクロアーキテクチャを採用してもよい。プロセッサ１０４は、マイクロコーディング技術を実施する回路を含んでもよい。プロセッサ１０４は、各々が命令を実行するように構成された１つ以上のプロセシングコアを含んでもよい。プロセッサ１０４は、任意のサイズ及び任意の構成（セットアソシアティブ方式、ダイレクトマップ方式など）を採用することができる、１つ以上のレベルのキャッシュを含んでもよい。いくつかの実施形態では、プロセッサ１０４は、任意の好適なグラフィック処理回路を含むことができる、少なくとも１つのグラフィック処理ユニット（graphics processing unit、ＧＰＵ）を含むことができる。概して、ＧＰＵは、フレームバッファに表示されることになるオブジェクト（例えば、フレーム全体に対するピクセルデータを含むもの）をレンダリングするように構成されてもよい。ＧＰＵは、グラフィック演算の一部若しくは全て、又は特定のグラフィック演算のハードウェア高速化を実行するグラフィックソフトウェアを実行することができる、１つ以上のグラフィックプロセッサを含んでもよい。いくつかの実施形態では、プロセッサ１０４は、ビデオ及び／又は画像を処理してレンダリングするための１つ以上の他の構成要素、例えば、画像信号プロセッサ（image signal processors、ＩＳＰ）、コーダ／デコーダ（コーデック）などを含んでもよい。いくつかの実施形態では、プロセッサ１０４は、少なくとも１つのシステムオンチップ（system on a chip、ＳＯＣ）を含むことができる。

メモリ１３０は、ダイナミックランダムアクセスメモリ（dynamic random access memory、ＤＲＡＭ）、同期ＤＲＡＭ（synchronous DRAM、ＳＤＲＡＭ）、ダブルデータレート（double data rate、ＤＤＲ、ＤＤＲ２、ＤＤＲ３など）ＳＤＲＡＭ（ｍＤＤＲ３などのモバイルバージョンのＳＤＲＡＭ又はＬＰＤＤＲ２などの低電力バージョンのＳＤＲＡＭを含む）、ＲＡＭＢＵＳ ＤＲＡＭ（ＲＤＲＡＭ）、スタティックＲＡＭ（static RAM、ＳＲＡＭ）などの、任意のタイプのメモリを含んでもよい。いくつかの実施形態では、１つ以上のメモリデバイスは、シングルインラインメモリモジュール（single inline memory modules、ＳＩＭＭ）、デュアルインラインメモリモジュール（dual inline memory modules、ＤＩＭＭ）などのメモリモジュールを形成するために回路基板上で結合されてもよい。代わりに、デバイスは、システムをチップオンチップ構成、パッケージオンパッケージ構成、又はマルチチップモジュール構成で実装する集積回路を搭載してもよい。

デバイス１００は、デバイス１００の現実世界の位置を判定することを可能にする１つ以上の位置センサ１２０、例えば、ＧＰＳ（全地球測位システム）技術センサ、ｄＧＰＳ（差分ＧＰＳ）技術センサ、カメラ、屋内測位技術センサ、ＳＬＡＭ（同時ローカライゼーション及びマッピング）技術センサなどを含んでもよい。

ヘッドセット１０８と呼ばれるバイノーラルオーディオデバイス（例えば、ヘッドフォン、ヘッドセット、有線又は無線イヤホンなど）は、ユーザによって装着されてもよい。ヘッドセット１０８は、右オーディオ１１０Ａ及び左オーディオ１１０Ｂ出力構成要素（例えば、イヤホン）と、現実世界に対するユーザ１９０の頭部の動き及び向きを検出して追跡するために使用される１つ以上の動きセンサ１０６と、を含んでもよい。動きセンサ１０６は、ＩＭＵ（慣性測定ユニット）、ジャイロスコープ、姿勢センサ、コンパスなどのうちの１つ以上を含んでもよいが、これらに限定されない。モバイルデバイス１００は、有線又は無線接続を介して右１１２Ａ及び左１１２Ｂオーディオチャネルを右オーディオ１１０Ａ及び左オーディオ１１０Ｂ出力構成要素（例えば、イヤホン）に送信してもよく、ヘッドセット１０８は、有線又は無線接続を介して頭部の向き及び移動の情報をデバイス１００に通信することができる。

図２Ａ及び図２Ｂは、本明細書に記載される空間オーディオナビゲーションシステム及び方法の実施形態を実装することができる、例示的なＶＲ／ＭＲシステムの実施形態を示す。

図２Ａは、少なくともいくつかの実施形態に係る、ＶＲ／ＭＲシステムを示す。いくつかの実施形態では、ＶＲ／ＭＲシステムは、ユーザ２９０によって装着することができるヘルメット、ゴーグル、又は眼鏡などのＨＭＤ ２００を含んでもよい。いくつかの実施形態では、ＨＭＤ ２００は、独立型ユニットであってもよい。しかしながら、いくつかの実施形態では、ＶＲ／ＭＲシステムは、ＶＲ／ＭＲシステムの機能の少なくとも一部を実行し（例えば、表示のための仮想コンテンツをレンダリングする）、かつ有線又は無線接続を介してＨＭＤ ２００と通信する、ベースステーション（図示せず）を含んでもよい。

ＨＭＤ ２００は、ユーザ２９０の環境に関する情報（ビデオ、深度情報、照明情報など）、及びユーザ２９０に関する情報（例えば、ユーザの表情、眼球の移動、頭部の移動、視線方向、手のジェスチャなど）を収集するセンサを含んでもよい。仮想コンテンツは、ユーザ２９０に表示するために、センサから得られた様々な情報に少なくとも部分的に基づいてレンダリングされてもよい。仮想コンテンツは、（ＶＲアプリケーション内で）仮想現実ビューを提供するために、又は（ＭＲアプリケーション内で）現実の拡張されたビューを提供するために、ＨＭＤ ２００によってユーザ２９０に表示されてもよい。ＨＭＤ ２００は、様々なタイプのディスプレイ技術のいずれかを実装することができる。

ＨＭＤ ２００は、ＨＭＤ ２００の現実世界の位置を判定することを可能にする１つ以上の位置センサ、例えば、ＧＰＳ（全地球測位システム）技術センサ、ｄＧＰＳ（差分ＧＰＳ）技術センサ、カメラ、屋内測位技術センサ、ＳＬＡＭ（同時ローカライゼーション及びマッピング）技術センサなどを含んでもよい。

ＨＭＤ ２００は、（例えば、右オーディオ２１０Ａ及び左オーディオ２１０Ｂ出力構成要素を介して）バイノーラルオーディオ出力を提供することができる。例えば、右オーディオ２１０Ａ及び左オーディオ２１０Ｂ出力構成要素は、ＨＭＤ ２００に一体化され、かつユーザの右耳及び左耳それぞれに又はその上に配置されたオーバーイヤースピーカ又はイヤピースであってもよい。別の実施例として、右オーディオ２１０Ａ及び左オーディオ２１０Ｂ出力構成要素は、有線又は無線接続によってＨＭＤ ２００に結合された左右のイヤホン又はヘッドフォンであってもよい。

図２Ｂは、いくつかの実施形態に係る、図２Ａに示すようなＶＲ／ＭＲシステムの構成要素を示すブロック図である。いくつかの実施形態では、ＶＲ／ＭＲシステムは、ヘッドセット、ヘルメット、ゴーグル、又は眼鏡などのＨＭＤ ２００を含んでもよい。いくつかの実施形態では、ＨＭＤ ２００は、独立型ユニットであってもよい。しかしながら、いくつかの実施形態では、ＶＲ／ＭＲシステムは、ＶＲ／ＭＲシステムの機能の少なくとも一部を実行し（例えば、表示のための仮想コンテンツをレンダリングする）、かつ有線又は無線接続を介してＨＭＤ ２００と通信する、ベースステーション（図示せず）を含んでもよい。

ＨＭＤ ２００は、仮想コンテンツをユーザに表示して、（ＶＲアプリケーション内で）仮想現実ビューを提供する又は（ＭＲアプリケーション内で）現実の拡張されたビューを提供することができる、ディスプレイ２０２構成要素又はサブシステムを含んでもよい。ディスプレイ２０２は、様々なタイプのディスプレイ技術のいずれかを実装することができる。例えば、ＨＭＤ ２００は、ＤＬＰ（ｄｉｇｉｔａｌ ｌｉｇｈｔ ｐｒｏｃｅｓｓｉｎｇ、デジタル光処理）、ＬＣＤ（ｌｉｑｕｉｄ ｃｒｙｓｔａｌ ｄｉｓｐｌａｙ、液晶ディスプレイ）、及びＬＣｏＳ（ｌｉｑｕｉｄ ｃｒｙｓｔａｌ ｏｎ ｓｉｌｉｃｏｎ、シリコン上の液晶）技術ディスプレイシステムなどの、ユーザ２９０の眼の前のスクリーン上に左画像及び右画像を表示する、ニアアイディスプレイシステムを含んでもよい。別の実施例として、ＨＭＤ ２００は、左右の画像を被験者の眼に走査するプロジェクタシステムを含んでもよい。画像を走査するために、左右プロジェクタは、ユーザ２９０の眼の前に位置する左右のディスプレイ（例えば、楕円鏡）に向けられたビームを生成し、ディスプレイは、ビームをユーザの眼に反射させる。左右のディスプレイは、環境からの光が通過することを可能にするシースルーディスプレイであってもよく、それにより、ユーザは、投影された仮想コンテンツによって拡張された現実のビューを見ることができる。

ＨＭＤ ２００はまた、ＶＲ／ＭＲシステムの機能を実施する１つ以上のプロセッサを備えるコントローラ２０４を含んでもよい。ＨＭＤ ２００はまた、コントローラ２０４によって実行可能なソフトウェア（コード２３２）、並びにコントローラ２０４上で実行するときにコード２３２によって使用することができるデータ２３４を記憶するメモリ２３０を含んでもよい。コード２３２及びデータ２３４は、例えば、仮想コンテンツをレンダリングしてユーザに表示するためのＶＲ及び／又はＡＲアプリケーションのコード並びにデータを含むことができる。コード２３２はまた、本明細書に記載される空間オーディオナビゲーションシステム及び方法を実施するための、コントローラ２０４によって実行可能なプログラム命令を含んでもよいが、これらに限定されない。データ２３４はまた、現実世界の地図情報、オーディオファイル、又は本明細書に記載される空間オーディオナビゲーションシステムによって使用することができる他のデータも含むことができるが、これらに限定されない。

各種実施形態では、コントローラ２０４は、１つのプロセッサを含むユニプロセッサシステム、又はいくつかのプロセッサ（例えば、２個、４個、８個、若しくは別の適切な数）を含むマルチプロセッサシステムであってもよい。コントローラ２０４は、任意の好適な命令セットアーキテクチャを実装するように構成された中央処理装置（ＣＰＵ）を含んでもよく、その命令セットアーキテクチャで定義された命令を実行するように構成されてもよい。例えば、各種実施形態では、コントローラ２０４は、ｘ８６、ＰｏｗｅｒＰＣ、ＳＰＡＲＣ、ＲＩＳＣ、若しくはＭＩＰＳ命令セットアーキテクチャ（ＩＳＡ）、又は任意の他の好適なＩＳＡなどの、様々なＩＳＡのいずれかを実装する汎用プロセッサ又は組み込みプロセッサを含んでもよい。マルチプロセッサシステムでは、プロセッサの各々は、必ずしもではないが、同一のＩＳＡを共通して実装してもよい。コントローラ２０４は、スカラ方式、スーパースカラ方式、パイプライン方式、スーパーパイプライン方式、アウトオブオーダ方式、インオーダ方式、スペキュレーティブ方式、非スペキュレーティブ方式など、又はそれらの組み合わせを含む、任意のマイクロアーキテクチャを採用してもよい。コントローラ２０４は、マイクロコーディング技術を実施する回路を含んでもよい。コントローラ２０４は、各々が命令を実行するように構成された１つ以上のプロセシングコアを含んでもよい。コントローラ２０４は、任意のサイズ及び任意の構成（セットアソシアティブ方式、ダイレクトマップ方式など）を採用することができる、１つ以上のレベルのキャッシュを含んでもよい。いくつかの実施形態では、コントローラ２０４は、任意の好適なグラフィック処理回路を含むことができる、少なくとも１つのグラフィック処理ユニット（ＧＰＵ）を含むことができる。概して、ＧＰＵは、フレームバッファに表示されることになるオブジェクト（例えば、フレーム全体に対するピクセルデータを含むもの）をレンダリングするように構成されてもよい。ＧＰＵは、グラフィック演算の一部若しくは全て、又は特定のグラフィック演算のハードウェア高速化を実行するグラフィックソフトウェアを実行することができる、１つ以上のグラフィックプロセッサを含んでもよい。いくつかの実施形態では、コントローラ２０４は、ビデオ及び／又は画像を処理してレンダリングするための１つ以上の他の構成要素、例えば、画像信号プロセッサ（ＩＳＰ）、コーダ／デコーダ（コーデック）などを含んでもよい。いくつかの実施形態では、コントローラ２０４は、少なくとも１つのシステムオンチップ（ＳＯＣ）を含むことができる。

メモリ２３０は、ダイナミックランダムアクセスメモリ（ＤＲＡＭ）、同期ＤＲＡＭ（ＳＤＲＡＭ）、ダブルデータレート（ＤＤＲ、ＤＤＲ２、ＤＤＲ３など）ＳＤＲＡＭ（ｍＤＤＲ３などのモバイルバージョンのＳＤＲＡＭ又はＬＰＤＤＲ２などの低電力バージョンのＳＤＲＡＭを含む）、ＲＡＭＢＵＳ ＤＲＡＭ（ＲＤＲＡＭ）、スタティックＲＡＭ（ＳＲＡＭ）などの、任意のタイプのメモリを含んでもよい。いくつかの実施形態では、１つ以上のメモリデバイスは、シングルインラインメモリモジュール（ＳＩＭＭ）、デュアルインラインメモリモジュール（ＤＩＭＭ）などのメモリモジュールを形成するために回路基板上で結合されてもよい。代わりに、デバイスは、システムをチップオンチップ構成、パッケージオンパッケージ構成、又はマルチチップモジュール構成で実装する集積回路を搭載してもよい。

いくつかの実施形態では、ＨＭＤ ２００は、ユーザの環境に関する情報（ビデオ、深度情報、照明情報など）、及びユーザに関する情報（例えば、ユーザの表情、眼球の移動、手のジェスチャなど）を収集するセンサ２２０を含んでもよい。センサ２２０は、収集された情報をＨＭＤ ２００のコントローラ２０４に提供してもよい。センサ２２０は、可視光カメラ（例えば、ビデオカメラ）、赤外線（infrared、ＩＲ）カメラ、ＩＲ照明光源を有するＩＲカメラ、光検出及び測距（Light Detection and Ranging、ＬＩＤＡＲ）放射装置及び受光器／検出器、並びにレーザ放射装置及び受光器／検出器を有するレーザベースのセンサのうちの１つ以上を含んでもよいが、これらに限定されない。

ＨＭＤ ２００は、現実世界に対するＨＭＤ ２００、したがってユーザの頭部の位置、向き、及び動きを検出するための少なくとも１つの慣性測定ユニット（ＩＭＵ）２０６を含んでもよい。ＩＭＵ ２０６の代わりに、又はそれに加えて、ＨＭＤ ２００は、ジャイロスコープ、姿勢センサ、コンパス、又は現実世界に対するＨＭＤ ２００、したがってユーザの頭部の位置、向き、及び動きを検出するための他のセンサ技術を含んでもよい。

ＨＭＤ ２００は、ＨＭＤ ２００の現実世界の位置を判定することを可能にする１つ以上の位置センサ、例えば、ＧＰＳ（全地球測位システム）技術センサ、ｄＧＰＳ（差分ＧＰＳ）技術センサ、カメラ、屋内測位技術センサ、ＳＬＡＭ（同時ローカライゼーション及びマッピング）技術センサなどを含んでもよい。

ＨＭＤ ２００は、（例えば、右オーディオ２１０Ａ及び左オーディオ２１０Ｂ出力構成要素を介して）バイノーラルオーディオ出力を提供することができる。例えば、右オーディオ２１０Ａ及び左オーディオ２１０Ｂは、ＨＭＤ ２００に一体化され、かつユーザの右耳及び左耳それぞれに又はその上に配置されたオーバーイヤースピーカ又はイヤピースであってもよい。別の実施例として、右オーディオ２１０Ａ及び左オーディオ２１０Ｂは、有線又は無線接続によってＨＭＤ ２００に結合された左右のイヤホン又はヘッドフォンであってもよい。ＨＭＤは、有線又は無線接続を介して右２１２Ａ及び左２１２Ｂオーディオチャネルを右オーディオ２１０Ａ及び左オーディオ２１０Ｂ出力構成要素に送信してもよい。

いくつかの実施形態では、空間オーディオナビゲーションシステムは、ＨＭＤ ２００に統合されてもよい。しかしながら、図２Ｃに示すようないくつかの実施形態では、図１Ａ及び図１Ｂに示すようなモバイル多目的デバイス１００は、有線又は無線接続を介してＨＭＤ ２００に接続されてもよい。モバイル多目的デバイス１００は、空間オーディオナビゲーションシステムの機能をサポートして、ＨＭＤ ２００のＩＭＵ ２０６から頭部位置及び動きの情報を受信し、ＨＭＤのバイノーラルオーディオスピーカ又はイヤピース２１０Ａ及び２１０Ｂ上で再生されることになる右２１２Ａ及び左２１２ＢオーディオチャネルをＨＭＤ ２００に送信することができる。

図３は、いくつかの実施形態に係る、空間オーディオナビゲーションシステム３００の構成要素及び入力を示す。空間オーディオナビゲーションシステム３００は、図１Ａ及び図１Ｂに示すようなモバイル多目的デバイス１００及びヘッドセット１０８によって、又は図２Ａ及び図２Ｂに示すようなＨＭＤ ２００によって、又は図２Ｃに示すようなモバイル多目的デバイス１００及びＨＭＤ ２００によって、実装されてもよい。より一般的には、実施形態は、バイノーラルオーディオ出力を含み、かつ頭部の動き及び向き追跡を提供する、任意のデバイス又はシステムに実装されてもよい。

加えて、空間オーディオナビゲーションシステム３００の実施形態は、車両の位置及び向き技術を使用して、車両の位置、動き、及び向きを判定し、かつ車両のスピーカシステムを使用して、指向性音を出力して、目標位置まで運転している間にユーザを案内する、車両用Ａ／Ｖシステム、並びに、モバイル多目的デバイス又は他の技術を使用して、家庭用スピーカシステムを使用して指向性音を出力してユーザを案内している間に、ユーザの位置、向き、及び移動を判定する、家又は他の建造物に実装することができる。

空間オーディオナビゲーションシステム３００の実施形態では、現在位置、目標位置、及び地図情報を経路探索構成要素３０２に入力して、ユーザの現在位置と目標位置との間の現実世界の経路３０４を判定することができる。ユーザの現実世界の現在位置は、デバイスの位置技術（例えば、ＧＰＳ技術）によって判定することができる。現実世界の目標位置は、例えば、デバイス上の空間オーディオナビゲーションシステム３００へのインターフェースを介してユーザによって提供されてもよく、又は別の方法で、空間オーディオナビゲーションシステム３００によって判定、若しくは空間オーディオナビゲーションシステム３００に入力されてもよい。現実世界の地図情報は、例えば、デバイス上の地図又はナビゲーションアプリケーションによって使用される地図情報のデータベースから提供されてもよい。

経路３０４が判定された後に、空間オーディオナビゲーションシステム３００のナビゲーション構成要素３０６は、ヘッドセットを介して再生される指向性オーディオを使用して、経路３０４上でユーザを現在位置から目標位置に案内することができる。ユーザの現在位置は、デバイスによって追跡されて、ナビゲーション構成要素３０６に入力されてもよい。加えて、ヘッドセット又はＨＭＤのセンサによって頭部の向き及び動きを追跡して、ナビゲーション構成要素３０６に入力することができる。次いで、ナビゲーション構成要素３０６は、ユーザが現実世界で移動するときに、オーディオ源によって提供されるオーディオの指向性を調整して、経路３０４に沿ってユーザを目標位置に案内する。いくつかの実施形態では、オーディオの仮想指向性は、音量、周波数、及び残響を含むがこれらに限定されない、左及び／又は右オーディオチャネルへのオーディオ出力の１つ以上の様相を減衰させることによって、調整されてもよい。オーディオの音量及び種類などのオーディオの他の様相を、入力に基づいて調整して、経路３０４に沿ってユーザを目標位置に案内するのを支援することができる。

空間オーディオナビゲーションシステム３００は、有線又は無線接続を介して右３１２Ａ及び左３１２Ｂオーディオチャネルをヘッドセットに出力して、それにより、ユーザは、空間オーディオ感覚で音を聴くことができる。換言すれば、ユーザは、正確な距離及び方向を有する現実世界の位置から音が来ているかのように音を聴く。例えば、システム３００は、ヘッドセットを介して音を再生して、それにより、ユーザの左、ユーザの右、正面、背後、又はなんらかの角度から来る音をユーザが聴くことができる。音が来ているように思われる方向を変更して、経路３０４上でユーザを案内することができる。例えば、ユーザが経路３０４上の左折に近づくと、音は、左に移動されてもよい。いくつかの実施形態では、システム３００は、音の音量を変調して、ユーザに距離の感覚を与える、例えば、３フィート、１０フィート、又は５０フィート離れたところから音が来ているかのように思わせることができる。音量を調整する代わりに、又はそれに加えて、周波数及び残響を含むがこれらに限定されない、オーディオの他の様相を減衰させて、オーディオの仮想距離に影響を及ぼすことができる。いくつかの実施形態では、システム３００は、検出されたイベントに基づいて、例えば、ユーザが曲がり目を逃した又は障害物に近づいている場合に警告又は警報音を再生することによって、音を変更することができる。ナビゲーション構成要素３０６は、１つ以上の空間オーディオナビゲーション方法を使用して、経路３０４上でユーザを案内することができる。空間オーディオナビゲーション方法は、図５Ｃ～図５Ｉ、図６Ａ～図６Ｄ、及び図７Ａ～図７Ｃに関連して更に説明する。

図４は、いくつかの実施形態に係る、図３に示すような空間オーディオナビゲーションシステム３００によって実施することができる方法の高レベルフローチャートである。４００に示すように、空間オーディオナビゲーションシステム３００は、現在位置及び目標位置を取得又は判定することができる。ユーザの現実世界の現在位置は、例えば、デバイスの位置技術（例えば、ＧＰＵ技術）によって判定することができる。現実世界の目標位置は、例えば、デバイス上の空間オーディオナビゲーションシステム３００へのインターフェースを介してユーザによって提供されてもよく、又は別の方法で、空間オーディオナビゲーションシステム３００によって判定、若しくは空間オーディオナビゲーションシステム３００に入力されてもよい。４１０に示すように、地図情報を取得することができる。現実世界の地図情報は、例えば、デバイス上の地図又はナビゲーションアプリケーションによって使用される地図情報のデータベースから取得されてもよい。現在位置、目標位置、及び地図情報は、経路探索構成要素に入力されてもよい。４２０に示すように、経路探索構成要素は、１つ以上の経路探索方法を入力情報に適用して、現在位置から目標位置までの現実世界の経路を判定することができる。経路は、ナビゲーション構成要素に入力されてもよい。４３０に示すように、ナビゲーション構成要素は、１つ以上の空間オーディオ経路探索方法をオーディオ源に適用して、経路に沿ってユーザを目標位置に案内することができる。ユーザの現在位置、頭部の向き、及び動きは、ヘッドセット又はＨＭＤのセンサによって追跡され、ナビゲーション構成要素に入力され、経路とともに空間オーディオ経路探索方法に使用されて、左右のオーディオチャネルを調整して、ユーザに指向性オーディオキューを提供して、ユーザを目標位置に案内することができる。

図５Ｃ～図５Ｉ、図６Ａ～図６Ｄ、及び図７Ａ～図７Ｃは、図１～図４に示すような空間オーディオナビゲーションシステムの実施形態に使用することができる、様々な空間オーディオナビゲーション方法をグラフィカルに示す。いくつかの実施形態では、使用されることになる特定の方法（単数又は複数）は、ユーザに関する知識、ユーザが何をしているか（例えば、音楽を聴いている、電話通話中、又は何も聴いていない）、地図情報から判定されたような現実世界環境、及びオーディオ源（例えば、該当する場合、ユーザが現在何を聴いているか）を含むがこれらに限定されない１つ以上の要因に基づいて、システムによって自動的に判定されてもよい。いくつかの実施形態では、空間オーディオナビゲーションシステムは、ユーザが空間オーディオナビゲーション方法及び音を選択すること、又は、どの方法（単数又は複数）を使用するか、どんな音を再生するか、音量などを含むがこれらに限定されない、空間オーディオナビゲーションの好みを指定することを可能にするインターフェースを提供してもよい。いくつかの実施形態では、ユーザが、「自転車に乗る」、「歩く」、「走る」、又は「運転」などから選択することができる特定の活動のための所定の設定が存在してもよい。

図５Ａ及び図５Ｂは、バイノーラルオーディオデバイス（イヤホン又はヘッドフォンなどの右５１０Ａ及び左５１０Ｂオーディオデバイス）を介した従来のオーディオ出力を示す。図５Ａは、音がユーザの周囲全体、又は代わりにユーザの右側及び左側から来ているように思われることがあることを示す。図５Ｂに示すように、ユーザがユーザの頭部を回転させると、従来のシステムでは、音は、ユーザの頭部に対して同じ相対位置に留まる。

図５Ｃ～図５Ｉは、いくつかの実施形態に係る、図３及び図４に示すような空間オーディオナビゲーションシステムによって使用することができる、様々な空間オーディオナビゲーション方法をグラフィカルに示す。

図５Ｃは、ユーザの前の音の音量を増加させることによって、並びに／又は、ユーザの側面及び背面に対して音の音量を減少させる、若しくは音を遮断することによって、左右のオーディオ出力が調整されて、音がなんらかの距離でユーザの前から来ているかのように思わせる、空間オーディオナビゲーション方法を示す。音量の代わりに、又はそれに加えて、周波数及び残響を含むがこれらに限定されない、オーディオの他の様相を減衰させて、オーディオの仮想距離及び指向性に影響を及ぼすことができる。これにより、ユーザが音に向かって移動して経路をたどるように促す。図５Ｄ及び図５Ｅは、音の方向をユーザの右又は左に移動して、例えば、ユーザが曲がり角に近づいている、又は曲がり角にいるときに、ユーザに経路上で右折又は左折するように促すことができることを示す。

図５Ｃ～図５Ｅの方法は、例えば、現在再生している音の局所方向法で使用されてもよい。この方法では、ユーザは、音楽、ポッドキャスト、又は電話通話などのオーディオ源を聴いている。ユーザがヘッドセットを介して単純なステレオサウンドとしてオーディオ源を聴く代わりに、空間オーディオナビゲーションシステムは、ユーザが経路に従うように移動すべき方向にユーザからなんらかの距離だけ離れたところに音を配置し、経路に沿って音を移動させてユーザに経路をたどるように指示する。

図５Ｃ～図５Ｅの方法はまた、音トンネリング法でも使用することができる。音トンネリング法では、環境内の環境ノイズがサンプリング又はシミュレートされる。例えば、ユーザが森にいる場合、環境ノイズは、木のさらさら音を含んでもよく、又はユーザが街にいる場合、環境ノイズは、群衆及び交通の音を含んでもよい。次いで、この環境ノイズは、空間オーディオナビゲーションシステムによって再生される。ユーザが経路をたどるように移動すべき方向を除いて、ユーザを完全に囲む音に対する障害物が、空間オーディオナビゲーションシステムによって配置される。これにより、ユーザに環境ノイズの方向に経路をたどるように促す音トンネリング効果が生じる。

図５Ｆは、左右のオーディオ出力が調整されて、ユーザの前の音を遮断することによって、ユーザの前を除いて全ての方向から音が来ているかのように思わせる、空間オーディオナビゲーション方法を示す。これにより、ユーザが音の間隙に向かって移動して経路をたどるように促す。図５Ｇは、音の間隙の位置をユーザの右又は左に移動して、例えば、ユーザが曲がり角に近づいている、又は曲がり角にいるときに、ユーザに経路上で右折又は左折するように促すことができることを示す。

図５Ｆ及び図５Ｇの方法は、例えば、環境音閉塞法で使用することができる。環境音閉塞法では、環境内のノイズは、空間オーディオナビゲーションシステムによってサンプリング又はシミュレートされ、ユーザに再生される。しかしながら、障害物は、ユーザが経路をたどるように移動すべき方向に配置され、ユーザに面するように向けられる。この障害物は、ユーザが移動すべき方向の環境ノイズを遮断し、環境ノイズの間隙の方向に経路をたどるようにユーザに促す環境ノイズの間隙が存在する効果を引き起こす。

図５Ｈは、ユーザの背後の音の音量を増加させることによって、並びに／又は、ユーザの側面及び前に対して音の音量を減少させる、若しくは音を遮断することによって、左右のオーディオ出力が調整されて、音がなんらかの距離でユーザの背後から来ているかのように思わせる、空間オーディオナビゲーション方法を示す。これにより、ユーザが音から離れて移動して経路をたどるように促す。音の方向をユーザの背後の右又は左に移動して、例えば、ユーザが曲がり角に近づいている、又は曲がり角にいるときに、ユーザに経路上で左折又は右折するように促すことができる。音量の代わりに、又はそれに加えて、周波数及び残響を含むがこれらに限定されない、オーディオの他の様相を減衰させて、オーディオの仮想距離及び指向性に影響を及ぼすことができる。

図５Ｈの方法は、例えば、音追尾法で使用することができる。音追尾法では、音（例えば、狼の群れ、列車などの音）が再生され、それにより、音がユーザの背後のなんらかの距離から来ているように思え、ユーザが移動すると、音は、ユーザを「追いかける」又は追従して、経路に沿ってユーザを後押しする。

図５Ｉは、図５Ｃ～図５Ｈに示すような方法において、図５Ｃを一例として使用して、空間オーディオナビゲーションシステムが、ヘッドセット又はＨＭＤ内のＩＭＵによって検出されて追跡されるようなユーザの頭部の動き及び向きに応じて、左右のオーディオチャネルを調整して、それにより、音が経路上又は経路の方向に留まることを示す。図５Ｃに示すように、ユーザは、真っ直ぐ前を見ていて、音は、なんらかの距離でユーザの直ぐ前から来ているようにユーザには思える。図５Ｉでは、ユーザは、ユーザの頭部を左に回転しているが、図５Ｂに示すようにユーザの頭部とともに回転する代わりに、音の方向は、経路の方向に留まる。

図６Ａ～図６Ｄは、いくつかの実施形態に係る、空間オーディオナビゲーション方法を更に示す。図６Ａは、いくつかの障害物を含む現実世界の環境における、ユーザから目標位置（Ｘによって表される）までの判定された経路を示す。目標位置は、別の人、アイテム又はオブジェクト、場所、ランドマークなどであってもよい。ユーザの現在位置から目標位置までの経路は、障害物（例えば、建造物、川、フェンスなど）及びルート（例えば、道路、歩道、路地、通路など）の知識を含む地図情報を使用して、空間オーディオナビゲーションシステムによって判定することができる。

図６Ｂは、音（同心円によって表される）が経路を連続的にたどるように移動される、連続経路トレーシング法を示す。いくつかの実施形態では、音が経路の終端に到達すると、音は、経路の開始に戻り、プロセスは、繰り返される。

図６Ｃは、音が経路に沿って離散間隔で移動される離散経路トレーシング法を示す。いくつかの実施形態では、音が経路の終端に到達すると、音は、経路の開始に戻り、プロセスは、繰り返される。

図６Ｄは、音がユーザの背後から、ユーザが経路をたどるように移動する必要がある方向に向かって移動し、ユーザの前のなんらかの距離で停止し、その後繰り返す、音指向性法を示す。音は、ユーザの頭部からなんらかの距離だけ離れて配置されてもよく、例えば、耳優位性に応じて、ユーザの左又は右のいずれかに配置されてもよい。

図７Ａ～図７Ｃは、いくつかの実施形態に係る、曲がり目に対処するための空間オーディオナビゲーション方法を示す。図７Ａは、曲がり目を含む現実世界の環境におけるユーザのために判定された経路を示す。ユーザが曲がり目に近づくと、音を再生して、それにより、音が曲がり目の前かつ左から来ているように思わせることができる。音の音量及び位置は、ユーザが曲がり目に近づくにつれて調整されてもよい。図７Ｂでは、ユーザが曲がり目に到達すると、音は、音量が増加され、曲がり目の方向に経路をたどることができ、この場合、音は、ユーザの左から来ているかのように思われる。ユーザが音に追従して曲がる場合、音は、ユーザが経路内の別の曲がり目に近づくまで、音量を減少させる、又は消滅することができる。いくつかの実施形態では、特定の音又はトーンをユーザに再生して、ユーザが正しく曲がり、かつ依然として経路上にいることを示してもよい。図７Ｃに示すように、ユーザが曲がり目を逃した場合、音は、音量を減少させ、移動して、それにより、音がユーザの背後から来ているように思われ、ユーザが曲がり目を逃したことをユーザに促すことができる。あるいは、いくつかの実施形態では、ユーザが曲がり目を逃したときに、警告音が再生されてもよい。いくつかの実施形態では、ユーザが、曲がり目を通過し続ける、又は別の方法でシステムによって判定された経路から外れる場合、システムは、目標位置に対する新たな経路を再計算し、空間オーディオナビゲーション方法を使用して、新しい経路上でユーザに指示し始めてもよい。音量の代わりに、又はそれに加えて、周波数及び残響を含むがこれらに限定されない、オーディオの他の様相を減衰させて、オーディオの仮想距離及び指向性に影響を及ぼすことができる。
例示的な使用事例

以下は、本明細書に記載される空間オーディオナビゲーションシステム及び方法の実施形態のための、いくつかの例示的な非限定的使用事例を提供する。

自転車に乗っている人又はジョギングしている人は、その人のモバイル多目的デバイス上の空間オーディオナビゲーションシステムへのインターフェースを介して（例えば、タッチ又は音声コマンドを使用することによって）、自転車に乗る若しくは走るための５マイルの経路又はループを指定又は要求することができる。次に、ユーザは、音楽再生リストを聴き始めることができ、次いで、空間オーディオナビゲーションシステムは、バイノーラルヘッドセットを介して再生される音楽の指向性を使用して、経路上でユーザを案内することができる。空間オーディオナビゲーション方法のうちの１つ以上を使用することができる。例えば、空間オーディオナビゲーションシステムが、ユーザが経路をたどるように移動すべき方向にユーザからなんらかの距離だけ離れたところに音を配置し、経路に沿って音を移動させてユーザに経路をたどるように指示する、現在再生している音の局所方向法を使用することができる。

ユーザは、ショッピングモール、街、公園、又は他の環境で誰かに会う必要がある場合がある。ユーザは、ユーザのモバイル多目的デバイスを使用して、他の人がいる位置、又は会うための位置を見つけることができる。目標位置は、インターフェースを介して空間オーディオナビゲーションシステムに入力することができる。空間オーディオナビゲーションシステムは、ユーザの現在位置、目標位置、及び地図情報に基づいて経路を生成する。次いで、空間オーディオナビゲーションシステムは、空間オーディオナビゲーション方法（例えば、連続経路トレーシング、離散経路トレーシング、現在再生している音の局所方向、音指向性、音トンネリング、及び／又は環境音閉塞）のうちの１つ以上を使用して、経路上でユーザを目標位置に、したがって他の人に案内することができる。

車両では、空間オーディオナビゲーションシステムを使用して、車両ナビゲーションシステムによって提供される視覚的キュー及び／又は音声指示を拡張してもよい。例えば、ユーザが車両のナビゲーションシステム（内蔵の、又は接続されたモバイル多目的デバイスによって提供される、のいずれか）によってディスプレイスクリーン上に表示されるルートに従っている場合、車両のスピーカによって再生されている音楽又は他のオーディオは、空間オーディオナビゲーションシステムによって指向化されて、指向性オーディオキューを使用してルート上でユーザを案内するのに役立つことができる。例えば、左折が近づいている場合、音楽の音源は、移動されて、音楽が左から来ていると思わせてもよい。空間オーディオナビゲーション技術はまた、ナビゲーションシステムによって提供される音声指示と統合されてもよい。例えば、一番通りでの左折に近づいているとき、システムは、「一番通りで左に曲がります」と言うことができる。しかしながら、ユーザの周囲又は前から来る音声コマンドの代わりに、コマンドを、車両の左から来ているように思わせて、ユーザが曲がる必要がある方向に関する指向性オーディオキューを提供することができる。

ユーザの自宅では、鍵又は財布などのアイテムを置き忘れることがある。モバイル多目的デバイスは、（例えば、デバイスが位置を突き止めることができるアイテム上に配置されたドングル若しくは「ドット」を介して）アイテムの位置を突き止めることができ、又は（例えば、デバイスがアイテムの位置を記録してタグ付けするコンピュータビジョン若しくは他の技術を使用して）アイテムの最後の位置を覚えていることができる。ユーザがアイテムを見つけることができない場合、ユーザは、デバイスにそのアイテムの位置を突き止めるように頼むことができる（例えば、「私の鍵を見つけてください」）。次いで、空間オーディオナビゲーションシステムは、ヘッドセットを介して又は自宅のスピーカシステムを介して再生される指向性オーディオキューを使用して、ユーザをアイテムに案内することができる。

本明細書で説明される方法は、異なる実施形態では、ソフトウェア、ハードウェア、又はそれらの組み合わせで実施されてもよい。加えて、方法のブロックの順序は変更されてもよく、様々な要素の追加、再順序付け、組み合わせ、省略、修正などが行われてもよい。本開示の利益を得る当業者にとって明白であるような、様々な修正及び変更が行われてもよい。本明細書に記載される各種実施形態は、例示的なものであり、限定的なものではない。多くの変形、修正、追加、及び改善が可能である。したがって、単一の事例として本明細書に記載される構成要素について、複数の事例を提供することができる。種々の構成要素、動作及びデータストアの間の境界は、ある程度任意のものであり、特定の動作は、特定の例示的な構成の文脈において示される。機能性の他の割り当てが想定され、以下に続く請求項の範囲内に含まれてもよい。最後に、例示的な構成における別個の構成要素として提示された構造及び機能性は、組み合わされた構造又は構成要素として実施されてもよい。それらの及び他の変形、修正、追加、及び改善は、以下に続く請求項で定義されるように、実施形態の範囲内に含まれてもよい。

Claims (18)

1. 経路に沿ってユーザを案内するためのシステムであって、モバイルデバイスを備え、前記モバイルデバイスが、
   １つ以上のプロセッサと、
   前記モバイルデバイスの現在位置を検出して追跡するための１つ以上の位置センサと、
   前記１つ以上のプロセッサによって実行可能なプログラム命令を記憶したメモリであって、前記プログラム命令が、
   前記モバイルデバイスの目標位置を判定し、
   前記現在位置から前記目標位置までの経路を判定し、
   前記経路に対する前記モバイルデバイスの前記現在位置に基づいて、バイノーラルオーディオデバイスを介して再生される音の仮想指向性及び距離を制御し、
   前記経路に対する前記モバイルデバイスの前記現在位置に基づいて、前記バイノーラルオーディオデバイスを介して再生される音の仮想指向性及び距離を制御する際に、前記プログラム命令は、前記音の仮想指向性及び距離に関連する音の仮想発生源が前記経路に沿って連続的に移動される空間オーディオナビゲーション方法を適用する、ことを含むシステム。
2. 有線又は無線接続によって前記モバイルデバイスに接続されるバイノーラルオーディオデバイスを更に含み、
   前記プログラム命令が、前記バイノーラルオーディオデバイスの動き及び向きを示すデータに少なくとも部分的に基づいて、前記バイノーラルオーディオデバイスを介して再生される前記音の前記仮想指向性を調整するように、前記１つ以上のプロセッサによって更に実行可能である、請求項１に記載のシステム。
3. 前記プログラム命令が、地図情報に少なくとも部分的に基づいて、前記現在位置から前記目標位置までの前記経路を判定するように、前記１つ以上のプロセッサによって更に実行可能である、請求項１に記載のシステム。
4. 前記システムが、前記バイノーラルオーディオデバイスを更に含み、前記バイノーラルオーディオデバイスが、左右のオーディオ出力構成要素を含み、前記バイノーラルオーディオデバイスを介して再生される前記音の前記仮想指向性及び距離が、有線又は無線接続を介して前記モバイルデバイスによって前記バイノーラルオーディオデバイスの前記左右のオーディオ出力構成要素に送信される、左右のオーディオチャネルの音量、周波数、又は残響のうちの１つ以上を調整することによって制御される、請求項１に記載のシステム。
5. 前記バイノーラルオーディオデバイスを介して再生される前記音が、音楽、電話会話、オーディオブック、ポッドキャスト、ラジオ放送、現実環境からサンプリングされた若しくは現実環境に対してシミュレートされた環境ノイズ、トーン及びホワイトノイズを含むシミュレートされた音、又は録音された音のうちの１つ以上を含む、請求項１に記載のシステム。
6. 前記経路に対する前記モバイルデバイスの前記現在位置に基づいて、前記バイノーラルオーディオデバイスを介して再生される音の仮想指向性及び距離を制御する際に、前記プログラム命令は、前記音の仮想指向性及び距離に関連する音の仮想発生源が前記経路に沿って離散間隔で移動される空間オーディオナビゲーション方法を適用するように、前記１つ以上のプロセッサによって更に実行可能である、請求項１に記載のシステム。
7. 前記経路に対する前記モバイルデバイスの前記現在位置に基づいて、前記バイノーラルオーディオデバイスを介して再生される音の仮想指向性及び距離を制御する際に、前記プログラム命令は、前記音が前記経路に沿った方向であり前記バイノーラルオーディオデバイスの前記現在位置からの一定距離に配置される空間オーディオナビゲーション方法を適用するように、前記１つ以上のプロセッサによって更に実行可能である、請求項１に記載のシステム。
8. 前記経路に対する前記モバイルデバイスの前記現在位置に基づいて、前記バイノーラルオーディオデバイスを介して再生される音の仮想指向性及び距離を制御する際に、前記プログラム命令は、前記音の仮想指向性及び距離に関連する音の仮想発生源が前記経路上の前記バイノーラルオーディオデバイスの前記現在位置の背後の位置から、前記経路上の前記バイノーラルオーディオデバイスの前記現在位置の前方の位置へ移動する空間オーディオナビゲーション方法を適用するように、前記１つ以上のプロセッサによって更に実行可能である、請求項１に記載のシステム。
9. 前記経路に対する前記モバイルデバイスの前記現在位置に基づいて、前記バイノーラルオーディオデバイスを介して再生される音の仮想指向性及び距離を制御する際に、前記プログラム命令は、サンプリングされた又はシミュレートされた環境ノイズが前記経路に沿った方向に再生され、かつ他の方向に遮断されて、音トンネリング効果を引き起こす空間オーディオナビゲーション方法を適用するように、前記１つ以上のプロセッサによって更に実行可能である、請求項１に記載のシステム。
10. 前記経路に対する前記モバイルデバイスの前記現在位置に基づいて、前記バイノーラルオーディオデバイスを介して再生される音の仮想指向性及び距離を制御する際に、前記プログラム命令は、サンプリングされた又はシミュレートされた環境ノイズが前記経路に沿った方向に遮断され、かつ他の方向に再生されて、環境ノイズの間隙を引き起こす空間オーディオナビゲーション方法を適用するように、前記１つ以上のプロセッサによって更に実行可能である、請求項１に記載のシステム。
11. 前記経路に対する前記モバイルデバイスの前記現在位置に基づいて、前記バイノーラルオーディオデバイスを介して再生される音の仮想指向性及び距離を制御する際に、前記プログラム命令は、前記音が前記経路の方向とは反対の方向に再生される空間オーディオナビゲーション方法を適用するように、前記１つ以上のプロセッサによって更に実行可能である、請求項１に記載のシステム。
12. 前記システムが、前記バイノーラルオーディオデバイスを更に含み、前記バイノーラルオーディオデバイスが、ヘッドセットであり、前記モバイルデバイスが、モバイル多目的デバイスである、請求項１に記載のシステム。
13. 前記システムが、前記バイノーラルオーディオデバイスを更に含み、
    前記モバイルデバイスが、ヘッドマウントディスプレイデバイスであり、
    前記バイノーラルオーディオデバイスが、ヘッドセット又は前記ヘッドマウントディスプレイデバイスに統合されたスピーカのうちの一つである、請求項１に記載のシステム。
14. １つ以上のプロセッサを備えるモバイルデバイスによって、
    現在位置及び目標位置を判定することと、
    前記現在位置から前記目標位置までの経路を判定することと、
    前記経路に対する前記モバイルデバイスの前記現在位置に基づいて、バイノーラルオーディオデバイスの左右のオーディオ出力構成要素に送信される左右のオーディオチャネルの音量、周波数、又は残響のうちの１つ以上を調整して、前記バイノーラルオーディオデバイスを介して再生される音の指向性及び距離を制御することと、
    を実行することを含み、
    前記バイノーラルオーディオデバイスを介して再生される音の指向性及び距離を制御することによって、前記音の指向性及び距離に関連する音の仮想発生源を前記経路に沿って連続的に移動させるナビゲーションキューがユーザに提供される、方法。
15. 前記モバイルデバイスの前記現在位置を検出して追跡するように構成された前記モバイルデバイスの１つ以上の位置センサによって提供される位置データに基づいて、前記現在位置を判定することを更に含む、請求項１４に記載の方法。
16. 地図情報に少なくとも部分的に基づいて、前記現在位置から前記目標位置までの前記経路を判定することを更に含む、請求項１４に記載の方法。
17. 前記バイノーラルオーディオデバイスの動き及び向きを示すデータに少なくとも部分的に基づいて、前記バイノーラルオーディオデバイスの前記左右のオーディオ出力構成要素に送信される前記左右のオーディオチャネルの音量、周波数、又は残響のうちの１つ以上を調整することを更に含む、請求項１４に記載の方法。
18. オーディオヘッドセットであって、
    左右のオーディオ出力構成要素と、
    前記オーディオヘッドセットの動き及び向きを検出して追跡する１つ以上の動きセンサと、
    を含む、
    オーディオヘッドセットと、
    モバイル多目的デバイスであって、
    １つ以上のプロセッサと、
    前記モバイル多目的デバイスの位置を検出して追跡する１つ以上の位置センサと、
    前記１つ以上のプロセッサによって実行可能なプログラム命令であって、
    目標位置を判定し、
    位置センサデータに少なくとも部分的に基づいて、前記モバイル多目的デバイスの位置を判定し、
    地図情報に少なくとも部分的に基づいて、現在位置から前記目標位置までの経路を判定し、
    位置センサデータ及び動きセンサデータに少なくとも部分的に基づいて、有線又は無線接続を介してバイノーラルオーディオデバイスの前記左右のオーディオ出力構成要素に送信される左右のオーディオチャネルの音量、周波数、又は残響のうちの１つ以上を調整して、前記バイノーラルオーディオデバイスを介して再生される音の指向性及び距離を制御する、
    プログラム命令を含むメモリと、
    を含む、モバイル多目的デバイスと、
    を備え、
    前記バイノーラルオーディオデバイスを介して再生される音の仮想指向性及び距離を制御する際に、前記プログラム命令により、前記音の仮想指向性及び距離に関連する音の仮想発生源が前記経路に沿って連続的に移動される空間オーディオナビゲーション方法を適用する、空間オーディオナビゲーションシステム。

Images