JP7445070B2 - オーディオファイルの頭部姿勢ミキシング - Google Patents

Description

（関連出願の相互参照）
本願は、２０１５年９月１６日に出願され“ＨＥＡＤ ＰＯＳＥ ＭＩＸＩＮＧ ＯＦ ＡＵＤＩＯ ＦＩＬＥＳ”と題された米国仮出願第６２／２１９，６０４号および２０１６年１月２９日に出願され“ＨＥＡＤ ＰＯＳＥ ＭＩＸＩＮＧ ＯＦ ＡＵＤＩＯ ＦＩＬＥＳ”と題された米国仮出願第６２／２８９，０８５号に対して３５ Ｕ．Ｓ．Ｃ． § １１９（ｅ）のもとで優先権の利益を主張するものである。両仮出願は、それらの全体が参照により本明細書中に援用される。

（分野）
本開示は、仮想現実および拡張現実イメージングおよび可視化システムに関し、特に、ユーザの姿勢に基づいて、オーディオファイルをミックスするためのシステムに関する。

現代のコンピューティングおよびディスプレイ技術は、デジタル的に再現された画像またはその一部が、本物であるように見える、またはそのように知覚され得る様式でユーザに提示される、いわゆる「仮想現実」、「拡張現実」、または「複合現実」体験のためのシステムの開発を促進している。仮想現実または「ＶＲ」シナリオは、典型的には、他の実際の実世界の視覚的入力に対して透過性を伴わずに、デジタルまたは仮想画像情報の提示を伴う。拡張現実または「ＡＲ」シナリオは、典型的には、ユーザの周囲の実際の世界の可視化の拡張としてデジタルまたは仮想画像情報の提示を伴う。複合現実または「ＭＲ」は、物理的および仮想オブジェクトが、共存し、リアルタイムで相互作用する、新しい環境を生成するための実世界と仮想世界の融合に関連する。結論から述べると、ヒト視知覚系は、非常に複雑であって、他の仮想または実世界画像要素の中で仮想画像要素の快適かつ自然な感覚で豊かな提示を促進する、ＶＲ、ＡＲ、またはＭＲ技術を生成することは、困難である。本明細書に開示されるシステムおよび方法は、ＶＲ、ＡＲ、およびＭＲ技術に関連する種々の課題に対処する。

（概要）
ディスプレイデバイスのユーザに、オーディオファイルの聴覚的または視覚的表現を提示することができる、ウェアラブルデバイスの実施例が、説明される。オーディオファイルは、オーディオファイルの異なるオーディオコンテンツを表す複数のステムトラックを備える。

ウェアラブルデバイスの実施形態は、複数のステムトラックを含むオーディオファイルを記憶するように構成される、非一過性メモリであって、各ステムトラックは、オーディオファイルの異なるオーディオコンテンツを表す、非一過性メモリと、ウェアラブルデバイスのユーザの姿勢と関連付けられた情報を測定するように構成される、センサと、画像をウェアラブルデバイスのユーザの眼に提示するように構成される、ディスプレイと、音をウェアラブルデバイスのユーザに提示するように構成される、スピーカと、非一過性メモリ、センサ、スピーカ、およびディスプレイと通信する、プロセッサとを備える。プロセッサは、ユーザの姿勢を判定することと、少なくとも部分的に、ユーザの姿勢に基づいて、オーディオファイルの複数のステムトラックのうちの少なくとも１つのオーディオミックスを生成することと、少なくとも部分的に、ユーザの姿勢およびオーディオミックスに基づいて、オーディオミックスの可視化を生成することと、オーディオミックスを表すオーディオ信号をスピーカに通信することと、オーディオミックスの可視化を表す視覚的信号をディスプレイに通信することとを行うための実行可能命令でプログラムされる。

別の側面では、拡張現実オブジェクトと相互作用するための方法が、説明される。本方法は、ハードウェアコンピュータプロセッサの制御下で行われる。本方法は、ウェアラブルシステムのユーザによる相互作用のための拡張現実オブジェクトを生成するステップと、ユーザがインターフェースと相互作用する間、ユーザのジェスチャを検出するステップと、検出されたジェスチャと拡張現実オブジェクトの特性への修正を関連付けるステップと、拡張現実オブジェクトの特性への修正に従って、拡張現実オブジェクトを修正するステップとを含む。ウェアラブルシステムは、拡張現実オブジェクトと相互作用するための方法を行う、プロセッサを含むことができる。 本明細書は、例えば以下の項目も提供する。
（項目１）
ウェアラブルデバイスであって、
複数のステムトラックを含むオーディオファイルを記憶するように構成される非一過性メモリであって、各ステムトラックは、前記オーディオファイルの異なるオーディオコンテンツを表す、非一過性メモリと、
前記ウェアラブルデバイスのユーザの姿勢と関連付けられた情報を測定するように構成されるセンサと、
画像を前記ウェアラブルデバイスのユーザの眼に提示するように構成されるディスプレイと、
音を前記ウェアラブルデバイスのユーザに提示するように構成されるスピーカと、
前記非一過性メモリ、前記センサ、前記スピーカ、および前記ディスプレイと通信するプロセッサであって、前記プロセッサは、
前記ユーザの姿勢を判定することと、
少なくとも部分的に、前記ユーザの姿勢に基づいて、前記オーディオファイルの複数のステムトラックのうちの少なくとも１つのオーディオミックスを生成することと、
少なくとも部分的に、前記ユーザの姿勢および前記オーディオミックスに基づいて、前記オーディオミックスの可視化を生成することと、
前記オーディオミックスを表すオーディオ信号を前記スピーカに通信することと、
前記オーディオミックスの可視化を表す視覚的信号を前記ディスプレイに通信することと
を行うための実行可能命令でプログラムされる、プロセッサと
を備える、ウェアラブルデバイス。
（項目２）
前記複数のステムトラックのステムトラックは、異なる楽器またはボーカルトラックと関連付けられる、項目１に記載のウェアラブルデバイス。
（項目３）
前記複数のステムトラックの少なくとも１つのステムトラックは、前記ステムトラックの空間場所および空間指向性と関連付けられた情報を含む、項目１に記載のウェアラブルデバイス。
（項目４）
前記センサは、ジャイロスコープ、加速度計、慣性測定ユニット、眼追跡カメラ、または前記ユーザの環境を撮像するように構成されるカメラのうちの少なくとも１つを備える、項目１に記載のウェアラブルデバイス。
（項目５）
前記姿勢は、頭部姿勢、眼姿勢、身体姿勢、または手のジェスチャのうちの少なくとも１つを備える、項目１に記載のウェアラブルデバイス。
（項目６）
前記可視化は、前記複数のステムトラックの個別のステムトラックと関連付けられた視覚的グラフィックを備える、項目１に記載のウェアラブルデバイス。
（項目７）
前記視覚的グラフィックは、前記ステムトラックの演奏と関連付けられた楽器または人物のグラフィカル表現を備える、項目６に記載のウェアラブルデバイス。
（項目８）
前記視覚的グラフィックの少なくとも一部は、前記ユーザに対して異なる深度平面において提示される、項目６に記載のウェアラブルデバイス。
（項目９）
前記ウェアラブルデバイスは、前記ユーザの環境内の物理的オブジェクトを認識し、前記複数のステムトラックのうちのステムトラックのグラフィカル表現を前記物理的オブジェクトと関連付けられているように提示するように構成される、項目１に記載のウェアラブルデバイス。
（項目１０）
前記ウェアラブルデバイスは、ユーザ入力デバイスから入力を受信するように構成され、前記プロセッサは、少なくとも部分的に、前記入力に基づいて、前記オーディオミックスまたは前記可視化を生成するように構成される、項目１に記載のウェアラブルデバイス。
（項目１１）
オーディオファイルと相互作用するための方法であって、前記方法は、
ハードウェアコンピュータプロセッサと、前記ウェアラブルデバイスのユーザの姿勢と関連付けられた情報を測定するように構成されるセンサと、画像を前記ウェアラブルデバイスのユーザの眼に提示するように構成されるディスプレイと、音を前記ウェアラブルデバイスのユーザに提示するように構成されるスピーカとを備える、ウェアラブルデバイスの制御下で、
オーディオファイルと関連付けられた複数のステムトラックにアクセスするステップと、
前記複数のステムトラックの可視化を生成するステップと、
前記ユーザの姿勢を検出するステップと、
少なくとも部分的に、前記ユーザの姿勢に基づいて、前記オーディオファイルの複数のステムトラックのうちの少なくとも１つのオーディオミックスを生成するステップと、
少なくとも、前記ユーザの姿勢または前記オーディオミックスのうちの１つに基づいて、前記複数のステムトラックの可視化を更新するステップと、
前記オーディオミックスを表すオーディオ信号を前記スピーカに通信するステップと、
前記オーディオミックスの可視化を表す視覚的信号を前記ディスプレイに通信するステップと
を含む、方法。
（項目１２）
前記複数のステムトラックのステムトラックは、異なる楽器またはボーカルトラックと関連付けられる、項目１１に記載の方法。
（項目１３）
前記複数のステムトラックの少なくとも１つのステムトラックは、前記ステムトラックの空間場所および空間指向性と関連付けられた情報を含む、項目１１に記載の方法。
（項目１４）
前記可視化は、前記複数のステムトラックの個別のステムトラックに対応する視覚的グラフィックを含む、項目１１に記載の方法。
（項目１５）
前記視覚的グラフィックは、前記個別のステムトラックと関連付けられた楽器または前記個別のステムトラックと関連付けられた楽器を演奏する人物を含む、項目１４に記載の方法。
（項目１６）
前記視覚的グラフィックの少なくとも一部は、前記ユーザに対して異なる深度平面において提示される、項目１４に記載の方法。
（項目１７）
前記姿勢は、頭部姿勢、眼姿勢、身体姿勢、または手のジェスチャのうちの少なくとも１つを備える、項目１１に記載の方法。
（項目１８）
前記可視化を更新するステップは、複数のステムトラックのステムトラックと関連付けられた視覚的グラフィックを強調または強調解除するステップを含む、項目１１に記載の方法。
（項目１９）
前記複数のステムトラックのうちのステムトラックの選択を受信するステップと、
前記ステムトラックを修正するためのインジケーションを受信するステップであって、前記インジケーションは、前記ユーザの姿勢の変化またはユーザ入力デバイスからの入力を含む、ステップと、
少なくとも部分的に、前記インジケーションに基づいて、前記ステムトラックを修正するステップと、
をさらに含む、項目１１に記載の方法。
（項目２０）
前記ステムトラックを修正するステップは、音量を調節するステップと、前記ステムトラックと別のステムトラックを置換するステップと、前記ステムトラックを消音するステップと、前記複数のステムトラックの他のステムトラックより前記ステムトラックを強調するステップとのうちの少なくとも１つを含む、項目１９に記載の方法。

本明細書に説明される主題の１つまたはそれを上回る実装の詳細が、付随の図面および以下の説明に記載される。他の特徴、側面、および利点は、説明、図面、および請求項から明白となるであろう。本概要または以下の発明を実施するための形態のいずれも、本発明の主題の範囲を定義または限定することを主張するものではない。

図１は、人物によって視認されるある仮想現実オブジェクトおよびある物理的オブジェクトを伴う、複合現実シナリオの例証を描写する。

図２は、ウェアラブルシステムの実施例を図式的に図示する。

図３は、複数の深度平面を使用して３次元画像をシミュレートするためのアプローチの側面を図式的に図示する。

図４は、画像情報をユーザに出力するための導波管スタックの実施例を図式的に図示する。

図５は、導波管によって出力され得る、例示的出射ビームを示す。

図６は、導波管装置と、光を導波管装置へまたはそこから光学的に結合するための光学結合器サブシステムと、多焦点立体ディスプレイ、画像、またはライトフィールドの生成において使用される、制御サブシステムとを含む、光学システムを示す、概略図である。

図７は、ウェアラブルシステムの実施例のブロック図である。

図８は、認識されるオブジェクトに関連して仮想コンテンツをレンダリングする方法の実施例のプロセスフロー図である。

図９は、ウェアラブルシステムの別の実施例のブロック図である。

図１０は、ウェアラブルシステムへのユーザ入力を判定するための方法の実施例のプロセスフロー図である。

図１１は、仮想ユーザインターフェースと相互作用するための方法の実施例のプロセスフロー図である。

図１２－１４は、ウェアラブルシステムのユーザに、オーディオファイルの複数のステムトラックの可視化を提示する、ユーザインターフェースの実施例を図式的に図示し、オーディオファイルは、少なくとも部分的に、ユーザの姿勢に基づいて、動的にミックスされる。 図１２－１４は、ウェアラブルシステムのユーザに、オーディオファイルの複数のステムトラックの可視化を提示する、ユーザインターフェースの実施例を図式的に図示し、オーディオファイルは、少なくとも部分的に、ユーザの姿勢に基づいて、動的にミックスされる。 図１２－１４は、ウェアラブルシステムのユーザに、オーディオファイルの複数のステムトラックの可視化を提示する、ユーザインターフェースの実施例を図式的に図示し、オーディオファイルは、少なくとも部分的に、ユーザの姿勢に基づいて、動的にミックスされる。

図１５は、異なる視覚的グラフィックをユーザの環境内の異なる深度において示す、３Ｄユーザインターフェースの実施例を図示する。

図１６Ａおよび１６Ｂは、音源の指向性の実施例を図示する。 図１６Ａおよび１６Ｂは、音源の指向性の実施例を図示する。

図１７は、音コラージュ効果を生成する実施例を図示する。

図１８は、オーディオファイルを視覚的かつ聴覚的に提示する例示的プロセスを図示する。

図面全体を通して、参照番号は、参照される要素間の対応を示すために再使用され得る。図面は、本明細書に説明される例示的実施形態を図示するために提供され、本開示の範囲を限定することを意図されない。

（概観）
オーディオファイルは、例えば、音声、ドラム、ギター、ベース、または他の音に関するオーディオ信号を表す、複数のステムトラックを含むことができる。ステムトラックは、ドラムのグループまたは楽器の四重奏等の複数の楽器と関連付けられる、または音声または１つの楽器等の単一音源と関連付けられてもよい。単一ステムトラックは、モノ、ステレオ、または周囲音トラックを表すことができる。オーディオファイルは、１、２、３、４、５、６、８、１０、１２、またはそれを上回るステムトラックを含むことができる。ステムトラックに加え、オーディオファイルはまた、標準的再生のためのマスタトラックを含むことができる。

ユーザは、オーディオファイル内のステムトラックと相互作用し、ステムトラックをミックスすることによって、新しいオーディオファイルを生成することを所望してもよい。しかしながら、既存のユーザインターフェースは、多くの場合、典型的には、ステムトラックの可視化を提供せず、多くの場合、複数のステムトラックを組み合わせるために専門技術を要求するため、本タスクのためには扱いにくい。

本明細書に説明されるウェアラブルシステムは、ステムトラックと関連付けられた視覚的グラフィックを提供することによって、本問題を解決することを対象とする。例えば、ステムトラックと関連付けられた視覚的グラフィックは、そのステムトラックのために使用される楽器のグラフィカル表現であってもよい。視覚的グラフィックはまた、ステムトラックが音声と関連付けられる場合、仮想ヒトであってもよい。

ウェアラブルシステムは、ユーザが、姿勢（頭部姿勢、身体姿勢、眼姿勢、または手のジェスチャ等）を使用して、ステムトラックと容易に相互作用することを可能にすることができる。例えば、ユーザは、その手を移動させる、またはその頭部の位置を変化させることによって、オーディオファイル内の複数のステムトラックをミックスする、または複数のオーディオファイルを横断してステムトラックをミックスすることができる。ユーザはまた、例えば、ステムトラックを調節する（ステムトラックの音量を調節する等）ことによって、またはステムトラックと別のステムトラックと置換することによって、オーディオファイルを修正することができる。いくつかの実施形態では、ステムトラックのあるミックスは、ユーザの環境内の場所と関連付けられてもよい。ユーザが、環境内のある場所に移動するにつれて、ウェアラブルシステムは、その場所と関連付けられた音（または音の混合物）を再生してもよい。ステムトラックとの相互作用の付加的実施例は、図１２－１８を参照してさらに説明される。

本明細書の実施例は、オーディオファイルを参照して説明されるが、ウェアラブルシステムはまた、ビデオファイルまたはオーディオファイルとビデオファイルとの組み合わせ（ビデオファイルが、オーディオ音トラックを備える場合等）との類似ユーザ相互作用を可能にするように構成されることができる。
（３Ｄディスプレイ）

ウェアラブルシステムは、ユーザがオーディオファイル内のステムトラックの可視化等の仮想コンテンツと相互作用するための３次元（３Ｄ）ユーザインターフェースを提示するように構成されることができる。例えば、ウェアラブルシステムは、単独で、または組み合わせて、ユーザ相互作用のためのＶＲ、ＡＲ、またはＭＲ環境を提示することができる、ウェアラブルデバイスの一部であってもよい。

図１は、人物によって視認される、ある仮想現実オブジェクトおよびある物理的オブジェクトを伴う、複合現実シナリオの例証を描写する。図１では、ＭＲ場面１００が、描写され、ＭＲ技術のユーザには、人々、木々、背景内の建物、およびコンクリートプラットフォーム１２０を特徴とする、実世界公園状設定１１０が見える。これらのアイテムに加え、ＭＲ技術のユーザはまた、実世界プラットフォーム１２０上に立っているロボット像１３０と、マルハナバチの擬人化のように見える、飛んでいる漫画のようなアバタキャラクタ１４０とが「見える」と知覚するが、これらの要素は、実世界には存在しない。

３Ｄディスプレイが、真の深度感覚、より具体的には、表面深度のシミュレートされた感覚を生成するために、ディスプレイの視野内の点毎に、その仮想深度に対応する遠近調節応答を生成することが望ましい。ディスプレイ点に対する遠近調節応答が、収束および立体視の両眼深度キューによって判定されるようなその点の仮想深度に対応しない場合、ヒトの眼は、遠近調節衝突を体験し、不安定なイメージング、有害な眼精疲労、頭痛、および遠近調節情報の不在下では、表面深度のほぼ完全な欠如をもたらし得る。

ＶＲ、ＡＲ、およびＭＲ体験は、複数の深度平面に対応する画像が視認者に提供されるディスプレイを有する、ディスプレイシステムによって提供されることができる。画像は、深度平面毎に異なってもよく（例えば、場面またはオブジェクトの若干異なる提示を提供する）、視認者の眼によって別個に集束され、それによって、異なる深度平面上に位置する場面に関する異なる画像特徴に合焦させるために要求される眼の遠近調節に基づいて、および／または合焦からずれている異なる深度平面上の異なる画像特徴を観察することに基づいて、ユーザに深度キューを提供することに役立ち得る。本明細書のいずれかに議論されるように、そのような深度キューは、信用できる深度の知覚を提供する。

図２は、ウェアラブルシステム２００の実施例を図示する。ウェアラブルシステム２００は、ディスプレイ２２０と、ディスプレイ２２０の機能をサポートするための種々の機械的および電子的モジュールおよびシステムとを含む。ディスプレイ２２０は、ユーザ、装着者、または視認者２１０によって装着可能である、フレーム２３０に結合されてもよい。ディスプレイ２２０は、ユーザ２１０の眼の正面に位置付けられることができる。ディスプレイ２２０は、ユーザの頭部に装着される、頭部搭載型ディスプレイ（ＨＭＤ）を備えることができる。いくつかの実施形態では、スピーカ２４０が、フレーム２３０に結合され、ユーザの外耳道に隣接して位置付けられる（いくつかの実施形態では、示されない別のスピーカが、ユーザの他方の外耳道に隣接して位置付けられ、ステレオ／成形可能音響制御を提供する）。図１２－１６をさらに参照して説明されるように、ウェアラブルシステム２００は、スピーカ２４０を介して、オーディオファイルをユーザに再生し、ディスプレイ２２０を使用して、音ファイル内の種々のステムトラックの３Ｄ可視化を提示することができる。

ウェアラブルシステム２００はまた、ユーザの周囲の環境内の世界を観察する、外向きに面したイメージングシステム４６４（図４に示される）を含むことができる。ウェアラブルシステム１００はまた、ユーザの眼移動を追跡することができる、内向きに面したイメージングシステム４６２（図４に示される）を含むことができる。内向きに面したイメージングシステムは、一方の眼の移動または両方の眼の移動のいずれかを追跡することができる。内向きに面したイメージングシステムは、フレーム２３０に取り付けられてもよく、内向きに面したイメージングシステムによって取得された画像情報を処理し、例えば、ユーザ２１０の眼または眼姿勢の瞳孔直径および／または配向を判定し得る、処理モジュール２６０および／または２７０と電気通信してもよい。

実施例として、ウェアラブルシステム２００は、外向きに面したイメージングシステム４６４および／または内向きに面したイメージングシステム４６２を使用して、ユーザの姿勢の画像を取得することができる。画像は、静止画像、ビデオのフレームまたはビデオ、その組み合わせ、または同等物であってもよい。姿勢は、オーディオファイルのステムトラックをミックスする、またはユーザに提示されるべきオーディオコンテンツを判定するために使用されてもよい。

ディスプレイ２２０は、有線導線または無線接続等によって、フレーム２３０に固定して取り付けられる、ユーザによって装着されるヘルメットまたは帽子に固定して取り付けられる、ヘッドホンに内蔵される、または別様にユーザ２１０に（例えば、バックパック式構成において、ベルト結合式構成において）可撤式に取り付けられる等、種々の構成において搭載され得る、ローカルデータ処理モジュール２６０に動作可能に結合される（２５０）。

ローカル処理およびデータモジュール２６０は、ハードウェアプロセッサおよび不揮発性メモリ（例えば、フラッシュメモリ）等のデジタルメモリを備えてもよく、その両方は、データの処理、キャッシング、および記憶を補助するために利用され得る。データは、ａ）画像捕捉デバイス（例えば、内向きに面したイメージングシステムおよび／または外向きに面したイメージングシステム内のカメラ）、マイクロホン、慣性測定ユニット（ＩＭＵ）、加速度計、コンパス、全地球測位システム（ＧＰＳ）ユニット、無線デバイス、および／またはジャイロスコープ等の（例えば、フレーム２３０に動作可能に結合される、または別様にユーザ２１０に取り付けられ得る）センサから捕捉されるデータ、および／または、ｂ）場合によってはそのような処理または読出後にディスプレイ２２０への通過のために、遠隔処理モジュール２７０および／または遠隔データリポジトリ２８０を使用して取得および／または処理されるデータ、を含んでもよい。ローカル処理およびデータモジュール２６０は、これらの遠隔モジュールがローカル処理およびデータモジュール２６０へのリソースとして利用可能であるように、有線または無線通信リンクを介して等、通信リンク２６２および／または２６４によって遠隔処理モジュール２７０および／または遠隔データリポジトリ２８０に動作可能に結合されてもよい。加えて、これらの遠隔処理モジュール２８０および遠隔データリポジトリ２８０は、相互に動作可能に結合されてもよい。

いくつかの実施形態では、遠隔処理モジュール２７０は、データおよび／または画像情報を分析および処理するように構成される、１つまたはそれを上回るプロセッサを備えてもよい。いくつかの実施形態では、遠隔データリポジトリ２８０は、デジタルデータ記憶設備を備え得、これは、「クラウド」リソース構成におけるインターネットまたは他のネットワーキング構成を通して利用可能であってもよい。いくつかの実施形態では、全てのデータが、記憶され、全ての算出が、ローカル処理およびデータモジュールにおいて行われ、遠隔モジュールからの完全に自律的な使用を可能にする。

例えば、遠隔データリポジトリ２８０は、ステムトラックと関連付けられた情報等のオーディオファイルのコンテンツを記憶するように構成されることができる。ローカル処理およびデータモジュール２６０および／または遠隔処理モジュール２７０は、ユーザの視線の方向等のユーザの姿勢を検出することができる。処理モジュール２６０および２７０は、遠隔データリポジトリ２８０と通信し、ステムトラックを得て、ユーザの視線の方向にステムトラックの可視化を生成することができる。処理モジュール２６０および２７０はさらに、ディスプレイ２２０と通信し、可視化をユーザに提示することができる。

ヒト視覚系は、複雑であり、深度の現実的知覚を提供することは、困難である。理論によって限定されるわけではないが、オブジェクトの視認者は、輻輳・開散（ｖｅｒｇｅｎｃｅ）運動および遠近調節（ａｃｃｍｍｏｄａｔｉｏｎ）の組み合わせに起因して、オブジェクトを３次元として知覚し得ると考えられる。相互に対する２つの眼の輻輳・開散運動（すなわち、眼の視線を収束させ、オブジェクト上に固定させるための相互に向かったまたはそこから離れるような瞳孔の回転運動）は、眼の水晶体の集束（または「遠近調節」）と密接に関連付けられる。通常条件下では、眼の水晶体の焦点を変化させる、または眼を遠近調節し、１つのオブジェクトから異なる距離における別のオブジェクトに焦点を変化させることは、「遠近調節－輻輳・開散運動反射」として知られる関係のもとで、自動的に、輻輳・開散運動における整合的変化を同一距離に生じさせるであろう。同様に、輻輳・開散運動における変化は、通常条件下、遠近調節における合致する変化を誘起するであろう。遠近調節と輻輳・開散運動との間のより良好な合致を提供するディスプレイシステムは、３次元画像のより現実的かつ快適なシミュレーションを形成し得る。

図３は、複数の深度平面を使用して３次元画像をシミュレートするためのアプローチの側面を図示する。図３を参照すると、ｚ－軸上の眼３０２および３０４からの種々の距離におけるオブジェクトは、それらのオブジェクトが合焦するように、眼３０２および３０４によって遠近調節される。眼３０２および３０４は、特定の遠近調節された状態をとり、オブジェクトをｚ－軸に沿った異なる距離に合焦させる。その結果、特定の遠近調節された状態は、特定の深度平面におけるオブジェクトまたはオブジェクトの一部が、眼がその深度平面に対して遠近調節された状態にあるとき、合焦するように、関連付けられた焦点距離を有して、深度平面３０６のうちの特定の１つと関連付けられると言え得る。いくつかの実施形態では、３次元画像は、眼３０２および３０４毎に、画像の異なる提示を提供することによって、また、深度平面のそれぞれに対応する画像の異なる提示を提供することによって、シミュレートされてもよい。例証を明確にするために、別個であるように示されるが、眼３０２および３０４の視野は、例えば、ｚ－軸に沿った距離が増加するにつれて、重複し得ることを理解されたい。加えて、例証を容易にするために、平坦であるように示されるが、深度平面の輪郭は、深度平面内の全ての特徴が特定の遠近調節された状態において眼と合焦するように、物理的空間内で湾曲されてもよいことを理解されたい。理論によって限定されるわけではないが、人間の眼は、典型的には、深度知覚を提供するために、有限数の深度面を解釈し得ると考えられる。その結果、知覚される深度の高度に真実味のあるシミュレーションが、これらの限定された数の深度面のそれぞれに対応する画像の異なる表現を眼に提供することによって達成され得る。
（導波管スタックアセンブリ）

図４は、画像情報をユーザに出力するための導波管スタックの実施例を図示する。ウェアラブルシステム４００は、複数の導波管４３２ｂ、４３４ｂ、４３６ｂ、４３８ｂ、４００ｂを使用して、３次元知覚を眼／脳に提供するために利用され得る、導波管のスタックまたはスタックされた導波管アセンブリ４８０を含む。いくつかの実施形態では、ウェアラブルシステム４００は、図２のウェアラブルシステム２００に対応してもよく、図４は、ウェアラブルシステム２００のいくつかの部分をより詳細に図式的に示す。例えば、いくつかの実施形態では、導波管アセンブリ４８０は、図２のディスプレイ２２０の中に統合されてもよい。

図４を継続して参照すると、導波管アセンブリ４８０はまた、複数の特徴４５８、４５６、４５４、４５２を導波管の間に含んでもよい。いくつかの実施形態では、特徴４５８、４５６、４５４、４５２は、レンズであってもよい。他の実施形態では、特徴４５８、４５６、４５４、４５２は、レンズではなくてもよい。むしろ、それらは、単に、スペーサであってもよい（例えば、空気間隙を形成するためのクラッディング層および／または構造）。

導波管４３２ｂ、４３４ｂ、４３６ｂ、４３８ｂ、４４０ｂおよび／または複数のレンズ４５８、４５６、４５４、４５２は、種々のレベルの波面曲率または光線発散を伴って、画像情報を眼に送信するように構成されてもよい。各導波管レベルは、特定の深度平面と関連付けられてもよく、その深度平面に対応する画像情報を出力するように構成されてもよい。画像投入デバイス４２０、４２２、４２４、４２６、４２８は、それぞれ、眼４１０に向かって出力するために、各個別の導波管を横断して入射光を分散させるように構成され得る、導波管４４０ｂ、４３８ｂ、４３６ｂ、４３４ｂ、４３２ｂの中に画像情報を投入するために利用されてもよい。光は、画像投入デバイス４２０、４２２、４２４、４２６、４２８の出力表面から出射し、導波管４４０ｂ、４３８ｂ、４３６ｂ、４３４ｂ、４３２ｂの対応する入力縁の中に投入される。いくつかの実施形態では、光の単一ビーム（例えば、コリメートされたビーム）が、各導波管の中に投入され、特定の導波管と関連付けられる深度面に対応する特定の角度（および発散量）において眼４１０に向かって指向される、クローン化されたコリメートビームの場全体を出力してもよい。

いくつかの実施形態では、画像投入デバイス４２０、４２２、４２４、４２６、４２８は、離散ディスプレイであり、これらの各々は、それぞれ、対応する導波管４４０ｂ、４３８ｂ、４３６ｂ、４３４ｂ、４３２ｂの中に投入するための画像情報を生成する。ある他の実施形態では、画像投入デバイス４２０、４２２、４２４、４２６、４２８は、例えば、１つまたはそれを上回る光学導管（光ファイバケーブル等）を介して、画像情報を画像投入デバイス４２０、４２２、４２４、４２６、４２８のそれぞれにパイピングし得る、単一の多重化されたディスプレイの出力端である。

コントローラ４６０が、スタックされた導波管アセンブリ４８０および画像投入デバイス４２０、４２２、４２４、４２６、４２８の動作を制御する。コントローラ４６０は、導波管４４０ｂ、４３８ｂ、４３６ｂ、４３４ｂ、４３２ｂへの画像情報のタイミングおよび提供を調整する、プログラミング（例えば、非一過性コンピュータ可読媒体内の命令）を含む。いくつかの実施形態では、コントローラ４６０は、単一一体型デバイスまたは有線または無線通信チャネルによって接続される分散型システムであってもよい。コントローラ４６０は、いくつかの実施形態では、処理モジュール２６０および／または２７０（図２に図示される）の一部であってもよい。

導波管４４０ｂ、４３８ｂ、４３６ｂ、４３４ｂ、４３２ｂは、全内部反射（ＴＩＲ）によって、光を各個別の導波管内で伝搬させるように構成されてもよい。導波管４４０ｂ、４３８ｂ、４３６ｂ、４３４ｂ、４３２ｂはそれぞれ、主要上部および底部表面と、それらの主要上部と底部表面との間に延在する縁とを伴う、平面である、または別の形状（例えば、湾曲）を有してもよい。図示される構成では、導波管４４０ｂ、４３８ｂ、４３６ｂ、４３４ｂ、４３２ｂはそれぞれ、光を再指向させ、各個別の導波管内で伝搬させ、導波管から、画像情報を眼４１０に出力することによって、光を導波管から抽出するように構成される、光抽出光学要素４４０ａ、４３８ａ、４３６ａ、４３４ａ、４３２ａを含んでもよい。抽出された光はまた、外部結合光と称され得、光抽出光学要素はまた、外部結合光学要素と称され得る。抽出された光のビームは、導波管によって、導波管内で伝搬する光が光再指向要素に衝打する場所に出力される。光抽出光学要素（４４０ａ、４３８ａ、４３６ａ、４３４ａ、４３２ａ）は、例えば、反射および／または回折光学特徴であってもよい。説明を容易にし、図面を明確にするために、導波管４４０ｂ、４３８ｂ、４３６ｂ、４３４ｂ、４３２ｂの底部主要表面に配置されて図示されるが、いくつかの実施形態では、光抽出光学要素４４０ａ、４３８ａ、４３６ａ、４３４ａ、４３２ａは、上部および／または底部主要表面に配置されてもよい、および／または導波管４４０ｂ、４３８ｂ、４３６ｂ、４３４ｂ、４３２ｂの容積内に直接配置されてもよい。いくつかの実施形態では、光抽出光学要素４４０ａ、４３８ａ、４３６ａ、４３４ａ、４３２ａは、透明基板に取り付けられ、導波管４４０ｂ、４３８ｂ、４３６ｂ、４３４ｂ、４３２ｂを形成する、材料の層内に形成されてもよい。ある他の実施形態では、導波管４４０ｂ、４３８ｂ、４３６ｂ、４３４ｂ、４３２ｂは、モノリシック材料片であってもよく、光抽出光学要素４４０ａ、４３８ａ、４３６ａ、４３４ａ、４３２ａは、その材料片の表面上および／または内部に形成されてもよい。

図４を継続して参照すると、本明細書に議論されるように、各導波管４４０ｂ、４３８ｂ、４３６ｂ、４３４ｂ、４３２ｂは、光を出力し、特定の深度平面に対応する画像を形成するように構成される。例えば、眼の最近傍の導波管４３２ｂは、そのような導波管４３２ｂの中に投入されるにつれて、コリメートされた光を眼４１０に送達するように構成されてもよい。コリメートされた光は、光学無限遠焦点面を表し得る。次の導波管４３４ｂは、眼４１０に到達し得る前に、第１のレンズ４５２（例えば、負のレンズ）を通して通過する、コリメートされた光を送出するように構成されてもよい。第１のレンズ４５２は、眼／脳が、その次の導波管４３４ｂから生じる光が光学無限遠から眼４１０に向かって内向きにより近い第１の焦点面から生じるように解釈するように、若干の凸面波面曲率を生成するように構成されてもよい。同様に、第３の導波管４３６ｂは、眼４１０に到達する前に、その出力光を第１のレンズ４５２および第２のレンズ４５４の両方を通して通過させる。第１および第２のレンズ４５２および４５４の組み合わせられた屈折力は、眼／脳が、第３の導波管４３６ｂから生じる光を次の導波管４３４ｂからの光よりも光学無限遠から人物に向かって内向きにさらにより近い第２の焦点面から生じていると解釈するように、波面曲率の別の増分量を生成するように構成されてもよい。

他の導波管層（例えば、導波管４３８ｂ、４４０ｂ）およびレンズ（例えば、レンズ４５６、４５８）も同様に、スタック内の最高導波管４４０ｂを用いて、人物に最も近い焦点面を表す集約焦点パワーのために、その出力をそれと眼との間のレンズの全てを通して送出するように構成される。スタックされた導波管アセンブリ４８０の他側の世界４７０から生じる光を視認／解釈するとき、レンズ４５８、４５６、４５４、４５２のスタックを補償するために、補償レンズ層４３０が、スタックの上部に配置され、下方のレンズスタック４５８、４５６、４５４、４５２の集約パワーを補償してもよい。そのような構成は、利用可能な導波管／レンズ対と同じ数の知覚される焦点面を提供する。導波管の光抽出光学要素およびレンズの集束側面は両方とも、静的であってもよい（例えば、動的または電気活性ではない）。いくつかの代替実施形態では、いずれかまたは両方とも、電気活性特徴を使用して、動的であってもよい。

図４を継続して参照すると、光抽出光学要素４４０ａ、４３８ａ、４３６ａ、４３４ａ、４３２ａは、光をその個別の導波管から再指向させることと、導波管と関連付けられた特定の深度平面のための適切な量の発散またはコリメーションを用いて、本光を出力することとの両方を行うように構成されてもよい。その結果、異なる関連付けられた深度平面を有する導波管は、関連付けられた深度平面に応じて異なる量の発散を伴う光を出力する、異なる構成の光抽出光学要素を有してもよい。いくつかの実施形態では、本明細書に議論されるように、光抽出光学要素４４０ａ、４３８ａ、４３６ａ、４３４ａ、４３２ａは、光を具体的角度で出力するように構成され得る、立体または表面特徴であってもよい。例えば、光抽出光学要素４４０ａ、４３８ａ、４３６ａ、４３４ａ、４３２ａは、立体ホログラム、表面ホログラム、および／または回折格子であってもよい。回折格子等の光抽出光学要素は、２０１５年６月２５日に公開された米国特許公開第２０１５／０１７８９３９号（参照することによってその全体として本明細書に組み込まれる）に説明されている。

いくつかの実施形態では、光抽出光学要素４４０ａ、４３８ａ、４３６ａ、４３４ａ、４３２ａは、回折パターンを形成する回折特徴、すなわち、「回折光学要素」（本明細書では、「ＤＯＥ」とも称される）である。好ましくは、ＤＯＥは、ビームの光の一部のみが、ＤＯＥの各交差点を用いて、眼４１０に向かって偏向される一方、残りが、全内部反射を介して、導波管を通して移動し続けるように、比較的に低い回折効率を有する。画像情報を搬送する光は、したがって、複数の場所において導波管から出射する、いくつかの関連出射ビームに分割され、その結果、導波管内でバウンスする本特定のコリメートされたビームに関して、眼３０４に向かって非常に均一な出射放出パターンとなる。

いくつかの実施形態では、１つまたはそれを上回るＤＯＥは、能動的に回折する「オン」状態と有意に回折しない「オフ」状態との間で切替可能であってもよい。例えば、切替可能なＤＯＥは、微小液滴がホスト媒体中に回折パターンを構成する、ポリマー分散液晶の層を備えてもよく、微小液滴の屈折率は、ホスト材料と実質的に合致する屈折率に切り替えられることができる（その場合、パターンは、入射光を著しく回折しない）、または微小液滴は、ホスト媒体のものに合致しない屈折率に切り替えられることができる（その場合、パターンは、入射光を能動的に回折する）。

いくつかの実施形態では、深度平面および／または被写界深度の数および分布は、視認者の眼の瞳孔サイズおよび／または配向に基づいて、動的に変動されてもよい。被写界深度は、視認者の瞳孔サイズと反比例して変化してもよい。その結果、視認者の眼の瞳孔のサイズが減少するにつれて、被写界深度は、その平面の場所が眼の焦点深度を越えるため判別不能である１つの平面が、判別可能となり、瞳孔サイズの低減および被写界深度の相当する増加に伴って、より合焦して現れ得るように増加する。同様に、異なる画像を視認者に提示するために使用される、離間される深度平面の数は、減少された瞳孔サイズに伴って減少されてもよい。例えば、視認者は、一方の深度平面から他方の深度平面への眼の遠近調節を調節せずに、第１の深度平面および第２の深度平面の両方の詳細を１つの瞳孔サイズにおいて明確に知覚することが可能ではない場合がある。しかしながら、これらの２つの深度平面は、同時に、遠近調節を変化させずに、別の瞳孔サイズにおいてユーザに合焦するには十分であり得る。

いくつかの実施形態では、ディスプレイシステムは、瞳孔サイズおよび／または配向の判定に基づいて、または特定の瞳孔サイズおよび／または配向を示す電気信号の受信に応じて、画像情報を受信する導波管の数を変動させてもよい。例えば、ユーザの眼が、２つの導波管と関連付けられた２つの深度平面間を区別不能である場合、コントローラ４６０は、これらの導波管のうちの１つへの画像情報の提供を停止するように構成またはプログラムされてもよい。有利には、これは、システムへの処理負担を低減させ、それによって、システムの応答性を増加させ得る。導波管のためのＤＯＥがオンおよびオフ状態間で切替可能である実施形態では、ＤＯＥは、導波管が画像情報を受信するとき、オフ状態に切り替えられてもよい。

いくつかの実施形態では、出射ビームに視認者の眼の直径未満の直径を有するという条件を満たさせることが望ましくあり得る。しかしながら、本条件を満たすことは、視認者の瞳孔のサイズの変動性に照らして、困難であり得る。いくつかの実施形態では、本条件は、視認者の瞳孔のサイズの判定に応答して出射ビームのサイズを変動させることによって、広範囲の瞳孔サイズにわたって満たされる。例えば、瞳孔サイズが減少するにつれて、出射ビームのサイズもまた、減少し得る。いくつかの実施形態では、出射ビームサイズは、可変開口を使用して変動されてもよい。

ウェアラブルシステム４００は、世界４７０の一部を撮像する、外向きに面したイメージングシステム４６４（例えば、デジタルカメラ）を含むことができる。世界４７０の本部分は、視野（ＦＯＶ）と称され得、イメージングシステム４６４は、ＦＯＶカメラとも称される。視認者による視認または撮像のために利用可能な領域全体は、動眼視野（ＦＯＲ）と称され得る。ＦＯＲは、ウェアラブルシステム４００を囲繞する４πステラジアンの立体角を含んでもよい。ウェアラブルシステム４００のいくつかの実装では、ＦＯＲは、ユーザが、ユーザを囲繞するオブジェクトを見るためにその頭部および眼を移動させ得るため、ディスプレイシステム４００のユーザの周囲の立体角の実質的に全てを含んでもよい（ユーザの正面、背面、上方、下方、または側面）。外向きに面したイメージングシステム４６４から得られた画像は、ユーザによって行われるジェスチャ（例えば、手または指のジェスチャ）を追跡し、ユーザの正面における世界４７０内のオブジェクトを検出する等のために、使用されることができる。

ウェアラブルシステム４００はまた、眼移動および顔移動等のユーザの移動を観察する、内向きに面したイメージングシステム４６６（例えば、デジタルカメラ）を含むことができる。内向きに面したイメージングシステム４６６は、眼４１０の画像を捕捉し、眼３０４の瞳孔のサイズおよび／または配向を判定するために使用されてもよい。内向きに面したイメージングシステム４６６は、ユーザが見ている方向（例えば、眼姿勢）を判定する際に使用するため、またはユーザのバイオメトリック識別のため（例えば、虹彩識別を介して）、画像を得るために使用されることができる。いくつかの実施形態では、少なくとも１つのカメラが、眼毎に、独立して、各眼の瞳孔サイズおよび／または眼姿勢を別個に判定し、それによって、各眼への画像情報の提示がその眼に対して動的に調整されることを可能にするために利用されてもよい。ある他の実施形態では、単一眼４１０のみの瞳孔直径および／または配向（例えば、対の眼あたり単一カメラのみを使用して）が、判定され、ユーザの両眼に関して類似すると仮定される。内向きに面したイメージングシステム４６６によって得られる画像は、ユーザに提示されるべきオーディオまたは視覚的コンテンツを決定するためにウェアラブルシステム４００によって使用され得る、ユーザの眼姿勢および／または気分を判定するために分析されてもよい。ウェアラブルシステム４００はまた、ＩＭＵ、加速度計、ジャイロスコープ等のセンサを使用して、頭部姿勢（例えば、頭部位置または頭部配向）を判定してもよい。頭部の姿勢は、単独で、または眼姿勢と組み合わせて、ステムトラックと相互作用する、および／またはオーディオコンテンツを提示するために使用されてもよい。

ウェアラブルシステム４００は、ユーザが、コマンドをコントローラ４６０に入力し、ウェアラブルシステム４００と相互作用し得る、ユーザ入力デバイス４６６を含むことができる。例えば、ユーザ入力デバイス４６６は、トラックパッド、タッチスクリーン、ジョイスティック、多自由度（ＤＯＦ）コントローラ、容量感知デバイス、ゲームコントローラ、キーボード、マウス、指向性パッド（Ｄパッド）、ワンド、触知デバイス、トーテム（例えば、仮想ユーザ入力デバイスとして機能する）等を含むことができる。ある場合には、ユーザは、指（例えば、親指）を使用して、タッチセンサ式入力デバイスを押下するかまたはその上でスワイプし、入力をウェアラブルシステム４００に提供してもよい（例えば、ユーザ入力をウェアラブルシステム４００によって提供されるユーザインターフェースに提供するために）。ユーザ入力デバイス４６６は、ウェアラブルシステム４００の使用の間、ユーザの手によって保持されてもよい。ユーザ入力デバイス４６６は、ウェアラブルシステム４００と有線または無線で通信することができる。

図５は、導波管によって出力された出射ビームの実施例を示す。１つの導波管が、図示されるが、導波管アセンブリ４８０内の他の導波管も、同様に機能してもよく、導波管アセンブリ４８０は、複数の導波管を含むことを理解されたい。光５２０が、導波管４３２ｂの入力縁４３２ｃにおいて導波管４３２ｂの中に投入され、ＴＩＲによって導波管４３２ｂ内を伝搬する。光５２０がＤＯＥ４３２ａに衝突する点において、光の一部が、出射ビーム５１０として導波管から出射する。出射ビーム５１０は、略平行として図示されるが、それらはまた、導波管４３２ｂと関連付けられた深度平面に応じて、ある角度で眼４１０に伝搬するように再指向されてもよい（例えば、発散出射ビームを形成する）。略平行出射ビームは、光を外部結合し、眼４１０から長距離（例えば、光学無限遠）において深度平面上に設定されるように現れる画像を形成する光抽出光学要素を伴う、導波管を示し得ることを理解されたい。他の導波管または他の光抽出光学要素のセットは、眼４１０がより近い距離に遠近調節し、網膜に合焦させることを要求し、光学無限遠より眼４１０に近い距離からの光として脳によって解釈されるであろう、より多く発散する出射ビームパターンを出力してもよい。

図６は、導波管装置と、光を導波管装置へまたはそこから光学的に結合するための光学結合器サブシステムと、多焦点立体ディスプレイ、画像、またはライトフィールドの生成において使用される制御サブシステムとを含む、光学システムを示す、概略図である。光学システムは、導波管装置と、光を導波管装置にまたはそこから光学的に結合するための光学結合器サブシステムと、制御サブシステムとを含むことができる。光学システムは、多焦点立体、画像、またはライトフィールドを生成するために使用されることができる。光学システムは、１つまたはそれを上回る一次平面導波管６３２ａ（１つのみのが図６に示される）と、一次導波管６３２ａの少なくともいくつかのそれぞれと関連付けられた１つまたはそれを上回るＤＯＥ６３２ｂとを含むことができる。平面導波管６３２ｂは、図４を参照して議論される導波管４３２ｂ、４３４ｂ、４３６ｂ、４３８ｂ、４４０ｂに類似することができる。光学システムは、分散導波管装置を採用し、光を第１の軸（図６の図では、垂直またはＹ－軸）に沿って中継し、第１の軸（例えば、Ｙ－軸）に沿って光の有効射出瞳を拡張させてもよい。分散導波管装置は、例えば、分散平面導波管６２２ｂと、分散平面導波管６２２ｂと関連付けられた少なくとも１つのＤＯＥ６２２ａ（二重破線によって図示される）とを含んでもよい。分散平面導波管６２２ｂは、少なくともいくつかの点において、それと異なる配向を有する一次平面導波管６３２ｂと類似または同じであってもよい。同様に、少なくとも１つのＤＯＥ６２２ａは、少なくともいくつかの点において、ＤＯＥ６３２ａと類似または同じであってもよい。例えば、分散平面導波管６２２ｂおよび／またはＤＯＥ６２２ａは、それぞれ、一次平面導波管６３２ｂおよび／またはＤＯＥ６３２ａと同一材料から成ってもよい。図６に示される光学ディスプレイシステム６００の実施形態は、図２に示されるウェアラブルシステム２００の中に統合されることができる。

中継され、射出瞳が拡張された光は、分散導波管装置から１つまたはそれを上回る一次平面導波管６３２ｂの中に光学的に結合される。一次平面導波管６３２ｂは、好ましくは、第１の軸に直交する、第２の軸（例えば、図６の図では、水平またはＸ－軸）に沿って、光を中継する。着目すべきこととして、第２の軸は、第１の軸に対して非直交軸であることができる。一次平面導波管６３２ｂは、その第２の軸（例えば、Ｘ－軸）に沿って、光の有効射出瞳を拡張させる。例えば、分散平面導波管６２２ｂは、光を垂直またはＹ－軸に沿って中継および拡張させ、光を水平またはＸ－軸に沿って中継および拡張させる、一次平面導波管６３２ｂにその光を通過させることができる。

光学システムは、単一モード光ファイバ６４０の近位端の中に光学的に結合され得る、１つまたはそれを上回る着色光源（例えば、赤色、緑色、および青色レーザ光）６１０を含んでもよい。光ファイバ６４０の遠位端は、圧電材料の中空管８を通して螺合または受容されてもよい。遠位端は、固定されない可撓性カンチレバー６４４として、管６４２から突出する。圧電管６４２は、４つの象限電極（図示せず）と関連付けられることができる。電極は、例えば、管６４２の外側、外側表面または外側周縁、または直径に鍍着されてもよい。コア電極（図示せず）もまた、管６４２のコア、中心、内側周縁、または内径に位置する。

例えば、ワイヤ６６０を介して電気的に結合される、駆動電子機器６５０は、対向する対の電極を駆動し、圧電管６４２を２つの軸において独立して屈曲させる。光ファイバ６４４の突出する遠位先端は、機械的共鳴モードを有する。共鳴の周波数は、光ファイバ６４４の直径、長さ、および材料性質に依存し得る。圧電管８をファイバカンチレバー６４４の第１の機械的共鳴モードの近くで振動させることによって、ファイバカンチレバー６４４は、振動させられ、大偏向を通して掃引し得る。

２つの軸において共振振動を刺激することによって、ファイバカンチレバー６４４の先端は、２次元（２－Ｄ）走査を充填する面積内において２軸方向に走査される。光源６１０の強度をファイバカンチレバー６４４の走査と同期して変調させることによって、ファイバカンチレバー６４４から発せられる光は、画像を形成する。そのような設定の説明は、米国特許公開第２０１４／０００３７６２号（参照することによってその全体として本明細書に組み込まれる）に提供されている。

光学結合器サブシステムのコンポーネントは、走査ファイバカンチレバー６４４から発せられる光をコリメートする。コリメートされた光は、ミラー付き表面６４８によって、少なくとも１つの回折光学要素（ＤＯＥ）６２２ａを含有する、狭分散平面導波管６２２ｂの中に反射される。コリメートされた光は、全内部反射（ＴＩＲ）によって分散平面導波管６２２ｂに沿って（図６の図に対して）垂直に伝搬し、そうすることによって、ＤＯＥ６２２ａと繰り返し交差する。ＤＯＥ６２２ａは、好ましくは、低回折効率を有する。これは、光の一部（例えば、１０％）をＤＯＥ６２２ａとの交差点の各点においてより大きい一次平面導波管６３２ｂの縁に向かって回折させ、光の一部をＴＩＲを介して分散平面導波管６２２ｂの長さを辿ってそのオリジナル軌道上で継続させる。

ＤＯＥ６２２ａとの交差点の各点において、付加的光が、一次導波管６３２ｂの入口に向かって回折される。入射光を複数の外部結合セットに分割することによって、光の射出瞳は、分散平面導波管６２２ｂ内のＤＯＥ４によって垂直に拡張される。分散平面導波管６２２ｂから外部結合された本垂直に拡張された光は、一次平面導波管６３２ｂの縁に進入する。

一次導波管６３２ｂに進入する光は、ＴＩＲを介して、一次導波管６３２ｂに沿って（図６の図に対して）水平に伝搬する。光は、複数の点においてＤＯＥ６３２ａと交差するにつれて、ＴＩＲを介して、一次導波管６３２ｂの長さの少なくとも一部に沿って水平に伝搬する。ＤＯＥ６３２ａは、有利には、線形回折パターンおよび半径方向対称回折パターンの総和である、位相プロファイルを有し、光の偏向および集束の両方を生成するように設計または構成され得る。ＤＯＥ６３２ａは、有利には、ビームの光の一部のみが、ＤＯＥ６３２ａの各交差点において視認者の眼に向かって偏向される一方、光の残りが、ＴＩＲを介して、一次導波管６３２ｂを通して伝搬し続けるように、低回折効率（例えば、１０％）を有し得る。

伝搬する光とＤＯＥ６３２ａとの間の交差点の各点において、光の一部は、一次導波管６３２ｂの隣接面に向かって回折され、光がＴＩＲから逃散し、一次導波管６３２ｂの面から発せられることを可能にする。いくつかの実施形態では、ＤＯＥ６３２ａの半径方向対称回折パターンは、加えて、ある焦点レベルを回折された光に付与し、個々のビームの光波面を成形（例えば、曲率を付与する）することと、ビームを設計される焦点レベルに合致する角度に操向することとの両方を行う。

故に、これらの異なる経路は、異なる角度におけるＤＯＥ６３２ａの多重度、焦点レベル、および／または射出瞳において異なる充填パターンをもたらすことによって、光を一次平面導波管６３２ｂの外部で結合させることができる。射出瞳における異なる充填パターンは、有利には、複数の深度平面を伴うライトフィールドディスプレイを生成するために使用されることができる。導波管アセンブリ内の各層またはスタック内の層のセット（例えば、３層）が、個別の色（例えば、赤色、青色、緑色）を生成するために採用されてもよい。したがって、例えば、第１の３つの隣接する層のセットが、それぞれ、赤色、青色、および緑色光を第１の焦点深度において生成するために採用されてもよい。第２の３つの隣接する層のセットが、それぞれ、赤色、青色、および緑色光を第２の焦点深度において生成するために採用されてもよい。複数のセットが、種々の焦点深度を伴うフル３Ｄまたは４Ｄカラー画像ライトフィールドを生成するために採用されてもよい。
（ウェアラブルシステムの他のコンポーネント）

多くの実装では、ＡＲシステムは、上記に説明されるウェアラブルシステムのコンポーネントに加えて、またはその代替として、他のコンポーネントを含んでもよい。ウェアラブルシステムは、例えば、１つまたはそれを上回る触知デバイスまたはコンポーネントを含んでもよい。触知デバイスまたはコンポーネントは、触覚をユーザに提供するように動作可能であってもよい。例えば、触知デバイスまたはコンポーネントは、仮想コンテンツ（例えば、仮想オブジェクト、仮想ツール、他の仮想構造）に触れると、圧力および／またはテクスチャの感覚を提供してもよい。触覚は、仮想オブジェクトが表す物理的オブジェクトの感覚を再現してもよい、または仮想コンテンツが表す想像上のオブジェクトまたはキャラクタ（例えば、ドラゴン）の感覚を再現してもよい。いくつかの実装では、触知デバイスまたはコンポーネントは、ユーザによって装着されてもよい（例えば、ユーザウェアラブルグローブ）。いくつかの実装では、触知デバイスまたはコンポーネントは、ユーザによって保持されてもよい。

ウェアラブルシステムは、例えば、ユーザによって操作可能であって、ＡＲシステムへの入力またはそれとの相互作用を可能にする、１つまたはそれを上回る物理的オブジェクトを含んでもよい。これらの物理的オブジェクトは、本明細書では、トーテムと称され得る。いくつかのトーテムは、例えば、金属またはプラスチック片、壁、テーブルの表面等、無生物オブジェクトの形態をとってもよい。ある実装では、トーテムは、実際には、任意の物理的入力構造（例えば、キー、トリガ、ジョイスティック、トラックボール、ロッカスイッチ）を有していなくてもよい。代わりに、トーテムは、単に、物理的表面を提供してもよく、ＡＲシステムは、ユーザにトーテムの１つまたはそれを上回る表面上にあるように見えるように、ユーザインターフェースをレンダリングしてもよい。例えば、ＡＲシステムは、トーテムの１つまたはそれを上回る表面上に常駐するように見えるように、コンピュータキーボードおよびトラックパッドの画像をレンダリングしてもよい。例えば、ＡＲシステムは、トーテムとしての役割を果たす、アルミニウムの薄い長方形プレートの表面上に見えるように、仮想コンピュータキーボードおよび仮想トラックパッドをレンダリングしてもよい。長方形プレート自体は、任意の物理的キーまたはトラックパッドまたはセンサを有していない。しかしながら、ＡＲシステムは、仮想キーボードおよび／または仮想トラックパッドを介して行われた選択または入力として、長方形プレートを用いたユーザ操作または相互作用またはタッチを検出し得る。ユーザ入力デバイス４６６（図４に示される）は、トラックパッド、タッチパッド、トリガ、ジョイスティック、トラックボール、ロッカスイッチ、マウス、キーボード、多自由度コントローラ、または別の物理的入力デバイスを含み得る、トーテムの実施形態であってもよい。ユーザは、単独で、または姿勢と組み合わせて、トーテムを使用し、ウェアラブルシステムおよび／または他のユーザと相互作用してもよい。

本開示のウェアラブルデバイス、ＨＭＤ、およびディスプレイシステムと使用可能な触知デバイスおよびトーテムの実施例は、米国特許公開第２０１５／００１６７７７号（参照することによってその全体として本明細書に組み込まれる）に説明されている。
（例示的ウェアラブルシステム、環境、およびインターフェース）

ウェアラブルシステムは、高被写界深度をレンダリングされたライトフィールド内で達成するために、種々のマッピング関連技法を採用してもよい。仮想世界をマッピングする際、実世界内の全ての特徴および点を把握し、仮想オブジェクトを実世界に関連して正確に描くことが有利である。この目的を達成するために、ウェアラブルシステムのユーザから捕捉されたＦＯＶ画像が、実世界の種々の点および特徴についての情報を伝達する新しい写真を含むことによって、世界モデルに追加されることができる。例えば、ウェアラブルシステムは、マップ点（２Ｄ点または３Ｄ点等）のセットを収集し、新しいマップ点を見出し、世界モデルのより正確なバージョンをレンダリングすることができる。第１のユーザの世界モデルは、第２のユーザが第１のユーザを囲繞する世界を体験し得るように、（例えば、クラウドネットワーク等のネットワークを経由して）第２のユーザに通信されることができる。

図７は、ＭＲ環境７００の実施例のブロック図である。ＭＲ環境７００は、入力（例えば、ユーザのウェアラブルシステムからの視覚的入力７０２、室内カメラ等の定常入力７０４、種々のセンサからの感覚入力７０６、ユーザ入力デバイス５０４からのジェスチャ、トーテム、眼追跡、ユーザ入力等）を１つまたはそれを上回るユーザウェアラブルシステム（例えば、ウェアラブルシステム２００および／またはディスプレイシステム２２０）および／または定常室内システム（例えば、室内カメラ等）から受信するように構成されてもよい。ウェアラブルシステムは、種々のセンサ（例えば、加速度計、ジャイロスコープ、温度センサ、移動センサ、深度センサ、ＧＰＳセンサ、内向きに面したイメージングシステム、外向きに面したイメージングシステム等）を使用して、ユーザの環境の場所および種々の他の属性を判定することができる。本情報はさらに、異なる視点からの画像および／または種々のキューを提供し得る、部屋内の定常カメラからの情報で補完されてもよい。カメラ（室内カメラおよび／または外向きに面したイメージングシステムのカメラ等）によって取得された画像データは、マッピング点のセットに低減されてもよい。

１つまたはそれを上回るオブジェクト認識装置７０８が、受信されたデータ（例えば、点の集合）を通してクローリングし、点を認識および／またはマッピングし、画像をタグ付けし、マップデータベース７１０を用いて、意味論情報をオブジェクトに結び付けることができる。マップデータベース７１０は、経時的に収集された種々の点およびその対応するオブジェクトを備えてもよい。種々のデバイスおよびマップデータベースは、ネットワーク（例えば、ＬＡＮ、ＷＡＮ等）を通して相互に接続され、クラウドにアクセスすることができる。

マップデータベース内の本情報および点の集合に基づいて、オブジェクト認識装置７０８ａ－７０８ｎは、オブジェクトを認識し、これを意味論情報で補完し、命をオブジェクトに与えてもよい。例えば、オブジェクト認識装置が、点のセットがドアであることを認識する場合、システムは、いくつかの意味論情報を結び付けてもよい（例えば、ドアは、ヒンジを有し、ヒンジを中心として９０度移動を有する）。オブジェクト認識装置が、点のセットが鏡であることを認識する場合、システムは、鏡が、部屋内のオブジェクトの画像を反射させ得る、反射表面を有するという意味論情報を結び付けてもよい。経時的に、マップデータベースは、システム（ローカルに常駐し得る、または無線ネットワークを通してアクセス可能であり得る）がより多くのデータを世界から蓄積するにつれて成長する。いったんオブジェクトが認識されると、情報は、１つまたはそれを上回るウェアラブルシステムに伝送されてもよい。例えば、ＭＲ環境７００は、Ｃａｌｉｆｏｒｎｉａで発生している場面についての情報を含んでもよい。環境７００は、Ｎｅｗ Ｙｏｒｋにおける１人またはそれを上回るユーザに伝送されてもよい。ＦＯＶカメラおよび他の入力から受信されたデータに基づいて、オブジェクト認識装置および他のソフトウェアコンポーネントは、場面が世界の異なる部分に存在し得る第２のユーザに正確に「パス」され得るように、種々の画像から収集された点をマッピングし、オブジェクトを認識すること等ができる。環境７００はまた、場所特定目的のために、トポロジマップを使用してもよい。

別の実施例として、ユーザの環境は、あるオーディオコンテンツと関連付けられてもよい。例えば、オーディオファイルのステムトラックは、ユーザの部屋の異なる場所と関連付けられてもよい。ウェアラブルシステムは、ユーザの環境のマップをステムトラックの場所情報とともに別のユーザにパスし、それによって、他のユーザがステムトラックと相互作用することを可能にしてもよい。その結果、２人のユーザが、ユーザの部屋内で協働し、ステムトラックをミックスすることによって、新しいオーディオファイルを生成することができる。

さらに別の実施例として、ユーザは、その環境内でステムトラックと相互作用し、新しいオーディオファイルを生成することができる。ユーザのウェアラブルシステムは、新しいオーディオファイルを他の人々に再生またはブロードキャストするために（例えば、スピーカを介して）、新しいオーディオファイルを他のウェアラブルシステムにパスすることができる。

図８は、認識されたオブジェクトに関連して仮想コンテンツをレンダリングする方法８００の実施例のプロセスフロー図である。方法８００は、仮想場面がＭＲシステム（例えば、ウェアラブルシステム）のユーザに表され得る方法を説明する。ユーザは、その場面から地理的に遠隔に存在してもよい。例えば、ユーザは、Ｎｅｗ Ｙｏｒｋに存在し得るが、Ｃａｌｉｆｏｒｎｉａで現在起こっている場面を視認することを所望し得る、またはＣａｌｉｆｏｒｎｉａに存在する友人と散歩に行くことを所望し得る。

ブロック８１０では、ＡＲシステムは、ユーザの環境に関する入力をユーザおよび他のユーザから受信してもよい。これは、種々の入力デバイスおよびマップデータベース内にすでに保有されている知識を通して達成されてもよい。ユーザのＦＯＶカメラ、センサ、ＧＰＳ、眼追跡等が、ブロック８１０において、情報をシステムに伝達する。システムは、ブロック８２０において、本情報に基づいて、大まかな点を判定してもよい。大まかな点は、ユーザの周囲における種々のオブジェクトの配向および位置を表示および理解する際に使用され得る、姿勢データ（例えば、頭部姿勢、眼姿勢、身体姿勢、および／または手のジェスチャ）を判定する際に使用されてもよい。オブジェクト認識装置７０８ａ、７０８ｎは、ブロック８３０において、これらの収集された点を通してクローリングし、マップデータベースを使用して、１つまたはそれを上回るオブジェクトを認識してもよい。本情報は、次いで、ブロック８４０において、ユーザの個々のウェアラブルシステムに伝達されてもよく、所望の仮想場面が、ブロック８５０において、適宜、ユーザに表示されてもよい。例えば、所望の仮想場面（例えば、ＣＡにおけるユーザ）が、Ｎｅｗ Ｙｏｒｋにおけるユーザの種々のオブジェクトおよび他の周囲に関連して、適切な配向、位置等において表示されてもよい。

図９は、ウェアラブルシステムの別の実施例のブロック図である。本実施例では、ウェアラブルシステム９００は、世界に関するマップデータを含み得る、マップを備える。マップは、部分的に、ウェアラブルシステム上にローカルに常駐してもよく、部分的に、有線または無線ネットワークによってアクセス可能なネットワーク化された記憶場所（例えば、クラウドシステム内）に常駐してもよい。姿勢プロセス９１０が、ウェアラブルコンピューティングアーキテクチャ（例えば、処理モジュール２６０またはコントローラ４６０）上で実行され、ウェアラブルコンピューティングハードウェアまたはユーザの位置および配向を判定するために、マップからのデータを利用してもよい。姿勢データは、ユーザが、システムを体験し、その世界内で動作するにつれて、オンザフライで収集されたデータから算出されてもよい。データは、実または仮想環境内のオブジェクトに関する画像、センサ（概して、加速度計およびジャイロスコープコンポーネントを備える、慣性測定デバイス等）からのデータ、および表面情報を備えてもよい。

大まかな点表現は、同時場所特定およびマッピング（入力が画像／視覚のみである構成を指す、ＳＬＡＭまたはＶ－ＳＬＡＭ）プロセスの出力であってもよい。システムは、世界内の種々のコンポーネントの場所だけではなく、世界が成っているものを見出すように構成されることができる。姿勢は、マップを埋めることおよびマップからのデータを使用することを含め、多くの目標を達成する、構築ブロックであってもよい。

一実施形態では、大まかな点位置は、それ自体では完全に適正であり得ず、さらなる情報が、多焦点ＡＲ、ＶＲ、またはＭＲ体験を生成するために必要とされ得る。概して深度マップ情報を指す、稠密表現が、少なくとも部分的に、本間隙を充填するために利用されてもよい。そのような情報は、立体視９４０と称されるプロセスから算出されてもよく、深度情報は、三角測量または飛行時間感知等の技法を使用して判定される。画像情報およびアクティブパターン（アクティブプロジェクタを使用して生成される赤外線パターン等）が、立体視プロセス９４０への入力としての役割を果たし得る。有意な量の深度マップ情報が、ともに融合されてもよく、このうちのいくつかは、表面表現を用いて要約されてもよい。例えば、数学的に定義可能な表面は、ゲームエンジンのような他の処理デバイスへの効率的（例えば、大規模点クラウドと比較して）かつ摘要可能な入力である。したがって、立体視プロセス（例えば、深度マップ）９４０の出力は、融合プロセス９３０において組み合わせられてもよい。姿勢は、同様に、本融合プロセス９３０への入力であってもよく、融合９３０の出力は、マッププロセス９２０を埋めるための入力となる。サブ表面が、トポグラフィマッピング等において相互に接続し、より大きい表面を形成してもよく、マップは、点および表面の大規模ハイブリッドとなる。

複合現実プロセス９６０における種々の側面を解決するために、種々の入力が、利用されてもよい。例えば、図９に描写される実施形態では、ゲームパラメータは、システムのユーザが１匹またはそれを上回るモンスタと種々の場所においてモンスタバトルゲームをプレーしていること、種々の条件下で死んでいるかまたは逃げているモンスタ（ユーザがモンスタを撃つ場合等）、種々の場所における壁または他のオブジェクト、および同等物を判定するための入力であってもよい。世界マップは、複合現実に対する別の有用な入力となる、そのようなオブジェクトが相互に対して存在する場所に関する情報を含んでもよい。世界に対する姿勢は、同様に、入力となり、ほぼあらゆる双方向システムに対して重要な役割を果たす。

ユーザからの制御または入力は、ウェアラブルシステム９００への別の入力である。本明細書に説明されるように、ユーザ入力は、視覚的入力、ジェスチャ、トーテム、オーディオ入力、感覚入力等を含むことができる。動き回るまたはゲームをプレーするために、例えば、ユーザは、ウェアラブルシステム９００に、何をしたいかに関して命令する必要があり得る。空間内で自ら移動するだけではなく、利用され得る種々の形態のユーザ制御が、存在する。一実施形態では、トーテム、ユーザ入力デバイス、または玩具銃等のオブジェクトが、ユーザによって保持され、システムによって追跡されてもよい。システムは、好ましくは、ユーザがアイテムを保持していることを把握し、ユーザがアイテムと行っている相互作用の種類を理解するように構成されるであろう（例えば、トーテムまたはオブジェクトが、銃である場合、システムは、場所および配向だけではなく、ユーザが、そのようなアクティビティがカメラのいずれかの視野内にないときでも、何が起こっているかの判定を補助し得る、ＩＭＵ等のセンサを装備し得る、トリガまたは他の感知ボタンまたは要素をクリックしているかどうかも理解するように構成されてもよい。）

手のジェスチャ追跡または認識もまた、入力情報を提供してもよい。ウェアラブルシステム９００は、ボタン押下のため、左または右、停止、握持、保持等をジェスチャするために、手のジェスチャを追跡および解釈するように構成されてもよい。例えば、１つの構成では、ユーザは、非ゲーム環境において電子メールまたはカレンダを通してフリップする、または別の人物または演奏者と「フィストバンプ」を行うことを所望し得る。ウェアラブルシステム９００は、動的であり得る、またはそうではない場合がある、最小量の手のジェスチャを活用するように構成されてもよい。例えば、ジェスチャは、停止を示すために手を広げる、ＯＫを示すために親指を上げる、ＯＫではないことを示すために親指を下げる、または指向性コマンドを示すために左右または上下に手をフリップする等、単純な静的ジェスチャであってもよい。

眼追跡は、別の入力である（例えば、ユーザが見ている場所を追跡し、ディスプレイ技術を制御し、具体的深度または範囲においてレンダリングする）。一実施形態では、眼の輻輳・開散運動が、三角測量を使用して判定されてもよく、次いで、その特定の人物のために開発された輻輳・開散運動／遠近調節モデルを使用して、遠近調節が、判定されてもよい。

カメラシステムに関して、図９に示される例示的ウェアラブルシステム９００は、３つの対のカメラ、すなわち、ユーザの顔の両側に配列される相対的広ＦＯＶまたは受動ＳＬＡＭ対のカメラと、ユーザの正面に配向され、立体視イメージングプロセス９４０をハンドリングし、また、ユーザの顔の正面の手のジェスチャおよびトーテム／オブジェクトの軌道を捕捉するための異なる対のカメラとを含むことができる。３つの対のカメラ内のカメラは、外向きに面したイメージングシステム４６４（図４に示される）の一部であってもよい。ウェアラブルシステム９００は、眼ベクトルおよび他の情報を三角測量するために、ユーザの眼に向かって配向される眼追跡カメラ（図４に示される内向きに面したイメージングシステム４６２の一部であってもよい）を含むことができる。ウェアラブルシステム９００はまた、１つまたはそれを上回るテクスチャ化光プロジェクタ（赤外線（ＩＲ）プロジェクタ等）を備え、テクスチャを場面の中に投入してもよい。

図１０は、ウェアラブルシステムへのユーザ入力を判定するための方法１０００の実施例のプロセスフロー図である。本実施例では、ユーザは、トーテムと相互作用してもよい。ユーザは、複数のトーテムを有してもよい。例えば、ユーザは、ソーシャルメディアアプリケーションのための指定される１つのトーテム、ゲームをプレーするための別のトーテム等を有してもよい。ブロック１０１０では、ウェアラブルシステムは、トーテムの運動を検出してもよい。トーテムの移動は、ユーザのＦＯＶカメラを通して認識されてもよい、またはセンサ（例えば、触知グローブ、画像センサ、手トラックデバイス、眼追跡カメラ、頭部姿勢センサ等）を通して検出されてもよい。

少なくとも部分的に、検出されたジェスチャ、眼姿勢、頭部姿勢、またはトーテムを通した入力に基づいて、ウェアラブルシステムは、ブロック１０２０において、基準フレームに対するトーテム（またはユーザの眼または頭部またはジェスチャ）の位置、配向、および／または移動を検出する。基準フレームは、それに基づいてウェアラブルシステムがトーテム（またはユーザ）の移動をアクションまたはコマンドに変換する、マップ点のセットであってもよい。ブロック１０３０では、トーテムとのユーザの相互作用が、マッピングされる。基準フレーム１０２０に対するユーザ相互作用のマッピングに基づいて、システムは、ブロック１０４０において、ユーザ入力を判定する。

例えば、ユーザは、トーテムまたは物理的オブジェクトを前後に移動させ、仮想ページを捲り、次のページに移動する、または１つのユーザインターフェース（ＵＩ）ディスプレイ画面から別のＵＩ画面に移動することを示してもよい。別の実施例として、ユーザは、ユーザのＦＯＲ内の異なる実または仮想オブジェクトを見るために、その頭部または眼を移動させてもよい。特定の実または仮想オブジェクトにおけるユーザの視線が、閾値時間より長い場合、その実または仮想オブジェクトは、ユーザ入力として選択されてもよい。いくつかの実装では、ユーザの眼の輻輳・開散運動が、追跡されることができ、遠近調節／輻輳・開散運動モデルが、ユーザが合焦している深度平面に関する情報を提供する、ユーザの眼の遠近調節状態を判定するために使用されることができる。いくつかの実装では、ウェアラブルシステムは、レイキャスティング技法を使用して、ユーザの頭部姿勢または眼姿勢の方向に沿っている実または仮想オブジェクトを判定することができる。種々の実装では、レイキャスティング技法は、実質的に殆ど横幅を伴わない細い光線束を投じる、または実質的横幅を伴う光線（例えば、円錐または円錐台）を投じることを含むことができる。

ユーザインターフェースは、本明細書に説明されるようなディスプレイシステム（図２におけるディスプレイ２２０等）によって投影されてもよい。また、１つまたはそれを上回るプロジェクタ等の種々の他の技法を使用して表示されてもよい。プロジェクタは、画像をキャンバスまたは球体等の物理的オブジェクト上に投影してもよい。ユーザインターフェースとの相互作用は、システムの外部またはシステムの一部の１つまたはそれを上回るカメラを使用して（例えば、内向きに面したイメージングシステム４６２または外向きに面したイメージングシステム４６４を使用して）追跡されてもよい。

図１１は、仮想ユーザインターフェースと相互作用するための方法１１００の実施例のプロセスフロー図である。方法１１００は、本明細書に説明されるウェアラブルシステムによって行われてもよい。

ブロック１１１０では、ウェアラブルシステムは、特定のＵＩを識別してもよい。ＵＩのタイプは、ユーザによって与えられてもよい。ウェアラブルシステムは、特定のＵＩがユーザ入力（例えば、ジェスチャ、視覚的データ、オーディオデータ、感覚データ、直接コマンド等）に基づいて取り込まれる必要があることを識別してもよい。ブロック１１２０では、ウェアラブルシステムは、仮想ＵＩのためのデータを生成してもよい。例えば、ＵＩの境界、一般的構造、形状等と関連付けられたデータが、生成されてもよい。加えて、ウェアラブルシステムは、ウェアラブルシステムがユーザの物理的場所に関連してＵＩを表示し得るように、ユーザの物理的場所のマップ座標を判定してもよい。例えば、ＵＩが、身体中心である場合、ウェアラブルシステムは、リングＵＩがユーザの周囲に表示され得る、または平面ＵＩが壁上またはユーザの正面に表示され得るように、ユーザの物理的立ち位置、頭部姿勢、または眼姿勢の座標を判定してもよい。ＵＩが、手中心の場合、ユーザの手のマップ座標が、判定されてもよい。これらのマップ点は、ＦＯＶカメラ、感覚入力を通して受信されたデータ、または任意の他のタイプの収集されたデータを通して導出されてもよい。実施例として、ウェアラブルシステムは、ユーザの周囲のオーディオファイル内の種々のステムトラックのグラフィカル表現を生成することができる。

ブロック１１３０では、ウェアラブルシステムは、データをクラウドからディスプレイに送信してもよい、またはデータは、ローカルデータベースからディスプレイコンポーネントに送信されてもよい。ブロック１１４０では、ＵＩは、送信されたデータに基づいて、ユーザに表示される。例えば、ライトフィールドディスプレイは、仮想ＵＩをユーザの眼の一方または両方の中に投影することができる。いったん仮想ＵＩが生成されると、ウェアラブルシステムは、ブロック１１５０において、単に、ユーザからのコマンドを待機し、より多くの仮想コンテンツを仮想ＵＩ上に生成してもよい。例えば、ＵＩは、ユーザの身体の周囲の身体中心リングであってもよい。ウェアラブルシステムは、次いで、コマンド（ジェスチャ、頭部または眼移動、ユーザ入力デバイスからの入力等）を待機してもよく、認識される場合（ブロック１１６０）、コマンドと関連付けられた仮想コンテンツが、ユーザに表示されてもよい（ブロック１１７０）。実施例として、ウェアラブルシステムは、複数のステムトラックをミックスする前に、ユーザの手のジェスチャを待機してもよい。

ＡＲシステム、ＵＩ、およびユーザ体験（ＵＸ）の付加的実施例は、米国特許公開第２０１５／００１６７７７号（参照することによってその全体として本明細書に組み込まれる）に説明されている。
（ステムトラックの実施例）

図２および４を参照して説明されるように、ウェアラブルシステムは、オーディオファイルを再生し、オーディオコンテンツの可視化をユーザに提示することができる。ウェアラブルシステムは、ＡＲ、ＶＲ、および／またはＭＲ環境を提示するように構成される、ウェアラブルデバイス（頭部搭載型デバイス／ディスプレイ等）の一部であることができる。オーディオファイルは、ローカル処理およびデータモジュール２６０、遠隔処理モジュール２７０、遠隔データリポジトリ２８０、その組み合わせ、または同等物を使用して、記憶および処理されることができる。

オーディオファイルは、複数のトラックを含むことができる。例えば、オーディオファイルは、ステレオマスタトラック、ステレオシステムの「右」または「左」チャネルのためのトラック、周囲音チャネルのためのトラック等を含むことができる。あるタイプのオーディオファイルは、異なる楽器（例えば、ギター、ベース、ドラム、ピアノ、シンセサイザ、ホルン）またはボーカル（例えば、リードボーカル、バックアップボーカル）を表す、複数のトラックを含むことができる。異なる楽器またはボーカルを表すトラックは、ステムトラックまたはステムとも称される。種々の実装では、ステムトラックの数は、１つ、２つ、３つ、４つ、５つ、６つ、７つ、８つ、１０、１２、またはそれを上回ることができる。

ステムトラックは、オーディオファイルの任意のパーティションであることができ、各ステムトラックは、オーディオファイルの異なるオーディオコンテンツを表す。実施例として、ステムトラックは、録音内の特定の楽器またはボーカル（例えば、ギターまたはリードボーカル）を表すことができる。例えば、室内楽（例えば、弦楽四重奏）の録音は、第１のバイオリンと、第２のバイオリンと、ビオラと、チェロとを表す、４つの別個のステムトラックを含むことができる。別の実施例として、ステムトラックは、楽器またはボーカルのグループ（例えば、ベースおよびドラムまたはコーラスのリズムセクション）を表すことができる。例えば、オーケストラに関して、バイオリン、木管楽器、パーカッション、金管楽器、ベース等を表す、異なるステムトラックが、存在してもよい。ステムトラックは、音楽録音に限定されず、発話の録音にも使用されることができる（例えば、異なるスピーカのための異なるステム）。

ステムトラックは、ユーザのＦＯＲ内の空間場所と関連付けられることができる。その結果、ステムトラックの音は、その関連付けられた空間場所から生じるように聴覚的に現れ得る。例えば、ステムトラックがユーザの右側と関連付けられる場合、ステムトラックの音は、ユーザの右側から生じるように現れ得る。ユーザがその姿勢を変化させるにつれて、ユーザは、異なる音場または視野を知覚することができる。同一実施例では、ユーザが１８０度方向転換する場合、音は、（右側の代わりに）ユーザの左側から生じるように現れ得る。これは、有利には、ユニークなユーザ制御可能なユーザ体験を提供する。

ステムトラックの場所は、ユーザに対するある距離および／または角度において等、ユーザ（例えば、ユーザの頭部）に対して定義されることができる。加えて、または代替として、ステムトラックの場所は、大域的に定義されることができる。実施例として、ステムトラックは、正面壁にあるように位置付けられてもよい一方、別のステムトラックは、ユーザの部屋の中央に位置付けられる。

ステムトラックの場所は、経時的に変化してもよい。例えば、ステムトラックは、歌手の音声と関連付けられてもよい。ステムトラックの位置は、歌手が（仮想上）ユーザの環境内で動き回っているかのように変化してもよい。ステムトラックの場所はまた、ユーザ相互作用に基づいて変化されてもよい。以下にさらに説明されるように、ユーザは、例えば、ステムトラックと関連付けられた視覚的グラフィックを握持することによって、ステムトラックを移動させることができる。

ウェアラブルシステムは、個々のステムトラックおよび／または組み合わせられた１つまたはそれを上回るステムトラックの可視化を提供することができる。したがって、ウェアラブルシステムは、有利には、ユーザが、オーディオ空間化を可視化し、ステムトラックと相互作用することを可能にすることができる。

いくつかの実装では、オーディオファイルは、ステムトラックに加えて、音楽のオーディオまたは視覚的表現をレンダリングするためにウェアラブルデバイスによって使用され得る、付加的情報（例えば、メタデータ）を含んでもよい。例えば、付加的情報は、ステージ上の音楽演奏者の移動に関連する情報（例えば、ステージを動き回るまたはその上でダンスするリード歌手）、演奏場所の音響またはサイズ（例えば、ステージのサイズ、コンサートホールのサイズ等）についての情報等を含んでもよい。ウェアラブルシステムは、本付加的情報を使用して、音楽アーティストによる演奏の視覚的表現を提示することができる。例えば、リード歌手に関する移動情報は、ユーザの視野内における、リード歌手の表現（例えば、画像またはアバタ）が、リード歌手が演奏の間に動き回るにつれて表示されるべき場所を判定するために使用されることができる。そのような実施形態は、オーディオトラックが録音される、ライブ演奏の視覚的レンダリングを生成するために使用されることができる。

オーディオステムに関する情報、ステムに関する時系列位置データ、ステムトラックの可視化、および付加的情報のうちの１つまたはそれを上回るものが、オーディオファイルのメタデータから解析されてもよい。例えば、オーディオファイルは、そのようなメタデータをサポートするフォーマットでエンコードされてもよい。メタデータは、ステムトラックおよびオーディオファイルの関連付けられたステムトラックの可視化（形状、動画等）を規定してもよい。メタデータはまた、アクティブステムトラックおよびオーディオファイルの所与の時間におけるステムトラックの位置を規定することができる。オーディオファイルは、専用フォーマットであってもよい。オーディオファイルが、本明細書に開示されるようなステムの可視化およびミックスを提供するための機能性を有し得ないオーディオ機器と併用されることを可能にするために（例えば、上位互換性を提供するために）、オーディオフォーマットは、より古いオーディオシステムが、メタデータを無視し（例えば、それをファイルから読み出さないことによって）、例えば、音ファイルのステレオミックスのみを読み取り得るように、そのようなメタデータを記憶してもよい。
（ステムトラックのミックスの実施例）

２つまたはそれを上回るステムトラックが、オーディオミックスを生成するために組み合わせられることができる。オーディオミックスは、ステムトラックの空間場所を反映する、音場をシミュレートしてもよい。オーディオミックスはまた、その空間場所にかかわらず、ステムトラックの混合物を反映してもよい。

異なる楽器またはボーカルのためのステムトラックの組み合わせ（またはミックス）は、ウェアラブルシステムによる再生（例えば、スピーカ２４０を介して）のためにユーザに提示され得る、オーディオミックスを生成する。オーディオミックスは、１つまたはそれを上回るオーディオチャネル（例えば、ステレオまたは周囲音（５、７、またはそれを上回るチャネルを有することができる））を生成するために使用されることができる。ウェアラブルシステムはまた、例えば、ステムトラックレベル（例えば、ラウドネスまたはソフトネス）、周波数コンテンツ、動態（例えば、スタイル（スタッカートまたはレガート）、速度）、パノラマ位置（パンニングとも称される、例えば、ステレオまたはマルチチャネル音場間の音楽音の分布）等、オーディオミックスを修正することができ、組み合わせまたは同等物において、効果（例えば、リバーブ）を追加することもできる。

ユーザは、単独で、または組み合わせて、姿勢またはユーザ入力デバイスを使用して、ステムトラックと相互作用することができる。一実施例として、ミックスの空間化または可視化は、（少なくとも部分的に）ユーザの手の移動に基づく、またはユーザ入力デバイス４６６から受信された制御信号（例えば、ユーザまたは第三者によって制御可能なマウスまたはジョイスティック）によることができる。ウェアラブルシステムは、ユーザの手の位置を識別することができる。手が移動するにつれて、ウェアラブルシステムは、ユーザへの提示（聴覚的または視覚的に）のために、ステムトラックの異なるミックスを生成することができる。いくつかの実装では、ユーザは、その手（またはスタイラスまたはバトン）を使用して、ウェアラブルシステムのディスプレイ２２０を通して見える実または仮想オブジェクトを「タッチ」する、または「移動」させてもよく、ウェアラブルシステムは、タッチまたは移動に応答して、ミックスを修正または調節してもよい。別の実施例として、ユーザは、ステムトラックを識別し（例えば、ユーザ入力デバイスを使用して）、その腕を使用して、軌道に沿ってステムトラックを移動させてもよい。ステムトラックは、別のステムトラックと衝突してもよい。ウェアラブルシステムは、これらの２つのステムトラックのミックスをユーザに提示してもよい。

いくつかの実装では、ユーザがオーディオファイルを聴取している間、ウェアラブルシステムは、ユーザの姿勢（頭部、眼、足、手のジェスチャ、または他の身体姿勢等）に基づいて、オーディオファイルのステムトラックを動的にミックスすることができる。例えば、ユーザの眼または頭部が移動するにつれて、ウェアラブルシステム（例えば、処理モジュール２６０および／または２７０を介して）は、ユーザへの提示のために（例えば、スピーカ２４０を介して）、オーディオファイル内のステムトラックを動的にミックスし、「新しい」音のセットを生成することができる。したがって、ウェアラブルシステムは、有利には、オーディオファイルのステムトラックのミックスを空間化することができる。

加えて、ウェアラブルシステム（例えば、処理モジュール２６０および／または２７０を介して）は、ユーザの姿勢に基づいて、個々のステムトラックの可視化またはミックスされたステムトラックの可視化をユーザに動的に提示することができる（例えば、ディスプレイ２００を介して）。これは、ユーザの頭部または眼姿勢が変化するにつれて、ユーザにステムトラックのオーディオミックスの異なる視覚的表現が見えることを可能にする。

いくつかの実装では、オーディオファイルは、ステムトラックおよびステムトラックの１つまたはそれを上回る事前にミックスされた組み合わせと関連付けられた情報を含んでもよい。そのような実装では、ユーザの姿勢が変化するにつれて、ステムトラックを動的にミックスするのではなく、ウェアラブルシステムは、ユーザへの提示のために、事前にミックスされた組み合わせのうちの１つにアクセスしてもよい。ウェアラブルシステムは、単独で、または組み合わせて、ユーザの位置、ユーザの姿勢、ユーザ入力デバイスからの入力等に基づいて、事前にミックスされた組み合わせを選択することができる。例えば、事前にミックスされた組み合わせは、ユーザの頭部の周囲を包囲するかのように、音楽を再現してもよい。

ウェアラブルシステムのユーザはまた、環境（ユーザの部屋等）内に、またはオブジェクト（ユーザの頭部または身体等）に対して、音源の位置を「ロック」することができる。例えば、ユーザは、ステムトラックをその環境内で移動させてもよい。いったんユーザが好むオーディオミックスを見出すと、ユーザは、例えば、ユーザ入力デバイスを作動させることによって、またはその姿勢によって、オーディオミックス内のステムトラックの空間場所をロックすることができる。オーディオミックスは、故に、その環境内のユーザの位置にかかわらず、同一のままとなることができる。ユーザは、ユーザが、オーディオファイルを再生することによって、視野および音場を将来的に再体験し得るように、「ロックされた」ミックスをオーディオファイル内に記憶することができる。
（ステムトラックを提示するための例示的ユーザインターフェース）

図１２、１３、および１４は、ウェアラブルシステムのユーザに、オーディオファイルの複数のステムトラックの可視化を提示する、ユーザインターフェースの実施例を図式的に図示する。ステムトラックは、少なくとも部分的に、ユーザの姿勢に基づいて、動的にミックスされてもよい。

図１２は、２つの例示的ユーザインターフェース１２１０および１２２０を図式的に図示する。例示的インターフェース１２１０および１２２０では、５つのステムトラックのミックスが、示される。例示的ユーザインターフェース１２１０では、５つの異なる視覚的グラフィック（例えば、アイコンまたは球）１２１０ａ－１２１０ｅが、対応する５つのステムトラックを表すように示される。視覚的グラフィックは、静的である必要はなく、移動する、またはオーディオファイルが再生されるにつれて修正または変更されることができる。本実施例では、ユーザの頭部または眼姿勢が変化すると、オーディオミックスは、変化し、視覚的表現１２１０も、対応して、変化する。例えば、ユーザの眼（または頭部）姿勢が、ユーザがグラフィック１２１０ａの方向に向かって見ていることを示し得る。いくつかのそのような場合、グラフィック１２１０ａは、ユーザの視線方向にないグラフィック１２１０ｂ－１２１０ｅより強調されて表示されてもよい（例えば、より大きい、より明るい等）。グラフィック１２１０ａと関連付けられた音もまた、例えば、音量増加によって強調されることができる。ユーザの姿勢が変化するにつれて、別の視覚的グラフィックが、強調されてもよい、またはユーザは、異なる音場（ステムトラックの異なるオーディオミックスに対応する）および異なる視野を提示されてもよい。

いくつかの実装では、ウェアラブルシステムは、オーディオファイルのコンテンツに基づいて、視覚的グラフィックを強調するかどうかを判定してもよい。例えば、ウェアラブルシステムは、その対応するステムトラックが、音量強調される、またはオーディオファイル内の優位を占めるトラックであるため、視覚的グラフィック１２１０ａを強調してもよい。

例示的ユーザインターフェース１２２０では、視覚的グラフィック１２２０ａおよび１２２０ｃは、リサジュー図形として提示されてもよい。本実施例では、５つのステムトラック（１２２０ａから１２２０ｅ）がユーザのＦＯＶ内のオーディオファイルに存在し得るが、付加的ステムトラックがユーザの環境内に存在してもよい。しかしながら、視覚的グラフィック１２２０ｂ、１２２０ｄ、および１２２０ｅに対応するステムトラックは、ミュートされる。その結果、ウェアラブルシステムは、視覚的グラフィックをこれらの方向に示さない（またはサイズまたは明るさを著しく低減させる）（点１２２０ｂ、１２２０ｄ、および１２２０ｅは、ドットとして示され、グラフィックがユーザに表示されない（または低減されて表示される）ことを示す）。ユーザには、方向１２２０ａ、１２２０ｃと関連付けられたステムトラックのみのオーディオミックスが聞こえるであろう（例えば、スピーカ２４０を通して）。

種々の実装では、視覚的グラフィック１２１０ａ－１２１０ｅ、１２２０ａ－１２２０ｅは、相互と異なる、または同一であることができる。多くのタイプの視覚的グラフィックが、提示されることができ（例えば、図１３および１４における実施例参照）、本明細書に説明される実施例は、例証であって、限定であるものと意図されない。例えば、図１２Ａに図示されるリサジュー図形１２２０ａ、１２２０ｃは、動的であることができ、そのパターンは、例えば、音楽のビートに伴って、時間的に変化することができる。

いくつかの実装では、ウェアラブルシステムは、（少なくとも部分的に）ステムトラックのオーディオスペクトル（周波数）コンテンツを使用して、ユーザの視野内の対応する視覚的グラフィックの可視化を判定してもよい。オーディオスペクトルコンテンツは、視覚的グラフィックの場所を判定するために使用されてもよい。例えば、高周波数は、第１の方向に表示されてもよく、低周波数は、異なる第２の方向に表示されてもよい。別の実施例として、異なるスペクトルコンテンツを伴う音は、ユーザのＦＯＲの異なる部分における視覚的グラフィックによって表されることができる（ユーザが見るまたは聴くために方向転換する必要があるであろう方向を含む）。オーディオスペクトルコンテンツはまた、視覚的グラフィックの外観を判定するために使用されてもよい。例えば、ウェアラブルシステムは、そのステムトラックのオーディオスペクトルコンテンツに基づいて、ステムトラックに対応するリサジュー図形を生成することができる。

ユーザインターフェース１２１０および１２２０は、ユーザに視覚的グラフィック１２１０ａ－１２１０ｅまたは１２２０ａ－１２２０ｅは見えるが、しかし、外側世界４７０（図４に示される）は見えない、ディスプレイのＶＲモードで提示されてもよい。ユーザインターフェース１２１０および１２２０はまた、ユーザに外側世界４７０（図４に示される）上に重畳された視覚的グラフィック１２１０ａ－１２１０ｅまたは１２２０ａ－１２２０ｅが見える、ディスプレイのＡＲまたはＭＲモードで提示されてもよい。
（ステムトラックとの例示的相互作用）

ユーザは、ステムトラックの個々の音特性を変更することができる。ディスプレイのＡＲモードにおけるユーザインターフェース１２１０、１２２０とのユーザ相互作用の実施例として、ディスクジョッキー（ＤＪ）は、手のジェスチャを使用して、ウェアラブルシステムによって表示されるとき、ステムトラックの個々の音特性（例えば、音量）を制御することができる。ウェアラブルシステムを利用するＤＪは、視覚的グラフィック１２１０ａ等の視覚的グラフィックのうちの１つを「握持」し、そのステムトラックの音量を制御してもよい。視覚的グラフィック１２１０ａが、ボーカルトラックを表す場合、ＤＪは、その手を圧縮し、そのステムトラックの音量を低減させてもよい。ステムトラックの他の音特性も、変更または修正されてもよい。例えば、ＤＪが、異なる音特性モード（例えば、ある他の手のジェスチャを行うこと、足姿勢によって）を選択しようとする場合、ＤＪは、視覚的グラフィック１２１０ａによって表されるボーカルトラックの別の音特性を変更または修正し得る。音特性モードが、ピッチに対して変化される場合、この場合、その手を圧縮するＤＪは、ピッチを減少させるであろう。一方、ＤＪが、ピッチを増加させることを所望する場合、ＤＪは、別の手のジェスチャを使用して、視覚的グラフィック１２１０ａと関連付けられたピッチを増加させてもよい。例えば、ＤＪは、グラフィック１２１０ａと関連付けられた面積（例えば、グラフィック上またはその近傍）において時計回りまたは反時計回りのいずれかにその手を素早く移動させることによって、グラフィック１２１０ａを「スピン」させてもよい。

種々のステムトラックを変更または修正し得る、他の音特性も、可能性として考えられる。例えば、他の音特性は、音量、ピッチ、低音域、高音域、音調、音質、強度、持続時間等を含むことができる。前述の実施例は、手のジェスチャの文脈において説明されたが、他の身体ジェスチャも、ウェアラブルシステムのディスプレイ上で現れるステムトラックの音特性を制御するために使用されることができる。

加えて、または代替として、いくつかのステムトラックは、ＶＲモードで表示されてもよい。姿勢もまた、ＶＲモードで表示されるステムトラックを変更または修正するために使用されることができる。別の実施例として、ＤＪは、その足のうちの一方を２回タップし（例えば、第１のタップのある時間期間以内に足を２回タップする）、ステムトラックの音特性が変更または修正されることを示してもよい。概して、ジェスチャの種々の実施形態が、視覚的ディスプレイと相互作用するために使用されてもよい。前述の実施例は、姿勢の観点から説明されたが、ユーザ入力デバイスからの制御信号もまた、ステムトラックを変更してもよい。例えば、ユーザは、ジョイスティック、トーテム、またはタッチセンサ式入力デバイスを利用して、視覚的グラフィックとして表されている特定のステムトラックのピッチを変更してもよい。

ステムトラックまたはその一部もまた、ウェアラブルシステムのユーザによって生成されてもよい。ユーザ生成ステムトラックは、オーディオファイルの対応する１つ（またはそれを上回る）ステムトラックに取って代わることができる。例えば、ユーザは、ユーザ生成ステムトラックとオーディオのオリジナルステムトラックのうちの１つを置換することができる。ユーザは、（ユーザまたは他者の）ボーカルトラックを録音し、ユーザボーカルトラックと録音のオリジナルボーカルトラックを置換することができる。したがって、再生されているステムトラックは、ユーザがオーディオ録音に合わせて歌っているかのような音であってもよい。別の実施形態では、２つのステムトラックが、デュエットの個別のボーカルトラックに対応する場合、ユーザ生成ボーカルステムトラックは、デュエット内の音声のうちの１つに取って代わることができる。さらに別の実施例として、ユーザ生成ギターソロが、オーディオ録音の対応するギターステムトラックに取って代わることができる。任意の数のオーディオステムトラックが、全体的または部分的に、ユーザ生成ステムトラックと置換されることができる。

図１３は、ステムトラックを備えるオーディオファイルのＭＲ提示１３００の実施例を図式的に図示する。本実施例では、ユーザは、ディスプレイ２２０（図２に示される）を通して、ソファ１３１２等の実（物理的）オブジェクトを含有する、部屋１３１０を見ている。１つのみの物理的オブジェクトが、例証目的のために図１３に示されるが、これは、限定ではない。

本実施例では、オーディオファイルは、ボーカル、ギター、ベース、およびドラムに対応する、ステムトラックを含む。ウェアラブルシステムは、ギタートラックのためのギターを演奏している人物の形態における視覚的グラフィック１３２２と、ベーストラックのためのベースギターを演奏している人物の形態における視覚的グラフィック１３２８と、ボーカルトラックのための歌っている人物の形態における視覚的グラフィック１３２６と、ドラムトラックのためのドラムセットを演奏している人物の形態における視覚的グラフィック１３２４とを提示する。図１２に示されるユーザインターフェース１２１０および１２２０と同様に、異なる視覚的グラフィック１３２２、１３２４、１３２６、および１３２８は、部屋１３１０内の異なる方向に表示される。本ＭＲ提示では、ギター演奏者に関する視覚的グラフィック１３２２は、ギター演奏者が、部屋１３１０内に実際に存在する、（物理的）ソファ１３１２上に着座しているかのように提示される。視覚的グラフィック１３２４、１３２６、および１３２８は、物理的オブジェクトが存在しない、部屋の領域内に提示される。

本明細書に説明されるウェアラブルシステムの実施形態は、オブジェクトをユーザの視野内の複数の深度平面に提示可能であるため（例えば、図３の議論、図４のディスプレイシステム４００の導波管アセンブリ４８０内の導波管４３２ｂ、４３４ｂ、４３６ｂ、４３８ｂ、４４０ｂ、または図６のディスプレイシステム６００の導波管６３２ｂ参照）、ユーザインターフェース１３００は、異なる視覚的グラフィック１３２２、１３２６、１３２４、および１３２８を部屋内の異なる深度に示す。例えば、ベースギター奏者（視覚的グラフィック１３２８）は、部屋１３１０の正面に向かって存在し、リード歌手（視覚的グラフィック１３２６）は、部屋１３１０内の少し後であるが、ユーザから最も遠い、部屋の後に存在する、ドラム奏者（視覚的グラフィック１３２４）の前方に存在する。加えて、本実施例では、異なる視覚的グラフィック内の詳細の量は、深度に依存することができる。例えば、ドラム奏者（視覚的グラフィック１３２４）は、ユーザから最も遠くに現れるため、視覚的グラフィック１３２４は、ユーザのより近くに現れる、視覚的グラフィック１３２６および１３２８ほど詳細を有していない。オーディオファイルが（例えば、リード歌手の）移動に関連する付加的情報を含む実施形態では、ウェアラブルシステムは、例えば、部屋１３１０内を動き回るにつれて歌手を表す、視覚的グラフィック１３２６を提示することができる。

図１３に図示される例示的ユーザインターフェース１３００は、故に、異なるステムトラックがユーザの外部世界環境４７０（図４に示される）内に視覚的に表される、実施例を示す。ウェアラブルシステムは、例えば、外向きに面したイメージングシステムによって取得された画像を分析することによって、環境４７０内のオブジェクト（例えば、部屋１３１０内のソファ１３１２）を認識してもよい、または視覚的グラフィックのディスプレイを補助するために使用され得る、環境４７０内に配置されるトーテムまたは電子トラッッカと通信してもよい。例えば、特定のステムトラックのための視覚的グラフィックは、部屋１３１０内のトーテムの位置に可視化されてもよい。

ユーザが、部屋１３１０内を動き回るにつれて、ステムトラックの提示は、適宜、変化してもよい。例えば、ユーザが部屋の背後に近づくと、ウェアラブルシステムは、視覚的グラフィック１３２４をより詳細に提示することができる。ウェアラブルシステムはまた、視覚的グラフィック１３２４と関連付けられたドラムトラックの音量を増加させ、ユーザがドラム奏者により近づいたことを反映することができる。いくつかの実装では、ウェアラブルシステムは、ユーザの場所に基づいて、ステムトラックの空間化を調節することができる。例えば、視覚的グラフィック１３２６が、ユーザの正面に提示されると、ウェアラブルシステムは、ボーカルトラックがユーザの正面から生じるかのように、オーディオファイルを再生してもよい。しかしながら、ユーザが、視覚的グラフィック１３２６を通過し、視覚的グラフィック１３２４に向かって歩くにつれて、ウェアラブルシステムは、ボーカルトラックがユーザの右側から生じるかのように、オーディオファイルを再生してもよい。

ある実装では、ウェアラブルシステムは、ユーザが歩き回るにつれて、視覚的グラフィックの場所を更新することができる。例えば、図１３を参照すると、ユーザが動き回るにつれて、視覚的グラフィック１３２２、１３２４、１３２６、および／または１３２８も、部屋１３１０内でユーザに「追従」してもよい。

ウェアラブルシステムのユーザは、オーディオトラックの所望のミックスを選択的に選定することができる。例えば、ステムトラックが、ボーカル、ギター、ベース、およびドラムに対応する場合、ユーザは、ステムトラックのうちの１つのみ（例えば、ボーカルのみまたはギターのみ）を聴取し得る（またはその視覚的表現が見える）。ウェアラブルシステムは、ユーザに、そのステムトラックのみをユーザのＦＯＶ内で提示してもよい（視覚的および聴覚的に）。ユーザがその頭部または眼を移動させるにつれて、ステムトラックは、ユーザのＦＯＶ内または外に移動してもよい。故に、ユーザは、異なるステムトラックまたはステムトラックの異なるミックスを聴取することができる（または見える）。いくつかの実装では、ユーザは、適切なジェスチャ（例えば、手のジェスチャ）を使用することによって、オーディオトラックをミュートすることができる。例えば、ユーザは、ギターソロを聴取することを所望してもよく、ギタートラック以外の全てのトラックをミュートし得る。

加えて、または代替として、視覚的ディスプレイと相互作用し、音特性を制御する実施例に関して上記に説明されたように、視覚的グラフィックはまた、手のジェスチャを使用して、ディスプレイのＶＲ、ＡＲ、および／またはＭＲモードで修正または変更されてもよい。一実施例として、ディスプレイのＭＲモードでは、ユーザは、その手をベースギター奏者、例えば、視覚的グラフィック１３２８にかけ、視覚的グラフィック１３２２、１３２６、１３２４、および１３２８によって演奏されている音トラックの音と関連付けられたベースを抑制してもよい。視覚的グラフィック１３２８の結果として生じるディスプレイは、他のグラフィック１３２２、１３２６、または１３２４より小さく現れ得る。別の実施例として、ユーザは、手のジェスチャを使用して、視覚的グラフィック１３２２、１３２６、１３２４、および１３２８によって表されるステムトラックの音量を制御することができる。ユーザは、ドラム奏者の視覚的グラフィック１３２４を「握持」し、部屋１３１０の正面に向かって「ドラッグ」し、ドラムの音量を増加させてもよい。逆に言えば、ボーカルの音量を減少させるために、ユーザは、ドラム奏者の視覚的グラフィック１３２４を部屋１３１０の背後に向かって「押し戻し」てもよい。

視覚的グラフィックはまた、他の姿勢を使用して、修正または変更されてもよい。例えば、慣性測定ユニット（ＩＭＵ）等のウェアラブルシステム２００に結合される他のセンサが、ユーザの頭部または身体姿勢を検出するために使用されてもよい。例えば、ＩＭＵは、ユーザが、頭部姿勢における変化に対応し得る、その頭部を前後に点頭することを検出してもよい。ウェアラブルシステムは、視覚的グラフィック１３２２、１３２４、１３２６、および１３２８のうちの１つの選択のために、頭部姿勢における本変化を使用することができる。例えば、ユーザが、ベースの視覚的グラフィック１３２８を見ている間、その頭部を点頭すると、ウェアラブルシステムは、ベースに対応するステムトラックを選択することができる。ある場合には、十分に「急峻」な頭部移動（例えば、閾値を上回るＩＭＵ測定）は、視覚的グラフィックの選択を示してもよい一方、より緩慢な頭部移動（閾値を下回るＩＭＵ測定）は、グラフィックと関連付けられた性質の調節を示してもよい。例えば、ユーザが、視覚的グラフィック１３２６を部屋１３１０の背後に向かって「押し戻している」間、ユーザは、その頭部を視覚的グラフィック１３２８に向かって点頭し、視覚的グラフィック１３２８、例えば、ベースステムトラックの選択を示してもよい。いったん選択されると、ユーザは、何らかの方法（例えば、ベースステムトラックを弱める）で、またはステムトラックの音特性の変化に関して上記に説明されたように、そのステムトラックを変更することができる。

加えて、または代替として、選択されたステムトラックを姿勢を用いて変更する間、ユーザはまた、特定のステムトラックを演奏し、その対応するステムトラックとウェアラブルシステムによって再生されているオーディオトラックを置換してもよい（例えば、ステムトラックを置換する実施例に関して上記に説明されたように）。例えば、ユーザは、同時に、他の視覚的グラフィック、例えば、ベースステムトラックを表す視覚的グラフィック１３２８によって表される他のステムトラックを変更しながら、グラフィック１３２６のボーカルを置換してもよい。さらに、身体姿勢も、頭部姿勢または手のジェスチャに加えて、使用されることができる。例えば、足姿勢における変化（例えば、足をタップする）は、ギターまたはドラムペダルを踏むこと、ドラムを叩くこと、オーディオ効果を作動させること（例えば、リバーブ）等を示してもよい。

図１４は、ウェアラブルシステムによって提示され得る、ユーザインターフェース１４００の別の実施例を図式的に図示する。本実施例では、オーディオファイルは、一連の室内楽を演奏する、弦楽四重奏（２つのバイオリン、１つのビオラ、および１つのチェロ）を含む。ウェアラブルシステムのユーザが、オーディオファイルを聴取するにつれて、ウェアラブルシステムは、ユーザインターフェース１４００をユーザに提示し、バイオリンを表す視覚的グラフィック１４１０および１４２０と、チェロを表す視覚的グラフィック１４３０と、ビオラを表す視覚的グラフィック１４４０とを示す。ユーザの頭部または眼姿勢が変化するにつれて、これらの４つの楽器の異なるミックスが、ユーザに聴覚的に提示される。例えば、ユーザが、バイオリン１４１０および１４２０の方向に向かって見ている場合、ユーザには、バイオリン音がチェロおよびビオラ音より強調されるオーディオが聞こえ得る（ミュートされる、またはバイオリンより低い音量で再生されてもよい）。バイオリンのための視覚的グラフィック１４１０および１４２０は、対応して、チェロおよびビオラのための視覚的グラフィック１４３０および１４４０と比較して強調されてもよい。例えば、バイオリンの弓は、移動するように表示されてもよい一方、チェロおよびビオラのための弓は、移動しないように表示されてもよい。本実施例では、視覚的グラフィック１４１０、１４２０、１４３０、および１４４０は、共通深度平面に表示されるように現れるが、これは、限定ではなく、他の実施例では、異なる楽器を表す視覚的グラフィックは、ユーザから異なる深度平面に提示されることができる。そのような３Ｄ表現の付加的実施例は、図１５に示される。

ウェアラブルシステムはまた、表示される視覚的グラフィックとのユーザ相互作用を可能にするように構成されてもよい。例えば、ユーザインターフェース１４００は、ユーザが、ステムトラックが表されている、または表示されている特定の方式で相互作用することができる、種々のステムトラックを提示してもよい。特定の視覚的グラフィックは、変更または修正され得るものの表現であってもよい。実施例として、ディスプレイのＭＲモードでは、ユーザが、ビオラ１４４０を「握持」する（例えば、ＭＲモードで表示されるグラフィックと相互作用する実施例に関して上記に説明されたようにビオラを「握持」する）場合、ユーザは、ビオラを「再生」し、ビオラ音の特性を修正してもよい。本実施例を継続すると、ユーザがビオラを「握持」した後、ユーザは、ウェアラブルシステム生成「弓」を使用して、ビオラを「再生」し、それによって、ビオラ音の特性（例えば、音量）を修正してもよい。ディスプレイのＭＲモードの別の実施例として、ユーザは、ビオラを「再生」し、再生されている対応するビオラステムトラックを置換してもよい。例えば、ユーザは、ウェアラブルシステム生成「弓」を使用して、ビオラを「再生」し、ビオラステムトラックを生成してもよい。一実施形態では、本ユーザ生成ビオラステムトラックは、ユーザに結果として生じる聴覚的音が弦楽四重奏のビオラ部分をユーザが再生しているように、弦楽四重奏におけるビオラステムトラックを置換してもよい。

前述の実施例は、室内楽器の視覚的グラフィックの文脈で説明されたが、他の視覚的グラフィックも、ＵＩとして作用し、生成されたＵＩが表すオブジェクトを変更または修正してもよい。例えば、電気ギターを用いたオーディオトラックに関して、ＵＩは、弦、スイッチ、およびノブを有する、電気ギターの表現を含んでもよい。ユーザは、ギターの弦を弾くまたは鳴らす、トグルスイッチを調節する、またはノブを回転して、オーディオトラックの種々の側面を制御してもよい。視覚的グラフィックは、修正されるべきオブジェクトのスキュアモーフィック表現であってもよい。例えば、番号キーパッドを含む、電話グラフィックが、ユーザが電話番号をダイヤルし得るように、ウェアラブルシステムと関連付けられたダイヤル機能を表してもよい。別の実施例として、カレンダのＡＲ表現が、紙製の卓上カレンダ上の装丁の外観をエミュレートしてもよい。概して、ウェアラブルシステムによって生成される任意の視覚的グラフィックオブジェクトが、ユーザインターフェースとして使用されてもよい。
（３Ｄ空間内におけるステムトラックの提示）

図１３を参照して説明されるように、ウェアラブルシステムは、視覚的グラフィックをユーザの環境内の異なる深度に示す、３Ｄユーザインターフェースを提示することができる。図１５は、３Ｄユーザインターフェースの別の実施例を図示する。

図１５では、４つの視覚的グラフィック１５１０、１５２０、１５３０、および１５４０が、ユーザのＦＯＶ内に存在する。これらの視覚的グラフィックは、リサジュー図形または他のグラフィカル表現であってもよい。視覚的グラフィックの外観は、ユーザによって再生されているオーディオコンテンツに対応することができる。例えば、ユーザは、その関連付けられたステムトラックがオーディオファイル内で強調される（例えば、ミックス内でより高音で再生される）ため、視覚的グラフィック１５１０を最も近くにあるように知覚してもよい。視覚的グラフィック１５２０は、その関連付けられたステムトラックが相対的にミュートされ得るため、低減されたサイズで示される。視覚的グラフィックは、オーディオコンテンツが変化するにつれて変化してもよい。例えば、視覚的グラフィック１５２０と関連付けられたステムトラックが、もはやミュートされなくなると、視覚的グラフィック１５２０は、もはや低減されたサイズで現れなくてもよい。

ウェアラブルシステムは、その関連付けられたステムの空間場所に基づいて、視覚的グラフィックを設置することができる。例えば、視覚的グラフィック１５２０は、その対応する音が遠方の場所から生じる（例えば、オーケストラの背後のティンパニ奏者）ため、小音量で現れてもよい一方、視覚的グラフィック１５１０は、その対応する音がより近傍の場所から生じる（例えば、オーケストラの正面の歌手）ため、より大音量で現れてもよい。別の実施例として、視覚的グラフィック１５４０は、視覚的グラフィック１５４０と関連付けられたステムトラックが視覚的グラフィック１５３０と関連付けられたステムトラックよりユーザから離れ得るため、視覚的グラフィック１５３０の背後に現れる。グラフィック１５１０－１５４０の相対的距離または場所は、ユーザのための３Ｄ体験を提供するように表示されることができ、音楽が変化するにつれて、またはユーザの姿勢が変化するにつれて、動的に変化してもよい（距離、場所、サイズ、色、形状等において）。グラフィック１５１０－１５４０は、ユーザが、それらのうちの１つまたはそれを上回るものを選択し（例えば、ユーザの手を延ばすことによって）、選択されたグラフィックを移動させ得るように相互作用可能であってもよく、これは、可視化の性質だけではなく、また、音も変更し得る（例えば、選択されたグラフィックに対応するステムトラックをより高音にする、よりソフトにする、低音域または高音域を増減させること等によって）。

ウェアラブルシステムはまた、視覚的グラフィックをユーザのＦＯＶ外に移動させることができる。図１５は、３Ｄビュー１５００内の水平線１５５０を示す。ウェアラブルシステムは、仮想グラフィックが、水平線１５５０の下に沈降する、またはそこから上昇することを示すことができる。実施例として、ステムトラックの音量が減少されると、ウェアラブルシステムは、その関連付けられた視覚的グラフィックが水平線１５５０の真下に移動するように示してもよい。その結果、ユーザに、水平線１５５０の真下の視覚的グラフィックの部分が見えなくなり得る。別の実施例として、ステムトラックの音量が増加すると、ウェアラブルシステムは、関連付けられた視覚的グラフィックが水平線１５５０から上昇するように示してもよい。いくつかの実装では、ウェアラブルシステムは、水平線を反射表面（水表面またはガラスをシミュレートする等）として示してもよく、ウェアラブルシステムは、視覚的グラフィック１５１０、１５２０、１５３０、および１５４０の反射された画像を水平線１５５０上に示すことができる。

いくつかの実施形態では、ウェアラブルシステムは、ユーザが視覚的グラフィックに十分に近いときのみ、視覚的グラフィックを表示してもよい。例えば、図１５では、システムは、ユーザから離れすぎているため、視覚的グラフィック１５２０を示さないように構成されてもよい。図１６Ｂを参照してさらに説明されるように、ウェアラブルシステムは、ユーザにまた、視覚的グラフィックと関連付けられた音源が聞こえるとき、例えば、ユーザが指向性音源の聴覚的領域の内側に存在するとき等のみ、視覚的グラフィックを表示するように構成されてもよい。

別の実施例として、図１６Ａは、ユーザの環境の俯瞰図１６００ａを示す。ウェアラブルシステムが、一連の音楽を再生している間、ウェアラブルシステムは、それぞれ、音楽のステムトラックと関連付けられる、５つの（本実施例では）視覚的グラフィック１６１０ａ、１６２０ａ、１６３０ａ、１６４０ａ、および１６５０ａを提示してもよい。本実施例では、５つの視覚的グラフィックは、ユーザの環境の異なる場所に設置される。ユーザ１６７０ａは、部屋の中央に立っており、５つの視覚的グラフィックによって囲繞されてもよい。所与の時間に、他の視覚的グラフィックがその環境内に存在しても、ユーザ１６７０ａに、視覚的グラフィックのサブセットがそのＦＯＶ内に見え得る。例えば、ユーザ１６７０ａには、視覚的グラフィック１６３０ａおよび１６４０ａが同時にそのＦＯＶ内に見えるが、視覚的グラフィック１６１０ａがユーザ１６７０ａの背後にあるため、視覚的グラフィック１６１０ａは見えない。ユーザ１６７０ａが、その姿勢を変化させるにつれ、他の視覚的グラフィックも、可視となり得る。例えば、ユーザ１６７０ａが方向転換すると、ユーザは、視覚的グラフィック１６１０ａを知覚することができるが、視覚的グラフィック１６３０ａおよび１６４０ａは、ユーザのＦＯＶの外側にあるため、もはや知覚可能ではなくなり得る。

図１３を参照して説明されるように、ユーザ１６７０ａがその環境内で動き回るにつれて、視覚的グラフィックの外観は、適宜、変化してもよい。例えば、ユーザ１６７０ａが、視覚的グラフィック１６１０ａに接近するにつれて、ウェアラブルシステムは、視覚的グラフィック１６１０ａのさらなる詳細を提示してもよい。ウェアラブルシステムはまた、ユーザが視覚的グラフィック１６１０ａを見ているとき、視覚的グラフィック１６１０ａを強調し、例えば、より大きく、かつより明るく現れるようにすることができる。しかしながら、ユーザが異なる方向に方向転換するにつれて、視覚的グラフィック１６１０ａは、サイズまたは明るさを低減させてもよい一方、ユーザの視線方向における別の視覚的グラフィック（１６５０ｂ等）が、強調されてもよい（図１６Ｂに示されるように）。

別の実施例として、ユーザ１６７０ａは、最初に、視覚的グラフィック１６３０ａおよび１６４０ａをそのＦＯＶ内に知覚してもよい。しかし、ユーザ１６７０ａが視覚的グラフィック１６３０ａにより近づくにつれて、視覚的グラフィック１６４０ａは、ユーザのＦＯＶの外側になり得、したがって、ユーザ１６７０ａは、もはや視覚的グラフィック１６４０を知覚可能ではなくなり得る。

ある状況では、オーディオコンテンツは、同一のままであってもよい（例えば、ユーザがステムトラックの空間場所をロックしたため）が、視覚的グラフィックは、ユーザの場所に基づいて変化してもよい。例えば、ウェアラブルシステムは、ユーザ１６７０ａにより近くなると、視覚的グラフィックをより明るくしてもよい一方、ユーザ１６７０ａから離れると、より暗くしてもよい。一方、ウェアラブルシステムは、ユーザ１６７０ａが動き回るにつれて、視覚的グラフィックと関連付けられたステムトラックを更新しないように構成されてもよい（ステムトラックの音量を変化させない等）。

他の実装では、ユーザ１６７０ａがその環境内で動き回るにつれて、オーディオファイル内のオーディオコンテンツは、更新されてもよい。例えば、ユーザ１６７０ａが視覚的グラフィック１６１０ａの場所により近づくにつれて、視覚的グラフィック１６１０ａと関連付けられた音は、より顕著となってもよい。同様に、ユーザ１６７０は、最初に、視覚的グラフィック１６３０ａおよび１６４０ａに面してもよい。その結果、視覚的グラフィック１６３０ａおよび１６４０ａと関連付けられたステムトラックは、ユーザ１６７０ａの正面にあるかのように再生されてもよい。しかしながら、ユーザ１６７０ａが方向転換するにつれて、視覚的グラフィック１６３０ａおよび１６４０ａと関連付けられたステムトラックは、ユーザ１６７０ａの背後で再生されているかのように更新されてもよい。（音源の指向性）

図１６Ａおよび１６Ｂはまた、音源の指向性の実施例を図示する。俯瞰図１６００ａおよび１６００ｂに示されるように、ステムトラック１６１０ａ、１６２０ａ、および１６５０ｂは、いくつかの方向においてのみ可聴であってもよい。例えば、ステムトラック１６１０ａは、領域１６１２ａ内でのみ可聴であって、ステムトラック１６２０ａは、領域１６２２ａおよび１６２４ａ内でのみ可聴であって、ステムトラック１６５０ｂ（図１６Ｂに示される）は、領域１６５２ｂ、１６５４ｂ、１６５６ｂ、および１６５８ｂ内でのみ可聴である。

ユーザが、可聴領域の内側に存在するとき、ユーザは、可聴領域と関連付けられた音を知覚することができる。例えば、図１６Ｂでは、ユーザが領域１６５２ｂの内側に存在するとき、ユーザは、視覚的グラフィック１６５０ｂと関連付けられた音を知覚することができる。しかしながら、ユーザが、領域１６５２ｂ、１６５４ｂ、１６５６ｂ、および１６５８ｂの外側に存在する場合、ユーザは、視覚的グラフィック１６５０ｂと関連付けられた音が聞こえなくなり得る。

いくつかの実装では、ステムトラックのための可聴領域は、重複してもよい。図１６Ａに示されるように、領域１６２４ａおよび１６１２ａは、領域１６７２ａにおいて重複する。その結果、ユーザ１６７０ａが領域１６７２ａ内に存在するとき、ウェアラブルシステムは、視覚的グラフィック１６２０ａおよび１６１０ａと関連付けられた音の混合物を提示してもよい。例えば、オーディオミックスは、音の空間場所を反映してもよい。図１６００ａでは、ユーザが視覚的グラフィック１６１０ａに面しているため、視覚的グラフィック１６１０ａと関連付けられた音は、ユーザの正面に現れ得る一方、視覚的グラフィック１６２２ａと関連付けられた音は、オーディオミックス内においてユーザの左となるように現れ得る。

ウェアラブルシステムは、単独で、または視覚的グラフィック１６２０ａと組み合わせて、視覚的グラフィック１６１０ａをＦＯＶ内に表示してもよい。例えば、ユーザが領域１６７２ａ内に存在するとき、ユーザには、視覚的グラフィック１６１０ａおよび１６２０ａと関連付けられた音に関するオーディオミックスが聞こえ得るが、ユーザは、視覚的グラフィック１６１０ａのみを知覚してもよい。他の実装では、ウェアラブルシステムは、オーディオミックスが視覚的グラフィックの両方と関連付けられた音を含むため、視覚的グラフィック（１６１０ａおよび１６２０ａ）の両方を提示してもよい。

いくつかの実施形態では、ウェアラブルシステムは、ユーザがステムトラックの可聴領域内に存在するとき、ステムトラックと関連付けられた視覚的グラフィックのみを表示するように構成されてもよい。実施例として、ウェアラブルシステムは、ユーザが領域１６５２ｂ、１６５４ｂ、１６５６ｂ、および１６５８ｂに存在するとき、視覚的グラフィック１６５０ｂを表示してもよい。ユーザが視覚的グラフィック１６５０ｂに接近するにつれて、ウェアラブルシステムは、視覚的グラフィック１６５０ｂをより大きく、かつより明るくなるように示してもよい。一方、ウェアラブルシステムは、随意に、オーディオミックス内の視覚的グラフィック１６５０ｂの音量を増加させてもよい。しかしながら、ユーザが、可聴領域の外側に存在するとき、ウェアラブルシステムは、いくつかの状況では、ユーザが視覚的グラフィック１６５０ｂの方向を見ている場合でも、視覚的グラフィック１６５０ｂを示さないように構成されてもよい。

ある実装では、ユーザの環境内のステムトラックのサブセットのみが、指向性音効果を有してもよい。例えば、図１６Ａでは、視覚的グラフィック１６３０ａおよび１６４０ａと関連付けられた音は、指向性音効果を有していなくてもよい。その結果、ユーザが領域１６７２ａ内に存在する間、ウェアラブルシステムは、それにもかかわらず、視覚的グラフィック１６３０ａおよび１６４０ａと関連付けられた音を、視覚的グラフィック１６２０ａおよび１６１０ａと関連付けられた音とともに、オーディオミックス内に含んでもよい。

図１６Ａおよび１６Ｂにおける音領域の形状およびサイズは、例証目的のためだけのものであって、限定することを意図するものではない。指向性音効果によって影響される領域は、丸い突出物以外の形状と関連付けられてもよい。領域はまた、図示されるものより大きいまたは小さくてもよい。例えば、いくつかの実施形態では、複数の音間に重複が存在しない。その結果、ユーザは、その音源の領域内に存在するとき、１つの音源のみを知覚することができる。
（音コラージュ効果の実施例）

図１７は、音コラージュ効果を生成する実施例を図示する。図１７Ａは、複数の表面１７１０、１７２０、および１７３０を有する、仮想３Ｄオブジェクト１７００を図示する。各表面は、単独で、または組み合わせて、オーディオステム、オーディオファイル、音のタイプ、または他の音源と関連付けられてもよい。各表面上のオーディオステムは、上記に説明されるように、指向性であってもよい。例えば、ユーザが、表面１７３０の正面に存在する場合、ユーザには、表面１７３０と関連付けられたステムが聞こえ得るが、ユーザには、表面１７１０と関連付けられた音がユーザの方向にないため、表面１７１０と関連付けられたステムが聞こえなくてもよい。

ウェアラブルシステムのユーザは、方向１７５０等に３Ｄ仮想オブジェクト１７００をスピンさせ（またはその周囲で移動させ）、表面１７２０、表面１７３０等と関連付けられた音（またはその一部）を含む、オーディオミックスを生成することができる。いくつかの実装では、オーディオミックスは、３Ｄ仮想オブジェクト１７００の移動に対応することができる。例えば、ユーザが、３Ｄ仮想オブジェクト１７００のスピンを停止させる場合、３Ｄ仮想オブジェクト１７００の移動は、徐々に減速し得る。その結果、音コラージュは、ある表面と関連付けられた音のより大きい部分を含んでもよい。

３Ｄ仮想オブジェクト１７００は、立方体形状を使用して図示されるが、他の幾何学的形状もまた、３Ｄ仮想オブジェクトのために使用されてもよい。例えば、３Ｄ仮想オブジェクトは、単独で、または組み合わせて、球体、円錐、直方体、多面体、角錐、円錐台、不規則形状等であってもよい。ステムトラックおよび／または音ファイルはまた、仮想オブジェクトの表面と関連付けられるように要求されない。例えば、それらは、３Ｄ仮想オブジェクトの異なる体積部分と関連付けられてもよい。いくつかの実装では、所与の表面および／または体積と関連付けられた複数のステムトラックおよび／または音ファイルが、存在してもよい。
（ステムトラックを提示する例示的プロセス）

図１８は、オーディオファイルを視覚的かつ聴覚的に提示する例示的プロセスを図示する。プロセス１８００は、本明細書に説明されるウェアラブルシステムによって行われることができる。

ブロック１８１０では、ウェアラブルシステムは、オーディオファイルと関連付けられたステムトラックにアクセスすることができる。ウェアラブルシステムは、オーディオファイル内のステムトラックを識別することができる。ウェアラブルシステムはまた、オーディオファイルの一部のみであり得るが、他のオーディオファイルのステムトラックとミックスするために使用され得る、例えば、遠隔データリポジトリ２８０（図２に示される）に記憶される、ステムトラックにアクセスすることができる。

ブロック１８２０では、ウェアラブルシステムは、ステムトラックの可視化を生成する。例えば、ウェアラブルシステムは、ステムトラックと関連付けられた視覚的グラフィックを提供することができる。図１２－１４を参照して説明されるように、視覚的グラフィックは、ステムトラックを再生している楽器または人物、または任意のタイプのグラフィック形状、設計、色等を表してもよい。グラフィックは、２Ｄまたは３Ｄで現れてもよい。視覚的グラフィックは、音楽のオーディオコンテンツに基づいて変化してもよい。例えば、視覚的グラフィックは、音楽の音量、ビート等に基づいて、拡張または収縮してもよい。

ウェアラブルシステムはまた、ユーザが、姿勢および／またはユーザ入力デバイスを使用して、ステムトラックと相互作用することを可能にすることができる。ブロック１８３０では、ウェアラブルシステムは、ユーザの姿勢を検出することができる。姿勢は、手のジェスチャ、頭部姿勢、足姿勢、または他の身体姿勢を含んでもよい。ウェアラブルシステムは、図２を参照して説明されるセンサ（ＩＭＵおよび外向きに面したイメージングシステム等）を使用して、ユーザの姿勢を検出することができる。

ブロック１８４０では、ウェアラブルシステムは、ユーザの姿勢に基づいて、ステムトラックのオーディオミックスを生成することができる。例えば、ユーザは、ステムトラックの視覚的グラフィックを握持し、２つの視覚的グラフィック間の衝突を生じさせてもよい。ウェアラブルシステムは、適宜、その関連付けられたステムトラックをミックスし、オーディオミックスを生成することができる。別の実施例として、ユーザは、その身体を方向転換し、そのＦＯＶ内の１つまたはそれを上回る視覚的グラフィックを知覚することができる。ウェアラブルシステムは、そのＦＯＶ内の視覚的グラフィックと関連付けられたステムトラックをミックスし、オーディオミックスを生成することができる。さらに別の実施例として、ユーザは、姿勢を使用してステムトラックの音量または空間場所を調節すること等によって、ステムトラックを調節してもよい。ウェアラブルシステムは、適宜、ステムトラックの調節に基づいて、オーディオミックスを生成することができる。

ブロック１８５０では、ウェアラブルシステムは、ユーザの姿勢に基づいて、可視化を更新することができる。例えば、ウェアラブルシステムは、ユーザの位置および配向に基づいて、視覚的グラフィックのサブセットをユーザのＦＯＶ内に表示することができる。ウェアラブルシステムはまた、ユーザの姿勢に基づいて、１つまたはそれを上回る視覚的グラフィックをハイライトまたは強調する（または強調解除する）ことができる。２つまたはそれを上回る視覚的グラフィックが衝突すると、ウェアラブルシステムはまた、新しい視覚的グラフィックを生成および表示することができる。新しい視覚的グラフィックは、例えば、衝突された視覚的グラフィックをともにインターリーブすることによって、前の視覚的グラフィック間の衝突を反映させてもよい。

ウェアラブルシステムはまた、複数のユーザが、視覚的グラフィックおよびステムトラックとの相互作用を共有することを可能にすることができる。例えば、複数のユーザが部屋内に存在してもよい。各ユーザは、ステムトラックをミックスすることができ、結果として生じるオーディオおよび視覚的ミックスは、部屋内の全てのユーザに提示されてもよい。いくつかの実装では、ユーザ毎のウェアラブルシステムは、ユーザの位置および／または配向に基づいて、個人化された視覚的グラフィックを提示することができる。例えば、東に面しているユーザは、西に面しているユーザと視覚的グラフィックの異なるサブセットを知覚してもよい。別の実施例として、ユーザ（ＤＪ等）は、その環境内においてステムトラックと相互作用し、オーディオミックスを生成することができる。ユーザのウェアラブルシステムは、ストリーミングまたは再生のために、オーディオミックスを他のウェアラブルシステムに通信することができる。ウェアラブルシステムはまた、他のコンピューティングシステムを介して、オーディオミックスをブロードキャストすることができる。例えば、ウェアラブルシステムは、部屋内のスピーカを介して、オーディオミックスを他の人々に再生することができる。

本明細書に説明される実施例は、ステムトラックを参照して説明されるが、本明細書に説明される技法は、ステムトラックに限定されない。ウェアラブルシステムはまた、他のオーディオコンテンツを提示し、それとのユーザ相互作用を可能にすることができる。例えば、ウェアラブルシステムは、ユーザが、２つのオーディオファイルをミックスすることを可能にすることができ、１つのオーディオファイルは、背景音楽を有する一方、他のオーディオファイルは、ボーカルを含む。
（付加的実施形態）

第１の側面では、ウェアラブルディスプレイデバイスであって、ウェアラブルディスプレイデバイスの装着者の姿勢と関連付けられた情報を測定するように構成される、非一過性メモリと、画像をウェアラブルディスプレイデバイスの装着者の眼に提示するように構成される、ディスプレイと、音をウェアラブルディスプレイデバイスの装着者に提示するように構成される、スピーカと、非一過性メモリ、センサ、スピーカ、およびディスプレイと通信する、プロセッサであって、該プロセッサは、装着者の姿勢を判定することと、少なくとも部分的に、装着者の姿勢に基づいて、オーディオファイルの複数のステムトラックのうちの少なくとも１つのオーディオミックスを生成することと、少なくとも部分的に、装着者の姿勢およびオーディオミックスに基づいて、オーディオミックスの可視化を生成することと、オーディオミックスを表すオーディオ信号をスピーカに通信することと、オーディオミックスの可視化を表す視覚的信号をディスプレイに通信することとを行うための実行可能命令でプログラムされる、プロセッサとを備える、ウェアラブルディスプレイデバイス。

第２の側面では、複数のステムトラックは、少なくとも４つのステムトラックを備える、側面１に記載のウェアラブルディスプレイデバイス。

第３の側面では、複数のステムトラックは、異なる楽器のための複数のトラックを表す、側面１または側面２に記載のウェアラブルディスプレイデバイス。

第４の側面では、複数のステムトラックはさらに、ボーカルトラックを表す、側面３に記載のウェアラブルディスプレイデバイス。

第５の側面では、複数のステムトラックは、ギター、ベースギター、ドラム、およびボーカルを表す、側面４に記載のウェアラブルディスプレイデバイス。

第６の側面では、センサは、眼追跡カメラ、ジャイロスコープ、加速度計、または慣性測定デバイスを備える、側面１－５のうちのいずれか１つに記載のウェアラブルディスプレイデバイス。

第７の側面では、姿勢は、頭部姿勢、眼姿勢、または頭部姿勢および眼姿勢の両方を備える、側面１－６のうちのいずれか１つに記載のウェアラブルディスプレイデバイス。

第８の側面では、姿勢は、装着者のジェスチャを備える、側面１－７うちのいずれか１つに記載のウェアラブルディスプレイデバイス。

第９の側面では、ディスプレイは、複数の深度平面を装着者に提示するように構成される、側面１－８のうちのいずれか１つに記載のウェアラブルディスプレイデバイス。

第１０の側面では、ディスプレイは、ライトフィールド画像を装着者に提示するように構成される、側面１－９のうちのいずれか１つに記載のウェアラブルディスプレイデバイス。

第１１の側面では、ディスプレイは、複数のスタックされた導波管を備える、側面１－１０のうちのいずれか１つに記載のウェアラブルディスプレイデバイス。

第１２の側面では、可視化は、複数のステムトラックのそれぞれと関連付けられた視覚的グラフィックを備える、側面１－１１のうちのいずれか１つに記載のウェアラブルディスプレイデバイス。

第１３の側面では、視覚的グラフィックは、ステムトラックの演奏と関連付けられた楽器または人物のグラフィカル表現を備える、側面１２に記載のウェアラブルディスプレイデバイス。

第１４の側面では、視覚的グラフィックの少なくとも一部は、装着者に対して異なる深度平面において提示される、側面１２または側面１３に記載のウェアラブルディスプレイデバイス。

第１５の側面では、ウェアラブルディスプレイデバイスは、装着者の近傍の物理的オブジェクトを認識し、グラフィカル表現を物理的オブジェクトと関連付けられているように提示するように構成される、側面１２－１４のうちのいずれか１つに記載のウェアラブルディスプレイデバイス。

第１６の側面では、ウェアラブルディスプレイデバイスは、入力を電子コンポーネントから受信するように構成され、プロセッサは、少なくとも部分的に、入力に基づいて、オーディオミックスまたは可視化を生成するように構成される、側面１－１５のうちのいずれか１つに記載のウェアラブルディスプレイデバイス。

第１７の側面では、複数のステムトラックのうちの少なくとも１つは、ステムトラックの空間指向性と関連付けられた情報を備える、側面１－１６のうちのいずれか１つに記載のウェアラブルディスプレイデバイス。

第１８の側面では、複数のステムトラックのうちの少なくとも１つは、装着者に対する空間場所と関連付けられる、側面１－１７のうちのいずれか１つに記載のウェアラブルディスプレイデバイス。

第１９の側面では、プロセッサは、少なくとも部分的に、装着者の姿勢または電子コンポーネントからの入力に基づいて、複数のステムトラックのうちの少なくとも１つと関連付けられた空間場所をロックするように構成される、側面１８に記載のウェアラブルディスプレイデバイス。

第２０の側面では、オーディオファイルは、複数のステムトラック、所与の時間における複数のステムトラックと関連付けられた位置データ、またはオーディオミックスの可視化に関する情報のうちの少なくとも１つを示すメタデータを備えるオーディオフォーマットでエンコードされる、側面１－１９のうちのいずれか１つに記載のウェアラブルディスプレイデバイス。別の側面では、オーディオファイルは、複数のステムトラック、所与の時間における複数のステムトラックと関連付けられた位置データ、またはオーディオミックスの可視化に関する情報のうちの少なくとも１つを示すメタデータを備えるオーディオフォーマットでエンコードされる。オーディオファイルは、複数のステムトラックと関連付けられた情報および／または識別子を備えることができる。オーディオファイルは、複数のステムトラックのオーディオミックスを含むことができる。

第２１の側面では、オーディオミックスの可視化は、各表面が複数のステムトラックのステムトラックと関連付けられた複数の表面を備える、３次元仮想オブジェクトを備える、側面１－２０のうちのいずれか１つに記載のウェアラブルディスプレイデバイス。オーディオミックスは、複数のステムトラックの音コラージュ効果を備えることができる。

第２２の側面では、拡張現実オブジェクトと相互作用するための方法であって、該方法は、ハードウェアコンピュータプロセッサの制御下で、ウェアラブルディスプレイシステムの装着者による相互作用のための拡張現実オブジェクトを生成するステップであって、拡張現実オブジェクトは、拡張現実オブジェクトと関連付けられ、ウェアラブルディスプレイシステムのディスプレイ上に表示される、特性の修正のためのインターフェースを含む、ステップと、装着者がインターフェースと相互作用する間、装着者のジェスチャを検出するステップと、検出されたジェスチャと拡張現実オブジェクトの特性への修正を関連付けるステップと、拡張現実オブジェクトの特性への修正に従って、拡張現実オブジェクトを修正するステップとを含む、方法。

第２３の側面では、装着者がインターフェースと相互作用する間、装着者のジェスチャを検出するステップは、ウェアラブルディスプレイシステムの外向きに面した画像捕捉デバイスを用いて、装着者の手の第１の画像を捕捉するステップと、ウェアラブルディスプレイシステムの外向きに面した画像捕捉デバイスを用いて、装着者の手の第２の画像を捕捉するステップと、第１の画像および第２の画像を比較し、装着者のジェスチャを検出するステップとを含む、側面２２に記載の方法。

第２４の側面では、拡張現実オブジェクトは、電話を表し、インターフェースは、番号キーパッドに対応する、側面２２－２３のうちのいずれか１つに記載の方法。

第２５の側面では、検出されたジェスチャと拡張現実オブジェクトの特性への修正を関連付けるステップは、電話上での指での押下を関連付け、番号キーパッドの外観を修正するステップを含む、側面２２－２４のうちのいずれか１つに記載の方法。

第２６の側面では、拡張現実オブジェクトの特性への修正に従って、拡張現実オブジェクトを修正するステップは、関連付けられた指での押下に対応するキーパッド上への順次押下表示を用いて、番号キーパッドを表すステップを含む、側面２２－２５のうちのいずれか１つに記載の方法。

第２７の側面では、拡張現実オブジェクトのインターフェースは、拡張現実オブジェクトのスキュアモーフィック表現に対応する、側面２２－２６のうちのいずれか１つに記載の方法。

第２８の側面では、拡張現実オブジェクトは、楽器または楽器を演奏している人物に対応する、側面２２－２７のうちのいずれか１つに記載の方法。

第２９の側面では、検出されたジェスチャと楽器または楽器を演奏している人物への修正を関連付けるステップは、楽器と相互作用する装着者の手または指の移動を検出し、楽器と関連付けられたステムトラックの属性を増加させるステップを含む、側面２２－２８のうちのいずれか１つに記載の方法。

第３０の側面では、拡張現実オブジェクトは、複数のステムトラックのうちの少なくとも１つを備える、オーディオファイルと関連付けられる、側面２２－２９のうちのいずれか１つに記載の方法。

第３１の側面では、拡張現実オブジェクトは、複数の表面を備える、３次元仮想オブジェクトであり、各表面は、複数のステムトラックのステムトラックと関連付けられる、側面３０に記載の方法。

第３２の側面では、装着者のジェスチャに応答して、複数のステムトラックを使用して、音コラージュ効果を生成するステップをさらに含む、側面３１に記載の方法。

第３３の側面では、楽器と関連付けられたステムトラックは、ウェアラブルディスプレイシステムに結合されるオーディオシステムによって再生されている複数のステムトラックのうちの１つである、側面３０－３２のうちのいずれか１つに記載の方法。

第３４の側面では、複数のステムトラックのうちの少なくとも１つは、ユーザ生成ステムトラックによって置換されるオリジナルステムトラックである、側面３０－３３のうちのいずれか１つに記載の方法。

第３５の側面では、付加的拡張現実オブジェクトが、付加的拡張現実オブジェクトによって表される対応するステムトラックの変更のために、装着者の頭部ジェスチャを用いて選択される、側面３０－３４のうちのいずれか１つに記載の方法。

第３６の側面では、複数のステムトラックのうちの少なくとも１つは、ステムトラックの指向性と関連付けられた情報を備える、側面３０－３５のうちのいずれか１つに記載の方法。

第３７の側面では、複数のステムトラックのうちの少なくとも１つは、装着者に対する空間場所と関連付けられる、側面３０－３６のうちのいずれか１つに記載の方法。

第３８の側面では、少なくとも部分的に、装着者のジェスチャに基づいて、複数のステムトラックのうちの少なくとも１つと関連付けられた空間場所をロックするステップをさらに含む、側面３７に記載の方法。

第３９の側面では、オーディオファイルは、複数のステムトラック、所与の時間における複数のステムトラックと関連付けられた位置データ、または複数のステムトラックの可視化に関する情報のうちの少なくとも１つを示すメタデータを備える、オーディオフォーマットでエンコードされる、側面３０－３８のうちのいずれか１つに記載の方法。

第４０の側面では、視覚的グラフィックと相互作用するためのウェアラブルディスプレイシステムであって、該システムは、視覚的グラフィックを表示するように構成される、ディスプレイと、ウェアラブルディスプレイシステムの正面内の領域を撮像するように構成される、少なくとも１つの外向きに面するカメラと、ネットワークと通信するように構成されたコンピュータプロセッサであって、ウェアラブルディスプレイシステムの装着者による相互作用のための視覚的グラフィックを生成することであって、視覚的グラフィックは、視覚的グラフィックと関連付けられた特性の修正のためのインターフェースを含む、ことと、ウェアラブルディスプレイシステムと相互作用する装着者のジェスチャを検出することと、検出されたジェスチャと視覚的グラフィックの特性への修正を関連付けることと、視覚的グラフィックの特性への修正に従って、視覚的グラフィックを変更することとを行うようにプログラムされる、コンピュータプロセッサと、を備える、システム。

第４１の側面では、視覚的グラフィックは、少なくとも１つのステムトラックと関連付けられる、側面４０に記載のウェアラブルディスプレイシステム。

第４２の側面では、ステムトラックは、指向性である、側面４１に記載のウェアラブルディスプレイシステム。

第４３の側面では、ステムトラックは、装着者に対する空間場所と関連付けられる、側面４１－４２のうちのいずれか１つに記載のウェアラブルディスプレイシステム。

第４４の側面では、コンピュータプロセッサはさらに、少なくとも部分的に、装着者の姿勢または電子コンポーネントからの入力に基づいて、ステムトラックの空間場所をロックするように構成される、側面４１－４３のうちのいずれか１つに記載のウェアラブルディスプレイシステム。

第４５の側面では、視覚的グラフィックは、複数の表面を備え、各表面は、複数のステムトラックのステムトラックと関連付けられ、コンピュータプロセッサはさらに、装着者の検出されたジェスチャに応答して、複数のステムトラックの音コラージュ効果を生成するように構成される、側面４１－４４のうちのいずれか１つに記載のウェアラブルディスプレイシステム。

第４６の側面では、ウェアラブルディスプレイデバイスおよび／またはウェアラブルディスプレイシステムは、頭部搭載型ディスプレイを備える、側面１－２１のうちのいずれか１つに記載のウェアラブルディスプレイデバイス、側面２２－３９のうちのいずれか１つに記載の方法、側面４０－４５のうちのいずれか１つに記載のウェアラブルディスプレイシステム。これらの側面のいずれかでは、ウェアラブルディスプレイデバイスおよび／またはウェアラブルディスプレイシステムは、ライトフィールドディスプレイを備えてもよい。

第４７の側面では、ウェアラブルデバイスであって、複数のステムトラックを含むオーディオファイルを記憶するように構成される、非一過性メモリであって、各ステムトラックは、オーディオファイルの異なるオーディオコンテンツを表す、非一過性メモリと、ウェアラブルデバイスのユーザの姿勢と関連付けられた情報を測定するように構成される、センサと、画像をウェアラブルデバイスのユーザの眼に提示するように構成される、ディスプレイと、音をウェアラブルデバイスのユーザに提示するように構成される、スピーカと、非一過性メモリ、センサ、スピーカ、およびディスプレイと通信する、プロセッサであって、該プロセッサは、ユーザの姿勢を判定することと、少なくとも部分的に、ユーザの姿勢に基づいて、オーディオファイルの複数のステムトラックのうちの少なくとも１つのオーディオミックスを生成することと、少なくとも部分的に、ユーザの姿勢およびオーディオミックスに基づいて、オーディオミックスの可視化を生成することと、オーディオミックスを表すオーディオ信号をスピーカに通信することと、オーディオミックスの可視化を表す視覚的信号をディスプレイに通信することとを行うための実行可能命令でプログラムされる、プロセッサとを備える、ウェアラブルデバイス。

第４８の側面では、複数のステムトラックのステムトラックは、異なる楽器またはボーカルトラックと関連付けられる、側面４７に記載のウェアラブルデバイス。

第４９の側面では、複数のステムトラックの少なくとも１つのステムトラックは、ステムトラックの空間場所および空間指向性と関連付けられた情報を含む、側面４７－４８のうちのいずれか１つに記載のウェアラブルデバイス。

第５０の側面では、センサは、ジャイロスコープ、加速度計、慣性測定ユニット、眼追跡カメラ、またはユーザの環境を撮像するように構成されるカメラのうちの少なくとも１つを備える、側面４７－４９のうちのいずれか１つに記載のウェアラブルデバイス。

第５１の側面では、姿勢は、頭部姿勢、眼姿勢、身体姿勢、または手のジェスチャのうちの少なくとも１つを備える、側面４７－５０のうちのいずれか１つに記載のウェアラブルデバイス。

第５２の側面では、可視化は、複数のステムトラックの個別のステムトラックと関連付けられた視覚的グラフィックを備える、側面４７－５１のうちのいずれか１つに記載のウェアラブルデバイス。

第５３の側面では、視覚的グラフィックは、ステムトラックの演奏と関連付けられた楽器または人物のグラフィカル表現を備える、側面５２に記載のウェアラブルデバイス。

第５４の側面では、視覚的グラフィックの少なくとも一部は、ユーザに対して異なる深度平面において提示される、側面５２に記載のウェアラブルデバイス。

第５５の側面では、ウェアラブルデバイスは、ユーザの環境内の物理的オブジェクトを認識し、複数のステムトラックのうちのステムトラックのグラフィカル表現を物理的オブジェクトと関連付けられているように提示するように構成される、側面４７－５４のうちのいずれか１つに記載のウェアラブルデバイス。

第５６の側面では、ウェアラブルデバイスは、ユーザ入力デバイスから入力を受信するように構成され、プロセッサは、少なくとも部分的に、入力に基づいて、オーディオミックスまたは可視化を生成するように構成される、側面４７－５５のうちのいずれか１つに記載のウェアラブルデバイス。

第５７の側面では、オーディオファイルと相互作用するための方法であって、該方法は、ハードウェアコンピュータプロセッサと、ウェアラブルデバイスのユーザの姿勢と関連付けられた情報を測定するように構成される、センサと、画像をウェアラブルデバイスのユーザの眼に提示するように構成される、ディスプレイと、音をウェアラブルデバイスのユーザに提示するように構成される、スピーカとを備える、ウェアラブルデバイスの制御下で、オーディオファイルと関連付けられた複数のステムトラックにアクセスするステップと、複数のステムトラックの可視化を生成するステップと、ユーザの姿勢を検出するステップと、少なくとも部分的に、ユーザの姿勢に基づいて、オーディオファイルの複数のステムトラックのうちの少なくとも１つのオーディオミックスを生成するステップと、少なくとも、ユーザの姿勢またはオーディオミックスのうちの１つに基づいて、複数のステムトラックの可視化を更新するステップと、オーディオミックスを表すオーディオ信号をスピーカに通信するステップと、オーディオミックスの可視化を表す視覚的信号をディスプレイに通信するステップと、を含む、方法。

第５８の側面では、複数のステムトラックのステムトラックは、異なる楽器またはボーカルトラックと関連付けられる、側面５７に記載の方法。

第５９の側面では、複数のステムトラックの少なくとも１つのステムトラックは、ステムトラックの空間場所および空間指向性と関連付けられた情報を含む、側面５７－５８のうちのいずれか１つに記載の方法。

第６０の側面では、可視化は、複数のステムトラックの個別のステムトラックに対応する視覚的グラフィックを含む、側面５７－５９のうちのいずれか１つに記載の方法。

第６１の側面では、視覚的グラフィックは、個別のステムトラックと関連付けられた楽器または個別のステムトラックと関連付けられた楽器を演奏する人物を含む、側面６０に記載の方法。

第６２の側面では、視覚的グラフィックの少なくとも一部は、ユーザに対して異なる深度平面において提示される、側面６０に記載の方法。

第６３の側面では、姿勢は、頭部姿勢、眼姿勢、身体姿勢、または手のジェスチャのうちの少なくとも１つを備える、側面５７－６２のうちのいずれか１つに記載の方法。

第６４の側面では、可視化を更新するステップは、複数のステムトラックのステムトラックと関連付けられた視覚的グラフィックを強調または強調解除するステップを含む、側面５７－６３のうちのいずれか１つに記載の方法。

第６５の側面では、複数のステムトラックのうちのステムトラックの選択を受信するステップと、ステムトラックを修正するためのインジケーションを受信するステップであって、インジケーションは、ユーザの姿勢の変化またはユーザ入力デバイスからの入力を含む、ステップと、少なくとも部分的に、インジケーションに基づいて、ステムトラックを修正するステップとをさらに含む、側面５７－６４のうちのいずれか１つに記載の方法。

第６６の側面では、ステムトラックを修正するステップは、音量を調節するステップと、ステムトラックと別のステムトラックを置換するステップと、ステムトラックを消音するステップと、複数のステムトラックの他のステムトラックよりステムトラックを強調するステップとのうちの少なくとも１つを含む、側面６５に記載の方法。
（結論）

本明細書に説明される、および／または添付される図に描写されるプロセス、方法、およびアルゴリズムはそれぞれ、具体的かつ特定のコンピュータ命令を実行するように構成される、１つまたはそれを上回る物理的コンピューティングシステム、ハードウェアコンピュータプロセッサ、特定用途向け回路、および／または電子ハードウェアによって実行される、コードモジュールにおいて具現化され、それによって完全または部分的に自動化され得る。例えば、コンピューティングシステムは、具体的コンピュータ命令とともにプログラムされた汎用コンピュータ（例えば、サーバ）または専用コンピュータ、専用回路等を含むことができる。コードモジュールは、実行可能プログラムにコンパイルおよびリンクされる、動的リンクライブラリ内にインストールされ得る、または解釈されるプログラミング言語において書き込まれ得る。いくつかの実装では、特定の動作および方法が、所与の機能に特有の回路によって実施され得る。

さらに、本開示の機能性のある実装は、十分に数学的、コンピュータ的、または技術的に複雑であるため、（適切な特殊化された実行可能命令を利用する）特定用途向けハードウェアまたは１つまたはそれを上回る物理的コンピューティングデバイスは、例えば、関与する計算の量または複雑性に起因して、または結果を実質的にリアルタイムで提供するために、機能性を実施する必要があり得る。例えば、ビデオは、多くのフレームを含み、各フレームは、数百万のピクセルを有し得、具体的にプログラムされたコンピュータハードウェアは、商業的に妥当な時間量において所望の画像処理タスクまたは用途を提供するようにビデオデータを処理する必要がある。

コードモジュールまたは任意のタイプのデータは、ハードドライブ、ソリッドステートメモリ、ランダムアクセスメモリ（ＲＡＭ）、読取専用メモリ（ＲＯＭ）、光学ディスク、揮発性または不揮発性記憶装置、同一物の組み合わせ、および／または同等物を含む、物理的コンピュータ記憶装置等の任意のタイプの非一過性コンピュータ可読媒体上に記憶され得る。本方法およびモジュール（またはデータ）はまた、無線ベースおよび有線／ケーブルベースの媒体を含む、種々のコンピュータ可読伝送媒体上で生成されたデータ信号として（例えば、搬送波または他のアナログまたはデジタル伝搬信号の一部として）伝送され得、種々の形態（例えば、単一または多重化アナログ信号の一部として、または複数の離散デジタルパケットまたはフレームとして）をとり得る。開示されるプロセスまたはプロセスステップの結果は、任意のタイプの非一過性有形コンピュータ記憶装置内に持続的または別様に記憶され得る、またはコンピュータ可読伝送媒体を介して通信され得る。

本明細書に説明される、および／または添付される図に描写されるフロー図における任意のプロセス、ブロック、状態、ステップ、または機能性は、プロセスにおいて具体的機能（例えば、論理または算術）またはステップを実装するための１つまたはそれを上回る実行可能命令を含む、コードモジュール、セグメント、またはコードの一部を潜在的に表すものとして理解されたい。種々のプロセス、ブロック、状態、ステップ、または機能性は、組み合わせられる、再配列される、追加される、削除される、修正される、または別様に本明細書に提供される例証的実施例から変更されることができる。いくつかの実施形態では、付加的または異なるコンピューティングシステムまたはコードモジュールが、本明細書に説明される機能性のいくつかまたは全てを実施し得る。本明細書に説明される方法およびプロセスはまた、任意の特定のシーケンスに限定されず、それに関連するブロック、ステップ、または状態は、適切な他のシーケンスで、例えば、連続して、並行に、またはある他の様式で実施されることができる。タスクまたはイベントが、開示される例示的実施形態に追加される、またはそれから除去され得る。さらに、本明細書に説明される実装における種々のシステムコンポーネントの分離は、例証を目的とし、全ての実装においてそのような分離を要求するものとして理解されるべきではない。説明されるプログラムコンポーネント、方法、およびシステムは、概して、単一のコンピュータ製品においてともに統合される、または複数のコンピュータ製品にパッケージ化され得ることを理解されたい。多くの実装変形例が、可能である。

本プロセス、方法、およびシステムは、ネットワーク（または分散）コンピューティング環境において実装され得る。ネットワーク環境は、企業全体コンピュータネットワーク、イントラネット、ローカルエリアネットワーク（ＬＡＮ）、広域ネットワーク（ＷＡＮ）、パーソナルエリアネットワーク（ＰＡＮ）、クラウドコンピューティングネットワーク、クラウドソースコンピューティングネットワーク、インターネット、およびワールドワイドウェブを含む。ネットワークは、有線または無線ネットワークまたは任意の他のタイプの通信ネットワークであり得る。

本開示のシステムおよび方法は、それぞれ、いくつかの革新的側面を有し、そのうちのいかなるものも、本明細書に開示される望ましい属性に単独で関与しない、またはそのために要求されない。上記に説明される種々の特徴およびプロセスは、相互に独立して使用され得る、または種々の方法で組み合わせられ得る。全ての可能な組み合わせおよび副次的組み合わせが、本開示の範囲内に該当することが意図される。本開示に説明される実装の種々の修正が、当業者に容易に明白であり得、本明細書に定義される一般原理は、本開示の精神または範囲から逸脱することなく、他の実装に適用され得る。したがって、請求項は、本明細書に示される実装に限定されることを意図されず、本明細書に開示される本開示、原理、および新規の特徴と一貫する最も広い範囲を与えられるべきである。

別個の実装の文脈において本明細書に説明されるある特徴はまた、単一の実装における組み合わせにおいて実装されることができる。逆に、単一の実装の文脈において説明される種々の特徴もまた、複数の実装において別個に、または任意の好適な副次的組み合わせにおいて実装されることができる。さらに、特徴がある組み合わせにおいて作用するものとして上記に説明され、さらに、そのようなものとして最初に請求され得るが、請求される組み合わせからの１つまたはそれを上回る特徴は、いくつかの場合では、組み合わせから削除されることができ、請求される組み合わせは、副次的組み合わせまたは副次的組み合わせの変形例を対象とし得る。いかなる単一の特徴または特徴のグループも、あらゆる実施形態に必要または必須ではない。

とりわけ、「～できる（ｃａｎ）」、「～し得る（ｃｏｕｌｄ）」、「～し得る（ｍｉｇｈｔ）」、「～し得る（ｍａｙ）」、「例えば（ｅ．ｇ．，）」、および同等物等、本明細書で使用される条件文は、別様に具体的に記載されない限り、または使用されるような文脈内で別様に理解されない限り、概して、ある実施形態がある特徴、要素、および／またはステップを含む一方、他の実施形態がそれらを含まないことを伝えることが意図される。したがって、そのような条件文は、概して、特徴、要素、および／またはステップが、１つまたはそれを上回る実施形態に対していかようにも要求されること、または１つまたはそれを上回る実施形態が、著者の入力または促しの有無を問わず、これらの特徴、要素、および／またはステップが任意の特定の実施形態において含まれる、または実施されるべきかどうかを決定するための論理を必然的に含むことを示唆することを意図されない。用語「～を備える」、「～を含む」、「～を有する」、および同等物は、同義語であり、非限定的方式で包括的に使用され、付加的要素、特徴、行為、動作等を除外しない。また、用語「または」は、その包括的意味において使用され（およびその排他的意味において使用されず）、したがって、例えば、要素のリストを接続するために使用されると、用語「または」は、リスト内の要素のうちの１つ、いくつか、または全てを意味する。加えて、本願および添付される請求項で使用されるような冠詞「ａ」、「ａｎ」、および「ｔｈｅ」は、別様に規定されない限り、「１つまたはそれを上回る」または「少なくとも１つ」を意味するように解釈されるべきである。

本明細書で使用されるように、項目のリスト「のうちの少なくとも１つ」を指す語句は、単一の要素を含む、それらの項目の任意の組み合わせを指す。ある実施例として、「Ａ、Ｂ、またはＣのうちの少なくとも１つ」は、Ａ、Ｂ、Ｃ、ＡおよびＢ、ＡおよびＣ、ＢおよびＣ、およびＡ、Ｂ、およびＣを網羅することが意図される。語句「Ｘ、Ｙ、およびＺのうちの少なくとも１つ」等の接続文は、別様に具体的に記載されない限り、概して、項目、用語等がＸ、Ｙ、またはＺのうちの少なくとも１つであり得ることを伝えるために使用されるような文脈で別様に理解される。したがって、そのような接続文は、概して、ある実施形態が、Ｘのうちの少なくとも１つ、Ｙのうちの少なくとも１つ、およびＺのうちの少なくとも１つが、それぞれ存在するように要求することを示唆することを意図されない。

同様に、動作は、特定の順序で図面に描写され得るが、これは、望ましい結果を達成するために、そのような動作が示される特定の順序で、または連続的順序で実施されること、または全ての図示される動作が実施されることは必要ないと認識されるべきである。さらに、図面は、フローチャートの形態で１つまたはそれを上回る例示的プロセスを図式的に描写し得る。しかしながら、描写されない他の動作も、図式的に図示される例示的方法およびプロセス内に組み込まれることができる。例えば、１つまたはそれを上回る付加的動作が、図示される動作のいずれかの前に、その後に、それと同時に、またはその間に実施されることができる。加えて、動作は、他の実装において再配列される、または再順序付けられ得る。ある状況では、マルチタスクおよび並列処理が、有利であり得る。さらに、上記に説明される実装における種々のシステムコンポーネントの分離は、全ての実装におけるそのような分離を要求するものとして理解されるべきではなく、説明されるプログラムコンポーネントおよびシステムは、概して、単一のソフトウェア製品においてともに統合される、または複数のソフトウェア製品にパッケージ化され得ることを理解されたい。加えて、他の実装も、以下の請求項の範囲内である。いくつかの場合では、請求項に列挙されるアクションは、異なる順序で実施され、依然として、望ましい結果を達成することができる。

Claims (25)

1. 拡張現実オブジェクトと相互作用するための方法であって、前記方法は、
   ハードウェアコンピュータプロセッサの制御下で、
   ウェアラブルディスプレイシステムの装着者による相互作用のための拡張現実オブジェクトを生成することであって、前記拡張現実オブジェクトは、前記拡張現実オブジェクトと関連付けられる特性の修正のためのインターフェースを含み、前記ウェアラブルディスプレイシステムのディスプレイ上に表示され、前記拡張現実オブジェクトは、複数のステムトラックのうちの少なくとも１つを備えるオーディオファイルと関連付けられる、ことと、
   複数の可聴領域を参照して３次元（３Ｄ）環境において前記装着者の姿勢を判定することであって、前記可聴領域のそれぞれは、前記装着者が、前記ウェアラブルディスプレイシステムのスピーカを通して前記オーディオファイルの前記複数のステムトラックのうちの１つ以上を知覚することができる、前記３Ｄ環境の一部を備える、ことと、
   前記装着者の前記判定された姿勢に対応する可聴領域を選択することと、
   前記装着者が前記インターフェースと相互作用する間に前記装着者のジェスチャを検出することと、
   前記検出されたジェスチャを、前記選択された可聴領域内に提示された前記拡張現実オブジェクトの特性への修正と関連付けることと、
   前記拡張現実オブジェクトの前記特性への前記修正にしたがって前記拡張現実オブジェクトを修正することと、
   前記修正された拡張現実オブジェクトおよび前記選択された可聴領域と関連付けられる前記複数のステムトラックのうちの少なくとも１つを備える視聴覚データを提示することであって、前記ウェアラブルディスプレイシステムの少なくとも前記スピーカを介して前記複数のステムトラックのうちの前記少なくとも１つを再生することを含む、ことと
   を実行することを含む、方法。
2. 前記装着者が前記インターフェースと相互作用する間に前記装着者の前記ジェスチャを検出することは、
   前記ウェアラブルディスプレイシステムの外向きに面した画像捕捉デバイスを用いて、前記装着者の手の第１の画像を捕捉することと、
   前記ウェアラブルディスプレイシステムの前記外向きに面した画像捕捉デバイスを用いて、前記装着者の手の第２の画像を捕捉することと、
   前記第１の画像および前記第２の画像を比較して、前記装着者のジェスチャを検出することと
   を含む、請求項１に記載の方法。
3. 前記拡張現実オブジェクトの前記インターフェースは、前記拡張現実オブジェクトのスキュアモーフィック表現に対応する、請求項１に記載の方法。
4. 前記拡張現実オブジェクトは、楽器または楽器を演奏している人物に対応する、請求項１に記載の方法。
5. 前記検出されたジェスチャを前記楽器または前記楽器を演奏している前記人物への前記修正と関連付けることは、前記楽器と相互作用する前記装着者の手または指の移動を検出し、前記楽器と関連付けられるステムトラックの属性を修正することを含む、請求項４に記載の方法。
6. 前記検出されたジェスチャを前記楽器または前記楽器を演奏している前記人物への前記修正と関連付けることは、前記楽器と相互作用する前記装着者の手または指の移動を検出し、前記楽器と関連付けられる新しいステムトラックを生成することを含む、請求項４に記載の方法。
7. 前記拡張現実オブジェクトは、複数の表面を備える３次元仮想オブジェクトであり、各表面は、前記複数のステムトラックのうちのあるステムトラックと関連付けられる、請求項１に記載の方法。
8. 前記装着者の前記ジェスチャに応答して、前記複数のステムトラックを使用して、音コラージュ効果を生成することをさらに含む、請求項７に記載の方法。
9. 前記楽器と関連付けられる前記ステムトラックは、前記ウェアラブルディスプレイシステムに結合されたオーディオシステムによって再生されている複数のステムトラックのうちの１つである、請求項５に記載の方法。
10. 前記複数のステムトラックのうちの少なくとも１つは、ユーザ生成ステムトラックによって置換されるオリジナルステムトラックである、請求項１に記載の方法。
11. 付加的拡張現実オブジェクトは、前記付加的拡張現実オブジェクトによって表される、対応するステムトラックの変更のために、前記装着者の頭部ジェスチャを用いて選択される、請求項１に記載の方法。
12. 前記複数のステムトラックのうちの少なくとも１つは、前記ステムトラックの指向性と関連付けられる情報を備える、請求項１に記載の方法。
13. 前記複数のステムトラックのうちの少なくとも１つは、前記装着者に対する空間場所と関連付けられる、請求項１に記載の方法。
14. 少なくとも部分的に前記装着者の前記ジェスチャに基づいて、前記複数のステムトラックのうちの前記少なくとも１つと関連付けられる前記空間場所をロックすることをさらに含む、請求項１３に記載の方法。
15. 前記オーディオファイルは、前記複数のステムトラック、所与の時間における前記複数のステムトラックと関連付けられる位置データ、または前記複数のステムトラックの可視化に関する情報のうちの少なくとも１つを示すメタデータを備える、オーディオフォーマットでエンコードされる、請求項１に記載の方法。
16. ウェアラブルデバイスであって、
    複数のステムトラックを備えるオーディオファイルを記憶するように構成された非一過性メモリであって、各ステムトラックは、前記オーディオファイルの異なるオーディオコンテンツを表す、非一過性メモリと、
    前記ウェアラブルデバイスのユーザの姿勢と関連付けられる情報を測定するように構成されたセンサと、
    画像を前記ウェアラブルデバイスの前記ユーザの眼に提示するように構成されたディスプレイと、
    音を前記ウェアラブルデバイスの前記ユーザに提示するように構成されたスピーカと、
    前記非一過性メモリ、前記センサ、前記スピーカ、および前記ディスプレイと通信するプロセッサと
    を備え、
    前記プロセッサは、
    前記ウェアラブルデバイスの前記ユーザによる相互作用のための拡張現実オブジェクトを生成することであって、前記拡張現実オブジェクトは、前記拡張現実オブジェクトと関連付けられる特性の修正のためのインターフェースを含み、前記ディスプレイを通して提示され、前記拡張現実オブジェクトは、前記複数のステムトラックのうちの少なくとも１つを備える前記オーディオファイルと関連付けられる、ことと、
    複数の可聴領域を参照して３次元（３Ｄ）環境において装着者の姿勢を判定することであって、前記可聴領域のそれぞれは、前記装着者が、ウェアラブルディスプレイシステムのスピーカを通して前記オーディオファイルの前記複数のステムトラックのうちの１つ以上を知覚することができる、前記３Ｄ環境の一部を備える、ことと、
    前記装着者の前記判定された姿勢に対応する可聴領域を選択することと、
    前記ユーザが前記インターフェースと相互作用する間に前記ユーザのジェスチャを検出することと、
    前記検出されたジェスチャを、前記選択された可聴領域内に提示された前記拡張現実オブジェクトの特性への修正と関連付けることと、
    前記拡張現実オブジェクトの前記特性への前記修正にしたがって前記拡張現実オブジェクトを修正することと、
    前記修正された拡張現実オブジェクトおよび前記選択された可聴領域と関連付けられる前記複数のステムトラックのうちの少なくとも１つを備える視聴覚データを提示することであって、前記ウェアラブルディスプレイシステムの少なくとも前記スピーカを介して前記複数のステムトラックのうちの前記少なくとも１つを再生することを含む、ことと
    を行うための実行可能命令を用いてプログラムされている、ウェアラブルデバイス。
17. 前記装着者が前記インターフェースと相互作用する間に前記装着者の前記ジェスチャを検出するために、前記ウェアラブルデバイスは、
    前記ウェアラブルディスプレイシステムの外向きに面した画像捕捉デバイスを用いて、前記装着者の手の第１の画像を捕捉することと、
    前記ウェアラブルディスプレイシステムの前記外向きに面した画像捕捉デバイスを用いて、前記装着者の手の第２の画像を捕捉することと、
    前記第１の画像および前記第２の画像を比較して、前記装着者のジェスチャを検出することと
    を行うように構成されている、請求項１６に記載のウェアラブルデバイス。
18. 前記拡張現実オブジェクトは、楽器または楽器を演奏している人物に対応する、請求項１６に記載のウェアラブルデバイス。
19. 前記検出されたジェスチャを前記楽器または前記楽器を演奏している前記人物への前記修正と関連付けるために、前記プロセッサは、前記楽器と相互作用する前記装着者の手または指の移動を検出し、前記楽器と関連付けられるステムトラックの属性を修正するように構成されている、請求項１８に記載のウェアラブルデバイス。
20. 前記検出されたジェスチャを前記楽器または前記楽器を演奏している前記人物への前記修正と関連付けるために、前記プロセッサは、前記楽器と相互作用する前記装着者の手または指の移動を検出し、前記楽器と関連付けられる新しいステムトラックを生成するように構成されている、請求項１８に記載のウェアラブルデバイス。
21. 前記楽器と関連付けられる前記ステムトラックは、前記ウェアラブルディスプレイシステムに結合されたオーディオシステムによって再生されている複数のステムトラックのうちの１つである、請求項１９に記載の方法。
22. 前記複数のステムトラックのうちの少なくとも１つは、ユーザ生成ステムトラックによって置換されるオリジナルステムトラックである、請求項１６に記載のウェアラブルデバイス。
23. 付加的拡張現実オブジェクトは、前記付加的拡張現実オブジェクトによって表される、対応するステムトラックの変更のために、前記装着者の頭部ジェスチャを用いて選択される、請求項１６に記載のウェアラブルデバイス。
24. 前記プロセッサは、少なくとも部分的に前記装着者の前記ジェスチャに基づいて、前記複数のステムトラックのうちの前記少なくとも１つと関連付けられる空間場所をロックするように構成されている、請求項１６に記載のウェアラブルデバイス。
25. 前記オーディオファイルは、前記複数のステムトラック、所与の時間における前記複数のステムトラックと関連付けられる位置データ、または前記複数のステムトラックの可視化に関する情報のうちの少なくとも１つを示すメタデータを備える、オーディオフォーマットでエンコードされる、請求項１６に記載のウェアラブルデバイス。

Images