JP7599591B2 - 空中触覚システムと人との相互作用 - Google Patents

Description

関連出願
本出願は以下の２つの米国仮特許出願の利益を主張するものであり、それらのすべては、全体を参照することにより本明細書に組み込まれる。

１）Ｎｏ．６２／６０９，６２１、出願日：２０１７年１２月２２日

２）Ｎｏ．６２／６５５，７９５、出願日：２０１８年４月１０日

本開示は一般に、音響的に駆動される空中触覚システムと人との相互作用に関する。

「音響場（acoustic field）」という音エネルギーの連続分布は、空中における触覚フィードバック（haptic feedback）を含む一連の用途に使用することができる。

この音響場では、１つ以上の制御点を画定することができる。これらの制御点は、信号で振幅変調され、その結果、空中で振動触覚フィードバック（vibrotactile feedback）を生成することができる。フィードバックを生成する別の方法は、振幅で変調されていない制御点を生成し、それらを空間的に動かすことにより、感じることができる時空間変調（spatio-temporal modulation）を生成することである。

十分な作動表面領域により、空中触覚技術をスケールアップすることができる。作動させることができる空間の領域に向かうのではなく、ユーザが占有するローカル空間のすべてに、空中触覚効果をオンデマンドでもたらすことができる。このシナリオでは、触覚効果に関する既存の知識の多くは適用できない。このシナリオにおいてヒューマンマシンインターフェースを生成するための実行可能なアプローチには、価値がある。

さらに、モバイル技術が、拡張現実、仮想現実および複合現実のヘッドマウントディスプレイに向かって進歩するにつれて、携帯電話およびタブレットの技術空間のために開発されたジェスチャおよびプロダクティビティに関連する確立されたハプティクス（haptics）を継続する方法は存在しない。また、電話またはタブレットの主要な機能がヘッドマウントデバイスへ移行されると、標準、機械的に結合された触覚を生成することができる携帯用デバイス（handheld device）は存在しないだろう。グラフィックスは、（おそらく手または身体に保持されている）空中の仮想デバイスに表示／投影することができるが、触覚グローブまたは触覚アームバンド等の周辺デバイス無しで、手や身体におけるデバイスの必要性を排除する触覚感覚（haptic sensations）を供給するための良好な方法は存在しない。

これらのジェスチャは、タイムリーな視覚および触覚フィードバックを提供するために、迅速、効率的な方法で認識される必要がある。カメラ技術は、広範囲に採用されているが、キャプチャレートが制限され、広範なコンピューティングを必要とし、多くの場合、高レイテンシである。ウェアラブルは不便であり、嵩張ることがある。ウェアラブル超音波アレイは、独立したまたは補助的な手の追跡を提供するために使用することができる高速信号を提供することができる。

（任意の部分がインタラクティブ触覚フィードバックで強化され得る）ボリューム（volume）において触覚システムと相互作用することは、未知である。本出願では、常時動作ソリューション（‘always on’ solution）およびその結果（implications）を達成するためのいくつかの異なるストラテジーが説明される。

さらに、複数の超音波トランスデューサアレイは、人（例えば、その人のヘッドマウントディスプレイまたは他のウェアラブルアクセサリ）に設けられてもよい。この各アレイは、ユーザの身体および手の両方について、６自由度追跡（6 degree of freedom tracking）のいくつかの形態を利用するだろう。この追跡データを使用して、それらのアレイは、接触感覚がシミュレートされるように、動いている手の特定の位置に焦点を合わせた音響圧を付与するように組み合せられてもよい。タブレットまたは電話のように手のひらを握る人は、物理的デバイスを保持して同一のジェスチャおよび相互作用をしている人と同様に、触覚を体感することができるだろう。ウェアラブルマイクロフォンを使用すると、身体へ反射および送信された超音波信号を、手およびジェスチャの追跡に使用することができる。

添付の図面では、同様の参照番号が、以下の詳細な説明とともに、各図面を通して同一または機能的に同様のエレメントを指す。図面は、本明細書に組み込まれ、本明細書の一部をなし、特許請求の範囲の発明を含む概念の実施形態をさらに例示し、それらの実施形態の様々な原理および利点を説明するのに役立つ。

図１は、携帯用デバイスの保持を示す。

図２は、空中触覚でエミュレートするための携帯用ジェスチャ（handheld gestures）の例を示す。

図３は、触覚を伴う手ベースの相互作用を示す。

図４は、触覚を伴わない手ベースの相互作用を示す。

図５Ａおよび図５Ｂは、指のジェスチャを測定するための両手の構成を示す。

図６は、手のひらでの指の追跡を示す。

図７は、手のひらを閉じたジェスチャを示す。

当業者は、図中のエレメントが簡潔性および明瞭性のために示されており、必ずしも一定の縮尺で描かれていないことを理解するであろう。例えば、図中のいくつかのエレメントの寸法は、本発明の実施形態の理解を促進するために、他のエレメントに対して誇張されている場合がある。

装置および方法のコンポーネントは、適切な場合には、図面において従来の記号により表されている。そして、本明細書の説明の利益を有する当業者には容易に明らかになる詳細によって本開示を不明瞭にしないように、本発明の実施形態を理解することに関係する特定の詳細のみを示す。

詳細な説明

Ｉ． ユビキタス空中触覚フィードバック

Ａ． 制御のアサート

触覚により作動し得る空間内のユーザがマシンへの接続を要求する時、ユーザは、特定のジェスチャを実行し、マシンがジェスチャコマンドに「従う」ようにしなければならない。このジェスチャは、サービスへユーザがアクセスするゲートウェイを提供するために必要であり、ユーザによってカスタマイズされ得る。このジェスチャは各ユーザに固有であってもよく、どのユーザが相互作用しているかをマシンに示すことができ、ユーザの好みに応じて動作する。これが達成されると、空中触覚効果の形での「準備完了」信号が手に送信され、システムがジェスチャ制御モードになったことを通知する。この空中触覚効果は、各ユーザによって設定され、再割り当てされてもよい。マシンとのさらなる相互作用が、手のジェスチャを使用して行われてもよい。より正確なコマンドが得られる別のデバイスに制御を移行するようにジェスチャが使用されてもよく、その場合、「準備完了」信号は、システムがジェスチャ制御モードから外れるので、オフになる。

ジェスチャ制御モードでは、コマンドに対応するアクションを実行するためにユーザが消費する必要がある認知帯域幅（cognitive bandwidth）およびエネルギー量をシステムが削減できるように、各ユーザは、特定のデバイスにジェスチャを「固定(pin)」できるべきである。空間の所定のボリュームは、近くのオブジェクトに結合されてもよい。パッシブオブジェクトの場合、これにより、システムは、オブジェクトの配置を間違えたユーザに位置情報サービスおよび触覚を提供して、アイテムをどのように使用するのが最善であるか、または単に、目を使わない方法でオブジェクトのヒントをユーザに教えることができる。サードパーティの電子デバイスおよびシステムのような、システムと積極的に関わっているオブジェクトの場合、これらは、ユーザとの間で情報およびイベントを送受信するために、これらに付随し、かつ関連付けられた触覚効果を有することができる。これらの空中触覚効果は、各ユーザによって、設定可能であってもよく、再割り当てされてもよい。各デバイスは「固定された」相互作用を有することができ、ここで、各コマンドは、ジェスチャと、タスクをキャプチャするジェスチャに関連付けられた空中触覚とを有する。このタスクは、所与のサードパーティシステムまたはデバイスに関連する最も一般的なタスクを考慮することによって、決定され、認知的に軽いジェスチャへ自動的に対応付けられてもよい。これは、ハフマンコード（Huffman code）に類似し、タスクおよびジェスチャ間の対応付け（mapping）を自動的に構築するものと見なすことができる。ハフマンコードでは、一般的なタスクには単純なジェスチャが割り当てられる一方、稀なタスクにはより複雑なジェスチャが割り当てられる。

選択ジェスチャがユーザによって実行されてもよく、これにより、特定のデバイスまたはアプライアンスに対する制御をアサートすることができる。このジェスチャは、ポインティングのようなリモート選択形式、または問題のアプリケーション、デバイス、またはアプライアンスに結び付けられた領域またはボリュームをジェスチャで選択する別の方法を含むことができる。選択を認識すると、触覚応答が引き出され、その結果、ユーザは、選択が行われたことに気付く。これは、触覚効果の差によって、他の近くの「アクティブ」領域と区別されてもよい。近くの領域が非アクティブである場合、そこに触覚効果がなくてもよく、またはジェスチャ入力を受け入れるためにマシンの準備ができたことに対応する一般的なアクティブ効果があってもよい。

Ｂ． イベント通知

さらに、ユーザが空間内に含まれる場合、空中触覚フィードバックを使用して、イベント通知を生成することができる。これらは、異なる空中触覚効果を使用して異なる情報を伝えるように構成されてもよい。空中触覚効果に対する周期的に調節された変調を使用して、「アラーム」通知を生成することができる。警告を伝える空中触覚通知は、一定期間の後または他の条件が満たされた場合に、他の感覚モダリティ（sensory modalities）に割り込んでもよい。イベント通知は、識別および認証された個別のユーザに控えめな方法でのみ適用できるように、または空間内のすべての人に送信するように、ユーザによって設定され得る。

イベント通知が発生した後、「却下（dismiss）」ジェスチャを使用して、イベント通知を却下することができる。空中触覚システムによって伝えられるイベントは、介入なしに停止するように、またはこの方法もしくは別の方法で明示的に却下されるまで継続するように構成されてもよい。却下アクションは、例えば、何らかの変更通知に起因して、空間内のすべてのユーザの却下を要求するように構成されてもよく、または、単一のユーザのアクションで満されてもよい。単一のユーザの場合、通知はアクションの要求であってもよい。これにより、却下が、「承諾」ジェスチャを有し、却下の発生前にユーザのさらなる行動を要求する新しいイベント通知、別の感覚モダリティへの移行、別のシステムの作動、またはさらなるイベントの計画のいずれかのモードへ変化してもよい。「却下」アクションは、タイマーアラーム通知の場合のように、後の時間まで、空中触覚イベント通知の延期を提供するように構成されてもよい。このような通知システムは、純粋に触覚刺激によるコミュニケーションに限定されない。システムを介したパラメトリックオーディオの適用を含むさらなる感覚が、ユーザが気付き、応答する状態になることをさらに増強および刺激するように使用されてもよい。

Ｃ． 外部の影響

触覚が作動され得る空間内にユーザが含まれる場合、空中触覚フィードバックが、外部変数（external variables）の状態を伝えるように使用されてもよい。触覚フィードバックパターンを生成する関数への入力として外部変数を使用して触覚効果を修正することによって、ユーザは、例えば、フロントドアがロックされているかどうか、洗浄サイクルの残り時間、または製品の価格を特定することができる。

これは、そのような変数をパラメータとして取り込む触覚テンプレートの形式で設計されてもよい。これらの変数の種類には、ブール変数、オプションセットのメンバー、および実際の値が含まれる（ただし、これらに限定されない）。各テンプレートは、これらの変数の１つ以上に基づき、変数の範囲にわたって変化するフィードバックを生成してもよい。これらのテンプレートが入力値を解釈する方法は、ユーザによって修正され、デバイスのカスタマイズを可能にしてもよい。テンプレートは、手全体、手のひら表面、任意の指の骨もしくは指の表面またはこれらの組合せに対し、触覚が「固定された」位置に対して、グローバルであり得る座標空間において画定され、手の形状に合うようにテンプレートのワーピング（warping）を促進することができる。

触覚フィードバックは、フィードバックを最適化する目的で、環境要因によって修正されてもよい。例えば、温度および湿度のために音速が増加すると、触覚点（haptic point）は、デバイスから離れるにつれて増加する。これは、移動する波長の数が同じであるので、波長が長くなるためである。デバイスからの相対距離を波長で修正することによって、触覚点は、一定の測定可能な距離に正規化されてもよい。同様に、温度は人の手の感度に影響を及ぼす。フィードバックの強度を修正することによって、低温の麻痺効果を打ち消すことができる。

Ｄ． 追加開示

これらの実施形態のさらなる説明は以下を含む。
（１） 音エネルギーの分布を含み、複数のトランスデューサによって生成される音響場と、
ヒューマンジェスチャを追跡するための追跡システムと、
触覚の使用を含む、モニタリングモードおよびアクションモードを有する制御システムと、
を含むヒューマンマシンインターフェースを含み、
追跡システムが予め特定されたヒューマンジェスチャを検出すると、制御システムは、モニタリングモードからアクションモードへ切り替わることを特徴とするシステム。
（２） 予め特定されたヒューマンジェスチャは、ヒューマンマシンインターフェースのユーザによって画定される上記（１）のシステム。
（３） 追跡システムが予め特定されたヒューマンジェスチャを検出すると、音響場は、ヒューマンマシンインターフェースのユーザによって知覚可能な予め特定された触覚効果を生成する上記（１）のシステム。
（４） 予め特定された触覚効果は、ヒューマンマシンインターフェースのユーザの手に固定される上記（３）のシステム。
（５） 外部イベントが発生すると、制御システムは、音響場をアクションモードに入れ、かつ、ヒューマンマシンインターフェースのユーザによって知覚可能な予め特定された触覚効果を生成する上記（１）のシステム。

ＩＩ． 身体装着型の超音波触覚ソリューション

Ａ． 従来のソリューションの欠点

１． アクチュエータ付きグローブは、衛生上の問題があり、精度が限られている。

２． 固定された位置の空中触覚は、領域の位置が固定された「デスクトップ」体感の限界を有し、触覚相互作用の限定されたゾーンを示す。

３． 圧縮空気渦（「スモークリング」）は、空気中に投入され、距離を置いて感じられる。これらのプロジェクタは、嵩張るマシンデバイスであり、機械式アクチュエータを操縦する必要がある。それらのサイズに加えて、シフト環境（shifting environment）における最大の欠点は、高レイテンシである。渦は、数メートル／秒で空気中を移動するだけである。ユーザは、渦が発生源からユーザへ移動するのにかかる時間内に容易に移動することができる。その結果、これは、予測可能な相互作用を伴う位置が固定された体感（例えば、ゆっくりと動くボールに、ユーザが向かって動く、反応的な相互作用ではないこと）にのみ実際に適している。ユーザに設けられた場合、相互作用はユーザに固定され、触覚位置は０．５秒も前に決定される必要があるので、その効果は妥協的となる。このレイテンシは、最小限の移動のみで、的が外れたまたは意図しないフィードバックをもたらすだろう。ウェアラブル超音波アレイは、音速（３００＋ｍ／ｓ）で移動する触覚を生成し、人の長さスケールでのいかなるレイテンシも実質的に排除する。さらに、トランスデューサの理論上のサイズは、非常に小さく（ｍｍ）、様々なウェアラブル形式ファクタに容易に統合することができる。

４．以下の論文（ｈｔｔｐ：／／ｗｗｗ．ｄａｍｎｇｅｅｋｙ．ｃｏｍ／２０１３／０５／３０／１１５７６／ｖｉｒｔｕａｌ－ｐｒｏｊｅｃｔｉｏｎ－ｋｅｙｂｏａｒｄ－ｔｅｃｈｎｏｌｏｇｙ－ｗｉｔｈ－ｈａｐｔｉｃ－ｆｅｅｄｂａｃｋ－ｏｎ－ｐａｌｍ－ｏｆ－ｙｏｕｒ－ｈａｎｄ．ｈｔｍｌ）は、次のことを述べている。

「３Ｄ投影システムおよびインターフェースは、既に我々の生活の不可欠な部分であるギズモ（gizmos）およびガジェットに含まれる技術の未来になるだろう。３ｄｉｍ Ｔｅｃｈのジェスチャ制御技術と同様に、東京大学の石川正俊教授と篠田裕之教授が率いるデザインチームは、ガジェットに入力を提供するために、手や紙等のランダムな面に、仮想キーボード等のインタラクティブディスプレイを投影するインターフェースシステムを開発した。仮想的に手に投影されたキーボードキーの動作や圧力に対する触覚フィードバックを提供する約２，０００個の超音波エミッタを搭載し、この新しい技術は将来に大きな可能性を持っている。つまり、会社のオフィスや自宅のどこからでも、コンピュータ、スマートフォン、タブレット、その他のガジェットを操作できるということである。商業的なアプリケーションが一般に公開されるのを見るまでにまだ５年はかかるため、この技術は完成してからまだ長い道のりであるが、今のところ十分良く見える。」

この論文は、手のひらに投影されるユーザインターフェースと、触覚フィードバックを提供する固定された超音波アレイとを詳述する。この論文と本明細書に記載されたアプローチとの間の差は以下を含む。

ａ． この論文は、ユーザインターフェースがプロジェクタによって生成されたと述べている。本明細書に記載されるアプローチは、ヘッドマウントディスプレイ（ＡＲまたはＶＲ）によって提供されるグラフィックスを使用することを提案する。

ｂ． この論文からは、投影されるインターフェースがユーザ入力により変化することは明らかではない。本明細書に記載されるアプローチは、そのようなユーザ入力によって動的に変化する（ボタンが変化する、テキストがスクロールする等）。

ｃ． この論文に示されるインターフェースは、「ボタン」ジェスチャのみを提供するように思われる。本明細書に記載されるアプローチは、多種多様な接触ベースのジェスチャに対するフィードバックを提供することを提案する。

ｄ． 本明細書に記載されるアプローチは、必ずしも手のひらに投影されるわけではないスクリーン／インターフェースを制御することを意図したジェスチャに対するフィードバックを提供することを提案する。

ｅ． 本明細書に記載されるアプローチは、このフィードバックを提供するように、使用している追跡情報を更新するウェアラブルアレイを使用する方法を提案する。

ｆ． この論文に示されている超音波デバイスは、一度に１つの焦点しか生成することができない可能性が高い。本明細書に記載されるアプローチは、任意の数および／または完全な音響場を生成し、制御することができる。

ｇ． この論文は、ウェアラブルマイクロフォンを使用して接触を追跡するための手段として超音波を使用することを論じていない。

Ｂ． 身体ベースの触覚デバイス

ここで述べたアプローチは、超音波フェーズドアレイを操作するための堅牢な方法を確立する。音響エネルギーの焦点を合わせることにより、静止したターゲットおよび動いているターゲットに対して、正確で動的な触覚を生成することができる。提案された方法の目的は、移動可能なユーザ、場合によってはヘッドマウントディスプレイを装着しているユーザをターゲットにすることを含むように、この空中触覚能力を拡張することである。固定された位置のアレイに加えて、この方法は、アレイが、ユーザに設けられること、および移動可能なユーザ（mobile users）をターゲットとするための領域内に設けられることも可能にする。身体部分は、リフレクティブかつインタラクティブな触覚面（haptic surfaces）として使用することができる。加えて、身体へ反射および／または送信された音響信号は、応答が早く、正確な手の追跡（動きや、手と手との接触を含む）において利用可能である。

図１は、手１２０によって作動される携帯用デバイス１１０の従来からの縦配向保持の概略図１００を示す。この構成では、片手でスワイプすると、スクリーンのスクロールに応じて、場合によってはスライダの動きに応じて、ＡＲ／ＶＲグラフィックスが更新される。図２は、空中触覚でエミュレートするための代替の携帯用ジェスチャの概略図２００を示す。これらには、スワイプ２０２、タップ２０４、ピンチ２０６、マルチタッチ２０８、２１０、２１２、２１８、チルト２１４、シェイク２１６、およびズーム２２０、２２２が含まれる。

人の手のひら側は、非常に感度が良く、超音波ベースの触覚のための理想的なターゲットである。このように、これらは、インタラクティブなゾーンおよび手段の主要な的である。触覚感覚を可能にするために触覚グローブ等の周辺衣服を必要としないことに加えて、この方法が促進するであろう公共空間における将来のＡＲ相互作用に対する貴重なプライバシーエレメントが存在する。表面の手が特定のジェスチャや探索されているコンテンツタイプを明らかにするのを防ぐ役割を果たしているため、その手に対するジェスチャは、ユーザのプライバシーを保っている。

それでもなお、個人の腕、脚および他の身体部分も、表面および相互作用の手段として考慮されてもよい。例えば、運転中にラジオまたは空調を調整するために、ユーザの脚にいくつかのインターフェースエレメントを投影してもよい。

ユーザに設けられた（例えば、ＨＭＤに組み込まれた若しくは取り付けられた、または、他の装着、追跡された位置アクセサリ（some other worn, tracked location accessory）上の）１つ以上の超音波アレイから、または環境に設けられた固定位置のいずれからでも、触覚は付与され、触覚がアクティブ相互作用ゾーンをターゲットとすることを可能にする。また、環境内のアレイは、移動可能であってもよく、作動するアーム／表面に設けられてもよく、またはドローンまたはロボットで操作されてもよい。

焦点合わせを達成するための一つの鍵は、身体または環境内に設けられた全ての超音波アレイが、それらのトランスデューサのそれぞれの位置および配向を常に把握することである。ＨＭＤは通常、ディスプレイに関連する「フレーム」において～１００Ｈｚで動作する。各フレームに対して、システム内の全ての超音波アレイは、システム内のそれらの位置および所望の焦点位置（手等）の両方について、更新された位置／配向の情報を必要とする。これは、アレイに固定された、またはアレイに対する既知の相対的な位置を伴うＨＭＤ（ＩＲ ＬＥＤ、フィデューシャル、ＳＬＡＭ等）に共通の標準的な光学的方法を用いて行うことができる。あるいは、これは、アレイが既知の相対的な位置に設けられた追跡身体スーツ（tracking body-suits）で行うことができる。適切な触覚を生成するための焦点位置は、（通常５ｋＨｚ＋の）フレーム間時間（inter-frame time）よりも早く更新される必要がある。これは、フレームごとに更新される、事前にプログラムされたルートとして行うことができる。あるいは、アレイは、別のより高速に動作するトラッカに基づいて、焦点位置を更新することができる。

別の構成では、アレイは、アレイコントローラにフィードバックする既知の位置のマイクロフォンピックアップに、音響信号を同時に送ることができる。マイクロフォンで振幅および／または位相の変化を測定することにより、これは、追跡の更新を伴う新しいフレームを待つ間、フレーム間焦点位置調整（inter-frame focus location adjustment）として使用することができる。別の構成では、外部マイクロフォンを使用して、マイクロフォンに正確に向けられた信号ではなく、反射音を測定することができる。最後のフレームからの手の形状、配向および速度の情報を使用して、反射信号と、それが動きに応じてどのように変化するかをモデル化することができる。別の構成では、反射信号は、複数のピックアップマイクロフォンと共に、環境を音響的にイメージすることができ、別個の追跡情報を不要にすることができる。これらの構成のいずれも、送信時間および／またはアレイ位置情報を含むようにコード化された信号を有することができる。

図３および図４は、潜在的な両手の構成と、手のひらがユーザに向いた状態で、ユーザがどのように手を握るかを示している。この内側に向いた手のひらは、「表面の手（surface hand）」と呼ばれるものである。ユーザの他方の手は、「相互作用する手（interacting hand）」と呼ばれ、スワイプ、クリック、およびピンチ等の任意のインターフェースジェスチャを含む両手の相互作用を担う。図３（米国特許出願第２０１５／０２４８７８７号から取得された）は、手のひら３３０または指先３４０を介して表面の手３２０に触れる相互作用する手３１０の触覚ベースの概略図３００を示す。図４（Ｓｉｘｔｈ Ｓｅｎｓｅ ｗｅａｒａｂｌｅ ｇｅｓｔｕｒａｌ ｉｎｔｅｒｆａｃｅから取得された）は、数値パッド４０５が投影される表面の手４０４に接触する相互作用する手４０２の非触覚ベースの概略図４００を示す。手は、トラッカ４０６、４０８、４１０を含み、これにより、投影されたキーボードとの位置を決定し、投影されたキーボードとの相互作用を算出する。

この表面の手は、範囲内または実行可能な角度内の任意の超音波アレイが、ＡＲ／ＶＲ ＨＭＤに示されるグラフィックスと協調して、手に触覚を付与することを可能にする。その結果、ユーザの手に外見的に投影され、相互作用することができるインターフェースが得られる。これは、ユーザによって実行されるジェスチャに対応するように手の表面に付与される触覚を除いて、電話またはタブレットのインターフェースに類似する。

この方法の重要なエレメントの１つとして、触覚が表面の手に向けて適用されているが、必要に応じて相互作用する手に触覚を有効にすることが意図されている。したがって、例えば、ボタンを押すことは、ボタンが内側に押圧されている表面の手の感覚を伴う一方、相互作用を行っている相互作用する手の指先にも触覚が適用される。これらの触覚の一部は、相互作用する手に向けられ、いくつかは、表面の手から反射することまたは跳ねることが意図され、これにより、相互作用に関与する両手の部分（一方の指先および他方の手のひら等）によって体感される。

移動可能な触覚体感において、グラフィックス提示の方法は、関連性がなく、ヘッドセットディスプレイであろうと、身体部分の表面上に投影されようと、手および他の身体部分が追跡され、それらのグラフィックスを固定するように使用されるだけである。また、上記のような触覚やインターフェースは、グラフィックスを機能させる必要がない。グラフィックス提示は、ＡＲヘッドセットまたは他のＡＲ機器によって提供されてもよく、ホログラムを含んでもよい。触覚と共にグラフィックス提示があってもよく、なくてもよい。

この方法の一実施形態は、ナビゲーションインターフェースのようなタッチパッドを含むことができ、これを、ユーザは、相互作用されている表面に直接投影されるグラフィックス無しで効果的に使用することができる。これは、ユーザが机上でマウスを動かしている間に、コンピュータスクリーン上でマウスカーソルを動かすことに類似する。別の構成では、表面の手は、トラックパッドとして機能することができ、インタラクティブな手（interactive hand）は、それがノートパソコン上のトラックパッドであるように、動作することができる。これには、単純なタップジェスチャおよびドラッグジェスチャだけでなく、２本指のドラッグ、ピンチツーズーム（pinch-to-zoom）等、２～５本の指の相互作用も含まれる。

これらのインターフェースを実行するために、手の追跡が必要とされる。これは、典型的には光学追跡によって達成される。優れたｘ－ｙ（画像平面）感度の維持と同時の奥行き感度は、非常に困難である。この方法では、指が、手のひらのすぐ上をホバリングしているのか、実際に触れているのかを区別することが困難である。この感度の欠如は、手のひらと指との接触の精度を制限し、誇張された高エネルギーのジェスチャを必要とし、その魅力を制限することになる。この問題は、皮膚結合マイクロフォンを含むことによって、超音波で対処することができる。これらは、ヘッドセット内、アレイ上、または任意の数のウェアラブルデバイス上に配置することができる。

この構成の最も基本的な構成は、図５Ａおよび図５Ｂに示される。図５Ａは、超音波アレイが、焦点５１０の形で信号を一方の手５０６へ送る概略図５００を示す。焦点５１０（または複数の点）は、アレイの法線に対して垂直な点をターゲットにして、領域への結合を最大にすることができる。また、折り曲げられた皮膚、または接触している指でも、十分な結合を提供することができる。超音波アレイが焦点５１０で信号を送る結果、大振幅の正弦波５０８が一方の手５０６に存在する一方、小振幅の正弦波５０４が他方の手５０２に存在する。

図５Ｂは、超音波アレイが、焦点５６０の形で信号を一方の手５５６へ送る概略図５５０を示す。焦点５６０（または複数の点）は、アレイの法線に対して垂直な点をターゲットにして、領域への結合を最大にすることができる。また、折り曲げられた皮膚、または接触している指でも、十分な結合を提供することができる。一方の手５５６は、接触点５６２で他方の手５５２に接触している。超音波アレイが焦点５１０および接触点５６２で信号を送る結果、大振幅の正弦波５０８が一方の手５５６に存在し、かつ、大振幅の正弦波５５４が他方の手５５２に存在する。これは、超音波が、おそらくバルク伝送（bulk transmission）によって、接触点５６２で皮膚を介して結合されるからである。

あるいは、音場がビームまたは任意の形状に形成され、所望の領域への送信信号を最大化することができる。これは、触覚を生成するレベルである必要はない。皮膚結合マイクロフォンは、身体の受信側（この場合は左側）の音響エネルギーに対してより感度が良くなるように配置される。これは、受信する手の近く（例えば、時計）にそれを配置することによって、または指向性マイクをヘッドセットの中に配置することによって達成することができる。それは、反射信号の衝突を避けるために、空中超音波に無反応とすべきである（例えば、発泡体に包まれる）。この構成では、空気と皮膚との間の大きな音響インピーダンス不整合に起因して、機械的な接触があるまで、音は、手の間でほとんど伝達しないであろう。接触が生じると、皮膚結合マイクロフォンは、明確な信号を受信する。信号は、位相キーイング（phase-keying）等の飛行時間をエンコードする方法を採用して、種々の内部反射または外部反射を回避することができる。

別の構成では、複数の皮膚結合マイクロフォンが使用され、相対的な信号を使用してよりロバストな接触検出信号を作ることができるように組み合せられる。また、機械的な接触の度合い（接触の力）は、信号の結合を増大させ、これにより、力の尺度が得られるであろう。このようにして、超音波を使用して、手の追跡の接触感度を向上させることができる。

光学追跡が存在しない場合、またはその精度もしくはレイテンシが信頼できるジェスチャ認識に対して十分でない場合、音響を使用して、指から手のひらへの追跡を有効にする（または改善する）ことができる。１つの構成が図６にあり、手のひら６１１に投影された３つの焦点６１２、６１４、６１６を有する手６１０の概略図６００が示される。皮膚結合マイクロフォンは、受信側（この場合、インタラクティブな手６１９の指６２０）に対して感度が良い。各焦点６１２、６１４、６１６は、何らかの方法（位相キー、周波数等）でコード化される。指６２０は、接触点６２２で手のひら６１１に接触する時、各焦点６１２、６１４、６１６からの距離に応じて異なる量の音響信号を結合する。インタラクティブな手６１９に受信される音響信号６１８の相対的強度および／またはタイミングを分離および評価することによって、手のひら６１１に接触する指６２０の位置を推定することが可能である。これは、接触対ホバリングの高い感度と、低レイテンシのｘ－ｙ検出との両方を可能にする。焦点のそれぞれからの組合せ信号（combined signals）を使用し、相対的な大きさ（magnitude）および位相を見ることによって、位置を決定することができる。

より多くの焦点を使用して、精度を向上させ、インタラクティブな手を用いたユーザによるシャドウイングの可能性を最小限に抑えることができる。より多くの余剰信号（redundant signals）は、反射またはズレから起こり得る誤差を減少させるであろう。ユーザが相互作用している間に、焦点を調整して、解像度および精度を最大にすることもできる。

焦点を手に投影し、次にインタラクティブな手／指を使用して機械的に結合された信号をピックアップし、皮膚結合マイクロフォンでその信号を測定して接触を決定する方法は、無生物のオブジェクトにも適用することができる。例えば、投影されたＡＲまたはＶＲインタラクティブユーザインターフェースを有する平坦なテーブルを考慮することができる。１つの構成では、単一の焦点フィールドが表面に投影される。これにより、テーブルにおいて、手の結合に関する上記説明と同様の音響波（バルクおよび表面の両方）が励起される。インタラクティブな手がテーブルに接触する時、その音響信号は、手に結合され、皮膚結合マイクロフォンによってピックアップされ、分析される。これは、手の追跡システムと協働して、高速で、忠実度の高い接触対非接触の追跡を与える。別の構成では、多点フィールドをインタラクティブな表面に投影することができる。手のひらの複数の点を説明する上記記載と非常に類似する（図６）。ユーザが表面に接触する時、身体は、投影された各焦点までの距離に関連する信号を結合し、それらの焦点に対して、接触位置が決定される。

制御のために手のひらを利用する必要はない。図７は、閉じた手で可能ないくつかの追加のジェスチャ、すなわちボタン７１０、ダイヤル７２０、およびスライダ７３０のコンピレーション７００を示す（図７はＧｏｏｇｌｅのＰｒｏｊｅｃｔ Ｓｏｌｉから取得された）。指先（親指を含む）は、超音波触覚に非常に感度が良く、これらのジェスチャにおいて、フィードバックの対象となる。一実施形態では、タップまたはバンプを、マウスのスクロールホイールにおけるバンプと同様に、ダイヤルまたはスクロールに追加することができる。ボタンの場合、１つ（または両方）の触覚タップを使用することによって、２つの異なる接触圧を（アップルデバイスの３Ｄタッチと同様に）認識することができる。

Ｃ． 例示的特徴

以下は、前述の説明の例示的な特徴を示す。

１． 移動可能な位置（mobile locations）から動いているターゲットへ触覚を付与することを可能にする。

２． 触覚相互作用の表面として機能するように、ユーザ自身の付属物および他の身体部分を使用する。

３． 表面の手と相互作用する手とで触覚を同時に組み合せ、反応が早く直感的な触覚感覚を生成するように設計された触覚の開発。

４． 皮膚結合マイクロフォンを使用して、送信信号を測定する。

これらの実施形態のさらなる説明は以下を含む。
（６） ユーザに取り付けられ、既知の相対的な位置および配向を有するトランスデューサアレイから音響場を生成するステップと、
複数の制御フィールドを画定するステップと、ここで、複数の制御フィールドのそれぞれは、トランスデューサアレイに対して既知の空間的関係を有しており、
ユーザが動く際、トランスデューサアレイの位置および配向を動的に更新するステップと、
ユーザが動く際、制御フィールドの位置および配向を動的に更新するステップと、
を含む方法。
（７） 位置および配向の情報は、光学的な追跡システム、加速度計の追跡システムおよびユーザが装着する追跡システムのうちの少なくとも１つによって提供される上記（６）の方法。
（８） 音響場は、空中触覚フィードバックシステムによって生成される上記（６）の方法。
（９） 空中触覚フィードバックシステムは、ヘッドマウントディスプレイによって提供されるグラフィックスおよびユーザによって行われるジェスチャのうちの少なくとも１つとともに組み合せられる上記（８）の方法。
（１０） グラフィックスは、インタラクティブユーザインターフェースを備える上記（９）の方法。
（１１） グラフィックスは、ユーザの手の近くに投影される上記（１０）の方法。
（１２） ジェスチャは、トラックパッド制御インターフェースとしてユーザの手のひらを使用する上記（９）の方法。
（１３） ユーザは、１つ以上の皮膚結合マイクロフォンを装着している上記（６）の方法。
（１４） 音響場は、ユーザの特定の身体領域に結合するように向けられる上記（１３）の方法。
（１５） 音響場は、身体結合マイクロフォンによって測定され、追跡情報を提供する上記（１４）の方法。
（１６） 音響場は、オブジェクトに結合するように向けられる上記（１３）の方法。
（１７） 音響場は、身体結合マイクロフォンによって測定され、追跡情報を提供する上記（１６）の方法。
（１８） 身体結合マイクロフォンは、ユーザの特定の身体部分に対して最も感度が良い上記（１５）の方法。
（１９） 音響場は、身体結合マイクロフォンの感度が良くない身体の特定領域に結合するように向けられ、ユーザが特定領域に接触すると、身体結合マイクロフォンは信号を受信する上記（１５）の方法。
（２０） ａ）既知の相対的な位置および配向を有するトランスデューサアレイから音響場を生成するステップと、
ｂ）複数の制御フィールドを画定するステップと、ここで、複数の制御フィールドのそれぞれは、トランスデューサアレイに対して既知の空間的関係を有しており、
ｃ）制御フィールドをユーザの手に位置付けるステップと、
ｄ）ヘッドマウントディスプレイによって提供されるビジュアル手段を含むユーザインターフェースを生成するステップと、
を含む空中触覚フィードバック生成ステップを含み、
ユーザインターフェースはグラフィックス情報を表示するための仮想スクリーンを備え、
ユーザの手の動きが仮想スクリーンを操作することを特徴とする方法。
（２１） ユーザインターフェースは、スマートフォン、タッチパッド、タブレット、ＧＵＩインターフェース、トラックパッド、キーボード、およびナンバーパッドのうちの少なくとも１つをエミュレートする上記（２０）の方法。
２２． 手のひらが、他方の手のための仮想スクリーンの操作用トラックパッドとして機能する上記（２０）の方法。
（２３） 仮想スクリーンを手のひらに投影するステップをさらに含む上記（２２）の方法。
（２４） ユーザの手にある制御フィールドは、触覚フィードバックを提供する上記（２０）の方法。

ＩＩＩ． 結論

前述の説明は特定の値を開示しているが、同様の結果を達成するために、任意の他の特定の値を使用することができる。さらに、前述の実施形態の様々な特徴は、改善された触覚システムの多数の変形を生成するように選択され、組み合わされてもよい。

前述の明細書では、特定の実施形態が記載されている。しかし、当業者であれば、請求項に記載される本発明の範囲から逸脱することなく種々の修正および変更を行えることが理解できるであろう。したがって、本明細書および図面は限定的な意味ではなく例示的なものとみなされるべきであり、すべてのそのような修正は、本教示の範囲内に含まれることが意図される。

さらに、この明細書では第１および第２、上および下等の関係用語は１つのエンティティまたはアクションを別のエンティティまたはアクションから区別するためだけに使用されてもよく、必ずしも、そのようなエンティティまたはアクション間のそのような実際の関係または順番の必要性を要求ないし暗示するものではない。「含む」、「含んでいる」、「有する」、「有している」、「備える」、「備えている」、「含有する」、「含有している」またはそれらの任意の他の変形は、非排他的な包含を含むように意図されている。その結果、エレメントのリストを含む（有する、備えるまたは含有する）プロセス、方法、物品または装置は、それらのエレメントのみを含むのではなく、明示的にリストされていないか、またはそのようなプロセス、方法、物品または装置に固有の他のエレメントを含み得る。「comprises…a」、「has…a」、「includes…a」、「contains…a」で始まるエレメントは、そのエレメントを含む（有する、備えるまたは含有する）プロセス、方法、物品または装置において、制約無しで、追加的な同一のエレメントの存在を排除しない。「ａ」および「ａｎ」は本明細書で特に明記しない限り、１つまたは複数として定義される。「実質的に」、「本質的に」、「ほぼ」、「約」またはその任意の他のバージョンは、当業者によって理解されるものに近いものとして定義される。本明細書で使用される「結合される」という用語は、必ずしも直接的または機械的である必要はなく、接続されると定義される。所定の方法で「構成される」デバイスまたは構造は、少なくともそのように構成されるが、列挙されていない方法で構成されてもよい。

開示の要約は、読み手が技術的開示の性質を迅速に確認することを可能にするために提供される。要約は、請求項の範囲または意味を解釈または制限するために使用されないという理解の下に提出される。さらに、前述の詳細な説明では、開示を合理化する目的で、様々な特徴が様々な実施形態において一緒にグループ化されることが分かる。この開示方法は、特許請求の範囲の実施形態が、各請求項において明示的に規定されるものよりも多くの特徴を必要とするという意図を反映するものとして解釈されるべきではない。むしろ、特許請求の範囲に示すように、発明の主題は、単一の開示される実施形態の全ての特徴より少ない特徴にある。したがって、以下の特許請求の範囲は、これにより詳細な説明に組み込まれ、各請求項は、別個に請求される主題としてそれ自体で成立する。

Claims (7)

1. ユーザに取り付けられ、相対的な位置および配向を有するトランスデューサアレイから音響場を生成するステップと、
   超音波アレイによって身体領域の制御点をターゲットにした焦点の形で信号を送信し、前記身体領域に正弦波を生成するステップと、
   前記ユーザが動く際、前記トランスデューサアレイの前記相対的な位置および前記配向を動的に更新するステップと、
   前記ユーザが動く際、前記焦点の位置を動的に更新するステップと、を含み、
   前記ユーザは、１つ以上の皮膚結合マイクロフォンを装着し、前記正弦波の振幅は、前記１つ以上の皮膚結合マイクロフォンによって測定され、前記身体領域の追跡情報を提供することを特徴とする、前記身体領域の追跡情報を提供する方法。
2. 前記位置および前記配向の情報は、光学的な追跡システム、加速度計の追跡システム、および前記ユーザが装着する追跡システムのうちの少なくとも１つによって提供される請求項１に記載の方法。
3. 前記音響場は、空中触覚フィードバックシステムによって生成される請求項１に記載の方法。
4. 前記空中触覚フィードバックシステムは、ヘッドマウントディスプレイによって提供されるグラフィックスおよび前記ユーザによって行われるジェスチャのうちの少なくとも１つとともに組み合せられる請求項３に記載の方法。
5. 前記グラフィックスは、インタラクティブユーザインターフェースを備える請求項４に記載の方法。
6. 前記ジェスチャは、トラックパッド制御インターフェースとして前記ユーザの手のひらを使用する請求項４に記載の方法。
7. 前記ユーザは、２つ以上の皮膚結合マイクロフォンを装着している請求項１に記載の方法。