JP6040342B2 - 思考を介した拡張現実における仮想オブジェクトの操作 - Google Patents

思考を介した拡張現実における仮想オブジェクトの操作 Download PDF

Info

Publication number
JP6040342B2
JP6040342B2 JP2016518383A JP2016518383A JP6040342B2 JP 6040342 B2 JP6040342 B2 JP 6040342B2 JP 2016518383 A JP2016518383 A JP 2016518383A JP 2016518383 A JP2016518383 A JP 2016518383A JP 6040342 B2 JP6040342 B2 JP 6040342B2
Authority
JP
Japan
Prior art keywords
virtual object
user
display
electroencephalogram
feature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016518383A
Other languages
English (en)
Other versions
JP2016521881A (ja
Inventor
マリンズ，ブライアン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Daqri LLC
Original Assignee
Daqri LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Family has litigation
First worldwide family litigation filed litigation Critical https://patents.darts-ip.com/?family=51984517&utm_source=google_patent&utm_medium=platform_link&utm_campaign=public_patent_search&patent=JP6040342(B2) "Global patent litigation dataset” by Darts-ip is licensed under a Creative Commons Attribution 4.0 International License.
Application filed by Daqri LLC filed Critical Daqri LLC
Publication of JP2016521881A publication Critical patent/JP2016521881A/ja
Application granted granted Critical
Publication of JP6040342B2 publication Critical patent/JP6040342B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/535—Tracking the activity of the user
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72448—User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions
    • H04M1/72454—User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions according to context-related or environment-related conditions
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01—Indexing scheme relating to G06F3/01
    • G06F2203/011—Emotion or mood input determined on the basis of sensed human body parameters such as pulse, heart rate or beat, temperature of skin, facial expressions, iris, voice pitch, brain activity patterns
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72448—User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions
    • H04M1/72457—User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions according to geographic location

Description

関連出願
本出願は、２０１３年６月３日に申請された米国出願第１３／９０９，０４２号に対する優先を主張する国際出願であり、上記米国出願は、その全体を本明細書において参照により援用される。
本明細書に開示される対象事項は、概して、データの処理に関する。詳細には、本開示は、思考を介して拡張現実における仮想オブジェクトを操作するシステム及び方法に対処する。
タッチスクリーンを備えたモバイル装置上のユーザインターフェースでは、しばしば、ユーザがモバイル装置のスクリーンを物理的にタップ又はスワイプしてアプリケーション内の特徴をアクティブ化することが求められる。モバイル装置上のいくつかのアプリケーションでは、通常、ユーザが自身の指又はスタイラスでタッチスクリーンと相互作用してアプリケーションに対する入力を提供することが求められる。モバイル装置を両手で保持しながら該モバイル装置上でコンテンツを見るとき、例えば、画像を撮影するときなどは、ユーザは、一方の手をモバイル装置から離して、例えば、アプリケーションにおける写真シャッターボタンをタップすることなどにより、コマンドをアクティブ化することが求められる。
添付図面の図において、いくつかの実施形態が限定ではなく例として示される。
いくつかの実施形態例に従う、思考に基づいたコンテンツの選択及び操作を可能にするのに適した装置である。 いくつかの実施形態例に従う、図１の装置における電波アプリケーションのモジュール（例えば、コンポーネント）を例示するブロック図である。 いくつかの実施形態例に従う、図１の装置における拡張現実アプリケーションのモジュール（例えば、コンポーネント）を例示するブロック図である。 いくつかの実施形態例に従う、図３の拡張現実アプリケーションの焦点領域検出器のモジュール（例えば、コンポーネント）を例示するブロック図である。 いくつかの実施形態例に従う、図３の拡張現実アプリケーションの特徴状態修正器のモジュール（例えば、コンポーネント）を例示するブロック図である。 いくつかの実施形態例に従う、思考に基づいた図１の装置における仮想オブジェクトの選択の視覚化の一例を例示する図である。 いくつかの実施形態例に従う、思考に基づいた図１の装置における既存仮想オブジェクトに対するアクションの視覚化の一例を例示する図である。 いくつかの実施形態例に従う、視覚的ジェスチャと組み合わせられた思考に基づいた装置における既存仮想オブジェクトに対するアクションの視覚化の一例を例示する図である。 いくつかの実施形態例に従う、図１の装置のディスプレイの中の仮想オブジェクトの特徴の状態における変更をトリガするための視覚的ジェスチャの一例を例示する図である。 いくつかの実施形態例に従う、図１の装置における仮想オブジェクトの特徴に焦点を合わせるための視覚的ジェスチャの一例を例示する図である。 いくつかの実施形態例に従う、図１の装置における仮想オブジェクトの特徴の状態における変更をトリガするための視覚的ジェスチャの一例を例示するブロック図である。 いくつかの実施形態例に従う、思考に基づいて仮想オブジェクトを生成する方法を実行する際の、装置の視覚化アプリケーションの動作の一例を例示するフローチャートである。 いくつかの実施形態例に従う、思考に基づいて既存仮想オブジェクトを操作する方法を実行する際の、装置の視覚化アプリケーションの動作の一例を例示するフローチャートである。 いくつかの実施形態例に従う、思考及び視覚的ジェスチャに基づいて仮想オブジェクトを操作する方法を実行する際の、装置の視覚化アプリケーションの動作の一例を例示するフローチャートである。 いくつかの実施形態例に従う、マシン可読媒体から命令を読み出し、本明細書に論じられる方法論のうち任意の１つ以上を実行することができるマシンのコンポーネントを例示するブロック図である。 いくつかの実施形態例に従う、脳活動データに基づいて仮想オブジェクトを操作する動作の一例を例示するラダー図である。
方法及びシステムの例は、思考に基づいた仮想オブジェクトの操作に向けられている。例は単に、あり得るバリエーションの代表例である。特に明示的に記されない限り、コンポーネント及び機能は任意的であり、組み合わせられ又は細分化されてもよい。さらに、動作は順序が変わってもよく、あるいは組み合わせられ又は細分化されてもよい。下記の説明において、説明することを目的として、実施形態例の深い理解を提供するために、多数の具体的な詳細が明記される。しかしながら、本願対象事項は、こうした具体的な詳細なしに実施され得ることが当業者には明らかであろう。
拡張現実アプリケーションは、例えば、装置のカメラにより捕捉された物理オブジェクトの画像上にオーバーレイされた３次元仮想オブジェクトの形式などの情報を、ユーザが体験することを可能にする。物理オブジェクトには、拡張現実アプリケーションが識別することができる視覚的参照を含むことができる。追加情報の視覚化、例えば、物理オブジェクトのイメージにオーバーレイされ又は連動した３次元仮想オブジェクトなどが、装置のディスプレイに生成される。３次元仮想オブジェクトは、認識された視覚的参照に基づいて選択することができる。３次元仮想オブジェクトの視覚化のレンダリングは、視覚的参照に対するディスプレイの位置に基づくことができる。
思考に基づいて仮想オブジェクトを生成し及び操作するためのシステム及び方法が説明される。物理オブジェクトからの参照識別子が捕捉される。ユーザの脳活動データが、脳活動データを取得するために受信される。参照識別子及び脳活動データは、ネットワークを介してリモートサーバに通信される。リモートサーバは、参照識別子及び脳活動データに基づいて、仮想オブジェクトを選択する。仮想オブジェクトを識別するサーバからの通信が受信される。仮想オブジェクトは仮想風景の中に表示される。
一実施形態例において、装置が、電波アプリケーションと、参照識別子モジュールと、仮想オブジェクト生成モジュールとを有する。電波アプリケーションは、ユーザにより生成された電波の出力の強度及びパターンに基づいて、ユーザの心理状態を識別する。参照識別子モジュールは、物理オブジェクト上の視覚的参照を識別する。仮想オブジェクト生成モジュールは、視覚的参照とユーザの心理状態とに基づいて仮想オブジェクトを識別し、ディスプレイに、物理オブジェクトのイメージと連動した仮想オブジェクトの視覚化を生成する。仮想オブジェクトの視覚化のレンダリングは、視覚的参照に対するディスプレイの位置に基づく。
別の実施形態例において、装置は、脳波データを生成するようにユーザの頭部に結合されたＥＥＧ脳波センサと、ユーザの心拍データを生成するための心拍センサと、ディスプレイ上でのユーザの注視を決定するためのアイトラッキングセンサと、装置の地理的場所を決定するための場所センサと、ユーザに関連付けられたソーシャルネットワーク情報にアクセスするように構成されたソーシャルネットワークモジュールとをさらに含む。電波アプリケーションは、脳波データと、心拍データと、ユーザの注視と、装置の地理的場所と、ユーザに関連付けられたソーシャルネットワーク情報とに基づいて、ユーザの心理状態を識別する。
別の実施形態例において、装置は、ディスプレイの中の焦点領域と仮想オブジェクトの特徴とを決定する視覚的ジェスチャモジュールをさらに含む。それから、視覚的ジェスチャモジュールは、特徴がディスプレイの焦点領域の中にあることに応答して、特徴の状態を変更する。そのようなものとして、装置における「視覚的ジェスチャ」は、ユーザが自身の手を使って装置のディスプレイ上でタップする必要なしに、ユーザが装置のディスプレイの中の特徴を選択し及びアクティブ化することを可能にする。例えば、装置のカメラが、装置の背面カメラから捕捉されるリアルタイムイメージを表示している間に、ユーザは、装置を物理的に移動し、向きを変更する（reorienting）ことによって、「視覚的ジェスチャ」をする。装置は、描画された物理オブジェクトを、生成された仮想オブジェクト及びその特徴とオーバーレイしているため、装置の物理的なモーション及び向き変更は、特徴のうち１つをディスプレイの焦点領域へと移動させるジェスチャをもたらし、アクションが生成される結果になり得る。
別の実施形態例において、視覚的ジェスチャモジュールは、ディスプレイの中の焦点領域と仮想オブジェクトの特徴とを決定する。それから、視覚的ジェスチャモジュールは、出力の強度に応答して特徴の状態を変更する。
別の実施形態例において、記憶装置が、視覚的参照と、視覚的参照とユーザからの電波の対応する強度及びパターンとの組み合わせに関連付けられた仮想オブジェクトと、仮想オブジェクトの特徴と、を記憶するデータベースを含む。仮想オブジェクトの特徴は、出力の強度に応答して状態を変更するように構成される。
別の実施形態例において、焦点領域は、ディスプレイの予め定義された部分に対応する。特徴の状態は、特徴がディスプレイの予め定義された部分内に位置することに応答して、変わる。
別の実施形態例において、ディスプレイの予め定義された部分は、ディスプレイに対して中央の領域、ディスプレイの端部に隣接する領域、ディスプレイのコーナーに隣接する領域、又はディスプレイ領域のユーザ定義された部分のうち、少なくとも１つを含む。
別の実施形態例において、特徴の状態は、特徴がある時間閾値を超える時間の間、ディスプレイの予め定義された部分内に位置することに応答して、変わる。
別の実施形態例において、特徴の状態は、出力の強度がある時間閾値を超える時間の間、強度閾値を超えることに応答して、変わる。
別の実施形態例において、視覚的ジェスチャモジュールは、焦点領域検出器と特徴状態修正器とを含む。焦点領域検出器は、ディスプレイの焦点領域の中の３次元仮想オブジェクトの特徴の存在を検出する。特徴状態修正器は、特徴が焦点領域の中に存在することに応答して特徴の状態を変更する。
別の実施形態例において、特徴状態修正器は、焦点領域の中の仮想オブジェクトの第１のコンポーネントを焦点領域の中の仮想オブジェクトの第２のコンポーネントで置換することによって特徴の状態を変更する。
別の実施形態例において、非一時的マシン可読記憶装置が、少なくとも１つのプロセッサにより実行されるときに本開示内に論じられる方法動作を該少なくとも１つのプロセッサに実行させる命令セットを記憶することができる。
図１は、いくつかの実施形態例に従う装置１００を例示しているブロック図であり、この装置は、装置上での視覚的ジェスチャ（visual gestures）と装置のユーザからの思考とに基づいたコンテンツの選択を可能にするのに適している。装置１００は、センサ１０２と、ディスプレイ１０４と、プロセッサ１０６と、記憶装置１０８とを含むことができる。例えば、装置１００は、デスクトップコンピュータ、車載コンピュータ、タブレットコンピュータ、ナビゲーション装置、ポータブルメディア装置、ユーザのスマートフォン、又はユーザウェアラブルコンピューティング装置（例えば、メガネ）であり得る。ユーザは、人間ユーザ（例えば、人間）、マシンユーザ（例えば、装置１００と相互作用するようにソフトウェアプログラムによって構成されたコンピュータ）、又はこれらのうち任意の適切な組み合わせ（例えば、マシンにより支援された人間、又は人間により監督されたマシン）であり得る。
センサ１０２は、人間から電気的活動を測定する電極を含むことができる。例えば、センサ１０２は、脳のＥＥＧ（脳波検査）波、筋肉のＥＭＧ（筋電図検査）波、及び目のＥＯＧ（電気眼球図）波を測定する電極を含むことができる。センサ１０２を使用して、ＥＥＧを通して人間の集中レベル又は心理状態に関する電気信号を検出することによって、脳波を監視することができる。センサは、例えば、ユーザの頭部に付けられたヘッドセットを使用することによって実施することができる。別の例において、センサ１０２を使用して、顔の筋肉を監視してユーザの顔の表情を検出することができる。
別の実施形態例において、センサ１０２は、光学センサ（例えば、電荷結合素子（ＣＣＤ））、向きセンサ（例えば、ジャイロスコープ）、及び／又はオーディオセンサ（例えば、マイクロフォン）をさらに含むことができる。例えば、装置１００は、ユーザの目の動き及び顔の表情を追跡する前面（front-facing）カメラと、物理オブジェクト（又は別の表示されている仮想オブジェクト）の画像又は動画を捕捉する背面カメラ（rear-facing）とを含むことができる。本明細書に説明されているセンサ１０２は例示目的のものであり、ゆえにセンサ１０２は説明されているものに限定されないことが留意される。別の例において、センサ１０２は、装置１００に物理的に接続されないことがあり、しかし代わって、Ｗｉ‐ＦｉやＢｌｕｅｔｏｏｔｈ（登録商標）などのワイヤレス手段を介して装置１００に結合される。
ディスプレイ１０４には、例えば、タッチスクリーンディスプレイを含むことができ、このタッチスクリーンディスプレイは、該タッチスクリーンディスプレイ上での接触を介してユーザ入力を受信するように構成される。別の例において、ディスプレイ１０４には、プロセッサ１０６により生成されたイメージを表示するように構成されたスクリーン又はモニタを含むことができる。別の実施形態において、ディスプレイ１０４は、ユーザがディスプレイ１０４を透かして見ることができるように、透過的又は半不透明（semi-opaque）であってもよい。
プロセッサ１０６は、電波（例えば、ＥＥＧ脳波）アプリケーション１１０と拡張現実アプリケーション１１２とを含むことができる。電波アプリケーション１１０は、センサ１０２からの出力に基づいて、ユーザの心理状態（例えば、リラックスしている、緊張している、幸せ、怒っている）を決定することができる。心理状態は、センサ１０２の出力の強度又はパターンに基づくことができる。拡張現実アプリケーション１１２は、装置１００のディスプレイ１０４において、装置１００のカメラ（図示せず）により捕捉された物理オブジェクトのイメージ上にオーバーレイされた仮想オブジェクトの視覚化（visualization）（３次元又は２次元）を生成することができる。仮想オブジェクトは、ユーザの現在の心理状態に基づいて選択することができる。さらに、仮想オブジェクトと仮想オブジェクトの特徴（features）とを、ユーザの心理状態における変化に基づいて操作することができる。別の実施形態において、仮想オブジェクトは、（例えば、ユーザによって）装置１００のカメラレンズに対して物理オブジェクトの位置を調整することによって、さらに操作されてもよい。同様に、仮想オブジェクトの視覚化は、（例えば、ユーザによって）物理オブジェクトに対して装置１００のカメラレンズの位置を調整することによって操作することができる。
一実施形態において、電波アプリケーション１１０は、ある短い時間にわたり人間の脳から放電された電波の強度又はパターンを識別することができる。複数の電極を、ユーザの頭皮の至る所に置くことができる。各電極は、異なるタイプの波を測定するように構成することができる。例えば、デルタ波は、睡眠中に最も多く存在する。シータ波は、睡眠、深いリラックス、及び視覚化に関連付けられる。アルファ波は、リラックスし穏やかであるときに生じる。ベータ波は、積極的に思考し又は問題を解決しているときに生じる。ガンマ波は、より高次の精神活動や情報の統合に関与しているときに生じる。それから、電波アプリケーション１１０は、センサ１０２の出力に基づいてユーザの心理状態を識別することができる。例えば、電波アプリケーション１１０は、ＥＥＧ電極を単体で、又は他のセンシング装置（マイクロフォン、カメラ、及び心拍数モニタ）と組み合わせて使用することができる。
一実施形態において、拡張現実アプリケーション１１２は、物理オブジェクト上の視覚的参照（visual reference）を識別することができ、装置１００のディスプレイ１０４内で視覚的参照の場所を追跡する。視覚的参照は、マーカーと呼ばれてもよく、識別可能なイメージ、シンボル、文字、数字、マシン可読コードを含むことができる。例えば、視覚的参照には、バーコード、クイックレスポンス（ＱＲ）コード、又は仮想オブジェクトに事前に関連付けられているイメージを含むことができる。
拡張現実アプリケーション１１２は、ディスプレイ１０４の中の物理オブジェクトのイメージ又は画像に連動した（engaged）仮想オブジェクトの視覚化を生成し、表示することができる。仮想オブジェクトは、視覚的参照とユーザの心理状態とに基づいて生成することができる。各仮想オブジェクトは、一意の視覚的参照と対応する心理状態とに対応させることができる（例えば、拡張現実アプリケーション１１２内のある仮想オブジェクトに対して一意）。別の実施形態において、拡張現実アプリケーション１１２は、物理オブジェクトにおける視覚的参照に対する装置１００の位置及び向きに基づいて、仮想オブジェクトの視覚化をレンダリングする（renders）。
拡張現実アプリケーション１１２は、ディスプレイ１０４の中の焦点領域を決定することができる。ディスプレイ１０４の中の焦点領域は、ディスプレイ１０４の中の予め定義された領域に対応させることができる。予め定義された領域は、ディスプレイ１０４の中の仮想オブジェクトの特徴における状態の変更又はアクションをトリガすることができる。仮想オブジェクトの特徴は、センサ１０２の出力の強度に応答して、又はユーザの現在の心理状態（例えば、ユーザがリラックスしている）に応答して状態を変更することができる。仮想オブジェクトの特徴は、さらに、ユーザの心理状態の変化（例えば、ユーザがより集中しつつある）に応答して変わってもよい。特徴は、さらに、該特徴がディスプレイの焦点領域の中に存在している（例えば、表示されている仮想の車のエンジンが焦点領域の中にある）とき、状態を変更してもよい。焦点領域は、拡張現実アプリケーション１１２によって予め定義されてもよく、あるいは、装置１００のユーザによりカスタマイズされ、定義されてもよい。
記憶装置１０８は、視覚的参照と、視覚的参照に対応する仮想オブジェクトと、仮想オブジェクトに対応する仮想オブジェクトの特徴と、対応する心理状態との、データベースを記憶するように構成することができる。仮想オブジェクトの特徴は、ユーザの心理状態を用いて変更することができる。例えば、仮想の椅子の色を、ユーザがより集中するにつれて、青から赤に変更することができる。仮想の椅子は、ユーザがリラックスしている場合、青色で表示され得る。別の例において、仮想オブジェクトの特徴は、該特徴がディスプレイ１０４の焦点領域の中に存在するとき、変更することができる。例えば、視覚的参照には、マシン可読コード又は事前に識別されたイメージ（例えば、靴の画像）を含むことができる。事前に識別された靴のイメージは、靴の画像に対して装置１００の位置を操作することによって種々のアングルから見ることができる３次元の仮想の靴に対応させることができる。３次元の仮想の靴の特徴には、３次元の仮想の靴上の選択可能アイコンを含むことができる。アイコンは、該アイコンをディスプレイ１０４の焦点領域内に表示するように装置１００を移動させる（例えば、再位置づけし、向きを変更し、又は双方を行う）ことによって、選択し又はアクティブ化することができる。例えば、焦点領域は、ディスプレイ１０４の中央領域、ディスプレイ１０４のコーナー、ディスプレイ１０４の端部、又はこれらのうち任意の適切な組み合わせとすることができる。
一実施形態において、装置１００は、ネットワーク（図示せず）を通じてサーバ（図示せず）と通信して、視覚的参照と対応する３次元仮想オブジェクトと３次元仮想オブジェクトの対応する特徴と対応する心理状態とのデータベースの一部分を取り出すことができる。ネットワークは、マシン、データベース、及び装置（例えば、装置１００）の間における又はこれらにわたる通信を可能にする任意のネットワークとすることができる。したがって、ネットワークは、有線ネットワーク、ワイヤレスネットワーク（例えば、モバイル又はセルラーネットワーク）、又はこれらのうち任意の適切な組み合わせとすることができる。ネットワークは、プライベートネットワーク、パブリックネットワーク（例えば、インターネット）、又はこれらのうち任意の適切な組み合わせを構成する１つ以上の部分を含むことができる。
本明細書に説明されているモジュールうち任意の１つ以上を、ハードウェア（例えば、マシンのプロセッサ）、又はハードウェアとソフトウェアとの組み合わせを用いて実施することができる。例えば、本明細書に説明されている任意のモジュールが、該モジュールとして本明細書に説明される動作を実行するようにプロセッサを構成することができる。さらに、上記モジュールのうち任意の２つ以上が単一のモジュールへと組み合わせられてもよく、単一のモジュールとして本明細書に説明されている機能が複数のモジュールに細分化されてもよい。さらに、様々な実施形態例に従い、単一のマシン、データベース、又は装置内で実施されるものとして本明細書に説明されるモジュールが、複数のマシン、データベース、又は装置にわたって分散されてもよい。
図２は、いくつかの実施形態例に従う、装置１００の中の電波アプリケーション１１０のモジュール（例えば、コンポーネント）を例示しているブロック図である。電波アプリケーション１１０には、センサモジュール２０２と、初期化モジュール２０８と、強度モジュール２０４と、パターンモジュール２０６と、心理状態識別モジュール２１０とを含むことができる。
センサモジュール２０２は、センサ１０２からの出力を捕捉する。例えば、センサモジュール２０２は、ユーザの頭皮上に位置づけられたＥＥＧ電極を使用することによって、ユーザの脳により生成された電波を捕捉することができる。これまでに説明されたとおり、センサモジュール２０２は、心拍数モニタ又は顔の筋肉のモニタなどの他のタイプのセンサからの出力を捕捉して、ＥＥＧ電極からの出力をさらに補足することもできる。別の実施形態において、センサ１０２はカメラを含み、ユーザの注視を検出し、ディスプレイ１０４上でユーザがどこを見ているかを決定してもよい。
初期化モジュール２０８は、電波アプリケーション１１０が特定のユーザに基づいてセンサ１０２からの出力を初期化し、較正することを可能にする。初期化モジュール２０８が、ユーザがリラックスした心理状態にある間のセンサからの出力のサンプルを捕捉する間、ユーザはリラックスするように求められ得る。それから、サンプル出力は、ユーザについてのベースライン又は参照として使用することができる。
強度モジュール２０４は、１つ以上のセンサの強度を測定する。例えば、強度モジュール２０４は、アルファ波の電気信号の強度をユーザの心拍と組み合わせて測定して、ユーザのリラックスした心理状態を決定することができる。別の実施形態において、強度は、選択されたセンサからの１つ以上の出力についての統計的計算（例えば、平均又は中央値）に基づいてもよい。
パターンモジュール２０６は、ＥＥＧ電極又はセンサの組み合わせのパターンを測定する。例えば、ユーザがある特定の車について考えているとき、このユーザは一意の脳波パターンを生成し得る。パターンモジュール２０６は、センサ１０２の出力のパターンを記録し、ユーザからの一意のパターンと特定の車とを関連付けることができる。別の実施形態において、パターンモジュール２０６は、選択されたセンサ又は最も関連するセンサからの１つ以上の出力に基づいてパターンを識別する。例えば、パターンモジュール２０６は、ユーザがディスプレイの中の車を見ているときの脳波パターンの一意の組み合わせを識別することができる。パターンモジュール２０６は、装置１００のカメラ又は光学センサを用いて、ユーザが車を見ていると決定する。さらに、ユーザの筋肉に関連付けられた電波からの出力を脳のＥＥＧとの組み合わせで使用して、一意のパターンの識別をさらに増加させることもできる（例えば、アルファ脳波パターンＡ、デルタ脳波パターンＢ、顔の筋肉のパターンＣ、及びディスプレイの中のオブジェクトを見ている目のＤ）。そのようなものとして、ユーザからの各々の一意のパターンを、仮想オブジェクト体験の一意の視覚化に関連付けることができる。換言すると、センサ１０２の一意パターンは、ディスプレイ１０４の中で視覚化されるべき特定の仮想オブジェクトの識別をトリガする。例えば、センサ１０２からの強度ｘ’ｙ’ｚ’でのパターンｘｙｚは、飛行機に対応する。センサ１０２からの強度ａ’ｂ’ｃ’でのパターンａｂｃは、飛行機の上昇に対応する。
心理状態識別モジュール２１０は、ゆえに、強度モジュール２０４及びパターンモジュール２０６からの脳活動データに基づいて、ユーザの心理状態を決定し、識別することができる。例えば、心理状態識別モジュール２１０は、ユーザが幸せか、リラックスしているか、怒っているか、集中しているか、空腹か、又はのどが渇いているかを決定することができる。別の実施形態において、心理状態識別モジュール２１０は、ユーザが思考している具体的なオブジェクト（例えば、ミニバン）又は具体的なアクション（例えば、ドアを開ける）を決定することができる。
別の実施形態において、心理状態識別モジュール２１０は、強度モジュール２０４から及びパターンモジュール２０６からの変化に基づいて、ユーザの心理状態における変化を決定する。例えば、心理状態識別モジュール２１０は、事前にリラックスしていたユーザが緊張してきたと決定することができる。
図３は、いくつかの実施形態例に従う、装置１００の中の拡張現実アプリケーション１１２のモジュール（例えば、コンポーネント）を例示しているブロック図である。拡張現実アプリケーション１１２には、参照識別子モジュール３０２と、心理状態モジュール３１２と、仮想オブジェクト生成モジュール３０４と、視覚的ジェスチャモジュール３０６とを含むことができる。
心理状態モジュール３１２は、電波アプリケーション１１０の心理状態識別モジュール２１０に基づいて、ユーザの心理状態を生成する。例えば、心理状態モジュール３１２は、ユーザがリラックスしており、あるいは特定のオブジェクト又はアクションについて思考していることを、示すことができる。心理状態モジュール３１２は、心理状態識別モジュール２１０に基づいて、ユーザの心理状態における変化をさらに識別することができる。
参照識別子モジュール３０２は、装置１００のセンサ１０２によって捕捉された物理オブジェクト上の視覚的参照を識別する。例えば、装置１００のカメラが、物理オブジェクトのイメージ、例えば、新聞の一ページなどを捕捉する。新聞のページには、記事と画像とが含まれ得る。画像は、記憶装置１０８の中に視覚的参照としてすでに識別されている可能性がある。画像は、オブジェクトの対応する３次元モデル（例えば、仮想のソファ）に関連付けることができる。
仮想オブジェクト生成モジュール３０４は、装置１００のセンサ１０２によって捕捉された物理オブジェクトのイメージと連動した３次元仮想オブジェクトの視覚化を生成し、表示する。（例えば、仮想のソファが雑誌ページの上に浮かび、回転する）。仮想オブジェクトは、視覚的参照（例えば、雑誌ページの中の家具広告）とユーザの心理状態とに基づくことができる。一実施形態において、各仮想オブジェクトは、視覚的参照と特定の心理状態とに一意に関連付けることができる。仮想オブジェクト生成モジュール３０４は、視覚的参照に対する装置１００の位置に基づいて、仮想オブジェクトの視覚化をレンダリングする。別の実施形態において、仮想オブジェクトの属性が、ユーザの心理状態に基づいてもよい。例えば、仮想オブジェクト生成モジュール３０４は、ユーザの心理状態がユーザがリラックスしておりソファについて思考していると示すとき、青色のソファを生成することができる。同様に、仮想オブジェクト生成モジュール３０４は、ユーザの心理状態がユーザが興奮しておりソファについて思考していると示すとき、赤色のソファを生成することができる。
さらに別の実施形態において、仮想オブジェクト生成モジュール３０４は、ユーザの心理状態における変化に基づいて仮想オブジェクトを生成する。例えば、ユーザの心理状態がユーザがより興奮しつつあると示すとき、青色の車が赤色の車へとモーフィングしてもよい。
視覚的ジェスチャモジュール３０６は、ディスプレイ１０４の中の焦点領域と仮想オブジェクトの特徴とを決定することができる。例えば、上記の特徴には、３次元仮想オブジェクト上の関心のあるポイント（関心ポイント）又はユーザインタラクティブなオブジェクトを含むことができる。例えば、３次元仮想オブジェクトには、アイコンを有する３次元平面図を含むことができ、アイコンは、３次元平面図の中の関心ポイントに対応させることができる。３次元平面図において表現された部屋の中に位置するアイコンが、その対応する部屋に関するさらなる情報（部屋のサイズ、部屋の説明等）を生成するようにアクティブ化されてもよい。アイコンは、ディスプレイ１０４上のアイコンの表現上でユーザがタップすることによってアクティブ化されてもよい。
一実施形態において、視覚的ジェスチャモジュール３０６は、特徴がディスプレイの焦点領域の中にあるとき、又はユーザの心理状態に基づいて応答的に、特徴の状態を変更し、あるいは特徴をアクティブ化することができる。例えば、焦点領域は、ディスプレイ１０４の中心領域として設定することができる。これまでの例を用いると、ユーザは、関心のある部屋のアイコンがディスプレイ１０４の中の中心領域に表示され得るように、装置１００を移動させることができる。視覚的ジェスチャモジュール３０６は、アイコンの色又は形状を変更して、アイコンが選択されているとユーザに示すことができる。別の例において、関心のある部屋が、ユーザが興奮していると示すユーザ心理状態に基づいて、赤で強調表示されてもよい。
さらに、ユーザが少なくとも所定量の時間（例えば、数秒）の間、ディスプレイ１０４の中心領域の中にアイコンを維持する場合、アイコンが状態を変え、あるいは他の方法でアクティブ化されて、アイコン上でのタップに対応するアクションが開始されてもよい。例えば、ユーザにより選択された部屋の説明を提供するように、ダイアログボックスをディスプレイの中に生成することができる。
別の実施形態において、視覚的ジェスチャモジュール３０６は、焦点領域検出器３０８と特徴状態修正器３１０とを含む。焦点領域検出器３０８は、ディスプレイ１０４の焦点領域の中の仮想オブジェクトの特徴の存在を検出する。焦点領域検出器３０８は、装置１００を見ているユーザの目の動きを追跡して、ユーザが見ているディスプレイの中の特定の場所を決定することができる。例えば、焦点領域検出器３０８は、ユーザ及び物理オブジェクトに対する装置１００のモーション、向き、及び位置に基づいて、ユーザがディスプレイ１０４の中の特定領域を見ていると決定することができる。焦点領域検出器３０８は、ユーザに面している装置の中の１つ以上のカメラレンズを使用して、ユーザの目の動き及び位置と、ゆえにユーザが見ているディスプレイ１０４上の対応する領域とを外挿することができる。
特徴状態修正器３１０は、特徴がディスプレイ１０４の焦点領域の中に存在するときに該特徴の状態を変更するように構成することができる。例えば、特徴状態修正器３１０は、ユーザが見ている領域に対応する特徴を、これまでに説明されたアイトラッキングの特徴を用いてアクティブ化することができる。別の例において、焦点領域検出器３０８が、ユーザがディスプレイ１０４に表示された平面図の中の特定の部屋を見ているとき、興奮していると決定する。仮想オブジェクト生成モジュール３０４は、この特定の部屋の仮想３次元モデルを、明るい壁色で生成することができる。
図４は、いくつかの実施形態例に従う、視覚的ジェスチャモジュール３０６の焦点領域検出器３０８のモジュール（例えば、コンポーネント）を例示しているブロック図である。焦点領域検出器３０８には、装置相対位置モジュール４０２と、中心焦点モジュール４０４と、端部焦点モジュール４０６と、タイマモジュール４０８と、アイトラッキングモジュール４１０と、ユーザ定義領域焦点モジュール４１２とを含むことができる。
装置相対位置モジュール４０２は、センサ１０２を使用することによって物理オブジェクト上の視覚的参照に対する装置１００の位置及び向きを検出するように構成することができる。例えば、ジャイロスコープが、装置１００の向き及び位置を決定することができる。視覚的参照に対する装置１００の照準及び角度を決定するために、カメラが使用されてもよい。換言すると、装置相対位置モジュール４０２は、装置１００が視覚的参照に対してどれほど遠く又はどれほど近いかと、装置１００がどのように視覚的参照に狙いを定めているかとを決定する。
別の実施形態において、装置相対位置モジュール４０２は、装置の向きを検出する。例えば、装置相対位置モジュール４０２は、装置１００が風景モード又はポートレートモードにおいて保持されているかを検出することができる。焦点領域の場所は、装置１００が風景モード又はポートレートモードにおいて保持されているかに依存することができる。さらに、３次元仮想オブジェクトの特徴が、装置１００が風景モード又はポートレートモードにおいて保持されているかに基づいて、有効にされ又は無効にされてもよい。
中心焦点モジュール４０４は、ディスプレイ１０４の中心部にディスプレイ１０４の焦点領域を定義するように構成することができる。例えば、中心焦点モジュール４０４は、ディスプレイ１０４のほぼ中心の領域を焦点領域として定義するように構成することができる。領域は、円の形状、長円形、又は任意の他の形状であってよい。領域は、視覚的ジェスチャモジュール３０６によって予め定義されてもよく、あるいはユーザ選択に基づいてカスタマイズされてもよい。例えば、ユーザが、焦点領域をディスプレイ１０４の中の別の領域に移動させることができてもよい。
端部焦点モジュール４０６は、ディスプレイ１０４の端部にディスプレイ１０４の焦点領域を定義するように構成することができる。例えば、端部焦点モジュール４０６は、ディスプレイ１０４の端部における又はコーナーにある領域を、焦点領域として定義するように構成することができる。領域は、円の形状、長円形、又は任意の他の形状であってよい。領域は、さらに、視覚的ジェスチャモジュール３０６によって予め定義されてもよく、あるいはユーザ選択に基づいてカスタマイズされてもよい。例えば、ユーザが、焦点領域をディスプレイ１０４の中の別の領域に移動させることができてもよい。
タイマモジュール４０８は、仮想オブジェクトの特徴がディスプレイ１０４の焦点領域内に位置するように装置１００が視覚的参照に対して指し示されている時間の量を測定するように構成することができる。
アイトラッキングモジュール４１０は、装置１００を見ているユーザの目の動きを追跡してユーザが見ている装置１００のディスプレイの中の領域を決定するように構成することができる。
ユーザ定義領域焦点モジュール４１２は、ユーザがディスプレイ１０４の中の領域のうち任意の部分又は領域のうち任意の形状を定義し及び選択して焦点領域を使用することを可能にするように構成することができる。
図５は、いくつかの実施形態例に従う、視覚的ジェスチャモジュール３０６の特徴状態修正器３１０のモジュール（例えば、コンポーネント）を例示しているブロック図である。特徴状態修正器３１０は、これまでに説明されたとおり、ディスプレイ１０４の中の焦点領域に存在する特徴の状態を変更するように構成することができる。例えば、焦点領域がディスプレイ１０４の中心領域にある場合、特徴状態修正器モジュール３１０は、ユーザが少なくとも所定量の時間（例えば、数秒）の間、ディスプレイ１０４の中心領域の中にアイコンを維持していると焦点領域検出器３０８が検出したときに、アイコンの色を変更して、該アイコンが選択されているとユーザに示すことができる。その場合、アイコンは、状態を変更し、あるいは他の方法でアクティブ化されて、アイコン上でのタップに対応するアクションを開始することができる。例えば、ユーザにより選択された部屋の説明を提供するように、ダイアログボックスをディスプレイの中に生成することができる。
別の例において、特徴状態修正器モジュール３１０は、ユーザが少なくとも所定量の時間（例えば、数秒）の間、ディスプレイ１０４の中心領域の中にアイコンを維持していると焦点領域検出器３０８が検出したとき、及び、ユーザが少なくとも所定量の時間（例えば、数秒）の間、特定の心理状態を維持していると心理状態モジュール３１２が決定したときに、アイコンの色を変更して、該アイコンが選択されているとユーザに示すことができる。
特徴状態修正器３１０には、状態変更視覚化モジュール５０２とアクションモジュール５０４とを含むことができる。状態変更視覚化モジュール５０２は、焦点領域の中のアイコンを変更するように構成することができる。例えば、アイコンの色又は形状が変更されてもよく、あるいは、アイコンが別のアイコン又は別のインターフェース、例えば通知ボックスなどで置換されてもよい。
アクションモジュール５０４は、ディスプレイ１０４上のアイコン上でのタップと同様にアクションをトリガするように構成することができる。例えば、アクションモジュール５０４は、メッセージ通知、ダイアログボックス、メニュー、又は、ディスプレイ１０４の焦点領域の中の特徴の存在によって若しくはユーザの心理状態によってトリガされる任意の他のアクションを生成することができる。別の実施形態において、アクションモジュール５０４は、例えばワイヤレスネットワークを介して、装置１００から別のデバイスへの通信を生成するように構成することができる。
図６Ａは、いくつかの実施形態例に従う、思考に基づいた装置における仮想オブジェクトの視覚化の一例を例示しているブロック図である。ユーザ６０１が、センサ６１０、例えば、ユーザ６０１の頭皮に位置づけられた電極などを装備している。これまでに説明されたとおり、センサ６１０には、他のタイプの測定装置、中でも、顔の筋肉の活動や心拍の活動を測定するものを含むことができる。センサ６１０は、ワイヤを介して装置６００（例えば、モバイル通信装置）に物理的に結合することができる。別の例において、センサ６１０は、ワイヤレス通信手段（例えば、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＺｉｇＢｅｅ（登録商標））を用いて、ワイヤレスに装置６００と通信することができる。
ユーザ６０１は、装置６００のリアカメラ６１２を、視覚的参照６０６を有する物理オブジェクト６０４の方へ向ける。これまでに説明されたとおり、視覚的参照６０６には、画像、マシン可読コード、又は装置６００の中の拡張現実アプリケーション１１２に対して一意である任意の他の識別子を含むことができる。物理オブジェクト６０４は、例えば、雑誌又は新聞のページであり得る。別の実施形態において、物理オブジェクト６０４と視覚的参照６０６とは、一緒に組み合わせられてもよい（例えば、ポスター又はカップ）。こうした場合、３次元物理オブジェクトを視覚的参照として使用することができる。例えば、特定のパターン又はデザインを有するカップなどの３次元オブジェクトが、視覚的参照として使用されてもよい。装置６００は、リアカメラ６１２を用いて物理オブジェクト６０４及び視覚的参照６０６のイメージ又は画像を捕捉する。
装置６００は、センサ６１０からの出力と視覚的参照６０６とに基づいて、装置６００のディスプレイ６０２の中の３次元仮想オブジェクトの視覚化を生成する。例えば、装置６００は、ユーザ６０１がある建築事務所に地理的に位置していると決定することができる。装置６００は、センサ６１０から、ユーザ６０１の心理状態が高層ビルに集中していると決定する。別の実施形態において、さらに、装置６００の前面カメラ６１４がユーザ６０１の心理状態に対する追加データを強化し、提供してもよい。例えば、装置６００は、前面カメラ６１４を用いてユーザ６０１のライブ画像を取得して笑顔か渋面かを決定することができる。別の例において、前面カメラ６１４は、ユーザのアイデンティティを決定するように顔認識に使用されてもよい。装置６００はユーザ６０１から、選好、例えば、好きな色やアイテムなどを取り出すことができる。別の例において、装置６００は、装置６００の地理的場所（例えば、オフィス、家、レストラン、市、国）と、視覚的参照６０６の捕捉の時間（例えば、朝、午後、晩、休日、週末）と、視覚的参照６０６に対する装置６００の向き（例えば、ポートレート又は風景、どれほど近いか）と、ユーザ６０１の識別（例えば、顔認識又はログイン情報を用いて）と、ユーザ６０１の選好（例えば、好きな色、好きなタイプの音楽）と、ユーザ６０１に関連したソーシャルネットワーク情報（例えば、フレンド数、関心、フレンドの近さ、投稿）と、センサ６１０からの出力（例えば、ＥＥＧの脳の波、ＥＭＧの筋肉の波、ＥＯＧの目の波、心拍、血圧）と、視覚的参照６０６との組み合わせに基づいて、ディスプレイ６０２に表示されるべき仮想オブジェクトを決定し、識別し、操作する。
それから、装置６００は、ユーザ６０１の心理状態に基づいて、物理オブジェクト６０４の画像に連動した３次元仮想オブジェクトの視覚化を生成することができる。この例では、集中した状態について、高層ビル６０８の３次元モデルがディスプレイ６０２の中の物理オブジェクト６０４のイメージの上にレンダリングされる。別の例において、ユーザの心理状態がリラックスしており、ユーザがビーチハウスについて思考している場合、装置６００は、ディスプレイ６０２の中の物理オブジェクト６０４のイメージの上にレンダリングされるビーチハウスの３次元モデルを生成してもよい。そのようなもとして、装置６００は、捕捉された視覚的参照６０６のイメージとユーザ６０１の現在の心理状態とに応答して、ディスプレイ６０２に表示されるべき仮想オブジェクトを決定する。
図６Ｂは、いくつかの実施形態例に従う、思考に基づいた装置における仮想オブジェクトに対するアクションの視覚化の一例を例示しているブロック図である。装置６００は、ユーザ６０１の心理状態における変化（例えば、ユーザはビルへの雨について思考している）を決定する。それから、装置６００は、センサ６１０からの出力における変化と前面カメラ６１４とに応答したユーザ６０１の心理状態における変化に基づいて、装置６００のディスプレイ６０２の中の３次元仮想オブジェクトの視覚化における変更を生成する。例えば、ユーザ６０１が雨に集中していると装置６００が検出したときに、ビル６０８を覆う雨がディスプレイ６０２に動的にアニメ化されてもよい。
このようなものとして、ディスプレイ６０２にすでに表示されている３次元仮想オブジェクトの変更が、ユーザ６０１の心理状態における変化に基づいて決定される。別の例において、ユーザ６０１がビル６０８を見ている間によりリラックスしてきたときに、ビル６０８の色がより明るい色相へと変わってもよい。別の例において、ユーザ６０１が動揺してきたときに、ビル６０８のテクスチャがより粗いテクスチャに変わってもよい。
図６Ｃは、いくつかの実施形態例に従う、視覚的ジェスチャと組み合わせた思考に基づいた装置における仮想オブジェクトに対するアクションの視覚化の一例を例示しているブロック図である。
装置６００の前面カメラ６１４が、ユーザ６０１の注視を捕捉し、監視することができる。換言すると、装置６００は、目の動きを追跡して、ディスプレイ６０２上のどこをユーザが見ているかを決定することができ得る。別の実施形態において、装置６００の前面カメラ６１４は、アイトラッキングの動きとヘッドトラッキングの動きとの組み合わせを用いて、ユーザ６０１の注視を決定する。
ビル６０８には、関心ポイントアイコン６１８、６２０、６２２を含むことができる。例えば、関心ポイントアイコン６１８は、トリガされ、あるいは他の方法で選択されたときに、ビル６０８の３次元モデルに対する関心ポイントアイコン６１８の場所に対応する追加情報を提供することができる。
一実施形態において、関心ポイントアイコン６１８の状態は、関心ポイント６１８を見ているユーザ６０１とユーザ６０１の心理状態とに応答して、変更することができる。例えば、関心ポイント６１８は、ユーザ６０１の心理状態に基づいて、色を変更されてもよい。
別の実施形態において、装置６００は、ユーザ６０１が関心ポイントアイコン６１８を見ていることと、ユーザ６０１の心理状態が集中した状態に対応することとの決定に応答して、関心ポイントアイコン６１８に関するさらなる情報を表示してもよい。例えば、ユーザ６０１が関心ポイントアイコン６１８を見ており、ユーザ６０１が集中した状態にあるとセンサ６１０を用いて決定されるときに、説明ボックスがディスプレイ６０８にポップアップしてもよい。
別の実施形態において、ユーザ６０１は、関心ポイントアイコン５１２が装置６００のディスプレイ６０２の中央領域に表示されるように、物理オブジェクト６０４に対して装置６００を位置づける。一実施形態において、関心ポイントアイコン６１８の状態は、ユーザに選択を通知するように変更されてもよい。例えば、関心ポイントアイコン６１８の色が、装置６００のユーザに注目をさせるように変更されてもよい。
別の実施形態において、前面カメラ６１４は、装置６００のディスプレイ６０２の中のビル６０８を見ているユーザ６０１の、目の動きを追跡する。装置６００は、ユーザ６０１がディスプレイ６０２上のある領域（例えば、旗竿）を見ていると決定する。領域は、ビル６０８上の予め識別された場所に対応させることができる。予め識別された場所には、領域に関連付けられたビル６０８上の関心ポイントを含むことができる。例えば、装置６００が、ユーザ６０１がビル６０８の旗竿を数秒間見ていると検出する。一例において、旗竿に関するさらなる情報を示すダイアログボックスを表示することができる。別の例において、装置６００は、ビル６０８上の予め識別された場所に関連付けられた任意の他のアクションを生成してもよい。
別の実施形態において、装置６００には透過ディスプレイ（図示せず）を含んでもよく、この透過ディスプレイを使用して、物理オブジェクト又は物理オブジェクト上の特定場所を識別することができる。一例において、透過ディスプレイは、（例えば、メガネの取り付け部又はヘッドギアの取り付け部を介して、）ユーザの頭部に取り付けることができる。別の例において、透過ディスプレイは、ユーザ６０１が保持し目を通して、透過ディスプレイの後ろの物理オブジェクトを見えるようにするハンドヘルド装置であり得る。装置６００の背面カメラは、（例えば、物理オブジェクトのイメージと参照イメージとを比較することによって、）ユーザによって見られている物理オブジェクトを認識することができる。具体的に、ユーザ及び物理オブジェクトに対しての透過ディスプレイの位置及び向きを使用して、ユーザの視線を決定することができる。決定されたユーザの視線を用いて、装置は、見られている物理オブジェクトと、物理オブジェクトのうち具体的にどのパートが見られているかとを、リアルタイムで識別することができる。
いったん装置６００が、認識された物理オブジェクト又は認識された物理オブジェクトの一部が予め識別された物理オブジェクト又は物理オブジェクトの予め識別された一部に対応することを識別すると、この装置は、ユーザ６０１の心理状態に基づいて、対応するアクション（例えば、電子メールを送る、サウンドを生成する等）をトリガすることができる。例えば、装置６００は、ユーザ６０１が透過ディスプレイでテレビジョンセットの底部部分へと目を通していると検出する。装置６００は、テレビジョンセットを認識し、テレビジョンセットの底部部分（ユーザ６０１によって見られている）が、ＴＶをオン又はオフに切り換えるためのテレビジョンセットに対する通信の生成に対応するアクションに関連付けられると決定する。ユーザ６０１が少なくとも数秒の間、テレビジョンセットの底部部分を見ていて、その心理状態がユーザは集中していると示す場合、装置６００は、対応する信号を生成してテレビジョンセットをオン又はオフにする。
別の例において、装置６００が、ユーザ６０１の心理状態に基づいて、ＴＶの上にオーバーレイされたＴＶチャンネルの仮想メニューを表示してもよい。例えば、ユーザが興奮している場合、ＴＶチャンネルのメニューには、スポーツチャンネル及びアクション映画を含むことができる。別の例において、ユーザ６０１が、装置６００の透過ディスプレイでラジオ装置へと目を通し得る。同様に、ユーザ６０１の心理状態に基づいて、音楽チャンネルの仮想メニューをラジオ装置の上に表示することができる。例えば、装置６００は、ユーザ６０１がリラックスし又は眠そうであるとセンサ６１０が示すときに、クラシック音楽又はリラックスする音楽のチャンネルの仮想メニューを表示してもよい。
図７は、いくつかの実施形態例に従う、装置のディスプレイの中の３次元仮想オブジェクトの特徴の状態における変更をトリガするための視覚的ジェスチャの一例を例示しているブロック図である。例えば、装置６００が、関心ポイントアイコン６１８が少なくとも所定量の時間の間、焦点領域（例えば、ディスプレイ６０２の中心領域）に存在し続けていることを検出したとき、ユーザ６０１の心理状態に基づいて関心ポイントアイコン６１８の状態を変更するように、アクションがトリガされる。例えば、ダイアログボックス７０２がポップアップしてもよく、あるいは、関心ポイントアイコン６１８とユーザ６０１の心理状態とに対応する別のアクション（例えば、メディアファイルを再生する、関心ポイントアイコン６１８を保存する、説明を電子メールする）が装置６００上に表示されてもよい。別の例において、ダイアログボックス７０２の内容がユーザ６０１の心理状態に基づいてもよい。
図８は、いくつかの実施形態例に従う、装置における３次元オブジェクトの特徴に焦点を合わせるための視覚的ジェスチャの一例を例示しているブロック図である。例えば、装置６００の焦点領域が、装置６００のコーナー８０２、８０４、８０６、８０８に位置することができる。各コーナーは、ユーザの心理状態にさらに基づいた対応するアクション（例えば、関心ポイントを保存するなどのアクションをトリガすること）に関連付けることができる。例えば、コーナー８０２は、電子メールを送ることに関連付けることができる。電子メールの受信者は、ユーザの心理状態に基づいて決定することができる。ユーザが幸せである場合、電子メールには、ビル６０８を設計した建築事務所の代表建築家に対するテンプレートの賛辞の電子メールが含まれる。ユーザが不幸せである場合、電子メールには、カスタマサービス部門に対するテンプレートの苦情の電子メールを含むことができる。
図９は、いくつかの実施形態例に従う、装置における３次元オブジェクトの特徴の状態における変更をトリガするための視覚的ジェスチャの一例を例示しているブロック図である。例えば、関心ポイントアイコン６２０が少なくとも数秒の間、コーナー８０２の焦点領域内にあるとの理由で、拡張現実アプリケーション１１２は、ダイアログボックス９０２を生成して、関心ポイントアイコン６２０とユーザの現在の心理状態とに関連付けられた説明を提供することができる。そのようなものとして、装置６００のユーザ６０１は、装置６００のスクリーン又はディスプレイ上でタップする必要なく、装置における３次元オブジェクトに関連したアクションを生成することができる。
図１０は、いくつかの実施形態例に従う、思考に基づいて仮想オブジェクトを視覚化する方法１０００の実行における装置の視覚化アプリケーションの動作の一例を例示しているフローチャートである。動作１００２において、ユーザの心理状態が、ユーザからの電波の強度及びパターンに基づいて識別される。出力には、例えば、電気的脳波を含むことができる。一実施形態において、動作１００２は、図１の装置１００の電波アプリケーション１１０を用いて実行することができる。
動作１００４において、装置により捕捉された物理オブジェクトのイメージが認識され、あるいは識別される。一実施形態において、動作１００４は、物理オブジェクト上の視覚的参照を識別する参照識別子モジュール３０２によって実行することができる。
動作１００６において、仮想オブジェクト生成モジュール３０４が、物理オブジェクト（又は物理オブジェクト上の視覚的参照）とユーザの電波の強度及びパターンとに基づいて、仮想オブジェクトを識別する。別の例において、仮想オブジェクトを識別するために、他のパラメータが使用されてもよい。例えば、心拍データ、音声データを使用して、仮想オブジェクトを識別することができる。
動作１００８において、仮想オブジェクト生成モジュール３０４は、物理オブジェクトのイメージと連動した（例えば、その上にオーバーレイされた）仮想オブジェクトの視覚化を生成し、表示する。仮想オブジェクトは、視覚的参照とユーザの心理状態（例えば、センサの出力の強度）とに対応する。一実施形態において、仮想オブジェクト生成モジュール３０４は、視覚的参照に対するディスプレイの位置に基づいて、仮想オブジェクトの視覚化をレンダリングする。
図１１は、いくつかの実施形態例に従う、思考に基づいた仮想オブジェクトの操作の方法１１００の実行における装置の視覚化アプリケーションの動作の一例を例示しているフローチャートである。
動作１１０２において、ユーザの心理状態における変化が、ユーザに結合されたセンサの出力の強度における変化に基づいて識別される。一実施形態において、動作１１０２は、図１の装置１００の電波アプリケーション１１０を用いて実行することができる。
動作１１０４において、仮想オブジェクト生成モジュール３０４は、ユーザの心理状態における変化（例えば、センサの出力の強度及びパターンにおける変化）に基づいて、ディスプレイの中の事前に表示されている仮想オブジェクトの視覚化を変更する。換言すると、ユーザの心理状態における変化に基づいて、ディスプレイの中の仮想オブジェクトに対してアクションを実行することができる。仮想オブジェクトは、センサの出力における変化に基づいて操作することができる。例えば、ユーザがよりリラックスしてきたときに、仮想オブジェクトの色が赤から青に変わってもよい。ユーザがより集中してきたときに、仮想オブジェクトがより速く回転してもよい。ユーザがディスプレイ上の仮想の車のドアの場所により集中してきたときに、そのドアが開いてもよい。別の例において、最初、ユーザはライオンについて思考していて、ライオンのイメージが表示される。それから、ユーザはヒョウについて思考し、そして、ライオンのイメージが装置上でヒョウのイメージへとモーフィングされる。
一実施形態において、仮想オブジェクト生成モジュール３０４は、視覚的参照に対するディスプレイの位置における変化に基づいて、仮想オブジェクトの視覚化をレンダリングする。
図１２は、いくつかの実施形態に従う、思考と視覚的ジェスチャとに基づいた仮想オブジェクトの操作の方法１２００の実行における装置の視覚化アプリケーションの動作の一例を例示しているフローチャートである。
動作１２０２において、ユーザの心理状態が、人間に結合されたセンサの出力の強度及びパターンに基づいて識別される。出力には、例えば、電気的脳波をふくむことができる。一実施形態において、動作１２０２は、図１の装置１００の電波アプリケーション１１０を用いて実行することができる。
動作１２０６において、視覚的ジェスチャモジュール３０６が、ディスプレイの中の焦点領域と仮想オブジェクトの特徴とを決定する。視覚的ジェスチャモジュール３０６は、特徴がディスプレイの焦点領域の中にあることに応答して、及びユーザの心理状態（又は、心理状態の変化）に応答して、特徴の状態を変更する。
一実施形態において、参照識別子モジュール３０２及び視覚的ジェスチャモジュール３０６が、視覚的参照、対応する仮想オブジェクト、仮想オブジェクトの対応する特徴、対応する心理状態のデータベースを、装置の記憶装置に記憶する。仮想オブジェクトの特徴は、ディスプレイの焦点領域の中にあることに応答して状態を変更される。
一実施形態において、視覚的ジェスチャモジュール３０６は、特徴がディスプレイの予め定義された部分内に位置することとユーザの心理状態とに応答して、特徴の状態を変更する。焦点領域は、ディスプレイの予め定義された部分に対応する。
一実施形態において、ディスプレイの予め定義された部分は、ディスプレイに対して中央の領域、ディスプレイの端部に隣接する領域、ディスプレイのコーナーに隣接する領域、又はユーザ定義された領域を含む。
一実施形態において、視覚的ジェスチャモジュール３０６は、時間閾値を超える時間の間、特徴がディスプレイの予め定義された部分内に位置し、維持された心理状態が時間閾値を超えることに応答して、特徴の状態を変更する。
一実施形態において、視覚的ジェスチャモジュール３０６は、ディスプレイの焦点領域の中の３次元仮想オブジェクトの特徴の存在を検出し、特徴が焦点領域の中に存在するときに（及び、ユーザの心理状態に基づいて）特徴の状態を変更する。
一実施形態において、視覚的ジェスチャモジュール３０６は、焦点領域の中の３次元仮想オブジェクトの第１のコンポーネントを、焦点領域の中の３次元仮想オブジェクトの第２のコンポーネントで置換する。特徴にはインタラクティブオブジェクトを含むことができ、このインタラクティブオブジェクトは、焦点領域の中にあるときに（及び、ユーザの心理状態に基づいて）状態を変える。例えば、インタラクティブオブジェクトは、該インタラクティブオブジェクトが焦点領域の中にあるとき、色が変わってもよい。
図１４は、いくつかの実施形態例に従う、脳活動データに基づいて仮想オブジェクトを操作する動作の一例を例示しているラダー図である。動作１４０６において、装置１４０２（例えば、装置１００）が、物理オブジェクトから参照識別子のイメージを捕捉する。動作１４０８において、装置１４０２は、装置のユーザの脳活動データをさらに捕捉する。動作１４１０において、装置１４０２は、ネットワークを介して参照識別子及び脳活動データをリモートサーバ１４０４に通信する。動作１４１２において、リモートサーバ１４０４は、参照識別子及び脳活動データに関連付けられた仮想オブジェクトデータを取り出す。動作１４１４において、リモートサーバ１４０４は、仮想オブジェクトデータを装置１４０２に送る。それから、１４１６において、装置１４０２は、仮想オブジェクトデータを用いて仮想風景の中に仮想イメージを表示する。
モジュール、コンポーネント及びロジック
特定の実施形態が、ロジック、又は複数のコンポーネント、モジュール若しくはメカニズムを含むものとして説明されている。モジュールは、ソフトウェアモジュール（例えば、マシン可読媒体上に、又は送信信号内に具現化されたコード）又はハードウェアモジュールのいずれかを構成することができる。ハードウェアモジュールは、特定の動作を実行することができる有形ユニットであり、特定の方式で構成され又は配置されることができる。複数の実施形態例において、１つ以上のコンピュータシステム（例えば、スタンドアロンコンピュータシステム、クライアントコンピュータシステム、又はサーバコンピュータシステム）、又はコンピュータシステムの１つ以上のハードウェアモジュール（例えば、プロセッサ、又はプロセッサのグループ）が、ソフトウェア（例えば、アプリケーション、又はアプリケーションの一部）によって、本明細書に説明された特定の動作を実行するように動作するハードウェアモジュールとして構成されることができる。
様々な実施形態において、ハードウェアモジュールは、機械的に又は電子的に実施することができる。例えば、ハードウェアモジュールは、特定の動作を実行するように（例えば、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）又は特定用途向け集積回路（ＡＳＩＣ）などの特別目的プロセッサとして）永続的に構成された専用回路又はロジックを含むことができる。さらに、ハードウェアモジュールは、特定の動作を実行するようにソフトウェアよって一時的に構成された（例えば、汎用目的プロセッサ又は他のプログラマブルプロセッサ内に包含された）プログラマブルロジック又は回路を含むことができる。ハードウェアモジュールを、機械的に、専用の永続的に構成された回路において、又は一時的に構成された回路（例えば、ソフトウェアによって構成される）において実施するとの判断が、コスト及び時間を考慮することによって推進され得ることが十分理解されるであろう。
したがって、用語「ハードウェアモジュール」は、有形エンティティを包含するものと理解されるべきであり、この有形エンティティは、特定の方式で動作し及び／又は本明細書に説明された特定の動作を実行するように、物理的に構築され、永続的に構成され（例えば、ハードワイヤード）、又は一時的に構成され（例えば、プログラムされ）たエンティティである。ハードウェアモジュールが一時的に構成される（例えば、プログラムされる）実施形態を考えると、ハードウェアモジュールの各々は、時間におけるいずれの段階（instance）においても構成され又はインスタンス化される必要がない。例えば、複数のハードウェアモジュールが、ソフトウェアを用いて構成された汎用目的プロセッサを含む場合、この汎用目的プロセッサは、異なる時間において、それぞれ異なるハードウェアモジュールとして構成されることができる。したがって、ソフトウェアは、例えば、時間のある段階において特定のハードウェアモジュールを構成し、時間の異なる段階において異なるハードウェアモジュールを構成するように、プロセッサを構成することができる。
ハードウェアモジュールは、他のハードウェアモジュールに情報を提供し、他のハードウェアモジュールから情報を受信することができる。したがって、説明されているハードウェアモジュールは、通信可能に結合されたものとみなすことができる。こうしたハードウェアモジュールのうち複数が同時に存在する場合、通信は、ハードウェアモジュールを接続する信号送信を通して（例えば、適切な回路及びバスを通じて）達成することができる。複数のハードウェアモジュールが異なる時間において構成され又はインスタンス化される実施形態において、こうしたハードウェアモジュール間の通信は、例えば、複数のハードウェアモジュールがアクセスを有するメモリ構造においての情報の記憶及び取り出しを通して達成することができる。例えば、あるハードウェアモジュールが動作を実行し、該動作の出力を、このハードウェアモジュールに通信可能に結合されたメモリ装置に記憶することができる。それから、より後の時間において、さらなるハードウェアモジュールが上記メモリ装置にアクセスして、上記の記憶された出力を取り出し、処理することができる。ハードウェアモジュールは、入力又は出力装置との通信をさらに開始してもよく、リソース（例えば、情報の集合）に対して動作することができる。
本明細書に説明された方法例の様々な動作は、関連する動作を実行するように一時的に（例えばソフトウェアによって）構成され又は永続的に構成された１つ以上のプロセッサによって、少なくとも部分的に実行することができる。上記のプロセッサは、一時的に構成されても永続的に構成されても、１つ以上の動作又は機能を実行するように動作する、プロセッサにより実施される（processor-implemented）モジュールを構成することができる。本明細書において言及されるモジュールは、いくつかの実施形態例において、プロセッサにより実施されるモジュールを含むことができる。
同様に、本明細書に説明された方法は、少なくとも部分的に、プロセッサにより実施されることができる。例えば、方法の動作の少なくともいくつかを、１つ以上のプロセッサ又はプロセッサにより実施されるモジュールによって実行することができる。動作のうち特定のものの実行は１つ以上のプロセッサ間で分散させることができ、単一のマシン内に存在してもよいだけでなく、複数のマシンにわたってデプロイされ（deployed）てもよい。いくつかの実施形態例において、１つ又は複数のプロセッサが単一の場所に（例えば、家庭環境内に、オフィス環境内に、又はサーバファームとして）位置することができ、他の実施形態において、プロセッサは複数の場所にわたって分散されてもよい。
１つ以上のプロセッサは、さらに、「クラウドコンピューティング」環境において、又は「サービスとしてのソフトウェア」（ＳａａＳ）として、関連する動作の実行をサポートするように動作することができる。例えば、動作のうち少なくともいくつかが、（プロセッサを含むマシンの例として）コンピュータのグループによって実行されてもよく、これら動作は、ネットワークを介して、及び１つ以上の適切なインターフェース（例えば、ＡＰＩ）を介してアクセス可能である。
電子的な装置及びシステム
実施形態例は、デジタル電子回路において、若しくはコンピュータハードウェア、ファームウェア、ソフトウェアにおいて、又はこれらの組み合わせにおいて実施することができる。実施形態例は、コンピュータプログラムプロダクトを用いて実施されてもよい。コンピュータプログラムプロダクトは、例えば、情報担体の中に有形に具現化されたコンピュータプログラムである。情報担体は、例えば、データ処理装置による実行のため又はデータ処理装置の動作を制御するためのマシン可読媒体である。データ処理装置は、例えば、プログラマブルプロセッサ、コンピュータ、又は複数のコンピュータである。
コンピュータプログラムは、コンパイラ型言語又はインタプリタ型言語を含む任意の形式のプログラミング言語において書くことができ、スタントアロンプログラムとして又はモジュール、サブルーチン、若しくはコンピューティング環境での使用に適した他のユニットとしてを含む任意の形式においてデプロイすることができる。コンピュータプログラムは、１つのサイトにおける１つのコンピュータ上又は複数のコンピュータ上で実行されるようにデプロイされてもよく、あるいは、複数のサイトにわたって分散され、通信ネットワークによって相互接続されてもよい。
実施形態例において、動作は、入力データに対して作用すること及び出力を生成することによって機能を実行するように、コンピュータプログラムを実行する１つ以上のプログラマブルプロセッサによって実行することができる。方法動作は、特別目的ロジック回路（例えば、ＦＰＧＡ又はＡＳＩＣ）によって実行することもでき、実施形態例の装置が、上記特別目的ロジック回路として実施されてもよい。
コンピューティングシステムには、クライアント及びサーバを含むことができる。クライアント及びサーバは、一般に互いからリモートにあり、通常、通信ネットワークを通して相互作用する。クライアント及びサーバの関係は、それぞれのコンピュータ上で実行され、クライアント‐サーバ関係を互いに対して有するコンピュータプログラムによって、発生する。プログラマブルコンピューティングシステムをデプロイする実施形態において、ハードウェアアーキテクチャ及びソフトウェアアーキテクチャの双方が考慮に値することが十分理解されるであろう。具体的に、特定の機能性を、永続的に構成されるハードウェア（例えば、ＡＳＩＣ）において実施するか、一時的に構成されるハードウェア（例えば、ソフトウェアとプログラマブルプロセッサとの組み合わせ）において実施するか、又は永続的に構成されるハードウェアと一時的に構成されるハードウェアとの組み合わせにおいて実施するかの選択は、設計上の選択であり得ることが十分理解されるであろう。下記に、様々な実施形態例においてデプロイされ得るハードウェア（例えば、マシン）及びソフトウェアアーキテクチャを提示する。
例示的なマシンアーキテクチャ及びマシン可読媒体
図１３は、コンピュータシステム１３００の例示的形態におけるマシンのブロック図であり、コンピュータシステム１３００内で、本明細書に論じられた方法論のうち任意の１つ以上をマシンに実行させる命令を実行することができる。代替的な実施形態において、マシンはスタンドアロン装置として動作し、あるいは他のマシンに接続され（例えば、ネットワーク化され）てもよい。ネットワーク化されたデプロイにおいて、マシンは、サーバ‐クライアントネットワーク環境でのサーバ又はクライアントの能力において、又はピアツーピア（又は分散）ネットワーク環境でのピアマシンとして動作することができる。マシンは、パーソナルコンピュータ（ＰＣ）、タブレットＰＣ、セットトップボックス（ＳＴＢ）、パーソナルデジタルアシスタント（ＰＤＡ）、セルラー電話、ウェブ電化製品、ネットワークルータ、スイッチ、若しくはブリッジ、又はマシンにより取られるべきアクションを規定する命令を（順次に又はその他の方法で）実行することができる任意のマシンであってよい。さらに、単一のマシンだけが例示されているが、用語「マシン」は、本明細書に論じられた方法論のうち任意の１つ以上を実行するように命令のセット（又は複数のセット）を個々に又は一緒に実行するマシンの任意の集合をさらに含むものとする。
例示的なコンピュータシステム１３００は、プロセッサ１３０２（例えば、中央処理ユニット（ＣＰＵ）、グラフィクス処理ユニット（ＧＰＵ）、又は双方）と、メインメモリ１３０４と、スタティックメモリ１３０６とを含み、これらは、バス１３０８を介して互いに通信する。コンピュータシステム１３００は、ビデオディスプレイユニット１３１０（例えば、液晶ディスプレイ（ＬＣＤ）又は陰極線管（ＣＲＴ））をさらに含むことができる。コンピュータシステム１３００は、英数字入力装置１３１２（例えば、キーボード）と、ユーザインターフェース（ＵＩ）ナビゲーション（又はカーソル制御）装置１３１４（例えば、マウス）と、ディスクドライブユニット１３１６と、信号生成装置１３１８（例えば、スピーカー）と、ネットワークインターフェース装置１３２０とをさらに含む。
マシン可読媒体
ディスクドライブユニット１３１６はマシン可読媒体１３２２を含み、このマシン可読媒体１３２２上に、本明細書に説明された方法論又は機能のうち任意の１つ以上を具現化し又はこれらにより利用されるデータ構造及び命令１３２４の１つ以上のセット（例えば、ソフトウェア）が記憶される。命令１３２４はさらに、コンピュータシステム１３００による命令１３２４の実行の間、メインメモリ１３０４内及び／又はプロセッサ１３０２内に、完全に又は少なくとも部分的に存在することがあり、メインメモリ１３０４及びプロセッサ１３０２がさらにマシン可読媒体を構成することがある。命令１３２４はさらに、完全に又は少なくとも部分的に、スタティックメモリ１３０６内に存在することがある。
マシン可読媒体１３２２は、一実施形態例において単一の媒体であるように図示されているが、用語「マシン可読媒体」には、１つ以上の命令１３２４又はデータ構造を記憶した単一の媒体又は複数の媒体（例えば、集中型若しくは分散型のデータベース、及び／又は関連するキャッシュ及びサーバ）を含むことができる。用語「マシン可読媒体」は、マシンが実行する命令セットを記憶し、エンコードし又は伝えることができてマシンに本願実施形態の方法論のうち任意の１つ以上を実行させる任意の有形媒体、又は、上記の命令により利用され又は上記の命令に関連するデータ構造を記憶し、エンコードし又は伝えることができる任意の有形媒体をさらに含むものとする。したがって、用語「マシン可読媒体」は、これらに限定されないが、ソリッドステートメモリ、光学媒体、及び磁気媒体を含むものとする。マシン可読媒体の具体例には不揮発性メモリが含まれ、例として、半導体メモリデバイス（例えば、消去可能プログラマブル読取専用メモリ（ＥＰＲＯＭ）、電気的消去可能プログラマブル読取専用メモリ（ＥＥＰＲＯＭ）、及びフラッシュメモリ）と、内部ハードディスク及び取外し可能ディスクなどの磁気ディスクと、光磁気ディスクと、コンパクトディスク読取専用メモリ（ＣＤ‐ＲＯＭ）及びデジタル多用途ディスク（又はデジタルビデオディスク）読取専用メモリ（ＤＶＤ‐ＲＯＭ）ディスクとが含まれる。
送信媒体
さらに、命令１３２４は、ネットワーク１３２６を通じて送信媒体を用いて送信され、あるいは受信されてもよい。命令１３２４は、ネットワークインターフェース装置１３２０と多数の周知の転送プロトコル（例えば、ＨＴＴＰ）のうち任意のものとを用いて送信することができる。通信ネットワークの例には、ＬＡＮ、ＷＡＮ、インターネット、携帯電話網、ＰＯＴＳネットワーク、及びワイヤレスデータネットワーク（例えば、ＷｉＦｉ及びＷｉＭａｘネットワーク）が含まれる。用語「送信媒体」には、マシンが実行する命令を記憶し、エンコードし又は伝えることができる任意の無形媒体を含むものとし、上記のソフトウェアの通信を容易にするためのデジタル若しくはアナログ通信信号又は他の無形媒体が含まれる。
実施形態が具体的な実施形態例を参照して説明されたが、これら実施形態に対して本開示の上位の主旨及び範囲から逸脱することなく様々な修正及び変更がなされ得ることが明らかであろう。したがって、明細書及び図面は、限定的ではなく例示的な意味において考慮されるべきである。本願の一部を成す添付図面は、限定ではなく例示として、対象事項が実施され得る具体的な実施形態を図示している。例示された実施形態は、本明細書に開示された教示を当業者が実施することを可能にするほど十分詳細に説明されている。これらから、他の実施形態が利用され、導出されてもよく、その結果、本開示の範囲から逸脱することなく、構造的及び論理的な代替及び変更が行われ得る。したがって、詳細な説明は、限定する意味に取られるべきではなく、様々な実施形態の範囲は、別記の請求項とこうした請求項が権利を与えられている均等物の完全な範囲とによってのみ定義される。
上記の発明対象事項の実施形態は、個々に及び／又は集合的に、本明細書において用語「発明」によって参照されることがあるが、これは単に簡便さのためであり、２以上の発明又は発明概念が実際に開示されている場合に本出願の範囲をいずれかの単一の発明又は発明概念に自発的に限定する意図はない。ゆえに、具体的な実施形態が本明細書に例示され、説明されたが、同じ目的を達成するように計算された任意の配置が、図示された具体的な実施形態の代替にされてもよいことが十分理解されるべきである。本開示は、様々な実施形態についての任意の及びすべての適合又はバリエーションをカバーすることが意図される。上記の実施形態の組み合わせ、及び本明細書に具体的に説明されていない他の実施形態が、上記の説明を検討した当業者に明らかになるであろう。
本開示の要約は、読み手が技術開示の要旨を迅速に判定することができるように要約を要求する３７Ｃ．Ｆ．Ｒ．セクション１．７２（ｂ）に準拠するために提供される。要約は、請求項の範囲又は意味を解釈又は限定するためには使用されないという理解の下で提出されている。さらに、上記詳細な説明では、開示を簡素化する目的のために、様々な特徴が単一の実施形態の中に一緒に集められていることが分かる。この開示の方法は、請求項に記載された実施形態が各請求項に明示されている特徴より多くの特徴を必要とするとの意図を反映するものとして解釈されるべきではない。それどころか、別記の請求項が反映するように、発明対象事項は、単一の開示された実施形態のすべての特徴に満たない特徴にある。ゆえに、別記の請求項は、これにより、各請求項が別個の実施形態として独立した状態で詳細な説明に組み込まれる。

Claims (20)

  1. 装置であって、
    当該装置のユーザに結合されて脳波データを生成する脳波検査（ＥＥＧ）脳波センサと、
    前記ユーザの心拍データを生成する心拍センサと、
    当該装置の地理的場所を決定する場所センサと、
    物理オブジェクトから参照識別子を捕捉するように構成されたカメラと、
    前記参照識別子に基づいて第１の仮想オブジェクトを表示するように構成されたディスプレイと、
    前記ディスプレイ上での前記ユーザの注視を決定するアイトラッキングセンサと、
    少なくとも１つのハードウェアプロセッサを用いて実施され、
    当該装置のユーザの脳活動データを受信することであって、前記脳活動データは、前記ディスプレイに前記第１の仮想オブジェクトを表示することに応答して生成され、
    前記参照識別子及び前記脳活動データをネットワークを介してリモートサーバに通信することであって、前記リモートサーバは、前記参照識別子に関連付けられた複数の仮想オブジェクトを識別し、前記複数の仮想オブジェクトに基づいて複数の脳波パターンを取り出し、各脳波パターンは対応する仮想オブジェクトに関連付けられ、前記ユーザの脳活動データを前記複数の脳波パターンと比較し、前記複数の仮想オブジェクトから第２の仮想オブジェクトを識別し、前記第２の仮想オブジェクトは前記複数の脳波パターンからの脳波パターンに関連付けられ、前記脳波パターンは前記脳活動データに対応する、ように構成され、
    前記第２の仮想オブジェクトを識別する前記リモートサーバからの通信を受信し、
    前記ディスプレイに前記第１の仮想オブジェクトと共に前記第２の仮想オブジェクトを表示し、
    前記物理オブジェクトに対する当該装置の位置に基づいて、前記ディスプレイの中の前記第１及び第２の仮想オブジェクトのビューを調整する
    ように構成された仮想オブジェクト生成モジュールと、
    前記脳波データと、心拍データと、当該装置の地理的場所と、前記ユーザの注視とに基づいて、前記ユーザの心理状態を識別するように構成された電波アプリケーションと、
    を含む装置。
  2. 複数の仮想オブジェクトモデルを対応参照識別子と共に記憶するように構成された記憶装置、
    をさらに含み、
    前記仮想オブジェクト生成モジュールは、前記参照識別子が前記記憶装置に記憶されたいずれかの参照識別子に対応するかを決定し、前記記憶装置からの前記参照識別子に対応する仮想オブジェクトモデルにアクセスし、前記仮想オブジェクトモデルを用いて前記仮想オブジェクトを生成するように構成される、
    請求項１に記載の装置。
  3. 前記仮想オブジェクト生成モジュールは、前記リモートサーバから前記参照識別子に対応する仮想オブジェクトモデルを受信し、前記仮想オブジェクトモデルを用いて前記仮想オブジェクトを生成するように構成される、請求項１に記載の装置。
  4. 前記ユーザに関連付けられたソーシャルネットワーク情報にアクセスするように構成されたソーシャルネットワークモジュール、
    をさらに含み、
    前記電波アプリケーションは、前記ユーザに関連付けられた前記ソーシャルネットワーク情報に基づいて、前記ユーザの心理状態をさらに識別する、
    請求項１に記載の装置。
  5. 仮想風景のディスプレイの中の焦点領域と前記仮想オブジェクトの特徴とを決定し、前記ユーザの脳活動データにおける変化に応答して前記焦点領域の中の前記仮想オブジェクトの特徴の状態を変更するように構成された視覚的ジェスチャモジュール、
    をさらに含む請求項１に記載の装置。
  6. 前記プロセッサに結合された記憶装置、
    をさらに含み、
    前記記憶装置は、視覚的参照と、視覚的参照と前記ユーザからの電波の対応する強度及びパターンとの組み合わせに関連付けられた仮想オブジェクトと、該仮想オブジェクトの特徴と、を記憶するように構成されたデータベースを含み、前記仮想オブジェクトの特徴は、前記ユーザの電波の強度及びパターンにおける変化に応答して状態を変更するように構成される、
    請求項５に記載の装置。
  7. 前記焦点領域は、前記ディスプレイの予め定義された部分に対応し、前記特徴の状態は、前記特徴が前記ディスプレイの予め定義された部分内に位置することに応答して変わり、前記ディスプレイの予め定義された部分は、前記ディスプレイに対して中央の領域、前記ディスプレイの端部に隣接する領域、前記ディスプレイのコーナーに隣接する領域、又はディスプレイ領域のユーザ定義された部分のうち、少なくとも１つを含む、請求項５に記載の装置。
  8. 前記特徴の状態は、前記特徴が時間閾値を超える時間の間、前記ディスプレイの予め定義された部分内に位置することに応答して、変わる、請求項７に記載の装置。
  9. 前記視覚的ジェスチャモジュールは、焦点領域検出器と特徴状態修正器とを含み、
    前記焦点領域検出器は、前記ディスプレイの焦点領域の中の３次元の仮想オブジェクトの特徴の存在を検出するように構成され、
    前記特徴状態修正器は、前記特徴が前記焦点領域の中に存在することに応答して前記特徴の状態を変更するように構成される、
    請求項５に記載の装置。
  10. 前記特徴状態修正器は、前記焦点領域の中の前記仮想オブジェクトの第１のコンポーネントを前記焦点領域の中の前記仮想オブジェクトの第２のコンポーネントで置換することによって前記特徴の状態を変更するように構成される、請求項９に記載の装置。
  11. コンピューティング装置を用いて、物理オブジェクトから参照識別子を捕捉するステップと、
    前記コンピューティング装置のディスプレイに第１の仮想オブジェクトを表示するステップであって、前記第１の仮想オブジェクトは前記参照識別子に基づく、ステップと、
    前記コンピューティング装置のユーザの脳活動データを受信するステップであって、前記脳活動データは、前記コンピューティング装置の前記ディスプレイに前記第１の仮想オブジェクトを表示することに応答して生成される、ステップと、
    前記参照識別子及び前記脳活動データをネットワークを介してリモートサーバに通信するステップであって、前記リモートサーバは、前記参照識別子に関連付けられた複数の仮想オブジェクトを識別し、前記複数の仮想オブジェクトに基づいて複数の脳波パターンを取り出し、各脳波パターンは対応する仮想オブジェクトに関連付けられ、前記ユーザの脳活動データを前記複数の脳波パターンと比較し、前記複数の仮想オブジェクトから第２の仮想オブジェクトを識別し、前記第２の仮想オブジェクトは前記複数の脳波パターンからの脳波パターンに関連付けられ、前記脳波パターンは前記脳活動データに対応する、ように構成される、ステップと、
    前記第２の仮想オブジェクトを識別する前記リモートサーバからの通信を受信するステップと、
    前記ディスプレイに前記第１の仮想オブジェクトと共に前記第２の仮想オブジェクトを表示するステップと、
    前記物理オブジェクトに対する前記コンピューティング装置の位置に基づいて、前記ディスプレイの中の前記第１及び第２の仮想オブジェクトのビューを調整するステップと、
    前記ユーザに結合された脳波検査（ＥＥＧ）脳波センサを用いて脳波データを生成するステップと、
    心拍センサを用いて前記ユーザの心拍データを生成するステップと、
    アイトラッキングセンサを用いて前記ディスプレイ上での前記ユーザの注視を決定するステップと、
    前記コンピューティング装置の地理的場所を決定するステップと、
    前記脳波データと、前記心拍データと、前記ユーザの注視と、前記コンピューティング装置の地理的場所とに基づいて、前記ユーザの心理状態を識別するステップと、
    を含む方法。
  12. 前記コンピューティング装置の記憶装置に、複数の仮想オブジェクトモデルを対応参照識別子と共に記憶するステップと、
    前記参照識別子が前記記憶装置に記憶されたいずれかの参照識別子に対応するかを決定するステップと、
    前記記憶装置からの前記参照識別子に対応する仮想オブジェクトモデルにアクセスするステップと、
    前記仮想オブジェクトモデルを用いて前記仮想オブジェクトを生成するステップと、
    をさらに含む請求項１１に記載の方法。
  13. 前記リモートサーバから前記参照識別子に対応する仮想オブジェクトモデルを受信するステップと、
    前記仮想オブジェクトモデルを用いて前記仮想オブジェクトを生成するステップと、
    をさらに含む請求項１１に記載の方法。
  14. 前記ユーザに関連付けられたソーシャルネットワーク情報にアクセスするステップと、
    前記ユーザに関連付けられた前記ソーシャルネットワーク情報に基づいて、前記ユーザの心理状態を識別するステップと、
    をさらに含む請求項１１に記載の方法。
  15. 前記ディスプレイの中の焦点領域と前記仮想オブジェクトの特徴とを決定するステップと、
    前記特徴が前記ディスプレイの焦点領域の中にあること、又は前記ユーザの脳活動データにおける変化に応答して、前記仮想オブジェクトの特徴の状態を変更するステップと、
    をさらに含む請求項１１に記載の方法。
  16. データベースに、視覚的参照と、視覚的参照と前記ユーザからの電波の対応する強度及びパターンとの組み合わせに関連付けられた仮想オブジェクトと、該仮想オブジェクトの特徴とを記憶するステップであって、前記仮想オブジェクトの特徴は、前記ユーザの脳活動データにおける変化に応答して状態を変更するように構成される、ステップ、
    をさらに含む請求項１３に記載の方法。
  17. 前記焦点領域が、前記ディスプレイの予め定義された部分に対応し、前記特徴の状態は、前記特徴が前記ディスプレイの予め定義された部分内に位置することに応答して変わり、前記ディスプレイの予め定義された部分は、前記ディスプレイに対して中央の領域、前記ディスプレイの端部に隣接する領域、前記ディスプレイのコーナーに隣接する領域、又はディスプレイ領域のユーザ定義された部分のうち、少なくとも１つを含む、請求項１５に記載の方法。
  18. 前記特徴が時間閾値を超える時間の間、前記ディスプレイの予め定義された部分内に位置することに応答して、前記特徴の状態を変更するステップ、
    をさらに含む請求項１６に記載の方法。
  19. 前記ディスプレイの焦点領域の中の前記仮想オブジェクトの特徴の存在を検出するステップと、
    前記特徴が前記焦点領域の中に存在することに応答して前記特徴の状態を変更するステップと、
    をさらに含む請求項１３に記載の方法。
  20. マシンの１以上のプロセッサにより実行されるときに、前記マシンに、
    物理オブジェクトから参照識別子を捕捉するステップと、
    ディスプレイに第１の仮想オブジェクトを表示するステップであって、前記第１の仮想オブジェクトは前記参照識別子に基づく、ステップと、
    ユーザの脳活動データを受信するステップであって、前記脳活動データは、前記ディスプレイに前記第１の仮想オブジェクトを表示することに応答して生成される、ステップと、
    前記参照識別子及び前記脳活動データをネットワークを介してリモートサーバに通信するステップであって、前記リモートサーバは、前記参照識別子に関連付けられた複数の仮想オブジェクトを識別し、前記複数の仮想オブジェクトに基づいて複数の脳波パターンを取り出し、各脳波パターンは対応する仮想オブジェクトに関連付けられ、前記ユーザの脳活動データを前記複数の脳波パターンと比較し、前記複数の仮想オブジェクトから第２の仮想オブジェクトを識別し、前記第２の仮想オブジェクトは前記複数の脳波パターンからの脳波パターンに関連付けられ、前記脳波パターンは前記脳活動データに対応する、ように構成される、ステップと、
    前記第２の仮想オブジェクトを識別する前記リモートサーバからの通信を受信するステップと、
    前記ディスプレイに前記第１の仮想オブジェクトと共に前記第２の仮想オブジェクトを表示するステップと、
    前記物理オブジェクトに対する前記マシンの位置に基づいて、前記ディスプレイの中の前記第１及び第２の仮想オブジェクトのビューを調整するステップと、
    前記ユーザに結合された脳波検査（ＥＥＧ）脳波センサを用いて脳波データを生成するステップと、
    心拍センサを用いて前記ユーザの心拍データを生成するステップと、
    アイトラッキングセンサを用いて前記ディスプレイ上での前記ユーザの注視を決定するステップと、
    前記マシンの地理的場所を決定するステップと、
    前記脳波データと、前記心拍データと、前記ユーザの注視と、前記マシンの地理的場所とに基づいて、前記ユーザの心理状態を識別するステップと、
    を含む動作を実行させる命令を含むコンピュータプログラム。
JP2016518383A 2013-06-03 2014-06-02 思考を介した拡張現実における仮想オブジェクトの操作 Active JP6040342B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US13/909,042 2013-06-03
US13/909,042 US9354702B2 (en) 2013-06-03 2013-06-03 Manipulation of virtual object in augmented reality via thought
PCT/US2014/040552 WO2014197392A1 (en) 2013-06-03 2014-06-02 Manipulation of virtual object in augmented reality via thought

Publications (2)

Publication Number Publication Date
JP2016521881A JP2016521881A (ja) 2016-07-25
JP6040342B2 true JP6040342B2 (ja) 2016-12-07

Family

ID=51984517

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016518383A Active JP6040342B2 (ja) 2013-06-03 2014-06-02 思考を介した拡張現実における仮想オブジェクトの操作

Country Status (6)

Country Link
US (2) US9354702B2 (ja)
EP (1) EP3005037A4 (ja)
JP (1) JP6040342B2 (ja)
KR (1) KR101694089B1 (ja)
AU (1) AU2014275189B2 (ja)
WO (1) WO2014197392A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9996155B2 (en) 2013-06-03 2018-06-12 Daqri, Llc Manipulation of virtual object in augmented reality via thought

Families Citing this family (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9814426B2 (en) 2012-06-14 2017-11-14 Medibotics Llc Mobile wearable electromagnetic brain activity monitor
CN103970260B (zh) * 2013-01-31 2017-06-06 华为技术有限公司 一种非接触式手势控制方法及电子终端设备
US9383819B2 (en) 2013-06-03 2016-07-05 Daqri, Llc Manipulation of virtual object in augmented reality via intent
US10074401B1 (en) * 2014-09-12 2018-09-11 Amazon Technologies, Inc. Adjusting playback of images using sensor data
US10332283B2 (en) * 2014-09-16 2019-06-25 Nokia Of America Corporation Visualized re-physicalization of captured physical signals and/or physical states
US20170061700A1 (en) * 2015-02-13 2017-03-02 Julian Michael Urbach Intercommunication between a head mounted display and a real world object
US9977241B2 (en) 2015-03-17 2018-05-22 Seiko Epson Corporation Head-mounted display device, control method for head-mounted display device, and computer program
US20160374616A1 (en) * 2015-06-24 2016-12-29 Daqri, Llc Electrode contact quality
JP6586818B2 (ja) * 2015-08-21 2019-10-09 オムロンヘルスケア株式会社 診療支援装置、診療支援方法、診療支援プログラム、生体情報測定装置
DE102015226581B4 (de) * 2015-12-22 2022-03-17 Audi Ag Verfahren zum Betreiben eines Virtual-Reality-Systems und Virtual-Reality-System
CN105528084A (zh) * 2016-01-21 2016-04-27 京东方科技集团股份有限公司 一种显示控制装置及其控制方法、显示控制系统
US10203751B2 (en) 2016-05-11 2019-02-12 Microsoft Technology Licensing, Llc Continuous motion controls operable using neurological data
US9864431B2 (en) 2016-05-11 2018-01-09 Microsoft Technology Licensing, Llc Changing an application state using neurological data
KR20180067984A (ko) 2016-12-13 2018-06-21 현대자동차주식회사 마일드 하이브리드 차량의 mhsg 제어 방법 및 장치
KR102394561B1 (ko) 2016-12-13 2022-05-04 현대자동차 주식회사 마일드 하이브리드 차량의 엔진 시동 장치 및 방법
US10963774B2 (en) 2017-01-09 2021-03-30 Microsoft Technology Licensing, Llc Systems and methods for artificial intelligence interface generation, evolution, and/or adjustment
US10625170B2 (en) * 2017-03-09 2020-04-21 Lumena Inc. Immersive device
US11058961B2 (en) * 2017-03-09 2021-07-13 Kaleb Matson Immersive device
US10877647B2 (en) 2017-03-21 2020-12-29 Hewlett-Packard Development Company, L.P. Estimations within displays
EP3629912A4 (en) * 2017-05-30 2021-03-03 InteraXon Inc. PORTABLE COMPUTER DEVICE WITH ELECTROPHYSIOLOGICAL SENSORS
US10102659B1 (en) 2017-09-18 2018-10-16 Nicholas T. Hariton Systems and methods for utilizing a device as a marker for augmented reality content
CN107613121B (zh) * 2017-09-19 2020-05-12 华南理工大学 一种基于eog的移动通讯拨号方法
US10105601B1 (en) 2017-10-27 2018-10-23 Nicholas T. Hariton Systems and methods for rendering a virtual content object in an augmented reality environment
US10636188B2 (en) 2018-02-09 2020-04-28 Nicholas T. Hariton Systems and methods for utilizing a living entity as a marker for augmented reality content
CN108762476B (zh) * 2018-03-21 2021-04-09 Oppo广东移动通信有限公司 设备提示方法及相关产品
US10551921B2 (en) * 2018-03-23 2020-02-04 Abl Ip Holding Llc Electroencephalography control of controllable device
US10682069B2 (en) * 2018-03-23 2020-06-16 Abl Ip Holding Llc User preference and user hierarchy in an electroencephalography based control system
US10682099B2 (en) * 2018-03-23 2020-06-16 Abl Ip Holding Llc Training of an electroencephalography based control system
US10866638B2 (en) * 2018-03-23 2020-12-15 Abl Ip Holding Llc Neural control of controllable device
US10198871B1 (en) 2018-04-27 2019-02-05 Nicholas T. Hariton Systems and methods for generating and facilitating access to a personalized augmented rendering of a user
KR102581146B1 (ko) * 2018-11-23 2023-09-21 삼성전자주식회사 디스플레이 장치 및 그 제어 방법
US10586396B1 (en) 2019-04-30 2020-03-10 Nicholas T. Hariton Systems, methods, and storage media for conveying virtual content in an augmented reality environment
WO2021215266A1 (ja) * 2020-04-23 2021-10-28 ソニーグループ株式会社 制御装置、及び制御方法
CN113747113A (zh) * 2020-05-29 2021-12-03 北京小米移动软件有限公司 图像显示方法及装置、电子设备、计算机可读存储介质
EP4202610A1 (en) 2021-12-27 2023-06-28 Koninklijke KPN N.V. Affect-based rendering of content data
KR20230165612A (ko) * 2022-05-27 2023-12-05 주식회사 케이티앤지 가상 연기 구현 방법 및 장치

Family Cites Families (70)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US935470A (en) * 1908-12-08 1909-09-28 Andrew Davis Drilling-machine table.
US5759044A (en) 1990-02-22 1998-06-02 Redmond Productions Methods and apparatus for generating and processing synthetic and absolute real time environments
FI111892B (fi) * 1997-04-22 2003-09-30 Nokia Oy Ab Monitoiminen viestinlaite
US20020044152A1 (en) * 2000-10-16 2002-04-18 Abbott Kenneth H. Dynamic integration of computer generated and real world images
AU2002224398A1 (en) 2000-10-19 2002-04-29 Bernhard Dohrmann Apparatus and method for delivery of instructional information
US9153074B2 (en) * 2011-07-18 2015-10-06 Dylan T X Zhou Wearable augmented reality eyeglass communication device including mobile phone and mobile computing via virtual touch screen gesture control and neuron command
WO2006012678A1 (en) * 2004-08-03 2006-02-09 Silverbrook Research Pty Ltd Walk-up printing
US7788075B2 (en) * 2004-08-16 2010-08-31 Mcw Research Foundation System and method for sensory defect simulation
US8614676B2 (en) 2007-04-24 2013-12-24 Kuo-Ching Chiang User motion detection mouse for electronic device
US20080191864A1 (en) * 2005-03-31 2008-08-14 Ronen Wolfson Interactive Surface and Display System
WO2006121956A1 (en) 2005-05-09 2006-11-16 Infinite Z, Inc. Biofeedback eyewear system
US11428937B2 (en) * 2005-10-07 2022-08-30 Percept Technologies Enhanced optical and perceptual digital eyewear
US8209620B2 (en) 2006-01-31 2012-06-26 Accenture Global Services Limited System for storage and navigation of application states and interactions
US9101279B2 (en) 2006-02-15 2015-08-11 Virtual Video Reality By Ritchey, Llc Mobile user borne brain activity data and surrounding environment data correlation system
US20080050711A1 (en) * 2006-08-08 2008-02-28 Doswell Jayfus T Modulating Computer System Useful for Enhancing Learning
US20080218472A1 (en) 2007-03-05 2008-09-11 Emotiv Systems Pty., Ltd. Interface to convert mental states and facial expressions to application input
US10198958B2 (en) 2007-05-04 2019-02-05 Freer Logic Method and apparatus for training a team by employing brainwave monitoring and synchronized attention levels of team trainees
NZ560457A (en) 2007-08-15 2010-02-26 William Bryan Woodard Image generation system
US9513699B2 (en) 2007-10-24 2016-12-06 Invention Science Fund I, LL Method of selecting a second content based on a user's reaction to a first content
US20130073978A1 (en) 2011-09-16 2013-03-21 Social Communications Company Capabilities based management of virtual areas
US7754955B2 (en) * 2007-11-02 2010-07-13 Mark Patrick Egan Virtual reality composer platform system
US20090156955A1 (en) 2007-12-13 2009-06-18 Searete Llc, A Limited Liability Corporation Of The State Of Delaware Methods and systems for comparing media content
US20090327871A1 (en) * 2008-06-26 2009-12-31 Microsoft Corporation I/o for constrained devices
US9191238B2 (en) 2008-07-23 2015-11-17 Yahoo! Inc. Virtual notes in a reality overlay
EP2327003B1 (en) * 2008-09-17 2017-03-29 Nokia Technologies Oy User interface for augmented reality
US8671069B2 (en) * 2008-12-22 2014-03-11 The Trustees Of Columbia University, In The City Of New York Rapid image annotation via brain state decoding and visual pattern mining
US8427508B2 (en) 2009-06-25 2013-04-23 Nokia Corporation Method and apparatus for an augmented reality user interface
US8531452B2 (en) 2009-07-21 2013-09-10 Konami Digital Entertainment Co., Ltd. Video game machine, gaming image display control method and display mode switching control method
US20110040155A1 (en) 2009-08-13 2011-02-17 International Business Machines Corporation Multiple sensory channel approach for translating human emotions in a computing environment
CN102791332A (zh) 2009-11-04 2012-11-21 代理并代表亚利桑那州立大学的亚利桑那董事会 调节大脑活动的设备和方法
KR101080803B1 (ko) 2009-11-17 2011-11-07 한국과학기술연구원 실감 인터랙션 시스템 및 방법
US9373123B2 (en) * 2009-12-30 2016-06-21 Iheartmedia Management Services, Inc. Wearable advertising ratings methods and systems
US20130278631A1 (en) * 2010-02-28 2013-10-24 Osterhout Group, Inc. 3d positioning of augmented reality information
US8847879B2 (en) * 2010-04-08 2014-09-30 Disney Enterprises, Inc. Motionbeam interaction techniques for handheld projectors
US20120200600A1 (en) * 2010-06-23 2012-08-09 Kent Demaine Head and arm detection for virtual immersion systems and methods
KR101347518B1 (ko) 2010-08-12 2014-01-07 주식회사 팬택 필터의 선택이 가능한 증강 현실 사용자 장치 및 방법, 그리고, 증강 현실 서버
US20120050144A1 (en) * 2010-08-26 2012-03-01 Clayton Richard Morlock Wearable augmented reality computing apparatus
CN103299330A (zh) 2010-10-21 2013-09-11 圣脑私营有限责任公司 人类体验及购买行为的神经心理建模方法及装置
US20120113223A1 (en) 2010-11-05 2012-05-10 Microsoft Corporation User Interaction in Augmented Reality
TW201227128A (en) * 2010-12-21 2012-07-01 J Touch Corp Three-dimensional image display device and electrochromic module thereof
PT105469A (pt) * 2011-01-04 2012-11-19 Marta Isabel Santos Paiva Ferraz Da Conceicao Fato interativo para videojogos em que se usam sensores eletrónicos e objetos físicos
US10109065B2 (en) 2011-01-25 2018-10-23 Qualcomm Incorporated Using occlusions to detect and track three-dimensional objects
US8810598B2 (en) * 2011-04-08 2014-08-19 Nant Holdings Ip, Llc Interference based augmented reality hosting platforms
US20120257035A1 (en) * 2011-04-08 2012-10-11 Sony Computer Entertainment Inc. Systems and methods for providing feedback by tracking user gaze and gestures
US8676937B2 (en) 2011-05-12 2014-03-18 Jeffrey Alan Rapaport Social-topical adaptive networking (STAN) system allowing for group based contextual transaction offers and acceptances and hot topic watchdogging
US8676230B2 (en) * 2011-05-16 2014-03-18 Neurosky, Inc. Bio signal based mobile device applications
KR101252169B1 (ko) 2011-05-27 2013-04-05 엘지전자 주식회사 휴대 단말기 및 그 동작 제어방법
KR101239284B1 (ko) 2011-05-31 2013-03-06 삼성에스디에스 주식회사 증강현실 컨텐츠를 통해 타겟장치를 제어하는 제어단말기 및 서버
US10108783B2 (en) 2011-07-05 2018-10-23 Saudi Arabian Oil Company Systems, computer medium and computer-implemented methods for monitoring health of employees using mobile devices
US9256711B2 (en) * 2011-07-05 2016-02-09 Saudi Arabian Oil Company Systems, computer medium and computer-implemented methods for providing health information to employees via augmented reality display
KR101280170B1 (ko) 2011-08-01 2013-06-28 김현아 이동 단말에서의 증강현실 기반 정보 처리 방법
AU2011205223C1 (en) 2011-08-09 2013-03-28 Microsoft Technology Licensing, Llc Physical interaction with virtual objects for DRM
US8963956B2 (en) 2011-08-19 2015-02-24 Microsoft Technology Licensing, Llc Location based skins for mixed reality displays
US20130138248A1 (en) * 2011-11-30 2013-05-30 Honeywell International Inc. Thought enabled hands-free control of multiple degree-of-freedom systems
TWI482108B (zh) * 2011-12-29 2015-04-21 Univ Nat Taiwan To bring virtual social networks into real-life social systems and methods
US20130178257A1 (en) * 2012-01-06 2013-07-11 Augaroo, Inc. System and method for interacting with virtual objects in augmented realities
US20130201215A1 (en) * 2012-02-03 2013-08-08 John A. MARTELLARO Accessing applications in a mobile augmented reality environment
US9449446B1 (en) * 2012-05-27 2016-09-20 Make Ideas, LLC System employing a plurality of brain/body-generated inputs to control the multi-action operation of a controllable device
WO2013180798A1 (en) * 2012-05-29 2013-12-05 Icelero Inc Method, apparatus and system for expressing and exchanging opinions on virtual objects
US20140002443A1 (en) * 2012-06-29 2014-01-02 Blackboard Inc. Augmented reality interface
US10180715B2 (en) * 2012-10-05 2019-01-15 Elwha Llc Correlating user reaction with at least an aspect associated with an augmentation of an augmented view
US9030495B2 (en) * 2012-11-21 2015-05-12 Microsoft Technology Licensing, Llc Augmented reality help
WO2014085910A1 (en) * 2012-12-04 2014-06-12 Interaxon Inc. System and method for enhancing content using brain-state data
KR102099086B1 (ko) * 2013-02-20 2020-04-09 삼성전자주식회사 디지털 텔레비전 및 사용자 디바이스를 이용하여 사용자 맞춤형 인터랙션을 제공하는 방법, 그 디지털 텔레비전 및 사용자 디바이스
US9773332B2 (en) * 2013-03-14 2017-09-26 Otoy, Inc. Visual cortex thought detector interface
US9235968B2 (en) * 2013-03-14 2016-01-12 Otoy, Inc. Tactile elements for a wearable eye piece
US20140267005A1 (en) * 2013-03-14 2014-09-18 Julian M. Urbach Eye piece for augmented and virtual reality
US9245388B2 (en) * 2013-05-13 2016-01-26 Microsoft Technology Licensing, Llc Interactions of virtual objects with surfaces
US9383819B2 (en) 2013-06-03 2016-07-05 Daqri, Llc Manipulation of virtual object in augmented reality via intent
US9354702B2 (en) 2013-06-03 2016-05-31 Daqri, Llc Manipulation of virtual object in augmented reality via thought

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9996155B2 (en) 2013-06-03 2018-06-12 Daqri, Llc Manipulation of virtual object in augmented reality via thought

Also Published As

Publication number Publication date
AU2014275189B2 (en) 2016-12-22
KR20160016948A (ko) 2016-02-15
US9996155B2 (en) 2018-06-12
AU2014275189A1 (en) 2016-01-21
JP2016521881A (ja) 2016-07-25
US20160246371A1 (en) 2016-08-25
US9354702B2 (en) 2016-05-31
US20140354534A1 (en) 2014-12-04
WO2014197392A1 (en) 2014-12-11
KR101694089B1 (ko) 2017-01-06
EP3005037A1 (en) 2016-04-13
EP3005037A4 (en) 2017-02-08

Similar Documents

Publication Publication Date Title
JP6040342B2 (ja) 思考を介した拡張現実における仮想オブジェクトの操作
JP5985116B1 (ja) 意図を介した拡張現実における仮想オブジェクトの操作
US20180203518A1 (en) Control of a real world object user interface
JP2024509722A (ja) エクステンデッドリアリティにおけるユーザ相互作用
US11748056B2 (en) Tying a virtual speaker to a physical space
US20220253136A1 (en) Methods for presenting and sharing content in an environment
KR20140011204A (ko) 컨텐츠 제공 방법 및 이를 적용한 디스플레이 장치
US20160374616A1 (en) Electrode contact quality
US20230206572A1 (en) Methods for sharing content and interacting with physical devices in a three-dimensional environment
US20240005612A1 (en) Content transformations based on reflective object recognition
WO2023043647A1 (en) Interactions based on mirror detection and context awareness

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160408

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20160408

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20160408

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20160601

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160607

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160906

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20161011

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20161107

R150 Certificate of patent or registration of utility model

Ref document number: 6040342

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: R3D02

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250