JP5985116B1 - 意図を介した拡張現実における仮想オブジェクトの操作 - Google Patents

意図を介した拡張現実における仮想オブジェクトの操作 Download PDF

Info

Publication number
JP5985116B1
JP5985116B1 JP2016518381A JP2016518381A JP5985116B1 JP 5985116 B1 JP5985116 B1 JP 5985116B1 JP 2016518381 A JP2016518381 A JP 2016518381A JP 2016518381 A JP2016518381 A JP 2016518381A JP 5985116 B1 JP5985116 B1 JP 5985116B1
Authority
JP
Japan
Prior art keywords
user
virtual object
display
state
feature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2016518381A
Other languages
English (en)
Other versions
JP2016529581A (ja
Inventor
マリンズ，ブライアン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Daqri LLC
Original Assignee
Daqri LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Family has litigation
First worldwide family litigation filed litigation Critical https://patents.darts-ip.com/?family=51984516&utm_source=google_patent&utm_medium=platform_link&utm_campaign=public_patent_search&patent=JP5985116(B1) "Global patent litigation dataset” by Darts-ip is licensed under a Creative Commons Attribution 4.0 International License.
Application filed by Daqri LLC filed Critical Daqri LLC
Application granted granted Critical
Publication of JP5985116B1 publication Critical patent/JP5985116B1/ja
Publication of JP2016529581A publication Critical patent/JP2016529581A/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/953—Querying, e.g. by the use of web search engines
    • G06F16/9537—Spatial or temporal dependent retrieval, e.g. spatiotemporal queries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2200/00—Indexing scheme relating to G06F1/04 - G06F1/32
    • G06F2200/16—Indexing scheme relating to G06F1/16 - G06F1/18
    • G06F2200/163—Indexing scheme relating to constructional details of the computer
    • G06F2200/1637—Sensing arrangement for detection of housing movement or orientation, e.g. for controlling scrolling or cursor movement on the display of an handheld computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01—Indexing scheme relating to G06F3/01
    • G06F2203/011—Emotion or mood input determined on the basis of sensed human body parameters such as pulse, heart rate or beat, temperature of skin, facial expressions, iris, voice pitch, brain activity patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/19—Sensors therefor
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/04—Changes in size, position or resolution of an image
    • G09G2340/0492—Change of orientation of the displayed image, e.g. upside-down, mirrored
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/001—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background
    • G09G3/003—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background to produce spatial visual effects
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G16H40/67—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for remote operation
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/50—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for simulation or modelling of medical disorders

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Hardware Design (AREA)
  • Neurosurgery (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Dermatology (AREA)
  • Computer Graphics (AREA)
  • Neurology (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Architecture (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)

Abstract

意図に基づいて仮想オブジェクトを操作するシステム及び方法が説明される。物理オブジェクトからの参照識別子が捕捉される。参照識別子はネットワークを介してリモートサーバに通信される。リモートサーバは、参照識別子に関連付けられた仮想オブジェクトデータを含む。仮想オブジェクトデータはコンピューティング装置において受信される。仮想オブジェクトデータを用いて、仮想風景の中に仮想イメージが表示される。仮想イメージは、ユーザにより引き起こされるコンピューティング装置と物理オブジェクトとの間の相対的動きに応答して修正される。ユーザの脳活動データが受信される。脳活動データに基づいて、仮想風景の中の仮想オブジェクトの状態が変更される。

Description

関連出願
本出願は、２０１３年６月３日に申請された米国出願第１３／９０８，６２１号に対する優先を主張する国際出願であり、上記米国出願は、その全体を本明細書において参照により援用される。
本明細書に開示される対象事項は、概して、データの処理に関する。詳細には、本開示は、意図を介して拡張現実における仮想オブジェクトを操作するシステム及び方法に対処する。
タッチスクリーンを備えたモバイル装置上のユーザインターフェースでは、しばしば、ユーザがモバイル装置のスクリーンを物理的にタップ又はスワイプしてアプリケーション内の特徴をアクティブ化することが求められる。モバイル装置上のいくつかのアプリケーションでは、通常、ユーザが自身の指又はスタイラスでタッチスクリーンと相互作用してアプリケーションに対する入力を提供することが求められる。モバイル装置を両手で保持しながら該モバイル装置上でコンテンツを見るとき、例えば、画像を撮影するときなどは、ユーザは、一方の手をモバイル装置から離して、例えば、アプリケーションにおける写真シャッターボタンをタップすることなどにより、コマンドをアクティブ化することが求められる。
添付図面の図において、いくつかの実施形態が限定ではなく例として示される。
いくつかの実施形態例に従う、意図に基づいたコンテンツの選択及び操作を可能にするのに適した装置である。 いくつかの実施形態例に従う、図１の装置における電波アプリケーションのモジュール（例えば、コンポーネント）を例示するブロック図である。 いくつかの実施形態例に従う、図１の装置における拡張現実アプリケーションのモジュール（例えば、コンポーネント）を例示するブロック図である。 いくつかの実施形態例に従う、図３の拡張現実アプリケーションの焦点領域検出器のモジュール（例えば、コンポーネント）を例示するブロック図である。 いくつかの実施形態例に従う、図３の拡張現実アプリケーションの特徴状態修正器のモジュール（例えば、コンポーネント）を例示するブロック図である。 いくつかの実施形態例に従う、意図に基づいた図１の装置における仮想オブジェクトの選択の視覚化の一例を例示する図である。 いくつかの実施形態例に従う、意図に基づいた図１の装置における既存仮想オブジェクトに対するアクションの視覚化の一例を例示する図である。 いくつかの実施形態例に従う、視覚的ジェスチャと組み合わせられた意図に基づいた装置における既存仮想オブジェクトに対するアクションの視覚化の一例を例示する図である。 いくつかの実施形態例に従う、図１の装置のディスプレイの中の仮想オブジェクトの特徴の状態における変更をトリガするための視覚的ジェスチャの一例を例示する図である。 いくつかの実施形態例に従う、図１の装置における仮想オブジェクトの特徴に焦点を合わせるための視覚的ジェスチャの一例を例示する図である。 いくつかの実施形態例に従う、図１の装置における仮想オブジェクトの特徴の状態における変更をトリガするための視覚的ジェスチャの一例を例示するブロック図である。 いくつかの実施形態例に従う、意図に基づいて仮想オブジェクトを生成する方法を実行する際の、装置の視覚化アプリケーションの動作の一例を例示するフローチャートである。 いくつかの実施形態例に従う、意図に基づいて既存仮想オブジェクトを操作する方法を実行する際の、装置の視覚化アプリケーションの動作の一例を例示するフローチャートである。 いくつかの実施形態例に従う、意図及び視覚的ジェスチャに基づいて仮想オブジェクトを操作する方法を実行する際の、装置の視覚化アプリケーションの動作の一例を例示するフローチャートである。 いくつかの実施形態例に従う、マシン可読媒体から命令を読み出し、本明細書に論じられる方法論のうち任意の１つ以上を実行することができるマシンのコンポーネントを例示するブロック図である。 いくつかの実施形態例に従う、脳活動データに基づいて仮想オブジェクトを操作する動作の一例を例示するラダー図である。
方法及びシステムの例は、意図に基づいた拡張現実における仮想オブジェクトの操作に向けられている。例は単に、あり得るバリエーションの代表例である。特に明示的に記されない限り、コンポーネント及び機能は任意的であり、組み合わせられ又は細分化されてもよい。さらに、動作は順序が変わってもよく、あるいは組み合わせられ又は細分化されてもよい。下記の説明において、説明することを目的として、実施形態例の深い理解を提供するために、多数の具体的な詳細が明記される。しかしながら、本願対象事項は、こうした具体的な詳細なしに実施され得ることが当業者には明らかであろう。
拡張現実アプリケーションは、例えば、装置のカメラにより捕捉された物理オブジェクトの画像上にオーバーレイされた３次元仮想オブジェクトの形式などの情報を、ユーザが体験することを可能にする。物理オブジェクトには、拡張現実アプリケーションが識別することができる視覚的参照を含むことができる。追加情報の視覚化、例えば、物理オブジェクトのイメージにオーバーレイされ又は連動した３次元仮想オブジェクトなどが、装置のディスプレイに生成される。３次元仮想オブジェクトは、認識された視覚的参照に基づいて選択することができる。３次元仮想オブジェクトの視覚化のレンダリングは、視覚的参照に対するディスプレイの位置に基づくことができる。
意図に基づいて仮想オブジェクトを操作するシステム及び方法が説明される。物理オブジェクトからの参照識別子が捕捉される。参照識別子はネットワークを介してリモートサーバに通信される。リモートサーバは、参照識別子に関連付けられた仮想オブジェクトデータを含む。仮想オブジェクトデータはコンピューティング装置において受信される。仮想オブジェクトデータを用いて、仮想イメージが仮想風景の中に表示される。仮想イメージは、ユーザにより引き起こされるコンピューティング装置と物理オブジェクトとの間の相対的動きに応答して修正される。ユーザの脳活動データが受信される。脳活動データに基づいて、仮想風景の中の仮想オブジェクトの状態が変更される。
一実施形態例において、装置が、カメラと、拡張現実アプリケーションと、脳活動アプリケーションとを含む。カメラは、物理オブジェクトから参照識別子を捕捉する。拡張現実アプリケーションは、ネットワークを介して参照識別子をリモートサーバに通信する。リモートサーバは、参照識別子に関連付けられた仮想オブジェクトデータを含む。拡張現実アプリケーションは、仮想オブジェクトデータを装置において受信し、仮想オブジェクトデータを用いて仮想風景の中に仮想イメージを表示する。ユーザにより引き起こされる装置と物理オブジェクトとの間の相対的動きに応答して、拡張現実アプリケーションは仮想イメージを修正する。脳活動アプリケーションは、ユーザの脳活動データを受信し、脳活動データに基づいて仮想風景の中の仮想オブジェクトの状態を変更する。
別の実施形態例において、装置は、ディスプレイの中の焦点領域と仮想オブジェクトの特徴とを決定する視覚的ジェスチャモジュールをさらに含む。それから、視覚的ジェスチャモジュールは、特徴がディスプレイの焦点領域の中にあることに応答して、特徴の状態を変更する。そのようなものとして、装置における「視覚的ジェスチャ」は、ユーザが自身の手を使って装置のディスプレイ上でタップする必要なしに、ユーザが装置のディスプレイの中の特徴を選択し及びアクティブ化することを可能にする。例えば、装置のカメラが、装置の背面カメラから捕捉されるリアルタイムイメージを表示している間に、ユーザは、装置を物理的に移動し、向きを変更する（reorienting）ことによって、「視覚的ジェスチャ」をする。装置は、描画された物理オブジェクトを、生成された仮想オブジェクト及びその特徴とオーバーレイしているため、装置の物理的なモーション及び向き変更は、特徴のうち１つをディスプレイの焦点領域へと移動させるジェスチャをもたらし、アクションが生成される結果になり得る。
別の実施形態例において、視覚的ジェスチャモジュールは、ディスプレイの中の焦点領域と仮想オブジェクトの特徴とを決定する。それから、視覚的ジェスチャモジュールは、出力の強度に応答して特徴の状態を変更する。
別の実施形態例において、記憶装置が、視覚的参照と、視覚的参照に対応する仮想オブジェクトと、仮想オブジェクトの特徴とを記憶するデータベースを含む。仮想オブジェクトの特徴は、出力の強度に応答して状態を変更するように構成される。
別の実施形態例において、焦点領域は、ディスプレイの予め定義された部分に対応する。特徴の状態は、特徴がディスプレイの予め定義された部分内に位置することに応答して、変わる。
別の実施形態例において、ディスプレイの予め定義された部分は、ディスプレイに対して中央の領域、ディスプレイの端部に隣接する領域、ディスプレイのコーナーに隣接する領域、又はディスプレイ領域のユーザ定義された部分のうち、少なくとも１つを含む。
別の実施形態例において、特徴の状態は、特徴がある時間閾値を超える時間の間、ディスプレイの予め定義された部分内に位置することに応答して、変わる。
別の実施形態例において、特徴の状態は、出力の強度がある時間閾値を超える時間の間、強度閾値を超えることに応答して、変わる。
別の実施形態例において、視覚的ジェスチャモジュールは、焦点領域検出器と特徴状態修正器とを含む。焦点領域検出器は、ディスプレイの焦点領域の中の３次元仮想オブジェクトの特徴の存在を検出する。特徴状態修正器は、特徴が焦点領域の中に存在することに応答して特徴の状態を変更する。
別の実施形態例において、特徴状態修正器は、焦点領域の中の仮想オブジェクトの第１のコンポーネントを焦点領域の中の仮想オブジェクトの第２のコンポーネントで置換することによって特徴の状態を変更する。
別の実施形態例において、非一時的マシン可読記憶装置が、少なくとも１つのプロセッサにより実行されるときに本開示内に論じられる方法動作を該少なくとも１つのプロセッサに実行させる命令セットを記憶することができる。
図１は、いくつかの実施形態例に従う装置１００を例示しているブロック図であり、この装置は、装置上での視覚的ジェスチャ（visual gestures）と装置のユーザからの意図とに基づいたコンテンツの選択を可能にするのに適している。装置１００は、センサ１０２と、ディスプレイ１０４と、プロセッサ１０６と、記憶装置１０８とを含むことができる。例えば、装置１００は、デスクトップコンピュータ、車載コンピュータ、タブレットコンピュータ、ナビゲーション装置、ポータブルメディア装置、ユーザのスマートフォン、又はユーザウェアラブルコンピューティング装置（例えば、メガネ）であり得る。ユーザは、人間ユーザ（例えば、人間）、マシンユーザ（例えば、装置１００と相互作用するようにソフトウェアプログラムによって構成されたコンピュータ）、又はこれらのうち任意の適切な組み合わせ（例えば、マシンにより支援された人間、又は人間により監督されたマシン）であり得る。
センサ１０２は、人間から電気的活動を測定する電極を含むことができる。例えば、センサ１０２は、脳のＥＥＧ（脳波検査）波、筋肉のＥＭＧ（筋電図検査）波、及び目のＥＯＧ（電気眼球図）波を測定する電極を含むことができる。センサ１０２を使用して、ＥＥＧを通して人間の集中レベル又は心理状態に関する電気信号を検出することによって、脳波を監視することができる。センサは、例えば、ユーザの頭部に付けられたヘッドセットを使用することによって実施することができる。別の例において、センサ１０２を使用して、顔の筋肉を監視してユーザの顔の表情を検出することができる。
別の実施形態例において、センサ１０２は、光学センサ（例えば、電荷結合素子（ＣＣＤ））、向きセンサ（例えば、ジャイロスコープ）、及び／又はオーディオセンサ（例えば、マイクロフォン）をさらに含むことができる。例えば、装置１００は、ユーザの目の動き及び顔の表情を追跡する前面（front-facing）カメラと、物理オブジェクト（又は別の表示されている仮想オブジェクト）の画像又は動画を捕捉する背面カメラ（rear-facing）とを含むことができる。本明細書に説明されているセンサ１０２は例示目的のものであり、ゆえにセンサ１０２は説明されているものに限定されないことが留意される。別の例において、センサ１０２は、装置１００に物理的に接続されないことがあり、しかし代わって、Ｗｉ‐ＦｉやＢｌｕｅｔｏｏｔｈ（登録商標）などのワイヤレス手段を介して装置１００に結合される。
ディスプレイ１０４には、例えば、タッチスクリーンディスプレイを含むことができ、このタッチスクリーンディスプレイは、該タッチスクリーンディスプレイ上での接触を介してユーザ入力を受信するように構成される。別の例において、ディスプレイ１０４には、プロセッサ１０６により生成されたイメージを表示するように構成されたスクリーン又はモニタを含むことができる。別の実施形態において、ディスプレイ１０４は、ユーザがディスプレイ１０４を透かして見ることができるように、透過的又は半不透明（semi-opaque）であってもよい。
プロセッサ１０６は、電波（例えば、ＥＥＧ脳波）アプリケーション１１０と拡張現実アプリケーション１１２とを含むことができる。電波アプリケーション１１０は、センサ１０２からの出力に基づいて、ユーザの心理状態（例えば、リラックスしている、緊張している、幸せ、怒っている）を決定することができる。心理状態は、センサ１０２の出力の強度又はパターンに基づくことができる。拡張現実アプリケーション１１２は、装置１００のディスプレイ１０４において、装置１００のカメラ（図示せず）により捕捉された物理オブジェクトのイメージ上にオーバーレイされた仮想オブジェクトの視覚化（visualization）（３次元又は２次元）を生成することができる。仮想オブジェクトは、ユーザの現在の心理状態に基づいて選択することができる。さらに、仮想オブジェクトと仮想オブジェクトの特徴（features）とを、ユーザの心理状態における変化に基づいて操作することができる。別の実施形態において、仮想オブジェクトは、（例えば、ユーザによって）装置１００のカメラレンズに対して物理オブジェクトの位置を調整することによって、さらに操作されてもよい。同様に、仮想オブジェクトの視覚化は、（例えば、ユーザによって）物理オブジェクトに対して装置１００のカメラレンズの位置を調整することによって操作することができる。
一実施形態において、電波アプリケーション１１０は、ある短い時間にわたり人間の脳から放電された電波の強度又はパターンを識別することができる。複数の電極を、ユーザの頭皮の至る所に置くことができる。各電極は、異なるタイプの波を測定するように構成することができる。例えば、デルタ波は、睡眠中に最も多く存在する。シータ波は、睡眠、深いリラックス、及び視覚化に関連付けられる。アルファ波は、リラックスし穏やかであるときに生じる。ベータ波は、積極的に思考し又は問題を解決しているときに生じる。ガンマ波は、より高次の精神活動や情報の統合に関与しているときに生じる。それから、電波アプリケーション１１０は、センサ１０２の出力に基づいてユーザの心理状態を識別することができる。例えば、電波アプリケーション１１０は、ＥＥＧ電極を単体で、又は他のセンシング装置（マイクロフォン、カメラ、及び心拍数モニタ）と組み合わせて使用することができる。
一実施形態において、拡張現実アプリケーション１１２は、物理オブジェクト上の視覚的参照（visual reference）を識別することができ、装置１００のディスプレイ１０４内で視覚的参照の場所を追跡する。視覚的参照は、マーカーと呼ばれてもよく、識別可能なイメージ、シンボル、文字、数字、マシン可読コードを含むことができる。例えば、視覚的参照には、バーコード、クイックレスポンス（ＱＲ）コード、又は仮想オブジェクトに事前に関連付けられているイメージを含むことができる。
拡張現実アプリケーション１１２は、ディスプレイ１０４の中の物理オブジェクトのイメージ又は画像に連動した（engaged）仮想オブジェクトの視覚化を生成し、表示することができる。仮想オブジェクトは、視覚的参照とユーザの心理状態とに基づいて生成することができる。各仮想オブジェクトは、一意の視覚的参照と対応する心理状態とに対応させることができる（例えば、拡張現実アプリケーション１１２内のある仮想オブジェクトに対して一意）。別の実施形態において、拡張現実アプリケーション１１２は、物理オブジェクトにおける視覚的参照に対する装置１００の位置及び向きに基づいて、仮想オブジェクトの視覚化をレンダリングする（renders）。
拡張現実アプリケーション１１２は、ディスプレイ１０４の中の焦点領域を決定することができる。ディスプレイ１０４の中の焦点領域は、ディスプレイ１０４の中の予め定義された領域に対応させることができる。予め定義された領域は、ディスプレイ１０４の中の仮想オブジェクトの特徴における状態の変更又はアクションをトリガすることができる。仮想オブジェクトの特徴は、センサ１０２の出力の強度に応答して、又はユーザの現在の心理状態（例えば、ユーザがリラックスしている）に応答して状態を変更することができる。仮想オブジェクトの特徴は、さらに、ユーザの心理状態の変化（例えば、ユーザがより集中しつつある）に応答して変わってもよい。特徴は、さらに、該特徴がディスプレイの焦点領域の中に存在している（例えば、表示されている仮想の車のエンジンが焦点領域の中にある）とき、状態を変更してもよい。焦点領域は、拡張現実アプリケーション１１２によって予め定義されてもよく、あるいは、装置１００のユーザによりカスタマイズされ、定義されてもよい。
記憶装置１０８は、視覚的参照と、視覚的参照に対応する仮想オブジェクトと、仮想オブジェクトに対応する仮想オブジェクトの特徴と、対応する心理状態との、データベースを記憶するように構成することができる。仮想オブジェクトの特徴は、ユーザの心理状態を用いて変更することができる。例えば、仮想の椅子の色を、ユーザがより集中するにつれて、青から赤に変更することができる。仮想の椅子は、ユーザがリラックスしている場合、青色で表示され得る。別の例において、仮想オブジェクトの特徴は、該特徴がディスプレイ１０４の焦点領域の中に存在するとき、変更することができる。例えば、視覚的参照には、マシン可読コード又は事前に識別されたイメージ（例えば、靴の画像）を含むことができる。事前に識別された靴のイメージは、靴の画像に対して装置１００の位置を操作することによって種々のアングルから見ることができる３次元の仮想の靴に対応させることができる。３次元の仮想の靴の特徴には、３次元の仮想の靴上の選択可能アイコンを含むことができる。アイコンは、該アイコンをディスプレイ１０４の焦点領域内に表示するように装置１００を移動させる（例えば、再位置づけし、向きを変更し、又は双方を行う）ことによって、選択し又はアクティブ化することができる。例えば、焦点領域は、ディスプレイ１０４の中央領域、ディスプレイ１０４のコーナー、ディスプレイ１０４の端部、又はこれらのうち任意の適切な組み合わせとすることができる。
一実施形態において、装置１００は、ネットワーク（図示せず）を通じてサーバ（図示せず）と通信して、視覚的参照と対応する３次元仮想オブジェクトと３次元仮想オブジェクトの対応する特徴と対応する心理状態とのデータベースの一部分を取り出すことができる。ネットワークは、マシン、データベース、及び装置（例えば、装置１００）の間における又はこれらにわたる通信を可能にする任意のネットワークとすることができる。したがって、ネットワークは、有線ネットワーク、ワイヤレスネットワーク（例えば、モバイル又はセルラーネットワーク）、又はこれらのうち任意の適切な組み合わせとすることができる。ネットワークは、プライベートネットワーク、パブリックネットワーク（例えば、インターネット）、又はこれらのうち任意の適切な組み合わせを構成する１つ以上の部分を含むことができる。
本明細書に説明されているモジュールうち任意の１つ以上を、ハードウェア（例えば、マシンのプロセッサ）、又はハードウェアとソフトウェアとの組み合わせを用いて実施することができる。例えば、本明細書に説明されている任意のモジュールが、該モジュールとして本明細書に説明される動作を実行するようにプロセッサを構成することができる。さらに、上記モジュールのうち任意の２つ以上が単一のモジュールへと組み合わせられてもよく、単一のモジュールとして本明細書に説明されている機能が複数のモジュールに細分化されてもよい。さらに、様々な実施形態例に従い、単一のマシン、データベース、又は装置内で実施されるものとして本明細書に説明されるモジュールが、複数のマシン、データベース、又は装置にわたって分散されてもよい。
図２は、いくつかの実施形態例に従う、装置１００の中の電波アプリケーション１１０のモジュール（例えば、コンポーネント）を例示しているブロック図である。電波アプリケーション１１０には、センサモジュール２０２と、初期化モジュール２０８と、強度モジュール２０４と、パターンモジュール２０６と、心理状態識別モジュール２１０とを含むことができる。
センサモジュール２０２は、センサ１０２からの出力を捕捉する。例えば、センサモジュール２０２は、ユーザの頭皮上に位置づけられたＥＥＧ電極を使用することによって、ユーザの脳により生成された電波を捕捉することができる。これまでに説明されたとおり、センサモジュール２０２は、心拍数モニタ又は顔の筋肉のモニタなどの他のタイプのセンサからの出力を捕捉して、ＥＥＧ電極からの出力をさらに補足することもできる。別の実施形態において、センサ１０２はカメラを含み、ユーザの注視を検出し、ディスプレイ１０４上でユーザがどこを見ているかを決定してもよい。
初期化モジュール２０８は、電波アプリケーション１１０が特定のユーザに基づいてセンサ１０２からの出力を初期化し、較正することを可能にする。初期化モジュール２０８が、ユーザがリラックスした心理状態にある間のセンサからの出力のサンプルを捕捉する間、ユーザはリラックスするように求められ得る。それから、サンプル出力は、ユーザについてのベースライン又は参照として使用することができる。
強度モジュール２０４は、１つ以上のセンサの強度を測定する。例えば、強度モジュール２０４は、アルファ波の電気信号の強度をユーザの心拍と組み合わせて測定して、ユーザのリラックスした心理状態を決定することができる。別の実施形態において、強度は、選択されたセンサからの１つ以上の出力についての統計的計算（例えば、平均又は中央値）に基づいてもよい。
パターンモジュール２０６は、ＥＥＧ電極又はセンサの組み合わせのパターンを測定する。例えば、ユーザがある特定の車について考えているとき、このユーザは一意の脳波パターンを生成し得る。パターンモジュール２０６は、センサ１０２の出力のパターンを記録し、ユーザからの一意のパターンと特定の車とを関連付けることができる。別の実施形態において、パターンモジュール２０６は、選択されたセンサ又は最も関連するセンサからの１つ以上の出力に基づいてパターンを識別する。例えば、パターンモジュール２０６は、ユーザがディスプレイの中の車を見ているときの脳波パターンの一意の組み合わせを識別することができる。パターンモジュール２０６は、装置１００のカメラ又は光学センサを用いて、ユーザが車を見ていると決定する。さらに、ユーザの筋肉に関連付けられた電波からの出力を脳のＥＥＧとの組み合わせで使用して、一意のパターンの識別をさらに増加させることもできる（例えば、アルファ脳波パターンＡ、デルタ脳波パターンＢ、顔の筋肉のパターンＣ、及びディスプレイの中のオブジェクトを見ている目のＤ）。そのようなものとして、ユーザからの各々の一意のパターンを、仮想オブジェクト体験の一意の視覚化に関連付けることができる。換言すると、センサ１０２の一意パターンは、ディスプレイ１０４の中で視覚化されるべき特定の仮想オブジェクトの識別をトリガする。
心理状態識別モジュール２１０は、ゆえに、強度モジュール２０４及びパターンモジュール２０６からの脳活動データに基づいて、ユーザの心理状態を決定し、識別することができる。例えば、心理状態識別モジュール２１０は、ユーザが幸せか、リラックスしているか、怒っているか、集中しているか、空腹か、又はのどが渇いているかを決定することができる。別の実施形態において、心理状態識別モジュール２１０は、強度モジュール２０４から及びパターンモジュール２０６からの変化に基づいて、ユーザの心理状態における変化を決定してもよい。例えば、心理状態識別モジュール２１０は、事前にリラックスしていたユーザが緊張してきたと決定することができる。
図３は、いくつかの実施形態例に従う、装置１００の中の拡張現実アプリケーション１１２のモジュール（例えば、コンポーネント）を例示しているブロック図である。拡張現実アプリケーション１１２には、参照識別子モジュール３０２と、心理状態モジュール３１２と、仮想オブジェクト生成モジュール３０４と、視覚的ジェスチャモジュール３０６とを含むことができる。
心理状態モジュール３１２は、電波アプリケーション１１０の心理状態識別モジュール２１０に基づいて、ユーザの心理状態を生成する。例えば、心理状態モジュール３１２は、ユーザがリラックスしていると示すことができる。心理状態モジュール３１２は、心理状態識別モジュール２１０に基づいて、ユーザの心理状態における変化をさらに識別することができる。
参照識別子モジュール３０２は、装置１００のセンサ１０２によって捕捉された物理オブジェクト上の視覚的参照を識別する。例えば、装置１００のカメラが、物理オブジェクトのイメージ、例えば、新聞の一ページなどを捕捉する。新聞のページには、記事と画像とが含まれ得る。画像は、記憶装置１０８の中に視覚的参照としてすでに識別されている可能性がある。画像は、オブジェクトの対応する３次元モデル（例えば、仮想のソファ）に関連付けることができる。
仮想オブジェクト生成モジュール３０４は、装置１００のセンサ１０２によって捕捉された物理オブジェクトのイメージと連動した３次元仮想オブジェクトの視覚化を生成し、表示する。（例えば、仮想のソファが雑誌ページの上に浮かび、回転する）。仮想オブジェクトは、視覚的参照（例えば、雑誌ページの中の家具広告）に基づくことができる。一実施形態において、各仮想オブジェクトは、視覚的参照に一意に関連付けることができる。仮想オブジェクト生成モジュール３０４は、視覚的参照に対する装置１００の位置に基づいて、仮想オブジェクトの視覚化をレンダリングする。別の実施形態において、仮想オブジェクトの属性が、ユーザの心理状態に基づいてもよい。例えば、仮想オブジェクト生成モジュール３０４は、ユーザの心理状態がユーザがリラックスしていると示すとき、青色のソファを生成することができる。同様に、仮想オブジェクト生成モジュール３０４は、ユーザの心理状態がユーザが興奮していると示すとき、赤色のソファを生成することができる。
さらに別の実施形態において、仮想オブジェクト生成モジュール３０４は、ユーザの心理状態における変化に基づいて仮想オブジェクトを生成する。例えば、ユーザの心理状態がユーザがより興奮しつつあると示すとき、青色の車が赤色の車へとモーフィングしてもよい。
視覚的ジェスチャモジュール３０６は、ディスプレイ１０４の中の焦点領域と仮想オブジェクトの特徴とを決定することができる。例えば、上記の特徴には、３次元仮想オブジェクト上の関心のあるポイント（関心ポイント）又はユーザインタラクティブなオブジェクトを含むことができる。例えば、３次元仮想オブジェクトには、アイコンを有する３次元平面図を含むことができ、アイコンは、３次元平面図の中の関心ポイントに対応させることができる。３次元平面図において表現された部屋の中に位置するアイコンが、その対応する部屋に関するさらなる情報（部屋のサイズ、部屋の説明等）を生成するようにアクティブ化されてもよい。アイコンは、ディスプレイ１０４上のアイコンの表現上でユーザがタップすることによってアクティブ化されてもよい。
一実施形態において、視覚的ジェスチャモジュール３０６は、特徴がディスプレイの焦点領域の中にあるとき、又はユーザの心理状態に基づいて応答的に、特徴の状態を変更し、あるいは特徴をアクティブ化することができる。例えば、焦点領域は、ディスプレイ１０４の中心領域として設定することができる。これまでの例を用いると、ユーザは、関心のある部屋のアイコンがディスプレイ１０４の中の中心領域に表示され得るように、装置１００を移動させることができる。視覚的ジェスチャモジュール３０６は、アイコンの色又は形状を変更して、アイコンが選択されているとユーザに示すことができる。別の例において、関心のある部屋が、ユーザが興奮していると示すユーザ心理状態に基づいて、赤で強調表示されてもよい。
さらに、ユーザが少なくとも所定量の時間（例えば、数秒）の間、ディスプレイ１０４の中心領域の中にアイコンを維持する場合、アイコンが状態を変え、あるいは他の方法でアクティブ化されて、アイコン上でのタップに対応するアクションが開始されてもよい。例えば、ユーザにより選択された部屋の説明を提供するように、ダイアログボックスをディスプレイの中に生成することができる。
別の実施形態において、視覚的ジェスチャモジュール３０６は、焦点領域検出器３０８と特徴状態修正器３１０とを含む。焦点領域検出器３０８は、ディスプレイ１０４の焦点領域の中の仮想オブジェクトの特徴の存在を検出する。焦点領域検出器３０８は、装置１００を見ているユーザの目の動きを追跡して、ユーザが見ているディスプレイの中の特定の場所を決定することができる。例えば、焦点領域検出器３０８は、ユーザ及び物理オブジェクトに対する装置１００のモーション、向き、及び位置に基づいて、ユーザがディスプレイ１０４の中の特定領域を見ていると決定することができる。焦点領域検出器３０８は、ユーザに面している装置の中の１つ以上のカメラレンズを使用して、ユーザの目の動き及び位置と、ゆえにユーザが見ているディスプレイ１０４上の対応する領域とを外挿することができる。
特徴状態修正器３１０は、特徴がディスプレイ１０４の焦点領域の中に存在するときに該特徴の状態を変更するように構成することができる。例えば、特徴状態修正器３１０は、ユーザが見ている領域に対応する特徴を、これまでに説明されたアイトラッキングの特徴を用いてアクティブ化することができる。別の例において、焦点領域検出器３０８が、ユーザがディスプレイ１０４に表示された平面図の中の特定の部屋を見ているとき、興奮していると決定する。仮想オブジェクト生成モジュール３０４は、この特定の部屋の仮想３次元モデルを、明るい壁色で生成することができる。
図４は、いくつかの実施形態例に従う、視覚的ジェスチャモジュール３０６の焦点領域検出器３０８のモジュール（例えば、コンポーネント）を例示しているブロック図である。焦点領域検出器３０８には、装置相対位置モジュール４０２と、中心焦点モジュール４０４と、端部焦点モジュール４０６と、タイマモジュール４０８と、アイトラッキングモジュール４１０と、ユーザ定義領域焦点モジュール４１２とを含むことができる。
装置相対位置モジュール４０２は、センサ１０２を使用することによって物理オブジェクト上の視覚的参照に対する装置１００の位置及び向きを検出するように構成することができる。例えば、ジャイロスコープが、装置１００の向き及び位置を決定することができる。視覚的参照に対する装置１００の照準及び角度を決定するために、カメラが使用されてもよい。換言すると、装置相対位置モジュール４０２は、装置１００が視覚的参照に対してどれほど遠く又はどれほど近いかと、装置１００がどのように視覚的参照に狙いを定めているかとを決定する。
別の実施形態において、装置相対位置モジュール４０２は、装置の向きを検出する。例えば、装置相対位置モジュール４０２は、装置１００が風景モード又はポートレートモードにおいて保持されているかを検出することができる。焦点領域の場所は、装置１００が風景モード又はポートレートモードにおいて保持されているかに依存することができる。さらに、３次元仮想オブジェクトの特徴が、装置１００が風景モード又はポートレートモードにおいて保持されているかに基づいて、有効にされ又は無効にされてもよい。
中心焦点モジュール４０４は、ディスプレイ１０４の中心部にディスプレイ１０４の焦点領域を定義するように構成することができる。例えば、中心焦点モジュール４０４は、ディスプレイ１０４のほぼ中心の領域を焦点領域として定義するように構成することができる。領域は、円の形状、長円形、又は任意の他の形状であってよい。領域は、視覚的ジェスチャモジュール３０６によって予め定義されてもよく、あるいはユーザ選択に基づいてカスタマイズされてもよい。例えば、ユーザが、焦点領域をディスプレイ１０４の中の別の領域に移動させることができてもよい。
端部焦点モジュール４０６は、ディスプレイ１０４の端部にディスプレイ１０４の焦点領域を定義するように構成することができる。例えば、端部焦点モジュール４０６は、ディスプレイ１０４の端部における又はコーナーにある領域を、焦点領域として定義するように構成することができる。領域は、円の形状、長円形、又は任意の他の形状であってよい。領域は、さらに、視覚的ジェスチャモジュール３０６によって予め定義されてもよく、あるいはユーザ選択に基づいてカスタマイズされてもよい。例えば、ユーザが、焦点領域をディスプレイ１０４の中の別の領域に移動させることができてもよい。
タイマモジュール４０８は、仮想オブジェクトの特徴がディスプレイ１０４の焦点領域内に位置するように装置１００が視覚的参照に対して指し示されている時間の量を測定するように構成することができる。
アイトラッキングモジュール４１０は、装置１００を見ているユーザの目の動きを追跡してユーザが見ている装置１００のディスプレイの中の領域を決定するように構成することができる。
ユーザ定義領域焦点モジュール４１２は、ユーザがディスプレイ１０４の中の領域のうち任意の部分又は領域のうち任意の形状を定義し及び選択して焦点領域を使用することを可能にするように構成することができる。
図５は、いくつかの実施形態例に従う、視覚的ジェスチャモジュール３０６の特徴状態修正器３１０のモジュール（例えば、コンポーネント）を例示しているブロック図である。特徴状態修正器３１０は、これまでに説明されたとおり、ディスプレイ１０４の中の焦点領域に存在する特徴の状態を変更するように構成することができる。例えば、焦点領域がディスプレイ１０４の中心領域にある場合、特徴状態修正器モジュール３１０は、ユーザが少なくとも所定量の時間（例えば、数秒）の間、ディスプレイ１０４の中心領域の中にアイコンを維持していると焦点領域検出器３０８が検出したときに、アイコンの色を変更して、該アイコンが選択されているとユーザに示すことができる。その場合、アイコンは、状態を変更し、あるいは他の方法でアクティブ化されて、アイコン上でのタップに対応するアクションを開始することができる。例えば、ユーザにより選択された部屋の説明を提供するように、ダイアログボックスをディスプレイの中に生成することができる。
別の例において、特徴状態修正器モジュール３１０は、ユーザが少なくとも所定量の時間（例えば、数秒）の間、ディスプレイ１０４の中心領域の中にアイコンを維持していると焦点領域検出器３０８が検出したとき、及び、ユーザが少なくとも所定量の時間（例えば、数秒）の間、特定の心理状態を維持していると心理状態モジュール３１２が決定したときに、アイコンの色を変更して、該アイコンが選択されているとユーザに示すことができる。
特徴状態修正器３１０には、状態変更視覚化モジュール５０２とアクションモジュール５０４とを含むことができる。状態変更視覚化モジュール５０２は、焦点領域の中のアイコンを変更するように構成することができる。例えば、アイコンの色又は形状が変更されてもよく、あるいは、アイコンが別のアイコン又は別のインターフェース、例えば通知ボックスなどで置換されてもよい。
アクションモジュール５０４は、ディスプレイ１０４上のアイコン上でのタップと同様にアクションをトリガするように構成することができる。例えば、アクションモジュール５０４は、メッセージ通知、ダイアログボックス、メニュー、又は、ディスプレイ１０４の焦点領域の中の特徴の存在によって若しくはユーザの心理状態によってトリガされる任意の他のアクションを生成することができる。別の実施形態において、アクションモジュール５０４は、例えばワイヤレスネットワークを介して、装置１００から別のデバイスへの通信を生成するように構成することができる。
図６Ａは、いくつかの実施形態例に従う、意図に基づいた装置における仮想オブジェクトの視覚化の一例を例示しているブロック図である。ユーザ６０１が、センサ６１０、例えば、ユーザ６０１の頭皮に位置づけられた電極などを装備している。これまでに説明されたとおり、センサ６１０には、他のタイプの測定装置、中でも、顔の筋肉の活動や心拍の活動を測定するものを含むことができる。センサ６１０は、ワイヤを介して装置６００（例えば、モバイル通信装置）に物理的に結合することができる。別の例において、センサ６１０は、ワイヤレス通信手段（例えば、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＺｉｇＢｅｅ（登録商標））を用いて、ワイヤレスに装置６００と通信することができる。
ユーザ６０１は、装置６００のリアカメラ６１２を、視覚的参照６０６を有する物理オブジェクト６０４の方へ向ける。これまでに説明されたとおり、視覚的参照６０６には、画像、マシン可読コード、又は装置６００の中の拡張現実アプリケーション１１２に対して一意である任意の他の識別子を含むことができる。物理オブジェクト６０４は、例えば、雑誌又は新聞のページであり得る。別の実施形態において、物理オブジェクト６０４と視覚的参照６０６とは、一緒に組み合わせられてもよい（例えば、ポスター又はカップ）。こうした場合、３次元物理オブジェクトを視覚的参照として使用することができる。例えば、特定のパターン又はデザインを有するカップなどの３次元オブジェクトが、視覚的参照として使用されてもよい。装置６００は、リアカメラ６１２を用いて物理オブジェクト６０４及び視覚的参照６０６のイメージ又は画像を捕捉する。
装置６００は、センサ６１０からの出力と視覚的参照６０６とに基づいて、装置６００のディスプレイ６０２の中の３次元仮想オブジェクトの視覚化を生成する。例えば、装置６００は、ユーザ６０１がある建築事務所に地理的に位置していると決定することができる。装置６００は、センサ６１０から、ユーザ６０１の心理状態が集中した状態に対応すると決定する。別の実施形態において、さらに、装置６００の前面カメラ６１４がユーザ６０１の心理状態に対する追加データを強化し、提供してもよい。例えば、装置６００は、前面カメラ６１４を用いてユーザ６０１のライブ画像を取得して笑顔か渋面かを決定することができる。別の例において、前面カメラ６１４は、ユーザのアイデンティティを決定するように顔認識に使用されてもよい。装置６００はユーザ６０１から、選好、例えば、好きな色やアイテムなどを取り出すことができる。別の例において、装置６００は、装置６００の地理的場所（例えば、オフィス、家、レストラン、市、国）と、視覚的参照６０６の捕捉の時間（例えば、朝、午後、晩、休日、週末）と、視覚的参照６０６に対する装置６００の向き（例えば、ポートレート又は風景、どれほど近いか）と、ユーザ６０１の識別（例えば、顔認識又はログイン情報を用いて）と、ユーザ６０１の選好（例えば、好きな色、好きなタイプの音楽）と、ユーザ６０１に関連したソーシャルネットワーク情報（例えば、フレンド数、関心、フレンドの近さ、投稿）と、センサ６１０からの出力（例えば、ＥＥＧの脳の波、ＥＭＧの筋肉の波、ＥＯＧの目の波、心拍、血圧）と、視覚的参照６０６との組み合わせに基づいて、ディスプレイ６０２に表示されるべき仮想オブジェクトを決定し、識別し、操作する。
それから、装置６００は、ユーザ６０１の心理状態に基づいて、物理オブジェクト６０４の画像に連動した３次元仮想オブジェクトの視覚化を生成することができる。この例では、集中した状態について、ビル６０８の３次元モデルがディスプレイ６０２の中の物理オブジェクト６０４のイメージの上にレンダリングされる。別の例において、ユーザの心理状態がリラックスしている場合、装置６００は、ディスプレイ６０２の中の物理オブジェクト６０４のイメージの上にレンダリングされる別荘の３次元モデルを生成してもよい。そのようなもとして、装置６００は、捕捉された視覚的参照６０６のイメージとユーザ６０１の現在の心理状態とに応答して、ディスプレイ６０２に表示されるべき仮想オブジェクトを決定する。
図６Ｂは、いくつかの実施形態例に従う、意図に基づいた装置における仮想オブジェクトに対するアクションの視覚化の一例を例示しているブロック図である。装置６００は、ユーザ６０１の心理状態における変化（例えば、幸せから怒りへ）を決定する。それから、装置６００は、センサ６１０からの出力における変化と前面カメラ６１４とに応答したユーザ６０１の心理状態における変化に基づいて、装置６００のディスプレイ６０２の中の３次元仮想オブジェクトの視覚化における変更を生成する。例えば、ユーザ６０１が顔をしかめており、集中していないと装置６００が検出したときに、ビル６０８を覆う雨がディスプレイ６０２に動的にアニメ化されてもよい。
このようなものとして、ディスプレイ６０２にすでに表示されている３次元仮想オブジェクトの変更が、ユーザ６０１の心理状態における変化に基づいて決定される。別の例において、ユーザ６０１がビル６０８を見ている間によりリラックスしてきたときに、ビル６０８の色がより明るい色相へと変わってもよい。別の例において、ユーザ６０１が動揺してきたときに、ビル６０８のテクスチャがより粗いテクスチャに変わってもよい。
図６Ｃは、いくつかの実施形態例に従う、視覚的ジェスチャと組み合わせた意図に基づいた装置における仮想オブジェクトに対するアクションの視覚化の一例を例示しているブロック図である。
装置６００の前面カメラ６１４が、ユーザ６０１の注視を捕捉し、監視することができる。換言すると、装置６００は、目の動きを追跡して、ディスプレイ６０２上のどこをユーザが見ているかを決定することができ得る。別の実施形態において、装置６００の前面カメラ６１４は、アイトラッキングの動きとヘッドトラッキングの動きとの組み合わせを用いて、ユーザ６０１の注視を決定する。
ビル６０８には、関心ポイントアイコン６１８、６２０、６２２を含むことができる。例えば、関心ポイントアイコン６１８は、トリガされ、あるいは他の方法で選択されたときに、ビル６０８の３次元モデルに対する関心ポイントアイコン６１８の場所に対応する追加情報を提供することができる。
一実施形態において、関心ポイントアイコン６１８の状態は、関心ポイント６１８を見ているユーザ６０１とユーザ６０１の心理状態とに応答して、変更することができる。例えば、関心ポイント６１８は、ユーザ６０１の心理状態に基づいて、色を変更されてもよい。
別の実施形態において、装置６００は、ユーザ６０１が関心ポイントアイコン６１８を見ていることと、ユーザ６０１の心理状態が集中した状態に対応することとの決定に応答して、関心ポイントアイコン６１８に関するさらなる情報を表示してもよい。例えば、ユーザ６０１が関心ポイントアイコン６１８を見ており、ユーザ６０１が集中した状態にあるとセンサ６１０を用いて決定されるときに、説明ボックスがディスプレイ６０８にポップアップしてもよい。
別の実施形態において、ユーザ６０１は、関心ポイントアイコン５１２が装置６００のディスプレイ６０２の中央領域に表示されるように、物理オブジェクト６０４に対して装置６００を位置づける。一実施形態において、関心ポイントアイコン６１８の状態は、ユーザに選択を通知するように変更されてもよい。例えば、関心ポイントアイコン６１８の色が、装置６００のユーザに注目をさせるように変更されてもよい。
別の実施形態において、前面カメラ６１４は、装置６００のディスプレイ６０２の中のビル６０８を見ているユーザ６０１の、目の動きを追跡する。装置６００は、ユーザ６０１がディスプレイ６０２上のある領域（例えば、旗竿）を見ていると決定する。領域は、ビル６０８上の予め識別された場所に対応させることができる。予め識別された場所には、領域に関連付けられたビル６０８上の関心ポイントを含むことができる。例えば、装置６００が、ユーザ６０１がビル６０８の旗竿を数秒間見ていると検出する。一例において、旗竿に関するさらなる情報を示すダイアログボックスを表示することができる。別の例において、装置６００は、ビル６０８上の予め識別された場所に関連付けられた任意の他のアクションを生成してもよい。
別の実施形態において、装置６００には透過ディスプレイ（図示せず）を含んでもよく、この透過ディスプレイを使用して、物理オブジェクト又は物理オブジェクト上の特定場所を識別することができる。一例において、透過ディスプレイは、（例えば、メガネの取り付け部又はヘッドギアの取り付け部を介して、）ユーザの頭部に取り付けることができる。別の例において、透過ディスプレイは、ユーザ６０１が保持し目を通して、透過ディスプレイの後ろの物理オブジェクトを見えるようにするハンドヘルド装置であり得る。装置６００の背面カメラは、（例えば、物理オブジェクトのイメージと参照イメージとを比較することによって、）ユーザによって見られている物理オブジェクトを認識することができる。具体的に、ユーザ及び物理オブジェクトに対しての透過ディスプレイの位置及び向きを使用して、ユーザの視線を決定することができる。決定されたユーザの視線を用いて、装置は、見られている物理オブジェクトと、物理オブジェクトのうち具体的にどのパートが見られているかとを、リアルタイムで識別することができる。
いったん装置６００が、認識された物理オブジェクト又は認識された物理オブジェクトの一部が予め識別された物理オブジェクト又は物理オブジェクトの予め識別された一部に対応することを識別すると、この装置は、ユーザ６０１の心理状態に基づいて、対応するアクション（例えば、電子メールを送る、サウンドを生成する等）をトリガすることができる。例えば、装置６００は、ユーザ６０１が透過ディスプレイでテレビジョンセットの底部部分へと目を通していると検出する。装置６００は、テレビジョンセットを認識し、テレビジョンセットの底部部分（ユーザ６０１によって見られている）が、ＴＶをオン又はオフに切り換えるためのテレビジョンセットに対する通信の生成に対応するアクションに関連付けられると決定する。ユーザ６０１が少なくとも数秒の間、テレビジョンセットの底部部分を見ていて、その心理状態がユーザは集中していると示す場合、装置６００は、対応する信号を生成してテレビジョンセットをオン又はオフにする。
別の例において、装置６００が、ユーザ６０１の心理状態に基づいて、ＴＶの上にオーバーレイされたＴＶチャンネルの仮想メニューを表示してもよい。例えば、ユーザが興奮している場合、ＴＶチャンネルのメニューには、スポーツチャンネル及びアクション映画を含むことができる。別の例において、ユーザ６０１が、装置６００の透過ディスプレイでラジオ装置へと目を通し得る。同様に、ユーザ６０１の心理状態に基づいて、音楽チャンネルの仮想メニューをラジオ装置の上に表示することができる。例えば、装置６００は、ユーザ６０１がリラックスし又は眠そうであるとセンサ６１０が示すときに、クラシック音楽又はリラックスする音楽のチャンネルの仮想メニューを表示してもよい。
図７は、いくつかの実施形態例に従う、装置のディスプレイの中の３次元仮想オブジェクトの特徴の状態における変更をトリガするための視覚的ジェスチャの一例を例示しているブロック図である。例えば、装置６００が、関心ポイントアイコン６１８が少なくとも所定量の時間の間、焦点領域（例えば、ディスプレイ６０２の中心領域）に存在し続けていることを検出したとき、ユーザ６０１の心理状態に基づいて関心ポイントアイコン６１８の状態を変更するように、アクションがトリガされる。例えば、ダイアログボックス７０２がポップアップしてもよく、あるいは、関心ポイントアイコン６１８とユーザ６０１の心理状態とに対応する別のアクション（例えば、メディアファイルを再生する、関心ポイントアイコン６１８を保存する、説明を電子メールする）が装置６００上に表示されてもよい。別の例において、ダイアログボックス７０２の内容がユーザ６０１の心理状態に基づいてもよい。
図８は、いくつかの実施形態例に従う、装置における３次元オブジェクトの特徴に焦点を合わせるための視覚的ジェスチャの一例を例示しているブロック図である。例えば、装置６００の焦点領域が、装置６００のコーナー８０２、８０４、８０６、８０８に位置することができる。各コーナーは、ユーザの心理状態にさらに基づいた対応するアクション（例えば、関心ポイントを保存するなどのアクションをトリガすること）に関連付けることができる。例えば、コーナー８０２は、電子メールを送ることに関連付けることができる。電子メールの受信者は、ユーザの心理状態に基づいて決定することができる。ユーザが幸せである場合、電子メールには、ビル６０８を設計した建築事務所の代表建築家に対するテンプレートの賛辞の電子メールが含まれる。ユーザが不幸せである場合、電子メールには、カスタマサービス部門に対するテンプレートの苦情の電子メールを含むことができる。
図９は、いくつかの実施形態例に従う、装置における３次元オブジェクトの特徴の状態における変更をトリガするための視覚的ジェスチャの一例を例示しているブロック図である。例えば、関心ポイントアイコン６２０が少なくとも数秒の間、コーナー８０２の焦点領域内にあるとの理由で、拡張現実アプリケーション１１２は、ダイアログボックス９０２を生成して、関心ポイントアイコン６２０とユーザの現在の心理状態とに関連付けられた説明を提供することができる。そのようなものとして、装置６００のユーザ６０１は、装置６００のスクリーン又はディスプレイ上でタップする必要なく、装置における３次元オブジェクトに関連したアクションを生成することができる。
図１０は、いくつかの実施形態例に従う、意図に基づいて仮想オブジェクトを視覚化する方法１０００の実行における装置の視覚化アプリケーションの動作の一例を例示しているフローチャートである。動作１００２において、ユーザの心理状態が、人間に結合されたセンサの出力の強度に基づいて識別される。出力には、例えば、電気的脳波を含むことができる。一実施形態において、動作１００２は、図１の装置１００の電波アプリケーション１１０を用いて実行することができる。
動作１００４において、装置により捕捉された物理オブジェクトのイメージが認識され、あるいは識別される。一実施形態において、動作１００４は、物理オブジェクト上の視覚的参照を識別する参照識別子モジュール３０２によって実行することができる。
動作１００６において、仮想オブジェクト生成モジュール３０４が、物理オブジェクトのイメージと連動した（例えば、その上にオーバーレイされた）仮想オブジェクトの視覚化を生成し、表示する。仮想オブジェクトは、視覚的参照とユーザの心理状態（例えば、センサの出力の強度）とに対応する。一実施形態において、仮想オブジェクト生成モジュール３０４は、視覚的参照に対するディスプレイの位置に基づいて、仮想オブジェクトの視覚化をレンダリングする。
図１１は、いくつかの実施形態例に従う、意図に基づいた仮想オブジェクトの操作の方法１１００の実行における装置の視覚化アプリケーションの動作の一例を例示しているフローチャートである。
動作１１０２において、ユーザの心理状態における変化が、ユーザに結合されたセンサの出力の強度における変化に基づいて識別される。一実施形態において、動作１１０２は、図１の装置１００の電波アプリケーション１１０を用いて実行することができる。
動作１１０４において、仮想オブジェクト生成モジュール３０４は、ユーザの心理状態における変化（例えば、センサの出力の強度における変化）に基づいて、ディスプレイの中の事前に表示されている仮想オブジェクトの視覚化を変更する。換言すると、ユーザの心理状態における変化に基づいて、ディスプレイの中の仮想オブジェクトに対してアクションを実行することができる。仮想オブジェクトは、センサの出力における変化に基づいて操作することができる。例えば、ユーザがよりリラックスしてきたときに、仮想オブジェクトの色が赤から青に変わってもよい。ユーザがより集中してきたときに、仮想オブジェクトがより速く回転してもよい。ユーザがディスプレイ上の仮想の車のドアの場所により集中してきたときに、そのドアが開いてもよい。一実施形態において、仮想オブジェクト生成モジュール３０４は、視覚的参照に対するディスプレイの位置における変化に基づいて、仮想オブジェクトの視覚化をレンダリングする。
図１２は、いくつかの実施形態に従う、意図と視覚的ジェスチャとに基づいた仮想オブジェクトの操作の方法１２００の実行における装置の視覚化アプリケーションの動作の一例を例示しているフローチャートである。
動作１２０２において、ユーザの心理状態が、人間に結合されたセンサの出力の強度に基づいて識別される。出力には、例えば、電気的脳波をふくむことができる。一実施形態において、動作１２０２は、図１の装置１００の電波アプリケーション１１０を用いて実行することができる。
動作１２０６において、視覚的ジェスチャモジュール３０６が、ディスプレイの中の焦点領域と仮想オブジェクトの特徴とを決定する。視覚的ジェスチャモジュール３０６は、特徴がディスプレイの焦点領域の中にあることに応答して、及びユーザの心理状態（又は、心理状態の変化）に応答して、特徴の状態を変更する。
一実施形態において、参照識別子モジュール３０２及び視覚的ジェスチャモジュール３０６が、視覚的参照、対応する仮想オブジェクト、仮想オブジェクトの対応する特徴、対応する心理状態のデータベースを、装置の記憶装置に記憶する。仮想オブジェクトの特徴は、ディスプレイの焦点領域の中にあることに応答して状態を変更される。
一実施形態において、視覚的ジェスチャモジュール３０６は、特徴がディスプレイの予め定義された部分内に位置することとユーザの心理状態とに応答して、特徴の状態を変更する。焦点領域は、ディスプレイの予め定義された部分に対応する。
一実施形態において、ディスプレイの予め定義された部分は、ディスプレイに対して中央の領域、ディスプレイの端部に隣接する領域、ディスプレイのコーナーに隣接する領域、又はユーザ定義された領域を含む。
一実施形態において、視覚的ジェスチャモジュール３０６は、時間閾値を超える時間の間、特徴がディスプレイの予め定義された部分内に位置し、維持された心理状態が時間閾値を超えることに応答して、特徴の状態を変更する。
一実施形態において、視覚的ジェスチャモジュール３０６は、ディスプレイの焦点領域の中の３次元仮想オブジェクトの特徴の存在を検出し、特徴が焦点領域の中に存在するときに（及び、ユーザの心理状態に基づいて）特徴の状態を変更する。
一実施形態において、視覚的ジェスチャモジュール３０６は、焦点領域の中の３次元仮想オブジェクトの第１のコンポーネントを、焦点領域の中の３次元仮想オブジェクトの第２のコンポーネントで置換する。特徴にはインタラクティブオブジェクトを含むことができ、このインタラクティブオブジェクトは、焦点領域の中にあるときに（及び、ユーザの心理状態に基づいて）状態を変える。例えば、インタラクティブオブジェクトは、該インタラクティブオブジェクトが焦点領域の中にあるとき、色が変わってもよい。
図１４は、いくつかの実施形態例に従う、脳活動データに基づいて仮想オブジェクトを操作する動作の一例を例示しているラダー図である。動作１４０６において、装置１４０２（例えば、装置１００）が、物理オブジェクトから参照識別子のイメージを捕捉する。動作１４０８において、装置１４０２は、ネットワークを介して参照識別子をリモートサーバ１４０４に通信する。リモートサーバ１４０４は、参照識別子に関連付けられた仮想オブジェクトデータを取り出す。動作１４１２において、リモートサーバ１４０４は、仮想オブジェクトデータを装置に送る。それから、１４１４において、装置１４０２は、仮想オブジェクトデータを用いて仮想風景の中に仮想イメージを表示する。動作１４１６において、装置１４０２は、ユーザによって引き起こされる装置と物理オブジェクトとの間の相対的動きに応答して、仮想イメージを修正する。装置１４０２の脳活動アプリケーションは、動作１４１８において、ユーザの脳活動データを受信し、動作１４２０において、脳活動データに基づいて仮想風景の中の仮想オブジェクトの状態を変更する。
モジュール、コンポーネント及びロジック
特定の実施形態が、ロジック、又は複数のコンポーネント、モジュール若しくはメカニズムを含むものとして説明されている。モジュールは、ソフトウェアモジュール（例えば、マシン可読媒体上に、又は送信信号内に具現化されたコード）又はハードウェアモジュールのいずれかを構成することができる。ハードウェアモジュールは、特定の動作を実行することができる有形ユニットであり、特定の方式で構成され又は配置されることができる。複数の実施形態例において、１つ以上のコンピュータシステム（例えば、スタンドアロンコンピュータシステム、クライアントコンピュータシステム、又はサーバコンピュータシステム）、又はコンピュータシステムの１つ以上のハードウェアモジュール（例えば、プロセッサ、又はプロセッサのグループ）が、ソフトウェア（例えば、アプリケーション、又はアプリケーションの一部）によって、本明細書に説明された特定の動作を実行するように動作するハードウェアモジュールとして構成されることができる。
様々な実施形態において、ハードウェアモジュールは、機械的に又は電子的に実施することができる。例えば、ハードウェアモジュールは、特定の動作を実行するように（例えば、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）又は特定用途向け集積回路（ＡＳＩＣ）などの特別目的プロセッサとして）永続的に構成された専用回路又はロジックを含むことができる。さらに、ハードウェアモジュールは、特定の動作を実行するようにソフトウェアよって一時的に構成された（例えば、汎用目的プロセッサ又は他のプログラマブルプロセッサ内に包含された）プログラマブルロジック又は回路を含むことができる。ハードウェアモジュールを、機械的に、専用の永続的に構成された回路において、又は一時的に構成された回路（例えば、ソフトウェアによって構成される）において実施するとの判断が、コスト及び時間を考慮することによって推進され得ることが十分理解されるであろう。
したがって、用語「ハードウェアモジュール」は、有形エンティティを包含するものと理解されるべきであり、この有形エンティティは、特定の方式で動作し及び／又は本明細書に説明された特定の動作を実行するように、物理的に構築され、永続的に構成され（例えば、ハードワイヤード）、又は一時的に構成され（例えば、プログラムされ）たエンティティである。ハードウェアモジュールが一時的に構成される（例えば、プログラムされる）実施形態を考えると、ハードウェアモジュールの各々は、時間におけるいずれの段階（instance）においても構成され又はインスタンス化される必要がない。例えば、複数のハードウェアモジュールが、ソフトウェアを用いて構成された汎用目的プロセッサを含む場合、この汎用目的プロセッサは、異なる時間において、それぞれ異なるハードウェアモジュールとして構成されることができる。したがって、ソフトウェアは、例えば、時間のある段階において特定のハードウェアモジュールを構成し、時間の異なる段階において異なるハードウェアモジュールを構成するように、プロセッサを構成することができる。
ハードウェアモジュールは、他のハードウェアモジュールに情報を提供し、他のハードウェアモジュールから情報を受信することができる。したがって、説明されているハードウェアモジュールは、通信可能に結合されたものとみなすことができる。こうしたハードウェアモジュールのうち複数が同時に存在する場合、通信は、ハードウェアモジュールを接続する信号送信を通して（例えば、適切な回路及びバスを通じて）達成することができる。複数のハードウェアモジュールが異なる時間において構成され又はインスタンス化される実施形態において、こうしたハードウェアモジュール間の通信は、例えば、複数のハードウェアモジュールがアクセスを有するメモリ構造においての情報の記憶及び取り出しを通して達成することができる。例えば、あるハードウェアモジュールが動作を実行し、該動作の出力を、このハードウェアモジュールに通信可能に結合されたメモリ装置に記憶することができる。それから、より後の時間において、さらなるハードウェアモジュールが上記メモリ装置にアクセスして、上記の記憶された出力を取り出し、処理することができる。ハードウェアモジュールは、入力又は出力装置との通信をさらに開始してもよく、リソース（例えば、情報の集合）に対して動作することができる。
本明細書に説明された方法例の様々な動作は、関連する動作を実行するように一時的に（例えばソフトウェアによって）構成され又は永続的に構成された１つ以上のプロセッサによって、少なくとも部分的に実行することができる。上記のプロセッサは、一時的に構成されても永続的に構成されても、１つ以上の動作又は機能を実行するように動作する、プロセッサにより実施される（processor-implemented）モジュールを構成することができる。本明細書において言及されるモジュールは、いくつかの実施形態例において、プロセッサにより実施されるモジュールを含むことができる。
同様に、本明細書に説明された方法は、少なくとも部分的に、プロセッサにより実施されることができる。例えば、方法の動作の少なくともいくつかを、１つ以上のプロセッサ又はプロセッサにより実施されるモジュールによって実行することができる。動作のうち特定のものの実行は１つ以上のプロセッサ間で分散させることができ、単一のマシン内に存在してもよいだけでなく、複数のマシンにわたってデプロイされ（deployed）てもよい。いくつかの実施形態例において、１つ又は複数のプロセッサが単一の場所に（例えば、家庭環境内に、オフィス環境内に、又はサーバファームとして）位置することができ、他の実施形態において、プロセッサは複数の場所にわたって分散されてもよい。
１つ以上のプロセッサは、さらに、「クラウドコンピューティング」環境において、又は「サービスとしてのソフトウェア」（ＳａａＳ）として、関連する動作の実行をサポートするように動作することができる。例えば、動作のうち少なくともいくつかが、（プロセッサを含むマシンの例として）コンピュータのグループによって実行されてもよく、これら動作は、ネットワークを介して、及び１つ以上の適切なインターフェース（例えば、ＡＰＩ）を介してアクセス可能である。
電子的な装置及びシステム
実施形態例は、デジタル電子回路において、若しくはコンピュータハードウェア、ファームウェア、ソフトウェアにおいて、又はこれらの組み合わせにおいて実施することができる。実施形態例は、コンピュータプログラムプロダクトを用いて実施されてもよい。コンピュータプログラムプロダクトは、例えば、情報担体の中に有形に具現化されたコンピュータプログラムである。情報担体は、例えば、データ処理装置による実行のため又はデータ処理装置の動作を制御するためのマシン可読媒体である。データ処理装置は、例えば、プログラマブルプロセッサ、コンピュータ、又は複数のコンピュータである。
コンピュータプログラムは、コンパイラ型言語又はインタプリタ型言語を含む任意の形式のプログラミング言語において書くことができ、スタントアロンプログラムとして又はモジュール、サブルーチン、若しくはコンピューティング環境での使用に適した他のユニットとしてを含む任意の形式においてデプロイすることができる。コンピュータプログラムは、１つのサイトにおける１つのコンピュータ上又は複数のコンピュータ上で実行されるようにデプロイされてもよく、あるいは、複数のサイトにわたって分散され、通信ネットワークによって相互接続されてもよい。
実施形態例において、動作は、入力データに対して作用すること及び出力を生成することによって機能を実行するように、コンピュータプログラムを実行する１つ以上のプログラマブルプロセッサによって実行することができる。方法動作は、特別目的ロジック回路（例えば、ＦＰＧＡ又はＡＳＩＣ）によって実行することもでき、実施形態例の装置が、上記特別目的ロジック回路として実施されてもよい。
コンピューティングシステムには、クライアント及びサーバを含むことができる。クライアント及びサーバは、一般に互いからリモートにあり、通常、通信ネットワークを通して相互作用する。クライアント及びサーバの関係は、それぞれのコンピュータ上で実行され、クライアント‐サーバ関係を互いに対して有するコンピュータプログラムによって、発生する。プログラマブルコンピューティングシステムをデプロイする実施形態において、ハードウェアアーキテクチャ及びソフトウェアアーキテクチャの双方が考慮に値することが十分理解されるであろう。具体的に、特定の機能性を、永続的に構成されるハードウェア（例えば、ＡＳＩＣ）において実施するか、一時的に構成されるハードウェア（例えば、ソフトウェアとプログラマブルプロセッサとの組み合わせ）において実施するか、又は永続的に構成されるハードウェアと一時的に構成されるハードウェアとの組み合わせにおいて実施するかの選択は、設計上の選択であり得ることが十分理解されるであろう。下記に、様々な実施形態例においてデプロイされ得るハードウェア（例えば、マシン）及びソフトウェアアーキテクチャを提示する。
例示的なマシンアーキテクチャ及びマシン可読媒体
図１３は、コンピュータシステム１３００の例示的形態におけるマシンのブロック図であり、コンピュータシステム１３００内で、本明細書に論じられた方法論のうち任意の１つ以上をマシンに実行させる命令を実行することができる。代替的な実施形態において、マシンはスタンドアロン装置として動作し、あるいは他のマシンに接続され（例えば、ネットワーク化され）てもよい。ネットワーク化されたデプロイにおいて、マシンは、サーバ‐クライアントネットワーク環境でのサーバ又はクライアントの能力において、又はピアツーピア（又は分散）ネットワーク環境でのピアマシンとして動作することができる。マシンは、パーソナルコンピュータ（ＰＣ）、タブレットＰＣ、セットトップボックス（ＳＴＢ）、パーソナルデジタルアシスタント（ＰＤＡ）、セルラー電話、ウェブ電化製品、ネットワークルータ、スイッチ、若しくはブリッジ、又はマシンにより取られるべきアクションを規定する命令を（順次に又はその他の方法で）実行することができる任意のマシンであってよい。さらに、単一のマシンだけが例示されているが、用語「マシン」は、本明細書に論じられた方法論のうち任意の１つ以上を実行するように命令のセット（又は複数のセット）を個々に又は一緒に実行するマシンの任意の集合をさらに含むものとする。
例示的なコンピュータシステム１３００は、プロセッサ１３０２（例えば、中央処理ユニット（ＣＰＵ）、グラフィクス処理ユニット（ＧＰＵ）、又は双方）と、メインメモリ１３０４と、スタティックメモリ１３０６とを含み、これらは、バス１３０８を介して互いに通信する。コンピュータシステム１３００は、ビデオディスプレイユニット１３１０（例えば、液晶ディスプレイ（ＬＣＤ）又は陰極線管（ＣＲＴ））をさらに含むことができる。コンピュータシステム１３００は、英数字入力装置１３１２（例えば、キーボード）と、ユーザインターフェース（ＵＩ）ナビゲーション（又はカーソル制御）装置１３１４（例えば、マウス）と、ディスクドライブユニット１３１６と、信号生成装置１３１８（例えば、スピーカー）と、ネットワークインターフェース装置１３２０とをさらに含む。
マシン可読媒体
ディスクドライブユニット１３１６はマシン可読媒体１３２２を含み、このマシン可読媒体１３２２上に、本明細書に説明された方法論又は機能のうち任意の１つ以上を具現化し又はこれらにより利用されるデータ構造及び命令１３２４の１つ以上のセット（例えば、ソフトウェア）が記憶される。命令１３２４はさらに、コンピュータシステム１３００による命令１３２４の実行の間、メインメモリ１３０４内及び／又はプロセッサ１３０２内に、完全に又は少なくとも部分的に存在することがあり、メインメモリ１３０４及びプロセッサ１３０２がさらにマシン可読媒体を構成することがある。命令１３２４はさらに、完全に又は少なくとも部分的に、スタティックメモリ１３０６内に存在することがある。
マシン可読媒体１３２２は、一実施形態例において単一の媒体であるように図示されているが、用語「マシン可読媒体」には、１つ以上の命令１３２４又はデータ構造を記憶した単一の媒体又は複数の媒体（例えば、集中型若しくは分散型のデータベース、及び／又は関連するキャッシュ及びサーバ）を含むことができる。用語「マシン可読媒体」は、マシンが実行する命令セットを記憶し、エンコードし又は伝えることができてマシンに本願実施形態の方法論のうち任意の１つ以上を実行させる任意の有形媒体、又は、上記の命令により利用され又は上記の命令に関連するデータ構造を記憶し、エンコードし又は伝えることができる任意の有形媒体をさらに含むものとする。したがって、用語「マシン可読媒体」は、これらに限定されないが、ソリッドステートメモリ、光学媒体、及び磁気媒体を含むものとする。マシン可読媒体の具体例には不揮発性メモリが含まれ、例として、半導体メモリデバイス（例えば、消去可能プログラマブル読取専用メモリ（ＥＰＲＯＭ）、電気的消去可能プログラマブル読取専用メモリ（ＥＥＰＲＯＭ）、及びフラッシュメモリ）と、内部ハードディスク及び取外し可能ディスクなどの磁気ディスクと、光磁気ディスクと、コンパクトディスク読取専用メモリ（ＣＤ‐ＲＯＭ）及びデジタル多用途ディスク（又はデジタルビデオディスク）読取専用メモリ（ＤＶＤ‐ＲＯＭ）ディスクとが含まれる。
送信媒体
さらに、命令１３２４は、ネットワーク１３２６を通じて送信媒体を用いて送信され、あるいは受信されてもよい。命令１３２４は、ネットワークインターフェース装置１３２０と多数の周知の転送プロトコル（例えば、ＨＴＴＰ）のうち任意のものとを用いて送信することができる。通信ネットワークの例には、ＬＡＮ、ＷＡＮ、インターネット、携帯電話網、ＰＯＴＳネットワーク、及びワイヤレスデータネットワーク（例えば、ＷｉＦｉ及びＷｉＭａｘネットワーク）が含まれる。用語「送信媒体」には、マシンが実行する命令を記憶し、エンコードし又は伝えることができる任意の無形媒体を含むものとし、上記のソフトウェアの通信を容易にするためのデジタル若しくはアナログ通信信号又は他の無形媒体が含まれる。
実施形態が具体的な実施形態例を参照して説明されたが、これら実施形態に対して本開示の上位の主旨及び範囲から逸脱することなく様々な修正及び変更がなされ得ることが明らかであろう。したがって、明細書及び図面は、限定的ではなく例示的な意味において考慮されるべきである。本願の一部を成す添付図面は、限定ではなく例示として、対象事項が実施され得る具体的な実施形態を図示している。例示された実施形態は、本明細書に開示された教示を当業者が実施することを可能にするほど十分詳細に説明されている。これらから、他の実施形態が利用され、導出されてもよく、その結果、本開示の範囲から逸脱することなく、構造的及び論理的な代替及び変更が行われ得る。したがって、詳細な説明は、限定する意味に取られるべきではなく、様々な実施形態の範囲は、別記の請求項とこうした請求項が権利を与えられている均等物の完全な範囲とによってのみ定義される。
上記の発明対象事項の実施形態は、個々に及び／又は集合的に、本明細書において用語「発明」によって参照されることがあるが、これは単に簡便さのためであり、２以上の発明又は発明概念が実際に開示されている場合に本出願の範囲をいずれかの単一の発明又は発明概念に自発的に限定する意図はない。ゆえに、具体的な実施形態が本明細書に例示され、説明されたが、同じ目的を達成するように計算された任意の配置が、図示された具体的な実施形態の代替にされてもよいことが十分理解されるべきである。本開示は、様々な実施形態についての任意の及びすべての適合又はバリエーションをカバーすることが意図される。上記の実施形態の組み合わせ、及び本明細書に具体的に説明されていない他の実施形態が、上記の説明を検討した当業者に明らかになるであろう。
本開示の要約は、読み手が技術開示の要旨を迅速に判定することができるように要約を要求する３７Ｃ．Ｆ．Ｒ．セクション１．７２（ｂ）に準拠するために提供される。要約は、請求項の範囲又は意味を解釈又は限定するためには使用されないという理解の下で提出されている。さらに、上記詳細な説明では、開示を簡素化する目的のために、様々な特徴が単一の実施形態の中に一緒に集められていることが分かる。この開示の方法は、請求項に記載された実施形態が各請求項に明示されている特徴より多くの特徴を必要とするとの意図を反映するものとして解釈されるべきではない。それどころか、別記の請求項が反映するように、発明対象事項は、単一の開示された実施形態のすべての特徴に満たない特徴にある。ゆえに、別記の請求項は、これにより、各請求項が別個の実施形態として独立した状態で詳細な説明に組み込まれる。

Claims (16)

  1. 装置であって、
    物理オブジェクトから参照識別子を捕捉するように構成されたカメラと、
    ディスプレイと、
    ハードウェアプロセッサを用いて実施され、前記参照識別子をネットワークを介して前記参照識別子に関連付けられた仮想オブジェクトデータを含むリモートサーバに通信し、前記仮想オブジェクトデータを当該装置において受信し、前記仮想オブジェクトデータを用いて前記ディスプレイに仮想オブジェクトを表示し、ユーザにより引き起こされる当該装置と前記物理オブジェクトとの間の相対的動きに応答して前記ディスプレイの中の前記仮想オブジェクトのビューを修正するように構成された拡張現実アプリケーションと、
    前記ユーザの注視を決定し、前記ユーザの注視に基づいて前記仮想オブジェクト上の場所を識別するように構成されたアイトラッキングモジュールと、
    前記仮想オブジェクト上の前記の識別された場所における前記ユーザの注視に応答して前記ユーザの脳活動データを受信し、前記ユーザの前記脳活動データに基づいて前記ユーザの心理状態を決定し、前記ユーザの心理状態と前記カメラにより捕捉された前記参照識別子とに基づいて、前記仮想オブジェクト上の前記の識別された場所におけるインタラクティブな特徴の状態を変更するように構成された脳活動アプリケーションと、
    前記ディスプレイの焦点領域を識別し、前記ユーザの心理状態における変化に応答して前記仮想オブジェクトの前記特徴の状態を変更するように構成された視覚的ジェスチャモジュールであって、前記焦点領域は前記ディスプレイの予め定義された部分を含み、前記特徴の状態は、前記特徴が時間閾値を超える時間の間、前記ディスプレイの予め定義された部分内に位置することに応答して、変わる、視覚的ジェスチャモジュールと、
    を含む装置。
  2. 前記ディスプレイの焦点領域を識別し、前記特徴が前記ディスプレイの焦点領域の中に表示されることに応答して前記仮想オブジェクトの前記特徴の状態を変更するように構成された視覚的ジェスチャモジュールであって、前記焦点領域は前記ディスプレイの予め定義された部分を含む、視覚的ジェスチャモジュール、
    をさらに含む請求項１に記載の装置。
  3. 前記プロセッサに結合された記憶装置、
    をさらに含み、
    前記記憶装置は、視覚的参照と該視覚的参照に対応する仮想オブジェクトと該仮想オブジェクトの特徴とを記憶するように構成されたデータベースを含み、前記仮想オブジェクトの特徴は、前記ユーザの心理状態に応答して状態を変更するように構成される、
    請求項１に記載の装置。
  4. 前記ユーザの心理状態は、リラックスした状態、緊張した状態、又は集中した状態のうち、少なくとも１つを含み、
    前記脳活動アプリケーションは、前記ユーザの現在の心理状態に基づいて第２の仮想オブジェクトを選択し、前記ユーザの心理状態における変化に基づいて前記第２の仮想オブジェクトの部分を変更する、
    請求項１に記載の装置。
  5. 前記ディスプレイの予め定義された部分は、前記ディスプレイに対して中央の領域、前記ディスプレイの端部に隣接する領域、前記ディスプレイのコーナーに隣接する領域、又はディスプレイ領域のユーザ定義された部分のうち、少なくとも１つを含む、請求項１に記載の装置。
  6. 前記特徴の状態は、前記脳活動データが時間閾値を超える時間の間、閾値を超えることに応答して、変わる、請求項１に記載の装置。
  7. 前記視覚的ジェスチャモジュールは、焦点領域検出器と特徴状態修正器とを含み、
    前記焦点領域検出器は、前記ディスプレイの焦点領域の中の３次元の仮想オブジェクトの特徴の存在を検出するように構成され、
    前記特徴状態修正器は、前記特徴が前記焦点領域の中に存在することに応答して前記特徴の状態を変更するように構成される、
    請求項２に記載の装置。
  8. 前記特徴状態修正器は、前記焦点領域の中の前記仮想オブジェクトの第１のコンポーネントを前記焦点領域の中の前記仮想オブジェクトの第２のコンポーネントで置換することによって前記特徴の状態を変更するように構成される、請求項７に記載の装置。
  9. コンピューティング装置を用いて、物理オブジェクトから参照識別子を捕捉するステップと、
    前記参照識別子をネットワークを介してリモートサーバに通信するステップであって、前記リモートサーバは、前記参照識別子に関連付けられた仮想オブジェクトデータを含む、ステップと、
    前記仮想オブジェクトデータを前記コンピューティング装置において受信するステップと、
    前記仮想オブジェクトデータを用いてディスプレイに仮想オブジェクトを表示するステップと、
    ユーザにより引き起こされる前記コンピューティング装置と前記物理オブジェクトとの間の相対的動きに応答して、前記ディスプレイの中の前記仮想オブジェクトのビューを修正するステップと、
    前記ユーザの注視を決定するステップと、
    前記ユーザの注視に基づいて前記仮想オブジェクト上の場所を識別するステップと、
    仮想イメージ上の前記の識別された場所における前記ユーザの注視に応答して、前記ユーザの脳活動データを受信するステップと、
    前記ユーザの前記脳活動データに基づいて前記ユーザの心理状態を決定するステップと、
    前記ユーザの心理状態とカメラにより捕捉された前記参照識別子とに基づいて、前記仮想イメージ上の前記の識別された場所におけるインタラクティブな特徴の状態を変更するステップと、
    前記ディスプレイの焦点領域を識別するステップと、
    前記ユーザの心理状態における変化に応答して前記仮想オブジェクトの前記特徴の状態を変更するステップであって、前記焦点領域は前記ディスプレイの予め定義された部分を含む、ステップと、
    前記特徴が時間閾値を超える時間の間、前記ディスプレイの予め定義された部分内に位置することに応答して、前記特徴の状態を変更するステップと、
    を含む方法。
  10. 前記ディスプレイの焦点領域を識別するステップと、
    前記特徴が前記ディスプレイの焦点領域の中に表示されることに応答して前記仮想オブジェクトの前記特徴の状態を変更するステップであって、前記焦点領域は前記ディスプレイの予め定義された部分を含む、ステップと、
    をさらに含む請求項９に記載の方法。
  11. データベースに、視覚的参照と該視覚的参照に対応する仮想オブジェクトと該仮想オブジェクトの特徴とを記憶するステップであって、前記仮想オブジェクトの特徴は、前記ユーザの心理状態に応答して状態を変更するように構成される、ステップ、
    をさらに含む請求項９に記載の方法。
  12. 前記ユーザの現在の心理状態に基づいて第２の仮想オブジェクトを選択するステップと、
    前記ユーザの心理状態における変化に基づいて前記第２の仮想オブジェクトの部分を変更するステップと、
    をさらに含み、
    前記ユーザの心理状態は、リラックスした状態、緊張した状態、又は集中した状態のうち、少なくとも１つを含む、
    請求項９に記載の方法。
  13. 前記ディスプレイの予め定義された部分は、前記ディスプレイに対して中央の領域、前記ディスプレイの端部に隣接する領域、前記ディスプレイのコーナーに隣接する領域、又はディスプレイ領域のユーザ定義された部分のうち、少なくとも１つを含む、請求項９に記載の方法。
  14. 前記脳活動データが時間閾値を超える時間の間、閾値を超えることに応答して、前記特徴の状態を変更するステップ、
    をさらに含む請求項９に記載の方法。
  15. 前記ディスプレイの焦点領域の中の前記仮想オブジェクトの特徴の存在を検出するステップと、
    前記特徴の状態を、前記特徴が前記焦点領域の中に存在することに応答して、前記焦点領域の中の前記仮想オブジェクトの第１のコンポーネントを前記焦点領域の中の前記仮想オブジェクトの第２のコンポーネントで置換することによって変更するステップと、
    をさらに含む請求項１０に記載の方法。
  16. マシンの１以上のプロセッサにより実行されるときに、前記マシンに、
    物理オブジェクトから参照識別子を捕捉するステップと、
    前記参照識別子をネットワークを介してリモートサーバに通信するステップであって、前記リモートサーバは、前記参照識別子に関連付けられた仮想オブジェクトデータを含む、ステップと、
    前記仮想オブジェクトデータを前記マシンにおいて受信するステップと、
    前記仮想オブジェクトデータを用いてディスプレイに仮想オブジェクトを表示するステップと、
    ユーザにより引き起こされる前記マシンと前記物理オブジェクトとの間の相対的動きに応答して、前記ディスプレイの中の前記仮想オブジェクトのビューを修正するステップと、
    前記ユーザの注視を決定するステップと、
    前記ユーザの注視に基づいて前記仮想オブジェクト上の場所を識別するステップと、
    前記仮想オブジェクト上の前記の識別された場所における前記ユーザの注視に応答して、前記ユーザの脳活動データを受信するステップと、
    前記ユーザの前記脳活動データに基づいて前記ユーザの心理状態を決定するステップと、
    前記ユーザの心理状態とカメラにより捕捉された前記参照識別子とに基づいて、前記仮想オブジェクト上の前記の識別された場所におけるインタラクティブな特徴の状態を変更するステップと、
    前記ディスプレイの焦点領域を識別するステップと、
    前記ユーザの心理状態における変化に応答して前記仮想オブジェクトの前記特徴の状態を変更するステップであって、前記焦点領域は前記ディスプレイの予め定義された部分を含む、ステップと、
    前記特徴が時間閾値を超える時間の間、前記ディスプレイの予め定義された部分内に位置することに応答して、前記特徴の状態を変更するステップと、
    を含む動作を実行させる命令を含む非一時的マシン可読媒体。
JP2016518381A 2013-06-03 2014-06-02 意図を介した拡張現実における仮想オブジェクトの操作 Expired - Fee Related JP5985116B1 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US13/908,621 2013-06-03
US13/908,621 US9383819B2 (en) 2013-06-03 2013-06-03 Manipulation of virtual object in augmented reality via intent
PCT/US2014/040538 WO2014197387A1 (en) 2013-06-03 2014-06-02 Manipulation of virtual object in augmented reality via intent

Publications (2)

Publication Number Publication Date
JP5985116B1 true JP5985116B1 (ja) 2016-09-06
JP2016529581A JP2016529581A (ja) 2016-09-23

Family

ID=51984516

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016518381A Expired - Fee Related JP5985116B1 (ja) 2013-06-03 2014-06-02 意図を介した拡張現実における仮想オブジェクトの操作

Country Status (6)

Country Link
US (2) US9383819B2 (ja)
EP (2) EP3863276A1 (ja)
JP (1) JP5985116B1 (ja)
KR (1) KR101730759B1 (ja)
AU (1) AU2014275184B2 (ja)
WO (1) WO2014197387A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9996983B2 (en) 2013-06-03 2018-06-12 Daqri, Llc Manipulation of virtual object in augmented reality via intent
JP2021170384A (ja) * 2016-05-20 2021-10-28 マジック リープ, インコーポレイテッドMagic Leap, Inc. ユーザインターフェースメニューのコンテキスト認識

Families Citing this family (70)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9589000B2 (en) * 2012-08-30 2017-03-07 Atheer, Inc. Method and apparatus for content association and history tracking in virtual and augmented reality
US9354702B2 (en) 2013-06-03 2016-05-31 Daqri, Llc Manipulation of virtual object in augmented reality via thought
US10188309B2 (en) 2013-11-27 2019-01-29 North Inc. Systems, articles, and methods for electromyography sensors
US10042422B2 (en) 2013-11-12 2018-08-07 Thalmic Labs Inc. Systems, articles, and methods for capacitive electromyography sensors
US20150124566A1 (en) 2013-10-04 2015-05-07 Thalmic Labs Inc. Systems, articles and methods for wearable electronic devices employing contact sensors
US11921471B2 (en) 2013-08-16 2024-03-05 Meta Platforms Technologies, Llc Systems, articles, and methods for wearable devices having secondary power sources in links of a band for providing secondary power in addition to a primary power source
US10217284B2 (en) * 2013-09-30 2019-02-26 Qualcomm Incorporated Augmented virtuality
KR101740827B1 (ko) * 2014-12-19 2017-05-29 주식회사 와이드벤티지 자석 등을 이용한 컨텐츠 표시 방법 및 이를 수행하는 사용자 단말
CN105892050A (zh) * 2015-01-02 2016-08-24 靳卫强 增强现实智能眼镜
US20170061700A1 (en) * 2015-02-13 2017-03-02 Julian Michael Urbach Intercommunication between a head mounted display and a real world object
KR101750294B1 (ko) * 2015-09-17 2017-06-26 한국과학기술연구원 단일 뇌에 적용되는 뇌-뇌 인터페이스 시스템
JP2017162102A (ja) * 2016-03-08 2017-09-14 株式会社東芝 保守支援方法、保守支援システム、及び保守支援プログラム
US10394316B2 (en) * 2016-04-07 2019-08-27 Hand Held Products, Inc. Multiple display modes on a mobile device
US10290149B2 (en) * 2016-04-08 2019-05-14 Maxx Media Group, LLC System, method and software for interacting with virtual three dimensional images that appear to project forward of or above an electronic display
US20170322679A1 (en) * 2016-05-09 2017-11-09 John C. Gordon Modifying a User Interface Based Upon a User's Brain Activity and Gaze
US9886621B2 (en) * 2016-05-11 2018-02-06 Microsoft Technology Licensing, Llc Segmenting scenes into sematic components using neurological readings
AU2017300636A1 (en) * 2016-07-21 2019-01-31 Magic Leap, Inc. Technique for controlling virtual image generation system using emotional states of user
EP3487595A4 (en) 2016-07-25 2019-12-25 CTRL-Labs Corporation SYSTEM AND METHOD FOR MEASURING MOVEMENTS OF ARTICULATED RIGID BODIES
US11216069B2 (en) 2018-05-08 2022-01-04 Facebook Technologies, Llc Systems and methods for improved speech recognition using neuromuscular information
EP3487395A4 (en) 2016-07-25 2020-03-04 CTRL-Labs Corporation METHODS AND APPARATUS FOR PREDICTING MUSCULOSKELETAL POSITION INFORMATION USING PORTABLE SELF-CONTAINED SENSORS
US10409371B2 (en) 2016-07-25 2019-09-10 Ctrl-Labs Corporation Methods and apparatus for inferring user intent based on neuromuscular signals
US10620817B2 (en) 2017-01-13 2020-04-14 International Business Machines Corporation Providing augmented reality links to stored files
US11058961B2 (en) * 2017-03-09 2021-07-13 Kaleb Matson Immersive device
US10625170B2 (en) * 2017-03-09 2020-04-21 Lumena Inc. Immersive device
WO2018168247A1 (ja) * 2017-03-15 2018-09-20 ソニー株式会社 情報処理装置、情報処理方法およびプログラム
CN107204031B (zh) * 2017-04-27 2021-08-24 腾讯科技（深圳）有限公司 信息展示方法及装置
WO2019051498A1 (en) 2017-09-11 2019-03-14 Nike Innovate C.V. APPARATUS, SYSTEM AND METHOD OF SEARCH USING GEOCACHING
CN111295686A (zh) 2017-09-12 2020-06-16 耐克创新有限合伙公司 多因素认证与认证后处理系统
US11509653B2 (en) 2017-09-12 2022-11-22 Nike, Inc. Multi-factor authentication and post-authentication processing system
EP3697297A4 (en) 2017-10-19 2020-12-16 Facebook Technologies, Inc. SYSTEMS AND METHODS FOR IDENTIFYING BIOLOGICAL STRUCTURES ASSOCIATED WITH NEUROMUSCULAR SOURCE SIGNALS
US11961494B1 (en) 2019-03-29 2024-04-16 Meta Platforms Technologies, Llc Electromagnetic interference reduction in extended reality environments
US10970936B2 (en) 2018-10-05 2021-04-06 Facebook Technologies, Llc Use of neuromuscular signals to provide enhanced interactions with physical objects in an augmented reality environment
WO2019147956A1 (en) 2018-01-25 2019-08-01 Ctrl-Labs Corporation Visualization of reconstructed handstate information
US11150730B1 (en) 2019-04-30 2021-10-19 Facebook Technologies, Llc Devices, systems, and methods for controlling computing devices via neuromuscular signals of users
US11493993B2 (en) 2019-09-04 2022-11-08 Meta Platforms Technologies, Llc Systems, methods, and interfaces for performing inputs based on neuromuscular control
US11481030B2 (en) 2019-03-29 2022-10-25 Meta Platforms Technologies, Llc Methods and apparatus for gesture detection and classification
US11907423B2 (en) 2019-11-25 2024-02-20 Meta Platforms Technologies, Llc Systems and methods for contextualized interactions with an environment
US10937414B2 (en) 2018-05-08 2021-03-02 Facebook Technologies, Llc Systems and methods for text input using neuromuscular information
US11573679B2 (en) * 2018-04-30 2023-02-07 The Trustees of the California State University Integration of user emotions for a smartphone or other communication device environment
US10592001B2 (en) 2018-05-08 2020-03-17 Facebook Technologies, Llc Systems and methods for improved speech recognition using neuromuscular information
EP3801216A4 (en) 2018-05-29 2021-04-14 Facebook Technologies, LLC. SHIELDING TECHNIQUES FOR NOISE REDUCTION IN SURFACE ELECTROMYOGRAPHY SIGNAL MEASUREMENT AND RELATED SYSTEMS AND METHODS
US10970374B2 (en) 2018-06-14 2021-04-06 Facebook Technologies, Llc User identification and authentication with neuromuscular signatures
US11169601B2 (en) 2018-07-12 2021-11-09 Toyota Research Institute, Inc. Methods and systems for determining teleoperating user intent via eye tracking
US11045137B2 (en) 2018-07-19 2021-06-29 Facebook Technologies, Llc Methods and apparatus for improved signal robustness for a wearable neuromuscular recording device
EP3836836B1 (en) 2018-08-13 2024-03-20 Meta Platforms Technologies, LLC Real-time spike detection and identification
EP4241661A1 (en) 2018-08-31 2023-09-13 Facebook Technologies, LLC Camera-guided interpretation of neuromuscular signals
WO2020061451A1 (en) 2018-09-20 2020-03-26 Ctrl-Labs Corporation Neuromuscular text entry, writing and drawing in augmented reality systems
JP2022500729A (ja) * 2018-09-20 2022-01-04 フェイスブック・テクノロジーズ・リミテッド・ライアビリティ・カンパニーFacebook Technologies, Llc 拡張現実システムの神経筋制御
WO2020069181A1 (en) 2018-09-26 2020-04-02 Ctrl-Labs Corporation Neuromuscular control of physical objects in an environment
JP2022550924A (ja) 2018-11-02 2022-12-06 ヴェローナ ホールディングス エスイーズィーシー トークン化プラットフォーム
US11797087B2 (en) 2018-11-27 2023-10-24 Meta Platforms Technologies, Llc Methods and apparatus for autocalibration of a wearable electrode sensor system
US11030812B2 (en) * 2019-01-02 2021-06-08 The Boeing Company Augmented reality system using enhanced models
US10905383B2 (en) 2019-02-28 2021-02-02 Facebook Technologies, Llc Methods and apparatus for unsupervised one-shot machine learning for classification of human gestures and estimation of applied forces
US11786694B2 (en) 2019-05-24 2023-10-17 NeuroLight, Inc. Device, method, and app for facilitating sleep
US11611608B1 (en) 2019-07-19 2023-03-21 Snap Inc. On-demand camera sharing over a network
EP3772042A3 (en) 2019-08-02 2021-04-07 Samsung Electronics Co., Ltd. Electronic apparatus for augmented reality and control method thereof
US11275453B1 (en) 2019-09-30 2022-03-15 Snap Inc. Smart ring for manipulating virtual objects displayed by a wearable device
KR102396337B1 (ko) * 2020-02-26 2022-05-10 네이버랩스 주식회사 오브젝트 기반 증강 컨텐츠의 위치 기반 ar 연동을 위한 전자 장치 및 그의 동작 방법
US11277597B1 (en) 2020-03-31 2022-03-15 Snap Inc. Marker-based guided AR experience
US11798429B1 (en) 2020-05-04 2023-10-24 Snap Inc. Virtual tutorials for musical instruments with finger tracking in augmented reality
US11520399B2 (en) 2020-05-26 2022-12-06 Snap Inc. Interactive augmented reality experiences using positional tracking
WO2022056118A1 (en) * 2020-09-09 2022-03-17 Snap Inc. Augmented reality messenger system
CN116171566A (zh) 2020-09-16 2023-05-26 斯纳普公司 上下文触发的增强现实
US11925863B2 (en) 2020-09-18 2024-03-12 Snap Inc. Tracking hand gestures for interactive game control in augmented reality
US11546505B2 (en) 2020-09-28 2023-01-03 Snap Inc. Touchless photo capture in response to detected hand gestures
US11740313B2 (en) 2020-12-30 2023-08-29 Snap Inc. Augmented reality precision tracking and display
US11531402B1 (en) 2021-02-25 2022-12-20 Snap Inc. Bimanual gestures for controlling virtual and graphical elements
US12013985B1 (en) 2021-02-25 2024-06-18 Snap Inc. Single-handed gestures for reviewing virtual content
US11868531B1 (en) 2021-04-08 2024-01-09 Meta Platforms Technologies, Llc Wearable device providing for thumb-to-finger-based input gestures detected based on neuromuscular signals, and systems and methods of use thereof
CN117178247A (zh) 2021-04-19 2023-12-05 斯纳普公司 用于动画化及控制虚拟和图形元素的手势

Family Cites Families (82)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5759044A (en) * 1990-02-22 1998-06-02 Redmond Productions Methods and apparatus for generating and processing synthetic and absolute real time environments
FI111892B (fi) * 1997-04-22 2003-09-30 Nokia Oy Ab Monitoiminen viestinlaite
US20020044152A1 (en) * 2000-10-16 2002-04-18 Abbott Kenneth H. Dynamic integration of computer generated and real world images
US8348675B2 (en) * 2000-10-19 2013-01-08 Life Success Academy Apparatus and method for delivery of instructional information
US9153074B2 (en) 2011-07-18 2015-10-06 Dylan T X Zhou Wearable augmented reality eyeglass communication device including mobile phone and mobile computing via virtual touch screen gesture control and neuron command
US7567241B2 (en) 2004-08-03 2009-07-28 Silverbrook Research Pty Ltd Stylus with customizable appearance
US7788075B2 (en) * 2004-08-16 2010-08-31 Mcw Research Foundation System and method for sensory defect simulation
US8614676B2 (en) 2007-04-24 2013-12-24 Kuo-Ching Chiang User motion detection mouse for electronic device
WO2006103676A2 (en) * 2005-03-31 2006-10-05 Ronen Wolfson Interactive surface and display system
US20060252979A1 (en) * 2005-05-09 2006-11-09 Vesely Michael A Biofeedback eyewear system
US11428937B2 (en) 2005-10-07 2022-08-30 Percept Technologies Enhanced optical and perceptual digital eyewear
US8209620B2 (en) * 2006-01-31 2012-06-26 Accenture Global Services Limited System for storage and navigation of application states and interactions
US9101279B2 (en) 2006-02-15 2015-08-11 Virtual Video Reality By Ritchey, Llc Mobile user borne brain activity data and surrounding environment data correlation system
US9344612B2 (en) * 2006-02-15 2016-05-17 Kenneth Ira Ritchey Non-interference field-of-view support apparatus for a panoramic facial sensor
US20080050711A1 (en) * 2006-08-08 2008-02-28 Doswell Jayfus T Modulating Computer System Useful for Enhancing Learning
US20080071559A1 (en) * 2006-09-19 2008-03-20 Juha Arrasvuori Augmented reality assisted shopping
US20080218472A1 (en) * 2007-03-05 2008-09-11 Emotiv Systems Pty., Ltd. Interface to convert mental states and facial expressions to application input
US10198958B2 (en) * 2007-05-04 2019-02-05 Freer Logic Method and apparatus for training a team by employing brainwave monitoring and synchronized attention levels of team trainees
NZ560457A (en) * 2007-08-15 2010-02-26 William Bryan Woodard Image generation system
EP2208354A4 (en) * 2007-10-10 2010-12-22 Gerard Dirk Smits IMAGE PROJECTOR WITH REFLECTIVE LIGHT TRACKING
US9513699B2 (en) 2007-10-24 2016-12-06 Invention Science Fund I, LL Method of selecting a second content based on a user's reaction to a first content
US7754955B2 (en) * 2007-11-02 2010-07-13 Mark Patrick Egan Virtual reality composer platform system
US20090156955A1 (en) * 2007-12-13 2009-06-18 Searete Llc, A Limited Liability Corporation Of The State Of Delaware Methods and systems for comparing media content
US20090327871A1 (en) * 2008-06-26 2009-12-31 Microsoft Corporation I/o for constrained devices
US9191238B2 (en) 2008-07-23 2015-11-17 Yahoo! Inc. Virtual notes in a reality overlay
EP2327003B1 (en) * 2008-09-17 2017-03-29 Nokia Technologies Oy User interface for augmented reality
US8671069B2 (en) * 2008-12-22 2014-03-11 The Trustees Of Columbia University, In The City Of New York Rapid image annotation via brain state decoding and visual pattern mining
US20120189804A1 (en) 2009-04-06 2012-07-26 E.I.Du Pont De Nemours And Company Ballistic resistant armor articles
US8427508B2 (en) 2009-06-25 2013-04-23 Nokia Corporation Method and apparatus for an augmented reality user interface
KR101565414B1 (ko) 2009-07-10 2015-11-03 엘지전자 주식회사 이동 단말기 및 그 제어방법
US8531452B2 (en) * 2009-07-21 2013-09-10 Konami Digital Entertainment Co., Ltd. Video game machine, gaming image display control method and display mode switching control method
US20110040155A1 (en) * 2009-08-13 2011-02-17 International Business Machines Corporation Multiple sensory channel approach for translating human emotions in a computing environment
JP6061678B2 (ja) * 2009-11-04 2017-01-18 アリゾナ・ボード・オブ・リージェンツ・オン・ビハーフ・オブ・アリゾナ・ステイト・ユニバーシティーＡｒｉｚｏｎａ Ｂｏａｒｄ ｏｆ Ｒｅｇｅｎｔｓ ｏｎ ｂｅｈａｌｆ ｏｆ Ａｒｉｚｏｎａ Ｓｔａｔｅ Ｕｎｉｖｅｒｓｉｔｙ 脳調節インターフェース装置
KR101080803B1 (ko) * 2009-11-17 2011-11-07 한국과학기술연구원 실감 인터랙션 시스템 및 방법
US9373123B2 (en) * 2009-12-30 2016-06-21 Iheartmedia Management Services, Inc. Wearable advertising ratings methods and systems
CN102148011A (zh) * 2010-02-08 2011-08-10 鸿富锦精密工业（深圳）有限公司 互动式影像展示方法
WO2011106797A1 (en) * 2010-02-28 2011-09-01 Osterhout Group, Inc. Projection triggering through an external marker in an augmented reality eyepiece
US20130278631A1 (en) * 2010-02-28 2013-10-24 Osterhout Group, Inc. 3d positioning of augmented reality information
US8384770B2 (en) 2010-06-02 2013-02-26 Nintendo Co., Ltd. Image display system, image display apparatus, and image display method
KR101347518B1 (ko) 2010-08-12 2014-01-07 주식회사 팬택 필터의 선택이 가능한 증강 현실 사용자 장치 및 방법, 그리고, 증강 현실 서버
US20120050144A1 (en) * 2010-08-26 2012-03-01 Clayton Richard Morlock Wearable augmented reality computing apparatus
SG2014013643A (en) * 2010-10-21 2014-07-30 Holybrain Bvba Method and apparatus for neuropsychological modeling of human experience and purchasing behavior
US20120113223A1 (en) 2010-11-05 2012-05-10 Microsoft Corporation User Interaction in Augmented Reality
PT105469A (pt) * 2011-01-04 2012-11-19 Marta Isabel Santos Paiva Ferraz Da Conceicao Fato interativo para videojogos em que se usam sensores eletrónicos e objetos físicos
US10109065B2 (en) * 2011-01-25 2018-10-23 Qualcomm Incorporated Using occlusions to detect and track three-dimensional objects
US9480907B2 (en) * 2011-03-02 2016-11-01 Microsoft Technology Licensing, Llc Immersive display with peripheral illusions
US20120257035A1 (en) * 2011-04-08 2012-10-11 Sony Computer Entertainment Inc. Systems and methods for providing feedback by tracking user gaze and gestures
US8810598B2 (en) * 2011-04-08 2014-08-19 Nant Holdings Ip, Llc Interference based augmented reality hosting platforms
JP5741160B2 (ja) * 2011-04-08 2015-07-01 ソニー株式会社 表示制御装置、表示制御方法、およびプログラム
US8676937B2 (en) * 2011-05-12 2014-03-18 Jeffrey Alan Rapaport Social-topical adaptive networking (STAN) system allowing for group based contextual transaction offers and acceptances and hot topic watchdogging
US8676230B2 (en) 2011-05-16 2014-03-18 Neurosky, Inc. Bio signal based mobile device applications
KR101252169B1 (ko) 2011-05-27 2013-04-05 엘지전자 주식회사 휴대 단말기 및 그 동작 제어방법
KR101239284B1 (ko) * 2011-05-31 2013-03-06 삼성에스디에스 주식회사 증강현실 컨텐츠를 통해 타겟장치를 제어하는 제어단말기 및 서버
US10108783B2 (en) * 2011-07-05 2018-10-23 Saudi Arabian Oil Company Systems, computer medium and computer-implemented methods for monitoring health of employees using mobile devices
US9256711B2 (en) * 2011-07-05 2016-02-09 Saudi Arabian Oil Company Systems, computer medium and computer-implemented methods for providing health information to employees via augmented reality display
KR101280170B1 (ko) * 2011-08-01 2013-06-28 김현아 이동 단말에서의 증강현실 기반 정보 처리 방법
AU2011205223C1 (en) 2011-08-09 2013-03-28 Microsoft Technology Licensing, Llc Physical interaction with virtual objects for DRM
WO2013039748A2 (en) * 2011-09-16 2013-03-21 Social Communications Company Capabilities based management of virtual areas
US20130138248A1 (en) * 2011-11-30 2013-05-30 Honeywell International Inc. Thought enabled hands-free control of multiple degree-of-freedom systems
TWI482108B (zh) * 2011-12-29 2015-04-21 Univ Nat Taiwan To bring virtual social networks into real-life social systems and methods
US20130178257A1 (en) 2012-01-06 2013-07-11 Augaroo, Inc. System and method for interacting with virtual objects in augmented realities
KR101874895B1 (ko) * 2012-01-12 2018-07-06 삼성전자 주식회사 증강 현실 제공 방법 및 이를 지원하는 단말기
US20130201215A1 (en) 2012-02-03 2013-08-08 John A. MARTELLARO Accessing applications in a mobile augmented reality environment
US20130241805A1 (en) * 2012-03-15 2013-09-19 Google Inc. Using Convergence Angle to Select Among Different UI Elements
US9449446B1 (en) * 2012-05-27 2016-09-20 Make Ideas, LLC System employing a plurality of brain/body-generated inputs to control the multi-action operation of a controllable device
US20140002443A1 (en) * 2012-06-29 2014-01-02 Blackboard Inc. Augmented reality interface
US10180715B2 (en) * 2012-10-05 2019-01-15 Elwha Llc Correlating user reaction with at least an aspect associated with an augmentation of an augmented view
US9030495B2 (en) * 2012-11-21 2015-05-12 Microsoft Technology Licensing, Llc Augmented reality help
WO2014085910A1 (en) * 2012-12-04 2014-06-12 Interaxon Inc. System and method for enhancing content using brain-state data
US9791921B2 (en) * 2013-02-19 2017-10-17 Microsoft Technology Licensing, Llc Context-aware augmented reality object commands
KR102099086B1 (ko) * 2013-02-20 2020-04-09 삼성전자주식회사 디지털 텔레비전 및 사용자 디바이스를 이용하여 사용자 맞춤형 인터랙션을 제공하는 방법, 그 디지털 텔레비전 및 사용자 디바이스
US20140240351A1 (en) * 2013-02-27 2014-08-28 Michael Scavezze Mixed reality augmentation
US20140267005A1 (en) * 2013-03-14 2014-09-18 Julian M. Urbach Eye piece for augmented and virtual reality
US9235968B2 (en) * 2013-03-14 2016-01-12 Otoy, Inc. Tactile elements for a wearable eye piece
US9773332B2 (en) * 2013-03-14 2017-09-26 Otoy, Inc. Visual cortex thought detector interface
US20140282220A1 (en) * 2013-03-14 2014-09-18 Tim Wantland Presenting object models in augmented reality images
US9378590B2 (en) * 2013-04-23 2016-06-28 Microsoft Technology Licensing, Llc Augmented reality auction platform
US9245388B2 (en) * 2013-05-13 2016-01-26 Microsoft Technology Licensing, Llc Interactions of virtual objects with surfaces
US9685003B2 (en) * 2013-06-03 2017-06-20 Microsoft Technology Licensing, Llc Mixed reality data collaboration
US9354702B2 (en) 2013-06-03 2016-05-31 Daqri, Llc Manipulation of virtual object in augmented reality via thought
US9383819B2 (en) 2013-06-03 2016-07-05 Daqri, Llc Manipulation of virtual object in augmented reality via intent
US9292764B2 (en) * 2013-09-17 2016-03-22 Qualcomm Incorporated Method and apparatus for selectively providing information on objects in a captured image

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9996983B2 (en) 2013-06-03 2018-06-12 Daqri, Llc Manipulation of virtual object in augmented reality via intent
JP2021170384A (ja) * 2016-05-20 2021-10-28 マジック リープ, インコーポレイテッドMagic Leap, Inc. ユーザインターフェースメニューのコンテキスト認識
US12014464B2 (en) 2016-05-20 2024-06-18 Magic Leap, Inc. Contextual awareness of user interface menus

Also Published As

Publication number Publication date
US9996983B2 (en) 2018-06-12
US20160275726A1 (en) 2016-09-22
AU2014275184A1 (en) 2016-01-21
JP2016529581A (ja) 2016-09-23
EP3863276A1 (en) 2021-08-11
US9383819B2 (en) 2016-07-05
EP3005682A4 (en) 2017-02-08
KR20160016955A (ko) 2016-02-15
US20140354532A1 (en) 2014-12-04
EP3005682B1 (en) 2020-12-09
WO2014197387A1 (en) 2014-12-11
KR101730759B1 (ko) 2017-05-11
EP3005682A1 (en) 2016-04-13
AU2014275184B2 (en) 2016-06-23

Similar Documents

Publication Publication Date Title
JP5985116B1 (ja) 意図を介した拡張現実における仮想オブジェクトの操作
JP6040342B2 (ja) 思考を介した拡張現実における仮想オブジェクトの操作
US11748056B2 (en) Tying a virtual speaker to a physical space
JP2024509722A (ja) エクステンデッドリアリティにおけるユーザ相互作用
US20180203518A1 (en) Control of a real world object user interface
CN116235507A (zh) 用于媒体捕获和管理的用户界面
KR20140011204A (ko) 컨텐츠 제공 방법 및 이를 적용한 디스플레이 장치
US20160374616A1 (en) Electrode contact quality
KR20210072150A (ko) 다중 참가자 라이브 통신 사용자 인터페이스

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160427

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20160427

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20160427

A529 Written submission of copy of amendment under article 34 pct

Free format text: JAPANESE INTERMEDIATE CODE: A529

Effective date: 20160125

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20160701

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160712

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20160802

R150 Certificate of patent or registration of utility model

Ref document number: 5985116

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: R3D02

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees