JP6907366B2 - 拡張および/または仮想現実環境におけるタッチスクリーンホバーの検出 - Google Patents
拡張および/または仮想現実環境におけるタッチスクリーンホバーの検出 Download PDFInfo
- Publication number
- JP6907366B2 JP6907366B2 JP2020041658A JP2020041658A JP6907366B2 JP 6907366 B2 JP6907366 B2 JP 6907366B2 JP 2020041658 A JP2020041658 A JP 2020041658A JP 2020041658 A JP2020041658 A JP 2020041658A JP 6907366 B2 JP6907366 B2 JP 6907366B2
- Authority
- JP
- Japan
- Prior art keywords
- electronic device
- virtual
- image
- user interface
- physical object
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/0304—Detection arrangements using opto-electronic means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
- G06F1/16—Constructional details or arrangements
- G06F1/1613—Constructional details or arrangements for portable computers
- G06F1/1626—Constructional details or arrangements for portable computers with a single-body enclosure integrating a flat display, e.g. Personal Digital Assistants [PDAs]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
- G06F1/16—Constructional details or arrangements
- G06F1/1613—Constructional details or arrangements for portable computers
- G06F1/163—Wearable computers, e.g. on a belt
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
- G06F3/005—Input arrangements through a video camera
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
- G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
- G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
- G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
- G06F3/04886—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures by partitioning the display area of the touch-screen or the surface of the digitising tablet into independently controllable areas, e.g. virtual keyboards or menus
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
- G06F2203/041—Indexing scheme relating to G06F3/041 - G06F3/045
- G06F2203/04101—2.5D-digitiser, i.e. digitiser detecting the X/Y position of the input means, finger or stylus, also when it does not touch, but is proximate to the digitiser's interaction surface and also measures the distance of the input means within a short range in the Z direction, possibly with a separate measurement setup
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Computer Hardware Design (AREA)
- Multimedia (AREA)
- Computer Graphics (AREA)
- Software Systems (AREA)
- User Interface Of Digital Computer (AREA)
- Controls And Circuits For Display Device (AREA)
- Processing Or Creating Images (AREA)
Description
本願は、2015年9月16日に出願された米国仮出願第62/219,423号に基づく優先権を主張する2016年8月30日に出願された米国出願第15/251,573号の継続出願でありそれに基づく優先権を主張する。これらの開示を本明細書に引用により援用する。
本明細書は、概して没入型拡張現実および/または仮想現実システムにおける電子デバイスの検出および追跡に関する。
拡張現実(augmented reality:AR)および/または仮想現実(virtual reality:VR)システムは、3次元(3D)没入型環境を生成することができる。ユーザは、この3D没入型仮想環境を、さまざまな電子デバイスとの対話を通して体験し得る。これらの電子デバイスは、たとえば、ディスプレイを含むヘルメットまたはその他のヘッドマウントデバイス、ユーザがディスプレイ装置を見るときに用いる眼鏡またはゴーグル、センサが装着された手袋、センサを含む外部ハンドヘルドデバイス、およびその他のこのような電子デバイス等を含む。仮想環境に没入すると、ユーザの仮想環境との対話はさまざまな形態を取り得る。この対話の形態は、たとえば、仮想環境における身体の動きおよび/または仮想要素との身体による対話、および/または電子デバイスの操作により、仮想環境と対話し、仮想環境を個人専用にし、制御すること等である。
ある局面において、方法は、周囲環境の中で動作するヘッドマウント電子デバイスにより、仮想環境を生成するステップと、周囲環境の中で動作するハンドヘルド電子デバイスのディスプレイの中に、ハンドヘルド電子デバイスのディスプレイの中のユーザインターフェイス上に重畳されるモノクロームスクリーンを生成する一方で、ユーザインターフェイスのタッチスクリーン機能を維持するステップと、ヘッドマウント電子デバイスのカメラにより、モノクロームスクリーンの前景にある物理的物体を検出するステップと、ヘッドマウント電子デバイスのプロセッサにより、モノクロームスクリーンの前景にある物理的物体の検出位置に基づいて、ユーザインターフェイスに対する検出された物理的物体の位置を求めるステップと、ヘッドマウント電子デバイスにより、ユーザインターフェイスの仮想画像と、検出された物理的物体の仮想画像とを、ヘッドマウント電子デバイスのディスプレイに表示するステップとを含み得る。
に、カメラにより取込まれた画像に基づいてヘッドマウント電子デバイスが生成した仮想シーンの中に仮想画像を表示するように構成される。仮想シーンの中に表示される仮想画像は、検出された物理的物体の仮想画像と、ハンドヘルド電子デバイスのユーザインターフェイスの仮想画像とを含む。ユーザインターフェイスには、カメラにより取込まれた画像に基づいてヘッドマウント電子デバイスにより生成された仮想シーンの中でハンドヘルド電子デバイス上にレンダリングされたモノクロームスクリーンが重畳される。
たとえばヘッドマウントディスプレイ(head mounted display:HMD)デバイスを装着し、仮想環境、たとえば3D拡張および/または仮想現実環境に没入しているユーザは、仮想環境を探検し、仮想環境と、たとえば、身体による対話(たとえば手/腕のジェスチャー、頭を動かす、歩く等)を通して、および/またはHMDの操作および/またはそれとは別の電子デバイスの操作を通して対話することにより、没入型仮想環境を体験することができる。たとえば、いくつかの実装例において、HMDが、たとえばコントローラ、スマートフォン、またはその他のこのようなハンドヘルド電子デバイス等のハンドヘルド電子デバイスとペアリングされる場合がある。ユーザは、HMDとペアリングされたハンドヘルド電子デバイスを操作することにより、HMDによって生成された仮想環境と対話することができる、および/または仮想環境に没入しながらハンドヘルド電子デバイスのその他の機能を利用することができる。
をたとえばHMDのカメラによって検出できるようにハンドヘルド電子デバイスのユーザインターフェイスのディスプレイ上に重畳してもよい。ユーザインターフェイスのタッチスクリーン機能は、モノクロームスクリーンがユーザインターフェイス上に重畳されているので実際はディスプレイ上では見えないが、ハンドヘルド電子デバイスの表示エリア内で維持することができる。ハンドヘルド電子デバイスのユーザインターフェイスは、ユー
ザが見るため/ユーザとの対話のために、HMDによって生成された仮想環境内で仮想的にレンダリングし表示することができる。したがって、ユーザは、ユーザインターフェイスをハンドヘルド電子デバイス上で見ることはできないが、ユーザインターフェイスはHMDが生成した仮想環境内で仮想的に表示されているので、ハンドヘルド電子デバイスのユーザインターフェイスと物理的に対話し、ハンドヘルド電子デバイスの表示エリア内のユーザインターフェイスの機能を利用することができる。ユーザは、HMDが生成した仮想環境内で仮想的に表示されている仮想ユーザインターフェイスに基づいて、ユーザインターフェイスと正確に対話することができ、ユーザインターフェイスが提供する機能を利用することができる。
状態で、タッチセンシティブディスプレイ106に対する、および、キーボード107等のグラフィカルユーザインターフェイスの個々の入力要素に対する、ユーザの指のホバー位置を、たとえばHMD100のカメラ180で、素早くかつ正確に検出することができる(その間も、下にあるユーザインターフェイスの機能は維持される)。言い換えると、いくつかの実装例において、キーボード107等のグラフィカルユーザインターフェイスは、覆われている間も、またはグリーンスクリーンオーバレイ108が重畳されている間も、アクティブな状態を保つことができる。そうすると、ハンドヘルド電子デバイス102のディスプレイ106上ではグリーンスクリーンオーバレイ108がレンダリングされているためにグラフィカルユーザインターフェイスまたはキーボード107を見ることはできないが、ハンドヘルド電子デバイス102のタッチセンシティブディブ面上で検出されたタッチ等のユーザ入力は、対応するユーザ入力を生成することができる。ユーザインターフェイスおよび/またはハンドヘルド電子デバイス102は、HMD100が生成した仮想環境の中でレンダリングされてユーザに対して表示されているので、ユーザは、ユーザインターフェイスまたはキーボード107と、正確に対話することができる。
といったマニュアルポインティングデバイスのホバー位置を検出し追跡するためのシステムのブロック図が、図4に示される。このシステムは、第2の電子デバイス402と通信する第1の電子デバイス400を含み得る。第1の電子デバイス400は、仮想環境を生成する、たとえば図1および図2A〜図2Bを参照しながら先に説明したHMDであってもよく、第2の電子デバイス402は、HMDと通信することによりHMDが生成した仮想環境とのユーザの対話を容易にすることができる、たとえば図1および図3A〜図3Bを参照しながら先に説明したハンドヘルド電子デバイスのようなハンドヘルド電子デバイスであってもよい。たとえば、先に述べたように、第2の(ハンドヘルド)電子デバイス402の操作および/または物理的移動を、第1の(ヘッドマウント)電子デバイス400が生成した仮想環境における所望の対話に変換することができる。
電子デバイス402の全体の動作を制御する。第2の電子デバイス402はまた、たとえば図3A〜図3Bに示される音声出力装置103およびディスプレイ106のような音声出力装置403および画像出力装置404を含み得る。音声出力装置403および画像出力装置404は音声信号および画像信号を出力し得る。それにより、いくつかの実装例では、ユーザ入力のためのインターフェイスを提供することができ、また、第2の電子デバイス402および/または第2の電子デバイス402と作動的に結合またはペアリングされた第1の電子デバイス400との対話を提供することができる。
するユーザの指の位置を、特にユーザインターフェイス(この例ではアラート502と選択ボタンYおよびN)に対するユーザの指の位置を、素早くかつ正確に捕捉し、検出し、追跡することができる。
キーボード107の形態のユーザインターフェイス(およびそれに対応付けられた機能)は、グリーンスクリーン108が重畳されている間も有効な状態が保たれるので、ハンドヘルド電子デバイス102は、上記のようにハンドヘルド電子デバイス102のディスプレイ106のタッチセンシティブ面に対する実際のタッチ(たとえば物理的接触)に応じてユーザ入力を登録することができる。図5Dに示されるメッセージングセッションが終了すると、ユーザは、図5Eに示されるように、中断を最小限にして、仮想環境内のアクティビティを再開することができる。
ロック685で、この指の画像を、HMD100によって生成された仮想シーンにおいて、たとえばHMD100によって仮想シーン500に表示された仮想キーボード107Vに対して表示してもよい。いくつかの実装例において、対応する位置にあるユーザインターフェイス上のマニュアルポインティングデバイス(すなわちキーボード107のキーのうちの1つに対応する位置にある指)の画像を、たとえば、HMD100のプロセッサによってレンダリングし、仮想シーン500に表示された仮想キーボード107Vに対して適切な位置において、仮想シーン内で表示してもよい。このようにして、ユーザは、物理的ハンドヘルド電子デバイス102が直接見えなくても、物理的ハンドヘルド電子デバイス102のユーザインターフェイスのキーボード107に対する指の検出位置に対応する、仮想キーボード107V上の指の位置を見ることができる。これにより、拡張および/または仮想現実環境における、ハンドヘルド電子デバイス102のタッチスクリーン面を介したユーザ入力のマニュアルエントリを、容易にすることができる。
よびディスプレイインターフェイス756を介してユーザと通信してもよい。ディスプレイ754は、たとえば、TFT LCD(Thin-Film-Transistor Liquid Crystal Display:薄膜トランジスタ液晶ディスプレイ)、またはOLED(Organic Light Emitting Diode:有機発光ダイオード)ディスプレイ、または他の適切なディスプレイ技術であって
もよい。ディスプレイインターフェイス756は、ディスプレイ754を駆動してグラフィカル情報および他の情報をユーザに提示するための適切な回路を含んでいてもよい。制御インターフェイス758は、ユーザからコマンドを受信し、それらをプロセッサ752に送出するために変換してもよい。加えて、デバイス750と他のデバイスとの近接エリア通信を可能にするように、外部インターフェイス762がプロセッサ752と通信した状態で設けられてもよい。外部インターフェイス762は、たとえば、ある実装例では有線通信を提供し、他の実装例では無線通信を提供してもよく、複数のインターフェイスも使用されてもよい。
テム)レシーバモジュール770が、追加のナビゲーション関連および位置関連無線データをデバイス750に提供してもよく、当該データは、デバイス750上で実行されるアプリケーションによって適宜使用されてもよい。
60はまた、たとえばデバイス750のハンドセットにおいて、スピーカを介すなどして、ユーザに聞こえる音を生成してもよい。そのような音は、音声電話からの音を含んでいてもよく、録音された音(たとえば、音声メッセージ、音楽ファイル等)を含んでいてもよく、デバイス750上で動作するアプリケーションが生成する音も含んでいてもよい。
定用途向け集積回路)、コンピュータハードウェア、ファームウェア、ソフトウェア、および/またはそれらの組合わせで実現され得る。これらのさまざまな実装例は、少なくとも1つのプログラマブルプロセッサを含むプログラマブルシステム上で実行可能および/または解釈可能な1つ以上のコンピュータプログラムにおける実装例を含んでいてもよく、当該プロセッサは専用であっても汎用であってもよく、ストレージシステム、少なくとも1つの入力デバイス、および少なくとも1つの出力デバイスからデータおよび命令を受信するとともに、これらにデータおよび命令を送信するように結合されてもよい。
指し、機械命令を機械読取可能信号として受信する機械読取可能媒体を含む。「機械読取可能信号」という用語は、機械命令および/またはデータをプログラマブルプロセッサに提供するために使用される任意の信号を指す。
トワーク)によって相互接続され得る。通信ネットワークの例は、ローカルエリアネットワーク(local area network:LAN)、ワイドエリアネットワーク(wide area network:WAN)、およびインターネットを含む。
る、または、データを受けるため、データを送るため、もしくはデータをやり取りするために上記記憶装置に作動的に結合されてもよい。コンピュータプログラム命令およびデータを実施するのに適した情報キャリアは、一例として、半導体メモリデバイスたとえばEPROM、EEPROM、およびフラッシュメモリデバイス、磁気ディスクたとえば内部ハードディスクまたはリムーバブルディスク、光磁気ディスク、ならびにCD−ROMおよびDVD−ROMディスクを含む、すべての形態の不揮発性メモリを含む。プロセッサおよびメモリは、専用論理回路が追加されてもよく、専用論理回路に内蔵されてもよい。
む。
例1:周囲環境の中で動作するヘッドマウント電子デバイスにより、仮想環境を生成するステップと、周囲環境の中で動作するハンドヘルド電子デバイスのディスプレイの中に、ハンドヘルド電子デバイスのディスプレイの中のユーザインターフェイス上に重畳されるモノクロームスクリーンを生成する一方で、ユーザインターフェイスのタッチスクリーン機能を維持するステップと、ヘッドマウント電子デバイスのカメラにより、モノクロームスクリーンの前景にある物理的物体を検出するステップと、ヘッドマウント電子デバイスのプロセッサにより、モノクロームスクリーンの前景にある物理的物体の検出位置に基づいて、ユーザインターフェイスに対する検出された物理的物体の位置を求めるステップと、ヘッドマウント電子デバイスにより、ユーザインターフェイスの仮想画像と、検出さ
れた物理的物体の仮想画像とを、ヘッドマウント電子デバイスのディスプレイに表示するステップとを含む、方法。
マウント電子デバイスとハンドヘルド電子デバイスとの間に置かれる。
インターフェイスの仮想画像を、ユーザインターフェイスの個々の要素がヘッドマウントディスプレイデバイスにより表示される仮想シーンの中で見えるように、ユーザインターフェイス上に重畳されたモノクロームスクリーンなしで、表示するように構成される。
Claims (27)
- 周囲環境の中で動作するヘッドマウント電子デバイスにより、仮想環境を生成するステップと、
前記周囲環境の中で動作するハンドヘルド電子デバイスのディスプレイの中に、前記ハンドヘルド電子デバイスのディスプレイの中のユーザインターフェイス上に重畳されるモノクロームスクリーンを生成する一方で、前記ユーザインターフェイスのタッチスクリーン機能を維持するステップと、
前記ヘッドマウント電子デバイスのカメラにより、前記モノクロームスクリーンの前景にある物理的物体を検出するステップと、
前記ヘッドマウント電子デバイスのプロセッサにより、前記モノクロームスクリーンの前景にある前記物理的物体の検出位置に基づいて、前記ユーザインターフェイスに対する前記検出された物理的物体の位置を求めるステップと、
前記ヘッドマウント電子デバイスにより、前記ユーザインターフェイスの仮想画像と、前記検出された物理的物体の仮想画像とを、前記ヘッドマウント電子デバイスのディスプレイに表示するステップと、
着信イベントを検出するステップとを含み、検出される前記着信イベントは、前記ヘッドマウント電子デバイスの前記ディスプレイにおいて表示されている前記仮想環境とは分離されたものであり、
前記着信イベントの検出に応じて前記仮想環境において仮想画像として仮想アラートを表示するステップをさらに含み、
前記モノクロームスクリーンの前景にある物理的物体を検出するステップは、
前記ヘッドマウント電子デバイスの前記カメラを起動するステップと、
前記ヘッドマウント電子デバイスの前記カメラを用いて、前記物理的物体と前記モノクロームスクリーンとを含む前記ハンドヘルド電子デバイスの画像を取込むステップと、
前記物理的物体の画像を、前記物理的物体を囲んでいる前記モノクロームスクリーンから分離するステップとを含み、
前記ユーザインターフェイスの仮想画像と前記検出された物理的物体の仮想画像とを前記ヘッドマウント電子デバイスのディスプレイに表示するステップは、前記検出された物理的物体の前記分離された画像を、前記モノクロームスクリーンの下にある前記ユーザインターフェイスに対する前記検出された物理的物体の実際の位置に対応する、前記ユーザインターフェイスの前記仮想画像に対する位置に、表示するステップを含み、
前記モノクロームスクリーンは、前記仮想アラートの表示に応じて、前記ユーザインターフェイス上に重畳される、方法。 - 前記ハンドヘルド電子デバイスのディスプレイの中のユーザインターフェイス上に重畳されるモノクロームスクリーンを生成する一方で、前記ユーザインターフェイスのタッチスクリーン機能を維持するステップは、
グリーンスクリーンをレンダリングするステップと、
前記ハンドヘルド電子デバイスの前記ディスプレイに表示されたキーボード上に前記グリーンスクリーンを重畳するステップとを含む、請求項1に記載の方法。 - 前記モノクロームスクリーンの前景にある物理的物体を検出するステップおよび前記ユーザインターフェイスに対する前記物理的物体の位置を求めるステップは、
前記グリーンスクリーンを背にした指の位置を検出するステップと、
前記ハンドヘルド電子デバイスの前記ディスプレイに表示された前記キーボードのキーの既知の配置に基づいて、前記グリーンスクリーンを背にした前記指の検出位置を、前記ハンドヘルド電子デバイスの前記ディスプレイに表示され前記グリーンスクリーンが重畳された前記キーボードに対する前記指の位置に、マッピングするステップとを含む、請求項2に記載の方法。 - 前記指と、前記ハンドヘルド電子デバイスの前記ディスプレイに表示され前記グリーンスクリーンが重畳された前記キーボードのキーのうちの1つとの、検出された物理的接触に応じて文字入力を受信するステップと、
前記受信した文字入力を、前記ヘッドマウント電子デバイスにより生成された仮想ディスプレイに表示するステップとをさらに含む、請求項3に記載の方法。 - 前記物理的物体を検出するステップと、前記物理的物体の位置を求めるステップと、前記ユーザインターフェイスの仮想画像と前記物理的物体の仮想画像とを表示するステップと、前記文字入力を受信するステップと、前記受信した文字入力を表示するステップとを、文字入力モードが終了するまで繰返すステップをさらに含む、請求項4に記載の方法。
- 前記検出された物理的物体の前記分離された画像を表示するステップは、前記分離された画像を、前記ヘッドマウント電子デバイスの前記ディスプレイに、前記カメラからのパススルー画像として表示するステップを含む、請求項1〜5のいずれか1項に記載の方法。
- 前記検出された物理的物体の前記分離された画像を表示するステップは、
前記検出された物理的物体の前記分離された画像をレンダリングするステップと、
前記検出された物理的物体の前記分離された画像のレンダリングされた画像を、前記ヘッドマウント電子デバイスの前記ディスプレイに表示するステップとを含む、請求項1〜5のいずれか1項に記載の方法。 - 前記検出された物理的物体は、前記ヘッドマウント電子デバイスと前記ハンドヘルド電子デバイスとの間に置かれる、請求項1〜7のいずれか1項に記載の方法。
- ディスプレイと、カメラと、プロセッサとを含むヘッドマウント電子デバイスを備えるシステムであって、前記ヘッドマウント電子デバイスは、ハンドヘルド電子デバイスと作動的に結合されるように構成され、
前記カメラは、前記ハンドヘルド電子デバイスの画像を取込むように構成され、
前記プロセッサは、
前記ヘッドマウント電子デバイスと、前記カメラにより取込まれた前記画像の中の前記ハンドヘルド電子デバイス上のユーザインターフェイスとの間にある物理的物体を検出するように構成され、前記ユーザインターフェイスにはモノクロームスクリーンが重畳され、前記プロセッサは、
前記カメラにより取込まれた画像に基づいて前記ヘッドマウント電子デバイスにより生成された仮想シーンの中に仮想画像を表示するように構成され、前記仮想シーンの中に表示される前記仮想画像は、前記検出された物理的物体の仮想画像と、前記ハンドヘルド電子デバイスの前記ユーザインターフェイスの仮想画像とを含み、前記プロセッサは、
着信イベントを検出するように構成され、検出される前記着信イベントは、前記ヘッドマウント電子デバイスの前記ディスプレイにおいて表示されている前記仮想シーンとは分離されたものであり、前記プロセッサは、
前記着信イベントの検出に応じて前記仮想シーンにおいて仮想画像として仮想アラートを表示するように構成され、
前記物理的物体を検出することは、
前記ヘッドマウント電子デバイスの前記カメラを起動することと、
前記ヘッドマウント電子デバイスの前記カメラを用いて、前記物理的物体と前記モノクロームスクリーンとを含む前記ハンドヘルド電子デバイスの画像を取込むことと、
前記物理的物体の画像を、前記物理的物体を囲んでいる前記モノクロームスクリーンから分離することとを含み、
前記仮想シーンの中に仮想画像を表示することは、前記検出された物理的物体の前記分離された画像を、前記モノクロームスクリーンの下にある前記ユーザインターフェイスに対する前記検出された物理的物体の実際の位置に対応する、前記ユーザインターフェイスの前記仮想画像に対する位置に、表示することを含み、
前記モノクロームスクリーンは、前記仮想アラートの表示に応じて、前記ユーザインターフェイス上に重畳される、システム。 - 前記検出された物理的物体は、ユーザの指であり、前記ユーザインターフェイスは、前記ハンドヘルド電子デバイスのディスプレイに表示される、グリーンスクリーンが重畳されたキーボードであり、
前記ヘッドマウント電子デバイスにより生成された前記仮想シーンの中に表示される前記仮想画像は、前記ハンドヘルド電子デバイスのディスプレイ上の前記キーボードの複数のキーのうちの1つの上でホバリングする前記ユーザの指の仮想画像を含む、請求項9に記載のシステム。 - 前記プロセッサは、前記グリーンスクリーンに対する前記指の検出された位置と、前記ハンドヘルド電子デバイスのディスプレイ上の前記キーボードの複数のキーの既知の配置とに基づいて、前記ハンドヘルド電子デバイスのディスプレイ上の前記キーボードに対する前記指の位置を求めるように構成される、請求項10に記載のシステム。
- 前記プロセッサは、前記指と、前記ハンドヘルド電子デバイスのディスプレイ上の前記キーボードのキーのうちの1つに対応する前記ディスプレイの一部との接触に応じて文字入力を受けるように構成されるとともに、前記ヘッドマウント電子デバイスにより生成された前記仮想シーンの中に表示される前記仮想画像の中に前記文字入力の仮想画像を表示するように構成される、請求項10に記載のシステム。
- 前記ヘッドマウント電子デバイスにより生成された仮想シーンの中に仮想画像を表示するときに、前記プロセッサは、
前記検出された物理的物体の画像を、前記カメラにより取込まれた画像から分離するように構成されるとともに、
前記検出された物理的物体の前記分離された画像を、前記モノクロームスクリーンの下にある前記ユーザインターフェイスに対する前記検出された物理的物体の実際の位置に対応する、前記ユーザインターフェイスの前記仮想画像に対する位置に、表示するように構成される、請求項9〜12のいずれか1項に記載のシステム。 - 前記検出された物理的物体の前記分離された画像を表示するときに、前記プロセッサは、前記検出された物理的物体の前記分離された画像を、前記ヘッドマウント電子デバイスにより生成された前記仮想シーンの中において、前記カメラからのパススルー画像として表示するように構成される、請求項13に記載のシステム。
- 前記検出された物理的物体の前記分離された画像を表示するときに、前記プロセッサは、
前記検出された物理的物体の前記分離された画像の画像をレンダリングするように構成されるとともに、
前記検出された物理的物体の前記分離された画像の前記レンダリングされた画像を、前記ヘッドマウント電子デバイスにより生成された前記仮想シーンの中に表示するように構成される、請求項13に記載のシステム。 - 前記プロセッサは、前記ユーザインターフェイスの前記仮想画像を、前記ユーザインターフェイスの個々の要素が前記ヘッドマウント電子デバイスにより表示される前記仮想シーンの中で見えるように、前記ユーザインターフェイス上に重畳された前記モノクロームスクリーンなしで、表示するように構成される、請求項13に記載のシステム。
- プロセッサによって実行されると前記プロセッサに方法を実行させる命令のシーケンスを含むコンピュータプログラムであって、前記方法は、
周囲環境の中で動作するヘッドマウント電子デバイスの中に仮想環境を生成するステップと、
前記ヘッドマウント電子デバイスのカメラにより、前記ヘッドマウント電子デバイスに作動的に結合されたハンドヘルド電子デバイスの画像を取込むステップと、
前記カメラにより取込まれた画像において、前記ハンドヘルド電子デバイス上のユーザインターフェイス上に重畳されたモノクロームスクリーンの前景にある物理的物体を検出するステップとを含み、前記ユーザインターフェイスは前記モノクロームスクリーンの下にある機能を維持し、
前記検出された物理的物体を、前記カメラにより取込まれた前記画像から分離し、前記分離された物理的物体の画像を生成するステップと、
前記モノクロームスクリーンの前景にある前記物理的物体の検出位置に基づいて、前記ユーザインターフェイスに対する前記検出された物理的物体の位置を検出するステップと、
前記ヘッドマウント電子デバイスにより生成された前記仮想環境の中に仮想画像を表示するステップとを含み、前記仮想画像は、前記ユーザインターフェイスの仮想画像と、前記カメラにより取込まれた画像から分離された前記物理的物体の仮想画像とを含み、
着信イベントを検出するステップを含み、検出される前記着信イベントは、生成された前記仮想環境とは分離されたものであり、
前記着信イベントの検出に応じて前記仮想環境において仮想画像として仮想アラートを表示するステップをさらに含み、
前記ヘッドマウント電子デバイスにより生成された前記仮想環境の中に仮想画像を表示するステップは、前記検出された物理的物体の前記分離された画像を、前記モノクロームスクリーンの下にある前記ユーザインターフェイスに対する前記検出された物理的物体の実際の位置に対応する、前記ユーザインターフェイスの前記仮想画像に対する位置に、表示するステップを含み、
前記モノクロームスクリーンは、前記仮想アラートの表示に応じて、前記ユーザインターフェイス上に重畳される、コンピュータプログラム。 - 前記ヘッドマウント電子デバイスにより生成された前記仮想環境の中に仮想画像を表示するステップは、前記検出された物理的物体の前記分離された画像を、前記ヘッドマウント電子デバイスのディスプレイに、前記カメラからのパススルー画像として表示するステップをさらに含む、請求項17に記載のコンピュータプログラム。
- 前記仮想環境において仮想アラートを表示するステップは、
前記仮想アラートとともに、ユーザ入力ウィンドウを表示するステップを含む、請求項1〜8のいずれか1項に記載の方法。 - 前記ユーザ入力ウィンドウにおいて検出されたユーザ入力に応じて、前記仮想環境において仮想画像として新しいユーザインターフェイスを表示するステップと、
前記新しいユーザインターフェイスにおいてユーザ入力の終了を検出するステップと、
前記新しいユーザインターフェイスにおけるユーザ入力の終了の検出に応じて、前記仮想環境において、前記新しいユーザインターフェイスの表示前に表示された、前の前記ユーザインターフェイスを再開するステップとをさらに含む、請求項19に記載の方法。 - 前記着信イベントの検出は、テキストメッセージ、通話、または電子メールの受信の検出を含む、請求項1〜8および19〜20のいずれか1項に記載の方法。
- 前記仮想シーンにおいて仮想アラートを表示することは、
前記仮想アラートとともに、ユーザ入力ウィンドウを表示することを含む、請求項9〜16のいずれか1項に記載のシステム。 - 前記プロセッサは、さらに、
前記ユーザ入力ウィンドウにおいて検出されたユーザ入力に応じて、前記仮想シーンにおいて仮想画像として新しいユーザインターフェイスを表示し、
前記新しいユーザインターフェイスにおいてユーザ入力の終了を検出し、
前記新しいユーザインターフェイスにおけるユーザ入力の終了の検出に応じて、前記仮想シーンにおいて、前記新しいユーザインターフェイスの表示前に表示された、前の前記ユーザインターフェイスを再開する、ように構成されている、請求項22に記載のシステム。 - 前記着信イベントの検出は、テキストメッセージ、通話、または電子メールの受信の検出を含む、請求項9〜16および22〜23のいずれか1項に記載のシステム。
- 前記仮想環境において仮想アラートを表示するステップは、
前記仮想アラートとともに、ユーザ入力ウィンドウを表示するステップを含む、請求項17または18に記載のコンピュータプログラム。 - 前記方法は、
前記ユーザ入力ウィンドウにおいて検出されたユーザ入力に応じて、前記仮想環境において仮想画像として新しいユーザインターフェイスを表示するステップと、
前記新しいユーザインターフェイスにおいてユーザ入力の終了を検出するステップと、
前記新しいユーザインターフェイスにおけるユーザ入力の終了の検出に応じて、前記仮想環境において、前記新しいユーザインターフェイスの表示前に表示された、前の前記ユーザインターフェイスを再開するステップとをさらに含む、請求項25に記載のコンピュータプログラム。 - 前記着信イベントの検出は、テキストメッセージ、通話、または電子メールの受信の検出を含む、請求項17、18、25、および26のいずれか1項に記載のコンピュータプログラム。
Applications Claiming Priority (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201562219423P | 2015-09-16 | 2015-09-16 | |
US62/219,423 | 2015-09-16 | ||
US15/251,573 US10338673B2 (en) | 2015-09-16 | 2016-08-30 | Touchscreen hover detection in an augmented and/or virtual reality environment |
US15/251,573 | 2016-08-30 | ||
JP2017556859A JP2018534643A (ja) | 2015-09-16 | 2016-09-01 | 拡張および/または仮想現実環境におけるタッチスクリーンホバーの検出 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017556859A Division JP2018534643A (ja) | 2015-09-16 | 2016-09-01 | 拡張および/または仮想現実環境におけるタッチスクリーンホバーの検出 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020113298A JP2020113298A (ja) | 2020-07-27 |
JP6907366B2 true JP6907366B2 (ja) | 2021-07-21 |
Family
ID=58238843
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017556859A Pending JP2018534643A (ja) | 2015-09-16 | 2016-09-01 | 拡張および/または仮想現実環境におけるタッチスクリーンホバーの検出 |
JP2020041658A Active JP6907366B2 (ja) | 2015-09-16 | 2020-03-11 | 拡張および/または仮想現実環境におけるタッチスクリーンホバーの検出 |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017556859A Pending JP2018534643A (ja) | 2015-09-16 | 2016-09-01 | 拡張および/または仮想現実環境におけるタッチスクリーンホバーの検出 |
Country Status (6)
Country | Link |
---|---|
US (1) | US10338673B2 (ja) |
EP (1) | EP3350666A1 (ja) |
JP (2) | JP2018534643A (ja) |
KR (1) | KR102038639B1 (ja) |
CN (1) | CN107743604B (ja) |
WO (1) | WO2017048519A1 (ja) |
Families Citing this family (54)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6587918B2 (ja) * | 2015-11-27 | 2019-10-09 | 京セラ株式会社 | 電子機器、電子機器の制御方法、電子機器の制御装置、制御プログラム及び電子機器システム |
US10521008B2 (en) * | 2016-04-14 | 2019-12-31 | Htc Corporation | Virtual reality device, method for virtual reality, and non-transitory computer readable storage medium |
CN105955453A (zh) * | 2016-04-15 | 2016-09-21 | 北京小鸟看看科技有限公司 | 一种3d沉浸式环境下的信息输入方法 |
KR102356345B1 (ko) * | 2016-04-20 | 2022-01-28 | 삼성전자주식회사 | 전자 장치 및 그 제어 방법 |
US20170329440A1 (en) * | 2016-05-12 | 2017-11-16 | Cirque Corporation | Controller premonition using capacitive sensing |
KR20180002208A (ko) * | 2016-06-29 | 2018-01-08 | 엘지전자 주식회사 | 단말기 및 그 제어 방법 |
US20180033200A1 (en) * | 2016-07-26 | 2018-02-01 | Dell Products, Lp | System and method for multiple device augmented surface |
US10168798B2 (en) * | 2016-09-29 | 2019-01-01 | Tower Spring Global Limited | Head mounted display |
KR102659981B1 (ko) * | 2017-01-03 | 2024-04-24 | 엘지전자 주식회사 | 이동 단말기 및 그 제어방법 |
US9983687B1 (en) * | 2017-01-06 | 2018-05-29 | Adtile Technologies Inc. | Gesture-controlled augmented reality experience using a mobile communications device |
EP3616040B1 (en) * | 2017-04-27 | 2022-09-28 | Magic Leap, Inc. | Augmented reality system comprising light-emitting user input device |
GB2555501B (en) | 2017-05-04 | 2019-08-28 | Sony Interactive Entertainment Europe Ltd | Head mounted display and method |
US11054894B2 (en) | 2017-05-05 | 2021-07-06 | Microsoft Technology Licensing, Llc | Integrated mixed-input system |
US10895966B2 (en) | 2017-06-30 | 2021-01-19 | Microsoft Technology Licensing, Llc | Selection using a multi-device mixed interactivity system |
US11023109B2 (en) * | 2017-06-30 | 2021-06-01 | Microsoft Techniogy Licensing, LLC | Annotation using a multi-device mixed interactivity system |
DE102017211518A1 (de) * | 2017-07-06 | 2019-01-10 | Bayerische Motoren Werke Aktiengesellschaft | Verfahren zum Erzeugen einer virtuellen Umgebung für einen Benutzer in einem Fahrzeug, entsprechendes Virtual-Reality-System sowie Fahrzeug |
CN110019583B (zh) * | 2017-08-29 | 2021-01-05 | 深圳市掌网科技股份有限公司 | 一种基于虚拟现实的环境展示方法和系统 |
KR102431712B1 (ko) * | 2017-09-04 | 2022-08-12 | 삼성전자 주식회사 | 전자장치, 그 제어방법 및 그 컴퓨터프로그램제품 |
US11861136B1 (en) * | 2017-09-29 | 2024-01-02 | Apple Inc. | Systems, methods, and graphical user interfaces for interacting with virtual reality environments |
DE102017217592A1 (de) * | 2017-10-04 | 2019-04-04 | Audi Ag | Kinetosefreies Betrachten eines digitalen Inhalts in einem Fahrzeug |
US10776475B2 (en) | 2017-11-13 | 2020-09-15 | International Business Machines Corporation | Secure password input in electronic devices |
US20190042778A1 (en) * | 2017-12-14 | 2019-02-07 | Intel Corporation | Methods And Apparatus To Protect Digital Content With Computer-Mediated Reality |
US11323556B2 (en) | 2018-01-18 | 2022-05-03 | Samsung Electronics Co., Ltd. | Electronic device and method of operating electronic device in virtual reality |
EP4212222A1 (en) | 2018-03-07 | 2023-07-19 | Magic Leap, Inc. | Visual tracking of peripheral devices |
CN108521545B (zh) * | 2018-03-26 | 2020-02-11 | Oppo广东移动通信有限公司 | 基于增强现实的图像调整方法、装置、存储介质和电子设备 |
US10877554B2 (en) * | 2018-04-19 | 2020-12-29 | Samsung Electronics Co., Ltd. | High efficiency input apparatus and method for virtual reality and augmented reality |
US10504289B2 (en) | 2018-05-01 | 2019-12-10 | Dell Products, Lp | Method and apparatus for securely displaying private information using an augmented reality headset |
US11500452B2 (en) * | 2018-06-05 | 2022-11-15 | Apple Inc. | Displaying physical input devices as virtual objects |
EP4325438A3 (en) * | 2018-06-21 | 2024-04-10 | Magic Leap, Inc. | Methods and apparatuses for providing input for head-worn image display devices |
CN109062645B (zh) * | 2018-07-11 | 2020-02-07 | 北京字节跳动网络技术有限公司 | 用于终端的处理信息的方法和装置 |
USD918176S1 (en) | 2018-07-24 | 2021-05-04 | Magic Leap, Inc. | Totem controller having an illumination region |
US11036284B2 (en) | 2018-09-14 | 2021-06-15 | Apple Inc. | Tracking and drift correction |
US10809910B2 (en) | 2018-09-28 | 2020-10-20 | Apple Inc. | Remote touch detection enabled by peripheral device |
CN109544663B (zh) * | 2018-11-09 | 2023-01-06 | 腾讯科技(深圳)有限公司 | 应用程序的虚拟场景识别与交互键位匹配方法及装置 |
US10854169B2 (en) | 2018-12-14 | 2020-12-01 | Samsung Electronics Co., Ltd. | Systems and methods for virtual displays in virtual, mixed, and augmented reality |
KR102539579B1 (ko) | 2018-12-18 | 2023-06-05 | 삼성전자주식회사 | 정보의 표시 영역을 적응적으로 변경하기 위한 전자 장치 및 그의 동작 방법 |
CN109683667A (zh) * | 2018-12-25 | 2019-04-26 | 上海萃钛智能科技有限公司 | 一种头戴式计算机及其信息输入方法 |
US11099634B2 (en) * | 2019-01-25 | 2021-08-24 | Apple Inc. | Manipulation of virtual objects using a tracked physical object |
US11086392B1 (en) * | 2019-04-09 | 2021-08-10 | Facebook Technologies, Llc | Devices, systems, and methods for virtual representation of user interface devices |
US11137908B2 (en) * | 2019-04-15 | 2021-10-05 | Apple Inc. | Keyboard operation with head-mounted device |
US11231827B2 (en) * | 2019-08-03 | 2022-01-25 | Qualcomm Incorporated | Computing device and extended reality integration |
US11270515B2 (en) | 2019-09-04 | 2022-03-08 | Qualcomm Incorporated | Virtual keyboard |
US11379033B2 (en) * | 2019-09-26 | 2022-07-05 | Apple Inc. | Augmented devices |
CN112835445B (zh) * | 2019-11-25 | 2024-04-26 | 华为技术有限公司 | 虚拟现实场景中的交互方法、装置及系统 |
US11262853B2 (en) | 2020-03-10 | 2022-03-01 | Cirque Corporation | Measuring capacitance |
WO2021236170A1 (en) * | 2020-05-18 | 2021-11-25 | Google Llc | Low-power semi-passive relative six-degree-of-freedom tracking |
CN114201030A (zh) * | 2020-09-16 | 2022-03-18 | 华为技术有限公司 | 设备交互方法、电子设备及交互系统 |
CN112462937B (zh) * | 2020-11-23 | 2022-11-08 | 青岛小鸟看看科技有限公司 | 虚拟现实设备的局部透视方法、装置及虚拟现实设备 |
KR20230113765A (ko) * | 2020-12-11 | 2023-08-01 | 가부시키가이샤 한도오따이 에네루기 켄큐쇼 | 표시 시스템의 동작 방법 |
CN113031847A (zh) * | 2021-04-29 | 2021-06-25 | 中国工商银行股份有限公司 | 基于vr技术的数据输入方法及装置、电子设备及存储介质 |
EP4339873A4 (en) | 2021-11-09 | 2024-05-01 | Samsung Electronics Co., Ltd. | METHOD AND APPARATUS FOR PROVIDING CONTENT RELATED TO AN AUGMENTED REALITY SERVICE BETWEEN AN ELECTRONIC DEVICE AND A PORTABLE ELECTRONIC DEVICE |
CN114168063A (zh) * | 2021-12-13 | 2022-03-11 | 杭州灵伴科技有限公司 | 虚拟按键显示方法、头戴式显示设备和计算机可读介质 |
US20240036698A1 (en) * | 2022-07-28 | 2024-02-01 | Ntt Docomo, Inc. | Xr manipulation feature with smart watch |
US20240069843A1 (en) * | 2022-08-29 | 2024-02-29 | Piotr Gurgul | Extending user interfaces of mobile apps to ar eyewear |
Family Cites Families (28)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4574323B2 (ja) * | 2004-10-26 | 2010-11-04 | キヤノン株式会社 | 画像処理方法、画像処理装置 |
US7920165B2 (en) | 2005-09-26 | 2011-04-05 | Adderton Dennis M | Video training system |
EP1983402A4 (en) | 2006-02-03 | 2013-06-26 | Panasonic Corp | INPUT DEVICE AND ITS METHOD |
JP4789745B2 (ja) * | 2006-08-11 | 2011-10-12 | キヤノン株式会社 | 画像処理装置および方法 |
JP2008152622A (ja) * | 2006-12-19 | 2008-07-03 | Mitsubishi Electric Corp | ポインティング装置 |
JP4356763B2 (ja) * | 2007-01-30 | 2009-11-04 | トヨタ自動車株式会社 | 操作装置 |
JP4933406B2 (ja) * | 2007-11-15 | 2012-05-16 | キヤノン株式会社 | 画像処理装置、画像処理方法 |
CN101673161B (zh) * | 2009-10-15 | 2011-12-07 | 复旦大学 | 一种可视可操作无实体的触摸屏系统 |
US9183560B2 (en) | 2010-05-28 | 2015-11-10 | Daniel H. Abelow | Reality alternate |
US20120218395A1 (en) * | 2011-02-25 | 2012-08-30 | Microsoft Corporation | User interface presentation and interactions |
US9128520B2 (en) * | 2011-09-30 | 2015-09-08 | Microsoft Technology Licensing, Llc | Service provision using personal audio/visual system |
JP2013125247A (ja) * | 2011-12-16 | 2013-06-24 | Sony Corp | ヘッドマウントディスプレイ及び情報表示装置 |
US8952869B1 (en) * | 2012-01-06 | 2015-02-10 | Google Inc. | Determining correlated movements associated with movements caused by driving a vehicle |
JP5740321B2 (ja) * | 2012-02-02 | 2015-06-24 | 株式会社東芝 | 距離計測装置、距離計測方法及び制御プログラム |
WO2013179426A1 (ja) * | 2012-05-30 | 2013-12-05 | パイオニア株式会社 | 表示装置、ヘッドマウントディスプレイ、表示方法及び表示プログラム、並びに記録媒体 |
WO2014022684A2 (en) * | 2012-08-01 | 2014-02-06 | Ergotron, Inc. | Cart with cable management system |
KR101991133B1 (ko) * | 2012-11-20 | 2019-06-19 | 마이크로소프트 테크놀로지 라이센싱, 엘엘씨 | 헤드 마운트 디스플레이 및 그 제어 방법 |
CN103019377A (zh) * | 2012-12-04 | 2013-04-03 | 天津大学 | 基于头戴式可视显示设备的输入方法及装置 |
US20140176562A1 (en) * | 2012-12-21 | 2014-06-26 | Appsense Limited | Systems and methods for providing a software application privacy screen |
US9041741B2 (en) * | 2013-03-14 | 2015-05-26 | Qualcomm Incorporated | User interface for a head mounted display |
JP6165485B2 (ja) * | 2013-03-28 | 2017-07-19 | 国立大学法人埼玉大学 | 携帯端末向けarジェスチャユーザインタフェースシステム |
WO2014179890A1 (en) | 2013-05-09 | 2014-11-13 | Sunnybrook Research Institute | Systems and methods for providing visual feedback of touch panel input during magnetic resonance imaging |
US9878235B2 (en) * | 2013-06-07 | 2018-01-30 | Sony Interactive Entertainment Inc. | Transitioning gameplay on a head-mounted display |
GB201310373D0 (en) * | 2013-06-11 | 2013-07-24 | Sony Comp Entertainment Europe | Head-Mountable Apparatus and systems |
GB201314984D0 (en) * | 2013-08-21 | 2013-10-02 | Sony Comp Entertainment Europe | Head-mountable apparatus and systems |
US20150187143A1 (en) * | 2013-12-26 | 2015-07-02 | Shadi Mere | Rendering a virtual representation of a hand |
EP3109854A4 (en) * | 2014-02-20 | 2017-07-26 | Sony Corporation | Display control device, display control method, and computer program |
US9987554B2 (en) * | 2014-03-14 | 2018-06-05 | Sony Interactive Entertainment Inc. | Gaming device with volumetric sensing |
-
2016
- 2016-08-30 US US15/251,573 patent/US10338673B2/en active Active
- 2016-09-01 CN CN201680025082.2A patent/CN107743604B/zh active Active
- 2016-09-01 JP JP2017556859A patent/JP2018534643A/ja active Pending
- 2016-09-01 WO PCT/US2016/049864 patent/WO2017048519A1/en active Application Filing
- 2016-09-01 KR KR1020177031225A patent/KR102038639B1/ko active IP Right Grant
- 2016-09-01 EP EP16766736.9A patent/EP3350666A1/en not_active Withdrawn
-
2020
- 2020-03-11 JP JP2020041658A patent/JP6907366B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
KR102038639B1 (ko) | 2019-11-29 |
US10338673B2 (en) | 2019-07-02 |
KR20170130602A (ko) | 2017-11-28 |
JP2018534643A (ja) | 2018-11-22 |
US20170076502A1 (en) | 2017-03-16 |
EP3350666A1 (en) | 2018-07-25 |
CN107743604A (zh) | 2018-02-27 |
WO2017048519A1 (en) | 2017-03-23 |
JP2020113298A (ja) | 2020-07-27 |
CN107743604B (zh) | 2021-02-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6907366B2 (ja) | 拡張および/または仮想現実環境におけるタッチスクリーンホバーの検出 | |
US11181986B2 (en) | Context-sensitive hand interaction | |
US10642344B2 (en) | Manipulating virtual objects with six degree-of-freedom controllers in an augmented and/or virtual reality environment | |
EP3320413B1 (en) | System for tracking a handheld device in virtual reality | |
US10275023B2 (en) | Combining gaze input and touch surface input for user interfaces in augmented and/or virtual reality | |
JP6682623B2 (ja) | 拡張および/または仮想現実環境におけるテレポーテーション | |
US20180150204A1 (en) | Switching of active objects in an augmented and/or virtual reality environment | |
US20170372499A1 (en) | Generating visual cues related to virtual objects in an augmented and/or virtual reality environment | |
US10359863B2 (en) | Dragging virtual elements of an augmented and/or virtual reality environment | |
US10620720B2 (en) | Input controller stabilization techniques for virtual reality systems | |
CN108697935B (zh) | 虚拟环境中的化身 | |
US10635259B2 (en) | Location globe in virtual reality | |
EP3740849B1 (en) | Hybrid placement of objects in an augmented reality environment | |
EP3850468B1 (en) | Snapping range for augmented reality objects |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200313 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200313 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20210129 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210202 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210430 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210601 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210630 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6907366 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |